CN112514369B - 视频流中动态图像内容替换的方法和系统 - Google Patents

视频流中动态图像内容替换的方法和系统 Download PDF

Info

Publication number
CN112514369B
CN112514369B CN201980049918.6A CN201980049918A CN112514369B CN 112514369 B CN112514369 B CN 112514369B CN 201980049918 A CN201980049918 A CN 201980049918A CN 112514369 B CN112514369 B CN 112514369B
Authority
CN
China
Prior art keywords
key
image
video stream
physical display
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980049918.6A
Other languages
English (en)
Other versions
CN112514369A (zh
Inventor
M·冯布劳恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Appario Global Solutions AGS AG
Original Assignee
Appario Global Solutions AGS AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Appario Global Solutions AGS AG filed Critical Appario Global Solutions AGS AG
Publication of CN112514369A publication Critical patent/CN112514369A/zh
Application granted granted Critical
Publication of CN112514369B publication Critical patent/CN112514369B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/2723—Insertion of virtual advertisement; Replacing advertisements physical present in the scene by virtual advertisement
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F13/00—Illuminated signs; Luminous advertising
    • G09F13/20—Illuminated signs; Luminous advertising with luminescent surfaces or parts
    • G09F13/22—Illuminated signs; Luminous advertising with luminescent surfaces or parts electroluminescent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N5/275—Generation of keying signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F13/00—Illuminated signs; Luminous advertising
    • G09F13/20—Illuminated signs; Luminous advertising with luminescent surfaces or parts
    • G09F13/22—Illuminated signs; Luminous advertising with luminescent surfaces or parts electroluminescent
    • G09F2013/222—Illuminated signs; Luminous advertising with luminescent surfaces or parts electroluminescent with LEDs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明涉及一种用于在视频流中动态替换图像内容的方法，包括生成一组关键图像数据(K)，该关键图像数据包括至少两个不同关键图像(K1，K2)的序列，周期性地在物理显示器上显示所述一组关键图像数据(K)，通过用摄像机记录所述场景来产生包括所述物理显示器的场景的至少第一原始视频流(O1)，其中，所述至少一个视频流(O1)包括关键视频帧(FK1、FK2)，同步捕获并在所述物理显示器上显示所述一组关键图像数据(K)的所述至少两个不同的关键图像(K1、K2)中的每一个，根据从连续关键视频帧(FK1、FK2)获得的差分图像(AFK)，生成与所述关键视频帧中可见的所述物理显示器的活动区域相对应的掩模区域(MA)，通过将替代图像内容(I)插入到原始视频流的掩模区域(MA)中来生成至少一个替代视频流(V)，并且至少广播所述至少一个替代视频流。

Description

视频流中动态图像内容替换的方法和系统
技术领域
本发明涉及一种用于视频流中的动态图像内容替换的方法和系统，特别是在视频流中，诸如LED显示器的活动显示器是记录图像内容的一部分。
背景技术
活动显示器，如发光二极管(LED)显示器被广泛用作广告牌或标识牌，向观众传达信息或广告。通常，这种显示器用于体育或娱乐活动。因此，这种显示通常出现在通过因特网流传送的电视(TV)广播(TV)或视频广播中。这些广播面向各种不同的观众，典型的例子是，这些观众来自不同国家、不同母语或不同文化背景。为了将显示在这些显示器上的信息/广告针对这些观众的特定子集，已经开发了各种方法来改变观众之间通过电视广播或视频流观看显示器的显示内容。
这些方法中的一组使用基于软件的视频处理技术来识别所记录的视频流的每个帧中的广告牌的位置，并且以电子方式将该视频流中的广告牌上显示的内容替换为一个或多个替代内容，以生成一个或多个附加视频流，可以传输到不同的用户子集。因此，尽管在特定时间只有一种特定类型的广告对出席现场活动的直接观众可见，广播观众的不同子集可以在相同的给定时间观看活动的视频流，其中，出现在这些广播中的广告牌显示专门针对各个广播观众子集的不同类型的广告。
为了获得视频流逼真的效果，重要的是以一种观众不会注意到发生了电子图像内容替换的方式来改变视频屏幕中活动显示器显示的图像内容。动态内容替换中最具挑战性的困难在于在复杂的环境中准确识别活动显示器(如LED广告牌)的位置，以及识别在给定时间影响广告牌的任何失真影响。这种失真可以是多方面的：动态图像内容替换最有趣的事件不会在清晰的电视演播室环境中发生，而是在诸如体育赛事之类的室外活动中发生。因此，影响视频流中的活动显示器表示的典型失真包括由于(可能动态地变化)记录相机相对于所记录的活动显示器的距离、角度或变焦特性的透视失真。此外，必须期望对象，例如快速移动的足球，或在活动显示器和摄像机之间的视线内移动的人，例如球员，对活动显示器的全部或部分覆盖。部分覆盖甚至可能涉及到由小物体(如雨或雾)的半透明覆盖。
试图实现对视频屏幕中的活动显示器的可靠检测的一个概念涉及非侵入性方法，即不干扰直播事件中常规使用的广告或记录设备的方法。例如在EP 2383699 A1中描述的这些方法。这些方法涉及要检测的物理显示器的大量附加知识，例如使用基于计算机显示的3D模型，并将视频流的图像片段与从计算的基本3D模型获得的一组参考轮廓相匹配。到目前为止，这些概念无法提供逼真图像替换的视频，即广播观众不会立即注意到广告已经以电子方式插入。
其他的概念是侵入式的，因为广告牌和/或录像需要专用设备。例如，在某些方法中，短的单色图像的特征序列呈现在活动显示器上，并且摄像机本身或与摄像机相关联的专用检测器配置以检测那些单色帧。然后，由单色帧标识的区域将替换为所需的替代图像内容。然而，尽管插入的单色帧很短，但是直接观众的观看体验仍然可能受到类似闪光效果的干扰，即使它们没有被有意识地视为活动显示器上的图像。WO 2013/186278 A1描述了一种改进的方法，其中使用红外图像来识别活动显示器，由于其波长对直接观众的干扰影响较小。然而，商用显示器并不打算在红外范围内提供显著的辐射强度，因此WO 2013/186278A1的方法不仅需要专门的广告牌，而且还需要与相应摄像机相关联的专用探测器。探测器被布置成与摄像机一起移动，即跟随摄像机相同的摇动和倾斜运动，以提供额外的遥测信号，这些信号传输摄像机的相关参数，如焦距、光圈，移动和定位到远程卡车或外部广播车(OB van)中的视频处理服务器，其中内容替换系统位于其中，该系统使用这些参数来识别活动显示器并用任何期望的替代图像内容替换其图像内容。在同一申请人的WO 2016/023953中，还建议以不同的分辨率获得场景的图像，以便增强使活动显示模糊的精细细节的表现。无论如何，在现有技术的动态内容替换方法中都需要复杂而专业的设备。
因此，本发明的目的是提供一种用于在视频流中进行动态图像内容替换的方法和系统，特别是用于通过替换图像内容替换在视频流中可见的活动显示器的图像内容的方法和系统，这种方法和系统能够降低成本效率，并易于使用市售广告牌技术和使用软件算法的摄像机技术来实现，而且这些算法不需要过多的处理能力。
发明内容
该技术问题通过本申请权利要求1的方法解决。所要求保护的方法的优选实施例是从属权利要求的主题。
因此，本发明涉及一种用于在视频流中动态替换图像内容的方法，该方法包括生成一组关键图像数据(K)，所述关键图像数据包括至少两个不同关键图像(K1、K2)的序列，周期性地在物理显示器上显示所述一组关键图像数据(K)，通过用摄像机记录所述场景来产生包括所述物理显示器的场景的至少第一原始视频流(O1)，其中，所述至少一个视频流(O1)包括关键视频帧(FK1、FK2)，同步捕获并在所述物理显示器上显示所述一组关键图像数据(K)的所述至少两个不同关键图像(K1、K2)中的每一个，根据从连续关键视频帧(FK1，FK2)获得的差分图像(ΔFK)，生成与所述关键视频帧中可见的所述物理显示器的活动区域相对应的掩模区域(MA)，通过将替代图像内容(I)插入原始视频流的掩模区域(MA)中来生成至少一个替代视频流(V)，并广播所述至少一个替代视频流。
图像替换应通过从录制的视频流获得的差分图像进行，通过确定掩模区域，现有的广播和广告技术在赛事地点，如足球场，只需修改到关键图像必须插入广告牌实物显示的图像馈送中的程度。记录摄像机必须与物理显示器上关键图像的显示同步。否则，体育场设备不必适应本发明的方法，因此本发明可以被认为是一种轻度入侵式的概念。在某些实施例中，必须使一个或多个记录摄像机以更高的记录帧速率工作，以便使关键图像与可能在物理显示器上呈现的任何其他图像区别开来，例如主图像馈送，该主图像馈送显示了定向到体育场中直接观众的广告。然而，目前可用的LED广告牌的规范允许在诸如500到1000hz/帧每秒(fps)的高显示帧速率下操作，以便可以轻松地插入在通常持续时间为1-5毫秒的时隙中呈现的关键图像。
插入的替代图像内容(I)可以是旨在出现在广播的替代视频流(V)的活动显示区域中的任何所需内容，例如针对特定观众子集的替代广告。在这种情况下，可以提供各种替代图像内容来生成多个替代视频流，每个视频流都广播给不同的观众子集。但是，这种解决方案在活动地点需要相当大的广播带宽，用于广播定向到最终观众的多个视频流。
因此，在优选实施例中，插入到记录的视频帧中可见的物理显示器识别的活动区域中的替代图像内容(I)是预定义的单色图像。在该实施例中，所得的替代视频流不直接传送给最终观众，而是传送给中间发行者，例如不同国家的广播公司，从而允许他们通过完善的视频处理为最终观众插入他们想要的内容，这种技术称为“色度键控”。
在优选实施例中，所述差分图像(ΔFK)通常基于图像像素，通过确定连续关键视频帧(FK1、FK2)之间的强度差来获得。取决于所需的分辨率，还可以在计算强度差以允许进行彩色降噪或强度降噪之前，将电视视频帧的相邻像素分组，例如2x2像素块或4x4像素块。
差分图像(ΔFK)优选地转换为灰度图像，或者，在确定强度差之前，可以将关键视频帧转换为灰度帧。
在一个实施例中，所述关键图像(K1、K2)是不同的单色图像。在一个实施例中，一个关键图像可以是白色图像，均匀高亮地显示物理显示器的活动区域，而另一个关键图像是黑色图像，其中物理显示器的活动区域根本不被照亮。这允许获得连续关键视频帧之间的最大强度差，从而允许其轻松地识别物理显示器的活动区域。然而，特别是在关键图像(K1)和(K2)之间的强度差大的情况下，在差分图像(ΔFK)中也可以存在两者之间的高强度图像的反射。为了避免影响生成的掩模区域(MA)的反射，可以对强度差应用阈值，以便仅使用高于某个阈值的强度差来确定掩模区域(MA)。
仅从单色关键图像中，很难确定任何光学失真，例如影响记录的物理显示的透视失真。通过包括对物理显示器的某些几何特征的先验知识以从生成的掩模中提取透视畸变，可以部分缓解该问题。然而，在优选实施例中，关键图像(K1)和(K2)包括分布在物理显示器的活动区域上的不同图像图案。优选的图案是由分布在活动区域上的单色正方形或矩形组成的棋盘图案。在一个实施例中，图像(K1)是图像(K2)的逆棋盘图案。例如，如果图像(K1)由白色/灰色和黑色正方形或矩形构成，则在图像(K2)中，白色/灰色和黑色正方形或矩形被简单地互换。因此，在优选实施例中，一个关键帧(K1)的图像图案是单色棋盘图案，而另一个关键帧(K2)的图像图案是相应的逆棋盘图案。
在优选实施例中，将边缘和边界检测算法应用于差分图像，从而得到具有矩形图案的掩模区域(MA)，同时即使没有施加强度差阈值也避免了发生任何反射。
如果图像(K1)和(K2)的原始棋盘图案是均匀间隔的矩形，则可以从生成的掩模区域(MA)中的图案分布推断出相对于摄像机的物理显示的任何失真，例如通过(分段)样条拟合掩模的交叉点。
如果替代图像内容(I)包括供最终观众使用的图像，则在将替代图像内容插入掩模区域中时已经可以采用失真数据。但是，在其中替代图像内容(I)包括单色图像以供中间分发者随后进行色度键控的优选实施例中，失真数据可以与替代视频流(V)一起传输到中间分发者，其中实际图像内容在相应的失真数据的应用下插入意在供最终观众使用的图像。
根据优选实施例，如果一组关键图像数据包括图案关键图像(K1)和(K2)，则优选包括至少一个单色图像(K3)。优选地，单色图像(K3)是黑色图像，即提供物理显示器的黑色活动区域，从而允许更容易地识别物理显示器的前景中的小的和半透明的物体，例如雨滴或雾。通过将单色图像(K3)的掩模区域的加权叠加添加到插入的替代图像内容中，可以获得改进的替代视频流。与失真数据的处理类似，根据插入的替代图像内容的性质，从单色关键图像(K3)获得的校正图像数据可以用来记录位置，或者发送到中间分发者以在色度键控处理期间应用。
在一个实施例中，本发明的方法提供用于生成至少第二组图像数据，所述第二组图像数据包括要由直接观众观看的图像数据(M)，例如出席活动的观众。在一个实施例中，这些图像数据(M)也可以由摄像机记录并广播到不同的观众子集，例如广播旨在给观众观看实况事件中显示的广告而不是电子交换的替代广告内容。
如果第二组图像数据(M)也被发送给广播观众，则根据本发明的方法生成相应的第二原始视频流(O2)。
由于通过本发明的方法获得的掩模区域也适用于旨在直接观众的一组图像数据(M)的原始视频流(O1)，因此来自第二原始视频流(O2)的图像帧也可以用于生成一个或多个替代视频流(V)。例如，当以慢动作速度记录第二原始视频流(O2)时，这可以是优点，从而本发明还允许在慢动作视频流中轻松地替换图像内容。
优选地，物理显示器是LED显示器。
在一个实施例中，LED显示器是标识牌或广告牌。
根据本发明方法的优选实施例，要记录的场景是体育活动或娱乐活动的一部分。
本发明还涉及视频流中的动态图像内容替换的系统，包括：至少一个物理显示器，用于在所述物理显示器上显示至少第一组图像数据的控制接口，至少一个摄像机单元，用于生成包括所述物理显示器的场景的至少一个原始视频流，其中，所述至少一个视频流包括同步捕获的关键视频帧(FK1、FK2)，与在所述物理显示器上显示所述第一组关键图像数据(K)的所述至少两个不同关键图像(K1、K2)中的每一个，
用于根据从连续关键视频帧(FK1、FK2)获得的差分图像(ΔFK)生成与在所述关键视频帧中可见的所述物理显示的活动区域相对应的掩模区域(MA)的装置，
用于替代图像内容的存储装置(I)；
用于通过将可选图像内容(I)插入原始视频流(O1)的所述掩模区域(MA)来生成至少一个替代视频流(V)的装置；以及
用于广播所述至少一个备选视频流(V)的装置，例如广播给观众子集或中间发行者。
在优选实施例中，所述控制接口(17)适于以时间切片复用的方式在所述物理显示器(12、13)上显示所述第一组图像数据(K1、K2、K3)和至少第二组图像数据(M)。
附图说明
在下面的参考附图将更详细地描述本发明的优选实施例。在附图中，
图1示出了可在本发明的方法中使用的视频记录系统的示意性概述；
图2示出了在本发明的方法中用于在物理显示器上呈现不同图像数据集的方案；
图3示出根据本发明方法的实施例的两个关键视频帧和从中获得的处理图像；以及
图4示出了根据本发明方法的用于动态图像内容替换的视频处理系统的示意图。
具体实施方式
现在参考典型示例，即体育赛事的电视广播，更详细地描述本发明。
图1示出了如申请人的PCT/EP2018/052178中所述合适的视频记录系统的实施例。在本实施例中，单个摄像机单元C用于捕捉场景的初始高记录帧速率视频流HRFR，该场景包括布置在足球场10的边线11处的广告牌12的LED显示器13。广告牌12包括控制器14，控制器14控制将静止和/或动画图像传送到LED阵列13。可在本实施例中使用的典型摄像机单元C是索尼公司商业化的HDC 4300摄像机，其允许以高帧速率记录场景。高记录帧速率视频流HRFR(参见图2)经由第一光缆20发送到中间处理单元22的第一连接21。中间处理单元22包括用于将第一连接21连接到第二连接24的信息网桥23，所述第二连接24可用于经由第二光缆25将中间处理单元22连接到摄像机控制单元(CCU)26。摄像机控制单元26具有用于诸如外部摄像机控制、计数、提示器、返回视频等信号的附加输入/输出28。合适的中间处理单元22例如是基带处理单元(BPU)，例如由索尼公司商业化的BPU4000。中间处理单元22还包括视频处理器27，用于将初始高帧速率视频流转换并路由到视频流C1、C2、C3、C4(参见图2)的多个物理SDI输出。视频流C1，C2，C3等可以是标准广播帧速率视频流SBFR，例如具有50Hz/fps的帧速率。
摄像机单元C直接(未示出)或经由将主时钟15连接至摄像机控制单元26和光缆25、20的线29从主时钟17接收主时钟信号M。
主时钟信号M也通过线路30馈送到接口17。接口17经由图像数据输入端31接收图像数据，并生成触发信号T，根据该触发信号T，图像数据经由线路32被传输至LED显示器13，其中根据触发信号T示出了图像数据。选择触发信号T，以使摄像机单元记录的后续帧可以用LED显示器13上显示的不同图像数据显示记录的场景。当然，图像数据也可以被预先存储在显示器13和/或接口17的存储介质中发送。而且，接口17可以是广告牌12的一部分，使得线路32是广告牌12的内部电路的一部分。
然而，应当注意到，摄像机控制单元26对于本发明的方法不是必需的，因为摄像机单元C可以使用其专用控制单元，甚至可以在其中实现必要的控制。中间处理单元22的主要目的是在中间处理单元22的SDI输出O1、O2、O3等处将来自高帧速率摄像机单元C的帧分割成单独的视频流，如下文更详细地描述。
图2描述了根据本发明方法的实施例的用于在物理显示器13上呈现不同的图像数据集合的方案。
对于该实施例，我们假设视频馈送以50hz的标准广播帧速率SBFR，即每秒50帧(fps)传送给电视或因特网广播的观众。由适当的摄像机单元C以高记录帧速率HRFR(在本示例中为200hz/fps)记录包括物理LED广告显示器13(参见图1)的场景。在本实施例中，摄像机适于记录场景，同时在物理显示器上，呈现具有关键图像K1、K2和K3的第一组关键图像数据K，该第一组关键图像数据K与用于直接观众的第二组图像数据(主图像数据集或主馈送M)进行时间复用。关键图像被记录在信道C1、C2、C3中，信道C1、C2、C3可以被复用成第一原始视频流O1，以便在下游视频处理单元40(参考图1)中做进一步处理。然而从图1可以看出，某些商用BPU已经提供了SBFR-SDI输出，信道C1，C2，C3可以路由到该输出。这些频道可以被馈送到视频处理单元40，而需要将这些频道多路复用到原始视频馈送O1中。在本示例中，经由信道C4获得的第二原始视频流被路由到另一个专用SDI输出，其中传送包含主馈送M的图像数据的第二原始视频流O2。
为了增强直接观众的观看体验，物理LED显示器以高显示帧速率HDFR运作，在本示例中，高显示帧速率HDFR是高记录帧速率HRFR的三倍，即600Hz。
图2描绘了20毫秒的周期，对应于标准帧速率50hz/fps的单个周期时间。每20毫秒的周期时间被细分为12个1/600秒持续时间(即大约1.7毫秒)的时隙，代表在20毫秒周期内以600赫兹/每秒的HDFR速率显示在物理显示器上的12个图像。在20毫秒时间段内，显示在物理显示器上的主图像馈送的图像通常是相同的。在随后的20毫秒周期(图2中未描绘)中，图案被重复，但是馈送中的图像内容通常改变。
如图2所示，在所描绘的20毫秒周期中，以200Hz工作的摄像机C分别记录导致不同视频信道C1、C2、C3和C4的四个图像。摄像机C的快门时间被调整为图像时隙的时间段，即快门时间小于或等于1/600秒(1.7毫秒)，以使摄像机C记录的每个视频帧仅对应于物理显示器上描绘的一个图像。摄像机记录和物理显示是同步的，因此记录从第一个时隙的开头开始。在本实施例中，显示两组图像数据。该组图像数据M的图像对应于物理显示器上描绘的主图像馈送，并且旨在由场景中的直接观众有意识地观看。关键图像馈送K的图像被用于本发明的图像内容替换方法。
在优选实施例中，图像K1和K2是彼此的互补/逆图像，因此，每对K1和K2的直接观众感知到的组合图像会产生基本中性/灰色的图像，从而将对直接观众的任何干扰观看效果降至最低。通过以MI，K1I，K2I和K3I表示的较低强度记录供广播观众使用的图像，而以较高强度Mh呈现未记录图像，可以进一步增强直接观众的观看体验。
图3示出了本发明的方法的典型实施例。图3a–3b分别显示了连续的关键视频帧FK1、FK2、FK3，每个视频帧与在LED屏幕13上显示图像K1、K2和K3同步捕获。关键图像K1是黑白矩形的棋盘图案，关键图像K2是对应的反棋盘图案。图3d示出了由FK2和FK1的差分图像得到的掩模区域MA，并且在差分图像上进一步应用了边界和边缘检测算法。从图3c可以看出，在摄像机和物理显示器之间的边线中，物理显示器13相对于摄像机和前景物体的变形易于识别。然后可以插入替代图像内容，同时考虑到失真和前景对象。在此示例中尚未使用单色(深色)关键帧K3。
从图3a和3b的关键帧FK1和FK2获得图3d的掩模区域MA的简单例程已通过Scilab编程语言实现，如下所示：
imW＝imread("FK1)；
imB＝imread("FK2)；
imD＝imsubtract(imW,imB)；
imgrey＝rgb2gray(imD.*3)；
imZ＝imsubtract(imB,imW)；
imZgray＝rgb2gray(imZ.*3)；
imAD＝imabsdiff(imW,imB)；
imADgray＝rgb2gray(imAD.*3)；
imedge＝edge(imADgray.*3,'fftderiv',0.3,6.5)；
immaske＝imfill(imedge)；
imE＝immultiply(imgrey,immaske)；
imF＝immultiply(imZgray,immaske)；
imEedge＝edge(imE,'fftderiv',0.3,5.)；
imFedge＝edge(imF,'fftderiv',0.3,5.)；
imH＝immultiply(imEedge,imFedge)；
imI＝imadd(imedge,imH)；
imshow(imI)；
从这里可以看出，通过对关键帧FK1和FK2之间的绝对差的FFT导数进行边缘检测得到所需的轮廓，该轮廓被填充以产生掩模immaske。
通过将FK2和FK1的法向微分相乘，对于掩模反之亦然，并通过快速傅里叶变换FFT导数进行边缘检测，得到掩模区域MA的图案。将两个倒数结果相乘以得到掩模MA的内部区域，然后将其添加到轮廓以产生iml，即如图3d所示的掩模区域MA。
图4更详细地示出了用于本发明的图像内容替换方法的图1视频处理单元40的示意性实施例。应该注意的是，其中描述的操作单元可以用硬件或软件或这两者来实现：
因此，信道C1，C2和C3被馈送到视频处理单元40。视频处理单元40包括掩模区域生成器41，该掩模区域生成器41从包含关键帧FK1的信道C1和包含关键帧FK2的信道C2接收输入。掩模区域生成器41包括差分图像生成器42和失真评估器43，该评估器43产生掩模区域(MA)数据存储器44和失真数据(DD)存储器45。失真数据DD可以直接路由到视频处理单元40的输出。图像数据存储器46包含替代图像数据(I)，其被插入到由图像替换单元47中的掩模区域MA数据定义的FK1、FK2或FK3帧的区域中，以产生替代视频流V。
在结构评估单元48中，使用来自掩模区域存储器45的掩模区域数据来分析包括用单色关键图像K3显示显示器的关键帧FK3的信道C3。得到的结构数据SD可以直接路由到视频处理单元40的输出。
如果插入的图像数据I是用于色度键控处理的单色图像，则在将备选视频流传送给终端观众之前，可以将视频流V、失真数据DD和结构数据SD发送到外部/远程中间分配器以进行进一步处理。
如果插入的图像数据I包括用于最终观众的图像，则可以在覆盖单元49中获得包括失真数据DD和结构数据SD的用于最终观众的视频流V'。

Claims (14)

1.视频流中动态图像内容替换的方法，包括：
生成第一组关键图像数据（K），所述第一组关键图像数据（K）包括至少两个不同的关键图像（K1、K2）的序列；
在物理显示器（13）上周期性地显示所述第一组关键图像数据（K）；
通过用摄像机（C）记录场景来产生包括所述物理显示器的场景的至少第一原始视频流（O1），其中，至少一个视频流包括同步捕获的关键视频帧（FK1、FK2），并且所述关键视频帧（FK1、FK2）在所述物理显示器（13）上显示所述第一组关键图像数据（K）的至少两个不同的关键图像（K1、K2）中的每一个；
根据从连续的关键视频帧（FK1、FK2）获得的差分图像（ΔFK），生成与所述物理显示器（13）的活动区域（A）相对应的掩模区域（MA），所述物理显示器（13）的活动区域（A）在所述关键视频帧（FK1、FK2）中可见，
通过将替代图像内容（I）插入到原始视频流（O1、O2）的所述掩模区域（MA）中来生成至少一个替代视频流（V）；
广播所述至少一个替代视频流（V）；
其中，通过确定连续的关键视频帧（FK1、FK2）之间的强度差来获得所述差分图像（ΔFK）。
2.根据权利要求1所述的方法，其中所述关键图像（K1、K2）是不同的单色图像。
3.根据权利要求2所述的方法，其中所述掩模区域（MA）是通过对强度差施加阈值而产生的。
4.根据权利要求1所述的方法，其中所述关键图像（K1、K2）包含不同的图像模式。
5.根据权利要求4所述的方法，其中一个关键图像（K1）的图像图案是单色棋盘图案，另一个关键图像（K2）的图像图案是对应的逆棋盘图案。
6.根据权利要求4或5所述的方法，其中所述掩模区域（MA）是通过将边缘和边界检测算法应用于差分图像来生成的。
7.根据权利要求6所述的方法，其中物理显示器的光学失真数据由所述掩模区域（MA）确定。
8.根据权利要求5所述的方法，其中所述第一组关键图像数据（K）包括带图案的关键图像（K1、K2）和单色图像（K3）。
9.根据权利要求1所述的方法，其中，生成第二组主图像数据（M），所述第二组主图像数据（M）包括要由直接观众或由广播观众观看的图像数据。
10.根据权利要求1所述的方法，其中，所述物理显示器是LED显示器。
11.根据权利要求10所述的方法，其中，所述LED显示器是标识牌或广告牌。
12.根据权利要求1所述的方法，其中，所述场景是体育赛事或娱乐赛事的一部分。
13.用于视频流中的动态图像内容替换的系统，包括：
至少一个物理显示器（12、13），
控制接口（17），用于在物理显示器（12、13）上显示至少第一组关键图像数据（K），
至少一个摄像机单元（C），用于生成包括所述物理显示器的场景的至少一个原始视频流（O1），其中，至少一个视频流包括同步捕获的关键视频帧（FK1、FK2），并且所述关键视频帧（FK1、FK2）在所述物理显示器（13）上显示所述第一组关键图像数据（K）的至少两个不同的关键图像（K1、K2）中的每一个，
用于根据从连续的关键视频帧（FK1、FK2）获得的差分图像（ΔFK）生成与所述关键视频帧中可见的所述物理显示器（13）的活动区域相对应的掩模区域（MA）的装置，其中，通过确定连续的关键视频帧（FK1、FK2）之间的强度差来获得所述差分图像（ΔFK）；
替代图像内容（I）的存储装置；
用于通过将替代图像内容（I）插入原始视频流（O1）的所述掩模区域（MA）中来产生至少一个替代视频流（V）的装置；和
用于广播所述至少一个替代视频流（V）的装置。
14.根据权利要求13所述的系统，其中所述控制接口（17）适于以时分多路复用的方式在所述物理显示器（12、13）上显示第一组关键图像数据（K）和至少第二组主图像数据（M）。
CN201980049918.6A 2018-07-27 2019-07-26 视频流中动态图像内容替换的方法和系统 Active CN112514369B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18186201.2 2018-07-27
EP18186201 2018-07-27
PCT/EP2019/070185 WO2020021067A1 (en) 2018-07-27 2019-07-26 Method and system for dynamic image content replacement in a video stream

Publications (2)

Publication Number Publication Date
CN112514369A CN112514369A (zh) 2021-03-16
CN112514369B true CN112514369B (zh) 2023-03-10

Family

ID=63209192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980049918.6A Active CN112514369B (zh) 2018-07-27 2019-07-26 视频流中动态图像内容替换的方法和系统

Country Status (8)

Country Link
US (1) US11582493B2 (zh)
EP (1) EP3831049B1 (zh)
JP (1) JP7447077B2 (zh)
CN (1) CN112514369B (zh)
AU (1) AU2019311295A1 (zh)
CA (1) CA3105905A1 (zh)
ES (1) ES2932728T3 (zh)
WO (1) WO2020021067A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020021068A1 (en) * 2018-07-27 2020-01-30 Appario Global Solutions (AGS) AG Method and system for transmitting alternative image content of a physical display to different viewers
US11336813B2 (en) * 2018-09-13 2022-05-17 Appario Global Solutions (AGS) AG Method and device for synchronizing a digital photography camera with alternative image content shown on a physical display
WO2021160703A1 (en) 2020-02-10 2021-08-19 Appario Global Solutions (AGS) AG Method and device for reducing motion blur on displays
GB2598397A (en) 2020-09-01 2022-03-02 Uni Glory Holdings Ltd A chroma key and presentation system, method, and kit
US11849244B2 (en) 2021-07-22 2023-12-19 Grass Valley Canada System and method for temporal keying in a camera
DE102021215048A1 (de) * 2021-12-27 2023-06-29 Friedrich-Schiller-Universität Jena Anordnung und Verfahren zum Unterscheiden zwischen einem Hintergrund und einem Vordergrundobjekt einer Szene
EP4287630A1 (en) 2022-06-02 2023-12-06 Pucki GmbH Method for producing a video stream
WO2023175114A1 (en) 2022-03-16 2023-09-21 Pucki Gmbh Method for producing a video stream

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107147861A (zh) * 2017-04-27 2017-09-08 西安诺瓦电子科技有限公司 视频录制及处理系统以及方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6980177B2 (en) 2001-08-03 2005-12-27 Waterstrike Incorporated Sequential inverse encoding apparatus and method for providing confidential viewing of a fundamental display image
SG119229A1 (en) * 2004-07-30 2006-02-28 Agency Science Tech & Res Method and apparatus for insertion of additional content into video
JP2006050491A (ja) 2004-08-09 2006-02-16 Matsushita Electric Ind Co Ltd マルチチャネル画像コーデック装置
GB2437575A (en) 2006-04-27 2007-10-31 Andrew Peter Phelan Audience-specific image display
CN101094407B (zh) * 2006-06-23 2011-09-28 美国博通公司 视频电路、视频系统及其视频处理方法
JPWO2010013289A1 (ja) 2008-07-31 2012-01-05 三菱電機株式会社 カメラ校正画像作成装置およびカメラ校正画像作成プログラム
FI20090040A0 (fi) 2009-02-09 2009-02-09 Mika Daniel Letonsaari Videon käsittely
EP2383696A1 (en) 2010-04-30 2011-11-02 LiberoVision AG Method for estimating a pose of an articulated object model
HUE061085T2 (hu) 2010-09-20 2023-05-28 Fraunhofer Ges Forschung Eljárás háttér és elõtér megkülönböztetésére egy jelenetben, valamint eljárás egy jelenetben képek hátterének helyettesítésére
CN103548073B (zh) 2011-05-25 2016-09-14 皇家飞利浦有限公司 用于表面的识别系统
GB201204129D0 (en) * 2012-03-08 2012-04-25 Supponor Oy Apparatus and method for image content detection and image content replacement system
GB2502986B (en) 2012-06-12 2014-05-14 Supponor Oy Apparatus and method for image content replacement
WO2014135910A1 (en) * 2013-03-08 2014-09-12 JACQUEMET, Jean-Philippe Method of replacing objects in a video stream and computer program
WO2015171450A1 (en) * 2014-05-09 2015-11-12 Graphiclead LLC System and method for embedding of a two dimensional code with an image
GB2529182B (en) 2014-08-12 2019-03-27 Supponor Oy Method and apparatus for dynamic image content manipulation
CN105472399B (zh) * 2015-11-20 2019-04-05 深圳市奥拓电子股份有限公司 一种转播视频与现场显示视频分离方法及装置
US20180020167A1 (en) * 2016-05-10 2018-01-18 Production Resource Group, Llc Multi Background Image Capturing Video System
CN106412459B (zh) * 2016-09-30 2019-03-08 佛山市青松科技股份有限公司 一种图像显示系统及方法
CA3049732C (en) 2017-01-27 2021-11-23 Appario Global Solutions (AGS) AG Method and system for transmitting alternative image content of a physical display to different viewers

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107147861A (zh) * 2017-04-27 2017-09-08 西安诺瓦电子科技有限公司 视频录制及处理系统以及方法

Also Published As

Publication number Publication date
US20210227270A1 (en) 2021-07-22
EP3831049B1 (en) 2022-09-07
WO2020021067A1 (en) 2020-01-30
ES2932728T3 (es) 2023-01-24
US11582493B2 (en) 2023-02-14
AU2019311295A1 (en) 2021-01-21
CN112514369A (zh) 2021-03-16
JP2021532642A (ja) 2021-11-25
JP7447077B2 (ja) 2024-03-11
EP3831049A1 (en) 2021-06-09
CA3105905A1 (en) 2020-01-30

Similar Documents

Publication Publication Date Title
CN112514369B (zh) 视频流中动态图像内容替换的方法和系统
US11825137B2 (en) Method and system for transmitting alternative image content of a physical display to different viewers
US11490137B2 (en) Method and system for transmitting alternative image content of a physical display to different viewers
US20060209088A1 (en) System and method for data assisted chroma-keying
CA2650690A1 (en) A method and means for varying the content of a display
CA3039728C (en) Television broadcast system for generating augmented images
WO2022112579A2 (en) Method and system for capturing images
EP4080866A1 (en) Method and system for capturing images
EP4287630A1 (en) Method for producing a video stream
CN112153453A (zh) 一种用于信息安全防护的显示系统
WO2023175114A1 (en) Method for producing a video stream
CN117546229A (zh) 用于操作有源显示器的方法和系统
JP2024521230A (ja) アクティブディスプレイを作動させる為の方法及びシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant