CN109804431B - 用于生成增强图像的电视转播系统 - Google Patents

用于生成增强图像的电视转播系统 Download PDF

Info

Publication number
CN109804431B
CN109804431B CN201780063115.7A CN201780063115A CN109804431B CN 109804431 B CN109804431 B CN 109804431B CN 201780063115 A CN201780063115 A CN 201780063115A CN 109804431 B CN109804431 B CN 109804431B
Authority
CN
China
Prior art keywords
director
image
camera
module
metadata
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780063115.7A
Other languages
English (en)
Other versions
CN109804431A (zh
Inventor
R·德拉贡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Uniqfeed AG
Original Assignee
Uniqfeed AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Uniqfeed AG filed Critical Uniqfeed AG
Publication of CN109804431A publication Critical patent/CN109804431A/zh
Application granted granted Critical
Publication of CN109804431B publication Critical patent/CN109804431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/04—Studio equipment; Interconnection of studios
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4886—Data services, e.g. news ticker for displaying a ticker, e.g. scrolling banner for news, stock exchange, weather data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/814—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts comprising emergency warnings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information

Abstract

本发明涉及一种电视转播系统，其包括：多个电视摄像机(C1、C2)；至少一个导演单元(12)，其设置为，由多个电视摄像机(C1、C2)的摄像机图像生成导演图像序列并将其作为导演信号(S3)输出；多个分析模块(A1、A2)，分析每个单独的摄像机图像，并且计算每个摄像机图像的摄像机图像元数据(M)以及对应的摄像机图像散列值(H)，并且异步输出每个摄像机图像的摄像机图像元数据(M)和摄像机图像散列值(H)；同步模块(14)，其与导演单元(12)和分析模块(A1、A2)相连接，并且设置为，从导演单元(12)同步缓冲地接收导演图像，并且计算每个导演图像的对应的导演图像散列值(HR)，其中，同步模块(14)还设置为，比较导演图像散列值(HR)和摄像机图像散列值(H)，并基于该比较，将对应的摄像机图像的摄像机图像元数据(Mj)作为导演图像元数据(MR)分配给当前的导演图像(Ri)，并同步缓冲地输出该导演图像元数据(MR)；乘法模块(16)，其与同步模块(14)和导演单元(12)相连接，并且设置为，从同步模块(14)同步缓冲地接收导演图像元数据(MR)以及从导演单元(12)同步缓冲地接收导演图像，其中，该乘法模块进一步设置为，补偿导演图像和对应的导演图像元数据(MR)之间的时间偏移，并且其中，还设置为，基于导演图像中的导演图像元数据(MR)，通过增强生成导演图像的至少一个局部区域的变化，从而生成增强的导演图像，并输出该增强的导演图像。

Description

用于生成增强图像的电视转播系统
技术领域
本发明涉及一种电视转播系统，其包括：多个电视摄像机，其设置为，拍摄摄像机图像并将其作为摄像机信号输出；导演单元，其设置为，由多个电视摄像机的摄像机图像生成导演图像序列并将其作为导演信号输出。
背景技术
这种电视转播系统是众所周知的，其用于实况转播和后期制作。在后期制作中，摄像机图像通常来自至少一个存储介质，例如硬盘等，在该存储介质中存有先前通过摄像机记录的图像序列。
已知在这种电视转播系统中会进行叠加或叠化。在此，除了由摄像机生成的摄像机图像之外，还检测来自其他传感器的传感器数据，例如加速度传感器、罗盘、陀螺罗盘或测距仪，以获得关于摄像机在空间中的方向的附加信息，从而可以识别摄像机图像中显示的对象并在需要时进行叠化。在这方面还已知使用附加的摄像机，这些摄像机不用于记录电视图像，而是，其图像内容用于为电视图像提供其他图像信息。
发明内容
本发明的目的是提供一种电视转播系统，其在没有其他传感器的情况下实现所捕获的摄像机图像的部分区域的叠加或叠化。
因此，建议一种电视转播系统，其包括：
多个电视摄像机，其设置为，拍摄摄像机图像并将其作为摄像机信号输出；
至少一个导演单元，其设置为，由多个电视摄像机的摄像机图像生成导演图像序列并将其作为导演信号输出；
多个分析模块，其中，每个电视摄像机对应一个分析模块，其中，分析模块设置为，同步缓冲地接收摄像机图像，并且其中，分析模块设置为，分析每个单独的摄像机图像，并且计算每个摄像机图像的摄像机图像元数据以及对应的摄像机图像散列值，并且异步输出每个摄像机图像的摄像机图像元数据和摄像机图像散列值；
同步模块，其与导演单元和分析模块相连接，并且设置为，从导演单元同步缓冲地接收导演图像，并且计算每个导演图像的对应的导演图像散列值，以及从分析模块异步缓冲地接收每个摄像机图像的摄像机图像元数据和对应的摄像机图像散列值，其中，同步模块还设置为，比较导演图像散列值和摄像机图像散列值，并基于该比较，将对应的摄像机图像的摄像机图像元数据作为导演图像元数据分配给当前的导演图像，并同步缓冲地输出该导演图像元数据；
乘法模块，其与同步模块和导演单元相连接，并且设置为，从同步模块同步缓冲地接收导演图像元数据以及从导演单元同步缓冲地接收导演图像，其中，该乘法模块进一步设置为，补偿导演图像和对应的导演图像元数据之间的时间偏移，并且其中，其还设置为，基于导演图像中的导演图像元数据，通过增强生成导演图像的至少一个局部区域的变化，从而生成增强的导演图像，并输出该增强的导演图像。
在此使用的术语“导演单元”特别是代表图像选择和图像处理的过程，该过程例如在现场转播车中进行。该术语也包括多个相互连接的导演单元，这些导演单元各自独立工作，例如在电视网络中，其中一个导演单元输出信息给更高级别的导演单元。这例如发生在体育赛事中，其中不同的比赛是分别使用多个摄像机分开制作的。
在此使用的术语“增强”应表示对现实图像的一种改进或改变，例如将运动场围栏上的在现实中用英语写的广告内容用另一种国家语言(例如电视转播的目标国家的国家语言)的相同或不同的广告叠化。但叠化并不是改变或增强导演图像的唯一可能性。相反，在本发明的框架中，增强也可以被理解为导演图像本身发生局部改变。在此使用的术语“增强”在行话中也称为“扩增”，其基于英语术语“augment”，意为改进、强化、增加。
在此介绍的电视转播系统仅处理摄像机图像。无需使用额外的传感器。此外，在此介绍的系统能够用其他图像信息增强或扩增任意表面或局部区域，并且在此不要求对实际拍摄的场景的任何调整或限制，比如特定的背景颜色(所谓的色键)或使用自发光背景，例如LED面板、红外反射物体等。通过比较导演图像散列值和摄像机图像散列值来选择要播送的导演图像的增强。如果两个散列值相同，就可以推断出当前导演图像对应于特定摄像机拍摄的摄像机图像。通过对应的摄像机图像元数据(其中包含关于实际图像内容的结构化信息，例如在体育转播的情况下的比赛场地、围栏、看台等)，可以为导演图像的局部区域确定增强或叠化或扩增。例如，如果能够从元数据推断出围栏广告位于哪个区域，就可以通过增强(例如用另外的广告)叠化该广告区域。
应指出的是，可选地，电视转播系统也可以用于后期制作。用至少一个存储介质代替实时拍摄图像并将其发送到分析模块的电视摄像机，在该存储介质上存储有电视转播的摄像机图像。使用这些存储的摄像机图像代替实时拍摄的摄像机图像。在这种情况下，也可以为每个摄像机(其摄像机图像存储在存储介质中)分配一个分析模块，以便在后期制作中也可以实现增强。在后期制作中也可以使用导演单元，则也可以称其为后期制作单元。
电视转播系统还可以包括控制模块，该控制模块与导演单元、分析模块、同步模块和乘法模块相连接，其中，控制模块设置为，基于从导演单元向控制模块传输的控制信号启用或关闭分析模块、同步模块和乘法模块。因此，控制模块用于集中控制电视转播系统的附加于已知系统的组件。在此，对于这种系统扩展的简单集成有利的是，控制模块可以由导演单元控制。
控制模块还可以设置为，监测或控制导演图像与对应的导演图像元数据之间的时间偏移，并将该时间偏移发送到乘法模块。由于导演图像不受分析模块的分析，导演图像的图像信号通常早于对应的导演图像元数据，该导演图像元数据基于为每个摄像机图像生成的摄像机图像元数据而产生，并根据上述当前导演图片和摄像机图像之间的散列值比较将该导演图像元数据与当前导演图像对应。
控制模块还可以设置为，存储至少一个预先确定的增强并将该增强发送到乘法模块。这种增强或扩增可以是例如图像数据、视频序列等形式。还可以考虑的是文本序列作为增强的导演图像中的增强或叠加/叠化，该文本序列可以在考虑其他参数的条件下任意地以图形方式显示。
控制模块还可以设置为，存储至少一个预先确定的动画序列并将该动画序列发送到乘法模块。当要从导演图像过渡到增强的导演图像时，这样的动画序列用于避免导演图像中的突然变化。可能的动画序列可以例如是，在一组一定数量的导演图像上，发生导演图像的连续变化，例如通过导演图像的局部变化或增强或者例如通过增强的叠化，并且在该图像区域中的真实内容连续地改变为，只有增强仍是可见的或原始导演图像区域渐隐。借助于这样的动画序列，例如可以实现虚拟滚动带，比如向上或向下滚动或向侧面滚动。此外，可以考虑提供一种虚拟窗口，其中真实内容被掀起并且在掀开的区域中展现增强。
乘法模块还可以设置为，在第一状态下传输增强的导演图像，在第二状态下传输导演图像，在第三状态下，借助动画序列进行从第二状态向第一状态的过渡，并且在第四状态下，借助动画序列进行从第一状态向第二状态的过渡。在此，第一状态也可以描述为通常增强导演图像并发送增强的导演图像的状态。第二状态也可以描述为发送未经增强的导演图像的状态，即导演图像未受改变地通过乘法模块或从旁经过乘法模块。第三和第四状态是过渡状态，在该状态下发生上述动画序列(例如滚动带等)，以能够连续地启用或关闭导演图像的增强。
乘法模块可以具有至少一个增强组件，该增强组件设置为，基于第一至第四状态、导演图像元数据、由控制模块传送的增强以及由控制模块传送的动画序列来生成增强的导演图像。通常，乘法模块具有多个增强组件，其中，每个增强组件为同一导演图像生成不同的增强。例如，在全球电视转播中，可以为电视信号应发送到的每个国家提供增强组件，从而可以借助该增强组件为每个国家叠加特定的增强，例如语言上和内容上适应的场边广告。
控制模块可以具有至少一个另外的数据输入端，该数据输入端设置为，从另外的摄像机或/和从屏幕系统(特别是LED系统)或/和从视频存储系统接收附加数据，其中，控制模块设置为，向乘法模块传输附加数据，其中，乘法模块设置为，在生成增强的导演图像的过程中考虑该附加数据。
电视转播系统还可以包括电子横幅系统，该横幅系统具有图像信号输出端，该图像信号输出端与多个横幅显示器相连接，并且设置为，在多个横幅显示器上显示或/和播放横幅图像，其中，该横幅系统与控制模块相连接，并且设置为，向控制模块传输用于横幅显示器的横幅图像信号。在此，分析模块可以设置为，确定遮挡，特别是基于横幅图像信号与摄像机图像之间的比较来确定横幅显示器的遮挡。在一个示例中，例如可以在LED系统(场边广告)的显示器输出端，用一个或多个HDMI信号或DVI信号记录LED当前显示的图像。LED系统可以借助由每个摄像机记录的校正动画进行辐射校正。由此可以确定映像函数，其可以针对应在LED上显示的原始图片中的特定色值预测所拍摄的摄像机图像中的特定的其他色值。由此可以通过分析模块精确地确定LED的遮挡，因为预期的背景在任何时间点都是已知的。
乘法模块也可以设置为，提供增强的导演图像，其中对于每个摄像机设置，正交投影特定图像区域中的增强或叠化。在此，特别认为，增强或扩增具有特定的几何形状，其从摄像机的视角正交投影。这是一种虚拟的“Cam Carpet”，一种印在薄膜上的预变形图案，其中薄膜铺在地面上。在增强具有特定几何形状的情况下，要叠加的图案不必变形，而是可以根据摄像机方向个别计算并叠加在增强的导演图像中。相应地，在“Cam Carpet”的通常区域中，例如在足球场中球门的左右侧，在现实中，即在体育场现场中，可以在薄膜上印刷图案或广告画，在此，对于体育场内的观众来说，该图案是完全可读的。该体育场内观众可读的图案可以在电视转播的范围内通过增强叠化，从而使相同的图案或另外的图案在增强的导演图片中始终根据摄像机方向最佳地显示。
乘法单元还可以设置为，在增强的导演图像中，提供拍摄的透明对象(例如透明玻璃等)的局部改变或叠化，使得在增强的导演图像中的透明对象上可见增强或/和动画。在这种透明背景的改变或叠化中，还认为，增强或动画本身具有透明或半透明区域，从而使例如视觉上可感知的孔或开口可以包含在增强中。若可以透明地显示不属于轮廓或表面填充的区域，则这样的动画或增强也可以具有任意的轮廓。在此，例如考虑将冰球场的透明树脂玻璃围栏用于叠加图案或广告。这种叠化例如也可以考虑用于移动采访墙。这种采访墙通常会印刷或粘贴有活动的赞助商。通过在此介绍的系统，可以在该墙的区域中叠加有针对性的增强，以便例如根据各个访谈对象考虑不同球队的赞助商。
乘法模块也可以设置为，生成多个不同增强的导演图像，并将其在不同输出端同步输出。如上所述，这实现了不同增强的导演图像的输出，例如根据应向其传输增强的导演图像的国家，或者根据增强导演图像应传输给付费电视用户还是免费电视用户。
以上针对该系统描述的特性和特征也可以表述为方法。相应地建议以下用于增强电视转播或电视录像的图像的方法，该方法包括以下步骤：
通过多个电视摄像机拍摄摄像机图像，并将该摄像机图像作为摄像机信号输出；
生成从多个电视摄像机的摄像机图像中选择产生的导演图像序列，并将这些导演图像作为导演图像信号输出；
在各个相关的分析模块中同步缓冲地接收多个电视摄像机的摄像机图像，其中，分析每个摄像机图像，并且为每个摄像机图像生成摄像机图像元数据并计算摄像机图像散列值，并且其中，由各个相关的分析模块异步输出该摄像机图像元数据和摄像机图像散列值；
在同步模块中同步缓冲地接收导演图像，计算每个导演图像的导演图像散列值，并异步缓冲地接收每个摄像机图像的摄像机图像元数据和对应的摄像机图像散列值，其中，比较导演图像散列值和摄像机图像散列值，并基于该比较，将对应的摄像机图像的摄像机图像元数据作为导演图像元数据分配给当前的导演图像，并同步缓冲地输出该导演图像元数据；
在乘法模块中同步缓冲地接收导演图像元数据和导演图像，在该乘法模块中补偿导演图像和对应的导演图像元数据之间的时间偏移，并基于导演图像元数据，通过增强生成导演图像的至少一个局部区域中的叠化，从而生成增强的导演图像，并输出该增强的导演图像。
根据本发明的另一独立方面，建议一种电视转播系统，其包括：
多个电视摄像机，其设置为，拍摄摄像机图像并将其作为摄像机信号输出，或者至少一个存储介质，其设置为，存储先前借助电视摄像机拍摄的摄像机图片，并将存储的摄像机图片作为摄像机信号输出；
至少一个导演单元，其设置为，由多个电视摄像机的摄像机图像生成导演图像序列并将其作为导演信号输出；
多个分析模块，其中，每个电视摄像机对应一个分析模块，其中，分析模块设置为，同步缓冲地接收摄像机图像，并且其中，分析模块设置为，分析每个单独的摄像机图像，并且计算每个摄像机图像的摄像机图像元数据以及对应的摄像机图像散列值，并且异步输出每个摄像机图像的摄像机图像元数据和摄像机图像散列值；
同步模块，其与导演单元和分析模块相连接，并且设置为，从导演单元同步缓冲地接收导演图像，并且计算每个导演图像的对应的导演图像散列值，以及从分析模块异步缓冲地接收每个摄像机图像的摄像机图像元数据和对应的摄像机图像散列值，其中，同步模块还设置为，比较导演图像散列值和摄像机图像散列值，并基于该比较，将对应的摄像机图像的摄像机图像元数据作为导演图像元数据分配给当前的导演图像，并同步缓冲地输出该导演图像元数据；
乘法模块，其与同步模块和导演单元相连接，并且设置为，从同步模块同步缓冲地接收导演图像元数据以及从导演单元同步缓冲地接收导演图像，其中，该乘法模块进一步设置为，补偿导演图像和对应的导演图像元数据之间的时间偏移，并且其中，其还设置为，基于导演图像中的导演图像元数据，通过增强生成导演图像的至少一个局部区域的变化，从而生成增强的导演图像，并输出该增强的导演图像，其中，乘法模块还设置为，在第一状态下传输增强的导演图像，在第二状态下传输导演图像，在第三状态下，借助动画序列进行从第二状态向第一状态的过渡，并且在第四状态下，借助动画序列进行从第一状态向第二状态的过渡。
在这样的系统中，乘法模块通过所述状态实现了增强的任意开启/关闭，其中，通过使用动画序列，对接收(增强的)导演图像的用户来说，就无法分辨观看的是真实的导演图像，还是永久增强的导演图像，还是过渡图像(在动画序列中)。因此，增强的开启/关闭可以优雅地，不被用户或观众察觉地，并且也不存在视觉干扰效果地完成。
附图说明
以下参照附图示例性地且非限制性地对本发明进行说明。
图1示出了电视转播系统的简化示意图。
图2示意性地示出了分析过程。
图3示意性地示出了同步过程。
图4示意性地示出了乘法模块和相关的乘法过程。
图5示出了在乘法模块中出现的状态。
图6示出了包括对应的动画序列的增强的一个示例。
具体实施方式
电视转播系统10包括多个摄像机C1、C2和导演单元12，其中摄像机C1、C2将其摄像机图像作为摄像机图像信号传输到导演单元12。通常，这种电视转播系统10包括多于两个摄像机C1、C2，这由摄像机C2右侧的三个黑点表示。
在该图中，以实线表示按时钟处理或同步处理的数据或按时钟(同步)运行的模块。异步运行的模块或异步处理的数据以虚线表示。众所周知，通常的处理路径从摄像机C1、C2开始。摄像机信号S1由多个摄像机C1、C2(至Cn)记录并传输到导演单元12。在导演单元12中，将各个摄像机C1至Cn的摄像机图像编排成或剪切成导演图像序列或导演图像信号。被剪切的导演图像信号S3或连续的导演图像(在行话中也被称为World-Feed)被播送。在这方面，要指出的是，在后期制作中(例如重复、慢动作、访谈等)也可以记录或叠加增强，特别是与之前直播的图像中相同的增强。为此，导演单元可以设置为，对于这种在实况转播序列期间或之后的后期制作，也通过控制模块启用或关闭增强。
根据本发明的实施方式，电视转播系统10如下扩展。摄像机信号S1被中继到分析模块A1、A2(至An，由A2下方的三个黑点表示)。分析模块A1、A2将信号S2传递到选择模块或同步模块14。每个摄像机C1、C2对应一个分析模块A1、A2。对于每个摄像机图像，由分析模块A1、A2生成摄像机图像元数据M1、M2(至Mn)，并计算相关的散列值H1、H2(至Hn)。将相应的一对元数据和散列值，例如M1、H1或M2、H2作为信号S2从分析模块A1、A2传输到同步模块14。同步模块14还从导演单元获得导演图像信号S3a或导演图像。同步模块14将当前在导演图像中可见的摄像机的修改后的元数据S4发送到乘法模块16。乘法模块16生成多个发射的增强的导演图像信号S5。分析模块A1、A2、同步模块14和乘法模块16由操纵模块或控制模块18控制。控制模块18通过导演单元12控制。此外，在图1的图示中，还示出了可选的LED系统20，其将图像数据通过图像传输协议(例如HDMI或DVI)传输到控制模块18。但对于电视转播系统10的基本功能性来说，该LED系统不是强制性的。
图2示例性地示出了分析模块A1、A2中的过程。将摄像机图像或摄像机图像信号作为输入(Input)同步缓冲地传送到分析模块A1、A2。暂存摄像机图像的缓冲器由P表示。对于摄像机C1、C2的每个摄像机图像，在对应的分析模块A1、A2中确定或计算摄像机图像元数据M和摄像机图像散列值H。这些元数据M和对应的摄像机图像散列值H由相应的分析模块A1、A2提供为输出变量(Output)。
因此，分析模块A1、A2按时钟周期接收作为输入的摄像机C1、C2的摄像机图像，这些摄像机图像存储在缓冲器P中。相关的分析模块A1、A2识别待叠化对象的位置，该位置由控制模块18传达。此外还分析由不应被叠化的前景对该对象的遮挡，例如通过“Boun VinhLu；Kakuta,T.；Kawakami,R.；Oishi,T.；Ikeuchi,K.,Foreground and shadow occlusionhandling for outdoor augmented reality,Mixed and Augmented Reality(ISMAR),2010 9th IEEE International Symposium on,vol.,no.,pp.109,118,13-16 Oct.2010”中所述的方法。为此，使用目前的图像处理方法(例如对象识别、对象检测、卷积神经网络)，这些方法异步地逐帧处理来自缓冲器P的图像。提取的元数据M配有根据处理过的图像内容确定的摄像机图像散列值H。这例如可以通过LSH进行，例如在“
Figure BDA0002024845430000101
Paulevé,HervéJégou,Laurent Amsaleg.Locality sensitive hashing:a comparison of hash functiontypes and querying mechanisms.Pattern Recognition Letters,Elsevier,2010,31(11),pp.1348-1358”中所述。当然，也可以考虑散列值的其他计算方法，上面提到的方法是纯示例性的。通过适当的转换使得摄像机图像散列值H对于部分遮挡和转换是鲁棒的。由此，当导演12切换到基础摄像机C1、C2时，可以在稍后将提取的元数据M与相关的导演图像相对应。
图3示意性地示出了同步模块14和相关过程。同步模块14特别是通过信号路径S3a(图1)同步缓冲地接收导演图像R或导演图像信号作为输入变量(Input)。此外，同步模块14从所有摄像机C1、C2的各个分析模块A1、A2接收针对每个摄像机图像的对应的元数据M和摄像机图像散列值H作为异步缓冲数据。同步模块14识别导演单元12示出的是哪个摄像机C1、C2的哪个图像。此外还识别导演的延迟大小。对于所有导演图像R，在22处以与分析模块A1、A2中相同的方式计算导演图像散列值HR。为了识别，将分析图像散列缓冲器Pn的所有数据记录的摄像机图像散列值Hnk(n：相机，k：缓冲器中的索引)与导演图像散列缓冲器PR中的所有数据记录HRl的导演图像散列值HR进行比较。
输出变量或Output是满足以下函数的元数据Mnk：
Figure BDA0002024845430000111
在此，d表示用于比较散列值的合适度量。此外，w(x)表示位移值为x的窗口，其中可以比较PR和Pn。l在窗口内的所有样本上运行，k在移位窗口的所有样本上类比运行。绝对值|w(x)|是窗口中的移位数或总式的加数(和)。为了获得足够的数值稳定性，|w(x)|应选择足够大，例如|w(x)|可以对应于大约一半的缓冲器大小。若上面所示的总和超过给定阈值，则将标签INVALID添加到元数据Mnk。若总和低于阈值，则将标签VALID将添加到元数据中。
结合一个非常简单的例子对此简要说明。然而，应指出的是，由于缺乏散列信息和缺乏d的鲁棒性，该示例在现实中可能对于电视图像信号的实际处理不起作用。该示例在此仅旨在提高对上述应用的函数的理解。
假设散列值是一维的，并且上述公式中的d是HRl和Hnk之间的量差。进一步假设从左侧推入缓冲器，因此索引最低的最旧图像位于右侧。绝对值|w(x)|假设至少为3，因此可能的是x＝-1,0和+1。在该示例中，假定有三个摄像机(n＝1至3)。查看以下缓冲器情况：
HRl l＝4 l＝3 l＝2 l＝1
PR 9 3 2 8
Hnk k＝4 k＝3 k＝2 k＝1
P1(n＝1) 9 9 8 9
P2(n＝2) 7 9 3 3
P3(n＝3) 1 4 5 6
在此不说明全部计算，而要指出的是，表示上述函数的最佳解的对(n,x)是(n＝2,x＝1)。这意味着摄像机2可见(即摄像机2的摄像机图像用作导演图像)，并且索引l和k具有以下关系：k＝l-1。在此，上述总和变为w(x＝1)＝{2,3,4}或相应的k在{1,2,3}中。在此，除了PR(l＝2)和P2(k＝1)且d＝1之外，各个散列值彼此对应。
图4示意性地示出了乘法模块16和相关的过程。输入变量(Input)是导演图像或导演信号的导演图像元数据MR和导演图像或导演信号R本身，其中，这些输入变量是同步缓冲的。导演图像元数据MR由同步模块14提供(图1中的S4)。乘法模块将具有不同增强或扩增的导演图像或导演信号作为信号S5输出，然后将该信号实际发射。该增强的导演图像或导演信号是同步缓冲输出的。
乘法模块16具有增强组件AK1、AK2至AKn(由AK2下方的三个点表示)。增强组件AK1、AK2利用元数据Mj、状态Z(t)以及由控制模块18预先给定的动画和增强，以便个别地叠化导演图像或导演信号。
同步模块14会造成所提供的导演图像元数据MR和导演图像R之间的恒定时间偏移(i-j)，该时间偏移通过控制模块18传送到乘法模块16。基于该信息，可以通过缓冲器PR和PM补偿时间偏移，从而可以将对应的元数据正确地匹配到每个导演图像。
Z(t)的可能状态可以由两个变量EN和TR来描述，其中，EN代表开启还是关闭增强，并且其中，TR表示在开启状态和关闭状态之间切换时是否应播放过渡动画。
该状态是：
Z＝1，其中EN＝1且TR＝0，并且增强组件应正常根据元数据增强，即增强(扩增)开启(开启状态)；
Z＝2，其中EN＝0且TR＝0，并且增强组件应输出原始图像而不叠加增强，即增强(扩增)关闭(关闭状态)；
Z＝3，其中EN＝1且TR＝1，并且增强组件应播放过渡动画，从开启状态(Z＝1)到关闭状态(Z＝2)；
Z＝4，其中EN＝0且TR＝1，并且增强组件应播放过渡动画，从关闭状态(Z＝2)到开启状态(Z＝1)。
状态Z(t)＝1至4以及它们的过渡在图5中示例性地示出为图表。在此，增强显示的关闭是从Z＝1和OK＝0(数据S2(t)不适于显示)经过Z＝3到Z＝2的持续N时钟周期的过渡。增强显示的开启是从Z＝2和OK＝1(数据S2(t)适于显示)经过Z＝4到Z＝1的持续N时钟周期的过渡。
这些状态过渡使得增强组件AK1、AK2不仅叠化当前摄像机图像(导演图像)，而且还有针对性地改变它，从而在启动时，无法识别当前可见的是现实还是增强或扩增。由此可以实现例如“虚拟滚动带”(使现实“来回滚动”)、“虚拟窗口”(“掀起”现实)等效果。
在此，参照图6简要说明虚拟滚动带的例子。第一图像(左)示出状态Z＝2，真实图像作为导演图像播放。图像2至4(从左到右)示出了过渡状态Z＝4，其中使用动画，以便在要播放的导演图像中逐渐叠加增强“Augment”。在右侧的图像5中达到状态Z＝1，其中增强“Augment”被持续性地叠加到要播放的导演图像中。当然，如需关闭增强，这种虚拟滚动带也可以用于从状态Z＝1经过渡状态Z＝3到状态Z＝2的过渡。
关于动画的播放和为此设置的系统，可参考由同一申请人在同一天提交的题为“用于生成增强图像的系统”的申请。其中描述的系统及其各种模块在此通过引用完全并入，用于对图4至图6的上述说明。特别是，在此描述的乘法模块16和控制模块18可以具有所述平行专利申请中描述的模块的相应功能。在所引用的专利申请中，具体参考附图说明中的所有实施方式，这些实施方式也与本申请相关，并且其公开内容也可以被认为是本申请的特征的具体化。
图1中所示的控制模块18承担对所有其他模块(即分析模块A1、A2、同步模块14和乘法模块16)的集中控制。控制模块18本身由导演单元12控制。由此，导演可以在任何时间点关闭(Z＝1到Z＝3然后Z＝2)和启用(Z＝2到Z＝4然后Z＝1)增强系统，其中，通过乘法模块16的状态Z(t)实现关闭或启用。
控制模块18可以可选地与来自另外的摄像机或来自视频存储系统的一个或多个任意的输入视频相耦合，例如在图1中提到的LED系统20。控制模块18可以将该另外的数据流传输给乘法模块16的增强组件A1、A2，从而例如可以用虚拟的实况视频来进行增强。这例如实现了虚拟屏幕。
如前所述，作为LED系统20的显示器输出端处的可选扩展，可以用一个或多个图像信号记录LED当前显示的图像。可以借助由每个摄像机记录的校正动画辐射校正或几何校正LED系统。由此，可以确定映像函数f:x→y，其可以针对应在LED上显示的原始图像中的特定色值x预测所拍摄的摄像机图像中的色值y。这使得分析模块A1、A2可以精确地确定遮挡，因为在任何时间点，背景都是已知的，或者图像的相关位置处的期待色值都是已知的。
关于LED系统的集成以及由此获得的前景对象和背景对象的分割的改进的相关可能性，可参考由同一申请人在同一天提交的题为“用于图像或/和图像序列中的前景和背景之间的动态对比度最大化的系统”的申请。其中描述的系统和相应的方法步骤可以集成在这里介绍的电视转播系统中。特别是，其中描述的控制模块K可以包含在这里描述的系统中的控制模块18中。其中描述的显示设备可以包含在这里描述的LED系统20中。通览上述申请的图1和本申请的图1可以看出，该平行申请的系统可以简单地集成到电视转播系统中。相应地，完全参考该题为“用于图像或/和图像序列中的前景和背景之间的动态对比度最大化的系统”的平行申请，并且其中描述的所有特征也可以包含在这里介绍的电视系统中，特别是用于显示信息(视频剪辑)的数据库和相应的网络连接。此外，这里描述的分析模块当然也可以计算并最小化在该平行申请中描述的能量函数。
在此介绍的电视转播系统实现了准实时地改变现实图像内容，特别是在各种摄像机信号在导演单元中被剪切成待播放的导演信号的时间段中。为确定元数据，选择纯粹基于图像识别的分析，从而使这种转播系统中的通常的时钟几乎不延迟。这种系统的典型应用领域可以例如是向不同国家的体育转播，其中，预先为每个国家确定哪个广告应以增强形式提供，并在之后相应地进行叠加。例如，如果在现实中显示举办国的横幅广告，可以通过增强为转播该活动的每个国家叠加国家特定广告作为增强或扩增。在此，通过乘法模块中的过渡状态(Z＝3或4)还实现了现实和虚拟增强之间的平滑过渡，从而使电视观众无法区分是在看在活动现场也可见的现实广告，还是在看叠加的特定广告或增强。如本文开头已经提到的，在此介绍的电视转播系统不需要其他确定某位置或某距离等的传感器。功能原理纯粹基于摄像机拍摄的每个摄像机图像的实时图像分析。

Claims (19)

1.一种电视转播系统，包括：
多个电视摄像机(C1、C2)，其设置为，拍摄摄像机图像并作为摄像机信号(S1)输出，或者至少一个存储介质，其设置为，存储先前借助电视摄像机拍摄的摄像机图像，并将存储的摄像机图像作为摄像机信号(S1)输出；
至少一个导演单元(12)，其设置为，由所述多个电视摄像机(C1、C2)的所述摄像机图像生成导演图像序列并作为导演信号(S3)输出；
多个分析模块(A1、A2)，其中，每个所述电视摄像机(C1、C2)对应一个所述分析模块(A1、A2)，其中，所述分析模块(A1、A2)设置为，同步缓冲地接收所述摄像机图像，并且其中，所述分析模块(A1、A2)设置为，分析每个单独的所述摄像机图像，并且计算每个所述摄像机图像的摄像机图像元数据(M)以及对应的摄像机图像散列值(H)，并且异步输出每个所述摄像机图像的所述摄像机图像元数据(M)和所述摄像机图像散列值(H)；
同步模块(14)，其与所述导演单元(12)和所述分析模块(A1、A2)相连接，并且设置为，从所述导演单元(12)同步缓冲地接收所述导演图像，并且计算每个所述导演图像的对应的导演图像散列值(HR)，以及从所述分析模块(A1、A2)异步缓冲地接收每个所述摄像机图像的所述摄像机图像元数据(M)和对应的所述摄像机图像散列值(H)，其中，所述同步模块(14)还设置为，比较所述导演图像散列值(HR)和所述摄像机图像散列值(H)，并基于所述比较，将对应的摄像机图像的摄像机图像元数据(M)作为导演图像元数据(MR)分配给当前的导演图像(Ri)，并同步缓冲地输出所述导演图像元数据(MR)；
乘法模块(16)，其与所述同步模块(14)和所述导演单元(12)相连接，并且设置为，从所述同步模块(14)同步缓冲地接收所述导演图像元数据(MR)以及从所述导演单元(12)同步缓冲地接收所述导演图像，其中，所述乘法模块进一步设置为，补偿导演图像和对应的导演图像元数据(MR)之间的时间偏移，并且其中，还设置为，基于所述导演图像中的所述导演图像元数据(MR)，通过增强生成所述导演图像的至少一个局部区域的变化，从而生成增强的导演图像，并输出所述增强的导演图像。
2.根据权利要求1所述的电视转播系统，其中，其还包括控制模块(18)，所述控制模块与所述导演单元(12)、所述分析模块(A1、A2)、所述同步模块(14)和所述乘法模块(16)相连接，其中，所述控制模块(18)设置为，基于从所述导演单元(12)向所述控制模块(18)传输的控制信号启用或关闭所述分析模块(A1、A2)、所述同步模块(14)和所述乘法模块(16)。
3.根据权利要求2所述的电视转播系统，其中，所述控制模块(18)还设置为，监测或控制导演图像与对应的导演图像元数据之间的时间偏移，并将所述时间偏移发送到所述乘法模块(16)。
4.根据权利要求2所述的电视转播系统，其中，所述控制模块(18)还设置为，存储至少一个预先确定的增强并将所述增强发送到所述乘法模块(16)。
5.根据权利要求4所述的电视转播系统，其中，所述控制模块(18)还设置为，存储至少一个预先确定的动画序列并将所述动画序列发送到所述乘法模块(16)。
6.根据权利要求5所述的电视转播系统，其中，所述乘法模块(16)还设置为，在第一状态(Z1)下传输所述增强的导演图像，在第二状态(Z2)下传输所述导演图像，在第三状态(Z3)下，借助动画序列进行从所述第二状态(Z2)向所述第一状态(Z1)的过渡，并且在第四状态(Z4)下，借助动画序列进行从所述第一状态(Z1)向所述第二状态(Z2)的过渡。
7.根据权利要求6所述的电视转播系统，其中，所述乘法模块(16)具有至少一个增强组件(AK1、AK2)，所述增强组件设置为，基于所述第一至第四状态、所述导演图像元数据(MR)、由所述控制模块(18)传送的所述增强以及由所述控制模块(18)传送的所述动画序列来生成所述增强的导演图像。
8.根据权利要求2至7中任一项所述的电视转播系统，其中，所述控制模块(18)具有至少一个另外的数据输入端，所述数据输入端设置为，从另外的摄像机或/和从屏幕系统接收附加数据，其中，所述控制模块(18)设置为，向所述乘法模块(16)传输所述附加数据，其中，所述乘法模块(16)设置为，在生成所述增强的导演图像的过程中考虑所述附加数据。
9.根据权利要求8所述的电视转播系统，其中，所述数据输入端设置为从LED系统(20)或/和从视频存储系统接收附加数据。
10.根据权利要求2至7中任一项所述的电视转播系统，还包括电子横幅系统，所述横幅系统具有图像信号输出端，所述图像信号输出端与多个横幅显示器相连接，并且设置为，在所述多个横幅显示器上显示或/和播放横幅图像，其中，所述横幅系统与所述控制模块相连接，并且设置为，向所述控制模块传输用于所述横幅显示器的横幅图像信号。
11.根据权利要求10所述的电视转播系统，其中，所述分析模块设置为确定横幅显示器的遮挡。
12.根据权利要求11所述的电视转播系统，其中，所述分析模块设置为基于所述横幅图像信号与摄像机图像之间的比较来确定横幅显示器的遮挡。
13.根据权利要求1至7中任一项所述的电视转播系统，其中，所述乘法模块(16)设置为，提供增强的导演图像，其中对于每个摄像机设置，正交投影特定图像区域中的增强或叠化。
14.根据权利要求1至7中任一项所述的电视转播系统，其中，所述乘法模块(16)设置为，在增强的导演图像中，提供拍摄的透明对象的局部改变或叠化，使得在所述增强的导演图像中的透明对象上可见增强或/和动画。
15.根据权利要求14所述的电视转播系统，其中，所述透明对象包括透明玻璃。
16.根据权利要求15所述的电视转播系统，其中，所述增强或/和所述动画本身具有透明区域。
17.根据权利要求1至7中任一项所述的电视转播系统，其中，所述乘法模块(16)设置为，生成多个不同增强的导演图像并在不同输出端同步输出。
18.用于增强电视转播或电视录像的图像的方法，其包括以下步骤：
通过多个电视摄像机拍摄摄像机图像，并将所述摄像机图像作为摄像机信号输出；
生成从所述多个电视摄像机的所述摄像机图像中选择产生的导演图像序列，并将所述导演图像作为导演图像信号输出；
在各个分析模块中同步缓冲地接收所述多个电视摄像机的所述摄像机图像，其中，分析每个所述摄像机图像，并且为每个所述摄像机图像生成摄像机图像元数据并计算摄像机图像散列值，并且其中，由各个所述分析模块异步输出所述摄像机图像元数据和所述摄像机图像散列值；
在同步模块中同步缓冲地接收所述导演图像，计算每个所述导演图像的导演图像散列值，并异步缓冲地接收每个所述摄像机图像的所述摄像机图像元数据和对应的所述摄像机图像散列值，其中，比较所述导演图像散列值和所述摄像机图像散列值，并基于所述比较，将对应的摄像机图像的摄像机图像元数据作为导演图像元数据分配给当前的导演图像，并同步缓冲地输出所述导演图像元数据；
在乘法模块中同步缓冲地接收所述导演图像元数据和所述导演图像，在所述乘法模块中补偿导演图像和对应的导演图像元数据之间的时间偏移，并基于所述导演图像元数据，通过增强生成所述导演图像的至少一个局部区域中的叠化，从而生成增强的导演图像，并输出所述增强的导演图像。
19.一种电视转播系统，其包括：
多个电视摄像机(C1、C2)，其设置为，拍摄摄像机图像并作为摄像机信号(S1)输出，或者至少一个存储介质，其设置为，存储先前借助电视摄像机拍摄的摄像机图像，并将存储的摄像机图像作为摄像机信号(S1)输出；
至少一个导演单元(12)，其设置为，由所述多个电视摄像机(C1、C2)的所述摄像机图像生成导演图像序列并将其作为导演信号(S3)输出；
多个分析模块(A1、A2)，其中，每个所述电视摄像机(C1、C2)对应一个所述分析模块(A1、A2)，其中，所述分析模块(A1、A2)设置为，同步缓冲地接收所述摄像机图像，并且其中，所述分析模块(A1、A2)设置为，分析每个单独的所述摄像机图像，并且计算每个所述摄像机图像的摄像机图像元数据(M)以及对应的摄像机图像散列值(H)，并且异步输出每个所述摄像机图像的所述摄像机图像元数据(M)和所述摄像机图像散列值(H)；
同步模块(14)，其与所述导演单元(12)和所述分析模块(A1、A2)相连接，并且设置为，从所述导演单元(12)同步缓冲地接收所述导演图像，并且计算每个所述导演图像的对应的导演图像散列值(HR)，以及从所述分析模块(A1、A2)异步缓冲地接收每个所述摄像机图像的所述摄像机图像元数据(M)和对应的所述摄像机图像散列值(H)，其中，所述同步模块(14)还设置为，比较所述导演图像散列值(HR)和所述摄像机图像散列值(H)，并基于所述比较，将对应的摄像机图像的摄像机图像元数据(M)作为导演图像元数据(MR)分配给当前的导演图像(Ri)，并同步缓冲地输出所述导演图像元数据(MR)；
乘法模块(16)，其与所述同步模块(14)和所述导演单元(12)相连接，并且设置为，从所述同步模块(14)同步缓冲地接收所述导演图像元数据(MR)以及从所述导演单元(12)同步缓冲地接收所述导演图像，其中，所述乘法模块进一步设置为，补偿导演图像和对应的导演图像元数据(MR)之间的时间偏移，并且其中，还设置为，基于所述导演图像中的所述导演图像元数据(MR)，通过增强生成所述导演图像的至少一个局部区域的变化，从而生成增强的导演图像，并输出所述增强的导演图像，其中，所述乘法模块(16)还设置为，在第一状态(Z1)下传输所述增强的导演图像，在第二状态(Z2)下传输所述导演图像，在第三状态(Z3)下，借助动画序列进行从所述第二状态(Z2)向所述第一状态(Z1)的过渡，并且在第四状态(Z4)下，借助动画序列进行从所述第一状态(Z1)向所述第二状态(Z2)的过渡。
CN201780063115.7A 2016-10-14 2017-10-09 用于生成增强图像的电视转播系统 Active CN109804431B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102016119637.1 2016-10-14
DE102016119637.1A DE102016119637A1 (de) 2016-10-14 2016-10-14 Fernsehübertragungssystem zur Erzeugung angereicherter Bilder
PCT/EP2017/075623 WO2018069218A1 (de) 2016-10-14 2017-10-09 Fernsehübertragungssystem zur erzeugung angereicherter bilder

Publications (2)

Publication Number Publication Date
CN109804431A CN109804431A (zh) 2019-05-24
CN109804431B true CN109804431B (zh) 2021-06-11

Family

ID=60186232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780063115.7A Active CN109804431B (zh) 2016-10-14 2017-10-09 用于生成增强图像的电视转播系统

Country Status (9)

Country Link
US (1) US10832732B2 (zh)
EP (1) EP3526795A1 (zh)
JP (1) JP6784363B2 (zh)
KR (1) KR102195053B1 (zh)
CN (1) CN109804431B (zh)
CA (1) CA3039728C (zh)
DE (1) DE102016119637A1 (zh)
SG (1) SG11201903217XA (zh)
WO (1) WO2018069218A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2594046A (en) * 2020-04-03 2021-10-20 Mo Sys Engineering Ltd Producing video for content insertion
DE102022101086A1 (de) 2022-01-18 2023-07-20 Uniqfeed Ag Videoverbreitungssystem mit Umschalteinrichtung für das Umschalten zwischen mehreren angereicherten Regiebildabfolgen eines aufgenommenen realen Ereignisses

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR9406756A (pt) * 1993-02-14 1996-04-02 Orad Inc Aparelhos para detecção de sitios de matéria publicitária e para incorporação de matéria publicitária processo para radiodifusão de matéria publicitária processo de tratamento de video aparelhos para detecção de imagem publicitária e par incorporação de um anúncio de áudio processos para incorporação de uma propaganda de áudio em um canal de áudio e de matéria publicitária de áudio em um canal de áudio e para detecção de sitios de matéria publicitária e sistema de monitoração de conjunto de câmeras de TV para monitorar um conjunto de câmeras de TV
IL108957A (en) 1994-03-14 1998-09-24 Scidel Technologies Ltd Video sequence imaging system
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
GB9601101D0 (en) 1995-09-08 1996-03-20 Orad Hi Tech Systems Limited Method and apparatus for automatic electronic replacement of billboards in a video image
IL115288A (en) 1995-09-13 1999-06-20 Scidel Technologies Ltd Method and apparatus for implanting images into a video sequence
US6381362B1 (en) * 1999-04-08 2002-04-30 Tata America International Corporation Method and apparatus for including virtual ads in video presentations
EP1071278B1 (en) 1999-07-19 2006-05-17 Leo Vision Multi-camera, multi-feed and interactive virtual insertion systems and methods
US7009635B2 (en) 2000-01-31 2006-03-07 Virtual Advertising Systems Vas Ltd. Method for modifying a visible object shot with a television camera
GB2394611A (en) * 2002-10-21 2004-04-28 Sony Uk Ltd Metadata generation providing a quasi-unique reference value
DE10314105A1 (de) * 2003-03-28 2004-01-08 Bts Media Solutions Gmbh Verfahren zur Steuerung einer Einrichtung zur Verteilung und Bearbeitung von Videosignalen
GB2408164A (en) 2003-11-12 2005-05-18 Alastair Breward Controlling a dynamic display apparatus
SG119229A1 (en) 2004-07-30 2006-02-28 Agency Science Tech & Res Method and apparatus for insertion of additional content into video
JP4649980B2 (ja) * 2004-12-21 2011-03-16 ソニー株式会社 画像編集装置、画像編集方法、プログラム
EP1913559B1 (fr) 2005-08-09 2016-10-19 Qualcomm Connected Experiences, Inc. Procede et dispositifs pour visualiser un modele numerique dans un environnement reel
US8610787B2 (en) 2007-06-22 2013-12-17 Panasonic Corporation Camera device including privacy protection method
EP2250749A2 (en) * 2008-02-05 2010-11-17 StratosAudio, Inc. Systems, methods, and devices for scanning broadcasts
JP2009239459A (ja) 2008-03-26 2009-10-15 Nippon Telegr & Teleph Corp <Ntt> 映像合成システム、映像合成装置およびプログラム
US9766089B2 (en) 2009-12-14 2017-09-19 Nokia Technologies Oy Method and apparatus for correlating and navigating between a live image and a prerecorded panoramic image
EP2561505A4 (en) 2010-04-22 2013-11-13 Martin Professional As ELECTRONIC SUNSHADE FOR BAND APPLICATIONS
FR2959339A1 (fr) 2010-04-26 2011-10-28 Citiled Procede de commande d'au moins un panneau d'affichage d'images variables dans un lieu tel qu'un stade
EP2463821A1 (en) 2010-12-08 2012-06-13 Alcatel Lucent Method and system for segmenting an image
EP2498488A1 (en) * 2011-03-09 2012-09-12 Thomson Licensing Method and system digital for processing digital content according to a workflow
WO2012170023A1 (en) 2011-06-08 2012-12-13 Empire Technology Development Llc Two-dimensional image capture for an augmented reality representation
KR101343609B1 (ko) 2011-08-24 2014-02-07 주식회사 팬택 증강 현실 데이터를 이용할 수 있는 어플리케이션 자동 추천 장치 및 방법
KR101887548B1 (ko) 2012-03-23 2018-08-10 삼성전자주식회사 증강현실 서비스를 위한 미디어 파일의 처리 방법 및 장치
GB201208088D0 (en) * 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
GB2502986B (en) * 2012-06-12 2014-05-14 Supponor Oy Apparatus and method for image content replacement
US20150206349A1 (en) 2012-08-22 2015-07-23 Goldrun Corporation Augmented reality virtual content platform apparatuses, methods and systems
CN103118272A (zh) * 2013-02-22 2013-05-22 浪潮齐鲁软件产业有限公司 一种多场景数字电视的实现方法
EP2965506A1 (en) 2013-03-08 2016-01-13 Affaticati, Jean-Luc Method of replacing objects in a video stream and computer program
EP2806404B1 (en) 2013-05-23 2018-10-10 AIM Sport AG Image conversion for signage
EP2822287A1 (en) * 2013-07-01 2015-01-07 Thomson Licensing Method and apparatus for frame accurate advertisement insertion
GB2531969B (en) 2013-10-03 2016-08-10 Supponor Oy Method and apparatus for image frame identification
JP2015204512A (ja) 2014-04-14 2015-11-16 パナソニックＩｐマネジメント株式会社 情報処理装置、情報処理方法、カメラ、受信装置、受信方法
GB2529182B (en) 2014-08-12 2019-03-27 Supponor Oy Method and apparatus for dynamic image content manipulation
US9847645B2 (en) 2015-02-03 2017-12-19 King Fahd University Of Petroleum And Minerals Neuro-fuzzy control system for grid-connected photovoltaic systems
US20160373814A1 (en) 2015-06-19 2016-12-22 Autodesk, Inc. Real-time content filtering and replacement
US10169894B2 (en) 2016-10-06 2019-01-01 International Business Machines Corporation Rebuilding images based on historical image data

Also Published As

Publication number Publication date
SG11201903217XA (en) 2019-05-30
CA3039728C (en) 2021-05-25
JP6784363B2 (ja) 2020-11-11
WO2018069218A1 (de) 2018-04-19
EP3526795A1 (de) 2019-08-21
KR20190065404A (ko) 2019-06-11
JP2019536388A (ja) 2019-12-12
US20190371363A1 (en) 2019-12-05
KR102195053B1 (ko) 2020-12-28
CN109804431A (zh) 2019-05-24
DE102016119637A1 (de) 2018-04-19
US10832732B2 (en) 2020-11-10
CA3039728A1 (en) 2018-04-19

Similar Documents

Publication Publication Date Title
US20200134911A1 (en) Methods and Systems for Performing 3D Simulation Based on a 2D Video Image
US6940538B2 (en) Extracting a depth map from known camera and model tracking data
JP5801812B2 (ja) ３ｄビデオへの仮想インサート
JP7447077B2 (ja) 映像ストリームにおける動的画像コンテンツ置換のための方法およびシステム
US8457350B2 (en) System and method for data assisted chrom-keying
US20180018510A1 (en) Information processing apparatus, method and computer program product
CN103152518A (zh) 图像处理系统和方法
CN103179339A (zh) 图像处理系统和方法
WO1997003517A1 (en) Methods and apparatus for producing composite video images
CN109804431B (zh) 用于生成增强图像的电视转播系统
EP3757945A1 (en) Device for generating an augmented reality image
JP7224894B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2001013645A2 (en) Narrow bandwidth broadcasting system
US11563928B2 (en) Image processing apparatus, image processing method, and storage medium
KR20150066941A (ko) 선수 정보 제공 장치 및 이를 이용한 선수 정보 제공 방법
KR20000054328A (ko) 방송 중계 영상 화면의 광고교체방법
JP5916365B2 (ja) 映像送信システム、映像送信方法及びコンピュータプログラム
Kim et al. AR timewarping: A temporal synchronization framework for real-Time sensor fusion in head-mounted displays
KR20050008247A (ko) 스포츠 비디오에서의 3차원 그래픽 영상 합성을 위한 장치및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Aupfeikon glatburg, Switzerland

Applicant after: UNIQFEED AG

Address before: Zurich

Applicant before: UNIQFEED AG

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant