CN112689992A - 使数码摄影相机与物理显示器上所示的替换图像内容同步的方法和装置 - Google Patents

Abstract

本发明涉及一种使数码摄影相机与物理显示器上所示的替换图像内容同步的方法和装置，包括：生成至少两组不同的图像数据，每组图像数据包括一系列单独的图像；生成主时钟信号(M)；在由所述主时钟信号触发的所述物理显示器上以时间切片复用的方式显示至少两组所述图像数据的图像，基于所述主时钟信号(M)生成相机同步信号(C)，生成相机致动信号(A)用以通过所述数码摄影相机捕获至少一个图像；基于所述相机同步信号(C)和所述相机致动信号(A)生成所述数码摄影相机的至少一个快门释放信号(S)；以及将所述至少一个快门释放信号(S)传输到所述数码摄影相机的快门控制单元。

Description

使数码摄影相机与物理显示器上所示的替换图像内容同步的 方法和装置

技术领域

本发明涉及一种使数码摄影相机与物理显示器上所示的替换图像内容同步的方法和装置。

背景技术

诸如发光二极管(LED)显示器之类的有源显示器广泛用作广告牌或招牌(signboard)，以向观看者传达信息或广告。通常，这种显示器用于体育赛事或娱乐活动。因此，这种显示器经常出现在针对各种不同观看者的电视广播(TV)或视频流中，典型的例子是具有不同母语或不同文化背景的不同国家的观看者。为了将这些显示器上显示的信息/广告定向为这些观看者的特定子集，已经开发了一些方法来改变通过电视广播或视频流观看显示器的观看者之间的显示器内容。

已有建议将广告作为视频序列的组成部分插入，例如，在视频序列中所示的广告牌上显示广告。例如，GB 2305051描述了一种用于视频图像中的自动电子替换广告牌的装置。然而，为了产生良好的观感并保持合成图像的自然外观，广告需要适应视频序列中的场景的其余部分。通常，这种方法需要人为干预才能获得高质量的结果。通常，就观看者的体验而言，这些基于电子或基于软件的方法通常不能让人满意，尤其是当广播方案涉及部分遮蔽广告牌的动态场景时。在国际专利申请WO2005/112476中，描述了允许在电视广播中的观看者之间改变显示器内容的方法。该现有技术文献描述了一种方法，该方法使得多个观看者能够观看同时显示在单个视频显示器上的若干视频流之一。然而，观看者需要使用与显示器上显示的视频流之一同步的快门观看眼镜。这种系统不适用于显示器本身的电视广播。

国际专利申请WO 2007/125350中所描述的解决方案缓解了这些问题。该现有技术文献描述了一种用于改变物理显示器内容的方法和设备，该物理显示器在电视广播的不同观看者之间的电视广播中作为场景的一部分出现。显示器内容包括指向出现在活动(例如体育赛事)中的观看者的直接观看者显示图像，以及指向电视观看者的广播观看者显示图像。物理显示器显示两个或更多个临时交错的数据内容实例，其中同步广播观看者的显示图像以显示所述数据内容实例之一。摄像机用于记录活动的场景，包括诸如招牌的物理显示器和用于使摄像机和招牌同步的控制系统。将由摄像机记录的包括所有不同数据内容实例的视频流馈送到解复用器，该解复用器生成对应于物理显示器所示的特定数据内容实例的单独馈源。WO 2007/125350中所描述的方法和系统需要专用摄像技术，其允许以比用于电视或视频广播的通常帧率高得多的帧率进行记录，原因在于摄像机需要捕获在招牌上显示的每个图像。而且，产生各个视频馈源的解复用器的计算能力必须相应地高。因此，WO2007/125350中所描述的方法需要新的专用设备，并且在体育赛事和娱乐活动中建立这种技术的相应成本很高。此外，利用WO 2007/125350所述的方法，会使活动中直接观看者的观看体验下降，这是因为即使在显示图像的时间间隔期间为广播观看者插入专用图像，仍会导致招牌的不稳定闪烁，这对于观看者来说时间太短以至于无法有意识地感知图像内容。

在国际专利申请WO 2018/138366A1和WO 2018/138367A1中，所公开的全部内容通过引用并入本申请中，其描述了一种新的技术系统，用于将物理显示器的替换图像内容传输给不同的观看者，该系统可以基于现有的摄像机和显示技术，从而允许新系统可以容易地、经济地且高效地部署在世界各地的多项运动和活动场地中，并且该新系统为视频流的观看者和活动的直接观看者提升了其用户体验。

这些文件公开了用于将物理显示器上的替换图像内容传输给不同的观看者的方法和系统，包括：生成至少两组不同的图像数据，每组图像数据包括一系列单独的图像；在所述物理显示器上以时间切片复用的方式显示至少两组所述图像数据的图像；生成包括所述物理显示器的场景的至少一个视频流，所述视频流包括与在所述物理显示器上显示的至少两组所述图像数据之一的图像所同步捕获的视频帧；以及将所述视频流传输到所述观看者的子集，其中至少一组图像数据包括图像序列和逆图像序列。如果显示在物理显示器上的至少两组不同的图像数据中的其中一组旨在由一个子集的观看者(例如，实际出现在体育场中的观看者(直接观看者))直接观看，而另外的图像数据组旨在由一个或多个不同子集的观看者(广播观看者)作为视频流来观看。因此，所述至少两组不同的图像数据包括一组图像数据，该一组图像数据将由用户的一个子集直接在所述物理显示器上有意识地观看(直接观看者)。然而，根据WO2018/138366A1中所描述的方法，由于直接观看者将不使用任何类似快门眼镜等设备来遮挡任何非预期图像，因此在物理显示器上显示的所有图像数据将有效地呈现给直接观看者。相反，选择不同图像数据组的帧的帧速率和显示周期，使得直接观看者能够根据人眼的生理约束有意识地仅感知预期供直接观看者观看的图像组。旨在经所述视频流传输的、仅由广播观看者感知的其它图像子集显示在物理显示器上，并且选择帧速率和图像显示周期，使得即使摄像机仍然能够捕获所述图像，但在人眼直接注视物理显示器时，并不会感知到所述图像。所述至少两组不同图像数据中的至少一组图像数据包括图像序列和逆图像序列。所述图像数据组所包括的图像旨在经视频流传输到观看者的子集，即广播观看者，并且该图像不应被直接观看者有意识地感知。所述图像数据组的逆图像不在生成视频流时捕获，而是在捕获用以生成视频流的相应图像之前或之后不久显示在物理显示器上。显示待捕获的图像和相应的逆图像之间的时间段应当足够短，使得物理显示器的直接观看者的人眼不能分辨该图像。因此，直接观看者感知预期用于视频流的图像的平均图像和相应的逆图像，从而减少物理显示器的直接观看者所经历的强度和/或颜色波动。

以这样的方式生成一组图像数据的每个前图像和/或后图像的逆图像，使得组合图像和逆图像为直接观看者产生具有均匀强度和/或均匀灰度值的感知图像。因此，可以进一步降低直接观看者的任何强度或颜色波动。

在WO 2018/138366A1中所描述的一个实施例中，所述至少两组不同的图像数据中的至少一组可以包括一组单色图像数据。因此，其中描述的方法也可作为基于软件的解决方案(键控技术)，其中物理显示器上的单色图像用于识别环境中的物理显示器的位置，并通过适当的图像处理技术，将单色图像替换成视频流的观看者所要观看的内容。在本实施例中，可以基于单色图像数据生成逆图像。因此，在常规键控技术中，直接观看者能够感觉到彩色闪光，相比之下，相应的逆图像的引入避免了直接观看者受到任何烦人的干扰。

在WO 2018/138366A1中所描述的另一实施例中，以高于用于广播观看者的图像数据组(或每一组图像数据)的帧速率呈现用于直接观看者的图像数据组。从生理学上可知，所谓的“闪烁融合阈值”(或闪烁融合率)是指间歇性光刺激对普通观察者而言似乎完全稳定的频率，除其他参数外，由调制频率、调制幅度或调制深度(即，光照强度从峰值下降的最大百分比)和平均(或最大)光照强度决定(费波二氏定律)。因此，即使用于直接观看者的图像数据被用于广播观看者的图像数据反复打断，但当用于直接观看者的图像数据在物理显示器上以更高的频率显示时，可以减少闪烁。因此，对于给定的帧速率，可以在物理显示器上多次显示用于直接观看者的每一帧图像数据，例如，可以在广播观看者的每一帧图像数据之前和/或之后的多个时隙中显示直接观看者的每一帧图像数据。

在采用WO 2018/138366A1或WO 2018/138367A1的广告牌显示技术的许多活动中，不仅生成了那些专利申请中所述的用于不同用户子集的视频流，而且仍然频繁捕获使用数码摄影相机拍摄的静态照片。通常，专业摄影师在场，为在线或印刷媒体拍照。而且，活动中的普通观看者(即上述直接观看者)通常会使用他们的移动电话相机或消费型数码摄影相机来拍照。在此类活动下拍摄的许多照片中，显示替换图像内容的物理显示器(例如LED广告牌)将成为图像场景的一部分。然而，由于物理显示器通过在物理显示器上以时间分片复用的方式显示不同的图像数据组来显示替换图像内容，因此摄影师在拍摄自己的照片时无法知道或控制在物理显示器上显示哪些照片。例如，专业摄影师只能在显示特定类型的视频广播观看者的图像内容的那一刻拍摄照片，这与摄影师的目标观看者不兼容。例如，许多国家对酒精饮料或香烟的广告实行了限制，这些国家的摄影师希望避免拍摄显示此类图像的照片。此外，可以在物理显示器上显示逆图像的时间段内或在物理显示器上显示的图像从一组图像数据变为另一组图像数据的时间段内拍摄照片。在这些情况下，所拍照片中物理显示的呈现将变差，从而降低照片的整体质量。

发明内容

因此，本发明所要解决的技术问题在于提供一种方法和系统，允许摄影师确保那些在物理显示器上显示替换图像内容的活动中拍摄的照片，在所述显示器上只显示明确定义的和控制的图像内容。

所述技术问题通过所附权利要求限定的方法和装置得以解决。

因此，本发明涉及一种使数码摄影相机与物理显示器上所示的替换图像内容同步的方法，包括以下步骤

生成至少两组不同的图像数据，每组图像数据包括一系列单独的图像，

生成主时钟信号，

在所述物理显示器上以时间切片复用的方式显示至少两组所述图像数据的图像，所述物理显示器由所述主时钟信号触发，

基于所述主时钟信号生成相机同步信号，

生成相机致动信号，用于通过所述数码摄影相机捕获至少一个图像，

基于所述相机同步信号和所述相机致动信号，生成所述数码摄影相机的至少一个快门释放信号，以及

将所述至少一个快门释放信号传输到所述数码摄影相机的快门控制单元。

根据本发明的方法，当摄影师希望拍摄一个或多个图像时，摄影师将通过按下或激活相应的按钮(例如远程控制器的启动按钮或相机本身的启动按钮)来生成相机致动信号。在正常相机操作模式下，相机致动信号将触发快门释放信号进行拍照。术语“快门”不仅指代例如在数码单反相机中使用的机械快门，而且还指代在移动电话的相机中或消费类数码摄影相机中使用的电子快门。更广义地说，术语“快门释放信号”指的是相机内部触发拍摄照片的信号。然而，当实施本发明的方法时，相机通常将从其正常操作模式切换到专用同步模式，例如通过具备专用的软件应用程序(app)的相机的固件来实现，尤其是移动电话的相机。在同步模式下，相机致动信号还不会触发拍摄照片。相反，用于实际拍摄照片的快门释放信号将不仅基于相机致动信号生成，还将基于相机同步信号生成。

在一个实施例中，相机同步信号可以直接基于负责在物理显示器上显示不同图像数据组的主时钟信号。基于主时钟信号，可以确定在特定时间将哪组图像数据的图像显示在物理显示器上。例如，主时钟信号的每个脉冲触发一系列图像，这些图像属于要在物理显示器上显示的不同图像数据组，其中相对于主时钟脉冲的特定时移对应于图像数据的特定子集。例如，在一个实施例中，旨在由直接观观看者有意识地观看的图像数据与主时钟脉冲同步显示。因此，对于希望捕获在物理显示器上显示此特定图像数据组的场景的摄影师而言，快门释放信号可以是通过相机同步信号(其可以是主时钟信号本身)和相机致动信号的互相关联而获得的信号。

如果要在捕获的照片上看到其他组图像数据，那么快门释放信号可以是相机同步信号(相对于主时钟信号进行时移)和相机致动信号的相互关联。

基于两者，相机同步信号，或者将主时钟信号直接用作相机同步信号的情况下，主时钟信号本身以及相机致动信号优选为简单的矩形脉冲。在本发明的意义上，“互相关联”可以仅是确定在给定时间是否存在相机致动信号和相机同步信号/主时钟信号或时移的相机同步信号。如果满足此条件，数码摄影相机将根据相机的设置生成快门释放信号并拍摄照片。

优选地，所述快门释放信号仅在作为相机致动信号(或主时钟信号本身)以及相机致动信号两者都激活的时刻生成。

在该实施例中，数码摄影相机将在物理显示器上捕获与相机同步信号同步显示的图像。然而，也可以捕获在主时钟信号之间显示的图像，即对应于不同图像馈送的图像。为此，在所述快门释放信号生成之前，相机致动信号可以相对于主时钟信号以预定的时间间隔进行时移。该预定时间间隔将根据摄影师所选定的图像馈送来确定。

可替代地，快门释放信号可以在传输到所述快门控制单元之前，以预定的时间间隔进行时移。这种特性可以在例如相机的固件中实现。

在一个实施例中，为每个相机致动信号生成多个快门释放信号，从而允许通过快门释放信号来触发一系列照片的拍摄。对于每个相机致动信号，也可以仅生成一个快门释放信号。

根据本发明，相机同步信号是“基于主时钟信号所生成的”。该术语必须广义地理解，而不仅仅是涵盖如上所述的主时钟信号本身提供用于生成相机同步信号的直接基础的实施例。相反，该术语还涵盖用于生成相机同步信号的间接方案。

例如，主时钟信号可以用于触发专用的LED，尤其是红外LED，可以将其布置在物理显示器本身上或摄影师常规视野内的其他位置。因此，可以通过经由数码摄影相机本身或经由附接到数码摄影相机的专用传感器来记录LED信号用以生成相机同步信号。因此，不需要布线来将触发信号传输到数码摄影相机。尤其是当数码摄影相机本身用于记录触发LED时，在相机侧不需要额外的设备，但是可以通过软件(固件或软件应用程序)实现从记录的LED信号生成相机同步信号。

在其它实施例中，在物理显示器上显示的图像数据组可用于生成相机同步信号。例如，数码摄影相机对物理显示器的记录将基于主时钟频率在数码摄影相机的传感器上生成特征调制。因此，通过使用图像处理软件，可以从用数码摄影相机的图像传感器来记录的强度变化中导出主时钟频率。例如，如果数码摄影相机使用滚动快门技术，则相机的旋转将会导致容易检测到的强度调节。对于全局快门数码摄影相机，合适的检测方法包括以高频率拍摄照片并通过对差分图像进行图像处理来得出主时钟频率。

许多数码摄影相机都包括内部时钟，通常是基于石英的时钟，这些时钟足够稳定，以便在典型的体育赛事中只需与主时钟同步一次或两次即可。因此，仅需要在活动之前以及可选地在活动中断期间实现同步。为此，可以将数码摄影相机通过有线或无线的方式连接到主时钟。或者，可以在活动发生之前或活动中断时显示基于主时钟的专用图像序列，可以通过数字摄影相机的图像处理软件对其进行分析，以使其内部时钟与主时钟同步。初始同步后，将根据内部时钟生成相机同步信号，该内部时钟与主时钟保持数十分钟甚至几小时的同步。

本发明还涉及一种使数码摄影相机与物理显示器上所示的替换图像内容同步的装置，包括

第一输入，用于基于外部主时钟信号的数据，

第二输入，用于相机致动信号，

处理单元，用于基于所述外部主时钟信号生成相机同步信号，并且基于所述相机同步信号和所述相机致动信号生成数码摄影相机的至少一个快门释放信号，以及

输出，用于将所述快门释放信号传输到所述数码摄影相机的快门控制单元。

根据本发明，如上所述，“基于外部主时钟信号的数据”可以是直接或间接基于主时钟信号的任何种类的数据/信号。这些“数据”包括主时钟信号本身、在物理显示器上显示的图像序列、专用LED信号、在物理显示器上显示的专用同步图像序列等。

在一个实施例中，本发明的装置是单独的盒子或壳体，其可以装配到具有用于快门释放信号的输入的任何合适的数码摄影相机。例如，合适的数码摄影相机可以是DSLR(数码单镜反光)相机或DSLT(数码单镜半透明)相机，以及诸如“傻瓜相机”或移动电话相机之类的消费类相机。虽然诸如单独的盒子或壳体可以是连接到特定数码摄影相机的专用盒子壳体，但是优选地，此类单独的盒子和壳体与数码摄影一起使用，另外具有内部时钟，以便在体育赛事期间仅与所述盒子/壳体进行一次或两次同步，而在赛事期间由内部时钟保持同步，以便在赛事期间无需额外的设备即可使用数码摄影相机。

适用于本发明的相机可以与滚动快门或全局快门技术一起工作。

相机致动信号可以通过常规的相机远程控制器生成。在另一个实施例中，致动按钮可以集成在装置本身中。因此，用于相机致动信号的输入将是内部输入，该内部输入将相机致动信号从致动按钮传输到装置的内部处理单元。

本发明的输入和输出可以是基于有线的或无线的，在后一种情况下使用例如蓝牙(IEEE 802.15.1)、WLAN(IEEE-802.11)或红外(例如IrDA)信号传输技术。具体而言，“第一输入”可以是用于基于外部主时钟信号接收数据的任何合适种类的输入，例如基于有线的电输入，用于无线信号的接收器以及光学传感器，特别是数码摄影、相机本身等。

在一个实施例中，本发明的装置将集成在数码摄影相机中，从而可以使用相机本身的集成释放按钮。同样地，本发明的装置可以集成在传统上与专业相机系统一起使用的电池夹中。当集成在数码摄影相机中时，本发明的装置可以用市售数码摄影相机中已经存在的组件来实现，而不需要对相机进行额外的物理修改。具体地，数码摄影相机的处理器可以用作所要求保护的装置的“处理单元”，其中本发明的方法通过相机中的软件来实现。而且，数码摄影相机的硬件或软件控件可以用于控制本发明的方法。例如，常规的DSLR或DSLT相机配备了指轮，可以对其进行重新编程以用作控制使用，用以选择在物理显示器上显示的所需图像数据组，这些图像数据应出现在拍摄的照片上和/或重新编程在仅使用相机的内部时钟来生成相机同步信号的时间段内校正同步的任何漂移。

在本申请的意义上，“图像数据组”对应于显示给观看者的一个特定子集的图像(无论是静止图像还是电影)。根据本发明，在物理显示器上示出至少两组图像数据，同时生成包括所述两组图像数据中的一组的至少一个视频流。以其最简单的形式，本发明的方法包括一组图像数据，该图像数据旨在用于活动的直接观看者，例如，实际出现在体育或娱乐活动中的观看者。第二组图像数据将定向到视频流的观看者。更一般地说，如果物理设备上显示的图像数据组包括直接观看者的图像数据，则生成的视频流的数量对应于图像数据组的数量减去一个。

在本发明的一个实施例中，该装置包括馈送选择器，该馈送选择器确定将要偏移主时钟信号或快门释放信号的预定时间间隔。

在本发明的一个实施例中，至少一组图像数据包括一系列图像和逆图像。

在本发明的一个实施例中，“一组图像数据”还可以包括空白图像，即时间间隔，其中在物理显示器上不显示图像。例如，如果活动的直接观看者或活动的参与者(例如足球或篮球运动员)不应被物理显示器上显示的内容(即广告)分散注意力，则这是可以期望的，因为在本实施例中，广告仅通过视频屏幕发送给广播观看者。

在本发明的另一实施例中，“图像数据组”可以包括单色帧，其可以用于识别物理显示器在视频流内的位置，以便将期望的广告插入到物理显示器的区域中。视频流使用传统的基于软件的键控技术。

根据本发明的另一优选实施例，物理显示器是发光二极管(LED)阵列/显示器。优选地，LED显示器是招牌或广告牌。

根据本发明的另一实施例，记录在一个或多个视频流中的场景是体育赛事或娱乐赛事的一部分。

附图说明

在下文中，将通过参考附图更详细地描述本发明的优选实施例。在附图中，

图1示出了根据本发明的第一实施例，用于使数字摄影相机与物理显示器上显示的替换图像内容同步的系统的示意性概图；

图2示出了降低如图1所示的物理显示器上的闪烁的示例性图像序列；

图3示出了如图1所示实施例中使用的单个相机单元的帧序列；

图4示出了本发明用于同步数码摄影相机的替代实施例；

图5示出了本发明用于同步数码摄影相机的另一替代实施例；

图6示出了用于如图1所示的物理显示器上捕获一组图像数据的信号方案；以及

图7示出了捕获不同图像数据组的信号方案。

具体实施方式

现在参考典型示例，即体育赛事的电视广播，更详细地描述本发明。

尽管本申请中描述的示例与50Hz的标准帧速率相关(反映了欧洲、亚洲、澳大利亚和南美洲部分地区的电力线频率和PAL广播规范)，但对于本领域技术人员来说显而易见的是，这里描述的概念也可以应用于其他标准帧速率，例如25Hz或60Hz(基于北美/中美洲和亚洲部分地区的电力线频率)，甚至是分数帧速率，例如NTSC广播系统的59.94Hz帧速率。

图1以示意图示意性地示出了本发明的第一示例性实施例。摄像机单元VC用于提供体育比赛的视频镜头，该体育比赛以(部分示出的)足球运动场10为例。在运动场10的侧线11处，安装了具有LED显示器13的广告牌12。广告牌12包括控制器14，其控制将静止和/或动画图像传输到LED阵列13。摄像机单元记录场景的初始高帧率视频流，该场景包括广告牌12的LED显示器13。可在本实施例中使用的典型摄像机单元VC是由索尼公司商业化的HDC4300摄像机，其允许以高帧速率记录场景。高帧速率视频流HFR(如图5)经由第一光缆20传输到中间处理单元22的第一连接21。中间处理单元22包括将第一连接21连接到第二连接24的信息桥接器23，第二连接24可用于经由第二光缆25将中间处理单元22连接到摄像机控制单元(CCU)26。摄像机控制单元26具有用于诸如外部相机控制、计数、提示器、返回视频等信号的附加输入/输出28。适当的中间处理单元22例如是基带处理单元(BPU)，例如由索尼公司商业化的BPU 4000提供。中间处理单元22还包括视频处理器27，用于将初始高帧速率视频流转换并路由到多个物理SDI输出O1、O2、O3等。SDI输出O1、O2、O3等提供正常帧速率视频流NFR(如图6)。

摄像机单元VC直接(未示出)或经由将主时钟15连接到摄像机控制单元26的线路29和光缆25、20从主时钟15接收主时钟信号M。

主时钟信号M也经由线路30馈送到接口17。接口17经由图像数据输入31接收图像数据并生成触发信号T，根据该触发信号T，图像数据经由线32被发送到LED显示器13，其中图像数据根据触发信号T而显示。选择触发信号T使得由摄像机单元记录的后续帧可以显示在LED显示器13上，以显示具有不同图像数据的记录场景。当然，也可以将图像数据预先存储在显示器13和/或接口17的存储介质中来发送。此外，接口17可以是广告牌12的一部分，使得线32作为广告牌12的内部电路的一部分。

图1示出了实现本发明的方法的第一实施例，该方法用于使数码摄影相机P与物理显示器(LED显示器)13上所示的替换图像内容同步。在图1的实施例中，主时钟信号M也经由线路50传输到数码摄影相机P。远程控制器51用于生成相机致动信号A，该信号经由线路52传输到数码摄影相机P。数码摄影相机P包括具有适于所述输入的第一输入54的输入单元53经由线路50接收外部主时钟信号M，以及适于经由线路52接收相机致动信号的第二输入55。在本实施例中，用于生成快门释放信号的处理单元集成在数码摄影相机P中。

或者，数码摄影相机P可以通过嵌入在广告牌12中的红外LED 16和/或布置在运动场10附近的专用红外LED 17来同步。红外LED a的触发信号可以由数码摄影相机P捕捉，而不会干扰到体育赛事现场的观看者。

图2示出了用于以将直接观看者的闪烁减少到最小的方式在LED显示器13上呈现图像数据和逆图像数据的优选方案。该方案在WO 2018/138366A1中有更详细的描述。

图2的实施例基于这样的假设：利用本发明所述方法发送的视频屏幕的正常帧速率对应于50Hz。在该实施例中，采用四组不同的图像数据：一组图像数据(馈送F0)旨在由直接观看者有意识地观看。另外三个附加馈送(F1、F2、F3)仅用于广播观看者有意识地观看。在所述的实施例中，还将馈送F0的图像数据发送到广播观看者的子集。因此，采用允许以200Hz的帧速率捕获视频的摄像机VC(或多个摄像机)，使得摄像机可以在50Hz标准帧速率的20ms时间段内捕获四个不同的帧(对应要发送的每个视频屏幕的一个图像帧)。

为了将直接观看者对馈送F0的感知的影响减至最小，在WO 2018/138366A1中建议，每一帧仅供广播观看者观看的帧后面都有一个逆图像的帧。然而，50Hz的帧速率(旨在由直接观看者有意识地观看的馈送F0)仍然容易闪烁。

图2中描述的方案允许通过增加呈现给直接观看者的馈送F0的图像组合的图像的感知帧速率来最小化呈现给直接观看者的图像的闪烁。如图所示，在广播观看者的每帧图像数据之前和之后的多个时隙中显示用于直接观看者的每帧图像数据。在图2的实施例中，标准帧速率50Hz的20ms时间段，即主时钟M的两个脉冲之间的时间段(参见箭头“M”)将细分为16个时隙，表示时隙S1、S2、S3、S4…、S15和S16。因此，每个时隙具有1.25ms的长度，并且4个时隙构成5ms的周期，即实施例中使用的摄像机的200Hz帧速率。因此，在时隙S1、S2、S3、S4中呈现打算由直接观看者有意识地观看的馈送F0的图像数据。时隙S1同样是由摄像机记录的时隙。在图2中，用符号“R”表示摄像机记录激活的时隙。在时隙S5中，仅用于广播观看者的馈送F1的图像帧将呈现在物理显示器13上并且也由摄像机所记录(参见符号“R”)。时隙S6显示馈送F1的图像的互补/逆图像C1，并且不被摄像机记录。然而，对于直接观看者，帧F1和C1的快速组合产生几乎不可感知的灰色图像，其不干扰预期用于直接观看者的主馈送F0的感知。此时，在时隙S9和S10中呈现图像数据F2和互补图像数据C2之前，在时隙S7和S8中再次呈现馈送F0的两帧。时隙S11和S12再次呈现馈送F0的图像数据，而时隙S13和S14为广播观看者展示第三馈送的图像数据F3和补充图像数据C3。然后，时隙S15和S16再次专用于为广播观看者馈送F0。

因此，旨在由直接观看者观看的馈送F0的图像数据以更高的帧速率呈现，从而最小化任何闪烁。

如果呈现给直接观看者(F0)的图像数据的强度高于呈现给广播观看者(F1、F2、F3)，以便将物理显示器13上显示的最小强度降低到深灰色/几乎黑色的值(假设所使用的摄像机的灵敏度足够高)。这还将进一步减少直接观看者的感知失真。在这实施例中，还可以将在时隙S1中呈现的图像的强度降低到与旨在用于广播观看者的图像的强度相同的水平，从而不需要对基于馈送F0的视频流进行特殊的相机自适应。在10个具有直接观看者图像数据的槽中减少一个槽的强度，仍然没有明显影响直接观看者感知的整体强度。

当然，可以为不同的标准帧速率(例如25Hz或60Hz)设计类似的方案。

基于图2的图像方案，图3示出了由摄像机单元VC以正常帧速率(50Hz)的四倍(即200Hz)记录的高帧速率视频HFR的帧序列。因此，在每个1/50秒(20ms)的时间间隔i中，记录下分别对应于馈送F0、F1、F2和F3的fi.0、fi.1、fi.2和fi.3四帧。帧经由光缆20传输到中间处理单元22(BPU)。因此，在20ms的第一记录周期内，分别记录每个馈送的第一帧，即f1.0(对应于图2中的时隙S1)、f1.1(时隙S5)、f1.2(时隙S9)和f1.3(时隙S13)。在随后的20ms周期中，记录每个信道的第二帧，即分别为f2.0、f2.1、f2.2和f2.3，依此类推。在中间处理单元22中，HFR视频流以这样的方式被路由到SDI输出O1、O2、O3、O4，使得每个馈送F0、F1、F2和F3的捕获图像被分配到专用SDI输出，例如馈送F0到输出O1、馈送F1到输出O1、馈送F2到输出O3、馈送F3到输出O4作为正常帧速率视频流(具体参见WO 2018/138366A1)。

图4示出了用于实现本发明的方法的替代实施例，其中具有壳体57的专用处理单元56，用于经由线路50接收来自专用远程控制器51的主时钟信号和经由线路52接收相机致动信号。为了简单起见，在附图中省略了与视频流生成和接口17相关的组件。用于生成快门释放信号的处理单元56集成在壳体57中。因此，分别用于主时钟信号M和相机致动信号A的信号输入54、55，现在位于处理单元56的外壳57处，处理单元56还提供输出58，用于将处理单元56生成的快门释放信号S经由线59发送到数码摄影相机P的输入单元53的输入60。图4的方案可用于所提供的任何市售摄像机输入60作为遥控信号。处理单元54可用于以适合于触发常规摄像机的快门的任何方式配置快门释放信号S。

图5示意性地描述了本发明的另一实施例，其中内部摄像机致动器61用于触发相机致动信号。因此，数码摄影相机P的输入单元53只需适于在输入60处经由线50接收主时钟信号M。

图6和图7描绘了根据本发明的方法用数码摄影相机P拍摄照片的信号序列。在这些示例中，我们假设根据图2的方案生成物理显示器13上的图像。因此，用于触发相机记录的触发信号R也可以用作(或可以对应于)用于数码摄影相机P的相机同步信号C1、C2、C3和C4，必须注意，这里所示的并非所有相机同步信号都适用于任何类型的数码摄影相机。例如，为了可靠地捕捉在广告牌显示器13上显示的图像的照片，滚动式数码摄影摄像机通常需要约3.3ms的图像帧持续时间。在图2的方案中，仅在相机同步信号C1处满足该条件，因为馈送F0的图像在对应于5ms的图像帧持续时间的四个连续时隙S1到S4中示出。相反，与相机同步信号C2、C3和C4相对应的图像仅在一个持续时间为1.25ms的时隙中示出。为了拍摄这些帧的照片，最好使用全局快门式数码相机。

为了图6所示的示例的目的，我们假设数码摄影相机P仅拍摄主馈源F0的照片。因此，图6a示出了相应的相机同步信号C1，其包括由20ms的时间间隔分隔的矩形脉冲。因此，图6a中的两个矩形脉冲之间的时间间隔对应于图2中描述的20ms周期。

图6b描述了例如由图1和图4的远程控制器51或由图5的数码摄影相机P的致动按钮61产生的持续时间约为160ms的相机致动信号A。

为了实现本发明的方法，处理单元生成图6c的快门释放信号S。在图6所示的示例中，快门释放信号S是相机同步信号C1和相机致动A的互相关联，产生八个矩形脉冲，其可用于触发一系列八张照片，每个照片被定时以仅捕获图2的序列的主馈送F0的图像。如时间线t₁所示，快门释放信号S的脉冲与相机同步信号C1的脉冲同步，如上所述，它们可以是主时钟信号M本身。如果使用图2的方案，则显然可以将曝光时间延长到1.2ms到4.8ms的时隙周期之外，因为在该方案中，前四个时隙显示相同的图像，即主馈送F0的图像。同样明显的是，处理单元可以配置成使得对于每个快门释放信号A仅创建一个脉冲。

图7描述了图6的处理方案的替代实施例。在本实施例中，处理单元将配置成将传入的相机同步信号C1偏移10ms的时间间隔Δt，使得在互相关联时，所得到的快门释放信号S也偏移相应的时间间隔Δt(参见时间线t₁)。因此，假设使用图2的方案触发物理显示，则数码摄影相机P将不捕捉主馈送F0，而是捕捉与时隙F9相对应的第二馈送的图像。同样明显的是，在本实施例中，曝光时间必须限制为1.25ms，因为前面和后面的图像槽F8和F10分别显示不应由数码摄影相机P拍摄的不同图像。

Claims (15)

1.一种使数码摄影相机与物理显示器上所示的替换图像内容同步的方法，包括：

生成至少两组不同的图像数据，每组图像数据包括一系列单独的图像；

生成主时钟信号(M)；

在所述物理显示器上以时间切片复用的方式显示至少两组所述图像数据的图像，所述物理显示器由所述主时钟信号(M)触发；

基于所述主时钟信号(M)生成相机同步信号(C)，

生成相机致动信号(A)，用于通过所述数码摄影相机捕获至少一个图像；

基于所述相机同步信号(C)和所述相机致动信号(A)，生成所述数码摄影相机的至少一个快门释放信号(S)；以及

将所述至少一个快门释放信号(S)传输到所述数码摄影相机的快门控制单元。

2.根据权利要求1所述的方法，其中，仅在所述相机同步信号(C)和所述相机致动信号(A)均处于激活状态时，生成所述快门释放信号(S)。

3.根据权利要求2所述的方法，其中，在所述快门释放信号(S)生成之前，将所述相机同步信号(C)相对于主时钟信号(M)以预定的时间间隔进行时间偏移。

4.根据权利要求2所述的方法，其中，在将所述快门释放信号(S)传输到所述快门控制单元之前，将所述快门释放信号(S)以预定的时间间隔进行时间偏移。

5.根据权利要求1至4中任一项所述的方法，其中，生成多个快门释放信号(S)。

6.根据权利要求1至5中任一项所述的方法，其中，主时钟信号(M)和/或所述相机致动信号(A)包括矩形脉冲。

7.根据权利要求1至6中任一项所述的方法，其中，所述物理显示器是LED显示器。

8.根据权利要求7所述的方法，其中，所述LED显示器是招牌或广告牌。

9.根据权利要求1至8中任一项所述的方法，其中，所述场景是体育赛事或娱乐活动的一部分。

10.一种使数码摄影相机与物理显示器上所示的替换图像内容同步的装置，包括：

第一输入(54)，用于基于外部主时钟信号(M)接收数据，

第二输入(55)，用于接收相机致动信号(A)，

处理单元，用于基于所述外部主时钟信号(M)生成相机同步信号(C)，并且基于所述相机同步信号(C)和所述相机致动信号(A)生成数码摄影相机(P)的至少一个快门释放信号(S)，以及

输出(58)，用于将所述快门释放信号(S)传输到所述数码摄影相机(P)的快门控制单元。

11.根据权利要求10所述的装置，其中所述第一输入(54)、用于接收相机致动信号(A)的所述第二输入(55)、用于生成至少一个快门释放信号(S)的所述处理单元和所述输出(58)集成在单独的壳体(57)中，所述壳体(57)能够通过所述输出(58)与所述数码摄影相机(P)外部连接。

12.根据权利要求10所述的装置，其中所述第一输入(54)、用于接收相机致动信号(A)的所述第二输入(55)、用于生成至少一个快门释放信号(S)的所述处理单元和所述输出(58)集成在所述数码摄影相机(P)中。

13.根据权利要求12所述的装置，其中所述第二输入(58)配置为从所述数码摄影相机(P)的致动按钮(61)接收相机致动信号(A)的内部输入。

14.根据权利要求10至12中任一项所述的装置，其中所述第二输入(55)配置为从远程控制器(51)接收相机致动信号(A)的外部输入。

15.根据权利要求11所述的设备，其中所述第二输入(55)配置为所述壳体(57)内部的内部输入，用于从设置在所述壳体上的致动按钮接收相机致动信号(A)。

Images