CN103366392A

CN103366392A - 为图像或图像序列添加辅助可视对象的方法及设备

Info

Publication number: CN103366392A
Application number: CN2013100631358A
Authority: CN
Inventors: M.温特; W.普兹克-罗伊明; J.杰查尔斯基
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2012-02-29
Filing date: 2013-02-28
Publication date: 2013-10-23
Also published as: EP2635021A2; EP2635021A3; BR102013004239A2; JP2013182618A; KR20130099887A

Abstract

描述了一种为图像（1）或图像序列添加辅助的可视对象（2,3,4,5,6,7,9）的方法。用户一请求添加辅助的可视对象（2,3,4,5,6,7,9），就获取至少包括有关图像（1）或图像序列中描绘的场景的三维结构的信息、并且与图像（1）或图像序列一起被提供的元数据。根据获取的元数据确定辅助的可视对象（2,3,4,5,6,7,9）在图像（1）或图像序列中的位置。然后根据确定的位置将辅助的可视对象（2,3,4,5,6,7,9）添加到图像（1）或图像序列。

Description

为图像或图像序列添加辅助可视对象的方法及设备

技术领域

本发明涉及一种为图像或图像序列提供辅助的可视对象的解决方案。更具体地说，本发明涉及一种为图像或视频场景，特别是体育场景添加辅助线或其他有用的可视对象的解决方案。

背景技术

在许多种运动中更加详细地分析情况是一个趋势。例如，在足球比赛中，越位的判定经常会受到质疑，或者讨论球是否真的落在球门线的后面。然而，对于某些视频场景来说，为了能够得到合理的结论，辅助线或其他有用的信息有着极高的价值。广播公司有时候会提供这种辅助线，但不总是会提供。用户对这种服务无法进行控制。

在这方面，US2010/0050082公开了一种在视频中插入可视对象（例如，图像、视频、图形、文本或广告）的方法。为了达到此目的视频分析模块对视频进行分析以获取感兴趣的点的位置，基该位置于确定插入位置。然后根据确定的插入位置插入可视对象。视待被插入的可视对象的类型而定，用户侧需要使用高性能的计算机。

本发明的一个目的是提出一种简化的为图像或图像序列添加辅助的可视对象的解决方案，用户可以至少部分地控制它。

发明内容

根据本发明，该目的通过使用一种为图像或图像序列添加辅助的可视对象的方法实现，该方法包括以下步骤：

-接收图像或图像序列的广播；

-获取与图像或图像序列一起被提供的元数据，其中所述元数据至少包括有关图像或图像序列中描绘的场景的三维结构的信息；

-接收显示辅助的可视对象的用户请求；

-根据获取的元数据确定辅助的可视对象在图像或图像序列中的位置；

-根据确定的位置将辅助的可视对象添加到图像或图像序列。

同样，一种用于回放图像或图像序列的装置适用于执行如上所述的将辅助的可视对象添加到图像或图像序列的方法。

根据本发明，其他的元数据（例如，3D相关的元数据）与视频数据一起发送。基于这些信息，接收器能够根据用户的需求将辅助线和其他辅助的可视对象添加到视频上。其他的元数据优选地包括有关记录摄像机和被记录场景（例如，庭院）的相对位置的信息或更普遍的深度或视差信息。有利地在运动场景的情况下提供球和/或球员相对于摄像机的位置。此外，为了能够除去光学畸变，有利地使得几何摄像机校准（geometrical camera calibration）可用。如果其他元数据还包括场景更加详细的深度或视差信息，那么甚至有可能由于场景中的其他对象（例如，球员）遮挡这些线或其他辅助的可视对象的一部分。替代性地，辅助的可视对象可以简单地是半透明的。这可以简化实施。

例如，用户可以使用辅助的可视对象独立于广播公司检查裁判是否正确地处理了某个运动场景。由于体育爱好者通常会花费大量的时间讨论一些关键情景，所以他们很重视能够像专业人士那样在家里分析这些场景。因此，根据本发明的解决方案可以为消费者带来他们需求的交互性。

场景图像和附加的3D相关的元数据的组合允许创建真实场景和虚拟场景的混合（mixture）。使用足够多的3D相关的元数据甚至可以实现场景中虚拟的“直升机飞行（helicopter flight）”。不幸的是，对场景中被遮挡的部分来说，通常没有足够多可用的信息。而球员、球和简单平面场地的位置是可用的。这对通过CGI场景（CGI：计算机生成的图像）获得动画飞行路线（animatedflight）来说足够了。机顶盒绘制球员作为对象，并计算该完全动画场景中的飞行路线。这足以获得有关3D场景的一些想法。当然，广播公司可以传送从其他摄像机导出的进一个的3D相关的信息。在这种情况下，机顶盒可以进行更加详细的3D建模，达到完美动画的效果。

附图说明

为了更好地理解本发明，现在将参照附图在下面的描述中进行更加详细的说明。应该理解的是，本发明并不限定于这些示例性实施例，可以在不脱离在所附权利要求书中限定的本发明的范围的情况下对特定的功能进行权宜的组合和/或修改。附图中：

图1示出了摄像机捕获的足球比赛的场景；

图2示出了带有两根附加的辅助线的图1的场景；

图3示出了带有半透明的辅助线和圆弧的图1的场景；

图4示出了带有球的轨迹的图1的场景；

图5示出了带有预期的球的轨迹和辅助线的图1的场景；

图6描述了电脑游戏的一个带有虚拟的球阴影的镜头；

图7示出了真实足球比赛的一个不带有任何球的阴影的场景；

图8描述了带有半透明阴影的图7的场景；

图9示出了带有全黑阴影的图7的场景；

图10描述了足球比赛的另一个带有被部分遮挡的虚拟的球阴影的场景；以及

图11示出了带有半透明的虚拟的阴影的图10的场景。

具体实施方式

下面将参照足球比赛对本发明进行说明。当然，大体的想法也适用于其他种类的体育运动，例如高尔夫球、美式足球、橄榄球等。并且，它不一定限于体育运动，也可以用于观看者重视可视提示的其他领域，例如突出显示纪录片中的动物。

图1示出了摄像机捕获的足球比赛的场景1。图像1构成图2-5所示的示例性辅助的可视对象的基础图像。根据本发明，场景以允许混合真实场景和虚拟场景的格式广播。为了达到这个目的，提供更多的有关真实场景的元数据，例如由广播公司在记录场景的过程中生成。更多的元数据包含有关摄像机相对于被记录场景（例如，足球场）的地点的信息。基于广播场景和更多的信息，用户的机顶盒能够在场景上添加虚拟的辅助线或其他的可视对象。如果深度或视差信息也是可用的，那么甚至可能由于摄像机和虚拟的线之间的对象（例如，球员）遮挡这些线的一部分。

图2示出了带有两根添加的辅助线的图1的场景。引入第一辅助线2以确定越位位置。第二辅助线3示出了从射门到球门的直接距离，在此情形中为23.1米。在图2所示的实例中，球员遮挡了线2和3的一部分。这是通过分析与画面相关联的视差信息实现的。

图3示出了带有另外一根用来确定越位位置的辅助线2的图1的场景。该辅助线2是半透明的，这可以简化实施方式。此外，第二辅助线3和圆弧4示出了单一距离（single distance），在此情形中为9.15米。

图4示出了带有飞行的球的轨迹5的图1的场景。在此情形中距离基于元数据被标示为7.1米。可以取代或者除了飞行的球的轨迹5之外，还添加虚拟的球阴影的轨迹6，并示出相应的距离，在此为7米。对虚拟的球阴影的轨迹6，假定中午太阳在赤道上。

图5示出了带有整个场景的轨迹5和6的图1的场景，即它包含了对将来的展望。这只有对暂停的场景（即已知的将来）来说才是可能的，因为实时计算出这样的预测轨迹5、6的要求极高。同样示出了飞行的球的轨迹5和虚拟的阴影的轨迹6，相应的距离分别为23.2米和23.1米。此外，球的位置用辅助圆7标示。

图6描述了电脑游戏的一个带有球8的虚拟阴影9的镜头。阴影9用来改善对球8的感知。对于虚拟的球阴影，假定中午太阳在赤道上。

作为对比地，图7示出了真实足球比赛的一个不带有任何球阴影的场景。正如可以看到的，确定球的位置是不可能的。

优选地使用更多的有关真实场景的元数据，尤其是深度或视差信息，来确定对象的运动轨迹，计算虚拟阴影的位置，并将其正确地放置到场景中。这被示意性地示于图8-12。

图8描述了带有来自虚拟的太阳的半透明阴影9的图7的场景，对此再次假定中午太阳在赤道上。

类似地，图9示出了带有来自虚拟的太阳的全黑阴影的图7的场景。

图10示出了足球比赛的另一个带有来自虚拟的太阳的全黑的虚拟的球阴影9的场景1。然而，在这种情况下，虚拟的球阴影9被一个球员的身体部分遮挡。如果其他的对象（例如，球员）将会遮挡真实的阴影，即位于虚拟阴影和摄像机之间，那么对阴影9进行正确的隐藏。该特征利用可用的深度或视差信息，并优选地可由用户启用和关闭。为了达到此目的，需要在消费者一侧，即在具有必要能力的机顶盒或电视机上计算阴影9。接收到的流中包含用来计算和预测模拟阴影的所有合适的数据。

最后，图11示出了带有来自虚拟太阳的真实的球的半透明虚影9的图10的场景。与图10相比，阴影9不存在被遮挡的部分。

通常地，球的阴影并不需要在全部时间内都是可用的。例如，球的阴影可以以与球的高度相关的形式添加。根据一种可能性，虚拟的球的阴影的透明度随着球的高度的增加而减小。替代性地，只显示高度高于特定水平（例如，1米）的球的虚拟的球阴影。这就避免了在特定的场景中（例如，在运球过程中）出现不必要的甚至是干扰的阴影。当使用上述方法或其它合适的方法的时候，虚拟的球阴影可以在整个实况足球比赛中都非常活跃（active），而在球的位置显而易见的情况下没有干扰的阴影。

被传输的更多的数据也同样适用于其他的可视提示。例如，可以在场景中添加跟随某个球员的光尾（light tail）或跟随某几个球员的平行光尾。在真实场景或从可用数据生成的人造场景中，也可以突出显示场地的某些区域，或者甚至可以移动由机顶盒做过适当的遮挡处理的球员。这将大大提升对比赛进行分析的可能性。

Claims

1.一种为图像（1）或图像序列添加辅助的可视对象（2,3,4,5,6,7,9）的方法，所述方法包括以下步骤：

-接收图像（1）或图像序列的广播；

-获取与图像（1）或图像序列一起被提供的元数据，其中所述元数据至少包括有关图像（1）或图像序列中描绘的场景的三维结构的信息；

-接收显示辅助的可视对象（2,3,4,5,6,7,9）的用户请求；

-根据获取的元数据确定辅助的可视对象（2,3,4,5,6,7,9）在图像（1）或图像序列中的位置；以及

-根据确定的位置将辅助的可视对象（2,3,4,5,6,7,9）添加到图像（1）或图像序列。

2.如权利要求1所述的方法，其中所述辅助的可视对象（2,3,4,5,6,7,9）是实线或半透明线（2,3,4,5,6）。

3.如权利要求2所述的方法，其中所述的实线或半透明线（2,3,4,5,6）是对象（8）的轨迹（5）或对象（8）的阴影的轨迹（6）。

4.如权利要求1所述的方法，其中所述辅助的可视对象（2,3,4,5,6,7,9）是对象（8）的标识符（7）。

5.如权利要求1所述的方法，其中所述辅助的可视对象（2,3,4,5,6,7,9）是对象（8）的虚拟阴影（9）。

6.如权利要求5所述的方法，其中所述虚拟阴影（9）的呈现与对象（8）的高度有关。

7.如权利要求1所述的方法，其中所述辅助的可视对象（2,3,4,5,6,7,9）标示两个对象之间的距离。

8.如权利要求1-7中任何一项所述的方法，其中所述有关图像（1）或图像序列中描绘的场景的三维结构的信息是深度或视差信息。

9.一种用于回放图像（1）或图像序列的装置，其特征在于，所述装置（10）适应用于执行如权利要求1-8中任何一项所述的为图像（1）或图像序列添加辅助的可视对象（2,3,4,5,6,7,9）的方法。