CN104935826A

CN104935826A - 用于处理视频序列的方法、相应的设备、计算机程序和非瞬时计算机可读介质

Info

Publication number: CN104935826A
Application number: CN201510119154.7A
Authority: CN
Inventors: 罗南·伯特德; 多米尼克·托罗; 杨妮克·奥利维耶; 菲利普·古约泰尔
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2014-03-18
Filing date: 2015-03-18
Publication date: 2015-09-23
Also published as: US9489726B2; US20150269714A1; EP2922288A1; EP2922289A1; BR102015006040A2; KR20150108774A; JP2015180062A

Abstract

本发明涉及一种用于处理由至少两个视频图像形成的视频序列的方法，所述方法包括：使用第一捕获模块(120、41)以第一视场(C1)获得(13)所述至少两个视频图像，每个视频图像表示在不同时刻或从不同的视点捕获的相同场景，其中，所述方法包括：根据由第二捕获模块(121、42)以第二视场获得的至少一个总体图像确定(15)亮度信息，所述第二视场大于所述第一视场，所述总体图像表示在不同时刻或从不同的视点捕获的所述场景；在考虑所述亮度信息的情况下，对所述视频图像的动态范围进行下转换(16)。

Description

用于处理视频序列的方法、相应的设备、计算机程序和非瞬时计算机可读介质

技术领域

本发明涉及图像处理中实现的动态范围转换的一般领域。

动态范围的定义是对应于亮度的可改变的量的最大和最小可能值之比，其中亮度是在给定方向传送的光的单位面积中光照强度的光度测量(亮度的单位是cd/m²)。

具体地，本发明可用于减小图像或图像序列的动态范围(所述图像还称为“帧”)。换言之，本发明可用于改变所述图像的像素(或所述图像序列中的每个图像的像素)的亮度值(该亮度值属于预定原始动态范围)以获得属于低于预定原始动态范围的动态范围的亮度值。

本发明尤其可用于针对摄影或视频应用的图像处理，具体地，用于复原高动态范围图像(HDR)，HDR可以更准确地表示实际场景中存在的强度级别的范围。

背景技术

2.1介绍

人类对光的感应具有非常高的动态范围。人们可以在星光下(尽管在低光亮级别下对颜色的区分减弱)或在强烈的阳光下观看物体，即使在无月光的夜晚物体接收到的光强只有阳光明媚时的光强的十亿分之一也是如此：即，动态范围达30个光圈数。

实际上，很难使用电子设备来实现人类所体验到的完全动态范围。即，打印、LCD显示器或投影仪的显示能力具有有限的动态范围(或低动态范围LDR)，其不足以重现自然场景中所呈现的光强的整个范围。

已经发展了高动态范围(HDR)数字视频方案，以用于更准确地表示实际场景中存在的强度级别的范围。HDR图像可以捕获的信息要多于可在具有低动态范围(LDR)的传统屏幕上显示的信息，并且HDR图像通常借助对相同对象的多个不同曝光相片来捕获信息。

换言之，非HDR(或LDR)相机使用有限的曝光范围来拍照，导致在亮或暗的区域中会损失细节。HDR通过以不同的曝光级别来捕获多个相片并将这些相片加以组合来补偿该细节损失，以产生代表更大的色调范围的相片。

此外，近几十年以来，算法已发展到能够在阴影中以及在高光强下对图像进行不同的映射，以更好地分布图像上的光照范围。这些技术已知为色调映射，并且允许将高动态范围图像(HDR)或HDR视频序列转换为低动态范围(LDR)图像或LDR视频序列。

2.2色调映射算子(operator)

这种色调映射首先依赖于色调映射算子(TMO)，其用于修改使用HDR捕获模块捕获的源图像的动态，以获得具有低动态范围的得到的图像，以使得这种得到的图像呈现出适于在LCD显示器上显示的动态。

在下文中，“修改图像的动态”对应于转换、适配或修改图像的亮度分量(即，亮度分量值)。

如果源图像(一旦其动态范围已被修改)专用于一种显示系统，则亮度分量被量化和编码，以便与显示标准(例如BT 709等)兼容。在这种情况中，其不被称为“亮度”分量，而是通常被称为“luma”分量。

从而，色调映射技术对亮度分量和luma分量同样地适用。

在已知的色调映射算子(TMO)(还称为色调再现器)中，可引证PTR色调映射算子，其具体描述参见由E.REINHARD等发表的论文Photographic tone reproduction for digital images”，ACM transactions onGraphics，21，267-276(July 2002)。

“不加思索地”将TMO应用于HDR视频序列的每个帧导致时间伪像。为了处理变幻的伪像，其它色调映射算子基于对取决于动态范围将被转换的当前图像的像素的关键字(key)的使用以及基于在图像序列中当前图像的前一个图像的预定数量的像素(参见由KANG S.B等发表的论文“High dynamicrange video”，ACM transactions on Graphics，Proceeding ofACM SIGGRAPH，volume 22，Issue 33，July 2003pages 319-325)。

还存在使用视频序列中多个之前的图像的色调映射算子，其中所述视频序列已根据当前图像的关键字和之前图像的关键字动态地适配，参见RAMSEY S等的论文“Adaptive temporal tone mapping”，ComputerGraphics and Imaging-2004(3)，3-7(2004)。

其它色调映射算子将具有人视觉系统(HVS)的视觉响应的原始图像与亮度值属于适于屏幕的动态范围的图像进行比较，参见MANTIUKR.的论文″Display adaptive tone mapping″，ACM Transactions on Graphics27，1(Aug.2008)，其提供具有在屏幕上的最少失真可能的视觉感知的图像。

为了处理时间伪像，以上方案使用视频序列中的时间上接近的图像来对亮度的突然改变进行平滑。然而，较长的时间范围将引入时间明暗度(brightness)非相干性，所述明暗度在HDR视频序列的两个区域之间的相对明暗度在色调映射期间得以保持(在空域和时域两者中)的情况下在被色调映射的内容中相干。但是，由于TMO针对每个图像(或帧)独立地使用所有可用的显示范围，所以在整个色调映射操作期间不保持HDR明暗度相干性。因此，在HDR序列中被认为最亮的区域不必是LDR序列中最亮的。

2.3色调映射后处理

为了保持被色调映射的得到的图像之间的明暗度相干性，发明人之一提出了明暗度相干性技术(Brightness Coherency，称为BC技术)，参见BOITARD R.等的论文“Temporal coherency for video tone mapping”，inProc.SPIE Conference Series，volume 8499 of SPIE Conference Series，2012。

这一技术依赖于对视频序列中的每个图像(或帧)的总体明暗度的指示。通过将HDR视频序列中的最亮图像(即具有总体明暗度的最高指示的帧)作为锚，每个其它色调映射图像都相对于该锚被而缩放。

由于每个图像都相对于锚被处理，所以即使在非相邻的图像之间，时间明暗度相干性也得以保持。

这一技术的一个缺点在于，其只处理总体明暗度而不解决局部明暗度相干性。为了解决这一方面，发明人提出了区域明暗度相干性(ZonalBrightness Coherency，称为ZBC技术)，参见BOITARD R等的论文“ZonalBrightness Coherencyfor video tone mapping”，Signal Processing：ImageCommunication(available online 16October 2013，http：//dx；doi.org/10.106/j.image.2013.10.001)。

更确切地，根据这一技术，使用对HDR图像进行的基于柱状图的分割将每个图像分成分段。然后，根据得到的图像分段来定义视频区域，并且将明暗度相干性(BC)技术独立地应用到每个视频区域。

这种区域明暗度相干性(ZBC)技术保持每个图像中的时间明暗度相干性和空间对比度。

2.4现有技术的缺点

现有技术的TMO的算子独立地应用于视频序列的每个图像上，导致包括时间明暗度非相干性的时间伪像，而且明暗度相干性技术需要来自不同于当前图像的其它视频序列图像的信息。

此外，在涉及动态范围转换的一些情况中，需要视频序列的所有其它图像以获得高效的结果。换言之，一旦捕获了属于视频序列的所有图像，则可实现后处理，以发现针对最佳动态范围转换的更加相关的亮度信息。

然而，当考虑实时网络广播(其中在时刻t，“未来图像”中的信息不是已知的)时，这种需求是不可实现的。

事实上，对时间缓冲器的使用导致与实时限制不兼容的处理周期。从而，现有技术的方法(不管是不是使用明暗度相干性技术)不允许在实现实时广播时保持时间相干性。

发明内容

本发明提出了一种新的方案，作为处理视频序列的方法，所述方法包括以下步骤：使用第一捕获模块获得至少一个图像，所述至少一个图像采用第一捕获角表示场景，所述至少一个图像被称为视频图像。

根据本发明，所述方法还包括以下步骤：

-通过使用不同于所述第一捕获模块的第二捕获模块，获得对应于采用第二捕获角表示所述场景的至少一个图像的元数据，其中所述第二捕获角严格大于所述第一捕获角，所述至少一个图像被称为总体图像，所述总体图像包括所述视频图像；

-根据对应于所述总体图像的所述元数据确定亮度信息；

-在考虑所述亮度信息的情况下，对所述视频图像的动态范围进行转换。

因此，根据本发明对视频序列的处理基于对根据图像确定的亮度信息的考虑，所述图像不属于所述视频序列并且是由与用于捕获视频序列的图像的捕获模块不同的捕获模块捕获的。

事实上，对视频序列的这一处理允许对关于用于捕获视频序列的视频图像的捕获模块的捕获角的亮度信息的捕获角进行放大。

亮度信息被认为是对应于亮度或luma值(对应于亮度分量，其被定量和编码，以便与显示标准兼容)的信息。

例如，这种亮度信息是位于视频序列中的一些视频帧之外的场景中的点(或区域)的亮度的最大值，比如照亮足球赛的阳光所提供的亮度的最大值，其中录像机只聚焦于场地，而不会照向天空。

从而，有可能在所考虑的时刻t捕获的视频图像的范围不包括场景中具有最大亮度值的点，有利地，对最大值的这种了解是根据本发明通过具有使用不同的捕获模块以更大的捕获角捕获的第二图像提供的。

例如，第一捕获模块是传统的数字电影相机，例如由或制造的具有预定帧速率(单位是fps，帧每秒)的相机。胶片上的电影几乎无一例外地以24fps来放映。然而，电视不具有国际上接受的帧速率。在欧洲及许多其它国家，PAL和SECAM使用25fps，而北美和日本的NTSC视频则使用29.97fps。其它常用帧速率通常是这些的倍数。有利地，一些数字视频格式在单个格式内支持多个帧速率，允许可变帧速率视频记录和录影(24fps)兼容。

第二捕获模块是例如能够自动且快速地创建具有高分辨率以及可选的高动态范围(HDR)的全景或全球面图像(360°x 180°)的相机系统。这种第二捕获设备对应于例如或Panoscan的相机，其速率是每5秒一个总体图像(对应于全景图像)或每秒一个总体图像。

从而，只通过考虑与序列视频有关的已知亮度信息(像现有技术中一样)不会实现对视频图像的动态范围的转换，而需要通过考虑与表示由第二捕获模块捕获的总体场景的元数据有关的外部亮度信息来实现。

因此，这种外部亮度信息允许容易地且实时地检测由视频捕获模块(例如相机)捕获的总体图像的最相关亮度信息，以用于实时地应用对视频序列的每个图像的动态范围的转换。

从而，对于在时刻t处捕获的视频图像，使用这种来自表示总体场景的图像的外部亮度信息允许提前了解稍后在视频序列中可能出现的最大亮度值。

因此，根据本发明的方法允许在保持整个视频序列的时间相干性的同时实时地减小动态范围。可通过将根据本发明的方法用于实时广播低动态范围内容来利用这一优势，其中进行获取所使用的相机的动态范围要高于将要广播的内容的动态范围。

此外，由于这种亮度信息对应于场景的实际亮度信息，所以动态范围转换并不是任意地或通用地实现的，而是通过仅使用在所捕获的场景中实际存在的自然亮度信息来最优实现的。

根据本公开的一个具体方面，所述根据所述总体图像确定亮度信息的步骤还包括以下在先步骤：确定所述视频图像在所述总体图像中的位置。

这种对视频图像在总体图像中的位置的确定事实上允许相对于第二捕获模块的位置来定位第一捕获模块的位置。换言之，这一在先步骤允许检测视频图像和总体图像之间的公共部分，并进而检测总体图像中位于所考虑的视频图像之外的部分。

从而，用来确定所考虑的视频图像在总体图像(对应于例如全景图像)中的位置的这一在先步骤允许获得这两个图像之间的空间同步。

位于所考虑的视频图像之外的这些部分尤其有用，这是因为它们包含场景的亮度信息，这些信息是无法仅从在时刻t处考虑的视频图像或视频序列的之前视频图像获得的。

根据该实施例的变形，可使用已知技术来实现确定所考虑的视频图像在总体图像中的位置的步骤，该步骤实施了例如示出了由第一捕获模块捕获的视频图像和由第二捕获模块捕获的总体图像之间的对应区域的下列步骤：

-提取视频图像的兴趣点(也称为“关键点”)；

-在总体图像中提取视频图像的相同兴趣点，以及获得这些兴趣点的局部图像描述符(descriptor)；

-比较分别与视频图像和示例图像相关联的描述符，以获得具有相似描述符的兴趣点对，可实施判决阈值以提供“好”对的数量；

-确定用于将视频图像的兴趣点与总体图像的兴趣点进行匹配的变形模型(单应的或其它)(即，用于通过将之前获得的所述对中的点从其起始位置移动到其到达位置来将视频图像变换成总体图像)；

-将变形模型应用于视频图像，以获得失真的(或扭曲的)视频图像(即对齐的)，该图像与总体图像在几何上相似。

针对关键点提取(其还可被称为关键点检测)，可使用多种已知技术，例如：Harris&Stephens/Plessey/Shi-Tomasi角检测算法、来自加速分段测试的特性(FAST)技术、缩放不变特性变换(SIFT)、加速鲁棒特性(SURF)技术、二进制鲁棒不变可缩放关键点(BRISK)。

针对描述符提取以及针对兴趣点匹配，可实施例如上述SIFT和BRISK技术，或实施另一技术，比如二进制鲁棒独立基本特性技术(BRIEF)。

根据该实施例的一种具体变形，所述确定所述视频图像在所述总体图像中的位置的步骤通过确定失真度量来执行。

例如，这种失真度量可以使用已知的图像失真算法从两个图像的不同像素特性(例如运动、颜色、纹理、亮度等)开始执行。

根据该变形的一个具体方面，所述失真度量对应于以下绝对差之和：

{Dist}_{dx, dy} = Σ_{x = 0}^{N - 1} Σ_{y = 0}^{M - 1} \sqrt{{(C (x, y) - S (x + dx, y + dy))}^{2}}

其中C表示所述视频图像的预定元数据的值，S表示具有高度N和宽度M的所述总体图像的所述预定元数据的值，(x，y)是所述视频图像的起始点的坐标，(dx，dy)是所述视频图像在所述总体图像中的测试位置的坐标，所述位置对应于所述总体图像中的点，该点的坐标对应于使失真Dist_dx，dy最小化的坐标对(dx，dy)。

如上所述，值C和S可对应于像素的另一特性，比如颜色、空频和/或时频子带。

换言之，所述总体图像中的得到的点(其坐标对应于使失真Dist_dx，dy最小化的坐标对(dx，dy))对应于视频图像中坐标为(x，y)的点的位置，例如视频图像的第一个左下像素(在视频图像中坐标为(0，0))对应于总体图像的第一个左下像素(在总体图像中坐标为(0，0))。

根据该变形的另一特殊方面，所述失真度量被确定至少两次，每一次向所述视频图像和所述总体图像两者应用不同的缩放。这方面允许解决当所考虑的视频图像和总体图像呈现不同的分辨率时出现的间题。

从而，如果考虑了缩放s，则最小化失真的三元组(dx，dy，s)允许检测所述视频图像在所述总体图像中的位置。

根据该变形的另一具体方面，所述确定所述视频图像在所述总体图像中的位置的步骤事先针对所述视频图像或针对所述总体图像实施以下步骤：

-校正步骤，给出(deliver)所述视频图像的至少一个码值和至少一个物理值之间的函数或给出所述总体图像的至少一个码值和至少一个物理值之间的函数；

-对所述函数进行反转的步骤，给出所述视频图像或所述总体图像的物理值。

具体地，在视频图像和总体图像的动态范围不同(一个例如处于高动态范围，而另一个处于低动态范围(LDR)图像)时实施该方面。

事实上，由于HDR值表示物理绝对值，扩展所考虑的视频图像和总体图像中的一个或两个的动态范围以实现HDR值确保了可在之后对它们进行比较。

为了恢复视频图像或总体图像之一的物理值，可以校正第一和/或第二捕获模块。

如MANN S.等的论文“On being“Undigital”With Digital Cameras：Extending dynamic Range by combining Differently Exposed Pictures”(Proceedings of IS&T 46^th annual conference(May 1995)，pp 422-428)中所公开的一样，校正包括测量相机响应函数(CRF)。一旦CRF是已知的，则能够对在捕获模块之一中应用的非线性变换进行反转并且能够获得图像的物理值(具体地，亮度)。

根据本公开的另一方面，所述确定所述视频图像在所述总体图像中的位置的步骤包括对所述总体图像进行裁剪的步骤。

事实上，有利地，一旦已知了视频图像在总体图像中的位置，则能够规定总体图像的尺寸，以便减小用于确定亮度信息的区域。

从而，确定亮度信息的后续步骤被优化，其实施将消耗较少的时间。

可选地，所述裁剪步骤可考虑针对处理所述图像(或帧)(其在当前考虑的帧之前)而实施的在先的裁剪步骤的结果。

从而，关于用于之前视频图像的经过裁剪的总体图像，用于确定亮度信息的区域的减小将被优化(换言之，将增加)。

根据本公开的该方面的第一变形，所述裁剪步骤包括所述第一捕获模块的运动预测的步骤。

关于该方面，在考虑第一捕获模块(例如相机)的运动的情况下，缩小总体图像。因此，通过将总体图像聚焦于第一捕获模块的完整轨线，运动预测有助于优化对总体图像的裁剪。

从而，针对当前视频图像，如果对视频序列的动态范围的良好转换所需的相关亮度信息来自视频序列的后续图像之一(根据现有技术的方法，这不允许对动态范围进行实时转换)，则本发明允许实现实时转换，这是因为，通过考虑相机在捕获视频序列期间的轨线，可在经过裁剪的总体图像中实时地找到这种信息。

此外，考虑针对处理所述图像(或帧)(其在当前考虑的帧之前)而实施的在先的裁剪步骤的结果还有助于减少所述捕获模块的运动预测步骤的时间。

根据另一变形(其与在先的变形相组合或不组合)，所述裁剪步骤包括确定所述第一捕获模块的图像捕获自由度的步骤。

该方面与由第一捕获模块实施的视频摄制运动被所捕获的主题的本质“限制”的情况有关，例如体育比赛，其中将在明显小于全球面的空间中捕获视频序列的所有图像。

从而，不必使用由第二捕获模块给出的整个总体图像(例如球面图像(360°x 180°))，而是使用对应于以视频图像的位置为中心的“半球面图像”的经过裁剪的总体图像。

根据另一变形(其与在先的变形结合或不结合)，所述裁剪步骤考虑由用户输入的元数据。

例如，所述元数据是在获得对应于所述总体图像的所述元数据的步骤之前输入的或是在实施裁剪步骤时由用户输入的。

这种变形允许设置给出总体图像的第二捕获模块的参数。因此，由第二捕获模块(其参数此前已由用户(通常称为摄影指导)定义)给出的总体图像和相应元数据分别直接地对应于只包括对于后续的确定亮度信息有用的元数据的优化总体图像。

换言之，由此前被用户调整过的第二捕获模块给出的元数据或图像根据用户的需要而被直接地且优化地裁剪。

根据一种实施例，所述转换所述视频图像的动态范围的步骤实施使用所述亮度信息计算色调映射算子的步骤。

从而，根据该实施例，传统的色调映射算子被直接地修改，以考虑到全景中的最相关的亮度信息。

根据另一实施例，所述转换所述视频图像的动态范围以考虑所述亮度信息实施以下步骤：

-对所述视频图像进行色调映射，给出至少一个色调映射图像；

-区域明暗度相干性分析，考虑所述亮度信息，给出所述总体图像的锚区域；

以及，实施以下连续步骤：

-使用所述总体图像的所述锚区域对所述视频图像的所述至少一个色调映射图像进行修改，给出至少一个经过修改的色调映射图像；

-使用所述经过修改的色调映射图像对所述视频图像进行色调级别重新分布；

-将所述视频图像的浮点值转换为整数码值。

换言之，虽然在现有技术中将区域明暗度相干性(ZBC)只应用到视频图像，但根据本公开，使用基于柱状图的分段将总体图像或经过裁剪的总体图像分成分段或视频区域，并且将明暗度相干性(BC)技术独立地应用于每个视频区域。

这种区域明暗度相干性(ZBC)技术在传统色调映射(即，TMO未被修改)之后应用，并通过考虑由不同于用于捕获视频序列的捕获模块的捕获模块给出的亮度信息来实时地保持视频序列的每个视频图像中的时间明暗度相干性和空间对比度。

本公开的另一方面涉及用于处理视频序列的设备，所述设备包括：第一捕获模块，能够获得至少一个图像，所述至少一个图像采用第一捕获角表示场景，所述至少一个图像被称为视频图像，其中所述设备还包括：

-第二捕获模块，所述第二捕获模块不同于所述第一捕获模块，并且能够获得对应于采用第二捕获角表示所述场景的至少一个图像的元数据，其中所述第二捕获角严格大于所述第一捕获角，所述至少一个图像被称为总体图像，所述总体图像包括所述视频图像；

-确定模块，用于根据对应于所述总体图像的所述元数据确定亮度信息；

-转换模块，用于在考虑所述亮度信息的情况下对所述视频图像的动态范围进行转换。

这种用于处理视频序列的设备尤其适于实施如上所述的用于处理视频序列的方法。

根据所述设备的一个具体方面，所述第一捕获模块和所述第二捕获模块具有用于分别获得所述视频图像和所述总体图像的不同捕获频率。

例如，一方面，第一捕获模块是传统的数字电影相机，例如由或制造的具有根据PAL和SECAM标准对应于例如25fps(帧每秒)的预定帧速率的相机。

另一方面，第二捕获模块对应于例如或Panoscan的相机，其速率是每5秒一个总体图像(对应于全景图像)或每秒一个总体图像。

换言之，如果使用了具有25fps的帧速率的第一捕获模块和具有等于每5秒一个总体图像的帧速率的第二捕获模块，则使用相同的总体图像来处理视频序列的125个连续视频图像。

使第二捕获模块具有每5秒捕获一个总体图像的帧速率允许考虑亮度的时间演变，比如在明暗度迅速变化的日落时分有关的亮度。

第二捕获模块的这种帧速率从而允许增强对根据本发明转换了动态范围的视频序列的实际感知。

当然，该设备将包括与上文所述的根据本发明的用于处理视频图像的方法有关的不同特征，其中可整体或单独地采用这些特征。因此，该设备的特征和优势与用于处理视频序列的方法的特征和优势相同。因此，将不再详细对其进行描述。

本公开还涉及可从通信网络下载的和/或在可由计算机读取的介质上记录的和/或可由处理器执行的计算机程序产品，包括用于实现根据本公开的用于处理视频序列的方法的步骤的程序代码指令。

本公开还涉及非瞬时计算机可读介质，包括在其上记录的并且能够由处理器运行的计算机程序产品，所述计算机程序产品包括用于实现根据本公开的用于处理视频序列的所述方法的程序代码指令。

虽然本文中结合有限数量的实施例对本发明的示例进行了描述，但本领域技术人员在读到本说明书时将理解的是，在不偏离本发明的范围的情况下，可以设想其它的实施例。

具体地，虽然并没有明确地描述，但可通过任意组合或子组合来采用所呈现的实施例。

本领域技术人员将理解的是，本原理的各个方面可被实现为设备、方法或计算机可读介质。从而，本原理的各个方面可采用以下形式：完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)、或组合了软硬件方面的实施例，它们可被统称为“电路”、“模块”或“设备”。此外，本原理的各个方面可采用计算机可读存储介质的形式。可利用一个或多个计算机可读存储介质的任意组合。

计算机可读存储介质可采用计算机可读程序产品的形式，所述计算机可读程序产品实现为一个或多个计算机可读介质，并且其中实现有可由计算机执行的计算机可读程序代码。这里的计算机可读存储介质被认为是非瞬时存储介质，这是因为考虑到其具有用来在其中存储信息的内在能力以及从中提供对信息的取回的内在能力。计算机可读存储介质可以是，例如但不限于，电、磁、光、电磁、红外或半导体系统、装置或设备，或前述各项的任意适当组合。将理解的是，虽然以下提供了可应用本原理的计算机可读存储介质的更具体的示例，但本领域技术人员容易理解，其仅是描述性的而不是排他性的清单：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、便携式压缩盘只读存储器(CD-ROM)、光存储设备、磁存储设备或前述各项的任意适当组合。

此外，举例来讲，本领域技术人员将理解的是，这里所呈现的框图表示实现本发明的原理的说明性系统组件和/或电路的概念图。类似地，将理解的是，任意流图、流程图、状态转变图、伪码等表示可在计算机可读存储介质中充分表示并由计算机或处理器如此执行的各种处理，而不管是否明确地示出了这种计算机或处理器。

附图说明

本发明的实施例的其它特性和优势在阅读了以下描述(其借助非限制性且指示性的示例(本发明的所有实施例都不限于下文中所述的实施例的特性和优势)提供)和附图后将得以体现，其中：

图1A和1B分别示出了根据本技术的一般原理实现的步骤以及相应的视频图像和总体图像；

图2示出了本技术的第一实施例；

图3示出了本技术的第二实施例；

图4示出了根据本发明的用于处理视频序列的设备的简化结构。

具体实施方式

5.1一般原理

根据不同的实施例，本发明首先基于亮度信息，需要对视频序列进行实时动态范围转换，并且根据由不同于用于捕获每个视频图像的捕获模块的捕获模块给出的总体图像确定得到。

从而，在时刻t，由能够捕获对应于采用了比由捕获每个视频图像的捕获模块所使用的捕获角更大的捕获角的总体图像的元数据的捕获模块来提供对当前视频图像进行良好的动态范围转换所需的亮度信息。

这种总体图像事实上实时地包含相关亮度信息，根据现有技术，相关亮度信息仅通过在视频序列的所有图像(或帧)都为已知时对整个视频序列进行后处理来确定。

因此，本发明允许实时广播并避免了根据现有技术的后处理。

参见图1A和1B，下文中详细示出用于处理视频序列的方法的主要步骤。

首先，通过使用第一捕获模块(120)(例如给出HDR视频图像的高数字范围相机)来获得(13)视频图像I_M(还称为帧)。该视频图像包括由所述HDR相机在时刻t从整个场景(其当前被录影)记录的物理亮度值(以cd/m²为单位)。

与之并行地或在此之前，由第二捕获模块(121)给出来自视频图像I_M的不同总体图像I_s的元数据Meta_I_s，该第二捕获模块(121)能够给出整个场景的表示，其中不同的视频帧I_Mi(其中，1≤i≤N，N是视频序列中的帧数)给出所述场景的不同视点(point of view)。

第二捕获模块(121)是对应于例如或Panoscan的的传感器，所述传感器实现从5+1个不同方向捕获的多帧鱼眼拍摄的组合(每个都具有22兆像素)。

这种第二捕获模块的特征还在于范围从15秒到1分钟的捕获时间，使用例如Canon EOS 5D Mark III传感器采用多次曝光来捕获多达30个光圈数，并使得能够针对夜晚捕获使用多达30秒的长时间曝光。

由所述第二捕获模块(121)给出的元数据Meta_I_s和/或表示可以具有任意的分辨率、位深度(LDR 8-位或HDR)，并且只有luma可被提供(事实上，根据本发明的方法不需要彩色信号通道)。

如图1B所示，由第二捕获2^nd_CM模块(其实施严格大于由给出视频序列的视频图像的第一捕获模块1^st_CM实施的捕获角C1的捕获角C2)给出总体图像。考虑第一和第二捕获模块的捕获角(视场)(C1和C2)之差，由第二捕获模块(121)给出的总体图像是场景的一个表示，例如全景图或完全球面表示，其尺寸严格大于视频序列的视频图像。

注意到，所述第一捕获模块1^st_CM和所述第二捕获模块2^nd_CM位置接近或在单个设备中重叠。

还可考虑的是，所述第一捕获模块1^st_CM和所述第二捕获模块2^nd_CM可分离一定距离，从而不允许将它们嵌入到统一外壳中。在这种情况中，根据本发明的设备将对应于分布式系统。

此外，所述第一捕获模块和所述第二捕获模块具有分别用于获得所述视频图像I_Mi和所述总体图像I_s的不同的捕获频率。

例如，第一捕获模块实施25fps(帧每秒)的预定帧速率，其中第二捕获模块每5秒捕获一个总体图像(对应于全景图像)或每秒一个总体图像。

换言之，如果使用了具有25fps的帧速率的第一捕获模块和具有等于每五秒一个总体图像的帧速率的第二捕获模块，则使用相同的总体图像I_s来处理视频序列的125个连续视频图像。

更确切地，从图1B可见，根据例如由像素p表示的对象的运动(由曲线1200表示)，在不同的时刻t₁、t₂和t₃捕获不同的视频图像I_M1、I_M2和I_M3，并且不同的视频图像I_M1、I_M2和I_M3位于由总体图像I_s(其在包括至少所述不同的时刻t₁、t₂和t₃的时段T_Is期间使用)表示的整个场景的不同区域中。可见，每个视频图像I_M1、I_M2和I_M3都被包括在所述总体图像I_s中。

如图1B所示，有可能视频序列的不同帧位于由总体图像I_s表示的整个场景的不同亮度区域Z₁、Z₂和Z₃中或与之重叠。

每个区域对应于一个像素集合，其中属于所述区域的每个像素的亮度值处于两个亮度阈值(例如针对亮度区域Z₁是L₁₀和L₁₁，针对亮度区域Z₂是L₂₀和L₂₁，针对亮度区域Z₃是L₃₀和L₃₁)之间。

注意到，在图1B中，这些区域对应于不同宽度的毗邻带，但这些区域可采用不同的形式(比如方块、圆圈或部分圆圈(例如太阳、月亮)等)彼此空间分离。

注意到，这些区域实际上大于由第一捕获模块给出的视频图像I_M1、I_M2和I_M3。从而，如果像现有技术中那样只从视频图像开始，则用于定义总体场景中的这种亮度区域的亮度信息可能是未知的。

换言之，在整个场景的这种总体图像中，有可能最大光亮源(例如太阳)位于图像I_M1之外的左侧。

一旦获得了视频图像和所述总体图像的元数据Meta_I_s，则能够根据对应于所述总体图像的所述元数据Meta_I_s确定(15)亮度信息I_lum。所述亮度信息对应于例如可在相机运动之后在视频序列的后续图像中出现的相关亮度信息I_lum。

例如，在时刻t₁，有可能相关亮度信息I_lum(允许保持时间相干性并从而需要良好的动态范围转换)属于在t₃(t₃＞t₁)捕获的后续图像I_M3。

从而，本发明的确定步骤能够在时刻t₁找到这种相关亮度信息，这是因为所述总体图像I_s的元数据Meta_I_s使得相关亮度信息在相同时刻t₁是已知的。

根据一个方面，有可能这种亮度信息对应于可在表示通过视频序列的所有帧捕获的整个场景的总体图像中检测到的最大亮度。

从而，这一确定亮度信息的步骤实现在由第二捕获模块提供的元数据中对最大亮度的检测。

换言之，根据这一变形，I_lum将直接地是亮度值，并且对视频图像I_M1的后续动态范围(DR)转换(16)将包括确保时间相干性，换言之，视频图像I_M1的所有亮度值将必须低于通过所述确定(15)步骤给出的最大亮度I_lum。

5.2用于处理视频序列的方法的第一实施例的描述

根据第一实施例，后续动态范围(DR)转换(16)将包括在计算色调映射算子的过程中考虑I_lum。换言之，使用来自对应于所述总体图像的所述元数据Meta_I_s的亮度信息I_lum来修改TMO算子。

例如，考虑PTR色调映射算子(由E.REINHARD详细描述)，其原理是通过使用下式给出的S形类型的映射曲线来修改视频图像的亮度分量L_w以获得经过修改的亮度分量Ld：

L_{d} = \frac{L_{s}}{1 + L_{s}} \cdot (1 + \frac{L_{s}}{L_{white}^{2}}) - - - (1)

其中L_white是亮度值，用于裁剪具有高亮度值的所述视频图像I_M1的区域，L_d是矩阵，其尺寸是视频图像I_M1的尺寸，并且包括所述图像I_M1的像素的亮度值(其在低于视频图像I_M1的动态值的原始范围的动态值的动态范围中表达)，以及L_s是矩阵，其尺寸是视频图像I_M1的尺寸，并且包括如下式的亮度值：

L_{s} = \frac{a}{k} \cdot L_{W} - - - (2)

其中，a是所选的曝光值，k对应于根据本发明的第一实施例的亮度信息I_lum，通常称为关键字，其从对应于所述总体图像的所述元数据Meta_I_s提取得到并且按下式定义所述视频图像I_M1上的亮度指示：

k = \exp (\frac{1}{B} \cdot Σ_{u = 1}^{B} \log (δ + L_{W} (u))) - - - (3)

其中，B是所述视频图像I_M1的像素数量，δ是用于避免奇点的值，L_W(u)是视频图像I_M1的亮度分量的像素u的亮度值。

根据另一方面并且取决于所选色调映射技术，亮度信息I_lum对应于包括用于转换视频的动态范围的最相关亮度信息的元数据群组，这一元数据群组对应于总体图像的缩减区域。

这种最相关信息可以是场景的最大亮度值，或优选地，所述最相关信息是通过按照升序整理场景的亮度值并通过将对应于99％处的值保持为亮度信息I_lum而获得的。

从而，关于这一方面，动态范围(DR)转换(16)将包括根据(缺省设置的、用户输入的、或通过在实施根据本发明的第一实施例的连续子步骤后实施现有技术的方法而涉及的)预定标准分析这一元数据群组，以用于导出最相关亮度值，该最相关亮度值必须被用作用于获得得到的动态范围缩减的亮度参考，所述亮度值不总是对应于所述总体图像或所述总体图像的一部分的最大亮度。

事实上，一些艺术效果的目的在于“燃烧”区域，以便维持图像中信息更加重要的部分的动态。例如，由于视频序列的场景的目标不在于完美地表现太阳，所以可以忽略对应于太阳的值。太阳将被“燃烧掉”，以完美地表现场景中的其余部分。

如图2所示，在关于本发明的第一实施例的下文中对亮度信息I_lum的这种确定步骤(15)的子步骤进行更为详细的描述。

在任何情况中，根据本发明的动态范围(DR)转换(16)允许在保持所述视频图像的时间相干性的同时将HDR视频图像转换成LDR视频图像，以允许处理LDR视频帧的广播设备(17)进行实时广播。

5.3用于处理视频序列的方法的第二实施例的描述

关于图3，描述了第二实施例，其中每个视频图像的实时DR转换(16)采用明暗度相干性(BC)技术并更有利地采用现有技术的区域明暗度相干性(ZBC)技术。

在该具体情况中，确定(15)亮度信息I_lum的步骤在ZBC分析的输入处给出对应于总体图像I_s的相关区域的亮度信息I_lum。

如图3所示，该第二实施例一方面将实施对所述视频图像I_M1的色调映射(30)，给出至少一个色调映射图像，另一方面将实施明暗度相干性或更有利地实施区域明暗度相干性分析(31)(其中考虑所述亮度信息I_lum)，给出所述总体图像的锚区域。

根据该第二实施例，从总体图像I_s提取的亮度信息I_lum因此不被用来修改色调映射算子(如根据第一实施例所实施的那样)，而是在ZBC分析的输入处，用于对使用经典TMO算子获得的色调映射图像进行的后处理。

考虑本发明的实时应用，为了节省时间，应用于所考虑的视频图像上的色调映射步骤和应用于总体图像上的明暗度相干性分析可以并行实施。

更确切地，发明人所研发的技术使用帧关键值k(参见式(2))来保持色调映射LDR序列中的HDR明暗度比(对应于帧的HDR明暗度相对于锚(视频序列的最高明暗度)的比)。

如果满足下式，则HDR亮度比等于LDR亮度比：

\frac{k_{f}^{i, HDR}}{k_{v}^{HDR}} = \frac{k_{f}^{i, LDR}}{k_{v}^{LDR}} - - - (4)

其中是第i个HDR帧(视频图像)关键值，并且是序列的最高关键值(对应于最亮的帧，即锚)。类似地，和分别是第i个LDR帧关键值和锚的色调映射版本的关键值。为了满足式(4)，对第i个帧的色调映射进行缩放，以根据下式(5)获得经过明暗度相干性(BC)后处理的色调映射

L_{BC}^{i} = (ζ + (1 - ζ) \frac{k_{f}^{i, HDR} k_{v}^{LDR}}{k_{v}^{HDR} k_{f}^{i, LDR}}) L_{d}^{i} = s^{i} L_{d}^{i} - - - (5)

其中，sⁱ表示第i个帧的缩放比，以及ζ是用来避免低缩放比的用户定义参数。

在根据BOITARD等人的论文“Zonal Brightness Coherency for videotone mapping”所述的现有技术中，为了确定锚(即具有最大HDR帧关键值的视频图像(也称为帧))，在色调映射操作之前执行视频分析。

当考虑需要如本发明所针对的实时DR转换(16)的实时广播时，对所有视频序列的这种后处理是不可能的。

从而，本发明提出了，通过向由第二捕获模块(121)给出的场景的总体图像I_s或对应于所述总体图像I_s的元数据Meta_I_s应用明暗度相干性方法来避免对整个视频序列进行这种后处理。

从而，式(4)和(5)的关键值和是直接从总体图像I_s实时地获得(31)的。

注意到，当场景中的明暗度波动以全局的方式改变时，上述BC方法可以很好地实施。

然而，如“Zonal Brightness Coherency for video tone mapping”中所提及，对于局部波动，这一技术对帧的每个像素进行类似地缩放，导致由于动态范围缩小而缺乏空间对比度。

因此，为了进行改善，已经提出了对区域而不是整个帧应用BC方法，这构成了区域明暗度相干性(ZBC)方法的一般原理。

根据本发明，有利地，ZBC方法应用于由第二捕获模块(121)给出的场景的总体图像I_s或对应于所述总体图像I_s的元数据Meta_I_s。

更确切地，基于柱状图的分段法在亮度域中将总体图像I_s划分成分段(或带)。由于分段的边界在不同帧之间发生改变，可能出现变幻的伪像。为了防止变幻，基于分段的关键值的视频亮度区域是如图1B的区域Z₁、Z₂和Z₃那样计算的。

根据本发明，在ZBC分析(31)的步骤中实施的这种分段包括以下子步骤：

-计算总体图像I_s的亮度柱状图，或从对应于总体图像的元数据Meta_I_s开始或从缩减的总体图像I_sr开始，

-找到所述柱状图中的局部最大值，

-移除彼此过于接近的局部最大值，

-找到连续局部最大值之间的局部最小值；

-将局部最小值限定为分段边界，

-针对每个分段计算关键值。

有利地，可以看出以上连续步骤只对总体图像I_s实施一次，或从对应于总体图像的元数据Meta_I_s开始或从缩减的总体图像I_sr开始，而在现有技术中，必须针对视频序列的每个图像重复这些步骤，这需要视频序列的所有视频图像都是已知的，这从而与LDR设备的实时广播不兼容。

注意到，根据该第二实施例，一旦实施了确定所考虑的视频图像I_M1在总体图像I_s中的位置的步骤和裁剪步骤，并且在包括修改TMO的DR转换之前，实施ZBC分析步骤。

从而，根据该第二实施例，可以考虑的是，这一ZBC分析(23)步骤一方面可选地(以虚线)包括在确定亮度信息(15)的步骤中，在这种情况中，亮度信息I_lum对应于锚区域，或者该步骤另一方面包括在如图3所表示的DR转换步骤(16)中。

因此，当考虑所述设备(其实施根据本发明的第二实施例的方法)时，用于确定亮度信息I_lum的确定模块可包括用于根据第一变形或根据第二变形实施对总体图像I_s的ZBC分析的装置，这是转换模块，其包括用于实施对总体图像I_s的ZBC分析的这种装置。

此外，根据该第二实施例，一旦执行了ZBC分析，DR转换还包括以下连续步骤：

-使用所述总体图像的所述锚区域来修改(32)所述视频图像的所述至少一个色调映射图像，给出至少一个经过修改的色调映射图像，

-使用所述经过修改的映射图形对所述视频图像进行色调级别重新分布(33)，

-将所述视频图像的浮点值转换为对应于例如所使用的位-深度(即，针对8位是[0；255])的整数码值。

5.4对亮度信息I_lum确定步骤的不同变形的描述

关于图2，下文中将具体描述亮度信息I_lum确定步骤(15)的不同变形。这些变形可被应用到两个之前的实施例中的一个或另一个。这些变形的目的在于减少用于从由所述第二捕获模块给出的总体图像的元数据开始检测相关亮度信息的区域。

此外，这些变形的目的在于解决与以下事实相关的问题：所考虑的视频图像I_M1和总体图像I_s不总是呈现相应的分辨率或不总是呈现相应的动态范围。

注意到，根据本发明，“相应的分辨率”并不意味着所述视频图像I_M1和所述总体图像I_s具有相同的分辨率。事实上，由于两个图像中所表示的信息的量不同，“相应的分辨率”意味着，针对两个图片中表示的相同对象，需要使用相同数量的像素来对其进行描绘。

为了找到最相关亮度信息I_lum，确定步骤(15)包括以下子步骤：确定所考虑的视频图像I_M1在所述总体图像I_s中的位置(21)。

换言之，执行追踪操作，以将当前视频图像I_M1与总体图像I_s场景进行匹配，并确定其位置。

实现确定当前视频图像I_M1在所述总体图像I_s中的位置的这一步骤的第一示例对应于所述视频图像I_M1和所述总体图像I_s呈现相应的分辨率(Res)和动态范围(DR)的情况。

从而，如图2所示，两个测试(211和212)(Res(I_M)＝＝Res(I_S)和DR(I_M)＝＝DR(I_S))给出肯定结果“是”。

在这一情况中，使用失真度量(213)来执行追踪，例如绝对差之和(SAD)：

{Dist}_{dx, dy} = Σ_{x = 0}^{N - 1} Σ_{y = 0}^{M - 1} \sqrt{{(C (x, y) - S (x + dx, y + dy))}^{2}} - - - (4)

其中，C表示所述视频图像的预定元数据的值，S表示具有高度N和宽度M的所述总体图像的所述预定元数据的值，(x，y)是所述视频图像的起始点的坐标，(dx，dy)是所述视频图像在所述总体图像中的测试位置的坐标。

这种追踪输出当前视频图像I_M1在总体图像I_s中的所述位置，对应于所述总体图像中的一个点，该点的坐标对应于使失真Dist_dx，dy最小化的坐标对(dx，dy)，这些坐标限定例如当前视频图像I_s中的视频图像I_M1的左下角(图1B中所示的C_BL)。

当只有分辨率不同时(对应于测试(211)Res(I_M)＝＝Res(I_S)的输出“否”)，对应于式(4)的失真计算是使用不同的缩放“s”计算的(2110)，换言之，使用至少两个不同的缩放s₁和s₂.

在这一情况中，最小化所述失真的三元组(dx，dy，s)是匹配位置的输出。

当只有动态范围不同时(对应于测试(212)DR(I_M)＝＝DR(I_S)的输出“否”)，首先要求分别匹配分别对应于所述当前视频图像I_M1和所述总体图像I_s的两个输入的动态范围。

由于HDR值表示物理绝对值，扩展一个或两个输入的动态范围以实现HDR值确保了它们可以在之后被比较。

为了恢复(2120)输入图像(视频图像和/或总体图像)的这种物理值，对第一捕获模块(120)(例如相机)和/或第二捕获模块(121)(例如传感器)进行校正(2121)。如MANN S.等人的论文“On being“Undigital”With Digital Cameras：Extending dynamic Range by combiningDifferently ExposedPictures”(in Proceedings of IS&T 46^th annual conference(May 1995)，pp 422-428)所公开，校正包括测量第一捕获模块的相机响应功能(CRF)。

一旦CRF是已知的，则能够反转所述捕获模块之一中应用的非线性变换，并能够获得图像的物理值(具体的，亮度)。

最终，当当前视频图像I_M1和所述总体图像I_s之间的分辨率和动态范围均不相对应时，换言之，当两个测试(211和212)(es(I_M)＝＝Res(I_S)和DR(I_M)＝＝DR(I_S))给出否定结果“否”时，在视频图像和总体图像中的至少一个或两个上应用所有以下子步骤：恢复物理值(2120)、缩放(2110)和计算失真。

一旦确定了所考虑的视频图像I_M1在所述总体图像I_s中的位置，还可可选地实现对总体图像I_s的裁剪步骤(22)，以缩减用来确定相关亮度信息I_lum的区域。

这一裁剪步骤(22)因此给出缩减的总体图像I_sr和/或缩减数量的元数据Meta_I_sr，允许保持与优化DR转换(16)相关的唯一信息I_lum。

必须注意到，如果总体图像I_s呈现出与视频图像I_M1不同的动态范围，则重定目标至相同的动态范围。由于已经在此之前确定(21)了视频图像I_M1在I_s中的位置，所以这种重定目标是值的简单对应，以及针对需要被重定目标的值和所考虑的视频图像I_M1中不存在的值，执行推断。

可选地，所述裁剪步骤可以考虑在先的裁剪步骤(为了处理当前所考虑的帧之前的图像(或帧)所实施的)的结果。

从而，关于用于之前视频图像的经过裁剪的总体图像，用于确定亮度值的区域的缩减将被优化(换言之，将增加)。

更精确地，当考虑第二实施例时(其中实施了ZBC分析)，考虑在先的裁剪步骤(为了处理当前所考虑的帧之前的图像(或帧)所实施的)的结果对应于从柱状图移除从之前的帧消失的值以及添加当前所考虑的帧中那些值以减少柱状图的计算时间。

可以单独地或组合地使用不同的标准来对由第二捕获模块(121)给出的总体图像进行裁剪。

第一标准包括推断(221)第一捕获模块运动，以预测什么内容在时刻t₁之后的不久的将来将进入视频序列。

关于图1B，这种运动由运动曲线1200表示，从而总体场景I_s的范围可被限制为由所考虑的视频序列的一些相关像素(例如感兴趣的点)的最大运动幅度所限制的缩减区域。

获得运动预测包括从图像序列提取第一捕获模块的运动参数，例如考虑相机环拍、倾斜、缩放、翻转和水平或竖直追踪。用于获得这种运动预测的方法描述于SRINIVASAN M.V.等人的论文“Qualitativeestimation of camera motion parameters from video sequences”，PatternRecognition，volume 30，Issue 4，April 1997，Pages 593-606。

一旦估计了第一捕获模块的运动参数，则裁剪步骤将使用它们来选择总体图像的什么区域是有用的。

例如，如图1B所示，如果对应于相机的第一捕获模块的运动是简单的水平运动，则不需要考虑位于矩形(由虚线限定的带)(具有等于或接近于视频图像I_M1的高度N₁的高度N_r，以及等于或接近于通过运动预测给出的水平运动向量的长度的宽度M_r)I_sr之外的总体图像的像素的亮度值。

从而，考虑以上示例，位于总体图像I_s的右上角附近的光源将不会对本发明所实施的DR转换(16)有任何影响。

此外，考虑在先的裁剪步骤(为了处理当前所考虑的帧之前的图像(或帧)所实施的)的结果也将有助于减少所述捕获模块的运动预测步骤的时间。

单独或组合考虑的第二标准包括提取第一捕获模块用来记录所述场景的视频图像的能力，换言之，其自由度。例如，考虑体育比赛的情况，捕获角C1被限制为聚焦于足球场，从而大多数的视频图像聚焦于受限位置，从而不需要考虑与天空或体育场顶部相关的亮度值。

从而，考虑这一标准将导致缩减的总体图像I_sr具有其表面相对接近于足球场的表面的区域，而不管第一捕获模块的运动如何。

根据第三标准，缩减的总体图像可以通过使用用户(223)(其是例如摄像指导(DoP))输入的元数据获得。事实上，摄像指导提前知道针对捕获视频序列的每个视频图像所实施的场景。从而，用户可以通过直接输入允许直接裁剪总体图像的元数据来直接替换运动预测步骤(221)。

根据另一变形，由用户(摄像指导)输入的这种元数据可与运动预测结合使用，以增加由处理器自动实施的总体图像的缩减。例如，摄像指导可以将场景的总体图像I_s中的区域输入为最亮，以便获得将场景的其余部分渲染得较暗的艺术渲染，从而创造与蝙蝠侠电影“The DarkKnight”中类似的艺术效果。

明显地且有利地，还能够实施“跳过”选项，例如借助根据本发明的用于处理视频序列的设备的IHM的机械或数字按钮，“跳过”选项允许实施或不实施以下在先步骤：确定(21)所考虑的视频图像在总体图像中的位置；以及裁剪(22)。事实上，通过选择所述“跳过”选项，可在可考虑所有总体图像的地方实施缺省模式。

5.5用于视频处理的设备的通用结构

最终，图4呈现用于处理视频序列的设备的简化结构，其实施根据本发明的用于处理视频序列的方法。

关于图4，根据本发明的用于处理视频序列的设备包括存储器44(包括缓冲存储器RAM)和处理单元43，处理单元43装备有例如微处理器μP并且由实施根据本发明的用于处理视频的方法的计算机程序45驱动。

初始化时，将计算机程序45的代码指令加载到RAM中，然后由处理单元43的处理器执行。

根据本发明，处理单元43的微处理器根据计算机程序45的指令实施本文所述的用于处理视频序列的方法的步骤。为此，用于处理视频序列的设备包括：第一捕获模块(41)，能够获得至少一个图像，所述至少一个图像采用第一捕获角(C1)表示场景，所述至少一个图像被称为视频图像；第二捕获模块(42)，所述第二捕获模块与所述第一捕获模块不同，并且能够获得对应于采用第二捕获角(C2)表示所述场景的至少一个图像的元数据，其中所述第二捕获角严格大于所述第一捕获角，所述至少一个图像被称为总体图像，所述总体图像包括所述视频图像；确定模块(46)，用于根据对应于所述总体图像的所述元数据确定亮度信息；转换模块(47)，用于在考虑所述亮度信息的情况下对所述视频图像的动态范围进行转换。

所述第一捕获模块被布置(或放置)在第二捕获模块上或附近。

这些模块由所述处理单元43的微处理器控制。

Claims

1.一种用于处理由至少两个视频图像形成的视频序列的方法，所述方法包括：

-使用第一捕获模块(120、41)以第一视场(C1)获得(13)所述至少两个视频图像，每个视频图像表示在不同时刻或从不同的视点捕获的相同场景，

其中，所述方法包括：

-根据由第二捕获模块(121、42)以第二视场获得的至少一个总体图像确定(15)亮度信息，所述第二视场大于所述第一视场，所述总体图像表示在不同时刻或从不同的视点捕获的所述场景；

-在考虑所述亮度信息的情况下，对所述视频图像的动态范围进行下转换(16)。

2.根据权利要求1所述的用于处理视频序列的方法，其中所述根据所述总体图像确定亮度信息的步骤还包括以下在先步骤：确定所述视频图像在所述总体图像中的位置(21)。

3.根据权利要求2所述的用于处理视频序列的方法，其中所述确定所述视频图像在所述总体图像中的位置的步骤通过确定失真度量(213)来执行。

4.根据权利要求3所述的用于处理视频序列的方法，其中所述失真度量对应于以下绝对差之和：

{Dist}_{dx, dy} = Σ_{x = 0}^{N - 1} Σ_{y = 0}^{M - 1} \sqrt{(C (x, y) - S {(x + dx, y + dy))}^{2}}

其中，C表示所述视频图像的预定元数据的值，S表示具有高度N和宽度M的所述总体图像的所述预定元数据的值，(x，y)是所述视频图像的起始点的坐标，以及(dx，dy)是所述视频图像在所述总体图像中的测试位置的坐标，所述位置对应于所述总体图像中的点，该点的坐标对应于最小化失真Dist_x，y的坐标对(dx，dy)。

5.根据权利要求3或4所述的用于处理视频序列的方法，其中至少确定两次所述失真度量，每次向所述视频图像和所述总体图像两者应用对其尺寸的不同缩放(2110)。

6.根据权利要求3-5中的任一项所述的用于处理视频序列的方法，其中所述确定所述视频图像在所述总体图像中的位置的步骤事先针对所述视频图像或针对所述总体图像实施以下步骤：

-校正步骤(2121)，给出所述视频图像的至少一个码值和至少一个物理值之间的函数或给出所述总体图像的至少一个码值和至少一个物理值之间的函数；

-对所述函数进行反转的步骤(2122)，给出所述视频图像或所述总体图像的物理值。

7.根据权利要求2-6中的任一项所述的用于处理视频序列的方法，其中所述确定所述视频图像在所述总体图像中的位置的步骤包括对所述总体图像进行裁剪的步骤(22)。

8.根据权利要求7所述的用于处理视频序列的方法，其中所述裁剪步骤(22)包括所述第一捕获模块的运动预测(221)的步骤。

9.根据权利要求7或8所述的用于处理视频序列的方法，其中所述裁剪步骤(22)包括以下步骤：确定(222)所述第一捕获模块的图像捕获自由度。

10.根据权利要求7-9中的任一项所述的用于处理视频序列的方法，其中所述裁剪步骤(22)考虑(223)由用户输入的元数据。

11.根据前述权利要求中的任一项所述的用于处理视频序列的方法，其中所述在考虑所述亮度信息的情况下对所述视频图像的动态范围进行转换(16)的步骤实施以下步骤：

-对所述视频图像进行色调映射(30)，给出至少一个色调映射图像；

-在考虑所述亮度信息的情况下在所述总体图像上执行区域明暗度相干性分析(31)，给出所述总体图像的锚区域；

以及，实施以下连续步骤：

-使用所述总体图像的所述锚区域对所述视频图像的所述至少一个色调映射图像进行修改(32)，给出至少一个经过修改的色调映射图像；

-使用所述经过修改的色调映射图像对所述视频图像进行色调级别重新分布(33)；

-将所述视频图像的浮点值转换(34)为整数码值。

12.一种用于处理由至少两个视频图像形成的视频序列的设备，所述设备包括能够以第一视场(C1)获得所述至少两个视频图像的第一捕获模块(41)，每个视频图像表示在不同时刻或从不同的视点捕获的相同场景，

其中，所述设备包括：

-确定模块(46)，用于根据由第二捕获模块(121、42)以第二视场获得的至少一个总体图像确定(15)亮度信息，所述第二视场大于所述第一视场，所述总体图像表示在不同时刻或从不同的视点捕获的所述场景；以及

-下转换模块(47)，用于在考虑所述亮度信息的情况下对所述视频图像的动态范围进行转换。

13.根据权利要求12所述的设备，其中所述第一捕获模块(120、41)和所述第二捕获模块(121、42)具有分别用于获得所述视频图像和所述总体图像的不同捕获频率。

14.根据权利要求12或13所述的设备，其中所述确定模块还确定所述视频图像在所述总体图像中的位置(21)。

15.根据权利要求14所述的设备，其中确定所述视频图像在所述总体图像中的位置通过确定失真度量来执行。

16.根据权利要求15所述的设备，其中所述失真度量对应于以下绝对差之和：

{Dist}_{dx, dy} = Σ_{x = 0}^{N - 1} Σ_{y = 0}^{M - 1} \sqrt{(C (x, y) - S {(x + dx, y + dy))}^{2}}

17.根据权利要求15或16所述的设备，其中至少确定两次所述失真度量，每次向所述视频图像和所述总体图像两者应用对其尺寸的不同缩放。

18.根据权利要求14-17中的任一项所述的设备，其中所述确定模块还针对所述视频图像或针对所述总体图像实施以下操作：

-校正，给出所述视频图像的至少一个码值和至少一个物理值之间的函数或给出所述总体图像的至少一个码值和至少一个物理值之间的函数；

-对所述函数进行反转，给出所述视频图像或所述总体图像的物理值。

19.根据权利要求14-18中的任一项所述的设备，其中所述确定所述视频图像在所述总体图像中的位置包括对所述总体图像进行裁剪。

20.根据权利要求19所述的设备，其中所述裁剪包括所述第一捕获模块的运动预测。

21.根据权利要求19或20所述的设备，其中所述裁剪包括确定所述第一捕获模块的图像捕获自由度。

22.根据权利要求19-21中的任一项所述的设备，其中所述裁剪考虑由用户输入的元数据。

23.根据权利要求12-22中的任一项所述的设备，其中在考虑所述亮度信息的情况下对所述视频图像的动态范围进行转换包括以下操作：

-将所述视频图像的浮点值转换为整数码值。

24.根据权利要求12-23中的任一项所述的设备，其中所述第二捕获模块是能够创建具有高分辨率的全景或完全球面图像的相机系统。

25.根据权利要求12-23中的任一项所述的设备，其中所述相机系统还被配置为创建具有高动态范围、高分辨率的全景或完全球面图像。

26.一种可从通信网络下载的和/或记录在可由计算机读取的和/或可由处理器执行的介质上的计算机程序产品，包括用于实施根据权利要求1-11中的任一项所述的用于处理视频序列的方法的步骤的程序代码指令。

27.一种非瞬时计算机可读介质，包括记录在其上的且能够被处理器运行的计算机程序产品，所述计算机程序产品包括用于实施根据权利要求1-11中的任一项所述的用于处理视频序列的方法的步骤的程序代码指令。