CN103930928B - 用于处理图像序列的方法和用于汽车的测试设备 - Google Patents

Abstract

本发明涉及一种用于在图像序列(S)中运动识别的方法，其中，通过图像处理装置(22)确定在当前的图像(A)中图像特征(M1至M4)相对参考图像(Ref1)的位置改变，所述方法具有以下步骤：成对地配属彼此对应的图像特征(M1‑M1'至M4‑M4')，其中，分别一个位于当前的图像(A)中以及一个位于参考图像(Ref1)中，并且基于相互配属的图像特征(M1‑M1'至M4‑M4')确定运动模型(H)的、描述位置改变的模型参数。模型参数的评估应当得到改进。为此，为当前的图像确定至少一个静止区域(98，60)，其中，包含在其中的图像内容的位置改变小于预定的程度，并且仅基于位于至少一个静止区域(98，60)之外的图像特征(M1‑M4至M1'‑M4')确定模型参数。

Description

用于处理图像序列的方法和用于汽车的测试设备

技术领域

本发明涉及一种用于处理图像序列的方法。在本发明中，图像序列理解为一种信号，其代表一系列的图像。在该方法中，通过图像处理装置确定在当前的图像中在其中成像的物体相对参考图像的位置改变。用于运行视频解码器的方法以及用于汽车的、具有视频编码装置的测试设备也属于本发明的范畴之内。

背景技术

为了能够以尽可能少的数据存储图像序列，可以在视频编码的范畴内设计图像压缩，其中，由此描述当前图像的图像内容，即，仅仅给出当前图像与参考图像的差别(所谓的帧间预测)。在此通常由此得到压缩增益，即，为了说明图像的绝对颜色强度值需要比对参考图像和当前图像的颜色强度值之间的差别进行编码更多的比特。如果通过图像序列表示运动的物体，则可以由此实现该压缩增益，即，为了确定差别，首先找到两个比较的图像的相互匹配的图像区域。例如如果物体在参考图像中位于左上角，而在当前的图像中位于右下角，因为物体沿着对角线运动经过所述图像局部，则计算参考图像的左上角和当前图像的左上角之间的差别没有意义。相反首先必须通过图像处理装置确定在当前的图像中在其中成像的物体相对参考图像的位置改变。可以以不同的方式描述在此识别的运动。例如可以对之前确定的运动模型确定模型参数。为此，例如已知有RANSAC-算法(RANSAC-随机抽样一致性)。在这种算法中，基于显著的图像特征识别转动和/或平动移动地图像区域的映射规则的映射参数。这些图像特征是物体的特征的成像，其既在当前的图像也在参考图像中示出。为了能够检测这些特征并且相互配属这些特征，必须在原来的RANSAC-算法之前例如借助于SIFT-算法(SIFT-尺度不变特征转换)或者SURF-算法(SURF-加速鲁棒特征)进行处理。这种特征识别和配属(特征检测和匹配)提供了由参考图像的分别一个特征和当前图像的一个特征构成的特征对，所述特征相互在光学上对应。通常提供预定数量的特征对。

但是，仅当非常大的物体的运动或者很多小的物体的同样类型的运动导致在当前图像中的改变时，用以识别物体的运动的特征检测和配属以及随后的计算模型参数才有效地起作用。相反，如果多个物体在不同的方向上运动，则一方面非常难以找到合适的特征对，另一方面很难由这些特征识别不同的运动。如果这种方法失效，则运动的物体的特征不能正确地相互配属。相应地人们已经结合—如导航装置为汽车中的显示屏所产生的那样的—图像序列的编码，确定相对较小的压缩增益。人们可能出于测试目的希望拍摄这种图像序列。图像序列的特征在于，在此通常示出地图区域，该地图区域根据汽车当前关于例如南北轴如何定向而旋转。但是同时，也在显示屏上显示状态条和菜单，其与汽车的定向无关地始终保持在图像中的同一位置上。一方面旋转的地图区域，另一方面状态条和菜单是物体，其在图像序列中执行不同的运动。

在Zuliani等人的专业论文(Zuliani，Kenney，Manjunath:，，TheMULTIRANSAC algorithm and its application to detect planarhomographies(MULTIRANSAC算法及其用于探测平面单应性的应用)，Proc.IEEE图像处理国际会议，Genova，意大利，2005年9月)中为此描述了一种多模型-RANSAC-方程，其中，在多个迭代中确定用于各个物体的不同的映射参数。但是，不总是能正确地分割各个物体。多模型-RANSAC-方程的成功强烈取决于第一迭代是否提供了正确的结果。此外，用于确定映射参数的计算花费非常大。

发明内容

本发明所要解决的技术问题是，提供一种用于处理图像序列的方法，借助于该方法能够以小的计算花费实现改进的运动识别。

按本发明的第一种方法以在图像序列中的所述的图像识别为基础。即通过图像处理装置确定在当前的图像中图像特征相对于参考图像中的相应的图像特征的位置改变。为此，来自当前的图像和来自参考图像的图像特征成对地相互配属。这例如可以借助于已经描述的SIFT-算法或者SURF-算法实现。然后，基于相互配属的图像特征确定运动模型的模型参数，通过该模型参数描述位置改变。在此原则上也可以采用已知的算法，例如提及的RANSAC-算法。但是现在按照本发明设计为，对于当前的图像首先确定至少一个静止区域，在所述区域中包含在其中的图像内容的位置改变小于预定的程度。在此还在当前的图像中寻找至少一个图像区域，该图像区域与参考图像相比不变或者仅略微改变，如上面通过预定的程度定义的那样。为了找出这种区域，例如可以将两个图像的各个像点的颜色强度值相减。然后，其中差的绝对值小于预定的阈值的区域可以看作是未变化的。如已经述及，导航装置的图像序列预计涉及状态条和菜单条，这些状态条和菜单条没有显著地改变。

然后，在按本发明的方法的另一步骤中，仅基于这样的图像特征确定模型参数，该图像特征位于至少一个静止区域外部。在所述的导航图像序列中这也意味着，模型参数的确定不考虑状态条和菜单条，而是仅考虑旋转的地图区域。在本发明中尤其设计为，设置仅唯一的运动模型。

按本发明的方法具有这样的优点，即，模型参数现在描述图像中实际运动的图像区域的运动。本发明基于这样的认知，即，在形成特征对或最终在确定模型参数时，通过掩盖静止的图像区域实现了模型参数的效力的显著改善。即在现有技术中的方法中，当成对地配属图像特征时很可能通过算法检测静止的图像内容。这是因为，静止的图像内容更可靠地被识别为彼此对应。

按本发明的方法的一种改进方案规定，基于所谓的跳过-模式-信息确定至少一个静止的区域，所述跳过-模式-信息通过视频编码器在对当前图像的视频编码中产生。由此获得了这样的优点，即，按本发明的运动识别能够以非常小的额外的计算花费集成在视频编码器中。跳过-模式-信息涉及这样的数据，该数据相对于任何图像块(如该图像块通常作为视频编码的基础那样)已经按标准检查过，该当前的图像的图像块是否与参考图像的相应图像块完全不同。如果不是这种情况，则通过跳过-模式-信息指示，该图像块完全不应被编码(跳过auslassen)并且作为替代应该使用参考图像的图像块。

按本发明的方法的一种改进方案规定，借助于模型参数变换参考图像，并且将变换的参考图像传输到视频编码器的压缩装置，作为运动补偿的参考图像。在压缩以开头所描述的当前图像和参考图像之间的图像差别为基础的当前的图像时，此时可以以有利的方式直接将运动补偿的参考图像与当前的图像相比较。在此，如果仅基于唯一的运动模型，则在方法的这种实施形式中获得了全局的运动补偿(GMC-全局运动补偿)。

按本发明的运动补偿也可以容易地与标准-视频编码器连接，使得可以再次利用已经存在的运动补偿的强度。所述方法的实施形式为此设计为，仅干涉标准-视频编码器的薄弱处，也就是在补偿旋转时。在此基于模型参数首先通过图像处理装置检查，位置改变是否包括旋转。如果该旋转的旋转角大于预定的阈值，则借助于模型参数计算的运动补偿的参考图像仅被输送到压缩装置。阈值例如可以以大于3°，尤其是大于10°的旋转为基础。通过这种改进方案获得了这样的优点，即，标准-视频编码器可以在编码图像序列时针对性地被支持，该图像序列包括图像内容的旋转，这些旋转通常通过用于运动补偿的标准-算法仅能不足够地被补偿。

被证明特别有利的是，在按本发明的方法中确定变换矩阵的矩阵值作为模型参数，该变换矩阵用于变换均匀的坐标。因此可以以有利的方式通过简单地数学变换模拟尤其是旋转和其它在导航图像序列中经常发生的图像特征的位置变化。

在按本发明的方法的另一种实施形式中，在成对地配属图像特征时对于至少一个可能的特征对检查，该特征对是否满足所谓的极几何条件/核面几何条件(Epipolarbedingung)。借助于极几何可以以特别计算高效的方式检查，特征对是否能够由有意义的几何投影得出。如果不是这种情况，则将该特征对看作基于错误的配属并且不采用。

如已经表明，按本发明的方法特别好地适合于在H.264-编码器中使用，该H.264-编码器也被称为MPEG4-编码器。因此，所述方法的一种实施形式规定，通过图像处理装置基于模型参数为H.264-编码器执行全局运动补偿。与由现有技术已知的全局运动补偿不同的是，按本发明的实现在计算方面特别有效率并且可以提供给H.264-编码器，其中，编码器的硬件仅需配备少许的额外的计算能力。同样被证明有利的是，在按标准HEVC(高效视频编码)的编码器中实施按本发明的方法。

此外，在编码器中使用时按照所述方法的一种实施形式也规定，将模型参数传输到视频解码器上。然后这可以直接基于传输的模型参数同样产生运动补偿的参考图像，因此也可以加速译码。在这种情况下，按本发明的第二种方法相应规定，这样运行图像解码器，即，首先解码参考图像，接收当前编码的图像以及运动模型的模型参数，基于模型参数变换解码的参考图像并且接着基于变型的参考图像解码当前编码的图像。

如上所述，通过按本发明的方法可实现的压缩增益尤其可以结合对导航装置的图像序列的处理来实现。在此通过本发明提供一种用于汽车的测试设备，其具有图像处理装置，该图像处理装置设计用于，接收汽车的导航装置的图像序列并且基于按本发明的方法的实施形式，为了运动识别为图像序列的当前图像确定运动模型的模型参数。

测试设备的一种改进方案规定，也通过视频编码装置编码图像序列，其中，图像处理装置额外设计为，为图像序列的当前图像基于模型参数计算运动补偿的参考图像。在图像序列的视频编码中可实现的压缩增益使得能够以较少的数据存储图像序列。也可以为了测试导航装置经过较长的测试行程，同时无需在测试设备中提供比在这种类型的常见测试设备中更大的存储器来存储图像序列。

附图说明

以下参照具体的实施例再次更精确地描述本发明。附图中示出：

图1是汽车的示意图，按本发明的测试设备的一种优选的实施形式位于所述汽车中，

图2是视频解码器的框图，所述视频解码器执行按本发明的方法的一种优选的实施形式；以及

图3是图像序列的两个图像的示意图，图1所示的汽车的导航装置产生了所述图像序列。

具体实施方式

在以下描述的例子中，测试设备的所述部件和方法的所述步骤是本发明的分别单独的、相互无关地考虑的特征，这些特征也可以相互无关地改进本发明并因此可以单独或者以不同于所揭示的组合看作是本发明的组成部分。此外，所描述的实施形式也可以通过本发明的其它已经描述的特征补充。

在图1中示出了汽车10，其例如可以是轿车。在测试行驶过程中，在汽车10中检查，安装在汽车10中的导航装置12是否在屏幕14上以希望的方式显示道路地图和其它信息。(未示出的)测试驾驶员为此沿着测试路线驾驶汽车10。为了使测试驾驶员能够集中精力于交通，在测试行驶期间由测试设备16显示由导航装置12产生的图像序列S。然后，图像序列S可以在行驶结束后被评估。

为了显示，导航装置12的图像信号(图像序列S以该图像信号存在)通过电缆传输至测试设备16。例如可以设计为，借助于电缆将LVDS-视频信号(LVDS-低压差分信号)传输至测试设备16。图像序列S在测试设备16中借助于视频编码器18压缩并且压缩的图像序列被存储在数据存储器20中。视频编码器18例如可以是H.264-视频编码器或者HEVC-视频译码编码器。通过视频编码器18实现的压缩率比在同样类型的标准-视频编码器中更高。为此，通过图像处理装置22扩展了视频编码器18的功能。

图像处理装置22为视频编码器18提供额外的运动补偿。该图像处理装置为此接收图像序列S。该图像处理装置通过连接件24从视频编码器18接收跳过-模式-信息。通过连接件26，图像处理装置22可以为待编码的当前的图像将运动补偿的参考图像传输到视频编码器18中。视频编码器18和图像处理装置22可以分别例如是数字信号处理器的软件，但也可以是FPGA(现场可编程门阵列)或者ASIC(专用集成电路)的组成部分，然而或者也可以是CPU(通用处理单元)的程序。图像处理装置22也可以集成在视频编码器18中。

以下参照图2和图3说明视频编码器18和图像处理装置22的工作原理。

在图2所示的实施形式中，图像处理装置22集成在运动补偿装置28中。此外，视频编码器18以公知的方式具有帧内预测装置30(图像内部的局部预测装置)、图像差计算单元32、熵-编码装置34、解码单元36和参考图像存储器38。可以借助于模式-控制装置40根据质量程度在帧内预测装置30和运动补偿装置28之间进行切换，如由现有技术对于其它运动补偿已经公开的那样。

通过熵-编码器34产生压缩的比特流C，该比特流被存储在数据存储器20中。熵-编码器34为此从图像差计算装置接收图像差，该图像差通过减法器42产生，该减法器计算当前的图像A的图像数据和当前图像A的预测图像A'之间的差。图像差借助于变换44(例如离散的余弦-变换-DCT)以块的形式变换。通过量化器46将变换系数量化。量化的变换系数随后被传输到熵-编码器34。此外，量化的系数被传输到译码单元36的逆量化器48，其输出值由逆变换器50变换并且借助于加法器52增加到当前的图像A的预测图像A’。这样重构的当前的图像通过去块效应滤波器54滤波并且被如此改进的、重构的图像被作为参考图像列表的第一列表位置56中的第一参考图像存储在参考图像存储器38中。参考图像存储器38、运动补偿装置28和图像差计算装置32形成视频编码器18的压缩装置。

对理解下面的描述来说重要的是，要知道，在处理当前的图像A之前，参考图像Ref1位于列表位置56中，该参考图像由之前的图像计算得出。

以下将说明，如何由当前的图像A通过运动组合28计算出预测图像A'。如刚才所述，在该计算过程中，仍是之前的图像的经改进的重构的图像作为参考图像Ref1位于参考图像存储器38中第一列表位置56中，该之前的图像如由去块效应滤波器54产生的那样。

在图3中举例示出了参考图像Ref1和当前的图像A。两个图像Ref1，A源自图像序列S，其例如由导航装置12产生。在两个图像上示出有状态条58和菜单条60。状态条58和菜单条60在图像Ref1，A的前景中显示。在参考图像Ref1中地图局部62形成了背景，其中为汽车10的驾驶员标出了行驶路线。在参考图像Ref1中示出的地图局部62在很大程度上与在当前的图像A中可看到的地图局部64一致。地图局部通过导航装置12根据汽车10的行驶方向转动。由于拐弯行驶，因此地图局部64相对地图局部62旋转。地图局部64的图像内容在此例如由于围绕汽车10的当前位置68的旋转而旋转。反之，状态条58和菜单条60在两个图像Ref1，A中始终在同一位置示出。其形成静止的区域，该区域不随着汽车方向而改变。

运动补偿装置58具有跳过-模式-块70。跳过-模式-块70从速率-扭曲-优化器(RD-优化器)RD-OPT为单个图像块接收跳过-模式-信息S1，该信息为每个图像块指示，当前图像A的包含在其中的图像信息是否与参考图像Ref1明显不同。这种图像块例如可以具有16x16像素的大小。为了计算跳过-模式-信息S1，当前图像A的一个块和参考图像Ref1的相应块的单个像素的颜色强度值可以相减。接着，可以累加单个像素的差的绝对值。如果，和位于预定的阈值之下，则可以得出，两个块几乎是一样的。然后通过跳过信息S1报告这种相同性。跳过-模式-块70根据跳过模式信息S1识别，状态条58和菜单条60是没有移动的静止的区域。该信息被用作掩饰信息。所述信息被转送到连接在跳过-模式-块70后面的特征识别和配属块72，或者简称为FDM-块。

FDM-块72执行当前的图像A和参考图像Ref1中的特征识别。为此，FDM-块72例如可以执行SIFT-算法或者SURF-算法。在此，FDM-块72仅检测静止的区域之外的，也就是状态条58和菜单条60之外的特征。FDM-块72根据跳过-模式-块70的掩饰信息识别该静止的区域。在图3所示的例子中，通过FDM-块72识别两个图像A、Refl中的特征(M1至M4，M1'至M4')。在另一步骤中，通过FDM-块72执行特征配属，使得相应的特征被组合成特征对M1-M1'、M2-M2'、M3-M3'和M4-M4'。特征对被转送到评估装置74。

这例如可以以这样的形式实现，即，单个的特征在相应的图像A、Ref1中的坐标和属于坐标的信息一起被传输。

通过评估装置74基于特征对计算运动模型的模型参数。通过模型参数相应地构造运动模型，使得该运动模型描述旋转66。评估装置74例如可以为了评估模型参数执行RANSAC-算法。特征对仅包括位于静止的区域58、60之外的特征。

在当前的例子中，模型参数是变换矩阵H的矩阵项。矩阵H描述投影变换，借助于该变换可以变换当前图像A的像点的坐标x。由此获得具有坐标x'的、变换的像点，其形成当前图像A的预测的图像A'的像点。变换通过以下等式得到：

Hx＝x'

在另一步骤中通过评估装置74检查，变换矩阵H是否相当于识别矩阵，或者至少与识别矩阵的差小于预定的阈值。如果是这种情况，则当前的图像A不再通过评估装置74处理。然后当前的图像A按照H.264-标准以公知的方式被处理。这同样也适于这样的情况，即，变换矩阵H仅仅描述平动。该平动已经可以通过在运动补偿装置28中按标准包括的、不属于图像处理装置22的补偿算法被足够好地补偿。

对于变换矩阵H具有显著的旋转分量—在这种情况下是旋转66—的情况，参考图像Ref1借助于变换矩阵H变换成另一参考图像Ref2，其同样作为参考图像的列表的第二列表项目76存储在参考图像存储器38中。在当前的情况下，视频编码器18按照H.264标准构造。相应地，两个参考图像Ref1和Ref2可以作为本身已知的L0-列表中的所谓的第一和第二参考框架存储在参考存储器38中。然后，列表项目56和76形成L0-列表的第一或第二列表项。

由于借助于变换矩阵H的变换，参考图像Ref2以同样的方式旋转显示参考图像Ref1的地图局部62，如在当前的图像A中由于旋转66获得的那样。参考图像Ref2因此构成当前的图像A关于地图局部64的评估。信息矩阵H被应用于参考图像Ref1的所有像点。参考图像Ref2因此形成全局运动补偿的图像。在参考图像Ref2中，静止的区域58、60同样被一起旋转。该信息对于在图像差计算单元32中计算图像差没有意义。因此借助于减法器42的计算在视频编码器18中以图像块的方式进行。在此，通过将图像块与参考图像Ref1和参考图像Ref2的相应图像块进行比较为当前的图像A的每个图像块确定，为形成预测的图像A'的相应图像块是应当从参考图像Ref1还是从参考图像Ref2移除图像块。静止的区域58，60通过该做法自动从参考从参考图像Ref1去除。因此不需要大量计算来构造全局运动补偿的图像，其中，静止的区域58、60被修正。

视频编码器18和图像处理装置22的组合相比现有技术尤其获得了以下三个优点。与包括多个运动模型的常见算法的解决方案(例如是多模型-RANSAC)相反，能以最小地额外花费实现模型参数评估的稳定。这是可能的，因为传统的视频编码过程依赖于跳过-模式-计算并且在任何情况下都需要执行该计算步骤。在静态或静止的区域带有单色背景的情况下，该跳过-模式-决定可以直接由编码器承担，这几乎没有形成额外的计算花费。在静止的区域包括透明区的情况下，编码器的跳过-模式-计算仅需小范围地补充计算指令。

因此，仅仅基于属于旋转和/或平动移动地地图区域62、64的图像区域在FDM-块70中进行特征识别、特征配属，并且在评估装置74中进行偏差值确定和参数计算。因此避免了由于不同运动模型的叠加(一方面是旋转66，另一方面是静止行为，也就是静止的区域58，60没有位置改变)导致的模型参数的错误确定或者模型参数评估的失稳。

视频编码器的跳过-模式-决定的评估实现了非常精确的评估，哪些导航序列的区域被静态的图像区域占据。静态区域中的改变极少出现，并且在地点上强烈受限，因此其本身在编码时借助于非-跳过-块模式可以仅不明显地影响正确的模型参数评估。因此，本发明能够以可靠和鲁棒的方式为地图运动确定运动模型的所属模型参数。

高质量的模型参数评估允许通过额外的、投影变换的参考图像，也就是例子中的参考图像Ref2连续地支持视频编码过程。质量在此既指评估的鲁棒性，也指减少确定的模型参数的其余错误。在高质量时可以降低在同样图像质量时为导航序列的编码所需的比特率的花费。因此也可以，在比特率相同时与传统的视频编码器相比提高编码的视频的质量。

Claims (7)

1.一种用于在图像序列(S)中识别运动的方法，其中，通过图像处理装置(22)确定在当前图像(A)中的图像特征(M1～M4)相对参考图像(Ref1)中的相应图像特征(M1'～M4')的位置改变，所述方法具有以下步骤:

-对彼此相应的图像特征(M1-M1'至M4-M4')进行配对，

-基于彼此配对的图像特征(M1-M1'至M4-M4')来确定运动模型的描述位置改变的模型参数，

为当前的图像确定至少一个静止区域(98、60)，在所述至少一个静止区域中包含在其中的图像内容相对参考图像(Ref1)的位置改变小于一预定量，以及

仅基于位于所述至少一个静止区域(98、60)外的图像特征(M1至M4，M1'至M4')来确定模型参数，

其特征在于，

借助于模型参数变换参考图像(Ref1)，将被变换的参考图像(Ref2)作为经运动补偿的参考图像传输到视频编码器的压缩装置，

通过图像处理装置(22)基于模型参数首先检查，位置变化是否包括旋转(66)，并且如果旋转(66)的旋转角度大于预定的阈值，则仅传输经运动补偿的参考图像(Ref2)。

2.如权利要求1所述的方法，其特征在于，基于跳过-模式-信息(S1)确定所述至少一个静止区域(98、60)，所述跳过-模式-信息通过视频编码器(18)在对当前图像(A)进行视频编码时产生。

3.如权利要求1或2的方法，其特征在于，确定变换矩阵(H)的矩阵值作为模型参数，所述变换矩阵用于变换均匀的坐标。

4.如权利要求1或2的方法，其特征在于，在对图像特征(M1至M4、M1'至M4')进行配对时针对至少一个可能的特征对检查：该特征对是否满足极几何条件。

5.如权利要求1或2的方法，其特征在于，通过图像处理装置(22)为H.264-编码器或者HEVC-编码器基于模型参数进行全局运动补偿。

6.如权利要求1或2的方法，其特征在于，模型参数被传输到视频解码器。

7.一种用于汽车(10)的测试设备(16)，该测试设备具有图像处理装置(22)，该图像处理装置设计为，接收汽车的导航装置的图像序列(S)并且、针对用于运动识别的图像序列(S)的当前图像(A)确定出运动模型的模型参数，

该测试设备具有视频编码装置，所述视频编码装置设计为，对图像序列(S)进行编码，其中，图像处理装置(22)额外设计为，基于模型参数针对图像序列(S)的当前图像(A)计算出经运动补偿的参考图像(Ref2)，

其特征在于，

图像处理装置(22)构造为：基于按权利要求1至6中任一项所述的方法来确定运动模型的模型参数。