CN109891877B - 图像处理装置、图像显示装置以及程序 - Google Patents

Abstract

提供一种图像处理装置、图像显示装置以及程序，其即使是利用不具有振动抑制功能的摄像装置摄像得到的图像、或图像振动抑制不完全的情况下，也能够抑制在显示装置上显示出来的图像的振动。根据本发明提供一种图像处理装置，其具备：运动估计部，其估计在第1图像与该第1图像之后的第2图像之间的对象物的运动量；运动补偿部，其基于所述对象物的运动量，对第2图像实施转换处理，以抑制在第1与第2图像之间的所述对象物的振动；其中，所述运动估计部具备：第1估计模式，其在规定的搜索区域内估计所述对象物的运动量第1估计模式；第2估计模式，其基于比第1估计模式中的所述搜索区域大的区域，估计所述对象物的运动量。

Description

图像处理装置、图像显示装置以及程序

技术领域

本发明涉及一种抑制图像振动的图像处理装置，图像显示装置以及程序。

背景技术

为了抑制图像振动已提出有各种图像处理方法。

专利文献1提供了一种摄像装置，其可以防止模糊校正机构的性能低下，并且，即使是在被拍摄体移动到视角之外也能够容易地跟踪被拍摄体，该摄像装置具备：摄像元件，其介由摄像光学系统摄像被拍摄体并将该摄像图像输出；光学校正系统(例如，校正镜头)，其校正由施加到设备的振动而引起的图像模糊(例如，校正镜头)。根据规定条件的成功或失败，作为使用在跟踪所述摄影图像内的被拍摄体的跟踪方式有：介由所述光学校正系统的驱动来跟踪所述被拍摄体的光学式跟踪方式；通过从所述摄影图像中剪取所述被拍摄体的区域来跟踪所述被拍摄体的电子式跟踪方式。在专利文献1中所公开摄像装置选择上述跟踪方式中的任一来跟踪所述被拍摄体。

现有技术文件

专利文献

专利文献1：日本特开2016－46580号公报

发明内容

发明所要解决的课题

根据专利文献1的摄像装置，可以通过调整校正镜头的放大位置来抑制图像的振动(模糊)，然而把不具备该功能的摄像装置所拍摄得到的图像显示到显示装置上时，显示图像的振动依然没有得到抑制。此外，即使是具备了图像抑制功能的摄像装置，依旧有无法完全去除图像振动的情况，并且即使当该图像显示在显示装置时，该显示图像的振动仍然存在。

鉴于上述情况，本发明提供一种图像处理装置、图像显示装置以及程序，即使是由不具有振动抑制功能的摄像装置所拍摄的图像、或者是振动抑制不彻底的图像，也可以将其振动去除后显示在显示装置上。

用于解决课题的技术方案

根据本发明提供一种图像处理装置，该图像处理装置具备：运动估计部，其估计在第1图像与该第1图像之后的第2图像之间的对象物的运动量；以及，运动补偿部，其基于所述对象物的运动量对第2图像实施转换处理，以抑制在第1与第2图像之间的所述对象物的振动；其中，所述运动估计部具备：第1估计模式，其在规定的搜索区域内估计所述对象物的运动量；第2估计模式，其基于比第1估计模式中的所述搜索区域大的区域估计所述对象物的运动量。

根据本发明，估计在第1图像与该第1图像之后的第2图像之间的对象物的运动量的运动估计部具备：第1估计模式，其在规定的搜索区域内估计对象物的运动量；第2估计模式，其基于比第1估计模式中的所述搜索区域大的区域估计所述对象物的运动量。因此，通过以计算量小的第1估计模式显示图像，同时在第1估计模式无法对应的情况下切换成第2估计模式，从而可以不会大量消耗计算资源地在显示装置方有效抑制图像振动。由此，即使是利用不具有振动抑制功能的摄像装置拍摄得到的图像、或振动抑制不彻底的图像，也可以将其振动去除后显示在显示装置上。

以下举例说明本发明的各种实施方式。以下所示的实施方式可以彼此组合。

所述运动补偿部优选基于满足规定条件下由所述第2估计模式估计得到的运动量进行所述转换处理，而当不满足所述的规定条件时，基于由所述第1估计模式估计得到的运动量进行所述转换处理。

所述运动估计部优选，在所述第1估计模式下，基于包含在所述第1图像的对象物与包含在所述第2图像中的规定范围的亮度差异算出的值作为估计误差，所述规定条件指的是满足所述估计误差超过规定的值的情况、或所述估计误差超过平均值的规定倍数的情况中的任意一者或两者。

所述第2估计模式优选为从所述第1和第2图像的整体估计所述对象物的运动量的全局运动估计模式。

所述第2估计模式优选为，在将所述第1估计模式中所述搜索区域的大小扩大后的新的搜索区域内，估计所述对象物的运动量。

所述运动估计部优选介由模式匹配或特征矢量来估计所述对象物的运动量。

优选在所述第1估计模式中具有设定与所述对象物对应的区域的区域设定部。

优选所述运动补偿部对所述第2图像执行所述转换处理，以使由所述区域设定部设定的区域位于显示所述图像的显示面的大致中央。

优选具备模式切换部，其切换所述第1估计模式和所述第2估计模式。

优选所述模式切换部，在不满足所述规定条件时，从所述第2估计模式切换成所述第1估计模式。

提供一种图像显示装置，其优选具备以上任一所述的图像处理装置的。

提供一种图像处理程序，优选为使计算机作为运动估计部和运动补偿部发挥功能，所述运动估计部估计在第1图像与该第1图像之后的第2图像之间的对象物的运动量，所述运动补偿部基于所述对象物的运动量，对第2图像实施转换处理，以抑制在第1与第2图像之间的所述对象物的振动，其中，所述运动估计部具备：第1估计模式，其在规定的搜索区域内估计所述对象物的运动量；以及，第2估计模式，其基于比第1估计模式中的所述搜索区域大的区域，来估计所述对象物的运动量。

附图说明

图1是说明图像的振动的概念图。在图1中，假设按照图1A、1B、1C的顺序输入图像。应当指出，在图中的剪头表示时间t。下面的图也都相同。

图2是表示本发明第1实施方式所涉及的图像处理装置1的功能构成、以及按照时间顺序表示在图像处理装置1输入的图像的图。

图3是为了说明本发明第1实施方式所涉及的图像处理装置1的处理的一个例子的流程图。

图4表示如何局部区域跟踪部4的局部区域LA的跟踪的概念图。图4A表示输入图像1，图4B表示如何在搜索区域SA内的跟踪搜索区域LA，图4C表示输入图像2。

图5是为了说明规定条件的图。

图6是本发明一个实施方式所涉及的局部运动估计模式(第1估计模式的一个例子)的基本概念的图。

图7表示，在局部运动估计模式中，运动补偿部8补偿图像的位置，以使局部区域LA显示在显示面的大致中央处的概念图。图7中的阴影部分表示不显示图像的区域。

图8表示本发明一个实施方式所涉及的全局运动估计模式(第2估计模式的一个例子)的基本概念的图。

图9是为了说明全局运动估计模式的概念图。图中的箭头表示图像分割后的每个分割区域的移动方向。应当指出，在图9中，9个分割区域中的6个分割区域的移动方向为右上，估计整个图像向右上方向移动。

图10表示，在全局运动估计模式中，运动补偿部8如何补偿图像的位置，以使对象物显示在显示面略中央处的概念图。图10中的阴影部分表示不显示图像的区域。

图11是为了说明本发明第2实施方式所涉及的图像处理装置1的处理的一个例子的流程图。

图12表示本发明第2实施方式所涉及的图像处理装置1在局部运动估计模式中如何扩大搜索区域SA的大小的概念图。由此，从第1估计模式切换为第2估计模式。应当指出，该处理相当于图11的S7。

图13是为了说明本发明第3实施方式所涉及的图像处理装置1的处理的一个例子的流程图。

具体实施方式

以下使用附图对本发明的实施方式进行说明。在以下例示的实施方式中所示的各种特征事项能够互相组合。

＜第1实施方式＞

以下使用图1～图10说明本发明的第1实施方式所涉及的图像处理装置1。

＜图像中的对象物的振动＞

如图1所示，由于摄影者的手抖动等会有摄像图像振动的情况。其结果是图像内的对象物向上下左右发生位置偏移。这里所谓的图像指的是按照时间轴顺序排列的多个图像，特别是动画。

例如，图1A所示图像的次级帧的图像，如图1B所示发生向下侧位置偏移。而在图1B所示图像的次级帧的图像，如图1C所示发生向右上位置偏移。由此，在第1图像与该第1图像之后的第2图像之间的对象物(图1中的虚线区域)发生振动。

为了抑制该振动，使用第1实施方式所示的图像处理装置1，在图像的显示装置侧抑制图像的振动。

＜图像处理装置1＞

使用图2～图10说明图像处理装置1的结构以及处理。如图2所示，第1实施方式所涉及的图像处理装置1具备：运动估计部2，其估计在第1图像与该第1图像之后的第2图像之间的对象物的运动量；运动补偿部8，其基于对象物的运动量对第2图像进行转换处理，以抑制在第1和第2图像间的对象物的振动。运动估计部2具备在规定的搜索区域SA内估计对象物的运动量的第1估计模式、基于比第1估计模式中的搜索区域SA大的区域估计对象物的运动量的第2估计模式。运动补偿部8在满足规定条件时基于第1估计模式估计而得的运动量进行转换处理，在不满足规定条件时基于第2估计模式估计得到的运动量进行转换处理。

应当指出，在第1实施方式中，是以第1图像和紧随其后的第2图像为例，使用连续的2个图像的图像1和图像2来进行说明的。

图像处理装置1具备运动估计部2、区域设定部3、跟踪偏离检测部5、模式切换部7、以及运动补偿部8。运动估计部2具备局部区域跟踪部4和全局运动估计部6。局部区域跟踪部4具备第1运动估计部41和图像剪切部42。全局运动估计部6具备第2运动估计部61和运动校正部62。这些可以通过软件或硬件来实现。在通过软件来实现时，可以通过CPU执行程序来实现各种功能。程序可以是储存在内置存储部，也可以是存储在计算机可读取的非暂时性记录介质中。此外，还可以通过读取储存在外部存储部中的程序(所谓的云计算)来实现。在通过硬件来实现时，可以通过ASIC、FPGA、或DRP等来实现。

区域设定部3在作为第1估计模式的一个例子的局部运动估计模式中，设定与对象物对应的区域。这里，在第1实施方式中，将与对象物对应的区域称作为局部区域LA(将使用图4在后面描述)。在第1实施方式中，在局部运动估计模式中，通过估计在第1图像与该第1图像之后的第2图像之间的对象物的运动量来跟踪局部区域LA。

运动估计部2估计在第1图像与该第1图像之后的第2图像之间的对象物的运动量。这里，第1和第2图像可以是包含多个图像的连续图像，也可以是不连续的2个图像。此外，在第1实施方式中，运动估计部2是由局部区域跟踪部4和全局运动估计部6构成的。

局部区域跟踪部4跟踪在局部运动估计模式中的局部区域LA。局部运动估计模式在规定的搜索区域SA内估计对象物的运动量，与使用第1和第2图像整体估计对象物的运动量的情况相比较，能够节约计算资源。此外，局部运动估计模式能够在搜索区域SA内跟踪对象物，因此与使用第1和第2图像整体估计对象物的运动量的情况相比，能够准确地估计对象物的运动。

图像剪切部42从第1和第2图像剪取图像的一部分，并输出到第1运动估计部41。这里，从图像1剪取的范围是基于从区域设定部3输入的坐标来决定的。

第1运动估计部41使用由图像剪切部42输入的图像，在第1和第2图像的搜索区域SA内估计对象物的运动。在第1实施方式中，将介由第1运动估计部41估计的对象物的运动量视为跟踪运动量。随后，第1运动估计部41将跟踪运动量输出到运动补偿部8。更进一步地，将表示基于包含在第1图像中的对象物和包含在第2图像中的规定范围的亮度的差异计算而得的值作为估计误差(将使用图4在后面提及)输出到跟踪偏离检测部5。

全局运动估计部6在作为第2估计模式的一个例子的全局运动估计模式中估计对象物的运动。全局运动估计模式从第1和第2图像的整体估计对象物的运动量。因此，与局部运动估计模式相比计算量多，并且能够估计在局部运动估计模式中无法对应的对象物的运动。这里，在第1实施方式中，所谓在全局运动估计模式中的对象物，其是将图像整体视为1个对象物。

第2运动估计部61使用第1图像以及紧随其后的第2图像整个来估计对象物的运动量。在第1实施方式中，介由第2运动估计部61估计而得的对象物的运动量视为全局运动量。随后，第2运动估计部61将全局运动量输出到运动校正部62。

运动校正部62基于从第2运动估计部61输入的全局运动量，来计算对第2图像执行转换处理时的校正量。有关于该校正将使用图10在后面描述。随后，将校正后全局运动量输出到运动补偿部8。

跟踪偏离检测部5是用来检测出由第1运动估计部41已不能跟踪到局部区域LA的情况。

模式切换部7切换局部运动估计模式和作为第2估计模式的一个例子的全局运动估计模式。随后，在切换局部运动估计模式与全局运动估计模式时，模式切换部7向局部区域跟踪部4和全局运动估计部6输出模式切换信号。由此切换图像处理装置1的模式。

运动补偿部8基于对象物的运动量来对第2图像执行转换处理，来抑制在第1和第2图像间的对象物的振动。此外，运动补偿部8在满足规定条件时基于以第2估计模式估计的运动量来进行转换处理，并且，在不满足规定条件时基于以第1估计模式估计得到的运动量来进行转换处理。由此，输入的图像2变换为图像2’，该图像2’作为输出图像被输出。由此，在第1和第2图像间的对象物的振动得到抑制。

＜流程图＞

接下来，使用图3说明图像处理装置1的处理流程。

＜S1：局部区域设定＞

首先，在S1中，介由区域设定部3设定局部区域LA。这时，图像处理装置1被设定为局部运动估计模式。

这里，使用图4说明区域设定部3的局部区域LA的设定。在第1实施方式中，如图4A所示，包围在图像中的对象物(车辆)的周围的区域称为局部区域LA。当设定局部区域LA时，在区域设定部3输入指定对象物的位置的坐标(x，y)。随后，以输入的坐标为中心生成表示规定大小的区域的坐标，并设定局部区域LA。区域设定部3可以采用任意的构成，例如可以通过键盘、触屏、语音输入装置、以及手势识别装置等输入装置来实现。应当指出，介由区域设定部3设定局部区域LA不限定于此，还可以是例如预先将图像分割成多个区域，并将包含输入的坐标的区域为中心拼合规定数量的区域作为局部区域L A。还可以例如，将包含了输入坐标的区域作为中心，在其上下左右扩张2个区域而成的合计为9个区域作为局部区域LA。此外，也可以使用任意的对象物检测技术，将检测到的对象物坐标自动地输入到区域设定部3中。

随后，区域设定部3将表示局部区域LA的坐标输出到图2所示的图像剪切部42。

＜S2：局部区域跟踪＞

接下来，在S2中，介由局部区域跟踪部4在搜索区域SA内跟踪局部区域LA。

这里，使用图4说明由局部区域跟踪部4跟踪局部区域LA的跟踪方法。图4A所示的输入图像1在次级帧中变化为图4C所示的输入图像2。此外，在输入图像1和输入图像2中，局部区域LA位于搜索区域SA内。这里，搜索区域SA定义为用于跟踪局部区域LA的范围。换而言之，在局部运动估计模式中，在搜索区域SA内跟踪局部区域LA。应当指出，可以任意设定搜索区域SA的位置和大小，例如可以预先，以局部区域LA为中心的规定区域设定为搜索区域SA。

局部区域跟踪部4，在搜索区域SA内，如图4B所示，通过使拟合区域FA移动来从图像2估计局部区域LA。

具体而言，介由如图2所示的图像剪切部42，基于输入的坐标，从输入图像1切出局部区域LA，再从输入图像2切出搜索区域SA。随后，图像剪切部42将切出的图像输出到第1运动估计部41。

如图4B所示，第1运动估计部41在搜索区域SA内生成与局部区域LA相同大小的拟合区域FA。随后，比较拟合区域FA与包含在输入图像1中的局部区域LA的亮度差异。具体而言，获取包含在拟合区域FA中的像素的拟合区域FA内的相对位置、以及包含在局部区域LA中的像素的局部区域LA内的相对位置。随后，针对拟合区域FA和局部区域LA所包含的所有像素，计算相对位置所对应的像素之间的亮度差异，并将他们相加。例如，当包含于局部区域LA的像素的亮度为Y0，包含于拟合区域FA中的像素的亮度为Y1，以计算“Σ|Y₀－Y₁|”(Σ：表示在各个区域内的所有像素的综合)来完成。在第1实施方式中，该差异相当于估计误差。这里，可以将该差异本身代替作为估计误差，也可以将该差异规定倍数的值作为估计误差。也就是说，在第1实施方式中，第1估计模式能够以基于第1图像所包含的对象物(局部区域LA)与第2图像所包含的规定范围(搜索区域SA内の拟合区域FA)的亮度差算得的值作为估计误差。

第1运动估计部41在搜索区域SA内逐个像素地移动拟合区域FA，同时依次进行该计算。这里，在第1实施方式中，首先将拟合区域FA设定在搜索区域SA的左上端，向图中的右侧方向逐个像素地移动并计算Σ|Y₀－Y₁|。接下来，当拟合区域FA到达搜索区域SA的右上端后，拟合区域FA返回到初期位置，随后设定为图中的下侧方向一个像素的位置，即下面1行的位置。然后，拟合区域FA直至到达搜索区域SA的右下端为止反复执行该计算。

接下来，第1运动估计部41比较所有位置中的Σ|Y₀－Y₁|，并指定数值变得最小的拟合区域F A的坐标。随后，将用该坐标表示的区域估计为相当于包含在输入图像1的局部区域LA的区域。这是因为：亮度的变化最小的区域是相当于包含在输入图像1中的局部区域LA的可能性最高。应当指出，在输入图像1和输入图像2中，当局部区域LA完全没有变化时，估计误差为0。

以这种方式，通过局部区域跟踪部4来跟踪局部区域LA的移动。

＜S3：偏离标志检测＞

接下来，在S3中，介由跟踪偏离检测部5判断是否检测偏离标志。这里，偏离标志的检测是基于规定条件来进行的。

例如，在2个图像之间，当局部区域LA大幅移动的情况下、或局部区域LA的亮度大幅变化的情况下等，会有难以跟踪第1运动估计部41的局部区域LA的情况。因此，在第1实施方式中，首先设定好规定条件作为难以跟踪的条件，当满足该条件时(即用第1运动估计部41已难以跟踪到局部区域LA时)，跟踪偏离检测部5检测出偏离标志，并生成表示难以跟踪的偏离标志信号。

这里，使用图5说明规定条件。图5A是在以局部区域LA的估计误差(Σ|Y₀－Y₁|)为纵轴，以图像的帧数为横轴绘制而成的图。应当指出，在图5中是以帧数为300为例，即作为输入图像输入图像1～图像300的情况。

在第1实施方式中，将规定条件设定为“当估计误差超过规定的值、或估计误差超过平均值的规定倍数的情况”。更具体而言，指的是“估计误差超过规定的值且超过平均值的规定倍数的情况”。这里，规定的值指的是：当估计误差超过该数值后，被认为局部区域LA的跟踪困难阈值(绝对值)，其可以采用任意的值。应当指出，在第1实施方式中，作为一个例子将阈值设定为25，000。此外，平均值指的是：按照时间顺序排列的多个图像的每一个的运动量的平均值。在图5A中，图中的粗线表示的是平均运动量，其数值为约5，000。平均运动量的规定倍数指的是：由用户任意设定的系数，在第1实施方式中，作为一个例子设定为3。

也就是说，在第1实施方式中，当估计误差超过25，000，且估计误差超过15，000时，判断为局部区域LA跟踪困难。在图5的例子中，帧数为220时满足该条件。随后，如图5B所示，当帧数为220时，跟踪偏离检测部5生成偏离标志信号。随后，如图2所示，跟踪偏离检测部5将偏离标志信号输入到模式切换部7和运动补偿部8。

当在S3中的判定结果为“No”时，即没有检测到偏离标志时，进行S4。

＜S4：输出运动量＞

接下来，在S4中，如图2所示，局部区域跟踪部4向运动补偿部8输入为了在后续的S5中进行运动补偿的运动量(跟踪运动量)。

＜S5：运动补偿＞

随后，在S5中，介由运动补偿部8执行补偿处理。

以下，使用图6和图7说明在S4和S5中的处理(即局部运动估计模式)。

＜局部运动估计模式＞

图6是用来说明在局部运动估计模式中的各个数据的处理的图。输入输出到区域设定部3、局部区域跟踪部4和运动补偿部8的图像数据是按照时间顺序排列的。

首先，通过在图3的S1中的处理，介由区域设定部3生成局部区域LA的坐标。

关于输入图像1，由于图像仅为1个而无法跟踪局部区域LA，因此将其原样作为输出图像输出为图像1。

接下来，当作为次级帧的输入图像的图像2被输入后，在与表示图像1的数据同时，将表示图像2的数据输入到局部区域跟踪部4。随后，将用局部区域跟踪部4估计的图像1与图像2之间的运动量(运动量1)和表示图像2的数据输入到运动补偿部8。运动补偿部8基于运动量1，对图像2施以转换处理从而生成图像2’，并将其作为图像1的下一个输出图像。

这里，使用图7来说明基于运动量的转换处理。图7表示在图像显示装置9上显示图像的状态，图7A、7C、7E表示的是输入图像，图7B、7D、7F表示的是输出图像。这里，图中的D1～D3表示的是图像1～图像3的显示范围，D2’和D3’表示的是图像2’和图像3’的显示范围。

在第1实施方式中，运动补偿部8补偿图像的位置，使得局部区域LA显示在显示图像显示面的大致中央处。具体而言，基于介由区域设定部3设定的坐标和显示面的大致中央处的坐标，使图像1移动。这里，在第1实施方式中，为了简化说明，以将显示面的大致中央的坐标输入到区域设定部3的情况为例进行说明。也就是说，在图7A中，局部区域LA预先设定在显示面的大致中央处。

如图7A和图7B所示，当图像1输入时，将原样输入图像1。这里，局部区域LA的左上位置P0(x0，y0)是特定为包含于图像1的局部区域LA的位置，并且以位置P0作为基准执行补偿处理。

接下来，如图7C所示，假设包含于图像1的局部区域LA为在图像2中移动(Δx1，Δy1)。该移动量相当于通过局部区域跟踪部4跟踪局部区域LA计算而得的跟踪运动量。此外，局部区域跟踪部4记录此时的局部区域LA的左上的位置P1(x1，y1)。并且，如图6所示，局部区域跟踪部4将运动量1(Δx1，Δy1)输出到运动补偿部8。

为了抑制局部区域LA的振动，运动补偿部8使图像2以D2为单位移动运动量1(Δx1，Δy1)。这里，在第1实施方式中，图7中的右侧方向的设定为x轴(+)，纵向设定为y轴(+)。该处理使用P0(x0，y0)和P1(x1，y1)来进行。具体而言，是使P1(x1，y1)的坐标与P0(x0，y0)的坐标一致地将图像2整体进行再现来完成的。换而言之，运动补偿部8是通过对图像2使其移动跟踪运动量的相反相位来抑制局部区域LA的振动的。该处理为转换处理。随后，通过转换处理生成图像2’，将图像2’作为输出图像。这里，在第1实施方式中，由于以D2为单位进行移动，所以在移动后的整个图像中的显示在图像显示装置9的范围D2’比D2小。应当指出，在图7D中的阴影部分表示的是没有显示图像的区域。此外，阴影部分可以是黑色显示、马赛克显示、任意图像显示或任意图像的缩小显示。

应当指出，如图7D所示，当不希望生成不显示图像的区域时，还可以扩大图像构成为局部区域LA被移动到显示面的大致中央处，以便消除阴影部分。

回到图6继续说明对在局部运动估计模式中的各种数据的处理。当输入图像3后，表示图像3的数据被输入到局部区域跟踪部4。应当指出，在图6中，为了便于说明，表示图像2的数据和运动量1被输出到局部区域跟踪部4，然而实际上这些数据已经被局部区域跟踪部4持有。

局部区域跟踪部4计算图像2与图像3之间的运动量2。在第1实施方式中，如图7E所示，由包含于图像3的局部区域LA的左上位置P2(x2，y2)和图像2中的P1(x1，y1)可知，运动量2为(Δx2，Δy2)。这里，在图7的例子中，Δy2为负值。P2(x2，y2)的坐标是由P0(x0，y0)和P1(x1，y1)唯一指定的。随后，如图6所示，局部区域跟踪部4将运动量2(Δx2，Δy2)输出到运动补偿部8。

如图7F所示，运动补偿部8将图像3移动每个D3运动量1+运动量2(Δx2+Δx1，Δy2+Δy1)。该处理使用P0(x0，y0)和P2(x2，y2)来执行。具体而言，是通过将P2(x2，y2)的坐标与P0(x0，y0)的坐标一致，从而再现图像3整体来完成的。由此生成图像3’，运动补偿部8将图像3’作为图像2’的下一个输出图像。

接下来，当输入图像4后，反复进行与图像2和图像3相同的处理。此后，每输入1个图像，执行该处理直到最终帧的输入图像被输入为止。

这里，在局部运动估计模式中，根据P0(x0，y0)变换随后的图像，而不是计算图像2和图像3之间的运动量2，并通过比较图像1和图像3来跟踪局部区域LA，从而能够直接求得图像1与图像3之间的运动量。然而，局部区域LA的跟踪，与比较图像1和图像3的情况相比，比较图像2和图像3的跟踪精度更高。这是因为，在实际的图像中，包含于图像1、2、3···中的局部区域LA内的亮度是时刻变化的，尽可能与之前的图像比较的话，其估计误差(Σ|Y₀－Y₁|)变小。

如上所述，在局部运动估计模式中，使用模式匹配，能够跟踪在搜索区域SA内的局部区域LA。

回到图3继续说明流程。

当在S3中的判定结果为“Yes”，即当检测到偏离标志时，则跟踪偏离检测部5向模式切换部7和运动补偿部8输出偏离标志信号，进行S6。

随后，在S6中，模式切换部7向局部区域跟踪部4和全局运动估计部6输出模式切换信号，将图像处理装置1由局部运动估计模式切换成全局运动估计模式。之后，将在全局运动估计模式算出的运动量输入到运动补偿部8，与局部运动估计模式相同，进行S4和S5。

以下，使用图8～图10说明S4～S6中的处理(即全局运动估计模式)。

＜S6：全局运动估计模式＞

全局运动估计模式从整个第1和第2图像估计对象物的运动量。此外，全局运动估计模式与局部运动估计模式不同，不设定局部区域LA的坐标。

如图9所示，在全局运动估计模式中，没有所谓局部区域LA的概念，因此整个图像被划分为多个区域(在图9中为9个)，并且作为整个图像来估计在任一方向上是否移动。也就是说，在全局运动估计模式中，将整个图像看作运动估计的对象物主体，来估计该对象物的运动量。应当指出，在第1实施方式中，以将图像划分成9个分割区域为例进行说明。

第2运动估计部61使用模式匹配或特征矢量来估计每个分割区域的移动方向。这里，所谓每个分割区域的移动方向指的是：包含在分割区域的对象物(Object)移动的方向。该估计方法是任意的，例如可以是在每个分割区域执行与局部区域LA相同的处理。具体而言，将分割区域的中心设定为局部区域LA，将分割区域的外围设定为搜索区域SA，在9个中的每个分割区域执行与局部区域LA的跟踪相同的处理，通过该方式能够估计每个分割区域的移动方向。随后，图2所示的第2运动估计部61将每个分割区域的移动方向中最多的方向作为整个图像的移动方向来估计。应当指出，在图9的例子中，9个分割区域中的6个分割区域的移动方向为右上方向，因此被估计为作为整个图像是向右上方向移动。随后，将考虑每个分割区域的运动量的移动方向的平均值估计为整个图像的运动量。该运动量相当于全局运动量。应当指出，即使是在运动估计是难以估计运动的分割区域，也可以通过计算去除该区域的其他的区域的平均值，来估计整个图像的运动量。

这里，使用图10说明运动校正部62的意义。在全局运动估计模式中，与局部运动估计模式不同，不对局部区域LA的坐标进行设定，而是通过运动校正部62的校正处理来适当地执行运动补偿部8的转换处理的。

图10A、10C、10E、10G表示输入图像，图10B、10D、10F、10H表示输出图像。此外，在图10中，为了便于说明，将图7中的对应于局部区域LA的区域作为对象物OJT。

如图10A和图10B所示，即使在全局运动估计模式中，对图像1的处理也与局部运动估计模式相同。

如图10C所示的，假设相对于图像1的图像2的运动量1为(Δx1，Δy1)。如图8所示的，第2运动估计部61将运动量1(Δx1，Δy1)输出到运动补偿部8和运动校正部62。运动补偿部8与局部运动估计模式同样地使图像2以D2为单位移动运动量1(Δx1，Δy1)。

接下来，如图10E所示，假设相对于图像2的图像3的运动量2为(Δx2，Δy2)。这里，图10E中的OJT(10C)表示的是在图10C中的对象物OJT的位置。

这里，在执行运动补偿部8的转换处理情况下，在全局运动估计模式中的局部区域LA的坐标没有被设定，因此即使是仅将图像3移动图像2与图像3之间的全局运动量的量，既可以回到图10C所示的图像2的状态。因此，在全局运动估计模式中，之前的全局运动量，即通过使用图像1与图像2之间的全局运动量，既可以使图像3中的对象物OJT的显示位置与图像1中的对象物OJT的显示位置大致一致。也就是说，运动校正部62将运动量1(Δx1，Δy1)作为校正量来使用，通过加算运动量2(Δx2，Δy2)，来生成校正后运动量2’(Δx1’(＝Δx2+Δx1)，Δy1’(＝Δy2+Δy1))。随后，如图8所示，该校正后运动量2’(Δx1’，Δy1’)输出到运动补偿部8。

运动补偿部8使图像3移动每个D3校正后运动量2’(Δx1’，Δy1’)。这里，在图10中，Δy2为负的值。该处理是通过在图像3整体的坐标上分别加算校正后运动量2’，从而使图像3整体再现来完成的。由此生成图像3’，运动补偿部8将图像3’设置为图像2’之后的输出图像。这里，(Δx2’，Δy2’)相当于在图2中的校正后全局运动量。

接下来，如图10G所示，假设相对于图像3的图像4的运动量3为(Δx3，Δy3)。这里，图10G中的OJT(10E)表示的是在图10E中的对象物OJT的位置。当每次执行对图像4的转换处理时，通过使用之前的校正后运动量2’，能够使图像4中的对象物OJT的显示位置与图像1中的对象物OJT的显示位置大致一致。也就是说，运动校正部62通过将校正后运动量2’(Δx2’，Δy2’)作为校正量来使用，并将其加算到运动量3(Δx3，Δy3)，来生成校正后运动量3’。随后，如图8所示，将该校正后运动量3’(Δx3’(＝Δx3+Δx2’)，Δy3’(＝Δy3+Δy2’))输出到运动补偿部8。

运动补偿部8使图像4移动每个D4校正后运动量3’(Δx3’，Δy3’)。该处理是通过在图像4整体的坐标上分别加算校正后运动量3’，从而使图像4整体再现来完成的。由此生成图像4’，运动补偿部8将图像4’作为图像3’之后的输出图像。这里，(Δx3’，Δy3’)相当于在图2中的校正后全局运动量。

此后，每当图像被输入1次时，执行该处理直到最终帧的输入图像被输入为止。

在全局运动估计模式中，使用模式匹配从整个图像估计对象物的运动量。

回到图3继续说明流程。

＜S7：判断是否为最终帧＞

介由运动补偿部8结束补偿处理后，在S7中，判断当前的图像是否为最终帧的图像。当S7中的判定结果为“No”，即当前的图像不是最终帧的图像时，返回到S2，反复执行直到再次S5为止的处理。这里，也可以在S6中切换为全局运动估计模式时返回到S2，如上所述，是为了判断局部区域LA的跟踪是否能够再次进行与否。在这种情况下，即使是局部运动估计模式被切换到全局运动估计模式，也可以说是执行在后台的局部运动估计模式的处理。由此，当不满足规定条件下，可以从第2估计模式切换为第1估计模式。

另一方面，当S7中的判定结果为“Yes”，即当前的图像为最终帧的图像时，结束图像处理装置1的振动抑制处理。

如上述说明，第1实施方式所涉及的图像处理装置1基于规定条件来决定，运动补偿部8的转换处理是否是基于局部运动估计模式来完成的，或是基于全局运动估计模式来完成的。因此，在局部区域LA的跟踪为可能时，在计算量少的局部运动估计模式下执行图像处理，当在局部区域LA难以跟踪的情况下，通过切换成利用整个图像的全局运动估计模式，可以在节省计算资源的同时有效地抑制图像的振动。

＜第2实施方式＞

下面，使用图11和图12，说明本发明第2实施方式所涉及的图像处理装置1。第2实施方式与第1实施方式的主要区别点在于：在第2实施方式中没有利用全局运动估计模式。

第2实施方式中的图像处理装置1具备：第1运动估计部41，其在规定的搜索区域SA估计局部区域LA的运动量的估计的；运动补偿部8，其基于局部区域LA的运动量对第2图像实施转换处理，以抑制在第1和第2图像间的局部区域LA的振动。第1运动估计部41具备：第1估计模式，其在搜索区域SA内跟踪局部区域LA，估计图像的运动量；第2估计模式，其基于比在第1估计模式的中的搜索区域SA大的区域跟踪局部区域LA。

如图11所示，在第2实施方式中处理流程，其直至S1～S5与第1实施方式相同，其说明省略。以下，使用图12对图11中的S6和S7(搜索区域SA的扩大部分)进行说明。应当指出，在图12添加在搜索区域SA的数字表示的是搜索区域SA的扩大次数。例如，在图12A和图12B所示的搜索区域SA0表示的是扩大前的搜索区域SA(相当于第1实施方式的搜索区域SA)。此外，在图12C所示的搜索区域SA1表示的是扩大1次后的搜索区域SA。

当比较图12A所示的输入图像和作为次级帧中的输入图像的图12B时，在图12B中所示的输入图像中，局部区域LA位于搜索区域SA1的外部。在这种情况下，在搜索区域SA0中的估计误差(Σ|Y₀－Y₁|)的最小值变大，并且不满足图5所示的规定条件。换而言之，局部区域LA的跟踪变得困难。

在这里，局部区域跟踪部4通过未图示的区域扩大部扩大搜索区域SA0，并重新设定搜索区域SA1。所示状态如图12C所示。也就是说，在第2实施方式中，搜索区域SA扩大后的局部运动估计模式相当于第2估计模式。

随后，再次执行如图4所示的处理，来跟踪局部区域LA。应当指出，搜索区域SA1的大小和位置是任意的，可以根据图像的特性适宜设定以包含搜索区域SA0。

在第2实施方式中，通过扩大搜索区域SA0并将第1估计模式切换成第2估计模式，能够跟踪在扩大前跟踪困难的局部区域LA。应当指出，根据需要还可以反复进行规定次数搜索区域SA的扩大。此外，当扩大后的搜索区域SA的大小与图像整体的大小相等时，虽然计算量多，但只要局部区域LA位于图像内，就可以高精度地进行局部区域LA的跟踪。

接下来使用图11说明第2实施方式所涉及的处理流程。如图11所示，在第2实施方式中的处理流程，其直至S1～S5与第1实施方式相同，因此其说明省略。

在S3中，介由跟踪偏离检测部5判断是否检测到偏离标志。随后，当S3中的判定结果为“No”时，即没有检测到偏离标志时，进行S5。

随后，在S5中，运动量由局部区域跟踪部4被输出到运动补偿部8。在S6中，介由运动补偿部8执行转换处理。另一方面，当S3中的判定结果为“Yes”时，即当检测出偏离标志时，进行S6，判断搜索区域SA的扩大次数是否达到上限。应当指出，该上限次数可以为任意的次数。在第2实施方式中，以该上限次数是3次为例进行说明。

在S6中，初期状态下的扩大次数为0次。因此，不超过扩大次数的上限，判定结果为“No”。随后，进行S7，介由局部区域跟踪部4扩大搜索区域SA0，并设定搜索区域SA1。随后，经过S2再次进行S3。然后，如果通过设定搜索区域SA1能够跟踪局部区域LA的话，进行S4。另一方面，当即使是设定搜索区域SA1也难以跟踪局部区域LA的话，即当满足图5所示的规定条件的情况下，则再次进行S6。反复执行该处理，直到达到搜索区域SA的扩大次数上限。

随后，当S6中超过扩大次数时，具体而言，当即使已经设定了搜索区域SA3的状态下依旧难以跟踪局部区域LA时，则S6中的判定结果为“Yes”，进行S8。也就是说，当即使扩大搜索区域SA至上限依旧无法跟踪局部区域LA时，则原样显示图像而不执行补偿处理。这里，在本实施方式中，虽然搜索区域SA的扩大次数上限设定为3次，但当将3次扩大后的搜索区域SA3的大小设定为与图像整体的大小相等时，在超过S6中的上限次数后进行S4，从而能够执行补偿处理。

随后进行S8，执行与第1实施方式的图3中的S7相同的处理。

S8中的判定结果为“Yes”，即当前的图像为最终帧的图像时，则终止图像处理装置1的振动抑制处理。

如上述说明，通过所述构成和处理，能够通过扩大搜索区域SA从而高精度地跟踪局部区域LA。由此，可以解决计算资源，同时高效率地抑制图像的振动。

这里，在被切换为第2估计模式后，变为不满足规定的条件时，例如被排除在搜索区域SA2局部区域LA变化成位于之前的搜索区域SA1内时，具有能够在搜索区域SA1内跟踪局部区域LA的情况。在这种情况下，模式切换部7可以将搜索区域SA的大小缩小一级执行跟踪局部区域LA。当局部区域LA最初即已经位于搜索区域SA内时，也可以将第2估计模式切换为第1估计模式。

＜第3实施方式＞

使用图13说明本发明第3实施方式所涉及的图像处理装置1。第3实施方式所涉及的图像处理装置1执行组合第1实施方式和第2实施方式处理的处理。这里，图13中的S1～S7与第2实施方式相同，其说明省略。

在第3实施方式中，当达到S6中的上限次数时，具体而言，如果即使已经设置了搜索区域SA3状态也难以跟踪局部区域LA时，则S6中的判定结果为“Yes”，然后进行S8。随后，在S8中如第1实施方式的图3中的S6相同切换为全局运动估计模式。

随后经过S4进行S5、S9，执行与第1实施方式中的图3的S7同样的处理。

当S9中的判定结果为“Yes”，即当前的图像为最终帧的图像时，则终止图像处理装置1的振动抑制处理。

如上述说明，在第3实施方式所涉及的图像处理装置1中，通过扩大搜索区域SA能够高精度地跟踪局部区域LA。更进一步地，即使是搜索区域SA的扩大次数到达上限，也可以通过切换为全局运动估计模式来继续进行运动补偿部8的转换处理。

＜其他实施方式＞

以上描述了各种实施方式，但本发明的图像处理装置1不限定于此。例如，作为切换第1估计模式和第2估计模式的条件，也可以仅使用“估计误差达到规定的值的情况”。或者，该条件也可以仅使用“当估计误差达到平均值的规定倍数的情况”。更进一步地，根据图像的运动量的变化，还可以动态变更图5所示的阈值。例如，当图像的运动量大于或等于规定值的次数是连续多次时，可以增大阈值。在这种情况下，不使用平均值作为规定条件的情况下，提高了局部区域LA的跟踪精度。

此外，还可以省略模式切换部7。在这种情况下，同时执行局部运动估计模式和全局运动估计模式，可以选择是否执行基于在运动补偿部8下任一模式下估计而得的运动量的转换处理。

此外，代替通过在局部运动估计模式和全局运动估计模式下估计运动量的估计，还可以是使用特征矢量。

此外，图像处理装置1可以作为PC、服务器或计算机、以及与显示装置连接的机顶盒来提供。此外，还可以将图像处理装置1组装到显示装置内部。更进一步地，还可以作为安装了图像处理装置1功能的计算机可读取的非暂时性记录介质来提供。此外，也可以介由因特网等来发布实现控制装置1功能的程序。

更进一步地，构成图像处理装置1的各个单元可以被包括在同一框体内，也可以被分散地配置在多个筐体。

符号说明

1：图像处理装置

2：运动估计部

3：区域设定部

4：局部区域跟踪部

41：第1运动估计部

42：图像剪切部

5：跟踪偏离检测部

6：全局运动估计部

61：第2运动估计部

62：运动校正部

7：模式切换部

8：运动补偿部

9：图像显示装置

LA：局部区域

SA：搜索区域

FA：拟合区域

Claims (10)

1.一种图像处理装置，其具备：

运动估计部，其估计在第1图像与该第1图像之后的第2图像之间的对象物的运动量；

运动补偿部，其基于所述对象物的运动量对第2图像实施转换处理，以抑制在第1图像与第2图像之间的所述对象物的振动；以及

模式切换部；其中，

所述运动估计部具备：

第1估计模式，其在规定的搜索区域内估计所述对象物的运动量；以及

第2估计模式，其基于比第1估计模式中的所述搜索区域大的区域估计所述对象物的运动量，

所述模式切换部切换所述第1估计模式和所述第2估计模式，

所述运动补偿部在满足规定条件时，基于以所述第2估计模式估计得到的运动量进行所述转换处理，在不满足所述规定条件时，基于以所述第1估计模式估计得到的运动量进行所述转换处理，

所述运动估计部在所述第1估计模式下，将基于包含在所述第1图像的对象物与包含在所述第2图像中的规定范围的亮度差算出的值作为估计误差，

所述规定条件指的是满足所述估计误差超过规定值的情况，或所述估计误差超过平均值的规定倍数的情况中的任意一者或两者。

2.根据权利要求1所述的图像处理装置，

所述第2估计模式是全局运动估计模式，其从所述第1图像和第2图像的整体估计所述对象物的运动量。

3.根据权利要求1所述的图像处理装置，

所述第2估计模式是在将所述第1估计模式中的所述搜索区域的大小扩大后的新搜索区域内估计所述对象物的运动量。

4.根据权利要求1所述的图像处理装置，

所述运动估计部介由模式匹配或特征矢量来估计所述对象物的运动量。

5.根据权利要求1所述的图像处理装置，

其具有在所述第1估计模式中设定与所述对象物对应的区域的区域设定部。

6.根据权利要求5所述的图像处理装置，

所述运动补偿部对所述第2图像执行所述转换处理，以使由所述区域设定部设定的区域位于显示所述图像的显示面的大致中央。

7.根据权利要求1所述的图像处理装置，所述模式切换部在不满足所述规定条件时，从所述第2估计模式切换成所述第1估计模式。

8.一种图像处理装置，其具备：

运动估计部，其估计在第1图像与该第1图像之后的第2图像之间的对象物的运动量；以及

运动补偿部，其基于所述对象物的运动量对第2图像实施转换处理，以抑制在第1图像与第2图像之间的所述对象物的振动；其中，

所述运动估计部具备：

第1估计模式，其在规定的搜索区域内估计所述对象物的运动量；以及

第2估计模式，其基于比第1估计模式中的所述搜索区域大的区域估计所述对象物的运动量，

所述第2估计模式是使比所述搜索区域大的区域与所述第1和第2图像的整体对应的全局运动估计模式，

在所述全局运动估计模式中，比所述搜索区域大的区域被分割为多个分割区域，针对各所述分割区域估计移动方向，并基于所述移动方向估计所述对象物的运动量，

所述运动补偿部在满足规定条件时，基于以所述第2估计模式估计得到的运动量进行所述转换处理，在不满足所述规定条件时，基于以所述第1估计模式估计得到的运动量进行所述转换处理。

9.一种图像显示装置，其具备权利要求1～8中任一项所述的图像处理装置。

10.一种计算机可读取的记录介质，其上存储有图像处理程序，所述图像处理程序使计算机作为运动估计部和运动补偿部以及模式切换部发挥功能，

所述运动估计部估计在第1图像与该第1图像之后的第2图像之间的对象物的运动量，

所述运动补偿部基于所述对象物的运动量对第2图像实施转换处理，以抑制在第1图像与第2图像之间的所述对象物的振动，

所述运动估计部具备：

第1估计模式，其在规定的搜索区域内估计所述对象物的运动量；以及

第2估计模式，其基于比第1估计模式中的所述搜索区域大的区域估计所述对象物的运动量，

所述模式切换部切换所述第1估计模式和所述第2估计模式，

所述运动补偿部在满足规定条件时，基于以所述第2估计模式估计得到的运动量进行所述转换处理，在不满足所述规定条件时，基于以所述第1估计模式估计得到的运动量进行所述转换处理，

所述运动估计部在所述第1估计模式下，将基于包含在所述第1图像的对象物与包含在所述第2图像中的规定范围的亮度差算出的值作为估计误差，

所述规定条件指的是满足所述估计误差超过规定值的情况，或所述估计误差超过平均值的规定倍数的情况中的任意一者或两者。

Images