CN110692235B - 图像处理装置、图像处理程序及图像处理方法 - Google Patents

Abstract

本发明的目的在于提供能够指定所希望的运动而进行修正的图像处理装置、图像处理程序以及图像处理方法。图像处理装置具备：全局运动推定单元，根据动态图像中所含的多个帧图像来推定动态图像中表示包含特定的被摄体的特定区域的运动的全局运动；局部运动推定单元，根据多个帧图像推定动态图像中表示特定的被摄体的运动的局部运动；图像修正单元，基于所推定的全局运动和局部运动来修正动态图像中的特定的被摄体或特定区域的运动。

Description

图像处理装置、图像处理程序及图像处理方法

技术领域

本发明涉及图像处理装置、图像处理程序及图像处理方法。

背景技术

通常，在动态图像中，已知存在表示由照相机等的运动引起的图像的特定区域(也可以是图像整体)的运动的全局运动、和表示特定的被摄体的运动的局部运动。

以往，作为推定全局运动的方法，使用按各个块得到的运动矢量的平均值、中值、最频值的处理作为简易方法。另外，已知有将画面整体作为一个大的块来推定画面整体的运动矢量的图像处理装置。

在下述专利文献1中，公开了进行基于影像处理的失真修正的方法，是使用图像特征点的方法，公开了分别推定因影像的摇晃而引起的平行移动分量和失真分量这两者的技术思想。

现有技术文献

专利文献

专利文献1：日本特开2013-017155号公报。

发明内容

发明要解决的问题

然而，在上述的现有技术中，产生了无法指定全局运动、局部运动中的所希望的运动而进行修正的问题。

本发明是鉴于这样的情况而完成的，其目的在于提供能够指定所希望的运动而进行修正的图像处理装置、图像处理程序以及图像处理方法。

用于解决问题的手段

本发明的一个方面的图像处理装置具备：全局运动推定单元，根据动态图像中所含的多个帧图像来推定动态图像中表示包含特定的被摄体的特定区域(也可以是整个图像)的运动的全局运动；局部运动推定单元，根据多个帧图像推定动态图像中表示特定的被摄体的运动的局部运动；图像修正单元，基于所推定的全局运动和局部运动来修正动态图像中的特定的被摄体或特定区域的运动。

另外，本发明的一个方面的图像处理程序，执行以下步骤：执行全局运动推定，该全局运动推定根据动态图像中所含的多个帧图像来推定动态图像中表示包含特定的被摄体的特定区域(也可以是整个图像)的运动的全局运动；执行局部运动推定，该局部运动推定根据多个帧图像推定动态图像中表示特定的被摄体的运动的局部运动；执行图像修正，该图像修正基于所推定的全局运动和局部运动来修正动态图像中的特定的被摄体或所述特定区域的运动。

另外，本发明的一个方面的图像处理方法具有以下步骤：执行全局运动推定，该全局运动推定根据动态图像中所含的多个帧图像来推定动态图像中表示包含特定的被摄体的特定区域(也可以是整个图像)的运动的全局运动；执行局部运动推定，该局部运动推定根据多个帧图像推定动态图像中表示特定的被摄体的运动的局部运动；执行图像修正，该图像修正基于所推定的全局运动和局部运动来修正动态图像中的特定的被摄体或所述特定区域的运动。

发明的效果

根据本发明，通过对指定的运动进行修正，能够进行所希望的图像处理。

附图说明

图1是本发明的一个实施方式的图像处理系统1的概略图

图2是本发明的一个实施方式的图像处理装置10的概念图

图3是空间上的点与照相机运动所对应的图像内像素点的对应关系

图4是空间中的三维运动所引起的二维图像运动的概要图

图5是本发明的一个实施方式的全局运动推定部200的概念图

图6是对应点序列存储的概要图

图7是本发明的一个实施方式的对应点选择部230的处理的概要图

图8是特定的被摄体的轮廓及重心点的提取的概要图

图9是本发明的一个实施方式的局部运动推定部300的概念图

图10是本发明的一个实施方式的图像修正部400的概念图

图11是照相机运动造成的照相机轴变化的示意图

图12是并行处理成为可能的图像处理装置10的概念图

图13是图像处理装置10的图像处理所引起的黑色区域发生的情况下的概念图

图14是组合了照相机动作调整装置的图像处理系统1的概念图

图15是组合了被摄体位置调整装置的图像处理系统1的概念图

图16是应用了图像处理装置10的医疗用影像处理系统2的概念图

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

图1是本发明的一个实施方式的图像处理系统1的概略图。图像处理系统1具备图像处理装置10、拍摄用照相机20以及显示装置30。拍摄用照相机20生成表示拍摄规定的拍摄对象得到的图像的输入图像数据，并发送到图像处理装置10。图像处理装置10对从拍摄用照相机20接收到的输入图像数据进行规定的处理，将输出图像数据发送到显示装置30。显示装置30基于从图像处理装置10接收到的输出图像数据，显示规定的图像。

图2是本发明的一个实施方式的图像处理装置10的概念图。图像处理装置10包括图像缩小部100、全局运动推定部200、局部运动推定部300和图像修正部400。

图像缩小部100将输入图像数据缩小为期望的处理图像数据，以实现后续阶段的全局运动推定处理以及局部运动推定处理的高速化。基于分辨率高的图像数据的图像处理有时难以在与规定的视频速率对应的处理时间内进行处理。因此，不直接使用输入图像数据，分离缩小为规定尺寸，作为用于计算投影变换矩阵等的计算处理用的图像数据，由此能够实现处理的效率化。在缩小图像尺寸的同时，可以将输入图像数据变换为规定的图像格式。另外，如后所述，作为由图像修正部400进行图像修正的对象的图像，利用输入图像数据本身。

全局运动推定部200基于作为对象的帧的图像数据和比对象帧靠前的帧(例如1帧前的图像数据)来推定全局运动。关于全局运动推定部200所包含的各构成的详细情况，将在后面叙述。

局部运动推定部300基于作为对象的帧的图像数据和比对象帧靠前的帧(例如1帧前的图像数据)来推定局部运动。关于局部运动推定部300所包含的各构成的详细情况，将在后面叙述。此外，在不需要进行局部运动的补偿的情况下，也可以关闭局部运动推定部300的功能。

图像修正部400基于所推定的全局运动和局部运动创建投影变换矩阵，并且修正运动图像中的特定被摄体或特定区域(可以是整个图像)的运动。稍后将描述图像修正部400中包括的各构成的详细情况。

作为说明图像处理装置10的图像处理的概要的前提，首先，对运动图像中的运动进行以下说明。

图3示出了与3维空间上的点P_i对应的照相机位置b(也可以是第b帧的照相机位置)的图像的像素点p_i ^b、照相机位置n(也可以是第n帧的照相机位置)的图像的像素点p_i ⁿ以及照相机位置r(也可以是第r帧的照相机位置)的图像的像素点p_i ^r的关系。在此，i表示像素点的编号。

将空间上的点P_i与屏幕上的点p_i ⁿ之间的关系使用齐次坐标以矢量式记述如下。

[数式1]

其中，M_I以及M_E分别表示照相机的内部参数以及外部参数。内部参数是依赖于照相机的镜头系统的信息，外部参数是表示空间内的照相机的位置和拍摄方向的信息。若将式(1)以要素展开，则如下所示。

[数式2]

其中，X_i、Y_i和Z_i表示被摄体的特定点的三维坐标，x_i ⁿ和y_i ⁿ表示与照相机位置n的上述被摄体的特定点对应的像素点。另外，f_x及f_y表示焦距，c_x及c_y表示距中心的光轴的偏离，Rⁿ及tⁿ分别表示照相机位置编号n的向照相机坐标系的旋转及平行移动。另外，为了像素位置被标准化为(x_i ⁿ,y_i ⁿ,1)，预先设为标度信息即λ_i ⁿ倍。

当内部参数和外部参数被汇集为投影变换矩阵Hⁿ时，获得式(3)。

[数式3]

关于照相机位置r，也与以上同样地得到式(4)以及式(5)。

[数式4]

[数式5]

Hⁿ是3行4列的矩阵，该广义逆矩阵(Hⁿ)^-如式(6)所示。另外，广义逆矩阵(Hⁿ)^-是4行3列的矩阵。

[数式6]

(Hⁿ)^-＝(Hⁿ)^T·(Hⁿ·(Hⁿ)^T)^-1...(6)

由此，照相机位置n的像素点与照相机位置r的像素点之间的对应能够如式(7)那样表示。

[数式7]

当将照相机位置n的图像的像素位置变换为运动后的照相机位置r的图像的对应的像素位置的投影变换矩阵作为H^n2r来变换式(7)时，得到以下的式(8)。

[数式8]

另外，在照相机位置r以及n所使用的照相机是同一照相机的情况下，内部参数M_I被抵消，不包含在投影变换矩阵H^n2r中。

接着，对图像的运动(图像中的物体的运动)进行说明。在三维空间中具有轮廓的实体在二维投影的图像中也具有作为二维物体的轮廓。将图像中的这些二维物体在每个帧中改变在图像上所占的位置称为图像的运动(准确地说是图像中的物体的运动)。图像的运动能够根据其产生要因而按照表1进行分类。另外，“运动的频率”严格来说是指运动轨迹的空间频率。

[表1]

首先，存在表示由照相机等的运动引起的图像的特定区域(也可以是图像整体)的运动的全局运动。以照相机的运动为主要原因的图像的运动是全部被摄体向相同的方向(消失点)统一地运动。作为全局运动的主要原因的照相机的运动被分为选择照相机的方向的横摇/直摇等的有意图的运动以及振动等无意图的运动要因。另一方面，空间中的物体的个别的运动是仅图像中的特定部分运动的局部运动。通常，图像中的运动是局部运动与全局运动重叠的结果。

图4是使用对应的像素的运动来表示空间中的三维运动引起的二维图像运动的图。图4(a)是表示由照相机等的运动引起的图像的全局运动的示意图。示出了与某时刻(例如第n帧)的特定的像素i及s对应的像素点p_i ⁿ及p_s ⁿ分别在接下来的某时刻移动到对应的像素位置p_i ⁿ⁺¹及p_s ⁿ⁺¹。运动由箭头的移动量矢量表示。

图4(b)图示了关于更多的像素点的移动量矢量。全局运动的特征是矢量的方向被均匀地投影变换并朝向消失点的方向。另外，图4的(b)示出了空间中的物体的自主运动和照相机的运动同时发生时的情况。即，除了全局运动以外，在一部分特定的图像部分中存在局部运动。图中，朝向与消失点不同的方向的虚线所示的箭头是局部运动的移动量矢量。

接着，说明图像处理装置10的图像处理的概要。

图像缩小部100得到将输入图像数据缩小为所希望的尺寸的图像数据。

以下说明由全局运动推定部200进行的全局运动的推定。

图5示出全局运动推定部200的结构例。全局运动推定部200例如具备亮度图像生成部210、对应点检测部220以及对应点选择部230。

亮度图像生成部210将输入的图像数据(也可以是缩小尺寸的图像)变换为灰度图像(单色亮度图像例如8比特)。

对应点检测部220在2帧的图像数据(例如成为对象的帧的图像数据及其前一帧的图像数据)中，检测对应点如何移动。对应点的确定能够通过适当的方法来进行，例如通过将关注的图像的亮度与周围的亮度梯度类似的点识别为对应点来进行。对应点检测部输出与检测到的对应点有关的信息作为对应点序列存储信息。图6表示对应点序列存储的概要。

对应点选择部230从对应点检测部220检测出的对应点中选择适当的对应点。如后所述，为了求解投影变换矩阵，需要4个以上的对应点。图7表示对应点选择部230的处理概要。所选择的对应点的信息被输出到图像修正部400。

以下说明由局部运动推定部300进行的局部运动的推定。另外，局部运动的推定能够通过适当的方法进行，以下，对基于特定的被摄体的重心的移动量的局部运动的推定进行说明。图8示出特定被摄体的轮廓和重心点的提取的概要。

图9示出了局部运动推定部300的结构例。局部运动推定部300具备区域提取部310、重心计算部320以及移动量计算部330。

区域提取部310提取进行局部运动的特定被摄体所占的区域。区域的提取可以通过适当的方法来进行，例如通过提取具有特定色相的区域来进行。

重心计算部320针对由区域提取部310提取出的区域，通过适当的方法生成构成轮廓线的点序列的坐标((x₁ ⁿ,y₁ ⁿ)),…,(x_i ⁿ,y_i ⁿ),…,(x_N ⁿ,y_N ⁿ))，按照以下的式(9)求出特定的被摄体的重心位置。另外，也可以作为二值化图像进行处理。

[数式9]

与前一帧之间的移动量矢量通过以下的式(10)求出。将移动量矢量的值输出到图像修正部400。

[数式10]

接着，对由图像修正部400进行的图像的修正进行说明。

图10示出了图像修正部400的结构例。图像修正部400包括读取部410、投影变换矩阵计算部420和图像处理部430。

读取部410读取全局运动的对应点信息和局部运动的移动量矢量信息，并且发送到投影变换矩阵计算部420。

投影变换矩阵计算部420首先基于全局运动的对应点信息来生成与全局运动相关联的投影变换矩阵。如上所述，将照相机位置n(即第n帧)的图像的像素位置变换为运动后的照相机位置r(即第r帧)的图像的对应的像素位置的投影变换矩阵如式(8)所示。

H^n2r为3行3列，因此至多具有9个未知数。由于p～_i ⁿ以及p～_i ^r是已知的，所以如果使用成对的多个对应点序列来求解联立方程式，则能够求出未知的H^n2r。由于是使用了齐次坐标系的关系式，投影变换矩阵是3行3列的矩阵，标度是未定的，所以自由度为8。因此，H^n2r能够如下表示，矩阵形式的未知数为8个要素。

[数式11]

若追踪点数量为4个以上，则能够求解H^n2r。以下，对追踪点为4个的情况进行说明。首先，各追踪点的第n帧与第r帧的位置关系能够如下所示。

[数式12]

若用要素改写式(12)，则如下所示。

[数式13]

将式(13)整理为通常的联立方程式如下。

[数式14]

如果求解式(14)所示的方程式，则能够计算出H^n2r的未知的各要素。

接着，投影变换矩阵计算部420基于从局部运动推定部300接收到的移动量矢量的值，如以下那样修正H^n2r。在此，Width表示图像的横向的像素数，Height表示纵向的像素数。

[数式15]

投影变换矩阵计算部如以下那样，根据从第n帧向第r帧的投影变换矩阵H^n2r、和从第b帧向第n帧的投影变换矩阵H^b2n，计算从第b帧向第r帧的投影变换矩阵H^b2r。

[数式16]

H^b2r＝H^n2r·H^b2n...(16)

可以针对每一帧累积地计算投影变换矩阵H^b2r。即，在式(16)中，如果将n置换为(n-1)，将r置换为n，则能够根据从第n-1帧向第n帧的投影变换矩阵H^(n-1)2n、和从第b帧向第n-1帧的投影变换矩阵H^b2(n-1)，来计算从第b帧向第n帧的投影变换矩阵H^b2n。同样地，对于从第b帧向第n-1帧的投影变换矩阵H^b2(n-1)，也根据从第n-2帧向第n-1帧的投影变换矩阵H^{(n -2)2(n-1)}和从第b帧向第n-2帧的投影变换矩阵H^b2(n-2)来计算。这样，投影变换矩阵计算部420通过从第b帧对每1帧累计地乘以来自前一帧的投影变换矩阵，能够累积地生成投影变换矩阵。

另外，投影变换矩阵计算部也可以设定按规定的周期更新成为基准的帧的基准图像周期。通过设定基准图像周期，能够区别地检测运动的频率低的有意图的全局运动和运动的频率高的无意图的全局运动。由照相机运动引起的照相机轴变化的示意图如图11所示。在照相机的横摇或直摇这样的有意图的全局运动的长周期波形中重叠有如手抖动或振动等那样的无意图的全局运动的短周期波形。通过设定短的基准图像周期，能够不对有意图的全局运动进行补偿。

图像处理部430使用从第b帧向第n帧的(累积)投影变换矩阵H^b2n，对第n帧的输入图像数据如下地进行补偿。其中，将输入图像数据的像素设为p_i ^r，将变换后的像素设为p_i ^b’。另外，这里的补偿中使用的输入图像数据不是被缩小的图像数据，而是能够使用原尺寸的输入图像数据。

[数式17]

以上，对图像处理装置10的例示性的实施方式进行了说明。在图像处理装置10的基本的实施方式中，具备根据运动图像中包含的多个帧图像来推定动态图像中表示包含特定被摄体的特定区域的运动的全局运动的全局运动推定部200、根据多个帧图像推定动态图像中表示特定被摄体的运动的局部运动的推定部300、基于推定的全局运动以及局部运动，对动态图像中的特定的被摄体或者特定区域的运动进行修正的图像修正部400。由此，能够指定所希望的运动来修正图像。

局部运动推定部300也可以使用包含特定被摄体的区域中的特定点的移动量来推定局部运动。另外，局部运动推定部300所使用的特定点也可以是被摄体的重心。由此，能够生成特定的被摄体的重心点停止、其他部分相对地运动的图像。

图像修正部400可以生成与所推定的全局运动相对应的投影变换矩阵，并且基于所推定的局部运动来修正投影变换矩阵，并且基于修正后的投影变换矩阵来修正运动图像中的特定被摄体或特定区域的运动。由此，能够同时补偿全局运动和局部运动。

全局运动推定部200和所述局部运动推定部300可以使用缩小输入图像得到的图像来推定全局运动和局部运动。由此，能够使得用于计算投影变换矩阵的处理高效化。

图像处理装置10也可以进行并行处理。图12表示一例。存储部500保存输入图像数据，例如第n帧的输入图像数据Imageⁿ以及前一帧的第n-1帧的输入图像数据Image^n-1。存储部500将Imageⁿ输出到全局运动推定部200和局部运动推定部300。全局运动推定部200和局部运动推定部300对第n帧的输入图像数据Imageⁿ进行规定的推定处理，对存储部600分别输出与第n帧的输入图像数据Imageⁿ相关的全局运动的对应点信息以及局部运动的移动量矢量信息。另外，存储部600还保存与前一帧的第n-1帧的输入图像数据Image^n-1有关的全局运动的对应点信息和局部运动的移动量矢量信息。

与执行以上的处理并行地，图像修正部400对第n-1帧的输入图像数据Image^n-1执行图像修正。具体而言，读取部410读取与存储部600所保存的第n-1帧的输入图像数据Image^n-1相关的全局运动的对应点信息以及局部运动的移动量矢量信息，并向投影变换矩阵计算部420输出。投影变换矩阵计算部420计算从第b帧向第n-1帧的投影变换矩阵H^{b2(n -1)}，并输出给图像处理部430。图像处理部430使用从存储部500输出的第n-1帧的输入图像数据Image^n-1和从第b帧向第n-1帧的投影变换矩阵H^b2(n-1)，对第n-1帧的输入图像数据Image^n-1执行图像修正。

通过上述结构，能够并行处理多个帧的输入图像数据，能够使图像处理装置10的处理高效化。

然而，在进行基于图像处理装置10的图像处理的情况下，若补偿对象的全局运动、局部运动较大，则有时在图像处理后的输出图像数据的一部分中产生未定义的区域即黑色区域。图13表示因图像处理装置10的图像处理而产生黑色区域的情况的概念图。图13(a)示出某基准帧(第b帧)中的特定被摄体1000、拍摄范围1100以及输出图像数据的输出范围1200的关系。图13(b)示出该基准帧之后的帧(第n帧)中的特定被摄体1000、拍摄范围1100、输出图像数据的输出范围1200以及黑色区域1300的关系。在第n帧中，由于从第b帧产生全局运动或局部运动或两者，特定的被摄体1000在画面上的位置移动。在该情况下，若进行图像处理装置10的图像处理，则例如以特定的被摄体1000位于输出图像数据的中心部的方式进行修正，结果在输出图像数据的输出范围1200中包含黑色区域1300。

因此，为了解决这样的问题，在图像处理系统中，也可以与图像处理装置10一起将物理的动作调整装置组合利用。例如，可以使用基于全局运动或局部运动来调整照相机的动作的照相机动作调整装置，也可以使用基于全局运动或局部运动来调整被摄体的位置的被摄体位置调整装置。

图14是组合了照相机动作调整装置的图像处理系统1的概念图。在拍摄用照相机20上安装有照相机动作调整用的致动器41。图像处理装置10基于从拍摄特定的被摄体1000的拍摄用照相机20接收到的输入图像数据来推定全局运动或者局部运动或者这两者，并且将基于推定出的全局运动或者局部运动或者这两者而计算出的控制信息发送给致动器41。致动器41基于接收到的所述控制信息，调整拍摄用照相机的动作(例如，包括朝向、倾斜度的变更、以及水平移动、垂直移动，但不限于此)。

另外，图15是组合了被摄体位置调整装置的图像处理系统1的概念图。特定的被摄体1000被放置在拍摄用载台2000上，在拍摄用载台2000上安装有被摄体位置调整用的致动器42。图像处理装置10基于从拍摄特定的被摄体1000的拍摄用照相机20接收到的输入图像数据来推定全局运动或者局部运动或者这两者，并且将基于推定出的全局运动或者局部运动或者这两者而计算出的控制信息发送给被摄体位置调整用的致动器42。致动器42基于接收到的所述控制信息，调整拍摄用载台2000的位置。

在图15中，拍摄用照相机20例如是显微镜，特定的被摄体1000例如是微生物等移动的物体。即使在特定被摄体1000移动的情况下，致动器42也调整拍摄用载台2000的位置，使得包含特定的被摄体1000的所希望的区域位于显微镜的视野内。

接下来，对上述实施方式中的图像处理系统1的应用例进行说明。

图16是应用了图像处理装置10的医疗用影像处理系统2的概念图。医疗用影像处理系统2具备图像处理装置10、医疗用照相机21以及图像显示器31。在此，医疗用照相机21例如是内窥镜照相机、设置于顶棚的手术用记录照相机、医疗用显微镜等。图像处理装置13对从医疗用照相机21输入的输入图像数据进行处理，并输出到图像显示器31。图像显示器31在实施手术等医疗行为时输出医师等需要的影像等。

此外，以上说明的实施方式用于使本发明的理解变得容易，并不用于限定地解释本发明。本发明能够在不脱离其主旨的情况下进行变更/改良，并且在本发明中也包含其等价物。即，只要具备本发明的特征，本领域技术人员对各实施方式适当加以设计变更后的技术也包含在本发明的范围内。例如，各实施方式所具备的各要素及其配置、材料、条件、形状、尺寸等并不限定于例示的内容，能够适当变更。另外，各实施方式是例示，当然能够进行在不同的实施方式中示出的结构的部分置换或组合，只要包含本发明的特征，这些也包含在本发明的范围内。

符号的说明

1 图像处理系统

2 医疗用图像处理系统

10 图像处理装置

20 拍摄用照相机

21 医疗用照相机

30 显示装置

31 图像显示器

41 照相机动作调整用致动器

42 被摄体位置调整用致动器

100 图像缩小部

200 全局运动推定部

210 亮度图像生成部

220 对应点检测部

230 对应点选择部

300 局部运动推定部

310 区域提取部

320 重心计算部

330 移动量计算部

400 图像修正部

410 读取部

420 投影变换矩阵计算部

430 图像处理部

500，600 存储部

1000 特定的被摄体

1100 拍摄范围

1200 输出图像数据的输出范围

1300 黑色区域

2000 拍摄用载台

Claims (9)

1.图像处理装置，具备：

全局运动推定单元，根据动态图像中所含的多个帧图像来推定所述动态图像中表示包含特定的被摄体的特定区域的运动的全局运动；

局部运动推定单元，根据所述多个帧图像推定所述动态图像中表示所述特定的被摄体的运动的局部运动；以及

图像修正单元，基于所推定的全局运动和局部运动来修正所述动态图像中的所述特定的被摄体或所述特定区域的运动；

其中，所述图像修正单元生成与所推定的所述全局运动对应的投影变换矩阵，基于所推定的所述局部运动来修正所述投影变换矩阵，基于所述修正的投影变换矩阵来修正所述动态图像中所述特定的被摄体或所述特定区域的运动。

2.如权利要求1所述的图像处理装置，其特征在于，所述局部运动推定单元使用包含所述特定的被摄体的区域中的特定点的移动量来推定局部运动。

3.如权利要求2所述的图像处理装置，其特征在于，所述特定点是所述被摄体的重心。

4.如权利要求1-3中任一项所述的图像处理装置，其特征在于，所述全局运动推定单元和所述局部运动推定单元使用将输入图像缩小得到的图像来推定全局运动和局部运动。

5.计算机可读存储介质，该计算机可读存储介质存储有用于使计算机执行以下步骤的图像处理程序：

全局运动推定步骤，该全局运动推定根据动态图像中所含的多个帧图像来推定所述动态图像中表示包含特定的被摄体的特定区域的运动的全局运动；

局部运动推定步骤，该局部运动推定根据所述多个帧图像推定所述动态图像中表示所述特定的被摄体的运动的局部运动；以及

图像修正步骤，该图像修正基于所推定的全局运动和局部运动来修正所述动态图像中的所述特定的被摄体或所述特定区域的运动；

其中，所述图像修正步骤生成与所推定的所述全局运动对应的投影变换矩阵，基于所推定的所述局部运动来修正所述投影变换矩阵，基于所述修正的投影变换矩阵来修正所述动态图像中所述特定的被摄体或所述特定区域的运动。

6.图像处理方法，具有以下步骤：

全局运动推定步骤，根据动态图像中所含的多个帧图像来推定所述动态图像中表示包含特定的被摄体的特定区域的运动的全局运动；

局部运动推定步骤，根据所述多个帧图像推定所述动态图像中表示所述特定的被摄体的运动的局部运动；以及

图像修正步骤，基于所推定的全局运动和局部运动来修正所述动态图像中的所述特定的被摄体或所述特定区域的运动；

其中，所述图像修正步骤生成与所推定的所述全局运动对应的投影变换矩阵，基于所推定的所述局部运动来修正所述投影变换矩阵，基于所述修正的投影变换矩阵来修正所述动态图像中所述特定的被摄体或所述特定区域的运动。

7.图像处理系统，具有拍摄动态图像的拍摄用照相机、处理所述动态图像的图像的图像处理装置、显示图像处理后的所述动态图像的图像的显示装置，其特征在于，

所述图像处理装置具备：

全局运动推定单元，根据所述动态图像中所含的多个帧图像来推定所述动态图像中表示包含特定的被摄体的特定区域的运动的全局运动；

局部运动推定单元，根据所述多个帧图像推定所述动态图像中表示所述特定的被摄体的运动的局部运动；以及

图像修正单元，基于所推定的全局运动和局部运动来修正所述动态图像中的所述特定的被摄体或所述特定区域的运动；

其中，所述图像修正单元生成与所推定的所述全局运动对应的投影变换矩阵，基于所推定的所述局部运动来修正所述投影变换矩阵，基于所述修正的投影变换矩阵来修正所述动态图像中所述特定的被摄体或所述特定区域的运动。

8.如权利要求7所述的图像处理系统，其特征在于，具有照相机动作调整装置，基于所推定的全局运动或局部运动或者这两者来调整所述拍摄用照相机的动作。

9.如权利要求7或8所述的图像处理系统，其特征在于，具有被摄体位置调整装置，基于所推定的全局运动或局部运动或者这两者来调整所述特定的被摄体的位置。

Images