CN1517942A - 图像处理方法及其装置 - Google Patents

Abstract

一种图像处理方法及其装置。使用包含在压缩编码数据中的移动向量信息，跟踪由模板匹配检测到的目标区域。对于带有移动向量信息的目标检测对象图像，不需要通过模板匹配进行目标检测，对于全部的目标检测对象图像，与通过模板匹配检测目标的情况相比，可削减检测目标时的处理量。

Description

图像处理方法及其装置

技术领域

本发明涉及从输入图像检测目标(对象物)的图像处理方法及其装置。

背景技术

以往，预先登录模板图像，在输入图像和模板图像之间进行图形匹配，检测输入图像中与模板图像类似的图像的位置的技术，是众所周知的。

但无论与模板图像类似的图像的背景怎样，容易发生误识别，解决此问题的技术，由特开平5-28273号公报所公开。其中，模板图像与对应模板图像的图像的类似值，由下式定义。

【公式1】

${\mathrm{\σ}}_{S0}=\sqrt{\frac{1}{\mathrm{MN}}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}({\mathrm{Sx}}_{\mathrm{ij}}^2+{\mathrm{Sy}}_{\mathrm{ij}}^2)}$

${\mathrm{\σ}}_{T0}=\sqrt{\frac{1}{\mathrm{MN}}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}(T{x}_{\mathrm{ij}}^2+{\mathrm{Ty}}_{\mathrm{ij}}^2)}$

${\mathrm{\ρ}}_{V0}=\frac{1}{\mathrm{MN}}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}\underset{j=1}{\overset{N}{\mathrm{\Σ}}}({\mathrm{Tx}}_{\mathrm{ij}}{\mathrm{Sx}}_{\mathrm{ij}}+{\mathrm{Ty}}_{\mathrm{ij}}{\mathrm{Sy}}_{\mathrm{ij}})$

$\mathrm{Cv}=\frac{{\mathrm{\ρ}}_{V0}}{{\mathrm{\σ}}_{T0}{\mathrm{\σ}}_{S0}}$

Cv：相关系数(类似值)

M模板图像的x方向像素数

N：模板图像的y方向像素数

Sx：第一图像S的x方向微分值

Sy：第一图像S的y方向微分值

Tx：模板图像T的x方向微分值

Ty：模板图像T的y方向微分值

即，以模板图像的边缘法线向量与输入图像的边缘法线向量所成角度θ的内积(cosθ)作为类似值的分量。

但是，通过模板匹配进行目标检测时，由于将辉度信号和色差信号等像素数据作为输入处理，对由MPEG等压缩编码的图像进行处理时，解码处理之后，必须对每帧进行模板匹配处理，有处理量多的问题。

发明内容

本发明的目的在于提供一种可尽量抑制从动画图像检测目标时的处理量的图像处理方法。

本发明的第1图像处理方法，是从动画图像检测目标的图像处理方法，包括：通过模板图像与目标检测对象图像的匹配检测目标的目标检测步骤；使用已编码的动画图像的移动向量信息，求出由目标检测步骤检测的目标的位移量的位移量检测步骤。

通过该结构，由于使用移动向量信息求出目标的位移量，可进行目标的跟踪。

即，对于带有移动向量信息的目标检测对象图像，不需要通过模板匹配进行目标检测。

结果，对于全部的目标检测对象图像，与通过模板匹配检测目标的情况相比，可削减检测目标时的处理量。

本发明的第2图像处理方法，通过目标检测步骤，实行内部编码的I图像的目标检测；通过位移量检测步骤，实行由前方向预测编码的P图像的目标检测；通过位移量检测步骤，实行由双方向预测编码的B图像的目标检测。

通过该结构，对于带有移动向量信息的全部的目标检测对象图像，通过使用移动向量信息，求出目标的位移量，可跟踪目标。结果，可进一步削减目标检测的处理量。

本发明的第3图像处理方法，还包括：计测通过位移量检测步骤进行目标跟踪的帧数的帧计测步骤；对由帧计测步骤计测的帧数与基准帧数进行比较的比较步骤；当由帧计测步骤计测的帧数多于基准帧数时，通过目标检测步骤，实行目标检测。

通过该结构，可以复位通过移动向量信息进行目标跟踪的累积误差，可提高检测精度。

本发明的第4图像处理方法，目标检测步骤包括：对模板图像与目标检测对象图像的类似值和基准值进行比较的比较步骤；在内部编码的I图像的目标检测中，当类似值低于基准值时，采用至少一个帧前的目标检测结果的步骤。

通过该结构，即使在模板匹配法中的目标检测失败的情况下，利用一帧前的目标检测结果，可预测目标的位置。

本发明的第5图像处理方法，还包括：对编码的动画图像进行解码，生成目标检测对象图像的解码步骤；将目标检测对象图像作为第一图像，编辑该第一图像的编辑步骤；将编辑后的第一图像和第二图像进行合成，生成合成图像的合成步骤；目标检测步骤包括：输出检测的目标的位置信息的步骤；位移量检测步骤包括：输出位移后的目标的位置信息的步骤；在编辑步骤中，依据位置信息，编辑第一图像。

通过该结构，例如，即使在检测对象的目标不在第一图像的中心的情况下，实施中心化等的编辑，可合成第二图像。

本发明的第6图像处理方法，还包括：检测目标检测对象图像的场景变化的场景变化检测步骤；通过目标检测步骤，实行场景变化的目标检测对象图像的目标检测。

通过该结构，可进行不存在移动向量的I图像的目标检测。

本发明的第7图像处理方法，包括：从动画图像检测任意目标的检测步骤；依据由检测步骤检测的目标的位置信息，编辑动画图像的编辑步骤；将由编辑步骤编辑的动画图像与其他动画图像进行合成的合成步骤；将合成的图像进行压缩编码的编码步骤。

通过该结构，例如，即使在检测对象的目标不在该动画图像的中心的情况下，实施中心化等的编辑，可合成其他的动画图像。

本发明的第8图像处理方法，目标检测的对象是人脸。

通过该结构，与对于全部的目标检测对象图像，通过模板匹配检测人脸(目标)的情况相比，可削减检测人脸(目标)时的处理量。

附图说明

图1是本发明实施方式1的图像处理装置的方框图。

图2是本发明实施方式1的解码处理部的方框图。

图3是本发明实施方式1的目标检测部的方框图。

图4(a)是本发明实施方式1的模板图像的示例图。

图4(b)是本发明实施方式1的模板图像的边缘提取图像(x分量)的示例图。

图4(c)是本发明实施方式1的模板图像的边缘提取图像(y分量)的示例图。

图5(a)～图5(b)是本发明实施方式1的模板图像的示例图。

图6是本发明实施方式1的通过目标区域跟踪部进行目标区域跟踪的示例图。

图7是本发明实施方式1的通过检测方法选择部进行处理的示例图。

图8是本发明实施方式2的图像处理装置的方框图。

图9是本发明实施方式2的处理的示例图。

具体实施方式

以下，参照附图来说明本发明的实施例。举人脸作为检测对象的目标的一例。

(实施方式1)

图1是本发明实施方式1的图像处理装置的方框图。

如图1所示，该图像处理装置具备：解码处理部1，目标检测部2，目标区域跟踪部3，目标检测方法选择部4以及图像编辑合成部6。

解码处理部1包括：输入缓冲器(IBUF)10，可变长度解码处理部(VLD)11，逆量化处理部(IQ)12，逆离散余弦变换处理部(IDCT)13，加法处理部14，移动补偿处理部(MC)15以及帧存储器(FM)16。

目标检测处理部2包括：模板匹配处理部25以及类似值判定部24。

目标区域跟踪部3包括：移动向量保存部30以及位移量计算部31。

目标检测方法选择部4包括：帧类型判断部40，帧数测定部42以及检测方法选择部43。

简单说明上述各结构的动作。

解码处理部1对压缩编码的图像进行解码。

目标检测部2用模板匹配法检测目标。

目标区域跟踪部3使用移动向量信息跟踪通过模板匹配法检测的目标区域。

目标检测方法选择部4进行目标检测部2与目标区域跟踪部3的选择。

图像编辑合成部6，依据来自目标检测部2或目标区域跟踪部3的目标的位置信息，编辑第一图像，将编辑后的第一图像与第二图像合成。

而且，图像编辑合成部6，在编辑以及合成时，还可利用来自目标检测部2的目标的尺寸信息。

详细说明上述各结构的动作。

首先，对解码处理部1进行说明。

图2是解码处理部1的说明图。在图2中，对于与图1同样的部分，赋予相同的符号。

作为对于数码图像的压缩编码的方法，有MPEG(Moving Picture ExpertsGroup)。

MPEG是依据在一个帧图像内的空间性的相关关系进行帧内编码。

而且，MPEG中，为了除去图像间的冗长信号，依据各帧图像间的时间性的相关关系，对用于移动补偿的帧间进行预测，进行编码差分信号的帧间编码。

MPEG通过二者并用，可获得高压缩率的编码数据。

MPEG规格的图像编码处理中，对于像素值，进行正交变换的处理，获得正交变换系数。以下的说明中，举离散余弦变换(DCT)作为正交变换的一例。因而，获得离散余弦变换的结果DCT系数。

该DCT系数以规定的量子化幅度进行量子化处理，求出量子化DCT系数。

进而，对于该量子化DCT系数进行可变长编码处理，生成编码数据，即压缩图像数据。

另一方面，如图2所示，解码器侧，即，解码处理部1中，压缩图像数据，即，解码数据(比特流)存储在输入缓冲器10中。

可变长度解码处理部11，解码宏块单位的编码数据，分离表示编码模式的信息，移动向量信息，量子化信息以及量子化DCT系数。

逆量化处理部12，对于解码的宏块的量子化DCT系数，施行逆量化处理，获得DCT系数。

逆离散余弦变换处理部13，对于该DCT系数，施行逆离散余弦变换，将DCT系数变换为图像空间数据。

内部编码模式的情况，逆离散余弦变换处理部13将该图像空间数据按原样输出。

另一方面，移动补偿预测模式的情况，逆离散余弦变换处理部13将该图像空间数据送到加法处理部14。

接着，加法处理部14将该图像空间数据与在移动补偿处理部15中预测的移动补偿的图像数据相加并输出。

以上的处理以宏块单位进行，替换原来的输入顺序，复原输出图像帧，即，第一图像。

各第一图像，即，各图像信息(I图像(Intra-Picture)，P图像(Predictive-Picture)，B图像(Bidirectionally Predictive-Picture))存储在帧存储器16中，移动补偿处理部15将其作为参照图像使用。

下面，对目标检测部2进行说明。即，对使用模板匹配法的目标检测进行说明。

图3是图1的目标检测部2的方框图。在图3中，对于与图1同样的部分，赋予相同的符号。

如图3所示，该目标检测部2包括：模板匹配处理部25以及类似值判定部24。

模板匹配处理部25包括：记录部20，输入图像处理部21，乘法部22以及逆正交变换部(逆FFT)23。

输入图像处理部21包括：边缘提取部210，评价向量生成部211，正交变换部(FFT)212以及压缩部213。

如图3所示，目标检测部2，利用类似值L的映射评价模板图像与第一图像的匹配。

而在模板图像处理部100与输入图像处理部21中，分别进行维持线性的正交变换，乘法运算后，进行逆正交变换，求出类似值L。

这里，作为这样的正交变换，使用FFT(高速傅立叶变换)，另外，也可使用Hartley变换和数论变换等，在以下的说明中，是「傅立叶变换」的，可置换为其他的这些变换。

不论在模板图像处理部100中还是在输入图像处理部21中，都是利用边缘法线方向向量的内积，边缘法线方向向量的方向越近，获得的相关性越高。但是，该内积，用偶数倍角的表现评价。

以下为了简单，作为偶数倍角的例子，仅就2倍角的情况进行说明，但对于4倍角，6倍角等其他偶数倍角，也与本发明有同样的效果。

对模板图像处理部100进行说明。如图3所示，该模板图像处理部100包括：边缘提取部101，评价向量生成部102，正交变换部(FFT)103以及压缩部104。

边缘提取部101，对于模板图像，分别对应x方向，y方向，施行微分处理(边缘提取)，输出模板图像的边缘法线方向向量。

本例当中，对于x方向，

【公式2】

$\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$

使用Sobel滤波，

对于y方向，

【公式3】

$\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$

使用Sobel滤波。

通过这些滤波，求出由下式定义的模板图像的边缘法线方向向量。

【公式4】

$\stackrel{\→}{T}=(T_X,T_Y)$

本例是，从人行横道附近拍摄的第一图像中，提取以特定姿势在人行横道行走的人物的像。

此时，人物的模板图像是例如图4(a)那样的图像。而且，对于图4(a)的模板图像，若施行(公式2)的滤波处理，则获得图4(b)那样的结果(x分量)，对于图4(a)的模板图像，若施行(公式3)的滤波处理，则获得图4(c)那样的结果(y分量)。

评价向量生成部102，从边缘提取部101输入模板图像的边缘法线方向向量，进行后述的处理，将模板图像的评价向量输出到正交变换部103。

首先，评价向量生成部102，利用下式，对模板图像的边缘法线方向向量的长度进行归一化。

【公式5】

$\stackrel{\→}{U}=(U_X,U_Y)=\frac{\stackrel{\→}{T}}{\left|\stackrel{\→}{T}\right|}$

这里，一般情况下，由于拍摄条件，第一图像的边缘的强度发生变化。但是，第一图像与模板图像的各自的边缘间的角度差(或者，依据该角度差单调变化的从属函数值)，不容易受到拍摄条件的影响。

因而本发明如后所述，在输入图像处理部21中，第一图像的边缘法线方向向量的长度归一化为1。与此相配合，在模板图像处理部100中，也将模板图像的边缘法线方向向量的长度归一化为1。

由此，可提高图形提取的稳定性。通常，归一化的长度通常认为「1」较好，也可采用其他的常数。

而众所周知，对于三角函数，下面的倍角公式成立。

【公式6】

cos(2Θ)＝2cos(Θ)²-1

sin(2Θ)＝2cos(Θ)sin(Θ)

由此，评价向量生成部102，求出由下式定义的模板图像的评价向量。

【公式7】

a：作为阈值(微小边缘去除用)时，

模板图像的评价向量

$\mathrm{if}\left|\stackrel{\→}{T}\right|\≥a$

$\stackrel{\→}{V}=(V_X,V_Y)=\frac{1}{n}(\cos \left(2\mathrm{\α}\right),\sin \left(2\mathrm{\α}\right))=\frac{1}{n}({{2U}_X}^2-\mathrm{1,2}{U}_X{U}_Y)$

else

$\stackrel{\→}{V}=\stackrel{\→}{O}$

其中， $n:\left|\stackrel{\→}{T}\right|\≥a$ 时

的个数

对(公式7)进行说明。首先，将小于常数a的向量当作0向量的目的是为了除去干扰等。

下面，对于将该评价向量的x，y各分量分成n份并归一化的点进行说明。

一般，模板图像的形状是任意的，其边缘的形状各种各样。例如，如图5(a)所示，边缘的个数较少，也可如图5(b)所示那样，(与图5(a)相比)边缘的个数较多。本方式中采取的措施是，通过分成n份进行归一化，在模板图像中，使得不论边缘个数的多寡，可用同样的尺度评价类似程度。

但是，分成n份的归一化处理，并非一定要实施，在仅仅使用一种模板图像的场合，和只使用边缘的个数相同模板图像的场合，可以省略分成n份的归一化处理。

对于(公式7)的x，y各分量与(公式5)的x，y各分量的倍角满足余弦·正弦的从属函数，因为特开2002-304627号公报有详细解说，这里省略说明。

本发明中，通过下式定义类似值。

【公式8】

类似值

$L(x,y)=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{K}_X(x+i,y+j)V_X(i,j)+K_Y(x+i,y+j)V_Y(i,j)$

$\stackrel{\→}{K}=(K_X,K_Y):$ 第一图像的评价向量

$\stackrel{\→}{V}=(V_X,V_Y):$ 模板图像的评价向量

这里，由于(公式8)仅由加法和乘法构成，对于第一图像以及模板图像的各自的评价向量，类似值是线性的。因此，若将(公式8)进行傅立叶变换，依据傅立叶变换的离散相关原理(参考文献：高速傅立叶变换宫川洋译科学技术出版社)，得到

【公式9】

$\tilde{L}(u,v)={\tilde{K}}_X(u,v){\tilde{V}}_X{(u,v)}^{*}+{\tilde{K}}_Y(u,v){\tilde{V}}_Y{(u,v)}^{*}$

的傅立叶变换值

的傅立叶变换的复数共模

以后，～表示傅立叶变换值；*表示复数共模

而且，如果将(公式9)进行逆傅立叶变换，可获得(公式8)的类似值。

对评价向量生成部102以后的结构进行说明。如图3所示，在模板图像处理部100中，由评价向量生成部102输出的模板图像的评价向量，通过正交变换部103，进行傅立叶变换，输出到压缩部104。

压缩部104削减傅立叶变换后的评价向量，存入记录部20。

压缩部104在数据量较小时和不要求高速性时，也可以省略。

对输入图像处理部21进行说明。输入图像处理部21进行与模板图像处理部100几乎同样的处理。即，边缘提取部210依据(公式2)，(公式3)，输出由下式定义的第一图像的边缘法线方向向量。

【公式10】

第一图像的边缘法线方向向量 $\stackrel{\→}{I}=(I_X,I_Y)$

I_X：第一图像的x方向微分值

I_Y：第一图像的y方向微分值

而评价向量生成部211，输入来自边缘提取部210的第一图像的边缘法线方向向量，输出由以下2式定义的第一图像的评价向量。

【公式11】

第一图像的长度归一化向量 $\stackrel{\→}{J}=(J_X,J_Y)=\frac{\stackrel{\→}{I}}{\left|\stackrel{\→}{I}\right|}$

【公式12】

a：作为阈值(微小边缘去除用)时，

第一图像的评价向量

$\mathrm{if}\left|\stackrel{\→}{I}\right|\≥a$

$\stackrel{\‾}{K}=(K_X,K_Y)=(\cos \left(2\mathrm{\β}\right),\sin \left(2\mathrm{\β}\right))=({{2J}^2}_X-\mathrm{1,2}{J}_X{J}_Y)$

else

$\stackrel{\→}{K}=\stackrel{\→}{O}$

与模板图像处理部100的不同点只是未进行分成n份的归一化处理。即，与模板图像处理部100同样，依据偶数倍角的评价，进行变为长度1的归一化处理和干扰除去处理。

对评价向量生成部211以后的结构进行说明。如图3所示，在输入图像处理部21中，由评价向量生成部211输出的第一图像的评价向量，通过正交变换部212，进行傅立叶变换，输出到压缩部213。

压缩部213削减傅立叶变换后的评价向量并输出到乘法部22。这里，压缩部213对与压缩部104同一频带(本例中，对于x，y两方向，低频侧各一半等)，削减处理对象。

下面，对乘法部22以后的部分进行说明。输入图像处理部21的处理完成后，乘法部22从记录部20与压缩部213，输入模板图像及第一图像的各自的评价向量的傅立叶变换值。

这里，乘法部22，依据(公式9)进行积和演算，将结果(类似值L的傅立叶变换值)输出到逆正交变换部23。

逆正交变换部23将类似值L的傅立叶变换值逆傅立叶变换，将类似值L的映射L(x，y)输出到类似值判定部24。

类似值判定部24，在该映射L(x，y)中，将各类似值与基准值比较，将超过基准值的类似值L的图形作为目标。

接着，类似值判定部24，将目标的位置(坐标)以及尺寸信息输出。

这里，在内部编码的I图像的目标检测中，各类似值L低于基准值，目标检测失败的场合，目标检测部2采用至少一个帧前的目标检测结果。但此时采用的目标检测结果，并不限定为一个帧前的目标检测结果。

下面，使用图1和图6，对目标区域跟踪部3进行说明。

目标区域跟踪部3，利用目标检测部2使用模板匹配法检测的目标的位置和尺寸信息，与解码处理部1输出的移动向量信息，进行目标区域的跟踪。具体如下。

由目标区域跟踪部3进行的目标跟踪的对象帧，如果是P图像或B图像，则包含前方向预测和双方向预测的移动向量。

此时，目标区域跟踪部3的移动向量保存部30，保存每帧的移动向量信息。

另一方面，目标检测部2，将作为跟踪的对象的目标的位置信息和尺寸信息输出。

位移量计算部31，利用包含依据目标检测部2输出的位置信息及尺寸信息的目标区域的移动向量信息，跟踪目标区域的移动。

以下，对于目标区域的跟踪，举具体例进行说明。

图6表示，在帧图像200上，作为编码的基本单位的宏块201，由每个宏块求出的移动向量202，脸目标203，目标区域204。

图1的目标检测部2，检测脸目标203，将目标区域204的位置信息与尺寸信息(坐标数据与区域尺寸)输出到目标区域跟踪部3。

位移量计算部31，使用带有目标区域204的内侧的宏块201的移动向量202，算出移动向量的中间值或平均值。

如果该值作为目标区域204的移动量，可求出从位于前帧的目标位置的位移量。由此，跟踪目标区域204的移动。

下面，对图1的目标检测方法选择部4进行说明。

目标检测方法选择部4，决定将由图像编辑合成部6输出的目标的位置信息从目标检测部2以及目标区域跟踪部3中的哪一个输出。具体如下。

目标检测方法选择部4的帧类型判断部40，接受来自解码处理部1的压缩编码的帧的类型的信息，将该帧的类型的信息送给检测方法选择部43。

检测方法选择部43，依据得到的帧的类型的信息，选择目标检测部2或目标区域跟踪部3中的一个。

举具体例说明通过检测方法选择部43进行处理。

图7是通过检测方法选择部43进行处理的示例图。

图7中并排表示GOP(Group of Picture)内的画面(帧图像)。

GOP中存在：内部编码的I图像300，前方向预测编码的P图像302，双方向预测编码的B图像301。

这里，存在移动向量的，只有作为帧间预测编码的P图像302和B图像301。

因此，如图7所示，检测方法选择部43，在I图像300的场合选择通过模板匹配进行目标检测，在P图像302或B图像301的场合选择使用移动向量进行区域跟踪。

也就是，检测方法选择部43，在I图像300的场合选择目标检测部2，在P图像302或B图像301的场合选择目标区域跟踪部3。

帧数测定部42，测定使用移动向量进行目标区域跟踪的帧数，帧数超过基准帧数时，将其通知检测方法选择部43。

接到该通知时，检测方法选择部43，选择通过模板匹配进行目标检测。

即，接到该通知时，检测方法选择部43，选择目标检测部2。

这样，检测方法选择部43，以一定周期，选择通过模板匹配进行目标检测。

通过目标区域跟踪部3进行的目标区域跟踪，由于是依据移动向量信息进行，如果目标区域跟踪的帧数长期连续，则因为移动向量的累积误差发生目标区域的位置偏移。

这里，测定通过目标区域跟踪3进行的目标区域跟踪的帧数，以一定周期，切换通过模板匹配进行的目标检测，由此，抵消移动向量的累积误差。

如上，检测方法选择部43选择目标检测部2的场合，目标检测部2接受来自检测方法选择部43的控制信号，检测目标，将其位置信息以及尺寸信息输出到图像编辑合成部6。

另一方面，检测方法选择部43选择目标区域跟踪部3的场合，目标区域跟踪部3接受来自检测方法选择部43的控制信号，跟踪目标，将其位置信息输出到图像编辑合成部6。

下面，对图1的图像编辑合成部6进行说明。

图像编辑合成部6，依据输入的目标的位置信息，在经由解码处理部1解码的第一图像中，实施扩大、缩小或旋转等的编辑，将编辑后的第一图像与第二图像合成。而且，图像编辑合成部6在编辑以及合成时，可利用输入的目标的尺寸信息。

例如，第一图像为包含脸目标的图像，第二图像为绘图目标的场合，由于脸目标的位置信息从目标检测部2或目标区域跟踪部3输入到图像编辑合成部6，可将脸目标配置在显示画面的中央，将绘图目标配置在其周边。而且，可以避开脸目标配置绘图目标。

如上，本实施方式，由于使用移动向量信息求出目标的位移量，可进行目标的跟踪。

由此，对于带有移动向量信息的目标检测对象图像(第一图像)，不需要通过模板匹配进行目标检测。

结果，对于全部的目标检测对象图像(第一图像)，与通过模板匹配检测目标的情况相比，可削减检测目标时的处理量。

另外，本实施方式中，通过移动向量信息进行的目标跟踪的帧数超过基准帧数的场合，可通过模板匹配法进行目标检测。

结果，可将通过移动向量信息进行的目标跟踪的累积误差复位，可提高检测精度。

而且，本实施方式，在内部编码的I图像的目标检测中，类似值低于基准值的场合，采用至少1帧前的目标检测结果。

结果，即使模板匹配法进行的目标检测失败的场合，也可预测目标的位置。

而且，本实施方式，基于目标的位置信息，编辑第一图像，将编辑后的第一图像与第二图像合成。

结果，例如，即使检测对象的目标不在第一图像的中心的场合，也可施行中心化等的编辑，可合成第二图像。

上述的输入图像为第一图像与第二图像2个图像，但并不限定为2个，3个以上也可以。

(实施方式2)

图8是本发明实施方式2的图像处理装置的方框图。对于图8中与图1同样的部分，赋予同一的符号，适当省略说明。

如图8所示，该图像处理装置具备：目标检测部2，目标区域跟踪部3，图像编辑合成部6，场景变化检测部5，检测方法选择部7以及编码处理部8。

编码处理部8包括：减法处理部80，离散余弦变换处理部(DCT)81，量子化处理部(Q)82，可变长编码处理部(VLC)83，逆量化处理部(IQ)84，逆离散余弦变换处理部(IDCT)85，加法处理部86，帧存储器(FM)87，移动补偿处理部(MC)88以及移动向量检测部(MVD)89。

说明上述各结构的动作。

场景变化检测部5，检查输入的第一图像的场景的变化。

检测方法选择部7，对应通过场景变化检测部5得到的检查结果，选择目标检测的方式。

具体地，场景变化检测部5检查场景的变化时，检测方法选择部7通过模板匹配进行目标检测，即，选择目标检测部2。

另一方面，无场景的变化时，检测方法选择部7通过移动向量进行目标跟踪，即，选择目标区域跟踪部3。

目标检测部2用模板匹配法检测目标，将其位置以及尺寸信息输出到图像合成编辑部6。

这样的目标的检测，在检测方法选择部7选择目标检测部2时，接收来自检测方法选择部7的控制信号，由目标检测部2进行。

目标区域跟踪部3，根据编码处理部8输出的移动向量信息，进行目标区域的跟踪，将其位置信息输出到图像编辑合成部6。

这样的目标区域的跟踪，在检测方法选择部7选择目标目标区域跟踪部3时，接收来自检测方法选择部7的控制信号，由目标区域跟踪部3进行。

这里，实施方式2的目标区域跟踪部3，根据编码处理部8输出的移动向量信息进行目标区域的跟踪，与根据编码处理部1输出的移动向量信息进行目标区域的跟踪的实施方式1的目标区域跟踪部3不同。其他的点，两者是相同的。

图像编辑合成部6，依据目标的位置信息，编辑第一图像，将编辑后的第一图像与第二图像合成，生成合成图像。而图像编辑合成部6在编辑及合成时，可利用目标的尺寸信息。

编码处理部8，通过图像编辑合成部6压缩编码合成图像。具体如下。

首先，对内部编码模式进行说明。来自图像编辑合成部6的合成图像，输入到离散余弦变换处理部81。

离散余弦变换处理部81对于输入的合成图像，实施离散余弦变换处理，生成DCT系数。

量子化处理部82，对DCT系数实施量子化处理，生成量子化DCT系数。

可变长编码处理部83，对量子化DCT系数实施可变长编码处理，生成编码数据(压缩图像数据)。

另一方面，将通过量子化处理部82得到的量子化DCT系数，输入到逆量化处理部84。

逆量化处理部84，对量子化DCT系数实施逆量化处理，求出DCT系数。

逆离散余弦变换处理部85，对DCT系数实施逆离散余弦变换处理，求出合成图像。

帧存储器87将该合成图像作为参照图像进行存储。

下面，对移动补偿预测模式进行说明。来自图像编辑合成部6的合成图像输入到减法处理部80。

减法处理部80，求出输入的合成图像与由移动补偿处理部88求出的预测图像的差分，输出预测误差图像。

离散余弦变换处理部81对于预测误差图像，实施离散余弦变换处理，求出DCT系数。

量子化处理部82，对DCT系数实施量子化处理，求出量子化DCT系数。

可变长编码处理部83，对量子化DCT系数实施可变长编码处理，求出编码数据(压缩图像数据)。

另一方面，将通过量子化处理部82得到的量子化DCT系数，输入到逆量化处理部84。

逆量化处理部84，对量子化DCT系数实施逆量化处理，求出DCT系数。

逆离散余弦变换处理部85，对DCT系数实施逆离散余弦变换处理，求出预测误差图像。

加法处理部86，将逆离散余弦变换处理部85求出的预测误差图像与移动补偿处理部88求出的预测图像相加，生成参照图像。

帧存储器87存储该参照图像。

另一方面，移动向量检测部89，利用编码对象的合成图像与参照图像，检测移动向量。

移动补偿处理部88，利用移动向量检测部89检测的移动向量与帧存储器87存储的参照图像，生成预测图像。

下面，举具体例说明依据本实施方式的处理。

图9是依据本实施方式的图像处理装置的处理的示例图。

图9中示出图像输入、目标检测、图像编辑合成以及压缩编码的处理流程的一例。图像输入指第一图像的输入。

如图9所示，对于帧n(n为自然数)及帧n+1，可利用分别由帧n-1及帧n预测的移动向量信息。

也就是，对于帧n，目标区域跟踪部3，利用由帧n-1预测的移动向量信息，进行目标区域的跟踪。

接着，图像合成编辑部6，依据来自目标区域跟踪部3的目标的位置信息，对帧n实施编辑，将编辑后的图像与第二图像合成，生成合成图像。

对于帧n+1也同样，利用由帧n预测的移动向量信息，进行目标区域的跟踪，编辑后，与第二图像合成。

如果在帧n+2场景变化，场景变化检测部5获知场景的变化，检测方法选择部7选择目标检测部2。

由此，目标检测部2，进行帧n+2与模板图像的比较，将类似值超过基准值的图形作为目标，输出其位置及尺寸。

接着，图像合成编辑部6，依据来自目标检测部2的目标的位置信息，对帧n+2实施编辑，将编辑后的图像与第二图像合成，生成合成图像。

如上的本实施方式，由于使用移动向量信息求出目标的位移量，可进行目标的跟踪。

因此，对于带有移动向量信息的目标检测对象图像(第一图像)，不需要通过模板匹配进行目标检测。

结果，对于与全部的目标检测对象图像(第一图像)，与通过模板匹配检测目标的场合相比，可削减检测目标时的处理量。

而且，本实施方式，在内部编码的I图像的目标检测中，类似值低于基准值的场合，采用至少1帧前的目标检测结果。

结果，即使模板匹配法进行的目标检测失败的场合，也可预测目标的位置。

而且，本实施方式，基于目标的位置信息，编辑第一图像，将编辑后的第一图像与第二图像合成。

结果，例如，即使检测对象的目标不在第一图像的中心的场合，也可施行中心化等的编辑，可合成第二图像。

而且，本实施方式，场景变化的目标检测对象图像(第一图像)的目标检测通过模板匹配法进行。

结果，可进行不存在移动向量的I图像的目标检测。

上述的输入图像为第一图像与第二图像2个图像，但并不限定为2个，3个以上也可以。

Claims (10)

1.由动画图像检测目标的图像处理方法，包括：

通过模板图像与目标检测对象图像的匹配检测目标的目标检测步骤；

使用已编码的动画图像的移动向量信息，求出由所述目标检测步骤检测的所述目标的位移量的位移量检测步骤。

2.如权利要求1所述的图像处理方法，

通过所述目标检测步骤，实行内部编码的I图像的目标检测；

通过所述位移量检测步骤，实行由前方向预测编码的P图像的目标检测；

通过所述位移量检测步骤，实行由双方向预测编码的B图像的目标检测。

3.如权利要求1所述的图像处理方法，还包括：

计测通过所述位移量检测步骤进行目标跟踪的帧数的帧计测步骤；

对由所述帧计测步骤计测的帧数与基准帧数进行比较的比较步骤；

当由所述帧计测步骤计测的帧数多于所述基准帧数时，通过所述目标检测步骤，实行目标检测。

4.如权利要求1所述的图像处理方法，所述目标检测步骤包括：

对所述模板图像与所述目标检测对象图像的类似值和基准值进行比较的比较步骤；

在内部编码的I图像的目标检测中，当所述类似值低于所述基准值时，采用至少一个帧前的目标检测结果的步骤。

5.如权利要求1所述的图像处理方法，还包括：

对编码的动画图像进行解码，生成所述目标检测对象图像的解码步骤；

将所述目标检测对象图像作为第一图像，编辑该第一图像的编辑步骤；

将编辑后的所述第一图像和第二图像进行合成，生成合成图像的合成步骤；

所述目标检测步骤包括：输出检测的目标的位置信息的步骤；

所述位移量检测步骤包括：输出位移后的目标的位置信息的步骤；

在所述编辑步骤中，依据所述位置信息，编辑所述第一图像。

6.如权利要求1所述的图像处理方法，还包括：

检测所述目标检测对象图像的场景变化的场景变化检测步骤；

通过所述目标检测步骤，实行场景变化的所述目标检测对象图像的目标检测。

7.一种图像处理方法，包括：

从动画图像检测任意目标的检测步骤；

依据由所述检测步骤检测的目标的位置信息，编辑所述动画图像的编辑步骤；

将由所述编辑步骤编辑的所述动画图像与其他动画图像进行合成的合成步骤；

将合成的图像进行压缩编码的编码步骤。

8.如权利要求1所述的图像处理方法，目标检测的对象是人脸。

9.如权利要求1所述的图像处理方法，所述目标检测步骤与所述位移量检测步骤可以进行切换。

10.由动画图像检测目标的图像处理装置，具备：

通过模板图像与目标检测对象图像的匹配检测目标的目标检测部；

使用编码的动画图像的移动向量信息，求出通过所述目标检测部检测的

所述目标的位移量的位移量检测部。

Images