CN1186936C - 图像通信终端 - Google Patents

Abstract

本发明揭示一种图像通信终端，包括对摄像机(4)拍摄的图像抽取面部位置及大小的面部抽取单元(7)、对使用者显示图像的显示单元(3)、与对方的信息处理装置之间进行图像双向通信的通信单元(9)、将摄像机(4)拍摄的图像内设定的能够移动的矩形发送区域内的图像输出给通信单元(9)的发送数据处理单元(8)、在摄像机(4)拍摄的图像中，设定与发送区域一起移动的有效区域，只要面部区域超出有效区域，就移动发送区域位置，使其与面部位置一致。

Description

图像通信终端

技术领域

本发明涉及图像通信终端，特别涉及是使用者利用摄像机部分拍摄自己或在附近的其他人的形象，并一面将该拍摄的图像向对方发送，一面进行对话的图像通信终端。

背景技术

众所周知，一面将图像向对方发送，一面进行对话的图像通信终端有电视电话、电视会仪系统、影像邮件等各种状态。无论是这些形状的哪一种，使用者为了将自己或在附近的其他人(下面称为“使用者”)的形象向对方发送，图像通信终端内装的或外接的摄像机部分与被拍摄者、即使用者之间必须始终保持适当的位置关系。

为了维持该适当的位置关系，可以采用一种方法，即摄像机部分设置使光轴移动的机构或变焦距机构等，使摄像机部分跟踪使用者的运动。但是，采用这种方法，则跟踪动作所需要的摄像机部分及相关机构就很庞大，不能实现图像通信终端的小型化及低成本。特别是对于便携式计算机终端或移动(电视)电话等便携性能很重要的图像通信终端，设置这样的机构是不现实的。

另外，还可以考虑维持上述适当位置的另一种方法，即从图像通信终端向使用者提供使用者相对于摄像机部分的位置的有关信息，由使用者自己对准摄像机部分。

具体来说，第一种方法以往是利用画中画(picture in picture)方式或画面分割方式，将画面的一部分用来显示自己(使用者本身)的形象。但是，采用这种方法的问题是，为了显示自己的形象而占去画面的相当部分，结果对方的形象就很小，看不清楚。

另外，第二种方法以往是将自己的图像与对方的图像交替显示来进行。但是，采用这种方法的问题是，由于画面经常切换，使用者就注意切换，而很难集中精神于会话。

再有，无论采用上述第一种或第二种的任一种方法，是与通常会话(自己与对方促膝交换)环境完全不相同的环境，使用者不禁感觉到不自然。

因此，为了解决这样的问题，日本专利特开平8-251651号公报揭示了一种可以不显示自己形象、而且可以省略摄像机部分跟踪机构的技术。根据该公报的技术，用摄像机拍摄使用者本身，检测使用者的位置，判断检测的位置是否超出了拍摄范围。然后，仅仅在超出的情况下，利用下述的某一种方法将该情况通知使用者。

(1)预先将对方的形象几乎充满整个画面加以显示，在前述超出范围的情况下，使对方的图像发生变化(例如使对方的形象产生变形等)。通过这样将该情况通知使用者。

(2)在画面内不仅确保有显示对方形象的区域，还确保有文字显示区域。在超出的情况下，在文字显示区域显示已超出情况的消息，通过这样将该情况通知使用者。

但是，无论采用上述(1)或(2)的任一种方法，若使用者的位置未超出拍摄范围，则对使用者没有任何通知。另外，使用者在正常使用时，不会那样频繁地超出拍摄范围，因而，使用者在绝大部分情况下(即未超出范围时)，不能确认自己相对于拍摄范围的位置。

再有，根据上述(1)的方法，在超出范围时，由于突然对方的形象发生变化，因此使用者会一惊，而可能有中途打断会话等情况发生。另外，根据上述(2)的方法，为了不使显示的文字(消息)模糊，必须要有一定大小的文字显示区域。因此，由于被文字显示区域侵占，就使图像显示区域变小，对方的形象变小，容易看不清楚。

另外，无论采用上述(1)或(2)的任一种方法，对于画面中使用者的大小完全不能反应，不清楚使用者相对于摄像机部分的远近方向是否适当。

发明内容

因此，本发明的目的在于提供一种不用大的跟踪机构，就能够使摄像机单元一侧跟踪使用者位置并以较好的位置拍摄使用者的图像通信终端。

另外，本发明的另一种目的在于能够清楚显示对方保证自然通话、且使用者能够始终确认自己的拍摄情况(拍摄位置)的图像通信终端。

本发明为达到上述目的，具有下述的特征。

本发明的第一方面，是面向将摄像机单元拍摄的使用者图像向对方发送的图像通信终端，包括

接受来自使用者的输入的输入单元、

拍摄使用者的摄像机单元、

从摄像机单元拍摄的图像抽取使用者面部位置及大小(面部区域)的面部抽取单元、

对使用者显示图像的显示单元、

与对方的信息处理装置至少进行图像通信的通信单元、

以及发送数据处理单元，所述发送数据处理单元将比摄像机单元拍摄的图像区域要小、而且在该图像区域内设定的能够移动的矩形发送区域的图像输出到通信单元，

在摄像机单元拍摄的图像区域内，设定与发送区域一起移动的有效区域，

当抽取的面部区域超出有效区域时，发送数据处理单元就移动发送区域的设定位置，使其与该面部区域的位置一致。

这样，根据第一方面，判断面部区域是否超出有效区域，在超出有效区域时，移动发送区域的位置，使其与面部区域的位置一致。这样，发送区域跟踪面部区域的运动，使用者可不注意拍摄情况，只要处于大致的位置，就能将适当画面构成的自己图像向对方发送。而且，不需要摄像机单元光轴移动机构或变焦距机构那样庞大的跟踪机构，不损害图像通信终端的便携性能。另外，若面部区域位于有效区域内，则发送区域不移动，因此向对方发送的图像，特别是使用者背景图像不会频繁晃动，可以防止对方眼花。

这里，最好设定有效区域小于发送区域，而且设定在发送区域内。

若这样进行，则根据第二发明，由于面部区域在超出发送区域前，必须超出有效区域，故可以避免面部区域超出发送区域外而缺掉一部分面部的情况。

另外，当抽取的面部区域超出有效区域时，在发送数据处理单元最好移动发送区域，使该面部区域位于发送区域的中心位置，或者最好移动发送区域，使该面部区域位于比发送区域中心偏上方向的位置。另外，这些发送区域的移动最好能够由输入单元输入的发送模式信息进行切换。

这样，能够根据使用者的爱好，选择面部以上或胸部以上的理想的画面构成。

另外，根据由输入单元输入的信息，在显示单元监控显示发送区域内的图像及面部区域，使用者可参照该监控显示，在纵向及横向移动发送区域进行调节。

若这样进行，则使用者能够对发送区域内的图像与面部区域进行监控，通过适当当调节发送区域位置，以任意的画面构成将自己图像向对方发送。

本发明的第二方面，是面向将摄像机单元拍摄的使用者图像向对方发送的图像通信终端，包括

接受来自使用者的输入的输入单元、

拍摄使用者的摄像机单元、

从摄像机单元拍摄的图像抽取使用者面部位置及大小(面部区域)的面部抽取单元、

对使用者显示图像的显示单元、

与对方的信息处理装置至少进行图像通信的通信单元、

以及发送数据处理单元；所述发送数据处理单元将比摄像机单元拍摄的图像区域要小、而且在该图像区域内设定的能够移动的矩形发送区域的图像输出到通信单元，

在摄像机单元拍摄的图像区域内，设定与发送区域一起移动的有效区域，

当抽取的面部区域超出有效区域时，发送数据处理单元就移动发送区域的设定位置，使其与该面部区域的位置一致，而且根据抽取的面部区域图像亮表，对发送区域的图像亮表进行校正，以提高摄像机单元拍摄的图像内的面部可视性，然后输出到通信单元。

本发明的第三方面，是面向将摄像机单元拍摄的使用者图像向对方发送的图像通信终端，包括

接受来自使用者的输入的输入单元、

拍摄使用者的摄像机单元、

从摄像机单元拍摄的图像抽取使用者面部位置及大小(面部区域)的面部抽取单元、

对使用者显示图像的显示单元、

与对方的信息处理装置至少进行图像通信的通信单元、

以及发送数据处理单元，所述发送数据处理单元将比摄像机单元拍摄的图像区域要小、而且在该图像区域内设定的能够移动的矩形发送区域的图像输出到通信单元，

在摄像机单元拍摄的图像区域内，设定与发送区域一起移动的有效区域；

当抽取的面部区域超出有效区域时，发送数据处理单元就移动发送区域的设定位置，使其与该面部区域的位置一致，而且根据抽取的面部区域图像亮度，设定摄像机单元的曝光强弱的值，以提高摄像机单元拍摄的图像内的面部可视性。

这样，根据第二及第三方面，判断面部区域是否超出有效区域，在超出有效区域时，移动发送区域的位置，使其与面部区域的位置一致。这样，发送区域跟踪面部区域的运动，使用者可不注意拍摄情况，只要处于大致的位置，就能将适当画面构成的自己图像向对方发送。而且，不需要摄像机单元光轴移动机构或变焦距机构那样庞大的跟踪机构，不损害图像通信终端的便携性能。另外，若面部区域位于有效区域内，则发送区域不移动，因此向对方发送的图像，特别是使用者背景图像不会频繁晃动，可以防止对方眼花。再有，即使是逆光那样的情况下，能够将始终能看得清使用者面部那样的图像向对方一侧发送。这样，即使在室外，也可以不必注意周围的照环境，用图像通信终端与对方进行对话。

本发明的第四方面，是面向将摄像机单元拍摄的使用者图像向对方发送的图像通信终端，包括

拍摄使用者的摄像机单元、

从摄像机单元拍摄的图像抽取使用者面部位置的面部抽取单元、

对使用者显示从对方接收的图像的显示单元、

根据抽取的面部位置将摄像机单元拍摄的图像中使用者面部位置通知使用者的通知控制单元、

以及与对方的信息处理装置至少进行图像通信的通信单元。

这样，根据第四方面，由于将拍摄图像中自己的位置通知使用者，因此即使自己的形象未超出画面时，也能够确认自己的位置，并放心地与对方进行会话。即使万一使用者超出画面，由于对方的形象不会突然发生变化，因此使用者能不慌不忙地一面参照通知，恢复到正确位置，一面继续会话。而且，由于不需要在摄像机单元设置对使用者的跟踪机构，因此能够减轻图像通信终端的重量，而且能够实现低功耗。所以，能够非常适用于移动(电视)电话及便携式计算机终端等重视便携性能的装置。

这里，面部抽取单元最好在抽取使用者面部位置的同时，也抽取面部的大小，通知控制单元最好将摄像机单元拍摄的图像中使用者的面部位置及大小通知使用者。

这样，由于还抽取面部区域的大小并通知使用者，使用者能旬到面部区域的位置及大小两方面的信息。因而，使用者能参照这些信息，适当保护画面上的位置及远近方向的位置。另外，使用者即使未获得自己图像，也能够桷认自己处于画面上什么位置，拍摄的图像是多大的大小。

另外，通知控制单元最好在显示单元显示仅表示抽取的面部位置或表示位置及大小的标记。

这样，使用者一面看着显示单元显示的对方的形象，一面与通常会话那样，集中精神进行会话。另外，使用者参照简明的标记，能够确认自己的位置。

该标记可以显示在从对方接收的图像上，也可以显示在从对方接收的图像外。

前者的情况下，由于在对方形象上出现标记，不需要为了仅仅显示标记而分配较大画面区域，能够使显示的对方形象更大。看得更清楚。而且，使用为了看标记，不需要改变视线，即使长时间会话也很少疲劳。而后者的情况下，由于使标记避开对方的图像，因此标记不干扰对方的图像，能够更鲜明地看到对方的形象。

另外，通知控制单元也可以通过与显示单元分开另外设置的位置通知单元，将抽取的面部位置通知使用者。

这样，由于与显示单元分开另外设置位置通知单元，因此能够将显示单元的全部画面分配用作显示对方的形象，所以能够使显示的对方形象更大，看得更清楚。

另外，利用上述的通知控制单元进行的向使用者通知的方法，可根据使用者的指示进行切换，这样使用者可选择喜欢的通知方法。

这里，上述第一～第四方面采用的理想的面部抽取单元包括：

从摄像机单元拍摄的图像抽取边缘部分(相当于人物外形或面部轮廓等的象素)并生成仅有该边缘部分的图像(边缘图像)的边缘抽取单元；

存储模板的模板存储单元，前述模板是将预定的形状根据相似而各种不同的大小设置多个以中心点为中心的同心状的图形；

对构成模板的每个不同大小的运送对应附加边缘图像上的坐标位置及投票数、并分别加以存储的投票结果存储单元；

依次模板的中心点移动到边缘部分的各象素位置、对于与形成各种大小形状的全部象素位置所对应的各坐标位置分别增加或减少投标结果存储单元存储的投票数的投票单元；

以及根据投票结果存储单元存储的各投票数求出对象图数包含的面部位置及大小的角析单元。

根据该构成，因仅仅进行处理负担轻的投票处理(基于上仅是加法)及其评价，故能够高歌检测面部位置。而且，由于采用具有相似的多个同心状的模板，因此实际上变成进行处似处理，看包含面部的边缘部分与这些形状中哪一个大小接近，还能够高速抽取面部大小。这样，由于能大幅度减轻处理负担，因此即使是目前的个人计算机等级的处理能力，也几乎能够实时抽取面部。另外，在对象图像中哪一部分是面部区域，或者面部区域的个数等，在抽取前即使不不禁也没关系，对于大范围的对象图像，一样能检测面部，通用性极高。

另外，若设预定形状为圆，则从模板中心点至形状的全部象素的距离总是一定的，能够保持簋高的投票结果精度。

另外，其它理想的面部抽取单元包括：

输入规定的模板图像并求出该图像的边缘法线方向向量、再根据该边缘法线方向向量生成评价向量并将该评价向量进行正交变换的模板图像处理单元；

输入摄像机单元拍摄的图像并求出该图像的边缘法线方向向量、再根据该边缘法线方向向量生成评价向量并将该评价向量进行正交变换的输入图像处理单元；

对于模板图像及拍摄的图像分别生成的正交交换后的各评价向量、将对应的谱数据进行积和运算的积和单元；

将积和运算的结果进行逆正交交换后生成相似值映射的逆正交交换单元。

评价向量包含将该图像边缘法线方向向量进行偶数傍角变换的分量，相似值的计算式、正交变换及逆正交变换都具有线性。

根据该构成，即使由于背景部分的亮度之差，模板图像的边缘法线方向向量与摄像机部分拍摄的图像(输入图像)的边缘法线方向向量之夹角θ的内积(cosθ)正负反转时，也对相似值没有影响，能够正常评价还配情况。

另外，在评价向量的表现中，也可以用根据极坐标表现边缘法线方向向量时的角度计算的值。

这里，在上述各方面部抽取单元中，最好还包括(根据投票结果存储单元存储的内容或逆正交变换单元生成的相似值)判断从摄像机单元拍摄的图像作为面部抽取的位置及大小是否真是面部的面部或非面部判断单元，并仅在判断为面部时，将抽取结果输出。

利用该判断，即使实际的面部处于面部区域的第1候补以外，也能够稳定抽取面部区域。另外，由于即使在图像中没有面部，也能够判断没有面部，因此能够自动检测出没有必要移动面部位置进行显示的情况。

在该面部或非面部判断单元之也可以利用从摄像机单元拍摄的图像作为面部抽取的区域所得到的图像特征，根据支持向量函数的判断结果，进行面部或非面部的判断。这种情况下，可以将从摄像机单元拍摄的图像作为面部抽取的区域所得到的边缘法线方向向量作为图像特征，也可以将从该区域所得到的边缘法线直方图作为图像特征。

附图说明

图1所示为本发明实施形状1的图像通信终端构成方框图。

图2所示为发送数据处理单元8进行的跟踪处理顺序流程图。

图3～图6为说明拍摄区域30与发送区域31的关系的说明图。

图7所示为本发明实施形状2的图像通信终端构成方框图。

图8及图9所示为显示单元3画面上显示的标记之一例。

图10所示为利用输入单元双的数字键进行通知的标记之一例。

图11所示为对方一侧信息处理装置的画面上显示的使用者1一侧的图像之一例。

图12所示为实施例的面部抽取单元7的构成方框图。

图13所示为样板存储单元52存储的样板之一例。

图14所示为投票单元54进行的投票处理顺序流程图。

图15为边缘抽取单元51抽取的边缘图像之一例。

图16为说明利用投票处理在投票结果存储单元53的投票存储区域存储的投票数的概念的说明图。

图17所示为解析单元55进行的解析处理顺序流程图。

图18所示为实施例2的面部抽取单元7的构成方框图。

图19所示为输入至边缘抽取单元81及91的样板图像及对象图像之一例。

图20为内积正负反转的说明图。

图21为评价向量压缩处理的说明图。

图22所示为实施例3的面部抽取部分7构成一部分的方框图。

图23所示为面部或非面部判断单元113进行的面部或非面部判断结果之一例。

具体实施方式

下面参照附图，说明本发明的各实施形状。

实施形状1

图1所示为本发明实施形状1的图像通信终端构成方框图。在图1中，实施形状1的图像通信终端具有输入单元2、显示单元3、摄像机单元4、显示控制单元5、自己图像存储器6、面部抽取单元7、发送数据处理单元8、通信单元9、接收数据处理单元10及对方图像存储器11。

首先，说明实施形状1的图像通信终端各构成的简要情况。

如图1所示，在本实施形状的图像通信终端中，输入单元2、显示单元3及摄像机单元4对着使用者1。

输入单元2由键盘(包括数字键等)及鼠标器等构成，使用者1用来输入发送模式及其它必要的信息。

显示单元3由LCD等构成，画面上对着使用者1显示对方图像及根据显示控制单元5的指示显示的标记等。关于标记将在后面详细叙述，是使用者1能够确认在画面中自己面部的位置及大小的标记。

摄像机单元4由镜头等光学系统及CCD等电气系统构成，用来拍摄使用者1。该摄像机单元4拍摄的图像(下面称为对象图像)按每一帧存储在自己图像存储器6中。

显示控制单元5对显示单元3的画面显示(主要是显示接收的对方图像)进行控制。另外，控制单元5按照由输入单元2输入的信息，根据面部抽取单元7抽取的面部区域，在显示单元3的画面上显示标记。

面部抽取单元7对于自己图像存储器6存储的对象图像，求得存在的面部的位置及大小，并将这些信息作为面部区域输出到显示控制单元5及发送数据处理单元8.另外，关于该面部抽取单元7，将在后面详细说明可用于本发明的方法。

发送数据处理单元8设定与面部抽取单元7抽取的面部区域位置一致的发送区域。然后，发送数据处理单元8根据由输入单元2输入的发送模式，将自己图像存储器6存储的对象图像内的发送区域内的图像数据送出至通信单元9。

通信单元9通过通信路径，与对方的信息处理装置(包括图像通信终端)至少进行图像数据通信。这里的通信模式是任意的，例如可以象内线电话那样，不通过基地台进行子机间通信，也可以通过电视电话那样的基地台，进行同步通信或异步通信。

接收数据处理单元10对通过通信单元9接收的对方图像数据进行处理，按每一帧存储在对方存储器11中。

另外，在本实施形状中，是以通信单元9进行双向通信的情况为例进行说明，但也可以将本发明用于由使用者1向对方进行图像数据单向通信的视频邮件等。这种情况下，对方的信息处理装置也可以只具有接收被发送的图像数据然后进行画面显示的构成部分。

下面利用图2～图6，说明发送数据处理单元8进行的与面部区域位置一致的跟踪处理。

首先，由摄像机单元4决定的拍摄区域30与通信单元9发送的图像的发送区域31之关系，一般如图3所示。发送区域31为小于拍摄区域30的矩形区域。摄像机单元4在比发送区域31大的拍摄区域30对被拍者(使用者1)进行拍摄，而从图像通信终端仅将发送区域31内的图像向对方发送。在图3的例子中，拍摄区域30的x方向长为A，y方向长为B，而发送区域31的x方向长为L，y方向长为M。另外，L＜A，M＜B，各长度A、B、L、M均固定。

在图3的例子中，将发送区域31在左上点(x1、y1)作为基准点。该基准点可在拍摄区域30内移动，若使基准点固定，则发送区域31的位置也确定下来，且呈现单一性。另外，也可以将发送区域31的左上点以外的点作为基准。

另外，在本实施形状中，用圆形标记R表示面部抽取单元7抽取的面部区域的位置及大小。该标记R的中心是面部区域的中心，标记R的直径相对于面部区域的大小。标记R也可以是圆形以外的形状。

在图3的状态中，用标记R表示的面部区域向发送区域31的右侧超出。因而，根据标记R，如图中箭头所示，若使发送区域31向右侧移动，则成为理想的画面构成。因此，在本实施形状中，让发送区域31移动，使标记R包含在内部。

图4所示为使发送区域31移动后的状态(左上点(x2、y2))。这里，在本实施形状中，如图4所示，在发送区域31的内侧再设定有效区域32，使有效区域32与发送区域31一起移动。然后，不是检查标记R是否超出发送区域31，而是检查是否超出有效区域32，在超出时，如从图3到图4那样，使发送区域31及有效区域32移动。

这里，若有效区域32太小，则标记R超出有效区域32的概率增加，容易导致对方眼花。因而，最好如图4所示，将有效区域32取得较大，以抑制发送区域31移动。即使这样，面部区域也处于容易看清的位置。

另外，在本实施形状中，还可利用发送模式(面部以上模式或胸部以上模式)来切换发送区域31刚移动后的标记R的位置。图4是标记R相对于发送区域31位于比x方向中心及y方向中心略上方的位置即根据胸部以上模式的图像显示方法之一例。另外，所谓面部以上模式是标记R相对于发送区域31位于x方向中心及y方向中心位置的图像显示方法。

另外，在本实施形状中，如图5所示，还可以使标记R从这些模式向希望的方向偏离。如果这样，就可以适应各种要求，例如考虑到使用者1想要让对方一起看到自己与所拿的物品等情况下，也能满足要求。

下面参照图2，说明发送数据处理单元8进行的跟踪处理的各个步骤。

首先，使用者以输入单元2将发送模式(胸部以上模式/面部以上模式)输入(步骤S201)。然后，利用摄像机单元4拍摄使用者1，作为对象图像存储在自己图像存储6中(步骤S202)。在该拍摄时，使用者1只要位于大的拍摄区域30内面部拍摄位置就可以了。然后，面部抽取单元7抽取对象图像内的面部区域(面部位置及大小)，将抽取的面部区域输出到发送数据处理单元8(步骤S203)。

若抽取了面部区域，则发送数据处理单元8根据发送模式，使发送区域31与面部区域一致(步骤S204)。具体来说，如图4所示，决定发送区域31的左上点，使面部区域包含在发送区域31内。然后，在发送区域31内设定有效区域32(步骤S205)，利用显示单元3将图4的发送区域31内的图像显示给使用者1进行监控(步骤S206)。另外，在该步骤S206中，也可以不显示使用者1本身的图像，而只显示标记R。然后，使用者1利用输入单元2输入所监控显示的画面构成是否合适(是否锁定发送区域31)(步骤S207)。使用者1在希望偏离发送区域31时，输入单元2接受输入的移动信息，调节发送区域31的位置(步骤S215)。然后，处理返回步骤S205，再一次请求使用者1确认。

若在上述步骤S207中画面构成结束，则开始与对方的图像通信(步骤S208)。另外，设置适当的中断处理单元，即使在通信过程中，也可以进行步骤S201～S207的处理。若开始通过，则通过通信单元9及接收数据处理单元10存储在对方图像存储器11的对方图像，就显示在显示单元3的画面上(步骤S209)。这里再一次用摄像机单元4拍摄使用者1(步骤S210)，面部抽取单元7抽取面部区域(步骤S211)，发送数据处理单元8判断面部区域是否超出有效区域32(步骤S212)。

这里，如图6所示，若超出有效区域32，则发送数据处理ufjq8与上述步骤S204相同，根据发送模式，使发送区域31的左上点移动(步骤S213)，然后在面部抽取单元7再一次抽取面部区域，再一次判断抽取的面部区域是否超出有效区域32(步骤S211、S212)。另外，若未超出有效区域32，则发送数据处理部分8不使发送区域31移动，继续进行通信。另外，在使用者想要一面确认自己拍摄的情况，在放心以后一面进行通信时，也可以采用例如画中画方式，将自己的图像与对方的图像一起显示在画面内。

然后，重复步骤S209～S213的处理，直到通信结束(步骤S214)。

这样，根据本发明实施形状1的图像通信终端，可以不用庞大的跟踪机构，不损害图像通信终端的便携性能，能够实际上跟踪了使用者的运动而进行拍摄及图像通信。即使用者即使不注意拍摄的情况，也能够以理想的画面构成进行拍摄，并将自己图像向对方发送。另外，若面部区域在有效区域内，则发送区域不移动，因此向对方一侧发送的图像，特别是使用者一侧的背景图像不会敏繁晃动，可以防止对方眼花。

众所周知，摄像机单元4所用的摄像机，有的具有自动曝光校正功能。所谓自动曝光校正是自动校正图像亮度使亮度为最佳的功能，一般是根据整个图像或几点的平均亮度，通过改变图像内各象素亮度来进行校正。但是产生的问题是，在像逆光等那样面部区域平均亮度低于整个对象图像平均亮度的情况下，使用者1的面部就变成漆黑了。

因此，作为这种情况下采取的方法，是只要在发送数据处理单元8，根据面部抽取单元7抽取的面部区域，对摄像机单元4拍摄的对象图像的亮度进行亮度校正，以提高面部的可视性，然后传送给通信单元9即可。

具体来说，发送数据处理单元8预先存储有面部区域内部的平均亮度理想值(理想平均亮度a)。然后，发送数据处理单元8求出面部抽取单元7抽取的面部区域内部的平均亮度I，为了将摄像机单元4拍摄的对象图像的亮度Y1变为新的亮度Y2，将对象图像的各象素进行Y2＝Y1X(a/I)的运算。这样，面部区域内部能够被校正为理想平均亮度a。另外，利用该理想平均亮度a，可以认为不仅亮度改变，而且色调也同样改变。

除此之外，还可能有这种情况，即发送数据处理单元8在面部区域内部平均亮度为I时，具有可以设定的摄像机单元4的曝光等级，而使面部区域变为理想平均亮度a。这种情况下，发送数据处理单元8将面部区域内部的平均亮度I相对应的曝光等级通知摄像机单元4，通过这样能够进行校正，使面部区域的亮度达到理想值。

这样一来，即使是逆光那样的情况下，能够将始终能看得清使用者面部那样的图像向对方一侧发送。这样，即使在室外，也可以不必注意周围的照明环境，用图像通信终端与对方进行对话。

实施形状2

在上述实施形状1中说明的方法是，采用简单的跟踪机构，图像通信终端一侧自动跟踪使用者的运动，通过这样，能够将使用者框在图像框内的理想图像向对方一侧发送。

下面在实施形状2中要说明的方法是，不用跟踪机构，通过使用者一侧配合图像通信终端运动进行显示，能够将使用者框出图像框内的理想图像向对方一侧发送。

图7所示为本发明实施形状2的图像通信终端构成方框图。在图7中，实施形状2的图像通信终端具有输入单元22、显示单元3、摄像机单元4、显示控制单元25、自己图像存储器6、面部抽取单元7、发送数据处理单元8、通信单元9、接收数据处理单元10及对方图像存储器11。

首先，说明实施形状2的图像通信终端各构成的简要情况。

如图7所示，在本实施形状的图像通信终端中，输入单元22、显示单元3及摄像机单元4对着使用者1。

输入单元22由键盘(包括数字键等)及鼠标器等构成，使用者1用来输入通知模式、发送模式及其它必要的wyth。在本实施形状中，输入单元22具有能够发光(或闪烁)的数字键。

显示单元3由LCD等构成，画面上对着使用者1显示对方图像及根据显示控制单元25的指示显示的标记等，关于标记将在后面详细叙述，是使用者1能够确认在画面中自己面部的位置及大小的标记。另外，由输入单元22及显示单元3构成通知单元12，通知单元12将发送给对方一侧的发送图像中使用者1的面部位置及大小通知使用者1。

摄像机单元4由镜头等光学系统及CCD等电气系统构成，用来拍摄使用者1。该摄像机单元4拍摄的图像(对象图像)按每一帧存储在自己图像存储器6中。

显示控制单元25对显示单元3的画面显示(主要是显示接收的对方图像)进行控制、另外，显示控制单元25按照由输入单元22输入的通知模式，根据面部抽取单元7抽取的面部区域，或者在显示单元3的画面上显示标记，或者使输入单元22的数字键发光。

面部抽取单元7对于自己图像存储器6存储的对象图像，求得存在的面部的位置及大小，并将这些信息作为面部区域输出到显示控制单元25及发送数据处理单元8，另外，关于该面部抽取单元7，将在后面详细说明可用于本发明的方法。

发送数据处理单元8根据输入单元22给出的发送模式，将自己图像存储器6存储的对象图像照原样或经过后述的加工处理后输出给通信单元9。

通信单元9通过通信路径，与对方的信息处理装置(包括图像通信终端)至少进行图像数据通信。这里的通信模式是任意的，例如可以象内线电话那样，不通过基地台进行子机间通信，也可以通过电视电话那样的基地台，进行同步通信或异步通信。

接收数据处理单元10对通过通信单元9接收的对方图像数据进行处理，按每一帧存储在对方图像存储器11中。

下面参照图8～图10，说明显示控制单元25在显示单元3的画面上显示的标记之一例。另外，这些例子也可以适当加以组合使用。

首先，图8(a)～(d)为显示单元3的画面上用标记R仅显示使用者1的面部位置(这里是面部抽取单元7抽取的面部区域的中心)的例子。图中用矩形表示的区域是显示单元3的画面，在该区域中显示对方的图像。在图8(a)～(c)中，标记R在对方图像内重叠显示。在图8(d)中，标记R在对方图像处显示。这些标记R的显示，可以与对方图像帧同步更新，也可以异步更新。

图8(a)使用十字线作为标记R，线的交点表示使用者1的面部位置。图8(b)使用箭头作为标记R，两个箭头所确定的点表示使用者1的面部位置。图8(c)使用十字或X的图形作为标记R，图形的位置表示面部位置。图8(d)使用对方图像框外显示的横竖直尺作为标记R，竖R上所附的标尺与横尺上所附的标尺所确定的点表示使用者1的面部位置。

而图9(a)～(c)为显示单元3的画面上用标记R显示使用者1的面部位置及大小(面部抽取单元7抽取的整个面部区域)的例子。图9(a)使用横竖各两条平行线作为标记R，用该平等线所包围的矩形区域表示使用者1的面部位置及大小。图9(b)使用对方图像框外显示的横竖直尺作为标记R，竖尺上所附的带有宽度的标尺与横尺上所附的带有宽度的标尺所确定的区域表示使用者1的面部位置及大小。图9(c)使用与面部区域挖的圆(或椭圆)作为标记R，圆的区域表示使用者1的面部位置及大小。

另外，这些标记的显示可以与对方图像无关，也可以与对方图像相关，前者例如不管对方图像如何，用规定的颜色(用黑色一种颜色等)显示标记R。后者例如当显示的标记在对方图像上难以看懂时，就改变显示标记R的象素的亮度，或使其RGB值改变(反转)。无论哪一种情况，希望这些标记R显示时不要妨碍对方图像。

再有图10是不用显示单元3、而是用输入单元22来显示使用者1面部大致位置的例子。如图10所示，用能够发光的数字键作为标记R，通过使该数字键的某一个键发光，能够将面部位置通知使用者1，在图10中，由于“3”键发光，因此可以通知使用者1，面部位置位于画面的“右上”方。同样，如果是“1″键发光，为画面的“左上”方；如果是“5″键发光，为画面的正当中；如果是“9″键发光，为画面的“右下”方。这样能显示大概的位置。即使通知这样的大致位置，实用上也足够了。

另外，在本实施形状中，根据从输入单元22给予显示控制单元25的通知模式，能够对采用图8～图10的哪一种方法来通知面部位置进行切换。还有，这些通知可以在平常进行，也可以仅仅在使用者1利用输入单元22发出通知指令时进行。另外，通知大致位置的方法，除了图10所示的输入单元22的数字键发光以外，还可以利用声、光等方法。例如利用声音的情况下，可以考虑使扬声器发出声音的间隔或频率随面部位置而变化；利用发光的情况下，可以考虑使发光的亮度或闪烁的间隔随面部位置而变化等。

下面参照图11，说明发送数据处理单元8通过通信单元9发送的使用者1的图像例子。在本实施形状中，向对方一侧发送的图像，可根据从输入单元22给予发送数据处理单元8的发送模式进行选择。

这里，在使用者1一侧(自己一侧)，假设在对方图像上显示如图11(a)所示的标记R(图9(a)～(c)的组合)。这时，发送数据处理单元8可以根据发送模式以各种形状将自己图像向对方发送。例如，若发送模式为“通常”，则如图11(b)所示，发送数据处理单元8将摄像机单元4取得的图像照原样进行发送。另外，若发送模式为“带标记”，则如图11(c)所示，发送数据处理单元8参照面部抽取单元7抽取的面部区域，生成将标记R与取得的图像合成的自己图像，向对方发送。再有，若发送模式为“面部”，则如图11(d)所示，发送数据处理单元8从取得的图像中仅仅取出面部抽取单元7抽取的面部区域，形成自己图像将该自己图像向对方发送。

根据发送模式进行的这些图像处理，可以采用众所周知的技术简单的实现，因此省略其详细说明。这里，若如图11(c)所示，发送“带标记”的自己图像，则即使发送例如很难知道自己位于什么位置的图像(处于漆黑中的图像)，也能够让对方正确掌握自己的位置。另外，若如图11(d)所示，发送“面部”的自己图像。则由于不拍摄背景，可以隐去不想被对方看见的部分，可以保护个人秘密。另外，即使这样隐去背景，但由于仍向对方传送面部表情等，因此不妨碍会话。

另外，上述说明的发送模式，若相互是唯一的，则也可能根据其它任意的区域方法。

如上所述，根据本发明第二实施形状的图像通信终端，是采用基于抽取的面部区域的标记，能够简单且适当地表现使用者画面上的位置关系。因而，使用者在自己的面部位置超出画面时，当然能够一面确认自己的面部位置，在放心之后，一面与对方进行对话，而即使自己的面部位置未超出画面时，也能够这样。另外，与上述实施形状1相比，由于省略了跟踪机构，因此能够使图像通信终端的便携性能更好。

下面就上述本发明实施形状1、2的图像通信终端能够采用的面部抽取单元7说明三个具体的实施例。另外，面部抽取单元7除了下面说明的三个方法以外，还可以采用基于颜色信息的方法、着眼于面部的眼、口等部分的方法、以及利用模板匹配的方法等众所周知的各种方法。

实施例1

图12所示为实施例1的面部抽取单元7的构成方框图。在图12中，面部抽取单元7具有边缘抽取单元51、模板存储单元52、投标结果存储单元53、投标单元54及解析单元55。

边缘抽取单元51从摄像机单元4拍摄的对话图像抽取边缘部分，生成仅仅有边缘部分的图像(下面称为边缘图像)。这里所谓边缘部分，是相当于人物外形或面部轮廓等部分(象素)，是对象图像内的高频分量的部分。该边缘抽取单元51最好采用从对象图像取出高频分量的Sobel滤波器等。

在模板存储单元52存储模板数据，前述模板是将预先规定的形状，根据相似但大小不同的各种尺寸，在中心点设置的多个同心状的图形。该模板形状虽可以采用圆、椭圆、正多边形、多边形等，但最好采用从中心点至形状线(形成形状的各象素)的距离始终为一定的圆。这样，能够提高后述的投票精度。

下面说明的情况是，在该实施例1中，如图13所示，采用中心点为P、设置多个半径不同的同心圆的模板。这里，构成模板的多个圆t1～tn(n为任意整数)，如图13所示的模板，可以是半径按一定间隔变化，也可以是半径按不定间隔变化。另外，构成模板的多个圆t1～tn可以是全部线宽由1位(bit)(相当于对象图像的1个象素)构成，也可以部分或全部线宽由2位以上(即圆环形状)构成。在下面的说明中，将圆及圆环简单统称为“圆”。

该多个圆t1～tn合起来作为一个模板处理，存储在模板存储单元52中，但在实际处理中，构成模板的各圆t1～tn是独立处理的。为此，在模板存储单元52中，形成各圆t1～tn的象素数据是例如以表格形式分别加以存储的。

在投票结果存储单元53中，对构成模板存储单元52存储的模板的各个大小形状，设置将在后述的投票单元54进行的投票处理结果加以存储的区域(下面称为投票存储区域)。在该例子中，由于各大小的形状为圆t1～tn，因此在投票结果存储单元53，对于圆t1～tn，设置n个投票存储区域。另外，该投票存储区域具有与对象图像对应的范围。

投标单元54对于边缘抽取单元51生成的边缘图像，采用模板存储单元52存储的模板，进行投票处理。图14所示为投票单元54进行的投票处理顺序流程图。

参照图14，投票单元54首先访问投票结果存储单元53，将表示各投票存储区域内的坐标的成分(投票值)全部的始化为零(步骤S601)。然后，投票单元54将模板中心点P置于边缘图像内边缘部分的起始象素位置(步骤S602)。该起始象素位置，只要例如在边缘图像上从左上向右上或向左下依次进行扫描，最初检测出的边缘部分象素位置作为起始象素位置即可。

然后，投票单元54对确定构成模板的形状(在该例子中，为圆t1～tn)的计数器i初始化为“1″(步骤S603)。然后，投票单元54对于根据计数器i(＝1)确定的圆t1，分别取得形成圆t1的全部象素在边缘圆像上的xy坐标(步骤S604)。然后，投票单元54在投票结果存储单元53设置的关于圆t1的投票存储区域中，对表示取得的各xy坐标的成分分别如“1”，进行投票(步骤S605)。

若该处理结束，则投票单元54将计数器i加1，使i＝2(步骤S607)。然后，投票单元54对于根据计数器i(i＝2)确定的圆t2，分别取得形成圆t2的全部象素在边缘图像上的xy坐标(步骤S604)。然后，投票单元54在投票结果存储单元53设置的关于圆t2的投票存储区域中，对取得的表示各xy坐标的成分别加“1”，进行投票(步骤S605)。

以下步骤同样进行，投票单元54在达到i＝n之前，每次对计数器i加1(步骤S606、S607)，对构成模板的全部形状即圆t3～tn，重复进行上述步骤S604及S605的投票处理。这样，分别对关于各圆t1～tn的投票存储区域，在起始象素位置进行投票处理。

然后，投票单元54再将模板中心点P置于边缘部分下一个象素位置，重复进行上述步骤S603～S607的处理，这样的过程对于边缘图像内的边缘部分全部象素都各进行一次(步骤S608、S609)。即利用投票单元54的投票处理是模板中心点P沿着边缘部分的全部象素那样来进行的。

例如对图15所示的边缘图像进行上述投票处理，通过这样在投票结果存储单元53设置的n个投票存储区域存储了图16所示的投票数。另外，在图16中，为了便于看清图形，所示为在边缘部分的一部分象素位置进行投票处理的情况。在图16中，实线圆的部分相当于在上述步骤S605中根据模板各大小不同的形状(图t1～tn)进行投票的坐标成分，为坐标数“1”。另外，如上所述，由于各种投票数进行累加，因此图16的圆相交部分(图中用符号表示)表示相交的数越多，投票数越高。

因此，在表现近似于具有中心点的圆或椭圆的面部轮廓的边缘部分，若进行上述投票处理，则高的投标数集中在该中心点附近。因而，若判断高投标数集中的部分，则能够确定面部中心。另外，这样的高投标值集中的现象，即使在模板中采用圆形，而该圆形具有与表面面部轮廓的边缘部分最小宽度相等或非常接近的半径的情况下，也表现得更显著。因而，若判断该现象在哪个圆形的投票存储区域表面得显著，则能够确定面部大小。这一点可以说与广义哈夫变换相似，但是，本发明的面部抽取方法是使用具有同心状的多个大小不同形状的模板，通过这样能一次确定边缘部分的中心点及其大小，这一点与广义哈夫变换明显不同。

另外，也可以在上述步骤S601中，将表示各投票存储区域内的坐标的成分全部初始化为预定的最大值，并在上述步骤S605中，从表示取得的各xy坐标的成分分别减“1”，进行投票。这种情况下，若判断低投票值集中的部分，则能够确定面部中心，若判断该集中现象在哪个圆形的投票存储区域表面得显著，则能够确定面部大小。

另外，也可以在上述步骤S605中，使投票数加或减的值是除“1”以外的值，能够自由设定该值。

下面说明根据投票结果存储单元53存储的投票结果来确定对象图像面部区域的方法。

在利用投票单元54进行投票处理结束后，解析单元55根据投标结果存储单元53存储的投标结果，评价该聚类，求出对象图像包含的面部位置及大小。图17为解析单元55进行的解析处理顺序流程图。

参照图17，解析单元55首先将确定构成模板的形状(在该例中为圆t1～tn)的计数器j置“1”(步骤S701)。然后，解析单元55对于根据计数器j(＝1)确定的圆t1，参照投票结果存储单元53中关于圆t1的投票存储区域存储的投票结果，仅仅将投票数超过预定阈值G(例如200等)的万分抽出(步骤S702)。该阈值G可以根据对象图像的清晰度可所希望的抽出精度任意规定。然后，解析单元55仅以抽出的万分为对象，进行聚类(步骤S703)，分别计算聚类处理的各区域的方差值及协方差值(步骤S704)。该聚类的相似度可以利用欧几里德平方距离、标准欧几里德平方距离、马哈拉诺比斯的泛距离或闵可夫斯基距离的任一咱种距离进行判断。另外，为了形成聚类，也可用最矩距离法(SLINK：single linkage clustering method)、最长距离法(CLINK：complete linkagecluctering method)或群平均法(UPGMA：unweighted pair-group method usingartithmetic averages)的任一种方法。

然后，解析单元55将聚类处理的各区域的方差值及协方差值与预定阈值H进行比较(步骤S705)。然后，当该步骤S705中各值小于瓶值H时，解析单元55将该区域中心点看作面部中心点，将此时的计数器j(＝1)所指的圆t1的大小(直径)作为面部短轴长(步骤S706)，将该短轴长加上一定的数值(根据经验确定)所得的长度作为面部的长轴长，通过这样来确定(步骤S707)。然后，解析单元55将该确定的中心点、短轴长及长轴长作为解析结果加以保持(步骤S708)。另外，当在上述步骤S705中各值大于阈值H时，解析单元55判断为该区域中心点不是面部中心点，转移至下面的处理。

若该处理结束，则解析单元55使计数器j加1，使j＝2(步骤S710)。然后，解析单元55对于根据计数器j(j＝2)确定的圆t2，参照投票结果存储单元53中关于圆t2的投票存储区域存储的投票结果，仅仅将投票数超过预定阈值G的成分抽出(步骤S702)。然后，解析单元55仅以抽出的成分为对象，进行聚ood(hicbS702)，分别计算聚类处理的各区域的方差值及协方差值(步骤S704)。

然后，解析单元55将聚类处理的各区域的方差值及协方差值与预定阈值H进行比较(步骤S705)。然后，当该步骤(S705)中各值小于阈值H时，解析单元55将该区域中心点看作面部中心点，将此时的计数器j(＝2)所指的圆t2的大小作为面部短轴长(步骤S706)，将该短轴长加上一定的数所得的长度作为面部的长轴长，通过这样来确定(步骤S707)。然后，解析单元55将该确定的中心点、短轴长及长轴长作为解析结果加以追加保持(步骤S708)。另外，当在上述步骤S705中各值大小阈值H时，解析单元55判断为该区域中心点不是面部中心点，转移至下面的处理。

以下步骤同样进行，解析单元55在达到j＝n之前，每次对计数器j加1(步骤S709、S710)，对投票结果存储单元53存储的关于各圆t3-tn的投票存储区域，重复进行上述步骤S702-S708的解析处理。这样，能够得到关于各圆t1-tn的投票存储区域中面部区域抽取的解析结果。

该解析结果输出到显示控制单元5、25及发送数据处理单元8。

这样，在实施例1的面部抽取单元7，能够仅仅通过负担较轻的投票处理(基本上仅仅是加法处理)及投票数的评价。高速抽取面部位置。而且，由于采用具有同心状的多个大小不同的相似形状的模板，因此，实际上进行近似处理，看作为面部区域的边缘部分与这些形状的哪一个大小接近，这样还能够高速抽取面部大小。

实施例2

下面作为实施例2说明的方法是，通过在正交变换后的空间进行模式匹配，以图减少处理量，这对于电话等那样要求处理量的终端是一种有效方法。

图18所示为实施例2的面部抽取单元7的构成方框图。在图18中，面部抽取单元7具有模板图像处理单元80、逆正交变换单元(逆FFT)102及映射处理单元103。该实施例2的是在模板图像处理单元80及输入图像处理单元90中，对模板图像的输入图像(对象图像)分别进行具有线性的正交变换，求得相似值L。

这里，在实施例2中，是对采用FFT(高速离散傅里叶变换)作为正交变换的情况进行说明，但其它也可以采用Hartley变换或数论变换。在采用其它一些变换方法时，只要将下面说明中有“傅里叶变换”的部分用这些变换方式代替即可。

另外，在模板图像处理单元80及输入图像处理单元90的任一个单元中，都是利用边缘法丝方向向量的内积，越接近边缘法线方向向量的方向，相关性越高。而且，该内积用偶数倍解表现进行评价。下面为了简单起见，说明2倍解的情况作为偶数倍角的例子，但在4倍角或6倍角等其它偶数倍角中，也能够得到与实施例2同样的效果。

首先说明模板图像处理单元80。

在图18中，模板图像处理单元80具有边缘抽取单元81、评价向量生成单元82、正交变换单元(FFT)83、压缩单元84及存储单元85。

边缘抽取单元81对输入的模板图像，分别对X方向及Y方向进行微分处理(边缘抽取)，将模板图像的边缘法线方向向量输出。

在本实施例2中

对X方向，采用〔式1〕的sobel滤波器，

[式1]

$\left[\begin{array}{ccc}-1& 0& 1\\ -2& 0& 2\\ -1& 0& 1\end{array}\right]$

对Y方向，采用〔式2〕的sobel滤波器。

[式2]

$\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$

根据这些滤波器(1)及(2)，求出用下式(3)定义的模板图像边缘法线方向向量。

[式3]

$\stackrel{\→}{T}=(T_X,T_Y)$

评价向量生成单元82从边缘抽取单元81将模板图像的边缘法线方向向量输入，进行下述的处理后，将模板图像的评价向量输出的至正交变换单元83。

首先，评价向量生成单元用下述(4)将模板图像边缘法线方向向量相对长度进行归一化处理。

[式4]

$U=(U_X,U_Y)=\frac{\stackrel{\→}{T}}{\left|\stackrel{\→}{T}\right|}$

这是因为考虑到在照明变化的这种拍摄条件变化情况下，边缘强度(长度)容易受到影响，而边缘角度不易受到影响。因此，在本实施例2中，如后所述，在输入图像处理单元90中，将对象图像的边缘法线方向向量归一化为长度“1”与此相配合，在模板图像处理单元80中，也将模板图像的边缘法线方向向量归一化为长度“1”。

另外，众所周知，关于三角函数，下式〔5〕的倍角公式成立。

[式5]

cos(2θ)＝2cos(θ)²-1

sin(2θ)＝2cos(θ)sin(θ)

用该倍角公式，根据下式(6)对边缘向量进行归一化处理。

[式6]

如果

$\left|\stackrel{\→}{T}\right|\≥a$

$\stackrel{\→}{T}=(V_X,V_Y)=\cos \left(2\mathrm{\θ}\right),\sin \left(2\mathrm{\θ}\right)=2{U_X}^2-\mathrm{1,2}{U}_X{U}_Y$

否则

$\stackrel{\→}{V}=\stackrel{\→}{0}$

下面说明该公式(6)。首先，常数α是去除微小边缘用的阈值，使小于常数α的向量作为零向量，是用来去除噪声等。

然后说明关于XY各分量成为式〔4〕的XY各分量倍角的余弦的从属关系的情况。这里，设模板评价向量T与对象图像评价向量I的夹角为θ，若采用其内积即cosθ作为相似尺度，则存在下面的问题。例如设模板图像为图19(a)所示的图像，对象图像如图19(b)所示的图像。这里，图19(b)的背景部分图像在左半边比对象物体要亮，而右半边比对象物体要暗。若仅仅用图像来看，当图19(a)的模板图像中心与图19(b)的对象图像中心一致时，由于对象物体完全一致，因此这些相似值必须为最大。而且，边缘法线方向向量，若设从对象物体的图像向外侧的为正，则不论是图19(b)的亮的背景部分还是暗的背景部分，从对象物体看，是必须是同样指向(向外或向内)。

但是，这时图19(b)的背景部分亮度，若在对象物体的左右不一样，则如图19(b)箭头所示，指向变成相反(在亮的背景部分指向对象外侧，在暗的背景部分指向对象物体内侧)。

这种情况下，本来应该是最大相似值的情况下，相似值不一定高，容易导致误识别。

以上的情况用图20再详细加以说明。

在采用模板图像的评价向量T与对象图像的评价向量I的夹角θ之内积cosθ作为相似值时，如上所述，由于对象物体周围的背景图像亮度之差，对象图像的评价向量方向有可能为I方向或其正好相反的I’方向中的某一个方向。因此，相似尺度即内可能得到cosθ与cosθ’两种情况。而且，θ+θ’＝π，cosθ＝cos(π-θ’)＝-cosθ’。

即若用cos作为相似尺度，则在本来必须作用使相似值增加的情况，有时反过来变成使相似值减少的情况。另外，在必须作用使相似值减少的情况，有时反过来变成使相似值增加。

因此，在本实施例2中，相似值的式子使用θ的倍角的余弦(cos2θ)。这样一来，即使是cosθ’＝-cosθ，但根据式(5)的倍角公式，变成cos2θ’-cos2θ。即必须作用使相似值增加的情况下，不受背景部分影响，相似值增加，因而，即使背景部分的图像有亮度之差，也能够正常对图像的匹配进行评价。以上的情况，不仅用2倍角，即使用4倍角或6倍角等，也同样成立。这样通过遇数倍角评价，不论背景的亮度条件如何，都能稳定抽取图形。

另外，除了该表现以外，这里作为根据Tx与Ty值的组合表现为cosθ＝Tx、sinθ＝Ty的θ值(即将边缘法线方向向量以极坐标表现情况下的相位角)，也可以不是用Tx及Ty两个值表现，而是用一个值表现。另外，设θ不是用0-360度表现，而是例如用8位(bit)表现，而负值作为2的补码表现的以2进制表现时(即-128-127的情况)，对-128加1时，即为θ，形成循环表现，因此，在关于θ的倍角计算及相似值计算中，当超过127时，则自动进行作为-128的处理。

下面说明相似值的计算。更具体地说，在本实施例2中，根据下式(7)定义相似值L。

[式7]

$L(x,y)=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{K}_x(x+i,y+j)V_x(i,j)+K_y(x+i,y+j)V_y(i,j)$

$\stackrel{\→}{K}=(K_x,K_y):$ 输入图像的评价向量

$\stackrel{\→}{V}=(V_x,V_y):$ 模板图像的评价向量

另外，设评价向量不是(Vx，Vy)、(Tx，Ty)，而是Vθ、Tθ时，则用下式(8)。

[式8】

$L(x,y)=\underset{i}{\mathrm{\Σ}}\underset{j}{\mathrm{\Σ}}{K}_{\mathrm{\θ}}(x+i,y+j)V_{\mathrm{\θ}}(i,j)$

                       K_θ：输入图像的评价向量

                       V_θ：模板图像的评价向量

另外，这里在评价向量的要素为一个时，也标注为向量。

这里，式(7)及式(8)由于仅仅由加法及乘法构成，因此相似值对于对象图像及模板图像的各评价向量是线性的。因而，若对式(7)及式(8)进行傅里叶变换，则根据傅里叶变换的离散相关定理，成为

[式9]

$\tilde{L}(u,v)={\tilde{K}}_x(u,v){\tilde{V}}_x{(u,v)}^{*}+{\tilde{K}}_y(u,v){\tilde{V}}_y{(u,v)}^{*}$

K_x，K_y的傅里叶变换值

V_x，V_y的傅里叶变换的共轭复数

[式10]

$\tilde{L}(u,v)={\tilde{K}}_{\mathrm{\θ}}(u,v){\tilde{V}}_{\mathrm{\θ}}{(u,v)}^{*}---\left(10\right)$

K_θ的傅里叶变换值

V_θ的傅里叶变换的共轭复数

另外，在式〔9〕及式〔10〕中“～”表示傅里叶变换值，“*”表示共轭复数。

另外，若对式〔9〕或式〔10〕进行逆傅里叶变换，则得到式〔7〕或式〔8〕的相似值L。而且，根据式〔9〕或式〔10〕，明确了下面两点。

1.在正交变换的变换值中，只要对模板图像有关的傅里叶变换值与对象图像有关的傅里叶变换值单纯进行积和运算即可。

2.没有必要同时求出模板图像有关的傅里叶变换值及对象图像有关的傅里叶变换值，即使相对于对象图像的傅里叶变换值，先求出模板图像有关的傅里叶变换值也没有关系。

因此，在本实施例2中，是在模板图像处理单元80设置存储单元85，在对象图像输入之前，预先存储压缩单元84的输出。这样，在对象图像输入至输入图像处理单元90后，模板图像处理单元80丝毫没有必要进行模板图像的处理。因而，可以将图像通信终端的处理能力集中在输入图像处理单元90及累积单元101的后级处理中，能够更使处理速度提高。

下面说明评价向量生成单元82的后级构成。

如图18所示，在模板图像处理单元80中，从评价向量生成单元82输出的模板图像评价向量利用正交变换单元83进行傅里叶变换，输出到压缩单元84。压缩单元84削减傅里叶变换后的评价向量，存储在存储单元85中。如图21所示，变换后的评价向量在XY两个方向包含各种高低频率分量。根据本发明者们的实验可知，即使不对所有的频率分量进行处理，若对低频率分量(例如对XY两个分量的低频率侧各一半等)进行处理，也能得到足够的精度。另外，在图21中，没有画斜线的区域(-a≤x≤a，-b≤y≤b)是原来的区域，画斜线的区域(-a/2≤x≤a/2，-b/2≤y≤b/2)是削减后的区域，即处理量为1/4。

若这样进行，则削减了处理对象，更能实现高速处理。另外，在数据量较小时，或不要求高速性能时，还可以省略压缩单元84及存储单元85。

下面说明输入图像处理单元90。

在图18中，输入图像处理单元90具有边缘抽取单元91、评价向量生成单元92、正交变换单元(FFT)93及压缩单元94。

输入图像处理单元90进行与模板图像处理单元80相同的处理。即边缘抽取单元91用式(1)及式(2)，将对象图像边缘法线方向向量输出。另外，评价向量生成单元92从边缘单元91将对象图像的边缘法线方向向量输入，进行与模板图像处理单元80的评价向量生成单元82相同的处理，生成评价向量。从评价向量生成单元92输出的对象图像评价向量利用正变换单元93进行傅里叶变换，输出到压缩单元94。压缩单元94削减傅里叶变换后的评价向量，输出到累积单元101。这里，压缩单元94削减处理对象，成为与模板图像处理单元80的压缩单元84相同的频带。

下面说明累积单元101以后的部分。

若模板图像处理单元80及输入图像处理单元90的处理结束，则累积单元101从存储单元85及压缩单元94将模板图像及对象图像的各评价向量的傅里叶变换值输入。累积单元101按照式〔9〕或式〔10〕进行积和运算，将结果(近似值L的傅里叶变换值)输出到逆正交变换单元102。逆正交变换单元102对近似值的傅里叶变换值进行逆傅里叶变换，将近似值L的映射L(x，y)输出到映射处理单元103。映射单元103根据该映射L(x，y)，抽取值高的点(峰值)，将该位置及值输出。另外，映射处理单元103的后面可根据需要自由构成。

设对象图像的大小为A(＝2γ)，模板图像的大小为B，则在对象图像上依次对模板图像进行扫描，为了求出各位置的相关值，必须的计算次数为

积的次数＝2AB

这里的计算次数用计算成本高的积的次数来评价。

另外，在本实施例2中，必须利用正交变换单元83及93进行两次FFT，在累积单元101进行积和运算，以及利用逆正交变换单元102进行一次逆FFT，利用

积的次数＝3[(2γ-4)A+4]+2A

的计算次数可完成。

比较这些计算次数，例如设A＝256×256＝2¹⁶，B＝60×60，则利用本实施例的积计算次数为约1/100，故能实现非常高速的处理，相应削减处理量。

这样，在实施例2的面部抽取单元7，能以较少的处理量抽取面部位置。因此，对于象便携式图像通信终端那样的要求限制处理量的情况，也能够抽取面部位置及大小。另外，通过进行倍角表现，象便携式图像通信终端那样，不限定拍摄地点及时间，又必须设想一切拍摄条件的情况，也能够稳定地抽取面部。

实施例3

采用上述实施例1及实施例2的面部抽取方法，即使在对象图像内不存在面部的情况下，也会把近似面部的部分强制作为面部区域抽取出来。而下面作为实施例3，是说明对利用实施例1及实施例2的面部抽取方法抽取的面部位置及大小再进一步判断是否真是面部的方法。

为了实现这一功能，在图12所示实施例1的解析单元55的后级，或在图18所示实施例2的映射处理单元103的后级，设置判断抽取的面部区域是否真是面部的单元(面部或非面部判断单元)。

在实施例1的解析单元55的后级设置面部或非面部判断单元的情况下，最简单的方法是，预先确定判断面部或非面部用的阈值，若根据解析单元55输出的区域的投票值及面部大小求得的值超过该阈值，则判断该区域是面部。这里所谓根据投票值及面部大小求得的值，是用面部大小除投票值所得的值。进行这样的处理是基于这样的理由，是用面部大小对与面部大小成正经的投票值进行归一化处理。

另外，在实施例2的映射处理单元103的后级设置面部或非面部判断单元的情况下，最简单的方法是，预先确定判断面部或非面部用的阈值，若映射处理单元103输出的区域近似值超过该阈值，则判断该区域是面部。

另外，在上述实施例1及实施例2中，说明了从面部抽取单元7输出的面部区域是一个的情况，但即使输出多个面部区域时，上述本实施例3的面部或非面部判断也能够适用。

然后，面部或非面部判断单元判断为不是面部的面部区域，则不从面部抽取单元7输出到显示控制单元5及发送数据处理单元8。另外，上述第1实施形状的发送数据处理单元8在不从面部抽取单元7输出面部区域时，就不使发送区域31的位置移动，仍然照样使用前一时刻的发送区域31不变。另外，当一定时间内不输出面部区域的情况下，就在初始位置(例如拍摄区域30的中央)设定发送区域31。

另外有一种不是利用上述阈值进行的方法，而是利用支持向量函数来判断面部或非面部的方法。下面简要说明利用支持向量函数的面部或非面部的判断方法。

支持向量本身是一项众所周知的技术，在文献“Support Vector Machinesにょる复数カテゴリの识别(利用支持向量机的多类型识别)(电子情报通信学会信学技法PRMU98-36(1998-06))”中已有详细说明。

图22所示是在实施例3的面部抽取单元7构成中在实施例1及实施例2的构成上追加的构成部分方框图。在图22中，实施例3中的追加构成具有图像大小归一化单元111、特征向量抽取单元112、面部或非面部判断单元113及面部或非面部学习辞典114。该图22的构成是追加在实施例1的解析单元55的后级或实施例2的映射处理单元103的后级。

图像大小归一化单元111从对象图像中将解析单元55或映射处理单元103输出的面部区域部分的图像切取出来。然后，图像大小最一化单元111对于切取出来的图像(下面称为面部区域候补图像)求得各象素中的图像特征(例如边缘强度、色值、亮度值等)，然后进行归一化为一定大小。这里将面部区域候补图像放大或缩小(即归一化)为10×10象素大小为例加以说明。特征向量抽取单元112取得归一化的面部区域候补图像的亮度信息作为一个特征数据。在该例子中，由于归一化为10×10象素的图像，因此取得100维的特征向量xi(0≤i≤100)。

这里，特征向量抽取单元112也可以抽取边缘法线方向向量作为特征向量。具体来说，对于面部区域候补图像加上X方向sobel滤波器及Y方向sobel滤波器，根据各象素的X方向强度及Y方向的强度，计算方向向量。根据该计算，作为计算值能计算出角度及强度，因此忽略强度而仅取出角度。然后，以256级灰度为基础，对各方向进行归一化处理，用作为特征向量。另外，特征向量抽取单元112也可以对每个面部区域候补图像内部归一化的角度计算直方图，抽取边缘法线的直方图作为特征向量。

然后，面部或非面部判断单元113采用面部或非面部学习辞典114预先准备的特征图像及参数，根据下面的计算式，对面部区域进行面部或非面部判断。

[式11]

g(x)＝∑αi×yi×K(si，x)-b

K(si，xi)＝exp(-‖si-xi‖2/2δ2)

式中，K()表示核函数，αi表示对应的拉格朗日系数，yi表示教师数据，学习辞典在面部时采用+1，在非面部时采用-1。

另外，核函数中除了上述式(12)之外，还可以采用多项式K(Si，Xi)＝(Si·Xi+1)或双层神经网络K(Si，Xi)＝tanh(Si·Xi-δ)。

图23所示为面部或非面部判断结果。在面部或非面部判断单元113，当上式(12)的结果大于0时，面部区域候补图像被判断为面部图像，小于0时，被判断为非面部图像。同样，对其它面部区域候补图像也可以进行面部或非面部判断。在该图23的例子中，图像121被判断为面部图像，图像122-124被判断为非面部图像。

在面部或非面部学习辞典114中，准备了面部图像及非面部图像作为教师数据，采用识别使用的相同特征数据进行辞典编写。

这样，在实施例3的面部抽取单元7中，即使在实际的面部处于面部区域的第1候补以外的情况下，也能抽取出稳定的面部区域。另外，即使在图像中没有面部时，也能够判断没有面部，因此能够自动检测出不需要移动面部位置进行显示的情况。

Claims (36)

1.一种图像通信终端，其特征在于，

将摄像机单元拍摄的使用者图像向对方发送，包括

接受来自使用者的输入的输入单元(2)、

拍摄使用者的摄像机单元(4)、

从所述摄像机单元(4)拍摄的图像抽取指示使用者面部位置及大小的面部区域的面部抽取单元(7)、

对使用者显示图像的显示单元(3)、

与对方的信息处理装置至少进行图像通信的通信单元(9)、

以及发送数据处理单元(8)，所述发送数据处理单元(8)将比所述摄像机单元(4)拍摄的图像区域要小、而且在该图像区域内设定的能够移动的矩形发送区域的图像输出到所述通信单元(9)，

在所述摄像机单元(4)拍摄的图像区域内，设定与所述发送区域一起移动的有效区域，

当抽取的所述面部区域超出所述有效区域时，所述发送数据处理单元(8)移动所述发送区域的设定位置，使其与该面部区域的位置一致。

2.如权利要求1所述的图像通信终端，其特征在于，

所述有效区域设定为小于所述发送区域，而且设定在所述发送区域内。

3.如权利要求1所述的图像通信终端，其特征在于，

当抽取的所述面部区域超出所述有效区域时，所述发送数据处理单元(8)移动所述区域，使该面部区域位于所述发送区域的中心位置。

4.如权利要求1所述的图像通信终端，其特征在于，

当抽取的所述面部区域超出所述有效区域时，所述发送数据处理单元(8)移动所述发送区域，使该面部区域位于比所述发送区域中心偏上方向的位置。

5.如权利要求4所述的图像通信终端，其特征在于，

当抽取的所述面部区域超出所述有效区域时，所述发送数据处理单元(8)移动所述发送区域，并根据所述输入单元(2)输入的发送模式信息进行切换，使该面部区域位于所述发送区域的中心或比中心偏上方向的位置。

6.如权利要求4所述的图像通信终端，其特征在于，

根据从输入单元(2)输入的信息，所述显示单元(3)监控显示所述发送区域内的图像及所述面部区域，

使用者可参照所述监控显示，根据对输入单元(2)的输入，在纵横方向调节所述发送区域的位置。

7.如权利要求1所述的图像通信终端，其特征在于，

所述面部抽取单元(7)包括

从所述摄像机单元(4)拍摄的图像抽取包含人物外形或面部轮廓象素的边缘部分、生成仅仅有该边缘部分的边缘图像的边缘抽取单元(51)；

存储模板的模板存储单元(52)，前述模板是将预定的形状根据相似而各种不同的大小设置多个以中心点为中心的同心状的图形；

对构成所述模板的每个不同大小的形状对应附加所述边缘图像上的坐标位置及投票数、并分别加以存储的投票结果存储单元(53)；

依次使所述模板中心点移动到前述边缘部分的各象素位置、对于与形成所述各种大小形状的全部象素位置所对应的各坐标位置分别增加或减少所述投票结果存储单元(53)存储的所述投票数的投票单元(54)；

以及根据所述投票结果单元(53)存储的所述各投票数求出所述对象图像包含的面部位置及大小的解析单元(55)。

8.如权利要求7的图像通信终端，其特征在于，

所述预定的形状是圆。

9.如权利要求7所述的图像通信终端，其特征在于，

所述面部抽取单元(7)还包括面部或非面部判断单元，所述面部或非面部判断单元根据所述投票结果存储单元(53)存储内容，判断从所述摄像机单元(4)拍摄的图像作为面部抽取的位置及大小是否真是面部，并仅在判断为面部时，将抽取结果输出。

10.如权利要求1所述的图像通信终端，其特征在于，

所述面部抽取单元(7)包括

输入规定的模板图像并求出该图像的边缘法线方向向量、再根据该边缘法线方向向量生成评价向量并将该评价向量进行正交变换的模板图像处理单元(80)；

输入所述摄像机单元(4)拍摄的图像并求出该图像的边缘法线方向向量、再根据该边缘法线方向向量生成评价向量并将该评议向量进行正交变换的输入图像处理单元(90)；

对于所述图像及所述拍摄的图像分别生成的正交变换后的各评价向量、将对应的谱数据进行积和运算的积和单元(101)；

将所述积和运算的结果进行逆正交变换后生成相似值映射的逆正交变换单元(102)，

所述评价向量包含将该图像的所述边缘法线方向向量进行偶数倍角变换的分量，所述相似值的计算式、正交变换及逆正交变换都为线性。

11.如权利要求10所述的图像通信终端，其特征在于，

所述面部抽取单元(7)在评价向量表现中，采用根据用极坐标表现所述边缘法线方向向量时的角度进行计算的值。

12.如权利要求10所述的图像通信终端，其特征在于，

所述面部抽取单元(7)还包括面部或非面部判断单元，所述面部或非面部判断单元根据所述逆正交变换单元(102)生面的所述相似值，判断从所述摄像机单元(4)拍摄的图像作为面部抽取的位置及大小是否真是面部，并仅在判断为面部时，将抽取结果输出。

13.如权利要求1所述的图像通信终端，其特征在于，

所述面部抽取单元(7)还包括判断从所述摄像机单元(4)拍摄的图像作为面部抽取的位置及大小是否真为面部的面部或非面部判断单元，并仅在判断为面部时，将抽取结果输出。

14.如权利要求13所述的图像通信终端，其特征在于，

所述面部或非面部判断单元利用从所述摄像机单元(4)拍摄的图像作为面部抽取的区域所得到的图像特征，根据支持向量函数的判断结果，进行面部或非面部的判断。

15.如权利要求14所述的图像通信终端，其特征在于，

所述面部或非面部判断单元将从所述摄像机单元(4)拍摄的图像作为面部抽取的区域所得到的边缘法线方向向量作为所述图像特征。

16.如权利要求14所述的图像通信终端，其特征在于，

所述面部或非面部判断单元将从所述摄像和单元(4)拍摄的图像作为面部抽取的区域所得到的边缘法线直方图作为所述图像特征。

17.一种图像通信终端，其特征在于，

将摄像机单元拍摄的使用者图像向对方发送，包括

接受来自使用者的输入的输入单元(2)、

拍摄使用者的摄像单元(4)、

从所述摄像机单元(4)拍摄的图像抽取指示使用者面部位置及大小的面部区域的面部抽取单元(7)、

对使用者显示图像的显示单元(3)、

与对方的信息处理装置至少进行通信的通信单元(9)、

以及发送数据处理单元(8)，所述发送数据处理单元(8)将比所述摄像机单元(4)拍摄的图像区域要小、而且在该图像区域内设定的能够移动的矩形发送区域的图像输出到所述通信单元(9)，

在所述摄像机单元(4)拍摄的图像区域内设定与所述发送区域一起移动的有效区域，

当抽取的所述面部区域超出所述有效区域时，所述发送数据处理单元(8)移动所述发送区域的设定位置，使其与该面部区域的位置一致，而且根据抽取的所述面部区域图像亮度，对所述发送区域的图像亮度进行校正，以提高所述摄像机单元(4)拍摄的图像内的面部可视性，然后输出到所述通信单元(9)。

18.如权利要求17所述的图像通信终端，其特征在于，

所述发送数据处理单元(8)除了对所述发送区域图像亮度进行校正，还对色调进行校正，然后输出到所述通信单元(9)。

19.如权利要求17所述的图像通信终端，其特征在于，

所述面部抽取单元(7)包括

从所述摄像机单元(4)拍摄的图像抽取包括人物外形或面部轮廓象素的边缘部分、生成仅仅有该边缘部分的边缘图像的边缘抽取单元(51)；

存储模板的模板存储单元(52)，所述模板是将预定的形状根据相似而各种不同的大小设置多个以中心点为中心的同心状的图形；

对构成所述模板的每个不同大小的形状对应附加所述边缘图像上的坐标位置及投票数、并分别加以存储的投票结果存储单元(53)；

依次使所述模板中心点移动到所述边缘部分的各象素位置、对于与形成所述各种大小形状的全部象素位置所对应的各坐标位置分别增加或减少所述投票结果存储单元(53)存储的所述投票数的投票单元(54)；

以及根据所述投票结果存储单元(53)存储的所述投票数求出所述对象图像包含的面部位置及大小的解析单元(55)。

20.如权利要求17所述的图像通信终端，其特征在于，

所述面部单元(7)包括输入规定的模板图像并求出该图像的边缘法线方向向量、再根据该边缘法线方向向量生成评价向量并将该评价向量进行正交变换的模板图像处理单元(80)；

输入所述摄像机单元(4)拍摄的图像并求出该图像的边缘法线方向向量、再根据该边缘法线方向向量生成评价向量并该评价向量进行正交变换的输入图像处理单元(90)；

对于所述模板图像及所述拍摄的图像分别生成的正交变换后的各评价向量、将对应的谱数据进行积和运算的积和单元(101)；

将所述积和运算的结果进行逆正交变换后生成相似值映射的逆正交变换单元(102)，

所述评价向量包含将该图像的所述法线方向向量进行偶数倍角变换的分量，所述相似值的计算式、正交变换及逆正交变换都为线性。

21.如权利要求17所述的图像通信终端，其特征在于，

所述面部抽取单元(7)还包括判断从所述摄像机单元(4)的拍摄的图像作为面部抽取的位置及大小是否真为面部的面部或非面部判断单元，并仅在判断为面部时，将抽取结果输出。

22.一种图像通信终端，其特征在于，

将摄像机单元拍摄的使用者图像向对方发送，包括

接受来自使用者的输入的输入单元(2)、

拍摄使用者的摄像机单元(4)、

从所述摄像单元(4)拍摄的图像抽取指示使用者面部位置及大小的面部区域的面部抽取单元(7)、

对使用者显示图像的显示单元(3)、

与对方的信息处理装置至少进行图像通信的通信单元(9)、

以及发送数据处理单元(8)，所述发送数据处理单元(8)将比所述摄像机单元(4)拍摄的图像区域要小，而且在该图像区域内设定的能够移动的矩形发送区域的图像到所述通信单元(9)，

在所述摄像机单元(4)拍摄有图像区域内，设定与所述发送区域一起移动的有效区域，

当抽取的所述面部分区域起出所述有效区域时，所述发送数据处理单元(8)移动所述发送区域的设定位置，使其与该面部区域的位置一致，而且根据抽取的所述面部区域图像亮度，设定所述摄像机单元(4)的曝光强弱的值，以提高所述摄像机单元(4)拍摄的图像内的面部可视性。

23.如权利要求22所述的图像通信终端，其特征在于，

所述发送数据处理单元(8)除了对所述发送区域图像亮度进行校正，还对色调进行校正，然后输出到所述通信单元(9)。

24.如权利要求22所述的图像通信终端，其特征在于，

所述面部抽取单元(7)包括

从所述摄像单元(4)拍摄的图像抽取包括人物外形或面部轮廓象素的边缘部分，生成仅有该边缘部分的边缘图像的边缘抽取单元(51)；

存储模板的模板存储单元(52)，对构成所述模板的每个不同大小的形状对应附加所述边缘图像上的坐标位置及投票数、并分别加以存储的投票结果存储单元(53)；

依次使所述模板中心点移动到所述边缘部分的各象素位置、对于与形成所述各种大小形状的全部象素位置所对应的各坐标位置分别增加或减少所述投票存储单元(53)存储的所术投票数的投票单元(54)；

以及根据所述投票结果存储单元(53)存储的所述投票数求出所述对象图像包含的面部位置及大小的解析单元(55)。

25.如权利要求22所述的图像通信终端，其特征在于，

所述面部抽取单元(7)包括

输入规定的模板图像并求出该图像的边缘法线方向向量、再根据该边缘法线方向向量生成评价向量并将该评价向量进行正交变换的模板图像处理单元(80)；

输入所述摄像机单元(4)拍摄的图像并求出该图像的边缘法线方向向量，再根据该边缘法线方向向量生成评价向量并将该评价向量进行正效变换的输入图像处理单元(90)；

对于所述模板图像及所述拍摄的图像分别生成的正交变换后的各评价向量、将对应的谱数据进行积和运算的积和单元(101)；

将所述积和运算的结果进行逆正交变换后生成相似的值映射的逆正交变换单元(102)；

所述评价向量包含将该图像的所述边缘法线方向向量进行偶数倍解变换的分量，所述相似值的计算式，正交变换及逆正交变换都为线性。

26.如权利要求22所述的图像通信终端，其特征在于，

所述面部抽取单元(7)还包括判断从所述摄像机单元(4)拍摄的图像作为面部抽取的位置及大小是否真为面部的面部或非面部判断单元，并在仅在判断为面部时，将抽取结果输出。

27.一种图像通信终端，其特征在于，

将摄像机单元拍摄的使用者图像向对方发送，包括

拍摄使用者的摄像机单元(4)、

从所述摄像机单元(4)拍摄的图像抽取使用者面部位置的面部抽取单元(7)、

对使用者显示从对方接收的图像的显示单元(3)、

根据抽出的所述面部位置将所述摄像机单元(4)拍摄的图像中使用者面部位置通知使用者的通知控制单元(25)、

以及与对方的信息处理装置至少进行通信的通信单元(9)。

28.如权利要求27所述的图像通信终端，其特征在于，

所述面部抽取单元(7)在抽取使用者的所述面部位置的同时，也抽取所述面部的大小，

所述通知控制单元(25)将摄像机单元(4)拍摄的图像中使用者的所述面部位置及大小通知使用者。

29.如权利要求27所述的图像通信终端，其特征在于，

所述通知控制单元(25)在所述显示单元(3)显示仅表示抽取的所述面部位置或表示位置及大小的标记。

30.如权利要求29所述的图像通信终端，其特征在于，

所述标记显示在从对方接收的图像上。

31.如权利要求29所述的图像通信终端，其特征在于，

所述标记显示在从对方接收的图像外。

32.如权利要求29所述的图像通信终端，其特征在于，

所述通知控制单元(25)通过与所述所述显示单元(3)分开另外设置的位置通知单元(22)，将抽取的所述面部位置通知使用者。

33.如权利要求27所述的图像通信终端，其特征在于，

利用所述通知控制单元(25)进行的向使用者通知的方法可根据使用者的指示进行切换。

34.如权利要求27所述的图像通信终端，其特征在于，

所述面部抽取单元(7)包括

从所述摄像机单元(4)拍摄的图像抽取包括人物外形或面部轮廓象素的边缘部分、生成仅有该边缘部分的边缘图像的边缘抽取单元(51)；

存储模板的模板存储单元(52)，所述模板是将预定的形状根据相似而各种不同的大小设置多个以中心点为中心的同心状的图形；

对构成所述模板的每个不同大小的形状对应附加所述边缘图像上的坐标位置及投票数、并分别加以存储的投票结果存储单元(53)；

依次使所述模板中心点移动到所述边缘部分的各象素位置、对于与形成所述各种大小形状的全部象素位置所对应的各坐标位置分别增加或减少所述投票结果存储单元(53)存储的所述投票数的投票单元(54)；

以及根据所述投票结果存储单元(53)存储的所述投票数求出所述对象图像包含的面部位置及大小的解析单元(55)。

35.如权利要求27所述的图像通信终端，其特征在于，

所述面部抽取单元(7)包括

输入规定的模板图像并求出该图像的边缘法线方向向量、再根据该边缘法线方向向量生成评价向量并将该评价向量进行正交变换的模板图像处理单元(80)；

输入所述摄像机单元(4)拍摄的图像并求出该图像的边缘法线方向向量、再根据该边缘法线方向向量生成评价向量并将该评价向量进行正效变换的输入图像处理单元(90)；

对于所述模板图像及所述拍摄的图像分别生成的正交变换后的各评价向量、将对应的谱数据进行积和运算的积和单元(101)；

将所述积和运算的结果进行闻逆正交变换后生成相似值映射的逆正交变换单元(102)；

所述评价向量包含将该图像的所述边缘法线方向向量进行偶数倍角变换的分量，所述相似值的计算式、正交变换及逆正交变换都为线性。

36.如权利要求27所述的图像通信终端，其特征在于，

所述面部抽取单元(7)还包括判断从所述摄像机单元(4)拍摄的图像作为面部抽取的位置及大小是否真为面部的面部或非面部判断单元，并仅在判断为面部时，将抽取结果输出。

Images