CN110366849B - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明解决在保持描述者与描述部分上的描述之间的位置关系的状态下，确保被描述者遮挡的描述部分上的描述的可视性的问题。处理通过拍摄在描述部分上进行描述的描述者的图像而获得的运动图像数据，以判定描述部分。生成用于显示被判定为描述部分的各个部分作为描述的显示数据，并将其叠加在运动图像数据上。例如，在当前帧图像和基准帧图像之间提取逐个像素的差分值，识别差分值大于或等于阈值的连续像素的群组，并且针对每个群组判定该群组是否是描述部分。

Description

图像处理设备和图像处理方法

技术领域

本技术涉及图像处理设备和图像处理方法，更具体地涉及处理通过对演示者在描述域上呈现描述的状态成像而获得的运动图像数据的图像处理设备等。

背景技术

在图像分发的图像显示技术中，已经有了一些增强文本部分的可视性等的提议。例如，专利文献1公开了一种从图像中提取文本部分，并把经过提高分辨率或文本识别的处理的文本叠加在提取的文本部分上，从而增强可视性的技术。这种技术设想低比特率的图像分发，表示文本部分中的信息需要具有更高的可视性。

此外，专利文献2公开一种识别图像中的文本，指定文本颜色和背景颜色，并且随后在图像的显示中调整文本颜色和背景颜色的技术。这也被认为是增强文本的可视性的技术之一。

专利文献1和2中所述的技术将应用于以低可视性不断出现在图像中的部分，比如比特率低的或者文本颜色类似于背景颜色的部分，这在可视性由于遮挡的文本部分等而降低的情况下不会有效。

引文列表

专利文献

专利文献1：日本专利申请特开No.2003-179888

专利文献2：日本专利申请特开No.2015-069234

发明内容

本发明要解决的问题

本技术的目的是在保持演示者与描述域上的描述之间的位置关系的同时，确保被演示者遮挡的描述域上的描述的可视性。

问题的解决方案

本技术的概念在于

一种图像处理设备，包括：

描述判定处理单元，所述描述判定处理单元处理通过对演示者在描述域上呈现描述的状态成像而获得的运动图像数据，并且判定描述部分；以及

描述叠加处理单元，所述描述叠加处理单元生成用于显示被判定为描述部分的各个部分作为描述的显示数据，并把显示数据叠加在运动图像数据上。

在本技术中，描述判定处理单元处理通过对演示者在描述域上呈现描述的状态成像而获得的运动图像数据，并且判定描述部分。例如，描述判定处理单元可被配置成提取当前帧图像与基准帧图像之间每个像素的差分值，掌握包括差分值等于或大于阈值的一系列连续像素的群组，并且针对每个群组判定该像素群组是否是描述部分。

这种情况下，例如，可允许配置成以使得描述判定处理单元利用形状评价值、提取时间评价值和静止状态评价值，针对每个群组判定该群组是否是描述部分，描述判定处理单元基于包含该群组的最小四边形和包含在该群组内的最大四边形的纵横比，获得形状评价值，基于包含在该群组中的像素的当前帧图像与多个过去帧中的基准帧图像之间的差分值，获得提取时间评价值，以及基于包含在该群组中的像素的当前帧图像与多个过去帧中的在前一帧的图像之间的差分值，获得静止状态评价值。

描述叠加处理单元生成用于显示被判定为描述部分的各个部分作为描述的显示数据，并把显示数据叠加在运动图像数据上。例如，描述叠加处理单元可被配置成在把显示数据叠加在运动图像数据上时，进行增强描述的可视性的处理。

这种情况下，例如，描述叠加处理单元可被配置成首先进行降低运动图像数据的分辨率的处理，之后可把显示数据叠加在运动图像数据上。此外，在这种情况下，例如，描述叠加处理单元可被配置成首先处理显示数据，以使得被判定为描述部分的各个部分被加边并显示，并且之后可把显示数据叠加在运动图像数据上。此外，在这种情况下，例如，描述叠加处理单元可被配置成首先基于运动图像数据的颜色信息处理显示数据，以使得被判定为描述部分的各个部分的颜色不同于背景图像的颜色，并且之后把显示数据叠加在运动图像数据上。

这样，在本技术中，生成用于显示被判定为描述部分的各个部分作为描述的显示数据，并将其叠加在运动图像数据上。因而，这使得能够在保持演示者与描述域上的描述之间的位置关系的同时，确保被演示者遮挡的描述域上的描述的可视性。

注意，在本技术中，可允许进一步包括描述叠加控制单元，在基于运动图像数据检测到演示者的面部面向前方的状态时，所述描述叠加控制单元控制描述叠加处理单元不在运动图像数据上叠加显示数据。在演示者停下手并且开始口头演示和评论的情况下，演示者的表情和手势会是比描述更重要的信息，并且上述将使这些的显示成为可能，而不受描述的重叠显示所干扰。

此外，在本技术中，例如，可允许进一步包括成像单元，所述成像单元对演示者在描述域上呈现描述的状态成像，以及成像信号处理单元，所述成像信号处理单元处理成像单元获得的成像信号，从而获得运动图像数据。此外，在本技术中，例如，可允许进一步包括发送单元，所述发送单元把描述叠加处理单元获得的运动图像数据发送给外部设备。

本发明的效果

按照本技术，能够在保持演示者与描述之间的位置关系的同时，确保被演示者遮挡的描述域上的描述的可视性。注意，记载在本说明书中的效果是为了举例说明而提供的，而不是限制性的。也可以预期其他的额外效果。

附图说明

图1是图解说明按照实施例的图像处理系统的构成例子的方框图。

图2是图解说明由相机获得的某一帧的拍摄图像的例子的示图。

图3是图解说明图像处理设备的构成例子的方框图。

图4是图解说明描述判定处理单元中的处理的流程图。

图5是图解说明如何获得形状评价值的示图。

图6是图解说明显示在显示设备的显示器上的显示图像的例子的示图。

图7是图解说明图像处理设备的另一构成例子的方框图。

图8是图解说明当演示者面向前方时显示在显示设备的显示器上的显示图像的例子的示图。

图9是图解说明相机的构成例子的方框图。

具体实施方式

下面将说明本发明的实施例(下文中称为实施例)。注意，将按照以下顺序进行说明。

1.实施例

2.变形例

<1.实施例>

[图像处理系统的构成例子]

图1图解说明按照实施例的图像处理系统10的构成例子。图像处理系统10包括相机101、图像处理设备102和预定数量的显示设备103-1～ 103-N。

相机101拍摄演示者201在向描述域202添加描述203的同时进行演示的状态，从而获得运动图像数据。图2图解说明由相机101获得的某一帧的拍摄图像的例子。在该拍摄图像中，描述203存在于描述域202 上，演示者201存在于描述203的前面。通过由演示者201给出手势，在该帧中被演示者201遮挡的描述203在随后的帧中可由相机101成像。

演示者201的例子包括比如在大学教室中给学生讲课的教授之类的讲课者、在公司会议室里给其他员工做演示的员工，等等。描述域202 可以是诸如白板或黑板之类的可以呈现演示的部分，或者可以是教室或会议室内的可呈现演示的墙壁部分。

图像处理设备102处理由相机101获得的运动图像数据，并且判定描述部分，生成用于显示被判定为描述部分的各个部分作为描述的显示数据，把显示数据叠加在运动图像数据上，并且把叠加了显示数据的运动图像数据分发给显示设备103-1～103-N。分发是通过无线或有线通信进行的。

显示设备103-1～103-N从图像处理设备102接收叠加了上述显示数据的运动图像数据，并且基于该运动图像数据显示图像。这种情况下，显示在显示器上的图像是叠加了描述的图像。因而，这使得能够在保持演示者201与描述203之间的位置关系的同时，确保被演示者201遮挡的描述域202上的描述203的可视性。

显示设备103-1～103-N的布局位置可以在演示者201目前正在进行演示的诸如教室或会议室之类的房间中，或者在其他教室或会议室中，或者甚至可以是远程位置等。在显示设备103-1～103-N的布局位置离图像处理设备102较近的情况下，可以使用诸如Wi-Fi之类的无线LAN。相反，在显示设备103-1～103-N的布局位置是远程位置的情况下，将可能使用通过因特网等的分发。

可按照除实况以外的任意方式实现运动图像数据从图像处理设备 102到显示设备103-1～103-N的分发。例如，由图像处理设备102获得的运动图像数据可被记录和存储在记录单元中，在适当的定时被再现以便分发给显示设备103-1～103-N。

将说明图像处理设备102的细节。图像处理设备102提取当前帧图像与基准帧图像之间每个像素的差分值，掌握包括差分值等于或大于阈值的一系列连续像素的群组，随后针对每个群组判定该群组是否是描述部分。具体地，图像处理设备102利用形状评价值、提取时间评价值和静止状态评价值，针对每个群组判定该群组是否是描述部分。

图像处理设备102根据包括群组的最小四边形和包含在群组内的最大四边形之间的纵横比关系，获得形状评价值。此外，图像处理设备102 基于包含在群组中的像素的当前帧图像与多个过去帧中的基准帧图像之间的差分值，获得提取时间评价值。此外，图像处理设备102基于包含在群组中的像素的当前帧图像与多个过去帧中的在前一帧图像之间的差分值，获得静止状态评价值。

此外，图像处理设备102在把显示数据叠加在运动图像数据上之时，进行增强描述的可视性的处理。例如，图像处理设备102首先进行降低运动图像数据的分辨率的处理，之后把显示数据叠加在运动图像数据上。此外，例如，图像处理设备102首先处理显示数据，以使得被判定为描述部分的各个部分被加边并显示，之后把显示数据叠加在运动图像数据上。此外，例如，图像处理设备102首先基于运动图像数据的颜色信息处理显示数据，以使得被判定为描述部分的各个部分的颜色不同于背景图像的颜色，之后把显示数据叠加在运动图像数据上。

图3图解说明图像处理设备102的构成例子。图像处理设备102包括控制单元121、图像数据输入单元122、描述判定处理单元123、显示数据生成单元124、叠加单元125、图像压缩处理单元126、网络接口127 和记录单元128。

控制单元121控制图像处理设备102的各个部分的操作。图像数据输入单元122是用于输入由相机101获得的运动图像数据的部分。例如，图像数据输入单元122可以是连接相机101的电缆连接部分。此外，例如，在图像数据输入单元122通过通信连接到相机101的情况下，图像数据输入单元122可以是无线或有线通信接口。

描述判定处理单元123处理输入到图像数据输入单元122的运动图像数据，并且判定描述部分。描述判定处理单元123基于例如程序，利用软件针对每帧执行图4中的流程图的从开始到结束的处理。

首先，在步骤ST1，描述判定处理单元123在某帧中提取该帧的图像和基准帧图像(最初，在描述域202中进行描述之前的状态下的帧图像) 之间每个像素的差分，随后基于差分提取结果提取像素值差分最大的像素，即，从基准帧图像的状态发生了变化的像素，最终掌握包括(预定数量的)类似于此的一系列连续像素的群组。

按照这种方式，在步骤ST1掌握的群组包括描述203的部分，还包括演示者201的部分等。以下步骤用于针对每个群组判定该群组是否是描述203的部分。所述判定利用形状评价值、提取时间评价值和静止状态评价值。

之后，描述判定处理单元123在步骤ST2获得形状评价值α。描述判定处理单元123基于包含该群组的最小四边形(外部四边形)和包含在该群组中的最大四边形(内部四边形)之间的纵横比关系，获得值α。图5(a) 图解说明与描述203的部分对应的群组的例子。由箭头Po指示的四边形是外部四边形，并且由箭头Pi指示的四边形是内部四边形。此外，图5(b) 图解说明与演示者201的部分对应的群组的例子。由箭头Qo指示的四边形是外部四边形，并且由箭头Qi指示的四边形是内部四边形。

在与描述203的部分对应的群组的情况下，内部四边形(Pi)小于外部四边形(Po)，导致较高的形状评价值α。相反，在与演示者201的部分对应的群组的情况下，该群组是比与描述203的部分对应的群组更大的群组，从而，相对于外部四边形(Qo)，内部四边形(Qi)也具有一定大小。于是，形状评价值α较低。

之后，在步骤ST3，描述判定处理单元123获得提取时间评价值β。描述判定处理单元123基于包含在群组中的像素的当前帧图像与多个过去帧中的基准帧图像之间的差分值，获得值β。具有较大差分值的帧越多，值β越高。

例如，描述判定处理单元123对于包含在群组中的像素(全部或部分像素)累积某一帧是否是与基准帧图像的差分较大的帧(差分提取帧)的结果，并确定连续的差分提取帧的数量(例如，当对于多个像素进行这种评价时的平均值)作为评价值β。

在描述203的部分的情况下，在被描述之后，较大的差分继续被提取，导致较高的评价值β。相反，在移动中的演示者201的部分的情况下，在演示者201经过之后，较大差分的提取会被中断，导致较低的评价值β。注意，在演示者201停止不动的情况下，尽管事实上它是演示者201的部分，评价值β也可能较高。

之后，在步骤ST4，描述判定处理单元123获得静止状态评价值γ。描述判定处理单元123基于包含在群组中的像素的当前帧图像与多个过去帧中的在前一帧图像之间的差分值，获得该值γ。具有较大差分值的帧越多，值γ越低。

例如，描述判定处理单元123对于包含在群组中的像素(全部或部分像素)累积与在前一帧的像素差分，并确定差分值的大小的倒数(例如，当对于多个像素进行这种评价时的平均值)作为评价值γ。

在描述203的部分的情况下，相对于在前一帧图像的像素差分值会为0或者为较小值，导致较高的评价值γ。相反，在利用手势的演示者 201的部分的情况下，相对于在前一帧图像的像素差分值较大，导致较低的评价值γ。

之后，在步骤ST5，描述判定处理单元123把分别在步骤ST2-ST4 中获得的各个评价值α、β和γ代入评价函数E(α、β、γ)中，以获得用于该群组是否是描述的判定的评价值。随后，当评价值大于阈值THr时，在步骤ST5，描述判定处理单元123判定该群组是描述部分(描述203的部分)。

之后，在步骤ST6，描述判定处理单元123原则上另外保留包含在步骤ST5中被判定为描述部分的群组中的各个像素，作为描述部分的像素。不过，在包含在按照这种方式判定为描述部分的群组中的各个像素是过去被保留作为描述部分的像素的情况下，该像素对应于之后被擦除的部分，并且将该像素从作为描述部分的像素的保留对象中删除。

这里，保留例如是把包含在被判定为描述部分的群组中的各个像素的值写入并保留在帧存储器的对应像素位置。注意在这里，代替把包含在被判定为描述部分的群组中的各个像素的实际值写入帧存储器的对应像素位置，允许具有选择性地保留包含在被判定为描述部分的群组中的各个像素的像素位置信息的构成。

之后，在步骤ST7，描述判定处理单元123基于步骤ST6的保留或删除的结果，把目前保留作为描述部分的各个像素的值判定为对应于描述203的值，并且利用该值生成帧图像，并把该帧图像判定为新的基准帧图像。按照这种方式更新的基准帧图像将在后续帧中的描述判定处理中使用。

返回图3，显示数据生成单元124在各帧中，基于在通过描述判定处理单元123的保留或删除处理之后更新的描述部分的像素信息，生成用于显示作为描述部分的各个像素的显示数据。

叠加单元125把由显示数据生成单元124生成的显示数据叠加在输入到图像数据输入单元122的运动图像数据上。这使得能够把在描述域 202上描述的描述203叠加并显示在基于运动图像数据的图像上。

这种情况下，叠加单元125例如进行部分或全部的下述处理，以便增强叠加并显示在图像上的描述203的可视性。

例如，叠加单元125进行降低运动图像数据的分辨率的处理，比如例如利用空间低通滤波器的高频分量去除处理，之后，把显示数据叠加在运动图像数据上。该操作使得能够使基于运动图像数据的图像模糊，并且增强叠加并显示在图像上的描述203的可视性。

此外，例如，叠加单元125首先处理显示数据，以使得被判定为描述部分的各个部分被加边并显示，之后把显示数据叠加在运动图像数据上。注意，加边处理可由显示数据生成单元124进行。

例如，当描述部分的原始颜色为黑色时，将应用利用白色的加边处理，相反，当描述部分的原始颜色为白色时，将应用利用黑色的加边处理。加边的颜色不限于此。按照这种方式进行的加边例如在描述部分的原始颜色类似于演示者201的衣服的颜色的情况下，将使得能够增强叠加并显示在基于运动图像数据的图像上的描述203的可视性。

此外，例如，叠加单元125首先基于运动图像数据的颜色信息，处理显示数据颜色改变处理，以使得被判定为描述部分的各个部分的颜色不同于背景图像(基于运动图像数据的图像)的颜色，之后，把显示数据叠加在运动图像数据上。注意，颜色改变处理可以由显示数据生成单元124 进行。按照这种方式进行的显示数据颜色改变处理例如在描述部分的原始颜色类似于演示者201的衣服的颜色的情况下，将使得能够增强叠加并显示在基于运动图像数据的图像上的描述203的可视性。

图像压缩处理单元126对于由叠加单元125叠加了显示数据的运动图像数据，利用例如MPEG方法进行数据压缩编码处理，从而生成编码的图像数据。网络接口127通过无线或有线网络，把由图像压缩处理单元126生成的编码的图像数据发送给显示设备103-1～103-N。注意，由图像压缩处理单元126生成的编码的图像数据可被临时记录在记录单元 128中，并且网络接口127可在适当定时从记录单元128读出编码的图像数据，并可把所述数据发送给显示设备103-1～103-N。

将简要说明图1中图解所示的图像处理系统10的操作。相机101对在向描述域202添加描述203的同时进行演示的演示者201的状态成像，从而获得运动图像数据。该运动图像数据被提供给图像处理设备102。

图像处理设备102处理来自相机101的运动图像数据，从而判定描述部分，并生成用于显示被判定为描述部分的各个部分作为描述的显示数据，并且把显示数据叠加在运动图像数据上。随后，叠加了显示数据的运动图像数据(编码的图像数据)通过无线或有线网络，从图像处理设备 102被分发给显示设备103-1～103-N。

显示设备103-1～103-N基于从图像处理设备102接收的运动图像数据，进行图像显示。这种情况下，显示在显示器上的图像是其中描述被叠加并显示在基于运动图像数据的图像上的叠加显示。

下面，将简要说明图3中图解所示的图像处理设备102的操作。由相机101拍摄的运动图像数据被输入图像数据输入单元122。运动图像数据被提供给叠加单元125和描述判定处理单元123。

描述判定单元123处理运动图像数据，针对每帧判定描述部分，并把判定的部分保留作为描述部分的像素。通过首先提取当前帧图像和基准帧图像之间各个像素的差分值，随后对于包括差分值等于或大于阈值的一系列连续像素的每个群组，使用形状评价值、提取时间评价值和静止状态评价值，进行像素是否是描述部分的判定。

这种情况下，由于演示者201的移动或手势，在某个时段被演示者 201遮挡的描述203的部分在另一时段转变成未被演示者201遮挡的状态。因而，在经过特定量的时间之后，在描述域202上描述的描述203 部分的大部分将被保留作为描述部分的像素。

由描述判定处理单元123为每帧更新的描述部分的像素信息被传送给显示数据生成单元124。显示数据生成单元124在每帧中，基于描述部分的像素信息，生成用于显示作为描述部分的每个像素的显示数据。该显示数据被提供给叠加单元125。

叠加单元125把由显示数据生成单元124生成的显示数据叠加在输入到图像数据输入单元122的运动图像数据上。这种情况下，叠加单元 125进行用于增强在图像上叠加并显示的描述203的可视性的处理，例如，降低运动图像数据的分辨率的处理、以使得加边并显示被判定为描述部分的各个部分的对显示数据进行的处理、以使得被判定为描述部分的各个部分的颜色与背景图像(基于运动图像数据的图像)的颜色不同的改变显示数据的颜色的处理，等等。

叠加了显示数据的运动图像数据从叠加单元125被提供给图像压缩处理单元126。图像压缩处理单元126对于叠加了显示数据的运动图像数据，利用例如MPEG方法进行数据压缩编码处理，从而生成编码的图像数据。

编码的图像数据被直接提供给网络接口127，或者一度被记录在记录单元128中，在适当的定时被再现，并提供给网络接口127。网络接口 127通过无线或有线网络，把编码的图像数据发送给显示设备103-1～ 103-N。

图6图解说明显示在显示设备103-1～103-N的显示器上的显示图像的例子。在该显示图像中，在基于其中演示者201存在于描述域202前面的运动图像数据的图像上，叠加并显示基于显示数据的描述203。此外，在这个例子中，加边并显示描述203的各个部分。这使得能够在保持演示者201与描述域202上的描述203之间的位置关系的同时，确保被演示者201遮挡的描述域202上的描述203的可视性。

如上所述，在图1中图解所示的图像处理系统10中，图像处理设备 102生成用于把被判定为描述部分的各个部分显示为描述的显示数据，并把显示数据叠加在运动图像数据上。因而，这使得能够在保持演示者201 与描述域202上的描述203之间的位置关系的同时，确保被演示者201 遮挡的描述域202上的描述203的可视性。

此外，在图1中图解所示的图像处理系统10中，当在运动图像数据上叠加显示数据时，图像处理设备102进行用于增强在图像上叠加并显示的描述203的可视性的处理，例如，降低运动图像数据的分辨率的处理、以使得加边并显示被判定为描述部分的各个部分的对显示数据进行的处理、以使得被判定为描述部分的各个部分的颜色与背景图像(基于运动图像数据的图像)的颜色不同的改变显示数据的颜色的处理，等等。因而，这使得能够增强在图像上叠加并显示的描述203的可视性。

<2.变形例>

注意，上述实施例是其中不管演示者201的状态如何，总是在基于运动图像数据的图像上叠加并显示描述203的示例性情况。然而，在演示者201在例如面向前方时开始讲话的状态下，讲座出席者或会议出席者应该关注演示者201的每个具体行为。这种情况下，可允许配置成不显示在基于运动图像数据的图像上叠加的描述203。

图7图解说明这种情况下的图像处理设备102的构成例子。在图7 中，与图3中的部分对应的部分用相同的附图标记表示，并且详细说明被适当省略。面部识别处理单元129处理输入到图像数据输入单元122 的运动图像数据，识别演示者201的面部，并检测演示者201是否面向前方。面部识别处理单元129随后把检测结果传送给控制单元121。

当演示者201未面向前方时，类似于上述示例性实施例的情况，控制单元121控制启动描述判定处理单元123、显示数据生成单元124和叠加单元125。相反，当演示者201面向前方时，控制单元121临时停止描述判定处理单元123和显示数据生成单元124的操作，并且控制叠加单元125不作任何改变地输出输入到图像数据输入单元122的运动图像数据。注意，即使在演示者201面向前方时，描述判定处理单元123的操作仍可继续。

图7中图解所示的图像处理设备102的其他构成和操作与上面说明的图3中图解所示的图像处理设备102的构成和操作类似。

图8图解说明在演示者201面向前方时，显示在各个显示设备 103-1～103-N的显示器上的显示图像的例子。在该显示图像中，基于显示数据的描述203不叠加在其中演示者201存在于描述域202前面的基于运动图像数据的图像上。这使得讲座出席者和会议出席者能够通过显示屏幕，更加关注演示者201的每个具体行为。

注意，抑制描述203在基于运动图像数据的图像上的叠加显示不限于在演示者201面向前方之时，并且也可应用于其他情况。此外，在图7 的图像处理设备102中，面部识别处理单元129检测演示者201是否面向前方，并基于检测结果抑制描述203在基于图像数据的图像上的显示。不过，替代地，还可以有意地进行是否在基于运动图像数据的图像上叠加并显示描述203的判定。

此外，在上述实施例中，图像处理设备102是与相机101分开设置的。不过，替代地，也可使用其中在相机101内部设置图像处理设备102 的功能的构成。

图9图解说明这种情况下的相机101的构成例子。相机101包括控制单元111、成像单元112、成像信号处理单元113和图像数据输出单元 114。控制单元111控制相机101的各个部件的操作。成像单元112包括成像镜头和成像器件(未图示)，拍摄图像，并输出成像信号。可适用的成像器件的例子包括电荷耦合器件(CCD)传感器和互补金属氧化物半导体(CMOS)。

成像信号处理单元113对从成像单元112输出的成像信号(模拟信号)，进行采样保持处理和增益控制、模-数信号转换、白平衡调节、伽马校正等，从而生成运动图像数据(拍摄图像数据)。图像数据输出单元114 把由成像信号处理单元113生成的运动图像数据输出给外部设备。例如，图像数据输出单元114是连接用于连接到例如外部设备的电缆的连接器。此外，例如，图像数据输出单元114是通过有线或无线网络，把运动图像数据发送给外部设备的网络接口。

此外，相机101还包括描述判定处理单元123、显示数据生成单元 124、叠加单元125、图像压缩处理单元126、网络接口127和记录单元128。这些已在上述图像处理设备102(参见图3)中说明，从而这里省略其说明。

此外，尽管上述实施例是处理通过对演示者201在向描述域202(例如白板、黑板等)添加描述203的同时进行演示的状态成像而获得的运动图像数据的例子，不过也可处理其他类似的运动图像数据。例如，也可以类似方式处理通过对演示者在书桌上的一张纸上添加描述的同时进行演示的状态成像而获得的运动图像数据，以便增强描述的可视性。

此外，描述域202上的描述不限于文本，并且可以是图形或标记，除了书面描述之外，还可包括在描述域202上呈现的描述。

此外，也可如下构成本技术。

(1)一种图像处理设备，包括：

描述判定处理单元，所述描述判定处理单元处理通过对演示者在描述域上呈现描述的状态成像而获得的运动图像数据，并且判定描述部分；以及

描述叠加处理单元，所述描述叠加处理单元生成用于显示被判定为描述部分的各个部分作为描述的显示数据，并把显示数据叠加在运动图像数据上。

(2)按照(1)所述的图像处理设备，

其中描述判定处理单元

提取当前帧图像与基准帧图像之间每个像素的差分值，掌握包括差分值等于或大于阈值的一系列连续像素的群组，并且针对每个群组判定该像素群组是否是描述部分。

(3)按照(2)所述的图像处理设备，

其中描述判定处理单元利用形状评价值、提取时间评价值和静止状态评价值，针对每个群组判定该群组是否是描述部分，

描述判定处理单元

基于包含该群组的最小四边形和包含在该群组内的最大四边形的纵横比关系，获得形状评价值，

基于包含在该群组中的像素的当前帧图像与多个过去帧中的基准帧图像之间的差分值，获得提取时间评价值，以及

基于包含在该群组中的像素的当前帧图像与多个过去帧中的在前一帧的图像之间的差分值，获得静止状态评价值。

(4)按照(1)-(3)任意之一所述的图像处理设备，

其中描述叠加处理单元在把显示数据叠加在运动图像数据上时，进行增强描述的可视性的处理。

(5)按照(4)所述的图像处理设备，

其中描述叠加处理单元首先进行降低运动图像数据的分辨率的处理，之后把显示数据叠加在运动图像数据上。

(6)按照(4)或(5)所述的图像处理设备，

其中描述叠加处理单元首先处理显示数据，以使得被判定为描述部分的各个部分被加边并显示，并且之后把显示数据叠加在运动图像数据上。

(7)按照(4)-(6)任意之一所述的图像处理设备，

其中描述叠加处理单元首先基于运动图像数据的颜色信息处理显示数据，以使得被判定为描述部分的各个部分的颜色不同于背景图像的颜色，并且之后把显示数据叠加在运动图像数据上。

(8)按照(1)-(7)任意之一所述的图像处理设备，

还包括描述叠加控制单元，在基于运动图像数据检测到演示者的面部面向前方的状态时，所述描述叠加控制单元控制描述叠加处理单元不在运动图像数据上叠加显示数据。

(9)按照(1)-(8)任意之一所述的图像处理设备，

还包括：

成像单元，所述成像单元对演示者在描述域上呈现描述的状态成像；以及

成像信号处理单元，所述成像信号处理单元处理成像单元获得的成像信号，从而获得运动图像数据。

(10)按照(1)-(9)任意之一所述的图像处理设备，

还包括发送单元，所述发送单元把描述叠加处理单元获得的运动图像数据发送给外部设备。

(11)一种图像处理方法，包括：

由描述判定处理单元进行的处理通过对演示者在描述域上呈现描述的状态成像而获得的运动图像数据，并且判定描述部分的描述判定处理步骤；以及

由描述叠加处理单元进行的生成用于显示被判定为描述部分的各个部分作为描述的显示数据，并把显示数据叠加在运动图像数据上的描述叠加处理步骤。

附图标记列表

10图像处理系统

101相机

102图像处理设备

103-1～103-N显示设备

111控制单元

112成像单元

113成像信号处理单元

114图像数据输出单元

121控制单元

122图像数据输入单元

123描述判定处理单元

124显示数据生成单元

125叠加单元

126图像压缩处理单元

127网络接口

128记录单元

129面部识别处理单元

201演示者

202描述域

203描述

Claims (9)

1.一种图像处理设备，包括：

描述判定处理单元，所述描述判定处理单元处理通过对演示者在描述域上呈现描述的状态成像而获得的运动图像数据，并且判定描述部分；以及

描述叠加处理单元，所述描述叠加处理单元生成用于显示被判定为描述部分的各个部分作为描述的显示数据，并把显示数据叠加在运动图像数据上，

其中所述描述判定处理单元

提取当前帧图像与基准帧图像之间每个像素的差分值，掌握包括差分值等于或大于阈值的一系列连续像素的群组，并且针对每个群组判定该像素群组是否是描述部分，其中所述基准帧图像是不同于所述当前帧图像的图像，

其中所述描述判定处理单元

利用形状评价值、提取时间评价值和静止状态评价值获得用于针对每个群组判定该群组是否是描述部分的评价值，其中当所述评价值大于阈值时，判定该群组是描述部分，

其中所述描述判定处理单元

基于包含该群组的最小四边形和包含在该群组内的最大四边形的纵横比关系，获得形状评价值，

基于针对包含在该群组中的像素的当前帧图像与多个过去帧中的基准帧图像之间的差分值，获得提取时间评价值，以及

基于针对包含在该群组中的像素的当前帧图像与多个过去帧中的在前一帧的图像之间的差分值，获得静止状态评价值。

2.按照权利要求1所述的图像处理设备，

其中所述描述叠加处理单元在把显示数据叠加在运动图像数据上时，进行增强描述的可视性的处理。

3.按照权利要求2所述的图像处理设备，

其中所述描述叠加处理单元首先进行降低运动图像数据的分辨率的处理，并且之后把显示数据叠加在运动图像数据上。

4.按照权利要求2所述的图像处理设备，

其中所述描述叠加处理单元首先处理显示数据，以使得被判定为描述部分的各个部分被加边并显示，并且之后把显示数据叠加在运动图像数据上。

5.按照权利要求2所述的图像处理设备，

其中所述描述叠加处理单元首先基于运动图像数据的颜色信息处理显示数据，以使得被判定为描述部分的各个部分的颜色不同于背景图像的颜色，并且之后把显示数据叠加在运动图像数据上。

6.按照权利要求1所述的图像处理设备，

还包括描述叠加控制单元，在基于运动图像数据检测到演示者的面部面向前方的状态时，所述描述叠加控制单元控制描述叠加处理单元不在运动图像数据上叠加显示数据。

7.按照权利要求1所述的图像处理设备，

还包括：

成像单元，所述成像单元对演示者在描述域上呈现描述的状态成像；以及

成像信号处理单元，所述成像信号处理单元处理由成像单元获得的成像信号，并且获得运动图像数据。

8.按照权利要求1所述的图像处理设备，

还包括发送单元，所述发送单元把描述由叠加处理单元获得的运动图像数据发送给外部设备。

9.一种图像处理方法，包括：

由描述判定处理单元进行的处理通过对演示者在描述域上呈现描述的状态成像而获得的运动图像数据，并且判定描述部分的描述判定处理步骤；以及

由描述叠加处理单元进行的生成用于显示被判定为描述部分的各个部分作为描述的显示数据，并把显示数据叠加在运动图像数据上的描述叠加处理步骤，其中所述描述判定处理步骤包括：

提取当前帧图像与基准帧图像之间每个像素的差分值，掌握包括差分值等于或大于阈值的一系列连续像素的群组，并且针对每个群组判定该像素群组是否是描述部分，其中所述基准帧图像是不同于所述当前帧图像的图像；

利用形状评价值、提取时间评价值和静止状态评价值获得用于针对每个群组判定该群组是否是描述部分的评价值，其中当所述评价值大于阈值时，判定该群组是描述部分，

基于包含该群组的最小四边形和包含在该群组内的最大四边形的纵横比关系，获得形状评价值，

基于针对包含在该群组中的像素的当前帧图像与多个过去帧中的基准帧图像之间的差分值，获得提取时间评价值，以及

基于针对包含在该群组中的像素的当前帧图像与多个过去帧中的在前一帧的图像之间的差分值，获得静止状态评价值。

Images