CN101552874A - 图像处理设备、显示控制方法、程序和存储介质 - Google Patents

Abstract

本发明涉及图像处理设备、显示控制方法、程序和存储介质。该图像处理设备包括：特征量检测部分，被配置为确定第一图像的特征量和第二图像的特征量，所述第一图像和第二图像包含相同被摄物；消除区域检测部分，被配置为从所述第二图像中消除由所述特征量检测部分提取的特征量大于预定阈值的区域并且提供被消除区域透明的第二图像；以及图像组合部分，被配置为将被消除区域透明的第二图像叠加在所述第一图像上。

Description

图像处理设备、显示控制方法、程序和存储介质

技术领域

本发明涉及一种优选用于在一个屏幕上显示多个图像的图像处理设备、显示控制方法、程序和存储介质。

背景技术

在一些情况下，多个图像被组合并显示在单个屏幕上。多个图像的同时显示通常采取例如对缩小的多个图像进行排列的方案或者将不同角度的副图像安置在主图像的一部分中的画中画(PinP)方式。

为了从多个图像产生合成图像，一般来讲，确定共有部分，执行特征点提取等，并且在使共有部分彼此对齐的情况下将多个图像组合在一起。例如，日本未审查专利申请公报第2005-182098号公开了一种技术，其中，确定多个图像的特征量并且将它们彼此比较以产生包含两个或更多个叠加图像的合成图像。

例如，日本未审查专利申请公报第10-164435号公开了一种通过以时空方式将多个图像组合在一起以允许多个图像的同时理解从而增强图像质量的技术。

例如，日本未审查专利申请公报第2000-261794号公开了一种在一个屏幕上布置并显示由多个摄像机拍摄的多个图像的技术。

发明内容

对于在日本未审查专利申请公报第2005-182098号中公开的技术，由于角度的差别等，难以完全地匹配图像。因此，对于合成图像，难以同时理解多个图像。

在日本未审查专利申请公报第10-164435号中公开的技术中，没有考虑同时观看由多个摄像机拍摄的图像。

日本未审查专利申请公报第2000-261794号中公开的技术通常需要从基本相同的方向拍摄同一部分。因此，图像尺寸会减小或者原始图像会被叠加的图像隐藏。

鉴于以上情形构思出本发明，期望可以将多个图像同时显示在一个屏幕上从而能够容易地观看各个图像。

根据本发明的实施例，确定第一图像的特征量和第二图像的特征量，第一图像和第二图像包含相同被摄物；从第二图像中消除特征量大于预定阈值的区域以提供被消除区域透明的第二图像；以及将被消除区域透明的第二图像叠加在第一图像上。

采用这种布置，即使对于通过组合多个图像所获得并且在一个图像上显示的合成图像，仍可以清楚地显示图像之间的差别。

根据本发明，通过将第二图像叠加在第一图像上所获得的合成图像可以被提供给图像显示装置供用户观看，其中，第二图像和第一图像具有相同对象。因此，本发明的优点在于：通过简单地观看显示在一个屏幕上的合成图像，用户就能够容易地识别包含在第一和第二图像中的对象之间的关系。

附图说明

图1是示出了根据本发明第一实施例的图像处理系统的配置示例的图；

图2是示出了根据本发明第一实施例的图像处理设备的内部结构的示例的框图；

图3是示出了根据本发明第一实施例的图像叠加处理的示例的流程图；

图4是示出了根据本发明第一实施例的图像色域检测处理和图像组合处理的示例的流程图；

图5示出了本发明第一实施例中的第一图像的示例；

图6示出了本发明第一实施例中的第二图像的示例；

图7示出了本发明第一实施例中的第一图像的色域分布的示例；

图8示出了本发明第一实施例中的第二图像的色域分布的示例；

图9示出了本发明第一实施例中的第一图像的色域的示例，该色域超过了阈值；

图10示出了本发明第一实施例中的第二图像的色域的示例，该色域超过了阈值；

图11示出了本发明第一实施例中的第一和第二图像的色域分布的示例，其中，在三维空间中表示超过阈值的共有部分的色域；

图12示出了本发明第一实施例中的第一和第二图像的色域分布的示例，其中，在二维空间中表示超过阈值的共有部分的色域；

图13示出了在本发明第一实施例中通过从第二图像中消除预定色域(地面的颜色)所获得的图像的示例；

图14示出了在本发明第一实施例中通过将第二图像与作为主图像的第一图像进行组合所获得的图像的示例；

图15示出了在本发明第一实施例中通过将第一图像与作为主图像的第二图像进行组合所获得的图像的示例；

图16是示出了根据本发明第二实施例的图像处理设备的内部结构的示例的框图；以及

图17是示出了本发明第二实施例中的叠加图像的显示示例的图。

具体实施方式

下面将参照图1到图15描述本发明的第一实施例。在本发明的这个实施例中，将描述一个示例，其中，从具有不同角度(拍摄点)和变焦(拍摄倍率)的多个摄像机获得的多个图像被图像处理系统1使用，该图像处理系统1通过利用根据本发明实施例的图像处理设备能够在一个屏幕上显示所述多个图像。

图1示出了根据本发明实施例的图像处理系统1的配置示例。

图像处理系统1包括第一摄像机3、第二摄像机4、图像处理设备10和图像显示装置6。第一摄像机3拍摄第一场景的图像并且产生第一图像。第二摄像机4拍摄面积小于第一场景的第二场景的图像。基于从第一摄像机3输入的第一图像和从第二摄像机4输入的第二图像，图像处理设备10执行将这些图像组合成合成图像的处理。图像显示装置6显示由图像处理设备10组合的合成图像。

第一场景的被摄物和第二场景的被摄物是相同的。然而，在本实施例中，第一摄像机3通过摇摄(panning)产生第一图像。另一方面，第二摄像机通过放大产生第二图像。因此，第一场景具有面积大于第二场景的被摄物。

图像处理设备10将从第一摄像机3和第二摄像机4输入的图像中的一个(用作主图像)叠加在图像尺寸小于主图像的另一个图像(用作副图像)上以产生合成图像。

第一摄像机3的角度和变焦与第二摄像机4的角度和变焦彼此不同。图像显示装置6例如是液晶显示装置、有机EL(电致发光)显示装置或者投影仪装置。

图2示出了图像处理设备10的内部结构的示例。

图像处理设备10包括存储部分11、图像叠加部分12和外部信号输入部分13。存储部分11存储从第一摄像机3、第二摄像机4和调谐器输入的图像。图像叠加部分12对从存储部分11读取的图像信号执行预定处理。外部信号输入部分13接收用户执行的操作的操作信息等。

存储介质11例如是诸如硬盘驱动器(HDD)的大容量存储介质。存储在存储部分11中的图像例如是以MPEG-2(运动图像专家组2)格式压缩的数字数据，并且包括运动图像和静止图像。

图像叠加部分12包括特征量检测部分21、消除区域检测部分22和图像组合部分23。特征量检测部分21检测包括在图像中的被摄物的特征量。特征量检测部分21确定包含在具有相同被摄物的图像中的特征量。通过特征量检测部分21确定的特征包括在第一图像和第二图像中包含的色域色度和包含在第一图像和第二图像中的被摄物的运动量(运动矢量的标量)。

消除区域检测部分22从第二图像中消除由大于预定阈值的特征量指示的区域，并且提供被消除区域透明的第二图像。图像组合部分23将被消除区域透明的第二图像叠加在第一图像上，由此提供合成图像。由图像叠加部分12提供的合成图像通过图像显示装置6进行显示。图像叠加部分12例如可以由中央处理单元(CPU)实现。

例如，图像处理设备10利用色彩空间的YUV色彩模型。在用于YUV色彩模型的YUV坐标系中，色彩通过由亮度信号(Y)、指示该亮度信号与蓝色信号之间的差的信号(U)和指示该亮度信号与红色信号之间的差的信号(V)所确定的色彩空间区域进行表示。图像使用的色彩在色彩空间区域中的分布被称作“色域”。在输入到图像处理设备10的图像中包括的像素通过YUV色彩模型进行表示。在本实施例中，针对每个像素确定的UV坐标位置也可称作“色域”。

特征量检测部分21检测包含在第一和第二图像中的色域作为特征量。特征量检测部分21然后确定第一图像和第二图像共有的频繁检测到的色域。在这种情况下，确定主图像和副图像。针对包括在这些图像中的每个像素确定色域。色域可由三维色度分布图表示。当在图像中包含大量相同色彩时，累积与该色彩对应的色域色度。当累积的色度的值大于预定阈值时，图像的包含最频繁出现的色域的一部分被提取作为图像的特征部分(图像的该部分也可以称作最频繁色域部分)。

特征量检测部分21例如确定用户希望观看的被摄物包含在多个输入图像中的哪个中。

现在将通过示例描述利用三个摄像机(第一到第三摄像机)拍摄被摄物的情况。在这种情况下，第一摄像机和第二摄像机获取通过拍摄整个被摄物所获得的摇摄图像和包含在该摇摄图像中的被摄物的放大图像。在这种情况下，第一摄像机和第三摄像机也拍摄通过拍摄整个被摄物所获得的摇摄图像和包含在该摇摄图像中的被摄物的放大图像。在这种情况下，特征量检测部分21例如检查在由第二和第三摄像机获取的图像中是否存在任何重叠部分(被摄物)。特征量检测部分21能够确定摄像机的摄像机位置作为这些摄像机之间的关系，并且能够检测作为特征量的该关系。

特征量检测部分21基于第一和第二图像识别第一图像和第二图像共有的色域。由特征量检测部分21确定的色域能够由包含在每个图像中并且由YUV坐标系表示的累积的色域色度表示。当累积的色度的值超过预定阈值时，特征量检测部分21在图像中将该色域检测作为色度频率最高的色域。

特征量检测部分21将包含在第一和第二图像中的被摄物的运动量作为特征量进行检测，并且确定第一图像和第二图像共有的频繁检测到的运动量。

当特征量检测部分21将第一和第二图像的色域作为特征量进行检测时，消除区域检测部分22消除与第一和第二图像共有的色域对应的区域。在这种情况下，从主图像和副图像中的特定一个中消除与主图像中的特征部分和副图像中的特征部分共有的色域对应的区域。因此，例如，当在主图像和副图像中都包含地面的图像时，地面的色域被检测为在屏幕上最频繁出现的色域(该色域在下文中也称作“最频繁色域”)并且包含最频繁色域的地面图像作为最频繁色域部分被消除。

另一方面，当特征量检测部分21将被摄物的运动量作为特征量进行检测时，消除区域检测部分22从第二图像中消除具有该运动量的被摄物对象的背景区域。

图像组合部分23将通过消除区域检测部分22消除了与共有色域对应的图像的副图像叠加在主图像上由此提供合成图像。利用操作部分(未示出)执行用户操作，所述操作部分例如为遥控装置、按钮、触摸板和定点装置。操作部分连接到外部信号输入部分13。根据经由外部信号输入部分13从外部接口输入的操作信号，确定由特征量检测部分21确定的色域、预定阈值、和由消除区域检测部分22消除的区域。相似地，基于从操作部分发送的输入，确定图像组合部分23用来与主图像组合的副图像相对于该主图像的位置。结果，显示的合成图像对于观看者不会看起来不自然。

图3是示出由根据本发明实施例的图像处理设备10执行以通过在主图像上叠加副图像来产生合成图像的图像叠加处理的示例的流程图。

最初，特征量检测部分21确定是否执行图像叠加处理。在步骤S1中，特征量检测部分21确定是否从每个图像的色域提取最频繁色域部分。例如，通过用户执行的按钮操作预先选择该确定。

该选择处理是通过经由外部信号输入部分13发出的命令触发的。基于接收到的命令，特征量检测部分21检测包含在图像中的被摄物(在下文中可以称作“对象”)的特征量以帮助进行被摄物选择。然后，特征量检测部分21传递检测到的特征量的数据。随后，当用户已经选择执行图像叠加处理时，执行步骤S2中的处理。

当不提取最频繁色域部分时，特征量检测部分21完成图像叠加处理。例如，不提取最频繁色域部分的情况对应于在画中画状态或者在并置状态下显示多个图像的情况。

另一方面，当要提取最频繁色域部分时，在步骤S2中，特征量检测部分21读取存储在图像部分11中的图像。在步骤S3中，特征量检测部分21基于由用户选择并且从外部信号输入部分13提供的信息，确定所读取的图像中的用作主图像的图像。

由用户进行选择的主图像可以是第一摄像机3获取的图像或者是第二摄像机4获取的图像。在步骤S3中的主图像选择中，第一摄像机3获取的图像可以被预先确定为主图像。也可以安排成使得多个副图像作为缩略图显示在主图像的一部分上从而允许用户从这些缩略图选择这些副图像中的期望一个。

接下来，在步骤S4中，消除区域检测部分22检测要从副图像中消除的消除区域。例如，基于多个图像中的最频繁色域，确定该消除区域。在步骤S5中，消除区域检测部分22从副图像中消除检测到的消除区域。

在本实施例中描述如下处理，其中，对最频繁色域进行检测，将要进行组合的图像共有的色域确定为用于从副图像进行消除的参数，然后从该图像中消除该色域。然而，还可以有其它可设置的参数。例如，可将包含具有运动矢量的最大标量的对象的区域确定为“最频繁运动量区域”，或者相反地，也可将具有运动矢量的最小标量的部分确定为消除区域。当将色域用作参数时也可以组合使用从这些运动矢量确定的参数，或者当不将色域用作参数时可以使用从这些运动矢量确定的参数。可以利用帧之间的对象运动的频率执行用于检测消除区域的处理。表示运动频率的指标的可能示例包括：被摄物的尺寸、方向和微分值。

接下来，在步骤S6中，图像组合部分23确定是否识别主图像和副图像中的相同对象。这里使用的术语“对象”是指用户期望特别关注的目标，并且例如是图像中的人员(人)或球。主图像和副图像共有的对象被称作“相同对象”。当识别了相同对象时，确定主图像和副图像中的对象的用于叠加图像的坐标。

在步骤S6的处理中，图像组合部分23确定是否使相同对象彼此对齐地将副图像叠加在主图像上。当没有识别出相同对象时，图像组合部分23仅仅将副图像叠加在主图像的屏幕四角的任何一个上，并且完成图像叠加处理。

另一方面，当图像组合部分23使相同对象彼此对齐地将副图像叠加在主图像上时，在步骤S7中，图像组合部分23基于从外部信号输入部分13提供的用户选择信息，识别关注对象。

关注对象是一种类型的参数并且例如表示图像中的人、球、制服编号等。当用户特别希望知道对象的运动细节以及环境的状态时，识别关注对象使得可以在副图像上显示这些细节。

接下来，在步骤S8中，图像组合步骤23提取用于跟踪对象的图像特征量。图像组合部分23执行用于指定被指定为特征量的对象的叠加位置的跟踪，并且确定运动矢量等。可以通过利用由用户操作的遥控装置(未示出)进行的指定执行跟踪，或者可以通过由图像处理设备10执行的自动跟踪执行跟踪。从遥控装置输出的操作信号经由外部信号输入部分13提供给图像组合部分23。

关于由特征量检测部分21确定的关注对象，针对每帧检测在步骤S8中提取的图像特征。例如，当要叠加多个图像并且假定相同对象是球时，特征量检测部分21执行检测球的运动的处理。检测球的运动的处理的一个示例是确定从每个图像检测到的运动矢量的处理(或者确定光流的处理)。

在步骤S9中，基于从多个图像确定的特征量，图像组合部分23检测相同对象并且执行通过将副图像叠加在主图像上而产生合成图像的图像处理。相似地，可以基于包含在主图像中的对象的运动，确定图像组合部分23用来与主图像组合的副图像相对于该主图像的位置。最后，在步骤S10中，图像组合部分23将合成图像输出到图像显示装置6。

可以将步骤S7中对关注对象的指定设置为使它被图像组合部分23自动执行。例如，对于用户输入，操作部分可以具有自动指定按钮、自动学习指定按钮等。

自动指定按钮是用于给出禁用用户操作输入并且使图像处理设备10自动确定关注对象的指令的按钮。当按下自动指定按钮时，在步骤S7的处理中不选择由用户指定的任何关注对象。利用在步骤S8中确定的特征量，能够确定要进行叠加的相同对象。在这种情况下，具有最大运动矢量的对象(区域)被确定为关注对象。

自动学习指定按钮是指给出用于使图像处理设备10通过利用过去的关注对象的确定结果自动确定关注对象的指令的按钮。从用户操作日志确定过去的关注对象。例如，当操作日志显示用户关注过位于屏幕的下部的对象的少量运动时，可将该对象自动确定为关注对象。例如，当操作日志示出在显示棒球比赛广播中的棒球运动员(投手和接球手)的区域期间用户在关注击球手的同时执行图像叠加时，基于从操作日志自动确定的特征量(例如，棒球击球手的运动矢量)确定关注对象(例如，击球手)。

图4是示出色域检测和图像组合处理的示例的流程图。现在，将详细描述图像叠加处理(图3)中的步骤S4和S5的处理。

首先，在步骤S11中，特征量检测部分21读取在图像叠加处理(图3)中的步骤S3中确定的用作主图像的图像。在步骤S12中，特征量检测部分21检测读取的图像的各个像素的色域。

在步骤S13中，特征量检测部分21从每个读取的图像中检测要消除的最频繁色域。在步骤S14中，特征量检测部分21确定包含要从第二图像消除的最频繁色域的区域。步骤S12到S14中的处理对应于图像叠加处理(图3)中的步骤S4中的处理。

在步骤S15中，图像组合部分23将第一图像和第二图像组合成叠加的合成图像。在步骤S16中，图像组合部分23将叠加的合成图像输出到图像显示装置6。在步骤S17中，确定叠加的合成图像是否要输出到图像显示装置6。在这种情况下，通过用户操作或者利用操作日志等执行诸如改变要消除的色域的区域以及执行例外处理的改动。步骤S15到S17中的处理对应于图像叠加处理(图3)中的步骤S5中的处理。

例外处理是指从副图像中也消除没有被确定为具有最频繁色域的区域的区域的处理。在例外处理中要消除的区域是在被消除时能增强用户可见度的区域。例如，存在下面的情况：在显示棒球比赛的图像中，与投球区土墩(mound)对应的色域不在最频繁色域内。然而，用户通常不会最关注显示投球区土墩的区域。在这种情况下，当用户通过利用操作部分(例如，定点装置)指定该投球区土墩时，图像组合部分23能够消除位于该指定部分周围并且包含相同色域的区域的色域。相反地，存在下面的情况：用户仅仅关注某色域并且希望将特定部分留在合成图像中。在这种情况下，即使当该色域在最频繁色域内时，也能够对图像进行叠加而不需要消除包含在用户并不希望消除的部分中的色域。此外，即使当该色域在最频繁色域内时，仍可以留下特定区域或显示特定运动的部分。

当输出图像不是期望图像时，在步骤S18中改变最频繁色度的值并且重新确定色域。该处理然后返回到步骤S12。当输出图像是期望图像时，将图像输出到图像显示装置6并且图像组合处理完成。

图5到图15示出了要进行叠加的图像以及这些图像的色域的示例。

图5示出了第一摄像机3获取的第一图像31的示例。

图6示出了第二摄像机4获取的第二图像32的示例。

通过拍摄相同场景所获得的图像被输入到图像处理设备1。在这个示例中，第一图像31是被摄物35(一群橄榄球球员)的摇摄图像。第二图像32是包含在第一图像31中的被摄物35的放大图像。从存储部分11输入的不同角度的图像的集合的示例包括：原始图像和通过仅仅放大该图像的一部分而获得的图像的集合，以及从不同角度进行拍摄并且经历图像处理的多个图像的集合。然而，这些图像包含相同被摄物。

当确定要执行图像叠加处理时，读取图像，并且用户从读取的图像中选择用作主图像的图像。在这种情况下，假定第一图像31被选择作为主图像。

图7是示出了第一图像31的色域分布的示例的图。

图8是示出了第二图像32的色域分布的示例的图。

在下面的说明中，每个色域分布图指示了YUV坐标系统中的u和v以及色域色度。通常，当用于拍摄图像的摄像机的像素数目不同时，色域分布图中的色度的范围也不同。因此，为了确定共有部分的色域，执行归一化以匹配色度。术语“归一化”是指用于匹配两个图像的色度的最大值的处理。

图7和图8分别示出了用于确定最频繁色域的阈值37和37′。可以将超过阈值37和37′的色域视为在各个图像中大量包含的色彩。特征量检测部分21首先确定每个输入图像的整个屏幕的色域分布。特征量检测部分21然后将每个色域的分布归一化并且从输入的图像信号中检测具有共有色域的区域。在这种情况下，对第一摄像机3和第二摄像机4的参数进行校正从而使图像之一的最频繁色域与另一个图像的最频繁色域匹配。在这种情况下，可以利用色域变换表。然后，在要进行叠加的图像中确定要消除的色域。然而，包含检测到的色域的区域和包含要消除的色域的区域不必一对一地彼此匹配。

图9示出了超过阈值37的、第一图像31的色域分布的示例。

图10示出了超过阈值37′的、第二图像32的色域分布的示例。

更具体地，图9和图10示出了图7和图8所示的色域分布中的超过预定阈值的色域。用户可以任意改变这些阈值。超过预定阈值的色域可被视为每个图像中最频繁显示的色彩。能够如下确定第一图像31和第二图像32共有的色域。

图11示出了超过阈值的、第一图像31和第二图像32的共有部分的色域的示例。

图12在二维空间中示出第一图像31和第二图像32的共有部分的色域。

在第一图像31和第二图像32中，最大量的色彩是地面的色彩(例如，褐色)。因此，从图7和图8所示的色域分布中提取超过预定阈值的色域分布，从而确定共有色域。针对确定的色域，作为共有部分从图8所示的色彩中消除对应部分的色彩。

图13是通过对第一图像31执行图像处理所获得的第一图像31′的示例。

图13所示的图像31′是通过提取基于两个图像(第一图像31和第二图像32)被确定为冗余的最频繁色域部分而获得的图像。能够利用用于从多个图像提取背景的方法提取共有部分。

当确定了主图像(第二图像32)时，确定要被提取作为主图像和副图像(第一图像31)共有的冗余共有部分的最频繁色域。第一图像31中的最频繁色域对应于几乎占据一半屏幕的地面的色彩。相似地，第二图像32中的最频繁色域对应于几乎占据一半屏幕的地面的色彩。因此，当从第一图像31中消除最频繁色域时，产生第一图像31′。在图13所示的图像中，第二图像32中的最频繁色域对应于几乎占据一半屏幕的地面的色彩。第一图像31中的最频繁色域也对应于几乎占据一半屏幕的地面的色彩。因此，从第二图像32消除第一图像31和第二图像32共有的地面色彩从而产生第二图像32′。

取决于场景，为了确定最频繁色域部分，抵消每个摄像机的运动。在这种情况下，运动矢量的最频繁值用作图像的共有部分。例如，当摄像机进行摇摄或者倾斜或者在聚焦方向上移动以执行拍摄时，执行这个处理。也就是说，当对象的运动矢量要作为特征量被检测并且摄像机进行摇摄、倾斜或者变焦时，它的运动出现在图像的运动矢量中。例如，当从左到右执行摇摄时，被摄物在相反方向上(即，从右到左)移动。另外，在进行放大时，除了位于图像中心的对象以外的对象移出屏幕。

为了改进匹配的准确度，非常希望消除由摄像机的运动所导致的运动矢量的影响。例如，针对通过第一摄像机的摇摄获得的图像，消除由于摇摄所导致的运动矢量(该运动矢量与摇摄方向相反)。这个处理有助于使得由执行与第一摄像机不同的拍摄操作(运动)的第二摄像机拍摄的被摄物的运动矢量与由第一摄像机拍摄的被摄物的运动矢量匹配。该处理也可称作“抵消摄像机运动”。在确定包含在图像中的色彩期间，不是必须执行用于抵消摄像机运动的处理。另一方面，当检测最频繁运动矢量以识别对象时，执行用于抵消摄像机运动的处理。

作为在确定基本相同的对象期间用于匹配运动矢量的处理，在图3的步骤S8中执行由特征量检测部分21执行的处理。当使用用于确定具有最频繁运动矢量而非最频繁色域的相同对象的参数时，在图3的步骤S4中也执行这个处理。在这种情况下，运动矢量的最频繁值被用于用来识别被摄物以及用来识别消除区域的确定。即使在这种情况下，最频繁运动矢量用于确定多个图像的共有部分。

图14示出了将作为主图像的第一图像31与作为副图像的图像处理后的第二图像32′进行组合所获得的合成图像33的示例。尽管图14中的第二图像32′的边界显示为边框，但是显示该边框是为了便于说明，在该图像中并不是必须存在边框。不言自明的是，可以显示边框从而使得容易地理解副图像被叠加在主图像上。

提取多个图像共有的部分(例如，地面)，然后将得到的图像彼此组合。确定当图像叠加在同一屏幕上供输出时所使用的图像叠加坐标，并且用户指定相同对象。图像叠加坐标是指合成图像中的相同对象的坐标。图像坐标一般是指对象的中心(重心)的坐标。或者，可将对象的任意特征点用作位置对齐坐标。检测包含在主图像和副图像中的相同对象的坐标使得可以确定相对于图像叠加坐标的差。当主图像中的对象和副图像中的对象移动从而消除该差，并且主图像和副图像被彼此组合时，合成图像呈现恒定显示在图像叠加坐标处的相同对象(例如，球)。

为了确定图像叠加坐标，使这两个图像中的相同对象彼此匹配。相同对象匹配是指根据包含在多个图像中的对象的特征量(例如，色彩和形状)检测相同对象的处理。此外，匹配运动矢量也使得可以确定相同对象。当检测到包含在多个图像中的相同对象时，可以执行处理从而使得相同对象显示在所显示的屏幕上的相同坐标处。

在这种情况下，例如，图像处理设备10在图像显示装置6上显示用于识别对象的选择菜单。该选择菜单用作用于在用户操作与自动操作之间进行选择的菜单。当选择了用户操作菜单时，用户在主图像中指定他或她希望放大的目标点(即，关注对象)。当选择自动操作菜单时，图像处理设备10通过自动检测指定具有大运动量的对象作为关注对象。

在指定了关注对象后，将副图像叠加在主图像上。当在一帧中在主图像和副图像中指定了关注对象后，对对象的运动进行跟踪。

图15示出了通过将作为主图像的第二图像32与作为副图像的图像处理后的第一图像31′进行组合所获得的合成图像34的示例。尽管图15中的第一图像31′的边界显示为边框，但是显示该边框是为了便于说明，在该图像中并不是必须存在边框。不言自明的是，可以显示边框从而使得容易地理解副图像被叠加在主图像上。

在这种情况下，经历了图像处理的第一图像31′被叠加在第二图像32上。对第一图像31′执行的图像处理与以上参照图13所述的处理类似。然而，用作副图像的第一图像31′以不同的缩放比率进行叠加。以这种方式，能够通过用户操作改变合成图像的倍率和形状。采用这种布置，例如，针对运动图像，人的每个运动变得清楚。因此，用户能够看见叠加的图像而不会感到不自然。此外，在消除共有部分后，可以叠加多个图像。结果，当用户观看图像时，视点的运动减少了。

当确定了相同对象并且被消除了被摄物的背景的第二图像32将要叠加在第一图像31上时，运动量和色域可以被分别确定为第一特征量和第二特征量并且能够进行组合使用。特征量检测部分21能够将包含在第一和第二图像中的被摄物的运动量作为第一特征量进行检测。第一特征量表示第一和第二图像共有的频繁检测到的运动量。此外，特征量检测部分21能够将包含在第一和第二图像中的色域作为第二特征量进行检测。第二特征量表示第一和第二图像共有的频繁检测到的色域。特征量检测部分21还提取这样的色域，其中，通过对于第一图像和第二图像的各个色域累积针对包括在第一图像和第二图像中的各个像素检测到的色域色度所获得的值大于对应的预定阈值。提取的色域对应于提取作为第一图像31和第二图像32中的特征部分的色域。消除区域检测部分22然后在第二图像32中消除与第一图像31和第二图像32的特征部分共有的色域对应的区域。

例如，存在下面的情况：包含在第一和第二图像中的被摄物的地面的色彩占据了屏幕上的最大区域。在这种情况下，由于地面部分没有运动，所以不产生运动矢量。在这种情况下，运动矢量的标量是零的区域(例如，地面部分)可被视为具有运动矢量的最频繁值，其中特征量检测部分21将运动矢量识别为特征量。关于具有运动矢量的最频繁值的区域，被消除了该区域的色域的副图像能够被叠加在主图像上。此外，将运动矢量的最频繁值识别为第一特征量并将色域识别为第二特征量能够增强检测消除区域的准确度。

根据本发明第一实施例的上述图像处理设备10能够从由多个摄像机拍摄的图像中选择主图像和副图像并且能够将主图像和副图像进行自由叠加。在这种情况下，能够选择要进行叠加的图像，并且能够执行例如用于改变缩放比率以及剪切选择的图像的操作。因此，观看者能够在集中观看屏幕上(他或她希望观看)的一部分的同时看到整个图像。

当像现有技术一样将多个图像以对齐的方式显示在屏幕上的分割区域中时，用户仅能够观看尺寸小于其原始图像的图像。然而，当像本发明实施例一样叠加图像时，不需要减小图像的尺寸。因此，本发明的优点在于：可以显示甚至多个图像而不会损害有活力的主图像。

另外，由于消除了多个图像的冗余共有部分，所以即使图像被叠加在一起，观看者也能够直观地理解各个图像的内容。另外，由于能够在叠加的图像的顶部上显示重要部分，所以存在如下优点：也能够看见其上叠加有图像的图像，其中该图像的较大区域未被隐藏。

副图像仅仅叠加在位于主图像中并且由用户指定(或者由图像处理设备指定)的一部分上。因此，与并列布置两个图像以进行比较的情况相比，容易比较从不同角度拍摄的图像。存在另一个优点：当多个图像按照一定时间差叠加时，可以清楚地理解与时间相关的变化。

现在将参照图16和图17描述根据本发明第二实施例的图像处理设备40。

图像处理设备40剪切从第一摄像机输入的一个图像的一部分，对该剪切部分进行放大，并且从该放大图像和原始图像产生合成图像。在图16中，对应于以上结合第一实施例描述的图2中的那些部分的部分用相同的附图标记表示，并且在下文中不再给出对它们的详细描述。

图像处理设备40包括存储部分11、图像叠加部分41和外部信号输入部分13。图像叠加部分41包括副图像剪切部分42、特征量检测部分21、消除区域检测部分22和图像组合部分23。副图像剪切部分42剪切从存储部分11读取的图像数据的一部分作为副图像。从外部信号输入部分13输入的用户操作信息被提供给副图像剪切部分42、消除区域检测部分22和图像组合部分23。

当从存储部分11读取的图像数据仅仅是一个图像时，用户首先选择一个关注部分。该关注部分是通过放大图像的一部分所获得的图像。副图像剪切部分42将从由第一摄像机3拍摄的主图像剪切的部分图像放大并将该放大的图像作为第二图像提供给特征量检测部分21。

特征量检测部分21确定选择的关注部分和原始图像中的最频繁色域。消除区域检测部分22消除共有该最频繁色域的这两个图像的共有部分。图像组合部分23然后将主图像与放大的部分图像进行组合。在从相同图像创建合成图像期间，当没有特别指定任何关注对象时，反映由用户选择的坐标以确定叠加位置。

图17示出了由图像处理设备40执行的图像处理的示例。

图17中的图像(a)示出了原始图像51的示例。

原始图像51包含多个人。在该原始图像中，将用户选择的人所处的区域假定为关注图像52。

图17中的图像(b)示出了通过处理关注图像52所获得的放大图像53的示例。

关注图像53包含放大的人。

图17中的图像(c)示出了通过叠加并组合放大图像53与原始图像51所获得的合成图像54的示例。

放大图像53叠加在原始图像51上由此形成合成图像54。结果，用户能够在观看关注图像52的周围的同时，在仅有关注图像52被放大的一个屏幕上观看关注图像52。

根据上述第二实施例，一个图像的一部分被放大并且该放大的部分能够叠加显示在原始图像上。因此，用户能够选择以叠加方式按时间顺序显示多个不同图像的操作。因此，用户能够在同一屏幕上观察在多个时间发生的事件。此外，主图像和副图像能够以不同的回放速度进行叠加。由于相同对象也能够被叠加显示，所以在观看两个图像期间减小了视线的运动量从而使用户能够同时识别重要的部分。

将放大图像叠加在整个图像上有助于用户在观看详细的放大图像时能够同时理解整体信息。即使针对一个图像，通过在原始图像上叠加通过处理原始图像的一部分所获得的副图像，用户能够观看他或她希望观看的部分的更多细节。例如，在大屏幕上进行显示期间，能够剪切多个关注图像并且将其叠加在原始图像上。结果，提高了图像的可视性。

本发明不限于上述实施例。例如，即使针对在不同时间拍摄的图像，用户能够通过以叠加方式显示这些图像来观察不同日期的动作之间的差别。另外，关于在不同场所拍摄的图像，用户能够在一个屏幕上观看这些图像。例如，通过仅将在另一个赛场进行的比赛的重要部分叠加在用户特别希望观看的图像上，他或她能够同时观看两场比赛。另一个应用示例是监视器上的叠加显示。通过以叠加方式在以较大视场拍摄的摇摄图像上显示示出入侵者等的放大图像，本发明还可以应用于安保。

消除区域检测部分22还可以将针对每个色域累积预定色彩坐标系中的色域色度所获得的值大于预定阈值的色域视为要从第二图像消除的共有色域，其中，所述色度是针对包含在第一图像中的每个像素检测的。这种布置使得可以将第二图像与第一图像进行组合从而使它看起来自然，同时利用了包含在第一图像中的色域。

上述实施例中的一系列处理可由硬件或软件进行执行。当由软件执行这一系列处理时，通过将软件安装到例如包括在专用硬件中的计算机或者通过安装各种程序能够执行各种功能的通用个人计算机，来执行包括在该软件中的程序。

不言自明的是，还能够通过向系统或设备提供存储用于实现上述实施例的特征的软件程序代码的存储介质从而使得该系统或设备的计算机(或者诸如CPU的控制装置)读取和执行该程序代码来实现这一系列处理。

用于提供程序代码的存储介质的示例包括软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、磁带、非易失性存储卡和ROM。

此外，不仅从计算机读取的程序代码被执行以实现上述实施例的特征，而且在该计算机上运行的OS(操作系统)等也可以根据该程序代码的指令执行部分或全部的实际处理以实现实施例的特征。

这里，用于描述包括在软件中的程序的步骤不仅包括根据描述的序列顺序地执行的处理，还包括不必按时间顺序执行的并发或独立执行的处理。

本申请包含与于2008年4月3日提交到日本专利局的日本在先专利申请JP2008-097509中公开的主题相关的主题，通过引用将该日本专利申请的全部内容纳入于此。

本发明不限于上述实施例，并且不言自明的是，在不脱离本发明的精神和范围的情况下，可以有各种其它的结构。

本领域技术人员应该明白，可以根据设计需要以及其它因素进行各种修改、组合、子组合和替换，只要它们在权利要求及其等同物的范围内即可。

Claims (13)

1.一种图像处理设备，包括：

特征量检测部分，被配置为确定第一图像的特征量和第二图像的特征量，所述第一图像和第二图像包含相同的被摄物；

消除区域检测部分，被配置为从所述第二图像中消除由所述特征量检测部分提取的特征量大于预定阈值的区域并且提供被消除区域透明的第二图像；以及

图像组合部分，被配置为将被消除区域透明的第二图像叠加在所述第一图像上。

2.如权利要求1所述的图像处理设备，其中，所述特征量检测部分将包含在所述第一图像和第二图像中并且由预定的色彩坐标系表示的色域作为特征量进行检测；确定所述第一图像和第二图像共有的频繁检测到的色域；并且提取这样的色域作为所述第一图像和第二图像中的特征部分，所述色域是通过针对所述第一图像和第二图像的各个色域来累积针对包括在所述第一图像和第二图像中的各个像素检测到的色域色度所获得的值大于对应的预定阈值的色域；并且

所述消除区域检测部分在所述第二图像中消除与所述第一图像和第二图像的特征部分共有的色域相对应的区域。

3.如权利要求2所述的图像处理设备，还包括图像剪切部分，被配置为从所述第一图像剪切部分图像，将该部分图像放大，并且将放大的部分图像提供给所述特征量检测部分作为第二图像。

4.如权利要求3所述的图像处理设备，其中，所述第一图像是被摄物的摇摄图像，并且所述第二图像是包含在所述第一图像中的被摄物的放大图像。

5.如权利要求2所述的图像处理设备，其中，所述消除区域检测部分确定如下的色域作为要从所述第二图像中消除的共有色域，该色域是通过针对各个色域来累积针对包括在所述第一图像中的各个像素检测到的色域色度所获得的值大于对应的预定阈值的色域。

6.如权利要求2所述的图像处理设备，其中，基于来自操作部分的输入来确定由所述特征量检测部分确定的色域、所述预定阈值和由所述消除区域检测部分消除的区域。

7.如权利要求2所述的图像处理设备，其中，基于来自操作部分的输入来确定通过所述图像组合部分叠加在所述第一图像上的第二图像相对于所述第一图像的位置。

8.如权利要求1所述的图像处理设备，其中，所述特征量检测部分将包含在所述第一图像和第二图像中的被摄物的运动量作为特征量进行检测并且确定所述第一图像和第二图像共有的频繁检测到的运动量，并且

所述消除区域检测部分消除具有由所述特征量检测部分检测到的运动量的被摄物对象的背景区域。

9.如权利要求8所述的图像处理设备，其中，基于包含在所述第一图像中的被摄物的运动来确定通过所述图像组合部分叠加在所述第一图像上的第二图像相对于所述第一图像的位置。

10.如权利要求1所述的图像处理设备，其中，所述特征量检测部分将包含在所述第一图像和第二图像中的被摄物的运动量作为第一特征量进行检测；确定所述第一图像和第二图像共有的频繁检测到的运动量；将包含在所述第一图像和第二图像中并且以预定的色彩坐标系表示的色域作为第二特征量进行检测；确定所述第一图像和第二图像共有的频繁检测到的色域；并且提取这样的色域作为所述第一图像和第二图像中的特征部分，所述色域是通过针对所述第一图像和第二图像的各个色域来累积针对包括在所述第一图像和第二图像中的各个像素检测到的色域色度所获得的值大于对应的预定阈值的色域；并且

其中，所述消除区域检测部分在所述第二图像中消除与所述第一图像和第二图像的特征部分共有的色域相对应的区域。

11.一种显示控制方法，包括如下步骤：

确定第一图像的特征量和第二图像的特征量，所述第一图像和所述第二图像包含相同的被摄物；

从所述第二图像中消除特征量大于预定阈值的区域并且提供被消除区域透明的第二图像；以及

将被消除区域透明的第二图像叠加在所述第一图像上。

12.一种使计算机执行处理的程序，该处理包括下面的步骤：

确定第一图像的特征量和第二图像的特征量，所述第一图像和所述第二图像包含相同的被摄物；

从所述第二图像中消除特征量大于预定阈值的区域并且提供被消除区域透明的第二图像；以及

将被消除区域透明的第二图像叠加在所述第一图像上。

13.一种存储介质，包括根据权利要求12的程序。

Images