CN110140152A - 数据处理装置、可编程显示器及数据处理方法 - Google Patents

Abstract

具备：数据处理部(14)，其从构成影像数据的图像提取对监视对象进行显示的多个特征图像；以及显示生成部(16)，其对通过数据处理部(14)从构成影像数据的图像提取出的多个特征图像进行合成而生成合成图像。监视对象为在监视场所中移动的物体，例如，是在生产产品的工序中，通过皮带输送机输送的产品。根据该结构，能够不花费时间地对监视对象进行确认。

Description

数据处理装置、可编程显示器及数据处理方法

技术领域

本发明涉及进行影像数据的处理的数据处理装置、可编程显示器及数据处理方法。

背景技术

当前，存在下述技术，即，对拍摄时间不同的多个图像进行阶层式地提示，经过长时间对动态地变化的被摄体的动作进行监视。为了高效地进行监视，希望缩短播放时间。

例如，在专利文献1中公开了一种图像存储装置，其基于监视对象对是否拍摄输入图像进行判定，对判定为进行拍摄的图像进行存储，由此对拍摄间隔进行控制以使得仅对监视对象进行拍摄。

专利文献1：日本特开2000-224542号公报

发明内容

但是，在专利文献1的图像存储装置中，虽然实现了缩短播放时间，但如果不对拍摄后的影像进行全部播放，则不能够对监视对象的状态进行确认，特别在拍摄时间长的情况下，监视对象的确认会需要时间。

本发明就是鉴于上述问题而提出的，其目的在于得到能够缩短对监视对象进行确认的时间的数据处理装置。

为了解决上述课题，达成目的，本发明具备：数据处理部，其从构成影像数据的图像提取对监视对象进行显示的多个特征图像；以及显示生成部，其对通过数据处理部从构成影像数据的图像提取出的多个特征图像进行合成而生成合成图像。

发明的效果

本发明涉及的数据处理装置取得下述效果，即，能够缩短对监视对象进行确认的时间。

附图说明

图1是表示本发明的实施方式中的数据处理装置的结构的图。

图2是表示实施方式中的合成图像的一个例子的图。

图3是表示实施方式中的数据处理部的结构的图。

图4是用于说明实施方式中的从构成影像数据的图像提取特征图像的具体例的图。

图5是表示实施方式中的取得事件信息的顺序的流程图。

图6是表示实施方式中的从构成影像数据的图像提取特征图像的顺序的流程图。

图7是用于说明实施方式中的对事件信息进行选择的顺序的图。

图8是用于说明实施方式中的将事件信息图像追加于特征图像的顺序的图。

图9是表示在对实施方式中的影像数据进行选择后，直至对合成图像进行显示为止的顺序的流程图。

图10是表示实施方式中的数据处理装置的显示生成部的结构的图。

图11是表示实施方式中的对影像数据进行选择的画面的一个例子的图。

图12是表示实施方式中的影像数据的结构的一个例子的图。

图13是表示实施方式中的通过提取部从图像提取出的特征图像的一个例子的图。

图14是表示实施方式中的通过追加部将事件信息图像追加于特征图像的一个例子的图。

图15是表示实施方式中的合成图像的一个例子的图。

图16是表示实施方式中的影像数据的结构的一个例子的图。

图17是表示实施方式中的影像数据的结构的一个例子的图。

图18是表示实施方式中的通过提取部从图像提取出的特征图像的一个例子的图。

图19是表示实施方式中的通过提取部从图像提取出的特征图像的一个例子的图。

图20是表示实施方式中的通过追加部将事件信息图像追加于特征图像的一个例子的图。

图21是表示实施方式中的通过追加部将事件信息图像追加于特征图像的一个例子的图。

图22是表示实施方式中的合成图像的一个例子的图。

图23是表示实施方式中的数据处理装置的硬件的结构例的图。

具体实施方式

下面，基于附图对本发明的实施方式涉及的数据处理装置、可编程显示器及数据处理方法进行详细说明。此外，并不是通过该实施方式对本发明进行限定。

实施方式.

图1是表示本发明的实施方式中的数据处理装置1的结构的图。数据处理装置1由可编程显示器实现。可编程显示器具备：显示部，其对图像进行显示；操作部，其接收用户的操作；连接部，其连接外部装置；以及存储部，其对数据进行存储，可编程显示器是进行外部装置的动作状况的显示、对外部装置进行值的输入的电子式操作显示器。

数据处理装置1从多个图像提取对监视对象进行了显示的特征图像，对提取出的多个特征图像进行合成而生成合成图像，该多个图像构成通过拍摄装置在一定时间的期间进行了录像而得到的影像数据。在本发明的实施方式中，监视对象为在监视场所进行移动的物体、设备仪器等。另外，在本发明的实施方式中，特征图像设为是与构成影像数据的图像相同的大小而进行说明，但也可以是与图像所显示的监视对象相同的大小。即，特征图像也可以是构成影像数据、将显示出监视对象的图像分为多个区域的一部分图像。下面，对数据处理装置1的具体的动作和结构进行说明。

数据处理装置1具备：操作部11，其接收用户操作；外部装置连接部12，其连接外部装置2；以及拍摄装置连接部13，其连接拍摄装置3。

数据处理装置1具备：数据处理部14，其从构成影像数据的图像提取对监视对象进行显示的部分的图像即特征图像；以及存储部15，其对影像数据和特征图像进行存储。

数据处理装置1具备：显示生成部16，其对通过数据处理部14从构成影像数据的多个图像各自提取出的多个特征图像进行合成而生成合成图像；以及显示部17，其对由显示生成部16生成的合成图像进行显示。

操作部11由键盘或触摸面板构成，接收用户的操作。具体而言，操作部11对输入附加信息的操作、以及选择播放对象的影像数据的操作进行接收。操作部11生成与接收到的操作对应的操作信号，将生成的操作信号输出至数据处理部14。

外部装置连接部12为连接外部装置2的接口。外部装置连接部12例如由USB(Universal Serial Bus)连接器或RS-232C连接器构成。

外部装置2为例如对工业用机械进行控制的PLC(Programmable LogicController)、或进行产品检查的传感装置。PLC对在控制对象即工业用机械中存储的装置ID(Identification)进行保存。装置ID是用于对工业用机械进行识别的信息。

PLC对所连接的工业用机械的动作进行控制。另外，PLC对工业用机械进行动作的状态进行监视。PLC如果检测出工业用机械的异常或故障则生成警报信息，将生成的警报信息输出至数据处理装置1。在警报信息中包含异常或故障的内容、产生了异常或故障的时刻信息。

另外，传感装置例如进行检查产品外观的外观检查、或检查产品的部件是否配置于所期望的位置的位置检查。传感装置进行产品的检查，生成检查的结果即传感器信息，将生成的传感器信息输出至数据处理装置1。在传感器信息中包含检查的结果和检查的时刻信息。

外部装置连接部12将从外部装置2输入的信息输出至数据处理部14。在外部装置2为PLC的情况下，从外部装置2输入的信息为装置ID及警报信息。另外，在外部装置2为传感仪器的情况下，从外部装置2输入的信息为传感器信息。下面，将装置ID、警报信息和传感器信息称为事件信息。另外，事件信息可以为例如在生产产品的工序中，表示由皮带输送机输送的产品的移动状况的信息、计划变更的工作信息等。表示由皮带输送机输送的产品的移动状况的信息为表示产品的出库时间及入库时间的信息、或表示产品通过预先确定好的位置的时间的信息等。另外，计划变更的工作信息为表示设定于机械设备的参数的变更的信息。

此外，事件信息被作为与构成影像数据的图像相关的信息。即，事件信息是与构成影像数据的、某图像被拍摄到的时间及产生原因对应而得到的信息。此外，图像是以由头部、有效载荷部、索引部等构成的图像文件形式保存的。事件信息例如储存于索引部。

拍摄装置连接部13为连接拍摄装置3的接口。拍摄装置连接部13为例如USB连接器或以太网(注册商标)用的通信连接器。

拍摄装置3在以一定时间间隔进行了拍摄后、或通过从拍摄装置连接部13发送的触发信号进行了拍摄后，将拍摄后的影像数据输出至数据处理装置1。拍摄装置连接部13将从拍摄装置3输入的影像数据输出至数据处理部14。

数据处理部14从拍摄装置连接部13输入影像数据，从构成该影像数据的图像提取对监视对象进行显示的图像即特征图像。后面对从构成影像数据的图像提取特征图像的顺序的详细内容进行叙述。

影像数据是以数字形式从拍摄装置3输入的，但也可以以模拟形式输入。在以模拟形式输入了影像数据的情况下，拍摄装置连接部13通过A/D(Analog to Digital)转换，将模拟形式的影像数据转换为数字形式的影像数据。

显示生成部16通过对显示由数据处理部14提取出的监视对象的部分的图像即特征图像、显示监视对象的背景的图像进行合成，从而生成合成图像。

例如，如图2所示，显示生成部16对显示监视对象B1的特征图像a2、显示监视对象的背景的背景图像a1进行合成而生成合成图像。

此外，本实施方式能够应用于对在工厂中生产产品的情况下的生产线进行监视的领域。因此，例如，如图2所示，监视对象为所生产的商品、背景图像为皮带输送机等生产线。

显示部17由液晶显示装置或有机EL(Electro Luminescence)显示装置构成。操作部11和显示部17也可以通过将接收用户操作的操作功能、显示操作画面的显示功能一体化后的操作显示部构成。

在本实施方式中，由于数据处理装置1对影像数据进行选择，对从构成选择出的影像数据的多个图像各自提取出的特征图像进行合成而生成合成图像，因此能够将多个特征图像汇集而表示为一个合成图像。

由于用户通过对合成了多个特征图像的合成图像进行确认，从而不对影像数据进行全部播放，就能够掌握监视对象的移动状况，因此能够以短时间完成监视对象的确认工作。

这里，对数据处理部14的具体的结构进行说明。图3是表示数据处理部14结构的图。图4是用于说明从构成影像数据的图像提取特征图像的具体例的图。数据处理部14具备：取得部21，其在拍摄了影像数据时或拍摄了影像数据后取得表示监视对象的状态的事件信息；以及提取部22，其基于由取得部21取得的事件信息，对构成影像数据的图像进行选择，从选择出的图像提取特征图像。

具体而言，提取部22在与取得了事件信息的时刻相同的时刻对拍摄后的图像进行选择。即，提取部22基于取得了事件信息的时刻对图像进行检索，从检索出的图像中对图像进行选择。另外，在通过从拍摄装置连接部13发送的触发信号进行了拍摄的情况下，提取部22也可以基于触发信号对图像进行检索，从检索出的图像中对图像进行选择。如图4所示，提取部22从选择出的图像A1提取对监视对象B1进行显示的部分的图像即特征图像a1。另外，提取部22将影像数据、特征图像、事件信息输出至存储部15。存储部15将影像数据、特征图像、事件信息相关联地保存。

这里，使用图5所示的流程图对通过取得部21取得事件信息的顺序进行说明。

在步骤S1中，操作部11接收设定信息。设定信息为表示取得事件信息的定时的信息。取得部21取得事件信息的定时能够根据设定信息的内容而任意地设定。例如，取得的定时可以是拍摄装置3开始进行影像数据拍摄的时刻、正在进行影像数据拍摄的时刻、结束了影像数据拍摄的时刻、预先确定好的周期、多比特(bit)条件等。此外，多比特条件是指下述条件，即，对在PLC等外部装置2中预先设定好的多个比特的上升及下降状态即比特的变化进行监视，根据由使用了该多个比特的逻辑运算得到的结果而对取得事件信息的定时进行规定。例如，也可以是PLC等外部装置2进行上述逻辑运算，数据处理装置1的取得部21基于从PLC等外部装置2取得的逻辑运算的结果，对取得事件信息的定时进行规定。另外，也可以是数据处理装置1的取得部21从PLC等外部装置2接收多个比特，使用接收到的多个比特而进行逻辑运算，基于该逻辑运算的结果，对取得事件信息的定时进行规定。操作部11将设定信息输出至取得部21。

在步骤S2中，取得部21将设定信息输出至存储部15。

在步骤S3中，取得部21基于设定信息，对是否变为取得事件信息的定时进行判断。取得部21在判断出变为取得事件信息的定时的情况下(步骤S3Yes)，进入步骤S4，在判断出没有变为取得事件信息的定时的情况下(步骤S3No)，重复步骤S3的工序。

在步骤S4中，取得部21向外部装置2请求事件信息的发送，从外部装置2取得事件信息。

接着，使用图6所示的流程图对通过提取部22从构成影像数据的图像提取特征图像的顺序进行说明。

在步骤S11中，拍摄装置3经由拍摄装置连接部13将影像数据输出至提取部22。影像数据由多个图像构成。

在步骤S12中，提取部22基于由取得部21取得的事件信息，对构成影像数据的图像进行选择。

在步骤S13中，提取部22基于选择出的图像，对图像内的存在动作的图像区域进行确定。图像由多个像素构成。

这里，图像内的存在动作的图像区域的确定例如如日本特开昭54-124927号公报所记载的那样，存在利用动作矢量的方法。

在日本特开昭54-124927号公报所记载的方法中，在构成影像数据的图像中对任意大小的区块a进行规定，在图像A的前一个图像B的任意场所对与区块a相同大小的区块b进行规定，对构成区块b的像素的亮度值与构成区块a的像素的亮度值的差分进行计算。另外，在图像B内对区块b的场所进行依次变更，对变更后的场所中的构成区块b的像素的亮度值与构成区块a的像素的亮度值的差分进行计算。对计算出的差分中最小差分的区块b进行确定。可以推定确定出的区块b是与图像A的区块a相同的图像部分。然后，基于确定出的区块b的位置矢量与区块a的位置矢量的差，对动作矢量进行计算。

提取部22基于动作矢量对存在动作的图像区域进行确定。例如，提取部22可以在计算出的动作矢量的大小比一定值大的情况下，确定为是存在动作的图像区域。在确定出的图像区域中包含监视对象。

在步骤S14中，提取部22基于确定出的图像区域，从图像提取特征图像。

此外，以上，对从与取得了事件信息的定时对应的图像提取特征图像的动作进行了说明，但并不限于该动作。例如，作为本实施方式的变形例，数据处理装置1也可以是如下结构，即，对事件信息进行选择，基于选择出的事件信息对图像进行选择，从选择出的图像提取特征图像，对提取出的特征图像进行合成而生成合成图像。具体而言，由取得部21取得的事件信息的一览存储于存储部15。显示部17对事件信息的一览进行显示。用户基于显示部17所显示的事件信息，对操作部11进行操作而对任意事件信息进行选择。提取部22基于选择出的事件信息对对应的图像进行提取。

操作部11接收对通过取得部21取得的事件信息的选择。图7示出在显示部17对多个事件信息，即在存储部15存储的事件信息的一览进行显示的情况。拍摄装置3也可以将拍摄了影像数据的时刻的信息、设置了拍摄装置3的场所的信息、及给予拍摄装置3的固有ID与影像数据一起，发送至数据处理装置1。另外，在显示部17中，不仅对事件信息，还可以对拍摄了影像数据的时刻的信息、设置了拍摄装置3的场所的信息、及给予拍摄装置3的固有ID进行显示。

具体而言，用户基于显示部17所显示的画面，对操作部11进行操作，对一个或多个事件信息进行选择。

提取部22基于由操作部11接收到的事件信息，对构成影像数据的图像进行选择，从选择出的图像提取特征图像。

具体而言，提取部22从存储部15读出与选择出的事件信息相关联的影像数据，基于事件信息，从构成读出的影像数据的图像中对图像进行选择，从选择出的图像提取特征图像。提取部22将提取出的特征图像输出至显示生成部16。

此外，提取部22也可以是直接从存储部15读出与选择出的事件信息对应的特征图像，将读出的特征图像输出至显示生成部16的结构。

显示生成部16对多个特征图像进行合成而生成合成图像。

因此，数据处理装置1基于由用户任意选择出的事件信息，生成将多个特征图像合成后的合成图像，因此能够掌握确定的监视对象的移动状况，能够以短时间完成确定的监视对象的确认工作。

另外，取得部21取得对特征图像进行加工的加工信息。具体而言，用户对操作部11进行操作而对影像数据进行选择，将加工信息设定于选择出的影像数据。取得部21从操作部11取得设定好的加工信息。此外，加工信息也可以从与外部装置连接部12连接的外部装置2即终端装置输入。取得部21将取得的加工信息输出至存储部15。存储部15将加工信息与对应的影像数据相关联地保存。

加工信息为表示通过图像处理对特征图像的监视对象进行加工的内容的信息。在加工信息中包含对监视对象的浓淡进行校正的浓淡校正值，对监视对象的色调进行校正的色调校正值、及表示动作矢量的大小的值的任意一个或多个。

数据处理部14具备基于加工信息而对特征图像进行加工的加工部23。

这里，对加工部23的具体的动作进行说明。在通过操作部11接收到播放对象的影像数据的选择的情况下，加工部23从存储部15读出与该影像数据相关联的特征图像和加工信息。

加工部23在加工信息包含浓淡校正值的情况下，基于该浓淡校正值，对监视对象的浓淡进行校正。

另外，加工部23在加工信息包含色调校正值的情况下，基于该色调校正值，对监视对象的色调进行校正。

另外，加工部23在加工信息包含表示动作矢量的大小的值的情况下，从特征图像中，对超过该值的大小的动作矢量的特征图像进行选择。

另外，数据处理部14具备：图像生成部24，其从存储部15读出事件信息，将读出的事件信息转换为图像而生成事件信息图像；以及追加部25，其将事件信息图像追加于特征图像的监视对象。

例如，如上所述，将事件信息储存于构成图像的索引部。图像生成部24从构成图像的索引部读出事件信息，将读出的事件信息转换为图像而生成事件信息图像。追加部25将事件信息图像追加于从读出了事件信息的图像提取出的特征图像。

具体而言，图像生成部24在通过操作部11接收到播放对象的影像数据的选择的情况下，从存储部15读出与该影像数据相关联的事件信息。图像生成部24将文本数据即事件信息转换为图像，生成事件信息图像。

另外，取得部21取得指示信息，该指示信息对将事件信息图像追加于特征图像的监视对象时的方法进行指示。追加部25基于指示信息，将事件信息图像追加于特征图像的监视对象。

例如，在指示信息为“将事件信息图像追加于监视对象的上侧”的情况下，追加部25如图8所示，将事件信息图像C追加于监视对象B的上侧。此外，追加事件信息图像的位置并不限于监视对象的上侧，可以是监视对象的右侧、监视对象的左侧、或监视对象的下侧等，也可以使其重叠于监视对象的正面。另外，在图8中示出包含事件ID和时刻信息的事件信息图像，但作为一个例子，也可以包含其它信息。另外，用户也能够对操作部11进行操作，任意地选择事件信息图像所包含的信息。

这里，使用图9所示的流程图对在通过操作部11对影像数据进行选择后，直至将合成图像显示于显示部17为止的顺序进行说明。

在步骤S21中，操作部11接收影像数据的选择。具体而言，用户对操作部11进行操作，从显示于显示部17的多个影像数据中对一个或多个影像数据进行选择。

在步骤S22中，加工部23从存储部15读出与接收到的影像数据相关联的特征图像、事件信息、加工信息。

在步骤S23中，加工部23基于加工信息对特征图像进行加工。加工部23在加工信息包含浓淡校正值的情况下，基于该浓淡校正值，对监视对象的浓淡进行校正。加工部23在加工信息包含色调校正值的情况下，基于该色调校正值，对监视对象的色调进行校正。加工部23在加工信息包含表示动作矢量的大小的值的情况下，对与超过该值的大小的动作矢量对应的特征图像进行选择。

在加工信息将浓淡校正值、色调校正值、表示动作矢量的大小的值全部包含在内的情况下，追加部25对与超过该值的大小的动作矢量对应的特征图像进行选择。然后，追加部25基于浓淡校正值，对选择出的特征图像的监视对象的浓淡进行校正。追加部25基于色调校正值，对选择出的特征图像的监视对象的色调进行校正。

在步骤S24中，图像生成部24从存储部15读出与通过步骤S21的工序接收到选择的影像数据相关联的事件信息，将读出的事件信息转换为图像而生成事件信息图像。

在步骤S25中，追加部25将事件信息图像追加于特征图像的监视对象。在加工信息包含指示信息的情况下，追加部25基于指示信息，将事件信息图像追加于特征图像的监视对象。此外，在加工信息不包含指示信息的情况下，追加部25将事件信息图像追加于预先规定的位置。预先规定的位置为例如监视对象的右侧。

另外，在步骤S21的工序中，在通过操作部11接收到多个影像数据的选择的情况下，针对各个接收到的影像数据重复步骤S22的工序至步骤S25的工序。

在步骤S26中，显示生成部16通过对在步骤S25的工序中追加了事件信息图像的特征图像、显示监视对象的背景的图像进行合成，从而生产合成图像。

由此，数据处理装置1对影像数据进行选择，从构成选择出的影像数据的图像，对追加了事件信息图像的特征图像进行合成而生成合成图像，因此能够将追加了事件信息图像的特征图像汇集为一个合成图像而表示。

由于用户通过对合成图像进行确认，从而不对影像数据进行全部播放，就能够掌握监视对象的移动状况，因此能够以短时间完成监视对象的确认工作。

此外，在本实施方式中，对在将事件信息图像追加于特征图像后，生成合成图像的动作进行了说明，但并不限于该动作。显示生成部16也可以对多个特征图像进行合成而生成合成图像，之后，将事件信息图像追加于合成图像所包含的特征图像。具体而言，在该情况下，数据处理装置1如图10所示，具备生成合成图像的显示生成部31。显示生成部31具备：合成部32，其对多个特征图像进行合成而生成合成图像；以及追加部25，其将事件信息图像追加于通过合成部32合成后的合成图像所包含的特征图像。即，在图10所示的结构例中，数据处理部14为不具备追加部25的结构。

下面，对选择影像数据，将事件信息图像追加于特征图像，直至生成合成图像为止的顺序进行说明。

图11示出在显示部17对多个影像数据的样本用图像进行显示的情况。影像数据的样本用图像为将构成影像数据的一个图像的大小缩小而生成的图像。

用户基于显示部17所显示的样本用图像，对操作部11进行操作，对一个或多个影像数据进行选择。下面，假定选择了影像数据E1的情况而进行说明。

影像数据E1如图12所示，由多个图像A11、A12、A13构成，为对在皮带输送机X之上输送监视对象B1、B2、B3的情况进行拍摄的影像数据。此外，监视对象B1、B2、B3为在皮带输送机X之上输送的相同产品。

图13表示由多个特征图像构成的特征图像组E1′。如图13所示，提取部22基于事件信息从图像A11提取对监视对象B1进行显示的部分的图像即特征图像a11，基于事件信息从图像A12提取对监视对象B2进行显示的部分的图像即特征图像a12，基于事件信息从图像A13提取对监视对象B3进行显示的部分的图像即特征图像a13。

图14示出由追加了事件信息图像的多个特征图像构成的特征图像组E1′。如图14所示，追加部25将事件信息图像C1追加于特征图像a11的监视对象B1，将事件信息图像C2追加于特征图像a12的监视对象B2，将事件信息图像C3追加于特征图像a13的监视对象B3。

显示生成部16通过对特征图像a11、特征图像a12、特征图像a13、显示监视对象的背景的图像进行合成，从而生成合成图像D。如图15所示，在合成图像D中包含追加了事件信息图像C1的监视对象B1、追加了事件信息图像C2的监视对象B2、追加了事件信息图像C3的监视对象B3。

由此，数据处理装置1对影像数据进行选择，从构成选择出的影像数据的图像，对在监视对象上追加了事件信息图像的特征图像进行合成而生成合成图像，因此能够将特征图像汇集为一个合成图像而表示。

由于用户通过对合成图像进行确认，从而不对影像数据进行全部播放，就能够掌握监视对象的移动状况，因此能够以短时间完成监视对象的确认工作。

下面，对选择多个影像数据，直至生成合成图像为止的顺序进行说明。此外，下面，假定对监视对象进行拍摄时的拍摄装置3的拍摄角度相同，但选择出分别对在不同的皮带输送机之上输送的监视对象进行拍摄得到的影像数据E2和影像数据E3的情况而进行说明。如图16所示，影像数据E2由多个图像A11、A12、A13构成，是对从皮带输送机X1向皮带输送机X2输送监视对象B11、B12、B13的情况进行了拍摄的影像数据。此外，监视对象B11、B12、B13为在皮带输送机X1、X2之上输送的相同产品。

如图17所示，影像数据E3由多个图像A21、A22、A23构成，是对从皮带输送机X3向皮带输送机X2输送监视对象B21、B22、B23的情况进行了拍摄的影像数据。此外，监视对象B21、B22、B23为在皮带输送机X2、X3之上输送的相同产品。

图18表示由多个特征图像构成的特征图像组E2′。如图18所示，提取部22基于事件信息从图像A11提取对监视对象B11进行显示的部分的图像即特征图像a11，基于事件信息从图像A12提取对监视对象B12进行显示的部分的图像即特征图像a12，基于事件信息从图像A13提取对监视对象B13进行显示的部分的图像即特征图像a13。

图19表示由多个特征图像构成的特征图像组E3′。另外，如图19所示，提取部22基于事件信息从图像A21提取对监视对象B21进行显示的部分的图像即特征图像a21，基于事件信息从图像A22提取对监视对象B22进行显示的部分的图像即特征图像a22，基于事件信息从图像A23提取对监视对象B23进行显示的部分的图像即特征图像a23。

图20示出由追加了事件信息图像的多个特征图像构成的特征图像组E2′。如图20所示，追加部25将事件信息图像C11追加于特征图像a11的监视对象B11，将事件信息图像C12追加于特征图像a12的监视对象B12，将事件信息图像C13追加于特征图像a13的监视对象B13。

图21示出由追加了事件信息图像的多个特征图像构成的特征图像组E3′。如图21所示，追加部25将事件信息图像C21追加于特征图像a21的监视对象B21，将事件信息图像C22追加于特征图像a22的监视对象B22，将事件信息图像C23追加于特征图像a23的监视对象B23。

显示生成部16通过对特征图像a11、特征图像a12、特征图像a13、特征图像a21、特征图像a22、特征图像a23、显示监视对象的背景的图像进行合成，从而生成合成图像D。如图22所示，在合成图像D中包含追加了事件信息图像C11的监视对象B11、追加了事件信息图像C12的监视对象B12、追加了事件信息图像C13的监视对象B13、追加了事件信息图像C21的监视对象B21、追加了事件信息图像C22的监视对象B22、追加了事件信息图像C23的监视对象B23。

此外，以上，对从两个影像数据E2、E3生成一个合成图像D的顺序进行了说明，但也可以从大于或等于三个影像数据生成一个合成图像。

因此，数据处理装置1对多个影像数据进行选择，从构成选择出的多个影像数据的图像，对追加了事件信息图像的特征图像进行合成而生成合成图像，因此能够将多个影像数据的特征图像汇集为一个合成图像而表示。

由于用户通过对合成图像进行确认，从而不对多个影像数据各自进行播放，就能够掌握监视对象的移动状况，因此能够以短时间完成监视对象的确认工作。

另外，由于数据处理装置1对从多个影像数据各自生成的合成图像进行合成，因此不需要将多个影像数据并列地显示，能够将显示部17小型化，能够将装置整体小规模化。

另外，由于数据处理装置1将事件信息追加于从影像数据提取出的特征图像而生成合成图像，因此能够容易地掌握各个影像数据的差异和状况。

另外，由于数据处理装置1将事件信息显示于特征图像，因此状况的掌握变得容易。此外，在图22所示的例子中，将事件信息图像的全部追加于特征图像，但并不限于此。例如，也可以在显示画面中不对事件信息图像的一部分或全部进行显示，而是采用在按照鼠标等指点设备的操作将在显示画面上移动的光标重叠于特征图像时，将事件信息图像以弹出状显示的方式。

图23是表示数据处理装置1的硬件结构例的图。数据处理装置1为计算机，具备通信电路101、处理器102、存储器103、显示部104及输入部105。图1所示的外部装置连接部12及拍摄装置连接部13由通信电路101实现。

图1所示的数据处理部14及显示生成部16通过由处理器102执行在存储器103储存的程序而实现。图1所示的存储部15由存储器103实现。

处理器102为例如CPU、微处理器等，为处理电路。存储器103也用作由处理器102执行程序时的存储区域。

图1所示的操作部11由输入部105实现。图1所示的显示部17由显示部104实现。输入部105为键盘、鼠标等。显示部104为显示器、监视器等。显示部104及输入部105也可以由将它们一体化的触摸面板实现。

以上的实施方式所示的结构表示的是本发明的内容的一个例子，也可以与其它的公知的技术组合，在不脱离本发明的主旨的范围，也可以对结构的一部分进行省略、变更。

标号的说明

1数据处理装置，2外部装置，3拍摄装置，11操作部，12外部装置连接部，13拍摄装置连接部，14数据处理部，15存储部，16、31显示生成部，17显示部，21取得部，22提取部，23加工部，24图像生成部，25追加部。

Claims (10)

1.一种数据处理装置，其特征在于，具备：

数据处理部，其从构成影像数据的图像提取对监视对象进行显示的多个特征图像；以及

显示生成部，其对通过所述数据处理部从构成所述影像数据的图像提取出的多个所述特征图像进行合成而生成合成图像。

2.根据权利要求1所述的数据处理装置，其特征在于，

所述数据处理部具备：

取得部，其取得事件信息，所述事件信息表示对构成所述影像数据的图像进行拍摄的时间内的所述监视对象的状态；以及

提取部，其基于通过所述取得部取得的所述事件信息，对构成所述影像数据的图像进行选择，从选择出的图像提取所述特征图像。

3.根据权利要求2所述的数据处理装置，其特征在于，

具备操作部，该操作部接收由所述取得部取得的所述事件信息的选择，

所述提取部基于由所述操作部接收到的所述事件信息，对构成所述影像数据的图像进行选择，从选择出的图像提取所述特征图像。

4.根据权利要求2或3所述的数据处理装置，其特征在于，

所述取得部取得对所述特征图像进行加工的加工信息，

所述数据处理部具备加工部，该加工部基于所述加工信息，对所述特征图像进行加工。

5.根据权利要求2至4中任一项所述的数据处理装置，其特征在于，

所述数据处理部具备：

图像生成部，其将由所述取得部取得的所述事件信息转换为图像而生成事件信息图像；以及

追加部，其将所述事件信息图像追加于所述特征图像。

6.根据权利要求1所述的数据处理装置，其特征在于，

所述数据处理部具备：

取得部，其取得事件信息，所述事件信息表示对构成所述影像数据的图像进行拍摄的时间内的所述监视对象的状态；

图像生成部，其将由所述取得部取得的所述事件信息转换为图像而生成事件信息图像；以及

追加部，其将所述事件信息图像追加于所述特征图像。

7.根据权利要求1所述的数据处理装置，其特征在于，

所述数据处理部具备：

取得部，其取得事件信息，所述事件信息表示对构成所述影像数据的图像进行拍摄的时间内的所述监视对象的状态；以及

图像生成部，其将由所述取得部取得的所述事件信息转换为图像而生成事件信息图像，

所述显示生成部具备追加部，该追加部将所述事件信息图像追加于所述合成图像所包含的所述特征图像。

8.根据权利要求5至7中任一项所述的数据处理装置，其特征在于，

所述取得部取得指示信息，该指示信息对将所述事件信息图像追加于所述特征图像时的方法进行指示，

所述追加部基于所述指示信息，将所述事件信息图像追加于所述特征图像。

9.一种可编程显示器，其特征在于，

具备权利要求1至8中任一项所述的数据处理装置。

10.一种数据处理方法，其特征在于，具备：

数据处理工序，从构成影像数据的图像提取对监视对象进行显示的多个特征图像；以及

显示生成工序，对通过所述数据处理工序从构成所述影像数据的图像提取出的多个所述特征图像进行合成而生成合成图像。