CN107209922B - 图像处理设备、图像处理系统、和图像处理方法 - Google Patents

Abstract

图像处理设备包括：显示单元，其显示第一显示区域和第二显示区域，第一显示区域用于显示静止图像，该静止图像用作将图像捕获单元定位在预定的图像捕获位置的参考，第二显示区域用于显示通过图像捕获单元捕获的视频图像数据；存储单元，其存储表示视频图像数据经历图像判定的判定区域与设置在第一显示区域中的第一参考区域之间的位置关系的信息；确定单元，其执行第一匹配操作，以在显示在第二显示区域中的视频图像数据的帧中搜索与第一参考区域的图像匹配的图像，并且将匹配图像的区域确定为第二参考区域；以及修正单元，其基于第一显示区域中的第一参考区域与在第二显示区域中的第二参考区域之间的偏移程度，来修正判定区域的位置，并且信息存储在所述存储单元中并且表示位置关系。

Description

图像处理设备、图像处理系统、和图像处理方法

技术领域

本发明涉及信息处理设备、信息处理系统和信息处理方法。

背景技术

近来，图像监视系统的发展是非常显着的，其中分析通过诸如摄像机的成像设备记录视频而获得的视频数据，并且执行对于物体的检测、视频上物体的移动或异常的检测等。这样的图像监视系统例如应用于产品的生产线等。在生产过程中，特别是在进行少量且多种类型的生产的情况下，存在在相同生产过程中生产不同产品的情况。在同一生产过程中生产不同产品的情况下，需要所谓的设置变更，其中合并部件的夹具等切换到不同的夹具等，生产中使用的数据处理被不同的数据等所替代。如上所述，在将图像监视系统应用于生产线的情况下，存在着在执行设置变更操作时，需要变更图像监视的异常检测等中所使用的相机的设置等的情况。

已经提出了一种系统，其中在生产过程中这样的设置变更中变更异常检测目标的情况下，变更所设置的相机的焦点而不进行物理地移动图像监视系统的相机的设置位置，并且因此变更相机的设置(参照专利文献1)。

发明内容

技术问题

然而，在专利文献1所述的技术中，在设置变更中，在生产过程中的异常检测目标发生变更的情况下，需要通过移动相机的设置来执行瞄准，存在着如下问题：仅通过变更聚焦无法解决该问题。

考虑到上述情况而做出本发明，并且本发明的目的在于提供图像处理设备、图像处理系统和图像处理方法，其中相机能够易于设置在正确的变更位置。问题的解决方案

为了解决上述问题并且实现目的，本发明包括：显示部，其用于显示第一显示区域和第二显示区域，所述第一显示区域显示作为将成像部匹配到预定成像位置的参考的静止图像，所述第二显示区域显示通过所述成像部进行成像的视频数据；存储部，其存储表示判定区域与设置在所述第一显示区域中的第一参考区域之间的位置关系的信息，其中的判定区域是针对所述成像部所成像的视频数据执行的图像判定的目标；确定部，其用于在显示在所述第二显示区域上的视频数据的帧中，执行搜索与所述第一参考区域的图像一致的图像的第一匹配操作，并且将一致图像的区域确定为第二参考区域；以及修正部，其用于基于所述第一参考区域在所述第一显示区域中的位置与所述第二参考图像在所述第二显示区域的位置之间的偏移量，来修正所述判定区域的位置，并且表示位置关系的信息被存储在所述存储部中。

本发明的有益效果

根据本发明，能够易于将相机设置在正确的变更位置。

附图说明

图1是示出根据实施例的图像处理系统的总体配置的示例的示意图。

图2是示出根据实施例的信息处理设备的硬件配置的示例的示意图。

图3是示出根据实施例的信息处理设备的功能块的配置的示例的示意图。

图4是示出显示在主屏幕上的多个实时视频的示例的示意图，其中的主屏幕显示在根据实施例的信息处理设备的显示设备上。

图5是示出存储设备的目录结构的示例的示意图，其表示在根据本实施例的信息处理设备中针对每个设置号来管理设置信息。

图6是示出将视频数据显示在设置屏幕上的状态的示例的示意图，其中的设置屏幕显示在根据本实施例的信息处理设备的显示设备上。

图7是示出在设置屏幕上的设置视频显示部中指明基础区域的示例的示意图，其中的设置屏幕显示在根据本实施例的信息处理设备的显示设备上。

图8是示出在设置屏幕上的设置视频显示部中指明触发区域的示例的示意图，其中的设置屏幕显示在根据本实施例的信息处理设备的显示设备上。

图9是示出在设置屏幕上的触发区域观察到变化点的情况下标记显示的示例的示意图，其中的设置屏幕显示在根据本实施例的信息处理设备的显示设备上。

图10是示出在触发区域中检测变化点的操作的示意图。

图11是示出在设置屏幕上的触发区域观察到两个变化点的情况下所显示的对话的示例的示意图，其中的设置屏幕显示在根据本实施例的信息处理设备的显示设备上。

图12是示出在设置屏幕上的触发区域未观察到变化点的情况下所显示的对话的示例的示意图，其中的设置屏幕显示在根据本实施例的信息处理设备的显示设备上。

图13是示出在设置屏幕上的设置视频显示部中指明检测区域的示例的示意图，其中的设置屏幕显示在根据本实施例的信息处理设备的显示设备上。

图14是示出在设置屏幕上的设置视频显示部中指明第二检测区域的示例的示意图，其中的设置屏幕显示在根据本实施例的信息处理设备的显示设备上。

图15是示出在设置屏幕上对于设置视频显示部中所指明的检测区域的属性信息进行设置的示例的示意图，其中的设置屏幕显示在根据本实施例的信息处理设备的显示设备上。

图16是示出无法获取在主屏幕上所指明的设置号的情况下显示的对话的示例的示意图，其中的主屏幕显示在根据本实施例的信息处理设备的显示设备上。

图17是示出将参考静态图像和实时视频显示在设置变更屏幕上的状态的示例的示意图，其中的设置变更屏幕显示在根据本实施例的信息处理设备的显示设备上。

图18是示出设置相机使得实时视频与设置变更屏幕上的参考静态图像匹配的状态的示例的示意图，其中的设置变更屏幕显示在根据本实施例的信息处理设备的显示设备上。

图19是示出在设置变更屏幕上的实时视频的匹配操作期间所显示的对话的示例的示意图，其中的设置变更屏幕显示在根据本实施例的信息处理设备的显示设备上。

图20是示出在设置变更屏幕上的实时视频中无法执行匹配的情况的状态的示例的示意图，其中的设置变更屏幕显示在根据本实施例的信息处理设备的显示设备上。

图21是示出在设置变更屏幕上的实时视频中从显示帧突出另一设置区域的情况的状态的示例的示意图，其中的设置变更屏幕显示在根据本实施例的信息处理设备的显示设备上。

图22是示出在设置变更屏幕上的实时视频中能够执行匹配的情况下所显示的对话的示例的示意图，其中的设置变更屏幕显示在根据本实施例的信息处理设备的显示设备上。

图23是示出在设置变更屏幕上针对最后检查的匹配操作期间所显示的对话的示例的示意图，其中的设置变更屏幕显示在根据本实施例的信息处理设备的显示设备上。

图24是示出由于在设置变更屏幕上针对最后检查的匹配操作而无法执行匹配的情况下的状态的示例的示意图，其中的设置变更屏幕显示在根据本实施例的信息处理设备的显示设备上。

图25是示出在设置变更屏幕上用于促使下一个相机的设置变更所显示的对话的示例的示意图，其中的设置变更屏幕显示在根据本实施例的信息处理设备的显示设备上。

图26是示出在设置变更屏幕上结束设置变更的情况下所显示的对话的示例的示意图，其中的设置变更屏幕显示在根据本实施例的信息处理设备的显示设备上。

图27是示出在主屏幕上结束设置变更之后的状态的示例的示意图，其中的主屏幕显示在根据本实施例的信息处理设备的显示设备上。

图28是示出在设置变更屏幕上进行的设置变更操作的示例的流程图，其中的设置变更屏幕显示在根据本实施例的信息处理设备的显示设备上。

具体实施方式

下面，将参考附图详细描述根据本发明的图像处理设备、图像处理系统和图像处理方法的实施例。另外，本发明不限于下面的实施例，并且下面的实施例中的构成要素包括本领域技术人员能够易于想到的构成要素，基本相同的构成要素，以及所谓的等同物范围内的构成要素。此外，在不脱离下面的实施例的主旨的范围内，能够对于构成要素执行各种省略、替换、改变和组合。

(图像形成系统的总体配置)

图1是示出根据实施例的图像处理系统的总体配置的示例的示意图。将参考图1来描述本实施例的图像处理系统1的总体配置。

如图1所示，本实施例的图像处理系统1包括成像设备2a至2f(成像单元)、信息处理设备3、以及网络4。

成像设备2a至2f是如下的摄像机：将来自对象的光转换为电信号，然后对该对象进行成像(拍摄)，并且生成视频数据，该视频数据是由多个帧(图像数据)形成的移动图像(例如，10[FPS])。例如，成像设备2a至2f对生产产品的生产设施、生产线等进行成像，并且生成视频数据，用于检测工件的异常，其中的工件是制造产品。

此外，在不需要对于成像设备2a至2f进行相互区分的情况下，或者在成像设备2a至2f被统称的情况下，成像设备2a至2f被简称为“成像设备2”。另外，在图1中，图像处理系统1包括六个成像设备2，但是不限于此，并且可以包括其他数量的成像设备2。

信息处理设备3是个人计算机(PC)、工作站等，其用作基于成像设备2所成像的视频数据来执行图像判定的图像处理设备。另外，信息处理设备3连接到诸如生产设施的外部设备10，从而例如通过现场总线标准进行相互通信。下面将描述信息处理设备3的设置变更操作。

网络4例如是用于将成像设备2a至2f与信息处理设备3相互连接的以太网(注册商标)标准的网络。在此情况下，在网络4中，通过诸如传输控制协议(TCP)/互联网协议(IP)的协议来执行数据通信。另外，在此情况下，在成像设备2a至2f和信息处理设备3中，提供用于利用诸如TCP/IP的协议进行通信的媒体访问控制(MAC)地址，并且分配诸如私人IP地址的IP地址。另外，网络4的具体配置例如包括星形布线形式，其中成像设备2a至2f和信息处理设备3中的每一个通过作为示例的局域网(LAN)线缆连接到包括多个端口的交换式集线器。

此外，将描述图1中所示的网络4通过TCP/IP来执行通信的示例，但是不限于此，并且例如可以采用如下的形式或类似形式：在信息处理设备3侧提供多个视频图形阵列(VGA)终端或者通用串行总线(USB)端口，并且多个成像设备2通过VGA线缆或USB线缆连接到信息处理设备3。

(信息处理设备的硬件配置)

图2是示出根据本实施例的信息处理设备的硬件配置的示意图。将参考图2来描述本实施例的信息处理设备3的硬件配置。

如图2中所示，信息处理设备3包括中央处理器(CPU)101、只读存储器(ROM)102、随机存取存储器(RAM)103、外部存储设备104、显示器105、网络接口106、键盘107、鼠标108、数字多功能光盘(DVD)驱动器109、以及外部设备接口111。

CPU 101是控制信息处理设备3的整体操作的设备。ROM 102是存储针对信息处理设备3的程序的非易失性存储设备。RAM 103是作为CPU 101的工作区域来使用的易失性存储设备。

外部存储设备104是存储诸如成像设备2所成像的视频数据和设置信息的存储设备，诸如硬盘驱动器(HDD)或固态驱动器(SSD)。

显示器105是显示诸如光标、菜单、窗口、字符或图像的各种信息项目，或者用于执行信息处理设备3的图像判定处理或设置变更操作的应用的屏幕的显示设备。显示器105例如是阴极射线管(CRT)显示器、液晶显示器、等离子体显示器、有机电致发光(EL)显示器等。此外，显示器105例如通过VGA线缆、高清多媒体接口(HDMI：注册商标)线缆等连接到信息处理设备3的主体，或者通过以太网线缆连接到信息处理设备3的主体。

网络接口106是通过被连接到网络4来执行数据通信的接口。网络接口106例如是能够在诸如TCP/IP的协议中执行通信的网络接口卡(NIC)。具体地，信息处理设备3通过网络4和网络接口106从成像设备2获取视频信息。

键盘107执行如下操作的输入设备：字符、数据和各种指令的选择，光标的移动，设置信息和设置号(设置识别信息)的设置，其中的设置号(设置识别信息)是在设置变更操作等中区分产品或设置信息的项目号等。此外，设置号不限于仅由数字进行配置的设置号，并且可以是其中组合字母数字字符、符号等的设置号。鼠标是用于执行如下操作的输入设备：各种指令的选择和执行，处理目标的选择，光标的移动，设置信息的设置等。

DVD驱动器109是如下的设备：从作为可拆卸存储介质的示例的DVD 10读取数据，将数据写入DVD，以及从DVD删除数据。

外部接口111是通过被连接到外部设备10来执行数据通信的接口。外部接口111例如是能够在现场总线标准中执行通信的接口卡。具体地，信息处理设备3通过外部设备接口111执行关于外部设备10的数据通信。

上述的CPU 101、ROM 102、RAM 103、外部存储设备104、显示器105、网络接口106、键盘107、鼠标109以及外部设备接口111通过诸如地址总线和数据总线的总线112相互连接从而进行相互通信。此外，在通过以太网线缆进行连接的情况下，显示器105连接到网络接口106，并且在此情况下，通过诸如TCP/IP的协议来执行数据通信。

(信息处理设备的块配置)

图3是示出根据本实施例的信息处理设备的功能块的配置的示例的示意图。将参考图3来描述信息处理设备3的块配置。

如图3中所示，信息处理设备3包括：视频接收部301、存储部302(存储单元)、输入部303(输入单元)、第一再现部304、触发区域指明部305、变化点检测部306、检测区域指明部307、设置部308、视频分配部312、触发生成部313、检测区域判定部314、显示控制部315、外部输出部316、显示部317(显示单元)、消息控制部321、视频显示部322、基础区域指定部323(指定单元)、图像提取部324、静态判定部325(判定单元)、基础区域确定器326(确定单元和修正单元)、设置控制部327(控制单元)、以及基础区域指明部331。

视频接收部301是通过网络4执行关于成像设备2的数据通信并且从成像设备2接收视频数据的功能部。视频接收部301将接收到的视频数据存储在存储部302中。视频接收部301通过图2中所示的接口接口106来实现。此外，在图3中，为了简化描述，未示出网络4。

存储部302是存储从视频接收部301接收到的视频数据、各种设置信息项目等的存储设备。存储部302通过识别视频数据由哪个成像设备生成来存储从视频接收部301接收到的视频信息。存储部302例如由图2中所示的RAM 103或外部存储设备104来实现。

输入部303是执行对于信息处理设备3所执行的图像判定处理和设置变更操作的操作输入的设备。输入部303由图2中所示的键盘107和鼠标108来实现。

第一再现部304是执行如下操作的功能部：根据来自用户进行操纵的输入部303的操纵信号，将从存储部302获取的视频数据发送到显示控制部315，并且针对显示控制部315将视频数据重新并且显示在显示部317上。具体地，第一再现部304在设置屏幕500的设置视频显示部502上重新并且显示视频数据，其中的设置视频显示部502显示在下面图6等中所描述的显示部317上。第一再现部304由图2中所示的CPU 101所执行的程序来实现。

触发区域指明部305是根据来自用户所操纵的用户部303的操纵信号来指明触发区域的功能部，该触发区域确定显示部317(下面图6等中所描述的设置视频显示部502)的视频数据的显示区域中的触发定时。触发区域指明部305如下所描述将所被指明的触发区域的信息与设置号相关联地存储在存储部302中。另外，触发区域的信息例如是诸如表示触发区域在视频数据的显示区域中的位置的坐标和触发区域的形状的信息。触发区域指明部305由图2中所示的CPU 101所执行的程序来实现。

在由触发区域指明部305指明触发区域的情况下，变化点检测部306是如下的功能部：获取由第一再现部304在指明时间点再现并且显示的视频数据的帧的时刻之前和之后的预定时间的帧，并且在获取的帧中，针对每个帧计算该帧与紧前的帧的像素值的差异，并且基于计算出的差异来检测触发区域内关于图像的变化点。下面将描述变化点。在差异的计算方法中，例如将两帧的触发区域中的像素值相互比较，并且将具有彼此相差大于或等于预定灵敏度的像素值的像素总数计算为差异。此外，在帧是灰度阶中的图像的情况下，像素值与亮度值一致，并且因此，两帧中的触发区域中的亮度值可以相互比较，并且具有相差大于或等于预定灵敏度的亮度值的像素值的总数被计算为差异。另外，在帧是由RGB的像素值配置而成的图像的情况下，可以将红(R)、绿(G)和蓝(B)中的任意一个的像素值相互比较，并且如上所述，具有相差大于或等于预定灵敏度的亮度值的像素值的总数被计算为差异。另外，可以在帧的图像中执行边缘检测处理，并且边缘部分的总数可以计算为差异。变化点检测部306由图2中所示的CPU 101所执行的程序来实现。

检测区域指明部307是根据来自用户所操纵的输入部303的操纵信号来指明检测区域的功能部，其中的检测区域是图像判定处理目标，其检测显示部317(设置视频显示部502)的视频数据的显示区域中的异常。检测区域指明部307如下所描述将所被指明的检测区域的信息与设置号相关联地存储在存储部302中。另外，检测区域的信息例如是诸如表示检测区域在视频数据的显示区域中的位置的坐标和检测区域的形状的信息。另外，如下所述，检测区域指明部307能够在视频数据的显示区域中指明多个检测区域。检测区域指明部307由图2中所示的CPU 101所执行的程序来实现。

设置部308是根据由用户操纵的来自输入部303的操纵信号来设置设置信息并将设置信息存储在存储部302中的功能部。另外，设置部308从存储部302发送在设置到显示控制部315的设置信息中进行所需要的信息，并且针对显示控制部315，将设置信息显示在显示部317上。设置部308由图2中所示的CPU 101所执行的程序来实现。

视频分配部312是执行如下操作的功能部：根据来自用户所操纵的输入部303的操纵信号，将从视频接收部301获取的视频数据发送到显示控制部315，并且针对显示控制部315将视频数据显示在显示部317上。具体地，视频分配部312在将要所显示在下面图4等中所描述的显示部317上的主屏幕400的视频显示部401a至401f进行排序并显示相应的视频数据。视频分配部312由图2中所示的CPU 101所执行的程序来实现。

触发生成部313是如下的功能部：将差别图像与下面所述的图27中的主屏幕400的视频显示部401a至401f的触发区域中的视频数据帧中的触发区域的图像进行比较，并且在触发定时生成触发信号。触发生成部313由图2中所示的CPU 101所执行的程序来实现。

检测区域判定部314是如下的功能部：在接收到触发生成部313所生成的触发信号时，在设置时间之前或设置时间之后，将检测参考图像与上述视频显示部401a至401f的检测区域中的视频数据帧中的检测区域的图像进行比较，并且判定是否存在异常。检测区域判定部314通过由图2中所示的CPU 101所执行的程序来实现。

显示控制部315是控制显示部317的显示操作的功能部。具体地，显示控制部315在显示部317上显示：通过第一再现部304获取到的视频数据，通过设置部308设置的设置信息，通过触发区域指明部305所指明的触发区域，通过检测区域指明部307所指明的检测区域等。显示控制部315由图2中所示的CPU 101所执行的程序来实现。

在检测区域判定部314判定存在异常的情况下，外部输出部316是向外部设备10输出异常信号的功能部。外部输出部316通过图2中所示的外部设备接口111来实现。此外，外部输出部316输出异常信号，但是不限于此，并且可以执行诸如通过电子邮件向外部设备10传送用于通知异常的批处理文件，或者在主屏幕400上通知异常的过程(例如，灯图标的闪烁显示)。

显示部317是根据显示控制部315的控制来显示各种数据项目的设备。在本实施例中，显示部317尤其通过图2中所示的CPU 101所执行的程序(应用)来显示下面所描述的主屏幕400、设置屏幕500、设置变更屏幕700等。显示部317通过图2中所示的显示器105来实现。

在设置变更操作中，消息控制部321是根据显示部317上的设置变更的阶段来显示消息信息的功能部。具体地，消息控制部321在设置变更屏幕700的操作指令显示部704上显示操作过程等的消息，其中的设置变更屏幕700将要显示在下面图17等中所述的显示部317上。此外，通过消息控制部321待显示的消息信息例如由存储部302进行存储。消息控制部321由图2中所示的CPU 101所执行的程序来实现。

视频显示部322是如下的功能部：通过视频接收部301向显示控制部315发送从成像设备2获取的实时视频数据，并且针对显示控制部315将视频数据显示在显示部317上，其中的成像设备2根据来自用户所操纵的输入部303的操纵信号来指明。具体地，视频显示部322在设置变更屏幕700的实时视频显示部703b上显示实时视频数据，其中的设置变更屏幕700将要显示在下面图17等中所述的显示部317上。视频显示部322由图2中所示的CPU 101所执行的程序来实现。

在成像设备2当执行设置变更操作时进行移动而处于静止的情况下，基础区域指定部323是搜索与基础区域的图像(基本参考图像)匹配的一部分的功能部，其中的基础区域的图像(基本参考图像)是在下面所描述的图17等中所示的设置变更屏幕700的实时视频显示部703b中执行设置变更操作时的参考。基础区域指定部323通过由图2中所示的CPU101所执行的程序来实现。

图像提取部324是在执行设置变更操作时，在下面所描述的设置变更屏幕700的实时视频显示部703b中提取临时基础区域802的图像(被提取图像)的功能部。图像提取部324由图2中所示的CPU 101所执行的程序来实现。

在成像设备2当执行设置变更操作时进行移动而处于静止的情况下，静态判定部325是基于下面描述的设置变更屏幕700的实时视频显示部703b上待显示的视频数据来判定成像设备2是否静止的功能部。静态判定部325通过由图2中所示的CPU 101所执行的程序来实现。

在执行设置变更操作时成像设备2被夹具等固定的情况下，基础区域确定器326是搜索与基础区域的图像(基本参考图像)匹配的一部分，并且最后确定实时视频显示部703b中的基础区域的功能部，其中的基础区域的图像(基本参考图像)是执行设置变更操作时的参考。基础区域确定器326通过由图2中所示的CPU 101所执行的程序来实现。

设置控制部327是总体控制设置变更操作的功能部。设置控制部327由图2中所示的CPU 101所执行的程序来实现。

基础区域指明部331是根据来自用户所操纵的输入部303的操纵信号，在显示部317的视频数据(设置视频显示部502)的显示区域中指明基础区域的功能部，其中的基础区域是执行设置变更操作时的参考。基础区域指明部331将被指明的基础区域的信息存储在存储部302中。另外，基础区域的信息例如是诸如表示基础区域在视频数据的显示区域中的位置的坐标和基础区域的形状的信息。

此外，第一再现部304、触发区域指明部305、变化点检测部306、检测区域指明部307、设置部308、视频分配部312、触发生成部313、检测区域判定部314、消息控制部321、视频显示部322、基础区域指定部323、图像提取部324、静态判定部325、基础区域确定器326、设置控制部327、和基础区域指明部331中的一部分或者所有可以通过诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)的硬件电路来实现，而不是通过作为软件的程序。

另外，图3中所示的每个功能部的功能从概念上进行描述，但不限于此。例如，作为独立功能部的图3中所示的多个功能部可以配置为一个功能部。另一方面，图3中的一个功能部的功能能够被分为多个功能，因此该功能部可以配置为多个功能部。

另外，为了简化下面的描述，显示控制部315将接收到的数据显示在显示部317上的表达将简化为将数据发送的显示控制部315的功能部将数据显示在显示部317上(或者显示部317上所显示的屏幕上)。例如，在第一再现部304向显示控制部315发送视频数据，并且针对显示控制部315在显示部317上再现并且显示视频数据的情况下，可以简单地表达为第一再现部304在显示部317上再现并且显示视频数据。

(主屏幕的配置)

图4是示出多个实时视频显示在待显示在根据本实施例的信息处理设备的显示设备上的主屏幕的示例的示意图。将参考图4来描述主屏幕400的配置和显示多个实时视频的操作。

图4中所示的主屏幕400通过CPU 101所执行的程序(应用)被显示在显示部317上。在执行图像判定操作(监视操作)的情况下，主屏幕400是实时显示从多个成像设备2接收到的视频数据的屏幕，并且在触发区域指明部305所指明的触发区域中，在触发定时时，通过触发生成部313生成触发信号。另外，主屏幕400是在通过检测区域判定部314接收到触发信号时，在设置时间之前或之后，在检测区域指明部307所指明的检测区域中确定存在或不存在异常的屏幕。如图4中所示，主屏幕400包括视频显示部401a至401f、监视开始按钮411、监视停止按钮412、监视设置按钮413、设置变更按钮414、设置号输入部415、状态显示部421a至421f、以及设置号显示部422a至422f。

视频显示部401a至401f是根据来自用户所操纵的输入部303的操纵信号，通过视频分配部312来显示通过视频接收部301从成像设备2a至2f获取到的每个实时视频数据项目的显示部。另外，在根据由用户所操纵的输入部303的操纵(例如，鼠标108的点击操纵等，以下同样适用)而被按下的情况下，视频显示部401a至401f能够处于选择状态。此外，在视频显示部401a至401f被不加区分地提及或统称的情况下，视频显示部401a至401f将简称为“视频显示部401”。

当用户根据对于输入部303的操纵而按下监视开始按钮411时，触发生成部313在触发定时，在触发区域中生成触发信号，其中的触发区域由触发区域指明部305在处于显示实时视频数据的选择状态的视频显示部401上进行指明，并且在接收到触发信号的时间之前的设置之间或之后的设置时间，检测区域判定部314在检测区域中开始判定存在或不存在异常。

当通过由用户进行的输入部303的操作来按下监视停止按钮412时，通过触发生成部313在触发定时进行的触发信号的生成操作，和通过检测区域判定部314进行的检测区域中存在或不存在异常的判定操作在处于选择状态的视频显示部401上停止。

当根据用户进行的输入部303的操纵而按下监视设置按钮413时，为了针对被操纵和输入到设置号输入部415的设置号来设置设置信息，通过设置部308在显示部317上显示下面所描述的图6等中所示的设置屏幕500。

当根据用户进行的输入部303的操纵来按下设置变更按钮414时，为了执行与被操纵和输入到设置号输入部415的设置号有关的设置变更操作，通过设置控制部327在显示部317上显示下面所描述的图17等中所示的设置变更屏幕700。设置号输入部415是通过输入部303输入设置号的一部分，其中的设置号用于执行设置变更操作。

状态显示部421a至421f是显示与视频显示部401对应的成像设备2的状态的显示部。例如，在状态显示部421a至421f中，显示表示成像设备2的状态的内容，诸如“未连接”、“未设置”、“设置完成”以及“监视中”。“未连接”表示与视频显示部401对应的成像设备2未连接到图像处理系统1的状态，和视频数据未显示在视频显示部401的状态。“未设置”表示关于待显示在视频显示部401上的视频数据未执行基础区域、触发区域、检测区域的设置的状态，也就是未完成根据特定设置号的设置变更操作的状态。“设置完成”表示完成关于待显示在视频显示部401上的视频数据的基础区域、触发区域、检测区域的设置的状态，也就是完成根据特定设置号的设置变更操作的状态。“在监视中”表示基于设置信息来执行图像判定操作(监视操作)的状态，其中的设置信息针对于根据特定设置号的设置变更。此外，在视频显示部421a至421f被不加区分地提及或统称的情况下，状态显示部421a至421f将被简称为“状态显示部421”。

设置号显示部422a至422f是在关于与视频显示部401对应的成像设备2完成设置变更的情况下显示设置号的显示部。此外，在设置号显示部422a至422f被不加区分地提及或统称的情况下，状态显示部422a至422f将被简称为“设置号显示部422”。

(设置信息的目录结构)

图5是示出存储设备的目录结构的示例的示意图，其中表示在根据实施例的信息处理设备中针对每个设置号来管理设置信息。将参考图5来描述存储部302中用于管理针对每个设置号的设置信息的目录结构。

首先，如图5中所示，在存储部302中，针对每个设置号，形成用于存储设置信息的根文件夹，并且根文件夹的名称例如被设置为设置号。在图5中所示的示例中，形成文件夹名称(设置号)为“ABCD001”的根文件夹。

在“ABCD001”的根文件夹中，形成针对每个成像设备2的用于存储设置信息的设置文件夹，并且如图5中所示，将设置文件夹的名称设置为“Setting(设置)”。在“Setting”的设置文件夹中，形成针对每个成像设备2的用于存储设置信息的相机文件夹，并且如图5中所示，将相机文件夹的名称，例如用于存储成像设备2a的设置信息的相机文件夹的名称设置为“CAM1”。具体地，将针对成像设备2的设置信息写入相机文件的设置文件中。此外，对于每个设置号的设置信息不限于针对所有成像设备2的设置信息，并且可以仅是针对一部分成像设备2的设置信息。例如，设置号为“A1234567”的设置信息只包括针对成像设备2b、2d和2f的设置信息(针对“CAM2”、“CAM4”、和“CAM6”的设置信息)。

此外，图5中所示的用于管理针对每个设置号的设置信息的目录结构是示例，而不限于此，并且可以使用管理设置信息的其他数据结构。

(设置屏幕的配置)

图6是示出将视频数据显示在待显示于根据本实施例的信息处理设备的显示设备上的设置屏幕的状态的示例的示意图。将参考下面描述的图6和图8来描述设置屏幕500的配置。

设置屏幕500是在其上指明基础区域、触发局域和检测区域并且在检测区域中设置图像判定的定时屏幕。如图6中所示，设置屏幕500包括相机选择标签(tab)501、设置视频显示部502、再现按钮503a、暂停按钮503b、快进按钮503c、快退按钮503d、停止按钮503e、搜索条504、滑块505、时间显示部506、区域选择标签551、设置号显示部561、基础区域信息部551、删除按钮563、设置读出按钮511、设置写入按钮512、设置反映按钮513、以及关闭按钮514。

相机选择标签501是选择成像设备2a至2f的视频数据项目中的哪个视频数据项目的操纵部，其中的基础区域、触发区域和检测区域期望由用户进行指明，显示在设置视频显示部502上。例如，成像设备2a至2f所成像的视频数据项目分别与“1”至“6”相关联，并且在图6的示例中，示出选择“6”(即，成像设备2f的视频数据)的示例。

设置视频显示部502是根据来自用户进行操纵的输入部303的操纵信号，通过第一再现部304来再现并且显示从存储部302获取的视频数据的显示部。在图6的示例中，在根据由用户对输入部303的操纵来选择和操纵“6”的相机选择标签501的情况下，第一再现部304在显示部317上显示成像设备2f所成像的视频数据。

当根据用户对于输入部303的操纵来按下再现按钮503时，通过第一再现部304再现并且启动视频数据在设置视频显示部502上进行显示。当根据用户对于输入部303的操纵来按下暂停按钮503b时，通过第一再现部304再现并且显示在设置视频显示部502的视频数据被暂停。当根据用户对于输入部303的操纵来按下快进按钮503c时，再现并且显示在设置视频显示部502上的视频数据通过第一再现部304经历快进显示。当根据用户对于输入部303的操纵来按下快退按钮503d时，再现并且显示在设置视频显示部502上的视频数据通过第一再现部304经历快退显示。当根据用户对于输入部303的操纵而按下停止按钮503e时，再现并且显示在设置视频显示部502上的视频数据通过第一再现部304被停止。

搜索条504是如下的棒状体：根据配置在搜索条上的滑块505的位置来表示设置视频显示部502上所再现并且显示的视频数据的时间。滑块505是滑动到搜索条504上与设置视频显示部502上所再现和显示的视频数据的成像时间(使得所显示的帧成像的时间)对应的位置的主体和操纵部。相反，在滑块505根据用户对于输入部303的操纵进行滑动的情况下，通过第一再现部304，在设置视频显示部502上显示与滑块505在搜索条504上所处的位置对应的成像时刻的视频数据的帧。

时间显示部506是显示通过第一再现部304再现并且显示在设置视频显示部502上的视频数据的成像日期和成像时间的显示部。

区域选择标签551由用于设置基础区域的标签、以及用于设置触发区域和检测区域的标签构成。例如，图6中所示的设置屏幕500表示通过用户对于输入部303的操纵而选择用于设置基础区域的标签的状态。另一方面，下面描述的图8中所示的设置屏幕500表示根据用户对于输入部303的操纵而选择用于设置触发区域和检测区域的标签的状态。

设置号显示部561是显示被操纵且输入到下面所描述的主屏幕400的设置号输入部415的设置号的显示部。基础区域信息部562是显示基础区域指明部331所指明的基础区域的名称和所指明的基础区域的大小的显示部。下面将描述删除按钮563的功能。

当根据用户对于输入部303的操纵而按下设置读出按钮511时，通过设置部308读取存储在存储部302中的触发区域和检测区域以及与设置号显示部561上显示的设置号对应的基础区域的信息等的设置信息，并且在设置屏幕500的每个显示部上显示设置信息。当根据用户对于输入部303的操纵设置而按下写入按钮512时，通过设置部308，将设置屏幕500上所设置的基础区域、触发区域和检测区域的信息等的设置信息与设置号显示部561上所显示的设置号相关联地存储在存储部302中。当根据用户对于输入部303的操纵而按下设置反映按钮513时，通过设置部308，设置屏幕500上所设置的基础区域、触发区域和检测区域的信息等的设置信息是有效的直至关闭主屏幕400、设置屏幕500等(例如，暂时存储在RAM 103中)。

当根据用户对于输出部303的操纵而按下关闭按钮514时，设置屏幕500被关闭，并且主屏幕400通过设置部308显示在显示部317上。

如上所述，下面描述的图8中所示的设置屏幕500表示选择用于设置触发区域和检测区域的标签，并且包括设置号显示部515、触发区域信息部507、参考图像显示部508a、差异图像显示部508b、检测区域信息部509和检测区域按钮部510。

设置号显示部515是显示被操纵且输入到上面所描述的主屏幕400的设置号输入部415的设置号的显示部。

触发区域信息部507是显示触发区域指明部305所指明的触发区域的名称和用于变化点检测部306检测上述变化点的灵敏度和阈值。参考图像显示部508a是显示通过变化点检测部306所提取的触发参考图像的显示部。差异图像显示部508a是显示通过变化点检测部306所提取的差异图像(下面进行描述)的显示部。

检测区域信息部509是如下的显示部和选择操纵部：显示检测区域指明部307所指明的检测区域的名称、灵敏度、阈值、检测延迟时间(图8中表示为“延迟时间”)、监视方法(图8中表示为“监视”)、存在或不存在动作(在图8中，表示为“动作”)、以及图像判定方法(图8中，表示为“图像判定”)(此后，这样的针对检测区域的信息将被称为属性信息)。

检测区域按钮部510是编辑通过检测区域指明部307所指明的检测区域有关的属性信息的按钮群组，并且显示在检测区域信息部509上。检测区域按钮部510包括动作按钮510a、图像判定选择按钮510b、灵敏度提高按钮510e、灵敏度降低按钮510f、阈值提高按钮510g、以及阈值降低按钮510h。下面将描述检测区域按钮部510的每个按钮的功能。

(基础区域的指明)

图7是示出在设置屏幕上的设置视频显示部中指明基础区域的示例的示意图，所述设置屏幕显示在根据本实施例的信息处理设备的显示设备上。将参考图7描述基础区域的指明。

图7中所示的设置屏幕500表示在设置视频显示部502中基础区域507被指明的状态，在设置视频显示部502上通过第一再现部304来再现和显示视频数据。具体地，首先，在根据用户对于输入部303的操纵而按下暂停按钮503b的情况下，在显示被期望作为基础参考图像的部分的时刻，在设置视频显示部502上再现并且显示视频数据，第一再现部304暂时停止在设置视频显示部502上再现和显示的视频数据，并且这些时间点的帧的成像日期和成像时间被显示在时间显示部506上。接下来，基础区域指明部331根据用户对于输入部303的操纵(例如，鼠标108的拖动操纵)，在设置视频显示部502上指明并显示基础区域570。

此外，设置部308将由基础区域指明部331所指明的基础区域570被命名的名称和基础区域570的大小显示在基础区域信息部562上作为基础区域570的信息。如图7中所示，设置不308例如被命名为与基础区域570相同的“基础”。此外，基础区域指明部33提取与基础区域570被指明为参考静止图像时显示在设置号显示部561上设置号相关联的设置视频显示部上所显示的帧(图像)和作为基础参考图像的参考静止图像的基础区域570中的图像，将所提取的帧和图像存储在存储部302中，并将指明的基础区域570的信息存储在存储部302。

(触发区域的指明和变化点的检测)

图8是示出在设置屏幕上的设置视频显示部中指明基础区域的示例的示意图，设置屏幕显示在根据本实施例的信息处理设备的显示设备上。图9是示出在设置屏幕上的触发区域观察到变化点的情况下标记显示的示例的示意图，设置屏幕显示在根据本实施例的信息处理设备的显示设备上。图10是示出在触发区域中检测变化点的操作的示意图。图11是示出在设置屏幕上的触发区域中观察到两个变化点的情况下所显示的对话的示例的示意图，设置屏幕显示在根据本实施例的信息处理设备的显示设备上。图12是示出在设置屏幕上的触发区域中未观察到变化点的情况下所显示的对话的示例的示意图，设置屏幕显示在根据本实施例的信息处理设备的显示设备上。将参考图8至图12来描述触发区域和变化点的检测。

图8中所示的设置屏幕500表示在设置视频显示部502中基础区域507被指明的状态，在设置视频显示部502上通过第一再现部304来再现和显示视频数据。具体地，首先，在根据用户对于输入部303的操纵而按下暂停按钮503b的情况下，在显示被期望作为基础参考图像的部分的时刻，在设置视频显示部502上再现并且显示视频数据，第一再现部304暂时停止在设置视频显示部502上再现和显示的视频数据，并且这些时间点的帧的成像日期和成像时间被显示在时间显示部506上。

接下来，基础区域指明部305根据用户对于输入部303的操纵(例如，鼠标108的拖动操纵)，在设置视频显示部502上指明并显示基础区域570。这里，为了触发区域指明部305指明触发区域530，必须通过基础区域指明部331来指明基础区域。这是因为由触发区域指明部305所指明的触发区域530的位置根据相对于由基础区域指明部331所指明的基本区域的相对位置而起作用。也就是说，由触发区域指明部305所指明的触发区域530与由基准区域指明部331所指明的基本区域相关联。

图9所示的设置屏幕500示出变化点检测部306在由触发区域指明部305所指明的触发区域530中检测出变化点的状态。具体而言，首先，在由触发区域指明部305指明触发区域530的情况下，变化点检测部306获取由第一再现部304再现和显示的视频数据的帧的成像时间之前和之后的预定时间的帧(例如，在成像时间之前和之后2分钟)，并且在指明时间点提取由触发区域530所指明的时间的触发区域530中的图像为触发参考图像。这里，变化点是触发区域530中的图像的预定变化发生作为触发生成部313生成触发信号的定时的参考的时间点。以下，将描述变化点检测部306的变化点的具体检测方法。

如图10(a)中所示，变化点检测部306获取十三帧(帧(0)至帧(12))作为预定时间的帧。在这种情况下，通过变化点检测部306获取作为基准的帧(6)之前和之后的预定时间的帧。此外，为了简化说明，与各帧中的触发区域530对应的部分的图像也将被称为帧(0)至帧(12)中的每一个。然后，变化点检测部306计算所获取的帧中的每个帧和紧接在前的帧之间的像素值的差异。差异的计算方法如上所述。变化点检测部306提取图10(a)中所示例的帧，并且图10(b)中所示的曲线图是按时间顺序示出针对每个帧计算出的差异的图。在图10(b)中，例如，帧(1)的差异表示帧(1)和作为紧接的前一帧的帧(0)之间的差异。这里，作为变化点的IN点和OUT点将如下所述进行定义。也就是说，将IN点设定为触发区域530中的图像在连续帧中开始变化的时间点。另外，OUT点设定为触发区域530中的图像的变化在连续帧中开始停止的时间点。此外，变化点检测部306计算所获取的帧中的每个帧和紧接在前的帧之间的差异，但不限于紧接在前的帧，例如，可以计算每个帧和在该帧之前几帧的帧之间的差异。

变化点检测部306基于计算出的各个帧之间的差异来找出IN点的候选和OUT点的候选。具体地说，在所计算出的差异持续多于或等于两帧并且大于或等于预定阈值的情况下，变化点检测部306将具有最初大于或等于预定阈值的差异的帧设置为IN点的候选帧。在图10(b)的示例中，帧(1)的差异小于阈值，帧(2)的差异大于或等于阈值，帧(3)的差异大于或等于阈值等于阈值，并且帧(2)和(3)的两帧之间的差异大于或等于阈值，因此将具有最初大于或等于阈值的差异的帧(2)设置为IN点的候选帧。类似地，帧(7)也被设置为IN点的候选帧。此外，在差异没有连续大于或等于两帧的情况下，并且仅一帧的差异大于或等于阈值时，存在噪声的可能性，因此不将该帧设置为IN点的候选帧。

另一方面，在计算出的差异连续大于或等于两帧且小于或等于预定阈值的情况下，变化点检测部306将具有最初小于预定阈值的差异的帧设置为OUT点的候选帧。在图10(b)的示例中，帧(4)的差异大于或等于阈值，帧(5)的差异小于阈值，帧(6)的差异也小于阈值并且帧(5)和帧(6)两帧之间的差异小于阈值，因此将具有最初小于阈值的差异的帧(5)设置为OUT点的候选帧。这里，帧(12)是具有小于预定阈值的差异的帧，但是后续帧(13)是除了由变化点检测部306所提取的帧以外的帧，因此不是OUT点的候选帧。此外，在差异未连续大于或等于两帧，并且仅一帧的差异小于阈值的情况下，存在噪声的可能性，因此该帧不是OUT点的候选帧。

如上所述，在图10的示例中，变化点检测部306将帧(2)和(7)指明为IN点的候选帧，并将帧(5)指明为OUT点的候选帧。因此，在指明了IN点的多个候选帧的情况下，变化点检测部306确定最靠近位于所获取的帧的中间的帧(6)的帧，即帧(7)作为IN点的帧。此外，在图10的示例中，只有一帧(帧(5))被指明为OUT点的候选帧，并且与IN点的候选一样，存在多个帧被指明为OUT点的候选帧的情况。因此，在指明了OUT点的多个候补帧的情况下，变化点检测部306将最靠近位于所获取的帧的中间帧(6)的帧确定为OUT点的帧，与IN点的候选相同。在图10的示例中，OUT点的候选帧仅为帧(5)，并且因此变化点检测部306将帧(5)确定为OUT点的帧。如上所述，变化点检测部306从预定时间内获取的帧中确定IN点的帧和OUT点的帧，从而检测变化点(IN点和OUT点)。

此外，在检测到变化点的情况下，变化点检测部306可以通过使用在变化点的帧之前的帧、变化点的帧之后的帧、或者前后的帧，在触发区域530中执行动态体检测，并且可以将表示动态体的入口方向的向量信息存储在存储部302中。在这种情况下，触发生成部313可以通过使用存储在存储部302中的向量信息来确认动态体是否从与向量信息所表示的方向相同的方向移动，并且可以基于确认结果来生成触发信号。

另外，根据变化点检测部306的触发区域530中的变化点的检测方法不限于上述方法，并且只要变化点是限定产生触发的定时就可以通过任何方法来检测变化点。

另外，如上所述，在差异连续大于或等于两帧且大于或等于预定阈值的情况下，变化点检测部306将具有最初大于或等于预定阈值的差异的帧设置为IN点的候选帧，但不限于此。也就是说，可以包括差异对于大于或等于两个帧是不连续的情况，和对于大于或等于其他数量的帧连续并且大于或等于预定阈值的情形。同样适用于发现OUT点的候选帧的情况。

另外，图10示出其中观察到IN点和OUT点两者的帧的示例，但是存在通过变化点检测部306仅观察到IN点的帧或仅OUT点的帧的情况，在这种情况下，将该IN点或OUT点检测为变化点。在此情况下，变化点检测部306提取触发区域530中检测到的变化点的帧的图像作为差异图像。变化点检测部306将所提取的触发参考图像和变化点的帧的差异图像存储在存储部302中，在参考图像显示部508a上显示触发参考图像，并且在差异图像显示部508b上显示差异图像。此外，在搜索条504中，变化点检测部306在与检测到的变化点的帧的时间相对应的部分上显示触发标记540。另外，在变化点检测部306检测出变化点的情况下，触发区域指明部305将与设置号显示部上所显示的设置号相关联地指明的触发区域530的信息存储在存储部302中。此外，这里，存储部302所存储的触发区域530的信息例如是诸如表示相对于基础区域570的相对位置的信息和触发区域530的形状的信息。另外，设置部308在触发区域信息部507上显示由触发区域指明部305指明的触发区域530中命名的名称，和用于变化点检测部306检测变化点的预定灵敏度(例如，“50”)以及预定阈值(例如，“20％”)(默认值)。如图8中所示，例如设置部308通过假设触发区域作为相对于的成像装置“6”(成像设备2f)的视频数据所指明的触发区域，将“TR6”命名为触发区域530的名称。

在如上所述通过变化点检测部306检测到两个变化点(IN点和OUT点)的情况下，在触发区域指明部305所指明的触发区域530中，图11中所示的设置屏幕500表示显示变化点选择对话600的状态。因此，在检测到大于或等于两个变化点的情况下，变化点检测部306显示变化点选择对话600，用于选择与提取参考图像以在显示部317上生成触发的时间点最接近的两个变化点(IN点和OUT点)中的任一个。变化点选择对话600包括是按钮601、否按钮602和关闭按钮603。关闭按钮603是用于关闭变化点选择对话600的按钮。

在根据用户对输入部303的操纵按下是按钮601的情况下，变化点检测部306将IN点检测为变化点，并且提取触发区域530中IN点的帧的图像作为差异图像。然后，变化点检测部306将所提取的触发参考图像和IN点的帧的差异图像与显示在设置号显示部515上的设置号相关联地存储在存储部302中，将触发参考图像显示在参考图像显示部508a上，并且将差异图像显示在差异图像显示部508b上。此外，变化点检测部306在搜索条504中与检测到的IN点的帧的时间相对应的部分上显示触发标记540。

另一方面，在根据用户对输入部303的操作按下否按钮602的情况下，变化点检测部306检测出OUT点作为变化点，并提取触发区域530中的OUT点的帧的图像作为差异图像。然后，变化点检测部306将所提取的触发参考图像和OUT点的帧的差异图像与显示在设置号显示部515上的设置号相关联地存储在存储部302中，将触发参考图像显示在参考图像显示部508a上，并且将差异图像显示在差异图像显示部508b上。此外，变化点检测部306在搜索条504中与检测到的OUT点的帧的时间相对应的部分上显示触发标记540。其他操作与图9中的上述操作相同。

因此，IN点和OUT点由变化点检测部306检测为变化点，并且用户能够选择两个变化点中的任何一个，并且因此用户能够选择期望指明的变化点。

在变化点检测部306在触发区域530中未观察到由触发区域指明部305所指明的变化点的情况下，图12中所示的设置屏幕500表示显示无变化点通知对话610的状态。在上述图10中所描述的操作中，存在着由于计算出的差异不是大于或等于预定阈值因而变化点检测部306不能检测到变化点的情况。在这种情况下，变化点检测部306显示表示在显示部317上未观察到变化点的无变化点通知对话610。

无变化点通知对话610包括确定(OK)按钮611和关闭按钮612。关闭按钮612是用于关闭无变化点通知对话610的按钮。在根据用户对输入部303的操纵而按下确定按钮611的情况下，变化点检测部306关闭无变化点通知对话610，而不在存储部302中存储任何信息或在参考图像显示部508a和差异图像显示部508b上显示图像。

(检测区域的指明和检测区域的属性信息的设置)

图13是示出在设置屏幕上的设置视频显示部中指明检测区域的示例的示意图，其中的设置屏幕显示在根据本实施例的信息处理设备的显示设备上。图14是示出在设置屏幕上的设置视频显示部中指明第二检测区域的示例的示意图，其中的设置屏幕显示在根据本实施例的信息处理设备的显示设备上。图15是示出在设置屏幕上对于设置视频显示部中所指明的检测区域的属性信息进行设置的示例的示意图，其中的设置屏幕显示在根据本实施例的信息处理设备的显示设备上。将参考图13至图15来描述检测区域的指明和检测区域的属性信息的设置。

图13中所示的设置屏幕500表示在设置视频显示部502中指明检测区域535的状态，在其中的设置视频显示部502上通过第一再现部304来再现和显示视频数据。具体地，首先，在根据用户对于输入部303的操纵而按下暂停按钮503b的情况下，在显示被期望受到图像判定的图像的部分的时刻，在设置视频显示部502上再现并且显示视频数据，第一再现部304暂时停止在设置视频显示部502上再现和显示的视频数据，并且这些时间点的帧的成像日期和成像时间被显示在时间显示部506上。

接下来，基础区域指明部307根据用户对于输入部303的操纵(例如，鼠标108的拖动操纵)，在设置视频显示部502上指明并显示检测区域535(判定区域)。这里，为了检测区域指明部307指明检测区域535，必须在触发区域信息部507中选择由触发区域指明部305所指明的触发区域(在图13的示例中“TR6”)。也就是说，由检测区域指明部307所指明的检测区域535与在触发区域信息部507中选择的触发区域相关联。

另外，设置部308显示由检测区域指明部307所指明的检测区域535中命名的名称作为检测区域535的属性信息，和预定灵敏度(例如，“50”)、预定阈值(例如，“20％”)、监视方法(例如，“灰度”)、存在或不存在动作(例如“不存在”)以及下面描述的图像判定中使用的图像判定方法(例如，“一致”)作为检测区域信息部509上的默认值。如图13所示，例如设置部308通过假设检测区域作为与触发区域“TR6”相关联的第一区域，将“K61”命名为检测区域535的名称。此外，设置部308计算检测区域指明部307指明检测区域535的时间点的帧的时间的延迟时间(图13的示例中的“2.14”)，作为由变化点检测部306检测到的变化点的时间有关的属性信息，并将延迟时间显示在检测区域信息部509上。也就是说，在此情况下，在被称为“K61”的检测区域535中，将图像判定设置为在从触发定时起“2.14”秒之后执行。另外，设置部308将显示在检测区域信息部509上的检测区域535的属性信息与显示在设置号显示部515上的设置号相关联地存储在存储部302中。

另外，检测区域指明部307提取在检测区域535被指明为检测参考图像时检测区域535中的图像，并将所提取的图像存储在存储部302中，并且将被指明的检测区域535的信息与设置号显示部515上显示的设置号相关联地存储存储部302中。此外，在此存储部302所存储的检测区域535的信息例如是诸如表示相对于基础区域570的相对位置的信息和检测区域535的形状的信息。

图14中所示的设置屏幕500表示在设置视频显示部502中指明作为第二检测区域的检测区域536的状态，在其中的设置视频显示部502上通过第一再现部304来再现和显示视频数据。具体地，首先在设置视频显示部502上再现并且显示视频数据(暂时被停止)时，搜索条504的滑块505根据用户对于输入部303的操纵而滑动，并执行调整到期望经过图像判定的图像的部分的定时。第一再现部304在时间显示部506上显示临时停止在设置视频显示部502上的视频数据的帧的成像日期和成像时间。

接下来，检测区域指明部307根据用户对于输入部303的操纵(例如，鼠标108的拖动操纵)，在设置视频显示部502上指明并显示作为第二检测区域的检测区域536(判定区域)。这里，为了使得检测区域指明部307指明检测区域536，与指明检测区域535的情况相同，必须在触发区域信息部507中选择由触发区域指明部305指明的触发区域(在图14的示例中“TR6”)。也就是说，由检测区域指明部307所指明的检测区域536与在触发区域信息部507中被选择的触发区域相关联。

另外，设置部308显示由检测区域指明部307所指明的检测区域536中命名的名称作为检测区域536的属性信息，和预定灵敏度(例如，“50”)、预定阈值(例如，“20％”)、监视方法(例如，“灰度”)、存在或不存在动作(例如“不存在”)以及下面描述的图像判定中使用的图像判定方法(例如，“一致”)作为检测区域信息部509上的默认值。如图14所示，例如设置部308通过假设检测区域作为与触发区域“TR6”相关联的第二区域，将“K62”命名为检测区域536的名称。此外，设置部308计算检测区域指明部307指明检测区域536的时间点的帧的时间的延迟时间(图14的示例中的“-1.86”)，作为由变化点检测部306检测到的变化点的时间有关的属性信息，并将计算出的延迟时间显示在检测区域信息部509上。也就是说，在此情况下，在被称为“K62”的检测区域535中，将图像判定设置为在触发定时之前“1.86”秒执行。另外，设置部308将显示在检测区域信息部509上的检测区域536的属性信息与显示在设置号显示部515上的设置号相关联地存储在存储部302中。

另外，检测区域指明部307提取在检测区域536被指明为检测参考图像时检测区域536中的图像，并将所提取的图像存储在存储部302中，并且将被指明的检测区域536的信息与设置号显示部515上显示的设置号相关联地存储存储部302中。

图15中所示的设置屏幕500表示从检测区域信息部509中显示属性信息的检测区域“K61”(检测区域535)和“K62”(检测区域536)中选择“K62”的状态。将参考图15来描述检测区域的属性信息的版本。

如图15所示，首先在根据用户对输入部303的操纵来选择在检测区域信息部509上显示属性信息的检测区域中的任何一个的情况下，设置部308相对地显示检测区域信息部509的所选择的检测区域的属性信息的显示部分。此后，如图15中所示，将描述检测区域536(检测区域名称“K62”)被选择的示例。

接着，例如在根据用户对于输入部303的操作而按下动作按钮510a的情况下，设置部308切换所选择的检测区域536的存在或不存在动作的设置值。例如，在检测区域536的存在或不存在动作为“不存在”的情况下，按下动作按钮510a，设置部308将检测区域536的存在或不存在动作设置为“存在”。相反，在检测区域536的存在或不存在动作为“存在”的情况下，按下动作按钮510a，设置部308将检测区域536的存在或不存在动作设置为“不存在”。如下所述，在存在或不存在动作是“存在”的情况下，并且检测区域判定部314判定该检测区域的图像判定存在异常，外部输出部316输出异常信号。

另外，例如，在根据用户对于输入部303的操纵而按下图像判定选择按钮510b的情况下，设置部308切换所选择的检测区域536的图像判定方法的设置值。例如，在检测区域536的图像判定方法是“一致”的情况下，按下图像判定选择按钮510b，设置部308将检测区域536的图像判定方法设置为“不一致”。相反，在检测区域536的图像判定方法是“不一致”的情况下，按下图像判定选择按钮510b，设置部308将检测区域536的图像判定方法设置为“一致”。

如下所述，在图像判定方法是“一致”的情况下，并且被提取的图像与检测参考图像之间的差异大于或等于属性信息的阈值，检测区域判定部314判定存在异常。因此，图像判定方法是“一致”的情况的示例包括如下情况：在将部件插入工件的设施中，将部件插入到工件的状态设置为检测参考图像，并且在相对于工件的部件插入操作结束的定时执行图像判定。在此情况下，当关于机器的部件的插入操作失败时，并且在部件未正常插入的状态下由检测区域判定部314来执行图像判定，检测参考图像有关的差异大于或等于属性信息的阈值，能够确定的是存在异常。

相反，在图像判定方法是“不一致”的情况下，并且被提取的图像与检测参考图像之间的差异小于属性信息的阈值，检测区域判定部314判定存在异常。因此，图像判定方法是“不一致”的情况的示例包括如下情况：在将部件插入到工件中的设施中，将部件未插入到部件的状态设置为检测参考图像，并且在相对于工件的部件插入操作结束的定时执行图像判定。在此情况下，当关于机器的部件的插入操作失败时，并且在部件未正常插入的状态下由检测区域判定部314来执行图像判定，检测参考图像有关的差异小于属性信息的阈值，能够确定的是存在异常。此外，将部件未插入到机器中的状态设置为检测参考图像的情况的示例包括难以准备作为成品的部件被插入到的机器的情况。

另外，例如在根据用户对于输入部303的操纵而按下删除按钮510c的情况下，设置部308删除显示在检测区域信息部509的检测区域536的属性信息，并且删除存储在存储部302中的检测区域536的属性信息。另外，检测区域指明部307删除显示在设置视频显示部502上的检测区域536，并且删除存储在存储部302中的检测区域536的信息和检测参考图像。

另外，例如，在根据用户对于输入部303的操纵而按下灵敏度提高按钮510e的情况下，设置部308将被选择的检测区域536的图像判定所使用的灵敏度值提高预定值。相反，例如在根据用户对于输入部303的操纵而按下灵敏度降低按钮510f的情况下，设置部308将被选择的检测区域536的图像判定所使用的灵敏度值降低预定值。

另外，例如，在根据用户对于输入部303的操纵而按下阈值提高按钮510g的情况下，设置部308将被选择的检测区域536的图像判定所使用的阈值提高预定值。相反，例如在根据用户对于输入部303的操纵而按下阈值降低按钮510h的情况下，设置部308将被选择的检测区域536的图像判定所使用的阈值降低预定值。

(设置变更屏幕)

<设置号的指明>

图16是示出无法获取在主屏幕上所指明的设置号的情况下显示的对话的示例的示意图，其中的主屏幕显示在根据本实施例的信息处理设备的显示设备上。将参考图16对于执行设置变更操作时在主屏幕400中指明设置号的操作进行描述。

图16中所示的主屏幕400表示根据用户对于输入部303的操纵(例如，键盘107的输入操作)而将设置号“F9876543”输入到设置号输入部415的状态。具体地，首先用户指明期望经历设置变更的成像设备2，并且根据输入部303的操纵，与执行设置变更的设置信息对应的设置号被输入到设置号输入部415中。然后，用户根据输入部303的操纵而按下设置变更按钮414。

在根据输入部303的操作而按下设置变更按钮414的情况下，设置控制部327获取是否将与输入到设置号输入部415中的设置号对应的设置信息存储在存储部302。具体地，设置控制部327确认在上述图5中所示的设置信息的目录结构中存在输入到设置号输入部415的设置号的名称的根文件夹。

另外，在与输入到设置号输入部415中的设置号对应的设置信息未存储在存储部302中的情况下，图16中所示的主屏幕400表示显示出无设置号通知对话620的状态，其中的无设置号通知对话620表示未存储设置信息。在与设置号对应的设置信息未存储在存储部302中的情况下，设置控制部327显示无设置号通知对话620。

无设置号通知对话620包括确定(OK)按钮621和关闭按钮622。关闭按钮622是用于关闭无设置号通知对话620的按钮。在根据用户对于输入部303的操纵而按下确定按钮621的情况下，设置控制部327关闭无设置号通知对话620而不显示下面描述的设置变更屏幕700。

相反，在与设置号对应的设置信息存储在存储部302中的情况下，设置控制部327从主屏幕400过渡到下面描述的设置变更屏幕700。

此外，设置号输入部415的输入号被输入到输入部303，但不限于此，并且例如，在应用被激活的情况下，设置控制部327可以提取根文件夹的名称(设置号)，其中存储在存储部302中所存储的存储信息，并且可以在设置号输入部415执行下拉显示。在此情况下，用户可以从下拉显示执行针对期望的设置号的选择操纵，而不需要通过输入部303输入全部的设置号。另外，将条形码读取器来年接到信息处理设备3，编码设置号的条形码被读取出来，因此可以将设置号输入到设置号输入部415中。

<图像设备静止后的匹配操作>

图17是示出将参考静态图像和实时视频显示在设置变更屏幕上的状态的示例的示意图，其中的设置变更屏幕显示在根据本实施例的信息处理设备的显示设备上。图18是示出设置相机使得实时视频与设置变更屏幕上的参考静态图像匹配的状态的示例的示意图，其中的设置变更屏幕显示在根据本实施例的信息处理设备的显示设备上。图19是示出在设置变更屏幕上的实时视频的匹配操作期间所显示的对话的示例的示意图，其中的设置变更屏幕显示在根据本实施例的信息处理设备的显示设备上。图20是示出在设置变更屏幕上的实时视频中无法执行匹配的情况的状态的示例的示意图，其中的设置变更屏幕显示在根据本实施例的信息处理设备的显示设备上。图21是示出在设置变更屏幕上的实时视频中从显示帧突出另一设置区域的情况的状态的示例的示意图，其中的设置变更屏幕显示在根据本实施例的信息处理设备的显示设备上。在设置变更屏幕700中,将参考图17至图21来描述成像设备2在设置位置上处于静止的情况下自动激活的匹配操作。

如图17中所示，设置变更屏幕700包括设置号显示部701、参考图像显示部702a、提取图像显示部702b、参考静止图像显示部703a(第一显示区域)、实时视频显示部703b(第二显示区域)、操作指令显示部704、操作进度显示部705、相机实施状态显示部706、以及暂停按钮707。

设置号显示部701是显示被操纵且输入到上面描述的主屏幕400的设置号输入部415的设置号的显示部。

参考图像显示部702a是显示通过图像提取部324从存储部302读取出的与设置号对应的基本参考图像的显示部。提取图像显示部702b是显示通过图像提取部324从显示在实时视频显示部703b上的实时视频数据的帧作为临时基础区域802中的图像进行提取的提取图像的显示部。

参考静止图像显示部703a是显示通过图像提取部324从存储部302读取出的、与设置号对应的参考静止图像的显示部。实时视频显示部703b是通过视频显示部322显示作为设置变更操作的目标的成像设备2的实时视频数据的显示部。

操作指令显示部704是根据设置变更操作中的设置变更的阶段来显示消息信息的显示部。操作进度显示部705是表示设置变更操作的进度的显示部。相机实施状态显示部706是表示与显示在设置号显示部701上的设置号相关联的成像设备2的设置变更操作的执行状态的显示部。

当根据用户对输入部303的操作按下暂停按钮707时，由设置控制部327暂停设置变更操作，并且将设置变更屏幕700过渡到主屏幕400。

图17中所示的设置变更屏幕700表示在确定与输入到主屏幕400的设置号码输入部415中的设置号对应的设置信息由设置控制部327存储在存储部302的情况下，从主屏幕进行过渡的状态。此时，设置号显示部701显示由设置控制部327操纵且输入到主屏幕400的设置号输入部415的设置号。

参考图像显示部702a通过图像提取部324显示基本参考图像，该基本参考图像与从存储部302读取出的并显示在设置号码显示部701上的设置号码(以下，在设置变更操作的描述中，简称为“设置号”)相对应。另外，参考静止图像显示部703a通过图像提取部324显示与从存储部302读取出的设置号对应的参考静止图像。此外，实时视频显示部703b通过视频显示部322显示作为设置变更操作的目标的成像设备2(在图17中“CAM6”，也就是成像设备2f)的实时视频数据。此外，提取图像显示部702b通过图像提取部324显示提取图像，该提取数据是从显示在实时视频显示部703b上的实时视频数据的帧作为临时基础区域802中的图像进行提取的。

参考静止图像显示部703a通过基础区域指明部323，在与叠加在参考静止图像上并且由基础区域指明部331进行指明的基础区域570相对应的位置处显示第一基础区域801(第一参考区域)。参考静止图像中的第一基础区域801中的图像对应于基础参考图像。

实时视频显示部703b通过基础区域指定部323将临时基础区域802显示在与参考静止图像显示部703a的第一基础区域801的位置相对应的位置。显示在实时视频显示部703b上的视频数据的临时基本区域802中的图像对应于所提取的图像。

相机实施状态显示部706通过消息控制部321表示针对与设置号(在图17中，“A1234567”)相关联的成像设备2(作为“CAM6”的成像设备2f、“CAM2”的成像设备2b、以及“CAM4”的成像设备2d)的设置变更尚未执行。将简单地表示为成像设备2来描述设置变更操作的目标。

如图17中所示，在实时视频显示部703b上显示的视频数据的帧与参考静止图像显示部703a上显示的参考静止图像不同，因此需要改变成像设备2的设置位置。因此，消息控制部321在操作指令显示部704上显示促使作为设置变更目标的成像设备2的位置的调整的消息信息，并且在操作进度显示部7上显示设置变更操作处于“1.调整相机与参考进行匹配”的阶段。

图18中所示的设置变更屏幕700表示用户将作为设置变更目标的成像设备2的位置调整为参考静止图像所表示的位置附近的状态。在用户调整成像设备2的位置的同时，视频显示部322从显示在实时视频显示部703b上的实时视频数据的帧中提取出提取图像(临时基础区域802中的图像)，并将提取图像显示在提取图像显示部702b。用户将作为设置变更目标的成像设备2的位置调整为基础静止图像所表示的位置的附近，如图18所示，参考静止图像显示部703a上显示的参考静态图像与显示在实时视频显示部703b上的视频数据的帧大致一致。

用户将成像设备2移动到如图18所示的位置，并且静态判定部325确定成像设备2是否处于静止。在静态判定部325确定成像设备2处于静止的情况下，基础区域指定部323执行搜索与在实时视频显示部703b上所显示的视频数据的帧中的基础参考图像一致的图像的匹配操作(第一匹配操作)。这里，例如静态325确定成像设备2处于静止的时间点的帧可以用作作为匹配操作的目标的实时视频显示部703b的视频数据的帧。这里，“一致”不仅包括完全一致的情况，还包括近似能够被认为一致的程度的状态。此外，基础区域指定部323不限于执行针对实时视频显示部703b上显示的整个帧的匹配操作，例如可以在以所显示的临时基础区域802(在该时间点，临时基础区域显示在与第一基础区域801对应的位置)的上下和左右的方向，在预定像素范围内(例如30像素)执行匹配操作。另外，匹配操作的方法可以是已知的模板匹配方法，例如绝对差值和(SAD)、差值的平方和(SSD)、归一化相关(NCC)、纯相位相关(POC)等能够应用于匹配操作的方法。

通过例如以下方法来执行上述静态判定部325对于成像设备2是否处于静止的判定，即实时视频显示部703b上所显示的实时视频数据是否处于静止的判定。首先，静态判定部325对于实时视频数据的每个帧进行灰度化，使得像素值例如由0至255的亮度值构成。接着，静态判定部325通过每个相应像素来计算实时视频数据的前后帧之间的亮度值的差异。接着，在与小于或等于预定值(例如，30)的差值相对应的像素大于整体图像的预定比例(例如，95％)的情况下，静态判定部325针对计算出的每个像素的亮度值的差异判定前后帧彼此相同。然后，在判定前后帧彼此相同的操作连续预定时间(例如2秒)的情况下，静态判定部325将显示在实时视频显示部703b上的实时视频数据判定为静止。

在静态判定部325判定成像设备2处于静止的情况下，图19中所示的设置变更屏幕700表示基础区域指定部323执行匹配操作的状态，并且显示搜索进度对话630。具体地，在静态判定部325判定成像设备2为静止的情况下，基础区域指定部323显示搜索进度对话630，并执行上述的匹配操作。搜索进度对话630是显示表示匹配操作的进度情况的进度条的对话。另外，在执行基础区域指定部323的匹配操作时，消息控制部321在操作指令显示部704上显示消息信息，该消息信息表示执行匹配操作的效果(在图19的示例中，显示“系统正在检查”)。另外，消息控制部321在操作进度显示部705上显示出设置变更操作的操作进度处于“2.系统进行检查”的阶段。

作为基础区域指定部323的匹配操作的结果，在实时视频显示部703b上所显示的视频数据的帧中未观察到与基础参考图像一致的图像的情况下，如图20所示，消息控制部321在操作指令显示部704上显示表示效果的消息信息。另外,作为匹配操作的结果，未观察到与基础参考图像一致的图像，因而用户需要再次调整成像设备2的位置，因此消息控制部321在操作进度显示部705上显示出设置变更操作的操作进度回到“1.调整相机与参考进行匹配”的阶段。

另外，作为基础区域指定部323的匹配操作的结果，在实时视频显示部703b中所显示的视频数据的帧中观察到与基础参考图像一致的图像，但是根据(显示在临时基础区域802上的)一致图像的位置所设置的其他检测区域等(上述的触发区域530、检测区域535、检测区域536等)从实时视频显示部703b的帧突出的情况下，如图21中所示，消息控制部321在操作指令显示部704上显示表示效果的消息信息。另外，匹配操作不成功，因此用户需要再次调整成像设备2的位置，消息控制部321在操作进度显示部705上显示出设置变更操作的操作进度回到“1.调整相机与参考进行匹配”的阶段。

<固定成像设备之后的匹配操作>

图22是示出在设置变更屏幕上的实时视频中能够执行匹配的情况下所显示的对话的示例的示意图，其中的设置变更屏幕显示在根据本实施例的信息处理设备的显示设备上。图23是示出在设置变更屏幕上针对最后检查的匹配操作期间所显示的对话的示例的示意图，其中的设置变更屏幕显示在根据本实施例的信息处理设备的显示设备上。图24是示出由于在设置变更屏幕上针对最后检查的匹配操作而无法执行匹配的情况下的状态的示例的示意图，其中的设置变更屏幕显示在根据本实施例的信息处理设备的显示设备上。图25是示出在设置变更屏幕上用于促使下一个相机的设置变更所显示的对话的示例的示意图，其中的设置变更屏幕显示在根据本实施例的信息处理设备的显示设备上。图26是示出在设置变更屏幕上结束设置变更的情况下所显示的对话的示例的示意图，其中的设置变更屏幕显示在根据本实施例的信息处理设备的显示设备上。将参考图22至图26来描述在固定成像设备2的情况下在设置变更屏幕700上执行的最后匹配操作。

在匹配操作成功的情况下，如图22中所示，基础区域指定部323显示临时调整结果通知对话640，其表示匹配操作成功的效果和促使固定成像设备2的效果。临时调整结果通知对话640包括确定(OK)按钮641和关闭按钮642。如下所述，确定按钮641是用于在基础区域确定器326中执行最后匹配操作的按钮。关闭按钮642是用于关闭临时调整结果通知对话640的按钮。

另外，作为匹配操作的结果，基础区域指定部323通过移动临时基础区域802(临时参考区域)来指明显示在实时视频显示部703b中与基础参考图像一致的图像。另外，消息控制部321在操作进度显示部705上显示出设置变更操作的操作进度处于“3.系统进行检查”的阶段。

根据显示在临时调整结果通知对话640上的消息，用户固定成像设备2，然后根据输入部303的操纵按下确定按钮641。因此，如图23中所示，基础区域确定器326显示搜索进展对话630，并且执行最后匹配操作(针对最后确认的匹配操作)(第二匹配操作)。此外，基础区域确定器326不限于执行针对实时视频显示部703b上显示的整个帧的匹配操作，例如可以在临时基础区域802(在该时间点，临时基础区域显示在通过基础区域指定部323的匹配操作所获取的图像的位置处)的上下和左右的方向，在预定像素范围内(例如30像素)执行匹配操作。另外，与基础区域指定部323的匹配操作相同，匹配操作可以从与第一基础区域801对应的位置，在上下和左右方向上，在预定的像素范围内执行。

另外，在执行基础区域确定器326的最后(final)匹配操作时，消息控制部321在操作指令显示部704上显示消息信息，该消息信息表示执行最后匹配操作的效果(在图23的示例中，显示“现在系统进行最后检查”)。另外，消息控制部321在操作进度显示部705上显示出设置变更操作的操作进度处于“4.系统进行最后检查”的阶段。

作为基础区域确定器326的最后匹配操作的结果，在实时视频显示部703b上所显示的视频数据的帧中未观察到与基础参考图像一致的图像的情况下，如图24所示，消息控制部321在操作指令显示部704上显示表示效果的消息信息。另外,作为匹配操作的结果，未观察到与基础参考图像一致的图像，因而用户需要再次调整成像设备2的位置，因此消息控制部321在操作进度显示部705上显示出设置变更操作的操作进度回到“1.调整相机与参考进行匹配”的阶段。这里，显示在实时视频显示部703b上的视频数据的帧中未观察到与基础参考图像一致的图像的示例的多个示例包括用户固定成像设备2时成像设备2发生偏移的情况等。此外，观察到与基础参考图像一致的图像，但是在根据(显示在临时基础区域802上的)一致图像的位置而设置的其他检测区域等(上述触发区域530、检测区域535、检测区域536等)从实时视频显示部703b突出的情况下的过程与上述基础区域指定部323的匹配操作中的相同。

在最后匹配操作成功的情况下，如图25和图26中所示，基础区域确定器326通过移动临时基础区域802，在显示在实时视频显示部703b上的帧中显示与基础参考图像一致的图像作为第二基础区域802a(第二参考区域)。也就是说，基础区域确定器326将第二基础区域802a的位置确定为根据与参考静止图像显示部703a的第一基础区域801对应的位置进行修正的位置。然后，基础区域确定器326将所确定的第二基础区域802a的信息与设置号相关联地存储在存储部302中。在此，第二基础区域802a的信息例如是诸如表示第二基础区域802a的位置和第二基础区域802a的形状的信息。因此，在图25和图26中，针对成像设备2“CAM6”，也就是成像设备2f的设置变更操作完成。然后，消息控制部321在相机实施状态显示部706上显示“执行完成”，从而表示与设置号相关联的成像设备2f(“CAM6”)的设置变更操作完成。

另外，在与设置号相关联的一个成像设备2(在上面的描述中，成像设备2f)的设置变更操作完成，并且存在与相同的设置号类似地相关联并且设置变更操作未完成的成像设备2(在图25的示例中，“CAM2”和“CAM4”)的情况下，如图25中所示，设置控制部327显示下一个相机处理对话650，其表示允许操作进行到针对下一个成像设备2的设置变更操作的效果。另外，在操作进度显示部705中执行下一个成像设备2的设置变更操作，消息控制部321显示操作进展处于“5.进行到下一个相机的设置”的阶段。

下一个相机处理对话650包括确定(OK)按钮651和关闭按钮652。确定按钮651是用于启动下一个成像设备2的设置变更操作的按钮。关闭按钮652是用于关闭下一个相机处理对话650的按钮。

另外，在与设置号相关联的一个成像设备2(在上面的描述中，成像设备2f)的设置变更操作已完成，并且不存在与相同设置号类似地相关联并且设置变更操作未完成的成像设备2的情况下，如图26中所示，设置控制部327显示设置变更结束对话660，其表示完成与显示设置号相关联的所有成像设备2的设置变更操作的效果。另外，在此情况下，与设置号相关联的所有成像设备2(“CAM6”、“CAM4”和“CAM2”)完成设置变更操作，因此消息控制部321在相机实施状态显示部706上针对所有成像设备2显示“执行完成”。另外，完成与设置号相关联的所有成像设备2的设置变更操作，因此消息控制部321在操作进程显示部705上显示操作过程处于“6.结束设置变更”阶段。

设置变更结束对话660包括确定(OK)按钮661和关闭按钮662。确定按钮661是用于结束与设置号相关联的所有成像设备2的设置变更操作的按钮。关闭按钮662是用于关闭设置变更结束对话660的按钮。

上述设置变更操作完成，因此能够对应于设置号的设置变更来设置成像设备2的配置位置。

(主屏幕的图像判定操作)

图27是示出在主屏幕上结束设置变更之后的状态的示例的示意图，其中的主屏幕显示在根据本实施例的信息处理设备的显示设备上。将参考图27来描述主屏幕400的图像判定操作。

在根据用户对于输入部303的操纵而按下图26中所示的设置变更结束对话660的确定按钮661的情况下，设置控制部327将设置变更屏幕700过渡到主屏幕400。图27中所示的主屏幕400是与特定的设置号(在图27的示例中，“A1234567”)相关联的成像设备2(成像设备2b、2d和2f)的设置变更操作结束之后显示的主屏幕400。

设置控制部327将设置号显示在分别与设置变更操作结束的成像设备2b、2d和2f对应的设置号显示部422b、422d和422f上。另外，针对成像设备2b、2d和2f的设置变更操作结束，因此设置控制部327在状态显示部421b、421d和421f中的每一个上显示“设置完成”。

接着，用户根据输入部303的操作按下与计划启动图像判定(监视操作)的成像设备2对应的视频显示部401，并且设置选择状态。在图27所示的示例中，示出按下视频显示部401f并且设置选择状态的状态。然后，在根据用户对于输入部303的操作而按下监视开始按钮411的情况下，针对显示在视频显示部401f上成像设备2f的实时视频数据开始图像判定操作。此时，如图27中所示，为了表示针对成像设备2f执行图像判定操作的效果，设置控制部327在状态显示部421f上显示“正在监视”。

图27中所示的主屏幕400实时显示从多个成像设备2接收到的视频数据，并且表示视频显示部401f指明触发区域“TR6”和检测区域“K61”和“K62”的状态。在此，主屏幕400上被指明的触发区域和检测区域存在于第二基础区域802a的位置进行相对地设置的位置，其中的第二基础区域802a的位置通过设置变更屏幕700来确定。这是因为存储在存储部302中的触发区域和检测区域的位置信息不是图像的显示区域中的绝对位置的信息，而是表示相对于基础区域(这里是第二基础区域802a)的相对位置的信息。此外，存储在存储部302中的触发区域和检测区域的位置信息可以是显示区域中的绝对位置的信息。在此情况下，触发区域和检测区域的位置分别由触发区域指明部305和检测区域指明部307通过第一基础区域801和第二基础区域802a之间的偏移量进行修正。

在特定主屏幕400的图像判定操作中，首先视频分配部312对于从视频接收部301接收到的实时视频数据进行排序，并且将其显示在视频显示部401a至401f。触发生成部313从存储部302获取通过变化点检测部306检测出的变化点处的帧的差异图像。然后，触发生成部313将差异图像与视频显示部401f所指明触发区域“TR6”中的视频数据的帧的触发区域进行比较。触发生成部313将视频数据的帧的触发区域中的图像与变化点的帧的差异图像进行比较，然后在作为像素值相差大于或等于预定灵敏度的像素总数的差值小于预定阈值的时刻生成触发信号。

检测区域“K61”和“K62”的属性信息的检测延迟时间被设置为图14中所示的值。检测区域判定314从存储部302中获取被指明的检测区域的属性信息。检测区域判定部314在接收到触发生成部313生成的触发信号时，在设置时间之前或设置时间之后，将检测参考图像与被指明的检测区域中的视频数据帧中的检测区域的图像进行比较，并且执行是否存在异常的图像判定。

具体地，检测区域判定部314将从触发生成部313接收到的与触发区域“TR6”对应的触发信号的时间点与触发区域“K61”对应的检测延迟时间“2.14”秒之后的视频数据的帧的检测区域中的图像与检测参考图像进行比较，并且执行是否存在异常的图像判定。在此时，在图像判定中，检测判定部314将检测参考图像与检测区域中的图像进行比较，并且在差异大于或等于属性信息的阈值的情况下，确定检测区域“K61”的图像判定为不正常，其中的差异是像素值差别大于或等于检测区域“K61”的属性信息的灵敏度的像素的总数。因此，检测区域确定部314在接收到触发信号的时间点之前的时间点执行图像确定的情况的示例包括在诸如压配合机的设施中进行图像判定的情况，通过使用开始压配合操作的定时作为触发，针对压配合后的压配合状态来执行图像判定。具体地说，触发发生部313通过使用允许压配和机相对于工件对于压配合件进行压配合操作被启动的定时作为触发来生成触发信号。之后，压配和机相对于工件对于压配合部件进行压配合，并且压配合机的每个致动器在压配合操作结束后返回到原点位置。然后，检测区域确定部314对于进行压配合后的工件的压配合状态进行图像确定。检测区域判定部314的图像判定的定时是从接收到来自触发产生部313的触发信号的检测延迟时间所设定的时间之后的定时。从生成触发信号的压配合操作开始到压配合后的压配合状态的图像判定的时间是压配合机的自动操作，因此是固定时间，并且将从触发定时到图像判定的检测延迟时间设定为固定时间。

另外，检测区域判定部314将从接收到来自触发生成部313的与触发区域“TR6”对应的触发信号的时间点与触发区域“K62”对应的检测延迟时间“-1.86”秒之后(也就是“1.86”秒之前)的视频数据的帧的检测区域中的图像与检测参考图像进行比较，并且执行是否存在异常的图像判定。因此，检测区域确定部314在接收到触发信号的时间点之前的定时执行图像确定的情况的示例包括如下情况：在诸如压配合机的设施中，其中相对于工件将压配合件进行手动地压配合，将操作人员将压配合后的工件放入成品中的定时作为触发，并且对于压配合之后的处于在装入成品之前在压配机中的状态的工件进行图像判定。具体地，首先，操作者将压配合之前的工件设定在压配合机中。接下来，操作者按下压配合启动按钮，并且允许压配和机开始压配合部件相对于工件的压配合操作。在压配合之后，操作者拿起压配合之后的工件，并将工件放在成品中。触发生成部313通过使用操作者将压配合后的工件放入成品中的定时作为触发来生成触发信号。然后，检测区域判定部314在压配之后的定时从接收到触发信号的定时起并且在检测延迟时间所设置的时间之前，也就是放入成品之前的设置在压配合机中的时刻，对于工具执行图像判定。因此，通过在产生触发信号的时刻之前对于设置在压制机中的工具进行图像判定能够防止出现以下问题。也就是说，例如存在如下情况：操作者设置工件，然后由于补休而暂时离开并返回到操作现场，将压配合之前的工件放入成品中，而未调用压配合操作。在这种情况下，将工件放入成品的定时用作触发，并且在从触发的时间点起由检测延迟时间所设置的时间之前的定时执行图像判定，因此操作者能够判定工件尚未压配，并且能够防止压配之前的工作与成品混合。

然后，在检测区域判定部314判定是否存在异常的情况下，外部输出部316向外部设备10输出异常信号。

(设置变更操作的总体流程)

图28是示出在设置变更屏幕上进行的设置变更操作的示例的流程图，其中的设置变更屏幕显示在根据本实施例的信息处理设备的显示设备上。将参考图28总体描述设置变更操作的流程。

<步骤S11>

用户根据对于输入部303的操纵，将执行设置变更的设置号输入到主屏幕400(参考图4)的设置号输入部415中。在根据用户对于输入部303的操作而按下设置变更按钮414的情况下，设置控制部327获取与输入到设置号输入部415中的设置号对应的设置信息是否存储在存储部302中。此后，将描述设置控制部327获取与存储部302中所存储的设置号对应的设置信息的情况。然后，过程进行到步骤S12。

<步骤S12>

设置控制部327停止与输入的设置号相关联的成像设备2的图像判定操作(监视操作)。然后，设置控制部327从主屏幕400过渡到设置变更屏幕700。然后，过程进行到步骤S13。

<步骤S13>

消息控制部321在操作指令显示部704上显示促使作为设置变更目标的成像设备2的位置的调整的消息信息，并且在操作进度显示部705上显示设置变更操作处于“1.调整相机与参考进行匹配”的阶段。在用户调整成像设备2的位置的同时，视频显示部322从显示在实时视频显示部703b上的实时视频数据的帧中提取出提取图像(临时基础区域802中的图像)，并将提取图像显示在提取图像显示部702b。用户将成像设备2移动到图18中所示的位置并且使得成像设备2处于静止。

<步骤S14>

静态判定部325判定成像设备2是否处于静止。在静态判定部325确定成像设备2处于静止的情况下，基础区域指定部323执行匹配操作，该匹配操作搜索与显示在实时视频显示部703b上的视频数据的帧中的基础参考图像一致的图像。在基础区域指定部323执行匹配操作时，消息控制部321在操作指令显示部704上显示消息信息，该消息信息表示执行匹配操作的效果(在图19的示例中，显示“系统正在检查”)。另外，消息控制部321在操作进度显示部705上显示出设置变更操作的操作进度处于“2.系统进行检查”的阶段。然后，过程进行到步骤S15。

<步骤S15>

在基础区域指定部323的匹配操作成功的情况下(在图28中，表示为“匹配成功”)(步骤S15：是)，过程进行到步骤S16，并且作为匹配操作的结果，并且在显示在实时视频显示部703b上的视频数据的帧中未观察到与基础参考图像一致的图像的情况下(步骤S15：否)，过程进行到步骤S17。

<步骤S16>

在匹配操作成功的情况下，如图22中所示，基础区域指定部323显示临时调整结果通知对话640，其表示匹配操作成功的效果和促使固定成像设备2的效果。另外，作为匹配操作的结果，在显示在实时视频显示部703b上的帧中，基础区域指明部323通过移动临时基础区域802来表示与基础参考图像一致的图像。另外，消息控制部321在操作进度显示部705上显示出设置变更操作的操作进度处于“3.利用夹具固定相机”的阶段。然后，过程进行到步骤S18。

<步骤S17>

消息控制部321在操作指令显示部704上显示消息信息，该消息信息表示匹配操作不成功的效果(在图28中，表示为“显示失败”)。另外，匹配操作不成功，因此用户需要再次调整成像设备2的位置，消息控制部321在操作进度显示部705上显示出设置变更操作的操作进度回到“1.调整相机与参考进行匹配”的阶段。然后，过程返回到步骤S13。

<步骤S18>

用户根据临时调整结果通知对话640所表示的消息来固定成像设备2，然后根据输入部303的操作而按下确定按钮641。然后，过程进行到步骤S19。

<步骤S19>

如图23中所示，基础区域确定器326显示搜索进展对话630，并且执行最后匹配操作(针对最后确认的匹配操作)。另外，在执行基础区域确定器326的最后匹配操作的同时，消息控制部321在操作指令显示部704上显示消息信息，该消息信息表示执行最后匹配操作的效果(在图23的示例中，显示“现在系统进行最后检查”)。另外，消息控制部321在操作进度显示部705上显示出设置变更操作的操作进度处于“4.系统进行最后检查”的阶段。然后，过程进行到步骤S20。

<步骤S20>

在基础区域确定器326的最后匹配操作成功的情况下(在图28中，表示为“匹配成功”)(步骤S20：是)，过程进行到步骤S22，并且作为匹配操作的结果，在显示在实时视频显示部703b上的视频数据的帧中未观察到与基础参考图像一致的图像的情况下(步骤S20：否)，过程进行到步骤S21。

<步骤S21>

消息控制部321在操作指令显示部704上显示消息信息，该消息信息表示最后匹配操作不成功的效果(在图28中，表示为“显示失败”)。另外，最后匹配操作不成功，因此用户需要再次调整成像设备2的位置，消息控制部321在操作进度显示部705上显示出设置变更操作的操作进度返回到“1.调整相机与参考进行匹配”的阶段。然后，过程返回到步骤S13。

<步骤S22>

在最后匹配操作成功的情况下，如图25和图26中所示，基础区域确定器326通过移动临时基础区域802，在显示在实时视频显示部703b上的帧中将与基础参考图像一致的图像表示为第二基础区域802a。也就是说，基础区域确定器326将第二基础区域802a的位置确定为根据与参考静止图像显示部703a的第一基础区域801对应的位置进行修正的位置。另外，基础区域确定器326将所确定的第二基础区域802a的信息与设置号相关联地存储在存储部302中。因此，与设置号相关联的一个成像设备2的设置变更操作完成。另外，消息控制部321在相机实施状态显示部706上显示“执行完成”，用于表示与设置号相关联的成像设备的设置变更操作完成。

然后，在与设置号相关联的一个成像设备2的设置变更操作完成，并且存在着与相同的设置号类似地相关联并且设置变更操作未完成的成像设备2的情况下(步骤S22：是)，如图25中所示，设置控制部327显示下一个相机处理对话650，其表示允许操作进行到针对下一个成像设备2的设置变更操作的效果。然后，在用户根据输入部303的操纵而按下确定按钮651的情况下，过程进行到步骤S13。

相反，在与设置号相关联的一个成像设备2(在上面的描述中，成像设备2f)的设置变更操作完成，而不存在与相同设置号类似地相关联并且设置变更操作未完成的成像设备2的情况下(步骤S22：否)，如图26中所示，设置控制部327显示出设置变更结束对话660，其表示与设置号相关联的所有成像设备2的设置变更操作完成的效果。在根据用户对于输入部303的操纵而按下图26中所示的设置变更结束对话660的确定按钮661的情况下，设置控制部327将设置变更屏幕700过渡到主屏幕400。因此，与设置号相关联的所有成像设备2的设置变更操作结束。

如上所述，当执行设置变更时，基础区域确定器326执行匹配操作，该匹配操作在用户改变设置位置的成像设备2的视频数据的帧中搜索与基础参考图像一致(匹配)的区域，并且基础区域确定器326在成像设备2的视频数据的帧中确定与基础参考图像一致的第二基础区域802a。此时，通过表示基础参考图像的第一基础区域801的位置与由基础区域确定器326判定的第二基础区域802a的位置之间的偏移量来修正诸如触发区域和检测区域的判定区域的位置。因此，当执行设置变更时，不必再次修改和指明判定区域，根据匹配操作的成功和失败来表示成像设备2的正确的变更位置，因此能够易于在正确的变更位置中设置成像设备2的设置位置(设置变更的位置)。另外，当执行设置变更时，执行上述的匹配操作，并且因此不必配置成像设备2使得成像设备2的实时视频数据的帧与参考静止图像完全一致，并且能够易于在正确的变更位置设置成像设备2的设置位置(设置变更的位置)。

另外，当执行设置变更时，在成像设备2设置在变更位置并且处于静止的情况下，匹配操作由基础区域指定部323自动执行。然后，在匹配操作成功的情况下，用户固定成像设备2，然后通过基础区域确定器326执行最后匹配操作。在固定成像设备2之后手动执行匹配操作，并且匹配失败的情况下，成像设备2的固定被松开，需要调整修正后的设置位置，但是正如上述操作，在成像设备2处于静止的状态下自动执行匹配操作，因此易于调整成像设备2的设置位置，并且能够减少变更的操作负载。

另外，在设置变更屏幕700中，期望的是第一基础区域801的帧显示在参考静止图像显示部703a，并且临时基础区域802和第二基础区域802a的帧显示在实时视频显示部703b上。因此，用户是成像设备2进行成像所在的成像设备2的方法的引导，因此易于调整成像设备2的设置位置，并且能够减少设置变更的操作负载。

另外，期望的是基础区域指定部323和基础区域确定器326在实时视频显示部703b上显示的帧的预定范围内执行匹配操作。因此，能够减少匹配操作的处理负载。

另外，当开始设置变更操作时，期望的是设置控制部327自动停止与设置号相关联的成像设备2的图像判定操作(监视操作)。因此，需要手动地逐个停止与设置号相关联的一个或多个成像设备2的监视操作，因此能够减少设置变更的操作负载。

另外，图28中所示的成像设备2的设置位置的变更操作过程不限于执行设置变更的情况，并且能够应用于除了设置变更以外的场景中的成像设备2的设置位置被改变的情况。

此外，在设置屏幕500中，将触发区域和检测区域指明为除了基础区域570之外的区域，但是区域不限于此，并且可以指明其他的判定区域。例如，在检测区域中，基于触发信号来执行图像判定，并且能够指明持续执行图像判定的全时(full-time)检测区域。

另外，在上述实施例中，将触发生成部313生成的触发信号用作检测区域判定部314的图像判定的定时的参考，但是参考不限于此。例如，触发信号可以用作在生产实施侧执行预定处理的定时的参考，并且在此情况下，可以在生成触发信号的时间点将触发信号发送到生产设施。

另外，在本实施例的第一再现部304、触发区域指明部305、变化点检测部306、检测区域指明部307、设置部308、视频分配部312、触发生成部313、检测区域判定部314、消息控制部321、视频显示部322、基础区域指定部323、图像提取部324、静态判定部325、基础区域确定器326、设置控制部327、和基础区域指明部331中的至少任意一个是通过程序来实现的情况下，通过将该程序预先并入到ROM等中来提供程序。另外，本实施例的信息处理设备3中执行的程序可以用于通过以下方式来提供：以可安装格式或可执行格式的文件记录在通过计算机可读取的记录介质，诸如CD-ROM、软盘(FD)、CD-R、以及DVD。另外，本实施例的信息处理设备3中执行的程序可以用于存储在连接到诸如互联网的网络的计算机上并且通过经过网络进行下载的方式来提供。另外，本实施例的信息处理设备3中执行的程序可以用于通过诸如互联网的网络进行提供或分发。本实施例的信息处理设备3中执行的程序具有包括上述第一再现部304、触发区域指明部305、变化点检测部306、检测区域指明部307、设置部308、视频分配部312、触发生成部313、检测区域判定部314、消息控制部321、视频显示部322、基础区域指定部323、图像提取部324、静态判定部325、基础区域确定器326、设置控制部327、和基础区域指明部331中的至少任意一个的模块配置，CPU从作为实际硬件的上述ROM读取程序并且进行执行，因此通过上述部的每个部可以通过加载在主存储设备上来生成。参考标记列表

1 图像处理系统

2、2a至2f 成像设备

3 信息处理设备

4 网络

10 外部设备

101 CPU

102 ROM

103 RAM

104 外部存储设备

105 显示器

106 网络接口

107 键盘

108 鼠标

109 DVD驱动器

110 DVD

111 外部设备接口

112 总线

301 视频接收部

302 存储部

303 输入部

304 第一再现部

305 触发区域指明部

306 变化点检测部

307 检测区域指明部

308 设置部

312 视频分配部

313 触发生成部

314 检测区域判定部

315 显示控制部

316 外部输出部

317 显示部

321 消息控制部

322 视频显示部

323 基础区域指定部

324 图像提取部

325 静态判定部

326 基础区域确定部

327 设置控制部

331 基础区域指明部

400 主屏幕

401、401a至401f 视频显示部

411 监视开始按钮

412 监视停止按钮

413 监视设置按钮

414 设置变更按钮

415 设置号输入部

421、421a至421f 状态显示部

422、422a至422f 设置号显示部

500 设置屏幕

501 相机选择标签

502 设置视频显示部

503a 再现按钮

503b 暂停按钮

503c 快进按钮

503d 快退按钮

503e 停止按钮

504 搜索条

505 滑块

506 时间显示部

507 触发区域信息部

508a 参考图像显示部

508a 差异图像显示部

509 检测区域信息部

510 检测区域按钮部

510a 动作按钮

510b 图像判定选择按钮

510c 删除按钮

510e 灵敏度提高按钮

510f 灵敏度降低按钮

510g 阈值提高按钮

510h 阈值降低按钮

511 设置读出按钮

512 设置写入按钮

513 设置反映按钮

514 关闭按钮

515 设置号显示部

530 触发区域

535、536 检测区域

540 触发标记

551 区域选择标签

561 设置号显示部

562 基础区域信息部

563 删除按钮

570 基础区域

600 变化点选择对话

601 是按钮

602 否按钮

603 关闭按钮

610 无变化点通知对话

611 确定按钮

612 关闭按钮

620 无设置号通知对话

621 确定按钮

622 关闭按钮

630 搜索过程对话

640 临时调整结果通知对话

641 确定按钮

642 关闭按钮

650 下个相机处理对话

651 确定按钮

652 关闭按钮

660 设置变更结束对话

661 确定按钮

662 关闭按钮

700 设置变更屏幕

701 设置号显示部

702a 参考图像显示部

702b 提取图像显示部

703a 参考静止图像显示部

703b 实时视频显示部

704 操作指令显示部

705 操作进度显示部

706 相机实现状态显示部

707 暂停按钮

801 第一基础区域

802 临时基础区域

802a 第二基础区域

文献列表

专利文献

专利文献1：JP 2013-108875 A

Claims (11)

1.一种图像处理设备，包括：

显示部，其用于显示第一显示区域和第二显示区域，所述第一显示区域显示作为将成像部匹配到预定成像位置的参考的静止图像，所述第二显示区域显示通过所述成像部所成像的视频数据；

存储部，其存储表示判定区域与设置在所述第一显示区域中的第一参考区域之间的位置关系的信息，其中的判定区域是针对所述成像部所成像的视频数据执行的图像判定的目标；

确定部，其用于在显示在所述第二显示区域上的视频数据的帧中，执行搜索与所述第一参考区域的图像一致的图像的第一匹配操作，并且将一致图像的区域确定为第二参考区域；以及

修正部，其用于基于在所述第一显示区域中的所述第一参考区域的位置与在所述第二显示区域中的所述第二参考区域的位置之间的偏移量，来修正所述判定区域的位置，并且表示位置关系的信息被存储在所述存储部中；

其中，所述的图像处理设备，进一步包括：

输入部，其用于接收操纵输入；

判定部，其用于判定所述成像部的位置是否静止；以及

指定部，其在所述判定部判定所述成像部的位置静止的情况下，在显示在所述第二显示区域上的视频数据的帧中，执行搜索与所述第一参考区域的图像一致的图像的第二匹配操作，并且将一致图像的区域指定为临时参考区域，

其中所述确定部用于在所述指定部对于所述临时参考区域进行指定之后，在通过所述输入部接收到预定操纵输入之后，执行所述第一匹配操作。

2.根据权利要求1所述的图像处理设备，其中所述显示部用于显示围绕所述第一显示区域的第一参考区域的帧，并且显示围绕所述第二显示区域的第二参考区域和临时参考区域的帧。

3.根据权利要求1或2所述的图像处理设备，其中在针对显示在第二显示区域上的视频数据的帧之中的预定时间的帧，判定相邻的前后帧彼此相同的情况下，所述判定部用于判定所述成像部的位置静止。

4.根据权利要求1或2所述的图像处理设备，其中在第二匹配操作中，所述指定部用于在显示在所述第二显示区域上的视频数据的帧的预定范围内搜索与所述第一参考区域的图像一致的图像。

5.根据权利要求1或2所述的图像处理设备，其中在第一匹配操作中，所述确定部用于在显示在所述第二显示区域上的视频数据的帧的预定范围内搜索与所述第一参考区域的图像一致的图像。

6.根据权利要求1或2所述的图像处理设备，其中在判定区域从所述第二显示区域突出的情况下，所述确定部用于不将一致图像的区域确定为第一匹配操作中的第二参考区域，所述判定区域通过显示在第二显示区域上的视频数据的帧中和第一参考区域的图像一致的图像的区域与第一参考区域之间的偏移量进行修正的位置而确定。

7.根据权利要求1或2所述的图像处理设备，所述显示部用于：

在所述第二显示区域上显示由所述成像部所成像的实时视频数据；以及

同时显示所述第一显示区域和所述第二显示区域。

8.根据权利要求1或2所述的图像处理设备，其中

所述成像部包括多个成像部，并且

在成像部的设置变更操作中，多个成像部之中的与设置识别信息相关联的一个或多个成像部成为设置变更目标。

9.根据权利要求8所述的图像处理设备，进一步包括控制部，所述控制部用于在开始设置变更操作时，停止与所述设置识别信息相关联的一个或多个成像部的视频数据的图像判定的操作。

10.一种图像处理设备，包括：

根据权利要求1到9中的任一项所述的图像处理设备；以及

一个或多个成像部。

11.一种图像处理方法，包括：

显示步骤，显示第一显示区域和第二显示区域，其中所述第一显示区域显示作为将成像部匹配到预定成像位置的参考的静止图像，所述第二显示区域显示通过所述成像部所成像的视频数据；

存储步骤，存储表示判定区域与设置在所述第一显示区域中的第一参考区域之间的位置关系的信息，其中所述判定区域是针对所述成像部所成像的视频数据执行的图像判定的目标；

确定步骤，在显示在所述第二显示区域上的视频数据的帧中，执行搜索与所述第一参考区域的图像一致的图像的第一匹配操作，并且将一致图像的区域确定为第二参考区域；以及

修正步骤，基于在所述第一显示区域中的所述第一参考区域的位置与在所述第二显示区域中的所述第二参考区域的位置之间的偏移量，来修正所述判定区域的位置，并且所存储的信息表示所述位置关系；

其中，所述的图像处理方法，进一步包括：

输入步骤，接收操纵输入；

判定步骤，判定所述成像部的位置是否静止；以及

指定步骤，在判定所述成像部的位置静止的情况下，在显示在所述第二显示区域上的视频数据的帧中，执行搜索与所述第一参考区域的图像一致的图像的第二匹配操作，并且将一致图像的区域指定为临时参考区域，

其中所述确定步骤还包括：在通过所述指定步骤对于所述临时参考区域进行指定之后，在通过所述输入步骤接收到预定操纵输入之后，执行所述第一匹配操作。

Images