CN112307882A - 图像判断装置及图像判断系统 - Google Patents

图像判断装置及图像判断系统 Download PDF

Info

Publication number
CN112307882A
CN112307882A CN202010751845.XA CN202010751845A CN112307882A CN 112307882 A CN112307882 A CN 112307882A CN 202010751845 A CN202010751845 A CN 202010751845A CN 112307882 A CN112307882 A CN 112307882A
Authority
CN
China
Prior art keywords
image
image data
display
unit
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010751845.XA
Other languages
English (en)
Inventor
大村庆二
小元翔太郎
田岛有芸人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020105414A external-priority patent/JP2021027579A/ja
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Publication of CN112307882A publication Critical patent/CN112307882A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Endoscopes (AREA)

Abstract

本发明涉及图像判断装置及系统，其目的在于把可以成为判断对象的图像数据不限于摄像装置输出的图像数据，来自摄像装置以外的设备的图像数据也当作判断对象。进行图像判断的图像判断装置包括，接收从摄像装置输出的第一图像数据和不同于摄影装置的另一个设备输出的第二图像数据之中至少第二图像数据的接收部，第一图像数据是图像数据，第二图像数据是图像数据；将收到的至少第二图像数据播放显示到显示装置上的第一播放部；在播放第一或第二图像数据的显示装置的第一显示区域中指定成为图像判断对象的检测区域的指定部；对显示第一和第二图像数据之中至少一方的显示装置的第二显示区域的检测区域内的第一或第二图像数据作图像判断的判断部。

Description

图像判断装置及图像判断系统
技术领域
本发明涉及图像判断装置及图像判断系统。
背景技术
图像判断系统用来利用摄像机等摄像装置分析录制的图像数据，检测目标物或判断图像数据上的物体的运动或异常等。近年来图像判断系统得到显著发展。这种图像判断系统被应用到例如产品的生产线等中。
图像监控系统作为基于图像来进行物体的动作或异常的判断等，现有技术如专利文献1(JP特许第6459256号公报)，公开了如下技术方案，即具备，图像提取部，用于按照用户设定的作业者的工作区域或作业时间的条件，从摄有监控对象的监控对象图像中提取图像；名单生成部，用于将与用户对工作区域、工作时间或工作内容设定的特定事件相关联的标记，与图像提取部提取的图像相关联起来，生成名单，并保存到存储装置中；以及，播放控制部，用于读取保存在存储装置种的名单，显示到显示装置上，同时，在从显示装置中显示的名单中选择标记时，找出与标记相关联的图像，并在显示装置上播放显示。
但是，专利文献1公开的技术方案存在如下问题，即连接图像判断装置的设备只可以是IP(Internet Proctocol)摄像头(网络相机)等摄像装置，只能对通过该摄像装置拍摄的图像数据进行判断处理。
发明内容
鉴于上述据问题，本发明提供图像判断装置和图像判断系统，其目的在于，把可以成为判断对象的图像数据不限于摄像装置输出的图像数据，使得来自摄像装置以外的设备的图像数据也可以当作判断对象。
为了达到上述目的，本发明提供一种可以用来对图像数据进行图像判断的图像判断装置，其中包括，接收部，用于接收第一图像数据和第二图像数据之中的至少第二图像数据，所述第一图像数据是从摄像装置输出的图像数据，所述第二图像数据是从另一个设备输出的图像数据，该另一个设备不同于输出成为图像判断对象的图像数据的所述摄影装置；第一播放部，用于将所述接收部收到的至少所述第二图像数据播放显示到显示装置上；指定部，用于在播放显示所述第一图像数据或所述第二图像数据的所述显示装置的第一显示区域中，指定成为所述图像判断对象的检测区域；以及，判断部，用于对显示所述第一图像数据和所述第二图像数据之中至少一方的所述显示装置的第二显示区域的所述检测区域内的所述第一图像数据或所述第二图像数据，进行所述图像判断。
本发明的效果在于，判断对象的图像数据不限于摄像装置输出的图像数据，还可以将来自摄像装置以外的设备的图像数据作为判断对象。
附图说明
图1是实施方式涉及的图像判断系统的整体构成示意图。
图2是实施方式涉及的信息处理装置的硬件构成示意图。
图3是实施方式涉及的信息处理装置的功能块构成示意图。
图4是实施方式涉及的信息处理装置中存储装置所保存的信息的目录结构示意图。
图5是实施方式涉及的信息处理装置的显示装置上显示的观察画面中显示了多个实时图像数据的示意图。
图6是实施方式涉及的信息处理装置的显示装置上显示的设定画面中显示图像数据的状态一例的图示。
图7是实施方式涉及的信息处理装置的显示装置所显示的设定画面上，在设定画面显示部中指定检测区域的示意图。
图8是在实施方式涉及的信息处理装置的显示装置所显示的观察画面上执行监视动作的状态的示意图。
图9是在实施方式涉及的信息处理装置的显示装置上显示的观察画面上执行的监视动作中在检测领域进行图像判断的示意图。
图10是实施方式涉及的图像判断系统的整体构成中，把虚拟相机作为图像判断系统的示意图。
图11是在实施方式涉及的信息处理装置的显示装置所显示的观察画面上，从作为虚拟相机的图像判断系统输出的观察画面的状态的示意图。
图12是针对实施方式涉及的图像判断系统，作为虚拟相机的图像判断系统多级连接的状态的示意图。
图13是实施方式涉及的信息处理装置的显示装置所显示的浏览器画面上播放显示收录的图像数据的状态的示意图。
图14是在实施方式涉及的信息处理装置的显示装置所显示的浏览器画面上显示标记清单画面的状态的示意图。
图15是变形例1的图像判断系统的整体构成示意图。
图16是变形例2的图像判断系统的整体构成示意图。
图17是用于说明作为连接变形例3的图像判断系统的虚拟相机输出的图像，对声音进行可视化处理的软件的图像的示意图。
图18是变形例4涉及的图像判断系统的整体构成示意图。
图19是用于说明作为连接变形实例5的图像判断系统的虚拟相机输出的图像，用数据打点制作图表的软件的图像的示意图。
图20是变形例6的图像判断系统的整体构成示意图。
具体实施方式
以下参考附图，详述本发明涉及的图像判断装置和图像判断系统的实施方式。本发明并不受实施方式限制，以下实施方式的构成要素包括本发明领域的技术人员容易想到的、实质上相同的、以及所谓的均等范围的要素。在不脱离以下实施方式宗旨的范围内，可以省略、更换、改变以及组合构成要素。
[图像处理系统整体构成]
图1是实施方式涉及的图像判断系统的一例整体构成示意图。以下参考图1，说明本实施方式涉及的图像判断系统1的整体构成。
如图1所示，图像判断系统1包括摄像装置2b～2f和虚拟相机5、集线器4以及信息处理装置3。
摄像装置2b～2f是通过将来自被摄体的光转换为电信号来拍摄(拍摄)被摄体，生成由多个帧构成的动画(例如10[FPS])的图像数据(第一图像数据)的IP摄像机(网络像机)。例如，摄像装置2b～2f拍摄制造产品的生产设备或者生产线等，生成用于检测制造产品的工件的异常或者判断操作者的操作工序的错误等的图像数据。
在不区别摄像装置2b～2f的情况下，或者统称时，简单称为"摄像装置2"。图1中图像判断系统1包含5台摄像装置2，但本发明不限于此，也可以是包含其他台数的摄像装置2。
虚拟相机5不是像摄影装置2b～2f那样直接将拍摄的摄影图像等作为判断对象输出到信息处理装置3的装置，而是被作为是表示可以输出作为异常等有无判断对象的动画、摄影图像以及生成图像等的图像数据(第二图像数据的示例)的装置和系统等设备。在本实施方式中，虚拟相机5是如下所述，被作为具有相当于图像判断系统1的构成的形态的另一个图像判断系统。虚拟相机5相当于本发明的"另一个设备"。
在图1中，图像判断系统1构成为包括一个虚拟相机5，但本发明并受此限制，也可以是包含不同数量虚拟相机5的构成。图像数据是被作为由多个帧构成的视频图像来说明的，但包含由一个帧构成的静止图像。在此，将从摄像装置2b～2f输出的图像数据作为第一图像数据、从虚拟相机5输出的图像数据作为第二图像数据，但这不过是用来区分图像数据的输出源是摄像装置2b～2f还是虚拟相机5。
集线器4是用于将摄像装置2b～2f、虚拟相机5、信息处理装置3连接起来形成LAN(Local Area Network)的、对应例如Ethernet(注册商标)规格的交换集线器。上述摄像装置2b～2f、虚拟相机5以及信息处理装置3各自具有IP地址(以及MAC(Media AccessControl)地址)，因此可以通过作为交换集线器的集线器4来构成LAN。在这种情况下，该LAN通过TCP(Transmission Control Protocol)/IP(Internet Protocol)等协议进行数据通信。
信息处理装置3是具有基于从摄像装置2输出的图像数据(第一图像数据)、以及从虚拟相机5输出的动画等图像数据(第二图像数据)进行图像判断的图像判断装置功能的PC(Personal Computer)或者工作站等。信息处理装置3通过例如现场总线，可数据通信地与生产设备等外部设备10连接。现场总线的通信规格有例如欧洲使用的Profibus(Profibus)或三菱电机公司的CC-Link(注册商标)等。
在图1所示的LAN中示出了用TCP/IP通信的例子，但本发明并不受此限制，也可以是例如信息处理装置3一方具有多个VGA(Video Graphics Array)端子或USB(UniversalSerial Bus)端口，多个摄像装置2或虚拟相机5通过VGA电缆或USB电缆连接到信息处理装置3的形态等。
[信息处理装置的硬件构成]
图2是实施方式涉及的信息处理装置的一例硬件构成示意图。以下参考图2说明本实施方式涉及的信息处理装置3的硬件构成。
如图2所示，信息处理装置3包括CPU(Central Processing Unit)101、ROM(ReadOnly Memory)102、RAM(Random Access Memory)103、辅助存储设备104、显示器105(显示装置)、网络I/F106、键盘107(输入装置)、鼠标108(输入装置)、DVD(Digital VersatileDisc)驱动器109、外设I/F111以及扬声器112
CPU101用于控制整个信息处理装置3的动作。ROM102是存储信息处理装置3用程序及BIOS(Basic Input/Output System)等的非易失性存储器。RAM103是用作CPU101工作区域的挥发性存储器。
辅助存储器104是用来保存摄像装置2输出的图像数据(第一图像数据)、虚拟相机5输出的动画等图像数据(第二图像数据)、以及存储设定信息等各种数据的硬盘(HardDisk Drive)或SSD(Solid State Drive)等存储装置。
显示器105用于显示光标、菜单、窗口、文字或图像等各种信息，或执行信息处理装置3的图像判断动作的应用程序的画面。显示器105例如是CRT(Cathode Ray Tube)显示器、液晶显示器(Liquid Crystal Display:LCD)或有机EL(Electroluminescence)显示器等。显示器105通过VGA电缆或HDMI(注册商标)(High-Definition Multimedia Interface)电缆等、或者以太网电缆，连接到信息处理装置3的主机上。
网络I/F106是连接集线器4进行数据通信的接口。网络I/F106是通过例如TCP/IP协议可以进行通信的NIC(Network Interface Card)。具体来说，信息处理装置3通过集线器4和网络I/F106从摄像装置2和虚拟相机5取得图像数据。网络I/F106也可以是符合Wi-Fi(注册商标)等通信规格的无线I/F。
键盘107是用于进行文字、数字、各种指示的选择、光标的移动、以及设定信息的设定等的输入装置。鼠标108是用于选择并执行各种指示、选择处理对象、移动光标以及设定设定信息等的输入装置。
DVD驱动器109是用于控制对作为一例可装卸存储介质的DVD110的装置进行数据读取、写入和删除的装置。用DVD驱动器109读取或写入的存储介质不限于DVD，也可以是CD-ROM(Compact Disc-Read Only Memory)、CD-R(Compact Disc-Recordable)、DVD-R、DVD-RW(DVDReWritable)或蓝光光盘。
外设I/F111是用于连接外部设备10进行数据通信的接口。外部设备I/F111是通过例如现场总线进行通信的接口。具体来说，信息处理装置3通过外设I/F111与外部设备10进行数据通信。
扬声器112是按照应用程序的动作输出声音的装置。
上述CPU101、ROM102、RAM103、辅助存储设备104、显示器105、网络I/F106、键盘107、鼠标108、DVD驱动109、外设I/F111以及扬声器112通过地址总线和数据总线等总线113相互通信。显示器105通过以太网线连接时，连接到网络I/F106，在这种情况下，按照TCP/IP等协议进行数据通信。
[信息处理装置的模块构成]
图3是实施方式涉及的信息处理装置的一例功能模块构成的示意图。以下参考图3，说明本实施方式涉及的信息处理装置3的功能模块构成。
如图3所示，信息处理装置3具有图像接收部301(接收部)、存储部302、输入部303(输入装置)、第一播放部304、设定部308、检测区域指定部309(指定部)、图像分配部312、检测区域判断部314(判断部)、第一控制部316、第二播放部318、区域显示控制部319、名单控制部320、第二控制部321、显示控制部331、外部输出部332、显示部333(显示装置)。为了简化说明，图3中省略集线器4的图示。
图像接收部301用于与摄像装置2和虚拟相机5进行数据通信，从摄像装置2接收图像数据和来自于虚拟相机5的图像数据。图像接收部301将收到的图像数据保存在存储部302中。图像接收部301通过图2所示的网络I/F106以及CPU101运行程序来实现。
存储部302是用于存储由图像接收部301接收到的图像数据、各种设定信息以及后述的时刻信息等的存储装置。存储部302对通过图像接收部301收到的图像数据以及图像是由哪个摄像装置2或虚拟相机5生成的图像数据或图像进行识别后保存。存储部302是由例如图2所示的RAM103或辅助存储装置104实现的。
输入部303用于执行供信息处理装置3执行的图像判断动作等的操作输入。输入部303是通过图2所示的键盘107和鼠标108实现的。
第一播放部304是按照受到用户操作的输入部303的操作信号，将从存储部302取得的图像数据发送到显示控制部331，供显示控制部331在显示部333上播放显示图像数据。具体来说，第一播放部304在图6等后述的显示部333上显示的设定画面500的设定用图像显示部502上播放显示图像数据。第一播放部304是通过图2所示的CPU101运行程序而实现的。
设定部308用于根据来自受到用户操作的输入部303得操作信号，设定各种设定信息并保存在存储部302中。设定部308将设定信息之中需要显示的信息从存储部302发送到显示控制部331，让显示控制部331在显示部333上显示设定信息。设定部308是通过图2所示的CPU101运行程序来实现的。
检测区域指定部309用于按照来自受到用户操作的输入部303的操作信号，在显示部333的图像数据的显示区域(设定用图像显示部502)(第一显示区域)中，指定作为检测异常等图像判断动作的对象的检测区域。检测区域指定部309将指定的检测区域的信息与摄像装置2或虚拟相机5相关联地保存到存储部302中。检测区域的信息是指，例如图像数据或图像显示区域中的检测区域的位置坐标、以及检测区域的形状等信息。由检测区域指定部309指定的检测区域在后述的检测功能中使用。检测区域指定部309是通过图2所示的CPU101执行程序来实现的。
上述图像判断动作除了上述异常与否的判断(异常检测)之外，还设想是否发生特定的现象等，但本实施方式为了简化说明，以异常与否的判断(异常检测)动作作为图像判断动作为例进行说明。
图像分配部312用于按照来自受到用户操作的输入部303的操作信号，将从图像接收部301取得的实时图像数据发送到显示控制部331，供显示控制部331在显示部333上显示该图像数据和图像。具体来说，图像分配部312将对应的图像数据和图像分到图5等后述显示部333上显示的观察画面400的图像显示部401a～401f中显示。图像分配部312将图像显示部401a～401f显示的各图像数据保存在存储部302中(录像)。图像分配部312通过图2所示的CPU101运行程序来实现。
检测区域判断部314用于监视动作开始后，在后述的图5的观察画面400的图像显示部401a～401f的检测区域中，对比检测基准图像和作为图像数据的帧或图像中的检测区域的图像，执行是否异常的判断。检测领域判断部314是通过图2所示的CPU101执行程序来实现的。
第一控制部316用于按照来自受到用户操作的输入部303的操作信号，除了在后述图5的观察画面400上进行监视动作的开始和停止之外，还对观察画面400的动作整体进行控制。第一控制部316是通过图2所示的CPU101运行程序来实现的。
第二播放部318用于按照来自受到用户操作的输入部303的操作信号，将从存储部302取得的图像数据发送到显示控制部331，供显示控制部331在显示部333上显示图像数据以及图像。具体来说，第二播放部318将对应的图像数据分配到图13等后述的显示部333上显示的浏览器画面700的图像显示部701a～701f中播放显示。第二播放部318是通过图2所示的CPU101运行程序而实现的。
区域显示控制部319用于根据输入部303中保存的各检测区域的检测时间的信息(时刻信息)，在作为浏览器画面700的图像显示部701a～701f中播放显示的图像数据的帧或图像上，重叠显示各个检测区域的状态。区域显示控制部319是通过图2中所示的CPU101运行程序来实现的。
名单控制部320用于在浏览器画面700中读取存储部302中保存的标记文件，在显示标记文件内容的图14上显示后述的标记名单画面800。在此，标记文件是指按时间序列记录用检测功能检测到异常的时刻等的文件。名单控制部320是通过图2中所示的CPU101运行程序来实现的。
第二控制部321用于控制浏览器画面700的整体动作。第二控制部321是通过图2所示的CPU101运行程序来实现的。
显示控制部331用于控制显示部333的显示动作。具体来说，显示控制部331在显示部333上显示从第一播放部304和图像分配部312获得的图像数据、设定部308设定的设定信息、以及检测区域指定部309指定的检测区域等。显示控制部331是通过图2所示的CPU101运行程序(驱动程序)来实现的。
外部输出部332用于在检测区域判断部314进行了异常判断的情况下，将异常信号输出到外部设备10。外部输出部332由图2所示的外设I/F111、以及CPU101运行程序来实现。外部输出部332虽然是输出异常信号的，但本发明并不限于此，也可以进行把用于以邮件通知异常的批文件发送到外部设备10或在观察画面400上通知异常(例如用灯图标闪烁显示)等措施。
显示部333是按照显示控制部331的控制来显示各种数据的装置。显示部333，尤其在本实施方式中，是通过图2所示的CPU101运行程序(应用程序)，来显示后述的观察画面400、设定画面500以及浏览器画面700等。显示部333是通过图2所示的显示器105实现的。
图3所示的第一播放部304、设定部308、检测区域指定部309、图像分配部312、检测区域判断部314、第一控制部316、第二播放部318、区域显示控制部319、名单控制部320、第二控制部321以及显示控制部331的一部分或全部都可以用ASIC(Application SpecificIntegrated Circuit)或FPGA(Field-Programmable Gate Array)等硬件电路而不是软件程序来实现。
图3所示的各功能部是概念性表示的功能，但本发明并不局限于这样的构成。例如，图3中独立的功能部也可以用图示的多个功能部作为一个功能部来构成。另一方面，图3的一个功能部分也可以分为多个功能，作为多个功能来构成。
为了简化以下的说明，把显示控制部331接受的数据显示在显示部333上简单地表述为将该数据送往显示控制部331的功能部让显示部333(或者显示部333显示的画面)显示该数据。例如，当第一播放部304将图像数据发送到显示控制部331，让显示控制部331将图像数据显示在显示部333上时，简单表述为第一播放部304在显示部333播放显示图像数据。
[保存在存储部中的信息的目录结构]
图4是实施方式涉及的信息处理装置中保存在存储装置中的信息的一例目录结构的示意图。以下参考图4，说明存储部302中用来管理信息的目录结构。
首先，如图4所示，存储部302形成作为根文件夹的"Setting"文件夹和"Common文件夹"。"Setting"文件夹中形成了用于保存关于各个摄像装置2以及虚拟相机5的信息的"CAM1"～"CAM6"文件夹(以下简称为"相机文件夹")。"CAM1"至"CAM6"文件夹分别相当于虚拟相机5和摄像装置2b～2f的文件夹。
如图4所示，每个相机文件夹中均保存区域信息文件、时刻信息文件以及图像数据。在此，区域信息文件包含针对对应的摄像装置2或虚拟相机5设定的各个检测区域的位置信息(表示位置的坐标以及区域的形状等信息)以及后述的属性信息。时刻信息文件是包含针对对应的摄像装置2或虚拟相机5的监视动作开始及结束的时刻、各个检测领域受到指定(设定)的时刻、以及在监视动作期间检测到各个检测区域的时刻。另外，图像数据是后述的检测基准图像等的数据。
此外，在"Common"文件夹中保存了上述标记文件。
如图4所示的管理信息的目录结构是一个示例，本发明并不受此限制，也可以通过其他的数据结构来管理信息。另外，图4所示的文件夹名称也是一个示例，并不受此限制。
[观察画面的构成]
图5是实施方式涉及的信息处理装置的显示装置上显示的观察画面中显示了多个实时图像数据的示例的示意图。以下参考图5，说明观察屏幕400的构成以及多个实时图像数据所表示的动作。
通过CPU101运行的程序(应用程序)，图5显示的观察画面400被显示在显示器333上。观察画面400是实时显示从多个摄像装置2收到的图像数据以及从虚拟相机5收到的图像数据，当执行图像判断动作(监视动作)时，在指定的各个检测领域中执行图像判断的画面。具体来说，在观察画面400中，当执行图像判断动作(监视动作)时，通过检测领域判断部314在检测领域指定部309指定的检测领域中判断有无异常。
观察画面400如图5所示，包括图像显示部401a～401f、监控开始按钮411、监控停止按钮412、监控设定按钮413、OK灯414、NG灯415、状态显示部421a～421f。
图像显示部401a～401f是分别显示，按照来自由用户操作的输入部303的操作信号，由图像分配部312经由图像接收部301从摄像装置2a～2f取得的实时图像数据的显示区域。图像显示部401a～401f可以通过用户操作输入部303而受到按动(例如鼠标108的点击操作等)后成为选择状态。在不区分图像显示部401a～401f或者统称时，简单称为"图像显示部401"(第二显示区域)。
监控开始按钮411是通过用户的输入部303操作而受到按动后，在显示实时图像数据的选择状态的图像显示部401中，开始检测区域指定部309所指定的检测区域中有无异常的判断的按钮。
监控停止按钮412是通过用户的输入部303操作而受到按动后，停止在选择状态的图像显示部401中检测区域判断部314判断检测区域中有无异常的判断动作的按钮。
监控设定按钮413是在用户的输入部303操作而受到按动后，第一控制部316在显示器333上显示后述图6等所示的设定画面500，用以设定各个判断区域的按钮。
OK灯414是在处于选择状态的各图像显示部401中，当指定的检测区域中有无异常的判断结果为没有异常时，由第一控制部316点灯的灯区域。例如，当OK灯414在处于选择状态的图像显示部401之中，为OK灯414和NG灯415的点灯对象的图像显示部401中所有检测领域无异常时，第一控制部316点灯。
NG灯415是在处于选择状态的各图像显示部401中，当指定的检测区域中有无异常的判断结果为异常时，由第一控制部316点灯的灯区域。例如，当NG灯415在处于选择状态的图像显示部401之中，为OK灯414以及NG灯415的点灯对象的图像显示部401的检测区域中的某个检测区域被判断为异常时，该检测区域由第一控制部316点灯。
状态显示部421a～421f是表示与各图像显示部401对应的摄像装置2以及虚拟相机5的状态的显示部。例如，状态显示部421a～421f显示表示"未连接"、"未设定"、"设定完毕"、"正在监控"等摄像装置2以及虚拟相机的五种状态的内容。所谓"未连接"表示与图像显示部401对应的摄像装置2或虚拟相机5处于未与信息处理装置3连接，图像显示部401上没有显示图像数据的状态。例如，在图5所示的例子中，与图像显示部401c对应的摄像装置2(具体来说，摄像装置2c)未连接信息处理装置3，因此状态显示部421c上表示"未连接"，图像显示部401c上显示了未显示图像数据的状态。所谓"未设定"表示对于图像显示部401上显示的图像数据尚未设定检测区域等的状态。"设定完毕"指的是显示在对于图像显示部401上显示的图像数据的检测区域等的设定完毕的状态。"正在监控"是指正在基于设定的各个检测领域的信息实行图像判断动作(监控动作)的状态。状态显示部421a～421f在不需要区别或者统称时，简单称为"状态显示部421"。
[设定画面的构成]
图6是实施方式涉及的信息处理装置的显示装置上显示的设定画面显示图像数据的状态一例的图。以下参考图6说明设定画面500的构成。
设定画面500是设定检测区域的指定和检测区域中图像判断的灵敏度和阈值等的画面。图6所示的设定画面500是用于设定检测功能的画面，包括相机选择卡501、设定用图像显示部502、播放按钮503a、暂停按钮503b、快进按钮503c、快退按钮503d、停止按钮503e、拖动条504、滑块505、时刻显示部506、设定读取按钮511、设定写入按钮512、设定反映按钮513、关闭按钮514、检测区域信息部561、检测区域按钮群562。
相机选择卡501是选择在设定图像显示部502上显示用户所希望的指定检测区域的虚拟相机5的图像数据和摄像装置2b～2f的图像数据之中的哪一个数据的操作部。例如，虚拟相机5输出的图像数据和摄像装置2b～2f拍摄的图像数据分别对应"1"～"6"，在图6的例子中表示选择了"6"即摄像装置2f的图像数据。
设定用图像显示部502是通过第一播放部304，基于来自用户操作的输入部303的操作信号，播放显示从存储部302取得的图像数据的显示部。图6的例子中，第一播放部304通过用户的输入部303的操作，"6"的相机选择卡501受到选择后，设定用图像显示部502上播放显示摄像装置2f拍摄的图像数据。
播放按钮503a通过用户的输入部303的操作而受到按动后，第一播放部304开始播放设定用图像显示部502上显示的图像数据。暂停按钮503b通过用户的输入部303的操作而受到按动后，第一播放部304暂停设定用图像显示部502上正在播放显示的图像数据。快进按钮503c通过用户的输入部303的操作而被按动后，第一播放部304快进显示正在设定用图像显示部502中播放显示的图像数据。快退按钮503d通过用户的输入部303的操作而受到按动后，第一播放部304快退显示正在设定用图像显示部502上播放显示的图像数据。停止按钮503e通过用户的输入部303的操作而受到按动后，第一播放部304停止正在设定用图像显示部502上播放显示的图像数据。
拖动条504是用设于其上的滑块505的位置来显示在设定用图像显示部502上播放显示的图像数据所对应的时间的棒状形状体。滑块505是滑动到与设定用图像显示部502上正在播放显示的图像数据的摄像时刻(正在显示的帧的拍摄时刻，或者正在显示的图像的获得时刻)所对应的拖动条504上的位置的形状体和操作部。相反，滑块505通过用户的输入部303的操作而滑动后，第一播放部304在设定用图像显示部502上显示与滑块505在拖动条504上所在位置相对应的摄影时刻的作为图像数据的帧或者图像。
时刻显示部506是显示由第一播放部304在设定用图像显示部502上播放显示的图像数据的摄影日期(包括获得日期的概念)以及摄影时刻的显示部。
设定读取按钮511通过用户的输入部303的操作而受到按动后，设定部308读取存储部302中保存的相机选择卡501所选择的摄像装置2或虚拟相机5，显示到设定画面500的各显示部分中。设定写入按钮512通过用户的输入部303的操作而受到按动后，设定部308将设定画面500上设定了的检测领域的信息等与相机选择卡501中所选的摄像装置2或虚拟相机5相关联后保存到存储部302中。设定反映按钮513通过用户的输入部303的操作而受到按动后，设定部308使得设定画面500上设定的检测领域的信息等在观察画面400和设定画面500等应用程序关闭之前有效(例如暂时保存在RAM103中)。
关闭按钮514是通过用户的输入部303的操作而受到按动后，设定部308关闭设定画面500，在显示部333上显示观察画面400。
检测区域信息部561是显示由检测区域指定部309所指定的检测区域的名称、灵敏度、阈值、监控方法(在图6中标注为"监控")以及动作有无(在图6中表示为"动作")(以下把检测区域的这些信息称为属性信息)的显示区域且选择操作区域。
检测区域按钮群562是对由检测区域指定部309指定且由检测区域信息部561显示的检测区域的属性信息进行编辑的按钮群。检测区域按钮群562包括动作按钮562a、删除按钮562c、灵敏度增加按钮562e、灵敏度减少按钮562f、阈值增加按钮562g、阈值减少按钮562h。关于检测区域按钮群562的各按钮功能将在以下描述。
[指定检测领域]
图7是实施方式涉及的信息处理装置的显示装置所显示的设定画面中，在设定用图像显示部上指定检测区域的一个示例的示意图。参考图7说明检测区域的指定。
图7所示的设定画面500表示在由第一播放部304播放显示图像数据的设定用图像显示部502上指定检测领域570的状态。具体来说，首先，在设定用图像显示部502中，在图像数据的播放显示期间中需要进行检测功能的图像判断的图像部分被显示出来的时间点，通过用户操作输入部303而使得暂时停止按钮503b受到按动后，第一播放部304暂停在设定用图像显示部502上正在播放显示的图像数据，并在时刻显示部506上显示该时间点的帧或图像的拍摄日期以及摄像时刻。
其次，通过用户的输入部303的操作(例如鼠标108的拖动操作)，检测区域指定部309在设定用图像显示部502中指定并显示检测领域570。
作为检测区域570的属性信息，设定部308让在检测区域信息部561上显示由检测区域指定部309指定的检测区域570的命名名称，以及，在后述的图像判断中作为默认值使用的规定灵敏度(例如"50")、规定的阈值(例如"20％")、监控方法(例如"灰度")、以及有无动作(如"无")显示在信息区信息部561中。作为检测区域570的名称，设定部308例如如图7所示，将对于摄像装置(摄像装置2f)"6"的图像数据所指定的检测区域命名为"A61"。检测区域指定部309将指定了检测区域570的时刻的设定用图像显示部502上显示的帧或者图像中的检测区域570内的图像，作为检测基准图像提取后，与在相机选择卡501中选择的摄像装置2或虚拟相机5(图7的示例中为摄像装置2f)相关联后保存在存储部302中，并将指定的检测区域570的信息(位置和形状等的位置信息以及属性信息等)保存在存储部302中。进而，检测区域指定部309将指定了检测区域570的时刻的信息(时刻信息)与相机选择卡501中选定的摄像装置2或虚拟相机5相关联地保存在存储部302中。用上述同样的方法，可以通过检测区域指定部309指定多个检测区域。
在图7所示的设定画面500上指定的检测领域(图7中检测领域570)的属性信息可以编辑。首先，通过用户的输入部303的操作，在检测区域信息部561中选择显示了属性信息的检测领域中的某一个(图7中只显示检测领域570的属性信息)后，设定部308使得被选中的检测领域信息部561的检测区域的属性信息的显示部分反转显示。在以下的说明中设选择了图7所示的检测区域570(时常检测领域名称为"A61")。
然后，通过用户操作输入部303而按动动作按钮562a后，设定部308切换所选检测区域570的动作有无的设定值。例如，当检测区域570有无动作为"无"时，操作按钮562a受到按动后，设置部308将检测区域570的有无动作设定为"有"。相反，当检测区域570的有无动作为"无"时，操作按钮562a受到按动后，设定部308将检测区域570的有无动作设定为"无"。如后述，在有无动作为"有"的情况下，如果检测区域判断部314对该检测区域的图像判断中判断为异常，则外部输出部332输出异常信号。
例如，通过用户操作输入部303而按动删除按钮562c后，设定部308删除检测区域信息部561上显示的检测区域570的属性信息，删除存储部302中保存的检测区域570的信息。此外，检测区域指定部309删除设定用图像显示部502上显示的检测区域570，删除存储部302中保存的检测基准图像。
例如，通过用户操作输入部303而按动灵敏度增加按钮562e后，设定部308使得所选的检测区域570中用于图像判断的灵敏度的值增加规定值。相反，通过用户的输入部303的操作，按动灵敏度减少按钮562f后，设定部308使得所选的检测区域570中用于图像判断的灵敏度的值减小规定值。
例如，通过用户操作输入部303而按动阈值增加按钮562g后，设定部308使得所选的检测区域570中用于图像判断的阈值增加规定值。相反，通过用户的输入部303的操作，按动阈值减少按钮562h后，设定部308使得所选的检测区域570中用于图像判断的阈值减少规定值。
[观察画面中的图像判断动作]
图8是实施方式涉及的信息处理装置的显示装置上显示的观察画面中执行监视动作的状态一例的图。图9是实施方式涉及的信息处理装置的显示装置上显示的观察画面上执行的监视动作中在检测领域执行图像判断的一个示例的示意图。图8和图9是实施方式涉及的信息处理装置3的显示装置上显示的观察画面上执行的监视动作中在检测领域执行图像判断的一个示例的示意图。
首先参考图8，说明观察画面400中图像判断动作(监控动作)的概要。图8所示的观察画面400实时显示从各摄像装置2及虚拟相机5收到的图像，在图像显示部401f中指定检测区域"A61"的状态。但是，在观察画面400的图像判断动作中，为了避免外观杂乱，图像显示部401上省略显示各判断领域的名称。在此，检测功能是指监控动作期间执行检测区域中图像是否异常的图像判断的功能。在从设置画面500转移到观察画面400后，关于图像显示部401f的各检测区域的设定完毕，因此，第一控制部316在状态显示部421f上显示"设定完毕"。
然后，通过用户操作输入部303，按动与需要启动图像判断动作(监控动作)的摄影装置2或虚拟相机5所对应的图像显示部401，使该图像显示部401成为选择状态。图8的示例显示了图像显示部401f受到按动变成选择状态的状态。然后，通过用户操作输入部303，监控开始按钮411受到按动后，第一控制部316启动图像显示部401f上显示的摄像装置2f的实时图像数据的图像判断动作。此时，第一控制部316如图8所示，在状态显示部421f中显示"正在监控"，以表示正在对摄像装置2f执行图像判断动作。第一控制部316还将图像判断动作(监控动作)的启动时刻的信息(时刻信息)与处于选择状态的图像显示部401对应的摄像装置2相关联地保存在存储部302中。当停止监视按钮412通过用户的输入部303的操作而受到按动时，第一控制部316停止处于选择状态的图像显示部401的图像判断动作，并将图像判断动作(监控动作)的停止时刻的信息(时刻信息)与该图像显示部401所对应的摄像装置2或者虚拟相机5相关联起来保存到存储部302中。
在具体的观察画面400上的图像判断动作中，首先图像分配部312将从图像接收部301收到的实时图像数据分配到图像显示部401a～401f中显示。检测区域判断部314从存储部302取得指定的检测区域(图7中的检测区域570)的属性信息。检测区域判断部314在监视动作执行期间，在指定的检测区域中，对检测基准图像和作为图像数据的帧或图像中的检测区域的图像进行比较，实行异常与否的图像判断。
具体而言，检测领域判断部314将作为检测区域570所对应的图像数据的帧或图像中的检测区域的图像，与检测基准图像对比，进行异常与否的图像判断。此时的图像判断如下进行，即检测领域判断部314通过检测基准图像和检测区域的图像之间对应像素的比较，判断两者间的像素值相差为检测领域570的属性信息的灵敏度以上的像素数量总和，即差值，是否为该属性信息的阈值(例如阈值为"20％"时，整个检测领域的图像(或者检测基准图像)的像素数中的20％的像素数)以上。如果为阈值以上，则检测领域570的图像判断为异常。在检测基准图像和检测区域的图像的比较中，只要两者间的像素值相差是检测区域570的属性信息的灵敏度以上的像素数量总和，即差异，小于该属性信息的阈值，那么，检测区域判断部314的检测区域570的图像判断便为正常。
在检测区域判断部314的图像判断结果为正常检测的情况下，如果图像显示部401f是OK灯414和NG灯415的点灯对象，而且成为其他灯的点灯对象的图像显示部401的检测区域中的图像判断为正常检测，则第一控制部316使得OK灯414点灯。
而在检测区域判断部314的图像判断结果为异常检测的情况下，如图9所示，第一控制部316用不同于常态的颜色且比常态时更粗的线框来显示检测区域570。例如，第一控制部316为了表示异常检测，将表示检测区域570的框以"红色"并且粗线显示，而且让该显示状态例如持续1秒。第一控制部316在检测区域570的图像判断为异常检测时，在图像显示部401f成为OK灯414以及NG灯415的点灯对象的情况下，使得NG灯415点灯。然后，1秒之后第一控制部316将表示检测区域570的框的显示恢复常态的框的显示。另外，也可以在检测领域判断部314进行的检测基准图像与检测区域的图像的比较中，只要两者间的像素值相差为检测区域570的属性信息的灵敏度以上的像素数量总和，即差值，为该属性信息的阈值以上，第一控制部316便持续用"红色"且粗线显示表示检测领域570的框的状态，持续表示检测到异常的状态。在这种情况下，NG灯415的点灯动作也相同。
然后，检测区域判断部314将图像判断动作中作出异常检测的检测时刻的信息(时刻信息)与执行图像判断动作的摄像装置2或虚拟相机5相关联起来保存到存储部302中。检测区域判断部314还将图像判断动作中作出异常检测的检测时刻的信息(时刻信息)与执行图像判断动作的摄像装置2或虚拟相机5相关联起来写入存储部302的标记文件中。
然后，外部输出部332在检测区域判断部314作出异常的判断时，将异常信号输出到外部设备10。
如上所述，第一控制部316在异常检测时，用不同于常态的颜色和框线粗细来显示表示各检测区域的边框。这样，用户便能够视觉性地掌握各图像显示部401的图像判断动作(监控动作)之中哪一个图像显示部401的检测区域中作出异常检测的时间点。
[关于虚拟相机为图像判断系统时的构成]
图10是实施方式涉及的图像判断系统的整体构成中以虚拟相机为图像判断系统时的一个示例。图11是实施方式涉及的信息处理装置的显示装置所显示的观察画面上显示从作为虚拟相机的图像判断系统输出的观察画面的状态一例的示意图。以下参考图10和图11，详述在本实施方式涉及的图像判断系统1中，如上所述，与作为虚拟相机5的其他图像判断系统连接时的构成及动作。
如图10所示，在本实施方式涉及的图像判断系统1中，具有相当于图像判断系统1的构成的另一个图像判断系统5a作为图1所示的虚拟相机5，通过集线器4连接信息处理装置3。图像判断系统5a包括的信息处理装置(相当于图像判断系统1的信息处理装置3)与图像判断系统1相同，从多个IP摄像头(相当于图像判断系统1的摄影装置2)接收图像数据，显示在作为显示装置的显示器(相当于显示器105)上的相当于例如观察画面400的画面中，与图像判断系统1一样地对从各IP摄像头收到的图像进行图像判断。此外，图像判断系统5a中包括的信息处理装置中安装了应用程序(以下简称为"发送应用程序")，用于拍摄显示在显示器上的画面(例如相当于观察画面400的画面)，按照例如MotionJPEG或H.264等视频压缩规格转换为动画以向外部发送。在此，如图11所示，图像判断系统5a中包含的信息处理装置通过发送应用程序的功能，将拍摄显示器上显示的观察画面900(对应观察画面400)并经过变换的动画(一例第二图像数据)，经由集线器4发送到信息处理装置3。也就是说，图像判断系统5a本身虽然不是摄像装置，但由于可输出显示器上显示的动画，因此能够通过将该动画作为相当于摄像装置2的图像数据接收，来进行图像判断。图像判断系统5a相当于本发明的"另一个设备"。
例如如图11所示，在图像判断系统1一方的观察画面400中，对于图像显示部401a中显示的表示从图像判断系统5a输出的观察画面900的动画(拍摄动画)，检测区域指定部309指定检测区域571、572，作为用来进行异常检测的检测区域。在图11中为了便于说明，观察画面400的图像显示部401a上，改变比例尺(放大)图示观察画面900中包含的OK灯和NG灯。
检测区域571被指定为包含观察画面900的OK灯(相当于观察画面400的OK灯414)。检测区域572被指定为包含观察画面900的NG灯(相当于观察画面400的NG灯415)。然后，检测区域指定部309将例如观察画面900的OK灯熄灯状态下的检测区域571内的图像作为检测基准图像提取后保存到存储部302中，并把指定的检测区域571的信息(位置和形状等位置信息以及属性信息等)保存在存储部302中。检测区域指定部309还将例如观察画面900的NG灯熄灯状态下的检测领域572内的图像作为检测基准图像提取后保存到存储部302中，并把指定的检测区域572的信息(位置和形状等的位置信息以及属性信息等)保存在存储部302中。
图11所示的观察画面400中显示，图像显示部401a上实时显示从虚拟相机5即图像判断系统5a收到的动画，指定了检测领域571、572的状态。其次，用户通过输入部303的操作，按动需要启动图像判断动作(监控动作)的摄影装置2或虚拟相机5所对应的图像显示部401(在此为图像显示部401a)，并设为选择状态。然后，第一控制部316通过用户的输入部303的操作而使得监控开始按钮411受到按动后，对于图像显示部401a上显示的图像判断系统5a的实时动画(拍摄动画)的图像判断动作启动。第一控制部316还将图像判断动作(监视动作)启动时刻的信息(时刻信息)与处于选择状态的图像显示部401a所对应的图像判断系统5a相关联起来保存到存储部302中。另外，第一控制部316在通过用户的输入部303的操作而使得停止监控按钮412受到按动的情况下，停止对处于选择状态的图像显示部401a的图像判断动作，将图像判断动作(监控动作)停止时刻的信息(时刻信息)与该图像显示部401a所对应的图像判断系统5a相关联起来保存到存储部302中。
然后，检测领域判断部314从存储部302获得指定的检测领域571、572的属性信息。检测区域判断部314在监视动作执行期间，在指定的检测区域571、572中，对比检测基准图像和动画中的检测区域的图像，执行图像判断。
具体来说，检测区域判断部314将检测区域571、572对应的动画中的检测领域的图像和检测基准图像进行对比，执行图像判断。此时，图像判断如下进行。在检测基准图像和检测区域的图像的比较中，两者间的差值，即像素值为检测区域571的属性信息的灵敏度以上的像素数量总和，为该属性信息的阈值以上时，作为检测领域571的图像判断，检测领域判断部314判断OK灯点灯。而在检测基准图像和检测区域的图像比较中，只要两者间的差值，即像素值相差为检测区域571的属性信息的灵敏度以上的像素数量总和，小于该属性信息的阈值，作为检测领域571的图像判断，检测区域判断部314便判断为OK灯没有点灯。
同样，在检测基准图像和检测区域的图像比较中，两者间的差值，即像素值相差为检测区域572的属性信息的灵敏度以上的像素数量的总和，为该属性信息的阈值以上的情况下，作为检测领域572的图像判断，检测区域判断部314判断NG灯为点灯。而在检测基准图像和检测区域的图像比较中，两者间的差值，即像素值相差为检测区域572的属性信息的灵敏度以上的像素数量总和，小于属性信息的阈值，作为检测领域572的图像判断，检测区域判断部314判断NG灯未亮点。
然后，检测区域判断部314将图像判断动作中OK灯或NG灯点灯时的检测时刻的信息(时刻信息)与图像判断系统5a相关联，保存到存储部302。检测区域判断部314还将图像判断动作中OK灯或NG灯点亮时的检测时刻的信息(时刻信息)与图像判断系统5a相关联，写入到存储部302的标记文件中。
然后，外部输出部332在检测区域判断部314判断为异常判断时(检测到检测区域572的NG灯点灯时)，向外部装置10输出异常信号。
如上所述，在图像判断系统5a作为取代摄像装置2的虚拟相机5，通过集线器4连接信息处理装置3的情况下，即使未特意了解图像判断系统5a的使用方法和设定方法等，也可以通过图像判断系统1一方对图像判断系统5a输出的动画的图像判断，在图像判断系统1一方中对于图像判断系统5a内识别的图像判断的结果进行识别。
[关于虚拟相机是图像判断系统时的多级构成]
图12是用来说明作为虚拟相机的图像判断系统以多级连接实施方式的图像判断系统的状态的示意图。以下参考图12，详述在本实施方式涉及的图像判断系统1中，作为虚拟相机5其他图像判断系统多级连接时的动作。
如图10和图11中所述，作为连接到信息处理装置3的虚拟相机5，当作为具有相当于图像判断系统1的构成的另一个图像判断系统时，该另一个图像判断系统上可以进一步多级连接作为虚拟相机的其他图像判断系统。例如，在图12中，显示观察画面400的图像判断系统1上，连接了作为虚拟相机的显示观察画面400_1的图像判断系统以及显示观察画面400_2的图像判断系统。进而，在显示观察画面400_1的图像判断系统中，还连接了作为虚拟相机的显示观察画面400_1_1的图像判断系统。
如上所述，在将连接图像判断系统1的虚拟相机作为另一个图像判断系统的情况下，可以把作为相对于该另一个图像判断系统的虚拟相机，进一步连接到该另一个图像判断系统上。因此，即使不了解多级连接的图像判断系统的使用方法、设定方法等，也可以将图像判断系统的观察画面的OK灯或NG灯作为检测领域，由上位图像判断系统来进行图像判断，从而，通过最上位的图像判断系统对拍摄动画的图像判断，来识别多级构成中最下位的图像判断系统中的图像判断结果。
[浏览器画面上的图像判断再现动作]
图13是实施方式涉及的信息处理装置的显示装置上显示的在浏览器画面中播放显示的录制的图像数据的状态一例示意图。图14是实施方式涉及的信息处理装置的显示装置上显示的在浏览器画面中显示标记名单画面的状态的一例示意图。以下参考图13和图14说明浏览器画面700的构成以及录像(保存)的多个图像数据显示的动作。
通过CPU101运行的程序(应用程序)，图13所示的浏览器画面700显示到显示器333上。浏览器画面700显示第二播放部318从多个摄像装置2收到的图像数据以及从虚拟相机5输出的图像数据，并且通过图像分配部312保存在存储部302中的过去图像数据，在指定的各个检测区域中再现图像判断的状态。
浏览器屏幕700包括图像显示部701a～701f、播放按钮703a和暂停按钮703b、快进按钮703c和快退按钮703d、停止按钮703e、拖动条704、滑块705、时刻显示部706e、以及标记名单按钮707。
图像显示部701a～701f是按照来自受到用户操作的输入部303的操作信号，通过第二播放部318分别显示保存在存储部302中的各摄像装置2以及虚拟相机5的过去的图像数据的显示区域。在此，设图像显示部701a～701f显示同一日期时间的图像数据。图像显示部701a～701f可以通过用户操作输入部303而受到按动(例如鼠标108的点击操作等)后，成为选择状态。在不区分图像显示部701a～701f或者统称时，被简单地称为"图像显示部701"。
播放按钮703a通过用户操作输入部303而受到按动后，第二播放部318开始播放图像显示部701上显示的图像数据。暂停按钮703b通过用户操作输入部303而受到按动后，第二播放部318暂停在图像显示部701上播放显示的图像数据和动作等。快进按钮703c通过用户操作输入部303而受到按动后，第二播放部318快进显示正在图像显示部701中播放显示的图像数据。快退按钮703d通过用户操作输入部303而受到按动后，第二播放部318快退显示正在图像显示部701上播放显示的图像数据。停止按钮703e通过用户操作输入部303而受到按动后，第二播放部318停止正在图像显示部701上播放显示的图像数据。
拖动条704是设于其上的滑块705的位置来显示在图像显示部701上播放显示的图像数据所对应时间的棒状形状体。滑块705是滑动到与图像显示部701上正在播放显示的图像数据的摄像时刻(正在显示的帧的拍摄时刻，或者正在显示的图像的获得时刻)所对应的拖动条704上的位置的形状体和操作部。相反，滑块705通过用户的输入部303的操作而滑动后，第二播放部318在图像显示部701上显示与滑块705在拖动条704上所在位置相对应的摄影时刻的作为图像数据的帧或者图像。
时刻显示部706是显示由第二播放部318在图像显示部701上播放显示的图像数据的摄影日期(包括取得的日期的概念)以及摄影时刻的显示部。
标记名单按钮707通过用户操作输入部303而受到按动后，名单控制部320读取保存在存储部302中的标记文件，显示标记文件的内容，从而显示图14所示的标记名单画面800。
通过第二播放部318，浏览器画面700的图像显示部701上显示了存储部302中保存的过去图像数据后，区域显示控制部319读取存储部302中保存的图像判断动作(监控动作)开始以及结束的时刻的信息、各检测领域受到指定的时刻的信息、以及各检测领域中检测到的时刻的信息。如图13所示，区域显示控制部319根据这些时刻信息，将表示各个检测区域的框重叠显示在图像显示部701中播放显示的过去的图像数据上。例如，区域显示控制部319根据时刻信息，如果各个检测区域受到指定的时刻在图像判断动作开始的时刻之前，则从图像判断动作的开始时刻开始，就显示表示被指定的各个检测区域的框。区域显示控制部319还在图像显示部701上播放显示的图像数据的时刻达到时刻信息中的图像判断动作的结束时刻的时间点，删除所显示的表示各个检测区域的框。
区域显示控制部319还在图像显示部701上播放显示的图像数据的时刻达到时刻信息中特定的检测区域的异常检测时刻时，用不同于常态下的颜色且比常态下更粗的线框，来显示表示该检测区域的框。例如，区域显示控制部319与观察画面400中显示的表示各个检测区域的框一样，例如"红色"而且粗线显示。
如上所述，通过区域显示控制部319基于存储部302中保存的各个时刻信息，控制各个检测区域的框的显示状态，可以用过去的图像数据来再现浏览器画面700中图像判断动作(监控动作)的状态。这样，除了现时的图像数据和图像以外，用户还可以查看过去图像数据和图像中进行了怎样图像判断动作。
以上设定图像显示部701a～701f显示同一日期、时间的图像数据，但并不局限于此，例如，在图像显示部701分别具有拖动条和操作按钮等，各个图像显示部701中可以显示不同的日期、时间的图像数据。
此外，如图14所示，名单控制部320在通过用户的输入部303的操作而使得标记名单按钮707收到按动后，读取存储部302中保存的标记文件，显示表示标记文件内容的标记名单画面800。如图14所示，标记敏感画面800包括检测历史显示部802(名单)。
检测历史显示部802是基于检测功能的检测的日期、时刻的名单显示区域。具体来说，检测历史显示部802上显示检测领域的区域名称、检测到的日期及时刻、以及用于识别对应的摄像装置2以及虚拟相机5的名称。
名单控制部320在通过用户的输入部303的操作，被按下检测履历显示部802的任一个检测领域的记录被按下后，在第二播放部318中，在图像显示部701上显示其记录显示的日期和时间的图像数据。
这样，通过显示图14所示的标记名单画面800，列出各个检测领域中检测的日期和时刻，可以很容易地查明故障发生的时间、趋势或者异常发生的原因等。
进而，对于如上述图12所示，作为虚拟照相机5多级连接其他图像判断系统的情况，通过按动观察画面400的检测履历显示部802的记录，可以让第二播放部318播放显示在观察画面400_1、400_2、400_1_1上录制的图像数据。
如上所述，本实施方式涉及的图像判断系统1，不仅可以连接如同像摄影装置2这样输出直接拍摄的图像数据的装置，而且还可以与输出可以作为有无异常等判断对象的图像数据的设备相连接，对从该设备获取的图像数据进行类似于来自摄像装置的图像数据的图像判断。由此，判断对象的图像不限于摄像装置拍摄的图像数据，也可以把来自摄像装置以外的设备的图像作为判断对象。
另外，在通过集线器4，把作为取代摄像装置2的虚拟相机5的图像判断系统5a连接到信息处理装置3的情况下，即使未特意了解图像判断系统5a的使用方法、设定方法等，也可以通过在输出的图像判断系统1一方，对图像判断系统5a输出的动画进行图像判断，从而能够在图像判断系统1一方中识别图像判断系统5a内识别的图像判断的结果。
进而，在将连接到图像判断系统1的虚拟相机作为另一个图像判断系统的情况下，还可以进一步连接作为相对于该另一个图像判断系统的虚拟相机的其他的图像判断系统。据此，即使不了解多级连接的图像判断系统的使用方法、设定方法等，也可以将图像判断系统的观察画面的OK灯或NG灯等作为检测领域，由上位图像判断系统进行图像判断，通过最上位的图像判断系统1对摄影动画进行图像判断，识别多级构成中最下位的图像判断系统中的图像判断结果。
如上述图11所示，在本实施方式涉及的图像判断系统1中，设定图像判断系统5a的信息处理装置的颁布应用程序拍显示器上显示的整个画面(例如整个画面上显示的观察画面900)的动画送往信息处理装置3，但本发明并不受此限制。也可以是例如，图像判断系统5a的信息处理装置的颁布应用程序将显示器上显示的画面的一部分图像(例如包括观察画面900的OK灯以及NG灯的部分图像)、或者改变画面部分图像的布局组合而成的图像等发送到信息处理装置3。
另外，如图10所示，在应用图像判断系统5a作为虚拟照相机5的情况下，图像判断系统5a的信息处理装置拍摄显示器的画面，将该摄影图像发送到图像判断系统1的信息处理装置3时，有可能产生预定的延迟。在这种情况下，观察画面400中显示的，来自图像判断系统5a的动画和来自摄像装置2的图像数据之间，所显示的图像数据和动画数据的时刻会不同。在这种情况下，设上述延迟为已知，图像判断系统1的信息处理装置3，对于显示在观察画面400的各图像显示部401上的图像数据和动作，执行考虑了该延迟而错开显示时间的处理，从而可以统一各图像显示部401中显示的图像和动画的时刻。
[变形例1]
以下用不同于本实施方式涉及的图像判断系统1之处为中心说明本实施方式的变形例1的图像判断系统。在本实施方式中说明了，将不同于图像判断系统1的另一个图像判断系统作为虚拟照相机5，与图像判断系统1的信息处理装置3相连接的构成以及动作。对此，在本变形例中将要说明，把包含模拟照相机在内的系统作为虚拟相机，连接到信息处理装置3时的构成和动作。本变形例的信息处理装置3的硬件构成及功能模块构成与上述实施方式中说明的构成相同。
图15是变形例1涉及的图像判断系统一例整体构成的示意图。以下参考图15，说明本变形例涉及的图像判断系统1b的构成及动作。
如图15所示，图像判断系统1b是具有虚拟相机5b的构成，虚拟相机5b取代图1所示的图像判断系统1所具有的虚拟相机5。虚拟相机5b是包括模拟相机的系统，具体包括模拟相机21、转换器22以及PC(个人计算机)23(一例信息处理设备)。图15中省略了摄影装置2的图示。虚拟相机5b相当于本发明的"另一个设备"。
模拟相机21通过把来自被摄体的光转换为电信号来拍摄被摄体，生成模拟图像信号。
转换器22用于将模拟照相机21通过AV电缆24收到的模拟的图像信号转换成数字图像数据。转换器22通过USB(Universal Serial Bus)电缆25将转换后的数字图像数据发送到PC23。转换器22不限于通过USB电缆25向PC23发送图像数据，也可以通过例如HDMI电缆等发送。
PC23是对用模拟相机21拍摄的模拟信号经过转换器22转换的数字图像数据进行规定分析等的信息处理装置。PC23如图15所示，安装了解析应用程序23a和发送应用程序23b，。
解析应用程序23a用于对从转换器22收到的图像数据进行规定的分析。解析应用程序23a也可以不用来解析图像数据，仅单纯的播放显示图像数据。
发送应用程序23b用于拍摄PC23的显示器上显示的画面，用例如MotionJPEG或H.264等动画压缩规格转换为动画，通过集线器4发送到信息处理装置3。也就是说，显示了经过解析应用程序23a所得到的规定的解析结果等(例如包含图像数据的播放显示在内)的显示器上的显示画面的动画(拍摄动画)(一例第二图像数据)，被从PC23的网络I/F发送到信息处理装置3。
如上所述，由于可以将显示了对于用模拟相机拍摄的模拟信号的图像数据所进行的规定解析的解析结果等(例如包含图像数据的再生显示)的画面的动画发送到信息处理装置3，因此，可以应用包括如图15所示的模拟相机的系统。
[变形例2]
以下用不同于本实施方式的图像判断系统1之处为中心，说明本实施方式的变形例2涉及的图像判断系统。在本实施方式中说明了，将不同于图像判断系统1的另一个图像判断系统作为虚拟照相机5与图像判断系统1的信息处理装置3相连接的构成以及动作。对此，在本变形例中将要说明，把包括工业用数码相机在内的系统作为虚拟照相机连接到信息处理装置3时的构成及动作。本变形例涉及的信息处理装置3的硬件构成及功能模块构成与上述实施方式中说明的构成相同。
图16是变形例2涉及的图像判断系统的一例整体构成示意图。以下参考图16，说明本变形例涉及的图像判断系统1c的构成及动作。
如图16所示，图像判断系统1c具有虚拟相机5c该虚拟相机5c用于取代图1所示的图像判断系统1的虚拟相机5。虚拟相机5c是包括工业用数码相机的系统，具体包括工业用数码相机31a、31b(一例摄像机)、转换器32a、32b以及PC33(一例信息处理装置)。在图16中省略了摄影装置2的图示。虚拟相机5c相当于本发明的"另一个设备"。
工业用数码相机31a、31b通过将来自被摄体的光转换为电信号来拍摄被摄体摄)，生成由多个帧(图像数据)构成的动画(例如，10[FPS])的图像数据。
转换器32a、32b用于将工业用数码相机31a、31b拍摄的、且通过HDMI电缆34a、34b以HDMI规格送至的图像数据转换成可以以USB规格通信的图像数据。转换器32a、32b将经过转换的可以用USB规格通信的图像数据，通过USB电缆35a、35b发送到PC33。
PC33是对用产业用数码相机31a、31b拍摄的图像数据进行规定的分析等的信息处理装置。PC33如图16所示，其中安装了解析应用程序33a和发送应用程序33b，。
解析应用程序33a用于对从转换器32a、32b收到的图像数据进行规定的分析。
发送应用程序33b用于拍摄PC33的显示器上显示的画面，用例如MotionJPEG或H.264等动画压缩规格转换为动画，通过集线器4发送到信息处理装置3。也就是说，显示了经过解析应用程序33a所得到的规定的解析结果等(例如包含图像数据的播放显示在内)的显示器上的显示画面的动画(拍摄动画)(一例第二图像数据)，被从PC33的网络I/F发送到信息处理装置3。
如上所述，由于可以将显示了对于用工业用模拟相机拍摄的模拟信号的图像数据所进行的规定解析的解析结果等(例如包含图像数据的再生显示)的画面的动画发送到信息处理装置3，因此，可以应用包括如图16所示的模拟相机的系统。
另外，在PC33中，当解析应用程序33a的功能是对于所收到的来自产业用数码相机31a、31b的图像数据，不保存到存储装置等中而是只进行解析时，通过将包含工业用数码相机31a、31b的系统作为虚拟相机连接到信息处理装置3，可以作为虚拟相机的动画等图像数据保存到存储部302中。并且，可以通过区域显示控制部319，用存储部302中保存的过去的动画等图像数据，来再现观察画面400中的图像判断动作(监控动作)的状态。这样，用户可以根据以往用虚拟相机5c拍摄的图像数据，通过解析应用程序33a来确认进行怎样的解析动作。
再者，即使对包含工业用数码相机31a、31b的系统，尤其是解析应用程序33a的使用方法、设定方法等不甚了解，也可以通过在信息处理装置3中对于虚拟相机5c所输出的图像数据的图像判断，识别在虚拟相机5c中识别的解析等结果。
[变形例3]
以下用不同于本实施方式的图像判断系统1之处为中心，说明本实施方式的变形例3所涉及的图像判断系统。在本实施方式中说明了，将不同于图像判断系统1的另一个图像判断系统作为虚拟照相机5与图像判断系统1的信息处理装置3相连接的构成以及动作。对此，在本变形例中将要说明，把包含显示应用程序的解析结果等的信息处理装置在内的系统作为虚拟相机连接到信息处理装置3时的构成以及动作。本变形例涉及的信息处理装置3的硬件构成及功能模块构成与上述实施方式中说明的构成相同。
图17是作为与变形例3涉及的图像判断系统连接的虚拟相机输出的图像，将声音可视化的软件图像的示意图。以下参考图17，说明将包含显示应用程序的分析结果等的信息处理装置的系统作为虚拟相机时的一个示例。
设本变形例涉及的虚拟相机中包括，安装了对如图17所示的振动或声音等波形数据进行小波变换，用颜色表现该波形数据的解析应用程序的信息处理装置。然后，通过安装在该信息处理装置中的发送应用程序，将如图17所示的经过小波变换的波形数据作为拍摄了以颜色呈现的解析应用程序的应用程序画面而构成的动画(一例第二图像数据)，经由集线器4发送到信息处理装置3。由此，在信息处理装置3的显示部333所显示的观察画面400上便可以显示如图17所示的解析应用程序的应用程序画面，对于该应用程序画面的波形显示，可以通过检测区域指定部309指定如图17所示的检测领域573。例如，在检测区域573的设定内容(相当于设定画面500上设定的内容)中，如图17的(a)所示，由于合格品的波形数据中红色分布较少，如图17的(b)所示，次品的波形数据中红色分布较多，因此将红色的分布较少的图像设定为检测基准图像。据此，在观察画面400的图像判断动作中，通过检测领域573的图像和上述检测基准图像的比较，可以检测出是次品的波形数据。
也就是说，即使对包含表示应用程序解析结果等的信息处理装置的系统的使用方法、设定方法不甚了解，也可以对于解析应用程序一方识别的解析结果，通过在信息处理装置3中对假想摄像机输出的图像数据的图像判断，来识别该解析结果。另外，图17所示的应用程序的解析结果(即虚拟相机单体内的解析结果)，可以通过信息处理装置3一方的图像判断，协作识别该解析结果。
[变形例4]
以下用不同于本实施方式的图像判断系统1之处为中心，说明本实施方式的变形例4所涉及的图像判断系统。在本实施方式中说明了，将不同于图像判断系统1的另一个图像判断系统作为虚拟照相机5与图像判断系统1的信息处理装置3相连接的构成以及动作。在本变形例中将要说明，把通过无线通信发送拍摄动画的智能手机作为虚拟相机，连接到信息处理装置3情况下的构成及动作。本变形例涉及的信息处理装置3的硬件构成及功能模块构成与上述实施方式中说明的构成相同。
图18是变形例4涉及的图像判断系统的一例整体构成的示意图。以下参考图18，说明本变形例涉及的图像判断系统1d的构成及动作。
如图18所示，图像判断系统1d是具有智能手机41(一例无线通信终端)的构成，该智能手机41作为虚拟相机5d，用来替代图1所示的图像判断系统1所具有的虚拟相机5。虚拟相机5d相当于本发明的"另一个设备"。
智能手机41中安装了发送应用程序，用于拍摄显示画面，并通过例如Motion JPEG或H.264等动画压缩规格将显示画面转换为动画后传送到外部。该发送应用程序通过智能手机41拥有的无线I/F，利用Wi-Fi等通信规格，将拍摄的动画(一例第二图像数据)发送到信息处理装置3。作为虚拟相机5d与信息处理装置3无线连接的信息处理装置并不仅限于智能手机41，也可以是例如平板终端或可进行无线通信的PC等(一例无线通信终端)。
如上所述，由于能够将智能手机41上显示的画面发送到信息处理装置3，因此可以将如图17所示的智能手机41等无线通信终端用于虚拟相机。
对于通过智能手机41启动和显示的应用程序画面、或者智能手机41的内置摄像头拍摄的照片的画面等，可以通过信息处理装置3一方的图像判断，对该画面进行异常等的检测。
[变形例5]
以下用不同于本实施方式的图像判断系统1之处为中心，说明本实施方式的变形例3所涉及的图像判断系统。在本实施方式中说明了，将不同于图像判断系统1的另一个图像判断系统作为虚拟照相机5，与图像判断系统1的信息处理装置3连接的构成以及动作。对此，在本变形例中将要说明，把显示经过软件处理的结果的信息处理装置(PC等)连接到信息处理装置3时的构成以及动作。本变形例涉及的信息处理装置3的硬件构成及功能模块构成与上述实施方式中说明的构成相同。
图19是用来说明作为变形例5涉及的图像判断系统所连接的虚拟相机输出的图像，根据数据制作图表的软件图像的图像的示意图。以下参考图19，说明显示经过软件处理的结果的信息处理装置(PC等)作为虚拟照相机时的示例。
本变形例涉及的虚拟相机是运行如下软件的信息处理装置，该软件例如如图19的(a)和图19的(b)所示，输入其他应用程序生成的CSV(Comma-Separated Values)数据，自动创建图表，并将经过更新的CSV文件的数据适当地更新并反映到图表。该软件还具有如下功能，例如在被更新的图表的值超过规定阈值时，改变图表(如图19的(b)所示的图表)的颜色(例如改为红色)。然后，通过该安装在信息处理装置中的发送应用程序，将显示了图19所示的自动创建和更新的图表的软件的画面作为拍摄的动画(一例第二图像数据)，经由集线器4发送到信息处理装置3。由此，在信息处理装置3的显示部333所显示的观察画面400上，便显示了表示图19所示图表的画面，这样，通过检测区域指定部309就可以将包含该图表的区域指定为检测领域。在这种情况下，检测区域的设定内容(相当于在设定画面500上设定的内容)，将无红色的图像设定为检测基准图像。由此，便可以在观察画面400的图像判断动作中，通过检测领域的图像和上述检测基准图像之间的比较，来检测图表的值是否超过阈值。
如上所述，由于可以将显示软件处理结果的信息处理装置(PC等)所显示的该结果的显示画面的动画发送到信息处理装置3，因此可以使用显示软件处理结果的信息处理装置(PC等)作为虚拟相机。
再者，即使对显示软件处理结果的信息处理装置(PC等)的使用方法、设定方法等不甚了解，也可以通过在信息处理装置3中对关于用该软件创建的图表的结果虚拟相机所输出的动画的图像判断，来识别该结果。
[变形例6]
以下用不同于本实施方式的图像判断系统1之处为中心，说明本实施方式的变形例3所涉及的图像判断系统。在本实施方式中说明了，将不同于图像判断系统1的另一个图像判断系统作为虚拟照相机5，与图像判断系统1的信息处理装置3连接的构成以及动作。对此，在本变形例中将要说明，把包含对摄像装置拍摄的图像的数据进行图像处理的信息处理装置在内的系统作为虚拟相机，无线连接到信息处理装置3时的构成及动作。本变形例涉及的信息处理装置3的硬件构成及功能模块构成与上述实施方式中说明的构成相同。
图20是变形例6涉及的图像判断系统的一例整体构成示意图。以下参考图20说明本变形例涉及的图像判断系统1e的构成及动作。
如图20的(a)和(b)所示，摄像装置51拍摄的被摄体61的图像随着周围环境(天气、时间、季节等)会变亮或变暗。例如，如图20的(a)的示例，在晴天状态下由摄像装置51拍摄被摄体61时，得到明亮的图像，与此相对，如图20的(b)所示，在雨天状态下拍摄装置51拍摄被摄体61时，得到暗的图像。在这种情况下，将摄像装置51拍摄的图像数据直接发送到信息处理装置3，固定在设定画面500上指定的检测区域中设定的一个检测基准图像后，对于在不同于该图像数据的拍摄环境的环境下拍摄的图像数据进行图像判断时，会得出错误的判断结果。
对此，将拍摄装置51在特定环境(如图20的(a)所示的晴天环境)中拍摄的被摄体61的图像(第一摄影图像)中的某个部分(部分图像)作为环境调适用的基准部分62(标准图像)来进行登记。然后，在基准部分62登记之后，从摄像装置51拍摄的被摄体61的图像，计算与基准部分62对应的图像的亮度及饱和度等的变化，求出该图像变成为基准部分62的亮度及饱和度等(即颜色)的变换式，通过对该图像整体应用该变换式，可得到减少环境变化影响的图像。
如图20的(c)所示，本变形例中涉及的图像判断系统1e是具有虚拟相机5e的构成，该虚拟相机5e用以取代图1所示的图像判断系统1所具有的虚拟相机5。虚拟相机5e是一种系统，它包括对由摄像装置拍摄的图像数据进行图像处理的信息处理装置，具体包括摄像装置51和PC53(一例信息处理装置)。在图20的(c)中省略了摄像装置2的图示。另外，虚拟相机5e相当于本发明的"另一个设备"。
摄像装置51是数码相机，其通过将被摄体反射的光转换为电信号来拍摄被摄体(拍摄)，生成多个帧(图像数据)所构成的动画(例如10[FPS])的图像数据。
PC53是图像处理装置，其如上所述，登记基准部分62，从摄像装置51拍摄的摄相提61的图像(第二摄像图像)，计算与基准部分62对应的图像的亮度及饱和度等的变化，求出变换式，对该图像整体实施使用该变换式的图像处理。PC53如图20所示，安装了图像处理应用程序53a和发送应用程序53b。
图像处理应用程序53a是执行上述图像处理的应用程序。
发送应用程序53b用于拍摄显示画面，并通过例如Motion JPEG或H.264等动画压缩规格将显示画面转换为动画后传送到。也就是说，显示经过图像处理应用程序53a执行了图像处理的图像数据的显示器的显示画面的动画(拍摄动画)(一例第二图像数据)，被从PC53的网络I/F发送到信息处理装置3。
如上所述，由于能够把经过减小摄像装置51拍摄的图像数据受到环境变化影响的图像处理的图像的画面的动画送往信息处理装置3，因而，可以使用包含作为虚拟相机的、对图20的(c)所示的摄像装置51拍摄的图像数据实施图像处理的信息处理装置(PC53)在内的系统。这样，通过在信息处理装置3一方对减少了环境变化影响的图像数据进行图像判断，因而可以抑制错误判断的发生。
作为连接信息处理装置3的虚拟相机，并不局限于上述实施方式以及各变形例所示的虚拟相机，除此之外，也可以将如下系统作为虚拟相机来使用。例如拍摄用于监控人体检测和热源以预防火灾的温度记录图像的系统、拍摄深度传感器图像以进行人工分析的系统、包括通过Wi-Fi来获取图像的树莓派(Raspberry Pi)的系统、将放射线传感器可视化进行警报的系统、检测人体骨骼信息用于进行操作分析的系统、检测人的动线信息以进行操作分析的系统、检测人手姿势信息来操作PC的系统、包括用来取得人的视线的可穿戴相机的系统、用静电传感器使工程内的静电发生可视化以发出警报的警报系统、取得PC屏幕画面以进行业务内容的检测和时间分析的系统、以及包含可以取得多个360度图像的无死角监控像机的系统等。
与上述的实施方式和各变形例一样，在观察画面400中实时图像数据的显示以及在浏览器画面700中过去图像数据的画面的显示之类的画面是分开显示的，但并不限定于此。也就是说，观察画面400和浏览器屏幕700的功能可以在同一画面上实现。
各个显示区域(图像显示部401、701)中用框作为表示各个检测区域的显示要素使，但并不局限于此，只要是表示各个检测区域的显示要素，无论怎样显示都可以。
上述实施方式和各变形例的各种功能可通过一个或多个处理电路实现。在此，所谓的"处理电路"是指由通过电子线路安装的处理器那样的通过软件进行各功能编程的处理器和设计为执行上述各功能的ASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)、FPGA(Field-Programmable Gate Array)、SoC(Systemonachip)、GPU(Graphics Processing Unit)和传统的电路模块等设备。
在上述实施方式及各变形例的信息处理装置3中运行的程序可配置为安装在可安装格式或可执行格式的文件中CD-ROM(Compact Disc Read Only Memory)、软盘(FD)、CD-R(Compact Disk-可录制)、DVD(Digital Versatile Disk)等计算机可读记录介质。
上述实施方式及各变形例的信息处理装置3中运行的程序可以保存在连接互联网等网络的计算机中，通过网络下载提供。上述实施方式及各变形例的信息处理装置3中运行的程序也可以经由互联网等网络提供或颁发。
上述实施方式及各变形例的信息处理装置3中执行的程序包括上述各功能组件的模块，作为实际的硬件，CPU(处理器)从上述ROM中读取并运行程序，将上述各功能模块上调到主存储装置，使其在各个主存储装置中生成。
符号说明
1、1b～1e图像判断系统，2、2b～2f摄像装置，3信息处理装置，4集线器，5虚拟相机，5a图像判断系统，5b～5e虚拟相机，10外部设备，21模拟相机，22转换器，23 PC，23a解析应用程序，23b发送应用程序，24 AV电缆，25 USB电缆，31a、31b工业数码相机，32a、32b转换器，33 PC，33a解析应用程序，33b发送应用程序，34a、34b HDMI电缆，35a、35b USB电缆，41智能手机，51摄像装置，53 PC，53a图像处理应用程序，53b发送应用程序，61被摄体，62基准部分，101 CPU，102 ROM，103 RAM，104辅助存储器，105显示器，106网络I/F，107键盘，108鼠标，109 DVD驱动器，110 DVD，111外设I/F，112扬声器，113总线，301图像接收部，302存储部，303输入部，304第一播放部，308设定部，309检测区域设定部，312图像分配部，314检测领域判断部，316第一控制部，318第二播放部，319区域显示控制部，320名单控制部，321第二控制部，331显示控制部，332外部输出部，333显示器，400、400_1、400_1_1、400_2观察画面，401、401a～401f图像显示部，411监控开始按钮，412监控停止按钮，413监控设定按钮，414 OK灯，415 NG灯，421、421a～421f状态显示部，500设定画面，501相机选择卡，502设定用图像显示部，503a播放按钮，503b暂停按钮，503c快进按钮，503d快退按钮，503e停止按钮，504拖动条，505滑块，506时刻显示部，511设定读取按钮，512设定写入按钮，513设定反映按钮，514关闭按钮，561检测领域信息部，562检测区域按钮群，562a动作按钮，562c删除按钮，562e灵敏度按钮，562f敏感度按钮，562g阈值增加按钮，562h阈值减少按钮，570～573检测区域，700浏览器屏幕，701、701a～701f图像显示部，703a播放按钮，703b暂停按钮，703c快进按钮，703d快退按钮，703e停止按钮，704拖动条，705滑块，706时刻显示部，707标记名单按钮，800标记名单画面，802检测历史显示部，900观察画面。

Claims (12)

1.一种可以用来对图像数据进行图像判断的图像判断装置，其中包括，
接收部，用于接收第一图像数据和第二图像数据之中的至少第二图像数据，所述第一图像数据是从摄像装置输出的图像数据，所述第二图像数据是从另一个设备输出的图像数据，该另一个设备不同于输出成为图像判断对象的图像数据的所述摄影装置；
第一播放部，用于将所述接收部收到的至少所述第二图像数据播放显示到显示装置上；
指定部，用于在播放显示所述第一图像数据或所述第二图像数据的所述显示装置的第一显示区域中，指定成为所述图像判断对象的检测区域；以及，
判断部，用于对显示所述第一图像数据和所述第二图像数据之中至少一方的所述显示装置的第二显示区域的所述检测区域内的所述第一图像数据或所述第二图像数据，进行所述图像判断。
2.根据权利要求1所述的图像判断装置，其中，
所述判断部生成所述图像判断的结果作为名单，
进一步具备第二播放部，该第二播放部用于将从所述名单中获得的通过操作输入装置所选择的结果的日期及时间所对应的所述第一图像数据，或所述另一个设备输出的所述第二图像数据，播放显示在所述显示装置上。
3.根据权利要求1或2所述的图像判断装置，其中，所述接收部接收所述另一个设备包括的显示装置所显示的画面上的一部分图像数据，或者组合了该一部分图像数据的图像数据。
4.根据权利要求1至3中任意一项所述的图像判断装置，其中，
所述另一个设备与所述图像判断装置相同，是包含可以从一个以上的摄像装置接收图像数据的其他图像判断装置的系统，
所述接收部将来自所述其他图像判断装置的图像数据作为所述第二图像数据来接收。
5.根据权利要求4所述的图像判断装置，其中，所述另一个设备与所述图像判断装置相同，多级连接了包含可以从一个以上的摄像装置接收图像数据的其他图像判断装置的系统。
6.根据权利要求1至3中任意一项所述的图像判断装置，其中，
所述另一个设备是包含信息处理装置的系统，所述信息处理装置通过转换器将模拟相机拍摄的图像信号转换为数字化图像数据，并将至少包括该数字化图像数据在内的图像数据作为所述第二图像数据输出，
所述接收部从所述信息处理装置接收所述第二图像数据。
7.根据权利要求1至3中任意一项所述的图像判断装置，其中，
所述另一个设备是包含信息处理装置的系统，所述信息处理装置对录像机拍摄的图像数据进行规定的解析处理，
所述接收部将所述信息处理装置的显示装置上显示的包含所述解析处理的结果在内的图像作为所述第二图像数据，从所述信息处理装置接收该第二图像数据。
8.根据权利要求1至3中任意一项所述的图像判断装置，其中，
所述另一个设备是通过应用软件执行指定的解析处理的信息处理装置，
所述接收部将所述信息处理装置的显示装置上显示的包含所述解析处理的结果在内的图像作为所述第二图像数据，从所述信息处理装置接收该第二图像数据。
9.根据权利要求1至3中任意一项所述的图像判断装置，其中，
所述另一个设备是将显示装置上显示的图像的至少一部分图像通过无线通信送往所述图像判断装置的无线通信终端，
所述接收部将来自所述无线通信终端的所述至少一部分图像作为第二图像数据，通过无线通信接收该第二图像数据。
10.根据权利要求1至3中任意一项所述的图像判断装置，其中，
所述另一个设备是信息处理装置，该信息处理装置把基于通过应用软件生成的数据所制作的图表经过更新后显示在显示装置上，
所述接收部将包含所述信息处理装置的所述显示装置上显示的所述图表在内的图像作为所述第二图像数据，从所述信息处理装置接收该第二图像数据。
11.根据权利要求1至3中任意一项所述的图像判断装置，其中，
所述另一个设备是包括信息处理装置的系统，所述信息处理装置以摄像装置过去拍摄的第一摄像图像的部分图像为基准图像，求出将该摄像装置拍摄的第二摄像图像中与所述部分图像对应的位置的图像转换成与所述基准图像相同颜色的转换式，并输出用所述转换式对所述第二摄像图像进行了转换的图像，
所述接收部将从所述信息处理装置输出、经过转换式转换的图像作为所述第二图像数据，接收该第二图像数据。
12.一种图像判断系统，具有，
多个输出第一图像数据的摄像装置和输出作为图像判断对象的第二图像数据且不同于所述摄像装置的另一个设备之中至少所述另一个设备；以及，
对所述第一图像数据和所述第二图像数据之中至少一方的图像数据进行图像判断的图像判断装置，
所述图像判断装置具备，
接收部，用于接收所述第一图像数据和所述第二图像数据之中的至少第二图像数据；
第一播放部，用于将所述接收部收到的至少所述第二图像数据播放显示到显示装置上；
指定部，用于在播放显示所述第一图像数据或所述第二图像数据的所述显示装置的第一显示区域中，指定成为所述图像判断对象的检测区域；以及，
判断部，用于对显示所述第一图像数据和所述第二图像数据之中至少一方的所述显示装置的第二显示区域的所述检测区域内的第一图像数据或所述第二图像数据，进行所述图像判断。
CN202010751845.XA 2019-07-31 2020-07-30 图像判断装置及图像判断系统 Pending CN112307882A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019-141802 2019-07-31
JP2019141802 2019-07-31
JP2020105414A JP2021027579A (ja) 2019-07-31 2020-06-18 画像判定装置および画像判定システム
JP2020-105414 2020-06-18

Publications (1)

Publication Number Publication Date
CN112307882A true CN112307882A (zh) 2021-02-02

Family

ID=71833244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010751845.XA Pending CN112307882A (zh) 2019-07-31 2020-07-30 图像判断装置及图像判断系统

Country Status (3)

Country Link
US (1) US11223802B2 (zh)
EP (3) EP4294003A3 (zh)
CN (1) CN112307882A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9332285B1 (en) * 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6259389B1 (en) * 1998-11-20 2001-07-10 General Electric Company System for designing and testing a sigma-delta modulator using response surface techniques
CN102265602A (zh) * 2008-12-26 2011-11-30 松下电器产业株式会社 图像拍摄装置
US20140375818A1 (en) * 2013-06-24 2014-12-25 Electronics And Telecommunications Research Institute Distributing network camera system and method for operating same
JP2017163195A (ja) * 2016-03-07 2017-09-14 株式会社リコー 画像処理システム、プログラム、画像処理方法
CN107211112A (zh) * 2015-02-05 2017-09-26 株式会社理光 图像处理设备、图像处理系统、图像处理方法和程序

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012005107A (ja) 2010-05-17 2012-01-05 Ricoh Co Ltd 多拠点描画画像共有装置、多拠点描画画像共有システム、方法、プログラムおよび記録媒体
JP5062315B2 (ja) * 2010-09-09 2012-10-31 ブラザー工業株式会社 画像処理プログラム
JP2013243527A (ja) 2012-05-21 2013-12-05 Ricoh Co Ltd 撮像装置、撮像システム及び撮像方法、並びに、撮像方法をコンピュータに実行させるためのプログラム及びそのプログラムを記録した記録媒体
JP6459256B2 (ja) 2014-07-07 2019-01-30 株式会社リコー 画像記憶再生制御装置、画像記憶再生制御方法、画像記憶再生制御システム、及びプログラム
JP6451133B2 (ja) 2014-08-01 2019-01-16 株式会社リコー 異常検知装置、異常検知方法、異常検知システム、及びプログラム
EP3255603B1 (en) 2015-02-05 2022-09-07 Ricoh Company, Limited Image processing device, image processing system, and image processing method
WO2017104372A1 (ja) 2015-12-18 2017-06-22 株式会社リコー 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP7013673B2 (ja) 2017-04-13 2022-02-01 株式会社リコー 情報処理装置、情報処理システム、情報処理方法およびプログラム
US10553099B2 (en) 2017-08-07 2020-02-04 Ricoh Company, Ltd. Information providing apparatus and information providing system
US11513007B2 (en) 2018-09-28 2022-11-29 Ricoh Company, Ltd. Notification control device, notification control system, and notification control method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6259389B1 (en) * 1998-11-20 2001-07-10 General Electric Company System for designing and testing a sigma-delta modulator using response surface techniques
CN102265602A (zh) * 2008-12-26 2011-11-30 松下电器产业株式会社 图像拍摄装置
US20140375818A1 (en) * 2013-06-24 2014-12-25 Electronics And Telecommunications Research Institute Distributing network camera system and method for operating same
CN107211112A (zh) * 2015-02-05 2017-09-26 株式会社理光 图像处理设备、图像处理系统、图像处理方法和程序
JP2017163195A (ja) * 2016-03-07 2017-09-14 株式会社リコー 画像処理システム、プログラム、画像処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
L LIU: "A methodology for the simulation of digital-to-analog converters", 《IEEE ACCESS》, pages 1 - 6 *
唐丽宇: "视频图像中监控目标的空间定位方法", 福州大学学报, pages 55 - 61 *

Also Published As

Publication number Publication date
EP4362457A2 (en) 2024-05-01
EP3772219A2 (en) 2021-02-03
EP4294003A2 (en) 2023-12-20
US11223802B2 (en) 2022-01-11
EP4294003A3 (en) 2024-03-06
EP3772219A3 (en) 2021-02-17
US20210037213A1 (en) 2021-02-04

Similar Documents

Publication Publication Date Title
US10699473B2 (en) System and method for generating a virtual viewpoint apparatus
US10873719B2 (en) Image processing device, image processing system, image processing method, and computer program product
JP6733785B2 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP4770197B2 (ja) プレゼンテーション制御装置およびプログラム
JP6756338B2 (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP2018073176A (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
JP2020202449A (ja) 制御装置
JP2021027579A (ja) 画像判定装置および画像判定システム
JP2001268551A (ja) 画像記録装置
CN112307882A (zh) 图像判断装置及图像判断系统
JP5152317B2 (ja) プレゼンテーション制御装置及びプログラム
JP2018084443A (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
CN105391971A (zh) 图像处理装置、图像处理系统以及图像处理方法
US10165223B2 (en) Pre-selectable video file playback system and method, and computer program product
JP2016039496A (ja) 画像処理装置、画像処理システム、画像処理方法およびプログラム
WO2020166468A1 (ja) 再生システム、記録システム、再生方法、再生用プログラム、記録方法及び記録用プログラム
US11172159B2 (en) Monitoring camera system and reproduction method
JP2020198037A (ja) 制御装置
US11501534B2 (en) Information processing apparatus, information processing system, information processing method, and storage medium
US11188743B2 (en) Image processing apparatus and image processing method
JP7377089B2 (ja) 情報処理装置、情報処理方法
US7342603B2 (en) Image output test system and method and device thereof
JP5253255B2 (ja) 操作画面記録装置
JP2021002698A (ja) 表示制御装置、表示制御方法およびプログラム
JP2004235768A (ja) 画像処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination