CN109905661A - 监视终端装置、监视系统、以及存储有监视显示控制程序的计算机可读非暂时性的存储介质 - Google Patents

监视终端装置、监视系统、以及存储有监视显示控制程序的计算机可读非暂时性的存储介质 Download PDF

Info

Publication number
CN109905661A
CN109905661A CN201811652952.6A CN201811652952A CN109905661A CN 109905661 A CN109905661 A CN 109905661A CN 201811652952 A CN201811652952 A CN 201811652952A CN 109905661 A CN109905661 A CN 109905661A
Authority
CN
China
Prior art keywords
room
image
entering
target person
enter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811652952.6A
Other languages
English (en)
Other versions
CN109905661B (zh
Inventor
坂下文弥
平沼洋一
坂口翔一
藤原尚平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Publication of CN109905661A publication Critical patent/CN109905661A/zh
Application granted granted Critical
Publication of CN109905661B publication Critical patent/CN109905661B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G08B13/19673—Addition of time stamp, i.e. time metadata, to video stream
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G08B13/19693—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound using multiple video sources viewed on a single or compound screen

Abstract

监视终端装置，包括存储部、通信部、影像指定部、读取部、面部认证处理部、显示部和回放控制部。影像指定部将存储在存储部中的摄像装置的影像部分识别为目标人员的入室影像以及出室影像。面部认证处理部，通过对入室影像以及出室影像执行面部认证处理操作，来识别同一目标人员的入室影像以及出室影像的两个影像。回放控制部，在两个影像的实际时间的回放时间的差值超过了阈值的情况下，将两个影像的回放时间变更为相同的回放时间，并在显示部上并列设置并同时回放该两个影像。通过该监视终端装置，即使在拍摄的同一目标人员的入室影像以及出室影像的回放时间不同的情况下，也能够以易于查看的方式显示两个影像，从而能够减轻监视人员的负担。

Description

监视终端装置、监视系统、以及存储有监视显示控制程序的计 算机可读非暂时性的存储介质
技术领域
本发明涉及一种监视终端装置、监视系统、以及存储有监视显示控制程序的计算机可读非暂时性的存储介质，特别地，涉及一种在显示部上并列设置并同时回放的目标人员的入室影像和出室影像的技术。
背景技术
作为用于监视目标人员进出建筑物的监视系统，存在着将在建筑物的出入口设置的成像装置拍摄的影像显示在显示部的情况。监视人员目视检查显示在显示部上的影像，并检查是否发生了异常等。同时，当监视人员在观看目标人物的出室影像时，有时想要将其与该目标人物的入室影像进行比较。在这种情况下，监视人员就需要从存储在存储部中的影像数据中搜索和显示目标人员的入室影像，这就存在操作麻烦的技术问题。
一般的监视系统包括，识别信息读取部，用于读取目标人员在入室和出室时所持的ID卡的识别信息，存储部，用于将读取的识别信息与入室影像相关联并进行存储，控制部，基于目标人员出室时读取的识别信息从存储部获取该目标人员的入室影像，将从上述的存储部获取的入室影像与该目标人员出室时拍摄的出室影像在显示部上并列设置并回放。通过上述的方式，监视人员不需要执行诸如搜索过去的入室影像之类的操作，在显示部上并列设置并回放目标人员的入室影像和出室影像，监视人员就可以将入室影像和出室影像进行比较。
发明内容(Summary)
但是，在上述的一般的监视系统中，虽然在显示部并列设置并回放入室影像和出室影像，但是，在出室影像以及入室影像的回放时间(长度)大不相同的情况下，就变成两个影像中的一个影像的回放结束，仅仅继续回放另一个的影像，这就带来了不能将两个影像进行对比或者难以对比，给监视人员带来了负担的技术问题。
本发明是考虑到上述的情况做出，其目的在于，即使在同一目标人员拍摄的入室影像和出室影像的回放时间不相同的情况下，也能够以易于查看的方式显示两个影像，从而减轻监视人员的负担。
本发明一方面涉及的监视终端装置，包括存储部，用于存储目标人员在出入室时由摄像装置拍摄的通过门的影像；通信部，用于接收检测目标人员入室以及出室的出入室检测装置发送来的输出信息；影像指定部，将存储在所述的存储部中的且在所述的通信部从所述的出入室检测装置接收到的输出信息中所指定的目标人员的入室检测区间中的影像部分指定为入室影像，将存储在所述的存储部中的且在所述的通信部从所述的出入室检测装置接收到的输出信息中所指定的目标人员的出室检测区间中的影像部分指定为出室影像；读取部，用于将所述的影像指定部所指定的所述的入室影像以及所述的出室影像从所述的存储部中读取出来；面部认证处理部，通过对所述的读取部读取的所述的入室影像以及所述的出室影像执行面部认证处理操作，来识别同一目标人员的入室影像以及出室影像的两个影像；显示部；回放控制部，在所述的面部认证处理部所指定的所述的两个影像的实际时间的回放时间的差值超过了阈值的情况下，将所述的两个影像的回放时间变更为相同的回放时间，并在所述的显示部上并列设置并同时回放该两个影像。
此外，本发明的另一方面涉及的监视系统，包括，摄像装置，用于拍摄目标人员在出入室时的通过门的影像；出入室检测装置，用于检测目标人员的入室以及出室；监视终端装置，用于在显示部上显示由所述的摄像装置拍摄的目标人员的影像；其中，所述的监视终端装置包括，存储部，用于存储由所述的摄像装置拍摄的影像；通信部，用于接收所述的出入室检测装置发送来的输出信息；影像指定部，将存储在所述的存储部中的且在所述的通信部从所述的出入室检测装置接收到的输出信息中所指定的目标人员的入室检测区间中的影像部分指定为入室影像，将存储在所述的存储部中的且在所述的通信部从所述的出入室检测装置接收到的输出信息中所指定的目标人员的出室检测区间中的影像部分指定为出室影像；读取部，用于将所述的影像指定部所指定的所述的入室影像以及所述的出室影像从所述的存储部中读取出来；面部认证处理部，通过对所述的读取部读取的所述的入室影像以及所述的出室影像执行面部认证处理操作，指定同一目标人员的入室影像以及出室影像的两个影像；回放控制部，在所述的面部认证处理部所指定的所述的两个影像的实际时间中的回放时间的差值超过了阈值的情况下，将所述的两个影像的回放时间变更为相同的回放时间，并在所述的显示部上并列设置并同时回放该两个影像。
另外，在本发明的另一方面涉及的存储有监视显示控制程序的计算机可读非暂时性的存储介质中，该监视显示控制程序通过该处理器对含有处理器的计算机执行该监视显示控制程序，发挥着如下的作用：控制部，将目标人员在出入室时由摄像装置拍摄的通过门的影像存储在存储部；影像指定部，将存储在所述的存储部中的且从用于检测目标人员的入室以及出室的出入室检测装置发送来的输出信息中所指定的目标人员的入室检测区间中的影像部分指定为入室影像，将存储在所述的存储部中的且在从所述的出入室检测装置接收到的输出信息中所指定的目标人员的出室检测区间中的影像部分指定为出室影像；读取部，用于将所述的影像指定部所指定的所述的入室影像以及所述的出室影像从所述的存储部中读取出来；面部认证处理部，通过对所述的读取部读取的所述的入室影像以及所述的出室影像执行面部认证处理操作，指定同一目标人员的入室影像以及出室影像的两个影像；回放控制部，在所述的面部认证处理部所指定的所述的两个影像的实际时间中的回放时间的差值超过了阈值的情况下，将所述的两个影像的回放时间变更为相同的回放时间，并在所述的显示部上并列设置并同时回放该两个影像。
通过本发明，即使在同一目标人员拍摄的入室影像以及出室影像的回放时间不相同的情况下，由于将两个影像的回放时间调整为相同后进行回放，因此，能够确保两个影像的视觉确认时段相等，也能够以易于查看的方式显示两个影像，从而可以减轻监视人员的负担。
附图说明
图1所示的是，本发明的一个实施方式所涉及的监视系统的结构示意框图。
图2所示的是，本实施方式的监视系统的监视位置的一个例子示意图。
图3所示的是，用于存储诸如目标人员的出入室历史和影像索引之类的管理信息的管理信息存储表的一个例子示意图。
图4所示的是，在监视终端装置的显示部上并列设置并同时回放入室影像以及出室影像的并列回放处理操作的流程示意图。
图5所示的是，监视终端装置的入室管理信息处理的流程示意图。
图6所示的是，监视终端装置的出室管理信息处理的流程示意图。
图7所示的是，将同一目标人员的入室影像以及出室影像并列设置并同时回放的一个例子示意图，目标人员没有携带包裹的情况的示意图。
图8所示的是，将同一目标人员的入室影像以及出室影像并列设置并同时回放的一个例子示意图，出室影像中的目标人员携带包裹的情况的示意图。
图9所示的是，将四人同时入室的入室影像和其中的二人同时出室的出室影像并列设置并同时回放的一个例子示意图，出室影像中的目标人员携带包裹的情况的示意图。
图10所示的是，将四人同时入室的入室影像和上述的四人中的最后出室的出室人员的出室影像并列设置并同时回放的一个例子示意图。
图11所示的是，将三人同时入室的入室影像和每人分别从不同的门出室的出室影像并列设置并同时回放的一个例子示意图。
具体实施方式
以下，将参照说明书附图对本发明的实施方式中所涉及的监视系统以及监视终端装置进行详细地说明。
图1所示的是，本发明的监视系统的结构示意框图。图2所示的是，本实施方式的监视系统的监视位置的一个例子示意图。
本实施方式的监视系统100指的是用于监视目标人员进出诸如商店、设施等的建筑物的系统，并且包括监视终端装置10、摄像装置30以及出入室检测装置40。此外，摄像装置30以及出入室检测装置40经由网络50与监视终端装置10连接。例如，本实施方式的监视系统100监视目标人员进出门G1至G3，门G1至G3指的是设置在商店的三个位置处的自动门之类的出入口。
如图2所示，摄像装置30以及出入室检测装置40分别布置在商店的每个门G1至G3处。在这里，将对门G1的摄像装置30以及出入室检测装置40进行说明。值得指出的是，由于门G2和G3的摄像装置30以及出入室检测装置40基本上具有与门G1相同的结构，因此将适当地对与门G1的结构不同的方面进行说明。
门G1的摄像装置30作为对目标人员在出入室时通过门G1进行摄像的监视摄像机，包括用于拍摄目标人员从门G1进入的入室影像的入室用摄像部31，和用于拍摄目标人员从门G1出去的出室影像的出室用摄像部32。此外，门G1的摄像装置30还包括用于将入室用摄像部31拍摄的影像以及出室用摄像部32拍摄的影像向监视终端装置10发送的通信部33。通信部33是包括诸如LAN芯片(图中未示出)之类的通信模块的通信接口。在门G1的入室用摄像部31中，还设置有用于识别监视终端装置10中来自门G1的入室用摄像部31的影像的识别信息C1。在门G1的出室用摄像部32中，同样也还设置有用于识别监视终端装置10中来自门G1的出室用摄像部32的影像的识别信息C2。与此相同地，对于门G2、门G3的入室用摄像部31以及出室用摄像部32，也分别设置有识别信息C3至C6。
门G1的入室用摄像部31以及出室用摄像部32包括RTC(实时时钟)。对于拍摄的影像，门G1的入室用摄像部31将与RTC的成像时间(时间码)和识别信息C1相关联的影像数据输出到通信部33中。对于拍摄的影像，门G1的出室用摄像部32将与RTC的成像时间(时间码)和识别信息C2相关联的影像数据输出到通信部33中。通信部33通过网络50将入室用摄像部31以及出室用摄像部32中的各个影像数据发送至监视终端装置10中。
门G1的出入室检测装置40用于检测目标人员在门G1处的入室以及出室。具体而言，门G1的出入室检测装置40包括，用于检测目标人员位于门G1的室外侧的位置P1的门外红外线传感器41(第一检测部)，用于检测目标人员位于门G1的室内侧的位置P2的门内红外线传感器42(第二检测部)，用于向监视终端装置10发送包括门外红外线传感器41以及门内红外线传感器42的各个检测时间的检测时间信息的输出信息的通信部43。通信部43是包括诸如LAN芯片(图中未示出)之类的通信模块的通信接口。在门G1的外红外线传感器41中，还设置有用于识别监视终端装置10中来自门G1的门外红外线传感器41的检测时间信息的识别信息T1。在门G1的门内红外线传感器42中，同样也还设置有用于识别监视终端装置10中来自门G1的门内红外线传感器42的检测时间信息的识别信息T2。与此相同地，对于门G2、门G3的门外红外线传感器41以及门内红外线传感器42，也分别设置有识别信息T3至T6。
门G1的通信部43包括RTC，基于RTC来指定从门外红外线传感器41以及门内红外线传感器42接收检测信号的各个时间，将代表门外红外线传感器41中的检测时间的第一检测时间信息与识别信息T1相关联，将代表门内红外线传感器42中的检测时间的第二检测时间信息与识别信息T2相关联，并组成一组数据作为输出信息，通过网络50发送至监视终端装置10中。
网络50是指能够与监视终端装置10、摄像装置30以及出入室检测装置40进行通信的网络，并且例如是无线LAN(局域网)。此外，网络50还可以是有线LAN、TCP/IP网络等。
监视终端装置10包括显示部12、触摸面板13、通信部14、存储部15以及控制单元20。这些组成元件能够通过总线相互发送和接收数据或者信号。
显示部12由液晶显示器(LCD：液晶显示器)或者有机EL(OLED：有机发光二极管)等组成。
触摸面板13指的是诸如所谓电阻膜方式或者电容方式之类的触摸面板。触摸面板13设置在显示部12的界面上，并且检测手指等相对于显示部12的界面的接触以及其接触位置。在检测到手指等的接触时，触摸面板13将指示上述的接触位置的坐标的检测信号输出到控制单元20的控制部21等中。因此，触摸面板13起到用于输入用户在显示部12的界面上的操作的操作部的作用。
另外，除了作为输入用户操作的操作部的触摸面板13之外，监视终端装置10还可以包括硬键。
通信部14是包括诸如LAN芯片(图中未示出)之类的通信模块的通信接口。通信部14具有接收由摄像装置30拍摄的门的影像的影像数据的功能，以及从用于检测目标人员的入室以及出室的出入室检测装置40接收输出信息的功能。
存储部15由大容量的SSD(固态驱动器)、HDD(硬盘驱动器)等组成，并用于存储各种数据和程序。此外，通信部14用于接收由摄像装置30拍摄的门的影像的影像数据，存储部15用于存储由上述的通信部14接收的影像数据。在本实施方式中，存储部15包括普通存储区和特定存储区，在上述的普通存储区中临时存储从摄像装置30发送来的影像数据，在存储于上述的普通存储区的影像数据中，将目标人员的入室影像以及出室影像的影像数据存储在特定存储区中，并可定期(如一个月或者一年等)地或者根据用户的指示对普通存储区进行删除。值得指出的是，存储部15还可以是不包括特定存储区，仅在事后在普通存储区中留下目标人员的入室影像以及出室影像的影像数据。此外，存储部15还包括如图2所示的预先存储的各个门G1至G3与识别信息T1至T6以及识别信息C1至C6之间的对应关系信息的对应关系信息表，和如后述的图3所示的管理信息存储表。
控制单元20由处理器、RAM(随机存取存储器)、ROM(只读存储器)等组成。处理器是CPU(中央处理单元)、MPU(微处理单元)、ASIC(专用集成电路)等。通过在上述的处理器中执行存储在上述的ROM或者存储部15中的控制程序，上述的控制单元20发挥着控制部21、通信控制部22、影像指定部23、读取部24、回放控制部25、判定部26、门通过时间计算部27、面部认证处理部28、保存形式设定部29以及影像判定部60的作用。值得指出的是，控制单元20的每个上述的组成元件可以分别由基于与上述的控制程序的操作无关的硬件电路构成。
控制部21执行监视终端装置10的整体操作控制。此外，控制部21连接到诸如显示部12、触摸面板13、通信部14、以及存储部15等，并执行上述的每个组成元件的操作控制以及每个组成元件之间的信号或者数据的发送和接收操作。
通信控制部22控制着通信部14的通信操作。通信控制部22在将通信部14从摄像装置30接收到的影像数据存储在存储部15的普通存储区的同时，将出入室检测装置40发出的输出信息存储在存储部15的管理信息存储表中(图3)。
判定部26基于通信部14从出入室检测装置40接收到的输出信息(也就是，具有识别信息T1的第一检测时间信息，以及具有识别信息T2的第二检测时间信息)，来判定目标人员的入室或者出室。具体而言，判定部26基于该识别信息T1、T2来判断门G1的信息，更进一步地，基于具有识别信息T1的第一检测时间信息与具有识别信息T2的第二检测时间信息之间的时间关系，来判断门G1是入室还是出室。在门外红外线传感器41检测到的代表第一检测时间信息的检测时间比在门内红外线传感器42检测到的代表第二检测时间信息的检测时间早的情况下，则判定为入室，在与此相反的情况下，则判定为出室。此外，在其他门G2和G3的情况下，也以与上述的门G1的情况相同的方式进行判断。
在摄像装置30拍摄的存储在存储部15的影像中，影像指定部23将通信部14从出入室检测装置40接收到的输出信息中所指定的目标人员的入室检测区间中的影像部分指定为入室影像，在摄像装置30拍摄的存储在存储部15的影像中，影像指定部23将通信部14从出入室检测装置40接收到的输出信息中所指定的目标人员的出室检测区间中的影像部分指定为出室影像。
例如，在判定部26确定为例如门G1为入室的情况下，影像指定部23将门G1的入室用摄像部31所拍摄的且存储在存储部15中的影像中的，从门外红外线传感器41检测到的代表第一检测时间信息的检测时间开始，到门内红外线传感器42检测到的代表第二检测时间信息的检测时间结束的入室检测区间的影像部分指定为入室影像。此外，在判定部26判断为例如门G1为出室的情况下，影像指定部23将门G1的出室用摄像部32所拍摄的且存储在存储部15中的影像中的，从门内红外线传感器42检测到的代表第二检测时间信息的检测时间开始到门外红外线传感器41检测到的代表第一检测时间信息的检测时间结束的出室检测区间的影像部分指定为出室影像。此外，对于其他门G2和G3的入室影像以及出室影像，也以与上述的门G1的情况相同的方式进行指定。
门通过时间计算部27基于第一检测时间信息和第二检测时间信息，来计算目标人员入室时以及出室时的门通过时间。也就是说，将门外红外线传感器41检测到的代表第一检测时间信息的检测时间与门内红外线传感器42检测到的代表第二检测时间信息的检测时间之间的差值作为门通过时间。
读取部24具有从存储部15读取出影像指定部23所指定的入室影像以及出室影像的功能。例如，基于如后述的图3所示的管理信息存储表的检测时间、入口/出口标志、门、影像索引以及门通过时间，读取部24从存储部15中读取出指定的入室影像以及出室影像。
面部认证处理部28通过对读取部24读取出的入室影像以及出室影像执行面部识别处理操作，发挥着指定同一目标人员的入室影像以及出室影像的两个影像的功能。面部识别处理操作指的是将从入室影像以及出室影像中所包含的目标人员的面部的图像数据中提取出特征，通过与预先存储的数据进行匹配，来识别目标人员的现有图像识别处理操作。
具体而言，面部认证处理部28包括入室人员面部认证信息登记部281和出室人员面部认证信息识别部282。
入室人员面部认证信息登记部281基于读取部24读取出的入室影像中的目标人员的图像信息，提取出该目标人员的面部识别信息(例如，根据目标人员的图像确定面部区域，并且在该面部区域中指示诸如眼睛、鼻子、嘴巴等的面部特征点的信息等)，将上述的提取的该目标人员的面部识别信息以及代表该面部识别信息的面部检测人员的顺序以升序编号的检测人员编号作为验证源登记数据，在登录存储部15的验证源数据登记部151的同时，将该面部检测人员编号与入室影像相关联后存储在存储部15中。例如，在如图3所示的管理信息存储表的管理编号为“1”的情况下，在“面部检测人员编号”的项中存储为“P001”。
出室人员面部认证信息识别部282用于识别基于出室影像中的目标人员的图像信息所提取出的该目标人员的面部认证信息，与验证源数据登记部151中的验证源登录数据中的哪一个的面部认证信息相一致，并将识别为一致的面部认证信息的面部检测人员的编号和同一个面部检测人员编号与出室影像进行相关联后存储在存储部15中。例如，在如图3所示的管理信息存储表的管理编号为“3”的情况下，在“面部检测人员编号”的项中存储为“P001”。
面部认证处理部28将入室影像的面部检测人员编号与出室影像的面部检测人员编号相一致的该入室影像以及该出室影像指定为同一目标人员的入室影像以及出室影像。面部认证处理部28将上述的指定的入室影像以及出室影像存储在存储部15的特定存储区中。
此外，在本实施方式中，虽然设置了面部认证处理部28，但是不仅仅进行面部认证，还可以作为具备现有技术的人物认证功能的认证处理部。在这种情况下，在目标人员的面部认证时，由于还进行目标人员的体型、服装等的人物认证，因此，进一步提高了目标人员的识别精确度。
影像判定部60通过图像解析处理操作，来判断面部认证处理部28指定的上述的两个影像中的至少一个是否包含指定的影像内容(在本实施方式中，如后述的图8等所示的行李的图像B)。值的指出的是，在本实施方式中，指定的影像内容虽然为行李的图像B，但是不仅仅限于行李的图像B，例如，还可以使用具有特定岗位的人员等的图像、行为可疑的举动的图像等。
回放控制部25控制着显示部12的显示操作。例如，回放控制部25执行控制将由面部认证处理部28识别的相同目标人员的入室影像以及出室影像在显示部12的界面上并列设置并进行同时回放。此外，当同一目标人员的入室影像以及出室影像的两个影像的回放时间(例如，以相同放大率回放的时间)的差值超过阈值时(例如，阈值以上的情况下)，回放控制部25将上述的两个影像的回放时间变更为相同的回放时间后，在显示部12上将该两个影像并列设置并同时回放。
进一步地，在确定影像判定部60不包括特定的影像内容(行李的图像)的情况下，回放控制部25将两个影像的回放时间变更为相同的第一回放时间(例如，7秒)后，在显示部12上将该两个影像并列设置并同时回放(图7)，在确定影像判定部60包括特定的影像内容(行李的图像)的情况下，将两个影像的回放时间变更为比相同的第一回放时间(例如，7秒)更长的第二回放时间(例如，9秒)后，在显示部12上将该两个影像并列设置并同时回放(图8)。
保存形式设定部29设置影像数据的存储格式。例如，保存形式设定部29设置由面部认证处理部28识别的同一目标人员的入室影像以及出室影像的两个影像是否以变更后的回放时间的形式保存在存储部15的指定存储区中。在本实施方式中，保存形式设定部29设置以变更后的回放时间的形式进行保存。上述的设置还可能根据用户的指示进行变化。
与此同时，基于存储在存储部15中的摄像装置30的影像数据和出入室检测装置40的输出信息，控制单元20将目标人员的出入室历史和影像索引等的管理信息存储在存储部15的管理信息存储表中。在如图3所示的管理信息存储表中，存储有管理编号、各个检测时间、入室/出室标志、门的类别、影像索引、门通过时间、面部检测人员编号组成的管理信息。管理信息的存储，在后述的图4所示的并列回放处理中的各个检测时间的存储(步骤S102)、入室管理信息处理(步骤S104)以及出室管理信息处理(步骤S105)的步骤中进行。
接下来，将参照图4所示的流程图等对本实施方式的监视终端装置10执行的并列回放处理操作(在显示部12上的入室影像以及出室影像的并列回放处理操作)进行说明。
首先，监视终端装置10的通信控制部22判断通信部14是否接收到出入室检测装置40的输出信息(步骤S101)。在通信部14接收了输出信息的情况下(步骤S101为“是”)，通信控制部22将上述的输出信息作为管理信息存储在管理信息存储表中(步骤S102)。例如，通信控制部22在图3所示的管理信息存储表的管理编号为“1”的“各个检测时间”项中，按照时间升序的顺序存储门外红外线传感器41检测到的代表包含识别信息T1的第一检测时间信息的检测时间和门内红外线传感器42检测到的代表包含识别信息T2的第二检测时间信息的检测时间。此时，在管理编号为“1”的“各个检测时间”项中，存储有“T1：08时30分12秒；T2：08时30分22秒”。本实施方式中的检测时间是以24小时制表示的。另一方面，在没有接收到输出信息的情况下(步骤S101为“否”)，结束上述的处理操作。
在将输出信息作为管理信息进行存储(步骤S102)后，判定部26检测是否入室(步骤S103)。具体而言，判定部26基于包含在输出信息中的含有识别信息T1的第一检测时间信息以及含有识别信息T2的第二检测时间信息(存储在图3所示的管理信息存储表中的各个检测时间)，来判断目标人员的入室或者出室。例如，在管理编号为“1”的情况下，由于门外红外线传感器41检测到的代表包含识别信息T1的第一检测时间信息的检测时间为“08时30分12秒”，比门内红外线传感器42检测到的代表包含识别信息T2的第二检测时间信息的检测时间“08时30分22秒”早，因此，判定部26确定为“入室”。在判定部26确定为“入室”的情况下(步骤S103为“是”)，控制部21执行入室管理信息处理操作(步骤S104)。
图5所示的是入室管理信息处理操作。在上述的入室管理信息处理操作中，控制部21将所述的步骤S103中判定部26确定的“入室”作为入室/出室标志存储在管理信息存储表中(步骤S201)。例如，在图3所示的管理信息存储表的管理编号为“1”的入室/出室标志项中存储为“入室”。
基于存储在存储部15的对应关系信息表中的对应关系信息(代表如图2所示的各个门G1至G3与识别信息T1至T6之间的对应关系的信息)，判定部26识别与包含在输出信息中的识别信息T1、T2相对应的门G1。例如，在图3所示的管理信息存储表的管理编号为“1”的情况下，控制部21将上述的管理编号为“1”的“门”项存储为“G1”(步骤S202)。
影像指定部23基于管理信息存储表的“门”、“入室/出室标志”以及“各个检测时间”项，存储影像索引(步骤S203)。例如，在管理编号为“1”的情况下，在“门”以及“入室/出室标志”分别为G1以及入室的基础上，影像指定部23识别与此相对应的识别信息C1的入室用摄像部31，并将上述的识别信息C1和与门外红外线传感器41的检测时间“08时30分12秒”相对应的“C1：08时30分12秒”存储在影像索引项中。上述的影像索引指的是识别信息C1的入室用摄像部31所拍摄的目标人员的入室影像的开始时间。
门通过时间计算部27基于第一检测时间信息和第二检测时间信息，计算目标人员在入室时的门通过时间。例如，在图3所示的管理编号为“1”的情况下，门通过时间计算部27计算出门外红外线传感器41检测到的代表包含识别信息T1的第一检测时间信息的检测时间“08时30分12秒”与门内红外线传感器42检测到的代表包含识别信息T2的第二检测时间信息的检测时间“08时30分22秒”之间的差值(此时为10秒)作为门通过时间(步骤S204)。门通过时间计算部27将计算出的“10秒”存储在图3所示的管理信息存储表的管理标号为“1”的“门通过时间”项中(步骤S204)。
面部认证处理部28的入室人员面部认证信息登记部281从影像指定部23通过影像索引以及门通过时间识别的入室影像(即，从识别信息C1的入室用摄像部31拍摄的影像中的时间“08时30分22秒”开始到门通过时间(10秒)后的影像部分的入室影像)中的目标人员的图像中，提取出该目标人员的面部识别信息。然后，入室人员面部认证信息登记部281将提取的面部识别信息以及代表该面部识别信息的面部检测人员的顺序以升序编号的面部检测人员编号作为验证源登记数据，在登录存储部15的验证源数据登记部151的同时，将该面部检测人员编号与入室影像相关联后存储在存储部15中(步骤S205)。也就是说，入室人员面部认证信息登记部281，在面部识别信息的面部检测人员为第n个的情况下，将面部检测人员编号Pn(例如，在图3所示的管理信息存储表的管理标号“1”中，由于面部识别信息的面部检测人员为第1个，面部检测人员编号为P001)存储在图3所示的管理信息存储表的管理标号为“1”的“面部检测人员编号”项中。然后，结束本次处理操作。
回到图4，对判定部26确定为“出室”的情况(步骤S103为“否”)进行说明。在此，例如以图3所示的管理编号为“3”的“出室”为例进行说明。
在图3所示的管理编号为“3”的“各个检测时间”中，由于门内红外线传感器42检测到的代表包含识别信息T2的第二检测时间信息的检测时间“08时40分25秒”比门外红外线传感器41检测到的代表包含识别信息T1的第一检测时间信息的检测时间为“08时40分30秒”早，因此，判定部26确定为“出室”(步骤S103为“否”)。控制部21执行出室管理信息处理操作(步骤S105)。
图6示出了出室管理信息处理操作。在上述的出室管理信息处理操作中，控制部21将所述的步骤S103中判定部26确定的“出室”存储在管理信息存储表(图3)中的入室/出室标志项中(步骤S301)。然后，判定部26识别与输出信息中包含的识别信息T1、T2，即存储在管理信息存储表中的各个检测时间的识别信息T1、T2相对应的门G1。控制部21将“G1”存储在图3所示的管理信息存储表的管理编号为“3”的“门”项中(步骤S302)。
影像指定部23基于管理信息存储表中的“门”、“入室/出室标志”以及“各个检测时间”项，存储影像索引(步骤S303)。例如，在管理编号为“3”的情况下，在“门”以及“入室/出室标志”分别为G1以及出室的基础上，影像指定部23识别与此相对应的识别信息C2的出室用摄像部32，并将上述的识别信息C2和与门内红外线传感器42的检测时间“08时40分25秒”相对应的“C2：08时40分25秒”存储在影像索引项中。上述的影像索引指的是识别信息C2的出室用摄像部32所拍摄的目标人员的出室影像的开始时间。
门通过时间计算部27基于第一检测时间信息和第二检测时间信息，计算目标人员在出室时的门通过时间。例如，在图3所示的管理编号为“3”的情况下，门通过时间计算部27计算出门内红外线传感器42检测到的代表包含识别信息T2的第二检测时间信息的检测时间“08时40分25秒”与门外红外线传感器41检测到的代表包含识别信息T1的第一检测时间信息的检测时间“08时40分30秒”之间的差值(此时为5秒)作为门通过时间(步骤S304)。门通过时间计算部27将计算出的“5秒”存储在图3所示的管理信息存储表的管理标号为“3”的“门通过时间”项中。
面部认证处理部28的出室人员面部认证信息识别部282从影像指定部23通过影像索引以及门通过时间识别的出室影像(即，从识别信息C2的出室用摄像部32拍摄的影像中的时间“08时40分25秒”开始到门通过时间(5秒)后的影像部分的出室影像)中的目标人员的图像中，提取出该目标人员的面部识别信息。然后，出室人员面部认证信息识别部282识别上述的提取的面部识别信息与验证源数据登记部151中的验证源登录数据中的哪一个面部认证信息相一致，并将与识别为一致的面部认证信息的面部检测人员编号(在此，图3所示的管理编号为“1”的面部检测人员编号P001)相同的面部检测人员编号P001与出室影像相关联后存储在存储部15中(步骤S305)。也就是说，将与图3所示的管理信息存储表的管理编号为“1”的面部检测人员编号P001相同的面部检测人员编号P001，存储在管理编号为“3”的“面部检测人员编号”项中。
接下来，面部认证处理部28识别图3所示的管理信息存储表的“面部检测人员编号”项相互一致的、同一目标人员的入室影像以及出室影像(即，面部检测人员编号均为P001的管理编号为“1”的入室影像以及管理编号为“3”的出室影像)，并将该识别的入室影像以及出室影像存储在存储部15的特定存储区中(步骤S306)。然后，结束本次处理操作。
回到图4，回放控制部25判断同一目标人员的出入室时的门通过时间的差值是否在阈值(例如为5秒)以上(步骤S106)。例如，在图3所示的管理信息存储表的管理编号为“1”以及“3”的同一目标人员(面部检测人员编号均为P001)的入室影像以及出室影像中，管理编号为“1”的入室时的门通过时间为10秒，管理编号为“3”的出室时的门通过时间为5秒，则判断为两者的差值在阈值(例如为5秒)以上。
在回放控制部25确定为在阈值(例如为5秒)以上的情况下(步骤S106为“是”)，影像判定部60通过图像解析处理操作来判断面部认证处理部28所识别的同一目标人员的入室影像以及出室影像中的出室影像是否含有特定的影像内容(在本实施方式中指的是行李的图像B)(步骤S107)。在影像判定部60确定出室影像中含有特定的影像内容的情况下(步骤S107为“是”)，回放控制部25将同一目标人员的入室影像以及出室影像(例如，面部检测人员编号均为P001的管理编号为“1”的入室影像以及管理编号为“3”的出室影像)的两个影像的回放时间变更为目标人员携带行李情况下的第二回放时间(例如为9秒)(步骤S108)。另一方面，在影像判定部60确定出室影像中不含有特定的影像内容的情况下(步骤S107为“否”)，回放控制部25将上述的两个影像的回放时间变更为目标人员不携带行李情况下的第一回放时间(例如为7秒)(步骤S109)。值得指出的是，在本实施方式中，是判断出室影像中是否含有特定的影像内容(行李的图像)，然而，还可以判断入室影像以及出室影像中的至少一个中是否含有特定的影像内容。
回放控制部25以共同变更后的回放时间(不携带行李的情况下为7秒，携带行李的情况下为9秒)，以面部认证处理部28所识别的同一目标人员的入室影像以及出室影像中的回放时间在显示部12上并列设置并同时回放(步骤S110)。
例如，如图7所示，同一目标人员(此时为面部检测人员编号为P001的目标人员)的入室影像以及出室影像的实际回放时间分别为原始10秒、原始5秒，由于其差值在阈值(5秒)以上，因此将两个影像的回放时间一同转化为上述的变更后的回放时间。例如，在出室影像的目标人员不携带行李的情况下(图7)，两个影像的回放时间变更为第一回放时间(例如为7秒)，在显示部12上并列设置并同时回放上述的两个影像。具体而言，在将入室影像的实际回放时间从原始10秒缩短为7秒后，加快该入室影像的回放速度的同时，将出室影像的实际回放时间由原始5秒延长至7秒后，减慢该出室影像的回放速度，将两个影像并列设置并同时回放。
另一方面，在出室影像的目标人员携带行李的情况下(图8)，变更为比第一回放时间(例如为7秒)更长的第二回放时间(例如为9秒)，将两个影像在显示部12上并列设置并同时回放。具体而言，在将入室影像的实际回放时间从原始10秒缩短为9秒后，加快该入室影像的回放速度的同时，将出室影像的实际回放时间由原始5秒延长至9秒后，减慢该出室影像的回放速度，将两个影像并列设置并同时回放。通过上述的方式，在含有特定的影像内容(行李的图像)的情况下，由于目标人员可能携带出去物品，需要更加密切地监测，通过将两个影像的回放时间变更为比没有携带行李的情况下的两个影像的回放时间(例如为7秒)更长的时间(例如为9秒)，从而能够更加仔细地确认两个影像，能够提高影像监视的精确度。
此外，如图7、图8所示，回放控制部25将入室影像以及出室影像中的各个影像的时间显示(诸如回放时间、入室时间、出室时间之类)或者面部认证信息(诸如面部检测人员编号之类)等的信息也显示在显示部12上。
控制部21将面部认证处理部28所识别的同一目标人员的入室影像以及出室影像以保存形式设定部29所设定的保存形式(在此，以变更后的回放时间(7秒或者9秒)的形式)保存在存储部15的特定存储区中(步骤S111)。然后，结束本次处理操作。通过上述的方式，在以变更后的回放时间的形式保存的情况下，不需要在回放时进行时间调整，就能够迅速地以相同的回放时间回放两个影像。
回到图4，不在阈值以上(例如为5秒)的情况下(步骤S106为“否”)，回放控制部25分别以面部认证处理部28所识别的同一目标人员的入室影像以及出室影像的原始回放时间(以实际时间作为回放时间)在显示部12上并列设置并同时回放(步骤S112)。然后，结束本次处理操作。
通过上述的方式，在本实施方式中，在同一目标人员的入室影像以及出室影像的两个影像的回放时间的差值超过阈值的情况下，将上述的两个影像的回放时间变更为相同的回放时间后在显示部12上并列设置并同时回放上述的两个影像。也就是说，即使目标人员的入室影像以及出室影像的回放时间(实际时间的长度)不同，将两个影像的回放时间调整为相同后进行回放。因此，可以确保两个影像的视觉确认时间相同，能够以易于查看的方式显示两个影像，从而能够减轻监视人员的负担。
此外，如图9所示，对四人同时入室的入室影像和其中的二人同时出室的出室影像并列设置并同时回放进行说明。在图9中，假设出室影像的目标人员携带行李，另外二人还留在店内。
四人同时入室的入室影像的管理信息存储在图3所示的管理信息存储表的例如管理编号“2”中。管理编号“2”的各个检测时间、入室/出室标志、门的类别、影像索引、门通过时间以及面部检测人员编号的各个项中，分别存储有“T1：08时32分44秒，T2：08时32分55秒”、“入室”、“G1”、“C1：08时32分44秒”、“11秒”以及“P002～P005”。通过图4所示的并列回放处理中的各个检测时间的存储(步骤S102)以及入室管理信息处理操作(步骤S104)，将上述的管理信息存储在管理信息存储表中。
例如，面部认证处理部28通过对读取部24读取出的入室影像(此时为管理编号为“2”的入室影像)进行面部认证处理操作，来识别该入室影像中是否含有多个目标人员，将包含有多个目标人员的入室影像识别为多人员入室影像。在这种情况下，面部认证处理部28在图3所示的管理信息存储表的管理编号为“2”的面部检测人员编号项中存储“P002～P005”，将管理编号为“2”确定为多人员入室影像。
此外，四人同时的入室影像中的二人同时出室的出室影像的管理信息，存储在图3所示的管理信息存储表的例如管理编号“4”中。管理编号“4”的各个检测时间、入室/出室标志、门的类别、影像索引、门通过时间以及面部检测人员编号的各个项中，分别存储有“T6：08时48分30秒，T5：08时48分34秒”、“出室”、“G3”、“C6：08时48分30秒”、“4秒”以及“P002，P003”。通过图4所示的并列回放处理操作中的各个检测时间的存储(步骤S102)以及出室管理信息处理(步骤S105)，将上述的管理信息存储在管理信息存储表中。
例如，面部认证处理部28通过对读取部24读取出的出室影像(此时为管理编号为“4”的出室影像)进行面部认证处理操作，来将含有管理编号“2”的多人员入室影像的多个目标人员中的至少一人的出室影像识别为关联出室影像。在这种情况下，在图3所示的管理信息存储表的管理编号为“4”的面部检测人员编号项中存储“P002，P003”，将管理编号为“4”确定为关联出室影像。
在入室影像中含有多个目标人员的情况下，例如，在图3所示的管理编号“2”中所识别的入室影像中含有面部检测人员编号P002～P005的四个目标人员的情况下，读取部24从存储部15中读取出上述的入室影像的多个目标人员(面部检测人员编号P002～P005的四个目标人员)相对应的一个或者多个出室影像(例如，在图3所示的管理编号“4”中识别的出室影像中的面部检测人员编号P002、P003的两个目标人员的出室影像)。也就是说，读取部24读取出至少含有入室影像的面部检测人员编号的一个的出室影像。并且，由于在这个时刻(即，直到记录下图3所示的管理编号“6”的管理信息)，其他的二人还没有出室，因此，仅仅将图3所示的管理编号“4”中识别的出室影像作为出室影像读取出来。
接下来，如图9所示，同一目标人员(此时，面部检测人员编号P002，P003的目标人员至少相同)的入室影像以及出室影像的回放时间分别为原始11秒、原始4秒，由于其差值在阈值(5秒)以上，回放控制部25将两个影像的回放时间变更为同一回放时间。例如，图9所示的出室影像的目标人员(此时，面部检测人员编号P003的目标人员)携带行李，影像判定部60确定为出室影像中含有特定的影像内容(行李的图像B)，回放控制部25将两个影像的回放时间变更为比第一回放时间(例如为7秒)长的第二回放时间(例如为9秒)，在显示部12上以两个影像变更后的第二回放时间(例如为9秒)并列设置并同时回放。具体而言，通过将入室影像的回放时间从原始11秒缩短为9秒，加快该入室影像的回放速度的同时，将出室影像的回放时间由原始4秒延长至9秒，减慢该出室影像的回放速度，将两个影像并列设置并同时回放。
通过上述的方式，由于回放控制部25在显示部12上并列设置并同时回放含有多个(图9中为四人)目标人员的多人员入室影像和含有上述的多人员入室影像中的四个目标人员的一部分的关联出室影像(图9中为其中二人的出室影像)，因此，即使在多人员入室影像和关联出室影像的回放时间不同的情况下，也能够以易于查看的方式显示两个影像，从而能够减轻监视人员的负担。
此外，在这个时刻(即，直到记录下图3所示的管理编号“6”的管理信息)，虽然由于另外二人还没有出室，回放控制部25将四人同时的入室影像和其中二人的出室影像进行并列设置并同时回放，但是，在其他二人分别出室的情况下，将该出室影像(例如，图3所示的管理编号“6”中识别的出室影像(面部检测人员编号P005的目标人员)或者管理编号“7”中识别的出室影像(面部检测人员编号P004的目标人员))与四人同时的入室影像进行并列设置并同时回放。例如，对于图3所示的管理编号“6”中识别的出室影像(面部检测人员编号P005的目标人员)，在将图3所示的管理编号“6”的管理信息存储在管理信息存储表中时，面部认证处理部28识别在管理信息存储表中的“面部检测人员编号”项部分相同的、同一目标人员的入室影像以及出室影像(也就是说，面部检测人员编号P005至少相同的、管理编号“2”中识别的入室影像以及管理编号“6”中识别的出室影像)，回放控制部25将上述的识别的两个影像并列设置并同时回放。
如图10所示，在最后的一人出室的情况下，将四人同时的入室影像与其中最后的目标人员出室的出室影像变更为相同的回放时间，进行并列设置并同时回放。例如，如图10所示，出室影像的目标人员(此时为面部检测人员编号P004的目标人员)没有携带行李，将两个影像的回放时间变更为第一回放时间(例如为7秒)，在显示部12上将上述的两个影像并列设置并同时回放。
此外，如图3所示，面部认证处理部28将含有多人员入室影像(管理编号“2”的入室影像)的多个目标人员(面部检测人员编号P002～P005的目标人员)中的关联出室影像(管理编号“4”的出室影像)的目标人员(面部检测人员编号P002、P003的目标人员)以外的目标人员，且摄像时间在关联出室影像之后的出室影像识别为后续关联出室影像。在图3中，将管理编号“6”的出室影像(面部检测人员编号P005的目标人员的出室影像)和管理编号“7”的出室影像(面部检测人员编号P004的目标人员的出室影像)分别识别为后续关联出室影像。然后，在显示部12上显示多人员入室影像以及后续关联出室影像的情况下，对于在多人员入室影像的多个目标人员中，与关联出室影像的目标人员相同的目标人员，回放控制部25以已经出室的状态显示在显示部12上。
如图10所示，对于在出室影像的目标人员之前出室的入室影像的目标人员，由于以已经出室的状态(图10中为涂上阴影的状态)显示在显示部12上，因此，将含有多个目标人员的入室影像和其中一部分出室人员的出室影像并列设置并同时回放，就能够以易于区分的形式显示在出室影像的出室人员之前出室的出室人员。
此外，用户操作触摸面板13来选择图10所示的入室影像中的其他的目标人员(处于出室状态的目标人员)，回放控制部25在切换为显示用户选择的目标人员的出室影像的同时，将该切换后的出室影像和四人同时的入室影像变更为同一回放时间后在显示部12上并列设置并同时回放。例如，在选择入室影像中的面部检测人员编号P002、P003的目标人员中的任何一个时，将如图9所示的两个影像并列设置并同时回放。
此外，在入室的四人全部出室后，回放控制部25在显示部12上并列设置并同时回放四人同时的入室影像和全部人员的出室影像。例如，回放控制部25将管理编号“2”识别的入室影像和管理编号“4”、“6”以及“7”三个的出室影像的回放时间变更为第二回放时间(例如为9秒)，并将上述的影像并列设置并同时回放。由于影像判定部60确定为在管理编号“4”的出室影像中含有特定的影像内容(行李的图像B)(图9所示的面部检测人员编号P003的目标人员携带行李)，回放控制部25变更为第二回放时间。此外，用户通过操作触摸面板13来选择入室影像中的目标人员，回放控制部25将四人同时的入室影像和用户选择的目标人员的出室影像变更为相同的回放时间后，在显示部12上并列设置并同时回放。
此外，如图11所示，在多人(例如为三人)同时入室，上述的目标人员(此处为面部检测人员编号P006～P008的目标人员)分别从不同的门G1至门G3出室的情况下，回放控制部25将三人同时入室的入室影像和门G1至门G3的各个出室影像在显示部12上并列设置并同时回放。也就是说，面部检测人员编号P006～P008的目标人员的入室影像和从门G3出室的面部检测人员编号P006的目标人员的出室影像、从门G1出室的面部检测人员编号P007的目标人员的出室影像、从门G2出室的面部检测人员编号P008的目标人员的出室影像在显示部12上并列设置并同时回放。
值得指出的是，在上述的实施方式中，虽然监视终端装置10包括面部认证处理部28，但是还可以不包含上述的面部认证处理部28，而设置在出入室时用于读取目标人员所携带的ID卡的识别信息的识别信息读取部，代替图3所示的面部检测人员编号，该识别信息读取部将出入室时读取的识别信息存储在存储部15中，控制部21基于识别信息来识别入室影像和出室影像。
此外，在上述的实施方式中描述的监视终端装置10的显示方法可以作为程序来进行使用。该程序记录在计算机可读的非暂时性记录介质中，例如，硬盘、CD-ROM、DVD-ROM、半导体存储器等。在这种情况下，记录该程序的计算机可读的非暂时性记录介质是本发明的一个实施方式。

Claims (10)

1.一种监视终端装置，其特征在于，包括，
存储部，用于存储目标人员在出入室时由摄像装置拍摄的通过门的影像；
通信部，用于接收检测目标人员入室以及出室的出入室检测装置发送来的输出信息；
影像指定部，将存储在所述的存储部中的且在所述的通信部从所述的出入室检测装置接收到的输出信息中所指定的目标人员的入室检测区间中的影像部分指定为入室影像，将存储在所述的存储部中的且在所述的通信部从所述的出入室检测装置接收到的输出信息中所指定的目标人员的出室检测区间中的影像部分指定为出室影像；
读取部，用于将所述的影像指定部所指定的所述的入室影像以及所述的出室影像从所述的存储部中读取出来；
面部认证处理部，通过对所述的读取部读取的所述的入室影像以及所述的出室影像执行面部认证处理操作，来识别同一目标人员的入室影像以及出室影像的两个影像；
显示部；
回放控制部，在所述的面部认证处理部所识别的所述的两个影像的实际时间的回放时间的差值超过了阈值的情况下，将所述的两个影像的回放时间变更为相同的回放时间，并在所述的显示部上并列设置并同时回放该两个影像。
2.一种如权利要求1所述的监视终端装置，其特征在于，
还包括影像判定部，通过图像解析处理操作，来判断所述的面部认证处理部指定的所述的两个影像中的至少一个是否包含指定的影像内容，
在所述的影像判定部确定为不含有所述特定的影像内容的情况下，所述回放控制部将所述两个影像的回放时间变更为相同的第一回放时间后，将该两个影像在所述显示部上并列设置并同时回放，在所述的影像判定部确定为含有所述特定的影像内容的情况下，将所述的两个影像的回放时间变更为比所述的第一回放时间长的相同的第二回放时间后，将该两个影像在所述显示部上并列设置并同时回放。
3.一种如权利要求1或权利要求2所述的监视终端装置，其特征在于，
还包括保存形式设定部，设置由所述的面部认证处理部所识别的所述两个影像是否以所述变更后的回放时间的形式保存在所述的存储部中。
4.一种如权利要求1或权利要求2所述的监视终端装置，其特征在于，
所述面部认证处理部，通过对所述读取部读取出的所述的入室影像以及所述的出室影像执行面部认证处理操作，来识别该入室影像中是否包含多个目标人员，并将含有多个目标人员的入室影像指定为多人员入室影像，将含有该多人员入室影像的多个目标人员中的至少一人的出室影像指定为关联出室影像，
在所述面部认证处理部指定的所述多人员入室影像以及所述关联出室影像的两个影像的实际时间的回放时间的差值超过阈值的情况下，所述回放控制部将所述的两个影像的回放时间变更为所述相同的回放时间后，将该两个影像在所述显示部上并列设置并同时回放。
5.一种如权利要求4所述的监视终端装置，其特征在于，
所述的面部认证处理部将含有所述多人员入室影像的多个目标人员中的所述关联出室影像的目标人员以外的目标人员，且摄像时间在所述关联出室影像之后的出室影像识别为后续关联出室影像，
在所述的显示部上显示所述的多人员入室影像以及所述的后续关联出室影像的情况下，对于在所述的多人员入室影像的多个目标人员中与所述的关联出室影像的目标人员相同的目标人员，所述的回放控制部以已经出室的状态显示在所述的显示部上。
6.一种如权利要求5所述的监视终端装置，其特征在于，
还包括操作部，用于输入对于所述的显示部界面的用户操作，
在用户操作所述的操作部，来选择所述的多人员入室影像的多个目标人员中的在所述的显示部上以已经出室的状态显示的其他的目标人员时，所述的回放控制部在切换为显示该其他的目标人员的出室影像的同时，将该切换后的该其他目标人员的出室影像和所述的多人员入室影像变更为相同的回放时间后在所述的显示部上并列设置并同时回放。
7.一种如权利要求1或权利要求2所述的监视终端装置，其特征在于，还包括：
入室人员面部认证信息登记部，所述的面部认证处理部基于所述的入室影像中的目标人员的图像信息，提取出该目标人员的面部识别信息，将所述的提取的该目标人员的面部识别信息作为验证源登记数据，在登录所述的存储部的验证源数据登记部的同时，与该入室影像相关联后存储在所述的存储部中，
出室人员面部认证信息识别部，用于识别基于所述的出室影像中的目标人员的图像信息所提取出的该目标人员的面部认证信息，与所述的验证源数据登记部中的验证源登录数据中的哪一个的面部认证信息相一致，并将识别为一致的面部认证信息与该出室影像进行相关联后存储在所述的存储部中，
所述的影像指定部将所述的入室影像和与该入室影像中的目标人员的面部认证信息相一致的面部认证信息相关联的出室影像，识别为相同的目标人员的入室影像以及出室影像。
8.一种监视系统，其特征在于，包括，
摄像装置，用于拍摄目标人员在出入室时的通过门的影像；
出入室检测装置，用于检测目标人员的入室以及出室；
监视终端装置，用于在显示部上显示由所述的摄像装置拍摄的目标人员的影像；
其中，所述的监视终端装置包括，存储部，用于存储由所述的摄像装置拍摄的影像；
通信部，用于接收所述的出入室检测装置发送来的输出信息；
影像指定部，将存储在所述的存储部中的且在所述的通信部从所述的出入室检测装置接收到的输出信息中所指定的目标人员的入室检测区间中的影像部分指定为入室影像，将存储在所述的存储部中的且在所述的通信部从所述的出入室检测装置接收到的输出信息中所指定的目标人员的出室检测区间中的影像部分指定为出室影像；
读取部，用于将所述的影像指定部所指定的所述的入室影像以及所述的出室影像从所述的存储部中读取出来；
面部认证处理部，通过对所述的读取部读取的所述的入室影像以及所述的出室影像执行面部认证处理操作，指定同一目标人员的入室影像以及出室影像的两个影像；
回放控制部，在所述的面部认证处理部所指定的所述的两个影像的实际时间中的回放时间的差值超过了阈值的情况下，将所述的两个影像的回放时间变更为相同的回放时间，并在所述的显示部上并列设置并同时回放该两个影像。
9.一种如权利要求8所述的监视系统，其特征在于，
所述的摄像装置包括用于拍摄目标人员从所述的门进入的入室影像的入室用摄像部，和用于拍摄目标人员从所述的门出去的出室影像的出室用摄像部，
所述的出入室检出装置，包括用于检测目标人员位于所述门的室外侧的位置的第一检测部，用于检测目标人员位于所述门的室内侧的位置的第二检测部，将所述的第一检测部的检测时间代表的第一检测时间信息和所述的第二检测部的检测时间代表的第二检测时间信息，作为所述的输出信息输出至所述的监视终端装置的所述通信部中，
所述的监视终端装置包括判定部，基于所述通信部接收的所述的第一检测时间信息以及所述的第二检测时间信息，判断目标人员的入室或者出室，
在所述的判定部确定为入室的情况下，所述的影像指定部将所述的入室用摄像部所拍摄的且存储在所述的存储部的影像中的，从代表所述的第一检测时间信息的检测时间开始，到代表所述的第二检测时间信息的检测时间结束的区间的影像部分指定为所述的入室影像，在所述的判定部确定为出室的情况下，所述的影像指定部将所述的出室用摄像部所拍摄的且存储在所述的存储部的影像中的，从代表所述的第二检测时间信息的检测时间开始到代表所述的第一检测时间信息的检测时间结束的区间的影像部分指定为所述的出室影像。
10.一种存储有监视显示控制程序的计算机可读非暂时性的存储介质，其特征在于，
存储有监视显示控制程序的计算机可读非暂时性的存储介质中，该监视显示控制程序通过该处理器对含有处理器的计算机执行该监视显示控制程序，发挥着如下的作用：
控制部，将目标人员在出入室时由摄像装置拍摄的通过门的影像存储在存储部中；
影像指定部，将存储在所述的存储部中的且从用于检测目标人员的入室以及出室的出入室检测装置发送来的输出信息中所指定的目标人员的入室检测区间中的影像部分指定为入室影像，将存储在所述的存储部中的且在从所述的出入室检测装置接收到的输出信息中所指定的目标人员的出室检测区间中的影像部分指定为出室影像；
读取部，用于将所述的影像指定部所指定的所述的入室影像以及所述的出室影像从所述的存储部中读取出来；
面部认证处理部，通过对所述的读取部读取的所述的入室影像以及所述的出室影像执行面部认证处理操作，指定同一目标人员的入室影像以及出室影像的两个影像；
回放控制部，在所述的面部认证处理部所指定的所述的两个影像的实际时间的回放时间的差值超过了阈值的情况下，将所述的两个影像的回放时间变更为相同的回放时间，并在所述的显示部上并列设置并同时回放该两个影像。
CN201811652952.6A 2018-01-12 2018-12-29 监视终端装置、监视系统、以及存储有监视显示控制程序的计算机可读非暂时性的存储介质 Active CN109905661B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-003800 2018-01-12
JP2018003800A JP7127284B2 (ja) 2018-01-12 2018-01-12 監視端末装置、監視システムおよび監視表示制御プログラム

Publications (2)

Publication Number Publication Date
CN109905661A true CN109905661A (zh) 2019-06-18
CN109905661B CN109905661B (zh) 2021-01-26

Family

ID=66943550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811652952.6A Active CN109905661B (zh) 2018-01-12 2018-12-29 监视终端装置、监视系统、以及存储有监视显示控制程序的计算机可读非暂时性的存储介质

Country Status (3)

Country Link
US (1) US10783761B2 (zh)
JP (1) JP7127284B2 (zh)
CN (1) CN109905661B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932810B (zh) * 2020-08-17 2021-11-16 宁波向往智汇科技有限公司 一种智能家居防盗控制系统及控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1418757A1 (en) * 2001-08-15 2004-05-12 Sony Corporation Content providing apparatus, content providing method, stream content reproduction program, and recording medium containing the stream content reproduction program
US20070126868A1 (en) * 2005-12-06 2007-06-07 Hitachi Kokusai Electric Inc. Image processing apparatus, image processing system, and recording medium for programs therefor
US20090244281A1 (en) * 2008-03-26 2009-10-01 Canon Kabushiki Kaisha Monitoring apparatus and display processing method for the monitoring apparatus
CN104104895A (zh) * 2013-04-09 2014-10-15 杭州海康威视数字技术股份有限公司 对视频数据进行录像回放的方法及硬盘录像机
CN104581043A (zh) * 2013-10-14 2015-04-29 三星泰科威株式会社 监视方法
CN107005682A (zh) * 2014-11-21 2017-08-01 株式会社Ｎｔｔ数据Ｓｍｓ 监视系统、监视方法以及程序

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4120378B2 (ja) * 2002-12-05 2008-07-16 カシオ計算機株式会社 監視システムおよびプログラム
JP4617286B2 (ja) * 2006-10-17 2011-01-19 中央電子株式会社 不正通過者検出装置及びこれを利用した不正通過者録画システム
US7787656B2 (en) * 2007-03-01 2010-08-31 Huper Laboratories Co., Ltd. Method for counting people passing through a gate

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1418757A1 (en) * 2001-08-15 2004-05-12 Sony Corporation Content providing apparatus, content providing method, stream content reproduction program, and recording medium containing the stream content reproduction program
US20070126868A1 (en) * 2005-12-06 2007-06-07 Hitachi Kokusai Electric Inc. Image processing apparatus, image processing system, and recording medium for programs therefor
US20090244281A1 (en) * 2008-03-26 2009-10-01 Canon Kabushiki Kaisha Monitoring apparatus and display processing method for the monitoring apparatus
CN104104895A (zh) * 2013-04-09 2014-10-15 杭州海康威视数字技术股份有限公司 对视频数据进行录像回放的方法及硬盘录像机
CN104581043A (zh) * 2013-10-14 2015-04-29 三星泰科威株式会社 监视方法
CN107005682A (zh) * 2014-11-21 2017-08-01 株式会社Ｎｔｔ数据Ｓｍｓ 监视系统、监视方法以及程序

Also Published As

Publication number Publication date
JP7127284B2 (ja) 2022-08-30
US20190221091A1 (en) 2019-07-18
JP2019125868A (ja) 2019-07-25
CN109905661B (zh) 2021-01-26
US10783761B2 (en) 2020-09-22

Similar Documents

Publication Publication Date Title
US11074436B1 (en) Method and apparatus for face recognition
CN111914635B (zh) 人体测温方法、装置、系统和电子设备
CN106127865B (zh) 检票方法和通道管理设备
CN109446981A (zh) 一种脸部活体检测、身份认证方法及装置
TWI270824B (en) Method for dynamically recognizing objects in an image based on diversities of object characteristics and system for using the same
CN107615050A (zh) 检测装置及检测方法
RU2020101280A (ru) Реализуемый компьютером способ и компьютерный программный продукт управления доступом к оконечному устройству
CN109035579A (zh) 一种商品识别方法、无人售货机及计算机可读存储介质
JP2014182480A (ja) 人物認識装置、及び方法
CN108961547A (zh) 一种商品识别方法、无人售货机及计算机可读存储介质
JP2013232181A (ja) 画像処理装置、画像処理方法
KR102196813B1 (ko) 열화상 카메라 및 실화상 카메라와 연동하여 출입자의 체온을 측정하는 전자 장치 및 그 동작 방법
CN101641715B (zh) 摄影装置、摄影方法以及摄影程序
US20090244281A1 (en) Monitoring apparatus and display processing method for the monitoring apparatus
CN110648352A (zh) 一种异常事件的检测方法、装置及电子设备
CN108830180A (zh) 电子考勤方法、装置及电子设备
CN107767397A (zh) 移动对象组检测装置和移动对象组检测方法
JP2002344946A (ja) 監視装置
CN112153373A (zh) 明厨亮灶设备的故障识别方法、装置及存储介质
Patel et al. Iot based facial recognition door access control home security system
JPWO2020115890A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN106127866B (zh) 检票方法和通道管理设备
CN107705317A (zh) 基于视觉跟踪识别的控制系统
JP5263609B2 (ja) 関連人物検索システム、関連人物検索方法及び関連人物検索用プログラム
CN109905661A (zh) 监视终端装置、监视系统、以及存储有监视显示控制程序的计算机可读非暂时性的存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant