JP2019125868A - 監視端末装置、監視システムおよび監視表示制御プログラム - Google Patents

監視端末装置、監視システムおよび監視表示制御プログラム Download PDF

Info

Publication number
JP2019125868A
JP2019125868A JP2018003800A JP2018003800A JP2019125868A JP 2019125868 A JP2019125868 A JP 2019125868A JP 2018003800 A JP2018003800 A JP 2018003800A JP 2018003800 A JP2018003800 A JP 2018003800A JP 2019125868 A JP2019125868 A JP 2019125868A
Authority
JP
Japan
Prior art keywords
video
unit
room
image
entry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018003800A
Other languages
English (en)
Other versions
JP7127284B2 (ja
Inventor
文弥 坂下
Fumiya Sakashita
文弥 坂下
洋一 平沼
Yoichi Hiranuma
洋一 平沼
翔一 坂口
Shoichi Sakaguchi
翔一 坂口
尚平 藤原
Shohei Fujiwara
尚平 藤原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Document Solutions Inc
Original Assignee
Kyocera Document Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Document Solutions Inc filed Critical Kyocera Document Solutions Inc
Priority to JP2018003800A priority Critical patent/JP7127284B2/ja
Priority to CN201811652952.6A priority patent/CN109905661B/zh
Priority to US16/237,992 priority patent/US10783761B2/en
Publication of JP2019125868A publication Critical patent/JP2019125868A/ja
Application granted granted Critical
Publication of JP7127284B2 publication Critical patent/JP7127284B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19665—Details related to the storage of video surveillance data
    • G08B13/19671—Addition of non-video data, i.e. metadata, to video stream
    • G08B13/19673—Addition of time stamp, i.e. time metadata, to video stream
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19691—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound
    • G08B13/19693—Signalling events for better perception by user, e.g. indicating alarms by making display brighter, adding text, creating a sound using multiple video sources viewed on a single or compound screen

Abstract

【課題】同一の対象者が撮像されている入室映像及び退室映像の再生時間が異なる場合であっても、両映像を見やすく表示でき、監視者の負担を低減する。【解決手段】監視端末装置１０は、記憶部１５に記憶された撮像装置３０の映像部分を対象者の入室映像及び退室映像として特定する映像特定部２３と、入室映像及び退室映像について顔認証処理を行うことにより、同一の対象者の入室映像及び退室映像の両映像を特定する顔認証処理部２８と、両映像の実時間である再生時間の差が閾値を超える場合に、両映像の再生時間を同一の再生時間に変更して当該両映像を表示部１２に並列に配置して同時再生させる再生制御部２５と、を備える。【選択図】図１

Description

本発明は、監視端末装置、監視システム及び監視表示制御プログラムに関し、特に、対象者の入室映像及び退室映像を表示部に並列に配置して同時に再生させるための技術に関する。
建物への対象者の入退を監視する監視システムとしては、建物の出入口に設置された撮像装置が撮像した映像を表示部に表示させるものがある。監視者は、表示部に表示される映像を目視し、異常等が発生しているか否かを確認する。ところで、監視者が対象者の退室映像を目視する際に、当該対象者の入室映像と見比べたい場合がある。この場合には、監視者が、対象者の入室映像を記憶部に記憶された映像データ中から検索して表示させる必要があり、その操作が煩わしいという問題があった。
特許文献１の監視システムは、対象者が所持するＩＤカードの識別情報を入退室時において読み取る識別情報読取部と、読み取った識別情報と入室映像とを関連付けて記憶する記憶部と、対象者の退室時に読み取った識別情報に基づいて当該対象者の入室映像を記憶部から取得し、この記憶部から取得した入室映像と、当該対象者の退室時に撮像された退室映像とを、表示部に並列に配置して再生させる制御部とを備える。これにより、監視者が過去の入室映像を検索する等の操作をする必要がなく、対象者の入室映像と退室映像とが表示部に並列に配置して再生され、監視者が入室映像と退室映像とを見比べている。
特開２００９−２３９４６７号公報
しかしながら、特許文献１では、退室映像と入室映像とを表示部に並列に配置して再生されるが、退室映像及び入室映像の再生時間（長さ）が大きく異なる場合には、両映像のうちの一方の映像の再生が終了し、他方の映像のみ再生が継続されることになり、両映像を見比べられない或いは見比べにくいことがあり、監視者に負担をかけるという問題がある。
本発明は、上記の事情に鑑みなされたものであり、同一の対象者が撮像されている入室映像及び退室映像の再生時間が異なる場合であっても、両映像を見やすく表示することができ、監視者の負担を低減することを目的とする。
本発明の一局面にかかる監視端末装置は、撮像装置によって撮像された、対象者が入退室する際に通過するゲートの映像を記憶する記憶部と、対象者の入室及び退室を検出する入退室検出装置からの出力情報を受信する通信部と、前記通信部が受信した前記入退室検出装置からの出力情報で特定される対象者の入室検出区間における前記記憶部に記憶された映像部分を入室映像として特定し、前記通信部が受信した前記入退室検出装置から送信される出力情報で特定される対象者の退室検出区間における前記記憶部に記憶された映像部分を退室映像として特定する映像特定部と、前記映像特定部によって特定された前記入室映像及び前記退室映像を前記記憶部から読み出す読み出し部と、前記読み出し部によって読み出された前記入室映像及び前記退室映像について顔認証処理を行うことにより、同一の対象者の入室映像及び退室映像の両映像を特定する顔認証処理部と、前記顔認証処理部によって特定された前記両映像の実時間である再生時間の差が閾値を超える場合に、前記両映像の再生時間を同一の再生時間に変更して当該両映像を表示部に並列に配置して同時再生させる再生制御部と、を備えるものである。
また、本発明の別の一局面にかかる監視システムは、対象者が入退室する際に通過するゲートを撮像する撮像装置と、対象者の入室及び退室を検出する入退室検出装置と、前記撮像装置によって撮像された対象者の映像を表示部に表示させる監視端末装置と、を備える監視システムであって、前記監視端末装置は、前記撮像装置によって撮像した映像を記憶する記憶部と、前記入退室検出装置からの出力情報を受信する通信部と、前記通信部が受信した前記入退室検出装置からの出力情報で特定される対象者の入室検出区間における前記記憶部に記憶された映像部分を入室映像として特定し、前記通信部が受信した前記入退室検出装置から送信される出力情報で特定される対象者の退室検出区間における前記記憶部に記憶された映像部分を退室映像として特定する映像特定部と、前記映像特定部によって特定された前記入室映像及び前記退室映像を前記記憶部から読み出す読み出し部と、前記読み出し部によって読み出された前記入室映像及び前記退室映像について顔認証処理を行うことにより、同一の対象者の入室映像及び退室映像の両映像を特定する顔認証処理部と、前記顔認証処理部によって特定された前記両映像の実時間である再生時間の差が閾値を超える場合に、前記両映像の再生時間を同一の再生時間に変更して当該両映像を表示部に並列に配置して同時再生させる再生制御部と、を備えるものである。
また、本発明の別の一局面にかかる監視表示制御プログラムは、コンピューターを、撮像装置によって撮像された、対象者が入退室する際に通過するゲートの映像を記憶部に記憶させる制御部と、対象者の入室及び退室を検出する入退室検出装置からの出力情報で特定される対象者の入室検出区間における前記記憶部に記憶された映像部分を入室映像として特定し、前記通信部が受信した前記入退室検出装置から送信される出力情報で特定される対象者の退室検出区間における前記記憶部に記憶された映像部分を退室映像として特定する映像特定部と、前記映像特定部によって特定された前記入室映像及び前記退室映像を前記記憶部から読み出す読み出し部と、前記読み出し部によって読み出された前記入室映像及び前記退室映像について顔認証処理を行うことにより、同一の対象者の入室映像及び退室映像の両映像を特定する顔認証処理部と、前記顔認証処理部によって特定された前記両映像の実時間である再生時間の差が閾値を超える場合に、前記両映像の再生時間を同一の再生時間に変更して当該両映像を表示部に並列に配置して同時再生させる再生制御部として機能させるものである。
本発明によれば、同一の対象者が撮像されている入室映像及び退室映像の再生時間が異なる場合であっても、両映像の再生時間が同一に調整されて再生されるので、両映像の目視確認期間を等しく確保することができ、両映像を見やすく表示することができ、監視者の負担を低減することができる。
本発明の一実施形態にかかる監視システムの構成を示すブロック図である。 本実施形態の監視システムの監視位置の一例を示す図である。 対象者の入退室履歴と映像インデックスなどの管理情報を記憶する管理情報記憶テーブルの一例を示す図である。 監視端末装置の表示部に入室映像と退室映像とを並列に配置して同時再生させる並列再生処理を示すフローチャートである。 監視端末装置での入室管理情報処理を示すフローチャートである。 監視端末装置での退室管理情報処理を示すフローチャートである。 同一の対象者の入室映像と退室映像とを並列に配置して同時再生する一例を示す図であって、対象者が荷物を持っていない場合を示す図である。 同一の対象者の入室映像と退室映像とを並列に配置して同時再生する一例を示す図であって、退室映像の対象者が荷物を持っている場合を示す図である。 ４人が同時に入室した入室映像とそのうちの２人が同時に退室した退室映像とを並列に配置して同時再生する一例を示す図であって、退室映像の対象者が荷物を持っている場合を示す図である。 ４人が同時に入室した入室映像とその４人のうちの最後に退室した退室者の退室映像とを並列に配置して同時再生する一例を示す図である。 ３人同時の入室映像と各人が別々のゲートから退室した退室映像とを並列に配置して同時再生する一例を示す図である。
以下、本発明の実施形態にかかる監視システム及び監視端末装置について図面を参照して詳細に説明する。
図１は、本発明の監視システムの構成を示すブロック図である。図２は、本実施形態の監視システムの監視位置の一例を示す図である。
本実施形態の監視システム１００は、店、施設等の建物への対象者の入退室を監視するシステムであって、監視端末装置１０と、撮像装置３０と、入退室検出装置４０とを備える。なお、撮像装置３０及び入退室検出装置４０は、ネットワーク５０を介して監視端末装置１０に接続されている。本実施形態の監視システム１００は、例えば店の３箇所に設けられた自動ドアなどの出入口であるゲートＧ１〜Ｇ３に対する対象者の入退室を監視する。
図２に示すように、店の各ゲートＧ１〜Ｇ３には、撮像装置３０及び入退室検出装置４０がそれぞれ配置されている。ここでは、ゲートＧ１の撮像装置３０及び入退室検出装置４０について説明し、ゲートＧ２、Ｇ３の撮像装置３０及び入退室検出装置４０については、基本的にゲートＧ１と同様の構成であるため、ゲートＧ１の構成と異なる点について適宜に説明する。
ゲートＧ１の撮像装置３０は、対象者が入退室する際に通過するゲートＧ１を撮像する監視カメラとして、対象者がゲートＧ１から入る入室映像を撮像する入室用撮像部３１と、対象者がゲートＧ１から出る退室映像を撮像する退室用撮像部３２とを備える。また、ゲートＧ１の撮像装置３０は、入室用撮像部３１で撮像した映像及び退室用撮像部３２で撮像した映像を監視端末装置１０に送信する通信部３３を備える。通信部３３は、不図示のＬＡＮチップなどの通信モジュールを備える通信インターフェイスである。ゲートＧ１の入室用撮像部３１には、監視端末装置１０においてゲートＧ１の入室用撮像部３１からの映像であることを識別するための識別情報Ｃ１が付与されている。ゲートＧ１の退室用撮像部３２にも、監視端末装置１０においてゲートＧ１の退室用撮像部３２からの映像であることを識別するための識別情報Ｃ２が付与されている。これと同様に、ゲートＧ２、Ｇ３の入室用撮像部３１及び退室用撮像部３２についても、識別情報Ｃ３〜Ｃ６がそれぞれ付与されている。
ゲートＧ１の入室用撮像部３１及び退室用撮像部３２は、ＲＴＣ（リアルタイムクロック）を備えている。ゲートＧ１の入室用撮像部３１は、撮像した映像に対して、ＲＴＣの撮影時刻（タイムコード）と、識別情報Ｃ１とを関連付けた映像データを通信部３３に出力する。ゲートＧ１の退室用撮像部３２は、撮像した映像に対して、ＲＴＣの撮影時刻（タイムコード）と、識別情報Ｃ２とを関連付けた映像データを通信部３３に出力する。通信部３３は、入室用撮像部３１及び退室用撮像部３２からの各映像データを、ネットワーク５０を通じて監視端末装置１０に送信する。
ゲートＧ１の入退室検出装置４０は、ゲートＧ１における対象者の入室及び退室を検出する。具体的には、ゲートＧ１の入退室検出装置４０は、ゲートＧ１よりも室外側の位置Ｐ１に対象者が位置することを検出する扉外赤外線センサー４１（第１検出部）と、ゲートＧ１よりも室内側の位置Ｐ２に対象者が位置することを検出する扉内赤外線センサー４２（第２検出部）と、扉外赤外線センサー４１及び扉内赤外線センサー４２の各検出時刻を示す検出時刻情報を含む出力情報を監視端末装置１０に送信する通信部４３とを備える。通信部４３は、不図示のＬＡＮチップなどの通信モジュールを備える通信インターフェイスである。ゲートＧ１の扉外赤外線センサー４１には、監視端末装置１０においてゲートＧ１の扉外赤外線センサー４１からの検出時刻情報であることを識別するための識別情報Ｔ１が付与されている。ゲートＧ１の扉内赤外線センサー４２にも、監視端末装置１０においてゲートＧ１の扉内赤外線センサー４２からの検出時刻情報であることを識別するための識別情報Ｔ２が付与されている。これと同様に、ゲートＧ２、Ｇ３の扉外赤外線センサー４１及び扉内赤外線センサー４２についても、識別情報Ｔ３〜Ｔ６がそれぞれ付与されている。
ゲートＧ１の通信部４３は、ＲＴＣを備えており、扉外赤外線センサー４１及び扉内赤外線センサー４２からの検出信号を受信したときの各時刻をＲＴＣに基づいて特定し、扉外赤外線センサー４１での検出時刻を示す第１検出時刻情報と識別情報Ｔ１とを関連付け、扉内赤外線センサー４２での検出時刻を示す第２検出時刻情報と識別情報Ｔ２とを関連付けて構成される一組のデータである出力情報を、ネットワーク５０を通じて監視端末装置１０に送信する。
ネットワーク５０は、監視端末装置１０と撮像装置３０及び入退室検出装置４０との通信が可能なネットワークであり、例えば無線ＬＡＮ（Local Area Network）としている。なお、ネットワーク５０は、有線ＬＡＮ、ＴＣＰ／ＩＰネットワークなどであってもよい。
監視端末装置１０は、表示部１２と、タッチパネル１３と、通信部１４と、記憶部１５と、制御ユニット２０とを備える。これらの構成要素は、互いにバスを通じてデータ又は信号の送受信が可能とされている。
表示部１２は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（ＯＬＥＤ：Organic Light-Emitting Diode）などから構成される。
タッチパネル１３は、所謂抵抗膜方式や静電容量方式等のタッチパネルである。タッチパネル１３は、表示部１２の画面に配置され、表示部１２の画面に対する指などの接触をその接触位置と共に検知する。タッチパネル１３は、指などの接触を検知すると、その接触位置の座標を示す検知信号を制御ユニット２０の制御部２１などに出力する。従って、タッチパネル１３は、表示部１２の画面に対するユーザー操作が入力される操作部としての役割を果たす。
また、監視端末装置１０は、ユーザー操作が入力される操作部として、タッチパネル１３に加えてハードキーを備えてもよい。
通信部１４は、不図示のＬＡＮチップなどの通信モジュールを備える通信インターフェイスである。通信部１４は、撮像装置３０によって撮像されたゲートの映像の映像データを受信する機能と、対象者の入室及び退室を検出する入退室検出装置４０からの出力情報を受信する機能とを有する。
記憶部１５は、大容量のＳＳＤ（Solid State Drive）、ＨＤＤ（Hard Disk Drive）などからなり、各種のデータやプログラムを記憶している。また、記憶部１５は、撮像装置３０によって撮像されたゲートの映像の映像データを通信部１４が受信し、この通信部１４が受信した映像データを記憶する。本実施形態では、記憶部１５は、通常記憶エリアと特定記憶エリアとを有し、撮像装置３０から送信される映像データを通常記憶エリアに一旦記憶し、この通常記憶エリアに記憶された映像データのうち、対象者の入室映像及び退室映像の映像データを特定記憶エリアに記憶し、通常記憶エリアを定期的（一月又は一年等）又はユーザーからの指示に応じて消去可能な構成である。なお、記憶部１５は、特定記憶エリアを有さず、事後的に通常記憶エリアにおいて対象者の入室映像及び退室映像の映像データのみを残す構成としてもよい。また、記憶部１５は、図２に示す各ゲートＧ１〜Ｇ３と識別情報Ｔ１〜Ｔ６及び識別情報Ｃ１〜Ｃ６との対応関係情報が予め記憶された対応関係情報テーブルと、後述する図３に示す管理情報記憶テーブルとを備えている。
制御ユニット２０は、プロセッサー、ＲＡＭ(Random Access Memory）、及びＲＯＭ（Read Only Memory）などから構成される。プロセッサーは、ＣＰＵ（Central Processing Unit）、ＭＰＵ(Micro-Processing Unit）、又はＡＳＩＣ（Application Specific Integrated Circuit）等である。この制御ユニット２０は、上記のＲＯＭ又は記憶部１５に記憶された制御プログラムが上記プロセッサーで実行されることにより、制御部２１、通信制御部２２、映像特定部２３、読み出し部２４、再生制御部２５、判定部２６、ゲート通過時間算出部２７、顔認証処理部２８、保存形式設定部２９及び映像判定部６０として機能する。なお、制御ユニット２０の上記の各構成要素は、前述の制御プログラムに基づく動作によらず、それぞれハード回路により構成されてもよい。
制御部２１は、監視端末装置１０の全体的な動作制御を司る。また、制御部２１は、表示部１２、タッチパネル１３、通信部１４、および記憶部１５などと接続されており、上記各構成要素の動作制御や、各構成要素との間での信号またはデータの送受信を行う。
通信制御部２２は、通信部１４の通信動作を制御する。通信制御部２２は、通信部１４が受信した撮像装置３０からの映像データを記憶部１５の通常記憶エリアに記憶させるとともに、入退室検出装置４０からの出力情報を記憶部１５の管理情報記憶テーブル（図３）に記憶させる。
判定部２６は、通信部１４が受信した入退室検出装置４０からの出力情報（つまり、識別情報Ｔ１付きの第１検出時刻情報と、識別情報Ｔ２付きの第２検出時刻情報）に基づいて、対象者の入室又は退室を判定する。具体的には、判定部２６は、当該識別情報Ｔ１、Ｔ２に基づいてゲートＧ１の情報であると判定し、更に、識別情報Ｔ１付きの第１検出時刻情報と、識別情報Ｔ２付きの第２検出時刻情報との時間関係に基づいて、ゲートＧ１の入室又は退室の何れであるかを判定する。第１検出時刻情報が示す扉外赤外線センサー４１での検出時刻の方が、第２検出時刻情報が示す扉内赤外線センサー４２での検出時刻よりも早い場合には入室と判定し、その逆の場合には退室と判定する。また、他のゲートＧ２、Ｇ３の場合も上記のゲートＧ１の場合と同様に判定する。
映像特定部２３は、撮像装置３０が撮像して記憶部１５に記憶された映像のうち、通信部１４が受信した入退室検出装置４０からの出力情報で特定される対象者の入室検出区間における映像部分を入室映像として特定し、撮像装置３０が撮像して記憶部１５に記憶された映像のうち、通信部１４が受信した入退室検出装置４０からの出力情報で特定される対象者の退室検出区間における映像部分を退室映像として特定する。
例えば、映像特定部２３は、判定部２６において例えばゲートＧ１の入室と判定された場合に、ゲートＧ１の入室用撮像部３１が撮像して記憶部１５に記憶された映像のうち、第１検出時刻情報が示す扉外赤外線センサー４１での検出時刻から第２検出時刻情報が示す扉内赤外線センサー４２での検出時刻までの入室検出区間の映像部分を入室映像として特定する。また、映像特定部２３は、判定部２６において例えばゲートＧ１の退室と判定された場合に、ゲートＧ１の退室用撮像部３２が撮像して記憶部１５に記憶された映像のうち、第２検出時刻情報が示す扉内赤外線センサー４２での検出時刻から第１検出時刻情報が示す扉外赤外線センサー４１での検出時刻までの退出検出区間の映像部分を退室映像として特定する。なお、他のゲートＧ２、Ｇ３の入室映像及び退室映像についても、前記ゲートＧ１の場合と同様に特定される。
ゲート通過時間算出部２７は、第１検出時刻情報と第２検出時刻情報とに基づいて、対象者の入室時及び退室時のゲート通過時間を算出する。すなわち、第１検出時刻情報が示す扉外赤外線センサー４１での検出時刻と、第２検出時刻情報が示す扉内赤外線センサー４２での検出時刻との差の時間が、ゲート通過時間となる。
読み出し部２４は、映像特定部２３によって特定された入室映像及び退室映像を記憶部１５から読み出す機能を有する。例えば、読み出し部２４は、後述する図３に示す管理情報記憶テーブルの検出時刻、入室・退室フラグ、ゲート、映像インデックス及びゲート通過時間に基づいて特定される入室映像及び退室映像を記憶部１５から読み出す。
顔認証処理部２８は、読み出し部２４によって読み出された入室映像及び退室映像について顔認証処理を行うことにより、同一の対象者の入室映像及び退室映像の両映像を特定する機能を有する。顔認証処理は、入室映像及び退室映像中に含まれる対象者の顔の画像データから特徴を抽出し、あらかじめ保存されたデータと照合することで対象者を特定する既存の画像認識処理のことである。
具体的には、顔認証処理部２８は、入室者顔認証情報登録部２８１と退室者顔認証情報特定部２８２とを備える。
入室者顔認証情報登録部２８１は、読み出し部２４によって読み出された入室映像中の対象者の画像情報に基づいて当該対象者の顔認証情報（例えば、対象者の画像の中から顔領域が決定され、この顔領域における目・鼻・口などの顔の特徴点を示す情報等）を抽出し、この抽出した当該対象者の顔認証情報及び当該顔認証情報の顔検出者を示す番号であって昇順に番号付与される検出者番号を、照合元登録データとして記憶部１５の照合元データ登録部１５１に登録するとともに、当該顔検出者番号を入室映像に関連付けて記憶部１５に記憶させる。例えば、図３に示す管理情報記憶テーブルの管理番号「１」の場合には、「顔検出者番号」の項目に「Ｐ００１」と記憶される。
退室者顔認証情報特定部２８２は、退室映像中の対象者の画像情報に基づいて抽出した当該対象者の顔認証情報が、照合元データ登録部１５１の照合元登録データの何れの顔認証情報と一致するかを特定し、一致が特定された顔認証情報の顔検出者番号と同一の顔検出者番号を退室映像に関連付けて記憶部１５に記憶させる。例えば、図３に示す管理情報記憶テーブルの管理番号「３」の場合には、「顔検出者番号」の項目に「Ｐ００１」と記憶される。
顔認証処理部２８は、入室映像の顔検出者番号と、退室映像の顔検出者番号とが一致する当該入室映像及び当該退室映像を、同一の対象者の入室映像及び退室映像として特定する。顔認証処理部２８は、この特定した入室映像及び退室映像を記憶部１５の特定記憶エリアに記憶させる。
なお、本実施形態では、顔認証処理部２８を設けているが、顔認証だけでなく、既存技術の人物認証の機能も追加した認証処理部としてもよい。この場合には、対象者の顔認証に加えて、対象者の体形、服装などの人物認証が行われるため、対象者を特定する精度が更に向上する。
映像判定部６０は、顔認証処理部２８によって特定された前記両映像のうちの少なくとも一方に特定の映像内容（本実施形態では、後述する図８等に示す荷物の画像Ｂ）を含むか否かを画像解析処理により判定する。なお、本実施形態では、特定の映像内容は荷物の画像Ｂとしているが、荷物の画像Ｂに限らず、例えば、所定の役職にある者などの画像、挙動不審な動きの映像などを用いるようにしてもよい。
再生制御部２５は、表示部１２の表示動作を制御する。例えば、再生制御部２５は、顔認証処理部２８によって特定された同一の対象者の入室映像及び退室映像の両映像を表示部１２の画面に並列に配置して同時再生させる制御を行う。更に、再生制御部２５は、同一の対象者の入室映像及び退室映像の両映像の実時間である再生時間（例えば、等倍で再生した時間）の差が閾値を超える場合に、前記両映像の再生時間を同一の再生時間に変更して当該両映像を表示部１２に並列に配置して同時再生させる。
更に、再生制御部２５は、映像判定部６０が特定の映像内容（荷物の画像）を含まないと判定した場合に、両映像の再生時間を同一の第１再生時間（例えば７秒）に変更して当該両映像を表示部１２に並列に配置して同時再生させ（図７）、映像判定部６０が特定の映像内容（荷物の画像）を含むと判定した場合に、両映像の再生時間を同一であって第１再生時間（例えば７秒）よりも長い第２再生時間（例えば９秒）に変更して当該両映像を表示部１２に並列に配置して同時再生させる（図８）。
保存形式設定部２９は、映像データの保存形式を設定する。例えば、保存形式設定部２９は、顔認証処理部２８によって特定された同一の対象者の入室映像及び退室映像の両映像を、変更後の再生時間の形式で記憶部１５の特定記憶エリアに保存させるか否を設定する。本実施形態では、保存形式設定部２９は変更後の再生時間の形式で保存させる設定としている。この設定は、ユーザーからの指示に応じて変更可能である。
ところで、制御ユニット２０は、記憶部１５に記憶された撮像装置３０の映像データと入退室検出装置４０からの出力情報とに基づいて、対象者の入退室履歴と映像インデックスなどの管理情報を記憶部１５の管理情報記憶テーブルに記憶させる。図３に示す管理情報記憶テーブルには、管理番号、各検出時刻、入室・退室フラグ、ゲートの種別、映像インデックス、ゲート通過時間、顔検出者番号からなる管理情報が記憶される。管理情報の記憶は、後述する図４に示す並列再生処理における各検出時刻の記憶（Ｓ１０２）、入室管理情報処理（Ｓ１０４）及び退室管理情報処理（Ｓ１０５）において行われる。
次に、本実施形態の監視端末装置１０が実行する並列再生処理（表示部１２に入室映像と退室映像とを並列再生させる処理）を、図４に示すフローチャートなどを参照して説明する。
まず、監視端末装置１０の通信制御部２２は、通信部１４が入退室検出装置４０からの出力情報を受信したか否かを判定する（Ｓ１０１）。通信制御部２２は、通信部１４が出力情報を受信した場合（Ｓ１０１「Ｙｅｓ」）、この出力情報（第１検出時刻情報及び第２検出時刻情報を含む）を管理情報として管理情報記憶テーブルに記憶させる（Ｓ１０２）。例えば、通信制御部２２は、図３に示す管理情報記憶テーブルの管理番号「１」の「各検出時刻」の項目に、識別情報Ｔ１付きの第１検出時刻情報が示す扉外赤外線センサー４１での検出時刻と、識別情報Ｔ２付きの第２検出時刻情報が示す扉内赤外線センサー４２での検出時刻とを時刻の早い順に記憶させる。ここでは管理番号「１」の「各検出時刻」の項目に、「Ｔ１：０８時３０分１２秒，Ｔ２：０８時３０分２２秒」と記憶されている。本実施形態での検出時刻は２４時間表記となっている。一方、出力情報を受信していない場合には（Ｓ１０１「Ｎｏ」）、本処理を終了する。
出力情報が管理情報として記憶（Ｓ１０２）された後、判定部２６は、入室か否かを検出する（Ｓ１０３）。具体的には、判定部２６は、出力情報に含まれる識別情報Ｔ１付きの第１検出時刻情報及び識別情報Ｔ２付きの第２検出時刻情報（図３に示す管理情報記憶テーブルに記憶した各検出時刻）に基づいて、対象者の入室又は退室を判定する。例えば、管理番号「１」の場合には、識別情報Ｔ１付きの第１検出時刻情報が示す扉外赤外線センサー４１での検出時刻「０８時３０分１２秒」の方が、識別情報Ｔ２付きの第２検出時刻情報が示す扉内赤外線センサー４２での検出時刻「０８時３０分２２秒」よりも早いので、判定部２６は「入室」と判定する。制御部２１は、判定部２６が「入室」と判定した場合に（Ｓ１０３「Ｙｅｓ」）、入室管理情報処理を実行する（Ｓ１０４）。
図５に入室管理情報処理を示す。入室管理情報処理では、制御部２１は、前記Ｓ１０３において判定部２６が判定した「入室」を入室・退室フラグとして管理情報記憶テーブルに記憶させる（Ｓ２０１）。例えば、図３に示す管理情報記憶テーブルの管理番号「１」の入室・退室フラグの項目に「入室」と記憶させる。
判定部２６は、記憶部１５の対応関係情報テーブルに記憶された対応関係情報（図２に示す各ゲートＧ１〜Ｇ３と識別情報Ｔ１〜Ｔ６との対応関係を示す情報）に基づいて、出力情報に含まれる識別情報Ｔ１、Ｔ２に対応するゲートＧ１を特定する。制御部２１は、例えば、図３に示す管理情報記憶テーブルの管理番号「１」の場合には、この管理番号「１」の「ゲート」の項目に「Ｇ１」と記憶させる（Ｓ２０２）。
映像特定部２３は、管理情報記憶テーブルの「ゲート」、「入室・退室フラグ」及び「各検出時刻」の項目に基づいて、映像インデックスを記憶させる（Ｓ２０３）。例えば、映像特定部２３は、管理番号「１」の場合には、「ゲート」及び「入室・退室フラグ」がそれぞれゲートＧ１及び入室であることに基づいて、これに対応する識別情報Ｃ１の入室用撮像部３１を特定し、この識別情報Ｃ１と、扉外赤外線センサー４１での検出時刻「０８時３０分１２秒」とを対応付けた「Ｃ１：０８時３０分１２秒」を映像インデックスの項目に記憶させる。この映像インデックスは、識別情報Ｃ１の入室用撮像部３１により撮像された対象者の入室映像の開始時刻であることを示す。
ゲート通過時間算出部２７は、第１検出時刻情報と第２検出時刻情報とに基づいて、対象者の入室時のゲート通過時間を算出する。ゲート通過時間算出部２７は、例えば図３に示す管理番号「１」の場合には、識別情報Ｔ１付きの第１検出時刻情報が示す扉外赤外線センサー４１での検出時刻「０８時３０分１２秒」と、識別情報Ｔ２付きの第２検出時刻情報が示す扉内赤外線センサー４２での検出時刻「０８時３０分２２秒」との差の時間（ここでは１０秒）であるゲート通過時間を算出する（Ｓ２０４）。ゲート通過時間算出部２７は、算出した「１０秒」を、図３に示す管理情報記憶テーブルの管理番号「１」の「ゲート通過時間」の項目に記憶させる（Ｓ２０４）。
顔認証処理部２８の入室者顔認証情報登録部２８１は、映像特定部２３が映像インデックス及びゲート通過時間とで特定した入室映像（つまり、識別情報Ｃ１の入室用撮像部３１が撮像した映像のうちの時刻「０８時３０分２２秒」からゲート通過時間（１０秒）後までの映像部分である入室映像）中の対象者の画像から、当該対象者の顔認証情報を抽出する。そして、入室者顔認証情報登録部２８１は、抽出した顔認証情報及び当該顔認証情報の顔検出者を示す番号であって昇順に番号付与される顔検出者番号を照合元登録データとして記憶部１５の照合元データ登録部１５１に登録するとともに、当該顔検出者番号を入室映像に関連付けて記憶部１５に記憶させる（Ｓ２０５）。すなわち、入室者顔認証情報登録部２８１は、顔認証情報の顔検出者としてｎ番目である場合には顔検出者番号Ｐｎ（例えば、図３に示す管理情報記憶テーブルの管理番号「１」では、顔認証情報の顔検出者として１番目であるため、顔検出者番号Ｐ００１となる）を、図３に示す管理情報記憶テーブルの管理番号「１」の「顔検出者番号」の項目に記憶させる。そして、本処理を終了する。
図４に戻って、判定部２６が「退室」と判定する場合（Ｓ１０３「Ｎｏ」）について説明する。ここでは、例えば図３に示す管理番号「３」の「退室」を例に挙げて説明する。
判定部２６は、図３に示す管理番号「３」の「各検出時刻」における、識別情報Ｔ２付きの第２検出時刻情報が示す扉内赤外線センサー４２での検出時刻「０８時４０分２５秒」の方が、識別情報Ｔ１付きの第１検出時刻情報が示す扉外赤外線センサー４１での検出時刻「０８時４０分３０秒」よりも早いので、「退室」と判定（Ｓ１０３「Ｎｏ」）する。制御部２１は、退室管理情報処理を実行する（Ｓ１０５）。
図６に退室管理情報処理を示す。この退室管理情報処理では、制御部２１は、前記Ｓ１０３において判定部２６が判定した「退室」を管理情報記憶テーブル（図３）の入室・退室フラグの項目に記憶させる（Ｓ３０１）。そして、判定部２６は、出力情報に含まれる識別情報Ｔ１、Ｔ２、つまり、管理情報記憶テーブルに記憶した各検出時刻の識別情報Ｔ１、Ｔ２に対応するゲートＧ１を特定する。制御部２１は、図３に示す管理情報記憶テーブルの管理番号「３」の「ゲート」の項目に、「Ｇ１」と記憶させる（Ｓ３０２）。
映像特定部２３は、管理情報記憶テーブルに記憶させた「ゲート」、「入室・退室フラグ」及び「各検出時刻」の項目に基づいて、映像インデックスを記憶させる（Ｓ３０３）。例えば、映像特定部２３は、管理番号「３」の場合には、「ゲート」及び「入室・退室フラグ」がそれぞれゲートＧ１及び退室であることに基づいて、これに対応する識別情報Ｃ２の退室用撮像部３２を特定し、この識別情報Ｃ２と、扉内赤外線センサー４２での検出時刻「０８時４０分２５秒」とを対応付けた「Ｃ２：０８時４０分２５秒」を映像インデックスの項目に記憶させる。この映像インデックスは、識別情報Ｃ２の退室用撮像部３２により撮像された対象者の退室映像の開始時刻であることを示す。
ゲート通過時間算出部２７は、第１検出時刻情報と第２検出時刻情報とに基づいて、対象者の退室時のゲート通過時間を算出する。ゲート通過時間算出部２７は、図３に示す管理番号「３」の場合には、識別情報Ｔ２付きの第２検出時刻情報が示す扉内赤外線センサー４２での検出時刻「０８時４０分２５秒」と、識別情報Ｔ１付きの第１検出時刻情報が示す扉外赤外線センサー４１での検出時刻「０８時４０分３０秒」との差の時間（ここでは５秒）であるゲート通過時間を算出する（Ｓ３０４）。ゲート通過時間算出部２７は、算出した「５秒」を、図３に示す管理情報記憶テーブルの管理番号「３」の「ゲート通過時間」の項目に記憶させる。
顔認証処理部２８の退室者顔認証情報特定部２８２は、映像特定部２３が映像インデックス及びゲート通過時間とで特定した退室映像（つまり、識別情報Ｃ２の退室用撮像部３２が撮像した映像のうちの時刻「０８時４０分２５秒」からゲート通過時間（５秒）後までの映像部分である退室映像）中の対象者の画像から、当該対象者の顔認証情報を抽出する。そして、退室者顔認証情報特定部２８２は、この抽出した顔認証情報が、照合元データ登録部１５１の照合元登録データの何れの顔認証情報と一致するかを特定し、一致が特定された顔認証情報の顔検出者番号（ここでは、図３に示す管理番号「１」の顔検出者番号Ｐ００１）と同一の顔検出者番号Ｐ００１を退室映像に関連付けて記憶部１５に記憶させる（Ｓ３０５）。すなわち、図３に示す管理情報記憶テーブルの管理番号「１」の顔検出者番号Ｐ００１と同じ顔検出者番号Ｐ００１が、管理番号「３」の「顔検出者番号」の項目に記憶される。
そして、顔認証処理部２８は、図３に示す管理情報記憶テーブルの「顔検出者番号」の項目が一致する、同一の対象者の入室映像及び退室映像（つまり、顔検出者番号Ｐ００１で一致する、管理番号「１」の入室映像及び管理番号「３」の退室映像）を特定し、この特定した入室映像及び退室映像を記憶部１５の特定記憶エリアに記憶させる（Ｓ３０６）。そして、本処理を終了する。
図４に戻って、再生制御部２５は、同一の対象者の入退室時のゲート通過時間の差が閾値（例えば５秒）以上であるか否かを判定する（Ｓ１０６）。例えば、図３に示す管理情報記憶テーブルの管理番号「１」及び「３」が同一の対象者（顔検出者番号がＰ００１で共通）の入室映像及び退室映像であり、管理番号「１」の入室時のゲート通過時間が１０秒であり、管理番号「３」の退室時のゲート通過時間が５秒であり、両者の差が閾値（例えば５秒）以上であると判定される。
再生制御部２５が閾値（例えば５秒）以上であると判定した場合（Ｓ１０６「Ｙｅｓ」）、映像判定部６０は、顔認証処理部２８が特定した同一の対象者の入室映像及び退室映像のうちの退室映像に特定の映像内容（本実施形態では荷物の画像Ｂとする）が含まれるか否かを画像解析処理により判定する（Ｓ１０７）。映像判定部６０が退室映像に特定の映像内容が含まれると判定した場合（Ｓ１０７「Ｙｅｓ」）、再生制御部２５は、同一の対象者の入室映像及び退室映像（例えば、顔検出者番号Ｐ００１で一致する、管理番号「１」の入室映像及び管理番号「３」の退室映像）の両映像の再生時間を、対象者が荷物を持っている場合の第２再生時間（例えば９秒）に変更する（Ｓ１０８）。一方、再生制御部２５は、映像判定部６０が退室映像特定の映像内容（荷物の画像）が含まれないと判定した場合（Ｓ１０７「Ｎｏ」）、上記両映像の再生時間を、対象者が荷物を持っていない場合の第１再生時間（例えば７秒）に変更する（Ｓ１０９）。なお、本実施形態では、退室映像に特定の映像内容（荷物の画像）が含まれるか否かを判定しているが、入室映像及び退室映像の少なくとも一方に特定の映像内容が含まれるか否かを判定してもよい。
再生制御部２５は、顔認証処理部２８が特定した同一の対象者の入室映像及び退室映像の再生時間を共に変更後の再生時間（荷物を持っていない場合は７秒、荷物を持っている場合は９秒）で表示部１２に並列に配置して同時再生させる（Ｓ１１０）。
例えば、図７に示すように、同一の対象者（ここでは顔検出者番号Ｐ００１の対象者）の入室映像及び退室映像の実時間である再生時間はそれぞれ元１０秒、元５秒であり、その差が閾値（５秒）以上であるため、両映像の再生時間が共に上記変更後の再生時間とされる。例えば退室映像の対象者が荷物を持っていない場合（図７）には、両映像の再生時間が第１再生時間（例えば７秒）に変更されて、この両映像が表示部１２に並列に配置されて同時再生される。具体的には、入室映像の実時間である再生時間が元１０秒から７秒に短縮されるように当該入室映像の再生速度を速くするとともに、退室映像の実時間である再生時間が元５秒から７秒に延長されるように当該退室映像の再生速度を遅くして、両映像が並列に配置されて同時再生される。
一方、退室映像の対象者が荷物を持っている場合（図８）には、第１再生時間（例えば７秒）よりも長い第２再生時間（例えば９秒）に変更されて、両映像が表示部１２に並列に配置されて同時再生される。具体的には、入室映像の実時間である再生時間が元１０秒から９秒に短縮されるように当該入室映像の再生速度を速くするとともに、退室映像の実時間である再生時間が元５秒から９秒に延長されるように当該退室映像の再生速度を遅くして、両映像が並列に配置されて同時再生される。このように、特定の映像内容（荷物の画像）が含まれる場合には、対象者による物品の持ち出しのおそれがあり、より厳重に監視する必要があることから、荷物を持っていない場合の両映像の再生時間（例えば７秒）よりも両映像の再生時間を長い時間（例えば９秒）にすることで、より詳細に両映像を確認でき、映像監視の精度を向上させることができる。
また、再生制御部２５は、図７、図８に示すように、入室映像及び退室映像中に各映像についての時刻表示（再生時刻、入室時刻、退室時刻など）や顔認証情報（顔検出者番号など）などの情報も表示部１２に表示させる。
制御部２１は、顔認証処理部２８が特定した同一の対象者の入室映像及び退室映像の両映像を、保存形式設定部２９の設定された保存形式（ここでは、変更後の再生時間（７秒又は９秒）の形式）で記憶部１５の特定記憶エリアに保存させる（Ｓ１１１）。そして、本処理を終了する。このように、変更後の再生時間の形式で保存した場合には、再生の際の時間調整が不要であり、迅速に両映像を同一の再生時間で同時再生することができる。
図４に戻って、再生制御部２５は、閾値（例えば５秒）以上でない場合に（Ｓ１０６「Ｎｏ」）、顔認証処理部２８が特定した同一の対象者の入室映像及び退室映像がそれぞれ元の再生時間（実時間のままの再生時間）で表示部１２に並列に配置して同時再生させる（Ｓ１１２）。そして、本処理を終了する。
このように本実施形態では、同一の対象者の入室映像及び退室映像の両映像の再生時間の差が閾値を超える場合に、この両映像の再生時間を同一の再生時間に変更して当該両映像を表示部１２に並列に配置して同時再生させる。すなわち、対象者の入室映像及び退室映像の再生時間（実時間長さ）が異なる場合であっても、両映像の再生時間が同一に調整されて再生される。このため、両映像の目視確認期間を等しく確保することができ、両映像を見やすく表示することができ、監視者の負担を低減することができる。
ところで、図９に示すように、４人が同時に入室した入室映像と、そのうちの２人が同時に退室した退室映像とを並列に配置して同時再生することについて説明する。図９では、退室映像の対象者が荷物を持っているとし、他の２人については店内に残っているとする。
４人が同時に入室した入室映像についての管理情報が、図３に示す管理情報記憶テーブルの例えば管理番号「２」に記憶されている。管理番号「２」の各検出時刻、入室・退室フラグ、ゲートの種別、映像インデックス、ゲート通過時間及び顔検出者番号の各項目には、それぞれ、「Ｔ１：０８時３２分４４秒，Ｔ２：０８時３２分５５秒」、「入室」、「Ｇ１」、「Ｃ１：０８時３２分４４秒」及び「１１秒」が記憶されている。上記管理情報は、図４に示す並列再生処理における各検出時刻の記憶（Ｓ１０２）及び入室管理情報処理（Ｓ１０４）によって管理情報記憶テーブルに記憶されている。
例えば顔認証処理部２８は、読み出し部２４によって読み出された入室映像（ここでは管理番号「２」の入室映像）について顔認証処理を行うことにより、当該入室映像に複数の対象者が含まれるか否かを特定し、複数の対象者が含まれる入室映像を複数者入室映像と特定する。ここでは、顔認証処理部２８は、図３に示す管理情報記憶テーブルの管理番号「２」の顔認証者番号の項目に「Ｐ００２〜Ｐ００５」を記憶させ、管理番号「２」を複数者入室映像と特定する。
また、４人同時の入室映像のうちの２人が同時に退室した退室映像についての管理情報が、図３に示す管理情報記憶テーブルの例えば管理番号「４」に記憶されている。管理番号「４」の各検出時刻、入室・退室フラグ、ゲートの種別、映像インデックス、ゲート通過時間及び顔検出者番号の各項目には、それぞれ、「Ｔ６：０８時４８分３０秒，Ｔ５：０８時４８分３４秒」、「退室」、「Ｇ３」、「Ｃ６：０８時４８分３０秒」、「４秒」及び「Ｐ００２，Ｐ００３」が記憶されている。上記管理情報は、図４に示す並列再生処理における各検出時刻の記憶（Ｓ１０２）及び退室管理情報処理（Ｓ１０５）によって管理情報記憶テーブルに記憶されている。
例えば顔認証処理部２８は、読み出し部２４によって読み出された退室映像（ここでは管理番号「４」の退室映像）について顔認証処理を行うことにより、管理番号「２」の複数者入室映像の複数の対象者のうち少なくとも一人を含む退室映像を関連退室映像と特定する。ここでは、図３に示す管理情報記憶テーブルの管理番号「４」の顔認証者番号の項目に「Ｐ００２，Ｐ００３」を記憶させ、管理番号「４」を関連退室映像と特定する。
読み出し部２４は、入室映像に複数の対象者が含まれる場合、例えば、図３に示す管理番号「２」で特定される入室映像に顔検出者番号Ｐ００２〜Ｐ００５の４人の対象者が含まれる場合に、この入室映像の複数の対象者（顔検出者番号Ｐ００２〜Ｐ００５の４人の対象者）についての一又は複数の退室映像（例えば、図３に示す管理番号「４」で特定される退室映像に顔検出者番号Ｐ００２，Ｐ００３の２人の対象者の退室映像）を記憶部１５から読み出す。つまり、読み出し部２４は、入室映像の顔検出者番号の少なくとも一つを含む退室映像を読み出す。なおこの時点（つまり、図３に示す管理番号「６」の管理情報が記録されるまで）では、他の２人が退室していないため、退室映像としては、図３に示す管理番号「４」で特定される退室映像のみが読み出される。
そして、図９に示すように、同一の対象者（ここでは顔検出者番号Ｐ００２，Ｐ００３の対象者が少なくとも同一である）の入室映像及び退室映像の再生時間はそれぞれ元１１秒、元４秒であり、その差が閾値（５秒）以上であるため、再生制御部２５は、両映像の再生時間を同一の再生時間に変更する。例えば図９に示すように退室映像の対象者（ここでは顔検出者番号Ｐ００３の対象者）が荷物を持っており、映像判定部６０が退室映像に特定の映像内容（荷物の画像Ｂ）が含まれると判定し、再生制御部２５は、両映像の再生時間を、第１再生時間（例えば７秒）よりも長い第２再生時間（例えば９秒）に変更し、両映像を変更後の第２再生時間（例えば９秒）で表示部１２に並列に配置して同時再生させる。具体的には、入室映像の再生時間が元１１秒から９秒に短縮されるように当該入室映像の再生速度を速くするとともに、退室映像の再生時間が元４秒から９秒に延長されるように当該退室映像の再生速度を遅くして、両映像が並列に配置して同時再生される。
以上のように、再生制御部２５は、複数（図９では４人）の対象者を含む複数者入室映像と、この複数者入室映像の４人の対象者の一部を含む関連退室映像（図９ではそのうちの２人の退室映像）とを表示部１２に並列に配置して同時再生させるので、複数者入室映像及び関連退室映像の再生時間が異なる場合であっても、両映像を見やすく表示することができ、監視者の負担を低減することができる。
なおこの時点（つまり、図３に示す管理番号「６」の管理情報が記録されるまで）では、他の２人が退室していないので、再生制御部２５は、４人同時の入室映像と、そのうちの２人の退室映像とを並列に配置して同時再生しているが、他の２人が別々に退室した場合に、その退室映像（例えば、図３に示す管理番号「６」で特定される退室映像（顔検出者番号Ｐ００５の対象者）又は管理番号「７」で特定される退室映像（顔検出者番号Ｐ００４の対象者））と、４人同時の入室映像とを並列に配置して同時再生する。例えば、図３に示す管理番号「６」で特定される退室映像（顔検出者番号Ｐ００５の対象者）については、図３に示す管理番号「６」の管理情報が管理情報記憶テーブルに記憶された際に、顔認証処理部２８は、管理情報記憶テーブルの「顔検出者番号」の項目が部分一致する、同一の対象者の入室映像及び退室映像（つまり、顔検出者番号Ｐ００５で少なくとも一致する、管理番号「２」で特定される入室映像及び管理番号「６」で特定される退室映像）を特定し、再生制御部２５は、この特定された両映像を並列に配置して同時再生する。
図１０に示すように、最後の１人が退室した場合には、４人同時の入室映像と、そのうちの最後の対象者が退室した退室映像とが、同一の再生時間に変更されて並列に配置されて同時再生される。例えば、図１０に示すように、退室映像の対象者（ここでは顔検出者番号Ｐ００４の対象者）が荷物を持っておらず、両映像の再生時間が第１再生時間（例えば７秒）に変更されて、当該両映像が表示部１２に並列に配置されて同時再生される。
なお、顔認証処理部２８は、図３に示すように、複数者入室映像（管理番号「２」の入室映像）の複数の対象者（顔検出者番号Ｐ００２〜Ｐ００５の対象者）のうちで関連退室映像（管理番号「４」の退室映像）の対象者（顔検出者番号Ｐ００２，Ｐ００３の対象者）以外の対象者を含みかつ関連退室映像よりも撮像時刻が後である退室映像を後発関連退室映像と特定する。図３では、管理番号「６」の退室映像（顔検出者番号Ｐ００５の対象者の退室映像）と、管理番号「７」の退室映像（顔検出者番号Ｐ００４の対象者の退室映像）とが、それぞれ後発関連退室映像として特定される。そして、再生制御部２５は、複数者入室映像及び後発関連退室映像を表示部１２に表示させる場合に、複数者入室映像の複数の対象者のうち関連退室映像の対象者と同一の対象者については、退室済みであることを示す態様で表示部１２に表示させる。
図１０に示すように、退室映像の対象者よりも前に退室済みの入室映像の対象者については、退室済みであることを示す態様（図１０ではハッチングが付された態様）で表示部１２に表示させるので、複数の対象者を含む入室映像と、その一部の退室者の退室映像とを並列に配置して同時再生しつつ、退室映像の退室者よりも前に退室済みの退室者を分かり易く表示することができる。
また、ユーザーがタッチパネル１３を操作して、図１０に示す入室映像中の他の対象者（退室済みであることを示す態様の対象者）を選択すると、再生制御部２５は、ユーザーが選択した対象者の退室映像に表示を切り替えるとともに、この切り換えた退室映像と、４人同時の入室映像とを、同一の再生時間に変更して表示部１２に並列に配置して同時再生する。例えば、入室映像中の顔検出者番号Ｐ００２、Ｐ００３の対象者の何れかが選択された場合には、図９に示す両映像を並列に配置して同時再生される。
また、再生制御部２５は、入室した４人が全員退室した後には、４人同時の入室映像とその全員の退室映像とを、表示部１２に並列に配置して同時再生させる。例えば、再生制御部２５は、管理番号「２」で特定される入室映像と、管理番号「４」、「６」及び「７」の３つの退室映像との再生時間を、第２再生時間（例えば９秒）に変更してこれらの映像を並列に配置して同時再生させる。映像判定部６０が管理番号「４」の退室映像に特定の映像内容（荷物の画像Ｂ）が含まれる（図９に示す顔検出者番号Ｐ００３の対象者が荷物を持っている）と判定するため、再生制御部２５は、第２再生時間に変更する。また、ユーザーがタッチパネル１３を操作して、入室映像中の対象者を選択すると、再生制御部２５は、４人同時の入室映像と、ユーザーが選択した対象者の退室映像とを、同一の再生時間に変更して表示部１２に並列に配置して同時再生する。
また、図１１に示すように、複数（例えば３人）同時に入室し、これらの対象者（ここでは顔検出者番号Ｐ００６〜Ｐ００８の対象者）がそれぞれ別々のゲートＧ１〜Ｇ３から退室した場合には、再生制御部２５は、３人が同時に入室した入室映像と、ゲートＧ１〜Ｇ３の各退室映像とを表示部１２に並列に配置して同時再生させる。すなわち、顔検出者番号Ｐ００６〜Ｐ００８の対象者の入室映像と、ゲートＧ３から退室した顔検出者番号Ｐ００６の対象者の退室映像と、ゲートＧ１から退室した顔検出者番号Ｐ００７の対象者の退室映像と、ゲートＧ２から退室した顔検出者番号Ｐ００８の対象者の退室映像とを表示部１２に並列に配置して同時再生させる。
なお、上述した実施形態では、監視端末装置１０は顔認証処理部２８を備えているが、この顔認証処理部２８に代えて、対象者が所持するＩＤカードの識別情報を入退室時において読み取る識別情報読取部を備え、当該識別情報読取部が、入退室時において読み取った識別情報を図３に示す顔検出者番号に代えて記憶部１５に記憶させるようにし、制御部２１が識別情報に基づいて入室映像と退室映像とを特定するようにしてもよい。
尚、上記実施形態で説明した監視端末装置１０による表示方法は、プログラムとして提供することができる。このプログラムは、コンピューターにより読み取り可能な非一時的な記録媒体、例えば、ハードディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリーなどに記録される。この場合、当該プログラムを記録したコンピューターにより読み取り可能な非一時的な記録媒体が、本発明の一実施形態となる。
１０ 監視端末装置
１２ 表示部
１４ 通信部
１５ 記憶部
２０ 制御ユニット
２１ 制御部
２３ 映像特定部
２４ 読み出し部
２５ 再生制御部
２６ 判定部
２７ ゲート通過時間算出部
２８ 顔認証処理部
２９ 保存形式設定部
３０ 撮像装置
３１ 入室用撮像部
３２ 退室用撮像部
４０ 入退室検出装置
４１ 扉外赤外線センサー（第１検出部）
４２ 扉内赤外線センサー（第２検出部）
６０ 映像判定部
１００ 監視システム

Claims (9)

  1. 撮像装置によって撮像された、対象者が入退室する際に通過するゲートの映像を記憶する記憶部と、
    対象者の入室及び退室を検出する入退室検出装置からの出力情報を受信する通信部と、
    前記通信部が受信した前記入退室検出装置からの出力情報で特定される対象者の入室検出区間における前記記憶部に記憶された映像部分を入室映像として特定し、前記通信部が受信した前記入退室検出装置から送信される出力情報で特定される対象者の退室検出区間における前記記憶部に記憶された映像部分を退室映像として特定する映像特定部と、
    前記映像特定部によって特定された前記入室映像及び前記退室映像を前記記憶部から読み出す読み出し部と、
    前記読み出し部によって読み出された前記入室映像及び前記退室映像について顔認証処理を行うことにより、同一の対象者の入室映像及び退室映像の両映像を特定する顔認証処理部と、
    前記顔認証処理部によって特定された前記両映像の実時間である再生時間の差が閾値を超える場合に、前記両映像の再生時間を同一の再生時間に変更して当該両映像を表示部に並列に配置して同時再生させる再生制御部と、を備える監視端末装置。
  2. 前記顔認証処理部によって特定された前記両映像のうちの少なくとも一方に特定の映像内容を含むか否かを画像解析処理により判定する映像判定部を備え、
    前記再生制御部は、前記映像判定部が前記特定の映像内容を含まないと判定した場合に、前記両映像の再生時間を同一の第１再生時間に変更して当該両映像を表示部に並列に配置して同時再生し、前記映像判定部が前記特定の映像内容を含むと判定した場合に、前記両映像の再生時間を同一であって前記第１再生時間よりも長い第２再生時間に変更して当該両映像を表示部に並列に配置して同時再生する、請求項１に記載の監視端末装置。
  3. 前記顔認証処理部によって特定された前記両映像を、前記変更後の再生時間の形式で前記記憶部に保存させるか否かを設定する保存形式設定部を更に備える、請求項１又は請求項２に記載の監視端末装置。
  4. 前記顔認証処理部は、前記読み出し部によって読み出された前記入室映像及び前記退室映像について顔認証処理を行うことにより、当該入室映像に複数の対象者が含まれるか否かを特定し、複数の対象者が含まれる入室映像を複数者入室映像と特定し、当該複数者入室映像の複数の対象者のうち少なくとも一人を含む退室映像を関連退室映像と特定し、
    前記再生制御部は、前記顔認証処理部によって特定された前記複数者入室映像及び前記関連退室映像の両映像の実時間の再生時間の差が閾値を超える場合に、前記両映像の再生時間を前記同一の再生時間に変更して当該両映像を表示部に並列に配置して同時再生させる、請求項１乃至請求項３のいずれか１つに記載の監視端末装置。
  5. 前記顔認証処理部は、前記複数者入室映像の複数の対象者のうちで前記関連退室映像の対象者以外の対象者を含みかつ前記関連退室映像よりも撮像時刻が後である退室映像を後発関連退室映像と特定し、
    前記再生制御部は、前記複数者入室映像及び前記後発関連退室映像を前記表示部に表示させる場合に、前記複数者入室映像の複数の対象者のうち前記関連退室映像の対象者と同一の対象者については、退室済みであることを示す態様で前記表示部に表示させる、請求項４に記載の監視端末装置。
  6. 前記顔認証処理部は、前記入室映像中の対象者の画像情報に基づいて当該対象者の顔認証情報を抽出し、この抽出した当該対象者の顔認証情報を、照合元登録データとして前記記憶部の照合元データ登録部に登録するとともに当該入室映像に関連付けて前記記憶部に記憶させる入室者顔認証情報登録部と、
    前記退室映像中の対象者の画像情報に基づいて抽出した当該対象者の顔認証情報が、前記照合元データ登録部の照合元登録データの何れの顔認証情報と一致するかを特定し、一致が特定された顔認証情報を当該退室映像に関連付けて前記記憶部に記憶させる退室者顔認証情報特定部と、を備え、
    前記映像特定部は、前記入室映像と、当該入室映像中の対象者の顔認証情報と一致する顔認証情報が関連付けられた退室映像とを、同一の対象者の入室映像及び退室映像として特定する、請求項１乃至請求項５のいずれか一つに記載の監視端末装置。
  7. 対象者が入退室する際に通過するゲートを撮像する撮像装置と、
    対象者の入室及び退室を検出する入退室検出装置と、
    前記撮像装置によって撮像された対象者の映像を表示部に表示させる監視端末装置と、を備える監視システムであって、
    前記監視端末装置は、前記撮像装置によって撮像した映像を記憶する記憶部と、
    前記入退室検出装置からの出力情報を受信する通信部と、
    前記通信部が受信した前記入退室検出装置からの出力情報で特定される対象者の入室検出区間における前記記憶部に記憶された映像部分を入室映像として特定し、前記通信部が受信した前記入退室検出装置から送信される出力情報で特定される対象者の退室検出区間における前記記憶部に記憶された映像部分を退室映像として特定する映像特定部と、
    前記映像特定部によって特定された前記入室映像及び前記退室映像を前記記憶部から読み出す読み出し部と、
    前記読み出し部によって読み出された前記入室映像及び前記退室映像について顔認証処理を行うことにより、同一の対象者の入室映像及び退室映像の両映像を特定する顔認証処理部と、
    前記顔認証処理部によって特定された前記両映像の実時間である再生時間の差が閾値を超える場合に、前記両映像の再生時間を同一の再生時間に変更して当該両映像を表示部に並列に配置して同時再生させる再生制御部と、を備える、監視システム。
  8. 前記撮像装置は、対象者が前記ゲートから入る入室映像を撮像する入室用撮像部と、対象者が前記ゲートから出る退室映像を撮像する退室用撮像部とを備え、
    前記入退室検出装置は、前記ゲートよりも室外側の位置に対象者が位置することを検出する第１検出部と、前記ゲートよりも室内側の位置に対象者が位置することを検出する第２検出部と、を備え、前記出力情報として、前記第１検出部での検出時刻を示す第１検出時刻情報と、前記第２検出部での検出時刻を示す第２検出時刻情報とを前記監視端末装置の前記通信部に出力し、
    前記監視端末装置は、
    前記通信部が受信した前記第１検出時刻情報及び前記第２検出時刻情報に基づいて、対象者の入室又は退室を判定する判定部と、を備え、
    前記映像特定部は、前記判定部にて入室と判定された場合に前記入室用撮像部が撮像して前記記憶部に記憶された映像のうち前記第１検出時刻情報が示す検出時刻から前記第２検出時刻情報が示す検出時刻までの区間の映像部分を前記入室映像として特定し、前記判定部にて退室と判定された場合に前記退室用撮像部が撮像して前記記憶部に記憶された映像のうち前記第２検出時刻情報が示す検出時刻から前記第１検出時刻情報が示す検出時刻までの区間の映像部分を前記退室映像として特定する、請求項７に記載の監視システム。
  9. コンピューターを、
    撮像装置によって撮像された、対象者が入退室する際に通過するゲートの映像を記憶部に記憶させる制御部と、
    対象者の入室及び退室を検出する入退室検出装置からの出力情報で特定される対象者の入室検出区間における前記記憶部に記憶された映像部分を入室映像として特定し、前記通信部が受信した前記入退室検出装置から送信される出力情報で特定される対象者の退室検出区間における前記記憶部に記憶された映像部分を退室映像として特定する映像特定部と、
    前記映像特定部によって特定された前記入室映像及び前記退室映像を前記記憶部から読み出す読み出し部と、
    前記読み出し部によって読み出された前記入室映像及び前記退室映像について顔認証処理を行うことにより、同一の対象者の入室映像及び退室映像の両映像を特定する顔認証処理部と、
    前記顔認証処理部によって特定された前記両映像の実時間である再生時間の差が閾値を超える場合に、前記両映像の再生時間を同一の再生時間に変更して当該両映像を表示部に並列に配置して同時再生させる再生制御部として機能させる監視表示制御プログラム。
JP2018003800A 2018-01-12 2018-01-12 監視端末装置、監視システムおよび監視表示制御プログラム Active JP7127284B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018003800A JP7127284B2 (ja) 2018-01-12 2018-01-12 監視端末装置、監視システムおよび監視表示制御プログラム
CN201811652952.6A CN109905661B (zh) 2018-01-12 2018-12-29 监视终端装置、监视系统、以及存储有监视显示控制程序的计算机可读非暂时性的存储介质
US16/237,992 US10783761B2 (en) 2018-01-12 2019-01-02 Surveillance terminal apparatus, surveillance system, and non-transitory computer-readable recording medium having surveillance display control program recorded thereon

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018003800A JP7127284B2 (ja) 2018-01-12 2018-01-12 監視端末装置、監視システムおよび監視表示制御プログラム

Publications (2)

Publication Number Publication Date
JP2019125868A true JP2019125868A (ja) 2019-07-25
JP7127284B2 JP7127284B2 (ja) 2022-08-30

Family

ID=66943550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018003800A Active JP7127284B2 (ja) 2018-01-12 2018-01-12 監視端末装置、監視システムおよび監視表示制御プログラム

Country Status (3)

Country Link
US (1) US10783761B2 (ja)
JP (1) JP7127284B2 (ja)
CN (1) CN109905661B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111932810B (zh) * 2020-08-17 2021-11-16 宁波向往智汇科技有限公司 一种智能家居防盗控制系统及控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004187115A (ja) * 2002-12-05 2004-07-02 Casio Comput Co Ltd 監視システムおよびプログラム
JP2008123186A (ja) * 2006-10-17 2008-05-29 Chuo Electronics Co Ltd 不正通過者検出装置及びこれを利用した不正通過者録画システム
JP2009239467A (ja) * 2008-03-26 2009-10-15 Canon Inc 監視端末装置およびその表示処理方法，プログラム，メモリ

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003058413A (ja) * 2001-08-15 2003-02-28 Sony Corp コンテンツ提供装置、コンテンツ提供方法、ストリームコンテンツの再生プログラム及びストリームコンテンツの再生プログラムを記録した記録媒体
JP4658788B2 (ja) * 2005-12-06 2011-03-23 株式会社日立国際電気 画像処理装置、画像処理方法およびプログラム
US7787656B2 (en) * 2007-03-01 2010-08-31 Huper Laboratories Co., Ltd. Method for counting people passing through a gate
CN104104895B (zh) * 2013-04-09 2017-05-24 杭州海康威视数字技术股份有限公司 对视频数据进行录像回放的方法及硬盘录像机
KR102092316B1 (ko) * 2013-10-14 2020-03-23 한화테크윈 주식회사 모니터링 방법
JP5991496B2 (ja) * 2014-11-21 2016-09-14 株式会社ＮｔｔデータＳｍｓ 監視システム、監視方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004187115A (ja) * 2002-12-05 2004-07-02 Casio Comput Co Ltd 監視システムおよびプログラム
JP2008123186A (ja) * 2006-10-17 2008-05-29 Chuo Electronics Co Ltd 不正通過者検出装置及びこれを利用した不正通過者録画システム
JP2009239467A (ja) * 2008-03-26 2009-10-15 Canon Inc 監視端末装置およびその表示処理方法，プログラム，メモリ

Also Published As

Publication number Publication date
US10783761B2 (en) 2020-09-22
US20190221091A1 (en) 2019-07-18
JP7127284B2 (ja) 2022-08-30
CN109905661B (zh) 2021-01-26
CN109905661A (zh) 2019-06-18

Similar Documents

Publication Publication Date Title
JP4759988B2 (ja) 複数カメラを用いた監視システム
JP4536299B2 (ja) イベント映像記録・再生システム、イベント管理装置、およびローカル記録装置
JP6286394B2 (ja) 画像監視システム
WO2018198373A1 (ja) 映像監視システム
JP2011039959A (ja) 監視システム
JP5004845B2 (ja) 監視端末装置およびその表示処理方法，プログラム，メモリ
JP4808139B2 (ja) 監視システム
JP7047970B2 (ja) 事象を管理するための注目期間及び少なくとも１つの注目領域を決定する方法、装置及びプログラム
JP2002344946A (ja) 監視装置
JP5260233B2 (ja) 追跡装置、追跡方法及び追跡プログラム
JP4120378B2 (ja) 監視システムおよびプログラム
JP2002304651A (ja) 入退室管理装置とその方法、およびこの方法の実行プログラムとこの実行プログラムを記録した記録媒体
JP2019125868A (ja) 監視端末装置、監視システムおよび監視表示制御プログラム
US20210271217A1 (en) Using Real Time Data For Facilities Control Systems
JP4156690B2 (ja) 遊技場における監視装置
JP6044911B1 (ja) 入退室管理システム
JP2007190076A (ja) 監視支援システム
US11676439B2 (en) Face authentication system and face authentication method
JP2006255027A (ja) 監視システムおよび方法、不正遊技者認識サーバおよび方法、人追跡サーバおよび方法、監視サーバおよび方法、並びにプログラム
JP5106244B2 (ja) 入退室管理システム
JP2017025621A (ja) 入退室管理システム
JP2004128615A (ja) 人物監視システム
JP2021046015A (ja) 処理装置、システム、及びプログラム
JP6997140B2 (ja) 情報処理装置、判定方法、およびプログラム
JP6959300B2 (ja) 情報処理装置、立ち入り判定方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220801

R150 Certificate of patent or registration of utility model

Ref document number: 7127284

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150