JP2021166399A - Image processing system, image processing method, and program - Google Patents

Image processing system, image processing method, and program Download PDF

Info

Publication number
JP2021166399A
JP2021166399A JP2021110514A JP2021110514A JP2021166399A JP 2021166399 A JP2021166399 A JP 2021166399A JP 2021110514 A JP2021110514 A JP 2021110514A JP 2021110514 A JP2021110514 A JP 2021110514A JP 2021166399 A JP2021166399 A JP 2021166399A
Authority
JP
Japan
Prior art keywords
camera
person
unit
image processing
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021110514A
Other languages
Japanese (ja)
Other versions
JP7487888B2 (en
Inventor
正志 長田
Masashi Osada
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2021110514A priority Critical patent/JP7487888B2/en
Priority to JP2021141375A priority patent/JP2022003529A/en
Publication of JP2021166399A publication Critical patent/JP2021166399A/en
Priority to JP2023075178A priority patent/JP2023099581A/en
Application granted granted Critical
Publication of JP7487888B2 publication Critical patent/JP7487888B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Burglar Alarm Systems (AREA)
  • Alarm Systems (AREA)

Abstract

To provide an image processing device capable of monitoring a suspicious person even when the suspicious person is not known.SOLUTION: An image processing system comprises: a detection unit which with respect to a person appearing in a video captured from a camera selected based on an input to an input device, detects the gesture of the person; and an estimation unit which estimates a predetermined person candidate based on a result of the detection by the detection unit.SELECTED DRAWING: Figure 1

Description

本発明は、画像処理システム、画像処理方法及びプログラムに関する。 The present invention relates to an image processing system, an image processing method and a program.

マンション、一軒家、市街地などにおいて、防犯カメラの設置が増加している。
特許文献１には、関連する技術として、不審人物を監視する技術が記載されている。 The installation of security cameras is increasing in condominiums, single-family homes, and urban areas.
Patent Document 1 describes a technique for monitoring a suspicious person as a related technique.

特開２０１０−１９１６２０号公報Japanese Unexamined Patent Publication No. 2010-191620

ところで、特許文献１に記載の技術は、予め不審人物が判っていることを前提としており、不審人物が判っていない場合には不審人物を監視することができなかった。 By the way, the technique described in Patent Document 1 is based on the premise that a suspicious person is known in advance, and if the suspicious person is not known, the suspicious person cannot be monitored.

そこでこの発明は、上記の課題を解決することのできる画像処理システム、画像処理方法及びプログラムを提供することを目的としている。 Therefore, an object of the present invention is to provide an image processing system, an image processing method, and a program capable of solving the above problems.

上記目的を達成するために、本開示の一態様によれば、画像処理装置は、撮影された映像における人物の出現状態を判定する出現状態判定部と、前記出現状態に基づいて所定人物候補を推定する所定人物候補推定部と、を備える。 In order to achieve the above object, according to one aspect of the present disclosure, the image processing apparatus has an appearance state determination unit that determines the appearance state of a person in a captured image, and a predetermined person candidate based on the appearance state. It is provided with a predetermined person candidate estimation unit for estimation.

また、本開示の一態様によれば、画像処理システムは、カメラと、画像処理装置とを備え、前記カメラは、所定領域の画像を撮影し、前記画像処理装置は、撮影された映像における人物の出現状態を判定する出現状態判定部と、前記出現状態に基づいて所定人物候補を推定する所定人物候補推定部と、を備える。 Further, according to one aspect of the present disclosure, the image processing system includes a camera and an image processing device, the camera captures an image in a predetermined area, and the image processing device captures a person in the captured image. It is provided with an appearance state determination unit for determining the appearance state of the above, and a predetermined person candidate estimation unit for estimating a predetermined person candidate based on the appearance state.

また、本開示の一態様によれば、画像処理方法は、撮影された映像における人物の出現状態を判定し、前記出現状態に基づいて所定人物候補を推定する。 Further, according to one aspect of the present disclosure, the image processing method determines the appearance state of a person in the captured video, and estimates a predetermined person candidate based on the appearance state.

また、本開示の一態様によれば、プログラムは、コンピュータを、撮影された映像における人物の出現状態を判定する出現状態判定手段、前記出現状態に基づいて所定人物候補を推定する所定人物候補推定手段、として機能させる。 Further, according to one aspect of the present disclosure, the program uses a computer as an appearance state determination means for determining the appearance state of a person in a captured image, and a predetermined person candidate estimation for estimating a predetermined person candidate based on the appearance state. Make it function as a means.

本発明の画像処理システムの処理により、不審人物などの指定した条件に基づく人物候補を特定することができる。 By the processing of the image processing system of the present invention, a person candidate based on a designated condition such as a suspicious person can be specified.

本発明の実施形態による画像処理装置の最小構成を示す図である。It is a figure which shows the minimum structure of the image processing apparatus by embodiment of this invention. 本発明の第一の実施形態による画像処理システムの構成を示す図である。It is a figure which shows the structure of the image processing system by 1st Embodiment of this invention. 本実施形態によるセンターシステムの構成を示す図である。It is a figure which shows the structure of the center system by this embodiment. 本実施形態による入力装置の構成を示す図である。It is a figure which shows the structure of the input device by this embodiment. 本実施形態による第一エッジ装置の構成を示す図である。It is a figure which shows the structure of the 1st edge apparatus by this embodiment. 本実施形態による第二エッジ装置の構成を示す図である。It is a figure which shows the structure of the 2nd edge apparatus by this embodiment. 本実施形態による第三エッジ装置の構成を示す図である。It is a figure which shows the structure of the 3rd edge apparatus by this embodiment. 本実施形態による第一データテーブルを示す図である。It is a figure which shows the 1st data table by this embodiment. 本実施形態による第二データテーブルを示す図である。It is a figure which shows the 2nd data table by this embodiment. 本実施形態による第三データテーブルを示す図である。It is a figure which shows the 3rd data table by this embodiment. 本実施形態による総合データテーブルを示す図である。It is a figure which shows the comprehensive data table by this embodiment. 本実施形態による処理フローを示す第一の図である。It is the first figure which shows the processing flow by this embodiment. 本実施形態による処理フローを示す第二の図である。It is a second figure which shows the processing flow by this embodiment. 本発明の第一の実施形態による入力装置の構成を示す図である。It is a figure which shows the structure of the input device by 1st Embodiment of this invention.

図１は、本発明の実施形態による画像処理装置１００の最小構成を示す図である。
本発明の画像処理装置１００は、図１に示すように、少なくとも出現状態判定部１０１と、所定人物候補推定部１０２と、を備える。
出現状態判定部１０１は、撮影された映像における人物の出現状態を判定する。人物の出現状態とは、例えば、映像において人物の出現回数が多い、人物が長時間出現する、頻繁に周囲を見回す等人物が不審な挙動をとるなど、人物の出現を示す結果である。
所定人物候補推定部１０２は、出現状態に基づいて所定人物候補を推定する。所定人物候補とは、例えば、万引き犯、不審購買者、ストーカーなどの人物である。 FIG. 1 is a diagram showing a minimum configuration of an image processing device 100 according to an embodiment of the present invention.
As shown in FIG. 1, the image processing apparatus 100 of the present invention includes at least an appearance state determination unit 101 and a predetermined person candidate estimation unit 102.
The appearance state determination unit 101 determines the appearance state of a person in the captured image. The appearance state of a person is a result indicating the appearance of a person, for example, the person appears frequently in the video, the person appears for a long time, the person frequently looks around, and the person behaves suspiciously.
The predetermined person candidate estimation unit 102 estimates the predetermined person candidate based on the appearance state. The predetermined person candidate is, for example, a person such as a shoplifter, a suspicious purchaser, or a stalker.

＜第一の実施形態＞
図２は、本発明の第一の実施形態による画像処理システム１の構成を示す図である。
まず、本発明の第一の実施形態による画像処理装置１００を備える画像処理システム１について説明する。
本実施形態による画像処理システム１は、図２に示すように、センターシステム１０、入力装置２０、第一エッジ装置３０ａ（情報処理装置）、第二エッジ装置３０ｂ（情報処理装置）、第三エッジ装置３０ｃ（情報処理装置）、第一カメラ装置４０ａ、第二カメラ装置４０ｂ、第三カメラ装置４０ｃ、を備える。
なお、以下の説明では、第一エッジ装置３０ａ、第二エッジ装置３０ｂ、第三エッジ装置３０ｃ、・・・、第ｎエッジ装置３０ｎ、・・・を総称してエッジ装置３０と呼ぶ。また、第一カメラ装置４０ａ、第二カメラ装置４０ｂ、第三カメラ装置４０ｃ、・・・、第ｎカメラ装置４０ｎ、・・・を総称してカメラ装置４０と呼ぶ。 <First Embodiment>
FIG. 2 is a diagram showing a configuration of an image processing system 1 according to the first embodiment of the present invention.
First, an image processing system 1 including an image processing device 100 according to the first embodiment of the present invention will be described.
As shown in FIG. 2, the image processing system 1 according to the present embodiment includes a center system 10, an input device 20, a first edge device 30a (information processing device), a second edge device 30b (information processing device), and a third edge. A device 30c (information processing device), a first camera device 40a, a second camera device 40b, and a third camera device 40c are provided.
In the following description, the first edge device 30a, the second edge device 30b, the third edge device 30c, ..., The nth edge device 30n, ... Are collectively referred to as the edge device 30. Further, the first camera device 40a, the second camera device 40b, the third camera device 40c, ..., The nth camera device 40n, ... Are collectively referred to as the camera device 40.

入力装置２０は、例えば、スマートフォン、携帯電話、パーソナルコンピュータなどである。ユーザは、人物の特徴量である人物特徴量を抽出させるカメラを選択するカメラ選択情報を入力するカメラ選択情報入力操作を行う。なお、人物特徴量とは、例えば、顔、身長、性別、服装、持ち物など、人物を特定するための情報である。 The input device 20 is, for example, a smartphone, a mobile phone, a personal computer, or the like. The user performs a camera selection information input operation for inputting camera selection information for selecting a camera for extracting a person feature amount which is a person feature amount. The person feature amount is information for identifying a person, such as a face, height, gender, clothes, and belongings.

ユーザは、人物特徴量の抽出を開始する開始指示を入力する開始指示入力操作を行う。入力装置２０は、ユーザによる開始指示入力操作に基づいて、カメラ選択情報をセンターシステム１０に送信する。 The user performs a start instruction input operation for inputting a start instruction for starting the extraction of the person feature amount. The input device 20 transmits the camera selection information to the center system 10 based on the start instruction input operation by the user.

センターシステム１０は、入力装置２０からカメラ選択情報を受信する。センターシステム１０は、入力したカメラ選択情報に基づいて、エッジ装置を特定する。
センターシステム１０は、特定した第一エッジ装置３０ａ、第二エッジ装置３０ｂ、及び、第三エッジ装置３０ｃのそれぞれにカメラ選択情報と、人物特徴量の抽出の開始を指示する特徴量抽出開始指示とを送信する。 The center system 10 receives camera selection information from the input device 20. The center system 10 identifies the edge device based on the input camera selection information.
The center system 10 provides camera selection information and a feature amount extraction start instruction for instructing each of the specified first edge device 30a, second edge device 30b, and third edge device 30c to start extracting the person feature amount. To send.

第一エッジ装置３０ａ、第二エッジ装置３０ｂ、及び、第三エッジ装置３０ｃのそれぞれは、センターシステム１０からカメラ選択情報と人物特徴量抽出開始指示とを受信すると、カメラ選択情報が示すカメラを有するカメラ装置４０からカメラ映像を取得する。そして、第一エッジ装置３０ａ、第二エッジ装置３０ｂ、及び、第三エッジ装置３０ｃのそれぞれは、取得したカメラ映像から人物特徴量を抽出する。第一エッジ装置３０ａ、第二エッジ装置３０ｂ、及び、第三エッジ装置３０ｃのそれぞれは、抽出した人物特徴量に対してインデックスを生成する。なお、インデックスは、例えば、カメラ選択情報を送信した入力装置２０の識別子である入力装置ＩＤ（ＩＤｅｎｔｉｆｉｅｒ）、人物特徴量毎に割り当てる人物特徴量の識別子である人物特徴量ＩＤなどを含む情報である。第一エッジ装置３０ａ、第二エッジ装置３０ｂ、及び、第三エッジ装置３０ｃのそれぞれは、抽出した人物特徴量と共に生成したインデックスをセンターシステム１０に送信する。
また、第一エッジ装置３０ａ、第二エッジ装置３０ｂ、及び、第三エッジ装置３０ｃのそれぞれは、抽出した人物特徴量と共に生成したインデックスを記憶部に記録する。また、第一エッジ装置３０ａ、第二エッジ装置３０ｂ、及び、第三エッジ装置３０ｃのそれぞれは、カメラ映像に生成したインデックスを付与し、カメラ映像を記憶部に記録する。 Each of the first edge device 30a, the second edge device 30b, and the third edge device 30c has a camera indicated by the camera selection information when the camera selection information and the person feature amount extraction start instruction are received from the center system 10. The camera image is acquired from the camera device 40. Then, each of the first edge device 30a, the second edge device 30b, and the third edge device 30c extracts the person feature amount from the acquired camera image. Each of the first edge device 30a, the second edge device 30b, and the third edge device 30c generates an index for the extracted person feature amount. The index is information including, for example, an input device ID (IDentifier) which is an identifier of the input device 20 that has transmitted the camera selection information, a person feature amount ID which is an identifier of the person feature amount assigned to each person feature amount, and the like. .. Each of the first edge device 30a, the second edge device 30b, and the third edge device 30c transmits the index generated together with the extracted person feature amount to the center system 10.
Further, each of the first edge device 30a, the second edge device 30b, and the third edge device 30c records the index generated together with the extracted person feature amount in the storage unit. Further, each of the first edge device 30a, the second edge device 30b, and the third edge device 30c assigns a generated index to the camera image and records the camera image in the storage unit.

センターシステム１０は、第一エッジ装置３０ａ、第二エッジ装置３０ｂ、及び、第三エッジ装置３０ｃのそれぞれからカメラ映像と共に人物特徴量とインデックスを受信すると、受信したカメラ映像と人物特徴量とインデックスを関連付けて記憶部に記録する。 When the center system 10 receives the person feature amount and the index together with the camera image from each of the first edge device 30a, the second edge device 30b, and the third edge device 30c, the center system 10 receives the received camera image, the person feature amount, and the index. It is associated and recorded in the storage unit.

また、ユーザは、不審人物の抽出の開始を指示する不審人物抽出開始指示を入力する不審人物抽出開始指示入力操作を行う。入力装置２０は、ユーザによる不審人物抽出開始指示に基づいて、不審人物の抽出の開始をセンターシステム１０に送信する。 In addition, the user performs a suspicious person extraction start instruction input operation for inputting a suspicious person extraction start instruction for instructing the start of extraction of the suspicious person. The input device 20 transmits the start of extraction of the suspicious person to the center system 10 based on the instruction to start the extraction of the suspicious person by the user.

センターシステム１０は、不審人物などの人物候補と判定する人物候補判定条件を入力し、記憶部に記録している。なお、人物候補判定条件は、映像において人物の出現回数が多い、人物が長時間出現するなど、人物の出現を示す結果である出現状態を判定するための判定条件である。センターシステム１０は、不審人物の抽出の開始を指示する不審人物抽出開始指示を入力すると、記憶部の記憶するカメラ映像と人物特徴量とインデックス、及び、出現状態に基づいて、不審人物を特定する。センターシステム１０は、特定した不審人物についての不審人物特定結果を記憶部に記録する。 The center system 10 inputs a person candidate determination condition for determining a person candidate such as a suspicious person and records it in a storage unit. The person candidate determination condition is a determination condition for determining an appearance state, which is a result indicating the appearance of a person, such as a person appearing frequently in a video or a person appearing for a long time. When the center system 10 inputs the suspicious person extraction start instruction for instructing the start of extraction of the suspicious person, the center system 10 identifies the suspicious person based on the camera image, the person feature amount and the index stored in the storage unit, and the appearance state. .. The center system 10 records the suspicious person identification result of the specified suspicious person in the storage unit.

ユーザは、人物特徴量の抽出を終了する終了指示を入力する終了指示入力操作を行う。入力装置２０は、ユーザによる終了指示入力操作に基づいて、終了指示をセンターシステム１０に送信する。 The user performs an end instruction input operation for inputting an end instruction for ending the extraction of the person feature amount. The input device 20 transmits the end instruction to the center system 10 based on the end instruction input operation by the user.

センターシステム１０は、入力装置２０から終了指示を受信すると、人物特徴量の抽出の終了を示す特徴量抽出終了指示を第一エッジ装置３０ａ、第二エッジ装置３０ｂ、及び、第三エッジ装置３０ｃのそれぞれに送信する。 When the center system 10 receives the end instruction from the input device 20, the center system 10 gives the feature amount extraction end instruction indicating the end of the extraction of the person feature amount of the first edge device 30a, the second edge device 30b, and the third edge device 30c. Send to each.

第一エッジ装置３０ａ、第二エッジ装置３０ｂ、及び、第三エッジ装置３０ｃのそれぞれは、センターシステム１０から特徴量抽出終了指示を受信すると、カメラ映像における人物特徴量の抽出を終了する。 When each of the first edge device 30a, the second edge device 30b, and the third edge device 30c receives the feature amount extraction end instruction from the center system 10, the extraction of the person feature amount in the camera image is completed.

以上のように、本発明の実施形態による画像処理システム１では、ユーザの選択した領域におけるカメラ装置４０は、映像を撮影する。エッジ装置３０のそれぞれは、カメラ装置４０が撮影した映像から人物特徴量を抽出する。センターシステム１０は、カメラ装置４０が抽出した人物特徴量を有する人物から、人物候補判定条件を用いて判定した出現状態を満たす人物を不審人物と特定する。 As described above, in the image processing system 1 according to the embodiment of the present invention, the camera device 40 in the area selected by the user captures an image. Each of the edge devices 30 extracts a person feature amount from the image captured by the camera device 40. The center system 10 identifies a person who satisfies the appearance state determined by using the person candidate determination condition as a suspicious person from the person having the person feature amount extracted by the camera device 40.

図３は、本実施形態によるセンターシステム１０の構成を示す図である。
次に、本実施形態によるセンターシステム１０の構成について説明する。
本実施形態によるセンターシステム１０は、図３に示すように、画像処理装置１００を備える。画像処理装置１００は、出現状態判定部１０１と、所定人物候補推定部１０２と、通信部１０３と、制御部１０４と、カメラ選択部１０５と、記憶部１０６と、条件入力部１０７と、を備える。 FIG. 3 is a diagram showing a configuration of the center system 10 according to the present embodiment.
Next, the configuration of the center system 10 according to the present embodiment will be described.
As shown in FIG. 3, the center system 10 according to the present embodiment includes an image processing device 100. The image processing device 100 includes an appearance state determination unit 101, a predetermined person candidate estimation unit 102, a communication unit 103, a control unit 104, a camera selection unit 105, a storage unit 106, and a condition input unit 107. ..

出現状態判定部１０１は、人物候補判定条件に基づいて、撮影された映像における人物の出現状態を判定する。
所定人物候補推定部１０２は、撮影された映像における人物の出現状態に基づいて所定人物候補を推定する。例えば、所定人物候補推定部１０２は、センターシステム１０がエッジ装置３０のそれぞれから受信したカメラ映像と人物特徴量とインデックス、及び、出現状態に基づいて、出現状態を満足する人物特徴量を有するカメラ映像における人物を不審人物として特定する。
通信部１０３は、入力装置２０及びエッジ装置３０のそれぞれと情報の送受信を行う。 The appearance state determination unit 101 determines the appearance state of a person in the captured image based on the person candidate determination condition.
The predetermined person candidate estimation unit 102 estimates the predetermined person candidate based on the appearance state of the person in the captured image. For example, the predetermined person candidate estimation unit 102 is a camera having a camera image, a person feature amount and an index received by the center system 10 from each of the edge devices 30, and a person feature amount satisfying the appearance state based on the appearance state. Identify the person in the video as a suspicious person.
The communication unit 103 transmits / receives information to / from each of the input device 20 and the edge device 30.

制御部１０４は、センターシステム１０が行う処理に必要な種々の制御を行う。例えば、制御部１０４は、通信部１０３が行う情報の送受信を制御する。なお、以下の説明では、制御部１０４が通信部１０３の行う情報の送受信を制御していることを特に記載していない場合であっても、制御部１０４は、通信部１０３の行う情報の送受信を制御している。 The control unit 104 performs various controls necessary for the processing performed by the center system 10. For example, the control unit 104 controls the transmission / reception of information performed by the communication unit 103. In the following description, even if it is not particularly described that the control unit 104 controls the transmission / reception of information performed by the communication unit 103, the control unit 104 transmits / receives information performed by the communication unit 103. Is in control.

カメラ選択部１０５は、出現状態判定部１０１が判定する撮影された映像における人物の出現状態を撮影するカメラを指定する。
記憶部１０６は、センターシステム１０が行う種々の処理に必要な情報を記憶する。例えば、記憶部１０６は、センターシステム１０がエッジ装置３０のそれぞれから受信したカメラ映像と人物特徴量とインデックスを関連付けて記憶する。
条件入力部１０７は、人物候補判定条件を取得し、取得した人物候補判定条件を記憶部１０６に記録する。 The camera selection unit 105 specifies a camera that captures the appearance state of a person in the captured image determined by the appearance state determination unit 101.
The storage unit 106 stores information necessary for various processes performed by the center system 10. For example, the storage unit 106 stores the camera image received from each of the edge devices 30 by the center system 10 in association with the person feature amount and the index.
The condition input unit 107 acquires the person candidate determination condition, and records the acquired person candidate determination condition in the storage unit 106.

図４は、本実施形態による入力装置２０の構成を示す図である。
次に、本実施形態による入力装置２０の構成について説明する。
本実施形態による入力装置２０は、図４に示すように、通信部２０１と、情報入力部２０２と、表示制御部２０３と、を備える。 FIG. 4 is a diagram showing the configuration of the input device 20 according to the present embodiment.
Next, the configuration of the input device 20 according to the present embodiment will be described.
As shown in FIG. 4, the input device 20 according to the present embodiment includes a communication unit 201, an information input unit 202, and a display control unit 203.

通信部２０１は、センターシステム１０と情報の送受信を行う。
情報入力部２０２は、ユーザによる入力操作を検出し、検出した入力操作に基づく信号を出力する。例えば、情報入力部２０２は、ユーザによるカメラ選択情報入力操作を検出した場合、カメラ選択情報をセンターシステム１０に送信する。また、例えば、情報入力部２０２は、ユーザによる開始指示入力操作を検出した場合、開始指示をセンターシステム１０に送信する。また、例えば、情報入力部２０２は、ユーザによる終了指示入力操作を検出した場合、終了指示をセンターシステム１０に送信する。 The communication unit 201 transmits / receives information to / from the center system 10.
The information input unit 202 detects an input operation by the user and outputs a signal based on the detected input operation. For example, when the information input unit 202 detects a camera selection information input operation by the user, the information input unit 202 transmits the camera selection information to the center system 10. Further, for example, when the information input unit 202 detects a start instruction input operation by the user, the information input unit 202 transmits the start instruction to the center system 10. Further, for example, when the information input unit 202 detects the end instruction input operation by the user, the information input unit 202 transmits the end instruction to the center system 10.

表示制御部２０３は、図示していない表示画面に表示する表示を制御する。例えば、表示制御部２０３は、入力装置２０がセンターシステム１０に送信する情報、及び、入力装置２０がセンターシステム１０から受信する情報を表示画面に表示する表示を制御する。 The display control unit 203 controls the display to be displayed on a display screen (not shown). For example, the display control unit 203 controls a display in which the information transmitted by the input device 20 to the center system 10 and the information received by the input device 20 from the center system 10 are displayed on the display screen.

次に、本実施形態によるエッジ装置３０の構成について説明する。
図５は、本実施形態による第一エッジ装置３０ａの構成を示す図である。
まず、本実施形態による第一エッジ装置３０ａの構成について説明する。
本実施形態による第一エッジ装置３０ａは、図５に示すように、第一通信部３０１ａと、第一制御部３０２ａと、第一カメラ制御部３０３ａと、第一記憶部３０４ａと、第一特徴量抽出部３０５ａと、第一映像受信部３０６ａと、第一カメラインターフェース３０７ａと、を備える。 Next, the configuration of the edge device 30 according to the present embodiment will be described.
FIG. 5 is a diagram showing a configuration of the first edge device 30a according to the present embodiment.
First, the configuration of the first edge device 30a according to the present embodiment will be described.
As shown in FIG. 5, the first edge device 30a according to the present embodiment has the first communication unit 301a, the first control unit 302a, the first camera control unit 303a, the first storage unit 304a, and the first feature. A quantity extraction unit 305a, a first video receiving unit 306a, and a first camera interface 307a are provided.

第一通信部３０１ａは、センターシステム１０及び第一カメラ装置４０ａのそれぞれと情報の送受信を行う。
第一制御部３０２ａは、第一エッジ装置３０ａが行う処理に必要な種々の制御を行う。例えば、第一制御部３０２ａは、第一通信部３０１ａが行う情報の送受信を制御する。なお、以下の説明では、第一制御部３０２ａが第一通信部３０１ａの行う情報の送受信を制御していることを特に記載していない場合であっても、第一制御部３０２ａは、第一通信部３０１ａの行う情報の送受信を制御している。 The first communication unit 301a transmits / receives information to and from each of the center system 10 and the first camera device 40a.
The first control unit 302a performs various controls necessary for the processing performed by the first edge device 30a. For example, the first control unit 302a controls the transmission and reception of information performed by the first communication unit 301a. In the following description, even if it is not particularly described that the first control unit 302a controls the transmission and reception of information performed by the first communication unit 301a, the first control unit 302a is the first. It controls the transmission and reception of information performed by the communication unit 301a.

第一カメラ制御部３０３ａは、第一カメラインターフェース３０７ａを介して第一カメラ装置４０ａに撮影を制御する撮影制御信号を送信する。
第一記憶部３０４ａは、第一エッジ装置３０ａが行う処理に必要な種々の情報を記憶する。 The first camera control unit 303a transmits a shooting control signal for controlling shooting to the first camera device 40a via the first camera interface 307a.
The first storage unit 304a stores various information necessary for the processing performed by the first edge device 30a.

第一特徴量抽出部３０５ａは、カメラ選択部１０５が指定したカメラ装置４０の備えるカメラが撮影した人物特徴量を抽出する。具体的には、第一映像受信部３０６ａが第一カメラ装置４０ａから受信した映像を画像解析して、人物特徴量を抽出する。 The first feature amount extraction unit 305a extracts the person feature amount taken by the camera included in the camera device 40 designated by the camera selection unit 105. Specifically, the first video receiving unit 306a performs image analysis of the video received from the first camera device 40a to extract the person feature amount.

第一映像受信部３０６ａは、第一カメラ装置４０ａが撮影した映像を受信する。
第一カメラインターフェース３０７ａは、第一エッジ装置３０ａと第一カメラ装置４０ａを繋ぐために第一エッジ装置３０ａが備えるインターフェースである。 The first video receiving unit 306a receives the video captured by the first camera device 40a.
The first camera interface 307a is an interface included in the first edge device 30a for connecting the first edge device 30a and the first camera device 40a.

図６は、本実施形態による第二エッジ装置３０ｂの構成を示す図である。
次に、本実施形態による第二エッジ装置３０ｂの構成について説明する。
本実施形態による第二エッジ装置３０ｂは、図６に示すように、第二通信部３０１ｂと、第二制御部３０２ｂと、第二カメラ制御部３０３ｂと、第二記憶部３０４ｂと、第二特徴量抽出部３０５ｂと、第二映像受信部３０６ｂと、第二カメラインターフェース３０７ｂと、を備える。 FIG. 6 is a diagram showing a configuration of the second edge device 30b according to the present embodiment.
Next, the configuration of the second edge device 30b according to the present embodiment will be described.
As shown in FIG. 6, the second edge device 30b according to the present embodiment has a second communication unit 301b, a second control unit 302b, a second camera control unit 303b, a second storage unit 304b, and a second feature. A quantity extraction unit 305b, a second video receiving unit 306b, and a second camera interface 307b are provided.

第二通信部３０１ｂは、センターシステム１０及び第二カメラ装置４０ｂのそれぞれと情報の送受信を行う。
第二制御部３０２ｂは、第二エッジ装置３０ｂが行う処理に必要な種々の制御を行う。例えば、第二制御部３０２ｂは、第二通信部３０１ｂが行う情報の送受信を制御する。なお、以下の説明では、第二制御部３０２ｂが第二通信部３０１ｂの行う情報の送受信を制御していることを特に記載していない場合であっても、第二制御部３０２ｂは、第二通信部３０１ｂの行う情報の送受信を制御している。 The second communication unit 301b transmits / receives information to and from each of the center system 10 and the second camera device 40b.
The second control unit 302b performs various controls necessary for the processing performed by the second edge device 30b. For example, the second control unit 302b controls the transmission and reception of information performed by the second communication unit 301b. In the following description, even if it is not particularly described that the second control unit 302b controls the transmission / reception of information performed by the second communication unit 301b, the second control unit 302b is the second. It controls the transmission and reception of information performed by the communication unit 301b.

第二カメラ制御部３０３ｂは、第二カメラインターフェース３０７ｂを介して第二カメラ装置４０ｂに撮影を制御する撮影制御信号を送信する。
第二記憶部３０４ｂは、第二エッジ装置３０ｂが行う処理に必要な種々の情報を記憶する。 The second camera control unit 303b transmits a shooting control signal for controlling shooting to the second camera device 40b via the second camera interface 307b.
The second storage unit 304b stores various information necessary for the processing performed by the second edge device 30b.

第二特徴量抽出部３０５ｂは、カメラ選択部１０５が指定したカメラ装置４０の備えるカメラが撮影した人物特徴量を抽出する。具体的には、第二映像受信部３０６ｂが第二カメラ装置４０ｂから受信した映像を画像解析して、人物特徴量を抽出する。 The second feature amount extraction unit 305b extracts the person feature amount taken by the camera included in the camera device 40 designated by the camera selection unit 105. Specifically, the second image receiving unit 306b performs image analysis of the image received from the second camera device 40b to extract the person feature amount.

第二映像受信部３０６ｂは、第二カメラ装置４０ｂが撮影した映像を受信する。
第二カメラインターフェース３０７ｂは、第二エッジ装置３０ｂと第二カメラ装置４０ｂを繋ぐために第二エッジ装置３０ｂが備えるインターフェースである。 The second video receiving unit 306b receives the video captured by the second camera device 40b.
The second camera interface 307b is an interface included in the second edge device 30b for connecting the second edge device 30b and the second camera device 40b.

図７は、本実施形態による第三エッジ装置３０ｃの構成を示す図である。
次に、本実施形態による第三エッジ装置３０ｃの構成について説明する。
本実施形態による第三エッジ装置３０ｃは、図７に示すように、第三通信部３０１ｃと、第三制御部３０２ｃと、第三カメラ制御部３０３ｃと、第三記憶部３０４ｃと、第三特徴量抽出部３０５ｃと、第三映像受信部３０６ｃと、第三カメラインターフェース３０７ｃと、を備える。 FIG. 7 is a diagram showing the configuration of the third edge device 30c according to the present embodiment.
Next, the configuration of the third edge device 30c according to the present embodiment will be described.
As shown in FIG. 7, the third edge device 30c according to the present embodiment has a third communication unit 301c, a third control unit 302c, a third camera control unit 303c, a third storage unit 304c, and a third feature. A quantity extraction unit 305c, a third video receiving unit 306c, and a third camera interface 307c are provided.

第三通信部３０１ｃは、センターシステム１０及び第三カメラ装置４０ｃのそれぞれと情報の送受信を行う。
第三制御部３０２ｃは、第三エッジ装置３０ｃが行う処理に必要な種々の制御を行う。例えば、第三制御部３０２ｃは、第三通信部３０１ｃが行う情報の送受信を制御する。なお、以下の説明では、第三制御部３０２ｃが第三通信部３０１ｃの行う情報の送受信を制御していることを特に記載していない場合であっても、第三制御部３０２ｃは、第三通信部３０１ｃの行う情報の送受信を制御している。 The third communication unit 301c transmits / receives information to and from each of the center system 10 and the third camera device 40c.
The third control unit 302c performs various controls necessary for the processing performed by the third edge device 30c. For example, the third control unit 302c controls the transmission / reception of information performed by the third communication unit 301c. In the following description, even if it is not particularly described that the third control unit 302c controls the transmission / reception of information performed by the third communication unit 301c, the third control unit 302c is the third. It controls the transmission and reception of information performed by the communication unit 301c.

第三カメラ制御部３０３ｃは、第三カメラインターフェース３０７ｃを介して第三カメラ装置４０ｃに撮影を制御する撮影制御信号を送信する。
第三記憶部３０４ｃは、第三エッジ装置３０ｃが行う処理に必要な種々の情報を記憶する。 The third camera control unit 303c transmits a shooting control signal for controlling shooting to the third camera device 40c via the third camera interface 307c.
The third storage unit 304c stores various information necessary for the processing performed by the third edge device 30c.

第三特徴量抽出部３０５ｃは、カメラ選択部１０５が指定したカメラ装置４０の備えるカメラが撮影した人物特徴量を抽出する。例えば、第三映像受信部３０６ｃが第三カメラ装置４０ｃから受信した映像を画像解析して、顔、身長、性別、服装、持ち物などを抽出する。 The third feature amount extraction unit 305c extracts the person feature amount taken by the camera included in the camera device 40 designated by the camera selection unit 105. For example, the third image receiving unit 306c performs image analysis of the image received from the third camera device 40c to extract the face, height, gender, clothes, belongings, and the like.

第三映像受信部３０６ｃは、第三カメラ装置４０ｃが撮影した映像を受信する。
第三カメラインターフェース３０７ｃは、第三エッジ装置３０ｃと第三カメラ装置４０ｃを繋ぐために第三エッジ装置３０ｃが備えるインターフェースである。 The third video receiving unit 306c receives the video captured by the third camera device 40c.
The third camera interface 307c is an interface included in the third edge device 30c for connecting the third edge device 30c and the third camera device 40c.

次に、本実施形態によるカメラ装置４０の構成について説明する。
カメラ装置４０のそれぞれは、１つまたは複数のカメラを備える。本実施形態では、第一カメラ装置４０ａは、カメラ４０１ａ、カメラ４０２ａ及びカメラ４０３ａを備えるものとする。また、第二カメラ装置４０ｂは、カメラ４０１ｂ、カメラ４０２ｂ及びカメラ４０３ｂを備えるものとする。第三カメラ装置４０ｃは、カメラ４０１ｃ及びカメラ４０２ｃを備えるものとする。 Next, the configuration of the camera device 40 according to the present embodiment will be described.
Each of the camera devices 40 comprises one or more cameras. In the present embodiment, the first camera device 40a includes a camera 401a, a camera 402a, and a camera 403a. Further, the second camera device 40b shall include a camera 401b, a camera 402b, and a camera 403b. The third camera device 40c shall include a camera 401c and a camera 402c.

次に、第一エッジ装置３０ａ、第二エッジ装置３０ｂ、及び、第三エッジ装置３０ｃのそれぞれが記憶するデータテーブルについて説明する。
図８は、本実施形態による第一データテーブルＴＢＬ１を示す図である。
第一記憶部３０４ａは、第一特徴量抽出部３０５ａが抽出した人物特徴量を第一データテーブルＴＢＬ１に記憶する。例えば、第一記憶部３０４ａは、図８に示すように、第一特徴量抽出部３０５ａがカメラ４０１ａ、カメラ４０２ａ、及び、カメラ４０３ａのそれぞれの撮影した映像から抽出した人物特徴量を、カメラ毎に日時とインデックスとに関連付けて記憶する。なお、図８に示す第一データテーブルＴＢＬ１における捕捉日時とは、第一特徴量抽出部３０５ａが人物特徴量を抽出している映像部分をカメラ４０１ａ、カメラ４０２ａ、及び、カメラ４０３ａのそれぞれが撮影し始めた日時である。また、図８に示す第一データテーブルＴＢＬ１における解放日時とは、第一特徴量抽出部３０５ａが人物特徴量を抽出している映像部分をカメラ４０１ａ、カメラ４０２ａ、及び、カメラ４０３ａのそれぞれが撮影し終えた日時である。また、インデックスは、例えば、カメラ選択情報を送信した入力装置２０の識別子である入力装置ＩＤ、人物特徴量毎に割り当てる人物特徴量の識別子である人物特徴量ＩＤなどを含む情報である。 Next, the data tables stored in each of the first edge device 30a, the second edge device 30b, and the third edge device 30c will be described.
FIG. 8 is a diagram showing a first data table TBL1 according to the present embodiment.
The first storage unit 304a stores the person feature amount extracted by the first feature amount extraction unit 305a in the first data table TBL1. For example, as shown in FIG. 8, the first storage unit 304a extracts the person feature amount extracted from the images captured by the camera 401a, the camera 402a, and the camera 403a by the first feature amount extraction unit 305a for each camera. It is stored in association with the date and time and the index. The capture date and time in the first data table TBL1 shown in FIG. 8 means that the camera 401a, the camera 402a, and the camera 403a each photograph the image portion from which the first feature amount extraction unit 305a is extracting the person feature amount. It is the date and time when it started. Further, the release date and time in the first data table TBL1 shown in FIG. 8 means that the camera 401a, the camera 402a, and the camera 403a each photograph the image portion from which the first feature amount extraction unit 305a is extracting the person feature amount. It is the date and time when it was finished. Further, the index is information including, for example, an input device ID which is an identifier of the input device 20 which has transmitted the camera selection information, a person feature amount ID which is an identifier of the person feature amount assigned to each person feature amount, and the like.

図９は、本実施形態による第二データテーブルＴＢＬ２を示す図である。
第二記憶部３０４ｂは、第二特徴量抽出部３０５ｂが抽出した人物特徴量を第二データテーブルＴＢＬ２に記憶する。例えば、第二記憶部３０４ｂは、図９に示すように、第二特徴量抽出部３０５ｂがカメラ４０１ｂ、カメラ４０２ｂ、及び、カメラ４０３ｂのそれぞれの撮影した映像から抽出した人物特徴量を、カメラ毎に日時とインデックスとに関連付けて記憶する。 FIG. 9 is a diagram showing a second data table TBL2 according to the present embodiment.
The second storage unit 304b stores the person feature amount extracted by the second feature amount extraction unit 305b in the second data table TBL2. For example, as shown in FIG. 9, the second storage unit 304b extracts the person feature amount extracted from the images captured by the camera 401b, the camera 402b, and the camera 403b by the second feature amount extraction unit 305b for each camera. It is stored in association with the date and time and the index.

図１０は、本実施形態による第三データテーブルＴＢＬ３を示す図である。
第三記憶部３０４ｃは、第三特徴量抽出部３０５ｃが抽出した人物特徴量を第三データテーブルＴＢＬ３に記憶する。例えば、第三記憶部３０４ｃは、図１０に示すように、第三特徴量抽出部３０５ｃがカメラ４０１ｃ、及び、カメラ４０２ｃのそれぞれの撮影した映像から抽出した人物特徴量を、カメラ毎に日時とインデックスとに関連付けて記憶する。 FIG. 10 is a diagram showing a third data table TBL3 according to the present embodiment.
The third storage unit 304c stores the person feature amount extracted by the third feature amount extraction unit 305c in the third data table TBL3. For example, as shown in FIG. 10, the third storage unit 304c sets the date and time of the person feature amount extracted from the images captured by the camera 401c and the camera 402c by the third feature amount extraction unit 305c for each camera. Store in association with the index.

次に、センターシステム１０が記憶する総合データテーブルＳＴＢＬについて説明する。
図１１は、本実施形態による総合データテーブルＳＴＢＬを示す図である。
記憶部１０６（人物特徴量蓄積部）は、第一特徴量抽出部３０５ａ、第二特徴量抽出部３０５ｂ、及び、第三特徴量抽出部３０５ｃのそれぞれが抽出した人物特徴量を総合データテーブルＳＴＢＬに記憶する。例えば、記憶部１０６は、第一データテーブルＴＢＬ１、第二データテーブルＴＢＬ２、及び、第三データテーブルＴＢＬ３を１つのデータテーブルにまとめた、図１１に示すような総合データテーブルＳＴＢＬを記憶する。 Next, the comprehensive data table STBL stored in the center system 10 will be described.
FIG. 11 is a diagram showing a comprehensive data table STBL according to the present embodiment.
The storage unit 106 (personal feature amount storage unit) collects the personal feature amounts extracted by each of the first feature amount extraction unit 305a, the second feature amount extraction unit 305b, and the third feature amount extraction unit 305c in the comprehensive data table STBL. Remember in. For example, the storage unit 106 stores a comprehensive data table STBL as shown in FIG. 11, which is a collection of the first data table TBL1, the second data table TBL2, and the third data table TBL3 into one data table.

図１２及び図１３は、本実施形態による画像処理システム１の処理フローを示す図である。
次に、本実施形態による画像処理システム１の処理について説明する。
ここでは、画像処理システム１が、同系列の複数店舗において不審人物を監視する場合の処理について説明する。第一エッジ装置３０ａ及び第一カメラ装置４０ａは、第一店舗Ａに配置されているものとする。第二エッジ装置３０ｂ及び第二カメラ装置４０ｂは、第二店舗Ｂに配置されているものとする。第三エッジ装置３０ｃ及び第三カメラ装置４０ｃは、第三店舗Ｃに配置されているものとする。また、以下の説明では第一店舗Ａの従業員がユーザであり、人物特徴量が顔である場合を例に説明する。
なお、第一エッジ装置３０ａ、第二エッジ装置３０ｂ、及び第三エッジ装置３０ｃのそれぞれは独立して情報処理を行うが動作としては同様である為、図１２及び図１３に示す処理フローでは、エッジ装置３０と記載する。 12 and 13 are diagrams showing a processing flow of the image processing system 1 according to the present embodiment.
Next, the processing of the image processing system 1 according to the present embodiment will be described.
Here, the processing when the image processing system 1 monitors a suspicious person in a plurality of stores of the same series will be described. It is assumed that the first edge device 30a and the first camera device 40a are located in the first store A. It is assumed that the second edge device 30b and the second camera device 40b are located in the second store B. It is assumed that the third edge device 30c and the third camera device 40c are located in the third store C. Further, in the following description, a case where the employee of the first store A is a user and the person feature amount is a face will be described as an example.
The first edge device 30a, the second edge device 30b, and the third edge device 30c each perform information processing independently, but the operations are the same. Therefore, in the processing flow shown in FIGS. 12 and 13. It is described as an edge device 30.

まず、図１２の処理フローに示す本実施形態による画像処理システム１が行う人物特徴量の抽出処理について説明する。
ユーザは、顔を抽出させる同系列の複数店舗に設置されたカメラを選択するカメラ選択情報入力操作を入力装置２０に対して行う。
情報入力部２０２は、ユーザによるカメラ選択情報入力操作に応じたカメラ選択情報を入力する（ステップＳ１）。なお、カメラ選択情報は、第一店舗Ａに設置されたカメラ、第二店舗Ｂに設置されたカメラ、及び、第三店舗Ｃに設置されたカメラのすべてを選択することを示すカメラ選択情報である。第一店舗Ａに設置されたカメラは、カメラ４０１ａ、カメラ４０２ａ、及び、カメラ４０３ａである。第二店舗Ｂに設置されたカメラは、カメラ４０１ｂ、カメラ４０２ｂ、及び、カメラ４０３ｂである。第三店舗Ｃに設置されたカメラは、カメラ４０１ｃ、及び、カメラ４０２ｃである。
そして、情報入力部２０２は、顔の抽出を開始するか否かを判定する（ステップＳ２）。情報入力部２０２は、顔の抽出を開始する開始指示を入力する開始指示入力操作を検出しない場合には、ステップＳ２の処理に戻す。 First, the extraction processing of the person feature amount performed by the image processing system 1 according to the present embodiment shown in the processing flow of FIG. 12 will be described.
The user performs a camera selection information input operation on the input device 20 to select cameras installed in a plurality of stores of the same series for extracting faces.
The information input unit 202 inputs camera selection information according to the camera selection information input operation by the user (step S1). The camera selection information is camera selection information indicating that all of the cameras installed in the first store A, the cameras installed in the second store B, and the cameras installed in the third store C are selected. be. The cameras installed in the first store A are the camera 401a, the camera 402a, and the camera 403a. The cameras installed in the second store B are the camera 401b, the camera 402b, and the camera 403b. The cameras installed in the third store C are the camera 401c and the camera 402c.
Then, the information input unit 202 determines whether or not to start the face extraction (step S2). If the information input unit 202 does not detect the start instruction input operation for inputting the start instruction to start the face extraction, the process returns to the process of step S2.

ユーザは、顔の抽出を開始する開始指示を入力する開始指示入力操作を入力装置２０に対して行う。
情報入力部２０２は、ユーザによる開始指示入力操作を検出し（ステップＳ２、ＹＥＳ）、カメラ選択情報をセンターシステム１０に送信する（ステップＳ３）。 The user performs a start instruction input operation for inputting a start instruction for starting face extraction to the input device 20.
The information input unit 202 detects the start instruction input operation by the user (step S2, YES) and transmits the camera selection information to the center system 10 (step S3).

カメラ選択部１０５は、カメラ選択情報を受信するか否かを判定する（ステップＳ４）。カメラ選択部１０５は、カメラ選択情報を受信しない場合には、ステップＳ４の処理に戻す。
カメラ選択部１０５は、入力装置２０からカメラ選択情報を受信すると（ステップＳ４、ＹＥＳ）、受信したカメラ選択情報に基づいて、エッジ装置を特定する（ステップＳ５）。具体的には、カメラ選択部１０５は、カメラ選択情報に含まれるカメラ４０１ａ、カメラ４０２ａ、及び、カメラ４０３ａに対応する第一エッジ装置３０ａ、カメラ４０１ｂ、カメラ４０２ｂ、及び、カメラ４０３ｂに対応する第二エッジ装置３０ｂ、カメラ４０１ｃ、及び、カメラ４０２ｃに対応する第三エッジ装置３０ｃを特定する。例えば、カメラ選択部１０５は、この特定をカメラとエッジ装置との対応関係を示すデータテーブルのカメラと、受信したカメラ選択情報に含まれるカメラとを順に比較し、一致するカメラを特定する。カメラ選択部１０５は、一致するカメラに対応するエッジ装置を選択したエッジ装置と特定する。 The camera selection unit 105 determines whether or not to receive the camera selection information (step S4). When the camera selection unit 105 does not receive the camera selection information, the process returns to the process of step S4.
When the camera selection unit 105 receives the camera selection information from the input device 20 (step S4, YES), the camera selection unit 105 identifies the edge device based on the received camera selection information (step S5). Specifically, the camera selection unit 105 is the first edge device 30a, the camera 401b, the camera 402b, and the camera 403b corresponding to the camera 401a, the camera 402a, and the camera 403a included in the camera selection information. The two-edge device 30b, the camera 401c, and the third edge device 30c corresponding to the camera 402c are specified. For example, the camera selection unit 105 compares the camera in the data table showing the correspondence between the camera and the edge device and the camera included in the received camera selection information in order, and identifies a matching camera. The camera selection unit 105 identifies the edge device corresponding to the matching camera as the selected edge device.

カメラ選択部１０５は、特定した第一エッジ装置３０ａ、第二エッジ装置３０ｂ、及び、第三エッジ装置３０ｃのそれぞれにカメラ選択情報と、人物特徴量の抽出の開始を指示する特徴量抽出開始指示とを送信する（ステップＳ６）。 The camera selection unit 105 instructs each of the specified first edge device 30a, second edge device 30b, and third edge device 30c to start extracting the camera selection information and the person feature amount. And are transmitted (step S6).

第一映像受信部３０６ａは、人物特徴量抽出開始指示を受信したか否かを判定し（ステップＳ７）、その判定結果に基づいて人物特徴量抽出を開始するか否かを判定する。 The first video receiving unit 306a determines whether or not the person feature amount extraction start instruction has been received (step S7), and determines whether or not to start the person feature amount extraction based on the determination result.

第一映像受信部３０６ａは、人物特徴量抽出開始指示を受信しないと判定した場合（ステップＳ７、ＮＯ）、人物特徴量抽出を開始しないと判定する。この場合、第一映像受信部３０６ａは、カメラ４０１ａ、カメラ４０２ａ、及び、カメラ４０３ａのそれぞれからカメラ映像を受信し（ステップＳ８）、受信したカメラ映像を第一記憶部３０４ａに記録する（ステップＳ９）。 When the first video receiving unit 306a determines that the person feature amount extraction start instruction is not received (step S7, NO), it determines that the person feature amount extraction is not started. In this case, the first video receiving unit 306a receives the camera image from each of the camera 401a, the camera 402a, and the camera 403a (step S8), and records the received camera image in the first storage unit 304a (step S9). ).

また、第一映像受信部３０６ａは、人物特徴量抽出開始指示を受信したと判定した場合（ステップＳ７、ＹＥＳ）、人物特徴量抽出を開始すると判定する。この場合、第一映像受信部３０６ａは、カメラ選択情報が示すカメラ４０１ａ、カメラ４０２ａ、及び、カメラ４０３ａのそれぞれからカメラ映像を受信する（ステップＳ１０）。
第一特徴量抽出部３０５ａは、第一映像受信部３０６ａが受信したそれぞれのカメラ映像から顔を抽出する（ステップＳ１１）。第一特徴量抽出部３０５ａは、抽出した顔に対してインデックスを生成する（ステップＳ１２）。第一特徴量抽出部３０５ａは、抽出した顔と共に生成したインデックスをセンターシステム１０に送信する（ステップＳ１３）。
また、第一特徴量抽出部３０５ａは、抽出した顔の顔情報と共に生成したインデックスを第一記憶部３０４ａの第一データテーブルＴＢＬ１に記録する（ステップＳ１４）。また、第一特徴量抽出部３０５ａは、それぞれのカメラ映像に生成したインデックスを付与し（ステップＳ１５）、それぞれのカメラ映像を第一記憶部３０４ａに記録する（ステップＳ１６）。 Further, when it is determined that the first video receiving unit 306a has received the person feature amount extraction start instruction (step S7, YES), it is determined that the person feature amount extraction is started. In this case, the first video receiving unit 306a receives the camera video from each of the camera 401a, the camera 402a, and the camera 403a indicated by the camera selection information (step S10).
The first feature amount extraction unit 305a extracts a face from each camera image received by the first image reception unit 306a (step S11). The first feature amount extraction unit 305a generates an index for the extracted face (step S12). The first feature amount extraction unit 305a transmits the index generated together with the extracted face to the center system 10 (step S13).
Further, the first feature amount extraction unit 305a records the index generated together with the face information of the extracted face in the first data table TBL1 of the first storage unit 304a (step S14). Further, the first feature amount extraction unit 305a adds an index generated to each camera image (step S15), and records each camera image in the first storage unit 304a (step S16).

第二映像受信部３０６ｂは、第一映像受信部３０６ａと同様に、人物特徴量抽出開始指示を受信したと判定した場合（ステップＳ７、ＹＥＳ）、人物特徴量抽出を開始すると判定する。この場合、第二映像受信部３０６ｂは、カメラ選択情報が示すカメラ４０１ｂ、カメラ４０２ｂ、及び、カメラ４０３ｂのそれぞれからカメラ映像を受信する（ステップＳ１０）。
第二特徴量抽出部３０５ｂは、第二映像受信部３０６ｂが受信したそれぞれのカメラ映像から顔を抽出する（ステップＳ１１）。第二特徴量抽出部３０５ｂは、抽出した顔に対してインデックスを生成する（ステップＳ１２）。第二特徴量抽出部３０５ｂは、抽出した顔と共に生成したインデックスをセンターシステム１０に送信する（ステップＳ１３）。
また、第二特徴量抽出部３０５ｂは、抽出した顔の顔情報と共に生成したインデックスを第二記憶部３０４ｂの第二データテーブルＴＢＬ２に記録する（ステップＳ１４）。また、第二特徴量抽出部３０５ｂは、それぞれのカメラ映像に生成したインデックスを付与し（ステップＳ１５）、それぞれのカメラ映像を第二記憶部３０４ｂに記録する（ステップＳ１６）。 Similar to the first video receiving unit 306a, the second video receiving unit 306b determines that the person feature amount extraction is started when it is determined that the person feature amount extraction start instruction has been received (step S7, YES). In this case, the second video receiving unit 306b receives the camera video from each of the camera 401b, the camera 402b, and the camera 403b indicated by the camera selection information (step S10).
The second feature amount extraction unit 305b extracts a face from each camera image received by the second image receiving unit 306b (step S11). The second feature amount extraction unit 305b generates an index for the extracted face (step S12). The second feature amount extraction unit 305b transmits the index generated together with the extracted face to the center system 10 (step S13).
Further, the second feature amount extraction unit 305b records the index generated together with the face information of the extracted face in the second data table TBL2 of the second storage unit 304b (step S14). Further, the second feature amount extraction unit 305b adds an index generated to each camera image (step S15), and records each camera image in the second storage unit 304b (step S16).

第三映像受信部３０６ｃは、第一映像受信部３０６ａと同様に、人物特徴量抽出開始指示を受信したと判定した場合（ステップＳ７、ＹＥＳ）、人物特徴量抽出を開始すると判定する。この場合、第三映像受信部３０６ｃは、カメラ選択情報が示すカメラ４０１ｃ、及び、カメラ４０２ｃのそれぞれからカメラ映像を受信する（ステップＳ１０）。
第三特徴量抽出部３０５ｃは、第三映像受信部３０６ｃが受信したそれぞれのカメラ映像から顔を抽出する（ステップＳ１１）。第三特徴量抽出部３０５ｃは、抽出した顔に対してインデックスを生成する（ステップＳ１２）。第三特徴量抽出部３０５ｃは、抽出した顔と共に生成したインデックスをセンターシステム１０に送信する（ステップＳ１３）。
また、第三特徴量抽出部３０５ｃは、抽出した顔の顔情報と共に生成したインデックスを第三記憶部３０４ｃの第三データテーブルＴＢＬ３に記録する（ステップＳ１４）。また、第三特徴量抽出部３０５ｃは、それぞれのカメラ映像に生成したインデックスを付与し（ステップＳ１５）、それぞれのカメラ映像を第三記憶部３０４ｃに記録する（ステップＳ１６）。 Similar to the first video receiving unit 306a, the third video receiving unit 306c determines that the person feature amount extraction is started when it is determined that the person feature amount extraction start instruction has been received (step S7, YES). In this case, the third video receiving unit 306c receives the camera video from each of the camera 401c and the camera 402c indicated by the camera selection information (step S10).
The third feature amount extraction unit 305c extracts a face from each camera image received by the third image reception unit 306c (step S11). The third feature amount extraction unit 305c generates an index for the extracted face (step S12). The third feature amount extraction unit 305c transmits the index generated together with the extracted face to the center system 10 (step S13).
Further, the third feature amount extraction unit 305c records the index generated together with the face information of the extracted face in the third data table TBL3 of the third storage unit 304c (step S14). Further, the third feature amount extraction unit 305c adds an index generated to each camera image (step S15), and records each camera image in the third storage unit 304c (step S16).

出現状態判定部１０１は、第一エッジ装置３０ａ、第二エッジ装置３０ｂ、及び、第三エッジ装置３０ｃのそれぞれから顔情報とインデックスを受信すると（ステップＳ１７）、受信した顔情報とインデックスを関連付けて記憶部１０６の総合データテーブルＳＴＢＬに記録する（ステップＳ１８）。
なお、このとき、センターシステム１０は、第一エッジ装置３０ａ、第二エッジ装置３０ｂ、及び、第三エッジ装置３０ｃのそれぞれからカメラ映像を受信せず、顔情報（人物特徴量）とインデックスのみを受信することで、通信データ量を削減することができる。ただし、センターシステム１０は、第一エッジ装置３０ａ、第二エッジ装置３０ｂ、及び、第三エッジ装置３０ｃのそれぞれから顔情報（人物特徴量）とインデックスと共にカメラ映像を受信してもよい。また、センターシステム１０は、第一エッジ装置３０ａ、第二エッジ装置３０ｂ、及び、第三エッジ装置３０ｃのそれぞれから受信したカメラ映像を記憶部に記録してもよい。 When the appearance state determination unit 101 receives the face information and the index from each of the first edge device 30a, the second edge device 30b, and the third edge device 30c (step S17), the appearance state determination unit 101 associates the received face information with the index. Recording is performed in the comprehensive data table STBL of the storage unit 106 (step S18).
At this time, the center system 10 does not receive the camera image from each of the first edge device 30a, the second edge device 30b, and the third edge device 30c, and only receives the face information (personal feature amount) and the index. By receiving, the amount of communication data can be reduced. However, the center system 10 may receive the camera image together with the face information (personal feature amount) and the index from each of the first edge device 30a, the second edge device 30b, and the third edge device 30c. Further, the center system 10 may record camera images received from each of the first edge device 30a, the second edge device 30b, and the third edge device 30c in the storage unit.

その後、ユーザは、人物特徴量の抽出を終了する終了指示を入力する終了指示入力操作を行う。
情報入力部２０２は、ユーザによる終了指示入力操作に基づいて、終了指示を入力する（ステップＳ１９）。情報入力部２０２は、終了指示をセンターシステム１０に送信する（ステップＳ２０）。 After that, the user performs an end instruction input operation for inputting an end instruction for ending the extraction of the person feature amount.
The information input unit 202 inputs an end instruction based on the end instruction input operation by the user (step S19). The information input unit 202 transmits the end instruction to the center system 10 (step S20).

出現状態判定部１０１は、人物特徴量の抽出を終了するか否かを常時判定している（ステップＳ２１）。
出現状態判定部１０１は、入力装置２０から終了指示を受信しない場合（ステップＳ２１、ＮＯ）、ステップＳ１７の処理に戻す。
また、出現状態判定部１０１は、入力装置２０から終了指示を受信した場合（ステップＳ２１、ＹＥＳ）、人物特徴量の抽出の終了を示す特徴量抽出終了指示を第一エッジ装置３０ａ、第二エッジ装置３０ｂ、及び、第三エッジ装置３０ｃのそれぞれに送信する（ステップＳ２２）。 The appearance state determination unit 101 constantly determines whether or not to end the extraction of the person feature amount (step S21).
When the appearance state determination unit 101 does not receive the end instruction from the input device 20 (step S21, NO), the appearance state determination unit 101 returns to the process of step S17.
Further, when the appearance state determination unit 101 receives the end instruction from the input device 20 (step S21, YES), the appearance state determination unit 101 issues a feature amount extraction end instruction indicating the end of the extraction of the person feature amount to the first edge device 30a and the second edge. Transmission is performed to each of the device 30b and the third edge device 30c (step S22).

第一特徴量抽出部３０５ａは、センターシステム１０から特徴量抽出終了指示を受信したか否かを判定し（ステップＳ２３）、その判定結果に基づいてカメラ映像における顔の抽出を終了するか否かを判定する。 The first feature amount extraction unit 305a determines whether or not the feature amount extraction end instruction has been received from the center system 10 (step S23), and whether or not to end the face extraction in the camera image based on the determination result. To judge.

第一特徴量抽出部３０５ａは、特徴量抽出終了指示を受信しないと判定した場合（ステップＳ２３、ＮＯ）、カメラ映像における顔の抽出を終了しないと判定する。この場合、第一特徴量抽出部３０５ａは、ステップＳ１０の処理に戻す。 When the first feature amount extraction unit 305a determines that the feature amount extraction end instruction is not received (step S23, NO), it determines that the face extraction in the camera image is not completed. In this case, the first feature amount extraction unit 305a returns to the process of step S10.

また、第一映像受信部３０６ａは、特徴量抽出終了指示を受信したと判定した場合（ステップＳ２３、ＹＥＳ）、カメラ映像における顔の抽出を終了すると判定する。この場合、第一映像受信部３０６ａは、ステップＳ８の処理に戻す。
以上が本実施形態による画像処理システム１の行う人物特徴量の抽出処理である。 Further, when the first image receiving unit 306a determines that the feature amount extraction end instruction has been received (step S23, YES), it determines that the face extraction in the camera image is completed. In this case, the first video receiving unit 306a returns to the process of step S8.
The above is the extraction process of the person feature amount performed by the image processing system 1 according to the present embodiment.

次に、図１３の処理フローに示す本実施形態による画像処理システム１が行う所定人物候補を推定する処理について説明する。
人物特徴量の抽出処理の後、入力装置２０を操作したユーザ、または、不審者を特定する別のユーザ（例えば、警察官など）は、不審人物の抽出の開始を指示する不審人物抽出開始指示を入力する不審人物抽出開始指示入力操作をセンターシステム１０に対して直接または遠隔に設置されて通信によって接続された装置を介して行う。 Next, a process of estimating a predetermined person candidate performed by the image processing system 1 according to the present embodiment shown in the processing flow of FIG. 13 will be described.
After the extraction process of the person feature amount, the user who operates the input device 20 or another user who identifies the suspicious person (for example, a police officer) instructs the start of the extraction of the suspicious person. The suspicious person extraction start instruction input operation is performed via a device installed directly or remotely to the center system 10 and connected by communication.

記憶部１０６は、条件入力部１０７を介して入力された不審人物と判定する人物候補判定条件を予め記憶している。例えば、不審人物と判定する人物候補判定条件とは、同じ日に同じ店舗に何度も出入りしている、同じ日に同じ店舗に長時間店舗にいるが商品を購入しない、同じ日に同系列の複数店舗に何度も出入りしている、同じ日に同系列の複数店舗に長時間店舗にいるが商品を購入しない、複数日にわたり頻繁に同系列の複数店舗に来店するが商品を購入しないなどの万引きする可能性のある人物を特定する条件である。また、不審人物と判定する人物候補判定条件とは、同じ日に同じ店舗に何度も出入りして何度も商品を購入している、同じ日に同系列の複数店舗に何度も出入りして何度も商品を購入している、及び、複数日にわたり頻繁に各店舗に来店し何度も商品を購入しているなどに基づいて決定される、人物の出現回数及び人物の出現時間などの大量購入する可能性のある人物を特定する条件である。 The storage unit 106 stores in advance the person candidate determination conditions for determining a suspicious person input via the condition input unit 107. For example, the conditions for determining a person candidate to be judged as a suspicious person are that the person goes in and out of the same store many times on the same day, stays in the same store for a long time on the same day but does not purchase the product, and the same series on the same day. I have been in and out of multiple stores many times, I have been in multiple stores of the same series for a long time on the same day but do not purchase products, I frequently visit multiple stores of the same series for multiple days but do not purchase products It is a condition to identify a person who may shoplift. In addition, the person candidate judgment condition for judging a suspicious person is that the person goes in and out of the same store many times on the same day and purchases the product many times, and goes in and out of multiple stores of the same series many times on the same day. The number of appearances of a person and the appearance time of a person, etc., which are determined based on the fact that the product has been purchased many times, and that the product has been purchased many times at each store over multiple days. It is a condition to identify a person who may purchase in large quantities.

所定人物候補推定部１０２は、不審人物抽出開始指示を入力すると（ステップＳ３１）、記憶部１０６の記憶するカメラ映像と顔情報とインデックス、及び、出現状態に基づいて、不審人物を特定する（ステップＳ３２）。具体的には、所定人物候補推定部１０２は、記憶部１０６が記憶する総合データテーブルＳＴＢＬにおける顔情報（特徴量）毎にデータを並べ替えて、各顔情報の出現回数、各顔情報の出現挿時間などを特定し、人物候補判定条件を満たした場合にその顔情報に対応する人物が不審人物であると特定する。なお、所定人物候補推定部１０２は、レジスターの位置に配置されたカメラのカメラ映像において顔が抽出された場合に、その顔の人物が商品を購入したと判定する。また、所定人物候補推定部１０２は、レジスターの位置に配置されたカメラのカメラ映像において顔が抽出されない場合に、その顔の人物が商品を購入しなかったと判定する。また、所定人物候補推定部１０２は、店舗の出入り口に配置されたカメラのカメラ映像において顔が抽出された回数に応じて、その顔の人物の出現回数をカウントする。
所定人物候補推定部１０２は、特定した不審人物についての不審人物特定結果であるカメラ映像とインデックスとを記憶部１０６に記録する（ステップＳ３３）。
以上が本実施形態による画像処理システム１の行う所定人物候補を推定する処理である。
所定人物候補推定部１０２は、不審人物を特定した場合に、その不審人物の特徴量が抽出されたカメラ映像に基づいて、不審人物の顔、身長、性別、服装、持ち物など不審人物の容姿がわかるカメラ映像のデータを入力装置２０に送信してもよい。この場合、表示制御部２０３は、センターシステム１０から不審人物の容姿がわかるカメラ映像のデータを表示部に表示させることで、ユーザは不審人物を確認することができる。また、所定人物候補推定部１０２は、不審人物の容姿がわかるカメラ映像のデータを警視庁などに提供してもよい。この場合、犯罪の防止に役立てることができる。 When the predetermined person candidate estimation unit 102 inputs the suspicious person extraction start instruction (step S31), the predetermined person candidate estimation unit 102 identifies the suspicious person based on the camera image, the face information, the index, and the appearance state stored in the storage unit 106 (step S31). S32). Specifically, the predetermined person candidate estimation unit 102 rearranges the data for each face information (feature amount) in the comprehensive data table STBL stored in the storage unit 106, and the number of appearances of each face information and the appearance of each face information. The insertion time and the like are specified, and when the person candidate determination condition is satisfied, the person corresponding to the face information is specified as a suspicious person. When a face is extracted from the camera image of the camera arranged at the position of the register, the predetermined person candidate estimation unit 102 determines that the person with that face has purchased the product. Further, the predetermined person candidate estimation unit 102 determines that the person with the face did not purchase the product when the face is not extracted from the camera image of the camera arranged at the position of the register. Further, the predetermined person candidate estimation unit 102 counts the number of appearances of the person with the face according to the number of times the face is extracted in the camera image of the camera arranged at the entrance / exit of the store.
The predetermined person candidate estimation unit 102 records the camera image and the index, which are the suspicious person identification results for the specified suspicious person, in the storage unit 106 (step S33).
The above is the process of estimating a predetermined person candidate performed by the image processing system 1 according to the present embodiment.
When the predetermined person candidate estimation unit 102 identifies the suspicious person, the appearance of the suspicious person such as the face, height, gender, clothes, and belongings of the suspicious person is displayed based on the camera image from which the feature amount of the suspicious person is extracted. The data of the camera image that can be understood may be transmitted to the input device 20. In this case, the display control unit 203 allows the user to confirm the suspicious person by displaying the data of the camera image showing the appearance of the suspicious person from the center system 10 on the display unit. Further, the predetermined person candidate estimation unit 102 may provide the data of the camera image showing the appearance of the suspicious person to the Metropolitan Police Department or the like. In this case, it can be used to prevent crime.

以上、本発明の第一の実施形態による画像処理システム１について説明した。上述の画像処理システム１の画像処理装置１００において、出現状態判定部１０１は、撮影された映像における人物の出現状態を判定する。所定人物候補推定部１０２は、出現状態判定部１０１が判定した出現状態に基づいて所定人物候補を推定する。
こうすることで、不審人物などの指定した条件に基づく人物候補を特定することができる。 The image processing system 1 according to the first embodiment of the present invention has been described above. In the image processing device 100 of the image processing system 1 described above, the appearance state determination unit 101 determines the appearance state of a person in the captured image. The predetermined person candidate estimation unit 102 estimates the predetermined person candidate based on the appearance state determined by the appearance state determination unit 101.
By doing so, it is possible to identify a person candidate based on a specified condition such as a suspicious person.

＜第二の実施形態＞
次に、本発明の第二の実施形態による画像処理装置１００を備える画像処理システム１について説明する。
本実施形態による画像処理システム１は、図２に示した画像処理システム１と同様に、センターシステム１０と、入力装置２０と、第一エッジ装置３０ａと、第二エッジ装置３０ｂと、第三エッジ装置３０ｃと、第一カメラ装置４０ａと、第二カメラ装置４０ｂと、第三カメラ装置４０ｃと、を備える。
なお、本実施形態による画像処理システム１と第一の実施形態による画像処理システム１との違いは、入力装置２０である。 <Second embodiment>
Next, the image processing system 1 including the image processing apparatus 100 according to the second embodiment of the present invention will be described.
The image processing system 1 according to the present embodiment is the same as the image processing system 1 shown in FIG. 2, the center system 10, the input device 20, the first edge device 30a, the second edge device 30b, and the third edge. A device 30c, a first camera device 40a, a second camera device 40b, and a third camera device 40c are provided.
The difference between the image processing system 1 according to the present embodiment and the image processing system 1 according to the first embodiment is the input device 20.

図１４は、本実施形態による入力装置２０の構成を示す図である。
次に、本実施形態による入力装置２０の構成について説明する。
本実施形態による入力装置２０は、図１４に示すように、図４に示した通信部２０１と、情報入力部２０２と、表示制御部２０３と、に加えて、更に位置特定部２０４と、カメラ選択情報生成部２０５と、を備える。 FIG. 14 is a diagram showing a configuration of an input device 20 according to the present embodiment.
Next, the configuration of the input device 20 according to the present embodiment will be described.
As shown in FIG. 14, the input device 20 according to the present embodiment includes a communication unit 201, an information input unit 202, a display control unit 203, a position specifying unit 204, and a camera, as shown in FIG. It includes a selection information generation unit 205.

位置特定部２０４は、入力装置２０の位置を特定する。通信部２０１は、センターシステム１０と情報の送受信を行う。
カメラ選択情報生成部２０５は、位置特定部２０４が特定した入力装置２０の位置に基づいて、撮影された映像における人物の出現状態を撮影するカメラを特定するカメラ選択情報を生成する。例えば、カメラ選択情報生成部２０５は、位置特定部２０４が特定した入力装置２０の位置を中心に１キロメートル以内に設置されたカメラ、入力装置２０の位置から最も近くに設置されているカメラなど所定条件のカメラを選択するカメラ選択情報を生成する。 The position specifying unit 204 specifies the position of the input device 20. The communication unit 201 transmits / receives information to / from the center system 10.
The camera selection information generation unit 205 generates camera selection information that identifies a camera that captures the appearance state of a person in the captured image based on the position of the input device 20 specified by the position identification unit 204. For example, the camera selection information generation unit 205 defines a camera installed within 1 km from the position of the input device 20 specified by the position identification unit 204, a camera installed closest to the position of the input device 20, and the like. Select the camera of the condition Generate camera selection information.

次に、本実施形態による画像処理システム１の処理について説明する。
ここでは、画像処理システム１が、ストーカーを監視する場合の処理について説明する。本実施形態ではストーカー被害にあっている人物がユーザである。
なお、本実施形態による画像処理システム１の処理フローは、図１２及び図１３で示した第一の実施形態による画像処理システム１の処理フローのうちステップＳ１とステップＳ３の処理が異なる以外は同様である。 Next, the processing of the image processing system 1 according to the present embodiment will be described.
Here, the processing when the image processing system 1 monitors the stalker will be described. In this embodiment, the user is the person who is suffering from stalking.
The processing flow of the image processing system 1 according to the present embodiment is the same except that the processing of steps S1 and S3 is different from the processing flow of the image processing system 1 according to the first embodiment shown in FIGS. 12 and 13. Is.

ステップＳ１のカメラ選択情報を入力する処理を行わず、情報入力部２０２は、ステップＳ２の顔の抽出を開始するか否かを判定する。情報入力部２０２は、顔の抽出を開始する開始指示を入力する開始指示入力操作を検出しない場合には、ステップＳ２の処理に戻す。情報入力部２０２は、開始指示入力操作を検出した場合には、ステップＳ３の処理に代わって、位置特定部２０４は、入力装置２０を携帯するユーザが移動中に、所定の時間間隔で入力装置２０の位置を特定する。例えば、位置特定部２０４は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）の機能を用いて入力装置２０の位置を特定する。位置特定部２０４は、特定した入力装置２０の位置を所定の時間間隔でカメラ選択情報生成部２０５に出力する。カメラ選択情報生成部２０５は、位置特定部２０４から入力した入力装置２０の位置に基づいて、カメラ選択情報を生成する。カメラ選択情報生成部２０５は、生成したカメラ選択情報をセンターシステム１０に送信する。 The information input unit 202 determines whether or not to start the face extraction in step S2 without performing the process of inputting the camera selection information in step S1. If the information input unit 202 does not detect the start instruction input operation for inputting the start instruction to start the face extraction, the process returns to the process of step S2. When the information input unit 202 detects the start instruction input operation, instead of the process of step S3, the position identification unit 204 is an input device at predetermined time intervals while the user carrying the input device 20 is moving. Identify the position of 20. For example, the position specifying unit 204 identifies the position of the input device 20 by using the function of GPS (Global Positioning System). The position specifying unit 204 outputs the position of the specified input device 20 to the camera selection information generation unit 205 at predetermined time intervals. The camera selection information generation unit 205 generates camera selection information based on the position of the input device 20 input from the position identification unit 204. The camera selection information generation unit 205 transmits the generated camera selection information to the center system 10.

カメラ選択部１０５がステップＳ４の処理でカメラ選択情報を受信すると判定する度に、ステップＳ５以降の処理を行えばよい。 Every time the camera selection unit 105 determines that the camera selection information is received in the process of step S4, the processes of step S5 and subsequent steps may be performed.

なお、画像処理装置１００の記憶部１０６が入力装置２０の位置を中心に１キロメートル以内に設置されたカメラ、入力装置２０の位置から最も近くに設置されているカメラなど所定条件を記憶している場合には、入力装置２０は、カメラ選択情報生成部２０５を備えず、位置特定部２０４が特定した入力装置２０の位置を送信してよい。また、ＧＰＳからセンターシステム１０が直接入力装置２０の位置を取得するものであってもよい。これらの場合、画像処理装置１００のカメラ選択部１０５は、取得した入力装置２０の位置と記憶部１０６が記憶する所定条件とに基づいてエッジ装置を特定すればよい。 The storage unit 106 of the image processing device 100 stores predetermined conditions such as a camera installed within 1 km from the position of the input device 20 and a camera installed closest to the position of the input device 20. In this case, the input device 20 may not include the camera selection information generation unit 205, and may transmit the position of the input device 20 specified by the position specifying unit 204. Further, the center system 10 may directly acquire the position of the input device 20 from GPS. In these cases, the camera selection unit 105 of the image processing device 100 may specify the edge device based on the acquired position of the input device 20 and the predetermined conditions stored by the storage unit 106.

以上、本発明の第二の実施形態による画像処理システム１について説明した。上述の画像処理システム１の画像処理装置１００において、出現状態判定部１０１は、人物候補判定条件に基づいて、撮影された映像における人物の出現状態を判定する。所定人物候補推定部１０２は、出現状態判定部１０１が判定した出現状態に基づいて所定人物候補を推定する。
こうすることで、不審人物などの指定した条件に基づく人物候補を特定することができる。 The image processing system 1 according to the second embodiment of the present invention has been described above. In the image processing device 100 of the image processing system 1 described above, the appearance state determination unit 101 determines the appearance state of a person in the captured image based on the person candidate determination condition. The predetermined person candidate estimation unit 102 estimates the predetermined person candidate based on the appearance state determined by the appearance state determination unit 101.
By doing so, it is possible to identify a person candidate based on a specified condition such as a suspicious person.

また、位置特定部２０４は、入力装置２０を携帯するユーザが移動中に、所定の時間間隔で入力装置２０の位置を特定する。位置特定部２０４は、特定した入力装置２０の位置を所定の時間間隔でカメラ選択情報生成部２０５に出力する。カメラ選択情報生成部２０５は、位置特定部２０４から入力した入力装置２０の位置に基づいて、カメラ選択情報を生成する。カメラ選択情報生成部２０５は、生成したカメラ選択情報をセンターシステム１０に送信する。カメラ選択部１０５がカメラ選択情報生成部２０５が生成したカメラ選択情報を受信すると判定する度にステップＳ５以降の処理を行う。
こうすることで、ストーカーを監視するような撮影された映像における人物の出現状態を撮影するカメラを時々刻々と変更する必要がある場合にも対応することができる。 Further, the position specifying unit 204 identifies the position of the input device 20 at predetermined time intervals while the user carrying the input device 20 is moving. The position specifying unit 204 outputs the position of the specified input device 20 to the camera selection information generation unit 205 at predetermined time intervals. The camera selection information generation unit 205 generates camera selection information based on the position of the input device 20 input from the position identification unit 204. The camera selection information generation unit 205 transmits the generated camera selection information to the center system 10. Every time the camera selection unit 105 determines that the camera selection information generation unit 205 receives the camera selection information generated, the processes after step S5 are performed.
By doing so, it is possible to cope with the case where it is necessary to change the camera that captures the appearance state of the person in the captured image such as monitoring the stalker from moment to moment.

なお、本発明の実施形態において、情報の送受信が適切に行われる限り、画像処理装置１００が備える各機能部の一部またはすべてが、第一エッジ装置３０ａ、第二エッジ装置３０ｂ、第三エッジ装置３０ｃ、・・・第ｎエッジ装置３０ｎのうちの何れかに備えられていてよい。また、画像処理装置１００が備える各機能部の一部またはすべてが、第一エッジ装置３０ａ、第二エッジ装置３０ｂ、第三エッジ装置３０ｃ、・・・第ｎエッジ装置３０ｎのうちの何れかに分散されて備えられていてもよい。 In the embodiment of the present invention, as long as information is appropriately transmitted and received, some or all of the functional units included in the image processing device 100 are the first edge device 30a, the second edge device 30b, and the third edge. The device 30c, ... May be provided in any of the nth edge devices 30n. Further, a part or all of each functional unit included in the image processing device 100 is any one of the first edge device 30a, the second edge device 30b, the third edge device 30c, ... The nth edge device 30n. It may be distributed and provided.

なお、本発明の実施形態において、情報の送受信が適切に行われる限り、第一エッジ装置３０ａ、第二エッジ装置３０ｂ、第三エッジ装置３０ｃ、・・・第ｎエッジ装置３０ｎの各機能部の一部またはすべてが、センターシステム１０に備えられていてよい。 In the embodiment of the present invention, as long as information is appropriately transmitted and received, the functional parts of the first edge device 30a, the second edge device 30b, the third edge device 30c, ... Some or all may be provided in the center system 10.

なお、本発明の実施形態において、入力装置２０を任意の固定した箇所に設置してもよい場合（例えば、第一の実施形態のように入力装置２０の位置が撮影するカメラの位置と無関係な場合）、情報の送受信が適切に行われる限り、入力装置２０の各機能部の一部またはすべてが、センターシステム１０に備えられていてよい。また、本発明の実施形態において、入力装置２０を任意の固定した箇所に設置してもよい場合、情報の送受信が適切に行われる限り、入力装置２０の各機能部の一部またはすべてが、第一エッジ装置３０ａ、第二エッジ装置３０ｂ、第三エッジ装置３０ｃ、・・・第ｎエッジ装置３０ｎのうちの何れかに備えられていてよい。また、本発明の実施形態において、入力装置２０を任意の固定した箇所に設置してもよい場合、情報の送受信が適切に行われる限り、入力装置２０の各機能部の一部またはすべてが、センターシステム１０、第一エッジ装置３０ａ、第二エッジ装置３０ｂ、第三エッジ装置３０ｃ、・・・第ｎエッジ装置３０ｎのうちの何れかに分散されて備えられていてもよい。 In the embodiment of the present invention, when the input device 20 may be installed at an arbitrary fixed position (for example, the position of the input device 20 is irrelevant to the position of the camera to be photographed as in the first embodiment). Case), as long as information is properly transmitted and received, a part or all of each functional unit of the input device 20 may be provided in the center system 10. Further, in the embodiment of the present invention, when the input device 20 may be installed at an arbitrary fixed position, a part or all of each functional unit of the input device 20 may be used as long as information is appropriately transmitted and received. It may be provided in any one of the first edge device 30a, the second edge device 30b, the third edge device 30c, ... The nth edge device 30n. Further, in the embodiment of the present invention, when the input device 20 may be installed at an arbitrary fixed position, a part or all of each functional unit of the input device 20 may be used as long as information is appropriately transmitted and received. The center system 10, the first edge device 30a, the second edge device 30b, the third edge device 30c, ... The nth edge device 30n may be distributed and provided.

なお、本発明の実施形態において、情報の送受信が適切に行われる限り、第一特徴量抽出部３０５ａ、第二特徴量抽出部３０５ｂ、第三特徴量抽出部３０５ｃ、・・・第ｎ特徴量抽出部３０５ｎのうちの１つ以上を画像処理装置１００が備えるものであってよい。 In the embodiment of the present invention, as long as information is appropriately transmitted and received, the first feature amount extraction unit 305a, the second feature amount extraction unit 305b, the third feature amount extraction unit 305c, ... The nth feature amount The image processing apparatus 100 may include one or more of the extraction units 305n.

なお、本発明における記憶部１０６、第一記憶部３０４ａ、第二記憶部３０４ｂ、及び、第三記憶部３０４ｃのそれぞれは、適切な情報の送受信が行われる範囲においてどこに備えられていてもよい。また、記憶部１０６、第一記憶部３０４ａ、第二記憶部３０４ｂ、及び、第三記憶部３０４ｃのそれぞれは、適切な情報の送受信が行われる範囲において複数存在しデータを分散して記憶していてもよい。 The storage unit 106, the first storage unit 304a, the second storage unit 304b, and the third storage unit 304c in the present invention may be provided anywhere within a range in which appropriate information is transmitted and received. Further, each of the storage unit 106, the first storage unit 304a, the second storage unit 304b, and the third storage unit 304c exists in a plurality of ranges within a range in which appropriate information is transmitted and received, and the data is distributed and stored. You may.

なお本発明の実施形態における処理フローは、適切な処理が行われる範囲において、処理の順番が入れ替わってもよい。 In the processing flow according to the embodiment of the present invention, the order of processing may be changed as long as appropriate processing is performed.

なお本発明の実施形態について説明したが、上述の画像処理装置１００、入力装置２０、第一エッジ装置３０ａ、第二エッジ装置３０ｂ、及び、第三エッジ装置３０ｃのそれぞれは内部に、コンピュータシステムを有している。そして、上述した処理の過程は、プログラムの形式でコンピュータ読み取り可能な記憶部に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記憶部とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。 Although the embodiment of the present invention has been described, each of the above-mentioned image processing device 100, input device 20, first edge device 30a, second edge device 30b, and third edge device 30c has a computer system inside. Have. The process of the above-mentioned processing is stored in a computer-readable storage unit in the form of a program, and the above-mentioned processing is performed by the computer reading and executing this program. Here, the computer-readable storage unit refers to a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like. Further, this computer program may be distributed to a computer via a communication line, and the computer receiving the distribution may execute the program.

また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。 Further, the above program may be for realizing a part of the above-mentioned functions. Further, it may be a so-called difference file (difference program) that can realize the above-mentioned function in combination with a program already recorded in the computer system.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定するものではない。また、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができるものである。 Although some embodiments of the present invention have been described, these embodiments are presented as examples and do not limit the scope of the invention. In addition, various omissions, replacements, and changes can be made without departing from the gist of the invention.

１・・・画像処理システム
１０・・・センターシステム
２０・・・入力装置
３０ａ・・・第一エッジ装置
３０ｂ・・・第二エッジ装置
３０ｃ・・・第三エッジ装置
４０ａ・・・第一カメラ装置
４０ｂ・・・第二カメラ装置
４０ｃ・・・第三カメラ装置
１００・・・画像処理装置
１０１・・・出現状態判定部
１０２・・・所定人物候補推定部
１０３、２０１・・・通信部
１０４・・・制御部
１０５・・・カメラ選択部
１０６・・・記憶部
１０７・・・条件入力部
２０２・・・情報入力部
２０３・・・表示制御部
２０４・・・位置特定部
２０５・・・カメラ選択情報生成部
３０１ａ・・・第一通信部
３０１ｂ・・・第二通信部
３０１ｃ・・・第三通信部
３０２ａ・・・第一制御部
３０２ｂ・・・第二制御部
３０２ｃ・・・第三制御部
３０３ａ・・・第一カメラ制御部
３０３ｂ・・・第二カメラ制御部
３０３ｃ・・・第三カメラ制御部
３０４ａ・・・第一記憶部
３０４ｂ・・・第二記憶部
３０４ｃ・・・第三記憶部
３０５ａ・・・第一特徴量抽出部
３０５ｂ・・・第二特徴量抽出部
３０５ｃ・・・第三特徴量抽出部
３０６ａ・・・第一映像受信部
３０６ｂ・・・第二映像受信部
３０６ｃ・・・第三映像受信部
３０７ａ・・・第一カメラインターフェース
３０７ｂ・・・第二カメラインターフェース
３０７ｃ・・・第三カメラインターフェース 1 ... Image processing system 10 ... Center system 20 ... Input device 30a ... First edge device 30b ... Second edge device 30c ... Third edge device 40a ... First camera Device 40b ... Second camera device 40c ... Third camera device 100 ... Image processing device 101 ... Appearance state determination unit 102 ... Predetermined person candidate estimation unit 103, 201 ... Communication unit 104・ ・ ・ Control unit 105 ・ ・ ・ Camera selection unit 106 ・ ・ ・ Storage unit 107 ・ ・ ・ Condition input unit 202 ・ ・ ・ Information input unit 203 ・ ・ ・ Display control unit 204 ・ ・ ・ Position identification unit 205 ・ ・ ・Camera selection information generation unit 301a ... 1st communication unit 301b ... 2nd communication unit 301c ... 3rd communication unit 302a ... 1st control unit 302b ... 2nd control unit 302c ... (3) Control unit 303a ... First camera control unit 303b ... Second camera control unit 303c ... Third camera control unit 304a ... First storage unit 304b ... Second storage unit 304c ... Third storage unit 305a ... First feature amount extraction unit 305b ... Second feature amount extraction unit 305c ... Third feature amount extraction unit 306a ... First video receiving unit 306b ... Second video Receiver 306c ... Third video receiver 307a ... First camera interface 307b ... Second camera interface 307c ... Third camera interface

Claims (8)

入力装置の入力に基づいて選択されたカメラから撮影された映像に出現する人物について、当該人物のしぐさを検知する検知部と、
前記検知部の検知結果に基づいて所定人物候補を推定する推定部と、
を備える画像処理システム。 A detector that detects the gesture of a person appearing in the image taken from the camera selected based on the input of the input device, and
An estimation unit that estimates a predetermined person candidate based on the detection result of the detection unit, and an estimation unit.
An image processing system equipped with. 前記しぐさは、
所定回数以上周囲を見回すことである、
請求項１に記載の画像処理システム。 The above gesture is
Look around more than a certain number of times,
The image processing system according to claim 1. 前記撮影された映像は、複数のカメラの映像であり、
前記複数のカメラの映像に含まれる顔情報に関する情報を記憶する記憶部と、
を備え、
前記推定部は、前記顔情報ごとに当該顔情報の人物の出現状態を特定する
請求項１又は２に記載の画像処理システム。 The captured image is an image of a plurality of cameras.
A storage unit that stores information related to face information included in the images of the plurality of cameras, and a storage unit.
With
The image processing system according to claim 1 or 2, wherein the estimation unit specifies an appearance state of a person in the face information for each face information. 前記所定人物候補とは、不審人物である
請求項１から３のいずれか一項に記載の画像処理システム。 The image processing system according to any one of claims 1 to 3, wherein the predetermined person candidate is a suspicious person. 前記推定部は、前記不審人物に関するカメラのデータを携帯端末に送信する
請求項４に記載の画像処理システム。 The image processing system according to claim 4, wherein the estimation unit transmits camera data relating to the suspicious person to a mobile terminal. 前記推定部は、レジスターの位置におけるカメラ映像において顔が抽出されない場合、当該顔の人物が商品を購入していないと判定し、前記所定人物候補と推定する
請求項１から５のいずれか一項に記載の画像処理システム。 If the face is not extracted from the camera image at the position of the register, the estimation unit determines that the person with the face has not purchased the product, and presumes that the person has the predetermined person candidate, any one of claims 1 to 5. The image processing system described in. 入力装置の入力に基づいて選択されたカメラから撮影された映像に出現する人物について、当該人物のしぐさを検知することと、
検知結果に基づいて所定人物候補を推定することと、
を含む画像処理方法。 Detecting the gesture of a person appearing in the image taken from the camera selected based on the input of the input device, and
Estimating a predetermined person candidate based on the detection result,
Image processing method including. コンピュータに、
入力装置の入力に基づいて選択されたカメラから撮影された映像に出現する人物について、当該人物のしぐさを検知することと、
検知結果に基づいて所定人物候補を推定することと、
を実行させるプログラム。 On the computer
Detecting the gesture of a person appearing in the image taken from the camera selected based on the input of the input device, and
Estimating a predetermined person candidate based on the detection result,
A program that executes.
JP2021110514A 2020-01-15 2021-07-02 Image processing system, image processing method and program Active JP7487888B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021110514A JP7487888B2 (en) 2020-01-15 2021-07-02 Image processing system, image processing method and program
JP2021141375A JP2022003529A (en) 2020-01-15 2021-08-31 Information processing device, information processing method, and program
JP2023075178A JP2023099581A (en) 2020-01-15 2023-04-28 Information processing system, information processing device, terminal, processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020004677A JP2020074567A (en) 2020-01-15 2020-01-15 Image processing system, image processing method, and program
JP2021110514A JP7487888B2 (en) 2020-01-15 2021-07-02 Image processing system, image processing method and program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020004677A Division JP2020074567A (en) 2020-01-15 2020-01-15 Image processing system, image processing method, and program

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2021141375A Division JP2022003529A (en) 2020-01-15 2021-08-31 Information processing device, information processing method, and program
JP2023075178A Division JP2023099581A (en) 2020-01-15 2023-04-28 Information processing system, information processing device, terminal, processing method, and program

Publications (2)

Publication Number Publication Date
JP2021166399A true JP2021166399A (en) 2021-10-14
JP7487888B2 JP7487888B2 (en) 2024-05-21

Family

ID=70610575

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2020004677A Pending JP2020074567A (en) 2020-01-15 2020-01-15 Image processing system, image processing method, and program
JP2021110514A Active JP7487888B2 (en) 2020-01-15 2021-07-02 Image processing system, image processing method and program
JP2021141375A Pending JP2022003529A (en) 2020-01-15 2021-08-31 Information processing device, information processing method, and program
JP2023075178A Pending JP2023099581A (en) 2020-01-15 2023-04-28 Information processing system, information processing device, terminal, processing method, and program

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020004677A Pending JP2020074567A (en) 2020-01-15 2020-01-15 Image processing system, image processing method, and program

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2021141375A Pending JP2022003529A (en) 2020-01-15 2021-08-31 Information processing device, information processing method, and program
JP2023075178A Pending JP2023099581A (en) 2020-01-15 2023-04-28 Information processing system, information processing device, terminal, processing method, and program

Country Status (1)

Country Link
JP (4) JP2020074567A (en)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006011728A (en) * 2004-06-24 2006-01-12 Omron Corp Suspicious person countermeasure system and suspicious person detection device
JP2010079750A (en) * 2008-09-26 2010-04-08 Secom Co Ltd Monitoring device
JP2010081480A (en) * 2008-09-29 2010-04-08 Fujifilm Corp Portable suspicious individual detecting apparatus, suspicious individual detecting method, and program
JP2010237872A (en) * 2009-03-30 2010-10-21 Sogo Keibi Hosho Co Ltd Device, method and program for detecting person area
JP2011089784A (en) * 2009-10-20 2011-05-06 Nippon Signal Co Ltd:The Device for estimating direction of object
JP2013153304A (en) * 2012-01-25 2013-08-08 Hitachi Kokusai Electric Inc Surveillance device, surveillance camera system, and video transmission method
JP2013196043A (en) * 2012-03-15 2013-09-30 Glory Ltd Specific person monitoring system
WO2014155922A1 (en) * 2013-03-29 2014-10-02 日本電気株式会社 Target object identifying device, target object identifying method and target object identifying program
WO2015033576A1 (en) * 2013-09-06 2015-03-12 日本電気株式会社 Security system, security method, and non-temporary computer-readable medium

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5064846B2 (en) * 2007-03-14 2012-10-31 株式会社日立情報制御ソリューションズ Monitoring system
JP2010237873A (en) * 2009-03-30 2010-10-21 Sogo Keibi Hosho Co Ltd Device, method, and program for detecting attitude change
JP2010272958A (en) * 2009-05-19 2010-12-02 Duse Technologies Co Ltd Monitoring device, monitoring system, and monitoring program
JP5752975B2 (en) * 2011-03-30 2015-07-22 セコム株式会社 Image monitoring device
JP2012243128A (en) * 2011-05-20 2012-12-10 Jvc Kenwood Corp Monitoring device, monitoring method and monitoring program
JP2013065187A (en) * 2011-09-16 2013-04-11 Nec Casio Mobile Communications Ltd Crime prevention system, information processing device, management method of crime prevention system and program
JP5903557B2 (en) * 2011-12-27 2016-04-13 パナソニックＩｐマネジメント株式会社 Security system

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006011728A (en) * 2004-06-24 2006-01-12 Omron Corp Suspicious person countermeasure system and suspicious person detection device
JP2010079750A (en) * 2008-09-26 2010-04-08 Secom Co Ltd Monitoring device
JP2010081480A (en) * 2008-09-29 2010-04-08 Fujifilm Corp Portable suspicious individual detecting apparatus, suspicious individual detecting method, and program
JP2010237872A (en) * 2009-03-30 2010-10-21 Sogo Keibi Hosho Co Ltd Device, method and program for detecting person area
JP2011089784A (en) * 2009-10-20 2011-05-06 Nippon Signal Co Ltd:The Device for estimating direction of object
JP2013153304A (en) * 2012-01-25 2013-08-08 Hitachi Kokusai Electric Inc Surveillance device, surveillance camera system, and video transmission method
JP2013196043A (en) * 2012-03-15 2013-09-30 Glory Ltd Specific person monitoring system
WO2014155922A1 (en) * 2013-03-29 2014-10-02 日本電気株式会社 Target object identifying device, target object identifying method and target object identifying program
WO2015033576A1 (en) * 2013-09-06 2015-03-12 日本電気株式会社 Security system, security method, and non-temporary computer-readable medium

Also Published As

Publication number Publication date
JP2020074567A (en) 2020-05-14
JP2022003529A (en) 2022-01-11
JP7487888B2 (en) 2024-05-21
JP2023099581A (en) 2023-07-13

Similar Documents

Publication Publication Date Title
JP6674584B2 (en) Video surveillance system
EP2923487B1 (en) Method and system for metadata extraction from master-slave cameras tracking system
KR100896949B1 (en) Image Monitoring System for Object Identification
WO2015166612A1 (en) Image analysis system, image analysis method, and image analysis program
KR101960667B1 (en) Suspect Tracking Apparatus and Method In Stored Images
US8724970B2 (en) Method and apparatus to search video data for an object of interest
US11881090B2 (en) Investigation generation in an observation and surveillance system
US10999556B2 (en) System and method of video capture and search optimization
JP5139947B2 (en) Surveillance image storage system and surveillance image storage method for surveillance image storage system
CN108734967A (en) Monitoring vehicle breaking regulation method, apparatus and system
US20230093631A1 (en) Video search device and network surveillance camera system including same
US7949208B2 (en) Monitor system, monitor device, search method, and search program
KR101526499B1 (en) Network security monitoring System using detecting an object and method for intelligently analyzing video data using thereof
KR101212082B1 (en) Image Recognition Apparatus and Vison Monitoring Method thereof
KR101084914B1 (en) Indexing management system of vehicle-number and man-image
JP6268497B2 (en) Security system and person image display method
JP2014095979A (en) Electronic device, image data processing method and program
JP6984942B2 (en) Image processing equipment, image processing system, image processing method and program
JP2006093955A (en) Video processing apparatus
JP6555481B2 (en) Video surveillance system
JP6253950B2 (en) Image surveillance system
KR20180075145A (en) Method for generating and searching object data for analyzing large amounts of CCTV video
EP3683757A1 (en) Investigation generation in an observation and surveillance system
KR20090035798A (en) Store and search system and the method of the license plate images
JP2021166399A (en) Image processing system, image processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210702

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220726

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220926

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230428

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230511

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240426

R150 Certificate of patent or registration of utility model

Ref document number: 7487888

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150