JP2019215878A - Nuisance person estimation system and control method of nuisance person estimation system - Google Patents

Nuisance person estimation system and control method of nuisance person estimation system Download PDF

Info

Publication number
JP2019215878A
JP2019215878A JP2019125109A JP2019125109A JP2019215878A JP 2019215878 A JP2019215878 A JP 2019215878A JP 2019125109 A JP2019125109 A JP 2019125109A JP 2019125109 A JP2019125109 A JP 2019125109A JP 2019215878 A JP2019215878 A JP 2019215878A
Authority
JP
Japan
Prior art keywords
face data
unit
stored
database unit
person
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019125109A
Other languages
Japanese (ja)
Other versions
JP6879336B2 (en
Inventor
紀佳 戸野
Noriyoshi Tono
紀佳 戸野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2019125109A priority Critical patent/JP6879336B2/en
Publication of JP2019215878A publication Critical patent/JP2019215878A/en
Application granted granted Critical
Publication of JP6879336B2 publication Critical patent/JP6879336B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Alarm Systems (AREA)
  • Image Analysis (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

To provide a nuisance person estimation system capable of estimating a nuisance person in a space which a number of unspecific persons enter and exit.SOLUTION: In a nuisance person estimation system 500, a first imaging unit 501 takes an image of a person entering a space. A second imaging unit 502 is provided in the space and takes images of surroundings of its location in response to a notification signal from a notification terminal 503. An image analysis unit 504 extracts face data from the images taken by the first imaging unit 501 and the second imaging unit 502, and stores them into a first database unit 505 and a second database unit 506. A face data analysis unit 508 selects face data to be stored in a third database unit 507 by analyzing the face data in the first database unit 505 and the second database unit 506, and calculates a frequency score. A determination unit 509 estimates a person in the face data for which a corresponding frequency score exceeds a threshold value after elapse of a defined time period.SELECTED DRAWING: Figure 1

Description

本発明は、迷惑行為者推定システム、迷惑行為者推定システムの制御方法に関する。   The present invention relates to a system for estimating a nuisance actor and a control method of the system for estimating a nuisance actor.

防犯カメラを用いて不審人物を検出する技術が知られている。特許文献１には、監視区域内に複数のカメラを設置し、監視対象者の保有する端末のＧＰＳ機能により監視対象者の位置を取得し、当該位置に対し所定の距離内にあるカメラが撮影した画像から監視対象者以外の顔画像を抽出し、これらの顔画像などから不審人物を推定する技術が記載されている。   There is known a technology for detecting a suspicious person using a security camera. In Patent Document 1, a plurality of cameras are installed in a monitoring area, a position of the monitoring target is acquired by a GPS function of a terminal owned by the monitoring target, and a camera within a predetermined distance from the position captures an image. There is described a technique for extracting a face image other than the monitoring target person from the obtained image and estimating a suspicious person from these face images and the like.

特開２０１０−１９１６２０号公報JP 2010-191620 A 特開２００６−１４６３２３号公報JP 2006-146323 A

しかしながら、電車内などの不特定多数の人が出入りする空間内では、迷惑行為を受けた者（被迷惑行為者）が予め特定されていないため、監視対象者が予め特定されていることを前提とする特許文献１に記載の技術では迷惑行為者を絞り込むことが困難であった。また、このような不特定多数の人が出入りする空間は混雑する場合も少なからずあるが、そのような場合に当該空間内に設置したカメラが撮影した画像から抽出された顔画像が不完全で人物を特定することができないおそれもあった。   However, in a space where an unspecified number of people enter and exit, such as in a train, it is assumed that the person to be monitored has been specified in advance because the person who has been affected (nuisance) has not been specified in advance. It is difficult to narrow down the inconvenience actor by the technique described in Patent Document 1. In addition, the space where such an unspecified number of people enter and leave may be congested, but in such a case, the face image extracted from the image taken by the camera installed in the space is incomplete. There was a risk that the person could not be identified.

本発明は、以上の背景に鑑みなされたものであり、不特定多数の人が出入りする空間内における迷惑行為者を推定することができる迷惑行為者推定システム、迷惑行為者推定システムの制御方法及び制御プログラムを提供することを目的とする。   The present invention has been made in view of the above background, and is a nuisance estimation system capable of estimating an nuisance in a space where an unspecified number of people enter and exit, a method of controlling the nuisance estimation system, and It is intended to provide a control program.

本発明は、不特定多数の人が出入りする出入口のある空間内における迷惑行為者を推定する迷惑行為者推定システムであって、前記出入口付近に設けられ前記空間に入場する人物を撮影する第１撮影部と、前記空間内に設けられ通報端末からの通報信号を受信した際に当該通報信号が発信された位置を特定し当該位置の周辺を撮影する第２撮影部と、前記第１撮影部が撮影した画像および前記第２撮影部が撮影した画像をそれぞれ分析し顔データを抽出する画像分析部と、前記第１撮影部が撮影した画像から抽出された顔データを格納する第１データベース部と、前記第２撮影部が撮影した画像から抽出された顔データを格納する第２データベース部と、迷惑行為者の候補となる顔データを格納する第３データベース部と、前記第３データベース部に格納する顔データの選別および頻度スコアの算出を行う顔データ解析部と、前記頻度スコアに基づいて推定される人物を判断する判断部と、を備え、前記顔データ解析部が、前記第１データベース部に格納された第１顔データと前記第２データベース部に格納された第２顔データとの照合を行い、前記第１顔データの中から前記第２顔データに最も近いものを格納候補顔データとして抽出し、前記格納候補顔データと実質的に一致する前記第３データベース部に格納済みの格納済み顔データがないときは、前記顔データ解析部が、当該格納候補顔データを新たに前記第３データベース部に格納するとともに格納した前記格納候補顔データに対応する前記頻度スコアとして初回値を与え、前記格納候補顔データと実質的に一致する前記第３データベース部に格納済みの格納済み顔データがあるときは、前記顔データ解析部が、前記格納候補顔データを前記第３データベース部に格納せずに前記格納候補顔データと一致した前記格納済み顔データに対応する前記頻度スコアを所定値だけ増やし、前記判断部が、予め定められた規定期間の経過後に、前記第３データベース部に格納された顔データのうち、対応する前記頻度スコアが予め定められた閾値を超えた顔データの人物を迷惑行為者と推定される人物と判断するものである。   The present invention relates to a nuisance estimation system for estimating a nuisance in a space having an entrance through which an unspecified number of people enter and exit, and a first nuisance estimation system provided near the entrance and photographing a person entering the space. A photographing unit, a second photographing unit provided in the space, for identifying a position where the report signal is transmitted when receiving a report signal from a report terminal, and photographing a periphery of the position, and the first photographing unit. An image analysis unit that analyzes an image captured by the first imaging unit and an image captured by the second imaging unit to extract face data, and a first database unit that stores face data extracted from the image captured by the first imaging unit A second database unit for storing face data extracted from an image captured by the second image capturing unit; a third database unit for storing face data that is a candidate for a nuisance actor; A face data analysis unit that performs selection of face data to be stored in the storage unit and calculation of a frequency score, and a determination unit that determines a person estimated based on the frequency score, wherein the face data analysis unit includes the The first face data stored in the first database unit is compared with the second face data stored in the second database unit, and the closest one of the first face data to the second face data is determined. When there is no stored face data that is extracted as storage candidate face data and stored in the third database unit that substantially matches the storage candidate face data, the face data analysis unit converts the storage candidate face data into The first value is given as the frequency score corresponding to the storage candidate face data newly stored and stored in the third database unit, and the frequency score substantially matches the storage candidate face data. When there is stored face data already stored in the third database unit, the face data analysis unit does not store the storage candidate face data in the third database unit and matches the stored candidate face data with the stored candidate face data. The frequency score corresponding to the face data is increased by a predetermined value, and the determination unit determines that the corresponding frequency score of the face data stored in the third database unit after a predetermined period has elapsed. A person whose face data exceeds a predetermined threshold is determined to be a person presumed to be a nuisance actor.

また、本発明は、不特定多数の人が出入りする出入口のある空間の出入口付近に設けられ前記空間に入場する人物を撮影する第１撮影部と、前記空間内に設けられ通報端末からの通報信号を受信した際に当該通報信号が発信された位置を特定し当該位置の周辺を撮影する第２撮影部と、前記第１撮影部が撮影した画像および前記第２撮影部が撮影した画像をそれぞれ分析し顔データを抽出する画像分析部と、前記第１撮影部が撮影した画像から抽出された顔データを格納する第１データベース部と、前記第２撮影部が撮影した画像から抽出された顔データを格納する第２データベース部と、迷惑行為者の候補となる顔データを格納する第３データベース部と、前記第３データベース部に格納する顔データの選別および頻度スコアの算出を行う顔データ解析部と、前記頻度スコアに基づいて推定される人物を判断する判断部と、を備え前記空間内における迷惑行為者を推定する迷惑行為者推定システムの制御方法であって、前記顔データ解析部が、前記第１データベース部に格納された第１顔データと前記第２データベース部に格納された第２顔データとの照合を行い、前記第１顔データの中から前記第２顔データに最も近いものを格納候補顔データとして抽出するステップと、前記格納候補顔データと実質的に一致する前記第３データベース部に格納済みの格納済み顔データがないときは、前記顔データ解析部が、当該格納候補顔データを新たに前記第３データベース部に格納するとともに格納した前記格納候補顔データに対応する前記頻度スコアとして初回値を与えるステップと、前記格納候補顔データと実質的に一致する前記第３データベース部に格納済みの格納済み顔データがあるときは、前記顔データ解析部が、前記格納候補顔データを前記第３データベース部に格納せずに前記格納候補顔データと一致した前記格納済み顔データに対応する前記頻度スコアを所定値だけ増やすステップと、前記判断部が、予め定められた規定期間の経過後に、前記第３データベース部に格納された顔データのうち、対応する前記頻度スコアが予め定められた閾値を超えた顔データの人物を迷惑行為者と推定される人物と判断するステップと、を有するものである。   Further, the present invention provides a first photographing unit which is provided near an entrance and exit of a space where an unspecified number of people enter and exits and which photographs a person entering the space, and a report from a report terminal provided in the space. A second photographing unit that identifies the position where the notification signal is transmitted when receiving the signal, and photographs around the position, and an image photographed by the first photographing unit and an image photographed by the second photographing unit. An image analysis unit for analyzing and extracting face data, a first database unit for storing face data extracted from an image captured by the first imaging unit, and an image analysis unit extracted from an image captured by the second imaging unit A second database unit for storing face data, a third database unit for storing face data that is a candidate for an abusive person, and selection and calculation of a frequency score for the face data stored in the third database unit. A control method of a troublesome person estimating system for estimating a troublesome person in the space, comprising: a data analyzing unit; and a judging unit for judging a person estimated based on the frequency score. And comparing the first face data stored in the first database with the second face data stored in the second database, and converting the first face data into the second face data. Extracting the closest one as storage candidate face data; and when there is no stored face data stored in the third database unit that substantially matches the storage candidate face data, the face data analysis unit Newly storing the storage candidate face data in the third database unit and giving an initial value as the frequency score corresponding to the stored storage candidate face data; When there is stored face data already stored in the third database unit that substantially matches the storage candidate face data, the face data analysis unit stores the stored candidate face data in the third database unit. Without increasing the frequency score corresponding to the stored face data that matches the storage candidate face data by a predetermined value, wherein the determining unit transmits the frequency score to the third database unit after a lapse of a predetermined period. Judging a person whose face data has a corresponding frequency score exceeding a predetermined threshold among the stored face data as a person presumed to be a nuisance actor.

さらに、本発明は、不特定多数の人が出入りする出入口のある空間の出入口付近に設けられ前記空間に入場する人物を撮影する第１撮影部と、前記空間内に設けられ通報端末からの通報信号を受信した際に当該通報信号が発信された位置を特定し当該位置の周辺を撮影する第２撮影部と、前記第１撮影部が撮影した画像および前記第２撮影部が撮影した画像をそれぞれ分析し顔データを抽出する画像分析部と、前記第１撮影部が撮影した画像から抽出された顔データを格納する第１データベース部と、前記第２撮影部が撮影した画像から抽出された顔データを格納する第２データベース部と、迷惑行為者の候補となる顔データを格納する第３データベース部と、前記第３データベース部に格納する顔データの選別および頻度スコアの算出を行う顔データ解析部と、前記頻度スコアに基づいて推定される人物を判断する判断部と、を備え前記空間内における迷惑行為者を推定する迷惑行為者推定システムの制御プログラムであって、前記顔データ解析部が、前記第１データベース部に格納された第１顔データと前記第２データベース部に格納された第２顔データとの照合を行い、前記第１顔データの中から前記第２顔データに最も近いものを格納候補顔データとして抽出するステップと、前記格納候補顔データと実質的に一致する前記第３データベース部に格納済みの格納済み顔データがないときは、前記顔データ解析部が、当該格納候補顔データを新たに前記第３データベース部に格納するとともに格納した前記格納候補顔データに対応する前記頻度スコアとして初回値を与えるステップと、前記格納候補顔データと実質的に一致する前記第３データベース部に格納済みの格納済み顔データがあるときは、前記顔データ解析部が、前記格納候補顔データを前記第３データベース部に格納せずに前記格納候補顔データと一致した前記格納済み顔データに対応する前記頻度スコアを所定値だけ増やすステップと、前記判断部が、予め定められた規定期間の経過後に、前記第３データベース部に格納された顔データのうち、対応する前記頻度スコアが予め定められた閾値を超えた顔データの人物を迷惑行為者と推定される人物と判断するステップと、をコンピュータに実行させるものである。   Further, the present invention provides a first photographing unit provided near an entrance and exit of a space where an unspecified number of people enter and exit, and a photographing person entering the space, and a report from a report terminal provided in the space. A second photographing unit that identifies the position where the notification signal is transmitted when receiving the signal, and photographs around the position, and an image photographed by the first photographing unit and an image photographed by the second photographing unit. An image analysis unit for analyzing and extracting face data, a first database unit for storing face data extracted from an image captured by the first imaging unit, and an image analysis unit extracted from an image captured by the second imaging unit A second database section for storing face data, a third database section for storing face data that is a candidate for an abusive person, and selection of face data to be stored in the third database section and calculation of a frequency score. A control program for a system for estimating an annoying actor in the space, comprising: a face data analyzing unit; and a judging unit for judging a person estimated based on the frequency score. An analyzing unit for comparing the first face data stored in the first database unit with the second face data stored in the second database unit, and selecting the second face data from the first face data; Extracting the closest face data as storage candidate face data; and when there is no stored face data stored in the third database section that substantially matches the storage candidate face data, the face data analysis section And newly storing the storage candidate face data in the third database unit and giving an initial value as the frequency score corresponding to the stored storage candidate face data. And when there is stored face data already stored in the third database unit that substantially matches the storage candidate face data, the face data analysis unit stores the stored candidate face data in the third database unit. Increasing the frequency score corresponding to the stored face data that matches the storage candidate face data without storing the frequency score by a predetermined value; and 3) determining, from among the face data stored in the database unit, a person whose face data has a corresponding frequency score exceeding a predetermined threshold as a person presumed to be a nuisance actor. Things.

本発明によれば、不特定多数の人が出入りする空間内における迷惑行為者を推定することができる。   According to the present invention, it is possible to estimate a nuisance actor in a space where an unspecified number of people enter and exit.

本発明の概要について説明する図である。It is a figure explaining the outline of the present invention. 本実施の形態にかかる迷惑行為者推定システム１００の概略構成を示すブロック図である。FIG. 1 is a block diagram illustrating a schematic configuration of a nuisance estimation system 100 according to the present embodiment. 第１日の乗車状況について説明する図である。It is a figure explaining the boarding situation of the 1st day. 第１日に、駅内カメラデータベース部に格納されたデータの一例を示す図である。It is a figure which shows an example of the data stored in the camera database part in a station on the 1st day. 第１日の通報時の電車内の状況について説明する図である。It is a figure explaining the situation in the train at the time of the report of the 1st day. 第１日に、車内カメラデータベース部に格納されたデータの一例を示す図である。It is a figure which shows an example of the data stored in the vehicle camera database part on the 1st day. 第１日に統合データデータベース部に格納されたデータの一例を示す図である。It is a figure showing an example of the data stored in the integrated data database part on the 1st day. 第２日の乗車状況について説明する図である。It is a figure explaining the boarding situation of the 2nd day. 第２日に、駅内カメラデータベース部に格納されたデータの一例を示す図である。It is a figure which shows an example of the data stored in the camera database part in a station on the 2nd day. 第２日の通報時の電車内の状況について説明する図である。It is a figure explaining the situation in the train at the time of the report on the 2nd day. 第２日に、車内カメラデータベース部に格納されたデータの一例を示す図である。It is a figure which shows an example of the data stored in the vehicle camera database part on the 2nd day. 第２日に、統合データデータベース部に格納されたデータの一例を示す図である。It is a figure showing an example of the data stored in the integrated data database part on the 2nd day. 電車に乗り込む人物の顔データを取得し、当該顔データを駅内カメラデータベース部に格納する処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process which acquires the face data of the person who gets on a train, and stores the said face data in a camera database part in a station. 電車内において被迷惑行為者の周囲の人物の顔データを取得し、当該顔データを車内カメラデータベース部に格納する処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process which acquires the face data of the person around the annoyed person in a train, and stores the said face data in an in-vehicle camera database part. 統合データデータベース部に格納された顔データに対応する頻度スコアを用いて迷惑行為者を推定する処理の流れを示すフローチャートである。It is a flowchart which shows the flow of a process which estimates a troublesome person using the frequency score corresponding to the face data stored in the integrated data database part.

［本発明の特徴］
本発明の実施の形態の説明に先立って、本発明の特徴についてその概要をまず説明する。 [Features of the present invention]
Prior to the description of the embodiments of the present invention, the outline of the features of the present invention will be described first.

本発明にかかる迷惑行為者推定システムは、不特定多数の人が出入りする出入口のある空間内で迷惑行為者を推定するものである。図１は、本発明の概要について説明する図である。図１は、本発明にかかる迷惑行為者推定システム５００の概略構成を示すブロック図である。図１に示すように、迷惑行為者推定システム５００は、第１撮影部５０１と、第２撮影部５０２と、通報端末５０３と、画像分析部５０４と、第１データベース部５０５と、第２データベース部５０６と、第３データベース部５０７と、顔データ解析部５０８と、判断部５０９と、を備えている。   The system for estimating a nuisance according to the present invention estimates a nuisance in a space where an unspecified number of people enter and exit. FIG. 1 is a diagram illustrating an outline of the present invention. FIG. 1 is a block diagram showing a schematic configuration of a nuisance estimation system 500 according to the present invention. As shown in FIG. 1, the nuisance estimation system 500 includes a first imaging unit 501, a second imaging unit 502, a notification terminal 503, an image analysis unit 504, a first database unit 505, and a second database. A section 506, a third database section 507, a face data analysis section 508, and a judgment section 509.

第１撮影部５０１は、不特定多数の人が出入りする空間の出入口付近に設けられ、当該空間に入場する人物を撮影する。第２撮影部５０２は、当該空間内に設けられ、通報端末５０３からの通報信号を受信した際に当該通報信号が発信された位置を特定し当該位置の周辺を撮影する。画像分析部５０４は、第１撮影部５０１が撮影した画像および第２撮影部５０２が撮影した画像をそれぞれ分析し顔データを抽出する。   The first photographing unit 501 is provided near an entrance of a space where an unspecified number of people enter and exit, and photographs a person entering the space. The second imaging unit 502 is provided in the space, identifies a position where the notification signal is transmitted when receiving the notification signal from the notification terminal 503, and captures an image around the position. The image analysis unit 504 analyzes the image photographed by the first photographing unit 501 and the image photographed by the second photographing unit 502, respectively, and extracts face data.

第１データベース部５０５は、第１撮影部５０１が撮影した画像から抽出された顔データを格納する。第２データベース部５０６は、第２撮影部５０２が撮影した画像から抽出された顔データを格納する。第３データベース部５０７は、迷惑行為者の候補となる顔データを格納する。顔データ解析部５０８は、第３データベース部５０７に格納する顔データの選別および頻度スコアの算出を行う。判断部５０９は、頻度スコアに基づいて迷惑行為者と推定される人物を判断する。   The first database unit 505 stores face data extracted from an image photographed by the first photographing unit 501. The second database unit 506 stores face data extracted from an image captured by the second capturing unit 502. The third database unit 507 stores face data that is a candidate for a nuisance actor. The face data analysis unit 508 selects face data stored in the third database unit 507 and calculates a frequency score. The determination unit 509 determines a person presumed to be a nuisance based on the frequency score.

顔データ解析部５０８が、第１データベース部５０５に格納された第１顔データと第２データベース部５０６に格納された第２顔データとの照合を行い、第１顔データの中から第２顔データに最も近いものを格納候補顔データとして抽出する。そして、格納候補顔データと実質的に一致する第３データベース部５０７に格納済みの格納済み顔データがないときは、顔データ解析部５０８が、当該格納候補顔データを新たに第３データベース部５０７に格納するとともに格納した格納候補顔データに対応する頻度スコアとして初回値を与える。   The face data analysis unit 508 compares the first face data stored in the first database unit 505 with the second face data stored in the second database unit 506, and selects the second face data from the first face data. The data closest to the data is extracted as storage candidate face data. When there is no stored face data stored in the third database unit 507 that substantially matches the storage candidate face data, the face data analysis unit 508 newly adds the storage candidate face data to the third database unit 507. And an initial value is given as a frequency score corresponding to the stored candidate face data.

また、格納候補顔データと実質的に一致する第３データベース部５０７に格納済みの格納済み顔データがあるときは、顔データ解析部５０８が、格納候補顔データを第３データベース部５０７に格納せずに格納候補顔データと一致した格納済み顔データに対応する頻度スコアを所定値だけ増やす。   When there is stored face data already stored in the third database unit 507 that substantially matches the storage candidate face data, the face data analysis unit 508 stores the storage candidate face data in the third database unit 507. Instead, the frequency score corresponding to the stored face data that matches the storage candidate face data is increased by a predetermined value.

判断部５０９が、予め定められた規定期間の経過後に、第３データベース部５０７に格納された顔データのうち、対応する頻度スコアが予め定められた閾値を超えた顔データの人物を迷惑行為者と推定される人物と判断する。   The determination unit 509 determines that the face data whose corresponding frequency score exceeds the predetermined threshold among the face data stored in the third database unit 507 after a predetermined period has elapsed. It is determined that the person is estimated to be.

以上より、本発明によれば、不特定多数の人が出入りする空間内における迷惑行為者を推定することができる。   As described above, according to the present invention, it is possible to estimate a nuisance person in a space where an unspecified number of people enter and leave.

以下、図面を参照して本発明の実施の形態について説明する。
図２は、本実施の形態にかかる迷惑行為者推定システム１００の概略構成を示すブロック図である。図２に示すように、迷惑行為者推定システム１００は、第１撮影部としての駅内カメラシステム１０１と、第２撮影部としての車内カメラシステム１０２と、分析部１０３と、データベース部１０４と、判断部としての人物推定レポート部１０５と、通報端末１０６と、を有する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 2 is a block diagram illustrating a schematic configuration of the nuisance estimation system 100 according to the present embodiment. As shown in FIG. 2, the inconvenience estimating system 100 includes an in-station camera system 101 as a first imaging unit, an in-car camera system 102 as a second imaging unit, an analysis unit 103, a database unit 104, It has a person estimation report unit 105 as a determination unit and a report terminal 106.

駅内カメラシステム１０１は、駅のホームにおける各乗車位置付近（乗り降りのためにホーム内で止まっている電車の出入口付近）に設置され、駅内カメラ１と、カメラ識別情報部２と、コントロール部３と、通信部４と、を有する。駅内カメラ１は、コントロール部３から撮影指示を受け画像の撮影を行う。駅内カメラ１が撮影する画像は動画または静止画のいずれであってもよい。静止画とする場合、複数枚数撮影が行われるようにする。カメラ識別情報部２は、コントロール部３から取得指示を受けて乗車位置及び乗車時刻を取得する。コントロール部３は、駅のホームにおいて電車のドアが乗り降りのために開閉されている間に、駅内カメラ１及びカメラ識別情報部２に対し取得指示を送る。通信部４は、駅内カメラ１が取得した画像とカメラ識別情報部２が取得した乗車位置及び乗車時刻を、無線または有線により画像分析部９へと送る。   The station camera system 101 is installed in the vicinity of each boarding position on the platform of the station (near the entrance of the train stopped inside the platform for getting on and off), the station camera 1, the camera identification information unit 2, the control unit 3 and a communication unit 4. The station camera 1 receives a shooting instruction from the control unit 3 and shoots an image. The image captured by the station camera 1 may be either a moving image or a still image. In the case of a still image, a plurality of images are taken. The camera identification information unit 2 receives the acquisition instruction from the control unit 3 and acquires the boarding position and the boarding time. The control unit 3 sends an acquisition instruction to the station camera 1 and the camera identification information unit 2 while the train door is opened and closed to get on and off the platform at the station platform. The communication unit 4 sends the image acquired by the in-station camera 1 and the boarding position and boarding time acquired by the camera identification information unit 2 to the image analysis unit 9 by wireless or wired.

車内カメラシステム１０２は、電車内に複数設置され、車内カメラ５と、カメラ識別情報部６と、コントロール部７と、通信部８と、を有する。車内カメラ５は、通報端末１０６からの通報信号を受信したコントロール部７から撮影指示を受けて画像の撮影を行う。車内カメラ５は、人物の顔が捉えやすいような位置、例えば、電車の出入口扉の上部に設置する。なお、通報端末１０６とコントロール部７との通信には、位置の特定がしやすいＢｌｕｅｔｏｏｔｈ（登録商標）などの短距離通信を用いる。車内カメラ５が撮影する画像は動画または静止画のいずれであってもよい。静止画とする場合、複数枚数撮影が行われるようにする。カメラ識別情報部６は、コントロール部７から取得指示を受けて通報信号が発信された時刻の情報（時刻情報）及び通報信号が発信された位置の情報（位置情報）を取得する。位置情報は通報端末１０６の発信した通報信号により検知する。コントロール部７は、通報端末１０６からの通報信号を受信したときに、車内カメラ５及びカメラ識別情報部６に対し取得指示を送る。通信部８は、車内カメラ５が取得した画像とカメラ識別情報部６が取得した時刻情報及び位置情報を、無線により画像分析部９へと送る。   A plurality of in-vehicle camera systems 102 are installed in a train, and include an in-vehicle camera 5, a camera identification information unit 6, a control unit 7, and a communication unit 8. The in-vehicle camera 5 captures an image in response to a capturing instruction from the control unit 7 that has received the notification signal from the notification terminal 106. The in-vehicle camera 5 is installed at a position where a person's face can be easily captured, for example, above an entrance door of a train. The communication between the notification terminal 106 and the control unit 7 uses short-range communication such as Bluetooth (registered trademark), which can easily specify the position. The image captured by the in-vehicle camera 5 may be either a moving image or a still image. In the case of a still image, a plurality of images are taken. The camera identification information unit 6 acquires information (time information) of the time at which the notification signal was transmitted in response to the acquisition instruction from the control unit 7 and information (position information) of the position at which the notification signal was transmitted. The position information is detected by a report signal transmitted from the report terminal 106. When receiving the notification signal from the notification terminal 106, the control unit 7 sends an acquisition instruction to the in-vehicle camera 5 and the camera identification information unit 6. The communication unit 8 wirelessly sends the image acquired by the in-vehicle camera 5 and the time information and position information acquired by the camera identification information unit 6 to the image analysis unit 9.

分析部１０３は、画像分析部９と、顔データ解析部としての顔データマッチング頻度スコア算出部１０と、を有する。画像分析部９は、駅内カメラシステム１０１から送信されてきた画像、及び車内カメラシステム１０２から送信されてきた画像から人の顔を抽出し、抽出したそれぞれの人の顔の特徴点を分析して顔データを作成する。なお、カメラの撮影した画像から人の顔を抽出する技術として、公知の技術を用いることができる。顔データマッチング頻度スコア算出部１０は、駅内カメラデータベース部１１に格納された顔データの中から車内カメラデータベース部１２に格納された顔データと最も近い顔データを抽出し、この最も近い顔データを迷惑行為発生時に居あわせた人物として統合データデータベース部１３に格納するとともに、当該顔データの検出頻度（頻度スコア）を算出する。検出スコアの算出については後述する。   The analysis unit 103 includes an image analysis unit 9 and a face data matching frequency score calculation unit 10 as a face data analysis unit. The image analysis unit 9 extracts a human face from the image transmitted from the in-station camera system 101 and the image transmitted from the in-vehicle camera system 102, and analyzes feature points of the extracted human faces. To create face data. In addition, as a technique for extracting a human face from an image captured by a camera, a known technique can be used. The face data matching frequency score calculation unit 10 extracts the face data closest to the face data stored in the in-vehicle camera database unit 12 from the face data stored in the in-station camera database unit 11, and extracts the closest face data. Is stored in the integrated data database unit 13 as a person present at the time of occurrence of the annoying act, and a detection frequency (frequency score) of the face data is calculated. The calculation of the detection score will be described later.

データベース部１０４は、第１データベース部としての駅内カメラデータベース部１１と、第２データベース部としての車内カメラデータベース部１２と、第３データベース部としての統合データデータベース部１３と、を有する。駅内カメラデータベース部１１は、駅内カメラ１が撮影した画像から抽出されたそれぞれの人の顔に対応する顔データを格納する。車内カメラデータベース部１２は、車内カメラ５が撮影した画像から抽出されたそれぞれの人の顔に対応する顔データを格納する。統合データデータベース部１３は、迷惑行為発生時に居あわせた人物の顔データや頻度スコアなどを人物データとして格納する。人物推定レポート部１０５は、統合データデータベース部１３に格納された人物データのうち、規定期間内に頻度スコアが予め定められた閾値を超えたものを迷惑行為者と推定してリストアップし、リストアップした情報をシステム管理者へ提供する。通報端末１０６は、迷惑行為を受けた被迷惑行為者が通報信号を送信するための携帯通信端末で、例えば、通報信号を送信するための専用のアプリをインストールしたスマートフォンなどである。専用のアプリは、インターネットを通じて誰でも無料で取得できるようにしてもよい。   The database unit 104 includes an in-station camera database unit 11 as a first database unit, an in-vehicle camera database unit 12 as a second database unit, and an integrated data database unit 13 as a third database unit. The station camera database unit 11 stores face data corresponding to each person's face extracted from an image captured by the station camera 1. The in-vehicle camera database unit 12 stores face data corresponding to each person's face extracted from the image captured by the in-vehicle camera 5. The integrated data database unit 13 stores face data, frequency score, and the like of a person present at the time of occurrence of the annoying act as person data. The person estimation report unit 105 estimates the person data whose frequency score exceeds a predetermined threshold value within a specified period among the person data stored in the integrated data database unit 13 as a nuisance actor, and lists the person data. Provide the updated information to the system administrator. The notification terminal 106 is a mobile communication terminal for transmitting a notification signal by a nuisance actor who has received the harassment, and is, for example, a smartphone or the like in which a dedicated application for transmitting the notification signal is installed. The dedicated application may be made available to anyone through the Internet for free.

迷惑行為者推定システム１００の具体的な動作について以下で説明する。
図３は、第１日の乗車状況について説明する図である。図３に示すように、第１日には、駅のホームに到着した電車に７人の人物が乗り込むとする。駅のホームの各乗車位置付近には駅内カメラシステム１０１（Ｎｏ．００１駅内カメラシステム１０１_１、Ｎｏ．００２駅内カメラシステム１０１_２、Ｎｏ．００３駅内カメラシステム１０１_３及びＮｏ．００４駅内カメラシステム１０１_４）が設置されている。これらの駅内カメラシステム１０１の駅内カメラ１は乗車する人物の顔画像が鮮明に撮影できるような高さに設置される。 A specific operation of the nuisance estimation system 100 will be described below.
FIG. 3 is a diagram illustrating the boarding situation on the first day. As shown in FIG. 3, suppose that seven people board a train arriving at the platform of the station on the first day. In the vicinity of each boarding position on the platform of the station, there are station camera systems 101 (No. 001 station camera system 101_1, No. 002 station camera system 101_2, No. 003 station camera system 101_3, and No. 004 station camera system. 101_4) are installed. The station camera 1 of the station camera system 101 is installed at such a height that a face image of a person on board can be clearly captured.

駅内カメラシステム１０１は電車に乗り込む人物を撮影し、画像を分析部１０３に送信する。第１日の８：００にそれぞれの駅内カメラシステム１０１が電車に乗り込んだ人物を撮影したとする。Ｎｏ．００１駅内カメラシステム１０１_１が撮影した画像からは顔データＣ、Ｄが抽出され、Ｎｏ．００２駅内カメラシステム１０１_２が撮影した画像からは顔データＡ、Ｂ、Ｇが抽出され、Ｎｏ．００３駅内カメラシステム１０１_３が撮影した画像からは顔データＦが抽出され、Ｎｏ．００４駅内カメラシステム１０１_４が撮影した画像からは顔データＥが抽出されたとする。   The in-station camera system 101 captures an image of a person getting on a train and transmits the image to the analysis unit 103. At 8:00 on the first day, it is assumed that each station camera system 101 has photographed a person who got on the train. No. 001. Face data C and D are extracted from the image captured by the station camera system 101_1. Face data A, B, and G are extracted from the image captured by the in-station camera system 101_2. The face data F is extracted from the image captured by the in-station camera system 101_3. Assume that face data E is extracted from an image captured by the 004 station camera system 101_4.

図４は、第１日に、駅内カメラデータベース部１１に格納されたデータの一例を示す図である。図４に示すように、駅内カメラデータベース部１１には、駅内カメラシステム１０１が撮影した画像から抽出された顔データとともに、当該顔データに対応する乗車位置及び乗車時刻も記録される。   FIG. 4 is a diagram illustrating an example of data stored in the station camera database unit 11 on the first day. As shown in FIG. 4, the station camera database unit 11 records face data extracted from an image captured by the station camera system 101, as well as the boarding position and boarding time corresponding to the face data.

図５は、第１日の通報時の電車内の状況について説明する図である。図５に示すように、電車内のそれぞれの出入り口付近には車内カメラシステム１０２（Ｎｏ．００１車内カメラシステム１０２_１、Ｎｏ．００２車内カメラシステム１０２_２、Ｎｏ．００３車内カメラシステム１０２_３、Ｎｏ．００４車内カメラシステム１０２_４、Ｎｏ．００５車内カメラシステム１０２_５、Ｎｏ．００６車内カメラシステム１０２_６、Ｎｏ．００７車内カメラシステム１０２_７及びＮｏ．００８車内カメラシステム１０２_８）が設置されている。   FIG. 5 is a diagram illustrating a situation in the train at the time of the first day notification. As shown in Fig. 5, near the respective entrances in the train, the in-vehicle camera system 102 (No. 001 in-vehicle camera system 102_1, No. 002 in-vehicle camera system 102_2, No. 003 in-vehicle camera system 102_3, No. 004 in-vehicle camera). System 102_4, No. 005 in-vehicle camera system 102_5, No. 006 in-vehicle camera system 102_6, No. 007 in-vehicle camera system 102_7, and No. 008 in-vehicle camera system 102_8).

被迷惑行為者が通報端末１０６から送信した通報信号は車内カメラシステム１０２のコントロール部７により受信・検出される。車内カメラシステム１０２のコントロール部７において、通報信号の受信角度により当該通報信号が発信された位置を特定する。そして、当該通報信号が発信された位置に最も近い車内カメラシステム１０２により撮影が行われる。   The notification signal transmitted from the notification terminal 106 by the annoyed person is received and detected by the control unit 7 of the in-vehicle camera system 102. The control unit 7 of the in-vehicle camera system 102 specifies the position where the notification signal is transmitted based on the reception angle of the notification signal. Then, shooting is performed by the in-vehicle camera system 102 closest to the position where the notification signal is transmitted.

図５において、顔データＧに対応する人物（被迷惑行為者）が、迷惑行為を受けた際に通報端末１０６により通報を行ったとする。この時、顔データＧに対応する人物の周辺には顔データＡ，Ｂ，Ｃ，Ｄに対応する人物がいたとする。通報信号の発信位置の最も近い車内カメラシステム１０２は、Ｎｏ．００４車内カメラシステム１０２_４なので、Ｎｏ．００４車内カメラシステム１０２_４が撮影を行う。Ｎｏ．００４車内カメラシステム１０２_４が撮影した画像からは顔データａ，ｂ，ｃ，ｄ，ｇが抽出されたとする。   In FIG. 5, it is assumed that the person (affected person) corresponding to the face data G makes a report using the report terminal 106 when the person is subjected to the nuisance. At this time, it is assumed that there is a person corresponding to face data A, B, C, and D around the person corresponding to face data G. The in-vehicle camera system 102 closest to the notification signal transmission position is No. No. 004 because the in-vehicle camera system 102_4. 004 The in-vehicle camera system 102_4 performs shooting. No. It is assumed that face data a, b, c, d, and g are extracted from an image captured by the in-vehicle camera system 102_4.

図６は、第１日に、車内カメラデータベース部１２に格納されたデータの一例を示す図である。図６に示すように、車内カメラデータベース部１２には、車内カメラシステム１０２が撮影した画像から抽出された顔データとともに、当該顔データに対応する時刻情報及び位置情報も記録される。ここで、時刻情報とは通報信号が発信された時刻の情報、位置情報とは通報端末１０６により通報信号が発信された位置の情報を意味する。迷惑行為発生時に、被迷惑行為者（通報信号の発信者）の周囲に居あわせた人物のいずれかが迷惑行為者であると考えられる。つまり、車内カメラデータベース部１２に格納された顔データａ，ｂ，ｃ，ｄ，ｇに対応する人物のいずれかが迷惑行為者であると考えられる。   FIG. 6 is a diagram illustrating an example of data stored in the in-vehicle camera database unit 12 on the first day. As shown in FIG. 6, the in-vehicle camera database unit 12 records face data extracted from an image captured by the in-vehicle camera system 102, as well as time information and position information corresponding to the face data. Here, the time information means information of a time when the notification signal is transmitted, and the position information means information of a position at which the notification signal is transmitted from the notification terminal 106. At the time of occurrence of the harassment, any of the persons present around the harasser (sender of the notification signal) is considered to be the harasser. That is, any of the persons corresponding to the face data a, b, c, d, and g stored in the in-vehicle camera database unit 12 is considered to be a nuisance actor.

一般的に、乗客は正面を向いて出入口から電車に乗り込むため、駅内カメラシステム１０１により撮影された画像中に映りこんだ人物の顔はほぼ正面を向いている場合が多い。これに対し、車内カメラシステム１０２により撮影された画像中に映りこんだ人物の顔は、電車内が混雑していることなどから正面を向いているものでないことも多い。このため、車内カメラシステム１０２で撮影された画像から抽出された顔データは、駅内カメラシステム１０１で撮影された画像から抽出される顔データに対し、顔の特徴点が不足しがちである。このため、車内カメラシステム１０２で撮影された画像から抽出された顔データだけでは人物を十分に特定できないことも考えられる。   In general, since a passenger faces a front and gets on a train from an entrance, the face of a person reflected in an image captured by the in-station camera system 101 often faces almost in front. On the other hand, in many cases, the face of a person reflected in an image captured by the in-vehicle camera system 102 does not face the front because the inside of the train is crowded. For this reason, the face data extracted from the image captured by the in-vehicle camera system 102 tends to lack facial feature points compared to the face data extracted from the image captured by the in-station camera system 101. For this reason, it is conceivable that a person cannot be sufficiently specified only by face data extracted from an image captured by the in-vehicle camera system 102.

車内カメラデータベース部１２に格納された顔データに対応する人物は、必ず駅内カメラデータベース部１１にも格納されている。このため、車内カメラデータベース部１２に格納されたある顔データの人物と、駅内カメラデータベース部１１に格納された顔データのうち車内カメラデータベース部１２に格納されたある顔データに最も近い顔データに対応する人物と、は同一人物であるとすることができる。そこで、顔データマッチング頻度スコア算出部１０は、車内カメラシステム１０２で撮影された画像から抽出された顔データと、駅内カメラシステム１０１で撮影された画像から抽出される顔データと、の照合を行い、駅内カメラデータベース部１１に格納された顔データの中から車内カメラデータベース部１２に格納された顔データと最も近い顔データを抽出する。そして、顔データマッチング頻度スコア算出部１０は、この最も近い顔データを迷惑行為発生時に居あわせた人物として統合データデータベース部１３に格納する。なお、撮影された画像から顔データを抽出する方法や顔データを照合する方法として、公知の方法（例えば、特許文献２に記載された方法など）を用いることができる。   The person corresponding to the face data stored in the in-vehicle camera database unit 12 is always stored in the in-station camera database unit 11. For this reason, a person having certain face data stored in the in-vehicle camera database unit 12 and face data closest to certain face data stored in the in-vehicle camera database unit 12 out of the face data stored in the station camera database unit 11 May be the same person. Therefore, the face data matching frequency score calculation unit 10 compares the face data extracted from the image captured by the in-vehicle camera system 102 with the face data extracted from the image captured by the in-station camera system 101. Then, face data closest to the face data stored in the in-vehicle camera database unit 12 is extracted from the face data stored in the in-station camera database unit 11. Then, the face data matching frequency score calculation unit 10 stores the closest face data in the integrated data database unit 13 as a person who was present when the annoying act occurred. A known method (for example, a method described in Patent Literature 2) can be used as a method of extracting face data from a captured image or a method of collating face data.

図７は、第１日に統合データデータベース部１３に格納されたデータの一例を示す図である。図６に示す車内カメラデータベース部１２に格納された顔データと、図４に示す駅内カメラデータベース部１１に格納された顔データと、の照合の結果、顔データａ（図６参照）が顔データＡ（図４参照）に、顔データｂ（図６参照）が顔データＢ（図４参照）に、顔データｃ（図６参照）が顔データＣ（図４参照）に、顔データｄ（図６参照）が顔データＤ（図４参照）に、顔データｇ（図６参照）が顔データＧ（図４参照）に、それぞれ最も近かったとする。図７に示すように、統合データデータベース部１３には、顔データＡ，Ｂ，Ｃ，Ｄ，Ｇが格納される。駅内カメラデータベース部１１に格納された、顔データＡ，Ｂ，Ｃ，Ｄ，Ｇに対応する乗車時刻及び乗車位置に関するデータについても、統合データデータベース部１３に格納された顔データＡ，Ｂ，Ｃ，Ｄ，Ｇとそれぞれ対応付けされて統合データデータベース部１３に格納される。   FIG. 7 is a diagram illustrating an example of data stored in the integrated data database unit 13 on the first day. As a result of collation between the face data stored in the in-vehicle camera database unit 12 shown in FIG. 6 and the face data stored in the in-station camera database unit 11 shown in FIG. 4, the face data a (see FIG. 6) shows the face. Data A (see FIG. 4), face data b (see FIG. 6) becomes face data B (see FIG. 4), face data c (see FIG. 6) becomes face data C (see FIG. 4), and face data d It is assumed that (see FIG. 6) the face data D (see FIG. 4) and the face data g (see FIG. 6) are closest to the face data G (see FIG. 4). As shown in FIG. 7, the integrated data database unit 13 stores face data A, B, C, D, and G. The data on the boarding time and the boarding position corresponding to the face data A, B, C, D, and G stored in the station camera database unit 11 are also stored in the integrated data database unit 13. C, D, and G are stored in the integrated data database unit 13 in association with each other.

また、車内カメラデータベース部１２に格納された、顔データａ，ｂ，ｃ，ｄ，ｇに対応する時刻情報、位置情報に関するデータは、顔データａ，ｂ，ｃ，ｄ，ｇがそれぞれ顔データＡ，Ｂ，Ｃ，Ｄ，Ｇに相当するとして、統合データデータベース部１３に格納された顔データＡ，Ｂ，Ｃ，Ｄ，Ｇとそれぞれ対応付けされて統合データデータベース部１３に格納される。統合データデータベース部１３に新たに顔データが格納される際、当該顔データの頻度スコアには初回値である１が記録される。   The data relating to the time information and the position information corresponding to the face data a, b, c, d, and g stored in the in-vehicle camera database unit 12 are face data a, b, c, d, and g, respectively. Assuming that they correspond to A, B, C, D, and G, they are stored in the integrated data database unit 13 in association with the face data A, B, C, D, and G stored in the integrated data database unit 13, respectively. When face data is newly stored in the integrated data database unit 13, the initial value of 1 is recorded in the frequency score of the face data.

図８は、第２日の乗車状況について説明する図である。図８に示すように、第２日の８：００にそれぞれの駅内カメラシステム１０１が電車に乗り込んだ人物を撮影したとする。Ｎｏ．００１駅内カメラシステム１０１_１が撮影した画像からは顔データＲ、Ｑが抽出され、Ｎｏ．００２駅内カメラシステム１０１_２が撮影した画像からは顔データＯ、Ｐ、Ｕが抽出され、Ｎｏ．００３駅内カメラシステム１０１_３が撮影した画像からは顔データＴが抽出され、Ｎｏ．００４駅内カメラシステム１０１_４が撮影した画像からは顔データＳが抽出されたとする。   FIG. 8 is a diagram illustrating the riding situation on the second day. As shown in FIG. 8, suppose that each station camera system 101 took a picture of a person who got on a train at 8:00 on the second day. No. 001. Face data R and Q are extracted from the image captured by the station camera system 101_1. The face data O, P, and U are extracted from the image captured by the in-station camera system 101_2. The face data T is extracted from the image captured by the in-station camera system 101_3. Assume that face data S is extracted from an image captured by the 004 station camera system 101_4.

図９は、第２日に、駅内カメラデータベース部１１に格納されたデータの一例を示す図である。図９に示すように、駅内カメラデータベース部１１には、駅内カメラシステム１０１が撮影した画像から抽出された顔データとともに、当該顔データに対応する乗車時刻及び乗車位置も記録される。駅内カメラデータベース部１１は、データ量が膨大になるのを避けるため、該当日の始発からデータの記録を開始し、終電の後にデータがリセットされるようにする。つまり、駅内カメラデータベース部１１において、第２日には、第１日に格納されたデータ（図４参照）は消去されている。   FIG. 9 is a diagram illustrating an example of data stored in the station camera database unit 11 on the second day. As shown in FIG. 9, the station camera database unit 11 records the boarding time and the boarding position corresponding to the face data together with the face data extracted from the image captured by the station camera system 101. The station camera database unit 11 starts recording data from the start of the day and resets the data after the last train, in order to avoid an enormous amount of data. That is, in the in-station camera database unit 11, the data stored on the first day (see FIG. 4) is deleted on the second day.

図１０は、第２日の通報時の電車内の状況について説明する図である。図１０に示すように、顔データＵに対応する人物（被迷惑行為者）が、迷惑行為を受けた際に通報端末１０６により通報を行ったとする。この時、顔データＵに対応する人物の周辺には顔データＯ，Ｐ，Ｑ，Ｒに対応する人物がいたとする。通報信号の発信位置の最も近い車内カメラシステム１０２は、Ｎｏ．００４車内カメラシステム１０２_４なので、Ｎｏ．００４車内カメラシステム１０２_４が撮影を行う。Ｎｏ．００４車内カメラシステム１０２_４が撮影した画像からは顔データｏ，ｐ，ｑ，ｒ，ｕが抽出されたとする。   FIG. 10 is a diagram illustrating a situation in the train at the time of the notification on the second day. As shown in FIG. 10, it is assumed that the person (affected person) corresponding to the face data U makes a report using the report terminal 106 when the person is subjected to the nuisance. At this time, it is assumed that there is a person corresponding to the face data O, P, Q, and R around the person corresponding to the face data U. The in-vehicle camera system 102 closest to the notification signal transmission position is No. No. 004 because the in-vehicle camera system 102_4. 004 The in-vehicle camera system 102_4 performs shooting. No. It is assumed that face data o, p, q, r, and u are extracted from an image captured by the in-vehicle camera system 102_4.

図１１は、第２日に、車内カメラデータベース部１２に格納されたデータの一例を示す図である。図１１に示すように、車内カメラデータベース部１２には、車内カメラシステム１０２が撮影した画像から抽出された顔データとともに、当該顔データに対応する時刻情報及び位置情報も記録される。ここで、時刻情報とは通報信号が発信された時刻の情報、位置情報とは通報端末１０６により通報信号が発信された位置の情報を意味する。車内カメラデータベース部１２は、データ量が膨大になるのを避けるため、該当日の始発からデータの記録を開始し、終電の後にデータがリセットされるようにする。つまり、車内カメラデータベース部１２において、第２日には、第１日に格納されたデータ（図６参照）は消去されている。   FIG. 11 is a diagram illustrating an example of data stored in the in-vehicle camera database unit 12 on the second day. As shown in FIG. 11, the in-vehicle camera database unit 12 records face data extracted from an image captured by the in-vehicle camera system 102, as well as time information and position information corresponding to the face data. Here, the time information means information of a time when the notification signal is transmitted, and the position information means information of a position at which the notification signal is transmitted from the notification terminal 106. The in-vehicle camera database unit 12 starts recording data from the start of the day and resets the data after the last train, in order to avoid an enormous amount of data. That is, in the in-vehicle camera database unit 12, the data stored on the first day (see FIG. 6) is deleted on the second day.

顔データマッチング頻度スコア算出部１０が、図１１に示す車内カメラデータベース部１２に格納された顔データと、図９に示す駅内カメラデータベース部１１に格納された顔データと、の照合を行った結果、顔データｏ（図１１参照）が顔データＯ（図９参照）に、顔データｐ（図１１参照）が顔データＰ（図９参照）に、顔データｑ（図１１参照）が顔データＱ（図９参照）に、顔データｒ（図１１参照）が顔データＲ（図９参照）に、顔データｕ（図１１参照）が顔データＵ（図９参照）に、それぞれ最も近かったとする。顔データＯ，Ｐ，Ｑ，Ｒ，Ｕは、統合データデータベース部１３に格納する候補とする。なお、顔データｏ，ｐ，ｑ，ｒ，ｕの時刻情報及び位置情報は、顔データＯ，Ｐ，Ｑ，Ｒ，Ｕにそれぞれ対応させる。   The face data matching frequency score calculation unit 10 collated the face data stored in the in-vehicle camera database unit 12 shown in FIG. 11 with the face data stored in the in-station camera database unit 11 shown in FIG. As a result, the face data o (see FIG. 11) becomes face data O (see FIG. 9), the face data p (see FIG. 11) becomes face data P (see FIG. 9), and the face data q (see FIG. 11) becomes face. The data Q (see FIG. 9), the face data r (see FIG. 11) are closest to the face data R (see FIG. 9), and the face data u (see FIG. 11) is closest to the face data U (see FIG. 9). Suppose. The face data O, P, Q, R, and U are candidates to be stored in the integrated data database unit 13. The time information and the position information of the face data o, p, q, r, u correspond to the face data O, P, Q, R, U, respectively.

続いて、顔データマッチング頻度スコア算出部１０が、既に統合データデータベース部１３に格納されている顔データ（図７参照）の中に、統合データデータベース部１３に格納する候補である顔データＯ，Ｐ，Ｑ，Ｒ，Ｕと実質的に一致しているものがあるか検索を行う。検索の結果、既に統合データデータベース部１３に格納されている顔データＡと、統合データデータベース部１３に格納する候補である顔データＯとが実質的に一致していたとする。統合データデータベース部１３に格納する候補である顔データＰ，Ｑ，Ｒ，Ｕは、既に統合データデータベース部１３に格納されている顔データの中に実質的に一致するものがなかったとする。   Subsequently, the face data matching frequency score calculating unit 10 selects, among the face data already stored in the integrated data database unit 13 (see FIG. 7), the face data O, which are candidates to be stored in the integrated data database unit 13. A search is performed to see if there is any that substantially matches P, Q, R, and U. As a result of the search, it is assumed that the face data A already stored in the integrated data database 13 substantially matches the face data O which is a candidate to be stored in the integrated data database 13. It is assumed that face data P, Q, R, and U, which are candidates to be stored in the integrated data database unit 13, have not substantially matched any of the face data already stored in the integrated data database unit 13.

図１２は、第２日に、統合データデータベース部１３に格納されたデータの一例を示す図である。
図１２に示すように、統合データデータベース部１３に格納する候補のうち、既に統合データデータベース部１３に格納されている顔データの中に実質的に一致するものがなかった顔データＰ，Ｑ，Ｒ，Ｕは、新たに統合データデータベース部１３に格納される。顔データＰ，Ｑ，Ｒ，Ｕに対応する位置情報、時刻情報、乗車位置及び乗車時刻も顔データＰ，Ｑ，Ｒ，Ｕとともに統合データデータベース部１３に記録される。統合データデータベース部１３に新たに顔データが格納される際、当該顔データの頻度スコアとして初回値である１が記録される。 FIG. 12 is a diagram illustrating an example of data stored in the integrated data database unit 13 on the second day.
As shown in FIG. 12, among the candidates stored in the integrated data database unit 13, the face data P, Q, and R and U are newly stored in the integrated data database unit 13. The position information, time information, boarding position, and boarding time corresponding to the face data P, Q, R, and U are also recorded in the integrated data database unit 13 together with the face data P, Q, R, and U. When new face data is stored in the integrated data database unit 13, 1 as an initial value is recorded as a frequency score of the face data.

統合データデータベース部１３に格納する候補のうち、既に統合データデータベース部１３に格納されている顔データの中に実質的に一致するものが見つかった顔データＯについては、統合データデータベース部１３に新たに格納することはせず、顔データＯに対応する位置情報、時刻情報、乗車位置及び乗車時刻についてのデータは、顔データＡの欄に追加で記録される。また、既に統合データデータベース部１３に格納されている顔データＡの頻度スコアに所定値である１を加算する。つまり、顔データＡに対応する頻度スコアは２になる。   Among the candidates to be stored in the integrated data database unit 13, the face data O for which substantially matching face data has been found among the face data already stored in the integrated data database unit 13 is newly added to the integrated data database unit 13. Is stored in the column of the face data A in addition to the position information, the time information, the boarding position and the boarding time corresponding to the face data O. Further, a predetermined value of 1 is added to the frequency score of the face data A already stored in the integrated data database unit 13. That is, the frequency score corresponding to the face data A is 2.

迷惑行為者推定システム１００が、上述した第１日、第２日の処理を繰り返すことにより、統合データデータベース部１３には日々、迷惑行為者の候補である人物のデータが蓄積される。規定期間（例えば１ヶ月）が経過したところで、統合データデータベース部１３において、頻度スコアが予め定められた閾値（例えば４）を超えている顔データに対応する人物が迷惑行為者であると推定される。   By performing the processing on the first day and the second day by the annoying actor estimating system 100, data of a person who is a candidate for an annoying actor is accumulated in the integrated data database unit 13 every day. When a prescribed period (for example, one month) has elapsed, it is estimated in the integrated data database unit 13 that the person corresponding to the face data whose frequency score exceeds a predetermined threshold (for example, 4) is a nuisance actor. You.

一般的に、迷惑行為者は迷惑行為を繰り返す傾向が強いので、上述した頻度スコアにより精度良く迷惑行為者を推定することができる。以上より、本実施の形態にかかる迷惑行為者推定システム１００より、不特定多数の人が出入りする空間内における迷惑行為者を推定することができる。   In general, since a nuisance actor has a strong tendency to repeat an nuisance act, the nuisance actor can be accurately estimated from the frequency score described above. As described above, the annoying person estimation system 100 according to the present embodiment can estimate an annoying person in a space where an unspecified number of people enter and leave.

次に、迷惑行為者推定システム１００が迷惑行為者を推定する処理の流れについて以下で説明する。図１３、図１４及び図１５は、迷惑行為者推定システム１００が迷惑行為者を推定する処理の流れを示すフローチャートである。なお、以下の説明において図２も適宜参照する。   Next, a flow of a process of estimating the annoying person by the annoying person estimation system 100 will be described below. FIG. 13, FIG. 14, and FIG. 15 are flowcharts showing the flow of the process of estimating the annoying individual by the annoying individual estimating system 100. In the following description, FIG.

図１３は、電車に乗り込む人物の顔データを取得し、当該顔データを駅内カメラデータベース部１１に格納する処理の流れを示すフローチャートである。図１３に示すように、まず、駅内カメラシステム１０１のコントロール部３が、駅内カメラ１、カメラ識別情報に対し、それぞれ、画像の撮影指示、乗車時刻及び乗車位置の取得指示を行う（ステップＳ１）。そして、駅内カメラ１が画像の撮影を行うとともに、カメラ識別情報が乗車時刻及び乗車位置を取得する（ステップＳ２）。   FIG. 13 is a flowchart showing a flow of a process of acquiring face data of a person getting on a train and storing the face data in the station camera database unit 11. As shown in FIG. 13, first, the control unit 3 of the station camera system 101 issues an image shooting instruction, a boarding time, and a boarding position acquisition instruction for the station camera 1 and the camera identification information, respectively (Step S <b> 1). S1). Then, the station camera 1 captures an image, and the camera identification information acquires the boarding time and the boarding position (step S2).

次に、通信部４が、カメラ識別情報部２により撮影された画像と、カメラ識別情報により取得された乗車時刻及び乗車位置と、を画像分析部９に送信する（ステップＳ３）。ステップＳ３に続き、画像分析部９が、駅内カメラ１により撮影された画像から顔データの抽出を行い（ステップＳ４）、抽出された顔データを、乗車時刻及び乗車位置と対応付けて駅内カメラデータベース部１１に格納する（ステップＳ５）。   Next, the communication unit 4 transmits the image captured by the camera identification information unit 2 and the boarding time and the boarding position acquired by the camera identification information to the image analysis unit 9 (Step S3). Subsequent to step S3, the image analysis unit 9 extracts face data from the image captured by the station camera 1 (step S4), and associates the extracted face data with the boarding time and the boarding position in the station. It is stored in the camera database unit 11 (step S5).

図１４は、電車内において被迷惑行為者の周囲の人物の顔データを取得し、当該顔データを車内カメラデータベース部１２に格納する処理の流れを示すフローチャートである。図１４に示すように、まず、車内カメラシステム１０２のコントロール部７が、被迷惑行為者の通報端末１０６から発信された通報信号を受信する（ステップＳ１０１）。次に、通報信号を受信したコントロール部７が、通報信号の角度などから通報信号が発信された位置を特定する（ステップＳ１０２）。   FIG. 14 is a flowchart showing a flow of a process of acquiring face data of a person around an annoyed person in a train and storing the face data in the in-vehicle camera database unit 12. As shown in FIG. 14, first, the control unit 7 of the in-vehicle camera system 102 receives a notification signal transmitted from the notification terminal 106 of the nuisance actor (step S101). Next, the control unit 7 that has received the notification signal specifies the position where the notification signal was transmitted from the angle of the notification signal or the like (step S102).

ステップＳ１０２に続き、通報位置からの最も近い距離に設置された車内カメラシステム１０２において、車内カメラ５が通報信号の発信位置周辺の画像を撮影するとともに、カメラ識別情報部６が時刻情報・位置情報を取得する（ステップＳ１０３）。ここで、時刻情報とは通報信号が発信された時刻の情報、位置情報とは通報端末１０６により通報信号が発信された位置の情報を意味する。そして、通信部８が、車内カメラにより撮影された画像とカメラ識別情報部６により取得された位置情報・時刻情報を画像分析部９に送信する（ステップＳ１０４）。   Subsequent to step S102, in the in-vehicle camera system 102 installed at the closest distance from the notification position, the in-vehicle camera 5 captures an image around the transmission position of the notification signal, and the camera identification information unit 6 displays the time information / position information. Is acquired (step S103). Here, the time information means information of a time when the notification signal is transmitted, and the position information means information of a position at which the notification signal is transmitted from the notification terminal 106. Then, the communication unit 8 transmits the image photographed by the in-vehicle camera and the position information / time information acquired by the camera identification information unit 6 to the image analysis unit 9 (Step S104).

ステップＳ１０４に続き、画像分析部９が、車内カメラ５により撮影された画像から顔データの抽出を行い（ステップＳ１０５）、抽出された顔データを、位置情報・時刻情報と対応付けて車内カメラデータベース部１２に格納する（ステップＳ１０６）。   Subsequent to step S104, the image analysis unit 9 extracts face data from the image captured by the in-vehicle camera 5 (step S105), and associates the extracted face data with the position information and time information, and associates the extracted face data with the in-vehicle camera database. It is stored in the unit 12 (step S106).

図１５は、統合データデータベース部１３に格納された顔データに対応する頻度スコアから迷惑行為者を推定する処理の流れを示すフローチャートである。図１５に示すように、まず、顔データマッチング頻度スコア算出部１０が、車内カメラデータベース部１２に格納された顔データと、駅内カメラデータベース部１１に格納された顔データと、を照合し、駅内カメラデータベース部１１に格納された顔データのうち車内カメラデータベース部１２に格納された顔データに最も近いものを統合データデータベース部１３に格納する候補として抽出する（ステップＳ２０１）。   FIG. 15 is a flowchart illustrating a flow of a process of estimating a nuisance person from a frequency score corresponding to face data stored in the integrated data database unit 13. As shown in FIG. 15, first, the face data matching frequency score calculation unit 10 collates the face data stored in the in-vehicle camera database unit 12 with the face data stored in the in-station camera database unit 11, The face data closest to the face data stored in the in-vehicle camera database section 12 among the face data stored in the station camera database section 11 is extracted as a candidate to be stored in the integrated data database section 13 (step S201).

ステップＳ２０１に続き、顔データマッチング頻度スコア算出部１０が、既に統合データデータベース部１３に格納されている顔データの中に、統合データデータベース部１３に格納する候補として抽出した顔データと実質的に一致しているものがあるか否か検索する（ステップＳ２０２）。   Subsequent to step S201, the face data matching frequency score calculation unit 10 substantially matches the face data extracted as candidates to be stored in the integrated data database unit 13 among the face data already stored in the integrated data database unit 13. It is searched whether there is a match (step S202).

ステップＳ２０２で一致するものがある場合は、顔データマッチング頻度スコア算出部１０が、一致する顔データについては新たに統合データデータベース部１３に格納することはせず、一致しない顔データについてのみ新たに統合データデータベース部１３に格納する（ステップＳ２０３）。なお、顔データを格納する際、対応する位置情報・時刻情報も格納する。   If there is a match in step S202, the face data matching frequency score calculation unit 10 does not newly store the matching face data in the integrated data database unit 13, but newly stores only the face data that does not match. It is stored in the integrated data database unit 13 (step S203). When storing face data, corresponding position information and time information are also stored.

ステップＳ２０２で一致するものがない場合は、統合データデータベース部１３に格納する候補として抽出した顔データの全てを新たに統合データデータベース部１３に格納する（ステップＳ２０４）。なお、顔データを格納する際、対応する位置情報・時刻情報も格納する。   If there is no match in step S202, all of the face data extracted as candidates to be stored in the integrated data database unit 13 are newly stored in the integrated data database unit 13 (step S204). When storing face data, corresponding position information and time information are also stored.

ステップＳ２０３、ステップＳ２０４に続き、統合データデータベース部１３の頻度スコアを更新する（ステップＳ２０５）。具体的には、上記候補のうち統合データデータベース部１３に新たに格納した顔データの頻度スコアに初回値である１を記録し、上記候補のうち統合データデータベース部１３に新たに格納しなかった顔データについては対応する既に統合データデータベース部１３に格納された顔データの頻度スコアに所定値である１を加算する。   Subsequent to step S203 and step S204, the frequency score of the integrated data database unit 13 is updated (step S205). Specifically, the initial value 1 is recorded in the frequency score of the face data newly stored in the integrated data database unit 13 among the candidates, and the frequency score is not newly stored in the integrated data database unit 13 among the candidates. For the face data, a predetermined value of 1 is added to the frequency score of the corresponding face data already stored in the integrated data database unit 13.

ステップＳ２０５に続き、規定期間が経過した否か判断する（ステップＳ２０６）。ステップＳ２０６で規定期間が経過したと判断された場合、統合データデータベース部１３に格納された顔データのうち、頻度スコアが予め定められた閾値を超えた顔データの人物を迷惑行為者と推定される人物と判断し、管理者へ報告する（ステップＳ２０７）。ステップＳ２０６で規定期間が経過したと判断されなかった場合、処理をステップＳ２０１に戻す。   Subsequent to step S205, it is determined whether a specified period has elapsed (step S206). When it is determined in step S206 that the specified period has elapsed, a person whose face score has a frequency score exceeding a predetermined threshold among the face data stored in the integrated data database unit 13 is estimated to be a nuisance actor. Is determined to be a person to be reported to the manager (step S207). If it is not determined in step S206 that the specified period has elapsed, the process returns to step S201.

上述の実施の形態では、本発明をハードウェアの構成として説明したが、本発明は、これに限定されるものではない。本発明は、各処理を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にコンピュータプログラムを実行させることにより実現することも可能である。   In the above-described embodiments, the present invention has been described as a hardware configuration, but the present invention is not limited to this. The present invention can also be realized by causing a CPU (Central Processing Unit) to execute a computer program.

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ-ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒy）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。   In the above example, the program may be stored and provided to a computer using various types of non-transitory computer readable media. Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer-readable media include magnetic recording media (eg, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, It includes a CD-R / W, a semiconductor memory (for example, a mask ROM, a PROM (Programmable ROM), an EPROM (Erasable PROM), a flash ROM, and a RAM (Random Access Memory). It may be provided to a computer by a transitory computer readable medium, and examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. Transitory computer readable media can provide the program to a computer via a wired communication line such as an electric wire and an optical fiber, or a wireless communication line.

以上、本発明を上記実施の形態に即して説明したが、本発明は上記実施の形態の構成にのみ限定されるものではなく、本願特許請求の範囲の請求項の発明の範囲内で当業者であればなし得る各種変形、修正、組み合わせを含むことは勿論である。   As described above, the present invention has been described with reference to the above embodiment. However, the present invention is not limited to the configuration of the above embodiment, but falls within the scope of the claims of the present application. Needless to say, it includes various variations, modifications, and combinations that can be made by a trader.

例えば、上記実施の形態において、頻度スコアの算出において、通報端末が通報信号を発信した位置情報を考慮するようにしてもよい。具体的には、頻度スコアの算出において、同じ位置において発信された通報信号を受けて再び検出された人物については加算する所定値を基準の値よりも大きくする。例えば、所定値の基準の値を１とすると、同じ位置で再び検出された人物については加算する所定値を２とする。迷惑行為の常習者は一度迷惑行為を行った位置で再び迷惑行為を行うことも多いので、このように頻度スコアを算出することで、迷惑行為者の推定の精度を向上させることができる。   For example, in the above embodiment, in calculating the frequency score, the location information at which the reporting terminal has transmitted the reporting signal may be considered. Specifically, in the calculation of the frequency score, a predetermined value to be added to a person detected again after receiving the notification signal transmitted at the same position is made larger than a reference value. For example, if the reference value of the predetermined value is 1, a predetermined value to be added is set to 2 for a person detected again at the same position. Since the addict of the annoying act often performs the annoying action again at the position where the annoying act was once performed, the accuracy of the estimation of the annoying actor can be improved by calculating the frequency score in this manner.

車内カメラシステム１０２の車内カメラ５は、電車内に配設されたレールなどのガイドに沿って移動できる可動式のものであってもよい。これにより、被迷惑行為者周辺の人物の顔をより捉え易くすることができる。可動式の車内カメラは、通報端末から発信された通報信号により特定された被迷惑行為者の位置に応じて、被迷惑行為者周辺の人物の顔を捉えるために最適な位置に移動する。   The in-vehicle camera 5 of the in-vehicle camera system 102 may be a movable type that can move along a guide such as a rail provided in a train. As a result, it is possible to make it easier to catch the faces of persons around the annoyed person. The movable in-vehicle camera moves to an optimal position for capturing the face of a person around the annoyed person according to the position of the annoyed person specified by the notification signal transmitted from the notification terminal.

通報端末１０６から通報信号が発信された際、複数の車内カメラシステム１０２において画像の撮影が行われるようにしてもよい。このようにすることで、顔データの取得ミスを回避することができる。   When a notification signal is transmitted from the notification terminal 106, an image may be captured in the plurality of in-vehicle camera systems 102. By doing so, it is possible to avoid a face data acquisition error.

通報端末１０６が通報信号を発信した位置から最も近い位置に設置された車内カメラシステム１０２と、当該車内カメラシステム１０２に対向して配置された車内カメラシステム１０２と、において画像の撮影が行われるようにしてもよい。例えば、図５において、最も近い位置に設置された車内カメラシステム１０２がＮｏ．００４車内カメラシステム１０２_４であれば、Ｎｏ．００４車内カメラシステム１０２_４と、Ｎｏ．００４車内カメラシステム１０２_４に対向して配置されたＮｏ.００３車内カメラシステム１０２_３と、において画像の撮影が行われる。このようにすることで、顔データの取得ミスを回避することができる。   Images are taken by the in-vehicle camera system 102 installed at a position closest to the position where the notification terminal 106 has transmitted the notification signal, and the in-vehicle camera system 102 arranged opposite to the in-vehicle camera system 102. It may be. For example, in FIG. 5, the in-vehicle camera system 102 installed at the closest position is No. 1. In the case of the in-vehicle camera system 102_4, No. 004 in-vehicle camera system 102_4, An image is taken with the No. 003 in-vehicle camera system 102_3 disposed opposite to the 004 in-vehicle camera system 102_4. By doing so, it is possible to avoid a face data acquisition error.

通報端末１０６が通報信号を発信した位置からの距離が予め定められた所定の距離以内に設置された車内カメラシステム１０２において画像の撮影が行われるようにしてもよい。このようにすることで、顔データの取得ミスを回避することができる。   The image may be captured by the in-vehicle camera system 102 installed within a predetermined distance from the position where the notification terminal 106 has transmitted the notification signal. By doing so, it is possible to avoid a face data acquisition error.

５００ 迷惑行為推定システム
５０１ 第１撮影部
５０２ 第２撮影部
５０３ 通報端末
５０４ 画像分析部
５０５ 第１データベース部
５０６ 第２データベース部
５０７ 第３データベース部
５０８ 顔データ解析部
５０９ 判断部 500 Harassment Estimation System 501 First Imaging Unit 502 Second Imaging Unit 503 Notification Terminal 504 Image Analysis Unit 505 First Database Unit 506 Second Database Unit 507 Third Database Unit 508 Face Data Analysis Unit 509 Judgment Unit

Claims (7)

不特定多数の人が出入りする出入口のある空間内における迷惑行為者を推定する迷惑行為者推定システムであって、
前記出入口付近に設けられ前記空間に入場する人物を撮影する第１撮影部と、
前記空間内に設けられ端末からの信号を受信した際に迷惑行為に関する位置の周辺を撮影する第２撮影部と、
前記第１撮影部が撮影した画像および前記第２撮影部が撮影した画像から、顔データを抽出する画像分析部と、
前記第１撮影部が撮影した画像から抽出された顔データを格納する第１データベース部と、
前記第２撮影部が撮影した画像から抽出された顔データを格納する第２データベース部と、
前記第１データベース部に格納された第１顔データと前記第２データベース部に格納された第２顔データとの照合を行い、前記第１顔データの中から前記第２顔データに最も近いものを格納候補顔データとして抽出する顔データ解析部と、
予め定められた規定期間の経過後に、前記格納候補顔データが抽出された頻度が予め定められた閾値を超えた顔データの人物を迷惑行為者と推定される人物と判断する判断部と、
を備える、迷惑行為者推定システム。 A harasser estimating system for estimating a harasser in a space with an entrance where an unspecified number of people enter and exit,
A first photographing unit provided near the entrance and photographing a person entering the space;
A second photographing unit that is provided in the space and that photographs around the position related to the harassment when receiving a signal from the terminal;
An image analysis unit that extracts face data from an image captured by the first imaging unit and an image captured by the second imaging unit;
A first database unit that stores face data extracted from an image captured by the first imaging unit;
A second database unit that stores face data extracted from an image captured by the second imaging unit;
The first face data stored in the first database unit is compared with the second face data stored in the second database unit, and the first face data closest to the second face data is selected from the first face data. A face data analysis unit for extracting as storage candidate face data,
A determination unit that determines, after a predetermined period of time, a person whose face data has a frequency at which the storage candidate face data is extracted exceeds a predetermined threshold value to be a person estimated to be a nuisance actor,
An abuse actor estimating system comprising: 前記迷惑行為に関する位置は、前記端末から信号が発信された位置であり、前記第２撮影部は、前記空間内に設けられ端末からの信号を受信した際に当該信号が発信された位置を特定し、
迷惑行為者の候補となる顔データを格納する第３データベース部と、をさらに備え、
前記顔データ解析部は前記第３データベース部に格納する顔データの選別および頻度スコアの算出を行い、
前記判断部は前記頻度スコアに基づいて迷惑行為者と推定される人物を判断し、
前記格納候補顔データと実質的に一致する前記第３データベース部に格納済みの格納済み顔データがないときは、前記顔データ解析部が、当該格納候補顔データを新たに前記第３データベース部に格納するとともに格納した前記格納候補顔データに対応する前記頻度スコアとして初回値を与え、
前記格納候補顔データと実質的に一致する前記第３データベース部に格納済みの格納済み顔データがあるときは、前記顔データ解析部が、前記格納候補顔データを前記第３データベース部に格納せずに前記格納候補顔データと一致した前記格納済み顔データに対応する前記頻度スコアを所定値だけ増やし、
前記判断部が、予め定められた規定期間の経過後に、前記第３データベース部に格納された顔データのうち、対応する前記頻度スコアが予め定められた閾値を超えた顔データの人物を迷惑行為者と推定される人物と判断し、
前記第３データベース部に格納された前記顔データに対応する前記頻度スコアの算出において、前記端末が信号を発信した位置の情報を考慮する請求項１に記載の迷惑行為者推定システム。 The position related to the harassment is a position where a signal is transmitted from the terminal, and the second photographing unit is provided in the space and specifies a position where the signal is transmitted when receiving a signal from the terminal. And
A third database unit that stores face data that is a candidate for a nuisance actor;
The face data analysis unit performs selection of face data stored in the third database unit and calculation of a frequency score,
The determining unit determines a person presumed to be a nuisance based on the frequency score,
When there is no stored face data stored in the third database unit that substantially matches the storage candidate face data, the face data analysis unit newly stores the stored candidate face data in the third database unit. A first value is given as the frequency score corresponding to the stored candidate face data stored and stored,
When there is stored face data already stored in the third database unit that substantially matches the storage candidate face data, the face data analysis unit stores the stored candidate face data in the third database unit. Without increasing the frequency score corresponding to the stored face data that matches the storage candidate face data by a predetermined value,
The determination unit is configured to, after a predetermined period of time elapses, disturb a person whose face data has a corresponding frequency score exceeding a predetermined threshold among the face data stored in the third database unit. Is determined to be a presumed person,
2. The aggravating person estimating system according to claim 1, wherein in calculating the frequency score corresponding to the face data stored in the third database unit, information on a position where the terminal has transmitted a signal is considered. 前記空間内には前記第２撮影部が複数設置される、請求項１または２に記載の迷惑行為者推定システム。   The inconvenience actor estimating system according to claim 1, wherein a plurality of the second photographing units are provided in the space. 前記端末から信号が発信された際に、複数の前記第２撮影部のうちで、少なくとも当該信号が発信された位置からの距離が最も近いものが当該発信された位置の周辺を撮影する請求項３に記載の迷惑行為者推定システム。   When the signal is transmitted from the terminal, among the plurality of second photographing units, at least one of the plurality of second photographing units that is closest to the position where the signal is transmitted photographs the periphery of the transmitted position. 3. The nuisance estimation system according to 3. 前記端末から信号が発信された際に、複数の前記第２撮影部のうちで当該信号が発信された位置からの距離が予め定められた所定の距離以内にあるものが当該発信位置周辺を撮影する請求項４に記載の迷惑行為者推定システム。   When a signal is transmitted from the terminal, one of the plurality of second photographing units whose distance from the position where the signal is transmitted is within a predetermined distance is photographed around the transmission position. The inconvenience estimation system according to claim 4. 前記第２撮影部は、前記空間内に配設されたガイドに沿って移動可能であり、前記端末による信号の発信位置に応じて移動する請求項１乃至３のいずれか一項に記載の迷惑行為者推定システム。   4. The annoying device according to claim 1, wherein the second photographing unit is movable along a guide disposed in the space, and moves according to a signal transmission position of the terminal. Actor estimation system. 不特定多数の人が出入りする出入口のある空間の出入口付近に設けられ前記空間に入場する人物を撮影する第１撮影部と、前記空間内に設けられ端末からの信号を受信した際に迷惑行為に関する位置の周辺を撮影する第２撮影部と、前記第１撮影部が撮影した画像および前記第２撮影部が撮影した画像から、顔データを抽出する画像分析部と、前記第１撮影部が撮影した画像から抽出された顔データを格納する第１データベース部と、前記第２撮影部が撮影した画像から抽出された顔データを格納する第２データベース部と、を備え、前記空間内における迷惑行為者を推定する迷惑行為者推定システムの制御方法であって、
前記第１データベース部に格納された第１顔データと前記第２データベース部に格納された第２顔データとの照合を行い、前記第１顔データの中から前記第２顔データに最も近いものを格納候補顔データとして抽出するステップと、
予め定められた規定期間の経過後に、前記格納候補顔データが抽出された頻度が予め定められた閾値を超えた顔データの人物を迷惑行為者と推定される人物と判断するステップと、を有する迷惑行為者推定システムの制御方法。 A first photographing unit which is provided near an entrance and exit of a space where an unspecified number of people enter and exits and which photographs a person entering the space; A second photographing unit for photographing the periphery of the position related to, an image analyzing unit for extracting face data from an image photographed by the first photographing unit and an image photographed by the second photographing unit; A first database unit for storing face data extracted from the captured image; and a second database unit for storing face data extracted from the image captured by the second imaging unit, and annoying in the space. A control method for a nuisance estimation system that estimates an actor,
The first face data stored in the first database unit is compared with the second face data stored in the second database unit, and the first face data closest to the second face data is selected from the first face data. Extracting as storage candidate face data,
After elapse of a predetermined period, determining a person whose face data has a frequency at which the storage candidate face data is extracted exceeds a predetermined threshold value as a person presumed to be a nuisance actor. A control method for the abusive agent estimation system.
JP2019125109A 2019-07-04 2019-07-04 Annoying actor estimation system, control method and control program of annoying actor estimation system Active JP6879336B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019125109A JP6879336B2 (en) 2019-07-04 2019-07-04 Annoying actor estimation system, control method and control program of annoying actor estimation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019125109A JP6879336B2 (en) 2019-07-04 2019-07-04 Annoying actor estimation system, control method and control program of annoying actor estimation system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015186941A Division JP6558178B2 (en) 2015-09-24 2015-09-24 Nuisance agent estimation system, control method and control program for nuisance agent estimation system

Publications (2)

Publication Number Publication Date
JP2019215878A true JP2019215878A (en) 2019-12-19
JP6879336B2 JP6879336B2 (en) 2021-06-02

Family

ID=68918785

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019125109A Active JP6879336B2 (en) 2019-07-04 2019-07-04 Annoying actor estimation system, control method and control program of annoying actor estimation system

Country Status (1)

Country Link
JP (1) JP6879336B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015130155A (en) * 2013-12-02 2015-07-16 Ｌｙｋａｏｎ株式会社 Crime prevention system
JP2017062594A (en) * 2015-09-24 2017-03-30 日本電気株式会社 Nuisance estimation system, and control method and control program for nuisance estimation system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015130155A (en) * 2013-12-02 2015-07-16 Ｌｙｋａｏｎ株式会社 Crime prevention system
JP2017062594A (en) * 2015-09-24 2017-03-30 日本電気株式会社 Nuisance estimation system, and control method and control program for nuisance estimation system
JP6558178B2 (en) * 2015-09-24 2019-08-14 日本電気株式会社 Nuisance agent estimation system, control method and control program for nuisance agent estimation system

Also Published As

Publication number Publication date
JP6879336B2 (en) 2021-06-02

Similar Documents

Publication Publication Date Title
US11210527B2 (en) Target object identifying device, target object identifying method and target object identifying program
CN107590439B (en) Target person identification and tracking method and device based on monitoring video
US9875392B2 (en) System and method for face capture and matching
JP4759988B2 (en) Surveillance system using multiple cameras
CN110222640B (en) Method, device and method for identifying suspect in monitoring site and storage medium
JP4984728B2 (en) Subject collation device and subject collation method
JP2022082561A (en) Analysis server, monitoring system, monitoring method, and program
WO2019151117A1 (en) Information processing device
JP2022168070A (en) person detection system
KR101298684B1 (en) Non sensor based vehicle number recognition system and operating method thereof
CN111325954B (en) Personnel loss early warning method, device, system and server
KR20160074208A (en) System and method for providing safety service using beacon signals
US10902355B2 (en) Apparatus and method for processing information and program for the same
JP6558178B2 (en) Nuisance agent estimation system, control method and control program for nuisance agent estimation system
EP3035225B1 (en) Information processing device, authentication system, authentication method, and program
JP4985742B2 (en) Imaging system, method and program
JP2011068469A (en) Elevator control device, monitoring system, searching revitalization program, in/out management system
JP2019215878A (en) Nuisance person estimation system and control method of nuisance person estimation system
KR102099816B1 (en) Method and apparatus for collecting floating population data on realtime road image
JP2020063659A (en) Information processing system
JP2020181262A (en) Measurement method of number of customers and measurement device of number of customers
WO2019188079A1 (en) Person transit time measurement system and person transit time measurement method
JP2020136855A (en) Monitoring system, monitor support device, monitoring method, monitor support method, and program
JP7279774B2 (en) Information processing equipment
JP6645166B2 (en) Travel time storage system, travel time storage method, and travel time storage program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200929

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A132

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210412

R150 Certificate of patent or registration of utility model

Ref document number: 6879336

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150