JP2018151834A - Lost child detection apparatus and lost child detection method - Google Patents

Lost child detection apparatus and lost child detection method Download PDF

Info

Publication number
JP2018151834A
JP2018151834A JP2017047333A JP2017047333A JP2018151834A JP 2018151834 A JP2018151834 A JP 2018151834A JP 2017047333 A JP2017047333 A JP 2017047333A JP 2017047333 A JP2017047333 A JP 2017047333A JP 2018151834 A JP2018151834 A JP 2018151834A
Authority
JP
Japan
Prior art keywords
person
watcher
lost
lost child
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017047333A
Other languages
Japanese (ja)
Other versions
JP6837356B2 (en
Inventor
大介 上田
Daisuke Ueda
大介 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2017047333A priority Critical patent/JP6837356B2/en
Publication of JP2018151834A publication Critical patent/JP2018151834A/en
Application granted granted Critical
Publication of JP6837356B2 publication Critical patent/JP6837356B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To prevent erroneous determination of a lost child when a watcher is watching from a distance a watching target person.SOLUTION: The lost child detection apparatus 3 acquires a captured image including a person from an imaging apparatus 2, detects from the captured image a watching target person who is a target whose action is watched and a watcher who is a person to watch the watching target person and detects a distance between the watcher and the watching target person, calculates a view range of the watcher based on an image of the face of a person included in the captured image, and, when it is determined that the distance is equal to or greater than a predetermined threshold and the watching target person is out of the view range of the watcher, the watching target person is determined to be lost.SELECTED DRAWING: Figure 3

Description

本開示は、撮像装置で撮像した撮像画像に基づき迷子を検出する迷子検出装置および迷子検出方法に関する。   The present disclosure relates to a lost child detection device and a lost child detection method for detecting a lost child based on a captured image captured by an imaging device.

近年、例えばショッピングモールやテーマパーク等の商業施設において、監視カメラで人物を撮像した撮像画像に基づき、迷子を検出することが行われている。そのような技術として、撮像画像から第1利用者(見守り者)と第2利用者(見守り対象)を検出するとともに、第1利用者と第2利用者の現在位置を取得し、第1利用者の現在位置と第2利用者の現在位置とが互いに離れた状態が一定時間経過すると第2利用者が迷子であると判定する技術が知られている(特許文献1参照)。   In recent years, for example, in a commercial facility such as a shopping mall or a theme park, a lost child is detected based on a captured image obtained by capturing a person with a surveillance camera. As such a technique, while detecting a 1st user (watcher) and a 2nd user (watching object) from a captured image, the present position of a 1st user and a 2nd user is acquired, and 1st use A technique is known in which a second user is determined to be lost after a certain period of time has elapsed between the current position of the user and the current position of the second user (see Patent Document 1).

特開2007−60528号公報JP 2007-60528 A

しかしながら、上記特許文献1の従来技術では、行動を見守る対象である見守り対象者(例えば子供)と見守り対象者の行動を見守る見守り者(例えば親)との間の距離に基づき迷子を判定しているため、見守り者が見守り対象者を離れた距離から見守っている場合に、見守り対象者が迷子であると誤判定されるという問題があった。   However, in the prior art disclosed in Patent Document 1, a lost child is determined based on a distance between a watching target person (for example, a child) who watches over the action and a watcher (for example, a parent) watching over the action of the watching target person. For this reason, there is a problem in that when the watcher watches the watch target person from a distance, the watch target person is erroneously determined to be lost.

本開示は、このような従来技術の課題を鑑みて案出されたものであり、見守り者が見守り対象者を離れた距離から見守っている場合における迷子の誤判定を防ぐことを可能とする迷子検出装置および迷子検出方法を提供することを主目的とする。   The present disclosure has been devised in view of the problems of the prior art, and is a stray child that can prevent misjudgment of a stray child when a watcher watches the person to be watched from a distance. A main object is to provide a detection device and a lost child detection method.

本開示の迷子検出装置は、プロセッサと、撮像装置と通信を実行する通信部とを備え、前記プロセッサは、前記撮像装置から人物を含む撮像画像を取得し、前記撮像画像から、行動を見守る対象である見守り対象者と該見守り対象者の行動を見守る人物である見守り者とを検出するとともに、前記見守り者と前記見守り対象者との間の距離を検出し、前記撮像画像に含まれる人物の顔の画像に基づき、前記見守り者の視界範囲を算出し、前記距離が予め定められた閾値以上と判定され、かつ、前記見守り対象者が前記見守り者の視界範囲から外れていると判定された場合に、前記見守り対象者が迷子であると判定することを特徴とする。   The lost child detection device of the present disclosure includes a processor and a communication unit that performs communication with the imaging device, and the processor acquires a captured image including a person from the imaging device and observes an action from the captured image. And a watcher who is a person watching the behavior of the watch target person, and detecting a distance between the watch person and the watch target person, and detecting a person included in the captured image Based on the face image, the view range of the watcher is calculated, the distance is determined to be greater than or equal to a predetermined threshold, and the watch target person is determined to be out of the view range of the watcher. In this case, it is determined that the watching target person is lost.

本開示によれば、見守り者が見守り対象者を離れた距離から見守っている場合における迷子の誤判定を防ぐことが可能となる。   According to the present disclosure, it is possible to prevent an erroneous determination of a lost child when the watcher watches the watch target person from a distance.

本開示に係る迷子検出装置を含む迷子検出システムの概要を示す構成図The block diagram which shows the outline | summary of the lost child detection system containing the lost child detection apparatus which concerns on this indication 迷子検出装置の概略構成を示すブロック図Block diagram showing a schematic configuration of the lost child detection device 迷子検出処理の流れを示すフロー図Flow chart showing the flow of lost child detection processing 親子検出処理の一例を示す図The figure which shows an example of a parent-child detection process 親子間の距離の判定処理の一例を示す図The figure which shows an example of the determination processing of the distance between parents and children 親の顔の向きの判定処理の一例を示す図The figure which shows an example of the determination process of the direction of a parent's face 親の顔の向きの判定処理の別の例を示す図The figure which shows another example of the determination process of the direction of a parent's face

上記課題を解決するためになされた第1の発明は、プロセッサと、撮像装置と通信を実行する通信部とを備え、前記プロセッサは、前記撮像装置から人物を含む撮像画像を取得し、前記撮像画像から、行動を見守る対象である見守り対象者と該見守り対象者の行動を見守る人物である見守り者とを検出するとともに、前記見守り者と前記見守り対象者との間の距離を検出し、前記撮像画像に含まれる人物の顔の画像に基づき、前記見守り者の視界範囲を算出し、前記距離が予め定められた閾値以上と判定され、かつ、前記見守り対象者が前記見守り者の視界範囲から外れていると判定された場合に、前記見守り対象者が迷子であると判定することを特徴とする迷子検出装置である。   A first invention made to solve the above-described problem includes a processor and a communication unit that performs communication with the imaging device, wherein the processor acquires a captured image including a person from the imaging device, and the imaging From the image, while detecting the watching target person who is watching over the action and the watching person who is watching over the behavior of the watching target person, detecting the distance between the watching person and the watching target person, Based on the face image of the person included in the captured image, the view range of the watcher is calculated, the distance is determined to be equal to or greater than a predetermined threshold, and the watch target person is determined from the view range of the watcher. When it is determined that the person is watching, the lost child detection apparatus determines that the person to be watched is a lost child.

この第1の発明に係る迷子検出装置によれば、見守り対象者が見守り者から離れている場合において、見守り者の視界範囲に基づき見守り対象者が迷子であるか否かを判定するので、見守り対象者を離れた距離から見守っている場合における迷子の誤判定を防ぐことが可能となる。   According to the lost child detection device according to the first aspect of the invention, when the watching target person is away from the watcher, it is determined whether or not the watching target person is lost based on the view range of the watcher. This makes it possible to prevent misjudgment of a lost child when watching the subject from a distance.

また、第2の発明は、上記第1の発明において、前記視界範囲は、前記見守り者の顔の向きに基づき算出されることを特徴とする。   The second invention is characterized in that, in the first invention, the field-of-view range is calculated based on a face direction of the watcher.

この第2の発明に係る迷子検出装置によれば、撮像画像の解像度の不足等により見守り者の目を認識できなくとも、見守り者の顔の向きが見守り対象者が見守り者の視界範囲から外れているか否かの判定を容易に行うことが可能となる。   According to the stray child detection device according to the second aspect of the present invention, even if the eyes of the watcher cannot be recognized due to lack of resolution of the captured image, the watcher's face direction deviates from the watcher's view range. It is possible to easily determine whether or not it is.

また、第3の発明は、上記第2の発明において、前記視界範囲は、前記見守り者の前記顔の向きに基づき設定される予め定められた角度の範囲であることを特徴とする。   In a third aspect based on the second aspect, the field-of-view range is a range of a predetermined angle set based on an orientation of the face of the watcher.

この第3の発明に係る迷子検出装置によれば、視界範囲の算出を容易に行うことができる。   According to the lost child detection apparatus according to the third aspect of the present invention, the view range can be easily calculated.

また、第4の発明は、上記第1の発明ないし第3の発明のいずれかにおいて、前記プロセッサは、前記撮像画像から障害物を検出し、前記距離が予め定められた閾値以上と判定され、かつ、前記見守り者と前記見守り対象者との間に前記障害物が存在する場合において、前記見守り対象者が前記視界範囲内に存在していても、前記見守り対象者が迷子であると判定することを特徴とする。   In a fourth aspect based on any one of the first aspect to the third aspect, the processor detects an obstacle from the captured image, and the distance is determined to be equal to or greater than a predetermined threshold. And in the case where the obstacle exists between the watching person and the watching target person, it is determined that the watching target person is lost even if the watching target person exists within the field of view. It is characterized by that.

この第4の発明に係る迷子検出装置によれば、見守り者から直接的に視認しにくい場所に見守り対象者がいる場合でも、見守り対象者が迷子であるか否かを適切に判定できる。   According to the lost child detection apparatus according to the fourth aspect of the invention, it is possible to appropriately determine whether or not the watching target person is a lost child even when the watching target person is in a place where it is difficult for the watching person to visually recognize directly.

また、第5の発明は、上記第1の発明ないし第4の発明のいずれかにおいて、前記プロセッサは、前記撮像画像から、前記見守り者と異なる人物を検出し、前記距離が予め定められた閾値以上と判定され、かつ、前記見守り者と前記見守り者と異なる人物とが対向している場合において、前記見守り対象者が前記視界範囲内に存在していても、前記見守り対象者が迷子であると判定することを特徴とする。   In a fifth aspect based on any one of the first to fourth aspects, the processor detects a person different from the watcher from the captured image, and the distance is a predetermined threshold. In the case where it is determined as described above and the watcher and a person different from the watcher face each other, even if the watch target person is within the field of view, the watch target person is lost. It is characterized by determining.

この第5の発明に係る迷子検出装置によれば、例えば、見守り者が他の人物と会話を行っているなどの事情により、見守り者の注意が見守り対象者から逸れている場合でも、見守り対象者が迷子であるか否かを適切に判定できる。   According to the lost child detection apparatus according to the fifth aspect of the invention, for example, even if the watcher's attention is deviated from the watch target person due to circumstances such as the watch person having a conversation with another person, the watch target object It is possible to appropriately determine whether the person is lost.

また、第6の発明は、上記第1の発明ないし第5の発明のいずれかにおいて、前記プロセッサは、前記撮像画像に含まれる人物の年層を推定し、推定された年層に基づき、年層の高い人物を見守り者と判定し、年層の低い人物を見守り対象者であると判定することを特徴とする。   According to a sixth invention, in any one of the first to fifth inventions, the processor estimates a year group of persons included in the captured image, and based on the estimated year group, It is characterized in that a person with a high age is determined to be a watcher and a person with a low age is watched and determined to be a target person.

この第6の発明に係る迷子検出装置によれば、例えば親子連れのような、見守り者と見守り対象者の年層に差がある状況で検出することが可能となる。   According to the lost child detecting apparatus according to the sixth aspect of the invention, it is possible to detect in a situation where there is a difference in the age group of the watching person and the watching target person, such as with parents and children.

また、第7の発明は、上記第6の発明において、前記プロセッサは、前記撮像画像から前記人物の輪郭を抽出し、抽出された輪郭に基づき前記年層を推定することを特徴とする。   According to a seventh aspect, in the sixth aspect, the processor extracts a contour of the person from the captured image, and estimates the age group based on the extracted contour.

この第7の発明に係る迷子検出装置によれば、撮像画像から年層を容易に検出することが可能となる。   According to the lost child detection apparatus according to the seventh aspect of the present invention, it is possible to easily detect the age group from the captured image.

また、第8の発明は、上記第1の発明ないし第7の発明のいずれかにおいて、迷子が検出されたことを報知するアラームを発報するアラーム発報部をさらに備え、前記プロセッサは、前記見守り対象者が迷子であると判定された場合には、前記アラーム発報部により前記アラームを発報することを特徴とする。   In addition, an eighth invention further includes an alarm notification unit that issues an alarm notifying that a lost child has been detected in any one of the first to seventh inventions, wherein the processor includes the processor When it is determined that the person being watched over is a lost child, the alarm notification unit issues the alarm.

この第8の発明に係る迷子検出装置によれば、見守り対象者が迷子であると判定された場合に、迷子が検出されたことを報知するアラームを発報することが可能となる。   According to the lost child detection apparatus according to the eighth aspect of the present invention, when it is determined that the person being watched over is a lost child, it is possible to issue an alarm notifying that a lost child has been detected.

また、第9の発明は、撮像装置から人物の撮像画像を取得するステップと、前記撮像画像から、行動を見守る対象である見守り対象者と該見守り対象者の行動を見守る人物である見守り者とを検出するとともに、前記見守り者と前記見守り対象者との間の距離を検出するステップと、前記撮像画像に含まれる人物の顔の画像に基づき、前記見守り者の視界範囲を算出するステップと、前記距離が予め定められた閾値以上と判定され、かつ、前記見守り対象者が前記見守り者の視界範囲から外れていると判定された場合に、前記見守り対象者が迷子であると判定するステップとを有することを特徴とする迷子検出方法である。   According to a ninth aspect of the present invention, there is provided a step of acquiring a captured image of a person from the imaging device, a watching target person who is a target of watching the action from the picked-up image, and a watcher who is a person watching the action of the watching target person. Detecting a distance between the watcher and the watch target person, calculating a view range of the watcher based on a face image of a person included in the captured image, Determining that the person being watched is lost when it is determined that the distance is greater than or equal to a predetermined threshold and that the person being watched is out of the field of view of the watcher; It is a lost child detection method characterized by having.

この第9の発明に係る迷子検出方法によれば、見守り対象者が見守り者から離れている場合において、見守り者の視界範囲に基づき見守り対象者が迷子であるか否かを判定するので、見守り対象者を離れた距離から見守っている場合における迷子の誤判定を防ぐことが可能となる。   According to the lost child detection method according to the ninth aspect of the invention, when the watching target person is away from the watcher, it is determined whether the watching target person is lost based on the view range of the watcher. This makes it possible to prevent misjudgment of a lost child when watching the subject from a distance.

また、第10の発明は、上記第9の発明において、前記視界範囲は、前記見守り者の顔の向きに基づき算出されることを特徴とする。   According to a tenth aspect, in the ninth aspect, the field-of-view range is calculated based on a face direction of the watcher.

この第10の発明に係る迷子検出方法によれば、撮像画像の解像度の不足等により見守り者の目を認識できなくとも、見守り者の顔の向きが見守り対象者が見守り者の視界範囲から外れているか否かの判定を容易に行うことが可能となる。   According to the lost child detection method according to the tenth aspect of the present invention, even if the eyes of the watcher cannot be recognized due to lack of resolution of the captured image, the watcher's face direction deviates from the watcher's view range. It is possible to easily determine whether or not it is.

また、第11の発明は、上記第10の発明において、前記視界範囲は、前記見守り者の前記顔の向きに基づき設定される予め定められた角度の範囲であることを特徴とする。   The eleventh invention is characterized in that, in the tenth invention, the field-of-view range is a range of a predetermined angle set on the basis of the orientation of the face of the watcher.

この第11の発明に係る迷子検出方法によれば、視界範囲の算出を容易に行うことができる。   According to the lost child detection method according to the eleventh aspect of the present invention, the visibility range can be easily calculated.

また、第12の発明は、上記第9の発明ないし第11の発明のいずれかにおいて、前記撮像画像から障害物を検知するステップと、前記距離が予め定められた閾値以上と判定され、かつ、前記見守り者と前記見守り対象者との間に前記障害物が存在する場合、前記見守り対象者が前記視界範囲内に存在していても、前記見守り対象者が迷子であると判定するステップとをさらに有することを特徴とする。   According to a twelfth aspect, in any one of the ninth to eleventh aspects, the step of detecting an obstacle from the captured image, the distance is determined to be equal to or greater than a predetermined threshold, and When the obstacle exists between the watcher and the watch target person, the step of determining that the watch target person is lost even if the watch target person exists within the field of view. Furthermore, it is characterized by having.

この第12の発明に係る迷子検出方法によれば、見守り者から直接的に視認しにくい場所に見守り対象者がいる場合にも、見守り対象者が迷子であるか否かを適切に判定できる。   According to the lost child detection method according to the twelfth aspect of the present invention, it is possible to appropriately determine whether or not the watching target person is a lost child even when the watching target person is in a place where it is difficult for the watcher to visually recognize directly.

また、第13の発明は、上記第9の発明ないし第12の発明のいずれかにおいて、前記撮像画像から、前記見守り者と異なる人物を検知するステップと、前記距離が予め定められた閾値以上と判定され、かつ、前記見守り者と前記見守り者と異なる人物とが対向している場合、前記見守り対象者が前記視界範囲内に存在していても、前記見守り対象者が迷子であると判定するステップとをさらに有することを特徴とする。   Further, in a thirteenth aspect according to any one of the ninth to twelfth aspects, the step of detecting a person different from the watcher from the captured image, and the distance is equal to or greater than a predetermined threshold value. If it is determined and the watcher and a person different from the watcher are facing each other, it is determined that the watch target person is lost even if the watch target person exists within the field of view. And a step.

この第13の発明に係る迷子検出方法によれば、例えば、見守り者が他の人物と会話を行っているなどの事情により、見守り者の注意が見守り対象者から逸れている場合にも、見守り対象者が迷子であるか否かを適切に判定できる。   According to the lost child detection method according to the thirteenth aspect of the invention, for example, even when the watcher's attention is deviated from the person being watched over due to circumstances such as the watcher having a conversation with another person, etc. It can be appropriately determined whether or not the subject is lost.

また、第14の発明は、上記第9の発明ないし第13の発明のいずれかにおいて、前記撮像画像に含まれる人物の年層を推定するステップと、推定された年層に基づき、年層の高い人物を見守り者と判定し、年層の低い人物を見守り対象者であると判定するステップとをさらに有することを特徴とする。   According to a fourteenth aspect of the present invention, in any one of the ninth to thirteenth aspects, the step of estimating the age group of a person included in the captured image, and the age group based on the estimated year group The method further includes the steps of: determining a high person as a watcher and determining a low-age person as a target person.

この第14の発明に係る迷子検出方法によれば、例えば親子連れのような、見守り者と見守り対象者の年層に差がある状況で検出することが可能となる。   According to the lost child detection method according to the fourteenth aspect of the present invention, it is possible to detect in a situation where there is a difference in the age group of the watching person and the watching target person, such as with parents and children.

また、第15の発明は、上記第14の発明において、前記年層は、前記撮像画像から抽出した前記人物の輪郭に基づき推定されることを特徴とする。   According to a fifteenth aspect, in the fourteenth aspect, the age group is estimated based on a contour of the person extracted from the captured image.

この第15の発明に係る迷子検出方法によれば、撮像画像から年層を容易に検出することが可能となる。   According to the lost child detection method according to the fifteenth aspect of the present invention, the age group can be easily detected from the captured image.

また、第16の発明は、上記第9の発明ないし第15の発明のいずれかにおいて、前記見守り対象者が迷子であると判定された場合に、迷子が検出されたことを報知するアラームを発報するステップをさらに有することを特徴とする。   In addition, in a sixteenth aspect of the present invention, in any one of the ninth to fifteenth aspects, an alarm for notifying that a lost child has been detected is issued when the person being watched over is determined to be lost. And a reporting step.

この第16の発明に係る迷子検出方法によれば、見守り対象者が迷子であると判定された場合に、迷子が検出されたことを報知するアラームを発報することが可能となる。   According to the lost child detection method according to the sixteenth aspect of the present invention, when it is determined that the person being watched over is lost, it is possible to issue an alarm notifying that a lost child has been detected.

以下、本開示の実施形態について、図面を参照しながら説明する。本実施形態では、例えばショッピングモールやテーマパーク等の商業施設において、撮像装置で撮像した撮像画像に基づき迷子を検出する場合について説明する。本実施形態では、見守り者は親であり、見守り対象者は子供であるとする。   Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. In this embodiment, for example, in a commercial facility such as a shopping mall or a theme park, a case where a lost child is detected based on a captured image captured by an imaging device will be described. In the present embodiment, it is assumed that the watcher is a parent and the watch target person is a child.

図1は、本開示に係る迷子検出装置3を含む迷子検出システム1の概要を示す構成図である。図1に示すように、この迷子検出システム1は、撮像装置2と、迷子検出装置3とを主として備えている。撮像装置2と迷子検出装置3とは、専用回線やLAN(Local Area Network)等のネットワーク4を介して互いに接続されている。   FIG. 1 is a configuration diagram illustrating an overview of a lost child detection system 1 including a lost child detection device 3 according to the present disclosure. As shown in FIG. 1, the lost child detection system 1 mainly includes an imaging device 2 and a lost child detection device 3. The imaging device 2 and the lost child detection device 3 are connected to each other via a network 4 such as a dedicated line or a LAN (Local Area Network).

撮像装置2は、公知の撮影機能や通信機能を有する監視カメラ(ビデオカメラ)であり、商業施設の各所の壁、天井、ポール等に設置され、予め定められた監視領域を静止画像または動画像として時系列に撮像する。撮像装置2の撮像により生成された撮像画像(静止画像または動画像)は、ネットワーク4を介して迷子検出装置3に適宜送信される。なお、撮像装置2は、予め定められた監視領域を撮像可能な限りにおいて、その形態、機能、配置、数量等については、特に限定されるものではなく種々の変更が可能である。   The imaging device 2 is a monitoring camera (video camera) having a well-known shooting function or communication function, and is installed on a wall, ceiling, pole, or the like of various places in a commercial facility, and a predetermined monitoring area is a still image or a moving image. As time series. A captured image (still image or moving image) generated by the imaging of the imaging device 2 is appropriately transmitted to the lost child detection device 3 via the network 4. In addition, as long as a predetermined monitoring area can be imaged, the imaging device 2 is not particularly limited in its form, function, arrangement, quantity, and the like, and various changes can be made.

迷子検出装置3は、公知の構成を有するコンピュータからなり、撮像装置2から取得した撮像画像を解析して迷子を検出する。そして、迷子が検出された場合には、迷子が検出されたこと報せるアラートを発報する。   The lost child detection device 3 includes a computer having a known configuration, and detects a lost child by analyzing a captured image acquired from the imaging device 2. When a lost child is detected, an alert that reports that a lost child has been detected is issued.

図2は、迷子検出装置3の概略構成を示すブロック図である。迷子検出装置3は、公知のハードウェア構成を備えており、所定の制御プログラム(例えば迷子検出プログラム)に基づき迷子検出の各処理を統括的に実行するプロセッサ11、このプロセッサ11のワークエリア等として機能する揮発性メモリであるRAM12、プロセッサ11が実行する制御プログラムやデータを格納する不揮発性メモリであるROM13、HDDやフラッシュメモリ等からなる記憶部14、液晶モニタ等からなる表示部15、キーボードおよびマウス等の入力デバイスからなる入力部16、ネットワーク4を介した通信を実行する通信部17等を有している。   FIG. 2 is a block diagram illustrating a schematic configuration of the lost child detection device 3. The lost child detection apparatus 3 has a known hardware configuration, and includes a processor 11 that executes each process of lost child detection based on a predetermined control program (for example, a lost child detection program), a work area of the processor 11, and the like. A RAM 12 that functions as a volatile memory, a ROM 13 that stores a control program executed by the processor 11 and data, a ROM 13 that stores data, a storage unit 14 that includes an HDD or a flash memory, a display unit 15 that includes a liquid crystal monitor, a keyboard, It has the input part 16 which consists of input devices, such as a mouse | mouth, and the communication part 17 etc. which perform communication via the network 4.

迷子検出装置3の各機能は、図2に示したハードウェア構成において、プロセッサ11が所定の制御プログラムを実行することによって実現可能である。なお、迷子検出装置3は、コンピュータに限らず、同様の機能を果たすことが可能な他の情報処理装置(例えばサーバ等)を用いることもできる。また、迷子検出装置3の機能の少なくとも一部を他の公知のハードウェアによる処理によって代替してもよい。   Each function of the lost child detection device 3 can be realized by the processor 11 executing a predetermined control program in the hardware configuration shown in FIG. The lost child detection device 3 is not limited to a computer, and other information processing devices (for example, a server) capable of performing the same function can be used. Further, at least a part of the function of the lost child detection device 3 may be replaced by processing by other known hardware.

図3は、迷子検出装置3における迷子検出処理の流れを示すフロー図である。以下の処理は、迷子検出装置3のプロセッサ11で行われ、撮像装置2から撮像画像を取得したときに開始される。   FIG. 3 is a flowchart showing the flow of the lost child detection process in the lost child detection device 3. The following processing is performed by the processor 11 of the lost child detection device 3 and is started when a captured image is acquired from the imaging device 2.

まず、撮像画像から人物を検出する(ステップST101)。人物の検出は、統計的または非統計的識別器を用いる手法やテンプレートマッチングを用いる手法等の公知の手法を用いて行う。   First, a person is detected from the captured image (step ST101). A person is detected using a known method such as a method using a statistical or non-statistical classifier or a method using template matching.

続いて、ステップST101で検出された人物の人物属性を推定する(ステップST102)。本実施形態では、人物属性として年層を推定する。これにより、ステップST101で検出された人物が大人であるかそれとも子供であるかを判断することができる。人物属性の推定方法について詳しく説明すると、まず、撮像画像から人物の輪郭(シルエット)または輪郭の一部を抽出する。そして、抽出された輪郭または輪郭の一部に基づき、予め用意した統計的または非統計的識別器を用いて、その人物の年層を推定する。なお、人物の輪郭の抽出は、エッジ特徴量を用いる手法等の公知の手法を用いて行う。例えば、輪郭からその人物の身長や体形を検出し、検出された身長や体形に基づき、その人物の年層(すなわち、その人物が大人であるかそれとも子供であるか)を判断することができる。   Subsequently, the person attribute of the person detected in step ST101 is estimated (step ST102). In the present embodiment, the age group is estimated as the person attribute. Thereby, it can be determined whether the person detected in step ST101 is an adult or a child. The person attribute estimation method will be described in detail. First, a person's outline (silhouette) or a part of the outline is extracted from the captured image. Then, based on the extracted contour or a part of the contour, the age group of the person is estimated using a statistical or non-statistical classifier prepared in advance. Note that the extraction of the outline of a person is performed using a known method such as a method using an edge feature amount. For example, the height and body shape of the person can be detected from the contour, and the age group of the person (that is, whether the person is an adult or a child) can be determined based on the detected height and body shape. .

次に、ステップST101で検出された人物を追跡する(ステップST103)。具体的には、ステップST101で検出された人物に対して固有の識別子(ID)を付与し、識別子(ID)が付与された人物毎に、予め定められた所定数のフレームにわたって追跡を行う。   Next, the person detected in step ST101 is traced (step ST103). Specifically, a unique identifier (ID) is assigned to the person detected in step ST101, and tracking is performed over a predetermined number of frames for each person to which the identifier (ID) is assigned.

続くステップST104では、迷子の検出対象である親子を検出する。具体的には、ステップST103での人物追跡の結果に基づき、予め定められた所定数のフレームにわたって一緒に写っており、かつ、各フレームにおいて互いの距離が予め定められた閾値以下である2人の人物を検出する。そして、そのような2人の人物が検出され、かつ、その2人の人物の一方が大人であり他方が子供である場合は、その2人の人物が親子であると判定される。2人の人物のそれぞれが大人であるかそれとも子供であるかは、ステップST102での人物属性(年層)の推定結果に基づき判断する。   In the subsequent step ST104, the parent and child that are the detection targets of the lost child are detected. Specifically, based on the result of the person tracking in step ST103, two persons who are photographed together over a predetermined number of frames and whose distances are equal to or less than a predetermined threshold in each frame. Detect people. If such two persons are detected, and one of the two persons is an adult and the other is a child, it is determined that the two persons are a parent and a child. Whether each of the two persons is an adult or a child is determined based on the estimation result of the person attribute (yearly group) in step ST102.

図4は、ステップST104での親子検出処理の一例を示す図である。図4の例では、フレームA・・・フレームB・・・フレームCの時系列に連続する所定数のフレームにわたって、第1の人物21と第2の人物22が一緒に写っている。また、第1の人物21と第2の人物22との間の距離Dは、フレームA、フレームB、およびフレームCの各フレームにおいて予め定められた閾値Dth1よりも小さい。そして、ステップST102での人物属性推定処理により、第1の人物21は大人と判定され、第2の人物22は子供と判定されているものとする。このような場合、第1の人物21と第2の人物22は親子であると判定される。このようにして、迷子の検出対象である親子を検出することができる。 FIG. 4 is a diagram illustrating an example of the parent-child detection process in step ST104. In the example of FIG. 4, the first person 21 and the second person 22 are shown together over a predetermined number of frames continuous in time series of frame A... Frame B. Further, the distance D between the first person 21 and the second person 22 is smaller than a predetermined threshold value Dth1 in each of the frames A, B, and C. Then, it is assumed that the first person 21 is determined as an adult and the second person 22 is determined as a child by the person attribute estimation process in step ST102. In such a case, it is determined that the first person 21 and the second person 22 are parents and children. In this way, it is possible to detect the parent and child that are the detection targets of the lost child.

続くステップST105では、ステップST104で検出された親子をその後のフレームにおいて追跡するとともに、予め定められた所定のフレーム数毎に、親子間の距離が予め定められた閾値以上であるか否かを判定する。具体的には、親21と子供22の間の距離Dを検出し、検出された距離Dが予め定められた閾値Dth2以上であるか否かを判定する。これにより、子供22が親21から離れているか否かを判断することができる。子供22が親21から離れている場合は、子供22が迷子の可能性がある。検出された距離Dが閾値Dth2以上であると判定された場合(ステップST105:Yes)は、ステップST106に進み、検出された距離Dが閾値Dth2以上ではないと判定された場合(ステップST105:No)は、処理を終了する。 In the subsequent step ST105, the parent and child detected in step ST104 are tracked in subsequent frames, and it is determined whether or not the distance between the parent and child is equal to or greater than a predetermined threshold for each predetermined number of frames. To do. Specifically, the distance D between the parent 21 and the child 22 is detected, and it is determined whether or not the detected distance D is greater than or equal to a predetermined threshold value Dth2 . Thereby, it can be determined whether or not the child 22 is away from the parent 21. If the child 22 is away from the parent 21, the child 22 may be lost. When it is determined that the detected distance D is equal to or greater than the threshold Dth2 (step ST105: Yes), the process proceeds to step ST106, and when it is determined that the detected distance D is not equal to or greater than the threshold Dth2 (step ST105: No) ) Terminates the process.

図5は、ステップST105での親子間の距離Dの判定処理の一例を示す図である。図5(a)では、親21と子供22との間の距離Dが予め定められた閾値Dth2以上であるので、子供22が親21から離れている、すなわち子供22が迷子の可能性があると判定される。図5(b)では、親21と子供22との間の距離Dが予め定められた閾値Dth2未満であるので、子供22が親21から離れていない、すなわち、子供22が迷子の可能性はないと判定される。 FIG. 5 is a diagram illustrating an example of a process for determining the distance D between the parent and the child in step ST105. In FIG. 5A, since the distance D between the parent 21 and the child 22 is equal to or greater than a predetermined threshold value Dth2 , the child 22 is away from the parent 21, that is, the child 22 may be lost. It is determined that there is. In FIG. 5B, since the distance D between the parent 21 and the child 22 is less than a predetermined threshold value Dth2 , the child 22 is not separated from the parent 21, that is, the child 22 may be lost. It is determined that there is no.

次のステップST106では、親21の顔の向きを検出する。具体的には、第1の人物21の顔領域から公知の手法を用いて顔特徴量を抽出し、抽出された顔特徴量に基づき、予め用意した統計的または非統計的識別器を用いて顔の向きを検出する。なお、顔領域の検出は、統計的または非統計的識別器を用いる手法やテンプレートマッチングを用いる手法等の公知の手法を用いて行う。   In the next step ST106, the face orientation of the parent 21 is detected. Specifically, a facial feature amount is extracted from the face area of the first person 21 using a known method, and a statistical or non-statistic classifier prepared in advance is used based on the extracted facial feature amount. Detect face orientation. The face area is detected using a known method such as a method using a statistical or non-statistical classifier or a method using template matching.

ステップST107では、親21の顔の向きが子供22から逸れているか否かを判定する。具体的には、まず、ステップST106で検出された親21の顔の向きに基づき、予め定められた角度αの視界範囲23を設定する。次に、子供22が、親21の視界範囲23内に存在するか否かを判定する。そして、子供22が親21の視界範囲23内に存在しないと判定され、かつ、それが予め定められた時間(例えば10秒〜60秒)を超えた場合に、親21の顔の向きが子供22から逸れていると判定する。親21の顔の向きが子供22から逸れている場合、すなわち、親21の注意が子供22から逸れている場合は、子供22は迷子であると判定することができる。親21の顔の向き(注意)が子供22から逸れていると判定された場合(ステップST107:Yes)は、ステップST108に進み、親21の顔の向き(注意)が子供22から逸れていないと判定された場合(ステップST107:No)は、処理を終了する。   In step ST107, it is determined whether or not the face direction of the parent 21 deviates from the child 22. Specifically, first, based on the face orientation of the parent 21 detected in step ST106, a visual field range 23 of a predetermined angle α is set. Next, it is determined whether or not the child 22 exists within the visual field range 23 of the parent 21. Then, when it is determined that the child 22 does not exist within the visual field range 23 of the parent 21, and when it exceeds a predetermined time (for example, 10 seconds to 60 seconds), the face orientation of the parent 21 is the child. It is determined that it is deviating from 22. When the orientation of the face of the parent 21 is deviated from the child 22, that is, when the attention of the parent 21 is deviated from the child 22, the child 22 can be determined to be lost. When it is determined that the face direction (attention) of the parent 21 has deviated from the child 22 (step ST107: Yes), the process proceeds to step ST108, and the face direction (attention) of the parent 21 has not deviated from the child 22. Is determined (step ST107: No), the process ends.

図6は、ステップST107での親の顔の向きの判定処理の一例を示す図である。この図6は図5(a)に対応する図であり、子供22が迷子の可能性がある場合を示す。図6(a)では、子供22は、親21の視界範囲23内に存在しないので、親21の顔の向き(注意)が子供22から逸れている、すなわち子供22は迷子であると判定される。図6(b)では、子供22は、親21の視界範囲23内に存在するので、親21の顔の向き(注意)が子供22から逸れていない、すなわち子供22は迷子ではないと判定される。   FIG. 6 is a diagram showing an example of the parent face orientation determination process in step ST107. FIG. 6 is a view corresponding to FIG. 5A and shows a case where the child 22 may be lost. In FIG. 6A, since the child 22 does not exist within the visual field range 23 of the parent 21, the face direction (attention) of the parent 21 deviates from the child 22, that is, the child 22 is determined to be a lost child. The In FIG. 6B, since the child 22 exists within the field of view range 23 of the parent 21, it is determined that the face direction (attention) of the parent 21 is not deviated from the child 22, that is, the child 22 is not a lost child. The

そして、ステップST108では、迷子が検出されたことを報知するアラームを発報する。具体的には、迷子検出装置3の表示部15(図2参照)に、例えば「迷子検出」の文字等の警報情報を表示することによって、迷子検出のアラームを発報する。すなわち、本実施形態では、表示部15はアラーム発報部としての役割を果たす。なお、警報情報の表示による発報とともに警報音声を出力するようにしてもよい。また、警報ブザーや警報ランプ等の図示しない発報装置を使用して、迷子検出のアラームを発報するようにしてもよい。   In step ST108, an alarm for notifying that a lost child has been detected is issued. Specifically, for example, alarm information such as “lost child detection” is displayed on the display unit 15 (see FIG. 2) of the lost child detection device 3 to issue an alarm for lost child detection. That is, in the present embodiment, the display unit 15 serves as an alarm reporting unit. In addition, you may make it output a warning audio | voice with the alerting | reporting by the display of warning information. In addition, an alarm device (not shown) such as an alarm buzzer or an alarm lamp may be used to issue an alarm for detecting a lost child.

このように、上述した迷子検出処理によれば、子供22が親21から離れている場合において、親21の顔の向きに基づき子供22が迷子であるか否かを判定するので、親21が子供22を離れた距離から見守っている場合における迷子の誤検出を防ぐことができる。   As described above, according to the lost child detection process described above, when the child 22 is away from the parent 21, it is determined whether or not the child 22 is lost based on the orientation of the parent 21's face. It is possible to prevent false detection of a lost child when watching the child 22 from a distance.

なお、本実施形態では、親が1人で、子供が1人の場合について説明したが、親または親に相当する保護者は複数であってもよい。例えば、親が2人で、子供が1人の場合であってもよい。この場合は、複数の親(または保護者)の全員の顔の向きが子供から逸れた場合に、迷子検出のアラームを発報するようにするとよい。   In this embodiment, the case where there is one parent and one child has been described, but there may be a plurality of parents or parents corresponding to the parent. For example, there may be two parents and one child. In this case, when all of the faces of a plurality of parents (or guardians) deviate from the child, a lost child detection alarm may be issued.

また、本実施形態では、見守り者・見守り対象者は親子としたが、見守り者・見守り対象者は、親子に限定されるものではなく、例えば、幼稚園や小学校の先生と児童であってもよい。また、旅行や行楽等での、引率者と被引率者であってもよい。また、飼い主とペットなど、見守り対象者が人物以外であってもよい。   Further, in this embodiment, the watcher / watching target person is a parent and child, but the watcher / watching target person is not limited to the parent and child, and may be, for example, a kindergarten or elementary school teacher and a child. . Further, it may be a lead person and a lead person for travel or vacation. Moreover, the person to watch over may be other than a person, such as an owner and a pet.

また、本実施形態では、子供22が親21の視界範囲23内に存在しないと判定され、かつ、それが予め定められた時間を超えた場合に、親21の顔の向きが子供22から逸れていると判定していたが、これに限られるものではない。迷子を即座に検知したい場合などには、子供22が親21の視界範囲23内に存在しないと判定されれば、すぐに親21の顔の向きが子供22から逸れていると判定してもよい。予め定められた時間を超えるまで親21の顔の向きが子供22から逸れていると判定しないように制御するか否か、および、この時間をどの程度の長さにするかは、迷子の早期発見と誤検出の頻度のバランスを考慮して本実施形態を適用する状況に応じて適宜選択してよい。   Further, in the present embodiment, when it is determined that the child 22 does not exist within the field of view range 23 of the parent 21 and it exceeds a predetermined time, the face direction of the parent 21 deviates from the child 22. However, the present invention is not limited to this. For example, when it is determined that the child 22 does not exist within the visual field range 23 of the parent 21 when it is desired to immediately detect the lost child, it is immediately determined that the face direction of the parent 21 deviates from the child 22. Good. Whether or not the control is performed so as not to determine that the face of the parent 21 has deviated from the child 22 until a predetermined time is exceeded, and how long this time is to be set, is an early stage of lost child. In consideration of the balance between the frequency of discovery and false detection, it may be selected as appropriate according to the situation in which this embodiment is applied.

また、本実施の形態では、見守り者と見守り対象者の間の距離を撮像画像に基づいて検出していたが、距離を検出する手順は撮像画像に基づくものには限られない。例えば、見守り者と見守り対象者にGPS等の測位機能、および、迷子検出装置3との通信機能を備えた端末を所持させ、それによって距離を計測するものとしてもよい。   In the present embodiment, the distance between the watcher and the watchee is detected based on the captured image, but the procedure for detecting the distance is not limited to that based on the captured image. For example, the watcher and the watchee may have a terminal equipped with a positioning function such as GPS and a communication function with the lost child detection device 3, thereby measuring the distance.

また、本実施形態では、迷子検出装置3が自ら警報表示あるいは警報を発報するものとしたが、これに限られるものではない。例えば、迷子検出装置から、親21が所持する端末等に対して警報表示あるいは警報の発報を無線通信等で指示してもよい。また、迷子検出装置3から施設内を巡回する警備員あるいはロボットなどに対して、親21に警告を行うよう指示するなどとしてもよい。すなわち、迷子が検出された場合に、少なくとも親21にその旨が伝わればよく、警報の形式は問わない。   In the present embodiment, the lost child detection device 3 issues a warning display or a warning by itself, but is not limited thereto. For example, the lost child detection device may instruct the terminal or the like possessed by the parent 21 to display an alarm or issue an alarm through wireless communication or the like. Moreover, it is good also as instruct | indicating that the parent 21 is warned from the lost child detection apparatus 3 with respect to the guard or robot etc. which patrols the inside of a facility. That is, when a lost child is detected, it is sufficient that at least the parent 21 is notified of this, and the type of alarm is not limited.

また、本実施形態では、親21の顔の向きから視界範囲を推定していたが、これに限られるものではない。高解像度カメラが使用されている場合など、親21の黒目の位置を追跡できるようであれば、それに基づいて視界範囲を推定してもよい。また、監視カメラから離れている親21の視界範囲は顔の向きから推定し、監視カメラに近い親21の視界範囲は黒目の位置から推定するなど、複数の手段を併用してもよい。   In the present embodiment, the field-of-view range is estimated from the face orientation of the parent 21, but the present invention is not limited to this. If the position of the eye of the parent 21 can be tracked, such as when a high-resolution camera is used, the view range may be estimated based on that. Also, a plurality of means may be used in combination, such as estimating the view range of the parent 21 away from the monitoring camera from the face direction and estimating the view range of the parent 21 close to the monitoring camera from the position of the black eye.

また、本実施形態では、人物の輪郭から年層を推定していたが、これに限られるものではない。例えば、人物の顔のしわや色などから年層を推定してもよい。これらの他にも、人物の画像のテクスチャの特徴量を抽出し、抽出された特徴量に基づいて年層を推定する手法は様々なものが知られているが、どの手法によって年層を推定してもよい。すなわち、本実施の形態においては、撮像された人物の年層が推定できればよいのであり、輪郭を用いた推定手法は一例に過ぎない。   In the present embodiment, the age group is estimated from the outline of the person, but the present invention is not limited to this. For example, the age group may be estimated from wrinkles or colors of the person's face. In addition to these, there are various known methods for extracting texture feature quantities of human images and estimating the age group based on the extracted feature quantities. May be. That is, in the present embodiment, it is only necessary to estimate the age of the person who is captured, and the estimation method using the contour is only an example.

また、本実施形態では、人物が所定数のフレームの間、近い距離にいる場合に親子であると判定したが、親子判定の手法は、これに限るものではない。何らかの手段で親子であることが判断できれば十分であり、その手法は問わない。例えば、親と子それぞれに対応する発信機を持たせることなどが考えられる。   In the present embodiment, it is determined that a person is a parent and child when the person is at a close distance between a predetermined number of frames. However, the parent-child determination method is not limited to this. It is sufficient if it is possible to determine that the child is a parent and child by some means, and the method is not limited. For example, it is conceivable to have a transmitter corresponding to each parent and child.

また、本実施形態では、親21の顔の向きが子供22から逸れていない場合(すなわち、親21の視界範囲内に子供22が存在する場合)に子供22は迷子ではないと判定したが、他の条件を追加してもよい。例えば、図7(a)に示すように、親21と子供22の間に壁などの障害物24が存在する場合や、図7(b)に示すように、親21が他の人物25と会話をしている場合は、たとえ親21の顔の向きが子供22から逸れていなくとも、親21が子供22を視認できなかったり、親21の注意が子供22から逸れていたりする可能性がある。このような場合、たとえ親21の顔の向きが子供22から逸れていなくても子供22が迷子であると判定するようにしてもよい。ここで、障害物24の有無は、例えば、監視カメラの映像を複数フレーム解析し、動きのない領域を検知することなどで得られる。また、親21が他の人物25と会話しているか否かは、例えば、親21の顔の向きと他の人物25の顔の向きが対向しているか否かを確認することで判定できる。   Further, in the present embodiment, it is determined that the child 22 is not lost when the orientation of the face of the parent 21 is not deviated from the child 22 (that is, when the child 22 exists within the field of view of the parent 21). Other conditions may be added. For example, when an obstacle 24 such as a wall exists between the parent 21 and the child 22 as shown in FIG. 7A, or when the parent 21 is connected to another person 25 as shown in FIG. When talking, there is a possibility that the parent 21 cannot visually recognize the child 22 or the attention of the parent 21 is deviated from the child 22 even if the face of the parent 21 does not deviate from the child 22. is there. In such a case, even if the face of the parent 21 is not deviated from the child 22, the child 22 may be determined to be lost. Here, the presence / absence of the obstacle 24 can be obtained, for example, by analyzing a plurality of frames of the video of the surveillance camera and detecting an area without movement. Whether or not the parent 21 is talking to the other person 25 can be determined, for example, by confirming whether or not the face direction of the parent 21 and the face direction of the other person 25 are opposite to each other.

また、図7(a)および図7(b)に示したような親21の顔の向きが子供22に向いているが親21が子供22を視認できなかったり注意が逸れていたりする可能性がある場合と、図6(a)に示したような親21の顔の向きが子供22から逸れている場合とで、警告の強度を変えてもよい。すなわち、親21の顔の向きが子供22から逸れている場合の方が、親21の注意が子供22から逸れている可能性が高いため、より強い警告を発するようにしてもよい。警告の強度の変え方としては、同一の種類の警告の強度を変える(例えば、発報装置から発する音量や振動の量や頻度を変える)ようにしてもよいし、警告の種類自体を変えるようにしてもよい。警告の種類自体を変える場合は、例えば、強度の低い警告は、親21のみに対して発し、強度の強い警告は、館内放送や一斉配信などにより親21以外の第三者に対しても発するようにするとよい。   Further, the face of the parent 21 as shown in FIGS. 7A and 7B faces the child 22, but the parent 21 may not be able to see the child 22 or may be distracted. The intensity of the warning may be changed between the case where there is and the case where the face of the parent 21 deviates from the child 22 as shown in FIG. That is, when the direction of the face of the parent 21 is deviated from the child 22, there is a high possibility that the attention of the parent 21 is deviated from the child 22, so that a stronger warning may be issued. The warning intensity may be changed by changing the intensity of the same type of warning (for example, changing the volume or amount of vibration emitted from the alarm device, or the frequency or frequency), or changing the type of warning itself. It may be. When changing the type of warning itself, for example, a low-intensity warning is issued only to the parent 21, and a high-intensity warning is also issued to third parties other than the parent 21 by broadcasting in the hall or simultaneous delivery. It is good to do so.

また、本実施形態では、親21と子供22との間の距離が閾値Dth2以上離れており、かつ、親21の視界範囲内に子供22がいない場合に、迷子である可能性があると判定したが、閾値を1つに限る必要はない。例えば、親21の視界範囲内に子供22がいない場合に、親21と子供22の距離が離れていくにつれて段階的に警告の強度を強めていくなどとしてもよい。 Further, in the present embodiment, when the distance between the parent 21 and the child 22 is more than the threshold value D th2 and there is no child 22 in the field of view of the parent 21, there is a possibility of being lost. Although determined, it is not necessary to limit the threshold to one. For example, when there is no child 22 within the field of view of the parent 21, the intensity of the warning may be increased stepwise as the distance between the parent 21 and the child 22 increases.

以上、本開示を特定の実施形態に基づいて説明したが、これらの実施形態はあくまでも例示であって、本開示はこれらの実施形態によって限定されるものではない。また、上記実施形態に示した本開示に係る迷子検出装置および迷子検出方法の各構成要素は、必ずしも全てが必須ではなく、少なくとも本開示の範囲を逸脱しない限りにおいて適宜取捨選択することが可能である。   As mentioned above, although this indication was explained based on specific embodiments, these embodiments are illustrations to the last, and this indication is not limited by these embodiments. In addition, all the constituent elements of the lost child detection apparatus and the lost child detection method according to the present disclosure shown in the above embodiment are not necessarily essential, and can be appropriately selected as long as they do not depart from the scope of the present disclosure. is there.

本開示に係る迷子検出装置および迷子検出方法は、見守り者が見守り対象者を離れた距離から見守っている場合における迷子の誤判定を防ぐことを可能にする迷子検出装置および迷子検出方法等として有用である。   The lost child detection device and the lost child detection method according to the present disclosure are useful as a lost child detection device, a lost child detection method, and the like that can prevent erroneous determination of a lost child when a watcher watches the person being watched from a distance away It is.

1 迷子検出システム
2 カメラ
3 迷子検出装置
4 ネットワーク
11 プロセッサ
12 RAM
13 ROM
14 記憶部
15 表示部(アラーム発報部)
16 入力部
17 通信部
21 親(見守り者)
22 子(見守り対象者)
23 視界範囲
DESCRIPTION OF SYMBOLS 1 Lost child detection system 2 Camera 3 Lost child detection apparatus 4 Network 11 Processor 12 RAM
13 ROM
14 storage unit 15 display unit (alarm reporting unit)
16 Input unit 17 Communication unit 21 Parent (watcher)
22 children (persons to watch over)
23 Visibility range

Claims (16)

プロセッサと、
撮像装置と通信を実行する通信部とを備え、
前記プロセッサは、
前記撮像装置から人物を含む撮像画像を取得し、
前記撮像画像から、行動を見守る対象である見守り対象者と該見守り対象者の行動を見守る人物である見守り者とを検出するとともに、前記見守り者と前記見守り対象者との間の距離を検出し、
前記撮像画像に含まれる人物の顔の画像に基づき、前記見守り者の視界範囲を算出し、
前記距離が予め定められた閾値以上と判定され、かつ、前記見守り対象者が前記見守り者の視界範囲から外れていると判定された場合に、前記見守り対象者が迷子であると判定することを特徴とする迷子検出装置。
A processor;
A communication unit that performs communication with the imaging device;
The processor is
Obtaining a captured image including a person from the imaging device;
From the captured image, a monitoring target person who is a target of watching the behavior and a watcher who is a person watching the behavior of the watching target person are detected, and a distance between the watcher and the watching target person is detected. ,
Based on the image of the person's face included in the captured image, the view range of the watcher is calculated,
When it is determined that the distance is equal to or greater than a predetermined threshold, and when it is determined that the person being watched is out of the field of view of the watcher, determining that the person being watched is lost A lost child detection device.
前記視界範囲は、前記見守り者の顔の向きに基づき算出されることを特徴とする請求項1に記載の迷子検出装置。   The lost child detection apparatus according to claim 1, wherein the visibility range is calculated based on a face direction of the watcher. 前記視界範囲は、前記見守り者の前記顔の向きに基づき設定される予め定められた角度の範囲であることを特徴とする請求項2に記載の迷子検出装置。   3. The lost child detection apparatus according to claim 2, wherein the visual field range is a range of a predetermined angle set based on an orientation of the face of the watcher. 前記プロセッサは、
前記撮像画像から障害物を検出し、
前記距離が予め定められた閾値以上と判定され、かつ、前記見守り者と前記見守り対象者との間に前記障害物が存在する場合において、前記見守り対象者が前記視界範囲内に存在していても、前記見守り対象者が迷子であると判定することを特徴とする請求項1ないし請求項3のいずれかに記載の迷子検出装置。
The processor is
An obstacle is detected from the captured image,
In the case where the distance is determined to be equal to or greater than a predetermined threshold and the obstacle exists between the watcher and the watch target person, the watch target person exists within the view range. 4. The lost child detection apparatus according to claim 1, wherein the watching target person is determined to be lost.
前記プロセッサは、
前記撮像画像から、前記見守り者と異なる人物を検出し、
前記距離が予め定められた閾値以上と判定され、かつ、前記見守り者と前記見守り者と異なる人物とが対向している場合において、前記見守り対象者が前記視界範囲内に存在していても、前記見守り対象者が迷子であると判定することを特徴とする請求項1ないし請求項4のいずれかに記載の迷子検出装置。
The processor is
From the captured image, detect a person different from the watcher,
In the case where the distance is determined to be equal to or greater than a predetermined threshold and the watcher and a person different from the watcher are facing each other, even if the watch target person is within the field of view, The lost child detection apparatus according to claim 1, wherein the watching target person is determined to be lost.
前記プロセッサは、
前記撮像画像に含まれる人物の年層を推定し、
推定された年層に基づき、年層の高い人物を見守り者と判定し、年層の低い人物を見守り対象者であると判定することを特徴とする請求項1ないし請求項5のいずれかに記載の迷子検出装置。
The processor is
Estimating the age of the person included in the captured image,
6. The method according to any one of claims 1 to 5, wherein, based on the estimated age group, the person having a higher age group is determined to be a watcher, and the person having a lower age group is determined to be a target person. The stray child detection apparatus described.
前記プロセッサは、
前記撮像画像から前記人物の輪郭を抽出し、抽出された輪郭に基づき前記年層を推定することを特徴とする請求項6に記載の迷子検出装置。
The processor is
The lost child detection apparatus according to claim 6, wherein an outline of the person is extracted from the captured image, and the age group is estimated based on the extracted outline.
迷子が検出されたことを報知するアラームを発報するアラーム発報部をさらに備え、
前記プロセッサは、
前記見守り対象者が迷子であると判定された場合には、前記アラーム発報部により前記アラームを発報することを特徴とする請求項1ないし請求項7のいずれかに記載の迷子検出装置。
It further includes an alarm notification unit that issues an alarm notifying that a lost child has been detected,
The processor is
The lost child detection apparatus according to any one of claims 1 to 7, wherein when the person to be watched over is determined to be lost, the alarm notification unit issues the alarm.
撮像装置から人物の撮像画像を取得するステップと、
前記撮像画像から、行動を見守る対象である見守り対象者と該見守り対象者の行動を見守る人物である見守り者とを検出するとともに、前記見守り者と前記見守り対象者との間の距離を検出するステップと、
前記撮像画像に含まれる人物の顔の画像に基づき、前記見守り者の視界範囲を算出するステップと、
前記距離が予め定められた閾値以上と判定され、かつ、前記見守り対象者が前記見守り者の視界範囲から外れていると判定された場合に、前記見守り対象者が迷子であると判定するステップとを有することを特徴とする迷子検出方法。
Acquiring a captured image of a person from the imaging device;
From the captured image, a monitoring target person who is a target of watching a behavior and a watcher who is a person watching the behavior of the watching target person are detected, and a distance between the watching person and the monitoring target is detected. Steps,
Calculating a view range of the watcher based on an image of a person's face included in the captured image;
Determining that the person being watched is lost when it is determined that the distance is greater than or equal to a predetermined threshold and that the person being watched is out of the field of view of the watcher; A lost child detection method comprising:
前記視界範囲は、前記見守り者の顔の向きに基づき算出されることを特徴とする請求項9に記載の迷子検出方法。   The lost child detection method according to claim 9, wherein the visibility range is calculated based on a face direction of the watcher. 前記視界範囲は、前記見守り者の前記顔の向きに基づき設定される予め定められた角度の範囲であることを特徴とする請求項10に記載の迷子検出方法。   11. The lost child detection method according to claim 10, wherein the visibility range is a range of a predetermined angle set based on an orientation of the face of the watcher. 前記撮像画像から障害物を検出するステップと、
前記距離が予め定められた閾値以上と判定され、かつ、前記見守り者と前記見守り対象者との間に前記障害物が存在する場合において、前記見守り対象者が前記視界範囲内に存在していても、前記見守り対象者が迷子であると判定するステップとをさらに有することを特徴とする請求項9ないし請求項11のいずれかに記載の迷子検出方法。
Detecting an obstacle from the captured image;
In the case where the distance is determined to be equal to or greater than a predetermined threshold and the obstacle exists between the watcher and the watch target person, the watch target person exists within the view range. The lost child detection method according to claim 9, further comprising a step of determining that the person being watched over is a lost child.
前記撮像画像から、前記見守り者と異なる人物を検出するステップと、
前記距離が予め定められた閾値以上と判定され、かつ、前記見守り者と前記見守り者と異なる人物とが対向している場合において、前記見守り対象者が前記視界範囲内に存在していても、前記見守り対象者が迷子であると判定するステップとをさらに有することを特徴とする請求項9ないし請求項12のいずれかに記載の迷子検出方法。
Detecting a person different from the watcher from the captured image;
In the case where the distance is determined to be equal to or greater than a predetermined threshold and the watcher and a person different from the watcher are facing each other, even if the watch target person is within the field of view, The lost child detection method according to claim 9, further comprising a step of determining that the person being watched over is a lost child.
前記撮像画像に含まれる人物の年層を推定するステップと、
推定された年層に基づき、年層の高い人物を見守り者と判定し、年層の低い人物を見守り対象者であると判定するステップとをさらに有することを特徴とする請求項9ないし請求項13のいずれかに記載の迷子検出方法。
Estimating a person's age group included in the captured image;
The method further comprises the steps of: determining a person with a higher age as a watcher based on the estimated age group, and determining as a person to watch over a person with a lower age group. 14. The lost child detection method according to any one of 13.
前記年層は、前記撮像画像から抽出した前記人物の輪郭に基づき推定することを特徴とする請求項14に記載の迷子検出方法。   The lost child detection method according to claim 14, wherein the age group is estimated based on an outline of the person extracted from the captured image. 前記見守り対象者が迷子であると判定された場合に、迷子が検出されたことを報知するアラームを発報するステップをさらに有することを特徴とする請求項9ないし請求項15のいずれかに記載の迷子検出方法。   16. The method according to claim 9, further comprising a step of issuing an alarm notifying that a lost child has been detected when it is determined that the person being watched over is lost. Lost child detection method.
JP2017047333A 2017-03-13 2017-03-13 Lost child detection device and lost child detection method Active JP6837356B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017047333A JP6837356B2 (en) 2017-03-13 2017-03-13 Lost child detection device and lost child detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017047333A JP6837356B2 (en) 2017-03-13 2017-03-13 Lost child detection device and lost child detection method

Publications (2)

Publication Number Publication Date
JP2018151834A true JP2018151834A (en) 2018-09-27
JP6837356B2 JP6837356B2 (en) 2021-03-03

Family

ID=63680462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017047333A Active JP6837356B2 (en) 2017-03-13 2017-03-13 Lost child detection device and lost child detection method

Country Status (1)

Country Link
JP (1) JP6837356B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507211A (en) * 2020-04-01 2020-08-07 浙江大华技术股份有限公司 Pet supervision method, device, equipment and storage medium
WO2021192811A1 (en) * 2020-03-23 2021-09-30 Nec Corporation A method and an apparatus for estimating an appearance of a first target
JP7273271B1 (en) 2022-09-14 2023-05-15 株式会社Fam’s Parent-child monitoring system
JP7345747B1 (en) 2023-03-16 2023-09-19 株式会社Fam’s Parent-child monitoring device, parent-child monitoring system, and parent-child monitoring program
JP7407677B2 (en) 2020-08-25 2024-01-04 三菱電機ビルソリューションズ株式会社 Lost child detection device, lost child detection method, and program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007060528A (en) * 2005-08-26 2007-03-08 Toshiba Corp Facility user management system and user management method
JP2013069128A (en) * 2011-09-22 2013-04-18 Nec Embedded Products Ltd System and method for finding lost child
JP2016009451A (en) * 2014-06-26 2016-01-18 キヤノンマーケティングジャパン株式会社 Information processor, control method and program thereof
US20160189516A1 (en) * 2014-12-02 2016-06-30 Here Global B.V. Apparatus, method and computer program for monitoring positions of objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007060528A (en) * 2005-08-26 2007-03-08 Toshiba Corp Facility user management system and user management method
JP2013069128A (en) * 2011-09-22 2013-04-18 Nec Embedded Products Ltd System and method for finding lost child
JP2016009451A (en) * 2014-06-26 2016-01-18 キヤノンマーケティングジャパン株式会社 Information processor, control method and program thereof
US20160189516A1 (en) * 2014-12-02 2016-06-30 Here Global B.V. Apparatus, method and computer program for monitoring positions of objects

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021192811A1 (en) * 2020-03-23 2021-09-30 Nec Corporation A method and an apparatus for estimating an appearance of a first target
CN111507211A (en) * 2020-04-01 2020-08-07 浙江大华技术股份有限公司 Pet supervision method, device, equipment and storage medium
CN111507211B (en) * 2020-04-01 2023-04-18 浙江大华技术股份有限公司 Pet supervision method, device, equipment and storage medium
JP7407677B2 (en) 2020-08-25 2024-01-04 三菱電機ビルソリューションズ株式会社 Lost child detection device, lost child detection method, and program
JP7273271B1 (en) 2022-09-14 2023-05-15 株式会社Fam’s Parent-child monitoring system
JP7345747B1 (en) 2023-03-16 2023-09-19 株式会社Fam’s Parent-child monitoring device, parent-child monitoring system, and parent-child monitoring program

Also Published As

Publication number Publication date
JP6837356B2 (en) 2021-03-03

Similar Documents

Publication Publication Date Title
JP6837356B2 (en) Lost child detection device and lost child detection method
US9396400B1 (en) Computer-vision based security system using a depth camera
US11132887B2 (en) Eyeglasses-type wearable terminal, control method thereof, and control program
JP6390860B2 (en) Left object monitoring device, left object monitoring system including the same, and left object monitoring method
WO2015133195A1 (en) Information processing device, information processing method, and program
US9053621B2 (en) Image surveillance system and image surveillance method
WO2018096787A1 (en) Person's behavior monitoring device and person's behavior monitoring system
JPWO2016199749A1 (en) Image processing system, image processing apparatus, image processing method, and image processing program
JP2008167429A (en) Camera tampering detection
KR101309366B1 (en) System and Method for Monitoring Emergency Motion based Image
JPWO2015118953A1 (en) Information processing apparatus, information processing method, and program
JP2015194915A (en) Moving body tracking apparatus, moving body tracking method, moving body tracking system, and camera
JP6119938B2 (en) Image processing system, image processing apparatus, image processing method, and image processing program
Doulamis Iterative motion estimation constrained by time and shape for detecting persons' falls
JP6461511B2 (en) Monitoring device and program
JP2009088709A (en) Height estimation device, and photographing device
JP6939065B2 (en) Image recognition computer program, image recognition device and image recognition method
JP2019200718A (en) Monitoring device, monitoring method, and program
JP6645503B2 (en) Image analysis device, image analysis method, and image analysis program
US11403925B2 (en) Systems and methods for broadcasting an audio or visual alert that includes a description of features of an ambient object extracted from an image captured by a camera of a doorbell device
JP6124739B2 (en) Image sensor
JP7198052B2 (en) image surveillance system
JP2014048947A (en) Image monitoring device
EP3499477A1 (en) Watch-over system, watch-over device, watch-over method, and watch-over program
TWM468742U (en) Dual depth-of-field changeable camera electronic fence device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210209

R151 Written notification of patent or utility model registration

Ref document number: 6837356

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151