JP2006092396A - Apparatus for detecting lone person and person in group - Google Patents

Apparatus for detecting lone person and person in group Download PDF

Info

Publication number
JP2006092396A
JP2006092396A JP2004278855A JP2004278855A JP2006092396A JP 2006092396 A JP2006092396 A JP 2006092396A JP 2004278855 A JP2004278855 A JP 2004278855A JP 2004278855 A JP2004278855 A JP 2004278855A JP 2006092396 A JP2006092396 A JP 2006092396A
Authority
JP
Japan
Prior art keywords
person
determination
persons
information
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004278855A
Other languages
Japanese (ja)
Other versions
JP4506381B2 (en
Inventor
Shunsuke Ichihara
俊介 市原
Makoto Masuda
誠 増田
Original Assignee
Oki Electric Ind Co Ltd
沖電気工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Ind Co Ltd, 沖電気工業株式会社 filed Critical Oki Electric Ind Co Ltd
Priority to JP2004278855A priority Critical patent/JP4506381B2/en
Publication of JP2006092396A publication Critical patent/JP2006092396A/en
Application granted granted Critical
Publication of JP4506381B2 publication Critical patent/JP4506381B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Abstract

<P>PROBLEM TO BE SOLVED: To accurately detect a lone person or person in a group and a kind of the group form from information for sex, age and the like of persons, and further to accurately and rapidly detect a lost child from information such as physical size, sound of crying and the like by acquiring a moving image of each point, and grouping persons based on information for the behaviors of persons acquired from the moving image. <P>SOLUTION: This detector comprises a person detecting means detecting persons and the positions of the persons from a moving image for every lapse of a predetermined time; a person group determining means performing a group determination for grouping the persons from the positional relations of the persons; a person group form determining means determining lone persons or persons in a group and a group form thereof, by focusing on the number of persons from the result of the group determination; and a person group reporting means reporting the group form. The group determination is performed for the persons contained in the moving image. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、単独行動者及びグループ行動者検知装置に関するものである。   The present invention relates to a single actor and group actor detection device.

従来、ショッピングセンタ、デパート、ショッピングモール等の大型商業施設、鉄道の駅、地下街等の公共施設等のように不特定多数の人物が集まる場所において、それぞれの人物が単独で行動しているのか、又は、複数人のグループで行動をしているのか、さらに、該グループはどのような形態のものであるか等の情報が、マーケティングの観点や保安上の観点から求められている。   Conventionally, whether each person is acting alone in a place where a large number of unspecified people gather, such as large commercial facilities such as shopping centers, department stores, shopping malls, public facilities such as railway stations, underground malls, etc. Alternatively, information such as whether the group is acting as a group and what kind of form the group is in is required from the viewpoint of marketing and security.

例えば、マーケティングの観点からは、小売店、飲食店等が人手によって通行人を調査し、見た目から分かる通行人の年齢、性別等から、どのような形態のグループがいるのかという情報を取得することがある。   For example, from a marketing point of view, retailers, restaurants, etc. manually survey passers-by, and obtain information on what types of groups exist based on the passer's age, gender, etc. There is.

また、保安上の観点からは、特に、親と離れ離れになっている迷子の発見に対する要求が強く、人手によって迷子を発見する方法、IDタグ、携帯情報端末等の無線通信によって迷子を発見する方法等、いくつかの方法が提案されている。例えば、無線通信によって迷子を発見する方法としては、親子の距離が離れると警告を発して迷子防止を図る方法(例えば、特許文献1参照。)、迷子になった後にIDカードで迷子を認識する方法(例えば、特許文献2参照。)、発信機で迷子を追尾する方法(例えば、特許文献3参照。)等が提案されている。   Also, from the viewpoint of security, there is a strong demand for finding a lost child that is separated from the parent, a method for finding a lost child by hand, a method for finding a lost child by wireless communication such as an ID tag, a portable information terminal, etc. Several methods have been proposed. For example, as a method for finding a lost child by wireless communication, a method for preventing a lost child by issuing a warning when the distance between the parent and the child is separated (see, for example, Patent Document 1), and recognizing the lost child with an ID card after becoming lost. A method (for example, refer to Patent Document 2), a method for tracking a lost child with a transmitter (for example, refer to Patent Document 3), and the like have been proposed.

しかし、迷子発見の大半は人手によるものであり、この場合、施設の場内に迷子案内所のようなものを用意して、迷子又は親のいずれか一方が迷子案内所に来ると、場内放送等を用いて他方を捜すというのが一般的である。   However, most of the lost child discovery is done manually. In this case, if a facility such as a lost child information center is prepared in the facility, and either one of the lost child or the parent comes to the lost child information center, broadcasts on the site, etc. It is common to search for the other using.

ここで、迷子になった子供が迷子案内所に来て親を捜す場合は、子供が自らそこへ出向くパターンと、一人になって心細くなって泣いている子供を施設の従業員や通行人が発見して迷子案内所に連れていくパターンとの2つのパターンがある。   Here, when a lost child comes to the Lost Child Information Center and searches for a parent, the facility employees and passers-by show that the child goes to the center and the child who is lonely and crying alone. There are two patterns: a pattern to discover and take to a lost child information center.

また、親が迷子案内所に来て迷子を捜す場合は、放送を用いて迷子を直接呼び出すパターンと、子供の服装、身長等の外観についての情報を通知して、施設の従業員や通行人の助力を得て見つけ出すパターンの2つのパターンがある。例えば、米国の多くの商業施設では、コード・アダム(Code Adam)という、施設の従業員を総動員して迷子を捜すシステムが導入されている。この場合、補助手段として、子供にあらかじめ本人及び親の氏名や連絡先を記した迷子札を装着させ、いざ迷子になって捜される場合にキーとして利用することもある。
特開平11−242790号公報 特開平9−61519号公報 特開2000−293785号公報
In addition, when a parent comes to a lost child information center and searches for a lost child, information on the appearance of the child's clothes, height, etc. is notified by a pattern that calls the lost child directly using broadcast, and the employee or passerby of the facility There are two patterns to find with the help of. For example, many commercial facilities in the United States have introduced a system called Code Adam that seeks lost children by mobilizing all of the facility's employees. In this case, as a supplementary means, the child may be preliminarily attached with a lost child tag in which the names of the person and the parent and the contact information are written, and may be used as a key when searching for lost children.
JP 11-242790 A JP 9-61519 A JP 2000-293785 A

しかしながら、前記従来のシステムにおいては、種々の問題があった。例えば、一般に人々が単独行動者であるかグループ行動者であるかを人手によって調べる場合、時間と人手とコストがかかる上に、その判定にある程度長い観察時間が必要になる。また、観察を長時間に亘(わた)って続けている間に、観察者の判定基準が変化してしまい、データが不正確になりやすい。さらに、1人の観察者が同時に多数の人々を1度に判定することは、極めて困難である。   However, the conventional system has various problems. For example, in general, when manually checking whether a person is a single actor or a group actor, it takes time, manpower, and cost, and a relatively long observation time is required for the determination. In addition, while the observation is continued for a long time, the judgment criteria of the observer changes, and the data is likely to be inaccurate. Furthermore, it is extremely difficult for one observer to determine many people at once at the same time.

また、迷子を施設の従業員や通行人が発見して迷子案内所で親を放送で呼び出す場合、子供が1人で歩いていて、泣いたり、親を呼ぶ声を繰り返し発したりする等、見た目にも迷子と分かる行動をしていること、及び、その姿を施設の従業員や通行人に発見されることが必要である。ところが、迷子を発見したときに、本当に迷子であるかどうかを判断するためには、ある程度その子供をまとまった時間注視する必要がある。そのため、従業員や通行人が多忙であったり、人込みが激しかったりすると、子供をまとまった時間注視することができず、迷子であるかどうかを判断することが困難となりやすい。   Also, when a facility employee or passerby finds a lost child and calls the parent by broadcast at the lost child information center, the child may be walking alone, crying, or repeatedly calling out to the parent, etc. It is necessary to behave like a lost child and to be discovered by employees and passers of the facility. However, when a lost child is discovered, it is necessary to watch the child for a certain amount of time in order to determine whether or not he / she is really lost. For this reason, when employees and passersby are busy or crowded, it is difficult to keep a close eye on the child for a long time, and it is difficult to determine whether the child is lost.

また、迷子になった子供が必ずしも泣くとは限らず、泣かないとその子供が迷子であるか否かの判断が尚更難しくなる。そのため、その子供が迷子であると判断して行動を起こすまでに時間がかかり、その分、迷子になった子供及びその親に長時間心細い思いをさせ、また、その子供が犯罪に狙(ねら)われやすくなってしまう。   Also, a lost child does not necessarily cry, and if it does not cry, it will be even more difficult to determine whether the child is lost. Therefore, it takes time for the child to be determined to be lost and take action. ) It will be easy to be broken.

さらに、迷子になった子供が自ら迷子案内所に名乗り出て親を放送で呼び出す場合、その子供にある程度の判断力や行動力が必要になる。しかし、迷子は未就業児であることが多く、未就業児は自ら名乗り出るにはあまりに幼い。そのため、迷子が自ら名乗り出ることは稀にしかない。   Furthermore, when a child who is lost gets out of the way to the lost child information center and calls the parent by broadcast, the child needs some judgment and action. However, lost children are often unemployed children, who are too young to make their own names. For this reason, it is rare for a lost child to make a name.

逆に、親が迷子案内所に出向く場合、施設の従業員や通行人の助力で迷子を捜すことは難しい。すなわち、迷子を的確に捉えるのが難しく、時間と人手がかかるので、施設の従業員が本来の業務に専念することができなくなってしまう。また、放送で迷子に直接呼びかけても、子供が幼い、冷静さを失っている、施設内がうるさい等の原因によって、効果がないことがある。   Conversely, when a parent goes to a lost child information desk, it is difficult to find lost children with the help of facility employees and passersby. In other words, it is difficult to accurately capture the lost child, and it takes time and manpower, so that the employees of the facility cannot concentrate on the original work. In addition, calling directly to a lost child through broadcasting may not be effective due to causes such as the child being young, losing calmness, or being noisy in the facility.

そして、迷子又はその親を呼び出すための放送は、施設内がうるさい場合には聞き取られにくく、その放送音声が場の雰囲気を壊してしまったり、個人の名前を大衆の前で呼び上げることによって個人のプライバシーが侵されたりしてしまう。また、迷子札もその記載情報から装着している子供及び親の個人情報が漏れてしまう。   Broadcasts to call the lost child or their parents are difficult to hear when the facility is noisy, and the broadcast sound destroys the atmosphere of the venue or calls the individual's name in front of the public. The privacy of your company will be violated. In addition, the personal information of the child and the parent wearing the lost tag is leaked from the written information.

さらに、無線通信による場合、あらかじめ集まっている人々が必要な機器をすべて装備している必要があるので、集まる人数に応じてコストがかかり、また、持ち運びの煩雑さや紛失の恐れ、データベース容量の制限によるIDの枯渇等の問題がある。   Furthermore, in the case of wireless communication, it is necessary for people gathered in advance to be equipped with all the necessary equipment, so there is a cost depending on the number of people gathered, there is a risk of complexity and loss of carrying, database capacity restrictions There is a problem such as exhaustion of ID.

本発明は、前記従来の問題点を解決して、各地点の動画像を取得し、該動画像から取得した人物の挙動の情報に基づいて人物をグループ分けすることによって、人物が単独行動をしているかグループ行動をしているかを的確に検知することができ、人物の性別、年齢等の情報からそのグループ形態がどのようなものであるかを検知することができ、さらに、体格、泣き声等の情報から迷子を的確に、かつ、迅速に検知することができる単独行動者及びグループ行動者検知装置を提供することを目的とする。   The present invention solves the above-mentioned conventional problems, acquires a moving image of each point, and groups the persons based on the information of the behavior of the person acquired from the moving images, so that the person can act independently. Can accurately detect whether they are doing group actions or not, and can detect what the group form is based on information such as the gender and age of the person, as well as physique and cry It is an object of the present invention to provide a single actor and group actor detection device capable of accurately and quickly detecting a lost child from such information.

そのために、本発明の単独行動者及びグループ行動者検知装置においては、不特定多数の人物が集まる場所において、各地点の動画像を取得する動画像取得手段と、取得された前記動画像から人物及び該人物の位置を所定時間経過毎に検出する人物検出手段と、検出された前記人物の相互の位置関係から、相対距離が閾(しきい)値を下回る状態が、該閾値より長い時間続く人物の組を同一行動をしているグループに属すると判定し、検出された前記人物をグループ分けするグループ判定を行う人物グループ判定手段と、前記グループ判定の結果から、人数に着目して単独行動者又はグループ行動者とグループ形態とを判定する人物グループ形態判定手段と、前記グループ形態をオペレータに通知する人物グループ通知手段とを有し、前記動画像に含まれる人物についてグループ判定を行う。   For this purpose, in the single and group actor detection device of the present invention, in a place where a large number of unspecified persons gather, moving image acquisition means for acquiring a moving image at each point, and a person from the acquired moving image And a person detecting means for detecting the position of the person at every elapse of a predetermined time and a state in which the relative distance is below a threshold value from the mutual positional relationship of the detected person continues for a time longer than the threshold value. It is determined that a group of persons belongs to a group performing the same action, and a group determination unit for performing group determination for grouping the detected persons, and a single action focusing on the number of persons from the result of the group determination A person group form determining means for determining a person or group actor and a group form, and a person group notifying means for notifying the operator of the group form. Performing group judgment about a person included in the image.

本発明の他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ判定手段は、前記相対距離及び相対速度が閾値を下回る状態が、該閾値より長い時間続く人物の組を同一グループと判定する。   In another single actor and group actor detection device of the present invention, the person group determination means further includes the same set of persons whose relative distance and relative speed are below a threshold for a time longer than the threshold. Judge as a group.

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ判定手段は、検出された前記人物の相互位置関係のすべての値について統計処理を行い、前記人物のグループ分けで用いられる閾値を算出する人物グループ空間統計手段を備え、評価対象の混雑度に適応した閾値で前記グループ判定を行う。   In still another single-behavior and group-behavior detection device of the present invention, the person group determination means further performs statistical processing on all values of the detected mutual positional relationship of the persons, and the group of persons Person group space statistical means for calculating a threshold value used in the division is provided, and the group determination is performed with a threshold value adapted to the degree of congestion of the evaluation target.

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、検出された前記人物の位置に基づいて、前記人物の顔画像、体格、年齢、性別、服装又は障害の有無を特徴情報として抽出して判定する人物特徴抽出手段を備え、前記人物の特徴情報及びグループ判定情報を組み合わせてグループ形態を判定する。   In still another single actor and group actor detection device of the present invention, the person group form determination means further includes the face image, physique, age, and sex of the person based on the detected position of the person. And a person feature extracting means for extracting and determining the presence or absence of clothes or a disorder as feature information, and determining the group form by combining the feature information of the person and the group determination information.

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、検出された前記人物が人物グループ判定手段によって単独行動者と判定され、かつ、前記人物特徴抽出手段によって、体格及び年齢から子供と判定された場合に、前記人物のグループ形態を迷子であると判定する。   In still another single actor and group actor detection device of the present invention, the person group form determination means further determines that the detected person is a single action by the person group determination means, and the person When it is determined by the feature extraction means that the child is based on the physique and age, the group form of the person is determined to be lost.

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、検出された前記人物が2人のグループで行動していると判定され、かつ、前記人物特徴抽出手段によって、前記人物がいずれも成人の年齢であり、年齢が近く、一方が男性で他方が女性と判定された場合に、前記グループのグループ形態をカップルであると判定する。   In still another single actor and group actor detection device of the present invention, the person group form determination means determines that the detected person is acting in a group of two people, and The person feature extraction means determines that the group form of the group is a couple when it is determined that all of the persons are of adult age, close to age, one is male and the other is female.

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、検出された前記人物が複数人のグループで行動していると判定され、かつ、前記人物特徴抽出手段によって、前記グループに成人の年齢の人物と子供とがそれぞれ1人以上存在すると判定された場合に、前記グループのグループ形態を親子連れであると判定する。   In still another single actor and group actor detection device of the present invention, the person group form determination means further determines that the detected person is acting in a group of a plurality of persons, and When it is determined by the person feature extraction means that there are one or more adult-aged persons and children in the group, the group form of the group is determined to be accompanied by a parent and child.

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、検出された前記人物が閾値以上の人数のグループで行動していると判定され、かつ、前記人物特徴抽出手段によって、前記グループにおける閾値以上の人数の人物の服装が同一であると判定された場合に、前記グループのグループ形態を団体であると判定する。   In still another single actor and group actor detection device of the present invention, the person group form determination means further determines that the detected person is acting in a group of more than a threshold number, and When the person feature extraction means determines that the clothes of the number of persons equal to or greater than the threshold in the group are the same, the group form of the group is determined to be an organization.

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、検出された前記人物から同伴者を必要とする特徴が前記人物特徴抽出手段によって判定され、かつ、同一グループに前記特徴を備えておらず、同伴者と判定される人物が十分な人数存在しない場合に、検出された前記人物を同伴者なし要同伴者と判定する。   In still another single-behavior and group-behavior detection device of the present invention, the person group form determination means further determines, from the detected person, a feature that requires a companion by the person feature extraction means. And when the said group is not provided with the said characteristic and there are not enough persons determined to be a companion, the detected person is determined to be a companion without a companion.

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記同伴者を必要とする特徴は、年齢が閾値を下回るか、又は、障害が存在するかのいずれかである。   In still another single actor and group actor detection device of the present invention, the feature that requires the accompanying person is either that the age is below a threshold value or that a disorder exists.

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ通知手段は、検出された前記人物の位置、グループ判定情報又は個人的属性情報に基づいて、指定された条件に該当する人物を絞り込んで検索する人物検索手段を備え、前記指定された条件に該当する人物の情報を絞り込んで出力する。   In still another single actor and group actor detection device of the present invention, the person group notification means is further specified based on the detected position of the person, group determination information or personal attribute information. Person search means for narrowing down and searching for persons who meet the conditions is provided, and information on persons who meet the specified conditions is filtered and output.

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、検出された前記人物の顔画像を取得し、顔認証辞書データとして格納する顔認証辞書格納手段、及び、前記人物特徴抽出手段によって抽出された顔画像を前記顔認証辞書データと照合して認証スコアを出力する顔認証手段を備え、前記認証スコア及び人物特徴情報を人物グループ形態判定に利用する。   In still another single actor and group actor detection device of the present invention, the person group form determination means further acquires a face image of the detected person and stores it as face authentication dictionary data. And storing means and face authentication means for comparing the face image extracted by the person feature extraction means with the face authentication dictionary data and outputting an authentication score, and the authentication score and the person feature information are used for person group form determination. Use.

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、前記人物特徴抽出手段によって抽出された顔画像から表情、顔色及び顔向きを認識する顔表情認識手段を備え、前記表情及び顔色を利用してグループ形態判定を行う。   In still another individual actor and group actor detection device of the present invention, the person group form determination means further recognizes a facial expression, facial color, and face orientation from the face image extracted by the person feature extraction means. An expression recognizing means is provided, and group form determination is performed using the expression and face color.

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、検出された前記人物が単独行動をする子供と判定され、かつ、前記顔表情認識手段によって表情が「泣く」であると認識された場合、又は、顔向きの変化の頻度が閾値より高く、かつ、前記変化の振幅が閾値より大きいと認識された場合に、前記人物を迷子であると判定する。   In still another single-behavior and group-behavior detection device according to the present invention, the person group form determining means determines that the detected person is a child acting alone and the facial expression recognition means If the facial expression is recognized as “crying” or if the facial change frequency is higher than the threshold and the amplitude of the change is higher than the threshold, the person is lost Is determined.

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、検出された前記人物を前記人物グループ判定手段がグループ行動者であると判定し、かつ、各人物の表情を顔表情認識手段が「怒る」と認識した場合に、前記人物のグループのグループ形態を近接異常行動であると判定する。   In still another single actor and group actor detection device of the present invention, the person group form determination means determines that the detected person is a group actor, and When the facial expression recognition means recognizes the facial expression of each person as “angry”, the group form of the group of persons is determined to be proximity abnormal behavior.

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、前記人物特徴抽出手段によって抽出された顔画像から表情、顔色及び顔向きを認識する顔表情認識手段を備え、該顔表情認識手段が検出された前記人物の顔色を「赤」又は「蒼白」であると認識した場合に、前記人物を同伴者なし要同伴者と判定する。   In still another individual actor and group actor detection device of the present invention, the person group form determination means further recognizes a facial expression, facial color, and face orientation from the face image extracted by the person feature extraction means. When the facial expression recognition means recognizes that the detected facial color is “red” or “palm white”, the person is determined to be a companion without a companion.

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、前記各地点の音を取得する音響取得手段と、取得された音からグループの音響的特徴を判定する人物音響特徴抽出手段とを備え、前記音響的特徴に基づいて人物グループ形態を判定する。   In still another single actor and group actor detection device of the present invention, the person group form determination means further includes an acoustic acquisition means for acquiring the sound at each of the points, and a group acoustic from the acquired sound. Human acoustic feature extraction means for determining a feature, and determining a person group form based on the acoustic feature.

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記音響取得手段は指向性を持たせて音を取得し、検出された前記人物が前記音響取得手段によって取得された音のレベルの強い方向に存在する場合に、前記人物グループ形態判定手段は、前記人物が取得された音を発したと判定する。   In still another single actor and group actor detection device of the present invention, the sound acquisition unit acquires sound with directivity, and the detected person is acquired by the sound acquisition unit. In the case where the sound level exists in a strong direction, the person group form determination means determines that the person has emitted the acquired sound.

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物音響特徴抽出手段は、検出された前記人物の発話の認識を行う。   In still another single actor and group actor detection device of the present invention, the person acoustic feature extraction means recognizes the detected utterance of the person.

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、前記人物音響特徴抽出手段によって、前記人物から子供の泣き声、同伴者を呼ぶ発話等の迷子の音響的特徴が抽出され、かつ、前記人物が単独行動する子供であると判定された場合に、前記人物を迷子であると判定する。   In still another single actor and group actor detection device of the present invention, the person group form determination means further includes a crying voice of a child from the person, an utterance calling a companion, etc. by the person acoustic feature extraction means. If the acoustic characteristics of the lost child are extracted and it is determined that the person is a child acting alone, the person is determined to be a lost child.

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段は、同一グループに属する人物群について、前記人物音響特徴抽出手段によって怒鳴り声、殴打音、悲鳴等の犯罪行為の音響的特徴が抽出された場合に、前記人物群のグループ形態を犯罪行為と判定する。   In still another single actor and group actor detection device of the present invention, the person group form determination means further performs a yelling sound, a beating sound, a scream by the person acoustic feature extraction means for a group of persons belonging to the same group. When the acoustic features of criminal acts such as the above are extracted, the group form of the group of persons is determined as a criminal act.

本発明の更に他の単独行動者及びグループ行動者検知装置においては、さらに、前記人物グループ形態判定手段に代えて、グループ判定、人物特徴、顔認証スコア、表情、音響的特徴の情報を重み付け加算してスコア化する人物特徴スコア化手段を有し、スコアとして算出した値に基づいて人物情報を出力する。   In still another single actor and group actor detection device of the present invention, in addition to the person group form determination means, information on group determination, person characteristics, face authentication score, facial expression, and acoustic characteristics is weighted and added. Then, the personal characteristic scoring means for scoring is provided, and the personal information is output based on the value calculated as the score.

本発明によれば、単独行動者及びグループ行動者検知装置は、各地点の動画像を取得し、該動画像から取得した人物の挙動の情報に基づいて人物をグループ分けするようになっている。これにより、人物が単独行動をしているかグループ行動をしているかを的確に検知することができ、人物の性別、年齢等の情報からそのグループ形態がどのようなものであるかを検知することができ、さらに、体格、泣き声等の情報から迷子を的確に、かつ、迅速に検知することができる。   According to the present invention, the single-behavior and group-behavior detection apparatus acquires a moving image of each point, and groups persons based on information on the behavior of the person acquired from the moving image. . This makes it possible to accurately detect whether a person is acting alone or in a group, and detecting the group form from information such as the gender and age of the person. Furthermore, it is possible to accurately and quickly detect a lost child from information such as physique and cry.

以下、本発明の実施の形態について図面を参照しながら詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1は本発明の第1の実施の形態における検知装置の構成を示す図である。   FIG. 1 is a diagram showing a configuration of a detection apparatus according to the first embodiment of the present invention.

図において、10は本実施の形態における単独行動者及びグループ行動者検知装置としての検知装置であり、CPU、MPU等の演算手段、半導体メモリ、磁気ディスク等の記憶手段、入出力インターフェイス等を備え、プログラムに従って動作を行う一種のコンピュータ又はコンピュータシステムであり、動画像取得手段11、人物検出手段12、人物グループ判定手段13、人物グループ形態判定手段14及び人物グループ通知手段15を有する。   In the figure, reference numeral 10 denotes a detection device as a single-behavior and group-behavior detection device according to the present embodiment, and includes a calculation means such as a CPU and MPU, a storage means such as a semiconductor memory and a magnetic disk, an input / output interface, and the like. , A kind of computer or computer system that operates according to a program, and includes moving image acquisition means 11, person detection means 12, person group determination means 13, person group form determination means 14, and person group notification means 15.

そして、前記動画像取得手段11は、不特定多数の人物が集まる場所において、人物を検出したい地点の画像を撮影するカメラ装置、及び、前記人物検出手段12に撮影した動画像をリアルタイムに出力するインターフェイスを備える。なお、前記不特定多数の人物が集まる場所は、例えば、コンビニエンスストア、スーパーマーケット、デパート、ホームセンタ、ショッピングセンタ等の商業施設、食堂、レストラン等の飲食施設、銀行、郵便局、信用金庫等の金融機関、鉄道の駅、鉄道車両、地下道、バス、飛行場等の交通機関、劇場、テーマパーク、遊園地等の娯楽施設、ホテル、旅館等の宿泊施設、学校、官庁等の公共施設、個人住宅、集合住宅等の住宅施設、一般の建造物における玄関ホール、エレベータ等の建物内部、工事現場、工場等の作業施設、博物館、美術館、展示会場等の展示施設等であるが、いかなる場所であってもよい。さらに、前記カメラ装置は、一般に、工業用の監視カメラを使用するが、監視画像として動画像を撮影する機能を有するものであれば、放送局用のカメラであっても、家庭用のビデオカメラであってもよく、所定の範囲を撮影して動画像を取得することができるものであれば、いかなる形態のものであってもよい。   The moving image acquisition means 11 outputs in real time a camera device that captures an image of a point where a person is desired to be detected and a moving image captured by the person detection means 12 in a place where an unspecified number of persons gather. Provide an interface. The place where a large number of unspecified persons gather is, for example, convenience stores, supermarkets, department stores, home centers, shopping centers and other commercial facilities, restaurants, restaurants and other dining facilities, banks, post offices, credit unions and other financial institutions , Railway stations, railway vehicles, underpasses, buses, airfields, entertainment facilities such as theaters, theme parks, amusement parks, accommodations such as hotels and inns, public facilities such as schools and government offices, private houses, gatherings Housing facilities such as houses, entrance halls in ordinary buildings, interiors of buildings such as elevators, construction sites, work facilities such as factories, exhibition facilities such as museums, art galleries, exhibition halls, etc. Good. Furthermore, the camera device generally uses an industrial surveillance camera, but if it has a function of capturing a moving image as a surveillance image, it may be a broadcast station camera or a home video camera. Any form may be used as long as a moving image can be acquired by photographing a predetermined range.

また、前記人物検出手段12は、前記動画像取得手段11から動画像を入力するインターフェイス、前記動画像から通行する人物及びその位置を時刻毎に検出する画像処理装置又はソフトウェア、並びに、人物グループ判定手段13に前記人物の位置を示す人物位置情報を出力するインターフェイスを備える。そして、取得された前記動画像から人物及び該人物の位置を所定時間経過毎に検出する。   The person detecting means 12 includes an interface for inputting a moving image from the moving image acquiring means 11, an image processing apparatus or software for detecting a person passing through the moving image and its position at each time, and a person group determination. The means 13 includes an interface for outputting person position information indicating the position of the person. Then, the person and the position of the person are detected from the acquired moving image every predetermined time.

さらに、前記人物グループ判定手段13は、前記人物検出手段12から人物位置情報を入力するインターフェイス、前記人物位置情報からどの人物とどの人物が同一のグループに属して行動しているかを判定する演算装置又はソフトウェア、及び、人物グループ通知手段15に、前記人物のグループに関する情報としての人物グループ情報を出力するインターフェイスを備える。そして、検出された前記人物の相互の位置関係から、相対距離が閾値を下回る状態が、閾値より長い時間続く人物の組を同一行動をしているグループに属すると判定し、検出された前記人物をグループ分けするグループ判定を行う。   Further, the person group determining means 13 is an interface for inputting person position information from the person detecting means 12, and a computing device for determining which person and which person belong to the same group from the person position information. Alternatively, the software and the person group notification means 15 are provided with an interface for outputting person group information as information relating to the group of persons. Then, based on the mutual positional relationship of the detected persons, it is determined that a group of persons whose relative distance is less than the threshold value continues for a time longer than the threshold value belongs to the group performing the same action, and the detected person Perform group judgment to categorize.

また、前記人物グループ形態判定手段14は、前記人物グループ判定手段13から人物位置情報及び人物グループ情報を受け取るインターフェイス、各グループの形態を判定する演算装置又はソフトウェア、並びに、人物グループ通知手段15に前記グループの形態に関する情報としての人物グループ形態情報を出力するインターフェイスを備える。そして、前記グループ判定の結果から、人数に着目して単独行動者又はグループ行動者とグループ形態とを判定する。   The person group form determination unit 14 includes an interface for receiving person position information and person group information from the person group determination unit 13, a computing device or software for determining the form of each group, and the person group notification unit 15. An interface for outputting person group form information as information relating to the group form is provided. And from the result of the group determination, paying attention to the number of persons, the single actor or the group actor and the group form are determined.

さらに、前記人物グループ通知手段15は、前記人物グループ形態判定手段14から人物グループ形態情報を入力するインターフェイス、前記グループの情報を統計処理する演算装置又はソフトウェア、及び、オペレータに前記グループの情報としての人物グループ情報を通知するためのディスプレイ装置を備える。そして、前記グループ形態をオペレータに通知する。   Further, the person group notification means 15 includes an interface for inputting person group form information from the person group form determination means 14, an arithmetic unit or software for statistically processing the group information, and an operator as information on the group. A display device for notifying the person group information is provided. Then, the group form is notified to the operator.

次に、前記構成の検知装置10の動作について説明する。   Next, the operation of the detection apparatus 10 having the above configuration will be described.

図2は本発明の第1の実施の形態における人物検出手段によって検出された人物の例を示す図、図3は本発明の第1の実施の形態における人物の相対距離を示す第1の図、図4は本発明の第1の実施の形態における人物の相対距離を示す第2の図、図5は本発明の第1の実施の形態における人物の相対距離を示す第3の図、図6は本発明の第1の実施の形態における人物の相対速度を示す第1の図、図7は本発明の第1の実施の形態における人物の相対速度を示す第2の図、図8は本発明の第1の実施の形態における人物の相対速度を示す第3の図、図9は本発明の第1の実施の形態における人物グループ通知手段の通知表示の例を示す図である。なお、図3〜5において、横軸に時間を、縦軸に距離を採ってあり、また、図6〜8において、横軸に時間を、縦軸に速度を採ってある。   FIG. 2 is a diagram illustrating an example of a person detected by the person detection unit according to the first embodiment of the present invention, and FIG. 3 is a first diagram illustrating the relative distance of the person according to the first embodiment of the present invention. 4 is a second diagram showing the relative distance of the person in the first embodiment of the present invention, FIG. 5 is a third diagram showing the relative distance of the person in the first embodiment of the present invention, FIG. 6 is a first diagram showing the relative speed of the person in the first embodiment of the present invention, FIG. 7 is a second diagram showing the relative speed of the person in the first embodiment of the present invention, and FIG. FIG. 9 is a diagram showing a relative speed of a person in the first embodiment of the present invention, and FIG. 9 is a diagram showing an example of notification display of the person group notifying means in the first embodiment of the present invention. 3 to 5, the horizontal axis represents time, the vertical axis represents distance, and in FIGS. 6 to 8, the horizontal axis represents time and the vertical axis represents speed.

まず、動画像取得手段11によって撮影された各地点の画像に基づいて、人物検出手段12によってリアルタイムに人物が検出され、人物検出手段12が出力する人物位置検出情報に基づいて人物グループ判定手段13によって人物のグループが判定され、人物グループ通知手段15によってオペレータに人物グループ情報が通知される。   First, a person is detected in real time by the person detection means 12 based on the images of the respective points taken by the moving image acquisition means 11, and the person group determination means 13 based on the person position detection information output by the person detection means 12. Thus, the group of persons is determined, and the person group notification means 15 notifies the operator of the person group information.

なお、前記人物検出手段12は、オプティカルフロー算出による方法を用いて、各人物を検出して実空間座標系の位置を時刻毎に求める(例えば、特許文献4参照。)。ここで、複数カメラを用いたり(例えば、特許文献5参照。)、検出対象の位置を基準に取得動画像を拡大又は縮小して精度を向上させたり、広範囲で検出を行ったりしてもよい(例えば、特許文献6参照。)。   The person detecting means 12 detects each person using a method based on optical flow calculation and obtains the position of the real space coordinate system for each time (see, for example, Patent Document 4). Here, a plurality of cameras may be used (for example, refer to Patent Document 5), or the acquired moving image may be enlarged or reduced based on the position of the detection target to improve accuracy, or detection may be performed over a wide range. (For example, refer to Patent Document 6).

また、画像座標から実空間座標系に変換するためには、キャリブレーション等によって、各カメラ装置が撮影した画像における各画素の画像座標値と床面上の世界座標値との対応を事前に把握しておく必要がある。この手法としては、例えば、床面上に参照点を4点設定し、世界座標値と画像座標値との変換行列を算出する方法がある(例えば、非特許文献1参照。)。   Also, in order to convert from image coordinates to the real space coordinate system, the correspondence between the image coordinate values of each pixel in the image captured by each camera device and the world coordinate values on the floor surface is determined in advance by calibration or the like. It is necessary to keep it. As this method, for example, there is a method in which four reference points are set on the floor surface and a conversion matrix between world coordinate values and image coordinate values is calculated (for example, see Non-Patent Document 1).

〔特許文献4〕特開平10−91793号公報
〔特許文献5〕特開平10−48008号公報
〔特許文献6〕特開2001−266131号公報
〔非特許文献1〕「Cue−based camera calibration with its practical application to digital image production」Yuji Nakazawa他、信学技報IE96−63
そして、前記人物グループ判定手段13は、人物検出手段12によって検出された人物の時刻毎の位置から、人物のすべての組み合わせについて、相互の相対距離や相対速度を計算し、それぞれの組み合わせの人物が同一グループに属しているか否かを判定する。例えば、相対距離がある閾値を下回っている状態がある一定時間以上継続するか否か、又は、ある時間区間で相対距離及び相対速度がともに、所定の閾値より小さな値を維持しているか否かをその判定基準とする。
[Patent Document 4] Japanese Patent Laid-Open No. 10-91793 [Patent Document 5] Japanese Patent Laid-Open No. 10-48008 [Patent Document 6] Japanese Patent Laid-Open No. 2001-266131 [Non-Patent Document 1] “Cue-based camera calibration with it” ”practical application to digital image production”, Yuji Nakazawa et al., IEICE Tech.
Then, the person group determination means 13 calculates the relative distance and the relative speed for all combinations of the persons from the positions of the persons detected by the person detection means 12 for each time, and the person of each combination is calculated. It is determined whether they belong to the same group. For example, whether or not the relative distance continues below a certain threshold for a certain period of time, or whether both the relative distance and the relative speed maintain a value smaller than a predetermined threshold in a certain time interval Is the criterion.

ここでは、人物検出手段12によって人物が4人検出された場合について説明する。   Here, a case where four persons are detected by the person detecting means 12 will be described.

この場合、図2に示されるように、人物aに対して人物bは近くで同一方向に移動し、人物cは近くで逆方向に移動し、また、人物dは遠くで同一方向に移動するものとする。なお、図2における矢印は各人物の移動の様子を示している。このとき、人物aと人物bとの相対距離は図3に示されるようになり、人物aと人物cとの相対距離は図4に示されるようになり、人物aと人物dとの相対距離は図5に示されるようになる。また、人物aと人物bとの相対速度は図6に示されるようになり、人物aと人物cとの相対速度は図7に示されるようになり、人物aと人物dとの相対速度は図8に示されるようになる。   In this case, as shown in FIG. 2, the person b moves closer and in the same direction with respect to the person a, the person c moves closer and in the opposite direction, and the person d moves far and moves in the same direction. Shall. In addition, the arrow in FIG. 2 has shown the mode of movement of each person. At this time, the relative distance between the person a and the person b is as shown in FIG. 3, the relative distance between the person a and the person c is as shown in FIG. 4, and the relative distance between the person a and the person d is as shown in FIG. Is as shown in FIG. Further, the relative speed between the person a and the person b is as shown in FIG. 6, the relative speed between the person a and the person c is as shown in FIG. 7, and the relative speed between the person a and the person d is As shown in FIG.

ここで、相対距離及び相対速度にそれぞれ所定の閾値を設定する。なお、図2〜8において、設定された閾値は点線で示されている。この場合、人物aに対して相対距離が閾値を下回る状態が長時間持続するのは人物bだけである。また、相対距離及び相対速度がともに閾値を下回るか否かを判定した場合も同一の結果となる。したがって、人物グループ判定手段13によって、人物aと人物bとは同一グループに属し、人物aと人物c及び人物aと人物dとは異なるグループに属すると判定される。   Here, predetermined thresholds are set for the relative distance and the relative speed, respectively. 2 to 8, the set threshold value is indicated by a dotted line. In this case, only the person b is in a state where the relative distance with respect to the person a is less than the threshold value for a long time. The same result is obtained when it is determined whether or not both the relative distance and the relative speed are below the threshold value. Therefore, the person group determination unit 13 determines that the person a and the person b belong to the same group, and the person a and the person c and the person a and the person d belong to different groups.

そして、前記人物グループ形態判定手段14は、人物グループ判定手段13が出力する人物グループ情報に基づいて、グループの形態を、単独行動者、大人数のグループ等と判定する。   Then, the person group form determination means 14 determines the group form as a single action person, a large group, or the like based on the person group information output by the person group determination means 13.

続いて、前記人物グループ通知手段15は、人物グループ形態判定手段14が出力した人物グループ形態情報や動線情報を、必要である場合は動画像や場内見取り図等と重ね合わせて、例えば、図9に示されるように、ディスプレイ装置に表示して、オペレータに対して出力する。その出力内容は用途に応じて、2人組の人物、単独行動をする人物、多人数の集団等様々に変わる。また、図9に示されるように出力する代わりに、長時間に亘って取得したグループ形態判定結果を集計してグループ人数別等に統計処理してもよい。   Subsequently, the person group notification means 15 superimposes the person group form information and the flow line information output from the person group form determination means 14 with a moving image, a floor plan, etc. if necessary, for example, as shown in FIG. As shown in FIG. 4, the data is displayed on the display device and output to the operator. The output contents vary depending on the application, such as a group of two people, a person acting alone, or a group of many people. Further, instead of outputting as shown in FIG. 9, the group form determination results acquired over a long period of time may be aggregated and statistically processed for each group.

このように、本実施の形態において、検知装置10は、各地点における動画像を取得して人物を検出し、検出されたすべての人物の組み合わせに対して相対距離及び相対速度を調べ、該相対距離及び相対速度の値がともにあらかじめ設定された所定の閾値を下回るか否かに基づいて、人物が同一グループに属するか否かを判定するようになっている。すなわち、人物グループ判定手段13は、相対距離及び相対速度が閾値を下回る状態が、閾値より長い時間続く人物の組を同一グループと判定する。そのため、人手によらなくても人物が単独行動をしているか又はグループ行動をしているかを知ることができ、また、どのようなグループができているかを知ることができるので、人物のグループ形態を把握する作業の省力化及び効率化を図ることができる。   As described above, in the present embodiment, the detection device 10 acquires a moving image at each point to detect a person, examines a relative distance and a relative speed for all detected combinations of persons, Whether or not a person belongs to the same group is determined based on whether or not both the distance and relative speed values are below a predetermined threshold value set in advance. That is, the person group determination unit 13 determines a group of persons whose relative distance and relative speed are below the threshold for a time longer than the threshold as the same group. Therefore, it is possible to know whether a person is acting alone or in a group without relying on human hands, and it is possible to know what kind of group is formed. It is possible to save labor and improve the efficiency of the work of grasping the above.

これにより、人物のグループ形態を把握する機会が大幅に増大し、例えば、喫茶店のマーケティング(例えば、路上に2人連れが多ければ2人席を多く用意する。)、動物園のサルの関係把握(例えば、誰(だれ)と誰とが仲良しで誰が仲間外れであるか。)等に広く応用することができる。   As a result, opportunities for grasping the group form of persons greatly increase. For example, marketing of a coffee shop (for example, if there are many two people on the street, prepare two seats), grasp the relationship between monkeys in a zoo ( For example, the present invention can be widely applied to who (who) and who are close friends and who are out of friends.

次に、本発明の第2の実施の形態について説明する。なお、第1の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第1の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。   Next, a second embodiment of the present invention will be described. In addition, about the thing which has the same structure as 1st Embodiment, the description is abbreviate | omitted by providing the same code | symbol. The description of the same operation and the same effect as those of the first embodiment is also omitted.

図10は本発明の第2の実施の形態における検知装置の構成を示す図である。   FIG. 10 is a diagram showing a configuration of a detection device according to the second embodiment of the present invention.

本実施の形態において、検知装置10は、前記第1の実施の形態において説明した構成に加えて、人物グループ空間統計手段16を有する。該人物グループ空間統計手段16は、人物検出手段12から人物位置情報を入力するインターフェイス、前記人物位置情報に基づいて空間的に統計処理を行い、グループ判定に適切な閾値を算出する演算装置又はソフトウェア、及び、人物グループ判定手段13にグループ判定の閾値を出力するインターフェイスを備える。   In the present embodiment, the detection apparatus 10 includes a person group space statistical unit 16 in addition to the configuration described in the first embodiment. The person group space statistics means 16 is an interface for inputting person position information from the person detection means 12, an arithmetic device or software for performing statistical processing spatially based on the person position information and calculating an appropriate threshold for group determination And an interface for outputting a group determination threshold value to the person group determination means 13.

次に、本実施の形態における検知装置10の動作について説明する。   Next, operation | movement of the detection apparatus 10 in this Embodiment is demonstrated.

図11は本発明の第2の実施の形態における人物の相対距離の出現数の分布を示す図、図12は本発明の第2の実施の形態における人物の相対距離の確率密度関数を示す図である。なお、図11において、横軸に距離を、縦軸に度数を採ってあり、図12において、横軸に距離を、縦軸に確率密度を採ってある。   FIG. 11 is a diagram showing the distribution of the number of appearances of the relative distance of persons in the second embodiment of the present invention, and FIG. 12 is a diagram showing the probability density function of the relative distance of persons in the second embodiment of the present invention. It is. In FIG. 11, the horizontal axis represents distance, the vertical axis represents frequency, and in FIG. 12, the horizontal axis represents distance, and the vertical axis represents probability density.

本実施の形態においては、人物の検出情報から空間的に統計処理を行い、グループ判定に適切な閾値やその他の判定基準を人物グループ判定手段13に出力するようになっている。この場合、前記人物グループ空間統計手段16は、人物検出手段12によって取得された人物位置情報を空間的に集計し、人物間の距離や相対速度に対して統計処理を行い、閾値やその他の判定基準を算出して人物グループ判定手段13に出力する。   In the present embodiment, statistical processing is spatially performed from the person detection information, and a threshold appropriate for group determination and other determination criteria are output to the person group determination means 13. In this case, the person group space statistics means 16 spatially counts the person position information acquired by the person detection means 12, performs statistical processing on the distance and relative speed between the persons, and determines threshold values and other determinations. A reference is calculated and output to the person group determination means 13.

例えば、ある時刻における人物間の距離をすべて図11に示されるように集計し、その分布をある確率密度関数に当て嵌(は)める。そして、確率密度に基づいて、図12に示されるように、その場の状況に適応した閾値が定められる。これにより、例えば、2人の人物間の距離が、図11及び12に示される実線矢印(下向きの矢印)で表される値であった場合、該値が算出された閾値よりも小さいので、前記2人は同一グループであると判定される。   For example, all the distances between persons at a certain time are totaled as shown in FIG. 11, and the distribution is applied to a certain probability density function. Then, based on the probability density, as shown in FIG. 12, a threshold value adapted to the current situation is determined. Thereby, for example, when the distance between two persons is a value represented by a solid line arrow (downward arrow) shown in FIGS. 11 and 12, the value is smaller than the calculated threshold value. The two people are determined to be in the same group.

このように、本実施の形態においては、人物間の距離や相対速度に対して統計処理を行い、該統計処理の結果に基づいて閾値やその他判定基準を算出してグループ判定に用いている。すなわち、人物グループ判定手段13は、検出された人物の相互位置関係のすべての値について統計処理を行い、人物のグループ分けで用いられる閾値を算出する人物グループ空間統計手段16を備え、評価対象の混雑度に適応した閾値でグループ判定を行う。そのため、各地点の混雑度に合わせた適切な基準によってグループ判定を行うことができるようになり、グループ判定精度の向上を図ることができる。   Thus, in the present embodiment, statistical processing is performed on the distance and relative speed between persons, and a threshold value and other determination criteria are calculated based on the result of the statistical processing and used for group determination. That is, the person group determination unit 13 includes a person group space statistical unit 16 that performs statistical processing on all the values of the mutual positions of the detected persons and calculates a threshold value used for grouping the persons. Group determination is performed with a threshold adapted to the degree of congestion. Therefore, group determination can be performed based on an appropriate standard that matches the degree of congestion at each point, and the accuracy of group determination can be improved.

例えば、混雑している地点においては多くの人物が接近しているので、前記第1の実施の形態においては、近くにいる別グループの人物を同一グループであると誤判定しやすいが、本実施の形態においては、距離の閾値が下がるので、この誤判定が少なくなる。また、例えば、すいている地点においては同一グループであっても互いの距離が離れやすいので、前記第1の実施の形態においては、別グループであると誤判定しやすいが、本実施の形態においては、距離の閾値が上がるので、この誤判定が少なくなる。   For example, since many people are approaching at a crowded point, in the first embodiment, it is easy to misjudg a person in another group nearby as the same group. In this embodiment, since the distance threshold is lowered, this erroneous determination is reduced. In addition, for example, since the distance between each other is easily separated even in the same group at the point where the person is sitting, in the first embodiment, it is easy to erroneously determine that it is a different group. Since the distance threshold value increases, this erroneous determination is reduced.

次に、本発明の第3の実施の形態について説明する。なお、第1及び第2の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第1及び第2の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。   Next, a third embodiment of the present invention will be described. In addition, about the thing which has the same structure as 1st and 2nd embodiment, the description is abbreviate | omitted by providing the same code | symbol. Also, the description of the same operations and effects as those of the first and second embodiments is omitted.

図13は本発明の第3の実施の形態における検知装置の構成を示す図である。   FIG. 13 is a diagram showing a configuration of a detection device according to the third embodiment of the present invention.

本実施の形態において、検知装置10は、前記第1の実施の形態において説明した構成に加えて、人物特徴抽出手段17を有する。該人物特徴抽出手段17は、動画像取得手段11から動画像を取得するインターフェイス、人物グループ判定手段13から人物位置情報として、特徴抽出すべき人物の画像上での存在位置を取得するインターフェイス、取得した動画像及び人物位置情報を基に検出された各人物の個人的な属性情報を抽出する演算装置又はソフトウェア、並びに、人物グループ形態判定手段14に抽出した人物の個人的な属性情報を出力するインターフェイスを備える。   In the present embodiment, the detection apparatus 10 includes a person feature extraction unit 17 in addition to the configuration described in the first embodiment. The person feature extracting unit 17 is an interface for acquiring a moving image from the moving image acquiring unit 11, and an interface for acquiring an existing position on the image of a person whose features are to be extracted as person position information from the person group determining unit 13. The personal attribute information of the extracted person is output to the computing device or software for extracting the personal attribute information of each person detected based on the moving image and the person position information, and the person group form determining means 14 Provide an interface.

次に、本実施の形態における検知装置10の動作について説明する。   Next, operation | movement of the detection apparatus 10 in this Embodiment is demonstrated.

図14は本発明の第3の実施の形態における人物グループ通知手段の通知表示の例を示す図である。   FIG. 14 is a diagram showing an example of notification display of the person group notification means in the third embodiment of the present invention.

本実施の形態においては、検出された各人物の顔画像、体格等の個人的な属性情報を人物特徴抽出手段17によって抽出し、人物グループ判定手段13において判定処理や出力の付加情報として利用するようになっている。   In the present embodiment, personal attribute information such as the detected face image and physique of each person is extracted by the person feature extraction unit 17 and used as additional information for determination processing and output by the person group determination unit 13. It is like that.

この場合、前記人物特徴抽出手段17は、人物グループ判定手段13から取得した人物位置情報に基づいて、動画像取得手段11から取得した動画像から各人物の領域を切り出し、各人物の個人的な属性を抽出し、人物グループ形態判定手段14に出力する。ここで、必要に応じて、人物位置情報に基づき、取得する画像の拡大や縮小を行ってもよい。また、先に人物特徴抽出手段17において顔画像、特定の服装等から人物であることが分かる画像領域を検出してから、その情報を基に人物検出手段12で絞り込んで人物検出を行ってもよい。   In this case, the person feature extraction means 17 cuts out the area of each person from the moving image acquired from the moving image acquisition means 11 on the basis of the person position information acquired from the person group determination means 13, and The attributes are extracted and output to the person group form determination means 14. Here, as necessary, the acquired image may be enlarged or reduced based on the person position information. Alternatively, the person feature extraction unit 17 may first detect an image region that is known to be a person from a face image, specific clothes, and the like, and then perform person detection by narrowing down the person detection unit 12 based on the information. Good.

ここで、抽出される人物の個人的な属性には、顔画像、体格、年齢、性別、服装等、画像から抽出することができる様々なものがある。例えば、顔領域や服装を抽出する方法(例えば、特許文献7及び8参照。)、体格を抽出する方法(例えば、特許文献9参照。)、年齢や性別を抽出する方法(例えば、特許文献10及び11参照。)が公知である。また、車椅子(いす)や高齢者、視覚障害者等移動弱者を検出する方法(例えば、特許文献12及び13参照。)も公知である。   Here, there are various personal attributes of a person that can be extracted from an image, such as a face image, a physique, an age, a sex, and clothes. For example, a method for extracting a face region and clothes (for example, see Patent Documents 7 and 8), a method for extracting a physique (for example, see Patent Document 9), and a method for extracting age and sex (for example, Patent Document 10). And 11). In addition, methods for detecting wheelchairs (chairs), elderly people, visually handicapped persons, and other vulnerable persons (see, for example, Patent Documents 12 and 13) are also known.

〔特許文献7〕特開2001−216515号公報
〔特許文献8〕特開平11−283001号公報
〔特許文献9〕特開平10−105748号公報
〔特許文献10〕特開2001−167110号公報
〔特許文献11〕特開平11−175724号公報
〔特許文献12〕特開2001−101576号公報
〔特許文献13〕特開2002−260161号公報
そして、前記人物グループ形態判定手段14は、人物グループ判定手段13から送られた人物グループ情報、及び、人物特徴抽出手段17から送られた人物属性情報から、例えば、次の(1)〜(5)のような事象を判定する。
(1)IF グループ=1人 AND 人物特徴=子供 THEN 事象=迷子
(2)IF グループ=2人 AND 人物1=成人男性 AND 人物2=成人女性 AND 年齢差<TH AGE DIF THEN 事象=カップル
(3)IF 2人グループ<TH NUM AND 成人数1 AND 子供数1 THEN 事象=親子連れ
(4)IF グループTH NUM1 AND 同じ服装の人数TH NUM2 THEN 事象=団体
(5)IF グループ.要同伴者TH NUM3 AND グループ.同伴者<TH NUM4 THEN 事象=同伴者なし要同伴者
なお、TH ***は、オペレータが任意に設定した閾値であり、要同伴者とは、障害者や年少者等同伴者を必要とする人物のことを指し、子供、成人及び要同伴年少者の基準は、オペレータが任意に設定してよい。
[Patent Document 7] JP 2001-216515 [Patent Document 8] JP 11-283001 [Patent Document 9] JP 10-105748 [Patent Document 10] JP 2001-167110 [Patent Document 9] [Patent Document 11] Japanese Patent Laid-Open No. 11-175724 [Patent Document 12] Japanese Patent Laid-Open No. 2001-101576 [Patent Document 13] Japanese Patent Application Laid-Open No. 2002-260161. For example, the following events (1) to (5) are determined from the person group information sent from the person and the person attribute information sent from the person feature extracting means 17.
(1) IF group = 1 person AND character feature = children THEN = event lost (2) IF group = 2 people AND person 1 = adult male AND person 2 = adult female AND age difference <TH AGE DIF THEN Event = couple (3) IF 2 people < group <TH NUM AND Number of adults > 1 AND Number of children > 1 THEN Event = Parents and children (4) IF group > TH NUM1 AND Number of people in same outfit > TH NUM2 THEN event = organization (5) IF group. Accompanying person > TH NUM3 AND group. Companion <TH NUM4 THEN Event = no companion required *** is a threshold value arbitrarily set by the operator. A companion is a person who needs a companion, such as a disabled person or a young person. The operator may set it arbitrarily.

そして、人物グループ通知手段15は、人物特徴抽出手段17から取得した人物の個人的属性手段を前記第1の実施の形態における表示に追加して、例えば、図14に示されるように、ディスプレイ装置に表示する。なお、人物グループ判定結果を集計する場合には、その集計のキーとして属性人物を利用する。   The person group notification means 15 adds the personal attribute means of the person acquired from the person feature extraction means 17 to the display in the first embodiment, and displays the display device as shown in FIG. 14, for example. To display. When the person group determination results are totaled, attribute persons are used as the key for the totalization.

このように、本実施の形態においては、検出した人物について属性情報を抽出して、人物グループ判定人物に付加してオペレータに提供したり、統計処理のキーとして利用したりすることができる。すなわち、人物グループ形態判定手段14は、検出された人物の位置に基づいて、人物の顔画像、体格、年齢、性別、服装又は障害の有無を特徴情報として抽出して判定する人物特徴抽出手段17を備え、人物の特徴情報及びグループ判定情報を組み合わせてグループ形態を判定する。そのため、オペレータが人物のグループと個人的属性との関係を把握することができるようになり、より詳しい人物のグループ形態の分析を行うことができる。また、顔画像を抽出した場合は、そのグループに加わっている人物が誰であるかをオペレータが知ることができる。   Thus, in the present embodiment, attribute information can be extracted for a detected person, added to the person group determination person, and provided to the operator, or used as a key for statistical processing. That is, the person group form determination unit 14 extracts and determines the person's face image, physique, age, gender, clothes or presence / absence as feature information based on the detected position of the person. And determining the group form by combining the feature information of the person and the group determination information. Therefore, the operator can grasp the relationship between the person group and the personal attribute, and can analyze the group form of the person in more detail. In addition, when a face image is extracted, the operator can know who is a person who belongs to the group.

さらに、人物グループ形態判定手段14は、検出された人物が人物グループ判定手段13によって単独行動者と判定され、かつ、人物特徴抽出手段17によって、体格及び年齢から子供と判定された場合に、人物のグループ形態を迷子であると判定する。さらに、人物グループ形態判定手段14は、検出された人物が2人のグループで行動していると判定され、かつ、人物特徴抽出手段17によって、人物がいずれも成人の年齢であり、年齢が近く、一方が男性で他方が女性と判定された場合に、グループのグループ形態をカップルであると判定する。さらに、人物グループ形態判定手段14は、検出された人物が複数人のグループで行動していると判定され、かつ、人物特徴抽出手段17によって、グループに成人の年齢の人物と子供とがそれぞれ1人以上存在すると判定された場合に、グループのグループ形態を親子連れであると判定する。さらに、人物グループ形態判定手段14は、検出された人物が閾値以上の人数のグループで行動していると判定され、かつ、人物特徴抽出手段17によって、グループにおける閾値以上の人数の人物の服装が同一であると判定された場合に、グループのグループ形態を団体であると判定する。さらに、人物グループ形態判定手段14は、検出された人物から同伴者を必要とする特徴が人物特徴抽出手段17によって判定され、かつ、同一グループに前記特徴を備えておらず、同伴者と判定される人物が十分な人数存在しない場合に、検出された人物を同伴者なし要同伴者と判定する。なお、該同伴者を必要とする特徴は、年齢が閾値を下回るか、又は、障害が存在するかのいずれかである。   Furthermore, the person group form determination unit 14 determines whether the detected person is a single action person by the person group determination unit 13 and the person feature extraction unit 17 determines that the person is a child from the physique and age. Is determined to be lost. Furthermore, the person group form determination means 14 determines that the detected person is acting in a group of two persons, and the person feature extraction means 17 indicates that both of the persons are adult ages and the age is close. When one is determined to be male and the other is determined to be female, the group form of the group is determined to be a couple. Further, the person group form determining means 14 determines that the detected person is acting in a group of a plurality of persons, and the person feature extracting means 17 includes one person of an adult age and one child in each group. When it is determined that more than one person exists, the group form of the group is determined to be accompanied by a parent and child. Furthermore, the person group form determination means 14 determines that the detected person is acting in a group having a number greater than or equal to the threshold, and the person feature extraction means 17 determines that the number of persons in the group equal to or greater than the threshold is dressed. If it is determined that they are the same, the group form of the group is determined to be an organization. Further, the person group form determination means 14 determines the feature that requires a companion from the detected person by the person feature extraction means 17 and does not have the feature in the same group and determines that the person is a companion. When there are not enough persons, the detected person is determined to be a companion without a companion. The feature requiring the accompanying person is either that the age is below the threshold value or that a disorder exists.

例えば、図14は、すべての人物について性別、身長、推定年齢及び服装の特徴を抽出して、単独行動者については顔画像も抽出した場合の通知表示である。これによると、左の2人組は「カップル」であると推定することができるので、喫茶店が2人席を用意する等の対応を行うことができる。また、右の単独行動者は5歳であることから「迷子」であると推定することができるので、施設の従業員が抽出された特徴人物を手掛かりにその子供を保護しに出て、同時に、迷子案内所の係員は、自分の子供を捜している親に顔画像を見せて確認を取る、というような対応を行うことができる。   For example, FIG. 14 shows a notification display when gender, height, estimated age, and clothing characteristics are extracted for all persons and a face image is also extracted for a single actor. According to this, since it can be estimated that the left two-person group is a “couple”, it is possible to take measures such as preparing a two-seater seat at the coffee shop. In addition, since the right single person is 5 years old, it can be estimated that he / she is “lost”, so the employee of the facility goes out to protect the child with the extracted characteristic person as a clue, and at the same time A staff member of the lost child information center can take a response such as showing a face image to a parent searching for his child and confirming it.

他にも、「親子連れ」、「団体」等の情報は、小売店や交通機関等にとっては、客に対応する上で有用である。また、「同伴者なし要同伴者」という情報は、年少者に同伴が必要なゲームセンタが年少者に身分証明書の提示を求めたり、鉄道会社が同伴者のいない障害者を重点的に介助したりするなど施設運営の健全性やサービスを向上させるのに役立てることができる。   In addition, information such as “with parents and children” and “group” is useful in dealing with customers for retail stores and transportation facilities. In addition, information such as “Non-accompanied companion” is required for game centers that require young people to be accompanied, and for the railway company to provide assistance to disabled persons who are not accompanied by a railway company. It can be used to improve the soundness and service of facility management.

また、人物検出手段12における人物検出よりも先に、人物特徴抽出手段17において顔画像や特定の服装等を検出することによって、人物検出において画像領域の絞り込みが行われるので、前記第1の実施の形態と比較して、人物検出の速度や精度が向上することがある。   In addition, since the person feature extraction unit 17 detects a face image, specific clothes, and the like before the person detection by the person detection unit 12, the image area is narrowed down in the person detection. Compared to this form, the speed and accuracy of person detection may be improved.

次に、本発明の第4の実施の形態について説明する。なお、第1〜第3の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第1〜第3の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。   Next, a fourth embodiment of the present invention will be described. In addition, about the thing which has the same structure as the 1st-3rd embodiment, the description is abbreviate | omitted by providing the same code | symbol. Explanation of the same operations and effects as those of the first to third embodiments is also omitted.

図15は本発明の第4の実施の形態における検知装置の構成を示す図である。   FIG. 15 is a diagram showing a configuration of a detection device according to the fourth embodiment of the present invention.

本実施の形態において、検知装置10は、前記第3の実施の形態において説明した構成に加えて、人物検索手段18を有する。該人物検索手段18は、人物グループ通知手段15に送られてくる人物情報について絞り込み検索を行う機能を備え、オペレータが検索条件を入力するインターフェイス、人物グループ判定手段13にグループ形態の情報を送信するインターフェイス、人物グループ通知手段15に抽出結果を出力するインターフェイス、及び、抽出結果から検索条件に合致するものを絞り込み検索する演算装置又はソフトウェアを備える。   In the present embodiment, the detection apparatus 10 includes a person search unit 18 in addition to the configuration described in the third embodiment. The person search means 18 has a function of performing a narrowing search on the person information sent to the person group notification means 15, and transmits group form information to an interface through which the operator inputs search conditions and the person group determination means 13. An interface, an interface for outputting the extraction result to the person group notification means 15, and an arithmetic unit or software for narrowing down and searching for a search result that matches the search condition.

次に、本実施の形態における検知装置10の動作について説明する。   Next, operation | movement of the detection apparatus 10 in this Embodiment is demonstrated.

図16は本発明の第4の実施の形態における人物グループ通知手段の通知表示の例を示す図である。   FIG. 16 is a diagram showing an example of notification display of the person group notification means in the fourth embodiment of the present invention.

本実施の形態においては、人物検索手段18によって人物グループ通知手段15の出力を絞り込むようになっている。   In the present embodiment, the person search means 18 narrows down the output of the person group notification means 15.

この場合、前記人物検索手段18は、オペレータからその場所にいる人物を検索するための検索条件入力を受け取る。次に、人物グループ判定手段13に検索条件のうちグループ形態についての情報を送信し、その条件に合致する人物だけ人物グループ判定手段13から人物特徴抽出手段17に送られるようにする。そして、該人物特徴抽出手段17から出力される情報を受け取り、該情報の中から検索条件に合致するものだけを絞り込み、抽出して人物グループ通知手段15に送る。該人物グループ通知手段15は、抽出結果を検索条件とともに、例えば、図16に示されるように表示する。   In this case, the person search means 18 receives a search condition input for searching for a person at the place from the operator. Next, information about the group form among the search conditions is transmitted to the person group determination means 13 so that only persons who meet the condition are sent from the person group determination means 13 to the person feature extraction means 17. Then, the information output from the person feature extraction means 17 is received, and only the information that matches the search condition is narrowed down and extracted and sent to the person group notification means 15. The person group notification means 15 displays the extraction result together with the search condition, for example, as shown in FIG.

前記検索条件として、どのようなグループ形態で行動しているかを指定することができ、この点において、前記第3の実施の形態において説明した体格や性別、年齢、服装等といった個人的な属性情報だけをキーとして検索する方法とは異なる。   As the search condition, it is possible to specify what group form the person is acting on. In this respect, personal attribute information such as the physique, gender, age, clothes, etc. described in the third embodiment. This is different from the method of searching using only as a key.

このように、本実施の形態においては、人物のグループ行動形態、及び、人物の体格、性別、年齢、服装等の個人的な属性情報に基づいて、抽出された人物をオペレータが任意に指定した検索条件で絞り込んで各人物の位置等の情報を取得するようになっている。すなわち、人物グループ通知手段15は、検出された人物の位置、グループ判定情報又は個人的属性情報に基づいて、指定された条件に該当する人物を絞り込んで検索する人物検索手段18を備え、指定された条件に該当する人物の情報を絞り込んで出力する。そのため、オペレータは、自分にとって関心のあるグループ行動形態、及び、個人的属性の人物の情報だけを調べることができ、調べる作業におけるオペレータの労力軽減を図ることができる。   As described above, in the present embodiment, the operator arbitrarily designates the extracted person based on the group action form of the person and personal attribute information such as the person's physique, gender, age, and clothes. Information such as the position of each person is obtained by narrowing down the search conditions. That is, the person group notifying unit 15 includes a person searching unit 18 that narrows down and searches for persons who meet a specified condition based on the detected position of the person, group determination information, or personal attribute information. The information of the person who meets the specified conditions is narrowed down and output. Therefore, the operator can check only the group action form that is of interest to the user and the information of the person with the personal attribute, and can reduce the labor of the operator in the checking work.

次に、本発明の第5の実施の形態について説明する。なお、第1〜第4の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第1〜第4の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。   Next, a fifth embodiment of the present invention will be described. In addition, about the thing which has the same structure as 1st-4th embodiment, the description is abbreviate | omitted by providing the same code | symbol. Explanation of the same operations and effects as those of the first to fourth embodiments is also omitted.

図17は本発明の第5の実施の形態における検知装置の構成を示す図である。   FIG. 17 is a diagram showing a configuration of a detection apparatus according to the fifth embodiment of the present invention.

本実施の形態において、検知装置10は、前記第3の実施の形態において説明した構成に加えて、人物特徴抽出手段17の後段に接続された顔認証手段20、及び、該顔認証手段20に接続された顔認証辞書格納手段19を有する。該顔認証辞書格納手段19は、顔認証において照合対象となる顔認証辞書データを格納するためのディスク装置、及び、データを取得するためのカメラ又はスキャナ装置を備える。   In the present embodiment, in addition to the configuration described in the third embodiment, the detection apparatus 10 includes a face authentication unit 20 connected to a subsequent stage of the person feature extraction unit 17 and the face authentication unit 20. It has a connected face authentication dictionary storage means 19. The face authentication dictionary storage means 19 includes a disk device for storing face authentication dictionary data to be collated in face authentication, and a camera or scanner device for acquiring data.

また、前記顔認証手段20は、人物特徴抽出手段17から顔画像等の人物属性情報を入力するインターフェイス、入力された顔画像と顔認証辞書格納手段19に格納されている顔認証辞書データとを照合して認証スコアを出力する演算処理装置又はソフトウェア、及び、人物グループ通知手段15に顔認証結果を出力するインターフェイスを有する。   Further, the face authentication unit 20 receives an interface for inputting person attribute information such as a face image from the person feature extraction unit 17, and the input face image and the face authentication dictionary data stored in the face authentication dictionary storage unit 19. An arithmetic processing device or software that collates and outputs an authentication score, and an interface that outputs a face authentication result to the person group notification means 15 are provided.

次に、本実施の形態における検知装置10の動作について説明する。   Next, operation | movement of the detection apparatus 10 in this Embodiment is demonstrated.

図18は本発明の第5の実施の形態における人物グループ通知手段の通知表示の例を示す図である。   FIG. 18 is a diagram showing an example of notification display of the person group notification means in the fifth embodiment of the present invention.

本実施の形態においては、前記人物特徴抽出手段17において抽出された顔画像に対して顔認証を行って認証スコアを出力するようになっている。   In the present embodiment, face authentication is performed on the face image extracted by the person feature extraction means 17 and an authentication score is output.

この場合、前記顔認証辞書格納手段19は、抽出しようとする人物の顔画像を取得し、顔認証辞書データを作成して格納する。そして、前記顔認証手段20は、人物特徴抽出手段17によって抽出された顔画像と顔認証辞書格納手段19に格納されている顔認証辞書データとを照合し、認証スコアを出力する。   In this case, the face authentication dictionary storage unit 19 acquires a face image of the person to be extracted, and creates and stores face authentication dictionary data. The face authentication means 20 collates the face image extracted by the person feature extraction means 17 with the face authentication dictionary data stored in the face authentication dictionary storage means 19 and outputs an authentication score.

また、前記人物グループ通知手段15は、その認証スコアを、例えば、図18に示されるように、各人物の表示に付加し、又は順位を付けて出力する。この場合、必要に応じて、認証スコアのある程度高いものに限定して人物情報を出力するようにしてもよい。   Further, the person group notifying means 15 adds the authentication score to the display of each person, for example, as shown in FIG. In this case, if necessary, the personal information may be output limited to those having a somewhat high authentication score.

さらに、前記顔認証辞書格納手段19は、あらかじめカメラ装置又はスキャナ装置を用いて顔画像の取得を行い、取得した該顔画像を顔認証辞書データの形式に変換して格納する。また、前記顔認証手段20は、格納された顔認証辞書データを読み出して、人物特徴抽出手段17から出力された顔画像と照合し、それぞれの組み合わせについて認証スコアを出力する。これら顔認証辞書データの作成及び顔認証は、公知の方法(例えば、特許文献14参照。)を用いて行うことができる。   Further, the face authentication dictionary storage means 19 acquires a face image in advance using a camera device or a scanner device, converts the acquired face image into a face authentication dictionary data format, and stores it. The face authentication unit 20 reads the stored face authentication dictionary data, compares it with the face image output from the person feature extraction unit 17, and outputs an authentication score for each combination. The creation of the face authentication dictionary data and the face authentication can be performed using a known method (for example, see Patent Document 14).

〔特許文献14〕特開2002−183734号公報
このように、本実施の形態においては、抽出された顔画像に対して顔認証を行い、その認証スコアを出力し、位置情報、グループ情報及び個人的な属性情報とともに出力するようになっている。すなわち、人物グループ形態判定手段14は、検出された人物の顔画像を取得し、顔認証辞書データとして格納する顔認証辞書格納手段19、及び、人物特徴抽出手段17によって抽出された顔画像を前記顔認証辞書データと照合して認証スコアを出力する顔認証手段20を備え、前記認証スコア及び人物特徴情報を人物グループ形態判定に利用する。そのため、例えば、迷子等のように同一グループに属していた人物が仲間とはぐれてしまった場合、顔認証を用いて各地点の人物が捜索されている人物であるか否かを判断することによって、捜索されている人物がどこにいるのかを的確に、かつ、迅速に知ることができる。
[Patent Document 14] Japanese Patent Laid-Open No. 2002-183734 As described above, in the present embodiment, face authentication is performed on the extracted face image, the authentication score is output, and position information, group information, and personal information are output. Are output together with typical attribute information. That is, the person group form determination unit 14 acquires the face image of the detected person and stores the face image extracted by the face authentication dictionary storage unit 19 and the person feature extraction unit 17 as face authentication dictionary data. Face authentication means 20 for outputting an authentication score by collating with the face authentication dictionary data is provided, and the authentication score and person characteristic information are used for person group form determination. Therefore, for example, when a person who belongs to the same group, such as a lost child, is separated from a friend, it is determined whether or not the person at each point is a searched person using face authentication It is possible to know exactly and quickly where the person being searched is.

また、単に顔認証だけで人物を捜す方法と比較して、グループ行動情報やその他の個人的属性情報によって、ある程度絞り込まれた人物についてだけ顔認証が行われるので、顔認証に関する処理量を大幅に低減することができる。   In addition, compared to the method of searching for a person only with face authentication, face authentication is performed only for persons who have been narrowed down to some extent by group behavior information and other personal attribute information. Can be reduced.

次に、本発明の第6の実施の形態について説明する。なお、第1〜第5の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第1〜第5の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。   Next, a sixth embodiment of the present invention will be described. In addition, about the thing which has the same structure as 1st-5th embodiment, the description is abbreviate | omitted by providing the same code | symbol. Explanation of the same operations and effects as those of the first to fifth embodiments is also omitted.

図19は本発明の第6の実施の形態における検知装置の構成を示す図である。   FIG. 19 is a diagram showing a configuration of a detection device according to the sixth embodiment of the present invention.

本実施の形態において、検知装置10は、前記第3の実施の形態において説明した構成に加えて、人物特徴抽出手段17の後段に接続された顔表情認識手段21を有する。該顔表情認識手段21は、顔画像から人物の表情を認識する演算処理装置又はソフトウェア、及び、前記人物特徴抽出手段17から顔画像を受け取るインターフェイスを備える。   In the present embodiment, the detection apparatus 10 includes a facial expression recognition unit 21 connected to the subsequent stage of the person feature extraction unit 17 in addition to the configuration described in the third embodiment. The facial expression recognition means 21 includes an arithmetic processing device or software for recognizing a human facial expression from a face image, and an interface for receiving the facial image from the person feature extraction means 17.

次に、本実施の形態における検知装置10の動作について説明する。   Next, operation | movement of the detection apparatus 10 in this Embodiment is demonstrated.

図20は本発明の第6の実施の形態における人物グループ通知手段の通知表示の例を示す図である。   FIG. 20 is a diagram showing an example of notification display of the person group notification means in the sixth embodiment of the present invention.

本実施の形態においては、顔表情認識手段21において顔画像から人物の表情を認識して検索や判定の付加情報として利用する。   In the present embodiment, the facial expression recognition means 21 recognizes a human facial expression from a facial image and uses it as additional information for search and determination.

この場合、前記顔表情認識手段21は、人物特徴抽出手段17の出力する顔画像から、公知の方法(例えば、特許文献15参照。)によって、人物の表情を認識する。また、必要に応じて、他の公知の方法(例えば、特許文献16参照。)によって人物の顔色を認識したり、更に他の公知の方法(例えば、特許文献17参照。)によって、人物の顔向きを認識したりしてもよい。   In this case, the facial expression recognizing means 21 recognizes the facial expression of the person from the face image output from the person feature extracting means 17 by a known method (for example, see Patent Document 15). If necessary, the face color of a person is recognized by another known method (for example, see Patent Document 16), or by another known method (for example, see Patent Document 17). The direction may be recognized.

〔特許文献15〕特開平4−342078号公報
〔特許文献16〕特開2000−275997号公報
〔特許文献17〕特開2002−352228号公報
そして、認識された表情は人物属性情報とともに人物グループ形態判定手段14に送られ、次の(6)〜(9)に示されるような人物グループ形態判定が行われる。
(6)IF グループ=1人 AND 人物特徴=子供 AND 表情=泣く THEN 事象=迷子
(7)IF グループ=1人 AND 人物特徴=子供 AND 顔向き変化角度振幅>TH ANG AMP AND 顔向き変化回数/秒>TH ANG FRQ THEN 事象=迷子
(8)IF グループ2人 AND 表情=怒る THEN 事象=近接異常行動
(9)IF グループ.要同伴者TH NUM3 AND グループ.同伴者<TH NUM4 THEN 事象=同伴者なし要同伴者
なお、要同伴者とは、顔色が赤(酔っ払い)又は蒼白(病人)のことを指し、顔色に着目しているという点を除けば前記第3の実施の形態と同様である。
[Patent Document 15] Japanese Patent Application Laid-Open No. 4-342078 [Patent Document 16] Japanese Patent Application Laid-Open No. 2000-275997 [Patent Document 17] Japanese Patent Application Laid-Open No. 2002-352228. It is sent to the determination means 14, and person group form determination as shown in the following (6) to (9) is performed.
(6) IF group = 1 person AND Characteristic feature = Child AND Facial expression = Crying THEN Event = Lost child (7) IF group = 1 person AND Characteristic feature = Child AND Face direction change angle amplitude> TH ANG AMP AND face change count / sec> TH ANG FRQ THEN event = lost child (8) IF group > 2 people AND facial expression = get angry THEN event = proximity abnormal behavior (9) IF group. Accompanying person > TH NUM3 AND group. Accompanying person <TH NUM4 THEN Event = no companion required companion The companion must be red (drunk) or pale (sick), except for the fact that the focus is on the complex. It is the same as the form.

また、前記人物グループ通知手段15は、顔表情認識に基づく人物グループ形態判定によって、例えば、図20に示されるように出力を行う。   Further, the person group notification means 15 performs output as shown in FIG. 20, for example, by person group form determination based on facial expression recognition.

このように、本実施の形態においては、顔表情認識手段21を有し、人物の表情や顔色を認識して人物グループ形態判定に利用するようになっている。すなわち、人物グループ形態判定手段14は、人物特徴抽出手段17によって抽出された顔画像から表情、顔色及び顔向きを認識する顔表情認識手段21を備え、前記表情及び顔色を利用してグループ形態判定を行う。そのため、人物グループの形態がどのようなものであるかを、人物の表情や顔色に基づいて、より詳しく知ることができ、よりオペレータの希望に沿った結果を出力することができる。   As described above, in this embodiment, the facial expression recognition means 21 is provided to recognize the facial expression and facial color of a person and use it for person group form determination. That is, the person group form determination unit 14 includes a facial expression recognition unit 21 that recognizes an expression, a face color, and a face direction from the face image extracted by the person feature extraction unit 17, and uses the expression and the face color to determine the group form. I do. Therefore, it is possible to know in more detail what the form of the person group is based on the facial expression and facial color of the person, and it is possible to output a result more in line with the operator's wishes.

さらに、人物グループ形態判定手段14は、検出された人物が単独行動をする子供と判定され、かつ、顔表情認識手段21によって表情が「泣く」であると認識された場合、又は、顔向きの変化の頻度が閾値より高く、かつ、前記変化の振幅が閾値より大きいと認識された場合に、前記人物を迷子であると判定する。さらに、人物グループ形態判定手段14は、検出された人物を人物グループ判定手段13がグループ行動者であると判定し、かつ、各人物の表情を顔表情認識手段21が「怒る」と認識した場合に、前記人物のグループのグループ形態を近接異常行動であると判定する。さらに、人物グループ形態判定手段14は、人物特徴抽出手段17によって抽出された顔画像から表情、顔色及び顔向きを認識する顔表情認識手段21を備え、該顔表情認識手段21が検出された人物の顔色を「赤」又は「蒼白」であると認識した場合に、前記人物を同伴者なし要同伴者と判定する。   Furthermore, the person group form determination means 14 determines that the detected person is a child who acts alone and the facial expression recognition means 21 recognizes that the expression is “crying”, or the face group orientation determination means 14 When it is recognized that the frequency of change is higher than a threshold and the amplitude of the change is higher than the threshold, the person is determined to be lost. Furthermore, the person group form determination means 14 determines that the detected person is the group action person, and the facial expression recognition means 21 recognizes the facial expression of each person as “angry”. In addition, it is determined that the group form of the group of persons is proximity abnormal behavior. Furthermore, the person group form determination unit 14 includes a facial expression recognition unit 21 that recognizes a facial expression, a facial color, and a face direction from the facial image extracted by the person feature extraction unit 17, and the person from which the facial expression recognition unit 21 is detected. When the face color is recognized as “red” or “white”, the person is determined to be an accompanying person without an accompanying person.

例えば、迷子を検知する場合、前記第3の実施の形態においては、低年齢の単独行動人物を検知するためキッズスペースで遊んでいる子供のように、迷子でもないのに親と離れている子供を誤って検知しがちである。しかし、本実施の形態においては、迷子の子供の顔に頻繁に表れる「泣く」という表情、又は、顔向きを頻繁にきょろきょろ動かしていることをキーとして付加するので、より的確に検知することができる。   For example, in the case of detecting a lost child, in the third embodiment, a child who is not a lost child but is separated from his / her parent, such as a child playing in a kids space to detect a single person who is young. Are prone to be detected incorrectly. However, in this embodiment, the expression of “crying” frequently appearing on the face of a lost child or the fact that the face direction is frequently moved as a key is added, so that it can be detected more accurately. it can.

また、例えば、取っ組み合いの喧嘩(けんか)、犯罪行為等の近接異常行動については、同一グループに属する人物が怒った顔をしていることを認識することによって確信を持って検知することができる。特に、顔が赤い場合は、酔っ払いの喧嘩として確信を持って検知することができる。   Also, for example, proximity abnormal behavior such as fighting of fighting and criminal acts can be detected with certainty by recognizing that a person belonging to the same group has an angry face. . In particular, when the face is red, it can be detected with certainty as a fight of drunkness.

さらに、要監視酔っ払いや要保護体調不良者は、単に顔色を見ただけでは不必要に多くの人物が酔っ払いや体調不良者として検知されてしまうことがある。しかし、本実施の形態においては、単独行動であることを示す情報、すなわち、監視や保護をする人物が周囲にいないという情報を付加することによって、特に、監視や保護の必要な人物に絞って検知することができる。   Furthermore, there are cases where a person who needs monitoring drunkness or a poor physical condition requiring protection may be detected as an excessive number of persons who are drunk or have poor physical condition simply by looking at the complexion. However, in this embodiment, by adding information indicating that it is a single action, that is, information indicating that there is no person to be monitored or protected in the vicinity, it is particularly limited to a person who needs to be monitored or protected. Can be detected.

次に、本発明の第7の実施の形態について説明する。なお、第1〜第6の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第1〜第6の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。   Next, a seventh embodiment of the present invention will be described. In addition, about the thing which has the same structure as 1st-6th embodiment, the description is abbreviate | omitted by providing the same code | symbol. Explanation of the same operations and effects as those of the first to sixth embodiments is also omitted.

図21は本発明の第7の実施の形態における検知装置の構成を示す図である。   FIG. 21 is a diagram showing a configuration of a detection apparatus according to the seventh embodiment of the present invention.

本実施の形態において、検知装置10は、前記第3の実施の形態において説明した構成に加えて、入力手段としての音響取得手段22、及び、人物特徴抽出手段17の後段に接続された人物音響特徴抽出手段23を有する。そして、前記音響取得手段22は、マイクロホン装置及びA/D変換器を備える。また、前記人物音響特徴抽出手段23は、前記音響取得手段22から音響信号を受け取るインターフェイス、人物特徴に関するパターンの信号を格納する記憶装置、及び、音響信号から人物特徴に関係するパターンを認識する演算処理装置又はソフトウェアを備える。   In the present embodiment, in addition to the configuration described in the third embodiment, the detection apparatus 10 includes a human sound connected to the subsequent stage of the sound acquisition means 22 and the person feature extraction means 17 as input means. It has feature extraction means 23. The sound acquisition unit 22 includes a microphone device and an A / D converter. In addition, the human acoustic feature extraction unit 23 includes an interface that receives an acoustic signal from the acoustic acquisition unit 22, a storage device that stores a pattern signal related to the human feature, and an operation that recognizes a pattern related to the human feature from the acoustic signal. A processing device or software is provided.

次に、本実施の形態における検知装置10の動作について説明する。   Next, operation | movement of the detection apparatus 10 in this Embodiment is demonstrated.

図22は本発明の第7の実施の形態における特徴音の方位及びレベル特性を示す図、図23は本発明の第7の実施の形態における画像から検出された人物の位置を示す図である。   FIG. 22 is a diagram showing the azimuth and level characteristics of characteristic sounds in the seventh embodiment of the present invention, and FIG. 23 is a diagram showing the position of a person detected from an image in the seventh embodiment of the present invention. .

本実施の形態においては、前記音響取得手段22及び人物音響特徴抽出手段23を用いて検出した人物の音響的特徴を抽出し、人物グループ判定の付加情報として利用するようになっている。   In the present embodiment, the acoustic characteristics of the person detected using the acoustic acquisition means 22 and the human acoustic feature extraction means 23 are extracted and used as additional information for person group determination.

この場合、前記音響取得手段22は、動画像取得手段11のカメラ装置と同一の場所に配設したマイクロホン等を用いて音響信号を取得し、人物音響特徴抽出手段23に送る。そして、該人物音響特徴抽出手段23は、あらかじめ人物の音響的特徴パターンをデータベースに格納しておき、音響信号が送られてくる毎に、該音響信号の中から人物行動の特徴を示すパターンを検出し、人物音響特徴情報として人物グループ判定手段13に送る。この特徴を入力された音響信号から検出する方法は公知である(例えば、特許文献18参照。)。その結果、ある特徴的な音が検出された場合、その時点で検出されている人物のいずれかがその音を発していると推測される。   In this case, the sound acquisition unit 22 acquires a sound signal using a microphone or the like disposed at the same location as the camera device of the moving image acquisition unit 11 and sends the sound signal to the person sound feature extraction unit 23. The person acoustic feature extracting means 23 stores the person's acoustic feature pattern in the database in advance, and each time an acoustic signal is sent, a pattern indicating the feature of the person's action is included in the acoustic signal. It is detected and sent to the person group determination means 13 as person acoustic feature information. A method for detecting this feature from an input acoustic signal is known (see, for example, Patent Document 18). As a result, when a certain characteristic sound is detected, it is estimated that any of the persons detected at that time emits the sound.

ここで、音響取得手段22に指向性を持たせ、公知の音源方向推定方法(例えば、特許文献19参照。)等を用いて音の発生方向を推定し、その方向情報と人物検出手段12による人物位置情報とを結び付けたりしてもよい。例えば、音響取得手段22である特定音について方位別のレベルを計測すると、図22に示されるように、左上側のレベルが高く、かつ、図23に示される位置に人物が検出されているとき、図23における左上で検出された番号が1番の人物がその特定音を発している人物とされる。   Here, the sound acquisition means 22 is provided with directivity, the sound generation direction is estimated using a known sound source direction estimation method (see, for example, Patent Document 19), and the direction information and the person detection means 12 are used. It may be combined with person position information. For example, when the level for each direction is measured for the specific sound that is the sound acquisition means 22, the upper left level is high and a person is detected at the position shown in FIG. 23 as shown in FIG. The person whose number is detected at the upper left in FIG. 23 is the person who is emitting the specific sound.

また、人物音響特徴抽出手段23において、公知の音声認識方法(例えば、特許文献20参照。)を用いて音響信号から人物の発話と思われる音響信号を認識してもよい。   In addition, the human acoustic feature extraction means 23 may recognize an acoustic signal that seems to be a person's utterance from the acoustic signal using a known speech recognition method (see, for example, Patent Document 20).

〔特許文献18〕特開平8−54891号公報
〔特許文献19〕特開平5−87903号公報
〔特許文献20〕特開平5−66790号公報
そして、人物グループ形態判定手段14は、人物音響特徴抽出手段23によって抽出された人物の音響的特徴人物を加味して、次の(10)〜(13)に示されるように人物グループ形態判定を行う。
(10)IF グループ=1人 AND 人物特徴=子供 AND 特徴音=子供の泣き声 THEN 事象=迷子
(11)IF グループ=1人 AND 人物特徴=子供 AND 発話内容=迷子と推定することができる発言(「ママ」等) THEN 事象=迷子
(12)IF グループ2人 AND 発話内容=犯罪や喧嘩と推定することができる発言(「ドロボー」、「殺す」、「コノヤロー」、「テメー」、「キサマ」等) THEN 事象=犯罪行為
(13)IF グループ2人 AND 特徴音=犯罪や喧嘩と推定することができる音(悲鳴、殴打音等) THEN 事象=犯罪行為
また、前記人物グループ通知手段15は、抽出した人物音響特徴に基づく人物グループ形態判定によって出力を行う。ここで、抽出した特徴音を同時に出力してもよい。
[Patent Document 18] JP-A-8-54891 [Patent Document 19] JP-A-5-87903 [Patent Document 20] JP-A-5-66790 Taking into account the acoustic features of the person extracted by the means 23, person group form determination is performed as shown in the following (10) to (13).
(10) IF group = 1 person AND person feature = child AND feature sound = child crying THEN event = lost child (11) IF group = 1 person AND person feature = child AND utterance content = remarks that can be estimated to be lost ( THEM Event = Lost Child (12) IF Group > 2 people AND Utterance Content = Remarks that can be presumed to be a crime or a fight ("Drobo", "Kill", "Konoyaro", "Tame", "Kisama" Etc.) THEN event = criminal action (13) IF group > 2 people AND characteristic sound = sound that can be presumed to be a crime or a fight (scream, beating sound, etc.) THEN event = criminal action The person group notification means 15 Performs output by person group form determination based on the extracted person acoustic features. Here, the extracted characteristic sounds may be output simultaneously.

このように、本実施の形態においては、前記音響取得手段22及び人物音響特徴抽出手段23を有し、人物の特徴音を抽出して人物グループの形態を判定するために利用するようになっている。すなわち、人物グループ形態判定手段14は、各地点の音を取得する音響取得手段22と、取得された音からグループの音響的特徴を判定する人物音響特徴抽出手段23とを備え、音響的特徴に基づいて人物グループ形態を判定する。さらに、音響取得手段22は指向性を持たせて音を取得し、検出された人物が音響取得手段22によって取得された音のレベルの強い方向に存在する場合に、人物グループ形態判定手段14は、前記人物が取得された音を発したと判定する。さらに、人物音響特徴抽出手段23は、検出された人物の発話の認識を行う。さらに、人物グループ形態判定手段14は、人物音響特徴抽出手段23によって、人物から子供の泣き声、同伴者を呼ぶ発話等の迷子の音響的特徴が抽出され、かつ、前記人物が単独行動する子供であると判定された場合に、前記人物を迷子であると判定する。さらに、人物グループ形態判定手段14は、同一グループに属する人物群について、人物音響特徴抽出手段23によって怒鳴り声、殴打音、悲鳴等の犯罪行為の音響的特徴が抽出された場合に、前記人物群のグループ形態を犯罪行為と判定する。そのため、人物グループの形態がどのようなものであるかを、声等人物の発する音に基づいて詳しく知ることができ、オペレータの希望に沿った結果を出力することができる。   As described above, in the present embodiment, the sound acquisition means 22 and the person sound feature extraction means 23 are provided and used to extract the person's feature sound and determine the form of the person group. Yes. That is, the person group form determination unit 14 includes an acoustic acquisition unit 22 that acquires sounds at each point, and a human acoustic feature extraction unit 23 that determines the acoustic characteristics of the group from the acquired sounds. Based on this, the person group form is determined. Further, the sound acquisition unit 22 acquires sound with directivity, and when the detected person exists in a direction in which the sound level acquired by the sound acquisition unit 22 is strong, the person group form determination unit 14 It is determined that the person has made the acquired sound. Furthermore, the person acoustic feature extraction unit 23 recognizes the detected utterance of the person. Furthermore, the person group form determination means 14 is a child in which the acoustic characteristics of a lost child such as a child's cry or utterance calling a companion is extracted from the person by the person acoustic feature extraction means 23 and the person acts alone. If it is determined that there is a person, the person is determined to be lost. Furthermore, the person group form determination means 14 determines the person group belonging to the same group when the acoustic characteristics of criminal acts such as yelling, beating sound, scream, etc. are extracted by the person acoustic feature extraction means 23. Is determined to be a criminal act. Therefore, it is possible to know in detail the form of the person group based on the sound emitted by the person such as a voice, and it is possible to output a result according to the operator's desire.

次に、本発明の第8の実施の形態について説明する。なお、第1〜第7の実施の形態と同じ構造を有するものについては、同じ符号を付与することによってその説明を省略する。また、前記第1〜第7の実施の形態と同じ動作及び同じ効果についても、その説明を省略する。   Next, an eighth embodiment of the present invention will be described. In addition, about the thing which has the same structure as 1st-7th embodiment, the description is abbreviate | omitted by providing the same code | symbol. Explanation of the same operations and effects as those of the first to seventh embodiments is also omitted.

図24は本発明の第8の実施の形態における検知装置の構成を示す図である。   FIG. 24 is a diagram showing a configuration of a detection device according to the eighth embodiment of the present invention.

本実施の形態において、検知装置10は、前記第7の実施の形態において説明した構成に加えて、人物特徴抽出手段17の後段に接続された顔認証手段20及び顔表情認識手段21、並びに、前記顔認証手段20に接続された顔認証辞書格納手段19を有し、また、前記第1〜第7の実施の形態における人物グループ形態判定手段14に代えて人物特徴スコア化手段24を有する。   In the present embodiment, in addition to the configuration described in the seventh embodiment, the detection apparatus 10 includes a face authentication unit 20 and a facial expression recognition unit 21 connected to the subsequent stage of the person feature extraction unit 17, and A face authentication dictionary storage unit 19 connected to the face authentication unit 20 is provided, and a person feature score conversion unit 24 is provided instead of the person group form determination unit 14 in the first to seventh embodiments.

そして、該人物特徴スコア化手段24は、入力された人物グループ情報、人物特徴情報、顔表情情報、顔認証スコア及び人物音響特徴人物といったすべての情報を加味してスコアに換算して出力する機能を備え、オペレータがスコア換算の条件を設定するためのインターフェイス、及び演算処理装置又はソフトウェアを備える。   The person feature scoring unit 24 converts all the information such as the input person group information, person feature information, facial expression information, face authentication score, and person acoustic feature person into a score and outputs the score. And an interface for an operator to set conditions for score conversion, and an arithmetic processing unit or software.

次に、本実施の形態における検知装置10の動作について説明する。   Next, operation | movement of the detection apparatus 10 in this Embodiment is demonstrated.

図25は本発明の第8の実施の形態における人物グループ通知手段の通知表示の例を示す図である。   FIG. 25 is a diagram showing an example of notification display of the person group notification means in the eighth embodiment of the present invention.

本実施の形態においては、人物特徴スコア化手段24によって人物グループ情報等検出人物に関する複数の情報を加味してスコアに換算し、人物グループ形態情報として利用するようになっている。   In the present embodiment, the person characteristic scoring means 24 converts a score into consideration by adding a plurality of pieces of information related to the detected person, such as person group information, and uses it as person group form information.

この場合、前記人物特徴スコア化手段24は、人物グループ判定手段13から送られたグループ人数の情報、人物特徴抽出手段17から送られた年齢、服装等の人物特徴情報、顔表情認識手段21から送られた人物の顔表情情報、顔認証手段20から送られた顔スコア、人物音響特徴抽出手段23から送られた人物音響特徴情報等のすべての情報を加味して、それを任意に設定条件の基に重み付け加算等をして人物特徴スコアを算出する。この設定条件は、処理に先立ってオペレータが自由に設定することができる。   In this case, the person feature scoring means 24 receives information on the number of groups sent from the person group determination means 13, person feature information such as age and clothes sent from the person feature extraction means 17, and facial expression recognition means 21. All the information such as the facial expression information of the sent person, the face score sent from the face authenticating means 20, the person acoustic feature information sent from the person acoustic feature extracting means 23, etc. are taken into account, and the setting conditions are arbitrarily set The person feature score is calculated by weighted addition based on the above. This setting condition can be freely set by the operator prior to processing.

そして、前記人物グループ通知手段15は、算出された人物特徴スコアを基に、例えば、図25に示されるように、人物特徴スコアの高い順に出力を行う。例えば、赤い服を着た5歳の子供が迷子になっていて、該子供を捜す必要があるとする。この場合、迷子であるので単独行動をして泣いている確率が高い、すなわち、泣く表情をしていて泣き声を上げている。また、人物特徴としては服装が赤で、年齢が5歳と判定された人物が捜す対象の子供である確率が高い。さらに、顔認証を行われる場合は、顔認証の認証スコアの高い人物が捜す対象の子供である確率が高い。したがって、単独行動をしていて、服装が赤で年齢が5歳と判定され、泣く表情をしていて、泣き声を上げていて、顔認証スコアが高いという条件が満たされるときに、スコアが高くなるような演算を行い、検出されたそれぞれの人物についてスコアを算出し、算出された該スコアの高い順に人物の情報を出力する。   Then, the person group notifying unit 15 performs output in descending order of the person feature score, for example, as shown in FIG. 25, based on the calculated person feature score. For example, a five-year-old child wearing red clothes is lost and needs to search for the child. In this case, since the child is a lost child, there is a high probability of crying by acting alone, that is, a crying expression with a crying expression. In addition, as a person feature, there is a high probability that a person whose clothes are red and whose age is determined to be 5 years old is a child to be searched. Further, when face authentication is performed, there is a high probability that a person with a high face authentication authentication score is a child to be searched. Therefore, the score is high when the condition that the person is acting alone, the clothes are red and the age is 5 years old, the face is crying, the cry is raised, and the face authentication score is high is satisfied. Such a calculation is performed, a score is calculated for each detected person, and person information is output in descending order of the calculated score.

このように、本実施の形態においては、前記人物特徴スコア化手段24を有し、人物の複数の特徴を、オペレータが任意に設定した条件に基づいて統一された1つのスコアに換算して、人物グループ形態判定に利用することによって、複数の人物判定方法を組み合わせて一元的に結果を出力することができるようになっている。すなわち、人物グループ形態判定手段14に代えて、グループ判定、人物特徴、顔認証スコア、顔表情、音響的特徴の情報を重み付け加算してスコア化する人物特徴スコア化手段24を有し、スコアとして算出した値に基づいて人物情報を出力する。そのため、オペレータが複数の人物情報を参照することなく、所望の人物グループ形態判定結果を見ることができ、オペレータの作業負荷を軽減することができる。   Thus, in the present embodiment, the person feature scoring means 24 is provided, and a plurality of features of the person are converted into a single score unified based on conditions arbitrarily set by the operator, By using it for person group form determination, a plurality of person determination methods can be combined and the result can be output centrally. In other words, instead of the person group form determination means 14, there is provided a person feature scoring means 24 for scoring information by weighted addition of group determination, person characteristics, face authentication score, facial expression, and acoustic feature information. The person information is output based on the calculated value. Therefore, a desired person group form determination result can be viewed without referring to a plurality of pieces of person information, and the operator's workload can be reduced.

また、人物位置やグループ判定結果、出力された年齢や服装等の人物特徴や表情、顔認証スコア等の認識情報は、取得された画像や音の状態や照明条件、評価する地点の混雑具合等によって大きくブレが生じることがある。しかし、本実施の形態においては、これらを複数組み合わせて統一したスコアとして出力することによって、一部の認識手段にブレがあったとしても、他の認識手段で正確な認識情報を得ることができたとすると、そちらを採用することによってブレの悪影響を抑えることができ、より信頼性の高い認識結果を出力することができる。   In addition, recognition information such as person position, group determination result, output person characteristics such as age and clothes, facial expressions, face authentication score, etc., acquired image and sound status, lighting conditions, congestion of the point to be evaluated, etc. May cause significant blurring. However, in this embodiment, by combining a plurality of these and outputting them as a unified score, even if some of the recognition means are blurred, accurate recognition information can be obtained by other recognition means. If so, it is possible to suppress the adverse effects of blurring and to output a more reliable recognition result.

なお、前記第1〜第8の実施の形態において、画像や音以外に人物情報を得る手段が何もないものとしたが、カードパス、非接触タグ等の人物情報を得るための他の手段がある場合でも、人物グループ形態判定手段14等においてその情報を加味して利用することができる。   In the first to eighth embodiments, there is no means for obtaining personal information other than images and sounds, but other means for obtaining personal information such as a card pass and a non-contact tag. Even if there is, the person group form determination means 14 etc. can use the information in consideration.

また、本発明は前記実施の形態に限定されるものではなく、本発明の趣旨に基づいて種々変形させることが可能であり、それらを本発明の範囲から排除するものではない。   The present invention is not limited to the above-described embodiment, and various modifications can be made based on the spirit of the present invention, and they are not excluded from the scope of the present invention.

本発明の第1の実施の形態における検知装置の構成を示す図である。It is a figure which shows the structure of the detection apparatus in the 1st Embodiment of this invention. 本発明の第1の実施の形態における人物検出手段によって検出された人物の例を示す図である。It is a figure which shows the example of the person detected by the person detection means in the 1st Embodiment of this invention. 本発明の第1の実施の形態における人物の相対距離を示す第1の図である。It is a 1st figure which shows the relative distance of the person in the 1st Embodiment of this invention. 本発明の第1の実施の形態における人物の相対距離を示す第2の図である。It is a 2nd figure which shows the relative distance of the person in the 1st Embodiment of this invention. 本発明の第1の実施の形態における人物の相対距離を示す第3の図である。It is a 3rd figure which shows the relative distance of the person in the 1st Embodiment of this invention. 本発明の第1の実施の形態における人物の相対速度を示す第1の図である。It is a 1st figure which shows the relative speed of the person in the 1st Embodiment of this invention. 本発明の第1の実施の形態における人物の相対速度を示す第2の図である。It is a 2nd figure which shows the relative speed of the person in the 1st Embodiment of this invention. 本発明の第1の実施の形態における人物の相対速度を示す第3の図である。It is a 3rd figure which shows the relative speed of the person in the 1st Embodiment of this invention. 本発明の第1の実施の形態における人物グループ通知手段の通知表示の例を示す図である。It is a figure which shows the example of the notification display of the person group notification means in the 1st Embodiment of this invention. 本発明の第2の実施の形態における検知装置の構成を示す図である。It is a figure which shows the structure of the detection apparatus in the 2nd Embodiment of this invention. 本発明の第2の実施の形態における人物の相対距離の出現数の分布を示す図である。It is a figure which shows distribution of the appearance number of the relative distance of the person in the 2nd Embodiment of this invention. 本発明の第2の実施の形態における人物の相対距離の確率密度関数を示す図である。It is a figure which shows the probability density function of the relative distance of the person in the 2nd Embodiment of this invention. 本発明の第3の実施の形態における検知装置の構成を示す図である。It is a figure which shows the structure of the detection apparatus in the 3rd Embodiment of this invention. 本発明の第3の実施の形態における人物グループ通知手段の通知表示の例を示す図である。It is a figure which shows the example of the notification display of the person group notification means in the 3rd Embodiment of this invention. 本発明の第4の実施の形態における検知装置の構成を示す図である。It is a figure which shows the structure of the detection apparatus in the 4th Embodiment of this invention. 本発明の第4の実施の形態における人物グループ通知手段の通知表示の例を示す図である。It is a figure which shows the example of the notification display of the person group notification means in the 4th Embodiment of this invention. 本発明の第5の実施の形態における検知装置の構成を示す図である。It is a figure which shows the structure of the detection apparatus in the 5th Embodiment of this invention. 本発明の第5の実施の形態における人物グループ通知手段の通知表示の例を示す図である。It is a figure which shows the example of the notification display of the person group notification means in the 5th Embodiment of this invention. 本発明の第6の実施の形態における検知装置の構成を示す図である。It is a figure which shows the structure of the detection apparatus in the 6th Embodiment of this invention. 本発明の第6の実施の形態における人物グループ通知手段の通知表示の例を示す図である。It is a figure which shows the example of the notification display of the person group notification means in the 6th Embodiment of this invention. 本発明の第7の実施の形態における検知装置の構成を示す図である。It is a figure which shows the structure of the detection apparatus in the 7th Embodiment of this invention. 本発明の第7の実施の形態における特徴音の方位及びレベル特性を示す図である。It is a figure which shows the azimuth | direction and level characteristic of characteristic sound in the 7th Embodiment of this invention. 本発明の第7の実施の形態における画像から検出された人物の位置を示す図である。It is a figure which shows the position of the person detected from the image in the 7th Embodiment of this invention. 本発明の第8の実施の形態における検知装置の構成を示す図である。It is a figure which shows the structure of the detection apparatus in the 8th Embodiment of this invention. 本発明の第8の実施の形態における人物グループ通知手段の通知表示の例を示す図である。It is a figure which shows the example of the notification display of the person group notification means in the 8th Embodiment of this invention.

符号の説明Explanation of symbols

10 検知装置
11 動画像取得手段
12 人物検出手段
13 人物グループ判定手段
14 人物グループ形態判定手段
15 人物グループ通知手段
16 人物グループ空間統計手段
17 人物特徴抽出手段
18 人物検索手段
19 顔認証辞書格納手段
20 顔認証手段
21 顔表情認識手段
22 音響取得手段
23 人物音響特徴抽出手段
24 人物特徴スコア化手段
DESCRIPTION OF SYMBOLS 10 Detection apparatus 11 Moving image acquisition means 12 Person detection means 13 Person group determination means 14 Person group form determination means 15 Person group notification means 16 Person group space statistics means 17 Person feature extraction means 18 Person search means 19 Face authentication dictionary storage means 20 Face authentication means 21 Facial expression recognition means 22 Sound acquisition means 23 Human acoustic feature extraction means 24 Human feature score conversion means

Claims (9)

(a)不特定多数の人物が集まる場所において、各地点の動画像を取得する動画像取得手段と、
(b)取得された前記動画像から人物及び該人物の位置を所定時間経過毎に検出する人物検出手段と、
(c)検出された前記人物の相互の位置関係から、相対距離が閾値を下回る状態が、該閾値より長い時間続く人物の組を同一行動をしているグループに属すると判定し、検出された前記人物をグループ分けするグループ判定を行う人物グループ判定手段と、
(d)前記グループ判定の結果から、人数に着目して単独行動者又はグループ行動者とグループ形態とを判定する人物グループ形態判定手段と、
(e)前記グループ形態をオペレータに通知する人物グループ通知手段とを有し、
(f)前記動画像に含まれる人物についてグループ判定を行うことを特徴とする単独行動者及びグループ行動者検知装置。
(A) a moving image acquisition means for acquiring a moving image at each point in a place where an unspecified number of persons gather;
(B) a person detecting means for detecting a person and the position of the person from the acquired moving image every predetermined time;
(C) Based on the mutual positional relationship between the detected persons, it is determined that a state in which the relative distance is less than the threshold value belongs to a group performing the same action for a group of persons that lasts longer than the threshold value. Person group determination means for performing group determination for grouping the persons;
(D) From the result of the group determination, a person group form determination unit that determines a single form or group action and a group form by paying attention to the number of persons;
(E) a person group notification means for notifying an operator of the group form;
(F) A single-behavior and group-behavior detection device that performs group determination on a person included in the moving image.
前記人物グループ判定手段は、前記相対距離及び相対速度が閾値を下回る状態が、該閾値より長い時間続く人物の組を同一グループと判定する請求項1に記載の単独行動者及びグループ行動者検知装置。 2. The single-behavior / group-behavior detection device according to claim 1, wherein the person group determination unit determines that a group of persons whose state in which the relative distance and the relative speed are below a threshold value continues for a longer time than the threshold is the same group. . 前記人物グループ判定手段は、検出された前記人物の相互位置関係のすべての値について統計処理を行い、前記人物のグループ分けで用いられる閾値を算出する人物グループ空間統計手段を備え、評価対象の混雑度に適応した閾値で前記グループ判定を行う請求項1又は2に記載の単独行動者及びグループ行動者検知装置。 The person group determination unit includes a person group space statistical unit that performs statistical processing on all the values of the detected mutual positional relationship of the persons and calculates a threshold value used for grouping the persons, The single-behavior and group-behavior detection device according to claim 1 or 2, wherein the group determination is performed with a threshold adapted to the degree. 前記人物グループ形態判定手段は、検出された前記人物の位置に基づいて、前記人物の顔画像、体格、年齢、性別、服装又は障害の有無を特徴情報として抽出して判定する人物特徴抽出手段を備え、前記人物の特徴情報及びグループ判定情報を組み合わせてグループ形態を判定する請求項1〜3のいずれか1項に記載の単独行動者及びグループ行動者検知装置。 The person group form determining means is a person feature extracting means for extracting and determining the face image, physique, age, sex, clothes or presence / absence of the person as feature information based on the detected position of the person. The single-behavior and group-behavior detection device according to any one of claims 1 to 3, wherein a group form is determined by combining the feature information of the person and the group determination information. 前記人物グループ通知手段は、検出された前記人物の位置、グループ判定情報又は個人的属性情報に基づいて、指定された条件に該当する人物を絞り込んで検索する人物検索手段を備え、前記指定された条件に該当する人物の情報を絞り込んで出力する請求項1〜4のいずれか1項に記載の単独行動者及びグループ行動者検知装置。 The person group notification means includes person search means for narrowing down and searching for persons who meet a specified condition based on the detected position of the person, group determination information, or personal attribute information. The single-behavior and group-behavior detection device according to any one of claims 1 to 4, wherein information on a person corresponding to a condition is narrowed down and output. 前記人物グループ形態判定手段は、検出された前記人物の顔画像を取得し、顔認証辞書データとして格納する顔認証辞書格納手段、及び、前記人物特徴抽出手段によって抽出された顔画像を前記顔認証辞書データと照合して認証スコアを出力する顔認証手段を備え、前記認証スコア及び人物特徴情報を人物グループ形態判定に利用する請求項4又は5に記載の単独行動者及びグループ行動者検知装置。 The person group form determination means acquires the detected face image of the person and stores it as face authentication dictionary data, and the face authentication extracted by the person feature extraction means. The single actor and group actor detection device according to claim 4 or 5, further comprising face authentication means for collating with dictionary data and outputting an authentication score, and using the authentication score and person characteristic information for person group form determination. 前記人物グループ形態判定手段は、前記人物特徴抽出手段によって抽出された顔画像から表情、顔色及び顔向きを認識する顔表情認識手段を備え、前記表情及び顔色を利用してグループ形態判定を行う請求項4〜6のいずれか1項に記載の単独行動者及びグループ行動者検知装置。 The person group form determination means comprises a facial expression recognition means for recognizing an expression, face color and face direction from the face image extracted by the person feature extraction means, and performs group form determination using the expression and face color. Item 7. The single actor and group actor detection device according to any one of Items 4 to 6. 前記人物グループ形態判定手段は、前記各地点の音を取得する音響取得手段と、取得された音からグループの音響的特徴を判定する人物音響特徴抽出手段とを備え、前記音響的特徴に基づいて人物グループ形態を判定する請求項1〜7のいずれか1項に記載の単独行動者及びグループ行動者検知装置。 The person group form determination means includes sound acquisition means for acquiring sounds at the respective points, and person sound feature extraction means for determining acoustic characteristics of the group from the acquired sounds, based on the acoustic features. The single action person and group action detection device given in any 1 paragraph of Claims 1-7 which judge a person group form. 前記人物グループ形態判定手段に代えて、グループ判定、人物特徴、顔認証スコア、表情、音響的特徴の情報を重み付け加算してスコア化する人物特徴スコア化手段を有し、スコアとして算出した値に基づいて人物情報を出力する請求項1〜8のいずれか1項に記載の単独行動者及びグループ行動者検知装置。 In place of the person group form determining means, there is a person feature scoring means for weighting and adding information of group determination, person characteristics, face authentication score, facial expression, and acoustic characteristics, and the value calculated as the score The single action person and group action person detection device according to claim 1 which outputs person information based on it.
JP2004278855A 2004-09-27 2004-09-27 Single actor and group actor detection device Expired - Fee Related JP4506381B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004278855A JP4506381B2 (en) 2004-09-27 2004-09-27 Single actor and group actor detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004278855A JP4506381B2 (en) 2004-09-27 2004-09-27 Single actor and group actor detection device

Publications (2)

Publication Number Publication Date
JP2006092396A true JP2006092396A (en) 2006-04-06
JP4506381B2 JP4506381B2 (en) 2010-07-21

Family

ID=36233284

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004278855A Expired - Fee Related JP4506381B2 (en) 2004-09-27 2004-09-27 Single actor and group actor detection device

Country Status (1)

Country Link
JP (1) JP4506381B2 (en)

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008250686A (en) * 2007-03-30 2008-10-16 Matsushita Electric Ind Co Ltd Watching system and masking processing method
WO2009093381A1 (en) * 2008-01-21 2009-07-30 Nec Corporation Pattern matching system, pattern matching method, and program for pattern matching
JP2009237993A (en) * 2008-03-27 2009-10-15 Secom Co Ltd Image monitoring device
JP2010103980A (en) * 2008-09-09 2010-05-06 Nec (China) Co Ltd Image processing method, image processing apparatus, and system
JP2010128594A (en) * 2008-11-25 2010-06-10 Sogo Keibi Hosho Co Ltd Motion detection device and motion detection method
EP2219134A2 (en) 2009-02-13 2010-08-18 Sony Corporation Information processing apparatus and information processing method
JP2010191576A (en) * 2009-02-17 2010-09-02 Hitachi Software Eng Co Ltd Biometrics information processing system
JP2010205015A (en) * 2009-03-04 2010-09-16 Advanced Telecommunication Research Institute International Group behavior estimation device and service provision system
JP2011128816A (en) * 2009-12-16 2011-06-30 Canon Inc Image processing method and device
JP2011227647A (en) * 2010-04-19 2011-11-10 Secom Co Ltd Suspicious person detection device
JP2011237842A (en) * 2010-04-30 2011-11-24 Fujitsu Ltd Ride sharing determination device, environmental load calculation device, ride sharing determination program and ride sharing determination method
JP2012141686A (en) * 2010-12-28 2012-07-26 Secom Co Ltd Abnormality detection device
WO2012131816A1 (en) * 2011-03-28 2012-10-04 日本電気株式会社 Person tracking device, person tracking method, and non-temporary computer-readable medium storing person tracking program
JP2013069128A (en) * 2011-09-22 2013-04-18 Nec Embedded Products Ltd System and method for finding lost child
JP2013090872A (en) * 2011-10-27 2013-05-16 Daikoku Denki Co Ltd Player management device
JP2013140196A (en) * 2011-12-28 2013-07-18 Toshiba Tec Corp Information display device and program
JP2014229068A (en) * 2013-05-22 2014-12-08 株式会社 日立産業制御ソリューションズ People counting device and person flow line analysis apparatus
JP5874884B1 (en) * 2014-12-25 2016-03-02 パナソニックIpマネジメント株式会社 Facility usage status measurement device, facility usage status measurement system, and facility usage status measurement method
JP5895079B1 (en) * 2015-04-01 2016-03-30 株式会社notteco Carpooling support system, portable terminal, program, carpooling support method, and rental support system
JP2016162096A (en) * 2015-02-27 2016-09-05 セコム株式会社 Mobile object tracking device
JPWO2014174760A1 (en) * 2013-04-26 2017-02-23 日本電気株式会社 Behavior analysis device, behavior analysis method, and behavior analysis program
JP2017085519A (en) * 2015-10-30 2017-05-18 キヤノン株式会社 Display control device, display control method, and program
JP2017085507A (en) * 2015-10-30 2017-05-18 キヤノン株式会社 Control device, control method, and program
JP2017163511A (en) * 2016-03-11 2017-09-14 株式会社プロドローン Living body search system
JP2017207877A (en) * 2016-05-17 2017-11-24 株式会社東芝 Behavioral analysis device and program
WO2018116488A1 (en) * 2016-12-22 2018-06-28 日本電気株式会社 Analysis server, monitoring system, monitoring method, and program
JP2018121351A (en) * 2018-03-13 2018-08-02 株式会社プロドローン Organism search system
WO2018138803A1 (en) * 2017-01-25 2018-08-02 三菱電機株式会社 Congestion prediction device and congestion prediction method
JP2018124972A (en) * 2016-12-06 2018-08-09 ゼネラル・エレクトリック・カンパニイ Crowd analytics via one shot learning
WO2018146938A1 (en) * 2017-02-13 2018-08-16 日本電気株式会社 Person detection system
JP2018128744A (en) * 2017-02-06 2018-08-16 Kddi株式会社 Notification device, notification method and notification program
JP2018148402A (en) * 2017-03-06 2018-09-20 株式会社 日立産業制御ソリューションズ Image monitoring device and image monitoring method
WO2018180588A1 (en) * 2017-03-27 2018-10-04 株式会社日立国際電気 Facial image matching system and facial image search system
JP2018195992A (en) * 2017-05-18 2018-12-06 パナソニック株式会社 Person group tracking device and person group tracking method
JP2018201176A (en) * 2017-05-29 2018-12-20 富士通株式会社 Alert output control program, alert output control method, and alert output control apparatus
JP2019055838A (en) * 2017-09-20 2019-04-11 東芝エレベータ株式会社 Elevator system and detection method of lost child in elevator
JP2019091290A (en) * 2017-11-15 2019-06-13 富士ゼロックス株式会社 Information processing system, information processing device and program
JP2019106631A (en) * 2017-12-12 2019-06-27 セコム株式会社 Image monitoring device
JP2019106582A (en) * 2017-12-11 2019-06-27 キヤノンマーケティングジャパン株式会社 Information processing apparatus, method for controlling information processing apparatus, and program
US10372989B2 (en) 2015-10-30 2019-08-06 Canon Kabushiki Kaisha Control apparatus and control method for determining relation of persons included in an image, and storage medium storing a program therefor
WO2019187288A1 (en) * 2018-03-27 2019-10-03 日本電気株式会社 Information processing device, data generation method, and non-transient computer-readable medium whereon program has been stored
JP2020064684A (en) * 2015-10-30 2020-04-23 キヤノン株式会社 Control device, control method, and program
US10635908B2 (en) 2013-09-19 2020-04-28 Nec Corporation Image processing system and image processing method
CN112017401A (en) * 2019-05-28 2020-12-01 奥迪股份公司 Alarm system for monitoring the safety of persons, corresponding method and storage medium
JP2021007034A (en) * 2020-09-29 2021-01-21 キヤノン株式会社 Control apparatus, control method, and program
WO2021131025A1 (en) * 2019-12-27 2021-07-01 日本電気株式会社 Processing device, processing method, and program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766919A (en) * 2019-10-22 2020-02-07 成都中科大旗软件股份有限公司 Alarm prompting method for preventing tourists from being lost

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183205A (en) * 2000-12-11 2002-06-28 Minolta Co Ltd Computer-readable recording medium with database construction program recorded thereon, method and device for constructing database, computer-readable recording medium with database retrieval program recorded thereon, and method and device for retrieving database
JP2004054376A (en) * 2002-07-17 2004-02-19 Japan Science & Technology Corp Method and device for estimating group attribute
JP2004221725A (en) * 2003-01-10 2004-08-05 Matsushita Electric Ind Co Ltd Monitoring apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002183205A (en) * 2000-12-11 2002-06-28 Minolta Co Ltd Computer-readable recording medium with database construction program recorded thereon, method and device for constructing database, computer-readable recording medium with database retrieval program recorded thereon, and method and device for retrieving database
JP2004054376A (en) * 2002-07-17 2004-02-19 Japan Science & Technology Corp Method and device for estimating group attribute
JP2004221725A (en) * 2003-01-10 2004-08-05 Matsushita Electric Ind Co Ltd Monitoring apparatus

Cited By (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008250686A (en) * 2007-03-30 2008-10-16 Matsushita Electric Ind Co Ltd Watching system and masking processing method
WO2009093381A1 (en) * 2008-01-21 2009-07-30 Nec Corporation Pattern matching system, pattern matching method, and program for pattern matching
US8605962B2 (en) 2008-01-21 2013-12-10 Nec Corporation Pattern matching system, pattern matching method, and pattern matching program
JP2009237993A (en) * 2008-03-27 2009-10-15 Secom Co Ltd Image monitoring device
JP4642128B2 (en) * 2008-09-09 2011-03-02 エヌイーシー(チャイナ)カンパニー, リミテッド Image processing method, image processing apparatus and system
JP2010103980A (en) * 2008-09-09 2010-05-06 Nec (China) Co Ltd Image processing method, image processing apparatus, and system
JP2010128594A (en) * 2008-11-25 2010-06-10 Sogo Keibi Hosho Co Ltd Motion detection device and motion detection method
EP2219134A2 (en) 2009-02-13 2010-08-18 Sony Corporation Information processing apparatus and information processing method
US8659649B2 (en) 2009-02-13 2014-02-25 Sony Corporation Information processing apparatus and information processing method
CN101807370B (en) * 2009-02-13 2013-07-10 索尼公司 Information processing apparatus and information processing method
JP2010191576A (en) * 2009-02-17 2010-09-02 Hitachi Software Eng Co Ltd Biometrics information processing system
JP2010205015A (en) * 2009-03-04 2010-09-16 Advanced Telecommunication Research Institute International Group behavior estimation device and service provision system
JP2011128816A (en) * 2009-12-16 2011-06-30 Canon Inc Image processing method and device
JP2011227647A (en) * 2010-04-19 2011-11-10 Secom Co Ltd Suspicious person detection device
JP2011237842A (en) * 2010-04-30 2011-11-24 Fujitsu Ltd Ride sharing determination device, environmental load calculation device, ride sharing determination program and ride sharing determination method
JP2012141686A (en) * 2010-12-28 2012-07-26 Secom Co Ltd Abnormality detection device
WO2012131816A1 (en) * 2011-03-28 2012-10-04 日本電気株式会社 Person tracking device, person tracking method, and non-temporary computer-readable medium storing person tracking program
JP5870996B2 (en) * 2011-03-28 2016-03-01 日本電気株式会社 Person tracking device, person tracking method, and person tracking program
US9235754B2 (en) 2011-03-28 2016-01-12 Nec Corporation Person tracking device, person tracking method, and non-transitory computer readable medium storing person tracking program
JP2013069128A (en) * 2011-09-22 2013-04-18 Nec Embedded Products Ltd System and method for finding lost child
JP2013090872A (en) * 2011-10-27 2013-05-16 Daikoku Denki Co Ltd Player management device
JP2013140196A (en) * 2011-12-28 2013-07-18 Toshiba Tec Corp Information display device and program
JPWO2014174760A1 (en) * 2013-04-26 2017-02-23 日本電気株式会社 Behavior analysis device, behavior analysis method, and behavior analysis program
JP2014229068A (en) * 2013-05-22 2014-12-08 株式会社 日立産業制御ソリューションズ People counting device and person flow line analysis apparatus
US10956753B2 (en) 2013-09-19 2021-03-23 Nec Corporation Image processing system and image processing method
US10635908B2 (en) 2013-09-19 2020-04-28 Nec Corporation Image processing system and image processing method
JP2016122364A (en) * 2014-12-25 2016-07-07 パナソニックIpマネジメント株式会社 Facility using state measurement device, facility using state measurement system and facility using state measurement method
JP5874884B1 (en) * 2014-12-25 2016-03-02 パナソニックIpマネジメント株式会社 Facility usage status measurement device, facility usage status measurement system, and facility usage status measurement method
WO2016103614A1 (en) * 2014-12-25 2016-06-30 パナソニックIpマネジメント株式会社 Facility use measuring device and facility use measuring system
JP2016162096A (en) * 2015-02-27 2016-09-05 セコム株式会社 Mobile object tracking device
JP2016194854A (en) * 2015-04-01 2016-11-17 株式会社notteco Share-riding support system, portable terminal, share-riding support method, and lease support system
JP5895079B1 (en) * 2015-04-01 2016-03-30 株式会社notteco Carpooling support system, portable terminal, program, carpooling support method, and rental support system
US10372989B2 (en) 2015-10-30 2019-08-06 Canon Kabushiki Kaisha Control apparatus and control method for determining relation of persons included in an image, and storage medium storing a program therefor
JP2020064684A (en) * 2015-10-30 2020-04-23 キヤノン株式会社 Control device, control method, and program
JP2017085507A (en) * 2015-10-30 2017-05-18 キヤノン株式会社 Control device, control method, and program
US10970551B2 (en) 2015-10-30 2021-04-06 Canon Kabushiki Kaisha Control apparatus and control method for determining relation of persons included in an image, and storage medium storing a program therefor
JP2017085519A (en) * 2015-10-30 2017-05-18 キヤノン株式会社 Display control device, display control method, and program
WO2017154595A1 (en) * 2016-03-11 2017-09-14 株式会社プロドローン Living body search system
JP2017163511A (en) * 2016-03-11 2017-09-14 株式会社プロドローン Living body search system
CN108781276A (en) * 2016-03-11 2018-11-09 株式会社专业无人机 Organism search system
JP2017207877A (en) * 2016-05-17 2017-11-24 株式会社東芝 Behavioral analysis device and program
JP2018124972A (en) * 2016-12-06 2018-08-09 ゼネラル・エレクトリック・カンパニイ Crowd analytics via one shot learning
WO2018116488A1 (en) * 2016-12-22 2018-06-28 日本電気株式会社 Analysis server, monitoring system, monitoring method, and program
JP7040463B2 (en) 2016-12-22 2022-03-23 日本電気株式会社 Analysis server, monitoring system, monitoring method and program
JPWO2018116488A1 (en) * 2016-12-22 2019-12-12 日本電気株式会社 Analysis server, monitoring system, monitoring method and program
JP6415795B1 (en) * 2017-01-25 2018-10-31 三菱電機株式会社 Congestion prediction apparatus and congestion prediction method
WO2018138803A1 (en) * 2017-01-25 2018-08-02 三菱電機株式会社 Congestion prediction device and congestion prediction method
JP2018128744A (en) * 2017-02-06 2018-08-16 Kddi株式会社 Notification device, notification method and notification program
WO2018146938A1 (en) * 2017-02-13 2018-08-16 日本電気株式会社 Person detection system
JP2018132803A (en) * 2017-02-13 2018-08-23 日本電気株式会社 Person detection system
JP2018148402A (en) * 2017-03-06 2018-09-20 株式会社 日立産業制御ソリューションズ Image monitoring device and image monitoring method
WO2018180588A1 (en) * 2017-03-27 2018-10-04 株式会社日立国際電気 Facial image matching system and facial image search system
JPWO2018180588A1 (en) * 2017-03-27 2020-01-16 株式会社日立国際電気 Face image matching system and face image search system
JP2018195992A (en) * 2017-05-18 2018-12-06 パナソニック株式会社 Person group tracking device and person group tracking method
JP2018201176A (en) * 2017-05-29 2018-12-20 富士通株式会社 Alert output control program, alert output control method, and alert output control apparatus
JP2019055838A (en) * 2017-09-20 2019-04-11 東芝エレベータ株式会社 Elevator system and detection method of lost child in elevator
JP2019091290A (en) * 2017-11-15 2019-06-13 富士ゼロックス株式会社 Information processing system, information processing device and program
JP7007566B2 (en) 2017-12-11 2022-01-24 キヤノンマーケティングジャパン株式会社 Information processing equipment, information processing equipment control methods, and programs
JP2019106582A (en) * 2017-12-11 2019-06-27 キヤノンマーケティングジャパン株式会社 Information processing apparatus, method for controlling information processing apparatus, and program
JP2019106631A (en) * 2017-12-12 2019-06-27 セコム株式会社 Image monitoring device
JP6994375B2 (en) 2017-12-12 2022-01-14 セコム株式会社 Image monitoring device
JP2018121351A (en) * 2018-03-13 2018-08-02 株式会社プロドローン Organism search system
JPWO2019187288A1 (en) * 2018-03-27 2021-03-11 日本電気株式会社 Information processing equipment, data generation methods, and programs
WO2019187288A1 (en) * 2018-03-27 2019-10-03 日本電気株式会社 Information processing device, data generation method, and non-transient computer-readable medium whereon program has been stored
CN112017401A (en) * 2019-05-28 2020-12-01 奥迪股份公司 Alarm system for monitoring the safety of persons, corresponding method and storage medium
WO2021131025A1 (en) * 2019-12-27 2021-07-01 日本電気株式会社 Processing device, processing method, and program
JP2021007034A (en) * 2020-09-29 2021-01-21 キヤノン株式会社 Control apparatus, control method, and program
JP7005717B2 (en) 2020-09-29 2022-01-24 キヤノン株式会社 Controls, control methods and programs

Also Published As

Publication number Publication date
JP4506381B2 (en) 2010-07-21

Similar Documents

Publication Publication Date Title
JP4506381B2 (en) Single actor and group actor detection device
CN105794191B (en) Identify data transmission device and method and identification data recording equipment and method
Cristani et al. The visual social distancing problem
Tabar et al. Smart home care network using sensor fusion and distributed vision-based reasoning
US20190278976A1 (en) Security system with face recognition
US8737688B2 (en) Targeted content acquisition using image analysis
CN102196251B (en) Smart-city intelligent monitoring method and system
JP5888770B2 (en) Lost child detection system and method
US20190026560A1 (en) Human flow analysis method, human flow analysis apparatus, and human flow analysis system
US20050228868A1 (en) Data notification method and system thereof
JPWO2017029718A1 (en) Smart security digital system, method and program
JP6525229B1 (en) Digital search security system, method and program
JP6930126B2 (en) Person detection system
JP2007060528A (en) Facility user management system and user management method
CN210955266U (en) Internet of things temperature-sensing height and identification integrated machine
JP6336709B2 (en) Security device, security method and program
JP2018085597A (en) Person behavior monitoring device and person behavior monitoring system
Shen et al. Fall detection system based on deep learning and image processing in cloud environment
CN109495727B (en) Intelligent monitoring method, device and system and readable storage medium
JP2008541650A (en) Monitoring method and apparatus
JP2016143302A (en) Information notification device, method, and program
JP2018201176A (en) Alert output control program, alert output control method, and alert output control apparatus
Lin et al. A fall detection system based on human body silhouette
TWI391881B (en) Dodge image processing capacity of the fall detection and care system
JP2018067755A (en) Detection data management device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100119

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100406

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100419

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4506381

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140514

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees