JP2017194798A - Information processing apparatus, information processing method, and program - Google Patents
Information processing apparatus, information processing method, and program Download PDFInfo
- Publication number
- JP2017194798A JP2017194798A JP2016083882A JP2016083882A JP2017194798A JP 2017194798 A JP2017194798 A JP 2017194798A JP 2016083882 A JP2016083882 A JP 2016083882A JP 2016083882 A JP2016083882 A JP 2016083882A JP 2017194798 A JP2017194798 A JP 2017194798A
- Authority
- JP
- Japan
- Prior art keywords
- search
- person
- video
- information processing
- search process
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
Description
本発明は、情報処理装置、情報処理方法及びプログラムに関する。 The present invention relates to an information processing apparatus, an information processing method, and a program.
従来、監視映像の各フレームから、人物の顔を検索することで、迷子や列車等への乗り遅れ客を検出する技術が知られている。特許文献1には、監視映像の各フレームから人物の顔を検出し、その顔から画像特徴を算出して映像のフレームと対応付けてデータベース(DB)に蓄積し、例えば迷子の子供の顔をクエリとして、DBから迷子の子供の映像を検索する技術が開示されている。また、特許文献2には、予め検出すべき人物の顔を登録しておき、入力された映像からリアルタイムに人物を検出する技術が開示されている。 2. Description of the Related Art Conventionally, a technique for detecting a lost child or a passenger who misses a train by searching a person's face from each frame of a monitoring video is known. In Patent Document 1, a human face is detected from each frame of a monitoring video, an image feature is calculated from the face, and is stored in a database (DB) in association with a video frame. As a query, a technique for retrieving a video of a lost child from a DB is disclosed. Patent Document 2 discloses a technique for registering a person's face to be detected in advance and detecting the person in real time from an input video.
しかしながら、特許文献1の技術では、クエリが発行された時点でDBに蓄積された映像を検索対象とするものの、その後に得られた映像から対象人物を検索することができない。このため、迷子や乗り遅れ客の現時点の居場所を知らせ確保することができない。一方で、特許文献2の技術では、クエリが発行された時点よりも前の映像に遡及して人物検索を行う場合には、処理速度が遅くなってしまう。このため、迷子や乗り遅れ客を確保する目的においては、特許文献2の技術では十分でない。 However, in the technique of Patent Document 1, although the video stored in the DB at the time when the query is issued is the search target, the target person cannot be searched from the video obtained thereafter. For this reason, it is impossible to inform and secure the current location of lost children or late passengers. On the other hand, in the technique of Patent Document 2, when performing a person search retroactively to a video before the time when a query is issued, the processing speed is slowed down. For this reason, the technique of Patent Document 2 is not sufficient for the purpose of securing lost children and late passengers.
本発明はこのような問題点に鑑みなされたもので、処理速度の低下を招くことなく、過去から継続的に、人物を検索することを目的とする。 The present invention has been made in view of such problems, and an object thereof is to search for a person continuously from the past without causing a reduction in processing speed.
そこで、本発明は、情報処理装置であって、人物の検索指示を受け付ける受付手段と、前記検索指示を受け付けた受付時点より前に撮像手段から入力され、記憶手段に記憶された映像から抽出された人物の特徴と、前記検索指示に係る対象人物から抽出された特徴と、に基づいて、前記記憶手段に記憶されている映像から、前記対象人物を検索する第1の検索処理を行う第1の検索手段と、前記受付時点の後に前記撮像手段から入力された映像から抽出された人物の特徴と、前記検索指示に係るクエリ画像から抽出された前記対象人物の特徴と、に基づいて、前記受付時点の後に入力された映像から前記対象人物を検索する第2の検索処理を行う第2の検索手段とを有し、前記第1の検索手段は、前記受付時点から前記第2の検索手段による前記第2の検索処理の準備が完了し、前記第2の検索処理を開始するまでの間に入力された映像に対して、前記第1の検索処理を行うことを特徴とする。 Therefore, the present invention is an information processing apparatus, which is a receiving unit that receives a search instruction for a person, and is extracted from an image that is input from an imaging unit and stored in a storage unit before the reception point when the search instruction is received. A first search process for searching for the target person from the video stored in the storage unit based on the characteristics of the selected person and the characteristics extracted from the target person related to the search instruction. Based on the search means, the characteristics of the person extracted from the video input from the imaging means after the reception time point, and the characteristics of the target person extracted from the query image related to the search instruction, Second search means for performing a second search process for searching for the target person from a video input after the reception time point, wherein the first search means starts the second search means from the reception time point. by Serial are ready for the second search processing, the relative input image until starting the second search processing, and performs the first search process.
本発明によれば、処理速度の低下を招くことなく、過去から継続的に、人物を検索することができる。 According to the present invention, it is possible to search for a person continuously from the past without causing a decrease in processing speed.
以下、本発明の実施形態について図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(第1の実施形態)
図1は、第1の実施形態に係る監視システムを示す図である。監視システムは、情報処理装置100と、撮像部としてのカメラ112とを有し、クエリとして指定された人物の検索を行う。図1においては、人物検出システムが3台のカメラ112を有する場合を例示しているが、カメラ112の数は実施形態に限定されるものではない。情報処理装置100とカメラ112は、ネットワーク111を介して接続している。
(First embodiment)
FIG. 1 is a diagram illustrating a monitoring system according to the first embodiment. The monitoring system includes the
CPU101は、情報処理装置100全体を制御するCentral Processing Unitである。ROM102は、変更を必要としないプログラムやパラメータを格納するRead Only Memoryである。RAM103は、外部装置などから供給されるプログラムやデータを一時記憶するRandom Access Memoryである。外部記憶装置104は、情報処理装置100に固定して設置されたハードディスクやメモリカードなどの記憶装置である。なお、外部記憶装置104は、情報処理装置100から着脱可能なフレキシブルディスク(FD)やCompact Disk(CD)等の光ディスク、磁気や光カード、ICカード、メモリカードなどを含んでもよい。なお、後述する情報処理装置100の機能や処理は、CPU101がROM102や外部記憶装置104に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
The
入力I/F105は、ユーザの操作を受け、データを入力するポインティングデバイスやキーボードなどの入力部109とのインターフェースである。出力デバイスI/F106は、情報処理装置100の保持するデータや供給されたデータを表示するためのモニタ110とのインターフェースである。通信I/F107は、インターネットなどのネットワーク111に接続する。カメラ112は、監視カメラなどの映像の撮像装置であり、ネットワーク111を介して情報処理装置100に接続されている。システムバス108は、101〜107の各ユニットを通信可能に接続する伝送路である。
The input I /
図2は、情報処理装置100のソフトウェア構成を示す図である。情報処理装置100は、画像特徴として顔から得る顔画像特徴を用い、これを利用した画像特徴検索を行う。映像受付部201は、カメラ112により撮影され、カメラ112から情報処理装置100に入力された映像を受け付ける。映像記憶部202は、映像受付部201が受け付けた映像を記憶する。
FIG. 2 is a diagram illustrating a software configuration of the
追尾部203は、映像受付部201が受け付けた映像中の人物の追尾を行う。追尾部203は、具体的には、動きベクトルから物体を検出し、次フレームでの探索位置を推定しテンプレートマッチングにより人物追尾を行う。人物追尾処理に関しては、下記の文献を参照することができる。
特開2002−373332号公報
追尾部203は、同じ人物を追尾している追尾トラックに対して同じ追尾トラックIDを発行し、異なる人物の追尾トラックに対しては異なる追尾トラックIDを発行する。これにより、一意性が担保され、追尾トラックIDから同一人物の特定が可能となる。なお、追尾部203は、同じ人物であっても、追尾が途切れた場合は、異なる追尾トラックIDを発行する。
The
JP 2002-373332 A
The
顔検出部204は、映像中のフレーム画像等から顔検出を行う。顔検出部204は例えば、追尾部203で追尾された人物のフレーム画像のそれぞれから顔検出を行う。また、映像受付部201から入力された映像や、後述するクエリ画像から、顔検出を行う。顔検出部204は、処理対象の画像に対し、片目候補領域を検出し、複数の片目候補領域からペアリングを行い、ペアリングされた両目位置に基づいて顔領域を決定する。なお、画像から人物の顔を検出する方法については、以下の文献を参照することができる。
特開2010−165156号公報
The
JP 2010-165156 A
代表決定部205では、追尾された人物のフレーム画像群から、代表となる顔画像を選択する。以下、代表となる顔画像を代表画像と称する。代表決定部205は、例えば、顔検出部204で検出された顔画像のうち、顔サイズの大きい画像を選択する。顔サイズを用いる理由として、画像特徴の精度の問題が有る。顔画像が大きいほど、精度の高い画像特徴が得られるからである。すなわち、顔画像から画像特徴を算出する際、顔画像の大きさを一定の大きさに変倍する顔サイズ正規化処理を行う必要がある。その際、顔画像が上記一定の大きさよりも大きい場合には縮小処理を行い情報のロスは比較的小さいが、上記一定の大きさよりも小さい場合には超解像度処理の様な画素補完を行う必要があり、情報の劣化が激しい。
The
また、他の例としては、代表決定部205は、フレーム画像群から複数の画像を代表画像として選択してもよい。例えば、複数の顔の向きの画像を選択する方法がある。同じ人の画像であっても、顔向きが異なるとその画像から得られる画像特徴が異なるためである。
As another example, the
代表決定部205は、特徴として勾配方向ヒストグラム(Histogram of Oriented Gradient,HOG)を抽出し、SVRで顔の向きを推定する。勾配方向ヒストグラムは、画像の輝度勾配情報を画像の局所毎にヒストグラム化した特徴で、局所的なノイズや画像の明暗にロバストな特徴として知られている。ノイズや照明変動のような、顔の向きに関係のない変動にロバストな特徴を選択することで、実環境においても安定した顔向き推定を実現している。画像から人物の顔向きを検出する方法については、以下の文献を参照することができる。
Erik Muphy−Chutorian, "Head pose estimation for driver assistance systems:A robust algorithm and experimental evaluation," in Proc. IEEE Conf. Intelligent Transportation Systems, 2007, pp. 709−714.
The
Erik Muphy-Chutorian, "Head posture estimation for driver assistance systems: A robust algorithm and experimental evaluation," in Proc. IEEE Conf. Intelligent Transportation Systems, 2007, pp. 709-714.
また、代表決定部205は、人物の顔向きに代えて、人物の人体の向きを検出するようにしてもよい。人体の向きの検出は、例えば、以下の文献に記載の方法を用いることができる。
特開2011−186576号公報
Further, the
JP 2011-186576 A
また、他の例としては、代表決定部205はさらに、画像のブレが少ない画像を代表画像として選択してもよい。動画を撮影するカメラでも静止画のカメラと同様に、その場所の明るさに従いシャッター速度が変わる場合がある。従って、暗い場所や被写体の動き速度により、顔画像のブレが生じることがあり、これは直接的に画像特徴や属性情報の劣化の原因となる。ブレの推定に関しては、代表決定部205は、顔画像領域の周波数成分を求め、低周波成分と高周波成分との比率を求め、これが低周波成分の比率が所定の値を超えた時にブレを生じていると判断すればよい。その他、代表決定部205は、眼つぶりや口あき等の顔画像については、代表画像として選択しないようにしてもよい。眼つぶりや口あき等があると、器官の画像特徴が変質する可能性があるためである。
As another example, the
特徴算出部206は、処理対象の顔画像の画像特徴の算出を行う。特徴算出部206は、具体的には、人物の顔画像内の目・口などの器官点を求め、各器官点のSIFT(Scale Invariant Feature Transform)特徴を算出する。なお、この特徴は例であり、算出される特徴の種類は実施形態に限定されるものではない。第1の特徴記憶部207は、映像受付部201が受け付けた映像に対して特徴算出部206において算出された画像特徴を記憶する。第1の特徴記憶部207はさらに、画像特徴のメタデータとして、人物のIDや人物を追尾したときの追尾トラックID、撮影時刻や撮影したカメラ112のカメラIDを関連付けて記憶する。第1の特徴記憶部207は、例えば、外部記憶装置104である。
The
クエリ受付部208は、クエリ画像の指定を受け付ける。ここで、クエリ画像とは、検索キーとなる人物の顔画像である。検索キーとなる人物を対象人物と称する。例えば、CPU101は、外部記憶装置104に記憶された顔画像をモニタ110に表示する。そして、ユーザは、モニタ110を見ながら、入力部109を介して、検索したい人物の顔画像をクエリ画像として選択する。これに対応し、クエリ受付部208は、ユーザにより選択されたクエリ画像を受け付ける。なお、クエリ画像は、1枚でもよく2枚以上であってもよい。
The
第2の特徴記憶部209は、クエリ受付部208が受け付けたクエリ画像(顔画像)の画像特徴を記憶する。ここで、クエリ画像の画像特徴は、対象人物に対して予め定められた基準特徴の一例である。なお、クエリ画像の画像特徴は、特徴算出部206により算出される。第2の特徴記憶部209は、例えば、外部記憶装置104である。第2の特徴記憶部209へのクエリ画像の画像特徴の記録は、CPU101により行われる。第2の特徴記憶部209にクエリ画像の画像特徴を記録する処理は、後述の第2の検索部212により実行される入力画像の検索処理を開始するための準備処理である。また、CPU101は、後述する対象除外の指示を受け付けた場合には、第2の特徴記憶部209から画像特徴を削除する。
The second
第1の検索部211は、第1の検索処理を実行する。ここで、第1の検索処理は、クエリ画像から算出された画像特徴をクエリとし、第1の検索処理に対して設定された検索範囲の映像から対象人物を検索する処理である。本実施形態に係る第1の検索部211は、第1の特徴記憶部207に記憶された画像特徴を検索範囲とし、第1の特徴記憶部207において、類似度が所定閾値よりも高い画像特徴を特定する。類似度の算出にあたっては、各器官点のSIFT特徴の距離の総和を求め、距離の総和を正規化し、類似度を求める。
The
第2の検索部212は、第2の検索処理を実行する。ここで、第2の検索処理は、第2の特徴記憶部209に記憶された画像特徴(基準特徴)をクエリとし、第2の検索処理に対して設定された検索範囲の映像から対象人物を検索する処理である。本実施形態に係る第2の検索部212は、クエリ画像を指定した検索指示を受け付けた時点以降に、映像受付部201が受け付けた映像から算出された画像特徴を検索範囲とする。ここで、検索範囲には、映像受付部201が受け付けた映像の他、一時記憶部210に記憶されている映像も含まれる。第2の検索部212は、検索範囲において、類似度が所定閾値よりも高い画像特徴を特定する。類似度の算出の方法は、第1の検索部211において説明したのと同様である。
The
表示処理部213は、第1の検索部211の検索結果と第2の検索部212の識別結果を統合し、その結果をモニタ110に表示する。表示処理部213は、例えば、カメラ112毎に、検索結果を分類して撮影時刻順にモニタ110に表示する。また、他の例としては、表示処理部213は、カメラ112の設置位置をマップ表示し、撮影時刻をもとに移動履歴をモニタ110に表示する。なお、表示内容は、実施形態に限定されるものではない。
The
除外受付部214は、迷子や乗り遅れ客を確保するなどして、検索する必要が無くなった人物の情報を受け付け、該人物の画像特徴を第2の特徴記憶部209から削除する。表示処理部213のユーザインタフェース上で迷子や乗り遅れ客の確保したことを指定することが可能である。また、航空機の乗り遅れ客を検索する場合は、航空機の搭乗口を通過したことを検知し、それをトリガとして該人物の画像特徴を第2の特徴記憶部209から削除することも可能である。
The
図3は、情報処理装置100による、映像記録処理を示すフローチャートである。映像記録処理は、映像受付部201が受け付けた映像を検索可能なように蓄積する処理である。S301において、映像受付部201は、映像を受け付ける。次に、S302において、CPU101は、S301において受け付けた映像を映像記憶部202に記録する。このとき、CPU101は、映像のメタデータとして、撮影時刻や撮影したカメラ112のカメラIDを関連付けて記録する。本処理は、カメラ112から入力された映像を記憶部に記録する記録処理の一例である。
FIG. 3 is a flowchart showing video recording processing by the
次に、S303において、追尾部203は、各フレーム画像から人物を検出し、追尾を行う。ここで、検出された人物にはフレーム画像毎に別々の人物IDが割り振られ、フレーム画像中の人物の座標とともに一時記憶される。また、追尾を行っている人物に対しては、同じ追尾トラックIDが割り振られ、追尾を行っているフレーム画像のIDとともに一時記憶される。次に、S304において、追尾部203は、追尾が途切れた人物が存在する場合には(S304でYES)、処理をS305へ進める。追尾部203は、追尾が途切れた人物が存在しない場合には(S304でNO)、処理をS301へ進める。
Next, in S303, the
S305において、顔検出部204は、追尾部203で追尾された人物のフレーム画像のそれぞれから顔検出を行う。次に、S306において、代表決定部205は、追尾された人物のフレーム画像群から、代表となる顔画像を1枚もしくは複数枚選択する。次に、S307において、特徴算出部206は、S306において選択された1枚もしくは複数枚の顔画像から顔画像特徴の算出を行う。
In step S <b> 305, the
次に、S308において、CPU101は、S307で算出された画像特徴を第1の特徴記憶部207に記録する。CPU101はさらに、画像特徴のメタデータとして、人物IDや人物を追尾したときの追尾トラックID、撮影時刻や撮影カメラを関連付けて記録する。次に、S309において、CPU101は、蓄積処理の終了指示を受け付けたか否かを確認する。CPU101は、終了指示を受け付けた場合には(S309でYES)、処理を終了する。CPU101は、終了指示を受け付けなかった場合には(S309でNO)、処理をS301へ進める。以上の処理により、カメラ112から入力された映像に写る人物の顔画像の画像特徴が第1の特徴記憶部207に蓄積され、検索可能な状態になる。
Next, in S <b> 308, the
次に、情報処理装置100による人物検索処理について説明する。人物検索処理の説明に先立ち、図4を参照しつつ、第1の検索部211による第1の検索処理と、第2の検索部212による第2の検索処理と、について説明する。図4(a)は、第1の検索処理及び第2の検索処理の説明図である。第1の検索処理では、抽出された画像特徴をクエリとした照合が行われる。このため、任意の人物をクエリにした検索が可能である。他方、第2の検索処理では、クエリ人物の画像特徴を事前登録しておく必要がある。
Next, person search processing by the
精度に関しては、第2の検索処理は、機械学習等による精度面でのメリットがある。速度に関して、第1の検索処理は、登録が完了した映像の検索に関しては速いが、第1の特徴記憶部207に反映するまでに時間が掛かるのでスループット(登録及び検索)の観点ではやや劣る。他方、第2の検索処理では、事前登録する人物数をある程度の数に抑えておけばリアルタイムに認証を行うことができるので、スループットが高いと考える。
Regarding the accuracy, the second search process has an advantage in accuracy by machine learning or the like. Regarding the speed, the first search process is fast with respect to the search of the video for which registration has been completed, but it takes a little time to be reflected in the first
従って、好ましい用途としては、第1の検索処理は、過去の大量画像からの任意の人物を蓄積動画からの検索であり、第2の検索処理は、限られた人数の特定人物をリアルタイムに識別することである。 Therefore, as a preferable application, the first search process is a search from an accumulated video of an arbitrary person from a large number of past images, and the second search process is to identify a limited number of specific persons in real time. It is to be.
このため、本実施形態に係る情報処理装置100は、クエリ人物の指定の指示を受け付け、人物検索を開始した時点より前(過去)の映像に関しては第1の検索処理を行い、その時点より後(未来)の映像に対しては第2の検索処理を行うこととする。これにより、例えば迷子探しを適切に行うことができる。過去の映像に対しても検索を行うのは、全てのカメラ112に映らない場所に居ることも考えられるため過去の居場所の情報も重要であり、また移動先の推定にも役立つためである。
For this reason, the
ただし、第1の検索処理と第2の検索処理を単に組み合わせるだけでは問題が生ずる。図4(b)は、第1の検索処理と第2の検索処理において検索される検索範囲(時間範囲)を示す図である。第1の検索処理では、第1の特徴記憶部207に記録された映像を検索範囲とする。このため、クエリ指定を受け付けた受付時点の映像が検索可能となるまでには、少々の準備期間(ディレイ)401が生じる。ここで、準備期間は、映像受付部201が検索指示を受け付けた受付時点から、後述の第2の検索部212による検索処理の準備処理が完了する準備完了時点までの期間である。
However, simply combining the first search process and the second search process causes a problem. FIG. 4B is a diagram illustrating a search range (time range) searched in the first search process and the second search process. In the first search process, the video recorded in the first
第2の検索処理においても、各カメラ112の映像から検索する画像特徴のセットや学習等の初期化処理に時間が掛かり、検出処理が可能となるまでの準備期間(ディレイ)402が生じる。このため、準備期間401と準備期間402とを加えた時間帯である検索不可能時間帯403が生じることとなる。監視システムの様なセキュリティ用途において、検索不可能時間帯403を少なくするのが望ましい。
Also in the second search processing, initialization processing such as setting of image features to be searched from the video of each
図5は、情報処理装置100による検索処理を示すフローチャートである。S501において、クエリ受付部208は、検索クエリとなる人物のクエリ画像を指定した検索指示を受け付ける。CPU101は、S501の処理の後、3つのスレッドにて処理を実行する。第1のスレッドは、第1の検索処理を行うスレッドであり、S502〜S505の処理を含む。第2のスレッドは、第2の検索処理を行うスレッドであり、S511〜S513の処理を含む。第3のスレッドは、検索結果を統合し、表示する処理であり、S521、S522の処理を含む。
FIG. 5 is a flowchart showing search processing by the
第1のスレッドのS502において、第1の検索部211は、第1の検索処理を行うことにより、対象人物の検索を行う。なお、この場合の検索範囲は、第1の特徴記憶部207に記憶されている映像、すなわち、検索指示を受け付けた受付時点よりも前に情報処理装置100に入力され、映像記憶部202に記憶された映像の画像特徴である。また、検索クエリは、検索指示に係るクエリ画像から検出された顔画像の画像特徴である。第1の検索部211は、検索により得られた画像と、画像の撮影場所と、時刻等の情報を表示処理部213へ送る。
In S502 of the first thread, the
次に、S503において、第1の検索部211は、第2の検索部212による第2の検索処理が開始したか否かを確認する。第1の検索部211は、第2の検索処理が開始した場合には(S503でYes)、処理をS505へ進める。第1の検索部211は、第2の検索処理が開始していない場合には(S503でNo)、処理をS504へ進める。
Next, in S <b> 503, the
S504において、第1の検索部211は、再び、第1の検索処理を行う。なお、S504における第1の検索処理の検索範囲は、第1の特徴記憶部207に記憶されている画像特徴のうち、既に実行済みの第1の検索処理の検索範囲に設定されていない画像特徴である。第1の検索部211は、その後処理をS503へ進める。このように、第1の検索部211はだ、第2の検索処理が開始するまで、新たに入力された映像の特徴を検索範囲として、第1の検索処理を繰り返し実行する。第1の検索部211はさらに、検索により得られた画像と、画像の撮影場所と、時刻等の情報を表示処理部213へ送る。そして、S505において、第1の検索部211は、第1の検索処理を停止する。以上で、第1のスレッドの処理が終了する。このように、第2の検索処理が開始されるまでの期間に入力された映像に対しては、第1の検索処理の検索範囲に設定され、第1の検索処理が行われる。したがって、検索不可能時間帯403を短くすることができる。
In S504, the
第2のスレッドのS511においては、第2の検索部212は、第2の検索処理を開始するための準備処理を行う。準備処理は、対象人物のクエリ画像の画像特徴を基準特徴として第2の特徴記憶部209に登録(記録)する処理である。S511において、表示処理部213は、クエリ画像をモニタ110に表示してもよい。次に、S512において、第2の検索部212は、基準特徴に基づき、受付時点より後に、情報処理装置100に入力された映像から対象人物を検索する第2の検索処理を開始する。そして、第2の検索部212は、検索により得られた画像と、画像の撮影場所と、時間等の情報を表示処理部213へ送る。なお、S512において第2の検索処理が開始されると、前述のS503において、第1の検索部211が第2の検索処理が開始したと判断し、第1の検索処理が停止する。
In S511 of the second thread, the
次に、S513において、第2の検索部212は、CPU101停止指示を受け付けたか否かを確認する。CPU101は、停止指示を受け付けなかった場合には(S513でNo)、第2の検索処理を継続する。CPU101は、停止指示を受け付けた場合には(S513でYes)、処理を終了する。例えば、迷子や乗り遅れ客を確保する等して、クエリとして指定された人物の検索が必要なくなった場合に、ユーザは、停止指示を入力する。
Next, in S513, the
第3のスレッドのS521において、表示処理部213は、S502、S504、S512において得られた検出結果を統合し、統合後の検出結果をモニタ110に表示する。次に、S522において、CPU101は、停止指示を受け付けたか否かを確認する。CPU101は、停止指示を受け付けなかった場合には(S522でNo)、処理をS521へ進め、表示処理を継続する。CPU101は、停止指示を受け付けた場合には(S522でYes)、処理を終了する。
In S521 of the third thread, the
以上のように、情報処理装置100は、検索不可能時間帯403について第1の検索処理により対象人物の検索を行い、その後第1の検索処理を停止する。そして、情報処理装置100は、停止指示を受け付けるまで。第2の検索処理により対象人物の検索を行う。また、クエリ人物を指定して検索実行時に未だ顔画像特徴検索にて特徴量がインデキシングされていない時間帯と、顔画像特徴識別開始までの時間帯を合わせた物に相当する検索不可能時間帯を、第1の検索処理を再帰的に行う事で少なくすることができる。このように、本実施形態の情報処理装置100は、処理速度の低下を招くことなく、過去から継続的に、人物を検索することができる。
As described above, the
(第2の実施形態)
次に、第2の実施形態に係る監視システムについて説明する。第2の実施形態に係る監視システムの情報処理装置100は、第1の検索処理を第2の検索処理の前に行い、第1の検索処理において検出された画像を、第2の検索処理において利用する。これにより、検索精度を向上させることができる。
(Second Embodiment)
Next, a monitoring system according to the second embodiment will be described. The
以下、第2の実施形態に係る監視システムについて、第1の実施形態に係る監視システムと異なる点について説明する。図6は、第2の実施形態に係る情報処理装置100による検索処理を示すフローチャートである。S601において、クエリ受付部208は、検索クエリとなる人物のクエリ画像を指定した検索指示を受け付ける。CPU101は、601の処理の後、2つのスレッドにて処理を実行する。第1のスレッドは検索を行うスレッドであり、S602〜S617の処理を含む。第2のスレッドは、検索結果を統合し、表示する処理であり、S621、S622の処理を含む。
Hereinafter, the difference between the monitoring system according to the second embodiment and the monitoring system according to the first embodiment will be described. FIG. 6 is a flowchart showing search processing by the
第1のスレッドのS602において、第1の検索部211は、第1の検索処理を行うことにより、対象人物の検索を行う。なお、この場合の検索範囲は、第1の特徴記憶部207に記憶されている映像、すなわち、検索指示を受け付けた受付時点よりも前に情報処理装置100に入力され、映像記憶部202に記憶された映像の画像特徴である。また、検索クエリは、検索指示に係るクエリ画像から検出された顔画像の画像特徴である。第1の検索部211は、検索により得られた画像と、画像の撮影場所と、時刻等の情報を表示処理部213へ送る。
In step S602 of the first thread, the
CPU101はさらに、S602の処理の後、2つのスレッドにて処理を実行する。第11のスレッドは、第1の検索処理を継続するスレッドであり、S603〜S605の処理を含む。第12のスレッドは、第2の検索処理を行うスレッドであり、S611〜S617の処理を含む。第11のスレッドのS603〜S605の処理は、図5を参照しつつ説明した、第1の実施形態の検索処理のS503〜S505の処理と同様である。
The
第12のスレッドのS611において、第2の検索部212は、S602における第1の検索処理において対象人物が検出されたか否かを確認する。第2の検索部212は、対象人物を検出した場合には(S611でYes)、処理をS612へ進める。第2の検索部212は、対象人物を検出しなかった場合には(S611でNo)、処理をS615へ進める。S612において、第2の検索部212は、クエリ画像だけでなく、S602における第1の検索処理において対象人物が検出された検出画像を利用して、第2の検索処理を行うべく、その準備を行う。
In S611 of the twelfth thread, the
次に、S613において、第2の検索部212は、クエリ画像と検出画像とを利用した、第2の検索処理を開始する。次に、S614において、第2の検索部212は、停止指示を受け付けたか否かを確認する。第2の検索部212は、停止指示を受け付けた場合には(S614でYes)、第21のスレッド処理を終了する。第2の検索部212は、停止指示を受け付けなかった場合には(S614でNo)、第2の検索処理を継続する。S615においては、第2の検索部212は、クエリ画像のみを利用した第2の検索処理を行うべくその準備処理を行う。なお、S615〜S617の処理は、図5を参照しつつ説明した、第1の実施形態の検索処理のS511〜513の処理と同様である。
Next, in S613, the
第2のスレッドのS621においては、表示処理部213は、S602、S604、S613、S616において得られた検出結果を統合し、統合した研修結果をモニタ110に表示する。次に、S622において、CPU101は、停止指示を受け付けたか否かを確認する。CPU101は、停止指示を受け付けなかった場合には(S622でNo)、処理をS621へ進め、表示処理を継続する。CPU101は、停止指示を受け付けた場合には(S622でYes)、処理を終了する。なお、第2の実施形態に係る監視システムのこれ以外の構成及び処理は、第1の実施形態に係る監視システムの構成及び処理と同様である。
In S621 of the second thread, the
以上のように、第2の実施形態の情報処理装置100は、検索指示の受付時点よりも前に情報処理装置100に入力され、映像記憶部202に記憶された映像の特徴を検索範囲とする第1の検索処理を第2の検索処理の前に実行する。そして、情報処理装置100は、この第1の検索処理の後に、この第1の検索処理において得られた対象人物の検出画像を用いて第2の検索処理を行う。これにより、検索精度を向上させることができる。さらに、情報処理装置100は、第1の実施形態と同様に、第2の検索処理が開始するまでは、異なる検索範囲において第1の検索処理を継続する。したがって、情報処理装置100は、処理速度の低下を招くことなく、過去から継続的に、人物を検索することができる。
As described above, the
以下、第1の実施形態及び第2の実施形態の変更例について説明する。第1の変更例としては、画像特徴は、顔画像の画像特徴に限定されるものではない。他の例としては、画像特徴は、人体全体から得る人体画像特徴であってもよい。人体画像特徴としては、例えば身長と体幅の比率や、頭身や身長に占める足の長さの比率などの数値が挙げられる。また他の例としては、情報処理装置100は、画像特徴に替えて、顔を含む人体全体から得られる人物の属性情報を用いてもよい。属性情報の例としては、人種、性別、年齢、メガネの有無、髭、服の色等がある。
Hereinafter, modified examples of the first embodiment and the second embodiment will be described. As a first modification, the image feature is not limited to the image feature of the face image. As another example, the image feature may be a human body image feature obtained from the entire human body. Examples of human body image characteristics include numerical values such as a ratio of height to body width and a ratio of foot length to head and body and height. As another example, the
また他の例としては、情報処理装置100は、画像特徴と属性情報の両方を、画像特徴として用いてもよい。例えば、情報処理装置100は、画像特徴用の第1の検索処理及び第2の検索処理のスコアと、属性情報用の第1の検索処理及び第2の検索処理のスコアと、を個別に算出する。そして、情報処理装置100は、両スコアの重み付け和を総合スコアとして算出してもよい。
As another example, the
第2の変更例としては、情報処理装置100は、クエリ人物と検索結果としての画像とを区別可能に表示してもよい。これにより、誤検索か否かをユーザが確認することができる。
As a second modification, the
第3の変更例としては、第1の検索部211及び第2の検索部212のうち少なくとも一方は、対象人物の複数の画像を検出した場合に、顔の向きが異なる画像を優先的に検出することとしてもよい。
As a third modification, when at least one of the
第4の変更例としては、第1の検索部211及び第2の検索部212のうち少なくとも一方は、処理時点により近い時点において撮影された画像を、優先的に検出することとしてもよい。迷子等人物確保を目的とする場合に有用である。
As a fourth modification, at least one of the
第5の変更例としては、情報処理装置100の第1の検索部211は、第2の検索処理が開始するまでに情報処理装置100に入力された映像に対し第2の検索処理を行えばよく、そのための具体的な処理は、実施形態に限定されるものではない。他の例としては、第1の検索部211は、第2の検索処理が開始した時点で、第2の検索処理が開始するまでに情報処理装置100に入力され、映像記憶部202に記憶されている映像の特徴を検索範囲とする第1の検索処理を1回行うこととしてもよい。
As a fifth modification example, if the
以上、上述した各実施形態によれば、処理速度の低下を招くことなく、過去から継続的に、人物を検索することができる。 As described above, according to each embodiment described above, it is possible to search for a person continuously from the past without causing a decrease in processing speed.
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。 Although the present invention has been described in detail based on preferred embodiments thereof, the present invention is not limited to these specific embodiments, and various forms within the scope of the present invention are also included in the present invention. included. A part of the above-described embodiments may be appropriately combined.
上述の説明においては、第1の検索処理において、類似度が所定閾値よりも高い画像特徴を特定することにより、対象人物の検出画像を取得できるようにしている。しかし、例えば、情報処理装置100を使用する使用者(監視員)が対象人物を特定し、その情報が情報処理装置100の入力手段により入力されることにより、その対象人物の検出画像を取得できるようにしてもよい。
In the above description, in the first search process, the detected image of the target person can be acquired by specifying an image feature whose similarity is higher than a predetermined threshold. However, for example, when a user (monitor) who uses the
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other examples)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
100 情報処理装置
201 映像受付部
202 映像記憶部
211 第1の検索部
212 第2の検索部
DESCRIPTION OF
Claims (12)
前記検索指示を受け付けた受付時点より前に撮像手段から入力され、記憶手段に記憶された映像から抽出された人物の特徴と、前記検索指示に係る対象人物から抽出された特徴と、に基づいて、前記記憶手段に記憶されている映像から、前記対象人物を検索する第1の検索処理を行う第1の検索手段と、
前記受付時点の後に前記撮像手段から入力された映像から抽出された人物の特徴と、前記検索指示に係るクエリ画像から抽出された前記対象人物の特徴と、に基づいて、前記受付時点の後に入力された映像から前記対象人物を検索する第2の検索処理を行う第2の検索手段と
を有し、
前記第1の検索手段は、前記受付時点から前記第2の検索手段による前記第2の検索処理の準備が完了し、前記第2の検索処理を開始するまでの間に入力された映像に対して、前記第1の検索処理を行うことを特徴とする情報処理装置。 A receiving means for receiving a person search instruction;
Based on the characteristics of the person extracted from the video input from the imaging means and stored in the storage means before the reception time when the search instruction is received, and the characteristics extracted from the target person related to the search instruction First search means for performing a first search process for searching for the target person from the video stored in the storage means;
Based on the characteristics of the person extracted from the video input from the imaging means after the reception time point and the characteristics of the target person extracted from the query image related to the search instruction, input after the reception time point Second search means for performing a second search process for searching for the target person from the recorded video,
The first search means performs an operation on the input video from the reception time point until the second search process is completed by the second search means until the second search process is started. An information processing apparatus that performs the first search process.
前記統合手段による統合後の前記検索結果を表示する表示手段と
をさらに有することを特徴とする請求項1に記載の情報処理装置。 Integration means for integrating the search results of the first search means and the search results of the second search means;
The information processing apparatus according to claim 1, further comprising display means for displaying the search result after integration by the integration means.
人物の検索指示を受け付ける受付ステップと、
前記検索指示を受け付けた受付時点より前に撮像手段から入力され、記憶手段に記憶された映像から抽出された人物の特徴と、前記検索指示に係る対象人物から抽出された特徴と、に基づいて、前記記憶手段に記憶されている映像から、前記対象人物を検索する第1の検索処理を行う第1の検索ステップと、
前記受付時点の後に前記撮像手段から入力された映像から抽出された人物の特徴と、前記検索指示に係るクエリ画像から抽出された前記対象人物の特徴と、に基づいて、前記受付時点の後に入力された映像から前記対象人物を検索する第2の検索処理を行う第2の検索ステップと
を含み、
前記第1の検索ステップでは、前記受付時点から前記第2の検索ステップにおける前記第2の検索処理の準備が完了し、前記第2の検索処理を開始するまでの間に入力された映像に対して、前記第1の検索処理を行うことを特徴とする情報処理方法。 An information processing method executed by an information processing apparatus,
A reception step for receiving a person search instruction;
Based on the characteristics of the person extracted from the video input from the imaging means and stored in the storage means before the reception time when the search instruction is received, and the characteristics extracted from the target person related to the search instruction A first search step of performing a first search process for searching for the target person from the video stored in the storage means;
Based on the characteristics of the person extracted from the video input from the imaging means after the reception time point and the characteristics of the target person extracted from the query image related to the search instruction, input after the reception time point A second search step of performing a second search process for searching for the target person from the recorded video,
In the first search step, for the input video from the reception time point until the second search process in the second search step is completed and the second search process is started. And performing the first search process.
人物の検索指示を受け付ける受付手段と、
前記検索指示を受け付けた受付時点より前に撮像手段から入力され、記憶手段に記憶された映像から抽出された人物の特徴と、前記検索指示に係る対象人物から抽出された特徴と、に基づいて、前記記憶手段に記憶されている映像から、前記対象人物を検索する第1の検索処理を行う第1の検索手段と、
前記受付時点の後に前記撮像手段から入力された映像から抽出された人物の特徴と、前記検索指示に係るクエリ画像から抽出された前記対象人物の特徴と、に基づいて、前記受付時点の後に入力された映像から前記対象人物を検索する第2の検索処理を行う第2の検索手段と
して機能させ、
前記第1の検索手段は、前記受付時点から第2の検索手段による前記第2の検索処理の準備が完了し、前記第2の検索処理を開始するまでの間に入力された映像に対して、前記第1の検索処理を行うプログラム。 Computer
A receiving means for receiving a person search instruction;
Based on the characteristics of the person extracted from the video input from the imaging means and stored in the storage means before the reception time when the search instruction is received, and the characteristics extracted from the target person related to the search instruction First search means for performing a first search process for searching for the target person from the video stored in the storage means;
Based on the characteristics of the person extracted from the video input from the imaging means after the reception time point and the characteristics of the target person extracted from the query image related to the search instruction, input after the reception time point Functioning as a second search means for performing a second search process for searching for the target person from the recorded video,
The first search unit is configured to process an image input from the reception time point until the second search process is completed by the second search unit and the second search process is started. A program for performing the first search process.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016083882A JP6762754B2 (en) | 2016-04-19 | 2016-04-19 | Information processing equipment, information processing methods and programs |
KR1020170045801A KR102284448B1 (en) | 2016-04-19 | 2017-04-10 | Information processing apparatus, information processing method, and storage medium |
EP17000633.2A EP3236366B1 (en) | 2016-04-19 | 2017-04-12 | Information processing apparatus, information processing method, and storage medium |
US15/490,345 US10664523B2 (en) | 2016-04-19 | 2017-04-18 | Information processing apparatus, information processing method, and storage medium |
CN201710253807.XA CN107305693B (en) | 2016-04-19 | 2017-04-18 | Information processing apparatus, information processing method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016083882A JP6762754B2 (en) | 2016-04-19 | 2016-04-19 | Information processing equipment, information processing methods and programs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017194798A true JP2017194798A (en) | 2017-10-26 |
JP6762754B2 JP6762754B2 (en) | 2020-09-30 |
Family
ID=60156084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016083882A Active JP6762754B2 (en) | 2016-04-19 | 2016-04-19 | Information processing equipment, information processing methods and programs |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6762754B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020261508A1 (en) * | 2019-06-27 | 2020-12-30 | Nec Corporation | Image processing device, person search system, image processing method, and non-transitory computer readable medium |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040117638A1 (en) * | 2002-11-21 | 2004-06-17 | Monroe David A. | Method for incorporating facial recognition technology in a multimedia surveillance system |
US20070248244A1 (en) * | 2006-04-06 | 2007-10-25 | Mitsubishi Electric Corporation | Image surveillance/retrieval system |
JP2010257449A (en) * | 2009-03-31 | 2010-11-11 | Sogo Keibi Hosho Co Ltd | Device, method, and program for retrieving person |
WO2014050518A1 (en) * | 2012-09-28 | 2014-04-03 | 日本電気株式会社 | Information processing device, information processing method, and information processing program |
-
2016
- 2016-04-19 JP JP2016083882A patent/JP6762754B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040117638A1 (en) * | 2002-11-21 | 2004-06-17 | Monroe David A. | Method for incorporating facial recognition technology in a multimedia surveillance system |
US20070248244A1 (en) * | 2006-04-06 | 2007-10-25 | Mitsubishi Electric Corporation | Image surveillance/retrieval system |
JP2007280043A (en) * | 2006-04-06 | 2007-10-25 | Mitsubishi Electric Corp | Video monitoring and search system |
JP2010257449A (en) * | 2009-03-31 | 2010-11-11 | Sogo Keibi Hosho Co Ltd | Device, method, and program for retrieving person |
WO2014050518A1 (en) * | 2012-09-28 | 2014-04-03 | 日本電気株式会社 | Information processing device, information processing method, and information processing program |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020261508A1 (en) * | 2019-06-27 | 2020-12-30 | Nec Corporation | Image processing device, person search system, image processing method, and non-transitory computer readable medium |
JP2022535540A (en) * | 2019-06-27 | 2022-08-09 | 日本電気株式会社 | Image processing device, person search system, image processing method, and image processing program |
JP7264283B2 (en) | 2019-06-27 | 2023-04-25 | 日本電気株式会社 | Image processing device, person search system, image processing method, and image processing program |
Also Published As
Publication number | Publication date |
---|---|
JP6762754B2 (en) | 2020-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7375101B2 (en) | Information processing device, information processing method and program | |
CN107305693B (en) | Information processing apparatus, information processing method, and storage medium | |
KR100996066B1 (en) | Face-image registration device, face-image registration method, face-image registration program, and recording medium | |
US8965061B2 (en) | Person retrieval apparatus | |
JP4984728B2 (en) | Subject collation device and subject collation method | |
WO2020017190A1 (en) | Image analysis device, person search system, and person search method | |
JP6555906B2 (en) | Information processing apparatus, information processing method, and program | |
US10467461B2 (en) | Apparatus for searching for object and control method thereof | |
US10146992B2 (en) | Image processing apparatus, image processing method, and storage medium that recognize an image based on a designated object type | |
KR20120135469A (en) | Facial image search system and facial image search method | |
JP2010072723A (en) | Tracking device and tracking method | |
JP2019040306A (en) | Information processing device, information processing program, and information processing method | |
CN106529388A (en) | Information processing device and control method thereof | |
JP2017058833A (en) | Object identification device, object identification method, and program | |
JP2018186397A (en) | Information processing device, image monitoring system, information processing method, and program | |
JP6762754B2 (en) | Information processing equipment, information processing methods and programs | |
JP2019040592A (en) | Information processing device, information processing program, and information processing method | |
JP6555940B2 (en) | Subject tracking device, imaging device, and method for controlling subject tracking device | |
JP6736340B2 (en) | Information processing apparatus, information processing method, and program | |
JP2022028861A (en) | Information processing apparatus, information processing system, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190402 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200312 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200514 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200729 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200811 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200909 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6762754 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |