JP2005234765A - 画像取得装置及び捜索装置 - Google Patents

Abstract

【課題】 施設への入場時などに予め意識的に入場者等の顔画像を登録することなく、さらに被捜索者の関係者が被捜索者の写真や画像等を所有していない場合であっても、撮像装置によって撮像された画像の中から被捜索者を捜し出すこと。
【解決手段】 不特定の予め撮像された画像の中から、検出手段及び顔判断手段によって関係者の顔が検出される。検出された関係者の顔から所定の範囲内に位置する顔は被捜索者の可能性があるという推定基準のもと、このような顔画像が画像取得手段によって取得される。そして、画像取得手段によって取得された画像の中から、ユーザ（関係者）が被捜索者の顔画像を選択し、選択された画像が出力手段によって出力される。
【選択図】 図１

Description

本発明は、撮像装置によって撮像された画像を用いて特定の被捜索者を探す装置や、このような装置に用いられるソフトウェア等に適用されて有効な技術に関する。

従来、迷子などの被捜索者を探し出すシステムの構築が望まれている。このようなシステムの例として、捜索範囲に設置されている撮像装置によって撮像された画像の中から被捜索者を自動的に捜し出すシステムが提案されている。このとき、入力画像として被捜索者の画像が必要となる。このような画像として、例えば被捜索者が迷子である場合には、この迷子の親などが有している写真などが用いられる。また、例えば被捜索者が指名手配された容疑者である場合には、その容疑者の写真などが用いられる。

しかし、必ずしもこのような被捜索者の写真があるとは限らず、写真がない場合には目視によって人の力で探し出すほかなかった。このような問題を解決する技術の例として、ある施設に入場する際に予め入場者の画像を登録し、迷子が発生した時点で登録しておいた画像を用いて迷子を捜し出すシステムがある（例えば、特許文献１参照）。
特開２００１−２６６１３１号公報

しかしながら、入場の際などに入場者の画像をわざわざ撮像して登録することは、入場者にとっても施設の管理者にとっても煩わしい作業であり、自動化しようとしてもコストがかかっていた。また、入場口の数の増加に伴って多くの装置が必要となりコストが増加していた。さらに、入場口のように人が入場する場所が明確に区切られていない場合（例：公園，商店街のような広範囲の領域）には、予め入場者を登録すること自体がそもそも困難であった。またさらに、上記のように使用されるかわからない画像を入場の度に登録することは、プライバシーの観点から適当ではなく、入場者にとって必ずしも快いことではなかった。

本発明では、施設への入場時などに予め意識的に入場者等の顔画像を登録することなく、さらに被捜索者の関係者が被捜索者の写真や画像等を所有していない場合であっても、撮像装置によって撮像された画像の中から被捜索者を捜し出すことを可能とする技術を提供することを目的とする。

上記問題を解決するため、第一の態様は画像取得装置であって以下のように構成される。即ち、被捜索者と共に行動していた関係者の顔画像と、この関係者が被捜索者と共に行動していた範囲に設置された撮像装置により撮像された１以上の画像とに基づいて、１以上の画像から関係者の顔を含む画像を検出する検出手段，検出手段によって検出された関係者の画像中における位置から所定の範囲内に位置する他人の顔画像を、当該画像から抽出する抽出手段，及び、抽出手段によって抽出された顔画像を、被捜索者の顔画像の候補として出力する出力手段を備える。

第一の態様における画像取得装置では、被捜索者の顔画像の候補が、所定の範囲（関係者が被捜索者と共に行動していた範囲）に設置された撮像装置により撮像された１以上の画像から自動的に抽出される。このため、被捜索者の顔画像が予め明確に取得されていなくとも、被捜索者が発生した際に容易に被捜索者の顔画像の候補を取得することが可能と
なる。そして、関係者はこの候補の中から被捜索者の顔画像を容易に選択することが可能となる。従って、被捜索者となる可能性のある人物の顔を予め撮像するための装置を設置する必要が無く、このような装置に要するコストやスペースを削減することが可能となる。また、このような撮像に要する時間や手間を省くことが可能となり、撮像の対象とされていた人物（被捜索者となる可能性のある人物）が撮像される際に感じていた煩わしさやプライバシーに関する不安などを解消することが可能となる。

また、第一の態様における画像取得装置は、出力手段によって出力された顔画像の中からユーザによって選択された顔画像を被捜索者の顔画像として確定する確定手段，及び、確定手段によって確定された被捜索者の顔画像に基づいて、捜索範囲に設置された少なくとも１つの撮像装置により撮像される複数の画像中から被捜索者の顔が含まれると認められる画像を検索する検索手段をさらに備えるように構成されても良い。

このように構成された第一の態様における画像取得装置では、ユーザ（関係者）によって選択された被捜索者の顔画像に基づいて、被捜索者の捜索が実施される。このため、選択された被捜索者の顔画像を用いて目視による捜索を行う必要が無く、捜索に要する時間や手間を省くことが可能となる。

第二の態様は、捜索装置であって以下のように構成される。即ち、被捜索者と共に行動していた関係者の顔画像と、この関係者が被捜索者と共に行動していた範囲に設置された撮像装置により撮像された１以上の画像とに基づいて、１以上の画像から関係者の顔を含む画像を検出する検出手段，検出手段によって検出された画像の中からユーザによって選択された顔画像を被捜索者の顔画像として確定する確定手段，及び、確定手段によって確定された被捜索者の顔画像に基づいて、捜索範囲に設置された少なくとも１つの撮像装置により撮像される複数の画像中から被捜索者の顔が含まれると認められる画像を検索する検索手段を備える。

第二の態様における捜索装置では、関係者の顔を含む画像が検出手段によって検出され、この画像の中から関係者が被捜索者の顔を選択する。そして、関係者によって選択された被捜索者の顔画像を用いて、検索手段が、被捜索者の検索（捜索）を行う。このため、第一の態様のように被捜索者の候補が抽出されることはないが、関係者は、検出手段によって検出された画像の中から被捜索者の顔画像を選択することが可能となる。従って、被捜索者となる可能性のある人物の顔を予め撮像するための装置を設置する必要が無く、このような装置に要するコストやスペースを削減することが可能となる。また、このような撮像に要する時間や手間を省くことが可能となり、撮像の対象とされていた人物（被捜索者となる可能性のある人物）が撮像される際に感じていた煩わしさやプライバシーに関する不安などを解消することが可能となる。

また、第二の態様における捜索装置では、検索手段によって被捜索者の検索も自動的に行われる。このため、選択された被捜索者の顔画像を用いて目視による捜索を行う必要が無く、捜索に要する時間や手間を省くことが可能となる。

第三の態様は画像取得装置であって以下のように構成される。即ち、予め撮像された画像から人の顔を検出する検出手段，検出手段によって検出された顔と、被捜索者と共に行動していた関係者の顔とについて同定処理を行うことにより、検出手段によって検出された顔が関係者の顔であるか否か判断する顔判断手段，検出手段によって検出された人の顔のうち、顔判断手段によって関係者の顔であると判断された顔から所定の範囲内に位置する顔画像を取得する顔画像取得手段，及び、顔画像取得手段によって取得された顔画像を被捜索者の候補として出力する出力手段を備える。

第三の態様における画像取得装置では、捜索の対象となっている被捜索者の顔画像が、不特定の予め撮像された画像の中から取得される。ここでいう「不特定の予め撮像された画像」とは、被捜索者となる可能性のある人物の顔画像を取得することを目的として意識的に撮像されていない画像を示す。また、「被捜索者となる可能性のある人物」とは、例えばある施設に入場する親子連れの子供（迷子として捜索される可能性がある）や、金品や機密を取り扱う施設に立ち入る人物（容疑者として捜索される可能性がある）等を示す。

第三の態様における画像取得装置では、不特定の予め撮像された画像の中から、検出手段及び顔判断手段によって関係者の顔が検出される。検出された関係者の顔から所定の範囲内に位置する顔は被捜索者の可能性があるという推定基準のもと、このような顔画像が画像取得手段によって取得される。そして、画像取得手段によって取得された顔画像が出力手段によって出力される。

上記のように、第三の態様における画像取得装置では、不特定の予め撮像された画像の中から被捜索者の候補の顔画像が取得される。このため、被捜索者が関係者（被捜索者の発生後に顔画像を取得可能な人物に限る）と共に行動していた場合には、被捜索者となる可能性のある人物などについて予め顔画像を撮像しておくことなく、さらに被捜索者の関係者が被捜索者の写真や画像等を所有していない場合であっても、被捜索者が発生した際に容易に被捜索者の顔画像を取得することが可能となる。従って、被捜索者となる可能性のある人物の顔を予め撮像するための装置を設置する必要が無く、このような装置に要するコストやスペースを削減することが可能となる。また、このような撮像に要する時間や手間を省くことが可能となり、撮像の対象とされていた人物（被捜索者となる可能性のある人物）が撮像される際に感じていた煩わしさやプライバシーに関する不安などを解消することが可能となる。

第三の態様における画像取得装置は、顔判断手段によって関係者の顔であると判断された顔と、検出手段によって検出された他の人の顔との距離を取得する測距手段をさらに備えるように構成されても良く、この場合顔画像取得手段は、ある顔について取得された距離が閾値よりも小さい場合に、この顔について、関係者の顔であると判断された顔から所定の範囲内に位置する顔であると判断するように構成される。

また、第三の態様における画像取得装置の顔画像取得手段は、検出手段によって検出された各顔について、所定の数の画像において測距手段によって取得された距離の平均値を算出し、算出された平均値が閾値よりも小さい顔画像を取得するように構成されても良い。

また、第三の態様における画像取得装置は、被捜索者及び関係者が共に行動していたと推定される場所及び／又は時刻の情報に基づいて、複数の予め撮像された画像から、被捜索者及び関係者の姿が共に撮像されている画像を推定する推定手段をさらに備えるように構成されても良く、この場合検出手段は推定手段によって推定された画像から人の顔を検出するように構成される。

このように構成されることにより、検出手段，顔判断手段，顔画像取得手段，及び測距手段が備えられる場合には測距手段の処理対象となる画像の数が削減され、処理に要する時間を削減することが可能となる。また、被捜索者の顔画像の取得に成功する可能性も向上する。

第四の態様は捜索装置であって以下のように構成される。即ち、予め撮像された画像から人の顔を検出する第一の検出手段，第一の検出手段によって検出された顔と、被捜索者
と共に行動していた関係者の顔とについて同定処理を行うことにより、第一の検出手段によって検出された顔が関係者の顔であるか否か判断する第一の顔判断手段，第一の顔判断手段によって関係者の顔と判断された顔画像を含む画像を出力する出力手段，出力手段によって出力された画像の中からユーザによって選択された顔画像を被捜索者の顔の画像として確定する確定手段，撮像装置によって撮像されている画像から人の顔を検出する第二の検出手段，確定手段によって確定された顔と、第二の検出手段によって検出された顔とについて同定処理を行うことにより、第二の検出手段によって検出された顔が被捜索者の顔であるか否か判断する第二の顔判断手段，及び、第二の顔判断手段によって、被捜索者の顔であると判断された顔画像を含む画像を撮像した撮像手段に関する情報をユーザに提示する提示手段を備える。

本発明の第四の態様における捜索装置では、第三の態様における画像取得装置と同様に、不特定の予め撮像された画像の中から、第一の検出手段及び第一の顔判断手段によって関係者の顔が検出される。次に、検出された関係者の顔画像を含む画像が出力手段によって出力され、この画像の中から、ユーザ（関係者）が被捜索者の顔画像を選択する。選択された顔画像は、確定手段によって被捜索者の顔画像として確定される。次に、撮像手段によって撮像されている画像の中から、確定手段によって確定された被捜索者の顔画像を用いて、第二の検出手段と第二の顔判断手段により、被捜索者の顔画像が検出される。そして、検出された被捜索者の顔画像を含む画像を撮像した撮像手段に関する情報が、被捜索者のいる場所などを示す情報としてユーザに提示される。

本発明の第四の態様における捜索装置では、顔画像取得手段を備えない点を除けば、第三の態様における画像取得装置と同様の処理によって被捜索者の顔画像が取得される。即ち、不特定の予め撮像された画像の中から、最終的に被捜索者の顔画像が取得される。このため、第三の態様における画像取得装置と同様の効果を奏する。第三の態様における捜索システムではさらに、取得された顔画像を用いた捜索が実施される。従って、被捜索者を探し出し、その位置などを知ることが可能となる。

また、本発明の第四の態様における捜索装置では、第三の態様における顔画像取得手段と同様の手段をさらに備えるように構成されても良い。即ち、第一の検出手段によって検出された人の顔のうち、第一の顔判断手段によって関係者の顔であると判断された顔から所定の範囲内に位置する顔画像を取得する顔画像取得手段をさらに備えるように構成されても良い。この場合、出力手段は、顔画像取得手段によって取得された顔画像を出力するように構成される。

第一〜第四の態様は、プログラムが情報処理装置によって実行されることによって実現されても良い。即ち、本発明は、上記した第一〜第四の態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した記録媒体として特定することができる。また、第一〜第四の態様は、各手段が実行する処理を情報処理装置が実行する方法として特定されても良い。

被捜索者の関係者が被捜索者の写真や画像等を所有していない場合であっても、被捜索者の顔画像を取得することが可能となる。このため、捜索用の顔画像を予め撮像しておく必要がない。

次に、図を用いて捜索システムについて説明する。なお、捜索システムについての以下の説明は例示であり、その構成は以下の説明に限定されない。

［システム構成］
図１は、捜索システム１のシステム構成及び捜索装置３の機能ブロックの例を示す図である。まず、捜索システム１のシステム構成について説明する。捜索システム１は、複数台の撮像装置２及び捜索装置３を用いて構成される。捜索装置３は、撮像装置２によって過去に撮像された画像を用いて被捜索者の画像を取得する。そして、捜索装置３は、撮像装置２によって現在撮像されている画像及び取得された被捜索者の画像を用いて被捜索者の捜索を行う。以下、捜索システム１を構成する各装置について説明する。

〔撮像装置〕
撮像装置２は、デジタルスチルカメラ／デジタルビデオカメラ等の撮像装置を用いて構成される。各撮像装置２は、捜索システム１において捜索の範囲とされる領域の画像を撮像する。即ち、各撮像装置２は、捜索システム１において捜索の範囲とされる領域に設置される。撮像装置２は、撮像された画像（以後「撮像画像」と呼ぶ）及び装置情報を捜索装置３へ渡す。装置情報は、各撮像装置２の設置場所や撮像方向などに関する情報を含む。例えば撮像装置２の設置場所や撮像方向などが時間経過に従って変化するように構成されている場合、各時間における設置場所や撮像方向などが装置情報に含められる。その他、各撮像装置２における情報であればどのような情報が装置情報に含まれるように設計されても良い。

〔捜索装置〕
捜索装置３について説明する。捜索装置３は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ：Random Access Memory），補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Read-Only Memory：ＥＰＲＯＭ（Erasable Programmable Read-Only Memory），ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory），マスクＲＯＭ等を含む），ＦＲＡＭ（Ferroelectric RAM），ハードディスク等のディスク記憶装置を指す。

次に、図１を用いて捜索装置３の機能ブロックについて説明する。捜索装置３は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、監視記録記憶部４，関係者撮像部５，被捜索者推定部６，被捜索者検出部７，及び結果出力部８等を含む装置として機能する。以下、捜索装置３に備えられる各機能部について説明する。

〈監視記録記憶部〉
監視記録記憶部４は、いわゆる不揮発性記憶装置及びＣＰＵやＲＡＭ等を用いて構成される。監視記録記憶部４は、撮像装置２から捜索装置３に渡される撮像画像及び装置情報を対応付けて記憶する。また、監視記録記憶部４は、撮像画像が撮像された時刻として、この撮像画像を記憶した時刻を対応付けて記憶する。撮像画像が動画像である場合には、例えば動画像の最初のフレームが撮像された時刻及び動画像のフレームレートを記憶することにより、任意のフレームにおける画像について、この画像が撮像された時刻を算出可能に構成される。また、撮像画像が装置情報と対応付けて記憶されるため、各撮像画像が撮像された場所（各撮像画像が撮像された装置の設置場所）や撮像された方向などの情報が取得可能である。

また、監視記録記憶部４は、被捜索者推定部６から指定情報を受け取り、この指定情報に対応する撮像画像を被捜索者推定部６へ渡す。指定情報は、時刻や場所などを示す情報を含む。監視記録記憶部４は、指定情報に含まれる場所や時刻に対応する撮像画像を抽出し、抽出された撮像画像を被捜索者推定部６へ渡す。

〈関係者撮像部〉
関係者撮像部５は、デジタルスチルカメラ／デジタルビデオカメラ等のデジタル撮像装置や、銀塩カメラ及びスキャナ等を用いて構成される。関係者撮像部５は、捜索システム１において捜索される被捜索者の関係者（捜索の依頼者など）の顔を撮像する。関係者撮像部５は、被捜索者の関係者のうち、被捜索者と共に行動していた者の顔画像を撮像する。言い換えれば、関係者撮像部５は、被捜索者の近くを行動していた可能性のある者（被捜索者の近くに存在する場面を撮像装置２によって撮像され、その画像が監視記録記憶部４に記憶されている可能性のある者）の顔画像を撮像する。例えば被捜索者が迷子の子供である場合、その子供は保護者と共に行動していた可能性が高いため、その保護者が関係者として関係者撮像部５に撮像されることが望ましい。

関係者撮像部５によって撮像された画像（関係者画像）は、被捜索者推定部６へ渡される。

〈被捜索者推定部〉
被捜索者推定部６は、監視記録記憶部４から読み出される撮像画像と関係者撮像部５によって撮像された関係者画像とを用いて、被捜索者の画像（被捜索者画像）を取得する。

図２は、被捜索者推定部６の機能ブロックの例を示す図である。被捜索者推定部６は、制御部９，候補者情報記憶部１０，顔検出部１１，同定部１２，測距部１３，表示部１４，及び入力部１５を用いて構成される。このうち、制御部９，顔検出部１１，同定部１２，及び測距部１３はＣＰＵによってプログラムが実行されることにより実現される。このＣＰＵは、捜索装置３に備えられたものであっても良いし、被捜索者推定部６に独自に備えられたものであっても良い。また、制御部９，顔検出部１１，同定部１２，及び測距部１３の一部又は全ては、専用のチップとして構成されても良い。以下、各機能部について説明する。

〈〈制御部〉〉
制御部９は、入力部１５から渡される入力情報を元に指定情報を生成し、この指定情報を監視記録記憶部４へ渡す。入力情報は、時刻や場所を示す情報を含む。制御部９は、入力情報に含まれる時刻や場所において撮像された撮像画像を監視記録記憶部４から読み出すため、このような撮像画像を示す指示情報を生成する。

また、制御部９は、顔検出命令を顔検出部１１へ与えることにより、顔検出処理の実行を命令する。顔検出命令は、処理の対象となる画像（フレーム）を示すデータ及び顔検出処理の実行を命令するデータを含む。

また、制御部９は、顔検出命令を与えた後に顔検出部１１から検出結果を受け取る。検出結果は、顔検出命令で示されたフレームにおいて検出された人の顔の数，検出された人の顔の画像（顔画像），及び各顔画像に対応する一時ＩＤを含む。制御部９は、検出された人の顔の数を、変数“ｎ”に代入することにより、顔検出命令で示されたフレームにおいて検出された人の顔の数を管理する。制御部９は、検出結果に含まれる各顔画像と一時ＩＤとを対応付けて記憶する。一時ＩＤについては後述する。

また、制御部９は、顔画像出力命令を顔検出部１１へ与えることにより、顔検出部１１に記憶される顔画像を同定部１２へ出力することを命令する。顔画像出力命令は、顔検出部１１に記憶される顔画像の識別子を含む。顔検出部１１では、例えば検出された順に（例えば画像の左上から順にラスタスキャンすることにより顔を検出する場合には左上から順に）顔画像及び顔座標に対して重複しない整数が識別子（一時ＩＤ）として与えられる。

また、制御部９は、顔画像出力命令を与えた後に同定部１２から同定結果を受け取る。同定結果は、顔画像出力命令に含まれた識別子が示す顔画像の顔が候補者情報記憶部１０に既に記憶された候補者の顔であったか否かを示す。候補者情報記憶部１０に既に記憶された候補者の顔であった場合には、その候補者の顔を示すＩＤも同定結果に含まれる。一方、候補者情報記憶部１０に記憶されていない顔であった場合には、同定結果は、関係者画像に含まれる顔であったか否か（即ち、関係者の顔であったか否か）を示す情報を含む。

制御部９は、同定結果にＩＤが含まれる場合、直前に出力した顔画像出力命令に含まれる一時ＩＤと同定結果に含まれるＩＤとを対応付けて候補者情報記憶部１０に登録する。

一方、同定結果が、候補者情報記憶部１０に記憶されていない顔であったことを示す場合、制御部９は、直前に出力した顔画像出力命令に含まれる一時ＩＤに対して重複しないＩＤを割り当てことにより、一時ＩＤに対応付けて記憶される顔画像とこの一時ＩＤとこのＩＤとを対応付けて候補者情報記憶部１０に登録する。また、制御部９は、同定結果が関係者の顔であったことを示す場合、上記のように候補者情報記憶部１０に登録する際に、その候補者が関係者であることを示すために対応する属性の値を“１”にする。一方、同定結果が関係者の顔であったことを示さない場合、上記のように候補者情報記憶部１０に登録する際に、その候補者が関係者ではないことを示すために対応する属性の値を“０”にする。

また、制御部９は、顔座標出力命令を顔検出部１１へ与えることにより、顔検出部１１に記憶される顔画像の座標（例えば、この顔画像を検出する際に用いられた顔矩形の座標：以下、「顔座標」と呼ぶ）を測距部１３へ出力することを命令する。顔座標出力命令は、顔検出部１１に記憶される二つの顔画像の識別子を含む。

また、制御部９は、顔座標出力命令を与えた後に測距部１３から測距結果を受け取る。測距結果は、顔座標出力命令によって示される二つの顔座標の距離を含む。制御部９は、直前に出力した顔座標出力命令に含まれる二つの一時ＩＤのうち、属性の値が“０”であるもの（即ち関係者でないもの）の一時ＩＤに対応付けてこの距離を登録する。

制御部９は、顔検出部１１によって検出された顔全てについて顔画像出力命令及び顔座標出力命令を顔検出部１１に与える。制御部９は、この処理を変数“ｃｏｕｎｔ”を用いて制御する。

また、制御部９は、被捜索者推定部６に入力される全ての撮像画像について処理が終了したか否かについて、変数“ＦＲＡＭＥ”及び定数“ＴＩＭＥ”を用いて判断する。定数“ＴＩＭＥ”は、被捜索者推定部６に入力される撮像画像の全フレーム数を示す。また、制御部９は、所定の画像数（フレーム数）毎に、その間に各ＩＤに対応付けて累計された距離の平均値（ｒ）を算出し、平均値が閾値（Ｒ）を超えなかったＩＤに対応するレコードを候補者情報記憶部１０から削除する。閾値“Ｒ”は、画像平面上の距離として与えられる。このとき、制御部９は、所定の画像数（以下に説明する動作例の場合は“１００”）に処理が達したか否かについて、変数“ｆｒａｍｅ”を用いて判断する。そして、制御部９は、この時点で削除されなかったレコードについては、後述する被捜索者画像を出力するまで削除されないように保護する。制御部９は、このような保護を行う際に、このレコードの属性の値を“２”に変更する。また、制御部９は、所定の画像数に処理が達した場合、変数“ＦＲＡＭＥ”から所定の数“Ｍ”を減算し、所定の画像数分戻って被捜索者推定部６における処理が実行されるように制御する。このように制御されることにより、所定の画像数（この場合は“１００”）を全画像から選択する選択方法によってたまたま
平均距離が大きくなってしまい候補者から外れてしまうようなことを防止することができる。

制御部９は、全ての撮像画像について上記の処理が完了したと判断した場合、候補者情報記憶部１０に記録されるレコードのうち、属性の値が“２”であるレコードのみを読み出し、これらを候補者情報として表示部１４へ渡す。

また、制御部９は、表示部１４に対して候補者情報を渡した後に入力部１５から選択情報を受け取った場合、この選択情報によって指示される候補者の顔画像を候補者情報記憶部１０から読み出し、被捜索者画像として被捜索者検出部７へ渡す。

〈〈候補者情報記憶部〉〉
候補者情報記憶部１０は、いわゆる不揮発性記憶装置を用いて構成される。候補者情報記憶部１０は、候補者情報テーブル１０Ａを記憶する。図３は候補者情報テーブル１０Ａの例を示す図である。以下、図３を用いて候補者情報テーブル１０Ａの例について説明する。

候補者情報テーブル１０Ａは複数のレコードを有し、各レコードはＩＤ，カウンタ，距離，顔画像，特徴量，属性，一時ＩＤを対応付けて有する。ＩＤは各レコードを示すＩＤである。カウンタは、測距部１３によって距離が算出された回数、言い換えればレコードの距離の値が書き換えられた回数を示す。距離は、測距部１３によって算出された距離（レコードの顔画像の顔と関係者の顔との距離）の累計を示す。この距離をカウンタの値で除算することにより、距離の平均を算出できる。顔画像は、顔検出部１１によって検出された顔画像データのアドレスを示す。特徴量は、同定部１２における同定処理において使用されるデータであり、顔を同定するためのデータである。属性の値は、対応する顔画像の顔が関係者の顔であるか否か及び保護されているか否かを示す。“０”である場合には関係者の顔ではなく保護されていないことを示す。“１”である場合には関係者の顔であることを示す。“２”である場合には関係者の顔ではなく保護されていることを示す。一時ＩＤは上述した通りである。

候補者情報記憶部１０には、制御部９によって候補者情報が登録される。また、候補者情報記憶部１０からは、登録されている候補者情報が制御部９又は同定部１２によって読み出される。

〈〈顔検出部〉〉
顔検出部１１は、自身が検出した顔画像とその座標（顔座標）と一時ＩＤとを対応付けて記憶するための記憶装置を含む。

顔検出部１１は、関係者撮像部５から関係者画像を受け取る。顔検出部１１は、関係者画像を受け取ると、この画像から顔を検出し、即ち関係者の顔画像を検出し、関係者の顔画像として同定部１２へ渡す。

顔検出部１１が実施する検出処理は、既存のどのような方法によって実現されても良い。例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチングによって顔が検出されても良い。また、顔の構成要素（目，鼻，耳など）に基づくテンプレートマッチングによって顔が検出されても良い。

また、顔検出部１１は、制御部９から顔検出命令を受け取るとともに、監視記録記憶部４から撮像画像を受け取る。顔検出部１１は、受け取った撮像画像のうち顔検出命令によって指定された撮像画像について顔検出処理を実行し、この画像に含まれる人の顔を検出
する。顔検出部１１は、検出された顔画像とこの顔画像の顔座標に対して重複しない一時ＩＤを付与し、これらを対応付けて記憶する。顔検出部１１は、この顔画像と一時ＩＤとを対応付けて検出結果として制御部９へ渡す。

また、顔検出部１１は、制御部９から顔画像出力命令を受け取る。顔検出部１１は、受け取った顔画像出力命令に含まれる一時ＩＤに対応した顔画像を読み出し、この顔画像を同定部１２へ渡す。

また、顔検出部１１は、制御部９から顔座標出力命令を受け取る。顔検出部１１は、受け取った顔座標出力命令に含まれる一時ＩＤに対応した顔座標を読み出し、この顔座標を測距部１３へ渡す。

〈〈同定部〉〉
同定部１２は、顔検出部１１から関係者の顔画像として受け取った顔画像を記憶するための記憶装置を含む。同定部１２は、顔検出部１１から関係者の顔画像として受け取った顔画像を記憶する。

同定部１２は、顔検出部１１から顔画像を受け取ると（関係者の顔画像として受け取った場合以外のとき）、この顔画像と候補者情報記憶部１０Ａに登録されている各顔画像と同定処理を行う。同定部１２は、顔検出部１１から受け取った顔画像が候補者情報記憶部１０に登録されていないと判断した場合、自身が記憶する関係者の顔画像と同定処理を行う。そして、同定部１２は、顔検出部１１から受け取った顔画像についての判断結果を同定結果として制御部９へ渡す。

同定部１２は、各顔画像についてエッジを抽出することにより顔のエッジ画像を取得し、各エッジ画像についてマッチングを行うことによって同定処理を実施しても良い。また、同定部１２は、各顔画像における色分布（例えばモザイク画像）を取得し、その色分布についてマッチングを行うことによって同定処理を実施しても良い。

〈〈測距部〉〉
測距部１３は、顔検出部１１から二つの顔座標を受け取る。測距部１３は、顔検出部１１から受け取った顔座標間の距離を算出する。また、測距部１３は、画像平面上の距離を算出する。そして、測距部１３は、算出された距離を測距結果として制御部９へ渡す。

〈〈表示部〉〉
表示部１４は、ＣＲＴ（Cathode Ray Tube）や液晶ディスプレイ等の表示装置を用いて構成される。表示部１４は、制御部９から受け取る候補者情報について表示する。この候補者情報は、制御部９によって被捜索者の可能性があると判断された各候補者の情報を含む。この候補者とは、候補者情報テーブル１０Ａにおいて属性の値が“２”であるレコードに関する者である。表示部１４は、少なくとも各候補者の顔画像を表示する。

〈〈入力部〉〉
入力部１５は、ポインティングデバイス（マウス，タッチパネル，トラックボール等），キーボード，マイク，ボタン等の入力装置（入力インタフェース）を用いて構成される。

関係者やオペレータは、入力部１５を介して入力情報を入力する。また、関係者やオペレータは、入力部１５を介して表示部１４に表示された各候補者の顔画像から被捜索者の顔画像を選択する。

〈被捜索者検出部〉
図１を用いた説明に戻る。被捜索者検出部７は、撮像装置２によって現在撮像されている撮像画像と、被捜索者推定部６から受け取る被捜索者画像とを用いて、被捜索者を捜索する。言い換えれば、被捜索者検出部７は、被捜索者画像に含まれる被捜索者の顔を、現在撮像されている撮像画像の中から検出する。

図４は、被捜索者検出部７の機能ブロックの例を示す図である。被捜索者検出部７は、制御部１６，顔検出部１７，及び同定部１８を用いて構成される。制御部１６，顔検出部１７，及び同定部１８はＣＰＵによってプログラムが実行されることにより実現される。このＣＰＵは、捜索装置３に備えられたものであっても良いし、被捜索者検出部７に独自に備えられたものであっても良い。また、制御部１６，顔検出部１７，及び同定部１８の一部又は全ては、専用のチップとして構成されても良い。以下、各機能部について説明する。

〈〈制御部〉〉
制御部１６は、被捜索者推定部６によって被捜索者画像が出力されると処理を開始する。制御部１６は、顔検出命令を顔検出部１７に渡す。この顔検出命令は、顔検出部１７及び同定部１８によって処理の対象とすべき撮像画像を示す情報を含む。また、制御部１６は、装置情報を受け取ることにより、各撮像装置２が設置されている場所や撮像している方向などを判断する。

制御部１６は、同定部１８から同定結果を受け取ることにより、被捜索者が検出されたと判断する。制御部１６は、被捜索者が検出されたと判断した場合、被捜索者が検出された撮像画像や、この撮像画像を撮像した撮像装置２に関する装置情報などを、捜索結果として結果出力部８へ出力する。

〈〈顔検出部〉〉
顔検出部１７は、撮像画像を受け取り、受け取った撮像画像から人の顔を検出する。顔検出部１７は、人の顔を検出した場合、検出された人の顔の画像（顔画像）を同定部１８へ渡す。顔検出部１７は、顔検出部１１と同様の処理によって人の顔を検出するように構成されても良い。

〈〈同定部〉〉
同定部１８は、顔検出部１７から顔画像を受け取ると、この顔画像と被捜索者推定部６から受け取る被捜索者画像とを用いて同定を行う。同定部１８は、顔検出部１７によって検出された顔画像が、被捜索者の顔画像と一致するか否かについて判断する。同定部１８は、同定部１２と同様の処理によって同定を行うように構成されても良い。

同定部１８は、顔検出部１７によって検出された顔画像と被捜索者の顔画像とが一致した場合、その旨を知らせるための同定結果を制御部１６へ渡す。

〈結果出力部〉
図１を用いた説明に戻る。結果出力部８は、ＣＲＴや液晶ディスプレイ等の表示装置や、スピーカやヘッドホン等の音声出力装置などを用いて構成される。また、結果出力部８は、捜索システム１に含まれる各撮像装置２のうち、任意の撮像装置２の場所などを表示させるような専用の出力装置として構成されても良い。

結果出力部８は、被捜索者検出部７から捜索結果を受け取ると、この捜索結果の内容を出力する。例えば、結果出力部８は、被捜索者が検出された撮像画像が撮影された撮像装置２の場所やその撮像方向や撮像時刻などを表示及び／又は音声出力する。また、例えば
結果出力部８は、被捜索者が検出された撮像画像や被捜索者の顔画像として検出された顔画像を表示する。

［動作例］
図５〜図９は、捜索装置２の動作例を示すフローチャートである。次に、図５〜図９を用いて捜索装置２の動作例について説明する。

まず、被捜索者の捜索を望む関係者やオペレータ等によって、入力部１５を介して入力情報が入力される（Ｓ０１）。制御部９は、入力情報に基づいて指定情報を生成し監視記録記憶部４に対して出力するとともに、この指定情報に基づいた初期化を実行する（Ｓ０２）。具体的には、制御部９は、変数“ｃｏｕｎｔ”，“ＦＲＡＭＥ”，“ｆｒａｍｅ”，“ｎ”を定義し“０”を代入する。また、定数“ＴＩＭＥ”を定義する。具体的には、制御部９は指定情報を生成する際に、入力情報に含まれる開始時刻から同じく入力情報に含まれる終了時刻を減算し、時間を秒単位に変換し、監視記録記憶部４に記憶される画像について１秒間に撮像されるフレーム数をこの時間（秒）に乗算する。この処理によって、被捜索者推定部６において被捜索者の画像を取得するために使用される全フレーム数（全画像数）が決定される。そして、この値が“ＴＩＭＥ”として定義される。また、制御部９は、候補者情報テーブル１０Ａの初期化を行う。

次に、関係者撮像部５によって関係者の顔画像（関係者画像）が撮像される（Ｓ０３）。被捜索者推定部６の顔検出部１１は、撮像された関係者画像から顔を検出し（Ｓ０４）、検出された顔画像を同定部１２に与える。同定部１２は、顔検出部１１によって検出された顔画像を記憶する（Ｓ０５）。

次に、制御部９によって顔検出命令が出力されることにより、顔検出部１１は、該当する撮像画像から顔を検出する（Ｓ０６）。この処理において顔が検出されない場合（Ｓ０７−Ｎｏ）、Ｓ２２（図７）以降の処理が実行される。Ｓ２２以降の処理については後述する。一方、顔が検出されると（Ｓ０７−Ｙｅｓ）、制御部９は検出された顔の数（検出結果に含まれる）を変数“ｎ”に代入する（Ｓ０８）。また、制御部９は、検出された顔画像と一時ＩＤと（検出結果に含まれる）を対応付けて記憶する。以後の処理については図６を用いて説明する。

次に、制御部９が変数“ｃｏｕｎｔ”を顔画像出力命令に含めて出力すると、顔検出部１１は変数“ｃｏｕｎｔ”の値と同値の一時ＩＤに対応する顔画像を同定部１２に渡す。同定部１２は、この顔画像について、候補者情報記憶部１０に既に登録されているか否か判断する。具体的には、同定部１２は、この顔画像と候補者情報記憶部１０に登録されている顔画像とについて同定処理を行う（Ｓ０９）。同定処理において顔画像が一致した場合、即ち顔検出部１１が記憶する顔画像のうち変数“ｃｏｕｎｔ”の値に対応する顔画像と同一の顔画像が既に候補者情報記憶部１０に登録されていた場合（Ｓ１０−Ｙｅｓ）、Ｓ１４以降の処理が実施される。Ｓ１４以降の処理については後述する。

一方、同定処理において顔画像が一致しなかった場合、即ち顔検出部１１が記憶する顔画像のうち変数“ｃｏｕｎｔ”の値に対応する顔画像と同一の顔画像が候補者情報記憶部１０に登録されていない場合（Ｓ１０−Ｎｏ）、この同定結果を受けた制御部９は、この変数“ｃｏｕｎｔ”を一時ＩＤの値とし、顔画像と対応付けて候補者情報テーブル１０Ａに登録する。さらに、このレコードに対し、候補者情報テーブル１０Ａにおいて重複しない値をＩＤとして付与する（Ｓ１１）。

また、同定部１２は、Ｓ１０−Ｎｏの場合、処理対象の顔画像について、自身が記憶する関係者の顔画像との同定処理を実行する。処理対象の顔画像の顔が関係者の顔であった
場合（Ｓ１２−Ｙｅｓ）、この同定結果を受けた制御部９は、この変数“ｃｏｕｎｔ”に対応するレコードの属性の値を“１”に変更する（Ｓ１３）。一方、処理対象の顔画像の顔が関係者の顔で無かった場合（Ｓ１２−Ｎｏ）、又はＳ１０−Ｙｅｓの場合、又はＳ１３の処理の後、制御部９は変数“ｃｏｕｎｔ”の値をインクリメントし（Ｓ１４）、この値が変数“ｎ”の値と一致するか否か判断する。一致していない場合（Ｓ１５−Ｎｏ）、Ｓ０９以降の処理が実施される。一方、一致した場合（Ｓ１５−Ｙｅｓ）、制御部９は、変数“ｃｏｕｎｔ”の値を初期化する（即ち“０”を代入する：Ｓ１６）。以後の説明については図７を用いて説明する。

次に、制御部９は、変数“ｃｏｕｎｔ”と同値の一時ＩＤに対応する属性の値を読み出し、“０”であるか否か判断する。属性の値が“０”でない場合（Ｓ１７−Ｎｏ）、Ｓ２０以降の処理が実施される。Ｓ２０以降の処理については後述する。一方、属性の値が“０”である場合（Ｓ１７−Ｙｅｓ）、制御部９は、関係者の一時ＩＤ（属性の値が“１”であるレコードの一時ＩＤ）と変数“ｃｏｕｎｔ”の値とを含む顔座標出力命令を出力する。制御部９は、この処理を、候補者情報テーブル１０Ａに登録されている全ての関係者の一時ＩＤについて行う。この処理により、顔検出部１１は、各関係者の顔座標と変数“ｃｏｕｎｔ”の値に対応する顔座標とを測距部１３に渡し、測距部１３は各関係者と変数“ｃｏｕｎｔ”の値に対応する人との距離を算出する（Ｓ１８）。この測距結果を受けた制御部９は、変数“ｃｏｕｎｔ”の値に対応するレコードの距離に対し算出された距離の値を累積加算する。また、制御部９は、このレコードのカウンタの値をインクリメントする（Ｓ１９）。さらに、制御部９は、この処理の後、又はＳ１７−Ｎｏの場合、変数“ｃｏｕｎｔ”の値をインクリメントし（Ｓ２０）、この変数“ｃｏｕｎｔ”の値が変数“ｎ”に一致するか否か判断する。一致しない場合（Ｓ２１−Ｎｏ）、Ｓ１７以降の処理が実行される。一方、一致する場合（Ｓ２１−Ｙｅｓ）、又はＳ０７−Ｎｏの場合、制御部９は、変数“ＦＲＡＭＥ”及び変数“ｆｒａｍｅ”の値をインクリメントし（Ｓ２２）、変数“ｆｒａｍｅ”の値が“１００”に一致するか否か判断する。一致しない場合（Ｓ２３−Ｎｏ）、Ｓ０６以降の処理が実行される。一方、一致する場合（Ｓ２３−Ｙｅｓ）、制御部９は、変数“ｃｏｕｎｔ”の値に“０”を代入する（Ｓ２４）。以後の処理については図８を用いて説明する。

次に、所定のフレーム数（この動作例では１００フレーム）について収集された情報に基づいて、検出された各顔の人と関係者との平均距離が算出され、算出された平均距離に基づいて、検出された各人の情報を削除するか被捜索者の候補者として保存するかが判断される。以下に具体的な処理例を説明する。

まず、制御部９は、変数“ｃｏｕｎｔ”の値と同値の一時ＩＤに対応する属性の値を読み出し、“０”であるか否か判断する。属性の値が“０”である場合（Ｓ２５−Ｙｅｓ）、制御部９は、この一時ＩＤに対応する距離の値をカウンタの値で除算することにより平均距離“ｒ”を算出する（Ｓ２６）。制御部９は、算出された平均距離“ｒ”の値と、予め設定されている閾値“Ｒ”との大きさを比較する。“ｒ”が“Ｒ”以上である場合（Ｓ２７−Ｎｏ）、制御部９は、この一時ＩＤに対応するレコードを候補者情報テーブル１０Ａから削除する（Ｓ２８）。一方、“ｒ”が“Ｒ”よりも小さい場合（Ｓ２７−Ｙｅｓ）、制御部９は、この一時ＩＤに対応する属性の値を“２”に変更する（Ｓ２９）。

Ｓ２５における分岐の説明に戻る。変数“ｃｏｕｎｔ”の値と同値の一時ＩＤに対応する属性の値が“０”でない場合（Ｓ２５−Ｎｏ）、又はＳ２８の処理の後、又はＳ２９の処理の後、制御部９は、変数“ｃｏｕｎｔ”の値をインクリメントする（Ｓ３０）。次に、制御部９は、変数“ｃｏｕｎｔ”の値が変数“ｎ”と一致するか否か判断する。一致しない場合（Ｓ３１−Ｎｏ）、Ｓ２５以降の処理が実行される。一方、一致する場合（Ｓ３１−Ｙｅｓ）、制御部９は、変数“ＦＲＡＭＥ”の値が定数“ＴＩＭＥ”以上であるか否
か判断する。“ＦＲＡＭＥ”の値が“ＴＩＭＥ”以上でない場合（Ｓ３２−Ｎｏ）、制御部９は、変数“ＦＲＡＭＥ”の値から予め定義された値“Ｍ”の値を減算し（即ち、変数“ＦＲＡＭＥ”の値から“Ｍ”を減算し、その結果を改めて変数“ＦＲＡＭＥ”に代入し）、変数“ｆｒａｍｅ”に“０”を代入する（Ｓ３３）。一方、“ＦＲＡＭＥ”の値が“ＴＩＭＥ”以上である場合（Ｓ３２−Ｙｅｓ）、制御部９は、候補者情報テーブル１０Ａにおいて属性の値が“２”であるレコードを全て読み出して表示部１４へ渡す。表示部１４は、候補者情報を受け取ると、受け取った候補者情報を表示する（Ｓ３４）。以後の処理については図９を用いて説明する。

依頼者は、表示部１４に表示された候補者情報に基づいて、表示された候補者の中から被捜索者を選択する。本実施形態の例では、表示部１４には候補者の顔画像が表示される。依頼者は、表示された候補者の顔画像の中から、被捜索者の顔画像を選択し、入力部１５を介して選択情報を入力する（Ｓ３５）。そして、入力された選択情報に基づいて、制御部９は被捜索者画像を候補者情報記憶部１０から読み出す（Ｓ３６）。ここまでの処理で、被捜索者を捜索するために用いられる被捜索者の顔画像が取得される。

次に、Ｓ３６までの処理によって取得された被捜索者の顔画像を用いて、言い換えれば被捜索者推定部６の処理によって取得された被捜索者の顔画像を用いて、被捜索者検出部７が被捜索者を検出する。被捜索者検出部７の顔検出部１７は、撮像装置２から入力される撮像画像のうち制御部１６によって指定された撮像画像から人の顔を検出する（Ｓ３７）。次に、同定部１８は、顔検出部１７によって検出された顔画像と、被捜索者推定部６から渡された被捜索者の顔画像とについて同定処理を行う（Ｓ３８）。二つの顔が同一人物の顔であると認められた場合、言い換えれば顔検出部１７によって検出された顔画像が被捜索者の顔画像である場合（Ｓ３９−Ｙｅｓ）、制御部１６は、検出された顔画像及びこの顔画像が検出された撮像画像を撮像した撮像装置２に関する装置情報を捜索結果として出力する（Ｓ４０）。一方、二つの顔が同一人物の顔であると認められなかった場合（Ｓ３９−Ｎｏ）、他の撮像画像についてＳ３７以降の処理が実行される。

［作用／効果］
本実施形態では、被捜索者推定部６の処理により、監視記録記憶部４に記憶されていた撮像画像から被捜索者の顔画像が取得される。従って、被捜索者の顔画像や写真を、被捜索者が捜索の対象となる前（例えば施設への入場時など）に予め意識的に取得しておく必要が無い。従って、明確に入場口などが設置されていないような施設（公園や商店街など）においても、被捜索者の顔画像を適宜取得することが可能となる。そして、被捜索者推定部６の処理によって取得された被捜索者の顔画像を用いて、複数の撮像装置２によって撮像されている撮像画像の中から、捜索者検出部７が被捜索者の顔画像を検出する。このように、被捜索者の顔画像が取得された後は、撮像装置２によって撮像されている画像の中から自動的に被捜索者が捜索される。

本実施形態の捜索システム１では、監視記録記憶部４に記録された画像の中において関係者の側（所定の距離Ｒ以内）に存在する顔を被捜索者の顔であると推定し、推定された顔画像の中から関係者などによって被捜索者の顔画像が選択される。このため、捜索システム１は、被捜索者と関係者（捜索者など）とが一緒に行動していた場合において適用可能である。

例えば、捜索システム１は、迷子を捜索する際に適用可能である。迷子（被捜索者）は、迷子になる前は、その保護者（関係者：例えば親，引率の者，知り合いなど）や友達（関係者）と一緒に行動することが多い。従って、被捜索者推定部６において、保護者や友達の顔を関係者画像として入力することにより、迷子の顔画像を取得することが可能となる。迷子に限らず行方不明者に同様に適用されても良い。

また、捜索システム１は、ある被害者（関係者）が被った犯罪の容疑者（被捜索者）を捜索する際に適用可能である。特に、被害者が容疑者とともに行動したことがある場合に適用可能である。また、捜索システム１は、複数人による犯罪が発生しその容疑者の一部（関係者）が判明した場合に、残りの容疑者（被捜索者）を捜索する場合に適用可能である。複数の容疑者はともに行動する可能性があるためである。

［変形例］
制御部９から表示部１４へ渡される候補者情報に音声情報などが含まれる場合、この音声情報を出力するための音声出力装置（スピーカ，ヘッドホン等）が表示部１４にさらに備えられても良い。

また、捜索システム１は、複数台の撮像装置２が備えられても良いし、一台の撮像装置２を備えるように構成されても良い。

また、捜索システム１の被捜索者推定部６は、単体の装置として構成されても良い。このように構成されることにより、既に設置されている同様のシステム（例：迷子を捜すシステム，指名手配犯を探すシステム）に対して被捜索者推定部６の装置を付加することが可能となる。このことにより、既に設置されている同様のシステムを捜索システム１に変更する際に要する時間やコストを抑えることが可能となる。

また、関係者撮像部５は、捜索システム１に必須の構成ではなく、例えば銀塩カメラ等によって撮影された関係者の顔画像をデジタル画像として読み取ることが可能なスキャナなどに置き換えられても良い。また、既に撮影されている関係者のデジタル画像を読み込むことが可能なインタフェース（例：ＵＳＢ（Universal Serial Bus），Ｂｌｕｅｔｏｏｔｈ（ブルートゥース），ＩｒＤＡ（Infrared Data Association））やデータ読み取り
装置（例：ＣＤ（Compact Disk）読み取り装置，ＤＶＤ（Digital Versatile Disk）読み取り装置，フラッシュメモリ読み取り装置）を用いて構成されても良い。

また、監視記録記憶部４や関係者撮像部５は、捜索装置３とは異なる装置として捜索装置３の外部に設けられても良い。

また、被捜索者推定部６の表示部１４は結果出力部８と同一の装置を用いて構成されても良い。

また、顔検出部１１が同定部１２へ顔画像を渡す際にこの顔画像に対応する識別子を対応付けて渡し、同定部１２は同定結果に対応する識別子を一時ＩＤとして同定結果に含めるように構成されても良い。この場合、制御部９は、同定結果に含まれるＩＤと一時ＩＤとを対応付けて候補者情報記憶部１０に登録する。顔検出部１１が測距部１３に顔座標を渡す際にも同様に構成されても良い。この場合、制御部９は、測距結果に含まれる距離を、測距結果に含まれる一時ＩＤに対応する距離の値に対して加算する。

また、測距部１３は、画像平面上の距離ではなく、実際の空間における距離を推定することにより“ｒ”を算出しても良い。この場合、顔検出部１１は、検出された顔の大きさ（例：肌色領域の大きさ，使用された顔矩形の大きさ）を顔座標とともに測距部１３へ渡す。そして、測距部１３は、この顔の大きさに基づいて奥行き方向の距離を推定し、顔と顔との距離を算出（推定）する。この場合、閾値“Ｒ”も“ｒ”に対応して実際の距離の閾値として与えられる。

また、測距部１３は、複数の撮像装置によって撮像された画像を用いて、三角測量の原
理を用いて実際の空間における距離を推定することにより“ｒ”を算出しても良い。この場合、顔の大きさに基づいて距離を推定する場合に比べてより正確な距離を推定することが可能となる。

また、上記の捜索システム１では、被捜索者推定部６によって使用される撮像画像と被捜索者検出部７によって使用される撮像画像とは同一の捜索システム１に設置された撮像装置２によって撮像されるが、それぞれ異なる捜索システム１に設置された撮像装置２によって撮像されるように構成されても良い。例えば、容疑者が被捜索者となった場合には、被害者や共犯者（関係者）と被捜索者である容疑者とが一緒にいた捜索システム１における撮像画像を被捜索者推定部６に入力し、被捜索者検出部７によって使用される撮像画像は他の様々な捜索システム１における撮像装置２によって撮像されている画像を用いるように構成されても良い。

また、上記の捜索システム１では、被捜索者検出部７によって使用される撮像画像はリアルタイムに撮像されている画像であるが、既に記録された過去の画像を用いるように構成されても良い。このように構成されることにより、必要に応じて被捜索者が過去にどこにいたかを知ることが可能となる。

また、制御部９は、平均距離“ｒ”及び閾値“Ｒ”に基づいて候補者であるか否か判断するのではなく、各顔が関係者の顔から所定の範囲内に位置した回数に基づいて候補者であるか否か判断するように構成されても良い。この場合、距離の値は必ずしも必要ではないため、各顔について距離を求めることなく所定の範囲内に位置したか否かが判断されても良い。例えば、所定の範囲が長方形又は正方形である場合、距離を求めることなく座標値を参照することによって所定の範囲内であるか否かが判断可能である。

捜索システムのシステム構成及び捜索装置の機能ブロックの例を示す図である。 被捜索者推定部の機能ブロックの例を示す図である。 候補者情報テーブルの例を示す図である。 被捜索者検出部の機能ブロックの例を示す図である。 捜索装置の動作例を示すフローチャートである。 捜索装置の動作例を示すフローチャートである。 捜索装置の動作例を示すフローチャートである。 捜索装置の動作例を示すフローチャートである。 捜索装置の動作例を示すフローチャートである。

符号の説明

１ 捜索システム
２ 撮像装置
３ 捜索装置
４ 監視記録記憶部
５ 関係者撮像部
６ 被捜索者推定部
７ 被捜索者検出部
８ 結果出力部
９ 制御部
１０ 候補者情報記憶部
１０Ａ 候補者情報テーブル
１１ 顔検出部
１２ 同定部
１３ 測距部
１４ 表示部
１５ 入力部
１６ 制御部
１７ 顔検出部
１８ 同定部

Claims (17)

1. 被捜索者と共に行動していた関係者の顔画像と、この関係者が前記被捜索者と共に行動していた範囲に設置された撮像装置により撮像された１以上の画像とに基づいて、前記１以上の画像から前記関係者の顔を含む画像を検出する検出手段と、
   前記検出手段によって検出された前記関係者の画像中における位置から所定の範囲内に位置する他人の顔画像を、当該画像から抽出する抽出手段と、
   前記抽出手段によって抽出された顔画像を、被捜索者の顔画像の候補として出力する出力手段と
   を備える画像取得装置。
2. 前記出力手段によって出力された前記顔画像の中からユーザによって選択された顔画像を被捜索者の顔画像として確定する確定手段と、
   前記確定手段によって確定された被捜索者の顔画像に基づいて、捜索範囲に設置された少なくとも１つの撮像装置により撮像される複数の画像中から前記被捜索者の顔が含まれると認められる画像を検索する検索手段と
   をさらに備える請求項１に記載の画像取得装置。
3. 被捜索者と共に行動していた関係者の顔画像と、この関係者が前記被捜索者と共に行動していた範囲に設置された撮像装置により撮像された１以上の画像とに基づいて、前記１以上の画像から前記関係者の顔を含む画像を検出する検出手段と、
   前記検出手段によって検出された画像の中からユーザによって選択された顔画像を被捜索者の顔画像として確定する確定手段と、
   前記確定手段によって確定された被捜索者の顔画像に基づいて、捜索範囲に設置された少なくとも１つの撮像装置により撮像される複数の画像中から前記被捜索者の顔が含まれると認められる画像を検索する検索手段と
   を備える捜索装置。
4. 予め撮像された画像から人の顔を検出する検出手段と、
   前記検出手段によって検出された顔と、被捜索者と共に行動していた関係者の顔とについて同定処理を行うことにより、前記検出手段によって検出された顔が前記関係者の顔であるか否か判断する顔判断手段と、
   前記検出手段によって検出された人の顔のうち、前記顔判断手段によって関係者の顔であると判断された顔から所定の範囲内に位置する顔画像を取得する顔画像取得手段と、
   前記顔画像取得手段によって取得された顔画像を被捜索者の候補として出力する出力手段と
   を備える画像取得装置。
5. 前記顔判断手段によって関係者の顔であると判断された顔と、前記検出手段によって検出された他の人の顔との距離を取得する測距手段をさらに備え、
   前記顔画像取得手段は、ある顔について取得された距離が閾値よりも小さい場合に、この顔について、前記関係者の顔であると判断された顔から所定の範囲内に位置する顔であると判断する請求項４に記載の画像取得装置。
6. 前記顔画像取得手段は、前記検出手段によって検出された各顔について、所定の数の画像において前記測距手段によって取得された距離の平均値を算出し、算出された平均値が閾値よりも小さい顔画像を取得する請求項５に記載の画像取得装置。
7. 前記被捜索者及び前記関係者が共に行動していたと推定される場所及び／又は時刻の情報に基づいて、複数の前記予め撮像された画像から、前記被捜索者及び前記関係者の姿が共
   に撮像されている画像を推定する推定手段をさらに備え、
   前記検出手段は前記推定手段によって推定された画像から人の顔を検出する請求項４〜６のいずれかに記載の画像取得装置。
8. 予め撮像された画像から人の顔を検出する第一の検出手段と、
   前記第一の検出手段によって検出された顔と、被捜索者と共に行動していた関係者の顔とについて同定処理を行うことにより、前記第一の検出手段によって検出された顔が前記関係者の顔であるか否か判断する第一の顔判断手段と、
   前記第一の顔判断手段によって前記関係者の顔と判断された顔画像を含む画像を出力する出力手段と、
   前記出力手段によって出力された前記画像の中からユーザによって選択された顔画像を被捜索者の顔の画像として確定する確定手段と、
   撮像装置によって撮像されている画像から人の顔を検出する第二の検出手段と、
   前記確定手段によって確定された顔と、前記第二の検出手段によって検出された顔とについて同定処理を行うことにより、前記第二の検出手段によって検出された顔が前記被捜索者の顔であるか否か判断する第二の顔判断手段と、
   前記第二の顔判断手段によって、前記被捜索者の顔であると判断された顔画像を含む画像を撮像した前記撮像手段に関する情報をユーザに提示する提示手段と
   を備える捜索装置。
9. 前記第一の検出手段によって検出された人の顔のうち、前記第一の顔判断手段によって関係者の顔であると判断された顔から所定の範囲内に位置する顔画像を取得する顔画像取得手段をさらに備え、
   前記出力手段は、前記顔画像取得手段によって取得された顔画像を出力する
   請求項８に記載の捜索装置。
10. 被捜索者と共に行動していた関係者の顔画像と、この関係者が前記被捜索者と共に行動していた範囲に設置された撮像装置により撮像された１以上の画像とに基づいて、前記１以上の画像から前記関係者の顔を含む画像を検出するステップと、
    検出された前記関係者の画像中における位置から所定の範囲内に位置する他人の顔画像を、当該画像から抽出するステップと、
    抽出された顔画像を、被捜索者の顔画像の候補として出力するステップと
    を情報処理装置に実行させるためのプログラム。
11. 被捜索者と共に行動していた関係者の顔画像と、この関係者が前記被捜索者と共に行動していた範囲に設置された撮像装置により撮像された１以上の画像とに基づいて、前記１以上の画像から前記関係者の顔を含む画像を検出するステップと、
    検出された画像の中からユーザによって選択された顔画像を被捜索者の顔画像として確定するステップと、
    確定された被捜索者の顔画像に基づいて、捜索範囲に設置された少なくとも１つの撮像装置により撮像される複数の画像中から前記被捜索者の顔が含まれると認められる画像を検索するステップと
    を情報処理装置に実行させるためのプログラム。
12. 予め撮像された画像から人の顔を検出するステップと、
    検出された顔と、被捜索者と共に行動していた関係者の顔とについて同定処理を行うことにより、検出された顔が前記関係者の顔であるか否か判断するステップと、
    検出された人の顔のうち、関係者の顔であると判断された顔から所定の範囲内に位置する顔画像を取得するステップと、
    取得された顔画像を被捜索者の候補として出力するステップと
    を情報処理装置に実行させるためのプログラム。
13. 予め撮像された画像から人の顔を検出する第一の検出ステップと、
    前記第一の検出ステップにおいて検出された顔と、被捜索者と共に行動していた関係者の顔とについて同定処理を行うことにより、前記第一の検出ステップにおいて検出された顔が前記関係者の顔であるか否か判断する第一の顔判断ステップと、
    前記第一の顔判断ステップにおいて前記関係者の顔と判断された顔画像を含む画像を出力する出力ステップと、
    前記出力ステップおいて出力された前記画像の中からユーザによって選択された顔画像を被捜索者の顔の画像として確定する確定ステップと、
    撮像装置によって撮像されている画像から人の顔を検出する第二の検出ステップと、
    前記確定ステップにおいて確定された顔と、前記第二の検出ステップにおいて検出された顔とについて同定処理を行うことにより、前記第二の検出ステップにおいて検出された顔が前記被捜索者の顔であるか否か判断する第二の顔判断ステップと、
    前記第二の顔判断ステップにおいて、前記被捜索者の顔であると判断された顔画像を含む画像を撮像した前記撮像手段に関する情報をユーザに提示する提示ステップと
    を情報処理装置に実行させるためのプログラム。
14. 情報処理装置が、被捜索者と共に行動していた関係者の顔画像と、この関係者が前記被捜索者と共に行動していた範囲に設置された撮像装置により撮像された１以上の画像とに基づいて、前記１以上の画像から前記関係者の顔を含む画像を検出するステップと、
    情報処理装置が、検出された前記関係者の画像中における位置から所定の範囲内に位置する他人の顔画像を、当該画像から抽出するステップと、
    情報処理装置が、抽出された顔画像を、被捜索者の顔画像の候補として出力するステップと
    を含む画像取得方法。
15. 情報処理装置が、被捜索者と共に行動していた関係者の顔画像と、この関係者が前記被捜索者と共に行動していた範囲に設置された撮像装置により撮像された１以上の画像とに基づいて、前記１以上の画像から前記関係者の顔を含む画像を検出するステップと、
    情報処理装置が、検出された画像の中からユーザによって選択された顔画像を被捜索者の顔画像として確定するステップと、
    情報処理装置が、確定された被捜索者の顔画像に基づいて、捜索範囲に設置された少なくとも１つの撮像装置により撮像される複数の画像中から前記被捜索者の顔が含まれると認められる画像を検索するステップと
    を含む捜索方法。
16. 情報処理装置が、予め撮像された画像から人の顔を検出するステップと、
    情報処理装置が、検出された顔と、被捜索者と共に行動していた関係者の顔とについて同定処理を行うことにより、検出された顔が前記関係者の顔であるか否か判断するステップと、
    情報処理装置が、検出された人の顔のうち、関係者の顔であると判断された顔から所定の範囲内に位置する顔画像を取得するステップと、
    情報処理装置が、取得された顔画像を被捜索者の候補として出力するステップと
    を含む画像取得方法。
17. 情報処理装置が、予め撮像された画像から人の顔を検出する第一の検出ステップと、
    情報処理装置が、前記第一の検出ステップにおいて検出された顔と、被捜索者と共に行動していた関係者の顔とについて同定処理を行うことにより、前記第一の検出ステップにおいて検出された顔が前記関係者の顔であるか否か判断する第一の顔判断ステップと、
    情報処理装置が、前記第一の顔判断ステップにおいて前記関係者の顔と判断された顔画像を含む画像を出力する出力ステップと、
    情報処理装置が、前記出力ステップおいて出力された前記画像の中からユーザによって選択された顔画像を被捜索者の顔の画像として確定する確定ステップと、
    情報処理装置が、撮像装置によって撮像されている画像から人の顔を検出する第二の検出ステップと、
    情報処理装置が、前記確定ステップにおいて確定された顔と、前記第二の検出ステップにおいて検出された顔とについて同定処理を行うことにより、前記第二の検出ステップにおいて検出された顔が前記被捜索者の顔であるか否か判断する第二の顔判断ステップと、
    情報処理装置が、前記第二の顔判断ステップにおいて、前記被捜索者の顔であると判断された顔画像を含む画像を撮像した前記撮像手段に関する情報をユーザに提示する提示ステップと
    を含む捜索方法。

Images