JP2018006910A - 撮像装置、撮像装置の制御方法およびプログラム - Google Patents

Abstract

【課題】撮像装置間の被写体同定を高精度に行う。【解決手段】他の撮像装置と連携して被写体を撮像する撮像装置であって、撮像画像に基づいてシーンの撮像状況を検出する検出部と、撮像状況に基づいて被写体の抽出に使用する特徴量の種類を変更する変更部と、変更された特徴量の種類を示す情報を他の撮像装置へ送信する送信部とを備える。【選択図】 図１

Description

本発明は、撮像装置、撮像装置の制御方法およびプログラムに関する。

空港やショッピングモールなどに複数台の撮像装置を設置し、それぞれの撮像装置映像を解析することにより、人物を撮像装置間で同定して追跡する撮像装置間被写体同定（Ｒｅ−ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）技術が知られている。

特許文献１では、監視対象を検知している監視装置が、次に連携して監視対象を検知するであろう他の監視装置へ画像の色情報を送信し、当該色情報を送信された他の監視装置が当該色情報に基づいて動作条件を決定する技術が開示されている。

特開２００６−２９５６０４号公報 米国特許出願公開第２００７／０２３７３８７号明細書

しかしながら、特許文献１に記載の技術では、撮像装置が抽出した監視対象の特徴量を連携先の他の撮像装置でも抽出できるように、他の撮像装置のパラメータを調整している。そのため、例えば、他の撮像装置で被写体同定を行う際に、抽出が難しい特徴量を抽出するような指示が撮像装置から送信された場合、撮像装置と他の撮像装置との間の被写体同定の精度が低下する可能性があるという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、撮像装置間の被写体同定を高精度に行う技術を提供することを目的とする。

上記の目的を達成する本発明に係る撮像装置は、
他の撮像装置と連携して被写体を撮像する撮像装置であって、
撮像画像に基づいてシーンの撮像状況を検出する検出手段と、
前記撮像状況に基づいて被写体の抽出に使用する特徴量の種類を変更する変更手段と、
前記変更された前記特徴量の種類を示す情報を前記他の撮像装置へ送信する送信手段と、
を備えることを特徴とする。

本発明によれば、ある撮像装置で状況に応じて変更された特徴量の種類を他の撮像装置が把握でき、他の撮像装置でも同じ種類の特徴量の抽出を行うように変更できることから、撮像装置間の被写体同定を高精度に行うことが可能となる。

本発明の一実施形態に係る被写体同定システムの構成例及び撮像装置の構成例を示す図である。 本発明の一実施形態に係る撮像装置が実施する処理の手順を示すフローチャートである。 本発明の一実施形態に係るイベント・ステータス・抽出される特徴量の種類の関係を示す表である。 本発明の一実施形態に係る撮像画像の一例である。 （ａ）本発明の一実施形態に係る撮像装置の配置構成例を示す図であり、（ｂ）本発明の一実施形態に係る撮像装置のグループ例を示す図である。 本発明の一実施形態に係る、被写体の移動方向と周囲の撮像装置で被写体が捉えられる確率との関係を示す表である。

以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

（実施形態１）
本実施形態では、撮像装置間の被写体同定システムの処理について説明する。本実施形態では、他の撮像装置と連携して被写体を撮像する撮像装置が、撮像画像に基づいてシーンの撮像状況（例えば、混雑イベントの発生）を検出する。そして、撮像状況に基づいて被写体の抽出に使用する特徴量の種類を変更し、変更された特徴量の種類を示す情報を他の撮像装置へ送信する。これにより、連携先の他の撮像装置でも適切な特徴量の種類を使用して被写体領域の抽出を行うことが可能となる。

本実施形態では、被写体は人物とし、２台の撮像装置を用いる。各撮像装置の撮像範囲は重なっていないものとする。すなわち、２台の撮像装置には同一の被写体が同時に写ることはないものとする。

本実施形態では、撮像状況（イベント）とは、撮像および特徴量の抽出に影響を及ぼす可能性のある事象を指す。例えば、混雑の発生、照明条件の変化や、霧の発生等が挙げられる。本実施形態では、画像中にしきい値以上の多数の人物が出現する際に発生する混雑イベントを例に説明を行う。混雑時には、一般的に色特徴よりも高次の特徴である顔特徴を用いた方が被写体の同定精度が向上する。

本実施形態では、混雑イベントに応じて撮像装置のステータス情報が変化する。図３に示すように、撮像装置のステータス情報として、「定常状態」又は「混雑状態」の２つが定義されている。撮像装置のステータス情報は、混雑イベントが発生していない時は「定常状態」となり、混雑イベントが発生している時は「混雑状態」となる。そして、撮像装置は、「定常状態」では色特徴を抽出し、「混雑状態」では顔特徴を抽出することによって人物を検出するように構成する。なお、初期状態では「定常状態」とする。よって、初期状態では、抽出する特徴量の種類は色特徴となる。

連携して被写体を撮像する２台の撮像装置のうち、第２の撮像装置で混雑イベントが発生した場合、被写体同士の重なりにより色特徴を用いた被写体領域の抽出処理の信頼性が低下する可能性がある。そこで、第２の撮像装置で混雑イベントの発生を検出した場合、第２の撮像装置では人物の同定に使用する特徴量の種類を色特徴から顔特徴へ変更する。第２の撮像装置は顔特徴への変更を第１の撮像装置へ通知する。この通知に応じて、第１の撮像装置でも、使用する特徴量の種類として顔特徴へ変更する。これにより、連携している撮像装置間で適切な特徴量を使用することができるので、撮像装置間での被写体同定の精度を向上させることができる。

＜被写体検出処理の概要＞
本実施形態に係る被写体の検出処理では、予め背景が撮像された映像から背景モデルを生成しておき、背景モデルと入力映像との差分により動体領域を検出する背景差分法を用いる。次に、検出された動体領域に対して、所定の大きさの検出ウィンドウを入力画像上で走査させ、検出ウィンドウ内の画像を切り出したパターン画像に対し人物であるか否かの判別を行う方法を用いる（特許文献２参照）。

人物の同定を行うための本実施形態に係る１台の撮像装置内の被写体追尾処理では、前フレームに含まれる被写体領域の中心位置と、現フレームに含まれる被写体領域の中心位置とに基づいて対応付けを行う。ここでは、被写体領域の中心位置は、被写体領域を囲む矩形の中心点として定義する。そして、被写体追尾処理の結果として、同じ人物であることを示す被写体ＩＤを付与する。

本実施形態では、さらに撮像装置間での被写体の同定は、被写体の特徴量を辞書から読み出し、特徴量の差異を表す被写体間距離を算出することにより行う。被写体間距離として、ここでは特徴空間上でのユークリッド距離を用いる。同一被写体は、被写体間距離を所定の閾値と比較することによって推定できる。被写体間距離が閾値以下であれば、同一被写体と判定する。同一被写体と判定された場合、特徴量とともに辞書に登録されているＩＤが割り当てられる。

本実施形態では、被写体の特徴量は、検出された被写体の色特徴および被写体の顔特徴を用いるものとし、通常は処理量が小さい色特徴のみを用いる。色特徴は、各画素のＲＧＢ値からヒストグラムを取得することによって得られる。一方、顔特徴としては、顔器官（目・鼻・口等）の位置とその周囲の色の勾配情報を表すＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量を利用する。各特徴は、画像上でのサイズに依存しないよう、それぞれの値が０から１の間に収まるように正規化処理も行う。

＜撮像装置の構成＞
次に、図１を参照しながら、本実施形態に係る撮像装置の構成例を説明する。複数の撮像装置１０１（本実施形態では、撮像装置１０１ａおよび撮像装置１０１ｂ）と辞書１０２とがネットワーク１０３を介して接続されている。撮像装置１０１は、後述の各種機能を備えたネットワークカメラである。辞書１０２は、被写体の同定に必要な特徴量を記憶している。

撮像装置１０１は、記憶部１０４、撮像部１０５、被写体検出部１０６、被写体特徴抽出部１０７、被写体追尾部１０８、被写体同定部１０９、イベント検出部１１０、制御部１１１、情報送信部１１２、及び情報受信部１１３を備えている。

記憶部１０４は、抽出する特徴量の種類を示す情報や、撮像装置１０１のステータス情報を記憶している。撮像部１０５は、撮像レンズおよびＣＣＤ、ＣＭＯＳなどの撮像センサを含み映像を撮像する。被写体検出部１０６は、撮像部１０５により撮像された映像から被写体を検出する。

被写体特徴抽出部１０７は、被写体検出部１０６により検出された被写体領域から被写体の特徴量を抽出する。抽出する特徴量の種類は、記憶部１０４に記憶されている情報に基づいて決定される。

被写体追尾部１０８は、被写体の追尾を行う。追尾状態である（すなわち、ＩＤが割り当てられている）被写体領域については、ネットワーク１０３を介して当該被写体領域の特徴量をＩＤとともに辞書１０２に記憶する。辞書１０２に特徴量が記憶される際は、特徴量の種類ごとに記憶される。辞書１０２にまだ特徴量が記憶されていない場合は今回抽出された特徴量を記憶し、辞書１０２にすでに特徴量が記憶されている場合は、以下の式に従って値の更新が行われるものとする。

ｆｎｅｗ＝（１−ｐ）×ｆｏｌｄ＋ｐ×ｆ ...（１）
ここで、ｆｎｅｗはこれから辞書に記憶される特徴量、ｆｏｌｄは辞書に記憶されていた特徴量、ｆは今回抽出された特徴量、ｐは更新割合である。ここでは、ｐ＝０．２とする。

被写体同定部１０９は、辞書１０２に記憶されている被写体の特徴量と、被写体検出部１０６により検出された被写体領域から抽出された被写体の特徴量とに基づいて、被写体を照合し、同定する。すなわち、同定された場合は辞書１０２に記憶された被写体のＩＤを割り当てる。

イベント検出部１１０は、撮像部１０５により撮像された映像に基づいてイベントを検出する。例えば、画像中の人物数をカウントして、人物数が閾値値以上である場合に混雑イベントが発生していると判定する。ここで、例えば閾値は４（人）とする。そして、検出されたイベントに基づいて撮像装置１０１のステータス情報を更新する。ステータス情報は、記憶部１０４に記憶される。

制御部１１１は、撮像装置１０１全体の制御を行う。例えば、情報受信部１１３から取得した情報に基づいて、被写体特徴抽出部１０７により抽出する特徴量の種類を選択する。選択された特徴量の種類を示す情報は、記憶部１０４に記憶される。また、撮像装置１０１のパン・チルト・ズームに関する制御を行う。

情報送信部１１２は、ネットワーク１０３を介して接続されている他の撮像装置に対して撮像装置１０１（送信元）が使用している特徴量の種類を示す情報を送信する。情報受信部１１３は、ネットワーク１０３を介して接続されている他の撮像装置から送信される情報を受信する。

なお、本実施形態に係る撮像装置１０１の構成及び撮像装置１０１を含むシステム構成は、図示の構成に限定されるものではない。例えば、図１の例では、記憶部１０４が抽出する特徴量の種類を示す情報及び撮像装置１０１のステータス情報を記憶するが、それぞれの情報が別の記憶部に記憶されてもよい。また、図１の例では、制御部１１１が被写体特徴抽出部１０７により抽出される特徴量の種類を選択するが、特徴量変更部を別途設けて、当該特徴量変更部により特徴量の種類を選択する処理を行ってもよい。

また、図１の例では、撮像装置１０１が、被写体検出部１０６、被写体特徴抽出部１０７、被写体追尾部１０８、被写体同定部１０９、及びイベント検出部１１０を備えている。しかし、これらの処理の少なくとも一部がネットワーク１０３を介して外部のサーバ等により実施されてもよい。例えば、撮像装置１０１は撮像処理のみを行い、その他の処理は中央サーバで集中的に処理を行うように構成してもよい。

後述の本実施形態に係る処理は、撮像装置１０１に搭載されたＣＰＵ（不図示）がメモリ（不図示）に格納されているプログラムを読み出して実行することにより実現される。なお、記憶部１０４が当該プログラムを記憶してもよい。

＜撮像装置が実施する処理＞
続いて、図２のフローチャートを参照して、本実施形態に係る撮像装置が実施する処理の手順を説明する。Ｓ２０１において、撮像部１０５は、撮像画像を取得する。Ｓ２０２において、被写体検出部１０６は、撮像部１０５により取得された撮像画像から１以上の被写体領域を検出する。Ｓ２０３において、被写体特徴抽出部１０７は、記憶部１０４に記憶された特徴量の種類を示す情報に基づいて、被写体検出部１０６により検出された１以上の被写体領域から被写体の特徴量をそれぞれ抽出する。

Ｓ２０４において、被写体追尾部１０８は、被写体の追尾を行う。Ｓ２０５において、被写体同定部１０９は、被写体特徴抽出部１０７により抽出された被写体の特徴量と、辞書１０２から読み出した被写体の特徴量とに基づいて、被写体の同定処理を実行する。Ｓ２０６において、イベント検出部１１０は、撮像部１０５により取得された撮像画像に基づいてイベントを検出する。

Ｓ２０７において、制御部１１１は、イベント検出部１１０により検出されたイベントに応じて撮像装置１０１のステータス情報を設定する。そして、前フレームのステータス情報と現フレームのステータス情報とを比較して、従前のステータスと比較してステータスに変化があったか否かを判定する。ステータスに変化があった場合（Ｓ２０７；ＹＥＳ）、Ｓ２０８へ進む。一方、ステータスに変化がないと判定された場合（Ｓ２０７；ＮＯ）、Ｓ２１０へ進む。

Ｓ２０８において、制御部１１１は、イベント検出部１１０により検出されたイベントに応じて記憶部１０４に記憶されている特徴量の種類を変更する。Ｓ２０９において、情報送信部１１２は、他の撮像装置に情報（例えば、特徴量の種類を示す情報）を送信する。Ｓ２１０において、情報受信部１１３は、他の撮像装置から情報（例えば、特徴量の種類を示す情報）を受信したか否かを判定する。情報を受信したと判定された場合（Ｓ２１０；ＹＥＳ）、Ｓ２１１へ進む。一方、情報を受信していないと判定された場合（Ｓ２１０；ＮＯ）、Ｓ２１２へ進む。

Ｓ２１１において、制御部１１１は、情報受信部１１３により受信した情報に基づいて、記憶部１０４に記憶された特徴量の種類を変更する。Ｓ２１２において、制御部１１１は、被写体の同定処理を終了するか否かを判定する。ユーザ操作により処理の終了が指示された場合、又は、所定時間が経過した場合等に、処理を終了すると判定する。処理を終了すると判定された場合（Ｓ２１２；ＹＥＳ）、一連の処理を終了する。一方、処理を終了しないと判定された場合（Ｓ２１２；ＮＯ）、Ｓ２０１に戻って一連の処理を継続する。以上で図２のフローチャートの各処理が終了する。

以下では、具体例として、「（１）初期状態において、撮像装置１０１ｂで混雑イベントが発生した時の処理」、「（２）撮像装置１０１ｂで混雑イベントが発生した後の処理」の２つに分けて、図２の処理の詳細を説明する。

[（１）初期状態において、撮像装置１０１ｂで混雑イベントが発生したときの処理]
Ｓ２０１において、撮像部１０５は、撮像画像を取得する。Ｓ２０２において、被写体検出部１０６は、撮像部１０５により取得された撮像画像から１以上の被写体領域を検出する。ここで、撮像装置１０１ａ及び撮像装置１０１ｂで検出された被写体領域を図４（ａ）及び図４（ｂ）にそれぞれ示す。黒い領域が被写体領域を示している。ここでは撮像装置１０１ａでは１つの被写体領域が検出されて、撮像装置１０１ｂでは４つの被写体領域が検出されたものとする。

Ｓ２０３において、被写体特徴抽出部１０７は、記憶部１０４に記憶された特徴量の種類を示す情報に基づいて、被写体検出部１０６により検出された１以上の被写体領域から被写体の特徴量をそれぞれ抽出する。初期状態では記憶部１０４に特徴量の種類として色特徴が記憶されているので、色特徴が抽出される。

Ｓ２０４において、被写体追尾部１０８は、被写体の追尾を行う。ここで、図４（ｃ）は、撮像装置１０１ａの前フレームの画像での被写体領域の中心点及び被写体ＩＤ、及び、撮像装置１０１ａの現フレームの画像での被写体領域の中心点を示している。撮像装置１０１ａでは、前フレームの被写体領域ａと現フレームの被写体領域ａとの距離がしきい値以内の場合に同一被写体として対応付けられる。その後、前フレームと同じ被写体ＩＤ（ここでは、ＩＤ＝６０）が付与される。撮像装置１０１ｂでも同様の処理が行われている。そして、被写体特徴抽出部１０７により抽出された、撮像装置１０１ａでＩＤ＝６０が付与された被写体領域の色特徴が、ＩＤ＝６０に対応する特徴量として辞書１０２に記憶される。この処理は撮像装置１０１ｂにおいても同様に実行される。

Ｓ２０５において、被写体同定部１０９は被写体の同定処理を実行する。例えば、図４（ｂ）に示す被写体ｄが撮像装置１０１ｂにより未だに同定されていない場合、撮像装置１０１ｂでは同定処理が行われる。辞書１０２に記憶された各ＩＤの色特徴と、撮像装置１０１ｂにおける被写体ＩＤの色特徴とをユークリッド距離を用いて比較し、閾値以下で最も距離が短いＩＤを付与する。一度被写体の同定が完了すれば、Ｓ２０４の追尾処理で追尾されている間は、当該同定処理はスキップしてもよい。

Ｓ２０６において、イベント検出部１１０は、撮像部１０５により取得された撮像画像に基づいてイベントを検出する。図４（ｂ）の例では撮像装置１０１ｂの画像中の人物数は４人とカウントされるため閾値（４人）以上となることから、撮像装置１０１ｂでは混雑イベントの発生が検出される。

Ｓ２０７において、制御部１１１は、イベント検出部１１０により検出されたイベントに応じて撮像装置１０１のステータス情報を設定する。混雑イベントの発生が検出された撮像装置１０１ｂでは、撮像装置１０１ｂのステータス情報は当初の「定常状態」から「混雑状態」へと変更される。撮像装置１０１ｂではステータス情報が変更されたため、Ｓ２０８へ進むことになる。なお、撮像装置１０１ａではステータス情報が変更されていないため、Ｓ２１０へ進むことになる。

Ｓ２０８において、制御部１１１は、イベント検出部１１０により検出されたイベントに応じて人物の同定に用いる特徴量の種類を変更する。ここでは、撮像装置１０１ｂのステータス情報が「混雑状態」となっているため、図３の対応表に従って、撮像装置１０１ｂは特徴量の種類を顔特徴に変更する。この時、撮像装置１０１ｂは複数の人物を追尾しており、ズーム等で画角を変更してしまうと複数の人物を追尾できなくなる可能性もあるため、画角を変更せずに顔特徴を抽出してもよい。

Ｓ２０９において、情報送信部１１２は、他の撮像装置に情報（例えば、人物の同定に用いる特徴量の種類を示す情報）を送信する。ここでは、撮像装置１０１ｂから撮像装置１０１ａに対して、特徴量の種類を示す情報として顔特徴が送信される。Ｓ２１０において、情報受信部１１３は、他の撮像装置から情報（例えば、特徴量の種類を示す情報）を受信したか否かを判定する。ここでは、撮像装置１０１ｂから撮像装置１０１ａへ情報が送信されているため、撮像装置１０１ａでは、Ｓ２１１へ進む。一方、撮像装置１０１ａから撮像装置１０１ｂへは情報が送信されていないため、撮像装置１０１ｂでは、Ｓ２１２へ進む。

Ｓ２１１において、制御部１１１は、情報受信部１１３により受信した情報に基づいて、記憶部１０４に記憶された特徴量の種類を変更する。撮像装置１０１ａでは、特徴量の種類として「顔特徴」を撮像装置１０１ｂから受信しているため、特徴量の種類を示す情報として、撮像装置１０１ａの記憶部１０４に顔特徴が上書きされて特徴量の種類が変更される。この時、撮像装置１０１ａの制御部１１１は、より精度よく顔特徴を抽出するために被写体領域を拡大して（視野を制御して）撮像するようにパン、チルト、ズームの制御を実行する。例えば、被写体を囲む矩形の幅及び高さの何れか短い方の長さが画像上で１００ピクセルとなるようにズーム倍率を設定し、被写体の顔が画像の中心に位置するようにパン・チルトの制御を行う。その後、Ｓ２１２の終了判定処理を経て、一連の処理を繰り返すか、あるいは処理を終了することになる。

[（２）撮像装置１０１ｂで混雑イベントが発生した後の処理]
続いて、「（２）撮像装置１０１ｂで混雑イベントが発生した後の処理」を説明する。「（１）初期状態において、撮像装置１０１ｂで混雑イベントが発生した時の処理」と同様の処理については説明を省略する。

Ｓ２０１の画像取得処理において、撮像装置１０１ａでは、（１）の処理のＳ２１１で設定された各パラメータ（パン・チルト・ズーム等）に従って、図４（ｄ）に示すようなズームされた撮像画像が取得される。Ｓ２０２の検出処理は（１）の処理と同様である。Ｓ２０３の特徴量抽出処理において、撮像装置１０１ａでは、ズームされて取得された撮像画像から顔特徴の特徴量が抽出される。撮像装置１０１ｂでは、画角を変更せずに取得された撮像画像から顔特徴の特徴量が抽出される。

Ｓ２０４の被写体の追尾処理において、撮像装置１０１ａ及び撮像装置１０１ｂでは、抽出する特徴量の種類が色特徴から顔特徴に変更されているので、辞書１０２には各ＩＤに対応付けて色特徴の特徴量ではなく顔特徴の特徴量が記憶される。例えば、撮像装置１０１ａでＩＤ＝６０が割り当てられている被写体領域ａの顔特徴の特徴量が、辞書１０２のＩＤ＝６０の格納場所に記憶される。

Ｓ２０５の被写体の同定処理では、使用する特徴量の種類は顔特徴となる。例えば、撮像装置１０１ｂの映像に新たに被写体が現れた場合、同定処理は顔特徴を用いて行われる。Ｓ２０６のイベント検出処理及びＳ２０７のステータス変化判定処理では、例えば撮像装置１０１ｂで混雑が解消されて混雑イベントが無くなった場合、撮像装置１０１ｂのステータス情報は「定常状態」へ変化する。その後、Ｓ２０８へ進む。一方、撮像装置１０１ｂで引き続き混雑が継続し、撮像装置１０１ｂのステータス情報が「混雑状態」のまま変化が無ければ、Ｓ２１０へ進む。Ｓ２０８−Ｓ２１２の各処理は（１）の処理と同様である。

以上説明したように、実施形態１では、他の撮像装置と連携して被写体を撮像する撮像装置が、撮像画像に基づいてシーンの撮像状況（例えば、混雑）を検出する。そして、撮像状況に基づいて被写体の抽出に使用する特徴量の種類を（例えば、色特徴から顔特徴へ）変更し、変更された特徴量の種類を示す情報を他の撮像装置へ送信する。

これにより、ある撮像装置で状況に応じて変更された特徴量の種類を他の撮像装置が把握できるため、他の撮像装置でも同じ種類の特徴量の抽出を行うように変更できることから、撮像装置間の被写体同定を高精度に行うことが可能となる。

（実施形態２）
本実施形態では、連携先の他の撮像装置が複数台存在する場合について説明する。なお、以降の説明では、実施形態１で説明した処理と同様の処理については説明を省略し、実施形態１で説明した処理とは異なる箇所を主に説明する。

本実施形態では撮像装置を５台使用する。それぞれ、撮像装置Ａ、撮像装置Ｂ、撮像装置Ｃ、撮像装置Ｄ、撮像装置Ｅとする。各撮像装置は、図５（ａ）の通りに配置されており、実施形態１と同様、撮像範囲は重なっていないものとする。そして、各撮像装置は、可視光下における映像を取得可能であるとともに、赤外光を利用して非可視光下における映像も取得可能であるものとする。可視光下では、色ヒストグラムを被写体領域の特徴量として抽出する（可視特徴と称する）。非可視光下（暗闇）では、赤外光による非可視光映像における輝度ヒストグラムを被写体領域の特徴量として抽出する（非可視特徴と称する）。

本実施形態では、被写体が撮像装置Ａで捉えられている状況について考える。この被写体は撮像装置Ｂ、撮像装置Ｃ、撮像装置Ｄ、撮像装置Ｅのいずれにも出現可能であるとする。状況を簡単にするため、部屋の構造上撮像装置Ａから撮像装置Ｂを通らずに撮像装置Ｅに出現することはないとする。

そして、撮像装置Ａにおける被写体の移動方向ごとに、被写体が撮像装置Ｂ、撮像装置Ｃ、又は撮像装置Ｄの方向へ移動する確率が事前の学習によって予め統計的に求められているものとする（これを移動確率データと称する）。この移動確率データの例を図６に示す。図６の例では、例えば被写体の移動方向が０°の方向である場合、その後被写体が撮像装置Ｂの方向へ移動する確率が０．９、撮像装置Ｃの方向へ移動する確率が０．１、撮像装置Ｄの方向へ移動する確率が０であることを示している。詳細は後述する。

また、本実施形態では、撮像装置Ｂで暗闇イベントが発生し、他の撮像装置では暗闇イベントが発生していない場合を考える。すなわち、撮像装置Ｂで使用されうる特徴量と、他の撮像装置で使用されうる特徴量とが異なるものとする。なお、暗闇イベントは、例えば、可視光下における画像の輝度値がしきい値以下のときに非可視光下と判定され、この暗闇イベントを発生させるものとする。

本実施形態では、このような場合に、撮像装置Ａで捉えられている被写体が撮像装置Ｂ、撮像装置Ｃ又は撮像装置Ｄの何れに出現しても、効率良く追尾処理が行えるよう、被写体の移動方向ベクトルを用いて、抽出・記憶する特徴量を最適化する方法を説明する。

撮像装置Ｂで暗闇イベントが発生した場合、撮像装置Ｂでは非可視特徴が使用される。一方、撮像装置Ｃ及び撮像装置Ｄでは暗闇イベントが発生していないため、撮像装置Ｃ及び撮像装置Ｄでは可視特徴が使用される。撮像装置Ａは、撮像装置Ｂで発生した暗闇イベントに応じた特徴量の変更通知を受信することにより撮像装置Ｂで使用する特徴量の種類を把握することができる。

ここで、撮像装置Ａが捉えている被写体の移動方向が０°の方向である場合、図６によれば被写体が撮像装置Ｂの方向へ移動する確率が０．９、撮像装置Ｃの方向へ移動する確率が０．１である。すなわち、被写体は非可視特徴を使用する撮像装置Ｂの方向へ移動することもあれば、可視特徴を使用する撮像装置Ｃの方向へ移動することもあるが、各移動確率は異なっている。

撮像装置Ａでは、例えば移動確率を特徴量選択確率としてそのまま適用し、撮像装置Ｂで使用されている非可視特徴については特徴量選択確率０．９、撮像装置Ｃで使用されている可視特徴（色特徴）については特徴量選択確率０．１とする。よって、撮像装置Ａでは非可視特徴、可視特徴の各特徴量が特徴量選択確率に応じた配分で取得されることになる。

このように、撮像装置Ａで捉えている被写体の今後の移動確率を特徴量選択確率として、各撮像装置で使用される特徴量の種類を特徴量選択確率に応じて比例配分して抽出する。これにより、被写体の移動確率に応じて適切な種類の特徴量を取得できるため、撮像装置間の被写体同定の精度を向上させることができる。

なお、本実施形態では事前に各撮像装置をグループ化しておく。これは、ある撮像装置でイベント（例えば、暗闇イベント）が発生して特徴量の変更を示す情報が送信される際、どの範囲にある撮像装置がその影響を受けるのかを、撮像装置の位置的な制約に基づき決定するためである。ここでは、ある撮像装置で被写体を捉えていた場合に、当該被写体が次に現れるであろう撮像装置の候補を１つのグループとして登録する。

例えば、図５（ｂ）に示すように、撮像装置Ａで被写体を捉えていた場合、撮像装置Ｂ、撮像装置Ｃ、又は撮像装置Ｄに当該被写体が次に出現する可能性があるため、（Ａ｜Ｂ，Ｃ，Ｄ）を１つのグループ１として登録する。この時、撮像装置Ａはグループの親として登録される。同様に、撮像装置Ｂで被写体を捉えていた場合、撮像装置Ａ、撮像装置Ｅに当該被写体が次に出現する可能性があるため、（Ｂ｜Ａ，Ｅ）が１つのグループ２として登録される。この時、撮像装置Ｂはグループの親として登録される。

撮像装置Ｃで被写体を捉えていた場合、撮像装置Ａに当該被写体が次に出現する可能性があるため、（Ｃ｜Ａ）が１つのグループ３として登録される。この時、撮像装置Ｃはグループの親として登録される。撮像装置Ｄで被写体を捉えていた場合、撮像装置Ａに当該被写体が次に出現する可能性があるため、（Ｄ｜Ａ）が１つのグループ４として登録される。この時、撮像装置Ｄはグループの親として登録される。撮像装置Ｅで被写体を捉えていた場合、撮像装置Ｂに当該被写体が次に出現する可能性があるため、（Ｅ｜Ｂ）が１つのグループ５として登録される。この時、撮像装置Ｅはグループの親として登録される。

＜撮像装置の構成＞
本実施形態に係る撮像装置Ａ−撮像装置Ｅの構成は実施形態１で説明した撮像装置１０１の図１（ａ）の構成と同様である。以下、各処理部のうち主に実施形態１とは機能が異なる処理部について説明を行う。

記憶部１０４は、被写体領域の抽出に使用する特徴量の種類を示す情報、当該特徴量を使用する撮像装置の情報、撮像装置のステータス情報等を記憶する。例えば、特徴量の種類を示す情報として、顔特徴の特徴量を使用するという情報が撮像装置Ｂから撮像装置Ａへ送信された場合、顔特徴と撮像装置Ｂとが関連付けられる。

さらに、記憶部１０４は、抽出に使用する特徴量の種類が複数設定されている場合は、各フレームでどの特徴量を抽出するかを表す確率（特徴量選択確率と称する）も記憶する。例えば、ある撮像装置の記憶部１０４に記憶されている特徴量の種類及び特徴量選択確率の組み合わせが、色特徴：０．７、顔特徴：０．３である場合、１０フレーム中７回は色特徴を抽出し、３回は顔特徴を抽出することを意味するものとする。

撮像部１０５は、可視光用の撮像レンズおよびＣＣＤ、ＣＭＯＳなどの撮像センサで構成されたデバイス、非可視光用の撮像レンズおよび撮像センサ、被写体へ赤外線を当てる照明から構成されたデバイスを備えており、映像を撮像する。イベント検出部１１０により暗闇イベントが検出された場合、あるいは、抽出する特徴量の種類として非可視特徴が選択されている場合は、非可視光用のデバイスを撮像に使用する。

被写体特徴抽出部１０７は、被写体検出部１０６により検出された被写体領域から被写体の特徴量を抽出する。抽出する特徴量の種類は、記憶部１０４に記憶されている特徴量の種類とするが、特徴量の種類が複数設定されている場合は、特徴量選択確率に基づいて選択される。この時、各フレームで抽出する特徴量の種類は、乱数を利用して決定する。例えば、特徴量の種類および特徴量選択確率の組み合わせが、色特徴：０．７、顔特徴：０．３である場合、１から１０までの乱数を発生させ、１から７の場合は色特徴を選択し、８から１０の場合は顔特徴を選択する。

被写体追尾部１０８は、被写体の追尾を行う。追尾状態である（すなわち、ＩＤが割り当てられている）被写体領域については、被写体特徴抽出部１０７は当該被写体領域の特徴量を、ネットワーク１０３を介して辞書１０２に記憶する。さらに、被写体の移動方向ベクトルを算出し、当該移動方向ベクトルと移動確率データとに基づいて特徴量選択確率を算出する。そして、算出した特徴量選択確率を記憶部１０４に記憶する。

情報送信部１１２は、ネットワーク１０３を介して接続されている、自身が親のグループに属する他の撮像装置へ、自身（送信元）が使用している特徴量の種類を送信する。例えば、グループ１の親である撮像装置Ａは、撮像装置Ａが使用している特徴量の種類を、グループ１に属する他の撮像装置（撮像装置Ｂ、撮像装置Ｄ、撮像装置Ｅ）へ送信する。

情報受信部１１３は、ネットワーク１０３を介して接続されている、自身が属するグループの他の撮像装置の情報送信部１１２から送信される情報を受信する。

＜撮像装置が実施する処理＞
続いて、図２のフローチャートを参照して、本実施形態に係る撮像装置が実施する処理の手順を説明する。実施形態１と同様の処理については説明を省略する。Ｓ２０１の画像取得処理及びＳ２０２の検出処理は、実施形態１と同様である。Ｓ２０３において、被写体特徴抽出部１０７は、被写体検出部１０６により検出された１以上の被写体領域から被写体の特徴量をそれぞれ抽出する。ここでは、撮像装置Ａの記憶部１０４に記憶されている、特徴量の種類及び当該特徴量を使用する撮像装置、特徴量選択確率が、色特徴（撮像装置Ｃ、撮像装置Ｄで使用）：０．７、非可視特徴（撮像装置Ｂで使用）：０．３であるものとする。この場合、撮像装置Ａは、１０フレーム中、７回は色特徴を抽出し、３回は非可視特徴を抽出する。

Ｓ２０４の被写体の追尾処理は実施形態１と同様であるが、ここでは更に、被写体の移動方向ベクトルを算出して取得し（方向取得）、移動方向ベクトルと移動確率データとに基づいて特徴量選択確率を取得する（確率取得）。そして、算出した特徴量選択確率を記憶部１０４に記憶する。

被写体の移動方向ベクトルは、フレーム間での被写体領域の中心点位置の差分に基づいて算出する。例えば、撮像装置Ａで図４（ｃ）のような状況である場合、移動方向ベクトルは（２０，２）となる。そして、被写体領域の中心点を原点としたｘｙ平面上で、移動方向ベクトルの角度θを求める。この場合は、θ≒５．７°となる。そして、図６の移動確率データの対応表に従って特徴量選択確率を決定する。

図６の例では移動確率データは４５°ごとに定義されているため、最も近い角度のデータを用いるものとする。この場合は、０°のデータを参照する。その場合、撮像装置Ｂの方向へ被写体が移動する確率が０．９、撮像装置Ｃの方向へ被写体が移動する確率が０．１となっている。撮像装置Ｂと撮像装置Ｃとで被写体領域の抽出に使用する特徴量が異なっている場合は、確率を考慮して、撮像装置Ｂで使用する特徴量を予め抽出しておいた方がよいと考えられる。そこで、特徴量選択確率は、例えば、移動確率データをそのまま適用して、撮像装置Ｃで使用されている可視特徴（色特徴）を０．１、撮像装置Ｂで使用されている非可視特徴を０．９とする。当該情報が撮像装置Ａの記憶部１０４に記憶される。

Ｓ２０５−Ｓ２０８の各処理は実施形態１と同様であるが、本実施形態で検出されるイベントは暗闇イベントである。Ｓ２０９において、情報送信部１１２は、自身が親のグループに属する他の撮像装置に情報（例えば、送信元が使用している特徴量の種類を示す情報）を送信する。図５（ｂ）に示すように、暗闇イベントが発生した撮像装置Ｂに関して、撮像装置Ｂが親であるグループ２は（Ｂ｜Ａ，Ｅ）であるので、撮像装置Ｂから撮像装置Ａ、撮像装置Ｅに対して、特徴量の種類として非可視特徴が送信される。

情報受信ステップＳ２０９において、情報受信部１１３は、自身が属するグループの他の撮像装置の情報送信部１１２から情報を受信したか否かを判定する。ここでは、撮像装置Ｂが撮像装置Ａ、撮像装置Ｅに情報を送信しているため、撮像装置Ａ、撮像装置ＥではＳ２１１へ進むことになる。Ｓ２１０−Ｓ２１２の各処理は実施形態１と同様である。

以上説明したように、実施形態２では、第１の他の撮像装置（撮像装置Ｂ）及び第２の他の撮像装置（撮像装置Ｃ）を含む複数の他の撮像装置と連携して被写体を撮像する撮像装置（撮像装置Ａ）が、撮像画像に基づいて被写体の移動方向情報を取得する。そして、移動方向情報に基づいて被写体の移動確率を取得する。さらに、移動確率に基づいた選択確率で、第１の他の撮像装置（撮像装置Ｂ）で被写体の抽出に使用される第１の種類の特徴量（非可視特徴）と、第２の他の撮像装置（撮像装置Ｃ）で被写体の抽出に使用される第２の種類の特徴量（可視特徴）とを抽出する。

このように、被写体の移動方向に応じて抽出する特徴量を制御するようにしたので、連携先の撮像装置が複数存在する場合でも、被写体同定の精度を向上させることができる。

[変形例]
上述の各実施形態では、被写体の特徴量は、被写体領域内から抽出された色ヒストグラムや輝度ヒストグラム、顔器官位置とＨＯＧ特徴量などを挙げたが、それら以外にも、輝度やエッジなどを用いた様々な特徴量を用いてもよい。また、鞄、サングラス、髭などの存在確率を示すような、人間にとって意味をなす特徴を抽出しても良い。抽出方法は、例えば形状特徴であるＬＢＰ特徴量やＨＯＧ特徴量等を用い、サポートベクタマシン（ＳＶＭ）等を用いて識別するなどが挙げられる。

上述の各実施形態では、抽出する特徴量をイベント検知時に変更するとしたが、特徴量の変更に猶予期間を設けてもよい。例えば、混雑イベントの発生と同時に顔特徴に変更するのではなく、色特徴と顔特徴とを同時に抽出するようにし、一定フレームの間連続して混雑イベントが発生した場合に、色特徴の抽出をやめて、顔特徴のみを抽出するようにしてもよい。これにより、より安定的に被写体の追尾・同定を行うことができる。

上述の各実施形態では、被写体の追尾は、フレーム間の被写体同士を対応付けることができればどのような手法を用いてもよい。例えば、前フレームの被写体領域を照合パターンとしたパターンマッチングによる手法などでもよい。

上述の各実施形態では、被写体の同定は、被写体の特徴量を辞書から読み出し、被写体間のユークリッド距離を算出することにより行う例を説明したが、それ以外の公知の技術を用いてもよい。例えば、ユークリッド距離の代わりにマハラノビス距離を用いてもよいし、撮像装置間の距離と被写体の速度から、連携先の撮像装置の映像に被写体が写るまでの時間を推定し、その推定時間を考慮に入れて被写体の同定を行ってもよい。

上述の各実施形態では、被写体は人物としたが、人物以外の被写体についても適用可能である。被写体として車両を扱いたい場合、例えば、特許文献２に記載の判別器を車両について適用すればよい。

上述の各実施形態では、被写体検出からイベント検出までの各処理を各撮像装置内で行う例を説明した。しかし、ネットワークにサーバを接続し、当該サーバが各撮像装置から取得した映像を使用して、これらの処理の少なくとも一部を行ってもよい。

上述の各実施形態では、撮像装置の台数は実施形態１では２台、実施形態２では５台であったが、任意の台数に拡張・変更可能である。

上述の各実施形態では、イベントとして混雑や暗闇を挙げたが、同一の特徴量を使い続けると被写体の同定精度が低下するようなイベントには様々なものが考えられる。例えば、霧や煙の発生による視界不良や、連携先の撮像装置における一部センサの故障等も考えられる。視界不良の場合にはサーマルカメラ等の可視光以外の情報を用いた特徴量を用いることができる。また、センサの故障の場合には、そのセンサ以外のセンサで取得可能な特徴量を用いることができる。なお、視界不良のイベントの発生に関しては、例えば、画像のコントラストが予め定められたしきい値以下の場合に発生させてもよい。

また、画像の領域毎にイベントを検出し、それを利用することも可能である。例えば、画像を上下左右に４分割し、それぞれで混雑イベントを検知する。例えば撮像装置Ａに写った人物が撮像装置Ｂの方に移動してきた際は必ず画面の左側に出現するという制約があった場合を考える。撮像装置Ｂの左側の領域で混雑が発生している場合に、撮像装置Ｂが混雑領域で使用している特徴量の種類を撮像装置Ａに送信するように構成してもよい。

上述の各実施形態では、特徴量抽出のための制御の例として、パン、チルト、ズーム操作やデバイスの切り替えを挙げたが、それ以外にも感度や照明の切り替えなども含むことができる。例えば、非可視光から可視光までを撮像可能な撮像装置を用いた場合、イベントに応じて非可視光及び可視光の感度をフィルタなどを用いて変更したり、非可視特徴の特徴量を抽出するために被写体に向けて非可視光の照明を投射したりすることができる。

また実施形態２では、撮像装置のグループ化を行う際、各撮像装置の位置的な制約に基づいてグループを決定したが、他の方法で行ってもよい。例えば、被写体がどの撮像装置からどの撮像装置へと移行したかを記録しておき、その情報に基づいてグループ化を行ってもよい。また、移動確率データを被写体の属性（性別や年齢など）別に分けておき、被写体の属性を識別した上でグループ化を行っても良い。撮像装置の位置的な制約と移動確率データとを両方使用してグループ化を行っても構わない。

実施形態２では、特徴量選択確率を被写体の移動方向と、被写体の移動と撮像装置の位置的情報に関する統計的情報である移動確率データとに基づいて決定する例を説明した。しかし、撮像装置の位置的な情報のみを使用して特徴量選択確率を決定してもよい。例えば、ある撮像装置で捉えられた被写体が別の撮像装置で捉えられる確率を、被写体の移動方向に関係なく統計的に求めておき、その統計情報に基づいて特徴量選択確率を決定してもよい。

また、実施形態２では、特徴量選択確率を被写体の移動方向と、被写体の移動と撮像装置の位置的情報に関する統計的情報である移動確率データとに基づいて決定する例を説明した。しかし、被写体の移動に関する統計的情報を用いる代わりに撮像装置の位置的情報を用いてもよい。例えば、２次元平面上に撮像装置の位置座標と被写体の位置座標とをマッピングし、被写体から各撮像装置に向かうベクトルと、被写体の移動方向ベクトルのなす角θをそれぞれ計算し、θに応じて特徴量選択確率を決定するようにしてもよい。

以上、本発明の好ましい形態について詳述したが、本実施形態は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１：撮像装置、１０２：辞書、１０３：ネットワーク、１０４：記憶部、１０５：撮像部、１０６：被写体検出部、１０７：被写体特徴抽出部、１０８：被写体追尾部、１０９：被写体同定部、１１０：イベント検出部、１１１：撮像装置制御部、１１２：情報送信部、１１３：情報受信部

Claims (14)

1. 他の撮像装置と連携して被写体を撮像する撮像装置であって、
   撮像画像に基づいてシーンの撮像状況を検出する検出手段と、
   前記撮像状況に基づいて被写体の抽出に使用する特徴量の種類を変更する変更手段と、
   前記変更された前記特徴量の種類を示す情報を前記他の撮像装置へ送信する送信手段と、
   を備えることを特徴とする撮像装置。
2. 前記撮像状況に基づいて前記撮像装置のステータス情報を決定する決定手段をさらに備え、
   前記変更手段は、前記決定されたステータス情報が従前のステータス情報から変更された場合に、前記特徴量の種類を変更することを特徴とする請求項１に記載の撮像装置。
3. 前記変更された前記特徴量の種類に応じて撮像部の視野を制御する制御手段をさらに備えることを特徴とする請求項１又は２に記載の撮像装置。
4. 前記制御手段は、パン、チルト、ズームのうち少なくとも１つを制御することにより前記撮像部の視野を制御することを特徴とする請求項３に記載の撮像装置。
5. 前記シーンの撮像状況は、人物の混雑、可視光下の画像の輝度値がしきい値以下である暗闇又は画像のコントラストがしきい値以下である視界不良であることを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
6. 前記検出手段により前記シーンの撮像状況として混雑が検出された場合、前記変更手段は、前記被写体の抽出に使用する特徴量の種類を顔特徴へ変更することを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。
7. 前記検出手段により前記シーンの撮像状況として混雑が検出されていない場合、前記被写体の抽出に使用する特徴量の種類は色特徴であることを特徴とする請求項６に記載の撮像装置。
8. 前記検出手段により前記シーンの撮像状況として暗闇が検出された場合、前記変更手段は、前記被写体の抽出に使用する特徴量の種類を非可視特徴へ変更することを特徴とする請求項１乃至５の何れか１項に記載の撮像装置。
9. 前記検出手段により前記シーンの撮像状況として暗闇が検出されていない場合、前記被写体の抽出に使用する特徴量の種類は可視特徴であることを特徴とする請求項８に記載の撮像装置。
10. 第１の他の撮像装置及び第２の他の撮像装置を含む複数の他の撮像装置と連携して被写体を撮像する撮像装置であって、
    撮像画像に基づいて前記被写体の移動方向情報を取得する方向取得手段と、
    前記移動方向情報に基づいて前記被写体の移動確率を取得する確率取得手段と、
    前記移動確率に基づいた選択確率で、前記第１の他の撮像装置で前記被写体の抽出に使用される第１の種類の特徴量と、前記第２の他の撮像装置で前記被写体の抽出に使用される第２の種類の特徴量とを抽出する特徴抽出手段と、
    を備えることを特徴とする撮像装置。
11. 前記第１の他の撮像装置で前記被写体の抽出に使用される特徴量の種類が変更された場合、当該変更された特徴量の種類を示す情報を受信する受信手段をさらに備えることを特徴とする請求項１０に記載の撮像装置。
12. 他の撮像装置と連携して被写体を撮像する撮像装置の制御方法であって、
    撮像画像に基づいてシーンの撮像状況を検出する検出工程と、
    前記撮像状況に基づいて被写体の抽出に使用する特徴量の種類を変更する変更工程と、
    前記変更された前記特徴量の種類を示す情報を前記他の撮像装置へ送信する送信工程と、
    を有することを特徴とする撮像装置の制御方法。
13. 第１の他の撮像装置及び第２の他の撮像装置を含む複数の他の撮像装置と連携して被写体を撮像する撮像装置の制御方法であって、
    撮像画像に基づいて前記被写体の移動方向情報を取得する方向取得工程と、
    前記移動方向情報に基づいて前記被写体の移動確率を取得する確率取得工程と、
    前記移動確率に基づいた選択確率で、前記第１の他の撮像装置で前記被写体の抽出に使用される第１の種類の特徴量と、前記第２の他の撮像装置で前記被写体の抽出に使用される第２の種類の特徴量とを抽出する特徴抽出工程と、
    を有することを特徴とする撮像装置の制御方法。
14. コンピュータを、請求項１乃至１１の何れか１項に記載の撮像装置の各手段として機能させるためのプログラム。