JP2022173838A - 撮像制御装置および撮像制御方法 - Google Patents

Abstract

【課題】効率的な露出制御を可能にする撮像制御装置を提供すること。【解決手段】撮像制御装置は、撮像装置から入力された画像に含まれる被写体を検出する検出手段と、前記検出手段により検出された被写体が事前に認証された被写体かどうかを判定する判定手段と、前記撮像装置の露出制御を行う制御手段と、を備え、前記制御手段は、前記判定手段により前記被写体が事前に認証された被写体でないと判定された場合、当該被写体に対して前記露出制御を行い、前記判定手段により前記被写体が事前に認証された被写体である判定された場合、当該被写体に対して前記露出制御を行わない。【選択図】 図６

Description

本発明は、撮像制御装置および撮像制御方法に関する。

撮像された画像の中から被写体の顔領域を検出し、検出された顔の重要度に基づいて、撮像条件等を設定する技術が知られている（特許文献１）。

特許第４２５４８７３号

本発明の目的は、効率的な露出制御を可能にする撮像制御装置を提供することである。

上記目的を達成するために、本発明の１つの態様による撮像制御装置は、撮像装置から入力された画像に含まれる被写体を検出する検出手段と、前記検出手段により検出された被写体が事前に認証された被写体かどうかを判定する判定手段と、前記撮像装置の露出制御を行う制御手段と、を備え、前記制御手段は、前記判定手段により前記被写体が事前に認証された被写体でないと判定された場合、当該被写体に対して前記露出制御を行い、前記判定手段により前記被写体が事前に認証された被写体である判定された場合、当該被写体に対して前記露出制御を行わない。

本発明によれば、効率的な露出制御が可能になる。

本発明の実施形態１に係る撮像制御システムの構成を示すブロック図。 実施形態１に係る監視カメラの内部構成を示すブロック図。 実施形態１に係るクライアント装置の内部構成を示すブロック図。 図３のクライアント装置が実行する機能を例示的に説明する図。 実施形態１に係る露出制御処理を例示的に説明するフローチャート。 実施形態１に係る顔認証処理を例示的に説明するフローチャート。 顔検出領域と人体検出領域とを例示的に説明する図。 実施形態２に係る露出制御処理を例示的に説明するフローチャート。

以下に、本発明の実施形態を、図面を参照して詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

なお、後述する図４に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。したがって、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（特定用途向け集積回路）の略である。ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＭＰＵはＭｉｃｒｏ－Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。

実施形態１
図１～図７を参照して本発明の実施形態１を説明する。
（基本構成）
図１は、実施形態１に係る撮像制御システム１００の構成を例示的に説明する図である。

撮像制御システム１００は、監視カメラ１０１と、ネットワーク１０２と、クライアント装置１０３と、入力装置１０４と、表示装置１０５とを有する。監視カメラ１０１は、動画像を取得するための撮像装置であり、被写体の撮像および画像処理が可能な装置である。監視カメラ１０１、クライアント装置１０３、入力装置１０４および表示装置１０５は、それぞれ通信機能を備えている。監視カメラ１０１とクライアント装置１０３とは、ネットワーク１０２を介して相互に通信可能な状態で接続されている。クライアント装置１０３は、入力装置１０４と表示装置１０５に通信可能な状態で接続されている。クライアント装置１０３は、種々の情報を処理する装置であるので、情報処理装置と称してもよい。また、クライアント装置１０３は、監視カメラ１０１の撮像を制御する（例えば、露出制御を行う）装置であるので、撮像制御装置と称してもよい。被写体は、例えば、人物である。

入力装置１０４は、マウスやキーボード等から構成され、クライアント装置１０３のユーザにより操作される。
表示装置１０５は、クライアント装置１０３から受信した画像を表示するモニタ等を備える装置である。なお、表示装置１０５はタッチパネルなどのＵＩとして機能することもできる。この場合、表示装置１０５は、クライアント装置１０３へ指示、情報、データ等を入力する入力装置としても機能できることになる。ＵＩはＵｓｅｒ Ｉｎｔｅｒｆａｃｅの略である。

図１では、クライアント装置１０３と入力装置１０４と表示装置１０５とがそれぞれ独立した装置として描かれているが、本実施形態はこのような構成に限定されない。例えば、クライアント装置１０３と表示装置１０５とが、一体化されていてもよいし、入力装置１０４と表示装置１０５とが一体化されていてもよい。また、クライアント装置１０３と入力装置１０４と表示装置１０５とが、一体化されていてもよい。クライアント装置１０３と表示装置１０５とが一体化される場合、一体化された装置は、例えば、パーソナルコンピュータ、タブレット端末、スマートフォンのような形態をとる。

（監視カメラの構造）
図２は、監視カメラ１０１の内部構成を例示的に説明するブロック図である。監視カメラ１０１は、撮像光学系２０１、撮像素子２０２、カメラＣＰＵ２０３、ＲＯＭ２０４、ＲＡＭ２０５、撮像系制御部２０６、通信制御部２０７、Ａ／Ｄ変換部２０８、画像処理部２０９、エンコーダ部２１０およびネットワークＩ／Ｆ２１１を有する。監視カメラ１０１の各部（２０３～２１１）は、システムバス２１２により相互接続されている。ＲＯＭはＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。ＲＡＭはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。Ａ／ＤはＡｎａｌｏｇ／Ｄｉｇｉｔａｌの略である。Ｉ／Ｆはインターフェースの略である。

撮像光学系２０１はズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッターなどから構成され、被写体の光情報を集光する光学部材群である。撮像光学系２０１は撮像素子２０２に接続されている。
撮像素子２０２は、撮像光学系２０１で集光される光束を電流値（信号値）へと変換するＣＭＯＳやＣＣＤなどの電荷蓄積型の固体撮像素子であって、カラーフィルタなどと組み合わせることで色情報を取得する撮像部である。ＣＭＯＳはＣｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略である。ＣＣＤはＣｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅの略である。撮像素子２０２はＡ／Ｄ変換部２０８に接続されている。

カメラＣＰＵ２０３は、監視カメラ１０１の動作を統括的に制御する制御部である。カメラＣＰＵ２０３は、ＲＯＭ２０４やＲＡＭ２０５に格納された命令を読み込み、その結果に従って処理を実行する。
撮像系制御部２０６は、カメラＣＰＵ２０３からの指示に基づいて、監視カメラ１０１の各部の制御を行う。例えば、撮像系制御部２０６は、撮像光学系２０１に対して、フォーカス制御、シャッター制御、絞り調整などの制御を行う。
通信制御部２０７は、クライアント装置１０３との通信によって、クライアント装置１０３から監視カメラ１０１の各部への制御命令（制御信号）をカメラＣＰＵ２０３に伝達するための制御を行う。

Ａ／Ｄ変換部２０８は、撮像素子２０２から受信した電流値をデジタル信号（画像データ）に変換する。Ａ／Ｄ変換部２０８は、当該デジタル信号を画像処理部２０９に送信する。
画像処理部２０９は、Ａ／Ｄ変換部２０８から受信したデジタル信号の画像データに対して、画像処理を行う。画像処理部２０９はエンコーダ部２１０に接続されている。
エンコーダ部２１０は、画像処理部２０９で処理された画像データをＭｏｔｉｏｎ Ｊｐｅｇ、Ｈ２６４、Ｈ２６５などのファイルフォーマットに変換する処理を行う。エンコーダ部２１０はネットワークＩ／Ｆ２１１に接続されている。
ネットワークＩ／Ｆ２１１は、クライアント装置１０３等の外部の装置とのネットワーク１０２を介した通信に利用されるインターフェースであって、通信制御部２０７により制御される。

ネットワーク１０２は、監視カメラ１０１と、クライアント装置１０３を接続するＩＰネットワークである。ネットワーク１０２は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格に適合する複数のルータ、スイッチ、ケーブル等から構成される。本実施形態では、ネットワーク１０２は、監視カメラ１０１とクライアント装置１０３との間の通信を行うことができるものであればよく、その通信規格、規模、構成などを問わない。例えば、ネットワーク１０２は、インターネット、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成されてもよい。

（クライアント装置の構成）
図３は、クライアント装置１０３の内部構成を例示的に説明するブロック図である。
クライアント装置１０３は、クライアントＣＰＵ３０１、主記憶装置３０２、補助記憶装置３０３、入力Ｉ／Ｆ３０４、出力Ｉ／Ｆ３０５およびネットワークＩ／Ｆ３０６を有する。クライアント装置１０３の各要素は、システムバス３０７を介して、相互に通信可能に接続されている。

クライアントＣＰＵ３０１は、クライアント装置１０３の動作を統括的に制御する中央演算装置である。なお、クライアントＣＰＵ３０１によって、ネットワーク１０２を介して監視カメラ１０１の統括的な制御を実行してもよい。
主記憶装置３０２は、クライアントＣＰＵ３０１のデータの一時的な記憶場所として機能するＲＡＭ等の記憶装置である。例えば、主記憶装置３０２は、クライアント装置１０３が顔検出や人体検出を行う際に使用するパターンマッチング用のパターン（顔の特徴部分や人体の特徴部分に対応するパターン）を予め格納している。
補助記憶装置３０３は、各種プログラム、各種設定データ等を記憶するＨＤＤ、ＲＯＭ、ＳＳＤ等の記憶装置である。補助記憶装置３０３には、過去の認証履歴を記憶した認証済ＩＤリストが保存されている。また、補助記憶装置３０３には、あらかじめ登録された顔画像と人物情報とを関連付けたデータベース（顔認証データベース）が保存されている。ＨＤＤはＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。ＳＳＤはＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅの略である。

入力Ｉ／Ｆ３０４は、クライアント装置１０３が入力装置１０４等からの入力（信号）を受け取る際に利用されるインターフェースである。
出力Ｉ／Ｆ３０５は、クライアント装置１０３から表示装置１０５等への情報（信号）を出力する際に利用されるインターフェースである。
ネットワークＩ／Ｆ３０６は、監視カメラ１０１等の外部の装置とのネットワーク１０２を介した通信に利用されるインターフェースである。
クライアントＣＰＵ３０１が、補助記憶装置３０３に記憶されたプログラムに基づき処理を実行することによって、図４に示すクライアント装置１０３の機能及び処理が実現される。この詳細は図４を参照して説明する。

（クライアント装置の機能）
図４は、クライアント装置１０３が実行する機能を例示的に説明する図である。換言すると、図４に図示する各部（機能ブロック）は、クライアントＣＰＵ３０１により実行され得る機能であって、当該各部はクライアントＣＰＵ３０１と同義である。
図４に示すように、クライアント装置１０３のクライアントＣＰＵ３０１は、入力情報取得部（入力信号取得部）４０１、通信制御部４０２、入力画像取得部４０３、カメラ情報取得部４０４および検出方法設定部４０５を含む。またクライアントＣＰＵ３０１は、被写体検出部４０６、露出決定部４０７、表示制御部４０８および顔認証処理部４０９を含む。なお、クライアント装置１０３は、クライアントＣＰＵ３０１とは別のハードウェア（またはソフトウェア）により、図４に図示する各部４０１～４０９の機能を実行してもよい。

入力情報取得部４０１は、入力装置１０４を介したユーザからの入力を受け付ける。
通信制御部４０２は、監視カメラ１０１から送信された画像（監視カメラ１０１により撮像された画像）を、ネットワーク１０２を介して受信するための制御を実行する。また、通信制御部４０２は、クライアント装置１０３から監視カメラ１０１への制御命令を、ネットワーク１０２を介して送信するための制御を実行する。
入力画像取得部４０３は、通信制御部４０２を介して監視カメラ１０１から受信した画像を、被写体の検出処理の対象である画像（被写体検出処理を適用する画像）として取得する。検出処理の詳細については後述する。

カメラ情報取得部４０４は、通信制御部４０２を介して、監視カメラ１０１により被写体を撮像する際のカメラ情報（撮像情報）を取得する。カメラ情報（撮像情報）は、被写体を撮像して画像を取得する際の種々の情報である。カメラ情報は、例えば、絞り値などの露出パラメータである。
検出方法設定部４０５は、入力画像取得部４０３により取得された画像に対して、顔領域の検出（顔検出）や人体領域の検出（人体検出）を含む様々な検出方法の中から、所定の（適切な）検出方法を設定する。顔検出を行う場合、被写体検出部４０６は、画像における顔領域を優先して検出する。人体検出を行う場合、被写体検出部４０６は、画像における人体領域を優先して検出する。顔領域は顔を含む領域であり、人体領域は人体を含む領域である。

本実施形態では、検出方法設定部４０５は、顔検出の検出方法または人体検出の検出方法を設定（選択）する。なお、本実施形態はこのような設定に限定されない。例えば、人物の上半身、頭部、顏の目、鼻、口などの一部領域などの人物の一部分の特徴領域を検出する検出方法を設定してもよい（選択できるようにしてもよい）。また、本実施形態では、検出対象の被写体は人物であるが、人物以外の所定の被写体に係る特定領域を検出可能な構成であってもよい。例えば、動物の顔や自動車（車両）など、クライアント装置１０３において予め設定された所定の被写体を検出可能な構成にしてもよい。

露出決定部４０７は、被写体検出部４０６から得られる被写体領域の画像情報に基づき、露出レベルを決定し、通信制御部４０２より、監視カメラ１０１に露出レベルを送信する。そして、監視カメラ１０１で、通信制御部２０７を介し露出制御が実行される。カメラ情報取得部４０４、検出方法設定部４０５、被写体検出部４０６、露出決定部４０７に関連する詳細な処理については、図５のフローチャートを参照して後述する。

表示制御部４０８は、クライアントＣＰＵ３０１からの指示に従い、露出決定部４０７で決定された露出補正が反映された撮像画像を表示装置１０５へ出力する。
顔認証処理部４０９は、クライアントＣＰＵ３０１からの指示に従い、露出決定部４０７で決定された露出補正が反映された撮像画像の顔認証処理を行う。顔認証処理は、あらかじめ登録された顔画像と人物情報とを関連付けたデータベースと照合を行い、顔画像の類似度が所定値以上かつ最も高い人物情報を出力する。類似度の算出は、特徴情報のマッチングやニューラルネットワークを用いたものなどを用いることができる。なお、本実施形態では、認証対象の被写体は人物の顔としているが、これに限定されるものではない。例えば、動物の顔や自動車のナンバープレートなど、クライアント装置１０３において予め設定された所定の被写体を認証可能な構成にしてもよい。また、顔認証処理部４０９は、クライアント装置１０３の内部ではなく、ネットワーク１０２を介して外部に接続された装置に有する構成でもよい。

（被写体の検出処理・露出決定処理）
以下、図５に示すフローチャートを参照して、本実施形態に係る露出制御処理について説明する。なお、図１の撮像制御システム１００において、監視カメラ１０１、クライアント装置１０３、入力装置１０４および表示装置１０５の電源がオンされ、監視カメラ１０１とクライアント装置１０３の接続（通信）が確立しているとする。また、この状態で、監視カメラ１０１による所定の更新周期で被写体の撮像、監視カメラ１０１からクライアント装置１０３への画像データの送信、表示装置１０５での画像表示が繰り返されているものとする。そして、ネットワーク１０２を介して監視カメラ１０１からクライアント装置１０３に被写体の撮像画像が入力されたことに応じて、図５のフローチャートの処理がクライアントＣＰＵ３０１により開始されるものとする。以下の説明において、Ｓはステップの略である。

まず、Ｓ５０１において、検出方法設定部４０５は、被写体検出部４０６に顔の検出を設定し、被写体検出部４０６は、入力画像に対して、顔検出処理を行う。
次に、Ｓ５０２において、検出方法設定部４０５は、被写体検出部４０６に人体の検出を設定し、被写体検出部４０６は、入力画像に対して、人体検出処理を行う。

クライアント装置１０３の主記憶装置３０２には、顏の特徴部分に対応するパターンや人体の特徴部分に対応するパターンが予め格納されており、被写体検出部４０６は、当該パターンに基づくパターンマッチングにより顔領域を検出する。
顔領域を検出する場合は、一般的には、顏を高精度に検出することができ、被写体の顔領域と顔領域以外の領域とを明確に識別することができる。しかしながら、顏の向き、顏の大きさ、顏の明るさなどが顔検出に適した条件でない場合、顔領域を正確に検出することはできない。これに対して、人体検出を行う場合は、顏の向き、顏の大きさ、顏の明るさなどによらず人物が存在する領域を検出することができる。なお、本実施形態における人体検出は、必ずしも全身を検出する必要はなく、上半身、バストアップ、頭部領域（例えば、肩から上の領域）でもよい。
図７（ａ）は顔領域の検出例の図であり、図７（ｂ）は人体領域の検出例の図である。図７（ｂ）の人体領域は、上半身の一部（バストアップ）の領域である。上半身は顔を含む。なお、人体領域は、図７（ｂ）に示した領域に限定されない。例えば、人体領域は、人物の全身でもよいし、上半身の全部でもよい。また、逆光等により画像内の顔が暗い場合、人体領域は頭部領域でもよい。頭部領域は、頭部の形状が把握できる領域であり、例えば、肩、首、顔などを含む。図７（ａ）および（ｂ）は、ビルやスタジアム等の建築物の入口やゲートに監視カメラ１０１を設置して、建築物の外部から建築物の内部へ入ってきた人物を監視カメラ１０１で撮像した場合の図である。なお、建築物はビルやスタジアムに限定されず、例えば、駐車場でもよい。建築物が駐車場の場合、被写体は、例えば、駐車場に入る車両である。車両が被写体の場合、検出する領域は、例えば、車体領域（前記車両の車体とその周囲を含む領域）またはナンバープレート領域（前記車両のナンバープレートとその周囲を含む領域）になる。

被写体の検出方法としてパターンマッチング法を採用する場合、パターンマッチングで使用するパターンとして、統計学習を使って作成されたパターン（識別器）を用いてもよい。あるいは、パターンマッチング以外の方法で被写体検出を行ってもよい。例えば、局所領域内の輝度勾配を用いて被写体検出を行ってもよい。すなわち、被写体の検出方法は特定の検出方法に限定されるものではなく、機械学習をベースにした検出や、距離情報に基づく検出など、種々の方法を採用できる。

Ｓ５０３において、顔認証処理部４０９は、顔または人体が検出されたかを判定する。顔または人体が検出された場合、Ｓ５０４に進む。顔または人体が検出されない場合、処理を終了する。
Ｓ５０４において、顔認証処理部４０９は、顔認証処理を行う。図６は、顔認証処理をサブルーチンとして示したものである。以下、図６を用いて顔認証処理について説明する。なお、顔認証処理は、被写体検出部４０６により検出されたすべての顔および人体に対して行う。
図６に示すように、Ｓ６０１では、顔認証処理部４０９は、被写体検出部４０６から、顔画像、顔ＩＤ、人体ＩＤを取得する。ここで、顔が検出されていない場合、顔画像および顔ＩＤは取得しない。顔ＩＤは、顔の特徴等から生成される値であり、同一人物であれば顔ＩＤは同一となる。人体ＩＤについても同様である。つまり、人体ＩＤは人体の特徴等から生成される値であり、同一人物であれば人体ＩＤは同一となる。

Ｓ６０２では、顔認証処理部４０９は、顔ＩＤまたは人体ＩＤが過去に認証されていないかどうかを判定する。この判定は、過去の認証履歴を記憶した認証済ＩＤリストを参照することにより行う。つまり、Ｓ６０２では、検出された被写体が事前に認証された被写体かどうかを判定している。過去に（事前に）認証されていないと判定した場合はＳ６０３に進み、過去に認証されていると判定した場合はＳ６０４に進む。

Ｓ６０３では、顔認証処理部４０９は、顔認証処理を行う。顔認証処理は、顔画像から特徴情報を抽出し、あらかじめ登録された特徴情報と人物名等の属性情報とを対応付けたデータベースから、特徴情報の類似度が最も高い属性情報を認証結果として出力する。なお、特徴情報の類似度があらかじめ定められた閾値に満たない場合は認証不可とする。また、顔画像を取得していない場合、すなわち顔が検出されていない場合も認証不可とする。
Ｓ６０４では、顔認証処理部４０９は、露出決定部４０７に対し、被写体検出部４０６が検出した顔または人体が認証済みであることを通知し（認証済みであることを示す信号を送信し）、本処理を終了する。

Ｓ６０５では、顔認証処理部４０９は、Ｓ６０３において顔認証に成功したかどうかを判定する。顔認証に成功したと判定された場合はＳ６０６に進む。顔認証ができなかったと判定された場合は、本処理を終了する。
Ｓ６０６では、顔認証処理部４０９は、顔ＩＤおよびその顔に対応する人体ＩＤを、顔認証済であることを示す認証済ＩＤリストに追加し、本処理を終了する。
顔認証処理に関するサブルーチンの説明は以上である。図５に戻り、露出制御処理について説明を続ける。

Ｓ５０５では、Ｓ５０６で用いる注目領域を設定する。注目領域は、Ｓ５０４において認証済み通知を得ていない被写体の顔および被写体の人体の中から少なくとも１つを設定する。これらの中で、複数の顔または人体が存在する場合、すでに前フレームの撮像画像における処理で注目領域として設定されている顔または人体があれば、これを優先して設定する。そうでない場合、例えば、検出順、監視カメラ１０１からの距離、画像内の位置等に基づき、用途に応じて決定するとよい。

例として、監視カメラ１０１をビル等の入り口付近に設置したウォークスルー認証を想定した場合について述べる。ウォークスルー認証では、監視カメラ１０１に近い人物ほど先に通り過ぎてしまう。そのため、監視カメラ１０１からの距離を用いる場合、近い人物を優先して露出制御処理を行うとよい。つまり、露出制御を行うべき被写体が複数ある場合、監視カメラ１０１（撮像装置）と当該被写体との距離に基づいて露出制御を行う順位を決めてもよい。また、画像内の位置を用いる場合、監視カメラ１０１が人物を見下ろすように設置されているならば、画像内の位置が下にあるものほど監視カメラ１０１に近いと考えられるため、優先順を上げるとよい。つまり、露出制御を行うべき被写体が複数ある場合、画像内の当該被写体の位置に基づいて露出制御を行う順位を決めてもよい。
また、同一被写体の顔および人体の両方が検出されている場合は、顔領域を優先するとよい。

Ｓ５０６において、露出決定部４０７は、Ｓ５０５で設定された注目領域の平均輝度値を算出する。具体的には、注目領域の位置、注目領域のサイズに関する情報を下記の式（１）に適用する。

式（１）

ここで、Ｉ（ｘ、ｙ）は画像内における水平方向（ｘ軸方向）と垂直方向（ｙ軸方向）の２次元座標位置（ｘ、ｙ）の輝度値を表す。また、（ｖ、ｈ）は注目領域の中心座標、ｋは水平方向の注目領域のサイズ、ｌは垂直方向の注目領域の検出サイズを表す。式（１）の左辺は注目領域の平均輝度値である。

Ｓ５０７において、露出決定部４０７は、Ｓ５０６で算出された平均輝度値に基づいて、露出の補正量ＥＶｃｏｒｒｅｃｔｉｏｎを決定する。まず、露出決定部４０７は、式（２）のように、Ｓ５０６にて算出した注目領域の平均輝度値Ｉｏｂｊｅｃｔと、注目領域の目標輝度値Ｉｏｂｊｅｃｔ ｔａｒｇｅｔとの差分値を算出する。なお、注目領域の目標輝度値Ｉｏｂｊｅｃｔ ｔａｒｇｅｔは、例えば、ユーザにより任意に設定されてもよいし、顔認証時の認証精度と照らし合わせて、精度が高くなるような値に設定してもよい。

式（２）

次に、露出決定部４０７は、式（３）のように補正量ＥＶｃｏｒｒｅｃｔｉｏｎを決定する。なお、ＥＶｃｕｒｒｅｎｔは、被写体輝度値（ＢＶ値）に基づくＡＰＥＸ換算のＥＶ値であって、クライアント装置１０３に予め格納された、露出制御に係るプログラム線図に基づいて設定される。

式（３）

ここで、パラメータβは、現在の露出値ＥＶｃｕｒｒｅｎｔを中心とし、露出のアンダー側あるいは露出のオーバー側に露出を補正する際の補正度合（速度）に影響を与える係数である。パラメータβの値を大きく設定すると、目標値に達するまでに係る処理速度（または時間）は高速になるが、検出結果に誤判定が生じた場合や、被写体の検出が安定しない場合に、画面全体の明るさが急峻に変動する。一方、パラメータβの値を小さく設定すると、露出が目標に到達するまでに係る処理速度（または時間）は遅くなるが、誤検出や撮像条件にロバストになる。パラメータβは、差分ΔＤｉｆｆが、設定された閾値Ｔｈ以上であった場合に、現在の露出値ＥＶｃｕｒｒｅｎｔに対する露出の補正値として設定される。

Ｓ５０８では、露出決定部４０７は、通信制御部４０２を介して監視カメラ１０１と通信を行い、Ｓ５０７にて算出した露出補正値を監視カメラ１０１に設定し、本処理を終了する。

以上のように、本実施形態では、顔認証処理部４０９で顔認証が完了している顔および人体については、露出制御対象とはせず、顔認証が完了していない顔および人体について露出制御を行っている。このようにすることで、複数の人物が画像内に存在する場合でも、顔認証結果に基づいて順次露出制御の対象人物を絞ることで、顔認証に好適な（効率的な）露出制御を行うことができる。さらに、顔認証結果に、顔だけでなく人体のＩＤ（識別情報）を紐づけて管理している。これにより、露出や顔向きの変化によって顔が検出できなくなった場合でも、顔認証が完了している人物に繰り返し露出制御してしまうことを回避することができる。

実施形態２
以下に、図８を参照して、本発明の実施形態２を説明する。実施形態１において、露出制御中の人物が顔認証データベースに未登録であった場合、監視カメラ１０１を通過するまで他の人物の露出制御が行われない場合がある。その結果、監視カメラ１０１の設置状況や用途によっては、他の人物に対する露出制御が遅れ、顔認証に影響を及ぼす可能性がある。本実施形態では、露出制御を行った対象（被写体）が未登録であるかどうかを判定し、未登録であると判定した場合に、その人物に対する露出制御を中断する（露出補正値に基づく露出制御を行わない）ことで、他の人物の露出制御に移行する方法を説明する。なお、実施形態１と同様の構成および処理については、同一の符号を付し、詳細な説明を省略する。

Ｓ５０１～Ｓ５０４およびＳ５０６～Ｓ５０８は図３（実施形態１）と同じである。Ｓ５０４の後、Ｓ８０１に進む。
Ｓ８０１では、露出決定部４０７は、Ｓ５０６およびＳ８０２で用いる注目領域を設定する。Ｓ８０１では、実施形態１のＳ５０５とは異なり、後述する未登録人物リストを参照し、未登録人物リストに存在するＩＤを持つ被写体を、注目領域の設定対象としない。また、同一被写体の顔および人体が両方検出されている場合は、顔領域を優先して注目領域として設定する。

Ｓ８０２では、露出決定部４０７は、Ｓ８０１で設定（選択）された注目領域に該当する顔ＩＤが前フレームと同一であったかどうかを判定する。判定結果がＹｅｓであればＳ８０３に進み、判定結果がＮｏであればＳ５０６に進む。顔ＩＤが存在しない場合、すなわち顔領域が注目領域として設定されていない場合もＳ５０６に進む。
Ｓ８０３では、露出決定部４０７は、前フレームのＳ５０８で行われた露出制御が目標値に到達しているか（露出制御が完了しているか）どうかを判定する。具体的には、Ｓ５０７においてＥＶｃｏｒｒｅｃｔｉｏｎ＝ＥＶｃｕｒｒｅｎｔであり、撮像光学系２０１の絞り、撮像素子２０２のシャッタースピード、ゲインの動作が完了しているかどうかによって判定する。露出制御が完了していると判定した場合はＳ８０４に進み、そうでなければＳ５０６に進む。

Ｓ８０４では、露出決定部４０７は、Ｓ８０１で設定された注目領域に該当する顔ＩＤが、直近の過去において、所定回数以上連続で同一であったかどうかを判定する。この所定回数は、露出制御が完了してから顔認証が完了するまでのインターバルとして設定するものである。すなわち、露出制御が完了しているにも拘らず、所定回数以上顔認証が完了しない場合は（所定時間内に認証を完了できない場合）、該当する人物が顔認証データベースに未登録であると判定する。Ｓ８０４の判定結果がＹｅｓの場合（該当する人物が顔認証データベースに未登録であると判定された場合）はＳ８０５に進み、そうでなければＳ５０６に進む。

Ｓ８０５では、露出決定部４０７は、Ｓ８０１で設定された注目領域に該当する顔ＩＤおよびその顔に対応する人体ＩＤを、未登録人物リストに追加（登録）する。未登録人物リストは、例えば、補助記憶装置３０３に保存される。つまり、補助記憶装置３０３は、所定時間内に認証を完了できない被写体の情報（顔ＩＤ、人体ＩＤ）を登録する。
Ｓ８０６では、露出決定部４０７は、撮像画像内に他の顔または人体が存在するかどうかを判定する。存在すればＳ８０１に戻り、存在しなければ本処理を終了する。

なお、本実施形態では、Ｓ８０４において、顔ＩＤが所定回数以上同一かどうかで未登録かどうかを判定しているが、他の方法により当該判定を行うこともできる。例えば、顔認証処理部４０９から該当する顔ＩＤの顔認証類似度を受け取り、顔認証類似度の値が低い状態が続いているかどうかによって判定してもよい。あるいは、顔の向きを検出し、顔の向きが正面に近いにも関わらず顔認証が完了しない場合に未登録人物であると判定してもよい。

また、露出決定部４０７は、未登録人物として判定した場合（被写体が未登録人物リストに追加された場合）、顔認証処理部４０９に顔画像を登録用画像として送信してもよい。判定時点では、人物の顔に適した露出制御が行われた状態であるため、登録用画像として好適な顔画像となっているためである。さらに、顔の向きを検出し、顔向きが正面に近いものを送信するとより好適な顔画像を送信することが可能である。

なお、上記した実施形態１および実施形態２では、撮像装置の例として監視カメラ１０１を説明したが、本発明は監視カメラ以外の撮像装置に適用することもできる。

その他の実施形態
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。この場合のプログラムとは、コンピュータ読取可能であり、上述の実施形態において図示したフローチャートに対応したプログラムである。

１００…撮像制御システム、１０１…監視カメラ、１０２…ネットワーク、１０３…クライアント装置、３０１…ＣＰＵ、４０２…通信制御部、４０３…入力画面取得部、４０５…検出方法設定部、４０６…被写体検出部、４０７…露出決定部、４０９…顔認証処理部

Claims (12)

1. 撮像装置から入力された画像内の被写体を検出する検出手段と、
   前記検出手段により検出された被写体が事前に認証された被写体かどうかを判定する判定手段と、
   前記撮像装置の露出制御を行う制御手段と、を備え、
   前記制御手段は、前記判定手段により前記被写体が事前に認証された被写体でないと判定された場合、当該被写体に対して前記露出制御を行い、前記判定手段により前記被写体が事前に認証された被写体である判定された場合、当該被写体に対して前記露出制御を行わないことを特徴とする撮像制御装置。
2. 前記検出手段は、前記被写体に関する複数の領域を検出し、前記判定手段は、少なくとも１つの前記領域に基づいて前記判定を行い、前記判定の結果を前記複数の領域の夫々に割り当てられた識別情報と紐づけて記憶することを特徴とする請求項１に記載の撮像制御装置。
3. 前記撮像制御装置は前記被写体を認証する認証手段をさらに備え、
   前記認証手段が所定時間内に前記被写体の認証を完了できない場合、前記制御手段は、当該被写体に対して前記露出制御を行わないことを特徴とする請求項１または２に記載の撮像制御装置。
4. 前記制御手段は、前記認証手段が所定時間内に認証を完了できない被写体の画像を、前記判定手段に送信することを特徴とする請求項３に記載の撮像制御装置。
5. 前記撮像制御装置は、前記認証手段が所定時間内に認証を完了できない被写体の情報を登録する登録手段をさらに備え、
   前記制御手段は、前記登録手段を参照して、前記認証手段が所定時間内に認証を完了できない被写体であるかを判定することを特徴とする請求項３または４に記載の撮像制御装置。
6. 前記制御手段は、前記露出制御を行うべき被写体が複数ある場合、前記撮像装置と当該被写体との距離に基づいて前記露出制御を行う順位を決めることを特徴とする請求項１乃至請求項５のいずれか１項に記載の撮像制御装置。
7. 前記制御手段は、前記露出制御を行うべき被写体が複数ある場合、前記画像内の当該被写体の位置に基づいて前記露出制御を行う順位を決めることを特徴とする請求項１乃至請求項５のいずれか１項に記載の撮像制御装置。
8. 前記被写体は人物であり、前記被写体に関する複数の領域は、前記画像内における前記人物の人体を含む領域と、前記人物の顔を含む領域とであることを特徴とする請求項２に記載の撮像制御装置。
9. 前記人体を含む領域は、前記人物の全身、上半身、バストアップおよび頭部領域のいずれかであることを特徴とする請求項８に記載の撮像制御装置。
10. 前記被写体は車両であり、前記被写体に関する複数の領域は、前記画像内における前記車両の車体を含む領域と、前記車両のナンバープレートを含む領域とであることを特徴とする請求項２に記載の撮像制御装置。
11. 撮像装置から入力された画像に含まれる被写体を検出するステップと、
    前記検出するステップにより検出された被写体が事前に認証された被写体かどうかを判定するステップと、
    前記判定するステップにより前記被写体が事前に認証された被写体でないと判定された場合、当該被写体に対して露出制御を行い、前記判定するステップにより前記被写体が事前に認証された被写体である判定された場合、当該被写体に対して前記露出制御を行わないステップと、
    を有することを特徴とする撮像制御方法。
12. コンピュータを請求項１～１０のいずれか１項に記載の撮像制御装置の各手段として機能させるためのプログラム。

Images