JP2022045567A - 撮像制御装置、撮像制御方法、及びプログラム - Google Patents

Abstract

【課題】適切な露出制御を可能にする。【解決手段】撮像制御装置（１０３）は、撮像装置（１０１）から送られてきた画像内で特定の被写体領域を検出する検出手段（４０６）と、撮像装置（１０１）の露出設定値を取得する取得手段（４０４）と、撮像装置（１０１）の露出設定値と被写体領域の情報とを基に、被写体領域の露出量を決定する決定手段（４０７）と、決定手段により決定された露出量に基づいて撮像装置（１０１）の露出制御を行う制御手段（４０７，４０２）と、を有し、制御手段（４０７，４０２）は、少なくとも第１の露出補正方法と第２の露出補正方法とによって、撮像装置（１０１）の露出制御を行う。【選択図】 図４

Description

本発明は、撮像装置を制御する技術に関する。

近年、撮像装置の１つである監視カメラやデジタルカメラ、ビデオカメラでは、撮像された画像の中から被写体等の特定領域を自動で検出し、その検出した領域に係る情報に基づき、露出や画質等の撮影設定を適切にする技術が提案されている。また、撮像装置とは別の評価装置が、撮像装置から得られた画像を基に様々な用途に適した撮影条件を求めて当該撮像装置に設定することで、撮像装置が出力する画像を任意に変更可能にする技術も知られている。

特許文献１には、撮像装置側で行われたガンマ処理に対応したデガンマ処理を評価装置側で行うことにより、撮像装置でガンマ処理される前の画像信号を取得し、その画像信号を基に当該撮像装置の露出状態を判断する技術が開示されている。また、特許文献２には、処理装置と評価装置とが異なる場合の装置間の違いを埋めるために、デガンマ処理を行うことで、装置間の処理に依存しない適切な露出判定値を得る技術が開示されている。

特開平４－１６５８７６号公報 特開２００７－１０２２８４号公報

しかしながら、特許文献１と特許文献２に記載された技術では、例えば、対象となる被写体が適正露出となる画像を得ることができるような適切な露出制御を、撮像装置に対して行えない場合がある。

そこで本発明は、適切な露出制御を可能にすることを目的とする。

本発明の撮像制御装置は、撮像装置から送られてきた画像内で特定の被写体領域を検出する検出手段と、前記撮像装置の露出設定値を取得する取得手段と、前記撮像装置の露出設定値と前記被写体領域の情報とを基に、前記被写体領域の露出量を決定する決定手段と、前記決定手段により決定された前記露出量に基づいて前記撮像装置の露出制御を行う制御手段と、を有し、前記制御手段は、少なくとも第１の露出補正方法と第２の露出補正方法とによって、前記撮像装置の露出制御を行うことを特徴とする。

本発明によれば、適切な露出制御が可能になる。

撮像制御システムの構成例を示す図である。 監視カメラの内部構成例を示す図である。 クライアント装置の内部構成例を示す図である。 クライアント装置の機能構成例を示す図である。 カメラとクライアント装置の間の処理の説明に用いる図である。 図５の例における輝度状態の説明に用いる図である。 第１実施形態に係る露出制御処理のフローチャートである。 露出制御を変更する処理の説明に用いる図である。 実施形態の露出制御を行った場合の処理の説明に用いる図である。 第２実施形態に係る露出制御処理のフローチャートである。 ガンマ処理およびデガンマ処理の特性を表す図である。

以下、本発明の実施形態について、図面を参照して説明する。
まず本実施形態を説明する上での共通事項について説明し、その後、詳細な説明を行うこととする。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。以下の各実施形態において、同一の構成については同じ符号を付して説明する。

後述する機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。したがって、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現され得る。なお、ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ（特定用途向け集積回路）の略である。ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＭＰＵはＭｉｃｒｏ－Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。

図１は、本実施形態に係る撮像制御システム１００の構成例を示した図である。
撮像制御システム１００は、監視カメラ１０１とネットワーク１０２とクライアント装置１０３と入力装置１０４と表示装置１０５とを有する。監視カメラ１０１は、動画像を取得するための撮像装置であり、被写体等の撮像および画像処理が可能な装置である。監視カメラ１０１とクライアント装置１０３とは、ネットワーク１０２を介して相互に通信可能な状態で接続されている。クライアント装置１０３は、入力装置１０４と表示装置１０５に通信可能な状態で接続されている。クライアント装置１０３は、種々の情報を処理する装置であるので、情報処理装置と称してもよい。また、クライアント装置１０３は、監視カメラ１０１の撮像を制御する装置であるので、撮像制御装置と称してもよい。

入力装置１０４は、マウスやキーボード等から構成され、クライアント装置１０３のユーザにより操作される。
表示装置１０５は、クライアント装置１０３から受信した画像を表示するモニタ等を備える装置である。なお、表示装置１０５はタッチパネルなどのＵＩとして機能することもできる。この場合、表示装置１０５は、クライアント装置１０３へ指示、情報、データ等を入力する入力装置としても機能できることになる。ＵＩはＵｓｅｒ Ｉｎｔｅｒｆａｃｅの略である。

図１では、クライアント装置１０３と入力装置１０４と表示装置１０５とがそれぞれ独立した装置として描かれているが、本実施形態はこのような構成に限定されない。例えば、クライアント装置１０３と表示装置１０５とが、一体化されていてもよいし、入力装置１０４と表示装置１０５とが一体化されていてもよい。また、クライアント装置１０３と入力装置１０４と表示装置１０５とが、一体化されていてもよい。クライアント装置１０３と表示装置１０５とが一体化される場合、一体化された装置は、例えば、パーソナルコンピュータ、タブレット端末、スマートフォンのような形態であってもよい。

図２は、監視カメラ１０１の内部構成例を示したブロック図である。
監視カメラ１０１は、画像を撮像するための構成として撮像光学系２０１と撮像素子２０２を有する。さらに監視カメラ１０１は、カメラＣＰＵ２０３、ＲＯＭ２０４、ＲＡＭ２０５、撮像系制御部２０６、制御部２０７、Ａ／Ｄ変換部２０８、画像処理部２０９、エンコーダ部２１０及びネットワークＩ／Ｆ２１１を有する。監視カメラ１０１のカメラＣＰＵ２０３～ネットワークＩ／Ｆ２１１は、システムバス２１２により相互接続されている。なお、ＣＰＵはＣｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。ＲＯＭはＲｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。ＲＡＭはＲａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。Ａ／ＤはＡｎａｌｏｇ／Ｄｉｇｉｔａｌの略である。Ｉ／ＦはＩｎｔｅｒｆａｃｅの略である。

撮像光学系２０１はズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッターなどから構成され、被写体からの光を集光する光学部材群である。撮像光学系２０１により集光された被写体等の光像は撮像素子２０２の撮像面上に形成される。
撮像素子２０２は、撮像光学系２０１で集光された光像を電流値（信号値）へと変換するＣＭＯＳやＣＣＤなどの電荷蓄積型の固体撮像素子であって、カラーフィルタなどと組み合わせることで色情報を取得する撮像部である。ＣＭＯＳはＣｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略である。ＣＣＤはＣｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅの略である。撮像素子２０２は、Ａ／Ｄ変換部２０８に接続されている。

Ａ／Ｄ変換部２０８は、撮像素子２０２で検知した被写体の光量をデジタル信号（画像データ）に変換する。Ａ／Ｄ変換部２０８は、当該デジタル信号を画像処理部２０９に送信する。
画像処理部２０９は、撮像素子２０２から受信したデジタル信号の画像データに対して、画像処理を行う。画像処理部２０９はエンコーダ部２１０に接続されている。
エンコーダ部２１０は、画像処理部２０９で処理された画像データをＭｏｔｉｏｎ ＪｐｅｇやＨ２６４、Ｈ２６５などのファイルフォーマットに変換する処理を行う。エンコーダ部２１０はネットワークＩ／Ｆ２１１に接続されている。

カメラＣＰＵ２０３は、監視カメラ１０１の動作を統括的に制御する制御部である。カメラＣＰＵ２０３は、ＲＯＭ２０４やＲＡＭ２０５に格納された命令を読み込み、その結果に従って処理を実行する。
撮像系制御部２０６は、カメラＣＰＵ２０３からの指示に基づいて、監視カメラ１０１の各部の制御を行う。例えば、撮像系制御部２０６は、撮像光学系２０１に対して、フォーカス制御、シャッター制御、絞り調整などの制御を行う。

ネットワークＩ／Ｆ２１１は、クライアント装置１０３等の外部の装置とのネットワーク１０２を介した通信に利用されるインターフェースであって、制御部２０７により制御される。
制御部２０７は、クライアント装置１０３との間の通信を制御し、クライアント装置１０３から監視カメラ１０１の各部への制御命令（制御信号）を、カメラＣＰＵ２０３に伝達等するための制御を行う。

ネットワーク１０２は、監視カメラ１０１と、クライアント装置１０３を接続するＩＰネットワークである。ネットワーク１０２は、例えばＥｔｈｅｒｎｅｔ（登録商標）等の通信規格に適合する複数のルータ、スイッチ、ケーブル等から構成される。本実施形態では、ネットワーク１０２は、監視カメラ１０１とクライアント装置１０３との間の通信を行うことができるものであればよく、その通信規格、規模、構成などを問わない。例えば、ネットワーク１０２は、インターネットや有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）等により構成されてもよい。

図３は、クライアント装置１０３の内部構成例を示したブロック図である。
クライアント装置１０３は、クライアントＣＰＵ３０１、主記憶装置３０２、補助記憶装置３０３、入力Ｉ／Ｆ３０４、出力Ｉ／Ｆ３０５およびネットワークＩ／Ｆ３０６を有する。クライアント装置１０３の各要素は、システムバス３０７を介して、相互に通信可能に接続されている。

クライアントＣＰＵ３０１は、クライアント装置１０３の動作を統括的に制御する中央演算装置である。なお、クライアントＣＰＵ３０１は、ネットワーク１０２を介して監視カメラ１０１の統括的な制御を実行してもよい。
主記憶装置３０２は、クライアントＣＰＵ３０１のデータの一時的な記憶場所として機能するＲＡＭ等の記憶装置である。

補助記憶装置３０３は、各種プログラム、各種設定データ等を記憶するＨＤＤ、ＲＯＭ、ＳＳＤ等の記憶装置である。なお、ＨＤＤはＨａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。ＳＳＤはＳｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅの略である。また本実施形態に係るプログラムは補助記憶装置３０３に記憶されている。本実施形態では、クライアントＣＰＵ３０１が、補助記憶装置３０３から読み出されて主記憶装置３０２に展開されたプログラムに基づき処理を実行することによって、図４に示すクライアント装置１０３の機能及び処理が実現される。この詳細については後述する。また補助記憶装置３０３には、例えば、クライアント装置１０３が画像データを基に顔検出や人体検出を行う際に使用する、パターンマッチング用のパターン（顔の特徴部分や人体の特徴部分に対応するパターン）が予めされていてもよい。なお、これらパターンマッチング用のパターンは、プログラムの実行により形成されて、主記憶装置３０２に記憶されるようになされてもよい。

入力Ｉ／Ｆ３０４は、クライアント装置１０３が入力装置１０４等からの入力（信号）を受取る際に利用されるインターフェースである。
出力Ｉ／Ｆ３０５は、クライアント装置１０３から表示装置１０５等への情報（信号）を出力する際に利用されるインターフェースである。
ネットワークＩ／Ｆ３０６は、監視カメラ１０１等の外部の装置とのネットワーク１０２を介した通信に利用されるインターフェースである。

図４は、クライアント装置１０３が実行する各機能を示した機能ブロック図である。換言すると、図４に示す各機能部（機能ブロック）は、クライアントＣＰＵ３０１により実行され得る機能部であって、それら各機能部はクライアントＣＰＵ３０１と同義である。
図４に示すように、クライアント装置１０３のクライアントＣＰＵ３０１は、入力信号取得部４０１、通信制御部４０２、入力画像取得部４０３、カメラ情報取得部４０４および検出方法設定部４０５の各機能部を含む。またクライアントＣＰＵ３０１は、被写体検出部４０６、露出決定部４０７および表示制御部４０８の各機能部をも含む。なお、クライアント装置１０３は、クライアントＣＰＵ３０１とは別のハードウェア（またはソフトウェア）により、図４に示す入力信号取得部４０１～表示制御部４０８の各機能部が構成されていてもよい。

入力信号取得部４０１は、入力装置１０４を介したユーザからの入力を受け付ける。
通信制御部４０２は、監視カメラ１０１から送信された画像（監視カメラ１０１により撮影された画像）を、ネットワーク１０２を介して受信するための制御を実行する。また、通信制御部４０２は、クライアント装置１０３から監視カメラ１０１への制御命令を、ネットワーク１０２を介して送信するための制御を実行する。

入力画像取得部４０３は、通信制御部４０２を介して監視カメラ１０１から受信した画像を、被写体の検出処理の対象である入力画像（被写体検出処理を適用する画像）として取得する。検出処理の詳細については後述する。
カメラ情報取得部４０４は、通信制御部４０２を介して、監視カメラ１０１が被写体等を撮像する際のカメラ情報を取得する。カメラ情報は、被写体等を撮像して画像を取得する際の種々のカメラ設定情報や画像処理情報である。具体的には、カメラ情報は、例えば、絞り、シャッタースピード、ゲインなどの露出パラメータ（露出に関する設定値）や、ガンマ補正、エッジ強調、ホワイトバランスなど輝度に関連した画像処理に関する情報が含まれる。

検出方法設定部４０５は、入力画像取得部４０３により取得された入力画像に対する顔領域の検出（顔検出）や人体領域の検出（人体検出）を含む様々な検出方法の中から、所定の（適切な）検出方法を設定する。本実施形態では、検出方法設定部４０５は、顔検出の検出方法または人体検出の検出方法を設定（選択）する。

被写体検出部４０６は、監視カメラ１０１により撮像されて入力画像取得部４０３が取得した入力画像内で、特定の被写体領域を検出する。例えば検出方法設定部４０５において顔検出を行うことが設定された場合、被写体検出部４０６は、入力画像から顔領域を優先して検出する。また例えば検出方法設定部４０５において人体検出を行うことが設定された場合、被写体検出部４０６は、入力画像から人体領域を優先して検出する。

なお、本実施形態はこのような設定に限定されない。例えば、人物の上半身、頭部、顏の目、鼻、口のような一部器官などの人物の一部分の特徴領域を検出する検出方法を設定してもよい（選択できるようにしてもよい）。また、本実施形態では、検出対象となる特定の被写体は人物としているが、人物以外の特定の被写体に係る特徴領域を検出可能な構成であってもよい。例えば、動物の顔や自動車など、クライアント装置１０３において予め設定された特定の被写体を検出可能な構成であってもよい。

露出決定部４０７は、カメラ情報取得部４０４が取得した監視カメラ１０１の露出設定値と、被写体検出部４０６が検出した被写体領域の画像情報とを基に、その被写体領域の露出量を決定する機能を有する。さらに露出決定部４０７は、その決定した露出量に基づいて監視カメラ１０１の露出制御を行う機能をも有する。露出決定部４０７における監視カメラ１０１の露出制御は、決定した露出量に基づく露出制御値を、通信制御部４０２を介して監視カメラ１０１に送ることで行われる。すなわち露出決定部４０７は、監視カメラ１０１の露出設定値と被写体領域の画像情報とを基に、被写体領域を適正露出にするために必要な露出の変更量を表す露出補正量を算出し、その露出補正量に応じた露出制御値を通信制御部４０２に送る。そして通信制御部４０２は、その露出制御値（露出補正量）に応じた制御命令を、ネットワークＩ／Ｆ３０６を介して監視カメラ１０１に送信する。これにより、当該制御命令を受け取った監視カメラ１０１では、制御部２０７や撮像系制御部２０６によって露出制御が実行される。

また本実施形態において、露出決定部４０７では、少なくとも第１の露出補正方法と第２の露出補正方法とにより露出制御を行うようにする。詳細は後述するが、露出決定部４０７は、例えば予め決めた所定量までは一気に監視カメラの露出を変える粗調を第１の露出補正方法として行い、それ以降は監視カメラの露出を微調整するような第２の露出補正方法で露出制御を行う。特に、露出決定部４０７は、算出した露出補正量が所定量より大きい場合（露出の変更量が大きい場合）に、所定量まで一気に露出を変える粗調を行い、それ以降は微調整していくようにする。一方、露出決定部４０７は、算出した露出補正量が所定量以下の場合、粗調期間で露出を露出補正量まで一気に変化させるようにする。このような露出決定部４０７における詳細な処理は、後に図７のフローチャート等を用いて説明する。

表示制御部４０８は、クライアントＣＰＵ３０１からの指示に従い、露出決定部４０７で決定された露出補正量による露出補正が反映された撮像画像を、表示装置１０５へ出力する。

以上のような構成において、クライアント装置１０３が監視カメラ１０１の露出制御を行う場合には、例えば前述したようにデガンマ処理を行って、監視カメラ１０１の撮像素子２０２が出力する画像の明るさを正しく判定する必要がある。ただし、監視カメラ１０１とクライアント装置１０３とでは、それぞれ露出状態の判定方法が異なっているため、その判定方法の違いを考慮する必要がある。

以下の説明では、例えば、監視カメラは画像全体を測光領域とし、その画像全体で取得される輝度を基に露出量を決めているとする。一方、クライアント装置は、例えば画像から検出した人等の被写体領域を測光領域とし、その被写体領域で取得される輝度の情報を基に露出判定を行っているとする。すなわち監視カメラは画像全体を露出設定のための評価領域として露出量を決めているのに対し、クライアント装置では画像内の被写体領域を露出設定のための評価領域として露出判定を行っている。本実施形態では、監視カメラ１０１とクライアント装置１０３とでそれぞれ露出状態判定のための評価領域が異なっている場合に、被写体領域が適正な明るさになる露出の撮影を可能にすることを目的とするシーンを想定する。

図５は、監視カメラとクライアント装置とにおける処理のやり取りを説明するための図であり、カメラの露出制御がうまく行えていない場合の具体例を示している。また、図６（ａ）、図６（ｂ）は、図５の各状態における画像の輝度の様子を説明するのに用いる図である。図６（ａ）は画像内の輝度値と画素数の関係を表すヒストグラムであり、図６（ｂ）は画像内の輝度の平均値を示した図である。

図５に示した画像５０１は、監視カメラが被写体を撮影した最初の状態での画像を示しており、逆光シーンで撮影がなされた画像例を示している。逆光シーンでは、一般に被写体である人の領域が暗くなり、周囲が明るくなる。このような場合でも、人の認識をより精度良く行うためには、人の領域の明るさが適正となる露出状態になされることが望ましい。

図５の画像５０１のような明るさの状態における輝度の分布を示したものが図６のグラフ６０１である。画像５０１の場合、逆光状態であるため、グラフ６０１に示すように、画像としては暗い部分と明るい部分とが支配的な輝度分布になっている。そして、これを監視カメラにおける測光領域（露出判定の評価領域）である画像全体の明るさの量に換算して示したのが図６に示すグラフ６０２である。

また図５の画像５０２は、監視カメラによる撮影条件の影響を受けないように、クライアント装置側でデガンマ補正を行って実際の撮像素子がとらえている明るさの状態を再現した画像例を示している。このときクライアント装置は、測光領域（露出判定の評価領域）として人に注目して明るさを出しており、画像５０２のように人が暗いので、適正な明るさまで露出を上げようとする。すなわちクライアント装置は、矢印６０３で示すように、図中に点線で示される現状の人の明るさを、図中に実線で示すような適正な明るさになるように調節しようとする。矢印６０３で示す処理は、グラフ６０４で示すように、例えば、処理前の現在の明るさから２倍の明るさになるように露出レベルを調整する処理であるとする。

そして、そのようなクライアント装置から指示を基に、監視カメラの露出制御を行うと、図５の画像５０３のように過補正となり人の領域が白飛びしてしまうことになる。例えば、２倍の明るさに露出制御するような場合、監視カメラでは撮影画像全体を評価領域として明るさを調整しているので、高輝度な部分はこれ以上明るくはできない飽和状態になる。すなわち監視カメラでは、図６の矢印６０５に示すように、点線で示す低輝度部分の明るさを２倍以上にして、実線で示すように全体の明るさが２倍になるように露出の調整が行われることになる。図６のグラフ６０６は、そのような低輝度部分の明るさを２倍以上にして全体の明るさが２倍になるような露出調整の処理前後の明るさを示したものである。

前述したように、監視カメラ側とクライアント装置側とで評価領域が異なる場合、例えば人の明るさを適正にしようとしても、過補正となってしまうことがある。すなわち、監視カメラ側とクライアント装置側とで評価領域が異なっている場合、適正な露出制御が行えない可能性が高くなる。

＜第１実施形態＞
第１実施形態では、前述したように監視カメラ側とクライアント装置側とで露出評価の対象（評価領域）が異なっていたとしても、適切な露出制御が行われることを可能にする構成および処理について説明する。
図７は、第１実施形態に係るクライアント装置１０３のクライアントＣＰＵ３０１により実行される被写体検出処理から露出制御処理までの流れを示したフローチャートである。なお、図１の撮像制御システム１００では、監視カメラ１０１、クライアント装置１０３、入力装置１０４および表示装置１０５の電源がオンされ、監視カメラ１０１とクライアント装置１０３の接続（通信）が確立しているとする。また、この状態で、監視カメラ１０１による所定の更新周期で被写体等の撮像、監視カメラ１０１からクライアント装置１０３への画像データの送信、表示装置１０５での画像表示が繰り返されているものとする。そして、ネットワーク１０２を介して監視カメラ１０１からクライアント装置１０３に被写体等の撮像画像が入力されたことに応じて、クライアントＣＰＵ３０１により図７のフローチャートの処理が開始されるものとする。

まず、ステップＳ７０１において、被写体検出部４０６は、監視カメラ１０１から送られてきた画像から被写体を検出する処理を実行する。本実施形態では、被写体として人体または顔を検出する例を挙げており、このため被写体の検出処理に先立ち、検出方法設定部４０５は、被写体検出部４０６に対して顔または人体の検出方法を設定する。そして、被写体検出部４０６は、検出方法設定部４０５による設定に応じて、入力画像に対して顔検出処理または人体検出処理を行う。クライアント装置１０３の補助記憶装置３０３には、顏の特徴部分や人体の特徴部分にそれぞれ対応したパターンが予め格納されており、被写体検出部４０６は、当該パターンに基づくパターンマッチングにより顔領域または人体領域の検出を行う。

なお、顔領域を検出する場合は、一般的には、顏を高精度に検出することができ、被写体の顔領域と顔領域以外とを明確に識別することができる。しかしながら、顏の向き、顏の大きさ、顏の明るさなどが顔検出に適した条件でない場合、顔領域を正確に検出できないことがある。これに対して、人体検出を行う場合は、顏の向き、顏の大きさ、顏の明るさなどによらず人物が存在する領域を検出することができる。なお本実施形態における人体検出は、必ずしも全身を検出する必要はなく、上半身やバストアップ、顔を含む頭部領域の検出でもよい。

また、被写体の検出方法としてパターンマッチング法を採用する場合、パターンマッチングで使用するパターンとして、統計学習を使って作成されたパターン（識別器）が用いられてもよい。あるいは、パターンマッチング以外の方法で被写体検出が行われてもよい。例えば、画像の局所領域内の輝度勾配を用いて被写体検出が行われてもよい。すなわち、被写体の検出方法は、特定の検出方法に限定されるものではなく、機械学習をベースにした検出や、距離情報に基づく検出など、種々の方法を採用できる。

次にステップＳ７０２において、被写体検出部４０６は、ステップＳ７０１で実行した被写体検出処理によって、画像内で被写体（顔領域または人体領域）が検出されたかを判定する。そして、少なくとも一つ以上の被写体が検出されている場合、クライアントＣＰＵ３０１の処理はステップＳ７０３に進み、一方、被写体が一つも検出されない場合には本処理が終了する。

ステップＳ７０３に進むと、露出決定部４０７は、被写体領域の明るさ（輝度）を測定する。
次にステップＳ７０４において、露出決定部４０７は、カメラ情報取得部４０４が監視カメラ１０１から取得した現在の露出値（監視カメラの現在の露出設定値）を取得する。
次にステップＳ７０５において、露出決定部４０７は、それら被写体領域の明るさの情報（輝度の情報）と監視カメラの現在の露出設定値とに基づいて、被写体領域を適正露出にするために必要な露出の変更量を表す露出補正量を算出する。

次に、ステップＳ７０６において、露出決定部４０７は、露出補正量（露出の変更量）が所定量以下かどうかの判断を行う。そして、ステップＳ７０６において露出補正量が所定量以下である場合、クライアントＣＰＵ３０１の処理はステップＳ７０７に進み、一方、所定量を超える場合にはステップＳ７０８に進む。すなわちステップＳ７０６では、露出の変更量を表す露出補正量がどの程度であるかを見る処理が行われる。これは、前述のように監視カメラとクライアント装置側で評価領域（測光領域）が異なっている場合、クライアント装置側で算出した露出補正量が実態と大きく離れた補正量になりやすいためである。したがって、露出補正量が所定量より大きい場合（露出の変更量が大きい場合）には、算出された露出補正量で一気に露出を変化させるのではなく、ある程度の所までは一気に露出を変える粗調を行い、それ以降は微調整していくようにする。このようにすることで、明るさの合わせこみが行いやすくなり、粗調だけで行うと輝度のハンチングが起こる弊害も抑えることができる。

図８は、そのような露出調整の例の説明に用いる図である。図８の例では、露出補正量に対する判定の際に用いる所定量として、予め決められた仕様上限を挙げている。露出決定部４０７は、ステップＳ７０５で算出した露出補正量が仕様上限以下である場合には、図中の実線８０１で示す補正量小の遷移をたどり、粗調期間で露出補正量まで監視カメラの露出を一気に変化させるようにする。一方、露出決定部４０７は、ステップＳ７０５で算出した露出補正量が仕様上限を超える場合には、図中の実線８０２で示す補正量大の遷移をたどり、仕様上限の所までは一気に露出を変化させるようにする。そして、露出決定部４０７は、仕様上限に達して以降では被写体領域で適正露出が得られるようになるまで、徐々に露出レベルを変化させるような露出制御を行う。

なお、露出補正量との比較に用いられる所定量は、監視カメラにおける評価領域と、クライアント装置における評価領域とがどの程度一致するかを示す一致度に応じて適宜変更してもよい。また、図８の実線８０１で示すような露出制御が行われる場合において、露出を一気に変化させる仕様上限は、露出補正量との比較に用いられる所定量とは異なる別の値であってもよい。

ステップ７０６で露出補正量が所定量以下と判定されてステップＳ７０７に進んだ場合、露出決定部４０７は、前述のように算出した露出補正量に応じて監視カメラ１０１の露出を制御する指示を、通信制御部４０２を介して監視カメラ１０１に送る。これにより、監視カメラ１０１は、その露出補正量に対応した指示に基づいて露出制御が行われ、その結果、被写体が適正な明るさとなった画像を撮像することができるようになる。

一方、ステップＳ７０６で露出補正量が所定量を超えると判定されてステップＳ７０８に進むと、露出決定部４０７は、図８の補正量大で示したように監視カメラ１０１の露出を制御する指示を、通信制御部４０２を介して監視カメラ１０１に送る。

次にステップ７０９において、露出決定部４０７は、前述のような露出制御後に得られた画像の被写体領域の明るさを測定し、さらにステップＳ７１０において被写体領域の露出が所望の適正な値になっているか否かを判定する。そしてステップＳ７１０において露出が適正値になっていると判定した場合、クライアントＣＰＵ３０１は図７のフローチャートの処理を終了する。一方、ステップＳ７１０において露出が適正値になっていないと判定した場合、露出決定部４０７は、ステップＳ７１１において通信制御部４０２を介してさらに監視カメラの露出調整を行った後、ステップＳ７０９に処理を戻す。そして、露出決定部４０７は、ステップＳ７０９において再度、被写体領域の明るさを測定した後、ステップＳ７１０の判定処理を行う。なお、ステップＳ７１１における露出調整では、前述したように露出を大きく変更するのではなく、微調整しながら変えていくことが望ましい。また露出決定部４０７は、ステップＳ７０９に処理を戻して、被写体領域の明るさを再測定する場合、監視カメラ１０１での露出調整が反映されるまでの時間を考慮して、一定時間の間隔を開けてから行うようにする。

以上のような処理を行うことで、被写体領域が適正露出となった画像を得ることが可能となる。
図９は、前述した第１実施形態における監視カメラとクライアント装置とにおける処理のやり取りを説明するための図であり、カメラ制御が好適に行われる様子の具体例を示している。
図９に示した画像９０１は、図５の画像５０１と同様に、監視カメラが被写体を撮影した最初の状態での画像を示しており、逆光シーンで撮影がなされた画像例を示している。

クライアント装置では、図５の画像５０２と同様の画像９０２を基に、前述したような露出評価のための処理を行う。このときクライアント装置では、画像９０２の人の領域が暗いので、露出を上げるよう指示をすることになるが、この場合、露出補正量が大きくなるので、前述したように一度粗調を行い、露出補正量をある程度の所で一度抑えた制御を行う。画像９０３は、このようにしてクライアント装置による露出制御がなされた監視カメラで撮像された画像の例を示している。

そして、クライアント装置は、再度、被写体の明るさを検出し、画像９０４に示すように徐々に明るさを変えるよう微調整を行って、被写体が適正な明るさになるように監視カメラの露出制御を行う。画像９０５は、監視カメラにおいてそのような露出制御が行われたことで得られる画像例を示している。

以上のように、第１実施形態においては、明るさの変更を段階的に行うことで、監視カメラとクライアント装置とで評価領域が異なっている場合でも、適切な明るさの画像を取得することが可能となる。

＜第２実施形態＞
第２実施形態では、第１実施形態をベースにデガンマ処理も追加した処理について説明をする。デガンマ処理については、前述したように監視カメラの露出等の設定条件によらない安定した明るさを取得するために用いられる処理である。第２実施形態では、デガンマ処理を追加することで、第１実施形態の例よりも、より好適な処理を実現することが可能となる。

図１０は、第２実施形態においてクライアントＣＰＵ３０１により実行される処理の流れを示すフローチャートである。図１０のフローチャートの処理も前述同様に、監視カメラ１０１、クライアント装置１０３、入力装置１０４および表示装置１０５の電源がオンされ、監視カメラ１０１とクライアント装置１０３の接続（通信）が確立しているとする。またこの状態で、監視カメラ１０１からクライアント装置１０３への画像データの送信、表示装置１０５での画像表示が繰り返されているものとする。そして、ネットワーク１０２を介して監視カメラ１０１からクライアント装置１０３に被写体の撮像画像が入力されたことに応じて、図１０のフローチャートの処理がクライアントＣＰＵ３０１により開始されるものとする。

まず、ステップＳ９０１において、被写体検出部４０６は、図７のステップＳ７０１と同様に、監視カメラ１０１から送られてきた画像から被写体を検出する処理を実行する。
次にステップＳ９０２において、被写体検出部４０６は、被写体（この例では顔としている）が検出されたか否かを判定する。ステップＳ９０２において被写体が検出されていない場合、クライアントＣＰＵ３０１は図１０のフローチャートの処理を終了し、一方、被写体が検出された場合にはステップＳ９０３に処理を進める。

ステップＳ９０３に進むと、露出決定部４０７は、被写体領域（顔領域）の明るさを測定する。
次にステップＳ９０４において、露出決定部４０７は、輝度変換テーブル（デガンマテーブル）を参照してデガンマ処理を行う。
図１１は、デガンマ処理の例を説明する図である。図１１の特性１１０１は、監視カメラ１０１の撮像素子２０２における画像特性を示しており、特性１１０２は、監視カメラ１０１で行われる輝度変換における入出力特性（本実施形態ではガンマ特性）を示している。つまり監視カメラ１０１では、撮像素子２０２から入力された画像特性（１１０１）に対して、当該カメラ内でガンマ処理（１１０２）を行った画像を出力している。

本実施形態の場合、監視カメラで行われる輝度変換の入出力特性情報、すなわちガンマ特性を示す情報は、例えばカメラ情報取得部４０４が取得してガンマテーブル（輝度変換テーブル）として用意されているとする。なお、ガンマ特性情報は、入力画像のメタデータとして保持した状態で取得されてもよいし、接続可能な監視カメラ１０１の種別に応じた複数の異なるパターンのガンマ特性情報が予め記憶されていて、それらの中から取得されてもよい。なおこれら複数の異なるパターンのガンマ特性情報は、例えば補助記憶装置３０３に記憶されていてもよいし、プログラムの実行により形成されて主記憶装置３０２に記憶されてもよい。例えば複数の異なるパターンのガンマ特性情報が予め記憶されている場合、カメラ情報取得部４０４は、監視カメラ１０１の種別を表すＩＤ、製造番号、個体識別番号等を取得する識別情報取得処理を行う。そして、カメラ情報取得部４０４は、それらの識別情報の少なくとも何れかを基に、予め記憶されている複数のガンマ特性情報の中から適応するガンマ特性情報を選択する。

露出決定部４０７は、前述したンマテーブルからガンマ特性情報を取得し、監視カメラからの入力画像に対し、当該カメラ内でガンマ処理をかける前の状態、つまり撮像素子２０２による撮像画像の状態に戻すようにデガンマ処理を行う。

次にステップＳ９０５において、露出決定部４０７は、デガンマ処理後の輝度値に基づいた露出補正量の算出処理を行う。
さらにステップＳ９０６において、露出決定部４０７は、カメラ情報取得部４０４が監視カメラ１０１から取得している現在の監視カメラの露出設定値を取得する。
そしてステップＳ９０７において、露出決定部４０７は、前述の第１実施形態と同様にして、被写体領域を適正露出にするために必要な露出補正量を算出する。

次にステップＳ９０８において、露出決定部４０７は、ステップＳ９０７で算出した露出補正量が所定量以下かどうかの判定を行う。すなわちステップＳ９０８では、露出補正量（露出の変更量）がどの程度かを見る処理が行われる。前述したように監視カメラとクライアント装置側とで評価領域が異なる場合、クライアント装置側で算出した露出補正量が実態と大きく離れた補正量になりやすいため、このステップＳ９０８の判定処理が行われる。第２実施形態でも、第１実施形態と同様に、露出補正量が所定量より大きい場合には、ある程度の所までは一気に露出を変える粗調を行い、それ以降は微調整する。これにより、明るさの合わせこみが行いやすくなり、粗調だけで行うと輝度のハンチングが起こる弊害も抑えることができる。ステップＳ９０８において露出補正量が所定量以下である場合、クライアントＣＰＵ３０１の処理はステップＳ９１０に進み、一方、所定量を超える場合にはステップＳ９０９に進む。

ステップＳ９０９に進んだ場合、露出決定部４０７は、ステップＳ９０７で算出した露出補正量に応じて監視カメラ１０１を制御する指示を、通信制御部４０２を介して監視カメラ１０１に送る。監視カメラ１０１は、その露出補正量に対応した指示に基づいて露出制御が行われ、これにより、被写体の適正な明るさを得ることができる。

一方、ステップＳ９０８で露出補正量が所定量を超えると判定されてステップＳ９１０に進むと、露出決定部４０７は、通信制御部４０２を介して、第１実施形態の図８の補正量大で示したように監視カメラ１０１の露出を変更する指示を送る。

次に、ステップ９１１において、露出決定部４０７は被写体領域（顔領域）の明るさを測定し、さらにステップＳ９１２において露出が適正な値になっているか否かを判定する。そしてステップＳ９１２において露出が適正な値になっていると判定した場合、クライアントＣＰＵ３０１は図１０のフローチャートの処理を終了する。一方、ステップＳ９１２において露出が適正な値になっていないと判定した場合、露出決定部４０７は、ステップＳ９１３において通信制御部４０２を介してさらに監視カメラの露出調整を行った後、ステップＳ９１１に処理を戻す。そして、露出決定部４０７は、ステップＳ９１１において再度、被写体領域の明るさを測定した後、ステップＳ９１２の判定処理を行う。第２実施形態においても、ここでの露出制御は、前述したように露出を大きく変更するのではなく、微調整しながら変えていくことが望ましい。また第２実施形態の場合も、露出決定部４０７は、ステップＳ９１１に処理を戻して、被写体領域の明るさを再測定する場合、一定時間の間隔を開けてから行うようにする。

以上のような処理を行うことで、第２実施形態においては、適正な明るさの画像が得られることになる。なお第２実施形態でも、監視カメラとクライアント装置とにおける処理のやり取りのイメージは図９を用いて説明したのと同様である。
以上のように、第２実施形態によれば、監視カメラの露出設定条件によらない安定した明るさを取得することが可能となり、監視カメラ１０１では適正な画像の撮影が可能になる。

なお前述した特許文献１の技術では、デガンマ処理を行うことにより、撮影条件によらない撮像素子の明るさを得ることができるが、その結果から撮像装置への露出制御を行う手法については何ら開示されていない。また特許文献２の技術では、デガンマカーブの情報が無い場合の処理について述べられており、デガンマ処理後のカメラ制御については述べられていない。そのため、特許文献１，２の技術では、対象となる被写体に対して適切な明るさとなるカメラ制御が正しく行えないことが想定される。これに対し、第１、第２の実施形態によれば、適正な明るさの画像を得ることが可能な露出制御が実現される。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：撮像制御システム、１０１：監視カメラ、１０３：クライアント装置、４０３：入力画像取得部、４０４：カメラ情報取得部、４０７：露出決定部

Claims (10)

1. 撮像装置から送られてきた画像内で特定の被写体領域を検出する検出手段と、
   前記撮像装置の露出設定値を取得する取得手段と、
   前記撮像装置の露出設定値と前記被写体領域の情報とを基に、前記被写体領域の露出量を決定する決定手段と、
   前記決定手段により決定された前記露出量に基づいて前記撮像装置の露出制御を行う制御手段と、を有し、
   前記制御手段は、少なくとも第１の露出補正方法と第２の露出補正方法とによって、前記撮像装置の露出制御を行うことを特徴とする撮像制御装置。
2. 前記取得手段は、前記撮像装置の評価領域で当該撮像装置が測定した輝度に基づいて設定した前記露出設定値を取得し、
   前記決定手段は、前記被写体領域の情報として、前記被写体領域を評価領域として測定した輝度の情報を用いることを特徴とする請求項１に記載の撮像制御装置。
3. 前記制御手段は、所定量になるまで前記撮像装置の露出を一気に変える粗調を行う前記第１の露出補正方法と、前記所定量になって以降は前記撮像装置の露出を微調整する前記第２の露出補正方法と、によって前記露出制御を行うことを特徴とする請求項２に記載の撮像制御装置。
4. 前記制御手段は、前記決定手段が決定した露出量が所定量より大きい場合に、前記第１の露出補正方法と前記第２の露出補正方法とによる前記撮像装置の露出制御を行うことを特徴とする請求項３に記載の撮像制御装置。
5. 前記制御手段は、前記決定手段が決定した露出量が所定量以下である場合には、前記露出量になるまで、前記第１の露出補正方法によって前記撮像装置の露出制御を行うことを特徴とする請求項４に記載の撮像制御装置。
6. 前記制御手段が前記露出量と比較する前記所定量は、前記撮像装置の評価領域と前記被写体領域の評価領域との、一致度に応じて変更される量であることを特徴とする請求項４または請求項５に記載の撮像制御装置。
7. 輝度の入出力特性を変換する変換手段を有し、
   前記決定手段が前記露出量を決定する際に用いる前記被写体領域の情報は、前記撮像装置から送られてきた画像に対して前記変換手段で前記入出力特性の変換がなされた画像内の被写体領域の情報であることを特徴とする請求項１から請求項６のいずれか１項に記載の撮像制御装置。
8. 前記決定手段は、前記撮像装置の露出制御が行われた後に前記露出制御による露出の変化を再測定する場合、一定時間の間隔を開けてから前記再測定を行うことを特徴とする請求項１から請求項７のいずれか１項に記載の撮像制御装置。
9. 撮像制御装置が実行する撮像制御方法であって、
   撮像装置から送られてきた画像内で特定の被写体領域を検出する検出工程と、
   前記撮像装置の露出設定値を取得する取得工程と、
   前記撮像装置の露出設定値と前記被写体領域の情報とを基に、前記被写体領域の露出量を決定する決定工程と、
   前記決定工程により決定された前記露出量に基づいて前記撮像装置の露出制御を行う制御工程と、を有し、
   前記制御工程では、少なくとも第１の露出補正方法と第２の露出補正方法とによって、前記撮像装置の露出制御を行うことを特徴とする撮像制御方法。
10. コンピュータを、請求項１から請求項８のいずれか１項に記載の撮像制御装置の各手段として機能させるためのプログラム。

Images