JP2008005365A

JP2008005365A - 撮像装置

Info

Publication number: JP2008005365A
Application number: JP2006174724A
Authority: JP
Inventors: Atsushi Sugitani; 篤杉谷; Kanefumi Kinetsuki; 兼史杵築; Yoko Mitsugi; 洋子三次
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 2006-06-26
Filing date: 2006-06-26
Publication date: 2008-01-10

Abstract

【課題】監視カメラ等において、逆光等でフレーム内に生じた黒つぶれと白トビの各領域に人物の顔領域が存在する場合にも、その顔領域を精度良く検出する。
【解決手段】画像フレームＦ(i)の輝度ヒストグラムを作成し、その輝度範囲を暗部と中間輝度と明部の各範囲に分ける。全輝度範囲での累積画素数がＮth（閾値）より小さい場合又は中間輝度範囲でＮth以上の累積画素数がある場合はフレームＦ(i)をそのまま顔領域検出対象とする。暗部範囲／明部範囲にのみＮth以上の累積画素数がある場合は、撮像素子と信号処理部を制御して輝度・コントラストを上昇／低下させ、次フレームＦ(i+1)を顔領域検出対象とする。暗部範囲と明部範囲でＮth以上の累積画素数がある場合は、輝度・コントラストを上昇／低下させる制御を順次実行し、フレームＦ(i+1)とフレームＦ(i+2)を顔領域検出対象とする。
【選択図】図２

Description

本発明は撮像装置に係り、特に、画像データから顔領域を検出して輝度やコントラストの調整を行う機能を有している場合に、逆光等によるハイコントラスト状態で暗領域や明領域に顔画像が含まれていても、精度良く顔領域を検出できるようにするための技術に関する。

防犯・防災のための監視システムが工場や商店等の施設だけでなく家庭にも導入されるようになり、監視カメラにも様々な機能が付加されるようになっている。また、デジタルカメラでは従来から採用されているが、監視カメラにおいても画像中から顔画像を検出して輝度やコントラストの調整を行う機能を備えたものがあり、その機能によれば顔画像を常に適正な画質で記録再生することができる。

例えば、下記特許文献１では、被写体の画像を１枚分記憶する画像メモリと、そのメモリから所定の単位で他のメモリあるいはレジスタに取り込む画像取り込み部と、全体の制御を司る制御部と、複数の顔の特徴を格納する顔特徴記憶部と、画像取り込み部からのデータと顔特徴記憶部からのデータを比較してその結果を制御部に伝える比較部とを備え、制御部が比較結果に基づいて顔画像を検出するようにしたデジタルカメラが提案されている。

また、下記特許文献２においては、カラー原画像上の多数箇所を複数の成分色に分解して測光し、その測光によって得られたデータが表す原画像上の各箇所における色相が肌色の範囲に含まれるか否かを判断し、原画像を肌色領域と非肌色領域とに分割すると共に、前記測光によって得られたデータに基づいて原画像中のエッジを検出し、原画像中の各箇所をエッジ部分又は非エッジ部分に分類し、前記肌色領域内に位置しており、かつ非エッジ部分と分類した箇所の集まりで構成される原画像中の領域を顔候補領域として抽出し、抽出した顔候補領域が人物の顔に相当する領域か否か判定し、人物の顔に相当する領域であると判定した顔候補領域を抽出するという方式（下記特許文献３に開示）を適用したデジタルカメラが提案されている。更に、下記特許文献４，５においては、顔画像の検出機能を備えた監視カメラ（特定人物検出システム，監視装置）が開示されている。
特開２００３−９２７００号公報特開２００４−１５３３１５号公報特開平０９−１０１５７９号公報特開２００３−１０２００３号公報特開２００３−１８７３５２号公報

ところで、顔画像の検出においては、前記のように、撮像データと予め用意した顔の特徴データとを比較するパターンマッチングによる方法や、肌色等の色情報と非エッジ部分の検出に基づいて顔候補領域を抽出する方法が採用されているが、逆光等によりハイコントラストの撮影条件になった場合にはそれらの方法が有効に機能しなくなる。即ち、ハイコントラストになると、顔部分が暗過ぎたり、逆に明る過ぎたりするために、パターンマッチングに必要となる顔の輪郭や目・鼻・口の位置が不鮮明になり、また肌色等の色情報を用いる場合にも色相が不明瞭になって、顔画像を検出することが困難になる。

その問題に対して、パターン測光やスポット測光等の公知の露出補正方法によって逆光補正を行うことが考えられるが、それらの方法では撮像画像中の暗領域の明度を上げるため、暗領域に顔がある場合には顔画像の検出が可能であっても、明領域にある場合には白トビして検出が不可能になる。一方、監視カメラにおいては昼夜を問わず監視区域を撮像し続けるような使用条件になる場合が多く、また、外部からの制御信号によってパン・チルト制御がなされることもあるため、如何なる露光条件でも顔画像が正確に検出できるようにすることが望まれる。

本発明は、そのような問題点に鑑みてなされたものであり、顔画像を検出してその画質調整を行う機能を備えた撮像装置において、顔画像が逆光等でハイコントラスト状態となった画像中の暗領域や明領域のいずれの領域に位置していても精度良く検出して画質調整ができるようにすることを目的とする。

本発明は、撮像素子と、前記撮像素子が出力する撮像信号を処理する信号処理手段と、前記信号処理手段で処理されたフレームデータが書き込まれるフレーム記憶手段と、前記フレーム記憶手段に書き込まれたフレームデータを解析し、人物の顔の画像データが含まれている場合にその顔領域の画像データを検出する顔領域検出手段と、前記顔領域検出手段が検出した顔領域の画像データの輝度情報とコントラスト情報との少なくとも一方に基づいて前記顔領域の画質を補正する画質補正手段と、前記画質補正手段により補正処理がなされた前記フレーム記憶手段のフレームデータを出力させるフレーム出力手段とを有する撮像装置において、前記信号処理手段で処理されたフレームデータの輝度ヒストグラムを作成するヒストグラム作成手段と、前記輝度ヒストグラムの全輝度範囲を暗部範囲と中間輝度範囲と明部範囲に分割し、全輝度範囲の各輝度レベルに対応する累積画素数が予め設定された閾値より小さい状態を第１状態、前記中間輝度範囲の各輝度レベルに対応する累積画素数の内で前記閾値以上のものが在る状態を第２状態、前記暗部範囲の各輝度レベルに対応する累積画素数の内にのみ前記閾値以上のものが在る状態を第３状態、前記明部範囲の各輝度レベルに対応する累積画素数の内にのみ前記閾値以上のものが在る状態を第４状態、及び前記明部範囲と前記暗部範囲の双方とも各輝度レベルに対応する累積画素数の内に閾値以上のものが在り、且つ前記中間輝度範囲の各輝度レベルに対応する累積画素数が前記閾値より小さい状態を第５状態として、前記輝度ヒストグラムが前記第１状態乃至第５状態の内のいずれの状態にあるかを判定する判定手段と、前記ヒストグラム作成手段が今回のフレームについて作成した前記輝度ヒストグラムの状態を、前記判定手段が前記第１状態又は前記第２状態であると判定した場合には、前記撮像素子と前記信号処理手段を標準的な輝度とコントラストの画像データが得られる動作状態に設定すると共に、前記フレーム記憶手段の今回のフレームに前記顔領域検出手段と前記画質補正手段による処理を施して前記フレーム出力手段により出力させた後、次のフレームを前記ヒストグラム作成手段による輝度ヒストグラムの作成対象とする手順、前記判定手段が前記第３状態であると判定した場合には、前記撮像素子と前記信号処理手段を高輝度で高コントラストな画像データが得られる動作状態に、また前記判定手段が前記第４状態であると判定した場合には、前記撮像素子と前記信号処理手段を低輝度で低コントラストな画像データが得られる動作状態に設定すると共に、それぞれの場合とも、前記動作状態の設定後に次のフレームを前記フレーム記憶手段の今回のフレームに上書きして書き込ませ、その上書きしたフレームについて前記顔領域検出手段と前記画質補正手段による処理を施して前記フレーム出力手段により出力させた後、前記撮像素子と前記信号処理手段の状態を標準的な輝度とコントラストの画像データが得られる動作状態に戻して次のフレームを前記ヒストグラム作成手段による輝度ヒストグラムの作成対象とする手順、前記判定手段が前記第５状態であると判定した場合には、前記判定手段が前記第３状態又は第４状態であると判定した場合におけるいずれか一方の前記手順の内の前記フレーム出力手段によるフレームの出力手順までを実行させた後、他方の前記手順を全て実行させる手順、を実行させる制御手段とを具備したことを特徴とする撮像装置に係る。

本発明においては、撮像素子が出力する撮像信号を信号処理手段で処理して得られるフレームデータについて、ヒストグラム作成手段が輝度ヒストグラムを作成し、判定手段はその輝度ヒストグラムの全輝度範囲を暗部範囲と中間輝度範囲と明部範囲に分割して５つの典型（第１状態乃至第５状態）に分類し、今回のフレームのフレームデータがいずれの状態にあるかを判定する。ここに、前記分類を行う上で閾値を設けているが、これは、暗部範囲や明部範囲での累積画素数の内でその閾値以上のものがあるとフレーム画像に黒つぶれや白トビが発生するという観点から設定された値である。従って、輝度ヒストグラムの全輝度範囲に亘って累積画素数が所定閾値以上であることはあり得ず、前記の第１状態乃至第５状態は輝度ヒストグラムのとり得る全ての状態を典型として網羅していると言える。そして、判定手段の判定結果に応じて、制御手段が撮像素子と信号処理手段の動作状態を制御すると共に、輝度ヒストグラムの作成対象になったフレームとその次の１フレーム又は２フレーム分の取り扱いを制御する。

第１状態又は第２状態の場合は、顔画像が検出可能な画像のフレームであるため、フレーム記憶手段に書き込まれているフレーム（輝度ヒストグラムの作成対象となったフレーム）に顔領域の検出と画質補正を施して出力させる。第３状態及び第４状態の場合は、撮影条件がハイコントラスト状態で黒つぶれや白トビが生じているため、それぞれの状態に応じて撮像素子と信号処理手段の動作状態を輝度とコントラストが上昇／低下した画像データが得られるように制御し、その制御された動作状態で次のフレームをフレーム記憶手段に書き込み（輝度ヒストグラムの作成対象となったフレームに上書き）、顔領域の検出と画質補正を施して出力させる。但し、その次のフレームは再び輝度ヒストグラムの作成対象となるため、撮像素子と信号処理手段は標準的な輝度とコントラストの画像データが得られる動作状態に戻される。第５状態は第３状態及び第４状態が並存している場合に相当する。従って、第３状態と第４状態の場合の手順のいずれを先行させてもよいが、２フレーム分について、それぞれ独立に各状態で行った撮像素子と信号処理手段の動作状態の制御とフレームの取り扱いを実行させる。但し、撮像素子と信号処理手段を標準的な輝度とコントラストの画像データが得られる動作状態に戻す手順は先行させた手順側では実行させず、最後に１回実行させるだけである。

本発明の撮像装置は、逆光等のハイコントラスト状態で撮影されてフレーム画像中に黒つぶれになっている領域と白トビになっている領域が存在し、その各領域にそれぞれ顔画像が位置しているような場合においても、別フレームで各顔画像を高い精度で検出して適切に画質補正を施すことを可能にする。従って、前記撮影条件になっても顔画像が認識可能なフレームを確実に出力させることができ、監視カメラ等に最適な構成を提供する。

以下、本発明の撮像装置の実施形態を図面に基づいて詳細に説明する。先ず、図１は監視カメラ１０のブロック図であり、１１は対物レンズを含む光学系、１２はＣＣＤで構成された撮像素子、１３は撮像素子１２からの撮像信号をアナログ画像信号に変換してノイズ削減やゲイン調整等を行うアナログ信号処理回路、１４はアナログ信号処理回路１３で処理された画像信号をデジタル信号へ変換するＡ/Ｄ変換部、１５はＡ/Ｄ変換後の画像信号に対してガンマ調整やホワイトバランス調整等の画質調整を行うデジタル信号処理回路、１６は信号処理を経たフレームデータを記憶するフレームメモリ、１７はフレームメモリ１６のフレームデータから人物の顔領域を検出する顔領域検出部、１８は顔領域検出部１７が検出した顔領域の画像の画質を補正する画質補正部、１９はフレームメモリ１６からフレームデータを読み出して出力させるフレーム出力部、２０は出力されたフレームデータをＪＰＥＧ（又はＭＰＥＧ）方式で符号化する符号化部、２１は符号化されたフレームデータを伝送データに変換すると共に通信回線を介して集中監視室等へ伝送するデータ伝送部を示す。

ここで、顔領域検出部１７は、予め人物の顔のパターンについての特徴量を学習しておき、フレームの画像データとパターンマッチングを行うことによりフレームデータにおける顔領域を検出するが、前記特許文献２に示されているように、肌色等の色情報に基づいてパターンマッチングの領域を限定する方法も併用することで検出処理速度を向上させてもよい。また、画質補正部１８は、顔領域検出部１７から得られる顔領域の情報を用いてその領域に限定した輝度ヒストグラムを作成し、明度の分布状態の解析結果に基づいて、顔画像が明瞭に視認できるようにフレームメモリ１６上の顔領域の輝度とコントラストを調整して画質を補正する。

ところで、撮影条件が逆光等のハイコントラスト状態になってフレーム画像中に両極端な露光領域が混在した場合には、デジタル信号処理回路５で画質調整を行うことができるが、ソフトウエアによる画質処理であるためにその有効性には限界があると共に、フレーム画像中の暗領域又は明領域の一方にしか対応できないために、フレームメモリ１６のフレーム画像には黒つぶれ又は白トビのいずれかが残ることになる。一方、顔領域検出部１７は前記のようにパターンマッチングによる検出方法を採用している。従って、撮影条件がハイコントラスト状態になって、フレーム画像中の黒つぶれになっている領域と白トビになっている領域にそれぞれ顔画像があると、その顔領域の検出が困難になる。

そこで、この実施形態の監視カメラ１０では、前記構成に加えてヒストグラム作成部３１と補正制御部３２を設けており、輝度ヒストグラムに基づいて黒つぶれや白トビが発生していると判断された場合に、フレーム単位でシャッタ速度やゲイン・ガンマ値等を補正制御して黒つぶれと白トビのいずれにも対応した画像補正処理を行うことにより、フレームメモリ１６に取り込まれたフレームデータから確実に顔領域を検出できるようにしている。

以下、この実施形態に係る監視カメラ１０の動作手順を図２のフローチャートを参照して説明する。先ず、監視カメラ１０は通常のシャッタ速度とガンマ値の設定状態で監視場所を撮影している（S10,S11）。撮像素子１２が出力する画像信号はアナログ信号処理部１３からＡ/Ｄ変換部１４とデジタル信号処理部１５を経て所定処理が施されたフレームデータ［フレームＦ(i)］となるが、そのフレームデータはフレームメモリ１７に取り込まれると共に、ヒストグラム作成部３１へも入力されており、ヒストグラム作成部３１ではフレームデータの各画素情報に基づいて輝度ヒストグラムを作成する（S12,S13）。

輝度ヒストグラムが作成されると、補正制御部３２は輝度ヒストグラムの輝度レベルを暗部範囲と中間輝度範囲と明部範囲に分ける。そして、フレームＦ(i)についての輝度ヒストグラムが次の(a)から(e)のいずれの状態にあるかを分析して判断し、各状態に応じた処理動作を実行させる。
(ａ) 全輝度範囲で各輝度レベルに対応する累積画素数が閾値Ｎthより小さい状態（例えば、図３の状態）。
(ｂ) 中間輝度範囲の各輝度レベルに対応する累積画素数の内で閾値Ｎth以上のものが有る状態（例えば、図４の状態）。但し、中間輝度範囲の条件だけであり、暗部範囲や明部範囲における各輝度レベルに対応する累積画素数の如何は問わない。
(ｃ) 暗部範囲の各輝度レベルに対応する累積画素数の内にのみ閾値Ｎth以上のものが在る状態（例えば、図５の状態）。
(ｄ) 明部範囲の各輝度レベルに対応する累積画素数の内にのみ閾値Ｎth以上のものが在る状態（例えば、図６の状態）。
(ｅ) 明部範囲と暗部範囲の双方とも各輝度レベルに対応する累積画素数の内に閾値Ｎth以上のものが在り、中間輝度範囲の各輝度レベルに対応する累積画素数が閾値Ｎthより小さい状態（例えば、図７の状態）。

そして、前記の(ａ)又は(ｂ)の状態であった場合には、補正制御部３２は顔領域検出部１７と画質補正部１８とフレーム出力部１９へ非補正フレーム有効信号を出力し、フレームＦ(i)のフレームデータについて顔領域の検出とその検出領域の輝度とコントラストの適正化が行われる（S14,S15→S16）。また、その補正後のフレームデータは符号化部２０で符号化されてデータ伝送部２１により集中監視室側へ伝送される（S17）。

即ち、輝度ヒストグラムが(ａ)の状態（図３）の場合はハイコントラスト状態になっておらず、全体的にコントラストの低い平坦な画像になり、フレーム画像から顔領域の検出が可能になる場合が多い。例えば、図８は室内と戸外とを同時に撮影した場合のフレーム画像の例であるが、全体のコントラストが低いために黒つぶれや白トビは発生しておらず、顔領域検出部１７でフレーム画像中の室内側領域と戸外側領域にある各人物の顔領域を検出することは可能である。一方、輝度ヒストグラムが(ｂ)の状態（図４）の場合は、暗部範囲や明部範囲での累積画素数の分布状態を問わないためにハイコントラスト状態になっている可能性はあるが、中間輝度範囲に多くの画素数が集中している画像であることから、例えば、図９に示すように黒つぶれや白トビが発生していないフレーム画像であることが多く、この状態においても顔領域の検出が可能である。従って、前記の(ａ)又は(ｂ)の状態では、通常のシャッタ速度とガンマ値の設定状態（標準的な輝度とコントラストの画像データが得られる設定状態）でフレームメモリ１７に取り込まれたフレームデータをそのまま顔領域の検出対象とする。

次に、輝度ヒストグラムが前記の(ａ)又は(ｂ)のいずれの状態でもなかった場合は、前記の(ｃ)、(ｄ)、又は(ｅ)の状態にあることになるが、この実施形態では判断順序を(ｃ)→(ｄ)→(ｅ)に設定している（S15→S19→S26→S28）。先ず、(ｃ)の状態（図５）では、暗部範囲に累積画素数の分布が偏っており、且つその範囲で閾値Ｎth以上のものが在ることから、撮影条件がハイコントラスト状態になってフレーム画像の中に黒つぶれが生じている可能性がある。具体的には、図１０に示すように、フレーム画像中の戸外側領域の人物の顔領域はパターンマッチング等で検出可能な状態にあるが、室内側領域の人物については黒つぶれが発生している状態にあり、その黒つぶれ領域の画像からは顔領域の検出は不可能である。

そこで、補正制御部３２は、輝度ヒストグラムが(ｃ)の状態であると判断した場合には、デジタル信号処理部１５に対して補正制御信号を出力し、その補正制御信号に基づいてデジタル信号処理部１５が撮像素子１２とアナログ信号処理部１３へそれぞれ補正量を含む補正信号を出力することにより、撮像素子１２のシャッタ速度を遅くして輝度を上昇させると共に、デジタル信号処理部１５自体とアナログ信号処理部１３におけるゲインとガンマ値の調整によりコントラストを上昇させるように設定する（S19,S20）。即ち、図５に示す輝度ヒストグラムは輝度を２５６階調で与えており、各輝度レベルの累積画素数の状態は暗部範囲で閾値Ｎthを超えているが、例えば、図１３（Ａ）に示すように、その最低輝度レベル［０］を暗部範囲の最高輝度レベル［６４］まで引き上げ、コントラストを［３０］だけ高くなるように調整設定する。

ところで、輝度ヒストグラムの作成・分析対象となったフレームＦ(i)はフレームメモリ１６に格納されているが、それ自体は黒つぶれが発生しているフレーム画像であるため、前記ステップS20で撮像素子１２のシャッタ速度と各信号処理回路１３，１５でのゲイン・ガンマ値が補正制御された後に入力される次フレームＦ(i+1)がフレームＦ(i)を上書きする態様でフレームメモリ１６に格納される（S21）。このフレームＦ(i+1)のフレームデータには前記補正制御によって輝度とコントラストを上昇させた処理が施されており、例えば、フレームＦ(i)の画像が図１０であるような場合においても、図９に相当するような画像になっているため、黒つぶれ領域にある顔画像がパターンマッチング等で検出可能な状態の画像データとなる。

フレームメモリ１６に書き込まれたフレームＦ(i+1)については、顔領域検出部１７によってそのフレームデータから顔領域が検出され、画質補正部１８によって顔領域の画質（輝度とコントラスト）が適正に補正される（S22）。また、顔領域の画質補正後のフレームＦ(i+1)はフレーム出力部１９によって符号化部２０へ読み出され、符号化された後、データ伝送部２１により集中監視室側へ伝送される（S23）。更に、この場合は撮像素子１２のシャッタ速度と各信号処理回路１３，１５でのゲイン・ガンマ値が補正制御されているため、フレームＦ(i+1)の伝送後に補正制御部３２がデジタル信号処理部１５へ補正解除信号を出力し、前記補正制御状態を解除させて通常のシャッタ速度とゲイン・ガンマ値の設定状態に戻しておく（S24）。

次に、補正制御部３２は、フレームＦ(i)の輝度ヒストグラムが(ｄ)の状態（図６）にあると判断した場合には、前記(ｃ)の状態の場合と同様にデジタル信号処理部１５に対して補正制御信号を出力して撮像素子１２と各信号処理回路１３，１５を制御することになるが、この場合には前記(ｃ)の状態の場合とは逆の補正制御を実行させる（S26,S27）。即ち、撮像素子１２のシャッタ速度を速くして輝度を低下させると共に、デジタル信号処理部１５自体とアナログ信号処理部１３におけるゲインとガンマ値の調整によりコントラストを低下させる。

輝度ヒストグラムが(ｄ)の状態（図６）では、明部範囲に累積画素数の分布が偏っており、且つその範囲で閾値Ｎth以上のものが在ることから、撮影条件がハイコントラスト状態になってフレーム画像の中に白トビが生じている可能性がある。具体的には、図１１に示すように、フレーム画像中の室内側領域の人物の顔領域はパターンマッチング等で検出可能な状態にあるが、戸外側領域の人物については白トビが発生している状態にあり、その白トビ領域の画像からは顔領域の検出は不可能である。

そこで、補正制御部３２が前記のように撮像素子１２と各信号処理回路１３，１５を補正制御して輝度とコントラストを低下させたフレームデータが得られるようにしている。例えば、図１３（Ｂ）に示すように、その最高輝度レベル［２５５］を明部範囲の最低輝度レベル［２２３］まで引き下げ、コントラストを［５］だけ低くなるように調整設定されることになる。

そして、輝度ヒストグラムの作成・分析対象となったフレームＦ(i)はフレームメモリ１６に格納されているが、それ自体は白トビが発生しているフレーム画像であるため、前記ステップS27で撮像素子１２のシャッタ速度と各信号処理回路１３，１５でのゲイン・ガンマ値が補正制御された後に入力される次フレームＦ(i+1)がフレームＦ(i)を上書きする態様でフレームメモリ１６に格納される（S27→S21）。このフレームＦ(i+1)のフレームデータには前記補正制御によって輝度とコントラストを低下させた処理が施されており、例えば、フレームＦ(i)の画像が図１１であるような場合においても、図９に相当するような画像になっているため、白トビ領域にある顔領域がパターンマッチング等で検出可能な状態の画像データとなる。

フレームメモリ１６に書き込まれたフレームＦ(i+1)について、顔領域検出部１７による顔領域の検出と画質補正部１８による顔領域の画質補正が行われること、その画質補正後のフレームＦ(i+1)をフレーム出力部１９が符号化部２０へ読み出して符号化した後、データ伝送部２１により集中監視室側へ伝送すること、及び補正制御部３２がデジタル信号処理部１５へ補正解除信号を出力して通常のシャッタ速度とゲイン・ガンマ値の設定状態に戻すことは前記(ｃ)の状態の場合と同様である（S27→S21〜S24）。

次に、以上の(ａ)〜(ｄ)の状態でない場合には、必然的に(ｅ)の状態（図７）となるが（S26→S28）、これは典型的なハイコントラスト状態であって、中間輝度範囲での累積画素数の分布が非常に小さく、暗部範囲と明部範囲での累積画素数の分布がそれぞれ(ｃ)，(ｄ)の状態（図５，図６）と同様になっている。具体的なフレーム画像でみると、図１２のように、室内側領域の人物の顔領域は黒つぶれになっており、戸外側領域の人物の顔領域は白トビになっているため、いずれも顔領域の検出が不可能である。

前記の(ｃ)，(ｄ)の状態では撮像素子１２と各信号処理回路１３，１５を補正制御した後の次フレームＦ(i+1)を顔領域の検出が可能なフレームとして得ているが、この(ｅ)の状態においては、次フレームＦ(i+1)と更に次のフレームＦ(i+2)の２回に分けて顔領域の検出が可能なフレームを得るようにしている。

先ず、黒つぶれが発生している領域に対する対処として、ステップS20で行った撮像素子１２と各信号処理回路１３，１５の補正制御を行うことにより、入力されるフレームＦ(i+1)について輝度とコントラストを上昇させて黒つぶれのないフレーム画像とし、顔領域を検出して画質補正を施した後、符号化して伝送する（S29）。即ち、(ｃ)の状態で実行したステップS20からステップS23と同様の手順を実行する。その後、直ちにステップS27で行った撮像素子１２と各信号処理回路１３，１５の補正制御を行うことにより、入力されるフレームＦ(i+2)について輝度とコントラストを低下させて白トビのないフレーム画像とし、前記と同様に顔領域を検出して画質補正を施した後、符号化して伝送する（S30）。即ち、処理対象がフレームＦ(i+2)になるが、(ｄ)の状態で実行したステップS27とステップS21からステップS23と同様の手順を実行する。また、手順が完了した段階で、撮像素子１２のシャッタ速度と各信号処理回路１３，１５におけるゲイン・ガンマ値の補正制御状態を解除して、通常のシャッタ速度とゲイン・ガンマ値の設定状態に戻しておく（S31）。

以上のように、この実施形態の監視カメラ１０では、フレームＦ(i)について作成した輝度ヒストグラムを分析して上記の(ａ)若しくは(ｂ)、又は(ｃ)〜(ｅ)のいずれの状態であるかを判断して、それぞれ異なる処理手順を実行するが、(ａ)又は(ｂ)の状態の場合には、フレームＦ(i)がそのまま顔領域の検出と画質補正の対象となって、符号化・伝送された後に次のフレームＦ(i+1)の処理へ移行し（S14〜S17,S18→S12）、(ｃ)の状態と(ｄ)の状態の場合には、次のフレームＦ(i+1)が顔領域の検出と画質補正の対象となって、符号化・伝送された後に次のフレームＦ(i+2)の処理へ移行し（S19〜S24,S25→S12）,（S26,S27→S21〜S24,S25→S12）、また(ｅ)の状態の場合には、次の２フレーム分Ｆ(i+1),Ｆ(i+2)がそれぞれ顔領域の検出と画質補正の対象となって、符号化・伝送された後に次のフレームＦ(i+3)の処理へ移行する（S28〜S31,S32→S12）。

従って、輝度ヒストグラムの状態によってフレーム出力パターンは異なり、(ａ)又は(ｂ)の状態と(ｃ)又は(ｄ)の状態と(ｅ)の状態とでそれぞれ図１４に示すようになるが、実際には監視カメラ１０での撮影条件は様々に変化するため、時間の経過の中で同図の３つのパターンが混在してゆくことになる。そして、如何なる撮影条件であっても、出力フレームは元の撮像画像内に人物の顔が在れば、その顔領域が確実に検出されて画質補正を施したフレームデータになっていることは上記のとおりである。

本発明は、監視カメラ等のように、撮像した画像フレーム内に人物の顔領域が存在する場合に、その領域の画質を補正して顔領域を明瞭に視認できるようにする機能を備えた撮像装置に適用できる。

本発明の撮像装置の実施形態に係る監視カメラのブロック図である。実施形態に係る監視カメラの動作手順を示すフローチャートである。フレームデータについての輝度ヒストグラムであり、全輝度範囲で各輝度レベルに対応する累積画素数が閾値Ｎthより小さい場合を示す。フレームデータについての輝度ヒストグラムであり、中間輝度範囲の各輝度レベルに対応する累積画素数の内で閾値Ｎth以上のものが有る場合を示す。フレームデータについての輝度ヒストグラムであり、暗部範囲の各輝度レベルに対応する累積画素数の内にのみ閾値Ｎth以上のものが在る場合を示す。フレームデータについての輝度ヒストグラムであり、明部範囲の各輝度レベルに対応する累積画素数の内にのみ閾値Ｎth以上のものが在る場合を示す。フレームデータについての輝度ヒストグラムであり、明部範囲と暗部範囲の双方とも各輝度レベルに対応する累積画素数の内にのみ閾値Ｎth以上のものが在り、中間輝度範囲の各輝度レベルに対応する累積画素数が前記閾値より小さい場合を示す。輝度ヒストグラムが(ａ)［図３］の状態にある場合のフレーム画像の１例である。輝度ヒストグラムが(ｂ)［図４］の状態にある場合のフレーム画像の１例である。輝度ヒストグラムが(ｃ)［図５］の状態にある場合のフレーム画像の１例である。輝度ヒストグラムが(ｄ)［図６］の状態にある場合のフレーム画像の１例である。輝度ヒストグラムが(ｅ)［図７］の状態にある場合のフレーム画像の１例である。撮像素子のシャッタ速度と各信号処理部におけるゲインとガンマ値を補正制御することにより、フレームデータの輝度とコントラストを上昇させた場合における輝度ヒストグラム（Ａ）と、フレームデータの輝度とコントラストを低下させた場合における輝度ヒストグラム（Ｂ）である。輝度ヒストグラムが(ａ)［図３］又は(ｂ)［図４］の状態にある場合、(ｃ)［図５］又は(ｄ)［図６］の状態にある場合、及び(ｅ)［図７］の状態にある場合における、フレーム出力パターンを示す表である。

符号の説明

１０…監視カメラ、１１…対物レンズを含む光学系、１２…撮像素子、１３…アナログ信号処理部、１４…Ａ／Ｄ変換部、１５…デジタル信号処理部、１６…フレームメモリ、１７…顔領域検出部、１８…画質補正部、１９…フレーム出力部、２０…符号化部、２１…データ伝送部、３１…ヒストグラム作成部、３２…補正制御部。

Claims

撮像素子と、前記撮像素子が出力する撮像信号を処理する信号処理手段と、前記信号処理手段で処理されたフレームデータが書き込まれるフレーム記憶手段と、前記フレーム記憶手段に書き込まれたフレームデータを解析し、人物の顔の画像データが含まれている場合にその顔領域の画像データを検出する顔領域検出手段と、前記顔領域検出手段が検出した顔領域の画像データの輝度情報とコントラスト情報との少なくとも一方に基づいて前記顔領域の画質を補正する画質補正手段と、前記画質補正手段により補正処理がなされた前記フレーム記憶手段のフレームデータを出力させるフレーム出力手段とを有する撮像装置において、
前記信号処理手段で処理されたフレームデータの輝度ヒストグラムを作成するヒストグラム作成手段と、
前記輝度ヒストグラムの全輝度範囲を暗部範囲と中間輝度範囲と明部範囲に分割し、全輝度範囲の各輝度レベルに対応する累積画素数が予め設定された閾値より小さい状態を第１状態、前記中間輝度範囲の各輝度レベルに対応する累積画素数の内で前記閾値以上のものが在る状態を第２状態、前記暗部範囲の各輝度レベルに対応する累積画素数の内にのみ前記閾値以上のものが在る状態を第３状態、前記明部範囲の各輝度レベルに対応する累積画素数の内にのみ前記閾値以上のものが在る状態を第４状態、及び前記明部範囲と前記暗部範囲の双方とも各輝度レベルに対応する累積画素数の内に閾値以上のものが在り、且つ前記中間輝度範囲の各輝度レベルに対応する累積画素数が前記閾値より小さい状態を第５状態として、前記輝度ヒストグラムが前記第１状態乃至第５状態の内のいずれの状態にあるかを判定する判定手段と、
前記ヒストグラム作成手段が今回のフレームについて作成した前記輝度ヒストグラムの状態を、前記判定手段が前記第１状態又は前記第２状態であると判定した場合には、前記撮像素子と前記信号処理手段を標準的な輝度とコントラストの画像データが得られる動作状態に設定すると共に、前記フレーム記憶手段の今回のフレームに前記顔領域検出手段と前記画質補正手段による処理を施して前記フレーム出力手段により出力させた後、次のフレームを前記ヒストグラム作成手段による輝度ヒストグラムの作成対象とする手順、
前記判定手段が前記第３状態であると判定した場合には、前記撮像素子と前記信号処理手段を高輝度で高コントラストな画像データが得られる動作状態に、また前記判定手段が前記第４状態であると判定した場合には、前記撮像素子と前記信号処理手段を低輝度で低コントラストな画像データが得られる動作状態に設定すると共に、それぞれの場合とも、前記動作状態の設定後に次のフレームを前記フレーム記憶手段の今回のフレームに上書きして書き込ませ、その上書きしたフレームについて前記顔領域検出手段と前記画質補正手段による処理を施して前記フレーム出力手段により出力させた後、前記撮像素子と前記信号処理手段の状態を標準的な輝度とコントラストの画像データが得られる動作状態に戻して次のフレームを前記ヒストグラム作成手段による輝度ヒストグラムの作成対象とする手順、
前記判定手段が前記第５状態であると判定した場合には、前記判定手段が前記第３状態又は第４状態であると判定した場合におけるいずれか一方の前記手順の内の前記フレーム出力手段によるフレームの出力手順までを実行させた後、他方の前記手順を全て実行させる手順、を実行させる制御手段と
を具備したことを特徴とする撮像装置。