JP2021150947A - 情報処理装置、撮像装置、方法、プログラム及び記憶媒体 - Google Patents
情報処理装置、撮像装置、方法、プログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP2021150947A JP2021150947A JP2020181986A JP2020181986A JP2021150947A JP 2021150947 A JP2021150947 A JP 2021150947A JP 2020181986 A JP2020181986 A JP 2020181986A JP 2020181986 A JP2020181986 A JP 2020181986A JP 2021150947 A JP2021150947 A JP 2021150947A
- Authority
- JP
- Japan
- Prior art keywords
- face
- human body
- region
- detected
- exposure value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 20
- 238000000034 method Methods 0.000 title claims description 74
- 238000003384 imaging method Methods 0.000 title claims description 13
- 238000001514 detection method Methods 0.000 claims abstract description 112
- 210000000746 body region Anatomy 0.000 claims abstract description 32
- 230000008569 process Effects 0.000 claims description 63
- 238000012423 maintenance Methods 0.000 claims description 8
- 230000015654 memory Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 description 29
- 238000004891 communication Methods 0.000 description 18
- 238000012790 confirmation Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 210000000887 face Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
Images
Abstract
【課題】 被写体の検出に適した露出制御をすること。【解決手段】 撮像した画像を取得する取得手段と、前記画像から顔領域を検出する顔検出手段と、前記顔検出手段により顔が検出されなかった場合に、前記画像から人体領域を検出する人体検出手段と、前記顔検出手段により検出した前記顔領域又は前記人体検出手段により検出した前記人体領域の輝度に基づいて目標の露出値を決定する決定手段と、前記決定手段により決定した前記露出値を出力する出力手段と、を有し、前記決定手段は、所定の条件を満たす場合に、新たに、前記顔検出手段により顔領域が検出されるか又は前記人体検出手段により人体領域が検出されるまで前記露出値を維持することを特徴とする情報処理装置。【選択図】 図7
Description
本発明は、情報処理装置、撮像装置、方法、プログラム及び記憶媒体に関する。
従来、撮影された画面の中から被写体の顔領域を検出し、前記顔領域に係る情報に基づいて、撮影画像の画質調整を行う技術が知られている(特許文献1参照)。
本発明が解決しようとする課題は、被写体の検出に適した露出制御をすることである。
本発明は、以下の解決手段によって上記課題を解決する。
本発明の1つの態様による情報処理装置は、撮像した画像を取得する取得手段と、前記画像から顔領域を検出する顔検出手段と、前記顔検出手段により顔が検出されなかった場合に、前記画像から人体領域を検出する人体検出手段と、前記顔検出手段により検出した前記顔領域又は前記人体検出手段により検出した前記人体領域の輝度に基づいて目標の露出値を決定する決定手段と、前記決定手段により決定した前記露出値を出力する出力手段と、を有し、前記決定手段は、所定の条件を満たす場合に、新たに、前記顔検出手段により顔領域が検出されるか又は前記人体検出手段により人体領域が検出されるまで前記露出値を維持することを特徴とする。
以下に、本発明の実施形態を、図面を参照して詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件(使用条件、使用環境等)によって適宜修正又は変更され得る。本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。
なお、後述する図に示す機能ブロックの1つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアによって実現されてもよいし、CPUやMPU等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。したがって、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。ASICは、Application Specific Integrated Circuit(特定用途向け集積回路)の略である。CPUはCentral Processing Unitの略である。MPUはMicro−Processing Unitの略である。
≪第1の実施形態≫
(基本構成)
図1は、本発明の第1の実施形態に係る撮像制御システム100の構成を例示的に説明する図である。
(基本構成)
図1は、本発明の第1の実施形態に係る撮像制御システム100の構成を例示的に説明する図である。
撮像制御システム100は、監視カメラ101と、ネットワーク102と、クライアント装置103と、入力装置104と、表示装置105とを有する。監視カメラ101は、動画像を取得するための撮像装置であり、被写体の撮像および画像処理が可能な装置である。監視カメラ101とクライアント装置103とは、ネットワーク102を介して相互に通信可能な状態で接続されている。クライアント装置103は、入力装置104と表示装置105に通信可能な状態で接続されている。クライアント装置103は、種々の情報を処理する装置(情報処理装置)である。また、クライアント装置103は、監視カメラ101の撮像を制御する撮像制御装置としても機能する。
入力装置104は、マウスやキーボード等から構成され、クライアント装置103のユーザにより操作される。
表示装置105は、クライアント装置103から受信した画像を表示するモニタ等を備える装置である。なお、表示装置105はタッチパネルなどのUI(User Interface)として機能することもできる。この場合、表示装置105は、クライアント装置103へ指示、情報、データ等を入力する入力装置としても機能する。
図1では、クライアント装置103と入力装置104と表示装置105とがそれぞれ独立した装置として描かれているが、本実施形態はこのような構成に限定されない。例えば、クライアント装置103と表示装置105とが、一体化されていてもよいし、入力装置104と表示装置105とが一体化されていてもよい。また、クライアント装置103と入力装置104と表示装置105とが、一体化されていてもよい。クライアント装置103と表示装置105とが一体化される場合、一体化された装置は、例えば、パーソナルコンピュータ、タブレット端末、スマートフォンのような形態をとる。
(監視カメラの構造)
図2は、監視カメラ101の内部構成を例示的に説明するブロック図である。監視カメラ101は、撮像光学系201、撮像素子202、カメラCPU203、ROM204、RAM205、撮像系制御部206、通信制御部207、A/D変換部208、画像処理部209、エンコーダ部210およびネットワークI/F211を有する。監視カメラ101の各部(203〜211)は、システムバス212により相互接続されている。ROMはRead Only Memoryの略である。RAMはRandom Access Memoryの略である。A/DはAnalog/Digitalの略である。I/Fはインターフェースの略である。
図2は、監視カメラ101の内部構成を例示的に説明するブロック図である。監視カメラ101は、撮像光学系201、撮像素子202、カメラCPU203、ROM204、RAM205、撮像系制御部206、通信制御部207、A/D変換部208、画像処理部209、エンコーダ部210およびネットワークI/F211を有する。監視カメラ101の各部(203〜211)は、システムバス212により相互接続されている。ROMはRead Only Memoryの略である。RAMはRandom Access Memoryの略である。A/DはAnalog/Digitalの略である。I/Fはインターフェースの略である。
撮像光学系201はズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッターなどから構成され、被写体の光情報を集光する光学部材群である。撮像光学系201は撮像素子202に接続されている。
撮像素子202は、撮像光学系201で集光される光束を電流値(信号値)へと変換するCMOSやCCDなどの電荷蓄積型の固体撮像素子であって、カラーフィルタなどと組み合わせることで色情報を取得する撮像部である。CMOSはComplementary Metal Oxide Semiconductorの略である。CCDはCharge−Coupled Deviceの略である。撮像素子202はA/D変換部208に接続されている。
カメラCPU203は、監視カメラ101の動作を統括的に制御する制御部である。カメラCPU203は、ROM204やRAM205に格納された命令を読み込み、その結果に従って処理を実行する。
撮像系制御部206は、カメラCPU203からの指示に基づいて、監視カメラ101の各部の制御を行う。例えば、撮像系制御部206は、撮像光学系201に対して、フォーカス制御、シャッター制御、絞り調整などの制御を行う。
通信制御部207は、クライアント装置103との通信によって、クライアント装置103から監視カメラ101の各部への制御命令(制御信号)をカメラCPU203に伝達するための制御を行う。
A/D変換部208は、撮像素子202で検知した被写体の光量をデジタル信号(画像データ)に変換する。A/D変換部208は、当該デジタル信号を画像処理部209に送信する。
画像処理部209は、撮像素子202から受信したデジタル信号の画像データに対して、画像処理を行う。画像処理部209はエンコーダ部210に接続されている。
エンコーダ部210は、画像処理部209で処理された画像データをMotion JpegやH264、H265などのファイルフォーマットに変換する処理を行う。エンコーダ部210はネットワークI/F211に接続されている。
ネットワークI/F211は、クライアント装置103等の外部の装置とのネットワーク102を介した通信に利用されるインターフェースであって、通信制御部207により制御される。
ネットワーク102は、監視カメラ101と、クライアント装置103を接続するIPネットワークである。ネットワーク102は、例えばEthernet(商標)等の通信規格に適合する複数のルータ、スイッチ、ケーブル等から構成される。本実施形態では、ネットワーク102は、監視カメラ101とクライアント装置103との間の通信を行うことができるものであればよく、その通信規格、規模、構成などを問わない。例えば、ネットワーク102は、インターネットや有線LAN(Local Area Network)、無線LAN(Wireless LAN)、WAN(Wide Area Network)等により構成されてもよい。
(クライアント装置の構成)
図3は、クライアント装置103の内部構成を例示的に説明するブロック図である。
図3は、クライアント装置103の内部構成を例示的に説明するブロック図である。
クライアント装置103は、クライアントCPU301、主記憶装置302、補助記憶装置303、入力I/F304、出力I/F305およびネットワークI/F306を有する。クライアント装置103の各要素は、システムバス307を介して、相互に通信可能に接続されている。
クライアントCPU301は、クライアント装置103の動作を統括的に制御する中央演算装置である。なお、クライアントCPU301によって、ネットワーク102を介して監視カメラ101の統括的な制御を実行してもよい。
主記憶装置302は、クライアントCPU301のデータの一時的な記憶場所として機能するRAM等の記憶装置である。例えば、主記憶装置302は、クライアント装置103が顔検出や人体検出を行う際に使用するパターンマッチング用のパターン(顔の特徴部分や人体の特徴部分に対応するパターン)を予め格納している。
補助記憶装置303は、各種プログラム、各種設定データ等を記憶するHDD、ROM、SSD等の記憶装置である。HDDはHard Disk Driveの略である。SSDはSolid State Deviceの略である。
入力I/F304は、クライアント装置103が入力装置104等からの入力(信号)を受取る際に利用されるインターフェースである。
出力I/F305は、クライアント装置103から表示装置105等への情報(信号)を出力する際に利用されるインターフェースである。
ネットワークI/F306は、監視カメラ101等の外部の装置とのネットワーク102を介した通信に利用されるインターフェースである。
クライアントCPU301が、補助記憶装置303に記憶されたプログラムに基づき処理を実行することによって、図4に示すクライアント装置103の機能及び処理が実現される。この詳細については後述する。
(クライアント装置の機能)
図4は、クライアント装置103が実行する機能を例示的に説明する図である。換言すると、図4に図示する各部(機能ブロック)は、クライアントCPU301により実行され得る機能である。
図4は、クライアント装置103が実行する機能を例示的に説明する図である。換言すると、図4に図示する各部(機能ブロック)は、クライアントCPU301により実行され得る機能である。
図4に示すように、クライアント装置103のクライアントCPU301は、入力情報取得部401、通信制御部402、入力画像取得部403、カメラ情報取得部404および検出方法設定部405を含む。またクライアントCPU301は、被写体検出部406、露出決定部407および表示制御部408を含む。なお、クライアント装置103は、クライアントCPU301とは別のハードウェア(またはソフトウェア)により、図4に図示する各部401〜408の機能を実行してもよい。
入力信号取得部401は、入力装置104を介したユーザからの入力を受け付ける。
通信制御部402は、監視カメラ101から送信された画像(監視カメラ101により撮影された画像)を、ネットワーク102を介して受信するための制御を実行する。また、通信制御部402は、クライアント装置103から監視カメラ101への制御命令を、ネットワーク102を介して送信するための制御を実行する。
入力画像取得部403は、通信制御部402を介して監視カメラ101から受信した画像を、被写体の検出処理の対象である画像(被写体検出処理を適用する画像)として取得する。検出処理の詳細については後述する。
カメラ情報取得部404は、通信制御部402を介して、監視カメラ101により被写体を撮像する際のカメラ情報(撮像情報)を取得する。カメラ情報(撮像情報)は、被写体を撮像して画像を取得する際の種々の情報である。カメラ情報は、例えば、絞り値などの露出パラメータである。
検出方法設定部405は、入力画像取得部403により取得された画像に対して、顔領域の検出(顔検出)や人体領域の検出(人体検出)を含む様々な検出方法の中から、所定の(適切な)検出方法を設定する。顔検出を行う場合、後述する被写体検出部406は、画像における顔領域を優先して検出する。人体検出を行う場合、被写体検出部406は、画像における人体領域を優先して検出する。
本実施形態では、検出方法設定部405は、顔検出の検出方法または人体検出の検出方法を設定(選択)するとする。なお、本実施形態はこのような設定に限定されない。例えば、人物の上半身、頭部、顏の目、鼻、口などの一部領域などの人物の一部分の特徴領域を検出する検出方法を設定してもよい(選択できるようにしてもよい)。
また、本実施形態では、検出対象の被写体は人物であるが、人物以外の所定の被写体に係る特定領域を検出可能な構成であってもよい。例えば、動物の顔や自動車など、クライアント装置103において予め設定された所定の被写体を検出可能な構成にしてもよい。
露出決定部407は、被写体検出部406から得られる被写体領域の画像情報に基づき、露出値を決定し、通信制御部402より、監視カメラ101に前述の露出値を送信(出力)し、制御部207を介し露出制御(露出調整)が実行される。カメラ情報取得部404、検出方法設定部405、被写体検出部406、露出決定部407に関連する詳細な処理フローについては、図5のフローチャートを参照して後述する。
表示制御部408は、CPU301からの指示に従い、露出決定部407で決定された露出補正が反映された撮像画像を表示装置105へ出力する。
(被写体の検出処理・露出決定処理)
以下、図5に示すフローチャートを参照して、本実施形態に係る露出制御処理について説明する。
以下、図5に示すフローチャートを参照して、本実施形態に係る露出制御処理について説明する。
なお、図1の撮像制御システム100において、監視カメラ101、クライアント装置103、入力装置104および表示装置105の電源がオンされ、監視カメラ101とクライアント装置103の接続(通信)が確立しているとする。
また、この状態で、監視カメラ101による所定の更新周期で被写体の撮像、監視カメラ101からクライアント装置103への画像データの送信、表示装置105での画像表示が繰り返されているものとする。
そして、ネットワーク102を介して監視カメラ101からクライアント装置103に被写体の撮像画像が入力されたことに応じて、図5のフローチャートの処理がクライアントCPU301により開始されるものとする。
まず、ステップS501において、検出手段設定部405は、被写体検出部406に顔の検出を設定し、被写体検出部406は、入力画像に対して、顔検出処理を行う。クライアント装置103の主記憶装置302には、顏の特徴部分や人体の特徴部分に対応するそれぞれのパターンが予め格納されており、被写体検出部406は、当該パターンに基づくパターンマッチングにより顔領域を検出する。
次に、ステップS502において、被写体検出部406は、ステップS501で実行される顔検出処理において、画像内に顔領域が検出されているかを判定する。顔領域が検出されていない場合はステップS503に進み、少なくとも1つ以上の顔領域が検出されている場合はステップS505に進む。
ステップS503では、検出手段設定部405は、被写体検出部406に人体の検出を設定し、被写体検出部406は、入力画像に対して、人体検出処理を行う。
顔検出は、顏の向き、顏の大きさ、顏の明るさなどが顔検出に適した条件でない場合、顔領域を正確に検出することはできないのに対して、人体検出は、顏の向き、顏の大きさ、顏の明るさなどによらず人物が存在する領域を検出することができる。
なお、本発明における人体検出は、必ずしも全身を検出する必要はなく、上半身やバストアップ、顔を含む頭部領域でもよい。図7は、顔領域と人体領域との検出例である。
また、被写体の検出方法としてパターンマッチング法を採用する場合、パターンマッチングで使用するパターンとして、統計学習を使って作成されたパターン(識別器)を用いてもよい。あるいは、パターンマッチング以外の方法で被写体検出を行ってもよい。例えば、局所領域内の輝度勾配を用いて被写体検出を行ってもよい。すなわち、被写体の検出方法は特定の検出方法に限定されるものではなく、機械学習をベースにした検出や、距離情報に基づく検出など、種々の方法を採用できる。
ステップS504では、被写体検出部406は、ステップS503で実行される人体検出処理において、画像内に人体領域が検出されているかを判定する。人体領域が検出されていない場合は本処理を終了し、検出されている場合はステップS506に進む。
ステップS505では、露出決定部407は、続くステップS507で用いる注目領域をステップS501で検出された顔領域に設定する。
ステップS506では、露出決定部407は、続くステップS507で用いる注目領域をステップS503で検出された人体領域に設定する。
ステップS507において、露出決定部407は、ステップS505またはステップS506で設定された注目領域の平均輝度値を算出する。具体的には、露出決定部407は、ステップS505またはステップS506で設定した注目領域の数(検出された顔または人体の数)、注目領域の位置、注目領域のサイズに関する情報を下記の式(1)に適用する。
ここで、I(x、y)は画像内における水平方向(x軸方向)と垂直方向(y軸方向)の2次元座標位置(x、y)の輝度値を表す。また、fは注目領域の数を表し、(v、h)は注目領域の中心座標を表し、kは水平方向の注目領域のサイズを表し、lは垂直方向の注目領域の検出サイズを表す。
ステップS508において、露出決定部407は、ステップS507で算出された平均輝度値に基づいて、露出目標としての露出値EVcorrectionを決定する。まず、露出決定部407は、式(2)のように、ステップS507にて算出した注目領域の平均輝度値Iobjectと、注目領域の目標輝度値Iobject targetとの差分値を算出する。なお、注目領域の目標輝度値Iobject targetは、例えば、ユーザにより任意に設定させてもよいし、顔認証時の認証精度と照らし合わせて、精度が高くなるような値に設定してもよい。
次に、露出決定部407は、式(3)のように露出値EVcorrectionを決定する。なお、EVcurrentは、被写体輝度値(BV値)に基づくAPEX換算のEV値であって、クライアント装置103に予め格納された、露出制御に係るプログラム線図に基づいて設定される。
ここで、パラメータβは、現在の露出値EVcurrentを中心とし、露出のアンダー側あるいは露出のオーバー側に露出を補正する際の補正度合(速度)に影響を与える係数である。パラメータβの値を大きく設定することで、露出目標値に達するまでに係る処理速度(または時間)は高速になるが、検出結果に誤判定が生じた場合や、被写体の検出が安定しない場合に、画面全体の明るさが急峻に変動する。一方、パラメータβの値を小さく設定すると、露出が目標に到達するまでに係る処理速度(または時間)は遅くなるが、誤検出や撮影条件にロバストになる。このパラメータβは、差分ΔDiffが、設定された閾値Th以上であった場合に、現在の露出値EVcurrentに対する露出の補正値として設定される。
ステップS509では、カメラ情報取得部404は、カメラから現在の露出値の情報を取得する。
ステップS510では、露出決定部407は、通信制御部402を介して監視カメラ101と通信を行い、ステップS508にて算出した露出値を監視カメラ101に設定する。
ステップS511では、被写体検出部406は、ステップS501と同様に顔検出を行う。
ステップS512では、被写体検出部406は、ステップS511で実行される顔検出処理において、画像内に顔領域が検出されているかを判定する。顔領域が検出されている場合はステップS513に進み、顔領域が検出されていない場合はステップS514に進む。
ステップS513では、露出決定部407は、通信制御部402を介して監視カメラ101と通信を行い、ステップS510で設定した露出値を維持(固定)するように監視カメラ101に設定し、本処理を終了する。具体的には、再度、顔又は人体が検出されて新たに露出目標値が設定されるまで維持される。
ステップS514では、露出決定部407は、通信制御部402を介して監視カメラ101と通信を行い、露出目標をステップS509にて取得した露出値(露出設定値)に戻し、本処理を終了する。すなわち、ステップS510で設定した露出値は破棄される。その後は、画像全体の輝度値に基づいて、露出目標を逐次更新して露出制御が行われる。なお、輝度値は必ずしも画像全体のものである必要はなく、画像内に予め設定した一以上の領域(所定の領域)の輝度値を用いることができる。上説明したように、本実施形態の撮像制御システム100では、顔領域または人体領域に基づいて露出制御を行い、その結果顔が検出できた場合には、その露出値が維持される。このように露出値を維持することで、顔の検出に適した露出に維持することができる。例えば、ガラス扉を採用した店舗入口やスタジアムゲートなど、強い逆光状態となる場合でも、顔検出に適切な露出値の維持が可能となる。よって、来店者や来場者被写体(人物)の顔を素早くとらえることができる。
また、本実施形態では、顔領域または人体領域に基づいて露出制御を行い、その結果顔が検出できなかった場合には、元の露出値に戻すようにしている。そのため、顔または人体の誤検出などにより適切な露出制御が行われなかった場合においても、その露出値が維持されることはない。
≪第2の実施形態≫
以下に、図6から図7を参照して、本発明の第2の実施形態を説明する。本実施形態では、第1の実施形態において、人体領域に基づいて露出制御をした場合に、顔領域に基づいて再度露出制御をすることで、より顔の認識に適した露出制御を行う方法を説明する。なお、第1の実施形態と同様の構成および処理については、同一の符号を付し、詳細な説明を省略する。
以下に、図6から図7を参照して、本発明の第2の実施形態を説明する。本実施形態では、第1の実施形態において、人体領域に基づいて露出制御をした場合に、顔領域に基づいて再度露出制御をすることで、より顔の認識に適した露出制御を行う方法を説明する。なお、第1の実施形態と同様の構成および処理については、同一の符号を付し、詳細な説明を省略する。
図6は、本実施形態のフローチャートである。以下、図6に図示するフローチャートを参照して、本実施形態に係る露出制御処理について説明する。なお、処理の開始タイミングについては第1の実施形態と同様なので説明は省略する。また、S501〜S514の処理は第1の実施形態と同様なので、説明を省略する。
ステップS601では、露出決定部407は、人体を検出したことを示す人体検出フラグをOFFに設定する。この処理は、ステップS502で顔の検出が判定された場合に行われる。続くステップS505以降は、第1の実施形態で説明したように、顔領域に基づいて露出制御が行われる。
ステップS602では、露出決定部407は、人体を検出したことを示す人体検出フラグをONに設定する。この処理は、ステップS504で人体の検出が判定された場合に行われる。続くステップS506以降は、第1の実施形態で説明したように、人体領域に基づいて露出制御が行われる。
ステップS603では、露出決定部407は、人体検出フラグがOFFかどうかを判定する。OFFであった場合にはステップS513に進み、そうでない場合(人体検出フラグON)にはステップS601に進む。すなわち、顔領域に基づいて露出制御が行われた場合は人体検出フラグがOFFであるので、ステップS513に進み露出制御(露出値)を維持して処理を終了する。一方で、人体領域に基づいて露出制御が行われた場合は人体検出フラグがONであるので、ステップS601に戻り、顔領域に基づいた露出制御が行われる。この場合、ステップS505では、ステップS511で検出された顔領域を注目領域に設定する。
図7に示すように、人体領域は、衣服など顔以外の領域が含まれる場合がある。そのため、第1の実施形態のように、人体領域に基づいた露出値を維持する場合、処理がシンプルで応答性に優れるというメリットがある一方、必ずしも顔領域に適した露出とならない場合がある。
第2の実施形態によれば、人体領域に基づいて露出制御を行い、その結果顔が検出できた場合、顔領域に基づいて再度露出制御が行われる。本実施形態のような処理を行うことにより、顔領域に適した露出が設定されるため、より顔の認識に適した露出を維持することができる。
≪第3の実施形態≫
以下に、図8を参照して、本発明の第3の実施形態を説明する。これまでに説明したように、第1の実施形態及び第2の実施形態では、顔の検出に適した露出値を維持することができる。しかしながら、例えば来店者が少ない店舗などで長時間、顔や人体が検出されず、時間や天候、照明の変化により店舗内外の明るさが変わった場合、維持している露出値が顔の検出に適したものとはならない場合がある。特に、逆光状態と順光状態とが入れ替わるような大きな明るさ変化があった場合、露出値を維持したままであると、顔や人体が大きく白飛び或いは黒つぶれしてしまい、検出精度が大きく低下するおそれがある。
以下に、図8を参照して、本発明の第3の実施形態を説明する。これまでに説明したように、第1の実施形態及び第2の実施形態では、顔の検出に適した露出値を維持することができる。しかしながら、例えば来店者が少ない店舗などで長時間、顔や人体が検出されず、時間や天候、照明の変化により店舗内外の明るさが変わった場合、維持している露出値が顔の検出に適したものとはならない場合がある。特に、逆光状態と順光状態とが入れ替わるような大きな明るさ変化があった場合、露出値を維持したままであると、顔や人体が大きく白飛び或いは黒つぶれしてしまい、検出精度が大きく低下するおそれがある。
そこで、本実施形態では、撮影環境の明るさ変化に応じて、露出値の維持を解除する方法を説明する。なお、第1の実施形態〜2と同様の構成および処理については、同一の符号を付し、詳細な説明を省略する。
図8は、本実施形態のフローチャートである。以下、図8に図示するフローチャートを参照して、本実施形態に係る露出制御処理について説明する。なお、処理の開始タイミングについては第1の実施形態と同様なので説明は省略する。また、S501〜S514の処理は第1の実施形態と同様なので、説明を省略する。
ステップS801では、露出決定部407は、露出制御の維持を行ったことを示す露出維持フラグをONに設定する。なお、露出維持フラグは静的変数であり、次回の露出制御処理にも内容が持ち越されるものである。
ステップS802では、露出決定部407は、画面全体の平均輝度値を算出する。本処理は、ステップS502およびステップS504がいずれもNoと判定された場合に実行される。すなわち、顔も人体も検出されず、被写体の人物がいないときの画面全体の平均輝度値が算出される。
ステップS803では、露出決定部407は、露出維持フラグがONかどうかを判定する。ONであった場合にはステップS804に進み、そうでない場合にはステップS806に進む。
ステップS804では、露出決定部407は、ステップS802で算出された画面全体の平均輝度値を基準輝度値(基準値)として保存する。なお、基準輝度値は静的変数であり、次回の露出制御処理にも内容が持ち越されるものである。
ステップS805では、露出決定部407は、露出維持フラグをOFFに設定し、本処理を終了する。
一方、ステップS806では、露出決定部407は、ステップS802で算出した画面全体の平均輝度値と、ステップS804で保存された基準輝度値との差分値を算出する。なお、本実施形態において、ステップS804が一度も実行されていない場合は、差分値は0とする。
ステップS807では、露出決定部407は、ステップS806で算出した差分値があらかじめ設定された閾値以上かどうかを判定する。そうであればステップS808に進み、そうでなければ、本処理を終了する。閾値は、例えば、あらかじめ様々な顔や人体の明るさのパターンを、露出設定や照明を変えるなどして監視カメラ101で撮影し、被写体検出部406により検出が可能な平均輝度値の範囲に基づいて設定するとよい。
ステップS808では、露出決定部407は、通信制御部402を介して監視カメラ101と通信を行い、監視カメラ101の露出値を監視カメラ101が持つ規定値にリセットし、本処理を終了する。露出値のリセットは、例えば、式(3)におけるEVcorrectionを0に設定するようにしてもよい。
以上説明したように、第3の実施形態によれば、撮影環境の明るさ変化に応じて、露出値の維持が解除される。本実施形態のような処理を行うことにより、撮影環境に大きな明るさ変化があった場合でも、露出値がリセットされるので、顔または人体の検出精度の低下を抑えることができる。
なお、本実施形態では、説明を簡単化するために第1の実施形態に基づいた例を示したが、第2の実施形態と組み合わせることもできる。その場合、第2の実施形態におけるステップS513の後にステップS801を実行し、ステップS504でNoと判定された場合にステップS802〜ステップS808を実行すればよい。
また、本実施形態では、画面全体の平均輝度値を用いる方法を示したが、必ずしもそうである必要はない。例えば、顔や人体が検出された領域に重みづけを行った重みづけ平均輝度値や、顔や人体が検出された近傍領域の平均輝度値を用いてもよい。
≪第4の実施形態≫
上述の実施形態では、露出制御後に顔が検出された場合に露出値を維持する例を説明した。しかしながら、カメラの画角(撮影範囲)や被写体の移動速度等の条件によっては、顔検出処理が行われる前に被写体が画角(撮影範囲)から外れてしまう可能性がある。その場合、注目領域(顔/人体)の輝度に基づいて行った露出制御の露出値が維持されない。
上述の実施形態では、露出制御後に顔が検出された場合に露出値を維持する例を説明した。しかしながら、カメラの画角(撮影範囲)や被写体の移動速度等の条件によっては、顔検出処理が行われる前に被写体が画角(撮影範囲)から外れてしまう可能性がある。その場合、注目領域(顔/人体)の輝度に基づいて行った露出制御の露出値が維持されない。
本実施形態では、顔確認処理が有効でない(無効である)場合には、顔検出の有無によらず露出値を維持する。なお、上述の実施形態と同様の構成および処理については、同一の符号を付し、詳細な説明を省略する。
図9は、本実施形態のフローチャートである。以下、図9に図示するフローチャートを参照して、本実施形態に係る露出制御処理について説明する。なお、処理の開始タイミングについては実施形態1と同様なので説明は省略する。また、S501〜S514の処理は実施形態1と同様なので、説明を省略する。
ステップS901では、露出決定部407は、顔確認処理が有効か否かを判定する。ここで、顔確認処理とは、ステップS510の露出制御後の画像に対する顔検出処理のことである。顔確認処理が有効であればステップS511に進み、顔確認処理(S511−512)を行う。一方、顔確認処理が有効でなければ、ステップS513に進み、露出値の維持(露出の固定)を行う。つまり、所定の条件を満たす場合に露出値が維持される。ここで、所定の条件とは、顔確認処理が無効の場合(ステップS901でNO)、又は、顔確認処理が有効で且つ顔領域が検出された場合(ステップS512でYES)である。
なお、顔確認処理は、カメラの設置状況や画角(撮影範囲)、被写体速度等の条件により、顔確認処理が完了する前に被写体が画角(撮影範囲)から外れてしまう場合に無効に設定し、そうでない場合は有効に設定するとよい。
なお、顔確認処理は、ステップS512における顔検出の有無の割合によって、自動的に設定することもできる。例えば、顔検出有の割合が少ない場合、被写体が画角から外れやすい環境と判断し、顔確認処理を有効にする。そうでない場合には、顔確認処理を無効にする。
ステップ513で固定された露出は、新たに顔又は人体が検出されるまで維持される。すなわち、固定された露出は、新たに顔又は人体を検出した場合に解除される。なお、露出の固定(維持)を開始してから所定時間が経過した後に、露出の固定を解除するようにしてもよい。露出固定の解除後は、撮像した画像の所定の領域(例えば、画像全体や画像の中央付近の領域)の輝度に基づいて露出値を算出し、露出制御を行う。
≪その他の実施形態≫
上記の実施形態では、顔又は人体を検出する例を説明したが、これに限定されない。検出する対象は特定の物体であればよく、例えば、自動車とそのナンバープレートであってもよい。
上記の実施形態では、顔又は人体を検出する例を説明したが、これに限定されない。検出する対象は特定の物体であればよく、例えば、自動車とそのナンバープレートであってもよい。
また、上述の実施形態では、ネットワーク102を介してクライアント装置103により監視カメラ101の露出制御を行う例を説明したが、監視カメラ101自体で露出制御を行うようにしてもよい。
また、本発明における制御の一部または全部を上述した実施形態の機能を実現するプログラム(ソフトウェア)をネットワーク又は各種記憶媒体を介して撮像装置や情報処理装置に供給するようにしてもよい。そしてその撮像装置や情報処理装置におけるコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。
また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
101 監視カメラ
103 クライアント装置
104 入力装置
105 表示装置
103 クライアント装置
104 入力装置
105 表示装置
Claims (15)
- 撮像した画像を取得する取得手段と、
前記画像から顔領域を検出する顔検出手段と、
前記顔検出手段により顔が検出されなかった場合に、前記画像から人体領域を検出する人体検出手段と、
前記顔検出手段により検出した前記顔領域又は前記人体検出手段により検出した前記人体領域の輝度に基づいて目標の露出値を決定する決定手段と、
前記決定手段により決定した前記露出値を出力する出力手段と、
を有し、
前記決定手段は、所定の条件を満たす場合に、新たに、前記顔検出手段により顔領域が検出されるか又は前記人体検出手段により人体領域が検出されるまで前記露出値を維持することを特徴とする情報処理装置。 - 前記所定の条件は、前記決定手段により決定した前記露出値で撮像した画像から前記顔検出手段により顔領域を検出する処理が無効にされていることであることを特徴とする請求項1に記載の情報処理装置。
- 前記所定の条件は、前記決定手段により決定した前記露出値で撮像した画像から前記顔検出手段により顔領域を検出する処理が有効にされており、且つ、前記決定手段により決定した前記露出値で撮像した画像から前記顔検出手段により顔領域が検出されたことであることを特徴とする請求項1に記載の情報処理装置。
- 前記所定の条件は、前記決定手段により決定した前記露出値で撮像した画像から前記顔検出手段により顔領域を検出したことであることを特徴とする請求項1に記載の情報処理装置。
- 前記決定手段は、前記所定の条件を満たさない場合に、前記露出値を破棄し、撮像した画像の所定の領域の輝度に基づいて新たに露出値を決定することを特徴とする請求項1から4のいずれか一項に記載の情報処理装置。
- 前記決定手段は、前記露出値を維持を開始した後、顔領域と人体領域のいずれも検出されない状態が所定時間が経過した場合は、前記露出値の維持を解除し、撮像した画像の所定の領域の輝度に基づいて新たに露出値を決定することを特徴とする請求項1から5のいずれか一項に記載の情報処理装置。
- 前記決定手段が前記露出値の維持を開始した後、前記顔検出手段又は前記人体検出手段により顔領域と人体領域のいずれも検出されない場合に、画像の所定の領域の平均輝度を基準値として記憶する記憶手段と、
前記記憶手段が前記基準値を記憶した後に、再度、前記顔検出手段又は前記人体検出手段により顔領域と人体領域のいずれも検出されない場合に、現在の前記所定の領域の平均輝度と前記基準値との差分値を算出する算出手段と、
をさらに有し、
前記決定手段は、前記算出手段により算出した差分値が閾値以上の場合に、前記露出値の維持を解除し、撮像した画像の所定の領域の輝度に基づいて新たに露出値を決定することを特徴とする請求項1から6のいずれか一項に記載の情報処理装置。 - 前記所定の領域は、撮像した画像全体の領域であることを特徴とする請求項5から7のいずれか一項に記載の情報処理装置。
- 前記所定の領域は、撮像した画像の中央付近の領域であることを特徴とする請求項5から7のいずれか一項に記載の情報処理装置。
- 前記決定手段は、前記顔検出手段により検出した前記顔領域又は前記人体検出手段により検出した前記人体領域の輝度と目標輝度との差分が所定の範囲内に収まるように現在の露出値を補正することにより前記目標の露出値を決定することを特徴とする請求項1から9のいずれか一項に記載の情報処理装置。
- 前記人体領域は、全身、上半身、バストアップ、顔を含む頭部領域のいずれかであることを特徴とする請求項1から10のいずれか一項に記載の情報処理装置。
- 請求項1から11のいずれか一項に記載の情報処理装置を備えた撮像装置。
- 撮像した画像を取得する取得ステップと、
前記画像から顔領域を検出する顔検出ステップと、
前記顔検出ステップにより顔が検出されなかった場合に、前記画像から人体領域を検出する人体検出ステップと、
前記顔検出ステップにより検出した前記顔領域又は前記人体検出ステップにより検出した前記人体領域の輝度に基づいて目標の露出値を決定する決定ステップと、
前記決定ステップにより決定した前記露出値を出力する出力ステップと、
を有し、
前記決定ステップは、所定の条件を満たす場合に、新たに、前記顔検出ステップにより顔領域が検出されるか又は前記人体検出ステップにより人体領域が検出されるまで前記露出値を維持することを特徴とする方法。 - コンピュータに方法を実行させるためのプログラムであって、前記方法は、
撮像した画像を取得する取得ステップと、
前記画像から顔領域を検出する顔検出ステップと、
前記顔検出ステップにより顔が検出されなかった場合に、前記画像から人体領域を検出する人体検出ステップと、
前記顔検出ステップにより検出した前記顔領域又は前記人体検出ステップにより検出した前記人体領域の輝度に基づいて目標の露出値を決定する決定ステップと、
前記決定ステップにより決定した前記露出値を出力する出力ステップと、
を有し、
前記決定ステップは、所定の条件を満たす場合に、新たに、前記顔検出ステップにより顔領域が検出されるか又は前記人体検出ステップにより人体領域が検出されるまで前記露出値を維持することを特徴とするプログラム。 - 請求項14に記載のプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP21161096.9A EP3883236A1 (en) | 2020-03-16 | 2021-03-05 | Information processing apparatus, imaging apparatus, method, and storage medium |
US17/200,182 US11575841B2 (en) | 2020-03-16 | 2021-03-12 | Information processing apparatus, imaging apparatus, method, and storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020045744 | 2020-03-16 | ||
JP2020045744 | 2020-03-16 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021150947A true JP2021150947A (ja) | 2021-09-27 |
Family
ID=77849648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020181986A Pending JP2021150947A (ja) | 2020-03-16 | 2020-10-30 | 情報処理装置、撮像装置、方法、プログラム及び記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021150947A (ja) |
-
2020
- 2020-10-30 JP JP2020181986A patent/JP2021150947A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111107276B (zh) | 信息处理设备及其控制方法、存储介质以及摄像系统 | |
CN109698905B (zh) | 控制设备、摄像设备、控制方法和计算机可读存储介质 | |
JP2016100696A (ja) | 画像処理装置、画像処理方法、及び画像処理システム | |
CN111246080B (zh) | 控制设备、控制方法、摄像设备以及存储介质 | |
US11895403B2 (en) | Imaging support device that performs registration control for setting a detected subject image position, imaging support system, imaging system, imaging support method, and program | |
JP7371076B2 (ja) | 情報処理装置、情報処理システム、情報処理方法及びプログラム | |
JP2018191178A (ja) | 画像処理装置、画像処理方法およびプログラム | |
US11575841B2 (en) | Information processing apparatus, imaging apparatus, method, and storage medium | |
JP2021150947A (ja) | 情報処理装置、撮像装置、方法、プログラム及び記憶媒体 | |
JP2021136671A (ja) | 情報処理装置、撮像装置、方法、プログラム及び記憶媒体 | |
WO2022097559A1 (ja) | 情報処理装置、撮像装置、プログラム、記憶媒体及び方法 | |
JP2022045567A (ja) | 撮像制御装置、撮像制御方法、及びプログラム | |
JP6584103B2 (ja) | 撮像装置 | |
JP7423196B2 (ja) | 撮像装置、撮像システム、およびその制御方法 | |
JP7353864B2 (ja) | 情報処理装置、情報処理装置の制御方法およびプログラム、撮像システム | |
JP2022045532A (ja) | 撮像制御装置、撮像制御方法、及びプログラム | |
JP2022045757A (ja) | 撮像制御装置およびその制御方法 | |
JP2022043633A (ja) | 情報処理装置、方法、プログラム及び記憶媒体 | |
CN115334232A (zh) | 控制摄像装置的控制装置、控制方法和存储介质 | |
JP2023047757A (ja) | 情報処理装置、撮像装置、方法及び記憶媒体 | |
JP2024037402A (ja) | 撮像制御装置および撮像制御方法 | |
JP2024010644A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2024012828A (ja) | 撮像装置およびその制御方法 | |
JP2023110779A (ja) | 撮像装置、情報処理装置、制御方法、プログラムおよび記憶媒体 | |
JP2023026185A (ja) | 撮像装置、制御方法、プログラム及び記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231027 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |