JP2014220762A

JP2014220762A - 撮像装置

Info

Publication number: JP2014220762A
Application number: JP2013100524A
Authority: JP
Inventors: 山中　睦裕; Mutsuhiro Yamanaka; 睦裕山中
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2013-05-10
Filing date: 2013-05-10
Publication date: 2014-11-20

Abstract

【課題】撮像領域の明るさが変化した場合に画像の輝度値を調整する処理が画像処理に与える影響を低減した撮像装置を提供する。【解決手段】撮像部１１は、所定のフレームレートで撮像範囲の画像を撮像する。増幅部１２は、撮像部１１から出力される画像データの輝度値を画素毎に増幅して外部に出力する。露光調整部１３は、撮像部１１の露光条件を調整する。制御部１４は、画像データの複数画素の輝度値を統計処理して求めた輝度評価値が所定の目標値に一致するように、増幅部１２の増幅率及び露光調整部１３の露光条件を調整する。増幅部１２から出力される画像データを画像処理することができる輝度範囲に輝度評価値が収まっている場合、制御部１４は、輝度値を調整する処理によって生じる輝度評価値の変化率が所定の基準値以下となるように、露光条件及び増幅率の調整量を制限する。【選択図】図１

Description

本発明は、撮像装置に関するものである。

従来、制御領域の画像を撮像する画像センサと、画像センサで撮像された画像情報から制御領域に存在する人の位置を特定する演算部と、演算部の演算結果に基づいて光源の点灯を制御する制御部とを備えた照明システムが提案されている（例えば特許文献１参照）。演算部は、画像センサで撮像された画像のフレーム間差分を求めることによって、フレーム間で輝度値が変化した画素を求めており、処理すべき対象、すなわち人のいる位置を求めている。

特開２０１１−１０８４１７号公報

一般に使用される画像センサは、その画像を人が見るために使用されるので、何らかの原因で被写体の輝度が変化すると、被写体の輝度を所定の輝度範囲に一致させるように露光量を自動的に調整する露光調整が速やかに行われる。

上述の照明システムでは、画像センサで撮像された画像のフレーム間差分を求めることで人の位置を特定しているため、露光調整によってフレーム間で露光量が変化すると、フレーム間で各画素の輝度値が変化し、人の検出が正しく行えない可能性があった。

本発明は上記課題に鑑みて為されたものであり、その目的とするところは、撮像領域の明るさが変化した場合に画像の輝度値を調整する処理が画像処理に与える影響を低減した撮像装置を提供することにある。

本発明の撮像装置は、所定のフレームレート（Frame Rate）で撮像範囲の画像を撮像する撮像部と、前記撮像部の露光条件を調整する露光調整部と、前記撮像部から出力される画像データの輝度値を画素毎に増幅して外部に出力する増幅部と、前記画像データの複数画素の輝度値を統計処理して求めた輝度評価値が所定の目標値に一致するように、前記露光調整部の露光条件及び前記増幅部の増幅率のうち少なくとも何れか一方を調整する制御部とを備え、前記増幅部から出力される画像データを画像処理することができる輝度範囲に前記輝度評価値が収まっている場合は前記露光条件及び前記増幅率のうち少なくとも何れか一方を調整することによって生じる前記輝度評価値の変化率が所定の基準値以下となるように調整量を制限し、且つ、前記輝度評価値が前記輝度範囲外である場合は調整量の制限を行わないように前記制御部が構成されたことを特徴とする。

この撮像装置において、前記輝度評価値が前記輝度範囲を下回っている場合は、前記輝度評価値が前記輝度範囲に収まっている場合に比べて前記目標値を大きくするように、前記制御部が構成されることも好ましい。

この撮像装置において、前記輝度範囲よりも低い所定の閾値を前記輝度評価値が下回っている場合は、前記輝度評価値が前記閾値以上となる場合に比べて前記目標値を大きくするように、前記制御部が構成されることも好ましい。

この撮像装置において、前記輝度評価値が前記輝度範囲を下回っている場合は、前記輝度評価値が前記輝度範囲に収まっている場合に比べて前記フレームレートを高くするように、前記制御部が構成されることも好ましい。

この撮像装置において、前記輝度範囲よりも低い所定の閾値を前記輝度評価値が下回っている場合は、前記輝度評価値が前記閾値以上となる場合に比べて前記フレームレートを高くするように、前記制御部が構成されることも好ましい。

この撮像装置において、前記輝度評価値が前記輝度範囲を上回っている場合は、前記輝度評価値が前記輝度範囲に収まっている場合に比べて前記目標値を小さくするように、前記制御部が構成されることも好ましい。

この撮像装置において、前記輝度範囲よりも高い所定の閾値を前記輝度評価値が上回っている場合は、前記輝度評価値が前記閾値以下となる場合に比べて前記目標値を小さくするように、前記制御部が構成されることも好ましい。

この撮像装置において、前記輝度評価値が前記輝度範囲を上回っている場合は、前記輝度評価値が前記輝度範囲に収まっている場合に比べて、前記フレームレートを高くするように前記制御部が構成されることも好ましい。

この撮像装置において、前記輝度範囲よりも高い所定の閾値を前記輝度評価値が上回っている場合は、前記輝度評価値が前記閾値以下となる場合に比べて、前記フレームレートを高くするように前記制御部が構成されることも好ましい。

この撮像装置において、前記輝度範囲よりも低い所定の第１閾値を前記輝度評価値が下回っている場合は、前記輝度評価値が前記第１閾値以上となる場合に比べて、前記目標値を大きくし且つ前記フレームレートを高くするように前記制御部が構成され、前記輝度範囲よりも高い所定の第２閾値を前記輝度評価値が上回っている場合は、前記輝度評価値が前記第２閾値以下となる場合に比べて、前記目標値を小さくし且つ前記フレームレートを高くするように前記制御部が構成されることも好ましい。

本発明によれば、画像データを画像処理することができる輝度範囲に輝度評価値が収まっている場合、露光条件及び増幅率の調整処理によって発生する輝度評価値の変化率が所定の基準値以下となるように、制御部が露光条件及び増幅率の調整量を制限している。したがって、画像の輝度値を調整するための処理が画像処理に与える影響を低減することができる。

本実施形態の撮像装置を用いた照明制御システムのブロック図である。同上のフローチャートである。（ａ）（ｂ）は同上の調整動作を説明する図である。同上の調整動作を説明する図である。（ａ）（ｂ）は同上の調整動作を説明する図である。（ａ）（ｂ）は同上の調整動作を説明する図である。

本発明に係る撮像装置及びそれを用いた動体検知装置並びに負荷制御システムの実施形態を図面に基づいて説明する。

撮像装置１は、予め設定された撮像領域の画像を撮像するものである。この撮像装置１は、図１に示すように、撮像部１１と、増幅部１２と、露光調整部１３と、制御部１４とを備える。

撮像部１１は、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサのような固体撮像素子、撮像領域からの光を固体撮像素子に集光させるレンズ、固体撮像素子のアナログの出力信号をディジタルの画像信号（画像データ）に変換するＡ／Ｄ変換器などを備える。撮像部１１は、後述する照明器具４の照明範囲を所定のフレームレート（Frame Rate）で撮像し、この照明範囲の画像データを増幅部１２に随時出力する。なお、撮像部１１から出力される画像データは、各画素の明るさを白黒の濃淡（例えば２５６階調）で表現した白黒濃淡画像の画像データからなる。

増幅部１２は、撮像部１１から出力される画像データの輝度値を画素毎に増幅して外部（本実施形態では物体検知装置２）に出力する。

露光調整部１３は、撮像部１１の露光時間を変化させることによって露光条件を調整する。なお、撮像部１１がＦ値（絞り）を調整可能な絞り機構を備えている場合、露光調整部１３は、絞り機構を制御してＦ値を変化させることで露光条件を制御してもよく、露光時間とＦ値の両方を変化させることで露光条件を制御してもよい。

制御部１４は、撮像部１１の複数画素の輝度値を平均し、その平均値を輝度評価値として求め、この輝度評価値が所定の目標値に一致するように、露光調整部１３の露光条件（本実施形態では露光時間）及び増幅部１２の増幅率を調整する。制御部１４は、輝度評価値を所定の目標値に一致させるために、露光条件と増幅率の両方を変化させているが、露光条件のみを変化させることで輝度評価値を調整してもよいし、増幅率のみを変化させることで輝度評価値を調整してもよい。また制御部１４は、評価対象領域に含まれる複数画素の輝度値の平均値を輝度評価値として求めているが、評価対象領域を複数に分割して各々で平均値を求め、それらを統計処理して輝度評価値を求めてもよい。また制御部１４は、平均処理以外の統計処理を施すことによって、複数画素の輝度値を代表する輝度評価値を求めてもよい。

また、制御部１４は、撮像部１１が画像を撮像する周期（フレームレート）を切り替える機能も備えている。本実施形態では制御部１４がフレームレートを５ｆｐｓ（frame per second）又は１３．３ｆｐｓの何れかに切り替え可能であり、通常はフレームレートを５ｆｐｓに設定している。

この撮像装置１は、図１に示すような負荷制御システムに用いられる。この負荷制御システムは、上述の撮像装置１と、物体検知装置２と、照明制御装置３と、照明器具４を備える。

この負荷制御システムでは、撮像装置１が、照明器具４による照明空間の上方（例えば天井）に設置されて、下方の照明空間を見下ろした画像を撮像する。物体検知装置２は、撮像装置１で撮像された画像をもとに検知領域（すなわち照明器具４の照明空間）における検知対象（例えば人）の存否を検知し、その検知結果を照明制御装置３に出力する。照明制御装置３は、人が存在するとの検知結果が物体検知装置２から入力された場合は照明器具４を点灯させ、人が存在しないとの検知結果が物体検知装置２から入力された場合は照明器具４を消灯させる。

物体検知装置２は、入力部２１と、画像処理部２２と、画像メモリ２３と、出力部２４とを備える。

入力部２１は、所定のフレームレートで撮像装置１から入力された画像データを画像処理部２２に出力する。

画像メモリ２３は、ＤＲＡＭ（Dynamic Random Access Memory）のような大容量の揮発性メモリからなり、画像処理部２２によってデータの書き込み、読み出しが制御される。画像メモリ２３は、例えば、撮像装置１から入力された１乃至数フレーム分の画像データや、画像処理の過程で作成される差分画像などのデータを記憶する。

画像処理部２２は、例えば画像処理に特化したマイクロコンピュータからなり、組み込みのプログラムを実行することによって、画像データに人が写っているか否かを判定する機能が実現される。画像処理部２２は、所定のフレームレートで入力部２１から画像信号が入力されると、画像メモリ２３から１フレーム前の画像データを読み込み、フレーム間差分を行うことによって、フレーム間で輝度値が所定の閾値以上変化した画素領域を抽出する。画像処理部２２は、例えば、抽出した画素領域の面積を、画像に写る人の大きさをもとに設定された規定の範囲と比較することによって、撮像領域に人がいるか否かを判断し、判断結果を出力部２４に出力する。また、画像処理部２２は、入力部２１から入力された画像データを画像メモリ２３に記憶させており、画像メモリ２３には１乃至数フレーム分の画像データが記憶されている。

出力部２４は、信号線を介して接続された照明制御装置３との間で通信を行う機能を有しており、画像処理部２２から人の存否を判断した結果が入力されると、この判断結果を照明制御装置３に送信する。

照明制御装置３は、物体検知装置２の出力部２４から入力された判断結果に基づいて、複数台の照明器具４の点灯、消灯を制御する。照明制御装置３は、人が存在するという判断結果が物体検知装置２から入力されない場合、制御対象である照明器具４を消灯させている。照明制御装置３は、人が存在するという判断結果が物体検知装置２から入力されると、制御対象の照明器具４を点灯させる。その後、人が存在するという判断結果が物体検知装置２から入力されなくなると、照明制御装置３は、所定の点灯保持時間が経過した時点で照明器具４を消灯させる。これにより、照明空間に人がいる間は照明器具４が点灯するから、必要な明るさを確保でき、照明空間から人がいなくなると、所定の点灯保持時間が経過した時点で照明器具４が消灯するから、無駄な電力消費を削減できる。

ところで、何らかの原因で撮像領域の明るさが変化した場合、人が見るための画像であれば、画面の輝度を人の目に適した輝度範囲に速やかに調整する必要がある。それに対して、本実施形態では、撮像装置１の画像は、人が見るための画像ではなく、動体検知のための画像処理に使用されるので、画面の輝度を速やかに調整する必要は無い。むしろ、露光条件を変更するなどして画面輝度を速やかに変化させた場合、その影響で動体検知が正しく行えない可能性があった。そこで、本実施形態では、動体検知のための画像処理が行えないほど画面輝度が暗くなったり、明るくなったりした場合は、制御部１４が、露光調整部１３の露光条件及び増幅部１２の増幅率を変化させて輝度評価値を所定の目標値に即座に一致させる。一方、画面輝度が変化した場合でも、画像処理を支障なく行えるような画面輝度であれば、制御部１４は、輝度評価値を所定の目標値に近付けるように、露光条件及び増幅率を緩やかに変化させており、動体検知のための画像処理に悪影響を与えないようにしている。

ここで、制御部１４が、画面の明るさ（輝度評価値）に応じて画面の輝度値を調整する動作について、図２のフローチャートを参照して説明する。

撮像部１１は、所定のフレームレート（通常時は５ｆｐｓ）で撮像領域を撮像し、撮像領域を撮像する毎に画像データを増幅部１２に出力する。撮像部１１が各フレームで撮像した画像データを増幅部１２に出力すると、増幅部１２は、画像データの各画素の輝度値を所定の増幅率で増幅して、物体検知装置２に出力する。

制御部１４は、増幅部１２から出力される画像データをフレーム毎に取り込むと（図２のステップＳ１）、複数画素の輝度値の平均値を求め、この平均値を輝度評価値Ｌ１とする。

制御部１４は、輝度評価値Ｌ１を求めると、この輝度評価値Ｌ１と所定の目標値Ｔ１との差分を求め、この差分が小さくなるように、増幅部１２の増幅率及び露光調整部１３の露光条件を調整する。本実施形態では各画素の輝度値が２５６階調（０〜２５５）であり、輝度評価値Ｌ１の目標値Ｔ１を通常は６４としている。

ところで、本実施形態の撮像装置１は、人が見るための画像を撮像するのではなく、後段の物体検知装置２が動体検知の画像処理を行う画像を撮像するために用いられる。したがって、人の目には明るすぎたり、暗すぎたりする画像であっても、問題なく画像処理が行える輝度範囲であれば、制御部１４は、露光条件及び増幅率を調整することによって輝度評価値Ｌ１が大きく変化しないように、露光条件及び増幅率の調整量を制限する。以下では、画像処理が問題なく行える輝度範囲の下限値をＬＭ１（例えば３２）、上限値をＬＭ４（例えば１２８）として、制御部１４の動作を説明する。

制御部１４は、ステップＳ１で輝度評価値Ｌ１を求めると、上述した輝度範囲の上限値ＬＭ４と輝度評価値Ｌ１との高低を比較する（ステップＳ２）。輝度評価値Ｌ１が上限値ＬＭ４を超えていれば（ステップＳ２のＹｅｓ）、制御部１４は、輝度評価値Ｌ１と所定の閾値（第２閾値）ＬＭ５（例えば１６０）との高低をさらに比較する（ステップＳ３）。輝度評価値Ｌ１が閾値ＬＭ５以下、すなわちＬＭ４＜Ｌ１≦ＬＭ５であれば（ステップＳ３のＮｏ）、制御部１４は、輝度評価値Ｌ１が目標値Ｔ１となるように露光時間及び増幅率を変更する（ステップＳ６）。一方、輝度評価値Ｌ１が閾値ＬＭ５を超えていれば（ステップＳ３のＹｅｓ）、制御部１４は、フレームレートを１３．３ｆｐｓに高速化し（ステップＳ４）、輝度評価値Ｌ１の目標値Ｔ１を通常時よりも低い値Ｔ２（例えば５６）に切り替える（ステップＳ５）。制御部１４は、フレームレートを高くし、目標値を通常時よりも低い値Ｔ２に切り替えた後、輝度評価値Ｌ１が目標値Ｔ２となるように露光時間及び増幅率を変更しており（ステップＳ６）、輝度評価値Ｌ１が目標値Ｔ２に短時間（次のフレーム）で調整される。なお、輝度評価値Ｌ１が上限値ＬＭ４を超えている場合、制御部１４は、輝度評価値Ｌ１の変化率を後述の基準値以下に制限するために露光時間及び増幅率の調整量を制限する処理を行っておらず、輝度評価値Ｌ１が目標値に即座に一致するように露光時間及び増幅率を調整する。したがって、制御部１４は、輝度評価値Ｌ１を目標値に短時間で一致させることができ、所望の画像処理が行えるようになるまでの時間を短縮できる。

またステップＳ２において輝度評価値Ｌ１が上限値ＬＭ４未満の場合（ステップＳ２のＮｏ）、制御部１４は、上述した輝度範囲の下限値ＬＭ１と輝度評価値Ｌ１との高低を比較する（ステップＳ７）。輝度評価値Ｌ１が下限値ＬＭ１を下回っていれば（ステップＳ７のＹｅｓ）、制御部１４は、輝度評価値Ｌ１と所定の閾値（第１閾値）ＬＭ０（例えば２８）との高低をさらに比較する（ステップＳ８）。輝度評価値Ｌ１が閾値ＬＭ０以上、すなわちＬＭ０≦Ｌ１＜ＬＭ１であれば（ステップＳ８のＮｏ）、制御部１４は、輝度評価値Ｌ１が目標値Ｔ１となるように露光時間及び増幅率を変更する（ステップＳ６）。一方、輝度評価値Ｌ１が閾値ＬＭ０未満であれば（ステップＳ８のＹｅｓ）、制御部１４は、フレームレートを１３．３ｆｐｓに高速化し（ステップＳ９）、輝度評価値Ｌ１の目標値Ｔ１を通常時よりも高い値Ｔ３（例えば１０４）に切り替える（ステップＳ１０）。制御部１４は、フレームレートを高くし、目標値を通常時よりも高い値Ｔ３に切り替えた後、輝度評価値Ｌ１が目標値Ｔ３となるように露光時間及び増幅率を変更しており（ステップＳ６）、輝度評価値Ｌ１が目標値Ｔ３に短時間（次のフレーム）で調整される。なお、輝度評価値Ｌ１が下限値ＬＭ１を下回っている場合、制御部１４は、輝度評価値Ｌ１の変化率を後述の基準値以下に制限するために露光時間及び増幅率の調整量を制限する処理を行っておらず、輝度評価値Ｌ１が目標値に即座に一致するように露光時間及び増幅率を調整する。したがって、制御部１４は、輝度評価値Ｌ１を目標値に短時間で一致させることができ、所望の画像処理が行えるようになるまでの時間を短縮できる。

またステップＳ７において輝度評価値Ｌ１が下限値ＬＭ１以上であれば（ステップＳ７のＮｏ）、制御部１４は、輝度評価値Ｌ１と所定の閾値ＬＭ３（例えば６６）との高低を比較する（ステップＳ１１）。輝度評価値Ｌ１が閾値ＬＭ３よりも大きい、すなわちＬＭ３＜Ｌ１≦ＬＭ４であれば（ステップＳ１１のＹｅｓ）、制御部１４は、輝度値が１２８分の１だけ小さくなるように露光時間及び増幅率を変更して、輝度評価値Ｌ１を微調整する（ステップＳ１２）。

またステップＳ１１において輝度評価値Ｌ１が閾値ＬＭ３以下であれば（ステップＳ１１のＮｏ）、制御部１４は、輝度評価値Ｌ１と閾値ＬＭ２（例えば６２）との高低を比較する（ステップＳ１３）。輝度評価値Ｌ１が閾値ＬＭ２未満、すなわちＬＭ１≦Ｌ１＜ＬＭ２であれば（ステップＳ１３のＹｅｓ）、制御部１４は、輝度値が１２８分の１だけ大きくなるように露光時間及び増幅率を変更して、輝度評価値Ｌ１を微調整する（ステップＳ１４）。

また、ステップＳ１３において輝度評価値Ｌ１が閾値ＬＭ２以上、すなわち、ＬＭ２≦Ｌ１≦ＬＭ３の場合、制御部１４は、輝度評価値Ｌ１が目標値Ｔ１にほぼ一致していると判断し、露光時間及び増幅率を変化させることなく処理を終了する。

なお、制御部１４は、輝度評価値Ｌ１が閾値ＬＭ５を上回るとフレームレートを高速化しているが、輝度評価値Ｌ１が上限値ＬＭ４を上回るとフレームレートを高速化してもよい。また、制御部１４は、輝度評価値Ｌ１が閾値ＬＭ５を上回ると目標値を通常時よりも小さい値Ｔ２に切り替えているが、輝度評価値Ｌ１が上限値ＬＭ４を上回ると目標値を通常時よりも小さい値Ｔ２に切り替えてもよい。また、制御部１４は、輝度評価値Ｌ１が閾値ＬＭ０を下回るとフレームレートを高速化しているが、輝度評価値Ｌ１が下限値ＬＭ１を下回るとフレームレートを高速化してもよい。また、制御部１４は、輝度評価値Ｌ１が閾値ＬＭ０を下回ると目標値を通常時よりも高い値Ｔ３に切り替えているが、輝度評価値Ｌ１が下限値ＬＭ１を下回ると目標値を通常時よりも高い値Ｔ３に切り替えてもよい。

制御部１４による画面輝度の調整処理は以上の通りであり、制御部１４が、輝度評価値Ｌ１をもとに画面輝度を調整する様子を図３〜図６を参照してより詳細に説明する。

図３（ａ）は、画像処理を問題無く行える輝度範囲に輝度評価値Ｌ１が収まっている場合、すなわち輝度評価値Ｌ１が下限値ＬＭ１以上且つ上限値ＬＭ４以下である場合の調整動作を示している。輝度評価値Ｌ１が下限値ＬＭ１以上且つ閾値ＬＭ２未満の場合、制御部１４は、露光時間及び増幅率を変更し、フレーム毎に輝度値を１２８分の１ずつ大きくすることによって輝度評価値Ｌ１を目標値Ｔ１に徐々に近付ける。また輝度評価値Ｌ１が閾値ＬＭ３より大きく且つ上限値ＬＭ４以下の場合、制御部１４は、露光時間及び増幅率を変更し、フレーム毎に輝度値を１２８分の１ずつ小さくすることによって輝度評価値Ｌ１を目標値Ｔ１に徐々に近付ける。図３（ａ）の例では、時刻ｔ１から時刻ｔ２までの期間、照明器具４がフェード消灯することによって、画面輝度が徐々に暗くなる。この間、制御部１４は、フレーム毎に輝度値が１２８分の１ずつ大きくなるように、露光時間及び増幅率を調整しているが、フェード消灯によって画面輝度が暗くなるペースの方が速いため、露光時間及び増幅率の調整が追いつかず、画面輝度は徐々に暗くなる。時刻ｔ２において照明器具４が完全に消灯すると、その後は、制御部１４が、フレーム毎に輝度値が１２８分の１ずつ大きくなるように、露光時間及び増幅率を調整することによって、輝度評価値Ｌ１が徐々に大きくなり、時刻ｔ３において目標値Ｔ１に一致する。

このように、画像処理を問題無く行える輝度範囲に輝度評価値Ｌ１が収まっている場合、制御部１４は、輝度評価値Ｌ１の変化率が所定の基準値（例えば１フレーム当たり１２８分の１）を超えないように、露光時間及び増幅率を変化させている。したがって、露光時間及び増幅率を変化させたことによって輝度評価値Ｌ１が変化した場合でも、その変化率が所定の基準値以下に収まるから、輝度値を調整した後の画像データを用いて問題なく画像処理を行うことができる。なお本実施形態では輝度値が２５６階調であるので、輝度値の変化率が１フレーム当たり１２８分の１を超えないように、制御部１４が露光条件及び増幅率を変化させた場合、露光条件及び増幅率の調整によってフレーム間で発生する輝度値の変化は２以下になる。このように、露光条件及び増幅率の調整によって生じる輝度値の変化が緩やかになるから、輝度値を調整する処理が画像データを用いた画像処理に与える影響を低減でき、画像処理を問題無く行うことができる。

また、図３（ｂ）は、人が見る画像を撮像する場合に画面輝度を補正する動作を示し、この動作例では、露光時間及び増幅率を変化させることによって発生する輝度値の変化率が制限されていない。この動作例では、時刻ｔ１０から時刻ｔ１５までの期間は、例えば照明器具４をフェード消灯させたことによって画面輝度が徐々に低下している。時刻ｔ１１及び時刻ｔ１３において、人が見るための画像に適した輝度範囲よりも輝度評価値Ｌ１が暗くなると、制御部１４は、露光条件及び増幅率を調整することで、次のフレームでは輝度評価値Ｌ１を目標値Ｔ１に一致させている。この場合、時刻ｔ１１から時刻ｔ１２まで期間と、時刻ｔ１３から時刻ｔ１４までの期間では画面輝度が急激に変化しており、動体の存在によって発生する輝度変化と区別するのが難しいため、動体検知のための画像処理を行えなくなる。

それに対して、本実施形態では、画像処理を問題なく行える輝度範囲に輝度評価値Ｌ１が収まっている場合、制御部１４は、露光時間及び増幅率を変化させることによる輝度値の変化率を１２８分の１に制限しており、輝度値の変化を緩やかにしている。これにより、露光条件及び増幅率を変化させることによって生じる輝度値の変化を、画像処理に支障のない大きさに低減でき、画像処理を支障なく行うことができる。

図４は、画像処理を問題無く行える輝度範囲の下限値ＬＭ１を輝度評価値Ｌ１が下回った場合の動作を示している。時刻ｔ２０から時刻ｔ２３までの期間では、例えば照明器具がフェード消灯することによって、撮像領域の明るさが徐々に暗くなっている。

時刻ｔ２０から時刻ｔ２１までの期間、制御部１４は、フレーム毎に輝度値が１２８分の１ずつ大きくなるよう露光時間及び増幅率を調整している。しかし、フェード消灯により画面輝度が暗くなるペースの方が速いため、露光時間及び増幅率の調整が追いつかず、画面輝度は徐々に暗くなる。なお、制御部１４は、輝度値の変化率が所定の基準値以下となるように、露光条件及び増幅率を調整して、輝度評価値Ｌ１を目標値Ｔ１に近付けているので、調整処理によって発生する輝度値の変化が小さくなり画像処理を支障なく行うことができる。

一方、時刻ｔ２１において輝度評価値Ｌ１が下限値ＬＭ１を下回ると、制御部１４は、次のフレームで輝度評価値Ｌ１が目標値Ｔ１に一致するように、露光時間及び増幅率を変化させている。ここで、輝度評価値Ｌ１が下限値ＬＭ１を下回ったフレーム（時刻ｔ２１）と次のフレーム（時刻ｔ２２）の間では輝度値が大きく変化するため、動体検知のための画像処理は行えない。しかし、時刻ｔ２２以降は輝度評価値Ｌ１が下限値ＬＭ１以上且つ上限値ＬＭ４以下となるので、露光時間及び増幅率を変化させたことによる輝度値の変化率が１２８分の１に制限され、画像処理を支障なく行うことができる。

その後も、制御部１４は、フレーム毎に輝度値が１２８分の１ずつ大きくなるように、露光時間及び増幅率を調整するが、時刻ｔ２２から時刻ｔ２３まではフェード消灯によって画面輝度が暗くなるペースの方が速く、画面輝度は徐々に暗くなる。そして、時刻ｔ２３において照明器具４が完全に消灯すると、制御部１４が、フレーム毎に輝度値が１２８分の１ずつ大きくなるように、露光時間及び増幅率を調整することで、輝度評価値Ｌ１は上昇に転じ、目標値Ｔ１に一致する。

また図５（ａ）は、画像処理を支障なく行うことができる輝度範囲よりも小さい所定の閾値ＬＭ０を輝度評価値Ｌ１が下回った場合の動作を示している。時刻ｔ３０から時刻ｔ３３までの期間では、例えば照明器具がフェード消灯することによって、撮像領域の明るさが徐々に暗くなっている。

時刻ｔ３０から時刻ｔ３１までの期間、制御部１４は、フレーム毎に輝度値が１２８分の１ずつ大きくなるように、露光時間及び増幅率を調整しているが、フェード消灯によって画面輝度が暗くなるペースの方が速く、画面輝度は徐々に暗くなる。時刻ｔ３１において、輝度評価値Ｌ１が、下限値ＬＭ１よりも低い閾値ＬＭ０を下回ると、制御部１４は、フレームレートを５ｆｐｓから１３．３ｆｐｓに高速化し、且つ、目標値Ｔ１をより大きな値Ｔ３（＝１０４）に切り替える。そして、制御部１４は、次のフレームで、輝度評価値Ｌ１が目標値Ｔ３になるように、露光時間及び増幅率を変化させている。ここで、輝度評価値Ｌ１が閾値ＬＭ０を下回ったフレーム（時刻ｔ３１）と次のフレーム（時刻ｔ３２）の間では輝度値が大きく変化するため、動体検知のための画像処理は行えない。しかし、時刻ｔ３２以降は輝度評価値Ｌ１が下限値ＬＭ１以上且つ上限値ＬＭ４以下となり、露光時間及び増幅率の調整による輝度値の変化率が１２８分の１以下に制限されるため、画像処理を支障なく行うことができる。なお、画像処理を問題無く行える輝度範囲（下限値ＬＭ１以上且つ上限値ＬＭ４以下）に輝度評価値Ｌ１が収まると、制御部１４は、フレームレート及び目標値を元の値に戻している。

その後、制御部１４は、フレーム毎に輝度値が１２８分の１ずつ大きくなるように、露光時間及び増幅率を調整しているが、時刻ｔ３２から時刻ｔ３３まではフェード消灯によって画面輝度が暗くなるペースの方が速く、画面輝度は徐々に暗くなる。そして、時刻ｔ３３において照明器具４が完全に消灯すると、制御部１４が、フレーム毎に輝度値が１２８分の１ずつ大きくなるように、露光時間及び増幅率を調整することで、輝度評価値Ｌ１は上昇に転じ、目標値Ｔ１に一致する。

ここで、図５（ｂ）は目標値Ｔ１を変化させない場合の調整動作を示し、時刻ｔ４０から時刻ｔ４５にかけて照明器具がフェード消灯し、それに応じて撮像領域の明るさが徐々に低下している。

時刻ｔ４０から時刻ｔ４１までの期間、制御部１４は、フレーム毎に輝度値が１２８分の１ずつ大きくなるように、露光時間及び増幅率を調整しているが、フェード消灯によって画面輝度が暗くなるペースの方が速く、画面輝度は徐々に暗くなる。時刻ｔ４１において輝度評価値Ｌ１が下限値ＬＭ１を下回ると、制御部１４は、露光時間及び増幅率を変化させることによって、輝度評価値Ｌ１が目標値Ｔ１となるように輝度値を調整する。しかし、図示例ではフェード消灯に伴って輝度評価値Ｌ１が低下するペースが大きいため、時刻ｔ４３において輝度評価値Ｌ１が再び下限値ＬＭ１を下回ることになる。そのため、制御部１４は、時刻ｔ４３において、輝度評価値Ｌ１を目標値Ｔ１とするために露光時間及び増幅率を変化させており、時刻ｔ４１〜ｔ４２の期間と、時刻ｔ４３〜ｔ４４の期間の両方で、動体検知のための画像処理が行えなくなっていた。

それに対して、本実施形態では輝度評価値Ｌ１が、下限値ＬＭ１よりも小さい閾値ＬＭ０を下回ると、制御部１４が、輝度評価値Ｌ１の目標値をより大きな値Ｔ２に切り替えている。したがって、輝度評価値Ｌ１が目標値Ｔ２に調整されてから、フェード消灯に伴って輝度評価値Ｌ１が減少していき、下限値ＬＭ１を下回るまでに要する時間が、目標値を変化させない場合に比べて長くなる。図５（ａ）の動作例では、時刻ｔ３１で露光時間及び増幅率を調整して輝度評価値Ｌ１を目標値Ｔ２に変化させた後、フェード消灯が終了する時刻ｔ３３までの間に、輝度評価値Ｌ１が下限値ＬＭ１を下回ることがない。よって、輝度値を目標値に一致させるために、制御部１４が露光時間及び増幅率を調整する回数が少なくなり、画面輝度を調整するために画像処理が行えなくなる期間を短縮できる。

また、画像処理を問題無く行える輝度範囲から輝度評価値Ｌ１が外れた場合にフレームレートを高くする場合の調整動作を図６（ａ）に示し、フレームレートを変化させない場合の調整動作を図６（ｂ）に示す。図６（ｂ）に示すようにフレームレートが一定の場合、画像処理を問題無く行える輝度範囲から輝度評価値Ｌ１が外れると、輝度評価値Ｌ１が上記の輝度範囲に収まるまでに比較的長い時間Ｄ２を要し、この間は輝度値が大きく変化するため画像処理が行えなくなる。それに対して、本実施形態では、画像処理を問題無く行える輝度範囲から輝度評価値Ｌ１が外れると、制御部１４が、フレームレートを高速化しており、フレームレートが一定の場合に比べて、輝度評価値Ｌ１が上記の輝度範囲に収まるまでの時間Ｄ１を短縮できる。よって、輝度評価値Ｌ１が画像処理に適さない期間が短くなり、画像処理を早期に再開することができる。

なお、上述した閾値ＬＭ０〜ＬＭ５の値は、画像処理の内容などに応じて適宜変更が可能である。

以上説明したように、本実施形態の撮像装置１は、所定のフレームレートで撮像範囲の画像を撮像する撮像部１１と、撮像部１１の露光条件を調整する露光調整部１３と、撮像部１１から出力される画像データの輝度値を画素毎に増幅して外部に出力する増幅部１２と、画像データの複数画素の輝度値を統計処理して求めた輝度評価値が所定の目標値に一致するように、露光調整部１３の露光条件及び増幅部１２の増幅率のうち少なくとも何れか一方を調整する制御部１４とを備える。増幅部１２から出力される画像データを画像処理に使用できる輝度範囲に輝度評価値が収まっている場合は露光条件及び増幅率のうち少なくとも何れか一方を調整することによって生じる輝度評価値の変化率が所定の基準値以下となるように調整量を制限し、且つ、輝度評価値が上記の輝度範囲外である場合は調整量の制限を行わないように制御部１４が構成されている。

これにより、画像データを画像処理することができる輝度範囲に輝度評価値が収まっている場合、露光条件及び増幅率のうち少なくとも何れか一方を調整することによって生じる輝度評価値の変化率が所定の基準値以下となるように、制御部１４が調整量を制限する。したがって、画像の明るさを調整するための処理が画像処理に与える影響を低減することができる。また、輝度評価値が上記の輝度範囲外である場合は調整量の制限を行わないように制御部１４が構成されているので、輝度評価値を目標値に短時間で一致させることができ、所望の画像処理が行えるようになるまでの時間を短縮できる。なお、画像データを画像処理することができる輝度範囲とは、輝度値が暗すぎるために画像処理を行えない輝度範囲や、輝度値が明るすぎて画像処理を行えない輝度範囲を除いた輝度範囲である。

また、輝度評価値Ｌ１が上記の輝度範囲（下限値ＬＭ１以上、且つ、上限値ＬＭ４以下）を下回っている場合は、輝度評価値Ｌ１が上記の輝度範囲に収まっている場合に比べて目標値を大きくするように、制御部１４が構成されることも好ましい。

これにより、輝度評価値Ｌ１が減少して上記の輝度範囲を下回ると、輝度評価値Ｌ１が輝度範囲に収まっている場合に比べて大きい値に設定された目標値まで輝度評価値Ｌ１が調整される。よって、その後も輝度評価値Ｌ１が減少し続けた場合に、輝度評価値Ｌ１が上記の輝度範囲を再び下回るまでの時間が長くなる。

また、上記の輝度範囲よりも低い所定の閾値ＬＭ０を輝度評価値Ｌ１が下回っている場合は、輝度評価値Ｌ１が閾値ＬＭ０以上となる場合に比べて目標値を大きくするように、制御部１４が構成されることも好ましい。

これにより、輝度評価値Ｌ１が減少して閾値ＬＭ０を下回ると、輝度評価値Ｌ１が閾値ＬＭ０以上となる場合に比べて大きい値に設定された目標値まで輝度評価値Ｌ１が調整される。よって、その後も輝度評価値Ｌ１が減少し続けた場合に、輝度評価値Ｌ１が上記の輝度範囲を再び下回るまでの時間を長くできる。

また、輝度評価値Ｌ１が上記の輝度範囲を下回っている場合は、輝度評価値Ｌ１が上記の輝度範囲に収まっている場合に比べてフレームレートを高くするように、制御部１４が構成されることも好ましい。

これにより、輝度評価値Ｌ１が上記の輝度範囲に収まるまでにかかる時間を短くでき、制御部１４の調整動作に応じて輝度評価値Ｌ１が変化する期間を短くできるから、画像処理が行えなくなる時間を短くできる。

また、上記の輝度範囲よりも低い所定の閾値ＬＭ０を輝度評価値Ｌ１が下回っている場合は、輝度評価値Ｌ１が閾値ＬＭ０以上となる場合に比べてフレームレートを高くするように、制御部１４が構成されることも好ましい。

また、輝度評価値Ｌ１が上記の輝度範囲を上回っている場合は、輝度評価値Ｌ１が上記の輝度範囲に収まっている場合に比べて目標値を小さくするように、制御部１４が構成されることも好ましい。

これにより、輝度評価値Ｌ１が増加して上記の輝度範囲を上回ると、輝度評価値Ｌ１が輝度範囲に収まっている場合に比べて小さい値に設定された目標値まで輝度評価値Ｌ１が調整される。よって、その後も輝度評価値Ｌ１が増加し続けた場合に、輝度評価値Ｌ１が上記の輝度範囲を再び上回るまでの時間を長くできる。

また、上記の輝度範囲よりも高い所定の閾値ＬＭ５を輝度評価値が上回っている場合は、輝度評価値が閾値ＬＭ５以下となる場合に比べて目標値を小さくするように、制御部１４が構成されることも好ましい。

これにより、輝度評価値Ｌ１が増加して閾値ＬＭ５を上回ると、輝度評価値Ｌ１が閾値ＬＭ５以下となる場合に比べて小さい値に設定された目標値まで輝度評価値Ｌ１が調整される。よって、その後も輝度評価値Ｌ１が増加し続けた場合に、輝度評価値Ｌ１が上記の輝度範囲を再び上回るまでの時間を長くできる。

また、輝度評価値Ｌ１が上記の輝度範囲を上回っている場合は、輝度評価値Ｌ１が上記の輝度範囲に収まっている場合に比べて、フレームレートを高くするように制御部１４が構成されることも好ましい。

また、上記の輝度範囲よりも高い所定の閾値ＬＭ５を輝度評価値Ｌ１が上回っている場合は、輝度評価値Ｌ１が閾値ＬＭ５以下となる場合に比べて、フレームレートを高くするように制御部１４が構成されることも好ましい。

また、上記の輝度範囲よりも低い所定の第１閾値ＬＭ０を輝度評価値Ｌ１が下回っている場合は、輝度評価値Ｌ１が第１閾値ＬＭ０以上となる場合に比べて、目標値を大きくし且つフレームレートを高くするように制御部１４が構成され、上記の輝度範囲よりも高い所定の第２閾値ＬＭ５を輝度評価値Ｌ１が上回っている場合は、輝度評価値Ｌ１が第２閾値ＬＭ５以下となる場合に比べて、目標値を小さくし且つフレームレートを高くするように制御部１４が構成されることも好ましい。

これにより、輝度評価値Ｌ１が減少して第１閾値ＬＭ０を下回ると、輝度評価値Ｌ１が第１閾値ＬＭ０以上となる場合に比べて大きい値に設定された目標値まで輝度評価値Ｌ１が調整される。よって、その後も輝度評価値Ｌ１が減少し続けた場合に、輝度評価値Ｌ１が上記の輝度範囲を再び下回るまでの時間を長くできる。また、輝度評価値Ｌ１が増加して第２閾値ＬＭ５を上回ると、輝度評価値Ｌ１が第２閾値ＬＭ５以下となる場合に比べて小さい値に設定された目標値まで輝度評価値Ｌ１が調整される。よって、その後も輝度評価値Ｌ１が増加し続けた場合に、輝度評価値Ｌ１が上記の輝度範囲を再び上回るまでの時間を長くできる。さらに、輝度評価値Ｌ１が第１閾値ＬＭ０を下回るか、第２閾値ＬＭ５を上回ると、制御部１４はフレームレートを高くするから、輝度評価値Ｌ１が上記の輝度範囲に収まるまでに要する時間を短くできる。したがって、制御部１４が輝度値を調整する動作に応じて輝度評価値Ｌ１が変化する期間を短くできるから、画像処理が行えなくなる時間を短くできる。

なお、本発明の精神と範囲に反することなしに、広範に異なる実施形態を構成することができることは明白なので、この発明は、特定の実施形態に制約されるものではない。

１撮像装置
２物体検知装置
３照明制御装置
４照明器具
１１撮像部
１２増幅部
１３露光調整部
１４制御部

Claims

所定のフレームレートで撮像範囲の画像を撮像する撮像部と、
前記撮像部の露光条件を調整する露光調整部と、
前記撮像部から出力される画像データの輝度値を画素毎に増幅して外部に出力する増幅部と、
前記画像データの複数画素の輝度値を統計処理して求めた輝度評価値が所定の目標値に一致するように、前記露光調整部の露光条件及び前記増幅部の増幅率のうち少なくとも何れか一方を調整する制御部とを備え、
前記増幅部から出力される画像データを画像処理することができる輝度範囲に前記輝度評価値が収まっている場合は前記露光条件及び前記増幅率のうち少なくとも何れか一方を調整することによって生じる前記輝度評価値の変化率が所定の基準値以下となるように調整量を制限し、且つ、前記輝度評価値が前記輝度範囲外である場合は調整量の制限を行わないように前記制御部が構成されたことを特徴とする撮像装置。
前記輝度評価値が前記輝度範囲を下回っている場合は、前記輝度評価値が前記輝度範囲に収まっている場合に比べて前記目標値を大きくするように、前記制御部が構成されたことを特徴とする請求項１記載の撮像装置。
前記輝度範囲よりも低い所定の閾値を前記輝度評価値が下回っている場合は、前記輝度評価値が前記閾値以上となる場合に比べて前記目標値を大きくするように、前記制御部が構成されたことを特徴とする請求項１記載の撮像装置。
前記輝度評価値が前記輝度範囲を下回っている場合は、前記輝度評価値が前記輝度範囲に収まっている場合に比べて前記フレームレートを高くするように、前記制御部が構成されたことを特徴とする請求項１記載の撮像装置。
前記輝度範囲よりも低い所定の閾値を前記輝度評価値が下回っている場合は、前記輝度評価値が前記閾値以上となる場合に比べて前記フレームレートを高くするように、前記制御部が構成されたことを特徴とする請求項１記載の撮像装置。
前記輝度評価値が前記輝度範囲を上回っている場合は、前記輝度評価値が前記輝度範囲に収まっている場合に比べて前記目標値を小さくするように、前記制御部が構成されたことを特徴とする請求項１記載の撮像装置。
前記輝度範囲よりも高い所定の閾値を前記輝度評価値が上回っている場合は、前記輝度評価値が前記閾値以下となる場合に比べて前記目標値を小さくするように、前記制御部が構成されたことを特徴とする請求項１記載の撮像装置。
前記輝度評価値が前記輝度範囲を上回っている場合は、前記輝度評価値が前記輝度範囲に収まっている場合に比べて、前記フレームレートを高くするように前記制御部が構成されたことを特徴とする請求項１記載の撮像装置。
前記輝度範囲よりも高い所定の閾値を前記輝度評価値が上回っている場合は、前記輝度評価値が前記閾値以下となる場合に比べて、前記フレームレートを高くするように前記制御部が構成されたことを特徴とする請求項１記載の撮像装置。
前記輝度範囲よりも低い所定の第１閾値を前記輝度評価値が下回っている場合は、前記輝度評価値が前記第１閾値以上となる場合に比べて、前記目標値を大きくし且つ前記フレームレートを高くするように前記制御部が構成され、
前記輝度範囲よりも高い所定の第２閾値を前記輝度評価値が上回っている場合は、前記輝度評価値が前記第２閾値以下となる場合に比べて、前記目標値を小さくし且つ前記フレームレートを高くするように前記制御部が構成されたことを特徴とする請求項１記載の撮像装置。