JP2019057240A - 撮像装置 - Google Patents

Abstract

【課題】フレームレートを減少させることなくダイナミックレンジが拡大された画像データを生成するとともに、解像度の減少が画像データを用いて行われる処理に及ぼす影響を小さく抑える。【解決手段】撮像装置１は、対象物を撮像する撮像部２および撮像部２の動作を制御する制御部３を備える。制御部３は、所定の単位領域毎に撮像における感度を異ならせることで１フレーム分の撮像により感度の異なる複数の画像データを取得するとともに、それら複数の画像データを合成することによりダイナミックレンジが拡大された画像データを生成する面内ＨＤＲ処理を実行するＨＤＲ処理部８、面内ＨＤＲ処理において感度を異ならせる方向であるＨＤＲ処理方向を制御する方向制御部９などを備える。方向制御部９は、対象物の特徴量がより多く現れる方向がＨＤＲ処理方向となるように制御を行う。【選択図】図１

Description

本発明は、対象物を撮像する撮像部および撮像部の動作を制御する制御部を備えた撮像装置に関する。

撮像装置である距離画像センサには、次のような課題がある。すなわち、距離画像センサの撮像対象となる物体の反射特性は一律ではない。そのため、距離画像センサでは、出力するレーザの強度を高めると高反射物体の検出に漏れが生じるとともに、レーザの強度を弱めると低反射物体の検出に漏れが生じるというトレードオフが存在する。

また、距離画像センサでは、遠くに存在する物体の検知を可能にするためにレーザの強度を高めると近くに存在する物体からの反射光が飽和して検知不能になり、近くに存在する物体の検知を可能にするためにレーザの強度を弱めると遠くに存在する物体からの反射光が小さくなり過ぎてしまい検知不能になるというトレードオフが存在する。

このようなトレードオフを解決するための従来技術として、カメラなどの撮像装置において活用されているHigh Dynamic Range機能を挙げることができる。なお、以下では、High Dynamic RangeのことをＨＤＲと省略する。ＨＤＲ機能は、露光量、つまり感度が異なる複数の撮像画像を合成して１つの画像を生成することにより、画像のダイナミックレンジの拡大を図る技術であり、例えば特許文献１に開示されているように、大きく分けると２種類の方法が存在する。

一つ目の方法は、長い露光時間と短い露光時間で交互に撮像した２フレームの画像を合成して１フレームの記録画像を生成するものであり、面間ＨＤＲと呼ばれている。ただし、面間ＨＤＲでは、記録画像のフレームレートが、通常の撮像におけるフレームレートの１／２になる。

二つ目の方法は、所定の単位領域毎に露光時間を異ならせて読み出しを行うことにより、１フレーム分の撮像によって露光量の異なる複数の画像を取得し、これによりダイナミックレンジを拡大した画像を得るものであり、面内ＨＤＲと呼ばれている。ただし、面内ＨＤＲでは、１フレーム分の撮像で２つの画像が生成されるため、例えば、１行毎に露光時間を異ならせて読み出しが行われた場合、個々の画像の垂直解像度が、通常の撮像における垂直解像度の１／２になる。

特開２０１４−１４６８５０号公報

上述したように、既存のＨＤＲ機能には、フレームレートまたは解像度が減少するという課題がある。そのため、既存のＨＤＲ機能を距離画像センサに適用すれば、前述したトレードオフの問題は解消されるものの、フレームレートまたは解像度が減少するという別の問題が生じてしまう。画像データのフレームレートまたは解像度が減少すると、その画像データを用いて実行される各種の処理の精度が低下したり、処理が正常に実施できなくなったりするといった問題が生じるおそれがある。

特に、距離画像センサは、セイフティ、セキュリティ用途に用いられることから、人の動体検知および動線追跡を高速且つ高精度に行い得る必要がある。そのため、距離画像センサでは、フレームレートの減少は好ましくないものであり、また、解像度の減少についても人を認識する際の特徴点の抽出処理などに影響を及ぼす可能があるため、極力避けたい事象であると考えられる。

本発明は上記事情に鑑みてなされたものであり、その目的は、フレームレートを減少させることなくダイナミックレンジが拡大された画像データを生成するとともに、解像度の減少が画像データを用いて行われる処理に及ぼす影響を小さく抑えることができる撮像装置を提供することにある。

請求項１に記載の撮像装置は、対象物を撮像する撮像部と、その撮像部の動作を制御する制御部と、を備える。そして、制御部は、所定の単位領域毎に撮像における感度を異ならせることで１フレーム分の撮像により感度の異なる複数の画像データを取得するとともに、それら複数の画像データを合成することによりダイナミックレンジが拡大された画像データを生成する面内ＨＤＲ処理を実行するＨＤＲ処理部を備えている。

上記構成によれば、面内ＨＤＲ処理が実行されることにより、フレームレートを減少させることなく、ダイナミックレンジが拡大された画像データを得ることができる。ただし、前述したように、面内ＨＤＲ処理には、解像度が減少するという課題がある。

画像データの解像度の減少は、画像データを用いて行われる各種の処理、特に撮像された物体（対象物）が何であるのかを判断する物体認識処理において問題となる。なぜなら、物体認識処理では、特徴点を用いた判断が行われることが一般的である。そして、ＨＯＧ（Histograms of Oriented Gradients）などの一般的な特徴量計算で得られる物体（例えば人）の特徴量は、物体の外周の特徴点の割合が多い。そのため、対象物の外周の形である外形を正確に捉えることは、物体認識の精度向上に繋がると言える。画像データの解像度が低下すると、画像データから得られる対象物の外周の特徴点が減少して対象物の外形を正確に捉えることが困難となり、その結果、物体認識の精度が低下するおそれがある。

一方、上記構成では、例えば所定の単位行毎に感度を異ならせるように面内ＨＤＲ処理が行われると、生成される画像データの垂直解像度が低下する。また、上記構成において、例えば所定の単位列毎に感度を異ならせるように面内ＨＤＲ処理が行われると、生成される画像データの水平解像度が低下する。すなわち、上記構成において、面内ＨＤＲ処理を実行した際に画像データの解像度が低下する方向は、面内ＨＤＲ処理において感度を異ならせる方向であるＨＤＲ処理方向に依存するようになっている。

また、対象物の外周のうち、一方向（例えば縦方向）に現れる特徴量と、その一方向と直交する他方向（例えば横方向）に現れる特徴量とは、完全に同じ量にはならないことが多い。例えば対象物が人である場合、人の頭、胴体および足の並び方向に現れる特徴量は、その並び方向と直交する方向である人の肩幅の方向に現れる特徴量に比べて多くなる。そして、元々特徴量が多く現れる方向については、解像度が低下したとしても、比較的多くの特徴量が得られることから大きな問題は生じない。しかし、元々特徴量が少ない方向については、解像度が低下すると、特徴量が全く得られなくなるおそれがある。

本手段では、このような点に着目し、画像データの解像度の減少によって、画像データから得られる対象物の外周の特徴点が極端に減少しないようにするため、次のような工夫が加えられている。すなわち、制御部は、さらに、ＨＤＲ処理方向を制御する方向制御部を備えている。そして、方向制御部は、対象物の特徴量がより多く現れる方向をＨＤＲ処理方向とするように制御を行う。

上記構成によれば、面内ＨＤＲ処理が実行されることで生成される画像データでは、対象物の特徴量がより多く現れる方向の解像度が低下するものの、対象物の特徴量がより少ない方向の解像度は通常の撮像における解像度と同程度に維持される。これにより、画像データから得られる対象物の外周の特徴点は、元々多くの特徴量が現れる方向については減少するものの、元々現れる特徴量が少ない方向については減少することはない。

そのため、上記構成では、画像データから得られる対象物の外周の特徴点が極端に減少することがなくなり、その結果、物体認識などの処理の精度を良好に維持することができる。したがって、上記構成によれば、フレームレートを減少させることなくダイナミックレンジが拡大された画像データを生成するとともに、解像度の減少が画像データを用いて行われる処理に及ぼす影響を小さく抑えることができるという優れた効果が得られる。

請求項２に記載の撮像装置では、撮像部は対象物の距離画像を撮像する構成であり、画像データは対象物までの距離を表す距離画像データである。つまり、請求項２に記載の撮像装置は、距離画像センサとして構成されている。このように距離画像センサとして構成される撮像装置においても、上述した工夫により、フレームレートを減少させることなく、解像度の減少が画像データを用いて行われる物体認識処理などの処理に及ぼす影響を小さく抑えることができる。したがって、上記構成によれば、人の動体検知および動線追跡を高速かつ高精度に行うことが可能となり、セイフティ用途やセキュリティ用途に好適なものとなる。

請求項３に記載の撮像装置では、対象物は人である。この場合、人の特徴量がより多く現れる方向は、人の頭、胴体および足の並び方向であり、逆に、人の肩幅の方向については、元々得られる特徴量が少ない。したがって、仮に、ＨＤＲ処理方向が人の肩幅の方向に一致するように制御されると、面内ＨＤＲ処理が実行されることにより生成された画像データからから得られる人の肩幅方向の外周の特徴量が極端に減少するおそれがある。

そこで、この場合、方向制御部は、画像データにおける人の頭、胴体および足の並び方向がＨＤＲ処理方向となるように制御を行う。これにより、撮像された画像データから得られる人の外周の特徴量の極端な減少を確実に抑えることが可能となり、その結果、対象物である人の認識精度を良好に維持することができる。

撮像装置により撮像される画像に存在する全ての対象物について、その特徴量がより多く現れる方向が同じである場合、その特徴量がより多く現れる方向となるようにＨＤＲ処理方向を一律に制御すれば、全ての対象物の特徴量の極端な減少を抑えることができる。しかし、各対象物の特徴量がより多く現れる方向が異なる場合、ＨＤＲ処理方向を一律に制御すると、所定の対象物の特徴量の極端な減少は抑えられるものの、別の対象物の特徴量の極端な減少が抑えられなくなる可能性がある。

そこで、請求項４に記載の撮像装置では、制御部は、さらに、面内ＨＤＲ処理を実行する対象となる対象領域を設定する領域設定部を備えている。そして、この場合、方向制御部は、領域設定部により設定された対象領域毎にＨＤＲ処理方向の制御を行う。上記構成によれば、対象領域毎に個別にＨＤＲ処理方向を設定することが可能となるため、各対象物の特徴量がより多く現れる方向が異なる場合でも、それに合わせて最適な方向となるように対象領域毎のＨＤＲ処理方向を制御すれば、全ての対象物の特徴量の極端な減少を抑えることができる。

対象物の特徴量がより多く現れる方向は、常に一定であるとは限らず、対象物の移動に伴って変化する可能性がある。そのため、ある時点において対象物の特徴量がより多く現れる方向となるようにＨＤＲ処理方向が制御されたとしても、その後、対象物が移動したことにより、ＨＤＲ処理方向が対象物の特徴量がより多く現れる方向とは異なる方向になる可能性がある。

そこで、請求項５に記載の撮像装置では、制御部は、さらに、画像データに基づいて撮像された対象物の外形を判断する外形判断部を備えている。この場合、領域設定部は、画像データに基づいて対象物の移動速度および移動方向を検出し、外形判断部によって判断された外形に対して所定のマージンを加えた領域を対象領域として設定するとともに、検出した移動速度および移動方向に応じて対象領域を順次移動させる。

このようにすれば、ＨＤＲ処理を実行する対象となる対象領域は、撮像される画像に存在する対象物毎に個別に設定されるとともに、対象物の移動に追従するように移動する。そのため、所定の対象物が移動したことにより、その対象物の特徴量がより多く現れる方向が変化したとしても、その変化した後の対象物の特徴量がより多く現れる方向がＨＤＲ処理方向となるように制御することができる。

また、この場合、対象領域は、対象物の外形に対して所定のマージンを加えた領域となっており、１つの対象領域により占有される領域は必要最小限に抑えられるようになっている。そのため、撮像される画像に数多くの対象物が存在する場合でも、それら対象物毎に対象領域を設定することが可能となる。その結果、撮像される画像に存在する全ての対象物の特徴量の極端な減少が抑えられ、それら全ての対象物に対する物体認識処理の認識精度を良好に維持することができる。

上述したように、対象領域が設定されて個別にＨＤＲ処理方向が制御された結果、その対象領域内の対象物に対する物体認識処理が正常に完了した場合、その対象物については、特徴量が多く得られなくなっても問題は生じない。そこで、請求項６に記載の撮像装置では、領域設定部は、対象領域を設定した後、対象領域を解除するための指令が与えられると対象領域の設定を解除する。そして、方向制御部は、領域設定部による対象領域の設定が解除されると、画像の全ての領域についてＨＤＲ処理方向を一律に制御する。

このような構成によれば、例えば、対象領域内の対象物に対する物体認識処理が正常に完了した場合などに対象領域設定部に対して対象領域を解除するための指令を与えるようにすれば、その後は、画像の全ての領域についてＨＤＲ処理方向が一律に制御されることになるため、制御部における処理負荷が軽減されるという効果が得られる。

第１実施形態に係る撮像装置の構成を模式的に示す図 対象物である人の特徴量がより多く現れる方向を説明するための図 撮像部が側壁に取り付けられた設置態様を模式的に示す図 １行毎に高感度と低感度とが切り替えられるように面内ＨＤＲ処理が実行される際の画像データを模式的に示す図 撮像部が天井に取り付けられた設置態様を模式的に示す図 １列毎に高感度と低感度とが切り替えられるように面内ＨＤＲ処理が実行される際の画像データを模式的に示す図 第２実施形態に係る撮像装置の構成を模式的に示す図 ３つの対象領域が設定された場合の画像データを模式的に示す図 第３実施形態に係る撮像装置の構成を模式的に示す図 制御部により実行される処理の内容を模式的に示す図 領域設定部により実行される領域設定処理の内容を模式的に示す図 ２つの対象領域が設定された場合の画像データを模式的に示す図

以下、複数の実施形態について図面を参照して説明する。なお、各実施形態において実質的に同一の構成には同一の符号を付して説明を省略する。
（第１実施形態）
以下、第１実施形態について、図１〜図６を参照して説明する。

図１に示す撮像装置１は、レーザでの測距を行うTime of Flight（ＴＯＦ）型の距離画像センサとして構成されている。この場合、撮像装置１は、セイフティ用途、セキュリティ用途などに用いられ、その撮像の対象となる対象物としては人を想定している。

撮像装置１は、対象物を撮像する撮像部２および撮像部２の動作を制御する制御部３を備えている。撮像部２は、対象物の距離画像を撮像する構成となっている。すなわち、撮像部２は、レーザ光を出射するレーザ出射部４、レーザ出射部４によるレーザ光の出射動作を制御する出射制御部５、出射されたレーザ光の反射光を受光して距離画像を表す信号を出力する距離画像センサ部６、距離画像センサ部６から出力される信号をＡ／Ｄ変換するＡ／Ｄ変換部７を備えている。

この場合、距離画像センサ部６は、ＣＭＯＳイメージセンサを主体に構成されており、その受光感度（以下、単に感度と呼ぶ）を画素単位で変更することが可能となっている。本実施形態では、距離画像センサ部６が有する上記機能を利用し、後述する面内ＨＤＲ処理において感度を異ならせる方向であるＨＤＲ処理方向が制御されるようになっている。

制御部３は、出射制御部５を介してレーザ光の出射を制御するとともに、Ａ／Ｄ変換部７から出力されるデジタル信号を用いて距離演算、画像処理などを行い、距離画像を表す画像データを生成する。この場合、画像データは、対象物までの距離を表す距離画像データとなる。なお、本実施形態において、制御部３は、撮像部２とは別体であり、例えばいわゆるパソコンで構成されている。

制御部３は、ＨＤＲ処理部８、方向制御部９、物体検出部１０および物体認識部１１を備えている。本実施形態では、ＨＤＲ処理部８、方向制御部９、物体検出部１０および物体認識部１１は、制御部３が有するＣＰＵがＲＯＭなどに記憶されたプログラムを実行することにより実現されている、つまりソフトウェアにより実現されている。なお、ＨＤＲ処理部８、方向制御部９、物体検出部１０および物体認識部１１は、専用のハードウェアにより実現することもできる。

ＨＤＲ処理部８は、面内ＨＤＲ処理を実行することができる。面内ＨＤＲ処理では、所定の単位領域毎に撮像における感度を異ならせることで１フレーム分の撮像により感度の異なる複数の画像データが取得され、それら複数の画像データを合成することによりダイナミックレンジが拡大された画像データが生成される。

上記単位領域としては、水平方向（行方向）に並ぶ複数の画素領域、つまり例えば１行などの単位行、または、垂直方向（列方向）に並ぶ複数の画素領域、つまり例えば１列などの単位列が挙げられる。また、この場合、撮像における感度は、前述した距離画像センサ部６が有する機能を用いて、２段階に切り替えられるようになっている。なお、以下では、２段階の感度のうち、高いほうの感度を「高感度」と呼び、低いほうの感度を「低感度」と呼ぶ。

方向制御部９は、面内ＨＤＲ処理において感度を異ならせる方向であるＨＤＲ処理方向を制御する。具体的には、方向制御部９は、対象物の特徴量がより多く現れる方向がＨＤＲ処理方向となるように制御を行う。前述したように、撮像装置１では、対象物として人が想定されている。図２に示すように、人の外周のうち、頭１２、胴体１３および足１４の並び方向Ｄ１の長さは、その並び方向と直交する方向である人の肩幅の方向Ｄ２の長さに比べて長い。そのため、人の外周のうち、並び方向Ｄ１に現れる特徴量は、並び方向Ｄ１と直交する肩幅の方向Ｄ２に現れる特徴量に比べて多くなる。

このような点を考慮し、方向制御部９は、人の特徴量がより多く現れる並び方向Ｄ１がＨＤＲ処理方向となるように制御を行う。以下、方向制御部９によるＨＤＲ処理方向の制御の具体例について、図３〜図６を参照して説明する。なお、図４および図６では、高感度に設定された複数の画素領域を実線の矢印で模式的に示すとともに、低感度に設定された複数の画素領域を破線の矢印で模式的に示している。

［１］ＨＤＲ処理方向の制御の第１具体例
図３に示すように、第１具体例では、撮像装置１の撮像部２は、側壁１５に取り付けられている。この場合、撮像部２は、水平方向、具体的には図３における右方向の所定領域を撮像することになる。このように設置された撮像装置１によって撮像された画像において、ほとんどの場合、対象物である人Ｈは、並び方向Ｄ１が画像の垂直方向（図４の上下方向）となるように映る。

そこで、このような場合、例えば撮像装置１が設置された際、方向制御部９は、画像の全ての領域について、垂直方向がＨＤＲ処理方向となるように一律に切り替えを行う。このようにすれば、ＨＤＲ処理部８により実行される面内ＨＤＲ処理では、図４に示すように、例えば１行毎に高感度と低感度とが切り替えられる。このような面内ＨＤＲ処理が実行されることにより生成される画像データは、垂直解像度が低下するものの、水平解像度は通常の撮像における解像度と同程度に維持される。

［２］ＨＤＲ処理方向の制御の第２具体例
図５に示すように、第２具体例では、撮像装置１の撮像部２は、天井１６に取り付けられている。この場合、撮像部２は、垂直方向、具体的には図５における下方向の所定領域を撮像することになる。このように設置された撮像装置１によって撮像された画像において、対象物である人Ｈは、並び方向Ｄ１が画像の垂直方向（図６の上下方向）となるように映ったり、あるいは、並び方向Ｄ１が画像の水平方向（図６の左右方向）となるように映ったりする。

そのため、この場合、予め撮像装置１によって撮像する領域における人の流れ（人の往来方向）などを観測しておき、その観測結果に基づいてＨＤＲ処理方向を制御すればよい。例えば、人の流れの大半が、図５における左右方向になるといった観測結果が得られるようであれば、例えば撮像装置１が設置された際、方向制御部９は、画像の全ての領域について、水平方向がＨＤＲ処理方向となるように一律に切り替えを行う。

このようにすれば、ＨＤＲ処理部８により実行される面内ＨＤＲ処理では、図６に示すように、例えば１列毎に高感度と低感度とが切り替えられる。このような面内ＨＤＲ処理が実行されることにより生成される画像データは、水平解像度が低下するものの、垂直解像度は通常の撮像における解像度と同程度に維持される。

物体検出部１０は、生成される画像データに基づいて、撮像された画像に物体が存在するか否かを判断する物体検出処理を実行することができる。この物体検出処理は、一般に、特徴点を用いることなく実施される処理となる。物体認識部１１は、生成される画像データに基づいて、撮像された画像に存在する物体が何であるかを判断する物体認識処理を実行することができる。この物体認識処理は、一般に、特徴点を用いて実施される処理となる。本実施形態では、対象物が人であることから、物体認識処理は、撮像された画像に存在する物体が人であるか否かを判断する人認識処理となる。

以上説明したように、本実施形態によれば次のような効果が得られる。
撮像装置１の制御部３は、所定の単位領域毎に撮像における感度を異ならせることで１フレーム分の撮像により感度の異なる複数の画像データを取得するとともに、それら複数の画像データを合成することによりダイナミックレンジが拡大された画像データを生成する面内ＨＤＲ処理を実行するＨＤＲ処理部８を備えている。上記構成によれば、面内ＨＤＲ処理が実行されることにより、フレームレートを減少させることなく、ダイナミックレンジが拡大された画像データを得ることができる。

ただし、前述したように、面内ＨＤＲ処理には、解像度が減少するという課題がある。画像データの解像度の減少は、画像データを用いて行われる各種の処理、物体認識部１１により実行される物体認識処理において問題となる。なぜなら、物体認識処理では、特徴点を用いた判断が行われることが一般的である。そして、ＨＯＧ（Histograms of Oriented Gradients）などの一般的な特徴量計算で得られる物体（例えば人）の特徴量は、物体の外周の特徴点の割合が多い。そのため、対象物の外周の形である外形を正確に捉えることは、物体認識の精度向上に繋がると言える。画像データの解像度が低下すると、画像データから得られる対象物の外周の特徴点が減少して対象物の外形を正確に捉えることが困難となり、その結果、物体認識の精度が低下するおそれがある。

本実施形態の構成では、図４に示したように、１行毎に感度を異ならせるように面内ＨＤＲ処理が行われると、生成される画像データの垂直解像度が低下する。また、本実施形態の構成では、図６に示したように、１列毎に感度を異ならせるように面内ＨＤＲ処理が行われると、生成される画像データの水平解像度が低下する。すなわち、本実施形態の構成において、面内ＨＤＲ処理を実行した際に画像データの解像度が低下する方向は、面内ＨＤＲ処理において感度を異ならせる方向であるＨＤＲ処理方向に依存する。

また、対象物の外周のうち、一方向（例えば縦方向）に現れる特徴量と、その一方向と直交する他方向（例えば横方向）に現れる特徴量とは、完全に同じ量にはならないことが多い。対象物が本実施形態において想定されている人である場合、図２に示したように、並び方向Ｄ１に現れる特徴量は、その並び方向Ｄ１と直交する方向Ｄ２に現れる特徴量に比べて多くなる。そして、元々特徴量が多く現れる方向については、解像度が低下したとしても、比較的多くの特徴量が得られることから大きな問題は生じない。しかし、元々特徴量が少ない方向については、解像度が低下すると、特徴量が全く得られなくなるおそれがある。

本実施形態では、このような点に着目し、画像データの解像度の減少によって、画像データから得られる対象物の外周の特徴点が極端に減少しないようにするため、次のような工夫が加えられている。すなわち、制御部３は、ＨＤＲ処理方向を制御する方向制御部９を備えている。そして、方向制御部９は、対象物の特徴量がより多く現れる方向をＨＤＲ処理方向とするように制御を行う。

上記構成によれば、面内ＨＤＲ処理が実行されることで生成される画像データでは、対象物の特徴量がより多く現れる方向の解像度が低下するものの、対象物の特徴量がより少ない方向の解像度は通常の撮像における解像度と同程度に維持される。これにより、画像データから得られる対象物の外周の特徴点は、元々多くの特徴量が現れる方向については減少するものの、元々現れる特徴量が少ない方向については減少することはない。

そのため、上記構成では、画像データから得られる対象物の外周の特徴点が極端に減少することがなくなり、その結果、物体認識部１１により実行される物体認識処理の認識精度を良好に維持することができる。したがって、本実施形態によれば、フレームレートを減少させることなくダイナミックレンジが拡大された画像データを生成するとともに、解像度の減少が画像データを用いて行われる処理に及ぼす影響を小さく抑えることができるという優れた効果が得られる。

撮像装置１において、撮像部２は対象物の距離画像を撮像する構成であり、画像データは対象物までの距離を表す距離画像データである。つまり、本実施形態の撮像装置１は、距離画像センサとして構成されている。このように距離画像センサとして構成される撮像装置１においても、上述した工夫により、フレームレートを減少させることなく、解像度の減少が画像データを用いて行われる物体認識処理などの処理に及ぼす影響を小さく抑えることができる。したがって、本実施形態の撮像装置１は、人の動体検知および動線追跡を高速かつ高精度に行うことが可能となり、セイフティ用途やセキュリティ用途に好適なものとなる。

撮像装置１では、撮像の対象となる対象物として人が想定されている。人の特徴量がより多く現れる方向は、図２に示したように、人の頭１２、胴体１３および足１４の並び方向Ｄ１であり、逆に、人の肩幅の方向Ｄ２については、元々得られる特徴量が少ない。したがって、仮に、ＨＤＲ処理方向が人の肩幅の方向Ｄ２に一致するように制御されると、面内ＨＤＲ処理が実行されることにより生成された画像データからから得られる人の肩幅方向Ｄ２の外周の特徴量が極端に減少するおそれがある。

そこで、本実施形態では、方向制御部９は、画像データにおける人の頭１２、胴体１３および足１４の並び方向Ｄ１がＨＤＲ処理方向となるように制御を行う。これにより、撮像された画像データから得られる人の外周の特徴量の極端な減少を確実に抑えることが可能となり、その結果、対象物である人の認識精度を良好に維持することができる。

（第２実施形態）
以下、第２実施形態について図７および図８を参照して説明する。
図７に示すように、本実施形態の撮像装置２１が備える制御部２２は、第１実施形態の制御部３が備える構成に加え、面内ＨＤＲ処理を実行する対象となる対象領域を設定する領域設定部２３を備えている。領域設定部２３は、画像の全領域において、複数の対象領域を設定することができる。そして、この場合、方向制御部９は、領域設定部２３により設定される対象領域毎にＨＤＲ処理方向の制御を行うようになっている。なお、領域設定部２３は、ＨＤＲ処理部８などと同様、ソフトウェアにより実現されている。

図８に示すように、領域設定部２３により、３つの対象領域Ｒ１、Ｒ２およびＲ３が設定された場合、方向制御部９は、対象領域Ｒ１〜Ｒ３毎にＨＤＲ処理方向を制御することができる。なお、図８では、図４および図６と同様、高感度に設定された複数の画素領域を実線の矢印で模式的に示すとともに、低感度に設定された複数の画素領域を破線の矢印で模式的に示している。

この場合、予め対象領域Ｒ１〜Ｒ３における人の流れ（人の往来方向）などを観測しておき、その観測結果に基づいて、それぞれのＨＤＲ処理方向を制御すればよい。例えば、対象領域Ｒ１およびＲ３における人の流れの大半が図８における上下方向になるとともに、対象領域Ｒ２における人の流れの大半が図８における左右方向になるといった観測結果が得られるようであれば、方向制御部９は次のようにＨＤＲ処理方向を制御すればよい。すなわち、図８に示すように、方向制御部９は、対象領域Ｒ１およびＲ３では垂直方向がＨＤＲ処理方向となるように制御するとともに、対象領域Ｒ２では水平方向がＨＤＲ処理方向となるように制御すればよい。

このようにすれば、ＨＤＲ処理部８により実行される面内ＨＤＲ処理では、図８に示すように、対象領域Ｒ１およびＲ３では１行毎に高感度と低感度とが切り替えられ、対象領域Ｒ２では１列毎に高感度と低感度とが切り替えられる。このような面内ＨＤＲ処理が実行されることにより生成される画像データにおいて、対象領域Ｒ１およびＲ３については垂直解像度が低下するものの、水平解像度は通常の撮像における解像度と同程度に維持される。また、上記画像データにおいて、対象領域Ｒ２については水平解像度が低下するものの、垂直解像度は通常の撮像における解像度と同程度に維持される。

撮像装置２１により撮像される画像に存在する全ての対象物について、その特徴量がより多く現れる方向が同じである場合、その特徴量がより多く現れる方向となるようにＨＤＲ処理方向を一律に制御すれば、全ての対象物の特徴量の極端な減少を抑えることができる。しかし、各対象物の特徴量がより多く現れる方向が異なる場合、ＨＤＲ処理方向を一律に制御すると、所定の対象物の特徴量の極端な減少は抑えられるものの、別の対象物の特徴量の極端な減少が抑えられなくなる可能性がある。

そこで、本実施形態の撮像装置２１では、制御部２２は、面内ＨＤＲ処理を実行する対象となる対象領域を設定する領域設定部２３を備えている。そして、この場合、方向制御部９は、対象領域毎にＨＤＲ処理方向の制御を行う。このような構成によれば、対象領域毎に個別にＨＤＲ処理方向を設定することが可能となるため、各対象物の特徴量がより多く現れる方向が異なる場合でも、それに合わせて最適な方向となるように対象領域毎のＨＤＲ処理方向を制御すれば、全ての対象物の特徴量の極端な減少を抑えることができる。

（第３実施形態）
以下、第３実施形態について図９〜図１２を参照して説明する。
図９に示すように、本実施形態の撮像装置３１が備える制御部３２は、第２実施形態の制御部２２に対し、画像データに基づいて撮像された対象物の外形を判断する外形判断部３３が追加されている点、領域設定部２３に代えて領域設定部３４を備えている点などが異なっている。なお、外形判断部３３および領域設定部３４は、ＨＤＲ処理部８などと同様、ソフトウェアにより実現されている。

領域設定部３４は、対象領域を設定する領域設定処理を実行することができる。領域設定処理では、画像データに基づいて対象物の移動速度が検出されるとともに移動方向が予測される。また、領域設定処理では、外形判断部３３によって判断された外形に対して所定のマージンを加えた領域が対象領域として設定されるとともに、検出された移動速度および予測された移動方向に応じて対象領域が順次移動される。

次に、上記構成に作用について説明する。
［１］制御部３２により実行される処理の内容
制御部３２は、図１０に示すような内容の処理を実行する。まず、ステップＳ１００では、画像の全ての領域について、ＨＤＲ処理方向が第１方向に設定される。なお、この場合の第１方向は、垂直方向である。

ステップＳ２００では、生成される画像データに基づいて、移動する物体が存在するか否か、つまり移動体が検出されたか否かが判断される。ここで、移動体が検出されたと判断されると、ステップＳ２００で「ＹＥＳ」となり、ステップＳ３００に進む。ステップＳ３００では、生成される画像データに基づいて、検出された移動体（物体）の外形が判断される。

ステップＳ４００では、対象領域を設定するための領域設定処理が実行される。なお、領域設定処理の内容については後述する。ステップＳ５００では、設定された各対象領域の全てについて、ＨＤＲ処理方向が対象物（移動体）の特徴量がより多く現れる方向と一致しているか否かが判断される。なお、このような判断は、画像データを水平方向および垂直方向にスキャンした結果に基づいて行うことができる。

ここで、全ての対象領域について、ＨＤＲ処理方向が対象物の特徴量がより多く現れる方向と一致していると判断された場合、ステップＳ５００で「ＹＥＳ」となり、ステップＳ６００に進む。一方、少なくとも１つの対象領域について、ＨＤＲ処理方向が対象物の特徴量がより多く現れる方向と一致していないと判断された場合、ステップＳ５００で「ＮＯ」となり、ステップＳ７００を経てステップＳ６００に進む。

ステップＳ７００では、ＨＤＲ処理方向が対象物の特徴量がより多く現れる方向と一致していない、つまり「ＨＤＲ処理方向≠対象物の特徴量が多く現れる方向」が成立する対象領域について、ＨＤＲ処理方向が第２方向に切り替えられる。これにより、全ての対象領域におけるＨＤＲ処理方向が、対象物の特徴量がより多く現れる方向に設定される。ステップＳ６００では、撮像された画像に存在する物体が人であるか否かを判断する人認識処理が実行される。

［２］領域設定処理の内容
領域設定処理の具体的な内容は、例えば図１１に示すような内容となる。まず、ステップＳ４１０では、ステップＳ３００で検出された物体の外形に対して一定のマージンを確保した対象領域が設定される。ここで設定される対象領域は、例えば図１２に示す対象領域Ｒ３１、Ｒ３２などのように、四角いエリアとなっている。

ステップＳ４２０では、画像データに基づいて物体の移動速度が検出される。ステップＳ４３０では、画像データに基づいて物体の移動方向が予測される。なお、物体の移動速度の検出および物体の移動方向の予測は、例えば所定のサンプリング周期において生成された画像データにおける物体の位置と、それ以前に例えば１サンプリング周期前に生成された画像データにおける物体の位置とに基づいて行うことができる。ステップＳ４４０では、ステップＳ４２０で検出された物体の移動速度およびステップＳ４３０で予測された物体の移動方向に応じて、対象領域を順次移動させる。

対象物の特徴量がより多く現れる方向は、常に一定であるとは限らず、対象物の移動に伴って変化する可能性がある。そのため、ある時点において対象物の特徴量がより多く現れる方向となるようにＨＤＲ処理方向が制御されたとしても、その後、対象物が移動したことにより、ＨＤＲ処理方向が対象物の特徴量がより多く現れる方向とは異なる方向になる可能性がある。

そこで、本実施形態の撮像装置３１の制御部３２は、画像データに基づいて撮像された対象物の外形を判断する外形判断部３３を備えている。この場合、領域設定部３４は、画像データに基づいて対象物の移動速度を検出するとともに移動方向を予測する。そして、領域設定部３４は、外形判断部３３によって判断された外形に対して所定のマージンを加えた領域を対象領域として設定するとともに、検出した移動速度および予測した移動方向に応じて対象領域を順次移動させる。つまり、この場合、対象領域の位置は、対象物の位置に合わせて動的に変化する。

このようにすれば、図１２に示すように、撮像される画像に存在する対象物である人Ｈ３１、Ｈ３２毎に、ＨＤＲ処理を実行する対象となる対象領域Ｒ３１、Ｒ３２が個別に設定される。また、設定された対象領域Ｒ３１、Ｒ３２は、それぞれ人Ｈ３１、Ｈ３２の移動に追従するように移動する。これにより、人Ｈ３１、Ｈ３２が移動した場合でも、人Ｈ３１、Ｈ３２は、それぞれ対象領域Ｒ３１、Ｒ３２内に収められる。そのため、所定の対象物が移動したことにより、その対象物の特徴量がより多く現れる方向が変化したとしても、その変化した後の対象物の特徴量がより多く現れる方向がＨＤＲ処理方向となるように制御することができる。

また、この場合に設定される対象領域は、図１２に示す対象領域Ｒ３１、Ｒ３２のように、対象物である人Ｈ３１、Ｈ３２の外形に対して所定のマージンを加えた領域となっており、１つの対象領域により占有される領域は必要最小限に抑えられるようになっている。そのため、撮像される画像に数多くの対象物が存在する場合でも、限られた領域を最大限に生かして、それら対象物毎に対象領域を設定することが可能となる。その結果、撮像される画像に存在する全ての対象物の特徴量の極端な減少が抑えられ、それら全ての対象物に対する物体認識処理の認識精度を良好に維持することができる。

なお、対象領域のマージンを動的に変化させることも可能である。具体的には、検出された対象物の移動方向に基づいて、その移動方向側のマージンが多くなるように対象領域のマージンを動的に変化させるとよい。このようにすれば、対象物が高速で移動するような場合でも、移動した対象物を対象領域に確実に収めることが可能となる。

また、本実施形態の構成によれば、次のような効果も得られる。すなわち、予め撮像装置３１により撮像される全領域における人の流れ（人の往来方向）などを観測しておき、その観測結果に基づいて、ステップＳ１００における第１方向を決定する。例えば、人の流れの大半が図１２における上下方向になるという観測結果が得られるようであれば第１方向を垂直方向とし、人の流れの大半が図１２における左右方向になるという観測結果が得られるようであれば第１方向を水平方向とすればよい。このようにすれば、撮像装置３１により撮像された大半の人は、ＨＤＲ処理方向が第１方向に設定された状態で、つまりステップＳ６００が実行されることなく、ステップＳ７００の人認識処理で精度良く認識することができる。

ただし、実際には、大半の対象物とは異なる方向に移動する対象物が稀に存在する可能性がある。そのような場合でも、本実施形態によれば、その異なる方向に移動する対象物の外形に対してマージンが確保された対象領域についてＨＤＲ処理方向が第１方向とは異なる第２方向に切り替えられる。その結果、そのような稀な方向に移動する対象物をも含め、撮像装置３１により撮像された全ての対象物（人）について、ステップＳ７００の人認識処理で精度良く認識することができる。

なお、この場合、上記稀な方向に移動する対象物についての認識が正常に完了した後、その対象領域の設定を解除するとともに、全てのＨＤＲ処理方向を第１方向に戻すように切り替える、つまり画像の全ての領域についてＨＤＲ処理方向が第１方向となるように一律に制御するとよい。なお、対象領域の設定の解除は、物体認識部１１から領域設定部３４に対して対象領域を解除するための指令を与えるといった形で行うことができる。

このようにすると、上記対象物についての特徴量を多く得ることができなくなるおそれがある。しかし、上記対象物は、既に人であることが認識されているため、その特徴量を多く得る必要性はない。したがって、上述したように、対象物が人であることが認識された後は、対象領域の設定を解除するとともに、画像の全ての領域についてＨＤＲ処理方向が第１方向となるように一律に制御しても問題はなく、それにより、制御部３２における処理負荷の増加を必要最小限に抑えることができるという効果が得られる。

（その他の実施形態）
なお、本発明は上記し且つ図面に記載した各実施形態に限定されるものではなく、その要旨を逸脱しない範囲で任意に変形、組み合わせ、あるいは拡張することができる。
上記各実施形態で示した数値などは例示であり、それに限定されるものではない。
本発明は、距離画像センサとして構成された撮像装置１などに限らず、例えば通常の画像データを生成するカメラなど、撮像装置全般に適用することができる。

１、２１、３１…撮像装置、２…撮像部、３、２２、３２…制御部、８…ＨＤＲ処理部、９…方向制御部、２３、３４…領域設定部、３３…外形判断部。

Claims (6)

1. 対象物を撮像する撮像部と、前記撮像部の動作を制御する制御部と、を備えた撮像装置であって、
   前記制御部は、
   所定の単位領域毎に前記撮像における感度を異ならせることで１フレーム分の撮像により感度の異なる複数の画像データを取得するとともに、それら複数の画像データを合成することによりダイナミックレンジが拡大された画像データを生成する面内ＨＤＲ処理を実行するＨＤＲ処理部と、
   前記面内ＨＤＲ処理において感度を異ならせる方向であるＨＤＲ処理方向を制御する方向制御部と、
   を備え、
   前記方向制御部は、前記対象物の特徴量がより多く現れる方向が前記ＨＤＲ処理方向となるように制御を行う撮像装置。
2. 前記撮像部は、前記対象物の距離画像を撮像する構成であり、
   前記画像データは、前記対象物までの距離を表す距離画像データである請求項１に記載の撮像装置。
3. 前記対象物は、人であり、
   前記方向制御部は、前記画像データにおける前記人の頭、胴体および足の並び方向が前記ＨＤＲ処理方向となるように制御を行う請求項１または２に記載の撮像装置。
4. 前記制御部は、さらに、前記面内ＨＤＲ処理を実行する対象となる対象領域を設定する領域設定部を備え、
   前記方向制御部は、前記領域設定部により設定された前記対象領域毎に前記ＨＤＲ処理方向の制御を行う請求項１から３のいずれか一項に記載の撮像装置。
5. 前記制御部は、さらに、前記画像データに基づいて撮像された前記対象物の外形を判断する外形判断部を備え、
   前記領域設定部は、
   前記画像データに基づいて対象物の移動速度および移動方向を検出し、
   前記外形に対して所定のマージンを加えた領域を前記対象領域として設定するとともに、前記移動速度および移動方向に応じて前記対象領域を順次移動させる請求項４に記載の撮像装置。
6. 前記領域設定部は、前記対象領域を設定した後、当該対象領域を解除するための指令が与えられると、当該対象領域の設定を解除し、
   前記方向制御部は、前記領域設定部による前記対象領域の設定が解除されると、画像の全ての領域について前記ＨＤＲ処理方向を一律に制御する請求項５に記載の撮像装置。

Images