JP2016054423A - 撮像装置、その制御方法およびプログラム - Google Patents

Abstract

【課題】撮像した画像を特定の分割数に分けて画面表示する機能を備える全方位カメラを使用した場合、画面毎に適切なＨＤＲ画像の合成割合にならない可能性がある。【解決手段】露出の異なる画像を取得する撮影部と、撮像した画像データを複数の領域に分割する画像分割部を備え、分割した領域毎で、露光時間の異なる複数の画像信号を合成し、ＨＤＲ（ハイダイナミックレンジ）画像得る合成部と、分割された領域毎でＨＤＲ合成の合成割合を設定できる設定部を備えることを特徴とする撮像装置。【選択図】図１

Description

本発明は、カメラ装置およびカメラシステムに関し、特に、全方向の画像を撮像する全方位カメラの機能とカメラで撮影した複数の画像データを合成して１枚の高ダイナミックレンジ（ＨＤＲ）画像を生成する機能を備えたカメラシステムに関する。

撮像装置を用いたカメラ装置およびカメラシステムは、例えば、公共の建物や場所、銀行、スーパ等の店舗、ダム、基地、飛行場等の立入り禁止区域等への侵入者あるいは侵入物体（以下侵入物体と称す）を監視する目的でも、数多く用いられている。このカメラで使用される撮像素子にはＣＣＤやＣＭＯＳといった固体撮像素が使用される。

一般的に、固体撮像素子のダイナミックレンジは狭いため、露出の異なる複数の画像データを合成して１枚の高ダイナミックレンジ（ＨＤＲ）画像を生成するカメラが提案されている。このＨＤＲ画像は、白とび又は黒つぶれをする画素の数が減る一方で、動体ブレ等の影響を受けやすく、期待した結果が得られない場合がある。

特許文献１では、画像間の差分を解析し、その解析結果を基に画像合成を行うか否かを判定している。

特開２０１２−９００４１号広報

しかしながら、撮像した画像を特定の分割数に分けて画面表示する機能を備える全方位カメラを使用した場合では、画面毎に適切なＨＤＲ画像の合成割合にならない可能性がある。

本発明では、撮像した画像を特定の分割数に分けて画像表示する全方位カメラの機能を備えた装置を使用した場合で、画面毎に動体ブレ等を考慮した、ＨＤＲ画像を得ることができる撮像装置を提供することを目的とする。

上記の目的を達成するために、本発明の撮像装置は、露出の異なる画像を取得する撮影部と、撮像した画像データを複数の領域に分割する画像分割部を備え、分割した領域毎で、露光時間の異なる複数の画像信号を合成し、ＨＤＲ（ハイダイナミックレンジ）画像得る合成部と、分割された領域毎でＨＤＲ合成の合成割合を設定できる設定部を備えることを特徴とする。

本発明の撮像装置によれば、撮像した画像を特定の分割数に領域を分けて画像表示する機能を備えた全方位カメラを使用した場合で、分割した画面毎に適切な合成割合に設定されたＨＤＲ画像を得ることができる。

本発明の実施形態に係る、撮像処理の構成を示すブロック図である。 本発明の実施形態に係る、画像を特定の分割数に分けてＨＤＲ画像を合成するフローチャートである。 本発明の実施形態に係る、領域毎に動物体が存在するか非かでＨＤＲ画像の合成割合を変更する説明図である。 本発明の実施形態に係る、領域毎に白とび又は黒つぶれの画素の数によりＨＤＲ画像の合成割合を変更する説明図である。 本発明の実施形態に係る、領域毎に検出したい物体の有無を領域毎に検知したか非かでＨＤＲ画像の合成割合を変更する説明図である。 本発明の実施形態に係る、領域毎にＨＤＲ合成の合成割合を決定した後、使用頻度の小さい露出を省いて再度領域毎に合成割合を設定する説明図である。 本発明の実施形態に係る、分割した領域の位置を変更する際、領域の位置を変更する前の全方位画像データより、ＷＤＲの合成割合を変更する説明図である。 本発明の第二の実施形態に係る、検出したい物体（人等）が他の領域へ移動する際、動物体の移動先である領域と移動前の領域を予測し、それら領域におけるＨＤＲ合成の合成割合を変更説明図である。

以下、本発明を実施するための形態を図面に基づいて説明する。

図１は、本発明の第１の実施例による全方位カメラ機能とＨＤＲ機能を備えたカメラ装置１００と、生成した画像の表示等を行うユーザーインターフェース部１０１の各処理内容を示した構成図である。

カメラ装置１００では、１０２は入射光を結像するための光学レンズであり、光を撮像素子１０３に集光させる。１０３は撮像レンズ１０２からの撮像光に応じて画像信号に変化する撮像素子であり、ＣＣＤセンサやＣＭＯＳセンサがあげられる。１０４は、撮像装置１０３の蓄積時間を変更させる蓄積時間変更部である。ＡＤ変換処理部１０５はアナログ電気信号である映像信号をＡ／Ｄ変換処理でもってデジタル信号に変換する機能を有している。

１０６は、Ａ／Ｄ変換処理部１０５から来た映像信号に対して、現像処理を施す画像処理機能を有している。１０７は、現像した全方位画像に対して、レンズの歪みを補正する補正部である。１０８は、撮像された全方位の画像データを特定の画像領域数に分割する分割部である。１０９は分割した画像データを保持するデータ記録部である。１１０はＨＤＲ合成の合成割合を分割した画像領域毎に設定する、設定部である。合成割合は１０９に蓄積された画像データを解析することで決定される。１１１は、を分割した領域毎で露出の異なる複数枚の画像を分割した画像合成し、ＷＤＲ画像を生成する合成部である。１０１では、１００で生成した画像を表示部１１２で表示する。

なお、図１の実施例では、撮像レンズ１０２から合成部１１１までをカメラ装置１００で行っているが、撮像レンズ１０２から合成部１０６までをカメラ装置で歪曲補正１０７から合成部１１１をユーザーインターフェース部１０１で処理してもよい。また、ユーザーインターフェース１０１は前記カメラ装置に直接接続される構造であるが、他の実施形態として、ユーザーインターフェース１０１がネットワークを介して接続されるＰＣによるディスプレイ等の画像表示委装置でもよい。

次に、撮像した画像を特定の分割数に分けてＨＤＲ画像を合成するフローについて説明する。図２は、撮像した画像を特定の分割数に分けてＨＤＲ画像を合成するフローチャートである。

カメラ装置１００は、起動されたのち、蓄積時間設定部１０４より、撮像素子１０３の蓄積時間を設定する（ステップＳ２００）。次に、全方位画像の取得を開始する（ステップＳ２０１）。取得した、全方位画像には広角レンズ特有の歪みがある。この歪みを補正するため、歪曲補正を１０７で行う（ステップＳ２０２）。次に、全方位画像にたいして、画像分割部１０８より、画像を分割する（ステップＳ２０３）。ここで分割した複数の画像は、重なり合う領域があってもよい。次に、ステップＳ２０３で切り出した領域は画像記憶メモリ１０９へ保存する（ステップＳ２０４）。

これら、ステップＳ２００からステップＳ２０３を露出の設定（ステップＳ２００）で露出時間を変化させながら、Ｉ（ｉ＝１，２・・ｉ・・Ｉ）回繰り返す。露出時間を変化させることで、露出の異なる、Ｊ（ｊ＝１，２・・ｊ・・Ｊ）枚の映像を切り出し領域毎に取得する。次に、ｊ番目の切り出し領域で、Ｎｊ枚画像を使用して、ＨＤＲ合成を行う（ステップＳ２０５）。Ｎｊはｊ番目の切り出し領域における合成枚数で、設定部１１０によって決定される。

図３は、分割した領域毎に動物体が存在するか非かでＨＤＲ画像の合成割合を変更するイメージである。領域３００と領域３０２のように、領域内に動きが大きい物体が存在する場合では加算割合を大きくする。また、領域３０１と領域３０３のように、領域内に動きが大きい物体が存在する場合では加算割合を小さくする。そのため、動きが小さい物体が存在する領域ではＨＤＲ画像が、大きい領域では動体ブレの少ない画像得られ、領域毎に適切な画像が取得できる。なお、領域毎に動きが大きいか非かを、画像間の差分または、あらかじめ取得した背景画像との差分を解析することで求めてもよい。

図４は、領域域毎に白とび又は黒つぶれの画素の数によりＨＤＲ画像の合成割合を変更するイメージである。領域４００と領域４０２にように、領域内で白とび又は黒つぶれの画素の数が多い場合では加算割合を大きくする。また、領域４０１と領域４０３のように、領域内で白とび又は黒つぶれの画素の数が少ない場合では加算割合を小さくする。そのため、領域毎に適切な加算割合で合成したＨＤＲ画像が取得できる。

図５は、領域毎に検出したい物体の有無を領域毎に検知したか非かでＨＤＲ画像の合成割合を変更するイメージである。領域５０１と領域５０３のように、人が存在しない場合では加算割合を大きくする。また、領域５００と領域５０２の場合では、領域内にひとが存在するため加算割合を小さくする。そのため、人が存在しない領域ではＨＤＲ画像が、人が存在する領域では動体ブレの少ない画像得られ、領域毎に適切な画像が取得できる。

図６は、領域毎にＨＤＲ合成の合成割合を決定した後、使用頻度の小さい露出を省いて再度領域毎に合成割合を設定する説明図である。６００は、異なる露光で撮影した画像群をあらわしており、画像の右の数字が小さいほど短い露光、高いほど長い露光の画像を表している。６０１は、動き量、白とび又は黒つぶれの画素の数、物体検知等により、領域毎に加算割合を設定し、領域の数は４か所とした例である。また、破線内は露出毎の使用頻度を表している。

６０１の例では、（４）（長露光）の画像の使用頻度が最も低い。６０２では、（４）（長露光）の画像を使用しないで、再度領域毎に合成割合を設定した例である。（４）（長露光）の画像を撮像素子１０３から取得する必要がないため、フレームレートが向上する。なお、図４は使用頻度が最も低い露出を１枚省く例だが、１枚以上省いてもよい。

図７は、分割した領域の位置を変更する際、領域の位置を変更する前の全方位画像データより、ＷＤＲの合成割合を変更する説明図である。７００は、領域の位置の変更をする前の全方位画像である。７０１は７００の全方位画像に対して特定の領域数に分割し、領域毎に合成割合を設定した例である。７００の全方位画像では、画像全体で人の検知を行う。７０２は、領域ＡをＡ‘へ移動した瞬間の全方位画像の例である。

７０３は７０２の全方位画像に対して特定の領域に分割し、全方位画像７００の物体検知の結果を基に合成割合を設定している。全方位画像７００の物体検知の結果を基にすることで、瞬時に合成割合を変更できる。なお、合成割合を瞬時に変更する判断基準として、人が存在するか非かだけでなく、動物体の有無または白とび又は黒つぶれの画素の数が多いかを利用してもよい。

図８は、検出したい物体（人等）が他の領域へ移動する際、移動先である領域と移動前の領域を予測して、それら領域におけるＨＤＲ合成の合成割合を変更する例である。なお、図８では検出したい物体を人としている。

８００は動物体が他の領域へ移動する前の全方位画像である。８０１から８０４は８００の全方位画像を特定の領域に分割し、領域毎に合成割合を設定した例である。全方位画像８００のＢの領域で人が存在しているため、画像８０２における合成枚数が他の領域に比べ少ない設定している。全方位画像８００を利用して、Ｂの領域に存在する人がＡの領域に移ることを予測する。

全方位画像８０３は、Ｂの領域にいた人がＡ領域に移動した場合の全方位画像である。８０６から８０９は８０５の全方位画像を特定の領域に分割し、全方位画像８００によって予測した人の動きを基に合成割合を設定した例である。画像８０６と８０７では、全方位画像８００における人の動きを予測することで瞬時に合成割合を変更することができる。

１００ カメラ装置、１０１ ユーザーインターフェース部

Claims (11)

1. 露出の異なる画像を取得する撮影部と、撮像した画像データを複数の領域に分割する画像分割部を備え、
   分割した領域毎で、露光時間の異なる複数の画像信号を合成し、ＨＤＲ（ハイダイナミックレンジ）画像得る合成部と、分割された領域毎でＨＤＲ合成の合成割合を設定できる設定部を備えることを特徴とする撮像装置。
2. 撮像部は広角な視野で撮像対象物を撮影できることを特徴とする請求項１に記載の撮像装置。
3. レンズの歪みを補正する補正部を備えることを特徴とする請求項１に記載の撮像装置。
4. 撮像した画像データから動物体が存在するか非かを、分割した領域毎で判定することで、分割した領域毎にＨＤＲ画像の合成割合を変更することを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
5. 撮像した画像データから白とび又は黒つぶれ画素の数により、分割した領域毎で判定することで、分割した領域毎にＨＤＲ画像の合成割合を変更することを特徴とする請求項１乃至請求項項３の何れか一項に記載の撮像装置。
6. 撮像した画像データから検出したい物体が存在するか非かを、分割した領域毎に検知したか非かで、分割した領域毎にＨＤＲ画像の合成割合を変更することを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
7. 領域毎にＨＤＲ合成の合成割合を決定した後、使用頻度の小さい露出を省いて再度領域毎に合成割合を変更することを特徴とする請求項４乃至請求項６の何れか一項に記載の撮像装置。
8. 他の領域で使用率が低い露出の画像を省いて、再度領域毎に合成割合を変更することを特徴とする請求項７に記載の撮像装置。
9. 分割する領域の位置を変更する場合、変更先の位置における領域で動きが大きいか非かを、変更する前の画像データより判断し、その領域におけるＨＤＲ合成の合成割合を変更することを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
10. 分割する領域の位置を変更する場合、変更先の領域で物体の有無を、変更する前の画像データより検知し、ＨＤＲ合成の合成割合を変更することを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
11. 撮像した画像データから検出したい物体が他の領域へ移動する場合、移動先である領域と移動前の領域を予測して、ＨＤＲ合成の合成割合を変更することを特徴とする請求項４又は請求項６に記載の撮像装置。