JP2020113909A - 撮像装置、画像処理装置、および、プログラム - Google Patents

Abstract

【課題】あおり角度の変化による画像の輝度の低下を補正する撮像装置を提供する。【解決手段】撮像装置（１００）は、撮像光学系（３０１）を介して形成された光学像を光電変換して画像データを出力する撮像素子（３００）と、撮像光学系の光軸に直交する面と撮像素子の撮像面とがなす角度を変更する角度制御手段（５００）と、角度に基づいて画像データの輝度を補正する補正手段（１０４）とを有する。【選択図】図２

Description

本発明は、あおり撮影が可能な撮像装置に関する。

従来、防犯手段の一つとしてネットワークカメラが利用されており、ネットワークカメラを高所に設置してレンズの光軸を斜め下側に向け、道路を通行する人や車のナンバープレートを撮影することが行われている。このような撮影において、撮影環境が夜間になる場合などでは、照度が低下するため、絞りが開き、被写界深度が浅くなる。このため、ピントが合う領域は画像の一部となり、その他の領域はピントがボケた状態となる。低照度環境下で絞りが開いた状態（被写界深度が浅い状態）では、レンズの光軸に直交する面に対して撮像素子の撮像面を傾けることにより、撮像素子からの距離が異なる複数の被写体の合焦像を得ることが可能なあおり撮影を行うことが有効である。あおり撮影を行うと、絞りが開いた状態でも被写界深度の深い撮影が可能である。しかし、撮像素子の光電センサに入射する光量が減少し、画像の輝度が低下する。

特許文献１には、チルトシフトレンズを装着して撮影を行う（レンズを傾けて撮影を行う）際の光量不足を改善する撮像装置が開示されている。

特開２０１２−８８６４２号公報

特許文献１に開示された撮像装置によれば、メカニカルシャッタと電子シャッタとを併用して撮像動作を行う際の露出ムラを改善することができる。しかし、特許文献１においては、入射角（あおり角度）の変化による光量の低下（画像の輝度の低下）について考慮されていない。

そこで本発明は、あおり角度の変化による画像の輝度の低下を補正する撮像装置を提供することを目的とする。

本発明の一側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、前記撮像光学系の光軸に直交する面と前記撮像素子の撮像面とがなす角度を変更する角度制御手段と、前記角度に基づいて前記画像データの輝度を補正する補正手段とを有する。

本発明の他の側面としての画像処理装置は、前記撮像装置と、前記撮像装置により前記輝度が補正された画像を表示する画像表示部とを有する。

本発明の他の側面としてのプログラムは、撮像光学系を介して形成された光学像を撮像素子で光電変換して画像データを出力するステップと、前記撮像光学系の光軸に直交する面と前記撮像素子の撮像面とがなす角度を変更するステップと、前記角度に基づいて前記画像データの輝度を補正するステップとをコンピュータに実行させる。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、あおり角度の変化による画像の輝度の低下を補正する撮像装置を提供することができる。

第１の実施形態における画像処理装置のブロック図である。 第１の実施形態における画像処理方法を示すフローチャートである。 第１の実施形態における撮像素子と撮像光学系との関係を示す図である。 第１の実施形態における撮像素子と入射光との関係を示す図である。 第１の実施形態におけるあおり角度の変化による画像の輝度の変化を示す図である。 第２の実施形態における画像処理方法を示すフローチャートである。 第２の実施形態における別の画像処理方法を示すフローチャートである。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

（第１の実施形態）
まず、図１を参照して、本発明の第１の実施形態における画像処理装置の構成について説明する。図１は、本実施形態における画像処理装置１０のブロック図である。なお同図では、構成要素の一部を省略している。

画像処理装置１０は、撮像装置１００と、撮像装置１００と通信可能に接続された画像表示部１０５とを備えて構成される。なお本実施形態では、撮像装置１００と画像表示部１０５とが別体である例を説明するが、撮像装置１００と画像表示部１０５とが一体的に構成されていてもよい。撮像装置１００は、外部から光を取り込んで画像信号を生成し、生成した画像信号を、通信部１０３を介して画像表示部１０５や不図示のサーバなどの外部装置に配信することが可能である。

撮像部１０１は、撮像素子３００およびレンズ群（撮像光学系）３０１を有し、外部から光を取り込んで撮像することにより、周囲の被写体の画像信号を生成して画像を取得する。また撮像部１０１は、撮像光学系（レンズ群３０１）の光軸に直交する面と撮像素子３００の撮像面とがなす角度（あおり角度）を変更するあおり駆動部（角度制御手段）５００を有する。あおり角度を変更することにより、被写界深度を変更することができる。また撮像部１０１は、ＩＲＣＦ（Ｉｎｆｒａｒｅｄ Ｒａｙ Ｃｕｔ Ｆｉｌｔｅｒ：赤外光除去フィルタ）、ＣＤＳ回路、ＡＧＣアンプ、および、Ａ／Ｄ変換器を有する。

撮像素子３００は、ＣＭＯＳセンサやＣＣＤセンサなどを有し、レンズ群３０１およびＩＲＣＦを介して形成された光学像（被写体像）を光電変換して画像信号（アナログ画像信号）を出力する。ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）回路は、撮像素子３００から出力された電気信号に対して相関二重サンプリング処理などを行う。ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）アンプは、ＣＤＳ回路から出力された電気信号に対して増幅処理などを行う。Ａ／Ｄ変換器は、ＡＧＣアンプにより増幅処理されたアナログ信号をデジタル信号へ変換する。

画像信号処理部１０２は、撮像部１０１から出力されたデジタル信号に対して、ＷＢ（ホワイトバランス）処理やＮＲ（ノイズリダクション）処理などの画像信号処理を行う。画像表示部１０５は、前述の画像処理を施された画像信号（画像データ）を、通信部１０３を介して取得して表示する。画像表示部（表示装置）１０５は、撮像装置１００に対する制御指示が可能な外部端末の一部として構成されてもよい。画像表示部１０５は、タッチパネルやＰＣ画面などであり、画像表示部１０５に対する操作に基づいて、撮像装置１００への指示が生成されるように構成されていてもよい。

システム制御部１０４は、不図示のＣＰＵ、メモリ（ＲＯＭ）、および、メモリ（ＲＡＭ）を有する。ＣＰＵは、ＲＯＭからロードしたプログラムに従い、撮像装置１００の各機能ブロックの制御および制御に必要な演算を行う。メモリ（ＲＯＭ）には、ＣＰＵで実行される制御プログラムや、プログラムの実行に必要な各種の定数値が格納される。メモリ（ＲＡＭ）は、プログラムの実行に必要な各種一時データを記憶するための領域である。

通信部１０３は、画像信号処理部１０２で処理された画像データを画像表示部１０５などの外部クライアント装置やサーバなどに配信する。画像データの出力先は、撮像装置１００に内蔵されているＬＣＤや外部のディスプレイでもよい。また通信部１０３は、画像表示部１０５を含む外部端末から指示された撮像装置１００の制御情報を取得する。

次に、図２を参照して、本実施形態の画像処理装置１０による画像処理方法（撮像素子３００を傾けて撮影した場合の輝度低下改善の例）について説明する。図２は、本実施形態における画像処理方法を示すフローチャートである。図２のフローチャートは、システム制御部１０４が各処理ブロックを制御して実行する処理手順を示しており、メモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。

まずステップＳ２００において、システム制御部１０４は、撮像素子３００を傾けている（あおり撮影を行っている）か否かを判定する。すなわちシステム制御部１０４は、あおり駆動部５００を用いてレンズ群３０１の光軸に直交する面と撮像素子３００の撮像面とを異ならせた状態で撮影を行っているか否かを判定する。なお本実施形態において、撮像素子３００に代えてレンズ群３０１を傾けてあおり撮影を行ってもよい。ステップＳ２００にて撮像素子３００を傾けている場合、あおり撮影を行っているため、ステップＳ２０１に進む。一方、撮像素子３００を傾けていない場合、本フローを終了し、システム制御部１０４は通常撮影を行う。

ここで、図３および図４を参照して、通常撮影およびあおり撮影について説明する。図３は、撮像素子３００とレンズ群３０１との関係を示す図である。図４は、撮像素子３００の光電センサ（受光部）４０３と入射光４００との関係を示す図である。

通常撮影の際には、図３（ａ）に示されるように、撮像素子３００（の撮像面）とレンズ群３０１（の光軸と直交する面）とピント面３０２は平行な位置関係となっている。このとき、図４（ａ）に示されるように、入射光４００が撮像素子３００の一つの画素４０２上に実装されているマイクロレンズ４０１へ入射し、光電センサ４０３へ効率良く収光される。

一方、撮像素子３００を傾けてあおり撮影を行っている場合、図３（ｂ）に示される位置関係となる。すなわち、撮像素子３００の撮像面がレンズ群３０１の光軸と直交する面に対して傾き、ピント面３０２が撮像対象となる道路や地面等と水平になり、被写界深度が深くなる。このため、撮像素子３００からの距離が異なる複数の被写体の合焦像を得ることができる。しかし、図４（ｂ）に示されるように、入射光４００が撮像素子３００の一つの画素４０２上に実装されているマイクロレンズ４０１へ斜めに入射することになり、光電センサ４０３による収光率が低下するため、画像の輝度が低下する。このとき撮像素子３００は、図３（ｃ）に示されるようにあおり角度（傾き角度）θを有し、撮像面３０３は矢印３０４のように変化する。

続いて、図２のステップＳ２０１において、システム制御部（補正手段）１０４は、撮像素子３００のあおり角度θが閾値以上であるか否か（所定の閾値よりも大きいか否か）を判定する。あおり角度θが閾値以上の場合、ステップＳ２０２へ進む。一方、あおり角度θが閾値未満の場合、システム制御部１０４は通常撮影を行う。

閾値設定の際には、予め、露出設定を固定した状態で蛍光灯やＬＥＤのビューアを被写体とし、撮像素子３００のあおり角度θの変化による、画像の輝度変化を測定し、システム制御部１０４内のメモリ（ＲＯＭ）へ記録しておく。図５は、あおり角度の変化による画像の輝度の変化を示す図であり、測定結果の一例を示している。図５は、撮像素子３００の傾き角度（あおり角度θ）が０°、５°、１０°のそれぞれの場合における、画像の輝度値（Ｙ値）、画像の輝度変化割合、および、補正倍率をそれぞれ示している。

図５に示される例では、露出設定を１つのパターンとしているが、入射角特性はレンズ群３０１のズーム位置や絞り位置によっても変化する。このため、より精度の高い補正をするため、さまざまなズーム位置や絞り位置の輝度変化を測定しておいてもよい。本実施形態においては、実際に撮像素子３００のあおり角度ごとの画像を取得し、画像の輝度変化を測定しているが、これに限定されるものではない。レンズ群３０１の入射角特性や撮像素子３００のマイクロレンズ特性から輝度変化情報（輝度変化割合）を算出可能な場合、画像の輝度変化を測定せずにその算出結果を使用してもよい。

図５において、撮像素子３００がレンズ群３０１に対して垂直の状態（撮像素子３００が傾いていない状態、すなわち撮像面と光軸直交面とが一致する状態）が、撮像素子３００の傾き角度（あおり角度θ）が０°である場合に相当する。この状態で撮影した画像の輝度値（Ｙ値）が１２８であるとすると、撮像素子３００を５°傾けた場合にＹ値が１２４に減光する。この画像の輝度低下を補正するめには、補正倍率分のデジタルゲインを加算する方法や、シャッタ速度を低速にする方法がある。しかし、デジタルゲインを加算するとノイズが増加し、シャッタ速度を低速にすると動きのある被写体でブレが発生する可能性がある。そこで本実施形態では、例えば、撮像装置１００の用途や性能、撮影環境に応じて、実験的または経験的に設計値として閾値を設定することが好ましい。

続いて、図２のステップＳ２０２において、システム制御部（補正手段）１０４は、画像（画像データ）の輝度を補正する。具体的には、システム制御部１０４は、撮像素子３００のあおり角度θに基づいて、前述のメモリに記録された、あおり角度θに対応する輝度変化情報（輝度変化割合）に応じたデジタルゲインを画像信号処理部１０２において加算し、画像の輝度の低下を補正する。このとき、輝度変化の補正が可能であれば、例えばシャッタ速度を低速にする等、デジタルゲインの加算以外の方法を採用してもよい。なお本実施形態において、あおり角度θが閾値以上の場合に限り画像の輝度（輝度変化割合）を補正するが、これに限定されるものではない。本発明は、閾値を設定することなく、あおり角度θに応じて画像の輝度を補正してもよい。

本実施形態によれば、絞りが開く低照度環境下の撮影において、撮像素子を傾けて被写界深度を深くすることができるとともに、撮像素子の傾きによる画像の輝度の低下を補正することが可能である。

（第２の実施形態）
次に、図６および図７を参照して、本発明の第２の実施形態について説明する。前述のように、画像の輝度変化割合を補正すると、ノイズが増加する等の弊害が発生する可能性がある。そこで本実施形態では、第１の実施形態における輝度低下の補正処理を制限する場合について説明する。

図６は、本実施形態における画像処理方法を示すフローチャートである。図６のフローチャートは、システム制御部１０４が各処理ブロックを制御して実行する処理手順を示しており、メモリ（ＲＯＭ）に格納されているプログラムをメモリ（ＲＡＭ）に展開し、ＣＰＵが実行することにより実現される。なお図６において、図２と同一のステップについては同一のステップ番号を付して、それらの説明を省略する。

ステップＳ２００にて撮像素子３００を傾けてあおり撮影を行っており、ステップＳ２０１にてあおり角度θが閾値以上である場合、ステップＳ６００へ進む。ステップＳ６００において、システム制御部１０４は、露出制御がマニュアル露出制御であるか否かを判定する。露出制御がマニュアル露出制御である場合、ステップＳ２０２へ進み、システム制御部（補正手段）１０４は第１の実施形態と同様の補正処理を行う。一方、ステップＳ６００にて露出制御がマニュアル露出制御ではなく自動露出制御である場合、システム制御部１０４は通常撮影を行う。

本実施形態において、自動露出制御の場合、撮像素子３００を傾けることにより生じる画像の輝度の変化を、自動露出制御に従った制御内容により調節する。撮像素子３００を傾ける前後においてシャッタ速度や絞り値が変化し、被写体の見え方に影響を与える可能性があるが、必ずデジタルゲインで補正を掛けるものではないため、ノイズによる画質の劣化を抑制することができる。ただし、シャッタ速度が最長秒かつ絞りが開放である場合、デジタルゲインを加算しなければ画像の輝度の低下を補正することができない。

そこで本実施形態では、図７に示される画像処理方法を用いることができる。図７は、本実施形態における別の画像処理方法を示すフローチャートである。図７は、ステップＳ７００が挿入されている点で、図６と異なる。ステップＳ６００にて露出制御が自動露出制御である場合、ステップＳ７００へ進む。ステップＳ７００において、システム制御部１０４は、絞りが開放、かつシャッタ速度が最長秒であるか否かを判定する。絞りが開放、かつシャッタ速度が最長秒である場合、ステップＳ２０２へ進み、システム制御部（補正手段）１０４は第１の実施形態と同様の補正処理を行う。一方、絞りが開放でなく、またはシャッタ速度が最長秒でない場合、システム制御部１０４は通常撮影を行う。

また本実施形態において、撮像装置１００は照度検出手段を備えることができる。照度検出結果が自動露出制御により適正露出を保つことができない照度である場合、画像の輝度変化割合を補正するなど、撮影環境の照度に応じて補正処理を行うか否かを決定するように構成してもよい。

本実施形態によれば、撮像素子を傾けることにより生じる画像の輝度の低下に対する補正処理を必要な場合のみに限定して行うことができる。

このように各実施形態において、撮像装置１００は、撮像素子３００、角度制御手段（あおり駆動部５００）、および、補正手段（システム制御部１０４）を有する。撮像素子は、撮像光学系（レンズ群３０１）を介して形成された光学像を光電変換して画像データを出力する。角度制御手段は、撮像光学系の光軸に直交する面と撮像素子の撮像面とがなす角度（あおり角度）を変更（制御）する。補正手段は、角度制御手段により設定された角度に基づいて画像データの輝度を補正する。

好ましくは、補正手段は、角度の変化による画像データの輝度変化が小さくなるように輝度を補正する。また好ましくは、補正手段は、角度が所定の角度（閾値）よりも大きい場合、輝度を補正する。また好ましくは、補正手段は、露出制御がマニュアル露出制御に設定されている場合、輝度を補正する。また好ましくは、補正手段は、自動露出制御の際に絞りが開放かつシャッタ速度が最長秒に設定されている場合、輝度を補正する。また好ましくは、補正手段は、角度の変化による画像データの輝度変化割合に基づいて、輝度を補正する。より好ましくは、補正手段は、ズーム位置ごとに測定された輝度変化割合に基づいて、輝度を補正する。また好ましくは、補正手段は、絞り位置ごとに測定された輝度変化割合に基づいて、輝度を補正する。また好ましくは、補正手段は、撮像光学系の入射角特性と撮像素子のマイクロレンズ特性と撮像素子の光電変換特性とに基づいて取得された輝度変化割合に基づいて、輝度を補正する。

好ましくは、補正手段は、角度に応じたゲイン（デジタルゲイン）を画像データに適用する（加算する）ことにより、輝度を補正する。また好ましくは、撮像装置は、照度を検出する照度検出手段を有する。補正手段は、照度が撮像装置の自動露出制御の際に適正露出を保つことができない照度である場合、輝度を補正する。また好ましくは、画像処理装置１０は、撮像装置１００と、撮像装置により輝度が補正された画像を表示する画像表示部１０５とを有する。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施形態によれば、あおり角度の変化による画像の輝度の低下を補正する撮像装置、画像処理装置、および、プログラムを提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 撮像装置
１０４ システム制御部（補正手段）
３００ 撮像素子
３０１ レンズ群（撮像光学系）
５００ あおり駆動部（角度制御手段）

Claims (13)

1. 撮像光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、
   前記撮像光学系の光軸に直交する面と前記撮像素子の撮像面とがなす角度を変更する角度制御手段と、
   前記角度に基づいて前記画像データの輝度を補正する補正手段と、を有することを特徴とする撮像装置。
2. 前記補正手段は、前記角度の変化による前記画像データの輝度変化が小さくなるように前記輝度を補正することを特徴とする請求項１に記載の撮像装置。
3. 前記補正手段は、前記角度が所定の角度よりも大きい場合、前記輝度を補正することを特徴とする請求項１または２記載の撮像装置。
4. 前記補正手段は、露出制御がマニュアル露出制御に設定されている場合、前記輝度を補正することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記補正手段は、自動露出制御の際に絞りが開放かつシャッタ速度が最長秒に設定されている場合、前記輝度を補正することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記補正手段は、前記角度の変化による前記画像データの輝度変化割合に基づいて、前記輝度を補正することを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記補正手段は、ズーム位置ごとに測定された前記輝度変化割合に基づいて、前記輝度を補正することを特徴とする請求項６に記載の撮像装置。
8. 前記補正手段は、絞り位置ごとに測定された前記輝度変化割合に基づいて、前記輝度を補正することを特徴とする請求項６または７に記載の撮像装置。
9. 前記補正手段は、前記撮像光学系の入射角特性と前記撮像素子のマイクロレンズ特性と前記撮像素子の光電変換特性とに基づいて取得された前記輝度変化割合に基づいて、前記輝度を補正することを特徴とする請求項６に記載の撮像装置。
10. 前記補正手段は、前記角度に応じたゲインを前記画像データに適用することにより、前記輝度を補正することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 照度を検出する照度検出手段を更に有し、
    前記補正手段は、前記照度が前記撮像装置の自動露出制御の際に適正露出を保つことができない照度である場合、前記輝度を補正することを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。
12. 請求項１乃至１１のいずれか１項に記載の撮像装置と、
    前記撮像装置により前記輝度が補正された画像を表示する画像表示部と、を有することを特徴とする画像処理装置。
13. 撮像光学系を介して形成された光学像を撮像素子で光電変換して画像データを出力するステップと、
    前記撮像光学系の光軸に直交する面と前記撮像素子の撮像面とがなす角度を変更するステップと、
    前記角度に基づいて前記画像データの輝度を補正するステップと、をコンピュータに実行させることを特徴とするプログラム。