JP2016161597A - 画像処理装置、集積回路及びカメラ - Google Patents

Abstract

【課題】空中又は水中に浮遊物が発生している状況下であっても、コントラスト量を用いた簡易な構成でフォーカス制御を可能にする画像処理装置、集積回路及びカメラを提供する。
【解決手段】カメラ１０のフォーカス制御に用いられる画像処理装置３０であって、カメラ１０による被写体の撮影によって得られる入力画像に対して、空中又は水中の浮遊物による明るさへの影響を低減する画像処理を行う浮遊物抑制処理部２０と、浮遊物抑制処理部２０による画像処理によって得られた画像である浮遊物抑制画像に基づいて、浮遊物抑制画像全体のコントラストを表わし、かつ、カメラ１０のフォーカス制御に用いられる値であるコントラスト量を計算するコントラスト量計算部１６とを備える。
【選択図】図２

Description

本発明は、画像処理装置、集積回路及びカメラに関し、特に、撮像画像のコントラストを用いてカメラのフォーカス制御をする技術に関する。

従来、カメラで被写体にピントを合わせるフォーカス制御の代表的な技術として、撮像画像のコントラスト量を用いる方法がある（例えば、特許文献１参照）。ここで、コントラストとは、画像内での明るさの差のことである。一般的に画像内の輪郭がはっきりしている場合には、その輪郭を挟んで明るさが大きく変化する。すなわち輪郭がはっきりしている場合はその箇所でのコントラストが高い（大きい）。逆に、輪郭がはっきりしていない場合は、輪郭を挟んで明るさが徐々に変化する。すなわち輪郭がはっきりしていない場合はその箇所でのコントラストは低い（小さい）。

この特許文献１の技術によれば、撮像レンズを移動させながら撮像画像のコントラスト量を計測しておき、その計測結果に基づいて、コントラスト量が最大（ピーク）となる位置に撮像レンズを移動させる。これにより、コントラスト量の大きい画像が得られる状態、つまり、被写体にピントが合った状態が実現される。

このようなコントラスト量を用いたフォーカス制御によれば、ピント調節に必要なことは、撮像画像のコントラスト量を計算することなので、ピント合わせの構成として追加すべき機能が少なく、簡単に構成できる。また、レンズ交換をした場合でも、ピント合わせの機構に対して手を加えることなくそのまま使えるので、利便性が高い。

特開２０１４−９５９１９号公報 特開平８−１９４１５１号公報

しかしながら、空中に霧、霞、塵埃等の浮遊物が発生している状況下での撮影、あるいは、水中に微生物等の浮遊物が存在する状況下での撮影では、正しくフォーカス制御がされないという問題がある。このような状況下での撮影では、浮遊物で光が反射するために、撮影空間の全体が明るくなり、撮影空間におけるコントラストの変化が少なくなり、コントラストのピークが低くなってしまうからである。

ここで、赤外線等を被写体に投影し、反射光の角度によって求められる距離を用いることで水中撮影を可能にするカメラが提案されている（例えば、特許文献２参照）。この特許文献２では、水中の透明度を検知する透明度検知部、カメラの使用環境が水中であるか空気中であるかを検知する水中検知部、及び、測距部等からの信号を演算することにより、水の濁り具合を加味してカメラの撮像レンズのピント合せ位置を変更している。しかしながら、この技術では、測距部に加えて、透明度検知部及び水中検知部等の特殊な構成が必要となり、カメラの構造が非常に複雑になってしまう。

そこで、本発明は、上記状況に鑑みてなされたものであり、空中又は水中に浮遊物が発生している状況下であっても、コントラスト量を用いた簡易な構成でフォーカス制御を可能にする画像処理装置、集積回路及びカメラを提供することを目的とする。
を目的とする。

上記目的を達成するために、本発明に係る画像処理装置の一形態は、カメラのフォーカス制御に用いられる画像処理装置であって、前記カメラによる被写体の撮影によって得られる入力画像に対して、空中又は水中の浮遊物による明るさへの影響を低減する画像処理を行う浮遊物抑制処理部と、前記浮遊物抑制処理部による画像処理によって得られた画像である浮遊物抑制画像に基づいて、前記浮遊物抑制画像全体のコントラストを表わし、かつ、前記カメラのフォーカス制御に用いられる値であるコントラスト量を計算するコントラスト量計算部とを備える。

これによれば、カメラによる被写体の撮影によって得られる入力画像に対して、空中又は水中の浮遊物による明るさへの影響を低減する画像処置が施され、そのような浮遊物の影響が抑制された浮遊物抑制画像に基づいて、コントラスト量が計算される。よって、このようなコントラスト量を用いたフォーカス制御をすることにより、空中又は水中に浮遊物が発生している状況下であっても、簡易な構成でフォーカス制御を行うことができる。

ここで、前記浮遊物抑制処理部は、前記浮遊物抑制画像について、前記浮遊物抑制画像を構成する１以上の画素の集まりであるブロック単位でのコントラストを示す第１コントラスト信号を生成して出力し、前記コントラスト量計算部は、前記浮遊物抑制処理部から出力された第１コントラスト信号が示すコントラストを積算することで、前記コントラスト量を計算してもよい。

これにより、浮遊物抑制処理部から第１コントラスト信号が出力され、コントラスト量計算部では、その第１コントラスト信号を用いてコントラスト量が計算される。よって、コントラスト量の計算処理が浮遊物抑制処理部とコントラスト量計算部とに分散され、コントラスト量の繰り返し計算においてパイプライン処理が可能となり、１個のコントラスト量の計算に要する平均時間が減少する。

また、さらに、前記コントラスト量計算部で計算されたコントラスト量を用いて前記カメラが有する撮像レンズの移動量を決定し、決定した移動量だけ前記撮像レンズを移動させる制御を行うことで、前記カメラで撮影する被写体のピント合わせを行うオートフォーカス部を備えてもよい。

これにより、オートフォーカス部により、コントラスト量計算部で計算されたコントラスト量を用いて、カメラで撮影する被写体のピント合わせが行われるので、空中又は水中に浮遊物が発生している状況下であっても、簡易な構成でフォーカスの自動調整が行われる。

また、さらに、前記入力画像及び前記浮遊物抑制画像のいずれに基づいて前記コントラスト量を計算すべきかを切り替えるコントラスト切り替え部を備え、前記コントラスト量計算部は、前記コントラスト切り替え部で切り替えられた前記入力画像及び前記浮遊物抑制画像のいずれかに基づいて、前記コントラスト量を計算してもよい。

これにより、コントラスト量の計算に用いられる画像として、入力画像及び浮遊物抑制画像のいずれかに切り替えられるので、撮影状況や撮影環境等に依存して適応的にコントラスト量の計算に用いる画像を切り替えることができ、状況に応じた適切なフォーカス制御が実現される。

また、さらに、予め定められた量を超える前記浮遊物が前記入力画像に映っているか否かを検出する浮遊物検出部を備え、前記コントラスト切り替え部は、前記浮遊物検出部で前記浮遊物が前記入力画像に映っていると検出された場合に、前記浮遊物抑制画像に基づいて前記コントラスト量を計算すべきと判断して前記切り替えを行ってもよい。

これにより、入力画像における浮遊物の有無によって、コントラスト量の計算に用いられる画像が入力画像及び浮遊物抑制画像のいずれかに切り替えられるので、浮遊物が発生していない状況下で浮遊物抑制画像に基づいてコントラスト量が計算されてしまう不具合が回避される。

また、前記浮遊物抑制処理部は、前記浮遊物抑制画像について、前記浮遊物抑制画像を構成する１以上の画素の集まりであるブロック単位でのコントラストを示す第１コントラスト信号を生成して出力し、前記画像処理装置は、さらに、前記カメラが有する撮像素子からの映像信号に基づいて前記入力画像を構成し、構成した前記入力画像について、前記入力画像を構成する１以上の画素の集まりであるブロック単位でのコントラストを示す第２コントラスト信号を生成して出力する画像構成部を備え、前記コントラスト切り替え部は、前記切り替えとして、前記第１コントラスト信号及び前記第２コントラスト信号のいずれかを選択し、前記コントラスト量計算部は、前記コントラスト切り替え部で選択された前記第１コントラスト信号及び前記第２コントラスト信号のいずれかに基づいて、前記コントラスト量を計算してもよい。

これにより、浮遊物抑制処理部からは、浮遊物抑制画像のコントラストを示す第１コントラスト信号が出力され、画像構成部からは、入力画像のコントラストを示す第２コントラスト信号が出力され、コントラスト切り替え部において、コントラスト量の計算に用いられるコントラスト信号として、第１コントラスト信号及び第２コントラスト信号のいずれかに切り替えられる。よって、コントラスト量の計算処理が浮遊物抑制処理部及び画像構成部とコントラスト量計算部とに分散されるともに、撮影状況や撮影環境等に依存して適応的にコントラスト量の計算に用いるコントラスト信号が切り替えられ、パイプライン処理による短時間で、かつ、状況に応じた適切なフォーカス制御が実現される。

また、さらに、前記入力画像及び前記浮遊物抑制画像のいずれかを選択して出力する出力画像切り替え部を備えてもよい。

これにより、出力画像切り替え部によって、入力画像及び浮遊物抑制画像のいずれかが選択されて出力されるので、撮影状況や撮影環境等に依存して適応的に画像処理装置からの出力画像が切り替えられ、状況に応じた適切な画像出力が実現される。

また、さらに、予め定められた量を超える前記浮遊物が前記入力画像に映っているか否かを検出する浮遊物検出部を備え、前記出力画像切り替え部は、前記浮遊物検出部で前記浮遊物が前記入力画像に映っていると検出された場合に、前記浮遊物抑制画像を選択して出力してもよい。

これにより、入力画像に浮遊物が存在すると判断された場合に、浮遊物抑制画像が画像処理装置から出力されるので、空中又は水中に浮遊物が発生している状況下では、浮遊物の影響が抑制されたコントラストの高い画像が出力される。

また、さらに、前記カメラの撮影方向における仰角を検出する仰角検出部を備え、前記出力画像切り替え部は、前記仰角検出部で検出された仰角が予め定められた角度を超えた場合に、前記入力画像を選択して出力してもよい。

これにより、仰角検出部で検出されカメラの撮影方向における仰角が予め定められた角度を超えた場合に、入力画像が画像処理装置から出力されるので、空を撮影した（カメラの撮影方向における仰角を大きくして撮影した）場合に、浮遊物が多い状況と誤って浮遊物抑制画像が画像処理装置から出力されてしまうことが回避される。

また、上記目的を達成するために、本発明に係る集積回路の一形態は、集積回路で構成された上記いずれかの画像処理装置を備える。

これにより、浮遊物の影響を抑制した後の画像のコントラスト量を用いたフォーカス制御が行われ、空中又は水中に浮遊物が発生している状況下であっても、簡易な構成でフォーカス制御を行うことができる集積回路が実現される。

また、上記目的を達成するために、本発明に係るカメラの一形態は、撮像レンズと、前記撮像レンズを移動させる駆動部と、前記撮像レンズを通して入射される光を受光する撮像素子と、前記撮像素子からの映像信号に基づいて入力画像を構成して出力する画像構成部と、前記画像構成部で構成された前記入力画像に対して、空中又は水中の浮遊物による明るさへの影響を低減する画像処理を行う浮遊物抑制処理部と、前記浮遊物抑制処理部による画像処理によって得られた画像である浮遊物抑制画像に基づいて、前記浮遊物抑制画像全体のコントラストを表わし、かつ、前記カメラのフォーカス制御に用いられる値であるコントラスト量を計算するコントラスト量計算部と、前記コントラスト量計算部で計算されたコントラスト量を用いて前記撮像レンズの移動量を決定し、決定した移動量だけ前記撮像レンズを移動させるように前記駆動部を制御することで、前記カメラで撮影する被写体のピント合わせを行うオートフォーカス部とを備える。

これにより、浮遊物の影響を抑制した後の画像のコントラスト量を用いたフォーカス制御が行われ、空中又は水中に浮遊物が発生している状況下であっても、簡易な構成でフォーカス制御を行うことができるカメラが実現される。

本発明により、空中又は水中に浮遊物が発生している状況下であっても、コントラスト量を用いた簡易な構成でフォーカス制御を可能にする画像処理装置、集積回路及びカメラが提供される。

本発明の実施の形態におけるカメラの外観図 図１に示されたカメラの構成を示すブロック図 本発明の実施の形態におけるカメラのフォーカス制御の動作を示すフローチャート 本発明の実施の形態におけるカメラのコントラスト切り替え部の動作を示すフローチャート 本発明の実施の形態における、浮遊物が発生していない状況下での撮影によって得られる入力画像の一例（図５の（ａ））と、撮像レンズの移動量とコントラスト量との関係の一例（図５の（ｂ））を示す図 従来の技術における、浮遊物が発生している状況下での撮影によって得られる入力画像の一例（図６の（ａ））と、撮像レンズの移動量とコントラスト量との関係の一例（図６の（ｂ））を示す図 本発明の実施の形態における、浮遊物が発生している状況下での撮影によって得られる浮遊物抑制画像の一例（図７の（ａ））と、撮像レンズの移動量とコントラスト量との関係の一例（図７の（ｂ））を示す図 本発明の実施の形態におけるカメラの出力画像切り替え部の動作のうち、浮遊物検出部からの信号に依存した切り替え動作を示すフローチャート 本発明の実施の形態におけるカメラの出力画像切り替え部の動作のうち、仰角検出部からの信号に依存した切り替え動作を示すフローチャート 本発明の実施の形態の第１変形例に係る画像処理装置の構成を示すブロック図 本発明の実施の形態の第２変形例に係る画像処理装置の構成を示すブロック図 本発明の実施の形態の第３変形例に係る画像処理装置の構成を示すブロック図 本発明の実施の形態の第４変形例に係る画像処理装置の構成を示すブロック図 本発明の実施の形態の第５変形例に係る画像処理装置の構成を示すブロック図

以下、本発明に係る画像処理装置、集積回路及びカメラの実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の好ましい一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、より好ましい形態を構成する任意の構成要素として説明される。

図１は、本発明の実施の形態におけるカメラ１０の外観図である。このカメラ１０は、例えば、静止画及び動画を撮影できるデジタルカメラであり、本発明に係る集積回路で実現された画像処理装置を内蔵している。

図２は、図１に示されたカメラ１０の構成を示すブロック図である。このカメラ１０は、空中又は水中に浮遊物が発生している状況下であっても適正にオートフォーカスできる機能を有するカメラであり、撮像レンズ１１、駆動部１２、撮像素子１５、及び、画像処理装置３０を備える。なお、本図において、構成要素間を接続する線が太い箇所は、そこを流れるデータ量が他の箇所よりも多いことを示している。ここで、浮遊物とは、空中又は水中に浮遊している微小な（例えば、粒径２ｍｍ以下）不溶解性物質であり、空中における霧、霞、塵埃、及び、水中における微小物質、微生物等の微小な障害物が含まれる。

撮像レンズ１１は、ズーム用及びフォーカス用のレンズを含むレンズ群である。

駆動部１２は、撮像レンズ１１を移動させる機構であり、例えば、モーター等のアクチュエータである。

撮像素子１５は、撮像レンズを通して入射される光を受光して撮像する素子であり、例えば、ＣＣＤ又はＣＭＯＳイメージセンサ等である。

画像処理装置３０は、このカメラ１０のフォーカス制御に用いられる装置であり、本実施の形態では、図２に示されるように、ＬＳＩ等の１チップの半導体集積回路３２として実現されている。この画像処理装置３０は、オートフォーカス部１３、ズーム量算出部１４、コントラスト量計算部１６、画像構成部１７、浮遊物検出部１８、コントラスト切り替え部１９、浮遊物抑制処理部２０、出力画像切り替え部２１、及び、仰角検出部２２を備える。

画像構成部１７は、撮像素子１５からの映像信号に基づいて入力画像を構成し、構成した入力画像を浮遊物抑制処理部２０に出力するとともに、入力画像を構成する１以上の画素の集まりであるブロック単位でのコントラストを示す第２コントラスト信号を生成してコントラスト切り替え部１９に出力する回路である。第２コントラスト信号は、例えば、入力画像を構成する各ブロック（１以上の画素）について、当該ブロックの輝度値と近傍ブロックの輝度値との差の絶対値を、各ブロックを順にスキャンして時系列に並べた信号である。

浮遊物抑制処理部２０は、被写体の撮影によって得られる入力画像に対して、空中又は水中の浮遊物による明るさへの影響を低減する画像処理を行う回路であり、本実施の形態では、画像構成部１７から出力された入力画像に対して浮遊物を抑制する画像処理を行い、得られた画像（つまり、浮遊物抑制画像）を出力画像切り替え部２１に出力するとともに、浮遊物抑制画像を構成する１以上の画素の集まりであるブロック単位でのコントラストを示す第１コントラスト信号を生成してコントラスト切り替え部１９に出力する。この第１コントラスト信号も、第２コントラスト信号と同様、例えば、浮遊物抑制画像を構成する各ブロック（１以上の画素）について、当該ブロックの輝度値と近傍ブロックの輝度値との差の絶対値を、各ブロックを順にスキャンして時系列に並べた信号である。

なお、浮遊物抑制処理部２０が行う「入力画像に対して、空中又は水中の浮遊物による明るさへの影響を低減する画像処理」の詳細は、例えば、特許文献３（特開２０１４−９５９１９号公報）で紹介されている霧除去明瞭化方法ある。その霧除去明瞭化方法は、詳しくは、非特許文献１（Ｋａｉｍｉｎｇ Ｈｅ Ｊｉａｎ ｅｔ ａｌ．，“Ｓｉｎｇｌｅ Ｉｍａｇｅ Ｈａｚｅ Ｒｅｍｏｖａｌ Ｕｓｉｎｇ Ｄａｒｋ Ｃｈａｎｎｅｌ Ｐｒｉｏｒ”，Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ，Ｐｒｏｃｅｅｄｉｎｇ ｏｆ ｔｈｅ ２００９ ＩＥＥＥ Ｃｏｎｆｅｒｅｎｃｅ）で開示されている霧除去アルゴリズムである。このアルゴリズムは、霧のない画像では、空以外の画像領域のほとんどにおいて、少なくとも色チャネルの一つが一部の画素で非常に強度が低いという性質を利用している。そのために、処理対象の画像を構成する画素ごとに、霧の深さに関係する数値であるダークチャネルを算出する。ダークチャネルは、ある画素に着目した場合に、その画素を中心とする局所領域において最も強度の低い色（Ｒ、Ｇ又はＢ）の強度である。発生している霧が深いほど、画素のダークチャネルが大きくなる。このようなダークチャネルを利用して、各画素の強度を変化させ、結果として、画像を明瞭化する。

浮遊物検出部１８は、予め定められた量を超える浮遊物が入力画像に映っているか否かを検出し、検出した結果を示す信号をコントラスト切り替え部１９及び出力画像切り替え部２１に出力する回路であり、例えば、入力画像の各画素について上述したダークチャネルを算出し、算出した各画素のダークチャネルから、それらの代表値（平均値、中央値等）を算出し、その代表値が所定の閾値より大きい場合に、「予め定められた量を超える浮遊物が入力画像に映っている」と判断する。なお、浮遊物検出部１８におけるダークチャネルの算出については、浮遊物抑制処理部２０での算出結果を利用してもよいし、逆に、浮遊物抑制処理部２０が浮遊物検出部１８におけるダークチャネルの算出結果を利用してもよい。

コントラスト切り替え部１９は、入力画像及び浮遊物抑制画像のいずれに基づいてコントラスト切り替え部１９がコントラスト量を計算すべきかを切り替える回路であり、本実施の形態では、浮遊物検出部１８から出力される検出結果に応じて、浮遊物抑制処理部２０から出力される第１コントラスト信号及び画像構成部１７から出力される第２コントラスト信号のいずれかを選択してコントラスト量計算部１６に出力する。具体的には、コントラスト切り替え部１９は、浮遊物検出部１８から出力された検出結果が「浮遊物が入力画像に映っている」ことを示す場合には、コントラスト量計算部１６が浮遊物抑制画像に基づいてコントラスト量を計算すべきと判断し、浮遊物抑制処理部２０から出力された第１コントラスト信号を選択してコントラスト量計算部１６に出力し、一方、浮遊物検出部１８から出力された検出結果が「浮遊物が入力画像に映っていない」ことを示す場合には、コントラスト量計算部１６が入力画像に基づいてコントラスト量を計算すべきと判断し、画像構成部１７から出力された第２コントラスト信号を選択してコントラスト量計算部１６に出力する。

コントラスト量計算部１６は、浮遊物抑制処理部２０による画像処理によって得られた浮遊物抑制画像に基づいて、浮遊物抑制画像全体のコントラストを表わし、かつ、カメラ１０のフォーカス制御に用いられる値であるコントラスト量を計算する回路であり、本実施の形態では、コントラスト切り替え部１９で選択され出力されてきた第１コントラスト信号及び第２コントラスト信号のいずれかが示すコントラストを積算することで、コントラスト量を計算する。より詳しくは、コントラスト量計算部１６は、コントラスト切り替え部１９から出力されてきた第１コントラスト信号又は第２コントラスト信号が示すブロック単位のコントラストから代表値を算出することでコントラスト量を計算する回路であり、例えば、入力された第１コントラスト信号又は第２コントラスト信号が示すブロック単位で時系列に並ぶ上記絶対値の累積和を求める。

オートフォーカス部１３は、コントラスト量計算部１６で計算されたコントラスト量を用いて撮像レンズ１１の移動量を決定し、決定した移動量だけ撮像レンズ１１を移動させる制御を行うことで、カメラ１０で撮影する被写体のピント合わせを行う回路であり、本実施の形態では、駆動部１２を制御することで撮像レンズを所定の距離間隔で移動させながらコントラスト量計算部１６から出力されるコントラスト量を記憶していくことで、撮像レンズの移動量とコントラスト量との関係を特定し、その関係においてコントラスト量が最大（ピーク）となる位置に、駆動部１２を介して撮像レンズ１１（撮像レンズ１１のうちの焦点レンズ）を移動させる。これにより、コントラストの大きい画像が得られる状態、つまり、被写体にピントが合った状態が実現される。

仰角検出部２２は、カメラ１０の撮影方向における仰角（水平面に対する上向き角度）を検出するセンサ（例えば、加速度センサ）であり、検出した仰角を示す信号を出力画像切り替え部２１に出力する。

出力画像切り替え部２１は、画像構成部１７から出力された入力画像及び浮遊物抑制処理部２０から出力された浮遊物抑制画像のいずれかを選択して外部（記憶装置、表示装置、出力ポート等）に出力する回路であり、本実施の形態では、浮遊物検出部１８からの信号及び仰角検出部２２からの信号に基づいて、入力画像及び浮遊物抑制画像のいずれかを外部に出力する。具体的には、出力画像切り替え部２１は、浮遊物検出部１８で浮遊物が入力画像に映っていると検出された場合には、浮遊物抑制画像を選択して出力し、一方、浮遊物検出部１８で浮遊物が入力画像に映っていないと検出された場合には、入力画像を選択して出力する。また、出力画像切り替え部２１は、仰角検出部２２で検出された仰角が予め定められた角度を超えた場合には、入力画像を選択して出力し、一方、仰角検出部２２で検出された仰角が予め定められた角度を超えていない場合には、浮遊物抑制画像を選択して出力する。なお、浮遊物検出部１８からの信号及び仰角検出部２２からの信号のいずれを優先するかは、操作者による事前の設定に依存して決定される。

ズーム量算出部１４は、外部から入力される速度情報（例えば、カメラ１０を搭載している車の速度を示す情報）に従って、撮像レンズ１１のズーム量を算出し、算出したズーム量だけ撮像レンズ１１が移動するように駆動部１２を制御する回路であり、例えば、速度情報が示す速度を大きいほど画角が大きくなるように撮像レンズ１１（撮像レンズ１１のうちのズームレンズ）を移動させる。

次に、以上のように構成された本実施の形態におけるカメラ１０の動作について、説明する。

図３は、本実施の形態におけるカメラ１０のフォーカス制御（オートフォーカス）の動作を示すフローチャートである。

オートフォーカス部１３は、駆動部１２を制御することで撮像レンズを所定の距離間隔で移動させながらコントラスト量計算部１６から出力されたコントラスト量を記憶していくことで、撮像レンズの移動量とコントラスト量との関係を特定する（Ｓ１０）。

そして、オートフォーカス部１３は、特定した関係においてコントラスト量が最大（ピーク）となる位置を特定し（Ｓ１１）、その位置に、駆動部１２を介して撮像レンズ１１（撮像レンズ１１のうちの焦点レンズ）を移動させる（Ｓ１２）。これにより、コントラスト量の大きい画像が得られる状態、つまり、被写体にピントが合った状態（オートフォーカス）が実現される。この状態で、撮影が行われることで、被写体にピントが合った撮像画像（入力画像）が得られる。

図４は、本実施の形態におけるカメラ１０のコントラスト切り替え部１９の動作を示すフローチャートである。

コントラスト切り替え部１９は、浮遊物検出部１８から出力された信号に基づいて、浮遊物が入力画像に映っているか否かを判断する（Ｓ２０）。

その結果、浮遊物が入力画像に映っていると判断した場合には（Ｓ２０でＹｅｓ）、コントラスト切り替え部１９は、浮遊物抑制処理部２０から出力された第１コントラスト信号（浮遊物抑制画像に基づくコントラスト信号）を選択してコントラスト量計算部１６に出力し（Ｓ２１）、一方、浮遊物が入力画像に映っていないと判断した場合には（Ｓ２０でＮｏ）、画像構成部１７から出力された第２コントラスト信号（入力画像に基づくコントラスト信号）を選択してコントラスト量計算部１６に出力する（Ｓ２２）。

そして、コントラスト量計算部１６は、コントラスト切り替え部１９から出力されてきた第１コントラスト信号及び第２コントラスト信号のいずれかに基づいて、コントラスト量を計算する（Ｓ２３）。例えば、コントラスト量計算部１６は、入力された第１コントラスト信号又は第２コントラスト信号が示すブロック単位の時系列の値（ブロック単位でのコントラストを示す値）の累積和を求める。

これにより、空中又は水中に浮遊物が発生している状況下でフォーカス制御がされる場合には、入力画像に対して浮遊物による明るさへの影響が低減された浮遊物抑制画像におけるコントラストを示す第１コントラスト信号に基づいてコントラスト量が算出され、フォーカス制御が行われる。よって、空中又は水中に浮遊物が発生している状況下であっても、フォーカス制御が適正に行われ、被写体にピントが合ったシャープな画像が得られる。

図５〜図７は、本実施の形態におけるカメラ１０によるフォーカス制御の特徴を説明するための図である。

図５は、本実施の形態におけるカメラ１０の動作を説明するための図であり、浮遊物が発生していない状況下での撮影によって得られる入力画像の一例（図５の（ａ））と、そのような状況下においてオートフォーカス部１３で得られる撮像レンズの移動量とコントラスト量との関係の一例（図５の（ｂ））を示している。図５の（ｂ）に示されるカーブから分かるように、このような状況下では、撮像レンズ１１の移動量を変化させた場合に、被写体が明瞭に撮影されるケースが発生するので、コントラスト量のピークが存在する。よって、オートフォーカス部１３は、コントラスト量が最大（ピーク）となる位置に撮像レンズ１１を移動させることで、フォーカス制御を行うことができる。

図６は、浮遊物が発生している状況下での撮影によって得られる入力画像の一例（図６の（ａ））と、そのような状況下において、もし、入力画像（つまり、第２コントラスト信号）に基づいてオートフォーカス部１３が動作したと仮定した場合に得られる撮像レンズの移動量とコントラスト量との関係の一例（図６の（ｂ））を示す図である。つまり、図６は、本実施の形態における浮遊物抑制処理部２０、浮遊物検出部１８及びコントラスト切り替え部１９を備えない特許文献１のような従来技術におけるカメラの動作を示す図である。図６の（ｂ）に示されるカーブから分かるように、このような状況下では、撮像レンズ１１の移動量を変化させた場合に、被写体が明瞭に撮影されるケースが発生しなくなり、図５の（ａ）で現われたコントラスト量のピークが低くなり、他の箇所におけるコントラスト量との差がなくなる。よって、オートフォーカス部１３は、コントラスト量が最大（ピーク）となる位置に撮像レンズ１１を移動させようとしても、明確なピークを発見できないために、適切な位置に撮像レンズ１１を移動できず、その結果、適切なフォーカス制御が行われない。

図７は、本実施の形態におけるカメラ１０の特徴を示す図であり、浮遊物が発生している状況下での撮影によって得られる浮遊物抑制画像の一例（図７の（ａ））と、そのような状況下においてオートフォーカス部１３で得られる撮像レンズの移動量とコントラスト量との関係の一例（図７の（ｂ））を示している。図７の（ｂ）に示されるカーブから分かるように、このような状況下では、浮遊物抑制画像に基づくコントラスト信号（第１コントラスト信号）に基づいてコントラスト量が計算されるので、第１撮像レンズ１１の移動量を変化させた場合に、被写体が明瞭に撮影されるケースが発生し、コントラスト量のピークが改善されて大きくなる。よって、オートフォーカス部１３は、コントラスト量が最大（ピーク）となる位置に撮像レンズ１１を移動させることで、フォーカス制御を行うことができる。よって、この状態で、撮影が行われることで、被写体にピントが合ったシャープな撮像画像（入力画像）が得られる。

図８は、本実施の形態におけるカメラ１０の出力画像切り替え部２１の動作のうち、浮遊物検出部１８からの信号に依存した切り替え動作を示すフローチャートである。

まず、出力画像切り替え部２１は、浮遊物検出部１８からの信号に基づいて、浮遊物検出部１８で浮遊物が入力画像に映っているか否かを判断する（Ｓ３０）。

その結果、浮遊物が入力画像に映っていると判断した場合には（Ｓ３０でＹｅｓ）、出力画像切り替え部２１は、浮遊物抑制処理部２０から出力された浮遊物抑制画像を選択し（Ｓ３１）、一方、浮遊物が入力画像に映っていないと判断した場合には（Ｓ３０でＮｏ）、画像構成部１７から出力された入力画像を選択し（Ｓ３２）、選択した浮遊物抑制画像又は入力画像を外部に出力する（Ｓ３３）。

これにより、浮遊物が発生している状況下で撮影された場合は、浮遊物の影響が抑制されたコントラストの高い画像（浮遊物抑制画像）が出力される。

図９は、本実施の形態におけるカメラ１０の出力画像切り替え部２１の動作のうち、仰角検出部２２からの信号に依存した切り替え動作を示すフローチャートである。

まず、出力画像切り替え部２１は、仰角検出部２２からの信号に基づいて、カメラ１０の撮影方向における仰角が予め定められた閾値（角度）を超えているか否かを判断する（Ｓ４０）。

その結果、仰角が予め定められた閾値を超えていると判断した場合には（Ｓ４０でＹｅｓ）、出力画像切り替え部２１は、画像構成部１７から出力された入力画像を選択し（Ｓ４１）、一方、仰角が予め定められた閾値を超えていないと判断した場合には（Ｓ４０でＮｏ）、浮遊物抑制処理部２０から出力された浮遊物抑制画像を選択し（Ｓ４２）、選択した入力画像又は浮遊物抑制画像を外部に出力する（Ｓ４３）。

これにより、空を撮影した（カメラの撮影方向における仰角を大きくして撮影した）場合に、浮遊物が多い状況と誤って浮遊物抑制画像が出力されてしまうことが回避される。

以上、本発明に係る画像処理装置、集積回路及びカメラについて、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、実施の形態における一部の構成要素を組み合わせて構築される別の形態も、本発明の範囲内に含まれる。

例えば、本発明に係る画像処理装置は、最低限の構成として、図１０の第１変形例に示されるように、コントラスト量計算部１６及び浮遊物抑制処理部２０で構成される画像処理装置３０ａであってもよい。

これによれば、カメラによる被写体の撮影によって得られる入力画像に対して、空中又は水中の浮遊物による明るさへの影響を低減する画像処置が施され、そのような浮遊物の影響が抑制された浮遊物抑制画像に基づいて、コントラスト量が計算される。よって、このようなコントラスト量を用いたフォーカス制御をすることにより、空中又は水中に浮遊物が発生している状況下であっても、簡易な構成でフォーカス制御を行うことができる。

さらに、浮遊物抑制処理部２０から第１コントラスト信号が出力され、コントラスト量計算部１６では、その第１コントラスト信号を用いてコントラスト量が計算される。よって、コントラスト量の計算処理が浮遊物抑制処理部２０とコントラスト量計算部１６とに分散され、コントラスト量の繰り返し計算においてパイプライン処理が可能となり、１個のコントラスト量の計算に要する平均時間が減少する。

また、本発明に係る画像処理装置は、図１１の第２変形例に示されるように、図１０に示される第１変形例に構成に、オートフォーカス部１３が追加された構成を備える画像処理装置３０ｂであってもよい。

これにより、オートフォーカス部１３により、コントラスト量計算部１６で計算されたコントラスト量を用いて、カメラで撮影する被写体のピント合わせが行われるので、空中又は水中に浮遊物が発生している状況下であっても、簡易な構成でフォーカスの自動調整が行われる。

また、本発明に係る画像処理装置は、図１２の第３変形例に示されるように、図１１に示される第２変形例の構成にコントラスト切り替え部１９が追加された構成を備える画像処理装置３０ｃであってもよい。

これにより、コントラスト量の計算に用いられる画像として、入力画像及び浮遊物抑制画像のいずれかに切り替えられるので、撮影状況や撮影環境等に依存して適応的にコントラスト量の計算に用いる画像を切り替えることができ、状況に応じた適切なフォーカス制御が実現される。

また、本発明に係る画像処理装置は、図１３の第４変形例に示されるように、図１２に示される第３変形例の構成に浮遊物検出部１８が追加された構成を備える画像処理装置３０ｄであってもよい。

これにより、入力画像における浮遊物の有無によって、コントラスト量の計算に用いられる画像が入力画像及び浮遊物抑制画像のいずれかに切り替えられるので、浮遊物が発生していない状況下で浮遊物抑制画像に基づいてコントラスト量が計算されてしまう不具合が回避される。

さらに、浮遊物抑制処理部２０からは、浮遊物抑制画像のコントラストを示す第１コントラスト信号が出力され、画像構成部１７からは、入力画像のコントラストを示す第２コントラスト信号が出力され、コントラスト切り替え部１９において、コントラスト量の計算に用いられるコントラスト信号として、第１コントラスト信号及び第２コントラスト信号のいずれかに切り替えられる。よって、コントラスト量の計算処理が浮遊物抑制処理部２０及び画像構成部１７とコントラスト量計算部１６とに分散されるともに、撮影状況や撮影環境等に依存して適応的にコントラスト量の計算に用いるコントラスト信号が切り替えられ、パイプライン処理による短時間で、かつ、状況に応じた適切なフォーカス制御が実現される。

また、本発明に係る画像処理装置は、図１４の第５変形例に示されるように、図１３に示される第４変形例の構成に、出力画像切り替え部２１が追加された構成を備える画像処理装置３０ｅであってもよい。

これにより、出力画像切り替え部２１によって、入力画像及び浮遊物抑制画像のいずれかが選択されて出力されるので、撮影状況や撮影環境等に依存して適応的に画像処理装置３０からの出力画像が切り替えられ、状況に応じた適切な画像出力が実現される。

さらに、入力画像に浮遊物が存在すると判断された場合に、浮遊物抑制画像が画像処理装置３０から出力されるので、空中又は水中に浮遊物が発生している状況下では、浮遊物の影響が抑制されたコントラストの高い画像が出力される。

また、上記実施の形態では、画像処理装置３０は、１チップの半導体集積回路３２として実現されたが、これに限られず、複数の集積回路で実現されてもよいし、複数の個別回路やディスクリート部品で実現されてもよい。

また、上記実施の形態では、オートフォーカス部１３、ズーム量算出部１４、コントラスト量計算部１６、画像構成部１７、浮遊物検出部１８、コントラスト切り替え部１９、浮遊物抑制処理部２０、出力画像切り替え部２１、及び、仰角検出部２２が１チップの半導体集積回路３２として実現されたが、これに限られず、一部の構成要素が１チップの半導体集積回路３２から除外されてもよいし、撮像素子１５が１チップの半導体集積回路３２に加えられてもよい。

また、上記実施の形態では、ズーム量算出部１４は、カメラ１０を搭載している車の速度を示す情報に従って撮像レンズ１１のズーム量を算出したが、これに限られず、カメラ１０に搭載されたジャイロセンサ、速度センサ又は加速度センサからの信号に従ってズーム量を算出してもよい。

また、コントラスト切り替え部１９は、本実施の形態におけるカメラ１０を搭載した車のフォグランブや前照灯のスイッチと連動させて、選択する第１コントラスト信号及び第２コントラスト信号を切り替えてもよい。

また、本実施の形態におけるカメラ１０を搭載した車がトンネルの中や、出入り口など輝度の変動が激しい場所を通過する場合は、浮遊物抑制処理部２０が輝度のヒストグラムを算出し、そのヒストグラムから、入力画像に対して浮遊物による明るさへの影響を低減する程度（浮遊物除去処理の効き具合）を適応的に変えてもよい。

また、コントラスト信号切り替え部４は、選択する第１コントラスト信号及び第２コントラスト信号を切り替える際に、ヒステリシス機能を設けることで、頻繁に切り替わることを防ぎ動作を安定させてもよい。具体的には、浮遊物が入力画像に映っているか否かを浮遊物検出部１８が検出するために用いられる閾値を２つ設定することで、このようなヒステリシス機能を実現できる。

また、浮遊物検出部１８は、外部から入力される情報によって、予め定められた量を超える浮遊物が入力画像に映っているか否かを検出してもよい。例えば、浮遊物検出部１８は、ＧＰＳやウェザー情報等のセンターとの連携、又は、トンネルの出入り口等に置いたセンサとの連携により、浮遊物の有無を判定してもよい。

また、上記実施の形態では、撮像レンズ１１がオートフォーカス部１３から制御の下で移動することでフォーカス制御が行われたが、ピンホールレンズを用いることで、フォーカス制御自体を不要とし、単に浮遊物検出部１８で浮遊物を検出し、その検出結果に応じて出力画像切り替え部２１が入力画像及び浮遊物抑制画像のいずれかを出力するように、カメラを構成してもよい。

また、４Ｋ等の高精細な撮影をする場合、最初に画像全体に対して浮遊物抑制処理部２０によって浮遊物による影響を抑制した後に、コントラスト量計算部１６及びオートフォーカス部１３によってフォーカス制御を行い、その後に、画像構成部１７によってフルＨＤサイズ等の任意の大きさに切り出された入力画像に対して浮遊物抑制処理部２０が暗部補正（画像における暗部のトーンを持ち上げる画像処理）等の別の処理を実行してもよい。

本発明は、簡易な構成でフォーカス制御を可能にする画像処理装置、集積回路及びカメラとして、例えば、静止画及び動画を撮影するデジタルカメラ及びビデオカメラとして、利用できる。

１０ カメラ
１１ 撮像レンズ
１２ 駆動部
１３ オートフォーカス部
１４ ズーム量算出部
１５ 撮像素子
１６ コントラスト量計算部
１７ 画像構成部
１８ 浮遊物検出部
１９ コントラスト切り替え部
２０ 浮遊物抑制処理部
２１ 出力画像切り替え部
２２ 仰角検出部
３０、３０ａ〜３０ｅ 画像処理装置
３２ 半導体集積回路

Claims (11)

1. カメラのフォーカス制御に用いられる画像処理装置であって、
   前記カメラによる被写体の撮影によって得られる入力画像に対して、空中又は水中の浮遊物による明るさへの影響を低減する画像処理を行う浮遊物抑制処理部と、
   前記浮遊物抑制処理部による画像処理によって得られた画像である浮遊物抑制画像に基づいて、前記浮遊物抑制画像全体のコントラストを表わし、かつ、前記カメラのフォーカス制御に用いられる値であるコントラスト量を計算するコントラスト量計算部とを備える
   画像処理装置。
2. 前記浮遊物抑制処理部は、前記浮遊物抑制画像について、前記浮遊物抑制画像を構成する１以上の画素の集まりであるブロック単位でのコントラストを示す第１コントラスト信号を生成して出力し、
   前記コントラスト量計算部は、前記浮遊物抑制処理部から出力された第１コントラスト信号が示すコントラストを積算することで、前記コントラスト量を計算する
   請求項１記載の画像処理装置。
3. さらに、前記コントラスト量計算部で計算されたコントラスト量を用いて前記カメラが有する撮像レンズの移動量を決定し、決定した移動量だけ前記撮像レンズを移動させる制御を行うことで、前記カメラで撮影する被写体のピント合わせを行うオートフォーカス部を備える
   請求項１又は２記載の画像処理装置。
4. さらに、前記入力画像及び前記浮遊物抑制画像のいずれに基づいて前記コントラスト量を計算すべきかを切り替えるコントラスト切り替え部を備え、
   前記コントラスト量計算部は、前記コントラスト切り替え部で切り替えられた前記入力画像及び前記浮遊物抑制画像のいずれかに基づいて、前記コントラスト量を計算する
   請求項１記載の画像処理装置。
5. さらに、予め定められた量を超える前記浮遊物が前記入力画像に映っているか否かを検出する浮遊物検出部を備え、
   前記コントラスト切り替え部は、前記浮遊物検出部で前記浮遊物が前記入力画像に映っていると検出された場合に、前記浮遊物抑制画像に基づいて前記コントラスト量を計算すべきと判断して前記切り替えを行う
   請求項４記載の画像処理装置。
6. 前記浮遊物抑制処理部は、前記浮遊物抑制画像について、前記浮遊物抑制画像を構成する１以上の画素の集まりであるブロック単位でのコントラストを示す第１コントラスト信号を生成して出力し、
   前記画像処理装置は、さらに、前記カメラが有する撮像素子からの映像信号に基づいて前記入力画像を構成し、構成した前記入力画像について、前記入力画像を構成する１以上の画素の集まりであるブロック単位でのコントラストを示す第２コントラスト信号を生成して出力する画像構成部を備え、
   前記コントラスト切り替え部は、前記切り替えとして、前記第１コントラスト信号及び前記第２コントラスト信号のいずれかを選択し、
   前記コントラスト量計算部は、前記コントラスト切り替え部で選択された前記第１コントラスト信号及び前記第２コントラスト信号のいずれかに基づいて、前記コントラスト量を計算する
   請求項４又は５記載の画像処理装置。
7. さらに、前記入力画像及び前記浮遊物抑制画像のいずれかを選択して出力する出力画像切り替え部を備える
   請求項１記載の画像処理装置。
8. さらに、予め定められた量を超える前記浮遊物が前記入力画像に映っているか否かを検出する浮遊物検出部を備え、
   前記出力画像切り替え部は、前記浮遊物検出部で前記浮遊物が前記入力画像に映っていると検出された場合に、前記浮遊物抑制画像を選択して出力する
   請求項７記載の画像処理装置。
9. さらに、前記カメラの撮影方向における仰角を検出する仰角検出部を備え、
   前記出力画像切り替え部は、前記仰角検出部で検出された仰角が予め定められた角度を超えた場合に、前記入力画像を選択して出力する
   請求項７記載の画像処理装置。
10. 集積回路で構成された請求項１〜９のいずれか１項に記載の画像処理装置を備える
    集積回路。
11. 撮像レンズと、
    前記撮像レンズを移動させる駆動部と、
    前記撮像レンズを通して入射される光を受光する撮像素子と、
    前記撮像素子からの映像信号に基づいて入力画像を構成して出力する画像構成部と、
    前記画像構成部で構成された前記入力画像に対して、空中又は水中の浮遊物による明るさへの影響を低減する画像処理を行う浮遊物抑制処理部と、
    前記浮遊物抑制処理部による画像処理によって得られた画像である浮遊物抑制画像に基づいて、前記浮遊物抑制画像全体のコントラストを表わし、かつ、前記カメラのフォーカス制御に用いられる値であるコントラスト量を計算するコントラスト量計算部と、
    前記コントラスト量計算部で計算されたコントラスト量を用いて前記撮像レンズの移動量を決定し、決定した移動量だけ前記撮像レンズを移動させるように前記駆動部を制御することで、前記カメラで撮影する被写体のピント合わせを行うオートフォーカス部とを備える
    カメラ。