JP2015201812A - 画像処理方法、プログラムおよび撮像装置 - Google Patents

Abstract

【課題】比較的簡単かつ高精度にゴーストを補正すること【解決手段】カメラ本体２において、光学ユニット１５を光軸に垂直な方向に移動および光軸に対して回転の少なくとも一方を行う駆動手段１６を制御するとともに画像処理手段４０を制御するカメラ制御手段３０は、光学ユニットの位置が異なる被写体の２つの画像を取得し、２つの画像の被写体の画像中心が一致するようにしたあとで差分をとり、差分画像に基づいてゴーストを補正する。【選択図】図２

Description

本発明は、画像処理方法、プログラムおよび撮像装置に関する。

特許文献１は、高輝度光源を撮像画像から検出し、ゴーストを光学系の配置から予め予測し、パターンマッチングにより予測ゴースト画像を選択して除去する方法を提案している。特許文献２は、フォーカスレンズを移動して、フォーカス画像とデフォーカス画像の差分画像からゴーストを検出する手法を提案している。特許文献３は、撮影光学系の絞り値を変えて画像を取得して差分をとることでゴーストを除去する方法を提案している。

特開２００８−３５３２４号公報 特開２００８−５４２０６号公報 特開２００８−２２８１８１号公報

しかしながら、特許文献１は、光源位置及び形状を記憶する大容量のメモリが必要であるとともに、大量なデータに対するパターンマッチングが必要になり、検出精度及び処理速度から現実的ではない。特許文献２は、フォーカスレンズの移動に伴うゴーストの位置の変化が小さく検出が困難であり、精度が低い。特許文献３は、撮影中に絞り値を変えると光量が変化して撮影者が違和感を覚え、絞りが係らないゴーストについては検知できないという問題がある。

本発明は、比較的簡単かつ高精度にゴーストを補正することが可能な画像処理方法、プログラムおよび撮像装置を提供することを例示的な目的とする。

本発明の撮像装置は、被写体の画像を処理する画像処理手段と、前記被写体の光学像を形成する撮影光学系の一部を前記撮影光学系の光軸に垂直な方向に移動および前記光軸に対して回転の少なくとも一方を行う駆動手段を制御するとともに前記画像処理手段を制御する制御手段と、を有し、前記制御手段は、前記駆動手段を介して、前記撮影光学系の前記一部が第１の位置にあるときの前記被写体の第１の画像と、前記撮影光学系の前記一部が前記第１の位置とは異なる第２の位置にあるときの前記被写体の第２の画像と、を取得し、前記制御手段は、前記画像処理手段を介して、前記第２の画像を前記第１の画像と前記被写体の画像中心が一致するように移動させ、移動後の前記第２の画像と前記第１の画像との差分に基づいて前記第１の画像に含まれるゴーストを補正することを特徴とする。

本発明によれば、比較的簡単かつ高精度にゴーストを補正することが可能な画像処理方法、プログラムおよび撮像装置を提供することができる。

本実施形態の撮像装置のブロック図である。（実施例１、２） 本実施形態の画像処理方法を説明するためのフローチャートである。（実施例１、２） 図２に示すステップにおける画像を説明するための図である。（実施例１、２） 本発明の撮影光学系の光学ユニットをシフトさせた場合とシフトさせない場合の光路図である。（実施例１） 図４の撮像面におけるゴーストの位置を示す図である。（実施例１） 本発明の撮影光学系の光学ユニットをシフトさせない場合の光路図である。（実施例２）

図１（ａ）は、本実施形態のカメラシステムのブロック図である。カメラシステム（撮像システム）は、交換レンズ（レンズ装置）１と、交換レンズ１が装着されたカメラ本体（撮像装置本体）２と、から構成される。なお、本発明は、レンズ一体型の撮像装置にも適用可能である。交換レンズ１はカメラ本体２に着脱可能に構成される。

交換レンズ１は、撮影光学系１０と、駆動手段１６と、レンズ制御手段１７を備えている。撮影光学系１０は、被写体の光学像を形成する。撮影光学系１０は、フォーカスレンズ、ズームレンズ（変倍レンズ）、手振れ補正レンズ、絞りなどを有する。

フォーカスレンズは、撮影光学系の光軸方向に移動されて焦点調節を行う。ズームレンズは、撮影光学系の光軸方向に移動されて焦点距離を変更する。手振れ補正レンズは、光軸と直交する方向に移動されて像振れを補正する。なお、「直交する方向」は、光軸に直交する成分があれば足り、手振れ補正レンズは光軸に対して斜めに移動されてもよい。絞りは、撮像素子２０に入射する光量を調節する。

撮影光学系１０は、光学ユニット１５を一部に有している。光学ユニット１５は駆動手段１６によって駆動される。駆動手段１６は、撮影光学系１０の一部である光学ユニット１５を撮影光学系１０の光軸に垂直な方向に移動および光軸に対して回転の少なくとも一方を行い、ステッピングモータなどを使用することができる。光学ユニット１５は、撮影光学系１０の光軸に垂直な方向に移動させる場合、手振れ補正レンズとして構成されてもよい。駆動手段１６による駆動は、カメラ本体２のカメラ制御手段３０の命令に従ってレンズ制御手段１７によって制御される。レンズ制御手段１７は、マイクロコンピュータから構成され、カメラ制御手段３０と通信する。

本実施形態のカメラ本体２は、一眼レフカメラとして構成されているが、クイックリターンミラー（主ミラー）がないミラーレスカメラであってもよい。カメラ本体２は、撮像素子２０、ファインダー光学系２２、クイックリターンミラー２３、およびカメラ制御手段３０を有する。

撮像素子２０は、撮影光学系１０が形成した被写体の光学像を光電変換する。撮像素子２０は、ＣＣＤセンサやＣＭＯＳセンサなどから構成される。撮像素子２０の撮像面２１の表面反射率は撮影光学系１０の反射率より高い。撮像面２１で入射光の一部が反射し、この反射光が撮影光学系１０の後群のレンズ表面で反射し、撮像面２１にゴースト光として入射すると、撮像画像にゴースト像として写り込んで画質が劣化する。

ゴーストを低減するために、レンズ表面に反射防止膜を施したり、撮影光学系の光学素子の曲率や間隔を変えたりすることは効果的であるが、撮影光学系への高性能化、低価格化、小型化の要請から、光学素子の曲率や間隔を変更する自由度が減ってきている。また、高性能化のためにレンズ枚数が増えたり、小型化のためにレンズ間隔を狭めたりすることでゴーストが発生し易くなっている。高価な反射防止膜はコストアップを招く。

そこで、本実施形態は、被写体の２枚の画像から画像処理によってゴーストを低減する。本実施形態の画像処理方法は、撮像装置のカメラ制御手段３０で実行されてもよいし、専用の画像処理装置あるいはクラウドコンピューティングなどのサーバで実行されてもよい。画像処理方法は、コンピュータに実行されるプログラムとしてメモリ（記憶手段）に記憶されてもよい。記憶手段は、一時的でない有形の媒体、ＣＤ−ＲＯＭなどの記録媒体であってもよい。

図１（ａ）において、２２は被写体像を観察するファインダー光学系、２３はミラーダウン位置とミラーアップ位置の間で回動可能なクイックリターンミラーである。クイックリターンミラー２３は、ミラーダウン位置にあるときに光軸上に配置されて交換レンズ１からの光（の少なくとも一部）をファインダー光学系２２に反射する。ミラーアップ位置にあるときは、クイックリターンミラー２３は光路から退避して交換レンズ１からの光を撮像素子２０に導く。

ファインダー光学系２２は、クイックリターンミラー２３を介してピント板２２ａに結像した被写体像をペンタプリズム２２ｂで正立像とした後、接眼光学系２２ｃで拡大し、撮影者による被写体の観察を可能にする。撮影時には、クイックリターンミラー２３が矢印方向に回動して被写体像は撮像素子２０に結像して記録される。

カメラ制御手段３０は、撮像装置の各部の動作を制御し、マイクロコンピュータから構成される。また、カメラ制御手段３０は、レンズ制御手段１７と通信をし、各種の命令を送信したり、必要な情報を受信したりする。各種の命令は、駆動手段１６の駆動命令を含む。撮影時には、カメラ制御手段３０は、駆動手段１６を介して光学ユニット１５を２つの異なる位置で被写体の画像を２枚取得し、その２枚の画像を処理することによって最終的にゴーストが補正された被写体の一枚の画像を取得する。

図１（ｂ）は、カメラ本体２の制御系のブロック図であり、図１（ｃ）は、図１（ｂ）に示すゴースト補正部４２のブロック図である。４０は画像処理手段、４５は画像出力部である。

撮像素子２０から出力されるアナログ電気信号は不図示のＡ／Ｄ変換器によってデジタル信号に変換され、画像処理手段４０に入力される。画像処理手段４０は、ゴースト補正部４２を含む。画像処理手段４０は、デジタル信号に画素補完処理を施し、Ｒ、Ｇ、Ｂの表色ごとの全画素データを生成する。また、デジタル信号にガンマ処理、ホワイトバランスなどを施す。ゴースト補正部４２は、ゴーストを補正し、差分画像データ生成部４２ａ、ゴースト領域検出部４２ｂおよびゴースト補正画像生成部４２ｃを含む。画像出力部４３は、画像を不図示の表示手段に表示したり、記録媒体に画像データを保存したりする。

図２は、カメラ制御手段３０によって実行される画像処理方法を説明するためのフローチャートである。図４において、「Ｓ」はステップ（工程）を表す。図２に示す画像処理方法は、コンピュータに各ステップの機能を実行させるためのプログラムとして具現化が可能である。

カメラ制御手段３０は、光学ユニット１５が第１の位置にあるときの被写体の第１の画像を取得してメモリ３１に格納する（Ｓ１）。次に、カメラ制御手段３０は、駆動手段１６を介して光学ユニット１５を移動させ（Ｓ２）、光学ユニット１５が第１の位置とは異なる第２の位置にあるときの被写体の第２の画像を取得してメモリ３１に格納する（Ｓ３）。

次に、カメラ制御手段３０は、光学ユニット１５の移動量に基づいて第２の画像の移動量を算出する（Ｓ４）。カメラ制御手段３０は、移動量に誤差が多く含まれる場合には第１の画像と第２の画像から動きベクトルを算出することによって第２の画像の移動量を算出してもよい。カメラ制御手段３０は、算出された第２の画像の移動量に従って第２の画像の被写体の中心位置が第１の画像と一致するように移動させる（移動ステップ、Ｓ５）。

図３（ａ）は、光学ユニット１５の移動量がゼロの時の第１の画像、図３（ｂ）は、光学ユニット１５を移動させた時の第２の画像であって、被写体の中心位置が第１の画像と一致するように移動した画像を示している。

図３において、６１は被写体の画像中心、６２はゴースト、６３は撮影光学系１０の撮影領域、６４は撮影領域６３の対角方向を示す補助線である。６５は撮影領域６３の中心、６６は被写体の画像中心６１を通り、左右方向の中心位置を一致させた時の補助線である。図３（ａ）と図３（ｂ）は補助線６６が一致しているので、図３（ｂ）に示す第２の画像は、被写体の中心位置が第１の画像と一致するように移動した画像であることが分かる。

次に、カメラ制御手段３０は、差分画像データ生成部４２ａを介して、第１の画像と移動後の第２の画像との差分をとる（Ｓ６）。図３（ｃ）は、この差分画像を示している。差分画像では被写体は除去され、２つのゴースト６２のみが示されている。カメラ制御手段３０は、ゴースト領域検出部４２ｂを介して、ゴースト６２が存在する範囲を検出し（検出ステップ、Ｓ７）、そのうちの第１の画像に対応する中央部にあるゴースト６２のゴースト量を算出する（算出ステップ、Ｓ８）。図３（ａ）に示す画像から図３（ｂ）に示す画像を引いているため、中央部のゴースト６２はプラスの符号であり、右上のゴースト６２はマイナスの符号となっているので、中央部にあるゴースト６２のみを抽出することができる。次に、カメラ制御手段３０は、ゴースト補正画像生成部４２ｃを介して、算出された中央部のゴースト６２のゴースト量を第１の画像より差し引くことでゴーストが補正された画像を得る（補正ステップ、Ｓ９）。

なお、図３（ａ）において、被写体の画像中心６１付近が輝度飽和していれば、図３（ｂ）に示す被写体の画像中心６１付近の画像を使用して輝度飽和している画像領域を補間してもよい。

なお、本実施形態では、撮像面２１からの反射光によるゴースト像についてのみ説明したが、光学ユニット１５を通過した後に発生するゴーストについても同様にゴースト像と被写体像の動きが異なるために検出して除去することが可能である。

図４は、光学ユニット１５の一例である光学ユニット１５Ａを含む実施例１の撮影光学系１０Ａの光路図であり、図４（ａ）は、光学ユニット１５Ａが移動された状態を示し、図４（ｂ）は、光学ユニット１５Ａが移動されていない状態を示している。光学ユニット１５Ａ以外の撮影光学系１０Ａの構成は例示であり、説明は省略する。

光学ユニット１５Ａは、撮影光学系１０Ａの光軸ＯＡと垂直な方向に移動されることが可能である。「垂直な方向」は光軸に対して垂直な成分があれば足り、光学ユニット１５Ａは光軸に対して斜めに移動されてもよく、図４（ａ）は光学ユニット１５Ａが光軸と垂直方向の斜め上側に移動した場合を示している。図４において、Ｌ１は光輝度光源からの入射光束、Ｌ２ａ、Ｌ２ｂは撮像面２１からの反射光、Ｌ３ａ、Ｌ３ｂはレンズ表面からの反射光である。

光束Ｌ１は撮影光学系１０により屈折され、撮像素子２０の撮像面２１に結像するが、撮像面２１は、レンズ表面よりも高い反射率を有しているため、入射光の一部は撮像面２１で反射され、光束Ｌ２ａ、Ｌ２ｂとして撮影光学系１０に再度入射する。光束Ｌ２ａ、Ｌ２ｂは、レンズ表面で更に反射され、その一部は反射光（ゴースト光）Ｌ３ａ、Ｌ３ｂとなる。反射光Ｌ３ａ、Ｌ３ｂは、レンズ表面の反射光の中で、光束の面積が大きく広がらずに再度撮像面２１に到達する光束であり、ゴーストとして撮像画像に写り込む。

図４（ａ）と図４（ｂ）とを比較すると光束Ｌ３ａ、Ｌ３ｂが、異なる角度で撮像面２１に入射することが分かり、ゴーストの位置が異なることが理解される。本実施例では、特許文献２と異なり、光学ユニット１５Ａを利用してゴーストの位置を変えているのでゴーストの位置の変化を大きくすることができ、検出精度を上げることができる。

図５は、図４の撮像面２１におけるゴーストの位置を示す図である。図５（ａ）は、図４（ａ）に示す光束Ｌ３ａによるゴーストの撮像面２１における位置を示し、図５（ｂ）は、図４（ｂ）に示す光束Ｌ３ｂによるゴーストの撮像面２１における位置を示している。図５（ｃ）は、光学ユニット１５Ａを光軸と垂直方向で斜め下側に移動した場合のゴーストの撮像面２１における位置を示している。

図５において、６１は被写体の画像中心、６２はゴースト、６３は撮影光学系１０の撮影領域、６４は撮影領域６３の対角方向を示す補助線である。６５は２つの補助線６４の交点である撮影領域の中心、６６は被写体の左右方向の中心位置を一致させた時の補助線である。図５から分かるように、光学ユニット１５Ａを移動させると被写体の画像中心６１が撮影領域の中心６５からずれ、ゴースト６２の位置は大きくずれる。

図６は、光学ユニット１５の一例である光学ユニット１５Ｂを含む実施例２の撮影光学系１０Ｂの光路図であり、図６は、光学ユニット１５Ｂが回転された状態を示している。光学ユニット１５Ｂは、撮影光学系１０Ａの光軸ＯＡに対して回転されることが可能である。図６において、Ｌ１は光輝度光源からの入射光束、Ｌ２ｃは撮像面２１からの反射光、Ｌ３ｃはレンズ表面からの反射光である。光束Ｌ２ｃとＬ３ｃが近い位置にある。

図４と同様に、入射光の一部は撮像面２１で反射され、光束Ｌ２ｃとして撮影光学系１０に再度入射し、レンズ表面で更に反射され、その一部は反射光（ゴースト光）Ｌ３ｃとなってゴーストとして撮像画像に写り込む。光学ユニット１５Ｂの光軸に対する傾き角を異ならせて画像を２枚取得することにより、実施例１と同様にして、ゴーストを検出して補正することが可能となる。

本発明は、撮像装置や画像処理に適用可能である。

１０、１０Ａ、１０Ｂ…撮影光学系、１５、１５Ａ、１５Ｂ…光学ユニット、１６…駆動手段、２０…撮像素子、３０…カメラ制御手段、４０…画像処理手段

Claims (11)

1. 被写体の画像を処理する画像処理手段と、
   前記被写体の光学像を形成する撮影光学系の一部を該撮影光学系の光軸に垂直な方向に移動および前記光軸に対して回転の少なくとも一方を行う駆動手段を制御するとともに前記画像処理手段を制御する制御手段と、
   を有し、
   前記制御手段は、前記駆動手段を介して、前記撮影光学系の前記一部が第１の位置にあるときの前記被写体の第１の画像と、前記撮影光学系の前記一部が前記第１の位置とは異なる第２の位置にあるときの前記被写体の第２の画像と、を取得し、
   前記制御手段は、前記画像処理手段を介して、前記第２の画像を前記被写体の画像中心が前記第１の画像と一致するように移動させ、移動後の前記第２の画像と前記第１の画像との差分に基づいて前記第１の画像に含まれるゴーストを補正することを特徴とする撮像装置。
2. 前記撮影光学系を更に有することを特徴とする請求項１に記載の撮像装置。
3. 前記撮影光学系の一部は、前記撮影光学系の光軸に垂直な方向に移動されて像振れを補正する補正レンズであることを特徴とする請求項１または２に記載の撮像装置。
4. 被写体の画像に含まれるゴーストを補正する画像処理方法であって、
   前記被写体の光学像を形成する撮影光学系の一部を前記撮影光学系の光軸に垂直な方向に移動および前記光軸に対して回転の少なくとも一方を行うことによって取得した、前記撮影光学系の前記一部が第１の位置にあるときの前記被写体の第１の画像と、前記撮影光学系の前記一部が前記第１の位置とは異なる第２の位置にあるときの前記被写体の第２の画像について、前記第２の画像を前記第１の画像と前記被写体の画像中心が一致するように移動させる移動ステップと、
   前記移動ステップによって移動された後の前記第２の画像と前記第１の画像との差分に基づいて前記第１の画像に含まれるゴーストを補正する補正ステップと、
   を有することを特徴とする画像処理方法。
5. 前記差分の画像において前記第１の画像に対応する前記ゴーストの範囲を検出する検出ステップを更に有し、
   前記補正ステップは、前記検出ステップによって検出された前記第１の画像に対応する前記ゴーストを前記第１の画像から差し引くことを特徴とする請求項４に記載の画像処理方法。
6. 前記移動ステップは、前記撮影光学系の前記一部の移動量に基づいて前記第２の画像の移動量を算出し、算出された前記第２の画像の移動量に基づいて前記第２の画像を移動させることを特徴とする請求項４または５に記載の画像処理方法。
7. 前記移動ステップは、前記第１の画像と前記第２の画像から得られる動きベクトルに基づいて前記第２の画像を移動させることを特徴とする請求項４または５に記載の画像処理方法。
8. 前記第２の画像に基づいて前記第１の画像において輝度飽和している画像領域を補間するステップを更に有することを特徴とする請求項４乃至７のうちいずれか１項に記載の画像処理方法。
9. コンピュータに請求項４乃至７のうちいずれか１項に記載の画像処理方法を実行させるためのプログラム。
10. 被写体の光学像を形成する撮影光学系の一部を前記撮影光学系の光軸に垂直な方向に移動および前記光軸に対して回転の少なくとも一方を行う駆動手段を制御する制御手段を有し、
    前記制御手段は、前記駆動手段を介して、前記撮影光学系の前記一部が第１の位置にあるときの前記被写体の第１の画像と、前記撮影光学系の前記一部が前記第１の位置とは異なる第２の位置にあるときの前記被写体の第２の画像と、を取得し、
    前記第１の画像と前記第２の画像はゴーストが除去された前記被写体の一枚の画像を形成するのに使用されることを特徴とする撮像装置。
11. 被写体の光学像を形成する撮影光学系と、該撮影光学系の一部を前記撮影光学系の光軸に垂直な方向に移動および前記光軸に対して回転の少なくとも一方を行う駆動手段と、を有するレンズ装置であって、
    前記レンズ装置は、駆動手段を制御する制御手段を有する撮像装置に着脱可能に構成され、
    前記制御手段は、前記駆動手段を介して、前記撮影光学系の前記一部が第１の位置にあるときの前記被写体の第１の画像と、前記撮影光学系の前記一部が前記第１の位置とは異なる第２の位置にあるときの前記被写体の第２の画像と、を取得し、
    前記第１の画像と前記第２の画像はゴーストが除去された前記被写体の一枚の画像を形成するのに使用されることを特徴とするレンズ装置。