JP2006129084A - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】ゴーストやフレアーが発生した位置以外の画質に影響を及ぼさずに、簡単にゴーストやフレアーの除去や低減を行う技術の提供。
【解決手段】撮像素子上に被写体の光学像を結像させる撮像装置において、前記撮像素子で得られた被写体の輝度情報から有害な内部反射現象の発生を予測する予測手段と、前記予測される有害な内部反射現象の発生態様から実画像上での有害な内部反射現象情報を生成する生成手段と、前記生成された有害な内部反射現象情報を用いて有害内部反射現象の補正処理を行う補正手段とを具備する。
【選択図】 図１１

Description

本発明は、デジタルカメラやビデオカメラのゴーストやフレアーを低減する技術に関するものである。

撮影レンズを通過した被写体像を撮像して画像信号を出力するＣＣＤのような撮像素子を有する撮像光学系において、ゴースト光を低減させる方法がある（例えば、特許文献１〜３参照）。
特開２００２−１５２５６２公報 特開平５−０１９２１０公報 特開平８−２６２３０３公報

上記文献１ではゴースト光を回避するためにローパスフィルターを光軸に対して所定の角度傾けている。しかしながら、この方法では平行平面板のローパスフィルターを傾けることにより非点収差やコマ収差等が発生するために結像光学性能が低下するといった問題がある。また、ローパスフィルターに対するゴースト光の発生する光路が撮影光学系の焦点距離変化や被写体距離で変化するために、特定の撮影条件においてゴースト光が発生してしまうといった問題がある。

次に、文献２は位相型光学フィルターに曲面を形成する方法であるが、この方法では撮像素子の受光面での反射や撮像素子のカバーガラス面での反射によるゴーストには効果はなく、位相型光学フィルターに曲面を形成するのは相当のコストアップになるといった問題がある。また、文献１，３の手法では撮像素子面上の反射で発生するゴーストに対して効果はない。

更に、文献３は、撮影光学系と結像面の間にゴーストやフレアーの光透過状態を制限する調光部材を配置する方法であるが、この方法では、結像面と調光部材が離れた位置に配設されるため不要光を遮断すると、光路の関係上ゴーストと全く関係ない結像光束まで多少なりとも影響してしまうといった問題がある。また、ゴースト光の発生光路が予測できないと、調光部材のON,OFFが決められないことや、調光部材は通常はマトリックス上に分割された液晶と考えられるために、その制御回路等をも含めると相当のコストアップといった問題がある。また、光量のロスもあるために暗い場所での撮影が不利になるといった問題もある。

本発明は、上述した問題点に鑑みてなされ、、どのような撮影条件においても、ゴーストやフレアーが発生した位置以外の画質に影響を及ぼさずに、簡単にゴーストやフレアーの除去や低減を行うことができる技術の提供を目的とする。

上記問題を解決し、目的を達成するために、本発明に係る１つの態様では、撮像素子上に被写体の光学像を結像させる撮像装置又は撮像方法において、前記撮像素子で得られた被写体の輝度情報から有害な内部反射現象の発生を予測する予測手段又は工程と、前記予測される有害な内部反射現象の発生態様から実画像上での有害な内部反射現象情報を生成する生成手段又は工程と、前記生成された有害な内部反射現象の情報を用いて有害な内部反射現象の補正処理を行う補正手段又は工程とを具備する。

また、上記態様において、前記被写体の輝度情報は、輝度レベル情報、高輝度光源位置情報、高輝度光源大きさ情報の少なくとも１つが含まれる。

また、上記態様において、前記予測手段又は工程では、焦点距離情報、フォーカス位置情報、Fナンバー情報、前記内部反射現象の色情報、前記内部反射現象の形状情報の少なくとも１つを用いて前記有害な内部反射現象の発生を予測する。

また、上記態様において、前記予測手段又は工程では、前記撮像素子近傍とレンズ面間での反射による有害な内部反射現象の発生を予測する。

また、上記態様において、前記予測手段又は工程では、レンズ面間での反射による有害な内部反射現象の発生を予測する。

以上説明したように、本発明によれば、例えば、ＣＣＤやＣＭＯＳ等の固体撮像素子を画像読み取りセンサーとした場合に問題となるセンサー面やローパスフィルター等の反射で発生するゴーストやフレアー（有害な内部反射現象）の補正（低減）が可能であり、面反射同士で発生するゴーストやフレアーに対しても有効である。また光学的、機械的な構成に関して変更する必要がないために、ローコスト構成で大きな効果を得ることが可能となる。

また、レンズを交換した場合や、撮影条件が変化することで発生するゴーストやフレアーに対しても画質の劣化をさせずに効果を得ることができるために、どのような装置においてでも高品質の画像を簡単に得ることが可能となる。

以下に、添付図面を参照して本発明の実施の形態について詳細に説明する。

尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

また、本発明は、後述する実施形態である撮像装置の各機能を実現するソフトウェアやファームウェアのプログラムコードを、それを記憶した記憶媒体（または記録媒体）やネットワークを介した通信により撮像装置に供給し、そのコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が後述する実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
［第１の実施形態］
図１は、本発明に係る第１の実施形態の撮像装置の光学系の一部を示す図である。

図１において、１は撮影光学系の全体を示しており、撮影光学系１は、ズームレンズによる焦点距離が５０ｍｍの状態で、被写体像がほぼ無限状態のものにピントを合わせた状態となっている。２はローパスフィルター、３は撮像素子のカバーガラス、４は撮像素子（CCD）をそれぞれ表している。５は撮影する被写体側から発せられる光束の一条件を示している。ここで、ゴーストやフレアー光と呼ばれる有害な内部反射光束に関して考察した場合、特に問題視される有害光束は、撮像素子４上で強度が強くなるものである。ゴーストやフレアー光の強度が強くなり、一番問題となる条件としては、１）被写体側に強い輝度のものが存在する、２）ゴーストやフレアー光が反射率の高い面で反射している、３）撮像素子４上に再入射するゴーストやフレアー光束が撮像素子面で集光していることが挙げられ、これら３つの条件が重なることにより非常に強い輝度のゴーストとなるために問題となる。

図１に例示する光束５を用いて非常に強いゴーストが発生する状態について説明する。

図１の光束５は撮影する被写体側の高輝度光源（例えば、太陽光、自動車ヘッドランプ等）から発せられる光束を示しており、高輝度光源の位置に対応して撮像素子４の撮像面で結像する位置が決まる。この場合、高輝度光源からの光束５は撮影光学系１に対して約４．６度で入射して撮影光学系１を透過し、撮影光学系１の焦点距離等に対応して撮像素子４上の特定位置６に集光される。この位置は図１では撮影レンズ系の光軸から４ｍｍ離れた位置となる。ここで、撮像素子４の撮像面は通常反射率が３〜８％といった反射率を有しており、この値は通常のレンズ面反射防止膜の反射率０．０１％から０．５％程度に較べて高い反射率を有している。従って、撮像素子４上に集光された特定位置６の光束の光量の一部は被写体側に反射、散乱されることになる。この反射、散乱された光束は撮影光学系１を透過して、被写体側に射出される成分と、撮影光学系１のレンズ面に反射して撮像素子４上に再入射してくる成分がある。

撮影光学系１のレンズ面に反射して撮像素子４上に再入射してくる成分のうち、撮影光学系１の最終面７で反射される光束は図示のように撮像素子４上ではほぼ集光されて８の位置に達している。このゴースト位置８は撮像素子４上での高輝度光源の結像位置６に対して、光軸に対してほぼ対称な位置で、光軸からの距離が約４ｍｍの位置となる。このように、撮像素子近傍で反射したゴースト光束が、レンズの面反射等を介して撮像素子４に対して再集光（結像）して入射する場合は、撮像素子４上での高輝度光源の結像位置６とゴースト光束の集光位置８が光学的にほぼ等倍の共役関係となる。

図２に撮像素子４の画像有効部に対する、光軸７、高輝度光源の結像位置６、ゴースト光束の集光位置８の関係を示す。換言すると、撮像素子４の撮像面近傍で反射する有害光束の内、上記ほぼ等倍の共役関係が成り立たないものに関しては、ゴースト光が集光していないために問題がほとんど無いとも言える。

次に、ゴースト低減処理までの流れを図５を用いて説明する。

大まかな処理の流れとしては、１）撮影条件によりゴーストが発生するか否かの判定、２）発生ゴースト予測（位置、形状等）、３）実写画像上でのゴースト判定とそのデータ作成、４）ゴースト低減処理のステップとなる。なお、以下ではゴーストを対象に説明しているが、フレアーにも同様に適用できることは言うまでもない。

先ず、１）実写された撮影条件によりゴーストが発生するか否かを判定するゴースト発生条件判定方法について説明する。

前述したように、先ず被写体として高輝度光源が存在するかどうかがポイントである。ここでは、撮像素子で得られた被写体の輝度情報からある輝度レベル以上の被写体がある場合がゴーストを発生するためのひとつの要件となる。また、その輝度も絶対的なものではなく、例えば夜景撮影時には光源以外の輝度が全体的に低くなるために光源以外の部分での輝度によりゴーストが目立つ場合にはその判定閾値を適値にする必要がある。

また、高輝度光源の全体の撮像領域に占める面積の割合が大きくなるとゴーストとは判定できなくなるために、その大きさも要件となる。こうした撮像素子で得られた高輝度光源の情報に関する要件と同時に、撮影した撮影光学系の要件が加わる。これは、ゴーストは実際には撮影光学系特有の構成におけるレンズ面で発生することより、ゴーストが発生（ゴーストが光路として成立する）のは、その撮影レンズ特有の状態、例えばズームレンズであれば焦点距離の範囲、絞りの大きさ（Fナンバー）、フォーカスの条件が限定されるからである。さらに限定すると、ある撮影レンズの状態に対して発生するゴーストは高輝度光源位置の像高位置によって決まる。従って、撮影レンズ情報、撮影条件情報と高輝度光源情報の組み合わせの総合的情報をもとに、ゴースト発生状態か否かを判定することができる。

次に、２）発生ゴースト予測（位置、形状、色等）方法について説明する。

前述したように、問題となる撮像素子の撮像面近傍での反射ゴーストの場合は、撮像素子の高輝度光源に対して光軸に対して対称な位置に発生するために、ほぼその位置を予測することが可能である。さらに、そのゴーストの大きさは撮像素子から得られる高輝度光源の大きさより推定することができ、発生するゴーストの色に関しても、高輝度光源の色情報やゴースト光束が実際に反射する撮影レンズのコーティングの分光反射特性を含む面情報から予測することが可能である。このような情報から発生ゴースト光の位置、形状、色等に関しての予測を行う。

次に、３）実写ゴースト判定とそのデータ作成方法について説明する。

これは前述のように予測されたゴースト情報を用いて、実際に撮影された画像に対して、どの部分がゴーストであるかを判定するものであり、予測されたゴーストの位置、大きさ、形状、色見情報を使って実際の画像と照らし合わせ、パターン認識等の画像処理を行うことにより自動的に判定を行う。更に、実際の画像において、どの部分がゴーストに対応するかを形状、輪郭等を抽出し、それらの情報をゴーストデータとして作成し記録する。

次に、４）ゴースト低減処理について説明する。

ここでは、上記ゴーストデータを用いてゴースト低減（補正）処理を行うか否かを自動的に判定し、自動的にゴーストを画像処理にて除去することも可能であるが、写真の効果として故意的にゴーストを発生させる場合もあり、この場合の判定は撮影者が指定できるようになっている。

図３に図１と同じズーム光学系で変倍したときに問題となるゴーストの光路を示す。このゴーストは図１の焦点距離が５０ｍｍでは発生しないが、図３の焦点距離１００ｍｍ状態で発生するものであり、反射するレンズ面位置が異なる。また、図１のレンズ面での反射ゴーストは焦点距離１００ｍｍのレンズ配置では、最終レンズと撮像素子面の距離が大きくなって集光しなくなるためにゴーストとして問題無いレベルとなる。図３のゴースト光路はレンズに対して小さい入射角度でしか発生しないゴーストであり、このようにズームレンズでは使用される焦点距離により問題となるゴーストの発生条件が異なる。図４に図２と同様に撮像素子の撮像面上での高輝度光源と発生ゴーストの位置関係、ゴーストの形状を示す。

第１の実施形態では、撮像素子の撮像面で反射する例について説明したが、撮像素子近傍にはローパスフィルターや撮像素子のカバーガラス等が配置されており、これらの面での反射で発生するゴーストに対しても同様の処理を行うことができる。
［第２の実施形態］
図６乃至図８は、本発明に係る第２の実施形態の撮像装置の光学系の一部を示す図である。

図６において、２１は撮影光学系を示しており、２２は撮像素子面（結像面）、２３は被写体側より入射角度３．５度で撮影レンズに入射する光束を示す。光束２３の一部は撮影光学系を通過することにより、正規の光束として２６の位置に結像される。ここで、図２６に示す光束は問題となるゴーストの光束を例示しており、光束２３はレンズ面２４で面の反射率分だけ反射されて逆方向に進む、さらにこの光束はレンズ面２５でその反射率分だけ反射されて再度結像面方向に進み、撮像素子の撮像面２２における２７の位置（光軸より２ｍｍ）にゴースト光束として達する。

図７は被写体側より７．０度で撮影レンズに入射する光束を示し、ゴースト光は図６と同様な光路をたどり撮像面における２８の位置（光軸より５ｍｍ）にゴースト光束として達する。同じく図８は被写体側より１０．５度で撮影レンズに入射する光束を示し、ゴースト光は図６と同様な光路をたどり撮像面における２９の位置（光軸より８ｍｍ）にゴースト光束として達する。ここで、第１の実施形態の場合は、ゴースト光路は一度集光された光束が撮像面近傍で反射された後、レンズ面で反射して再度撮像面にほぼ結像する関係になるために、最初の撮像面近傍の反射点とゴースト光が集光する点とはほぼ等倍結像の共役関係となっている。

これに対して、第２の実施形態の場合は面反射同士の反射であるために等倍結像の共役関係にはならないが、ゴーストとして寄与するレンズ面が特定できていれば、その被写体からの入射角度により発生するゴーストの位置、形状に関しては計算により予測することが可能となる。実像に対してゴースト像が等倍の共役関係にならない場合は、例えば入射角度をパラメーターにした関数値を設定することにより、任意の角度に対して出現ゴーストの位置を予測することが可能である。ゴースト光を低減するまでの一連の流れに関しては、図５と同様に行うことが可能である。
［第３の実施形態］
図９及び図１０は、本発明に係る第３の実施形態を示し、この撮影光学系は焦点距離が４８ｍｍであり、図９においてレンズに対して高輝度被写体から入射角度６度で入った光束が撮影光学系で３１の位置（光軸より５ｍｍ）に結像される。この光束が撮像素子の撮像面上で反射して、レンズ面で反射され撮像面上に再集光される位置を３２（光軸より５ｍｍ）に示す。正規の結像位置３１とゴーストの集光位置３２では光軸に対して対象な位置に発生している。

図１０は図９と同じ光学系で入射角度を８．４度にした場合の正規の結像位置３３（光軸より７ｍｍ）とゴーストの集光位置３４（光軸より７ｍｍ）の関係を示す。これも同様に光軸に対して対称な位置関係になっていることが判る。このようにゴーストの発生原因となる高輝度被写体の位置を撮像素子、撮影レンズ、撮影条件の情報より、ゴースト発生位置を推定することが可能であるために前述したフローに従って、ゴースト低減処理を行うことができる。

図１１は、上記各実施形態が適用可能な撮像装置のブロック図であり、撮像光学系４１から入射した光線は絞り４２により光量制限された後、シャッタ４３を介して撮像素子４４に結像する。撮像素子４４はＭＯＳやＣＣＤなどの半導体撮像素子であり、撮像素子駆動部４６により電荷の流れが制御される。撮像光学系４１のレンズ群はピント調整のためにＡＦ駆動モータ４５により光軸４９上を移動して焦点調節を行う。ＡＦ駆動モータ４５は焦点駆動部５０により駆動され、絞り４２は絞り駆動部４８によりその絞り径が定められ、シャッタ４３はシャッタ駆動部４７により開閉させられて撮像素子４４に入射する光線を制御している。

そして、焦点駆動部５０、絞り駆動部４８、シャッタ駆動部４７は撮影制御部５１により制御されている。撮影制御部５１は、信号処理部５３に取り込まれた画像により測光を行うことで絞り４２の径とシャッタ４３の開き時間を定めており、又は、焦点駆動部４８との連携でジャストピントの点を求めている。撮像素子４４から出力される映像信号はＡ／Ｄ変換部５２によりディジタル信号に変換されて信号処理部５３に入力される。信号処理部５３においては輝度信号や色信号を形成するなどの信号処理を行ってカラー映像信号が形成される。そして形成された映像信号は表示部５４に表示されるとともに記録部５５に記録される。

上記撮像制御部５１は、上述した画像の撮影のほか、撮影条件によりゴーストが発生するか否かを判定するゴースト発生条件判定部６１、ゴースト予測部６２、実写画像上でのゴースト判定とそのデータ作成を行うゴースト判定及びデータ作成部６３、ゴースト低減処理部６４とを備え、上述したゴーストを低減する補正処理を行う。また、撮像制御部５１は、ＵＳＢ等のインタフェース部６５を備え、撮像装置に装着された記録媒体に記録された撮像画像をパーソナルコンピュータ等に取り込んで、当該コンピュータで上記ゴーストを補正するための画像処理を施す態様にすることもできる。

以上説明したように、本実施形態によれば、ＣＣＤやＣＭＯＳ等の固体撮像素子を画像読み取りセンサーとした場合に問題となるセンサー面やローパスフィルター等の反射で発生するゴーストやフレアー光の低減が可能であり、面反射同士で発生するゴーストに対しても有効である。

また、光学的、機械的な構成に関して変更する必要がないために、ローコストな構成で大きな効果を得ることが可能となる。

また、レンズを交換した場合や、撮影条件が変化することで発生するゴーストに対しても画質の劣化をさせずに効果を得ることができるために、どのような装置においてでも高品質の画像を簡単に得ることが可能となる。

本発明に係る第１の実施形態の撮影光学系で実像とゴースト像の光路の関係を示す図である（焦点距離５０ｍｍ）。 本発明に係る第１の実施形態の撮像素子上での実像とゴースト像の位置関係を示す図である（焦点距離５０ｍｍ）。 本発明に係る第１の実施形態の撮影光学系で実像とゴースト像の光路の関係を示す図である（焦点距離１００ｍｍ）。 本発明に係る第１の実施形態の撮像素子上での実像とゴースト像の位置関係を示す図である（焦点距離１００ｍｍ）。 第１の実施形態において、画像の撮影からゴースト低減処理までのフローを説明する図である。 本発明に係る第２の実施形態の撮影光学系におけるゴースト像の光路を示す図である。 本発明に係る第２の実施形態の撮影光学系におけるゴースト像の光路を示す図である。 本発明に係る第２の実施形態の撮影光学系におけるゴースト像の光路を示す図である。 本発明に係る第３の実施形態の撮影光学系で実像とゴースト像の光路の関係を示す図である。 本発明に係る第３の実施形態の撮影光学系で実像とゴースト像の光路の関係を示す図である。 本発明に係る実施形態の撮像装置のブロック図である。

符号の説明

１，２１ 撮影光学系
２ ローパスフィルター
３ 撮像素子カバーガラス
４，２２ 撮像素子
５，２３ 入射光束
６，２６、３１，３３ 結像位置
７ ゴースト反射面
８，２７，２８，２９，３２，３４ ゴースト集光位置
９ 光軸
２４，２５ レンズ面

Claims (10)

1. 撮像素子上に被写体の光学像を結像させる撮像装置において、
   前記撮像素子で得られた被写体の輝度情報から有害な内部反射現象の発生を予測する予測手段と、
   前記予測される有害な内部反射現象の発生態様から実画像上での有害な内部反射現象情報を生成する生成手段と、
   前記生成された有害な内部反射現象情報を用いて有害な内部反射現象の補正処理を行う補正手段とを具備することを特徴とする撮像装置。
2. 前記被写体の輝度情報は、輝度レベル情報、高輝度光源位置情報、高輝度光源大きさ情報の少なくとも１つが含まれることを特徴とする請求項１に記載の撮像装置。
3. 前記予測手段は、焦点距離情報、フォーカス位置情報、Fナンバー情報、前記内部反射現象の色情報、前記内部反射現象の形状情報の少なくとも１つを用いて前記有害な内部反射現象の発生を予測することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記予測手段は、前記撮像素子近傍とレンズ面間での反射による有害な内部反射現象の発生を予測することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記予測手段は、レンズ面間での反射による有害な内部反射現象の発生を予測することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 撮像素子上に被写体の光学像を結像させる撮像方法において、
   前記撮像素子で得られた被写体の輝度情報から有害な内部反射現象の発生を予測する予測工程と、
   前記予測される有害な内部反射現象の発生態様から実画像上での有害な内部反射現象情報を生成する生成工程と、
   前記生成された有害な内部反射現象情報を用いて有害な内部反射現象の補正処理を行う補正工程とを具備することを特徴とする撮像方法。
7. 前記被写体の輝度情報は、輝度レベル情報、高輝度光源位置情報、高輝度光源大きさ情報の少なくとも１つが含まれることを特徴とする請求項６に記載の撮像方法。
8. 前記予測工程では、焦点距離情報、フォーカス位置情報、Fナンバー情報、前記内部反射現象の色情報、前記内部反射現象の形状情報の少なくとも１つを用いて前記有害な内部反射現象の発生を予測することを特徴とする請求項６又は７に記載の撮像方法。
9. 前記予測工程では、前記撮像素子近傍とレンズ面間での反射による有害な内部反射現象の発生を予測することを特徴とする請求項６乃至８のいずれか１項に記載の撮像方法。
10. 前記予測工程では、レンズ面間での反射による有害な内部反射現象の発生を予測することを特徴とする請求項６乃至８のいずれか１項に記載の撮像方法。

Images