JP2009296224A - 撮像手段及びプログラム - Google Patents

Abstract

【課題】撮像画像上に出現するフレア等を効果的に低減するための技術を提供する。
【解決手段】レンズや撮像素子の位置、絞り、露光時間等を調節して撮像方向や露出量等といった撮像状況を変化させることで、フレア等の出現位置や強度がそれぞれ異なる複数の画像フレームを撮像部１１に撮像させる。そして、画像合成演算部１４は、フレア等の出現状況が異なる２つの画像フレーム間で、対応する画素同士の輝度を比較し、暗い方の画素を抽出して組み合わせることで、フレア等を低減した画像フレームを合成する。すなわち、フレア等は正常な被写体の像よりも明るい像であるため、フレア等の出現状況が異なる複数の画像フレームを比較し、より暗い方の画素を抽出して合成することで、合成された画像においてフレア等を除去あるいは低減できる。
【選択図】図１

Description

本発明は、画像信号を出力する撮像装置において、撮像画像に出現するフレアやゴースト等を低減する技術に関する。

近年、車両に撮像装置を搭載し、その撮像装置によって撮像された車両周辺の画像を表示装置に表示させることにより、運転者による視認を支援するシステムが実現している。この種のシステムに用いられる撮像装置は、レンズを通した映像を撮像素子に結像させ、それを電気信号である画像信号として出力する。また、このような撮像装置は、車載用に限らず、静止画像を撮影するデジタルスチールカメラや動画像を撮影するデジタルビデオカメラ等にも用いられている。

ところで、上述のような撮像装置によって画像を撮像する際、太陽や対向車両のヘッドライトといった極めて明るい光源がレンズに向けられていると、レンズから結像面へ至る光学系における内面反射によって生じる迷光の影響により、撮像された画像にフレアやゴースト（以下、単に「フレア等」とも表記する）といった光の像が出現することが知られている。このようなフレア等は、一種の映像効果として肯定的に用いられる場合もある一方で、本来の被写体の視認性を低下させるものであるため、撮像された画像から正確な情報を得る必要がある場合には、望ましくないものである。例えば、車載用の撮像装置等の場合、画像上にフレア等が出現することで歩行者や障害物といった運転者が注意すべき被写体の視認性が低下するおそれがある。すなわち、撮像装置の用途によっては、フレア等を低減することで本来の被写体の視認性を向上させることが重要な課題となる。

一方、特許文献１には、黒色図形を撮像したときの黒色図形信号レベルがフレアの有無によって変動することを応用し、カメラに用いられる光学系のフレア率を、黒色図形信号レベルと、参照レベルと、基準黒信号レベルとを基に算出する技術が開示されている。
特開２００１−１２４６６３号公報

しかしながら、上記特許文献１に記載されている技術は、フレアの影響により黒色図形信号レベルが増大することを応用してフレア率の測定を行うものであるため、フレアの低減には効果を持たない。したがって、被写体の視認性向上のためにフレアを低減するといった課題を解決できるものではない。

本発明はこのような問題を解決するためになされたものであり、撮像画像上に出現するフレア等を効果的に低減するための技術を提供することを目的とする。

上記目的を達成するためになされた請求項１に記載の撮像装置は、レンズと、撮像手段と、撮像状況可変手段と、撮像制御手段と、画像合成手段とを備える。
撮像手段は、レンズに入力された光を受ける受光素子を有し、この受光素子により受光した光を画像信号に変換することで画像を撮像するものである。撮像状況可変手段は、レンズから撮像手段へ至る光学系における撮像状況を変化させるものである。撮像制御手段は、撮像状況可変手段を介して撮像状況を変化させながら、撮像手段に撮像状況のそれぞれ異なる複数の画像フレームを撮像させる。画像合成手段は、撮像制御手段による制御に基づいて撮像された撮像状況の異なる複数の画像フレームについて、これら複数の画像フレームをそれぞれ所定部分に分割した個々の分割画像ごとに、これらの複数の画像フレーム間で互いに対応する位置の分割画像同士の明るさをそれぞれ比較して、この各比較において当該分割画像のうち最も暗い分割画像をそれぞれ抽出し、これら抽出した分割画像を組み合わせた合成画像フレームの画像信号を外部に出力する。

撮像画像上のフレア等は、レンズから結像面へ至る光学系における内面反射によって生じる迷光の影響により出現するものであり、光学系における撮像状況（例えば、光学系の構造や位置、絞りの大きさ、露光時間等）を変化させることで、画像上のフレア等の出現状況（位置、強度）を変化させることができる。

したがって、本発明の撮像装置によれば、撮像状況を変化させることで、フレア等の出現状況がそれぞれ異なる複数の画像フレームを撮像できる。そして、フレア等の出現状況が異なる複数の画像フレーム間で、対応する部分画像同士の明るさを比較し、より暗い部分画像を抽出して組み合わせることで、フレア等を低減した合成画像フレームを生成できる。すなわち、フレア等は正常な被写体の像よりも明るい像であるため、フレア等の出現状況が異なる複数の画像フレームを比較し、より暗い方の部分画像を抽出して合成することで、合成された画像においてフレア等を除去あるいは低減できるのである。

なお、本発明のフレア等の低減方法は、静止画像を撮影するデジタルスチールカメラ、及び動画像を撮影するデジタルビデオカメラの何れにも適用可能である。静止画像を撮像する場合、撮像状況を変えながら撮像した画像を合成してフレア等を低減した１枚の画像を出力すればよい。一方、動画像を撮像する場合、撮像状況を変えながら撮像した画像を合成してフレア等を低減した１枚の画像を出力する動作を、所定のフレームレートに同期して順次繰り返すことで、連続する画像フレームによる動画像を生成すればよい。

つぎに、請求項２に記載の撮像装置は、以下のような特徴を有する。撮像状況可変手段は、レンズ又は撮像手段における受光素子の少なくとも何れかの位置を変化させることで撮像方向を変化可能に構成されており、撮像制御手段は、撮像状況可変手段を介して撮像方向を変化させながら、撮像手段に撮像方向のそれぞれ異なる複数の画像フレームを撮像させる。

レンズ又は受光素子、あるいはこれら両方の位置を変化させて撮像方向を変化させることにより、光学系内の内面反射によって生じるフレア等の原因となる迷光の経路が変化する。これによって、画像上に出現するフレア等の位置を変化させることができる。特に、レンズの光軸をある軸を中心に僅かに回転させることで、本来の被写体の像の位置をほとんど変えずに、画像上のフレア等の位置だけを大幅に変えることができる。これは、フレア等はレンズの表面で反射された光によって生じる現象であるため、レンズの光軸を僅かにずらすことによる表面反射の光（迷光）の経路への影響が、被写体の位置の変化に比べてはるかに大きいことに因る。

したがって、このような撮像装置によれば、撮像方向を変化させることでフレア等の出現位置がそれぞれ異なる複数の画像フレームを撮像できる。そして、フレア等の出現位置が異なる複数の画像フレーム間で、対応する部分画像同士の明るさを比較し、より暗い部分画像を抽出して組み合わせることで、フレア等を除去あるいは低減した合成画像フレームを生成できる。

つぎに、請求項３に記載の撮像装置は、以下のような特徴を有する。撮像状況可変手段は、レンズの絞り又は撮像手段の露光時間の少なくとも何れかを変更することで撮像手段の露出量を変化可能に構成されており、撮像制御手段は、撮像状況可変手段を介して露出量を変化させながら、撮像手段に露出量のそれぞれ異なる複数の画像フレームを撮像させる。

絞りや露光時間を変化させて撮像手段に対する露出量を変化させることにより、画像全体の明るさが変化すると共に、フレア等の原因となる迷光の量も変化する。これによって、画像上に出現するフレア等の明るさや規模を変化させることができる。すなわち、露出量が比較的大きければ、フレア等の明るさや規模も大きく、露出量が比較的小さければフレア等の明るさや規模も小さくなる。

したがって、このような撮像装置によれば、露出量を変化させることでフレア等の明るさや規模がそれぞれ異なる複数の画像フレームを撮像できる。そして、フレア等の明るさや規模が異なる複数の画像フレーム間で、対応する部分画像同士の明るさを比較し、より暗い部分画像を抽出して組み合わせることで、フレア等を除去あるいは低減した合成画像フレームを生成できる。

ところで、複数の画像フレームを合成する場合、合成後の画像を見る者にとって違和感のないものにするためには、フレア等以外の本来の被写体の状況になるべく差異のない画像同士を合成することで、合成後の画像上における被写体の歪みを軽減することが望ましい。

そこで、請求項４に記載のように構成するとよい。すなわち、撮像制御手段は、撮像状況可変手段を介して撮像状況を変化させながら、撮像手段に撮像状況のそれぞれ異なる複数の画像フレームを繰り返し連続的に撮像させ、画像合成手段は、撮像制御手段による制御に基づいて撮像された複数の連続する画像フレームについて、互いに部分画像同士の明るさを比較する。

このようにすることで、連続して撮像された画像フレーム同士で対応する部分画像の明るさを比較し、この連続する画像フレーム同士で画像合成を行うことになる。すなわち、複数の画像フレームの撮像間隔を十分に短くすれば、この短い撮像間隔における被写体の状況の差異は小さくなるので、合成後の画像上で被写体の歪みを軽減でき、見る者にとって違和感のない画像合成を実現できる。

さらに、複数の画像フレームを合成した画像を見る者にとって違和感のないものにするためには、合成画像フレームの構成要素となる分割画像をなるべく細かく分割することで、合成後の画像上における被写体の歪みを軽減することが望ましい。

そこで、請求項５に記載のように構成するとよい。すなわち、画像合成手段は、分割画像として画像の画素を用いて、複数の画像フレーム間で互いに対応する位置の画素同士の明るさをそれぞれ比較して、この各比較において当該画素のうち最も暗い画素をそれぞれ抽出し、これら抽出した画素を組み合わせた合成画像フレームの画像信号を外部に出力する。

このように構成することで、複数の画像フレーム間において、画像を構成する最小の単位要素である画素（ピクセル）ごとに明るさを比較し、この比較の結果抽出された画素を組み合わせて画像を合成することができる。よって、合成後の画像上における被写体の歪みを最小限に抑えることができ、好適である。

ところで、撮像状況を変化させながら複数の画像を撮像する過程において、撮像状況によっては画像上に過度に暗い部分が出現する場合もある。本発明の撮像装置においては、複数の画像フレーム間でより暗い方の部分画像を抽出するように構成されているため、撮像した画像フレームに過度に暗い部分が出現している場合、その部分が合成画像に含まれてしまう可能性がある。

そこで、請求項６に記載のように構成するとよい。つまり、画像合成手段は、複数の画像フレーム間で互いに対応する位置の画素同士のうち、ある分割画像の明るさが所定の下限値以下である場合、他の分割画像を抽出する。ここで、明るさの所定の下限値は、例えば、被写体を最低限認識可能な程度の明るさとすることが考えられる。

このように構成することで、撮像状況の変化によって生じた過度に暗い部分が合成後の画像に含まれなくなり、画像上における被写体の視認性が向上する。
以上で説明したような撮像装置における撮像制御手段及び画像合成手段をコンピュータシステムで実現するには、請求項７に記載のようにコンピュータシステム上で稼動するプログラムとして備えればよい。このようなプログラムは、例えばＲＯＭ、ＲＡＭ、磁気／光／光磁気ディスク、ハードディスク等のコンピュータにて読取可能な記憶媒体に記録し、必要に応じてコンピュータにロードすることにより、上記各手段としての機能を実現できる。

以下、本発明が適用された実施形態について図面を用いて説明する。
［撮像装置１ａの構成の説明］
図１は、第１実施形態の撮像装置１ａの概略構成を示すブロック図である。

撮像装置１ａは、動画像を撮影するためのものであり、レンズ１０、撮像部１１、レンズ・撮像素子駆動機構１２、駆動制御部１３、画像合成演算部１４、画像表示部１５を備える。

レンズ１０は、被写体の像を撮像素子に投影するためのものであり、単体のレンズや、レンズそのものを取り付ける鏡筒、絞り機構、シャッター機構を備えている。
撮像部１１は、レンズ１０によって投影された被写体の像を受け、これを電気信号に変換する撮像素子と、撮像素子から得られた電気信号を画像信号に変換し、これを出力する画像エンジンとからなる。撮像部１１は、所定のフレームレート（例えば、３０〜６０ｆｐｓ）で画像フレームを連続的に生成することで動画像を撮像することができる。

レンズ・撮像素子駆動機構１２は、レンズ１０や撮像部１１の撮像素子を移動させることで、被写体に対する撮像方向を変化させるためのものである。具体的には、単体のレンズの光軸をある軸を中心に回転させるような機構や、レンズを取り付けている鏡筒自体を移動させる機構、撮像素子の受光部分の角度を変更させるような機構等が挙げられる。このレンズ・撮像素子駆動機構１２により撮像方向を変化させることで、撮像部１１によって撮像される画像上に出現するフレア等の位置を変えることができる。

駆動制御部１３は、周知のマイコンから構成され、ＲＯＭ等に記憶されたプログラムに基づいて処理を実行する。具体的には、撮像部１１により撮像される動画のフレームレートに同期してレンズ・撮像素子駆動機構１２を駆動させることで、撮像部１１により撮像される連続する画像フレームごとに撮像方向を変化させる。

画像合成演算部１４は、周知のマイコンから構成され、ＲＯＭ等に記憶されたプログラムに基づいて処理を実行する。具体的には、撮像部１１から出力される連続する画像フレームで構成される動画像に基づき、連続する２つの画像フレームの輝度を画素ごとに比較し、暗い方の画素を抽出してこれを合成した合成画像フレームを生成し、この合成画像フレームの画像信号を出力する。この処理を撮像部１１から連続的に出力される画像フレームごとに順次繰り返すことで、合成した画像フレームによる動画像を生成する。

画像表示部１５は、例えば液晶ディスプレイ等の表示装置によって構成され、画像合成演算部１４から出力される動画像の画像信号に基づいて映像を表示する。
［画像合成演算部１４の動作の説明（第１実施形態）］
つぎに、第１実施形態の撮像装置１ａの画像合成演算部１４の動作について、図２〜図５に基づき説明する。

図２は、画像合成演算部１４による画像合成の概要を模式的に示す説明図である。
このうち、図２（ａ）は、撮像部１１により連続して生成される画像フレーム群（Ｎフレーム，Ｎ＋１フレーム，Ｎ＋２フレーム，Ｎ＋３フレーム…）を示している。ここで、連続する２つの画像フレーム同士は互いに撮像方向が異なるように撮像されている。そして、画像合成演算部１４は、この連続する画像フレーム群について、連続する２つの画像フレーム同士の輝度を画素ごとに比較し、暗い方の画素を抽出してこれを合成した合成画像フレームを生成する。すなわち、図２（ｂ）に示すように、ＮフレームとＮ＋１フレームとを合成してＮ´フレームを生成する。同様に、Ｎ＋１フレームとＮ＋２フレームとを合成してＮ＋１´フレームを生成し、Ｎ＋２フレームとＮ＋３フレームとを合成してＮ＋２´フレームを生成するといった具合に、撮像部１１により連続して画像フレームが生成されるのに併せて、画像合成演算部１４が画像フレーム同士を合成した合成画像フレームを連続的に出力することで動画像を生成する。

つぎに、図３は、画像合成演算部１４が連続する２つの画像フレーム同士合成することで、元の画像フレームからフレア等を除去又は低減した合成画像フレームを生成する事例を模式的に示す説明図である。

図３に示すように、Ｎフレームと、これに続くＮ＋１フレームとでは、フレア等の出現位置が大きく異なっている反面、本来の被写体である人物の位置にはほとんど変化がない。このような変化は、Ｎフレームの撮像時とＮ＋１フレームの撮像時とで、レンズの光軸をある軸を中心に僅かに回転させることで得られる。これは、フレア等がレンズの表面で反射された光によって生じる現象であるため、レンズの光軸を僅かにずらすことによる表面反射の光（迷光）の経路への影響が、被写体の位置に及ぼす影響に比べてはるかに大きいことに因る。また、画像フレームの撮像間隔が短ければ、この短い撮像間隔における被写体の状況の差異は小さくなる。

フレア等は、本来の被写体に比べて極めて明るい像として出現する。そこで、フレア等の出現位置が互いに異なるＮフレームとＮ＋１フレームとので互いに対応する画素同士で輝度を比較し、輝度が低い（暗い）方の画素を抽出する。このようにすることで、一方の画像フレームにおいてフレア等が出現している箇所については、フレア等が出現していない他方の画像フレームから画素が抽出されることになる。このような操作を画像フレームにおける全ての画素に対して行うことで、フレア等の出現位置が互いに異なるＮフレームとＮ＋１フレームとから、フレア等の像を排除したＮ´フレームを合成できる。

つぎに、図４は、画像合成演算部１４が実行する画像合成処理（第１実施形態）の手順を示すフローチャートである。
この処理は、画像合成演算部１４が合成対象である２つの連続する画像フレーム（Ｎフレーム，Ｎ＋１フレーム）同士を合成する処理であり、撮像部１１によって撮像される動画像のフレームレートに同期して、合成対象の画像フレームを代えながら繰り返し実行される処理である。

画像合成演算部１４は、まず、画素番号のカウンタｊ，ｋの値をそれぞれ１にセットする（Ｓ１０１）。本実施形態では、画像フレームの画素の位置を示すのに二次元座標で示される画素番号を用いており、異なる画像フレーム間で互いに位置が対応する画素には同一の画素番号が付されている。そして、ｊは画像フレームの縦方向の画素番号を示し、ｋは画像フレームの横方向の画素番号を示している。すなわち、カウンタｊ，ｋの値がそれぞれ１である場合、画素番号（１，１）の画素を指していることになる。

つぎに、Ｎフレームにおける画素番号（ｊ，ｋ）に対応する画素Ｎ（ｊ，ｋ）を参照し、この画素Ｎ（ｊ，ｋ）の輝度Ｉ_N,J,Kを検出する（Ｓ１０２）。つづいて、Ｎ＋１フレームにおける画素番号（ｊ，ｋ）に対応する画素Ｎ＋１（ｊ，ｋ）を参照し、この画素Ｎ＋１（ｊ，ｋ）の輝度Ｉ_N+1,J,Kを検出する（Ｓ１０３）。

そして、それぞれ検出した輝度Ｉ_N,J,KとＩ_N+1,J,Kとを比較し、Ｉ_N,J,KがＩ_N+1,J,Kよりも大きいか否かを判定する（Ｓ１０４）。ここで、Ｉ_N,J,KがＩ_N+1,J,Kよりも大きいと判定した場合（Ｓ１０４：ＹＥＳ）、Ｎ＋１フレームから画素Ｎ＋１（ｊ，ｋ）を抽出する（Ｓ１０５）。一方、Ｉ_N,J,KがＩ_N+1,J,K以下であると判定した場合（Ｓ１０４：ＮＯ）、Ｎフレームから画素Ｎ（ｊ，ｋ）を抽出する（Ｓ１０６）。

つぎに、現在のカウンタｊの値がＡであるか否かを判定する（Ｓ１０７）。ここで、Ａとは、画像フレームの縦方向の画素数である。カウンタｊの値がＡではないと判定した場合（Ｓ１０７：ＮＯ）、ｊの値を１つカウントアップし（Ｓ１０８）、Ｓ１０２の処理へ戻る。以降、Ｓ１０２〜Ｓ１０８の処理を順次繰り返すこととで、カウンタｊの値をカウントアップする。そして、Ｓ１０７でカウンタｊの値がＡであると判定した場合（Ｓ１０７：ＹＥＳ）、現在のカウンタｋの値がＢであるか否かを判定する（Ｓ１０９）。ここで、Ｂとは、画像フレームの横方向の画素数である。カウンタｋの値がＢではないと判定した場合（Ｓ１０９：ＮＯ）、ｊの値を１にリセットすると共にｋの値を１つカウントアップし（Ｓ１１０）、Ｓ１０２の処理へ戻る。

以降、Ｓ１０２〜Ｓ１１０の処理を順次繰り返し、その後、Ｓ１０９でカウンタｋの値がＢであると判定した場合（Ｓ１０９：ＹＥＳ）、Ｓ１０５及びＳ１０６においてそれぞれ抽出した画素を画素番号の順に合成してＮ´フレームを生成し、このＮ´フレームの画像信号を出力する（Ｓ１１１）。

つぎに、図５は、画像合成演算部１４が実行する画像合成処理（第２実施形態）の手順を示すフローチャートである。この第２実施形態の画像処理においては、画像合成演算部１４が合成対象である２つの連続する画像フレーム（Ｎフレーム，Ｎ＋１フレーム）同士を合成するにあたって、輝度の下限値となる閾値が設定されている。そして、どちらかの画像フレームの画素の輝度が閾値以下である場合、この画素については抽出せず、他方の画像フレームの画素を抽出する。

画像合成演算部１４は、まず、画素番号を示すカウンタｊ，ｋの値をそれぞれ１にセットする（Ｓ２０１）。つぎに、Ｎフレームにおける画素番号（ｊ，ｋ）に対応する画素Ｎ（ｊ，ｋ）を参照し、この画素Ｎ（ｊ，ｋ）の輝度Ｉ_N,J,Kを検出する（Ｓ２０２）。つづいて、Ｎ＋１フレームにおける画素番号（ｊ，ｋ）に対応する画素Ｎ＋１（ｊ，ｋ）を参照し、この画素Ｎ＋１（ｊ，ｋ）の輝度Ｉ_N+1,J,Kを検出する（Ｓ２０３）。

つぎに、Ｓ２０２で検出した輝度Ｉ_N,J,Kと輝度の下限となる閾値Ｉ_limとを比較し、Ｉ_N,J,KがＩ_limよりも大きいか否かを判定する（Ｓ２０４）。なお、輝度の下限となる閾値Ｉ_limは、例えば被写体を最低限認識可能な程度の明るさとすることが考えられる。ここで、Ｉ_N,J,KがＩ_lim以下であると判定した場合（Ｓ２０４：ＮＯ）、Ｎ＋１フレームから画素Ｎ＋１（ｊ，ｋ）を抽出する（Ｓ２０７）。

一方、Ｓ２０４でＩ_N,J,KがＩ_limよりも大きいと判定した場合（Ｓ２０４：ＹＥＳ）、Ｓ２０３で検出した輝度Ｉ_N+1,J,Kと輝度の閾値Ｉ_limとを比較し、Ｉ_N+1,J,KがＩ_limよりも大きいか否かを判定する（Ｓ２０５）。ここで、Ｉ_N+1,J,KがＩ_lim以下であると判定した場合（Ｓ２０５：ＮＯ）、Ｎフレームから画素Ｎ（ｊ，ｋ）を抽出する（Ｓ２０８）。

一方、Ｓ２０５でＩ_N+1,J,KがＩ_limよりも大きいと判定した場合（Ｓ２０５：ＹＥＳ）、Ｉ_N,J,KとＩ_N+1,J,Kとを比較し、Ｉ_N,J,KがＩ_N+1,J,Kよりも大きいか否かを判定する（Ｓ２０６）。ここで、Ｉ_N,J,KがＩ_N+1,J,Kよりも大きいと判定した場合（Ｓ２０６：ＹＥＳ）、Ｎ＋１フレームから画素Ｎ＋１（ｊ，ｋ）を抽出する（Ｓ２０７）。一方、Ｉ_N,J,KがＩ_N+1,J,K以下であると判定した場合（Ｓ２０６：ＮＯ）、Ｎフレームから画素Ｎ（ｊ，ｋ）を抽出する（Ｓ２０８）。

つぎに、Ｓ２０９では、現在のカウンタｊの値がＡであるか否かを判定する（Ｓ２０９）。ここで、Ａとは、画像フレームの縦方向の画素数である。カウンタｊの値がＡではないと判定した場合（Ｓ２０９：ＮＯ）、ｊの値を１つカウントアップし（Ｓ２１０）、Ｓ２０２の処理へ戻る。以降、Ｓ２０２〜Ｓ２１０の処理を順次繰り返すこととで、カウンタｊの値をカウントアップする。その後、Ｓ２０９でカウンタｊの値がＡであると判定した場合（Ｓ２０９：ＹＥＳ）、現在のカウンタｋの値がＢであるか否かを判定する（Ｓ２１１）。ここで、Ｂとは、画像フレームの横方向の画素数である。カウンタｋの値がＢではないと判定した場合（Ｓ２１１：ＮＯ）、ｊの値を１にリセットすると共にｋの値を１つカウントアップし（Ｓ２１２）、Ｓ２０２の処理へ戻る。

以降、Ｓ２０２〜Ｓ２１２の処理を順次繰り返し、その後、Ｓ２１１でカウンタｋの値がＢであると判定した場合（Ｓ２１１：ＹＥＳ）、Ｓ２０７及びＳ２０８においてそれぞれ抽出した画素を画素番号の順に合成してＮ´フレームを生成し、このＮ´フレームの画像信号を出力する（Ｓ２１３）。

［撮像装置１ｂの構成の説明］
つぎに、本発明の第２実施形態について、図６，７に基づいて説明する。
図７は、第２実施形態の撮像装置１ｂの概略構成を示すブロック図である。第２実施形態の撮像装置１ｂは、第１実施形態の撮像装置１ａ（図１参照）におけるレンズ・撮像素子駆動機構１２及び駆動制御部１３の代わりに、露出量可変部１６及び露出量制御部１７を備えることを特徴とする。なお、第２実施形態の撮像装置１ｂにおいて、第１実施形態の撮像装置１ａと共通する構成については同じ符号を付し、その説明については省略する。

露出量可変部１６は、レンズ１０に備えられた絞りやシャッターを駆動することで絞りの大きさやシャッター速度（露光時間）を調節し、撮像部１１の撮像素子に対する露出量を変化させるための機構である。露出量制御部１７は、周知のマイコンから構成され、ＲＯＭ等に記憶されたプログラムに基づいて処理を実行する。具体的には、撮像部１１により撮像される動画のフレームレートに同期して露出量可変部１６を駆動させることで、撮像部１１により撮像される連続する画像フレームごとに露出量を変化させる。

［画像合成演算部１４の動作の説明（第２実施形態）］
つぎに、第２実施形態の撮像装置１ｂにおける画像合成演算部１４の動作について説明する。

第２実施形態の画像合成演算部１４は、第１実施形態と同様に、撮像部１１により連続して生成される画像フレーム群（図２（ａ）参照）について、連続する２つの画像フレーム同士を合成する。ここで、連続する２つの画像フレーム同士は互いに露出量が異なるように撮像されている。そして、画像合成演算部１４は、この連続する画像フレーム群について、連続する２つの画像フレーム同士の輝度を画素ごとに比較し、暗い方の画素を抽出してこれを合成した合成画像フレームを生成する。

すなわち、図２（ｂ）に示すように、ＮフレームとＮ＋１フレームとを合成してＮ´フレームを生成する。同様に、Ｎ＋１フレームとＮ＋２フレームとを合成してＮ＋１´フレームを生成し、Ｎ＋２フレームとＮ＋３フレームとを合成してＮ＋２´フレームを生成するといった具合に、撮像部１１により連続して画像フレームが生成されるのに併せて、画像合成演算部１４が画像フレーム同士を合成した合成画像フレームを連続的に出力することで動画像を生成する。

つぎに、図７は、画像合成演算部１４が連続する２つの画像フレーム同士合成することで、元の画像フレームからフレア等を低減した合成画像フレームを生成する事例を模式的に示す説明図である。

図７に示すように、Ｎフレームと、これに続くＮ＋１フレームとでは、露出量の違いにより、画像全体の明るさに加えフレア等の強度（明るさや規模）が異なっている。具体的には、ＮフレームはＮ＋１フレームよりも露出量が大きく、画面全体が比較的明るくなっているのに加え、画像上に出現しているフレア等の強度が高くなっている。一方、Ｎ＋１フレームはＮフレームよりも露出量が小さく、画面全体が比較的暗くなっているのに加え、画像上に出現しているフレア等の強度も低くなっている。

フレア等は、本来の被写体に比べて極めて明るい像として出現し、フレア等の強度が高い程より明るい像になり、本来の被写体の視認性が低下する。そこで、フレア等の出現位置が互いに異なるＮフレームとＮ＋１フレームとので互いに対応する画素同士で輝度を比較し、輝度が低い（暗い）方の画素を抽出すると、両方の画像フレームにおいてフレア等が出現している箇所については、フレア等の強度が低い方の画像フレームから画素が抽出されることになる。また、一方の画像フレームにおいてフレア等が出現している箇所については、フレア等が出現していない他方の画像フレームから画素が抽出されることになる。このような操作を画像フレームにおける全ての画素に対して行うことで、フレア等の出現位置が互いに異なるＮフレームとＮ＋１フレームとから、フレア等を低減したＮ´フレームを合成できる。

なお、第２実施形態の画像合成演算部１４が、合成対象である２つの連続する画像フレーム同士を合成する処理の具体的な手順については、上述の第１実施形態における画像合成処理（第１，２実施形態、図４，５参照）の内容と同様であるので、ここでの説明は省略する。

［効果］
上述の各実施形態の撮像装置１ａ，１ｂによれば、次のような効果を奏する。
（１）撮像方向（第１実施形態）や露出量（第２実施形態）といった撮像状況を変化させることで、フレア等の出現位置や強度がそれぞれ異なる複数の画像フレームを撮像できる。そして、フレア等の出現状況が異なる連続する２つの画像フレーム間で、対応する画素同士の明るさを比較し、暗い方の画素を抽出して組み合わせることで、フレア等を低減した画像フレームを合成できる。

（２）第１実施形態の撮像装置１ａの事例のように、レンズや撮像素子受光素子の位置を調節して撮像方向を変化させることにより、光学系内の内面反射によって生じるフレア等の原因となる迷光の経路が変化する。これによって、画像上に出現するフレア等の位置を変化させることができる。特に、レンズの光軸をある軸を中心に僅かに回転させることで、本来の被写体の像の位置をほとんど変えずに、画像上のフレア等の位置だけを大幅に変えることができる。したがって、第１実施形態の撮像装置１ａによれば、撮像方向を変化させることでフレア等の出現位置がそれぞれ異なる複数の画像フレームを撮像できる。そして、フレア等の出現位置が異なる２つの連続する画像フレーム間で、対応する画素同士の明るさを比較し、暗い方の画素を抽出して組み合わせることで、フレア等を除去あるいは低減した画像フレームを合成できる。

（３）第２実施形態の撮像装置１ｂの事例のように、絞りの大きさやシャッター速度を調節して撮像素子に対する露出量を変化させることにより、画像全体の明るさが変化すると共に、フレア等の原因となる迷光の量も変化する。これによって、画像上に出現するフレア等の強度を変化させることができる。すなわち、露出量が比較的大きければ、フレア等の明るさや規模も大きく、露出量が比較的小さければフレア等の明るさや規模も小さくなる。したがって、第２実施形態の撮像装置１ｂによれば、露出量を変化させることでフレア等の明るさや規模がそれぞれ異なる複数の画像フレームを撮像できる。そして、フレア等の明るさや規模が異なる２つの連続する画像フレーム間で、対応する画素同士の明るさを比較し、暗い方の画素を抽出して組み合わせることで、フレア等を除去あるいは低減した画像フレームを合成できる。

（４）撮像部１１によって撮像された複数の画像フレーム同士を合成する際、連続して撮像された画像フレーム同士で画像合成を行う。すなわち、合成対象の画像フレームの撮像間隔を十分に短くすれば、この短い撮像間隔における被写体の状況の差異は小さくなるので、合成後の画像上で被写体の歪みを軽減でき、見る者にとって違和感のない画像合成を実現できる。

（５）撮像部１１によって撮像された複数の画像フレーム同士を合成する際、合成対象となる２つの画像フレーム間において、画像を構成する最小の単位要素である画素（ピクセル）ごとに明るさを比較し、この比較の結果抽出された画素を組み合わせて画像を合成する。このようにすることで、合成後の画像上における被写体の歪みを最小限に抑えることができる。

（６）撮像状況を変化させながら複数の画像を撮像する過程において、撮像状況によっては画像上に過度に暗い部分が出現する場合もある。画像合成演算部１４では、２つの画像フレーム間で暗い方の画素を抽出するため、撮像した画像フレームに過度に暗い部分が出現している場合、その部分が合成画像に含まれてしまう可能性がある。そこで、合成対象の画像フレームのうち、ある画像フレームにおける画素の輝度が閾値以下である場合、他方の画像フレームの画素を抽出することで、撮像状況の変化によって生じた過度に暗い部分が合成後の画像に含まれなくなり、被写体の視認性が向上する。

［変形例］
以上、本発明の実施形態について説明したが、本発明は上記の実施形態に何ら限定されるものではなく、様々な態様にて実施することが可能である。

例えば、上述の各実施形態においては、本発明を動画像を撮像するための撮像装置（いわゆるデジタルビデオカメラ）に適用した事例について説明した。これ以外にも本発明は、静止画像を撮影するデジタルスチールカメラ等にも適用可能である。静止画像を撮像する場合、撮像状況を変えながら撮像した複数の画像フレームを合成することで、フレア等を低減した１枚の画像を出力すればよい。

また、上述の各実施形態では、２つの連続する画像フレーム同士を合成する事例について説明したが、一度に合成する画像フレームの数は２つに限らず、さらに多くてもよい。その場合、３つ以上の画像フレーム間で対応する画素同士の輝度を比較し、輝度の最も低い画素を抽出して、合成画像を生成するような構成とすることが考えられる。

また、上述の各実施形態では、合成対象の画像フレーム間において画素単位で輝度を比較する事例について説明したが、これに限らず、複数の画素からなる部分画像単位で輝度を比較するような構成であってもよい。

撮像装置１ａの概略構成を示すブロック図である。 画像合成演算部１４による画像合成の概要を模式的に示す説明図である。 元の画像フレームからフレア等を除去又は低減した合成画像フレームを生成する事例を模式的に示す説明図である。 画像合成処理（第１実施形態）の手順を示すフローチャートである。 画像合成処理（第２実施形態）の手順を示すフローチャートである。 撮像装置１ｂの概略構成を示すブロック図である。 元の画像フレームからフレア等を低減した合成画像フレームを生成する事例を模式的に示す説明図である。

符号の説明

１ａ，１ｂ…撮像装置、１０…レンズ、１１…撮像部、１２…レンズ・撮像素子駆動機構、１３…駆動制御部、１４…画像合成演算部、１５…画像表示部、１６…露出量可変部、１７…露出量制御部

Claims (7)

1. レンズと、
   前記レンズに入力された光を受ける受光素子を有し、この受光素子により受光した光を画像信号に変換することで画像を撮像する撮像手段と、
   前記レンズから前記撮像手段へ至る光学系における撮像状況を変化させる撮像状況可変手段と、
   前記撮像状況可変手段を介して撮像状況を変化させながら、前記撮像手段に撮像状況のそれぞれ異なる複数の画像フレームを撮像させる撮像制御手段と、
   前記撮像制御手段による制御に基づいて撮像された撮像状況の異なる複数の画像フレームについて、これら複数の画像フレームをそれぞれ所定部分に分割した個々の分割画像ごとに、これらの複数の画像フレーム間で互いに対応する位置の前記分割画像同士の明るさをそれぞれ比較して、この各比較において当該分割画像のうち最も暗い分割画像をそれぞれ抽出し、これら抽出した分割画像を組み合わせた合成画像フレームの画像信号を外部に出力する画像合成手段とを備えること
   を特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記撮像状況可変手段は、前記レンズ又は前記撮像手段における受光素子の少なくとも何れかの位置を変化させることで撮像方向を変化可能に構成されており、
   前記撮像制御手段は、前記撮像状況可変手段を介して撮像方向を変化させながら、前記撮像手段に撮像方向のそれぞれ異なる複数の画像フレームを撮像させること
   を特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記撮像状況可変手段は、前記レンズの絞り又は前記撮像手段の露光時間の少なくとも何れかを変更することで前記撮像手段の露出量を変化可能に構成されており、
   前記撮像制御手段は、前記撮像状況可変手段を介して露出量を変化させながら、前記撮像手段に露出量のそれぞれ異なる複数の画像フレームを撮像させること
   を特徴とする撮像装置。
4. 請求項１ないし請求項３の何れか１項に記載の撮像装置において、
   前記撮像制御手段は、前記撮像状況可変手段を介して撮像状況を変化させながら、前記撮像手段に撮像状況のそれぞれ異なる複数の画像フレームを繰り返し連続的に撮像させ、
   前記画像合成手段は、前記撮像制御手段による制御に基づいて撮像された複数の連続する画像フレームについて、互いに前記部分画像同士の明るさを比較すること
   を特徴とする撮像装置。
5. 請求項１ないし請求項４の何れか１項に記載の撮像装置において、
   前記画像合成手段は、前記分割画像として画像の画素を用いて、複数の画像フレーム間で互いに対応する位置の画素同士の明るさをそれぞれ比較して、この各比較において当該画素のうち最も暗い画素をそれぞれ抽出し、これら抽出した画素を組み合わせた合成画像フレームの画像信号を外部に出力すること
   を特徴とする撮像装置。
6. 請求項１ないし請求項５の何れか１項に記載の撮像装置において、
   前記画像合成手段は、前記複数の画像フレーム間で互いに対応する位置の画素同士のうち、ある分割画像の明るさが所定の下限値以下である場合、他の分割画像を抽出すること
   を特徴とする撮像装置。
7. 請求項１ないし請求項６の何れか1項に記載の撮像装置に用いられるコンピュータを制御するためのプログラムであって、当該コンピュータを前記撮像制御手段及び前記画像合成手段として機能させるためのプログラム。