JP2010147786A - 撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】光学特性の異なる複数の撮像素子を用いて合成画像を生成する際に、合成画像の品質の劣化を抑えることができる撮像素子及び画像処理方法を提供する。
【解決手段】撮像装置は、光学特性の異なる複数の撮像素子が備えられ、複数の撮像素子のうち少なくとも１つが飽和状態である第１の撮影条件であると判断された場合に、第２の撮影条件で撮像を行ない、第１の撮影条件及び第２の撮影条件で複数の撮像素子それぞれから画像データを取得し、画像データ同士の対比によって第１補正係数を算出し、且つ、複数の撮像素子ごとに、第１の撮影条件で得られた画像データと第２の撮影条件の画像データとの対比によって第２補正係数を算出し、第１補正係数及び第２補正係数に基づいて、第１の撮影条件で飽和状態となった画像データを補正する。
【選択図】図４

Description

本発明は、撮像装置及び画像処理方法に関する。

現在、ＣＣＤ等の撮像素子を備えた撮像装置が広く用いられている。また、撮像素子を複数備えた複眼型の撮像装置が提案されている。複眼型の撮像装置は、複数の撮像素子で同じ被写体を撮像して視差のある一対の画像を得ることができる。そして、これら一対の画像を合成することで被写体を立体的に表現する合成画像を生成することができる。複眼型の撮像装置としては、例えば、下記特許文献１等に示すものがある。

特開２００７−８１８０６号公報

ところで、複眼型の撮像装置では、光学特性が異なる複数の撮像素子を用いることが考えられるが、光学特性の相異によって各撮像素子の出力特性に差が生じることによって、合成画像の画質が劣化することが懸念されている。これは、光学特性の異なる２つの撮像素子を使用する場合、各撮像素子の出力特性はＡＦＥ（アナログフロントエンド）等の後段のゲイン調整で一致させることができるが、各撮像素子の飽和時の光量が異なり、ダイナミックレンジが飽和量の少ない撮像素子により律速されてしまうためである。

ここで、光学特性の異なる２つの撮像素子それぞれについて、照射される光の光量に対する出力の変化の違いを説明する。２つの撮像素子のうち一方を多画素数で且つ低感度の撮像素子（以下、単に低感度デバイスともいう。）とし、他方を少画素数で且つ高感度の撮像素子（以下、単に高感度デバイスともいう。）とする。図１４は、低感度デバイス及び高感度デバイスそれぞれについて、光量に対する出力の特性を示すグラフである。点線で示すグラフは、ゲイン調整前の状態における低感度デバイスのグラフである。図１４に示すように低感度デバイスの出力変化の傾きは、ゲイン調整によって高感度デバイスと同じにすることができる。

ゲイン調整後において、高感度デバイス及び低感度デバイスはそれぞれ、ある領域までは光量の増加に応じてデバイス出力が増加するように変化する。このような変化を見せる領域にある状態をリニア状態とする。そして、ある点から電荷飽和量に達して光量が増加してもデバイス出力があまり増加しない。このような変化を見せる領域にある状態を飽和状態とする。リニア状態から飽和状態に変化するときの境界を変曲点とする。高感度デバイス及び低感度デバイスはそれぞれ変曲点が異なる。図１４では、領域Ａでは、高感度デバイス及び低感度デバイスはいずれもリニア状態となる。領域Ｂでは、高感度デバイスが飽和状態となり、ゲイン調整後の低感度デバイスがリニア状態となる。領域Ｃでは、高感度デバイス及び低感度デバイスはいずれも飽和状態となる。高感度デバイスの変曲点は領域Ａと領域Ｂとの境界であり、低感度デバイスの変曲点は領域Ｂと領域Ｃとの境界である。

図１４の例では、高感度デバイスは、低感度デバイスよりも飽和量が小さい。したがって、このような高感度デバイス及び低感度デバイスを用いて合成画像を生成する場合には、低感度デバイスが高感度デバイスの飽和量に律速となり（所謂、飽和律速状態）、低感度デバイスのダイナミックレンジを有効に使用することができなかった。

特許文献１は、複数の撮像素子を備えた撮像システムにおいて、撮像素子間の飽和特性の差を補正する方法に関するものである。例えば２つの撮像素子の一方が飽和してしまった場合に、飽和特性を線形特性に変換するためのルックアップテーブルを有し、線形領域にある他方の撮像素子の値から飽和した撮像素子の値を線形に変換する。しかし、ルックアップテーブルを使用する場合には、予め補正係数がシステムに保持される形式での補正は不可能であった。また、温度や他の要因による変動を考慮してルックアップテーブルの補正が必要であった。このため、特許文献１の方法では、合成画像の画質が劣化してしまうものと考えられる。

本発明の目的は、光学特性の異なる複数の撮像素子を用いて合成画像を生成する際に、合成画像の品質の劣化を抑えることができる撮像素子及び画像処理方法を提供することにある。

本発明は、複数の撮像素子を備え、該複数の撮像素子で同じ被写体を撮像することで視差のある一対の画像を得て、該一対の画像を合成することで前記被写体を立体的に表現する合成画像を生成する撮像装置であって、
前記複数の撮像素子の光量に対する出力の特性がそれぞれ、リニア状態又は該リニア状態と変曲点を境に変化する飽和状態であり、リニア状態の特性が異なる場合に、リニア状態の特性が等しくなるようにゲインを調整するゲイン調整手段と、
前記複数の撮像素子のうち少なくとも１つが飽和状態となるときを第１の撮影条件としたとき、前記複数の撮像素子がいずれもリニア状態となる第２の撮影条件で撮像を行ない、前記第１の撮影条件及び前記第２の撮影条件で前記複数の撮像素子それぞれから画像データを取得するように制御する制御手段と、
前記複数の撮像素子間で、前記第２の撮影条件の画像データ同士の対比によって第１補正係数を算出し、且つ、前記複数の撮像素子ごとに、前記第１の撮影条件で得られた画像データと前記第２の撮影条件の画像データとの対比によって第２補正係数を算出する演算手段と、
前記第１補正係数及び前記第２補正係数に基づいて、前記第１の撮影条件で飽和状態となった画像データを補正する補正手段と、を備える撮像装置である。

また、本発明は、複数の撮像素子を備え、該複数の撮像素子で同じ被写体を撮像することで視差のある一対の画像を得て、該一対の画像を合成することで前記被写体を立体的に表現する合成画像を生成する撮像装置の画像処理方法であって、
前記複数の撮像素子の光量に対する出力の特性がそれぞれ、リニア状態又は該リニア状態と変曲点を境に変化する飽和状態であり、リニア状態の特性が異なる場合に、リニア状態の特性が等しくなるようにゲインを調整するステップと、
前記複数の撮像素子のうち少なくとも１つが飽和状態となるときを第１の撮影条件としたとき、前記複数の撮像素子がいずれもリニア状態となる第２の撮影条件で撮像を行ない、前記第１の撮影条件及び前記第２の撮影条件で前記複数の撮像素子それぞれから画像データを取得するように制御するステップと、
前記複数の撮像素子間で、前記第２の撮影条件の画像データ同士の対比によって第１補正係数を算出し、且つ、前記複数の撮像素子ごとに、前記第１の撮影条件で得られた画像データと前記第２の撮影条件の画像データとの対比によって第２補正係数を算出するステップと、
前記第１補正係数及び前記第２補正係数に基づいて、前記第１の撮影条件で飽和状態となった画像データを補正するステップと、を有する画像処理方法である。

本発明によれば、光学特性の異なる複数の撮像素子を用いて合成画像を生成する際に、合成画像の品質の劣化を抑えることができる撮像素子及び画像処理方法を提供できる。

以下、本発明の実施形態を図面に基づいて詳しく説明する。
図１は、撮像装置の構成を示すブロック図である。撮像装置は、一対のＣＣＤ型の固体撮像素子３ａ，３ｂを備えている。ここでは、固体撮像素子３ａが固体撮像素子３ｂに比べて少画素数で、且つ、高感度な素子（以下、高感度デバイスともいう。）とし、固体撮像素子３ｂが固体撮像素子３ａに比べて多画素数で、且つ、低感度な素子（以下、低感度デバイスともいう。）とする。なお、一対の画像を得ることができれば、固体撮像素子は２個で一対のものに限定されず、３個以上の固体撮像素子を用いてもよい。また、固体撮像素子は、ＣＣＤ型に限らず、ＣＭＯＳ型のものやその他の撮像素子を用いてもよい。

一対の固体撮像素子３ａ，３ｂそれぞれの光軸方向前方に撮像レンズ１ａ，１ｂと、絞り（アイリス）５ａ，５ｂとが設けられている。また、固体撮像素子３ａ，３ｂと絞り５ａ，５ｂとのそれぞれの間には、メカニカルシャッタ２４ａ，２４ｂが設けられている。

撮像装置は、一対の固体撮像素子３ａ，３ｂそれぞれの出力信号（画像データ）をアナログ信号処理するアナログ信号処理部１２ａ，１２ｂと、アナログ信号処理部１２ａ，１２ｂの出力信号をデジタル信号に変換するアナログデジタル（Ａ／Ｄ）変換器１４ａ，１４ｂとを備えている。

撮像装置は、更に、Ａ／Ｄ変換器１４ａ，１４ｂでデジタル化された画像データを取り込むようにアナログ信号処理部１２ａ，１２ｂ及びＡ／Ｄ変換器１４ａ，１４ｂを制御し、撮像装置の全体を統括制御する制御手段（ＣＰＵ）７を備えている。

撮像装置は、更に、画像データを画像処理して画像を生成する画像データ演算処理部１８を備えている。画像データ演算処理部１８は、一対の固体撮像素子３ａ，３ｂからの画像データに基いて生成された一対の画像を合成することで被写体を立体的に表現する合成画像を生成する画像合成回路（図示しない）を含む。図示しないが、撮像装置には、固体撮像素子３ａ，３ｂから出力されるスルー画像（シャッタボタンが押されていない状態で固体撮像素子３ａ，３ｂから出力される画像データに基いて生成された画像）を解析して焦点位置を自動検出するＡＦ検出回路や、スルー画像から露出量，ホワイトバランスを検出するＡＥ＆ＡＷＢ検出回路が設けられていてもよい。

撮像装置には、画像処理用としてＲＡＭ等のメインメモリ１６と、該メインメモリ１６に画像データを記録する制御を行うメモリ制御部１７が設けられている。また、撮像装置には、画像記録用の外部メモリとして機能する記録媒体１９に画像の記録を行う外部メモリ制御部２０が設けられている。メモリ制御部１７と、画像データ演算処理部１８と、外部メモリ制御部２０は、バス２１，２２を介してＣＰＵ７に接続されている。

図示しないが、撮像装置は、画像処理後の画像をＪＰＥＧ画像やＭＰＥＧ画像に圧縮する圧縮処理回路や、撮像装置の筐体表面に設けられ、合成画像を表示可能な画像表示装置や、画像表示装置に合成画像やスルー画像を表示するビデオエンコーダが設けられ、これらがバス２１，２２を介してＣＰＵ７に接続された構成としてもよい。

撮像装置は、更に、一対の固体撮像素子３ａ，３ｂのそれぞれに駆動タイミングパルス（電子シャッタパルス、読み出しパルス、転送パルス等）を供給する撮像素子駆動部１０と、撮影レンズ１ａ，１ｂを駆動して、レンズ位置を変位させるレンズ駆動部８と、絞り５ａ，５ｂの絞り位置制御を行なう絞り駆動部９と、メカニカルシャッタ２４ａ，２４ｂの開閉動作を実行するメカニカルシャッタ駆動部２３を備えている。撮像素子駆動部１０、レンズ駆動部８、絞り駆動部９、メカニカルシャッター駆動部２３は、ＣＰＵ７からの指令に基いて動作する。

撮像装置は、更に、シャッタボタンの入力によって撮像を行なう撮像モードと、シャッタボタンの入力によって撮像した画像や合成画像を再生し、画像表示装置に表示する再生モードとを切り換えるスイッチ等を含む操作部１１を備えている。操作部１１を操作することによって操作信号がＣＰＵ７に入力され、該操作信号に応じてＣＰＵ７が所定の処理を実行させるための制御信号を出力する。

撮像装置は、固体撮像素子３ａに対応する撮影レンズ１ａと固体撮像素子３ｂに対応する撮影レンズ１ｂとが水平方向に間隔をおいて配置されている。そして、これら一対の固体撮像素子３ａ，３ｂで同じ被写体を撮像することで視差のある一対の画像を得て、該一対の画像を合成することで被写体を立体的に表現する合成画像を生成する。

図２は、図１の固体撮像素子の光量に対する出力の特性を示すグラフである。図２は、固体撮像素子３ａ（高感度デバイス）の特性と、固体撮像素子３ｂ（低感度デバイス）の特性を示している。領域Ａでは、高感度デバイス及び低感度デバイスはいずれもリニア状態となる。領域Ｂでは、高感度デバイスが飽和状態となり、ゲイン調整後の低感度デバイスがリニア状態となる。領域Ｃでは、高感度デバイス及び低感度デバイスはいずれも飽和状態となる。高感度デバイスの変曲点は領域Ａと領域Ｂとの境界であり、低感度デバイスの変曲点は領域Ｂと領域Ｃとの境界である。なお、図２の示す低感度デバイスの特性は、図１４で示した例のようにゲイン調整によってリニア状態の出力を高感度デバイスと同じになるようにゲインアップした後の状態を示している。

既に説明したように、ゲイン調整後の高感度デバイスは、低感度デバイスよりも飽和量が小さくなるため、低感度デバイスが高感度デバイスの飽和量に律速となり、低感度デバイスのダイナミックレンジを有効に使用することができなくなる。

ここで、合成画像を生成するための撮影（本撮影）を行ないたい条件で、固体撮像素子３ａ，３ｂのうち一方の高感度デバイスである固体撮像素子３ａのみが飽和状態であると想定する。このとき、本撮影を行ないたい条件では、固体撮像素子３ａ，３ｂが図２の領域Ｂに示す状態にあり、低感度デバイスのダイナミックレンジを有効に使用できない。そこで、撮像装置は、本撮影を行ないたい条件を第１の撮影条件としたとき、該第１の撮影条件とは異なる後述の第２の撮影条件によって仮撮影を行い、本撮影及び仮撮影で得られる画像データの相関に基づいて本撮影の高感度デバイスから得られる画像データを補正する。

この撮像装置において、仮撮影は本撮影の直前に撮影されるため、仮撮影で取得される画像データが本撮影のものと比較して非常に相関性が高い点で有利である。撮像時の温度などの変動的なパラメータを考慮して予めパラメータをもっておくことは困難であるが、本撮影の直前に撮影された仮撮影では、このような変動的なパラメータの影響を考慮する必要がない。

第２の撮影条件は、高感度デバイス及び低感度デバイスの特性がともにリニア状態となる条件、つまり、図２に示すように領域Ａの状態となる条件である。ここでは、第２の撮影条件を第１の撮影条件よりも撮影時の露光時間が短くしている。なお、第２の撮影条件としては、露光時間の変更に限らず、高感度デバイス及び低感度デバイスの特性がともにリニア状態となる範囲内で、他のパラメータを適宜変更することができる。

次に、本撮影の高感度デバイスから得られる画像データを補正する例を説明する。
図３は、高感度デバイス及び低感度デバイスによって本撮影で取得された画像データと、仮撮影で取得された画像データとを示す図である。図３では、一例として、山の風景を撮像した画像を示している。図３中の四角で囲われた山の稜線部分は日光によって他の部分に比べて光量が多く、高感度デバイスの本撮影で取得した画像データに基づく画像では、該稜線部分に均一に白く表示されて著しく解像度が低下している状態、所謂、白トビが発生しているものとする。このとき、高感度デバイスの本撮影で取得した画像データに基づく画像では、該稜線部分の画像データが飽和状態である。一方で、低感度デバイスの本撮影で取得した画像データの稜線部分では、白トビが発生していないものとする。このとき、低感度デバイスの本撮影で取得した画像データに基づく画像では、該稜線部分の画像データがリニア状態である。また、高感度デバイス及び低感度デバイスのいずれについても、仮撮影で取得した画像データの稜線部分では白トビが発生せず、特性がリニア状態である。

図４は、図３に示す画像データそれぞれの四角で囲った部分を拡大して示した図である。図４に基づいて、高感度デバイスの本撮影で取得される画像データを補正する手順を説明する。

この例では、高感度デバイス及び低感度デバイスの画像データ間で、同じ位置の画素ごとに輝度情報に基づく比較を行なう。画素は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）を含む場合には、ＲＧＢそれぞれについて比較する。

先ず、第２の撮影条件に基づく仮撮影により取得された高感度デバイス及び低感度デバイスの画像データ同士を比較し、第１補正係数を算出する。第１補正係数は、高感度デバイスの画像データの位置座標（ｘ，ｙ）の画素と、該位置座表（ｘ，ｙ）に対応する低感度デバイスの画像データの位置座標（Ｘ，Ｙ）の画素とを比較して算出される（演算Ｆ１）。ここで、第１補正係数は、予め補正テーブルによって定められていてもよい。一例としては、仮撮影による高感度デバイスの画像データの注目した画素の輝度が３００ｍＶとし、仮撮影による高感度デバイスの画像データにおいて該注目した画素と同じ位置に対応する画素の輝度が１５０ｍＶとしたとき、その輝度の比（ここでは、０．５＝１５０ｍＶ／３００ｍＶ）を係数として用いる。これを画素のＲＧＢごとに行なう。なお、ここで、画素の出力値の一例として輝度を用いているが、他のものでもよい。

続いて、第１の撮影条件に基づく本撮影により取得された低感度デバイスの画像データと、第２の撮影条件に基づく仮撮影により取得された低感度デバイスの画像データとを比較し、第２補正係数を算出する。第２補正係数は、本撮影の低感度デバイスの画像データの位置座標（Ｘ，Ｙ）の画素と、該位置座表（Ｘ，Ｙ）に対応する仮撮影の低感度デバイスの画像データの位置座標（Ｘ，Ｙ）の画素とを比較して算出される（演算Ｆ２）。第２補正係数は、露光時間によって変化する値である。

続いて、上記第１補正係数及び第２補正係数によって低感度デバイスの本撮影により取得された画像データと高感度デバイスの本撮影により取得された画像データとの補正係数が算出される（演算Ｆ３）。こうして、第１補正係数及び第２補正係数に基づいて、高感度デバイスの本撮影により取得された画像データと仮撮影により取得された画像データとの間の最終的な補正係数が決定する。こうすることで、高感度デバイスの本撮影により取得された画像データを、仮撮影により取得された画像データに基づいて補正することができる。すると、高感度デバイスの本撮影により取得された画像データにおいて、白トビの発生を防止できる。

撮像装置には、補正を行う際に、第１の撮影条件及び第２の撮影条件で一対の固体撮像素子３ａ，３ｂそれぞれから画像データを取得するように制御する制御手段として機能する制御回路が設けられている。制御回路は、画像データ演算処理部１８などの処理部と一部に含まれていてもよい。また、撮像装置には、上記第１補正係数及び第２補正係数を算出する演算手段として機能する演算回路が設けられている。また、撮像装置には、第１補正係数及び前記第２補正係数に基づいて、画像データを補正する補正手段として機能する補正回路が設けられている。制御回路，演算回路，補正回路は、画像データ演算処理部１８などの処理部の一部に含まれていてもよい。

撮像装置は、仮撮影によって一対の固体撮像素子３ａ，３ｂの画素間の関係係数を利用することで、相対的に飽和量が少ない高感度デバイスである固体撮像素子３ａのダイナミックレンジを擬似的に拡大することができる。このため、低感度デバイスである固体撮像素子３ｂが、高感度デバイスに飽和律速状態となることを回避することができ、低感度デバイスのダイナミックレンジを有効に使用することができる。したがって、補正後に、一対の固体撮像素子３ａ，３ｂで取得された本撮影の画像データ同士を合成して合成画像を生成することで、合成画像の画質の劣化を抑制することができる。

図５は、高感度デバイスの本撮影で取得された画像データとその輝度のヒストグラムを示す図である。
上記のように第１補正係数及び第２補正係数を用いた補正の後、本撮影で取得された画像データに基づいて画像を作成する際には、該画像に基づいて輝度全体のゲインを調整する必要がある。これは、第１補正係数及び第２補正係数の補正は、パラメータを掛けるだけで数値だけの話なので、輝度全体をゲイン調整して補正後データとするためである。

図５（ａ）に示すように、第１補正係数及び第２補正係数を用いた補正による画像データでは、ＡＤレンジ１００％付近にＡＤコンバータの張り付きが見られる。先ずこれを補正により図５（ｂ）のように数値補正によって解消する。すると、ヒストグラムの分布がＡＤレンジ１００％を超えてしまう。そこで、分布全体が撮像装置の規定のレンジ内に収まるようにゲイン調整を行なう。このゲインの調整は、一対の固体撮像素子３ａ，３ｂのうち高輝度の撮像素子についてのみ行なえばよい。

次に、撮像装置の画像処理方法の手順を説明する。図６及び図７は、画像処理方法の手順を示すフローチャートである。なお、以下の画像処理方法の手順の説明では、上述した撮像装置の構成を例に説明するものとし、各構成部材やその機能や処理内容の説明は、簡略または省略する。

最初に、撮像装置において撮影モードが選択される（ステップＳ１１）。ここで、一対の固体撮像素子３ａ，３ｂから取得した画像データを用いて合成画像を生成する３Ｄ（立体）撮像モードが選択されると、次のステップＳ１２に進む。その他の撮影メニューが選択されたときにはステップＳ４１に進み、該撮影メニューに従い、処理を実行する。

３Ｄ撮影モードが選択されると、測光処理が実行され（ステップＳ１２）、続いて合焦処理が実行される（ステップＳ１３）。

次に、一対の固体撮像素子３ａ，３ｂのうち一方で飽和状態となっていないか判別する（ステップＳ１４）。図２を参照すると、一対の固体撮像素子３ａ，３ｂが領域Ｂの状態である場合には、飽和領域ありとしてステップＳ１５に進み、高感度デバイス側の画像データを補正する各フローを行なうこととなる。固体撮像素子３ａ，３ｂが領域Ａ又は領域Ｃの状態にある場合には、ステップＳ３１に進み、補正を行うことなく画像の合成を行なうこととなる。

ステップＳ１５では、仮撮影を行なうために、第２の撮影条件として適正なシャッター速度を検出する処理が行なわれる。そして、検出されたシャッター速度に基づいてシャッター速度を設定する（ステップＳ１６）。

ステップＳ１６で、シャッター速度を設定した後、固体撮像素子３ａ，３ｂがいずれもリニア状態であるか否かを判別する（ステップＳ１７）。一対の固体撮像素子３ａ，３ｂのいずれかがリニア状態でない場合には、ステップＳ１５に戻り、シャッター速度の検出をやり直す。固体撮像素子３ａ，３ｂがいずれもリニア状態である場合には、ステップＳ１８に進んで仮撮影を行ない、画像データを取得する（ステップＳ１９）。

ステップＳ１９で取得した固体撮像素子３ａ，３ｂの画像データ同士を比較し、輝度情報に基づいて輝度係数テーブルを作成する（ステップＳ２０）。

次に、本撮影のシャッター速度を設定し（ステップＳ２１）、本撮影を実行する（ステップＳ２２）。本撮影による固体撮像素子３ａ，３ｂそれぞれの画像データを取得する（ステップＳ２３）。

高感度デバイスである固体撮像素子３ａの画像データを、固体撮像素子３ａ，３ｂそれぞれの仮撮影で取得された画像データを基に算出された第１補正係数及び第２補正係数を用いて補正する（ステップＳ２４）。第１補正係数は、ステップＳ２０で算出された輝度係数テーブルから求めることができる。

ステップＳ２４で補正された画像データと、固体撮像素子３ｂの本撮影で取得された画像データとを合成し、合成画像を生成する（ステップＳ２５）。

生成された合成画像を記録媒体１９に記録する（ステップＳ２６）。そして、撮像装置の電源をＯＦＦにしてよいか判別し（ステップＳ２７）、よければ電源をＯＦＦにする。他の撮影などの指示があった場合にはステップＳ１１に戻る。

ステップＳ１４によって固体撮像素子３ａ，３ｂが領域Ａ又は領域Ｃの状態にあると判断された場合には、仮撮影を行うことなく本撮影を行い（ステップＳ３２）、本撮影によって固体撮像素子３ａ，３ｂそれぞれから画像データを取得する（ステップＳ３３）。そして、固体撮像素子３ａ，３ｂから本撮影によって取得された画像データ同士を合成して合成画像を生成する（ステップＳ３４）。生成されえ合成画像は、記録媒体１９に記録され（ステップＳ２６）、その後、上述した手順と同様に、電源ＯＦＦにするか又はステップＳ１１に戻る。

次に、撮像装置の変形例を説明する。
撮像装置は、第１の撮影条件における固体撮像素子それぞれの画像データに基づいて特徴点を算出し、複数の撮像素子間の特徴点の視差に応じたシフト量を算出し、その後、第２の撮影条件で取得した画像データ同士を比較してシフト量が適正であるかを判別することが好ましい。こうすれば、画像データを画素単位で補正する場合に、固体撮像素子それぞれから取得された画像データ間で、被写体に対して同じ位置の画素で補正することができるため補正精度の向上が期待できる。

図８は、高感度デバイス及び低感度デバイスそれぞれの画像データの特徴点と、画像データ間の特徴点のシフト量とを示す図である。
特徴点は、本撮影によって高感度デバイスから取得した画像データにおいて、飽和状態の画像領域に最も近い点である。特徴点は、本撮影によって高感度デバイス及び低感度デバイスそれぞれから取得した画像データに基づく画像同士を比較したときに、被写体に対する位置が一致する点となるものを指す。特徴点の抽出は、既知の技術を用いて実行可能である。

図８に示すように、高感度デバイスの画像データと低感度デバイスの画像データとでは、特徴点がシフト量ΔＸだけ位置がずれている。シフト量ΔＸは、高感度デバイス及び低感度デバイスそれぞれに対応する一対の撮影レンズ１ａ，１ｂ間の距離に基づく視差に応じて算出することができる。

図９は、一対の画像から合成画像を生成したときに生じるシフト量を模式的に示す図である。被写体として、人物と、該人物の背景に木や駅とを撮像したものとする。一対の固体撮像素子で取得した視差のある画像データを用いて合成画像を生成する場合、撮像装置に近い被写体では視差が大きくなり、遠い被写体では視差が小さくなる。撮像装置によって撮像した位置に近い人物の被写体ではシフト量ΔＸの整合性有りの場合でも、同じシフト量ΔＸでは遠い被写体である背景の木や駅に対しては整合性無しとなる場合がある。

そこで、撮像装置は、飽和状態の画像データを補正する前に、シフト量ΔＸが妥当であるかを仮撮影による画像データを用いて判断するシミュレーションを行なう。

シミュレーションの一例としては、シフト量ΔＸずらした状態で仮撮影の画像データ同士を比較したときに、補正する対象となる画像領域において画像データが重なっているかを判断する。撮像素子から被写体までの距離が、特徴点と補正する対象となる画像領域でほぼ同じ程度であれば算出されたシフト量ΔＸだけずらした画像が補正に使用する際の対応画素にすることができる。しかし、撮像素子から被写体までの距離が、特徴点と補正する対象となる画像領域で無視できないほど異なると、対応画素がずれることになる。シミュレーション結果として補正対象エリアが算出されたシフト量ΔＸでよい一致性を見せれば補正可能と判断する。

次に、本変形例の画像処理方法の手順を説明する。図１０及び図１１は、画像処理方法の手順を示すフローチャートである。この手順において、ステップＳ１１１からステップＳ１２２、ステップＳ１３１からステップＳ１３４、ステップＳ１４１は先に説明した手順と同じである。すなわち、撮影モードを３Ｄ撮像モードに設定し、高感度デバイス及び低感度デバイスが図２に示す領域Ｂの状態であるかを判別し、領域Ｂである場合には、仮撮影と本撮影とを順次に行い、高感度デバイス及び低感度デバイスそれぞれから画像データを取得する。

この変形例の手順では、本撮影によって高感度デバイス及び低感度デバイスから画像データを取得した後、高感度デバイスの画像データにおいて、白トビ等が発生している画像領域、つまり、飽和状態であり補正する画像領域を検出する（ステップＳ１２３）。

そして、検出した補正する画像領域の近傍に位置する特徴点を検出し、該特徴点に基づいて、高感度デバイス及び低感度デバイスの画素データ間のシフト量を算出する（ステップＳ１２４）。

次に、仮撮影によって取得された高感度デバイス及び低感度デバイスの画素データを用いて、算出したシフト量の整合性をシミュレーションによって判断する。シフト量の整合性がある場合には、補正可能と判断し、ステップＳ１２６以降のフローに進む。

一方で、シフト量の整合性がない場合には、補正不可能と判断し、ステップＳ１３１以降のフローに進む。ステップＳ１３１以降のフローでは、先に説明した手順と同じように、本撮影によって取得された高感度デバイス及び低感度デバイスの画素データを用いて合成画像を作成、記録する。

ステップＳ１２６では、高感度デバイスの画像データを、固体撮像素子３ａ，３ｂそれぞれの仮撮影で取得された画像データを基に算出された第１補正係数及び第２補正係数を用いて補正する。第１補正係数及び第２補正係数の算出の仕方は上述したものと同じであるが、この例では、高感度デバイスと低感度デバイスとでは比較する画素の位置がシフト量ΔＸだけずれている。高感度デバイスの画像データのうち注目した画素が位置（ｘ，ｙ）であるとすると、該画素とデータ上同じ位置が（Ｘ，Ｙ）であるとしたとき比較する低感度デバイスの画像データにおける画素を位置（Ｘ＋ΔＸ，Ｙ）のものとする。

ステップＳ１２６で補正された高感度デバイスの画像データと、低感度デバイスの本撮影で取得された画像データとを合成し、合成画像を生成する（ステップＳ１２７）。生成された合成画像は、記録媒体１９に記録し（ステップＳ１２８）、そして、撮像装置の電源をＯＦＦにしてよいか判別し（ステップＳ１２９）、よければ電源をＯＦＦにする。他の撮影などの指示があった場合にはステップＳ１１１１に戻る。

次に、撮像装置の他の変形例を説明する。この例の撮像装置は、画像データの輝度を示すヒストグラムの輝度レベルに応じてゲインの倍率を変える構成である。

図１２は、画像データの輝度レベルに応じてゲインの倍率を変える例を示す図である。ゲインの倍率は、輝度レベルの重み付けによって決定される。

図１２（ａ）は、本撮影による高感度デバイスの画像データとその画像データの輝度のヒストグラムを示している。このとき、ヒストグラムの輝度範囲の上限であるＡＤレンジ１００％付近にＡＤＣの張り付きが見られる。これを補正により図１２（ｂ）のように数値補正によって解消する。すると、ヒストグラムの分布が上限であるＡＤレンジ１００％を超えてしまう（ここでは、仮に１７０％としている。）。

図１２（ｃ）は、図１２（ｂ）のヒストグラムで示される輝度全体を均一の圧縮率で圧縮することでＡＤレンジ１００％内におさめた例を示している。この例では、１７０％輝度をＡＤレンジ１００％輝度に収まるように、輝度全体に均一の倍率を掛けている。

図１２（ｄ）は、輝度レベルの低い側に重み付けし、輝度レベルの高い側を低い側と比べて大きな圧縮率で圧縮することでＡＤレンジ１００％内におさめた例を示している。ここでは、低輝度側（例えば元画像数値補正後データの０〜５０％輝度部）の倍率はほぼ１とし、高輝度側（例えば５０〜１７０％輝度部）には高倍率とする。こうすれば低輝度側の解像度が高い補正後画像を得ることができる。

図１２（ｅ）は、輝度レベルの高い側に重み付けし、輝度レベルの低い側に高い側と比較して大きな圧縮率で圧縮することで、ＡＤレンジ１００％内におさめた例を示している。こうすれば高輝度側の解像度が高い補正後画像を得ることができる。

撮像装置は、ユーザの選択にしたがって、図１２（ｃ），図１２（ｄ）及び図１２（ｅ）に示される輝度の重み付けを設定し、実行する。

撮像装置は、画像データの補正時に輝度の重み付けを行う際に、撮像装置側で自動的に行うオート設定と、上記図１２に示すようにユーザの選択に従って所定の重み付けのパターンを選択するセミオート設定と、ユーザのマニュアル操作にしたがって重み付けを行なうマニュアル設定とのうちいずれかを選択して実行する。

図１３は、重み付けを選択して補正後の画像データのゲイン調整を行なう手順の一例を示すフローチャートである。

最初に、撮像装置は、合成画像を生成するモードが選択された後、ユーザに高感度デバイスの画像データの補正時に輝度を重み付けする設定の選択を促す。

オート設定が選択された場合には、図１３のフロー１の各手順で示すように、Ｄレンジ拡大倍率（数値補正後データの上限。例えば２００％の場合は、２００％を超えると画像データに白トビが発生する。）を例えば２００％に設定し、元の画像データの輝度５０％を補正後の画像データにおいて７５％になるように設定する。そして、予め設定されている値で圧縮率を変更する。こうしてＤレンジ拡大倍率の設定が決定する。

セミオート設定が選択された場合には、図１３のフロー２の各手順で示すように、Ｄレンジ拡大倍率をユーザによって選択された所望の重み付けパターンに基づいて設定する。

図１２（ｃ）のように輝度全体を均一にゲイン調整すると、補正前の画像データの輝度のヒストグラムが全体的に圧縮される。図１２（ｄ）のように低輝度側に重み付けするパターンが設定されると、低輝度側の圧縮率はあまり変化せず、高輝度側の圧縮率が高くなる。図１２（ｅ）のように高輝度側に重み付けするパターンが設定されると、高輝度側の圧縮率があまり変化せず、低輝度側の圧縮率が高くなる。それぞれの重み付けのパターンに基づいて輝度の圧縮がおこなわれＤレンジ拡大倍率が決定する。

マニュアル設定が選択された場合には、図１３のフロー３の各手順で示すように、Ｄレンジ拡大倍率をユーザの操作に従って設定し、設定されたＤレンジ拡大倍率に従って元の画像データの輝度５０％を補正後の画像データにおいて何％にするかを決定する。こうすることで輝度に対する圧縮率をユーザの設定で変更して、Ｄレンジ拡大倍率を決定する。Ｄレンジ拡大倍率が決定した後、測光処理と合焦処理を順次に実行し、手順を終了する。

上記の撮像装置の構成は、デジタルビデオカメラやカメラ付き携帯電話に適用することができる。

本明細書は、下記事項を開示するものである。
（１）複数の撮像素子を備え、該複数の撮像素子で同じ被写体を撮像することで視差のある一対の画像を得て、該一対の画像を合成することで前記被写体を立体的に表現する合成画像を生成する撮像装置であって、
前記複数の撮像素子の光量に対する出力の特性がそれぞれ、リニア状態又は該リニア状態と変曲点を境に変化する飽和状態であり、リニア状態の特性が異なる場合に、リニア状態の特性が等しくなるようにゲインを調整するゲイン調整手段と、
前記複数の撮像素子のうち少なくとも１つが飽和状態となるときを第１の撮影条件としたとき、前記複数の撮像素子がいずれもリニア状態となる第２の撮影条件で撮像を行ない、前記第１の撮影条件及び前記第２の撮影条件で前記複数の撮像素子それぞれから画像データを取得するように制御する制御手段と、
前記複数の撮像素子間で、前記第２の撮影条件の画像データ同士の対比によって第１補正係数を算出し、且つ、前記複数の撮像素子ごとに、前記第１の撮影条件で得られた画像データと前記第２の撮影条件の画像データとの対比によって第２補正係数を算出する演算手段と、
前記第１補正係数及び前記第２補正係数に基づいて、前記第１の撮影条件で飽和状態となった画像データを補正する補正手段と、を備える撮像装置。
（２）上記（１）に記載の撮像装置であって、
前記第２の撮影条件は、前記第１の撮影条件よりも撮影時の露光時間が短い撮像装置。
（３）上記（１）又は（２）に記載の撮像装置であって、
前記第１の撮影条件における前記複数の撮像素子それぞれの画像データに基づいて特徴点を算出し、前記複数の撮像素子間の前記特徴点の前記視差に応じたシフト量を算出し、その後、前記第２の撮影条件で取得した前記画像データ同士を比較して前記シフト量が適正であるかを判別する撮像装置。
（４）上記（１）から（３）のいずれか１つに記載の撮像装置であって、
前記補正手段による補正の後で、前記複数の撮像素子のうち高輝度の撮像素子についてのみゲインを調整する撮像装置。
（５）上記（４）に記載の撮像装置であって、
画像データの輝度を示すヒストグラムの輝度レベルに応じてゲインの倍率を変える撮像装置。
（６）複数の撮像素子を備え、該複数の撮像素子で同じ被写体を撮像することで視差のある一対の画像を得て、該一対の画像を合成することで前記被写体を立体的に表現する合成画像を生成する撮像装置の画像処理方法であって、
前記複数の撮像素子の光量に対する出力の特性がそれぞれ、リニア状態又は該リニア状態と変曲点を境に変化する飽和状態であり、リニア状態の特性が異なる場合に、リニア状態の特性が等しくなるようにゲインを調整するステップと、
前記複数の撮像素子のうち少なくとも１つが飽和状態となるときを第１の撮影条件としたとき、前記複数の撮像素子がいずれもリニア状態となる第２の撮影条件で撮像を行ない、前記第１の撮影条件及び前記第２の撮影条件で前記複数の撮像素子それぞれから画像データを取得するように制御するステップと、
前記複数の撮像素子間で、前記第２の撮影条件の画像データ同士の対比によって第１補正係数を算出し、且つ、前記複数の撮像素子ごとに、前記第１の撮影条件で得られた画像データと前記第２の撮影条件の画像データとの対比によって第２補正係数を算出するステップと、
前記第１補正係数及び前記第２補正係数に基づいて、前記第１の撮影条件で飽和状態となった画像データを補正するステップと、を有する画像処理方法。
（７）上記（６）に記載の画像処理方法であって、
前記第２の撮影条件は、前記第１の撮影条件よりも撮影時の露光時間が短い画像処理方法。
（８）上記（６）又は（７）に記載の画像処理方法であって、
前記第１の撮影条件における前記複数の撮像素子それぞれの画像データに基づいて特徴点を算出し、前記複数の撮像素子間の前記特徴点の前記視差に応じたシフト量を算出し、その後、前記第２の撮影条件で取得した前記画像データ同士を比較して前記シフト量が適正であるかを判別するステップを有する画像処理方法。
（９）上記（６）から（８）のいずれか１つに記載の画像処理方法であって、
前記補正手段による補正の後で、前記複数の撮像素子のうち高輝度の撮像素子についてのみゲインを調整するステップを有する画像処理方法。
（１０）上記（９）に記載の画像処理方法であって、
画像データの輝度を示すヒストグラムの輝度レベルに応じてゲインの倍率を変えるステップを有する画像処理方法。

撮像装置の構成を示すブロック図である。 図１の固体撮像素子の光量に対する出力の特性を示すグラフである。 本撮影で高感度デバイス及び低感度デバイスから本撮影で取得された画像データと、仮撮影で取得された画像データとを示す図である。 図３に示す画像データそれぞれの四角で囲った部分を拡大して示した図である。 高感度デバイスの本撮影で取得された画像データとその輝度のヒストグラムを示す図である。 画像処理方法の手順を示すフローチャートである。 画像処理方法の手順を示すフローチャートである。 高感度デバイス及び低感度デバイスそれぞれの画像データの特徴点と、画像データ間の特徴点のシフト量とを示す図である。 一対の画像から合成画像を生成したときに生じるシフト量を模式的に示す図である。 画像処理方法の手順を示すフローチャートである。 画像処理方法の手順を示すフローチャートである。 画像データの輝度レベルに応じてゲインの倍率を変える例を示す図である。 重み付けを選択して補正後の画像データのゲイン調整を行なう手順の一例を示すフローチャートである。 低感度デバイス及び高感度デバイスそれぞれについて、光量に対する出力の特性を示すグラフである。

符号の説明

３ａ 高感度デバイス（固体撮像素子）
３ｂ 低感度デバイス（固体撮像素子）

Claims (10)

1. 複数の撮像素子を備え、該複数の撮像素子で同じ被写体を撮像することで視差のある一対の画像を得て、該一対の画像を合成することで前記被写体を立体的に表現する合成画像を生成する撮像装置であって、
   前記複数の撮像素子の光量に対する出力の特性がそれぞれ、リニア状態又は該リニア状態と変曲点を境に変化する飽和状態であり、リニア状態の特性が異なる場合に、リニア状態の特性が等しくなるようにゲインを調整するゲイン調整手段と、
   前記複数の撮像素子のうち少なくとも１つが飽和状態となるときを第１の撮影条件としたとき、前記複数の撮像素子がいずれもリニア状態となる第２の撮影条件で撮像を行ない、前記第１の撮影条件及び前記第２の撮影条件で前記複数の撮像素子それぞれから画像データを取得するように制御する制御手段と、
   前記複数の撮像素子間で、前記第２の撮影条件の画像データ同士の対比によって第１補正係数を算出し、且つ、前記複数の撮像素子ごとに、前記第１の撮影条件で得られた画像データと前記第２の撮影条件の画像データとの対比によって第２補正係数を算出する演算手段と、
   前記第１補正係数及び前記第２補正係数に基づいて、前記第１の撮影条件で飽和状態となった画像データを補正する補正手段と、を備える撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記第２の撮影条件は、前記第１の撮影条件よりも撮影時の露光時間が短い撮像装置。
3. 請求項１又は２に記載の撮像装置であって、
   前記第１の撮影条件における前記複数の撮像素子それぞれの画像データに基づいて特徴点を算出し、前記複数の撮像素子間の前記特徴点の前記視差に応じたシフト量を算出し、その後、前記第２の撮影条件で取得した前記画像データ同士を比較して前記シフト量が適正であるかを判別する撮像装置。
4. 請求項１から３のいずれか１つに記載の撮像装置であって、
   前記補正手段による補正の後で、前記複数の撮像素子のうち高輝度の撮像素子についてのみゲインを調整する撮像装置。
5. 請求項４に記載の撮像装置であって、
   画像データの輝度を示すヒストグラムの輝度レベルに応じてゲインの倍率を変える撮像装置。
6. 複数の撮像素子を備え、該複数の撮像素子で同じ被写体を撮像することで視差のある一対の画像を得て、該一対の画像を合成することで前記被写体を立体的に表現する合成画像を生成する撮像装置の画像処理方法であって、
   前記複数の撮像素子の光量に対する出力の特性がそれぞれ、リニア状態又は該リニア状態と変曲点を境に変化する飽和状態であり、リニア状態の特性が異なる場合に、リニア状態の特性が等しくなるようにゲインを調整するステップと、
   前記複数の撮像素子のうち少なくとも１つが飽和状態となるときを第１の撮影条件としたとき、前記複数の撮像素子がいずれもリニア状態となる第２の撮影条件で撮像を行ない、前記第１の撮影条件及び前記第２の撮影条件で前記複数の撮像素子それぞれから画像データを取得するように制御するステップと、
   前記複数の撮像素子間で、前記第２の撮影条件の画像データ同士の対比によって第１補正係数を算出し、且つ、前記複数の撮像素子ごとに、前記第１の撮影条件で得られた画像データと前記第２の撮影条件の画像データとの対比によって第２補正係数を算出するステップと、
   前記第１補正係数及び前記第２補正係数に基づいて、前記第１の撮影条件で飽和状態となった画像データを補正するステップと、を有する画像処理方法。
7. 請求項６に記載の画像処理方法であって、
   前記第２の撮影条件は、前記第１の撮影条件よりも撮影時の露光時間が短い画像処理方法。
8. 請求項６又は７に記載の画像処理方法であって、
   前記第１の撮影条件における前記複数の撮像素子それぞれの画像データに基づいて特徴点を算出し、前記複数の撮像素子間の前記特徴点の前記視差に応じたシフト量を算出し、その後、前記第２の撮影条件で取得した前記画像データ同士を比較して前記シフト量が適正であるかを判別するステップを有する画像処理方法。
9. 請求項６から８のいずれか１つに記載の画像処理方法であって、
   前記補正手段による補正の後で、前記複数の撮像素子のうち高輝度の撮像素子についてのみゲインを調整するステップを有する画像処理方法。
10. 請求項９に記載の画像処理方法であって、
    画像データの輝度を示すヒストグラムの輝度レベルに応じてゲインの倍率を変えるステップを有する画像処理方法。

Images