JP2023132730A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】視点の異なる複数の可視光画像および非可視光画像と対応する深度情報を容易に得ることができる画像処理装置及び画像処理方法を提供する。【解決手段】画像処理装置は、複数視点の可視光画像と、複数視点の非可視光画像と、複数視点の可視光画像に対応した可視光画像のメタ情報と、複数視点の非可視光画像に対応した非可視光画像のメタ情報を、１つのファイルとして記録する。【選択図】図２

Description

本発明は、複数の波長でとらえられた複数の視差画像と、関連する情報を記録する画像処理装置及び画像処理装置の制御方法に関するものである。

赤外線などの非可視領域に感度を持ったセンサで画像信号を取得し、通常人間の目には見えない情報を得る技術が知られている。特許文献１では、可視領域と非可視領域の両方にピントが合った画像を取得するため、どちらかのピント位置に応じてフォーカスレンズ位置と絞りを制御し、どちらも被写界深度内に入るようにする画像処理システムが提案されている。

特開２０１７－００３７４９号公報

レンズ等の集光光学系は光の波長によって焦点位置が異なる。さらに、特許文献１に記載の構成のように、像を形成する光学系が１つしかない場合は、可視領域と非可視領域のいずれか一方に焦点を合わせると、他方は焦点が合わずにぼやけた像となってしまう。特許文献１では絞り機構を利用して光束の径を小さくしてしまうため、被写体からの光量が少なくなってしまい、像から得られる画像信号の品質が悪化してしまうという課題がある。そこで、本発明の目的は、画像信号の品質悪化を低減させつつ、可視領域と非可視領域の画像信号を同時に得られることを可能にした画像処理システムを提供することである

上記課題を解決するため、本発明の画像処理装置は、視点の異なる複数の可視光画像と、該複数の可視光画像に対応する、視点の異なる複数の非可視光画像とを取得する第１の取得手段と、前記複数の可視光画像に対応した可視光画像の深度情報と、該可視光画像の深度情報に対応し、かつ前記複数の非可視光画像に対応した非可視光画像の深度情報とを取得する第２の取得手段と、前記複数の可視光画像、前記可視光画像の深度情報、前記複数の非可視光画像および前記非可視光画像の深度情報を含む１つのファイルを生成する生成手段と、を有することを特徴とする。

本発明によれば、視点の異なる複数の可視光画像および非可視光画像と対応する深度情報を容易に得ることができる。

第１の実施形態の構成を表すブロック線図である。 第１の実施形態の処理フローを示すフローチャートである。 第１の実施形態における撮像素子のカラーフィルタの配置例を示した模式図である。 第１の実施形態における撮像素子の画素部の構造を示した模式図である。 第１の実施形態におけるデフォーカス量と像ずれ量の関係を示した模式図である。 第１の実施形態における光の波長と像ずれ量の関係を示した模式図である。 第１の実施形態における絞りと像ずれ量の変化の関係を示した模式図である。 第１の実施形態における調整パラメータの例を示したグラフである。 第１の実施形態におけるＦ値ごとの補正データの例を示したグラフである。 第１の実施形態における像高ごとの補正データの例を示したグラフである。 第１の実施形態における補正データを近似式で表現したときの係数のテーブルである。 第１の実施形態における記録ファイル形式を模式的に示したものである。 第１の実施形態におけるリフォーカス処理を説明するための模式図である。 第２の実施形態の構成を表すブロック線図である。 第２の実施形態の処理フローを示すフローチャートである。 第２の実施形態における記録ファイル形式を模式的に示したものである。

（第１の実施形態）
以下、本発明の第１の実施形態を図面に参照し、説明していく。図１に第１の実施形態の画像処理システムのブロック図を示す。なお、図１に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。

光学系１０１は、フォーカスレンズやズームレンズ、絞り機構等で構成される光学系であり、被写体からの光束をレンズ等を用いて集光し像信号を作る。撮像素子１０２は、被写体像を光電変換により電気信号に変換して、画像信号として出力する撮像素子である。撮像素子１０２は、複数の光電変換素子を備え、光電変換素子は、複数の入射方向から入射される光束を捕らえて受光するように構成されている。撮像素子１０２は、入射方向が異なる光束ごとに各々視差画像として出力することもできるし、複数の光電変換素子で受光し電気信号に変換された画像信号をまとめて１つの画像信号として出力することもできる。像ズレマップ生成部１０３は、撮像素子１０２で得られた可視光領域、あるいは非可視光領域の光束を受光し得られた視差画像から像ずれマップを生成する。補正データ記憶部１０４は、像ずれマップ生成部１０３で生成された像ずれマップを調整して新たな像ずれマップを生成するための調整パラメータに必要な補正データやその他のデータを記憶する。調整パラメータ生成部１０５は、補正データ記憶部１０４から取得した補正データに基づいて、像ずれマップ生成部１０３で生成された像ずれマップを調整するための、調整パラメータを生成する。システム制御部１０６は、本実施形態における画像処理システム全体の制御をつかさどる。またシステム制御部１０６は、撮影状況に応じて、後述する光学系制御部に対して光学系１０１を制御するための光学系制御情報を送信する。また、調整パラメータ生成部１０５に対して、光学系１０１を構成する絞り機構に関わる情報を光学情報として送信する。

光学系制御部１０７は、システム制御部１０６から送信されてくる光学系制御情報に基づいて光学系１０１を構成するフォーカスレンズやズームレンズ、絞り機構に対して光学系制御信号を送信する。記録制御部１０８は、画像信号、像ずれマップ、調整パラメータを受け取り、後述する記録媒体へ記録するための制御を行う。一時記憶部１０９は、画像信号や例えば像ずれマップ、調整パラメータを一時的に記憶しておく。記録媒体１１０は、記録制御部１０８から出力されるデータを記憶しておく記録媒体であり、メモリカードに代表される補助記憶装置である。

ファイル取得部１１１は記録媒体１１０に記録されたファイルを読み込み、読み込んだファイルから必要なデータを、後段の信号処理部に出力する。像ズレ量調整部１１２は、ファイル取得部１１１から出力される可視領域の像ずれマップとファイルから出力される調整パラメータをもとに、可視領域の像ずれマップを調整して赤外領域（非可視光領域）の像ずれマップを生成する。再構成部１１３は、ファイル取得部１１１から出力される例えば赤外領域の視差画像（非可視光画像）と像ずれ量調整部１１２から出力される赤外領域の像ずれマップをもとに、リフォーカス処理によって画像を再構成する。現像処理部１１４は、再構成部１１３から出力された例えば赤外領域のリフォーカス画像を後述する表示部で表示できるように現像処理を行う、表示部１１５は現像部１１４で現像処理された例えば赤外領域の現像画像をユーザーへ表示する。表示部１１５は例えば液晶パネルで構成される。

次に、図２を参照して、第１の実施形態における処理フローについて説明する。各ステップの処理はシステム制御部１０６あるいはシステム制御部１０６の指示により各部で行われる。

ステップ２０１では、撮像素子１０２から可視領域の視差画像信号と赤外領域の視差画像信号を取得する。図３は撮像素子１０２の画素部の配列を模式的に示したものである。受光部３０１はフォトダイオードに代表される光電変換素子が二次元上に配列され、各光電変換素子上部には被写体からの光束のうち特定の波長帯域を透過させるためにカラーフィルタが備えられている。カラーフィルタ３０２は赤色等可視光を透過するカラーフィルタ、赤外フィルタ３０３は赤外光を透過する、可視領域に比べて赤外領域により高い受光感度を有するフィルタである。カラーフィルタ３０２としてはそのほかにも緑色を透過するフィルタ（Ｇ）や青色を透過するフィルタ（Ｂ）が規則的に配置されている。これらカラーフィルタを透過した光束は、それぞれのカラーフィルタの直下に配置された光電変換部で光電子変換され、電気信号として撮像素子１０２から出力される。図４は撮像素子１０２を構成する光電変換素子とマイクロレンズとの関係を示した図である。図４のように、撮像素子１０２は２つの光電変換部４０１、４０２に共通で１つのマイクロレンズ４０４を備えて画素部４０３を形成している。前述したカラーフィルタ３０２や赤外フィルタ３０３は画素部に対して１対１でマイクロレンズ４０４の上部に形成されている。すなわち、カラーフィルタ３０２が配された画素部からの信号は、可視領域の視差画像（視点の異なる複数の可視光画像）の画素信号として取得される。また、赤外フィルタ３０３の配された画素部からの信号は、非可視領域の視差画像（視点の異なる複数の非可視光画像、赤外光画像）の画素信号として取得される。同様に、２つの光電変換部４０５、４０６に共通で１つのマイクロレンズ４０８を備え、画素部４０７を形成している。この構造によってペアとなっている各々の光電変換部から個別に信号を取り出すことで入射方向の異なる光束を受光した画像信号を取得できる。また、ペアとなっている各々の光電変換部からの信号を混合することで、画像処理装置や撮像装置で表示したり記録するための画像信号を取得できる。なお、撮像素子１０２上に存在する他の画素部についても、図示した位置関係で構成され、撮像素子１０２上の水平方向及び垂直方向に繰り返し配置されている。ステップ２０１では、このような構成の撮像素子１０２から各々の光電変換部で変換された電気信号を画像信号として出力する。第１の実施形態では、光電変換部４０１や４０５に位置する画像信号を第１視差画像として出力し、光電変換部４０２や４０６に位置する画像信号を第２視差画像として出力する。このような構成とすることで、撮像素子１０２から可視領域の視差画像と赤外領域の視差画像を両方とも同時に取得することができる。

ステップ２０２では、可視領域の視差画像から像ずれマップ（可視領域の像ずれマップ）を生成する。像ずれマップ生成部１０３は、撮像素子１０２から得られた可視領域の第１視差画像と第２視差画像をもとに、両画像間の像のずれ量を算出し、像ずれ量を２次元マップ化した像ずれマップとして記録制御部１０８に出力する。

図５は、第１視差画像と第２視差画像の像ずれ量を示した図である。図５において撮像素子１０２は、撮像面５０１に配置される。光学系１０１の射出瞳は、瞳部分領域５０４と瞳部分領域５０５に２分割される。図５において、ｄはデフォーカス量を示しており、結像位置から撮像面までの距離である。被写体５０２は合焦状態（ｄ＝０）となる被写体の位置を示している。被写体５０３は前ピン状態（ｄ＜０）となる被写体の位置を示している。また、前ピン状態（ｄ＜０）と後ピン状態（ｄ＞０）を合わせて、デフォーカス状態（｜ｄ｜＞０）と呼ぶ。前ピン状態（ｄ＜０）では、被写体５０３からの光束のうち瞳部分領域５０４を通過した光束が一度集光した後、光束の重心位置Ｇ１を中心として幅Γ１に広がり、撮像面５０１でぼけた像となる。ぼけた像は、撮像素子１０２に配列された各画素４０３を構成する光電変換部４０１により受光され、第１視差画像が生成される。よって、第１視差画像は、撮像面５０１上の重心位置Ｇ１の近傍において、被写体５０３がぼけ幅Γ１にわたってぼけた被写体像として記録される。被写体像のぼけ幅Γ１は、デフォーカス量ｄの絶対値｜ｄ｜にほぼ比例する。同様に、瞳部分領域５０５を通過した光束は、光束の重心位置Ｇ２を中心として幅Γ２に広がる。ぼけた像は、光電変換部４０２より受光され、第２視差画像が生成される。よって、第２視差画像は、撮像面５０１上の重心位置Ｇ２の近傍において、被写体５０２がぼけ幅Γ２にわたってぼけた被写体像として記録される。被写体像のぼけ幅Γ２も、デフォーカス量ｄの大きさ｜ｄ｜にほぼ比例する。よって、第１視差画像と第２視差画像との間の被写体像の像ずれ量ｐ（＝光束の重心位置の差Ｇ１－Ｇ２）の絶対値｜ｐ｜も、デフォーカス量ｄの絶対値｜ｄ｜にほぼ比例する。なお、後ピン状態（ｄ＞０）の場合も、第１視差画像と第２視差画像との間の被写体像の像ずれ方向が前ピン状態と反対となる点を除き、同様である。このようにデフォーカス状態にある被写体５０２の１点から放出された放射光束は、撮像面５０１上で第１視差画像と第２視差画像間で像間の重心がずれることになる。

ステップ２０２では、像ずれマップ生成部１０３において、第１視差画像と第２視差画像の画像間でＳＡＤ（Ｓｕｍ ｏｆＡｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）演算に代表される相関演算処理を行い、相関度合いに基づいて２つの像の間の像ずれ量を算出する。像ずれ量は第１視差画像や第２視差画像を構成する１画素単位の粒度で求めてもよいし、所定の画素数で領域を定義し各領域単位で算出するようにしてもよい。

次に、視差画像間の像ずれ量について、光の波長ごとの性質について説明する。図６は、視差画像間の像ずれ量を、可視領域と非可視領域のそれぞれで図示したものである。図６において、レンズ６０１を通過する被写体からの光束６０２のうち可視領域の光束６０３は、レンズの屈折によって６０５の位置で結像し、撮像面６０７上では可視領域の視差画像間の像ずれ量として像ずれ量６０８が得られる。一方で、被写体からの光束６０２に含まれる赤外領域の光束は、レンズ６０１の屈折率の波長依存性により、可視領域の光束６０３と異なった光束６０４となり、可視領域の結像位置６０５とは異なる６０６の位置で結像する。すると、撮像面６０７上では赤外領域の視差画像間の像ずれ量として可視領域の像ずれ量６０８とは異なる像ずれ量６０９が得られる。このように、屈折率の波長依存性に起因した結像位置のずれは、撮像面において視差画像間の像ずれ量の波長依存性を生じることになる。これは、例えば、可視領域で結像面が撮像面と一致していたとしても、赤外領域では結像面と撮像面が一致しないため、視差画像間では像ずれが発生することを示す。

ステップ２０３では、調整パラメータ生成部１０５はシステム制御部１０６から撮影時の光学情報を取得する。調整パラメータ生成部１０５は補正データ記憶部１０４から補正データを取得する前に、システム制御部１０６から光学系１０１に関する光学情報として光学系１０１のＦ値を取得する。Ｆ値とは光学系１０１の焦点距離を光学系１０１の有効口径で正規化した値である。図７は、光学的な条件が変化した場合の像ずれ量の変化について示した図であり、特には光学系１０１を構成する絞り機構が変化した場合の様子を模式的に示している。７０１が絞り機構であり、被写体からの光束６０２の一部を遮断して光量を調節するために使われる。絞り機構７０１で絞ったときの光束を７０２で示しており、絞る前の結像位置６０５で結像したのちに撮像面６０７で像を結ぶ。この時、絞り機構７０１で絞る前の像ずれ量６０８と絞ったときの像ずれ量７０３を比較すると、絞ったときのほうが像ずれ量が小さくなる。このように同一焦点距離であっても光学系１０１の有効径が変化すると、撮像面６０７上で現れる像ずれ量が変化する特徴がある。また、可視領域と赤外領域のそれぞれで考えると、可視領域の視差画像から得られる像ずれ量も赤外領域の視差画像から得られる像ずれ量もいずれも変化する。したがって、調整パラメータ生成部１０５は、撮像素子１０２から可視領域の視差画像と赤外領域の視差画像を取得するときの光学情報であるＦ値をシステム制御部１０６から取得する。なお、Ｆ値は光学系１０１を構成する絞り機構の変化だけでなく、定義で示されているように光学系１０１の焦点距離によっても変化する。このため、例えばズームレンズなどに代表される焦点距離が可変である光学系の場合は、システム制御部１０６から焦点距離情報を得るようにしてもよい。

ステップ２０４では、調整パラメータ生成部１０５はシステム制御部１０６から得られた光学情報に基づいて、補正データ記憶部１０４から補正データを取得し調整パラメータを決定し記録制御部１０８へ出力する。

図８は、可視領域の視差画像から得られる像ずれ量と、赤外領域の視差画像から得られる像ずれ量の関係を示した図である。横軸に可視領域の光束基準で設定したデフォーカス量に対する、可視領域の視差画像から得られる像ずれ量（可視領域の像ずれ量）の様子と、赤外領域の視差画像から得られる像ずれ量（非可視領域の像ずれ量）の様子を模式的に示している。可視領域の視差画像から得られる像ずれ量について、デフォーカス量が０の時は結像面と撮像面が一致しているため、像ずれ量も０となる。デフォーカス量が増加するに従い、結像面と撮像面が一致しなくなるため、８０１で示す特性を持つ。実際は光学系１０１や撮像素子１０２の持つ光学特性によって直線とはならない場合があるが、説明のため原点を通る直線で図示している。一方で、図６で説明した様に、赤外領域の視差画像から得られる像ずれ量は、可視領域の光束基準で設定したデフォーカス量が０の場合でも、光学系１０１の屈折率の波長依存性によって０とはならない。そして８０２に示すように可視領域の視差画像から得られる像ずれ量とは異なる特性を示す。これを、とある設定のデフォーカス量８０３を基準としてみれば、可視領域の視差画像から得られる像ずれ量と、赤外領域の視差画像から得られる像ずれ量には８０４で示す差分が見られる。したがって、この差分情報を調整パラメータとして可視領域の視差画像から得られる像ずれ量に適用することで、赤外領域の視差画像から得られる像ずれ量を推定して求めることが可能になる。

次に図９で補正データ記憶部１０４に記憶されている補正データについて説明する。図９は、可視領域の視差画像から得られる像ずれ量に対する、赤外領域の視差画像から得られる像ずれ量との差分、をグラフで模式的に示したものである。９０１がその例で、可視領域の視差画像から得られる像ずれ量に対応して離散的に差分情報を補正データとして補正データ記憶部１０４に保持している。なお、補正データはあらかじめ不図示の不揮発性記憶装置に記憶しておき、画像処理システムの起動時に補正データ記憶部１０４へ転送するようにしてもよい。また、図７で説明したように、光学系１０１の光学条件によって差分情報が変化する場合は、９０２に示すように光学条件ごとに補正データを補正データ記憶部１０４に記憶する。図９では２種類の光学条件として、Ｆ値が２．０の場合（９０１）とＦ値が４．０の場合（９０２）を補正データとして補正データ記憶部１０４に記憶させておく。また、調整パラメータ生成部１０５はシステム制御部１０６から得られる光学条件に応じて、補正データ記憶部１０４に記憶されてある複数の補正データのうち最適なものを読み出して、調整パラメータとして記録制御部１０８へ出力する。

また、補正データは離散的なので、必要に応じて既知の線形補間演算やバイキュービック補間などの補間処理によって間の補正データを生成し、それら補間処理を行ったものを調整パラメータとして記録制御部１０８へ出力するようにしてもよい。図１０では、光学条件として、撮像面６０７上における光軸中心からの距離である像高に応じて補正データを持つ場合について図示している。光学系１０１のＦ値が同じであっても、撮像面６０７上では像高によって射出瞳の形状が異なり、その結果、像ずれ量も像高によって異なる場合がある。その場合は図１０に示すように、像高位置が０の補正データ９０１とは別に、像高位置が１０ｍｍの補正データ１００１、像高位置が２０ｍｍの補正データをそれぞれ用意して、補正データ記憶部１０４に記憶する。これにより、視差画像の画素位置に応じた適切な調整パラメータを生成することが可能となる。

さらに図１１は、図９や図１０で示した、可視領域の視差画像から得られる像ずれ量と補正データの関係を近似関数で表現したときの近似関数の係数のテーブルを示したものである。可視領域の視差画像から得られる像ずれ量をｘとしたときの補正データをｐ＿ｉとし、一次関数で近似する場合は式１で示す関数となる。

ｆ（ｒ）は一次関数の傾き、ｇ（ｒ）は一次関数の切片を示している。ｒは撮像面６０７上の光軸中心からの距離である像高を示していて、傾きｆ（ｒ）および切片ｇ（ｒ）は像高ｒの関数として、式２および式３の様に一次関数で近似している。

添え字＿ｉはＦ値のバリエーションを示しており、ａ＿ｉ，ｂ＿ｉ，α＿ｉ，β＿ｉはいずれも図１１に示すようにＦ値ごとにテーブル化して補正データ記憶部１０４に記憶させておく。システム制御部１０６は、調整パラメータ生成部１０５から光学情報であるＦ値を取得したのちに、Ｆ値に応じて図１１のテーブルから４つの補正データを取得する。このようにすることで、調整パラメータ生成部１０５は、より少ない補正データをもとに近似式に基づいて調整パラメータを演算し記録制御部１０８へ出力することも可能になる。あるいは、読み出した４つの補正データをそのまま調整パラメータとして記録制御部１０８へ出力するようにしてもよい。

ステップ２０５では、記録制御部１０８は、可視領域の視差画像と、赤外領域の視差画像と、可視領域の像ずれマップと、赤外領域用（非可視領域用）の調整パラメータを記録媒体１１０に記録する。また、記録媒体１１０に記録するために、一時記憶部１０９を使ってあらかじめ決められたファイルフォーマットとなるように一時的にバッファリングしてから記録するようにしてもよい。図１２は記録媒体１１０へ記録するファイル形式を模式的に示したものである。１つのファイル形式の中には、可視領域の第１視差画像ＶＩＳＩＢＬＥ＿ＰＡＲＡＬＬＡＸ０と、可視領域の第２視差画像ＶＩＳＩＢＬＥ＿ＰＡＲＡＬＬＡＸ１と、それら２つの画像と関連づけられた、可視領域の像ずれマップＶＩＳＩＢＬＥ＿ＤＩＳＰＡＲＩＴＹを格納する。合わせて、赤外領域の第１視差画像ＵＮＶＩＳＩＢＬＥ＿ＰＡＲＡＬＬＡＸ０と、赤外領域の第２視差画像ＵＮＶＩＳＩＢＬＥ＿ＰＡＲＡＬＬＡＸ１を格納し、それらに関連した調整パラメータＣＯＲＲＥＣＴＩＯＮ＿ＰＡＲＡＭＥＴＥＲを一緒に格納する。また、調整パラメータが可視領域の像ずれマップを生成するためのものなのか、赤外領域の像ずれマップを生成するためのものなのかを示すヘッダ情報と合わせて記録するようにしてもよい。また、像ずれマップ生成部１０３において可視領域の視差画像から像ずれマップを生成する際に、所定領域毎に像ずれ量を生成する場合がある。このとき、生成された像ずれマップの画像サイズと赤外領域の視差画像の画像サイズとが異なる場合があるため、生成された像ずれマップの画像サイズの関係性を示すサイズ情報を像ずれマップデータのヘッダ情報として一緒に記録するようにしてもよい。あるいは、両画像間の画像サイズの比率をヘッダ情報として記録するようにしてもよい。

以下のステップＳ２０６～Ｓ２１０は、記録媒体１１０に記録された画像ファイルから画像や対応するメタ情報を読み出し、表示等を行うステップであり、記録媒体１１０に画像ファイルを記録する画像処理装置とは別途設けられた装置により実行されてもよい。本実施形態では、同一の撮像装置において再生時に画像ファイル等を読み出して処理を行う形態について例示する。

ステップ２０６では、ファイル取得部１１１は記録媒体１１０に記録されているファイルを読み込む。読み込んだファイルから、可視領域の第１視差画像ＶＩＳＩＢＬＥ＿ＰＡＲＡＬＬＡＸ０と、可視領域の第２視差画像ＶＩＳＩＢＬＥ＿ＰＡＲＡＬＬＡＸ１と、それら２つの画像と関連づけられた、可視領域の像ずれマップＶＩＳＩＢＬＥ＿ＤＩＳＰＡＲＩＴＹ、赤外領域の第１視差画像ＵＮＶＩＳＩＢＬＥ＿ＰＡＲＡＬＬＡＸ０と、赤外領域の第２視差画像ＵＮＶＩＳＩＢＬＥ＿ＰＡＲＡＬＬＡＸ１と、調整パラメータＣＯＲＲＥＣＴＩＯＮ＿ＰＡＲＡＭＥＴＥＲをそれぞれ分離する。

ステップ２０７では、像ずれ量調整部１１２は、調整パラメータと、可視領域の像ずれマップをもとに、赤外領域の像ずれマップを生成する。ファイル取得部１１１から出力された調整パラメータを、像ずれ量調整部１１２内の不図示の一次記憶部に記憶しておき、可視領域の像ずれマップに対して、赤外領域用の調整パラメータを適用して赤外領域の像ずれマップを生成する。調整パラメータは、可視領域の視差画像間の像ずれ量と赤外領域の視差画像間の像ずれ量の差分で表現しているので、加算演算によって赤外領域の像ずれマップを得ることができる。

ステップ２０８では、再構成部１１３は、赤外領域の像ずれマップと赤外領域の視差画像をもとに、赤外領域のリフォーカス画像を生成する。再構成部１１３は、赤外領域の像ずれマップをもとに第１視差画像と第２視差画像に対してシフト加算処理を行うことで画像を再構成する。図１３は、シフト加算処理の仕組みを示した模式図である。

図１３では、ｉを整数として、撮像面１３０１に配置された撮像素子１０２のｉ列目の画素部４０３で得られる第１視差画像をＡｉ、第２視差画像をＢｉとして模式的に表している。第１視差画像Ａｉは、図５の瞳部分領域５０４に対応する主光線角度θａでｉ番目の画素部４０３に入射した光束に基づく画像信号である。第２視差画像Ｂｉは、図５の瞳部分領域５０５に対応する主光線角度θｂでｉ番目の画素部４０３に入射した光束に基づく画像信号である。なお、主光線角度θａ、θｂは、撮像面１３０１に対する垂線と入射する光束の重心に相当する線とがなす角である。

第１視差画像Ａｉと第２視差画像Ｂｉは、光強度分布情報だけでなく、入射角度情報をも有している。よって、以下のような処理を考えることにより、仮想結像面１３０２での再構成画像（仮想結像面１３０２に撮像面１３０１が移動した場合に得られる画像）を生成可能であることが理解できる。まず、第１視差画像Ａｉを光束の向きに沿って仮想結像面１３０２まで平行移動させる。次に、第２視差画像Ｂｉを光束の向きに沿って仮想結像面１３０２の位置まで平行移動させる。これらの視差画像を加算することで、仮想結像面１３０２における再構成画像を生成することができる。

このときの並行移動の量が第１視差画像Ａｉ、第２視差画像Ｂｉとも水平方向に０．５画素分であるものとする。この場合、第１視差画像Ａｉを光束に沿って仮想結像面１３０２まで平行移動させることは、水平方向に＋０．５画素だけシフトさせることと等価である。第２視差画像Ｂｉを光束に沿って仮想結像面１３０２まで平行移動させることは、水平方向に－０．５画素だけシフトさせることと等価である。したがって、第１視差画像Ａｉと第２視差画像Ｂｉとを相対的に＋１画素シフトさせる、すなわち、第１視差画像Ａｉと第２視差画像Ｂｉ＋１を対応させて加算することで、仮想結像面１３０２における再構成画像を生成することができる。また、第１視差画像Ａｉと第２視差画像Ｂｉをシフト加算することで結像面を移動させる際の像面移動量と、シフト量との対応関係は、主光線角度θａと主光線角度θｂの大きさにより決定される。

上述のシフト加算のシフト量をｓ、行番号をｊ、列番号をｉとし、ｊ行ｉ列の第１視差画像をＡ（ｊ，ｉ）、第２視差画像をＢ（ｊ，ｉ）と表記する。これらをシフト加算して得られた再構成画像をＩ（ｊ、ｉ；ｓ）とすることで、シフト加算の処理は以下の式４で表される。

第１視差画像Ａ（ｊ，ｉ）と第２視差画像Ｂ（ｊ，ｉ）がベイヤー配列であるため、シフト量ｓを２の倍数とすることで同色の視差画像を加算することができる。すなわち、ｓ＝２ｎ（ｎは整数）と表すことができる。

さらに、視差画像間の像ずれ量に応じて、シフト量ｓを変えることにより、画素ごとあるいは領域ごとに像面移動量を変化させることができる。

像ずれ量調整部１１２から像ずれ量としてシフト量ｓを受け取り、シフト量ｓに基づいて画素単位あるいは領域単位で上述のシフト加算処理をすることで、像ずれ量に応じた像面移動、すなわちリフォーカス処理が可能となる。

また、第１視差画像Ａ（ｊ，ｉ）と第２視差画像Ｂ（ｊ，ｉ）の各画素間の補間信号を生成してから再構成画像を生成してもよい。これにより、シフト量ｓを非整数とすることができ、シフト量ｓの設定自由度が向上する。

ステップ２０９では、表示用に、現像部１１４でリフォーカス処理後の赤外領域の画像の現像処理を行う。現像処理は表示部１１５が受け取れるフォーマットへの変換を指しており、例えばＹＵＶフォーマットに代表されるような輝度信号と色差信号への変換処理を行う。赤外領域画像の場合、単一波長で構成されているため、モノクロ画像として現像される。

ステップ２１０では、表示部１１５で現像後の赤外領域画像を表示する。

以上で説明した処理により、以下の効果が得られる。撮像素子１０２から可視領域の視差画像と赤外領域の視差画像を同時に取得する。可視領域の視差画像をもとに視差画像間の像ずれ量を算出して像ずれマップを生成する。一方で赤外領域の視差画像からは像ずれマップを生成せずに、可視領域の視差画像から得られる像ずれ量に対する調整パラメータを生成する。調整パラメータは可視領域の視差画像の像ずれ量と、赤外領域の視差画像の像ずれ量の関係が示されており、可視領域の像ずれマップから調整パラメータを使って赤外領域の像ずれ量を推定することが可能となる。これにより、赤外領域の像ずれ量算出に係る処理負荷を低減し、かつファイルのデータ量を削減することで、メモリカードなどに代表される有限記録領域を持つ記録媒体を有効に活用することが可能となる。

また、本実施形態では１つの撮像素子１０２を使い射出瞳分割による視差画像を取得するシステムで説明をしたが、視点の異なる２つ以上の撮像素子１０２を使った視差画像を取得するシステムにおいても、同じ課題を解決する方法として有効である。

本実施形態では、可視領域の視差画像の像ずれマップを元に、赤外領域の視差画像の像ずれ量を推定可能にするための調整パラメータを生成する方法について説明した。しかしこれに限らず、赤外領域の視差画像の像ずれマップを元に、可視領域の視差画像の像ずれ量を推定可能にするための調整パラメータを生成するようにしてもよい。つまり可視光画像と非可視光画像のいずれか一方の深度情報と他方の画像用の調整パラメータを生成するという構成であればよい。可視領域を基準とするか、赤外領域を基準とするかの違いは、補正データ記憶部１０４に記憶させておく補正データを可視領域基準のデータとするか、赤外領域基準のデータとするかの相対的な違いだけであるので、本実施形態の説明の範疇で実現可能である。

また、本実施形態では記録媒体１１０に対して可視領域の像ずれマップと調整パラメータを記録したが、記録容量の削減を求めず調整パラメータの代わりに赤外領域の像ずれマップを記録するようにしてもよい。赤外領域（非可視領域）の像ずれマップが直接記録されていることで、調整パラメータを読み取り可視領域の像ずれマップを調整する手間やシステムが、画像ファイルを受け取り処理する後段の装置で必要なくなるという利点がある。像ずれマップ生成部１０３において、可視領域および赤外領域のそれぞれの像ずれマップを生成し記録することにより、例えば、赤外領域でしか撮影することのできない物体のリフォーカス処理が可能となる。また、記録媒体１１０に記録するファイルのデータ量を削減するために、調整パラメータを記録するか、赤外領域の像ずれマップを記録するかを、切り替えるようにしてもよい。

また、本実施形態では各画像に対応するマップ、調整パラメータを像ずれ量（像ずれマップ）で持っているが、像ずれ量に対してＦ値で換算しデフォーカス量（デフォーカスマップ）で持ってもよい。これにより調整パラメータもＦ値依存の無い補正データとなり、データ量を削減することも可能である。さらにデフォーカス量をレンズのパラメータ（焦点距離等）で換算した撮像装置と被写体までの距離（被写体距離）に換算し被写体距離（被写体距離マップ）やその調整パラメータで持ってもよい。本実施形態ではこれら像ずれ量、デフォーカス量、被写体距離をまとめて深度情報とよび、それらのマップを深度マップとよぶことにする。また、本実施形態では非可視光画像として赤外領域の光を受光した赤外光画像を例示した。しかしこれに限らず、赤外領域の中でも近赤外や遠赤外と分類されさらに非可視領域としては紫外領域などマルチスペクトルカメラ等で扱われるような非可視光の領域であればいずれの波長領域に対応する画像および対応する深度情報であってもよい。

（第２の実施形態）
以下、本発明の第２の実施形態を図面に参照し説明していく。第２の実施形態は、調整パラメータを記録媒体１１０へ記録せずに、記録後のファイルを読み出した後に調整パラメータを生成する場合についての実施形態である。

図１４に第２の実施形態の撮像装置のブロック図を示す。図１と同じ番号を振った図面については説明を省略する。１４０１は記録媒体１１０に記録されたファイルを読み込み、読み込んだファイルから必要なデータを、後段の信号処理部に出力するファイル取得部である。１４０２は、ファイル取得部１４０１から出力された光学情報をもとに、調整パラメータを生成する調整パラメータ生成部であり、１４０３は、調整パラメータを生成するための補正データを記憶する補正データ記憶部である。１４０４は、ファイル取得部１４０１から出力される可視領域の像ずれマップと調整パラメータ生成部１４０２から出力される調整パラメータをもとに、赤外領域の像ずれマップを生成する像ずれ量調整部である。

次に、図１５を参照して、第２の実施形態における処理フローについて説明する。図２と同じ符号を付しているものについては説明を省略する。

ステップ１５０１では、記録制御部１０８は、撮影時の光学条件をシステム制御部１０６から取得する。取得した光学情報は記録制御部１０８を介して記録媒体１１０に記録される。第１の実施形態と異なり、記録されるファイルは、図１６に示すように調整パラメータＣＯＲＲＥＣＴＩＯＮ＿ＰＡＲＡＭＥＴＥＲではなく、光学情報ＯＰＴＩＣＡＬ＿ＩＮＦＯＲＭＡＴＩＯＮとなる。光学情報とは第１の実施形態で説明した光学系１０１のＦ値や焦点距離などである。

ステップ１５０２では、ファイル取得部１４０１は記録媒体１１０に記録されているファイルを読み込む。読み込んだファイルから、可視領域の第１視差画像ＶＩＳＩＢＬＥ＿ＰＡＲＡＬＬＡＸ０と、可視領域の第２視差画像ＶＩＳＩＢＬＥ＿ＰＡＲＡＬＬＡＸ１と、それら２つの画像と関連づけられた、可視領域の像ずれマップＶＩＳＩＢＬＥ＿ＤＩＳＰＡＲＩＴＹ、赤外領域の第１視差画像ＵＮＶＩＳＩＢＬＥ＿ＰＡＲＡＬＬＡＸ０と、赤外領域の第２視差画像ＵＮＶＩＳＩＢＬＥ＿ＰＡＲＡＬＬＡＸ１と、光学情報ＯＰＴＩＣＡＬ＿ＩＮＦＯＲＭＡＴＩＯＮをそれぞれ分離する。

ステップ１５０３では、調整パラメータ生成部１４０２は補正データと、光学情報をもとに調整パラメータを生成する。第１の実施形態のステップ２０４と同様に、ファイル取得部１４０１から可視領域の視差画像が撮影されたときの光学情報を取得し、光学情報を元に補正データ記憶部１４０３から補正データを取得する。取得した補正データをもとに、可視領域の像ずれマップから、赤外領域の像ずれマップを推定するための調整パラメータを生成して出力する。

ステップ１５０４では、像ずれ量調整部１４０４は、調整パラメータと、可視領域の像ずれマップをもとに、赤外領域の像ずれマップを生成する。調整パラメータ生成部１４０２から出力された調整パラメータを、像ずれ量調整部１４０４内の不図示の一次記憶部に記憶しておき、可視領域の像ずれマップに対して、調整パラメータを適用して赤外領域の像ずれマップを生成する。調整パラメータは、第１の実施形態で示したように、可視領域の視差画像間の像ずれ量と赤外領域の視差画像間の像ずれ量の差分で表現しているので、加算演算によって赤外領域の像ずれマップを得ることができる。

本実施形態では視差画像を取得する画像処理システム側で像ずれ量を補正するための補正データを持っていたが、本実施形態によれば視差画像を撮影する画像処理システム側で補正データを持たなくてよい。代わりに、記録媒体１１０に記録されたファイルを読み込む画像処理システム側で補正データを持って置くことで、ファイルのデータ容量のさらなる低減が実現できる。

また、補正データ記憶部１４０３は記録されたファイルを読み込む画像処理システム内に無い構成としてもよい。例えば、ネットワーク上の不図示のデータサーバーに一括して記憶してあっても同等の効果が得られるうえ、補正データを一元管理できるので管理運営上好ましい。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＤＶＤ－ＲＷ、ＤＶＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

また、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

１０１ 光学系
１０２ 撮像素子
１０３ 像ずれマップ生成部
１０４ 補正データ記憶部
１０５ 調整パラメータ生成部
１０６ システム制御部
１０７ 光学系制御部
１０８ 記録制御部
１０９ 一次記憶部
１１０ 記録媒体
１１１ ファイル取得部
１１２ 像ずれ量調整部
１１３ 再構成部
１１４ 現像部
１１５ 表示部

Claims (16)

1. 視点の異なる複数の可視光画像と、該複数の可視光画像に対応する、視点の異なる複数の非可視光画像とを取得する第１の取得手段と、
   前記複数の可視光画像に対応した可視光画像の深度情報と、該可視光画像の深度情報に対応し、かつ前記複数の非可視光画像に対応した非可視光画像の深度情報とを取得する第２の取得手段と、
   前記複数の可視光画像、前記可視光画像の深度情報、前記複数の非可視光画像および前記非可視光画像の深度情報を含む１つのファイルを生成する生成手段と、を有することを特徴とする画像処理装置。
2. 視点の異なる複数の可視光画像と、該複数の可視光画像に対応する、視点の異なる複数の非可視光画像とを取得する第１の取得手段と、
   前記可視光画像と前記非可視光画像のいずれか一方の深度情報と、前記いずれか一方の深度情報から他方の画像に対応する深度情報を生成するための調整パラメータとを取得する第３の取得手段と、
   前記複数の可視光画像、前記複数の非可視光画像、前記いずれか一方の深度情報および前記調整パラメータを含む１つのファイルを生成する生成手段と、を有することを特徴とする画像処理装置。
3. 前記第３の取得手段は、前記可視光画像および前記非可視光画像が撮像された際の光学情報に基づいて前記調整パラメータを算出することを特徴とする請求項２に記載の画像処理装置。
4. 前記光学情報は、Ｆ値と焦点距離であることを特徴とする請求項３に記載の画像処理装置。
5. 前記深度情報は、前記複数の可視光画像または前記複数の非可視光画像の像ずれ量をマップ化したものであることを特徴とする、請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記深度情報は、前記複数の可視光画像または前記複数の非可視光画像のデフォーカス量または被写体距離をマップ化したものであることを特徴とする、請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記調整パラメータは、前記複数の可視光画像の深度情報と、前記複数の非可視光画像の深度情報の差であることを特徴とする請求項２に記載の画像処理装置。
8. 前記調整パラメータは、像高をパラメータとした近似関数の係数をＦ値や焦点距離ごとに持つことを特徴とする請求項２に記載の画像処理装置。
9. 前記可視光画像および前記非可視光画像いずれか一方の画像のサイズと、他方の画像のサイズの関係性を示すサイズ情報を、前記調整パラメータとして記録することを特徴とする請求項２に記載の画像処理装置。
10. 前記非可視光画像は、赤外領域に可視領域に比べてより高い受光感度を有する画素から得られた赤外光画像であることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 視点の異なる複数の可視光画像と、該複数の可視光画像に対応する、視点の異なる複数の非可視光画像と、前記可視光画像と前記非可視光画像のいずれか一方の深度情報と、前記いずれか一方の深度情報から他方の画像に対応する深度情報を生成するための調整パラメータとを含む画像ファイルを取得する取得手段と、
    前記いずれか一方の深度情報及び前記調整パラメータを用いて、他方の画像に対応する深度情報を生成する生成手段と、
    前記他方の画像に対応する深度情報に基づいて画像処理を行う画像処理手段と、
    を有することを特徴とする画像処理装置。
12. 視点の異なる複数の可視光画像と、該複数の可視光画像に対応する、視点の異なる複数の非可視光画像とを取得する第１の取得ステップと、
    前記複数の可視光画像に対応した可視光画像の深度情報と、該可視光画像の深度情報に対応し、かつ前記複数の非可視光画像に対応した非可視光画像の深度情報とを取得する第２の取得ステップと、
    前記複数の可視光画像、前記可視光画像の深度情報、前記複数の非可視光画像および前記非可視光画像の深度情報を含む１つのファイルを生成する生成ステップと、を有することを特徴とする画像処理装置の制御方法。
13. 視点の異なる複数の可視光画像と、該複数の可視光画像に対応する、視点の異なる複数の非可視光画像とを取得する第１の取得ステップと、
    前記可視光画像と前記非可視光画像のいずれか一方の深度情報と、前記いずれか一方の深度情報から他方の画像に対応する深度情報を生成するための調整パラメータとを取得する第３の取得ステップと、
    前記複数の可視光画像、前記複数の非可視光画像、前記いずれか一方の深度情報および前記調整パラメータを含む１つのファイルを生成する生成ステップと、を有することを特徴とする画像処理装置の制御方法。
14. 視点の異なる複数の可視光画像と、該複数の可視光画像に対応する、視点の異なる複数の非可視光画像と、前記可視光画像と前記非可視光画像のいずれか一方の深度情報と、前記いずれか一方の深度情報から他方の画像に対応する深度情報を生成するための調整パラメータとを含む画像ファイルを取得する取得ステップと、
    前記いずれか一方の深度情報及び前記調整パラメータを用いて、他方の画像に対応する深度情報を生成する生成ステップと、
    前記他方の画像に対応する深度情報に基づいて画像処理を行う画像処理ステップと、
    を有することを特徴とする画像処理装置の制御方法。
15. 請求項１２乃至１４のいずれか１項に記載の画像処理装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
16. コンピュータに、請求項１２乃至１４のいずれか１項に記載の画像処理装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images