JP2013201688A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】撮像の状況に応じて、立体視表示に係る処理を適切化する画像処理装置、画像処理方法および画像処理プログラムを提供する。
【解決手段】画像処理装置は、被写体を撮像して第１の入力画像を取得する第１の撮像部と、第１の撮像部とは異なる視点から被写体を撮像して第２の入力画像を取得する第２の撮像部と、第１および第２の撮像部からの第１および第２の入力画像の入力に応答して、第１の画像処理を順次行なうことで、被写体を立体視表示するための第１のステレオ画像を順次生成する画像処理部とを含む。画像処理部は、撮像時の第１および第２の撮像部による視点の位置関係に応じて、第１のステレオ画像の生成に係る第１の画像処理の処理内容を異ならせる。
【選択図】図５

Description

本発明は、被写体を撮像して立体視表示を提供する画像処理装置、画像処理方法および画像処理プログラムに関する。

近年の表示デバイスの開発とも相まって、立体視表示に係る画像処理技術の開発が進められている。このような立体視表示を実現する典型的な方法として、人間が感じる両眼視差を利用する方法がある。このような両眼視差を利用する場合には、撮像手段から被写体までの距離に応じて視差をつけた一対の画像（以下「ステレオ画像」または「３Ｄ画像」とも称す。）を生成する必要がある。

このような立体視表示の機能を搭載した撮像装置などが提案および実用化されている。例えば、特開２０１１−０１９０２８号公報（特許文献１）は、撮像装置の撮像時の姿勢に応じた違和感のない所望の立体画像表示又は平面画像表示を行なうことを可能にする構成を開示する。より具体的には、姿勢が縦位置から横位置に変化したことを契機として立体画像撮影が実行される構成が開示される。

特開２０１１−１０１２４４号公報（特許文献２）に開示される３Ｄカメラは、撮影モードに移行すると、液晶モニターの左上の領域のうち右半分の領域に右目用スルー画像が表示され、左半分の領域に左目用スルー画像が表示される。そして、上記の領域以外の領域には、撮影者は表示された画像を立体的に観察できるように、右目用スルー画像と左目用スルー画像とが表示される。

また、デジタルカメラなどの分野では、姿勢に応じてモードを切り替える構成が採用される。例えば、特開２００５−２３６８８３号公報（特許文献３）は、姿勢検出センサーが検出した姿勢に応じて選択的にモード切り替えを行なう構成を開示する。具体的には、デジタルカメラが横の姿勢であるとき、静止画または動画を撮影し得る撮影モードとし、デジタルカメラが縦の姿勢であるとき、撮影で得られた画像データをＬＣＤに表示させる再生モードとする構成が開示されている。

また、特開２０１０−２５２２３８号公報（特許文献４）は、簡易な装置構成で被写体を適切な角度で撮像することが可能な撮像装置を開示する。

特開２０１１−０１９０２８号公報 特開２０１１−１０１２４４号公報 特開２００５−２３６８８３号公報 特開２０１０−２５２２３８号公報

上述の特開２０１１−０１９０２８号公報（特許文献１）にも開示されているように、被写体を撮像して立体視表示を行なうことのできるデジタルカメラや携帯電話などでは、カメラ（撮像部）の配置に制限されて、特定の姿勢に限って立体視画像の撮像および生成が可能となる。すなわち、立体視画像の生成は、撮像部が特定の方向（典型的には、左右視点の向き）にある場合に制限される。

そこで、視点を変換する視差調整機能、すなわち立体視表示できない上下視点で撮像した画像を左右視点の画像に変換する機能（視点変換機能）を採用することができる。一般的に、このような視点変換機能は、画像に対する処理量が相対的に多く、ソフトウェアで実装する場合には、処理速度が問題になり得る。

一方で、ユーザーが被写体を撮像する場合には、ファインダーとしての表示部に表示される画像を確認する。このとき、表示部では、撮像部で撮像された入力画像から生成されたステレオ画像を用いて立体視表示がされることが好ましい。これにより、ユーザーは、被写体を立体撮像できることや、撮像対象の被写体がどのような立体感をもって撮像されるのかを容易に把握することができる。また、ユーザーは、表示部により実現される立体視表示を見ながら、立体感（視差量）を手動で調整することもできる。

このようなファインダーとして視認される立体視表示は、リアルタイム（もしくは、可能な限り小さい遅延時間）で生成されることが好ましい。しかしながら、視点変換機能を利用して立体視表示を実現するような構成では、１つのステレオ画像の生成に係る時間が相対的に長く、このようなリアルタイムでの立体視表示は難しい。

そこで、本発明は、かかる問題を解決するためになされたものであり、撮像の状況に応じて、立体視表示に係る処理を適切化する画像処理装置、画像処理方法および画像処理プログラムを提供することである。

本発明のある局面に従う画像処理装置は、被写体を撮像して第１の入力画像を取得する第１の撮像部と、第１の撮像部とは異なる視点から被写体を撮像して第２の入力画像を取得する第２の撮像部と、第１および第２の撮像部からの第１および第２の入力画像の入力に応答して、第１の画像処理を順次行なうことで、被写体を立体視表示するための第１のステレオ画像を順次生成する画像処理部とを含む。画像処理部は、撮像時の第１および第２の撮像部による視点の位置関係に応じて、第１のステレオ画像の生成に係る第１の画像処理の処理内容を異ならせる。

好ましくは、第１のステレオ画像は、それぞれの視点が第１の方向に配置された状態に対応する視差を有する。画像処理部は、撮像時の第１および第２の撮像部が第１の方向に沿って配置された場合に、第１の画像処理として、第１および第２の入力画像の間に生じる視差を含む第１のステレオ画像を生成し、撮像時の第１および第２の撮像部が第１の方向とは異なる第２の方向に沿って配置された場合に、第１の画像処理として、第１および第２の入力画像の少なくとも一方から生成される距離情報に基づいて、第１および第２の入力画像の少なくとも一方から第１のステレオ画像を生成する。

さらに好ましくは、第１の画像処理は、第１および第２の入力画像を低解像度化する処理を含む。

好ましくは、第１の画像処理は、順次入力される第１および第２の入力画像のフレームを間引く処理を含む。

さらに好ましくは、第１の画像処理は、順次入力される第１および第２の入力画像を第１のフレーム間隔で間引いた画像を用いて距離情報を更新するとともに、順次入力される第１および第２の入力画像を第１のフレーム間隔より短い第２のフレーム間隔で間引いた画像を用いて第１のステレオ画像を生成する処理を含む。

好ましくは、画像処理部は、第１および第２の入力画像に対して第２の画像処理を行なうことで、被写体を立体視表示するための第１のステレオ画像より情報量の多い第２のステレオ画像を生成する。

さらに好ましくは、第１の画像処理では、第２の画像処理に比較して、距離情報を生成するための視差を算出する点数が少ない。

好ましくは、第２の画像処理は、距離情報に対する信頼度算出処理および補正処理を含み、第１の画像処理では、信頼度算出処理および補正処理が省略される。

好ましくは、第１の画像処理は、視点変換の視差調整処理を含む。
好ましくは、第１の画像処理は、２Ｄ／３Ｄ変換処理を含む。

好ましくは、画像処理装置は、第１のステレオ画像を立体視表示するための表示部と、表示部における表示内容を制御する表示制御部とをさらに含む。

さらに好ましくは、表示制御部は、第１のステレオ画像とともに、第１および第２の入力画像の少なくとも一方を表示部に表示する。

好ましくは、表示部に表示される第１および第２の入力画像の少なくとも一方の更新周期は、第１のステレオ画像の更新周期より短い。

好ましくは、表示制御部は、互いに独立したパラメータ値に従って生成された複数の第１のステレオ画像を表示部に表示する。

さらに好ましくは、表示部に表示される複数の第１のステレオ画像には、互いに異なる立体感が設定されている。

好ましくは、表示制御部は、表示部に表示される複数の第１のステレオ画像のいずれかに対する選択に応答して、対応するパラメータ値を設定する。

本発明の別の局面に従う画像処理方法は、被写体を第１の撮像部で撮像して第１の入力画像を取得するステップと、第１の撮像部とは異なる視点から被写体を第２の撮像部で撮像して第２の入力画像を取得するステップと、第１および第２の入力画像の入力に応答して、第１の画像処理を順次行なうことで、被写体を立体視表示するための第１のステレオ画像を順次生成するステップとを含む。第１のステレオ画像を順次生成するステップは、撮像時の第１および第２の撮像部による視点の位置関係に応じて、第１のステレオ画像の生成に係る第１の画像処理の処理内容を異ならせるステップを含む。

本発明のさらに別の局面に従えば、コンピューターに画像処理を実行させる画像処理プログラムが提供される。画像処理プログラムは、コンピューターに、被写体を第１の撮像部で撮像して第１の入力画像を取得するステップと、第１の撮像部とは異なる視点から被写体を第２の撮像部で撮像して第２の入力画像を取得するステップと、第１および第２の入力画像の入力に応答して、第１の画像処理を順次行なうことで、被写体を立体視表示するための第１のステレオ画像を順次生成するステップとを実行させる。第１のステレオ画像を順次生成するステップは、撮像時の第１および第２の撮像部による視点の位置関係に応じて、第１のステレオ画像の生成に係る第１の画像処理の処理内容を異ならせるステップを含む。

本発明によれば、撮像の状況に応じて、立体視表示に係る処理を適切化できる。

本発明の実施の形態に従う画像処理装置の典型例である端末装置の外観図である。 図１に示す端末装置の撮像部による視点の位置関係を示す模式図である。 本発明の実施の形態に従う画像処理装置の典型例である端末装置のハードウェア構成を示す模式図である。 本発明の実施の形態に従う画像処理装置の典型例である端末装置の機能構成を示す模式図である。 本発明の実施の形態に従う画像処理装置における全体処理構成を示す模式図である。 本発明の実施の形態に従う画像処理装置における画像処理の時間軸における処理内容を説明するための図である。 本発明の実施の形態に従う画像処理装置における通常画像処理の処理手順を示すフローチャートである。 図１に示す撮像部によって撮像されたあるフレームにおける入力画像の一例を示す図である。 本発明の実施の形態に従う画像処理装置における通常画像処理に従って図８に示す一対の入力画像から生成された視差画像の一例を示す図である。 本発明の実施の形態に従う画像処理装置における通常画像処理に従って図９に示す視差画像から生成された信頼度画像の一例を示す図である。 本発明の実施の形態に従う画像処理装置における通常画像処理に従って図８に示す入力画像から生成された平均色画像の一例を示す図である。 本発明の実施の形態に従う画像処理装置における視差画像補正処理の処理内容を説明するための図である。 本発明の実施の形態に従う画像処理装置における空間的な平滑化処理に用いられる平均化フィルタの一例を示す図である。 本発明の実施の形態に従う画像処理装置における時間的な平滑化処理を説明するための図である。 本発明の実施の形態に従う画像処理装置における視差全体調整量を決定する処理を説明するための図である。 本発明の実施の形態に従う画像処理装置における視差調整処理によって視差調整された視差画像の一例を示す図である。 本発明の実施の形態に従う画像処理装置における３Ｄ画像生成処理の処理内容を説明するための図である。 図１７に示す３Ｄ画像生成処理の処理手順を示すフローチャートである。 図８に示す入力画像１および入力画像２を用いて生成されたステレオ画像の一例を示す図である。 本発明の実施の形態に従う画像処理装置におけるスルー表示用画像処理の処理手順を示すフローチャートである。 本発明の実施の形態に従う画像処理装置におけるスルー表示用画像処理の処理手順を示すフローチャートである。 本発明の実施の形態に従う画像処理装置におけるスルー表示用画像処理での平滑化処理を説明するための図である。 本発明の実施の形態に従う画像処理装置におけるスルー表示用画像処理（変形例）の処理手順を示すフローチャートである。 本発明の実施の形態に従う画像処理装置における表示部での画像表示制御（表示例１）を説明するための図である。 本発明の実施の形態に従う画像処理装置における表示部での画像表示制御（表示例２）を示す図である。 本発明の実施の形態に従う画像処理装置における表示部での画像表示制御（表示例２）を示す図である。 本発明の実施の形態に従う画像処理装置における表示部での画像表示制御（表示例２）を説明するための図である。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

［Ａ．概要］
本発明の実施の形態に従う画像処理装置は、被写体を撮像して第１の入力画像を取得する第１の撮像部と、第１の撮像部とは異なる視点から当該被写体を撮像して第２の入力画像を取得する第２の撮像部とを含む。より具体的な一例として、２つの撮像部（カメラ）がステレオカメラとして形成されている構成を想定する。

図１は、本発明の実施の形態に従う画像処理装置の典型例である端末装置１００の外観図である。図２は、図１に示す端末装置１００の撮像部２による視点の位置関係を示す模式図である。

本発明に係る画像処理装置の一例として、図１に示すような端末装置１００を考える。端末装置１００は、その表面には、撮像部２として２つのカメラ（第１カメラ２１および第２カメラ２２）を含む。端末装置１００は、撮像部２により被写体を撮像することで、当該被写体を立体視表示するためのステレオ画像を生成する。

ステレオ画像を用いて立体視表示を提供する表示部は、端末装置１００がいずれの向きに把持されたとしても、ユーザーへ立体視表示を提供できる構成を有する。一例として、端末装置１００は、視差バリア方式の表示部を有しており、当該表示部は、視差バリアが発生する向きを切り替え可能になっている。すなわち、端末装置１００の姿勢に応じて視差バリアの発生する向きが切り替えられ、それによって、ユーザーは、端末装置１００をいずれの向きに把持している場合であっても、立体視表示を楽しむことができる。

一方、被写体を撮像する際には、端末装置１００の把持方向によって視差が発生する方向が異なる。ユーザーが端末装置１００を横方向に（長手方向が横方向になるように）把持すると、図２（ａ）に示すように、第１カメラ２１および第２カメラ２２は、水平方向に沿って配置されることになる。一方、ユーザーが端末装置１００を縦方向に（長手方向が縦方向になるように）把持すると、図２（ｂ）に示すように、第１カメラ２１および第２カメラ２２は、垂直方向に沿って配置されることになる。このような端末装置１００は、ユーザーが把持する方向に応じて、撮像部２による視点の位置関係が異なる。

そのため、第１カメラ２１および第２カメラ２２が被写体をそれぞれ撮像することで生成される一対の入力画像（第１の入力画像および第２の入力画像）は、端末装置１００の把持方向、すなわち、撮像部２（第１カメラ２１および第２カメラ２２）による視点の位置関係に応じて、異なる方向に視差が生じることになる。

一般的なステレオ画像の生成技術では、図２（ａ）に示すような左右視点の向きに端末装置１００が把持された場合に限って、ステレオ画像を生成可能である。これに対して、本実施の形態に従う画像処理装置は、第１の入力画像および第２の入力画像から生成される距離情報に基づいて、第１の入力画像および第２の入力画像の少なくとも一方からステレオ画像を生成する。言い換えれば、本実施の形態に従う画像処理装置は、入力画像の視点を変換する視差調整機能、すなわち立体視表示できない上下視点で撮像した画像を左右視点の画像に変換する機能（視点変換機能）を採用する。これにより、図２（ｂ）に示すような上限視点の画像からもステレオ画像を生成できる。

なお、第１の入力画像および第２の入力画像の両方を用いるのではなく、第１の入力画像および第２の入力画像の一方のみから生成される距離情報を生成するようにしてもよい。

一方で、ユーザーが被写体を撮像する場合には、ファインダーとしての表示部に表示される画像（以下「ファインダー画像」とも称す。）を確認する。このとき、表示部では、撮像部２で撮像された入力画像から生成されたステレオ画像を用いて、ファインダー画像を立体視表示されることが好ましい。これにより、ユーザーは、被写体を立体撮像できることや、撮像対象の被写体がどのような立体感をもって撮像されるのかを容易に把握することができる。また、ユーザーは、表示部により実現される立体視表示を見ながら、立体感（視差量）を手動で調整することもできる。

このようなファインダー画像は、リアルタイム（もしくは、可能な限り小さい遅延時間）で生成されることが好ましい。しかしながら、視点変換機能を利用して立体視表示を実現するような構成では、１つのステレオ画像の生成に係る時間が相対的に長く、このようなリアルタイムでの立体視表示は難しい。特に、ソフトウェアで実装する場合には、処理速度が問題になり得る。

本実施の形態に従う画像処理装置は、被写体の立体撮像時において、撮像部２（第１カメラ２１および第２カメラ２２）による視点の位置関係に応じて、ステレオ画像の生成に係る画像処理の処理内容を異ならせる。より具体的には、被写体の立体撮像時に、図２（ａ）に示すような左右視点の向きに端末装置１００が把持されていた場合には、生成される一対の入力画像（第１の入力画像および第２の入力画像）は、特殊な画像処理が行なわれることなく、そのままファインダー画像用のステレオ画像として出力される。これに対して、被写体の立体撮像時に、図２（ｂ）に示すような上下視点の向きに端末装置１００が把持されていた場合には、生成される一対の入力画像（第１の入力画像および第２の入力画像）は、上述した視点変換機能に係る画像処理が行なわれ、ファインダー画像用のステレオ画像が生成される。

本実施の形態に従う画像処理装置は、撮像部２が被写体を撮像することにより取得される一対の入力画像から記録／表示用のステレオ画像を生成する画像処理に比較して、より処理負荷の軽い画像処理をファインダー画像の生成に用いる。これにより、ファインダー画像をできるだけ遅延なく更新および表示する。

［Ｂ．用語］
本明細書において、撮像部２（第１カメラ２１および第２カメラ２２）が被写体を撮像して取得される一対の入力画像（第１の入力画像および第２の入力画像）から、撮像部２が有する撮像能力を利用して被写体を立体視表示するためのステレオ画像（３Ｄ画像）を生成する処理を「通常画像処理」とも称す。

これに対して、上述のように、撮像部２（第１カメラ２１および第２カメラ２２）が被写体を撮像して取得される一対の入力画像（第１の入力画像および第２の入力画像）から、ファインダーとしての表示部などで被写体を立体視表示するための簡易ステレオ画像（簡易３Ｄ画像）を生成する処理を「スルー表示用画像処理」とも称す。

上述したように、スルー表示用画像処理は、通常画像処理に比較して、より処理負荷の軽い処理であり、撮像部２（第１カメラ２１および第２カメラ２２）により撮像された入力画像をそのまま表示するスルー画像になるべく近い表示を実現することを一つの目的としている。

本実施の形態に従う画像処理装置は、静止画像だけではなく、動画像を撮像することが可能である。動画像は、静止画像が周期的に更新されていると考えることもできる。動画像に含まれる時間毎の画像を「フレーム」と称し、この「フレーム」が更新される周期を「フレーム間隔」と称する。

本明細書において、第１入力画像の注目点に対応する画素の画像座標系上の座標と、第２入力画像の注目点に対応する画素の画像座標系上の座標との差を「視差」と称する。この視差は、撮像部から被写体の対応する注目点までの距離を示す指標値である。視差が大きいほど、撮像部から被写体の対応する注目点までの距離が短い、すなわち撮像部により近接していることを意味する。本明細書においては、視差、および、視差によって示される被写体の各点の撮像部からの距離を、総称して「距離情報」という用語を用いる。

［Ｃ．画像処理装置のハードウェア構成］
まず、本実施の形態に従う画像処理装置の構成について説明する。

図３は、本発明の実施の形態に従う画像処理装置の典型例である端末装置１００のハードウェア構成を示す模式図である。

図３を参照して、端末装置１００は、通信機能に加えて、被写体を立体視撮像することが可能な撮像部２（第１カメラ２１および第２カメラ２２）を搭載している。すなわち、端末装置１００は、撮像部２を用いて被写体を撮像して、３Ｄ画像を生成する。

より具体的には、端末装置１００は、ＣＰＵ１０２と、デジタル処理回路１０４と、表示部１０８と、カードインターフェイス（Ｉ／Ｆ）１１０と、記憶部１１２と、加速度センサー１１４と、通信処理回路１２０とを含む。

ＣＰＵ１０２は、予め格納されたプログラム（画像処理プログラムを含む）などを実行することで、端末装置１００の全体を制御する。ＣＰＵ１０２は、表示部１０８における表示内容を制御する表示制御機能を有している。この表示内容の制御については、後述する。

デジタル処理回路１０４は、後述する画像処理（通常画像処理およびスルー表示用画像処理）を含む各種のデジタル処理を実行する。デジタル処理回路１０４は、典型的には、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＬＳＩ（Large Scale Integration）、ＦＰＧＡ（Field-Programmable Gate Array）などによって構成される。このデジタル処理回路１０４は、後述する画像処理部３が提供する機能を実現するための画像処理回路１０６を含む。

表示部１０８は、第１カメラ２１および／または第２カメラ２２により提供される入力画像、デジタル処理回路１０４（画像処理回路１０６）によって生成される３Ｄ画像、端末装置１００に係る各種設定情報、および、制御用ＧＵＩ（Graphical User Interface）画面などを表示する。

表示部１０８は、画像処理回路１０６によって生成される３Ｄ画像を用いて、被写体を立体視表示する。表示部１０８は、３次元表示方式に対応した任意の表示デバイス（３次元表示用の液晶表示装置）によって構成される。好ましくは、端末装置１００の姿勢に応じて視差バリアの発生する向きを切り替えられることのできる方式が採用される。

カードインターフェイス（Ｉ／Ｆ）１１０は、画像処理回路１０６によって生成された３Ｄ画像などを記憶部１１２へ書き込み、あるいは、記憶部１１２から３Ｄ画像などを読み出す。記憶部１１２は、画像処理回路１０６によって生成された画像データや各種情報（端末装置１００の制御パラメータや動作モードなどの設定値）を格納する記憶デバイスである。この記憶部１１２は、フラッシュメモリ、光学ディスク、磁気ディスクなどからなり、データを不揮発的に記憶する。

加速度センサー１１４は、重力方向を検出して、端末装置１００の姿勢を判断する。加速度センサー１１４により検出された端末装置１００の姿勢情報は、デジタル処理回路１０４へ出力される。

［Ｄ．画像処理装置の機能構成］
次に、本実施の形態に従う画像処理装置の機能構成について説明する。

図４は、本発明の実施の形態に従う画像処理装置の典型例である端末装置１００の機能構成を示す模式図である。図４を参照して、端末装置１００は、撮像部２と、画像処理部３と、３Ｄ画像出力部４とを含む。

図４を参照して、撮像部２は、第１カメラ２１と、第２カメラ２２と、第１カメラ２１と接続されたＡ／Ｄ（Analog to Digital）変換部２３と、第２カメラ２２と接続されたＡ／Ｄ変換部２４とを含む。Ａ／Ｄ変換部２３は、第１カメラ２１により撮像された被写体を示す入力画像１を出力し、Ａ／Ｄ変換部２４は、第２カメラ２２により撮像された被写体を示す入力画像２を出力する。

第１カメラ２１は、被写体を撮像するための光学系であるレンズ２１ａと、レンズ２１ａにより集光された光を電気信号に変換するデバイスである撮像素子２１ｂとを含む。Ａ／Ｄ変換部２３は、撮像素子２１ｂから出力される被写体を示す映像信号（アナログ電気信号）をデジタル信号に変換して出力する。同様に、第２カメラ２２は、被写体を撮像するための光学系であるレンズ２２ａと、レンズ２２ａにより集光された光を電気信号に変換するデバイスである撮像素子２２ｂとを含む。Ａ／Ｄ変換部２４は、撮像素子２２ｂから出力される被写体を示す映像信号（アナログ電気信号）をデジタル信号に変換して出力する。

本実施の形態に従う画像処理装置は、時間的に連続して被写体を立体視表示することもできる。そのため、第１カメラ２１および第２カメラ２２は、互いに同期を取りつつ、所定周期で被写体を撮像することで、それぞれのカメラについての時間軸に沿って順序付けされた一連の画像を取得することができる。また、入力画像は、カラー画像であってもよいし、モノクロ画像であってもよい。

画像処理部３は、撮像部２によって取得された一対の入力画像に対して、本実施の形態に従う画像処理方法を実施することで、被写体を立体視表示するための３Ｄ画像を生成する。より具体的には、画像処理部３は、対応点探索部３１と、視差画像生成部３２と、平滑化処理部３３と、信頼度算出部３４と、視差画像補正部３５と、視差全体調整量決定部３６と、視差調整部３７と、３Ｄ画像生成部３８とを含む。

対応点探索部３１は、各フレームの一対の入力画像（入力画像１および入力画像２）に対して対応点探索の処理を行なう。この対応点探索の処理は、典型的には、ＰＯＣ（Phase-Only Correlation）演算法、ＳＡＤ（Sum of Absolute Difference）演算法、ＳＳＤ（Sum of Squared Difference）演算法、ＮＣＣ（Normalized Cross Correlation）演算法などを用いることができる。すなわち、対応点探索部３１は、入力画像１と入力画像２との間における被写体の各点についての対応関係を探索する。

視差画像生成部３２は、２つの入力画像についての距離情報を取得する。この距離情報は、同一の被写体についての情報の相違に基づいて算出される。典型的には、視差画像生成部３２は、対応点探索部３１によって探索された被写体の各点についての入力画像の間での対応関係から距離情報を算出する。撮像部２では、異なる視点からそれぞれ被写体を撮像する。そのため、２つの入力画像の間では、被写体のある点（注目点）を表現する画素は、撮像部２と当該被写体の点との距離に応じた距離だけずれることになる。本明細書においては、入力画像１の注目点に対応する画素の画像座標系上の座標と、入力画像２の注目点に対応する画素の画像座標系上の座標との差を「視差」と称する。視差画像生成部３２は、対応点探索部３１によって探索された被写体の注目点の各々について、視差を算出する。

この視差は、撮像部２から被写体の対応する注目点までの距離を示す指標値である。視差が大きいほど、撮像部２から被写体の対応する注目点までの距離が短い、すなわち撮像部２により近接していることを意味する。本明細書においては、視差、および、視差によって示される被写体の各点の撮像部２からの距離を、総称して「距離情報」という用語を用いる。

なお、入力画像間で視差が生じる方向は、撮像部２における第１カメラ２１と第２カメラ２２との間の位置関係に依存する。例えば、第１カメラ２１と第２カメラ２２とを縦方向に所定間隔だけ離して配置した場合には、入力画像１と入力画像２との間での視差は縦方向に生じることになる。

視差画像生成部３２は、被写体の各点についての距離情報として算出し、算出したそれぞれの距離情報を画像座標系上の座標に関連付けて表現した視差画像を生成する。

平滑化処理部３３は、視差画像生成部３２によって生成された視差画像に対してスムージング処理（平滑化処理）する。空間平滑化を行なうとともに、上述したように、本実施の形態においては、２種類の時間範囲でそれぞれ視差画像を平滑化する。平滑化処理部３３は、２種類のフレーム数について、それぞれ平滑化処理を行なう。

信頼度算出部３４は、視差画像生成部３２によって生成された視差画像に対する信頼度を算出する。すなわち、信頼度算出部３４は、生成された視差画像がノイズなどによって誤った情報を含んでいる度合いを評価する。

視差画像補正部３５は、信頼度算出部３４によって算出された信頼度に基づいて、視差画像を補正する。

視差全体調整量決定部３６は、平滑化処理部３３によって平滑化された結果に基づいて、視差全体調整量（視差の大きさ、視差レンジ、および視差位置）を決定する。

視差調整部３７は、視差全体調整量決定部３６によって決定された視差全体調整量に従って、各フレームに係る視差画像（好ましくは、短時間範囲で平滑化された視差画像）を補正する。

平滑化処理部３３、視差全体調整量決定部３６および視差調整部３７において実行される処理の詳細については後述する。

３Ｄ画像生成部３８は、視差調整部３７による調整後の視差画像に基づいて、入力画像を構成する各画素を対応する距離情報（画素数）だけずらすことで、被写体を立体視表示するための３Ｄ画像（各フレームの左眼用画像および右眼用画像）を生成する。このように、距離情報に基づいて、入力画像に含まれる画素を横方向にずらすことで被写体を立体視表示するための３Ｄ画像が生成される。左眼用画像と右眼用画像との間について見れば、被写体の各点は、視差画像によって示される距離情報（画素数）に応じた距離だけ離れて、すなわち距離情報（画素数）に応じた視差が与えられて表現される。これにより、被写体を立体視表示することができる。

３Ｄ画像出力部４は、画像処理部３によって生成される３Ｄ画像（各フレームの左眼用画像および右眼用画像）を表示デバイスなどへ出力する。

［Ｅ．全体処理構成］
次に、本実施の形態に従う画像処理装置における全体処理機能について説明する。

図５は、本発明の実施の形態に従う画像処理装置における全体処理構成を示す模式図である。図５を参照して、撮像部２が被写体を撮像することによって生成される入力画像１および入力画像２に対して、各種画像処理が実行されることで、本来の立体視表示を実現するための３Ｄ画像およびファインダーとしての立体視表示を実現するための簡易３Ｄ画像が生成される。

より具体的には、３Ｄ画像を生成する通常画像処理には、端末装置１００の姿勢情報（すなわち、上下視点または左右視点の情報）が入力される。これは、入力画像１および入力画像２の間で生じる視差の方向が端末装置１００の姿勢によって異なるからである。そして、この３Ｄ画像は、記憶部１１２などに格納される。

一方、簡易３Ｄ画像は、端末装置１００の姿勢情報（すなわち、上下視点または左右視点の情報）に応じて、その生成に係る画像処理の処理内容が切り替えられる。すなわち、端末装置１００の撮像部２が撮像時に上下視点の向きにあれば、スルー表示用画像処理が実行されて、簡易３Ｄ画像が生成される。これに対して、端末装置１００の撮像部２が撮像時に左右視点の向きにあれば、基本的にはそのまま（但し、画面サイズに応じた縮小処理が実行されてもよい）で簡易３Ｄ画像が生成される。

このように、端末装置１００は、撮像部２（第１カメラ２１および第２カメラ２２）からの入力画像１および入力画像２の入力に応答して、画像処理（スルー表示用画像処理または縮小処理）を順次行なうことで、被写体を立体視表示するための簡易３Ｄ画像を順次生成する。このとき、簡易３Ｄ画像を生成する画像処理は、撮像部２（第１カメラ２１および第２カメラ２２）による視点の位置関係に応じて、その処理内容が切り替えられる。

すなわち、簡易３Ｄ画像は、それぞれの視点が水平方向に配置された状態（左右視点）に対応する視差を有する。そのため、撮像時の撮像部２（第１カメラ２１および第２カメラ２２）が水平方向に沿って配置された場合（左右視点）に、端末装置１００は、簡易３Ｄ画像を生成する画像処理として、入力画像１および入力画像２の間に生じる視差をそのまま含む簡易３Ｄ画像を生成する。これに対して、撮像時の撮像部２（第１カメラ２１および第２カメラ２２）が垂直方向に沿って配置された場合（上下視点）に沿って配置された場合に、簡易３Ｄ画像を生成する画像処理として、入力画像１および入力画像２から生成される距離情報に基づいて、入力画像１および入力画像２の少なくとも一方から簡易３Ｄ画像を生成する（スルー表示用画像処理）。

なお、一般的なデジタルカメラの使用形態を考慮すると、ユーザーは、ファインダー画像を見ながら被写体の選択や各種設定を行ない、そして録画ボタンを押下する。すると、録画が開始される。すなわち、３Ｄ画像の生成処理と簡易３Ｄ画像の生成処理とは並列的に実行される場合もあるが、簡易３Ｄ画像の生成処理のみが実行される場合もある。さらに、３Ｄ画像の生成処理は、リアルタイムではなく、事後的に（オフライン処理として）行なってもよい。但し、簡易３Ｄ画像については、その用途から考慮すると、可能な限りリアルタイム処理とすることが好ましい。

［Ｆ．通常画像処理およびスルー表示用画像処理］
上述したように、通常画像処理は、ユーザーが本来の解像度で立体視表示を楽しむことができるような３Ｄ画像を生成する処理であり、スルー表示用画像処理は、立体視表示のファインダー画像をよりリアルタイムに生成するための処理である。すなわち、入力画像１および入力画像２に対して通常画像処理を行なうことで、被写体を立体視表示するための簡易３Ｄ画像より情報量の多い３Ｄ画像が生成される。

スルー表示用画像処理は、リアルタイム性が要求されるので、通常画像処理に比較して、以下のような点において、その処理負荷を低減している。

（１）解像度：スルー表示用画像処理では、通常画像処理に比較して、入力画像の解像度を下げて処理を行なう。すなわち、スルー表示用画像処理は、入力画像１および入力画像２を低解像度化する処理を含む。

（２）処理フレーム間隔：スルー表示用画像処理では、通常画像処理に比較して、入力画像１および入力画像２のフレームを間引いた上で、簡易３Ｄ画像を生成する。すなわち、スルー表示用画像処理は、順次入力される入力画像１および入力画像２のフレームを間引く処理を含む。

（３）視差画像（距離情報）の精度：スルー表示用画像処理では、通常画像処理に比較して、生成精度を下げた距離画像が用いられる。すなわち、スルー表示用画像処理では、通常画像処理に比較して、距離画像を生成するための視差を算出する点数が少なくなっている。

（４）信頼度算出処理および視差画像補正処理の省略：通常画像処理では、算出された距離画像についての信頼度を算出する処理（信頼度算出処理）およびその算出された信頼度に基づいて距離画像に対する補正を行なう処理（視差補正処理）が実行される。これに対して、スルー表示用画像処理では、これらの処理が省略される。

ここで、上記の（２）処理フレーム間隔の詳細について説明する。
図６は、本発明の実施の形態に従う画像処理装置における画像処理の時間軸における処理内容を説明するための図である。図６（ａ）は、通常画像処理の時間軸における処理内容を示し、図６（ｂ）は、スルー表示用画像処理の時間軸における処理内容を示す。

図６（ａ）に示すように、通常画像処理では、入力される全フレームについて、距離画像および３Ｄ画像が生成される。これに対して、図６（ｂ）に示すように、スルー表示用画像処理では、入力される一連のフレームは、視差画像および簡易３Ｄ画像が生成されるフレーム、簡易３Ｄ画像のみが生成されるフレーム、および視差画像および簡易３Ｄ画像のいずれも生成されないフレームに区分される。すなわち、あるフレーム間隔で簡易３Ｄ画像が生成され、その簡易３Ｄ画像が生成されるフレーム間隔より長いフレーム間隔でのみ距離画像が生成される。

なお、これらの点のすべてを簡略化する必要はなく、装置の能力などに応じて、スルー表示用画像処理の処理内容を適宜決定すればよい。また、視差画像および簡易３Ｄ画像を生成するフレーム間隔などについても、適宜決定すればよい。

［Ｇ．通常画像処理］
スルー表示用画像処理の詳細について説明する前に、まず、通常画像処理の詳細について説明する。

《ｇ１：通常画像処理の処理手順》
まず、本実施の形態に係る通常画像処理の処理手順について説明する。

図７は、本発明の実施の形態に従う画像処理装置における通常画像処理の処理手順を示すフローチャートである。図７に示す各ステップは、主として、立体視生成部として機能する画像処理部３（図４）が実行する。

図７を参照して、撮像部２が入力画像１および入力画像２を所定周期（フレーム間隔）で取得する。より具体的には、第１カメラ２１（レンズ２１ａおよび撮像素子２１ｂ）が被写体を撮像することで入力画像１を生成し、第２カメラ２２（レンズ２２ａおよび撮像素子２２ｂ）が被写体を撮像することで入力画像２を生成する。

まず、画像処理部３は、入力画像１用の視差画像を各フレームについて生成する（ステップＳ２）。より具体的には、画像処理部３は、同一のフレームに対応する入力画像１および入力画像２から視差画像を生成する。この視差画像の生成処理は、主として、画像処理部３の対応点探索部３１および視差画像生成部３２（図４）によって実行される。

続いて、画像処理部３は、生成された視差画像に対する信頼度を算出する（ステップＳ３）。すなわち、画像処理部３は、生成された視差画像がノイズなどによって誤った情報を含んでいる可能性のある部分を特定する。この信頼度の算出処理は、主として、画像処理部３の信頼度算出部３４（図４）によって実行される。

続いて、画像処理部３は、算出した信頼度に基づいて、視差画像を補正する（ステップＳ４）。この視差画像の補正処理は、主として、画像処理部３の視差画像補正部３５（図４）によって実行される。

続いて、画像処理部３は、生成された各フレームの視差画像に対して、平滑化処理を実行する（ステップＳ５）。より具体的には、ステップＳ５の平滑化処理は、各フレームの視差画像内での平滑化（空間平滑化）、短時間範囲にわたる複数フレームの視差画像に対する平滑化（時間平滑化）、および長時間範囲にわたる複数フレームの視差画像に対する平滑化を含む。この平滑化処理は、主として、画像処理部３の平滑化処理部３３（図４）によって実行される。

続いて、画像処理部３は、長時間範囲にわたる複数フレームの視差画像に対する平滑化の結果に基づいて、視差全体調整量を決定する（ステップＳ６）。この視差全体調整量の決定は、主として、画像処理部３の視差全体調整量決定部３６（図４）によって実行される。

続いて、画像処理部３は、各フレームの視差画像内での平滑化（空間平滑化）、および短時間範囲にわたる複数フレームの視差画像に対する平滑化（時間平滑化）によって、生成された視差画像に対して、ステップＳ６において決定された視差全体調整量に従って、視差を調整する（ステップＳ７）。この視差調整処理は、主として、画像処理部３の視差調整部３７（図４）によって実行される。

最終的に、画像処理部３は、ステップＳ７において調整された視差画像を用いて、入力画像１から３Ｄ画像を生成する（ステップＳ８）。例えば、入力画像１は、そのまま左眼用画像として出力され、調整された視差画像を用いて入力画像１に視差を与えることで右眼用画像が出力される。

この生成された３Ｄ画像（各フレームの左眼用画像および右眼用画像）が記憶部１１２などへ格納される。

以下、各ステップにおける処理について詳述する。
《ｇ２：視差画像生成処理》
ステップＳ２の視差画像生成処理の詳細について説明する。

画像処理部３（対応点探索部３１）は、各フレームにおける一対の入力画像（入力画像１および入力画像２）の間の位置関係の対応付けが探索される。より具体的には、対応点探索処理では、一方の入力画像の注目点にそれぞれ対応する他方の入力画像の画素（座標値）を特定する。このような対応点探索処理は、ＰＯＣ演算法、ＳＡＤ演算法、ＳＳＤ演算法、ＮＣＣ演算法などを用いたマッチング処理が利用される。

対応点探索処理においては、一方の入力画像を基準画像に設定するとともに、他方の入力画像を参照画像に設定して、両入力画像間の対応付けが行なわれる。いずれの入力画像を主体的に用いるかに応じて、この基準画像に設定される入力画像が変更されることになる。以下の説明では、入力画像１を基準画像に設定する例を示す。

続いて、対応点探索処理によって特定された注目点と対応点との間の対応関係に基づいて、被写体の各点の座標に関連付けられた距離情報を示す視差画像を生成するための視差画像生成処理が実行される。この視差画像生成処理は、図１に示す視差画像生成部３２によって実行される。この視差画像生成処理では、注目点の各々について、入力画像１の画像座標系における当該注目点の座標と、入力画像２の画像座標系における対応点の座標との差（視差）が算出される。

入力画像２を主体的に用いる場合には、対応する入力画像２の注目点の座標に関連付けて算出される視差が記憶されてもよい。距離情報としては、対応点探索処理によって探索されたそれぞれの注目点について、入力画像１または入力画像２上の座標および対応する視差が関連付けられる。この距離情報を入力画像１または入力画像２の画素配列に対応付けて配列することで、入力画像１または入力画像２の画像座標系に対応して各点の視差を表す視差画像が生成される。

なお、このような対応点探索処理および視差画像生成処理としては、特開２００８−２１６１２７号公報に記載された方法を採用してもよい。特開２００８−２１６１２７号公報には、サブピクセルの粒度で視差（距離情報）を算出するための方法が開示されているが、ピクセルの粒度で視差（距離情報）を算出するようにしてもよい。

なお、入力画像がＲＧＢなどのカラー画像である場合には、グレイ画像に変換した後に対応点探索処理を行なってもよい。

図８は、図１に示す撮像部２によって撮像されたあるフレームにおける入力画像の一例を示す図である。図８（ａ）は、第１カメラ２１によって撮像された入力画像１を示し、図８（ｂ）は、第２カメラ２２によって撮像された入力画像２を示す。図８に示す例は、撮像部２が上下視点である場合に撮像されたものである。なお、入力画像の解像度は、１０８０画素×１９２０画素であるとする。

図９は、本発明の実施の形態に従う画像処理装置における通常画像処理に従って図８に示す一対の入力画像から生成された視差画像の一例を示す図である。この例では、図８（ａ）に示す入力画像１を基準画像に設定し、図８（ｂ）に示す入力画像２を参照画像に設定した場合の視差画像の一例を示す。

図９に示すように、入力画像１の各点の各点に関連付けられた視差（距離情報）の大きさは、対応する点の濃淡によって表現される。

上述した対応点探索処理および視差画像生成処理において、相関演算を行なうことで注目点およびその対応点を特定するので、所定の画素サイズを有する単位領域毎に対応点が探索される。図９には、６４画素×６４画素の単位領域毎に対応点探索が実行された一例を示す。すなわち、図９には、Ｘ軸（横方向）およびＹ軸（縦方向）のいずれも６４画素間隔で規定された単位領域毎に対応点が探索され、その探索された対応点との間の距離の算出結果を示す。この探索された対応点との間の距離を示す視差画像は、入力画像の画素サイズと一致するように生成される。

なお、入力画像の最外周にある６４画素分の領域（探索ウィンドウ）については、対応点が存在しないと誤って判断される可能性があるため、対応点探索処理を行なわず、最も近接した位置にある画素の距離（視差）データで代用した。すなわち、入力画像の最外周にある６４画素分の領域については、最外周から６４画素だけ内側に入った位置にある画素の値を用いた。

《ｇ３：信頼度算出処理》
次に、ステップＳ３の信頼度算出処理の詳細について説明する。

画像処理部３（信頼度算出部３４）は、生成した視差画像に含まれる各画素のＰＯＣ値（相関値）を評価する。ＰＯＣ値は、０〜１の範囲の値を取り得るものとする。一例として、画像処理部３は、各画素のＰＯＣ値に対して、２種類のしきい値（例えば、「０．６」および「０．３」）と比較することで、それぞれの画素を、（１）正しいと推定される画素（信頼度が高い）、（２）分からない画素（信頼度が高くない）、（３）間違いと推定される画素（信頼度が低い）、の３種類に分類した信頼度画像を生成する。

図１０は、本発明の実施の形態に従う画像処理装置における通常画像処理に従って図９に示す視差画像から生成された信頼度画像の一例を示す図である。図１０に示す例は、概ね信頼度の高い画素から構成されているが、一部の画素は信頼度が低いと判断されている。

なお、信頼度は、ＰＯＣ値の絶対値だけではなく、ＰＯＣ値の第１ピークと第２ピークと比を用いるなど、別の手法を採用してもよい。

《ｇ４：視差画像補正処理》
次に、ステップＳ４の視差画像補正処理の詳細について説明する。

画像処理部３（視差画像補正部３５）は、まず、基準画像とされた入力画像についての平均色画像を生成する。この平均色画像は、対応点探索処理の単位領域（本例では、６４画素×６４画素）と同じ単位領域についての色の平均値を算出する。

図１１は、本発明の実施の形態に従う画像処理装置における通常画像処理に従って図８に示す入力画像から生成された平均色画像の一例を示す図である。図１２は、本発明の実施の形態に従う画像処理装置における視差画像補正処理の処理内容を説明するための図である。図１２（ａ）には、図１１に示す平均色画像を示し、図１２（ｂ）には、図１０に示す信頼度画像を示す。

本例において、視差画像補正処理の対象となるのは、図１２（ｂ）に示す信頼度画像の間違いと推定された部分（信頼度画像のうちの黒ベタ部分：注目画素）である。画像処理部３は、この間違いと推定された部分の視差データを隣接する部分の視差データを用いて補正する。

具体的には、画像処理部３は、図１２（ｂ）に示すように、間違いと推定された部分を中心とする周辺領域（図１２（ｂ）に示す例では、周辺の７画素×７画素の領域）に含まれる対応点探索処理の結果のうち、正しいと推定される部分（信頼度画像において白色で表現されている画素）であって、かつ色が近似している部分（例えば、ＲＧＢの各プレーンにおける濃度差の絶対値の総和が３０以下であるもの）を特定する。そして、画像処理部３は、その特定した部分の視差データを用いて、間違いと推定された部分の視差データを置換する。

なお、周辺領域（周辺の７画素×７画素の領域）内に、上記の条件に合致する部分が複数あれば、それらの視差データの平均値を用いてもよい。また、上記の条件に合致する部分が一つもなければ、周辺領域に含まれる部分の視差データ全体の平均値を用いてもよい。

《ｇ５：平滑化処理》
次に、ステップＳ５の平滑化処理の詳細について説明する。本実施の形態では、平滑化処理は、（１）各フレームの視差画像内での平滑化（空間平滑化）、（２）短時間範囲にわたる複数フレームの視差画像に対する平滑化（時間平滑化）、（３）長時間範囲にわたる複数フレームの視差画像に対する平滑化を含む。以下、それぞれの平滑化の内容について説明する。

（ｇ５．１：各フレームの視差画像内での平滑化（空間平滑化））
まず、画像処理部３（平滑化処理部３３）は、各フレームの視差画像に対して、空間平滑化を行なう。このような空間的な平滑化処理の具現化例として、所定サイズの二次元フィルタを用いる方法がある。

図１３は、本発明の実施の形態に従う画像処理装置における空間的な平滑化処理に用いられる平均化フィルタの一例を示す図である。この空間的な平滑化処理では、例えば、図１３に示すような１４５画素×１４５画素の平均化フィルタが適用される。平均化フィルタでは、注目画素を中心とする縦方向１４５画素および横方向１４５画素の範囲に含まれる視差画像の画素値（視差）の平均値が当該注目画素の新たな画素値として算出される。より具体的には、フィルタ内に含まれる画素が有する画素値の総和をフィルタの画素サイズで除算することで、注目画素の新たな画素値が算出される。

なお、フィルタ内に含まれるすべての画素の操作をとるのではなく、所定間隔毎（例えば、１２画素）に間引いて抽出した画素の平均値を用いてもよい。このような間引き処理を行なった場合であっても、全画素の平均値を用いた場合と同様の平滑化結果が得られる場合があり、そのような場合には、間引き処理を行なうことで処理量を低減できる。

さらに、空間平滑化については、注目画素に重みを付けた平均化フィルタやメディアンフィルタといった異なる手段を採用してもよい。平滑化によって得られた視差画像のレベルを適切化するため、平滑化に用いるフレーム数も含めて、フィルタサイズなどを調整してもよい。

なお、平滑化処理によって得られた視差画像の画素サイズは、入力画像と同一の画素サイズであることが好ましい。画素サイズを同一にすることで、後述するステレオ画像の生成処理において、各画素の距離を一対一で決定することができる。

（ｇ５．２：時間的な平滑化）
図１４は、本発明の実施の形態に従う画像処理装置における時間的な平滑化処理を説明するための図である。図１４を参照して、本実施の形態では、２種類の時間範囲でそれぞれ視差画像を平滑化した結果を用いる。

より具体的には、ある処理対象フレームを含む長時間範囲（Ａフレーム分）について、その範囲に含まれる各フレームの視差画像における視差の最大値（ＭＡＸ）および視差の最小値（ＭＩＮ）が平滑化される。すなわち、Ａフレーム分の視差画像の各々について、視差の最大値および最小値がそれぞれ抽出され、続いて、抽出されたすべての最大値の間で平均値が算出されるとともに、抽出されたすべての最小値の間で平均値が算出される。この算出された視差の最大値および最小値の平均値は、処理対象フレームに関連付けて一時的に記憶される。この視差の最大値および最小値の平均値は、視差全体調整量の決定に用いられる。

また、ある処理対象フレームを含む短時間範囲（Ｂフレーム分）について、その範囲に含まれる複数フレームの視差画像の間で平滑化される。すなわち、視差画像を構成する各画素について、対応する画素位置についての複数の視差画像における視差量の平均値が算出される。言い換えれば、時間軸方向にも前後の所定フレーム分の各画素値を加算し平均を取ることで平滑化される。この短時間範囲での平滑化処理は、視差画像に生じるノイズなどを除去するために行われるものである。すなわち、局所的な視差の時間変化については、可能な限り視差画像に反映することが好ましいので、短時間範囲のフレーム数は、そのような意図に基づいて設定される。

平滑化処理の高速化のため、例えば、６フレームごとに間引いて平滑化してもよい。
図１４に示す長時間範囲（Ａフレーム分）にわたる平滑化については、実験的には、１０秒以上であることが好ましい。例えば、１秒間に３０フレームが更新されるような場合には、長時間範囲としては、処理対象のフレームを含めて、計１０８１フレーム（３６秒）などに設定できる。また、長時間範囲（Ｂフレーム分）にわたる平滑化については、実験的には、１０秒以下であることが好ましい。より好ましくは、５秒以下である。例えば、１秒間に３０フレームが更新されるような場合には、短時間範囲としては、処理対象のフレームを含めて、計６１フレーム（２秒）などに設定できる。

なお、フレームレートが異なる場合には、時間範囲の長さ必要なフレーム数を算出すればよい。

このように、ステップＳ５の平滑化処理は、長時間範囲（Ａフレーム分）とは異なる短時間範囲（Ｂフレーム分）にわたって複数の視差画像を時間軸方向に平滑化する処理を含む。

《ｇ６：視差全体調整量決定処理》
次に、ステップＳ６の視差全体調整量決定処理の詳細について説明する。視差全体調整量は、図１４に示す長時間範囲（Ａフレーム分）にわたる平滑化の結果に基づいて決定される。すなわち、処理対象フレームを含む長時間範囲（Ａフレーム分）における、視差の最大値（ＭＡＸ）の平均値（ＡＶＥ＿ＭＡＸ）および視差の最小値（ＭＩＮ）の平均値（ＡＶＥ＿ＭＩＮ）が用いられる。より具体的には、平均値ＡＶＥ＿ＭＡＸおよびＡＶＥ＿ＭＩＮは、図１４に示すように、長時間範囲（この例では、前後１０８１フレーム分）の最大値（ＭＡＸ）および最小値（ＭＩＮ）の総和を平均化（平滑化）することで得られる値である。

この視差全体調整量は、より快適な視差量で立体視表示できるように、視差を調整するものである。本実施の形態においては、視差全体調整量として、飛出し側の視差の大きさ、飛出し側の視差と奥行き側の視差との間の視差レンジ、および視差画像に生じる視差位置（あるいは、位置のオフセット）を含む。

図１５は、本発明の実施の形態に従う画像処理装置における視差全体調整量を決定する処理を説明するための図である。図１５を参照して、平滑化処理後の視差画像の画素値（視差量）が予め定められた視差レンジ（ターゲット視差レンジ）内に存在するように、スケーリングを行なう。すなわち、図１５に示す視差調整関数の傾きおよび視差オフセットが決定される。

視差レンジ（ターゲット視差レンジ）は、飛出し側の視差と奥行き側の視差との差に相当する。ターゲット視差レンジｒは、入力画像の横幅を基準として経験的に決定される。このとき、飛出し側の許容値および奥行き側の許容値についても経験的に決定される。

このターゲット視差レンジｒは、動的に決定してもよいし、予め設定された固定値を用いるようにしてもよい。

そして、最も飛出している状態の視差と最も奥行き側にある状態の視差との差が、ターゲット視差レンジｒになるように、視差調整関数の傾きである視差増減係数ｃと、視差調整関数の切片である視差オフセットｏとが算出される。より具体的には、視差の最大値の平均値（ＡＶＥ＿ＭＡＸ）および視差の最小値の平均値（ＡＶＥ＿ＭＩＮ）を用いて、以下の式に従って、視差増減係数ｃおよび視差オフセットｏが算出される。

視差増減係数ｃ＝ターゲット視差レンジｒ／（平均値ＡＶＥ＿ＭＡＸ−平均値ＡＶＥ＿ＭＩＮ）
視差オフセットｏ＝（平均値ＡＶＥ＿ＭＡＸ＋平均値ＡＶＥ＿ＭＩＮ）／２
調整後視差（距離）量＝視差増減係数ｃ×（調整前視差（距離）量−視差オフセットｏ）
例えば、飛出し側の許容値が「２９．０」で、奥行き側の許容値が「−２９．０」であり、かつ、視差の最大値の平均値（ＡＶＥ＿ＭＡＸ）が「１２．７」であり、視差の最小値の平均値（ＡＶＥ＿ＭＩＮ）が「−１４．５６」であった場合には、視差増減係数ｃは「２．１３」と算出され、視差オフセットｏは「−０．９３」と算出される。

以上のように、ステップＳ６の視差全体調整量決定処理は、長時間範囲（Ａフレーム分）に存在する処理対象フレームの視差画像について、飛出し側の視差の大きさを、長時間範囲（Ａフレーム分）にわたって平滑化した結果に応じた値に補正する処理を含む。また、ステップＳ６の視差全体調整量決定処理は、長時間範囲（Ａフレーム分）に存在する視差画像について、飛出し側の視差と奥行き側の視差との間の視差レンジを、長時間範囲（Ａフレーム分）にわたって平滑化した結果に応じた値に制限する処理を含む。

そして、視差全体調整量決定処理は、視差画像に生じる視差の時間軸に沿った変化量である視差増減係数を決定する処理、および、視差画像に生じる視差位置のオフセットを決定する処理を含む。また、視差全体調整量決定処理では、長時間範囲（Ａフレーム分）にわたって平滑化した結果に応じて、視差の最小値を制限する。

《ｇ７：視差調整処理》
次に、ステップＳ７の視差調整処理の詳細について説明する。上述のように、視差全体調整量が決定されると、図１５に示される視差調整関数に従って、処理対象のフレームについての視差画像に対して視差調整処理が行われる。すなわち、視差画像を構成する各画素の画素値（調整前視差量）が視差調整関数に入力され、その出力値が調整後視差量として決定される。

図１６は、本発明の実施の形態に従う画像処理装置における視差調整処理によって視差調整された視差画像の一例を示す図である。図１６に示すように、視差画像内での急激な視差変化などが緩和されていることが分かる。

《ｇ８：３Ｄ画像生成処理》
次に、ステップＳ８の３Ｄ画像生成処理の詳細について説明する。上述のように、平滑化処理および視差調整処理によって各フレームにおける視差画像が生成されると、画像処理部３（３Ｄ画像生成部３８）は、３Ｄ画像を生成する。

本実施の形態では、一例として、入力画像１をそのまま左眼用画像として用いるとともに、入力画像１に視差画像に基づいて視差を与えることで右眼用画像を生成する。より具体的には、入力画像１の各画素を、視差画像の対応する画素の座標値（距離、視差）に応じて位置をずらすことで、右眼用画像が生成される。

被写体を立体視表示するためには、左眼用画像および右眼用画像との間で、対応する画素が指定された距離（視差）だけ離れていればよいので、入力画像から左眼用画像および右眼用画像をそれぞれ生成してもよい。

図１７は、本発明の実施の形態に従う画像処理装置における３Ｄ画像生成処理の処理内容を説明するための図である。図１７には、入力画像１を主体的に用いる場合の処理例を示す。図１８は、図１７に示す３Ｄ画像生成処理の処理手順を示すフローチャートである。

図１７を参照して、３Ｄ画像生成処理においては、視差画像に基づいて、主体的に用いられる入力画像から各フレームのステレオ画像（左眼用画像および右眼用画像）が生成される。

より具体的には、主体的に用いられる入力画像を構成するライン単位で画素の位置をずらすことで、他方の右眼用画像または左眼用画像が生成される。図１７には、入力画像１をそのまま左眼用画像として用いるとともに、入力画像１から右眼用画像を生成する例を示す。図１７には、左眼用画像として用いる入力画像１のあるラインについて、画素位置（座標）が「１０１」，「１０２」，・・・，「１１０」である１０個の画素が示されている。各画素位置に対応する距離（視差）がそれぞれ「４０」，「４０」，「４１」，「４１」，「４１」，「４２」，「４２」，「４１」，「４０」，「４０」であるとする。これらの情報を用いて、各画素について、ずらし後の画素位置（右眼用画像における座標）が算出される。より具体的には、（ずらし後の画素位置）＝（左眼用画像における座標）−（対応する距離（視差））に従って、１ライン分の各画素についてのずらし後の画素位置が算出される。

そして、それぞれの画素値と対応するずらし後の画素位置とに基づいて、右眼用画像の対応する１ライン分の画像が生成される。このとき、距離（視差）の値によっては、対応する画素が存在しない場合がある。図１７に示す例では、右眼用画像の画素位置「６６」および「６８」の画素の情報が存在しない。このような場合には、隣接する画素からの情報を用いて、不足する画素の画素値が補間される。

このような処理を入力画像に含まれるすべてのライン分だけ繰り返すことで、右眼用画像が生成される。

なお、この画素位置をずらす方向は、視差を生じさせるべき方向であり、具体的には、ユーザーに向けて表示した場合に、水平方向となる方向に相当する。

このような処理手順を示すと、図１８のようになる。すなわち、図１８を参照して、３Ｄ画像生成部３８（図１）は、入力画像１の１ライン分の画素について、それぞれのずらし後の画素位置を算出する（ステップＳ７０１）。続いて、３Ｄ画像生成部３８は、ステップＳ１において算出されたずらし後の画素位置から１ライン分の画像（右眼用画像）を生成する（ステップＳ７０２）。

その後、３Ｄ画像生成部３８（図１）は、入力画像に処理を行なっていないラインが存在するか否かを判断する（ステップＳ７０３）。入力画像に処理を行なっていないラインが存在していれば（ステップＳ７０３においてＹＥＳ）、次のラインが選択され、ステップＳ７０１およびＳ７０２の処理が繰り返される。

入力画像のすべてのラインについて処理が完了していれば（ステップＳ７０３においてＮＯ）、３Ｄ画像生成部３８は、入力画像１（左眼用画像）とともに、生成した右眼用画像を出力する。そして、処理は終了する。

図１７および図１８には、入力画像１が出力画像として決定された場合、すなわち入力画像１が主体的に用いられる場合の処理について説明したが、入力画像２が出力画像として決定された場合、すなわち入力画像２が主体的に用いられる場合の処理についても同様である。但し、上述の対応点探索処理においては、基準画像と参照画像との関係が入れ替わる。

図１９は、図８に示す入力画像１および入力画像２を用いて生成されたステレオ画像の一例を示す図である。

以上のように、ステップＳ８の３Ｄ画像生成処理は、フレーム毎の入力画像１と、当該フレーム毎の入力画像１にそれぞれ対応する補正後の視差画像に従って視差を与えることで生成される複数の画像とを用いて、３Ｄ画像を生成する処理を含む。

［Ｈ．スルー表示用画像処理］
次に、スルー表示用画像処理の詳細について説明する。なお、スルー表示用画像処理の説明においては、上述の通常画像処理との差分を中心に記載する。

《ｈ１．フレーム間引き》
上述の図６（ｂ）を参照して説明したように、スルー表示用画像処理では、入力される入力画像のフレームに対してフレーム間引きの処理が実行される。

入力画像は、時間軸に沿って順序付けされた一連のフレームからなる。画像処理部３は、この時間軸上の連続するフレームを、「視差画像および簡易３Ｄ画像が生成されるフレーム」、「簡易３Ｄ画像のみが生成されるフレーム」、および「視差画像および簡易３Ｄ画像のいずれも生成されないフレーム」に区分する。

例えば、「視差画像および簡易３Ｄ画像が生成されるフレーム」は、フレーム間隔Ｔ１（例えば、６フレーム間隔）で設定し、「簡易３Ｄ画像のみが生成されるフレーム」は、フレーム間隔Ｔ２（例えば、２フレーム間隔）で設定される。この場合には、撮像部２から出力される入力画像（元画像）が３０ｆｐｓであれば、簡易３Ｄ画像は、１５ｆｐｓで動画表示されることになる。

もちろん、これらのフレーム間隔は、装置（例えば、ＣＰＵ）の能力などに応じて適宜決定すればよい。

「簡易３Ｄ画像のみが生成されるフレーム」では、過去に生成された視差画像を用いて、簡易３Ｄ画像が生成される。このように、スルー表示用画像処理は、順次入力される入力画像１および入力画像２をフレーム間隔Ｔ１で間引いた画像を用いて視差画像（距離情報）を更新するとともに、順次入力される入力画像１および入力画像２をフレーム間隔Ｔ１より短いフレーム間隔Ｔ２で間引いた画像を用いて簡易３Ｄ画像を生成する処理を含む。

図２０および図２１は、本発明の実施の形態に従う画像処理装置におけるスルー表示用画像処理の処理手順を示すフローチャートである。図２０は、視差画像および簡易３Ｄ画像が生成されるフレームにおける処理手順を示し、図２１は、簡易３Ｄ画像のみが生成されるフレームにおける処理手順を示す。以下、これらの処理内容について説明する。

《ｈ２．視差画像および簡易３Ｄ画像が生成されるフレーム》
図２０に示す処理手順は、図７に示す処理手順に比較して、縮小画像の生成処理（ステップＳ１１およびＳ１２）および視差画像の保存処理（ステップＳ９）が付加される一方で、信頼度算出処理（ステップＳ３）および視差画像補正処理（ステップＳ４）が削除されている。また、通常画像処理における処理内容と実質的に同様であるが、その処理量が異なっている処理については、「＃」という符号を付加している。

図２０を参照して、まず、画像処理部３は、撮像部２が被写体を撮像することで生成される入力画像１および入力画像２から縮小画像を生成する（ステップＳ１１およびＳ１２）。例えば、画像処理部３は、解像度が１０８０画素×１９２０画素の入力画像を、３６０画素×６４０画素へ解像度変換することで、縮小画像を生成する。この解像度変換では、縦横とも解像度が１／３に低減される。すなわち、入力画像１および入力画像２を低解像度化するための処理が実行される。

続いて、画像処理部３は、入力画像１用の視差画像を生成する（ステップＳ２＃）。このとき、通常画像処理と同程度の精度で距離画像を生成するためには、通常画像処理における６４画素×６４画素の単位領域に対応する、２１画素×２１画素（６４画素×１／３≒２１画素）の単位領域で対応点探索を行なう必要がある。但し、処理負荷を低減するために、本来の単位領域の２倍程度である、４０画素×４０画素の単位領域で対応点探索を行なってもよい。このように、対応点探索の単位領域をより大きくすることで、対応点探索の処理点数を１／４程度に低減できる。

このように、スルー表示用画像処理では、通常画像処理に比較して、視差画像（距離情報）を生成するための視差を算出する点数が少なくなっている。

また、スルー表示用画像処理では、信頼度算出処理および視差画像補正処理はスキップされて、そのまま平滑化処理が実行される（ステップＳ５＃）。すなわち、通常画像処理では実行されていた信頼度算出処理および視差画像補正処理は、スルー表示用画像処理において省略される。

平滑化処理（ステップＳ５＃）の空間平滑化では、通常画像処理で用いられた１４５画素×１４５画素の平均化フィルタと同じ平滑化効果が得られるように、縮小処理での縮小率に対応した平均化フィルタ、例えば、縦横がいずれも１／３にされた４９画素×４９画素の平均化フィルタが用いられる。これによって、縮小化された入力画像に適応できる。但し、平均化フィルタのフィルタサイズが小さくなることによって、処理自体は高速化する。

平滑化処理（ステップＳ５＃）の時間平滑化については、フレーム間隔Ｔ１（例えば、６フレーム間隔）でしか視差画像が生成されないため、短時間範囲にわたる複数フレームの視差画像に対する平滑化（時間平滑化）については、隣接するフレームの間で対応する画素についての視差データに対して重み付けを行なう。

図２２は、本発明の実施の形態に従う画像処理装置におけるスルー表示用画像処理での平滑化処理を説明するための図である。図２２を参照して、フレーム間隔Ｔ１のフレームにおいて生成される視差画像に対して、重み付けを行なうことで、１フレームずつ視差が徐々に変化するように時間平滑化を行なう。なお、処理の都合上、重みの合計は６１ではなく６０としている。なお、図２２に示す例では、注目フレームを中心として時間軸上の前後にあるフレームから視差画像を生成する例を示しているが、よりリアルタイム性を高めるためには、過去に算出された視差画像をより多く利用するようにしてもよい。

図２０に戻って、画像処理部３は、平滑化処理された後の視差画像に対して、視差全体調整量の決定処理（ステップＳ６）および視差調整処理（ステップＳ７）を実行する。そして、最終的に、画像処理部３は、入力画像１から３Ｄ画像を生成する（ステップＳ８＃）。これらの処理についても、入力される画像が縮小画像であるので、通常画像処理に比較して、高速に（例えば、１／９の時間で）処理できる。

なお、ステップＳ７において生成される視差画像は、他のフレームにおいて利用されるため、所定の記憶領域に保存される（ステップＳ９）。

《ｈ３．簡易３Ｄ画像のみが生成されるフレーム》
簡易３Ｄ画像のみが生成されるフレームにおいては、図２１に示すように、過去の視差画像が読み出されるとともに、時間平滑化される。この時間平滑化は、上述の図２２を参照して説明したのと同様の方法で実行される。すなわち、フレーム間隔Ｔ１のフレームにおいて生成される視差画像に対して、重み付けを行なうことで、１フレームずつ視差が徐々に変化するように時間平滑化が実行される。

そして、時間平滑化された視差画像を用いて、画像処理部３は、入力画像１から３Ｄ画像を生成する（ステップＳ８）。

《ｈ４．視差画像および簡易３Ｄ画像が生成されるフレーム（変形例）》
視差画像および簡易３Ｄ画像が生成されるフレームにおいては、上述の図２０に示す処理手順に代えて、図２３に示す処理手順を実行してもよい。

図２３は、本発明の実施の形態に従う画像処理装置におけるスルー表示用画像処理（変形例）の処理手順を示すフローチャートである。図２３に示す処理手順は、図７に示す処理手順に比較して、縮小画像の生成処理（ステップＳ１３）および視差画像の保存処理（ステップＳ９）が付加される一方で、信頼度算出処理（ステップＳ３）および視差画像補正処理（ステップＳ４）が削除されている。また、通常画像処理における処理内容と実質的に同様であるが、その処理量が異なっている処理については、「＃＃」という符号を付加している。

図２３に示す処理においては、視差画像生成処理（ステップＳ２＃＃）において、撮像部２が被写体を撮像して得られる入力画像１および入力画像２がそのまま入力される。例えば、入力画像１および入力画像２の解像度は、いずれも１０８０画素×１９２０画素であるとする。図２３に示す処理においては、通常画像処理における対応点探索処理での単位領域（６４画素×６４画素）の２倍の間隔である１２８画素×１２８画素の単位領域で、視差画像を生成するための対応点探索処理が実行される。このように単位領域を大きくすることで、対応点探索の処理点数を１／４程度に低減できる。

図２０に示す処理手順と同様に、信頼度算出処理および視差画像補正処理は省略される。

一方、ステップＳ５の平滑化処理においては、通常画像処理と同様に、図１３に示すような１４５画素×１４５画素の平均化フィルタが適用され（空間平滑化）、さらに時間平滑化も同様に実行される。さらに、視差全体調整量決定処理（ステップＳ６）および視差調整処理（ステップＳ７）についても、通常画像処理と同様に実行される。これらの一連の処理によって、視差画像が生成される。

画像処理部３は、生成された視差画像に対して縮小処理を実行するとともに、ステップＳ１３において生成される入力画像の縮小画像を用いて、簡易３Ｄ画像を生成する（ステップＳ８＃＃）。例えば、入力画像の解像度が１０８０画素×１９２０画素であれば、生成される視差画像の解像度も１０８０画素×１９２０画素となるので、両方の画像に対して、３６０画素×６４０画素への解像度変換を行なうことで、簡易３Ｄ画像が生成される。

このように、入力画像に対する縮小化処理は、処理手順の一部（例えば、簡易３生成処理）に適応する形であってもよい。

《ｈ５．変形例》
上述の説明では、スルー表示用画像処理として、視点変換の視差調整処理を利用して簡易３Ｄ画像を生成する例を説明した。但し、これに限られることなく、リアルタイムに準じて立体視表示ができればどのような方法を採用してもよい。

例えば、被写体を平面視表示する画像（２Ｄ画像）に対して視差を与えることで、立体視表示を行なう技術を採用してもよい。すなわち、スルー表示用画像処理として、２Ｄ画像から立体視画像を生成する２Ｄ／３Ｄ変換処理を採用することもできる。このような２Ｄ／３Ｄ変換処理としては、特開２００２−１２３８４２号公報および特開２００６−０８０９８２号公報に記載の方法を採用してもよい。

さらに、視点変換の視差調整処理および２Ｄ／３Ｄ変換処理のいずれをも実行可能に実装しておき、何らかの条件に基づいて、いずれの処理を実行するのかを判断するようにしてもよい。

［Ｉ．画像表示処理］
次に、上述のような処理によって生成される簡易３Ｄ画像の表示処理について説明する。

《ｉ１：表示例１》
本来的には、簡易３Ｄ画像は、ユーザーが何らかの被写体を３Ｄ撮像する場合に、ファインダー画像として利用される。

但し、上述のスルー表示用画像処理が実行される場合には、いくらかの処理の遅延時間が発生するため、実際に表示部１０８に表示される簡易３Ｄ画像は、少し過去のフレームに対応するものとなる。また、上述したように、フレーム間引きの処理が行われているため、本来の表示よりもフレームレートが小さくなっている。そこで、簡易３Ｄ画像（ステレオ画像）とともに、撮像部２（第１カメラ２１および第２カメラ２２）によって被写体を撮像して得られる入力画像１および入力画像２の少なくとも一方を表示部１０８に表示してもよい。

図２４は、本発明の実施の形態に従う画像処理装置における表示部１０８での画像表示制御（表示例１）を説明するための図である。図２４に示すように、表示部１０８において、平面視表示用の画像（２Ｄスルー画像）３０４と、立体視表示用の画像（３Ｄ画像処理画像）３０６とを合成して表示してもよい。このとき、平面視表示用の画像（２Ｄスルー画像）３０４は、第１カメラ２１および第２カメラ２２のいずれか一方で、撮像された入力画像がそのまま利用される。

図２４に示すような画像表示を行なうことで、ユーザーは、撮像対象の被写体を平面視表示用の画像３０４で確認しつつ、あわせて、３Ｄ撮像によって目的の立体感で被写体を撮像できるかを、立体視表示用の画像３０６で確認できる。

このとき、表示部１０８に表示される入力画像１および入力画像２の少なくとも一方の更新周期（図２４の例では、３０ｆｐｓ）は、簡易３Ｄ画像の更新周期（図２４の例では、６ｆｐｓ）より短くなっている。そのため、動きの速い被写体であっても、平面視表示用の画像３０４で確認することができる。

《ｉ２：表示例２》
ユーザーが立体感をより容易に調整できるように、異なる立体感（視差調整量）を有する複数の簡易３Ｄ画像を表示部１０８に立体視表示させるとともに、ユーザーが選択した簡易３Ｄ画像に対応する立体感（視差調整量）を設定するようにしてもよい。なお、この立体感の選択は、撮像の最初のタイミングで行ない、ユーザーが選択した視差調整量を（マニュアル設定での）デフォルト値としてもよい。

図２５および図２６は、本発明の実施の形態に従う画像処理装置における表示部１０８での画像表示制御（表示例２）を示す図である。図２７は、本発明の実施の形態に従う画像処理装置における表示部１０８での画像表示制御（表示例２）を説明するための図である。

図２５および図２６を参照して、表示部１０８では、異なる視差調整量で生成された複数の簡易３Ｄ画像が表示部１０８に並べて表示される。表示部１０８には、入力画像１または入力画像１の少なくとも一方であるスルー画像も並べて表示されている。このとき、表示部１０８に表示される入力画像１および入力画像２の少なくとも一方の更新周期（図２５および図２６の例では、３０ｆｐｓ）は、簡易３Ｄ画像の更新周期（図２５および図２６の例では、１ｆｐｓ）より短くなっている。そのため、動きの速い被写体であっても、平面視表示用の画像３０４で確認することができる。

より具体的には、図２５には、ユーザーが最適な視差レンジ（飛出し側の視差と奥行き側の視差との差の大きさ）を選択する場合のユーザーインターフェイスの一例を示す。ユーザーは、３種類の立体視表示から最も好ましいものを選択すると、その選択された画像に対応する視差レンジがデフォルト値として設定される。すなわち、図１５に示すターゲット視差レンジ量の初期値が決定される。

また、図２６には、ユーザーが最適な視差再現位置（表示面に対してどの程度飛出した画像を生成するか）を選択する場合のユーザーインターフェイスの一例を示す。ユーザーは、３種類の立体視表示から最も好ましいものを選択すると、その選択された画像に対応する視差レンジがデフォルト値として設定される。すなわち、図１５に示すオフセットの初期値が決定される。

このように、端末装置１００では、互いに独立したパラメータ値に従って生成された複数の簡易３Ｄ画像が表示部１０８に表示される。この表示部１０８に表示される複数の簡易３Ｄには、互いに異なる立体感が設定されている。そして、表示部１０８に表示される複数の簡易３Ｄ画像のユーザーによるいずれかに対する選択に応答して、対応するパラメータ値が設定される。

図２７を参照して、端末装置１００は、表示部１０８に右眼用画像を表示するための右眼用画像バッファ４５０と、表示部１０８に左眼用画像を表示するための左眼用画像バッファ４６０とを有する。そして、画像処理部３（視差調整処理４７１，４７２，４７３）は、異なる視差調整量に従って、右眼用画像および左眼用画像のセットをそれぞれ生成する。それぞれのセットに含まれる右眼用画像および左眼用画像は、対応する画像バッファの対応する領域へそれぞれ書き込まれる。

このとき、撮像部２によって撮像された入力画像１も画像バッファへ書き込まれる。なお、２Ｄスルー画像は視差を有さないので、右眼用画像バッファ４５０および左眼用画像バッファ４６０の対応する同一の領域に、同じ入力画像１がそれぞれ書き込まれる。

このような画像処理によって、図２５および図２６に示す、ユーザーインターフェイスが実現される。

［Ｊ．利点］
本実施の形態では、ユーザーが３Ｄ撮像を行なう際に、撮像部を上下視点で把持している場合には、スルー表示用画像処理によって簡易３Ｄ画像を生成し、ファインダー画像を立体視表示する。一方、ユーザーが３Ｄ撮像を行なう際に、撮像部を左右視点で把持している場合には、撮像部によって生成される入力画像をそのまま利用してファインダー画像を立体視表示する。スルー表示用画像処理では、通常画像処理に比較して、処理負荷を軽くしているので、３Ｄ撮像の機能がソフトウェアで実装されている場合であっても、応答性を損なうことがない。

本実施の形態によれば、ファインダー画像においても、立体視表示されるので、ユーザーはより容易に被写体を３Ｄ撮像できる。

本実施の形態によれば、スルー表示用画像処理は基本的には表示用であるので、通常画像処理に比較して、合理的に処理を削減することで、高速化および処理の簡素化を実現できる。

このようなスルー表示用画像処理によって、ユーザーは、（比較的更新頻度が遅いが）被写体の立体視表示を見ながら、３Ｄ撮像および立体感の調整を行なうことででき、かつどのような立体感で撮像できるのかについても容易に把握できる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 表示例、２ 撮像部、３ 画像処理部、４ 画像出力部、２１ 第１カメラ、２１ａ，２２ａ レンズ、２１ｂ，２２ｂ 撮像素子、２２ 第２カメラ、２３，２４ Ａ／Ｄ変換部、３１ 対応点探索部、３２ 視差画像生成部、３３ 平滑化処理部、３４ 信頼度算出部、３５ 視差画像補正部、３６ 視差全体調整量決定部、３７ 視差調整部、３８ 画像生成部、１００ 端末装置、１０２ ＣＰＵ、１０４ デジタル処理回路、１０６ 画像処理回路、１０８ 表示部、１１２ 記憶部、１１４ 加速度センサー、１２０ 通信処理回路、４５０ 右眼用画像バッファ、４６０ 左眼用画像バッファ、４７１，４７２，４７３ 視差調整処理。

Claims (18)

1. 被写体を撮像して第１の入力画像を取得する第１の撮像部と、
   前記第１の撮像部とは異なる視点から前記被写体を撮像して第２の入力画像を取得する第２の撮像部と、
   前記第１および第２の撮像部からの前記第１および第２の入力画像の入力に応答して、第１の画像処理を順次行なうことで、前記被写体を立体視表示するための第１のステレオ画像を順次生成する画像処理部とを備え、
   前記画像処理部は、撮像時の前記第１および第２の撮像部による視点の位置関係に応じて、第１のステレオ画像の生成に係る前記第１の画像処理の処理内容を異ならせる、画像処理装置。
2. 前記第１のステレオ画像は、それぞれの視点が第１の方向に配置された状態に対応する視差を有し、
   前記画像処理部は、
   撮像時の前記第１および第２の撮像部が前記第１の方向に沿って配置された場合に、前記第１の画像処理として、前記第１および第２の入力画像の間に生じる視差を含む第１のステレオ画像を生成し、
   撮像時の前記第１および第２の撮像部が前記第１の方向とは異なる第２の方向に沿って配置された場合に、前記第１の画像処理として、前記第１および第２の入力画像の少なくとも一方から生成される距離情報に基づいて、前記第１および第２の入力画像の少なくとも一方から第１のステレオ画像を生成する、請求項１に記載の画像処理装置。
3. 前記第１の画像処理は、前記第１および第２の入力画像を低解像度化する処理を含む、請求項２に記載の画像処理装置。
4. 前記第１の画像処理は、順次入力される前記第１および第２の入力画像のフレームを間引く処理を含む、請求項２または３に記載の画像処理装置。
5. 前記第１の画像処理は、順次入力される前記第１および第２の入力画像を第１のフレーム間隔で間引いた画像を用いて前記距離情報を更新するとともに、順次入力される前記第１および第２の入力画像を前記第１のフレーム間隔より短い第２のフレーム間隔で間引いた画像を用いて前記第１のステレオ画像を生成する処理を含む、請求項４に記載の画像処理装置。
6. 前記画像処理部は、前記第１および第２の入力画像に対して第２の画像処理を行なうことで、前記被写体を立体視表示するための前記第１のステレオ画像より情報量の多い第２のステレオ画像を生成する、請求項２〜５のいずれか１項に記載の画像処理装置。
7. 前記第１の画像処理では、前記第２の画像処理に比較して、前記距離情報を生成するための視差を算出する点数が少ない、請求項６に記載の画像処理装置。
8. 前記第２の画像処理は、前記距離情報に対する信頼度算出処理および補正処理を含み、
   前記第１の画像処理では、前記信頼度算出処理および前記補正処理が省略される、請求項６または７に記載の画像処理装置。
9. 前記第１の画像処理は、視点変換の視差調整処理を含む、請求項１〜８のいずれか１項に記載の画像処理装置。
10. 前記第１の画像処理は、２Ｄ／３Ｄ変換処理を含む、請求項１〜９のいずれか１項に記載の画像処理装置。
11. 前記第１のステレオ画像を立体視表示するための表示部と、
    前記表示部における表示内容を制御する表示制御部とをさらに備える、請求項１〜１０のいずれか１項に記載の画像処理装置。
12. 前記表示制御部は、前記第１のステレオ画像とともに、前記第１および第２の入力画像の少なくとも一方を前記表示部に表示する、請求項１１に記載の画像処理装置。
13. 前記表示部に表示される前記第１および第２の入力画像の少なくとも一方の更新周期は、前記第１のステレオ画像の更新周期より短い、請求項１１または１２に記載の画像処理装置。
14. 前記表示制御部は、互いに独立したパラメータ値に従って生成された複数の第１のステレオ画像を前記表示部に表示する、請求項１１に記載の画像処理装置。
15. 前記表示部に表示される複数の第１のステレオ画像には、互いに異なる立体感が設定されている、請求項１４に記載の画像処理装置。
16. 前記表示制御部は、前記表示部に表示される複数の第１のステレオ画像のいずれかに対する選択に応答して、対応するパラメータ値を設定する、請求項１４または１５に記載の画像処理装置。
17. 被写体を第１の撮像部で撮像して第１の入力画像を取得するステップと、
    前記第１の撮像部とは異なる視点から前記被写体を第２の撮像部で撮像して第２の入力画像を取得するステップと、
    前記第１および第２の入力画像の入力に応答して、第１の画像処理を順次行なうことで、前記被写体を立体視表示するための第１のステレオ画像を順次生成するステップとを備え、
    前記第１のステレオ画像を順次生成するステップは、撮像時の前記第１および第２の撮像部による視点の位置関係に応じて、第１のステレオ画像の生成に係る前記第１の画像処理の処理内容を異ならせるステップを含む、画像処理方法。
18. コンピューターに画像処理を実行させる画像処理プログラムであって、前記画像処理プログラムは、前記コンピューターに、
    被写体を第１の撮像部で撮像して第１の入力画像を取得するステップと、
    前記第１の撮像部とは異なる視点から前記被写体を第２の撮像部で撮像して第２の入力画像を取得するステップと、
    前記第１および第２の入力画像の入力に応答して、第１の画像処理を順次行なうことで、前記被写体を立体視表示するための第１のステレオ画像を順次生成するステップとを実行させ、
    前記第１のステレオ画像を順次生成するステップは、撮像時の前記第１および第２の撮像部による視点の位置関係に応じて、第１のステレオ画像の生成に係る前記第１の画像処理の処理内容を異ならせるステップを含む、画像処理プログラム。