JP2013126106A - 画像処理方法、画像処理システムおよび画像処理プログラム - Google Patents

Abstract

【課題】時間軸に沿って順序付けされた複数の画像を用いて、立体感を残しつつ、よりユーザーへの負担の少ない立体視表示を再現できる画像処理方法、画像処理システムおよび画像処理プログラムを提供する。
【解決手段】画像処理方法は、時間軸に沿って順序付けされた複数の第１の入力画像と、時間軸に沿って順序付けされた複数の第２の入力画像とを取得する取得ステップと、時間軸上の各位置に対応する第１および第２の入力画像から視差画像を生成する生成ステップと、第１の時間範囲にわたって複数の視差画像を時間軸方向に平滑化する平滑化ステップと、第１の時間範囲に存在する視差画像について、少なくとも飛出し側の視差の大きさを、第１の時間範囲にわたって平滑化した結果に応じた値に補正する補正ステップとを含む。
【選択図】図５

Description

本発明は、時間軸に沿って順序付けされた画像間の視差調整に向けられた画像処理方法、画像処理システムおよび画像処理プログラムに関する。

近年の表示デバイスの開発とも相まって、立体視表示に係る画像処理技術の開発が進められている。このような立体視表示を実現する典型的な方法として、人間が感じる両眼視差を利用する方法がある。このような両眼視差を利用する場合には、撮像手段から被写体までの距離に応じて視差をつけた一対の画像（以下「ステレオ画像」または「３Ｄ画像」とも称す。）を生成する必要がある。

このような立体視表示される画像は、静止画だけではなく動画も含む。例えば、特開２００９−２３９３８８号公報（特許文献１）には、立体動画像を立体視するための立体動画像処理装置を開示している。この立体動画像処理装置は、立体動画像のシーン切り替え時において、立体視を行なうユーザーの疲労感を軽減するための構成を開示する。より具体的には、この立体動画像処理装置は、立体動画像のシーンの切り替わり位置を検出し、シーンの切り替わり位置における奥行き感が徐々に変更されるように、立体動画像の奥行き感を調整する。

上述のように、動画は、静止画とは異なり、ユーザーの視聴時間が長くなるので、視差により生じるユーザーの疲労感を軽減することが重要である。

特開２００９−２３９３８８号公報

上述のような動画を立体視表示する場合には、発生する視差を、視聴に快適かつ適切なレベルに調整する必要がある。動画に含まれる被写体として、大きな視差を有するものが急に入ってきたような場合には、視差の調整が難しい。例えば、ある風景の撮像中に、車両などがその視野範囲を横切ったような場合などには、撮像手段により近い車両については、ユーザーの手前側（飛出し側）に立体視表示される（立体感を再現できる）ようにある程度の視差を生じさせることが好ましい。

しかしながら、このような被写体（発生する視差）の変化に伴って、立体視表示される画像の視差全体調整量（視差位置や視差レンジ）を変化させると、ユーザーからみれば、再現される画像全体の立体感が急激に変化することになり、不快感を与えうる。

そこで、本発明は、かかる問題を解決するためになされたものであり、その目的は、時間軸に沿って順序付けされた複数の画像を用いて、立体感を残しつつ、よりユーザーへの負担の少ない立体視表示を再現できる画像処理方法、画像処理システムおよび画像処理プログラムを提供することである。

本発明のある局面に従う画像処理方法は、時間軸に沿って順序付けされた複数の第１の入力画像と、時間軸に沿って順序付けされた複数の第２の入力画像とを取得する取得ステ
ップを含む。複数の第１および第２の入力画像は、それぞれ異なる視点から被写体を撮像することで取得されたものである。画像処理方法は、さらに、時間軸上の各位置に対応する第１および第２の入力画像から視差画像を生成する生成ステップと、第１の時間範囲にわたって複数の視差画像を時間軸方向に平滑化する平滑化ステップと、第１の時間範囲に存在する視差画像について、少なくとも飛出し側の視差の大きさを、第１の時間範囲にわたって平滑化した結果に応じた値に補正する補正ステップとを含む。

好ましくは、補正ステップは、第１の時間範囲に存在する視差画像について、飛出し側の視差と奥行き側の視差との間の視差レンジを、第１の時間範囲にわたって平滑化した結果に応じた値に制限するステップを含む。

好ましくは、平滑化ステップは、第１の時間範囲とは異なる第２の時間範囲にわたって複数の視差画像を時間軸方向に平滑化するステップを含み、補正ステップは、第１の時間範囲にわたって平滑化した結果、および、第２の時間範囲にわたる平滑化により得られた視差画像に基づいて、視差画像を補正するステップを含む。

さらに好ましくは、第１の時間範囲は、第２の時間範囲よりも長い。
好ましくは、画像処理方法は、複数の第１の入力画像と、複数の第１の入力画像にそれぞれ対応する補正後の視差画像に従って視差を与えることで生成される複数の画像とを用いて、立体視画像を生成するステップをさらに含む。

好ましくは、画像処理方法は、複数の第１および第２の入力画像を、対応する補正後の視差画像に従ってそれぞれ視差を調整することで得られる画像を用いて、立体視画像を生成するステップをさらに含む。

好ましくは、補正ステップは、視差画像に生じる視差の時間軸に沿った変化量である視差増減係数を決定するステップを含む。

さらに好ましくは、補正ステップは、視差増減係数を所定範囲に制限するステップを含む。

好ましくは、補正ステップは、視差画像に生じる視差位置のオフセットを決定するステップを含む。

好ましくは、補正ステップは、第１の時間範囲にわたって平滑化した結果に応じて、視差の最小値を制限するステップを含む。

好ましくは、平滑化ステップは、時間軸上のある位置に対応する視差画像の視差の最大値または最小値が、時間軸上の近接する位置に対応する視差画像の最大値または最小値に比較して、所定のしきい値を超えて変化している画素については、当該視差の最大値または最小値を当該所定のしきい値に制限するステップを含む。

好ましくは、平滑化ステップは、時間軸上のある位置に対応する視差画像に含まれる画素が示す視差のうち、平滑化された視差画像に含まれる画素が示す視差に比較して、所定のしきい値を超えて変化している画素については、対応する視差の大きさを当該所定のしきい値に制限するステップを含む。

好ましくは、第１の時間範囲は、１０秒以上である。
好ましくは、第２の時間範囲は、１０秒以下である。

本発明の別の局面に従う画像処理システムは、時間軸に沿って順序付けされた複数の第１の入力画像と、時間軸に沿って順序付けされた複数の第２の入力画像とを取得する取得手段を含む。複数の第１および第２の入力画像は、それぞれ異なる視点から被写体を撮像することで取得されたものである。画像処理システムは、さらに、時間軸上の各位置に対応する第１および第２の入力画像から視差画像を生成する生成手段と、第１の時間範囲にわたって複数の視差画像を時間軸方向に平滑化する平滑化手段と、第１の時間範囲に存在する視差画像について、少なくとも飛出し側の視差の大きさを、第１の時間範囲にわたって平滑化した結果に応じた値に補正する補正手段とを含む。

本発明の別の局面に従う画像処理プログラムは、コンピューターに、時間軸に沿って順序付けされた複数の第１の入力画像と、時間軸に沿って順序付けされた複数の第２の入力画像とを取得する取得ステップを実行させる。複数の第１および第２の入力画像は、それぞれ異なる視点から被写体を撮像することで取得されたものである。画像処理プログラムは、さらにコンピューターに、時間軸上の各位置に対応する第１および第２の入力画像から視差画像を生成する生成ステップと、第１の時間範囲にわたって複数の視差画像を時間軸方向に平滑化する平滑化ステップと、第１の時間範囲に存在する視差画像について、少なくとも飛出し側の視差の大きさを、第１の時間範囲にわたって平滑化した結果に応じた値に補正する補正ステップとを実行させる。

本発明によれば、時間軸に沿って順序付けされた複数の画像を用いて、立体感を残しつつ、よりユーザーへの負担の少ない立体視表示を再現できる。

本発明の実施の形態に従う画像処理システムの基本的構成を示すブロック図である。 図１に示す撮像部の具体的な構成例を示す図である。 図１に示す画像処理システムを具現化したデジタルカメラの構成を示すブロック図である。 図１に示す画像処理システムを具現化したパーソナルコンピューターの構成を示すブロック図である。 本発明の実施の形態１に従う全体処理手順を示すフローチャートである。 図１に示す撮像部２によって撮像されたあるフレームにおける入力画像の一例を示す図である。 実施の形態１に従う画像処理方法に従って図６に示す一対の入力画像から生成された視差画像の一例を示す図である。 本発明の実施の形態１に従う空間的な平滑化処理に用いられる平均化フィルタの一例を示す図である。 本発明の実施の形態１に従う時間的な平滑化処理を説明するための図である。 図７に示す視差画像に対して空間的および時間的な平滑化処理によって得られた平滑化された視差画像の一例を示す図である。 本発明の実施の形態１に従う視差全体調整量決定処理を説明するための図である。 図１０に示す平滑化後の視差画像に対して視差調整された視差画像の一例を示す図である。 本発明の実施の形態１に従う立体視画像生成処理を説明するための図である。 図１３に示す立体視画像生成処理の処理手順を示すフローチャートである。 図６に示す入力画像１および入力画像２を用いて生成されたステレオ画像の一例を示す図である。 本発明の実施の形態１に従う画像処理方法の適用例を示す図である。 図１６に示す適用例に対応する各パラメータの時間的変化を示す図である。 視差増減係数を制限した場合における図１７に示す各パラメータの時間的変化を示す図である。 本発明の実施の形態２に従う全体処理手順を示すフローチャートである。 本発明の実施の形態２に従う画像処理方法の適用例を示す図である。 図２０に示す適用例において出力されるステレオ画像の一例を示す図である。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

［Ａ．概要］
本発明の実施の形態に従う画像処理システムは、時間軸に沿って順序付けされた複数の第１の入力画像と、時間軸に沿って順序付けされた複数の第２の入力画像とを取得して、時間軸に沿って画像を立体視する（典型的には、立体的に動画を再現する）際に必要な視差画像を生成および調整する。

より具体的には、画像処理システムは、時間軸上の各位置に対応する視差画像を生成するとともに、それらの生成した視差画像を時間軸方向に平滑化し、再現される画像に与えられる視差全体調整量が当該平滑化により得られた視差画像に応じた値になるように、時間軸上の各位置に対応する視差画像を補正する。この視差全体調整量は、例えば、飛出し側の視差の大きさ、飛出し側の視差と奥行き側の視差との間の視差レンジ、および視差画像に生じる視差位置（あるいは、位置のオフセット）を含む。

好ましくは、画像処理システムは、時間軸上の各位置に対応する視差画像についても、近接するいくつかの視差画像から平滑化により得られた視差画像を用いる。この平滑化処理は、各視差画像に含まれ得るノイズ成分などを除去することを主目的としている。そのため、上述した視差全体調整量を設定するために用いる平滑化処理とは異なる時間範囲で平滑化される。より具体的には、この時間範囲は、視差全体調整量を設定するために用いる平滑化処理に係る時間範囲に比較して、より短い期間となる。

以下の説明においては、説明の便宜上、前者の視差全体調整量を設定するための平滑化処理に係る時間範囲を「長時間範囲」と称し、後者の時間軸上の各位置に対応する視差画像を生成するための平滑化処理に係る時間範囲を「短時間範囲」と称する。なお、動画においては、時間毎の画像を「フレーム」と称し、この「フレーム」が更新される周期を「フレーム間隔」と称する。そのため、平滑化処理に係る時間範囲は、平滑化に用いられる「フレーム」の数、あるいは「フレーム間隔」の対応する倍数などで表現されることもある。

なお、時間軸上の各位置に対応する視差画像を生成するための平滑化処理（「短時間範囲」での平滑化処理）については必須ではなく、全く行なわない、あるいは代替の方法を採用してもよい。

本実施の形態に従う画像処理システムは、視差全体調整量（視差の大きさ、視差レンジ、および視差位置）を、より長い期間にわたって視差画像を平滑化した結果に基づいて調
整するので、部分的に大きな視差を有する被写体が映り込んだとしても、その被写体によって画像全体の視差量が急激に変化することを防止する。この大きな視差を有する被写体が長期間にわたって存在するような場合には、画像全体の視差量が徐々に増大することになる。また、過度に飛出し側に再現されている被写体については、その飛出し量が徐々に低減される。一方で、時間軸上の各位置（各フレーム）における視差画像は、より短い期間にわたる平滑化によって生成されるので、急激に視差が変化するような動画であっても、それに含まれる部分毎に存在する視差の情報は残されるため、各フレームにおける立体感を再現することができる。

このように、本実施の形態に従う画像処理システムは、２種類の時間範囲でそれぞれ視差画像を平滑化した結果を用いて、立体感を残しつつ、よりユーザーへの負担の少ない立体視表示を再現する。

［Ｂ．システム構成］
まず、本発明の実施の形態に従う画像処理システムの構成について説明する。

《ｂ１：基本的構成》
図１は、本発明の実施の形態に従う画像処理システム１の基本的構成を示すブロック図である。図１を参照して、画像処理システム１は、撮像部２と、画像処理部３と、３Ｄ画像出力部４とを含む。図１に示す画像処理システム１においては、撮像部２が被写体を撮像することで一対の入力画像（入力画像１および入力画像２）を取得し、画像処理部３がこの取得された一対の入力画像に対して後述するような画像処理を行なうことで、被写体を立体視表示するためのステレオ画像（各フレームの左眼用画像および右眼用画像）を生成する。そして、３Ｄ画像出力部４は、このステレオ画像（左眼用画像および右眼用画像）を表示デバイスなどへ出力する。

撮像部２は、同一対象物（被写体）を異なる視点で撮像して一対の入力画像を生成する。本実施の形態に従う画像処理システムは、動画を立体視表示することができるので、撮像部２は、所定の時間間隔（フレーム間隔）で、一対の入力画像を生成する。すなわち、撮像部２からは、時間軸に沿って順序付けされた複数の入力画像１と、時間軸に沿って順序付けされた複数の入力画像２とが、画像処理部３へ与えられる。そして、入力画像１および入力画像２は、それぞれ異なる視点から被写体を撮像することで取得されたものになる。

より具体的には、撮像部２は、第１カメラ２１と、第２カメラ２２と、第１カメラ２１と接続されたＡ／Ｄ（Analog to Digital）変換部２３と、第２カメラ２２と接続されたＡ／Ｄ変換部２４とを含む。Ａ／Ｄ変換部２３は、第１カメラ２１により撮像された被写体を示す入力画像１を出力し、Ａ／Ｄ変換部２４は、第２カメラ２２により撮像された被写体を示す入力画像２を出力する。

すなわち、第１カメラ２１およびＡ／Ｄ変換部２３は、被写体を撮像して第１の入力画像を取得する撮像手段に相当し、第２カメラ２２およびＡ／Ｄ変換部２４は、第１カメラ２１とは異なる視点から被写体を撮像して第２の入力画像を取得する別の撮像手段に相当する。

第１カメラ２１は、被写体を撮像するための光学系であるレンズ２１ａと、レンズ２１ａにより集光された光を電気信号に変換するデバイスである撮像素子２１ｂとを含む。Ａ／Ｄ変換部２３は、撮像素子２１ｂから出力される被写体を示す映像信号（アナログ電気信号）をデジタル信号に変換して出力する。同様に、第２カメラ２２は、被写体を撮像するための光学系であるレンズ２２ａと、レンズ２２ａにより集光された光を電気信号に変
換するデバイスである撮像素子２２ｂとを含む。Ａ／Ｄ変換部２４は、撮像素子２２ｂから出力される被写体を示す映像信号（アナログ電気信号）をデジタル信号に変換して出力する。撮像部２はさらに、各部分を制御するための制御処理回路などを含み得る。

後述するように、本実施の形態に従う画像処理においては、一方のカメラで撮像された入力画像だけを用いても、ステレオ画像（左眼用画像および右眼用画像）を生成することができる。

図２は、図１に示す撮像部２の具体的な構成例を示す図である。より具体的には、図２には、基本的なスペックを同一としたレンズ２１ａおよび２２ａからなる撮像部２の一例を示す。この撮像部２においては、いずれのレンズについても光学ズーム機能を搭載してもよい。

本実施の形態に従う画像処理方法においては、同一の被写体に対するそれぞれのカメラの視線方向（視点）が異なっていればよいので、撮像部２において、レンズ２１ａと２２ａとの配置（縦方向配列または横方向配列）は任意に設定できる。すなわち、図２（ａ）に示すように縦長方向に配置（縦ステレオ）して撮像してもよいし、図２（ｂ）に示すように横長方向に配置（横ステレオ）して撮像してもよい。

本実施の形態に従う画像処理システムは、時間的に連続して被写体を立体視表示する。そのため、第１カメラ２１および第２カメラ２２は、互いに同期を取りつつ、所定周期で被写体を撮像することで、それぞれのカメラについての時間軸に沿って順序付けされた一連の画像を取得することができる。また、本実施の形態に従う画像処理方法においては、入力画像は、カラー画像であってもよいし、モノクロ画像であってもよい。

再度図１を参照して、画像処理部３は、撮像部２によって取得された一対の入力画像に対して、本実施の形態に従う画像処理方法を実施することで、被写体を立体視表示するためのステレオ画像（各フレームの左眼用画像および右眼用画像）を生成する。より具体的には、画像処理部３は、対応点探索部３１と、視差画像生成部３２と、平滑化処理部３３と、視差全体調整量決定部３４と、視差調整部３５と、３Ｄ画像生成部３６とを含む。

対応点探索部３１は、各フレームの一対の入力画像（入力画像１および入力画像２）に対して対応点探索の処理を行なう。この対応点探索の処理は、典型的には、ＰＯＣ（Phase-Only Correlation）演算法、ＳＡＤ（Sum of Absolute Difference）演算法、ＳＳＤ（Sum of Squared Difference）演算法、ＮＣＣ（Normalized Cross Correlation）演算法などを用いることができる。すなわち、対応点探索部３１は、入力画像１と入力画像２との間における被写体の各点についての対応関係を探索する。

視差画像生成部３２は、２つの入力画像についての距離情報を取得する。この距離情報は、同一の被写体についての情報の相違に基づいて算出される。典型的には、視差画像生成部３２は、対応点探索部３１によって探索された被写体の各点についての入力画像の間での対応関係から距離情報を算出する。撮像部２では、異なる視点からそれぞれ被写体を撮像する。そのため、２つの入力画像の間では、被写体のある点（注目点）を表現する画素は、撮像部２と当該被写体の点との距離に応じた距離だけずれることになる。本明細書においては、入力画像１の注目点に対応する画素の画像座標系上の座標と、入力画像２の注目点に対応する画素の画像座標系上の座標との差を「視差」と称する。視差画像生成部３２は、対応点探索部３１によって探索された被写体の注目点の各々について、視差を算出する。

この視差は、撮像部２から被写体の対応する注目点までの距離を示す指標値である。視
差が大きいほど、撮像部２から被写体の対応する注目点までの距離が短い、すなわち撮像部２により近接していることを意味する。本明細書においては、視差、および、視差によって示される被写体の各点の撮像部２からの距離を、総称して「距離情報」という用語を用いる。

なお、入力画像間で視差が生じる方向は、撮像部２における第１カメラ２１と第２カメラ２２との間の位置関係に依存する。例えば、第１カメラ２１と第２カメラ２２とを縦方向に所定間隔だけ離して配置した場合には、入力画像１と入力画像２との間での視差は縦方向に生じることになる。

視差画像生成部３２は、被写体の各点についての距離情報として算出し、算出したそれぞれの距離情報を画像座標系上の座標に関連付けて表現した視差画像（「距離画像」とも称す。）を生成する。

平滑化処理部３３は、視差画像生成部３２によって生成された視差画像に対してスムージング処理（平滑化処理）する。空間平滑化を行なうとともに、上述したように、本実施の形態においては、２種類の時間範囲でそれぞれ視差画像を平滑化する。平滑化処理部３３は、２種類のフレーム数について、それぞれ平滑化処理を行なう。

視差全体調整量決定部３４は、平滑化処理部３３によって平滑化された結果に基づいて、視差全体調整量（視差の大きさ、視差レンジ、および視差位置）を決定する。

視差調整部３５は、視差全体調整量決定部３４によって決定された視差全体調整量に従って、各フレームに係る視差画像（好ましくは、短時間範囲で平滑化された視差画像）を補正する。

平滑化処理部３３、視差全体調整量決定部３４および視差調整部３５において実行される処理の詳細については後述する。

３Ｄ画像生成部３６は、視差調整部３５による調整後の視差画像に基づいて、入力画像を構成する各画素を対応する距離情報（画素数）だけずらすことで、被写体を立体視表示するためのステレオ画像（各フレームの左眼用画像および右眼用画像）を生成する。このように、距離情報に基づいて、入力画像に含まれる画素を横方向にずらすことで被写体を立体視表示するためのステレオ画像が生成される。左眼用画像と右眼用画像との間について見れば、被写体の各点は、視差画像によって示される距離情報（画素数）に応じた距離だけ離れて、すなわち距離情報（画素数）に応じた視差が与えられて表現される。これにより、被写体を立体視表示することができる。

３Ｄ画像出力部４は、画像処理部３によって生成されるステレオ画像（各フレームの左眼用画像および右眼用画像）を表示デバイスなどへ出力する。

図１に示す画像処理システム１は、各部を独立に構成することもできるが、汎用的には、以下に説明するデジタルカメラやパーソナルコンピューターなどとして具現化される場合が多い。そこで、本実施の形態に従う画像処理システム１の具現化例について説明する。

《ｂ２：具現化例１》
図３は、図１に示す画像処理システム１を具現化したデジタルカメラ１００の構成を示すブロック図である。図３に示すデジタルカメラ１００は、２つのカメラ（第１カメラ１２１および第２カメラ１２２）を搭載しており、被写体を立体視表示するためのステレオ
画像を撮像することができる。図３において、図１に示す画像処理システム１を構成するそれぞれのブロックに対応するコンポーネントには、図１と同一の参照符号を付している。

デジタルカメラ１００では、第１カメラ１２１で被写体を撮像することで取得される入力画像が記憶および出力され、第２カメラ１２２で当該被写体を撮像することで取得される入力画像については、主として、上述の対応点探索処理および視差画像生成処理に用いられる。そのため、第１カメラ１２１についてのみ光学ズーム機能が搭載されているとする。

図３を参照して、デジタルカメラ１００は、ＣＰＵ（Central Processing Unit）１０２と、デジタル処理回路１０４と、画像表示部１０８と、カードインターフェイス（Ｉ／Ｆ）１１０と、記憶部１１２と、ズーム機構１１４と、第１カメラ１２１と、第２カメラ１２２とを含む。

ＣＰＵ１０２は、予め格納されたプログラム（画像処理プログラムを含む）などを実行することで、デジタルカメラ１００の全体を制御する。デジタル処理回路１０４は、本実施の形態に従う画像処理を含む各種のデジタル処理を実行する。デジタル処理回路１０４は、典型的には、ＤＳＰ（Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＬＳＩ（Large Scale Integration）、ＦＰＧＡ（Field-Programmable Gate Array）などによって構成される。このデジタル処理回路１０４は、図１に示す画像処理部３が提供する機能を実現するための画像処理回路１０６を含む。

画像表示部１０８は、第１カメラ１２１および／または第２カメラ１２２により提供される画像、デジタル処理回路１０４（画像処理回路１０６）によって生成される画像、デジタルカメラ１００に係る各種設定情報、および、制御用ＧＵＩ（Graphical User Interface）画面などを表示する。画像表示部１０８は、画像処理回路１０６によって生成されるステレオ画像を用いて、被写体を立体視表示できることが好ましい。この場合、画像表示部１０８は、３次元表示方式に対応した任意の表示デバイス（３次元表示用の液晶表示装置）によって構成される。このような３次元表示方式としては、パララックスバリア方式などを採用することができる。このパララックスバリア方式では、液晶表示面にパララックスバリアを設けることで、ユーザーの右眼で右眼用画像を視認させ、ユーザーの左眼で左眼用画像を視認させることができる。あるいは、シャッタメガネ方式を採用してもよい。このシャッタメガネ方式では、左眼用画像および右眼用画像を交互に高速で切り替えて表示するとともに、この画像の切り替えに同期して開閉するシャッターが搭載された専用メガネをユーザーが装着することで、立体視表示を楽しむことができる。

カードインターフェイス（Ｉ／Ｆ）１１０は、画像処理回路１０６によって生成された画像データを記憶部１１２へ書き込み、あるいは、記憶部１１２から画像データなどを読み出すためのインターフェイスである。記憶部１１２は、画像処理回路１０６によって生成された画像データや各種情報（デジタルカメラ１００の制御パラメータや動作モードなどの設定値）を格納する記憶デバイスである。この記憶部１１２は、フラッシュメモリ、光学ディスク、磁気ディスクなどからなり、データを不揮発的に記憶する。

ズーム機構１１４は、ユーザー操作などに応じて、第１カメラ１２１の撮像倍率を変更する機構である。ズーム機構１１４は、典型的には、サーボモーターなどを含み、第１カメラ１２１を構成するレンズ群を駆動することで、焦点距離を変化させる。

第１カメラ１２１は、被写体を撮像することでステレオ画像を生成するための入力画像を生成する。第１カメラ１２１は、ズーム機構１１４によって駆動される複数のレンズ群
からなる。第２カメラ１２２は、後述するような対応点探索処理や視差画像生成処理に用いられ、第１カメラ１２１によって撮像される同一の被写体を別の視点から撮像する。

このように、図３に示すデジタルカメラ１００は、本実施の形態に従う画像処理システム１の全体を単体の装置として実装したものである。すなわち、ユーザーは、デジタルカメラ１００を用いて被写体を撮像することで、画像表示部１０８において当該被写体を立体的に視認することができる。

《ｂ３：具現化例２》
図４は、図１に示す画像処理システム１を具現化したパーソナルコンピューター２００の構成を示すブロック図である。図４に示すパーソナルコンピューター２００では、一対の入力画像を取得するための撮像部２が搭載されておらず、任意の撮像部２によって取得された一対の入力画像（入力画像１および入力画像２）が外部から入力される構成となっている。このような構成であっても、実施の形態に従う画像処理システム１に含まれ得る。なお、図４においても、図１に示す画像処理システム１を構成するそれぞれのブロックに対応するコンポーネントには、図１と同一の参照符号を付している。

図４を参照して、パーソナルコンピューター２００は、パーソナルコンピューター本体２０２と、モニター２０６と、マウス２０８と、キーボード２１０と、外部記憶装置２１２とを含む。

パーソナルコンピューター本体２０２は、典型的には、汎用的なアーキテクチャーに従う汎用コンピューターであり、基本的な構成要素として、ＣＰＵ、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などを含む。パーソナルコンピューター本体２０２は、図１に示す画像処理部３が提供する機能を実現するための画像処理プログラム２０４が実行可能になっている。このような画像処理プログラム２０４は、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などの記憶媒体に格納されて流通し、あるいは、ネットワークを介してサーバー装置から配信される。そして、画像処理プログラム２０４は、パーソナルコンピューター本体２０２のハードディスクなどの記憶領域内に格納される。

このような画像処理プログラム２０４は、パーソナルコンピューター本体２０２で実行されるオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち必要なモジュールを、所定のタイミングおよび順序で呼出して処理を実現するように構成されてもよい。この場合、画像処理プログラム２０４自体には、ＯＳが提供するモジュールは含まれず、ＯＳと協働して画像処理が実現される。また、画像処理プログラム２０４は、単体のプログラムではなく、何らかのプログラムの一部に組込まれて提供されてもよい。このような場合にも、画像処理プログラム２０４自体には、当該何らかのプログラムにおいて共通に利用されるようなモジュールは含まれず、当該何らかのプログラムと協働して画像処理が実現される。このような一部のモジュールを含まない画像処理プログラム２０４であっても、本実施の形態に従う画像処理システム１の趣旨を逸脱するものではない。

もちろん、画像処理プログラム２０４によって提供される機能の一部または全部を専用のハードウェアによって実現してもよい。

モニター２０６は、オペレーティングシステム（ＯＳ）が提供するＧＵＩ画面、画像処理プログラム２０４によって生成される画像などを表示する。モニター２０６は、図３に示す画像表示部１０８と同様に、画像処理プログラム２０４によって生成されるステレオ画像を用いて、被写体を立体視表示できることが好ましい。この場合、モニター２０６としては、画像表示部１０８において説明したのと同様に、パララックスバリア方式やシャ
ッタメガネ方式などの表示デバイスによって構成される。

マウス２０８およびキーボード２１０は、それぞれユーザー操作を受付け、その受付けたユーザー操作の内容をパーソナルコンピューター本体２０２へ出力する。

外部記憶装置２１２は、何らかの方法で取得された一対の入力画像（入力画像１および入力画像２）を格納しており、この一対の入力画像をパーソナルコンピューター本体２０２へ出力する。外部記憶装置２１２としては、フラッシュメモリ、光学ディスク、磁気ディスクなどのデータを不揮発的に記憶するデバイスが用いられる。

このように、図４に示すパーソナルコンピューター２００は、本実施の形態に従う画像処理システム１の一部を単体の装置として実装したものである。このようなパーソナルコンピューター２００を用いることで、ユーザーは、任意の撮像部（ステレオカメラ）を用いて異なる視点で被写体を撮像することで取得された一対の入力画像から、当該被写体を立体視表示するためのステレオ画像（左眼用画像および右眼用画像）を生成することができる。さらに、この生成したステレオ画像をモニター２０６で表示することで、立体視表示を楽しむこともできる。

［Ｃ．実施の形態１］
本発明の実施形態１として、一方の入力画像からステレオ画像（左眼用画像および右眼用画像）を生成する構成について説明する。より具体的には、各フレームの一対の入力画像を用いて視差画像の生成および調整（補正）を行ない、その結果得られた視差画像を用いて一方の入力画像から他方の入力画像を生成する。なお、以下の説明においては、入力画像１を用いて立体視画像（ステレオ画像）を生成する例を示す。すなわち、本実施の形態においては、入力画像１と、入力画像１に対応する補正後の視差画像に従って視差を与えることで生成される画像とを用いて、立体視画像を生成する。

上述したように、本実施の形態においては、２種類の時間範囲（フレーム間隔）でそれぞれ平滑化処理を行なうことで、体感を残しつつ、よりユーザーへの負担の少ない立体視表示を再現する。

すなわち、立体動画は、再現される視差が大きすぎると見づらく、一方で、小さすぎると立体感が物足りなく見える。そこで、本実施の形態に従う情報処理システムは、例えば、飛出し側に存在する被写体がシーンの途中から撮像された場合には、立体感としての視差情報は残しつつ、その被写体についての飛出し量を徐々に変更するように、全体的な視差調整を行なう。

《ｃ１：全体処理手順》
まず、本実施の形態における全体処理手順について説明する。

図５は、本発明の実施の形態１に従う全体処理手順を示すフローチャートである。図５を参照して、各フレームの入力画像１および入力画像２が取得される。典型的には、第１カメラ２１（レンズ２１ａおよび撮像素子２１ｂ）が被写体を撮像することで入力画像１を生成する。また、第２カメラ２２（レンズ２２ａおよび撮像素子２２ｂ）が被写体を撮像することで入力画像２を生成する。すなわち、時間軸に沿って順序付けされた複数の入力画像１と、時間軸に沿って順序付けされた複数の入力画像２とが取得される。

まず、入力画像１用の視差画像が各フレームについて生成される（ステップＳ１）。すなわち、時間軸上の各位置に対応する入力画像１および入力画像２から視差画像が生成される。この視差画像の生成処理は、主として、画像処理部３の対応点探索部３１および視
差画像生成部３２（図１）によって実行される。

続いて、生成された各フレームの視差画像に対して、平滑化処理が実行される（ステップＳ２）。この平滑化処理は、主として、画像処理部３の平滑化処理部３３（図１）によって実行される。

ステップＳ２の平滑化処理は、各フレームの視差画像内での平滑化（空間平滑化）、短時間範囲にわたる複数フレームの視差画像に対する平滑化（時間平滑化）、および長時間範囲にわたる複数フレームの視差画像に対する平滑化を含む。すなわち、ある時間範囲にわたって複数の視差画像を時間軸方向に平滑化する処理を含む。

続いて、長時間範囲にわたる複数フレームの視差画像に対する平滑化の結果に基づいて、視差全体調整量の調整処理が実行される（ステップＳ３）。この視差全体調整量の調整処理は、主として、画像処理部３の視差全体調整量決定部３４（図１）によって実行される。

続いて、各フレームの視差画像内での平滑化（空間平滑化）、および短時間範囲にわたる複数フレームの視差画像に対する平滑化（時間平滑化）によって、生成された視差画像に対して、ステップＳ３において決定された視差全体調整量に従って、視差を調整する処理が実行される（ステップＳ４）。この視差調整処理は、主として、画像処理部３の視差調整部３５（図１）によって実行される。

最終的に、ステップＳ４において調整された視差画像を用いて、入力画像１からステレオ画像が生成される（ステップＳ５）。より具体的には、入力画像１は、そのまま左眼用画像として出力され、調整された視差画像を用いて入力画像１に視差を与えることで右眼用画像が出力される。

この生成されたステレオ画像（各フレームの左眼用画像および右眼用画像）がモニターなどへ出力される。

以下、各ステップにおける処理について詳述する。
《ｃ２：視差画像生成処理》
ステップＳ１の視差画像生成処理の詳細について説明する。

まず、各フレームにおける一対の入力画像（入力画像１および入力画像２）の間の位置関係の対応付けが探索される。この対応点探索処理は、図１に示す対応点探索部３１によって実行される。より具体的には、対応点探索処理では、一方の入力画像の注目点にそれぞれ対応する他方の入力画像の画素（座標値）を特定する。このような対応点探索処理は、ＰＯＣ演算法、ＳＡＤ演算法、ＳＳＤ演算法、ＮＣＣ演算法などを用いたマッチング処理が利用される。

対応点探索処理においては、一方の入力画像を基準画像に設定するとともに、他方の入力画像を参照画像に設定して、両画像間の対応付けが行なわれる。いずれの入力画像を主体的に用いるかに応じて、この基準画像に設定される入力画像が変更されることになる。

続いて、対応点探索処理によって特定された注目点と対応点との間の対応関係に基づいて、被写体の各点の座標に関連付けられた距離情報を示す視差画像を生成するための視差画像生成処理が実行される。この視差画像生成処理は、図１に示す視差画像生成部３２によって実行される。この視差画像生成処理では、注目点の各々について、入力画像１の画像座標系における当該注目点の座標と、入力画像２の画像座標系における対応点の座標と
の差（視差）が算出される。

本実施の形態においては、入力画像１が主体的に用いられるので、対応する入力画像１の注目点の座標に関連付けて算出される視差が記憶される。なお、入力画像２を主体的に用いる場合には、対応する入力画像２の注目点の座標に関連付けて算出される視差が記憶されてもよい。距離情報としては、対応点探索処理によって探索されたそれぞれの注目点について、入力画像１または入力画像２上の座標および対応する視差が関連付けられる。この距離情報を入力画像１または入力画像２の画素配列に対応付けて配列することで、入力画像１または入力画像２の画像座標系に対応して各点の視差を表す視差画像が生成される。

なお、このような対応点探索処理および視差画像生成処理としては、特開２００８−２１６１２７号公報に記載された方法を採用してもよい。特開２００８−２１６１２７号公報には、サブピクセルの粒度で視差（距離情報）を算出するための方法が開示されているが、ピクセルの粒度で視差（距離情報）を算出するようにしてもよい。

なお、入力画像がＲＧＢなどのカラー画像である場合には、グレイ画像に変換した後に対応点探索処理を行なってもよい。

図６は、図１に示す撮像部２によって撮像されたあるフレームにおける入力画像の一例を示す図である。図６（Ａ）は、第１カメラ２１によって撮像された入力画像１を示し、図６（Ｂ）は、第２カメラ２２によって撮像された入力画像２を示す。図６に示す例は、レンズを横方向に所定間隔だけ離して２つ配置した構成において撮像したものである。

図７は、実施の形態１に従う画像処理方法に従って図６に示す一対の入力画像から生成された視差画像の一例を示す図である。この例では、図６（Ａ）に示す入力画像１を基準画像に設定し、図６（Ｂ）に示す入力画像２を参照画像に設定した場合の視差画像（距離画像）の一例を示す。

図７に示すように、入力画像１の各点の各点に関連付けられた視差（距離情報）の大きさは、対応する点の濃淡によって表現される。

上述した対応点探索処理および視差画像生成処理において、相関演算を行なうことで注目点およびその対応点を特定するので、所定の画素サイズを有する単位領域毎に対応点が探索される。図７には、４８画素×４８画素の単位領域毎に対応点探索が実行された一例を示す。すなわち、図７には、Ｘ軸（横方向）およびＹ軸（縦方向）のいずれも４８画素間隔で規定された単位領域毎に対応点が探索され、その探索された対応点との間の距離の算出結果を示す。この探索された対応点との間の距離を示す視差画像は、入力画像の画素サイズと一致するように生成される。

なお、入力画像の最外周にある４８画素分の領域（探索ウィンドウ）については、対応点が存在しないと誤って判断される可能性があるため、対応点探索処理を行なわず、最も近接した位置にある画素の距離（視差）データで代用した。すなわち、入力画像の最外周にある４８画素分の領域については、最外周から４８画素だけ内側に入った位置にある画素の値を用いた。

《ｃ３：平滑化処理》
次に、ステップＳ２の平滑化処理の詳細について説明する。上述したように、本実施の形態において、平滑化処理は、（１）各フレームの視差画像内での平滑化（空間平滑化）、（２）短時間範囲にわたる複数フレームの視差画像に対する平滑化（時間平滑化）、（
３）長時間範囲にわたる複数フレームの視差画像に対する平滑化を含む。以下、それぞれの平滑化の内容について説明する。

（ｃ３．１：各フレームの視差画像内での平滑化（空間平滑化））
まず、各フレームの視差画像に対して、空間平滑化が行なわれる。このような空間的な平滑化処理の具現化例として、所定サイズの二次元フィルタを用いる方法がある。

図８は、本発明の実施の形態１に従う空間的な平滑化処理に用いられる平均化フィルタの一例を示す図である。この空間的な平滑化処理では、例えば、図８に示すような１４５画素×１４５画素の平均化フィルタが適用される。平均化フィルタでは、注目画素を中心とする縦方向１４５画素および横方向１４５画素の範囲に含まれる視差画像の画素値（視差）の平均値が当該注目画素の新たな画素値として算出される。より具体的には、フィルタ内に含まれる画素が有する画素値の総和をフィルタの画素サイズで除算することで、注目画素の新たな画素値が算出される。

なお、フィルタ内に含まれるすべての画素の操作をとるのではなく、所定間隔毎（例えば、１２画素）に間引いて抽出した画素の平均値を用いてもよい。このような間引き処理を行なった場合であっても、全画素の平均値を用いた場合と同様の平滑化結果が得られる場合があり、そのような場合には、間引き処理を行なうことで処理量を低減できる。

さらに、空間平滑化については、注目画素に重みを付けた平均化フィルタやメディアンフィルタといった異なる手段を採用してもよい。平滑化によって得られた視差画像のレベルを適切化するため、平滑化に用いるフレーム数も含めて、フィルタサイズなどを調整してもよい。

なお、平滑化処理によって得られた視差画像の画素サイズは、入力画像と同一の画素サイズであることが好ましい。画素サイズを同一にすることで、後述するステレオ画像の生成処理において、各画素の距離を一対一で決定することができる。

（ｃ３．２：時間的な平滑化）
図９は、本発明の実施の形態１に従う時間的な平滑化処理を説明するための図である。図９を参照して、本実施の形態においては、２種類の時間範囲でそれぞれ視差画像を平滑化した結果を用いる。

より具体的には、ある処理対象フレームを含む長時間範囲（Ａフレーム分）について、その範囲に含まれる各フレームの視差画像における視差の最大値（ＭＡＸ）および視差の最小値（ＭＩＮ）が平滑化される。すなわち、Ａフレーム分の視差画像の各々について、視差の最大値および最小値がそれぞれ抽出され、続いて、抽出されたすべての最大値の間で平均値が算出されるとともに、抽出されたすべての最小値の間で平均値が算出される。この算出された視差の最大値および最小値の平均値は、処理対象フレームに関連付けて一時的に記憶される。この視差の最大値および最小値の平均値は、視差全体調整量の決定に用いられる。

また、ある処理対象フレームを含む短時間範囲（Ｂフレーム分）について、その範囲に含まれる複数フレームの視差画像の間で平滑化される。すなわち、視差画像を構成する各画素について、対応する画素位置についての複数の視差画像における視差量の平均値が算出される。言い換えれば、時間軸方向にも前後の所定フレーム分の各画素値を加算し平均を取ることで平滑化される。この短時間範囲での平滑化処理は、視差画像に生じるノイズなどを除去するために行われるものである。すなわち、局所的な視差の時間変化については、可能な限り視差画像に反映することが好ましいので、短時間範囲のフレーム数は、そ
のような意図に基づいて設定される。

平滑化処理の高速化のため、例えば、６フレームごとに間引いて平滑化してもよい。
図９に示す長時間範囲（Ａフレーム分）にわたる平滑化については、実験的には、１０秒以上であることが好ましい。例えば、１秒間に３０フレームが更新されるような場合には、長時間範囲としては、処理対象のフレームを含めて、計１０８１フレーム（３６秒）などに設定できる。また、長時間範囲（Ｂフレーム分）にわたる平滑化については、実験的には、１０秒以下であることが好ましい。より好ましくは、５秒以下である。例えば、１秒間に３０フレームが更新されるような場合には、短時間範囲としては、処理対象のフレームを含めて、計６１フレーム（２秒）などに設定できる。

なお、フレームレートが異なる場合には、時間範囲の長さ必要なフレーム数を算出すればよい。

このように、ステップＳ２の平滑化処理は、長時間範囲（Ａフレーム分）とは異なる短時間範囲（Ｂフレーム分）にわたって複数の視差画像を時間軸方向に平滑化する処理を含む。

図１０は、図７に示す視差画像に対して空間的および時間的な平滑化処理によって得られた平滑化された視差画像の一例を示す図である。図１０に示す平滑化された視差画像では、隣接する画素間で画素値（視差）が大きく変化しないようになっていることがわかる。

長時間範囲（Ａフレーム分）にわたる平滑化によって得られる結果の利用形態については、後述する。

さらに、時間平滑化についても、処理対象のフレームに重みを付けた平均化や、中央値での置き換えといった異なる手段を採用してもよい。平滑化によって得られた視差画像のレベルを適切化するため、平滑化に用いるフレーム数も含めて調整してもよい。

《ｃ４：視差全体調整量決定処理》
次に、ステップＳ３の視差全体調整量決定処理の詳細について説明する。視差全体調整量は、図９に示す長時間範囲（Ａフレーム分）にわたる平滑化の結果に基づいて決定される。すなわち、処理対象フレームを含む長時間範囲（Ａフレーム分）における、視差の最大値（ＭＡＸ）の平均値（ＡＶＥ＿ＭＡＸ）および視差の最小値（ＭＩＮ）の平均値（ＡＶＥ＿ＭＩＮ）が用いられる。より具体的には、平均値ＡＶＥ＿ＭＡＸおよびＡＶＥ＿ＭＩＮは、図９に示すように、長時間範囲（この例では、前後１０８１フレーム分）の最大値（ＭＡＸ）および最小値（ＭＩＮ）の総和を平均化（平滑化）することで得られる値である。

この視差全体調整量は、より快適な視差量で立体視表示できるように、視差を調整するものである。本実施の形態においては、視差全体調整量として、飛出し側の視差の大きさ、飛出し側の視差と奥行き側の視差との間の視差レンジ、および視差画像に生じる視差位置（あるいは、位置のオフセット）を含む。

図１１は、本発明の実施の形態１に従う視差全体調整量決定処理を説明するための図である。図１１を参照して、平滑化処理後の視差画像の画素値（視差量）が予め定められた視差レンジ（ターゲット視差レンジ）内に存在するように、スケーリングを行なう。すなわち、図１１に示す視差調整関数の傾きおよび視差オフセットが決定される。

視差レンジ（ターゲット視差レンジ）は、飛出し側の視差と奥行き側の視差との差に相当する。ターゲット視差レンジｒは、入力画像の横幅を基準として経験的に決定される。このとき、飛出し側の許容値および奥行き側の許容値についても経験的に決定される。

このターゲット視差レンジｒは、動的に決定してもよいし、予め設定された固定値を用いるようにしてもよい。例えば、例えば、１２８０画素×７６０画素の入力画像であれば、経験的に決定された値「２２」を用いて、以下のように算出される。

ターゲット視差レンジｒ＝画像横サイズ／２２＝１２８０／２２＝５８
そして、最も飛出している状態の視差と最も奥行き側にある状態の視差との差が、ターゲット視差レンジｒになるように、視差調整関数の傾きである視差増減係数ｃと、視差調整関数の切片である視差オフセットｏとが算出される。より具体的には、視差の最大値の平均値（ＡＶＥ＿ＭＡＸ）および視差の最小値の平均値（ＡＶＥ＿ＭＩＮ）を用いて、以下の式に従って、視差増減係数ｃおよび視差オフセットｏが算出される。

視差増減係数ｃ＝ターゲット視差レンジｒ／（平均値ＡＶＥ＿ＭＡＸ−平均値ＡＶＥ＿ＭＩＮ）
視差オフセットｏ＝（平均値ＡＶＥ＿ＭＡＸ＋平均値ＡＶＥ＿ＭＩＮ）／２
調整後視差（距離）量＝視差増減係数ｃ×（調整前視差（距離）量−視差オフセットｏ）
例えば、飛出し側の許容値が「２９．０」で、奥行き側の許容値が「−２９．０」であり、かつ、視差の最大値の平均値（ＡＶＥ＿ＭＡＸ）が「１２．７」であり、視差の最小値の平均値（ＡＶＥ＿ＭＩＮ）が「−１４．５６」であった場合には、視差増減係数ｃは「２．１３」と算出され、視差オフセットｏは「−０．９３」と算出される。

以上のように、ステップＳ３の視差全体調整量決定処理は、長時間範囲（Ａフレーム分）に存在する処理対象フレームの視差画像について、飛出し側の視差の大きさを、長時間範囲（Ａフレーム分）にわたって平滑化した結果に応じた値に補正する処理を含む。また、ステップＳ３の視差全体調整量決定処理は、長時間範囲（Ａフレーム分）に存在する視差画像について、飛出し側の視差と奥行き側の視差との間の視差レンジを、長時間範囲（Ａフレーム分）にわたって平滑化した結果に応じた値に制限する処理を含む。

そして、視差全体調整量決定処理は、視差画像に生じる視差の時間軸に沿った変化量である視差増減係数を決定する処理、および、視差画像に生じる視差位置のオフセットを決定する処理を含む。また、視差全体調整量決定処理では、長時間範囲（Ａフレーム分）にわたって平滑化した結果に応じて、視差の最小値を制限する。

《ｃ５：視差調整処理》
次に、ステップＳ４の視差調整処理の詳細について説明する。上述のように、視差全体調整量が決定されると、図１１に示される視差調整関数に従って、処理対象のフレームについての視差画像に対して視差調整処理が行われる。すなわち、視差画像を構成する各画素の画素値（調整前視差量）が視差調整関数に入力され、その出力値が調整後視差量として決定される。

図１２は、図１０に示す平滑化後の視差画像に対して視差調整された視差画像の一例を示す図である。

以上のように、ステップＳ４の視差調整処理は、長時間範囲（Ａフレーム分）にわたって平滑化した結果、および、短時間範囲（Ｂフレーム分）にわたる平滑化により得られた視差画像に基づいて、視差画像を補正する処理を含む。

《ｃ６：立体視画像生成処理》
次に、ステップＳ５の立体視画像生成処理の詳細について説明する。上述のように、平滑化処理および視差調整処理によって各フレームにおける視差画像が生成されると、立体視画像が生成される。

本実施の形態においては、一例として、入力画像１をそのまま左眼用画像として用いるとともに、入力画像１に視差画像に基づいて視差を与えることで右眼用画像を生成する。より具体的には、入力画像１の各画素を、視差画像の対応する画素の座標値（距離、視差）に応じて位置をずらすことで、右眼用画像が生成される。

被写体を立体視表示するためには、左眼用画像および右眼用画像との間で、対応する画素が指定された距離（視差）だけ離れていればよいので、入力画像から左眼用画像および右眼用画像をそれぞれ生成してもよい。

図１３は、本発明の実施の形態１に従う立体視画像生成処理を説明するための図である。図１３には、入力画像１を主体的に用いる場合の処理例を示す。図１４は、図１３に示す立体視画像生成処理の処理手順を示すフローチャートである。

図１３を参照して、立体視画像生成処理においては、視差画像に基づいて、主体的に用いられる入力画像から各フレームのステレオ画像（左眼用画像および右眼用画像）が生成される。

より具体的には、主体的に用いられる入力画像を構成するライン単位で画素の位置をずらすことで、他方の右眼用画像または左眼用画像が生成される。図１３には、入力画像１をそのまま左眼用画像として用いるとともに、入力画像１から右眼用画像を生成する例を示す。図１３には、左眼用画像として用いる入力画像１のあるラインについて、画素位置（座標）が「１０１」，「１０２」，・・・，「１１０」である１０個の画素が示されている。各画素位置に対応する距離（視差）がそれぞれ「４０」，「４０」，「４１」，「４１」，「４１」，「４２」，「４２」，「４１」，「４０」，「４０」であるとする。これらの情報を用いて、各画素について、ずらし後の画素位置（右眼用画像における座標）が算出される。より具体的には、（ずらし後の画素位置）＝（左眼用画像における座標）−（対応する距離（視差））に従って、１ライン分の各画素についてのずらし後の画素位置が算出される。

そして、それぞれの画素値と対応するずらし後の画素位置とに基づいて、右眼用画像の対応する１ライン分の画像が生成される。このとき、距離（視差）の値によっては、対応する画素が存在しない場合がある。図１３に示す例では、右眼用画像の画素位置「６６」および「６８」の画素の情報が存在しない。このような場合には、隣接する画素からの情報を用いて、不足する画素の画素値が補間される。

このような処理を入力画像に含まれるすべてのライン分だけ繰り返すことで、右眼用画像が生成される。

なお、この画素位置をずらす方向は、視差を生じさせるべき方向であり、具体的には、ユーザーに向けて表示した場合に、水平方向となる方向に相当する。

このような処理手順を示すと、図１４のようになる。すなわち、図１４を参照して、３Ｄ画像生成部３６（図１）は、入力画像１の１ライン分の画素について、それぞれのずらし後の画素位置を算出する（ステップＳ３６０１）。続いて、３Ｄ画像生成部３６は、ス
テップＳ１において算出されたずらし後の画素位置から１ライン分の画像（右眼用画像）を生成する（ステップＳ３６０２）。

その後、３Ｄ画像生成部３６（図１）は、入力画像に処理を行なっていないラインが存在するか否かを判断する（ステップＳ３６０３）。入力画像に処理を行なっていないラインが存在していれば（ステップＳ３６０３においてＹＥＳ）、次のラインが選択され、ステップＳ３６０１およびＳ１４０２の処理が繰り返される。

入力画像のすべてのラインについて処理が完了していれば（ステップＳ３６０３においてＮＯ）、３Ｄ画像生成部３６は、入力画像１（左眼用画像）とともに、生成した右眼用画像を出力する。そして、処理は終了する。

図１３および図１４には、入力画像１が出力画像として決定された場合、すなわち入力画像１が主体的に用いられる場合の処理について説明したが、入力画像２が出力画像として決定された場合、すなわち入力画像２が主体的に用いられる場合の処理についても同様である。但し、上述の対応点探索処理においては、基準画像と参照画像との関係が入れ替わる。

図１５は、図６に示す入力画像１および入力画像２を用いて生成されたステレオ画像の一例を示す図である。

以上のように、ステップＳ５の立体視画像生成処理は、フレーム毎の入力画像１と、当該フレーム毎の入力画像１にそれぞれ対応する補正後の視差画像に従って視差を与えることで生成される複数の画像とを用いて、立体視画像を生成する処理を含む。

《ｃ７：適用例》
上述した本実施の形態に従う画像処理方法の適用例について説明する。

図１６は、本発明の実施の形態１に従う画像処理方法の適用例を示す図である。図１７は、図１６に示す適用例に対応する各パラメータの時間的変化を示す図である。

図１６（Ａ）〜（Ｃ）の（１）入力画像に示すように、撮像部２を固定して、道路を走行する車両を所定期間にわたって撮像した場合を考える。このような状況では、遠景側にある建物と近景側を通過する車両との関係で、視差量は、比較的頻繁に変化する。すなわち、撮像部２の近くを物体（車両）が通過するときには、図１６（Ａ）〜（Ｃ）の（２）視差画像に現れるように、当該物体に対応する位置の視差量が相対的に大きくなることがわかる。

これに対して、図１６（Ａ）〜（Ｃ）の（３）視差調整後の視差画像に示すように、本実施の形態に従う平滑化処理および視差調整処理を行なうことで、画像全体としての視差の変化を緩やかに維持しつつ、車両の通過に相当する視差の変化の情報を反映した視差画像を生成できる。

図１７（Ａ）に示すように、長時間範囲にわたる平滑化を行なうことによって、入力画像から生成される視差画像における視差の最大値および最小値（太実線）は、比較的大きく変動しているが、視差調整後の視差画像における視差の最大値および最小値（細実線）の変動は、比較的緩やかに抑えられている。そして、視差調整後の視差画像における視差は、予め定められた視差レンジ（ターゲット視差レンジ）（太破線）内になるように調整される。

図１７（Ａ）の楕円破線の部分が図１６に示す車両が通過した期間を示す。このように、被写体の動きによって、視差画像に含まれる視差が急激に変化しているところであっても、長時間範囲にわたって平滑化されているため、この視差の急激な変化に合わせて、出力されるステレオ画像の視差が急激に増減することはない。そのため、立体視表示される動画の全体的な視差が急激に変化することによる違和感は生じない。このことは、図１７（Ｂ）に示す視差増減係数ｃおよび図１７（Ｃ）に示す視差オフセットｏの値が、大きくは変動していないことからもわかる。

一方で、図１６（Ｃ）に示すように、視差画像を短時間範囲にわたって平滑化することで、各フレームにおける視差情報（立体感の情報）は残ったままとなり、各フレームにおける適切な立体視を提供できる。

なお、撮像部２の向きを動かして、例えば近くの電柱がずっと撮像され続けられた場合などには、長時間範囲にわたって平滑化されるとしても、その変化が反映されるため、その飛出した視差（電柱）が徐々に奥側に抑えられることになる。

《ｃ８：変形例》
（ｃ８．１：視差増減係数の制限）
視差全体調整量を決定する視差増減係数ｃは、大きくしすぎたり、あるいは小さくしすぎたりしても、その視差調整の誤りを増長させてしまうなど副作用が出る可能性があるので、所定の範囲内に収まるように制限してもよい。例えば、視差増減係数ｃは、０．５から３．０の間になるよう制限されてもよい。

すなわち、視差全体調整量の調整処理（ステップＳ３）は、視差画像に生じる視差の時間軸に沿った変化量である視差増減係数を決定する処理を含んでもよい。

図１８は、視差増減係数ｃを制限した場合における図１７に示す各パラメータの時間的変化を示す図である。視差増減係数ｃを制限すると、図１８（Ｂ）に示すように、その制限値でクリップされることになり、図１８（Ａ）に示すように、視差レンジが不要に変化しすぎることを防止できる。

（ｃ８．２：時間方向の平滑化処理）
本実施の形態に係る時間方向の平滑化処理は、処理対象フレームを含む長時間範囲および短時間範囲のそれぞれに含まれるフレームを対象に行なわれる。

図９には、オフライン処理を想定して、処理対象フレームを中心として、過去および未来のフレームを用いて平滑化する例を示したが、リアルタイム処理の場合には、処理対象フレームから過去のフレームのみを用いて平滑化してもよい。

（ｃ８．３：クリップ処理）
長時間範囲にわたる平滑化処理においては、急激な視差の変化を抑制するため、クリップ処理を行なってもよい。すなわち、入力画像から生成された視差画像における視差の最大値および最小値の時間軸方向での変化が所定のしきい値を超える場合には、その変化を制限してもよい。例えば、処理対象フレームにおける視差の最大値および最小値と１フレーム前における視差の最大値および最小値とを比較し、または、処理対象フレームにおける視差の最大値および最小値と１フレーム前の平滑化後の視差の最大値および最小値とを比較し、所定値（例えば、３０）を超えて変化している部分は、急激な変化を抑えるため、所定値にクリップしてもよい。

すなわち、平滑化処理は、時間軸上のある位置に対応する視差画像の視差の最大値また
は最小値が、時間軸上の近接する位置に対応する視差画像の最大値または最小値に比較して、所定のしきい値を超えて変化している画素については、当該視差の最大値または最小値を当該所定のしきい値に制限する処理を含んでもよい。

（ｃ８．４：ノイズ除去処理）
短時間範囲にわたる平滑化処理においては、時間軸方向での変化量に基づくノイズ除去処理を行なってもよい。例えば、処理対象フレームの視差画像と１フレーム前の視差画像とを比較し、または、処理対象フレームの視差画像と１フレーム前の平滑化後の視差画像とを比較し、その差が所定値（例えば、３０）を超えている部分（例えば、図７の領域３００）は、ノイズであると判定してもよい。このようにノイズとして判定された部分については、比較対象の、１フレーム前の視差画像、または、１フレーム前の平滑化後の視差画像の対応する部分を用いて置換してもよい。

すなわち、平滑化処理は、時間軸上のある位置に対応する視差画像に含まれる画素が示す視差のうち、平滑化された視差画像に含まれる画素が示す視差に比較して、所定のしきい値を超えて変化している画素については、対応する視差の大きさを当該所定のしきい値に制限する処理を含んでもよい。

（ｃ８．５：視差の最大値のみの平滑化）
視差全体調整量について、視差の変化が大きく問題となりやすいのは飛出し側であるため、飛出し側の視差についてのみ平滑化してもよい。すなわち、長時間範囲にわたる平滑化処理においては、視差画像における視差の最大値（ＭＡＸ）のみを平滑化してもよい。この場合、視差の最小値（ＭＩＮ）は、無限遠を想定した一定値を用いることができる。

（ｃ８．６：その他）
上述の変形例に示した複数の処理を適宜組み合わせてもよい。

［Ｄ．実施の形態２］
上述の実施の形態１においては、一対の入力画像のうち、一方の入力画像から立体動画を生成する処理例（１枚モード）について説明した。これに対して、実施の形態２においては、一対の入力画像（ステレオ画像）に対して視差補正を行なうことで立体動画を生成する処理例（２枚モード）について説明する。

基本的な処理の内容は、実施の形態１と同様であるので、主として、実施の形態１とは異なる処理について説明する。すなわち、実施の形態２においては、入力画像として、ステレオカメラなどで被写体を撮像して得られる一対の画像（左眼用画像および右眼用画像）が入力される。そして、左眼用画像は、左眼用の視差画像に基づいて視差調整が行なわれることで、視差調整後の左眼用画像が出力され、右眼用画像は、右眼用の視差画像に基づいて視差調整が行なわれることで、視差調整後の右眼用画像が出力される。

図１９は、本発明の実施の形態２に従う全体処理手順を示すフローチャートである。図１９を参照して、各フレームの入力画像１（左眼用画像）および入力画像２（右眼用画像）が取得されると、入力画像１用の視差画像が各フレームについて生成される（ステップＳ１１）とともに、入力画像２用の視差画像が各フレームについて生成される（ステップＳ１２）。これらの処理は、基本的には、図５のステップＳ１と同様であるが、視差を算出する基準となる画像が互いに異なったものとなる。

続いて、生成されたそれぞれの視差画像に対して、平滑化処理が実行される（ステップＳ２１およびＳ２２）。この平滑化処理は、主として、画像処理部３の平滑化処理部３３（図１）によって実行される。

続いて、長時間範囲にわたる複数フレームの視差画像に対する平滑化の結果に基づいて、視差全体調整量の決定処理が実行される（ステップＳ３０）。この視差全体調整量の決定処理については、基本的には、実施の形態１と同様であるが、以下のような点が異なっている。

すなわち、視差全体調整量に含まれる、視差増減係数ｃおよび視差オフセットｏについては、左眼用画像の視差画像および右眼用画像の視差画像の２種類があるため、それぞれの視差の平均値を用いる。より具体的には、左眼用画像の視差画像における、視差の最大値の平均値（ＡＶＥ＿ＭＡＸ１）および視差の最小値の平均値（ＡＶＥ＿ＭＩＮ１）、ならびに、右眼用画像の視差画像における、視差の最大値の平均値（ＡＶＥ＿ＭＡＸ２）および視差の最小値の平均値（ＡＶＥ＿ＭＩＮ２）を用いて、以下の式に従って、視差増減係数ｃおよび視差オフセットｏが算出される。

視差増減係数ｃ＝ターゲット視差レンジｒ×２／（平均値ＡＶＥ＿ＭＡＸ１−平均値ＡＶＥ＿ＭＩＮ１＋平均値ＡＶＥ＿ＭＡＸ２−平均値ＡＶＥ＿ＭＩＮ２）
視差オフセットｏ＝（平均値ＡＶＥ＿ＭＡＸ１＋平均値ＡＶＥ＿ＭＩＮ１＋平均値ＡＶＥ＿ＭＡＸ２＋平均値ＡＶＥ＿ＭＩＮ２）／４
続いて、生成されたそれぞれの視差画像に対して、ステップＳ３０において決定された視差全体調整量に従って、視差を調整する処理が実行される（ステップＳ４１およびＳ４２）。このステップＳ４１およびＳ４２における処理についても、図５のステップＳ４と同様であるが、視差を調整する方向が互いに異なったものとなる。

すなわち、視差の調整については、実施の形態１とは異なり左眼用画像および右眼用画像において視差の存在する状態から、それぞれ変更すべき視差量（１−ｃ）分を左右均等に分配して視差を調整する。ここで、視差調整の加算量は、左眼用画像と右眼用画像とでは、動かす向きが互いに逆になるため、以下のように符合は逆になる。

左眼用画像の調整後視差（距離）量＝（（１−視差増減係数ｃ）×（左眼用画像の調整前視差（距離）量−視差オフセットｏ）＋視差オフセットｏ）／２
右眼用画像の調整後視差（距離）量＝−（（１−視差増減係数ｃ）×（右眼用画像の調整前視差（距離）量−視差オフセットｏ）＋視差オフセットｏ）／２
そして、調整後の左眼用画像および右眼用画像がステレオ画像としてモニターなどへ出力される。

以上のように、Ｓ４１およびＳ４２の視差調整処理は、フレーム毎の入力画像１および入力画像２を、対応する補正後の視差画像に従ってそれぞれ視差を調整することで得られる画像を用いて、立体視画像を生成する処理を含む。

図２０は、本発明の実施の形態２に従う画像処理方法の適用例を示す図である。図２１は、図２０に示す適用例において出力されるステレオ画像の一例を示す図である。

図２０（Ａ）および（Ｂ）に示すように、本実施の形態においても、長時間範囲にわたって平滑化されているため、局所的なフレームにおける視差の急激な変化があっても、出力されるステレオ画像の視差が急激に増減することはない。そのため、立体視表示される動画の全体的な視差が急激に変化することによる違和感は生じない。一方で、視差画像を短時間範囲にわたって平滑化することで、各フレームにおける視差情報（立体感の情報）は残ったままとなり、各フレームにおける適切な立体視を提供できる。

図２１（Ａ）は、入力画像１（左眼用画像）および入力画像２（右眼用画像）の例を示
し、図２１（Ｂ）には、対応して出力されるステレオ画像（視差調整後の左眼用画像および右眼用画像）の例を示す。上述したように、本実施の形態においては、入力画像１（左眼用画像）および入力画像２（右眼用画像）の別に、視差を調整する方向が互いに逆になる（破線矢印）。

実施の形態２のその他の構成や処理などについては、実施の形態１と同様であるので、詳細な説明は繰り返さない。また、実施の形態２に対しても、実施の形態１の変形例において説明した処理や構成を適宜採用できる。

［Ｅ．その他の形態］
本発明は、以下のような別の局面に従う実施の形態を含む。すなわち、本発明の別の局面に従う動画処理方法は、視差量を調整するための少なくとも一つの時間軸方向の平滑化処理を含む画像処理であって、少なくとも飛出し側の視差量を所定の視差以下にする。

好ましくは、視差レンジ（飛出し−奥行き）が所定の視差以下に調整される。
好ましくは、時間軸方向の平滑化処理は、２種類の時間範囲で平滑化を行ない、各画素に対応する視差量を決定する。

好ましくは、所定の時間範囲の方が、第２の時間範囲よりも長い。
好ましくは、立体動画は、片方の画像から生成する（１枚モード）、あるいは、両方の画像を視差調整して生成する（２枚モード）。

好ましくは、視差全体調整量の決定は、視差増減係数、視差位置の視差オフセットの少なくとも１つを決定することを含む。

好ましくは、視差増減係数は、所定範囲を超えないように制限する。
好ましくは、所定の時間範囲での平滑化では、視差の最小値を平滑化する。

好ましくは、所定の時間範囲および第２の時間範囲での平滑化では、時間的に近いフレームと比較し、しきい値を超えて変化している視差は、しきい値にクリップする。

好ましくは、所定の時間範囲および第２の時間範囲での平滑化では、時間的に平滑化したフレームと比較し、しきい値を超えて変化している視差は、しきい値にクリップする。

好ましくは、所定の時間範囲は、１０秒以上である。
好ましくは、第２の時間範囲は、５秒以下である。

［Ｆ．利点］
本発明の実施の形態によれば、立体動画を構成する各フレームの立体感を残しつつ、全体的な視差もうまく調整できる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１ 画像処理システム、２ 撮像部、３ 画像処理部、４ 画像出力部、２１，１２１
第１カメラ、２１ａ，２２ａ レンズ、２１ｂ，２２ｂ 撮像素子、２２，１２２ 第２カメラ、２３，２４ Ａ／Ｄ変換部、３１ 対応点探索部、３２ 視差画像生成部、３
３ 平滑化処理部、３４ 視差全体調整量決定部、３５ 視差調整部、３６ 画像生成部、１００ デジタルカメラ、１０２ ＣＰＵ、１０４ デジタル処理回路、１０６ 画像処理回路、１０８ 画像表示部、１１２ 記憶部、１１４ ズーム機構、２００ パーソナルコンピューター、２０２ パーソナルコンピューター本体、２０４ 画像処理プログラム、２０６ モニター、２０８ マウス、２１０ キーボード、２１２ 外部記憶装置。

Claims (16)

1. 時間軸に沿って順序付けされた複数の第１の入力画像と、時間軸に沿って順序付けされた複数の第２の入力画像とを取得する取得ステップを備え、前記複数の第１および第２の入力画像は、それぞれ異なる視点から被写体を撮像することで取得されたものであり、さらに、
   時間軸上の各位置に対応する第１および第２の入力画像から視差画像を生成する生成ステップと、
   第１の時間範囲にわたって複数の視差画像を時間軸方向に平滑化する平滑化ステップと、
   前記第１の時間範囲に存在する視差画像について、少なくとも飛出し側の視差の大きさを、前記第１の時間範囲にわたって平滑化した結果に応じた値に補正する補正ステップとを備える、画像処理方法。
2. 前記補正ステップは、前記第１の時間範囲に存在する視差画像について、飛出し側の視差と奥行き側の視差との間の視差レンジを、前記第１の時間範囲にわたって平滑化した結果に応じた値に制限するステップを含む、請求項１に記載の画像処理方法。
3. 前記平滑化ステップは、前記第１の時間範囲とは異なる第２の時間範囲にわたって複数の視差画像を時間軸方向に平滑化するステップを含み、
   前記補正ステップは、前記第１の時間範囲にわたって平滑化した結果、および、前記第２の時間範囲にわたる平滑化により得られた視差画像に基づいて、視差画像を補正するステップを含む、請求項１または２に記載の画像処理方法。
4. 前記第１の時間範囲は、前記第２の時間範囲よりも長い、請求項３に記載の画像処理方法。
5. 前記複数の第１の入力画像と、前記複数の第１の入力画像にそれぞれ対応する補正後の視差画像に従って視差を与えることで生成される複数の画像とを用いて、立体視画像を生成するステップをさらに備える、請求項１〜４のいずれか１項に記載の画像処理方法。
6. 前記複数の第１および第２の入力画像を、対応する補正後の視差画像に従ってそれぞれ視差を調整することで得られる画像を用いて、立体視画像を生成するステップをさらに備える、請求項１〜４のいずれか１項に記載の画像処理方法。
7. 前記補正ステップは、視差画像に生じる視差の時間軸に沿った変化量である視差増減係数を決定するステップを含む、請求項１〜６のいずれか１項に記載の画像処理方法。
8. 前記補正ステップは、前記視差増減係数を所定範囲に制限するステップを含む、請求項７に記載の画像処理方法。
9. 前記補正ステップは、視差画像に生じる視差位置のオフセットを決定するステップを含む、請求項１〜８のいずれか１項に記載の画像処理方法。
10. 前記補正ステップは、前記第１の時間範囲にわたって平滑化した結果に応じて、視差の最小値を制限するステップを含む、請求項１〜９のいずれか１項に記載の画像処理方法。
11. 前記平滑化ステップは、時間軸上のある位置に対応する視差画像の視差の最大値または最小値が、時間軸上の近接する位置に対応する視差画像の最大値または最小値に比較して、所定のしきい値を超えて変化している画素については、当該視差の最大値または最小値
    を当該所定のしきい値に制限するステップを含む、請求項１〜１０のいずれか１項に記載の画像処理方法。
12. 前記平滑化ステップは、時間軸上のある位置に対応する視差画像に含まれる画素が示す視差のうち、平滑化された視差画像に含まれる画素が示す視差に比較して、所定のしきい値を超えて変化している画素については、対応する視差の大きさを当該所定のしきい値に制限するステップを含む、請求項１〜１０のいずれか１項に記載の画像処理方法。
13. 前記第１の時間範囲は、１０秒以上である、請求項３〜１２のいずれか１項に記載の画像処理方法。
14. 前記第２の時間範囲は、１０秒以下である、請求項３〜１３のいずれか１項に記載の画像処理方法。
15. 時間軸に沿って順序付けされた複数の第１の入力画像と、時間軸に沿って順序付けされた複数の第２の入力画像とを取得する取得手段を備え、前記複数の第１および第２の入力画像は、それぞれ異なる視点から被写体を撮像することで取得されたものであり、さらに、
    時間軸上の各位置に対応する第１および第２の入力画像から視差画像を生成する生成手段と、
    第１の時間範囲にわたって複数の視差画像を時間軸方向に平滑化する平滑化手段と、
    前記第１の時間範囲に存在する視差画像について、少なくとも飛出し側の視差の大きさを、前記第１の時間範囲にわたって平滑化した結果に応じた値に補正する補正手段とを備える、画像処理システム。
16. 画像処理プログラムであって、コンピューターに、
    時間軸に沿って順序付けされた複数の第１の入力画像と、時間軸に沿って順序付けされた複数の第２の入力画像とを取得する取得ステップを実行させ、前記複数の第１および第２の入力画像は、それぞれ異なる視点から被写体を撮像することで取得されたものであり、さらに、
    時間軸上の各位置に対応する第１および第２の入力画像から視差画像を生成する生成ステップと、
    第１の時間範囲にわたって複数の視差画像を時間軸方向に平滑化する平滑化ステップと、
    前記第１の時間範囲に存在する視差画像について、少なくとも飛出し側の視差の大きさを、前記第１の時間範囲にわたって平滑化した結果に応じた値に補正する補正ステップとを実行させる、画像処理プログラム。