JP2011055521A - 立体画像表示装置および方法並びにプログラム - Google Patents

Abstract

【課題】効率よく立体画像の奥行き感を変更して、立体視を行うユーザの疲労感を低減する。
【解決手段】被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示するに際し、補間画像生成部３が、複数の画像から、複数の画像間の視差よりも小さい視差を有する少なくとも１組の補間画像を生成する。立体画像生成部４が、補間画像の組から少なくとも１つの補間立体画像を生成する。この際、前後する２つの立体画像の相関が小さいほど、より多くの前記補間画像の組を生成する。制御部８が、立体画像の表示の前および後の少なくとも一方において、立体画像の視差が漸次変更されるように補間立体画像を表示部７に順次表示する。
【選択図】図１

Description

本発明は、立体画像を表示する立体画像表示装置および方法並びに立体画像表示方法をコンピュータに実行させるためのプログラムに関するものである。

複数の画像を組み合わせて表示することにより、視差を利用して立体視できることが知られている。このような立体視ができる立体画像は、同一の被写体を異なる位置から複数のカメラを用いて撮影することにより複数の画像を取得し、複数の画像に含まれる被写体の視差を利用して複数の画像を合成することにより生成することができる。

具体的には、複数の画像の色を例えば赤と青のように異ならせて重ね合わせたり、複数の画像の偏光方向を異ならせて重ね合わせることにより、複数の画像を合成して立体画像を生成することができる。この場合、立体画像を表示して、赤青メガネや偏光メガネ等の画像分離メガネを用いて表示された立体画像を目の自動焦点機能により融合視することにより、画像を立体視することができる（アナグリフ方式、偏光フィルタ方式）。

また、偏光メガネ等を使用しなくても、パララックスバリア方式およびレンチキュラー方式のように、立体画像を立体視可能な３Ｄ液晶に表示して立体視することも可能である。この場合、複数の画像を垂直方向に短冊状に切り取って交互に配置することにより、立体画像が生成される。また、画像分離メガネを使用したり、光学素子を液晶に貼ることで左右の画像の光線方向を変えながら、左右の画像を交互に表示することにより、立体画像を表示することも可能である（時分割方式）。

このような立体画像を表示するに際し、ユーザが入力する視差量の変更情報に基づいて、立体画像の視差を調整することにより、奥行き感を変更して表示する手法が提案されている（特許文献１参照）。
特開２００４−２０７７７２号公報

ところで、立体画像を取得数ための撮影を行う場合、各撮影シーン毎に画角、ズーム倍率、焦点位置および複数のカメラの位置関係が異なることから、立体画像毎に奥行き感が異なるものとなる。しかしながら、立体視はユーザの頭の中において画像の奥行き感を実現するものであるため、複数の立体画像を順次切り替えて表示する場合、表示の切り替わり時に画像の奥行き感が突然切り替わることとなる。ここで、立体視は立体画像を目の自動焦点機能によって融合視することにより行っているため、画像が切り替わる毎に立体感が突然切り替わると、立体視を行うユーザに非常に疲労感が残るものとなる。

このため、特許文献１に記載された手法を用いて、立体画像の奥行き感を変更することが考えられる。しかしながら、特許文献１に記載された手法は、視差量の調整はユーザの入力により行われるため、とくに複数の立体画像を表示する際には、立体画像の奥行き感を変更する作業が非常に煩雑なものとなり、その結果、作業効率が悪いものとなっている。

本発明は、上記事情に鑑みなされたものであり、効率よく立体画像の奥行き感を変更して、立体視を行うユーザの疲労感を低減することを目的とする。

本発明による立体画像表示装置は、被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示する立体画像表示装置において、
前記複数の画像から、該複数の画像間の視差よりも小さい視差を有する少なくとも１組の補間画像を生成する補間画像生成手段と、
前記補間画像の組から少なくとも１つの補間立体画像を生成する立体画像生成手段と、
前記立体画像の表示の前および後の少なくとも一方において、前記補間立体画像を順次表示する表示制御手段とを備えたことを特徴とするものである。

これにより、立体画像を表示する際には、その表示の前および後に徐々に奥行き感が徐々に変更されるように立体画像が表示されるため、ユーザに負担をかけることなく立体画像の奥行き感を調整して、立体視を行うユーザの疲労感を軽減することができる。

「補間画像の組」は、複数の画像のそれぞれに対応して生成される補間画像を含むものであり、対応する補間画像は、複数の画像間の視差よりも小さい視差を有するものとなっている。とくに複数の補間画像の組が生成される場合には、各組における複数の補間画像間の視差は、漸次複数の画像間の視差よりも小さくなるように生成される。

なお、本発明による立体画像表示装置においては、前記表示制御手段を、前記立体画像の表示指示があると、該立体画像の表示の前に、奥行き感が前記立体画像の奥行き感となるまで漸次増加するように前記補間立体画像を順次表示する手段としてもよい。

また、本発明による立体画像表示装置においては、複数の立体画像を順次表示するに際し、前記表示制御手段を、前記立体画像の表示指示があると、該指示された立体画像の前に表示されていた前の立体画像の表示の後に、奥行き感が該前の立体画像の奥行き感から漸次減少するように前記前の立体画像についての補間立体画像を順次表示する手段としてもよい。

また、本発明による立体画像表示装置においては、複数の立体画像を順次表示するに際し、前記補間画像生成手段を、前後する２つの立体画像の相関が小さいほど、より多くの前記補間画像の組を生成する手段としてもよい。

これにより、絵柄が異なる立体画像が切り替えられて表示される際の急激な奥行き感の変化を防止でき、その結果、立体視を行うユーザの疲労感をより軽減することができる。

また、本発明による立体画像表示装置においては、複数の立体画像を順次表示するに際し、前記補間画像生成手段を、前後する２つの立体画像の相関が所定のしきい値以上の場合には、前記補間画像の生成を停止する手段とし、
前記表示制御手段を、前記補間画像の生成が停止された立体画像の前および後の少なくとも一方においては、前記補間立体画像の表示を停止する手段としてもよい。

これにより、絵柄が似た立体画像が切り替えられて表示される際の、不自然な奥行き感の変更を防止することができる。

また、本発明による立体画像表示装置においては、複数の立体画像を順次表示するに際し、前記補間画像生成手段を、複数の補間画像の組を生成する手段とし、
前記立体画像生成手段を、複数の前記補間立体画像を生成する手段とし、
前記表示制御手段を、次の立体画像の表示の切り替えの指示があってから該次の立体画像が表示されるまでの間において、表示時間が漸次短くなるように前記複数の補間立体画像を順次表示する手段としてもよい。

これにより、立体画像の表示の切り替え直後は長い時間補間立体画像が表示され、徐々に補間立体画像の表示時間が短くなるため、急激な奥行き感の変化を防止でき、その結果、立体視を行うユーザの疲労感をより確実に軽減することができる。

また、本発明による立体画像表示装置においては、前記表示制御手段を、前後する２つの立体画像の相関が小さいほど、前記各補間立体画像の表示時間を長くする手段としてもよい。

これにより、絵柄が異なる立体画像が切り替えられて表示される際の急激な奥行き感の変化をより確実に防止でき、その結果、立体視を行うユーザの疲労感をより軽減することができる。

また、本発明による立体画像表示装置においては、前記表示制御手段を、前記立体画像の表示停止指示がなされた場合、奥行き感が該立体画像の奥行き感から漸次減少するように前記補間立体画像を順次表示した後に、前記立体画像の表示を停止する手段としてもよい。

これにより、立体視を急激に中断することによるユーザの疲労感を防止することができる。

本発明による立体画像表示方法は、被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な立体画像を表示する立体画像表示方法において、
前記複数の画像から、該複数の画像間の視差よりも小さい視差を有する少なくとも１組の補間画像を生成し、
前記補間画像の組から少なくとも１つの補間立体画像を生成し、
前記立体画像の表示の前および後の少なくとも一方において、前記補間立体画像を順次表示することを特徴とするものである。

なお、本発明による立体画像表示方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明の第１の実施形態による立体画像表示装置の構成を示す概略ブロック図 画像ファイルに格納されている一対の画像を示す図 補間画像の生成を説明するための図 第１の実施形態において行われる処理を示すフローチャート（その１） 第１の実施形態において行われる処理を示すフローチャート（その２） 補間数決定処理のフローチャート 補間数決定テーブルを示す図 表示インターバル決定処理のフローチャート 表示インターバル決定テーブルを示す図 終了処理のフローチャート 第２の実施形態において行われる処理を示すフローチャート（その１） 第２の実施形態において行われる処理を示すフローチャート（その２）

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による立体画像表示装置の構成を示す概略ブロック図である。図１に示すように第１の実施形態による立体画像表示装置１は、画像入力部２、補間画像生成部３、立体画像生成部４、フレームバッファ５、各種入力を行うキーボードおよびマウス等からなる入力部６、各種表示を行う液晶モニタ等の表示部７並びに制御部８を備え、各部がバス９により接続されている。

画像入力部２は、立体画像表示装置１において立体画像として表示するための一対の画像が格納された立体画像生成用の画像ファイルを装置１に入力するものであり、立体画像生成用の画像ファイルが記録されたメディアから画像ファイルを読み出すメディアドライブ、ネットワーク経由で画像ファイルの入力を受け付ける有線または無線のインターフェース等、画像ファイルを入力するための公知の種々の手段を用いることができる。本実施形態においては、画像入力部２をメディア２Ａから画像ファイルを読み出すものとする。なお、画像ファイルに格納された画像はＪＰＥＧ等の圧縮方式により圧縮されているため、画像入力部２は、入力された画像を伸長して、その後の処理に供するものである。

ここで、一対の画像とは、被写体を異なる２つの撮影位置において撮影を行うことにより取得されるものであり、図２に示すように、２つの画像Ｌ１，Ｒ１に含まれる被写体が撮影位置の違いに応じた視差を有するものとなっている。なお、一対の画像は２つの撮影位置すなわち左側および右側の撮影位置において取得されるものであるため、立体画像生成時に右側に表示される画像を右画像、左側に表示される画像を左画像と称するものとする。また、本実施形態においては、一対の画像から立体画像を生成するものであるが、３以上の異なる撮影位置において撮影を行うことにより取得した３以上の画像から立体画像を生成するものであってもよい。

補間画像生成部３は、画像ファイルに含まれる右画像および左画像のそれぞれについて、少なくとも１つの補間画像の組、すなわち、少なくとも１つの補間右画像および補間左画像からなる補間画像の組を生成する。図３は補間画像の生成を説明するための図である。図３に示すように、補間画像生成部３は、画像ファイルに含まれる右画像ＩＭ−Ｒからｍ個（ここでは２個）の補間右画像ＩＰ−Ｒｍ（ｍ＝１〜ｋ、ｋは補間数）を生成し、左画像ＩＰ−Ｌから２つの補間左画像ＩＰ−Ｌｍを生成する。したがって、ｍ個の補間画像の組が生成される。なお、補間右画像および補間左画像においては、付与されている数字が大きくなるほど、画像間の視差が小さくなるものである。また、補間数ｋについては後述する。

なお、補間画像生成部３は、右画像ＩＭ−Ｒおよび左画像ＩＭ−Ｌに含まれる対応する画素間の視差が徐々に小さくなるように、右画像ＩＭ−Ｒおよび左画像ＩＭ−Ｌをモーフィング等によって加工することにより、補間右画像ＩＰ−Ｒｍおよび補間左画像ＩＰ−Ｌｍを生成する。具体的には、左右の画像において互いに対応する対応点を検出し、対応点を直線または曲線で結び、直線または曲線を分割して疑似対応点を算出し、左右の画像を疑似対応点に対応させるように変形することにより、補間右画像ＩＰ−Ｒｍおよび補間左画像ＩＰ−Ｌｍを生成する。

立体画像生成部４は、右画像ＩＭ−Ｒおよび左画像ＩＭ−Ｌ、並びに補間右画像ＩＰ−Ｒｍおよび補間左画像ＩＰ−Ｌｍを、表示部７において立体視が可能なように立体表示変換し、立体画像Ｄ０および２つの補間立体画像Ｈｍをそれぞれ生成する。なお、立体表示変換は、立体視の仕方および表示部７が３Ｄ液晶であるか否かによるが、ペアとなる画像同士（すなわち元の画像同士およびｍが同一の補間画像同士）の色を例えば赤と青のように異ならせて重ね合わせたり（アナグリフ方式）、ペアとなる画像および補間画像同士の偏光方向を異ならせて重ね合わせたり（偏光フィルタ方式）、ペアとなる画像および補間画像を１ライン毎に交互に組み合わせることにより行うことができる（パララックスバリア方式およびレンチキュラー方式）。

フレームバッファ５は、後述するように立体画像を切り替えて表示する際に、立体画像および補間立体画像を読み出して一時的に保管しておく記憶部である。

制御部８は、ＣＰＵ８Ａ、各種処理を行う際の作業領域となるＲＡＭ８Ｂ、並びに装置１の動作プログラム、各種定数および後述する各種テーブル等を記憶したＲＯＭ８Ｃを備えてなり、装置１の各部の動作を制御する。とくに、複数の立体画像をスライドショーのように切り替えて表示する処理、補間画像生成部３が生成する補間画像の数を決定する処理、および補間立体画像を表示部７に表示するインターバルを決定する処理を行うよう、装置１の各部の動作を制御する。

次いで、第１の実施形態において行われる処理について説明する。図４および図５は第１の実施形態において行われる処理を示すフローチャートである。なお、複数の立体画像を表示する場合には、ユーザが入力部６から指示を行うことにより表示する立体画像のコマを切り替えるようにしてもよいが、制御部８が切り替え指示を行ことにより、スライドショーのように順次立体画像のコマを切り替えて表示するようにしてもよいものである。第１の実施形態および以降の実施形態においては、スライドショーのように立体画像のコマを切り替えて表示する場合の処理について説明する。また、立体画像の表示順は、ファイル名順とするがこれに限定されるものではない。

立体画像の表示の指示が入力部６から行われることにより制御部８が処理を開始し、まず表示の対象を最初の立体画像のコマ（以下単にコマとする）に決定し（ｎ＝１、ステップＳＴ１）、画像入力部２が表示するコマの画像ファイルをメディア２Ａから読み出す（画像ファイル読み出し、ステップＳＴ２）。次いで、制御部８が、補間立体画像を生成する数（補間数）ｋを決定する処理を行う（ステップＳＴ３）。

図６は補間数決定処理のフローチャートである。まず制御部８は、これから表示するコマｎと１つ前に表示されたコマｎ−１との相関量Ｃを算出する（ステップＳＴ２１）。なお、相関量Ｃとしては、コマｎとコマｎ−１との全画素または主要被写体を含む特定領域の画素の差分絶対値和および差分２乗和の逆数等を用いることができる。また、コマｎおよびコマｎ−１のヒストグラムを算出し、コマｎおよびコマｎ−１において共通するヒストグラムの面積を相関量Ｃとして用いてもよい。ここで、メディア２Ａから読み出される画像ファイルには右画像および左画像が含まれるため、コマｎとコマｎ−１との相関量Ｃは、それぞれの画像ファイルに含まれる右画像および左画像の少なくとも一方から算出するものとする。

なお、これから表示するコマが最初のコマの場合には、１つ前に表示されたコマｎ−１は存在しない。このため、これから表示するコマｎが最初のコマの場合には、あらかじめ定められた明るさを有するグレー画像とコマｎとの相関量Ｃを算出するものとする。

次いで、制御部８は補間数決定テーブルを参照して、相関量Ｃから補関数ｋを決定し（ステップＳＴ２２）、処理を終了する。

図７は補間数決定テーブルを示す図である。図７に示すように補間数決定テーブルＬＵＴ１は、横軸に相関量Ｃ、縦軸に補間数ｋが規定されてなり、相関量Ｃが大きい、すなわちこれから表示するコマｎと前のコマｎ−１とが似ているほどコマｎについての補間立体画像の表示数が少なくなり、コマｎと前のコマｎ−１とが似ていないほどコマｎについての補間立体画像の表示数が多くなるものである。なお、相関量Ｃがしきい値Ｃ０以上となると補間数ｋは０となるため、補間画像が生成されないこととなる。この場合、補間立体画像は表示されることなく、前のコマｎ−１の立体画像に続いて、コマｎの立体画像が表示されることとなる。

図４に戻り、ステップＳＴ３に続いて、制御部８は変数ｍを補間数ｋに設定する（ステップＳＴ４）、そして、補間画像生成部３が、コマｎについての右画像および左画像から、補間右画像ＩＰ−Ｒｍおよび補間左画像ＩＰ−Ｌｍを生成し（ステップＳＴ５）、立体画像生成部４が、補間右画像ＩＰ−Ｒｍおよび補間左画像ＩＰ−Ｌｍから補間立体画像Ｈｍを生成する（ステップＳＴ６）。そして制御部８が、補間立体画像Ｈｍを表示部７に表示する（ステップＳＴ７）。次いで、制御部８が補間立体画像Ｈｍを表示部７に表示する時間である表示インターバルΔｔを決定する処理を行う（ステップＳＴ８）。

図８は表示インターバル決定処理のフローチャートである。制御部８は、まずこれから表示するコマｎと１つ前に表示されたコマｎ−１との相関量Ｃを算出する（ステップＳＴ３１）。なお、相関量Ｃの算出方法は、補関数ｋの決定時と同様であるため、補関数ｋの決定時に算出した相関量Ｃを用いてもよい。次いで制御部８は、相関量Ｃをその大きさに応じて３つのランク（大、中、小）にランク分けする（ステップＳＴ３２）。そして、制御部８は、相関量Ｃのランクに応じた表示インターバル決定テーブルを参照して、相関量Ｃのランクに応じた表示インターバルΔｔを決定し（ステップＳＴ３３）、処理を終了する。

図９は表示インターバル決定テーブルを示す図である。なお、本実施形態においては、表示インターバルテーブルは、相関量Ｃのランクに応じて３つ用意されている。図９に示すように表示インターバル決定テーブルＬＵＴ２，ＬＵＴ３，ＬＵＴ４は、横軸に切り替えの経過時間ｔが、縦軸に表示インターバルΔｔが規定されてなり、切り替えの経過時間ｔが浅いほど、すなわち切り替え直後ほど表示インターバルΔｔが長くなり、切り替えの時間ｔが経過するにつれて、表示インターバルΔｔが短くなるように表示インターバルΔｔを決定するものである。また、表示インターバル決定テーブルＬＵＴ２，ＬＵＴ３，ＬＵＴ４は、それぞれ相関量Ｃの大、中、小に対応するものであり、相関量Ｃが小さいほど、表示インターバルΔｔが大きくなるように設定されている。

このため、切り替えの経過時間ｔが浅いときには、補間立体画像の表示インターバルΔｔは長く、切り替えの時間が経過するほど、補間立体画像の表示インターバルΔｔが短くなることから、切り替え時間が経過するにつれて、補間立体画像の表示時間が徐々に短くなっていく。また、これから表示するコマｎと前のコマｎ−１とが似ているほど表示インターバルΔｔは短くなるため、これから表示するコマｎの補間立体画像はより速く切り替わることとなる。また、コマｎと前のコマｎ−１とが似ていないほど表示インターバルΔｔは長くなるため、これから表示するコマｎの補間立体画像はよりゆっくりと切り替わることとなる。

図４に戻り、ステップＳＴ８に続いて、制御部８は、算出された表示インターバルΔｔの時間、処理を待機する（ステップＳＴ９）。この間、表示部７には補間立体画像Ｈｍが表示され続ける。次いで制御部８は、ｍの値をｍ−１に変更し（ステップＳＴ１０）、ｍが０以下となったか否かを判定する（ステップＳＴ１１）。ステップＳＴ１１が否定されるとステップＳＴ５に戻り、ステップＳＴ５以降の処理を繰り返す。これにより、順次視差が大きくなるように補間立体画像Ｈｍが表示部７に表示される。

一方、ステップＳＴ１１が肯定されると、立体画像生成部４が右画像ＩＭ−Ｒおよび左画像ＩＭ−Ｌから立体画像Ｄ０を生成し（ステップＳＴ１２）、制御部８が立体画像Ｄ０を表示部７に表示する（ステップＳＴ１３）。なお、この際の表示インターバルΔｔはあらかじめ定められた値を用いるものとする。

続いて、制御部８は、入力部６から表示終了指示がなされたか否かを判定し（ステップＳＴ１４）、ステップＳＴ１４が否定されると、メディア２Ａに記録されているすべての画像ファイルについて立体画像を表示したか否かを判定する（ステップＳＴ１５）。ステップＳＴ１５が否定されると、表示の対象を次のコマに変更し（ｎ＝ｎ＋１、ステップＳＴ１６）、ステップＳＴ２に戻り、ステップＳＴ２以降の処理を繰り返す。ステップＳＴ１４およびステップＳＴ１５が肯定されると、終了処理を行い（ステップＳＴ１７）、立体画像の表示の処理を終了する。

図１０は終了処理のフローチャートである。まず、制御部８は補間数ｋの決定処理を行う（ステップＳＴ４１）。なお、補間数の決定処理は図６に示す処理と同様であるが、相関量Ｃの算出は、現在表示中のコマｎとあらかじめ定められた明るさを有するグレー画像との間で行うものとする。次いで、制御部８は変数ｍを１に設定する（ステップＳＴ４２）、そして、補間画像生成部３が、コマｎについての右画像および左画像から、補間右画像ＩＰ−Ｒｍおよび補間左画像ＩＰ−Ｌｍを生成し（ステップＳＴ４３）、立体画像生成部４が、補間右画像ＩＰ−Ｒｍおよび補間左画像ＩＰ−Ｌｍから補間立体画像Ｈｍを生成する（ステップＳＴ４４）。そして制御部８が補間立体画像Ｈｍを表示部７に表示する（ステップＳＴ４５）。次いで、制御部８が表示インターバルΔｔを決定する処理を行う（ステップＳＴ４６）。なお、表示インターバルΔｔを決定する処理は図８に示す処理と同様であるが、相関量Ｃの算出は、現在表示中のコマｎとあらかじめ定められた明るさを有するグレー画像との間で行うものとする。

次いで、制御部８は、算出された表示インターバルΔｔの時間、処理を待機する（ステップＳＴ４７）。この間、表示部７には補間立体画像Ｈｍが表示され続ける。次いで制御部８は、ｍの値をｍ＋１に変更し（ステップＳＴ４８）、ｍがｋ以上となったか否かを判定する（ステップＳＴ４９）。ステップＳＴ４９が否定されるとステップＳＴ４３に戻り、ステップＳＴ４３以降の処理を繰り返す。これにより、奥行き感が徐々に小さくなるように補間立体画像Ｈｍが表示部７に表示される。一方、ステップＳＴ４９が肯定されると、処理を終了する。

これにより、最後に表示された立体画像については、奥行き感が徐々に小さくなった後に、表示が終了することとなる。

このように、第１の実施形態においては、立体画像を順次切り替えて表示する際に、次のコマの表示の指示がなされると、表示指示がなされたコマについての奥行き感が徐々に大きくなるように補間立体画像を順次表示するようにしたため、ユーザに負担をかけることなく立体画像の奥行き感を調整して、立体視を行うユーザの疲労感を軽減することができる。

また、前後する２つのコマの相関量Ｃが小さいほど、より多くの補間画像の組を生成するようにしたため、絵柄が似ていない画像ほど、立体感がゆっくりと切り替わることとなる。したがって、絵柄が似ていない立体画像が切り替えられて表示される際の急激な奥行き感の変化を防止でき、その結果、立体視を行うユーザの疲労感をより軽減することができる。

また、前後する２つのコマの相関量Ｃがしきい値Ｃ０以上の場合には、補間画像および補間立体画像を生成しないようにしたため、絵柄が似た立体画像の間は、補間立体画像が表示されることなく、続けて次の立体画像が表示されることとなる。したがって、絵柄が似た立体画像が切り替えられて表示される際の、不自然な奥行き感の変更を防止することができる。

また、次の立体画像の表示の切り替えの指示があってから次の立体画像が表示されるまでの間において、表示インターバルΔｔが徐々に短くなるように複数の補間立体画像を順次表示するようにしたため、立体画像の表示の切り替え直後は長い時間補間立体画像が表示され、徐々に補間立体画像の表示時間が短くなる。したがって、急激な奥行き感の変化を防止でき、その結果、立体視を行うユーザの疲労感をより確実に軽減することができる。

とくに、前後する２つのコマの相関量Ｃが小さいほど、各補間立体画像の表示インターバルΔｔを長くするようにしたため、絵柄が異なる立体画像が切り替えられて表示される際の急激な奥行き感の変化をより防止でき、その結果、立体視を行うユーザの疲労感をより確実に軽減することができる。

また、立体画像の表示を停止する際には、最後に表示された立体画像の奥行き感が徐々に小さくなるように補間立体画像を順次表示した後に、立体画像の表示を停止するようにしたため、立体視を急激に中断することによるユーザの疲労感を防止することができる。

次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態による立体画像表示装置は、第１の実施形態による立体画像表示装置と同一の構成を有し、行われる処理のみが異なるため、ここでは構成についての詳細な説明は省略する。上記第１の実施形態においては、立体画像の切り替わり時に次に表示する立体画像の奥行き感を徐々に大きくしているが、第２の実施形態においては、立体画像の表示の切り替え時に、前に表示された立体画像の奥行き感を徐々に小さくしてから次の立体画像を表示するようにしたものである。

次いで、第２の実施形態において行われる処理について説明する。図１１および図１２は第２の実施形態において行われる処理を示すフローチャートである。

立体画像の表示の指示が入力部６から行われることにより制御部８が処理を開始し、まず表示の対象を最初の立体画像のコマ（以下単にコマとする）に決定し（ｎ＝１、ステップＳＴ５１）、画像入力部２が表示するコマの画像ファイルをメディア２Ａから読み出す（画像ファイル読み出し、ステップＳＴ５２）。次いで、立体画像生成部４が、読み出した画像ファイルに格納された右画像ＩＭ−Ｒおよび左画像ＩＭ−Ｌから立体画像Ｄ０を生成し（ステップＳＴ５３）、制御部８が立体画像Ｄ０を表示部７に表示する（ステップＳＴ５４）。なお、この際の表示インターバルΔｔはあらかじめ定められた値を用いるものとする。

次いで制御部８は、表示の対象を次の立体画像のコマ（以下単にコマとする）に変更し（ｎ＝ｎ＋１、ステップＳＴ５５）、画像入力部２が表示するコマの画像ファイルをメディア２Ａから読み出す（画像読み出し、ステップＳＴ５６）。次いで制御部８が、補間立体画像を生成する数（補間数）ｋを決定する処理を行う（ステップＳＴ５７）。なお、補間数の決定処理は図６に示す処理と同様であるが、現在表示中のコマｎと表示指示がなされた次のコマｎ＋１との相関量Ｃを算出するものとする。

次いで制御部８は変数ｍを１に設定する（ステップＳＴ５８）、そして、補間画像生成部３が、コマｎについての右画像および左画像から、補間右画像ＩＰ−Ｒｍおよび補間左画像ＩＰ−Ｌｍを生成し（ステップＳＴ５９）、立体画像生成部４が、補間右画像ＩＰ−Ｒｍおよび補間左画像ＩＰ−Ｌｍから補間立体画像Ｈｍを生成する（ステップＳＴ６０）。そして制御部８が、補間立体画像Ｈｍを表示部７に表示する（ステップＳ６１）。次いで、制御部８が表示インターバルΔｔを決定する処理を行う（ステップＳＴ６２）。なお、表示インターバルΔｔを決定する処理は図８に示す処理と同様であるが、相関量Ｃの算出は、現在表示中のコマｎと表示指示がなされた次のコマｎ＋１との間で行うものとする。

次いで制御部８は、算出された表示インターバルΔｔの時間、処理を待機する（ステップＳＴ６３）。この間、表示部７には補間立体画像Ｈｍが表示さ
れ続ける。次いで制御部８は、ｍの値をｍ＋１に変更し（ステップＳＴ６４）、ｍがｋ以上となったか否かを判定する（ステップＳＴ６５）。ステップＳＴ６５が否定されるとステップＳＴ５９に戻り、ステップＳＴ５９以降の処理を繰り返す。これにより、奥行き感が徐々に小さくなるように表示中の立体画像についての補間立体画像Ｈｍが表示部７に表示される。

一方、ステップＳＴ６５が肯定されると、立体画像生成部４が次のコマについての右画像ＩＭ−Ｒおよび左画像ＩＭ−Ｌから立体画像Ｄ０を生成し（ステップＳＴ６６）、制御部８が、立体画像Ｄ０を表示部７に表示する（ステップＳＴ６７）。なお、この際の表示インターバルΔｔはあらかじめ定められた値を用いるものとする。

続いて、制御部８は、入力部６から表示終了指示がなされたか否かを判定し（ステップＳＴ６８）、ステップＳＴ６８が否定されると、メディア２Ａに記録されているすべての画像ファイルについて立体画像を表示したか否かを判定する（ステップＳＴ６９）。ステップＳＴ６９が否定されると、ステップＳＴ５５に戻り、ステップＳＴ５５以降の処理を繰り返す。ステップＳＴ６８およびステップＳＴ６９が肯定されると、第１の実施形態と同様に終了処理を行い（ステップＳＴ７０）、立体画像の表示の処理を終了する。

このように、第２の実施形態においては、立体画像を順次切り替えて表示する際に、次のコマの表示の指示がなされると、現在表示されているコマについての奥行き感が徐々に小さくなるように補間立体画像を順次表示するようにしたため、ユーザに負担をかけることなく立体画像の奥行き感を調整して、立体視を行うユーザの疲労感を軽減することができる。

なお、上記第１の実施形態においては、表示指示があったコマについての立体画像の表示前に補間立体画像を奥行き感が徐々に大きくなるように表示し、第２の実施形態においては、現在表示中のコマについての補間立体画像を奥行き感が徐々に小さくなるように表示しているが、上記第１および第２の処理を組み合わせた処理を行うようにしてもよい。すなわち、次のコマの表示指示があると、現在表示中のコマについて奥行き感が徐々に小さくなるように現在表示中のコマについての補間立体画像を表示し、続いて、次のコマについて奥行き感が徐々に大きくなるように補間立体画像を表示した後に、次のコマについての立体画像を表示するようにしてもよい。

また、上記第１および第２の実施形態においては、補間数ｋを決定するために図７に示す補間数決定テーブルＬＵＴ１を用いているが、あらかじめ定められた演算式により補間数ｋを決定するようにしてもよい。また、補間数決定処理を行うことなく、あらかじめ定められた補間数ｋを用いるようにしてもよい。

また、上記第１および第２の実施形態においては、表示インターバルΔｔを決定するために図９に示す表示インターバル決定テーブルＬＵＴ２、ＬＵＴ３，ＬＵＴ４を用いているが、あらかじめ定められた演算式により表示インターバルΔｔを決定するようにしてもよい。また、表示インターバル決定処理を行うことなく、あらかじめ定められた表示インターバルΔｔを用いるようにしてもよい。

また、上記第１および第２の実施形態においては、表示インターバル決定処理において、相関量Ｃに応じたテーブルを用意しているが、相関量Ｃの大きさに拘わらず１つのテーブルを用いるようにしてもよい。

また、上記第１および第２の実施形態においては、立体画像の表示終了時に終了処理を行っているが、終了処理を行うことなく、立体画像の表示を直ちに停止するようにしてもよい。

また、上記第１および第２の実施形態においては、立体画像のコマの切り替え指示がある毎に補間右画像および補間左画像を生成しているが、あらかじめ連続するコマ間の補間右画像および補間左画像、さらには補間立体画像を生成して、フレームバッファ５に記憶しておくようにしてもよい。これにより、コマの切り替え時に補間立体画像の生成に要する時間を短縮することができるため、補間立体画像および立体画像の表示を迅速に行うことができる。

以上、本発明の実施形態に係る装置１について説明したが、コンピュータを、上記の補間画像生成部３、立体画像生成部４および制御部８に対応する手段として機能させ、図４，５，６，８，１０〜１２に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

１ 立体画像表示装置
２ 画像入力部
３ 補間画像生成部
４ 立体画像生成部
５ フレームバッファ
６ 入力部
７ 表示部
８ 制御部

Claims (8)

1. 被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な複数の立体画像を順次表示する立体画像表示装置において、
   前記複数の画像から、該複数の画像間の視差よりも小さい視差を有する少なくとも１組の補間画像を生成する補間画像生成手段と、
   前記補間画像の組から少なくとも１つの補間立体画像を生成する立体画像生成手段と、
   前記立体画像の表示の前および後の少なくとも一方において、前記補間立体画像を順次表示する表示制御手段とを備え、
   前記補間画像生成手段は、前後する２つの立体画像の相関が小さいほど、より多くの前記補間画像の組を生成する手段であることを特徴とする立体画像表示装置。
2. 前記表示制御手段は、前記立体画像の表示指示があると、該立体画像の表示の前に、奥行き感が前記立体画像の奥行き感となるまで漸次増加するように前記補間立体画像を順次表示する手段であることを特徴とする請求項１記載の立体画像表示装置。
3. 前記補間画像生成手段は、前後する２つの立体画像の相関が所定のしきい値以上の場合には、前記補間画像の生成を停止する手段であり、
   前記表示制御手段は、前記補間画像の生成が停止された立体画像の前および後の少なくとも一方において、前記補間立体画像の表示を停止する手段であることを特徴とする請求項１または２項記載の立体画像表示装置。
4. 前記補間画像生成手段が複数の補間画像の組を生成する手段であり、
   前記立体画像生成手段が、複数の前記補間立体画像を生成する手段であり、
   前記表示制御手段は、次の立体画像の表示の切り替えの指示があってから該次の立体画像が表示されるまでの間において、表示時間が漸次短くなるように前記複数の補間立体画像を順次表示する手段であることを特徴とする請求項１から３のいずれか１項記載の立体画像表示装置。
5. 前記表示制御手段は、前後する２つの立体画像の相関が小さいほど、前記各補間立体画像の表示時間を長くする手段であることを特徴とする請求項４記載の立体画像表示装置。
6. 前記表示制御手段は、前記立体画像の表示停止指示がなされた場合、奥行き感が該立体画像の奥行き感から漸次減少するように前記補間立体画像を順次表示した後に、前記立体画像の表示を停止する手段であることを特徴とする請求項１から５のいずれか１項記載の立体画像表示装置。
7. 被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な複数の立体画像を順次表示する立体画像表示方法において、
   前記複数の画像から、該複数の画像間の視差よりも小さい視差を有する少なくとも１組の補間画像を生成するに際し、前後する２つの立体画像の相関が小さいほど、より多くの前記補間画像の組を生成し、
   前記補間画像の組から少なくとも１つの補間立体画像を生成し、
   前記立体画像の表示の前および後の少なくとも一方において、前記補間立体画像を順次表示することを特徴とする立体画像表示方法。
8. 被写体を異なる視点から撮影することにより取得した複数の画像から生成される、立体視可能な複数の立体画像を順次表示する立体画像表示方法をコンピュータに実行させるためのプログラムにおいて、
   前記複数の画像から、該複数の画像間の視差よりも小さい視差を有する少なくとも１組の補間画像を生成するに際し、前後する２つの立体画像の相関が小さいほど、より多くの前記補間画像の組を生成する手順と、
   前記補間画像の組から少なくとも１つの補間立体画像を生成する手順と、
   前記立体画像の表示の前および後の少なくとも一方において、前記補間立体画像を順次表示する手順とをコンピュータに実行させることを特徴とするプログラム。

Images