JP2004343290A

JP2004343290A - Stereographic picture display device

Info

Publication number: JP2004343290A
Application number: JP2003135436A
Authority: JP
Inventors: Ryuji Kitaura; 竜二北浦; Toshio Nomura; 敏男野村; Masahiro Shioi; 正宏塩井
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2003-05-14
Filing date: 2003-05-14
Publication date: 2004-12-02
Anticipated expiration: 2023-05-14
Also published as: JP4181446B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide an excellent sterergraphic picture with less sense of incongruity based on a picture data wherein parallax quantity is adjusted. <P>SOLUTION: Stereographic picture data is generated with a middle as a center from an integrated region including picture data of all visual points, and the picture data is three-dimensionally displayed. Parallax quantity is adjusted with respect to picture data 20 of a visual point 1 and picture data 21 of a visual point 2. The area including picture data of all the visual points is set to be the integrated region 210, and a line showing a center position of the integrated region 210 is set to be 211. When quantity that picture data 20 shifts is equal to quantity that picture 21 shifts, the center of a display region 60 becomes the line 211 showing the center position. Thus, sterergraphic picture data is generated with the middle of the integrated region including picture data of all the visual points whose parallax quantity is adjusted as the center. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の視点に対応した複数の画像データに基づいて表示手段に立体画像表示を行う技術に関する。
【０００２】
【従来の技術】
従来から、視差を有する一組の画像を立体感のある画像として見ることができる立体画像表示技術が知られている。例えば、左眼用と右眼用の画像データを交互に表示装置に出力し、観察者は、その表示の切り替えタイミングに同期してシャッターを切り替えることのできる眼鏡を通して画像データを再生することにより、立体画像を観察することができる。
【０００３】
また、特別な眼鏡等を用いずに立体画像を再生する方法としては、パララックスバリア方式と呼ばれる方法がある。左眼用の画像データと右眼用の画像データとのそれぞれを、画像データの垂直走査方向に短冊状に分解し、交互に並べて一枚の画像データとする。その画像データに基づいて画像を表示する表示装置には、画像データを分解した場合と同様の短冊状のスリットがある。短冊状の画像データを、スリットを通して表示装置により観察する。偏光板により短冊状に配置された左眼用の画像データに基づく画像を観察者の左眼で、右眼用の画像データに基づく画像を右眼で視ると、立体感を得ることができる。スリットの代わりにレンチキュラレンズを用いたレンチキュラ方式と呼ばれる方法もある。
【０００４】
観察者が、より良い立体画像を見るために、再生画像の立体感を変更する技術も開示されている。人間が物体を立体的に観察する際には、左右の眼では異なる像を観察しており、それらの像は視差と呼ばれるずれを有する。人間はこの視差によって立体感を認識する。視差の量を視差量といい、視差量を調整することにより立体感を調整する。デジタル放送において立体映像を受信し表示する際に、視差量を調整することにより立体ディスプレイに表示する技術が知られており、この技術により観察者は、その立体映像を視聴する環境などに合わせて、立体画像を観察することができる（例えば特許文献１参照）。
【０００５】
【特許文献１】
特開２０００−７８６１５号公報
【０００６】
【発明が解決しようとする課題】
ところで、視差量の調整を行う際に、例えば、レンチキュラ方式、パララックスバリア方式などの左右の画像データを１ライン毎交互に短冊状に並べて表示する方式では、通常、その短冊状データの組み合わせ位置を変えることにより視差量の調整が可能であるが、調整の精度は短冊幅によって規定されることになる。従って、必ずしも観察者の好みに合わせて立体感を調整できるわけではない。
【０００７】
また、短冊状データの組み合わせ位置を変えると、再生するためのデータが存在しない部分が発生し、その部分は良好な立体視表示ができない。従って、立体画像データに基づく立体画像を良好に表示できる部分（立体画像を観察できる表示領域）が小さくなってしまう。
【０００８】
一方、視差量調整後の画像データにおいて、全ての画像データを表示させようとしても、視差量調整後の短冊状の画像データの幅は、視差量調整分だけ表示領域の幅より広くなり、全て画像データを表示することが出来ない。
本発明の目的は、視差量が調整された立体画像データに基づいて、違和感が少なく良好な立体画像を表示させることである。
【０００９】
【課題を解決するための手段】
本発明の一観点によれば、異なるＮ（Ｎは２以上の自然数）視点に対応するＮ個の画像データのそれぞれの視差量の調整に関する視差量調整情報と、視差量を調整した後の少なくともＭ個（ＭはＮ以下の自然数）の画像データを包含する統合領域から立体表示のために切り出される領域に関する切り出し領域情報と、に基づいて、立体画像の表示位置に関する表示位置情報を生成する表示位置情報生成手段と、前記Ｎ個の画像データと前記表示位置情報とに基づいて立体表示用の画像データ（以下、「立体画像データ」と称する。）を生成する立体画像データ処理手段と、前記立体画像データに基づいて立体画像を表示する表示手段とを備えることを特徴とする立体画像表示装置が提供される。
【００１０】
前記切り出し領域情報は、それぞれの前記視点に応じて選択可能な複数の領域のいずれかを基準にして前記統合領域内に前記画像データを表示させるかに関する情報であるのが好ましい。
【００１１】
上記立体画像表示装置によれば、前記切り出し領域情報を切り替えることにができる。例えば、立体画像データ上の、視差の調整により発生する画素データが存在しなくなる部分の位置を変更することもできる。
また、前記切り出し領域情報は、前記統合領域内で最も右端あるいは最も左端の視点の画像データを示す領域を示す情報を含むことが好ましい。
【００１２】
上記立体画像表示装置によれば、前記切り出し領域情報を切り替えることによって、立体画像データ上の、視差の調整により発生する画素データのない部分の位置を変更することができる。
また、前記切り出し領域情報は、前記統合領域内の中央部近傍に位置する領域を示す情報を含むことが好ましい。
【００１３】
上記立体画像表示装置によれば、前記切り出し領域情報を中央近傍にすることによって、立体画像データ上の、視差の調整により発生する画素データのない部分の位置を左右に分散し表示することにより、目立たなくすることができる。
また、前記切り出し領域情報は、前記統合領域内の周辺部近傍に位置する領域を示す情報を含むことが好ましい。
【００１４】
上記立体画像表示装置によれば、前記切り出し領域情報を切り替えることによって、立体画像データ上の、視差の調整により発生する画素データのない部分の位置を変更することができる。
また、前記表示位置情報は、前記立体画像データに基づく画像を表示する表示領域を基準にして生成されるのが好ましい。
【００１５】
上記立体画像表示装置によれば、前記表示位置情報を、前記立体画像データに基づく立体画像を表示する表示領域を基準にして生成することによって、前記表示位置情報生成手段内で、前記Ｎ個（Ｎは２以上の自然数）の視点の各々に対応したＮ個の画像データに対し、前記表示位置情報に従って画像をずらすだけで、簡易に前記立体画像データを作成することができる。
また、前記切り出し領域情報は、視点の数Ｎに応じて、前記複数の領域の数を変更することが好ましい。
【００１６】
上記立体画像表示装置によれば、視点の数Ｎの値に応じて選択できる前記統合領域内の複数の領域の種類を変更することにより、例えば、視点数が多くなるにつれ観察者の観察位置に含まれる視点の画像データに基づく立体画像を表示領域の中心に近いように表示するように、切り出し領域情報の定義を観察者が切り替えるなどすることによって、視差量の調整を行う際の立体表示の自由度を増やすことができる。
また、前記表示手段は、視差量の調整度合に合わせて前記立体画像データに基づく立体画像を表示する表示領域の大きさを変更することが好ましい。
【００１７】
上記立体画像表示装置によれば、画像データをずらすことにより視差量を調整した後、ずらしたことにより画素データがなくなり、かつ表示領域に含まれる領域を表示しないようにすることにより、その領域に対して正しく補間ができなかった場合でも、観察者は違和感の無い立体画像データに基づく立体画像を観察することができる。
【００１８】
また、前記表示手段は、前記立体画像データを表示する表示領域の大きさを変更するか否かをユーザーが切り替えると共に、前記表示領域の大きさを変更する場合には、視差量の調整度合に合わせて前記表示領域の大きさを変更することが好ましい。
【００１９】
上記立体画像表示装置によれば、画像データをずらすことにより視差量を調整した後、ずらしたことにより画素データがなくなり、かつ表示領域に含まれる領域に対して正しく補間ができなかった場合は、正しく補間ができなかった部分を表示しないように表示領域の大きさを変更するように観察者が指示し、表示する枠を変更するなどして立体表示を行い、正しく補間ができた場合は、表示領域の大きさを変更しないように観察者が指示することによって、観察者はより違和感の無い立体画像データに基づく立体画像を観察することができる。
【００２０】
また、前記Ｎ個の画像データのそれぞれにおいて、視差量を制限することによって、前記立体画像データを表示する表示領域に含まれない領域の割合を制限することが好ましい。
【００２１】
上記立体画像表示装置によれば、前記表示領域に含まれない領域を少なくする、つまり、表示領域中に各視差の画像データ間で対応の取れない領域が少なくすることにより、立体視できる領域が減るのを防ぐことができる。
【００２２】
また、前記Ｎ個の画像データのそれぞれにおいて、視差量の調整の結果、前記立体画像データを表示する表示領域に含まれない領域の割合がある所定の値以上の場合に、観察者にその旨を通知するのが好ましい。
【００２３】
上記立体画像表示装置によれば、前記表示領域に含まれない領域が多くなった、つまり、表示領域中に各視差の画像データ間で対応の取れない領域が多くなったことにより、立体視できる領域が減ったことを観察者に通知することができる。
【００２４】
【発明の実施の形態】
本明細書において、３原色のＲＧＢデータのそれぞれをドットと称し、３原色のＲＧＢデータのまとまりを画素と称する。また、画像データは、動画像データ、静止画像データなどを含む。さらに、画像データ中には、例えばＪＰＥＧやＭＰＥＧ−４などの圧縮技術を用いた圧縮画像データも含まれる。
【００２５】
また、視差量の調整処理の中には、視差量の調整量が“０”である場合も含まれるものとする。画像データとは、表示手段に画像を表示させるためのデータを指し、立体画像とは、画像データにより表示手段に表示される立体画像を指す。
【００２６】
以下に、本発明の実施の形態による立体画像表示技術について、図面を参照して説明する。図１は、本発明の一実施の形態による立体画像表示装置の構成例を示す機能ブロック図である。図１に示すように、本発明の実施の形態による立体画像表示装置１は、入力画像データＤｉｎとして、水平方向にいくつの視点の画像データが入力されているかを示す視点数（以下、「総視点数」と称する。）と切り出し領域情報と視差量調整情報とを入力とし、これらのデータに基づいて、立体視表示が可能な画像データ（以下、「立体画像データ」と称する。）を生成する際に用いる表示位置情報と、視差調整した立体画像データ内に無効な領域（立体画像データを構成する各視点の画像データを表示領域から水平方向にずらすことにより視差を調整する場合、表示領域には画像データが無い領域が発生する。以下では、この領域を「無効領域」と称する。）が発生する場合の無効領域情報とを算出する。立体画像表示装置１は、さらに、表示位置情報を立体画像データ処理手段３に伝送し無効領域情報を画像データ補間手段４に伝送する表示位置生成手段２と、入力画像データＤｉｎと上記表示位置情報を用いて立体画像データを生成するための画像データ処理を行う立体画像データ処理手段３と、上記無効領域情報を用いて無効領域に補間データを生成する画像データ補間手段４と、生成された画像データを表示する表示手段５と、を有している。ここで、表示領域とは、統合領域のうち実際に画像を表示する領域を指す。統合領域については後述する。
【００２７】
まず、総視点数が「２」、つまり、入力画像データＤｉｎとして２つの視点の画像データが入力された場合における立体画像表示装置１の動作について説明する。ここで２つの視点の画像データが、左眼用画像データ及び右眼用画像データであるとすると、立体画像表示装置１に入力された左眼用画像データ及び右眼用画像データは、まず立体画像データ処理手段３において、立体視表示が可能なデータに変換される。例えば、パララックスバリア方式又はレンチキュラ方式による立体画像表示装置であれば、立体画像データ処理手段３は、左眼用画像データと右眼用画像データとが短冊状に交互に並べられた立体画像データを生成する。
【００２８】
図２は、立体画像表示装置１に入力される２つの視点の画像データ（に基づく画像）の例を示す図である。例えば、図２に示すように、視点１の画像データ２０を左眼用画像データとし、視点２の画像データ２１を右眼用画像データとする。これらの左眼用画像データ２０と右眼用画像データ２１とを、例えばドット毎に短冊状に交互に並べて立体画像データを生成する。図３は、２視点の画像データを入力とした場合の、パララックスバリア方式又はレンチキュラ方式による立体画像表示装置に表示する立体画像データの作成方法の一例を示す図である。ドット毎に短冊状に交互に並べて立体画像データを生成する際に、全ての水平方向のラインに対して同じ方法で生成するため、以下においては説明の簡単化のために、水平方向の１ラインについてのみ説明する。
【００２９】
視点１の画像データ２０と視点２の画像データ２１、及び、それらを用いて生成する立体画像データの水平方向の１ラインあたりの画像データを、それぞれ、視点１の１ラインあたりの画像データ３０、視点２の１ラインあたりの画像データ３１、１ラインあたりの立体画像データ３２と称する。例えば、図３に示すように、それぞれの１ラインが１２ドット（画素単位では４画素）のＲＧＢデータにより構成されていると仮定する。画像データ３０及び３１は、Ｒｌｍ、Ｇｌｍ、Ｂｌｍ（ｌは視点番号を表す整数、ｍは左端からの画素の位置を表す整数とし、それぞれ１≦ｌ≦２、で、０≦ｍ≦３とする）から構成されているものとし、立体画像データ作成データ３２の各ドットをＯｘ（ｘは、０≦ｘ≦１１の整数とする）とする。
【００３０】
図３に示すように、立体画像データ３２は視点１からドット毎に交互に視点の異なる画像データのドットを並べて、Ｒ１０，Ｇ２０，Ｂ１０，Ｒ２１，Ｇ１１，Ｂ２１，Ｒ１２，Ｇ２２，Ｂ１２，Ｒ２３，Ｇ１３，Ｂ２３の順に生成する。このようにして、立体画像データ処理手段３は立体画像データ３２を生成する。また、外部から視差量調整情報と切り出し領域情報とが、図１に示す表示位置生成手段２にそれぞれ入力される。ここで、視差量調整情報は、立体画像データの飛び出し距離そのものを示す。例えば視差量調整情報をｃｍなどの距離の単位によって記録しておいてもよい。飛び出し距離は、例えば視差量を調整しない状態を基準（０）として表される。切り出し領域情報については後述する。
【００３１】
まず、入力された視差量調整情報が０の場合について説明する。この場合、表示位置生成手段２は、上記で生成した立体画像データを画像データ補間手段４に出力するように立体画像データ処理手段３を制御する。これと同時に表示位置生成手段２は、無効領域情報として、無効領域がない、つまり補間を行う領域がないことを示す情報を画像データ補間手段４に送信する。画像データ補間手段４はこの情報により補間を行う領域がないと判断し、表示手段５に入力された立体画像データに基づく立体画像をそのまま出力する。表示手段５は入力された立体画像を表示する。
【００３２】
次いで、表示手段５について説明する。図４は、パララックスバリア方式による表示手段５の一例を示す図である。表示手段５は、スリット４０とディスプレイ面４１とを含んで構成されており、図３において作成された立体画像データ３２がディスプレイ面４１に表示される。図４に示すように、ディスプレイ面の前（観察者側）にスリット４０を配置することにより、観察者の左眼は左眼用の画像データのみを、右眼は右眼用の画像データのみを観察する。これにより、観察者は立体画像データ３２を、立体感を感じた状態で観察することができる。
【００３３】
また、上記の例では、ドット毎に異なる視点の画像データを交差させて、立体画像データを生成する例について説明したが、画素毎に異なる視点の画像データを交差させて、立体画像データを生成しても良い。以上では、入力された視差量調整情報が０の場合における、本発明の実施の形態による立体画像表示装置の動作について説明した。
【００３４】
次に、入力された視差量調整情報が０でない場合について説明する。表示位置生成手段２において、入力された総視点数と視差量調整情報と切り出し領域情報とから表示位置情報を算出し、立体画像データ処理手段３に出力される。ここで、表示位置生成手段２において算出される表示位置情報の算出例について図５から図１３までを参照して説明する。表示位置情報は、シフトベクトル及び切り出し領域情報と、作成される立体画像データに含まれる総視点数から算出される。まず、シフトベクトルについて説明する。
【００３５】
図５（Ａ）から（Ｃ）までは、立体画像データの飛び出し距離ｄとディスプレイ面に表示する画像データとの関係を示す図である。図５（Ａ）に示すように、観察者の左眼と右眼の間の距離をｅとし、観察者とディスプレイとの間の距離をＬとする。図５（Ａ）の状態は、右眼で観察する画素と左眼で観察する画素とが同一のスリット（Ｑ１）で観察される状態である。この時、画素がディスプレイ上において観察される。次に、右眼で観察する画像データを図面の左方向に、例えば１ドット分だけ移動させる。この状態を図５（Ｂ）に示す。Ｑ１に存在した画素はＱ２の位置に移動する。この時、左眼で観察される画素と右眼で観察される画素とは異なるスリットで観察されＳ１の位置に像を結び、立体感が生じる。この時のディスプレイからの距離ｄが飛び出し距離である。
【００３６】
ここで、図５（Ｂ）に示すようにＱ１からＱ２への移動距離をｗとする。ｗは、装置（ディスプレイ）に依存する値である。また、ディスプレイと観察者との距離Ｌも、パララックスバリア方式やレンチキュラ方式の場合、ディスプレイに依存する。従って、飛び出し量を算出するためには、ディスプレイと観察者との距離Ｌと移動距離ｗとを知る必要がある。尚、観察者の左眼と右眼の距離ｅはほぼ一定と考えられる。これらを前提として、飛び出し距離ｄは次の式で求められる。
ｅ：（Ｌ−ｄ）＝ｗ：ｄ（１）
（１）式より（２）式が求められる。
ｄ＝（ｗ×Ｌ）／（ｅ＋ｗ）（２）
【００３７】
ここで、飛び出し距離ｄと移動距離ｗとは正負の値をとる。飛び出し距離ｄが正の値を取る時は、視差量の調整を行う前の状態から飛び出すように見えることを示し、負の値を取る時は、視差量の調整を行う前の状態から奥に見えることを示す。また、移動距離ｗは、右眼で観察する画像データを左に移動させる時は正の値をとり、右眼で観察する画像データを右に移動させるときは負の値をとる。図５（Ｂ）では、ｗ及びｄが共に正の値を取るため、ｄの距離だけ飛び出して見える。これとは逆に、図５（Ａ）から右眼で観察する画像データを右方向に、例えば１ドット分だけ移動させた様子を示す図が、図５（Ｃ）である。Ｑ１に存在した画素がＱ３の位置に移動し、Ｓ２の位置に像を結ぶ。この時、移動距離ｗは負の値を取るため、飛び出し距離ｄは、上記（２）式より負の値となる。また、通常、裸眼式の立体ディスプレイの場合、観察者の左目と右目の距離ｅを越えて画像データを表示させても観察者は、ディスプレイ面に表示された画像データを立体として融合できず、画像データが２重にダブって見えてしまうため、―ｅ≦ｗとする。従って、図５（Ａ）に比べ、図５（Ｃ）では奥に像が見えることになる。また、左眼で観察する画像データを移動させる時は、移動距離ｗの正負の値は、右眼で観察する画像データを移動させる時の逆となる。
（１）式より（３）式が求められる。
ｗ＝（ｄ×ｅ）／（Ｌ−ｄ）（３）
この移動距離ｗを、以降シフトベクトルと称する。上記では画素単位で説明を行ったが、ドット単位であっても同様であり、容易に適用可能である。
【００３８】
本実施の形態では、シフトベクトルを、右眼用画像データを移動させた画素数やドット数（右方向を＋、左方向を−で示す）で表すものとする。また、上記のようにシフトベクトルの単位をドットや画素毎とする場合、実際の飛び出し量ｄ’が入力された飛び出し量ｄに最も近い値となるシフトベクトルの値をシフトベクトルとしてもよいし、（飛び出し量ｄの絶対値）≧（実際の飛び出し量ｄ’）かつ、実際の飛び出し量ｄ’が入力された飛び出し量ｄに最も近い値となるシフトベクトルの値をシフトベクトルとしてもよいし、（飛び出し量ｄの絶対値）≦（実際の飛び出し量ｄ’）かつ、実際の飛び出し量ｄ’が入力された飛び出し量ｄに最も近い値となるシフトベクトルの値をシフトベクトルとしてもよい。
【００３９】
以上、シフトベクトルとは、左眼用画像データに対してどれだけ右眼用画像データを移動させるかを示す値であり、視差量調整情報からその値を求める方法について説明した。
【００４０】
次に、切り出し領域情報について説明する。図６は、視差量調整情報が０でない（＝シフトベクトルｗが０でない）場合において立体画像データを生成するのに必要な各視点の画像データと画像データに基づく画像の表示領域との関係について示す図である。例えば、シフトベクトルを−Ｗ１とする（Ｗ１＞０）。この場合、図６（Ａ）に示すように、左眼用の画像データである視点１の画像データ２０に対して、右眼用の画像データである視点２の画像データ２１を右にＷ１だけずらして、視差量の調整を行う。この際、画像データ２１のシフトを行っても生成する立体画像データに基づく立体画像の幅は変わらないため、画像データ２０と２１の少なくともいずれか一方に無効領域が発生する場合がある。
【００４１】
また、生成する立体画像データに基づく立体画像の幅は表示手段５における表示領域となり、図６の符号６０の幅を有する領域がその表示領域にあたる。図６の（Ａ）、（Ｂ）、（Ｃ）は、それぞれ、この表示領域６０が、中央（画像データ２０と画像データ２１との無効領域が、それぞれ等しいようにする）、左端（画像データ２１にのみ無効領域が発生する）、右端（画像データ２０にのみ無効領域が発生する）にあるとした場合において、立体画像データを生成するのに必要な各視点の画像データを示す。
【００４２】
第１に、図６（Ａ）について説明する。この場合、表示領域６０は中央であり、画像データ２０と画像データ２１とのそれぞれに発生する無効領域６１と無効領域６２とが等しくなるように画像データ２０を左に、画像データ２１を右に、それぞれＷ１／２ずつシフトする。
【００４３】
図２１は、全ての視点の画像データを含んだ領域である統合領域から、その中央を中心にして立体画像データを生成し、その画像データに基づき立体表示させた様子を示す図である。例えば、図２１において、視点１の画像データ２０と視点２の画像データ２１とに対して視差量の調整を行い、全ての視点の画像データを含んだ領域を統合領域２１０とし、統合領域２１０の中央の位置を示す線を２１１とする。この場合、画像データ２０と画像データ２１のシフトする量が等しければ、表示領域６０の中心は、この中央の位置を示す線２１１になる。このようにして、視差量の調整を行った全ての視点の画像データを含む統合領域の中央を中心にして立体画像データを生成する。
【００４４】
次に、図６（Ｂ）について説明する。この場合、表示領域６０は左端（表示領域６０が左端の視点の画像データと同じ位置）となり、画像データ２１のみをＷ１だけ右にシフトする。画像データ２１の左隣にのみ、無効領域６３が発生する。次に、図６（Ｃ）について説明する。この場合、表示領域６０は右端（＝表示領域６０が右端の視点の画像データと同じ位置）となり、画像データ２０のみをＷ１だけ左にシフトする。画像データ２０の右隣にのみ、無効領域６４が発生する。
【００４５】
また、以上で述べた無効領域６１〜６４内の値については、画像データ補間手段４（図１）により補間を行うため、立体画像データ処理手段３（図１）で立体画像データを生成する際には、この無効領域の値は不定であっても構わない。
【００４６】
以上のように、切り出し領域情報は、図６（Ａ）〜（Ｃ）で説明したように、表示領域が、中央に位置するか、左端に位置するか、右端に位置するかのいずれかを示す情報となり、それぞれに対する切り出し領域情報の定義を「中央」、「左端」、「右端」とする。続いて、シフトベクトル及び切り出し領域情報と、作成される立体画像データに含まれる総視点数から算出される表示位置情報と、そのときに生成される立体画像データと、のそれぞれについて説明する。
【００４７】
まず、切り出し領域情報が「中央」の場合について説明する。図７は、総視点数が「２」かつシフトベクトルが「―１ドット」かつ切り出し領域情報が「中央」の場合に生成する立体画像データを示す図である。シフトベクトルが「―１ドット」かつ切り出し領域情報が「中央」であるため、視点１の画像データ３０を左に０．５ドット、視点２の画像データ３１を右に０．５ドットずらした画像データを用いて立体画像データ３２を生成する。
【００４８】
従って、視点１の画像データ３０に対し、視点２の画像データ３１は１ドット右にずれるため、シフトベクトルが「―１ドット」という条件を満たし、また、視点１の画像データ３０と視点２の画像データ３１の無効領域が等しくなるため、切り出し領域情報が「中央」、つまり、表示領域を「中央」とする条件も満たすことになる。しかしながら、実際に生成する立体画像データ３２はドット単位の画像データであるため、実際上、０．５ドット分だけ画像データをずらすことはできない。そこで、画像データ３０又は画像データ３１のうちいずれか一方を１ドットずらす必要がある。これは、シフトベクトルが奇数であり、かつ切り出し領域情報が「中央」の場合に必ず起こる問題であり、ここでは、視点１の画像データのずらし量の絶対値が、視点２の画像データのずらし量の絶対値以下になるようにする。
【００４９】
また上記で述べたドット単位でずらした立体画像データについて説明する。例えばＲＧＢの各色成分の表示位置が水平方向にＲＧＢの順で繰り返し並ぶような一般的なディスプレイにおいてドット単位でずらす場合、各色成分単位で考えてずらす必要がある。図７のように画像データ３１を右に１ドットずらす場合、Ｒ２０はずらしを行う前の位置７０から、同じ色成分の１つ右隣の位置である位置７１に移動させる。つまり、画像データ３１内のＲ成分のみが、画像データ３１内のＲ成分が存在する位置上でずれることになる。実質的には、図７において矢印で示すように、Ｒ２０は、画像データ上の位置で３ドット分動くことになるが、Ｇ成分やＢ成分はずらさない。観察者がＲＧＢのディスプレイを観察する場合、ＲＧＢの３ドットを１画素として観察するのであるが、１画素の内にＲＧＢそれぞれの要素が１つづつ存在していれば良く、ＲＧＢの集まり、ＧＢＲの集まり、ＢＲＧの集まりのいずれであっても１画素として観察者は認識することができる。よって、この場合、観察者は画像データ３１が右に１ドットずれた画像データを観察することになる。
【００５０】
同様に、例えば、右に２ドットずらす場合は、ＲとＧの成分を１つ右隣の同じ色成分のドットがある位置に、右に３ドットずらす場合は、ＲとＧとＢのすべての成分を１つ右隣の同じ色成分のドットがある位置にそれぞれずらす。
【００５１】
以下、上記の手順をまとめると、例えばｋ（ｋは０以上の整数）ドット右にずらす際、ＲＧＢの順でずらすとして、Ｒの成分は、（ｋ／３）のあまりが０の場合、右にｋ／３離れたＲの成分の位置まで、（ｋ／３）のあまりが１の場合、右に（ｋ＋２）／３離れたＲの成分の位置まで、（ｋ／３）のあまりが２の場合、右に（ｋ＋１）／３離れたＲの成分の位置までずらす。
【００５２】
Ｇの成分は、（ｋ／３）のあまりが０の場合、右にｋ／３離れたＧの成分の位置まで、（ｋ／３）のあまりが１の場合、右に（ｋ−１）／３離れたＧの成分の位置まで、（ｋ／３）のあまりが２の場合、右に（ｋ＋１）／３離れたＧの成分の位置までずらす。
【００５３】
Ｂの成分は、（ｋ／３）のあまりが０の場合、右にｋ／３離れたＢの成分の位置まで、（ｋ／３）のあまりが１の場合、右に（ｋ−１）／３離れたＢの成分の位置まで、（ｋ／３）のあまりが２の場合、右に（ｋ−２）／３離れたＢの成分の位置まで、それぞれずらす。
【００５４】
また、例えば、ｋ（ｋは整数）ドット左にずらす際は、右にずらす場合とは逆にＢＧＲの順でずらす。すなわち、Ｂの成分は、（ｋ／３）のあまりが０の場合、左にｋ／３離れたＢの成分の位置まで、（ｋ／３）のあまりが１の場合、左に（ｋ＋２）／３離れたＢの成分の位置まで、（ｋ／３）のあまりが２の場合、左に（ｋ＋１）／３離れたＢの成分の位置までずらす。
【００５５】
Ｇの成分は、（ｋ／３）のあまりが０の場合、左にｋ／３離れたＧの成分の位置まで、（ｋ／３）のあまりが１の場合、左に（ｋ−１）／３離れたＧの成分の位置まで、（ｋ／３）のあまりが２の場合、左に（ｋ＋１）／３離れたＧの成分の位置までずらす。
【００５６】
Ｒの成分は、（ｋ／３）のあまりが０の場合、左にｋ／３離れたＲの成分の位置まで、（ｋ／３）のあまりが１の場合、左に（ｋ−１）／３離れたＲの成分の位置まで、（ｋ／３）のあまりが２の場合、左に（ｋ−２）／３離れたＲの成分の位置まで、それぞれずらす。
【００５７】
以上に、ＲＧＢの各色成分の表示位置が水平方向にＲＧＢの順で繰り返し並ぶような一般的なディスプレイにおいて、ドット単位でずらす場合のずらし方について説明した。
【００５８】
次に表示位置情報について説明する。本明細書において、視差量調整情報から求めたシフトベクトルと切り出し領域情報を考慮して求めた各視点の画像データのずらし量との組を、表示位置情報と定義する。例えば、上記の場合、視点１のずらし量が０ドット、視点２のずらし量が右に１ドットであるため、表示位置情報は（０，１）となる。但し、ここで各視点のずらし量は符号を付した整数とし、右にずらす場合はプラスとし、左にずらす場合はマイナスとする。このように、表示位置情報は、立体画像データに基づく立体画像を表示する表示領域を基準にして生成される。以上のようにして、視差量調整情報と切り出し領域情報とから算出された表示位置情報が、図１に示す表示位置生成手段２から立体画像データ処理手段３に出力される。
【００５９】
立体画像データ処理手段３では、この表示位置情報に基づいて入力画像データをずらし、ずらした入力画像データを１ドット分の画像データ毎に交互に短冊状に並べて立体画像データ３２を生成し、画像データ補間手段４に出力する。作成された立体画像データ３２は、図７に示すように「Ｒ１０，Ｇ２０，Ｂ１０，Ｒ２０，Ｇ１１，Ｂ２１，Ｒ１２，Ｇ２２，Ｂ１２，Ｒ２２，Ｇ１３，Ｂ２３」となる。これと同時に、表示位置生成手段２は、無効領域情報として、前述の「無効領域」がない旨を、つまり補間を行う必要のある領域がない旨を示す情報を、画像データ補間手段４に送信する。画像データ補間手段４は、この情報により補間を行う領域がないと判断し、表示手段５に入力された立体画像データをそのまま出力する。表示手段５は、入力された立体画像データに基づく立体画像を表示する。
【００６０】
また、上記の手順では、視点１の画像データのずらし量の絶対値が、視点２の画像データのずらし量の絶対値以下になるようにして視差量の調整を行ったが、逆に視点２の画像データのずらし量の絶対値が、視点１の画像データのずらし量の絶対値以下になるようにして視差量の調整を行っても良い。いずれのずらし量の絶対値を小さくするかを、観察者が選択できるようにしておき、観察者の選択に基づいて視差量の調整を行ってもよい。
【００６１】
例えば、表示手段５は、立体表示と通常の２Ｄ表示を切り替え表示することが可能な表示手段であるとすると、２Ｄ表示する場合は、立体画像データに含まれる所定の視点の画像データを用いて２Ｄ表示用の画像データを作成し、２Ｄ表示を行う。この際、２Ｄ表示用の画像データ作成に用いる所定の視点の画像データに対し、そのずらし量の絶対値が全ての視点の画像データ中におけるずらし量の絶対値の中で最も小さくなるようにして視差量の調整を行ってもよい。このようにすれば、画像データをずらすことにより視差量の調整をした立体画像データに基づく立体画像を表示している際、立体表示から２Ｄ表示に切り替える際に必要な表示位置のずれを減らすことができる。
【００６２】
次に、総視点数が「２」であり、かつ、シフトベクトルが「―２ドット」かつ切り出し領域情報が「中央」の場合の表示位置生成手段２と立体画像データ処理手段３との動作について説明する。図８は、総視点数が「２」であり、かつ、シフトベクトルが「−２ドット」であり、かつ、切り出し領域情報が「中央」の場合に生成する立体画像データを示す。シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「中央」であるため、視点１の画像データ３０を左に１ドット、視点２の画像データ３１を右に１ドットずらした画像データを用いて立体画像データ３２を生成する。この場合、表示位置生成手段２で生成される表示位置情報は（―１，１）、で立体画像データ処理手段３により生成される立体画像データ３２は「Ｒ１０，Ｇ２０，Ｂ１１，Ｒ２０，Ｇ１１，Ｂ２１，Ｒ１２，Ｇ２２，Ｂ１３，Ｒ２２，Ｇ１３，Ｂ２３」となり、図７を参照して説明した場合と同様にして立体表示を行うことができる。
【００６３】
次に、総視点数が「２」であり、かつ、シフトベクトルが「―３ドット」であり、かつ、切り出し領域情報が「中央」である場合における表示位置生成手段２と立体画像データ処理手段３の動作について説明する。図９は、総視点数が「２」であり、かつ、シフトベクトルが「―３ドット」であり、かつ、切り出し領域情報が「中央」の場合に生成される立体画像データを示す。シフトベクトルが「―３ドット」であり、かつ、切り出し領域情報が「中央」であるため、視点１の画像データ３０を左に１ドット、視点２の画像データ３１を右に２ドットずらした画像データを用いて立体画像データ３２を生成する。この場合、表示位置生成手段２で生成される表示位置情報は（―１，２）であり、立体画像データ処理手段３で生成される立体画像データ３２は「Ｒ１０，Ｇ無（Ｒ無、Ｇ無、Ｂ無は、ＲＧＢそれぞれの成分において、ずらしにより発生した無効領域のドットとし、その値は不定の値とする），Ｂ１１，Ｒ２０，Ｇ１１，Ｂ２１，Ｒ１２，Ｇ２１，Ｂ１３，Ｒ２２，Ｇ１３，Ｂ２３」となる。
【００６４】
上記のように、生成される立体画像データ３２内には、入力画像データをずらしたことにより発生した無効領域にある「不定の値」が存在することになる。この場合、表示位置生成手段２は、その「不定の値」が存在する立体画像データ３２内の位置を示す無効領域情報を、画像データ補間手段４に送信する。これと同時に、立体画像データ処理手段３から生成された立体画像データ３２が画像データ補間手段４に入力される。画像データ補間手段４は、入力された無効領域情報を用いて立体画像データ３２の不定の値に対して補間を行う。
【００６５】
補間の第１の方法は、不定の値である「Ｏ１を含むＲＧＢの組である」Ｏ０、Ｏ１、Ｏ２に、それぞれの色成分毎に所定の値を代入する方法を用いることができる。或いは、補間の第２の方法として、「不定の値であるＯ１を含むＲＧＢの組である」Ｏ０、Ｏ１、Ｏ２及び、「Ｏ１に最も近いＯ１を含まないＲＧＢの組である」Ｏ３、Ｏ４、Ｏ５の全てに対し、Ｏ０とＯ３（Ｒ）にある所定の値、Ｏ１とＯ４（Ｇ）にある所定の値、Ｏ２とＯ５（Ｂ）にある所定の値というように、ＲＧＢのそれぞれの色成分毎に所定の値を代入する方法を用いてもよい。
【００６６】
補間の第３の方法として、不定の値であるＯ１と、「Ｏ１（Ｇ）に最も近い位置にあり、かつ同じ色成分（Ｇ）であり、かつ、隣り合い異なる視点の画像データとして表示されるドットである」Ｏ４とに所定の値を代入する方法を用いてもよい。
【００６７】
補間の第４の方法として、不定の値であるＯ１に対して、「Ｏ１に最も近い位置にあり、かつ同じ色成分であり、かつ隣り合う視点の画像データ（例えば、Ｏ１が右画像データにあるなら、左画像データ）として表示されるドットである」Ｏ４の値を代入する方法を用いてもよい。
【００６８】
補間の第５の方法として、不定の値であるＯ１に、「Ｏ１（Ｇ）に最も近い位置にあり、かつ同じ色成分（Ｇ）であり、かつ同じ視点（Ｒ）の画像データとして表示されるドットである」Ｏ７の値を代入する方法を用いてもよい。
【００６９】
以上に説明した方法のいずれかを用いて補間した立体画像データに基づく立体画像を表示手段５に出力し、表示手段５は立体表示を行う。
以上では、切り出し領域情報が「中央」である場合について、本発明の実施の形態による立体表示装置が立体表示を行う場合について説明を行った。
【００７０】
以下、切り出し領域情報が「左端」と「右端」の場合における本発明の実施の形態による立体画像表示装置１の動作について説明する。尚、画像データ補間手段４と表示手段５の動作は、切り出し領域情報が「中央」である場合と同様に動作するため説明を省略し、表示位置生成手段２で生成される表示位置情報と、立体画像データ処理手段３で生成される立体画像データとに関して説明を行う。
【００７１】
まず、切り出し領域情報が「左端」の場合について説明する。総視点数が「２」であり、かつ、シフトベクトルが「―１ドット」であり、かつ、切り出し領域情報が「左端」の場合の表示位置生成手段２と立体画像データ処理手段３の動作について説明する。図１０は、総視点数が「２」であり、かつ、シフトベクトルが「―１ドット」であり、かつ、切り出し領域情報が「左端」の場合に生成する立体画像データを示す図である。シフトベクトルが「―１ドット」であり、かつ、切り出し領域情報が「左端」であるため、視点１の画像データ３０と、視点２の画像データ３１を右に１ドットずらした画像データとを用いて立体画像データ３２を生成する。この場合、表示位置生成手段２により生成される表示位置情報は（０，１）となり、また、立体画像データ処理手段３で生成される立体画像データ３２は「Ｒ１０，Ｇ２０，Ｂ１０，Ｒ２０，Ｇ１１，Ｂ２１，Ｒ１２，Ｇ２２，Ｂ１２，Ｒ２２，Ｇ１３，Ｂ２３」となる。
【００７２】
次に、総視点数が「２」であり、かつ、シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「左端」の場合の表示位置生成手段２と立体画像データ処理手段３の動作について説明する。図１１は、総視点数が「２」であり、かつ、シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「左端」である場合に生成される立体画像データを示す図である。シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「左端」であるため、視点１の画像データ３０と、視点２の画像データ３１を右に２ドットずらした画像データとを用いて立体画像データ３２を生成する。この場合、表示位置生成手段２で生成される表示位置情報は（０，２）となり、また立体画像データ処理手段３で生成される立体画像データ３２は「Ｒ１０，Ｇ無，Ｂ１０，Ｒ２０，Ｇ１１，Ｂ２１，Ｒ１２，Ｇ２１，Ｂ１２，Ｒ２２，Ｇ１３，Ｂ２３」となる。
【００７３】
次に、切り出し領域情報が「右端」の場合について説明する。まず、総視点数が「２」であり、かつ、シフトベクトルが「―１ドット」であり、かつ、切り出し領域情報が「右端」の場合における表示位置生成手段２と立体画像データ処理手段３の動作について説明する。図１２は、総視点数が「２」であり、かつ、シフトベクトルが「―１ドット」であり、かつ、切り出し領域情報が「右端」である場合に生成される立体画像データを示す図である。シフトベクトルが「−１ドット」であり、かつ、切り出し領域情報が「右端」であるため、視点１の画像データ３０を左に１ドットずらした画像データと、視点２の画像データ３１を用いて立体画像データ３２を生成する。この場合、表示位置生成手段２で生成される表示位置情報は（−１，０）で、立体画像データ処理手段３で生成される立体画像データ３２は「Ｒ１０，Ｇ２０，Ｂ１１，Ｒ２１，Ｇ１１，Ｂ２１，Ｒ１２，Ｇ２２，Ｂ１３，Ｒ２３，Ｇ１３，Ｂ２３」となる。
【００７４】
次に、総視点数が「２」であり、かつ、シフトベクトルが「−２ドット」であり、かつ、切り出し領域情報が「右端」の場合の表示位置生成手段２と立体画像データ処理手段３の動作について説明する。図１３は、総視点数が「２」であり、かつ、シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「右端」の場合に生成する立体画像データを示す。シフトベクトルが「−２ドット」であり、かつ、切り出し領域情報が「右端」であるため、視点１の画像データを左に２ドットずらした画像データと、視点２の画像データ３１とを用いて立体画像データ３２を生成する。この場合、表示位置生成手段２で生成される表示位置情報は（−２，０）であり、立体画像データ処理手段３で生成される立体画像データ３２は「Ｒ１０，Ｇ２０，Ｂ１１，Ｒ２１，Ｇ１２，Ｂ２１，Ｒ１２，Ｇ２２，Ｂ１３，Ｒ２３，Ｇ無，Ｂ２３」となる。
【００７５】
以上のようにして、本実施の形態による立体画像表示装置は、総視点数と、切り出し領域情報と、視差量調整情報と、を用いて表示位置情報を生成し、生成した表示位置情報と、入力された２つの視点の画像データと、を用いて視差調整された立体画像データを違和感のない良好な画像データとして生成することができる。
【００７６】
次に、総視点数が「３」、つまり、入力画像データＤｉｎとして３つの視点の画像データが入力された場合における立体画像表示装置１の動作について説明する。
【００７７】
立体画像表示装置１に入力された３つの視点の画像データは、まず立体画像データ処理手段３において、立体視表示可能なデータに変換される。例えば、パララックスバリア方式又はレンチキュラ方式による立体画像表示装置であれば、立体処理手段３は、各視点の画像データを視点順に短冊状に交互に並べられた立体画像データを生成する。前述した２つの視点の画像データが入力された場合における立体画像表示装置１の表示手段５の説明において、水平方向にＲＧＢを並べて表示を行うタイプを前提として説明を行ったが、表示手段５は垂直方向にＲＧＢを並べて画像データを表示するものであっても構わない。
【００７８】
３以上の視点の画像データをドット毎に短冊状に交互に並べて立体画像データを生成する場合、垂直方向にＲＧＢを並べて画像データに基づく画像を表示する表示手段である方が、ＲＧＢの各色成分毎に同じ配置でバリアやレンチキュラを作成すればよいため、立体画像データの作成及び視差量の調整の説明が簡易になる。
【００７９】
そこで、以下においては、垂直方向にＲＧＢを並べて画像データに基づく画像を表示する表示手段を用いた場合について、ＲＧＢのうちＲの成分のみを説明する。残りのＧとＢの成分に関しては、Ｒの成分と同様に処理を行うため説明を省略する。また、垂直にＲＧＢを並べて画像データに基づく画像を表示する表示手段を用いた場合の１画素とは、縦方向に連続して隣り合うＲＧＢのドットの組み合わせとする。
【００８０】
図１４は、立体画像表示装置１に入力される第３の視点の画像データの例を示す図である。例えば、図２に示すような視点１の画像データ２０と、視点２の画像データ２１と、図１４に示すような視点３の画像データ１４０が立体画像表示装置１に入力される。各視点の画像データを、例えばＲ成分のドット毎で、短冊状に、交互に、かつ視点順に並べて立体画像データを生成する。
【００８１】
図１５は、３視点の画像データを入力とした場合の、パララックスバリア方式又はレンチキュラ方式による立体画像表示装置に表示する立体画像データにおいて、そのＲ成分の作成方法の一例を示す図である。以下では、立体画像データを生成する際、全ての水平方向のラインに対して同じ方法で生成するため、ここでは説明の簡単化のために水平方向の１ラインについてのみ説明を行う。視点１の画像データ２０と視点２の画像データ２１と視点３の画像データ１４０（図１４）と、これらを用いて生成する立体画像データのＲ成分の水平方向の１ラインあたりの画像データを、それぞれ視点１の１ラインあたりの画像データ１５０、視点２の１ラインあたりの画像データ１５１、視点３の１ラインあたりの画像データ１５２、１ラインあたりの立体画像データ１５３と称する。例えば、図１５のように、Ｒ成分のデータはそれぞれの１ラインが９ドットのデータにより構成されていると仮定する。
【００８２】
Ｒ成分の画像データ１５０、１５１、１５２は、Ｒｌｍ、（ｌは視点番号を表す整数、ｍは左端からのドットの位置を表す整数とし、それぞれ１≦ｌ≦３、で、０≦ｍ≦８とする）から構成されているものとし、立体画像データ１５３のＲ成分のドットをＰｙ（ｙは、０≦ｙ≦１１の整数とする）とする。図１５に示すように、立体画像データ１５３は、視点１、２、３の順でドット毎に視点の異なる画像データのドットを繰り返し並べて、Ｒ１０，Ｒ２１，Ｒ３２，Ｒ１３，Ｒ２４，Ｒ３５，Ｒ１６，Ｒ２７，Ｒ３８の順に生成する。このようにして、立体画像データ処理手段３は立体画像データを生成する。
【００８３】
また、図１において、２視点の場合と同様に、総視点数と視差量調整情報と切り出し領域情報とが、外部から表示位置生成手段２にそれぞれ入力される。まず、入力された視差量調整情報が０の場合について説明する。表示位置生成手段２と画像データ補間手段４との動作は、２視点の際に説明した場合と同様の動作を行い、立体画像データ処理手段３は、図１５に示すように、３視点の立体画像データを生成し、生成された画像データを表示手段５は立体表示する。
【００８４】
図１６は、３視点の画像データから構成された立体画像データを表示する際の、パララックスバリア方式による表示手段５の一例を示す図である。基本構成に関しては図１に示されており、図１を適宜参照する。表示手段５は、スリット１６０とディスプレイ面１６１とを含んで構成されており、図１５において作成された立体画像データ１５３がディスプレイ面１６１に表示される。図１６に示すように、ディスプレイ面の前にスリット１６０を置くことにより、観察位置１における観察者の左眼には視点１の画像データのみが、右眼には視点２の画像データのみが観察される。また同様に、観察位置２における観察者の左眼には視点２の画像データのみが、右眼には視点３の画像データのみが観察される。これにより観察者は、立体画像データ１５３を立体感を持って観察することができる。
【００８５】
次に、入力された視差量調整情報が０でない場合について説明する。表示位置生成手段２において、入力された総視点数と視差量調整情報と切り出し領域情報とから表示位置情報が算出され、立体画像データ処理手段３に出力される。
【００８６】
図１７は、視差量調整情報が０でない（＝シフトベクトルｗが０でない）場合において立体画像データを生成するのに必要な各視点の画像データと、画像データの表示領域との関係を示す図である。例えば、シフトベクトルを−Ｗ１とする（Ｗ１＞０）。この場合、図１７の（Ａ）に示すように、視点１の画像データ２０に対して、視点２と視点３との画像データ２１を右にＷ１ずらし、さらに、視点２の画像データ２０に対して、視点３の画像データを右にＷ１ずらして視差量の調整を行う。このとき、視差量調整情報から求めたシフトベクトルは、各隣り合う視点の画像データの間の全てにおいて、同じ分だけ画像データをずらすことにより視差を調整するものとする。このように画像画像データをずらしても、生成する立体画像データに基づく立体画像の幅は変わらないため、表示領域内にある各視点の画像データ２０と２１と１４０のいずれかに無効領域が発生する。
【００８７】
図１７の（Ａ）、（Ｂ）、（Ｃ）は、それぞれ、切り出し領域情報が、「中央」（画像データ２０と画像データ１４０とに無効領域が発生し、それぞれに発生した無効領域は等しいようにする）、「左端」（画像データ２１と画像データ１４０とに無効領域が発生する）、「右端」（画像データ２０と画像データ１４０とに無効領域が発生する）にあるとした場合において、立体画像データを生成するのに必要な各視点の画像データを示す。
【００８８】
また、切り出し領域情報が「中央」であり、かつ総視点数が「３」というように奇数である場合は、画像データ２０と画像データ１４０との無効領域を等しくするため、中央にある視点の画像データ２１を表示領域とするのが好ましい。このようにすれば、表示領域内における、最も中央にある視点の画像データ２１には無効領域が発生せず、また、画像データ２１の左右の隣り合う視点の画像データ２０と画像データ１４０との無効領域が等しくなる。
【００８９】
まず、図１７（Ａ）を参照して説明を行う。図１７（Ａ）に示すように、切り出し領域情報が「中央」（＝表示領域６０が中央の視点の画像データと同じ位置になる）であり、画像データ２０と画像データ１４０とのそれぞれの隣に発生する無効領域１７０、１７１が、それぞれ等しくなるように画像データ２０を左に、画像データ１４０を右に、それぞれＷ１ずつシフトする。次に、図１７（Ｂ）を参照して説明を行う。この場合は、切り出し領域情報が「左端」（＝表示領域６０が左端の視点の画像データと同じ位置になる）であり、画像データ２１、画像データ１４０をＷ１だけ右にシフトさせ、さらに、画像データ１４０は右にＷ１シフトさせる（トータルで、画像データ１４０は右に２＊Ｗ１シフトする）。この場合、画像データ２１及び画像データ１４０の左隣に、それぞれ無効領域１７２、１７３が発生する。
【００９０】
次に、図１７（Ｃ）を参照して説明を行う。この場合、切り出し領域情報が「右端」（＝表示領域６０が右端の視点の画像データと同じ位置になる）であり、画像データ２０、画像データ２１をＷ１だけ左にシフトさせる。さらに、画像データ２０をＷ１左にシフトさせる（トータルで、画像データ２０は左に２＊Ｗ１シフトする）。この場合、画像データ２０、画像データ２１の右隣に、それぞれ、無効領域１７４、１７５が発生する。
【００９１】
また、以上で述べた無効領域内の値については、画像データ補間手段４により補間するため、立体画像データ処理手段３で立体画像データを生成する際、この無効領域の値は不定であっても良い。
【００９２】
入力が３視点の画像データである場合においても、２視点の場合と同様に、上記で説明したシフトベクトル及び切り出し領域情報と作成される立体画像データに含まれる総視点数から、表示位置情報を算出することができる。
【００９３】
図１８から図２０までを参照して、３視点の場合において算出される表示位置情報と生成される立体画像データについて説明する。まず、切り出し領域情報が「中央」の場合について説明する。
【００９４】
図１８は、総視点数が「３」であり、かつ、シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「中央」である場合に生成される立体画像データを示す図である。シフトベクトルが「−２ドット」であり、かつ、切り出し領域情報が「中央」であるため、中央の視点である視点２の画像データ１５１はずらさず、視点１の画像データ１５０を左に２ドット、視点２の画像データ１５２を右に２ドットずらした画像データを用いて立体画像データ１５３を生成する。
【００９５】
従って、視点１の画像データ１５０に対して視点２の画像データ１５１は２ドット右にずれ、かつ、視点２の画像データ１５１に対して視点３の画像データ１５２は２ドット右にずれることになるため、各隣り合う視点の画像データの間において、シフトベクトルが「―２ドット」という条件を満たすことになる。
【００９６】
また、視点１の画像データ１５０と、視点３の画像データ１５２との無効領域が等しくなり、また、中央の視点である視点２の画像データ１５１に無効領域が発生しないため、表示領域を「中央」とするという条件も満たすことになる。
【００９７】
ここで、２視点の場合と同様に、表示位置情報を各視点の画像データのずらし量の組で表現すると、視点数が３であるので、例えば上記の場合、視点１のずらし量が左に２ドット，視点２のずらし量が右に２ドットであり、表示位置情報は（２，０，−２）となる。以上のようにして、視差量調整情報と切り出し領域情報から算出された表示位置情報が、表示位置生成手段２から立体画像データ処理手段３に出力される。
【００９８】
立体画像データ処理手段３では、この表示位置情報に基づいて入力画像データを水平方向にずらし、ずらした入力画像データを１ドット分の画像データ毎に、交互に、短冊状に、かつ視点順に並べて立体画像データ３２を生成し、画像データ補間手段４に出力する。作成された立体画像データ３２は、図１８に示すように「Ｒ１２，Ｒ２１，Ｒ３０，Ｒ１５，Ｒ２４，Ｒ３３，Ｒ１８，Ｒ２７，Ｒ３６」となる。
【００９９】
これと同時に、表示位置生成手段２は、補間を行う領域がないことを示す情報を画像データ補間手段４に送信する。画像データ補間手段４はこの情報により補間を行う領域がないと判断し、表示手段５に入力された立体画像データをそのまま出力する。表示手段５は入力された立体画像データに基づき立体画像を表示する。
【０１００】
次に、切り出し領域情報が「左端」の場合について説明する。まず、総視点数が「３」であり、かつ、シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「左端」である場合の表示位置生成手段２と立体画像データ処理手段３との動作について説明する。図１９は、総視点数が「３」であり、かつ、シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「左端」である場合に生成する立体画像データを示す図である。シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「左端」であるため、視点１の画像データ１５０と、視点２の画像データ１５１と、を右に２ドットずらした画像データと、視点３の画像データ１５２を右に４ドットずらした画像データと、を用いて立体画像データ１５３を生成する。この場合、表示位置生成手段２で生成される表示位置情報は（０，２，４）であり、立体画像データ処理手段３で生成される立体画像データ１５３は、「Ｒ１０，Ｒ無，Ｒ無，Ｒ１３，Ｒ２２，Ｒ３１，Ｒ１６，Ｒ２５，Ｒ３４」となる。
【０１０１】
立体画像データ処理手段３は立体画像データ１５３を、表示位置生成手段２は不定の値であるドットの位置を、それぞれ補間手段４に送る。次に、補間手段４における不定の値のドットに対する補間処理について説明する。ここで、全ての視点のドットを１ドットずつ含むドットの組を「視点の組」とする。例えば、「Ｐ０，Ｐ１，Ｐ２」で第１の視点の組、「Ｐ３，Ｐ４，Ｐ５」で第２の視点の組、「Ｐ６，Ｐ７，Ｐ８」で第３の視点の組というように定義する。補間の第１の方法は、不定の値であるＰ１、Ｐ２を含む第１の視点の組であるＰ０、Ｐ１、Ｐ２全てに、ある共通の所定の値を代入する方法であってもよい。例えば、第１の視点の組の部分が黒い画像データとなるように表示する。
【０１０２】
このように補間を行うことにより、３視点の画像データを含む立体画像データにおいて視差量を調整行うことにより発生する画素データが存在しない部分を、観察者がどの位置から見た場合においても観察することができないようにすることができる。
【０１０３】
また、別の第２の補間方法として、同じ視点の組内に不定でない値がある場合、同じ視点の組内の不定でない値のいずれかで、視点の組内にある全ての不定でない値を代入してもよい。例えば、第１の視点の組であるＰ１、Ｐ２に、同じ第１の視点の組であり、かつ不定の値でないＰ０の値を代入する方法を用いてもよい。
【０１０４】
このように補間を行うことにより、３視点の画像データを含む立体画像データにおいて視差量を調整行うことにより発生する画素データが存在しない部分を、観察者がどの位置から見ても２Ｄで観察できるようにすることができる。
【０１０５】
また、別の第３の補間方法として、第１の視点の組であるＰ１に対して、第１の視点の組に最も近い視点の組内であり、かつ、同じ視点の画像データとして表示されるドットであり、かつ、不定の値でないＰ４の値を代入し、かつ、Ｐ２にもこのＰ４の値を代入してもよい。
【０１０６】
これにより、Ｐ１はＰ０に対応することになり、観察者がＰ０を含む第１の視点の画像データとＰ１を含む第２の視点の画像データとを観察する際に、補間した部分であっても立体として観察することができる。
【０１０７】
また、別の第４の補間方法として、第１の視点の組であるＰ１（またはＰ２）に対して、第１の視点の組に最も近い視点の組内であり、かつ、同じ視点の画像データとして表示されるドットであり、かつ、不定の値でないＰ４（またはＰ５）の値を代入してもよい。これによりＰ２はＰ１に対応することになり、観察者がＰ１を含む第２の視点の画像データとＰ２を含む第３の視点の画像データを観察する際、補間した部分であっても立体として観察することができる。画像データ補間手段４は、この補間した立体画像データを、表示手段５に出力する。表示手段５は入力された立体画像データを立体表示する。
【０１０８】
次に、切り出し領域情報が「右端」の場合について説明する。まず、総視点数が「３」であり、かつ、シフトベクトルが「−２ドット」であり、かつ、切り出し領域情報が「右端」である場合の表示位置生成手段２と立体画像データ処理手段３との動作について説明する。図２０は、総視点数が「３」であり、かつ、シフトベクトルが「−２ドット」であり、かつ、切り出し領域情報が「右端」の場合に生成する立体画像データを示す。シフトベクトルが「−２ドット」であり、かつ、切り出し領域情報が「右端」であるため、視点１の画像データ１５０を左に４ドットずらした画像データと、視点２の画像データ１５１を左に２ドットずらした画像データと、視点３の画像データ１５２を用いて立体画像データ１５３と、を生成する。この場合、表示位置生成手段２により生成される表示位置情報は（−４、−２，０）であり、立体画像データ処理手段３で生成される立体画像データ１５３は、「Ｒ１４，Ｒ２３，Ｒ３２，Ｒ１７，Ｒ２６，Ｒ３５，Ｒ無，Ｒ無，Ｒ３８」となる。
【０１０９】
図１９で説明した場合と同様に、立体画像データ処理手段３は立体画像データ１５３を、表示位置生成手段２は不定の値であるドットの位置を、それぞれ補間手段４に送る。補間手段４における不定の値のドットに対する補間処理は図１９と同様にして行い、画像データ補間手段４はこの補間した立体画像データを、表示手段５に出力する。表示手段５は入力された立体画像データに基づく立体画像を表示する。
【０１１０】
このようにして、本実施の形態による立体画像表示装置は、総視点数、切り出し領域情報及び視差量調整情報を用いて表示位置情報を生成し、生成した表示位置情報と、入力された３つの視点の画像データと、を用いて視差調整された立体画像データを、違和感の少ない良好な立体画像データとして生成することができる。
【０１１１】
また、上記では入力画像データが２視点のときと３視点の場合について説明したが、ａ視点（ａは４以上の整数）の場合も、２視点から３視点に拡張したときと同様に拡張することにより、視差調整された立体画像データを、違和感の少ない良好な立体画像データとして生成することができる。
【０１１２】
以上のように、視差量が調整された立体画像データを表示する際に、「左端」、「右端」、「中央」というように、統合領域に対してどの位置を基準にして表示するかを指定して視差量の調整を行うことにより、画素データが存在しなくなることにより立体視が困難になる部分の位置を自由に設定、変更することができる。
【０１１３】
特に、切り出し領域情報を「中央」とした場合は、切り出し領域情報を「左端」や「右端」にした場合に比べ、補間を行わなければならない場所が立体画像データの左右の端に分散するため、正しく補間ができないことで立体視が困難になる部分を観察者が判別しづらくすることにより、違和感が少なく良好な立体画像データとして生成することができる。また、上記では、切り出し領域情報を「中央」、「左端」、「右端」の３種類のみの場合について説明したが、中央、左端、右端のそれぞれの近傍であっても構わない。
【０１１４】
また、切り出し領域情報は上記の３種類に限らず、ｂ種類の近傍であっても構わない（ｂは正の整数）。例えば、視差量の調整を行った全ての視点の画像データを含む統合領域に対し、統合領域の左端からｃ（ｃは正の整数）ドット（または画素）ずらした位置を表示領域の左端にするなど、切り出し領域情報の定義を複数にしてもよい。上記の場合、切り出し領域情報により指定された表示領域の位置を考慮して、上記で説明した場合と同様に視差量の調整を行った立体画像データを生成する。また、このときのｃの値自体を切り出し領域情報としても良い。
【０１１５】
さらに、上記の例では、切り出し領域情報の定義を、統合領域の左端からｃドットとしているが、任意の所定の場所からずらしても良い。例えば、統合領域の中央や右端からｃドットずらすというようにしてもよい。また、総視点数に合わせて、この際の切り出し領域情報の定義を変えてもよい。例えば、２視点の切り出し領域情報は、「左端」、「右端」、「中央」の３つと定義し、１６視点の切り出し領域情報は、統合領域を水平方向に均等に１６分割した位置を表示領域の位置とするように定義するなど、総視点数毎にその定義を切り替えて用いてもよい。
【０１１６】
例えば、視点数が多くなるにつれ観察者の観察位置に含まれる視点の画像データを表示領域の中心に近いように表示するように、切り出し領域情報の定義を、観察者が切り替えるようにしてもよい。このようにして、総視点数毎に切り出し領域情報の定義を切り替えることにより、視差量の調整を行う際の立体表示の自由度を増やすことができる。また、切り出し領域情報の定義として視点の画像データを指定してもよい。この場合、指定した視点の画像データの位置を表示領域として視差量の調整を行う。このため、指定した視点の画像データに無効な領域が発生することは無く、すべて表示することができる。
【０１１７】
また、この際の切り出し領域情報の定義は、水平方向だけでなく垂直方向の指定も含んでもよい。例えば、統合領域の左上から水平方向に１画素右、垂直方向に１画素下の位置を表示領域の位置としてもよい。このようにして、視差量の調整を行う際の立体表示の自由度を増やすことができる。また上記の説明では、視差量の調整を行うことにより発生する無効な領域を補間手段４で補間して、表示手段５で表示を行っていたが、表示手段５に無効領域情報を代入し、例えば枠をつけて立体表示する場合などは、表示領域の大きさを小さくして表示することにより、無効な領域を省いて立体表示してもよい。
【０１１８】
さらに、この無効な領域を省いて立体表示するか否かを、観察者が外部から入力することにより切り替えることができるようにしてもよい。このように無効な領域を表示しないようにすることにより、正しく補間ができなかった場合でも、観察者は違和感の無い立体画像データに基づく画像を観察することができる。また視差量の調整を行う際、視差量の調整後に、表示領域内に存在する各視点画像データにおいて、少なくとも１つの視点の画像データ内における無効な領域（または表示領域に含まれない領域）が、その視点の画像データ全体のＸ（Ｘは０≦Ｘ≦１００）％以上発生した場合は、Ｘ％より小さくなるように変更する視差量の絶対値が小さくなるよう視差量を調整してもよいし、無効な領域（または表示領域に含まれない領域）が全体のＸ％を越えたことを示す通知を観察者に通知してもよい。これにより、視差量の調整によって無効な領域が多くなるために立体視できる領域が減るのを防ぐことができる。
【０１１９】
また上記で説明した、実施形態の立体画像表示装置に入力される総視点数と切り出し領域情報と視差量調整情報は、観察者が入力することができるようにしてもよい。さらに、本実施形態の立体画像表示装置に入力される総視点数と切り出し領域情報と視差量調整情報、及び入力画像データＤｉｎは全て、例えば３Ｄフォーマットデータのような１つのデータに含まれていても構わない。この場合、立体画像表示装置１の前段に、３Ｄフォーマットデータから、総視点数と切り出し領域情報と視差量調整情報、及び入力画像データＤｉｎのそれぞれを分離する分離手段を設けることにより、立体画像表示装置１にこれらのデータを入力するようにしてもよい。
【０１２０】
また、上記３Ｄフォーマットデータ内に、総視点数と切り出し領域情報と視差量調整情報のうちのいずれかに含まれていないデータがある場合に備えて、それぞれの値を端末でデフォルトで設定しておき、それらのデータのうち含まれていないデータがある場合は端末のデフォルト値を代わりに用いてもよい。
【０１２１】
また、切り出し領域情報と視差量調整情報に関しては立体画像表示装置１で用いる際、観察者の入力した値と、３Ｄフォーマットデータの値と、端末でデフォルトとして設定されている値とのうち、どの値を使うようにしても構わず、観察者がどの値を使うかを自由に設定できるようにしてもよい。
【０１２２】
また、上記３Ｄフォーマットデータは、ファイルであっても、放送やストリーミングのデータ、テープメディア上のデータなど、総視点数と切り出し領域情報と視差量調整情報、及び入力画像データＤｉｎなどを含むフォーマットであればいずれの形式のデータであっても構わない。
【０１２３】
図２２は、ファイルにおける３Ｄフォーマットデータの例を示す図である。例えば、図２２に示すように、３Ｄ画像データファイルは、管理情報領域と画像データ領域とから構成されており、画像データ領域には入力画像データＤｉｎが、管理情報領域には総視点数と切り出し領域情報と視差量調整情報とが含まれるような３Ｄフォーマットデータとして、３Ｄ画像データファイルを構成してもよい。
【０１２４】
次に、３Ｄ画像データファイルの管理情報領域について詳細に説明する。
管理情報領域は、「画像データ情報」と、「立体視用画像データのための情報（以下、３Ｄ情報と称する）」と、「各視点画像データ情報」と、により構成されている。「画像データ情報」には、画像データのサイズや動画であればその再生時間などの画像データ全体に関する情報が、「各視点画像データ情報」には各画像データを復号するのに必要な情報（例えば、符号化の技術としてＭＰＥＧ−４技術が用いられているなどの情報）が、「３Ｄ情報」には総視点数と切り出し領域情報と視差量調整情報などの立体画像特有の情報がそれぞれ含まれる。また、３Ｄ画像データファイルを再生する際に、装置が３Ｄ情報を正しく読み取れるように、３Ｄ情報の存在を示すヘッダが必要である。このため、３Ｄ情報の先頭に、立体画像データ（３Ｄ画像）識別情報を記録する領域を設ける。３Ｄ画像識別情報は、３Ｄ情報の存在を示すとともに、後に続く画像データが立体視用画像データである旨を示す。３Ｄ画像識別情報は、固定長或いは可変長の符号で符号化されたフラグでも良いが、識別可能であれば、例えば、特定の記号列や文字列などでも良い。制御情報は、総視点数と切り出し領域情報と視差量調整情報とに関する情報をこの制御情報に含む。このようにして、３Ｄ画像識別情報と、それ以外の情報である制御情報とにより３Ｄ情報を構成する。
【０１２５】
図２３は、放送における３Ｄフォーマットデータの例を示す。例えば、図２３に示すように、３Ｄの放送コンテンツを、コンテンツと番組配列情報とにより構成し、かつ、コンテンツの部分に入力画像データＤｉｎが、番組配列情報の部分に３Ｄ情報が含まれるような３Ｄフォーマットデータとして、３Ｄの放送コンテンツを構成してもよい。
【０１２６】
次に、上記で説明した３Ｄフォーマットデータを作成する画像データ作成装置について説明する。図２４は、３Ｄフォーマットデータを作成する画像データ作成装置の構成例を示すブロック図である。図２４に示すように、画像データ作成装置２４０は、制御部２４１と、多視点（視点数Ｋ、ここでＫは２以上の整数である）の画像データ１〜Ｋを隣接させて結合した画像データを作成する画像結合部２４２と、画像データの結合に関する情報をまとめた画像結合情報、総視点数、切り出し領域情報、視差量調整情報などの情報をフォーマット化して３Ｄ情報を作成する３Ｄ情報作成部２４３と、画像データを符号化する符号化部２４４と、符号化されたデータを多重化する多重化部２４５とを有している。以上のように構成された画像データ作成装置２４０の動作について説明する。
【０１２７】
制御部２４１は、縮小の有無、結合の有無、画像データの配置順などの画像結合情報、水平方向の視点数Ｘ（上述の総視点数）、垂直方向の視点数Ｙ、表示領域データ視差量調整情報などを指定し出力する。画像結合部２４２は、制御部２４１により指定された「結合の有無」が「結合あり」である場合に、入力された画像データ１から画像データＫまでの配置方法を選択する。配置方法としては、各画像データを水平に並べた水平配置と、上下に並べた垂直配置と、水平・垂直の両方向に並べた格子状配置との３通りの配置のうちから選択が可能である。
ここで、画像データの配置方法は、撮像装置の設置方法と一致するようにしてもよいし、一致させなくてもよい。
【０１２８】
まず、画像データの配置方法が撮像装置の設置方法と一致する場合について説明する。図２６は、撮像部の設置方法が水平、かつ、撮像部の設置方法と一致させた場合の画像データの配置例を示す図である。図２６（ａ）は、画像データの配置方法が撮像部の設置方法と水平である場合の撮像部の設置方法を示す図である。図２６（ａ）に示すように、この場合には、１〜ＸまでのＸ台の撮像部２６１〜２６４までを同じ水平面上に並ぶように設置して撮影を行う。
【０１２９】
図２６（ｂ）は、撮像部の設置方法が水平であり、かつ、撮像部の設置方法に一致するように画像データを配置して作成した画像の一例を示す図である。図２６（ｂ）に示すように、撮像部２６１、２６２、２６３、…、２６４によりそれぞれ撮影したＸ個の画像データを、撮像部の設置方法と同様の順番で水平に並べて、一枚の画像を作成する。この場合、作成した画像の視点数は、Ｘ≧２、Ｙ＝１、画像データの配置は水平配置となる。
【０１３０】
上記と同様に、撮像部の設置方法が垂直配置の場合には、作成した画像の視点数は、Ｘ＝１、Ｙ≧２となり、画像データの配置は垂直配置となる。また、撮像部の設置方法が水平配置又は垂直配置以外の場合は、撮像部の設置方法は格子状配置となる。この場合、作成した画像の視点数は、Ｘ≧２、Ｙ≧２となり、画像データの配置は格子状配置となる。
【０１３１】
また、画像データの配置が垂直配置や格子状配置である場合においても、水平配置の場合と同様に一枚の画像を構成する個々の画像データの配置は、それらを撮影した撮像部の設置方法と同じ順番で並べた構成となる。
【０１３２】
次に、画像データの配置方法が撮像装置の設置方法と一致させない場合について説明する。一致させない場合は、Ｘ≧２、Ｙ＝１又はＸ＝１、Ｙ≧２のときには、垂直配置と水平配置のいずれかを選択できるようにしてもよいし、Ｘ≧２、Ｙ≧２のときには、垂直配置と水平配置と格子状配置のいずれかを選択できるようにしてもよい。また、制御部２４１から入力された縮小の有無が「縮小あり」を示す場合には、入力された各視点の画像データを縮小する。
【０１３３】
以上のように、画像結合部２４２が画像データを結合し、結合した画像結合情報を３Ｄ情報作成部２４３に送るとともに、結合した画像データを符号化部２４４に送る。３Ｄ情報作成部２４３は、画像データの結合に関する情報をまとめた画像データ結合情報と、総視点数と、切り出し領域情報と、視差量調整情報と、を含む情報をフォーマット化して３Ｄ情報を作成し、符号化部２４４は画像データを符号化して符号化データを作成する。作成された３Ｄ情報と符号化データのそれぞれのデータが多重化部２４５に送られ、多重化部２４５においてデータの多重化を行い、多重化部２４５は、多重化された多重化データを出力する。このときの多重化データが３Ｄフォーマットデータとなる。
【０１３４】
次に、上記の３Ｄフォーマットデータを再生する画像データ再生装置について説明する。図２５は、３Ｄフォーマットデータを再生する画像データ再生装置２５０の構成例を示すブロック図である。図２５において、図１と同一ブロックに対しては同一符号を付す。図２５に示すように、画像データ再生装置２５０は、分離手段２５１と、３Ｄ情報を解析する３Ｄ情報解析手段２５２と、符号化データを復号する復号手段２５３と、３Ｄ情報内にある切り出し情報や視差量調整情報と、観察者が入力した切り出し情報や視差量調整情報とのうちのいずれか一方を選択し、必要があれば観察者が入力した切り出し情報や視差量調整情報を用いた３Ｄ情報を出力する選択手段２５４と、復号した画像データを各視点の画像データに変換し出力する画像データ変換手段２５５とを含んで構成されている。
【０１３５】
以上のように構成された画像データ再生装置２５０について、その動作を説明する。分離手段２５１は、３Ｄフォーマットデータから３Ｄ情報を含んでいる３Ｄヘッダと、符号化データとに分離する。この符号化データは、例えばＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｏｇｒａｐｈｉｃＥｘｐｅｒｔＧｒｏｕｐ）やＭＰＥＧ（Ｍｏｖｉｎｇｐｉｃｔｕｒｅｅｘｐｅｒｔｇｒｏｕｐ）−４などの圧縮技術を用いた圧縮符号化データを含む。
【０１３６】
３Ｄ情報解析手段２５２は、３Ｄヘッダ内の３Ｄ情報を解析し、画像データ結合情報や総視点数、切り出し情報、視差量調整情報などを抽出する。復号手段２５３は、分離手段２５１により分離された符号化データから画像データを復号する。選択手段２５４は、３Ｄ情報内に存在する切り出し情報や視差量調整情報と、観察者が入力した切り出し情報や視差量調整情報のうちのいずれか一方を選択し、必要があれば新たな３Ｄ情報を作成し出力する。例えば、観察者からの入力があれば、入力した切り出し情報や視差量調整情報を用いた３Ｄ情報を出力してもよい。画像データ変換手段２５５は、選択手段２５４により入力された画像結合情報、総視点数に応じて、復号された画像データから各視点の入力画像データＤｉｎを出力する。
【０１３７】
立体画像表示装置１は、図１において説明した装置と同様に動作し、切り出し情報と視差調整量情報と総視点数とを含む３Ｄ情報と、各視点の入力画像データＤｉｎとを用いて立体表示を行う。
【０１３８】
以上説明したように、本実施の形態による立体画像表示装置によれば、視点数Ｎの画像データから構成される視差量が調整された立体画像データを表示する際に、例えば、左端、右端、中央のそれぞれの近傍というように、どの位置を基準にして表示するかを指定して視差量の調整を行うことにより、視差量の調整を行った際に生じる各視点画像データにおける画素データがなくなって立体視が困難になる部分の位置を変更することができる。
【０１３９】
特に、切り出し領域情報を中央近傍とした場合には、切り出し領域情報を左端近傍や右端近傍にした場合よりも、視差量の調整を行った際に左眼用画像データと右眼用画像データとの画素データがなくなり、補間を行わなければならない場所が立体画像データの左右の端に分散するため、正しく補間ができなかったが、上記の変更を行えば、立体視が困難になる部分を観察者が判別しづらくすることができ、違和感が少なく良好な立体画像データとして生成することができる。
【０１４０】
また、立体画像データを表示する表示領域を基準にして表示位置情報を生成することにより、表示位置情報生成手段内で、Ｎ個（Ｎは２以上の自然数）の視点の各々に対応したＮ個の画像データに対し、表示位置情報に従って画像をずらすだけで立体画像データを簡易に作成することができる。また、切り出し領域情報を観察者が切り替えることによって、立体画像データ上の視差の調整により発生する画素データのない部分の位置を自由に変更することができる。
【０１４１】
視点の数Ｎの値に応じて選択できる上記統合領域内における複数の領域の種類を変更することにより、例えば、視点数が多くなるにしたがって観察者の観察位置に含まれる視点の画像データを表示領域の中心近くに表示するように、切り出し領域情報の定義を観察者が切り替えることによって、視差量の調整を行う際の立体表示の自由度を増やすことができる。
【０１４２】
また、上記表示手段が、視差量の調整度合に合わせて上記立体画像データを表示する表示領域の大きさを変更することにより、画像データをずらすことにより視差量を調整した後、ずらしたことにより画素データがなくなり、かつ表示領域に含まれる領域を表示しないようにすることができるため、その領域に対して正しく補間ができなかった場合でも、観察者は違和感の無い立体画像データを観察することができる。
【０１４３】
また、上記表示手段は、上記立体画像データを表示する表示領域の大きさを変更するか否かをユーザーが切り替えるととともに、上記表示領域の大きさを変更する場合には、視差量の調整度合に合わせて上記表示領域の大きさを変更することにより視差量を調整した後、ずらしたことにより画素データがなくなり、かつ表示領域に含まれる領域に対して正しく補間ができなかった場合は、正しく補間ができなかった部分を表示しないように表示領域の大きさを変更するように観察者が指示し、表示する枠を変更するなどして立体表示を行い、正しく補間ができた場合は、表示領域の大きさを変更しないように観察者が指示することができ、その結果、観察者はより違和感の無い立体画像データを観察することができる。
【０１４４】
Ｎ個の画像データのそれぞれにおいて、視差量を制限することによって、上記立体画像データを表示する表示領域に含まれない領域の割合を制限することにより、上記表示領域に含まれない領域を少なくする、つまり、表示領域中に各視差の画像データ間で画素データが存在しないため対応の取れなくなっている領域を少なくすることにより、立体視できる領域が減るのを防ぐことができる。
【０１４５】
また、Ｎ個の画像データのそれぞれにおいて、視差量の調整の結果、上記立体画像データを表示する表示領域に含まれない領域の割合がある所定の値以上の場合に、観察者にその旨を通知することもできる。
【０１４６】
尚、上記立体画像表示装置は、種々の電子機器に適用可能である。特に、コンパクトな構成が要求される携帯電話やＰＤＡなどの携帯端末に用いるのに好適である。
以上、本発明に関して実施の形態に沿って説明を行ったが、本発明はこれらの例に限定されるものではなく、種々の変形が可能であるのは言うまでもない。
【０１４７】
【発明の効果】
以上説明したように、本発明によれば、Ｎ視点の数の画像データから構成される、視差量が調整された立体画像データを表示する際に、どの位置を基準にして表示するかを指定して視差量の調整を行うことにより、視差量の調整を行った際に生じる、各視点画像データにおける画素データがなくなり立体視が困難になる部分の位置を変更することができるという利点がある。
【図面の簡単な説明】
【図１】本発明の一実施の形態による立体画像表示装置の構成例を示す機能ブロック図である。
【図２】本発明の実施の形態による立体画像表示装置１に入力される視点１及び視点２の２視点の画像データの例を示す図である。
【図３】視点１及び視点２の２視点の画像データを入力とした場合の、パララックスバリア方式又はレンチキュラ方式による立体画像表示装置に表示する立体画像データの作成方法の一例を示す図である。
【図４】本発明の一実施の形態による立体画像表示装置であって、パララックスバリア方式による表示手段を有する構成例を示す図である。
【図５】図５（Ａ）から図５（Ｃ）までは、本発明の一実施の形態による立体画像データの飛び出し距離ｄとディスプレイ面に表示する画像データとの関係を示す図である。立体画像表示装置
【図６】図６（Ａ）から図６（Ｃ）までは、本発明の一実施の形態による立体画像表示装置において、視差量調整のために２視点の画像データを移動させた例を示す図である。
【図７】本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段において、総視点数が「２」であり、かつ、シフトベクトルが「―１ドット」であり、かつ、切り出し領域情報が「中央」である場合に生成される立体画像データの水平方向の１ラインデータの構成例を示す図である。
【図８】本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段において、総視点数が「２」であり、かつ、シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「中央」である場合に生成される立体画像データの水平方向の１ラインデータの構成例を示す図である。
【図９】本発明の一実施の形態による立体画像表示装置において、総視点数が「２」であり、かつ、シフトベクトルが「―３ドット」であり、かつ、切り出し領域情報が「中央」の場合に生成される立体画像データの水平方向の１ラインデータの一例を示す図である。
【図１０】本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段において、総視点数が「２」であり、かつ、シフトベクトルが「―１ドット」であり、かつ、切り出し領域情報が「左端」である場合に生成される立体画像データの水平方向の１ラインデータの一例を示す図である。
【図１１】本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段において、総視点数が「２」であり、かつ、シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「左端」の場合に生成される立体画像データの水平方向の１ラインデータの一例を示す図である。
【図１２】本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段において、総視点数が「２」であり、かつ、シフトベクトルが「―１ドット」であり、かつ、切り出し領域情報が「右端」の場合に生成される立体画像データの水平方向の１ラインデータの一例を示す図である。
【図１３】本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段において、総視点数が「２」であり、かつ、シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「右端」の場合に生成される立体画像データの水平方向の１ラインデータの一例を示す図である。
【図１４】本発明の一実施の形態による立体画像表示装置に入力される画像データの一例を示す図である。
【図１５】３視点の画像データを入力とした場合の、パララックスバリア方式又はレンチキュラ方式による立体画像表示装置に表示する立体画像データにおいて、そのＲ成分の作成方法の一例を示す図である。
【図１６】３視点の画像データから構成された立体画像データを表示する際の、パララックスバリア方式による立体画像表示装置における表示手段の一例を示す図である。
【図１７】図１７（Ａ）から図１７（Ｃ）までは、本発明の一実施の形態による立体画像表示装置における視差量調整のために、３視点の画像データを移動させた際の例を示す図である。
【図１８】本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段において、総視点数が「３」であり、かつ、シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「中央」の場合に生成される立体画像データの水平方向の１ラインデータの一例を示す図である。
【図１９】本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段３において、総視点数が「３」であり、かつ、シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「左端」の場合に生成される立体画像データの水平方向の１ラインデータの一例を示す図である。
【図２０】本発明の一実施の形態による立体画像表示装置における立体画像データ処理手段において、総視点数が「３」であり、かつ、シフトベクトルが「―２ドット」であり、かつ、切り出し領域情報が「右端」の場合に生成される立体画像データの水平方向の１ラインデータの一例を示す図である。
【図２１】本発明の一実施の形態による立体画像表示装置において、切り出し領域情報が「中央」である場合に、全ての視点の画像データを含んだ領域である統合領域の中央を中心にして立体画像データを生成し、その画像データを立体表示する様子を示す図である。
【図２２】ファイルにおける３Ｄフォーマットデータの構成例を示す図である。
【図２３】放送における３Ｄフォーマットデータの構成例を示す図である。
【図２４】３Ｄフォーマットデータを作成する画像データ作成装置の構成例を示す図である。
【図２５】３Ｄフォーマットデータを再生する画像データ再生装置の構成例を示す図である。
【図２６】撮像部の設置方法が水平であり、かつ、撮像部の設置方法と一致させた場合の画像データの配置例を示す図である。
【符号の説明】
１…立体画像表示装置、２…表示位置生成手段、３…立体画像データ処理手段、４…画像データ補間手段、５…表示手段、２０，２１，３１，３１，３２，１４０，１５０，１５１，１５２，１５３…画像データ、４０，１６０…スリット、４１、１６１…ディスプレイ面、６０…表示領域、６１，６３，６４，１７０，１７１，１７２，１７３，１７４，１７５…無効領域、７０…ずらす前の画像データにおける最も左端のＲ成分の位置、２１０…統合領域、２４０…画像データ作成装置、２４１…制御部、２４２…画像結合部、２４３…３Ｄ情報作成部、２４４…符号化部、２４５…多重化部、２５０…画像データ再生装置、２５１…分離手段、２５２…３Ｄ情報解析手段、２５３…復号手段、２５４…選択手段、２５５…画像データ変換手段、２６１〜２６４…撮像部。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a technique for displaying a stereoscopic image on a display unit based on a plurality of image data corresponding to a plurality of viewpoints.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a stereoscopic image display technique capable of viewing a set of images having parallax as an image having a stereoscopic effect has been known. For example, by outputting the image data for the left eye and the right eye to the display device alternately, the observer reproduces the image data through glasses that can switch the shutter in synchronization with the switching timing of the display, A stereoscopic image can be observed.
[0003]
As a method of reproducing a stereoscopic image without using special glasses or the like, there is a method called a parallax barrier method. Each of the left-eye image data and the right-eye image data is decomposed into strips in the vertical scanning direction of the image data, and alternately arranged to form one piece of image data. A display device that displays an image based on the image data has a strip-shaped slit similar to the case where the image data is decomposed. The strip-shaped image data is observed by the display device through the slit. When an image based on the image data for the left eye arranged in a strip shape by the polarizing plate is viewed with the left eye of the observer and an image based on the image data for the right eye with the right eye, a stereoscopic effect can be obtained. . There is also a method called a lenticular method using a lenticular lens instead of a slit.
[0004]
There is also disclosed a technique for changing the stereoscopic effect of a reproduced image so that an observer can see a better stereoscopic image. When a human observes an object three-dimensionally, different images are observed by the left and right eyes, and these images have a shift called parallax. Humans perceive a three-dimensional effect based on this parallax. The amount of parallax is called a parallax amount, and the stereoscopic effect is adjusted by adjusting the parallax amount. When receiving and displaying a stereoscopic video in digital broadcasting, a technique of adjusting the amount of parallax and displaying the stereoscopic video on a stereoscopic display is known. With this technology, an observer can adjust the stereoscopic video to an environment in which the stereoscopic video is viewed. It is possible to observe a stereoscopic image (for example, see Patent Document 1).
[0005]
[Patent Document 1]
JP 2000-78615 A
[0006]
[Problems to be solved by the invention]
When adjusting the amount of parallax, for example, in a method in which left and right image data such as a lenticular method and a parallax barrier method are alternately arranged in a strip for each line and displayed, a combination position of the strip data is usually used. The parallax amount can be adjusted by changing, but the accuracy of the adjustment is determined by the width of the strip. Therefore, it is not always possible to adjust the stereoscopic effect according to the viewer's preference.
[0007]
Further, when the combination position of the strip-shaped data is changed, a portion where no data exists for reproduction is generated, and the portion cannot be displayed in good stereoscopic view. Therefore, a portion (display region where the stereoscopic image can be observed) in which the stereoscopic image based on the stereoscopic image data can be favorably displayed becomes small.
[0008]
On the other hand, in the image data after the parallax adjustment, even if all the image data are to be displayed, the width of the strip-shaped image data after the parallax adjustment is wider than the width of the display area by the parallax adjustment, and Image data cannot be displayed.
An object of the present invention is to display a good stereoscopic image with less discomfort based on stereoscopic image data in which the amount of parallax has been adjusted.
[0009]
[Means for Solving the Problems]
According to one aspect of the present invention, disparity amount adjustment information relating to adjustment of respective disparity amounts of N pieces of image data corresponding to different N (N is a natural number of 2 or more) viewpoints, and at least after adjusting the disparity amount A display that generates display position information on a display position of a stereoscopic image based on cutout region information on a region cut out for stereoscopic display from an integrated region including M image data (M is a natural number equal to or less than N). Position information generating means; stereoscopic image data processing means for generating image data for stereoscopic display (hereinafter referred to as “stereoscopic image data”) based on the N pieces of image data and the display position information; A display unit that displays a stereoscopic image based on the stereoscopic image data.
[0010]
It is preferable that the cut-out area information is information on whether to display the image data in the integrated area based on one of a plurality of areas that can be selected according to each viewpoint.
[0011]
According to the three-dimensional image display device, the cut-out area information can be switched. For example, it is possible to change the position of a portion on the stereoscopic image data where the pixel data generated due to the parallax adjustment no longer exists.
In addition, it is preferable that the cutout area information includes information indicating an area indicating image data of a rightmost or leftmost viewpoint in the integrated area.
[0012]
According to the three-dimensional image display device, by switching the cut-out area information, it is possible to change the position of a part on the three-dimensional image data that does not have pixel data generated by adjusting parallax.
Further, it is preferable that the cut-out area information includes information indicating an area located near a central portion in the integrated area.
[0013]
According to the stereoscopic image display device, by setting the cutout region information near the center, by dispersing and displaying left and right positions of a portion of the stereoscopic image data where there is no pixel data generated by adjusting parallax, It can be less noticeable.
Further, it is preferable that the cut-out area information includes information indicating an area located near a peripheral part in the integrated area.
[0014]
According to the three-dimensional image display device, by switching the cut-out area information, it is possible to change the position of a part on the three-dimensional image data that does not have pixel data generated by adjusting parallax.
Further, it is preferable that the display position information is generated based on a display area for displaying an image based on the stereoscopic image data.
[0015]
According to the three-dimensional image display device, the display position information is generated on the basis of a display area for displaying a three-dimensional image based on the three-dimensional image data. The stereoscopic image data can be easily created simply by shifting the image in accordance with the display position information with respect to N pieces of image data corresponding to each of the viewpoints (N is a natural number of 2 or more).
Further, it is preferable that the cut-out area information changes the number of the plurality of areas according to the number N of viewpoints.
[0016]
According to the stereoscopic image display device, by changing the types of the plurality of regions in the integrated region that can be selected in accordance with the value of the number N of viewpoints, for example, as the number of viewpoints increases, the observation position of the observer increases. The observer switches the definition of the cut-out area information so that the stereoscopic image based on the image data of the included viewpoint is displayed close to the center of the display area, so that the stereoscopic display when adjusting the amount of parallax is performed. The degree of freedom can be increased.
Further, it is preferable that the display unit changes a size of a display area for displaying a stereoscopic image based on the stereoscopic image data according to a degree of adjustment of the amount of parallax.
[0017]
According to the stereoscopic image display device, after adjusting the amount of parallax by shifting the image data, the pixel data disappears due to the shift, and the area included in the display area is not displayed, so that the area is not displayed. On the other hand, even when interpolation is not correctly performed, the observer can observe a stereoscopic image based on stereoscopic image data without a sense of incongruity.
[0018]
In addition, the display means, the user switches whether or not to change the size of the display area for displaying the stereoscopic image data, and, when changing the size of the display area, the degree of adjustment of the amount of parallax It is preferable to change the size of the display area.
[0019]
According to the three-dimensional image display device, after adjusting the amount of parallax by shifting the image data, if there is no pixel data due to the shift, and if the interpolation is not correctly performed on the area included in the display area, If the observer instructs to change the size of the display area so as not to display the part that could not be correctly interpolated, performs a three-dimensional display by changing the frame to be displayed, etc. By instructing the observer not to change the size of the display area, the observer can observe a stereoscopic image based on stereoscopic image data without a sense of discomfort.
[0020]
In each of the N pieces of image data, it is preferable to limit the amount of parallax, thereby limiting the proportion of an area not included in a display area for displaying the stereoscopic image data.
[0021]
According to the stereoscopic image display device, an area that is not included in the display area is reduced, that is, an area that can not correspond between image data of each parallax is reduced in the display area. It can be prevented from decreasing.
[0022]
In addition, in each of the N pieces of image data, as a result of the adjustment of the amount of parallax, when a ratio of an area not included in the display area for displaying the stereoscopic image data is equal to or greater than a predetermined value, the observer is notified. Is preferably notified.
[0023]
According to the stereoscopic image display device, the number of areas not included in the display area increases, that is, the number of areas in which the image data of each parallax cannot correspond to each other increases in the display area, thereby enabling stereoscopic viewing. The observer can be notified that the area has been reduced.
[0024]
BEST MODE FOR CARRYING OUT THE INVENTION
In this specification, each of the RGB data of the three primary colors is called a dot, and a group of the RGB data of the three primary colors is called a pixel. The image data includes moving image data, still image data, and the like. Further, the image data also includes compressed image data using a compression technique such as JPEG or MPEG-4.
[0025]
It is assumed that the adjustment process of the parallax amount includes a case where the adjustment amount of the parallax amount is “0”. The image data refers to data for displaying an image on the display means, and the three-dimensional image refers to a three-dimensional image displayed on the display means by the image data.
[0026]
Hereinafter, a stereoscopic image display technique according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a functional block diagram illustrating a configuration example of a stereoscopic image display device according to an embodiment of the present invention. As shown in FIG. 1, the stereoscopic image display device 1 according to the embodiment of the present invention includes, as input image data Din, the number of viewpoints (hereinafter, “total”) indicating how many viewpoints of image data are input in the horizontal direction. The number of viewpoints), the cutout area information, and the parallax amount adjustment information are input, and based on these data, image data capable of stereoscopic display (hereinafter, referred to as “stereoscopic image data”) is generated. The display position information used when performing the parallax adjustment and the invalid area in the stereoscopic image data after parallax adjustment (when the parallax is adjusted by horizontally shifting the image data of each viewpoint constituting the stereoscopic image data from the display area, the display area In this example, an area without image data is generated. In the following, this area is referred to as an “invalid area”). The stereoscopic image display device 1 further includes a display position generating unit 2 for transmitting display position information to the stereoscopic image data processing unit 3 and transmitting invalid area information to the image data interpolating unit 4, input image data Din, and the display position information. Stereoscopic image data processing means 3 for performing image data processing for generating stereoscopic image data by using image data; image data interpolating means 4 for generating interpolation data in an invalid area using the invalid area information; Display means 5 for displaying data. Here, the display area refers to an area in the integrated area where an image is actually displayed. The integrated area will be described later.
[0027]
First, the operation of the stereoscopic image display device 1 when the total number of viewpoints is “2”, that is, when image data of two viewpoints is input as the input image data Din will be described. Here, assuming that the image data of the two viewpoints is image data for the left eye and image data for the right eye, the image data for the left eye and the image data for the right eye input to the stereoscopic image display device 1 In the image data processing means 3, the image data is converted into data that can be displayed in a stereoscopic view. For example, in the case of a three-dimensional image display device using a parallax barrier method or a lenticular method, the three-dimensional image data processing means 3 outputs three-dimensional image data in which left-eye image data and right-eye image data are alternately arranged in a strip shape. Generate
[0028]
FIG. 2 is a diagram illustrating an example of (based on) image data of two viewpoints input to the stereoscopic image display device 1. For example, as shown in FIG. 2, the image data 20 of the viewpoint 1 is left-eye image data, and the image data 21 of the viewpoint 2 is right-eye image data. The left-eye image data 20 and the right-eye image data 21 are alternately arranged in a strip shape for each dot, for example, to generate stereoscopic image data. FIG. 3 is a diagram illustrating an example of a method of generating stereoscopic image data to be displayed on a stereoscopic image display device using a parallax barrier method or a lenticular method when image data of two viewpoints is input. When three-dimensional image data is generated by alternately arranging in a strip shape for each dot, all the horizontal lines are generated in the same manner. Therefore, one line in the horizontal direction will be described below for simplicity of description. Will be described only.
[0029]
The image data 20 of the viewpoint 1 and the image data 21 of the viewpoint 2 and the image data per one line in the horizontal direction of the stereoscopic image data generated by using the image data 20 and the image data 30 are generated. The image data 31 per line of the viewpoint 2 is referred to as stereoscopic image data 32 per line. For example, as shown in FIG. 3, it is assumed that each line is composed of 12 dots (4 pixels in pixel units) of RGB data. The image data 30 and 31 are Rlm, Glm, and Blm (1 is an integer representing a viewpoint number, m is an integer representing the position of a pixel from the left end, and 1 ≦ l ≦ 2, and 0 ≦ m ≦ 3, respectively. ), And each dot of the stereoscopic image data creation data 32 is Ox (x is an integer of 0 ≦ x ≦ 11).
[0030]
As shown in FIG. 3, in the stereoscopic image data 32, dots of image data having different viewpoints are alternately arranged for each dot from the viewpoint 1, and R10, G20, B10, R21, G11, B21, R12, G22, B12, R23, G13 and B23 are generated in this order. Thus, the stereoscopic image data processing means 3 generates the stereoscopic image data 32. Also, the parallax amount adjustment information and the cutout area information are input from the outside to the display position generating means 2 shown in FIG. Here, the parallax amount adjustment information indicates the pop-out distance itself of the stereoscopic image data. For example, the parallax amount adjustment information may be recorded in units of distance such as cm. The pop-out distance is represented, for example, with a state in which the amount of parallax is not adjusted as a reference (0). The cutout area information will be described later.
[0031]
First, a case where the input parallax adjustment information is 0 will be described. In this case, the display position generation unit 2 controls the stereoscopic image data processing unit 3 so as to output the stereoscopic image data generated as described above to the image data interpolation unit 4. At the same time, the display position generating means 2 transmits to the image data interpolating means 4 information indicating that there is no invalid area, that is, there is no area to be interpolated, as invalid area information. Based on this information, the image data interpolation means 4 determines that there is no area to be interpolated, and outputs the stereoscopic image based on the stereoscopic image data input to the display means 5 as it is. The display means 5 displays the input stereoscopic image.
[0032]
Next, the display means 5 will be described. FIG. 4 is a diagram illustrating an example of the display unit 5 using the parallax barrier method. The display means 5 includes a slit 40 and a display surface 41, and the stereoscopic image data 32 created in FIG. As shown in FIG. 4, by arranging the slit 40 in front of the display surface (on the observer side), the left eye of the observer has only left-eye image data, and the right eye has only right-eye image data. Observe. Thereby, the observer can observe the stereoscopic image data 32 in a state where a stereoscopic effect is felt.
[0033]
Further, in the above example, an example has been described in which image data of different viewpoints intersect for each dot to generate stereoscopic image data. However, image data of different viewpoints intersect for each pixel to generate stereoscopic image data. You may. The operation of the stereoscopic image display device according to the embodiment of the present invention when the input parallax adjustment information is 0 has been described above.
[0034]
Next, a case where the input disparity amount adjustment information is not 0 will be described. The display position generation means 2 calculates display position information from the input total number of viewpoints, parallax amount adjustment information, and cutout area information, and outputs the information to the stereoscopic image data processing means 3. Here, a calculation example of the display position information calculated by the display position generation means 2 will be described with reference to FIGS. The display position information is calculated from the shift vector and the cutout area information, and the total number of viewpoints included in the created stereoscopic image data. First, the shift vector will be described.
[0035]
FIGS. 5A to 5C are diagrams showing the relationship between the pop-out distance d of the stereoscopic image data and the image data displayed on the display surface. As shown in FIG. 5A, the distance between the left and right eyes of the observer is represented by e, and the distance between the observer and the display is represented by L. The state of FIG. 5A is a state in which the pixel observed by the right eye and the pixel observed by the left eye are observed through the same slit (Q1). At this time, the pixels are observed on the display. Next, the image data to be observed with the right eye is moved leftward in the drawing, for example, by one dot. This state is shown in FIG. The pixel existing in Q1 moves to the position of Q2. At this time, the pixel observed by the left eye and the pixel observed by the right eye are observed through different slits and form an image at the position of S1, thereby producing a three-dimensional effect. The distance d from the display at this time is the pop-out distance.
[0036]
Here, as shown in FIG. 5B, the moving distance from Q1 to Q2 is w. w is a value that depends on the device (display). Further, the distance L between the display and the observer also depends on the display in the case of the parallax barrier method or the lenticular method. Therefore, in order to calculate the pop-out amount, it is necessary to know the distance L and the moving distance w between the display and the observer. The distance e between the left and right eyes of the observer is considered to be substantially constant. Based on these assumptions, the pop-out distance d is obtained by the following equation.
e: (Ld) = w: d (1)
Equation (2) is obtained from equation (1).
d = (w × L) / (e + w) (2)
[0037]
Here, the pop-out distance d and the movement distance w take positive and negative values. When the pop-out distance d takes a positive value, it indicates that the object appears to jump out of the state before the adjustment of the parallax amount. When the pop-out distance d takes a negative value, the object moves backward from the state before the adjustment of the parallax amount. Show what you can see. The moving distance w takes a positive value when moving image data observed with the right eye to the left, and takes a negative value when moving image data observed with the right eye to the right. In FIG. 5B, since w and d both take positive values, they appear to jump out by the distance of d. On the contrary, FIG. 5C shows a state in which the image data to be observed with the right eye is moved rightward, for example, by one dot from FIG. 5A. The pixel existing at Q1 moves to the position of Q3 and forms an image at the position of S2. At this time, since the moving distance w has a negative value, the pop-out distance d has a negative value according to the above equation (2). In addition, usually, in the case of an autostereoscopic stereoscopic display, even if the image data is displayed beyond the distance e of the left and right eyes of the observer, the observer cannot fuse the image data displayed on the display surface as a stereoscopic image, Since the image data appears to be double-dubbed, −e ≦ w is set. Therefore, as compared with FIG. 5A, an image can be seen in the back in FIG. 5C. When moving the image data to be observed with the left eye, the positive and negative values of the moving distance w are opposite to those when moving the image data to be observed with the right eye.
Equation (3) is obtained from equation (1).
w = (d × e) / (L−d) (3)
This moving distance w is hereinafter referred to as a shift vector. Although the description has been made in pixel units in the above description, the same applies to dot units, and the present invention can be easily applied.
[0038]
In the present embodiment, it is assumed that the shift vector is represented by the number of pixels or the number of dots by which the right-eye image data has been moved (the right direction is indicated by +, and the left direction is indicated by-). Further, when the unit of the shift vector is a dot or a pixel as described above, the shift vector value in which the actual pop-out amount d ′ is the closest to the input pop-out amount d may be used as the shift vector, (The absolute value of the pop-out amount d) ≧ (the actual pop-out amount d ′) and the value of the shift vector in which the actual pop-out amount d ′ becomes the closest value to the inputted pop-out amount d may be used as the shift vector, (Absolute value of pop-out amount d) ≦ (actual pop-out amount d ′) The value of the shift vector in which the actual pop-out amount d ′ is the closest to the input pop-out amount d may be used as the shift vector.
[0039]
As described above, the shift vector is a value indicating how much the right-eye image data is moved with respect to the left-eye image data, and the method of obtaining the value from the parallax amount adjustment information has been described.
[0040]
Next, the cut-out area information will be described. FIG. 6 shows the relationship between the image data of each viewpoint required to generate stereoscopic image data and the image display area based on the image data when the parallax amount adjustment information is not 0 (= shift vector w is not 0). FIG. For example, the shift vector is set to -W1 (W1> 0). In this case, as shown in FIG. 6A, the image data 20 of the viewpoint 2 which is the image data for the right eye is shifted by W1 to the right with respect to the image data 20 of the viewpoint 1 which is the image data for the left eye. The parallax amount is adjusted by shifting. At this time, even if the image data 21 is shifted, the width of the stereoscopic image based on the generated stereoscopic image data does not change, so that an invalid area may occur in at least one of the image data 20 and 21.
[0041]
Further, the width of the stereoscopic image based on the generated stereoscopic image data is a display area on the display unit 5, and the area having the width of reference numeral 60 in FIG. 6 corresponds to the display area. FIGS. 6A, 6B, and 6C respectively show that the display area 60 has the center (the invalid areas of the image data 20 and the image data 21 are equal) and the left end (the image data 20). 21 shows image data of each viewpoint necessary to generate stereoscopic image data when it is assumed to be at the right end (an invalid area occurs only at the image data 20).
[0042]
First, FIG. 6A is described. In this case, the display area 60 is at the center, and the image data 20 is shifted to the left and the image data 21 is shifted to the right so that the invalid areas 61 and 62 generated in the image data 20 and the image data 21 are equal. , Respectively, by W1 / 2.
[0043]
FIG. 21 is a diagram illustrating a state in which three-dimensional image data is generated from an integrated region, which is a region including image data of all viewpoints, centering on the center thereof, and three-dimensionally displayed based on the image data. For example, in FIG. 21, the amount of parallax is adjusted with respect to the image data 20 of the viewpoint 1 and the image data 21 of the viewpoint 2, and an area including the image data of all the viewpoints is set as an integrated area 210, and A line indicating the center position is denoted by 211. In this case, if the shift amounts of the image data 20 and the image data 21 are equal, the center of the display area 60 is a line 211 indicating the position of the center. In this way, stereoscopic image data is generated centering on the center of the integrated area including the image data of all viewpoints for which the parallax amount has been adjusted.
[0044]
Next, FIG. 6B will be described. In this case, the display area 60 is at the left end (the display area 60 is at the same position as the image data of the left end viewpoint), and only the image data 21 is shifted right by W1. An invalid area 63 is generated only on the left side of the image data 21. Next, FIG. 6C will be described. In this case, the display area 60 is at the right end (= the display area 60 is at the same position as the image data of the right end viewpoint), and only the image data 20 is shifted to the left by W1. An invalid area 64 occurs only on the right side of the image data 20.
[0045]
In addition, since the values in the invalid areas 61 to 64 described above are interpolated by the image data interpolation means 4 (FIG. 1), when the stereoscopic image data processing means 3 (FIG. 1) generates stereoscopic image data. In this case, the value of the invalid area may be indefinite.
[0046]
As described above, the cutout area information indicates whether the display area is located at the center, at the left end, or at the right end, as described with reference to FIGS. And the definition of the cutout area information for each is “center”, “left end”, and “right end”. Next, each of shift vector and cutout area information, display position information calculated from the total number of viewpoints included in the created stereoscopic image data, and stereoscopic image data generated at that time will be described.
[0047]
First, the case where the cutout area information is “center” will be described. FIG. 7 is a diagram illustrating stereoscopic image data generated when the total number of viewpoints is “2”, the shift vector is “−1 dot”, and the cutout area information is “center”. Since the shift vector is “−1 dot” and the cutout area information is “center”, an image in which the image data 30 of the viewpoint 1 is shifted 0.5 dots to the left and the image data 31 of the viewpoint 2 is shifted 0.5 dots to the right The stereo image data 32 is generated using the data.
[0048]
Therefore, since the image data 31 of the viewpoint 2 is shifted by one dot to the right with respect to the image data 30 of the viewpoint 1, the shift vector satisfies the condition of “−1 dot”. Since the invalid areas of the image data 31 are equal, the condition that the cut-out area information is “center”, ie, the display area is “center” is also satisfied. However, since the actually generated stereoscopic image data 32 is image data in dot units, it is practically impossible to shift the image data by 0.5 dot. Therefore, it is necessary to shift one of the image data 30 and the image data 31 by one dot. This is a problem that always occurs when the shift vector is an odd number and the cutout area information is “center”. In this case, the absolute value of the shift amount of the image data of the viewpoint 1 is determined by the shift amount of the image data of the viewpoint 2. Should be less than or equal to the absolute value of the quantity.
[0049]
The above-described stereoscopic image data shifted in dot units will be described. For example, in a general display in which the display positions of the respective color components of RGB are repeatedly arranged in the horizontal direction in the order of RGB, it is necessary to consider and shift by the unit of each color component. When the image data 31 is shifted to the right by one dot as shown in FIG. 7, R20 moves from the position 70 before the shift to the position 71 which is the position immediately to the right of the same color component. That is, only the R component in the image data 31 is shifted on the position where the R component exists in the image data 31. Practically, as shown by an arrow in FIG. 7, R20 moves by three dots at a position on the image data, but does not shift the G component and the B component. When an observer observes an RGB display, he observes three dots of RGB as one pixel, but it is sufficient if one element of each of RGB is present in one pixel. , Or BRG, the observer can recognize it as one pixel. Therefore, in this case, the observer observes image data in which the image data 31 is shifted to the right by one dot.
[0050]
Similarly, for example, to shift two dots to the right, to shift the R and G components one dot to the right where a dot of the same color component is located, and to shift three dots to the right, all of the R, G, and B components are shifted. The component is shifted to the position where there is a dot of the same color component one adjacent to the right.
[0051]
Hereinafter, the above procedure is summarized as follows. For example, when shifting to the right by k (k is an integer of 0 or more) dots, shifting is performed in the order of RGB. If the value of (k / 3) is 1 to the position of the R component k / 3 away from the target, the value of (k / 3) is 2 to the position of the R component to the right (k + 2) / 3 away In the case of, it is shifted to the position of the component of R which is (k + 1) / 3 to the right.
[0052]
When the value of (k / 3) is 0, the component of G is shifted to the position of the component of G at a distance of k / 3 to the right, and when the value of (k / 3) is 1, the value of (k-1) is shifted to the right. If the value of (k / 3) is 2 to the position of the G component distant by / 3, it is shifted to the right by the position of the G component (k + 1) / 3.
[0053]
If the value of (k / 3) is 0, the component of B is shifted to the position of the component of B which is k / 3 to the right, and if the value of (k / 3) is 1, the value of (k-1) is shifted to the right. If the value of (k / 3) is 2 to the position of the B component distant by / 3, the position is shifted to the position of the B component to the right by (k-2) / 3.
[0054]
Also, for example, when shifting to the left by k (k is an integer) dots, the shifting is performed in the order of BGR, contrary to shifting to the right. That is, if the component of (k / 3) is 0, the component of B is up to the position of the component of B at a distance of k / 3 to the left, and if the component of (k / 3) is 1, the component is (k + 2) to the left. If the value of (k / 3) is 2 to the position of the B component at a distance of / 3, the position is shifted to the position of the B component at a position (k + 1) / 3 to the left.
[0055]
When the value of (k / 3) is 0, the component of G is up to the position of the component of G at a distance of k / 3 to the left, and when the value of (k / 3) is 1, the value of (k-1) is left. If the value of (k / 3) is 2 to the position of the G component at a distance of / 3, the position is shifted to the position of the G component at a distance of (k + 1) / 3 to the left.
[0056]
The component of R is the position of the component of R which is k / 3 to the left when (k / 3) is too small, and is (k-1) to the left when the value of (k / 3) is 1 to the left. If the value of (k / 3) is 2 to the position of the R component distant by / 3, the position is shifted to the position of the R component distant by (k-2) / 3 to the left.
[0057]
In the above, a description has been given of how to shift in a unit of dot in a general display in which the display positions of the RGB color components are repeatedly arranged in the horizontal direction in the order of RGB.
[0058]
Next, the display position information will be described. In this specification, a set of a shift vector obtained from parallax adjustment information and a shift amount of image data of each viewpoint obtained in consideration of cut-out area information is defined as display position information. For example, in the above case, the shift amount of the viewpoint 1 is 0 dot, and the shift amount of the viewpoint 2 is 1 dot to the right, so that the display position information is (0, 1). However, here, the shift amount of each viewpoint is an integer with a sign, and is positive when shifted to the right and negative when shifted to the left. As described above, the display position information is generated based on the display area for displaying the stereoscopic image based on the stereoscopic image data. As described above, the display position information calculated from the parallax amount adjustment information and the cut-out area information is output from the display position generating means 2 shown in FIG.
[0059]
The three-dimensional image data processing means 3 shifts the input image data based on the display position information, and alternately arranges the shifted input image data in a strip shape for each one-dot image data to generate the three-dimensional image data 32. Output to the data interpolation means 4. The created stereoscopic image data 32 is “R10, G20, B10, R20, G11, B21, R12, G22, B12, R22, G13, B23” as shown in FIG. At the same time, the display position generating means 2 transmits to the image data interpolating means 4 information indicating that there is no "invalid area", that is, information indicating that there is no area requiring interpolation, as invalid area information. I do. The image data interpolation means 4 determines that there is no area to be interpolated based on this information, and outputs the stereoscopic image data input to the display means 5 as it is. The display means 5 displays a stereoscopic image based on the input stereoscopic image data.
[0060]
In the above-described procedure, the parallax amount is adjusted such that the absolute value of the shift amount of the image data of the viewpoint 1 is equal to or smaller than the absolute value of the shift amount of the image data of the viewpoint 2. The parallax amount may be adjusted so that the absolute value of the shift amount of the image data of the first viewpoint is equal to or smaller than the absolute value of the shift amount of the image data of the viewpoint 1. The observer may be allowed to select which absolute value of the shift amount should be reduced, and the parallax amount may be adjusted based on the observer's selection.
[0061]
For example, assuming that the display unit 5 is a display unit that can switch and display between stereoscopic display and normal 2D display, in the case of 2D display, image data of a predetermined viewpoint included in stereoscopic image data is used. Image data for 2D display is created, and 2D display is performed. At this time, with respect to image data of a predetermined viewpoint used for creating image data for 2D display, the absolute value of the shift amount is set to be the smallest among the absolute values of the shift amounts in the image data of all viewpoints. The amount of parallax may be adjusted. With this configuration, when displaying a stereoscopic image based on stereoscopic image data in which the amount of parallax has been adjusted by shifting the image data, it is possible to reduce the shift of the display position required when switching from stereoscopic display to 2D display. Can be.
[0062]
Next, the operation of the display position generating means 2 and the stereoscopic image data processing means 3 when the total number of viewpoints is "2", the shift vector is "-2 dots", and the cutout area information is "center" explain. FIG. 8 shows stereoscopic image data generated when the total number of viewpoints is “2”, the shift vector is “−2 dots”, and the cutout area information is “center”. Since the shift vector is “−2 dots” and the cut-out area information is “center”, the image data 30 of the viewpoint 1 is shifted by one dot to the left and the image data 31 of the viewpoint 2 is shifted by one dot to the right. The stereo image data 32 is generated using the data. In this case, the display position information generated by the display position generating means 2 is (−1, 1), and the stereoscopic image data 32 generated by the stereoscopic image data processing means 3 is “R10, G20, B11, R20, G11, B21, R12, G22, B13, R22, G13, B23 ", and a three-dimensional display can be performed in the same manner as described with reference to FIG.
[0063]
Next, the display position generating means 2 and the stereoscopic image data processing means when the total number of viewpoints is "2", the shift vector is "-3 dots", and the cutout area information is "center" Operation 3 will be described. FIG. 9 shows stereoscopic image data generated when the total number of viewpoints is “2”, the shift vector is “−3 dots”, and the cutout area information is “center”. Since the shift vector is “−3 dots” and the cutout area information is “center”, an image in which the image data 30 of the viewpoint 1 is shifted by one dot to the left and the image data 31 of the viewpoint 2 is shifted by two dots to the right The stereo image data 32 is generated using the data. In this case, the display position information generated by the display position generating means 2 is (−1, 2), and the stereoscopic image data 32 generated by the stereoscopic image data processing means 3 is “R10, G no (R no, G None, B nothing means dots in an invalid area generated by shifting in each of the RGB components, and the value is an indefinite value.), B11, R20, G11, B21, R12, G21, B13, R22, G13, B23 ".
[0064]
As described above, in the generated three-dimensional image data 32, there is an “indefinite value” in an invalid area caused by shifting the input image data. In this case, the display position generation unit 2 transmits to the image data interpolation unit 4 invalid area information indicating the position in the stereoscopic image data 32 where the “undefined value” exists. At the same time, the stereoscopic image data 32 generated from the stereoscopic image data processing unit 3 is input to the image data interpolation unit 4. The image data interpolation means 4 performs interpolation on an indefinite value of the stereoscopic image data 32 using the input invalid area information.
[0065]
A first method of interpolation can use a method of substituting a predetermined value for each color component into an indefinite value “a set of RGB including O1” O0, O1, and O2. Alternatively, as a second method of interpolation, "a set of RGB including O1 which is an indefinite value" O0, O1, O2, and "a set of RGB not including O1 closest to O1" O3, O4 , O5, a predetermined value at O0 and O3 (R), a predetermined value at O1 and O4 (G), a predetermined value at O2 and O5 (B), and so on. A method of substituting a predetermined value for each color component may be used.
[0066]
As a third method of interpolation, O1 which is an indefinite value is displayed as image data at a position closest to O1 (G), the same color component (G), and adjacent different viewpoints. Alternatively, a method of substituting a predetermined value for “O4” which is a dot to be used may be used.
[0067]
As a fourth method of interpolation, with respect to O1, which is an indefinite value, "image data of an adjacent viewpoint located at a position closest to O1 and having the same color component (for example, O1 If so, a method of substituting the value of O4, which is a dot displayed as left image data), may be used.
[0068]
As a fifth method of interpolation, an indeterminate value O1 is displayed as image data at the position closest to O1 (G), the same color component (G), and the same viewpoint (R). Alternatively, a method of substituting the value of “O7” which is a dot to be used may be used.
[0069]
A stereoscopic image based on the stereoscopic image data interpolated by using any of the methods described above is output to the display means 5, and the display means 5 performs stereoscopic display.
The case where the cut-out area information is “center” has been described above in the case where the stereoscopic display device according to the embodiment of the present invention performs stereoscopic display.
[0070]
Hereinafter, the operation of the stereoscopic image display device 1 according to the embodiment of the present invention when the cutout area information is “left end” and “right end” will be described. The operation of the image data interpolation means 4 and the display means 5 operates in the same manner as the case where the cut-out area information is “center”, and therefore the description is omitted, and the display position information generated by the display position generation means 2 and The three-dimensional image data generated by the three-dimensional image data processing means 3 will be described.
[0071]
First, the case where the cutout area information is “left end” will be described. Operation of display position generating means 2 and stereoscopic image data processing means 3 when the total number of viewpoints is "2", the shift vector is "-1 dot", and the cutout area information is "left end" explain. FIG. 10 is a diagram illustrating stereoscopic image data generated when the total number of viewpoints is “2”, the shift vector is “−1 dot”, and the cutout area information is “left end”. Since the shift vector is “−1 dot” and the cutout area information is “left end”, the image data 30 of the viewpoint 1 and the image data of the viewpoint 2 shifted by one dot to the right are used. To generate stereoscopic image data 32. In this case, the display position information generated by the display position generating means 2 is (0, 1), and the stereoscopic image data 32 generated by the stereoscopic image data processing means 3 is “R10, G20, B10, R20, G11”. , B21, R12, G22, B12, R22, G13, B23 ".
[0072]
Next, when the total number of viewpoints is “2”, the shift vector is “−2 dots”, and the cutout area information is “left end”, the display position generating means 2 and the stereoscopic image data processing means 3 The operation of will be described. FIG. 11 is a diagram showing stereoscopic image data generated when the total number of viewpoints is “2”, the shift vector is “−2 dots”, and the cutout area information is “left end”. is there. Since the shift vector is “−2 dots” and the cutout area information is “left end”, the image data 30 of the viewpoint 1 and the image data of the image data 31 of the viewpoint 2 shifted by two dots to the right are used. To generate stereoscopic image data 32. In this case, the display position information generated by the display position generating means 2 is (0, 2), and the stereoscopic image data 32 generated by the stereoscopic image data processing means 3 is “R10, G nothing, B10, R20, G11”. , B21, R12, G21, B12, R22, G13, B23 ".
[0073]
Next, a case where the cutout area information is “right end” will be described. First, when the total number of viewpoints is “2”, the shift vector is “−1 dot”, and the cutout area information is “right end”, the display position generation unit 2 and the stereoscopic image data processing unit 3 The operation will be described. FIG. 12 is a diagram illustrating stereoscopic image data generated when the total number of viewpoints is “2”, the shift vector is “−1 dot”, and the cutout region information is “right end”. is there. Since the shift vector is “−1 dot” and the cut-out area information is “right end”, the image data 30 of the viewpoint 1 is shifted by one dot to the left and the image data 31 of the viewpoint 2 are used. The stereoscopic image data 32 is generated. In this case, the display position information generated by the display position generating means 2 is (-1, 0), and the stereoscopic image data 32 generated by the stereoscopic image data processing means 3 is "R10, G20, B11, R21, G11, B21, R12, G22, B13, R23, G13, B23 ".
[0074]
Next, when the total number of viewpoints is “2”, the shift vector is “−2 dots”, and the cutout area information is “right end”, the display position generating means 2 and the stereoscopic image data processing means 3 The operation of will be described. FIG. 13 shows stereoscopic image data generated when the total number of viewpoints is “2”, the shift vector is “−2 dots”, and the cutout area information is “right end”. Since the shift vector is “−2 dots” and the cutout area information is “right end”, the image data of viewpoint 1 is shifted by 2 dots to the left and the image data 31 of viewpoint 2 are used. The stereoscopic image data 32 is generated. In this case, the display position information generated by the display position generating means 2 is (−2, 0), and the stereoscopic image data 32 generated by the stereoscopic image data processing means 3 is “R10, G20, B11, R21, G12”. , B21, R12, G22, B13, R23, no G, B23 ".
[0075]
As described above, the stereoscopic image display device according to the present embodiment generates display position information using the total number of viewpoints, cutout region information, and parallax amount adjustment information, and the generated display position information, It is possible to generate stereoscopic image data that has been subjected to parallax adjustment using the input image data of the two viewpoints as good image data without a sense of discomfort.
[0076]
Next, the operation of the stereoscopic image display device 1 when the total number of viewpoints is “3”, that is, when image data of three viewpoints is input as the input image data Din, will be described.
[0077]
First, the image data of the three viewpoints input to the stereoscopic image display device 1 is converted by the stereoscopic image data processing means 3 into data that can be stereoscopically displayed. For example, in the case of a three-dimensional image display device using a parallax barrier method or a lenticular method, the three-dimensional processing unit 3 generates three-dimensional image data in which image data of each viewpoint are alternately arranged in a strip shape in the order of viewpoints. In the description of the display means 5 of the three-dimensional image display device 1 when the above-described image data of two viewpoints is input, the description has been made on the assumption that the display is performed by arranging RGB in the horizontal direction. The image data may be displayed by arranging RGB in the vertical direction.
[0078]
When stereoscopic image data is generated by alternately arranging image data of three or more viewpoints in a strip shape for each dot, the display means for arranging RGB in the vertical direction and displaying an image based on the image data is better for each color component of RGB. Since it is sufficient to create the barrier and the lenticular with the same arrangement every time, the explanation of the creation of the stereoscopic image data and the adjustment of the parallax amount is simplified.
[0079]
Therefore, hereinafter, only the R component of RGB will be described in the case where display means for displaying images based on image data by arranging RGB in the vertical direction is used. The remaining G and B components are processed in the same manner as the R component, and thus the description is omitted. In addition, one pixel when a display unit that displays images based on image data by arranging RGB vertically is used is a combination of RGB dots that are continuously adjacent in the vertical direction.
[0080]
FIG. 14 is a diagram illustrating an example of image data of a third viewpoint input to the stereoscopic image display device 1. For example, the image data 20 of the viewpoint 1 and the image data 21 of the viewpoint 2 as shown in FIG. 2 and the image data 140 of the viewpoint 3 as shown in FIG. Stereoscopic image data is generated by arranging the image data of each viewpoint in a strip shape, for example, for each R component dot, alternately and in the order of viewpoints.
[0081]
FIG. 15 is a diagram illustrating an example of a method of creating an R component in stereoscopic image data displayed on a parallax barrier or lenticular stereoscopic image display device when image data of three viewpoints is input. Hereinafter, when the stereoscopic image data is generated, the same method is used for all the horizontal lines, and therefore, only one horizontal line will be described here for simplicity. The image data 20 of the viewpoint 1, the image data 21 of the viewpoint 2, the image data 140 of the viewpoint 3 (FIG. 14), and the image data per line in the horizontal direction of the R component of the stereoscopic image data generated using these are These are referred to as image data 150 per line at viewpoint 1, image data 151 per line at viewpoint 2, image data 152 per line at viewpoint 3, and stereoscopic image data 153 per line, respectively. For example, as shown in FIG. 15, it is assumed that each line of the R component data is composed of 9 dot data.
[0082]
R component image data 150, 151, and 152 are Rlm, (1 is an integer representing a viewpoint number, m is an integer representing a position of a dot from the left end, and 1 ≦ l ≦ 3, respectively, and 0 ≦ m ≦ 8. ), And the R component dot of the stereoscopic image data 153 is Py (y is an integer of 0 ≦ y ≦ 11). As shown in FIG. 15, the stereoscopic image data 153 is obtained by repeatedly arranging dots of image data having different viewpoints for each dot in the order of viewpoints 1, 2, and 3 to form R10, R21, R32, R13, R24, R35, R16, R27 and R38 are generated in this order. Thus, the three-dimensional image data processing means 3 generates three-dimensional image data.
[0083]
In FIG. 1, similarly to the case of two viewpoints, the total number of viewpoints, the parallax adjustment information, and the cutout area information are input to the display position generation unit 2 from outside. First, a case where the input parallax adjustment information is 0 will be described. The operations of the display position generating means 2 and the image data interpolating means 4 perform the same operations as described in the case of two viewpoints, and the three-dimensional image data processing means 3 The image data is generated, and the display unit 5 stereoscopically displays the generated image data.
[0084]
FIG. 16 is a diagram illustrating an example of the display unit 5 using the parallax barrier method when displaying stereoscopic image data composed of image data of three viewpoints. The basic configuration is shown in FIG. 1, and FIG. 1 will be referred to as appropriate. The display unit 5 includes a slit 160 and a display surface 161, and the stereoscopic image data 153 created in FIG. 15 is displayed on the display surface 161. As shown in FIG. 16, by arranging the slit 160 in front of the display surface, only the image data of the viewpoint 1 is observed with the left eye of the observer at the observation position 1 and only the image data of the viewpoint 2 is observed with the right eye. Is done. Similarly, only the image data of the viewpoint 2 is observed by the left eye of the observer at the observation position 2, and only the image data of the viewpoint 3 is observed by the right eye. Thus, the observer can observe the stereoscopic image data 153 with a stereoscopic effect.
[0085]
Next, a case where the input disparity amount adjustment information is not 0 will be described. In the display position generating means 2, display position information is calculated from the input total number of viewpoints, parallax amount adjustment information and cutout area information, and is output to the stereoscopic image data processing means 3.
[0086]
FIG. 17 is a diagram illustrating a relationship between image data of each viewpoint required to generate stereoscopic image data when the disparity amount adjustment information is not 0 (= shift vector w is not 0) and a display area of the image data. It is. For example, the shift vector is set to -W1 (W1> 0). In this case, as shown in FIG. 17A, the image data 21 of the viewpoint 2 and the viewpoint 3 are shifted to the right by W1 with respect to the image data 20 of the viewpoint 1, and further, the image data 20 of the viewpoint 2 is shifted. Then, the parallax amount is adjusted by shifting the image data of the viewpoint 3 to the right by W1. At this time, the shift vector obtained from the parallax adjustment information adjusts the parallax by shifting the image data by the same amount in all the image data of the adjacent viewpoints. Even if the image data is shifted in this manner, the width of the stereoscopic image based on the generated stereoscopic image data does not change, so that an invalid area occurs in any of the image data 20, 21, and 140 of each viewpoint in the display area. I do.
[0087]
FIGS. 17A, 17B, and 17C respectively show that the cutout area information is “center” (an invalid area occurs in the image data 20 and the image data 140, and the invalid areas generated in each of them are equal). In the same manner), "left end" (an invalid area occurs between the image data 21 and the image data 140), and "right end" (an invalid area occurs between the image data 20 and the image data 140). 3 shows image data of each viewpoint necessary for generating stereoscopic image data.
[0088]
If the cut-out area information is “center” and the total number of viewpoints is an odd number such as “3”, in order to make the invalid areas of the image data 20 and the image data 140 equal, the viewpoints at the center are determined. Preferably, the image data 21 is used as a display area. In this way, no invalid area is generated in the image data 21 of the viewpoint at the center in the display area, and the image data 20 and the image data 140 of the left and right adjacent viewpoints of the image data 21 are not generated. Invalid areas are equal.
[0089]
First, description will be made with reference to FIG. As shown in FIG. 17A, the cut-out area information is “center” (= the display area 60 is located at the same position as the image data of the center viewpoint), and the image data 20 and the image data 140 are adjacent to each other. The image data 20 is shifted to the left, the image data 140 is shifted to the right, and W1 is shifted by W1 so that the invalid areas 170 and 171 generated at the same time are equal to each other. Next, description will be made with reference to FIG. In this case, the cutout area information is “left end” (= the display area 60 is at the same position as the image data of the left end viewpoint), and the image data 21 and the image data 140 are shifted right by W1. Data 140 is shifted W1 to the right (total, image data 140 is shifted 2 * W1 to the right). In this case, invalid areas 172 and 173 are generated on the left of the image data 21 and the image data 140, respectively.
[0090]
Next, description will be made with reference to FIG. In this case, the cutout area information is “right end” (= the display area 60 is at the same position as the image data of the right end viewpoint), and the image data 20 and the image data 21 are shifted to the left by W1. Further, the image data 20 is shifted to the left by W1 (total, the image data 20 is shifted by 2 * W1 to the left). In this case, invalid areas 174 and 175 are generated on the right of the image data 20 and the image data 21, respectively.
[0091]
Since the values in the invalid area described above are interpolated by the image data interpolating means 4, when the stereoscopic image data processing means 3 generates the stereoscopic image data, the value of the invalid area is indefinite. good.
[0092]
Even when the input is image data of three viewpoints, as in the case of two viewpoints, the display position information is obtained from the shift vector and the cutout region information described above and the total number of viewpoints included in the created stereoscopic image data. Can be calculated.
[0093]
Display position information calculated in the case of three viewpoints and generated stereoscopic image data will be described with reference to FIGS. First, the case where the cutout area information is “center” will be described.
[0094]
FIG. 18 is a diagram illustrating stereoscopic image data generated when the total number of viewpoints is “3”, the shift vector is “−2 dots”, and the cutout area information is “center”. is there. Since the shift vector is “−2 dots” and the cutout area information is “center”, the image data 151 of the viewpoint 2 which is the center viewpoint is not shifted, and the image data 150 of the viewpoint 1 is shifted by 2 dots to the left. The stereoscopic image data 153 is generated using image data obtained by shifting the image data 152 of the viewpoint 2 by two dots to the right.
[0095]
Therefore, the image data 151 of the viewpoint 2 is shifted to the right by two dots with respect to the image data 150 of the viewpoint 1, and the image data 152 of the viewpoint 3 is shifted to the right by two dots with respect to the image data 151 of the viewpoint 2. Therefore, the shift vector satisfies the condition of “−2 dots” between the image data of the adjacent viewpoints.
[0096]
In addition, since the invalid area of the image data 150 of the viewpoint 1 is equal to the invalid area of the image data 152 of the viewpoint 3, and the invalid area does not occur in the image data 151 of the viewpoint 2 which is the central viewpoint, the display area is set to “center”. ".
[0097]
Here, as in the case of the two viewpoints, when the display position information is expressed by a set of the shift amounts of the image data of each viewpoint, the number of viewpoints is three. For example, in the above case, the shift amount of the viewpoint 1 is shifted to the left. Two dots, the shift amount of the viewpoint 2 is two dots to the right, and the display position information is (2, 0, -2). As described above, the display position information calculated from the parallax amount adjustment information and the cut-out area information is output from the display position generation unit 2 to the stereoscopic image data processing unit 3.
[0098]
The three-dimensional image data processing means 3 shifts the input image data in the horizontal direction based on the display position information, and arranges the shifted input image data alternately, in strips, and in the order of viewpoints for each image data of one dot. The stereoscopic image data 32 is generated and output to the image data interpolation means 4. The created stereoscopic image data 32 is “R12, R21, R30, R15, R24, R33, R18, R27, R36” as shown in FIG.
[0099]
At the same time, the display position generating means 2 transmits information indicating that there is no area to be interpolated to the image data interpolating means 4. Based on this information, the image data interpolation means 4 determines that there is no area to be interpolated, and outputs the stereoscopic image data input to the display means 5 as it is. The display means 5 displays a stereoscopic image based on the input stereoscopic image data.
[0100]
Next, a case where the cutout area information is “left end” will be described. First, when the total number of viewpoints is “3”, the shift vector is “−2 dots”, and the cutout area information is “left end”, the display position generating means 2 and the stereoscopic image data processing means 3 Will be described. FIG. 19 is a diagram illustrating stereoscopic image data generated when the total number of viewpoints is “3”, the shift vector is “−2 dots”, and the cutout area information is “left end”. . Since the shift vector is “−2 dots” and the cutout area information is “left end”, the image data 150 and the image data 151 of the viewpoint 2 are shifted from the image data 150 of the viewpoint 1 by two dots to the right. Then, the stereoscopic image data 153 is generated by using the image data 152 of the viewpoint 3 and the image data obtained by shifting the image data 152 to the right by four dots. In this case, the display position information generated by the display position generation means 2 is (0, 2, 4), and the stereoscopic image data 153 generated by the stereoscopic image data processing means 3 is "R10, R nothing, R nothing". , R13, R22, R31, R16, R25, R34 ".
[0101]
The three-dimensional image data processing means 3 sends the three-dimensional image data 153 and the display position generating means 2 sends the position of the dot having an indefinite value to the interpolation means 4, respectively. Next, a description will be given of an interpolating process performed by the interpolating means 4 on a dot having an undefined value. Here, a set of dots including one dot from all viewpoints is referred to as a “set of viewpoints”. For example, “P0, P1, P2” defines a first viewpoint set, “P3, P4, P5” defines a second viewpoint set, and “P6, P7, P8” defines a third viewpoint set. I do. A first method of interpolation may be a method of assigning a certain common predetermined value to all of the first set of viewpoints P0, P1, and P2 including the indefinite values P1 and P2. For example, the first viewpoint pair is displayed such that black image data is obtained.
[0102]
By performing the interpolation in this way, a portion where no pixel data is generated due to the adjustment of the amount of parallax in stereoscopic image data including image data of three viewpoints is observed regardless of the observer's position. You can make it impossible.
[0103]
Further, as another second interpolation method, when there is a non-uncertain value in the same viewpoint set, any of the non-indeterminate values in the same viewpoint set is used to replace all non-indeterminate values in the viewpoint set. May be substituted. For example, a method of substituting the value of P0 which is the same set of the first viewpoint and is not an indefinite value into P1 and P2 which are the first set of viewpoints may be used.
[0104]
By performing the interpolation in this manner, a portion where no pixel data is generated by adjusting the amount of parallax in stereoscopic image data including image data of three viewpoints can be observed in 2D from any position by the observer. You can do so.
[0105]
As another third interpolation method, P1 which is a first viewpoint set is included in a viewpoint set closest to the first viewpoint set and is displayed as image data of the same viewpoint. It is also possible to substitute the value of P4 which is a dot that is not an indefinite value, and to substitute the value of P4 for P2.
[0106]
Accordingly, P1 corresponds to P0, and when the observer observes the image data of the first viewpoint including P0 and the image data of the second viewpoint including P1, it is an interpolated portion. Can also be observed as three-dimensional.
[0107]
Further, as another fourth interpolation method, the image of the same viewpoint is set in the viewpoint set closest to the first viewpoint set with respect to the first viewpoint set P1 (or P2). The value of P4 (or P5), which is a dot displayed as data and is not an indefinite value, may be substituted. Accordingly, P2 corresponds to P1, and when the observer observes the image data of the second viewpoint including P1 and the image data of the third viewpoint including P2, even if the interpolated portion is a three-dimensional image. Can be observed. The image data interpolation means 4 outputs the interpolated stereoscopic image data to the display means 5. The display means 5 stereoscopically displays the input stereoscopic image data.
[0108]
Next, a case where the cutout area information is “right end” will be described. First, when the total number of viewpoints is “3”, the shift vector is “−2 dots”, and the cutout area information is “right end”, the display position generating means 2 and the stereoscopic image data processing means 3 Will be described. FIG. 20 shows stereoscopic image data generated when the total number of viewpoints is “3”, the shift vector is “−2 dots”, and the cutout area information is “right end”. Since the shift vector is “−2 dots” and the cut-out area information is “right end”, the image data 150 obtained by shifting the image data 150 of the viewpoint 1 to the left by 4 dots and the image data 151 of the viewpoint 2 to the left Using the image data shifted by 2 dots and the image data 152 of the viewpoint 3, stereoscopic image data 153 is generated. In this case, the display position information generated by the display position generation unit 2 is (−4, −2, 0), and the stereoscopic image data 153 generated by the stereoscopic image data processing unit 3 is “R14, R23, R32”. , R17, R26, R35, no R, no R, R38 ".
[0109]
As in the case described with reference to FIG. 19, the three-dimensional image data processing unit 3 sends the three-dimensional image data 153 and the display position generation unit 2 sends the dot position having an indefinite value to the interpolation unit 4. Interpolation processing for dots of indefinite values in the interpolation means 4 is performed in the same manner as in FIG. 19, and the image data interpolation means 4 outputs the interpolated stereoscopic image data to the display means 5. The display means 5 displays a stereoscopic image based on the input stereoscopic image data.
[0110]
As described above, the stereoscopic image display device according to the present embodiment generates display position information using the total number of viewpoints, cutout region information, and parallax amount adjustment information, and generates the generated display position information and the three input positions. It is possible to generate stereoscopic image data that has been subjected to parallax adjustment using the image data of the viewpoint and good stereoscopic image data with less discomfort.
[0111]
Also, the case where the input image data has two viewpoints and the case where the input image data has three viewpoints has been described above, but the case of the viewpoint a (where a is an integer of 4 or more) is extended in the same manner as when extending from two viewpoints to three viewpoints. Thereby, the parallax-adjusted stereoscopic image data can be generated as favorable stereoscopic image data with less discomfort.
[0112]
As described above, when displaying the stereoscopic image data in which the amount of parallax has been adjusted, it is determined based on which position with respect to the integrated area, such as “left end”, “right end”, “center”, etc. By specifying and adjusting the amount of parallax, it is possible to freely set and change the position of a portion where stereoscopic viewing becomes difficult due to the absence of pixel data.
[0113]
In particular, when the cut-out area information is set to “center”, the place where interpolation must be performed is dispersed to the left and right ends of the stereoscopic image data, compared to the case where the cut-out area information is set to “left end” or “right end”. In addition, by making it difficult for the observer to determine a portion where stereoscopic vision becomes difficult due to inability to correctly perform interpolation, it is possible to generate good stereoscopic image data with less discomfort. Further, in the above description, the case where there are only three types of cutout area information, “center”, “left end”, and “right end” has been described, but the cutout area information may be near the center, the left end, and the right end.
[0114]
The cutout area information is not limited to the above three types, and may be b types of neighborhood (b is a positive integer). For example, a position shifted by c (c is a positive integer) dots (or pixels) from the left end of the integrated region to the integrated region including the image data of all viewpoints for which the amount of parallax has been adjusted is set as the left end of the display region. For example, the definition of the cutout area information may be plural. In the above case, in consideration of the position of the display area specified by the cut-out area information, stereoscopic image data in which the amount of parallax has been adjusted in the same manner as described above is generated. At this time, the value of c itself may be used as the cutout area information.
[0115]
Further, in the above example, the cut-out area information is defined as c dots from the left end of the integrated area, but may be shifted from any predetermined location. For example, the dot may be shifted by c dots from the center or right end of the integrated area. Further, the definition of the cutout area information at this time may be changed according to the total number of viewpoints. For example, the cut-out area information of two viewpoints is defined as three of “left end”, “right end”, and “center”, and the cut-out area information of 16 viewpoints is a display area obtained by equally dividing the integrated area into 16 in the horizontal direction. The definition may be switched for each total number of viewpoints.
[0116]
For example, the observer may switch the definition of the cutout area information so that the image data of the viewpoint included in the observation position of the observer is displayed closer to the center of the display area as the number of viewpoints increases. . In this way, by switching the definition of the cut-out area information for each total number of viewpoints, the degree of freedom of stereoscopic display when adjusting the amount of parallax can be increased. Alternatively, image data of a viewpoint may be designated as the definition of the cutout area information. In this case, the parallax amount is adjusted using the position of the image data of the designated viewpoint as a display area. Therefore, there is no occurrence of an invalid area in the image data of the designated viewpoint, and all of them can be displayed.
[0117]
Further, the definition of the cutout area information at this time may include not only the specification in the horizontal direction but also the specification in the vertical direction. For example, the position of the display area may be a position one pixel right in the horizontal direction and one pixel down in the vertical direction from the upper left of the integrated area. In this manner, the degree of freedom of stereoscopic display when adjusting the amount of parallax can be increased. In the above description, an invalid area generated by adjusting the amount of parallax is interpolated by the interpolation means 4 and displayed on the display means 5, but the invalid area information is substituted into the display means 5, For example, in the case of displaying a three-dimensional image with a frame, the size of the display area may be reduced, and the three-dimensional image may be displayed without an invalid area.
[0118]
Furthermore, whether or not to perform the stereoscopic display while omitting the invalid area may be switched by an observer inputting from outside. By not displaying the invalid area in this way, even if interpolation cannot be performed correctly, the observer can observe an image based on stereoscopic image data without a sense of incongruity. When adjusting the amount of parallax, after adjusting the amount of parallax, an invalid area (or an area not included in the display area) in the image data of at least one viewpoint in each viewpoint image data existing in the display area. If X (X is 0 ≦ X ≦ 100)% or more of the entire image data of the viewpoint, the parallax amount is adjusted so that the absolute value of the parallax amount changed to be smaller than X% becomes smaller. Alternatively, the observer may be notified that the invalid area (or the area not included in the display area) exceeds X% of the entire area. Thus, it is possible to prevent a region that can be stereoscopically viewed from decreasing due to an increase in invalid regions due to the adjustment of the amount of parallax.
[0119]
In addition, the total number of viewpoints, the cutout area information, and the parallax amount adjustment information that are input to the stereoscopic image display device according to the embodiment described above may be input by the observer. Further, the total number of viewpoints, cutout area information, parallax amount adjustment information, and input image data Din input to the stereoscopic image display device of the present embodiment are all included in one data such as, for example, 3D format data. No problem. In this case, by providing a separating unit for separating each of the total number of viewpoints, the cutout area information, the parallax amount adjustment information, and the input image data Din from the 3D format data in the preceding stage of the stereoscopic image display device 1, These data may be input to the device 1.
[0120]
In addition, in case the 3D format data includes data that is not included in any of the total number of viewpoints, the cutout area information, and the parallax adjustment information, the respective values are set by default in the terminal. If there is data that is not included in the data, the terminal default value may be used instead.
[0121]
Further, when the cutout region information and the parallax amount adjustment information are used in the stereoscopic image display device 1, which of the values input by the observer, the values of the 3D format data, and the values set as defaults in the terminal, The value may be used, and the observer may be allowed to freely set which value to use.
[0122]
The 3D format data is a file format including the total number of viewpoints, cutout area information, parallax adjustment information, input image data Din, and the like, such as broadcast and streaming data and data on tape media. Any format data may be used.
[0123]
FIG. 22 is a diagram illustrating an example of 3D format data in a file. For example, as shown in FIG. 22, the 3D image data file includes a management information area and an image data area. The image data area includes input image data Din, and the management information area includes the total number of viewpoints and cutout. A 3D image data file may be configured as 3D format data that includes the area information and the parallax adjustment information.
[0124]
Next, the management information area of the 3D image data file will be described in detail.
The management information area includes “image data information”, “information for stereoscopic image data (hereinafter, referred to as 3D information)”, and “each viewpoint image data information”. The “image data information” includes information on the entire image data such as the size of the image data and the reproduction time of a moving image, and the “each viewpoint image data information” includes information necessary for decoding each image data ( For example, information such as MPEG-4 technology is used as an encoding technique), but “3D information” includes information specific to a stereoscopic image such as the total number of viewpoints, cutout area information, and parallax adjustment information. It is. Also, when playing back a 3D image data file, a header indicating the presence of the 3D information is required so that the device can correctly read the 3D information. For this reason, an area for recording the stereoscopic image data (3D image) identification information is provided at the head of the 3D information. The 3D image identification information indicates the presence of the 3D information and indicates that the subsequent image data is stereoscopic image data. The 3D image identification information may be a flag encoded with a fixed-length or variable-length code, but may be, for example, a specific symbol string or character string if it can be identified. The control information includes information on the total number of viewpoints, cutout area information, and parallax adjustment information in the control information. In this way, 3D information is constituted by the 3D image identification information and the control information that is other information.
[0125]
FIG. 23 shows an example of 3D format data in broadcasting. For example, as shown in FIG. 23, the 3D broadcast content is configured by the content and the program arrangement information, and the input image data Din is included in the content part, and the 3D information is included in the program arrangement information part. As 3D format data, 3D broadcast content may be configured.
[0126]
Next, an image data creating apparatus that creates the above-described 3D format data will be described. FIG. 24 is a block diagram illustrating a configuration example of an image data creation device that creates 3D format data. As shown in FIG. 24, the image data creation device 240 includes an image in which the control unit 241 and image data 1 to K of multiple viewpoints (viewpoint number K, where K is an integer of 2 or more) are adjacently combined. An image combining unit 242 for creating data, and 3D information creation for creating 3D information by formatting information such as image combining information summarizing information on combining image data, total number of viewpoints, cutout area information, and parallax amount adjustment information. A coding unit 244 for coding the image data; and a multiplexing unit 245 for multiplexing the coded data. The operation of the image data creating device 240 configured as described above will be described.
[0127]
The control unit 241 includes image combination information such as presence / absence of reduction, presence / absence of combination, arrangement order of image data, the number of viewpoints X in the horizontal direction (the total number of viewpoints described above), the number of viewpoints Y in the vertical direction, and the amount of display area data disparity. Specify and output adjustment information. The image combining unit 242 selects an arrangement method from the input image data 1 to the image data K when “the presence or absence of the combination” specified by the control unit 241 is “with the combination”. As an arrangement method, it is possible to select from three types of arrangement: a horizontal arrangement in which the image data are arranged horizontally, a vertical arrangement in which the image data is arranged vertically, and a lattice arrangement arranged in both the horizontal and vertical directions. .
Here, the method of arranging the image data may or may not match the method of installing the imaging device.
[0128]
First, a case where the arrangement method of the image data matches the installation method of the imaging device will be described. FIG. 26 is a diagram illustrating an example of the arrangement of image data when the installation method of the imaging unit is horizontal and matches the installation method of the imaging unit. FIG. 26A is a diagram illustrating a method of installing the imaging unit when the method of arranging the image data is horizontal to the method of installing the imaging unit. As shown in FIG. 26A, in this case, X imaging units 261 to 264 from 1 to X are installed so as to be arranged on the same horizontal plane, and imaging is performed.
[0129]
FIG. 26B is a diagram illustrating an example of an image created by arranging image data so that the method of installing the imaging unit is horizontal and matches the method of installing the imaging unit. As shown in FIG. 26B, X pieces of image data shot by the imaging units 261, 262, 263,..., 264 are arranged horizontally in the same order as the method of installing the imaging units, and one image is formed. Create In this case, the number of viewpoints of the created image is X ≧ 2, Y = 1, and the arrangement of image data is horizontal.
[0130]
Similarly to the above, when the installation method of the imaging unit is the vertical arrangement, the number of viewpoints of the created image is X = 1, Y ≧ 2, and the arrangement of the image data is the vertical arrangement. Further, when the installation method of the imaging unit is other than the horizontal arrangement or the vertical arrangement, the installation method of the imaging unit is a lattice arrangement. In this case, the number of viewpoints of the created image is X ≧ 2, Y ≧ 2, and the image data is arranged in a grid.
[0131]
Even when the image data is arranged vertically or in a grid, the arrangement of the individual image data constituting one image is the same as the case of the horizontal arrangement. It becomes the structure arranged in the same order as.
[0132]
Next, a case where the method of arranging image data does not match the method of arranging the imaging device will be described. When they do not match, when X ≧ 2, Y = 1 or X = 1, Y ≧ 2, either the vertical arrangement or the horizontal arrangement may be selected. When X ≧ 2, Y ≧ 2, Alternatively, any of the vertical arrangement, the horizontal arrangement, and the lattice arrangement may be selected. If the presence or absence of reduction input from the control unit 241 indicates “with reduction”, the input image data of each viewpoint is reduced.
[0133]
As described above, the image combining unit 242 combines the image data, sends the combined image combining information to the 3D information creating unit 243, and sends the combined image data to the encoding unit 244. The 3D information creation unit 243 creates 3D information by formatting information including image data combination information that summarizes information on combination of image data, the total number of viewpoints, cutout region information, and parallax adjustment information. , An encoding unit 244 encodes the image data to create encoded data. The created data of the 3D information and the encoded data are sent to the multiplexing unit 245, and the multiplexing unit 245 multiplexes the data. The multiplexing unit 245 outputs the multiplexed multiplexed data. . The multiplexed data at this time becomes 3D format data.
[0134]
Next, an image data reproducing apparatus for reproducing the above 3D format data will be described. FIG. 25 is a block diagram illustrating a configuration example of an image data reproducing device 250 that reproduces 3D format data. 25, the same reference numerals are given to the same blocks as in FIG. As shown in FIG. 25, the image data reproducing device 250 includes a separating unit 251, a 3D information analyzing unit 252 for analyzing 3D information, a decoding unit 253 for decoding encoded data, and cutout information and 3D information included in 3D information. 3D information using the parallax amount adjustment information and one of the clipping information or parallax amount adjustment information input by the observer, and if necessary, using the clipping information or parallax amount adjustment information input by the observer. And an image data conversion unit 255 that converts the decoded image data into image data of each viewpoint and outputs the image data.
[0135]
The operation of the image data reproducing device 250 configured as described above will be described. The separating unit 251 separates the 3D format data into a 3D header including 3D information and encoded data. The encoded data includes, for example, compressed encoded data using a compression technique such as JPEG (Joint Photographic Expert Group) or MPEG (Moving picture expert group) -4.
[0136]
The 3D information analysis unit 252 analyzes the 3D information in the 3D header, and extracts image data combination information, the total number of viewpoints, clipping information, parallax amount adjustment information, and the like. The decoding unit 253 decodes the image data from the encoded data separated by the separation unit 251. The selecting unit 254 selects one of the cutout information and the parallax amount adjustment information existing in the 3D information and the cutout information and the parallax amount adjustment information input by the observer, and if necessary, adds new 3D information. And output. For example, if there is an input from an observer, 3D information using the input clipping information or parallax adjustment information may be output. The image data conversion unit 255 outputs input image data Din of each viewpoint from the decoded image data according to the image combination information input by the selection unit 254 and the total number of viewpoints.
[0137]
The stereoscopic image display device 1 operates in the same manner as the device described with reference to FIG. 1, and performs stereoscopic display using 3D information including cutout information, parallax adjustment amount information, and the total number of viewpoints, and input image data Din of each viewpoint. I do.
[0138]
As described above, according to the stereoscopic image display device according to the present embodiment, when displaying the stereoscopic image data in which the amount of parallax is configured from the image data of the number of viewpoints N, for example, the left end, the right end, By adjusting the amount of parallax by specifying which position is to be displayed as a reference, such as near each center, there is no pixel data in each viewpoint image data generated when adjusting the amount of parallax It is possible to change the position of the part where stereoscopic vision becomes difficult.
[0139]
In particular, when the cut-out area information is set near the center, the left-eye image data and the right-eye image data are adjusted when the amount of parallax is adjusted, compared to the case where the cut-out area information is set near the left end or near the right end. Since the pixel data disappeared and the places where interpolation had to be performed were dispersed at the left and right ends of the stereoscopic image data, interpolation could not be performed correctly. This makes it difficult for the user to make a distinction, and can generate good stereoscopic image data with less discomfort.
[0140]
Also, by generating the display position information with reference to the display area for displaying the stereoscopic image data, the display position information generating means generates N display points corresponding to each of N (N is a natural number of 2 or more) viewpoints. 3D image data can be easily created simply by shifting the image with respect to the image data according to the display position information. Further, by switching the cut-out area information by the observer, the position of a portion having no pixel data generated by adjusting the parallax on the stereoscopic image data can be freely changed.
[0141]
By changing the types of the plurality of regions in the integrated region that can be selected according to the value of the number N of viewpoints, for example, the image data of the viewpoint included in the observation position of the observer is displayed as the number of viewpoints increases. The observer switches the definition of the cut-out area information so as to be displayed near the center of the area, so that the degree of freedom of stereoscopic display when adjusting the amount of parallax can be increased.
[0142]
Further, the display means adjusts the amount of parallax by shifting the image data by changing the size of the display area for displaying the stereoscopic image data in accordance with the degree of adjustment of the amount of parallax, and then by shifting the image data. Since pixel data is lost and an area included in the display area can be prevented from being displayed, even if interpolation cannot be correctly performed on the area, the observer can observe stereoscopic image data without a sense of incongruity. Can be.
[0143]
The display means may be configured such that the user switches whether or not to change the size of the display area for displaying the stereoscopic image data and, when changing the size of the display area, the degree of adjustment of the amount of parallax. After adjusting the amount of parallax by changing the size of the display area according to the above, if there is no pixel data due to the shift and the interpolation included in the area included in the display area could not be performed correctly, correct The observer instructs to change the size of the display area so that the part that could not be interpolated is displayed, changes the frame to be displayed, etc., performs three-dimensional display, and if interpolation is successful, displays The observer can give an instruction not to change the size of the region, and as a result, the observer can observe stereoscopic image data without a sense of discomfort.
[0144]
In each of the N pieces of image data, by limiting the amount of parallax, the ratio of the area not included in the display area for displaying the stereoscopic image data is reduced, thereby reducing the area not included in the display area. In other words, by reducing the number of areas that cannot be handled because there is no pixel data between image data of each parallax in the display area, it is possible to prevent the area that can be stereoscopically viewed from decreasing.
[0145]
In addition, in each of the N pieces of image data, if the proportion of the area not included in the display area for displaying the stereoscopic image data is equal to or more than a predetermined value as a result of the adjustment of the amount of parallax, the observer is notified. You can also notify.
[0146]
Note that the stereoscopic image display device is applicable to various electronic devices. In particular, it is suitable for use in mobile terminals such as mobile phones and PDAs that require a compact configuration.
As described above, the present invention has been described in accordance with the embodiments. However, it is needless to say that the present invention is not limited to these examples, and various modifications are possible.
[0147]
【The invention's effect】
As described above, according to the present invention, when displaying stereoscopic image data with an adjusted amount of parallax composed of image data of the number of N viewpoints, a position to be displayed is designated as a reference. By adjusting the amount of parallax as described above, there is an advantage that it is possible to change the position of a portion where the pixel data in each viewpoint image data is lost and stereoscopic viewing becomes difficult, which occurs when the amount of parallax is adjusted. .
[Brief description of the drawings]
FIG. 1 is a functional block diagram illustrating a configuration example of a stereoscopic image display device according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of image data of two viewpoints, a viewpoint 1 and a viewpoint 2, input to the stereoscopic image display device 1 according to the embodiment of the present invention.
FIG. 3 is a diagram illustrating an example of a method of creating stereoscopic image data to be displayed on a stereoscopic image display device using a parallax barrier method or a lenticular method when image data of two viewpoints, viewpoint 1 and viewpoint 2, is input. .
FIG. 4 is a diagram illustrating an example of a configuration of a stereoscopic image display device according to an embodiment of the present invention, the display device including a display unit using a parallax barrier method.
FIGS. 5 (A) to 5 (C) are diagrams showing a relationship between a projection distance d of stereoscopic image data and image data displayed on a display surface according to an embodiment of the present invention. 3D image display device
FIGS. 6A to 6C show an example in which image data of two viewpoints is moved for adjusting a parallax amount in the stereoscopic image display device according to the embodiment of the present invention; FIG.
FIG. 7 shows a stereoscopic image data processing means in the stereoscopic image display device according to one embodiment of the present invention, wherein the total number of viewpoints is “2”, the shift vector is “−1 dot”, and clipping is performed. FIG. 9 is a diagram illustrating a configuration example of one-line data in the horizontal direction of stereoscopic image data generated when area information is “center”.
FIG. 8 shows a stereoscopic image data processing means in the stereoscopic image display device according to one embodiment of the present invention, in which the total number of viewpoints is “2”, the shift vector is “−2 dots”, and clipping is performed. FIG. 9 is a diagram illustrating a configuration example of one-line data in the horizontal direction of stereoscopic image data generated when area information is “center”.
FIG. 9 shows a stereoscopic image display apparatus according to an embodiment of the present invention, in which the total number of viewpoints is “2”, the shift vector is “−3 dots”, and the cutout area information is “center”. FIG. 8 is a diagram showing an example of one-line data in the horizontal direction of stereoscopic image data generated in the case of FIG.
FIG. 10 shows a stereoscopic image data processing means in the stereoscopic image display device according to one embodiment of the present invention, in which the total number of viewpoints is “2”, the shift vector is “−1 dot”, and clipping is performed. FIG. 8 is a diagram illustrating an example of one-line data in the horizontal direction of stereoscopic image data generated when the area information is “left end”.
FIG. 11 shows a stereoscopic image data processing unit in the stereoscopic image display device according to one embodiment of the present invention, in which the total number of viewpoints is “2”, the shift vector is “−2 dots”, and clipping is performed. FIG. 9 is a diagram illustrating an example of one-line data in the horizontal direction of stereoscopic image data generated when the area information is “left end”.
FIG. 12 shows a stereoscopic image data processing means in the stereoscopic image display device according to one embodiment of the present invention, in which the total number of viewpoints is “2”, the shift vector is “−1 dot”, and clipping is performed. FIG. 9 is a diagram illustrating an example of one-line data in the horizontal direction of stereoscopic image data generated when region information is “right end”.
FIG. 13 shows a stereoscopic image data processing means in the stereoscopic image display device according to one embodiment of the present invention, wherein the total number of viewpoints is “2”, the shift vector is “−2 dots”, and clipping is performed. FIG. 9 is a diagram illustrating an example of one-line data in the horizontal direction of stereoscopic image data generated when region information is “right end”.
FIG. 14 is a diagram showing an example of image data input to the stereoscopic image display device according to one embodiment of the present invention.
FIG. 15 is a diagram illustrating an example of a method of creating an R component in stereoscopic image data displayed on a stereoscopic image display device using a parallax barrier method or a lenticular method when image data of three viewpoints is input.
FIG. 16 is a diagram illustrating an example of a display unit in a stereoscopic image display device using a parallax barrier method when displaying stereoscopic image data composed of image data of three viewpoints.
FIGS. 17A to 17C illustrate an example in which image data of three viewpoints is moved to adjust the amount of parallax in the stereoscopic image display device according to the embodiment of the present invention; FIG.
FIG. 18 is a diagram illustrating a stereoscopic image data processing unit in a stereoscopic image display device according to an embodiment of the present invention, in which the total number of viewpoints is “3”, the shift vector is “−2 dots”, and clipping is performed. FIG. 9 is a diagram illustrating an example of one-line data in the horizontal direction of stereoscopic image data generated when the area information is “center”.
FIG. 19 is a diagram illustrating a stereoscopic image data processing unit 3 in the stereoscopic image display device according to the embodiment of the present invention, in which the total number of viewpoints is “3”, the shift vector is “−2 dots”, and FIG. 11 is a diagram illustrating an example of one-line data in the horizontal direction of stereoscopic image data generated when cutout region information is “left end”.
FIG. 20 is a diagram illustrating a stereoscopic image data processing unit in a stereoscopic image display device according to an embodiment of the present invention, in which the total number of viewpoints is “3”, the shift vector is “−2 dots”, and FIG. 9 is a diagram illustrating an example of one-line data in the horizontal direction of stereoscopic image data generated when region information is “right end”.
FIG. 21 is a diagram illustrating a stereoscopic image display device according to an embodiment of the present invention, in which, when the cutout region information is “center”, the center of the integrated region which is a region including image data of all viewpoints is centered; FIG. 4 is a diagram illustrating a state in which stereoscopic image data is generated and the image data is stereoscopically displayed.
FIG. 22 is a diagram illustrating a configuration example of 3D format data in a file.
FIG. 23 is a diagram illustrating a configuration example of 3D format data in broadcasting.
FIG. 24 is a diagram illustrating a configuration example of an image data creation device that creates 3D format data.
FIG. 25 is a diagram illustrating a configuration example of an image data reproducing device that reproduces 3D format data.
FIG. 26 is a diagram illustrating an example of the arrangement of image data in a case where the installation method of the imaging unit is horizontal and coincides with the installation method of the imaging unit.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Stereo image display apparatus, 2 ... Display position generation means, 3 ... Stereo image data processing means, 4 ... Image data interpolation means, 5 ... Display means, 20, 21, 31, 31, 32, 140, 150, 151, 152, 153: image data, 40, 160: slit, 41, 161: display surface, 60: display area, 61, 63, 64, 170, 171, 172, 173, 174, 175: invalid area, 70: before shifting , The position of the leftmost R component in the image data, 210... An integrated area, 240... An image data creating device, 241... A control unit, 242... An image combining unit, 243. Multiplexing section, 250 image data reproducing apparatus, 251 separating means, 252 3D information analyzing means, 253 decoding means, 254 selecting means, 255 image data conversion Means, 261 - 264 ... imaging unit.

Claims

Disparity amount adjustment information relating to adjustment of the respective amounts of parallax of N image data corresponding to different N (N is a natural number of 2 or more) viewpoints, and at least M (M is a natural number equal to or less than N) after adjusting the amount of parallax Display position information generating means for generating display position information on a display position of a stereoscopic image based on cutout region information on a region cut out for stereoscopic display from the integrated region including the image data of
Stereoscopic image data processing means for generating image data for stereoscopic display (hereinafter, referred to as “stereoscopic image data”) based on the N pieces of image data and the display position information;
Display means for displaying a three-dimensional image based on the three-dimensional image data.

The cut-out area information includes information on which position of a plurality of areas that can be selected according to each of the viewpoints is to be used to display the image data in the integrated area. 3. The stereoscopic image display device according to 1.

further,
The display position generating means calculates invalid area information on an invalid area generated based on a lack of image data on the display means when the amount of parallax of the image data from each viewpoint is adjusted. Item 3. The stereoscopic image display device according to item 1 or 2.

4. The three-dimensional image display device according to claim 3, further comprising image interpolation means for interpolating image data with respect to the invalid area.

The image interpolation unit interpolates the image data of the invalid area based on the stereoscopic image data output from the stereoscopic image data processing unit and the invalid area information output from the display position generating unit. The three-dimensional image display device according to claim 4, wherein data is generated.

The said display position information generation means has the function which adjusts the position of the said invalid area | region by changing the said cut-out position information, The Claims any one of Claim 3 to 5 characterized by the above-mentioned. Stereoscopic image display device.

The display position information generating unit holds, as the cut-out area information, first reference data based on image data of a rightmost or leftmost viewpoint in the integrated area. 7. The stereoscopic image display device according to any one of items 6 to 6.

8. The method according to claim 1, wherein the display position information generating unit holds, as the cutout region information, second reference data based on a region located near a central portion in the integrated region. The stereoscopic image display device according to claim 1.

9. The method according to claim 1, wherein the display position information generating unit holds, as the cutout region information, third reference data based on a region located near a peripheral portion in the integrated region. The stereoscopic image display device according to claim 1.

10. The display position information generating unit according to claim 1, wherein the display position information generation unit generates the display position information based on a display area for displaying a stereoscopic image based on the stereoscopic image data. 3. The stereoscopic image display device according to claim 1.

11. The display position information generating means according to claim 1, wherein the display position information generating means has a function of generating cutout area information in which the number of the plurality of areas is changed according to the number N of viewpoints. 3. The stereoscopic image display device according to 1.

The display position information generating means causes the display means to display display control information for changing the size of an area in which the display means displays a stereoscopic image based on the stereoscopic image data in accordance with the degree of adjustment of the amount of parallax. The stereoscopic image display device according to any one of claims 1 to 11, having a function.

13. The three-dimensional image display device according to claim 12, wherein the display position information generation unit has a user interface unit that receives an input regarding whether to output the display control information.

14. The display position information generating unit according to claim 1, wherein the display position information generating unit includes a unit configured to limit adjustment of a parallax amount for each of the N pieces of image data. 15. Stereoscopic image display device.

Further, in each of the N pieces of image data, when the ratio of the area not included in the display area for displaying the stereoscopic image based on the stereoscopic image data is equal to or more than a predetermined value as a result of the adjustment of the parallax amount, the fact is described. The stereoscopic image display device according to any one of claims 1 to 14, further comprising a notification unit.

Parallax amount adjustment information relating to adjustment of each parallax amount of N image data corresponding to N different (N is a natural number of 2 or more) viewpoints in units of dots distinguished for each color component, and the parallax amount in dot units Display on the display position of the stereoscopic image based on the cut-out area information on the area cut out for the stereoscopic display from the integrated area including at least M image data (M is a natural number equal to or less than N) in which the amount of parallax has been adjusted in Display position information generating means for generating position information;
Stereoscopic image data processing means for generating stereoscopic image data in dot units based on the N pieces of image data and the display position information;
Display means for displaying a three-dimensional image based on the three-dimensional image data.

further,
The display position generating means calculates the invalid area information on the invalid area formed based on the lack of the image data on a dot basis on the display means when the amount of parallax of the image data from each viewpoint is adjusted, 17. The three-dimensional image processing apparatus according to claim 16, further comprising: an image interpolation unit that performs interpolation by moving image data to adjacent positions having the same color component in units of dots with respect to the invalid area in units of dots. Image display device.

A mobile terminal comprising the stereoscopic image display device according to any one of claims 1 to 17.

18. The image data information used in the stereoscopic image display device according to claim 1, including image data size or reproduction time, information for decoding image data, and the total number of viewpoints. A 3D format data structure including a management information area for storing information including 3D information including cutout area information and parallax adjustment information, and an image data area for storing input image data.

A control unit that specifies image data combination information, the total number of viewpoints, and display area data;
An image combining unit that creates multi-view image data in which the multi-view image data is combined based on a designation from the control unit;
3D information in which information selected from image combination information relating to the combination of images from the image combination unit, the total number of viewpoints, cutout region information, and parallax amount adjustment information is formatted. 3D information creation unit for creating 3D information including encoded data,
An encoding unit that encodes image data from the image combining unit;
A multiplexing unit that multiplexes the 3D information and the encoded image data to generate 3D format data.

An image for reproducing 3D format data created by the image data creation device according to claim 20 and outputting input image data and 3D information to be output to the stereoscopic image display device according to any one of claims 1 to 17. A data playback device,
Separating means for separating the 3D information and the encoded image data from 3D format data;
A 3D information analyzing unit that analyzes the 3D information and extracts at least one of information selected from the image combination information, the total number of viewpoints, the cutout region information, and the parallax amount adjustment information;
Decoding means for decoding image data based on the encoded image data,
An image data reproducing apparatus comprising: an image data conversion unit that converts the image data decoded according to the information extracted by the 3D information analysis unit into input image data of each viewpoint.