JP2005004341A - 画像表示装置およびコンピュータに画像表示機能を付与するプログラム - Google Patents

画像表示装置およびコンピュータに画像表示機能を付与するプログラム Download PDF

Info

Publication number
JP2005004341A
JP2005004341A JP2003165043A JP2003165043A JP2005004341A JP 2005004341 A JP2005004341 A JP 2005004341A JP 2003165043 A JP2003165043 A JP 2003165043A JP 2003165043 A JP2003165043 A JP 2003165043A JP 2005004341 A JP2005004341 A JP 2005004341A
Authority
JP
Japan
Prior art keywords
image data
fade
image
transition effect
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2003165043A
Other languages
English (en)
Inventor
Keiji Horiuchi
啓次 堀内
Yoshihiro Hori
吉宏 堀
Takatoshi Yoshikawa
隆敏 吉川
Goro Hamagishi
五郎 濱岸
Masashi Takemoto
賢史 竹本
Takeshi Masutani
健 増谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2003165043A priority Critical patent/JP2005004341A/ja
Priority to US10/557,804 priority patent/US20070236493A1/en
Priority to PCT/JP2004/007185 priority patent/WO2004107764A1/ja
Priority to EP04745337A priority patent/EP1628490A1/en
Publication of JP2005004341A publication Critical patent/JP2005004341A/ja
Withdrawn legal-status Critical Current

Links

Images

Abstract

【課題】三次元画像表示の特殊性を利用した新たなフェードイン・フェードアウト機能を提供する。
【解決手段】フェードアウト処理時、オブジェクトの前後関係を判別し、最も手前にあるオブジェクトを消去対象として設定する。このオブジェクトに初期透過率を設定し、左眼用視点(L)と右眼用視点(R)から当該3次元空間をトレースし、左眼用画像データと右眼用画像データを生成する。生成したデータを合成して表示用データを生成し、これを再生して画面上に表示する。しかる後、消去対象オブジェクトの透過率を1ステップ増加させ、上記と同様の処理を実行する。この処理を当該オブジェクトが画面から消え去るまで(透過率100%)繰り返す。しかる後、次のオブジェクトを消去対象に設定して、同様の消去処理を実行する。全てのオブジェクトについて消去処理が完了するまで同様の処理を繰り返す。
【選択図】 図4

Description

【0001】
【発明の属する技術分野】
本発明は、画像表示装置およびコンピュータに画像表示機能を付与するプログラムに関し、特に、フェードインまたはフェードアウト機能を付与する際に用いて好適なものである。
【0002】
【従来の技術】
近年、画像を三次元立体画像として表示できる三次元立体表示装置の開発が盛んに行われている。この表示装置は、右眼用画像と左眼用画像を一画面上に同時に表示するものであって、たとえば三次元フィルター越しに表示画像を見ると、右眼用画像が右眼に、また、左眼用画像が左眼に投影され、両画像間の視差により、画像が立体として認識されるものである。また、最近では、モニター表面に三次元フィルターの機能を持たせることにより、三次元フィルターなしに画像を立体視できるものも開発されている。
【0003】
ところで、画像表示の際には、画像を徐々に浮き上がらせまたは消去する、いわゆるフェードイン・フェードアウトの機能がしばしば採用される。この機能は、通常、画像やプログラムの切れ目に用いられることが多く、この機能によって効果的な画像遷移効果が提供される。
【0004】
このフェードイン・フェードアウト機能は、二次元画像表示の分野では、既に種々の方式が検討・開発されている。たとえば、以下の特許文献1には、徐々に拡大する円形ワイプを用いて画像をフェードインさせる際に、円形ワイプの拡大を途中で一旦停止させ、これによりフェードイン時の表示効果をさらに高める技術が記載されている。
【0005】
【特許文献1】
特開平7−170451号公報
【0006】
【発明が解決しようとする課題】
しかしながら、かかるフェードイン・フェードアウト機能は、三次元画像表示の分野においては、これまであまり検討されていない。三次元画像表示における立体表示の特殊性を利用したフェードイン・フェードアウト機能を提供できれば、より効果的な画像遷移効果を提供できる。
【0007】
そこで、本発明は、三次元画像表示の特殊性を利用した新たなフェードイン・フェードアウト機能を提供することを課題とするものである。
【0008】
【課題を解決するための手段】
本発明は、表示対象物がオブジェクトとして管理されている場合に、オブジェクト毎に徐々に画面から消え去り、または画面上に浮き出てくるような遷移効果を提供するものである。
【0009】
すなわち、本発明は、表示対象物がオブジェクトとして管理されている原画像データを立体画像として表示する画像表示装置であって、前記オブジェクトのうちフェードインまたはフェードアウトの対象となるオブジェクトを指定するオブジェクト指定手段と、指定されたオブジェクトに遷移効果を設定する遷移効果設定手段と、遷移効果が設定されたオブジェクトおよびその他のオブジェクトを組み込んで立体画像データを生成する立体画像データ生成手段と、生成された立体画像データを表示する表示手段とを有することを特徴とするものである。
【0010】
ここで、オブジェクト指定手段は、各オブジェクトの前後関係を判別し、この判別結果に基づいてフェードインまたはフェードアウトの設定対象となるオブジェクトを指定する手段を有する構成とすることもできる。これにより、たとえば、フェードアウト時に、最も手前のオブジェクトから順番に消去することができる。
【0011】
また、本発明における遷移効果設定手段は、フェードインまたはフェードアウトの対象として指定されたオブジェクトに進行に応じた透過率を設定するよう構成することができる。このとき、本発明における立体画像データ生成手段は、設定された透過率に応じて前記指定されたオブジェクトの表示画素を間引くと共に、間引き後に残った画素に対してその背後にあるオブジェクトを埋め込むよう構成することができる。このように構成すると、たとえばフェードアウト時に、消去対象のオブジェクトを徐々に消しながら、その背後にあるオブジェクトを徐々に浮き上がらせることができ、立体感と臨場感のある遷移効果を提供できる。
【0012】
また、上記の特徴に加え、遷移効果の進み具合に応じて、指定されたオブジェクトの色を薄くするまたは濃くするようにすることもできる。これにより、フェードインまたはフェードアウト時の臨場感をさらに向上させることができる。
【0013】
なお、本発明は、上述した装置ないし各手段の機能を、コンピュータに付与するプログラムとして表現することもできる。以下の各請求項に記載した発明は、それぞれ本発明をプログラムとして捉えたものである。
【0014】
請求項4の発明は、表示対象物がオブジェクトとして管理されている原画像データを立体画像として表示する機能をコンピュータに付与するプログラムであって、前記オブジェクトのうちフェードインまたはフェードアウトの対象となるオブジェクトを指定するオブジェクト指定処理と、指定されたオブジェクトに遷移効果を設定する遷移効果設定処理と、遷移効果が設定されたオブジェクトおよびその他のオブジェクトを組み込んで立体画像データを生成する立体画像データ生成処理と、生成された立体画像データを表示する表示処理とを有することを特徴とする。
【0015】
請求項5の発明は、請求項5のプログラムにおいて、前記オブジェクト指定処理は、各オブジェクトの前後関係を判別し、この判別結果に基づいてフェードインまたはフェードアウトの設定対象となるオブジェクトを指定する処理を含むことを特徴とする。
【0016】
請求項6の発明は、請求項5または6のプログラムにおいて、前記遷移効果設定処理は、前記指定されたオブジェクトに対して透過率を設定する処理を含み、前記立体画像データ生成処理は、設定された透過率に応じて前記指定されたオブジェクトの表示画素を間引くと共に、間引き後に残った画素に対してその背後にあるオブジェクトを埋め込む処理を含むことを特徴とする。
【0017】
また、これらの処理に加え、遷移効果の進み具合に応じて、指定されたオブジェクトの色を薄くするまたは濃くする処理を含むようにすることもできる。これにより、フェードインまたはフェードアウト時の臨場感をさらに向上させることができる。
【0018】
本発明の特徴は、以下に示す実施の形態の説明により更に明らかとなろう。
ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【0019】
【発明の実施の形態】
以下、本発明の実施の形態につき図面を参照して説明する。
【0020】
1.第1の実施形態
図1に、第1の実施の形態に係る三次元立体画像表示装置の構成を示す。なお、本実施の形態では、素画像データはCG(Computer Graphics)データとし、このCGデータをあらかじめ設定した視点からトレースして3次元画像データを生成するものとする。
【0021】
図示のとおり、三次元立体画像表示装置は、入力装置101、指令入力部102、制御部103、フォーマット解析部104、遷移効果制御部105、合成画像生成部106、表示制御部107、表示装置108、記憶部109、展開メモリ110、グラフィックメモリ111を備えている。
【0022】
入力装置101は、マウス、キーボード等の入力手段を備え、再生画像の構成・編集や、再生指令、画像送り指令、フェードイン・フェードアウト指令等の指令入力の際に用いられる。指令入力部102は、入力装置101から入力された各種指令を制御部103に送る。制御部103は、指令入力部102から転送された入力指令に応じて各部を制御する。
【0023】
フォーマット解析部104は、再生対象画像のCGデータを解析し、当該画像中に含まれるオブジェクトの数や各オブジェクトの配置位置、オブジェクト間の前後関係等を識別する。そして、識別結果を遷移効果制御部105および合成画像生成部106に送る。なお、フォーマット解析部104における処理の詳細については追って説明する。
【0024】
遷移効果制御部105は、入力装置101からフェードイン・フェードアウト指令が入力されたことに応じて、遷移効果処理を実行制御する。なお、遷移効果制御部104における処理の詳細については追って説明する。
【0025】
合成画像生成部106は、展開メモリ110に展開されたCGデータから左眼用画像データと右眼用画像データを生成し、これをグラフィックメモリ111にマッピングする。また、遷移効果制御部105から遷移効果指令が入力されたとき、遷移効果が施された左眼用画像データと右眼用画像データを生成し、これをグラフィックメモリ111にマッピングする。なお、合成画像生成部106における処理の詳細については追って説明する。
【0026】
表示制御部107は、制御部103からの指令に応じて、グラフィックメモリ111に格納された画像データを表示装置108に送る。表示装置108は、表示制御部107から受け取った画像データを表示画面上に再生する。
【0027】
記憶部109は、複数の画像ファイルを記憶するデータベースであり、各画像ファイルには、所定枚数の静止画画像データが格納されている。ここで、各静止画画像データは、本実施の形態では、CGデータである。
【0028】
展開メモリ110は、RAM(Random Access Memory)にて構成されており、記憶部109から読み出された静止画画像データを一時記憶する際に用いられる。グラフィックメモリ111は、RAMにて構成されており、合成画像生成部106にて生成された三次元立体表示用の画像データを逐次記憶する。
【0029】
次に、フォーマット解析部104におけるフォーマット解析処理および合成画像生成部106における左眼用画像データおよび右眼用画像データの生成処理について説明する。
【0030】
まず、図2を参照して、CGデータによるオブジェクトの規定方法と、各オブジェクトを3次元空間に配置する際の処理について説明する。なお、同図は3つのオブジェクトA〜Cを3次元空間に配置する際の処理原理を示すものである。
【0031】
オブジェクトA〜Cは、図2の上段に示す如く、3次元座標軸上における輪郭と、この輪郭表面の属性(模様や色等)によって、それぞれ個別に規定されている。各オブジェクトは、同図下段に示す如く、3次元空間を規定する座標軸上に、各オブジェクトの座標軸の原点を位置付けることによって、3次元空間上に配置される。
【0032】
なお、各オブジェクトの座標軸の原点が3次元空間を規定する座標軸上のどの位置に位置付けるかの情報は各オブジェクトのCGデータ中に含まれている。また、上記各オブジェクトの輪郭と輪郭表面の属性に関する情報もCGデータ中に含まれている。なお、上記以外の情報については、例えばX3D等のCG規格に示されており、ここではその説明を省略する。
【0033】
上記フォーマット解析部104は、あらかじめ決められた立体視用の視点から当該3次元空間を見たときの各オブジェクトの前後関係を、上記各オブジェクトを規定するCGデータを解析して判別する。そして、この前後関係に関する情報を、当該画像中に含まれるオブジェクトの数や各オブジェクトの配置位置に関する情報と共に、上記遷移効果制御部105と合成画像生成部106に送る。
【0034】
通常再生時、合成画像生成部106は、図3に示す如く、当該3次元空間を左眼用視点(L)および右眼用視点(R)からトレースし、左眼用画像(L画像)のデータと、右眼用画像(R画像)のデータを生成する。そして、左眼用画像(L画像)と右眼用画像(R画像)の画像が、たとえば図3上段中央の部分拡大図に示す如くして画面上に配列されるように、左眼用画像データ(L用画像データ)と右目用画像データ(R用画像データ)をグラフィックメモリ111上にマッピングする。
【0035】
なお、同図の部分拡大図中、“R”は画面上における右眼用画像の表示領域(ピクセル)を示し、“L”は画面上における左眼用画像の表示領域(ピクセル)を示す。かかる表示領域の割り当ては、三次元フィルターの構成に応じて決定される。すなわち、三次元フィルターを介して表示画像を見たときに、R画像が視聴者の右眼に、また、L画像が視聴者の左目に投影されるように、R画像とL画像の表示領域(ピクセル)が割り当てられる。
【0036】
フェードインまたはフェードアウト動作時、合成画像生成部106は、遷移効果制御部105から指示されたフェードインまたはフェードアウト対象のオブジェクトに透過処理を施して、左眼用画像データと右目用画像データを生成する。
【0037】
図4は、左眼用画像データの生成過程を示すものである。なお、同図(a)は球のオブジェクトに透過率が設定されていないときの状態を示し、同図(b)は球のオブジェクトが半透過に設定されているときの状態を示し、同図(c)は球のオブジェクトが全透過に設定されているときの状態を示している。
【0038】
同図(a)では、球のオブジェクトに透過処理が施されないため、L用画像データは通常再生時と同じとなる。
同図(b)では、球のオブジェクトが半透過であるため、球のオブジェクトの透過率に応じて球とその背後をトレースしてL用画像データが生成される。たとえば、球のオブジェクトの透過率が30%に設定されているとき、球の領域のL用画像データは、その70%(当該領域の画素を均等に間引く)がこの球をトレースして得られた画像データとなり、残りの30%がこの球の背後にあるオブジェクトをトレースして得られた画像データとなる。なお、球の背後に他のオブジェクトが存在しないときは、背景画像の画像データが用いられる。
同図(c)では、球のオブジェクトが全透過であるため、トレース時、球のオブジェクトの背後のみをトレースしてL用画像データを生成する。
【0039】
なお、R用画像データも同様、球のオブジェクトの透過率に応じて球とその背後をトレースしてR用画像データを生成する。また、その他のオブジェクトに透過率が設定された場合も同様の処理により、L用画像データとR用画像データを生成する。
【0040】
次に、上記三次元立体画像表示装置の動作について説明する。まず、通常の再生動作について説明する。
【0041】
三次元立体画像表示装置に対して所定ファイルの画像再生指令が入力されると、当該ファイルを構成する静止画画像データのうち先頭の静止画画像データ(CGデータ)が読み出され展開メモリ110上に展開される。しかる後、合成画像生成部106は、読み出した画像データから、上記の如くして、右眼用画像データと左眼用画像データを生成する。そして、生成した右眼用画像データと左眼用画像データをグラフィックメモリ111上にマッピングする。
【0042】
しかして、グラフィックメモリ111上にマッピングされた画像データは、表示制御部107により表示装置108に送られ、表示画面上に再生される。
その後、入力装置101から静止画画像の送り指令が入力されると、当該ファイルを構成する次の静止画画像データ(CGデータ)が展開メモリ110上に展開され、上記と同様の処理が実行される。以下同様に、送り指令が入力される毎に次の静止画画像データが展開メモリ110上に展開され、上記処理が実行される。これにより、表示装置108上に、当該ファイルを構成する静止画画像が順番に表示される。
【0043】
次に、フェードアウト処理時の動作について説明する。
図5に、かかるフェードアウト処理時の処理フローを示す。
フェードアウト指令が入力されると、まず、遷移効果制御部105は、フォーマット解析部104から受け取った解析結果に基づいて、画面中に存在するオブジェクトと、L用視点およびR用視点から見たときの各オブジェクトの前後関係を抽出する(S101)。そして、最も手前の位置にあるオブジェクトを消去対象として設定する(S102)。なお、最も手前の位置にあるオブジェクト以外を消去対象として設定することもできる。
【0044】
その後、遷移効果制御部105は、消去対象のオブジェクトの透過率を設定し(S103)、この透過率と、消去対象のオブジェクトの識別情報を合成画像生成部106に送る。これを受けて、合成画像生成部106は、透過率と消去対象オブジェクトの識別情報をもとに、上記図4を参照して説明した如くして、L用視点から当該3次元空間をトレースし、L用画像データを生成する(S104)。このとき、未出現のオブジェクトは、全て、全透過としてトレースを行う。そして、生成したL用画像データをグラフィックメモリ111上のL画像用データ領域にマッピングする(S105)。同様に、R用視点から当該3次元空間をトレースして、R用画像データを生成し(S106)、これを、グラフィックメモリ111上のR画像用データ領域にマッピングする(S107)。
【0045】
しかして、グラフィックメモリ111上のマッピング処理が終了すると、グラフィックメモリ111上の画像データが表示装置108に転送され、これにより、L視点画像とR視点画像を合成した合成画像が表示装置108上に再生表示される(S108)。しかる後、消去対象のオブジェクトが完全に消去されたか(透過率100%)が判別され、完全に消去されていなければ、S103に戻り、透過率を1ステップ増大させて上記処理を繰り返す。
【0046】
かかるS103〜S108の処理は、消去対象のオブジェクトが完全に消去されるまで繰り返し実行される(S109)。そして、消去対象のオブジェクトが完全に消去されると、画面中の全てのオブジェクトを消去したかが判別され(S110)、NOであれば、S102に戻り、新たなオブジェクトを消去対象に設定する。消去対象のオブジェクトは、たとえば、画面中に残っているオブジェクトの内、L用視点およびR用視点から見たときに最も手前の位置にあるオブジェクトとされる。そして、画面中の全てのオブジェクトの消去が完了すると、本フェードアウト処理が終了する(S110)。
【0047】
次に、フェードイン処理時の動作について説明する。なお、かかるフェードイン時の処理は、上記フェードアウト処理時とは逆の手順を実行することによって実行される。
【0048】
図6に、かかるフェードイン処理時の処理フローを示す。
フェードイン指令が入力されると、まず、遷移効果制御部105は、フォーマット解析部104から受け取った解析結果に基づいて、画面中に存在するオブジェクトと、L用視点およびR用視点から見たときの各オブジェクトの前後関係を抽出する(S121)。そして、最も奥の位置にあるオブジェクトを出現対象として設定する(S122)。なお、最も奥の位置にあるオブジェクト以外を出現対象として設定することもできる。
【0049】
その後、遷移効果制御部105は、出現対象のオブジェクトの透過率を設定し(S123)、この透過率と、出現対象のオブジェクトの識別情報を合成画像生成部106に送る。これを受けて、合成画像生成部106は、透過率と出現対象オブジェクトの識別情報をもとに、上記図4を参照して説明した如くして、L用視点から当該3次元空間をトレースし、L用画像データを生成する(S124)。そして、生成したL用画像データをグラフィックメモリ111上のL画像用データ領域にマッピングする(S125)。同様に、R用視点から当該3次元空間をトレースして、R用画像データを生成し(S126)、これを、グラフィックメモリ111上のR画像用データ領域にマッピングする(S127)。
【0050】
しかして、グラフィックメモリ111上のマッピング処理が終了すると、グラフィックメモリ111上の画像データが表示装置108に転送され、これにより、L視点画像とR視点画像を合成した合成画像が表示装置108上に再生表示される(S128)。しかる後、消去対象のオブジェクトが完全に出現したか(透過率0%)が判別され、完全に出現していなければ、S123に戻り、透過率を1ステップ減少させて上記処理を繰り返す。
【0051】
かかるS123〜S128の処理は、出現対象のオブジェクトが完全に出現するまで繰り返し実行される(S129)。そして、出現対象のオブジェクトが完全に出現すると、画面中の全てのオブジェクトが出現したかが判別され(S130)、NOであれば、S122に戻り、新たなオブジェクトを出現対象に設定する。出現対象のオブジェクトは、たとえば、画面中に未表示のオブジェクトの内、L用視点およびR用視点から見たときに最も奥の位置にあるオブジェクトとされる。そして、画面中に全てのオブジェクトが出現すると、本フェードイン処理が終了する(S130)。
【0052】
以上、本実施の形態によれば、オブジェクトを順番に消去または出現させながら、各状態にあるオブジェクトを立体視できるので、臨場感溢れるフェードアウト・フェードイン動作を実現できる。
【0053】
なお、上記実施の形態では、表示画素を間引いてオブジェクトを消去または出現させるようにしたが、これとは別に、または、これと共に、消去または出現対象のオブジェクトの色を遷移効果の度合いに応じて薄くまたは濃くするようにしても良い。
【0054】
2.第2の実施形態
図7に、第2の実施の形態に係る三次元立体画像表示装置の構成を示す。なお、本実施の形態では、素画像データはMPEGデータとし、この素データには、背景画像と、この背景画像に組み込まれるオブジェクトが、立体視用の視点毎に、予め準備され記憶部に格納されているものとする。
【0055】
図示のとおり、三次元立体画像表示装置は、入力装置101、指令入力部102、制御部103、デコード処理部121、遷移効果制御部122、合成画像生成部123、表示制御部107、表示装置108、記憶部124、展開メモリ110、グラフィックメモリ111を備えている。このうち、デコード処理部121、遷移効果制御部122、合成画像生成部123および記憶部124以外は上記第1の実施形態における構成と同様である。
【0056】
デコード処理部121は、再生対象画像のMPEGデータをデコードし、デコード後の画像データを展開メモリ110に展開する。また、当該画像中に含まれるオブジェクトの数や各オブジェクトの配置位置、オブジェクト間の前後関係等を抽出し、抽出結果を遷移効果制御部122および合成画像生成部123に送る。なお、デコード処理部121における処理の詳細については追って説明する。
【0057】
遷移効果制御部122は、入力装置101からフェードイン・フェードアウト指令が入力されたことに応じて、遷移効果処理を実行制御する。なお、遷移効果制御部104における処理の詳細については追って説明する。
【0058】
合成画像生成部123は、展開メモリ110に展開されたMPEGデータから左眼用画像データと右眼用画像データを生成し、これをグラフィックメモリ111にマッピングする。また、遷移効果制御部122から遷移効果指令が入力されたとき、遷移効果が施された左眼用画像データと右眼用画像データを生成し、これをグラフィックメモリ111にマッピングする。なお、合成画像生成部123における処理の詳細については追って説明する。
【0059】
記憶部124は、複数の画像ファイルを記憶するデータベースであり、各画像ファイルには、所定枚数の静止画画像データが格納されている。ここで、各静止画画像データは、本実施の形態では、MPEGデータであり、L視点用の画像データとR視点用の画像データから構成されている。なお、L視点用の画像データとR視点用の画像データはそれぞれ背景とその上に組み込まれるオブジェクトに関するデータ(後述)から構成されている。
【0060】
次に、デコード処理部121におけるデコード処理および合成画像生成部123における左眼用画像データおよび右眼用画像データの生成処理について説明する。
【0061】
まず、図8を参照して、MPEGデータによるオブジェクトの規定方法と、画像合成方法について説明する。なお、同図は3つのオブジェクトA〜Cを合成する際の処理を示すものである。
【0062】
オブジェクトA〜Cには、図8に示す如く、オブジェクトよりもやや広めの領域(以下、「オブジェクト領域」という)が設定されている。通常、オブジェクトを除いたオブジェクト領域は透明とされる。すなわち、オブジェクトを除いたオブジェクト領域を透明とするための制御情報がオブジェクト毎に付される。
【0063】
各オブジェクトには、この制御情報と共に、オブジェクト領域のサイズ情報、オブジェクトの輪郭情報および当該オブジェクトの圧縮画像情報、オブジェクト輪郭外の領域の属性情報(透明、等)が付される。さらに、画面上におけるオブジェクト領域の配置位置に関する情報と、オブジェクトの前後順位に関する情報が付される。
【0064】
これらの情報は、各オブジェクトのMPEGデータ中に含まれている。なお、これら情報およびこれら以外の情報のデータ構造(フォーマット)については、MPEG規格に示されており、ここではその説明を省略する。
【0065】
上記デコード処理部121は、記憶部124から読み出したL視点用およびR視点用の画像データをデコードして、各視点用の背景画像データとオブジェクト画像データを取得し、これを展開メモリ110に展開する。同時に、上記輪郭情報、属性情報、配置情報、前後順位情報等を抽出し、これを遷移効果制御部122および合成画像生成部123に送る。
【0066】
通常再生時、合成画像生成部123は、デコード処理部121から受け取った輪郭情報、属性情報、配置情報、前後順位情報をもとに、各視点の背景画像とオブジェクを合成し(図8参照)、左眼用画像データ(L用画像データ)と右目用画像データ(R用画像データ)を生成する。そして、左眼用画像(L画像)と右眼用画像(R画像)の画像が、上記第1の実施形態と同様、たとえば図3に示す如くして画面上に配列されるように、L用画像データとR用画像データをグラフィックメモリ111上にマッピングする。
【0067】
フェードインまたはフェードアウト動作時、合成画像生成部123は、遷移効果制御部122から指示されたフェードインまたはフェードアウト対象のオブジェクトに対し透過処理を施して、L用画像データとR用画像データを生成し、グラフィックメモリ111上にマッピングする。図9に、L用画像データとR用画像データのマッピング処理過程を示す。なお、同図には、オブジェクトBに対して透過処理(透過率50%)が設定されている場合を例示してある。
【0068】
同図に示す如く、デコード処理部121にて抽出されたオブジェクトAとオブジェクトBの輪郭情報、配置情報および前後順位に関する情報をもとに、輪郭の重なり具合が検出される。なお、同図では、オブジェクトBの方が前方に位置している。上記の如く、オブジェクトBの輪郭外は透明に設定されているので、オブジェクトBのオブジェクト領域のうち、当該輪郭外の領域は、その背後にあるオブジェクトAの画像データが優先されグラフィックメモリ111にマッピングされる。この輪郭外の領域にオブジェクトBの輪郭が配置されていなければなければ、背景画像の画像データがグラフィックメモリ111にマッピングされる。
【0069】
オブジェクトAの輪郭とオブジェクトBの輪郭の重なり部分は、2画素に1画素の割合で、オブジェクトBの画像データが優先されグラフィックメモリ111上にマッピングされる。残りの画素には、その背後にあるオブジェクトAの画像データがマッピングされる。
【0070】
なお、オブジェクトBの画像データが割り当てられる画素は、オブジェクトBの透過率に応じて設定される。たとえば、オブジェクトBの透過率が50%から80%に変更されると、オブジェクトBの画像データを割り当てるための画素は、5画素に1画素の割合に変更されることとなる。
【0071】
次に、上記三次元立体画像表示装置の動作について説明する。まず、通常の再生動作について説明する。
三次元立体画像表示装置に対して所定ファイルの画像再生指令が入力されると、当該ファイルを構成する静止画画像データのうち先頭の静止画画像データ(L視点用およびR視点用のMPEGデータ)が読み出されデコード処理部121にてデコードされる。このデコードによって得られたL視点用およびR視点用の画像データ(背景画像とオブジェクト)は、展開メモリ110上に展開される。また、当該デコード時に抽出された各オブジェクトの輪郭情報、属性情報、配置情報、前後順位情報が遷移効果制御部122および合成画像生成部123に送られる。
【0072】
しかる後、合成画像生成部123は、輪郭情報、属性情報、配置情報、前後順位情報に基づいて、L視点用およびR視点用の背景画像データとオブジェクト画像データを合成し、L用画像データとR用画像データを生成する。そして、生成したL用画像データとR用画像データをグラフィックメモリ111上にマッピングする。
【0073】
しかして、グラフィックメモリ111上にマッピングされた画像データは、表示制御部107により表示装置108に送られ、表示画面上に再生される。
その後、入力装置101から静止画画像の送り指令が入力されると、当該ファイルを構成する次の静止画画像データ(MPEGデータ)がデコードされ、上記と同様の処理が実行される。以下同様に、送り指令が入力される毎に次の静止画画像データがデコードされ、上記処理が実行される。これにより、表示装置108上に、当該ファイルを構成する静止画画像が順番に表示される。
【0074】
次に、フェードアウト処理時の動作について説明する。
図10に、かかるフェードアウト処理時の処理フローを示す。
フェードアウト指令が入力されると、まず、遷移効果制御部122は、デコード処理部121から受け取った抽出情報に基づいて、画面中に存在するオブジェクトと、各オブジェクトの前後関係を抽出する(S201)。そして、最も手前の位置にあるオブジェクトを消去対象として設定する(S202)。なお、最も手前の位置にあるオブジェクト以外を消去対象として設定することもできる。
【0075】
その後、遷移効果制御部122は、消去対象のオブジェクトの透過率を設定し(S203)、この透過率と、消去対象のオブジェクトの識別情報を合成画像生成部123に送る。これを受けて、合成画像生成部123は、透過率と消去対象オブジェクトの識別情報をもとに、上記の如くして、L用画像データを生成する(S204)。そして、生成したL用画像データをグラフィックメモリ111上のL画像用データ領域にマッピングする(S205)。同様に、R用画像データを生成し(S206)、これを、グラフィックメモリ111上のR画像用データ領域にマッピングする(S207)。
【0076】
しかして、グラフィックメモリ111上のマッピング処理が終了すると、グラフィックメモリ111上の画像データが表示装置108に転送され、これにより、L視点画像とR視点画像を合成した合成画像が表示装置108上に再生表示される(S208)。しかる後、消去対象のオブジェクトが完全に消去されたか(透過率100%)が判別され、完全に消去されていなければ、S203に戻り、透過率を1ステップ増大させて上記処理を繰り返す。
【0077】
かかるS203〜S208の処理は、消去対象のオブジェクトが完全に消去されるまで繰り返し実行される(S209)。そして、消去対象のオブジェクトが完全に消去されると、画面中の全てのオブジェクトを消去したかが判別され(S210)、NOであれば、S202に戻り、新たなオブジェクトを消去対象に設定する。消去対象のオブジェクトは、たとえば、画面中に残っているオブジェクトの内、最も手前の位置にあるオブジェクトとされる。そして、画面中の全てのオブジェクトの消去が完了すると、本フェードアウト処理が終了する(S210)。
【0078】
次に、フェードイン処理時の動作について説明する。なお、かかるフェードイン時の処理は、上記フェードアウト処理時とは逆の手順を実行することによって実行される。
【0079】
図10に、かかるフェードイン処理時の処理フローを示す。
フェードイン指令が入力されると、まず、遷移効果制御部122は、デコード処理部121から受け取った抽出情報に基づいて、画面中に組み込まれるオブジェクトと、各オブジェクトの前後関係を抽出する(S221)。そして、最も奥の位置にあるオブジェクトを出現対象として設定する(S222)。なお、最も奥の位置にあるオブジェクト以外を出現対象として設定することもできる。
【0080】
その後、遷移効果制御部122は、出現対象のオブジェクトの透過率を設定し(S223)、この透過率と、出現対象のオブジェクトの識別情報を合成画像生成部123に送る。これを受けて、合成画像生成部123は、透過率と出現対象オブジェクトの識別情報をもとに、上記の如くして、L用画像データを生成する(S224)。このとき、未出現のオブジェクトは、全て、全透過とする。そして、生成したL用画像データをグラフィックメモリ111上のL画像用データ領域にマッピングする(S225)。同様に、R用画像データを生成し(S226)、これを、グラフィックメモリ111上のR画像用データ領域にマッピングする(S227)。
【0081】
しかして、グラフィックメモリ111上のマッピング処理が終了すると、グラフィックメモリ111上の画像データが表示装置108に転送され、これにより、L視点画像とR視点画像を合成した合成画像が表示装置108上に再生表示される(S228)。しかる後、出現対象のオブジェクトが完全に出現したか(透過率0%)が判別され、完全に出現されていなければ、S223に戻り、透過率を1ステップ減少させて上記処理を繰り返す。
【0082】
かかるS223〜S228の処理は、出現対象のオブジェクトが完全に出現するまで繰り返し実行される(S229)。そして、出現対象のオブジェクトが完全に出現すると、画面中に全てのオブジェクトが出現したかが判別され(S230)、NOであれば、S202に戻り、新たなオブジェクトを出現対象に設定する。出現対象のオブジェクトは、たとえば、画面中に未表示のオブジェクトの内、最も奥の位置にあるオブジェクトとされる。そして、画面中に全てのオブジェクトが出現すると、本フェードイン処理が終了する(S230)。
【0083】
以上、本実施の形態によれば、オブジェクトを順番に消去または出現させながら、各状態にあるオブジェクトを立体視できるので、臨場感溢れるフェードアウト・フェードイン動作を実現できる。
【0084】
なお、上記実施の形態では、表示画素を間引いてオブジェクトを消去または出現させるようにしたが、これとは別に、または、これと共に、消去または出現対象のオブジェクトの色を透過率に応じて薄くまたは濃くするようにしても良い。
【0085】
ところで、上記第1および第2実施の形態は、いわゆる2眼用の三次元立体画像表示装置に本発明を適用したものであったが、本発明は、これより多くの撮影視点数を持つ三次元立体画像表示装置に対しても適用可能である。かかる場合、第1の実施形態では、視点を増加させてトレース処理を実行し、また、第2の実施形態では、静止画毎に視点数に応じたMPEGデータを予め準備し記憶部124に格納するよう変更されることとなる。
【0086】
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されるものではなく、他に種々の変更が可能であることは言うまでもない。
たとえば、上記実施の形態では、静止画ファイルを対象としてフェードイン・フェードアウトを行ったが、動画ファイルを対象とすることも勿論可能である。動画ファイルの場合は、フレーム毎にオブジェクトの透過率を徐々に変更させ、これにより画面からオブジェクトを消去させ、あるいは、画面上にオブジェクトを出現させるようにする。この処理は、動きの少ない画面表示に用いると効果的である。
その他、本発明の実施の形態は、本発明の技術的思想の範囲内において、適宜種々の変更が可能である。
【0087】
なお、本実施の形態に係る3次元立体画像表示装置は、各実施の形態における構成例の機能をパーソナルコンピュータ等に付与することによっても実現可能である。かかる場合、各構成例の機能を実行するためのプログラムが、ディスクの装着またはインターネット経由でパーソナルコンピュータにダウンロードされる。本願発明は、このような機能を付与するためのプログラムとしても抽象され得るものである。
【0088】
【発明の効果】
以上、本発明によれば、三次元画像表示の特殊性を利用した新たなフェードイン・フェードアウト機能を提供することができる。すなわち、本発明によれば、表示対象物がオブジェクトとして管理されている場合に、オブジェクト毎に徐々に画面から消え去り、または画面上に浮き出てくるような遷移効果を与えながら、各オブジェクトに立体視効果を付与することができる。かかるオブジェクトの遷移効果と立体視効果の相乗作用により、臨場感溢れるフェードイン・フェードアウト動作を実現できる。
【図面の簡単な説明】
【図1】第1実施形態に係る3次元立体画像表示装置の構成を示す図
【図2】第1実施形態に係るCG画像の合成方法を説明する図
【図3】第1実施形態に係る各視点の画像データの生成方法を示す図
【図4】第1実施形態に係る各視点の画像データの生成方法を示す図
【図5】第1実施形態に係るフェードアウト動作時の処理フロー
【図6】第1実施形態に係るフェードイン動作時の処理フロー
【図7】第2実施形態に係る3次元立体画像表示装置の構成を示す図
【図8】第2実施形態に係る画像の合成方法を説明する図
【図9】第2実施形態に係る各視点の画像データの生成方法を示す図
【図10】第2実施形態に係るフェードアウト動作時の処理フロー
【図11】第2実施形態に係るフェードイン動作時の処理フロー
【符号の説明】
104 フォーマット解析部
105 遷移効果制御部
106 合成画像生成部
107 表示制御部
108 表示装置
109 記憶部
110 展開メモリ
111 グラフィックメモリ
121 デコード処理部
122 遷移効果制御部
123 合成画像生成部
124 記憶部

Claims (6)

  1. 表示対象物がオブジェクトとして管理されている原画像データを立体画像として表示する画像表示装置であって、
    前記オブジェクトのうちフェードインまたはフェードアウトの対象となるオブジェクトを指定するオブジェクト指定手段と、
    指定されたオブジェクトに遷移効果を設定する遷移効果設定手段と、
    遷移効果が設定されたオブジェクトおよびその他のオブジェクトを組み込んで立体画像データを生成する立体画像データ生成手段と、
    生成された立体画像データを表示する表示手段と、
    を有することを特徴とする画像表示装置。
  2. 請求項1において、
    前記オブジェクト指定手段は、各オブジェクトの前後関係を判別し、この判別結果に基づいてフェードインまたはフェードアウトの設定対象となるオブジェクトを指定する手段を有する、
    ことを特徴とする画像表示装置。
  3. 請求項1または2において、
    前記遷移効果設定手段は、前記指定されたオブジェクトに対して透過率を設定する手段を有し、
    前記立体画像データ生成手段は、設定された透過率に応じて前記指定されたオブジェクトの表示画素を間引くと共に、間引き後に残った画素に対してその背後にあるオブジェクトを埋め込む手段を有する、
    ことを特徴とする画像表示装置。
  4. 表示対象物がオブジェクトとして管理されている原画像データを立体画像として表示する機能をコンピュータに付与するプログラムであって、
    前記オブジェクトのうちフェードインまたはフェードアウトの対象となるオブジェクトを指定するオブジェクト指定処理と、
    指定されたオブジェクトに遷移効果を設定する遷移効果設定処理と、
    遷移効果が設定されたオブジェクトおよびその他のオブジェクトを組み込んで立体画像データを生成する立体画像データ生成処理と、
    生成された立体画像データを表示する表示処理と、
    を有することを特徴とするプログラム。
  5. 請求項4において、
    前記オブジェクト指定処理は、各オブジェクトの前後関係を判別し、この判別結果に基づいてフェードインまたはフェードアウトの設定対象となるオブジェクトを指定する処理を含む、
    ことを特徴とするプログラム。
  6. 請求項4または5において、
    前記遷移効果設定処理は、前記指定されたオブジェクトに対して透過率を設定する処理を含み、
    前記立体画像データ生成処理は、設定された透過率に応じて前記指定されたオブジェクトの表示画素を間引くと共に、間引き後に残った画素に対してその背後にあるオブジェクトを埋め込む処理を含む、
    ことを特徴とするプログラム。
JP2003165043A 2003-05-27 2003-06-10 画像表示装置およびコンピュータに画像表示機能を付与するプログラム Withdrawn JP2005004341A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2003165043A JP2005004341A (ja) 2003-06-10 2003-06-10 画像表示装置およびコンピュータに画像表示機能を付与するプログラム
US10/557,804 US20070236493A1 (en) 2003-05-27 2004-05-26 Image Display Apparatus and Program
PCT/JP2004/007185 WO2004107764A1 (ja) 2003-05-27 2004-05-26 画像表示装置及びプログラム
EP04745337A EP1628490A1 (en) 2003-05-27 2004-05-26 Image display device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003165043A JP2005004341A (ja) 2003-06-10 2003-06-10 画像表示装置およびコンピュータに画像表示機能を付与するプログラム

Publications (1)

Publication Number Publication Date
JP2005004341A true JP2005004341A (ja) 2005-01-06

Family

ID=34091651

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003165043A Withdrawn JP2005004341A (ja) 2003-05-27 2003-06-10 画像表示装置およびコンピュータに画像表示機能を付与するプログラム

Country Status (1)

Country Link
JP (1) JP2005004341A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007116549A1 (ja) * 2006-04-07 2007-10-18 Sharp Kabushiki Kaisha 画像処理装置
US8301013B2 (en) 2008-11-18 2012-10-30 Panasonic Corporation Reproduction device, reproduction method, and program for stereoscopic reproduction
US8335425B2 (en) 2008-11-18 2012-12-18 Panasonic Corporation Playback apparatus, playback method, and program for performing stereoscopic playback
JP2013178727A (ja) * 2011-06-03 2013-09-09 Nintendo Co Ltd 立体ディスプレイにおける複数のオブジェクトを制御する装置および方法
JP5502211B2 (ja) * 2011-01-17 2014-05-28 パナソニック株式会社 立体画像処理装置および立体画像処理方法

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007116549A1 (ja) * 2006-04-07 2007-10-18 Sharp Kabushiki Kaisha 画像処理装置
JP4693900B2 (ja) * 2006-04-07 2011-06-01 シャープ株式会社 画像処理装置
US8301013B2 (en) 2008-11-18 2012-10-30 Panasonic Corporation Reproduction device, reproduction method, and program for stereoscopic reproduction
US8335425B2 (en) 2008-11-18 2012-12-18 Panasonic Corporation Playback apparatus, playback method, and program for performing stereoscopic playback
JP5502211B2 (ja) * 2011-01-17 2014-05-28 パナソニック株式会社 立体画像処理装置および立体画像処理方法
US8750601B2 (en) 2011-01-17 2014-06-10 Panasonic Corporation Three-dimensional image processing device, and three-dimensional image processing method
JP2013178727A (ja) * 2011-06-03 2013-09-09 Nintendo Co Ltd 立体ディスプレイにおける複数のオブジェクトを制御する装置および方法

Similar Documents

Publication Publication Date Title
KR102557356B1 (ko) 가상, 증강 또는 혼합 현실 환경에서 3d 비디오들을 생성 및 디스플레이하기 위한 방법들 및 시스템
WO2004107764A1 (ja) 画像表示装置及びプログラム
JP4879326B2 (ja) 3次元画像を合成するシステム及び方法
US10237531B2 (en) Discontinuity-aware reprojection
US8817023B2 (en) Method, medium, and system rendering 3D graphic objects with selective object extraction or culling
JP2004145832A (ja) コンテンツ作成装置、コンテンツ編集装置、コンテンツ再生装置、コンテンツ作成方法、コンテンツ編集方法、コンテンツ再生方法、コンテンツ作成プログラム、コンテンツ編集プログラム、および携帯通信端末
JP2009064356A (ja) プログラム、情報記憶媒体及び画像生成システム
JP2011023902A (ja) 画像処理装置および画像処理方法
US11922602B2 (en) Virtual, augmented, and mixed reality systems and methods
KR100436904B1 (ko) 2차원이미지에 대한 입체영상생성방법
JP2005267655A (ja) コンテンツ再生装置、コンテンツ再生方法、コンテンツ再生プログラム、コンテンツ再生プログラムを記録した記録媒体、および携帯通信端末
JP4307222B2 (ja) 複合現実感提示方法、複合現実感提示装置
JP6126272B1 (ja) 仮想空間を提供する方法、プログラム及び記録媒体
US10708597B2 (en) Techniques for extrapolating image frames
KR20200001750A (ko) 특정 영역의 화질을 개선하기 위해 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 가상현실영상생성방법
JP2005004341A (ja) 画像表示装置およびコンピュータに画像表示機能を付与するプログラム
JP4513423B2 (ja) 仮想三次元座標ポリゴンによるオブジェクト画像の表示制御方法及びこれを用いた画像表示装置
JP2000030080A (ja) Vrシステム
KR101116733B1 (ko) 3차원 공간에서 틀린 그림 판별장치 및 방법 및 기록매체
US11962741B2 (en) Methods and system for generating and displaying 3D videos in a virtual, augmented, or mixed reality environment
US20230412789A1 (en) Multiview image creation system and method
JP2017208809A (ja) 仮想空間を提供する方法、プログラム及び記録媒体
JP2005005828A (ja) 画像表示装置およびコンピュータに画像表示機能を付与するプログラム
KR20200002018A (ko) 화질이 개선된 복수의 가상현실영상을 동기 또는 비동기 방식으로 재생하는 가상현실영상재생장치
KR20220146865A (ko) 증강현실에서 실제 객체를 가상으로 이동하는 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060526

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080617

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20080620