JP2001016609A - Ｍｐｅｇデータを用いた立体映像生成装置及び方法 - Google Patents

Abstract

(57)【要約】 （修正有） 【課題】 ＭＰＥＧビットストリームで各Ｉ、Ｐ、Ｂ画
像の動きベクトルを抽出し、もう一枚の映像を作って二
枚の映像より立体映像を生成する。 【解決手段】 画像抽出部１００はＭＰＥＧ符号化され
たデータから画像データを抽出し、動ベクトル生成部１
１０は画像データより構成される画像内のマクロブロッ
クに個別的に応ずる動ベクトルを生成して動ベクトルフ
ィールド構成部１２０に供給する。画像貯蔵部１６０は
画像データを画像数Ｋ個ほど貯蔵し、運動類型決定部１
３０は動ベクトルフィールド構成部からの動ベクトルを
用いて現在画像に応ずる運動類型を決定する。立体画像
生成部１４０は画像貯蔵部の以前画像及び運動類型を用
いて現在画像に応ずる合成画像を生成し、両画像を出力
する。左／右側画像決定部１５０は両画像を受信し、現
在画像を立体画像左側画像及び右側のうちいずれか一方
と決定し、合成画像を他方と決定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はＭＰＥＧデータの立
体映像（stereoscopic image）を生成する装置及び方法
に係り、ＭＰＥＧビットストリームで各Ｉ、Ｐ、Ｂ画像
の動きベクトルを抽出し、現在映像以外にもう一枚の映
像を作って二枚の映像より構成された立体映像を生成す
る装置及び方法に関する。

【従来の技術】本発明は二台のカメラ、すなわち立体カ
メラ（stereoscopic camera）を用いず、ＭＰＥＧ−１
ＣＤ、ＭＰＥＧ-２ ＨＤＴＶ、ＭＰＥＧ−２ ＤＶＤな
どの二次元動き映像を直接に立体映像で見られるように
する技術である。さらに、本発明の商業的な利用範囲は
前述した家電分野のみならず、ＭＰＥＧを使う全分野に
おいてビデオ画面を立体で視聴出きるようにする分野を
含めて多くの領域に使える。本発明が従来の技術と異な
る主な特徴は、従来の技術はＮＴＳＣ信号を入力され映
像信号を立体映像信号に変換することに比べ、本発明は
ＭＰＥＧ圧縮データを入力信号として受けて立体映像信
号に変換させる。また、ＭＰＥＧ圧縮データで立体映像
を生成するので従来の技術とは異なる方法で立体映像が
生成される。本発明と比較される従来の技術は、日本の
三陽（SANYO）電気で開発した修正時間差（Modified Ti
me Differnce：以下、‘MTD’と称する）法がある。ま
た、韓国の三星電子（株）により開発された垂直時差の
水平時差への変換方法がある。前述したように、該技術
らはＮＴＳＣ信号を入力され立体映像を生成する。三陽
電気により開発されたＭＴＤ法は１）動く領域を抽出
し、２）動きの速度及び方向を決定し、３）該動きの速
度及び方向により、以前の一つのフレームから遅延方向
（delay direction）及び遅延時間（delay time）が決
定され、４）決定された遅延方向及び遅延時間により遅
延された映像（delay image）がいずれ側の目に見える
かが決定される。三星電子（株）により開発された垂直
時差の水平時差変換方法は、１）ブロック別運動を予測
し、２）ブロック動きベクトルのサイズを計算し、３）
垂直成分を全て水平時差値に変換するために２）で求め
たサイズ値を水平時差値に変換し、４）各ブロックを水
平時差値ほど水平移動し、５）水平移動されたブロック
を集めて合成映像を生成する。ＭＴＤ方法は動き情報に
より以前のＫ個フレームのうち一つを遅らせた映像とし
て選択するので、一つのフレーム映像内の領域が有して
いる他の深さが無視される問題点がある。結局、立体映
像を鑑賞する際深さ感がなくなるため、例えば動いてい
る物体については立体感があるが、場面の背景（backgr
ound）のような動きの少ない部分については立体感が感
じられない。三星電子（株）により提案された方法は隣
り合うブロックの水平時差の相違によるブロックの水平
移動により映像の歪みが生ずる。従って、前述した既存
の方法をＭＰＥＧ符号化されたデータに用いようとする
時は復号された（decoded）映像に再び運動予測（motio
n prediction）方法を行うことによりＭＰＥＧビットス
トリームに入っている動き情報を用いられず、かつ運動
予測方法の再使用によるアルゴリズムの複雑性が高まる
短所がある。

【発明が解決しようとする課題】本発明は前述した問題
点のみならず、ＭＰＥＧ圧縮データの立体変換を解決す
るために創案されたもので、ＧＯＰ（Group of Pictur
e）を構成する三つの基本画像のＩ、Ｐ、Ｂ画像におい
て各マクロブロックビットストリームに貯蔵されている
動きベクトルを抽出した後、動きベクトルの集合である
動きベクトルフィールドから運動種類を抽出する。得ら
れた運動種類は多様であるが、運動種類に応じて最適の
立体映像を生成して、水平運動、非水平運動、高速動及
び静止映像においても安定した立体感を感じさせるＭＰ
ＥＧデータの立体映像変換装置及び方法を提供するとこ
ろにその目的がある。

【課題を解決するための手段】前述した目的を達成する
ための本発明に係るＭＰＥＧデータの立体映像変換装置
は、ＭＰＥＧデータを立体映像に変換する装置及び方法
に係り、ＭＰＥＧビットストリームデータからＩ、Ｐ、
Ｂ画像を抽出するＩ、Ｐ、Ｂ画像抽出部、Ｉ、Ｐ、Ｂ画
像のマクロブロックを抽出するマクロブロック動きベク
トル抽出部、マクロブロックの動きベクトルを集めて動
きベクトルフィールド（motion vectorfield）を構成す
る動きベクトルフィールド構成部、動きベクトルフィー
ルドで水平運動（horizontal motion）、非水平運動（n
on-horizontal motion）、高速運動（fast motion）及
び動きのない静止状態を決める運動種類決定部、映像運
動が水平運動の時に立体映像に変換する水平動映像立体
変換部、映像運動が非水平運動の時に立体映像を作る非
水平動映像立体変換部、映像運動が高速運動の時に立体
映像を作る高速動映像立体変換部、映像が動きのない静
止映像の時立体映像を作る静止映像立体変換部、映像運
動が水平運動の時に現在画像と以前画像を左／右側映像
信号と決定する左／右側映像決定部、Ｋ個の以前画像を
貯蔵するＫ個の以前画像貯蔵部、及び左／右側映像信号
をアナログ信号に変換する左／右側ディジタル／アナロ
グ変換器を含むことが望ましい。ＭＰＥＧデータの立体
映像変換方法は、ＭＰＥＧビットストリームでＩ、Ｐ、
Ｂ画像を探し出すI／P／Ｂ画像抽出段階と、マクロブロ
ックの動きベクトルの抽出段階と、Ｉ画像はイントラコ
ーディングされるため、Ｉ画像の全マクロブロックの動
きベクトルを以前Ｂ画像のマクロブロックの動きベクト
ルで予測するＩ画像動きベクトル予測段階と、Ｉ画像の
動きベクトルを抽出するためのＢ画像のマクロブロック
動きベクトルの貯蔵段階と、Ｐ画像のマクロブロックで
運動予測されなかったマクロブロックの動きベクトル抽
出段階と、Ｂ画像のマクロブロックで運動予測されなか
ったマクロブロックの動きベクトル抽出段階とを含むの
が望ましい。映像を静止映像と動映像とに分類する段階
は、Ｉ、Ｐ、Ｂ画像の動きベクトルで動きベクトルフィ
ールドを構成する段階と、動きベクトルフィールドで映
像の運動種類を決定する段階と、動きベクトルフィール
ドで動映像と運動のない静止映像を決定する動／静止映
像決定段階と、このために水平運動成分が０のマクロブ
ロックの個数を計算する段階と、全マクロブロックの個
数を計算する段階と、二つの個数の比率を計算する段階
と、比率値と臨界値との大小を決める段階と、大きけれ
ば静止映像であり、小さければ動映像を決定する段階と
を含むのが望ましい。動映像を再び水平／非水平動映像
に分類する段階は、最大垂直ヒュージョン臨界角を計算
する段階と、最大垂直時差臨界値を求める段階と、非水
平マクロブロックを決定する段階と、全マクロブロック
の個数と非水平マクロブロックの個数の比率を計算する
段階と、比率の大小を決定する段階と、大きければ非水
平動映像、小さければ水平動映像と決定する段階とから
構成されており、水平動映像で高速動映像を決定する段
階は、最大水平時差臨界値より大きい水平動きベクトル
成分を有する高速運動マクロブロックの個数を計算する
段階と、全マクロブロックの個数と高速運動マクロブロ
ックの個数の比率を計算する段階と、比率の大小を決定
する段階と、大きければ高速動映像であり、小さければ
水平動映像と決定する段階とを含むことが望ましい。静
止映像なら静止映像を立体映像に変換させる静止映像の
立体映像生成段階は、映像がカラー映像ならグレイレベ
ル映像に変換する段階と、２５６をＮ個の区間に分けて
該当区間に各グレイレベルを分類する段階と、輝度によ
り深さ情報を割り当てる段階と、深さ情報を用いて応ず
る水平時差に変換する段階と、該水平時差により各マク
ロブロックを水平移動して合成映像を生成する段階とを
含むのが望ましい。非水平運動映像を立体映像に変換す
る非水平動映像の立体変換段階は、カメラと物体運動が
存すればカメラ運動方向を決める段階と、カメラ運動方
向と逆の静止または運動マクロブロックを抽出する段階
と、カメラ運動方向マクロブロックには同一な量の時差
値を与え、異なるマクロブロックは０の時差を有させる
段階と、時差値ほどマクロブロックを水平移動して合成
映像を生成する段階と、カメラは静止であり物体のみ動
映像なら静止状態のマクロブロックは同一な量の時差を
与え、運動マクロブロックには正の時差を与える段階
と、時差値ほどマクロブロックを水平移動して合成映像
を生成する段階と、物体がなくカメラのみ運動する映像
と決定されれば、カメラの水平運動成分の符号と異なる
動きベクトルを修正する段階と、正確な動きベクトルを
得るためにエッジ（edge）を用いるためにマクロブロッ
クのエッジ方向を決める段階と、周辺のエッジの存する
マクロブロックと以前映像のマクロブロックの動きベク
トルを用いて現在マクロブロックの時差を計算する段階
と、時差によりマクロブロックを水平移動する段階とを
含むのが望ましい。高速運動映像を立体に変換する段階
は、直前に存する映像を抽出する段階と、高速運動マク
ロブロックを抽出する段階と、該当動きベクトルを最大
水平時差値に変換する段階と、マクロブロックを水平移
動する段階と、以前映像に水平移動されたマクロブロッ
クを合成する段階とから構成され、水平運動の場合、情
神物理学理論に基づく最大水平運動値計算段階と、最大
水平運動値と臨界値の大小を決める運動量計算段階と、
最大水平運動値と最大水平時差臨界値とを比較して以前
映像を決定する以前映像決定段階と、最大水平時差値が
臨界値より大きければ合成映像生成段階で処理され、水
平動映像の立体映像変換のためＫ個の以前画像を貯蔵す
る以前画像を貯蔵する段階と、現在画像と以前画像を左
／右側映像信号にするか、あるいは現在画像と以前画像
を右／左側映像信号にするかを決定する水平運動種類決
定段階とから構成され、水平運動種類を決定するために
映像を二つの第１決定領域と第２決定領域に分割する段
階と、第１決定領域のマクロブロックを水平動きベクト
ル成分の符号による分類段階と、負の符号、０の符号及
び正の符号の個数の計算段階と、第１決定領域で最大個
数を有する符号決定段階と、第２決定領域のマクロブロ
ックを水平動きベクトル成分の符号による分類段階と、
負の符号、０の符号及び正の符号の個数の計算段階と、
第１決定領域で最大個数を有する符号を除いた残り符号
で個数が最大の第２決定領域の符号決定段階と、決定さ
れた符号に属する動きベクトルの水平位置の平方偏差計
算段階と、基準平方偏差計算段階と、二つの平方偏差の
比較段階と、第１決定領域と第２決定領域の最大符号個
数の比率計算段階と、比率及び平方偏差比較による現在
映像と以前映像決定段階とを含むのが望ましい。

【発明の実施の形態】以下、添付した図面に基づき本発
明をさらに詳しく説明する。図１は本発明の望ましい実
施形態によるＭＰＥＧ圧縮データの立体映像生成装置で
ある。図１に示された装置は画像抽出部１００、動きベ
クトル生成部１１０、動きベクトルフィールド構成部１
２０、運動類型決定部１３０、立体画像生成部１４０、
左／右側画像決定部１５０、以前画像貯蔵部１６０、そ
してＤＡＣ（Digital To Analog Converter）１７０、
１８０とからなる。画像抽出部１００はＭＰＥＧビット
ストリームからクピクチャヘッダ（picture header）内
の３ビットコードを用いて画像種類を分かり出す。ピク
チャヘッダ内の３ビットコードはフレーム画像またはフ
ィールド画像の画像種類を知らせるもので、例えば３ビ
ットコードが００１ならばＩ画像であり、０１０ならＰ
画像、１００ならＢ画像である。画像抽出部１１０はＭ
ＰＥＧビットストリームからＩ、Ｐ、Ｂ画像データを抽
出し、該画像データを動きベクトル生成部１１０及び以
前画像貯蔵部１６０へ供給する。動きベクトル生成部１
１０はＩ、Ｐ、Ｂ画像内のマクロブロックの動きベクト
ルをビットストリームから抽出し、動きベクトルを有し
ないマクロブロックについては他の画像のデータを参照
して動きベクトルを生成する。Ｉ画像はイントラコーデ
ィングされるため動きベクトルが存しない。従って、以
前Ｂ画像の動きベクトルを用いて動きベクトルを抽出す
る。Ｐ画像とＢ画像はインタコーディングされるため、
自分の動きベクトルを有している。従って、既存のＭＰ
ＥＧの動きベクトル抽出方法を用いて動きベクトルが得
られる。ＭＰＥＧ符号器に入力されるＧＯＰの画像順序
はMが３の場合に次の通りである。 ．．．B0 B1 P2 B3 B4 I5 B6 B7 P8 B9 B10 P11 ．．． これとは違って、ＭＰＥＧ復号器に入力されるＧＯＰの
画像順序は符号化された順序を従うが、次の通りであ
る。 ．．．P2 B0 B1 I5 B3 B4 P8 B6 B7 P11 B9 B10 ．．． 符号器においてＢ３とＢ４はＩ５を用いて逆方向運動予
測を行う。従って、Ｉ５のマクロブロックの動きベクト
ルを抽出するためには以前Ｂ３とＢ４のエンコーダから
求められた動きベクトルを用いる。表１はＭＰＥＧにお
いてＩ、Ｐ、Ｂ画像のディスプレイ順序とデコーダ入力
順序を示す順序図である。

【０００２】

【表１】 （a）項目は画像が画面にディスプレイされるディスプ
レイ順序を意味し、（b）項目は復号器に入ってくるＭ
ＰＥＧ画像の復号順を指す。Ｂ画像が抽出されればＢ画
像動きベクトル抽出部２００はビットストリームからマ
クロブロックの動きベクトルを抽出する。Ｂ画像動きベ
クトル生成部２１０はＢ画像に対する強制イントラコー
ディングなどにより動きベクトルのないマクロブロック
のために補間方法を使って動きベクトルを生成する。Ｂ
画像は自分の動きベクトルを有しているので該当動きベ
クトルを使う。Ｂ画像はＮとＭが必要である。ＮはＧＯ
Ｐにおけるフレーム個数であり、ＭはＧＯＰにおけるＩ
／Ｐ画像とＰ画像との距離（distance）である。Ｍ＝３
を仮定すれば、表１において1)のＢ（３）の場合、順方
向予測されるＰ（２）とは一つの画像間隔であり、逆方
向予測されるＩ（５）とは二つの画像間隔である。逆
に、Ｂ（４）の場合、順方向予測されるＰ（２）とは二
つの画像間隔であり、逆方向予測されるＩ（５）とは一
つの画像間隔である。画像間隔はＭと関係がある。従っ
て、Ｂ（３）の場合はスケールされた動きベクトルは次
のように求められる。

【０００３】

【数１】 類似に、スケールされたＢ（４）の動きベクトルは次の
ように求められる。

【０００４】

【数２】 Ｂ画像動きベクトル生成部２１０から出力するＢ画像内
の全てのマクロブロックに応ずるスケールされた動きベ
クトルはＢ画像動きベクトル貯蔵部２２０に貯蔵され、
図１の動きベクトルフィールド構成部１２０へ入力され
る。Ｐ画像が抽出されればＰ画像動きベクトル抽出部２
４０はビットストリームでＰ画像内マクロブロックの動
きベクトルを抽出する。ここで、考慮すべき点は、符号
器でＰ画像の動きベクトルを予測する時はＰ画像と運動
予測されるI／Ｐ画像間の画像間隔である。立体画像合
成段階において一定運動量の維持のためにＰ画像の場合
I／P及びPとの間隔、M値を考慮すべきである。従って、
Ｐ画像のマクロブロックのスケールされた動きベクトル
はMを考慮して次のように計算される。

【０００５】

【数３】 sはスケール（scale）を意味する。Ｐ画像動きベクトル
生成部２５０は動きベクトルのないマクロブロックに補
間方法を使って動きベクトルを生成する。生成された動
きベクトル及び抽出された動きベクトルは動きベクトル
フィールド構成部１２０へ入力される。Ｂ画像動きベク
トル貯蔵部２２０に貯蔵された動きベクトルはＩ画像動
きベクトル生成部２３０がＩ画像内のマクロブロックに
応ずる動きベクトルを生成するに使われる。Ｉ画像はイ
ントラコーディングされるため動きベクトルがない。従
って、Ｉ画像の動きベクトルを復元するためにＩ画像を
逆方向運動予測を行ったＢ画像が出てくるまで待つべき
である。Ｉ画像マクロブロックの動きベクトル（ｄｘ、
ｄｙ）Ｉは次のように求められる。表１のシーケンスか
らわかるように、求めようとするＩ（５）の動きベクト
ルを求めるためにはビットストリーム内の動き情報を有
しているＰ、Ｂ画像を用いるべきである。ＭＰＥＧシー
ケンスを通して使える情報は次の通りである。ＭＰＥＧ
シーケンスを示した表１から見られるように、Ｂ
（３）、Ｂ（４）はＩ（５）を直接に参照したため、Ｂ
（３）、Ｂ（４）の動きベクトルを用いればＩ（５）の
該当マクロブロックの動きベクトルを求められる。これ
は、Ｂ（３）及びＢ（４）が直接にＩ（５）を参照して
運動補償を行ったため、Ｐ（２）の動きベクトルを使っ
て動きベクトルを求めるより信頼性が高い。Ｂ（３）、
Ｂ（４）は時間的にＩ（５）画像に比べて先に画面にデ
ィスプレイされるべきであるが、復号器にはＩ（５）画
像に比べて後で入って来る。従って、他の画像を用いる
ことよりＩ（５）より先行する二つの画像Ｂ（３）、Ｂ
（４）を用いる方が遅延時間を最小化できる。Ｂ
（０）、Ｂ（１）の場合はＩ（５）画像よりディスプレ
イ順や復号化順序が優先するが、Ｉ（５）を参照しなか
ったため正確性がＢ（３）、Ｂ（４）に比べて劣る。本
発明において提案する方法は、Ｉ画像直前の逆方向予測
（backward prediction）を行ったＢ画像を用いてＩ画
像の動きベクトルを生成する。Ｂ画像を用いるためには
三つの方法がある。 方法 １: 方向に鑑みた加重値の利用 時間的に後で復号器に入力されるＢ（４）の動きベクト
ルをそのまま使用してＩ（５）の動きベクトルを予測す
る。しかし、この方法は全てのマクロブロックが線形的
に動くという仮定下でのみ使える。また、Ｂ画像のマク
ロブロックが参照するＩ画像のマクロブロックは正確に
マクロブロック単位に整列されることではないため、求
められた動きベクトル値は所望のマクロブロックの動き
ベクトル値ではない。従って、使えるＢ画像の動きベク
トル値ほどブロックを移動した後求めようとするマクロ
ブロックと重なるマクロブロックの情報を用いて動きベ
クトルの値を計算する。図３においてＭＢ（ｘ、ｙ、ｋ
-1）は動きベクトルを有している以前画像のＢ画像のマ
クロブロックであり、ＭＢ（ｘ、ｙ、ｋ）は現在動きベ
クトルを求めようとするＩ画像のマクロブロックを示
す。矢印は動きベクトルの方向にＭＢ１、ＭＢ２は類似
し値の動きベクトルを有しており、ＭＢ３は相異なる動
きベクトルを有していることが見られる。提案する方法
は、ＭＢ３のように全体的な動きベクトルの方向と異な
るマクロブロックはその候補として含まれないことによ
り、相関関係が少ない領域から得られる動きベクトルが
避けられる。また、動きベクトルの方向は無限であると
言えるので、図４に示したように四つの領域に分類す
る。また、動きベクトルを（ｄｘ、ｄｙ）と定義し、動
きベクトルの方向は次のように求められれば、図４に示
したように左上、右上、左下、右下の四つの方向に分類
される。

【０００６】

【数４】 Ｉ画像の動きベクトルは次のように求められる。Ｆｋ
とＦｋ−１はそれぞれ現在画像及び以前画像を意味し、
Ｎは求めようとするＩ画像のマクロブロックＭＢ（ｘ、
ｙ、ｋ）と部分的に重なり、動きベクトルの方向が類似
したＢ画像のマクロブロックの個数を意味する。Ｉｎ＝
［Ｉｘｎ、Ｉｙｎ］ＴはＭＢ（ｘ、ｙ、ｋ）とｘ、ｙ軸
における重なる部分の長さ、すなわち重なる部分の画素
数を意味し、ω＝［ωｘ、ωｙ］Ｔ は前記で求めた距
離Ｉｎ＝［Ｉｘｎ、Ｉｙｎ］Ｔに対する加重値を意味す
ることで、次のように求められる。

【０００７】

【数５】 Ｔは転置（transpose）である。上記式で得られた加重
値を用いれば求めようとするＩ画像のマクロブロックの
動きベクトルは次のように求められる。

【０００８】

【数６】 方法 ２：ｘ軸、ｙ軸それぞれの加重値の利用 加重値のみを用いて計算する方法は上記の方法１で考慮
された方向を除けば同一である。すなわち、特性方向の
動きベクトルを有するマクロブロックのみ考慮すること
ではなく、重なる全てのマクロブロックを考慮する。 方法 ３：面積を加重値として使用 方法２と同様であるが、ｘ、ｙ軸それぞれの値について
加重値を求めることではなく、求めようとするマクロブ
ロックと重なる全てのマクロブロックの面積、すなわち
ピクセルの個数を加重値にして動きベクトルを計算す
る。前述した方法のうち一つで生成されたスケールされ
た動きベクトルは動きベクトルフィールド構成部１２０
へ供給される。動きベクトルフィールド構成部１２０は
Ｉ、ＰまたはＢ画像内のマクロブロックの動きベクトル
が抽出されれば、その画像内の全てのマクロブロックに
応ずる動きベクトルよりなる動きベクトルフィールドを
構成する。動きベクトルフィールドはアレイ（array）
または集合で表現できる。動きベクトルフィールドが構
成されれば運動類型決定部１３０は動きベクトルフィー
ルド構成部１２０に貯蔵されているか、それより出力さ
れる動きベクトルフィールドについて運動解釈方法を用
い、現在画像に存するカメラ、物体またはカメラ及び物
体の両方の運動に対するサイズ及び方向を決定する。運
動類型決定部１３０は静止画像、カメラ及び／または物
体が水平に運動する水平画像、カメラ及び／または物体
が非水平に運動する非水平動画像、カメラ及び／または
物体が早く運動する高速動画像を区別し、その結果を立
体画像生成部１４０へ出力する。かかる運動類型決定部
１３０は図５に示したように、動／静止画像決定部５０
０、水平／非水平動画像決定部５１０及び水平／高速動
画像決定部５２０を備える。図５に示された合成静止画
像発生部５３０、合成非水平動画像発生部５４０、合成
高速動画像発生部５５０及び合成水平動画像発生部５６
０は図１に示した立体画像生成部１４０を構成する。図
６は動／静止画像決定部６００の動作を説明するための
動作を説明するための流れ図である。動／静止画像決定
部６００は動きベクトルフィールドを分析して動画像と
動かない静止画像を決定する。静止画像と動画像の決定
は次の方法を使った。動きベクトル（ｄｘ、ｄｙ）が
（０、０）のマクロブロックの個数のＮＯを計算し（段
階６００）、全体マクロブロックの個数のＮＭＢを計算
すれば（段階６１０）、段階６２０で計算される比率α
ｓは次の通りである。

【０００９】

【数７】 段階６３０において、得られたαｓ値が臨界値ＴＳより
大きければ静止画像とに区分し、小さければ動画像にな
る。ＴＳ＝［０．０、１．０］、例えばＴＳ＝０．９な
ら全面積の１０％以上が運動領域である。Ｎ０は現在画
像内の静止マクロブロックの個数である。静止画像なら
動きベクトルを収録している現在画像のデータは合成静
止画像発生部５３０へ入力される。それとも水平／非水
平動画像決定部５１０へ入力される。水平／非水平動画
像決定部５１０を図７に基づき説明する。水平運動と非
水平運動は精神物理学的な理論に基づいたアルゴリズム
を用いて区分する。非水平運動による垂直時差は相同点
と呼ばれる二つのマッチング点間の垂直成分の差であ
る。かかる垂直時差は両目が映像を溶断（fusion）する
ことを極めて難しく不便にすることはよく知られてい
る。情神物理学実験によれば、垂直時差のサイズは少な
くとも最大垂直溶断臨界角θｖが角度としては１０’
（minutes of arc）以内であるべきだと提案した。他の
実験においてはθｖは角度としては６’の垂直時差を満
たすべきであるが、映像溶断されればθｖが角度として
は２０’になっても溶断が安定的に発生すると観察され
た。従って、段階７００においては、６’ないし２０’
の範囲内の任意の値を最大垂直溶断臨界角θｖと設定す
る。かかるθｖのディスプレイモニターにおける距離Ｌ
Ｖは画像における最大垂直時差臨界値であり、図８の関
係図を用いれば次の数式により計算される（段階７１
０）。

【００１０】

【数８】 θｖの単位が分（minute）なので度（degree）で示すた
めには６０で割るべきである。ＬＶの単位はピクセルで
ある。Ｄは視聴距離であり、単位はｃｍ である。Ｎｙ
は画像の垂直サイズであり、Ｗｙは画像のディスプレイ
モニターにおける垂直長さである。単位はｃｍである。
ＬＶは非水平運動を決定する役割を担う。動きベクトル
の垂直成分ｄｙがＬＶより大きい非水平マクロブロック
の個数であるＮＬＶを計算し（段階７２０）、ＮＬＶ及
びＮＭＢの比率αｖは次の数式により計算される（段階
７３０）。

【００１１】

【数９】 もし、αｖが臨界値ＴＶより大きければ現在画像を非水
平動画像と決定し、小さければ水平動画像と決定する
（段階７４０）。αｖは画像が水平運動及び非水平運動
のうちいずれの運動をするかを決定する極めて大事な要
素であ。実際の立体画像において非水平運動を行う小さ
な物体も立体感に影響を与える。従って、画像内で非水
平運動マクロブロックの個数がαｖを決定すると判断す
る。αｖ値は実験を通してカメラ静止状態で非水平物体
運動が、カメラが運動している時の非水平物体運動より
目の疲労感が高い。なぜならば、前者の場合、静止領域
と運動領域の時差が大きい一方、後者の場合は相対的に
時差が少ない。カメラ静止状態ではαｖを０．０５に
し、カメラ運動状態ではαｖを０．１５とする。非水平
動画像ならば動きベクトルを収録している現在画像のデ
ータは水平動画像発生部５３０へ供給される。それとも
水平／高速動画像決定部５２０へ入力される。水平／高
速動画像決定部５２０は人が目のひろ感を感じる最大水
平時差値を決定する。情神物理学実験によれば、平均水
平溶断臨界角θＨは負の時差（negative parallaxまた
はcrossed disparity）においては略２７’であり、正
の時差（positive parallaxまたはuncrossed disparit
y）においては２４’である。約２秒の時間間隔の人間
時刻の収斂応答は前述の時差値よりは大きいが、負の時
差では略４．９３°であり、正の時差においては１．５
７°が人間の立体視覚を収斂できる臨界角であることが
証明された。段階９００においては、この水平溶断臨界
角θＨが設定され、ディスプレイモニターにおける最大
水平時差臨界角ＬＨは図１０の関係図を用いて次のよう
に求められる（段階９１０）。

【００１２】

【数１０】 ここで、Ｄは人の目とスクリーンまでの視聴距離であ
る。Ｎｘは画像の水平サイズであり、Ｗｘは画像のディ
スプレイモニターにおける垂直長さである。単位はｃｍ
ある。数式１０により得た値は人が最大に克服できる臨
界値なので、この値の加重値を選択した。従って、加重
されたＬＨは次のように求められる（段階９１０）。

【００１３】

【数１１】 により求められる。加重値ω１とω2が０．５なら二つ
の値の平均値である。次いで、水平／高速運動決定部５
２０は水平運動する現在画像から立体感を供する溶断を
困難にする高速運動する部分を決定する。決定方法は情
神物理学理論に基づく。マクロブロック動きベクトルの
水平成分ｄｘの絶対値がＬＨより大きな高速運動するマ
クロブロックの個数ＮＬＨを計算し（段階９２０）、Ｎ
ＬＨと全マクロブロック個数ＮＭＢとの比率αＨは段階
９３０において次の数式を用いて求められる。

【００１４】

【数１２】 段階９４０において、もしαＨが臨界値THより小さけれ
ば水平運動と決定され、そうでなければ高速運動と決定
される。ここで、ＴＨは０．０と１．０との間に存する
値である。高速運動する現在画像の場合、合成高速動画
像発生部５５０が必要な合成画像、すなわち現在画像に
応ずる立体画像を生成するに必要な合成高速動画像を発
生する。一方、水平運動する現在画像の場合、合成高速
運動画像発生部５６０が現在画像の立体処理に必要な合
成水平動画像を発生する。このため、水平／高速動画像
決定部５２０は現在画像が水平動画像及び高速動画像の
うちいずれかにより、動きベクトルを収録している現在
画像のデータを合成高速動画像発生部５５０及び合成水
平動画像発生部５６０のうち該当機器へ供給する。図１
１は合成水平動画像発生部５６０を動作説明するための
流れ図である。合成水平動画像発生部５６０は現在画像
に対する平均運動速度と最大運動速度を計算する（段階
１１００）。平均運動速度はdx値が０でない全ての水平
動きベクトル成分の絶対値の平均であって、次の通りで
ある。

【００１５】

【数１３】 ここで、Ｎは現在画像内でｄｘが０でないマクロブロッ
クの個数である。最大水平運動速度ｄｘｍａｘは最大水
平動きベクトル成分値であって、次の通りである。

【００１６】

【数１４】 次いで、合成水平動画像発生部５６０は段階１１０１に
おいて現在画像に応ずる遅延画像、すなわち現在画像の
立体処理に使われる以前画像を決定する。この段階１１
０１においては、まず最大水平運動値ｄｘｍａｘと最大
水平時差臨界値ＬＨとを比較して以前画像を決定する。
図９の段階９１０で求めたＬＨを用いて立体画像を構成
するためには、以前画像（previous frame）のうち一つ
を選択すべきである。これを決定するためには遅延要素
（delay factor）を計算する。運動類型が水平運動の場
合は現在画像と遅延画像を適宜に左眼（the left eye）
と右眼（the right eye）に示すべきであるが、現在画
像において時間軸に以前に存するＫ個の以前画像のうち
一つの画像を選択すべきである。遅延要素は運動速度と
関係あるが、平均運動速度または最大運動速度を選ぶ方
法がある。前者は一つのマクロブロックが立体感に大き
な影響を与えられる短所がある。後者は全ての水平時差
が最大水平時差臨界値より小さい長所がある。現在画像
をＩｋにし、以前画像をＩｋ−ｎ(ｎ＝1、2、 ．．．、
∞）と定義する。遅延要素を用いて運動速度が早ければ
現在画像と近い以前画像を選び、遅ければ遠くに存する
以前画像を選ぶ。遅延要素ｆＤは次のように求められ
る。

【００１７】

【数１５】 ｄｘｍａｘはＬＨより等しいか小さいので、ｆＤの最小
値は１である。ＲＯＵＮＤ［］は四捨五入演算子であ
る。運動量が少ない場合は分母値が小さいためｆＤの値
が大きくなる。以前画像の貯蔵のためにはメモリが必要
である。メモリの量は有限なのでｆＤの最大値はKとす
る。メモリに常に以前Ｋ個の画像が貯蔵されるべきであ
る。従って、Ｋは適応的に定める。Ｋ値はＬＨにより適
応的に決定できる。ｆＤが求められれば現在画像Ｉｋと
以前画像Ｉｋ−ｆＤの二つの画像で立体画像を構成す
る。以前画像貯蔵部１６０はＫ個の以前画像のデータを
貯蔵する。段階１１０１が完了されれば、合成水平動画
像発生部５６０は水平運動する現在画像に応ずる合成画
像を生成する。水平動画像の立体変換は現在画像と以前
画像で立体画像を作るのが最善の方法である。現在画像
と以前画像を左側画像と右側画像のうちいずれに決定す
る方法は次の二種がある。一番目の方法は、現在画像を
左側画像に、以前画像を右側画像にしたり（以下、‘モ
ードＡ'と称する）、二番目の方法として、現在画像を
右側画像に、以前画像を左側画像にする方法がある（以
下、‘モードＢ'と称する）。水平動画像の場合、モー
ドＡとモードＢを決定することは極めて大事な問題であ
る。モードＡまたはモードＢへの決定を表３ないし表４
に基づき説明する。

【００１８】

【表２】

【００１９】

【表３】

【００２０】

【表４】 モードＡまたはモードＢへの決定は、先に抽出された動
きベクトルフィールドで運動種類を決定すべきである。
動きベクトルの水平成分のみを用いる。現在画像におい
て存するカメラ及び物体の動きは表２に示される１０種
の運動種類がある。各運動種類によるカメラ運動と物体
動き方向があり、決定される左側画像と右側画像があ
る。動きベクトルフィールドの分析において１０種の運
動種類が決定されれば最終に現在画像と以前画像を左眼
／右眼または右眼／左眼にディスプレイする。表２の運
動種類を再び分類すれば次の四種の場合はモードAを選
ぶ。２）カメラ左側運動３）物体右側運動５）カメラ右
側運動及び物体右側運動８）カメラ左側運動及び物体右
側運動があり、方法Bが選択される場合は１）カメラ右
側運動４）物体左側運動、６）カメラ右側運動及び物体
左側運動７）カメラ左側運動及び物体左側運動９）カメ
ラ右側運動及び物体左右側運動１０）カメラ左側運動及
び物体左右側運動がある。従って、本発明においては動
きベクトルフィールドをモードAとモードBに分類する決
定要素を探す。各運動種類の動きベクトルフィールドを
分析すれば、カメラ運動と関係なく物体の運動方向が右
側に進められれば無条件モードAを選び、カメラ運動と
関係なく物体の運動方向が左側へ進められれば無条件モ
ードBが選ばれる。例えば、カメラが右側運動状態であ
り、物体の水平運動成分が０なら方法Aを選び、カメラ
の方向が左側に進まれ物体の水平運動成分が０ならモー
ドBが選ばれる。図１１の流れ図の説明に戻って、段階
１１０２において現在画像は一次決定領域（Primary De
cision Area : 以下、PDAと称する）と二次決定領域（S
econdaryDecision Area : 以下、SDAと称する）に分割
される。一次決定領域（PDA）は図１２に示された全画
像領域において内側四角形[τNX、（1-τ）NX] × [τN
y、（1-τ）Ny]を除いた領域であり、二次決定領域（SD
A）は[τNX、（1-τ）Nx]× [τNy、（1-τ）Ny]領域
である。τ値の範囲は[0.0、0.5]に存する。PDAはカメ
ラ運動を決定し、SDAではカメラ及び物体運動を決定す
る。カメラ運動方向を決定するPDAに存するマクロブロ
ックの水平動きベクトル成分は負の符号、０の符号、正
の符号を有している。段階１１０３において符号により
各マクロブロックの水平運動成分が分類される。次い
で、負の符号の個数、０の符号の個数及び正の符号の個
数を計算する（段階１１０４）。この個数をそれぞれPD
A[0]、PDA[1]、PDA[2]と定める。この個数は該当マクロ
ブロックの個数と同一である。PDA[0]、PDA[1]、PDA[2]
において一番個数が多いものをPDA[i*]とする（段階１
１０５）。i*{0、1、2}、i*は第１方向として表３及び
表４において使うPDA[MV0]を‘+'、‘0'、‘-'のうち一
つと決定する。この結果は後で段階１１１２において使
われる。段階１１０６においてSDAが解釈される。物
体、カメラまたはカメラと物体動きの決定はSDAを用い
て行われる。まず、SDA内に存するマクロブロック動き
ベクトルの水平成分の符号を分類する（段階１１０
６）。次いで負の符号の個数、０の符号の個数及び正の
符号の個数を計算する（段階１１０７）。この個数は該
当マクロブロックの個数と同一である。かかる個数をSD
A[0]、SDA[1]、SDA[2]と定める。これらのうちSDA[i*]
を除いた残りの２個のうち一番多数のものを選びSDA[j
*]と定める（段階１１０８）。j*を第２方向と定める。
また、第２方向を除いた残りの二つのうち個数の多いも
のを選ぶ。これを第３方向と定める。SDAにはカメラ及
び物体の運動が同時に存しうる。従って、第２方向につ
いての正確性が調べられる。初期第２方向は物体運動と
仮定する。次の過程は第２方向が物体運動による方向
か、あるいはカメラ運動による方向かを決定すべきであ
る。次のような方法を使用した。第１に、第１方向と第
２方向に存する個数の比率γSDAは次の数式により計算
される（段階１１１１）。

【００２１】

【数１６】 第２に、SDA内の水平距離[τNx、（1-τ）Nx]において
水平運動成分が均等に分布されている時の平方偏差σU2
と第２方向に存する水平運動成分の画像内における水平
位置値の平方偏差σSDA2（段階１１０９で計算）の比率
γσは段階１１１０で次の数式を用いて計算される。

【数１７】 段階１１１２において、もしγSDAが臨界値Tγより大き
く、γσが１より大きければ第２方向は変更なく、それ
とも第２方向は第３方向により置き換えられる。第２方
向が‘+'（右側運動）を指すか、第１方向が‘-’（左
側運動）及び第２方向が‘0'（停止状態）を指すとモー
ドAが選ばれ、他の全ての場合はモードBが選ばれる。合
成水平動画像発生部５４０は運動類型が非水平運動と決
定されれば立体画像を生成する。図１３に示された流れ
図を用いて説明する。段階１３００において、カメラと
物体運動が存すると判断されれば、図１１の段階１１０
５から得られる第１方向をカメラ運動方向に決定し（段
階１３０１）、カメラ運動方向と逆の静止または運動マ
クロブロックを抽出する（段階１３０２）。カメラ運動
方向を有するマクロブロックには同一な正の（positiv
e）時差値を与え、他のマクロブロックは０の時差を有
させる（段階１３０３）。すなわち、マクロブロックは
０の時差または任意の値の正の時差を有する。時差値ほ
どマクロブロックが水平移動され（段階１３０９）、合
成画像が生成される（段階１３１０）。段階１３００及
び段階１３０４によりカメラは静止状態であり、物体の
み運動する画像と判断されれば、静止状態のマクロブロ
ックは同一な正の時差を与え、運動マクロブロックには
０の時差を与える（段階１３０５）。段階１３０９では
時差値ほどマクロブロックが水平に移動され、段階１３
１０で合成映像として生成及び出力される。段階１３０
０及び段階１３０４により物体の運動なしでカメラのみ
運動する画像と決定されれば、カメラの水平運動成分の
符号と異なる動きベクトルを修正し（段階１３０６）、
正確な動きベクトルを得るためエッジ（edge）情報を用
いる。段階１３０７においてマクロブロックのエッジ方
向が決まる。これを図１４に基づき詳しく説明する。 １）カメラ方向が左側か右側かは図１１の段階１１０５
において説明した方式で決まれる。マクロブロックの動
きベクトルの水平成分がカメラ運動方向と違う場合は動
きベクトルを修正する。マクロブロックMB（n1、n2）の
動きベクトルがカメラ方向と違う場合は以前MB（n1-1、
n2）の動きベクトル値に置き換える。MB（n1+1、n2）は
具現の困難のため用いない。 ２）マクロブロックでエッジが存するかを調べる。図１
４に示した５種の方向フィルタを使う。マクロブロック
のサイズは１６×１６であるが、説明を目的としたもの
なので８×８サイズで示す。まず、T５を用いてマクロ
ブロックのエッジの存在を調べる。マクロブロック内の
ピクセル値の平方偏差が臨界値Tより大きければエッジ
が存し、そうでなければエッジが存しない。エッジが存
すればT１、T２、T３、T４において平方偏差を求めて最
小のフィルタを求めればエッジ方向が求められる。従っ
て、各マクロブロックは非エッジMB及びエッジMBであっ
てエッジMBはエッジ方向を有する。垂直エッジは立体感
に大事な役割を果たすため、現在エッジマクロブロック
にはこの直上のマクロブロックスキャンラインに存する
三つのマクロブロックでエッジ方向を有するエッジマク
ロブロックを用いる。 ３）カメラ運動では以前画像の運動と密接が関係があ
る。従って、運動時差を求める際は以前マクロブロック
の動きベクトルを考慮する。段階１３０８では動きベク
トルが時差に変換され改善された時差値が計算される。
抽出した各マクロブロックの動きベクトルは水平成分と
垂直成分より構成されているが、垂直成分は立体画像を
視聴する際深さを感じられなくて目の疲労をもたらす。
垂直成分を 無くすために動きベクトルを水平時差値に
変換する。動きベクトルの時差変換は次の三つの方法を
用いる。マクロブロックの動きベクトルが得られれば垂
直運動成分の影響を無くすために動きベクトルのノルマ
（norm）dMBを求める。動きベクトルのノルマは次の通
りである。

【００２２】

【数１８】 上記式においてdxとdyはマクロブロック動きベクトルの
水平及び垂直成分である。または次式を用いられる。

【００２３】

【数１９】 上記式の長所は演算量を減らせる。また、水平成分のみ
用いて次式を用いられる。

【００２４】

【数２０】 上記式は最大に演算量を減らせる。負の時差を得るため
には全てのマクロブロックを右側に水平移動して左側画
像を合成する。正の時差では立体画像を見る際スクリー
ンから背面に３-D深さ感が生ずる。正の時差を 得るた
めには実際の水平時差は次のように求められる。

【００２５】

【数２１】 ここで、MAX（dMB）は予め定まった値または各画像のマ
クロブロックの運動ノルマの最大値と定められる。つま
り、段階１３０８において計算されるエッジを用いる改
善された時差値は次の通りである。

【００２６】

【数２２】 ここで、δは（n1、n2）に存するマクロブロックと（n1
-1、n2-i）に存するマクロブロック間のエッジ方向の差
である。δ値はエッジ方向の差が０度なら１、４５度な
ら１／２、９０度なら０である。またはδ値は他の方法
で定められる。同様に、段階１３０９により時差値ほど
マクロブロックを水平移動し、合性画像を生成する（段
階１３１０）。合性高速動画像発生部５５０は運動類型
が水平運動と決定されれば立体画像のための合性画像を
生成する。図１５に示された流れ図を参照して説明す
る。立体画像は現在画像と合成画像より構成されるが、
合成画像生成過程は、まず直前画像を抽出する（段階１
５００）。以前画像は段階１５０４で使われる。画像の
全てのマクロブロックのうち最大水平時差ＬＨより大き
な動きベクトル水平成分を有しているマクロブロックを
抽出する（段階１５０１）。次いで抽出されたマクロブ
ロックの動きベクトル水平成分をＬＨに置き換える（段
階１５０２）。このＬＨ値ほど該当マクロブロックを水
平移動する（段階１５０３）。水平移動されたマクロブ
ロックと段階１５００から出力された以前画像を合成す
る（段階１５０４）。合成静止画像発生部５３０は運動
類型が静止状態と決定されれば静止画像の立体変換に立
体画像を生成する。図１５に示された流れ図を用いて説
明する。画像がカラー画像ならグレイレベル画像に変換
する（段階１５００）。グレイレベルは[０、２５５]の
範囲を有する場合、２５６をＮ個の区間に分けて各グレ
イレベルを該当区間に分類する（段階１５１０）。各区
間は輝度が異なるため、輝度が大きいほど深さ情報を大
きく与え、低いほど深さ情報を少なく与える（段階１５
０２）。深さ情報を用いて応ずる水平時差に変換する
（段階１５０３）。該水平時差により各マクロブロック
を水平移動して合成画像を生成する（段階１５０４）。
左／右側画像決定部１５０は立体画像生成部１４０の出
力から表２ないし表４に説明した方法を用いて左側画像
と右側画像を決定する。以前画像貯蔵部１６０は前述し
たように立体画像生成部１４０の合成画像発生に必要な
以前画像を貯蔵するものであって、現在画像より以前に
存するＫ個の画像を貯蔵する。新たな画像が貯蔵されれ
ば、以前画像貯蔵部１６０内の最先に貯蔵された画像は
無くなる。DAC１７０、１８０は左／右側画像決定部１
５０から出力される左／右側画像データをアナログ信号
に変換してディスプレイバッファ（図示せず）に貯蔵す
る。前述した過程を経てモニターにディスプレイされる
立体映像を鑑賞するためには立体映像と同期させる立体
眼鏡が必要になる。

【発明の効果】以上述べたように本発明によれば、ＭＰ
ＥＧの立体変換のために映像内の運動解釈により静止画
像、非水平動画像、高速動画像および水平動画像に分類
して各画像に最適の立体画像を生成することにより、安
定した立体間を得られる。本発明はＭＰＥＧを用いるＭ
ＰＥＧ-２ＨＤＴＶ、ＭＰＥＧ-２ＤＶＤプレーヤ、ＭＰ
ＥＧ-1ビデオＣＤなどに用いて立体視聴が可能になり、
ＭＰＥＧを用いていないＮＴＳＣ ＴＶ、ＶＣＲなどに
も使える。内視鏡、超音波を用いる医療 分野にも適用
して立体で映像を判読することにより診断効率を高めら
れる。

【図面の簡単な説明】

【図１】本発明の望ましい実施形態によるＭＰＥＧデー
タの立体映像生成装置である。

【図２】動きベクトル生成部の詳細な構造を示すブロッ
ク図である。

【図３】Ｉ画像マクロブロックに重なるＢ画像マクロブ
ロックの重ねを示す図である。

【図４】Ｉ画像の動きベクトルを復元するために使われ
る動きベクトルの方向図である。

【図５】運動類型決定部及び立体画像生成部の詳細な構
造を示すブロック図である。

【図６】高速動映像を立体映像に変換する方法を説明す
るための流れ図である。

【図７】水平動映像と非水平動映像を決定する流れ図で
ある。

【図８】最大水平溶断臨界角と最大水平時差との関係を
示す図である。

【図９】高速動映像を決める流れ図である。

【図１０】最大垂直溶断臨界角と最大垂直時差との関係
を示す図である。

【図１１】水平動映像を立体映像に変換する方法の流れ
図である。

【図１２】映像領域を一次決定領域と二次決定領域に分
割して示す図である。

【図１３】非水平動映像を立体映像に変換する方法の流
れ図である。

【図１４】エッジ方向を決めるために用いられる方向フ
ィルタを示す図である。

【図１５】高速動映像を立体映像に変換する方法の流れ
図である。

【図１６】静止映像を立体映像に変換する方法の流れ図
である。

【符号の説明】

１００ 画像抽出部 １１０ 動きベクトル生成部 １２０ 動きベクトルフィールド構成部 １３０ 運動類型決定部 １４０ 立体画像生成部 １５０ 左／右側画像決定部 １５０ 以前画像貯蔵部 １７０、１８０ ＤＡＣ

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１２年９月１４日（２０００．９．１
４）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】全文

【補正方法】変更

【補正内容】

【書類名】 明細書

【発明の名称】ＭＰＥＧデータを用いた立体映像生成装
置及び方法

【特許請求の範囲】

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明はＭＰＥＧデータを用
いて立体映像（stereoscopic image）を生成する装置及
び方法に係り、特にＭＰＥＧビットストリームで各Ｉ、
Ｐ、Ｂ画像の動きベクトルを抽出し、現在映像以外にも
う１枚の映像を作って二枚の映像より構成された立体映
像を生成する装置及び方法に関する。

【０００２】

【従来の技術】本発明は二台のカメラ、すなわち立体カ
メラ（stereoscopic camera）を用いず、ＭＰＥＧ−１
ＣＤ、ＭＰＥＧ-２ ＨＤＴＶ、ＭＰＥＧ−２ ＤＶＤな
どの二次元動き映像を直接に立体映像で見られるように
する技術である。さらに、本発明の商業的な利用範囲は
家電分野のみならず、ＭＰＥＧを使う全分野においてビ
デオ画面を立体で視聴できるようにする分野を含めて多
くの領域に使える。

【０００３】本発明が従来の技術と異なる主な特徴の一
つは、従来の技術はＮＴＳＣ信号を入力され映像信号を
立体映像信号に変換することに比べ、本発明はＭＰＥＧ
圧縮データを入力信号として受けて立体映像信号に変換
させる。また、ＭＰＥＧ圧縮データで立体映像を生成す
るので、従来の技術とは異なる方法で立体映像が生成さ
れる。

【０００４】本発明と比較される従来の技術は、日本の
三洋（SANYO）電機で開発した修正時間差（Modified Ti
me Difference：以下「MTD」と称する）法がある。ま
た、韓国の三星電子（株）により開発された垂直視差の
水平視差への変換方法がある。前述したように、これら
はＮＴＳＣ信号入力より立体映像を生成する。三洋電機
により開発されたＭＴＤ法は、１）動く領域を抽出し、
２）動きの速度及び方向を決定し、３）該動きの速度及
び方向により、以前の一つのフレームから遅延方向（de
lay direction）及び遅延時間（delay time）が決定さ
れ、４）決定された遅延方向及び遅延時間により遅延さ
れた映像（delay image）がいずれ側の目に見えるかが
決定される。

【０００５】三星電子（株）により開発された垂直視差
の水平視差変換方法は、１）ブロック別運動を予測し、
２）ブロック動きベクトルのサイズを計算し、３）垂直
成分を全て水平視差値に変換するために ２)で求めたサ
イズ値を水平視差値に変換し、４）各ブロックを水平視
差値だけ水平移動し、５）水平移動されたブロックを集
めて合成映像を生成する。

【０００６】

【発明が解決しようとする課題】ＭＴＤ方法は動き情報
により以前のＫ個フレームのうち一つを遅らせた映像と
して選択するので、一つのフレーム映像内の領域が有し
ている他の深さが無視される問題点がある。結局、立体
映像を鑑賞する際に深さ感がなくなるため、例えば動い
ている物体については立体感があるが、場面の背景（ba
ckground）のような動きの少ない部分については立体感
が感じられない。

【０００７】三星電子（株）により提案された方法は、
隣り合うブロックの水平視差の相違によるブロックの水
平移動により映像の歪みが生ずる。

【０００８】従って、前述した既存の方法をＭＰＥＧ符
号化されたデータに用いようとするときは、復号された
（decoded）映像に再び運動予測（motion prediction）
方法を行うことによりＭＰＥＧビットストリームに入っ
ている動き情報を用いることができず、かつ運動予測方
法の再使用によるアルゴリズムの複雑性が高まるという
短所がある。

【課題を解決するための手段】前述した本発明の目的を
達成するための立体映像生成方法は、Ｉ、Ｂ及びＰ画像
(pictures)が収録してあるＭＰＥＧ符号化されたデータ
を用いて立体映像(stereoscopic image)を生成する方法
であって、前記符号化された画像データを入力し、その
画像内のマクロブロックに個別的に応ずる動きベクトル
を生成及び格納する第１段階と、前記符号化された画像
データから復元される画像をＫ個だけ格納する第２段階
と、第１段階において格納された動きベクトルを用いて
現在画像に応ずる運動類型を決定する第３段階と、第２
段階において格納された以前画像及び第３段階において
決定された運動類型を用いて現在画像に応ずる合成画像
を生成し、現在画像及び合成画像を出力する第４段階
と、第４段階から出力された現在画像及び合成画像を受
信し、第３段階において決定された運動類型を用いて現
在画像を立体映像を構成する左側画像及び右側画像のう
ちいずれか一方に決定して、合成画像を他方に決定する
第５段階を含む。

【０００９】前述した本発明の他の目的を達成するため
の立体映像生成装置は、Ｉ、Ｂ及びＰ画像(pictures)が
収録してあるＭＰＥＧ符号化されたデータを用いて立体
映像(stereoscopic image)を生成する装置において、前
記符号化された画像データを入力され、各画像内のマク
ロブロックに個別的に応ずる動きベクトルを生成及び格
納する動きベクトル生成及び格納手段と、前記動きベク
トル生成及び格納手段に供給される画像データから復元
される画像をＫ個だけ格納する画像格納部と、前記動き
ベクトル生成及び格納手段に格納された動きベクトルを
用いて現在画像に応ずる運動類型を決める運動類型決定
手段と、前記画像格納部に格納された以前画像及び決定
された運動類型を用いて現在画像に応ずる合成画像を生
成し、現在画像及び合成画像を出力する立体映像生成手
段と、前記立体映像生成手段から現在画像及び合成画像
を受信し、前記運動類型決定手段において決定された運
動類型を用いて、現在画像を立体映像を構成する左側画
像及び右側画像のうちいずれか一方と決定し、合成画像
を他方と決定する左／右側画像決定部を含む。

【００１０】前述の動きベクトル生成方法及びその手段
は、ＭＰＥＧ符号化されたビットストリームにおいてＧ
ＯＰ内のヘッダを分析してＩ、Ｐ、Ｂ画像を抽出し、各
画像のマクロブロック別に動きベクトルを抽出及び生成
して動きベクトルフィールド(motion vector field)を
構成することが望ましい。

【００１１】ここで、Ｂ画像及びＰ画像の動きベクトル
は該当画像に応ずるＭＰＥＧビットストリームからマク
ロブロック別に抽出及び補間して生成することが望まし
く、イントラコーディングされるＩ画像の動きベクトル
は以前Ｂ画像のマクロブロック別動きベクトルを用いて
生成することが望ましい。

【００１２】前述の運動類型決定方法及びその手段は、
現在画像の動きベクトルフィールドを分析して現在画像
の運動類型を動きのない静止画像、カメラ及び/または
物体が非水平方向に運動する非水平運動(non-horizonta
l motion)画像、カメラ及び/または物体が水平方向に運
動する水平運動(horizontal motion)画像、及び動きの
速い高速運動(fast motion)画像のうちいずれか一つに
決定することが望ましい。

【００１３】ここで、画像の運動類型を静止画像と運動
画像のうちいずれかに決定する方法は、画像の動きベク
トルフィールドを分析して、画像の全体マクロブロック
のうちにおいて水平運動成分と垂直運動成分が全てゼロ
(０)である静止マクロブロックが占める比率に基づいて
決定することが望ましい。

【００１４】ここで、画像の運動類型を非水平運動画像
と水平運動画像のうちいずれかに決定する方法は、画像
の動きベクトルフィールドを分析し、画像の全体マクロ
ブロックのうちにおいて最大垂直溶断臨界角と最大垂直
視差臨界値に基づく非水平マクロブロックが占める比率
に基づいて決定することが望ましい。

【００１５】ここで、画像の運動類型を高速運動画像と
水平運動画像のうちいずれかに決定する方法は、画像の
動きベクトルフィールドを分析して、画像の全体マクロ
ブロックのうちにおいて最大水平視差臨界値に基づく高
速運動マクロブロックが占める比率に基づいて決定する
ことが望ましい。

【００１６】前述の立体映像生成手段は、静止画像と決
定された現在画像の立体映像を生成する合成静止画像発
生部、非水平運動画像と決定された現在画像の立体映像
を生成する合成非水平運動画像発生部、高速運動画像と
決定された現在画像の立体映像を生成する合成高速運動
画像発生部、及び水平運動画像と決定された現在画像の
立体映像を生成する合成水平運動画像発生部を含むこと
が望ましい。

【００１７】ここで、静止画像と決定された現在画像に
応ずる立体映像生成方法は、静止画像内の所定各ブロッ
クの輝度及び/またはその標準偏差を用いて深さ情報を
異なるように割り当てて、これを水平視差に変換して静
止画像に応ずる合成画像を生成することが望ましい。

【００１８】ここで、非水平運動画像と決定された現在
画像に応ずる立体映像生成方法は、非水平運動画像内に
おいてカメラ及び物体が全て運動する場合にはカメラ運
動方向と同じマクロブロックとそうでないマクロブロッ
クの間で視差値を異なるように割り当て合成画像を生成
することが望ましく、非水平運動画像内において物体の
みが運動する場合には運動マクロブロックと静止マクロ
ブロックの間で視差値を異なるように割り当て合成画像
を生成することが望ましく、非水平運動画像内において
カメラのみが運動する場合には現在マクロブロックのエ
ッジ特性によって周辺のエッジマクロブロック及び以前
画像のマクロブロックの動きベクトルを用いて現在マク
ロブロックに応ずる視差値を求めて合成画像を生成する
ことが望ましい。

【００１９】ここで、高速運動画像と決定された現在画
像に応ずる立体映像生成方法は、現在画像内の高速運動
マクロブロックの動きベクトルを最大水平視差値に変換
して水平移動させ、これを直前の以前画像に合成して高
速運動画像に応ずる合成画像を生成することが望まし
い。

【００２０】ここで、水平運動画像と決定された現在画
像に応ずる立体映像生成方法は、精神物理学理論に基づ
く最大水平視差臨界値及び現在画像内の所定水平運動値
に基づく以前画像を水平運動画像に応ずる合成画像と決
定することが望ましい。

【００２１】前述の左/右側画像決定方法及びその手段
は、現在画像の運動類型が水平運動画像と決定された場
合には、水平運動画像内のカメラ及び/または物体の運
動種類に基づいて適応的にモードＡ(現在画像を左側画
像と、そして以前画像を右側画像と決定する方式)また
はモードＢ(現在画像を右側画像と、そして以前画像を
左側画像と決定する方式)を選択し、立体映像を構成す
る左側画像及び右側画像を決定することが望ましく、現
在画像の運動類型が水平運動画像でない場合では現在画
像を左側画像と、そして合成画像を右側画像と決定する
ことが望ましい。

【００２２】ここで、水平運動画像と決定された現在画
像に応ずるモードＡまたはモードＢの決定方法は、現在
画像を第１決定領域と第２決定領域に分割して、第１決
定領域ではマクロブロック別水平動きベクトル成分のう
ちの最大個数を有する第１符号を決定し、第２決定領域
では第１決定領域での最大個数符号を除いた残りの水平
動きベクトル符号のうちの最大個数を有する第２符号を
決定し、決定された第２符合に属する動きベクトルの水
平位置の平方偏差及び基準平方偏差に基づいて前述した
モードＡまたはモードＢを決定することが望ましい 。

【００２３】[発明の実施形態]以下、添付した図面に基
づき本発明の好適な実施形態をさらに詳しく説明する。

【００２４】図１は本発明の望ましい実施形態によるＭ
ＰＥＧ圧縮データの立体映像生成装置である。図１に示
された装置は、画像抽出部１００、動きベクトル生成部
１１０、動きベクトルフィールド構成部１２０、運動類
型決定部１３０、立体映像生成部１４０、左／右側画像
決定部１５０、以前画像格納部１６０、そしてＤＡＣ
（Digital To Analog Converter）１７０、１８０を備
える。

【００２５】画像抽出部１００はＭＰＥＧビットストリ
ームからピクチャヘッダ（pictureheader）内の３ビッ
トコードを用いて画像種類を分かり出す。ピクチャヘッ
ダ内の３ビットコードはフレーム画像またはフィールド
画像の画像種類を知らせるもので、例えば３ビットコー
ドが００１ならばＩ画像であり、０１０ならＰ画像、１
００ならＢ画像である。画像抽出部１１０はＭＰＥＧビ
ットストリームからＩ、Ｐ、Ｂ画像データを抽出し、該
画像データを動きベクトル生成部１１０及び以前画像格
納部１６０へ供給する。

【００２６】動きベクトル生成部１１０はＩ、Ｐ、Ｂ画
像内のマクロブロックの動きベクトルをビットストリー
ムから抽出し、動きベクトルを有しないマクロブロック
については他の画像のデータを参照して動きベクトルを
生成する。Ｉ画像はイントラコーディングされるため動
きベクトルが存しない。従って、以前Ｂ画像の動きベク
トルを用いて動きベクトルを抽出する。Ｐ画像とＢ画像
はインタコーディングされるため、自分の動きベクトル
を有している。従って、既存のＭＰＥＧの動きベクトル
抽出方法を用いて動きベクトルが得られる。

【００２７】ＭＰＥＧ符号器に入力されるＧＯＰの画像
順序は、Mが３の場合に次の通りである。

【００２８】．．．B_０ B_１ P_２ B_３ B_４ I_５ B_６ B_７
P_８ B_９ B_１０ P_１１ ．．． これとは違って、ＭＰＥＧ復号器に入力されるＧＯＰの
画像順序は符号化された順序に従うが、次の通りであ
る。

【００２９】．．．P_２ B_０ B_１ I_５ B_３ B_４ P
_８ B_６ B_７ P_１１ B_９ B_１０ ．．． 符号器においてＢ_３とＢ_４はＩ_５を用いて逆方向運動予
測を行う。従って、Ｉ _５ のマクロブロックの動きベクト
ルを抽出するためには以前Ｂ_３とＢ_４ のエンコーダから
求められた動きベクトルを用いる。表１はＭＰＥＧにお
いてＩ、Ｐ、Ｂ画像のディスプレイ順序とデコーダ入力
順序を示す順序図である。

【表１】 （a）項目は画像が画面にディスプレイされるディスプ
レイ順序(=原映像の順序)を意味し、（b）項目は復号器
に入ってくるＭＰＥＧ画像の復号器入力順序(=符号化さ
れた映像の順序)を指す。

【００３０】画像抽出部１００においてＢ画像が抽出さ
れればＢ画像動きベクトル抽出部２００は、ビットスト
リームからマクロブロックの動きベクトルを抽出する。
Ｂ画像動きベクトル生成部２１０は、抽出されたマクロ
ブロック別動きベクトルを下記の方式によりスケーリン
グを行い、Ｂ画像に対する強制イントラコーディングな
どにより動きベクトルのないマクロブロックのために補
間方法を使って動きベクトルを生成する。

【００３１】Ｂ画像は、自分の動きベクトルを有してい
るので該当動きベクトルを使う。Ｂ画像としてはＮとＭ
が必要である。ＮはＧＯＰにおけるフレーム個数であ
り、ＭはＧＯＰにおけるＩ／Ｐ画像とＰ画像との距離
（distance）である。Ｍ＝３と仮定すれば、表１の(ａ)
において、Ｂ_３ は、順方向予測されるＰ_２ とは一つの画
像間隔であり、逆方向予測されるＩ_５ とは二つの画像間
隔である。逆に、Ｂ_４ の場合、順方向予測されるＰ_２ と
は二つの画像間隔であり、逆方向予測されるＩ_５ とは一
つの画像間隔である。画像間隔はＭと関係がある。従っ
て、Ｂ_３ の場合はスケールされた動きベクトルは次のよ
うに求められる。

【００３２】

【数１】 同じようにスケールされたＢ_４ の動きベクトルは次のよ
うに求められる。

【００３３】

【数２】

【００３４】Ｂ画像動きベクトル生成部２１０によって
スケールされるか補間されたＢ画像内の全てのマクロブ
ロックに対応する動きベクトルはＢ画像動きベクトル格
納部２２０に格納され、図１の動きベクトルフィールド
構成部１２０へ入力される。 Ｐ画像が抽出されれば、
Ｐ画像動きベクトル抽出部２４０はビットストリームで
Ｐ画像内マクロブロックの動きベクトルを抽出する。こ
こで、考慮すべき点は、符号器でＰ画像の動きベクトル
を予測する時に適用されるＰ画像と運動予測されるI／
Ｐ画像間の画像間隔である。立体映像合成段階において
前後画像の間に一定運動量の維持のためにＰ画像の場合
I／P及びPとの間隔、M値を考慮すべきである。従って、
Ｐ画像のマクロブロックのスケールされた動きベクトル
はMを考慮して次のように計算される。

【００３５】

【数３】

【００３６】sはスケール（scale）を意味する。Ｐ画像
動きベクトル生成部２５０は、動きベクトルのないマク
ロブロックに補間方法を使って動きベクトルを生成す
る。生成された動きベクトル及び抽出されスケールされ
た動きベクトルは、動きベクトルフィールド構成部１２
０へ入力される。

【００３７】Ｂ画像動きベクトル格納部２２０に格納さ
れた動きベクトルは、Ｉ画像動きベクトル生成部２３０
がＩ画像内のマクロブロックに応ずる動きベクトルを生
成するに使われる。Ｉ画像は、イントラコーディングさ
れるため、動きベクトルがない。従って、Ｉ画像の動き
ベクトルを復元するためにＩ画像を逆方向運動予測を行
ったＢ画像が出てくるまで待つべきである。Ｉ画像マク
ロブロックの動きベクトル（ｄｘ、ｄｙ）Ｉは次のよう
に求められる。

【００３８】表１のシーケンスからわかるように、求め
ようとするＩ_５ の動きベクトルを求めるためにはビット
ストリーム内の動き情報を有しているＰ、Ｂ画像を用い
るべきである。ＭＰＥＧシーケンスを通して使える情報
は次の通りである。

【００３９】ＭＰＥＧシーケンスを示した表１から見ら
れるように、Ｂ_３、Ｂ_４ は符号器からＩ_５ を直接に参照
したため、Ｂ_３、Ｂ_４ の動きベクトルを用いればＩ_５ の
該当マクロブロックの動きベクトルを求められる。これ
は、Ｂ_３及びＢ_４ が直接にＩ _５ を参照して予測符号化を
行ったため、Ｐ_２ の動きベクトルを使って動きベクトル
を求めるよりも信頼性が高い。Ｂ_３、Ｂ_４ は時間的にＩ
_５ 画像に比べて先に画面にディスプレイされるべきであ
るが、復号器にはＩ_５ 画像に比べて後で入って来る。従
って、他の画像を用いることよりＩ_５ より先行する二つ
の画像Ｂ_３、Ｂ _４ を用いる方が遅延時間を最小化でき
る。Ｂ_０、Ｂ_１ の場合はＩ_５ 画像よりディスプレイ順や
復号化順序が優先するが、Ｉ_５ を参照しなかったため正
確性がＢ_３、Ｂ_４ に比べて劣る。

【００４０】本発明において提案する方法は、Ｉ画像直
前の逆方向予測（backward prediction）を行ったＢ画
像を用いてＩ画像の動きベクトルを生成する。Ｂ画像を
用いるためには三つの方法がある。

【００４１】方法 １: 方向に鑑みた加重値の利用 時間的に後で復号器に入力されるＢ４の動きベクトルを
そのまま使用してＩ_５ の動きベクトルを予測する。しか
し、この方法は全てのマクロブロックが線形的に動くと
いう仮定下でのみ使える。また、Ｂ画像のマクロブロッ
クが参照するＩ画像のマクロブロックは正確にマクロブ
ロック単位に整列されるのではないため、求められた動
きベクトル値は所望のマクロブロックの動きベクトル値
ではない。従って、使えるＢ画像の動きベクトル値だけ
ブロックを移動した後、求めようとするマクロブロック
と重なるマクロブロックの情報を用いて動きベクトルの
値を計算する。図３においてＭＢ（ｘ、ｙ、ｋ-1）は動
きベクトルを有している以前画像のＢ画像のマクロブロ
ックであり、ＭＢ（ｘ、ｙ、ｋ）は現在動きベクトルを
求めようとするＩ画像のマクロブロックを示す。矢印は
動きベクトルの方向にＭＢ１、ＭＢ２は類似した値の動
きベクトルを有しており、ＭＢ３は相異なる動きベクト
ルを有していることが見られる。提案する方法は、ＭＢ
３のように全体的な動きベクトルの方向と異なるマクロ
ブロックはその候補として含まれないことにより、相関
関係が少ない領域から得られる動きベクトルが避けられ
る。また、動きベクトルの方向は無限であると言えるの
で、図４に示したように四つの領域に分類する。また、
動きベクトルを（ｄｘ、ｄｙ）と定義し、動きベクトル
の方向は次のように求められれば、図４に示したように
左上、右上、左下、右下の四つの方向に分類される。

【００４２】

【数４】

【００４３】Ｉ画像の動きベクトルは次のように求めら
れる。Ｆ_ｋ とＦ_ｋ−１ はそれぞれ現在画像及び以前画
像を意味し、ｎは求めようとするＩ画像のマクロブロッ
クＭＢ（ｘ、ｙ、ｋ）と部分的に重なり、動きベクトル
の方向が類似したＢ画像のマクロブロックの個数を意味
する。l_ｎ＝［l_ｘｎ、l_ｙｎ］ＴはＭＢ（ｘ、ｙ、ｋ）
とｘ、ｙ軸における重なる部分の長さ、すなわち重なる
部分の画素数を意味し、ω＝［ω_ｘ、ω_ｙ］Ｔ は前記
で求めた距離l_ｎ＝［l_ｘｎ、l_ｙｎ］Ｔに対する加重値
を意味するもので、次のように求められる。

【００４４】

【数５】

【００４５】Ｔは転置（transpose）である。上記式で
得られた加重値を用いれば、求めようとするＩ画像のマ
クロブロックの動きベクトルは次のように求められる。

【００４６】

【数６】

【００４７】方法 ２：ｘ軸、ｙ軸それぞれの加重値の
利用 加重値のみを用いて計算する方法は、上記の方法１で考
慮された方向を除けば同一である。すなわち、特性方向
の動きベクトルを有するマクロブロックのみを考慮する
のではなく、重なる全てのマクロブロックを考慮する。

【００４８】方法 ３：面積を加重値として使用 方法２と同様であるが、ｘ、ｙ軸それぞれの値について
加重値を求めるのではなく、求めようとするマクロブロ
ックと重なる全てのマクロブロックの面積、すなわちピ
クセルの個数を加重値にして動きベクトルを計算する。

【００４９】前述した方法のうち一つで生成されたスケ
ールされた動きベクトルは、動きベクトルフィールド構
成部１２０へ供給される。

【００５０】動きベクトルフィールド構成部１２０は、
Ｉ、ＰまたはＢ画像内のマクロブロックの動きベクトル
が抽出されれば、その画像内の全てのマクロブロックに
応ずる動きベクトルからなる動きベクトルフィールドを
構成する。動きベクトルフィールドは、アレイ（arra
y）または集合で表現できる。

【００５１】動きベクトルフィールドが構成されれば、
運動類型決定部１３０は動きベクトルフィールド構成部
１２０に格納されているか、それより出力される動きベ
クトルフィールドについて運動解釈方法を用い、現在画
像に存するカメラ、物体またはカメラ及び物体の両方の
運動に対するサイズ及び方向を決定する。運動類型決定
部１３０は静止画像、カメラ及び／または物体が水平に
運動する水平画像、カメラ及び／または物体が非水平に
運動する非水平動画像、カメラ及び／または物体が速く
運動する高速動画像を区別し、その結果を立体映像生成
部１４０へ出力する。かかる運動類型決定部１３０は、
図５に示したように、動／静止画像決定部５００、水平
／非水平動画像決定部５１０及び水平／高速動画像決定
部５２０を備える。図５に示された合成静止画像発生部
５３０、合成非水平動画像発生部５４０、合成高速動画
像発生部５５０及び合成水平動画像発生部５６０は図１
に示した立体映像生成部１４０を構成する。

【００５２】図６は動／静止画像決定部５００の動作を
説明するための動作を説明するためのフローチャートで
ある。動／静止画像決定部５００は動きベクトルフィー
ルドを分析して動画像と動かない静止画像を決定する。
静止画像と動画像の決定は、次の方法を使った。動きベ
クトル（ｄ_ｘ、ｄ_ｙ）が（０、０）のマクロブロックの
個数のＮ_０ を計算し（段階６００）、全体マクロブロッ
クの個数のＮ_ＭＢ を計算すれば（段階６１０）、段階６
２０で計算される比率α_ｓ は次の通りである。

【００５３】

【数７】

【００５４】段階６３０において、得られたα_ｓ 値が臨
界値Ｔ_Ｓ より大きければ静止画像とに区分し、小さけれ
ば動画像になる。Ｔ_Ｓ ＝［０．０、１．０］、例えばＴ
_Ｓ ＝０．９なら、全面積の１０％以上が運動領域であ
る。Ｎ_０ は現在画像内の静止マクロブロックの個数であ
る。静止画像なら動きベクトルを収録している現在画像
のデータは合成静止画像発生部５３０へ入力される。そ
れとも水平／非水平動画像決定部５１０へ入力される。

【００５５】水平／非水平動画像決定部５１０を図７に
基づき説明する。水平運動と非水平運動は、精神物理学
的な理論に基づいたアルゴリズムを用いて区分する。非
水平運動による垂直視差は相同点と呼ばれる二つのマッ
チング点間の垂直成分の差である。かかる垂直視差は両
目が映像を溶断（fusion）することを極めて難しくしか
つ不便にすることはよく知られている。情神物理学実験
によれば、垂直視差のサイズは少なくとも最大垂直溶断
臨界角θｖが角度としては１０'（minutes ofarc）以内
であるべきだと提案した。他の実験においては、θｖは
角度としては６'の垂直視差を満たすべきであるが、映
像溶断されればθｖが角度としては２０'になっても溶
断が安定的に発生すると観察された。従って、段階７０
０においては、６'ないし２０'の範囲内の任意の値を最
大垂直溶断臨界角θｖと設定する。かかるθｖのディス
プレイモニターにおける距離Ｌ_Ｖ は画像における最大垂
直視差臨界値であり、図８の関係図を用いれば次の数式
により計算される（段階７１０）。

【００５６】

【数８】

【００５７】θｖの単位が分（minute）なので度（degr
ee）で示すためには６０で割るべきである。Ｌ_Ｖ の単位
はピクセルである。Ｄは視聴距離であり、単位はｃｍ
である。Ｎ_ｙ は画像の垂直サイズであり、Ｗ_ｙ は画像の
ディスプレイモニターにおける垂直長さである。単位は
ｃｍである。

【００５８】Ｌ_Ｖ は非水平運動を決定する役割を担う。
動きベクトルの垂直成分ｄ_ｙ がＬ_Ｖ より大きい非水平マ
クロブロックの個数であるＮ_ＬＶ を計算し（段階７２
０）、Ｎ_ＬＶ及びＮ_ＭＢ の比率α_ｖ は次の数式により計
算される（段階７３０）。

【００５９】

【数９】

【００６０】もし、α_ｖ が臨界値Ｔ_Ｖ より大きければ現
在画像を非水平動画像と決定し、小さければ水平動画像
と決定する（段階７４０）。

【００６１】α_ｖ は画像が水平運動及び非水平運動のう
ちいずれの運動をするかを決定する極めて大事な要素で
ある。実際の立体映像において非水平運動を行う小さな
物体も立体感に影響を与える。従って、画像内で非水平
運動マクロブロックの個数がα_ｖ を決定すると判断す
る。実験によると、カメラ静止状態で非水平物体運動の
方が、カメラが運動している時の非水平物体運動より目
の疲労感が高い。なぜならば、前者の場合、静止領域と
運動領域の視差が大きい一方、後者の場合は相対的に視
差が少ない。従って、前述したα_ｖ の臨界値Ｔ_Ｖ は、カ
メラ静止状態では０．０５にし、カメラ運動状態では
０．１５とする。非水平動画像ならば動きベクトルを収
録している現在画像のデータは水平動画像発生部５３０
へ供給される。それとも水平／高速動画像決定部５２０
へ入力される。

【００６２】水平／高速動画像決定部５２０は人が目の
疲労感を感じる最大水平視差値を決定する。情神物理学
実験によれば、水平溶断臨界角θ_Ｈ は負の視差（negati
ve parallaxまたはcrossed disparity）においては略２
７'であり、正の視差（positive parallaxまたはuncros
sed disparity）においては２４'である。約２秒の時間
間隔の人間時刻の収斂応答は前述の視差値よりは大きい
が、負の視差では略４．９３°であり、正の視差におい
ては１．５７°が人間の立体視覚を収斂できる臨界角で
あることが証明された。段階９００においては、この水
平溶断臨界角θ _Ｈ が設定され、ディスプレイモニターに
おける最大水平視差臨界値Ｌ_Ｈ は図１０の関係図を用い
て次のように求められる（段階９１０）。

【００６３】

【数１０】

【００６４】ここで、Ｄは人の目とスクリーンまでの視
聴距離である。Ｎ_ｘ は画像の水平サイズであり、Ｗ_ｘ は
画像のディスプレイモニターにおける水平長さである。
単位はｃｍある。数式１０により得た値は人が最大に克
服できる臨界値なので、この値の加重値を選択した。従
って、加重されたＬ_Ｈ は次のように求められる（段階９
１０）。

【００６５】

【数１１】

【００６６】加重値ω_１とω_２ が０．５なら数式１１に
よるＬ_Ｈ は二つの値(１.５７゜、４.９３゜)の平均値で
ある。

【００６７】次いで、水平／高速運動決定部５２０は、
水平運動する現在画像から立体感を供する溶断を困難に
する高速運動する部分を決定する。決定方法は情神物理
学理論に基づく。マクロブロック動きベクトルの水平成
分ｄｘの絶対値がＬ_Ｈ より大きな高速運動するマクロブ
ロックの個数Ｎ_ＬＨ を計算し（段階９２０）、Ｎ_ＬＨ と
全マクロブロック個数Ｎ_ＭＢ との比率α_Ｈ は、段階９３
０において次の数式を用いて求められる。

【００６８】

【数１２】

【００６９】段階９４０において、もしα_Ｈ が臨界値Ｔ
_Ｈ より小さければ水平運動と決定され、そうでなければ
高速運動と決定される。ここで、Ｔ_Ｈ は０．０と１．０
との間に存する値である。高速運動する現在画像の場
合、合成高速動画像発生部５５０が必要な合成画像、す
なわち現在画像に応ずる立体映像を生成するに必要な合
成高速動画像を発生する。一方、水平運動する現在画像
の場合、合成高速運動画像発生部５６０が現在画像の立
体処理に必要な合成水平動画像を発生する。このため、
水平／高速動画像決定部５２０は現在画像が水平動画像
及び高速動画像のうちいずれかにより、動きベクトルを
収録している現在画像のデータを合成高速動画像発生部
５５０及び合成水平動画像発生部５６０のうち該当機器
へ供給する。

【００７０】図１１は合成水平動画像発生部５６０を動
作説明するためのフローチャートである。合成水平動画
像発生部５６０は現在画像に対する平均運動速度または
最大運動速度を計算する（段階１１００）。平均運動速
度はdx値が０でない全ての水平動きベクトル成分の絶対
値の平均であって、次の通りである。

【００７１】

【数１３】

【００７２】ここで、Ｎは現在画像内でｄｘが０でない
マクロブロックの個数である。最大水平運動速度ｄｘ
_ｍａｘ は最大水平動きベクトル成分値であって、次の通
りである。

【００７３】

【数１４】

【００７４】次いで、合成水平動画像発生部５６０は、
段階１１０１において現在画像に応ずる遅延画像、すな
わち現在画像の立体処理に使われる以前画像を決定す
る。この段階１１０１においては、まず最大水平運動値
ｄｘ_ｍａｘ と最大水平視差臨界値Ｌ_Ｈ とを比較して以前
画像を決定する。図９の段階９１０で求めたＬ_Ｈ を用い
て立体映像を構成するためには、以前画像（previous f
rame）のうち一つを選択すべきである。これを決定する
ためには遅延要素（delay factor）を計算する。運動類
型が水平運動の場合は現在画像と遅延画像を適宜に左眼
（the left eye）と右眼（the right eye）に示すべき
であるが、現在画像において時間軸に以前に存するＫ個
の以前画像のうち一つの画像を選択すべきである。遅延
要素は運動速度と関係あるが、平均運動速度または最大
運動速度を選ぶ方法がある。前者は一つのマクロブロッ
クが立体感に大きな影響を及ぼし得るという短所があ
る。後者は全ての水平視差が最大水平視差臨界値より小
さいという長所がある。現在画像をＩ_ｋ とし、以前画像
をＩ_ｋ−ｎ (ｎ＝1、2、 ．．．、∞）と定義する。遅延
要素を用いて運動速度が速ければ現在画像と近い以前画
像を選び、遅ければ遠くに存する以前画像を選ぶ。遅延
要素ｆ_Ｄ は次のように求められる。

【数１５】 ｄｘ_ｍａｘ はＬ_Ｈ と等しいかより小さいので、ｆ_Ｄ の最
小値は１である。ＲＯＵＮＤ［］は四捨五入演算子であ
る。運動量が少ない場合は分母値が小さいためｆ_Ｄ の値
が大きくなる。

【００７５】以前画像の格納のためにはメモリが必要で
ある。メモリの量は有限なのでｆ_Ｄ の最大値はKとす
る。メモリに常に以前Ｋ個の画像が格納されるべきであ
る。従って、Ｋは適応的に定める。Ｋ値はＬ_Ｈ により適
応的に決定できる。ｆ_Ｄ が求められれば現在画像Ｉ_ｋ と
以前画像Ｉ_ｋ−ｆＤ の二つの画像で立体映像を構成す
る。以前画像格納部１６０はＫ個の以前画像のデータを
格納する。

【００７６】段階１１０１が完了されれば、合成水平動
画像発生部５６０は水平運動する現在画像に応ずる合成
画像を生成する。水平動画像の立体変換は現在画像と以
前画像で立体映像を作るのが最善の方法である。現在画
像と以前画像を左側画像と右側画像のうちいずれに決定
する方法は次の二種がある。一番目の方法は、現在画像
を左側画像に、以前画像を右側画像にする（以下、「モ
ードＡ」と称する）。二番目の方法として、現在画像を
右側画像に、以前画像を左側画像にする方法がある（以
下、「モードＢ」と称する）。水平動画像の場合、モー
ドＡとモードＢを決定することは極めて大事な問題であ
る。

【００７７】モードＡまたはモードＢの決定を表２ない
し表４に基づき説明する。

【００７８】

【表２】

【００７９】

【表３】

【００８０】

【表４】

【００８１】モードＡまたはモードＢへの決定は、先に
抽出された動きベクトルフィールドで運動種類を決定す
べきである。動きベクトルの水平成分のみを用いる。現
在画像において存するカメラ及び物体の動きは表２に示
される１０種の運動種類がある。各運動種類によるカメ
ラ運動と物体動き方向があり、決定される左側画像と右
側画像がある。動きベクトルフィールドの分析において
１０種の運動種類が決定されれば最終的に現在画像と以
前画像を左眼／右眼または右眼／左眼にディスプレイす
る。

【００８２】表２の運動種類を再び分類すれば次の四種
の場合はモードAを選ぶ。２）カメラ左側運動３）物体
右側運動５）カメラ右側運動及び物体右側運動８）カメ
ラ左側運動及び物体右側運動がある。表３はモードＡの
場合を示す。モードBが選択される場合は１）カメラ右
側運動４）物体左側運動、６）カメラ右側運動及び物体
左側運動７）カメラ左側運動及び物体左側運動９）カメ
ラ右側運動及び物体左右側運動１０）カメラ左側運動及
び物体左右側運動がある。表４はモードＢの場合につい
て示す。従って、本発明においては動きベクトルフィー
ルドをモードAとモードBに分類する決定要素を探す。各
運動種類の動きベクトルフィールドを分析すれば、カメ
ラ運動と関係なく物体の運動方向が右側に進められれば
無条件モードAを選び、カメラ運動と関係なく物体の運
動方向が左側へ進められれば無条件モードBが選ばれ
る。更に、カメラが左側運動状態で物体の運動がないな
らモードＡを選択し、カメラが右側運動状態で物体の運
動がないならモードＢが選択される。

【００８３】図１１のフローチャートの説明に戻って、
段階１１０２において現在画像は一次決定領域（Primar
y Decision Area : 以下、「PDA」と称する）と二次決定
領域（SecondaryDecision Area : 以下、「SDA」と称す
る）に分割される。一次決定領域（PDA）は図１２に示
された全画像領域において内側四角形[τNＸ、（1-τ）
NＸ] × [τNy、（1-τ）Ny]を除いた領域であり、二次
決定領域（SDA）は[τNＸ、（1-τ）Nｘ] × [τNy、
（1-τ）Ny]領域である。τ値の範囲は[0.0、0.5]に存
する。PDAはカメラ運動を決定し、SDAではカメラ及び物
体運動を決定する。

【００８４】カメラ運動方向を決定するPDAに存するマ
クロブロックの水平動きベクトル成分は負の符号、０の
符号、正の符号を有している。段階１１０３において符
号により各マクロブロックの水平運動成分が分類され
る。次いで、負の符号の個数、０の符号の個数及び正の
符号の個数を計算する（段階１１０４）。この個数をそ
れぞれPDA[0]、PDA[1]、PDA[2]と定める。この個数は該
当マクロブロックの個数と同一である。PDA[0]、PDA
[1]、PDA[2]において一番個数が多いものをPDA[i^＊]と
する（段階１１０５）。i^＊ ∈{0、1、2}、i^＊ は第１方
向として表３及び表４において使うPD内での運動方向を
「+」、「0」、「-」のうち一つと決定する。この結果は後
で段階１１１２において使われる。

【００８５】段階１１０６においてSDAが解釈される。
物体、カメラまたはカメラと物体動きの決定はSDAを用
いて行われる。まず、SDA内に存するマクロブロック動
きベクトルの水平成分の符号を分類する（段階１１０
６）。次いで負の符号の個数、０の符号の個数及び正の
符号の個数を計算する（段階１１０７）。この個数は該
当マクロブロックの個数と同一である。かかる個数をSD
A[0]、SDA[1]、SDA[2]と定める。これらのうちSDA[i^＊]
を除いた残りの２個のうち一番多数のものを選びSDA[j
^＊]と定める（段階１１０８）。j^＊ を第２方向と定め
る。また、第２方向を除いた残りの二つのうち個数の多
いものを選ぶ。これを第３方向と定める。SDAにはカメ
ラ及び物体の運動が同時に存しうる。従って、第２方向
についての正確性が調べられる。初期第２方向は物体運
動と仮定する。次の過程は第２方向が物体運動による方
向か、あるいはカメラ運動による方向かを決定すべきで
ある。このためには次のような方法を使用した。

【００８６】第１に、第１方向と第２方向に存する個数
の比率γ_ＳＤＡ は次の数式により計算される（段階１１
１１）。

【００８７】

【数１６】

【００８８】第２に、SDA内の水平距離[τNx、（1-τ）
Nx]において水平運動成分が均等に分布されている時の
平方偏差σ^２Uと第２方向に存する水平運動成分の画像
内における水平位置値の平方偏差σ^２SDA（段階１１０
９で計算）の比率γ_σ は段階１１１０で次の数式を用い
て計算される。

【００８９】

【数１７】

【００９０】段階１１１２において、もしγ_ＳＤＡ が臨
界値Tγより大きく、γ_σ が１より大きければ第２方向
は変更なく、それとも第２方向は第３方向により置き換
えられる。第２方向が「+」（右側運動）を指すか、第１
方向が「-」（左側運動）及び第２方向が「0」（停止状
態）を指すとモードAが選ばれ、他の全ての場合はモー
ドBが選ばれる。

【００９１】合成非水平動画像発生部５４０は、運動類
型が非水平運動と決定されれば立体映像を生成する。図
１３に示されたフローチャートを用いて説明する。段階
１３００において、カメラと物体運動が存すると判断さ
れれば、図１１の段階１１０５から得られる第１方向を
カメラ運動方向と決定し（段階１３０１）、カメラ運動
方向と逆の静止または運動マクロブロックを抽出する
（段階１３０２）。カメラ運動方向を有するマクロブロ
ックには同一な正の（positive）視差値を与え、他のマ
クロブロックは０の視差を与える（段階１３０３）。す
なわち、マクロブロックは０の視差または任意の値の正
の視差を有する。視差値だけマクロブロックが水平移動
され（段階１３０９）、合成画像が生成される（段階１
３１０）。段階１３００及び段階１３０４によりカメラ
は静止状態であり、物体のみ運動する画像と判断されれ
ば、静止状態のマクロブロックは同一な正の視差を与
え、運動マクロブロックには０の視差を与える（段階１
３０５）。段階１３０９では視差値だけマクロブロック
が水平に移動され、段階１３１０で合成映像として生成
及び出力される。段階１３００及び段階１３０４により
物体の運動なしでカメラのみが運動する画像と決定され
れば、カメラの水平運動成分の符号と異なる動きベクト
ルを修正し（段階１３０６）、正確な動きベクトルを得
るためエッジ（edge）情報を用いる。段階１３０７にお
いてマクロブロックのエッジ方向が決まる。これを図１
４に基づき詳しく説明する。

【００９２】１）カメラ運動方向が左側か右側かは図１
１の段階１１０５において説明した方式で決まる。マク
ロブロックの動きベクトルの水平成分がカメラ運動方向
と異なる場合は動きベクトルを修正する。マクロブロッ
クMB（n_１、n_２）の動きベクトルがカメラ方向と異なる
場合は以前MB（n_１-1、n_２）の動きベクトル値に置き換
える。MB（n_１+1、n_２）は具現の困難のため用いない。

【００９３】２）マクロブロックでエッジが存するかを
調べる。図１４に示した５種の方向フィルタを使う。マ
クロブロックのサイズは１６×１６であるが、説明を目
的としたものなので８×８サイズで示す。まず、T５を
用いてマクロブロックのエッジの存在を調べる。マクロ
ブロック内のピクセル値の平方偏差が臨界値Tより大き
ければエッジが存し、そうでなければエッジが存しな
い。エッジが存すればT１、T２、T３、T４において平方
偏差を求めて最小のフィルタを求めればエッジ方向が求
められる。従って、各マクロブロックは非エッジMB及び
エッジMBであってエッジMBはエッジ方向を有する。垂直
エッジは、立体感に大事な役割を果たすため、現在エッ
ジマクロブロックにはこの直上のマクロブロックスキャ
ンラインに存する三つのマクロブロックでエッジ方向を
有するエッジマクロブロックを用いる。

【００９４】３）カメラ運動では現在画像は、以前画像
の運動と密接が関係がある。従って、運動視差を求める
際は以前マクロブロックの動きベクトルを考慮する。

【００９５】段階１３０８では動きベクトルが視差に変
換され改善された視差値が計算される。抽出した各マク
ロブロックの動きベクトルは水平成分と垂直成分より構
成されているが、垂直成分は立体映像を視聴する際に深
さが感じられなくて目の疲労をもたらす。垂直成分を
無くすために動きベクトルを水平視差値に変換する。動
きベクトルの視差変換は次の三つの方法を用いる。マク
ロブロックの動きベクトルが得られれば垂直運動成分の
影響を無くすために動きベクトルのノルム（norm）d
_ＭＢ を求める。動きベクトルのノルムは次の通りであ
る。

【００９６】

【数１８】 上記式においてdxとdyはマクロブロック動きベクトルの
水平及び垂直成分である。または次式を用いることがで
きる。

【００９７】

【数１９】 上記式の長所は演算量を減らせられることである。ま
た、水平成分のみを用いて次式を用いることができる。

【００９８】

【数２０】 上記式は最大に演算量を減らせられる。

【００９９】負の視差を得るためには全てのマクロブロ
ックを右側に水平移動して左側画像を合成する。正の視
差では立体映像を見る際スクリーンから背面に３-D深さ
感が生ずる。正の視差を 得るためには実際の水平視差
は次のように求められる。

【０１００】

【数２１】 ここで、MAX（d_ＭＢ）は予め定まった値または各画像の
マクロブロックの運動ノルマの最大値と定められる。

【０１０１】つまり、段階１３０８において計算される
エッジを用いる改善された視差値は次の通りである。

【０１０２】

【数２２】

【０１０３】ここで、δは（n_１、n_２）に存するマクロ
ブロックと（n_１-i、n_２-１）に存するマクロブロック
間のエッジ方向の差に対する加重値である。δ値はエッ
ジ方向の差が０度なら１、４５度なら１／２、９０度な
ら０である。またはδ値は他の方法で定められる。更
に、PｘＫは現在画像のdMBＫを、PｘＫ−１は以前画像
のdMBＫ−１をそれぞれ表わし、dMBＫまたはdMBＫ−１
に対する加重値１/３を任意の相異なる加重値ω１また
はω２に設定することが可能であることは、この技術分
野の当業者にとって自明なことと理解される。

【０１０４】同様に、段階１３０９により視差値だけマ
クロブロックを水平移動し、合性画像を生成する（段階
１３１０）。

【０１０５】合成高速動画像発生部５５０は運動類型が
高速運動と決定されれば立体映像のための合成画像を生
成する。図１５に示されたフローチャートを参照して説
明する。立体映像は現在画像と合成画像より構成される
が、合成画像生成過程は、まず直前画像を抽出する（段
階１５００）。抽出された直前の以前画像は段階１５０
４で使われる。画像の全てのマクロブロックのうち最大
水平視差Ｌ_Ｈ より大きな動きベクトル水平成分を有して
いるマクロブロックを抽出する（段階１５０１）。次い
で抽出されたマクロブロックの動きベクトル水平成分を
Ｌ_Ｈ に置き換える（段階１５０２）。このＬＨ値だけ該
当マクロブロックを水平移動する（段階１５０３）。水
平移動されたマクロブロックと段階１５００から出力さ
れた以前画像を合成する（段階１５０４）。

【０１０６】合成静止画像発生部５３０は、運動類型が
静止状態と決定されれば静止画像の立体変換で立体映像
を生成する。図１６に示されたフローチャートを用いて
説明する。画像がカラー画像ならグレイレベル画像に変
換する（段階１６００）。グレイレベルは[０、２５５]
の範囲を有する場合、２５６をＮ個の区間に分けて各グ
レイレベルを該当区間に分類する（段階１６０１）。各
区間は輝度が異なるため、輝度が大きいほど深さ情報を
大きく与え、低いほど深さ情報を少なく与える（段階１
６０２）。深さ情報を用いて応ずる水平視差に変換する
（段階１６０３）。該水平視差により各マクロブロック
を水平移動して合成画像を生成する（段階１６０４）。

【０１０７】左／右側画像決定部１５０は立体映像生成
部１４０の出力から表２ないし表４で説明した方法を用
いて左側画像と右側画像を決定する。以前画像格納部１
６０は前述したように立体映像生成部１４０の合成画像
発生に必要な復元された以前画像を格納するものであっ
て、現在画像より以前に存するＫ個の画像を格納する。
新たな画像が格納されれば、以前画像格納部１６０内の
最先に格納された画像は無くなる。DAC１７０、１８０
は左／右側画像決定部１５０から出力される左／右側画
像データをアナログ信号に変換してディスプレイバッフ
ァ（図示せず）に格納する。

【０１０８】前述した過程を経てモニターにディスプレ
イされる立体映像を鑑賞するためには立体映像と同期さ
せる立体眼鏡が必要になる。

【０１０９】一方、本発明の技術範囲内において触れら
れていない多数の変形された実施形態が導出可能である
ことは、本発明の技術的思想及び望ましい実施形態を明
確に理解したこの技術分野の当業者にとっては自明なこ
とであろう。

【発明の効果】以上述べたように、本発明によれば、Ｍ
ＰＥＧの立体変換のために映像内の運動解釈により静止
画像、非水平動画像、高速動画像および水平動画像に分
類して各画像の運動類型でも最適の立体画像を生成する
ことにより、安定した立体感が得られる。本発明は、Ｍ
ＰＥＧを用いるＭＰＥＧ２−ＨＤＴＶ，ＭＰＥＧ２ＤＶ
Ｄプレーヤー、ＭＰＥＧ１ビデオＣＤなどに用いて立体
視聴が可能になり、ＭＰＥＧを用いていないＮＴＳＣ
ＴＶ、ＶＣＲなどにも使える。内視鏡、超音波を用いる
医療分野にも適用して立体で映像を判読することにより
診断効率を高めることができる。

【図面の簡単な説明】

【図１】本発明の望ましい実施形態によるＭＰＥＧデー
タを用いた立体映像生成装置を示すブロック図である。

【図２】動きベクトル生成部の詳細な構造を示すブロッ
ク図である。

【図３】Ｉ画像マクロブロックに重なるＢ画像マクロブ
ロックの重ねを示す図である。

【図４】Ｉ画像の動きベクトルを復元するために使われ
る動きベクトルの方向図である。

【図５】運動類型決定部及び立体映像生成部の詳細な構
造を示すブロック図である。

【図６】静止画像と運動画像を決定するフローチャート
である。

【図７】水平動画像と非水平動画像を決定するフローチ
ャートである。

【図８】最大垂直溶断臨界角と最大垂直視差との関係を
示す図である。

【図９】高速動画像を決めるフローチャートである。

【図１０】最大水平溶断臨界角と最大水平視差との関係
を示す図である。

【図１１】水平動画像を立体映像に変換する方法のフロ
ーチャートである。

【図１２】画像領域を一次決定領域と二次決定領域に分
割して示す図である。

【図１３】非水平動画像を立体映像に変換する方法のフ
ローチャートである。

【図１４】エッジ方向を決めるために用いられる方向フ
ィルタを示す図である。

【図１５】高速動画像を立体映像に変換する方法のフロ
ーチャートである。

【図１６】静止画像を立体映像に変換する方法のフロー
チャートである。

【符号の説明】 １００ 画像抽出部 １１０
動きベクトル生成部 １２０ 動きベクトルフィールド構成部 １３０
運動類型決定部 １４０ 立体映像生成部 １５０
左／右側画像決定部 １５０ 以前画像格納部 １７０、１
８０ ＤＡＣ

【手続補正２】

【補正対象書類名】図面

【補正対象項目名】図１

【補正方法】変更

【補正内容】

【図１】

【手続補正３】

【補正対象書類名】図面

【補正対象項目名】図３

【補正方法】変更

【補正内容】

【図３】

【手続補正４】

【補正対象書類名】図面

【補正対象項目名】図５

【補正方法】変更

【補正内容】

【図５】

【手続補正５】

【補正対象書類名】図面

【補正対象項目名】図６

【補正方法】変更

【補正内容】

【図６】

【手続補正６】

【補正対象書類名】図面

【補正対象項目名】図７

【補正方法】変更

【補正内容】

【図７】

【手続補正７】

【補正対象書類名】図面

【補正対象項目名】図９

【補正方法】変更

【補正内容】

【図９】

【手続補正８】

【補正対象書類名】図面

【補正対象項目名】図１１

【補正方法】変更

【補正内容】

【図１１】

【手続補正９】

【補正対象書類名】図面

【補正対象項目名】図１２

【補正方法】変更

【補正内容】

【図１２】

【手続補正１０】

【補正対象書類名】図面

【補正対象項目名】図１３

【補正方法】変更

【補正内容】

【図１３】

【手続補正１１】

【補正対象書類名】図面

【補正対象項目名】図１５

【補正方法】変更

【補正内容】

【図１５】

【手続補正１２】

【補正対象書類名】図面

【補正対象項目名】図１６

【補正方法】変更

【補正内容】

【図１６】

───────────────────────────────────────────────────── フロントページの続き (72)発明者 李 相 薫 大韓民国江原道春川市温衣洞532−２，18 ／３ (72)発明者 姜 豪 爽 大韓民国京畿道城南市盆唐区九美洞ムジゲ 青丘アパート503棟1004戸 Ｆターム(参考） 5C059 KK00 MA00 MB04 MB21 NN01 NN28 PP04 PP13 PP26 SS16 TA00 TB07 TC12 TD01 UA38 5C061 AA21 AB12 AB21 5C082 AA02 AA27 AA37 BA20 BA27 BA41 BA47 BB44 CA81 CB01 DA26 DA51 MM10

Claims (2)

【特許請求の範囲】
1. 【請求項１】 Ｉ、Ｂ及びＰ画像が収録してあるＭＰＥ
   Ｇ符号化されたデータを用いて立体映像を生成する装置
   において、 画像データを入力され、該画像内のマクロブロックに個
   別的に応ずる動ベクトルを生成及び貯蔵する動ベクトル
   生成及び貯蔵手段と、 前記動きベクトル生成及び貯蔵手段に供給される画像デ
   ータを画像数Ｋ個ほど貯蔵する画像貯蔵部と、 前記動きベクトル生成及び貯蔵手段に貯蔵された動きベ
   クトルを用いて現在画像に応ずる運動類型を決める運動
   類型決め手段と、 前記画像貯蔵部に貯蔵された以前画像及び決定された運
   動類型を用いて現在画像に応ずる合成画像を生成し、現
   在画像及び合成画像を出力する立体画像生成手段と、 前記立体画像生成手段から現在画像及び合成画像を受信
   し、現在画像を立体画像を構成する左側画像及び右側画
   像のうちいずれか一方と決定し、合成画像を他方と決定
   する左／右側画像決定部を含む立体映像生成装置。
2. 【請求項２】 Ｉ、Ｂ及びＰ画像が収録してあるＭＰＥ
   Ｇ符号化されたデータを用いて立体映像を生成する方法
   であって、 画像データを入力され、該画像内のマクロブロックに個
   別的に応ずる動ベクトルを生成及び貯蔵し、 前記動きベクトル生成及び貯蔵ステップに供給される画
   像データを画像数Ｋ個ほど貯蔵し、 前記動きベクトル生成及び貯蔵ステップで貯蔵された動
   きベクトルを用いて現在画像に応ずる運動類型を決め、 前記画像貯蔵ステップで貯蔵された以前画像及び決定さ
   れた運動類型を用いて現在画像に応ずる合成画像を生成
   し、現在画像及び合成画像を出力し、 前記立体画像生成ステップから現在画像及び合成画像を
   受信し、現在画像を立体画像を構成する左側画像及び右
   側画像のうちいずれか一方と決定し、合成画像を他方と
   決定することを特徴とする立体映像生成方法。