JP2006129463A - 立体視化パラメータ記憶媒体 - Google Patents

Abstract

【課題】 立体視画像と２次元画像のいずれかを任意に選択して鑑賞することを可能とす
るビデオコンテンツを提供すること。
【解決手段】 連続して再生される複数のビデオ画像データを入力するビデオ画像入力手
段と、ビデオ画像を立体視画像化するための前記各ビデオ画像データ毎の立体視化パラメ
ータを入力するパラメータ入力手段と、前記入力された各立体視化パラメータをバイナリ
ーデータに変換する変換手段と、前記変換により得たバイナリーデータの内容を表すバー
コード画像データを前記各ビデオ画像データに各々埋め込む埋込手段とを備える。
【選択図】 図１

Description

本発明は、ビデオ画像データを立体視画像化する技術に関する。

互いに一定のずらし幅を持たせた左眼用視差画像と右眼用視差画像とを合成した上で表
示し、表示された画像を観察する観察者に補色めがねや偏光めがねを装着させたり、又は
レンティキュラレンズやパララックスバリアといったような機構を使用して観察者の視野
の一部を遮ることによって、いわゆる両眼視差を意図的に生じさせる立体視実現法が普及
している。
かかる立体視実現法に用いられる左眼用視差画像と右眼用視差画像のセットは同一の対
象を視点をずらして別々に撮像することによって取得されるのが一般的であるが、ひとつ
の視点から撮像して得た１つの画像から左眼用視差画像と右眼用視差画像を生成する技術
も提案されている。この種の技術を開示した文献として特許文献１がある。同文献に開示
された立体視画像生成装置は、画像の各画素の彩度から算出した奥行き値（もしくはこの
奥行き値に所定の補正処理を行って算出した値）から、当該画像における近影部分と遠影
部分とを区分し、近影部分については遠影部分よりも左眼用視差画像と右眼用視差画像と
の視差を大きく計算するといったような処理を行う。この技術は、景色は一般に遠い方向
へ行くほど彩度が低下し、近い方ほど彩度が高くなるという経験則を、画素の彩度から奥
行き値を算出するアルゴリズムとして応用したものである。
特開２００２−１２３８４２号公報

最近では、１つの画像から一定のずらし幅を持った両視差画像を生成することは、特許
文献１に示された類の技術を応用することによって比較的容易に行なえるようになってき
た。このため、もともと立体視用に制作されたものでないビデオコンテンツに立体視画像
化処理を施し、そのビデオコンテンツをＤＶＤ（digital video disc）などの記憶媒体に
記憶して販売するといったようなビデオコンテンツの流通形態が今後は普及するであろう
と予測されている。媒体を購入した者は、その媒体に記憶されているビデオコンテンツを
自らのコンピュータ装置などによって再生することで、立体視画像化された迫力あるビデ
オ画像を手軽に鑑賞することができる。
ところで、ビデオコンテンツを立体視画像として鑑賞した場合、立体視画像でない２次
元画像として鑑賞するよりも目に大きな負担がかかる。このため、鑑賞者の事情によって
は、立体視画像化処理済みのビデオコンテンツを購入した後、そのビデオコンテンツを２
次元画像としても鑑賞したいとの要望を持つことも多い。しかしながら、立体視画像化処
理済みのビデオコンテンツのみを媒体に記憶して流通させた場合、当然ながら、その媒体
に記憶したビデオコンテンツでは２次元の画像での鑑賞が不可能となるため、上述したよ
うな要望に応えることができない。
本発明は、このような背景の下に案出されたものであり、立体視画像と２次元画像のい
ずれをも任意に選択して鑑賞することを可能とするビデオコンテンツを提供することを目
的とする。

本発明の好適な態様である記憶媒体は、連続して再生される複数のビデオ画像データを記憶すると共に、ビデオ画像を立体視画像化するための立体視化パラメータを前記複数のビデオ画像データの各々と関連付けて記憶した記憶媒体において、前記立体視化パラメータは、バーコード画像データとして記憶されることを特徴とする。

本発明の別の好適な態様である記憶媒体は、連続して再生される複数のビデオ画像データを記憶すると共に、前記複数のビデオ画像データの各々に合成されるべきサブピクチャデータを記憶した記憶媒体において、前記サブピクチャデータには、ビデオ画像を立体視画像化するための立体視化パラメータがバーコード画像データとして内包されることを特徴とする。

上述の両態様において、前記ビデオ画像データに前記立体視化パラメータを作用させる
ことで行なわれる立体視画像化処理をコンピュータ装置に実行させるためのプログラムを
更に記憶してもよい。

本発明の別の好適な態様である記憶媒体は、２次元画像データを記憶すると共に、２次元画像を立体視画像化するための立体視化パラメータを前記２次元画像データと関連付けて記憶した記憶媒体において、前記立体視化パラメータは、バーコード画像データとして記憶されることを特徴とする。

本発明によると、ビデオコンテンツデータを記憶媒体に生成する際は、ビデオ画像を立
体視画像化するための立体視化パラメータをビデオ画像データとは別に記憶させておき、
そのビデオコンテンツデータを立体視画像として再生する場合は、記憶されている立体視
化パラメータをビデオ画像データに作用させることによって立体視画像化を施す。このよ
うなデータ構造でビデオ画像データと立体視化パラメータを記憶させておくこで、立体視
画像化されたビデオコンテンツと立体視画像化されていない２次元のビデオコンテンツと
を自在に切替ながら再生することが可能となる。

（発明の実施の形態）
以下、本発明の実施形態を説明する。
本実施形態の特徴は、ＤＶＤ（digital video disc）媒体に多重化して記憶されるデー
タの１つであるサブピクチャデータに、２次元の画像（以下、「２次元画像」と呼ぶ）を
立体視画像化するためのパラメータを埋め込んで再生時に適宜利用する点にある。
ここで、以降の説明で使用する主要な用語を定義しておく。以降の説明において、「制
作者」とは、ＤＶＤ媒体に記憶されれるべきビデオコンテンツを制作する事業者を意味し
、「利用者」とは、ビデオコンテンツを記憶したＤＶＤ媒体を購入して利用する個人又は
法人を意味する。また、ビデオコンテンツの主映像用のビデオ信号を表すデータを「ビデ
オデータ」と呼び、オーディオ信号を表すデータを「オーディオデータ」と呼び、字幕な
どの副映像用のビデオ信号を表すデータを「サブピクチャデータ」と呼ぶ。更に、上述し
た３種のデータを所定の規格に従って多重化した上で内包しているデータを「ビデオコン
テンツデータ」と呼ぶ。

本実施形態にかかるビデオコンテンツデータの流通方法は、ビデオコンテンツ生成工程
と、ＤＶＤ出荷工程と、ビデオコンテンツ取得過程と、立体視画像表示工程とからなる。
これら各工程のうち、ビデオコンテンツ生成工程と立体視画像表示工程が本実施形態に特
徴的な工程となる。
ビデオコンテンツ生成工程は、制作者が、ビデオコンテンツのソースデータとなるべき
、ビデオデータ、オーディオデータ、及びサブピクチャデータの各データを入手し、ビデ
オデータにより連続して再生される一連のビデオ画像を立体視画像化するためのパラメー
タを表すバーコード画像データをサブピクチャデータに埋め込む工程である。
ＤＶＤ出荷工程は、制作者が、ビデオデータ、オーディオデータ、そしてバーコード画
像データが埋め込まれたサブピクチャデータを含むビデオコンテンツデータをＤＶＤ媒体
に記憶して小売店の店頭に出荷する工程である。
ビデオコンテンツ取得工程は、利用者が、店頭にてＤＶＤ媒体を購入し、購入したＤＶ
Ｄ媒体に記憶されているビデオコンテンツデータを、立体視画像と２次元画像の再生機能
を搭載した装置（以下、「立体視画像再生装置」と呼ぶ）に読み込ませる工程である。
立体視画像表示工程は、利用者が、自らの立体視画像再生装置に読み込ませたビデオコ
ンテンツデータを立体視画像として表示させる工程である。
以下、各工程毎の内容を詳述する。

〈ビデオコンテンツ生成工程〉
まず、ビデオコンテンツ生成工程について説明する。この工程は、制作者が立体視化パ
ラメータ埋込装置を用いて行なう。
図１は、立体視化パラメータ埋込装置のハードウェア概略構成を示すブロック図である
。同図に示すように、この装置は、時刻基準信号供給部１０と、ビデオデータ符号化部１
１と、オーディオデータ符号化部１２と、パラメータ用メモリ１３と、パラメータ入力部
１４と、サブピクチャデータ改変部１５と、サブピクチャデータ符号化部１６と、多重化
部１７とを備えている。

時刻基準信号供給部１０は、ビデオコンテンツの再生開始時からの経過時刻を表す時刻
基準信号ｔを装置各部に供給する。装置各部は、この時刻基準信号ｔを参照することで、
データの符号化タイミングなどの同期を計る。なお、この信号を供給する間隔はビデオデ
ータの各フレームが切り替わる間隔と一致している。例えば、ビデオデータが一秒間あた
り３０フレームの間隔で切り替わる場合、１／３０秒毎の経過時刻を表す時刻基準信号ｔ
が順次供給される。

ビデオデータ符号化部１１にはビデオデータが順次入力され、同部は入力されたビデオ
データをＭＰＥＧ（moving picture expert group）の規格に従って圧縮符号化する。
なお、このビデオデータ符号化部１１に入力されるビデオデータは、各フレーム毎のビデ
オ画像をビットマップとして表したラスターデータとそれら各ビデオ画像の再生タイミン
グを表すタイムスタンプのセットを順に並べたものである。
オーディオデータ符号化部１２にはオーディオデータが順次入力され、同部は入力され
たオーディオデータを圧縮せずにそのまま符号化する。なお、このオーディオデータ符号
化部１２に入力されるオーディオデータは、発音されるべき音声の属性を示すイベントデ
ータとそれら各イベントデータの処理タイミングを表すタイムスタンプのセットを順に並
べたものである。
これら両部による振る舞いは、従来技術の範疇に属するため詳細な説明を割愛する。

パラメータ用メモリ１３は、立体視化パラメータとタイムスタンプの各セットを記憶す
る。この立体視化パラメータは、ビデオデータによって表される各フレーム毎のビデオ画
像（２次元画像）を立体視画像化するためのパラメータであり、ビデオ画像内に描画され
る各オブジェクト毎の奥行き値（Ｚ値）や、オブジェクトの属性に応じてその奥行き値に
補正処理を施すための補正値といったような１１種の異なるパラメータからなる。この立
体視化パラメータは、ビデオデータによって表される各フレーム毎のビデオ画像を所定の
解析アルゴリズムに従って解析することで得られる一連のテキストデータであり、得られ
た立体視化パラメータの各々は、解析を行なった各ビデオ画像と対を成していたタイムス
タンプが対応付られた上でパラメータ用メモリ１３に記憶される。なお、上述した解析ア
ルゴリズムは従来技術の範疇に属するためここではその内容の詳説を割愛する。
パラメータ入力部１４は、立体視化パラメータとタイムスタンプの各セットをパラメー
タ用メモリ１３から順次読み出してサブピクチャデータ改変部１５に入力する。

サブピクチャデータ改変部１５にはサブピクチャデータが順次入力され、同部は入力さ
れたサブピクチャデータに立体視化パラメータを埋め込んでからサブピクチャデータ符号
化部１６に引き渡す。なお、サブピクチャデータのフォーマットは上述したビデオデータ
とは異なり、ビデオ画像に合成されるべき各サブピクチャをビットマップとして表したラ
スターデータとその制御内容を表した制御データのセットを順に並べたものである。これ
を更に詳述する。サブピクチャデータに内包されるラスターデータは、ビットマップを形
成する各画素の属性値とそのアドレスの対からなる。当然ながら、字幕文字を描画する画
素と字幕文字以外の背景を描画する画素とでは異なる属性値が付与される。一方、制御デ
ータには、サブピクチャの表示開始タイミング及び終了タイミングをそれぞれ表したタイ
ムスタンプのほかに、字幕文字や背景の色をそれぞれ指定する色指定コードが内包されて
いる。この色指定コードは白（透明色）を含む１６色の中の任意の色を指定するコードで
あり、制御データには、色指定コードと画素の属性値の対を最大４組まで内包させること
ができる。例えば、ラスターデータでは、字幕文字を属性値ａの画素で描画すると共に背
景を属性値ｂの画素で描画しておく一方で、制御データでは、属性値ａを黒の色指定コー
ドと対応付けると共に属性値ｂを白（透明色）の色指定コードと対応付けていた場合、そ
のサブピクチャの字幕文字は黒で表示され、背景は白（透明色）で表示されることになる
。通常のサブピクチャでは、字幕文字の色としては黒が、背景の色としては白（透明色）
が指定されるのが一般的であるが、背景に合成されるビデオ画像の内容の如何によっては
、ある属性値と対応付けた色指定コードが途中で別のものに変更になっているケースもあ
る。

図２は、サブピクチャデータ改変部１５のハードウェア構成の詳細を示すブロック図で
ある。同図に示すように、サブピクチャデータ改変部１５は、データ解析部１５ａと、サ
ブピクチャデータ補完部１５ｂと、パラメータ変換部１５ｃと、バイナリーデータ用メモ
リ１５ｄと、バーコード画像埋込部１５ｅとを内蔵している。

データ解析部１５ａは、サブピクチャデータが内包する制御データを基に、字幕が存在
する時間領域と字幕が存在しない時間領域とを判別する。そして、字幕が存在する時間領
域の間は、入力されたサブピクチャデータに新たなタイムスタンプを付加した上で順次出
力する。具体的には、サブピクチャデータの制御データが内包しているタイムスタンプ（
表示開始タイミングと終了タイミングを表したタイムスタンプ）を、時刻基準信号ｔが示
している時刻に順次置換してから出力する。つまり、字幕が存在する時間領域の間は、ラ
スターデータの内容は同じで制御データが内包するタイムスタンプが連続した時刻となっ
ている一連のサブピクチャデータが順次出力されることになる。一方、字幕が存在しない
時間領域の間は、字幕が存在しなくなる直前のタイミングで入力されたサブピクチャデー
タとサブピクチャの補完を指示する信号とをサブピクチャデータ補完部１５ｂに出力する
。

サブピクチャデータ補完部１５ｂは、データ解析部１５ａから補完を指示する信号が供
給されている間、新規なサブピクチャデータを生成してバーコード画像埋込部１５ｅに出
力する。生成されるサブピクチャに内包させるラスターデータは、字幕を描画していない
状態のものとなる。また、このサブピクチャの制御データに内包させる色指定コードと属
性値の対は、データ解析部１５ａから供給されるサブピクチャデータと同じ内容となり、
更にその制御データに内包させるタイムスタンプは、時刻基準信号ｔが示す時刻と一致さ
せる。つまり、字幕が存在しない時間領域の間は、ラスターデータは字幕文字を全く描画
していない内容で、制御データが内包するタイムスタンプが連続した時刻となっている一
連のサブピクチャデータが順次出力されることになる。

パラメータ変換部１５ｃは、立体視化パラメータをバイナリーデータに変換する。具体
的には、パラメータの各々を８ビット分のバイナリーデータ列にそれぞれ変換する処理を
行い、変換により得たバイナリーデータ列を、変換前の立体視化パラメータと対を成して
いたタイムスタンプと対応付けた上でバイナリーデータ用メモリ１５ｄに順次記憶する。
本実施形態における立体視化パラメータは１１種類の異なるパラメータ群からなるため、
一回の変換処理で、合計８８ビットのバイナリーデータ列がバイナリーデータ用メモリ１
５ｄに記憶されることになる。

１１種類すべてのパラメータのバイナリーデータがバイナリーデータ用メモリ１５ｄに
記憶されると、バーコード画像埋込部１５ｅは、それらのバイナリーデータを表すバーコ
ード画像データを生成し、データ解析部１５ａ又はサブピクチャデータ補完部１５ｂから
供給されたサブピクチャデータが内包しているラスターデータにそのバーコード画像デー
タを埋め込む。

図３は、バーコード画像埋込部１５ｅによってバーコード画像が埋め込まれた後のサブ
ピクチャの描画内容を示す図である。
同図に示すように、サブピクチャのビットマップを構成する各画素のうち、バーコード
画像が埋め込まれるのは、上から数えて３つ目乃至５つ目の画素のライン（以下、「埋め
込みライン」と呼ぶ）である。そして、埋込ラインには、縦方向に隣接する３つの画素と
横方向に隣接する３つの画素の合計９つの画素の纏まり（以下、この画素の纏まりを「ブ
ロック」と呼ぶ）が横方向に順に配列される。ブロックの各々は、立体視化パラメータを
２進数化して得たバイナリーデータの１ビットとそれぞれ対応するものであり、各ブロッ
クを構成する９つの画素を字幕文字の色又は背景の色のいずれかで統一して表示させるこ
とによって、各ブロックとそれぞれ対応するバイナリーデータが「１」を表すものである
かそれとも「０」を表すものであるかを識別させる。

図３に示すように、埋め込みラインの左端位置Ｌから２ブロック分は第１リーディング
マーク描画領域Ａとして確保され、同領域の右１ブロック分は第２リーディングマーク描
画領域Ｂとして確保される。第１リーディングマーク描画領域Ａの画素はすべて背景の色
で表示され、第２リーディングマーク描画領域Ｂの画素はすべて字幕文字の色で表示され
ることになっている。これらの両マークは、立体視化パラメータを２進数化して得たバイ
ナリーデータの内容自体を表すものではなく、その開始位置を特定させるためのものであ
る。そして、第２リーディングマークの右側にはバイナリーデータ自体の内容を表す領域
Ｃが確保される。この領域の画素は横方向に連続する８８のブロックを構成し、各ブロッ
ク内に存在する画素の纏まりは文字又は背景のいずれかと対応する色で各々表示される。

図４は、バーコード画像埋込部１５ｅが実行する処理を示すフローチャートである。
データ解析部１５ａ又はサブピクチャデータ補完部１５ｂからサブピクチャデータが入
力されると、ステップ１００において、バーコード画像埋込部１５ｅは、そのサブピクチ
ャデータの制御データが内包しているタイムスタンプを基にバイナリーデータ用メモリ１
５ｄを参照し、同一のタイムスタンプと対応付けられたバイナリーデータ列を読み出す。
次に、ステップ１１０に進み、入力されたサブピクチャデータの制御データから、字幕
文字の色と背景の色をそれぞれ指定している色指定コードを特定する。そして、ステップ
１２０にて、サブピクチャデータが内包するラスターデータによって表されるビットマッ
プにおける、埋込ラインの左端位置Ｌとなるべき位置を特定する。

更に、ステップ１３０では、ステップ１２０で特定した位置から横方向に２ブロック分
を占める領域を第１リーディングマーク描画領域Ａとして特定し、特定した領域内にある
すべての画素に、ステップ１１０で特定した背景の色の色指定コードと対応する属性値を
与える。例えば、背景の色の色指定コードが白（透明色）であったときは、白（透明色）
を表す属性値を与える。
ステップ１４０では、第１リーディングマーク描画領域の右隣の１ブロック分を占める
領域を第２リーディングマーク描画領域Ｂとして特定し、特定した領域内にあるすべての
画素に、ステップ１１０で特定した字幕文字の色の色指定コードと対応する属性値を与え
る。例えば、字幕文字の色の色指定コードが黒であったときは黒を表す属性値を与え、青
であったときは青を表す属性値を与える。

続くステップ１５０では、第２リーディングマーク描画領域Ｂの右側の領域にある画素
をブロック化し、各ブロック内の画素にステップ１１０で特定した字幕文字又は背景のい
ずれかの色指定コードと対応する属性値を付与する。各ブロック内の画素にいずれの色指
定コードと対応する属性値を付与すべきかは、ステップ１００で読み出したバイナリーデ
ータ列の内容に基づいて判断される。例えば、読み出したバイナリーデータ列の最初のバ
イナリーデータが「１」を表すものである場合、第２リーディングマーク描画領域の右隣
にあるブロック内の９つの画素には字幕文字の色の色指定コードと対応する属性値が与え
られる。一方で、最初のバイナリーデータが「０」を表すものである場合、背景の色の色
指定コードと対応する属性値が与えられる。２番目以降のバイナリーデータについても、
同様の手順に従って、対応するブロックの画素に属性値を付与する処理を行う。すべての
バイナリーデータと対応するブロックの画素への属性値の付与が終了すると、ステップ１
６０に進み、上述の処理を施したサブピクチャデータをサブピクチャデータ符号化部１６
に出力する。
バーコード画像埋込部１５ｅは、データ解析部１５ａ又はサブピクチャデータ補完部１
５ｂからサブピクチャデータが入力されるたびに、以上説明したような一連の処理を繰り
返す。

図１の説明に戻る。
サブピクチャデータ符号化部１６は、サブピクチャデータ改変部１５から順次入力され
るサブピクチャデータを可変長圧縮符号化する。
多重化部１７は、ビデオデータ符号化部１１と、オーディオデータ符号化部１２と、サ
ブピクチャデータ符号化部１６の各部から出力される符号列を多重化し、ＤＶＤの規格に
従った信号列であるビデオコンテンツデータを生成する。

〈ＤＶＤ出荷工程〉
この工程では、上述したビデオコンテンツデータがディスク製造工場に送られ、ビデオ
コンテンツデータが記憶されたＤＶＤ媒体がディスク製造工場から小売店の店頭に出荷さ
れる。

〈ビデオコンテンツ取得工程〉
この工程では、立体視画像再生装置を所有している利用者が、小売店の店頭にて販売さ
れるＤＶＤ媒体を購入し、購入したＤＶＤ媒体を自らの立体視画像再生装置のＤＶＤドラ
イブに挿入する。

〈立体視画像表示工程〉
立体視画像表示工程は、立体視画像再生装置が動作することによって行われるものであ
る。利用者が、立体視画像再生装置のＤＶＤドライブにＤＶＤ媒体を挿入し、図示しない
再生方式選択部によって立体視画像再生モード又は２次元画像再生モードのいずれかの再
生方式を選択してから再生を指示する操作を行なうと、立体視画像表示工程が開始される
。

図５は、立体視画像再生装置のハードウェア概略構成を示すブロック図である。同図に
示すように、この立体視画像再生装置は、ピックアップ部２０と、復調／エラー訂正部２
１と、デマルチプレクサ部２２と、オーディオデータデコード部２３と、ビデオデータデ
コード部２４と、再生方式切替部２５と、立体視化処理部２６と、サブピクチャデータデ
コード部２８と、立体視化パラメータ抽出部２９と、合成部２７とを備えている。

この立体視画像再生装置の動作の概要を示すと以下のようになる。まず、ＤＶＤドライ
ブに挿入されたＤＶＤ媒体に記憶されているビデオコンテンツデータは、ピックアップ部
２０により順次ピックアップされる。そして、ピックアップ部２０の出力は、復調／エラ
ー訂正部２１にて復調され、デマルチプレクサ部２２に入力される。すると、デマルチプ
レクサ部２２は、ピックアップ部２０から入力されたビデオコンテンツデータを、オーデ
ィオデータ、ビデオデータ、サブピクチャデータの各圧縮符号化信号に分離し、オーディ
オデータの圧縮符号化信号をオーディオデータデコード部２３へ、ビデオデータの圧縮符
号化信号をビデオデータデコード部２４へ、そしてサブピクチャデータの圧縮符号化信号
をサブピクチャデータデコード部２８へそれぞれ供給する。

オーディオデータの圧縮符号化信号は、オーディオデータデコード部２３にてデコード
され、スピーカへ供給される。即ち、この圧縮符号化信号は、発音されるべき音声の属性
を表すイベントデータとそのイベントデータの処理タイミングを表すタイムスタンプのセ
ットを内包するオーディオデータに復号化された上で供給されることになる。

また、ビデオデータの圧縮符号化信号は、ビデオデータデコード部２４にてデコードさ
れ、再生方式切替部２５に供給される。即ち、この圧縮符号化信号は、ビデオ画像のラス
ターデータとその再生タイミングを表すタイムスタンプのセットを内包するビデオデータ
に復号化された上で供給されることになる。再生方式切替部２５は、供給されたビデオデ
ータを立体視化処理部２６に出力するか、又は、立体視化処理部２６を経由させることな
く合成部２７へ直接出力する。ビデオデータを経由させるデータパスは、図示しない再生
方式選択部によって予め選択されていた再生方式に応じて切り替えられる。即ち、立体視
画像再生モードが選択されていれば立体視化処理部２６にビデオデータを出力する一方で
、２次元画像再生モードが選択されていれば合成部２７に直接出力する。
立体視化処理部２６は、再生方式切替部２５からビデオデータが入力されると、立体視
化パラメータ抽出部２９から供給される立体視化パラメータに基づいた立体視画像化処理
をそのビデオデータに施す。具体的には、立体視化パラメータに内包される奥行き値及び
その補正値を基に、各オブジェクト毎の好適なずれ幅を持たせた右眼用視差画像と左眼用
視差画像をそれぞれ生成し、生成した両視差画像を合成するといった処理を行う。そして
、立体視画像化処理が施されたビデオデータは合成部２７に供給される。

サブピクチャデータの圧縮符号化信号は、サブピクチャデータデコード部２８にてデコ
ードされ、立体視化パラメータ抽出部２９に供給される。即ち、この圧縮符号化信号は、
バーコード画像を一部に埋め込んだサブピクチャのラスターデータとその制御データのセ
ットを内包するサブピクチャデータに復号化された上で供給されることになる。なお、制
御データには、字幕文字や背景の色を指定する色指定コードや、ビデオ画像と同期を取る
ためのタイムスタンプなどが内包される。立体視化パラメータ抽出部２９は、入力された
サブピクチャデータから立体視化パラメータを抽出して立体視化処理部２６に引き渡すと
共に、そのサブピクチャデータを合成部２７に供給する。

合成部２７は、再生方式切替部２５又は立体視化処理部２６から入力されるビデオデー
タと立体視化パラメータ抽出部２９を経由して入力されるサブピクチャデータとを合成し
てモニタに供給する。

以上、立体視画像再生装置の各部について概説したが、これら各部のうち、立体視化パ
ラメータ抽出部２９は本実施形態に特徴的な振る舞いを行なう。従って、同部について更
に詳述する。
図６は、立体視化パラメータ抽出部２９のハードウェア構成の詳細を示すブロック図で
ある。同図に示すように、立体視化パラメータ抽出部２９は、サブピクチャ展開メモリ２
９ａと、バーコード読取部２９ｂと、ＲＧＢ値蓄積メモリ２９ｃと、バーコード消去部２
９ｅと、バーコード解析部２９ｆと、バイナリーデータ蓄積メモリ２９ｇと、パラメータ
復元部２９ｈとを内蔵している。

サブピクチャ展開メモリ２９ａには、サブピクチャデータが内包するラスターデータに
よって表されるサブピクチャがビットマップとして展開される。この際、展開されるビッ
トマップの上部の一部領域を占める埋込ラインには、図３に示したようなバーコード画像
が描画されることになる。

バーコード読取部２９ｂは、サブピクチャ展開メモリ２９ａに展開されているビットマ
ップから、バーコード画像データを読み取り、そのバーコード画像データの内容を表すＲ
ＧＢ値をＲＧＢ値蓄積メモリ２９ｃに蓄積する。具体的には、以下に示す処理を行う。ま
ず、サブピクチャ展開メモリ２９ａに展開されたビットマップ上から、バーコード画像の
開始位置を特定する。図３を参照して説明したように、埋込ラインの左端から２ブロック
分の画素は、第１リーディングマーク描画領域Ａとしてすべて背景の色で描画され、その
右隣の１ブロック分の画素は、第２リーディングマーク描画領域Ｂとしてすべて字幕文字
の色で描画されることになっている。従って、まず、ビットマップ上の埋込ライン（上か
ら３つ目乃至５つ目の画素のライン）を特定し、その埋込ラインの左端位置Ｌから右方向
に画素を参照していき、背景の色でない画素が１ブロック分（画素が３つ分）続くと、そ
の右隣の位置をバーコード画像の開始位置と特定する。次に、特定した開始位置の右にあ
る埋込ライン内の画素を光学的に読取ることで得たＲＧＢ値を各画素のアドレスと対応付
けてＲＧＢ値蓄積メモリ２９ｃに順次蓄積していく。なお、このＲＧＢ値は、Ｒ（赤）、
Ｇ（緑）、Ｂ（青）のそれぞれについて２５５階調で検出され、ＲＧＢ（０，０，０）に
近い画素ほど白に近くなり、ＲＧＢ（２５５，２５５，２５５）に近い画素ほど黒に近く
なる。

バーコード消去部２９ｅは、バーコード読取部２９ｂが各画素のＲＧＢ値をＲＧＢ値蓄
積メモリ２９ｃに蓄積し終えると、埋込ライン上のバーコード画像を消去すべく、サブピ
クチャデータが内包しているラスターデータに改変を施す。具体的には、埋込ラインの下
の３ライン分（上から６つ目乃至８つ目の画素のライン）の属性値を、埋込ライン内にあ
る属性値に上書きする。バーコード消去部２９ｅによって改変が施されたサブピクチャデ
ータは、合成部２７に供給される。

バーコード解析部２９ｆは、ＲＧＢ値蓄積メモリ２９ｃに蓄積された各画素のＲＧＢ値
からバイナリーデータ列を生成し、生成したバイナリーデータ列をバイナリーデータ蓄積
メモリ２９ｇに順次出力する。

図７は、バーコード解析部２９ｆによって行なわれる処理を示すフローチャートである
。
まず、ステップ２００では、ＲＧＢ値蓄積メモリ２９ｃに蓄積された一連のＲＧＢ値を
、各ブロックを構成する９つの画素毎にグループ化する。以降の処理は、バーコード画像
の開始位置の近くにあるブロックと対応する画素群のグループから順番に実行される。
ステップ２１０に進んで、１つのグループを特定し、そのグループに属する画素群の各
ＲＧＢ値のうち、最も白（０，０，０）に近い値であったＲＧＢ値と最も黒（２５５，２
５５，２５５）に近い値であったＲＧＢ値を共に破棄する。

そして、ステップ２２０に進み、残りの７つのＲＢＧ値に、予め設定された所定の閾値
よりも大きいＲＧＢ値の方が多く含まれているかそれとも小さいＲＧＢ値の方が多く含ま
れているかを判定する。この閾値は、サブピクチャデータが内包して制御コードにおいて
、どの色指定コードが字幕文字の画素と対応付けられているかによって異なる。例えば、
字幕文字の画素の属性値と黒の色指定コードが対応付けられていた場合、閾値をＲＧＢ値
の平均値６４と設定する。そして、Ｒ値、Ｇ値、Ｂ値の平均値を７つの画素毎にそれぞれ
求め、求めた７つの平均値のうち、閾値６４よりも大きい平均値の方が多いかそれとも小
さい平均値の方が多いかを判定する。また、字幕文字の画素の属性値と青の色指定コード
が対応付けられていた場合、画素のＢ値のみに注目し、Ｂ値の閾値を６４と設定する。そ
して、７つのＢ値のうち、閾値６４よりも大きいＢ値の方が多いかそれとも小さいＢ値の
方が多いかを判定する。

閾値よりも大きいＲＧＢ値の方が多く含まれている場合、ステップ２３０に進んで、処
理対象となるグループの画素群が「１」を表していると判断し、「１」を表すバイナリー
データをバイナリーデータ蓄積メモリ２９ｇに出力する。
一方、閾値よりも小さいＲＧＢ値の方が多く含まれている場合、ステップ２４０に進ん
で、処理対象となるグループの画素群が「０」を表していると判断し、「０」を表すバイ
ナリーデータをバイナリーデータ蓄積メモリ２９ｇに出力する。

バイナリーデータを出力すると、右隣のブロックと対応する画素群のグループに処理対
象を進め、ステップ２１０乃至ステップ２４０の処理を実行する。ステップ２１０乃至ス
テップ２４０の処理は、すべてのブロックと対応するバイナリーデータが出力されるまで
繰り返される。
バイナリーデータ蓄積メモリ２９ｇには、バーコード解析部２９ｆから出力されるバイ
ナリーデータ（「１」又は「０」）が順次蓄積される。以上の処理が実行されることで、
１つのサブピクチャデータから合計８８個のバイナリデータが抽出され、それら一連のバ
イナリーデータ列がバイナリーデータ蓄積メモリ２９ｇに蓄積されることになる。例えば
、図３のバーコード画像の開始位置の右隣に配列された最初の８ブロックと対応するバイ
ナリーデータ列は、「０１１１００１０」ということになる。そして後述するように、連
続する８つのバイナリーデータ毎に、１つのパラメータが復元されることになる。

図６の説明に戻る。
すべてのブロックと対応するバイナリーデータがバイナリーデータ蓄積部に蓄積される
と、パラメータ復元部２９ｈは、蓄積された一連のバイナリーデータを最初に記憶された
ものから順番に８つずつに区切って複合化する。即ち、連続する８つのバイナリーデータ
列毎にテキスト化することによって元のパラメータを取得する。そして、パラメータ復元
部２９ｈは、復元したパラメータを立体視化処理部２６に順次供給する。立体視化処理部
２６では、このパラメータをビデオデータデコード部２４から供給されるビデオデータに
作用させることによって立体視化処理が行われることになる。

以上説明した実施形態によると、ビデオコンテンツ生成工程では、制作者が、ＤＶＤ媒
体に記憶されるビデオコンテンツデータのソースデータとなるべき、ビデオデータ、オー
ディオデータ、サブピクチャデータをまず入手し、ビデオデータの各ビデオ画像を解析す
ることで、それらを立体視画像化するための立体視化パラメータを求める。そして、その
立体視化パラメータをサブピクチャデータに埋め込んだ後、それら各種データを多重化し
てビデオコンテンツデータを生成する。一方、立体視画像表示工程では、まず、利用者が
、立体視画像再生モード又は２次元画像再生モードの再生方式のいずれかを選択してから
再生を指示する操作を行なう。すると、立体視画像再生装置は、立体視画像再生モードが
選択されている場合は、サブピクチャデータに埋め込まれているバーコード画像を特定し
、特定したバーコード画像から復元されたパラメータに基づく立体視画像化処理を施した
ビデオデータを合成部２７から出力させる一方で、２次元画像再生モードが選択されてい
る場合は、そのような立体視画像化処理が施されていないビデオデータを出力させる。こ
のように、１つのビデオコンテンツデータにビデオデータとそのビデオデータを立体視画
像化するための立体視化パラメータとを個別に内包させ、必要に応じて立体視化パラメー
タを利用して立体視化再生するようにしたため、立体視画像と２次元画像とを任意に切り
替えて容易に再生することができる。
また、上述の立体視化パラメータは、バイナリーデータに変換された後、１ビットのバ
イナリーデータを９つの画素で各々表すバーコード画像としてサブピクチャデータに埋め
込まれる。そして、立体視画像再生装置は、このバーコード画像を光学的に読み取り、読
み取ったバーコード画像から立体視化パラメータを復元する。これにより、ビデオデータ
の立体視画像化を実現するための立体視化パラメータを極めて正確に再現することができ
る。
更に、立体視化パラメータ埋込装置は、サブピクチャデータにバーコード画像データを
を埋め込む都度、そのサブピクチャデータが内包する制御データから字幕文字を描画して
いる色と背景を描画している色とをそれぞれ特定し、制御データが指定している色の組み
合わせに従ってバーコード画像を埋め込む。このように、サブピクチャに描画される字幕
の色とバーコード画像の色とが常に一致するようにしたため、サブピクチャの字幕文字の
色が途中で変更になったために、バーコード画像の認識率が低下してしまうといった事態
を回避できる。

（他の実施形態）
本願に係る発明は、種々の変形実施が可能である。
上記実施形態では、ビデオデータが表すビデオ画像を解析して得られた立体視化パラメ
ータのバーコード画像データをサブピクチャデータに埋め込むようにしていたが、これを
ビデオデータ自体に埋め込んでもよい。このようにすることで、バーコード画像データか
ら復元された立体視化パラメータと、その立体視化パラメータを作用させるべきビデオデ
ータとのマッチングをより高精度に行なうことができる。このような変形例は、ＤＶＤの
ように数種のデータを多重的に記憶することが困難な規格の媒体、例えば、ビデオテープ
などにビデオコンテンツデータを記憶して流通させる場合にも応用することができる。こ
の種の媒体であっても、ビデオデータ自体にバーコード画像データを埋め込んで利用する
ようにすれば、上記実施形態と同様に立体視画像と２次元画像とを切り替えて再生するこ
とが可能となる。

上記実施形態では、生成されたビデオコンテンツデータをＤＶＤ媒体に埋め込んで流通
させていたが、そのような媒体を介在させることなく、生成したビデオコンテンツデータ
のファイルをネットワークを介して有料配信するようにしてもよい。

上記実施形態の立体視化パラメータ埋込装置は、専らハードウェアロジックによってビ
デオコンテンツデータの生成を行なっていたが、図１に示した時刻基準信号供給部１０、
ビデオデータ符号化部１１、オーディオデータ符号化部１２、パラメータ入力部１４、サ
ブピクチャデータ改変部１５、サブピクチャデータ符号化部１６、及び多重化部１７と同
等の機能を実現するための立体視化パラメータ埋込プログラムをパーソナルコンピュータ
に実装させることで、このパーソナルコンピュータのＣＰＵに、上記各部の振る舞いと同
様の処理を行わせるようにしてもよい。また、図５に示したデマルチプレクサ部２２、オ
ーディオデータデコード部２３、ビデオデータデコード部２４、再生方式切替部２５、立
体視化処理部２６、サブピクチャデータデコード部２８、立体視化パラメータ抽出部２９
、及び合成部２７と同等の機能を実現するための立体視画像再生プログラムをパーソナル
コンピュータに実装することで、そのパーソナルコンピュータのＣＰＵに、上記各部の振
る舞いと同様の処理を行わせるようにしてもよい。

ビデオコンテンツ生成工程にて、ビデオコンテンツデータをＤＶＤ媒体に記憶した後、
上記の立体視画像再生プログラムを更に記憶し、ＤＶＤ出荷工程では、ビデオコンテンツ
データと立体視画像再生プログラムが共に記憶されたＤＶＤ媒体を出荷するようにしても
よい。このようにすることで、立体視画像再生プログラムを予め実装していないパーソナ
ルコンピュータにかかるＤＶＤ媒体が挿入された場合でも、そのパーソナルコンピュータ
がＤＶＤ媒体から立体視画像再生プログラムを自動的に実装し、立体視画像モードでの再
生を行なえるようになる。

上記実施形態では、ＭＰＥＧなどのいわゆる動画像データに立体視画像化処理を施すケ
ースを説明したが、ＪＰＥＧ（Joint Photographic Experts Group）やＧＩＦ（Graphic
Interchange Format）といったような２次元の静止画像データを解析して立体視化パラメ
ータを求め、求めたパラメータを示すバーコード画像をその静止画像データに埋め込んで
おくことで、静止画像データの再生時に適宜立体視化処理を施すように構成してもよい。

立体視化パラメータ埋込装置のハードウェア概略構成図である。 サブピクチャデータ改変部のハードウェア構成図である。 バーコード画像が埋め込まれたサブピクチャを示す図である。 バーコード画像埋込部が実行する埋込を示すフローチャートである。 立体視画像再生装置のハードウェア概略構成図である。 立体視化パラメータ抽出部のハードウェア構成図である。 バーコード解析部によって行なわれる処理を示すフローチャートである。

符号の説明

１０…時刻基準信号供給部、１１…ビデオデータ符号化部、１２…オーディオデータ符号
化部、１３…パラメータ用メモリ、１４…パラメータ入力部、１５…サブピクチャデータ
改変部、１６…サブピクチャデータ符号化部、１７…多重化部、２０…ピックアップ部、
２１…復調／エラー訂正部、２２…デマルチプレクサ部、２３…オーディオデータデコー
ド部、２４…ビデオデータデコード部、２５…再生方式切替部、２６…立体視化処理部、
２７…合成部、２８…サブピクチャデータデコード部、２９…立体視化パラメータ抽出部

Claims (4)

1. 連続して再生される複数のビデオ画像データを記憶すると共に、ビデオ画像を立体視画
   像化するための立体視化パラメータを前記複数のビデオ画像データの各々と関連付けて記
   憶した記憶媒体において、
   前記立体視化パラメータは、バーコード画像データとして記憶されることを特徴とする記憶媒体。
2. 連続して再生される複数のビデオ画像データを記憶すると共に、前記複数のビデオ画像
   データの各々に合成されるべきサブピクチャデータを記憶した記憶媒体において、
   前記サブピクチャデータには、ビデオ画像を立体視画像化するための立体視化パラメータがバーコード画像データとして内包されることを特徴とする記憶媒体。
3. 請求項１又は２記載の記憶媒体において、
   前記ビデオ画像データに前記立体視化パラメータを作用させることで行なわれる立体視
   画像化処理をコンピュータ装置に実行させるためのプログラムを
   更に記憶した記憶媒体。
4. ２次元画像データを記憶すると共に、２次元画像を立体視画像化するための立体視化パ
   ラメータを前記２次元画像データと関連付けて記憶した記憶媒体において、
   前記立体視化パラメータは、バーコード画像データとして記憶されることを特徴とする記憶媒体。

Images