JP2012147160A - 立体画像処理装置 - Google Patents

Abstract

【課題】３Ｄ映像の奥行き感に合わせて字幕を表示することができる。
【解決手段】デマルチプレクサ部１１により映像ストリーム、字幕の符号化されたストリームを抽出し、映像デコード部１２により映像ストリームを複合し、左右の映像データを生成し、字幕デコード部１３により字幕ストリームを複合して文字列データや位置データを抽出し、映像視差抽出部１４により左映像データと右映像データとの比較を行い、その映像の視差量データを抽出し、字幕視差設定部１５により、映像の視差量データから映像中の人物像の奥行き方向の位置を判定し、該奥行き方向の位置に応じて字幕データの奥行き方向の位置を設定し、映像表示制御部１６により左右の映像データと字幕データとの重ね合わせを行い、生成された左右の映像データから３Ｄ映像を生成する。
【選択図】図１

Description

本発明は、３Ｄ映像を再生する場合でも、３Ｄ映像の奥行き感に合わせて字幕を表示することが可能な立体画像処理装置に関する。

従来、デジタル放送での字幕サービスにあっては、ＡＲＩＢ（Association of Radio Industries and Businesses，電波産業会）規格に基づいて放送されている地上デジタル放送やＢＳ/ＣＳデジタル放送において、字幕付きサービスが行われている。
テレビジョン受像機による字幕の表示では、表示位置を指定するためのパラメータを持っており、サービス(番組)によってはこの表示位置情報を使って画面内のキャラクタの位置に合わせた字幕表示を行うことがある。

ところで、３Ｄ放送については、３Ｄコンテンツの拡大により３Ｄテレビ受像機が普及し、これに伴って、デジタル放送での３Ｄ映像サービスが実施されつつある。
そして、３Ｄ映像サービスにおいても、画面内のキャラクタの位置に合わせて奥行き感のある字幕表示を行うことが要望されている。
しかしながら、現在のデジタル放送規格では、字幕情報に奥行方向の位置情報が含まれていないため、字幕は全てが常に同じ奥行位置として映像との重ね合わせが行われる。

特許文献１には、字幕データと距離パラメータとを多重化し、多重化されたデータストリームを伝送路またはメディアを介して復号システムに伝送しておき、立体表示装置において、字幕をユーザから所定の奥行き方向の距離にあるように表示する技術について開示されている。

特許文献２には、映像表示装置に表示される人物の口を検出し、人物の口の表示位置の情報を取得しておき、映像表示装置に表示される字幕を検出し、人物の口の表示位置の情報および字幕の表示位置の情報を用いて、人物の口から字幕を覆う吹き出し図形の映像信号を生成して表示する技術について開示されている。

特開２００４−２７４１２５号公報 特開２００８−２７８３８０号公報

しかしながら、３Ｄ映像サービスにおいて、字幕表示位置の調整によりキャラクタのセリフを表現する場合、これらの位置情報は画面内の水平位置と垂直位置のみであり、奥行きを表す情報を持っていなかった。
このため、近年台頭してきたＡＲＩＢ規格に基づいた３Ｄ放送サービスにあっては、図８に示すように、それぞれのキャラクタＰ１，Ｐ２が有する奥行き感と、表示される字幕Ｊ１，Ｊ２の奥行き感とが合わないため、視認上の違和感が生じるといった問題があった。
上記問題を解決するために、３Ｄコンテンツを作成する段階で、字幕を映像に直接埋め込むことで字幕の奥行き感を実現することが考えられるが、この場合、字幕が不要なユーザにまで常に字幕を表示した状態でサービスが提供されてしまうといった問題があった。

そこで、３Ｄ映像を再生する場合でも、３Ｄ映像の奥行き感に合わせて字幕を表示することが切望されている。
本発明は、３Ｄ映像を再生する場合でも、３Ｄ映像の奥行き感に合わせて字幕を表示することが可能な立体画像処理装置を提供することを目的とする。

上記課題を解決するたに、請求項１記載の発明は、立体映像情報の再生時に、前記立体映像情報に字幕情報を付加して表示する立体画像処理装置であって、立体映像情報に含まれる左映像と右映像を比較して映像の視差量を抽出する映像視差抽出手段と、前記抽出された映像の視差量から映像中の人物像の奥行き方向の位置を判定し、該奥行き方向の位置に応じて字幕情報の奥行き方向の位置を設定する字幕視差設定手段と、を備えたことを特徴とする。

本発明によれば、３Ｄ映像を再生する場合でも、３Ｄ映像の奥行き感に合わせて字幕を表示することができる。

本発明の第１実施形態に係る立体画像処理装置の構成について説明するためのブロック図である。 図１に示す映像デコード部１２により生成されたサイドバイサイド方式の左映像データ２１Ｌと右映像データ２１Ｒとを示す図である。 図１に示す映像視差抽出部１４により抽出された視差量データの分布を示す図である。 本発明の第１実施形態に係る立体画像処理装置により出力される３Ｄ映像を示す図である。 本発明の第２実施形態に係る立体画像処理装置の字幕視差設定部１５により処理される視差量データの分布グラフＣ１（ａ）と、平均化処理を施した後の分布グラフＣ２（ｂ）とを示す図である。 本発明の第５実施形態に係る立体画像処理装置の構成について説明するためのブロック図である。 本発明の第６実施形態に係る立体画像処理装置の構成について説明するためのブロック図である。 従来の立体画像処理装置により出力される３Ｄ映像を示す図である。

以下に、本発明の実施形態について図面を参照して説明する。
＜第１実施形態＞
図１を参照して、本発明の第１実施形態に係る立体画像処理装置の構成について説明する。
図１に示す立体画像処理装置は、デマルチプレクサ部１１、映像デコード部１２、字幕デコード部１３、映像視差抽出部１４、字幕視差設定部１５、映像表示制御部１６を備えている。
デマルチプレクサ部１１は、テレビジョン受信部（図示しない）またはＤＶＤ駆動部（図示しない）からＡＲＩＢ規格に基づいたストリームが入力されており、受信したストリームから映像ストリーム、音声ストリーム、字幕の符号化されたストリームを抽出する。なお、第１実施形態においては、上記音声ストリームについては直接の関係がないのでその詳細な説明を省略する。

映像デコード部１２は、符号化された映像ストリームを複合し、生のサイドバイサイド方式の左右の映像データを生成する。
字幕デコード部１３は、符号化された字幕ストリームを複合し、字幕データをなす表示する文字列データや位置データ（画面内の水平位置と垂直位置）を抽出し、字幕データとして出力する。
映像視差抽出部１４は、生のサイドバイサイド方式の左右の映像データについて、左映像データと右映像データとの比較を行い、その映像の視差量データを抽出する。

字幕視差設定部１５は、映像の視差量データから映像中の人物像の奥行き方向の位置を判定し、該奥行き方向の位置に応じて字幕データの奥行き方向の位置を視差調整して字幕データの奥行き方向の位置として設定し、設定後の字幕データ（文字列データや位置データ（画面内の水平位置、垂直位置、奥行き方向の位置））を出力する。
すなわち、字幕視差設定部１５は、映像中の人物像の奥行き方向の位置に応じて、字幕データの奥行き方向の位置が人物像の奥行き方向の位置と同程度になるように視差調整して字幕データの奥行き方向の位置として設定し、設定後の字幕データ（文字列データや位置データ（画面内の水平位置、垂直位置、奥行き方向の位置））を出力する。

映像表示制御部１６は、デコードされたサイドバイサイド方式の左右の映像データと、設定後の字幕データとの重ね合わせを行い、サイドバイサイド方式の左右の映像データを生成し、次に、生成されたサイドバイサイド方式の左右の映像データからラインバイライン方式の３Ｄ映像を生成してモニタ（図示しない）に出力し、３Ｄ映像をモニタから表示させる。

ここで、図１に示す立体画像処理装置の動作について説明する。
デマルチプレクサ部１１では、テレビジョン受信部（図示しない）またはＤＶＤ駆動部（図示しない）から受信したストリームから映像ストリーム、音声ストリーム、字幕の符号化されたストリームを抽出する。次いで、映像デコード部１２は、符号化された映像ストリームを複合し、生のサイドバイサイド方式の左右の映像データを生成する。次いで、字幕デコード部１３は、符号化された字幕ストリームを複合し、字幕データをなす文字列データや位置データ（画面内の水平位置と垂直位置）を抽出し、字幕データとして出力する。
ここで、例えば、映像デコード部１２により生成された生のサイドバイサイド方式の左右の映像データとして、図２に示すような左映像データ２１Ｌと右映像データ２１Ｒとが、映像視差抽出部１４に入力される。図２において、人物像Ｐ１が画面手前に、人物像Ｐ２が画面奥にそれぞれ示されている。

映像視差抽出部１４は、生のサイドバイサイド方式の左右の映像データについて、左映像データと右映像データとの比較を行い、その映像の視差量データを抽出する。
この結果、図２に示すような左映像データ２１Ｌと右映像データ２１Ｒとが映像視差抽出部１４に入力されると、図３に示すような視差量データの分布が抽出される。
なお、図３は、図２に示す左映像データ２１Ｌ上の「Ａ」点と右映像データ２１Ｒ上の「Ａ」点がなすＡ−Ａ線（図示しない）上の視差量データの分布である。図３は、縦軸区を奥行き方向に設定しており、人物像Ｐ１の領域、人物像Ｐ２の領域がそれぞれ示されている。

次いで、字幕視差設定部１５は、デコードされた字幕の位置データ（水平位置と垂直位置）に対応する、映像の視差量データから映像中の人物像の奥行き方向の位置を判定し、該奥行き方向の位置に応じて字幕データの奥行き方向の位置を視差調整して字幕データの奥行き方向の位置として設定し、設定後の字幕データ（文字列データや位置データ（画面内の水平位置、垂直位置、奥行き方向の位置））を出力する。
ここで、図３に示すように、字幕視差設定部１５では、デコードされた字幕の位置データにより字幕の水平方向の位置（Ｘ）が設定され、さらに、映像の視差量データから、人物像Ｐ１、人物像Ｐ２に対して表示される字幕Ｊ１，Ｊ２の奥行き方向の位置（シフト量とシフト方向）がそれぞれ設定される。

次いで、映像表示制御部１６は、デコードされたサイドバイサイド方式の左右の映像データと、設定後の字幕データとの重ね合わせをそれぞれ行い、サイドバイサイド方式の左右の映像データを生成し、次に、生成されたサイドバイサイド方式の左右の映像データからラインバイライン方式の３Ｄ映像を生成してモニタに出力し、図４に示すような３Ｄ映像がモニタから表示させる。なお、図４においては、字幕Ｊ１，Ｊ２についての背景色が淡いほど近くに、濃いほど遠くに視認されるように表現している。
この結果、３Ｄ映像を再生する段階で、３Ｄ映像の奥行き感に合わせて字幕を表示することができる。

＜第２実施形態＞
次に、本発明の第２実施形態に係る立体画像処理装置の構成について説明する。なお、第２実施形態は、第１実施形態と同様に図１に適用して説明することとする。第２実施形態の特徴は、第１実施形態に用いた字幕視差設定部１５での処理内容を変更したことにある。
ここで、第２実施形態の特徴である字幕視差設定部１５の説明に先だって、上述した映像視差抽出部１４の動作について説明する。

詳しくは、映像視差抽出部１４では、左映像データおよび右映像データをそれぞれ同一サイズ（例えば、８画素×８画素を１個のブロックとする）の複数のブロック（例えば、３２×３２個のブロックとする）に分割し、左映像データと右映像データとの対応するブロック同士を相対的にシフトして評価値の差分が最小となるシフト量を選択することで各ブロックにおける占有度の高いオブジェクト（人物像Ｐ１，Ｐ２）の水平視差ベクトル（水平視差のシフト量とシフト方向）を導出することが可能となる。

映像視差抽出部１４では、左映像データと右映像データとを所定サイズ、例えば、８×８画素といった複数のブロックに分割し、分割されたすべてのブロックに対して対応するブロック同士を抽出して比較する。
映像視差抽出部１４では、分割された複数のブロック毎にシフト量とシフト方向とが異なる場合、その平均値、最小値または最大値のいずれかを水平視差ベクトルとする。
なお、第２実施形態において説明した水平視差ベクトルは、第１実施形態において説明した視差量に相当するものである。図３に示す視差量データの分布は、分割された複数のブロック毎にシフト量平均値を視差量データとして示している。

映像視差抽出部１４では、抽出した左右一対のブロックの一方のブロックに対して他方のブロックを水平方向に相対的に所定画素分（例えば、３０画素分程度）段階的にシフトし、両ブロックの重畳部分の中央領域における評価値の差分を求める。そして、その評価値が最小となる状態、例えば、シフト量（ｎ画素）とシフト方向（右）とが水平視差ベクトルとなる。ここでは、左映像のブロックに対して右映像のブロックをシフトしたが左映像および右映像のいずれのブロックを基準として他方をシフトしてもよい。

字幕視差設定部１５は、デコードされた字幕の位置データにより示される位置領域に対応する、映像の視差量データの分布領域について平均化後の分布グラフＣ２から、映像中の人物像の奥行き方向の位置を判定し、該奥行き方向の位置（シフト量とシフト方向）に応じて字幕データの奥行き方向の位置を視差調整して字幕データの奥行き方向の位置（シフト量とシフト方向）として設定し、設定後の字幕データ（文字列データや位置データ（画面内の水平位置、垂直位置、奥行き方向の位置））を出力する。
ここで、図５（ｂ）に示すように、デコードされた字幕の位置データにより字幕の水平方向の位置（Ｘ）が設定され、さらに、映像の視差量データの平均化後の分布グラフＣ２から、人物像Ｐ１、人物像Ｐ２に対して表示される字幕Ｊ１，Ｊ２の奥行き方向の位置（シフト量とシフト方向）がそれぞれ設定される。

次に、第２実施形態に係る立体画像処理装置の字幕視差設定部１５の動作について説明する。
映像内の視差量データの全体分布データを生成するには、字幕視差設定部１５において、視差量データをそのまま抽出ブロツクサイズごとに分布させ、視差量データを抽出した後に、上下左右ブロック間のタップ数を用いて平均化すればよい。例えば、図５（ａ）に示すように、視差量データの分布グラフＣ１を抽出した後に、上下左右ブロック間のタップ数を用いて平均化すれば、図５（ｂ）に示すように平均化後の分布グラフＣ２が求まる。

次いで、字幕視差設定部１５は、デコードされた字幕の位置データに対応する、映像の視差量データの分布について平均化後の分布グラフＣ２から、映像中の人物像の奥行き方向の位置を判定し、該奥行き方向の位置に応じて字幕データの奥行き方向の位置を視差調整して字幕データの奥行き方向の位置として設定し、設定後の字幕データ（文字列データや位置データ（画面内の水平位置、垂直位置、奥行き方向の位置））を出力する。
ここで、図５（ｂ）に示すように、デコードされた字幕の位置データにより字幕の水平方向の位置（Ｘ）が設定され、さらに、映像の視差量データの平均化後の分布グラフＣ２から、人物像Ｐ１、人物像Ｐ２に対して表示される字幕Ｊ１，Ｊ２の奥行き方向の位置（シフト量とシフト方向）がそれぞれ設定される。
このように、映像の視差量データを平均化した後の分布グラフＣ２に基づいて、映像中の人物像の奥行き方向の位置を判定することで、字幕の奥行き方向の位置の誤判定を防止することができ、さらに誤判定による後設定を防止することができる。

＜第３実施形態＞
次に、本発明の第３実施形態に係る立体画像処理装置の構成について説明する。なお、第３実施形態は、第２実施形態と同様に図１に適用して説明することとする。第３実施形態の特徴は、第２実施形態に用いた字幕視差設定部１５での処理内容を変更したことにある。
本実施形態に係る立体画像処理装置の字幕視差設定部１５の動作について説明する。
字幕視差設定部１５において、デコードされた字幕の位置データで示される表示領域内にある映像の視差量データの分布について、奥行き方向で最も手前にくる値を、映像中の人物像の奥行き方向の位置として判定し、該奥行き方向の位置に応じて字幕データの奥行き方向の位置を視差調整して字幕データの奥行き方向の位置として設定し、設定後の字幕データ（文字列データや位置データ（画面内の水平位置、垂直位置、奥行き方向の位置））を出力する。

ここで、図３（ｂ）に示すように、デコードされた字幕の位置データにより字幕の水平方向の位置（Ｘ）が設定され、さらに、字幕の位置データで示される表示領域内にある映像の視差量データの最も手前にくる値から、人物像Ｐ１、人物像Ｐ２に対して表示される字幕Ｊ１，Ｊ２の奥行き方向の位置（シフト量とシフト方向）がそれぞれ設定される。
このように、字幕の位置データで示される表示領域内にある映像の視差量データの分布について、奥行き方向で最も手前にくる値から、字幕の奥行き方向の位置を設定することで、キャラクタに関する最も手前にくる奥行き方向の位置に字幕の奥行き方向の位置を合わせることができる。

＜第４実施形態＞
次に、本発明の第４実施形態に係る立体画像処理装置の構成について説明する。なお、第４実施形態は、第２実施形態と同様に図１に適用して説明することとする。第４実施形態の特徴は、第２実施形態に用いた字幕視差設定部１５での処理内容を変更したことにある。
本実施形態に係る立体画像処理装置の字幕視差設定部１５の動作について説明する。
字幕視差設定部１５において、デコードされた字幕の位置データで示される表示領域内にある映像の視差量データの分布について、平均化した後の分布グラフから奥行き方向の位置を判定し、該奥行き方向の位置に応じて字幕データの奥行き方向の位置を視差調整して字幕データの奥行き方向の位置として設定し、設定後の字幕データ（文字列データや位置データ（画面内の水平位置、垂直位置、奥行き方向の位置））を出力する。
なお、上記平均化については、字幕データで示される表示領域内に対応する映像の視差量データの分布に対して、水平方向および垂直方向において画素数分の平均を算出することで、平均値を求めることができる。

ここで、図５（ｂ）に示すように、デコードされた字幕の位置データにより字幕の水平方向の位置（Ｘ）が設定され、さらに、字幕の位置データで示される表示領域内に対応する映像の視差量データの平均化後の分布グラフＣ２から、人物像Ｐ１、人物像Ｐ２に対して表示される字幕Ｊ１，Ｊ２の奥行き方向の位置（シフト量とシフト方向）がそれぞれ設定される。
このように、字幕の位置データで示される表示領域内にある映像の視差量データを平均化した後の分布グラフＣ２に基づいて、字幕の奥行き方向の位置を判定することで、字幕の奥行き方向の位置の誤判定を防止することができ、さらに誤判定による後設定を防止することができる。

＜第５実施形態＞
次に、図６を参照して、本発明の第５実施形態に係る立体画像処理装置の構成について説明する。なお、第５実施形態の特徴は、映像解析部１７、字幕視差設定部１８を備えたことにある。また、図１に示す構成と同一符号を有する図６に示す構成については、第１実施形態と同様であるので、その説明を省略する。
映像解析部１７は、復号された映像データのうち、１フレーム分の静止画像を示す映像データを定期的に取得して解析することにより、モニタに表示される人物像の口部分を検出するとともに、この人物像の口部分の表示位置データを取得する。即ち、映像データ（即ち、動画用フレームメモリに書き込まれる輝度信号と色差信号）によって示される１フレーム分の静止画像に対して、パターンマッチング等の画像処理を行うことによって映像データを解析し、モニタに表示される人物像の口部分を定期的に検出する。

そして、映像解析部１７は、検出された人物像の口部分の情報（即ち、検出された人物像の口部分の表示位置の情報や、検出された人物像の口部分の数や、検出された人物像の口部分の特徴に関する情報等）を取得し、これらの情報を字幕視差設定部１８へ出力する。なお、本実施形態においては、映像解析部１７は、モニタに表示される人物像の口部分を検出して、検出された人物像の口部分の情報を取得しているが、モニタに表示される顔や頭等の人物の一部を検出して、検出された顔や頭等の人物像の一部の情報を取得するようにしてもよい。

字幕視差設定部１８は、字幕デコード部１３によりデコードされた字幕のテキストデータと、映像解析部１７により検出された人物像の口部分の位置データに対応する、映像の視差量データの分布から、人物像の口部分の位置の奥行き方向の位置を判定し、該奥行き方向の位置に応じて字幕データの奥行き方向の位置を視差調整して字幕データの奥行き方向の位置として設定し、設定後の字幕データ（文字列データや位置データ（画面内の水平位置、垂直位置、奥行き方向の位置））を出力する。

ここで、図６に示す立体画像処理装置の動作について説明する。
映像解析部１７は、復号された映像データのうち、１フレーム分の静止画像を示す映像データを解析することにより、モニタに表示される人物像の口部分を検出するとともに、この人物像の口部分の表示位置データを取得する。
字幕視差設定部１８は、字幕デコード部１３によりデコードされた字幕のテキストデータと、映像解析部１７により検出された人物像の口部分の位置データに対応する、映像の視差量データの分布から、人物像の口部分の位置の奥行き方向の位置を判定し、該奥行き方向の位置に応じて字幕データの奥行き方向の位置を視差調整して字幕データの奥行き方向の位置として設定し、設定後の字幕データ（文字列データや位置データ（画面内の水平位置、垂直位置、奥行き方向の位置））を出力する。
ここで、字幕視差設定部１８により、人物像の口部分の位置データに対応する、映像の視差量データの分布に基づいて、人物像の口部分の位置の近傍に表示すべき字幕の奥行き方向の位置を判定して字幕自体の奥行き方向の位置を設定され、人物像の口部分の位置に表示すべき字幕データが出力される。

次いで、映像表示制御部１６は、デコードされたサイドバイサイド方式の左右の映像データと、設定後の字幕データとの重ね合わせを行い、サイドバイサイド方式の左右の映像データを生成し、次に、生成されたサイドバイサイド方式の左右の映像データからラインバイライン方式の３Ｄ映像を生成してモニタに出力し、図４に示すような３Ｄ映像がモニタから表示させる。
この結果、３Ｄ映像を再生する段階で、３Ｄ映像の人物像の奥行き感に合わせて人物像の口部分の位置に字幕を表示することができる。

＜第６実施形態＞
次に、図７を参照して、本発明の第６実施形態に係る立体画像処理装置の構成について説明する。なお、第６実施形態の特徴は、音声認識部１９を備えたことにある。また、図６に示す構成と同一符号を有する図７に示す構成については、第５実施形態と同様であるので、その説明を省略する。
音声認識部１９は、符号化された音声ストリームを複合して音声データを生成し、さらに、音データから音声を認識し音声のテキストデータを生成する。

ここで、図６に示す立体画像処理装置の動作について説明する。
字幕視差設定部１８は、音声認識部１９により音声認識された発話者の音声のテキストデータと、映像解析部１７により検出された人物像の口部分の位置データに対応する、映像の視差量データの分布から、人物像の口部分の位置の奥行き方向の位置を判定し、該奥行き方向の位置に応じて字幕データの奥行き方向の位置を視差調整して字幕データの奥行き方向の位置として設定し、設定後の字幕データ（文字列データや位置データ（画面内の水平位置、垂直位置、奥行き方向の位置））を出力する。
なお、字幕視差設定部１８では、文字列データや位置データ（画面内の水平位置、垂直位置、奥行き方向の位置）を有する字幕データを出力しているが、上記文字列データや位置データを有する吹出枠データを生成して出力してもよい。

次いで、映像表示制御部１６は、デコードされたサイドバイサイド方式の左右の映像データと、設定後の字幕データとの重ね合わせを行い、サイドバイサイド方式の左右の映像データを生成し、次に、生成されたサイドバイサイド方式の左右の映像データからラインバイライン方式の３Ｄ映像を生成してモニタに出力し、図４に示すような３Ｄ映像がモニタから表示させる。
この結果、３Ｄ映像を再生する段階で、３Ｄ映像の人物像の奥行き感に合わせて人物像の口部分の位置に字幕を表示することができる。

＜その他の実施形態１＞
上記第１〜第６実施形態においては、映像デコード部１２から出力される左右の映像データとして、サイドバイサイド方式の左右の映像データのみが記載されていますが、本発明の実施形態はこのような方式に限定されることなく、右目と左目の映像データを個別に参照できる方式であればよく、例えば、トップアンドボトム方式、Blue-Rayに利用されているマルチビュービデオコーディングであればよい。

＜その他の実施形態２＞
上記第１〜第６実施形態においては、モニタに出力される３Ｄ映像として、映像表示制御部１６ではラインバイライン方式への変換のみが記載されていますが、本発明の実施形態はこのような方式に限定されることなく、フレームシーケンシャル方式、チェツカーサンプリング方式であればよい。

本発明は、テレビジョン受信機、ＤＶＤプレイヤ、パーソナルコンピュータ等を用いて立体映像情報を再生することに利用できる。

１１ デマルチプレクサ部
１２ 映像デコード部
１３ 字幕デコード部
１４ 映像視差抽出部
１５ 字幕視差設定部
１６ 映像表示制御部
１７ 映像解析部
１８ 字幕視差設定部
１９ 音声認識部
２１Ｌ 左映像データ
２１Ｒ 右映像データ

Claims (6)

1. 立体映像情報の再生時に、前記立体映像情報に字幕情報を付加して表示する立体画像処理装置であって、
   立体映像情報に含まれる左映像と右映像を比較して映像の視差量を抽出する映像視差抽出手段と、
   前記抽出された映像の視差量から映像中の人物像の奥行き方向の位置を判定し、該奥行き方向の位置に応じて字幕情報の奥行き方向の位置を設定する字幕視差設定手段と、を備えたことを特徴とする立体画像処理装置。
2. 前記字幕視差設定手段は、前記視差量に関する上下左右ブロック間で平均化した後のグラフから、人物像の奥行き方向の位置を判定する、ことを特徴とする請求項１記載の立体画像処理装置。
3. 前記字幕視差設定手段は、字幕情報の位置情報で示される表示領域内にある映像の視差量について、奥行き方向で最も手前にくる値を、字幕の奥行き方向の位置として判定する、ことを特徴とする請求項１記載の立体画像処理装置。
4. 前記字幕視差設定手段は、前記字幕情報の位置情報で示される表示領域内にある映像の視差量について、平均化した後の部分から奥行き方向の位置を判定する、ことを特徴とする請求項１記載の立体画像処理装置。
5. 前記映像情報を解析して人物像の口部分を検出し、該人物像の口部分の水平位置情報および垂直位置情報を取得する映像解析手段を備え、
   前記字幕視差設定手段は、前記人物像の口部分の水平位置情報および垂直位置情報に対応する、映像の視差量の部分から、前記人物像の口部分の位置の奥行き方向の位置を判定する、ことを特徴とする請求項１記載の立体画像処理装置。
6. 前記立体映像情報とともに入力される音声情報に対して音声認識処理を施してテキスト情報を取得する音声認識手段を備え、
   前記字幕視差設定手段は、前記映像解析手段により検出された人物像の口部分の水平位置情報および垂直位置情報に対応する、映像の視差量から人物像の口部分の位置の奥行き方向の位置を判定し、該奥行き方向の位置に応じて字幕情報の奥行き方向の位置を設定し、前記音声認識手段により取得された発話者の音声に関する文字列を、設定後の字幕情報として出力する、ことを特徴とする請求項５記載の立体画像処理装置。

Images