JP2012141448A - 画像処理装置及び表示制御方法 - Google Patents

Abstract

【課題】映像コンテンツの音声に応じて好適な文字画像を表示することを可能とする画像処理装置及び表示制御方法の提供。
【解決手段】実施形態に係る画像処理装置は、受信手段と、出力手段とを備える。ここで受信手段は、文字画像を含む映像データと、当該映像データに対応する音声データとを受信する。そして出力手段は、受信された前記文字画像に基づいた、受信された前記音声データの音量レベルに応じた視差の第１及び第２画像を表示装置に出力する。また、実施形態に係る表示制御方法は、文字画像を含む映像データと、当該映像データに対応する音声データとを受信することと、前記文字画像に基づいた、受信された前記音声データの音量レベルに応じた視差の第１及び第２画像を表示装置に出力することとを備える。
【選択図】 図３

Description

本発明の実施形態は、画像処理装置及び表示制御方法に関する。

互いに視差のある右目用画像及び左目用画像を表示することにより、ユーザに対して３次元映像を知覚させる技術がある。この技術では、表示画面に設けられたバリアやレンズ、又はユーザが着用した３次元映像視聴用メガネ等が、表示画面に表示された右目用画像及び左目用画像を選択的に遮断する。これにより、ユーザの右目は右目用画像を、左目は左目用画像を選択的に視聴することとなり、ユーザは３次元映像を認識する。

特開平１１−２８９５５５号公報

ところで、映像コンテンツにおいては、字幕領域に台詞やナレーション等の字幕が、映像領域に効果音の文字等が表示される場合がある。この場合に表示装置は、これらの文字画像を、映像コンテンツの音声に応じて好適な態様で表示できることが好ましい。

そこで本発明の実施形態は、映像コンテンツの音声に応じて好適な文字画像を表示することを可能とする画像処理装置及び表示制御方法の提供を目的とする。

上記の課題を解決するために、実施形態に係る画像処理装置は、受信手段と、出力手段とを備える。ここで受信手段は、文字画像を含む映像データと、当該映像データに対応する音声データとを受信する。そして出力手段は、前記受信手段により受信された前記文字画像に基づいた、受信された前記音声データの音量レベルに応じた視差の第１及び第２画像を表示装置に出力する。

実施形態のコンピュータの利用形態例を示す図。 実施形態のコンピュータのシステム構成例を示す図。 実施形態の映像再生プログラムの機能ブロック例を示す図。 実施形態のコンピュータによる音量判定に係る処理例を示す図。 実施形態のコンピュータによる文字画像の変換処理例を示す図。 実施形態のコンピュータによる文字画像の変換処理フロー例を示す図。

以下、図面を参照して実施形態を説明する。
本実施形態に係る表示装置は、例えばノートブックタイプのコンピュータ１００として実現される。ここでコンピュータ１００は、表示筐体１５０と本体筐体１６０とを備える。

表示筐体１５０は、薄い箱型の筐体を有し、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）１０６を備える。そして表示筐体１５０は、本体筐体１６０に対して回動可能に接続されている。

本体筐体１６０は、薄い箱形の筐体を有している。そして本体筐体１６０の上面には、スピーカ１１４、キーボード１１８、タッチパッド１１９等が配置されている。また本体筐体１６０は、映像データを記憶するＨＤＤ１１０、光学ディスク等のメディアからデータを読み込むためのＯＤＤ１１２、テレビ放送等の映像データを受信するチューナ１１５等を備えている。

コンピュータ１００は、例えばＯＤＤ１１２が読み込んだ映像データやチューナ１１５が受信した映像データに基づいて、例えば画面１０のような映像の画面をＬＣＤ１０６に表示する。ここで画面１０には、主画像１１及び文字画像１２が表示される。ここでコンピュータ１００は、当該主画像１１及び文字画像１２を２次元映像や３次元映像として表示することができる。

そして本実施形態のコンピュータ１００は、映像コンテンツの音声に応じて、文字画像を表示する奥行き位置（深さ）や、当該文字画像のサイズ（解像度）等を制御できる。

次に図２を参照して、コンピュータ１００のシステム構成例を説明する。
コンピュータ１００は、ＣＰＵ１０１、ノースブリッジ１０２、メモリ１０３、ＧＰＵ１０４、ＶＲＡＭ１０５、ＬＣＤ１０６、サウスブリッジ１０７、ＢＩＯＳ―ＲＯＭ１０８、ＬＡＮコントローラ１０９、ＨＤＤ１１０、ＯＤＤ１１２、サウンドコントローラ１１３、スピーカ１１４、チューナ１１５、ＩＥＥＥ１３９４コントローラ１１６、ＥＣ／ＫＢＣ１１７、キーボード１１８、タッチパッド１１９等を備える。

ＣＰＵ１０１は、コンピュータ１００の動作を制御する機能を有する。ここでＣＰＵ１０１は、オペレーティングシステム（ＯＳ）１３０、映像再生プログラム１４０等の各種プログラムをメモリ１０３に読み出して実行する。なお映像再生プログラム１４０の詳細については図３乃至図６を参照して後述する。

ノースブリッジ１０２は、ＣＰＵ１０１とサウスブリッジ１０７とを接続するブリッジデバイスである。また、ノースブリッジ１０２には、メモリ１０３を制御するメモリコントローラが内蔵されている。さらにノースブリッジ１０２はＧＰＵ１０４との通信機能を有し、ＣＰＵ１０１からの指示に応じた画像処理をＧＰＵ１０４に実行させる。

ＧＰＵ１０４は、コンピュータ１００の表示部であるＬＣＤ１０６の表示コントローラとして動作する。ＧＰＵ１０４は、ＣＰＵ１０１から入力された映像データを、ＬＣＤ１０６等の表示装置で表示可能な形式の映像信号に変換して、当該映像信号をＬＣＤ１０６に出力する。ここでＶＲＡＭ１０５はＧＰＵ１０４のグラフィックメモリとして機能し、ＧＰＵ１０４が画像処理を実行する際のバッファ領域として使用される。そしてＬＤＣ１０６は、ＧＰＵ１０４からの出力された映像信号に従って映像を表示する。

サウスブリッジ１０７は、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス上の各デバイスおよびＬＰＣ（Ｌｏｗ Ｐｉｎ Ｃｏｕｎｔ）バス上の各種デバイスの制御部として機能する。またサウスブリッジ１０７には、ＢＩＯＳ−ＲＯＭ１０８、ＬＡＮコントローラ１０９、ＨＤＤ１１０、ＯＤＤ１１２が接続される。そしてサウスブリッジ１０７は、ＨＤＤ１１０及びＯＤＤ１１２を制御するＩＤＥ（Ｉｎｔｅｇｒａｔｅｄ Ｄｒｉｖｅ Ｅｌｅｃｔｒｏｎｉｃｓ）コントローラを内蔵している。さらにサウスブリッジ１０７は、サウンドコントローラ１１３との通信機能も有している。

ＢＩＯＳ−ＲＯＭ１０８は、コンピュータ１００のハードウェアを制御するためのプログラムであるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）を格納する。

ＬＡＮコントローラ１０９は、コンピュータ１００とＬＡＮネットワークとの通信接続を制御する。また、ＬＡＮコントローラ１０９は、ＬＡＮネットワークを介してインターネットへの接続も行う。更にＬＡＮコントローラ１０９は、ＬＡＮネットワークを介してＩＰテレビ等の映像データを受信してもよい。

ＨＤＤ１１０は、オペレーティングシステム（ＯＳ）１３０や、映像再生プログラム１４０等の各種プログラムを記憶する記憶媒体である。またＨＤＤ１１０は、チューナ１１５が受信したテレビ放送の映像データ及び音声データを録画する場合に、当該データを記憶する記憶領域として利用される。

ＯＤＤ１１２は、ＤＶＤ等の光学ディスクから対するデータの読み込み／書き込みを行う。ここでＯＤＤ１１２は、例えば映像データを読み込む。
サウンドコントローラ１１３は音源デバイスであり、再生対象の音声データの信号をスピーカ１１４に出力する。そしてスピーカ１１４は、入力された音声信号の音声を出力する

チューナ１１５及びＩＥＥＥ１３９４コントローラ１１６は、ＰＣＩバスを介してサウスブリッジ１０７に接続される。ここでチューナ１１５は、テレビ放送信号に重畳された映像データ及び音声データを受信する。なおチューナ１１５は、例えば２次元表示用の映像データ又は３次元表示用の映像データが重畳された映像データを受信する。なお、ここで３次元表示用の映像データとは、左目用画像と右目用画像とを含む映像データを指す。またＩＥＥＥ１３９４コントローラ１１６は、ＩＥＥＥ １３９４規格のシリアルバスを介して外部機器との通信を実行する。

ＥＣ／ＫＢＣ１１７は、ＬＰＣバスを介してサウスブリッジ１０７に接続される。ＥＣ／ＫＢＣ１１７は、キーボード１１８及びタッチパッド１１９を制御する。ここでキーボード１１８及びタッチパッド１１９は、ユーザからの各種操作入力を受け付ける。そしてＥＣ／ＫＢＣ１１７は、それらの操作入力信号をＣＰＵ１０１に出力する。

なおコンピュータ１００は、３次元映像の表示の際に例えばシャッター方式（時分割方式とも云う）を用いてもよい。シャッター方式の３次元映像表示では、左眼用画像と右眼用画像とが夫々交互にＬＣＤ１０６に表示される。そしてこのときＬＣＤ１０６は、例えば通常のリフレッシュレート（例えば６０Ｈｚ）の２倍のリフレッシュレート（例えば１２０Ｈｚ）で駆動される。つまり、左眼用画像のフレームデータと右眼用画像のフレームデータとは、例えば１２０Ｈｚのリフレッシュレートで交互にＬＣＤ１０６上に表示される。

そしてユーザは、例えば液晶シャッターメガネのような３次元映像視聴用メガネを装着して表示画面を視聴することで、左眼用フレームに対応する画像を左眼で、右眼用フレームに対応する画像を右眼で視聴し、３次元映像を視聴できる。なお液晶シャッターメガネは、左眼用フレームデータ及び右眼用フレームデータそれぞれの表示タイミングを示す同期信号をコンピュータ１００から受信し、当該同期信号に従って左眼用シャッター及び右眼用シャッターを開閉する。

また、コンピュータ１００は、３次元映像の表示には偏光方式を用いてもよい。この場合、例えば、左眼用画像と右眼用画像とが例えば走査線単位でインタリーブされたインタリーブフレーム群が生成され、これらインタリーブフレーム群がＬＣＤ１０６に表示される。ＬＣＤ１０６の画面を覆う偏向フィルタは、ＬＣＤ１０６の画面上の例えば奇数番目のライン群に表示される左眼用画像と偶数番目のライン群に表示される右眼用画像とを異なる方向に偏光させる。そしてユーザは、偏向メガネのような３次元映像視聴用メガネを用いることにより、左眼用画像を左眼で、右眼用画像を右眼で見ることができる。

更にコンピュータ１００は、バリア方式やレンズ方式の３次元映像を表示してもよい。この場合コンピュータ１００の表示画面にはバリアやレンズ等が設けられ、当該バリア又はレンズが左目用画像及び右目用画像を選択的に遮断することにより、ユーザは３次元映像視聴用メガネを着用することなく３次元映像を視聴することができる。

次に図３を参照して、映像再生プログラム１４０の機能ブロック例を説明する。
ここで映像再生プログラム１４０は、分離部１４１、音声デコード部１４２、音量判定部１４３、サブピクチャデコード部１４４、サブピクチャ変換部１４５、ビデオデコード部１４６、ビデオ変換部１４７、合成部１４８等を備える。

分離部１４１には、ＬＡＮコントローラ１０９、ＨＤＤ１１０、ＯＤＤ１１２、チューナ１１５等から、３次元表示用又は２次元表示用の映像コンテンツのデータが入力される。そして分離部１４２は、入力されたデータに含まれる、音声データと、字幕等のデータであるサブピクチャデータと、メイン画像のデータであるビデオデータとを分離する。そして分離部１４１は、音声データを音声デコード部１４２に、サブピクチャデータをサブピクチャデコード部１４４に、ビデオデータをビデオデコード部１４６に出力する。

音声デコード部１４２は、分離部１４１から入力された音声データのＥＳを、例えばＰＣＭ等のフォーマットの音声データにデコードする。そして音声デコード部１４２は、デコードした音声データをサウンドコントローラ１０７及び音量判定部１４３に出力する。

音量判定部１４３は、音声デコード部１４２から入力された音声データの音量レベルを判定する。そして音量判定部１４３は、音量レベルに関する音量情報をサブピクチャ変換部１４５に出力する。なお音量判定部１４３は、例えばサブピクチャデコード部１４４から入力される字幕時間情報に応じて、字幕が表示される区間に対応する区間における音量レベルを判定する。音量判定部１４３による音量レベル判定処理については図６を参照して後述する。

サブピクチャデコード部１４４は、分離部１４１から入力されたサブピクチャのＥＳをデコードして、当該デコードしたサブピクチャをサブピクチャ変換部１４５に出力する。またサブピクチャデコード部１４４は、サブピクチャのＥＳに含まれるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）等に基づいて、字幕が表示される時間（期間）を判定し、字幕が表示される時間についての字幕時間情報を音量判定部１４３に出力する。

サブピクチャ変換部１４５は、サブピクチャデコード部１４４から入力されたサブピクチャを３次元表示用のサブピクチャに変換する。ここでサブピクチャ変換部１４５は、音量判定部１４３から入力される音量レベル情報に応じた奥行き位置（深さ）になるようにサブピクチャを３次元変換する。つまり、例えば音量レベル情報が示す音量レベルが一定の閾値よりも大きい場合、サブピクチャ変換部１４５は、３次元表示された場合のサブピクチャの奥行き方向の位置（深さ）が、手前になるように当該サブピクチャを３次元変換する。

そしてサブピクチャ変換部１４５は、３次元変換した右目用及び左目用のサブピクチャを合成部１４８に出力する。
ビデオデコード部１４６は、分離部１４１から入力されたビデオのＥＳをデコードする。なお、ここでビデオデコード部１４６には、２次元表示用のデータが入力される場合と、３次元表示用のデータが入力される場合がある。そしてビデオデコード部１４６は、２次元表示用のデータが入力された場合には当該データをデコードしてビデオ変換部１４７に出力し、３次元表示用のデータが入力された場合には当該データのデコードデータを合成部１４８に出力する。

ビデオ変換部１４７は、デコードされた２次元表示用のビデオデータを用いて３次元表示用のビデオデータを生成する。ここでビデオ変換部１４７は、デコードされた２次元表示用のビデオデータのフレームの夫々を解析し、例えばフレーム間の画素の動きや同一フレーム内の画素値の差分等を用いることにより、各フレームに含まれる画素毎の奥行き位置を算出する。そしてビデオ変換部１４７は、フレーム毎に、推定した画素毎の奥行き位置に基づいた視差の左眼用画像データと右眼用画像データとを生成する。そしてビデオ変換部１４７は、生成した左眼用画像データと右眼用画像データとを含む３次元表示用ビデオデータを合成部１４８に出力する。

合成部１４８は、サブピクチャ変換部１４５から入力されたサブピクチャと、ビデオデコード部１４６又はビデオ変換部１４７から入力されたビデオとを重畳する。そして合成部１４８は、当該重畳させたデータをＧＰＵ１０４に出力する。

なおビデオ変換部１４７は、入力された２次元表示用ビデオデータを必ずしも３次元表示用のビデオデータに変換しなくとも良い。つまりコンピュータ１００は、主画像を２次元で表示し、字幕画像を３次元で表示しても良い。

次に図４を参照して、音量判定部１４３による音量レベル判定処理例を説明する。
音量判定部１４３は、サブピクチャデコード部１４４からの字幕時間情報に応じて音量レベルを判定する。
サブピクチャデコード部１４４は、サブピクチャをデコードして、サブピクチャのＥＳに含まれるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）、字幕表示停止情報、字幕位置情報等を抽出する。ここで、ＰＴＳはサブピクチャの表示を開始する時間についての情報であり、字幕表示停止情報は字幕の表示を停止する時間についての情報であり、字幕位置情報は字幕を表示する位置（座標）についての情報である。そしてサブピクチャデコード部１４４は、ＰＴＳや字幕表示停止情報等の字幕の表示時間に関する字幕時間情報を音量判定部１４３に出力する。

ここで、サブピクチャのＰＴＳが例えば時間６１０、時間６１１及び時間６１２を示し、字幕表示停止情報が例えば時間６２０を示しているとする。すると、字幕が表示される期間は、ＰＴＳが指定する時間６１０から次のＰＴＳが指定する時間６１１までの期間６３０と、ＰＴＳが指定する時間６１１から次のＰＴＳが指定する時間６１２までの期間６３１と、ＰＴＳが指定する時間６１２から字幕表示停止情報が指定する時間６２０までの期間６３２となる。

ゲージ６４０は、音声サンプル６４０１乃至６４０ｎの音量レベルの推移を示している。ここで音量判定部１４３は、例えば字幕表示期間毎に音量レベルの平均値を検出する。そして音量判定部１４３は、音量レベルを検出した区間の時間を示す時間情報と、検出した音量レベル情報とをサブピクチャ変換部１４５に出力する。つまり音量判定部１４３は、字幕のサブピクチャが表示される区間に対応する区間の音量レベルを、サブピクチャの表示区間毎に算出し、検出した音量レベルをサブピクチャ変換部１４５に出力する。そしてサブピクチャ変換部１４５は、サブピクチャに含まれる文字画像を、サブピクチャ毎に異なる奥行き位置（深さ）に表示されるように変換する。

なお、ここで音量判定部１４３は、必ずしも区間における音量レベルの平均値を検出しなくてもよく、少なくとも音量レベルについての情報を検出すればよい。つまり、音量判定部１４３は、例えば区間における音量レベルの最大値等を検出するものであってもよい。また音量判定部１４３は、音声データに含まれる音声のうち、人間の発声した声の成分を抽出して、当該抽出した音の成分の音量を検出してもよい。

また音量判定部１４３は、夫々のサブピクチャに対応する区間毎に当該区間の音量を算出してもよいし、あるいは１のサブピクチャに対応する区間を例えば一定長の複数区間に分割して、当該分割した区間毎に音量を検出してもよい。そして音量判定部１４３は、検出した音量レベルと、音量レベルを検出した時間区間についての時間情報をサブピクチャ変換部１４５に出力する。

次に図５を参照して、コンピュータ１００が表示する文字画像の表示例を説明する。
図５（Ａ）は、サブピクチャ変換部１４５が３次元変換する文字画像の奥行き位置（深さ）の例を示す図である。
サブピクチャ変換部１４５は、音量判定部１４３から音量レベル情報と、当該音量レベル情報についての時間情報とが入力されると、当該時間情報が示す時間に対応するサブピクチャを、音量レベル情報に応じた奥行き位置（深さ）に表示されるように変換する。

つまり、例えば入力された音量レベル情報が閾値Ｔｈ１よりも小さい値を示す場合、サブピクチャ変換部１４５は、当該音量レベル情報に対応する時間のサブピクチャを、ディスプレイ面よりも奥の位置（深い位置）にある表示面５２０に表示されるように３次元変換し、３次元の文字画像５２１を生成する。

また、音量レベル情報が閾値Ｔｈ２よりも大きな値を示す場合、サブピクチャ変換部１４５は、ディスプレイ面よりも手前の位置（浅い位置）にある表示面５３０に表示されるようにサブピクチャを変換し、文字画像５３１を生成する。そしてサブピクチャ変換部１４５は、音量レベル情報が閾値Ｔｈ１とＴｈ２との間の値を示す場合、ディスプレイ面に表示されるようにサブピクチャを変換する。

なおサブピクチャ変換部１４５は、サブピクチャに含まれる文字の画像を、サブピクチャを表示する深さに応じたサイズ（解像度）に変換しても良い。つまりサブピクチャ変換部１４５は、サブピクチャの文字画像を奥の位置（深い位置）に表示させる場合は小さなサイズに、手前の位置（浅い位置）に表示させる場合は大きなサイズに変換しても良い。

図５（Ｂ）及び（Ｃ）は、３次元変換により得られる右目用画像及び左目用画像の位置と、ユーザが知覚する３次元映像の奥行き位置（深さ）との関係を示す図である。

表示装置のディスプレイ面に、図５（Ｂ）に示す視差で左目用画像５３１と右目用画像５３２とが表示されると、ユーザの左眼５１及び右眼５２には、左目用画像５３１及び右目用画像５３２が表示面５２０の５３３に位置しているように見える。つまり、左目用画像と右眼用画像とが、ユーザの両目の間隔よりも狭い間隔で、左目用画像が右目用画像の左側に位置するように２次元表示用映像を変換することで、映像をディスプレイ面よりも奥の位置（深い位置）に表示することができる。そして奥行き方向の位置（深さ）は、左目用画像と右目用画像との視差が大きくなるほど深くなる。

また、表示装置のディスプレイ面に、図５（Ｃ）に示す視差で左目用画像５４１と右目用画像５４２とが表示されると、ユーザの左眼５１及び右眼５２には、左目用画像５４１及び右目用画像５４２が表示面５３０の５４３に位置しているように見える。つまり、左目用画像が右目用画像の右側に位置するように２次元表示用映像を変換することで、映像をディスプレイ面よりも奥の位置（深い位置）に表示することができる。そして奥行き方向の位置（深さ）は、左目用画像と右目用画像との視差が大きくなるほど手前の奥行き位置（浅い位置）になる。

即ちサブピクチャ変換部１４５は、音量判定部１４３から音量レベル情報と、当該音量レベル情報についての時間情報とが入力されると、当該時間情報が示す時間区間に対応するサブピクチャに含まれる文字画像を、音量レベル情報に応じた視差を持つ右目用の文字画像と左目用の文字画像とに変換する。

次に図６を参照して、コンピュータ１００による、文字画像の奥行き位置（深さ）の制御に係る処理フロー例を説明する。
まず映像再生プログラム１４０は、音声データ及びサブピクチャデータを含むデータを受信する（Ｓ６０１）。そして映像再生プログラム１４０は、受信された音声データの音量レベルを検出する（Ｓ６０２）。続いて映像再生プログラム１４０は、検出された音量が閾値Ｔｈ１以上であるかを判別する（Ｓ６０３）。ここで、音量が閾値Ｔｈ未満である場合（Ｓ６０３のＮｏ）、映像再生プログラム１４０はサブピクチャに含まれる文字画像を、ディスプレイ面よりも奥の位置（深い位置）である表示面５２０に表示されるように３次元変換し、ＬＣＤ１０６は当該変換された文字画像を表示する（Ｓ６０４）。

一方Ｓ６０３において音量が閾値Ｔｈ１以上である場合（Ｓ６０３のＹｅｓ）、次に映像再生プログラム１４０は、音量レベルが閾値Ｔｈ２以上であるか否かを判別する（Ｓ６０５）。ここで音量レベルが閾値Ｔｈ２以下である場合、映像再生プログラム１４０はサブピクチャに含まれる文字画像を３次元変換せずにＬＣＤ１０６に出力し、ＬＣＤ１０６は当該文字画像をディスプレイ面に表示する（Ｓ６０６）。

一方、Ｓ６０５において音量が閾値Ｔｈ２以上である場合（Ｓ６０５のＹｅｓ）、映像再生プログラム１４０はサブピクチャに含まれる文字画像を、ディスプレイ面よりも手前の位置（浅い位置）の表示面５３０に表示されるように３次元変換し、ＬＣＤ１０６は当該変換された文字画像を表示する（Ｓ６０７）。そして当該処理フローは完了する。

なお当該処理フローにおいて文字画像は、表示面５２０、ディスプレイ面、表示面５３０の何れかの奥行き位置（深さ）に表示されるとして説明したが、文字画像の表示される奥行き位置はこれに限るものではなく、少なくとも音量レベルに応じて奥行き位置が変化するように表示されればよい。つまり、例えば文字画像は音量レベルに応じて多段階の奥行き位置（深さ）の何れかに表示されても良い。また、映像再生プログラム１４０は、１のサブピクチャの文字画像を同じ奥行き位置（深さ）に変換し、他のサブピクチャの文字画像を音量レベルに応じて異なる奥行き位置に変換してもよいが、例えば１のサブピクチャの文字画像を、当該サブピクチャが表示される期間中の音量の変化に応じて表示深さが滑らかに変化するように変換してもよい。

また映像再生プログラム１４０は、例えば字幕やテロップ等の文字画像が主画像に埋め込まれている場合、当該埋め込まれた文字画像を抽出して、当該文字画像の奥行き位置を音量レベルに応じて制御してもよい。

そして本実施形態のコンピュータ１００によれば、映像コンテンツの音声に応じた好適な文字画像を表示することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１００…コンピュータ、１０１…ＣＰＵ、１０２…ノースブリッジ、１０３…主メモリ、１０４…ＧＰＵ、１０５…ＶＲＡＭ、１０６…ＬＣＤ、１０７…サウスブリッジ、１０８…ＢＩＯＳ−ＲＯＭ、１０９…ＬＡＮコントローラ、１１０…ＨＤＤ、１１２…ＯＤＤ、１１３…サウンドコントローラ、１１４…スピーカ、１１５…チューナ、１１６…ＩＥＥＥ１３９６コントローラ、１１７…ＥＣ／ＫＢＣ、１１８…キーボード、１１９…タッチパッド、１３０…ＯＳ、１４０…映像再生プログラム、１４１…分離部、１４２…音声デコード部、１４３…音量判定部、１４４…サブピクチャデコード部、１４５…サブピクチャ変換部、１４６…ビデオデコード部、１４７…ビデオ変換部、１４８…合成部

Claims (10)

1. 文字画像を含む映像データと、当該映像データに対応する音声データとを受信する受信手段と、
   受信された前記文字画像に基づいた、受信された前記音声データの音量レベルに応じた視差の第１及び第２画像を表示装置に出力する出力手段と
   を備える画像処理装置。
2. 前記出力手段は、前記音声データの、前記文字画像に対応する区間の音量レベルに応じた視差の前記第１及び第２画像を前記表示装置に出力する、請求項１記載の画像処理装置。
3. 前記出力手段は、前記音声データの音量レベルに応じたサイズの前記第１及び第２画像を前記表示装置に出力する、請求項１記載の画像処理装置。
4. 前記出力手段は、受信された前記音声データに含まれる声の成分の音量レベルに応じた視差の前記第１及び第２画像を前記表示装置に出力する、請求項１記載の画像処理装置。
5. 前記受信手段は、複数の前記文字画像を含む前記映像データを受信し、
   前記出力手段は、前記複数の文字画像の夫々に基づいた、当該複数の文字画像毎に異なる視差の前記第１及び第２画像を前記表示装置に出力する、請求項２記載の画像処理装置。
6. 前記出力手段は、１の前記文字画像に基づいた、当該１の文字画像に対応する区間の音量レベルの変化に応じて視差が変化する前記第１及び第２画像を前記表示装置に出力する、請求項２記載の画像処理装置。
7. 前記出力手段は、前記１の文字画像に基づいた、当該１の文字画像に対応する一定長の区間毎の音量レベルに応じた視差の前記第１及び第２画像を前記表示装置に出力する、請求項６記載の画像処理装置。
8. 出力された前記第１及び第２画像を表示する前記表示装置を更に備える、請求項１記載の画像処理装置。
9. 文字画像を含む映像データと、当該映像データに対応する音声データとを受信する受信手段と、
   前記文字画像を、受信された前記音声データの音量レベルに応じた奥行き位置の３次元画像として表示装置に表示させる表示制御手段と
   を備える画像処理装置。
10. 文字画像を含む映像データと、当該映像データに対応する音声データとを受信することと、
    前記文字画像に基づいた、受信された前記音声データの音量レベルに応じた視差の第１及び第２画像を表示装置に出力することと
    を備える表示制御方法。

Images