JP2012175370A

JP2012175370A - 映像処理装置、映像処理方法および映像表示装置

Info

Publication number: JP2012175370A
Application number: JP2011034995A
Authority: JP
Inventors: Takahiro Tanaka; 中孝浩田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2011-02-21
Filing date: 2011-02-21
Publication date: 2012-09-10
Anticipated expiration: 2031-02-21
Also published as: US20120212478A1; US8390678B2; JP4892105B1

Abstract

【課題】テロップを高品位に立体表示可能な映像処理装置、映像処理方法および映像表示装置を提供する。
【解決手段】映像表示装置は、テロップ検出部と、奥行き補正部と、視差画像生成部と、表示部とを備える。テロップ検出部は、入力画像における複数の画素からなる画素ブロックがテロップである確率を算出する。奥行き補正部は、予め定めた前記画素ブロックの奥行き値を、前記確率が高いほど前記奥行き値が奥行き中心に近づくように補正する。視差画像生成部は、前記補正された奥行き値に基づいて、前記入力画像の視差画像を生成する。表示部は、前記視差画像を立体表示する。
【選択図】図１

Description

本発明の実施形態は、映像処理装置、映像処理方法および映像表示装置に関する。

近年、映像信号を立体的に表示する立体映像表示装置が普及しつつある。立体映像表示装置では、視点が異なる複数の視差画像が表示されており、左目と右目で異なる視差画像を見ることにより、映像信号が立体的に見える。

表示装置によっては、表示可能な奥行き範囲の最前面あるいは最背面付近に表示される映像が二重に見えてしまうことがあり、特にテロップが二重に見えると非常に読みづらくなるという問題がある。

特開２０１０−２７３３３３号公報

テロップを高品位に立体表示可能な映像処理装置、映像処理方法および映像表示装置を提供する。

実施形態によれば、映像表示装置は、テロップ検出部と、奥行き補正部と、視差画像生成部と、表示部とを備える。テロップ検出部は、入力画像における複数の画素からなる画素ブロックがテロップである確率を算出する。奥行き補正部は、予め定めた前記画素ブロックの奥行き値を、前記確率が高いほど前記奥行き値が奥行き中心に近づくように補正する。視差画像生成部は、前記補正された奥行き値に基づいて、前記入力画像の視差画像を生成する。表示部は、前記視差画像を立体表示する。

一実施形態に係る映像表示装置の概略ブロック図。奥行き値ｘの一例を示す図。

以下、実施形態について、図面を参照しながら具体的に説明する。
図１は、一実施形態に係る映像表示装置の概略ブロック図である。映像表示装置は、テロップ検出部１と、奥行き補正部２と、視差画像生成部３と、表示部４とを備えている。テロップ検出部１、奥行き補正部２および視差画像生成部３の少なくとも一部を映像処理装置として、例えば半導体チップにより構成してもよいし、これらの少なくとも一部をソフトウェアにより構成してもよい。

テロップ検出部１は、入力画像における画素ブロックがテロップである確率ｐを算出する。奥行き補正部２は、予め定めた画素ブロックの奥行き値ｘを、確率ｐが高いほど奥行き値ｘが奥行き中心に近づくよう補正して、補正後の奥行き値ｘ’を生成する。視差画像生成部３は、補正後の奥行き値ｘ’に基づいて、入力画像の視差画像を生成する。表示部４は視差画像が立体的に見えるように表示する。

以下、各部の動作を詳しく説明する。

テロップ検出部１は、画素ブロックがテロップである確率ｐを算出する。画素ブロックは、入力画像における複数の画素からなる。画素ブロック内の画素数が少なすぎると確率ｐの精度が低下するが、多すぎるとテロップ検出部１の処理量が多くなる。これらを考慮し、例えば、画素ブロックは水平方向１６画素×垂直方向１６画素とする。ここで、テロップとは字幕やチャンネル表示等も含むものとする。

確率ｐの算出手法は種々考えられるが、一例として、予め、多数のサンプル画像を用いてテロップが多く表示される座標を学習しておき、当該画素ブロックの中心座標が学習された座標と近いほどテロップである確率ｐを高く設定してもよい。例えば字幕は画面の下側に表示されることが多いし、チャンネル表示は画面の右上や左上に表示されることが多い。したがって、テロップ検出部１は、これらの位置にある画素ブロックほど、テロップである確率ｐを高くすることができる。

また、予めサンプル画像を用いてテロップである画素ブロック内の輝度勾配を学習しておき、当該画素ブロック内の輝度勾配が学習された輝度勾配と近いほどテロップである確率ｐを高く設定してもよい。輝度勾配とは、例えば画素ブロック内の隣接する画素値の差の絶対値を積算した値である。

さらに、外部から画素ブロックの動きベクトルを受信し、動きベクトルの大きさが小さいほどテロップである確率ｐを高く設定してもよい。通常、テロップはほとんど移動しないためである。

また、文字認識を行ってテロップである確率ｐを算出してもよい。テロップの算出手法は上記のいずれかに限定されるわけではなく、上記の手法を組み合わせてもよいし、他の手法により確率ｐを算出してもよい。

奥行き補正部２は、外部から入力される予め定めた画素ブロックごとの奥行き値ｘを、テロップである確率ｐに基づいて補正する。奥行き値ｘは、どの程度、画素ブロックが表示部４の手前または奥に見えるよう表示するか、という情報を含む。

図２は、奥行き値ｘの一例を示す図である。本実施形態では、表示部４に対して最も手前（最前面）に表示される画素ブロックの奥行き値ｘを−１０００、奥行き中心（表示部４上）に表示される画素ブロックの奥行き値ｘを０、表示部４に対して最も奥（最背面）に表示される画素ブロックの奥行き値ｘを１０００とし、奥行き値ｘは−１０００〜１０００の値をとるものとする。

奥行き値ｘは予め入力画像に付加されていてもよいし、奥行き生成部（不図示）を設けて、入力画像の特徴に基づいて奥行き値ｘを生成してもよい。奥行き値ｘを生成する場合、動きベクトルの大きさに基づいて奥行き値ｘを設定することができる。また、入力画像の色やエッジ等の特徴量から入力画像全体の構図を判定し、構図ごとに予め学習された映像の特徴量と比較して奥行き値ｘを算出してもよい。さらに、入力画像から人物の顔を検出し、検出された顔の位置や大きさに応じてテンプレートにあてはめて奥行き値ｘを算出してもよい。

奥行き補正部２は、テロップである確率ｐが高いほど、奥行き値が０、すなわち、奥行き中心に近づくよう、奥行き値ｘを補正し、補正後の奥行き値ｘ’を生成する。また、奥行き値ｘが最前面あるいは最背面に近いほどその補正量を大きくする。より具体的には以下のようにする。

テロップである確率ｐに基づく補正量ｒｐを下記（１）式により定める。

ここで、ｐ_ｔｈは所定の閾値である。補正量ｒｐは１以下の値となり、確率ｐが高いほど補正量ｒｐは大きくなる。

また、最前面または最背面からの距離ｄ＝１０００−｜ｘ｜に基づく補正量ｒｄを下記（２）式により定める。

ここで、ｄ_ｔｈは所定の閾値である。補正量ｒｄは１以下の値となり、距離ｄが小さいほど、言い換えると、奥行き値ｘが奥行き中心から離れているほど、補正量ｒｄは大きくなる。

さらに、補正量ｒｐ，ｒｄに基づき、最終的な補正量ｒを下記（３）式により定め、さらに補正後の奥行き値ｘ’を下記（４）式により定める。
ｒ＝ｒｐ＊ｒｄ＊ｒｓ・・・（３）
ｘ’＝ｘ＊（１−ｒ）・・・（４）
ここで、ｒｓは所定の定数（０〜１）である。補正量ｒは０〜１の値をとり、補正量ｒｐ，ｒｄが大きいほど補正量ｒは大きくなる。定数ｒｓは奥行き値の最大補正量を表し、例えばｒｓ＝０．３に設定すると、奥行き値の絶対値は最大で３０％小さくなる。

なお、上述した補正後の奥行き値ｘ’の算出手法は一例であり、これに限られるものではない。例えば、（１），（２）式に代えて線形な関数を用い、より簡易に補正量ｒｐ，ｒｄを算出してもよい。

補正後の奥行き値ｘ’に基づき、視差画像生成部３は入力画像の視差画像を生成する。本実施形態の表示部４がめがね式の立体映像表示装置に用いられる場合、視差画像生成部３は左目用および右目用の２個の視差画像を生成する。また、裸眼式立体映像表示装置に用いられる場合、視差画像生成部３は、例えば９方向から見た９個の視差画像を生成する。例えば、左の方向から見た視差画像の場合、手前にある（すなわち補正後の奥行き値ｘ’が小さい）画素ブロックは奥にある（すなわち補正後の奥行き値ｘ’が大きい）画素ブロックより右側にずれて見える。そのため、補正後の奥行き値ｘ’に基づき、視差画像生成部３は入力画像における手前にある画素ブロックを右側にずらす処理を行う。補正後の奥行き値ｘ’が大きいほどずらす量を大きくする。そして、もともと画素ブロックがあった場所を周辺の画素を用いて適宜補間する。

このようにして生成された視差画像を、表示部４は立体表示する。例えば、めがね式立体映像表示装置の場合、所定のタイミングで右目用の視差画像と左目用の視差画像を順繰りに表示する。また、裸眼式立体映像表示装置の場合、表示部上に例えばレンチキュラレンズ（不図示）が貼り付けられる。そして、表示部には複数の視差画像が同時に表示され、視聴者はレンチキュラレンズを介して、ある１つの視差画像を右目で見て、他の１つの視差画像を左目で見る。いずれの場合でも、右目と左目で異なる視差画像を見ることで、映像が立体的に見える。上記のように奥行き値ｘが補正されているため、最前面または最背面の近くにあり、テロップである確率ｐが高い画素ブロックはより奥行き中心の近くに表示される。

このように、本実施形態では、最前面または最背面の近くにあるテロップが奥行き中心に近づくよう奥行き値を補正する。結果として、テロップは最前面または最背面から離れた位置に表示されるため、二重に見えることが抑制される。したがって、テロップを高品位に立体表示できる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１テロップ検出部
２奥行き補正部
３視差画像生成部
４表示部

Claims

入力画像における複数の画素からなる画素ブロックがテロップである確率を算出するテロップ検出部と、
予め定めた前記画素ブロックの奥行き値を、前記確率が高いほど前記奥行き値が奥行き中心に近づくように補正する奥行き補正部と、
前記補正された奥行き値に基づいて、前記入力画像の視差画像を生成する視差画像生成部と、
前記視差画像を立体表示する表示部と、を備える映像表示装置。
前記テロップ検出部は、前記画素ブロックの中心の座標と、前記画素ブロック内の輝度勾配と、のうちの少なくとも一方に基づいて、前記確率を算出する請求項１に記載の映像表示装置。
前記テロップ検出部は、前記入力画像における前記画素ブロックの動きベクトルの大きさに基づいて、前記確率を算出する請求項１に記載の映像表示装置。
前記奥行き補正部は、補正前の前記奥行き値が前記奥行き中心から離れているほど、補正量を大きくする請求項１に記載の映像表示装置。
前記奥行き補正部は、下記（１）〜（４）式に基づいて前記奥行き値を補正する請求項１に記載の映像表示装置。

ここで、ｐは前記テロップである確率、ｘ，ｘ’はそれぞれ補正前および後の前記奥行き値、ｄは補正前の前記奥行き値と奥行きの最前面または最背面との距離、ｐ_ｔｈ，ｄ_ｔｈ、ｒｓはそれぞれ予め定めた定数。
（請求項１に対応する映像処理装置）
入力画像における複数の画素からなる画素ブロックがテロップである確率を算出するテロップ検出部と、
予め定めた前記画素ブロックの奥行き値を、前記確率が高いほど前記奥行き値が奥行き中心に近づくように補正する奥行き補正部と、を備える映像処理装置。
前記テロップ検出部は、前記画素ブロックの中心の座標と、前記画素ブロック内の輝度勾配と、のうちの少なくとも一方に基づいて、前記確率を算出する請求項６に記載の映像処理装置。
前記テロップ検出部は、前記入力画像における前記画素ブロックの動きベクトルの大きさに基づいて、前記確率を算出する請求項６に記載の映像処理装置。
前記奥行き補正部は、補正前の前記奥行き値が前記奥行き中心から離れているほど、補正量を大きくする請求項６に記載の映像処理装置。
前記奥行き補正部は、下記（５）〜（８）式に基づいて前記奥行き値を補正する請求項６に記載の映像処理装置。

ここで、ｐは前記テロップである確率、ｘ，ｘ’はそれぞれ補正前および後の前記奥行き値、ｄは補正前の前記奥行き値と奥行きの最前面または最背面との距離、ｐ_ｔｈ，ｄ_ｔｈ、ｒｓはそれぞれ予め定めた定数。
入力画像における複数の画素からなる画素ブロックがテロップである確率を算出するステップと、
予め定めた前記画素ブロックの奥行き値を、前記確率が高いほど前記奥行き値が奥行き中心に近づくよう、補正するステップと、を備える映像処理方法。