JP2011146830A - 映像処理装置、映像識別方法、映像表示装置及びコンピュータプログラム - Google Patents

Abstract

【課題】映像の方式を識別することが可能な、映像処理装置を提供すること。
【解決手段】入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較部と、前記画素比較部の画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定部と、を備える、映像処理装置が提供される。かかる構成により、１つの画面を分割して画像を伝送する映像の方式を識別することが可能になる。
【選択図】図４

Description

本発明は、映像処理装置、映像識別方法、映像表示装置及びコンピュータプログラムに関する。

三次元（３Ｄ）画像を画面に表示させて視聴者に立体的な映像を楽しんでもらうための３Ｄ放送サービスが、今後広く普及していくことが考えられる。３Ｄ画像の表示方式としては、例えばサイドバイサイド（Ｓｉｄｅ Ｂｙ Ｓｉｄｅ；ＳＢＳ）方式、オーバーアンダー（Ｏｖｅｒ−Ｕｎｄｅｒ）方式、フレームシーケンシャル（Ｆｒａｍｅ Ｓｅｑｕｅｎｔｉａｌ；ＦＳＱ）方式等がある。

サイドバイサイド方式は、画面を左右に分割した状態で映像を伝送する方式であり、サイドバイサイド方式に対応した映像表示装置では左右に分割された画像から立体的な映像を作り出すことができるが、対応していない映像表示装置では右眼用の画像が画面の右側に、左眼用の画像が画面の左側に、それぞれ表示されることになる。オーバーアンダー方式は、画面を上下に分割した状態で映像を伝送する方式であり、サイドバイサイド方式と同様に、オーバーアンダー方式に対応した映像表示装置では上下に分割された画像から立体的な映像を作り出すことができるが、対応していない映像表示装置では同一の画像が上下対称に表示されることになる。

フレームシーケンシャル方式は、右眼用の映像ストリームと左眼用の映像ストリームとを時分割的に順次切り換えて出力する方式である。このようなフレームシーケンシャル方式によって表示される映像は、例えば、いわゆるシャッタ眼鏡を用いた時分割立体映像表示システム（例えば、特許文献１〜３参照）によって、視聴者に立体的な映像として知覚させることができる。

特開平９−１３８３８４号公報 特開２０００−３６９６９号公報 特開２００３−４５３４３号公報

テレビやレコーダは、映像に文字や画像を重畳するＯＳＤ（Ｏｎ−Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）機能を有しており、映像上に様々な情報を表示させることができる。しかし、サイドバイサイド方式やオーバーアンダー方式のように、画面を上下や左右等の複数の領域に分割して映像を表示する方式では、ＯＳＤ機能により映像に重畳された文字や画像が分断されてしまう場合がある。特に、レコーダからサイドバイサイド方式やオーバーアンダー方式の映像をテレビに出力する際に、レコーダで重畳した文字や画像がテレビに正常に表示されない問題があった。

映像のソースに、その映像がどのような方式であるかを識別する情報が含まれていれば、レコーダからサイドバイサイド方式やオーバーアンダー方式の映像をテレビに出力する際に、映像の方式を認識して、文字や画像の重畳方法を変更することができる。しかし、現状では映像のソースに方式を識別する情報は含まれていない。ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ｖｅｒ１．４規格には、３Ｄ規格としてサイドバイサイド方式は定義されているが、運用が少ないのが実情であり、放送波に至っては規定自体されていない。またオーバーアンダー方式は、現状の３Ｄ規格には定義自体されていない。従って、現状では映像の方式を識別する手段が存在しないという問題がある。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、映像の方式を識別することが可能な、新規かつ改良された映像処理装置、映像識別方法、映像表示装置及びコンピュータプログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較部と、前記画素比較部の画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定部と、を備える、映像処理装置が提供される。

入力画像の特徴点を検出する特徴点検出部をさらに備え、前記画素比較部は、前記特徴点検出部が検出した前記特徴点における画素を比較するようにしてもよい。

前記特徴点検出部は、隣接する画素間の変化量が所定量を超える画素を特徴点として検出し、前記画素比較部は、前記特徴点検出部が検出した特徴点に基づいて画素を比較するようにしてもよい。

前記特徴点検出部は、所定の色を表示する画素を特徴点として検出し、前記画素比較部は、前記特徴点検出部が検出した特徴点に基づいて画素を比較するようにしてもよい。

前記特徴点検出部は、肌色を表示する画素を特徴点として検出し、前記画素比較部は、前記特徴点検出部が検出した特徴点に基づいて画素を比較するようにしてもよい。

前記特徴点検出部は、所定の文字情報を表示する画素を特徴点として検出し、前記画素比較部は、前記特徴点検出部が検出した特徴点に基づいて画素を比較するようにしてもよい。

前記特徴点検出部が検出した特徴点の情報を時系列で格納する特徴点情報格納部をさらに備えてもよい。

前記表示方式判定部は、前記特徴点情報格納部に時系列で格納された特徴点の情報に基づいて前記入力画像の表示形式を判定するようにしてもよい。

前記画素比較部は、領域内の全ての画素に対して画素比較するようにしてもよい。

前記画素比較部は、領域内の一部の領域に対して画素比較するようにしてもよい。

前記画素比較部は、分割後の各領域の周縁部の所定の領域は画素比較の対象から外すようにしてもよい。

前記映像処理装置への入力画像は立体的に知覚させる画像であってもよい。

また、上記課題を解決するために、本発明の別の観点によれば、入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較ステップと、前記画素比較ステップの画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定ステップと、を備える、映像識別方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較部と、前記画素比較部の画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定部と、前記表示方式判定部が判定した表示方式に基づいて前記入力画像を表示する表示部と、を備える、映像表示装置が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータに、入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較ステップと、前記画素比較ステップの画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定ステップと、を実行させる、コンピュータプログラムが提供される。

以上説明したように本発明によれば、映像の方式を識別することが可能な、新規かつ改良された映像処理装置、映像識別方法、映像表示装置及びコンピュータプログラムを提供することができる。

本発明の一実施形態にかかる映像表示システム１０について示す説明図である。 サイドバイサイド方式で記録されている映像ソースから３Ｄ映像を表示する場合の概要を示す説明図である。 レコーダ側で重畳された情報がテレビ側で分断されて表示されてしまう場合の一例について示す説明図である。 本発明の一実施形態にかかるレコーダ１００の機能構成について示す説明図である。 本発明の一実施形態にかかるレコーダ１００の動作について示す流れ図である。 本発明の一実施形態にかかる映像方式判定部１６０によるストリームの映像方式の判定手法の一例について示す説明図である。 判定対象領域の一例を示す説明図である。 デコードされたストリームに対する判定結果の一例を示す説明図である。 映像方式判定部１６０での映像方式の判定処理による、ＯＳＤ機能による情報の重畳制御例を示す説明図である。 映像方式判定部１６０での映像方式の判定処理による、ＯＳＤ機能による情報の重畳制御例を示す説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
＜１．本発明の一実施形態＞
［１−１．映像表示システムの構成例］
［１−２．レコーダの構成例］
［１−３．レコーダの動作］
＜２．まとめ＞

＜１．本発明の一実施形態＞
［１−１．映像表示システムの構成例］
まず、図１を参照して、本発明の一実施形態にかかる映像表示システムの構成例について説明する。図１は、本発明の一実施形態にかかる映像表示システム１０について示す説明図である。図１に示したように、本発明の一実施形態にかかる映像表示システム１０は、レコーダ１００と、テレビ２００と、シャッタ眼鏡３００と、を含んで構成される。

レコーダ１００は、本発明の映像出力装置の一例であり、テレビ２００に表示する映像のソースが保存されるものである。レコーダ１００は、ハードディスク、光ディスク、フラッシュメモリその他の記録媒体に映像ソースを記録し、記録媒体に記録された映像ソースを出力する機能を有する。また、レコーダ１００は映像に文字や画像を重畳するＯＳＤ機能を有すると共に、記録した映像ソースを出力する際に、その映像ソースの映像方式を識別する機能を有する。

テレビ２００は、本発明の映像表示装置の一例であり、放送局から送信される映像や、レコーダ１００から出力される映像を表示するものである。本実施形態にかかるテレビ２００は、シャッタ眼鏡３００を通して映像を視聴した視聴者に、立体的な映像として認識可能な３Ｄ映像を表示することができる映像表示装置である。本実施形態では、レコーダ１００とテレビ２００とはＨＤＭＩケーブルで接続されている。もちろん、本発明ではレコーダ１００とテレビ２００との接続形態はかかる例に限定されない。

サイドバイサイド方式で記録されている映像ソースを例にして、レコーダ１００が出力する映像とテレビ２００で表示する映像との関係を説明する。図２は、サイドバイサイド方式で記録されている映像ソースから３Ｄ映像を表示する場合の概要を示す説明図である。上述したように、サイドバイサイド方式は、画面を左右に分割した状態で映像をテレビへ伝送するものであり、テレビ側では、一つの画像から右目用の映像と左目用の映像が作り出され、右目用の映像と左目用の映像とはそれぞれ時分割表示される。

図２に示した例では、一つの画像Ｐ１を左右に分割し、右側に右目用画像Ｒ１が、左側に左目用画像Ｌ１が、それぞれ表示された画像から、右目用画像Ｒ１と左目用画像Ｌ１とを交互に表示することで立体的な映像として表示する場合を示したものである。

従って、レコーダ側でＯＳＤ機能により情報を映像に重畳すると、情報の重畳位置によっては、重畳した情報がテレビ側で分断されて表示されてしまう。具体的には、分割の境界線に跨ってレコーダ側で情報を重畳すると、重畳した情報がテレビ側で分断されて表示されてしまうことになってしまう。

図３は、レコーダ側で重畳された情報がテレビ側で分断されて表示されてしまう場合の一例について示す説明図である。図３は、一つの画像Ｐ１に、レコーダで「ＥＲＲＯＲ」という文字を映像に重畳してテレビへ出力した場合を示したものである。図３に示したように、右目用画像Ｒ１と左目用画像Ｌ１とに分割する境界線に跨って文字を重畳すると、テレビ側で３Ｄ映像を作り出す際に、その重畳された文字が分断されてしまい、３Ｄ映像をテレビ側で表示する際にレコーダ側で重畳した文字が正確に表示されなくなってしまう。

そこで、本実施形態にかかるレコーダ１００は、出力する映像がどの方式によるものかを画像処理によって判別する機能を有する。かかる識別機能により、レコーダ１００はＯＳＤ機能による情報の重畳方法を変更したり、テレビ２００に対して一時的に３Ｄ映像の表示の停止を指示したりすることができる。

以上、本発明の一実施形態にかかる映像表示システム１０について説明した。次に、本発明の一実施形態にかかるレコーダ１００の機能構成について説明する。

［１−２．レコーダの構成例］
図４は、本発明の一実施形態にかかるレコーダ１００の機能構成について示す説明図である。以下、図４を用いて本発明の一実施形態にかかるレコーダ１００の機能構成について説明する。

図４に示したように、本発明の一実施形態にかかるレコーダ１００は、記録メディア１１０と、デコーダ１２０と、特徴点検出部１３０と、エンコーダ１４０と、特徴点データベース１５０と、映像方式判定部１６０と、出力信号生成部１７０と、を含んで構成される。

記録メディア１１０は、映像ソースが記録される記録媒体であり、記録メディア１１０としては、例えばハードディスクや光ディスク、フラッシュメモリ等の各種記録媒体を用いることができる。記録メディア１１０には、サイドバイサイド方式やオーバーアンダー方式などのように、一つの画面を分割した状態の映像も記録され、これらの方式による映像をテレビ２００に出力することができる。

デコーダ１２０は、記録メディア１１０に記録されている映像ソースをデコードするものである。映像ソースをデコードしたデコーダ１２０は、デコード後の映像音声信号を出力信号生成部１７０へ出力すると共に、映像方式の判定のためにデコード後の映像ストリームを特徴点検出部１３０にも出力する。

特徴点検出部１３０は、デコーダ１２０によってデコードされた映像ストリームに対して、後段の映像方式判定部１６０での映像方式の判定に用いる特徴点を検出する処理を実行するものである。特徴点検出部１３０で検出した特徴点の情報（特徴点情報）は特徴点データベース１５０に保存される。また、特徴点検出後の映像ストリームは特徴点検出部１３０からエンコーダ１４０に送られる。

エンコーダ１４０は、映像ストリームをエンコードして録画用ストリームを生成するものである。エンコーダ１４０がエンコードした録画用ストリームも特徴点データベース１５０に送られる。

特徴点データベース１５０は、特徴点検出部１３０が検出した特徴点情報を時系列で保存するものである。特徴点データベース１５０に時系列で格納される特徴点情報は、後段の映像方式判定部１６０での映像方式の判定処理に用いられる。

映像方式判定部１６０は、特徴点データベース１５０に時系列で保存された特徴点情報を用いて、レコーダ１００から出力しようとしている映像の映像方式を判定するものである。映像方式判定部１６０が判定した映像方式の情報は出力信号生成部１７０に送られる。映像方式判定部１６０での映像方式の判定処理については後に詳述する。

図４に示したように、映像方式判定部１６０は、画素比較部１６２と、表示方式判定部１６４と、を含んで構成される。画素比較部１６２は、特徴点データベース１５０に時系列で保存された特徴点の画素同士を比較して、その特徴点が一致しているかどうかを見るものである。画素比較部１６２における比較結果は表示方式判定部１６４に送られる。表示方式判定部１６４は、画素比較部１６２における比較結果を用いて、デコーダ１２０でデコードされ、レコーダ１００から出力しようとしている映像の映像方式を判定するものである。

出力信号生成部１７０は、デコーダ１２０でデコードされた映像音声信号を用いて、テレビ２００に供給するための出力信号を生成するものである。本実施形態では、出力信号生成部１７０はＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格に則った出力信号を生成する。また、出力信号生成部１７０は、映像方式判定部１６０が判定した映像方式の情報も組み込んで出力信号を生成する。

また、出力信号生成部１７０は、デコーダ１２０でデコードされた映像に情報を重畳するＯＳＤ機能を有していても良い。映像に重畳する情報としては、例えば再生中の映像のタイトル、映像の再生時間、映像の再生・一時停止・停止等の情報である。

以上、本発明の一実施形態にかかるレコーダ１００の機能構成について説明した。なお、図４に示したレコーダ１００は、記録メディア１１０に記録されている映像ソースをデコーダ１２０でデコードする構成としているが、本発明はかかる例に限定されない。レコーダ１００は、放送局からの放送波を受信し、受信した放送波をデコーダ１２０でデコードする構成としても良い。次に、本発明の一実施形態にかかるレコーダ１００の動作について説明する。

［１−３．レコーダの動作］
図５は、本発明の一実施形態にかかるレコーダ１００の動作について示す流れ図である。図５は、記録メディア１１０に記録されている映像ソースを再生する際に、再生される映像がどの方式の映像かを映像方式判定部１６０で判定する際の動作について示したものである。以下、図５を用いて本発明の一実施形態にかかるレコーダ１００の動作について説明する。

記録メディア１１０に記録されている映像ソースを再生する際には、まず記録メディア１１０から再生対象の映像ソースが読み出され、デコーダ１２０は記録メディア１１０から読み出された映像ソースをデコードする（ステップＳ１０１）。デコーダ１２０でデコードされたストリームは、特徴点検出部１３０に送られる（ステップＳ１０２）。

特徴点検出部１３０は、デコードされたストリームに対して特徴点を検出する処理を実行する（ステップＳ１０３）。特徴点検出部１３０は、デコードされたストリームの個々の画像に対し特徴点を検出する処理を実行する。なお、特徴点検出部１３０は、処理能力の観点から、デコードされたストリームに対して数フレーム毎、あるいは数秒毎に特徴点を検出する処理を実行してもよい。

特徴点検出部１３０は、個々の画像に対して、例えば隣接する画素間における画素の変化量、特定の色（例えは肌色）の検出、表示されている字幕の検出等を実行し、これらの変化量や分布率をパラメータとすることで、個々の画像の特徴点とする。

特徴点検出部１３０は、検出した特徴点の情報を時系列で特徴点データベース１５０に保存する（ステップＳ１０４）。映像方式判定部１６０は、特徴点データベース１５０に保存された特徴点の情報を逐次監視し（ステップＳ１０５）、デコーダ１２０でデコードされたストリームの映像方式を判定する（ステップＳ１０６）。映像方式判定部１６０がストリームの映像方式を判定すると、映像方式判定部１６０は、その判定の結果を出力信号生成部１７０に出力する。

図６は、本発明の一実施形態にかかる映像方式判定部１６０によるストリームの映像方式の判定手法の一例について示す説明図である。本実施形態では、ストリームの映像方式の判定に際し、映像方式判定部１６０は１つの画面を４つの領域に分割する。図６では、１つの画面Ｐ１を縦方向及び横方向にそれぞれ二等分し、４つの領域Ｑ１、Ｑ２、Ｑ３、Ｑ４に分割した場合を示したものである。

そして、映像方式判定部１６０は、このように４つの領域Ｑ１、Ｑ２、Ｑ３、Ｑ４に分割した後に、領域Ｑ１と領域Ｑ２との間で、及び領域Ｑ１と領域Ｑ３との間で、相対的に位置が一致する画素同士を比較することで、デコーダ１２０でデコードされたストリームの映像方式を判定する。

すなわち、領域Ｑ１と領域Ｑ２との間で相対的に位置が一致する画素同士を比較して共通している場合には、映像方式判定部１６０はデコーダ１２０でデコードされたストリームの映像方式がサイドバイサイド方式であると判定することができる。一方、領域Ｑ１と領域Ｑ３との間で相対的に位置が一致する画素同士を比較して共通している場合には、映像方式判定部１６０はデコーダ１２０でデコードされたストリームの映像方式がオーバーアンダー方式であると判定することができる。

映像方式判定部１６０は、領域間の画素同士を比較する際には、各領域内のすべての画素について比較すれば、判定結果の信頼度を最も高めることができる。しかし、実際には各領域内のすべての画素について比較するのは非常に膨大な処理量となってしまい、判定処理の長時間化を招いてしまう。そこで、上述したように、画像中の特徴点を予め特徴点検出部１３０で検出し、この特徴点がどの領域に存在しているかを映像方式判定部１６０で検出することによって、判定処理に要する時間を短縮することができる。なお、映像方式判定部１６０は、特徴点検出部１３０が検出し、特徴点データベース１５０に格納された、各領域における特徴点の時間的遷移についての情報を用いて映像方式の判定を行うようにしても良い。例えば、映像方式判定部１６０は、特徴点データベース１５０に格納された特徴点の時間的遷移が領域Ｑ１と領域Ｑ２との間で同じであればサイドバイサイド方式、領域Ｑ１と領域Ｑ３との間で特徴点の時間的遷移が同じであればオーバーアンダー方式であると判断しても良い。

なお、本実施形態では、映像方式判定部１６０は特徴点データベース１５０に保存された特徴点の情報を用いて映像方式を判定しているが、本発明はかかる例に限定されない。例えば、デコーダ１２０がデコードしたストリームを映像方式判定部１６０に直接供給し、映像方式判定部１６０はデコーダ１２０から直接供給されたストリームを用いて映像方式の判定処理を実行するようにしても良い。

出力信号生成部１７０は、デコーダ１２０がデコードしたストリームを出力する際に、映像方式判定部１６０によるストリームの映像方式の判定結果を付加してテレビ２００へ送信する（ステップＳ１０７）。レコーダ１００からテレビ２００へは、例えばＨＤＭＩを用いてストリームを伝送することができるが、映像方式判定部１６０によるストリームの映像方式の判定結果は、ＨＤＭＩの出力属性としてレコーダ１００からテレビ２００へ伝送することができる。

レコーダ１００からストリームとともに映像方式の判定結果を受けたテレビ２００は、レコーダ１００から伝送されたストリームがどの映像方式であるかを把握することができる。従来においては映像のソースに方式を識別する情報は含まれておらず、映像を表示する側において映像をどのように表示すべきか識別することが出来なかった。しかし、レコーダ１００で映像のソースがどの映像方式で記録されているものであるかを判別することで、テレビ２００はレコーダ１００から伝送されたストリームを用いてどのように映像を表示すべきかを判断することが可能になり、またレコーダ１００では、テレビ２００へ伝送しようとするストリームがどの映像方式であるかを判別することで、ＯＳＤ機能により映像に重畳する情報の重畳形式を適切な形式に変更することができる。

本実施形態では、映像方式判定部１６０は、図６に示したように１つの画像Ｐ１を４つの領域Ｑ１、Ｑ２、Ｑ３、Ｑ４に分割し、領域Ｑ１と領域Ｑ２との間で、及び領域Ｑ１と領域Ｑ３との間で、相対的に位置が一致する画素同士を比較したり、特徴点の変化を追跡したりすることで、デコーダ１２０でデコードされたストリームの映像方式を判定している。

ここで、映像を立体的に表示させる際には、その立体的に表示させようとする対象物は比較的画面の中心に近い位置に存在することが多い場合がある。また、各画像の周辺部には視差により、左眼画像にはあるけど、右眼画像にはない画素（またはその逆）が存在する。従って、映像方式判定部１６０で画素同士を比較する際には、各領域の周縁部は比較の対象外として、その他の領域のみを判定対象領域としてもよい。図７は、映像方式判定部１６０で画素同士を比較する際に、各領域の周縁部を比較の対象外として、その他の領域のみを判定対象領域とした場合の一例を示す説明図である。図７に示したように、各領域の周縁部を比較の対象から外すことで判定処理に要する時間を短縮することができるとともに、映像方式の判定結果の精度を高めることができる。この対象外とする領域は、例えば各辺から数％の範囲とすることができる。

図８は、デコーダ１２０でデコードされたストリームに対する判定結果の一例を示す説明図である。例えば、ある画像Ｐ１が左右に分割され、右側に右目用画像Ｒ１が、左側に左目用画像Ｌ１が、それぞれ表示されている場合に、映像方式判定部１６０で映像方式の判定処理を実行すると、領域Ｑ１と領域Ｑ２との間では画素の一致性が認められ、領域Ｑ１と領域Ｑ３との間では画素の一致性が認められないので、映像方式判定部１６０は、このストリームはサイドバイサイド方式であると判定することができる。一方、ある画像Ｐ２が上下に分割され、上側に左目用画像Ｌ２が、下側に右目用画像Ｒ２が、それぞれ表示されている場合に、映像方式判定部１６０で映像方式の判定処理を実行すると、領域Ｑ１と領域Ｑ２との間では画素の一致性が認められず、領域Ｑ１と領域Ｑ３との間では画素の一致性が認められるので、映像方式判定部１６０は、このストリームはオーバーアンダー方式であると判定することができる。

レコーダ１００は、映像方式判定部１６０での映像方式の判定処理により、ＯＳＤ機能による映像への情報の重畳を制御することができる。例えば、映像方式判定部１６０での映像方式の判定処理の結果、デコーダ１２０でデコードされたストリームがサイドバイサイド方式であると判定された場合には、ＯＳＤ機能により左右に並べて情報を映像に重畳し、オーバーアンダー方式であると判定された場合には、ＯＳＤ機能により上下に並べて情報を映像に重畳することができる。

図９Ａ及び図９Ｂは、映像方式判定部１６０での映像方式の判定処理の結果に応じた、ＯＳＤ機能による情報の重畳制御例を示す説明図である。図９Ａは、画像Ｐ１が左右に分割され、右側に右目用画像Ｒ１が、左側に左目用画像Ｌ１が、それぞれ表示されている場合に、映像方式判定部１６０によってサイドバイサイド方式の映像であると判定されたことにより、出力信号生成部１７０が有するＯＳＤ機能により、情報Ｔ１を画像Ｐ１に重畳させた場合を示したものである。図９Ｂは、画像Ｐ２が上下に分割され、上側に左目用画像Ｌ２が、下側に右目用画像Ｒ２が、それぞれ表示されている場合に、映像方式判定部１６０によってオーバーアンダー方式の映像であると判定されたことにより、出力信号生成部１７０が有するＯＳＤ機能により、情報Ｔ２を画像Ｐ２に重畳させた場合を示したものである。

このように、映像方式判定部１６０での映像方式の判定処理の結果に応じて、情報の映像への重畳位置を制御することが出来る。映像方式判定部１６０での映像方式の判定処理の結果に応じて、情報の映像への重畳位置を適切に決定することで、図３に示したような情報の分断という事態を避け、３Ｄ映像をテレビ２００で表示する際にレコーダ１００で重畳した文字を正確に表示することができる。

＜２．まとめ＞
以上説明したように本発明の一実施形態によれば、レコーダ１００から出力しようとするストリームに対し、映像方式判定部１６０での映像方式の判定処理を実行する。映像方式判定部１６０による映像方式の判定処理は、画像を上下左右４つの領域に均等に分割し、各領域間で画素の一致性を比較する。具体的には、図６に示したように１つの画像Ｐ１を４つの領域Ｑ１、Ｑ２、Ｑ３、Ｑ４に分割し、領域Ｑ１と領域Ｑ２との間で、及び領域Ｑ１と領域Ｑ３との間で、相対的に位置が一致する画素同士を比較する。

そして、映像方式判定部１６０での判定処理の結果は、レコーダ１００からテレビ２００に伝送される。これにより、レコーダ１００はテレビ２００で表示させようとする映像に対する情報の重畳を制御することが可能になり、テレビ２００はレコーダ１００から伝送される判定処理の結果を参照することで、現在表示している映像がどの映像方式に該当するのかを把握することが可能となる。

なお、上述した本発明の一実施形態では、図４に示したように、レコーダ１００の内部に映像方式を判定する構成が設けられていたが、本発明はかかる例に限定されない。すなわち、テレビ２００の内部に図４に示したような映像方式を判定する構成が設けられていても良い。すなわち、テレビ２００が放送局から受信したストリームをデコードした後に、またテレビ２００に接続されているレコーダ１００その他の映像出力装置から映像の伝送を受けた後に、これらの映像に対して、映像方式判定部１６０が実行するような映像方式の判定処理を実行する手段を、テレビ２００の内部に備えることができる。

また、上述した本発明の一実施形態では、本発明の映像出力装置の一例としてレコーダ１００を挙げて説明したが、本発明はかかる例に限定されないことは言うまでもない。レコーダ１００と同様に映像を出力する機能を有するものであれば、映像出力装置として、例えば据え置き型のゲーム機を用いてもよく、パーソナルコンピュータその他の情報処理装置を用いてもよい。

また、上述した一連の処理は、ハードウェアによって実行してもよく、ソフトウェアによって実行してもよい。ソフトウェアによって実行する場合には、例えばプログラムが格納された記録媒体をレコーダ１００やテレビ２００に内蔵してもよい。そして、かかるプログラムを、レコーダ１００やテレビ２００に内蔵したＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）その他の制御装置が読み出して順次実行するようにしてもよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

例えば、上記実施形態では、立体的な映像を出力する映像表示システム１０を例に挙げて説明したが、本発明はかかる例に限定されない。例えば、時分割シャッタ方式を用いて、複数の対象者に異なる映像を表示する、いわゆるマルチビュー表示を実行する表示装置に本発明をしてもよい。マルチビュー表示は、立体視させる場合とは異なり、所定の期間においては特定のシャッタ眼鏡を通してのみ画像を見ることができるようにシャッタを制御することで、１つの表示装置で複数の画像を表示させることができる。

また例えば、映像方式判定部１６０は、時間によって画素を比較する位置を変化させるようにしてもよい。時間によっては画面上部に時刻情報その他の文字情報が表示される場合があり、その文字情報の表示位置を画素比較の対象とすることで、より効果的な映像方式の判定が可能になる。

また例えば、映像のソースに三次元映像の奥行きを示す深さ（Ｄｅｐｔｈ）の情報が含まれているような場合には、映像方式判定部１６０は、その深さの差が無いところを判別位置とするようにしてもよい。深さの差が無いところは映像が立体に表示される場所であり、この深さの差が無いところを判別位置とすることで、より効果的な映像方式の判定が可能になる。

本発明は、映像処理装置、映像識別方法、映像表示装置及びコンピュータプログラムに適用可能であり、特に複数の画像が時分割で表示される映像を出力する映像出力装置、当該映像の映像識別方法、当該映像を表示する映像表示装置及びコンピュータプログラムに適用可能である。

１０ 映像表示システム
１００ レコーダ
１１０ 記録メディア
１２０ デコーダ
１３０ 特徴点検出部
１４０ エンコーダ
１５０ 特徴点データベース
１６０ 映像方式判定部
１６２ 画素比較部
１６４ 表示方式判定部
１７０ 出力信号生成部
２００ テレビ
３００ シャッタ眼鏡

Claims (16)

1. 入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較部と、
   前記画素比較部の画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定部と、
   を備える、映像処理装置。
2. 入力画像の特徴点を検出する特徴点検出部をさらに備え、
   前記画素比較部は、前記特徴点検出部が検出した前記特徴点における画素を比較する、請求項１に記載の映像処理装置。
3. 前記特徴点検出部は、隣接する画素間の変化量が所定量を超える画素を特徴点として検出し、前記画素比較部は、前記特徴点検出部が検出した特徴点に基づいて画素を比較する、請求項２に記載の映像処理装置。
4. 前記特徴点検出部は、所定の色を表示する画素を特徴点として検出し、前記画素比較部は、前記特徴点検出部が検出した特徴点に基づいて画素を比較する、請求項２に記載の映像処理装置。
5. 前記特徴点検出部は、肌色を表示する画素を特徴点として検出し、前記画素比較部は、前記特徴点検出部が検出した特徴点に基づいて画素を比較する、請求項４に記載の映像処理装置。
6. 前記特徴点検出部は、所定の文字情報を表示する画素を特徴点として検出し、前記画素比較部は、前記特徴点検出部が検出した特徴点に基づいて画素を比較する、請求項２に記載の映像処理装置。
7. 前記特徴点検出部が検出した特徴点の情報を時系列で格納する特徴点情報格納部をさらに備える、請求項２に記載の映像処理装置。
8. 前記表示方式判定部は、前記特徴点情報格納部に時系列で格納された特徴点の情報に基づいて前記入力画像の表示形式を判定する、請求項７に記載の映像処理装置。
9. 前記画素比較部は、領域内の全ての画素に対して画素比較する、請求項１に記載の映像処理装置。
10. 前記画素比較部は、領域内の一部の領域に対して画素比較する、請求項１に記載の映像処理装置。
11. 前記画素比較部は、分割後の各領域の周縁部の所定の領域は画素比較の対象から外す、請求項１０に記載の映像処理装置。
12. 前記映像処理装置への入力画像は立体的に知覚させる画像である、請求項１に記載の映像処理装置。
13. 入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して所定の特徴点を検出する特徴点検出部と、
    前記特徴点検出部が検出した特徴点の情報を時系列で格納する特徴点情報格納部と、
    前記特徴点情報格納部に格納された特徴点の検出結果に基づいて前記入力画像の表示形式を判定する表示方式判定部と、
    を備える、映像処理装置。
14. 入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較ステップと、
    前記画素比較ステップの画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定ステップと、
    を備える、映像識別方法。
15. 入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較部と、
    前記画素比較部の画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定部と、
    前記表示方式判定部が判定した表示方式に基づいて前記入力画像を表示する表示部と、
    を備える、映像表示装置。
16. コンピュータに、
    入力画像の縦方向及び横方向の中心線を基準に該画像を複数の領域に分割し、分割した複数の領域に対して相対的に一致する位置の画素を比較する画素比較ステップと、
    前記画素比較ステップの画素比較の結果に基づいて前記入力画像の表示形式を判定する表示方式判定ステップと、
    を実行させる、コンピュータプログラム。
    

Images