JP2011239172A

JP2011239172A - 映像処理装置

Info

Publication number: JP2011239172A
Application number: JP2010108886A
Authority: JP
Inventors: Hirotaka Nakayama; 博貴中山
Original assignee: Panasonic Corp
Current assignee: Panasonic Corp
Priority date: 2010-05-11
Filing date: 2010-05-11
Publication date: 2011-11-24

Abstract

【課題】入力された両目画像の差分値を取ってしまうと、映像の絵柄によっては大きな差分、つまり誤差が生じ、誤ったフォーマット判定を行い異常出画してしまう可能性がある。
【解決手段】入力された3D信号のフォーマットを自動で判別し、３D映像表示できるようにする方法および映像処理装置であって、入力3D信号のデータ変換を行う映像データ変形部と、決定されたフォーマットにより出力データを選択する映像データ選択部と、映像データの左目用と右目用画像を分離する映像分離部と、左目用と右目用の画像領域内において設定された領域の差分値を取得する差分抽出部と、データパスを順次変更し各データパスの差分値結果に基づき入力信号のフォーマットを判定する映像フォーマット判定部と、3D映像出力を行う映像出力制御部とを有する。
【選択図】図１

Description

本明細書で開示される技術は、入力信号に対して３Ｄフォーマットを自動で判別して3D映像出力する方法および映像処理装置に関する。

近年、映画やゲームを大画面ＴＶにて視聴する趣向が高まっており、より臨場感・迫力を増すために映像出力を３Ｄ化する動きが起こっている。３Ｄ映像出力方法は従来から多種多様な信号の入力方式で行われており、入力信号フォーマット種に依存せず出力するためにはＴＶ内部にて独自で対応する必要がある。３Ｄ映像信号はデジタルのＨＤＭＩケーブルを通して入力され、ＨＤＭＩ規格Ｖｅｒ１．４に沿った信号では規定されたフォーマット情報が信号中に埋め込まれているため、その情報を抜き取ればＴＶ側は入力フォーマットを認識して、適した画角変換を行い正常に出画することが可能である。しかしHDMI規格Ｖｅｒ１．３以前のものは付加識別情報がないため、ＴＶの内部で何らかのフォーマット判定制御を行って出力するか、ユーザー側に正常に視聴が可能なフォーマットをリモコンにてマニュアル選択してもらわないといけない煩わしさが発生する。

これに対して、従来の技術においては、入力の左目用画像と右目用画像の差分値をフレーム内において設定された分割領域ごとに取り、差分値が小さいものをフォーマット候補として判定する方法を取っていた（例えば、特許文献１等）。

特開２００６−３３２９８５号公報

しかし、立体映像そのものは人間の視覚特徴を利用して表示させるため、あらかじめ入力信号の左目用画像と右目用画像には視差量がつけられており、そのまま両画像の差分値を取ってしまうと、映像の絵柄によっては大きな差分、つまり誤差が生じ、誤ったフォーマット判定を行い異常出画してしまう可能性がある。そのため、より正確な入力映像フォーマット判定方法が必要である。
上記の課題を解決するために、本発明では、視差量および入力映像フォーマットの特徴を考慮に入れた入力映像フォーマット判定方法を考案し、ユーザーのリモコンマニュアル操作を容易化することを目的とする。

本発明の実施形態による映像装置は、入力映像信号をフレーム単位で入力フォーマットごとに映像出力フォーマットに成形するための映像データ成形部と、映像データ成形部から出力される映像信号を判定されたフォーマットを基に選択出力する映像データ選択部と、映像データ選択部の出力映像信号を左目用と右目用の画像に分離する映像分離部と、フレーム画像内に設定された領域で左目用と右目用の画像の差分を抽出する差分抽出部と、入力３D信号のデータパスを制御し差分抽出結果から入力信号のフォーマットを判定する映像フォーマット判定部と、3D映像出力を行う映像出力制御部からなる。

本発明の形態により、識別フォーマット情報をもたないHDMI規格Ver1.3以前の３Ｄ信号が入力されても、ＴＶ側は自動的に入力映像フォーマットを自動で判別し、ユーザーにリモコンにて煩わしいマニュアル操作を任せることなく、正常に3D映像を出画することができる。

本発明の実施形態に係る映像処理装置の構成を示すブロック図映像データ成形部にて、各パターン方式により入力データが成形される例を示す図映像データ分離部にて左目用画像と左目用画像の差分値を取得するときの左目用と右目用画像のフレーム単位での領域窓の設定イメージを示すイメージ図図3の差分抽出領域設定状態にて、左目用と右目用画像の視差量を水平方向に小さくしたときの左目用と右目用画像のフレーム単位での領域窓の設定イメージを示すイメージ図映像データ分離部において、左目用と右目用画像の差分値を視差量を水平方向に変化させたときの、差分量と視差量の分布結果の1例を示した図本発明の実施形態において、3D入力信号を入れてから3D出画するための一連の処理フローチャート本発明のフォーマット判定方法において、標準視差量の補正モードを行うときのエッジ抽出を行うための構成を示すブロック図本発明のフォーマット判定方法において、標準視差量の補正モードを説明するためのフローチャート

（実施の形態１）
以下、本発明の実施の形態について、図面を参照しながら説明する。図１は、本発明に係わる映像処理装置の構成を示す図である。入力３D信号のデータ成形を行う映像データ成形部１０１、映像フォーマット判定部１０２のフォーマット選択制御に基づき映像出力を行う映像データ選択部１０３、左目用と右目用画像を分離する映像データ分離部１０４、検出領域制御により設定された領域内にて左目用と右目用の映像の差分値を抽出する差分抽出部１０５、差分抽出部１０５からの累積値をもとに入力映像フォーマットを判定し出力映像データを選択する映像フォーマット判定部１０２、３D映像出力を行う映像出力制御部１０６から成る。
図2は、映像データ成形部１０１において、入力３D映像信号を各パターン方式に従ってデータを成形しデータを出力する例を示した図である。水平画素数α、垂直ライン数βの左目用画像データ(L)と右目用画像(R)が混在した1枚のフレーム画像から、2枚の左目用画像フレーム画像Lと右目用画像フレーム画像Rが生成されるパターンを4通り示している。パターン１においては、水平画素数1/2＊αで垂直ライン数βのLRデータが左右に接続したフレーム画像が、それぞれ水平方向に2倍拡大されて2枚のフレーム画像が生成される。パターン2においては、水平画素数αで垂直ライン数1/2＊βのLRデータが上下に接続したフレーム画像が、それぞれ垂直方向に2倍拡大されて2枚のフレーム画像が作成される。パターン3においては、水平画素数αのLRデータがライン単位で交互に接続したフレーム画像が、奇数ラインのみまたは偶数ラインのみLRごとに抽出されて、垂直方向に2倍拡大されて2枚のフレーム画像が作成される。パターン４においては、LRデータが左右に隣接、奇数ラインと偶数ラインにてLRの左右位相が反転するような市松模様になっており、LRデータを1画素単位で抽出されて、水平方向に2倍拡大、垂直方向に2倍拡大されて2枚のフレーム画像が作成される。

図３は映像データ分離部において、左目用および右目用画像の各フレーム内において差分値を取るためのイメージを示した図である。水平同期および垂直同期の位置を基準に水平と垂直の検出領域の開始点を設定し、水平と垂直の幅を決定した作られた領域を点線で示している。差分値を取るときの開始点および領域幅は左目用画像フレームと右目用画像フレームにて同じである。

図４は、図3の設定状態から視差量をずらしたときの設定領域を示すイメージ図である。この例においては、右目用画像の設定領域を水平左方向にαだけずらしている。視差方向のずらし量をSTEPで区切り、各STEPにて検出領域の差分値を取得する。上記の検出領域は差分取得部が設定し、差分値が映像データ分離部から差分取得部に読み出され、設定領域内にて差分値が累積され、その累積結果がフォーマット判定部に渡される。

図5は入力映像フォーマット判定部において、上記方法により左目用と右目用の差分累積値を取ったときの分布の1例を示す図である。差分値の検出領域を視差方向にSTEPごとにずらしながら（水平移動）、左目用と右目用の累積差分値をプロットしていくと、上記のパターンごとにあらかじめ予測して決定した標準視差値の近傍にて差分値が急激に減少し、このとき左目用と右目用画像がほぼ一致することが分かる。つまり、このときの映像データ成形部でのパターンが正しい入力フォーマットだと判断できる。

図6は本発明の入力フォーマット自動判別方法の一連の処理フローを示す図である。3D信号が入力され、入力データフラグ検出部にて、入力信号内にフォーマット識別子が検出された場合、入力映像フォーマット判定部は検出フォーマットに従い、入力データを切り替え、LRデータを分離して３D映像出力を行う。

一方、入力データフラグ検出部にて、入力信号内にフォーマット識別子が検出されなかった場合、入力映像フォーマット検出部は、はじめに映像データ成形部１０１のパターン１のデータが通過するパスを選択する。映像データ分離部にて、左目用と右目用の各フレーム画像内において差分値を取得するために、差分抽出部が同じ領域を各フレームに同じ設定を行う。設定された領域内にてフレーム差分値が、映像データ分離部から差分抽出部に渡され累積される。次に右目用画像フレーム内における設定領域を視差方向に１STEPだけずらし同様に差分値を取得し累積する。この処理をあらかじめ設定された標準視差量をある程度こえたSTEPまで繰り返す（ループ１）。各STEPの累積結果は入力映像フォーマット判定部に渡される。
次に入力映像フォーマット判定部は、映像データ成形部のパターン２のデータパスに切り替え、上記と同様に検出領域を水平方向にSTEP単位でずらした差分累積量を差分抽出部から取得する。この累積フローをパターン３、パターン４に対しても同様に実行する（ループ２）。入力映像フォーマット判定部はパターン１からパターン４までの累積分布結果をもとに、標準視差量近傍での差分値を解析して入力映像のフォーマットを判定する。

上記判定結果を基に、入力映像フォーマット判定部は、映像データ選択部のパスを該当するフォーマットデータが通過するように切り替え、映像データ分離部にて左目用と右目用の画像に分離し、３D映像方式で出力する。
なお映像データ成形部におけるデータ成形パターンは、図２のパターン１から４だけに限定せず、L画像とR画像を特徴のある配置を持った映像フォーマットに対して新たにパターンを追加すれば同様に対応可能である。
また、左目用と右目用画像の差分値を取得するとき、視差量をずらすために右目用画像内の設定領域だけを変更したが、これは右目用画像の設定領域を固定して左目用画像の設定領域をずらしたり、または両方の画像上における設定領域をずらすことで、左目用と右目用の視差量を調節して実現してもよい。
また、フォーマット判定を行うために、データ成形のパターン１から４までを順次処理したが、フォーマット判定開始から映像出画の時間短縮のために平行処理して実現してもよい。

次に前記の標準視差量について説明する。標準視差量は普通、人間の視覚特性に基づき、左目と右目の距離を目安とするが、3D映像を作成するときはコンピュータグラフィックなどにより、３D出力映像に、より立体感や奥行きを持たせるためにさまざまな加工がなされるため視差量も常時一律のものだけではない。そのため上記フォーマット判定において、判定時に視差量が無いもしくは小さい（大きい）場合も考えられるので、標準視差量を補正するモードを設ける。
映像データ分離部１０４に入ってきたLR画像の各画素に対し、ハイパスフィルタ２０１を通し、遅延器２０２により遅延させた隣接画素との差分を減算器２０３により取る。設定された閾値と比較器２０４で比較させ、振幅の大きい強エッジを抽出する。強エッジが検出された場合、この画素のフレーム内での水平および垂直位置と色レベル情報を基に左目用画像と右目用画像においてマッチングさせる。フレーム内の画素に対して行い、マッチングした画素においてのすべての結果を平均化させ、この値をフォーマット判定方法の補正視差量とし、フォーマット判定部は累積差分値と水平移動量の分布解析から入力映像フォーマットを判定する。

以上説明したように、本発明の実施形態によると、３D入力信号のフォーマットを自動で判別し、３D映像表示できるようになるので、本発明は、映像処理装置等について有用である。

１０１映像データ成形部
１０２入力映像フォーマット判定部
１０３映像データ選択部
１０４映像データ分離部
１０５差分抽出部
１０６映像出力制御部
２０１ハイパスフィルタ
２０２遅延器
２０３減算器
２０４比較器

Claims

入力3D映像信号のデータ成形を行う映像データ成形部と、
判定フォーマットに基づきデータを出力する映像出力選択部と、
左目用と右目用の画像を分離する映像分離部と、
設定された領域において左目用と右目用画像の差分値を抽出する差分抽出部と、
入力信号のデータパスをフォーマットごとに切り替え、前記差分抽出部の差分結果値に基づいて、各フォーマットの標準視差量近傍での差分値によりフォーマットを判定するフォーマット判定部と、
映像出力を行う映像出力制御部とを備える、３D入力フォーマット判定映像処理装置。
前記映像処理装置において、左目用と右目用画像の差分値を取るための領域設定を標準視差量を中心にずらし、差分値の分布を基に入力映像フォーマットの判定を行うことを特徴とした映像処理装置。
前記、３D入力映像フォーマット判定方法において、基準となる標準視差量を決定するために、映像フレーム内における振幅の大きいエッジを抽出し、左画面と右画面の類似性を考慮した上で、基準となる標準視差量を決定し、フォーマット判定を行うことを特徴とした３D入力映像フォーマット判定方法。