JP2013109026A - 映像出力装置およびその制御方法、プログラム - Google Patents

Abstract

【課題】ティアリングの発生を抑制するフレームロック制御の高性能化に有利な映像出力装置およびその制御方法、プログラムを提供すること。
【解決手段】映像出力装置は、複数の映像信号と該映像信号に係る映像変化に関連する付加情報が入力される入力部１０，２０，３０を有する。合成部５０は、複数の入力映像信号に係る画像データを画像メモリに記憶し、所定のタイミングで画像データを読み出して合成された映像信号を出力する。制御部６０は、各映像信号の付加情報を取得し、該付加情報に対応する優先順位を比較して複数の映像信号から１つの映像信号を選択する。制御部６０は、合成部５０が画像メモリから画像データを読み出して出力する映像信号のフレーム周波数を、選択した映像信号のフレーム周波数と同期させる制御を行う。
【選択図】 図１

Description

本発明は、映像変化に係る付加情報に基づいて映像信号を出力する制御技術に関する。

従来、表示装置や映像処理装置では、様々な目的のために、入力映像信号に係る画像データをフレームメモリに記憶し、該メモリからデータを読み出して映像信号の出力し、或いは表示を行う。その際、入力映像信号のフレーム周波数と非同期で映像信号を読み出すと、１つのフレーム中に異なるフレーム画像の情報が混在する場合があった。異なるフレーム間で映像が大きく変化している場合、映像に横筋のようなものが見える現象（いわゆるティアリング）が発生し、視聴の妨げとなっていた。ここで、ティアリングについて、図４を用いて説明する。図４（ａ）は入力映像信号のフレーム画像例を示し、図４（ｂ）は図４（ａ）の次に入力される映像信号のフレーム画像例を示す。また、図４（ｃ）は、図４（ａ）のフレーム画像のデータがフレームメモリに書き込まれている途中で、図４（ｂ）のフレーム画像のデータがフレームメモリから読み出されたデータの画像例を示す。破線部を境界として上方には図４（ｂ）の画像の上半部が描画され、下方には直前のフレーム画像である、図４（ａ）の画像の下半部が描画されている。このように、時間的に前後するフレーム画像のデータが、フレーム周波数と非同期で読み出されたことが原因で、図４（ｃ）のように、異なるフレームの画像が描画される境界を発生させてしまう現象がティアリングである。

この問題に対して、画像データの読み出しを、入力映像信号のフレーム周波数と同期させ、位相を適切に調整することでティアリングの発生を抑止する技術が知られている。つまり、映像信号の垂直同期信号に同期させてフレーム画像データを読み出す技術（以下、フレームロックという）が実用化されている。また、複数のフレームメモリに対する画像データの書き込みと読み出しのタイミングを適宜制御する技術（いわゆるダブルバッファリング）が知られている。後者の技術ではティアリングを抑止できるものの、各フレーム画像の読み出し回数が異なることや、読み出されないフレームが存在するといったことを抑止することが難しい。

また、別の観点では、複数の画像データを合成して出力する、或いは表示する技術が実用化されている。ここで、画像データの合成例について、図５を用いて説明する。図５に示す画像ＡとＢは、合成前の映像信号に係る画像例を示し、画像ＣとＤはそれぞれ、合成後に出力または表示される画像例を示す。画像Ｃは、画像ＡとＢを水平方向に横並びで配置する形態（サイド・バイ・サイド等と呼ばれる）を例示する。また、画像Ｄは、画像Ａを親画面内に描画し、子画面内に画像Ｂを描画する形態（ピクチャー・イン・ピクチャー等と呼ばれる）を例示する。これら以外にも、様々な組み合わせで映像信号に係る合成処理が実用化されている。例えば表示装置において、コンピュータ機器での作業画面を表示しつつ、テレビ番組を子画面等に表示させる、といった使い方が可能となるので、使用者の利便性が向上する。しかし、画像データの合成処理の場合、何れかの映像信号に対してフレームロックを行ったとしても、それ以外の映像信号に係るデータが合成された部分においてティアリングの発生を抑止することが難しいという問題があった。特許文献１には、複数の入力映像から単一の表示映像を生成して出力する映像出力装置において、出力映像のフレーム周波数を、入力映像の中から所定の選択規則に従い選択して設定する方法が開示されている。

特開２００７−２７１８４８号公報

特許文献１には、同期対象とする映像信号を使用者に直接選択させる方法が示されている。しかし、これでは使用者に相応の知識が必要であるため、せっかくの機能が有効に活用されない可能性があり、また使用者は操作に手間がかかるという問題がある。また、特許文献１には、表示されている画像の面積の大きい入力映像信号を優先的に同期対象とする方法も示されているが、この選択規則はティアリングが発生する可能性とは相関が無い。このため、ティアリングが生じた場合、使用者の視聴が妨害されるおそれがある。この他、フレーム間の映像内容の輝度変化が最も大きな入力映像信号を同期対象とする方法も示されている。この方法では映像内容の変化が生じてからでないと同期対象とすべき映像信号を選択できないため、ティアリング等の乱れによる画像への影響が使用者に見えてしまう可能性がある。さらには、映像内容の変化を測定する処理を要するため、処理負荷がかかるという問題もある。

そこで、本発明は、ティアリングの発生を抑制する同期制御の高性能化に有利な映像出力装置およびその制御方法、プログラムの提供を目的とする。

上記課題を解決するために、本発明に係る装置は、複数の映像信号の合成処理を行い、合成後の映像信号を出力することが可能な映像出力装置であって、前記複数の映像信号及び該映像信号の付加情報が入力される複数の入力手段と、前記複数の入力手段に入力された前記複数の映像信号を記憶手段に記憶し、前記記憶手段から前記複数の映像信号を読み出し、前記複数の映像信号を合成する合成手段と、前記複数の入力手段に入力された前記複数の映像信号の前記付加情報に対応する優先順位の比較により前記複数の映像信号から１つの映像信号を選択し、前記合成手段が前記記憶手段から読み出す映像信号のフレーム周波数を、選択した映像信号のフレーム周波数と同期させる同期制御を行う制御手段と、を備える。
また、本発明に係る方法は、複数の映像信号の合成処理を行い、合成後の映像信号を出力することが可能な映像出力装置にて実行される制御方法であって、前記複数の映像信号及び該映像信号の付加情報を入力する入力ステップと、前記入力ステップで入力された前記複数の映像信号を記憶手段に記憶させる記憶ステップと、前記入力ステップで入力された前記複数の映像信号の付加情報を取得して該付加情報に対応する優先順位を比較する比較ステップと、前記優先順位の比較により前記複数の映像信号から１つの映像信号を選択し、前記記憶手段から読み出す映像信号のフレーム周波数を、前記選択された映像信号のフレーム周波数と同期させる同期制御ステップと、前記同期制御ステップで同期させたフレーム周波数で読み出された映像信号を出力する出力ステップを有する。
また、本発明に係るプログラムは、複数の映像信号の合成処理を行い、合成後の映像信号を出力することが可能な映像出力装置にて実行されるコンピュータ読み取り可能なプログラムであって、前記複数の映像信号及び該映像信号の付加情報を入力する入力ステップと、前記入力ステップで入力された前記複数の映像信号を記憶手段に記憶させる記憶ステップと、前記入力ステップで入力された前記複数の映像信号の付加情報を取得して該付加情報に対応する優先順位を比較する比較ステップと、前記優先順位の比較により前記複数の映像信号から１つの映像信号を選択し、前記記憶手段から読み出す映像信号のフレーム周波数を、前記選択された映像信号のフレーム周波数と同期させる同期制御ステップと、前記同期制御ステップで同期させたフレーム周波数で読み出された映像信号を出力する出力ステップを有する。

本発明によれば、例えば、ティアリングの発生を抑制する同期制御の高性能化に有利な映像出力装置およびその制御方法、プログラムを提供することができる。

映像出力装置および制御部の構成例を示すブロック図である。 フレームロック制御処理の流れを例示するフローチャートである。 優先順位の算出処理を説明する図表である。 ティアリングの説明図である。 映像信号の合成例を示す図である。

以下、本発明の実施形態について図面を参照しながら説明する。なお、本発明は表示装置を内蔵する映像機器や、表示装置を内蔵せず、外部表示装置に映像信号を出力する映像機器のいずれにも適用可能である。例えば、本発明に係る映像出力装置は、プロジェクタや液晶ディスプレイ、テレビジョン装置、ＤＶＤ（Digital
Versatile Disk）レコーダ、フレームシンクロナイザ等の、表示装置および再生装置への適用が可能である。

図１は、本発明の実施形態である映像出力装置の構成例を示し、図１（ａ）は全体の概略構成を示し、図１（ｂ）は制御部６０の構成例を示す。

図１（ａ）において、映像信号及び付加情報は複数の入力部１０，２０，３０にそれぞれ入力される。映像信号は画像情報を含む信号であり、付加情報は映像変化に係る情報であって画像情報以外のメタ情報等を含む。入力部１０，２０，３０は図示しない映像機器からＨＤＭＩ規格に基づく映像信号を受信する。ＨＤＭＩは“High-Definition Multimedia Interface”の略号であり、ＨＤＭＩ規格は映像や音声をデジタル信号で伝送する通信インタフェースの標準規格である。各入力部には、例えば、４８０ｐ（７２０×４８０ｐ）や１０８０ｐ（１９２０×１０８０ｐ）等の映像信号が入力される(ｐ：プログレッシブ）。また、ＡＶＩ
ＩｎｆｏＦｒａｍｅやＳＰＤ ＩｎｆｏＦｒａｍｅ等の、ＣＥＡ−８６１−Ｄに定められたＩｎｆｏＦｒａｍｅパケットが、付加情報として各入力部に入力される。なお、ＡＶＩは“Auxiliary Video Information”の略号であり、ＳＰＤは“Source Product Description”の略号である。

入力部１０，２０，３０に入力された映像信号は、不図示のデコーダを介して、合成部５０に出力されて画像データの合成処理が行われる。合成部５０は複数の画像データを画像メモリに一時保存し、後述の制御部６０からの指令より所定のタイミングで画像メモリからデータを読み出して、合成後の映像信号を出力部７０に送る。出力部７０は映像信号を所定の形式で不図示の表示装置に出力する。操作入力部４０は使用者による所望の操作指示を合成部５０に送る。合成部５０は、操作入力部４０から入力された合成設定に関する操作入力に基づき、複数の画像データの読み出しタイミングを切り替えて、複数の映像信号に係る合成処理を行う（図５参照）。

制御部６０は映像信号に関連する付加情報を入力部１０，２０，３０から取得し、後述の処理を行って制御信号を合成部５０に出力する。制御部６０は、フレームロック制御処理のための映像信号の決定、優先順位の算出や比較、同期処理等を制御する。これらの制御については、制御部６０がＣＰＵ（中央演算処理装置）を備える場合、所定のプログラムの解釈および実行によって実現される。また、図１（ｂ）に示すように制御部６０が信号選択処理部６１、同期制御部６２、優先順位算出部６３を有する場合、以下の制御がそれぞれ行われる。

先ず、信号選択処理部６１は、入力部１０，２０，３０にそれぞれ入力された映像信号の付加情報を取得する。信号選択処理部６１は、合成部５０で合成される映像信号のフレーム周波数について、複数の映像信号のうち、どの映像信号に同期させるかを判断し、フレームロックに用いる映像信号を決定する。同期制御部６２は、信号選択処理部６１が決定した映像信号の垂直同期信号の入力に基づいて、合成部５０から出力部７０への映像出力信号が、決定された映像信号と同期するように制御することで、フレームロックを行う。優先順位算出部６３は、付加情報として入力されるパケット情報（ＩｎｆｏＦｒａｍｅパケット）に基づいて、映像信号の優先順位を計算する。これは、信号選択処理部６１が複数の映像信号から、優先順位の情報を用いて特定の映像信号を選択するために必要であり、優先順位の算出処理については後で詳述する。

図２のフローチャートは、付加情報に基づくフレームロック制御処理の流れを例示する。以下に示す処理は、ＣＰＵを有する制御部６０が、コンピュータ読み取り可能なプログラムを実行することによって実現される。
処理が開始すると、ステップＳ１０で制御部６０は現時点で特定の映像信号にフレームロック中か否かを判定する。フレームロック中の場合、ステップＳ２０に処理を進め、フレームロック中でない場合、ステップＳ６０に処理を進める。

ステップＳ２０で制御部６０は、入力部１０，２０，３０から付加情報としてのＩｎｆｏＦｒａｍｅパケットを取得し、出力中または表示中の映像に係る合成前の各入力映像信号について、優先順位に関わる付加情報が変化したか否かを判断する。ここで、操作入力部４０からの指示信号によって合成部５０での合成処理方法が変更された場合や、映像信号が途切れた場合、または初めて付加情報が入力された場合等については、優先順位に関わる情報が所定の値に設定される。この値としては、付加情報の初期値に対して、実際には取り得ない仮想的な値が付与される。表示中の画像に係る映像信号の付加情報が変化していないと制御部６０が判断した場合、ステップＳ１０に戻り、また付加情報が変化したと判断した場合、ステップＳ３０に処理を進める。

ステップＳ３０で制御部６０は、入力部１０，２０，３０の付加情報に応じた各映像信号の優先順位を計算した後、ステップＳ４０に進む。優先順位の算出方法については後述する。ステップＳ４０で制御部６０は、現時点でフレームロック中の映像信号に係る優先順位と、その他の映像信号に係る優先順位とを比較する。その結果、フレームロック中の映像信号に係る優先順位が、その他の映像信号に係る優先順位よりも高い場合、何も処理を行わずにステップＳ１０に戻る。フレームロック中の映像信号に係る優先順位が、その他の映像信号に係る優先順位と同等の場合、制御部６０は同期対象を変更せずに現行の映像信号をそのまま維持して、ステップＳ１０に戻る。また、フレームロック中の映像信号に係る優先順位がその他の映像信号に係る優先順位よりも低い場合、ステップＳ５０に進む。なお、ステップＳ１０において、元々フレームロックが行われていなかった場合、ステップＳ６０で制御部６０は、優先順位が最も低い信号（仮想的な信号）に対してロックされていると見做す。すなわち、直前までフレームロック可能な映像信号が入力されていなかった場合等では、実際にはフレームロックできないが、この状態を擬似的にロックされたものとして取り扱うことで優先順位の１つに含めることができるので、処理を統一化できる。そして、ステップＳ２０に処理を進める。

ステップＳ５０で制御部６０は、優先順位が最も高い映像信号をフレームロック制御に用いる映像信号として設定し、合成部５０を制御して、合成部５０から出力部７０への映像出力を、選択した当該映像信号のフレーム周波数と同期させる。そして、設定の終了後、ステップＳ１０に戻って処理を続行する。
次に、制御部６０によって行われる、付加情報に基づく優先順位算出処理を詳述する。本実施形態では、優先順位を数値で表すものとし、数値が大きい程、優先順位が高いものとする。また、本実施形態の映像出力装置において、優先順位付けは、付加情報として入力されたＩｎｆｏＦｒａｍｅパケットのＡＶＩ
ＩｎｆｏＦｒａｍｅのＩＴ Ｃｏｎｔｅｎｔ Ｔｙｐｅの情報に基づいて行われる。このＩＴ Ｃｏｎｔｅｎｔｓ Ｔｙｐｅは、映像信号の性質を示す情報であり、映像の種別情報としての“Ｇｒａｐｈｉｃｓ”、“Ｐｈｏｔｏ”、“Ｃｉｎｅｍａ”、“Ｇａｍｅ”の４種類の情報を含む。図３は、優先順位の一例を表で示しており、この情報を制御部６０が参照して付加情報に対応する優先順位を映像信号毎に決定する。図３の１列目が条件を示し、２列目がその条件に合致する場合の優先順位を数値で示している。ここでは、ＩＴ
Ｃｏｎｔｅｎｔｓ Ｔｙｐｅの情報毎の優先順位については、映像内容の変化が著しい“Ｇａｍｅ”が５で最も高く、その次の“Ｃｉｎｅｍａ”が４に設定されている。また、ＩｎｆｏＦｒａｍｅの情報が取得できなかった場合には、優先順位が判断できないため、優先順位を３として定義している。“Ｇｒａｐｈｉｃｓ”は優先順位が２に設定され、“Ｐｈｏｔｏ”は優先順位が１に設定されている。これらの定義に加えて、入力映像信号が無い場合や、フレーム周波数が高すぎる等の理由でフレームロックが不可能な場合に対して、仮想的な優先順位をデフォルト値０で定義している。制御部６０は、優先順位を以上の規則に従って求めて同期制御を行う。

このように、本実施形態の映像出力装置は、映像変化に係る付加情報に基づいて優先順位の高い映像信号を自動で選択し、映像信号の解析を必要とせずに、優れた応答性でフレームロック制御を実施することができる。

以上のように、本実施形態によれば、ティアリングの発生を抑制するフレームロック制御の高性能化に有利な映像出力装置およびその制御方法、プログラムを提供することができる。

（その他の実施形態）
前記実施形態では、ＡＶＩ ＩｎｆｏＦｒａｍｅのＩＴ
Ｃｏｎｔｅｎｔｓ Ｔｙｐｅに基づく優先順位の計算例を説明した。しかし、優先順位については、ＳＰＤ
ＩｎｆｏＦｒａｍｅの情報（ソース機器の種類等）や、ＶＢＩ（垂直帰線消去期間）に重畳された付加的な情報に基づいて計算してもよい。また、前記実施形態では、優先順位を付加情報にのみ基づいて計算する場合について説明した。これに限らず、付加情報以外の情報、例えば映像信号の信号形式を示す情報や、入力部毎に予め重み付けを行う場合にそれらの重み付けを示す情報などを用いることができる。また、付加情報として用いることができる情報は、映像信号が動画と静止画のいずれであるかを示す情報であってもよいし、映像の動きの速さを示す情報であってもよい。

前記実施形態では、フレームロック中の映像信号に係る優先順位が、その他の映像信号のいずれかの優先順位と同等の場合、フレームロック中の映像信号を維持してフレームロック制御を行う例について説明した。しかし、そのような場合に限り、通常時には優先順位の計算に用いない他の付加情報等を参照して比較することで、より詳細な計算を行う構成でもよい。

図２のステップＳ２０では、付加情報の変化検出をポーリングで行うことにより、定期的に判定する場合を説明した。しかし、付加情報の変化検出については割り込み等の情報に基づいて行ってもよく、映像信号の状態が変化したタイミングのみで行ってもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０，２０，３０ 入力部
５０ 合成部
６０ 制御部

Claims (8)

1. 複数の映像信号の合成処理を行い、合成後の映像信号を出力することが可能な映像出力装置であって、
   前記複数の映像信号及び該映像信号の付加情報が入力される複数の入力手段と、
   前記複数の入力手段に入力された前記複数の映像信号を記憶手段に記憶し、前記記憶手段から前記複数の映像信号を読み出し、前記複数の映像信号を合成する合成手段と、
   前記複数の入力手段に入力された前記複数の映像信号の前記付加情報に対応する優先順位の比較により前記複数の映像信号から１つの映像信号を選択し、前記合成手段が前記記憶手段から読み出す映像信号のフレーム周波数を、選択した映像信号のフレーム周波数と同期させる同期制御を行う制御手段と、を備えることを特徴とする映像出力装置。
2. 前記制御手段は、前記付加情報に対して予め設定されている優先順位を前記複数の映像信号毎に取得し、前記複数の映像信号の優先順位を比較して他の映像信号よりも優先順位の高い映像信号を選択することを特徴とする請求項１に記載の映像出力装置。
3. 前記制御手段は、既に選択されている映像信号と同じ優先順位の映像信号がある場合、既に選択されている映像信号を用いて前記同期制御を行うことを特徴とする請求項２に記載の映像出力装置。
4. 前記制御手段は、前記同期制御を行ったあとに、前記複数の映像信号の前記付加情報のいずれかが変化した場合、変化した付加情報に対応する優先順位を取得し、前記複数の映像信号の優先順位を比較して他の映像信号よりも優先順位の高い映像信号を再び選択することを特徴とする請求項１から３のいずれか１項に記載の映像出力装置。
5. 前記付加情報は、前記映像信号の映像の種別情報を含むパケット情報および前記映像信号の垂直帰線消去期間に重畳された情報のうちの１つ以上を含む情報であることを特徴とする請求項１から４のいずれか１項に記載の映像出力装置。
6. 前記付加情報は、映像信号の映像が静止画または動画のいずれであるかを示す情報を含むことを特徴とする請求項１から５のいずれか１項に記載の映像出力装置。
7. 複数の映像信号の合成処理を行い、合成後の映像信号を出力することが可能な映像出力装置にて実行される制御方法であって、
   前記複数の映像信号及び該映像信号の付加情報を入力する入力ステップと、
   前記入力ステップで入力された前記複数の映像信号を記憶手段に記憶させる記憶ステップと、
   前記入力ステップで入力された前記複数の映像信号の付加情報を取得して該付加情報に対応する優先順位を比較する比較ステップと、
   前記優先順位の比較により前記複数の映像信号から１つの映像信号を選択し、前記記憶手段から読み出す映像信号のフレーム周波数を、前記選択された映像信号のフレーム周波数と同期させる同期制御ステップと、
   前記同期制御ステップで同期させたフレーム周波数で読み出された映像信号を出力する出力ステップを有することを特徴とする映像出力装置の制御方法。
8. 複数の映像信号の合成処理を行い、合成後の映像信号を出力することが可能な映像出力装置にて実行されるコンピュータ読み取り可能なプログラムであって、
   前記複数の映像信号及び該映像信号の付加情報を入力する入力ステップと、
   前記入力ステップで入力された前記複数の映像信号を記憶手段に記憶させる記憶ステップと、
   前記入力ステップで入力された前記複数の映像信号の付加情報を取得して該付加情報に対応する優先順位を比較する比較ステップと、
   前記優先順位の比較により前記複数の映像信号から１つの映像信号を選択し、前記記憶手段から読み出す映像信号のフレーム周波数を、前記選択された映像信号のフレーム周波数と同期させる同期制御ステップと、
   前記同期制御ステップで同期させたフレーム周波数で読み出された映像信号を出力する出力ステップを有することを特徴とするプログラム。

Images