JP2011259174A - 動きベクトル表示回路及び動きベクトル表示方法 - Google Patents

Abstract

【課題】フレームレート変換機能を持つ画像処理装置の画質調整や検査において必要とされる動きベクトルの表示手段を提供する。
【解決手段】フレーム画像間の動きベクトルを動きベクトル検出回路で検出し、動きベクトルのノルムを輝度、動きベクトルの方向を色相として、カラーモニタに表示することにより、観察者の感覚に合致した動きベクトルの表示を可能にする。
【選択図】図１

Description

本発明は、動きベクトル表示回路及び動きベクトル表示方法に関する。特に、テレビに搭載されるフレームレート変換などで、中間フレームの生成に使用される動きベクトルを表示する回路および表示方法に関する。

動画像を、元のフレームレートと異なるフレームレートで表示する場合のフレームレート変換の方式としては、動き補正を用いずに同一映像を繰り返し表示する簡易的な方式と、動き補正した中間フレームを新たに生成する方式がある。後者の方式は、中間フレームを生成する前後のフレームの映像から映像の動く方向と長さを表す動きベクトルを生成し、生成された動きベクトルに応じて中間フレームを生成する。

例えば、映画のフレームレートは２４フレーム／秒である。前者の方式で、これを６０フレーム／秒の液晶ＴＶに表示する際は、１フレームを２回や３回繰り返し表示するため、動いている映像では滑らかではなく離散的な動きになる。現在の液晶ＴＶでは、カクカク感が生じる前者の方式ではなく、後者の中間フレームを生成する方式が多く採用されている。映像は時間軸の前後のフレームを比べた場合、前後のフレーム間の差分は少ない。後者の方式で中間フレームを生成する場合に、前後のフレームの映像の一部を用いる方法が取られている。しかしながら、前後のフレームのどの座標からどの程度の大きさの映像を、中間フレームのどの座標に用いるかは、前後のフレームを比較することにより生成する動きベクトルから決まるため、中間フレームの画質は動きベクトルに大きく影響される。よって、画像機器のセットのカラーモニタを直接見ながら機器の画質の調整や検査などを行う際に動きベクトル観測手段が必要となっている。

次に、動きベクトルをカラーモニタに表示する従来の技術として、特許文献１に記載された方法について、説明する。図９は従来技術として動きベクトルを用いて動き内挿処理を行なうテレビジョン方式変換装置を示す図である。図９において、ディジタル化された輝度信号１０１は、フレームメモリ１０２に入力される。このフレームメモリ１０２の容量はフレーム数の変換を行なうものであり、２フレーム以上あれば良い。フレームメモリ１０２の出力の１フレーム間時間的に離れた信号を用い、動きベクトル検出回路１０３で動きベクトルの検出を行なう。なお、輝度信号１０１があらかじめノンインターレース化されている場合は１フィールド離れた信号間でも可能である。動きベクトル検出回路１０３の動きベクトルの検出は、輝度信号の画面をｍ×ｎのブロックに分けてあり、ブロックごとに動きベクトルの検出を行なう。例えばｍ×ｎは８画素×８ラインで１ブロックとする方法がある。検出方法はブロック内の画素ごとに１フレーム間の信号差分の絶対値を演算し、その総和があらかじめ準備された参照ブロックの中から最小となるブロックを見付けるブロックマッチング法と、画像勾配とフレーム間差分を用いた勾配法とがあるがどちらの方法を用いても良い。ここで、ブロックマッチング法は、パターンマッチング法とも呼ばれる。検出されたブロック毎の動きベクトルはさらに１０４の動きベクトル判定回路にてその動きベクトルが、真の動きにマッチしているか否かを判定する。判定の方法は、たとえば現ブロックの近傍で現フィールド又はフレームより時間的に前で検出された動きベクトルや、また現ブロックでの現フィールド又はフレームの直前フィールド又はフレームで検出された動きベクトル等を用いて行なうものがある。

フレームメモリ１０２の出力の他方は、直線時間軸内挿回路１０６と動き補正フレーム内挿回路１０５に入力される。直線時間軸内挿回路１０６は従来のテレビジョン方式変換装置で用いられているフレーム間の時間軸直線内挿である。動き補正フレーム内挿回路１０５は動きベクトル判定回路１０４の出力の動きベクトルとフレーム内挿比により位置を補正したフレーム信号を用いて時間軸直線内挿を行う。内挿選択回路１０７では、前記の動き補正した内挿信号と動き補正のない直線内挿信号のうち、どちらを用いるか適正な選択条件下で選択するものである。内挿選択回路１０７の出力の輝度信号はフレーム数が出力方式に変換された信号であり、さらにこの信号はライン変換回路１０８でライン数の変換と変換で生じる画像の歪を補正するライン内挿を受ける。ライン変換回路１０８の出力が最終の輝度信号１１６として出力される。

色信号（Ｃ信号）１１１はディジタル化された色差信号Ｒ−Ｙ，Ｂ−Ｙが時分割された信号である。この信号系の独自の動きベクトル検出回路、動きベクトル判定回路の必要性はなく、動きベクトルとしては輝度信号で検出、判定されたベクトルを共用する。１１３は動きベクトル選択回路、１１４は動きベクトルメモリ、１１５はＣ信号／動きベクトル切換回路である。動きベクトル検出回路１０３又は動きベクトル判定回路１０４の出力を動きベクトル選択回路１１３でいずれかを選択し、この選択された側のｍ×ｎ単位で分割された各ブロックの動きベクトル情報を記憶するための少なくともＮライン以上記憶できる動きベクトルメモリ１１４に書き込まれる。この動きベクトルメモリ１１４からの読み出し時は、アドレス変換によりブロック毎の動きベクトル情報を走査線毎の動きベクトル情報に変換すると同時に最終の輝度信号１１６とタイミングが合うように動きベクトル情報を読み出すものである。なお、動きベクトルメモリ１１４は動きベクトル情報を記憶するメモリ部と図示していない入出力基準信号から書き込み読み出しのメモリアクセス用の制御信号を発生するアドレス変換部から構成されている。

１１５は動きベクトルと本来の色信号系との切換回路であり、通常は色信号が選択されているが、動きベクトルをカラーモニタ上に表示したい場合は動きベクトル側を選択し、ライン変換回路１０８を通り出力が最終の色信号１１７として出力される。

以上詳細に説明したように、図９に示す従来技術によれば、検出された動きベクトルの長さ、方向を色信号のレベルと色相に置き換えているが、輝度信号は動き補正した内挿信号と動き補正のない直線内挿信号のどちらかを選択している。

図９に示す従来技術によれば、画像機器のセットのカラーモニタを直接見ながら機器の画質調整や検査などを行う際に、検出された動きベクトルの長さ、方向を色信号のレベルと色相に置き換え、動きベクトルの変化を色の変化としてカラーモニタに表示することにより動きベクトルを観察することができる。一方、図９に示す従来技術において、輝度信号は、動き補正した内挿信号と動き補正のない直線内挿信号のどちらかを選択しており、動きベクトルをカラーモニタに表示した映像から直接観察できない。

この直接観察できない理由を以下に説明する。輝度信号は、動きベクトルを用いないフレーム間の時間軸直線内挿もしくは、動きベクトルとフレーム内挿比により位置を補正したフレーム信号を用いて時間軸直線内挿のどちらかである。従って、輝度信号は動きベクトルに応じて入力映像同士を合成しており、動きベクトルを間接的に観察しているだけであり、直接観察できない。例えば、同一方向に早く動いている黒い映像と遅く動いている白い映像では、遅く動いている白い映像が早く動いている黒い映像よりも明るい。動きが大きい映像の色信号レベルは大きいため色の彩度が大きくなり明瞭に見えるが、上述した速く動いている黒い映像と遅く動いている白い映像の場合は、色信号のレベルに関係なく白い映像の方が黒い映像よりも明瞭に見えるため、動きの遅い映像の方が動きの速い映像よりも色信号のレベルが大きいと錯覚する。結果的に、画像機器のセットのカラーモニタを直接見ながら機器の画質調整、検査をする人が、動きベクトルが小さい映像を動きベクトルが大きいと錯覚してしまう。

特開平１−３０９５９８号公報

以下の分析は、本発明により与えられる。

特許文献１に記載の従来技術によれば、画像機器のセットのカラーモニタを直接見ながら機器の画質調整や検査などを行う際に、検出された動きベクトルの長さを色信号のレベル、方向を色相に置き換え、動きベクトルの変化を色の変化としてカラーモニタに表示することにより動きベクトルを観察することができる。しかしながら、特許文献１に記載の従来技術において、カラーモニタに表示される輝度信号は、動き補正した内挿信号、動き補正のない直線内挿信号のどちらかが選択されたものであり、動きベクトルの長さとは関連していない。

ここで、従来技術の問題は、カラーモニタに表示する輝度信号は、動きベクトルの長さと関連していないため、機器の調整や検査を行う観察者が、動きベクトルの長さをカラーモニタ表示画像から、判断することができないということである。

本発明の第１の側面による動きベクトル表示回路は、フレーム画像間の動きベクトルを検出する動きベクトル検出回路と、前記動きベクトル検出回路によって検出された動きベクトルの長さを算出するノルム演算回路と、を有し、前記検出された動きベクトルの長さを、表示信号の輝度成分とし、前記動きベクトルの第１の成分を、表示信号の第１の色差成分とし、前記動きベクトルの第２の成分を、表示信号の第２の色差成分とし、前記表示信号により前記動きベクトルを表示する。

本発明の第２の側面によるベクトル表示方法は、フレーム画像間の動きベクトルを検出するステップと、前記動きベクトルの長さを算出するステップと、前記動きベクトルの長さを表示信号の輝度成分とし、前記動きベクトルの第１の成分を表示信号の第１の色差成分とし、前記動きベクトルの第２の成分を表示信号の第２の色差成分とするステップと、前記表示信号を表示するステップと、を含む。

本発明のベクトル表示回路によれば、観察者の感覚に合致した動きベクトル表示回路を提供することができる。その理由は、検出した動きベクトルの長さを算出し、表示信号の輝度成分とし、表示するようにしたので、動きベクトルの長さに関し、観察者の感覚に合致した動きベクトルのモニタ表示が可能になったためである。

また、本発明のベクトル表示方法によれば、観察者の感覚に合致した動きベクトルの表示方法を提供することができる。その理由は、動きベクトルを検出するステップ、動きベクトルの長さを算出するステップ、動きベクトルの長さを、表示信号の輝度成分として表示するステップにより、動きベクトルの長さに関し、観察者の感覚に合致した動きベクトルのモニタ表示が可能になったためである。

本発明の実施例１を説明するためのブロック図である。 本発明の実施例２を説明するためのブロック図である。 本発明の実施例３を説明するためのブロック図である。 本発明の第２の実施形態を示すフローチャートである。 本発明の実施例３を示すフローチャートである。 本発明の実施例２を説明するための図である。 本発明におけるフレーム画像及び動きベクトルの表示例である。 本発明におけるレベル調整回路の設定例である。 従来技術のシステム全体を示すブロック図である。

本発明の実施形態について、必要に応じて図面を参照して説明する。なお、実施形態の説明において引用する図面及び図面の符号は実施形態の一例として示すものであり、それにより本発明による実施形態のバリエーションを制限するものではない。本発明の実施形態を、図１、図４を必要に応じて参照して説明する。

本発明による第１の実施形態の動きベクトル表示回路７２は、図１に示すように、フレーム画像間の動きベクトルを検出する動きベクトル検出回路３と、動きベクトル検出回路３によって検出された動きベクトルの長さを算出するノルム演算回路４と、を有し、検出された動きベクトルの長さを、表示信号の輝度成分とし、動きベクトルの第１の成分を、表示信号の第１の色差成分とし、動きベクトルの第２の成分を、表示信号の第２の色差成分とし、表示信号により動きベクトルを表示する。ここで、表示信号の輝度成分は図１の輝度信号出力７に、動きベクトルの第１の成分は図１の１０に、動きベクトルの第２の成分は図１の１１に、第１の色差成分は図１の色差信号Ｃｂ出力２４に、第２の色差成分は図１の色差信号Ｃｒ出力２５に、対応している。

本発明の第１の実施形態において、動きベクトル検出回路３は、前のフレームの輝度信号入力である輝度（ｎ）と、現在のフレームの輝度信号入力である輝度（ｎ＋１）から、動きベクトルを検出している。ここで、動きベクトル検出方法として、例えば、ブロックマッチング法が用いられる。動きベクトル検出回路３が算出した動きベクトルは、二次元ベクトルであり、第１の成分ｘと、第２の成分ｙで表される。ノルム演算回路４では、第１の成分ｘと、第２の成分ｙから、式（１）を用いて、動きベクトルのノルムＮＯＲＭが計算される。

式（１）で表されるノルムＮＯＲＭは、動きベクトルの長さである。動きベクトル表示回路７２は、式（１）で算出されたノルムＮＯＲＭを、表示信号の輝度成分ＹＯに、第１の成分ｘを表示信号の第１の色差成分ＣｂＯに、第２の成分ｙを表示信号の第２の色差成分ＣｒＯとして、出力し、不図示のカラーモニタに表示信号を供給し、モニタ表示する。

本発明による第２の実施形態の動きベクトル表示方法は、図４に示すように、フレーム画像間の動きベクトルを検出するステップＳ１１と、動きベクトルの長さを算出するステップＳ１２と、動きベクトルの長さを表示信号の輝度成分とし、動きベクトルの第１の成分を表示信号の第１の色差成分とし、動きベクトルの第２の成分を表示信号の第２の色差成分とするステップＳ１３と、表示信号を表示するステップＳ１４と、を含む。

以下、実施例について、図面を参照して詳しく説明する。

［実施例１の構成］
図１は、本発明の実施例１の動きベクトル表示回路７２を示すブロック図である。現在のフレームの輝度信号入力１と、前のフレームの輝度信号入力２と、動きベクトル検出回路３と、ノルム演算回路４と、セレクタ６と輝度信号出力７と、ノルム演算回路４の出力９と、動きベクトル検出回路３の出力である動きベクトルの第１の成分ｘと、第２の成分ｙと、現在のフレームの色差信号Ｃｂ入力１２と、現在のフレームの色差信号Ｃｒ入力１３と、動きベクトル検出回路３の出力１０を遅延させる遅延回路１８と、動きベクトル検出回路３の出力１１を遅延させる遅延回路１９と、遅延回路１８の出力２０と、遅延回路１９の出力２１と、セレクタ２２と、セレクタ２３と、色差信号Ｃｂ出力２４と、色差信号Ｃｒ出力２５で構成される。

セレクタ６、セレクタ２２、セレクタ２３は、表示信号選択部を構成している。上位の不図示のユーザインターフェース部から、表示信号選択部に対して、表示モード７１が与えられ、表示選択部は、表示モード７１に基づいて、表示する信号を選択するように構成される。

［実施例１の動作］
図１を参照し、実施例１の動作について説明する。フレーム画像や動きベクトルが表示されたカラーモニタを観察する観察者は、上位のユーザインターフェース部で、表示モードの選択を行う。表示モードは、通常画像表示モードと動きベクトル表示モードのいずれかであり、通常画像表示モードが選択された場合は、表示画像はフレーム画像が表示され、動きベクトル表示モードが選択された場合は、表示画像は動きベクトルが表示される。選択された表示モードは、表示モード７１として、動きベクトル表示回路７２の表示信号選択部を構成しているセレクタ６、２２、２３に与えられる。

表示モード７１が、通常画像表示モードの場合には、セレクタ６は、現在のフレームの輝度信号入力を、表示信号の輝度成分ＹＯとして選択し、セレクタ２２は、現在のフレームの色差信号Ｃｂ入力を、表示信号の第１の色差成分ＣｂＯとして選択し、セレクタ２３は、現在のフレームの色差信号Ｃｒ入力を、表示信号の第２の色差成分ＣｒＯとして選択する。選択されたＹＯ、ＣｂＯ、ＣｒＯは、カラーモニタに表示され、観察者は、フレーム画像を観察する。

一方、表示モード７１が、動きベクトル表示モードの場合には、セレクタ６は、ノルム演算回路の出力を表示信号の輝度成分ＹＯとして選択し、セレクタ２２は、遅延回路１８の出力２０を表示信号の第１の色差成分ＣｂＯとして選択し、セレクタ２３は、遅延回路１９の出力２１を表示信号の第２の色差成分ＣｒＯとして選択する。ここで、遅延回路１８、１９は、ノルム演算回路４で発生する遅延によるタイミングのずれを補正し、ノルム演算回路の出力４と、遅延回路の１８の出力２０と、遅延回路の１９の出力２１のタイミングを合うようにするために設けられている。遅延回路１８には、動きベクトル検出回路３で検出された動きベクトルの第１の成分ｘが与えられ、遅延回路１９には、動きベクトル検出回路３で検出された動きベクトルの第２の成分ｙが与えられている。従って、動きベクトルの第１の成分ｘが、表示信号の第１の色差成分ＣｂＯとして選択され、動きベクトルの第２の成分ｙが、表示信号の第２の色差成分ＣｒＯとして選択されていることになる。

検出された動きベクトルの方向をθＵ、表示信号の色相角をθＨとすると、θＵ、θＨは、各々、式（２）、（３）により表される。

前述のように、動きベクトル表示モードの場合には、ＣｂＯがｘに、ＣｒＯがｙになるように表示信号選択部は選択するので、θＨとθＵは等しくなり、動きベクトルの方向は、表示信号の色相で表されることになる。また、表示信号の輝度成分ＹＯは、ノルム演算回路４の出力ＮＯＲＭとなる。ここで、ＮＯＲＭは式（１）で定義され、動きベクトルの長さを表す。従って、観察者は、動きベクトルの長さを、カラーモニタの表示画像の輝度で、動きベクトルの方向をカラーモニタの表示画像の色相で評価することができる。

本発明の動きベクトル表示回路は、映像を表現する輝度と２つの色差信号を動きベクトルのみから生成しており、動きベクトルを生成する元になった現在や前のフレームは用いないため余計な情報を含んでおらず、動きベクトルを忠実に表示できる。よって、従来技術において、動きベクトルの長さが表示画像の明るさの変化に関連していないことにより、観察者が、動きベクトルの長さをカラーモニタ表示画像から、判断することができないという問題を解決している。

次に、図７を用いて具体例を説明する。図７は、図１に示した本発明の実施例１の動きベクトル表示回路を適用した表示装置のカラーモニタ上に表示される画像の一例である。図７の（Ａ）は前のフレームの映像を示し、図７の（Ｂ）は現在のフレームの映像を示し、図７の（Ｃ）は動きベクトルを表示した映像を示したものである。表示装置のユーザインターフェース部による表示モードの指示が、通常画像表示モードである場合には、図７の（Ａ）、（Ｂ）のようにフレーム画像がカラーモニタに表示される。一方、表示装置のユーザインターフェース部による表示モードの指示が、動きベクトル表示モードである場合には、図７の（Ｃ）のように、動きベクトルがカラーモニタに表示される。

動きベクトル表示回路７２は、図７の（Ａ）の前のフレームの映像４０と図７の（Ｂ）の現在のフレームの映像４１から動きベクトルを生成する。図７の（Ａ）の前のフレームの映像４０と図７の（Ｂ）の現在のフレームの映像４１には、ビル４３と自動車４４とトラック４５と道路面４６がある。ビル４３とトラック４５と道路面４６は動いておらず、これらビル４３とトラック４５と道路面４６は、図７の（Ａ）の前のフレームの映像４０と図７の（Ｂ）現在のフレームの映像４１で差が無い。すなわちビル４３とトラック４５と道路面４６は動きベクトルが０である。自動車４４は左から右に動いており動きベクトルが有る。図７の（Ａ）のフレームの映像４０と図７の（Ｂ）の現在のフレームの映像４１を実施例１の動きベクトル表示回路７２に入力した結果の表示画像は、図７の（Ｃ）の動きベクトルを表示した映像４２となる。

図７の（Ｃ）の映像４２には、色相を動きベクトルの方向とし輝度を動きベクトルの長さとして、動きベクトルが表示された自動車４７のみが表示され、動いていない映像は表示されない。よって、画像機器のセットにおいてカラーモニタを直接見ながら機器の調整や検査などを行う際に、動きベクトルをカラーモニタに表示した映像から直接観察できる。また、動きベクトルの表示は、動画にして、連続表示させてもよいし、例えば、画質に問題のあるところで停止させ、静止画として表示させてもよい。また、ユーザインターフェース部で、表示モードの切り替え指示を行うようにすることで、観察者は、動きベクトルと対応するフレーム画像とを交互に切り替えて見ることができるので、画質調整や検査を効率良く進めることができる。

図２は本発明の実施例２の動きベクトル表示回路７３のブロック図である。実施例２は、ノルム演算回路４とセレクタ６の間にレベル調整回路３１を、遅延回路１８とセレクタ２２の間レベル調整回路３２を、遅延回路１９とセレクタ２３の間にレベル調整回路３３を実施例１に追加した構成になっている。

レベル調整回路３１は、ノルム演算回路４の出力９のレベルをシフトする機能と、利得をかける機能と、一定値を超えた場合に一定値に置き変える機能を有する。レベル調整回路３２は、動きベクトル検出回路３の出力１０を遅延させる遅延回路１８の出力２０のレベルをシフトする機能と、利得をかける機能と、一定値を超えた場合に一定値に置き変える機能を有する。レベル調整回路３３は、動きベクトル検出回路３の出力１１を遅延させる遅延回路１９の出力２１のレベルをシフトする機能と、利得をかける機能と、一定値を超えた場合に一定値に置き変える機能を有する。

図２のレベル調整回路３１、３２、３３により、動きベクトルのレベルをシフトすることで、動きベクトルのレベルが微小変化で、カラーモニタ上でそのレベルを確認することが困難な場合でも、確認できるレベルにシフトすることにより動きベクトルを見やすくすることができる。例えば、小さな飛行機が右から左にゆっくりと移動し、背景が飛行機と逆方向の左から右にゆっくりと移動している場合を考えてみる。ゆっくり動いているために動きベクトルは小さい。飛行機と背景の色相と輝度のレベルが低く全体的に暗く見えるため、飛行機と背景の区別がつきにくい。そこで、レベル調整回路のレベルをシフトすることにより、飛行機と背景の色相と輝度のレベル差が広がり、飛行機と背景が異なる動きベクトルを持つことが確認できる。

次に動きベクトルに利得をかける機能を有することで、動きベクトルの変化が微小な場合に動きベクトルの変化が見やすくすることができる。これも前述の飛行機と背景の例と同じように、利得をかけることで飛行機と背景の色相と輝度のレベル差が広がり動きベクトルを確認できる。

さらに、動きベクトルが一定値を超えた場合に一定値に置き変える機能を有する事で、前記レベルをシフトする機能と前記利得をかける機能により、上限を超えた場合に表示できるレベル以内に収めることができる。

次に、レベル調整回路３１の設定例を図８の（Ａ）に、レベル調整回路３２の設定例を図８の（Ｂ）に示す。レベル調整回路３３の設定例は、レベル調整回路３２の設定と同様なので、説明は省略する。図８の（Ａ）では、レベルをシフトする機能、利得をかける機能、一定値を超えた場合に一定値に置き換える機能を使用した設定例を示している。一方、図８の（Ｂ）では、利得をかける機能、一定値を超えた場合に一定値に置き換える機能を使用した設定例を示している。

次に、図６は、ある色相θＨの色再現域を模式的に示したものである。横軸の彩度Ｃは、式（４）で定義される。

観察者による評価に適した輝度信号Ｙの範囲５０は、例えば、Ｙ１〜Ｙ２のような中間領域に限定される。その理由は、低輝度の場合、暗くて輝度の変化を観察することが難しい。一方、高輝度の場合には、色彩度が小さくなり、色相を判別しにくくなるためである。また、観察者による評価に適した彩度の範囲５１は、ある彩度Ｃｔｈよりも大きい領域であることが望ましい。彩度が大きい色のほうが、観察者は、色相を判別しやすいからである。以上から、評価に適した色再現領域は、例えば、図６の領域５２のようになる。ここで、図６は、色再現域を模式的に示すためのものであり、実際のモニタの色再現域ではない。

動きベクトルの長さを、図６のＹ１〜Ｙ２に収めて最適表示させるには、以下のようにヒストグラム情報の解析により自動的に、レベル調整回路３１の設定を行うようにすればよい。まず、動きベクトルのノルムに関してヒストグラムを算出し、ヒストグラムの最大値ＮＯＲＭ＿ＭＡＸ、最小値ＮＯＲＭ＿ＭＩＮを求める。ノイズの影響を除去する必要がある場合には、最大値、最小値ではなく、ヒストグラムの９９％点、１％点を用いればよい。その後、図８の（Ａ）のＮＯＲＭ１をＮＯＲＭ＿ＭＩＮに、図８の（Ａ）のＮＯＲＭ２をＮＯＲＭ＿ＭＡＸに設定した特性を、レベル調整回路３１に設定すれば、ＮＯＲＭ＿ＭＩＮ〜ＮＯＲＭ＿ＭＡＸをＹ１〜Ｙ２に割り当ててカラーモニタ表示することができ、観察者に対し、最適な輝度の動きベクトルを表示させることができる。ここで、ヒストグラムは、ある一つのフレームに対し算出してもよいし、動画の複数フレーム画像から算出してもよい。

ところで、経験が浅い観察者は、動きベクトルの方向と色相の関係が、身に付いていないので、それを補うために、図７の（Ｃ）のカラーモニタの画面内に、動きベクトルと色相の関係を見るためのチャート７５を表示させるとよい。このチャートは、動きベクトルのｘ成分、ｙ成分を２軸とした座標系の各々の点に、対応した輝度Ｙ、色差Ｃｒ、Ｃｂの色を表示したチャートである。０度、４５度、９０度、１３５度、１８０度、２２５度、２７０度、３１５度の方向に線を付加しておくと、色チャートと角度の関係を一目で見ることができる。このチャートにより、経験が浅い観察者であっても、画質の調整や検査を効率良く進めることができる。

図３、図５を参照し、実施例３について、説明する。実施例３は、フレームレート変換で中間フレームを発生させる場合に、中間フレーム画像の動きベクトルの表示を可能にし、中間フレームの画質調整や検査が可能なように構成したものである。図３は、実施例３を説明するためのブロック図である。図３の動きベクトル表示回路７４は、図２の実施例２に対して、フレーム補間生成部６１を付加した構成になっている。フレーム補間生成部６１は、輝度信号に対するフレーム補間(Ｙ）６２と、色差信号Ｃｂに対するフレーム補間（Ｃｂ）６３と、色差信号Ｃｒに対するフレーム補間（Ｃｒ）６４を含んでいる。

次に、実施例３の動作を、図５のフローチャートを参照し、説明する。まず、ステップＳ２１で、動き検出ベクトルの検出を行う。実施例３では、図１の動きベクトル検出回路３が算出する動きベクトル、あるいは、図５のステップＳ２１が算出する動きベクトルは、中間フレームにおける動きベクトルである。次に、ステップＳ２２で表示モードが、通常画像モード、動きベクトル表示モードのどちらであるかを判別する。ここで、表示モードは、実施例１、実施例２と同様に、上位のユーザインターフェース部で、選択される。次に、通常画像表示モードの場合には、ステップＳ２６で、フレーム補間処理により、中間フレームを生成し、ステップＳ２７で中間フレームを含むフレーム画像を表示輝度信号、表示Ｃｂ信号、表示Ｃｒ信号に選択する。一方、動きベクトル表示モードの場合には、ステップＳ２３で動きベクトルのノルム演算を行い、ステップＳ２４で輝度信号のレベル調整、Ｃｂのレベル調整、Ｃｒのレベル調整を行い、ステップＳ２５で、動きベクトルのノルムを表示輝度信号、動きベクトルのｘ成分を表示Ｃｂ信号、動きベクトルのｙ成分を表示Ｃｒ信号に選択する。最後に、通常画像モードの場合はＳ２７で選択された表示信号、動きベクトル表示モードの場合にはＳ２５で選択された表示信号により、ステップＳ２８で、モニタ表示を行う。

次に、実施例３の動きベクトル表示回路を使用した表示装置で観察者が行う画質調整について、説明する。まず、観察者は、ユーザインターフェース部で、通常画像表示モードを指示し、フレームレート変換による中間フレームを含んだフレームレート変換後の動画像を観察する。また、中間フレームが綺麗にできているかどうかを確認するため、画質確認を行いたい中間フレームの位置で動画を停止し、静止画表示させる。もし、中間フレーム画像が汚い場合には、ユーザインターフェース部で動きベクトル表示モードに切り替え、その中間フレームの動きベクトルをモニタに表示する。そして、中間フレーム画像が汚い領域で、中間フレームの動きベクトルの長さ、方向を観察することにより、中間フレーム画像が汚くなっている原因を解析した後、中間フレーム画像の画質調整を行う。

次に、実施例３の動きベクトル表示回路を使用した表示装置で、観察者が行う検査の例について示す。検査に用いる動きベクトルを検出するテスト画像として、全体的に左から右に移動しているものを使用する。動きベクトル検出が正しければ、動きベクトル表示モードでは、動きベクトルの方向は、同じ方向を示すはずであり、表示画像は同じ色相になるはずである。もし、画面の一部の領域で、表示される色相が異なっていれば、その領域で動きベクトルを誤検出しているとみなし、検査不合格と判定され、機器の再調整が必要であると判断される。このように、実施例３は、フレームレート変換で生成した中間フレームの動きベクトルの画質調整や検査を効率よく行うのに適用することができる。

本発明の動きベクトル表示回路は、フレームレート変換機能を持つ映像処理装置の画質調整、検査などに適用可能である。

なお、本発明の全開示（請求の範囲を含む）の枠内において、さらにその基本的技術思想に基づいて、実施形態ないし実施例の変更・調整が可能である。また、本発明の請求の範囲の枠内において種々の開示要素の多様な組み合わせないし選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。

１ 現在のフレームの輝度信号入力
２ 前のフレームの輝度信号入力
３ 動きベクトル検出回路
４ ノルム演算回路
６、２２、２３ セレクタ
７ 輝度信号出力
９ ノルム演算回路４の出力
１０、１１ 動きベクトル検出回路３の出力
１２ 現在のフレームの色差信号Ｃｂ入力
１３ 現在のフレームの色差信号Ｃｒ入力
１８ 動きベクトル検出回路３の出力１０を遅延させる遅延回路
１９ 動きベクトル検出回路３の出力１１を遅延させる遅延回路
２０ 遅延回路１８の出力
２１ 遅延回路１９の出力
２４ 色差信号Ｃｂ出力
２５ 色差信号Ｃｒ出力
３１、３２、３３ レベル調整回路
４０ 前のフレームの映像
４１ 現在のフレームの映像
４２ 本発明を適用し動きベクトルを表示した映像
４３ ビル
４４ 自動車
４５ トラック
４６ 道路面
４７ 動きベクトルが表示された自動車
５０ 評価に適した輝度信号Ｙの範囲
５１ 評価に適した彩度の範囲
５２ 評価に適した色再現領域
６１ フレーム補間生成部
６２ 輝度信号Ｙのフレーム補間回路
６３ 色差信号Ｃｂのフレーム補間回路
６４ 色差信号Ｃｒのフレーム補間回路
６５ 前のフレームの色差信号Ｃｂ入力
６６ 前のフレームの色差信号Ｃｒ入力
６７ 輝度信号Ｙの中間フレーム画像信号
６８ 色差信号Ｃｂの中間フレーム画像信号
６９ 色差信号Ｃｒの中間フレーム画像信号
７１ 表示モード
７２、７３、７４ 動きベクトル表示回路
７５ 動きベクトルと色相の関係を見るためのチャート
１０１、１１６ 輝度信号
１０２ フレームメモリ
１０３ 動きベクトル検出回路
１０４ 動きベクトル判定回路
１０５ 動き補正フレーム内挿回路
１０６ 直線時間軸内挿回路
１０７ 内挿選択回路
１０８ ライン変換回路
１１１ 色信号（Ｃ信号）
１１３ 動きベクトル選択回路
１１４ 動きベクトルメモリ
１１５ Ｃ信号／動きベクトル切換回路
１１７ 色信号

Claims (8)

1. フレーム画像間の動きベクトルを検出する動きベクトル検出回路と、
   前記動きベクトル検出回路によって検出された動きベクトルの長さを算出するノルム演算回路と、を有し、
   前記検出された動きベクトルの長さを、表示信号の輝度成分とし、
   前記動きベクトルの第１の成分を、表示信号の第１の色差成分とし、
   前記動きベクトルの第２の成分を、表示信号の第２の色差成分とし、
   前記表示信号により前記動きベクトルを表示することを特徴とする動きベクトル表示回路。
2. 通常画像表示モード、または動きベクトル表示モードのいずれかの表示モードに応じて、表示する信号を切り替える表示信号選択部と、をさらに有し、
   前記表示モードが、通常画像表示モードの場合には、前記表示信号選択部は、前記フレーム画像を前記表示信号として選択し、
   前記表示モードが、動きベクトル表示モードの場合には、前記表示信号選択部は、前記動きベクトルの長さを表示信号の輝度成分とし、前記動きベクトルの第１の成分を表示信号の第１の色差成分とし、前記動きベクトルの第２の成分を表示信号の第２の色差成分として選択することを特徴とする請求項１に記載の動きベクトル表示回路。
3. 前記フレーム画像から中間フレーム画像を生成するフレーム補間生成部をさらに有し、
   前記動きベクトル検出回路は、中間フレームにおける動きベクトルを検出し、
   前記フレーム補間生成部は、前記フレーム画像と、前記中間フレームにおける動きベクトルから、前記中間フレーム画像を生成し、
   前記表示モードが、通常画像表示モードの場合には、前記表示信号選択部は、前記フレーム画像および前記フレーム補間生成部で生成された前記中間フレーム画像を前記表示信号として選択し、
   前記表示モードが、動きベクトル表示モードの場合には、前記中間フレームにおける動きベクトルの長さを表示信号の輝度成分とし、前記中間フレームにおける動きベクトルの第１の成分を表示信号の第１の色差成分とし、前記中間フレームにおける動きベクトルの第２の成分を表示信号の第２の色差成分として選択することを特徴とする請求項２に記載の動きベクトル表示回路。
4. 前記ノルム演算回路の出力をレベル調整する第１のレベル調整回路と、
   前記動きベクトルの第１の成分をレベル調整する第２のレベル調整回路と、
   前記動きベクトルの第２の成分をレベル調整する第３のレベル調整回路と、をさらに含むことを特徴とする請求項１乃至３のいずれか１項に記載の動きベクトル表示回路。
5. フレーム画像間の動きベクトルを検出するステップと、
   前記動きベクトルの長さを算出するステップと、
   前記動きベクトルの長さを表示信号の輝度成分とし、前記動きベクトルの第１の成分を表示信号の第１の色差成分とし、前記動きベクトルの第２の成分を表示信号の第２の色差成分とするステップと、前記表示信号を表示するステップと、を含むことを特徴とする動きベクトル表示方法。
6. 通常画像表示モード、または動きベクトル表示モードのいずれかの表示モードを判別するステップと、
   前記表示モードが通常画像表示モードの場合に、前記フレーム画像を表示するステップと、
   前記表示モードが動きベクトル表示モードの場合に、前記フレーム画像間の動きベクトルの長さを算出するステップ、前記動きベクトルの長さを表示信号の輝度信号とし、前記動きベクトルの第１の成分を表示信号の第１の色差信号とし、前記動きベクトルの第２の成分を前記表示信号の第２の色差信号とするステップと、を含むことを特徴とする請求項５に記載の動きベクトル表示方法。
7. 前記動きベクトルを検出するステップは、中間フレームにおける動きベクトルを検出し、
   前記フレーム画像と、前記中間フレームにおける動きベクトルから、前記中間フレームにおける中間フレーム画像をフレーム補間するステップと、
   前記通常画像表示モードが選択された場合に、前記フレーム画像及び前記中間フレーム画像を表示するステップと、
   前記動きベクトル表示モードが選択された場合に、前記中間フレームにおける動きベクトルの長さを表示信号の輝度成分とし、前記中間フレームにおける動きベクトルの第１の成分を表示信号の第１の色差成分とし、前記中間フレームにおける動きベクトルの第２の成分を表示信号の第２の色差成分とするステップと、を含むことを特徴とする請求項６に記載の動きベクトル表示方法。
8. 前記ノルム演算回路の出力をレベル調整する第１のレベル調整を行うステップと、
   前記動きベクトルの第１の成分をレベル調整する第２のレベル調整を行うステップと、
   前記動きベクトルの第２の成分をレベル調整する第３のレベル調整を行うステップと、をさらに含むことを特徴とする請求項５乃至７のいずれか１項に記載の動きベクトル表示方法。

Images