JP2010252068A - 動き検出方法および装置 - Google Patents

Abstract

【課題】動画像の全画面スクロールを検出する際に、画像中に絵柄が少ない画像でも正確に全画面スクロールを検出する。
【解決手段】画面を構成する所定の検出領域毎の動きを動きベクトルとして推定する動きベクトル推定部と、動きベクトル毎の信頼性を算出し、所定の信頼性を満たす動きベクトルを有効ベクトルと判定する有効ベクトル判定部と、有効ベクトルに基づいて、全画面スクロールの動きの候補となるスクロール候補ベクトルを検出するスクロール候補ベクトル検出部と、動きベクトル毎にスクロール候補ベクトルに置き換え可能か否かを判定する置換判定部と、置換判定部において置き換え可能と判定された動きベクトルを、スクロール候補ベクトルに置き換える置換部と、置換部にて置換後、スクロール候補ベクトルに基づいて全画面スクロールか否かを判定するスクロール判定部と、を備える。
【選択図】図１

Description

本発明は、動き検出方法および装置に関し、特に、動画像の一様な動きであるスクロールを検出する動き検出方法および装置に関する。

従来、液晶ディスプレイ等に動画像を表示する際に、動画ボケを低減するために、動画像の動きを解析し、動き補償を用いたフレームレート変換が行われている。全画面一様にスクロールしている動画像はフレームレート変換による動画ボケの低減の効果が顕著に現れる。しかし、画像の一部に動き補償を誤った領域が存在すると画質の劣化を起こしやすい傾向がある。

また、液晶ディスプレイ、プラズマディスプレイ等のプログレッシブ表示可能な表示装置に動画像を表示する際に、入力画像がインターレース画像の場合は、インターレース／プログレッシブ変換（Ｉ／Ｐ変換）を行っている。一様なスクロール画像は画像の動き情報が既知であれば比較的簡単に高画質のＩ／Ｐ変換を行うことができる。そのためにはスクロールの動きを検出しなければならない。

これらの課題を解決するために、画像のスクロールの動きを検出する技術が求められる。

従来、画像のスクロールの動きを検出する技術として、画面内の動きベクトルの分布に基づいてスクロールの動きを検出する方法が開示されている（例えば、特許文献１参照）。特許文献１では、画像内の各領域の動きを表す動きベクトルの度数分布を作成し、最大となる度数が所定の閾値より大きい場合スクロールが存在すると判定している。

特開２００４−３１２６８０号公報

しかしながら、特許文献１では、全画面スクロールを検出しようとするとき、画像中の単色領域のように画像の絵柄が少ない部分等、動きベクトルを正しく検出することが困難な領域（動きベクトルの信頼性の低い領域）が多数存在すると、度数分布の最大となる度数が小さくなり、スクロールとして検出できなくなる。また、このような場合にもスクロールと検出するために閾値を下げると、誤検出が増えてしまうという課題があった。

本発明は、上記課題に鑑みてなされたものであり、絵柄が少ない画像でもより正確に全画面スクロールを検出するためのものである。

本発明に係る動き検出方法は、
画面を構成する所定の検出領域毎の動きを動きベクトルとして推定する動きベクトル推定ステップと、
前記動きベクトル毎の信頼性を算出し、所定の信頼性を満たす前記動きベクトルを有効ベクトルと判定する有効ベクトル判定ステップと、
前記有効ベクトルに基づいて、全画面スクロールの動きの候補となるスクロール候補ベクトルを検出するスクロール候補ベクトル検出ステップと、
前記動きベクトル毎に前記スクロール候補ベクトルに置き換え可能か否かを判定する置換判定ステップと、
前記置換判定ステップにおいて置き換え可能と判定された前記動きベクトルを、前記スクロール候補ベクトルに置き換える置換ステップと、
前記置換ステップ後、前記スクロール候補ベクトルに基づいて全画面スクロールか否かを判定するスクロール判定ステップと、を備えるものである。

また、本発明の動き検出装置は、
画面を構成する所定の検出領域毎の動きを動きベクトルとして推定する動きベクトル推定部と、
前記動きベクトル毎の信頼性を算出し、所定の信頼性を満たす前記動きベクトルを有効ベクトルと判定する有効ベクトル判定部と、
前記有効ベクトルに基づいて、全画面スクロールの動きの候補となるスクロール候補ベクトルを検出するスクロール候補ベクトル検出部と、
前記動きベクトル毎に前記スクロール候補ベクトルに置き換え可能か否かを判定する置換判定部と、
前記置換判定部において置き換え可能と判定された前記動きベクトルを、前記スクロール候補ベクトルに置き換える置換部と、
前記置換部にて置換後、前記スクロール候補ベクトルに基づいて全画面スクロールか否かを判定するスクロール判定部と、を備えた構成を採る。

本発明によれば、絵柄の少ない画像であっても全画面スクロールを高精度に検出することができる。

本発明の実施の形態に係る動き検出装置の構成を表すブロック図 動きベクトル推定方法を説明するための説明図 本発明の実施の形態に係る動き検出装置の動作を説明するためのフローチャート

以下、本発明の実施の形態について図を用いて説明する。図１は、本発明の実施の形態である動き検出装置１００のブロック図である。動き検出装置１００は、入力画像を格納するフレームバッファ１０１、動きベクトル推定部１０２、有効ベクトル判定部１０３、スクロール候補ベクトル検出部１０４、置換判定部１０５、置換部１０６、スクロール判定部１０７から構成される。なお、本実施の形態において、１画像を１フレームと呼ぶ場合がある。

動きベクトル推定部１０２は、フレームバッファ１０１から現在のフレームと、１フレーム前のフレームを読み出す。そして、現在のフレーム上の検出領域毎の動きベクトルを推定し出力する。

ここで、図２を用いて動きベクトル推定部１０２の処理内容を説明する。図２は動きベクトル推定部での動きベクトル推定動作を説明するための説明図である。図２においては、動きベクトル推定部１０２が、現在の入力フレーム１１１（以下、現在フレーム１１１と呼ぶ）内の各画素の動きベクトルを推定する場合を説明する。

動きベクトル推定部１０２は、現在フレーム１１１内での座標（ｘ，ｙ）の注目画素１１３に対して最も相関の高い１フレーム前の入力フレーム１１２（以下、過去フレームと呼ぶ）内の画素１１７を指す動きベクトル１１６を、複数の動きベクトル候補１１５の中から推定する。動きベクトル候補１１５は、所定の範囲（例えば、ｘ，ｙそれぞれに±４０画素の範囲）内の０．５画素単位で変化するすべての動きベクトルとする。

相関の指標には、２フレーム間の輝度の差分絶対値和（ＳＡＤ；Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）を用いる。ＳＡＤ値は、例えば、現在フレーム１１１内の注目画素１１３の周辺の７×７画素のブロック１１４および、注目画素１１３から動きベクトル候補１１５が指す過去フレーム１１２内のそれぞれの画素の周辺７×７画素のブロックを用いて、式（１）で計算される。具体的に、例えば動きベクトル１１６に基づいてＳＡＤ値を計算する場合、ブロック１１４とブロック１１８を用いて計算される。ここで、式（１）において、（ｖｘ＿ｃａｎｄ，ｖｙ＿ｃａｎｄ）は動きベクトル候補、ＳＡＤ（ｖｘ＿ｃａｎｄ，ｖｙ＿ｃａｎｄ）は動きベクトル候補（ｖｘ＿ｃａｎｄ，ｖｙ＿ｃａｎｄ）でのＳＡＤ値、Ｌ０（ｘ，ｙ）、Ｌ１（ｘ，ｙ）はそれぞれ現在フレーム１１１，過去フレーム１１２内の座標（ｘ，ｙ）での輝度値を表す。このとき、式（１）で計算したＳＡＤ値が最小となる画素が最も相関が高くなる。過去フレームの画素１１７を指し示す動きベクトル１１６を用いた場合の相関が最も高い場合には、注目画素１１３の動きベクトルとして動きベクトル１１６が検出される。

動きベクトル推定部１０２は、フレームバッファ１０１から現在のフレームの輝度情報と１フレーム前のフレームの輝度情報を読み出し、すべての候補ベクトルを用いてＳＡＤ値を算出する。そして、動きベクトル推定部１０２は、ＳＡＤ値が最小となる動きベクトルを注目画素の動きベクトルとして検出する。

なお、動きベクトル推定部１０２において、動きベクトルの検出単位、動きベクトル候補、相関の指標、ＳＡＤ値計算に用いるブロックのサイズおよび形状、はこれに限らない。

有効ベクトル判定部１０３は、入力される動きベクトルが、所定の信頼性を満たしているか否かを判定する。所定の信頼性を満たしている場合は、その動きベクトルは有効ベクトルであると判定する。なお、所定の信頼性を満たしていない動きベクトルを除外することで、結果的に有効ベクトルを判定することも含む。

有効ベクトルと判定するための信頼性の指標として、ＳＡＤ値を用いる。動きベクトル推定部１０２では複数の動きベクトルのＳＡＤ値を計算し、ＳＡＤ値が最小となる動きベクトルを検出する。しかし、画像の絵柄が少ない領域（例えば単色領域）では、動きベクトルを変化させてもＳＡＤ値の変化が小さく、ＳＡＤ値が最小となるベクトルが最適なベクトルとは限らない場合がある。

そこで有効ベクトル判定部１０３は、ＳＡＤ値の最小値と他の任意のベクトル（例えば、ＳＡＤ値が最大となるベクトル、ゼロベクトル、１フレーム前のスクロールベクトル等）のＳＡＤ値とを比較して、ＳＡＤ値の最小値が十分小さければ有効なベクトルと判定する。より具体的には、式（２）の条件を満たすとき有効ベクトルと判定する。ただし、式（２）のＳＡＤ_ＭＩＮはＳＡＤ値が最小となるベクトルでのＳＡＤ値、ＳＡＤ＿ＯＴＨＥＲはその他の任意のベクトルでのＳＡＤ値、ＴＨ＿ＳＡＤ１は判定閾値を表す。

なお、有効ベクトル判定の方法はこれに限られない。その他の有効ベクトル判定の方法として、例えば以下のような方法がある。注目画素の周辺画素の輝度の分散が小さい場合、画像上に絵柄が少ないことを意味し、動きベクトル検出部ではその画素の動きベクトルを正しく検出することは困難である可能性が高い。そこで、注目画素の周辺ｋ×ｋ画素の分散が閾値ＴＨ＿ＶＡＲより大きい場合、その画素のベクトルを有効ベクトルと判定する。これら以外の方法であってもよい。

スクロール候補ベクトル検出部１０４は、１フレーム内のすべての動きベクトルのうち有効ベクトル判定部１０３で有効と判定された動きベクトルに基づいて全画面の動きを表すスクロール候補ベクトルを検出する。詳細は後述する。

置換判定部１０５は、動きベクトル推定部１０２で検出した全動きベクトルに対して、スクロール候補ベクトルで置き換え可能か否かを判定する。

置換部１０６は、置換判定部１０５で置き換え可能と判定された動きベクトルをスクロール候補ベクトルで置換し、置き換え不可と判定された動きベクトルは置換せずに出力する。

スクロール判定部１０７は、置換部１０６から出力される１フレーム内の動きベクトルの分布に基づいて全画面スクロールか否かを判定する。そしてスクロール判定部１０７は、判定結果および全画面スクロールの動きを表す動きベクトルを出力する。

図３は、本実施の形態における全画面スクロールの検出方法を説明するためのフローチャートである。以下、それぞれのステップを説明する。

まず、動きベクトル推定部１０２において、所定の検出領域毎（本実施の形態では画素毎）に動きベクトルを推定する（Ｓ２０１）。

次に、有効ベクトル判定部１０３において、動きベクトル推定部１０２で検出した動きベクトルの信頼性を評価して、スクロール候補ベクトル検出部１０４で用いるのに有効なベクトルか否かを判定する（Ｓ２０２）。

スクロール候補ベクトル検出部１０４は、動きベクトル推定部１０２から入力するすべての画素の動きベクトルのうち、有効ベクトル判定部１０３で有効ベクトルと判定された動きベクトル（有効ベクトル）を用いて度数分布を算出し、これに基づいて全画面スクロールの動きベクトルを検出する。以下、詳細を説明する。

スクロール候補ベクトル検出部１０４は、有効ベクトルの度数分布を作成し、全画面スクロールの動きの候補となるスクロール候補ベクトルを検出する。度数分布は、有効ベクトルの水平成分、垂直成分それぞれ独立して作成する。各画素の動きベクトルが有効ベクトルであるとき（Ｓ２１１）、度数分布に加算する（Ｓ２０３）。画面内すべての画素で度数分布への加算を行い、すべての画素が処理済となった後（Ｓ２１２）、作成された度数分布に基づいてスクロール候補ベクトルを検出する（Ｓ２０４）。具体的には、作成した度数分布において度数が最大となる階級の動きベクトルをスクロール候補ベクトルとして検出する。

なお、スクロール候補ベクトルの検出方法はこれに限られない。例えば、他の検出方法として、度数が最大となる階級の周辺±ｎ階級のベクトルの平均値をスクロール候補ベクトルとして検出してもよい。また、水平成分・垂直成分の２次元度数分布を作成し、２次元度数分布に基づいてスクロール候補ベクトルを検出してもよい。また、度数分布を用いずに、有効ベクトルの平均値をスクロール候補ベクトルと検出してもよい。

置換判定部１０５では、動きベクトル推定部１０２で検出した各画素の動きベクトルをスクロール候補ベクトルで置換するか否かを判定する（Ｓ２０５）。具体的には、スクロール候補ベクトルでのＳＡＤ値であるＳＡＤ＿ＳＣＲＬと、検出された動きベクトルでのＳＡＤ値であるＳＡＤ＿ＭＩＮの差分が所定の閾値ＴＨ＿ＳＡＤ２より小さい場合はスクロールベクトルで置き換えても問題がないと判定する。つまり、式（３）を満たす場合、置換可能と判定する。

置換部１０６では、動きベクトル推定部１０２で検出した各画素の動きベクトルに対して、置換判定部１０５での判定結果に基づいて、スクロール候補ベクトルに置換する。具体的には、対象画素をスクロール候補ベクトルに置換しても問題ないと判定された場合（Ｓ２１３）、動きベクトル推定部１０２で検出したベクトルをスクロール候補ベクトルに置換する（Ｓ２０６）。対象画素をスクロール候補ベクトルに置換したら問題がある場合は、動きベクトル推定部１０２で検出したベクトルを置換しない。これにより、全画面スクロール時には絵柄の多少に関わらず、動きベクトルの度数分布がスクロール候補ベクトルに集中する。

スクロール判定部１０７では、置換部１０６から入力する１フレーム内の画素の動きベクトルの分布に基づいて全画面スクロールかどうか判定する。具体的には、スクロール判定部１０７は、置換部１０６から入力する１フレーム内すべての画素の動きベクトルを用いて水平成分・垂直成分の２次元度数分布を作成し（Ｓ２０７、Ｓ２１４）、度数分布に基づいて全画面スクロールか否かを判定する（Ｓ２０８）。全画面スクロールの判定方法は、度数の最大値が所定の閾値より大きい場合、全画面スクロールと判定し、所定の閾値以下である場合、全画面スクロールと判定しない。また、他の全画面スクロール判定方法としては、例えば、度数分布のピークとなる階級の周辺の±ｍ階級の度数の和が所定の閾値より大きい場合、全画面スクロールと判定し、所定の閾値以下である場合、全画面スクロールと判定しない。

なお、本実施の形態において、スクロール判定部１０７は、入力する１フレーム内すべての画素の動きベクトルを用いて全画面スクロールを判定したが、これに限られない。例えば、２次元度数分布をスクロール候補ベクトルを中心として階級を限定することで規模を小さくすることもできる。すなわち、スクロール判定部１０７は、少なくともスクロール候補ベクトルの度数に基づいて全画面スクロールか否かを判定すればよい。

本発明の一実施の形態である動き検出装置１００は以上のように判定したスクロール判定結果およびスクロールの動きベクトルを最終出力として出力する。

以上、本発明の実施の形態を用いて説明したが、本発明はこの実施の形態に限定されない。

液晶ディスプレイ等でフレームレート変換を行う際に本発明を用いることで、全画面スクロール時の画質劣化をなくすことができる。

１００ 動き検出装置
１０１ フレームバッファ
１０２ 動きベクトル推定部
１０３ 有効ベクトル判定部
１０４ スクロール候補ベクトル検出部
１０５ 置換判定部
１０６ 置換部
１０７ スクロール判定部
１１１ 現在のフレーム
１１２ １フレーム前のフレーム
１１３ 注目画素
１１４ 注目画素を中心としたブロック
１１５ 動きベクトル候補
１１６ 動きベクトル
１１７ 動きベクトルが指す画素
１１８ 注目画素を中心としたブロック

Claims (12)

1. 画面を構成する所定の検出領域毎の動きを動きベクトルとして推定する動きベクトル推定ステップと、
   前記動きベクトル毎の信頼性を算出し、所定の信頼性を満たす前記動きベクトルを有効ベクトルと判定する有効ベクトル判定ステップと、
   前記有効ベクトルに基づいて、全画面スクロールの動きの候補となるスクロール候補ベクトルを検出するスクロール候補ベクトル検出ステップと、
   前記動きベクトル毎に前記スクロール候補ベクトルに置き換え可能か否かを判定する置換判定ステップと、
   前記置換判定ステップにおいて置き換え可能と判定された前記動きベクトルを、前記スクロール候補ベクトルに置き換える置換ステップと、
   前記置換ステップ後、前記スクロール候補ベクトルに基づいて全画面スクロールか否かを判定するスクロール判定ステップと、を備えた、
   動き検出方法。
2. 前記有効ベクトル判定ステップは、
   前記動きベクトルを用いて演算したＳＡＤ値と前記動きベクトルとは異なるベクトルを用いて演算したＳＡＤ値との差分が所定の閾値より大きい場合、当該動きベクトルを有効ベクトルと判定する、
   請求項１に記載の動き検出方法。
3. 前記スクロール候補ベクトル検出ステップは、
   前記有効ベクトルを用いて度数分布を算出し、前記度数分布に基づいてスクロール候補ベクトルを検出する、
   請求項１または２に記載の動き検出方法。
4. 前記スクロール候補ベクトル検出ステップは、
   前記度数分布において度数が最大となる動きベクトルをスクロール候補ベクトルとして検出する、
   請求項３に記載の動き検出方法。
5. 前記置換判定ステップは、
   前記動きベクトルを用いて演算したＳＡＤ値と前記スクロール候補ベクトルを用いて演算したＳＡＤ値との差分値が所定の閾値より小さい場合、当該動きベクトルを前記スクロール候補ベクトルに置き換え可能と判定する、
   請求項１乃至４のいずれか一項に記載の動き検出方法。
6. 前記スクロール判定ステップは、
   少なくとも前記置換ステップ後の前記スクロール候補ベクトルの度数を算出し、度数が所定の閾値より大きくなる場合、全画面スクロールと判定する、
   請求項１乃至５のいずれか一項に記載の動き検出方法。
7. 画面を構成する所定の検出領域毎の動きを動きベクトルとして推定する動きベクトル推定部と、
   前記動きベクトル毎の信頼性を算出し、所定の信頼性を満たす前記動きベクトルを有効ベクトルと判定する有効ベクトル判定部と、
   前記有効ベクトルに基づいて、全画面スクロールの動きの候補となるスクロール候補ベクトルを検出するスクロール候補ベクトル検出部と、
   前記動きベクトル毎に前記スクロール候補ベクトルに置き換え可能か否かを判定する置換判定部と、
   前記置換判定部において置き換え可能と判定された前記動きベクトルを、前記スクロール候補ベクトルに置き換える置換部と、
   前記置換部にて置換後、前記スクロール候補ベクトルに基づいて全画面スクロールか否かを判定するスクロール判定部と、を備えた、
   動き検出装置。
8. 前記有効ベクトル判定部は、
   前記動きベクトルを用いて演算したＳＡＤ値と前記動きベクトルとは異なるベクトルを用いて演算したＳＡＤ値との差分が所定の閾値より大きい場合、当該動きベクトルを有効ベクトルと判定する、
   請求項７に記載の動き検出装置。
9. 前記スクロール候補ベクトル検出部は、
   前記有効ベクトルを用いて度数分布を算出し、前記度数分布に基づいてスクロール候補ベクトルを検出する、
   請求項７または８に記載の動き検出装置。
10. 前記スクロール候補ベクトル検出部は、
    前記度数分布において度数が最大となる動きベクトルをスクロール候補ベクトルとして検出する、
    請求項９に記載の動き検出装置。
11. 前記置換判定部は、
    前記動きベクトルを用いて演算したＳＡＤ値と前記スクロール候補ベクトルを用いて演算したＳＡＤ値との差分値が所定の閾値より小さい場合、当該動きベクトルを前記スクロール候補ベクトルに置き換え可能と判定する、
    請求項７乃至１０のいずれか一項に記載の動き検出装置。
12. 前記スクロール判定部は、
    少なくとも前記置換部での置換後の前記スクロール候補ベクトルの度数を算出し、度数が所定の閾値より大きくなる場合、全画面スクロールと判定する、
    請求項７乃至１１のいずれか一項に記載の動き検出装置。

Images