JP2001309206A - 動画像の静止領域判定装置 - Google Patents

Abstract

(57)【要約】 【課題】 動画像の静止領域判定をする際に、動画像を
エッジ単位で取り扱うことによって、後処理で高画質の
結果を得ることができる情報を出力する 【解決手段】 検出器１は、動画像のエッジをそれぞれ
検出する。比較器３は、検出器１及び遅延線２からの信
号が入力され、検出されたエッジをフィールド間で比較
する。比較器６は、比較器３、遅延線４及び遅延線５か
らの信号が入力され、検出されたエッジをフレーム間で
比較して、静止領域であるか否かについての情報を有す
る信号Ｉ２を出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像中の動き領
域と静止領域との区別を行う動画像の静止領域判定装置
に関するものである。

【０００２】

【従来の技術】インターレース走査された動画像を処理
する場合、インターレースに起因してフィールド間すな
わちフレームのライン間で動物体の位置の差異が生じる
ため、垂直方向の処理を動き領域と静止領域とで切り替
えることが多い。

【０００３】一方、テレビジョン信号の方式変換のよう
な走査線変換を行う場合、例えばＮＴＳＣ方式の信号を
ハイビジョン方式の信号に変換する場合、垂直内挿フィ
ルタを用いてライン数すなわち走査線数を増加させる必
要がある。この際にフィールド内の成分とフレーム内の
成分のうちのいずれを使用するかを、その領域が静止領
域と動き領域のうちのいずれであるかに応じて決定して
いる。また、全画面を動き領域としてフィールド処理し
た結果と、全画面を静止領域としてフレーム処理した結
果とを、各画素の動き量すなわちフレーム間の画素差分
値に応じて加重及び加算している。

【０００４】静止領域については、フレームで内挿フィ
ルタ処理を行うことによって先鋭かつ高画質な画像が得
られるが、動き領域についてフレームで処理すると、動
いている被写体が二重にずれて表示されるような動きの
再現性に関する不都合が生じ、この領域の画質が劣化す
る。このために、動き領域又は静止領域の検出、すなわ
ち、動き領域と静止領域との区別は、動画像処理におい
て重要である。

【０００５】従来、これら動き領域と静止領域とを区別
するに当たり、デジタル符号化装置や、走査線数を変換
する方式変換装置のような多数の装置において、動きを
検出する回路が用いられている。

【０００６】このような動き検出では、「デジタルテレ
ビ技術」（日本放送協会出版）の９８〜９９頁に記載さ
れているように、フレーム間で同一位置に存在する画素
の輝度値の差を使用し、これに孤立点除去処理や動き領
域を広げる処理を施して、動き領域を決定している。し
たがって、フレーム間で輝度差が大きい領域を動き領域
としている。

【０００７】また、「デジタル画像圧縮の基礎」（日経
ＢＰ出版センター）に記載されたようなデジタル符号化
では、画像を８×８画素程度の小ブロックに分割して、
ブロック内の輝度値の差分和が最小となるブロックをフ
ィールド又はフレーム間で探索し、そのフィールド又は
フレーム間でのブロック移動量を動きとして検出する方
法が主として用いられている。

【０００８】

【発明が解決しようとする課題】しかしながら、「デジ
タルテレビ技術」（日本放送協会出版）の９８〜９９頁
に記載されているような動き検出では、処理対象がエッ
ジという構造を有するデータであるにもかかわらず画素
単位で動きを検出し、画素間の関係すなわち画像中のエ
ッジ構造を考慮していないので、静止領域と動き領域と
の間の判定の誤りに起因する妨害がエッジ付近で目立つ
傾向にある。また、動き領域とエッジ構造すなわちエッ
ジ位置とが必ずしも対応しておらず、動物体の輪郭に沿
った強調処理（エンハンスメント）を行うといったよう
なエッジに対応した処理が困難となるという不都合があ
る。

【０００９】さらに、「デジタル画像圧縮の基礎」（日
経ＢＰ出版センター）に記載されたようなデジタル符号
化は、動きをベクトルとして検出する場合に用いられる
手法であり、動きを領域として抽出するのに用いられる
ことが少なく、１ブロック内に動き領域と静止領域の両
方が存在する場合の処理が複雑になるという不都合があ
る。

【００１０】本発明の目的は、上記不都合を有すること
なく動画像の強調処理（画質補正）や走査線数変換のよ
うな後処理で高画質の結果を得ることができる情報を出
力する動画像の静止領域判定装置を提供することであ
る。

【００１１】

【課題を解決するための手段】本発明による動画像の静
止領域判定装置は、動画像のエッジをそれぞれ検出する
エッジ検出手段と、これらエッジのうち、フレームとし
て取り扱うことができるエッジ対をそれぞれ判別するエ
ッジ対判別手段と、前記エッジ対を有するフレームの各
々について、それに前後するフレームとの関係に基づい
て静止領域であるか否かを判断する静止領域判断手段と
を具えることを特徴とするものである。

【００１２】本発明によれば、画素単位ではなくエッジ
単位で動画像中の静止領域を判別している、すなわち、
動画像中のエッジ構造を考慮しているので、画素単位で
判別する場合の不都合を有さず、１ブロック内に動き領
域と静止領域が存在する場合でも処理が複雑にならな
い。また、この動画像の静止領域判定装置から出力され
る情報がエッジ構造を考慮した情報であるので、エッジ
構造を考慮した後処理を行うことができ、高画質の結果
を得ることができる情報を出力する。

【００１３】好適には、前記エッジ検出手段が、前記動
画像のフィールドごとにウェーブレット変換を行って、
各エッジの幅及び零交差点を求め、その零交差点におけ
るエッジの強度が第１の値以上であるか否かによって前
記エッジを検出するように構成する。

【００１４】好適には、前記エッジ対判別手段が、同一
フレーム内のフィールド間で重なる位置に存在するエッ
ジ対に対して、前記零交差点の差異が第２の値以下であ
り、各フィールドのエッジ幅の位置の差異が前記フレー
ムで１ラインであり、かつ、前記フレームにおける輝度
値が単調に増加又は減少する場合、そのエッジ対が、前
記フレームとして取り扱うことができるエッジ対である
ことを判別するように構成する。

【００１５】さらに好適には、前記静止領域判断手段
が、前記エッジ対を有するフレームとそれに前後するフ
レームとの間で、前記零交差点の差異が第３の値以下で
あり、かつ、構造の変化がない場合には、前記エッジ対
が、前記静止領域を構成する静止エッジ対であると判断
するように構成する。

【００１６】

【発明の実施の形態】本発明による実施の形態を、図面
を参照して詳細に説明する。図１は、本発明による動画
像の静止領域判定装置の実施の形態を示す図である。こ
の動画像の静止領域判定装置は、インタレース走査され
た動画像の信号Ｉ１が入力され、動画像のエッジをそれ
ぞれ検出するエッジ検出手段としての検出器１と、この
検出器１から出力された信号を１フィールド分遅延させ
る遅延線２と、検出器１及び遅延線２からの信号が入力
され、検出されたエッジをフィールド間で比較するエッ
ジ対判別手段としての比較器３と、この比較器３から出
力された信号を１フレーム分遅延させる遅延線４と、こ
の遅延線５から出力された信号を１フレーム分遅延させ
る遅延線５と、比較器３、遅延線４及び遅延線５からの
信号が入力され、検出されたエッジをフレーム間で比較
して、静止領域であるか否かについての情報を有する信
号Ｉ２を出力する静止領域判断手段としての比較器６と
を具える。

【００１７】インターレース走査された動画像では、フ
ィールド間で動物体の位置に差異がある。本実施の形態
では、垂直方向のエッジに関してフィールド間の関係を
調べ、フレームで１個のエッジとして取り扱えるエッジ
対、すなわち、フレームとして取り扱うことができるエ
ッジ対（以後、「フレームエッジ」と称する。）を判別
し、次に、そのエッジ対の時間方向（フレーム方向）の
変化を調べて、静止領域を構成する静止エッジであるか
否かを判断する。

【００１８】一方のフィールドのラインとその間に位置
する他方のフィールドのラインとの間でこれらの輝度が
垂直方向に単調に増加又は減少する場合、それは、静止
した物体のエッジである可能性が高く、それが動物体の
一部である場合、１個のエッジとして取り扱ってフレー
ムでフィルタ処理などを行っても妨害が目立たない構造
を有する。その理由は、これらのデータがフィールド間
で構造的に類似するため、フレームでまとめて処理した
場合でも、フィールドのデータを互いに破綻させる蓋然
性が著しく低いからである。

【００１９】次に、検出器１の動作について説明する。
検出器１において、フィールドごとに垂直方向にウェー
ブレット変換を行い、各エッジの幅及び零交差点を求め
るとともに、零交差点におけるエッジ強度（隣接する画
素との輝度値の差）を求める。

【００２０】本実施の形態で用いるウェーブレット変換
は、入力波形をｆ（ｘ）とすると、

【数１】 のように定義される。この場合、Φはウェーブレットを
表し、ｓはスケールを表し、Ｘはｆ（ｘ）上の位置を表
す。離散ウェーブレット変換では、ｓ＝２^j ，Ｘ＝ｎ
（ｊ，ｎは共に整数。）として解析される。

【００２１】スケールｓは、解析するエッジの大きさの
程度に応じて設定される。基本ウェーブレットとして
は、図２に示すようになラプラシアン型（２次微分型）
を用いる。図２に示すように、各タップにおける係数を
（−０．２５，０．５，−０．２５）とする。このよう
なウェーブレット変換は、動画像を２次微分することと
等価であり、変換成分からエッジの零交差点を容易に検
出することができる。

【００２２】図３に示すように、零交差点は、ウェーブ
レット変換成分を表す曲線が横軸を交差する位置として
検出される。エッジ幅｜ｘ₁ −ｘ₂ ｜を、零交差点から
離れるに従って一度ピーク値を取った後に零に近づく際
のウェーブレット成分のピーク値に対する比率が予め設
定したしきい値以上である区間として定義する。

【００２３】エッジ検出後、比較器３において、同一フ
レーム内のフィールド間で重なる位置に存在するエッジ
対が以下の条件１〜３を満足する場合には、そのエッジ
対がフレームエッジであると判別する。 １．零交差点の差異が、第１の値としてのしきい値以下
である。すなわち、第１フィールドＦ１及び第２フィー
ルドＦ２（共に図４Ａ）のエッジの零交差点をそれぞれ
Ｙ_1z（図４Ｃ）及びＹ_2Z（図４Ｂ）とし、しきい値をＹ
_thとした場合、

【数２】 ｜Ｙ_1Z−Ｙ_2Z｜≦Ｙ_th （２） の関係が成立する。 ２．各フィールドのエッジの幅の位置の差異が、フレー
ムで１ラインである。すなわち、第１フィールドＦ１及
び第２フィールドＦ２（共に図４Ａ）のエッジのエッジ
の開始位置をそれぞれＹ_1s（図４Ｂ）及びＹ_2s（図４
Ｃ）とし、第１フィールドＦ１及び第２フィールドＦ２
（共に図４Ａ）のエッジのエッジの終了位置をそれぞれ
Ｙ_1e（図４Ｂ）及びＹ_2e（図４Ｃ）とした場合、

【数３】 ｜Ｙ_1s−Ｙ_2s｜＝１，｜Ｙ_1e−Ｙ_2e｜＝１ （３） の関係が成立する。 ３．フレームにおける輝度値Ｇ（ｙ）（図４Ｄ）が単調
に増加又は減少する。すなわち、フレームでの垂直座標
をｙとし、垂直座標ｙ−１及びｙ＋１における第１フィ
ールドＦ１（図４Ａ）での輝度値をそれぞれＧ₁ （ｙ−
１），Ｇ₁ （ｙ＋１）とし、垂直座標ｙにおける第２フ
ィールドＦ２（図４Ａ）での輝度値をＧ₂（ｙ）とした
場合、

【数４】 Ｇ₁ （ｙ−１）≦Ｇ₂ （ｙ）≦Ｇ₁ （ｙ＋１） （４Ａ） 又は

【数５】 Ｇ₁ （ｙ−１）≧Ｇ₂ （ｙ）≧Ｇ₁ （ｙ＋１） （４Ｂ） の関係が成立する。

【００２４】これら条件１〜３を満足しない場合、すな
わち、フィールド間の輝度値の関係からフレームエッジ
となり得ない場合、動きとインターレースとの関係に起
因する位置の差異が生じているとして、そのようなエッ
ジ対を、動き領域を構成するエッジ対と判別する。

【００２５】フレームエッジ判別後、比較器６は、フレ
ームエッジを有するフレームとその前後のフレームとの
間の関係を調べ、以下の条件４及び５を満足する場合に
はそのフレームエッジが静止領域を構成する静止エッジ
であると判別する。 ４．フレームエッジの零交差点におけるフレーム間の差
異が、第２の値としてのしきい値以下である。フレーム
間でのフレームエッジの零交差点の差異を、前フレーム
と現フレームとの間及び現フレームと後フレームとの間
でそれぞれ計算する。これらの差異がいずれもしきい値
より下の場合には静止エッジであると判断し、そうでな
い場合には、動き領域を構成すると判断する。 ５．連続するフレーム間で構造の変化がない。構造が変
化しているか否かは、フレーム間で対応する箇所のエッ
ジ強度の差に基づいて判定する。零交差点におけるエッ
ジ強度のフレーム間における差が第３の値としてのしき
い値以下であるか否かを計算する。なお、ここでのエッ
ジ強度とは、零交差点を挟んで隣接する画素の輝度値の
差を意味する。

【００２６】フレームエッジが静止エッジである場合に
ついて、図５を用いて説明する。なお、図５Ａは、前フ
レームにおける輝度信号の垂直方向における変化を表
し、図５Ｂは、現フレームにおける輝度信号の垂直方向
における変化を表し、図５Ｃは、後フレームにおける輝
度信号の垂直方向における変化を表す。着目しているフ
レームエッジｆｇ１に対して、零交差点の差異ｄ１及び
ｄ２がともにしきい値以下であり、フレーム間で波形構
造が変化しないことが示されている。

【００２７】フレームエッジが動き領域を構成する場合
について、図６を用いて説明する。なお、図６Ａは、前
フレームにおける輝度信号の垂直方向における変化を表
し、図６Ｂは、現フレームにおける輝度信号の垂直方向
における変化を表し、図６Ｃは、後フレームにおける輝
度信号の垂直方向における変化を表す。着目しているフ
レームエッジｆｇ２に対して、零交差点の差異ｄ３がし
きい値を超えており（零交差点の差異ｄ４はしきい値以
下である。）、後フレームの波形構造が現フレームに対
して変化していることを表す。

【００２８】次に、比較器６におけるこれらの動作を、
図７を用いて詳細に説明する。先ず、ステップＳ１にお
いて、着目しているフレームエッジに隣接する上下の構
造をチェックする。上下の構造のうちの少なくとも一方
がフレームエッジでない場合、着目しているフレームエ
ッジが動き領域を構成するものと判断し（ステップＳ
２）本ルーチンを終了する。すなわち、上下の構造のう
ちのいずれか一方がフィールド又はフレームで変化して
いる場合、フレームエッジが動き領域を構成してると判
断する。このように判断する理由は、動き領域を静止領
域とみなして処理する場合の影響が大きいことを考慮
し、動き領域を実際のものよりも広く設定するためであ
る。

【００２９】上下の構造が平坦な構造である場合、式
（４Ａ）及び（４Ｂ）を適用し、上下の構造がフレーム
で平坦な構造として取り扱えるか否か判断する（ステッ
プＳ３）。フレームエッジの端から、使用しているウェ
ーブレットのタップ数に相当する範囲内で式（４Ａ）及
び（４Ｂ）を満足する場合、フレームエッジにフレーム
で平坦な構造が隣接しているものとして取り扱うことが
できる。平坦な構造が隣接していない場合には、着目し
ているフレームエッジが動き領域を構成するものと判断
し（ステップＳ４）、本ルーチンを終了する。

【００３０】ステップＳ１で上下の構造が共にフレーム
エッジであると判断された場合及びステップＳ３で上下
の構造をフレームで平坦な構造として取り扱えると判断
した場合、ステップＳ５において、前後のフレームとの
関係が変化しているか否か、すなわち、条件４及び５を
満足するか否かを判断する。変化がある場合には、フレ
ームエッジが動き領域を構成するものと判断し（ステッ
プＳ４）、本ルーチンを終了する。それに対して、変化
がない場合には、フレームエッジが静止領域を構成する
ものと判断し（ステップＳ６）、本ルーチンを終了す
る。

【００３１】なお、上下の構造をフレームで平坦な構造
として取り扱うことができる場合には、フレームエッジ
の端から、使用しているウェーブレットのタップ数Ｎに
相当銑範囲で平均二乗誤差ＭＳＥを、現フレームと前フ
レームとの間では、

【数６】 を用いて求め、現フレームと後フレームとの間では、

【数７】 用いて求め、それらをしきい値として用いて判定する。
この場合、Ｙを、フレームエッジの端から始まる平坦な
構造の開始位置とし、Ｇ_c （Ｙ＋ｉ）を、垂直座標Ｙ＋
ｉにおける現フレームの輝度値とし、Ｇ_p （Ｙ＋ｉ）
を、垂直座標Ｙ＋ｉにおける前フレームの輝度値とし、
Ｇ_n （Ｙ＋ｉ）を、垂直座標Ｙ＋ｉにおける後フレーム
の輝度値とする。

【００３２】本実施の形態では、従来の不都合を有する
ことなく動画像の静止領域と動き領域との間の区別を行
うことができる。また、エッジ構造を考慮した情報を有
する信号Ｉ２を出力するので、エッジ構造を考慮した後
処理を行うことができ、高画質の結果を得ることができ
る。

【００３３】このように動画像をエッジ単位で取り扱う
ので、フィールド間で構造が大きく相違する動き領域を
フレーム処理して生じるときの妨害（画像劣化）が抑制
される。

【００３４】本発明は、上記実施の形態に限定されるも
のではなく、幾多の変更及び変形が可能である。例え
ば、本発明による動座像の静止領域判定装置は、図１に
示した構成以外の構成を有することができる。

【図面の簡単な説明】

【図１】 本発明による動画像の静止領域判定装置の実
施の形態を示す図である。

【図２】 ウェーブレットを示す図である。

【図３】 零交差点を説明するための図である。

【図４】 エッジの検出を説明するための図である。

【図５】 フレーム間の動きがない場合を説明するため
の図である。

【図６】 フレーム間の動きがある場合を説明するため
の図である。

【図７】 静止領域の判断処理を示すフローチャートで
ある。

【符号の説明】

１ 検出器 ２，４，５ 遅延線 ３，６ 比較器 Ｉ１，Ｉ２ 信号

───────────────────────────────────────────────────── フロントページの続き (72)発明者 苗村 昌秀 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 (72)発明者 福田 淳 東京都世田谷区砧１丁目10番11号 日本放 送協会 放送技術研究所内 Ｆターム(参考） 5C021 PA53 PA72 PA79 RA01 RA02 RA14 RA15 RA16 SA23 SA24 XB01 5C063 AA02 AC01 BA04 BA12 CA05 CA07 CA23 CA38

Claims (4)

【特許請求の範囲】
1. 【請求項１】 動画像のエッジをそれぞれ検出するエッ
   ジ検出手段と、 これらエッジのうち、フレームとして取り扱うことがで
   きるエッジ対をそれぞれ判別するエッジ対判別手段と、 前記エッジ対を有するフレームの各々について、それに
   前後するフレームとの関係に基づいて静止領域であるか
   否かを判断する静止領域判断手段とを具えることを特徴
   とする動画像の静止領域判定装置。
2. 【請求項２】 前記エッジ検出手段が、前記動画像のフ
   ィールドごとにウェーブレット変換を行って、各エッジ
   の幅及び零交差点を求め、その零交差点におけるエッジ
   の強度が第１の値以上であるか否かによって前記エッジ
   を検出するように構成したことを特徴とする請求項１記
   載の動画像の静止領域判定装置。
3. 【請求項３】 前記エッジ対判別手段が、同一フレーム
   内のフィールド間で重なる位置に存在するエッジ対に対
   して、前記零交差点の差異が第２の値以下であり、各フ
   ィールドのエッジ幅の位置の差異が前記フレームで１ラ
   インであり、かつ、前記フレームにおける輝度値が単調
   に増加又は減少する場合、そのエッジ対が、前記フレー
   ムとして取り扱うことができるエッジ対であることを判
   別するように構成したことを特徴とする請求項１又は２
   記載の動画像の静止領域判定装置。
4. 【請求項４】 前記静止領域判断手段が、前記エッジ対
   を有するフレームとそれに前後するフレームとの間で、
   前記零交差点の差異が第３の値以下であり、かつ、構造
   の変化がない場合には、前記エッジ対が、前記静止領域
   を構成する静止エッジ対であると判断するように構成し
   たことを特徴とする請求項１から３のうちのいずれか１
   項に記載の動画像の静止領域判定装置。