JP2002032758A

JP2002032758A - 動き検出装置

Info

Publication number: JP2002032758A
Application number: JP2000216508A
Authority: JP
Inventors: Susumu Tanase; 晋棚瀬; Akihiro Maenaka; 章弘前中
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2000-07-17
Filing date: 2000-07-17
Publication date: 2002-01-31
Anticipated expiration: 2020-07-17
Also published as: EP1175088A2; DE60141557D1; EP1175088B1; US7113544B2; US20020012393A1; EP1175088A3; JP3653450B2

Abstract

(57)【要約】【課題】本発明は、動きの検出される画素周辺の画素の
画像データを用いることで、その検出精度をより向上さ
せた動き検出装置を提供することを目的とする。【解決手段】動きが検出される画素に対して垂直方向に
隣接した２画素の画像データの差分より比較回路９，１
０で用いる閾値の値を変更する。又、比較回路９におい
て、動きが検出される画素の２フィールド間での画像デ
ータの差分と閾値とが比較され、比較回路１０におい
て、動きが検出される画素に対して垂直方向に隣接した
２画素の２フィールド間での画像データの差分と閾値と
が比較される。この比較結果を加算回路１２で重み付け
加算した値より動きの検出を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画が再生される
際において、各フィールド毎に再生される被写体の動き
を検出するための動き検出装置に関する。

【０００２】

【従来の技術】インターレース方式で撮影された画像
は、各フィールド毎に偶数ラインの画素と奇数ラインの
画素とが交互に撮像動作が行われることによって撮影さ
れる。よって、このようなインターレース方式で撮影さ
れた画像を再生する場合、各フィールド毎に撮影時の画
像データを有していない画素の画像データを補間する必
要がある。このように、画像データのない画素における
画像データの補間を行う方法として、近接した複数の画
素の画像データに基づいて補間する空間的な補間方法
と、現在再生されているフィールドの前後複数のフィー
ルドにおける同一画素の画像データに基づいて補間する
時間的な補間方法とがある。

【０００３】そして、この空間的な補間方法と時間的な
補間方法のいずれを使用して画像データの補間を行う
か、画像上の被写体の動きを検出することによって判断
されている。即ち、動きのある被写体を撮像している画
素の画像データは空間的な補間方法によって、又、動き
のない被写体を撮像している画素の画像データは時間的
な補間方法によって、それぞれ補間される。このよう
に、各画素が撮像している被写体の動きの状態に応じ
て、補間方法を切り換えることによって、各フィールド
における再生画像を、撮像された被写体により忠実な画
像とすることができる。

【０００４】このような動きを検出するために、従来
は、偶数フィールド同士又は奇数フィールド同士におけ
る同一画素の画像データの差分を演算し、この差分と所
定の閾値とを比較することによって、動きの検出を行っ
ていた。即ち、補間される画素で撮像される被写体の動
きを検出するために、１フィールド前のフィールドと３
フィールド前のフィールドの補間される画素における画
像データの差を、所定の閾値と比較し、その差が閾値よ
り大きくなったとき、補間される画素によって撮像され
た被写体に動きがあるものと判断される。

【０００５】

【発明が解決しようとする課題】このように同一画素に
おけるフィールド間の画像データの差を所定の閾値と比
較することによって、補間される画素によって撮像され
た被写体に動きがあるか否かが判断される。このように
比較する閾値を一定することによって、例えば、再生さ
れる現フィールドの前のフィールドまで動きがあった
が、現フィールドにおいて動きがなくなった場合におい
ても、前のフィールドまで動きがあるため、現フィール
ドにおいても動きがあるものと誤って判断される。よっ
て、実際は隣接した画素の画像データの値がほぼ等しい
いるために空間的な補間を行う方が最適であるが、時間
的な補間を行われるために、実際の画像に忠実なものと
できず、動画再生される際にちらつきなどが発生するこ
とがある。

【０００６】このような問題を鑑みて、本発明は、動き
の検出される画素周辺の画素の画像データを用いること
で、その検出精度をより向上させた動き検出装置を提供
することを目的とする。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に、請求項１に記載の動き検出装置は、フィールド毎に
偶数行のラインに配された画素の画像データと奇数行の
ラインに配された画素の画像データとが交互に入力さ
れ、画像データの入力されていないラインの各画素にお
ける被写体の動きを検出する動き検出装置において、動
きの検出が行われる第１画素の配されたラインの上下に
隣接したラインに配されるとともに前記第１画素に隣接
した第２画素及び第３画素の画像データの差分に基づい
て閾値が定められ、前記第１、第２、及び第３画素の２
フィールド間の画像データの差分がそれぞれ前記閾値と
比較されて得た結果に基づいて、前記第１画素に動きが
あったか否かが検出されることを特徴とする。

【０００８】このような動き検出装置において、第２画
素と第３画素の画像データの差分が大きくなるとき、動
き検出の判定基準が厳しくなるように、閾値を設定する
ようにして、例えば後続に補間回路が接続される場合、
この動き検出装置で検出した結果を補間回路に与え、第
２画素と第３画素の画像データの差分が小さくなる場合
でも、誤って時間的な補間が行わることを防ぐ。このよ
うに補間されたとき、より自然的な画像が再生される。

【０００９】又、請求項２に記載するように、前記第
１、第２及び第３画素を含む前記第１画素を中心に前記
第１画素に近接した複数の画素それぞれにおける２フィ
ールド間の画像データの差分が、各画素について設定さ
れた前記閾値と比較され、この複数の比較結果に基づい
て、前記第１画素に動きがあったか否かが検出されるよ
うにしても構わない。

【００１０】このようにしたとき、例えば、前記閾値と
比較されて得た結果を重み付け加算することによって得
た結果より、第１画素に動きがあったか否かが検出され
るようにしても構わない。又、このとき、重み付け係数
が、第１画素に離れた位置の画素における比較結果に与
えられるものほど小さくなるようにして、第１画素の比
較結果に重みを置くようにしても構わない。

【００１１】請求項３に記載の動き検出装置は、フィー
ルド毎に偶数行のラインに配された画素の画像データと
奇数行のラインに配された画素の画像データとが交互に
入力され、画像データの入力されていないラインの各画
素における被写体の動きを検出する動き検出装置におい
て、動きの検出が行われる第１画素の配されたラインの
上下いずれかに隣接したラインに配されるとともに前記
第１画素に隣接した第２画素と前記第１画素との画像デ
ータの差分の絶対値が第１閾値より小さく、且つ、前記
第１画素の２フィールド間における画像データの差分の
絶対値が第２閾値より小さく、且つ、前記第２画素の２
フィールド間における画像データの差分の絶対値が前記
第２閾値より小さいとき、前記第１画素に動きがないも
のとされることを特徴とする。

【００１２】例えば、第１画素に字幕が表示される場
合、第１画素の２フィールド間における画像データ、及
び、第１画素の上下に隣接した少なくとも一方のライン
に配された第２画素の２フィールド間における画像デー
タは、それぞれ、略等しい値となる。又、この隣接した
第１画素及び第２画素の画像データについても略等しい
値となる。よって、第１及び第２画素の画像データによ
る差分が第１閾値より小さく、且つ、第１及び第２画素
の２フィールド間における画像データの差分が第２閾値
より小さいとき、第１画素に動きがないものと見なされ
る。

【００１３】請求項４に記載の動き検出装置は、フィー
ルド毎に偶数行のラインに配された画素の画像データと
奇数行のラインに配された画素の画像データとが交互に
入力され、画像データの入力されていないラインの各画
素における被写体の動きを検出する動き検出装置におい
て、前記偶数行及び奇数行のラインのうち、動きの検出
が行われる画素が配される一方のラインを第１ラインと
するとともに、画像データを有する画素が配される他方
のラインを第２ラインとし、又、動きの検出が行われる
フィールドを第１フィールド、該第１フィールドの１フ
ィールド前に入力されたフィールドを第２フィールド、
前記第１フィールドの２フィールド前に入力されたフィ
ールドを第３フィールド、前記第１フィールドの３フィ
ールド前に入力されたフィールドを第４フィールド、と
し、更に、現在動きの検出が行われる第１ライン上の画
素を第１画素、該第１画素と隣接するとともに該第１画
素と同列に配された前記第２ライン上の第２画素及び第
３画素としたとき、前記第２画素の前記第１フィールド
における画像データと前記第３画素の前記第１フィール
ドにおける画像データの差分に基づいて、閾値を設定す
る閾値制御回路と、前記第１画素の前記第２フィールド
及び前記第４フィールドにおける画像データの差分、前
記第２及び第３画素の前記第１フィールド及び前記第３
フィールドにおける画像データの差分を求める差分演算
回路と、前記差分演算回路で求められた前記第１、第２
及び第３画素の画像データの差分が、それぞれ、前記閾
値制御回路で設定される閾値と比較され、前記第１、第
２及び第３画素のうち、前記画像データの差分の絶対値
が前記閾値より大きくなる画素に動きがあると判断され
る比較回路と、前記比較回路より与えられる前記第１、
第２及び第３画素を含む前記第１画素に近接した複数の
画素についての比較結果に基づいて、前記第１画素に動
きがあったか否かが検出される検出回路と、を有するこ
とを特徴とする。

【００１４】このような動き検出装置において、請求項
５に記載するように、前記比較回路が、前記第１画素の
前記第２フィールド及び前記第４フィールドにおける画
像データの差分の絶対値と前記閾値とを比較するととも
に、前記第１画素の画像データの差分の絶対値が前記閾
値より大きいときは１を比較結果として出力し、又、前
記第１画素の画像データの差分の絶対値が前記閾値より
小さいときは０を比較結果として出力する第１比較回路
と、前記第２画素の前記第１フィールド及び前記第３フ
ィールドにおける画像データの差分の絶対値と前記閾値
とを比較するとともに、前記第２画素の画像データの差
分の絶対値が前記閾値より大きいときは１を比較結果と
して出力し、又、前記第２画素の画像データの差分の絶
対値が前記閾値より小さいときは０を比較結果として出
力する第２比較回路と、前記第３画素の前記第１フィー
ルド及び前記第３フィールドにおける画像データの差分
の絶対値と前記閾値とを比較するとともに、前記第３画
素の画像データの差分の絶対値が前記閾値より大きいと
きは１を比較結果として出力し、又、前記第３画素の画
像データの差分の絶対値が前記閾値より小さいときは０
を比較結果として出力する第３比較回路と、を有し、前
記検出回路が、前記第１、第２及び第３比較回路のそれ
ぞれから連続して出力される複数の比較結果に重み係数
を乗じて重み付け加算を行い、該重み付け加算の結果が
大きくなったとき、前記第１画素に動きが検出されるよ
うにしても構わない。

【００１５】更に、請求項６に記載するように、前記検
出回路において重み付け加算が行われる際、前記第１、
第２及び第３画素を含む前記第１画素に近接した複数の
画素に関する前記比較回路における比較結果に乗ずる重
み係数が、前記第１画素に離れた位置に配される画素ほ
ど小さくなるようにしても構わない。このようにするこ
とで、重み付け加算が行われる際、第１画素の比較結果
に重みをおくとともに、周囲に近接する画素の関連性を
考慮して動きを検出することができる。

【００１６】請求項４〜請求項６のいずれかに記載の動
き検出装置において、請求項７に記載の動き検出装置
は、前記閾値設定回路において、前記第２画素の画像デ
ータと前記第３画素の画像データの差分の絶対値が小さ
いとき前記閾値の値が小さく、又、前記第２画素の画像
データと前記第３画素の画像データの差分の絶対値が大
きいとき、前記閾値が大きくなるように設定されること
を特徴する。

【００１７】例えば、動き検出装置の後続に補間回路を
接続したとき、動き検出装置で動きがあると判断された
画素については、空間的な補間が行われ、又、動きがな
いと判断された画素については、時間的な補間が行われ
る。このようにしたとき、補間される画素の上下に隣接
した画素の画像データの差が小さいとき、補間する画素
において動きがない場合でも、空間的な補間を行うこと
によって再生された画像が、人間の目に自然に映ること
がある。よって、第２及び第３画素の画像データの差が
小さいとき、動きが検出されやすくなるよう、閾値の値
が小さくなるように設定される。

【００１８】請求項８に記載の動き検出装置は、請求項
４〜請求項６のいずれかに記載の動き検出装置におい
て、前記前記第２画素の画像データと前記第３画素の画
像データの差分の絶対値をｄ、前記閾値をTHとしたと
き、前記閾値THと前記画像データの差分の絶対値ｄの関
係が、min、max、αを定数としたとき、TH＝min＋(ｄ−
α)（min≦TH≦max）を満たすような関係になるよう
に、前記閾値設定回路において、前記閾値が設定される
ことを特徴する。

【００１９】請求項９に記載の動き検出装置は、請求項
４〜請求項７のいずれかに記載の動き検出装置におい
て、前記第１画素の前記第２フィールドにおける画像デ
ータと前記第２画素の前記第１フィールドにおける画像
データとの差分が第１閾値より小さく、且つ、前記第１
画素の画像データの第２フィールド及び第４フィールド
における画像データの差分が第２閾値より小さく、且
つ、前記第２画素の画像データの第１フィールド及び第
３フィールドにおける画像データの差分が前記第２閾値
より小さいとき、又は、前記第１画素の前記第２フィー
ルドにおける画像データと前記第３画素の前記第１フィ
ールドにおける画像データとの差分が前記第１閾値より
小さく、且つ、前記第１画素の画像データの第２フィー
ルド及び第４フィールドにおける画像データの差分が前
記第２閾値より小さく、且つ、前記第３画素の画像デー
タの第１フィールド及び第３フィールドにおける画像デ
ータの差分が前記第２閾値より小さいとき、前記比較回
路より出力される前記比較結果に関係なく、前記第１画
素に動きがないものとされることを特徴とする。

【００２０】例えば、第１画素に字幕が表示される場
合、第１画素の２フィールド間における画像データ、及
び、第２又は第３画素における画像データは、それぞ
れ、略等しい値となる。又、この隣接した第１画素の画
像データと第２又は第３画素の画像データについても略
等しい値となる。よって、第１画素の画像データと第２
又は第３画素の画像データによる差分が第１閾値より小
さく、且つ、第１画素と第２又は第３画素の２フィール
ド間における画像データの差分が第２閾値より小さいと
き、第１画素に動きがないものと見なされる。このよう
にすることで、第１画素が字幕表示などの動きのない場
合にあっても、検出回路で動きがあると誤検出すること
がなくなる。

【００２１】

【発明の実施の形態】＜第１の実施形態＞本発明の第１
の実施形態について、図面を参照して説明する。図１
は、本実施形態の動き検出装置の内部構成を示すブロッ
ク図である。

【００２２】図１の動き検出装置は、１フィールド分の
画像データを格納するフィールドメモリ１，２，３，４
と、フィールドメモリ１，３から出力される同一画素に
おける画像データを減算する減算回路５と、フィールド
メモリ２，４から出力される同一画素における画像デー
タを減算する減算回路６と、減算回路５，６の出力の絶
対値をそれぞれ演算する絶対値演算回路７，８と、絶対
値演算回路７，８の出力を閾値制御回路１１で設定され
る閾値と比較する比較回路９，１０と、フィールドメモ
リ１より与えられる画像データに基づいて閾値の値を制
御する閾値制御回路１１と、比較回路９，１０からの出
力を重み付け加算する加算回路１２と、加算回路１２の
出力より動きの検出を行う動き検出回路１３とを有す
る。

【００２３】この動き検出装置は、入力される１フィー
ルド分の画像データがフィールドメモリ１に格納され
る。このフィールドメモリ１に格納された１フィールド
分の画像データは、フィールドメモリ２及び減算回路５
及び閾値制御回路１１に送出される。又、フィールドメ
モリ２に格納された１フィールド分の画像データは、フ
ィールドメモリ３及び減算回路６に送出され、フィール
ドメモリ３に格納された１フィールド分の画像データが
フィールドメモリ４及び減算回路５に送出される。そし
て、フィールドメモリ４に格納された１フィールド分の
減算回路６に送出される。

【００２４】よって、フィールドメモリ１には、動き検
出するためのフィールドである現フィールド（以下、
「第１フィールド」と呼ぶ）の画像データが格納され
る。そして、フィールドメモリ２には現フィールドの１
フィールド前のフィールド（以下、「第２フィールド」
と呼ぶ）の画像データが、フィールドメモリ３には現フ
ィールドの２フィールド前のフィールド（以下、「第３
フィールド」と呼ぶ）の画像データが、フィールドメモ
リ４には現フィールドの３フィールド前のフィールド
（以下、「第４フィールド」と呼ぶ）の画像データが、
それぞれ格納される。そして、減算回路５では、第１フ
ィールドと第３フィールドの同一画素における画像デー
タの差分が求められるとともに、減算回路６では、第２
フィールドと第４フィールドの同一画素における画像デ
ータの差分が求められる。

【００２５】このとき、後続の不図示の補間回路で補間
されるとともに動きの検出対象とされる対象画素に隣接
された複数の画素の２フィールド間における画像データ
の差が求められる。即ち、図２のように配列している３
ライン分の画素において、その中心のラインＬ２に配置
される各画素の画像データが補間されるとき、ラインＬ
２の上下のラインＬ１，Ｌ３に配置される各画素の第１
フィールドと第３フィールドの差分が減算回路５で、ラ
インＬ２に配置される各画素の第２フィールドと第４フ
ィールドの差分が減算回路６で、それぞれ求められる。

【００２６】この減算回路５，６で求められた第１フィ
ールドと第３フィールドとの差分、及び第２及び第４フ
ィールドとの差分が、絶対値演算回路７，８に与えられ
ると、絶対値演算回路７，８で、第１フィールドと第３
フィールドとの差分の絶対値、及び第２及び第４フィー
ルドとの差分の絶対値が求められる。よって、図２のよ
うに、画素Ｇａ〜Ｇｉが３ライン分配列されていると
き、絶対値演算回路７においてラインＬ１に配列される
画素Ｇａ，Ｇｂ，Ｇｃ及びラインＬ３に配列される画素
Ｇｇ，Ｇｈ，Ｇｉの第１フィールドと第３フィールドの
差分の絶対値が、絶対値演算回路８においてラインＬ２
に配列される画素Ｇｄ，Ｇｅ，Ｇｆの第２フィールドと
第４フィールドの差分の絶対値が、それぞれ求められ
る。

【００２７】今、画素Ｇａ〜Ｇｃ，Ｇｇ〜Ｇｉの第１フ
ィールドの画像データをga1〜gc1，gg1〜gi1と、画素Ｇ
ａ〜Ｇｃ，Ｇｇ〜Ｇｉの第３フィールドの画像データを
ga3〜gc3，gg3〜gi3と、画素Ｇｄ〜Ｇｆの第２フィール
ドの画像データをgd2〜gf2と、画素Ｇｄ〜Ｇｆの第４フ
ィールドの画像データをgd4〜gf4と、する。このとき、
減算回路６及び絶対値演算回路８において、画素Ｇｄの
画像データの第２フィールドと第４フィールドとの差分
の絶対値|gd2−gd4|が求められるとき、減算回路５及び
絶対値演算回路７において、画素Ｇａ，Ｇｇの画像デー
タの第１フィールドと第３フィールドとの差分の絶対値
|ga1−ga3|、|gg1−gg3|が求められる。

【００２９】このように、減算回路６，７及び絶対値演
算回路８，９において、各画素における２フィールド間
での画像データの差分が求められたとき、閾値制御回路
１１によって、フィールドメモリ１より与えられる第１
フィールドの画像データより、各画素毎の比較回路９，
１０における閾値が設定される。このとき、対象画素が
配されるラインＬ２の上下のラインＬ１，Ｌ３に配され
る２画素間の第１フィールドにおける画像データの差分
の絶対値を求め、このラインＬ１，Ｌ３に配される２画
素間の画像データの差分の絶対値に基づいて、比較回路
９，１０に与える閾値が設定される。

【００３１】このように閾値が設定される際、対象画素
の上下２画素間の画像データの差分の絶対値をｄとした
とき、この差分の絶対値ｄに対して、図３のグラフのよ
うな関係に基づいて、閾値THが求められる。即ち、閾値
THと差分の絶対値ｄの関係が、以下の（１）式で表され
る。尚、min、max、αは定数である。 TH＝min＋(ｄ−α) (min≦TH≦max) … （１）

【００３３】このようにして求められた閾値THが比較回
路９，１０に与えられて、絶対値演算回路７，８からの
出力と比較され、絶対値演算回路７，８からの出力が閾
値THより大きいとき動きがあるものとし、動き情報とし
て“１”を出力し、絶対値演算回路７，８からの出力が
閾値THより小さいとき動きがあるものとし、動き情報と
して“０”を出力する。

【００３５】そして、各画素毎の動き情報が比較回路
９，１０より加算回路１２に出力されると、対象画素及
びこの対象画素に近接する複数の画素の動き情報に、重
み付けを行って加算される。このとき、対象画素を中心
としたとき、対象画素の動き情報にもっとも大きい重み
係数を与え、この対象画素より離れた位置にある画素ほ
ど、与えられる重み係数の値が小さくなるように、重み
付けが施される。尚、本実施形態では、対象画素を中心
に９つの画素の動き情報の重み付け加算が行われるもの
とする。

【００３６】即ち、図２において、画素Ｇｅが対象画素
となるものとすると、比較回路９より与えられる画素Ｇ
ａ〜Ｇｃ，Ｇｇ〜Ｇｉの動き情報Ａ〜Ｃ，Ｇ〜Ｉ、及
び、比較回路１０より与えられる画素Ｇｄ〜Ｇｆの動き
情報Ｄ〜Ｆが、加算回路１２で以下の（２）式のように
して重み付け加算され、動き加算レベルｍが求められ
る。尚、ka〜kfを重み付け係数とする。ｍ＝ka×Ａ＋kb×Ｂ＋kc×Ｃ＋kd×Ｄ＋ke×Ｅ＋kf×Ｆ＋kg×Ｇ＋kh×Ｈ＋ki×Ｉ … （２）

【００３７】このようにして動き加算レベルｍが求めら
れる際、重み付け係数は、例えば、ka＝１，kb＝２，kc
＝１，kd＝２，ke＝４，kf＝２，kg＝１，kh＝２，ki＝
１のように、以下のような関係になるようにして設定さ
れる。 ka＝kc＝kg＝ki≦kb＝kd＝kf＝kh≦ke

【００３８】尚、更に多くの動き情報に基づいて、加算
回路１２で重み加算が行われる際、重み係数を以下のよ
うに定めても構わない。以下の３例は、対象画素を中心
に水平方向に２ｍ−１、垂直方向に２ｎ−１、配列され
た(２ｍ−１)×(２ｎ−１)の画素（即ち、２ｍ−１個の
画素が配される２ｎ−１行分の画素）による動き情報が
重み加算された場合において定められる重み係数の例で
ある。

【００３９】１．設定される重み係数の第１例今、２ｎ−１行のラインを上から順に、ラインＬ1，Ｌ
2，…Ｌ2n-1とする。このとき、ラインＬ1，Ｌ2n-1に配
された画素から得られる動き情報に乗算される重み係数
が、ラインＬnに配された対象画素からの距離が近い位
置の画素から順に、ｍ，ｍ−１，ｍ−２，…，１とされ
る。即ち、ラインＬ1，Ｌ2n-1に配された画素から得ら
れる動き情報に乗算される重み係数が左から順に、１，
２，…，ｍ−１，ｍ，ｍ−１，…，２，１とされる。

【００４０】又、対象画素に対して垂直方向に１画素分
近い位置に配列されるラインＬ2，Ｌ2n-2上の画素から
得られる動き情報に乗算される重み係数は、それぞれ、
ラインＬ1，Ｌ2n-1上の画素から得られる動き情報に乗
算される重み係数に１を加えた、２，３，…，ｍ，ｍ＋
１，ｍ，…，３，２とされる。そして、更に垂直方向に
１画素近い位置に配列されるラインＬ3，Ｌ2n-3上の画
素から得られる動き情報に乗算される重み係数は、それ
ぞれ、ラインＬ2，Ｌ2n-2上の画素から得られる動き情
報に乗算される重み係数に１を加えた、３，４，…，ｍ
＋１，ｍ＋２，ｍ＋１，…，４，３とされる。そして、
対象画素が配されるラインＬnの画素から得られる動き
情報に乗算される重み係数は、ｎ，ｎ＋１，…，ｍ＋ｎ
−２，ｍ＋ｎ−１，ｍ＋ｎ−２，…，ｎ＋１，ｎとされ
る。

【００４１】このようにして、ラインの位置が動き検出
される画素に対して１画素分近い位置に配されると、ラ
イン上の画素から得られる動き情報に乗算される重み係
数が、それぞれ１画素分遠い位置に配されたライン上の
画素から得られる動き情報に乗算される重み係数に１を
加えた値となる。

【００４２】よって、左側から１列目又は２ｍ−１列目
に配された画素から得られる動き情報に乗算される重み
係数は、上から順に１，２，…，ｎ−１，ｎ，ｎ−１，
…，２，１とされる。又、左側から２列目又は２ｍ−２
列目に配された画素から得られる動き情報に乗算される
重み係数は、上から順に、左側から１列目又は２ｍ−１
目に配された画素から得られる動き情報に乗算される重
み係数に１を加えた、２，３，…，ｎ，ｎ＋１，ｎ，
…，３，２とされる。更に、左側から３列目又は２ｍ−
３列目に配された画素から得られる動き情報に乗算され
る重み係数は、上から順に、左側から２列目又は２ｍ−
２目に配された画素から得られる動き情報に乗算される
重み係数に１を加えた、３，４，…，ｎ＋１，ｎ＋２，
ｎ＋１，…，４，３とされる。そして、対象画素が配さ
れるｍ列目に配された画素から得られる動き情報に乗算
される重み係数は、ｍ，ｍ＋１，…，ｍ＋ｎ−２，ｍ＋
ｎ−１，ｍ＋ｎ−２，…，ｍ＋１，ｍとされる。

【００４３】２．設定される重み係数の第２例今、２ｎ−１行のラインを上から順に、ラインＬ1，Ｌ
2，…Ｌ2n-1とする。このとき、ラインＬ1，Ｌ2n-1に配
された画素から得られる動き情報に乗算される重み係数
が、ラインＬnに配された対象画素からの距離が近い位
置の画素から順に、ｍ，ｍ−１，ｍ−２，…，１とされ
る。即ち、ラインＬ1，Ｌ2n-1に配された画素から得ら
れる動き情報に乗算される重み係数が左から順に、１，
２，…，ｍ−１，ｍ，ｍ−１，…，２，１とされる。

【００４４】又、対象画素に対して垂直方向に１画素分
近い位置に配列されるラインＬ2，Ｌ2n-2上の画素から
得られる動き情報に乗算される重み係数は、それぞれ、
ラインＬ1，Ｌ2n-1上の画素から得られる動き情報に乗
算される重み係数に２を乗じた、２，４，…，２×(ｍ
−１)，２×ｍ，２×(ｍ−１)，…，４，２とされる。
そして、更に垂直方向に１画素近い位置に配列されるラ
インＬ3，Ｌ2n-3上の画素から得られる動き情報に乗算
される重み係数は、それぞれ、ラインＬ2，Ｌ2n-2上の
画素から得られる動き情報に乗算される重み係数に２を
乗じた、４，８，…，４×(ｍ−１)，４×ｍ，４×(ｍ
−１)，…，８，４とされる。そして、対象画素が配さ
れるラインＬnの画素から得られる動き情報に乗算され
る重み係数は、２^n-1，２^n-1×２，…，２^n-1×(ｍ−
１)，２^n-1×ｍ，２^n-1×(ｍ−１)，…，２^n-1×２，２
^n-1とされる。

【００４５】このようにして、ラインの位置が対象画素
に対して１画素分近い位置に配されると、ライン上の画
素から得られる動き情報に乗算される重み係数が、それ
ぞれ１画素分遠い位置に配されたライン上の画素から得
られる動き情報に乗算される重み係数に２を乗じた値と
なる。

【００４６】よって、左側から１列目又は２ｍ−１列目
に配された画素から得られる動き情報に乗算される重み
係数は、上から順に１，２，…，２^n-2，２^n-1，
２^n-2，…，２，１とされる。又、左側から２列目又は
２ｍ−２列目に配された画素から得られる動き情報に乗
算される重み係数は、上から順に、２，４，…，２^n-2
×２，２^n-1×２，２^n-2×２，…，４，２とされる。更
に、左側から３列目又は２ｍ−３列目に配された画素か
ら得られる動き情報に乗算される重み係数は、上から順
に、３，６，…，２^n-2×３，２^n-1×３，２^n-2×３，
…，６，３とされる。そして、対象画素が配されるｍ列
目に配された画素から得られる動き情報に乗算される重
み係数は、ｍ，２×ｍ，…，２^n-2×ｍ，２^n-1×ｍ，２
^n-2×ｍ，…，２×ｍ，ｍとされる。

【００４７】３．設定される重み係数の第３例今、２ｎ−１行のラインを上から順に、ラインＬ1，Ｌ
2，…Ｌ2n-1とする。このとき、ラインＬ1，Ｌ2n-1に配
された画素から得られる動き情報に乗算される重み係数
が、ラインＬnに配された対象画素からの距離が近い位
置の画素から順に、２^m-1，２^m-2，２^m-3，…，１とさ
れる。即ち、ラインＬ1，Ｌ2n-1に配された画素から得
られる動き情報に乗算される重み係数が左から順に、
１，２，…，２^m-2，２^m-1，２^m-2，…，２，１とされ
る。

【００４８】又、対象画素に対して垂直方向に１画素分
近い位置に配列されるラインＬ2，Ｌ2n-2上の画素から
得られる動き情報に乗算される重み係数は、それぞれ、
ラインＬ1，Ｌ2n-1上の画素から得られる動き情報に乗
算される重み係数に２を乗じた、２，４，…，２^m-1，
２^m，２^m-1，…，４，２とされる。そして、更に垂直方
向に１画素近い位置に配列されるラインＬ3，Ｌ2n-3上
の画素から得られる動き情報に乗算される重み係数は、
それぞれ、ラインＬ2，Ｌ2n-2上の画素から得られる動
き情報に乗算される重み係数に２を乗じた、４，８，
…，２^m，２^m+1，２^m，…，８，４とされる。そして、
対象画素が配されるラインＬnの画素から得られる動き
情報に乗算される重み係数は、２^n-1，２ⁿ，…，２
^m+n-3，２^m+n-2，２^m+n-3，…，２ⁿ，２^n-1とされる。

【００４９】このようにして、ラインの位置が対象画素
に対して１画素分近い位置に配されると、ライン上の画
素から得られる動き情報に乗算される重み係数が、それ
ぞれ１画素分遠い位置に配されたライン上の画素から得
られる動き情報に乗算される重み係数に２を乗じた値と
なる。

【００５０】よって、左側から１列目又は２ｍ−１列目
に配された画素から得られる動き情報に乗算される重み
係数は、上から順に、１，２，…，２^n-2，２^n-1，２
^n-2，…，２，１とされる。又、左側から２列目又は２
ｍ−２列目に配された画素から得られる動き情報に乗算
される重み係数は、上から順に、左側から１列目又は２
ｍ−１目に配された画素から得られる動き情報に乗算さ
れる重み係数に２を乗じた、２，４，…，２^n-1，２ⁿ，
２^n-1，…，４，２とされる。更に、左側から３列目又
は２ｍ−３列目に配された画素から得られる動き情報に
乗算される重み係数は、上から順に、左側から２列目又
は２ｍ−２目に配された画素から得られる動き情報に乗
算される重み係数に２を乗じた、４，８，…，２ⁿ，２
ⁿ⁺¹，２ⁿ，…，８，４とされる。そして、対象画素が配
されるｍ列目に配された画素から得られる動き情報に乗
算される重み係数は、２^m-1，２^m，…，２^m+n-3，２
^m+n-2，２^m+n-3，…，２^m，２^m-1とされる。

【００５１】このようにして定められた重み係数が、加
算回路１２において、各画素における動き情報に乗算さ
れることで重み付け加算が施され、動き加算レベルｍが
求められ、動き検出回路１３に送出される。そして、動
き検出回路１３では、加算回路１２より送出される動き
加算レベルｍの値が大きいほど動きがあると判断され、
動き検出結果が出力される。そして、例えば、後続の補
間回路（不図示）で補間される画素の画像データが空間
的な補間（ライン間補間）で得られた画像データと、時
間的な補間（フィールド間補間）で得られた画像データ
とに重み係数を与えて重み付け加算して求める際、動き
検出回路１３より出力される動き検出結果に基づいて、
重み係数の値を変更するようにすることができる。

【００５２】動き検出回路１３からの動き検出結果は、
例えば、（１）ｍ＜sum1、（２）sum1≦ｍ＜sum2、
（３）sum2≦ｍ＜sum3、（４）sum3≦ｍ＜sum4、（５）
sum4≦ｍのそれぞれの場合に応じて出力されるようにし
ても構わない。このとき、後続に補間回路を設け、時間
的な補間で得られた画像データｇ１、空間的な補間で得
られた画像データｇ２とし、この画像データｇ１，ｇ２
を重み付け加算することによって補間される画素の画像
データｇが生成されるものとする。

【００５３】よって、上述したように動き検出結果を５
段階にしたとき、画像データｇを求める重み付け加算を
行うための式ｇ＝ｘ×ｇ１＋ｙ×ｇ２における重み係数
ｘ、ｙを、例えば、以下のように変更することができ
る。（１）ｍ＜sum1のとき (ｘ，ｙ)＝(１，０) （２）sum1≦ｍ＜sum2のとき (ｘ，ｙ)＝(3/4，1/4) （３）sum2≦ｍ＜sum3のとき (ｘ，ｙ)＝(1/2，1/2) （４）sum3≦ｍ＜sum4のとき (ｘ，ｙ)＝(1/4，3/4) （５）sum4≦ｍのとき (ｘ，ｙ)＝(０，１)

【００５４】＜第２の実施形態＞本発明の第２の実施形
態について、図面を参照して説明する。図４は、本実施
形態の動き検出装置の内部構成を示すブロック図であ
る。尚、図４の動き検出装置において、図１の動き検出
装置と同一の目的で使用する部分については、同一の符
号を付してその詳細な説明は省略する。

【００５５】本実施形態の動き検出装置は、第１の実施
形態（図１）の動き検出装置に、更に、字幕検出回路１
４が設けられたものである。即ち、フィールドメモリ
１，２及び絶対値演算回路７，８からの出力より、対象
画素が字幕表示を行っているか否かを判定し、判定結果
を出力として動き検出回路１３に送出する。このような
構成の動き検出装置は、減算回路５，６、絶対値演算回
路７，８、比較回路９，１０、閾値演算回路１１、及び
加算回路１２の動作については、第１の実施形態と同様
であるので、第１の実施形態を参照するものとし、その
詳細な説明については省略し、以下に、第１の実施形態
と異なる動作を行う字幕検出回路１４と動き検出回路１
３の動作について説明する。

【００５６】第１の実施形態では、閾値制御回路１１
で、対象画素の上下の画素の第１フィールドにおける画
像データの差分によって閾値が設定される。このとき、
画像データの差分の絶対値が小さいとき閾値が小さくな
るようにすることで、動き検出回路１３において動きと
して検出されやすくなる。よって、例えば、図２のよう
に配置された９つの画素において、ラインＬ1，Ｌ2に字
幕が表示されているような場合において、例えば、画素
Ｇｅを対象画素としたときに、画素Ｇｂ，Ｇｈの画像デ
ータの差分の絶対値|gb1−gh1|が小さくなるとともに、
加算回路１２より出力する動き検出結果が大きくなった
場合、動き検出回路１３において画素Ｇｅにおいて動き
があると誤判別される恐れがある。

【００５７】よって、このとき、字幕検出回路１４によ
って、対象画素の上下の２画素の第１フィールドにおけ
る画像データ、対象画素の第２フィールドにおける画像
データ、対象画素の上下の２画素の第１フィールドと第
３フィールドとにおける画像データの差分、及び、対象
画素の第２フィールドと第４フィールドとにおける画像
データの差分に基づいて、対象画素において字幕が表示
されているか否かが判別される。このように、対象画素
の画像データが、字幕表示用のデータであるか否かが判
別される際の字幕検出回路１４での動作を、以下に説明
する。

【００６２】尚、本実施形態では、垂直方向に隣接した
３画素の画像データによって、その中心の対象画素に字
幕が表示されているか否かが判断されたが、この隣接し
た３画素に水平方向に隣接した複数の画素の画像データ
における上述した関係と同様の関係に基づいて、中心の
対象画素に字幕が表示されているか否かが判断されるよ
うにしても構わない。

【００６３】

【発明の効果】本発明によると、動きが検出される第１
画素に隣接した第２及び第３画素の画像データの関係に
基づいて、第１画素における動きが検出される。よっ
て、フィールド間の画像データの関係のみで動きがある
か否か判断される場合に比べ、その動きの誤判定を行う
割合を低減することができる。特に、第２及び第３画素
の画像データの差分が小さいときは、動きがないものと
する方が有利である。よって、本発明において、第２及
び第３画素の画像データの差分が小さいとき、閾値の値
を小さくすることによって、第１画素に動きがないと判
断することができるので、例えば、第１画素の画像デー
タを補間するときなどにおいて、空間補間で補間された
画像データを優先的に選択することができる。

【００６４】又、この動き検出のほかに、第１画素のフ
ィールド間の画像データの差分、第２又は第３画素のフ
ィールド間の画像データの差分、及び、第１画素と第２
又は第３画素のとの画像データの差分が、それぞれ所定
の値より小さいとき、強制的に、第１画素に動きがない
ものと判断される。よって、例えば、字幕などを第１画
素が表示されているとき、誤って、動きがあるものと判
定されることを防ぐことができる。

【図面の簡単な説明】

【図１】第１の実施形態の動き検出装置の内部構成を示
すブロック図。

【図２】画素の配置を示す図。

【図３】閾値とライン間の画像データの差分との関係を
示すグラフ。

【図４】第２の実施形態の動き検出装置の内部構成を示
すブロック図。

【符号の説明】

１，２，３，４フィールドメモリ５，６減算回路７，８絶対値演算回路９，１０比較回路１１閾値制御回路１２加算回路１３動き検出回路１４字幕検出回路

Claims

【特許請求の範囲】

【請求項１】フィールド毎に偶数行のラインに配され
た画素の画像データと奇数行のラインに配された画素の
画像データとが交互に入力され、画像データの入力され
ていないラインの各画素における被写体の動きを検出す
る動き検出装置において、動きの検出が行われる第１画素の配されたラインの上下
に隣接したラインに配されるとともに前記第１画素に隣
接した第２画素及び第３画素の画像データの差分に基づ
いて閾値が定められ、前記第１、第２、及び第３画素の２フィールド間の画像
データの差分がそれぞれ前記閾値と比較されて得た結果
に基づいて、前記第１画素に動きがあったか否かが検出
されることを特徴とする動き検出装置。
【請求項２】前記第１、第２及び第３画素を含む前記
第１画素を中心に前記第１画素に近接した複数の画素そ
れぞれにおける２フィールド間の画像データの差分が、
各画素について設定された前記閾値と比較され、この複
数の比較結果に基づいて、前記第１画素に動きがあった
か否かが検出されることを特徴とする請求項１に記載の
動き検出装置。
【請求項３】フィールド毎に偶数行のラインに配され
た画素の画像データと奇数行のラインに配された画素の
画像データとが交互に入力され、画像データの入力され
ていないラインの各画素における被写体の動きを検出す
る動き検出装置において、動きの検出が行われる第１画素の配されたラインの上下
いずれかに隣接したラインに配されるとともに前記第１
画素に隣接した第２画素と前記第１画素との画像データ
の差分の絶対値が第１閾値より小さく、且つ、前記第１
画素の２フィールド間における画像データの差分の絶対
値が第２閾値より小さく、且つ、前記第２画素の２フィ
ールド間における画像データの差分の絶対値が前記第２
閾値より小さいとき、前記第１画素に動きがないものと
されることを特徴とする動き検出装置。
【請求項４】フィールド毎に偶数行のラインに配され
た画素の画像データと奇数行のラインに配された画素の
画像データとが交互に入力され、画像データの入力され
ていないラインの各画素における被写体の動きを検出す
る動き検出装置において、前記偶数行及び奇数行のラインのうち、動きの検出が行
われる画素が配される一方のラインを第１ラインとする
とともに、画像データを有する画素が配される他方のラ
インを第２ラインとし、又、動きの検出が行われるフィールドを第１フィール
ド、該第１フィールドの１フィールド前に入力されたフ
ィールドを第２フィールド、前記第１フィールドの２フ
ィールド前に入力されたフィールドを第３フィールド、
前記第１フィールドの３フィールド前に入力されたフィ
ールドを第４フィールド、とし、更に、現在動きの検出が行われる第１ライン上の画素を
第１画素、該第１画素と隣接するとともに該第１画素と
同列に配された前記第２ライン上の第２画素及び第３画
素としたとき、前記第２画素の前記第１フィールドにおける画像データ
と前記第３画素の前記第１フィールドにおける画像デー
タの差分に基づいて、閾値を設定する閾値制御回路と、前記第１画素の前記第２フィールド及び前記第４フィー
ルドにおける画像データの差分、前記第２及び第３画素
の前記第１フィールド及び前記第３フィールドにおける
画像データの差分を求める差分演算回路と、前記差分演算回路で求められた前記第１、第２及び第３
画素の画像データの差分が、それぞれ、前記閾値制御回
路で設定される閾値と比較され、前記第１、第２及び第
３画素のうち、前記画像データの差分の絶対値が前記閾
値より大きくなる画素に動きがあると判断される比較回
路と、前記比較回路より与えられる前記第１、第２及び第３画
素を含む前記第１画素に近接した複数の画素についての
比較結果に基づいて、前記第１画素に動きがあったか否
かが検出される検出回路と、を有することを特徴とする動き検出装置。
【請求項５】前記比較回路が、前記第１画素の前記第２フィールド及び前記第４フィー
ルドにおける画像データの差分の絶対値と前記閾値とを
比較するとともに、前記第１画素の画像データの差分の
絶対値が前記閾値より大きいときは１を比較結果として
出力し、又、前記第１画素の画像データの差分の絶対値
が前記閾値より小さいときは０を比較結果として出力す
る第１比較回路と、前記第２画素の前記第１フィールド及び前記第３フィー
ルドにおける画像データの差分の絶対値と前記閾値とを
比較するとともに、前記第２画素の画像データの差分の
絶対値が前記閾値より大きいときは１を比較結果として
出力し、又、前記第２画素の画像データの差分の絶対値
が前記閾値より小さいときは０を比較結果として出力す
る第２比較回路と、前記第３画素の前記第１フィールド及び前記第３フィー
ルドにおける画像データの差分の絶対値と前記閾値とを
比較するとともに、前記第３画素の画像データの差分の
絶対値が前記閾値より大きいときは１を比較結果として
出力し、又、前記第３画素の画像データの差分の絶対値
が前記閾値より小さいときは０を比較結果として出力す
る第３比較回路と、を有し、前記検出回路が、前記第１、第２及び第３比較回路のそ
れぞれから連続して出力される複数の比較結果に重み係
数を乗じて重み付け加算を行い、該重み付け加算の結果
が大きくなったとき、前記第１画素に動きが検出される
ことを特徴とする請求項４に記載の動き検出装置。
【請求項６】前記検出回路において重み付け加算が行
われる際、前記第１、第２及び第３画素を含む前記第１
画素に近接した複数の画素に関する前記比較回路におけ
る比較結果に乗ずる重み係数が、前記第１画素に離れた
位置に配される画素ほど小さいことを特徴とする請求項
５に記載の動き検出装置。
【請求項７】前記閾値設定回路において、前記第２画
素の画像データと前記第３画素の画像データの差分の絶
対値が小さいとき前記閾値の値が小さく、又、前記第２
画素の画像データと前記第３画素の画像データの差分の
絶対値が大きいとき、前記閾値の値が大きくなるように
設定されることを特徴する請求項４〜請求項６のいずれ
かに記載の動き検出装置。
【請求項８】前記前記第２画素の画像データと前記第
３画素の画像データの差分の絶対値をｄ、前記閾値をTH
としたとき、前記閾値THと前記画像データの差分の絶対値ｄの関係
が、min、max、αを定数としたとき、 TH＝min＋(ｄ−α)（min≦TH≦max）を満たすような関係になるように、前記閾値設定回路に
おいて、前記閾値が設定されることを特徴する請求項４
〜請求項６のいずれかに記載の動き検出装置。
【請求項９】前記第１画素の前記第２フィールドにお
ける画像データと前記第２画素の前記第１フィールドに
おける画像データとの差分が第１閾値より小さく、且
つ、前記第１画素の画像データの第２フィールド及び第
４フィールドにおける画像データの差分が第２閾値より
小さく、且つ、前記第２画素の画像データの第１フィー
ルド及び第３フィールドにおける画像データの差分が前
記第２閾値より小さいとき、又は、前記第１画素の前記第２フィールドにおける画像
データと前記第３画素の前記第１フィールドにおける画
像データとの差分が前記第１閾値より小さく、且つ、前
記第１画素の画像データの第２フィールド及び第４フィ
ールドにおける画像データの差分が前記第２閾値より小
さく、且つ、前記第３画素の画像データの第１フィール
ド及び第３フィールドにおける画像データの差分が前記
第２閾値より小さいとき、前記比較回路より出力される前記比較結果に関係なく、
前記第１画素に動きがないものとされることを特徴とす
る請求項４〜請求項８のいずれかに記載の動き検出装
置。