JP2000348182A - 画像処理装置および方法、並びに媒体 - Google Patents

Abstract

(57)【要約】 【課題】 動き検出を精度良く行い、かつ、回路構成を
簡略化する。 【解決手段】 動領域判定回路６２は、１つのフィール
ド差分値と３つのフレーム差分値とを用いて動領域の検
出を行う。フィールド差分値と１つのフレームサ差分値
ａは、入力されたフィールドの画素データと、フィール
ドメモリ５１−１、５１−２に記憶されている画素デー
タとが用いられて算出される。他の２つのフレーム差分
値は、フレーム差分値ａが算出される時点より前の時点
で、既に算出されている。そのため新たに算出せず、既
に算出された値から得られる動領域の判定結果を、動領
域判定用メモリ８１に記憶させておく。動領域判定回路
６２は、動領域判定用メモリ８１に記憶されている判定
結果を用いて、動領域の判定を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置および
方法、並びに媒体に関し、特に、フレーム差分値とフィ
ールド差分値とを併用して動き検出を行い、その検出し
た結果を記憶し、あらたな動き検出を行う際、その記憶
された結果も含めて動き検出を行う画像処理装置および
方法、並びに媒体に関する。

【０００２】

【従来の技術】入力された画像データから動きを検出す
る手法として、フィールド間での差分を用いる方法と、
フレーム間での差分を用いる方法とがあり、共に、簡単
な回路構成で実現できることから、一般的に用いられて
いる。

【０００３】

【発明が解決しようとする課題】画像データがインター
レースに入力される場合、フィールド差分だけを用いた
場合、連続する２枚のフィールドには、上下方向に１ラ
イン分のずれがある。従って、差分を算出するために、
一方のフィールドは、隣合うラインから、その間に位置
する画素を補間により算出し上述した１ライン分の補正
を行った上で、他方のフィールドとの差分を算出する。
このように、一方のフィールドからは、補間された画素
データを用いてフィールド差分値を算出することにな
り、その補間のために、画像にぼけが生じてしまい、そ
の結果、動き検出の精度が落ちてしまうといった課題が
あった。

【０００４】また、動き検出に、フレーム間での差分を
用いる方法を適用した場合、差分を算出する画像の間に
は、２フィールドの開きがある。従って、フレーム差分
を算出する２枚の画像が一致している場合でも、その２
枚の画像の間にある画像も、同様に一致しているとは限
らず、このことが動き検出を行う上で、検出漏れの原因
となるという課題があった。

【０００５】そこで、フィールド差分値とフレーム差分
値とを併用して動き検出を行うことにより、動き検出の
精度を向上させることができる。しかしながら、フィー
ルド差分値とフレーム差分値とを併用して動き検出を行
うと、フィールド差分値、または、フレーム差分値の、
どちらか一方を用いて動き検出を行う場合に比べて、多
くの画素データを必要とし、それらを同時に読み出す為
には、画素データを記憶させておくためのポート数が多
く必要となる。そのため、回路規模が大きくなるといっ
た課題があった。

【０００６】本発明はこのような状況に鑑みてなされた
ものであり、フレーム差分値とフィールド差分値とを併
用して動き検出を行い、その検出した結果を記憶し、あ
らたな動き検出を行う際、その記憶された結果も含めて
動き検出を行うことにより、回路構成を簡略化し、回路
規模を小さくすることを目的とする。

【０００７】

【課題を解決するための手段】請求項１に記載の画像処
理装置は、画像信号を記憶する第１の記憶手段と、第１
の記憶手段に記憶されている画像信号からフィールド差
分値を算出するフィールド差分値算出手段と、第１の記
憶手段に記憶されている画像信号からフレーム差分値を
算出するフレーム差分値算出手段と、フィールド差分値
とフレーム差分値のそれぞれに対応するしきい値と、フ
ィールド差分値算出手段により算出されたフィールド差
分値と、フレーム差分値算出手段により算出されたフレ
ーム差分値とを比較し、その比較結果に応じ予め設定さ
れている所定の値を出力する出力手段と、出力手段によ
り出力された所定の値を記憶する第２の記憶手段と、時
刻ｔにおいてフィールド差分値算出手段により算出され
たフィールド差分値、時刻ｔにおいてフレーム差分値算
出手段により算出されたフレーム差分値、および時刻ｔ
より前の時刻に第２の記憶手段に記憶された所定の値を
用いて、画像信号に基づく画像の動領域を検出する検出
手段とを含むことを特徴とする。

【０００８】検出手段は、フレーム差分値算出手段が、
時刻ｔにおいてフレーム差分値を算出する際に用いた画
素が位置するラインに対して上側または下側に位置する
ラインのうち、少なくとも一方のラインに位置する画素
から、時刻ｔより前の時刻において算出したフレーム差
分値と、しきい値とが比較され、その比較結果に応じ
て、出力手段により出力され、第２の記憶手段に記憶さ
れた所定の値を用いて、動領域の検出を行うようにする
ことができる。

【０００９】請求項３に記載の画像処理方法は、画像信
号を記憶する第１の記憶ステップと、第１の記憶ステッ
プで記憶された記画像信号からフィールド差分値を算出
するフィールド差分値算出ステップと、第１の記憶ステ
ップで記憶された画像信号からフレーム差分値を算出す
るフレーム差分値算出ステップと、フィールド差分値と
フレーム差分値のそれぞれに対応するしきい値と、フィ
ールド差分値算出ステップで算出されたフィールド差分
値と、フレーム差分値算出ステップで算出されたフレー
ム差分値とを比較し、その比較結果に応じ予め設定され
ている所定の値を出力する出力ステップと、出力ステッ
プで出力された所定の値を記憶する第２の記憶ステップ
と、時刻ｔにおいてフィールド差分値算出ステップで算
出されたフィールド差分値、時刻ｔにおいてフレーム差
分値算出ステップで算出されたフレーム差分値、および
時刻ｔより前の時刻に第２の記憶ステップで記憶された
所定の値を用いて、画像信号に基づく画像の動領域を検
出する検出ステップとを含むことを特徴とする。

【００１０】請求項４に記載の媒体のプログラムは、画
像信号を記憶する第１の記憶ステップと、第１の記憶ス
テップで記憶された記画像信号からフィールド差分値を
算出するフィールド差分値算出ステップと、第１の記憶
ステップで記憶された画像信号からフレーム差分値を算
出するフレーム差分値算出ステップと、フィールド差分
値とフレーム差分値のそれぞれに対応するしきい値と、
フィールド差分値算出ステップで算出されたフィールド
差分値と、フレーム差分値算出ステップで算出されたフ
レーム差分値とを比較し、その比較結果に応じ予め設定
されている所定の値を出力する出力ステップと、出力ス
テップで出力された所定の値を記憶する第２の記憶ステ
ップと、時刻ｔにおいてフィールド差分値算出ステップ
で算出されたフィールド差分値、時刻ｔにおいてフレー
ム差分値算出ステップで算出されたフレーム差分値、お
よび時刻ｔより前の時刻に第２の記憶ステップで記憶さ
れた所定の値を用いて、画像信号に基づく画像の動領域
を検出する検出ステップとからなることを特徴とする。

【００１１】請求項１に記載の画像処理装置、請求項３
に記載の画像処理方法、および請求項４に記載の媒体に
おいては、画像信号からフィールド差分値とフレーム差
分値が算出され、フィールド差分値とフレーム差分値の
それぞれに対応するしきい値と、算出されたフィールド
差分値とフレーム差分値とが比較され、その比較結果に
応じ予め設定されている所定の値が出力され、その所定
の値が記憶され、時刻ｔにおいて算出されたフィールド
差分値、フレーム差分値、および時刻ｔより前の時刻に
記憶された所定の値が用いられて、画像信号に基づく画
像の動領域が検出される。

【００１２】

【発明の実施の形態】図１は、本発明を適用した記録再
生装置１の一実施の形態の構成を示すブロック図であ
る。アンテナ２により受信された番組は、チューナ３に
出力され、ユーザが所望とする番組の信号のみ選択さ
れ、スイッチ４に出力される。スイッチ４は、外部入力
端子５に接続されている図示されていない装置からのデ
ータも入力される。スイッチ４は、マイクロコンピュー
タ６の指示により、チューナ３からの出力、または、外
部入力端子５からの出力のうち、どちらか一方を選択
し、映像信号を映像信号処理部７に、音声信号を音声信
号処理部８に、それぞれ出力する。

【００１３】映像信号処理部７は、入力された映像信号
にAGC（Automatic Gain Control）などの処理を施し、A
/D（Analog/Digital）変換部９に出力する。同様に、音
声信号処理部８は、入力された音声信号に所定の処理を
施し、A/D変換部１０に出力する。A/D変換部９は、入力
された映像信号を、A/D変換部１０は、入力された音声
信号を、それぞれ、デジタル信号に変換する。A/D変換
部９によりデジタル信号に変換された映像信号は、映像
信号圧縮器１１に出力され、A/D変換部１０によりデジ
タル信号に変換された音声信号は、音声信号圧縮器１２
に出力される。

【００１４】映像信号圧縮器１１に入力された映像信号
は、例えば、MPEG（Moving PictureExperts Group）２
方式の圧縮方式が用いられて、圧縮され、メモリ１３に
出力され、記憶される。同様に、音声信号圧縮器１２に
入力された音声信号は、例えば、MPEGオーディオ方式の
圧縮方式が用いられて、圧縮され、メモリ１４に出力さ
れ、記憶される。

【００１５】メモリ１３に記憶された映像データと、メ
モリ１４に記憶された音声データは、マイクロコンピュ
ータ６の指示に従い、メモリコントローラ１５がコント
ロールすることにより、読み出され、バス１６を介し
て、記録用変調器１７に入力される。記録用変調器１７
は、入力された映像データまたは音声データに、エラー
訂正データの付加やEFM（Eight to Fourteen Modulatio
n）変調などの処理を施し、ディスク１８に出力し、記
録させる。ディスク１８は、内蔵型のハードディスク、
着脱可能な光ディスクや磁気ディスクなどである。ディ
スク１８へのデータの記録は、マイクロコンピュータ６
の指示により、ディスクコントローラ１９がディスク１
８を制御することにより行われる。

【００１６】ディスク１８に記録されているデータは、
再生用復調器２０により、読み出され、EFM復調やエラ
ー訂正などの処理が行われた後、バス１６を介して、映
像データはメモリ２１に、音声データはメモリ２２に、
それぞれ出力され、記憶される。メモリ２１に記憶され
た映像データは、マイクロコンピュータ６の指示に従
い、メモリコントローラ１５がコントロールすることに
より、読み出され、映像信号伸張器２３に出力される。
同様に、メモリ２２に記憶されている音声データは、読
み出され、音声信号伸張器２４に出力される。

【００１７】映像信号伸張部２３は、入力された圧縮さ
れている映像データに伸張処理を施し、メモリ２５、動
き検出回路２６、および映像処理回路２７に出力する。
メモリ２５に記憶された映像信号は、動き検出回路２６
と映像処理回路２７に出力される。メモリ２５は、動き
検出および映像処理において必要なメモリであり、数フ
ィールド分の映像信号を記憶することができる。

【００１８】動き検出回路２６は、フィールド差分とフ
レーム差分を適応的に組み合わせ（詳細は後述する）、
動き検出を行う。検出された動き検出結果の情報は、結
果用メモリ２８に記憶される。映像処理回路２７は、結
果用メモリ２８から読み出した動き検出結果の情報と複
数のフィールドの映像データを用いて、例えば、フレー
ム静止画の生成や拡大縮小などの処理を行う。映像処理
回路２７からの出力は、D/A変換部２９に出力され、ア
ナログ信号に変換される。アナログ信号に変換された映
像データは、映像信号処理部３０に出力される。映像信
号処理部３０は、入力された映像信号にエンファンシス
などの処理を施し、コンポジット映像信号として、記録
再生装置１に接続されているモニタ４１に出力する。

【００１９】一方、音声信号伸張器２４に入力された音
声データは、伸張処理が施されD/A変換部３１に出力さ
れる。D/A変換部３１に入力されたデジタル信号の音声
データは、アナログ信号に変換され、音声信号処理部３
２に出力され、増幅などの所定の処理が施され、接続さ
れているスピーカ４２に出力される。

【００２０】操作部３３は、リモートコントローラ、ボ
タン、ジョグダイヤルなどから構成され、ユーザが所望
の処理を記録再生装置１に対して行うときに操作され
る。マイクロコンピュータ６は、操作部３３からの操作
信号に従い、各部を制御する。

【００２１】図２は、動き検出回路２６の詳細を示すブ
ロック図である。メモリ２５は、３つのフィールドメモ
リ５１−１乃至５１−３から構成されている。これらの
フィールドメモリ５１−１乃至５１−３は、マルチポー
ト構成となっており、後述する動領域の判定用の読み出
しと、拡大縮小用の読み出しは、同時刻に行える。映像
信号伸張器２３から出力された映像データは、メモリ２
５のフィールドメモリ５１−１に入力されるとともに、
加算器６１−１にも入力される。フィールドメモリ５１
−１に記憶された映像データは、フィールドメモリ５１
−２に順次入力され、記憶され、フィールドメモリ５１
−２に記憶された映像データは、フィールドメモリ５１
−３に順次入力され、記憶される。

【００２２】従って、時刻ｔにおいて入力された映像デ
ータが加算器６１−１に入力されるとき、フィールドメ
モリ５１−１から出力される映像データは、１フィール
ド前の時刻ｔ−１に入力された映像データであり、フィ
ールドメモリ５１−２から出力される映像データは２フ
ィールド前の映像データであり、フィールドメモリ５１
−３から出力される映像データは、３フィールド前の映
像データである。すなわち、１フィールド毎に、フィー
ルドメモリ５１−１からフィールドメモリ５１−２へ、
フィールドメモリ５１−２からフィールドメモリ５１−
３へと映像データは、流れていく。実際に回路を構成す
る場合、映像データを移動させるのではなく、メモリ２
５内に複数のバンクを設け、そのバンクを切り換えるこ
とにより行うようにしても良い。

【００２３】以下の説明においては、時刻ｔにおいてフ
ィールドメモリ５１−１から出力される映像データをフ
ィールドｎのものとし、動き検出回路２６の加算器６１
−１に入力される映像データをフィールドｎ＋１のもの
とし、フィールドメモリ５１−２から出力される映像デ
ータをフィールドｎ−１のものとし、フィールドメモリ
５１−３から出力される映像データをフィールドｎ−２
のものとする。

【００２４】加算器６１−１は、映像信号伸張器２３か
ら出力されたフィールドｎ＋１の映像データから、フィ
ールドメモリ５１−２から出力されたフィールドｎ−１
の映像データを減算し（以下、この減算された値をフレ
ーム差分値ａとする）、動領域判定回路６２に出力す
る。

【００２５】フィールドメモリ５１−１から出力された
フィールドｎの映像データは、加算器６１−２とディレ
イライン部６３−１にも出力される。ディレイライン部
６３−１は、加算器６１−２に、フィールドメモリ５１
−１から直接供給されるフィールドｎの所定のライン
（ラインｍとする）の前のライン（ラインｍ−１とす
る）の映像データを加算器６１−２に供給する。加算器
６１−２は、フィールドｎのラインｍの映像データとラ
インｍ−１の映像データとを加算し、その値を乗算器６
４に出力する。乗算器６４は、入力された値に１／２を
乗算し、その値を加算器６１−３に出力する。このよう
にして、フィールドｎに、フィールドｎ−１に存在する
ラインの映像データと同位置に存在するラインの映像デ
ータが生成される。

【００２６】加算器６１−３は、フィールドｎの生成さ
れたラインの映像データから、フィールドメモリ５１−
２から出力されたフィールドｎ−１の対応する位置に位
置するラインの映像データを減算することにより、フィ
ールド差分値を算出し、動領域判定回路６２に出力す
る。

【００２７】フィールドメモリ５１−３から出力された
フィールドｎ−２の映像データは、加算器６１−４とデ
ィレイライン部６３−２に入力される。ディレイライン
部６３−２は、ディレイライン部６３−１と同様の処理
により、例えば、フィールドメモリ５１−３から加算器
６１−４に供給されているラインの映像データがライン
ｍの映像データのとき、その次のラインｍ＋１の映像デ
ータを加算器６１−５に供給する。

【００２８】加算器６１−４は、フィールドメモリ５１
−３から供給されるフィールドｎ−２の映像データか
ら、フィールドメモリ５１−１から供給されるフィール
ドｎの映像データを減算することにより、フレーム差分
値（以下、フレーム差分値ｃとする）を算出し、動領域
判定回路６２に出力する。

【００２９】加算器６１−５は、ディレイライン部６３
−２から出力されたフィールドｎ−２の映像データか
ら、ディレイライン部６３−１から出力されたフィール
ドｎの映像データを減算することにより、フレーム差分
値（以下、フレーム差分値ｂとする）を算出し、動領域
判定回路６２に出力する。

【００３０】動領域判定回路６２は、各部において算出
された値（入力された値）を用いて、動き領域を検出
し、その結果を結果用メモリ２８（図１）に出力する。

【００３１】図３は、動領域判定回路６２の詳細を示す
図である。加算器６１−３から出力されたフィールド差
分値は、動領域判定回路６２の絶対値回路７１−１に入
力され、絶対値が算出され、比較器７２−１に出力され
る。比較器７２−１には、しきい値として、しきい値Fi
eld_thも入力される。比較器７２−１は、入力されたフ
ィールド差分値の絶対値としきい値Field_thとを比較
し、その比較結果として、フィールド差分値の方が大き
い場合、動領域の候補を示す値として”１”を、フィー
ルド差分値の方が小さい場合、静止領域の候補を示す値
として”０”を、AND回路７４に出力する。

【００３２】同様に、加算器６１−１から出力されたフ
レーム差分値ａは、絶対値回路７１−２を介して比較器
７２−２に入力され、加算器６１−５から出力されたフ
レーム差分値ｂは、絶対値回路７１−３を介して比較器
７２−３に入力され、加算器６１−４から出力されたフ
レーム差分値ｃは、絶対値回路７１−４を介して比較器
７２−４に入力される。比較器７２−２乃至７２−４に
は、それぞれしきい値としてしきい値Frame_thも入力さ
れている。比較器７２−２乃至７２−４は、それぞれ、
入力されたフレーム差分値と、しきい値Frame_thを比較
し、その比較結果として、フレーム差分値の方が大きい
場合、動領域候補であることを示す値として”１”を、
フレーム差分値の方が小さい場合、静止領域候補である
ことを示す値として”０”を、OR回路７３に出力する。

【００３３】OR回路７３は、比較器７２−２乃至７２−
４から、それぞれ入力された値の論理和を算出し、AND
回路７４に出力する。AND回路７４は、比較器７２−１
からの値と、OR回路７３からの値との論理積を算出し、
その結果を、動領域判定結果として、結果用メモリ２８
に出力する。動領域判定結果としては、動領域と判定さ
れた場合、”１”、動領域ではない（静止領域である）
と判断された場合、”０”である。

【００３４】次に、フィールド差分値とフレーム差分値
ａ乃至ｃの算出の仕方について説明する。ここで、時刻
ｔにおいて動き検出回路２６に入力されるフィールドｎ
＋１、フィールドメモリ５１−１から出力されるフィー
ルドｎ、フィールドメモリ５１−２から出力されるフィ
ールドｎ−１、およびフィールドメモリ５１−３から出
力されるフィールドｎ−２との擬似的な位置関係を図４
に示す。

【００３５】図４に示したように、映像信号はインター
レースに入力されるため、隣あうフィールド間には、１
ラインのずれが生じている。すなわち、フィールドｎ−
２の一番上に位置するラインをラインｍとし、その次の
ラインをｍ＋１とすると、フィールドｎ−１の一番上に
位置するラインｎは、ラインｍとラインｍ＋１の中間に
位置することになる。図４に示したように、所定のフィ
ールド内の所定のライン上に位置する画素を画素Ａ乃至
Ｆとする。

【００３６】図４の一部分を垂直方向に切り出して、時
間順に並べると、換言すれば、画素Ａ乃至Ｆを全て含む
平面で切り出し、その一部を取り出すと図５に示したよ
うになる。このように、映像信号はインターレースに入
力されるため、例えば、フィールドｎの画素Ｂと画素Ｃ
の間に、フィールドｎ−１の画素Ａが位置するという位
置関係になる。従って、例えば、図６に示すように、フ
ィールドｎ−１とフィールドｎとのフィールド差分を算
出する為には、フィールドｎの画素Ｂと画素Ｃとの間
に、フィールドｎの画素Ａに対応する位置に位置する画
素Ｇを補間（生成）する必要がある。すなわち、画素Ｂ
と画素Ｃとを足し合わし、その足し合わされた値の半分
（平均）の値が画素Ｇの画素データとなる。

【００３７】図２に示した動き検出回路２６において、
フィールドメモリ５１−１に記憶されてるデータがフィ
ールドｎのものであるとき、フィールドメモリ５１−２
に記憶されているデータは、フィールドｎ−１のもので
ある。そのようなときに、フィールドメモリ５１−１か
ら画素Ｃのデータが出力されると、ディレイライン部６
３−１からは画素Ｂのデータが出力される。そのため、
加算器６１−２では、画素Ｂのデータと画素Ｃのデータ
とが加算されることになる。その加算されたデータは、
乗算器６４に入力され、１／２が乗算されることによ
り、平均値が算出され、加算器６１−３に出力される。
加算器６１−３には、フィールドメモリ５１−２から出
力されたフィールドｎ−１の画素Ａのデータも入力さ
れ、その入力された画素Ａのデータを、乗算器６４から
出力された画素Ｂと画素Ｃとの平均値（画素Ｇのデー
タ）から減算することにより、フィールド差分値が算出
される。

【００３８】フレーム差分値は、同じライン配列をして
いるフィールド同士の画素データが用いられて算出され
る。すなわち、図７に示したように、フィールドｎ−２
とフィールドｎ、フィールドｎ−１とフィールドｎ＋１
との間で、それぞれフレーム差分値が算出される。例え
ば、図２に示した動き検出回路２６において、フィール
ドｎ＋１の画素Ｄのデータが入力されたとき、フィール
ドメモリ５１−２からフィールドｎ−１の画素Ａのデー
タが出力される。その結果、加算器６１−１には、画素
Ａのデータと画素Ｄのデータとが入力される。加算器６
１−１は、画素Ｄのデータから画素Ａのデータを減算す
ることにより、フレーム差分値ａを算出する。

【００３９】本実施の形態においては、１つのフレーム
差分値だけではなく、そのフレーム差分値を算出した画
素（注目画素）があるラインの、上下に位置するライン
内の画素（画素Ａ，Ｄに対しては、画素Ｂ，Ｃ，Ｅ，
Ｆ）も用いられて、さらにフレーム差分値が算出され、
後述する動領域の判定に用いられる。上述したように、
画素Ａと画素Ｄとを用いてフレーム差分値が算出される
処理と並行して、画素Ｂと画素Ｅ、画素Ｃと画素Ｆとの
間でのフレーム差分値が、それぞれ算出される。

【００４０】上述したように、フィールドメモリ５１−
１からフィールドｎの画素Ｃのデータが出力されている
とき、ディレイライン部６３−１からは、画素Ｂのデー
タが出力されているので、その画素Ｂのデータが用いら
れる。また、そのとき、フィールドメモリ５１−３から
は、画素Ｃに対応する位置に位置する、フィールドｎ−
２の画素Ｆのデータが出力される。さらに、ディレイラ
イン部６３−２からは、画素Ｅのデータが出力される。
これらの画素データが用いられて画素Ｂと画素Ｅからフ
レーム差分値ｂ、画素Ｃと画素Ｆとからフレーム差分値
ｃが、それぞれ算出される。

【００４１】図７においては、フィールドｎが基準フィ
ールド（以下、適宜、フィールドメモリ５１−１に記憶
されているフィールドことを基準フィールドと記述す
る）のときのフレーム差分値について説明したが、１フ
ィールド前の、基準フィールドがフィールドｎ−１のと
きのフレーム差分値について図８を参照して説明する。
図８においては、フィールドｎ−２より１フィールド前
のフィールドｎ−３上に位置する画素を画素Ｇと画素Ｈ
とし、フィールドｎ−１上に位置する画素Ａとはことな
る画素を画素Ｉとする。フィールドメモリ５１−１にフ
ィールドｎ−１の画素データが記憶されているとき、動
き検出回路２６に入力されるフィールドの画素データ
は、フィールドｎの画素データである。また、フィール
ドメモリ５１−２には、フィールドｎ−２の画素データ
が、フィールドメモリ５１−３には、フィールドｎ−３
の画素データが、それぞれ記憶されている。

【００４２】動き検出回路２６にフィールドｎの画素Ｂ
の画素データが入力されたとき、フィールドメモリ５１
−２から、画素Ｂに対応する位置に位置する画素Ｅの画
素データが加算器６１−１に出力される。従って、加算
器６１−１からは、画素Ｂの画素データから画素Ｅの画
素データが減算されることにより、フレーム差分値ａ’
（画素Ａと画素Ｄから算出されるフレーム差分値ａと区
別するため、ダッシュを付けて表現する。他も同様に表
現する）が出力される。同様に、フレーム差分値ｂ’
は、画素Ｇと画素Ｉから、フレーム差分値ｃ’は、画素
Ｈと画素Ａから、それぞれ算出される。

【００４３】このように、基準フィールドがフィールド
ｎのときに、算出されるフレーム差分値ｂは、その１フ
ィールド前（基準フィールドがフィールドｎ−１のと
き）のときに、フレーム差分値ａ’として、既に算出さ
れている。同様に、フレーム差分値ｃも、その１フィー
ルド前の処理において、既に算出されている。さらに、
これらのフレーム差分値ｂとフレーム差分値ｃを用いて
判定される結果、換言すれば、比較器７２−３（図３）
と比較器７２−４から出力される比較結果は、既に出さ
れていることになる。既に得られた判定結果を用いるこ
とにより、動き検出回路２６、およびその内部の動領域
判定回路６２の構成を簡略化することが可能となり、も
って、全体の回路構成を小型化することが可能となる。

【００４４】図９は、上述したことを考慮した動き検出
回路２６の構成を示す図であり、図１０は、図９に示し
た動き検出回路２６の動領域判定回路６２の構成を示す
図である。図２に示した動き検出回路２６、図１０に示
した動領域判定回路６２と同様の処理を行う部分には、
同一の符号を付し、その説明は、適宜省略する。

【００４５】図９に示した動き検出回路２６は、図２に
示した動き検出回路２６のうちの、フィールド差分値を
算出するための加算器６１−１、フレーム差分値ａを算
出するための加算器６１−２，６１−３、ディレイライ
ン部６３−１、および乗算器６４から構成され、その構
成に、フレーム差分値ｂとフレーム差分値ｃとから得ら
れる判定結果を記憶する動領域判定用メモリ８１が動領
域判定回路６２に付加された構成とされている。図９に
示した構成にした場合、フィールドメモリ５１−３は、
動領域を判定するためのデータは記憶しないが（従って
省略可能だが）、映像処理回路２７が処理を行う際に必
要な画像データが記憶されている。

【００４６】図１０に示した動領域判定回路６２の構成
は、図３に示した動領域判定回路６２から、絶対値回路
７１−３、７１−４、および比較器７２−３，７２−４
を削除し、代わりに、動領域判定用メモリ８１から供給
されるフレーム差分値判定結果が、OR回路７３に直接、
および、ディレイライン部９１を介して入力される構成
とされている。

【００４７】次に、図９に示した動き検出回路２６の動
作について図１１のフローチャートを参照して説明す
る。ステップＳ１において、フィールド差分値が算出さ
れる。フィールド差分値は、図６を参照して説明したよ
うに、例えば、フィールドｎ−１に存在する画素Ａに対
応するフィールドｎの位置に、画素Ｇが画素Ｂと画素Ｃ
とから生成され、その生成された画素Ｇと画素Ａとの差
分値が算出されることにより行われる。

【００４８】すなわち、フィールドメモリ５１−１から
フィールドｎの画素データが出力され、加算器６１−２
に画素Ｃのデータが入力されると、ディレイライン部６
３−１からは、画素Ｂのデータが出力され、フィールド
メモリ５１−２からは画素Ａのデータが出力される。従
って、加算器６１−２には、画素Ｂと画素Ｃのデータ入
力される。加算器６１−２により、画素Ｂと画素Ｃのデ
ータが加算され、乗算器６４により１／２が乗算される
ことにより、画素Ｂと画素Ｃとの平均値が算出される。
加算器６１−３は、算出された画素Ｂと画素Ｃの平均値
から、フィールドメモリ５１−２から入力された画素Ａ
のデータを減算することにより、フィールド差分値を算
出する。

【００４９】このようにして、ステップＳ１において、
フィールド差分値が算出されると、ステップＳ２におい
て、フレーム差分値ａが算出される。フレーム差分値ａ
は、図７を参照して説明したように、例えば、フィール
ドｎ−１の画素Ａとフィールドｎ＋１の画素Ｄとの差分
値を算出することにより行われる。すなわち、動き検出
回路２６にフィールドｎ＋１の画素Ｄのデータ入力され
たとき、その画素Ｄの位置に対応するフィールドｎ−１
の画素Ａのデータがフィールドメモリ５１−２から出力
される。従って、加算器６１−１には、画素Ａと画素Ｄ
のデータが入力される。加算器６１−１は、画素Ｄのデ
ータから画素Ａのデータを減算することにより、フレー
ム差分値ａを算出する。

【００５０】このようにして、ステップＳ２において、
フレーム差分値ａが算出されると、ステップＳ３におい
て、動領域判定回路６２（図１０）により動領域の判定
が行われる。動領域判定回路６２の絶対値回路７１−１
には、加算器６１−３から出力されたフィールド差分値
が入力される。絶対値回路７１−１は、入力されたフィ
ールド差分値の絶対値を算出し、比較器７２−１に出力
する。比較器７２−１は、入力された絶対値が取られた
フィールド差分値と予め設定されているしきい値Field_
thとを比較する。その比較結果が、フィールド差分値の
方がしきい値Field_thより大きいと判断された場合、動
領域の候補であることを示す”１”が、しきい値Field_
thの方がフィールド差分値より大きいと判断された場
合、静止領域の候補であることを示す”０”が、AND回
路７４に出力される。

【００５１】動領域判定回路６２の絶対値回路７１−２
には、加算器６１−１から出力されたフレーム差分値ａ
が入力される。絶対値回路７１−２は、入力されたフレ
ーム差分値ａの絶対値を算出し、比較器７２−２に出力
する。比較器７２−２は入力された絶対値の取られたフ
レーム差分値ａと、予め設定されているしきい値Frame_
thとを比較する。その比較結果が、フレーム差分値の方
がしきい値Frame_thより大きいと判断された場合、動領
域の候補であることを示す”１”が、しきい値Frame_th
の方がフレーム差分値より大きいと判断された場合、静
止領域の候補であることを示す”０”が、OR回路７３に
出力される。

【００５２】本実施の形態においては、３つのフレーム
差分値が用いられて動領域の判定が行なわれる。そのた
め、OR回路７３は、３つのフレーム差分値から得られる
動領域の判定結果が、全て動領域ではない（静止領域で
ある）と判断された場合のみ、静止領域であるという判
定結果をAND回路７４に出力する。３つのフレーム差分
値のうち、１つのフレーム差分値ａは、加算器６１−１
から供給される、換言すれば、動き検出回路２６に入力
されたフィールドの画素データから算出される。しかし
ながら、他のフレーム差分値ｂとフレーム差分値ｃは、
図８を参照して説明したように、フレーム差分値ａが算
出される１フィールド前に、既に算出されている。さら
に、算出された結果が用いられ、比較器７２−２によ
り、動領域であるか否かの判定もされている。そして、
これらの判定結果は、動領域判定用メモリ８１に記憶さ
れている。

【００５３】従って、OR回路７３に入力される３つのフ
レーム差分値からの判定結果のうち、２つの判定結果
は、動領域判定用メモリ８１に記憶されている判定結果
が用いられる。例えば、フレーム差分値ｃ（図７に示し
た例の場合、画素Ｂと画素Ｅとから算出される差分値）
から得られる判定結果は、動領域判用メモリ８１から直
接供給され、フレーム差分値ｂ（図７に示した例の場
合、画素Ｃと画素Ｆとから算出される差分値）から得ら
れる判定結果は、ディレイライン部９１を介して動領域
判定用メモリ８１から供給される。

【００５４】OR回路７３は、入力された３つのフレーム
差分値から得られる判定結果の論理和を算出し、AND回
路７４に出力する。AND回路７４は、比較器７２−１か
ら入力された判定結果と、OR回路７３から入力された判
定結果の論理積を算出し、その結果を動領域判定の結果
とし、結果用メモリ２８に出力する。

【００５５】ステップＳ４において、判定結果の記憶が
行われる。動領域判定回路６２の比較器７２−２から出
力される判定結果は、OR回路７３に出力されるととも
に、動領域判定用メモリ８１にも出力され、記憶され
る。動領域判定用メモリ８１に記憶された判定結果は、
上述したように、ステップＳ３において行われる動領域
の判定処理の際に用いられる。

【００５６】このように、既に算出、および判定された
結果を記憶し、新たな判定を行う際に用いるようにする
ことにより、動き検出を行う回路の構成を簡略化するこ
とが可能となる。また、フィールド差分値とフレーム差
分値を併用して動き検出を行うことにより、より正確な
動き検出を行うことが可能となる。

【００５７】このようにして、動き検出回路２６により
検出され、結果用メモリ２８に記憶された動領域判定結
果は、映像処理回路２７において、例えば、画像の拡大
または縮小の処理を行う際などに用いられる。図１２を
参照して、映像処理回路２７が行う処理のうち、画像の
拡大または縮小する際の処理について説明する。フィー
ルドｎ−１とフィールドｎにより１枚の画像が作成され
るわけだが、その作成される画像に対して拡大または縮
小の処理を施す場合には、基本的に４点補間により、所
望の画素データが算出（補間）される。その際、動きの
ある場合と動きのない場合とで、所望の画素データを算
出するのに用いられる画素データの選び方が異なる。

【００５８】すなわち、図１２（Ａ）に示したように、
フィールドｎ−１に存在する画素Ａに対して、フィール
ドｎに存在する画素Ｂと画素Ｃが動いているという情報
が、結果用メモリ２８に記憶されている判定結果から得
られる場合、補間したい画素データ（画素Ｚのデータ）
は、画素Ｂのデータと画素Ｃのデータが用いられて算出
される。画素Ａ乃至Ｃのデータは、必要に応じメモリ２
５（フィールドメモリ５１−１乃至５３−３の対応する
メモリ）から読み出される。

【００５９】一方、図１２（Ｂ）に示したように、フィ
ールドｎ−１に存在する画素Ａに対して、画素Ｂと画素
Ｃが動いていない（静止している）という情報が、結果
用メモリ２８に記憶されている判定結果から得られる場
合、画素Ｚのデータは、画素Ａのデータと画素Ｂのデー
タが用いられて算出される。このように、所定の画素に
対して動きがあるか否かを判断し、換言すれば、結果用
メモリ２８に記憶されている判定結果に基づいて、補間
する画素データを算出するのに用いる画素データを選択
することにより、特に、静止領域での補間後の解像度を
向上させることができる。

【００６０】上述した実施の形態においては、動き検出
回路２６の動領域判定用メモリ８１とフィールドメモリ
５１−１乃至５１−３（メモリ２５）は、異なるメモリ
として設けたが、動領域判定用メモリ８１に記憶される
判定結果を、メモリ２５に記憶させるようにし、動領域
判定用メモリ８１を動き検出回路２６から削除した構成
としても良い。

【００６１】図１０に示した動領域判定回路６２におい
ては、動領域判定用メモリ８１からフレーム差分値の判
定結果を１つ読み出し、ディレイライン部９１により、
もう１つのフレーム差分値の判定結果を得る構成とした
が、動領域判定用メモリ８１に、２つの読み出し用のポ
ートを設け、２つとも同時に読み出せるようにしても良
い。そのようにした場合、ディレイライン部９１は削除
され、OR回路７３には、２つのフレーム差分値からの判
定結果が、直接動領域判定用メモリ８１から供給される
構成となる。また、動領域判定用メモリ８１から時分割
に２つの判定結果を読み出すことにより、ディレイライ
ン部９１を削除した構成としても良い。

【００６２】上述した実施の形態においては、映像処理
回路２７が画像の拡大、または、縮小などの処理を行う
ようにしたが、マイクロコンピュータ６も、そのような
処理ができるようにしても良い。マイクロコンピュータ
６が、画像処理を行う場合、メモリ２５に記憶されてい
る画像データと、結果用メモリ２８に記憶されている判
定結果を用いて行う。そして、処理された画像データ
は、マイクロコンピュータ６経由で他の装置、例えば、
ハードディスク、メモリスティック、IEEE1394などで接
続されている装置などに出力される。

【００６３】上述した実施の形態においては、３つのフ
レーム差分値を用いる場合を説明したが、さらに多くの
フレーム差分値を用いて、動領域の判定を行うようにし
ても良い。例えば、図１３に示すように、画素Ｈと画素
Ｊ、画素Ｉと画素Ｋとから、それぞれ算出されるフレー
ム差分値を用いるようにしても良い。また、上述した実
施の形態においては、フィールド差分値を１つしか用い
ない場合を説明したが、複数のフィールド差分値を用い
るようにしても良い。また、フィールド差分値も、動領
域判定用メモリ８１に記憶させるようにし、後の処理に
より必要に応じ読み出せるようにしておいても良い。こ
のように、動領域の判定に用いるフィールド差分値、お
よびフレーム差分値を増やした場合においても、本発明
を適用することにより、メモリポートの増大や回路規模
の拡大などが生じることはない。

【００６４】上述した一連の処理は、ハードウェアによ
り実行させることもできるが、ソフトウェアにより実行
させることもできる。一連の処理をソフトウェアにより
実行させる場合には、そのソフトウェアを構成するプロ
グラムが、専用のハードウエアとしての記録再生装置１
に組み込まれているコンピュータ、または、各種のプロ
グラムをインストールすることで、各種の機能を実行す
ることが可能な、例えば、汎用のパーソナルコンピュー
タなどにインストールされる。

【００６５】次に、図１４を参照して、上述した一連の
処理を実行するプログラムをコンピュータにインストー
ルし、コンピュータによって実行可能な状態とするため
に用いられる媒体について、そのコンピュータが汎用の
パーソナルコンピュータである場合を例として説明す
る。

【００６６】プログラムは、図１４（Ａ）に示すよう
に、パーソナルコンピュータ１０１に内蔵されている記
録媒体としてのハードディスク１０２や半導体メモリ１
０３に予めインストールした状態でユーザに提供するこ
とができる。

【００６７】あるいはまた、プログラムは、図１４
（Ｂ）に示すように、フロッピーディスク１１１、CD-R
OM（Compact Disk-Read Only Memory）１１２、ＭＯ（M
agneto-Optical）１１３、DVD（Digital Versatile Dis
k）１１４、磁気ディスク１１５、半導体メモリ１１６
などの記録媒体に、一時的あるいは永続的に格納し、パ
ッケージソフトウェアとして提供することができる。

【００６８】さらに、プログラムは、図１４（Ｃ）に示
すように、ダウンロードサイト１２１から、デジタル衛
星放送用の人工衛星１２２を介してパーソナルコンピュ
ータ１２３に無線で転送したり、ローカルエリアネット
ワーク、インターネットといったネットワーク１３１を
介して、パーソナルコンピュータ１２３に有線で転送
し、パーソナルコンピュータ１２３において、内蔵する
ハードディスクなどに格納させることができる。

【００６９】本明細書における媒体とは、これら全ての
媒体を含む広義の概念を有するものである。

【００７０】また、本明細書において、媒体により提供
されるプログラムを記述するステップは、記載された順
序に従って、時系列的に行われる処理は勿論、必ずしも
時系列的に処理されなくとも、並列的あるいは個別に実
行される処理をも含むものである。

【００７１】

【発明の効果】以上の如く、請求項１に記載の画像処理
装置、請求項３に記載の画像処理方法、および請求項４
に記載の媒体によれば、画像信号からフィールド差分値
とフレーム差分値を算出し、フィールド差分値とフレー
ム差分値のそれぞれに対応するしきい値と、算出された
フィールド差分値とフレーム差分値とを比較し、その比
較結果に応じ予め設定されている所定の値を出力し、そ
の所定の値を記憶し、時刻ｔにおいて算出されたフィー
ルド差分値、フレーム差分値、および時刻ｔより前の時
刻に記憶された所定の値を用いて、画像信号に基づく画
像の動領域を検出するようにしたので、動領域の判定の
精度を向上させることが可能になるとともに、その回路
の構成を簡略化することが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した記録再生装置の一実施の形態
の構成を示すブロック図である。

【図２】図１の動き検出回路２６の内部構成を示すブロ
ック図である。

【図３】図２の動領域判定回路６２の内部構成を示すブ
ロック図である。

【図４】フィールドと画素との関係を説明する図であ
る。

【図５】時間的に示した各画素の位置関係を説明する図
である。

【図６】フィールド差分を説明する図である。

【図７】フレーム差分を説明する図である。

【図８】フレーム差分を説明する図である。

【図９】動き検出回路２６の他の内部構成を示すブロッ
ク図である。

【図１０】図８の動領域判定回路６２の内部構成を示す
ブロック図である。

【図１１】図９の動き検出回路２６の動作を説明するフ
ローチャートである。

【図１２】画像の拡大、縮小の際の処理について説明す
る図である。

【図１３】フレーム差分値を説明する図である。

【図１４】媒体を説明する図である。

【符号の説明】

１ 記録再生装置， ５１ フィールドメモリ， ６１
加算器、 ６２ 動領域判定回路， ６３ ディレイ
ライン部， ６４ 乗算器， ７１ 絶対値回路， ７
２ 比較器， ７３ OR回路， ７４ AND回路， ８
１ 動領域判定用メモリ

フロントページの続き (72)発明者 濱田 敏道 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C059 KK06 LA05 MA00 NN24 NN29 PP04 RC32 RD03 RF05 SS13 SS20 UA02 UA05 UA34 UA39 5L096 AA02 AA06 BA18 DA01 GA08 GA22 GA23 GA51 HA03 LA00 LA06 LA10 9A001 BZ03 HH23 HH30

Claims (4)

【特許請求の範囲】
1. 【請求項１】 画像信号を記憶する第１の記憶手段と、 前記第１の記憶手段に記憶されている前記画像信号から
   フィールド差分値を算出するフィールド差分値算出手段
   と、 前記第１の記憶手段に記憶されている前記画像信号から
   フレーム差分値を算出するフレーム差分値算出手段と、 前記フィールド差分値と前記フレーム差分値のそれぞれ
   に対応するしきい値と、前記フィールド差分値算出手段
   により算出された前記フィールド差分値と、前記フレー
   ム差分値算出手段により算出された前記フレーム差分値
   とを比較し、その比較結果に応じ予め設定されている所
   定の値を出力する出力手段と、 前記出力手段により出力された前記所定の値を記憶する
   第２の記憶手段と、 時刻ｔにおいて前記フィールド差分値算出手段により算
   出された前記フィールド差分値、時刻ｔにおいて前記フ
   レーム差分値算出手段により算出された前記フレーム差
   分値、および時刻ｔより前の時刻に前記第２の記憶手段
   に記憶された前記所定の値を用いて、前記画像信号に基
   づく画像の動領域を検出する検出手段とを含むことを特
   徴とする画像処理装置。
2. 【請求項２】 前記検出手段は、前記フレーム差分値算
   出手段が、時刻ｔにおいて前記フレーム差分値を算出す
   る際に用いた画素が位置するラインに対して上側または
   下側に位置するラインのうち、少なくとも一方のライン
   に位置する画素から、時刻ｔより前の時刻において算出
   したフレーム差分値と、前記しきい値とが比較され、そ
   の比較結果に応じて、前記出力手段により出力され、前
   記第２の記憶手段に記憶された前記所定の値を用いて、
   動領域の検出を行うことを特徴とする請求項１に記載の
   画像処理装置。
3. 【請求項３】 画像信号を記憶する第１の記憶ステップ
   と、 前記第１の記憶ステップで記憶された記画像信号からフ
   ィールド差分値を算出するフィールド差分値算出ステッ
   プと、 前記第１の記憶ステップで記憶された前記画像信号から
   フレーム差分値を算出するフレーム差分値算出ステップ
   と、 前記フィールド差分値と前記フレーム差分値のそれぞれ
   に対応するしきい値と、前記フィールド差分値算出ステ
   ップで算出された前記フィールド差分値と、前記フレー
   ム差分値算出ステップで算出された前記フレーム差分値
   とを比較し、その比較結果に応じ予め設定されている所
   定の値を出力する出力ステップと、前記出力ステップで
   出力された前記所定の値を記憶する第２の記憶ステップ
   と、 時刻ｔにおいて前記フィールド差分値算出ステップで算
   出された前記フィールド差分値、時刻ｔにおいて前記フ
   レーム差分値算出ステップで算出された前記フレーム差
   分値、および時刻ｔより前の時刻に前記第２の記憶ステ
   ップで記憶された前記所定の値を用いて、前記画像信号
   に基づく画像の動領域を検出する検出ステップとを含む
   ことを特徴とする画像処理方法。
4. 【請求項４】 画像信号を記憶する第１の記憶ステップ
   と、 前記第１の記憶ステップで記憶された記画像信号からフ
   ィールド差分値を算出するフィールド差分値算出ステッ
   プと、 前記第１の記憶ステップで記憶された前記画像信号から
   フレーム差分値を算出するフレーム差分値算出ステップ
   と、 前記フィールド差分値と前記フレーム差分値のそれぞれ
   に対応するしきい値と、前記フィールド差分値算出ステ
   ップで算出された前記フィールド差分値と、前記フレー
   ム差分値算出ステップで算出された前記フレーム差分値
   とを比較し、その比較結果に応じ予め設定されている所
   定の値を出力する出力ステップと、前記出力ステップで
   出力された前記所定の値を記憶する第２の記憶ステップ
   と、 時刻ｔにおいて前記フィールド差分値算出ステップで算
   出された前記フィールド差分値、時刻ｔにおいて前記フ
   レーム差分値算出ステップで算出された前記フレーム差
   分値、および時刻ｔより前の時刻に前記第２の記憶ステ
   ップで記憶された前記所定の値を用いて、前記画像信号
   に基づく画像の動領域を検出する検出ステップとからな
   ることを特徴とするプログラムをコンピュータに実行さ
   せる媒体。