JP2000348183A - 画像処理装置および方法、並びに媒体 - Google Patents

Abstract

(57)【要約】 【課題】 動き検出の精度を向上させる。 【解決手段】 動き検出回路２６の動領域判定回路６３
は、フィールド差分値と、３つのフレーム差分値ａ乃至
ｃを用い、さらに、シーンチェンジ、機器のモード情
報、ライン差分値などを考慮して動領域の判定を行う。
フレーム差分値ａを算出した画素が位置するラインに対
して、上下のラインに位置する画素を用いて、フレーム
差分値ｂ，ｃは算出される。孤立領域除去回路６６は、
静止領域に囲まれる動領域を検出し、その動領域を静止
領域に転換させる。動領域拡張回路６７は、動領域と判
定された領域に隣接する静止領域の所定の画素数を動領
域に転換する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置および
方法、並びに媒体に関し、特に、フィールド差分の情
報、フレーム差分の情報、水平エッジ情報、および画像
の特徴情報を用いて動き検出を行う画像処理装置および
方法、並びに媒体に関する。

【０００２】

【従来の技術】入力された画像データから動きを検出す
る手法として、フィールド間での差分を用いる方法と、
フレーム間での差分を用いる方法とがあり、共に、簡単
な回路構成で実現できることから、一般的に用いられて
いる。

【０００３】

【発明が解決しようとする課題】画像データがインター
レースに入力される場合、フィールド差分だけを用いた
場合、連続する２枚のフィールドには、上下方向に１ラ
イン分のずれがある。従って、差分を算出するために、
一方のフィールドは、隣合うラインから、その間に位置
する画素を補間により算出し上述した１ライン分の補正
を行った上で、他方のフィールドとの差分を算出する。
このように、一方のフィールドからは、補間された画素
データを用いてフィールド差分値を算出することにな
り、その補間のために、画像にぼけが生じてしまい、そ
の結果、動き検出の精度が落ちてしまうといった課題が
あった。

【０００４】また、動き検出に、フレーム間での差分を
用いる方法を適用した場合、差分を算出する画像の間に
は、２フィールドの開きがある。従って、フレーム差分
を算出する２枚の画像が一致している場合でも、その２
枚の画像の間にある画像も、同様に一致しているとは限
らず、このことが動き検出を行う上で、検出漏れの原因
となるという課題があった。

【０００５】ところで、動き検出における誤検出は、特
に、水平方向のエッジ部分で生じることが多い。エッジ
部分は、コントラストの差が大きいため、対象物のわず
かな振動や、動き検出を行う回路によるわずかなジッタ
などによる影響を大きく受けてしまい、本来動いていな
いと判断されるべき画像に対しても、動き検出の結果
が、めまぐるしく変化してしまう可能性があるといった
課題もあった。

【０００６】本発明はこのような状況に鑑みてなされた
ものであり、フィールド差分の情報、フレーム差分の情
報、水平エッジ情報、および映像の特徴情報も用いるこ
とにより、動き検出の精度を向上させることを目的とす
る。

【０００７】

【課題を解決するための手段】請求項１に記載の画像処
理装置は、画像信号を記憶する記憶手段と、記憶手段に
記憶されている画像信号からフィールド差分値を算出す
るフィールド差分値算出手段と、記憶手段に記憶されて
いる画像信号からフレーム差分値を算出するフレーム差
分値算出手段と、フィールド差分値算出手段により算出
されたフィールド差分値と、フレーム差分値手段により
算出されたフレーム差分値を用いて画像信号に基づく画
像の動領域を検出する検出手段とを含むことを特徴とす
る。

【０００８】前記フレーム差分値算出手段は、注目して
いる画素のフレーム差分値と、注目している画素が位置
するラインに対して上側または下側に位置するラインの
うち、少なくとも一方のラインに位置する画素のフレー
ム差分値を算出するようにすることができ、前記検出手
段は、フレーム差分値算出手段により算出された２以上
のフレーム差分値とフィールド差分値を用いて、画像信
号に基づく画像の動領域を検出するようにすることがで
きる。

【０００９】請求項３に記載の画像処理装置は、フィー
ルド差分値とフレーム差分値のそれぞれに対応する、複
数のしきい値を保持する保持手段と、画像信号に基づく
画像のエッジを抽出する抽出手段と、抽出手段により抽
出されたエッジの情報に基づいて、複数のしきい値を切
り換える切り換え手段と、フィールド差分値とフレーム
差分値を、切り換え手段により切り換えられたしきい値
と、それぞれ比較する比較手段と、シーンチェンジを検
出し、その結果に応じて、比較手段による比較結果、ま
たは、予め設定されている所定の値を出力する出力手段
とをさらに備え、前記検出手段は、出力手段により出力
された結果の論理積および論理和を算出することによ
り、画像信号に基づく画像の動領域を検出するようにす
ることができる。

【００１０】請求項４に記載の画像処理方法は、画像信
号を記憶する記憶ステップと、記憶ステップで記憶され
ている画像信号からフィールド差分値を算出するフィー
ルド差分値算出ステップと、記憶ステップで記憶されて
いる画像信号からフレーム差分値を算出するフレーム差
分値算出ステップと、フィールド差分値算出ステップで
算出されたフィールド差分値と、フレーム差分値ステッ
プで算出されたフレーム差分値を用いて画像信号に基づ
く画像の動領域を検出する検出ステップとを含むことを
特徴とする。

【００１１】請求項５に記載の媒体のプログラムは、画
像信号を記憶する記憶ステップと、記憶ステップで記憶
されている画像信号からフィールド差分値を算出するフ
ィールド差分値算出ステップと、記憶ステップで記憶さ
れている画像信号からフレーム差分値を算出するフレー
ム差分値算出ステップと、フィールド差分値算出ステッ
プで算出されたフィールド差分値と、フレーム差分値ス
テップで算出されたフレーム差分値を用いて画像信号に
基づく画像の動領域を検出する検出ステップとからなる
ことを特徴とする。

【００１２】請求項１に記載の画像処理装置、請求項４
に記載の画像処理方法、および請求項５に記載の媒体に
おいては、画像信号からフィールド差分値とフレーム差
分値が算出され、算出されたフィールド差分値とフレー
ム差分値が用いられて画像信号に基づく画像の動領域が
検出される。

【００１３】

【発明の実施の形態】図１は、本発明を適用した記録再
生装置１の一実施の形態の構成を示すブロック図であ
る。アンテナ２により受信された番組は、チューナ３に
出力され、ユーザが所望とする番組の信号のみ選択さ
れ、スイッチ４に出力される。スイッチ４は、外部入力
端子５に接続されている図示されていない装置からのデ
ータも入力される。スイッチ４は、マイクロコンピュー
タ６の指示により、チューナ３からの出力、または、外
部入力端子５からの出力のうち、どちらか一方を選択
し、映像信号を映像信号処理部７に、音声信号を音声信
号処理部８に、それぞれ出力する。

【００１４】映像信号処理部７は、入力された映像信号
にAGC（Automatic Gain Control）などの処理を施し、A
/D（Analog/Digital）変換部９に出力する。同様に、音
声信号処理部８は、入力された音声信号に所定の処理を
施し、A/D変換部１０に出力する。A/D変換部９は、入力
された映像信号を、A/D変換部１０は、入力された音声
信号を、それぞれ、デジタル信号に変換する。A/D変換
部９によりデジタル信号に変換された映像信号は、映像
信号圧縮器１１に出力され、A/D変換部１０によりデジ
タル信号に変換された音声信号は、音声信号圧縮器１２
に出力される。

【００１５】映像信号圧縮器１１に入力された映像信号
は、例えば、MPEG（Moving PictureExperts Group）２
方式の圧縮方式が用いられて、圧縮され、メモリ１３に
出力され、記憶される。同様に、音声信号圧縮器１２に
入力された音声信号は、例えば、MPEGオーディオ方式の
圧縮方式が用いられて、圧縮され、メモリ１４に出力さ
れ、記憶される。

【００１６】メモリ１３に記憶された映像データと、メ
モリ１４に記憶された音声データは、マイクロコンピュ
ータ６の指示に従い、メモリコントローラ１５がコント
ロールすることにより、読み出され、バス１６を介し
て、記録用変調器１７に入力される。記録用変調器１７
は、入力された映像データまたは音声データに、エラー
訂正データの付加やEFM（Eight to Fourteen Modulatio
n）変調などの処理を施し、ディスク１８に出力し、記
録させる。ディスク１８は、内蔵型のハードディスク、
着脱可能な光ディスクや磁気ディスクなどである。ディ
スク１８へのデータの記録は、マイクロコンピュータ６
の指示により、ディスクコントローラ１９がディスク１
８を制御することにより行われる。

【００１７】ディスク１８に記録されているデータは、
再生用復調器２０により、読み出され、EFM復調やエラ
ー訂正などの処理が行われた後、バス１６を介して、映
像データはメモリ２１に、音声データはメモリ２２に、
それぞれ出力され、記憶される。メモリ２１に記憶され
た映像データは、マイクロコンピュータ６の指示に従
い、メモリコントローラ１５がコントロールすることに
より、読み出され、映像信号伸張器２３に出力される。
同様に、メモリ２２に記憶されている音声データは、読
み出され、音声信号伸張器２４に出力される。

【００１８】映像信号伸張部２３は、入力された圧縮さ
れている映像データに伸張処理を施し、メモリ２５、動
き検出回路２６、および映像処理回路２７に出力する。
メモリ２５に記憶された映像信号は、動き検出回路２６
と映像処理回路２７に出力される。メモリ２５は、動き
検出および映像処理において必要なメモリであり、数フ
ィールド分の映像信号を記憶することができる。

【００１９】動き検出回路２６は、フィールド差分とフ
レーム差分を適応的に組み合わせ（詳細は後述する）、
動き検出を行う。検出された動き検出結果の情報は、結
果用メモリ２８に記憶される。映像処理回路２７は、結
果用メモリ２８から読み出した動き検出結果の情報と複
数のフィールドの映像データを用いて、例えば、フレー
ム静止画の生成や拡大縮小などの処理を行う。映像処理
回路２７からの出力は、D/A変換部２９に出力され、ア
ナログ信号に変換される。アナログ信号に変換された映
像データは、映像信号処理部３０に出力される。映像信
号処理部３０は、入力された映像信号にエンファンシス
などの処理を施し、コンポジット映像信号として、記録
再生装置１に接続されているモニタ４１に出力する。

【００２０】一方、音声信号伸張器２４に入力された音
声データは、伸張処理が施されD/A変換部３１に出力さ
れる。D/A変換部３１に入力されたデジタル信号の音声
データは、アナログ信号に変換され、音声信号処理部３
２に出力され、増幅などの所定の処理が施され、接続さ
れているスピーカ４２に出力される。

【００２１】操作部３３は、リモートコントローラ、ボ
タン、ジョグダイヤルなどから構成され、ユーザが所望
の処理を記録再生装置１に対して行うときに操作され
る。マイクロコンピュータ６は、操作部３３からの操作
信号に従い、各部を制御する。

【００２２】図２は、動き検出回路２６の詳細を示すブ
ロック図である。メモリ２５は、３つのフィールドメモ
リ５１−１乃至５１−３から構成されている。映像信号
伸張器２３から出力された映像データは、メモリ２５の
フィールドメモリ５１−１に入力されるとともに、動き
検出回路２６のシーンチェンジ検出回路６１と加算器６
２−１にも入力される。フィールドメモリ５１−１に記
憶された映像データは、フィールドメモリ５１−２に順
次入力され、記憶され、フィールドメモリ５１−２に記
憶された映像データは、フィールドメモリ５１−３に順
次入力され、記憶される。

【００２３】従って、時刻ｔにおいて入力された映像デ
ータが加算器６２−１に入力されるとき、フィールドメ
モリ５１−１から出力される映像データは、１フィール
ド前の時刻ｔ−１に入力された映像データであり、フィ
ールドメモリ５１−２から出力される映像データは２フ
ィールド前の映像データであり、フィールドメモリ５１
−３から出力される映像データは、３フィールド前の映
像データである。すなわち、１フィールド毎に、フィー
ルドメモリ５１−１からフィールドメモリ５１−２へ、
フィールドメモリ５１−２からフィールドメモリ５１−
３へと映像データは、流れていく。実際に回路を構成す
る場合、画像データを移動させるのではなく、メモリ２
５内に複数のバンクを設け、そのバンクを切り換えるこ
とにより行うようにしても良い。

【００２４】以下の説明においては、時刻ｔにおいてフ
ィールドメモリ５１−１から出力される映像データをフ
ィールドｎとし、動き検出回路２６の加算器６２−１に
入力される映像データをフィールドｎ＋１とし、フィー
ルドメモリ５１−２から出力される映像データをフィー
ルドｎ−１とし、フィールドメモリ５１−３から出力さ
れる映像データをフィールドｎ−２とする。

【００２５】シーンチェンジ検出回路６１は、映像信号
伸張器２３からのフィールドｎ＋１の映像データとフィ
ールドメモリ５１−１からのフィールドｎの映像データ
とを用いて、シーンチェンジを検出する。シーンチェン
ジの検出は、フィールド差分を用いて行う方法やフィー
ルド間のヒストグラムを比較する方法などにより行われ
る。判定された結果は、動領域判定回路６３に出力され
る。

【００２６】加算器６２−１は、映像信号伸張器２３か
ら出力されたフィールドｎ＋１の映像データから、フィ
ールドメモリ５１−２から出力されたフィールドｎ−１
の映像データを減算し（以下、この減算された値をフレ
ーム差分値ａとする）、動領域判定回路６３に出力す
る。

【００２７】フィールドメモリ５１−１から出力された
フィールドｎの映像データは、加算器６２−２とディレ
イライン部６４−１にも出力される。ディレイライン部
６４−１は、加算器６２−２に、フィールドメモリ５１
−１から直接供給されるフィールドｎの所定のライン
（ラインｍとする）の前のライン（ラインｍ−１とす
る）の映像データを加算器６２−２に供給する。加算器
６２−２は、フィールドｎのラインｍの映像データとラ
インｍ−１の映像データとを加算し、その値を乗算器６
５に出力する。乗算器６５は、入力された値に１／２を
乗算し、その値を加算器６２−３に出力する。このよう
にして、フィールドｎに、フィールドｎ−１に存在する
ラインの映像データと同位置に存在するラインの映像デ
ータが生成される。

【００２８】加算器６２−３は、フィールドｎの生成さ
れたラインの映像データから、フィールドメモリ５１−
２から出力されたフィールドｎ−１の対応する位置に位
置するラインの映像データを減算することにより、フィ
ールド差分値を算出し、動領域判定回路６３に出力す
る。

【００２９】フィールドメモリ５１−１から出力された
フィールドｎの映像データは、加算器６２−４にも入力
される。加算器６２−４には、ディレイライン部６４−
１から出力されたフィールドｎの映像データも入力され
る。加算器６２−４は、フィールドメモリ５１−１から
出力されたフィールドｎのラインｍの映像データから、
ディレイライン部６４−１から出力されたフィールドｎ
のラインｍ−１の映像データを減算することにより、ラ
イン差分値を算出し、動領域判定回路６３に出力する。

【００３０】フィールドメモリ５１−３から出力された
フィールドｎ−２の映像データは、加算器６２−５とデ
ィレイライン部６４−２に入力される。ディレイライン
部６４−２は、ディレイライン部６４−１と同様に処理
により、例えば、フィールドメモリ５１−３から加算器
６２−４に供給されているラインの映像データがライン
ｍの映像データのとき、その前のラインｍ−１の映像デ
ータを加算器６２−６に供給する。

【００３１】加算器６２−５は、フィールドメモリ５１
−３から供給されるフィールドｎ−２の映像データか
ら、フィールドメモリ５１−１から供給されるフィール
ドｎの映像データを減算することにより、フレーム差分
値（以下、フレーム差分値ｃとする）を算出し、動領域
判定回路６３に出力する。

【００３２】加算器６２−６は、ディレイライン部６４
−２から出力されたフィールドｎ−２の映像データか
ら、ディレイライン６４−１から出力されたフィールド
ｎの映像データを減算することにより、フレーム差分値
（以下、フレーム差分値ｂとする）を算出し、動領域判
定回路６３に出力する。

【００３３】動領域判定回路６３は、各部において算出
された値（入力された値）、シーンチェンジ検出回路６
１からシーンチェンジに関する情報、および、マイクロ
コンピュータ６からのモードに関する情報を用いて、動
きがあると判断される領域を判断し、その結果を孤立領
域除去回路６６に出力する。詳細は後述するが、動領域
判定回路６３、孤立領域除去回路６６、動領域拡張回路
６７、およびソフトスイッチング回路６８により、動き
検出がされる。

【００３４】図３は、動領域判定回路６３の詳細を示す
図である。マイクロコンピュータ６（図１）からのモー
ドに関する情報と、シーンチェンジ検出回路６１（図
２）から出力されたシーンチェンジに関する情報は、判
定情報選択回路８１に入力される。判定情報選択回路８
１は、入力された情報に基づき、スイッチ８１−１乃至
８１−４を制御する。加算器６２−３から出力されたフ
ィールド差分値は、動領域判定回路６３の絶対値回路８
３−１に入力され、絶対値が算出され、比較器８４−１
に出力される。比較器８４−１には、スイッチ８５−１
からの出力も入力される。比較器８４−１による比較結
果は、スイッチ８１−１の端子Ａに出力される。

【００３５】同様に、加算器６２−１から出力されたフ
レーム差分値ａは、絶対値回路８３−２を介して比較器
８４−２に入力される。比較器８４−２には、スイッチ
８５−２からの出力も入力される。比較器８４−２から
の出力は、スイッチ８１−２の端子Ａに出力される。加
算器６２−６から出力されたフレーム差分値ｂは、絶対
値回路８３−３を介して比較器８４−３に入力される。
比較器８４−３には、スイッチ８５−３からの出力も入
力される。比較器８４−３からの出力は、スイッチ８１
−３の端子Ａに出力される。さらに、加算器６２−５か
ら出力されたフレーム差分値ｃは、絶対値回路８３−４
を介して比較器８４−４に入力される。比較器８４−４
には、スイッチ８５−４からの出力も入力される。比較
器８４−４からの出力は、スイッチ８１−４の端子Ａに
出力される。

【００３６】加算器６２−４から出力されたライン差分
値は、絶対値回路８３−５を介して比較器８４−５に入
力される。比較器８４−５は、予め設定されたしきい値
とライン差分値を比較し、その比較結果に基づいて、ス
イッチ８５−１乃至８５−４を制御する。

【００３７】スイッチ８１−１乃至８１−４の、それぞ
れのＢ端子には、VCC（値として１）が供給されてい
る。また、スイッチ８１−２乃至８１−４の、それぞれ
のＣ端子には、値として０が供給されている。スイッチ
８１−２乃至８１−４からの出力は、OR回路８６に入力
され、論理和が算出され、その結果が、AND回路８７に
出力される。AND回路８７は、OR回路８６から出力され
た値と、スイッチ８１−１から出力された値との論理積
を算出し、その結果を動領域判定の結果として出力す
る。

【００３８】次に、図４のフローチャートを参照して、
動き検出回路２６の動作について説明する。ステップＳ
１において、フィールド差分が取られる。ここで、時刻
ｔにおいて動き検出回路２６に入力されるフィールドｎ
＋１、フィールドメモリ５１−１から出力されるフィー
ルドｎ、フィールドメモリ５１−２から出力されるフィ
ールドｎ−１、およびフィールドメモリ５１−３から出
力されるフィールドｎ−２との擬似的な位置関係を図５
に示す。

【００３９】図５に示したように、映像信号はインター
レースに入力されるため、隣あうフィールド間には、１
ラインのずれが生じている。すなわち、フィールドｎ−
２の一番上に位置するラインをラインｍとし、その次の
ラインをｍ＋１とすると、フィールドｎ−１の一番上に
位置するラインｎは、ラインｍとラインｍ＋１の中間に
位置することになる。図５に示したように、所定のフィ
ールド内の所定のライン上に位置する画素を画素Ａ乃至
Ｆとする。

【００４０】図５の一部分を垂直方向に切り出して、時
間順に並べると、換言すれば、画素Ａ乃至Ｆを全て含む
平面で切り出し、その一部を取り出すと図６に示したよ
うになる。このように、映像信号はインターレースに入
力されるため、例えば、フィールドｎの画素Ｂと画素Ｃ
の間に、フィールドｎ−１の画素Ａが位置するという位
置関係になる。従って、ステップＳ１において行われる
フィールド差分を算出為には、例えば、図７に示すよう
に、フィールドｎ−１とフィールドｎとのフィールド差
分を算出する為には、フィールドｎの画素Ｂと画素Ｃと
の間に、フィールドｎの画素Ａに対応する位置に位置す
る画素Ｇを補間（生成）する必要がある。すなわち、画
素Ｂと画素Ｃとを足し合わし、その足し合わされた値の
半分（平均）の値が画素Ｇの画素データとなる。

【００４１】図２に示した動き検出回路２６において、
フィールドメモリ５１−１に記憶されてるデータがフィ
ールドｎのものであるとき、フィールドメモリ５１−２
に記憶されているデータは、フィールドｎ−１のもので
ある。そのようなときに、フィールドメモリ５１−１か
ら画素Ｃのデータが出力されると、ディレイライン部６
４−１からは画素Ｂのデータが出力される。そのため、
加算器６２−２では、画素Ｂのデータと画素Ｃのデータ
とが加算されることになる。その加算されたデータは、
乗算器６５に入力され、１／２が乗算されることによ
り、平均値が算出され、加算器６２−３に出力される。
加算器６２−３には、フィールドメモリ５１−２から出
力されたフィールドｎ−１の画素Ａのデータも入力さ
れ、その入力された画素Ａのデータを、乗算器６５から
出力された画素Ｂと画素Ｃとの平均値（画素Ｇのデー
タ）から減算することにより、フィールド差分値が算出
される。

【００４２】このように、各フィールド内に存在する全
ての画素に対して、同様の処理が施されることにより、
フィールド差分値が算出されると、ステップＳ２に進
み、フレーム差分値が算出される。フレーム差分値は、
同じライン配列をしているフィールド同士の画素データ
が用いられて算出される。すなわち、図８に示したよう
に、フィールドｎ−２とフィールドｎ、フィールドｎ−
１とフィールドｎ＋１との間で、それぞれフレーム差分
値が算出される。例えば、図２に示した動き検出回路２
６において、フィールドｎ＋１の画素Ｄのデータが入力
されたとき、フィールドメモリ５１−２からフィールド
ｎ−１の画素Ａのデータが出力される。その結果、加算
器６２−１には、画素Ａのデータと画素Ｄのデータとが
入力される。加算器６２−１は、画素Ａのデータから画
素Ｄのデータを減算することにより、フレーム差分値ａ
を算出する。

【００４３】本実施の形態においては、１つのフレーム
差分値だけではなく、そのフレーム差分値を算出した画
素（注目画素）があるラインの、上下に位置するライン
内の画素（画素Ａ，Ｄに対しては、画素Ｂ，Ｃ，Ｅ，
Ｆ）も用いられて、さらにフレーム差分値が算出され、
後述する動画領域の判定に用いられる。上述したよう
に、画素Ａと画素Ｄとを用いてフレーム差分値が算出さ
れる処理と並行して、画素Ｂと画素Ｅ、画素Ｃと画素Ｆ
との間でのフレーム差分値が、それぞれ算出される。

【００４４】上述したように、フィールドメモリ５１−
１からフィールドｎの画素Ｃのデータが出力されている
とき、ディレイライン部６４−１からは、画素Ｂのデー
タが出力されているので、その画素Ｂのデータを用い
る。また、そのとき、フィールドメモリ５１−３から
は、画素Ｃに対応する位置に位置する、フィールドｎ−
２の画素Ｆのデータが出力される。さらに、ディレイラ
イン部６４−２からは、画素Ｅのデータが出力される。
画素Ｂと画素Ｅからフレーム差分値ｂ、画素Ｃと画素Ｆ
とからフレーム差分値ｃが、それぞれ算出される。

【００４５】このようにしてステップＳ２において、フ
レーム差分値が算出されると、ステップＳ３において、
水平エッジが検出される。水平エッジの検出は、ライン
間の差分値を取ることにより行われ、１つのフィールド
内に存在する上下に隣り合う画素データが用いられる。
すなわち、図９に示したように、フィールドｎにおける
エッジを検出する場合、例えば、画素Ｂと画素Ｃとの差
分値が取られることにより行われる。図２に示した動き
検出回路２６においては、フィールドメモリ５１−１か
ら出力されたフィールドｎの画素Ｃのデータと、その画
素Ｃのデータに対応するデータとしてディレイライン部
６４−１から出力されたフィールドｎの画素Ｂのデータ
とが、加算器６２−４に入力され、画素Ｃのデータから
画素Ｂのデータが減算されることにより、ライン差分値
が算出される。

【００４６】このようにして、ライン差分値が算出され
ると、ステップＳ４に進み、ステップＳ１乃至Ｓ３にお
いて算出された差分値が用いられて、動領域判定処理
が、動領域判定回路６３により行われる。図１０は、ス
テップＳ４の動領域判定処理の詳細を示すフローチャー
トである。まず、ステップＳ１１において、動領域判定
回路６３のスイッチ８５−１乃至８５−４（図３）の接
続処理が行われる。図１１は、スイッチ８５の接続処理
の詳細を示すフローチャートである。

【００４７】ステップＳ２１において、比較器８４−５
において、絶対値回路８３−５により絶対値が算出され
たライン差分値が、Edge_th1よりも小さいか否かが判断
される。ライン差分値が、Edge_th1よりも小さいと判断
された場合、ステップＳ２２に進み、スイッチ８５−１
乃至８５−４が、それぞれ、端子Ａと接続される。スイ
ッチ８５−１は、端子Ａと接続されることにより、フィ
ールド差分値のしきい値Field_th１を比較器８３−１に
供給する。同様に、スイッチ８５−２が接続されること
により、フレーム差分値ａのしきい値Frame_th1Aが比較
器８４−２に、スイッチ８５−３が接続されることによ
り、フレーム差分値ｂのしきい値Frame_th1Bが比較器８
４−３に、スイッチ８５−４が接続されることにより、
フレーム差分値ｃのしきい値Frame_th1Cが比較器８４−
４に、それぞれ供給される。

【００４８】一方、ステップＳ２１において、ライン差
分値はEdge_th1よりも小さくはないと判断された場合、
ステップＳ２３に進み、ライン差分値が、Edge_th1より
大きく、かつ、Edge_th2より小さいか否かが判断され
る。ライン差分値は、Edge_th1より大きく、かつ、Edge
_th2より小さいと判断された場合、ステップＳ２４に進
みスイッチ８５−１乃至８５−４が、それぞれ端子Ｂと
接続される。スイッチ８５−１乃至８５−４は、それぞ
れ端子Ｂと接続されることにより、所定のしきい値を、
対応する比較器８４−１乃至８４−４に供給する。

【００４９】ステップＳ２３において、ライン差分値が
Edge_th2よりも大きいと判断された場合、ステップＳ２
５に進みスイッチ８５−１乃至８５−４は、それぞれ端
子Ｃと接続される。スイッチ８５−１乃至８５−４は、
それぞれ端子Ｃと接続されることにより、所定のしきい
値を、対応する比較器８４−１乃至８４−４に供給す
る。

【００５０】このようにして、スイッチ８５−１乃至８
５−４は、ライン差分値に応じて、端子Ａ乃至Ｃのうち
の、いづれかの端子と接続される。比較器８４−１は、
絶対値が算出されたフィールド差分値と、スイッチ８５
−１から供給されるしきい値とを比較し、その比較結果
が、フィールド差分値の方がしきい値よりも大きい場
合、動領域候補と見なし、”１”をスイッチ８１−１の
端子Ａに出力し、フィールド差分値の方がしきい値より
も小さい場合、静止領域候補と見なし、”０”をスイッ
チ８１−１の端子Ａに出力する。

【００５１】比較器８４−２乃至８４−４も同様に、そ
れぞれ入力されたフレーム差分値ａ乃至ｃを、対応する
スイッチ８５−１乃至８５−４から供給されたしきい値
と比較し、その比較結果に応じた値として、０または１
を、対応するスイッチ８１−２乃至８１−４の端子Ａに
出力する。

【００５２】このようにステップＳ１１（図１０）にお
いて、スイッチ８５の接続処理が行われ、それぞれの差
分値としきい値との比較結果が出力されると、ステップ
Ｓ１２において、スイッチ８１−１乃至８１−４の接続
処理が行われる。図１２は、ステップＳ１２のスイッチ
８１の接続処理の詳細を説明するフローチャートであ
る。

【００５３】ステップＳ３１において、動領域判定回路
６３の判定情報選択回路８１は、フィールド差分モード
であるか否かを判断する。判定情報選択回路８１には、
機器モードとシーンチェンジ検出結果が入力される。機
器モードとは、記録再生装置１のモード情報である。例
えば、記録再生装置１が、DVD（Digital Video Disk）
プレーヤである場合、サーチ時などに有効な映像データ
が間欠的にしか入力されないときがある。本実施の形態
においては、通常再生時では、連続する４フィールド分
の映像情報を使用して処理を行っている。仮に、連続す
る２枚のフィールドが間欠的に入力されるような場合、
連続する２フィールド分の映像情報だけを使用して処理
を行うように、処理モードを変更しなくてはならない。
このような場合、フィールド差分情報だけを用いて動領
域の判定を行わなくてはならない。このようなモードの
ことを、フィールド差分モードと称する。

【００５４】ステップＳ３１において、判定情報選択回
路８１がフィールド差分モードであると判断した場合、
ステップＳ３２に進む。ステップＳ３２において、スイ
ッチ８１−１は端子Ａに、スイッチ８１−２乃至８１−
４は端子Ｂに、それぞれ接続される。スイッチ８１−１
乃至８１−４の端子Ａには、それぞれ対応する比較器８
４−１乃至８４−４から出力された”１”または”０”
が供給されており、端子Ｂには、”１”が供給されてい
る。また、スイッチ８１−２乃至８２−４の端子Ｃに
は、”０”が供給されている。

【００５５】一方、ステップＳ３１において、判定情報
選択回路８１により、フィールド差分モードではないと
判断された場合、ステップＳ３３に進み、シーンチェン
ジありか否かが判断される。シーンチェンジ情報は、シ
ーンチェンジ検出回路６１から供給されるようにするほ
かに、予め、検出された情報を記録媒体などに記録し、
必要に応じて読み出すようにしても良い。

【００５６】ステップＳ３３において、シーンチェンジ
があると判断された場合、ステップＳ３４以下の処理
で、どのフィールド間で、シーンチェンジがあるのかが
判断され、その判断結果に応じた処理が実行される。ま
ず、ステップＳ３４において、シーンチェンジは、フィ
ールドｎ＋１とフィールドｎの間であるか否かが判断さ
れる。シーンチェンジが、フィールドｎ＋１とフィール
ドｎの間であると判断された場合、ステップＳ３５に進
む。図１３に示すように、シーンチェンジがフィールド
ｎとフィールドｎ＋１の間にある場合、フィールドｎ＋
１の画素Ｄのデータを用いて算出された差分値、すなわ
ち、フレーム差分値ａからの情報は、動領域の判定に用
いないようにする。換言すれば、フィールド差分値、フ
レーム差分値ｂ，ｃから得られる情報のみで、動領域の
判定を行うようにする。

【００５７】従って、ステップＳ３５において、スイッ
チ８１−１が端子Ａ（フィールド差分値からの比較結
果）に、スイッチ８１−２が端子Ｃ（フレーム差分値ａ
からの情報は用いないため、”０”）に、スイッチ８１
−３，８１−４が端子Ａ（フレーム差分値ｂ，ｃからの
比較結果）に、それぞれ接続される。

【００５８】ステップＳ３４において、シーンチェンジ
がフィールドｎ＋１とフィールドｎの間ではないと判断
された場合、ステップＳ３６において、シーンチェンジ
がフィールドｎとフィールドｎ−１の間にあるか否かが
判断される。図１４に示すように、シーンチェンジがフ
ィールドｎとフィールドｎ−１の間にあると判断された
場合、ステップＳ３７に進む。このように、シーンチェ
ンジがフィールドｎとフィールドｎ−１の間にある場
合、フィールドｎとフィールドｎ−１の間には、相関が
ないものと見なし、画面全体を動領域とする。従って、
フィールド差分値およびフレーム差分値ａ乃至ｃから得
られる比較結果に関係なしに、動領域と判定されるよう
に、スイッチ８１−１乃至８１−４が、それぞれ端子Ｂ
と接続され、OR回路８６およびAND回路８７に”１”が
供給されるようにする。

【００５９】ステップＳ３６において、シーンチェンジ
がフィールドｎとフィールドｎ−１の間にはないと判断
された場合、図１５に示すように、シーンチェンジがフ
ィールドｎ−１とフィールドｎ−２の間にあることにな
る。そこで、ステップＳ３８に進み、スイッチ８１−
１，８１−２を端子Ａに、スイッチ８１−３，８１−４
を端子Ｃに、それぞれ接続する。このようにするのは、
フィールドｎ−２の画素Ｅ，Ｆから得られる情報を用い
ないようにするためである。すなわち、画素Ｅ，Ｆから
算出されるフレーム差分値ｂとフレーム差分値ｃとから
得られる比較結果（比較器８４−３，８４−４から出力
される値）を用いないようにする。そのため、スイッチ
８１−３，８１−４は、それぞれ端子Ｃと接続され、OR
回路８６には”０”が供給される。

【００６０】シーンチェンジがある場合は、上述したよ
うに、シーンチェンジの存在する位置により、動領域を
判定するために用いる差分値を選択するようにしたが、
ステップＳ３３において、シーンチェンジが存在しない
と判断された場合は、図６に示したような状態なので、
画素Ａ乃至Ｆから得られる全ての情報を用いて動領域の
判定を行う。すなわち、ステップＳ３９において、スイ
ッチ８１−１乃至８１−４が、それぞれ端子Ａと接続さ
れることにより、画素Ａ乃至Ｆを用いて算出されたフィ
ールド差分値およびフレーム差分値ａ乃至ｃとしきい値
との比較により得られた比較結果が用いられて動領域の
判定が行なわれる。

【００６１】このようにして、ステップＳ１２（図１
０）において、スイッチ８１−１乃至８１−４が、端子
Ａ、端子Ｂ、または端子Ｃのうちのいずれかの端子と接
続されると、ステップ１３に進む。ステップＳ１３にお
いて、OR回路８６とAND回路８７は、入力されたデータ
を用いて、それぞれ論理和と論理積を算出する。OR回路
８６は、スイッチ８１−２乃至８１−４から供給される
データから論理和を算出するわけだが、これは、３つの
フレーム差分値ａ乃至ｃから得られる結果が全て静止で
ある場合のみ、フレーム差分情報による判定結果が静止
であるというデータを出力させるために設けられてい
る。

【００６２】AND回路８７は、フィールド差分値から得
られた動領域の結果（スイッチ８１−１から出力された
結果）と、フレーム差分値から得られた動領域の結果
（OR回路８６から出力された結果）との論理積を算出す
ることにより、動領域判定回路６３における最終的な動
領域の判定結果を出力する。フィールド差分値から得ら
れた動領域の結果とフレーム差分値から得られた動領域
の結果、両方とも動領域である（”１”）場合のみ、動
領域判定結果として、動領域であることを示す”１”が
出力される。

【００６３】このように、シーンチェンジ情報などの映
像特徴情報、水平エッジ情報、機器のモード情報などに
より、使用するフィールド差分情報とフレーム差分情報
を適応的に切り換えながら、動領域を検出することによ
り、動き検出の精度を向上させることが可能となる。

【００６４】ステップＳ４（図４）において、動領域判
定処理が終了されると、ステップＳ５に進み、孤立領域
除去回路６６により、孤立領域除去が行われる。ここ
で、孤立領域とは、静止領域であると判断された領域内
に存在する、動領域と判断された領域のことをいう。図
１６に示すように、画素ａ乃至ｄが動領域であると判断
された場合でも、それらの画素を囲む画素が、静止領域
であると判断された場合、画素ａ乃至ｄは、全て静止領
域に転換され、静止領域として取り扱われる。ただし、
このように、動領域が静止領域に転換されるのは、その
動領域が所定の大きさの範囲内である場合に限られる。
この孤立領域除去の処理は、ノイズによる影響を軽減す
る、換言すれば、ノイズにより誤って動領域と判断され
た領域をなくすために行われる。

【００６５】ステップＳ５において、孤立領域除去の処
理が終了されると、ステップＳ６に進み、動領域拡張回
路６７により、動領域の拡張処理が行われる。動領域の
拡張は、動領域と判断された領域の水平方向の両端に位
置する所定数の画素を、静止領域から動領域に転換させ
る処理である。ステップＳ６における動領域拡張処理が
終了されたら、ステップＳ７において、ソフトスイッチ
ング回路６８により、ソフトスイッチング処理が行われ
る。ソフトスイッチング処理は、動領域と静止領域との
境界部分を滑らかに変化する係数を持たせることを目的
としている。これは、動き検出回路２６による結果を用
いて、映像処理回路２７が映像信号を生成する際に、検
出された動き検出結果を２枚のフィールド画像のミック
ス比率として使用するため、緩やかに係数値を変化させ
た方がよいからである。

【００６６】ここで、図１７を参照して、映像処理回路
２７の行う映像処理について説明する。フィールドｎと
フィールドｎ−１から動きぶれのないフレーム静止画を
作成する際、例えば、画素Ｗのデータは、隣接する画素
Ｘ，Ｙ，Ｚのデータを用いて、次式（１）に従って算出
される。

【００６７】 Ｗ＝（（Ｙ＋Ｚ）／２）×ｍｄ＋Ｘ×（１−ｍｄ） ・・・（１） 式（１）において、Ｘ，Ｙ，Ｚ，Ｗは、それぞれ、画素
Ｘ，Ｙ，Ｚ，Ｗのデータであり、ｍｄは動き検出係数で
ある。また、動き検出係数ｍｄは、０以上、１以下の数
値であり、０のときは静止領域、１のときは動領域を表
す。

【００６８】このように画素Ｗのデータは算出されるた
め、動き検出係数ｍｄの値は、０または１の、どちらか
一方の値しか持たないものではなく、緩やかに変化させ
た方が、動領域と静止領域との境界がきれいに変化する
画像が得られる。

【００６９】ステップＳ７において、動領域と静止領域
との間でのソフトスイッチング処理が終了されると、そ
の結果が、動き検出の検出結果として、結果用メモリ２
８（図１）に出力され、記憶される。結果用メモリ２８
に記憶された動き検出結果は、上述したように、映像処
理回路２７が映像信号を生成する際に用いられる。

【００７０】ここで、ステップＳ５乃至Ｓ７の処理につ
いて、図１８を参照してさらに説明する。図１８（Ａ）
は、ステップＳ５において、孤立領域が除去された後の
ライン上の画素を示している。４つの動領域の画素が中
央に位置し、静止領域の画素が、その動領域の両端に位
置している。このように、動領域と静止領域とが存在し
ているときに、ステップＳ６において、動領域の拡張が
行われると、図１８（Ｂ）に示したようになる。図１８
（Ｂ）に示した状態では、動領域の４つの画素の両端に
位置する２つの静止領域の画素が、新たに動領域として
転換されている。図１８（Ｂ）に示した例では、動領域
に転換された画素数は２であるが、それ以外の画素数で
も、勿論良い。

【００７１】図１８（Ｂ）に示した状態から、さらに、
ステップＳ７において、ソフトスイッチング処理が行わ
れると、図１８（Ｃ）に示したようになる。すなわち、
動領域拡張処理により拡張された動領域を含む動領域内
の画素の動き検出係数は、全て１であり、その領域と最
も隣接する静止領域の画素から順に、動き検出係数が
０．７５，０．５，０，２５というように、段階的に変
化している。この段階的に動き係数が変化する部分が、
ソフトスイッチング処理による領域である。ソフトスイ
ッチング領域以外の静止領域の動き係数は、全て０であ
る。ソフトスイッチングによる動き検出係数は、さらに
細かく段階的な数値を設定するようにしても良い。

【００７２】上述した実施の形態は、一例であり、例え
ば、動き検出回路２６に入力される映像信号をLPF（Low
Pass Filter）をかけて、ノイズを軽減させたり、また
は、動領域判定回路６３に入力されるフィールド差分値
やフレーム差分値にLPFをかけてノイズを軽減させるよ
うにしても良い。

【００７３】動領域判定回路６３の判定情報選択回路８
１に用いられる情報は、機器モードとシーンチェンジ検
出結果に限らず、他の情報を用いるようにしても良い。
また、上述した実施の形態においては、フレーム差分値
ａ乃至ｃを用いたが、さらに、他の差分値を用いるよう
にしても良い。例えば、図１９に示したように、画素Ｈ
と画素Ｊ、画素Ｉと画素Ｋを、それぞれ用いて、フレー
ム差分値を算出し、動き検出に用いるようにしても良
い。

【００７４】さらに、図３に示した動領域判定回路６３
では、比較器８４−５において、２つのしきい値を用
い、比較器８４−１乃至８４−４においては、それぞれ
３つのしきい値を用いて、入力された差分値を比較する
ようにしたが、さらに多くのしきい値を用いて、比較を
行うようにしても良い。

【００７５】上述した一連の処理は、ハードウェアによ
り実行させることもできるが、ソフトウェアにより実行
させることもできる。一連の処理をソフトウェアにより
実行させる場合には、そのソフトウェアを構成するプロ
グラムが、専用のハードウエアとしての記録再生装置１
に組み込まれているコンピュータ、または、各種のプロ
グラムをインストールすることで、各種の機能を実行す
ることが可能な、例えば、汎用のパーソナルコンピュー
タなどにインストールされる。

【００７６】次に、図２０を参照して、上述した一連の
処理を実行するプログラムをコンピュータにインストー
ルし、コンピュータによって実行可能な状態とするため
に用いられる媒体について、そのコンピュータが汎用の
パーソナルコンピュータである場合を例として説明す
る。

【００７７】プログラムは、図２０（Ａ）に示すよう
に、コンピュータ１０１に内蔵されている記録媒体とし
てのハードディスク１０２や半導体メモリ１０３に予め
インストールした状態でユーザに提供することができ
る。

【００７８】あるいはまた、プログラムは、図２０
（Ｂ）に示すように、フロッピーディスク１１１、CD-R
OM（Compact Disk-Read Only Memory）１１２、ＭＯ（M
agneto-Optical）１１３、DVD（Digital Versatile Dis
k）１１４、磁気ディスク１１５、半導体メモリ１１６
などの記録媒体に、一時的あるいは永続的に格納し、パ
ッケージソフトウェアとして提供することができる。

【００７９】さらに、プログラムは、図２０（Ｃ）に示
すように、ダウンロードサイト１２１から、デジタル衛
星放送用の人工衛星１２２を介してパーソナルコンピュ
ータ１２３に無線で転送したり、ローカルエリアネット
ワーク、インターネットといったネットワーク１３１を
介して、パーソナルコンピュータ１２３に有線で転送
し、パーソナルコンピュータ１２３において、内蔵する
ハードディスクなどに格納させることができる。

【００８０】本明細書における媒体とは、これら全ての
媒体を含む広義の概念を有するものである。

【００８１】また、本明細書において、媒体により提供
されるプログラムを記述するステップは、記載された順
序に従って、時系列的に行われる処理は勿論、必ずしも
時系列的に処理されなくとも、並列的あるいは個別に実
行される処理をも含むものである。

【００８２】

【発明の効果】以上の如く、請求項１に記載の画像処理
装置、請求項４に記載の画像処理方法、および請求項５
に記載の媒体によれば、画像信号からフィールド差分値
とフレーム差分値を算出し、算出されたフィールド差分
値とフレーム差分値を用いて画像信号に基づく画像の動
領域を検出するようにしたので、動き検出の精度を向上
させることが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した記録再生装置の一実施の形態
の構成を示すブロック図である。

【図２】図１の動き検出回路２６の内部構成を示すブロ
ック図である。

【図３】図２の動領域判定回路６３の内部構成を示すブ
ロック図である。

【図４】動き検出回路２６の動作を説明するフローチャ
ートである。

【図５】フィールドと画素との関係を説明する図であ
る。

【図６】時間的に示した各画素の位置関係を説明する図
である。

【図７】フィールド差分を説明する図である。

【図８】フレーム差分を説明する図である。

【図９】ライン差分を説明する図である。

【図１０】図４のステップＳ４の処理の詳細を説明する
フローチャートである。

【図１１】図１０のステップＳ１１の処理の詳細を説明
するフローチャートである。

【図１２】図１０のステップＳ１２の処理の詳細を説明
するフローチャートである。

【図１３】シーンチェンジがあった場合の処理を説明す
る図である。

【図１４】シーンチェンジがあった場合の処理を説明す
る図である。

【図１５】シーンチェンジがあった場合の処理を説明す
る図である。

【図１６】孤立領域除去の処理を説明する図である。

【図１７】フレーム静止画作成処理について説明する図
である。

【図１８】図４のステップＳ５乃至Ｓ７の処理を説明す
る図である。

【図１９】フレーム差分について説明する図である。

【図２０】媒体を説明する図である。

【符号の説明】

１ 記録再生装置， ２６ 動き検出回路， ５１
フィールドメモリ，６１ シーンチェンジ検出回路，
６２ 加算器， ６３ 動領域判定回路，６４ ディレ
イライン部， ６６ 孤立領域除去回路， ６７ 動領
域拡張回路， ６８ ソフトスイッチング回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 濱田 敏道 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 Ｆターム(参考） 5C059 KK00 LA01 MA00 NN24 NN43 PP22 RC32 SS18 SS30 TA61 TC02 TD12 UA02 UA29 UA34 UA38 5L096 AA02 AA06 BA18 DA01 FA06 GA08 GA22 GA23 GA51 HA03 LA06 LA10 LA17 9A001 HH30

Claims (5)

【特許請求の範囲】
1. 【請求項１】 画像信号を記憶する記憶手段と、 前記記憶手段に記憶されている前記画像信号からフィー
   ルド差分値を算出するフィールド差分値算出手段と、 前記記憶手段に記憶されている前記画像信号からフレー
   ム差分値を算出するフレーム差分値算出手段と、 前記フィールド差分値算出手段により算出されたフィー
   ルド差分値と、前記フレーム差分値手段により算出され
   たフレーム差分値を用いて前記画像信号に基づく画像の
   動領域を検出する検出手段とを含むことを特徴とする画
   像処理装置。
2. 【請求項２】 前記フレーム差分値算出手段は、注目し
   ている画素のフレーム差分値と、前記注目している画素
   が位置するラインに対して上側または下側に位置するラ
   インのうち、少なくとも一方のラインに位置する画素の
   フレーム差分値を算出し、 前記検出手段は、前記フレーム差分値算出手段により算
   出された２以上のフレーム差分値と前記フィールド差分
   値を用いて、前記画像信号に基づく画像の動領域を検出
   することを特徴とする請求項１に記載の画像処理装置。
3. 【請求項３】 前記フィールド差分値と前記フレーム差
   分値のそれぞれに対応して、複数のしきい値を保持する
   保持手段と、 前記画像信号に基づく画像のエッジを抽出する抽出手段
   と、 前記抽出手段により抽出されたエッジの情報に基づい
   て、前記複数のしきい値を切り換える切り換え手段と、 前記フィールド差分値と前記フレーム差分値を、前記切
   り換え手段により切り換えられたしきい値と、それぞれ
   比較する比較手段と、 シーンチェンジを検出し、その結果に応じて、前記比較
   手段による比較結果、または、予め設定されている所定
   の値を出力する出力手段とをさらに備え、 前記検出手段は、前記出力手段により出力された結果の
   論理積および論理和を算出することにより、前記画像信
   号に基づく画像の動領域を検出することを特徴とする請
   求項１に記載の画像処理装置。
4. 【請求項４】 画像信号を記憶する記憶ステップと、 前記記憶ステップで記憶されている前記画像信号からフ
   ィールド差分値を算出するフィールド差分値算出ステッ
   プと、 前記記憶ステップで記憶されている前記画像信号からフ
   レーム差分値を算出するフレーム差分値算出ステップ
   と、 前記フィールド差分値算出ステップで算出されたフィー
   ルド差分値と、前記フレーム差分値ステップで算出され
   たフレーム差分値を用いて前記画像信号に基づく画像の
   動領域を検出する検出ステップとを含むことを特徴とす
   る画像処理方法。
5. 【請求項５】 画像信号を記憶する記憶ステップと、 前記記憶ステップで記憶されている前記画像信号からフ
   ィールド差分値を算出するフィールド差分値算出ステッ
   プと、 前記記憶ステップで記憶されている前記画像信号からフ
   レーム差分値を算出するフレーム差分値算出ステップ
   と、 前記フィールド差分値算出ステップで算出されたフィー
   ルド差分値と、前記フレーム差分値ステップで算出され
   たフレーム差分値を用いて前記画像信号に基づく画像の
   動領域を検出する検出ステップとからなることを特徴と
   するプログラムをコンピュータに実行させる媒体。