JP2002199400A - 動画像表示システム、フレーム間補間方法及び背景動画像作成方法 - Google Patents

Abstract

(57)【要約】 【課題】 自然なフレーム間補間を行い、時間方向に対
して十分な分解能を持つ動画像を表示できる動画像表示
システムを提供する。 【解決手段】画像データを順次格納するＮフレーム格納
メモリ、Ｎフレーム格納メモリの出力側に接続された２
方向スイッチ、２方向スイッチの第１の端子に接続され
たＮ＋１フレーム格納メモリ、Ｎ＋１フレーム格納メモ
リの出力側に接続された単方向スイッチ、単方向スイッ
チに接続された出力側フレームバッファ、出力側フレー
ムバッファに接続された動画像表示装置、２方向スイッ
チの第２の端子とＮ＋１フレーム格納メモリとの間に接
続されたフレーム補間回路、２方向スイッチ及び単方向
スイッチを制御するフレーム補間位置判定器とから構成
される。「フレーム補間回路」は、周波数変換を時間方
向に対して適用し、この周波数成分を利用することによ
って、動画像の補間フレームを作成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像表示システ
ム及び、これを用いたフレーム間補間方法、背景動画像
作成方法に関する。特に、動画像の解像度変換、動画像
のフレームレート変換、或いは自然動画像中からオブジ
ェクトを抽出する技術に関する。

【０００２】

【従来の技術】例えば、プログレッシブ画像とインター
レース画像との関係を考えてみる。一般に用いられるデ
ィジタル動画像では、プログレッシブ画像を秒間３０フ
レーム表示することで実現している。しかし現在のアナ
ログ放送などでは、インターレース画像を秒間６０フレ
ームで表示していることから、動画像としての時間方向
に対する分解能は低下してしまっていることになる。よ
って時間方向の分解能を向上させ、滑らかさを従来のア
ナログ放送と同等にするためには何らかの方法を用い
て、動画像のフレームレート変換を行う必要が生じる。
動画像のフレームレートを変換する場合、一般に隣接フ
レームを補うための補間フレームを内挿する必要があ
る。単純な方法としては、零次ホールド法のように現在
のフレームをそのまま複製した補間フレームを用いる方
法や、直線補間法のように２フレーム間の画素同士の輝
度値の平均を求めて新たなフレームを作成する方法があ
る。

【０００３】より高度な方法として用いられるものとし
ては、現在のフレームと１フレーム前のフレームに注目
し、フレーム間に存在する動物体をＭＰＥＧ等で用いら
れている「動き補償」を行うことによって動きベクトル
を検出する方法が知られている。この方法では、そのベ
クトル情報をもとに、フレーム間の動物体の位置を特定
し、この情報をもとに補間フレームを作成する。そし
て、このようにして得られる補間フレームを内挿するこ
とでフレーム間補間を行う方法である。

【０００４】又、周波数的な特徴を利用した補間法とし
ては、各種のスプライン法などのように補間のための近
似関数を利用するもの（特許第２７８５７８４号、特許
第２６７１６３７号、特公平６−８９８８号等）があ
る。

【０００５】一方、自然動画像中の動物体を抽出した後
に残る背景画像は、もともと存在していた動画像の背景
部分に関する情報を持たないため、何らかの手段によっ
てその背景の情報を取得する必要がある。従来では、微
小時間におけるフレーム間変位は少ないとの仮定のもと
に、動物体の背景部分を隣接したフレームの動物体の存
在していた位置に対応する部分を参照することによって
補間を行い、背景動画像の作成を行っている。

【０００６】さて、「小さな波」、或いは「さざ波」の
意の「ウェーブレット(wavelet)」の実用性が注目され
るようになったのは、１９８０年にフランスの石油探査
技師Ｊ．モルレー（Morlet） が、人工地震の反射波の
解析に時間(或いは空間)周波数変換である「ウェーブレ
ット変換」を使ってからである。「ウェーブレット変
換」とは、フーリエ解析のように時間領域で無限の広が
りを有する三角関数のような波の重ね合せで関数（信
号）を表現するのではなく，局在化した短い波（ウェー
ブレット） の重ね合せで関数（信号）を時間周波数解
析するというものである。これは、楽譜のようなイメー
ジである。ある周波数の音がある時間に演奏されて，そ
の重ね合せが音楽になっているが、音楽を楽譜で表すこ
とが時間周波数変換に相当するイメージである。フーリ
エ変換の基底に用いられる指数関数は、時間領域で無限
の広がりを有するため、フーリエ変換では信号の時間的
情報を利用することは困難である。時間領域で局在化し
た関数を得るためには、適切な窓関数を選べば良い。時
間周波数解析には不確定性原理という大きな制限があっ
て，時間と周波数の両方の情報を同時に詳しく知ること
は出来ないことが証明されている。Ｊ．モルレー以降、
理論研究及び応用研究が急速に展開され、いまも活発な
研究が続いている。特に、画像処理の応用研究はめざま
しいものがあり、画像圧縮に対するＪＰＥＧ２０００や
ＭＰＥＧ４等で検討されているように、近い将来、標準
化されるレベルまで理論が確立されるのではないかと期
待されている。

【０００７】

【発明が解決しようとする課題】上述した従来の単純な
フレームの複製やフレーム間画素の平均から求められた
フレームによる補間では、時間方向に対する連続性、つ
まり動画像の動きの滑らかさを補うためのフレーム間補
間としては十分とはいえない。

【０００８】より高度なフレーム間補間として挙げられ
る動き補償によるフレーム間補間であっても、動画像内
の動物体領域を特定することが難しいために、動画像の
空間方向全体にわたってパターンマッチングを行う必要
が生じることから多くの演算量が必要となる。又、参照
ブロックによるパターンマッチングは、得られるベクト
ル情報が必ずしも動物体の動きである補償がない。更
に、参照ブロックによるパターンマッチングは、フレー
ム内の画素間の相関を考慮しないため、不自然なフレー
ムを補間してしまうことや、時間方向に対しても連続性
が失われる不具合が考えられる。

【０００９】又、従来の周波数的な特徴を利用した補間
フレームの作成方法は、あくまで予測的なものであり、
周波数解析を行うことによって検出されるサンプル間の
不自然さを排除するようなものではない。

【００１０】更に、動画像のフレーム間補間において、
従来法では時間的な連続性において十分考慮されるとは
言い難く、連続的に表示させた場合において不自然な動
画像となることが考えられる。

【００１１】更に、従来までの自然動画像中の動物体抽
出を行った後の背景動画像に対するオクルージョン処理
は、隣接フレームの対応部分からの参照による補間を行
うために、時間方向に対する連続性という意味では必ず
しも十分とはいえないという不具合を有している。

【００１２】上記問題点を鑑み、本発明は、自然なフレ
ーム間補間を行い、時間方向に対して十分な分解能を持
つ動画像を表示できる動画像表示システム、及びこれを
用いたフレーム間補間方法を提供することである。

【００１３】本発明の他の目的は、より連続的な補間フ
レームを作成し、このような補間フレームをフレーム間
に内挿することにより、より視覚的に滑らかな動画像を
表示できる動画像表示システム、及びこれを用いたフレ
ーム間補間方法を提供することである。

【００１４】本発明の他の目的は、自然動画像中の動物
体抽出を行ったオクルージョン（隠れた背景部分）部に
対し、より自然な背景動画像を得ることが出来る動画像
表示システム、及びこれを用いた背景動画像作成方法を
提供することである。

【００１５】

【課題を解決するための手段】本発明の第１の特徴は、
（イ）撮像装置から送られたＮ枚のフレームの画像デー
タを順次格納するＮフレーム格納メモリ、（ロ）このＮ
フレーム格納メモリの出力側に接続された２方向スイッ
チ、（ハ）この２方向スイッチの第１の端子に接続され
たＮ＋１フレーム格納メモリ、（ニ）このＮ＋１フレー
ム格納メモリの出力側に接続された単方向スイッチ、
（ホ）この単方向スイッチに接続された出力側フレーム
バッファ、（ヘ）この出力側フレームバッファに接続さ
れた動画像表示装置、（ト）２方向スイッチの第２の端
子とＮ＋１フレーム格納メモリとの間に接続されたフレ
ーム補間回路、（チ）２方向スイッチ及び単方向スイッ
チを制御するフレーム補間位置判定器とから構成される
動画像表示システムであることを要旨とする。ここで、
「フレーム補間回路」は、周波数変換を時間方向に対し
て適用し、この時間方向の周波数情報を利用することに
よって、動画像の補間フレームを作成する。「フレーム
補間位置判定器」は、フレーム間補間に必要なフレーム
数がＮフレーム格納メモリに格納されたと判定すると、
第１の端子側に閉じている２方向スイッチを第２の端子
側に切り替え、単方向スイッチの端子を開き、フレーム
補間回路を作動させる。「Ｎ＋１フレーム格納メモリ」
は、予め、Ｎ枚のフレームを格納しておく。そして、フ
レーム補間回路により作成された補間フレームを、この
予め格納したＮ枚のフレームの挿入位置に挿入すること
により、Ｎ＋１枚のフレームを作成する。なお、本発明
において、「時間方向」とは、フレーム間方向の意であ
る。

【００１６】本発明の第１の特徴によれば、時間分解能
の低下しているプログレッシブ画像において、動画像の
時間方向に対する相関が高いことに注目し、これを周波
数的に解析することで自然なフレーム間補間を行い、時
間方向に対して十分な分解能を持つ動画像を作成するこ
とが出来る。又、補間を行おうとするフレームの前後に
存在するあまり変化の生じていないＮ枚のフレームに注
目し、その時間方向に対する周波数成分に注目してより
連続的な補間フレームを作成し、このような補間フレー
ムをフレーム間に内挿することにより、より視覚的に滑
らかな動画像を得ることが出来る。

【００１７】より具体的には、周波数変換に、「ウェー
ブレット変換」を用いることが好ましい。周波数変換に
ウェーブレット変換を適用することで、周波数変換時の
画素の位置情報を容易に特定できるようになり、フレー
ム間方向に対する周波数情報を効果的に解析することが
可能となり、より効果的なフレーム間補間を実現するこ
とが可能となる。又、このウェーブレット変換は、「直
交ウェーブレット」を用いることが好ましい。ウェーブ
レット変換に直交ウェーブレットを適用することで、基
底間の相関がなく効率的に符号化が行え、更に演算処理
にあまり多くの時間を必要としない利点を有するからで
ある。

【００１８】本発明の第１の特徴において、補間フレー
ム画素の利得調整のために、時間方向にウェーブレット
変換を行った後の最低周波数成分から得られる画素の輝
度値を、利得調整用の画素の輝度値として用いる補間画
素利得調整器を備えることが好ましい。更に、動画像の
フレーム間補間の際に適用される高周波成分除去器を備
えることが好ましい。利得調整の際に得られるウェーブ
レット係数の各帯域成分に対して２乗平均を算出し、高
周波成分除去器を用いて、各帯域の各成分の２乗値と予
め算出された各帯域成分の２乗平均値とを比較し、２乗
平均値以上であればその高周波成分を削減することが出
来る。高周波成分除去器において、予め算出された２乗
平均値を利用することにより補間画素の周辺で生じる不
要な高周波成分の検出を容易にし、位置情報の分解能が
あまり良くない周波数変換を用いる場合であっても効果
的に、高周波成分の削減が可能となるからである。

【００１９】本発明の第２の特徴は、（イ）撮像装置か
ら送られたＮ＋１枚のフレームの画像データを順次格納
する第１のＮ＋１フレーム格納メモリ、（ロ）この第１
のＮ＋１フレーム格納メモリの出力側に接続された２方
向スイッチ、（ハ）この２方向スイッチの第１の端子に
接続された第２のＮ＋１フレーム格納メモリ、（ニ）こ
の第２のＮ＋１フレーム格納メモリの出力側に接続され
た単方向スイッチ、（ホ）この単方向スイッチに接続さ
れた出力側フレームバッファ、（ヘ）この出力側フレー
ムバッファに接続された動画像表示装置、（ト）２方向
スイッチの第２の端子と第２のＮ＋１フレーム格納メモ
リとの間に接続されたオクルージョン再構成回路、
（チ）２方向スイッチ及び単方向スイッチを制御するオ
クルージョン部判定器とから構成される動画像表示シス
テムであることを要旨とする。ここで、「オクルージョ
ン再構成回路」は、周波数変換を時間方向に対して適用
し、この時間方向の周波数情報を利用することでオクル
ージョン部の情報を周囲のフレームから補間して、オク
ルージョン部の画像を再構成する。「オクルージョン部
判定器」は、オクルージョン部を含むフレーム内を走査
してオクルージョン部であることを示す信号を検出する
と、第１の端子側に閉じている２方向スイッチを第２の
端子側に切り替え、単方向スイッチの端子を開く。一
方、オクルージョン部であることを示す信号を検出しな
ければ、２方向スイッチを第1の端子側に閉じた状態、
単方向スイッチの端子を閉じた状態に維持する。「第２
のＮ＋１フレーム格納メモリ」は、オクルージョン部に
対応する画像位置に、オクルージョン再構成回路で再構
成された補間画素を格納する。

【００２０】本発明の第２の特徴によれば、自然動画像
中の動物体抽出を行った後の背景動画像に対するオクル
ージョン処理を、本発明の第１の特徴と同様な時間方向
に対する周波数変換の手法を用いることで、より自然な
背景動画像を得ることが出来る。

【００２１】本発明の第２の特徴における周波数変換に
は、本発明の第１の特徴と同様に、ウェーブレット変換
を用いることが好ましい。第１の特徴で述べたように、
周波数変換にウェーブレット変換を適用することで、周
波数変換時の画素の位置情報を容易に特定できるように
なり、フレーム間方向に対する周波数情報を効果的に解
析することが可能となり、より効果的なオクルージョン
部再構成を実現することが可能となる。そして、このウ
ェーブレット変換において直交ウェーブレットを用いる
ことが好ましい。ウェーブレット変換に直交ウェーブレ
ットを適用することで、基底間の相関がなく効率的に符
号化が行え、更に演算処理にあまり多くの時間を必要と
しないからである。

【００２２】本発明の第２の特徴において、通常撮影さ
れた自然動画像内に含まれる静止物体や動物体を抽出し
た際に生じる背景部分（オクルージョン部）の利得調整
のため、フレーム間方向（時間方向）にウェーブレット
変換を行った後の最低周波数成分から得られる画素の輝
度値を、利得調整用の画素の輝度値として用いる補間画
素利得調整器を備えることが好ましい。更に、通常撮影
された自然動画像内に含まれる静止物体や動物体を抽出
した際に生じる背景部分（オクルージョン部）の補間の
際に適用される高周波成分除去器を備えることが好まし
い。利得調整の際に得られるウェーブレット係数の各帯
域成分に対して２乗平均を算出し、高周波成分除去器に
より、各帯域の各成分の２乗値と予め算出された各帯域
成分の２乗平均値とを比較し、２乗平均値以上であれば
その高周波成分を削減することが好ましい。高周波成分
除去器において、予め算出された２乗平均値を利用する
ことにより補間画素の周辺で生じる不要な高周波成分の
検出を容易にし、位置情報の分解能があまり良くない周
波数変換を用いる場合であっても効果的に高周波成分の
削減が可能になるからである。

【００２３】本発明の第３の特徴は、周波数変換を時間
方向に対して適用し、この時間方向の周波数情報を利用
することによって動画像の補間フレームを作成するフレ
ーム間補間方法であることを要旨とする。即ち、本発明
の第３の特徴は、（イ）時間方向に配列されたＮ枚のフ
レームの同一画像位置の画素をそれぞれ抽出し、Ｎ個の
画素を得るステップ、（ロ）このＮ個の画素を用いて、
補間画素の利得調整を行うステップ、（ハ）この利得調
整後の補間画素を挿入してＮ＋１個の画素を得るステッ
プ、（ニ）このＮ＋１個の画素に対して周波数変換を行
うステップ、（ホ）この周波数変換により得られた周波
数情報から、補間画素による高周波成分を除去するステ
ップ、（ヘ）この高周波成分の除去後、Ｎ＋１個の画素
に対して周波数逆変換を行い、補間画素を再構成するス
テップとからなる一連の手順を、２次元の画像位置に対
しそれぞれ繰り返し、動画像の補間フレームを作成する
フレーム間補間方法としたことである。

【００２４】本発明の第３の特徴によれば、時間分解能
の低下しているプログレッシブ画像において、動画像の
時間方向に対する相関が高いことに注目し、これを周波
数的に解析することで自然なフレーム間補間を行い、時
間方向に対して十分な分解能を持つ動画像を作成するこ
とが出来る。又、補間を行おうとするフレームの前後に
存在するあまり変化の生じていないＮ枚のフレームに注
目し、その時間方向に対する周波数成分に注目してより
連続的な補間フレームを作成し、このような補間フレー
ムをフレーム間に内挿することにより、より視覚的に滑
らかな動画像を得ることが出来る。

【００２５】より具体的には、周波数変換に、「ウェー
ブレット変換」を用いることが好ましい。第１の特徴で
述べたように、周波数変換にウェーブレット変換を適用
することで、周波数変換時の画素の位置情報を容易に特
定できるようになり、フレーム間方向に対する周波数情
報を効果的に解析することが可能となり、より効果的な
フレーム間補間を実現することが可能となる。又、この
ウェーブレット変換は、「直交ウェーブレット」を用い
ることが好ましい。第１の特徴で述べたように、ウェー
ブレット変換に直交ウェーブレットを適用することで、
基底間の相関がなく効率的に符号化が行え、更に演算処
理にあまり多くの時間を必要としない利点を有するから
である。

【００２６】本発明の第３の特徴における補間フレーム
画素の利得調整のステップにおいて、時間方向にウェー
ブレット変換を行った後の最低周波数成分から得られる
画素の輝度値を、利得調整用の画素の輝度値として用い
ることが好ましい。

【００２７】更に、動画像のフレーム間補間の際に適用
される高周波成分を除去するステップにおいて、利得調
整の際に得られるウェーブレット係数の各帯域成分に対
して２乗平均を算出し、利得調整後の補間フレーム画素
を補間位置に挿入し、ウェーブレット変換を行い、高周
波成分除去において各帯域の各成分の２乗値と予め算出
された各帯域成分の２乗平均値とを比較し、２乗平均値
以上であればその高周波成分を削減するようにすれば良
い。高周波成分を除去するステップにおいて、予め算出
された２乗平均値を利用することにより補間画素の周辺
で生じる不要な高周波成分の検出を容易にし、位置情報
の分解能があまり良くない周波数変換を用いる場合であ
っても効果的に、高周波成分の削減が可能となるからで
ある。

【００２８】本発明の第４の特徴は、周波数変換を時間
方向に対して適用し、この時間方向の周波数情報を利用
することでオクルージョン部の情報を周囲のフレームか
ら補間することでオクルージョン部の画像を再構成する
背景動画像作成方法であることを要旨とする。即ち、本
発明の第４の特徴は、（イ）時間方向に配列されたＮ＋
１枚のフレームの同一画像位置の画素から、オクルージ
ョン部を除いた画素をそれぞれ抽出し、Ｎ個の画素を得
るステップ、（ロ）このＮ個の画素を用いて、補間画素
の利得調整を行うステップ、（ハ）この利得調整後の補
間画素を挿入してＮ＋１個の画素を得るステップ、
（ニ）このＮ＋１個の画素に対して周波数変換を行うス
テップ、（ホ）この周波数変換により得られた周波数情
報から、補間画素による高周波成分を除去するステッ
プ、（ヘ）この高周波成分の除去後、Ｎ＋１個の画素に
対して周波数逆変換を行い、オクルージョン部の補間画
素を再構成するステップとからなる一連の手順をオクル
ージョン部の画像位置に対しそれぞれ繰り返し、オクル
ージョン部の画像を再構成する背景動画像作成方法とし
たことである。

【００２９】本発明の第４の特徴によれば、自然動画像
中の動物体抽出を行った後の背景動画像に対するオクル
ージョン処理を、本発明の第３の特徴と同様な時間方向
に対する周波数変換の手法を用いることで、より自然な
背景動画像を得ることが出来る。

【００３０】本発明の第４の特徴における周波数変換に
は、本発明の第３の特徴と同様に、ウェーブレット変換
を用いることが好ましい。周波数変換にウェーブレット
変換を適用することで、周波数変換時の画素の位置情報
を容易に特定できるようになり、フレーム間方向に対す
る周波数情報を効果的に解析することが可能となり、よ
り効果的なオクルージョン部再構成を実現することが可
能となる。そして、このウェーブレット変換において直
交ウェーブレットを用いることが好ましい。ウェーブレ
ット変換に直交ウェーブレットを適用することで、基底
間の相関がなく効率的に符号化が行え、更に演算処理に
あまり多くの時間を必要としないからである。

【００３１】本発明の第４の特徴における通常撮影され
た自然動画像内に含まれる静止物体や動物体を抽出した
際に生じる背景部分（オクルージョン部）の画素の利得
調整のステップにおいて、フレーム間方向（時間方向）
にウェーブレット変換を行った後の最低周波数成分から
得られる画素の輝度値を、利得調整用の画素の輝度値と
して用いることが好ましい。

【００３２】又、通常撮影された自然動画像内に含まれ
る静止物体や動物体を抽出した際に生じる背景部分（オ
クルージョン部）の補間の際に適用される高周波成分を
除去するステップにおいて、利得調整の際に得られるウ
ェーブレット係数の各帯域成分に対して２乗平均を算出
し、利得調整後の補間フレーム画素を補間位置に挿入
し、ウェーブレット変換を行い、高周波成分除去におい
て各帯域の各成分の２乗値と予め算出された各帯域成分
の２乗平均値とを比較し、２乗平均値以上であればその
高周波成分を削減することが好ましい。高周波成分を除
去するステップにおいて、予め算出された２乗平均値を
利用することにより補間画素の周辺で生じる不要な高周
波成分の検出を容易にし、位置情報の分解能があまり良
くない周波数変換を用いる場合であっても効果的に高周
波成分の削減が可能になるからである。

【００３３】

【発明の実施の形態】次に、図面を参照して、本発明の
第１及び第２の実施の形態を説明する。以下の図面の記
載において、同一又は類似の部分には同一又は類似の符
号を付している。

【００３４】（第１の実施の形態）図１のブロック図に
示すように、本発明の第１の実施形態に係る動画像表示
システムは、撮像装置１１、撮像装置１１に接続された
入力側フレームバッファ１２、入力側フレームバッファ
１２に単方向スイッチＳＷ１を介して接続されたＮフレ
ーム格納メモリ３６、Ｎフレーム格納メモリ３６に２方
向スイッチＳＷ２の第１の端子ｂを介して接続されたＮ
＋１フレーム格納メモリ３４、Ｎ＋１フレーム格納メモ
リ３４に単方向スイッチＳＷ３を介して接続された出力
側フレームバッファ１３、出力側フレームバッファ１３
に接続された動画像表示装置１４とから構成されてい
る。Ｎフレーム格納メモリ３６には、図６に示すよう
に、撮像装置１１から入力側フレームバッファ１２を介
して送られた幅Ｗ画素、高さＨ画素の動画像のフレーム
Ｆ₀₁，Ｆ₀₂，Ｆ₀₃，・・・・・，Ｆ_N-1，Ｆ_Nが、順次蓄えら
れる。単方向スイッチＳＷ１、ＳＷ３、及び２方向スイ
ッチＳＷ２は、それぞれフレーム補間位置判定器３５に
接続されている。図１において、通常の状態では、２方
向スイッチＳＷ２は、第１の端子ｂ側に閉じられ、単方
向スイッチＳＷ３は閉じている。そして、２方向スイッ
チＳＷ２の第２の端子ａとＮ＋１フレーム格納メモリ３
４との間にはフレーム補間回路１が接続されている。フ
レーム補間位置判定器３５によってフレーム間補間に必
要なフレーム数がＮフレーム格納メモリ３６に格納され
たと判定されると、フレーム補間位置判定器３５は、第
１の端子ｂ側に閉じている２方向スイッチＳＷ２を第２
の端子ａ側に切り替え、単方向スイッチＳＷ３の端子ｃ
を開く。

【００３５】フレーム補間回路１は、周波数変換を利用
したフレーム間補間を実施する回路である。具体的に
は、フレーム補間回路１は、離散直交ウェーブレット変
換を用いた周波数変換を行うことにより、フレーム間補
間を実施する回路である。直交ウェーブレットを用いて
いるのは、周波数変換に画素の位置情報を簡単に特定で
きることや基底間の相関がなく効果的な符号化が行える
ことによる。更に、演算処理にあまり多くの時間を必要
としないからである。連続ウェーブレットは、連続的な
時間シフトと連続的なスケールをパラメータに持つ関数
であるが、これらのパラメータが離散的な値をとると
き、「離散ウェーブレット」とよばれる。離散ウェーブ
レットの中でも、スケールが２の冪乗の形をした離散ウ
ェーブレットが重要である。連続ウェーブレットも離散
ウェーブレットもそうであるが、ウェーブレットの最大
の特徴は、積分すると０になることである。これは、ウ
ェーブレット関数が信号の高周波成分を取り出すための
フィルタであることを意味する。そして、シフトパラメ
ータを動かすことにより時間或いは場所を特定すること
が出来、そこでスケールを変えると各レベルの高周波成
分を取り出すことが出来る。

【００３６】関数ｆ（ｘ）の値が０でない区間をｆのサ
ポート（台）という。一方、ウェーブレットは高周波フ
ィルタであると考えることが出来る。このため、そのサ
ポートは、有限長であることが望ましい。これまでに多
くのウェーブレットが提案されているが、サポート長が
無限である場合が多い。ドビッシー（Daubechies）によ
って、１９８８年に考案されたウェーブレットは、直交
基底をつくる連続且つ有限長のサポート (しばしば「コ
ンパクトサポート」とよばれる) を持つ直交ウェーブレ
ットで、様々な分野で応用されている．本発明の第１の
実施形態に係る動画像表示システムのフレーム補間回路
１において使用されるウェーブレットは、以下に示すよ
うなドビッシーの４タップフィルタである： Ｈ_０（ｚ）＝ ｛−0.129409522551, 0.224143868041, 0.836516303738, 0.482962913145｝ ・・・・・（１） Ｈ1（ｚ）＝ ｛−0.482962913145, 0,836516303738, −0.224143868041, −0.129409522551｝ ・・・・・（２） このような、ドビッシーの４タップフィルタを用い、オ
クターブ分割数は２階の場合の構成例について以下に説
明する。但し、フレーム補間回路１における周波数変換
は、他の非直交ウェーブレットや双直交ウェーブレット
を利用した構成や短時間フーリエ変換を利用した構成な
ども採用できる。即ち、ある程度画素の位置情報が特定
できるものであれば、第１の実施形態に係る動画像表示
システムで用いられる周波数変換の種別は限定されな
い。

【００３７】このフレーム補間回路１は、図１に示すよ
うに、２方向スイッチＳＷ２の第２の端子ａに接続され
た時間方向画素抽出器２１、時間方向画素抽出器２１に
接続されたＮ画素格納メモリ２２、Ｎ画素格納メモリ２
２に接続された補間画素利得調整器２３、補間画素利得
調整器２３に接続された補間画素挿入器２４、補間画素
挿入器２４に接続されたＮ＋１画素格納メモリ２５、Ｎ
＋１画素格納メモリ２５に接続された周波数変換器２
６、周波数変換器２６に接続された高周波成分除去器２
７、高周波成分除去器２７に接続された周波数逆変換器
２８、周波数逆変換器２８に接続された補間画素抽出器
２９、補間画素抽出器２９に接続された補間フレーム格
納メモリ３１、補間フレーム格納メモリ３１に接続され
た補間フレーム挿入器３２、補間フレーム挿入器３２に
接続されたフレーム挿入判定器３３とから構成されてい
る。補間フレーム挿入器３２の出力は、Ｎ＋１フレーム
格納メモリ３４に接続されている。フレーム挿入判定器
３３の出力は単方向スイッチＳＷ３に接続されている。

【００３８】Ｎ＋１フレーム格納メモリ３４は、予め、
Ｎ枚のフレームを格納しておく。通常の状態では、２方
向スイッチＳＷ２は、第１の端子ｂ側に閉じられ、単方
向スイッチＳＷ３は閉じているので、このとき、Ｎフレ
ーム格納メモリ３６に格納したＮ枚のフレームＦ₀₁，Ｆ
₀₂，Ｆ₀₃，・・・・・，Ｆ_N-1，Ｆ_Nを、順次読み出し、Ｎ＋
１フレーム格納メモリ３４に格納しておけば良い。そし
て、Ｎ＋１フレーム格納メモリ３４は、フレーム補間回
路１に作成された補間フレームを、この予め格納したＮ
枚のフレームの、所定の挿入位置に挿入することによ
り、Ｎ＋１枚のフレームを作成する。

【００３９】ウェーブレット変換のオクターブ分割の際
に行われる２：１のダウンサンプリングの際にサンプル
数が２の冪乗個であることが望ましい。又、使用するウ
ェーブレットのタップ数が４タップで分割数が２階であ
ることを考慮すると、補間フレームを作成する際に必要
となるフレーム数Ｎは、図９で示されるような時間方向
に対する周波数変換を行う際のフィルタリングに用いる
画素数に依存する。各フレームの画像データをウェーブ
レット解析のアルゴリズムにしたがって、処理すると図
８及び図９に示すような低周波成分Ｌ０と高周波成分Ｈ
０（図示省略）に分解される。低周波成分Ｌ０と高周波
成分Ｈ０とのセットの全体では、画素数（データ量）は
変わらない。しかし、画像としての主要な情報は、主に
低周波成分Ｌ０に含まれ、これだけを画素として表現し
ても元の画像に似た絵が得られる。図９では、低周波成
分Ｌ０として１６個の画素Ｐ_x1，Ｐ_x2，Ｐ_x3，・・・・・Ｐ
_x15，Ｐ_x16，が示されている。この低周波成分Ｌ０と高
周波成分Ｈ０をそれぞれ更に、分解アルゴリズムにした
がって処理すると、図８及び図９に示すような低周波成
分Ｌ１と高周波成分Ｈ１が得られる。低周波成分Ｌ１の
画素数は、低周波成分Ｌ０の１／２になっている。低周
波成分Ｌ１と高周波成分Ｈ１の合計の画素数は低周波成
分Ｌ０と変わらない。低周波成分Ｌ１と高周波成分Ｈ１
をそれぞれ更に、分解アルゴリズムにしたがって処理す
ると、低周波成分Ｌ２と高周波成分Ｈ２が得られる。低
周波成分Ｌ２の画素数は、低周波成分Ｌ１の１／２にな
っている。低周波成分Ｌ２と高周波成分Ｈ２をそれぞれ
更に、分解アルゴリズムにしたがって処理すると、図８
に示すような低周波成分Ｌ３と高周波成分Ｈ３が得られ
る。低周波成分Ｌ３の画素数は、低周波成分Ｌ２の１／
２になっている。低周波成分Ｌ３と高周波成分Ｈ３をそ
れぞれ更に、分解アルゴリズムにしたがって処理する
と、図８に示すような低周波成分Ｌ４と高周波成分Ｈ４
が得られる。低周波成分Ｌ４の画素数は、低周波成分Ｌ
３の１／２で、１画素である。このように、第１の実施
形態に係る動画像表示システムでは、ウェーブレット変
換の２階のオクターブ分割を用いる。

【００４０】第１の実施形態に係る動画像表示システム
においては、補間画素がフィルタリングに影響する参照
画素範囲は、図９に示すようになる。

【００４１】先ず、低周波成分Ｌ１をフィルタリングす
る際に必要な参照画素範囲の画素は、 ４（タップ）×２−１＝７（画素） ・・・・・（３） である。しかし、フィルタリング後に２：１のダウンサ
ンプリングを行い、それぞれ低周波成分Ｌ２と高周波成
分Ｈ２に分割する必要があるため、低周波成分Ｌ１では
２の冪乗個の画素が必要となる。したがって、 ７（画素）＋１＝８（画素） ・・・・・（４） となる。低周波成分Ｌ１は、１階のオクターブ分割によ
って生じたものであるから、最終的に必要な画素は、図
９の上段に示すような ８×２＝１６ ・・・・・（５） である。この値は格納すべきフレーム数に補間フレーム
を含めた値であるから、補間フレームの周囲から蓄えら
れるフレーム数は１５フレームあれば良いことになる。
そこで、第１の実施形態に係る動画像表示システムで
は、補間フレームを挿入する位置よりも前のフレームを
８フレーム、後のフレームを７フレームとすることで合
計１６フレームとし、格納するためのフレームメモリは
１５フレーム分確保する。

【００４２】時間方向画素抽出器２１は、補間フレーム
に含まれる補間画素の利得を調整するために、図７に示
すように、格納されたＮ枚のフレームのそれぞれに対し
て動画像の空間位置（ｘ，ｙ）に対応する時間方向（フ
レーム方向）の画素（図７の黒塗りの丸印部分）を抽出
する。Ｎ画素格納メモリ２２は、時間方向画素抽出器２
１により抽出された画素を格納する。

【００４３】動画像の時間方向に対して周波数変換を行
った後に周波数成分に対して操作を加える場合、周波数
逆変換後の影響は各画素の輝度値に影響する。補間画素
を輝度値０のまま補間位置に挿入して周波数解析を行う
と、補間画素を挿入した位置に大きな高周波成分が生じ
る。この成分を単純に削減すると、逆変換後の各画素の
輝度値が元の輝度値よりも極端に明るく、若しくは暗く
なる等の影響が現れる。このような影響を避けるため
に、補間画素利得調整器２３は、利得調整を行い、予め
周囲の画素値に近い値を補間位置に挿入する操作を行
う。補間画素利得調整器２３は、一般には前フレームの
画素の複製を利用したり、周囲の平均画素を利用した
り、離散コサイン変換（ＤＣＴ）やウェーブレット変換
などの周波数変換を行って得られる低周波成分を利用す
ることなどが考えられる。第１の実施形態に係る動画像
表示システムではＮ個の画素に対してウェーブレット変
換を低周波成分が１画素になるまで行い、この値を補間
画素の輝度値として扱う。即ち、１５画素に対してウェ
ーブレット変換を行うため、図８で示されるように４階
のオクターブ分解を行うことで低周波成分（最低周波成
分）Ｌ４が１画素分となり、この最低周波成分Ｌ４を利
得調整用の補間画素の輝度値として利用する。

【００４４】又、このウェーブレット変換の際に、ウェ
ーブレット係数の高周波成分Ｈ１，Ｈ２成分に対して以
下の式（６）及び（７）で示されるような２乗平均で与
えられる閾値ｔｈ１，ｔｈ２を算出して保存する。

【００４５】 ｔｈ１＝（Σ^(N/2)-1ｗ_H1i ²）／（Ｎ／２） ・・・・・（６） ｔｈ２＝（Σ^(N/4)-1ｗ_H2i ²）／（Ｎ／４） ・・・・・（７） 但し、Σ^(N/2)-1ｗ_H1i ²は、高周波成分Ｈ１の各ウェー
ブレット係数ｗ_H1iの２乗値のｉ＝０から（Ｎ／２）−
１までの和を表し、Σ^(N/4)-1ｗ_H2i ²は、高周波成分Ｈ
２の各ウェーブレット係数ｗ_H2iの２乗値のｉ＝０から
（Ｎ／４）−１までの和を表す。

【００４６】補間画素挿入器２４は、利得を調整した補
間画素を、時間方向のＮ個の画素の挿入位置ｋに挿入す
る。一般に挿入位置ｋは０＜ｋ＜Ｎ−１であれば良い
が、第１の実施形態に係る動画像表示システムでは ｋ＝（Ｎ＋１）／２ 但しＮ＝２^l−１，ｌは正整数 ・・・・・（８） となるような位置、即ちｋ＝８の位置に挿入する。

【００４７】周波数変換器２６は、Ｎ＋１個の画素に対
して、周波数変換を行う。即ち、周波数変換器２６は、
離散直交ウェーブレット変換を用い、Ｎ＋１個の画素に
対して２階のウェーブレット変換を行う。周波数変換に
ウェーブレット変換を適用することで、周波数変換時の
画素の位置情報を容易に特定できる。そして、フレーム
間方向（時間方向）に対する周波数情報を効果的に解析
することが出来るので、より効果的なフレーム間補間を
実現することが可能となる。特に、直交ウェーブレット
を適用することで、基底間の相関がなく効率的に符号化
が行え、更に演算処理にあまり多くの時間を必要としな
い。

【００４８】高周波成分除去器２７は、補間画素による
高周波成分を除去する。第１の実施形態に係る動画像表
示システムで用いられる高周波成分除去器２７は、高周
波成分Ｈ１の各ウェーブレット係数ｗ_H1iの２乗値に対
して予め算出された２乗平均値で定義された閾値ｔｈ１
と比較を行い、閾値ｔｈ１以上である場合には、その成
分の除去を行うものである。この高周波成分除去器２７
は、同様に高周波成分Ｈ２の各ウェーブレット係数ｗ
_H2iの２乗値に対して予め算出された２乗平均値で定義
された閾値ｔｈ２と比較を行い、閾値ｔｈ２以上である
場合にはその成分の除去を行う。このように、予め算出
された２乗平均値を利用することにより補間画素の周辺
で生じる不要な高周波成分の検出が容易になる。このた
め、位置情報の分解能があまり良くない周波数変換を用
いる場合であっても効果的に高周波成分の削減が可能で
ある。

【００４９】周波数逆変換器２８は、周波数逆変換を行
う。この周波数逆変換器２８では、離散直交ウェーブレ
ット逆変換を用い、Ｎ＋１個の画素に対して２階のウェ
ーブレット逆変換を行う。補間画素抽出器２９は、挿入
位置ｋから再構成された補間画素を抽出する。補間フレ
ーム格納メモリ３１は、その画像位置（ｘ，ｙ）に補間
画素を格納する。補間フレーム挿入器３２は、図７に示
すように、補間フレームＦ_kを挿入位置ｋに挿入する。
フレーム挿入判定器３３は、Ｎ＋１枚のフレーム列が作
成されたと判定すると、第２の端子ａ側に閉じられた２
方向スイッチＳＷ２を第１の端子ｂ側に切り替え、同時
に単方向スイッチＳＷ３を端子ｃ側に閉じる。

【００５０】次に、図２から図５に示すフローチャート
を用いて、本発明の第１の実施形態に係るフレーム間補
間方法を説明する。

【００５１】（イ）図１において、通常の状態では、２
方向スイッチＳＷ２は、第１の端子ｂ側に閉じられ、単
方向スイッチＳＷ３の端子ｃは閉じている。先ずステッ
プＳ１０１において、撮像装置１１から動画像が入力さ
れる。上述したように、動画像の１フレームは、幅Ｗ画
素、高さＨ画素である。ステップＳ１０３において、Ｎ
枚のフレーム分を格納するためのメモリを確保する。第
１の実施形態に係るフレーム間補間方法では、補間フレ
ームを挿入する位置よりも前のフレームを８フレーム、
後のフレームを７フレームとすることで合計１６フレー
ムとし、格納するためのフレームメモリは１５フレーム
分確保する。そして、ステップＳ１０５において、撮像
装置１１から入力された動画像のＮ枚のフレーム分が、
Ｎフレーム格納メモリ３６に順次蓄えられる。

【００５２】（ロ）ステップＳ１０７において、フレー
ム補間位置判定器３５は、フレーム間補間に必要なＮ枚
のフレームがＮフレーム格納メモリ３６に格納され、且
つ補間フレームの位置がｋであるか否か判定する。フレ
ーム間補間に必要なフレーム数が未だ、格納されていな
ければ、ステップＳ１０５に戻り、動画像のフレームを
Ｎフレーム格納メモリ３６に順次蓄える。ステップＳ１
０７において、フレーム補間位置判定器３５によってフ
レーム間補間に必要なフレーム数がＮフレーム格納メモ
リ３６に格納され、且つ、補間フレームの位置がｋであ
ると判定されると、ステップＳ１０９において、補間メ
モリ格納メモリ３１にＮ＋１枚のフレーム分を確保す
る。そして、フレーム補間位置判定器３５は、第１の端
子ｂ側に閉じている２方向スイッチＳＷ２を第２の端子
ａ側に切り替え、単方向スイッチＳＷ３の端子ｃを開
く。

【００５３】（ハ）ステップＳ１１１において、外側の
繰り返しループの開始条件を設定する。即ち、２次元画
像における画素の空間位置、即ち画像位置（ｘ，ｙ）の
ｙ座標を初期値ｙ＝０と設定する。更に、ステップＳ１
１３において、内側の繰り返しループの開始条件を設定
する。即ち、画像位置（ｘ，ｙ）のｘ座標を初期値ｘ＝
０と設定する。そして、ステップＳ１１５において、時
間方向画素抽出器２１は、Ｎフレーム格納メモリ３６か
ら画像位置（ｘ，ｙ）に対応する時間方向（フレーム方
向）の画素を、各フレームＦ₀₁，Ｆ₀₂，Ｆ₀₃，・・・・・，
Ｆ_N-1，Ｆ_Nからそれぞれ抽出する（図６及び図７参
照）。更に、ステップＳ１１７において、時間方向（フ
レーム方向）に配列された各フレームから、抽出された
合計Ｎ個の画素を、バッファメモリ、即ちＮ画素格納メ
モリ２２に格納する。

【００５４】（ニ）補間画素利得調整器２３は、ステッ
プＳ１１９において、格納された時間方向（フレーム方
向）のＮ個の画素を用いて、補間画素の利得調整を行
い、予め周囲の画素値に近い値を補間位置に挿入する操
作を行う。更に、補間画素利得調整器２３は、ステップ
Ｓ１２１において、時間方向のＮ個の画素を用いて、高
周波成分除去器２７で用いられる２乗平均閾値ｔｈ１，
ｔｈ２を算出する。この２乗平均閾値ｔｈ１，ｔｈ２
は、式（６）及び（７）から算出される。

【００５５】（ホ）このように、時間方向のＮ個の画素
を用いて補間画素利得調整器２３により補間画素の利得
を調整した後、ステップＳ１２３において、利得調整後
の補間画素を、時間方向のＮ個の画素の挿入位置に、補
間画素挿入器２４を用いて挿入する。ここでは、利得調
整後の補間画素の挿入位置ｋ＝８である（図７参照）。
更に、ステップＳ１２５において、挿入されたＮ＋１個
の画素を、バッファメモリ、即ちＮ＋１画素格納メモリ
２５に格納する。

【００５６】（ヘ）その後、Ｎ＋１画素格納メモリ２５
に格納されたＮ＋１個の画素に対して、周波数変換器２
６は、ステップＳ１２７において、周波数変換を行う。
即ち、周波数変換器２６は、離散直交ウェーブレット変
換を用い、Ｎ＋１個の画素に対して２階のウェーブレッ
ト変換を行う。

【００５７】（ト）その後、高周波成分除去器２７は、
ステップＳ１２９において、補間画素による高周波成分
を除去する。即ち、高周波成分除去器２７は、高周波成
分Ｈ１の各ウェーブレット係数ｗ_H1iの２乗値に対して
予め算出された２乗平均値で定義された閾値ｔｈ１と比
較を行い、閾値ｔｈ１以上である場合には、その成分の
除去を行う。この高周波成分除去器は、同様に高周波成
分Ｈ２の各ウェーブレット係数ｗ_H2iの２乗値に対して
予め算出された２乗平均値で定義された閾値ｔｈ２と比
較を行い、閾値ｔｈ２以上である場合にはその成分の除
去を行う。

【００５８】（チ）このような処理を行った後、ステッ
プＳ１３１においては、周波数逆変換器２８により、周
波数逆変換を行う。周波数逆変換器２８は、離散直交ウ
ェーブレット逆変換を用い、Ｎ＋１個の画素に対して２
階のウェーブレット逆変換を行い、補間画素を再構成す
る。

【００５９】（リ）その後、ステップＳ１３３におい
て、補間画素抽出器２９によって、挿入位置ｋにある復
元（再構成）された補間画素を抽出する。更に、ステッ
プＳ１３５において、補間フレーム格納メモリ３１の画
像位置（ｘ，ｙ）に、この補間画素を格納する。

【００６０】（ヌ）ステップＳ１３７では、内側の繰り
返しループのｘ座標を１だけ増加させる。即ち、画像位
置（ｘ，ｙ）のｘ座標をｘ＝ｘ＋１と設定する。更に、
ステップＳ１３９では、内側の繰り返しループの終了条
件を判定する。即ち、画像位置（ｘ，ｙ）のｘ座標がｘ
＝Ｗであるか否か判定する。ｘ＝Ｗでなければ、内側の
繰り返しループが終了条件になるまで繰り返す。そし
て、ステップＳ１４１において、外側の繰り返しループ
のｙ座標を１だけ増加させる。即ち、画像位置（ｘ，
ｙ）のｙ座標をｙ＝ｙ＋１と設定する。更に、ステップ
Ｓ１４３では、外側の繰り返しループの終了条件を判定
する。即ち、画像位置（ｘ，ｙ）のｙ座標がｙ＝Ｈであ
るか否か判定する。ｙ＝Ｈでなければ、内側の繰り返し
ループが終了条件になるまで繰り返す。即ち、内側の繰
り返しループ及び外側の繰り返しループの操作を、画像
位置（ｘ，ｙ）のすべての位置に対して行うことで、図
７に示す補間フレームＦ_kを作成する。

【００６１】（ル）ステップＳ１４３では、補間フレー
ム挿入器３２によって、このように作成された補間フレ
ームを、Ｎ＋１フレーム格納メモリ３４の挿入位置ｋに
挿入し、Ｎ＋１枚のフレームを作成する（図７参照）。
フレーム挿入判定器３３によってＮ＋１枚のフレーム列
が作成されたと判定されると、第２の端子ａ側に閉じら
れた２方向スイッチＳＷ２を第１の端子ｂ側に切り替
え、同時に単方向スイッチＳＷ３を端子ｃ側に閉じるこ
とにより、ステップＳ１４５で動画像出力を得ることが
出来る。

【００６２】以上のような一連のステップにより、時間
方向の連続性が考慮された滑らかな動画像を作成し、フ
レームレートを向上させることが可能となる。

【００６３】（第２の実施の形態）次に本発明の第２の
実施形態に係る動画像表示システムは、図１６で示され
るように、動物体抽出後の元の動物体の背後に隠れた
「オクルージョン（隠れた背景部分）」部の背景動画像
の情報を作成し、表示する動画像表示システムである。

【００６４】図１０のブロック図に示すように、本発明
の第２の実施形態に係る動画像表示システムは、撮像装
置１１、撮像装置１１に接続された入力側フレームバッ
ファ１２、入力側フレームバッファ１２に単方向スイッ
チＳＷ１を介して接続された第１のＮ＋１フレーム格納
メモリ４４、第１のＮ＋１フレーム格納メモリ４４に２
方向スイッチＳＷ２の第１の端子ｂを介して接続された
第２のＮ＋１フレーム格納メモリ４２、第２のＮ＋１フ
レーム格納メモリ４２に単方向スイッチＳＷ３を介して
接続された出力側フレームバッファ１３、出力側フレー
ムバッファ１３に接続された動画像表示装置１４とから
構成されている。第１のＮ＋１フレーム格納メモリ４４
には、撮像装置１１から入力側フレームバッファ１２を
介して送られた幅Ｗ画素、高さＨ画素の動画像のＮ＋１
枚のフレームが、順次蓄えられる。単方向スイッチＳＷ
１、ＳＷ３、及び２方向スイッチＳＷ２は、それぞれオ
クルージョン部判定器４３に接続されている。図１０に
おいて、通常の状態では、２方向スイッチＳＷ２は、第
１の端子ｂ側に閉じられ、単方向スイッチＳＷ３は閉じ
ている。そして、２方向スイッチＳＷ２の第２の端子ａ
と第２のＮ＋１フレーム格納メモリ４２との間にはオク
ルージョン再構成回路２が接続されている。オクルージ
ョン部判定器４３は、オクルージョン部を含むフレーム
内を空間方向に走査してオクルージョン部であることを
示す信号を検出すると、第１の端子ｂ側に閉じている２
方向スイッチＳＷ２を第２の端子ａ側に切り替え、単方
向スイッチＳＷ３の端子ｃを開く。オクルージョン部で
あることを示す信号を検出しない場合は、２方向スイッ
チＳＷ２を第１の端子ｂ側に閉じた状態、単方向スイッ
チＳＷ３の端子ｃを閉じた状態に維持する。

【００６５】オクルージョン再構成回路２は、周波数変
換を利用して、「オクルージョン（隠れた背景部分）」
部の情報を、周囲のフレームから補間を行う。即ち、オ
クルージョン再構成回路２は、離散直交ウェーブレット
変換を用いた周波数変換を行うことにより、補間を行
い、背景動画像を作成する回路である。このオクルージ
ョン再構成回路２は、図１０に示すように、２方向スイ
ッチＳＷ２の第２の端子ａに接続された時間方向画素抽
出器２１、時間方向画素抽出器２１に接続されたＮ画素
格納メモリ２２、Ｎ画素格納メモリ２２に接続された補
間画素利得調整器２３、補間画素利得調整器２３に接続
された補間画素挿入器２４、補間画素挿入器２４に接続
されたＮ＋１画素格納メモリ２５、Ｎ＋１画素格納メモ
リ２５に接続された周波数変換器２６、周波数変換器２
６に接続された高周波成分除去器２７、高周波成分除去
器２７に接続された周波数逆変換器２８、周波数逆変換
器２８に接続された補間画素抽出器２９、補間画素抽出
器２９に接続された補間画素挿入器４１から構成されて
いる。補間画素挿入器４１の出力は、第２のＮ＋１フレ
ーム格納メモリ４２に接続されている。

【００６６】オクルージョン再構成回路２の基本的な考
え方は本発明の第１の実施の形態で用いられている手法
と同様であるが、第２の実施形態に係る動画像表示シス
テムでは、第１の実施の形態のようにフレーム全体を補
間する訳ではなく、動物体抽出後のオクルージョン（隠
れた背景部分）部の画素のみを選択的に補間する。この
ため、周波数変換器２６とその後の高周波成分除去器２
７、そして周波数逆変換器２８によって求められた特定
の空間座標（空間位置）の補間画素を随時、オクルージ
ョン（隠れた背景部分）部に格納することで背景動画像
の再構成を実現している。

【００６７】具体的には、第１の実施の形態と同様な幅
Ｗ画素、高さＨ画素の動画像が入力されることを考え
る。第２の実施形態に係る動画像表示システムでは、予
め、オクルージョン部の空間座標（空間位置）には、画
像の輝度値として存在しない値を用いてオクルージョン
部が特定できるようにしておく。例えば、オクルージョ
ン部の空間座標（空間位置）に「−１」の値を用いるこ
とで特定を行う。

【００６８】第２のＮ＋１フレーム格納メモリ４２は、
オクルージョン部の空間座標（空間位置）に「−１」の
値が挿入されたフレームを含むＮ＋１枚のフレームを、
予め、格納しておく。通常の状態では、２方向スイッチ
ＳＷ２は、第１の端子ｂ側に閉じられ、単方向スイッチ
ＳＷ３は閉じているので、このとき、第１のＮ＋１フレ
ーム格納メモリ４４に格納されたＮ＋１枚のフレーム
を、順次読み出し、第２のＮ＋１フレーム格納メモリ４
２に格納しておけば良い。そして、第２のＮ＋１フレー
ム格納メモリ４２は、オクルージョン部に対応する「−
１」の値が挿入された画像位置（空間位置）に、オクル
ージョン再構成回路２で再構成された補間画素を格納す
る。

【００６９】次に、図１１から図１５に示すフローチャ
ートを用いて、本発明の第２の実施形態に係る背景動画
像作成方法を説明する。

【００７０】（イ）図１０において、通常の状態では、
２方向スイッチＳＷ２は、第１の端子ｂ側に閉じられ、
単方向スイッチＳＷ３は閉じている。先ずステップＳ２
０１において、撮像装置１１から動画像が入力される。
本発明の第１の実施の形態と同様に、動画像の１フレー
ムは、幅Ｗ画素、高さＨ画素である。ステップＳ２０３
において、Ｎ＋１枚のフレーム分を格納するためのメモ
リを確保する。そして、ステップＳ２０５において、第
１のＮ＋１フレーム格納メモリ４４に１フレーム分追加
し、フレームを順次蓄える。

【００７１】（ロ）ステップＳ２０７において、オクル
ージョン部判定器４３は、オクルージョン部の再構成に
必要なＮ＋１枚のフレームが第１のＮ＋１フレーム格納
メモリ４４に格納され、且つオクルージョン部の位置が
ｋフレーム目であるか否か判定する。オクルージョン部
を含むフレームの前後の動画像がＮ＋１枚のフレーム
分、未だ、格納されていなければ、ステップＳ２０５に
戻り、動画像のフレームを第１のＮ＋１フレーム格納メ
モリ４４に蓄える。オクルージョン部を含むフレームの
前後の動画像がＮ＋１枚のフレーム分蓄えられと、オク
ルージョン部を含むフレームの位置よりも前のフレーム
を８フレーム、後のフレームを７フレームとすることで
合計１６フレームが格納されていることになる。

【００７２】（ハ）ステップＳ２０７において、オクル
ージョン部判定器４３によって必要なフレーム数が第１
のＮ＋１フレーム格納メモリ４４に格納され、且つ、オ
クルージョン部の位置がｋフレーム目であると判定され
ると、ステップＳ２０９に進み、外側の繰り返しループ
の開始条件を設定する。即ち、画像位置（ｘ，ｙ）のｙ
座標をｙ＝０と設定する。更に、ステップＳ２１１にお
いて、内側の繰り返しループの開始条件を設定する。即
ち、画像位置（ｘ，ｙ）のｘ座標をｘ＝０と設定する。
そして、ステップＳ２１３において、オクルージョン部
判定器４３は、画像位置（ｘ，ｙ）は、オクルージョン
部であるか否か判定する。オクルージョン部判定器４３
は、オクルージョン部を含むフレーム内を空間方向に走
査してオクルージョン部であることを示す「−１」を検
出したことを判定すると、第１の端子ｂ側に閉じている
２方向スイッチＳＷ２を第２の端子ａ側に切り替える。
画像位置（ｘ，ｙ）が、オクルージョン部でない場合
は、２方向スイッチＳＷ２を第１の端子ｂ側に維持した
まま、ステップＳ２３７に進む。画像位置（ｘ，ｙ）が
オクルージョン部であれば、ステップＳ２１５におい
て、時間方向画素抽出器２１は、第１のＮ＋１フレーム
格納メモリ４４から、オクルージョン部を除いた画像位
置（ｘ，ｙ）に対応する時間方向（フレーム方向）の画
素を、それぞれ抽出する。即ち、オクルージョン部に対
応する画素の利得を調整するために、格納されたＮ＋１
枚のフレームのうち、オクルージョン部を含むフレーム
において空間位置（ｘ，ｙ）の輝度値が「−１」である
場合に、この画素を除き、この位置に対応する時間方向
（フレーム方向）の画素を時間方向画素抽出器２１によ
って抽出する。更に、ステップＳ２１７において、時間
方向（フレーム方向）に配列された各フレームから、抽
出された合計Ｎ個の画素を、バッファメモリ、即ちＮ画
素格納メモリ２２に格納する。

【００７３】（ニ）補間画素利得調整器２３は、ステッ
プＳ２１９において、格納された時間方向（フレーム方
向）のＮ個の画素を用いて、補間画素の利得調整を行
い、予め周囲の画素値に近い値を補間位置に挿入する操
作を行う。更に、補間画素利得調整器２３は、ステップ
Ｓ２２１において、時間方向のＮ個の画素を用いて、高
周波成分除去器２７で用いられる２乗平均閾値ｔｈ１，
ｔｈ２を算出する。この２乗平均閾値ｔｈ１，ｔｈ２
は、本発明の第１の実施の形態で説明した式（６）及び
（７）から算出される。

【００７４】（ホ）このように、時間方向のＮ個の画素
を用いて補間画素利得調整器２３により補間画素の利得
を調整した後、ステップＳ２２３において、利得調整後
の補間画素を、時間方向のＮ個の画素の挿入位置に、補
間画素挿入器２４を用いて挿入する。ここでは、利得調
整後の補間画素の挿入位置ｋ＝８である。更に、ステッ
プＳ２２５において、挿入されたＮ＋１個の画素を、バ
ッファメモリ、即ちＮ＋１画素格納メモリ２５に格納す
る。

【００７５】（ヘ）その後、Ｎ＋１画素格納メモリ２５
に格納されたＮ＋１個の画素に対して、周波数変換器２
６は、ステップＳ２２７において、周波数変換を行う。
即ち、周波数変換器２６は、離散直交ウェーブレット変
換を用い、Ｎ＋１個の画素に対して２階のウェーブレッ
ト変換を行う。本発明の第１の実施の形態と同様に、ス
テップＳ２２７における周波数変換にウェーブレット変
換を適用することで、周波数変換時の画素の位置情報を
容易に特定できるようになり、フレーム間方向に対する
周波数情報を効果的に解析することが可能となる。この
ため、より効果的なオクルージョン部再構成を実現する
ことが可能となる。特に、直交ウェーブレットを適用す
ることで、基底間の相関がなく効率的に符号化が行え、
更に演算処理にあまり多くの時間を必要としない。この
ような利点を有するので、直交ウェーブレットを用いて
周波数変換を行っている。しかし、他の非直交ウェーブ
レットや双直交ウェーブレットを利用した構成や短時間
フーリエ変換を利用した構成など、ある程度画素の位置
情報が特定できるものであれば本発明で用いられる周波
数変換の種別を限定することはない。

【００７６】（ト）その後、高周波成分除去器２７は、
ステップＳ２２９において、補間画素による高周波成分
を除去する。即ち、高周波成分除去器２７は、高周波成
分Ｈ１の各ウェーブレット係数ｗ_H1iの２乗値に対して
予め算出された２乗平均値で定義された閾値ｔｈ１と比
較を行い、閾値ｔｈ１以上である場合には、その成分の
除去を行う。この高周波成分除去器２７は、同様に高周
波成分Ｈ２の各ウェーブレット係数ｗ_H2iの２乗値に対
して予め算出された２乗平均値で定義された閾値ｔｈ２
と比較を行い、閾値ｔｈ２以上である場合にはその成分
の除去を行う。ステップＳ２２９における補間画素によ
る高周波成分を除去において、予め算出された２乗平均
値を利用することにより補間画素の周辺で生じる不要な
高周波成分の検出を容易にし、位置情報の分解能があま
り良くない周波数変換を用いる場合であっても効果的に
高周波成分の削減が可能となる。

【００７７】（チ）このような処理を行った後、ステッ
プＳ２３１においては、周波数逆変換器２８により、周
波数逆変換を行う。周波数逆変換器２８は、離散直交ウ
ェーブレット逆変換を用い、Ｎ＋１個の画素に対して２
階のウェーブレット逆変換を行い、補間画素を再構成す
る。

【００７８】（リ）その後、ステップＳ２３３におい
て、補間画素抽出器２９によって、挿入位置ｋにある復
元（再構成）された補間画素を抽出する。更に、ステッ
プＳ２３５において、補間画素挿入器４１は、第２のＮ
＋１フレーム格納メモリ４２のオクルージョン部に対応
する画像位置（ｘ，ｙ）に、この補間画素を格納する。

【００７９】（ヌ）ステップＳ２１３において、画像位
置（ｘ，ｙ）がオクルージョン部でないと判定された場
合は、２方向スイッチＳＷ２は第１の端子ｂ側に接続さ
れた状態であり、ステップＳ２１５からステップＳ２３
５までの処理は省略される。ステップＳ２３７では、内
側の繰り返しループのｘ座標を１だけ増加させる。即
ち、画像位置（ｘ，ｙ）のｘ座標をｘ＝ｘ＋１と設定す
る。更に、ステップＳ２３９では、内側の繰り返しルー
プの終了条件を判定する。即ち、画像位置（ｘ，ｙ）の
ｘ座標がｘ＝Ｗであるか否か判定する。ｘ＝Ｗでなけれ
ば、内側の繰り返しループが終了条件になるまで繰り返
す。そして、ステップＳ２４１において、外側の繰り返
しループのｙ座標を１だけ増加させる。即ち、画像位置
（ｘ，ｙ）のｙ座標をｙ＝ｙ＋１と設定する。更に、ス
テップＳ２４３では、外側の繰り返しループの終了条件
を判定する。即ち、画像位置（ｘ，ｙ）のｙ座標がｙ＝
Ｈであるか否か判定する。ｙ＝Ｈでなければ、内側の繰
り返しループが終了条件になるまで繰り返す。即ち、内
側の繰り返しループ及び外側の繰り返しループの操作
を、画像位置（ｘ，ｙ）のすべての位置に対して行うこ
とで補間フレームを作成する。この操作をオクルージョ
ン部を含むフレーム内のオクルージョン部であることを
示す「−１」が存在する空間位置に対して順次行うこと
でオクルージョン部を再構成する。

【００８０】（ル）オクルージョン部判定器４３によっ
てオクルージョン部を含むフレーム内の走査がすべて終
了したと判定されると、ステップＳ２４５で、単方向ス
イッチＳＷ３の端子ｃを閉じて動画像出力を得ることが
出来る。

【００８１】仮に動画像内に含まれる動物体の動きが小
さい場合、動物体抽出後のオクルージョン部が空間位置
的に連続して発生することが考えられる。このような場
合であっても、利得調整器によってある程度周囲の画素
に近い値を連続したオクルージョン部に対して挿入する
ことで、同様な処理を行うことが可能となる。

【００８２】

【発明の効果】本発明の動画像表示システムによれば、
本来フレームレートが低い動画像であっても、フレーム
間の連続性が考慮されたフレームが補間されるので、従
来よりも視覚的に滑らかで良好な動画像を表示すること
が可能となる。

【００８３】又、本発明の動画像表示システムによれ
ば、自然動画像から動物体を抽出した際に生じる動物体
の背後に隠れたオクルージョン部を再構成する場合、従
来法より時間方向に対してより連続的で自然な背景動画
像を作成し、良好な動画像を表示することが可能とな
る。

【００８４】更に、本発明のフレーム間補間方法によれ
ば、周波数変換を動画像のフレーム間方向に適用し、得
られる周波数成分の高周波成分を削減しているので、効
果的なフレーム間補間を実現することが可能となる。

【００８５】更に、本発明の背景動画像作成方法によれ
ば、周波数変換を動画像のフレーム間方向に適用し、得
られる周波数成分の高周波成分を削減しているので効果
的なオクルージョン部の背景動画像を再構成することが
可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る動画像表示シス
テムのブロック図である。

【図２】本発明の第１の実施形態に係るフレーム間補間
方法を実現するためのフローチャート（その１）であ
る。

【図３】本発明の第１の実施形態に係るフレーム間補間
方法を実現するためのフローチャート（その２）であ
る。

【図４】本発明の第１の実施形態に係るフレーム間補間
方法を実現するためのフローチャート（その３）であ
る。

【図５】本発明の第１の実施形態に係るフレーム間補間
方法を実現するためのフローチャート（その４）であ
る。

【図６】本発明の第１の実施形態に係るフレーム間補間
方法における動画像のフレーム列の概念図である。

【図７】本発明の第１の実施形態に係るフレーム間補間
方法における補間フレーム挿入後の周波数変換の様子を
示す概念図である。

【図８】本発明の第１の実施形態に係るフレーム間補間
方法で用いられるウェーブレット変換のオクターブ分割
の様子を示す概念図である。

【図９】本発明の第１の実施形態に係るフレーム間補間
方法におけるフィルタリングを行う際に影響する画素の
範囲を示す概念図である。

【図１０】本発明の第２の実施形態に係る動画像表示シ
ステムのブロック図である。

【図１１】本発明の第２の実施形態に係る背景動画像作
成方法を実現するためのフローチャート（その１）であ
る。

【図１２】本発明の第２の実施形態に係る背景動画像作
成方法を実現するためのフローチャート（その２）であ
る。

【図１３】本発明の第２の実施形態に係る背景動画像作
成方法を実現するためのフローチャート（その３）であ
る。

【図１４】本発明の第２の実施形態に係る背景動画像作
成方法を実現するためのフローチャート（その４）であ
る。

【図１５】本発明の第２の実施形態に係る背景動画像作
成方法を実現するためのフローチャート（その５）であ
る。

【図１６】本発明の第２の実施形態において、自然動画
像から動物体を抽出した際に生じる動物体の背後に隠れ
たオクルージョン部を再構成する際の周波数変換の様子
を示す概念図である。

【符号の説明】

１ フレーム補間回路 ２ オクルージョン再構成回路 １１ 撮像装置 １２，１３ フレームバッファ １４ 動画像表示装置 ２１ 時間方向画素抽出器 ２２ Ｎ画素格納メモリ ２３ 補間画素利得調整器 ２４，４１ 補間画素挿入器 ２５ Ｎ＋１画素格納メモリ ２６ 周波数変換器 ２７ 高周波成分除去器 ２８ 周波数逆変換器 ２９ 補間画素抽出器 ３１ 補間フレーム格納メモリ ３２ 補間フレーム挿入器 ３３ フレーム挿入判定器 ３４ Ｎ＋１フレーム格納メモリ ３５ フレーム補間位置判定器 ３６ Ｎフレーム格納メモリ ４２ 第２のＮ＋１フレーム格納メモリ ４３ オクルージョン部判定器４３ ４４ 第１のＮ＋１フレーム格納メモリ ＳＷ１，ＳＷ３ 単方向スイッチ ＳＷ２ ２方向スイッチ

フロントページの続き Ｆターム(参考） 5C059 KK01 LA06 LB13 MA24 MC22 MC35 PP04 PP29 SS14 TA07 TA49 TC04 TD06 TD11 5C063 AB03 BA10 CA11 CA29 CA34 EB39 5J064 AA01 BA16 BB04 BB10 BC01 BC25 BD01

Claims (5)

【特許請求の範囲】
1. 【請求項１】 撮像装置から送られたＮ枚のフレームの
   画像データを順次格納するＮフレーム格納メモリと、 該Ｎフレーム格納メモリの出力側に接続された２方向ス
   イッチと、 該２方向スイッチの第１の端子に接続されたＮ＋１フレ
   ーム格納メモリと、 該Ｎ＋１フレーム格納メモリの出力側に接続された単方
   向スイッチと、 該単方向スイッチに接続された出力側フレームバッファ
   と、 該出力側フレームバッファに接続された動画像表示装置
   と、 前記２方向スイッチの第２の端子と前記Ｎ＋１フレーム
   格納メモリとの間に接続されたフレーム補間回路と、 前記２方向スイッチ及び単方向スイッチを制御するフレ
   ーム補間位置判定器とから構成され、 前記フレーム補間回路は、周波数変換を時間方向に対し
   て適用し、該時間方向の周波数情報を利用することによ
   って、動画像の補間フレームを作成し、 前記フレーム補間位置判定器は、フレーム間補間に必要
   なフレーム数が前記Ｎフレーム格納メモリに格納された
   と判定すると、前記第１の端子側に閉じている前記２方
   向スイッチを前記第２の端子側に切り替え、前記単方向
   スイッチの端子を開き、 前記Ｎ＋１フレーム格納メモリは、前記フレーム補間回
   路により作成された前記補間フレームを、予め格納した
   前記Ｎ枚のフレームの挿入位置に挿入することにより、
   Ｎ＋１枚のフレームを作成することを特徴とする動画像
   表示システム。
2. 【請求項２】 撮像装置から送られたＮ＋１枚のフレー
   ムの画像データを順次格納する第１のＮ＋１フレーム格
   納メモリと、 該第１のＮ＋１フレーム格納メモリの出力側に接続され
   た２方向スイッチと、 該２方向スイッチの第１の端子に接続された第２のＮ＋
   １フレーム格納メモリと、 該第２のＮ＋１フレーム格納メモリの出力側に接続され
   た単方向スイッチと、 該単方向スイッチに接続された出力側フレームバッファ
   と、 該出力側フレームバッファに接続された動画像表示装置
   と、 前記２方向スイッチの第２の端子と前記第２のＮ＋１フ
   レーム格納メモリとの間に接続されたオクルージョン再
   構成回路と、 前記２方向スイッチ及び単方向スイッチを制御するオク
   ルージョン部判定器とから構成され、 前記オクルージョン再構成回路は、周波数変換を時間方
   向に対して適用し、該時間方向の周波数情報を利用する
   ことでオクルージョン部の情報を周囲のフレームから補
   間して、オクルージョン部の補間画素を再構成し、 前記オクルージョン部判定器は、前記オクルージョン部
   を含むフレーム内を走査して前記オクルージョン部であ
   ることを示す信号を検出すると、前記第１の端子側に閉
   じている前記２方向スイッチを前記第２の端子側に切り
   替え、前記単方向スイッチの端子を開き、 前記第２のＮ＋１フレーム格納メモリは、前記オクルー
   ジョン部に対応する画像位置に、前記オクルージョン再
   構成回路で再構成された前記補間画素を格納することを
   特徴とする動画像表示システム。
3. 【請求項３】 前記周波数変換に、ウェーブレット変換
   を用いることを特徴とする請求項１又は２記載の動画像
   表示システム。
4. 【請求項４】 時間方向に配列されたＮ枚のフレームの
   同一画像位置の画素をそれぞれ抽出し、Ｎ個の画素を得
   るステップと、 該Ｎ個の画素を用いて、補間画素の利得調整を行うステ
   ップと、 該利得調整後の補間画素を挿入してＮ＋１個の画素を得
   るステップと、 該Ｎ＋１個の画素に対して周波数変換を行うステップ
   と、 該周波数変換により得られた周波数情報から、補間画素
   による高周波成分を除去するステップと、 該高周波成分の除去後、前記Ｎ＋１個の画素に対して周
   波数逆変換を行い、補間画素を再構成するステップとか
   らなる一連の手順を、２次元の画像位置に対しそれぞれ
   繰り返し、動画像の補間フレームを作成することを特徴
   とするフレーム間補間方法。
5. 【請求項５】 時間方向に配列されたＮ＋１枚のフレー
   ムの同一画像位置の画素から、オクルージョン部を除い
   た画素をそれぞれ抽出し、Ｎ個の画素を得るステップ
   と、 該Ｎ個の画素を用いて、補間画素の利得調整を行うステ
   ップと、 該利得調整後の補間画素を挿入してＮ＋１個の画素を得
   るステップと、 該Ｎ＋１個の画素に対して周波数変換を行うステップ
   と、 該周波数変換により得られた周波数情報から、補間画素
   による高周波成分を除去するステップと、 該高周波成分の除去後、前記Ｎ＋１個の画素に対して周
   波数逆変換を行い、オクルージョン部の補間画素を再構
   成するステップとからなる一連の手順をオクルージョン
   部の画像位置に対しそれぞれ繰り返し、オクルージョン
   部の画像を再構成することを特徴とする背景動画像作成
   方法。