JP2001086387A

JP2001086387A - 動き検出装置および動き検出方法、並びに媒体

Info

Publication number: JP2001086387A
Application number: JP25847299A
Authority: JP
Inventors: Tetsujiro Kondo; 哲二郎近藤
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1999-09-13
Filing date: 1999-09-13
Publication date: 2001-03-30
Anticipated expiration: 2019-09-13
Also published as: JP4240674B2

Abstract

(57)【要約】【課題】ビデオカメラの撮像方向の動き（カメラ動
き）を簡易に検出する。【解決手段】重心算出部２１において、蓄積画像メモ
リ２４に記憶された蓄積画像の中の、注目フレームの前
のフレームの画像を含む、注目フレームについてのカメ
ラ動きを検出するのに用いる検出範囲が設定され、その
検出範囲の重心と、注目フレームの重心が算出される。
そして、ベクトル検出部２２において、検出範囲の重心
と、注目フレームの重心に基づいて、注目フレームの画
像を撮像したときのカメラ動きを表すカメラ動きベクト
ルが求められ、書き込み制御部２３において、そのカメ
ラ動きベクトルに基づいて、注目フレームの画像が、蓄
積画像メモリ２４に上書きされる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動き検出装置およ
び動き検出方法、並びに媒体に関し、特に、例えば、ビ
デオカメラ等の撮像装置で撮像された画像から、そのビ
デオカメラの動き（以下、適宜、カメラ動きという）
を、簡易に検出することができるようにする動き検出装
置および動き検出方法、並びに媒体に関する。

【０００２】

【従来の技術】カメラ動きを検出する方法としては、例
えば、いわゆるマクロブロックの動きベクトルを検出す
るのと同様に、フレーム全体を１つのブロックとみなし
て、ブロックマッチングを行う方法が考えられる。

【０００３】

【発明が解決しようとする課題】しかしながら、フレー
ム全体を対象にブロックマッチングを行う場合には、カ
メラ動きを検出しようとしているフレームの空間的な位
置をずらしながら、その１フレーム前の画像の画素との
絶対値差分の、１フレームについての総和等を求める必
要があるため、演算量が大であり、面倒である。

【０００４】本発明は、このような状況に鑑みてなされ
たものであり、カメラ動きを、簡易に求めることができ
るようにするものである。

【０００５】

【課題を解決するための手段】本発明の動き検出装置
は、撮像装置が出力する画像の各画面の背景の位置合わ
せを行って重ね合わせた状態の蓄積画像を記憶する蓄積
画像記憶手段と、蓄積画像の中の、注目画面の前の画面
の画像を含む、注目画面についての動きを検出するのに
用いる検出範囲を設定する検出範囲設定手段と、検出範
囲の重心と、注目画面の重心を算出する重心算出手段
と、検出範囲の重心と、注目画面の重心に基づいて、注
目画面の画像を撮像したときの撮像装置の撮像方向の動
きを表す動きベクトルを求める動きベクトル算出手段
と、動きベクトルに基づいて、注目画面の画像を、蓄積
画像記憶手段に書き込む書き込み手段とを含むことを特
徴とする。

【０００６】重心算出手段には、検出範囲または注目画
面内の画素を、その画素値に基づいて、幾つかのレベル
のうちのいずれかに分類させ、各レベルに属する画素の
重心を算出させ、各レベルの重心の重心を、検出範囲ま
たは注目画面の重心としてそれぞれ求めさせることがで
きる。また、重心算出手段には、検出範囲または注目画
面内の各画素を、その周辺にある画素に基づいて、幾つ
かのクラスのうちのいずれかに分類させ、各クラスに属
する画素の重心を算出させ、各クラスの重心の重心を、
検出範囲または注目画面の重心としてそれぞれ求めさせ
ることができる。さらに、重心算出手段には、特定のク
ラスに属する画素の重心を算出させ、特定のクラスの重
心の重心を、検出範囲または注目画面の重心としてそれ
ぞれ求めさせることができる。また、重心算出手段に
は、エッジになっている部分の画素が属するクラスを、
特定のクラスとして、検出範囲または注目画面の重心を
それぞれ求めさせることができる。

【０００７】本発明の動き検出装置には、注目画面の画
像を撮像したときの撮像装置の撮像方向の動きの有無を
判定する動き有無判定手段をさらに設けることができ、
この場合、動きベクトル算出手段には、動き有無判定手
段において動きがあると判定された場合にのみ、検出範
囲の重心と、注目画面の重心に基づいて、動きベクトル
を求めさせることができる。

【０００８】動き有無判定手段には、注目画面内の各画
素を、その周辺にある画素に基づいて、幾つかのクラス
のうちのいずれかに分類させ、特定のクラスに属する画
素と、注目画面の前の画面の対応する画素とを比較さ
せ、その比較結果に基づいて、動きの有無を判定させる
ことができる。また、動き有無判定手段には、エッジに
なっている部分の画素が属するクラスを、特定のクラス
として、その特定のクラスに属する画素と、注目画面の
前の画面の対応する画素とを比較させることができる。

【０００９】本発明の動き検出方法は、撮像装置が出力
する画像の各画面の背景の位置合わせを行って重ね合わ
せた状態の蓄積画像を記憶する蓄積画像記憶手段に記憶
された蓄積画像の中の、注目画面の前の画面の画像を含
む、注目画面についての動きを検出するのに用いる検出
範囲を設定する検出範囲設定ステップと、検出範囲の重
心と、注目画面の重心を算出する重心算出ステップと、
検出範囲の重心と、注目画面の重心に基づいて、注目画
面の画像を撮像したときの撮像装置の撮像方向の動きを
表す動きベクトルを求める動きベクトル算出ステップ
と、動きベクトルに基づいて、注目画面の画像を、蓄積
画像記憶手段に書き込む書き込みステップとを含むこと
を特徴とする。

【００１０】本発明の媒体がコンピュータに実行させる
プログラムは、撮像装置が出力する画像の各画面の背景
の位置合わせを行って重ね合わせた状態の蓄積画像を記
憶する蓄積画像記憶手段に記憶された蓄積画像の中の、
注目画面の前の画面の画像を含む、注目画面についての
動きを検出するのに用いる検出範囲を設定する検出範囲
設定ステップと、検出範囲の重心と、注目画面の重心を
算出する重心算出ステップと、検出範囲の重心と、注目
画面の重心に基づいて、注目画面の画像を撮像したとき
の撮像装置の撮像方向の動きを表す動きベクトルを求め
る動きベクトル算出ステップと、動きベクトルに基づい
て、注目画面の画像を、蓄積画像記憶手段に書き込む書
き込みステップとを含むことを特徴とする。

【００１１】本発明の動き検出装置および動き検出方
法、並びに媒体においては、撮像装置が出力する画像の
各画面の背景の位置合わせを行って重ね合わせた状態の
蓄積画像を記憶する蓄積画像記憶手段に記憶された蓄積
画像の中の、注目画面の前の画面の画像を含む、注目画
面についての動きを検出するのに用いる検出範囲が設定
され、その検出範囲の重心と、注目画面の重心が算出さ
れる。そして、検出範囲の重心と、注目画面の重心に基
づいて、注目画面の画像を撮像したときの撮像装置の撮
像方向の動きを表す動きベクトルが求められ、その動き
ベクトルに基づいて、注目画面の画像が、蓄積画像記憶
手段に書き込まれる。

【００１２】

【発明の実施の形態】図１は、本発明を適用した画像伝
送装置の一実施の形態の構成例を示している。

【００１３】エンコーダ１には、ビデオカメラ等で撮影
された、符号化の対象となる画像（ここでは、動画像と
する）としてのディジタル画像データが供給されるよう
になっており、そこでは、その画像が符号化され、その
結果得られる符号化データが出力される。この符号化デ
ータは、例えば、衛星回線や、地上波、ＣＡＴＶ(Cable
Television)網、インターネット、ＩＳＤＮ(Integrate
d Service Digital Network)等の伝送媒体３を介して伝
送され、あるいは、光ディスクや、光磁気ディスク、磁
気ディスク、磁気テープ、相変化ディスク等の記録媒体
４に記録される。

【００１４】デコーダ２には、伝送媒体３を介して伝送
されてくる符号化データ、あるいは記録媒体４から再生
される符号化データが供給されるようになっており、デ
コーダ２では、そこに供給される符号化データが復号さ
れ、その結果得られる復号画像が、例えば、図示せぬモ
ニタ等に供給されて表示される。

【００１５】以上のような画像伝送装置は、例えば、離
れた位置において画像の送受信を行う装置や、画像の記
録再生を行う装置等に適用することができる。

【００１６】次に、図２は、図１のエンコーダ１の構成
例を示している。

【００１７】蓄積部１１は、例えば、半導体メモリや磁
気ディスク等で構成され、エンコーダ１に供給される画
像データを一時記憶する。ここで、蓄積部１１には、例
えば、あるシーンチェンジから次のシーンチェンジまで
等の一連の画像のフレーム単位で、画像データが入力さ
れて記憶されるようになっている。なお、ここでは、例
えば、図３に示すように、第１フレーム乃至第Ｎフレー
ムでなるＮフレームの画像データが、一連の画像とし
て、蓄積部１１に記憶されるものとする。

【００１８】蓄積部１１に、一連の画像としてのＮフレ
ームの画像が記憶されると、カメラ動き検出部１２は、
そのＮフレームの画像を蓄積部１１から読み出し、各フ
レームにおけるカメラ動きの方向と大きさを表すカメラ
動きベクトルを検出する。

【００１９】即ち、カメラ動き検出部１２は、例えば、
図４（Ａ）に示すように、第１フレームの左上の点を原
点とするとともに、その左から右方向、または上から下
方向を、それぞれｘ軸またはｙ軸とする座標系（以下、
適宜、基準座標系という）において、第１フレームのカ
メラ動きベクトルｖ₁を０（＝（０，０））に設定す
る。そして、カメラ動き検出部１２は、第２フレーム乃
至第Ｎフレームについて、各フレームの背景の位置合わ
せを行ったときに、第ｎフレームの左上の点が位置する
基準座表系の座標（ｘ，ｙ）を、その第ｎフレームのカ
メラ動きベクトルｖ_nとして求める。

【００２０】具体的には、カメラ動き検出部１２は、第
１フレームのカメラ動きベクトルｖ ₁を０に設定した
後、図４（Ｂ）に示すように、基準座標系において、第
１フレームと背景どうしが一致するような第２フレーム
の位置を求め、その位置における第２フレームの左上の
点の座標を、そのカメラ動きベクトルｖ₂として求め
る。さらに、カメラ動き検出部１２は、図４（Ｃ）に示
すように、基準座標系において、背景の位置合わせを行
った第１フレームおよび第２フレームと背景どうしが一
致するような第３フレームの位置を求め、その位置にお
ける第３フレームの左上の点の座標を、そのカメラ動き
ベクトルｖ₃として求める。

【００２１】以下、同様にして、カメラ動き検出部１２
は、第４フレーム乃至第Ｎフレームのカメラ動きベクト
ルｖ₄乃至ｖ_Nも求めていく。

【００２２】なお、ここでは、説明を簡単にするため
に、カメラ動きとしては、水平および垂直方向の動きの
みを考え、回転は考えないものとする。但し、本発明
は、カメラ動きに回転がある場合でも適用可能である。

【００２３】以上のようにして、カメラ動き検出部１２
で検出された、一連の画像としての第１フレーム乃至第
Ｎフレームのカメラ動きベクトルｖ₁乃至ｖ_Nは、カメラ
動きベクトル記憶部１３に供給されて記憶される。

【００２４】カメラ動きベクトル記憶部１３において、
カメラ動きベクトルｖ₁乃至ｖ_Nが記憶されると、背景抽
出部１４は、カメラ動きベクトル記憶部１３から、カメ
ラ動きベクトルｖ₁乃至ｖ_Nを読み出すとともに、蓄積部
１１から第１フレーム乃至第Ｎフレームの画像データを
読み出し、カメラ動きベクトルｖ₁乃至ｖ_Nに基づいて、
第１フレーム乃至第Ｎフレームの背景の位置合わせを行
うことで、その第１フレーム乃至第Ｎフレーム全体に亘
る背景（この背景は、例えば、一連の画像が、ビデオカ
メラをパンニングまたはチルティングして撮影されたも
のであれば、横長または縦長の画像となる）（以下、適
宜、全体背景という）を抽出する。背景抽出部１４で抽
出された全体背景は、背景メモリ１５に供給されて記憶
される。

【００２５】背景メモリ１５において、全体背景が記憶
されると、前景符号化部１６は、その全体背景のうち、
蓄積部１１に記憶された各フレームの背景を、カメラ動
きベクトル記憶部１３に記憶された各フレームのカメラ
動きベクトルに基づいて検出し、その検出された各フレ
ームの背景を、各フレームの画像から減算することで、
各フレームの前景を抽出する。さらに、前景符号化部１
６は、各フレームの前景を符号化し、その符号化結果
を、ＭＵＸ（マルチプレクサ）１７に出力する。

【００２６】ＭＵＸ１７は、前景符号化部１６から、前
景の符号化結果を受信すると、その前景の符号化結果
に、カメラ動きベクトル記憶部１３に記憶されたカメラ
動きベクトルと、背景メモリ１５に記憶された全体背景
とを多重化し、その多重化結果を、符号化データとして
出力する。

【００２７】エンコーダ１では、以上のように、画像デ
ータが、一連の画像単位で符号化される。

【００２８】次に、図５は、図２のカメラ動き検出部１
２の構成例を示している。

【００２９】重心算出部２１には、蓄積部１１（図２）
に記憶された一連の画像が、フレーム単位で供給される
ようになっており、重心算出部２１は、各フレームにつ
いて、後述するような重心を求めるようになっている。
さらに、重心算出部２１は、蓄積画像メモリ２４に記憶
された、後述する蓄積画像に対して、注目している注目
フレームのカメラ動きベクトルを検出するのに用いる範
囲（以下、適宜、動き検出範囲という）を設定し、その
動き検出範囲の重心も求めるようになっている。重心算
出部２１で求められる注目フレームおよび動き検出範囲
の重心は、ベクトル検出部２２に供給されるようになっ
ている。

【００３０】ベクトル検出部２２は、重心算出部２１か
ら供給される注目フレームおよび動き検出範囲の重心に
基づいて、注目フレームのカメラ動きベクトルを検出
し、カメラ動きベクトル記憶部１３（図２）に供給する
とともに、書き込み制御部２３に供給するようになって
いる。

【００３１】書き込み制御部２３は、ベクトル検出部２
２からのカメラ動きベクトルに基づいて、蓄積画像メモ
リ２４が注目フレームの画像データを記憶するアドレス
を制御するようになっている。蓄積画像メモリ２４は、
蓄積部１１（図２）から、注目フレームの画像データを
読み出し、書き込み制御部２３が指定するアドレスに記
憶するようになっている。

【００３２】次に、図６を参照して、図５のカメラ動き
検出部１２において行われる、カメラ動きベクトルを検
出するカメラ動き検出処理について説明する。

【００３３】カメラ動き検出部１２が行うカメラ動き検
出処理は、画像の重心が、カメラ動きによって移動する
ことに着目し、基本的には、各フレームの重心が一致す
るように、各フレームの位置合わせを行い、その位置合
わせを行った状態での、各フレームの左上の点が、各フ
レームのカメラ動きベクトルとして検出されるようにな
っている。

【００３４】即ち、いま、第ｎフレームを注目フレーム
とすると、蓄積画像メモリ２４には、注目フレームの前
のフレームまでのフレームである第１乃至第ｎ−１フレ
ームの画像データを、その順番で、各フレームの背景の
位置合わせを行って重ね合わせた状態の画像（蓄積画
像）が記憶されている。

【００３５】この場合、重心算出部２１は、図６（Ａ）
に示すように、注目フレームである第ｎフレームの重心
ｃ_nを求める。さらに、重心算出部２１は、図６（Ｂ）
に示すように、蓄積画像メモリ２４に記憶された蓄積画
像の中の、注目フレームの１フレーム前の第ｎ−１フレ
ームを包含する範囲を、動き検出範囲とし、その動き検
出範囲の重心ｃを求める。ここで、動き検出範囲として
は、例えば、第ｎ−１フレームの上下左右の各方向に、
所定の画素数だけ広い範囲が設定される。

【００３６】注目フレームの重心ｃ_n、および動き検出
範囲の重心ｃが求められると、ベクトル検出部２２で
は、図６（Ｃ）に示すように、動き検出範囲の重心ｃ
に、注目フレームの重心ｃ_nが一致した状態での、注目
フレームの左上の点の位置が求められ、その位置の座標
が、注目フレームである第ｎフレームのカメラ動きベク
トルｖ_nとして出力される。

【００３７】即ち、第ｎフレームを、注目フレームとし
て、そのカメラ動きベクトルｖ_nを求める場合には、そ
の１フレーム前までのカメラ動きベクトルは、既に求ま
っている。そこで、図６（Ｃ）に示すように、動き検出
範囲の重心ｃの、第ｎ−１フレームの左上の点を基準と
する位置をベクトルｖ’_cで表すとともに、注目フレー
ムである第ｎフレームの重心ｃ_nの、その第ｎフレーム
の左上の点を基準とする位置をベクトルｖ’_cnで表すと
すると、動き検出範囲の重心ｃと、注目フレームの重心
ｃ_nとが一致した状態での、注目フレームの左上の点の
位置の、基準座標系における座標が、注目フレームの動
きベクトルｖ_nとなる。そして、このカメラ動きベクト
ルｖ_nは、注目フレームの１フレーム前の第ｎ−１フレ
ームの動きベクトルｖ_n-1に、動き検出範囲の重心ｃの
位置を表すベクトルｖ’_cを加算し、さらに、注目フレ
ームの重心ｃ_nの位置を表すベクトルｖ’_cnを減算する
ことで求めることができる。即ち、注目フレームのカメ
ラ動きベクトルｖ_nは、式ｖ_n＝ｖ_n-1＋ｖ’_c−ｖ’_cnを
計算することで求めることができる。

【００３８】以上のようにして、注目フレームのカメラ
動きベクトルｖ_nが求められた後は、書き込み制御部２
３において、そのカメラ動きベクトルｖ_nに基づいて、
蓄積画像メモリ２４における注目フレームの画像データ
を書き込むための書き込みアドレスが制御される。即
ち、これにより、蓄積画像メモリ２４では、基準座標系
において、カメラ動きベクトルｖ_nによって示される点
に、その左上の点が位置するように、注目フレームの画
像データが、上書きする形で書き込まれ、その書き込み
の結果得られる画像が、次の第ｎ＋１フレームを注目フ
レームとして、そのカメラ動きベクトルｖ_n+1を検出す
る際の蓄積画像として用いられる。

【００３９】次に、図７のフローチャートを参照して、
図５のカメラ動き検出部１２におけるカメラ動き検出処
理について、さらに説明する。

【００４０】まず最初に、蓄積部１１に記憶された一連
の画像のうちの第１フレームが注目フレームとして読み
出され、重心算出部２１に供給されるとともに、蓄積画
像メモリ２４の記憶値がクリアされる。

【００４１】そして、重心算出部２１では、ステップＳ
１において、注目フレームが第１フレームであるかどう
かが判定される。ステップＳ１において、注目フレーム
が第１フレームであると判定された場合、ステップＳ２
に進み、ベクトル検出部２２は、そのカメラ動きベクト
ルｖ₁として０を設定し、カメラ動きベクトル記憶部１
３および書き込み制御部２３に出力して、ステップＳ６
に進む。

【００４２】ステップＳ６では、書き込み制御部２３
は、ベクトル検出部２２からのカメラ動きベクトルに基
づいて、蓄積画像メモリ２４における書き込みアドレス
を制御し、これにより、蓄積画像メモリ２４に、注目フ
レームを書き込む。即ち、いまの場合、注目フレームは
第１フレームであり、そのカメラ動きベクトルｖ₁は０
であるから、蓄積画像メモリ２４では、基準座標系にお
ける原点に、その左上の点が位置するように、第１フレ
ームの画像データが書き込まれる。

【００４３】その後、ステップＳ７に進み、蓄積部１１
に、一連の画像を構成する次のフレームがあるかどうか
が判定され、あると判定された場合、その、次のフレー
ムが、新たに注目フレームとして読み出され、重心算出
部２１に供給される。そして、ステップＳ１に戻り、以
下、同様の処理が繰り返される。

【００４４】一方、ステップＳ１において、注目フレー
ムが第１フレームでないと判定された場合、即ち、第２
フレーム乃至第Ｎフレームのうちのいずれかである場
合、ステップＳ３に進み、重心算出部２１において、注
目フレームの重心を求める重心算出処理が行われ、ステ
ップＳ４に進む。ステップＳ４では、重心算出部２１に
おいて、蓄積画像メモリ２４に記憶された蓄積画像の中
に、注目フレームに対する動き検出範囲が設定され、そ
の動き検出範囲の重心を求める重心算出処理が行われ、
ステップＳ５に進む。

【００４５】ステップＳ５では、ベクトル検出部２２に
おいて、重心算出部２１で求められた注目フレームの重
心と、動き検出範囲の重心とから、図６で説明したよう
にして、注目フレームのカメラ動きベクトルが求めら
れ、カメラ動きベクトル記憶部１３および書き込み制御
部２３に出力される。

【００４６】そして、ステップＳ６に進み、上述したよ
うに、書き込み制御部２３において、ベクトル検出部２
２からのカメラ動きベクトルに基づいて、蓄積画像メモ
リ２４における書き込みアドレスが制御され、これによ
り、蓄積画像メモリ２４に、注目フレームが書き込まれ
る。即ち、蓄積画像メモリ２４では、基準座標系におい
て、注目フレームのカメラ動きベクトルによって示され
る点に、その左上の点が位置するように、注目フレーム
の画像データが書き込まれる（上書きされる）。

【００４７】その後、ステップＳ７に進み、上述したよ
うに、蓄積部１１に、一連の画像を構成する次のフレー
ムがあるかどうかが判定され、ないと判定された場合、
即ち、一連の画像を構成する第１乃至第Ｎフレームそれ
ぞれのカメラ動きベクトルが求められた場合、カメラ動
き検出処理を終了する。

【００４８】次に、図８のフローチャートを参照して、
図７のステップＳ３において、重心算出部２１が行う処
理（注目フレームの重心算出処理）について詳述する。

【００４９】まず最初に、ステップＳ１１において、変
数ＸまたはＹに対して、注目フレームの横（水平方向）
の画素数、または縦（垂直方向）の画素数が、それぞれ
セットされ、ステップＳ１２に進む。

【００５０】ステップＳ１２では、注目フレームの各画
素のｙ座標を表す変数ｙに、初期値としての、例えば−
１がセットされ、ステップＳ２２に進み、変数ｙが１だ
けインクリメントされる。

【００５１】ここで、注目フレームを構成する各画素の
座標は、その最も左上の画素を原点とし、左から右方
向、または上から下方向に、それぞれｘ軸またはｙ軸を
とって表すものとする。

【００５２】その後、ステップＳ１４に進み、変数ｙ
が、注目フレームの縦の画素数Ｙ未満であるかどうかが
判定される。ステップＳ１４において、変数ｙがＹ未満
であると判定された場合、ステップＳ１５に進み、注目
フレームの各画素のｘ座標を表す変数ｘに、初期値とし
ての、例えば−１がセットされ、ステップＳ１６に進
む。

【００５３】ステップＳ１６では、変数ｘが１だけイン
クリメントされ、ステップＳ１７に進み、変数ｘが、注
目フレームの横の画素数Ｘ未満であるかどうかが判定さ
れる。ステップＳ１７において、変数ｘがＸ未満でない
と判定された場合、ステップＳ１３に戻り、以下、同様
の処理が繰り返される。

【００５４】また、ステップＳ１７において、変数ｘが
Ｘ未満であると判定された場合、ステップＳ１８に進
み、座標（ｘ，ｙ）にある画素ｐ（ｘ，ｙ）が注目画素
とされ、その注目画素が、その画素値に基づいて、あら
かじめ設定されたレベルのうちのいずれかに分類され
る。

【００５５】即ち、本実施の形態では、画素値としてと
り得る値の範囲が、幾つかの範囲に、あらかじめ分割さ
れている。そして、いま、例えば、画素値としてとり得
る値の範囲がＫ個の範囲に分割されており、このＫ個の
範囲を、画素値の小さい範囲から順番に、レベル１，
２，・・・，Ｋというものとすると、ステップＳ１８で
は、画素値がレベル１乃至Ｋのうちのいずれの範囲に属
するかによって、注目画素が分類される。

【００５６】さらに、ステップＳ１８では、注目画素の
レベル分類結果が、レベルテーブルに登録される。

【００５７】即ち、重心算出部２１は、その内蔵するメ
モリ（図示せず）に、例えば、図９に示すような、各レ
ベルｋ（ｋ＝１，２，・・・，Ｋ）について、そのレベ
ルｋに属する画素の度数ｆ_kと、レベルｋに属する画素
のｘ座標の積算値Σｘ_kおよびｙ座標の積算値Σｙ_kを対
応付けたレベルテーブルを記憶しており、例えば、注目
画素の画素値がレベルｋに属する場合には、レベルテー
ブルにおけるレベルｋについての度数ｆ_kを１だけイン
クリメントするとともに、ｘ座標の積算値Σｘ_kまたは
ｙ座標の積算値Σｙ_kに、注目画素のｘ座標またはｙ座
標をそれぞれ加算する。

【００５８】なお、レベルテーブルは、図８のフローチ
ャートにしたがった処理が開始されるごとに、０にクリ
アされるようになっている。

【００５９】そして、ステップＳ１６に戻り、以下、同
様の処理が繰り返される。

【００６０】一方、ステップＳ１４において、変数ｙが
Ｙ未満でないと判定された場合、即ち、注目フレームを
構成する各画素を注目画素として処理を行い、注目フレ
ームを構成するすべての画素を、レベルテーブルに登録
した場合、ステップＳ１９に進み、レベルテーブルの各
レベルに属する画素の重心が求められる。即ち、ステッ
プＳ１９では、レベルテーブルの各レベルｋにおけるｘ
座標の積算値Σｘ_kまたはｙ座標の積算値Σｙ_kそれぞれ
が、その度数ｆ_kで除算され、その除算値で表される座
標（Σｘ_k／ｆ_k，Σｙ_k／ｆ_k）が、各レベルｋに属する
画素の重心として求められる。

【００６１】そして、ステップＳ２０に進み、レベル１
乃至Ｋそれぞれに属する画素の重心の重心が、注目フレ
ームを構成する画素全体の重心として求められ、リター
ンする。

【００６２】即ち、ステップＳ２０では、レベル１乃至
Ｋそれぞれに属する画素の重心について、例えば、その
度数ｆ₁乃至ｆ_Kを重みとする重み付け平均値が求めら
れ、その重み付け平均値が、注目フレームを構成する画
素全体の重心として出力される。

【００６３】次に、図１０のフローチャートを参照し
て、図７のステップＳ４において、重心算出部２１が行
う処理（動き検出範囲の重心算出処理）について詳述す
る。

【００６４】まず最初に、ステップＳ３１において、動
き検出範囲が設定される。即ち、ステップＳ３１では、
蓄積画像メモリ２４に記憶された蓄積画像から、注目フ
レームの１フレーム前のフレームが書き込まれた範囲が
検出される。さらに、ステップＳ３１では、その検出さ
れた範囲が、例えば、上下左右方向に、それぞれ所定の
画素数だけ拡げられ、その拡げられた範囲が、動き検出
範囲として設定される。

【００６５】そして、ステップＳ３２に進み、変数Ｘま
たはＹに対して、動き検出範囲の横の画素数、または縦
の画素数が、それぞれセットされ、ステップＳ３３に進
む。

【００６６】その後、ステップＳ３３乃至Ｓ４１におい
ては、図８のステップＳ１２乃至Ｓ２０における場合と
それぞれ同様の処理が行われ、これにより、動き検出範
囲を構成する画素全体の重心が求められ、リターンす
る。

【００６７】以上のように、カメラ動き検出部１２で
は、蓄積画像の中の、注目フレームの１フレーム前のフ
レームを含む所定の範囲を、動き検出範囲として設定
し、その動き検出範囲の重心と、注目フレームの重心を
算出し、それらの重心に基づいて、注目フレームのカメ
ラ動きベクトルを求め、そのカメラ動きベクトルに基づ
いて、注目フレームを、蓄積画像に書き込むことを繰り
返すようにしたので、いわゆるブロックマッチングを行
う場合に比較して、カメラ動きベクトルを、簡易に求め
ることができる。

【００６８】なお、図７の実施の形態では、ステップＳ
３において、注目フレームの重心を求め、その後、ステ
ップＳ４において、動き検出範囲の重心を求めるように
したが、注目フレームの重心と、動き検出範囲の重心
は、どちらを先に求めても良いし、また、同時に求める
ようにすることも可能である。

【００６９】次に、図８の実施の形態では、注目フレー
ムの重心を、その注目フレームを構成する各画素を、そ
の画素値によって、幾つかのレベルのうちのいずれかに
分類（以下、適宜、レベル分類という）することで求め
るようにしたが、注目フレームの重心は、その他、例え
ば、その注目フレームを構成する各画素を、その周辺に
ある幾つかの画素（自身を含めても良いし、含めなくて
も良い）に基づいて、幾つかのクラスのうちのいずれか
に分類（以下、適宜、クラス分類という）することで行
うことも可能である。

【００７０】ここで、クラス分類について、簡単に説明
する。いま、例えば、注目画素について、その上下左右
にそれぞれ隣接する４画素と、注目画素自身との合計５
画素で、注目画素のクラス分類に用いるタップ（以下、
適宜、クラスタップという）を構成するものとする。こ
の場合、例えば、画素値が１ビットで表現される（０ま
たは１のうちのいずれかの値となる）ものとすると、注
目画素は、その注目画素について構成されるクラスタッ
プの５画素が取り得る画素値によって、３２（＝
（２¹）⁵）のパターンに分類することができる。このよ
うなパターン分けがクラス分類であり、いまの場合、注
目画素は、３２のクラスのうちのいずれかに分類される
ことになる。

【００７１】なお、一般には、画素に対して、８ビット
程度が割り当てられるが、画素に８ビットが割り当てら
れている場合には、上述のように５画素でなるクラスタ
ップを構成してクラス分類を行うと、そのクラス数は、
（２⁸）⁵という膨大な数になる。

【００７２】そこで、クラス分類は、注目画素について
構成されるクラスタップに対して、LビットADRC(Adapti
ve Dynamic Range Coding)処理し、そのADRC処理後のク
ラスタップに基づいて行うようにすることができる。

【００７３】ここで、LビットADRC処理においては、例
えば、クラスタップを構成する画素の画素値の最大値MA
Xと最小値MINが検出され、DR=MAX-MINを、集合の局所的
なダイナミックレンジとし、このダイナミックレンジDR
に基づいて、クラスタップを構成する画素がLビットに
再量子化される。即ち、クラスタップを構成する画素の
画素値の中から、最小値MINが減算され、その減算値がD
R/2^Lで除算（量子化）される。従って、クラスタップ
が、LビットADRC処理された場合には、そのクラスタッ
プを構成する各画素の画素値はLビットとされることに
なり、Lを、画素に割り当てられたビット数より小さい
値とすることで、クラスタップをADRC処理せずにクラス
分類を行う場合に比較して、クラス数を減少させること
ができる。

【００７４】なお、フレームの上端、下端、左端、また
は右端の画素が注目画素となった場合には、その上、
下、左、または右に隣接する画素は存在しないため、こ
の場合には、例えば、フレームの上側、下側、左側、ま
たは右側に、同一フレームが折り返して存在するものと
仮定して、クラスタップを構成するものとする。

【００７５】次に、図１１のフローチャートを参照し
て、注目フレームを構成する各画素を、その画素につい
てのクラスタップに基づいてクラス分類することによ
り、注目フレームの重心を求める場合の、重心算出部２
１で行われる処理（注目フレームの重心算出処理）につ
いて説明する。

【００７６】この場合、ステップＳ５１乃至Ｓ５７にお
いて、図８のステップＳ１１乃至Ｓ１７における場合と
それぞれ同様の処理が行われる。そして、図８のステッ
プＳ１８に対応するステップＳ５８では、座標（ｘ，
ｙ）にある画素ｐ（ｘ，ｙ）が注目画素とされ、その注
目画素についてクラスタップが構成される。そして、注
目画素が、そのクラスタップに基づいて、例えば、Ｋ個
のクラスのうちのいずれかにクラス分類され、そのクラ
ス分類結果が、クラステーブルに登録される。

【００７７】即ち、図１１の実施の形態においては、重
心算出部２１は、その内蔵するメモリに、例えば、図１
２に示すような、各クラスｋ（ｋ＝１，２，・・・，
Ｋ）について、そのクラスｋに属する画素の度数ｆ
_kと、クラスｋに属する画素のｘ座標の積算値Σｘ_kおよ
びｙ座標の積算値Σｙ_kを対応付けたクラステーブルを
記憶しており、例えば、注目画素がクラスｋに属する場
合には、クラステーブルにおけるクラスｋについての度
数ｆ_kを１だけインクリメントするとともに、ｘ座標の
積算値Σｘ_kまたはｙ座標の積算値Σｙ_kに、注目画素の
ｘ座標またはｙ座標をそれぞれ加算する。

【００７８】なお、クラステーブルは、レベルテーブル
と同様に、図１１のフローチャートにしたがった処理が
開始されるごとに、０にクリアされるようになってい
る。

【００７９】ステップＳ５８の処理後は、ステップＳ５
６に戻り、以下、同様の処理が繰り返される。

【００８０】一方、ステップＳ５４において、変数ｙが
Ｙ未満でないと判定された場合、ステップＳ５９に進
み、クラステーブルの各クラスに属する画素の重心が求
められる。即ち、ステップＳ５９では、クラステーブル
の各クラスｋにおけるｘ座標の積算値Σｘ_kまたはｙ座
標の積算値Σｙ_kそれぞれが、その度数ｆ_kで除算され、
その除算値で表される座標（Σｘ_k／ｆ_k，Σｙ_k／ｆ_k）
が、各クラスｋに属する画素の重心として求められる。

【００８１】そして、ステップＳ６０に進み、クラス１
乃至Ｋそれぞれに属する画素の重心の重心が、注目フレ
ームを構成する画素全体の重心として求められ、リター
ンする。

【００８２】即ち、ステップＳ６０では、クラス１乃至
Ｋそれぞれに属する画素の重心について、例えば、その
度数ｆ₁乃至ｆ_Kを重みとする重み付け平均値が求めら
れ、その重み付け平均値が、注目フレームを構成する画
素全体の重心として出力される。

【００８３】ここで、注目フレームを構成する各画素
を、その画素についてのクラスタップに基づいてクラス
分類することにより、注目フレームの重心を求める場合
には、動き検出範囲の重心も、その動き検出範囲を構成
する各画素についてクラスタップを構成し、そのクラス
タップに基づいてクラス分類を行うことにより求めるよ
うにするのが望ましい。

【００８４】なお、動き検出範囲の重心を、クラス分類
を行うことにより求める場合には、図１１のフローチャ
ートに示した処理において、そのステップＳ５１の処理
に替えて、図１０のフローチャートに示したステップＳ
３１およびＳ３２の処理を行う他は、図１１に示した場
合と同様であるため、その説明は省略する。

【００８５】次に、図１１の実施の形態では、注目フレ
ームを構成する各画素を、その画素についてのクラスタ
ップに基づいてクラス分類し、その結果得られるすべて
のクラスに属する画素の重心を用いて、注目フレームの
重心を求めるようにしたが、注目フレームの重心は、そ
の他、例えば、クラス分類の結果得られる特定のクラス
に属する画素の重心のみを用いて求めるようにすること
が可能である。

【００８６】即ち、注目フレームの重心は、例えば、エ
ッジになっている部分の画素（以下、適宜、エッジ画素
という）が属するクラスを、特定のクラスとして、その
特定のクラス（以下、適宜、エッジクラスという）に属
する画素（エッジ画素）の重心のみを用いて求めるよう
にすることが可能である。

【００８７】そこで、図１３のフローチャートを参照し
て、注目フレームを構成する各画素のクラス分類結果の
うち、エッジクラスに属するエッジ画素の重心のみを用
いて求める場合に、重心算出部２１で行われる処理（注
目フレームの重心算出処理）について説明する。

【００８８】この場合も、ステップＳ７１乃至Ｓ７７に
おいて、図８のステップＳ１１乃至Ｓ１７における場合
とそれぞれ同様の処理が行われる。そして、ステップＳ
７７において、変数ｘがＸ未満であると判定された場合
は、ステップＳ７８に進み、座標（ｘ，ｙ）にある画素
ｐ（ｘ，ｙ）が注目画素とされ、図１１のステップＳ５
８における場合と同様に、その注目画素がクラス分類さ
れる。

【００８９】その後、ステップＳ７９に進み、ステップ
Ｓ７８におけるクラス分類の結果得られるクラスがエッ
ジクラスかどうか、即ち、注目画素がエッジ画素かどう
かが判定される。

【００９０】ここで、例えば、上述したような５画素で
構成されるクラスタップを、２ビットADRC処理してから
クラス分類を行う場合には、注目画素は、１０２４（＝
（２ ²）⁵）クラスのうちのいずれかに分類される。とこ
ろで、クラスタップを、２ビットADRC処理した場合に
は、そのクラスタップを構成する画素の画素値は、００
Ｂ，０１Ｂ，１０Ｂ，１１Ｂのうちのいずれかの値とな
る（Ｂは、その前に配置された値が２進数であることを
表す）。従って、クラスタップが、上述したように、注
目画素と、その注目画素の上下左右にそれぞれ隣接する
４画素との合計５画素で構成される場合においては、注
目画素の画素値が、最小値である００Ｂであるととも
に、その上下左右にそれぞれ隣接する４画素の画素値が
００Ｂ以外であるときと、注目画素の画素値が、最大値
である１１Ｂであるとともに、その上下左右にそれぞれ
隣接する４画素の画素値が１１Ｂ以外であるときに、注
目画素がエッジ画素になっていると考えられる。

【００９１】即ち、図１４（Ａ）に示すように、注目画
素の画素値が００Ｂであり、かつ、その上下左右にそれ
ぞれ隣接する４画素の画素値が、０１Ｂ，１０Ｂ，１１
Ｂのうちのいずれかである場合は、画素値が、注目画素
において、いわば谷（凹）になっている。また、図１４
（Ｂ）に示すように、注目画素の画素値が１１Ｂであ
り、かつ、その上下左右にそれぞれ隣接する４画素の画
素値が、００Ｂ，０１Ｂ，１０Ｂのうちのいずれかであ
る場合は、画素値が、注目画素において、いわば山
（凸）になっている。従って、図１４に示した場合にお
いては、注目画素がエッジ画素になっている。

【００９２】なお、注目画素の画素値が００Ｂであり、
かつ、その上下左右にそれぞれ隣接する４画素の画素値
が、０１Ｂ，１０Ｂ，１１Ｂのうちのいずれかである場
合は、８１（＝３×３×３×３）通りあり、注目画素の
画素値が１１Ｂであり、かつ、その上下左右にそれぞれ
隣接する４画素の画素値が、００Ｂ，０１Ｂ，１０Ｂの
うちのいずれかである場合も同様に、８１通りある。従
って、エッジ画素が属するクラス（エッジクラス）は、
１６２（＝８１＋８１）通りある。

【００９３】図１３に戻り、ステップＳ７９において、
注目画素がエッジ画素でないと判定された場合、即ち、
注目画素のクラスが、上述の１６２通りあるエッジクラ
スのうちのいずれでもない場合、ステップＳ７６に戻
る。

【００９４】また、ステップＳ７９において、注目画素
がエッジ画素であると判定された場合、即ち、注目画素
のクラスが、上述の１６２通りあるエッジクラスのうち
のいずれかである場合、ステップＳ８０に進み、注目画
素のクラス分類結果が、クラステーブルに登録される。
即ち、ステップＳ８０では、図１２に示したようなクラ
ステーブルの、注目画素のクラスｋについての度数ｆ_k
が１だけインクリメントされるとともに、ｘ座標の積算
値Σｘ_kまたはｙ座標の積算値Σｙ_kに、注目画素のｘ座
標またはｙ座標がそれぞれ加算される。

【００９５】なお、図１３の実施の形態では、エッジク
ラスに属する注目画素についてのみ、クラステーブルへ
の登録が行われるから、例えば、上述したように、５画
素で構成されるクラスタップを２ビットADRC処理した後
にクラス分類を行い、エッジクラスのみをクラステーブ
ルに登録する場合には、クラステーブルのクラス数Ｋ
は、上述したエッジクラスの数である１６２となる。

【００９６】一方、５画素で構成されるクラスタップを
２ビットADRC処理した後にクラス分類を行い、すべての
クラスをクラステーブルに登録する場合には、注目画素
は、上述したように、１０２４クラスのうちのいずれか
に分類されるから、クラステーブルのクラス数Ｋは、１
０２４となる。

【００９７】従って、図１３の実施の形態においては、
図１１の実施の形態における場合に比較して、クラステ
ーブルの大きさ（容量）を小さくすることができる。

【００９８】ステップＳ８０の処理後は、ステップＳ７
６に戻り、以下、同様の処理が繰り返される。

【００９９】一方、ステップＳ７４において、変数ｙが
Ｙ未満でないと判定された場合、ステップＳ８１に進
み、クラステーブルの各エッジクラスに属する画素の重
心が求められる。即ち、ステップＳ８１では、クラステ
ーブルの各エッジクラスｋにおけるｘ座標の積算値Σｘ
_kまたはｙ座標の積算値Σｙ_kそれぞれが、その度数ｆ_k
で除算され、その除算値で表される座標（Σｘ_k／ｆ_k，
Σｙ_k／ｆ_k）が、各エッジクラスｋに属する画素の重心
として求められる。

【０１００】そして、ステップＳ８２に進み、エッジク
ラス１乃至Ｋそれぞれに属する画素の重心の重心が、注
目フレームを構成する画素全体の重心として求められ、
リターンする。

【０１０１】即ち、ステップＳ８２では、エッジクラス
１乃至Ｋそれぞれに属する画素の重心について、例え
ば、その度数ｆ₁乃至ｆ_Kを重みとする重み付け平均値が
求められ、その重み付け平均値が、注目フレームを構成
する画素全体の重心として出力される。

【０１０２】ここで、注目フレームの重心を、注目フレ
ームを構成する画素のうち、エッジクラスに属するもの
のみを用いて求める場合には、動き検出範囲の重心も、
その動き検出範囲を構成する画素のうち、エッジクラス
に属するもののみを用いて求めるようにするのが望まし
い。

【０１０３】なお、動き検出範囲の重心を、エッジクラ
スに属する画素のみを用いて求める場合には、図１３の
フローチャートに示した処理において、そのステップＳ
７１の処理に替えて、図１０のフローチャートに示した
ステップＳ３１およびＳ３２の処理を行う他は、図１３
に示した場合と同様であるため、その説明は省略する。

【０１０４】次に、注目フレームが、その１フレーム前
のフレームに対して、カメラ動きのないものである場合
には、注目フレームのカメラ動きベクトルは、その１フ
レーム前のフレームのカメラ動きベクトルに等しくなる
べきである。しかしながら、上述したようにして、フレ
ームのカメラ動きベクトルを求める場合には、前景の動
きが影響することにより、注目フレームが、カメラ動き
のないものであっても、そのカメラ動きベクトルとし
て、その１フレーム前のフレームのカメラ動きベクトル
と異なるものが求まる可能性がある。

【０１０５】そこで、図５に示したカメラ動き検出部１
２には、同図に点線で示すように、注目フレームが、そ
の１フレーム前のフレームに対して、カメラ動きのない
ものであるかどうかを判定する動きなし判定部２５を設
け、さらに、ベクトル検出部２２において、注目フレー
ムがカメラ動きのないものである場合には、その１フレ
ーム前のフレームのカメラ動きベクトルを、注目フレー
ムのカメラ動きベクトルとして出力し、注目フレームが
カメラ動きのあるものである場合には、上述したように
して、注目フレームおよび動き検出範囲の重心から、注
目フレームのカメラ動きベクトルを求めるようにするこ
とができる。

【０１０６】このようにすることで、注目フレームがカ
メラ動きのないものである場合には、注目フレームのカ
メラ動きベクトルを、その１フレーム前のフレームのカ
メラ動きベクトルと等しくすることができる。

【０１０７】そこで、図１５のフローチャートを参照し
て、動きなし判定部２５において行われる、注目フレー
ムがカメラ動きのないものであるかどうかを判定する処
理（動きなし判定処理）について説明する。

【０１０８】動きなし判定処理では、ステップＳ９１乃
至Ｓ９９において、図１３のステップＳ７１乃至Ｓ７９
における場合とそれぞれ同様の処理が行われる。

【０１０９】そして、ステップＳ９９において、注目画
素がエッジ画素であると判定された場合、ステップＳ１
００に進み、注目画素の画素値ｐ（ｘ，ｙ）が、その１
フレーム前の同一位置にある画素の画素値ｐ’（ｘ，
ｙ）に等しいかどうかが判定される。

【０１１０】ここで、ステップＳ１００における、ｐ
（ｘ，ｙ）がｐ’（ｘ，ｙ）に等しいとは、ｐ（ｘ，
ｙ）がｐ’（ｘ，ｙ）にほぼ等しい場合、即ち、｜ｐ
（ｘ，ｙ）−ｐ’（ｘ，ｙ）｜が、所定の微小値以内で
ある場合を含むものとする。

【０１１１】ステップＳ１００において、注目画素の画
素値ｐ（ｘ，ｙ）が、その１フレーム前の同一位置にあ
る画素の画素値ｐ’（ｘ，ｙ）に等しくないと判定され
た場合、ステップＳ１０１をスキップして、ステップＳ
９６に戻る。

【０１１２】また、ステップＳ１００において、注目画
素の画素値ｐ（ｘ，ｙ）が、その１フレーム前の同一位
置にある画素の画素値ｐ’（ｘ，ｙ）に等しいと判定さ
れた場合、即ち、エッジ画素である注目画素の画素値ｐ
（ｘ，ｙ）が、空間的に同一位置にある１フレーム前の
画素の画素値ｐ’（ｘ，ｙ）に等しい場合、ステップＳ
１０１に進み、変数ｃが１だけインクリメントされ、ス
テップＳ９６に戻る。

【０１１３】ここで、変数ｃは、図１５の動きなし判定
処理が開始される前に０にクリアされるようになってい
る。

【０１１４】その後、ステップＳ９４において、変数ｙ
がＹ未満でないと判定された場合、即ち、注目フレーム
を構成する画素すべてを注目画素として処理を行った場
合、ステップＳ１０２に進み、変数ｃが、所定の閾値ｔ
ｈ以上であるか否かが判定される。ステップＳ１０２に
おいて、変数ｃが、所定の閾値ｔｈ以上であると判定さ
れた場合、即ち、注目フレームのエッジ画素の中に、１
フレーム前の同一位置にある画素と同一（ほぼ同一）の
画素値となっている画素が、閾値ｔｈ以上存在する場
合、ステップＳ１０３に進み、注目フレームが、その１
フレーム前のフレームに対して、カメラ動きのないもの
であるかどうかの判定結果として、動きがない旨のメッ
セージが、ベクトル検出部２２に出力され、動きなし判
定処理を終了する。

【０１１５】また、ステップＳ１０２において、変数ｃ
が、所定の閾値ｔｈ以上でないと判定された場合、即
ち、注目フレームのエッジ画素の中に、１フレーム前の
同一位置にある画素と同一（ほぼ同一）の画素値となっ
ている画素が、閾値ｔｈ以上存在しない場合、ステップ
Ｓ１０４に進み、注目フレームが、その１フレーム前の
フレームに対して、カメラ動きのないものであるかどう
かの判定結果として、動きがある旨のメッセージが、ベ
クトル検出部２２に出力され、動きなし判定処理を終了
する。

【０１１６】なお、図１５の動きなし判定処理は、重心
算出部２１における、注目フレームおよび動き検出範囲
の重心を算出する処理に先だって行われ、さらに、第２
フレーム以降のフレームを対象に行われる。

【０１１７】次に、図１６は、図２の背景抽出部１４の
構成例を示している。

【０１１８】存在範囲検出部３１には、カメラ動きベク
トル記憶部１３（図２）に記憶された一連の画像として
の第１フレーム乃至第Ｎフレームのカメラ動きベクトル
ｖ₁乃至ｖ_Nが供給されるようになっており、存在範囲検
出部３１は、第１乃至第Ｎフレームの背景の位置合わせ
を行った状態で、基準座標系において、その第１乃至第
Ｎフレームの画像が存在する最小の矩形の領域（存在範
囲）を検出するようになっている。

【０１１９】即ち、存在範囲検出部３１は、第１フレー
ム乃至第Ｎフレームのカメラ動きベクトルｖ₁乃至ｖ_Nに
基づき、第１フレーム乃至第Ｎフレームについて、その
背景の位置合わせを行った状態を想定し、その位置合わ
せを行った状態で、第１乃至第Ｎフレームの画素が存在
する最小の矩形の領域である存在範囲を検出する。さら
に、存在範囲検出部３１は、その存在範囲の、基準座標
系における、例えば、最も左上の頂点の座標（Ｘ_min，
Ｙ_min）と、最も右下の頂点の座標（Ｘ_max，Ｙ_m _ax）を
求め、読み出し部３２および書き込み部３５に供給す
る。

【０１２０】なお、第１フレーム乃至第Ｎフレームの背
景の位置合わせを行った状態は、図１７に示すように、
基準座標系において、第１フレーム乃至第Ｎフレーム
を、それぞれのカメラ動きベクトルｖ₁乃至ｖ_Nによって
示される座標に、フレームの左上の頂点が位置するよう
に配置することで想定することができる。

【０１２１】読み出し部３２は、蓄積部１１（図２）に
記憶されている第１フレーム乃至第Ｎフレームを構成す
る画素のうち、その第１フレーム乃至第Ｎフレームの背
景の位置合わせを行った状態で空間的に同一位置にある
画素を検出して読み出し、度数カウント部３３および書
き込み部３５に供給するようになっている。

【０１２２】即ち、読み出し部３２には、存在範囲検出
部２１から座標（Ｘ_min，Ｙ_min）および（Ｘ_max，
Ｙ_max）が供給される他、カメラ動きベクトル記憶部１
３（図２）に記憶されたカメラ動きベクトルｖ₁乃至ｖ_N
も供給されるようになっており、読み出し部３２は、ま
ず、存在範囲検出部３１と同様に、第１フレーム乃至第
Ｎフレームのカメラ動きベクトルｖ₁乃至ｖ_Nに基づき、
第１フレーム乃至第Ｎフレームについて、その背景の位
置合わせを行った状態を想定する。さらに、読み出し部
３２は、基準座標系の、存在範囲検出部２１から供給さ
れる座標（Ｘ_min，Ｙ_m _in）および（Ｘ_max，Ｙ_max）によ
って規定される存在範囲内の座標を順次スキャンしてい
き、図１８に示すように、各座標（ｘ，ｙ）における、
背景の位置合わせを行った状態の第１フレーム乃至第Ｎ
フレームの画素を検出して読み出す。

【０１２３】なお、第１乃至第Ｎフレームの背景の位置
合わせを行った状態において、基準座標系の座標（ｘ，
ｙ）に位置する、第ｎフレームの画素の検出は、その第
ｎフレームの左上の画素を原点とした、いわばローカル
な座標系（以下、適宜、ローカル座標系という）を考え
た場合には、座標（ｘ，ｙ）から、カメラ動きベクトル
ｖ_nを減算した座標にある画素を検出することによって
行うことができる。

【０１２４】度数カウント部３３は、読み出し部３２か
ら供給される、第１乃至第Ｎフレームを構成する画素の
うち、その背景の位置合わせを行った状態で空間的に同
一位置にある画素（以下、適宜、位置合わせ状態での同
一位置画素という）の集合ごとに、例えば、上述した画
素値の各レベルに属する画素の度数を計数し、その計数
結果に基づいて、その後段の度数テーブル記憶部３４に
記憶された度数テーブルへの登録を行うようになってい
る。

【０１２５】度数テーブル記憶部３４は、例えば、図１
９に示すような度数テーブルを記憶するようになってい
る。即ち、度数テーブル記憶部３４は、存在範囲内の各
座標（ｘ，ｙ）について、位置合わせ状態での同一位置
画素の画素値の各レベルと、そのレベルに属する画素の
度数の、位置合わせ状態での同一位置画素の画素数に対
する割合とを対応付けて登録するための度数テーブルを
記憶している。

【０１２６】ここで、存在範囲内のある位置（座標）に
おける位置合わせ状態での同一位置画素の集合におい
て、度数のｍ番目に大きい画素値のレベルを、第ｍ度数
レベルという。

【０１２７】図１９の実施の形態では、度数テーブルに
は、第１度数レベルから第Ｍ度数レベルまでのＭ個のレ
ベルと、その度数の割合とが登録されるようになってい
る。従って、ここでは、度数カウント部３３は、度数
が、Ｍ＋１番目以降のレベルについては、度数の計数結
果を、度数テーブルに登録せず破棄するようになってい
る。但し、度数の計数結果は、すべてのレベルについ
て、度数テーブルに登録するようにすることも可能であ
る。

【０１２８】なお、上述したように、画素値としてとり
得る値の範囲を、Ｋ個のレベルに分割した場合には、上
述のＭは、Ｋ以下の値となる。

【０１２９】書き込み部３５は、度数テーブル記憶部３
４に記憶された度数テーブルと、読み出し部３２から供
給される画素とに基づき、背景メモリ１５（図２）の、
存在範囲検出部３１から供給される存在範囲内に相当す
る各アドレスに、全体背景を構成する背景画素を書き込
むようになっている。さらに、書き込み部３５は、背景
フラグメモリ３６への背景フラグの書き込みも行うよう
になっている。

【０１３０】背景フラグメモリ３６は、存在範囲内の各
画素について、背景画素が書き込まれているかどうかを
表す背景フラグを記憶するようになっている。即ち、書
き込み部３５は、背景メモリ１５のあるアドレスに背景
画素を書き込んだとき、そのアドレスに対応する、背景
フラグメモリ３６のアドレスに背景フラグを書き込むよ
うになっている。ここで、背景フラグは、例えば、１ビ
ットのフラグであるとし、背景画素が書き込まれている
アドレスに対応する背景フラグは１とされ、まだ書き込
まれていないアドレスに対応する背景フラグは０とされ
るものとする。

【０１３１】次に、図２０のフローチャートを参照し
て、図１６の背景抽出部１４において行われる、第１フ
レーム乃至第Ｎフレームから全体背景を抽出する背景抽
出処理について説明する。

【０１３２】まず最初に、存在範囲検出部３１は、ステ
ップＳ１１１において、カメラ動きベクトル記憶部１３
からカメラ動きベクトルを読み出し、図１７で説明した
ようにして、存在範囲を検出する。そして、その存在範
囲の、基準座標系における左上の点の座標（Ｘ_min，Ｙ
_min）と、右下の点の座標（Ｘ_max，Ｙ_max）を、存在範
囲を特定するための情報として、読み出し部３２および
書き込み部３５に供給する。

【０１３３】読み出し部３１は、存在範囲を特定するた
めの座標（Ｘ_min，Ｙ_min）および（Ｘ_max，Ｙ_max）を受
信すると、ステップＳ１１２において、存在範囲を、基
準座標系のｙ軸方向にスキャンするための変数ｙに、初
期値としてのＹ_min−１をセットし、ステップＳ１１３
に進み、その変数ｙを１だけインクリメントして、ステ
ップＳ１１４に進む。ステップＳ１１４では、変数ｙが
Ｙ_max以下であるかどうかが判定され、Ｙ_max以下である
と判定された場合、ステップＳ１１５に進む。ステップ
Ｓ１１５では、読み出し部３１は、存在範囲を、基準座
標系のｘ軸方向にスキャンするための変数ｘに、初期値
としてのＸ_min−１をセットし、ステップＳ１１６に進
み、その変数ｘを１だけインクリメントして、ステップ
Ｓ１１７に進む。ステップＳ１１７では、変数ｘがＸ
_max以下であるかどうかが判定され、Ｘ_max以下でないと
判定された場合、ステップＳ１１３に戻り、以下、同様
の処理が繰り返される。

【０１３４】また、ステップＳ１１７において、変数ｘ
がＸ_max以下であると判定された場合、ステップＳ１１
８に進み、蓄積部１１（図２）に記憶された一連の画像
としての第１フレーム乃至第Ｎフレームのフレーム数を
カウントするための変数ｎに、初期値としての０がセッ
トされ、ステップＳ１１９に進む。ステップＳ１１９で
は、変数ｎが１だけインクリメントされ、ステップＳ１
２０に進み、変数ｎが、蓄積部１１（図２）に記憶され
た一連の画像のフレーム数であるＮ以下であるかどうか
が判定される。

【０１３５】ステップＳ１２０において、変数ｎがＮ以
下であると判定された場合、ステップＳ１２１に進み、
読み出し部３２において、第１フレーム乃至第Ｎフレー
ムの背景の位置合わせを行った状態で、基準座標系の座
標（ｘ，ｙ）の位置にある第ｎフレームの画素が、蓄積
部１１（図２）から読み出される。即ち、読み出し部３
２は、第ｎフレームの左上の画素を原点としたローカル
座標系において、座標（ｘ，ｙ）から、カメラ動きベク
トルｖ_nを減算した座標（ｘ，ｙ）−ｖ_nにある画素を、
蓄積部１１（図２）から読み出す。

【０１３６】なお、カメラ動きベクトルｖ_nのｘ座標ま
たはｙ座標を、それぞれｘ_v#nまたはｙ_v#nと表すととも
に、１フレームの横または縦の画素数を、それぞれＸま
たはＹと表すこととすると、読み出し部３２は、第ｎフ
レームについてのローカル座標系における座標（ｘ−ｘ
_v#n，ｙ−ｙ_v#n）に位置する画素を読み出すこととなる
が、この場合、０≦ｘ−ｘ_v#n＜Ｘ、および０≦ｙ−ｙ
_v#n＜Ｙの範囲外における座標（ｘ−ｘ_v#n，ｙ−
ｙ_v#n）には、第ｎフレームの画素は存在しない。従っ
て、ステップＳ１２１における第ｎフレームの画素の読
み出しは、ｘ−ｘ_v#nが、０≦ｘ−ｘ_v#n＜Ｘの範囲内で
あり、かつｙ−ｙ_v#nが、０≦ｙ−ｙ_v#n＜Ｙの範囲内で
あるときのみ行われる。

【０１３７】読み出し部３２は、ステップＳ１２１にお
いて、蓄積部１１（図２）から、第ｎフレームの画素を
読み出すと、その画素を、度数カウント部３３および書
き込み部３５に供給し、ステップＳ１１９に戻る。そし
て、ステップＳ１２０において、変数ｎがＮ以下でない
と判定されるまで、ステップＳ１１９乃至Ｓ１２１の処
理が繰り返され、これにより、第１フレーム乃至第Ｎフ
レームの背景の位置合わせを行った状態で、基準座標系
の座標（ｘ，ｙ）の位置にある第１フレーム乃至第Ｎフ
レームの画素（位置合わせ状態での同一位置画素）が、
度数カウント部３３および書き込み部３５に供給され
る。但し、上述したように、フレームによっては、基準
座標系の座標（ｘ，ｙ）に画素が存在しない場合があ
り、この場合、そのフレームの画素は、度数カウント部
３３および書き込み部３５に供給される画素には含まれ
ない。

【０１３８】その後、ステップＳ１２０において、変数
ｎがＮ以下でないと判定されると、ステップＳ１２２に
進み、度数カウント部３３は、読み出し部３２から供給
される、基準座標系の座標（ｘ，ｙ）の位置にある、背
景の位置合わせを行った状態の第１乃至第Ｎフレームの
各画素を、その画素値が、例えば、レベル１乃至Ｋのう
ちのいずれの範囲に属するかによってレベル分類する。
さらに、度数カウント部３３は、各レベルに属する画素
の度数を計数し、その度数の割合（各レベルに属する画
素の総数に対する割合）を求める。

【０１３９】そして、ステップＳ１２３に進み、度数カ
ウント部３３は、度数の割合が第１位から第Ｍ位までの
レベル（第１度数レベル乃至第Ｍ度数レベル）と、その
各レベルに属する画素の度数の割合とを、度数テーブル
記憶部３４の、図１９に示したような度数テーブルにお
ける、座標（ｘ，ｙ）の欄（行）に登録し、ステップＳ
１１６に戻る。

【０１４０】一方、ステップＳ１１４において、変数ｙ
がＹ_max以下でないと判定された場合、即ち、存在範囲
内のすべての座標について処理を行った場合、ステップ
Ｓ１２４に進み、書き込み部３５は、度数テーブル記憶
部３４に記憶された度数テーブルにおいて、第１度数レ
ベルに属する画素の割合が所定値以上になっている座標
を検出し、その座標に対応する背景メモリ１５のアドレ
スに、その第１度数レベルに対応する画素値を、背景画
素の画素値として書き込む背景画素抽出処理を行い、ス
テップＳ１２５に進む。ステップＳ１２５では、書き込
み部３５は、ステップＳ１２４の背景画素抽出処理にお
いて画素値が書き込まれなかった存在範囲内の座標につ
いて、背景画素としての画素値を書き込む背景拡張処理
を行い、背景抽出処理を終了する。

【０１４１】次に、図２１のフローチャートを参照し
て、図２０のステップＳ１２４において書き込み部３５
が行う背景画素抽出処理について説明する。

【０１４２】背景画素抽出処理では、ステップＳ１３１
乃至Ｓ１３６において、図２０のステップＳ１１２乃至
１１７における場合とそれぞれ同様の処理が行われ、ス
テップＳ１３６において、変数ｘがＸ_max以下であると
判定された場合、ステップＳ３７に進み、度数テーブル
を参照することにより、座標（ｘ，ｙ）に対する第１度
数レベルの割合が所定の閾値Ｌ_th以上であるかどうかが
判定される。

【０１４３】ステップＳ１３７において、座標（ｘ，
ｙ）に対する第１度数レベルの割合が所定の閾値Ｌ_th以
上でないと判定された場合、即ち、背景の位置合わせを
行った状態の第１フレーム乃至第Ｎフレームを構成する
画素のうち、座標（ｘ，ｙ）に位置する画素の最も度数
の多い画素値の、その度数の割合が高くない場合、ステ
ップＳ１３８およびＳ１３９をスキップして、ステップ
Ｓ１３５に戻る。

【０１４４】従って、この場合、存在範囲における座標
（ｘ，ｙ）に対応する背景メモリ１５（図２）のアドレ
スには、背景画素の画素値は書き込まれない。

【０１４５】一方、ステップＳ１３７において、座標
（ｘ，ｙ）に対する第１度数レベルの割合が所定の閾値
Ｌ_th以上であると判定された場合、即ち、背景の位置合
わせを行った状態の第１フレーム乃至第Ｎフレームを構
成する画素のうち、座標（ｘ，ｙ）に位置する画素の最
も度数の多い画素値の、その度数の割合が高い場合、ス
テップＳ１３８に進み、書き込み部３５は、その度数の
割合が高い画素値を、座標（ｘ，ｙ）に位置する背景画
素の画素値として、背景メモリ１５に書き込む。

【０１４６】即ち、書き込み部３５は、背景の位置合わ
せを行った状態の第１フレーム乃至第Ｎフレームの、座
標（ｘ，ｙ）に位置する画素のうち、第１度数レベルに
属するものを、読み出し部３２から供給される画素から
抽出し、例えば、その平均値を計算する。そして、書き
込み部３５は、その平均値を、座標（ｘ，ｙ）に位置す
る背景画素の画素値として、背景メモリ１５に書き込
む。

【０１４７】ステップＳ１３８の処理後は、ステップＳ
１３９に進み、書き込み部３５は、背景フラグメモリ３
６の、座標（ｘ，ｙ）に対応するアドレスに記憶された
背景フラグを１にし（背景フラグをたて）、ステップＳ
１３５に戻り、以下、ステップＳ１３３において、変数
ｙがＹ_max以下でないと判定されるまで、同様の処理が
繰り返される。

【０１４８】そして、ステップＳ１３３において、変数
ｙがＹ_max以下でないと判定されると、リターンする。

【０１４９】ここで、背景フラグメモリ３６の記憶値
は、例えば、図２１の背景画素抽出処理が開始されると
きに、０にクリアされるようになっている。

【０１５０】次に、図２１で説明した背景画素抽出処理
では、上述したように、背景の位置合わせを行った状態
の第１フレーム乃至第Ｎフレームを構成する画素のう
ち、座標（ｘ，ｙ）に位置する画素の最も度数の多い画
素値の、その度数の割合が高くない場合においては、座
標（ｘ，ｙ）には、背景としての画素値が書き込まれな
い。

【０１５１】即ち、背景画素抽出処理では、背景の位置
合わせを行った状態の第１フレーム乃至第Ｎフレームを
構成する画素のうち、座標（ｘ，ｙ）に位置する画素の
最も度数の多い画素値の、その度数の割合が高い場合、
その度数の最も多い画素値が、座標（ｘ，ｙ）における
全体背景の画素値として確からしいものとして、背景メ
モリ１５に書き込まれる。従って、度数の最も多い画素
値が、座標（ｘ，ｙ）における全体背景の画素値として
確からしいとはいえない場合、即ち、ここでは、背景の
位置合わせを行った状態の第１フレーム乃至第Ｎフレー
ムを構成する画素のうち、座標（ｘ，ｙ）に位置する画
素の最も度数の多い画素値の、その度数の割合が高くな
い場合には、背景画素抽出処理では、座標（ｘ，ｙ）に
対応する背景メモリ１５のアドレスには、全体背景の画
素値は書き込まれない。

【０１５２】その結果、背景画素抽出処理によって、背
景メモリ１５に画素値が書き込まれることで構成される
全体背景は、いわば虫食い状態となっており、その虫食
い部分を埋めていく必要がある。このため、図２０の背
景抽出処理では、ステップＳ１２４で背景画素抽出処理
（図２１）が行われた後、ステップＳ１２５において、
虫食い部分を画素値で埋めることにより、いわば背景を
拡張していく背景拡張処理が行われるようになってい
る。

【０１５３】そこで、図２２のフローチャートを参照し
て、図２０のステップＳ１２５における背景拡張処理に
ついて説明する。

【０１５４】背景拡張処理では、ステップＳ１４１にお
いて、変数ｙに、初期値としてのＹ _min−１がセットさ
れ、ステップＳ１４２に進み、その変数ｙが１だけイン
クリメントされ、ステップＳ１４３に進む。ステップＳ
１４３では、変数ｙがＹ_max以下であるかどうかが判定
され、Ｙ_max以下であると判定された場合、ステップＳ
１４５に進む。ステップＳ１４５では、変数ｘに、初期
値としてのＸ_min−１がセットされ、ステップＳ１４６
に進み、その変数ｘが１だけインクリメントされて、ス
テップＳ１４７に進む。ステップＳ１４７では、変数ｘ
がＸ_max以下であるかどうかが判定され、Ｘ_max以下でな
いと判定された場合、ステップＳ１４２に戻り、以下、
同様の処理が繰り返される。

【０１５５】また、ステップＳ１４７において、変数ｘ
がＸ_max以下であると判定された場合、ステップＳ１４
８に進み、座標（ｘ，ｙ）に対応する背景フラグメモリ
３６のアドレスに記憶された背景フラグが０であるかど
うかが判定される。ステップＳ１４８において、座標
（ｘ，ｙ）に対応する背景フラグメモリ３６のアドレス
に記憶された背景フラグが０でないと判定された場合、
即ち、その背景フラグが１であり、従って、座標（ｘ，
ｙ）に対応する背景メモリ１５（図２）のアドレスに、
既に、全体背景としての画素値が書き込まれている場
合、ステップＳ１４６に戻り、以下、同様の処理が繰り
返される。

【０１５６】また、ステップＳ１４８において、座標
（ｘ，ｙ）に対応する背景フラグメモリ３６のアドレス
に記憶された背景フラグが０であると判定された場合、
即ち、座標（ｘ，ｙ）に対応する背景メモリ１５（図
２）のアドレスに、まだ、全体背景としての画素値が書
き込まれていない場合、ステップＳ１４９に進み、座標
（ｘ，ｙ）に位置する画素の周辺の画素としての、例え
ば、その上、下、左、右、左上、左下、右上、右下に隣
接する画素のうちのいずれかについての背景フラグが１
であるかどうかが、背景フラグメモリ３６を参照するこ
とで判定される。

【０１５７】ステップＳ１４９において、座標（ｘ，
ｙ）に位置する画素に隣接する画素のいずれの背景フラ
グも１でないと判定された場合、即ち、座標（ｘ，ｙ−
１），（ｘ，ｙ＋１），（ｘ−１，ｙ），（ｘ＋１，
ｙ），（ｘ−１，ｙ−１），（ｘ−１，ｙ＋１），（ｘ
＋１，ｙ−１），（ｘ＋１，ｙ＋１）それぞれに対応す
る背景メモリ１５（図２）のアドレスのいずれにも、ま
だ、全体背景としての画素値が書き込まれていない場
合、ステップＳ１４６に戻る。

【０１５８】また、ステップＳ１４９において、座標
（ｘ，ｙ）に位置する画素に隣接する画素のいずれかの
背景フラグが１であると判定された場合、即ち、座標
（ｘ，ｙ−１），（ｘ，ｙ＋１），（ｘ−１，ｙ），
（ｘ＋１，ｙ），（ｘ−１，ｙ−１），（ｘ−１，ｙ＋
１），（ｘ＋１，ｙ−１），（ｘ＋１，ｙ＋１）それぞ
れに対応する背景メモリ１５（図２）のアドレスのいず
れかに、既に、全体背景としての画素値が書き込まれて
いる場合、ステップＳ１５０に進む。

【０１５９】ここで、座標（ｘ，ｙ）に位置する画素に
隣接する画素（に対応する背景メモリ１５（図２）のア
ドレス）のうち、全体背景としての画素値が書き込まれ
ているものを、以下、適宜、既書き込み隣接画素とい
う。

【０１６０】ステップＳ１５０では、既書き込み隣接画
素の画素値と連続性のある画素値のレベルが、座標
（ｘ，ｙ）に対する第１乃至第Ｍ度数レベルのうちのい
ずれかとして、度数テーブルに登録されているかどうか
が判定される。ここで、連続性のある画素値とは、値が
近い画素値（同一の画素値を含む）どうしを意味する。

【０１６１】ステップＳ１５０において、既書き込み隣
接画素の画素値と連続性のある画素値のレベルが、座標
（ｘ，ｙ）に対する第１乃至第Ｍ度数レベルのうちのい
ずれかとして、度数テーブルに登録されていると判定さ
れた場合、即ち、背景の位置合わせを行った状態の第１
フレーム乃至第Ｎフレームを構成する、座標（ｘ，ｙ）
に位置する画素の中に、既書き込み隣接画素の画素値と
連続する画素値を有するものが、ある程度の割合以上存
在する場合、ステップＳ１５１に進み、その、ある程度
の割合以上存在する、既書き込み隣接画素の画素値と連
続する画素値に基づいて、座標（ｘ，ｙ）に位置する画
素の、全体背景としての画素値が算出され、背景メモリ
１５（図２）の対応するアドレスに書き込まれる。

【０１６２】即ち、既書き込み隣接画素の画素値と連続
性のある画素値のレベルが、座標（ｘ，ｙ）に対する第
１乃至第Ｍ度数レベルのうちの第ｍ度数レベルとして、
度数テーブルに登録されていたとすると、ステップＳ１
５１では、背景の位置合わせを行った状態の第１フレー
ム乃至第Ｎフレームを構成する、座標（ｘ，ｙ）に位置
する画素のうちの、第ｍ度数レベルに属する画素値の、
例えば平均値が算出され、その平均値が、座標（ｘ，
ｙ）に位置する画素の、全体背景としての画素値とし
て、背景メモリ１５（図２）の対応するアドレスに書き
込まれる。

【０１６３】ここで、上述したように、背景画素抽出処
理では、背景の位置合わせを行った状態の第１フレーム
乃至第Ｎフレームを構成する画素のうち、座標（ｘ，
ｙ）に位置する最も度数の多い画素値の、その度数の割
合が高い場合に、その度数の最も多い画素値が、座標
（ｘ，ｙ）における全体背景の画素値として確からしい
ものとして、背景メモリ１５に書き込まれるが、この背
景画素抽出処理によれば、例えば、ある風景を背景と
し、かつ、ある物体が前景として移動していくような、
Ｎフレームでなる一連の画像を考えた場合に、前景によ
って隠されずに、Ｎフレームのほとんどに亘って背景が
表示されている画素については、そのほとんどのフレー
ムに亘って表示されている画素値の度数の割合が高くな
ることから、その画素値が、背景の画素値として書き込
まれる。

【０１６４】しかしながら、前景が移動することによ
り、前景が表示されたり、背景が表示されたりする画素
（以下、適宜、中間画素という）は、前景を構成する画
素値となったり、背景を構成する画素値となったりする
ことから、中間画素については、度数の割合が高くなる
画素値が存在しないため、背景画素抽出処理では、画素
値の書き込みが行われない。

【０１６５】全体背景を得るためには、中間画素につい
ては、そこに背景が表示されているフレームの画素値を
書き込めば良いが、中間画素に背景が表示されているフ
レームを特定するのは困難である。そこで、背景拡張処
理では、中間画素に隣接する画素の中に、既に、全体背
景としての画素値が書き込まれているものがあり、か
つ、その画素値と近い画素値が、中間画素の画素値とし
て表示されたことがあれば、その表示されたことのある
画素値が、中間画素に背景が表示されたときの画素値と
して確からしいとして、背景メモリ１５（図２）に書き
込まれる。

【０１６６】従って、背景拡張処理によれば、極端に
は、ある１フレームにおいてだけ、背景が表示された画
素（中間画素）についても、その１フレームにおいて表
示された背景の画素値を書き込むことが可能となる。

【０１６７】一方、ステップＳ１５０において、既書き
込み隣接画素の画素値と連続性のある画素値のレベル
が、座標（ｘ，ｙ）に対する第１乃至第Ｍ度数レベルの
うちのいずれかとして、度数テーブルに登録されていな
いと判定された場合、即ち、背景の位置合わせを行った
状態の第１フレーム乃至第Ｎフレームを構成する、座標
（ｘ，ｙ）に位置する画素の中に、既書き込み隣接画素
の画素値と連続する画素値を有するものが存在しない場
合、ステップＳ１５２に進み、既書き込み隣接画素の画
素値に基づいて、座標（ｘ，ｙ）に位置する画素の、全
体背景としての画素値が算出され、背景メモリ１５（図
２）の対応するアドレスに書き込まれる。

【０１６８】即ち、中間画素に隣接する画素の中に、既
に、全体背景としての画素値が書き込まれているもの
（既書き込み隣接画素）があるが、その画素値と近い画
素値が、中間画素の画素値として表示されたことがない
場合には、ステップＳ１５２において、例えば、既書き
込み隣接画素の画素値（既書き込み隣接画素が複数存在
する場合には、例えば、その平均値）が、座標（ｘ，
ｙ）に位置する画素の、全体背景としての画素値とし
て、背景メモリ１５（図２）に書き込まれる。

【０１６９】ステップＳ１５１およびＳ１５２の処理後
は、いずれも、ステップＳ１５３に進み、ステップＳ１
５１またはＳ１５２で全体背景としての画素値が書き込
まれた画素の背景フラグ、即ち、背景フラグメモリ３６
の、座標（ｘ，ｙ）に対応するアドレスの背景フラグが
１にされ（たてられ）、ステップＳ１４６に戻り、以
下、同様の処理が繰り返される。

【０１７０】一方、ステップＳ１４３において、変数ｙ
がＹ_max以下でないと判定された場合、ステップＳ１４
４に進み、前景フラグメモリ３６に記憶された、存在範
囲内の各座標に対する背景フラグがすべて１であるかど
うかが判定される。ステップＳ１４３において、存在範
囲内の各座標に対応する背景フラグの中に、１でないも
のがあると判定された場合、即ち、存在範囲内の座標に
位置する画素の中に、まだ、全体背景としての画素値が
書き込まれていないものがある場合、ステップＳ１４１
に戻り、以下、同様の処理が繰り返される。

【０１７１】また、ステップＳ１４４において、存在範
囲内の各座標に対応する背景フラグの中に、１でないも
のがないと判定された場合、即ち、存在範囲内の座標に
位置する画素すべてに、全体背景としての画素値が書き
込まれた場合、リターンする。

【０１７２】図２２で説明した処理によれば、図２３に
示すように、既に、全体背景としての画素値が書き込ま
れた画素（同図において、●印で示す）に隣接する、ま
だ画素値が書き込まれていない画素Ｐ（ｘ，ｙ）（同図
において、斜線を付した○印で示す）が存在する場合に
は、その画素Ｐ（ｘ，ｙ）に隣接する既書き込み隣接画
素（同図においては、画素Ｐ（ｘ−１，ｙ），Ｐ（ｘ−
１，ｙ−１），Ｐ（ｘ，ｙ−１），Ｐ（ｘ＋１，ｙ＋
１））の画素値や、その画素値と連続性を有する画素値
等が、画素Ｐ（ｘ，ｙ）の全体背景としての画素値とし
て書き込まれ、これにより、全体背景が拡張されてい
く。このことから、図２２の処理を、背景拡張処理と呼
んでいる。

【０１７３】次に、図２４は、図２の前景符号化部１６
の構成例を示している。

【０１７４】前景抽出部４１には、蓄積部１１（図２）
に記憶された一連の画像としての第１フレーム乃至第Ｎ
フレーム、背景メモリ１５（図２）に記憶された全体背
景、およびカメラ動きベクトル記憶部１３（図２）に記
憶されたカメラ動きベクトルが供給されるようになって
おり、前景抽出部４１は、第１フレーム乃至第Ｎフレー
ムそれぞれから前景を抽出するようになっている。即
ち、前景抽出部４１は、全体背景の、基準座標系におい
てカメラ動きベクトルｖ_nだけずれた位置に、第ｎフレ
ームの左上の点が位置するように、第ｎフレームを配置
することで、全体背景と第ｎフレームとの位置合わせを
行い、第ｎフレームの各画素から、同一位置にある全体
背景の画素を減算することで、第ｎフレームから前景を
抽出する。

【０１７５】前景記憶部４２は、前景抽出部４１が抽出
した第１乃至第Ｎフレームの前景を記憶するようになっ
ている。

【０１７６】前景蓄積画像構成部４３には、カメラ動き
ベクトル記憶部１３（図２）に記憶されたカメラ動きベ
クトルが供給されるようになっており、前景蓄積画像構
成部４３は、そのカメラ動きベクトルに基づき、前景記
憶部４２に記憶された第１フレーム乃至第Ｎフレームの
前景を用いて、前方蓄積画像および後方蓄積画像を構成
するようになっている。即ち、前景蓄積画像構成部４３
は、図２５に示すように、カメラ動きベクトルに基づい
て、背景の位置合わせを行った状態の第１フレーム乃至
第Ｎフレームの前景を想定し、その第１フレーム乃至第
Ｎフレームの前景を、時間の進行方向に向かって見た場
合に得られる後方蓄積画像（過去から眺めた前景により
構成される画像）と、時間の進行方向と逆方向に向かっ
てみた場合に得られる前方蓄積画像（未来から眺めた前
景により構成される画像）とを構成する。

【０１７７】なお、前方蓄積画像は、背景の位置合わせ
を行った状態の第１フレーム乃至第Ｎフレームの前景の
画素値を、第１フレームから第Ｎフレームの順番で、メ
モリ等に上書きしていくことで得ることができる。同様
に、後方蓄積画像は、背景の位置合わせを行った状態の
第１フレーム乃至第Ｎフレームの前景の画素値を、第Ｎ
フレームから第１フレームの順番で、メモリ等に上書き
していくことで得ることができる。

【０１７８】前景蓄積画像記憶部４４は、前景蓄積画像
構成部４３において構成された前方蓄積画像および後方
蓄積画像を記憶するようになっている。

【０１７９】学習部４５は、前景蓄積画像記憶部４４に
記憶された前方蓄積画像および後方蓄積画像、さらに
は、必要に応じて、誤差画像記憶部４９に記憶された、
後述する誤差画像を構成する画素から、第１フレーム乃
至第Ｎフレームそれぞれの前景を構成する画素を予測す
るための予測係数を求める学習処理を行うようになって
いる。

【０１８０】予測係数記憶部４６は、学習部４５におい
て学習が行われることにより求められる予測係数を記憶
するようになっている。

【０１８１】適応処理部４７は、前景蓄積画像記憶部４
４に記憶された前方蓄積画像および後方蓄積画像を構成
する画素、予測係数記憶部４６に記憶された予測係数、
さらには、必要に応じて、誤差画像記憶部４９に記憶さ
れた誤差画像を用いて、第１フレーム乃至第Ｎフレーム
それぞれの前景を予測する適応処理を行うようになって
いる。

【０１８２】ここで、学習部４５において行われる学習
処理、および適応処理部４７において行われる適応処理
について説明する。

【０１８３】適応処理では、例えば、いま存在する画像
（ここでは、前方蓄積画像および後方蓄積画像や、誤差
画像）を構成する画素と、所定の予測係数との線形結合
により、所望の画像（ここでは、第１フレーム乃至第Ｎ
フレームそれぞれの前景）を構成する画素の予測値が求
められる。

【０１８４】一方、学習処理では、所望の画像（以下、
適宜、所望画像という）を教師データとするとともに、
その所望画像を求めようとするときに存在する画像（以
下、適宜、存在画像という）を生徒データとして、所望
画像を構成する画素（以下、適宜、所望画素という）の
画素値ｙの予測値Ｅ［ｙ］を、例えば、幾つかの存在画
素（存在画像を構成する画素）の画素値ｘ₁，ｘ₂，・・
・の集合と、所定の予測係数ｗ₁，ｗ₂，・・・の線形結
合により規定される線形１次結合モデルにより求めるた
めの予測係数が求められる。この場合、予測値Ｅ［ｙ］
は、次式で表すことができる。

【０１８５】Ｅ［ｙ］＝ｗ₁ｘ₁＋ｗ₂ｘ₂＋・・・・・・（１）

【０１８６】式（１）を一般化するために、予測係数ｗ
_jの集合でなる行列Ｗ、生徒データの集合でなる行列
Ｘ、および予測値Ｅ［ｙ］の集合でなる行列Ｙ’を、

【数１】で定義すると、次のような観測方程式が成立する。

【０１８７】ＸＷ＝Ｙ’ ・・・（２）ここで、行列Ｘの成分ｘ_ijは、ｉ件目の生徒データの集
合（ｉ件目の教師データｙ_iの予測に用いる生徒データ
の集合）の中のｊ番目の生徒データを意味し、行列Ｗの
成分ｗ_jは、生徒データの集合の中のｊ番目の生徒デー
タとの積が演算される予測係数を表す。また、ｙ_iは、
ｉ件目の教師データを表し、従って、Ｅ［ｙ_i］は、ｉ
件目の教師データの予測値を表す。なお、式（１）の左
辺におけるｙは、行列Ｙの成分ｙ_iのサフィックスｉを
省略したものであり、また、式（１）の右辺におけるｘ
₁，ｘ₂，・・・も、行列Ｘの成分ｘ_ijのサフィックスｉ
を省略したものである。

【０１８８】そして、この観測方程式に最小自乗法を適
用して、所望画素の画素値ｙに近い予測値Ｅ［ｙ］を求
めることを考える。この場合、教師データとなる所望画
素の真の画素値ｙの集合でなる行列Ｙ、および所望画素
の画素値ｙに対する予測値Ｅ［ｙ］の残差ｅの集合でな
る行列Ｅを、

【数２】で定義すると、式（２）から、次のような残差方程式が
成立する。

【０１８９】ＸＷ＝Ｙ＋Ｅ・・・（３）

【０１９０】この場合、所望画素の画素値ｙに近い予測
値Ｅ［ｙ］を求めるための予測係数ｗ_jは、自乗誤差

【数３】を最小にすることで求めることができる。

【０１９１】従って、上述の自乗誤差を予測係数ｗ_jで
微分したものが０になる場合、即ち、次式を満たす予測
係数ｗ_jが、所望画素の画素値ｙに近い予測値Ｅ［ｙ］
を求めるため最適値ということになる。

【０１９２】

【数４】・・・（４）

【０１９３】そこで、まず、式（３）を、予測係数ｗ_j
で微分することにより、次式が成立する。

【０１９４】

【数５】・・・（５）

【０１９５】式（４）および（５）より、式（６）が得
られる。

【０１９６】

【数６】・・・（６）

【０１９７】さらに、式（３）の残差方程式における生
徒データｘ_ij、予測係数ｗ_j、教師データｙ_i、および残
差ｅ_iの関係を考慮すると、式（６）から、次のような
正規方程式を得ることができる。

【０１９８】

【数７】・・・（７）

【０１９９】式（７）の正規方程式を構成する各式は、
生徒データｘ_ijおよび教師データｙ _iのセットを、ある
程度の数だけ用意することで、求めるべき予測係数ｗ_j
の数Ｊと同じ数だけたてることができ、従って、式
（７）を解くことで（但し、式（７）を解くには、式
（７）において、予測係数ｗ_jにかかる係数で構成され
る行列が正則である必要がある）、最適な予測係数ｗ_j
を求めることができる。なお、式（７）を解くにあたっ
ては、例えば、掃き出し法（Gauss-Jordanの消去法）な
どを用いることが可能である。

【０２００】以上のようにして、最適な予測係数ｗ_jを
求めるのが学習処理であり、また、その予測係数ｗ_jを
用い、式（１）により、所望画素の画素値ｙに近い予測
値Ｅ［ｙ］を求めるのが適応処理である。

【０２０１】即ち、学習部４５または適応処理部４７で
は、前景蓄積画像記憶部４４に記憶された前方蓄積画像
および後方蓄積画像、さらには、必要に応じて、誤差画
像記憶部４９に記憶された誤差画像を、存在画像とする
とともに、第１フレーム乃至第Ｎフレームそれぞれの前
景を、所望画像として、学習処理または適応処理がそれ
ぞれ行われる。

【０２０２】なお、適応処理は、存在画像には含まれて
いないが、所望画像に含まれる成分が再現される点で、
例えば、単なる補間処理とは異なる。即ち、適応処理で
は、式（１）だけを見る限りは、いわゆる補間フィルタ
を用いての補間処理と同一であるが、その補間フィルタ
のタップ係数に相当する予測係数ｗが、教師データｙを
用いての、いわば学習により求められるため、所望画像
に含まれる成分を再現することができる。このことか
ら、適応処理は、いわば画像の創造（解像度想像）作用
がある処理ということができる。

【０２０３】誤差計算部４８は、前景記憶部４２から第
１フレーム乃至第Ｎフレームそれぞれの前景を読み出
し、適応処理部４７で求められた、第１フレーム乃至第
Ｎフレームそれぞれの前景の予測値の予測誤差を計算す
るようになっている。即ち、誤差計算部４８は、例え
ば、第ｎフレームの前景を構成する画素の予測値から、
その画素の画素値の真値を減算することにより、画素ご
とに、予測誤差を求めるようになっている。

【０２０４】誤差画像記憶部４９は、誤差計算部４８で
求められた、第１フレーム乃至第Ｎフレームの前景の予
測誤差でなる画像（以下、適宜、誤差画像という）を記
憶するようになっている。

【０２０５】誤差判定部５０は、誤差画像記憶部４９に
記憶された誤差画像を構成する各画素の画素値としての
予測誤差の、例えば、絶対値和を演算し、その絶対値和
が所定の閾値以下（未満）になっているかどうかを判定
するようになっている。

【０２０６】ＭＵＸ（マルチプレクサ）５１は、誤差判
定部５０による判定結果に基づいて、前景蓄積画像記憶
部４４に記憶された前方蓄積画像および後方蓄積画像、
予測係数記憶部４６に記憶された予測係数、さらには、
必要に応じて、誤差画像記憶部４９に記憶された誤差画
像を多重化し、その結果得られる多重化データを、第１
フレーム乃至第Ｎフレームそれぞれの前景の符号化結果
として、マルチプレクサ１７（図２）に出力するように
なっている。

【０２０７】次に、図２６は、図２４の学習部４５の構
成例を示している。

【０２０８】予測タップ構成部６１には、前景蓄積画像
記憶部４４に記憶された前方蓄積画像および後方蓄積画
像（以下、適宜、両方含めて、前景蓄積画像という）、
さらには、必要に応じて、誤差画像記憶部４９に記憶さ
れた誤差画像が供給されるようになっている。そして、
予測タップ構成部６１は、背景の位置合わせを行った状
態での第１フレーム乃至第Ｎフレームそれぞれの前景を
構成する画素のうち、予測値を求めようとするものを、
注目画素として、基準座標系において、注目画素と空間
的に近い位置にある前方蓄積画像および後方蓄積画像の
画素や、誤差画像の画素を抽出し、注目画素の予測値を
適応処理により求めるのに用いる予測タップとして、正
規方程式構成部６２に出力する。

【０２０９】正規方程式構成部６２には、予測タップ構
成部６１から予測タップが供給される他、前景記憶部４
２に記憶された第１フレーム乃至第Ｎフレームそれぞれ
の前景を構成する画素が供給されるようになっている。
そして、正規方程式構成部６２は、注目画素となってい
る前景の画素（教師データ）と、予測タップ（生徒デー
タ）を対象とした足し込みを行う。

【０２１０】即ち、正規方程式構成部６２は、予測タッ
プを用い、式（７）の正規方程式の左辺における、予測
係数の乗数となっている、生徒データ（予測タップ）ど
うしの乗算（ｘ_ijｘ_i _’ _j _’）と、サメーション（Σ）に
相当する演算を行う。

【０２１１】さらに、正規方程式構成部６２は、予測タ
ップおよび注目画素を用い、式（７）の正規方程式の右
辺における、生徒データ（予測タップ）と教師データ
（注目画素）の乗算（ｘ_ijｙ_j）と、サメーション
（Σ）に相当する演算を行う。

【０２１２】正規方程式構成部６２では、以上の処理
が、第１フレーム乃至第Ｎフレームそれぞれの前景を構
成する画素を、注目画素として行われ、これにより、式
（７）に示した正規方程式がたてられる。

【０２１３】そして、その後、予測係数算出部６３は、
正規方程式構成部６２において生成された正規方程式を
解くことにより、予測係数を求め、予測係数記憶部４６
（図２４）に供給して記憶させる。

【０２１４】ここで、本実施の形態では、図２４の適応
処理部４７において、背景の位置合わせを行った状態で
の第１フレーム乃至第Ｎフレームのうち、第ｎフレーム
の、基準座標系の存在範囲内における位置（ｘ，ｙ）に
ある画素の画素値Ａ_n（ｘ，ｙ）の予測値Ｅ［Ａ_n（ｘ，
ｙ）］が、例えば、次式にしたがって求められるように
なっている。

【０２１５】Ｅ［Ａ_n（ｘ，ｙ）］＝ｇ（Ｆ，Ｂ，Ｅ，ｎ）・・・（８）ここで、式（８）において、Ｆ，Ｂ，Ｅは、それぞれ前
方蓄積画像、後方蓄積画像、誤差画像を表し、関数ｇ
（Ｆ，Ｂ，Ｅ，ｎ）は、例えば、式（１）の線形一次式
に相当する次式で定義される。

【０２１６】ｇ（Ｆ，Ｂ，Ｅ，ｎ）＝ｗ_F1×ｆ₁＋ｗ_F2×ｆ₂＋・・・＋ｗ_B1×ｂ₁＋ｗ_B2×ｂ₂＋・・・＋ｗ_E1×ｅ₁＋ｗ_E2×ｅ₂＋・・・＋ｗ×ｎ・・・（９）ここで、式（９）において、ｗ_F1，ｗ_F2，・・・，
ｗ_B1，ｗ_B2，・・・，ｗ_E1，ｗ_E2，・・・，ｗは、予測
係数を表す。また、ｆ₁，ｆ₂，・・・は、前方蓄積画像
Ｆを構成する画素のうち、注目画素についての予測タッ
プを構成する画素を、ｂ₁，ｂ₂，・・・は、後方蓄積画
像Ｂを構成する画素のうち、注目画素についての予測タ
ップを構成する画素を、ｅ₁，ｅ₂，・・・は、誤差画像
Ｅを構成する画素のうち、注目画素についての予測タッ
プを構成する画素を、それぞれ表す。

【０２１７】関数ｇ（Ｆ，Ｂ，Ｅ，ｎ）が、式（９）に
よって定義される場合、図２６の正規方程式構成部６２
では、式（９）における予測係数ｗ_F1，ｗ_F2，・・・，
ｗ_B1，ｗ_B2，・・・，ｗ_E1，ｗ_E2，・・・，ｗを求める
ための正規方程式がたてられ、予測係数算出部６３で
は、その正規方程式を解くことで、予測係数ｗ_F1，
ｗ_F2，・・・，ｗ_B1，ｗ_B2，・・・，ｗ_E1，ｗ_E2，・・
・，ｗが求められる。従って、この場合、第１フレーム
乃至第Ｎフレームすべての前景について、１セットの予
測係数ｗ_F1，ｗ_F2，・・・，ｗ_B1，ｗ_B2，・・・，
ｗ_E1，ｗ_E2，・・・，ｗが求められる。

【０２１８】次に、図２７は、図２４の適応処理部４７
の構成例を示している。

【０２１９】予測タップ構成部７１には、前景蓄積画像
記憶部４４に記憶された前景蓄積画像、さらには、必要
に応じて、誤差画像記憶部４９に記憶された誤差画像が
供給されるようになっている。そして、予測タップ構成
部７１は、図２６の予測タップ構成部６１における場合
と同様に、背景の位置合わせを行った状態での第１フレ
ーム乃至第Ｎフレームそれぞれの前景を構成する画素の
うち、予測値を求めようとするものを、注目画素とし
て、基準座標系において、注目画素と空間的に近い位置
にある前方蓄積画像および後方蓄積画像の画素や、誤差
画像の画素を抽出し、予測タップとして、予測演算部７
２に出力する。

【０２２０】予測演算部７２には、予測タップ構成部７
１から予測タップが供給される他、予測係数記憶部４６
（図２４）に記憶された予測係数が供給されるようにな
っている。そして、予測演算部７２では、注目画素とな
っている前景の画素の予測値が、予測タップおよび予測
係数を用い、式（８）および（９）で定義される線形一
次式を演算することで求められ、誤差計算部４８に出力
される。

【０２２１】次に、図２８のフローチャートを参照し
て、図２４の前景符号化部１６において行われる、第１
フレーム乃至第Ｎフレームそれぞれの前景を符号化する
前景符号化処理について説明する。

【０２２２】まず最初に、ステップＳ１６１において、
前景抽出部４１は、カメラ動きベクトル記憶部１３（図
２）に記憶されたカメラ動きベクトル、および背景メモ
リ１５（図２）に記憶された全体背景を用いて、蓄積部
１１（図２）に記憶された第１フレーム乃至第Ｎフレー
ムの画像それぞれから、上述したようにして前景を抽出
し、前景記憶部４２に供給して記憶させる。

【０２２３】そして、ステップＳ１６２に進み、前景蓄
積画像構成部４３は、前景記憶部４２に記憶された第１
フレーム乃至第Ｎフレームそれぞれの前景から、図２５
で説明したような前方蓄積画像および後方蓄積画像を構
成し、前景蓄積画像記憶部４４に供給して記憶させ、ス
テップ１６３に進む。

【０２２４】ステップＳ１６３では、学習部４５におい
て、前景蓄積画像記憶部４４に記憶された前方蓄積画像
および後方蓄積画像、さらには、必要に応じて、誤差画
像記憶部４９に記憶された誤差画像を構成する画素を用
いて学習が行われ、これにより、第１フレーム乃至第Ｎ
フレームそれぞれの前景を構成する画素を予測するため
の予測係数が求められる。

【０２２５】ここで、ステップＳ１６３で最初に学習処
理が行われる場合においては、誤差画像記憶部４９に
は、まだ、誤差画像が記憶されていないため、誤差画像
は用いずに（用いることができない）、学習が行われ
る。

【０２２６】ステップＳ１６３における学習の結果得ら
れた予測係数は、学習部４５から予測係数記憶部４６に
供給され、上書きする形で記憶される。予測係数記憶部
４６に予測係数が記憶されると、ステップＳ１６４にお
いて、適応処理部４７は、前景蓄積画像記憶部４４に記
憶された前方蓄積画像および後方蓄積画像を構成する画
素、予測係数記憶部４６に記憶された予測係数、さらに
は、必要に応じて、誤差画像記憶部４９に記憶された誤
差画像を用いて、式（８）および（９）の線形一次式を
計算することにより、第１フレーム乃至第Ｎフレームそ
れぞれの前景を構成する各画素の予測値を求める適応処
理を行う。

【０２２７】ここで、ステップＳ１６４で最初に適応処
理が行われる場合においても、誤差画像記憶部４９に
は、まだ、誤差画像が記憶されていないため、誤差画像
は用いずに（用いることができない）、適応処理が行わ
れる。

【０２２８】ステップＳ１６４における適応処理の結果
得られた第１フレーム乃至第Ｎフレームそれぞれの前景
を構成する各画素の予測値は、誤差計算部４８に供給さ
れ、誤差計算部４８では、ステップＳ１６５において、
前景記憶部４２に記憶された第１フレーム乃至第Ｎフレ
ームそれぞれの前景を参照することで、その前景を構成
する各画素の予測値の予測誤差が求められる。

【０２２９】そして、ステップＳ１６６に進み、誤差計
算部４８は、基準座標系の存在範囲内における各位置に
ついて、その位置における予測誤差の絶対値が最大にな
っている画素を、第１フレーム乃至第Ｎフレームそれぞ
れの前景を構成する画素から抽出し、その抽出された画
素の予測誤差でなる画像を誤差画像として、誤差画像記
憶部４９に供給する。誤差画像記憶部４９では、誤差計
算部４８からの誤差画像が記憶される。

【０２３０】その後、ステップＳ１６７に進み、誤差判
定部５０において、誤差画像記憶部４９に記憶された誤
差画像を構成する各画素の画素値（予測誤差）の絶対値
の総和が求められ、その総和が、所定の閾値以下（未
満）であるかどうかが判定される。

【０２３１】ステップＳ１６７において、誤差画像を構
成する各画素の画素値（予測誤差）の絶対値の総和が、
所定の閾値以下でないと判定された場合、即ち、予測係
数と、前方蓄積画像および後方蓄積画像（さらには、必
要に応じて、誤差画像）とから得られる前景の予測値の
精度が高くない場合、ステップＳ１６３に戻り、以下、
同様の処理が繰り返される。

【０２３２】なお、この場合、誤差画像記憶部４９に
は、誤差画像が記憶されているので、次回のステップＳ
１６３またはＳ１６４では、図２９に示すように、前方
蓄積画像および後方蓄積画像の他、誤差画像も用いて予
測タップが構成され、学習処理または適応処理がそれぞ
れ行われる。

【０２３３】一方、ステップＳ１６７において、誤差画
像を構成する各画素の画素値（予測誤差）の絶対値の総
和が、所定の閾値以下であると判定された場合、即ち、
予測係数と、前方蓄積画像および後方蓄積画像（さらに
は、必要に応じて、誤差画像）とから得られる前景の予
測値の精度が高い場合、ステップＳ１６８に進み、誤差
判定部５０は、ＭＵＸ５１を制御し、前景蓄積画像記憶
部４４に記憶された前方蓄積画像および後方蓄積画像、
予測係数記憶部４６に記憶された予測係数、さらには、
誤差画像記憶部４９に誤差画像が記憶されている場合に
は、その誤差画像を読み出して多重化させる。そして、
ＭＵＸ５１は、その多重化の結果得られた多重化データ
を、第１フレーム乃至第Ｎフレームそれぞれの前景の符
号化結果として、マルチプレクサ１７（図２）に出力
し、前景符号化処理を終了する。

【０２３４】なお、誤差画像記憶部４９には、ステップ
Ｓ１６６の処理が行われるごとに得られる新たな誤差画
像を、既に記憶されている誤差画像に上書きする形で記
憶させるようにしても良いし、既に記憶されている誤差
画像をそのまま残して記憶させるようにしても良い。

【０２３５】新たな誤差画像を、誤差画像記憶部４９に
既に記憶されている誤差画像に上書きする形で記憶させ
る場合には、誤差画像は、予測係数の学習が繰り返し行
われても、常に、１枚であるため、前景の予測値の精度
の向上にある程度の限界があるが、多重化データのデー
タ量を少なくすることができる。

【０２３６】一方、新たな誤差画像を、誤差画像記憶部
４９に既に記憶されている誤差画像をそのまま残して記
憶させる場合には、誤差画像が複数枚になるため、多重
化データのデータ量が多少増加するが、図３０に示すよ
うに、前方蓄積画像および後方蓄積画像、並びに２枚以
上の誤差画像を用いて予測タップが構成され、学習処理
または適応処理がそれぞれ行われるため、前景の予測値
の精度をより向上させることができる。なお、図３０
は、誤差画像が２枚ある場合を示している。

【０２３７】また、上述の場合においては、学習処理に
より求めた予測係数を用いて適応処理を行うことにより
予測値を求め、その予測誤差が大きい場合には、誤差画
像も用いて学習処理を再度行い、予測誤差を小さくする
予測係数を求めるようにしたが、予測誤差の大小にかか
わらず、学習部４５による最初の学習処理の結果得られ
た予測係数を、前景蓄積画像記憶部４４に記憶された前
方蓄積画像および後方蓄積画像とともに、前景の符号化
結果として出力するようにすることも可能である。この
場合、前景符号化部１６は、適応処理部４７、誤差計算
部４８、誤差画像記憶部４９、および誤差判定部５０は
設けずに構成することが可能となる。

【０２３８】さらに、上述の場合には、前景の予測値を
求める関数ｇ（Ｆ，Ｂ，Ｅ，ｎ）を、式（９）によって
定義し、これにより、第１フレーム乃至第Ｎフレームす
べての前景の予測値を求めるのに共通に用いる１セット
の予測係数を求めるようにしたが、予測係数は、その
他、例えば、１フレームごとや、複数フレームごとに求
めることも可能である。

【０２３９】即ち、１フレームごとに予測係数を求める
場合には、関数ｇ（Ｆ，Ｂ，Ｅ，ｎ）を、例えば、式
（１０）に示すように定義し、各フレームごとに正規方
程式をたてて解くことにより、予測係数を求めるように
すれば良い。

【０２４０】ｇ（Ｆ，Ｂ，Ｅ，ｎ）＝ｗ_F1 _n×ｆ₁＋ｗ_F2n×ｆ₂＋・・・＋ｗ_B1n×ｂ₁＋ｗ_B2n×ｂ₂＋・・・＋ｗ_E1n×ｅ₁＋ｗ_E2n×ｅ₂＋・・・・・・（１０）ここで、式（１０）において、ｗ_F1n，ｗ_F2n，・・・，
ｗ_B1n，ｗ_B2n，・・・，ｗ_E1n，ｗ_E2n，・・・は、第ｎ
フレームの前景の予測値を求めるのに用いる予測係数を
表す。

【０２４１】また、ここでは、線形一次予測によって、
前景の予測値を求めるようにしたが、前景の予測値は、
その他、２次以上の高次の予測式によって求めるように
することも可能である。

【０２４２】さらに、ここでは、第１フレーム乃至第Ｎ
フレームそれぞれの前景から構成された前方蓄積画像お
よび後方蓄積画像を用いて、第１フレーム乃至第Ｎフレ
ームそれぞれの前景の予測値を求めるための予測係数の
学習を行うようにしたが、予測係数の学習は、前方蓄積
画像および後方蓄積画像以外の画像を用いて行うように
することも可能である。即ち、予測係数の学習は、例え
ば、雑音でなる１枚以上の画像を用いて、前景の予測値
の予測誤差を小さくするように、その雑音でなる画像の
画素値を操作して行うようにすること等が可能である。

【０２４３】次に、図３１は、図１のデコーダ２の構成
例を示している。

【０２４４】伝送媒体３（図１）を介して伝送されてく
る符号化データ、あるいは記録媒体４（図１）から再生
された符号化データは、ＤＭＵＸ（デマルチプレクサ）
８１に供給されるようになっており、ＤＭＵＸ８１は、
そこに供給される符号化データを、前方蓄積画像、後方
蓄積画像、予測係数、全体背景、カメラ動きベクトルに
分離するようになっている。なお、符号化データに、誤
差画像が含まれる場合には、ＤＭＵＸ８１は、その誤差
画像も、符号化データから分離するようになっている。

【０２４５】前方蓄積画像および後方蓄積画像、さらに
は、符号化データに誤差画像が含まれる場合にはその誤
差画像は、ＤＭＵＸ８１から画像記憶部８６に供給され
るようになっている。また、予測係数、全体背景、また
はカメラ動きベクトルは、ＤＭＵＸ８１から、予測係数
記憶部８２、背景メモリ８７、カメラ動きベクトル記憶
部８８にそれぞれ供給されるようになっている。

【０２４６】予測係数記憶部８２は、ＤＭＵＸ８１から
の予測係数を記憶するようになっている。適応処理部８
３は、予測係数記憶部８２に記憶された予測係数、並び
に画像記憶部８６に記憶された前方蓄積画像および後方
蓄積画像、さらには必要に応じて誤差画像を用い、図２
４の適応処理部４７における場合と同様の適応処理を行
うことで、第１フレーム乃至第Ｎフレームそれぞれの前
景の予測値を求めるようになっている。

【０２４７】前景記憶部８４は、適応処理部８３によっ
て求められる、第１フレーム乃至第Ｎフレームそれぞれ
の前景の予測値を、第１フレーム乃至第Ｎフレームそれ
ぞれの前景の復号結果として記憶するようになってい
る。

【０２４８】合成部８５は、背景メモリ８７に記憶され
た全体背景から、カメラ動きベクトル記憶部８８に記憶
された第ｎフレームのカメラ動きベクトルｖ_nに基づい
て、第ｎフレームの背景を切り出し（抽出し）、その第
ｎフレームの背景と、前景記憶部８４に記憶された第ｎ
フレームの前景の復号結果とを合成することで、第ｎフ
レームの画像を復号して出力するようになっている。

【０２４９】画像記憶部８６は、ＤＭＵＸ８１から供給
される前方蓄積画像および後方蓄積画像、並びに誤差画
像を記憶するようになっている。背景メモリ８７は、Ｄ
ＭＵＸ８１から供給される全体背景を記憶するようにな
っている。カメラ動きベクトル記憶部８８は、ＤＭＵＸ
８１から供給される第１フレーム乃至第Ｎフレームそれ
ぞれのカメラ動きベクトルを記憶するようになってい
る。

【０２５０】次に、図３２のフローチャートを参照し
て、図３１のデコーダ２において行われる、一連の画像
としての第１フレーム乃至第Ｎフレームの画像を復号す
る復号処理について説明する。

【０２５１】まず最初に、ステップＳ１７１において、
ＤＭＵＸ８１は、そこに供給される符号化データを、前
方蓄積画像、後方蓄積画像、必要な誤差画像、予測係
数、全体背景、カメラ動きベクトルに分離する。前方蓄
積画像、後方蓄積画像、および必要な誤差画像は、画像
記憶部８６に供給されて記憶される。また、予測係数、
全体背景、またはカメラ動きベクトルは、予測係数記憶
部８２、背景メモリ８７、カメラ動きベクトル記憶部８
８にそれぞれ供給されて記憶される。

【０２５２】その後、ステップＳ１７２に進み、適応処
理部８３は、予測係数記憶部８２に記憶された予測係
数、並びに画像記憶部８６に記憶された前方蓄積画像、
後方蓄積画像、および必要な誤差画像を用い、図２４の
適応処理部４７における場合と同様の適応処理を行うこ
とで、第１フレーム乃至第Ｎフレームそれぞれの前景の
予測値を求める。この予測値は、前景記憶部８４に供給
され、第１フレーム乃至第Ｎフレームそれぞれの前景の
復号結果として記憶される。

【０２５３】そして、ステップＳ１７３に進み、合成部
８５において、背景メモリ８７に記憶された全体背景か
ら、カメラ動きベクトル記憶部８８に記憶された第ｎフ
レームのカメラ動きベクトルｖ_nに基づいて、第ｎフレ
ームの背景が切り出され、その第ｎフレームの背景と、
前景記憶部８４に記憶された第ｎフレームの前景の復号
結果とが合成される。合成部８５では、以上の処理が、
第１フレーム乃至第Ｎフレームすべてについて行われ、
復号処理を終了する。

【０２５４】次に、上述した一連の処理は、ハードウェ
アにより行うこともできるし、ソフトウェアにより行う
こともできる。一連の処理をソフトウェアによって行う
場合には、そのソフトウェアを構成するプログラムが、
専用のハードウェアとしてのエンコーダ１やデコーダ２
に組み込まれているコンピュータ、または各種のプログ
ラムをインストールすることで各種の処理を行う汎用の
コンピュータ等にインストールされる。

【０２５５】そこで、図３３を参照して、上述した一連
の処理を実行するプログラムをコンピュータにインスト
ールし、コンピュータによって実行可能な状態とするた
めに用いられる媒体について説明する。

【０２５６】プログラムは、図３３（Ａ）に示すよう
に、コンピュータ１０１に内蔵されている記録媒体とし
てのハードディスク１０２や半導体メモリ１０３に予め
インストールした状態でユーザに提供することができ
る。

【０２５７】あるいはまた、プログラムは、図３３
（Ｂ）に示すように、フロッピーディスク１１１、CD-R
OM(Compact Disc Read Only Memory)１１２，MO(Magnet
o optical)ディスク１１３，DVD(Digital Versatile Di
sc)１１４、磁気ディスク１１５、半導体メモリ１１６
などの記録媒体に、一時的あるいは永続的に格納し、パ
ッケージソフトウエアとして提供することができる。

【０２５８】さらに、プログラムは、図３３（Ｃ）に示
すように、ダウンロードサイト１２１から、ディジタル
衛星放送用の人工衛星１２２を介して、コンピュータ１
０１に無線で転送したり、LAN(Local Area Network)、
インターネットといったネットワーク１３１を介して、
コンピュータ１２３に有線で転送し、コンピュータ１０
１において、内蔵するハードディスク１０２などに格納
させるようにすることができる。

【０２５９】本明細書における媒体とは、これら全ての
媒体を含む広義の概念を意味するものである。

【０２６０】また、本明細書において、媒体により提供
されるプログラムを記述するステップは、必ずしもフロ
ーチャートとして記載された順序に沿って時系列に処理
する必要はなく、並列的あるいは個別に実行される処理
（例えば、並列処理あるいはオブジェクトによる処理）
も含むものである。

【０２６１】次に、図３４は、図３３のコンピュータ１
０１の構成例を示している。

【０２６２】コンピュータ１０１は、図３４に示すよう
に、CPU(Central Processing Unit)１４２を内蔵してい
る。CPU１４２には、バス１４１を介して、入出力イン
タフェース１４５が接続されており、CPU１４２は、入
出力インタフェース１４５を介して、ユーザによって、
キーボードやマウス等で構成される入力部１４７が操作
されることにより指令が入力されると、それにしたがっ
て、図３３（Ａ）の半導体メモリ１０３に対応するROM
(Read Only Memory)１４３に格納されているプログラム
を実行する。あるいは、また、CPU１４２は、ハードデ
ィスク１０２に格納されているプログラム、衛星１２２
若しくはネットワーク１３１から転送され、通信部１４
８で受信されてハードディスク１０２にインストールさ
れたプログラム、またはドライブ１４９に装着されたフ
ロッピディスク１１１、CD-ROM１１２、MOディスク１１
３、DVD１１４、若しくは磁気ディスク１１５から読み
出されてハードディスク１０２にインストールされたプ
ログラムを、RAM(Random Access Memory)１４４にロー
ドして実行する。そして、CPU１４２は、その処理結果
を、例えば、入出力インタフェース１４５を介して、LC
D(Liquid CryStal Display)等で構成される表示部１４
６に、必要に応じて出力する。

【０２６３】

【発明の効果】本発明の動き検出装置および動き検出方
法、並びに媒体によれば、撮像装置が出力する画像の各
画面の背景の位置合わせを行って重ね合わせた状態の蓄
積画像を記憶する蓄積画像記憶手段に記憶された蓄積画
像の中の、注目画面の前の画面の画像を含む、注目画面
についての動きを検出するのに用いる検出範囲が設定さ
れ、その検出範囲の重心と、注目画面の重心が算出され
る。そして、検出範囲の重心と、注目画面の重心に基づ
いて、注目画面の画像を撮像したときの撮像装置の撮像
方向の動きを表す動きベクトルが求められ、その動きベ
クトルに基づいて、注目画面の画像が、蓄積画像記憶手
段に書き込まれる。従って、画像の撮像時における撮像
装置の撮像方向の動きを、簡易に求めることが可能とな
る。

【図面の簡単な説明】

【図１】本発明を適用した画像伝送装置の一実施の形態
の構成例を示す図である。

【図２】図１のエンコーダ１の構成例を示すブロック図
である。

【図３】図２の蓄積部１１に記憶される一連の画像を示
す図である。

【図４】図２のカメラ動き検出部１２の処理を説明する
ための図である。

【図５】図２のカメラ動き検出部１２の構成例を示すブ
ロック図である。

【図６】図５のカメラ動き検出部１２によるカメラ動き
ベクトルの求め方を説明するための図である。

【図７】図５のカメラ動き検出部１２の処理（カメラ動
き検出処理）を説明するためのフローチャートである。

【図８】図７のステップＳ３における処理（注目フレー
ムの重心算出処理）の詳細の第１の例を説明するための
フローチャートである。

【図９】レベルテーブルを示す図である。

【図１０】図７のステップＳ４における処理（動き検出
範囲の重心算出処理）の詳細を説明するためのフローチ
ャートである。

【図１１】図７のステップＳ３における処理の詳細の第
２の例を説明するためのフローチャートである。

【図１２】クラステーブルを示す図である。

【図１３】図７のステップＳ３における処理の詳細の第
３の例を説明するためのフローチャートである。

【図１４】エッジ画素を説明するための図である。

【図１５】図５の動きなし判定部２５の処理（動きなし
判定処理）の詳細を説明するためのフローチャートであ
る。

【図１６】図２の背景抽出部１４の構成例を示すブロッ
ク図である。

【図１７】図１６の存在範囲検出部３１の処理を説明す
るための図である。

【図１８】図１６の読み出し部３２の処理を説明するた
めの図である。

【図１９】度数テーブルを示す図である。

【図２０】図１６の背景抽出部１４の処理（背景抽出処
理）を説明するためのフローチャートである。

【図２１】図２０のステップＳ１２４の処理（背景画素
抽出処理）の詳細を説明するためのフローチャートであ
る。

【図２２】図２０のステップＳ１２５の処理（背景拡張
処理）の詳細を説明するためのフローチャートである。

【図２３】図２２の背景拡張処理を説明するための図で
ある。

【図２４】図２の前景符号化部１６の構成例を示すブロ
ック図である。

【図２５】図２４の前景蓄積画像構成部４３の処理を説
明するための図である。

【図２６】図２４の学習部４５の構成例を示すブロック
図である。

【図２７】図２４の適応処理部４７の構成例を示すブロ
ック図である。

【図２８】図２４の前景符号化部１６の処理（前景符号
化処理）の詳細を説明するためのフローチャートであ
る。

【図２９】予測タップが、誤差画像を用いて構成される
様子を示す図である。

【図３０】予測タップが、２枚の誤差画像を用いて構成
される様子を示す図である。

【図３１】図１のデコーダ２の構成例を示すブロック図
である。

【図３２】図３１のデコーダ２の処理（復号処理）を説
明するためのフローチャートである。

【図３３】本発明を適用した媒体を説明するための図で
ある。

【図３４】図３３のコンピュータ１０１の構成例を示す
ブロック図である。

【符号の説明】

１エンコーダ，２デコーダ，３伝送媒体，
４記録媒体，１１蓄積部，１２カメラ動き検出
部，１３カメラ動きベクトル記憶部，１４背景抽
出部，１５背景メモリ，１６前景符号化部，
１７ＭＵＸ，２１重心算出部，２２ベクトル
検出部，２３書き込み制御部，２４蓄積画像メモ
リ，２５動きなし判定部，３１存在範囲検出
部，３２読み出し部，３３度数カウント部，３
４度数テーブル記憶部，３５書き込み部，３６
背景フラグメモリ，４１前景抽出部，４２前景記
憶部，４３前景蓄積画像構成部，４４前景蓄積
画像記憶部，４５学習部，４６予測係数記憶部，
４７適応処理部，４８誤差計算部，４９誤
差画像記憶部，５０誤差判定部，５１ＭＵＸ，
６１予測タップ構成部，６２正規方程式構成部，
６３予測係数算出部，７１予測タップ構成部，
７２予測演算部，８１ＤＭＵＸ，８２予測係
数記憶部，８３適応処理部，８４前景記憶部，
８５合成部，８６画像記憶部，８７背景メモ
リ，８８カメラ動きベクトル記憶部，１０１コン
ピュータ，１０２ハードディスク，１０３半導
体メモリ，１１１フロッピーディスク，１１２
CD-ROM，１１３ MOディスク，１１４ DVD，１１
５磁気ディスク，１１６半導体メモリ，１２１
ダウンロードサイト，１２２衛星，１３１ネッ
トワーク，１４１バス，１４２ CPU，１４３ R
OM，１４４ RAM，１４５入出力インタフェー
ス，１４６表示部，１４７入力部，１４８
通信部，１４９ドライブ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）９Ａ００１Ｆターム(参考） 5C022 AA12 AB62 AC31 AC69 5C023 AA06 AA34 AA37 BA03 BA04 CA02 CA08 DA04 DA08 5C052 AA01 AB03 AB04 CC06 CC11 DD04 5C059 KK19 MA05 MA09 MA31 MB03 MB04 NN03 NN24 NN27 NN38 NN43 NN45 PP04 PP22 PP28 SS01 SS06 SS11 SS20 SS26 UA02 UA33 UA39 5L096 CA02 FA06 FA32 FA60 GA14 GA28 GA55 HA04 LA05 9A001 BB03 BB04 CC03 CC04 CC05 EE04 GG01 GG03 HH05 HH23 HH27 JJ25 KK37

Claims

【特許請求の範囲】

【請求項１】撮像装置によって撮像された画像から、
前記撮像装置の撮像方向の動きを検出する動き検出装置
であって、前記撮像装置が出力する画像の各画面の背景の位置合わ
せを行って重ね合わせた状態の蓄積画像を記憶する蓄積
画像記憶手段と、前記蓄積画像の中の、注目画面の前の画面の画像を含
む、前記注目画面についての前記動きを検出するのに用
いる検出範囲を設定する検出範囲設定手段と、前記検出範囲の重心と、前記注目画面の重心を算出する
重心算出手段と、前記検出範囲の重心と、前記注目画面の重心に基づい
て、前記注目画面の画像を撮像したときの前記撮像装置
の撮像方向の動きを表す動きベクトルを求める動きベク
トル算出手段と、前記動きベクトルに基づいて、前記注目画面の画像を、
前記蓄積画像記憶手段に書き込む書き込み手段とを含む
ことを特徴とする動き検出装置。
【請求項２】前記重心算出手段は、前記検出範囲または注目画面内の画素を、その画素値に
基づいて、幾つかのレベルのうちのいずれかに分類し、各レベルに属する画素の重心を算出し、各レベルの重心の重心を、前記検出範囲または注目画面
の重心としてそれぞれ求めることを特徴とする請求項１
に記載の動き検出装置。
【請求項３】前記重心算出手段は、前記検出範囲または注目画面内の各画素を、その周辺に
ある画素に基づいて、幾つかのクラスのうちのいずれか
に分類し、各クラスに属する画素の重心を算出し、各クラスの重心の重心を、前記検出範囲または注目画面
の重心としてそれぞれ求めることを特徴とする請求項１
に記載の動き検出装置。
【請求項４】前記重心算出手段は、特定のクラスに属する画素の重心を算出し、前記特定のクラスの重心の重心を、前記検出範囲または
注目画面の重心としてそれぞれ求めることを特徴とする
請求項３に記載の動き検出装置。
【請求項５】前記重心算出手段は、エッジになっている部分の画素が属するクラスを、前記
特定のクラスとして、前記検出範囲または注目画面の重
心をそれぞれ求めることを特徴とする請求項４に記載の
動き検出装置。
【請求項６】前記注目画面の画像を撮像したときの前
記撮像装置の撮像方向の動きの有無を判定する動き有無
判定手段をさらに含み、前記動きベクトル算出手段は、前記動き有無判定手段に
おいて動きがあると判定された場合にのみ、前記検出範
囲の重心と、前記注目画面の重心に基づいて、前記動き
ベクトルを求めることを特徴とする請求項１に記載の動
き検出装置。
【請求項７】前記動き有無判定手段は、前記注目画面内の各画素を、その周辺にある画素に基づ
いて、幾つかのクラスのうちのいずれかに分類し、特定のクラスに属する画素と、前記注目画面の前の画面
の対応する画素とを比較し、その比較結果に基づいて、前記動きの有無を判定するこ
とを特徴とする請求項６に記載の動き検出装置。
【請求項８】前記動き有無判定手段は、エッジになっ
ている部分の画素が属するクラスを、前記特定のクラス
として、その特定のクラスに属する画素と、前記注目画
面の前の画面の対応する画素とを比較することを特徴と
する請求項７に記載の動き検出装置。
【請求項９】撮像装置によって撮像された画像から、
前記撮像装置の撮像方向の動きを検出する動き検出方法
であって、前記撮像装置が出力する画像の各画面の背景の位置合わ
せを行って重ね合わせた状態の蓄積画像を記憶する蓄積
画像記憶手段に記憶された前記蓄積画像の中の、注目画
面の前の画面の画像を含む、前記注目画面についての前
記動きを検出するのに用いる検出範囲を設定する検出範
囲設定ステップと、前記検出範囲の重心と、前記注目画面の重心を算出する
重心算出ステップと、前記検出範囲の重心と、前記注目画面の重心に基づい
て、前記注目画面の画像を撮像したときの前記撮像装置
の撮像方向の動きを表す動きベクトルを求める動きベク
トル算出ステップと、前記動きベクトルに基づいて、前記注目画面の画像を、
前記蓄積画像記憶手段に書き込む書き込みステップとを
含むことを特徴とする動き検出方法。
【請求項１０】撮像装置によって撮像された画像か
ら、前記撮像装置の撮像方向の動きを検出する動き検出
処理を行うためのプログラムを、コンピュータに実行さ
せる媒体であって、前記撮像装置が出力する画像の各画面の背景の位置合わ
せを行って重ね合わせた状態の蓄積画像を記憶する蓄積
画像記憶手段に記憶された前記蓄積画像の中の、注目画
面の前の画面の画像を含む、前記注目画面についての前
記動きを検出するのに用いる検出範囲を設定する検出範
囲設定ステップと、前記検出範囲の重心と、前記注目画面の重心を算出する
重心算出ステップと、前記検出範囲の重心と、前記注目画面の重心に基づい
て、前記注目画面の画像を撮像したときの前記撮像装置
の撮像方向の動きを表す動きベクトルを求める動きベク
トル算出ステップと、前記動きベクトルに基づいて、前記注目画面の画像を、
前記蓄積画像記憶手段に書き込む書き込みステップとを
含むことを特徴とするプログラムを、前記コンピュータ
に実行させる媒体。