JP2001209804A - 動画像処理装置及びその方法 - Google Patents

Abstract

(57)【要約】 【目的】 高速な時系列画像から、各画素の移動量があ
る一定量に達するまでの移動時間と移動方向を求めるこ
とによって各画素の移動速度を求める動画像処理におい
て、正確に画素の移動速度を求める動画像処理装置を提
供する。 【構成】 画像入力部０でシーンの時系列画像を取り込
み、フロー検出部１で、動画像系列のある適当な基準画
像画像と現在の画像との間の各画素のフローベクトルを
検出し、フロー検証部32で各画素毎のフローベクトルの
信頼性を評価し、信頼性の高いフローベクトルについて
速度決定部３において画素移動量が一定量に達する移動
時間を計測し、これから移動速度を出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、高速に画像を取り
込むと同時に処理することが可能なセンサに入力される
高速な時系列画像から、画像上の各画素の移動速度を高
精度に計算可能な動画像処理装置、その方法及びその方
法を記録した記録媒体に関する。

【０００２】

【従来の技術】従来、時系列の画像をコンピュータに入
力する手段としては、ＣＣＤカメラが利用されることが
ほとんどであり、カメラからコンピュータへのデータの
転送は、ＮＴＳＣ規格に合わせて１秒間に３０フレーム
の速度で行われていた。このような動画像を用いて画像
の各画素の移動ベクトル、すなわちオプティカルフロー
（以下では、単にフローと表記する）を求める場合、自
動車や素早い体の動きなど高速で移動する対象について
は、大きな移動ベクトルを求める必要がある。このよう
に移動ベクトルが大きくなると、対象物の見え方の変化
による画像輝度の変化が大きくなることや、対象物に隠
されていた背景が見えてくるといった問題が起こり、正
確な動きベクトルの検出が難しくなってくる。

【０００３】これに対して、ジェスチャー入力型インタ
ラクティブゲーム（画像ラボ1998年3 月）では、32画素
×32画素の人工網膜チップを利用して、最高１秒間に１
０００枚という高速な動き検出を行っている。このよう
に高速な動画像を用いれば、前記のような問題を根本的
に解決できると考えられる。しかし、この装置で得られ
る動き情報は精度、空間解像度ともに複雑な画像処理に
利用するには不十分である。

【０００４】また、超並列・超高速視覚情報処理システ
ム（応用物理学会誌第67巻第1 号：石川他著）では、デ
ジタル処理を行う回路をセンサに搭載することにより、
１秒間に１０００フレームの速度で様々な画像処理アル
ゴリズムを実行することができる。石川らは、このシス
テムで従来から用いられているフロー検出手法を用いて
フローの検出を行っている。しかし、1 秒間に１０００
フレームといった高速な動画像では、各画素のフローベ
クトルは非常に小さくなるため、各画素同士のフローベ
クトルの違いが微小になり、従来のフロー検出手法では
十分な精度が得られないことがある。

【０００５】これら従来の画像処理装置に対して、高速
な動画像を用いて各画素の移動ベクトルを安定して検出
する方式として、各画素の移動量がある一定量（以下、
指標距離と呼ぶ）に達するまでの移動時間と移動方向を
求め、指標距離を移動時間で割ることによって移動速度
を求める方式が提案されている。

【０００６】この方式では、前記移動時間や移動方向を
いかに正確に求めるかが鍵となる。移動時間や移動方向
を求めるためには、画像間のフローを検出する必要があ
るが、この方式では従来から提案されている方式をその
まま用いている。従来の手法では、フロー計算の前処理
や計算途中でフローが正確に求められない点を検出しそ
の点ではフローの計算を行わないようにし、フローの誤
検出を防いでいる。

【０００７】例えば、A.D. JepsonとD.J. Fleet は“Ph
ase singularities in scale-space”, Image and Visi
on Computing, 9: 338-343, 1991で時系列画像の輝度信
号の位相の特異点を検出し、フローの抽出が不安定とな
る画素を検出している。

【０００８】また、S.Yamamotoらは、“Realtime Multi
ple Object Tracking Based on Optical Flow ”,Proc.
of R&A, 2328-2333, 1995 で、画像中の近傍小領域内
に単一の方向のエッジしか存在しない画素を求めて、フ
ローの抽出が不安定となる画素を検出している。

【０００９】しかし、これらの手法では、各フレーム単
独のフローの信頼性の評価はできるが、フローの時系列
的な変化による信頼性は考慮されていないという問題が
ある。

【００１０】また、各画素の移動量が指標距離に達する
までの移動時間を正確に計測するには、フローの大きさ
の正確さが重要であるが、ある程度フローが正確に求ま
ったとしても、１秒間に１０００フレームといった高速
な動画像では、指標距離付近となるフローが時間的に何
度も観測され、フレーム間のフローの計測誤差や量子化
の影響で、指標距離に達する移動時間を一意に決定する
ことが難しくなるという問題がある。さらに、従来の方
式では、この移動時間を一意に適切に決定する事につい
ても考慮されていないという問題がある。

【００１１】

【発明が解決しようとする課題】前述のように、各画素
の移動量が指標距離に達するまでの移動時間と移動方向
を求めることによって移動速度を求める方式では、この
移動時間や移動方向をいかに正確に求めるかが鍵となる
が、これらの高精度化に関しては考えられておらず、移
動ベクトルの精度に関して問題が残っている。

【００１２】本発明は、上記問題点に鑑みなされたもの
で、画像を高速に取り込むと同時に処理することが可能
なセンサに入力される高速な時系列画像を用いて、各画
素の移動量が指標距離に達するまでの移動時間と移動方
向を求め、指標距離を移動時間で割ることによって移動
速度を求める処理において、画素の正確な移動速度を求
める動画像処理装置、その方法及びその記録媒体を提供
する。

【００１３】

【課題を解決するための手段】請求項１の発明は、画像
を時系列的に取り込む画像入力手段と、この画像入力手
段によって取り込まれた時系列画像から画像間の各画素
の移動に関する情報を有するオプティカルフローを検出
するフロー検出手段と、このフロー検出手段によって検
出された前記オプティカルフローにおける各画素毎のフ
ローベクトルの信頼性を、各画素毎に検証するフロー検
証手段と、このフロー検証手段で信頼性があると認めら
れたフローベクトルに基づいて画素の移動量が一定の移
動量となる移動時間を決定し、前記決定した移動時間と
前記一定の移動量と前記画素のフローベクトルの方向成
分とに基づいて、前記画素の移動速度を求める速度決定
手段と、を具備したことを特徴とする動画像処理装置で
ある。

【００１４】請求項２の発明は、前記フロー検証手段
は、前記フロー検出手段によって検出された各画素毎の
フローベクトルに関する情報を時系列的に蓄積するフロ
ー蓄積手段と、このフロー蓄積手段で蓄積された各画素
毎のフローベクトルに関する時系列情報を用いて、各画
素毎のフローベクトルの信頼性を算出する信頼性算出手
段と、を具備したことを特徴とする請求項１記載の動画
像処理装置である。

【００１５】請求項３の発明は、前記フロー蓄積手段
は、前記フロー検出手段で検出される任意の時刻におけ
る基準画像と、この基準画像と比較して時間的に前の画
像、または、後の画像との間の各画素のフローベクトル
に関する時系列データをそのまま記憶するか、その時系
列データを前記画素の信頼性を求めるための情報、また
は、前記画素の移動量が一定の移動量となる移動時間を
決定するための情報に加工して記憶することを特徴とす
る請求項２記載の動画像処理装置である。

【００１６】請求項４の発明は、前記信頼性算出手段
は、前記フロー蓄積手段で蓄積された各画素のフローベ
クトルに関する時系列情報を用いて、前記各画素の移動
方向の時系列的変化、前記各画素の移動量の時系列的変
化、または、前記各画素の移動量及び移動方向の時系列
的変化が、所定の規則に基づいて変化しているか否かを
評価し、その評価に基づいて前記画素で検出されるフロ
ーベクトルの信頼性を算出することを特徴とする請求項
２記載の動画像処理装置である。

【００１７】請求項５の発明は、前記速度決定手段は、
前記フロー蓄積手段に蓄えられた各画素のフローベクト
ルに関する時系列情報を用いて、各画素の移動量が前記
一定の移動量に達する移動時間を算出する移動時間決定
手段と、この決定した移動時間と前記一定の移動量と前
記画素のフローベクトルの方向成分とから、前記信頼性
のある画素の移動速度を求めて出力する速度情報出力手
段と、を具備したことを特徴とする請求項１記載の動画
像処理装置である。

【００１８】請求項６の発明は、画像を時系列的に取り
込む画像入力ステップと、この画像入力ステップにおい
て取り込まれた時系列画像から画像間の各画素の移動に
関する情報を有するオプティカルフローを検出するフロ
ー検出ステップと、このフロー検出ステップにおいて検
出された前記オプティカルフローにおける各画素毎のフ
ローベクトルの信頼性を、各画素毎に検証するフロー検
証ステップと、このフロー検証ステップで信頼性がある
と認められたフローベクトルに基づいて画素の移動量が
一定の移動量となる移動時間を決定し、前記決定した移
動時間と前記一定の移動量と前記画素のフローベクトル
の方向成分とに基づいて、前記画素の移動速度を求める
速度決定ステップと、を具備したことを特徴とする動画
像処理方法である。

【００１９】請求項７の発明は、画像を時系列的に取り
込む画像入力機能と、この画像入力機能において取り込
まれた時系列画像から画像間の各画素の移動に関する情
報を有するオプティカルフローを検出するフロー検出機
能と、このフロー検出機能において検出された前記オプ
ティカルフローにおける各画素毎のフローベクトルの信
頼性を、各画素毎に検証するフロー検証機能と、このフ
ロー検証機能で信頼性があると認められたフローベクト
ルに基づいて画素の移動量が一定の移動量となる移動時
間を決定し、前記決定した移動時間と前記一定の移動量
と前記画素のフローベクトルの方向成分とに基づいて、
前記画素の移動速度を求める速度決定機能とを実現する
プログラムを記録したことを特徴とする動画像処理方法
の記録媒体である。

【００２０】本発明によれば、例えば、高速な時系列画
像（動画像）を入力し、各画素の移動量がある一定の移
動量量に達するまでの移動時間と移動方向を求めること
によって各画素の移動速度を求める場合において、各画
素のフローベクトルの信頼性を求めて、その信頼性のあ
る画素のみを処理することにより、移動時間と移動方向
の検出精度を向上させることによって、各画素の移動速
度を正確に求めることが可能となる。

【００２１】

【発明の実施の形態】以下、図面を参照して本発明の一
実施形態を説明する。

【００２２】図１に本実施形態の基本的な構成例を示
す。

【００２３】１秒間に１０００フレームといった高速な
画像が取得可能な装置である画像入力部０によって得ら
れた動画像系列から、フロー検出部１によって、任意の
時刻の基準フレームを設定し、この基準フレームとそれ
より時間的に後のフレームとの間の各画素のフロー（以
下では、画像間フローと呼ぶ）を計算する。

【００２４】図２の場合、基準フレームのある画素(x,
y) が、ｎフレーム後に画素(x+u,y+v) に移動したとす
ると、その画素(x,y) の画像間フローは(u,v) となる。
フロー検証部２により、各画素で求めた画像間フローの
信頼性を検証し、速度決定部３で、各画素で求めた画像
間フローの大きさが指標距離に達するまでの時間と移動
方向を求めることによって、各画素の速度情報を求め出
力する。

【００２５】図２では、点(x,y) の画像間フローが、
(x,y) から一定の指標距離Ｄ画素に達するまでのフレー
ム数（時間）を求める。

【００２６】基本的に、各画素のフローベクトルの大き
さはＤをフレーム数で割ることによって求め、その方向
は画像間フローの方向から求める。

【００２７】(a) フロー検出部１ フロー検出部１は、基準フレーム設定部10、指標距離設
定部11、フロー計算部12からなる（図３参照）。

【００２８】(a-1) 基準フレーム設定部10 画像間フローを求めるには、まず基準フレームを設定す
る必要があるので、基準フレーム設定部10ではこれを設
定する。

【００２９】基準フレームの設定方針として、(i) 全画
素について基準フレームは同じフレームとする方法、(i
i)各画素で異なった基準フレームを設定する方法があ
る。

【００３０】(i) の方法としては、あらかじめ定められ
た時間経過する度に、基準フレームを現在のフレームに
更新する方法や、画像間フローが検出されている画素の
内あらかじめ定めた割合の画素において、画像間フロー
の大きさが指標距離を越えたと判断されたら基準フレー
ムを現在のフレームに更新する方法がある。

【００３１】(ii)の方法としては、各画素毎に、画像間
フローの大きさが指標距離を越えたと判断されたら、そ
の画素の基準フレームを現在のフレームに更新する。

【００３２】(a-2) 指標距離設定部11 本方式では、各画素の移動距離、つまり画像間フローの
大きさが指標距離に達するまでの時間と移動方向を求め
ることによって各画素の速度を求める。

【００３３】指標距離設定部11では、この指標距離を設
定して「Ｄ」とする。

【００３４】Ｄの選択は任意であるが、後で述べるよう
に、各画素の画像間フローに関する時系列データを用い
て画像間フローの信頼性の検証を行うため、この検証を
行うのに必要なデータを得られるように指標距離Ｄを設
定する必要がある。また、フロー計算部12で用いるフロ
ー検出手法でフローが精度よく求められる範囲にＤを設
定する必要もある。

【００３５】ある画素(x,y) が(x+u,y+v) に移動したと
きの移動距離を(u^２ +v^２ ) ^{１／ ２} と定義すれば、
移動距離がＤに達するのは(x,y) を中心とする半径Ｄの
円周上となる。また、移動距離をmax(｜u ｜, ｜v |)と
定義すれば移動距離がＤとなるのは、(x,y) を対角線の
中点に持つ一辺が２Ｄの正方形の外周上となる。

【００３６】(a-3) フロー計算部12 フロー計算部12では、基準フレーム設定部10で設定した
基準フレームと後続のフレームとの間の画像間フローを
計算する。

【００３７】ここで用いるフロー抽出手法には、従来か
ら提案されている様々な手法を用いることができる。

【００３８】一例として、図４に画像中の小領域の輝度
パターンの対応付けに基づく方式の詳細な構成例を示
す。

【００３９】この方式の場合、フロー計算部12は、局所
マスク設定部120 、相関値計算部121 、対応判定部122
よりなる。

【００４０】［局所マスク設定部120 ］局所マスク設定
部120 において、画像間フローを求めたい画素を含む局
所マスク（サイズは５×５や７×７画素など）を各々の
画像中に設定する。

【００４１】ただし、局所マスク内のコントラストがな
い画素は、特徴がなく正しいフローを求めることが困難
なため、局所マスクを設定しない。

【００４２】また、局所マスク内でコントラストがあっ
ても、単一方向のエッジしか存在しない画素も、正しい
フローを求めるには特徴が不完全であるため、局所マス
クを設定しない。

【００４３】［相関値計算部121 ］次に相関値計算部12
1 において、基準フレームの輝度分布を f_ｂ (x,y) 、
それに続くｎフレーム後のフレームの輝度分布を f_ｎ
(x,y) とすると、基準フレームの各画素(x,y) を中心と
した局所マスクＷ_ｂ (x,y) と、後続のフレームにおけ
る同一座標、及びその周囲の画素を中心とした局所マス
クＷ_ｎ (x+u,y+v)の間の輝度信号の分布の相関値s(u,
v;x,y,n)として、次式で表される相関係数を用いる事が
できる。

【００４４】

【数１】 ここで、μ_ｂ (x,y) 、μ_ｎ （x+u,y+v)はそれぞれ局
所マスクＷ_ｂ (x,y)、Ｗ_ｎ (x+u,y+v) 内の輝度の平
均値、σ_ｂ (x,y) 、σ_ｎ （x+u,y+v)はそれぞれ局所
マスクＷ_ｂ (x,y) 、Ｗ_ｎ (x+u,y+v) 内の輝度の分散
である。

【００４５】その他にも、これを簡略化した手法とし
て、相互相関

【数２】 や、相互相関を局所マスクの平均値で正規化したものを
用いる方法、あるいは、マスクどうしの対応している画
素の輝度の差分の自乗和（SSD:Sum of Squared Differe
nce)や、差分の絶対値の和（SAD:Sum of Absolute Diff
erence) を用いる方法、また差分の自乗や絶対値の和を
マスク内の輝度の平均値及び分散値で正規化したものを
用いる方法などが考えられる。

【００４６】ただし、相関係数や相互相関を用いる方法
では、輝度パターンの類似度が高いものほど相関値が大
きくなるが、輝度の差分を用いる方法では輝度パターン
の類似度が高いものほど相関値が小さくなる。

【００４７】以下の説明では、輝度パターンの類似度が
高いものほど相関値が大きいとする。

【００４８】高速な動画像を用いる場合、連続するフレ
ーム間のフローは非常に小さくなる。このことを利用し
て、基準フレームと後続フレームの局所マスク間の相関
値を計算するとき、相関値を計算する画素を通常の場合
よりも削減することができ、計算量を減らすことができ
る。

【００４９】［対応判定部122 ］次に対応判定部122 に
おいて、各フレームの各画素について前記相関値がしき
い値以上、かつ最大となる画素の組を求める。この結
果、基準フレームの各画素から後続のフレーム内の対応
画素へのベクトルが定義され、このベクトルが画像間フ
ローを表す。

【００５０】つまり、（１）式で表されるような相関値
のうち、基準フレームからｎフレーム後の画素(x,y) の
最大、かつ、しきい値以上の相関値をs(u _ｍ ,v_ｍ ;
x,y,n) とすると、画像間フローは(u_ｍ ,v_ｍ ) とな
る。

【００５１】以下では、この最大の相関値をs(x,y,n)と
表記する。

【００５２】(b) フロー検証部２ フロー検証部２は、フロー蓄積部20、信頼性計算部21か
らなる（図５参照）。

【００５３】(b-1) フロー蓄積部20 フロー蓄積部20では、後に続く信頼性計算部21や速度決
定部３で必要となる、各画素の基準フレームから現在の
フレームまでの画像間フローに関するデータを蓄積す
る。

【００５４】例えば、各画素(x,y) について、基準フレ
ームとそれに続くｎ番目のフレームとの間で計算された
画像間フローv(x,y,n)とその相関値s(x,y,n)を蓄積する
ことが考えられる。

【００５５】実際には、これらすべてを蓄積しておくの
は膨大な記憶領域を必要とするため、信頼性計算部21や
速度決定部３での処理内容に必要な情報を、画像間フロ
ーv(x,y,n)とその相関値s(x,y,n)から得て蓄積する。蓄
積する必要のあるデータの種類は、後続の処理に依存す
るため、データの詳細については後述（速度決定部３参
照）する。

【００５６】蓄積されたデータは、基準フレームを更新
するとき同時にクリアし、新たに蓄積を開始する。

【００５７】(b-2) 信頼性計算部21 信頼性計算部21では、画像間フローの大きさが指標距離
Ｄに達するまでの画像間フローの方向によって各画素の
信頼性を評価する。

【００５８】指標距離Ｄより小さい画像間フローが観測
されたフレームまでの集合をＮ_１(x,y) とする。ただ
し、大きさ０の画像間フローは方向が定義できないため
除く。

【００５９】Ｎ_１ (x,y) は次式のように表される。

【００６０】

【数３】 ここで、｜v ｜はベクトルv の大きさを表し、α_０ 、
α_Ｄ は正の定数で、それぞれ画像間フローの大きさを
０,Ｄとみなす範囲を表す。

【００６１】図７は画素(x,y) についての模式図であ
る。

【００６２】画像間フローの終点が画素(x,y) を中心と
する半径α_０ の円内（図７の領域１）にあるとき、そ
の画像間フローは大きさ０と見なし、半径Ｄ−α_０ の
円外かつ半径Ｄ＋α_０ の円内（図７の領域３）に終点
があるとき、その画像間フローの大きさはＤとみなす。
よって、フレーム集合Ｎ_１ は図７の領域2 の内部に、
(x,y) の対応点が見つかったフレームの集合となる。

【００６３】画素(x,y) に関するフレーム集合Ｎ
_１ (x,y) で表されるフレームの画像間フローのうち、
最も信頼性の高い（相関値の大きい）画像間フローをv
(x,y,n _ｒ(x,y))と表す（図７参照）。ここで、 n
_ｒ (x,y) は、最も信頼性の高い（相関値が大きい）画
像間フローが観測されたフレームで、次式で表される。

【００６４】

【数４】 フレームｎの、画素(x,y) の画像間フローの方向d(x,y,
n)を、画像の水平方向と画像間フローのなす角と定義す
ると、最も信頼性の高い（相関値が大きい）画像間フロ
ーの方向 d_ｒ (x,y) は、次式で表される。

【００６５】

【数５】 画像間フローの大きさが指標距離Ｄとほぼ等しくなるフ
レームの集合は次式で表される。

【００６６】

【数６】 つまり、終点が図７の領域３の内部にある画像間フロー
が観測されたフレームがＮ_２ (x,y) の各要素となる。
Ｎ_２ (x,y) に属するフレームｎ_２で観測された画像間
フロー v(x,y,n_２ ) の信頼性は、大きさがＤ付近に達
する以前で最も信頼性の高かった画像間フロー v(x,y,n
_ｒ ) のなす角が小さいほど高いと考えられるので、信
頼性の指標 r(x,y,n_２ ) を次式のように計算する。

【００６７】

【数７】 ただし、Ｎ_２ (x,y) で表されるフレーム以外ではr(x,
y,n)＝∞とする。

【００６８】このように計算した信頼性の指標 r(x,y,n
_２ ) があるしきい値を上回ったらその画素は信頼性が
ないとし、その画像間フローを用いない。

【００６９】(c) 速度決定部３ 図６に速度決定部３の構成図を示す。

【００７０】速度決定部３は、移動時間決定部30と速度
情報出力部31からなる。以下でこれらの構成例を示す。

【００７１】(c-1) 移動時間決定部30 移動時間決定部30では、フロー蓄積部20で記憶されてい
る画像間フローに関する時系列データを用いて、信頼性
計算部21で信頼性があると判断された画素の画像間フロ
ーの大きさが、指標距離設定部11で設定した指標距離に
達するまでのフレーム数を計測する。フロー検出部1 で
述べた、小領域の輝度パターンの対応付けに基づく方式
では、画像間フローは画素単位の精度であるため、１秒
間に１０００フレームといった高速の動画像では、画像
間フローの大きさが数フレームに渡って指標距離Ｄと等
しくなる。これらのフレームから適切なフレームを選択
しないと、各画素の速度を精度よく求めることはできな
い。

【００７２】画像間フローが指標距離Ｄと等しくなるフ
レームの集合Ｎ_２ (x,y) の中から次式を満たすフレー
ムを、画像間フローが指標距離Ｄに達したフレームk(x,
y)として選択する（図８参照）。

【００７３】

【数８】 すなわち、画素(x,y) について、画像間フローの大きさ
が指標距離Ｄにほぼ等しくなるフレーム集合Ｎ(x,y) の
うち、画像中の小領域の輝度パターンの相関値が最も大
きくなるフレームを、指標距離に達したフレームとして
選択する。

【００７４】基準フレームからフレームk(x,y)までのフ
レーム数が指標距離に達したフレーム数である。

【００７５】［画像間フローに関する情報の記憶内容］
このような信頼性計算部21と移動距離決定部３０の構成
にした場合、フロー蓄積部20で時系列の画像間フローと
その相関値を全て蓄積しておく必要はなく、各画素につ
いて以下の５つの画像間フローに関する情報を記憶して
おけばよい。

【００７６】１ ．第１の情報 画像間フローの大きさが、指標距離Ｄより小さく０でな
い（フレーム集合Ｎ_１（x,y)で表される）フレームでの
画像間フローの相関値のうち、最大の相関値。

【００７７】２ ．第２の情報 第１の情報における最大の相関値をとる画像間フローの
方向。

【００７８】３ ．第３の情報 画像間フローの大きさが指標距離Ｄとほぼ等しくなる
（フレーム集合Ｎ_２（x,y)で表される）フレームでの画
像間フローの相関値のうち、最大の相関値。

【００７９】４ ．第４の情報 第３の情報における最大の相関値をとる画像間フローの
方向。

【００８０】５ ．第５の情報 基準フレームから、第３の情報における最大の相関値を
とるフレームまでのフレーム数。

【００８１】以上で述べた手法では、移動時間はフレー
ム単位の解像度しか得られない。

【００８２】そこで、相関値が最大となったフレームk
(x,y)の前後のｍフレームの相関値{s(x,y,k-m) 、…、s
(x,y,k)、…、s(x,y,k+m)} に二次曲線をフィッティン
グし、二次曲線が最小となるフレームk’(x,y) を求め
ることによって、より精度の高い移動時間を求めること
も可能である（図８参照）。

【００８３】この場合、フロー蓄積部20で蓄積しておく
情報は、前記の第３、５の情報を次のように変更すれば
よい。

【００８４】・変更後の第３の情報 画像間フローの大きさが指標距離Ｄとほぼ等しくなる
（フレーム数集合Ｎ_２（x,y)で表される）フレームでの
画像間フローの相関値のうち、最大の相関値と、その前
後の数フレームの相関値。

【００８５】・変更後の第５の情報 基準フレームから、変更後の第３の情報で蓄積した相関
値をとるフレームまでのフレーム数。

【００８６】また、移動方向についても画素単位の解像
度しか得られないので、指標距離に達したフレームk(x,
y)において、相関値計算部121 で計算した各画像間フロ
ーの相関値s(u,v;x,y,k)のうち、例えば図９の左図の網
掛け部のように最大の相関値s(1,-2;x,y,k) をとる画素
とその両隣の画素の相関値s(0,-2;x,y,k), s(2,-2;x,y,
k)に二次曲線を当てはめて、図９の右図のように二次曲
線が最大値をとる角度d’(x,y,k) を移動方向として求
めることによって、精度を高める事も可能である。この
場合、フロー蓄積部20で蓄積しておく情報は、前記の第
４の情報を次のように変更すればよい。

【００８７】・変更後の第４の情報 第３の情報における最大の相関値をとる画像間フローの
方向と、その両隣の画素の画像間フローの方向。

【００８８】［速度情報出力部31］速度情報出力部31
は、移動時間決定部30で得られた移動時間と移動方向を
入力として、速度情報を出力する。

【００８９】例えば、指標距離Ｄを移動時間で割って、
各画素の速度ベクトルの大きさを求め、各画素について
速度ベクトルの大きさと方向の２つのデータを出力する
方法、あるいは、各画素の移動ベクトルの要素を出力す
る方法、あるいは、移動時間と移動方向をそのまま出力
する方法などが考えられる。

【００９０】〈変更例１〉本発明は、前記実施例で記載
した内容に限定されるものではない。

【００９１】フロー検出部１において、前記実施例では
画像間フローの検出に画像中の小領域の輝度パターンの
対応付けに基づく方法を用いたが、これの代わりに既に
提案されている様々な方法を用いることができる。

【００９２】〈変更例２〉信頼性計算部21において、画
像間フローの大きさが指標距離Ｄより小さいフレームの
信頼できる画像間フローの方向（（４）式参照）とし
て、例えばこれらのフレームの画像間フローの角度の平
均値などを用いることもできる。

【００９３】この場合、フロー蓄積部20で蓄積しておく
情報は、画像間フローの角度の和とフレーム集合Ｎ_１
(x,y) の要素の個数で、信頼性計算部21において前記フ
ローの角度の和を前記要素の数で割ることによって、画
像間フローの角度の平均値を求めることができる。この
方法では、相関値のようなフロー検出部１から出力され
る画像間フローの計算の信頼性の情報を必要としない。

【００９４】〈変更例３〉（６）式の各画素の画像間フ
ローの信頼性として、得られたフローベクトルの角度の
分散を用いることも考えられる。

【００９５】分散が大きいほど得られたフローの方向に
は一貫性がなく、信頼性が低いと考えられる。この場
合、フロー蓄積部20で記憶しておく情報は、画像間フロ
ーの角度Ｓd(x,y)の和と、角度の自乗和Ｓd(x,y)²と、
足し算の回数ｍで、信頼性計算部２１において次式によ
って、角度の分散σ²d(x,y)を計算する。

【００９６】

【数９】 〈変更例４〉これまで実施例の信頼性計算部21の説明
や、変更例で述べてきたように、画像間フローの信頼性
に画像間フローの角度に関する指標を用いる以外にも、
画像間フローの大きさに関する指標を用いる方法も考え
られる。

【００９７】画像間フローの大きさは、画像間フローの
大きさが指標距離Ｄに達するまでのフレーム数に反比例
するので、例えば、指標距離Ｄ＝２のとき、（６）式の
代わりに次式を用いることも考えられる。

【００９８】

【数１０】 これは、例えばＤ＝２のときには、 n_ｒ (x,y) が大き
さ１の画像間フローが観測された時のフレーム数となる
ので、大きさ２の画像間フローが観測されるのは、基準
フレームからのフレーム数が 2× n_ｒ (x,y) である可
能性が高いということを利用している。

【００９９】また、 n_ｒ (x,y) の代わりにＮ_１ (x,
y) の要素の平均値や中間値を用いることも考えられ
る。

【０１００】〈変更例５〉移動時間決定部30では、画像
間フローが指標距離Ｄに達するフレームとして、画像間
フローの大きさが、指標距離Ｄにほぼ等しくなるまでの
フレームの集合Ｎ _２ (x,y) の要素の平均値、中間値、
あるいは、最小フレーム数と最大フレーム数の中央の値
を用いることなどが考えられる。

【０１０１】〈変更例６〉速度出力部31で速度を様々な
形態で出力することを述べたが、さらにその信頼性も付
加して出力することも考えられる。

【０１０２】例えば、信頼計算部21でしきい値処理を行
わずに、各画素の画像間フローの信頼性をそのまま出力
し、速度決定部３で計算される速度とともに出力するこ
とが考えられる。

【０１０３】また、速度決定部３で計算した速度の信頼
性は画像間フローの計算の信頼性にも依存するので、フ
ロー検出部1 で計算された画像間フローの相関値を速度
の信頼性としてともに出力することなども考えられる。

【０１０４】〈変更例７〉上記実施形態では、１秒間に
１０００フレームよりなる高速画像について対象とした
ため、各画素の移動軌跡は、略直線運動として推定でき
るが、例えば、各画素の移動がそれ以上に早く、かつ、
直線運動以外の規則的な運動（例えば、渦巻き状の運
動）をする場合には、その動きを考慮して信頼性計算部
21で各画素の信頼性を計算すればよい。なお、高速画像
でなく、これより低速で画像を取得する場合も同様にし
て各画素の動きを考慮すればよい。

【０１０５】

【発明の効果】本発明によれば、例えば、高速な時系列
画像（動画像）を入力し、各画素の移動量がある一定の
移動量量に達するまでの移動時間と移動方向を求めるこ
とによって各画素の移動速度を求める場合において、各
画素のフローベクトルの信頼性を求めて、その信頼性の
ある画素のみを処理することにより、移動時間と移動方
向の検出精度を向上させ、各画素の移動速度を正確に求
めることが可能となり、画素の移動速度を用いる画像処
理の精度向上に貢献する。

【図面の簡単な説明】

【図１】本発明の一実施形態の構成を示すブロック図で
ある。

【図２】画像間フローの概念の説明図である。

【図３】図１のフロー検出部の一実施形態を示すブロッ
ク図である。

【図４】図３のフロー計算部の一実施形態を示すブロッ
ク図である。

【図５】図１のフロー検証部の一実施形態を示すブロッ
ク図である。

【図６】図１の画像間速度決定部の一実施形態を示すブ
ロック図である。

【図７】画像間フローの信頼性計算手法の一実施形態を
示す説明図である。

【図８】移動時間を決定する手法の説明図である。

【図９】移動方向をの精度を向上する手法の説明図であ
る。

【符号の説明】

０…画像入力部 １…フロー検出部 １０…基準フレーム設定部 １１…指標距離設定部 １２…フロー計算部 １２０…局所マスク設定部 １２１…相関値計算部 １２２…対応判定部 ２…フロー検証部 ２０…フロー蓄積部 ２１…信頼性計算部 ３０…移動時間決定部 ３１…速度情報出力部

Claims (7)

【特許請求の範囲】
1. 【請求項１】画像を時系列的に取り込む画像入力手段
   と、 この画像入力手段によって取り込まれた時系列画像から
   画像間の各画素の移動に関する情報を有するオプティカ
   ルフローを検出するフロー検出手段と、 このフロー検出手段によって検出された前記オプティカ
   ルフローにおける各画素毎のフローベクトルの信頼性
   を、各画素毎に検証するフロー検証手段と、 このフロー検証手段で信頼性があると認められたフロー
   ベクトルに基づいて画素の移動量が一定の移動量となる
   移動時間を決定し、前記決定した移動時間と前記一定の
   移動量と前記画素のフローベクトルの方向成分とに基づ
   いて、前記画素の移動速度を求める速度決定手段と、 を具備したことを特徴とする動画像処理装置。
2. 【請求項２】前記フロー検証手段は、 前記フロー検出手段によって検出された各画素毎のフロ
   ーベクトルに関する情報を時系列的に蓄積するフロー蓄
   積手段と、 このフロー蓄積手段で蓄積された各画素毎のフローベク
   トルに関する時系列情報を用いて、各画素毎のフローベ
   クトルの信頼性を算出する信頼性算出手段と、 を具備したことを特徴とする請求項１記載の動画像処理
   装置。
3. 【請求項３】前記フロー蓄積手段は、 前記フロー検出手段で検出される任意の時刻における基
   準画像と、この基準画像と比較して時間的に前の画像、
   または、後の画像との間の各画素のフローベクトルに関
   する時系列データをそのまま記憶するか、その時系列デ
   ータを前記画素の信頼性を求めるための情報、または、
   前記画素の移動量が一定の移動量となる移動時間を決定
   するための情報に加工して記憶することを特徴とする請
   求項２記載の動画像処理装置。
4. 【請求項４】前記信頼性算出手段は、 前記フロー蓄積手段で蓄積された各画素のフローベクト
   ルに関する時系列情報を用いて、前記各画素の移動方向
   の時系列的変化、前記各画素の移動量の時系列的変化、
   または、前記各画素の移動量及び移動方向の時系列的変
   化が、所定の規則に基づいて変化しているか否かを評価
   し、その評価に基づいて前記画素で検出されるフローベ
   クトルの信頼性を算出することを特徴とする請求項２記
   載の動画像処理装置。
5. 【請求項５】前記速度決定手段は、 前記フロー蓄積手段に蓄えられた各画素のフローベクト
   ルに関する時系列情報を用いて、各画素の移動量が前記
   一定の移動量に達する移動時間を算出する移動時間決定
   手段と、 この決定した移動時間と前記一定の移動量と前記画素の
   フローベクトルの方向成分とから、前記画素の移動速度
   を求めて出力する速度情報出力手段と、 を具備したことを特徴とする請求項１記載の動画像処理
   装置。
6. 【請求項６】画像を時系列的に取り込む画像入力ステッ
   プと、 この画像入力ステップにおいて取り込まれた時系列画像
   から画像間の各画素の移動に関する情報を有するオプテ
   ィカルフローを検出するフロー検出ステップと、 このフロー検出ステップにおいて検出された前記オプテ
   ィカルフローにおける各画素毎のフローベクトルの信頼
   性を、各画素毎に検証するフロー検証ステップと、 このフロー検証ステップで信頼性があると認められたフ
   ローベクトルに基づいて画素の移動量が一定の移動量と
   なる移動時間を決定し、前記決定した移動時間と前記一
   定の移動量と前記画素のフローベクトルの方向成分とに
   基づいて、前記画素の移動速度を求める速度決定ステッ
   プと、 を具備したことを特徴とする動画像処理方法。
7. 【請求項７】画像を時系列的に取り込む画像入力機能
   と、 この画像入力機能において取り込まれた時系列画像から
   画像間の各画素の移動に関する情報を有するオプティカ
   ルフローを検出するフロー検出機能と、 このフロー検出機能において検出された前記オプティカ
   ルフローにおける各画素毎のフローベクトルの信頼性
   を、各画素毎に検証するフロー検証機能と、 このフロー検証機能で信頼性があると認められたフロー
   ベクトルに基づいて画素の移動量が一定の移動量となる
   移動時間を決定し、前記決定した移動時間と前記一定の
   移動量と前記画素のフローベクトルの方向成分とに基づ
   いて、前記画素の移動速度を求める速度決定機能と、 を実現するプログラムを記録したことを特徴とする動画
   像処理方法の記録媒体。