JP2007080129A - 動画像抽出装置、動画像抽出方法、該方法を実行するプログラム、流体計測装置、流体計測方法及び該方法を実行するプログラム - Google Patents

Abstract

【課題】 本発明は、周期的なノイズが混入する動画像から特徴的な画像領域を抽出するような画像処理についてその精度と画像品質を向上させ、同種のノイズが混入する画像処理による粉流体計測の精度を向上させることができる。
【解決手段】 本発明の動画像抽出装置は、周期的に変化する動画像の背景画像と着目する動画像の対象画像が同時に映りこんでいる時系列の静止画からなる入力画像から対象動画像を抽出する。そして、本発明の動画像抽出装置は、入力画像から所定の時間間隔で複数の静止画に分割するフレーム分割手段と、このフレーム分割手段によって分割された複数の静止画のうち位相が同一である静止画を平均化する平均化処理手段と、このフレーム分割手段によって分割された各静止画から平均化処理手段によって得られた平均化静止画を差分する差分処理を施して対象画像を抽出する演算手段とを有している。
【選択図】 図７

Description

本発明は、移動する動領域の領域を背景として動画像を画像処理によって抽出して背景除去処理を行う動画像抽出装置と動画像抽出プログラムに関する。また、特定の動画像の抽出を行うことで、流体計測精度を向上させた流体計測装置と流体計測プログラムに関する。

認識率向上・画像品質向上などの目的で画像から背景を抽出して除去する背景除去処理は、近来、計算機能力の向上から、デジタル化された画像を計算機によって画像処理することが一般的である。しかし、サンプルが動画像の場合は処理する情報量が多いため、効率的な処理方法が望まれている。

この背景除去処理ではキー信号となる画像から閾値処理によって画像中のオブジェクトを切り出すことが一般的である。例えばカラー画像をクロマキーによって背景除去処理を行う場合は、画像信号中の青色成分を他の色成分（赤色・緑色）と比較してその差が閾値より大きい場合そこを背景とし、小さい場合はオブジェクトと認識するというような手法である。また、グレースケール画像の場合は予め撮影された背景画像に対して一定の閾値以上の画素を有する画像領域をオブジェクトとして、その領域を定義する手法がある。その場合、基準背景画像の構成とオブジェクトの分離は閾値決定が非常に重要な要素となる。例えば特許文献１では複数フレームの背景相当像の特徴量から背景の変動を反映する背景モデルを構成することで、精度を増そうとしている。また、基準背景画像との差分を用いて入力画像からオブジェクトの抽出を行おうとする技術では、特許文献２のように入力画像と背景画像との加重平均が一定値以下の場合、入力画像を背景画像として次々と更新し、加重平均値が一定値以上の場合その背景画像と入力画像とを差分処理することで、オブジェクトの抽出の精度を高めようとしている。更に、特許文献３では、入力画像の各フレームを複数のブロックに分割し、各ブロックの特定周波数成分を求めておく。連続する２フレームに着目し、特定周波数成分が一致するブロック同士の一致度と画像上の距離を評価することで、移動する領域の抽出の精度を上げようとしている。

一方、微細な粒子などを流れ場中に混入させ、可視化された流れ場を画像化して画像処理によって流れ場の速度・方向の場の情報を得るという計測技法が存在する。混入する粒子（以下トレーサーと称す）は流れを乱すことがないように、十分粒子径を小さくする等が必要である。この場合、対象とする流れ場の色情報を用いて計測精度を上げるという試みもあるが、一般にはフレームレートの速い高速度カメラや高感度・高画素数のCCDカメラ・CMOSカメラを用いることが多いので、対象の動画はグレースケールで撮影されることが殆どである。また、一般の工学流体現象を計測する際には背景画像がノイズとして混入していることが多い。このような場合には上述の背景画像を除去する画像処理技術を適用し、トレーサーのみの画像をオブジェクトとして抽出することで計測精度を増すことができる。

一方、工学的な流体現象では一般的に背景に周期的な画像ノイズが発生することが一般的である。例えば流体を駆動させる圧力発生装置の一部が画像内に混入する場合や、それが照明を遮ることによる影が画像内に混入する場合、照明自体の光量の増減などである。特に、流体駆動装置の性能そのものを評価する目的で、ファン・ブローワー・スクリューなどの周期的な流体駆動装置内を移動する流体の挙動を計測するニーズは高い。

ここで、動画画像計測を阻害するノイズ要因を、静的、準静的、ランダム、そして周期的に分類して画像解析によってノイズ除去する場合を考察する。静的なノイズとは、観察対象となる物体以外の画像要素（背景）である。例えば上述のグレースケールの閾値で分離可能である。また、準静的なノイズとは、画像の背景が徐々に線形的に変化するような場合である。例えば屋外の監視画像の日照変化等である。例えば上述した特許文献１の技術で対応可能である。更に、ランダムなノイズとは、観察対象物体以外の画像要素が非周期的に変化する場合である。そして、周期的なノイズとは、比較的早い間隔でノイズが一定の変化を起こす場合である。本発明が対象とするのはこのようなノイズの分離である。
特許第３，０３７，４６９号明細書 特開平１１−２７１３４９号公報 特開平０４−２０９０７４号公報

しかしながら、上記特許文献１〜３の方法は、動き量が少なく、ゆっくりとした背景モデルに適応できるが、ファン・ブローワー・スクリューなどの周期的な流体駆動装置内を移動する流体の激しい挙動に対しては適応できなかった。特に、特許文献１では観察対象物体以外の画像要素の画素値の変化・移動量が小さい場合は静的なノイズ減少と同じ手法で対応可能であるが、大きい場合には画一的に対応するノイズ減少を行うことはできなかった。

本発明はこの問題点を解決するためのものであり、周期的なノイズが混入する動画像から特徴的な画像領域を抽出するような画像処理についてその精度と画像品質を向上させ、同種のノイズが混入する画像処理による粉流体計測の精度を向上させることができる、動画像抽出装置、動画像抽出方法、該方法を実行するプログラム、流体計測装置、流体計測方法及び該方法を実行するプログラムを提供することを目的とする。

前記問題点を解決するために、本発明の動画像抽出装置は、周期的に変化する動画像の背景画像と着目する動画像の対象画像が同時に映りこんでいる時系列の静止画からなる入力画像から対象動画像を抽出する。そして、本発明の動画像抽出装置は、入力画像から所定の時間間隔で複数の静止画に分割するフレーム分割手段と、このフレーム分割手段によって分割された複数の静止画のうち位相が同一である静止画を平均化する平均化処理手段と、このフレーム分割手段によって分割された各静止画から平均化処理手段によって得られた平均化静止画を差分する差分処理を施して対象画像を抽出する演算手段とを有することに特徴がある。よって、着目する対象画像の移動をより明確に把握することが可能となることによって、画像の目的によって認識率向上、画像品質向上、観察対象の明確な把握、計測精度の向上といった効果を得ることができる。

また、平均化処理手段は、位相が同一である各静止画における同一座標の画素濃度値を平均化して平均濃度値を求め、求めた平均濃度値の画素で構成する平均化静止画を作成する。よって、対象画像を消失させた背景画像のみを抽出することができる。

更に、演算手段は、分割された各静止画と平均化静止画の同一座標のピクセル値の差をとって当該差の絶対値を算出して差分処理を行う。よって、対象画像のみを精度良く抽出することができる。

また、入力画像は、背景画像及び対象画像を可視化するＸ線透過画像方式によって得られた動画像であることにより、可視光が非透過な容器内での流体の挙動を画像化でき、この場合の対象画像である流体をＸ線透過画像で観察することができる。この対象画像は、金属トレーサーである。また、水中などで発生するキャビテーション現象の観察の場合、対象画像は、泡である。

更に、演算手段によって抽出した対象画像のみを強調する画像処理手段を有することにより、対象画像をより一層明瞭に表示できる。

また、別の発明としての動画像抽出方法によれば、周期的に変化する動画像の背景画像と着目する動画像の対象画像が同時に映りこんでいる時系列の静止画からなる入力画像から所定の時間間隔で複数の静止画に分割し、分割された複数の静止画のうち位相が同一である静止画を平均化し、分割された各静止画から平均化された静止画を差分する差分処理を施して対象画像を抽出する。よって、周期的なノイズが混入する動画像から特徴的な画像領域を抽出できる。

更に、位相が同一である各静止画における同一座標の画素濃度値を平均化して平均濃度値を求め、求めた平均濃度値の画素で構成する平均化静止画を作成する。よって、対象画像を消失させた背景画像のみを抽出することができる。

また、位相が同一である各静止画と平均化静止画の同一座標のピクセル値の差をとって当該差の絶対値を算出して差分処理を行うことにより、対象画像のみを精度良く抽出することができる。

更に、抽出した対象画像のみを強調することにより、対象画像をより一層明瞭に表示できる。

また、別の発明として上記動画像抽出方法を実行するプログラムをコンピュータにより実行させることに特徴がある。よって、既存のシステムを変えることなく、動画像抽出システムを汎用的に構築できる。

更に、別の発明としての流体計測装置は、周期的に変化する動画像の背景画像である流れ場に、流れを乱さない性質を有する物質を混入させて、動画像内で対象物として着目し、当該対象物の挙動をもって間接的に流れ場における流体を計測して表示する装置である。そして、本発明の流体計測装置は、上記動画像抽出装置によって抽出された対象画像を時系列に加算的な総和画像処理を行い、対象物の軌跡情報を得る演算手段を有することに特徴がある。よって、画像の対象が流体である場合に、その流体の定量的な情報をより効率的に精度よく計測できる。

また、演算手段は、対象物が粒子状物体である場合粒子状オブジェクト像の重心座標を計算して定量的に対象物の挙動の情報を計算する。よって、定量的にその移動度を計測することができる。

更に、別の発明としての流体計測方法によれば、上記動画像抽出方法によって抽出された対象画像を時系列に加算的な総和画像処理を行い、そして対象物の軌跡情報を得て当該軌跡情報に基づいて表示する。よって、流体の定量的な情報をより効率的に精度よく計測できる。

また、対象物が粒子状物体である場合粒子状オブジェクト像の重心座標を計算して定量的に対象物の挙動の情報を計算することにより、対象物の移動度を明確に把握できる。

更に、別の発明としての上記流体計測方法を実行するプログラムをコンピュータにより実行させることに特徴がある。よって、既存のシステムを変えることなく、流体計測システムを汎用的に構築できる。

本発明によれば、周期的な画像ノイズを消去することにより、着目する対象画像の移動をより明確に把握することが可能となることによって、画像の目的によって、認識率向上、画像品質向上、観察対象の明確な把握、計測精度の向上といった効果を得ることができる。また、背景画像を効率よく取得することができる。

図１は本発明の動画像抽出方法を適用する周期的な流体駆動装置内の様子を示す図である。同図は充填された流体や粉体を搬送させるスクリューフィーダーに使用するスクリューの例である。同図において、スクリュー１１が回転することによって、粉体や流体は搬送される。ここで、充填する粉体を次のように定める。粉体種はグラスビーズ（平均直径１００μｍ）、スクリュー回転周期は５．０７（ｓ）（１１．８（ｒｐｍ））である。このグラスビーズはJIS規格JIS-Z8901に規定されるGBL-100タイプである。粉体は可視光では非透過なので、これらの粉体内に金属微粉体（以下金属トレーサーと称す）を混入させ、この金属トレーサーの挙動を観察することで、Ｘ線透過画像によって内部の流動状態を可視化する。ここで用いているグラスビーズは金属トレーサーと比較するとＸ線の吸収能は相対的に低い。そのため、Ｘ線透過画像では金属トレーサーの存在領域に対応して、黒い（Ｘ線吸収が高い）領域として画像化される。金属トレーサーが粉体の動きに追従することで、Ｘ線透過画像で粉体挙動の特徴を観察することができる。

ここで、挿入する金属トレーサーが観察対象とする粉体と同一の挙動をしているかが計測上の問題点となる。一般に粉体には、粉体粒子同士の密度・形状・大きさ・表面性質によって異なる粒子が分離するという「偏析」現象が存在することが一般である。金属トレーサーは観察対象とする粉体粒子の代表粒子径と一致する粒子を使用するが、原理的に密度・形状・表面性質が異なるため、偏析が発生してしまうと観察する現象が意味をなさなくなる。この偏析は対象とする粉体の流れ場に大きく依存する。すなわち、激しい振動が印加されているような場では各一個一個の粒子の移動が促進されることによって、偏析が発生しやすい。しかし、本実施の形態例で取り上げた上述のグラスビーズ（GBL100）粉体のスクリュー搬送場では偏析が発生せず、金属トレーサーと粉体とが殆ど同一の挙動をしていることを下記のように確認した。

図２に示すように、粉体スクリュー２１の上流端・下流端に粉体供給部２２と粉体収納部２３を設置し、粉体供給部２２からは粉体スクリュー２１による粉体輸送量と同量の粉体を開口部２４を介して供給するような装置を用意する。粉体スクリュー２１の移動量を変化させた際の粉体輸送量を、単位時間あたりに粉体収納部２３に蓄積される粉体量（ｇ／ｓ）として重量計測する。結果を図３に示す。この領域では完全に線形関係が成り立っている。

なお、粉体量Ｍ（ｇ／ｓ）から平均流速ｖ（ｍｍ／ｓ）への変換式は図２に示すスクリューフィーダーの場合下記の通りである。
ｖ＝Ｍ／（ρＡ）
但し、ρは粒子密度（ｇ／ｍｍ^３）、Ａ（有効断面積:ｍｍ^２）である。
そして、ρ＝２．４（ｇ／ｃｍ^３）＝２．４×１０^−３（ｇ／ｍｍ^３）、Ａ＝（９^２−３^２）π＝２２６．２（ｍｍ^２）とすると、
ｖ＝１．８４×Ｍとなる。

一方、エックス線で金属トレーサーを注入した粉体場を観察し、同じくスクリューの移動量をいくつか変化させて、金属トレーサーの搬送方向への速度を画像計測する。この結果を、上述の粉体量から算出した平均粉体流速と比較した結果を図４に示す。このように両者はほぼ一致するため、図２に示すスクリューフィーダーでは金属トレーサーの挙動は十分粉体と一致し、画像計測の用をなすと言うことができる。

図５は可視化した粉体内の金属トレーサーの時系列な挙動を示す図である。同図からわかるように、サイロ上の中空構造物内に粉体を充填させ、穴からシャッターをもって任意に金属トレーサーをスクリューフィーダー内に落下させている。実際には、画像は１／３０ｓ間隔で取り込まれているが、ここでは適当な時間間隔で抽出した３画像を示している。図中○内で囲んだ箇所が金属トレーサーである。金属トレーサーのＸ線吸収能はスクリュー材質のそれより大きい必要がある。このように画像を時系列に撮影することで、金属トレーサーの移動に関する情報を得ることができる。しかし、この場合スクリューは粉体とは異なる材質・密度を持っており、Ｘ線透過像では粉体と異なった吸収率を有するために、言うまでもないことであるが、画像内にノイズとして映りこんでしまう。ここでのノイズとは、観察対象である金属トレーサーの挙動の観察を妨げる画像要因をさす。スクリュー像は、観察や画像計測の精度を悪化させるノイズの原因となる。また、スクリューは移動しているため、単純な画像処理ではノイズを除去することができない。

次に、図１に示すように、スクリュー１１は一定の間隔Ｌ（ｍ）をもっており、また一定の回転速度Ｒ（回／秒）で回転しているとする。すると、図６に示すように、Ｘ線透過画像によるスクリュー１１の投影像は、例えばスクリュー１１の羽根の頂点Ｐが見かけ上、画像中の矢印Ａの方向にＬＲ（ｍ/s）の速度で移動するように得られる。点Ｐが隣接する点Ｐ'の位置まで移動する時間（以下周期と称す）は（１／Ｒ）（秒）である。この情報を用いて効率的にスクリューによる画像ノイズを除去することが本発明で意図するところである。

図７は本発明の一実施の形態例に係る動画像抽出装置の構成を示すブロック図である。同図に示す本実施の形態例の動画像抽出装置１００は、画像入力部１０１、Ａ／Ｄコンバータ１０２、画像記憶部１０３、フレーム分割処理部１０４、平均化処理部１０５、画像記憶部１０６、演算部１０７、画像記憶部１０８を有している。そして、例えばスクリューと金属トレーサーが映っている可視化画像の動画像などの入力画像が画像入力部１０１に入力されると、その画像はＡ／Ｄコンバータ１０２によってデジタル化され、画像記憶部１０３に保存される。そして、フレーム分割処理部１０４によって、図８に示すように、更に十分小さい時間間隔ｄｔ(s)をもって分割された静止画の集合体に変換し、更に時系列順に静止画をナンバリングする。ここで、十分小さい時間間隔とは金属トレーサーの挙動が十分追跡できることが可能な程度短いという意味であり、計測の目的ごとに異なる。一般にはトレーサーの移動距離が１１ピクセルを超えると、計算機による自動追跡は厳しいといわれているので、移動距離がそれ以下となるような時間間隔が望ましい。ナンバリングをＮ、撮影時間をＴ(s)とし、図８に示すように、一枚目の画像をそれぞれＮｕｍ＝０、Ｔ＝０（ｓ）とすると、Ｎｕｍ＝ｎ番目の静止画はＴ＝ｎ＊ｄｔ（ｓ）となる。そして、平均化処理部１０５ではフレーム分割処理部１０４によって分割された各静止画を、位相が同一の静止画として平均化し、画像記憶部１０６に保存させる。平均化処理部１０５が行う平均化とは、同一座標のピクセル値（画像濃度値）の平均化をいう。平均化の手順の様子を図９に示す。平均化される各静止画は原則として縦横同じ画素数でなければならない。

ここで、図９に示すように、画素数の横ａ×縦ｂ、画像濃度値８ｂｉｔのグレースケールの静止画を考える。また、平均化されるｎ枚の静止画をim_1,im_2,・・・,im_nとする。出力画像である平均化画像をav_imとし、これについて全ての画素について画像濃度値を求める。また、pix(x,y,filename)を、静止画filenameの座標(x,y)の画素濃度値とすると、平均化画像av_im中の任意の座標(x,y)の画素濃度値は以下の式で表される。

pix(x,y,av_im)=(1/n){pix(x,y,im_1)＋pix(x,y,im_1)
＋・・・＋pix(x,y,im_n)｝

ここで、位相が同一であることとは、各スクリューの羽根の頂点座標が誤差範囲ＥＲ（ｍｍ）内に存在する静止画同士の関係をいう。ここでＥＲは、位相が同一である候補画像が一周期以内にただ一つ決まるような値である必要があり、かつ十分小さい値である必要がある。図１０に具体例を示す。便宜的に図６に示すように見掛けの移動方向がｘであるとし、頂点のｙ座標は変化しないとする。ここで図１０のIMAGE Aと位相が同一の候補がIMAGE Bの３種類であり、IMAGE Bの３画像の頂点座標はそれぞれ（x0,y）(x1,y)(x2,y)で、x0<x1<x2であったとする。ここで((|x-x1|<|x-x0|) and (|x-x1|<|x-x2|))の場合、IMAGE Aと位相が同一な画像は頂点座標が(x1,y)である画像と定め、かつＥＲは((ER>|x-x1|) and (ER<|x-x0|) and (ER<|x-x2|))となる値を選ぶ必要がある。なお、|a-b|とはaとbの差の絶対値である。なお、条件X and 条件Yとは条件Xと条件Yが同時に真である条件をいう。このようなＥＲはスクリューの移動速度が一定であれば必ず存在する。一般的には、IMAGE AがNum=mの場合、位相が同一である画像はNum=m+N*INT（1/(dt*R)）である。（ただしNum>0）なお、Ｎは整数、INT(x)は実数xに最も近い整数である。それぞれ、平均化に用いた位相の同一な静止画の枚数が十分多い場合、平均化された静止画上では金属トレーサーの粒子像は相対的にぼやけて多くの場合消失する。具体的にはスクリューの平均濃度をp、スクリューの像とかぶった金属トレーサーの平均濃度をs、平均化された静止画の枚数をｋ（枚）とする（p<s）。平均化することによって金属トレーサーの平均濃度s'はs'=p+(p-s)/kとなり、枚数kが多ければ多いほどs'はpに近づき、画像上にて背景に金属トレーサーの像が埋没、すなわち消失することになる。ただしこの場合、金属トレーサーの占める画像面積は十分小さい必要がある。

図１１は位相が等しい画像同士の平均化処理の一例を示す図である。図１１の（ａ）〜（ｄ）に示す４枚の静止画は、Ｘ線によって可視化されたスクリューフィーダー内の流れを可視化した画像である。図１１の（ａ）中の点線で囲った部分は金属トレーサー装置注入装置であり、実線で囲った部分は金属トレーサーである。当然計測上はノイズとなる画像領域である。なお、画像は、実際はグレースケール画像であるが、図の関係からモノクロ２階調で示す。それぞれの画像は時系列的に並んでおり、例えば図１１の（ａ）の画像はT=t0で撮影された場合の画像である。各画像はスクリューの回転周期C(s)の時間間隔を有しており、見かけ上スクリューの形状は等しくなっている。しかし、金属トレーサーが混入していること、ランダムノイズがあることから画像として完全に等しいわけではない。これらの画像群を用いて、上述の平均化処理を行った結果を図１２に示す。図１２に示すように金属トレーサーの像が殆ど見えなくなり、背景画像、この場合はスクリューと金属トレーサー装置注入装置だけの画像を得ることができる。このような操作を、全てのスクリュー位相について行うことで、オブジェクトである金属トレーサーが画像中に存在しない背景画像、すなわち参照画像を得ることができる。

そこで、図７において、画像記憶１０３に保存されたノイズであるスクリュー像と金属トレーサー像が同時に映っている各静止画のフレームと、平均化処理部１０５によって平均化され、画像記憶部１０６に保存された背景画像だけの静止画フレーム（参照画像）の位相の同一な静止画フレームを演算部１０７によって差分処理を行い、結果を画像記憶部１０８に保存する。ここでの差分処理とは同一座標ピクセル値の差の絶対値をとることをいう。この処理によって、ノイズであるスクリュー像と金属トレーサー像からスクリュー像だけが消去され、金属トレーサー像のみが映った像が得られる。図１３にその具体例を示す。図１３の（ａ）〜（ｄ）の４画像は、図１１の（ａ）〜（ｄ）で示した各画像から、平均化された図１２の画像との差分を取った画像である。このような処理を行うことで、着目するオブジェクトのみを抽出することができ、オブジェクトの変形、座標変位などの画像計測が容易になる。

なお、以上説明した本実施の形態例の動画像抽出装置では、Ｘ線透過画像によって内部の流動状態を可視化する方法で、内部に金属トレーサーを混入させて当該金属トレーサーの挙動のみ画像を抽出する例であっったが、これ以外の本発明の適用例として例えばキャビテーションの画像による監視システムがある。キャビテーションとは船のスクリューなどの後部の静圧が水の蒸気圧より小さくなって発生する水蒸気の泡のことである。泡の発生量が多くなると、効率の低下やスクリュー破壊の原因になる。キャビテーション現象の泡の状態を画像解析によって監視する際には、回転するスクリューがキャビテーション現象の泡と重なることによって画像上のノイズとなり、解析の精度を劣化させる原因となる。本発明によれば、回転するスクリューの画像を既知の周期で変化する画像ノイズとして捉えることによって、効率良く解析用の画像から取り除くことが可能となり、解析精度を向上させることができる。また、規定の周期でコンベアー搬送される製品の欠陥を画像監視するシステムにも、本発明は有効に適用できる。画像監視では、一般に製品の形状・濃度変化を正常品のそれと比較して異常の存在を検知する。例えば製品をコンベアー上の突起や、コンベアーの屈曲部によって支持して搬送する場合など、対象とする画像以外のノイズとなり監視精度を減少させる。これらのノイズは上記と同様に、既知の周期で変化する画像ノイズとして捉えることが可能であり、解析精度を向上させることができる。

次に、図１４は別の発明の一実施の形態例に係る流体計測装置の構成を示すブロック図である。同図において、本実施の形態例の流体計測装置２００は上述した動画像抽出装置１００を含んで構成されて、流体の軌跡や流体の移動度を計測する装置である。そして、演算部２０１は、動画像抽出装置１００内の画像記憶部１０８に保存されている、金属トレーサーの像のみが映った静止画の集合の加算処理を行い、その結果を画像記憶部２０２に保存する。ここでの加算処理とは複数の静止画から演算処理によって一枚の静止画を作成する処理であって、かつ複数の静止画の各フレームの座標同一ピクセル同士の和を出力結果である一枚の静止画の座標として出力する処理をいう。金属トレーサーの像のみが映った像を加算処理することで、図１５に示すように、最終的に金属トレーサーの移動の軌跡（以下流跡線と称す）が得られる。この操作によって得られた像を、適当なスクリュー背景像と加算させた表示させた例を図１６に示す。図１６はグラスビーズ粉体内の金属トレーサーの挙動を表現した図である。このような画像を得ることによって、金属トレーサーの挙動から粉体流動の特徴を把握することが可能である。

また、動画像抽出装置１００内の画像記憶部１０８に保存されている、金属トレーサーの粒子像のみが映った静止画から、粒子像の座標を図１４の演算部２０３によって計測する。粒子像の座標は以下のように定義する。図１７に示すように、粒子像と認識される領域に着目する。この粒子像を構成する全ピクセルの濃度を、P０(x0,y0)、P1(x1,y1),P2(x2,y2)・・・Pn(xn,yn)とする。

この時、重心座標X,Yを以下の式で算出する。
X=（P0×x0＋P1×x1＋・・・＋Pn×xn）/（n×PSUM）
Y=（P0×y0＋P1×y1＋・・・＋Pn×yn）/（n×PSUM）
（ただしPSUM=P0＋P1＋・・・＋Pn）
この重心座標(X,Y)をもって金属トレーサーの粒子像の位置座標とする。

このようにして得られた位置座標を、時間間隔にプロットすることで金属トレーサーの移動度が計測できることとなる。また、この金属トレーサーが流体と同じ移動をしていると仮定することができれば、すなわち流体の移動度が計測できたこととなる。

図１８は本発明の一実施の形態例に係る動画像抽出方法の処理フローを示すフローチャートである。同図において、先ず、画像中に混入している周期的な画像ノイズを定義する（ステップＳ１０１）。上述のように、例えば画像ノイズとはポンプやスクリューなどの圧力発生装置の振幅等である。この画像ノイズの周期をＴ（ｓ）とする。ここでＴとは下記の式を満たすようにｄｔを決めなくてはならない。

ｎ×ｄｔ＞Ｔ＞ｄｔ

・整数型変数Xに画像のｘ方向の画素数を、Yに画像のｙ方向の画素数を入力する。
・整数型配列phase（ｎ）の領域を定義し、初期化する。初期化とは全ての値に０を入力することをいう。
・画像型配列IMAGE（X,Y,ｎ）、Ｂａｃｋｇｒｏｕｎｄ（X,Y,ｎ）、Tracer(X,Y,n)の領域を定義して初期化する。画像型配列は、ナンバリングされた画像の（X,Y）座標の濃度値が格納されている。例えば、IMAGE(a,b,c)は値ｃがナンバリングされた静止画の座標(a,b)の画素濃度値を示す。

なお、以降簡単のためにX、Yを省略して、IMAGE(ｘ,ｙ,N)を*IMAGE(N)と書くことにする。またこの画像型配列同士の演算を下記のように定義する。

(i) ＊IMAGE(N) ← ＊IMAGE(N')と書かれた演算の場合、全てのｘ、ｙについてIMAGE(x,y,N)に、対応するIMAGE(x,y,N')の値（濃度値）を入力するということとする。対応する値とは、同じx,y座標をもつ画素の濃度値という意味である。
(ii)画像型配列同士の和や差の演算
＊IMAGE(N)← ＊IMAGE(N') ＋ ＊IMAGE(N'') などと表すこととする。この式の意味は全てのｘ、ｙについてIMAGE(x,y,N)に、対応するIMAGE(x,y,N')とIMAGE(x,y,N'')の値の和を入力することを示す。
(iii)画像型配列のスカラー値との積除
＊IMAGE(N)← ＊IMAGE(N') × ａ（実数）と表す。この式の意味は全てのｘ、ｙについてIMAGE(x,y,N)に、対応するIMAGE(x,y,N')の濃度値にａを掛けた値を入力することを示す。

次に、整数型変数ｍにINT（T／ｄｔ）を入力する（ステップＳ１０２）。INT(ｘ)は実数ｘに最も値が近い整数を返す関数である。ｍは画像ノイズの一周期の分割フレーム数を示す。そして、画像型配列*IMAGE(ｘ)に、分割された静止画の全て（ナンバリング１〜ｎ）の画素情報を入力する（ステップＳ１０３）。次に、一周期分の背景画像の作成を行う（ステップＳ１０４）。ここでは、周期的な画像ノイズの一周期分の静止画像を作成することを目的とする。画像ノイズは周期的に変化しているので、位相が等しい場合、画像ノイズは画像内で等しい形状をもっているはずである。そこで、位相の等しい画像同士を平均化することによって、画像中の移動しているオブジェクト像は消去され、画像ノイズだけの像となる。この像を背景画像という。また、位相とは整数１〜ｍまでの値で示す。ここで、一周期分の背景画像の作成フローを図１９に示すと、先ず整数型変数Ｉを定義して１を入力し、整数型配列ｒｏｏｐ（ｎ）を領域定義して初期化する（ステップＳ２０１）。ｒｏｏｐ（ｘ）は位相ｘに相当する静止画の枚数を示す。次に、０＜Ｉ＜ｎ＋１の全てのＩについて以下の(i)，(ii)の操作を行う（ステップＳ２０２；ＮＯ，ステップＳ２０３）。

(i)I番目の画像の位相を求め、phase(I)に入力する。
(ii)画像型配列＊IMAGE(I)に着目し、対応する位相の画像型配列＊Background(phase(I))に積算的に保存していく。

次に、０＜Ｉ＜ｍの全てのＩについて以下の(i)の操作を行う（ステップＳ２０２；ＹＥＳ、ステップＳ２０４、ステップＳ２０５；ＮＯ、ステップＳ２０６）。
(i)画像型配列＊Background(I)に着目し、＊Background(I)＊(1/roop(I))を入力する。

次に、図１８において、画像差分による背景除去処理を行う（ステップ１０５）。ここでは、各静止画から対応する位相の背景画像を画像差分することで、画像から背景を消去してオブジェクトのみの画像とすることを目的とする。この画像差分による背景除去処理を図２０に示すと、先ず整数型変数Ｉを定義して１を入力する（ステップＳ３０１）。次に、０＜Ｉ＜ｎ＋１の全てのＩについて以下の(i)の操作を行う（ステップＳ３０２；ＮＯ、ステップＳ３０３）。(i)画像型配列＊IMAGE(I)に着目し、対応する位相の画像型配列＊Background(phase(I))との差分をとり、更にその絶対値を＊Tracer(I)に入力する。なお、ABS(x)はxの絶対値を返す関数である。

以上のように、図１８に示すような動画像抽出方法のプログラム処理を行うことによって、全ての＊Tracer(I)にオブジェクトのみが強調された、つまり背景が除去された画像が得られることになる。

次に、別の発明の一実施の形態例に係る流体計測方法について説明する。ここでも、対象とする画像は粉体種：グラスビーズ（平均直径１００μｍ）がスクリューフィーダーによって搬送されていく様子を、金属トレーサーを用いてＸ線透過画像方式で可視化した動画像とする。

先ず、動画像を上述した背景画像処理によって、背景の画像ノイズであるスクリューが回転している像を消去し、金属トレーサーが移動していく様子のみを示す静止画像を得る。そして、それぞれの静止画を積算して金属トレーサーの流跡線を得る目的で積算処理を施す。この積算処理フローを図２１に示す。同図において、整数型変数Iを定義し、画像型変数ASSEN（X,Y）を領域定義して初期化する（ステップＳ４０１）。次に、０＜Ｉ＜ｎ＋１の全てのＩについて以下の(i)の操作を行う（ステップＳ４０２；ＮＯ、ステップＳ４０３）。(i)金属トレーサーのみが画像として映った静止画の集合である＊IMAGE（Ｉ）に着目し、以下の演算を行う。ASSEN(X,Y)に対応するIMAGE(I)の濃度を加算し、ASSEN(X,Y)に入力する。このようにして、一枚の静止画であるASSEN（X,Y）に金属トレーサーが移動してく流跡線の様子が得られる。

次に、積算処理と平行して粒子座標計算処理を行う。目的は時系列で変化する金属トレーサーの座標を計測することである。粒子座標計算処理フローを図２２に示す。同図において、整数型変数Iを定義し、実数型配列Gravity_X(I)、Gravity_Y(I)を定義して初期化する（ステップＳ５０１）。０＜Ｉ＜ｎ＋１の全てのＩについて以下の(i)の操作を行う（ステップＳ５０２；ＮＯ、ステップＳ５０３）。＊IMAGE(I)に着目し、時系列に総和画像処理を行ってオブジェクトの挙動情報を抽出し、そしてオブジェクトの重心座標を計算し、その上でオブジェクトの流動画像を表示する方法によって、金属トレーサーの示す画像領域を定義し、その重心座標(x,y)を求める。そしてGravity_X(I)、Gravity_Y(I)にそれぞれx,yを入力する。

このようにして、全ての静止画フレームにおいて金属トレーサーの座標の情報が得られ、この金属トレーサーが流体と同じ移動をしていると仮定することができれば、すなわち流体の移動度が計測できたこととなる。

次に、オブジェクトの情報のみが映りこんでいる動画像を強調する画像処理フローを図２３に示す。画像例として図２４を示す。上述のように、対象とする画像は粉体種：グラスビーズ（平均直径１００μｍ）が、スクリューフィーダーによって搬送されていく様子を、金属トレーサーを用いてＸ線透過画像方式で可視化した動画像を、適当な時間間隔ｄｔで静止画分割した像である。ここではｄｔ＝０．２７（ｓ）とし、図２４には７フレームごと、すなわち時間間隔１．８７(s)の時系列的に連続する画像を示している。画像取得に際して、実験条件・粉体条件・可視化手法その他は図１等で説明しているものと同一である。また、本来画像はグレースケール情報を有しているが、図の制約のために２値画像に変換して示している。画像型配列領域Image(X,Y,n)、Background(X,Y,n)、Tracer(X,Y,n)などの取り扱いは、上述した背景画像処理で説明したものと同様である。先ず図１９で説明した背景画像処理を行う。背景画像処理を行い、オリジナル画像（図２４）から、時系列的にオブジェクト（ここでは金属トレーサー像）のみが映っている静止画の集合（図２５）を得る。この静止画の集合は＊Tracer(I)として出力される。その上で、図２３において、オリジナルの画像と同じ画素数・フレーム数をもつ画像型配列領域EM_IMAGE(X,Y,n)を定義し、初期化する（ステップＳ６０１）。上述のように、EM_IMAGE(X,Y,n)を＊EM_IMAGE(n)と省略して書く。次に、全ての０＜Ｉ＜ｎ＋１なるＩについて以下の操作を行う（ステップＳ６０２；ＮＯ、ステップＳ６０３）。得られた*Tracer(I)について強調処理を施す。この処理をEMPHASIS(＊Tracer(I))と表現する。例えば、グレースケール画像をＲＧＢのいずれかの色要素を付け加えることでカラー画像化すること等である。結果を＊EM_IMAGE(I)に入力する。次に、＊Image(I)と＊EM_IMAGE(I)を合成する。ここでの合成とは、たとえばグレースケール画像である＊Image(I)にオブジェクト像のみがカラー化された＊EM_IMAGE(I)の画像和を行うなどして、背景画像上にオブジェクトのみを強調するような処理をいう。ここでいう画像和とは、同一の画素数（X×Y画素）をもつグレースケール画像とＲＧＢ画像において、対応する画素の和をとり、新しいＲＧＢ画像を得ることをいう。例えば、グレースケール画像（ここでは＊Image(I)）の濃度がｎ、ＲＧＢ画像（ここでは＊EM_IMAGE(I)）の各色の濃度が（r,g,b）の場合、新しいＲＧＢ画像の各色の濃度を(r+n,g+n,b+n)とすることである。

また、カラー化を行わなくとも、単純なグレースケール画像同士の合成でもよい。グレースケール同士の合成とは、対応する画素同士の濃度の和をとり、新しいグレースケール画像の濃度とすることである。いずれかの画素濃度値に、係数をかけるなどの重み付け処理も、場合によっては有効である。

図２６にこの処理を行った結果を示す。なお、図の関係でカラー化ではなく、グレースケール画像のオブジェクトを強調し、２値化した結果である。これだけの処理でも図２４と比べると、格段にオブジェクトが強調されていることがわかる。一方、図２６との比較のために、図２７には単純に、オリジナル画像から一般の画像強調処理を行って得られた画像群を示す。一般の画像強調処理とは、例えば微分処理によるエッジ強調やアンシャープマスキング等の画像鮮鋭化処理である。図２７からわかるように、確かにオブジェクトも強調されているが、周囲の背景やノイズも同じように強調されてしまい、オブジェクトの判別は困難である。このように、単純な画像強調処理とは異なり、動画像の特徴を用いた適切な画像処理手段により、よりノイズが少なく効果的に対象とするオブジェクトのみを強調した処理を行うことができる。すなわち、一般の動画像でも感覚的にもより明瞭な動画像が得られ、流体計測の分野ではより精密な流速場測定などを行えることになる。

次に、図２８は本発明の動画像抽出方法及び流体計測方法の各実施の形態例を実行するプログラムを起動するための具体的な装置の構成を示すブロック図である。つまり、同図は上記実施の形態例における動画像抽出方法及び流体計測方法によるソフトウェアを実行するマイクロプロセッサ等から構築されるハードウェアを示すものである。同図において、動画像抽出システム及び流体計測システムはインターフェース（以下Ｉ／Ｆと略す）３０１、ＣＰＵ３０２、ＲＯＭ３０３、ＲＡＭ３０４、表示装置３０５、ハードディスク３０６、キーボード３０７及びＣＤ−ＲＯＭドライブ３０８を含んで構成されている。また、汎用の処理装置を用意し、ＣＤ−ＲＯＭなどの読取可能な記録媒体３０９には、本発明の動画像抽出方法及び流体計測方法を実行するプログラムが記憶されている。更に、Ｉ／Ｆ３０１を介して外部装置から制御信号が入力され、キーボード３０７によって操作者による指令又は自動的に本発明のプログラムが起動される。そして、ＣＰＵ３０２は当該プログラムに従って上述の動画像抽出方法及び流体計測方法に伴う処理を施し、その処理結果をＲＡＭ３０４やハードディスク３０６等の記憶装置に格納し、必要により表示装置３０５などに出力する。以上のように、本発明の動画像抽出方法及び流体計測方法を実行するプログラム、該プログラムが記録した記録媒体を用いることにより、既存のシステムを変えることなく、動画像抽出システム及び流体計測システムを汎用的に構築することができる。

なお、本発明は上記実施の形態例に限定されるものではなく、特許請求の範囲内の記載であれば多種の変形や置換可能であることは言うまでもない。

本発明の動画像抽出方法を適用する周期的な流体駆動装置内の様子を示す図である。 金属トレーサーを用いた粉体スクリューフィーダーの構成を示す概略図である。 スクリュー移動速度に対する収納粉体量を示す特性図である。 スクリュー移動速度に対する金属トレーサー平均流速と粉体平均流速を示す特性図である。 可視化した粉体内の金属トレーサーの時系列な挙動を示す図である。 Ｘ線透過画像によるスクリューの投影像を示す図である。 本発明の一実施の形態例に係る動画像抽出装置の構成を示すブロック図である。 分割した静止画を示す図である。 分割した静止画の平均化の様子を示す図である。 同一位相の静止画の関係を示す図である。 位相が等しい画像同士の平均化処理の一例を示す図である。 平均化処理結果を示す図である。 平均化処理の画像を各静止画から差分した一例を示す図である。 別の発明の一実施の形態例に係る流体計測装置の構成を示すブロック図である。 金属トレーサーの移動の軌跡を示す図である。 金属トレーサーの移動の軌跡像とスクリュー背景像と加算させて表示した例を示す図である。 金属トレーサーの粒子像を示す図である。 本発明の一実施の形態例に係る動画像抽出方法の処理フローを示すフローチャートである。 一周期分の背景画像の作成処理を示すフローチャートである。 画像差分による背景除去処理を示すフローチャートである。 積算処理を示すフローチャートである。 粒子座標計算処理を示すフローチャートである。 動画像を強調する画像処理を示すフローチャートである。 動画像を強調する画像例を示す図である。 本発明の動画像抽出方法によって抽出した時系列的にオブジェクトのみが映っている静止画を示す図である。 抽出した時系列的なオブジェクトだけを強調して背景領域と合成した静止画を示す図である。 従来の画像強調処理を施した静止画を示す図である。 本発明の動画像抽出方法及び流体計測方法の各実施の形態例を実行するプログラムを起動するための具体的な装置の構成を示すブロック図である。

符号の説明

１００；動画像抽出装置、１０１；画像入力部１０１、
１０２；Ａ／Ｄコンバータ、１０３；画像記憶部１０３、
１０４；フレーム分割処理部、１０５；平均化処理部、
１０６，１０８，２０２；画像記憶部、
１０７，２０１，２０３；演算部、１０８；画像記憶部、
２００；流体計測装置、２０４；出力部。

Claims (17)

1. 周期的に変化する動画像の背景画像と着目する動画像の対象画像が同時に映りこんでいる時系列の静止画からなる入力画像から対象動画像を抽出する動画像抽出装置において、
   入力画像から所定の時間間隔で複数の静止画に分割するフレーム分割手段と、
   該フレーム分割手段によって分割された複数の静止画のうち位相が同一である静止画を平均化する平均化処理手段と、
   前記フレーム分割手段によって分割された各静止画から前記平均化処理手段によって得られた平均化静止画を差分する差分処理を施して前記対象画像を抽出する演算手段と
   を有することを特徴とする動画像抽出装置。
2. 前記平均化処理手段は、位相が同一である各静止画における同一座標の画素濃度値を平均化して平均濃度値を求め、求めた平均濃度値の画素で構成する平均化静止画を作成する請求項１記載の動画像抽出装置。
3. 前記演算手段は、分割された各静止画と前記平均化静止画の同一座標のピクセル値の差をとって当該差の絶対値を算出して前記差分処理を行う請求項１記載の動画像抽出装置。
4. 前記入力画像は、前記背景画像及び前記対象画像を可視化するＸ線透過画像方式によって得られた動画像である請求項１〜３のいずれかに記載の動画像抽出装置。
5. 前記対象画像は、金属トレーサーである請求項４記載の動画像抽出装置。
6. 前記対象画像は、水中で発生するキャビテーション現象の泡である請求項１〜３のいずれかに記載の動画像抽出装置。
7. 前記演算手段によって抽出した前記対象画像のみを強調する画像処理手段を有する請求項１〜６のいずれかに記載の動画像抽出装置。
8. 周期的に変化する動画像の背景画像と着目する動画像の対象画像が同時に映りこんでいる時系列の静止画からなる入力画像から対象動画像を抽出する動画像抽出方法において、
   入力画像から所定の時間間隔で複数の静止画に分割し、分割された複数の静止画のうち位相が同一である静止画を平均化し、分割された各静止画から平均化された静止画を差分する差分処理を施して対象画像を抽出することを特徴とする動画像抽出方法。
9. 位相が同一である前記各静止画における同一座標の画素濃度値を平均化して平均濃度値を求め、求めた平均濃度値の画素で構成する平均化静止画を作成する請求項８記載の動画像抽出方法。
10. 位相が同一である前記各静止画と前記平均化静止画の同一座標のピクセル値の差をとって当該差の絶対値を算出して前記差分処理を行う請求項８記載の動画像抽出方法。
11. 抽出した前記対象画像のみを強調する請求項８〜１０のいずれかに記載の動画像抽出方法。
12. コンピュータにより、入力画像から所定の時間間隔で複数の静止画に分割する機能と、分割された複数の静止画のうち位相が同一である静止画を平均化する機能と、分割された各静止画から平均化された静止画を差分する差分処理を施して対象画像を抽出する機能とを実行させることを特徴とする動画像抽出方法を実行するプログラム。
13. 周期的に変化する動画像の背景画像である流れ場に、流れを乱さない性質を有する物質を混入させて、動画像内で対象物として着目し、当該対象物の挙動をもって間接的に流れ場における流体を計測して表示する流体計測装置において、
    請求項１〜７のいずれかに記載の動画像抽出装置によって抽出された前記対象画像を時系列に加算的な総和画像処理を行い、前記対象物の軌跡情報を得る演算手段を有することを特徴とする流体計測装置。
14. 前記演算手段は、前記対象物が粒子状物体である場合粒子状オブジェクト像の重心座標を計算して定量的に前記対象物の挙動の情報を計算する請求項１３記載の流体計測装置。
15. 周期的に変化する動画像の背景画像である流れ場に、流れを乱さない性質を有する物質を混入させて、動画像内で対象物として着目し、当該対象物の挙動をもって間接的に流れ場における流体を計測して表示する流体計測方法において、
    請求項８〜１１のいずれかに記載の動画像抽出方法によって抽出された前記対象画像を時系列に加算的な総和画像処理を行い、前記対象物の軌跡情報を得て当該軌跡情報に基づいて表示することを特徴とする流体計測方法。
16. 前記対象物が粒子状物体である場合粒子状オブジェクト像の重心座標を計算して定量的に前記対象物の挙動の情報を計算する請求項１５記載の流体計測方法。
17. コンピュータにより、請求項１２記載の動画像抽出プログラムを実行して抽出された前記対象画像を時系列に加算的な総和画像処理を行う機能と、前記対象物の軌跡情報を得て当該軌跡情報に基づいて表示する機能とを実行させることを特徴とする流体計測方法を実行するプログラム。
    

Images