JP2000194860A - 画像認識方法および画像認識装置 - Google Patents
画像認識方法および画像認識装置Info
- Publication number
- JP2000194860A JP2000194860A JP10371332A JP37133298A JP2000194860A JP 2000194860 A JP2000194860 A JP 2000194860A JP 10371332 A JP10371332 A JP 10371332A JP 37133298 A JP37133298 A JP 37133298A JP 2000194860 A JP2000194860 A JP 2000194860A
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- recognition
- unit
- acquired
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
高精度に認識可能な画像認識装置を提供する。 【解決手段】距離画像を取得する画像取得手段と、この
画像取得手段で取得した距離画像に対し変形を施す画像
変形手段と、この画像変形手段で得られた変形画像と前
記画像取得手段で新たに取得した距離画像とを比較する
ことにより、対象物の3次元的な動きの有無を認識する
認識手段とを具備する。
Description
または距離画像ストリームに基づいて画像の形状および
/または動きを認識する画像認識装置及び画像認識方法
に関する。
的な動きの認識を行う場合、まず、ビデオカメラなどの
撮像装置を用いて、手や顔などの認識対象物を正面から
撮影する。そして、その撮像された画像に現れる平面的
な(奥行き情報を持たない)限られた動きの変化と、そ
れ以外の様々な知識などを総動員して、3次元的な動き
を推測することで認識を行っていた。
る。
を用いて動きの推測を行う方法がある。これは、認識対
象物に予め幾つかの特徴点を定めておいて、対象物の動
きによって生じる特徴点どうしの位置関係の変化を用い
て動きを推測する方法である。例えば、顔を左右に振っ
ている(左右方向に回転させている)動作を認識する場
合、顔の特徴点として、目や鼻など数カ所定めておき、
顔の動きによって、目の位置の特徴点が左右に動いた、
両目の特徴点の間隔が狭くなった、右目の特徴点が消失
した(右目がカメラから見えない位置に移動したた
め)、などといった変化から顔を右に振っているのであ
ろうと推測する。
カメラ画像内で安定して得るためには、顔の特徴点の位
置にマーカーなどを貼付しなければならないため、使用
できる環境が限られているなどの問題があった。マーカ
ーを用いないこともあるが、この場合は特徴点の抽出を
安定的に行えない上に、特徴点を得るために多大な計算
コストも必要としてしまう。
変化を求めることで推測する方法がある。これは、例え
ば、手を縦軸周りに回転させる動きの場合、手の横方向
の前方投影面積が著しく変化するのに対し、縦方向はあ
まり変化しないというような性質を利用しており、この
ような場合、手の横方向の運動モーメントのみの変化が
激しいことより、手を縦軸周りに回転させているのでは
ないかと推測される。
する一手法ではあるが、認識に使用できる対象物の形状
に制限があったり、平面的な別の動きとの区別がつき難
いため、誤認識をする可能性があるなどの問題点があっ
た。
から推測する方法もある。例えば、さいころの3次元的
な動きを認識する場合、現在、「1」の面がカメラから
見えていて、それが「3」の面に変化したのだから、サ
イコロが回転したのだろうという推測が成り立つ。この
方法は、認識対象物の幾何学的な立体情報の知識を用い
ているため、比較的確実に3次元的な動きを推測するこ
とが可能であるが、認識を行うことのできる物体が限ら
れている、しかも、その物体に対する幾何学的な知識を
必要とするといったように、汎用性に関する問題点があ
る。
あろうが、何れにしても、これらの方法では、あくまで
も平面的な情報のみしか持たない画像から、3次元的な
動きを推測しているに過ぎず、3次元的な動きの認識を
安定的に、高精度で行うことは困難である。もともと3
次元的な形状の対象物をカメラで平面情報として取得し
た時点で、かなりの情報が欠落しているからである。
デオカメラを用いて、数カ所から同時に撮像し、各カメ
ラの対応点を求めることで、複数の撮像画像から立体情
報を計算し、それを用いて3次元的な動きを求めるとい
うことが行われていた。
立体情報を構成しているため、上述したような平面情報
から3次元情報を推測するという問題点は解決される
が、複数のカメラからの画像を立体的に融合するための
対応点の計算に大変計算時間を必要とするため、リアル
タイム処理に不向きであった。また、対応点を求めるた
めにカメラの位置情報を必要とするため、カメラの位置
に制約があったり、カメラ位置のキャリブレーションの
必要があったりした。
次元的な動きの認識を行う方法には様々な問題点があっ
た。
オカメラなどを用いて認識対象物を2次元情報しかもた
ない画像として取得していたため、3次元的動きの認識
を、2次元情報のみから行うしかなく、安定して、高精
度で3次元的な動きの認識を行うことは困難であるとい
う問題点があった。
あるいは認識辞書として準備しておく必要があり、テン
プレートや認識辞書の作成の手間が煩雑であるばかりで
なく、認識対象に応じて、常に作成し直すコストが膨大
であるという問題点があった。
のマッチングを行う必要があり、認識処理に時間がかか
るとい問題点があった。
像の3次元的な変形画像を用いることにより、認識のた
めのテンプレートや辞書を作る手間なく、かつ3次元的
な動きの認識を短時間でしかも安定して高精度に行うこ
とができる画像認識方法およびそれを用いた画像認識装
置を提供することを目的とする。
方法(請求項1)は、取得した距離画像に対し変形を施
して得られた変形画像と新たに取得した距離画像とを比
較することにより、前記距離画像中の対象物の3次元的
な動きの有無を認識することを特徴とする。
の3次元的な変形画像を用いることにより、認識のため
のテンプレートや辞書を作る手間なく、かつ3次元的な
動きの有無の認識を短時間でしかも安定して高精度に行
うことができる。
は、取得した距離画像に対し変形を施して得られた変形
画像と新たに取得した距離画像とを比較することによ
り、前記距離画像中の対象物の3次元的な動きの有無を
認識し、一連の複数の距離画像のそれぞれから認識され
た一連の動きを認識することを特徴とする。
の3次元的な変形画像を用いることにより、認識のため
のテンプレートや辞書を作る手間なく、かつ3次元的な
動きの認識を短時間でしかも安定して高精度に行うこと
ができる。
された一連の動きに基づき前記対象物の動きを予測す
る。
離画像から抽出された前記対象物の特徴量を基に前記対
象物の動きを予測する。
画像から抽出された前記対象物の特徴量と前記認識され
た一連の動きとに基づき、前記対象物の動きを予測す
る。
距離画像の変形態様を限定することができ、認識処理の
時間短縮が図れる。
された対象物の動きに基づき前記画像取得手段で取得さ
れた距離画像を圧縮する。
画像を通信を用いて転送する際の通信時間が短縮でき
る。
は、距離画像を取得する画像取得手段と、この画像取得
手段で取得した距離画像に対し変形を施す画像変形手段
と、この画像変形手段で得られた変形画像と前記画像取
得手段で新たに取得した距離画像とを比較することによ
り、対象物の3次元的な動きの有無を認識する認識手段
と、を具備する。
の3次元的な変形画像を用いることにより、認識のため
のテンプレートや辞書を作る手間なく、かつ3次元的な
動きの有無の認識を短時間でしかも安定して高精度に行
うことができる。
は、距離画像を取得する画像取得手段と、この画像取得
手段で取得した距離画像に対し変形を施す画像変形手段
と、この画像変形手段で得られた変形画像と前記画像取
得手段で新たに取得した距離画像とを比較することによ
り、対象物の3次元的な動きの有無を認識する第1の認
識手段と、この認識手段で一連の複数の距離画像のそれ
ぞれから認識された一連の動きを認識する第2の認識手
段と、を具備する。
の3次元的な変形画像を用いることにより、認識のため
のテンプレートや辞書を作る手間なく、かつ3次元的な
動きの認識を短時間でしかも安定して高精度に行うこと
ができる。
は、距離画像を取得する画像取得手段と、この画像取得
手段で取得した距離画像を記憶する記憶手段と、前記画
像取得手段で取得した距離画像およびまたは前記記憶手
段に記憶された距離画像のうち指定された距離画像に対
し変形を施す画像変形手段と、この画像変形手段で得ら
れた変形画像あるいは前記記憶手段に記憶された距離画
像と、前記画像取得手段で新たに取得した距離画像とを
比較することにより、対象物の3次元的な動きの有無を
認識する認識手段と、を具備する。
の3次元的な変形画像を用いることにより、認識のため
のテンプレートや辞書を作る手間なく、かつ3次元的な
動きの有無の認識を短時間でしかも安定して高精度に行
うことができる。
をテンプレート画像とした認識を行うことにより、予め
判別したい動きの距離画像を記憶手段に登録しておけ
ば、その動作が行われたのかどうかを認識することが可
能になる。
0)は、距離画像を取得する画像取得手段と、この画像
取得手段で取得した距離画像を記憶する記憶手段と、前
記画像取得手段で取得した距離画像およびまたは前記記
憶手段に記憶された距離画像のうち指定された距離画像
に対し変形を施す画像変形手段と、この画像変形手段で
得られた変形画像あるいは前記記憶手段に記憶された距
離画像と、前記画像取得手段で新たに取得した距離画像
とを比較することにより、対象物の3次元的な動きの有
無を認識する第1の認識手段と、この第1の認識手段で
一連の複数の距離画像のそれぞれから認識された一連の
動きを認識する第2の認識手段と、を具備したことを特
徴とする。
の3次元的な変形画像を用いることにより、認識のため
のテンプレートや辞書を作る手間なく、かつ3次元的な
動きの認識を短時間でしかも安定して高精度に行うこと
ができる。
をテンプレート画像とした認識を行うことにより、予め
判別したい動きの距離画像を記憶手段に登録しておけ
ば、その動作が行われたのかどうかを認識することが可
能になる。 (9)好ましくは(請求項11)、前記第2の認識手段
で認識された一連の動きに基づき前記対象物の動きを予
測する予測手段をさらに具備する。
手段で取得された距離画像から前記対象物の特徴量を抽
出する特徴量抽出手段と、この特徴量抽出手段で抽出さ
れた特徴量を基に、前記対象物の動きを予測する予測手
段と、を具備さらに具備する。
手段で取得された距離画像から前記対象物の特徴量を抽
出する特徴量抽出手段と、この特徴量抽出手段で抽出さ
れた特徴量と前記第2の認識手段で認識された一連の動
きとに基づき、前記対象物の動きを予測する予測手段
と、を具備する。
距離画像の変形態様を限定することができ、認識処理の
時間短縮が図れる。 (10)好ましくは(請求項14)、前記認識された対
象物の動きに基づき前記画像取得手段で取得された距離
画像を圧縮する画像圧縮手段を具備する。
画像を通信を用いて転送する際の通信時間が短縮でき
る。
実施の形態を説明する。
実施形態について説明する。
像認識装置の全体構成図である。
トリームを取得するための撮像手段を備えた画像取得部
1と、画像取得部1で取得された任意の距離画像に3次
元的な回転変形処理を施すための画像変形部2と、画像
変形部2で得られた変形後の距離画像と、画像取得部1
で取得された距離画像ストリーム中の任意の距離画像と
を比較するための画像比較部3とから構成される。
て説明する。
人間の手、顔、全身など)を、その3次元形状を反映し
た奥行き値を持つ画像(以降、距離画像と呼ぶ)として
所定時間毎(例えば1/30秒毎など)に取得するもの
である(例えば、特願平8−274949号の画像取得
方法などを用いて実現することができる)。
め、これらをメモリなどを用いて、画像取得部1の内部
または外部で逐次保持することで、対象物の距離画像に
よる動画像(以降、距離画像ストリームと呼ぶ)を得る
ことができる。このとき、距離画像ストリームは、距離
画像の取得間隔をt秒としたとき、「最新の距離画
像」、「最新からt秒前(以降、1フレーム前と呼ぶ)
の距離画像」、「最新から2t秒前(2フレーム前、以
下同様)の距離画像」、…、といった複数フレームの距
離画像の集合体として得られることになる。
に、発光部101、受光部103、反射光抽出部10
2、タイミング信号生成部104から構成される。
04にて生成されたタイミング信号に従って時間的に強
度変動する光を発光する。この光は発光部前方にある対
象物体に照射される。
の対象物体による反射光の量を検出する。
受光された反射光の空間的な強度分布を抽出する。この
反射光の空間的な強度分布は画像として捉えることがで
きるので、これを反射光画像あるいは距離画像と呼ぶ。
発せられる光の対象物による反射光だけでなく、照明光
や太陽光などの外光も同時に受光する。そこで、反射光
抽出部102は発光部101が発光しているときに受光
した光の量と、発光部101が発光していないときに受
光した光の量の差をとることによって、発光部101か
らの光の対象物体による反射光成分だけを取り出す。
て受光された反射光から、その強度分布、すなわち、図
3に示すような反射光画像(距離画像)を抽出する。
素の反射光画像の一部である8×8画素の反射光画像の
場合について示している。
なるにつれ大幅に減少する。物体の表面が一様に光を散
乱する場合、反射光画像1画素あたりの受光量は物体ま
での距離の2乗に反比例して小さくなる。
する単位受光部で受光した反射光の量を表す。反射光
は、物体の性質(光を鏡面反射する、散乱する、吸収す
る、など)、物体の向き、物体の距離などに影響される
が、物体全体が一様に光を散乱する物体である場合、そ
の反射光量は物体までの距離と密接な関係を持つ。手な
どは、このような性質をもつため、距離画像取得部1の
前方に手を差し出した場合の反射光画像は、手までの距
離、手の傾き(部分的に距離が異なる)などを反映する
図4に示したような3次元的なイメージを得ることがで
きる。
号に記載されているような画像取得部1を構成する発光
部101と、受光部103の外観の一例を示したもの
で、中央部には円形レンズとその後部にあるエリアセン
サ(図示せず)から構成される受光部103が配置さ
れ、円形レンズの周囲にはその輪郭に沿って、赤外線な
どの光を照射するLEDから構成される発光部101が
複数(例えば6個)等間隔に配置されている。
射され、受光部103のレンズにより集光され、レンズ
の後部にあるエリアセンサで受光される。エリアセンサ
は、例えば256×256のマトリックス状に配列され
たセンサで、マトリックス中の各センサにて受光された
反射光の強度がそれぞれ画素値となる。このようにして
取得された画像が、図3に示すような反射光の強度分布
としての距離画像である。
256画素の一部の8x8画素)を示したものである。
この例では、行列中のセルの値(画素値)は、取得した
反射光の強さを256ビットで示したものである。例え
ば、「255」の値があるセルは、画像取得部1に最も
接近した状態、「0」の値があるセルは、画像取得部1
から遠くにあり、反射光が画像取得部1にまで到達しな
いことを示している。
形式の距離画像データ全体を3次元的に示したものであ
る。この例では、人間の手の距離画像データの場合を示
している。
の距離画像の例を示す。距離画像は、奥行き情報を有す
る3次元画像で、例えば、x軸(横)方向64画素、y
軸(縦)方向64画素、z軸(奥行き)方向256階調
の画像になっている。図6は、距離画像の距離値、すな
わちz軸方向の階調をグレースケールで表現したもの
で、この場合、色が黒に近いほど画像取得部1からの距
離が近く、白に近くなるほど距離が遠いことを示してい
る。また、色が完全に白のところは、画像がない、ある
いはあっても遠方でないのと同じであることを示してい
る。
距離の2乗に反比例して小さくなる。すなわち、距離画
像中の各画素(i、j)の画素値をQ(i、j)とする
と、 Q(i、j)=K/d2 と表すことができる。
きに、R(i、j)の値が「255」になるように調整
された係数である。上式をdについて解くことで、距離
値を求めることができる。
得された認識対象物体の距離画像ストリーム中に含まれ
る距離画像のうち、常に最新より数フレーム前(例え
ば、常に1フレーム前)の距離画像(以降、サンプル画
像と呼ぶ)に3次元的な回転変形処理を施し、新たな距
離画像(以降、変形画像と呼ぶ)を生成するものであ
る。
の距離画像を用いるかは、画像取得部1の距離画像取得
間隔(フレームレート)、対象物の動作速度などの情報
を基に決定する。例えば、y軸回りに手を回転させる、
といったような一連の動作の間に、Nフレーム取得でき
るならば、サンプル画像は、1ないしNフレーム前の距
離画像の間で任意に選べばよい。
にして距離画像に3次元的な回転変形処理を行うのかを
詳細に説明する。図7に画像変形部2における回転変形
処理を説明するためのフローチャートを示す。
(x、y)=zの時、その画素位置にはz個の立方体
(以降、ボクセルと呼ぶ)が積み重なっていると見な
し、図8のように距離画像をボクセル単位に分割する
(ステップS1)。
一例であり、図9のように対象物のボクセル分割の範囲
を限定してもよい。例えば、図9(a)に示すように、
下方向に無限にボクセルが続いているとみなしたり、図
9(b)に示すように、ある範囲以下では、ボクセルは
存在しないとみなしたり、また、図9(c)(d)に示
すように、表面付近にしかボクセルがないとみなすなど
してもよい。
決定する(ステップS2)。なお、回転の中心位置は、
目的により任意に定めることができる。例えば、顔の回
転を求めたければ、クビの中心軸が中心になるようにす
ればよいし、手の回転を求めたければ、手の重心位置に
すればよい。
を決定する(ステップS3)。ここで、θxはx軸に対
する回転角、θyはy軸に対する回転角、θzはz軸に
対する回転角である。
と、画像取得部1の距離画像取得間隔(フレームレー
ト)、および何フレーム前をサンプル画像とするかによ
り定めることができる。例えば、手のy軸回りの回転動
作の速度が30度/秒ぐらいの動作を、1フレーム前を
サンプル画像とし、フレームレートが1/30秒の撮像
装置で捉えたい場合には、手は1フレーム間で1度回転
することになるから、θy=1度とすればよい。
(x、y、z)毎に次式(1)を用いて回転後の位置
(x’、y’、z’)を計算する(ステップS4)。
た回転の中心位置(x0、y0、z0)を中心に、各ボ
クセル(x、y、z)をx軸、y軸、z軸に対し、それ
ぞれθx、θy、θzだけ回転させる場合の計算式を示
している。
ルのことを、ボクセル(x、y、z)と呼ぶ。
演算処理を行う(ステップS5)。各ボクセルを回転さ
せた結果を図10(b)に示す。
1(a)に示すように、各画素位置(x、y)にあるボ
クセル(x、y、z)のzの最大値(Zmax)を求
め、それを変形画像の画素(x、y)の距離値d(x、
y)=Zmaxとして、距離画像を再構成する(ステッ
プS6)。
と式(1)による回転変形処理の流れは、あくまでも一
例であり、これに限定されるものではない。他の手法を
用いて距離画像の回転変形を行っても構わない。
の3次元的な回転処理を施した距離画像、すなわち変形
画像を生成することができる。
(b)に画像変形部2でサンプル画像に3次元的な回転
変形処理を施した変形画像の例を示す。この例では、手
のサンプル画像をy軸(縦方向)回りに回転変形処理を
行うことにより得られた変形画像が示されている。
取得された最新の距離画像(以降、最新画像と呼ぶ)
と、画像変形部2で得られた変形画像とを比較し、これ
ら2画像が類似しているかどうかを判別する。
像の相関を求めることにより行う。テンプレートマッチ
ング法は、その一手法で、比較対象物の画像と、予め用
意したテンプレート画像との類似度を計算することで、
対象物の画像とテンプレート画像が類似しているかどう
かを比較する方法である。ここでは、このテンプレート
マッチング法を用いることにより、相関を求めることと
する。
とし、それと最新画像とを、テンプレートマッチング法
を用いて比較することで、両者の類似の度合いを判別す
る。
ンプル画像に回転処理を施して得られた変形画像で、図
13(b)は、最新画像の例を示す。これら変形画像と
最新画像との間の類似の度合いを判別するのである。
トマッチング法を用いた処理の流れを説明するためのフ
ローチャートを示す。以下、処理の流れを図14に沿っ
て説明する。
ート画像の位置の正規化を行う(ステップS11)。位
置の正規化は、例えば、最新画像とテンプレート画像の
両者の重心位置を一致させることにより求めることがで
きる。このようにするためには、具体的には、最新画像
の重心位置を(xc 、yc 、zc)、テンプレート
画像の重心位置を(xt、yt、zt)とすると、テン
プレート画像をx方向にxc−xt、y方向にyc−y
t、z方向にzc−ztの距離だけ平行移動すればよ
い。
説明したが、位置の正規化の方法はこれに限定されるも
のではなく、最新画像とテンプレート画像の両者の重心
が特定の場所になるように、両者をそれぞれ平行移動し
てもよいし、重心位置以外の他の手がかりを用いること
で行っても良い。
ミング距離を計算する(ステップS12)。ハミング距
離(H)は、次式(2)より計算する。
座標、d(i、j)は最新画像の座標(i、j)での距
離値、t(i、j)はテンプレート画像の座標(i、
j)での距離値である。
方法を説明したが、ハミング距離の導出は、これに限定
されるものではなく、他の計算式を用いても良い。
予め定めた閾値(Th)を下回っている(すなわち、H
<Th)かどうか判定する。閾値を下回っている場合
は、最新画像とテンプレート画像が類似していると見な
す(ステップS13〜ステップS14)。
類似しているかどうかを判別することができる。
画像とのハミング距離を求めることで、最新画像とテン
プレート画像の類似度を計算する方法について説明した
が、類似度の計算は、これに限定されるものではなく、
ハミング距離とは異なった定義を持つ距離の計算を用い
る方法など、他の計算方法を用いても構わない。
法を用いて相関を計算する方法について説明したが、相
関の導出方法はこれに限定されるものではなく、DPマ
ッチング法、KL変換法などを用いて求める方法、両画
像をフーリエ変換し、フーリエ変換後の画像について相
関解析をする方法など、考えられるあらゆる方法を用い
ることができる。
フレーム前(例えば、1フレーム前)の画像を回転させ
たものと、最新の画像が類似しているかどうかを知るこ
とができる。つまり、対象物が数フレーム前から現在ま
でに、回転を行ったかどうかを認識することができる。
像内の2次元的な情報から、3次元的な回転を推測する
といった認識手法(例えば、手のx軸方向(横方向)の
投影面積が減少したから、手をy軸周りで回転したので
あろうといったもの)と異なり、実際に距離画像の3次
元的な回転を行い、その3次元的な情報を用いることで
認識を行っているため、従来法よりも、より確実に、よ
り安定して認識を行うことが可能である。
いた認識では、予め多数のテンプレート画像を用意して
おく必要があったが、本実施形態の方法では、常にリア
ルタイムに変形画像を生成し、それをテンプレート画像
として用いるため、予めテンプレート画像を用意してお
く必要がなく、メモリなどを消費しないため効率的であ
る。
いた認識の場合、予めあらゆるテンプレート画像を全て
用意することは事実上不可能なので、通常は、認識対象
物の代表的な形状と考えられているものを幾つか選別し
て用意しておくことが多い。例えば、顔の認識の場合、
成人男性の顔、成人女性の顔、子供の顔、老人の顔など
を何人分か用意するといったようにである。このとき、
比較対象となるテンプレート画像は代表的な形状で代用
されるため、現在の認識対象物と細部の面で異なること
が多く、それが類似度を下げる一因になっていた。ま
た、不特定の対象物に対して認識を行おうとする場合、
テンプレート画像をなるべく多数用意しなければ、認識
率を向上させることができなかった。しかし、本実施形
態の方法では、認識対象物自身を変形することによりテ
ンプレート画像を生成しているため、このような問題点
は生じることがなくなった。
対象物の数フレーム前の距離画像の3次元的な回転変形
をその場で行い、その変形により得られた画像と現在の
距離を比較することで、対象物の3次元的な回転動作を
リアルタイムで、安定して認識することが可能となっ
た。
ず、種々変形して実施することができる。以下では、本
実施形態のいくつかの変形例を示す。 (第1の実施形態の第1の変形例)画像取得部1で、所
定時間毎に距離画像を取得するのではなく、特定のタイ
ミング(例えば、ユーザの指示など)で距離画像を取得
するようにしてもよい。
が開始時と終了時をスイッチで指示し、その間に回転動
作が行われたかどうかといったような、任意の時間間隔
内での3次元的な回転動作認識を行うことが可能であ
る。
るために、エアバッグ装備が法制化されている。が、エ
アバッグの膨張時に助手席の同乗者がどちらを向いてど
のあたりに座っているかを検知して、同乗者をエアバッ
グで圧迫することがないようにせねばならない。このよ
うな時、座席に座って、シートベルトを装着した時点
で、助手席の同乗者の顔の距離画像を取得し、それをサ
ンプル画像として変形画像を求める。エアバッグを膨ら
ませる直前の顔の距離画像を取得し、変形画像と比較す
ることで、同乗者の顔の位置と向きを高精度で認識する
ことが可能となる。 (第1の実施形態の第2の変形例)画像変形部2で、最
新のフレームではなく、過去の特定のフレームを基準と
して、そこから数フレーム前(例えば、1フレーム前)
の距離画像の3次元的な回転変形処理により変形画像を
生成し、画像比較部3で、画像変形部2で基準としたフ
レームと、画像変形部2で得られた変形画像とを比較
し、これら2画像が類似しているかどうかを判別するよ
うにしてもよい。
時点での3次元的な回転動作認識を行うことが可能であ
る。 (第1の実施形態の第3の変形例)画像変形部2および
画像比較部3を以下のように変更して用いることもでき
る。
に、変形パラメータが異なる複数の3次元的な回転変形
処理を施し、複数の変形画像の生成を行う。
得部1によって取得された最新画像と、新たな画像変形
手部2で得られた変形パラメータが異なる複数の変形画
像とを比較し、最新画像と類似している変形画像がある
か、あるならば、どの変形画像が最も類似しているかを
判別する。
でどのような処理を行うのかを具体的に説明する。
離画像がサンプル画像として得られたとする。
図19に示すように、例えば、上下左右方向にそれぞれ
同じ角度だけ回転させた4つの変形画像を生成する。図
16は、頭の重心位置を中心とし、(θx、θy、θ
z)=(2、0、0)だけ回転させて、顔を少し上に向
かせたものである。図17は、同じく、頭の重心位置を
中心とし、(θx、θy、θz)=(−2、0、0)だ
け回転させて、顔を少し下に向かせたものである。図1
8は、同じく、頭の重心位置を中心とし、(θx、θ
y、θz)=(0、2、0)だけ回転させて、顔を紙面
に向かって少し右に向かせたものである。図19は、同
じく、頭の重心位置を中心とし、(θx、θy、θz)
=(0、−2、0)だけ回転させて、顔を紙面に向かっ
て少し左に向けたものである。なお、角度の単位は、
「度」である。
たことにより、画像取得部1に近づく方向に変形された
部分の色が黒に近づき、遠くなる方向に変形された部分
が白に近くなっている。
19の4つの変形画像を全てテンプレート画像として、
画像比較部3では、これら変形画像と図20に示すよう
な最新画像とでテンプレートマッチング法を用いて、4
つの変形画像中で最新画像に類似しているものがあるか
どうか、あるならば、どれが一番類似しているかを調べ
る。
プレートマッチング法を用いた処理の流れを説明するた
めのフローチャートを示す。以下、処理の流れを図21
に沿って説明する。
択する(ステップS21)。すなわち、Tiは、図16
〜図19の4つの変形画像中のどれかということにな
る。
様に、位置の正規化を行う(ステップS22)。
テンプレート画像(Ti)とのハミング距離を計算する
(ステップS23)。
距離の計算が終わったかどうか判定する(ステップS2
4)。終わっていなければ、ステップS21に戻る。全
てのテンプレート画像について終わったら、ハミング距
離が最小(Hmin)となるテンプレート画像(Tmi
n)を選ぶ(ステップS25)。ここでは、例えば、図
16に示した変形画像が選ばれたとする。
値が、予め定めた閾値(Th)を下回っている(すなわ
ち、Hmin<Th)かどうか判定する(ステップS2
6)。閾値を下回っている場合は、最新画像とテンプレ
ート画像(Ti)が類似していると見なす(ステップS
27)。もしこの条件に当てはまれば、図16の変形画
像が最新画像に類似していることが求められた。
ている変形画像を知ることができる。(類似している変
形画像がないという結果が得られる場合もある(ステッ
プS28)。) このようにすることで、図20に示した最新画像は、図
16に示した顔を右側に向けたものと類似していること
が得られたので、「顔を右側に向けた」ことが認識され
た。
の回転方向(どちら側に回転したか)を認識することが
可能である。
て変形画像を作成する方法について説明したが、これは
変形パラメータが異なる複数の3次元的な回転変形処理
の一例であり、これに限定されるものではない。上下左
右、右上、左上、右下、左下の8方向にしたり、右側だ
けを重点的に調べるために増やしたり、また、同じ方向
でも、回転角を代えたものを複数枚用意したり、という
ように認識の目的に応じて自由に選択することができ
る。
示したようなサンプル画像に対し、図23〜図26に示
したような手の重心位置を中心として、上下左右の4方
向のそれぞれに回転させて変形画像を生成する交わり
に、図27〜図30に示すように、上下左右方向にそれ
ぞれ回転角の異なる変形画像を複数(この例では、1度
と2度の2通り)生成してもよい。
(1、0、0)だけ回転させて、手を少し上に向けたも
ので、図27(b)は、さらに1度、(θx、θy、θ
z)=(2、0、0)だけ回転させて、手をさらに上に
向けたものである。図28(a)は、(θx、θy、θ
z)=(−1、0、0)だけ回転させて、手を少し下に
向けたもので、図28(b)は、さらに1度、(θx、
θy、θz)=(−2、0、0)だけ回転させて、手を
さらに上に向けたものである。図29(a)は、(θ
x、θy、θz)=(0、1、0)だけ回転させて、手
を紙面に向けて右に少し向けたもので、図29(b)
は、さらに1度、(θx、θy、θz)=(0、2、
0)だけ回転させて、手をさらに右に向けたものであ
る。図30(a)は、(θx、θy、θz)=(0、−
1、0)だけ回転させて、手を紙面に向けて左に少し向
けたもので、図30(b)は、さらに1度、(θx、θ
y、θz)=(0、−2、0)だけ回転させて、手をさ
らに左に向けたものである。
角の異なる変形画像を複数(この例では、1度と2度の
2通り)用意することで、認識対象物の回転方向だけで
なく、回転量も同時に認識することができる。
が変化しなければ、回転量は、動作の速度に比例するの
で、動作方向と動作速度の認識が同時に行われたことに
なる。
ような対象物の動作の認識だけでなく、その動作の速度
も同時に得ることができる訳である。 (第1の実施形態の第4の変形例)第1の実施形態の画
像変形部2では、3次元的な回転変形処理を施して変形
画像を生成したが、何の変形も行わないもの、つまりサ
ンプル画像をそのまま変形画像として用いることも可能
である。
うかの認識が可能である。 (第1の実施形態の第5の変形例)第1の実施形態の画
像変形部2では、3次元的な回転変形処理を施して変形
画像を生成したが、平行移動変形処理を施して変形画像
を生成するようにしてもよい。
動動作の認識が可能である。
手法として平行移動変形処理について説明したが、変形
手段はこれに限定されるものではなく、拡大・縮小、反
転(ミラーリング)、トリミングなど、その他考えられ
る全ての変形手法を用いることが可能である。
な拡大・縮小動作の認識などといったような、認識対象
物の任意の変形に関する動作認識を行うことが可能とな
る。
理を複数組み合わせて同時に施すことで、回転動作、平
行移動動作といった単一の動作の認識のみだけでなく、
任意の動作の認識を行うことが可能である。
移動変形」と「y軸(縦方向)周りの回転変形」を組み
合わせて変形画像を生成することで、手を奥行き方向の
前後に動かしながら縦軸周りに左右に回転させるなどと
いう動作を認識することができる。 (第2の実施形態)次に、本発明の第2の実施形態につ
いて説明する。
画像認識装置の全体構成図である。
形態の画像認識装置に加え、画像比較部3での比較結果
を用いて動きの認識を行うための動き認識部4が追加さ
れた構成になっている。
る。
ることで、最新フレームとその数フレーム前との間で回
転動作が行われたかどうかを判別することが可能であっ
た。第1の実施形態における画像取得部1では、所定の
間隔で、逐次距離画像の取得が行われるため、この回転
動作の判別を最新フレームが得られる毎に繰り返すこと
で、「回転動作が行われた」および「回転動作がおこな
われなかった」という2つの選択肢のうちの1つが認識
結果として逐次得られてゆくことになる。
次得られた回転動作が行われたかどうかの判定結果の流
れを用いて、さらに詳細に、その回転動作にどのような
意味があるかという動きの認識を行うものである。
ームで回転動作が行われたかどうかの判定結果が逐次得
られるので、任意の時間間隔内での回転動作が行われた
回数の合計をカウントすることで、その時間間隔内に行
われた動作の回数を知ることができる。
を発することができず、手しか動かせないような人の場
合でも、例えば、手を1回転させたら「はい」、2回な
ら「いいえ」、3回なら「なにかしたい」などというよ
うに自分の意志を伝えることが可能となる。従来、病室
などにいる患者が何か異常をきたした場合には、枕元に
ある押しボタン式のブザーで、看護婦や医者を呼び出
し、インターフォンで会話をすることで意思を伝えてい
た。しかし、声を発することができない場合には、看護
婦や医者が病室に到着するまで意思の疎通が困難だっ
た。このような場合に本画像認識装置をブザーやインタ
ーフォンの代わりに用いることで、前述したように医者
や看護婦がその場にいなくても意思の疎通が可能とな
る。
特定時間で回転動作を「した、した、しない、した、し
ない、…」といった様に、動作をしたかどうかのパター
ンとして得ることも可能である。
像認識装置をパーソナルコンピュータ(PC)に接続
し、回転動作を「しない、しない、した」という動作パ
ターンが得られた時には、ワープロソフトを起動する、
「しない、した、した」の時には、表計算ソフトを起動
する、などというようにして、予め定めておいた動作パ
ターンに応じて何が起こるかを決めておき、ユーザの手
振りのアクションなどでPCを操作することが可能とな
る。また、同様にして、あるパターンの時は、電源O
N、別のパターンの時は音量の切り替え、というように
TV・ビデオなどの家電機器を操作する、パターンによ
ってキャラクターの動きを変えるなどというようにゲー
ム機の操作に用いる、といったようにハンドアクション
での様々な機器の操作などに用いることができる。
で手の回転動作の回数を計数する場合、動き認識部4
は、手を1回転させた動作に対し「はい」、2回転させ
た動作に対し「いいえ」、3回転させた動作に対し「な
にかしたい」という動きの意味(種類)を記憶したテー
ブルを持っている。動き認識部4では、このテーブルを
参照して、画像比較部3での認識結果から得られる動き
(例えば、手の回転)の回数に対応する、その動きの種
類を認識して出力する。
る」「しない」という認識が行われるのであれば、動き
認識部4には、回転動作を「しない、しない、した」と
いう一連の動作パターンに対し「ワープロソフトを起動
する」という種類の動きを、また、回転動作を「しな
い、した、した」という一連の動作パターンに対し「表
計算ソフトを起動する」という種類の動きを予め記憶し
たテーブルを持っている。動き認識部4では、このテー
ブルを参照して、画像比較部3での認識結果から得られ
る予め定められた一連の動作パターンに対応する、その
動きの種類を認識して出力する。 (第2実施形態の第1の変形例)第1の実施形態の第3
の変形例で説明した画像認識装置に、上で説明した動き
認識部4が追加された場合、動き認識部4では、どのよ
うな動作が続けて行われたのかを知ることができる。
た」「顔の動きはない(静止している)」、「顔を左に
回転した」、「顔を左に回転した」、「顔の動きはな
い」、「顔を右に回転した」、…、といった動作が行わ
れたならば、顔を左右に振っている(いいえの動作をし
ている)と認識することができる。 (第2の実施形態の第2の変形例)第1の実施形態の第
5の変形例に動き認識部4を追加することで、例えば、
手が、まず「右に平行移動」し、次に「縦軸周りに回
転」、そして「奥行き方向に移動」、…、などといった
ような一連の動作の認識を行うことができる。
有のモーションをドアの自動ロック装置や銀行のATM
装置などの個人認証装置に予め登録しておき、その装置
の認証過程でそのモーションを実行しそれが登録されて
いるモーションと合致しているかどうかを判定すること
で、登録した人物かどうかを知ることができる。このよ
うに、本画像認識装置を個人認証に用いることが可能で
ある。
の変形パラメータが分かっているため、そのパラメータ
を全て保持することで、任意のモーションを数式化する
ことができる。
どのそれと異なり、あいまい性が高いため、例えば、回
転の中心、回転角度等のパラメータを用いて数式で表す
ことが難しかったが、これを数式で明示化できる。 (第3の実施形態)次に、本発明の第3の実施形態につ
いて説明する。
画像認識装置の全体構成図である。
形態の画像認識装置に加え、距離画像または距離画像ス
トリーム(所定時間おきに取得される時系列に連続した
複数枚の距離画像)を保持しておくための画像保持部6
と、画像保持部6に保持された距離画像または距離画像
ストリームの中から、任意の距離画像または距離画像ス
トリームを抽出するための画像指示部5が追加された構
成になっている。
得られた距離画像または距離画像ストリームを保持して
おくためのものである。保持の方法としては、例えば、
保持対象の距離画像または距離画像ストリームを1つ
の、あるいは複数のファイルとしてハードディスクやシ
リコンディスク、メモリなどに蓄えておく。
でありこれに限定されるものではない。任意の保持方法
を用いることができる。また、2種類以上の保持方法を
同時に用いることも可能である。
ない。複数のハードディスクなどに分割して保持されて
いても良いし、ネットワークを介して物理的に異なる場
所(例えば、東京と大阪など)に存在しているPC内の
ハードディスクなどに分散的に保持されていてもよい。
れた任意の距離画像、または距離画像ストリームや、画
像取得部1で取得された距離画像または距離画像ストリ
ーム、画像変形部2で変形処理された距離画像などを任
意のタイミングで保持することができる。
た任意の距離画像または距離画像ストリームを抽出し、
画像変形部2に渡す。
抽出することも可能である。例えば、10フレームから
構成される距離画像ストリームがあった場合、その3フ
レーム目から7フレーム目までの5フレームのみを抽出
し、5フレームからなる距離画像ストリームとして渡す
こともできるし、距離画像ストリーム中の任意の距離画
像を渡すこともできる。
で取得したサンプル画像ではなく、画像指示部5で抽出
された距離画像をサンプル画像とした変形画像の生成が
行われる。
形態とは異なり、予め蓄えられた距離画像の変形画像を
テンプレート画像とした認識が行われる。
画像保持部6に登録しておけば、その動作が行われたの
かどうかを認識することが可能になる。 (第3の実施形態の第1の変形例)第2の実施形態で説
明したような動き認識部4を本実施形態にさらに具備し
てもよい。
えて、第2の実施形態での効果も同時に得ることができ
る画像認識装置を構成することができる。 (第3実施形態の第2の変形例)本実施形態では、画像
指定部5で抽出した距離画像または距離画像ストリーム
を画像変形部2に入力して変形画像を生成し、それを画
像比較部3での比較対象(テンプレート画像)としてい
るが、画像指示部5で抽出した距離画像または距離画像
ストリームを直接画像比較部3に入力して、比較対象と
してもよい。
示した距離画像ストリームを画像保持部部6に登録して
おき、これを画像指示部5で抽出し、画像取得部1で取
得された距離画像ストリームと抽出された距離画像スト
リームを比較することが可能となる。
たモーションが行われたかどうかを認識することができ
る。
変形処理を予め施した距離画像を画像保持部5で保持し
ておくことにより、画像変形部2で変形処理に要する計
算コストをかけることなく比較を行うことができる。こ
うすることで、よりリアルタイム性を高めることができ
る。 (第4の実施形態)次に、本発明の第4の実施形態につ
いて説明する。
画像認識装置の全体構成図である。
形態の画像認識装置に加え、未来の動きの予測を行う動
き予測部7が追加された構成になっている。
いて未来の動きの予測をするものである。
3回連続で行っていたら、次も「縦軸周りに回転」をす
るか、あるいは「動きを止める」か、のどちらかの動作
を次のフレーム(現在よりも1フレーム未来のフレー
ム)で行うのではないかなどといったような予測をす
る。
て、上述した動き認識部4での結果に加え、対象物の構
造上の性質などの背景知識を考慮しても良い。例えば、
人間の手の指は、その構造上、動く範囲が限られてい
る。これらの知識などを予測のための手がかりとして考
慮することもできる。
れた動き(例えば、3回連続して縦軸周りに回転)に対
応して、その後に予測される動きを記憶したテーブルを
持ち、このテーブルを参照して、動き予測を行うように
してもよい。
様に動くのかを予測することが可能となる。 (第4の実施形態の第1の変形例)第4の実施形態で
は、動き認識部4での認識結果を用いて動きの予測をす
るための動き予測部7を具備したが、これの代わりに、
図34に示すように、画像取得部1などで取得された距
離画像または距離画像ストリームからその特徴量を抽出
するための特徴量抽出部8および、特徴量抽出部8から
の特徴量の情報を用いて動きの予測を行うため新たな動
き予測部7を具備するようにしてもよい。
離画像から対象物の重心位置を抽出したり、距離画像ス
トリームから対象物の重心速度の値を抽出したりといっ
た対象物の特徴量の抽出を行う。
を求める場合について説明する。
(x、y)は、画素(x、y)の画素値で、C(x、
y)は、次のように定義された関数である。
サイズ(画素の個数)である。
離画像のそれぞれから抽出された対象物の重心位置の移
動量と、その間の時間とから容易に求めることができ
る。
心位置や速度を挙げたが、特徴量はこれに限定されるも
のではなく、対象物の面積、体積、形状の特徴などあら
ゆるものを用いることができる。これら特徴量は、距離
画像から抽出された対象物の輪郭情報、奥行き情報等か
ら従来からある手法を用いて容易に求めることができる
ので、説明は省略する。
で得られた対象物の重心位置の変化や、重心速度などの
特徴量を手がかりとして、次の動きの予測を行う。
で述べたのと同様に、対象物が次にどの様に動くのかを
予測することが可能となる。
動き認識部4での結果と、特徴量抽出部8で抽出した特
徴量とを、動き予測部7で両方同時に用いることで予測
を行うようにしても良い。
りとして予測を行うことができるため、より安定した確
実な予測を行うことが可能となる。
らませる時に、大変近い距離内に、人間がいるときに
は、エアバッグを膨らませないようにすることが求めら
れている。が、通常の超音波や赤外線などの距離センサ
では、一定距離内に物体があるかどうかは判別できる
が、その物体が蠅なのか、後部座席から子供が投げたボ
ールなのか、人間なのかの判別ができない。が、本発明
によれば、特徴量抽出部8により距離画像より求めた体
積などの特徴量と、動き予測手部7が求めた人間の動き
とから、人間と、それ以外の判別を高精度で行うことが
できるので、その効果は大きい。 (第4の実施形態の第2の変形例)図35に示すよう
に、動き予測部7の結果をさらに画像変形部2の変形パ
ラメータの導出の手がかりに用いるようにしてもよい。
で、対象物に対し、上下左右4方向の変形を行う方法の
説明をしたが、動き予測部7を用いて動きの予測を行う
ことによって、可能性のある変形方法を知ることができ
る。それを用いることで、例えば、この状況であれば、
次に右方向に回転する可能性は低いため、上下左の3方
向の変形のみを行えば十分であるというように、変形の
個数を絞り込むことができる。
無くなり、余計な計算コストを削減することができるた
め、より認識のリアルタイム性が高まる。 (第4の実施形態の第3の変形例)第3の実施形態で説
明したような、画像取得部1で取得した距離画像や画像
変形部2で生成された変形画像を記憶するための画像保
持部6を図34、図35の構成にさらに具備してもよ
い。
えて、第3の実施形態での効果も同時に得ることができ
る画像認識装置を構成することができる。 (第5の実施形態)次に、本発明の第5の実施形態につ
いて説明する。
画像認識装置の構成の一例を示している。
2、第3、あるいは、第4の実施形態の画像認識装置に
加え、画像認識装置の認識結果に基づき画像の圧縮を行
うための画像圧縮部9が追加された構成になっている。
第4の実施形態で得られた結果を用いて距離画像の圧縮
を行うことができる。
識結果を用いて、画像変形部2で用いた各種パラメータ
に基づき距離画像の圧縮を行う構成となっているが、こ
の場合に限らず、画像比較部3での認識結果を用いて、
画像変形部2で用いた各種パラメータに基づき距離画像
の圧縮を行う構成であってもよい。すなわち、認識結果
を用いて、画像変形部2で用いた各種パラメータ等に基
づき距離画像の圧縮を行うものであれば特に限定するも
のではない。
る。
取得部1などで取得された距離画像または距離画像スト
リームのデータを圧縮するものである。
て、可逆圧縮、非可逆圧縮のどちらの方法でも構わな
い。
う。
説明した図31に示したような構成の画像認識装置に画
像圧縮部9を追加した場合、動き認識部4で対象物の任
意のモーションを数式化することができる。
距離画像のデータを保持し、その間の4フレームは、実
際の距離画像から画像変形部2で距離画像を変形する際
に用いた変形パラメータの値のみを保持することで、圧
縮画像を形成する。
横64画素、奥行き256階調の距離画像の場合、1画
素に対して8bitのデータ量が必要なため、全体とし
て、64×64×8=32768bit=4096by
teのデータ量が必要とされることになる。つまり、変
形パラメータのデータ量がこれよりも少ないときにはデ
ータの圧縮になることになる。例えば、回転変形の場
合、パラメータは、回転中心座標(x、y、z)および
回転角(θx、θy、θz)となる。x、y、zは、そ
れぞれ0から64までの値を表現できれば良いので、そ
れぞれ6bitを必要とし、回転角は、それぞれ0から
360までの値を表現できれば良いので、整数精度の場
合それぞれ9bitを必要とする(浮動小数精度なら3
2bitもあれば十分である)。つまり、回転変形で
は、パラメータの値に必要とされるデータ量は全体で4
5bit程度(浮動小数精度の場合でも114bit程
度)しか必要とされないことになる。回転変形以外の他
の変形についても同様である。これは、圧縮前の409
6byteよりも遙かに小さなオーダーの量なので、本
手法における画像圧縮ではかなりの圧縮率を見込めるこ
ととなる。
るには、復元する際に、特定フレーム間隔で存在する実
際の距離画像データをもとに、それぞれの変形パラメー
タの値を用いて変形画像を逐次生成していけばよい。す
なわち、特定フレーム間隔で存在する実際の距離画像デ
ータと、その間の距離画像を復元するために必要な動き
のパラメータとを含む圧縮画像データ(圧縮画像データ
の受け渡しには、フロッピー(登録商標)ディスク等の
所定の記録媒体を用いても通信を用いてもよい)を復元
するための画像伸長装置には、少なくとも、前述したよ
うな画像変形部2と同様な機能を有した構成部をもつ必
要がる。
ure Experts Group)1、MPEG
2、MPEG4などの画像圧縮方法では、2次元画像に
対し、おのおののフレームで個別に圧縮したものを用い
たり、前後のフレームからの差分信号を利用して圧縮を
行っている。これに対し、本発明では、3次元の距離画
像に対し、抽出された動きのパラメータを用いて圧縮を
行っている点が大きく異なっている。 (第6の実施形態)本発明の第6の実施形態について説
明する。
画像認識装置の構成の一例を示している。
2、第3、第4、あるいは、第5の実施形態の画像認識
装置に加え、外部との通信を行う通信部10を追加した
ものである。
いは、第5の実施形態で得られた結果を電話回線などの
通信路を用いて外部に通信することができる。
通信部10を追加すれば、第5の実施形態で説明したよ
うな圧縮画像データのみを送信し、受信先でそれを復元
することで、受信先で多大な距離画像データが得られる
にも関わらず、通信路には圧縮された少量のデータのみ
を流すことが可能である。
に問題となっていた、通信する際のデータ量の増大を避
けることができ、本画像認識装置の認識結果をインター
ネットなどを介した別の場所にリアルタイムで通信する
のに大変効果的である。
けんやボクシングなどの身体を使ったゲームをする場合
でも、取得した手や身体の3次元の距離画像を、圧縮し
て、通信することにより、互いに生の3次元画像をやり
とりができる。つまり、離れた場所にいるのに、立体的
な手や身体のデータが送られ、再生されるので、まる
で、その場にいて、ゲームをしているような感覚を、非
常に安価な装置により、得ることができるので、その効
果は大きい。 (その他)なお、以上の各実施形態やその変形例は、適
宜組み合わせて実施することが可能である。
いはそれらを適宜組み合わせたものでは、画像取得部1
を省き、与えられた距離画像もしくはそのストリームに
基づいて、動作を認識し、あるいはさらにその認識結果
をもとに各種の処理を行うような装置として構成するこ
とも可能である。
分を除いて、ソフトウェアとしても実現可能である。す
なわち、上記した各手順をコンピュータに実行させるこ
とのできるプログラムとして機械読みとり可能な記録媒
体に記録して頒布することができる。
るものではなく、その技術的範囲において種々変形して
実施することができる。
認識対象物に対する距離画像の3次元的な変形画像を用
いることにより、認識のためのテンプレートや辞書を作
る手間なく、かつ3次元的な動きの認識を短時間でしか
も安定して高精度に行うことができる。
構成例を概略的に示す図。
一例を示した図。
ャート。
図。
めの図。
るための図で、回転変形前のボクセル位置と回転変形後
のボクセル位置を示した図。
て説明するための図。
図。
すフローチャート。
像を示した図で、頭の重心位置を中心とし、(θx、θ
y、θz)=(2、0、0)だけ回転させて、顔を少し
上に向かせたものである。
像を示した図で、頭の重心位置を中心とし、(θx、θ
y、θz)=(−2、0、0)だけ回転させて、顔を少
し下に向かせたものである。
像を示した図で、頭の重心位置を中心とし、(θx、θ
y、θz)=(0、2、0)だけ回転させて、顔を紙面
に向かって少し右に向かせたものである。
像を示した図で、頭の重心位置を中心とし、(θx、θ
y、θz)=(0、−2、0)だけ回転させて、顔を紙
面に向かって少し左に向けたものである。
た顔の最新画像を示した図。
すフローチャート。
像を示した図で、手の重心位置を中心とし回転させて、
上に少し向けたものである。
像を示した図で、手の重心位置を中心とし回転させて、
下に少し向けたものである。
像を示した図で、手の重心位置を中心とし回転させて、
紙面に向かって右に少し向けたものである。
像を示した図で、手の重心位置を中心とし回転させて、
紙面に向かって左に少し向けたものである。
変形画像を示した図で、それぞれ手の重心位置を中心と
し回転角を変えて回転させて、上に少し向けたものであ
る。
変形画像を示した図で、それぞれ手の重心位置を中心と
し回転させて、下に少し向けたものである。
変形画像を示した図で、それぞれ手の重心位置を中心と
し回転させて、紙面に向かって右に少し向けたものであ
る。
変形画像を示した図で、それぞれ手の重心位置を中心と
し回転させて、紙面に向かって左に少し向けたものであ
る。
の構成例を概略的に示す図。
の構成例を概略的に示す図。
の構成例を概略的に示す図。
る画像認識装置の構成例を概略的に示す図。
る画像認識装置の構成例を概略的に示す図。
の構成例を概略的に示す図。
の構成例を概略的に示す図。
Claims (16)
- 【請求項1】 取得した距離画像に対し変形を施して得
られた変形画像と新たに取得した距離画像とを比較する
ことにより、前記距離画像中の対象物の3次元的な動き
の有無を認識することを特徴とする画像認識方法。 - 【請求項2】 取得した距離画像に対し変形を施して得
られた変形画像と新たに取得した距離画像とを比較する
ことにより、前記距離画像中の対象物の3次元的な動き
の有無を認識し、一連の複数の距離画像のそれぞれから
認識された一連の動きを認識することを特徴とする画像
認識方法。 - 【請求項3】 前記認識された一連の動きに基づき前記
対象物の動きを予測することを特徴とする請求項2記載
の画像認識方法。 - 【請求項4】 前記取得した距離画像から抽出された前
記対象物の特徴量を基に前記対象物の動きを予測するこ
とを特徴とする請求項1および2のいずれか1つに記載
の画像認識方法。 - 【請求項5】 前記取得した距離画像から抽出された前
記対象物の特徴量と前記認識された一連の動きとに基づ
き、前記対象物の動きを予測することを特徴とする請求
項2記載の画像認識方法。 - 【請求項6】 前記認識された対象物の動きに基づき前
記画像取得手段で取得された距離画像を圧縮することを
特徴とする請求項1および2のいずれか1つに記載の画
像認識方法。 - 【請求項7】 距離画像を取得する画像取得手段と、 この画像取得手段で取得した距離画像に対し変形を施す
画像変形手段と、 この画像変形手段で得られた変形画像と前記画像取得手
段で新たに取得した距離画像とを比較することにより、
対象物の3次元的な動きの有無を認識する認識手段と、 を具備したことを特徴とする画像認識装置。 - 【請求項8】 距離画像を取得する画像取得手段と、 この画像取得手段で取得した距離画像に対し変形を施す
画像変形手段と、 この画像変形手段で得られた変形画像と前記画像取得手
段で新たに取得した距離画像とを比較することにより、
対象物の3次元的な動きの有無を認識する第1の認識手
段と、 この認識手段で一連の複数の距離画像のそれぞれから認
識された一連の動きを認識する第2の認識手段と、 を具備したこを特徴する画像認識装置。 - 【請求項9】 距離画像を取得する画像取得手段と、 この画像取得手段で取得した距離画像を記憶する記憶手
段と、 前記画像取得手段で取得した距離画像およびまたは前記
記憶手段に記憶された距離画像のうち指定された距離画
像に対し変形を施す画像変形手段と、 この画像変形手段で得られた変形画像あるいは前記記憶
手段に記憶された距離画像と、前記画像取得手段で新た
に取得した距離画像とを比較することにより、対象物の
3次元的な動きの有無を認識する認識手段と、 を具備したことを特徴とする画像認識装置。 - 【請求項10】 距離画像を取得する画像取得手段と、 この画像取得手段で取得した距離画像を記憶する記憶手
段と、 前記画像取得手段で取得した距離画像およびまたは前記
記憶手段に記憶された距離画像のうち指定された距離画
像に対し変形を施す画像変形手段と、 この画像変形手段で得られた変形画像あるいは前記記憶
手段に記憶された距離画像と、前記画像取得手段で新た
に取得した距離画像とを比較することにより、対象物の
3次元的な動きの有無を認識する第1の認識手段と、 この第1の前記認識手段で一連の複数の距離画像のそれ
ぞれから認識された一連の動きを認識する第2の認識手
段と、 を具備したことを特徴とする画像認識装置。 - 【請求項11】 前記第2の認識手段で認識された一連
の動きに基づき前記対象物の動きを予測する予測手段
と、 を具備したことを特徴とする請求項8および10のいず
れか1つに記載の画像認識装置。 - 【請求項12】 前記画像取得手段で取得された距離画
像から前記対象物の特徴量を抽出する特徴量抽出手段
と、 この特徴量抽出手段で抽出された特徴量を基に、前記対
象物の動きを予測する予測手段と、 を具備したことを特徴とする請求項7〜10のいずれか
1つに記載の画像認識装置。 - 【請求項13】 前記画像取得手段で取得された距離画
像から前記対象物の特徴量を抽出する特徴量抽出手段
と、 この特徴量抽出手段で抽出された特徴量と前記第2の認
識手段で認識された一連の動きとに基づき、前記対象物
の動きを予測する予測手段と、 を具備したことを特徴とする請求項8および10のいず
れか1つに記載の画像認識装置。 - 【請求項14】 前記認識された対象物の動きに基づき
前記画像取得手段で取得された距離画像を圧縮する画像
圧縮手段を具備したことを特徴とする請求項7〜10の
いずれか1つに記載の画像認識装置。 - 【請求項15】 距離画像を取得させる画像取得手段
と、 この画像取得手段で取得した距離画像に対し変形を施さ
せる画像変形手段と、 この画像変形手段で得られた変形画像と前記画像取得手
段で新たに取得した距離画像とを比較することにより、
対象物の3次元的な動きの有無を認識させる認識手段と
を実行するプログラムを記録した機械読み取り可能な記
録媒体。 - 【請求項16】 距離画像を取得させる画像取得手段
と、 この画像取得手段で取得した距離画像に対し変形を施さ
せる画像変形手段と、 この画像変形手段で得られた変形画像と前記画像取得手
段で新たに取得した距離画像とを比較することにより、
対象物の3次元的な動きの有無を認識させる第1の認識
手段と、 この認識手段で一連の複数の距離画像のそれぞれから認
識された一連の動きを認識させる第2の認識手段と、 を実行するプログラムを記録した機械読み取り可能な記
録媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP37133298A JP3688489B2 (ja) | 1998-12-25 | 1998-12-25 | 画像認識方法および画像認識装置 |
US09/471,497 US7035433B1 (en) | 1998-12-25 | 1999-12-23 | Image recognition method and apparatus |
US11/251,892 US7388970B2 (en) | 1998-12-25 | 2005-10-18 | Image recognition method and apparatus |
US11/349,222 US7394918B2 (en) | 1998-12-25 | 2006-02-08 | Image recognition method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP37133298A JP3688489B2 (ja) | 1998-12-25 | 1998-12-25 | 画像認識方法および画像認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000194860A true JP2000194860A (ja) | 2000-07-14 |
JP3688489B2 JP3688489B2 (ja) | 2005-08-31 |
Family
ID=18498526
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP37133298A Expired - Fee Related JP3688489B2 (ja) | 1998-12-25 | 1998-12-25 | 画像認識方法および画像認識装置 |
Country Status (2)
Country | Link |
---|---|
US (3) | US7035433B1 (ja) |
JP (1) | JP3688489B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1703440A3 (en) * | 2005-03-15 | 2007-03-21 | Omron Corporation | Face authentication apparatus, contrl method and program, electronic device having the same, and program recording medium |
JP2010191955A (ja) * | 2009-01-26 | 2010-09-02 | Mitsubishi Electric R&D Centre Europe Bv | 画像のシーケンスを処理する方法および装置、記憶媒体ならびに信号 |
CN106828460A (zh) * | 2017-03-02 | 2017-06-13 | 深圳明创自控技术有限公司 | 一种安全性高的汽车防撞全自动驾驶仪 |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7697027B2 (en) | 2001-07-31 | 2010-04-13 | Donnelly Corporation | Vehicular video system |
US8313380B2 (en) | 2002-07-27 | 2012-11-20 | Sony Computer Entertainment America Llc | Scheme for translating movements of a hand-held controller into inputs for a system |
US9393487B2 (en) | 2002-07-27 | 2016-07-19 | Sony Interactive Entertainment Inc. | Method for mapping movements of a hand-held controller to game commands |
US8570378B2 (en) | 2002-07-27 | 2013-10-29 | Sony Computer Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
US7831087B2 (en) * | 2003-10-31 | 2010-11-09 | Hewlett-Packard Development Company, L.P. | Method for visual-based recognition of an object |
US7995863B2 (en) | 2004-05-04 | 2011-08-09 | AgentSheets, Inc. | Diffusion-based interactive extrusion of two-dimensional images into three-dimensional models |
US7630580B1 (en) * | 2004-05-04 | 2009-12-08 | AgentSheets, Inc. | Diffusion-based interactive extrusion of 2D images into 3D models |
US20060088225A1 (en) | 2004-10-26 | 2006-04-27 | The Secretary Of State For The Home Department | Comparison |
US8195005B2 (en) * | 2006-02-01 | 2012-06-05 | Nec Corporation | Image processing, image feature extraction and image matching apparatuses, methods and programs, and image matching system |
US7983451B2 (en) * | 2006-06-30 | 2011-07-19 | Motorola Mobility, Inc. | Recognition method using hand biometrics with anti-counterfeiting |
DE102006035232A1 (de) * | 2006-07-26 | 2008-01-31 | Robert Bosch Gmbh | Optische Messeinrichtung mit einer Bildaufnahmeeinheit |
USRE48417E1 (en) | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
US8781151B2 (en) | 2006-09-28 | 2014-07-15 | Sony Computer Entertainment Inc. | Object detection using video input combined with tilt angle information |
US8310656B2 (en) | 2006-09-28 | 2012-11-13 | Sony Computer Entertainment America Llc | Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen |
GB0819069D0 (en) | 2008-10-17 | 2008-11-26 | Forensic Science Service Ltd | Improvements in and relating to methods and apparatus for comparison |
JP5152077B2 (ja) * | 2009-04-01 | 2013-02-27 | ソニー株式会社 | 生体像提示装置、生体像提示方法及びプログラム並びに生体像提示システム |
FI20095785A (fi) * | 2009-07-13 | 2011-01-14 | Gurulogic Microsystems Oy | Menetelmä hahmon tunnistamiseksi, hahmontunnistaja ja tietokoneohjelma |
WO2011152213A1 (ja) * | 2010-06-04 | 2011-12-08 | 日本電気株式会社 | 指紋認証システム、指紋認証方法および指紋認証プログラム |
US8543833B2 (en) | 2010-12-29 | 2013-09-24 | Microsoft Corporation | User identification with biokinematic input |
US8990682B1 (en) * | 2011-10-05 | 2015-03-24 | Google Inc. | Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display |
JP6242098B2 (ja) * | 2013-07-16 | 2017-12-06 | 株式会社キーエンス | 三次元画像処理装置、三次元画像処理方法及び三次元画像処理プログラム並びにコンピュータで読み取り可能な記録媒体及び記録した機器 |
WO2015066458A1 (en) * | 2013-11-01 | 2015-05-07 | The Research Foundation For The State University Of New York | Method for measuring the interior three-dimensional movement, stress and strain of an object |
KR20210080993A (ko) * | 2019-12-23 | 2021-07-01 | 엘지전자 주식회사 | 전자 장치 및 그의 동작 방법 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2523369B2 (ja) * | 1989-03-14 | 1996-08-07 | 国際電信電話株式会社 | 動画像の動き検出方法及びその装置 |
JPH03252287A (ja) * | 1990-02-28 | 1991-11-11 | Victor Co Of Japan Ltd | 動画像圧縮装置 |
JPH05165968A (ja) | 1991-12-18 | 1993-07-02 | Komatsu Ltd | 物体の位置・姿勢認識装置 |
JP3244798B2 (ja) * | 1992-09-08 | 2002-01-07 | 株式会社東芝 | 動画像処理装置 |
KR100287211B1 (ko) * | 1994-08-30 | 2001-04-16 | 윤종용 | 양방향 움직임 추정방법 및 장치 |
JP3663645B2 (ja) | 1994-11-18 | 2005-06-22 | ソニー株式会社 | 動画像処理装置とその方法 |
EP0815536A1 (en) * | 1995-03-22 | 1998-01-07 | IDT INTERNATIONAL DIGITAL TECHNOLOGIES DEUTSCHLAND GmbH | Method and apparatus for coordination of motion determination over multiple frames |
JPH08331607A (ja) | 1995-03-29 | 1996-12-13 | Sanyo Electric Co Ltd | 三次元表示画像生成方法 |
JP3054681B2 (ja) * | 1995-07-19 | 2000-06-19 | 工業技術院長 | 画像処理方法 |
JP3673578B2 (ja) | 1995-12-28 | 2005-07-20 | 富士通株式会社 | 相関追跡システム |
JPH09265538A (ja) | 1996-03-29 | 1997-10-07 | Matsushita Electric Works Ltd | 自動追尾装置 |
US6075905A (en) * | 1996-07-17 | 2000-06-13 | Sarnoff Corporation | Method and apparatus for mosaic image construction |
US5923770A (en) * | 1996-09-30 | 1999-07-13 | Siemens Corporate Research, Inc. | 3D cardiac motion recovery system using tagged MR images |
JP2876201B2 (ja) | 1996-12-09 | 1999-03-31 | 信秀 前田 | 複合セラミックスによるハンドシャワーにおけるシャワー水の抗菌、脱臭、トリハロメタン類除去および脱塩素方法とその装置 |
US6088472A (en) * | 1996-12-20 | 2000-07-11 | Siemens Corporate Research, Inc. | Global models with parametric offsets for object recovery |
JP3512992B2 (ja) * | 1997-01-07 | 2004-03-31 | 株式会社東芝 | 画像処理装置および画像処理方法 |
US6009210A (en) * | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
US6157747A (en) * | 1997-08-01 | 2000-12-05 | Microsoft Corporation | 3-dimensional image rotation method and apparatus for producing image mosaics |
US6072496A (en) * | 1998-06-08 | 2000-06-06 | Microsoft Corporation | Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects |
US6493041B1 (en) * | 1998-06-30 | 2002-12-10 | Sun Microsystems, Inc. | Method and apparatus for the detection of motion in video |
US6303920B1 (en) * | 1998-11-19 | 2001-10-16 | Sarnoff Corporation | Method and apparatus for detecting salient motion using optical flow |
-
1998
- 1998-12-25 JP JP37133298A patent/JP3688489B2/ja not_active Expired - Fee Related
-
1999
- 1999-12-23 US US09/471,497 patent/US7035433B1/en not_active Expired - Fee Related
-
2005
- 2005-10-18 US US11/251,892 patent/US7388970B2/en not_active Expired - Fee Related
-
2006
- 2006-02-08 US US11/349,222 patent/US7394918B2/en not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1703440A3 (en) * | 2005-03-15 | 2007-03-21 | Omron Corporation | Face authentication apparatus, contrl method and program, electronic device having the same, and program recording medium |
JP2010191955A (ja) * | 2009-01-26 | 2010-09-02 | Mitsubishi Electric R&D Centre Europe Bv | 画像のシーケンスを処理する方法および装置、記憶媒体ならびに信号 |
CN106828460A (zh) * | 2017-03-02 | 2017-06-13 | 深圳明创自控技术有限公司 | 一种安全性高的汽车防撞全自动驾驶仪 |
Also Published As
Publication number | Publication date |
---|---|
US20060034490A1 (en) | 2006-02-16 |
US7394918B2 (en) | 2008-07-01 |
US20060126900A1 (en) | 2006-06-15 |
US7388970B2 (en) | 2008-06-17 |
US7035433B1 (en) | 2006-04-25 |
JP3688489B2 (ja) | 2005-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2000194860A (ja) | 画像認識方法および画像認識装置 | |
US8968091B2 (en) | Scalable real-time motion recognition | |
Wechsler | Reliable Face Recognition Methods: System Design, Impementation and Evaluation | |
JP5902204B2 (ja) | 動き認識 | |
Bobick et al. | The recognition of human movement using temporal templates | |
JP6615723B2 (ja) | 情報処理装置および対象物認識方法 | |
Jalal et al. | Improved behavior monitoring and classification using cues parameters extraction from camera array images | |
US10949692B2 (en) | 3D dynamic structure estimation using synchronized images | |
US20110228976A1 (en) | Proxy training data for human body tracking | |
Chu et al. | Posture and gesture recognition using 3D body shapes decomposition | |
Farooq et al. | A survey of human action recognition approaches that use an RGB-D sensor | |
JP2005530278A (ja) | ポーズ角度を推定するためのシステムおよび方法 | |
JP2018041278A (ja) | 情報処理装置および画像領域分割方法 | |
CN108875586B (zh) | 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法 | |
McIlwraith et al. | Wearable and ambient sensor fusion for the characterisation of human motion | |
Fang et al. | RGB-D camera based 3D human mouth detection and tracking towards robotic feeding assistance | |
Keceli et al. | Recognition of basic human actions using depth information | |
Liang et al. | Action recognition using local joints structure and histograms of 3d joints | |
Alnaim | Hand gesture recognition using deep learning neural networks | |
Alashkar et al. | A 3D dynamic database for unconstrained face recognition | |
CN112651363A (zh) | 基于多特征点的微表情拟合方法和系统 | |
Salim et al. | People Tracking in a Smart Room Using Kinect Sensor | |
Kale et al. | Gait-based human identification from a monocular video sequence | |
Huynh et al. | Robust classification of human actions from 3D data | |
WO2007066953A1 (en) | Apparatus for recognizing three-dimensional motion using linear discriminant analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040422 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040427 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040628 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040824 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041025 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050111 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050314 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050314 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050415 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050510 |
|
TRDD | Decision of grant or rejection written | ||
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050606 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050607 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050608 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090617 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090617 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100617 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100617 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110617 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120617 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120617 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130617 Year of fee payment: 8 |
|
LAPS | Cancellation because of no payment of annual fees |