JP2006209342A - 画像処理装置及び画像処理方法 - Google Patents
画像処理装置及び画像処理方法 Download PDFInfo
- Publication number
- JP2006209342A JP2006209342A JP2005018553A JP2005018553A JP2006209342A JP 2006209342 A JP2006209342 A JP 2006209342A JP 2005018553 A JP2005018553 A JP 2005018553A JP 2005018553 A JP2005018553 A JP 2005018553A JP 2006209342 A JP2006209342 A JP 2006209342A
- Authority
- JP
- Japan
- Prior art keywords
- dimensional
- tracking
- feature points
- feature point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】 撮像画像における対象物体の特徴点の追跡の良否を高精度に判断できる画像処理装置及び画像処理方法を提供することを課題とする。
【解決手段】 撮像画像における対象物体の特徴点を追跡する画像処理装置1であって、位置関係が分っている複数の撮像手段2,3と、複数の撮像手段2,3で各々撮像した各撮像画像中の対象物体の特徴点を各々追跡する複数の追跡手段11,12と、複数の追跡手段11,12で各々追跡した対応する各特徴点に基づいて当該特徴点の三次元位置を推定する推定手段13と、推定手段13で推定した特徴点の三次元位置間の三次元距離と対応する特徴点の基準三次元位置間の三次元距離に基づいて特徴点の追跡が異常か否かを判断する判断手段14とを備えることを特徴とする。
【選択図】 図1
【解決手段】 撮像画像における対象物体の特徴点を追跡する画像処理装置1であって、位置関係が分っている複数の撮像手段2,3と、複数の撮像手段2,3で各々撮像した各撮像画像中の対象物体の特徴点を各々追跡する複数の追跡手段11,12と、複数の追跡手段11,12で各々追跡した対応する各特徴点に基づいて当該特徴点の三次元位置を推定する推定手段13と、推定手段13で推定した特徴点の三次元位置間の三次元距離と対応する特徴点の基準三次元位置間の三次元距離に基づいて特徴点の追跡が異常か否かを判断する判断手段14とを備えることを特徴とする。
【選択図】 図1
Description
本発明は、撮像画像から対象物体の特徴点を追跡する画像処理装置及び画像処理方法に関する。
画像処理には、カメラで顔を撮像し、その撮像画像から顔の向きや並進運動などを推定するものがある。このように顔の運動を推定する手法としては、例えば、目、口などの各端部あるいは輝度の高い箇所などの顔において複数の特徴点を設定し、撮像画像においてそれらの特徴点を追跡していくことにより顔の運動を推定している(特許文献1参照)。
特開平8−77334号公報
しかしながら、従来の特徴点追跡においては、追跡した結果が正しいか否かの判断基準が明確になっていなかった。そのため、追跡中の特徴点には、追跡が成功した特徴点と追跡が失敗した特徴点とが混在している場合があった。その結果、その追跡結果を用いた顔運動の推定などの上位の処理においては、失敗した追跡結果が含まれている場合にはその処理精度が低下してしまう。
そこで、本発明は、撮像画像における対象物体の特徴点の追跡の良否を高精度に判断できる画像処理装置及び画像処理方法を提供することを課題とする。
本発明に係る画像処理装置は、位置関係が分っている複数の撮像手段と、複数の撮像手段で各々撮像した各撮像画像中の対象物体の特徴点を各々追跡する複数の追跡手段と、複数の追跡手段で各々追跡した対応する各特徴点に基づいて当該特徴点の三次元位置を推定する推定手段と、推定手段で推定した特徴点の三次元位置間の三次元距離と対応する特徴点の基準三次元位置間の三次元距離に基づいて特徴点の追跡が異常か否かを判断する判断手段とを備えることを特徴とする。
この画像処理装置は、位置関係の分っている複数の撮像手段を備えており、この各撮像手段により対象物体を異なる位置から各々撮像する。そして、画像処理装置では、複数の追跡手段により、各撮像画像から対象物体の複数の特徴点を各々追跡する。追跡される特徴点は対象物体において複数存在し、複数の特徴点に対して視点の異なる各撮像画像においてそれぞれ追跡を行う。画像処理装置では、推定手段により、その視点の異なる各撮像画像から取得した対応する各特徴点を用いて当該特徴点の三次元位置を推定する。複数の撮像手段はその位置関係が分っているので、その位置関係を用いることにより、視点の異なる各撮像画像における対応する各特徴点からその特徴点の三次元位置を求めることができる。この三次元位置は、複数の特徴点についてそれぞれ求められる。対象物体における特徴点間の三次元上の相対的な位置関係は、対象物体の向きや並進運動が変化した場合でも、変化しない。したがって、特徴点間の三次元距離も変化しないので、追跡した複数の特徴点についてその三次元位置間の距離が明らかに変化した場合にはその追跡していた特徴点間の三次元上の相対的な位置関係が正常な位置関係からずれていると推測できる。そこで、画像処理装置では、判断手段により、追跡によって求めた特徴点の三次元位置間の三次元距離とその対応する特徴点の基準となる三次元位置間の三次元距離に基づいてその特徴点に対する追跡が異常か否かを判断する。このように、画像処理装置では、対象物体における複数の追跡対象の特徴点間の三次元距離を判断基準とすることにより、特徴点の追跡の良否を高精度に判定することができる。その結果、正常と判断された追跡結果を用いることにより、その特徴点の追跡結果を用いる上位の処理も高精度に行うことができる。
なお、複数の撮像手段の位置関係は、位置関係が予め分っていてもよいし、あるいは、画像処理開始時に位置関係を計測することにより分るようにしてもよい。対象物体の特徴点は、撮像画像における対象物体において追跡が可能な箇所であり、他の箇所と画像上の特徴が異なる箇所である。例えば、輝度の高い箇所や低い箇所、あるいは、周辺の部分と輝度や色などの画像情報に相違がある箇所ある。
本発明の上記画像処理装置の判断手段では、推定手段で推定した特徴点の三次元位置間の三次元距離と対応する特徴点の基準三次元位置間の三次元距離との差又は変化率が所定値を超える場合に特徴点の追跡を異常と判断するように構成とすると好適である。
この画像処理装置の判断手段では、追跡によって求めた特徴点の三次元位置間の三次元距離とその対応する特徴点の基準三次元位置間の三次元距離との差又は変化率を求め、その差又は変化率が所定値を超える場合にはその特徴点に対する追跡に異常があると判断する。上記したように、対象物体の運動状態が変化した場合でも特徴点間の三次元距離は変化しないので、追跡中の特徴点間の三次元距離と基準となる三次元距離との差が大きく変化した場合には追跡に異常があったと判断できる。
本発明に係る画像処理方法は、位置関係が分っている複数の撮像手段によって各々撮像する撮像ステップと、撮像ステップで各々撮像した各撮像画像中の対象物体の特徴点を各々追跡する追跡ステップと、追跡ステップで各々追跡した対応する各特徴点に基づいて当該特徴点の三次元位置を推定する推定ステップと、推定ステップで推定した特徴点の三次元位置間の三次元距離と対応する特徴点の基準三次元位置間の三次元距離に基づいて特徴点の追跡が異常か否かを判断する判断ステップとを含むことを特徴とする。
本発明の上記画像処理方法の判断ステップでは、推定ステップで推定した特徴点の三次元位置間の三次元距離と対応する特徴点の基準三次元位置間の三次元距離との差又は変化率が所定値を超える場合に特徴点の追跡を異常と判断するように構成すると好適である。
なお、上記の各画像処理方法は、上記の各画像処理装置と同様の作用効果を有している。
本発明によれば、撮像画像における対象物体において追跡している特徴点間の三次元距離を利用することにより、特徴点の追跡の良否を高精度に判断することができる。
以下、図面を参照して、本発明に係る画像処理装置及び画像処理方法の実施の形態を説明する。
本実施の形態では、本発明を、対象物体を人物の顔とし、顔の運動を推定する画像処理装置に適用する。本実施の形態に係る画像処理装置は、ステレオカメラで撮像した左右の撮像画像から顔の複数の特徴点をそれぞれ追跡し、その追跡結果を利用して顔の運動を推定する。顔の特徴点としては、目の両端部、鼻の孔、口の両端部などの肌との境界となる箇所であり、輝度や色などの画像情報に明らかな差がある箇所、あるいは、輝度が高い箇所(または、低い箇所)などの追跡が容易な箇所とする。
図1〜図8を参照して、画像処理装置1について説明する。図1は、本実施の形態に係る画像処理装置の構成図である。図2は、図1の各カメラによって撮像される画像の一例であり、(a)が左撮像画像であり、(b)が右撮像画像である。図3は、図1の各追跡部における特徴点の追跡結果を示す画像の一例であり、(a)左撮像画像に対する追跡結果を示す画像であり、(b)が右撮像画像に対する追跡結果を示す画像である。図4は、図1の三次元位置算出部における特徴点の三次元位置の算出結果の一例である。図5は、図1の異常特徴点判定部における特徴点間の三次元距離の一例である。図6は、図1の異常特徴点判定部における判定方法の説明図であり、(a)が基準三次元位置保持部に保持されている各特徴点の基準三次元位置及びその三次元距離を示し、(b)が三次元位置算出部で算出された各特徴点の三次元位置及びその三次元距離を示す。図7は、図1の異常特徴点判定部における特徴点間の三次元距離の変化の各判定結果の組み合せを示す表の一例である。図8は、図1の異常特徴点判定部における判定結果の一例である。
画像処理装置1は、顔の運動(向きと並進運動)を推定するために、動画像である左右の撮像画像から顔の特徴点を追跡する。特に、画像処理装置1では、顔の運動の推定精度を向上させるために、追跡が正常に行われた特徴点のみを用いて推定を行う。そのために、画像処理装置1では、特徴点間の三次元距離の変化に基づいて各特徴点の追跡が成功/失敗かを判定する。画像処理装置1は、カメラ2,3及び画像ECU[Electronic Control Unit]4を備えており、画像ECU4内に基準三次元位置保持部10、追跡部11,12、三次元位置算出部13、異常特徴点判定部14、顔運動推定部15が構成される。
なお、本実施の形態では、カメラ2,3が特許請求の範囲に記載する撮像手段に相当し、追跡部11,12が特許請求の範囲に記載する追跡手段に相当し、三次元位置算出部13が特許請求の範囲に記載する推定手段に相当し、異常特徴点判定部14が特許請求の範囲に記載する判断手段に相当する。
画像処理装置1における顔の運動の推定結果の出力は、その顔の運動を示す画像をモニタに表示したりあるいは顔の運動状態を音声出力するなどしてもよい。また、このような画像処理装置1を車両に搭載した場合、運転者の顔の運動を推定し、その推定結果を信号として走行制御装置や警報装置などに提供するようにしてもよい。例えば、前車との車間距離などに応じて自動的にブレーキを作動させる装置の場合、運転者の顔の運動の推定結果から前方から視線を外していると推測できるときには通常よりもブレーキを早く作動させるなどの制御を行う。また、警報装置の場合、運転者がよそ見していると推測できるときには警報を出力するなどしてもよい。あるいは、車両以外にも人とコミュニケーションをとるロボットなどに組み込まれる構成としてもよい。
カメラ2,3は、水平に所定の間隔をあけて撮像対象の人物の左右に配置され、人物の顔を撮像するステレオカメラである。カメラ2で撮像された画像は左撮像画像であり(図2(a)参照)、カメラ3で撮像された画像は右撮像画像である(図2(b)参照)。カメラ2,3は、CCD[Charge coupled device]などの撮像素子を備えるデジタルカメラであり、デジタル画像データからなる撮像画像を画像信号として画像ECU4に送信する。この際、カメラ2,3では、撮像対象を時間的に連続して撮像し、時間的に連続した画像(動画像)データを出力する。画像ECU4では少なくとも輝度情報が有れば処理を行うことができるので、カメラ2,3はカラーカメラでもあるいは白黒カメラでもよい。なお、間隔などのカメラ2,3の位置関係についての情報やカメラ2,3の内部パラメータ、外部パラメータは、画像ECU4に予め保持されている。
画像ECU4は、ステレオ画像処理用のECUであり、CPU[Central Processing Unit]、ROM[Read Only Memory]、RAM[Random Access Memory]などからなる。画像ECU4では、画像処理装置1が起動されると、ROMに記憶されている専用のアプリケーションプログラムをRAMにロードし、CPUによってそのプログラムに記述された各処理を実行することによって各処理部11〜15が構成される。画像ECU4では、カメラ2,3から撮像画像(ステレオ画像)を連続的に(例えば、1/30秒毎)取り入れ、左右の撮像画像から顔の複数個の特徴点をそれぞれ追跡し、正常な追跡結果だけを用いて顔の運動を推定する。画像ECU4では、撮像画像を入力する毎に、前処理として左右の撮像画像に対してカメラキャリブレーションを行い、さらに、左右の撮像画像の平行化を行い、その左右の撮像画像をRAMの所定の領域に保存する。
基準三次元位置保持部10は、RAMの所定の領域に構築され、顔の全ての特徴点に対する基準三次元位置及びその基準三次元位置から算出された全ての組み合せの2つの特徴点間の三次元距離(基準三次元距離)を保持する。特徴点の基準三次元位置は、顔の各特徴点の基準となる三次元位置であり、顔の運動状態が変化しても他の特徴点との相対的な位置関係は変わらない。基準三次元距離は、2つの特徴点の基準三次元位置間の距離である。保持する時期については、正確に各特徴点の三次元位置を計測可能な状況下(例えば、2つのカメラ2,3で人物の顔を撮像可能な状況)で計測した三次元位置を保持できればよいので、画像処理装置1が構成されるときに予め三次元位置を計測し、予め保持してもよいし、あるいは、顔の運動の推定処理開始時(例えば、テンプレートマッチング用として特徴点付近の画像を参照画像として最初に切り出す時)にその対象の人物の顔を2つのカメラ2,3で撮像した左右の撮像画像から全ての特徴点をそれぞれ抽出し、その左右の対応する特徴点から三次元位置を算出し、保持してもよい。なお、予め保持する場合、カメラ2,3で撮像した左右の撮像画像から三次元位置を求めてもよいが、顔の三次元形状をレンジスキャナなどの他の装置によって取得してもよい。
追跡部11,12は、左撮像画像又は右撮像画像に対して同様の処理を行い、各撮像画像から追跡したい対象の全ての特徴点を追跡する。そして、追跡部11,12では、追跡結果として、各特徴点の撮像画像上での二次元座標を出力する。例えば、図3(a)、(b)に示す+印が追跡した特徴点(目や口の端部)を示し、図3(b)の右撮像画像からは正常に全ての特徴点が追跡されているが、図3(a)の左撮像画像からは口の一方の端部が正常に特徴点として追跡されていない。
追跡方法としては、例えば、テンプレートマッチングがある。テンプレートマッチングを行う場合、予め追跡したい全ての対象(特徴点)付近を含む画像を参照画像(テンプレート)として用意し、各参照画像に類似する位置を撮像画像から探索することによって特徴点を抽出する。参照画像を用意する時期としては、画像処理装置1が構成されるときに用意して、予め保持してもよいし、あるいは、顔の運動の推定処理開始時にカメラ2,3で撮像された各撮像画像から参照画像を切り出してもよい。
類似度の評価は、参照画像と同じサイズの撮像画像から切り出された画像と参照画像との間の輝度パターンの違いを定量化した評価基準を用いる。例えば、評価基準としては、式(1)に示すL1_norm(h)、式(2)に示すL2_norm(h)、式(3)に示すnormalized correlation(h)を用いる。L1_norm(h)、L2_norm(h)は、参照画像との差を示すので、値が小さいほど類似度が高い。normalized correlation(h)は、正規化しているので、値が1に近いほど類似度が高い。
三次元位置算出部13は、左右の撮像画像においてそれぞれ追跡された対応する特徴点の各二次元座標から、その特徴点の三次元位置(三次元座標)を算出する。この際、カメラ2,3の位置関係の情報や内部パラメータ、外部パラメータを用いて、三角測量の原理により三次元位置を算出する。そして、三次元位置算出部13では、算出結果として、各特徴点の三次元座標を出力する。例えば、図3(a)、(b)の左右の撮像画像から追跡された各特徴点から三次元位置をそれぞれ算出した場合、図4に示す+印が算出された特徴点の三次元位置(目や口の端部の三次元座標上の位置)である。
異常特徴点判定部14は、各特徴点の三次元位置を用いて、追跡対象の複数の特徴点の全ての組み合せについて2つの特徴点間の三次元距離を算出する。この際、特徴点の数をn個とした場合、nC2個の組み合せの三次元距離が算出される。例えば、図4に示す4個の特徴点の三次元位置から三次元距離を算出した場合、図5に示すように、6つの組み合せについての三次元距離が算出される。ちなみに、顔の特徴点の相対的な位置関係は常に変わらないので、正常に特徴点が追跡されている場合にはこの算出される三次元距離は対応する基準三次元距離と一致するかあるいは近い値となる。
さらに、異常特徴点判定部14は、算出した特徴点間の三次元距離毎に、基準三次元位置保持部10に保持している基準三次元距離の中からその三次元距離に対応する基準三次元距離を抽出し、算出した三次元距離と基準三次元距離との比較判定を行う。この場合も、特徴点の数をn個とした場合、nC2個の判定結果が得られる。比較判定方法としては、算出した三次元距離の基準三次元距離に対する変化評価値を算出する。この変化評価値としては、例えば、式(4)により基準三次元距離と算出した三次元距離との差を求めるか、あるいは、式(5)により基準三次元距離に対する算出した三次元距離の変化率を求める。さらに、この差又は変化率に対して閾値(thr)を設け、差又は変化率とthrとの大小判定を行う。thrより大きい場合、三次元距離を算出した2つの特徴点の相対的な位置関係がずれているので、その2つの特徴点の追跡が失敗の可能性があると判定する。一方、差又は変化率がthr以下の場合、その三次元距離を算出した2つの特徴点の相対的な位置関係が正常なので、その2つの特徴点の追跡が成功と判定する。thrは、差又は変化率に対して、算出した三次元距離と基準三次元距離とが明らかに異なっていると判定できる値が設定される。
例えば、追跡対象の特徴点を4個とし、図6(a)に示すように特徴点の基準三次元位置をa0,b0,c0,d0とし、図6(b)に示すように追跡によって求めた三次元位置をa,b,c,dとする。この場合、a0−b0間、a0−c0間、a0−d0間、b0−c0間、b0−d0間、c0−d0間の6つの基準三次元距離が基準三次元位置保持部10に保持されており、a−b間、a−c間、a−d間、b−c間、b−d間、c−d間の6つの三次元距離が算出される。この6つの三次元距離についてそれぞれ判定が行われ、図7の表に示すような判定結果の組み合せが得られる。図7では、例えば、(a,b)と表記することでa−b間の三次元距離を表し、(a0,b0)と表記することでa0−b0間の基準三次元距離を表し、d((a,b),(a0,b0))と表記することでa−b間の三次元距離とa0−b0間の基準三次元距離との差又は変化率を表す。例えば、図6に示すように追跡によって求められる特徴点の三次元位置dが基準三次元位置d0から大きくずれている場合、特徴点dの絡む三次元距離の判定であるd((a,d),(a0,d0))、d((b,d),(b0,d0))、d((c,d),(c0,d0))がthrより大きくなり、特徴点dに対する追跡が失敗と判定できる。この場合、図8において+印を○で囲んで示すように、異常特徴点判定部14では、特徴点dに対する追跡は失敗と出力する。また、追跡によって求められる特徴点の三次元位置aが基準三次元位置a0からずれていない場合、特徴点aの絡む三次元距離の判定であるd((a,b),(a0,b0))、d((a,c),(a0,c0))、d((a,d),(a0,d0))がthr以下になり、特徴点aに対する追跡が成功と判定できる。
なお、特徴点の数が増えるほど、三次元距離を求める特徴点の組み合せや三次元距離の変化による判定も増え、処理負荷が増大する。そこで、三次元距離の算出や三次元距離による判定を行うのは、追跡対象の特徴点の全ての組み合せについて行わなくてもよい。例えば、ある特徴点に対してその近傍の数個について三次元距離の算出や三次元距離による判定を行う。近傍の何個について行うかは、信頼性を持って評価できるだけの数とする。
顔運動推定部15は、異常特徴点判定部14において追跡成功と判定された特徴点のみを用いて、その特徴点の位置の時間変化から顔の向きと並進運動を算出する。
図1を参照して、画像処理装置1における動作について説明する。特に、画像ECU4における処理については、図9のフローチャートに沿って説明する。図9は、図1の画像ECUにおける処理の流れを示すフローチャートである。
カメラ2,3では、人物の顔を撮像し、その撮像画像のデータを画像ECU4に送信する。画像ECU4では、その左右の撮像画像を取り入れ、前処理を行った各撮像画像をRAMに保持する(S1,S2)。
画像ECU4では、左右の撮像画像を取得する毎に、左撮像画像に対して追跡処理により各特徴点の二次元座標を算出するとともに(S3)、右撮像画像に対して追跡処理により各特徴点の二次元座標を算出する(S4)。
画像ECU4では、特徴点毎に、左撮像画像から求めた二次元座標と右撮像画像から求めた二次元座標によりその特徴点の三次元位置(三次元座標)を算出する(S5)。ちなみに、顔の向きなどの運動状態が変化した場合、二次元上では特徴点間の相対的な位置関係は変化するが、三次元上では特徴点間の相対的な位置関係は変化しない。
画像ECU4では、各特徴点の三次元位置を用いて、2つの特徴点の組み合せ毎にその特徴点間の三次元距離を算出する(S6)。顔の向きなどの運動状態が変化した場合でも、三次元上では特徴点間の相対的な位置関係は変化しないので、特徴点間の三次元距離も変化しない。しかし、追跡された特徴点の位置が誤っている場合、特徴点間の相対的な位置関係がずれるので、特徴点間の三次元距離が変化する。
画像ECU4では、算出した三次元距離毎に、基準三次元位置保持部10からその算出した三次元距離に対応する基準三次元距離を抽出し、算出した三次元距離と基準三次元距離との変化評価値を算出する(S7)。さらに、画像ECU4では、その算出した各変化評価値と閾値とを大小比較し、三次元距離毎にその三次元距離を算出した2つの特徴点に対する各追跡が失敗の可能性があるか否かの判定を行う(S8)。追跡が失敗している特徴点がある場合、その特徴点が絡む三次元距離は基準三次元距離と異なる値になるので、変化評価値は閾値よりも大きくなる。
そして、画像ECU4では、各特徴点について、その特徴点が関係する判定結果の組み合せに基づいて追跡が失敗かあるいは成功かを判定する(S8)。ここでは、各特徴点について他の複数の特徴点との三次元距離が対応する各基準三次元距離と明らかに異なった値か否かを判定しているので、その特徴点の三次元位置が基準三次元位置からずれている場合にはその位置ずれを確実に判定することができる。
画像ECU4では、追跡が成功の特徴点についての位置の時間変化を用いて、顔の運動を推定する。
この画像処理装置1によれば、各特徴点について他の複数の特徴点との各三次元距離を利用して正常な三次元位置からずれているか否か判定するので、特徴点の追跡の良否を高精度に判定することができる。その結果、正しく追跡された特徴点のみを用いて顔の運動を推定できるので、その推定精度が向上する。
以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。
例えば、本実施の形態では顔の特徴点の追跡結果を利用した顔の運動を推定する画像処理装置に適用したが、対象物体としては動物の顔や顔以外の物体でもよいし、また、特徴点の追跡結果を利用する上位の処理としては顔の表情を推定する処理などの他の処理でもよい。また、特徴点の追跡結果を上位の処理で利用せずに、特徴点を追跡すること自体を目的とし、追跡した特徴点自体をモニタに表示するなどしてもよい。
また、本実施の形態では画像ECUでアプリケーションプログラム(ソフトウエア)を実行することによって各処理部を構成したが、パーソナルコンピュータなどのコンピュータ上に各処理部を構成してもよいし、あるいは、ハードウエアによって各処理部を構成してもよい。
1…画像処理装置、2,3…カメラ、4…画像ECU、10…基準三次元位置保持部、11,12…追跡部、13…三次元位置算出部、14…異常特徴点判定部、15…顔運動推定部
Claims (4)
- 位置関係が分っている複数の撮像手段と、
前記複数の撮像手段で各々撮像した各撮像画像中の対象物体の特徴点を各々追跡する複数の追跡手段と、
前記複数の追跡手段で各々追跡した対応する各特徴点に基づいて当該特徴点の三次元位置を推定する推定手段と、
前記推定手段で推定した特徴点の三次元位置間の三次元距離と対応する特徴点の基準三次元位置間の三次元距離に基づいて特徴点の追跡が異常か否かを判断する判断手段と
を備えることを特徴とする画像処理装置。 - 前記判断手段は、前記推定手段で推定した特徴点の三次元位置間の三次元距離と対応する特徴点の基準三次元位置間の三次元距離との差又は変化率が所定値を超える場合に特徴点の追跡を異常と判断することを特徴とする請求項1に記載する画像処理装置。
- 位置関係が分っている複数の撮像手段によって各々撮像する撮像ステップと、
前記撮像ステップで各々撮像した各撮像画像中の対象物体の特徴点を各々追跡する追跡ステップと、
前記追跡ステップで各々追跡した対応する各特徴点に基づいて当該特徴点の三次元位置を推定する推定ステップと、
前記推定ステップで推定した特徴点の三次元位置間の三次元距離と対応する特徴点の基準三次元位置間の三次元距離に基づいて特徴点の追跡が異常か否かを判断する判断ステップと
を含むことを特徴とする画像処理方法。 - 前記判断ステップでは、前記推定ステップで推定した特徴点の三次元位置間の三次元距離と対応する特徴点の基準三次元位置間の三次元距離との差又は変化率が所定値を超える場合に特徴点の追跡を異常と判断することを特徴とする請求項3に記載する画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005018553A JP2006209342A (ja) | 2005-01-26 | 2005-01-26 | 画像処理装置及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005018553A JP2006209342A (ja) | 2005-01-26 | 2005-01-26 | 画像処理装置及び画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2006209342A true JP2006209342A (ja) | 2006-08-10 |
Family
ID=36966146
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005018553A Pending JP2006209342A (ja) | 2005-01-26 | 2005-01-26 | 画像処理装置及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2006209342A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009116242A1 (ja) * | 2008-03-18 | 2009-09-24 | パナソニック株式会社 | 運転者監視装置、運転者監視方法及び車両 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09202154A (ja) * | 1996-01-29 | 1997-08-05 | Mitsubishi Electric Corp | 人物状態検出装置 |
JP2001005973A (ja) * | 1999-04-20 | 2001-01-12 | Atr Media Integration & Communications Res Lab | カラー画像による人物の3次元姿勢推定方法および装置 |
JP2001101386A (ja) * | 1999-09-28 | 2001-04-13 | Nissan Motor Co Ltd | 眼の状態検出装置 |
JP2004192378A (ja) * | 2002-12-12 | 2004-07-08 | Toshiba Corp | 顔画像処理装置およびその方法 |
-
2005
- 2005-01-26 JP JP2005018553A patent/JP2006209342A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09202154A (ja) * | 1996-01-29 | 1997-08-05 | Mitsubishi Electric Corp | 人物状態検出装置 |
JP2001005973A (ja) * | 1999-04-20 | 2001-01-12 | Atr Media Integration & Communications Res Lab | カラー画像による人物の3次元姿勢推定方法および装置 |
JP2001101386A (ja) * | 1999-09-28 | 2001-04-13 | Nissan Motor Co Ltd | 眼の状態検出装置 |
JP2004192378A (ja) * | 2002-12-12 | 2004-07-08 | Toshiba Corp | 顔画像処理装置およびその方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009116242A1 (ja) * | 2008-03-18 | 2009-09-24 | パナソニック株式会社 | 運転者監視装置、運転者監視方法及び車両 |
JPWO2009116242A1 (ja) * | 2008-03-18 | 2011-07-21 | パナソニック株式会社 | 運転者監視装置、運転者監視方法及び車両 |
JP2011154721A (ja) * | 2008-03-18 | 2011-08-11 | Panasonic Corp | 運転者監視装置、運転者監視方法及び車両 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3488382B1 (en) | Method and system for monitoring the status of the driver of a vehicle | |
JP5472538B2 (ja) | 距離計測装置及び環境地図生成装置 | |
JP6583734B2 (ja) | 角膜反射位置推定システム、角膜反射位置推定方法、角膜反射位置推定プログラム、瞳孔検出システム、瞳孔検出方法、瞳孔検出プログラム、視線検出システム、視線検出方法、視線検出プログラム、顔姿勢検出システム、顔姿勢検出方法、および顔姿勢検出プログラム | |
WO2021169924A1 (zh) | 行为预测方法及装置、步态识别方法及装置、电子设备和计算机可读存储介质 | |
JP5001930B2 (ja) | 動作認識装置及び方法 | |
JP2007129560A (ja) | 物体検出装置 | |
US20160184998A1 (en) | Robot identification system | |
JP2006343859A (ja) | 画像処理装置及び画像処理方法 | |
US20180231983A1 (en) | Mobile unit control device and mobile unit | |
JP2006090957A (ja) | 移動体の周囲物体検出装置及び移動体の周囲物体検出方法 | |
JP2000293693A (ja) | 障害物検出方法および装置 | |
JP2010079639A (ja) | 車両の歩行者検出装置 | |
JP2010039617A (ja) | 対象物追跡装置及びプログラム | |
JP2011053005A (ja) | 監視システム | |
JP2006215743A (ja) | 画像処理装置及び画像処理方法 | |
WO2015198592A1 (ja) | 情報処理装置、情報処理方法および情報処理プログラム | |
JP2020118575A (ja) | 車間距離測定装置、誤差モデル生成装置および学習モデル生成装置とこれらの方法およびプログラム | |
CN117593792A (zh) | 一种基于视频帧的异常姿态检测方法和装置 | |
JP2006027481A (ja) | 物体警告装置及び物体警告方法 | |
JP2006209342A (ja) | 画像処理装置及び画像処理方法 | |
JP6847442B2 (ja) | 物体追跡装置、物体追跡方法、及び物体追跡プログラム | |
JP4742695B2 (ja) | 視線認識装置、及び視線認識方法 | |
JP2017211765A (ja) | 物体認識装置 | |
WO2007110731A1 (en) | Image processing unit and image processing method | |
JP2011043863A (ja) | 対象領域判定・追跡装置、方法、プログラム及び対象領域判定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080123 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100415 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100420 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100817 |