JP2008186246A - 移動物体認識装置 - Google Patents
移動物体認識装置 Download PDFInfo
- Publication number
- JP2008186246A JP2008186246A JP2007019319A JP2007019319A JP2008186246A JP 2008186246 A JP2008186246 A JP 2008186246A JP 2007019319 A JP2007019319 A JP 2007019319A JP 2007019319 A JP2007019319 A JP 2007019319A JP 2008186246 A JP2008186246 A JP 2008186246A
- Authority
- JP
- Japan
- Prior art keywords
- reliability
- moving object
- recognition
- optical flow
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
【解決手段】撮影装置により時系列に撮影された画像データを取得するデータ取得部1と、異なる時刻に撮影された2つの画像データに対し、同一の認識対象パターンの相関関係を演算する処理を含む複数の画像処理を実行して移動物体の認識を行う認識部2と、認識部2における各画像処理の結果のうちの少なくとも1つの結果に基づいて、移動物体の認識の確実性を示す認識信頼度を演算する信頼度演算部7と、を備える。
【選択図】図1
Description
そして、算出したオプティカルフローに基づいて算出された警報の必要性に応じて、警報部を介して運転者に対して注意を促す。
例えば、雨天の場合には、自車が巻き上げる水しぶきにより自車から後続車への視界を妨げ、不鮮明な後方画像しか得られない場合がある。このような場合には正確なオプティカルフローの算出も妨げられる。
オプティカルフローの算出が不正確となると、移動物体の認識率も低下する。その結果、他車が接近しても警報を発することができなかったり、他車の接近が無いにも拘らず警報を発したりする場合がある。特に、他車の接近が無いにも拘らず警報を発することが頻発すると、乗員が移動物体認識のシステムを信用しなくなる可能性がある。その結果、正確な警報に対しても無視したり、システムを使用しなくなったりして、安全性の向上が損なわれる。
撮影装置により時系列に撮影された画像データを取得するデータ取得部と、
異なる時刻に撮影された2つの前記画像データに対し、同一の認識対象パターンの相関関係を演算する処理を含む複数の画像処理を実行して移動物体の認識を行う認識部と、
前記認識部における各画像処理の結果のうちの少なくとも1つの結果に基づいて、前記移動物体の認識の確実性を示す認識信頼度を演算する信頼度演算部と、を備えることを特徴とする。
前記画像データから前記認識対象パターンとなる特徴点を抽出する特徴点抽出部と、
異なる時刻に撮影された2つの前記画像データにおける前記特徴点に基づいて、オプティカルフローを算出するオプティカルフロー算出部と、
前記オプティカルフローのうち、1つの前記移動物体に属するオプティカルフローを所定の条件に基づいてグルーピングするグルーピング部と、
を備え、前記複数の画像処理を実行することを特徴とする。
従って、本構成のように、特徴抽出部と、オプティカルフロー算出部と、グルーピング部とによって複数の画像処理を実行すると良好に移動物体の認識を行うことができる。また、上述したように、これら複数の画像処理は一連の流れとして実行される。従って、これらの画像処理の少なくとも1つの結果に基づいて演算される認識信頼度は、移動物体認識に係る画像処理の結果の確実性を良好に示すものとなる。
前記オプティカルフロー算出部は、
先に撮影された前記画像データの前記特徴点の周辺の対象領域と、
一定時間経過後に撮影された前記画像データの中で前記対象領域との相関値が最も高い領域と、に基づいて前記オプティカルフローを算出する。
そして、前記信頼度演算部は、
前記相関値に基づいて、算出された前記オプティカルフローの確実性を示すオプティカルフロー信頼度を演算し、
前記オプティカルフロー信頼度を用いて前記認識信頼度を演算する。
前記グルーピング部は、算出された前記オプティカルフローのうち、
オプティカルフローの延長線が所定の収束範囲内で1点の消失点に収束すると共に、
オプティカルフローの一方の端点を外分点として、他方の端点を超えて前記消失点に至る線分と、当該オプティカルフローと、の外分比が所定の許容範囲内で等しくなる、オプティカルフローを1つの前記移動物体に属するオプティカルフローとしてグルーピングする。
そして、前記信頼度演算部は、
グルーピングされたオプティカルフローの収束度、及びグルーピングされたオプティカルフローの総数の一方又は双方に基づいて、グルーピングされたオプティカルフローが1つの前記移動物体に属する確実性を示すグルーピング信頼度を演算し、
前記グルーピング信頼度を用いて前記認識信頼度を演算する。
消失点への収束性が低かったり、外分比のばらつきが大きかったりすると、並進運動に伴う運動ベクトルの集合体としてのオプティカルフローが1つの移動物体に属する確実性が低いことになる。上述したように、画像処理の少なくとも1つの結果に基づいて認識信頼度が演算されるから、グルーピングの確実性を示すグルーピング信頼度を用いて認識信頼度を演算することができる。
前記特徴点抽出部は、前記画像データにおける前記特徴点の固有性を示す特徴量を算出する。
そして、前記信頼度演算部は、前記特徴量に基づいて抽出された前記特徴点の確実性を示す特徴点信頼度を演算し、
前記特徴点信頼度を用いて前記認識信頼度を演算する。
前記認識部が、時系列に撮影され取得される前記画像データに応じて、時系列に前記画像処理を実行するものであり、
前記信頼度演算部が、時系列に実行される前記画像処理に応じて、時系列に前記認識信頼度を演算するものであって、
さらに、以下の特徴構成を備えることができる。
前記信頼度演算部において最新の前記画像処理に応じて演算される前記認識信頼度は、
当該最新の前記画像処理の結果と、
前記画像処理の前回の結果を用いて演算された前回の前記認識信頼度と、
に基づいて演算されることを特徴とする。
即ち、前記信頼度演算部は、
少なくとも前記特徴点抽出部、前記オプティカルフロー算出部、前記グルーピング部による画像処理を含む複数の前記画像処理の各画像処理の結果に基づいて演算され、各画像処理の結果の確実性を示す一次中間信頼度と、
前記一次中間信頼度の何れか1つが選択され、又は前記一次中間信頼度の複数が融合された二次中間信頼度と、
前記二次中間信頼度が高い方から所定の割合に含まれる前記オプティカルフローに対する前記二次中間信頼度が平均された平均信頼度と、
1つの認識対象となる前記移動物体に許容される大きさと、1つの認識された前記移動物体に属するものとしてグルーピングされた前記オプティカルフローが存在する範囲が示す物理的な大きさとの相対関係に基づいて演算され、当該認識された移動物体が前記認識対象となる移動物体であるか否かの確実性を示す対象物信頼度と、
前記認識対象となる移動物体の大きさに相当する範囲に対し、1つの認識された前記移動物体に属するものとしてグルーピングされた前記オプティカルフローが存在する位置が分散する度合いに基づいて演算され、当該認識された移動物体が存在する位置の確実性を示す位置精度信頼度と、
の少なくとも1つを用いて前記認識信頼度を演算することを特徴とする。
前記認識部が、時系列に撮影され取得された前記画像データの時間差、及び、前記画像データを用いて時系列に前記画像処理を実行されて求められた前記移動物体の位置、に基づいて前記移動物体の各時刻における瞬間速度及び平均速度を演算し、
前記信頼度演算部が、前記平均速度に対する前記瞬間速度の逸脱量に基づいて、認識された前記移動物体が時系列の前記画像処理を通じ、連続して同一のものであるか否かの確実性を示す連続性信頼度を演算し、前記連続性信頼度を用いて前記認識信頼度を演算することを特徴とする。
前記認識信頼度が所定の第1しきい値以上の場合には、視覚及び聴覚の少なくとも一方により利用者が迅速に認識可能な警報モードで報知する。
前記認識信頼度が前記第1しきい値未満、且つ前記第1しきい値よりも小さい値に設定された第2しきい値以上の場合には、前記警報モードよりも認識性が低い注意モードで報知する。
前記認識信頼度が前記第2しきい値未満の場合には、報知を行わない。
本発明の移動物体認識装置は、図2に示すようにECU(electronic control unit)20を中核部品として構成され、車両30に搭載される。ECU20は、図1に示すように、情報の入出力を行う入出力インターフェース21を備えると共に、この入出力インターフェース21からの情報を処理するマイクロプロセッサを備えている。もちろん、入出力インターフェース21の一部又は全てがマイクロプロセッサに含まれていてもよい。ECU20は、マイクロプロセッサを中核部品とする電子回路により構成されている。また、当該マイクロプロセッサに内蔵され、あるいは別部品としてメモリやレジスタなどによって構成される記憶部を有している。
また、車両30の移動距離センサとして、前車輪及び後車輪の少なくとも一方の車輪32の回転量を計測する回転センサ18が備えられている。もちろん、変速機構において、駆動系の回転量から車両30の移動量を計測することもできる。
認識部2は、異なる時刻に撮影された2つの画像データに対し、同一の認識対象パターンの相関関係を演算する処理を含む複数の画像処理を実行して移動物体の認識を行う機能部である。
信頼度演算部7は、認識部2における各画像処理の結果のうちの少なくとも1つの結果に基づいて、移動物体の認識の確実性を示す認識信頼度を演算する機能部である。
報知判定部8は、認識信頼度に応じて、モニタ10やスピーカ11などの報知装置を介して移動物体の認識結果を報知する機能部である。報知装置に対して報知出力を行う報知判定部8は本発明の報知部として機能する。また、乗員に対して、報知出力を行う報知装置も本発明の報知部として機能することができる。
特徴点抽出部3は、画像データから前記認識対象パターンとなる特徴点を抽出する機能部である。
オプティカルフロー算出部4は、異なる時刻に撮影された2つの画像データにおける特徴点に基づいて、オプティカルフローを算出する機能部である。
グルーピング部5は、オプティカルフローのうち、1つの移動物体に属するオプティカルフローを所定の条件に基づいてグルーピングする機能部である。
以上、各機能部の概要を説明したが、詳細については後述する。
3次元空間上の点Qは、ワールド座標系において座標値(Xi,Yi,Zi)を有している。
ワールド座標系に対するカメラ座標系の姿勢に関する変換行列を回転行列R(式(1))、ワールド座標系に対するカメラ座標系の位置に関する変換行列を並進ベクトルS(式(2))とし、カメラ内部パラメータを成分に含むカメラ内部行列A(式(3))とすると、透視カメラ行列Pは下記に示す式(4)で表される。
ここで、1つの移動物体40のオプティカルフローを延長する。延長された直線Lはいわゆる無限遠点(point at infinity)あるいは消失点(vanishing point)として定義される出現点FOE(focus of expansion)において1点で交わる。即ち、3次元空間中を並進する移動物体40の各特徴点は、画像面上において共通の出現点FOEを持つ。当然ながら異なる移動物体が互いに平行ではない並進運動をしている場合には、それぞれのオプティカルフローは異なる出現点に収束する。
即ち、オプティカルフローの一方の端点(最新の画像の特徴点m1i)を外分点として、他方の端点(過去の画像の特徴点m2i)を超えて出現点mfoeに至る線分(L2:m1i−mfoe)と、当該オプティカルフロー(L1:m1i−m2i)と、の外分比Cが所定の許容範囲内(例えば±α)で等しくなる。
尚、外分比としては、例えば出現点mfoeを外分点としてもよい。
上述したように、データ取得部1は、カメラ13から出力される画像信号に同期分離とA/D変換を施して画像データを取得する。カメラ13は上述したように広角レンズを用いているので、撮影画像には歪が生じている。また、遠方の分解能が低く、カメラ13の取り付け位置も低い。これらの撮影画像の条件はワールド座標との相関を保って画像処理を実行する上で好ましくない。そこで、認識部2による認識処理を実行する前に種々の補正処理が実行される。この補正処理(正規化処理)は、画像データ取得部1において実行してもよいし、認識部2において実行してもよい。また、別に正規化部等の別の機能部を設けて実行してもよい。本実施形態では、画像データ取得部1において下記に示す画像正規化工程が実施される場合を例として説明する。
画像データ取得部1は、カメラ13から出力され所定の処理を施されてフレームメモリに格納された画像データ(撮影画像データ)に対して、レンズ特性に応じた歪補正処理を実行する。そして、補正後の画像データ(歪補正後画像データ)を別のフレームメモリに格納する。補正後の画像データは、図3及び図4に示したような透視投影図となる。補正後の画像データの座標(x,y)と、それに対応する補正前の画像データの座標(x’,Y’)とは、下式(6)〜(9)に示す関係を満たすように補正される。
認識部2は、このようにして補正された画像データを用いて、移動物体40の認識を行う。但し、画像データの全領域を認識対象とすると、計算量が膨大となるので、状況に応じて画像処理の対象となる領域を設定する。この領域設定は、後述する特徴点抽出、オプティカルフロー算出、グルーピング等の一連の処理の前に行ってもよいし、特徴点抽出後のオプティカルフロー算出前に行うなど随時実施することができる。移動物体認識は、時系列に取得される画像データに対応して逐次、時系列に実施されるので、その認識処理の状況に応じて対象領域を設定が設定される。
認識部2の特徴点抽出部3は、補正後の画像データから画像間の比較を行うため、認識対象パターンとなる特徴点を抽出する。そして、オプティカルフロー算出部4は、異なる時刻に撮影された2つの画像データにおける特徴点に基づいて、オプティカルフローを算出する。このように、特徴点の抽出とオプティカルフローの算出には密接な関係があるため、オプティカルフローの生成原理も交えて説明する。
オプティカルフロー算出部4は、このようにして得られた特徴点の周りにテンプレートを設定し、時系列の後の画像から当該テンプレートと相関の高い領域を探索する(テンプレートマッチング)。探索の結果、その移動ベクトルが動きベクトル(オプティカルフロー)として得られる。テンプレートマッチングの手法としては、例えば、正規化相関法(NCC : normalized cross correlation)を用いることができる。正規化相関法は、周囲の照度による影響を抑制して安定したテンプレートマッチングを可能にする方法である。初めに、時系列に得られた前後の画像データそれぞれの画像全体の平均輝度を演算し、元の画像データからこの平均輝度差し引いて正規化する。これによって、画像間の輝度の差を無くし、テンプレートと最も相関のとれる位置を高精度に探索する。
図6に示すフローチャートからも明らかなように、移動物体の認識処理は、時系列に取得される画像データに応じて繰り返し実行される。従って、前回のフローにおいて認識された移動物体の位置に応じ、画像処理領域設定工程において事前に探索領域を制限することができる。
グルーピング部5は、オプティカルフローのうち、1つの移動物体に属するオプティカルフローを所定の条件に基づいてグルーピングする。ここで、所定の条件とは、図5に基づいて上述したように、以下の2点である。
第1に、オプティカルフローの延長線Lが所定の収束範囲内で1点の消失点FOE(mfoe)に収束することである。
第2に、オプティカルフローの一方の端点(m1i)を外分点として、他方の端点(m2i)を超えて出現点(mfoe)に至る線分L2と、当該オプティカルフローL1との外分比が所定の許容範囲α内で等しい値Cとなることである。
認識部2の移動物体判定部6は、グルーピングされたオプティカルフローに基づいて移動物体を判定する。例えば、特徴点の配置から移動物体の大きさや車種などを判定する。また、移動物体までの距離を算出することもできる。
移動物体判定部6は、オプティカルフローの最下点を車両30と同じ平面上にある路面であると仮定して、下記に示す式(29)でカメラ13から移動物体までの距離を算出することができる。ここでいう距離Zは、カメラ13から物体の特徴点までの距離の撮像方向(光軸)への方向余弦である。上述した正規化工程において画像データを水平方向に正規化している場合には、撮像方向は路面に平行な水平方向となる。式(29)は、撮像方向が路面に平行である場合の距離Zの算出式である。
式(29)においては、画像平面座標を(u,v)、ワールド座標を(X,Y,Z)画像中心OIの座標を(cu,cv)とする(図3及び図4参照)。また、U=u−cu、V=v−cvとおく。
信頼度演算部7は、上述したような認識部2における各画像処理の結果のうちの少なくとも1つの結果に基づいて、移動物体の認識の確実性を示す認識信頼度Coutを演算する。図6に示すフローチャートでは、上述した全ての画像処理が終わった後に認識信頼度Coutを演算しているが、勿論、複数の画像処理の間で認識信頼度Coutを演算してもよい。
例えば、各画像処理の結果のうちの1つである特徴点抽出の結果に基づいて認識信頼度Coutを演算する場合には、特徴点抽出工程#4とオプティカルフロー算出工程#5との間に認識信頼度度演算工程#9を実施してもよい。
具体的な認識信頼度Coutの導出方法については後述する。
報知判定部8は、認識信頼度演算部7で演算された認識信頼度Coutに応じて、移動物体の認識結果を報知するか否かを判定する。例えば、認識信頼度Coutが所定の第1しきい値TH1以上の場合には、警報モードで報知する必要があると判定する(#10、#11)。具体的には、図1に示すモニタ10やスピーカ11を介して、例えば図9(a)に示す形態で車両30の乗員に報知される。
以下、認識部における各画像処理の結果のうちの少なくとも1つの結果に基づいて演算される認識信頼度Coutの具体例について説明する。
上述したように、特徴点抽出部3は、画像データにおける特徴点の固有性を示す特徴量(例えばKLT特徴量)を算出する。信頼度演算部7は、この算出された特徴量に基づいて、抽出された特徴点の確実性を示す特徴点信頼度Cfを演算する。そして、信頼度演算部7は、この特徴点信頼度Cfを用いて認識信頼度Coutを演算する。
信頼度演算部7が特徴点抽出部3による画像処理結果のみに基づいて認識信頼度Coutを演算する場合には、Cout=Cfとなる。
上述したように、オプティカルフロー算出部4は、先に撮影された画像データの特徴点の周辺の対象領域(テンプレート)と、一定時間経過後に撮影された画像データの中で対象領域との相関値が最も高い領域と、に基づいてオプティカルフローを算出する。信頼度演算部7は、この相関値に基づいて、算出されたオプティカルフローの確実性を示すオプティカルフロー信頼度Cvを演算する。そして、信頼度演算部7は、オプティカルフロー信頼度Cvを用いて認識信頼度Coutを演算する。
信頼度演算部7がオプティカルフロー算出部4による画像処理結果のみに基づいて認識信頼度Coutを演算する場合には、Cout=Cvとなる。
上述したように、グルーピング部5は、算出されたオプティカルフローを下記2つの条件に基づいて、1つの移動物体に属するオプティカルフローとしてグルーピングする。
第1の条件は、オプティカルフローの延長線が所定の収束範囲内で1点の消失点に収束することである。第2の条件はオプティカルフローの一方の端点を外分点として、他方の端点を超えて前記消失点に至る線分と、当該オプティカルフローと、の外分比が所定の許容範囲内で等しくなることである。
この条件を満たすための具体的な方法として、図7に示したように、式(28)に基づいて、各オプティカルフロー(dmi)のx成分及びy成分のそれぞれと、特徴点(m1i)との関係を利用している。
グルーピング信頼度Cgの算出方法については後述するが、信頼度演算部7がオプティカルフロー算出部4による画像処理結果のみに基づいて認識信頼度Coutを演算する場合には、Cout=Cgとなる。
図12は、グルーピング信頼度Cgの演算原理を示す説明図である。上述したように、パラメータ直線Pに対して所定の許容幅Dに含まれるオプティカルフローが1つのグループとしてグルーピングされる。このとき、グルーピング基準となるパラメータ直線Pから各オプティカルフローへの偏差(偏差距離)dpを求める。そして、この偏差dpをグルーピングデータの分散値で除してパラメータ偏差を求める。
信頼度演算部7がパラメータ偏差信頼度Cg1のみに基づいてグルーピング信頼度Cgを演算する場合には、Cg=Cg1となる。
図14に示すように、パラメータ偏差の分散値が所定の値までの間は最大の信頼度を示し、所定の値を超えて大きくなるに従って信頼度が低下する。この所定の値は、勿論、適宜設定可能である。尚、図14では所定の値以降、線形的なマップを適用しているが勿論非線形マップを適用してもよい。
信頼度演算部7がパラメータ分散信頼度Cg2のみに基づいてグルーピング信頼度Cgを演算する場合には、Cg=Cg2となる。
当然ながら、この所定の値は適宜設定可能であり、グルーピング点数信頼度Cg3のマップも線形に限定されず非線形のものとすることができる。
信頼度演算部7がグルーピング点数信頼度Cg3のみに基づいてグルーピング信頼度Cgを演算する場合には、Cg=Cg3となる。
認識部2における主要な画像処理、即ち、少なくとも特徴点抽出、オプティカルフロー算出、グルーピングを含む複数の画像処理の各画像処理の結果に基づいて演算され、各画像処理の結果の確実性を示す信頼度を一次中間信頼度とする。つまり、上述した特徴点信頼度Cf、オプティカルフロー信頼度Cv、グルーピング信頼度Cgは一次中間信頼度である。
そして、一次中間信頼度の何れか1つが選択され、又は一次中間信頼度の複数が融合された信頼度は、二次中間信頼度である。上述したように、例えば、特徴点抽出部3の画像処理結果のみに基づいて認識信頼度Coutが演算されるような場合には、一次中間信頼度としての特徴点信頼度Cfが、二次中間信頼度Cyとして選択される。
また、複数の一次中間信頼度を融合することによって二次中間信頼度Cyを算出する場合には、論理積(Cy=Cf・Cv・Cg)を用いる。グルーピング信頼度Cgを求める際に説明したように、論理積をとる際に各信頼度に係数を掛けて影響度を異ならせてもよい。この係数には勿論ゼロも含まれる。
上述したように、認識部2は、時系列に撮影され取得される画像データに応じて、時系列に画像処理を実行する。また、信頼度演算部7は、時系列に実行される画像処理に応じて、時系列に認識信頼度Coutを演算する。信頼度演算部7は、当該最新の画像処理の結果と、前回の画像処理の結果を用いて演算された前回の認識信頼度と、に基づいて、最新の画像処理に応じた認識信頼度Coutを演算することができる。これは、認識信頼度Coutの継続性を考慮したものであるので、継続性信頼度Ctと称する。継続性信頼度Ctは、下式(30)によって演算することができる。
信頼度演算部7はこのようにして演算した継続性信頼度Ctを、Cout=Ctとして出力することもできる。
認識信頼度演算部7は、移動物体判定部6の演算結果に基づいて認識信頼度Coutを演算することもできる。移動物体判定信頼度Coは、後述する平均信頼度Coa、対象物信頼度Cob1、位置精度信頼度Cob2、連続性信頼度Cocを、論理積をとることによって(Co=Coa・Cob1・Cob2・Coc)融合したものである。
勿論、各信頼度に係数(ゼロを含む)を掛けて影響度を異ならせてもよい。また、上述した他の信頼度を融合する場合と同様に、必ずしも全ての信頼度を融合する必要はなく何れか1つの信頼度が選択されるものであってもよい。
認識信頼度演算部7は、この移動物体判定信頼度Coを用いて認識信頼度Coutを演算する。当然ながら、信頼度演算部7は移動物体判定信頼度Coを、Cout=Coとして出力することもできる。
尚、上述した種々の信頼度と同様に、2メートルのしきい値やマップの形状については適宜変更可能である。
尚、上述した種々の信頼度と同様に、マップの変曲点の値や形状については適宜変更可能である。
尚、当然ながら、認識信頼度Coutの値域、第1しきい値TH1、第2しきい値TH2の値は、上記例に限定されるものではなく、適宜設定可能である。また、2つのしきい値を用いて警報モード、注意モードを有した報知方法に限定されることなく、さらに多段階の報知モードを用意することも可能である。
2:認識部
3:特徴点抽出部
4:オプティカルフロー算出部
5:グルーピング部
7:信頼度演算部
8:報知判定部(報知部)
10:モニタ(報知部)
11:スピーカ(報知部)
13:カメラ(撮影装置)
40:移動物体
m1i、m11〜m14:オプティカルフローの一方の端点、外分点
m2i、m21〜m24:オプティカルフローの他方の端点
FOE、mfoe:出現点(消失点)
D:所定の収束範囲
TH1:第1しきい値
TH2:第2しきい値
Claims (11)
- 撮影装置により時系列に撮影された画像データを取得するデータ取得部と、
異なる時刻に撮影された2つの前記画像データに対し、同一の認識対象パターンの相関関係を演算する処理を含む複数の画像処理を実行して移動物体の認識を行う認識部と、
前記認識部における各画像処理の結果のうちの少なくとも1つの結果に基づいて、前記移動物体の認識の確実性を示す認識信頼度を演算する信頼度演算部と、を備える移動物体認識装置。 - 前記認識部は、
前記画像データから前記認識対象パターンとなる特徴点を抽出する特徴点抽出部と、
異なる時刻に撮影された2つの前記画像データにおける前記特徴点に基づいて、オプティカルフローを算出するオプティカルフロー算出部と、
前記オプティカルフローのうち、1つの前記移動物体に属するオプティカルフローを所定の条件に基づいてグルーピングするグルーピング部と、
を備え、前記複数の画像処理を実行する請求項1に記載の移動物体認識装置。 - 前記オプティカルフロー算出部は、
先に撮影された前記画像データの前記特徴点の周辺の対象領域と、
一定時間経過後に撮影された前記画像データの中で前記対象領域との相関値が最も高い領域と、に基づいて前記オプティカルフローを算出し、
前記信頼度演算部は、
前記相関値に基づいて、算出された前記オプティカルフローの確実性を示すオプティカルフロー信頼度を演算し、
前記オプティカルフロー信頼度を用いて前記認識信頼度を演算する、
請求項2に記載の移動物体認識装置。 - 前記グルーピング部は、算出された前記オプティカルフローのうち、
オプティカルフローの延長線が所定の収束範囲内で1点の消失点に収束すると共に、
オプティカルフローの一方の端点を外分点として、他方の端点を超えて前記消失点に至る線分と、当該オプティカルフローと、の外分比が所定の許容範囲内で等しくなる、オプティカルフローを1つの前記移動物体に属するオプティカルフローとしてグルーピングし、
前記信頼度演算部は、
グルーピングされたオプティカルフローの収束度、及びグルーピングされたオプティカルフローの総数の一方又は双方に基づいて、グルーピングされたオプティカルフローが1つの前記移動物体に属する確実性を示すグルーピング信頼度を演算し、
前記グルーピング信頼度を用いて前記認識信頼度を演算する、
請求項2又は3に記載の移動物体認識装置。 - 前記信頼度演算部は、各グルーピング基準に対してグルーピングされた各オプティカルフローが有する偏差及び当該偏差の分散の一方又は双方に基づいて前記収束度を演算する請求項4に記載の移動物体認識装置。
- 前記特徴点抽出部は、前記画像データにおける前記特徴点の固有性を示す特徴量を算出し、
前記信頼度演算部は、
前記特徴量に基づいて抽出された前記特徴点の確実性を示す特徴点信頼度を演算し、
前記特徴点信頼度を用いて前記認識信頼度を演算する請求項2〜5の何れか一項に記載の移動物体認識装置。 - 前記認識部は、時系列に撮影され取得される前記画像データに応じて、時系列に前記画像処理を実行するものであり、
前記信頼度演算部は、時系列に実行される前記画像処理に応じて、時系列に前記認識信頼度を演算するものであって、
最新の前記画像処理に応じて演算される前記認識信頼度は、
当該最新の前記画像処理の結果と、
前記画像処理の前回の結果を用いて演算された前回の前記認識信頼度と、
に基づいて演算される、
請求項2〜6の何れか一項に記載の移動物体認識装置。 - 前記信頼度演算部は、
少なくとも前記特徴点抽出部、前記オプティカルフロー算出部、前記グルーピング部による画像処理を含む複数の前記画像処理の各画像処理の結果に基づいて演算され、各画像処理の結果の確実性を示す一次中間信頼度と、
前記一次中間信頼度の何れか1つが選択され、又は前記一次中間信頼度の複数が融合された二次中間信頼度と、
前記二次中間信頼度が高い方から所定の割合に含まれる前記オプティカルフローに対する前記二次中間信頼度が平均された平均信頼度と、
1つの認識対象となる前記移動物体に許容される大きさと、1つの認識された前記移動物体に属するものとしてグルーピングされた前記オプティカルフローが存在する範囲が示す物理的な大きさとの相対関係に基づいて演算され、当該認識された移動物体が前記認識対象となる移動物体であるか否かの確実性を示す対象物信頼度と、
前記認識対象となる移動物体の大きさに相当する範囲に対し、1つの認識された前記移動物体に属するものとしてグルーピングされた前記オプティカルフローが存在する位置が分散する度合いに基づいて演算され、当該認識された移動物体が存在する位置の確実性を示す位置精度信頼度と、
の少なくとも1つを用いて前記認識信頼度を演算する、請求項2〜7の何れか一項に記載の移動物体認識装置。 - 前記認識部は、時系列に撮影され取得された前記画像データの時間差、及び、前記画像データを用いて時系列に前記画像処理を実行されて求められた前記移動物体の位置、に基づいて前記移動物体の各時刻における瞬間速度及び平均速度を演算し、
前記信頼度演算部は、
前記平均速度に対する前記瞬間速度の逸脱量に基づいて、認識された前記移動物体が時系列の前記画像処理を通じ、連続して同一のものであるか否かの確実性を示す連続性信頼度を演算し、
前記連続性信頼度を用いて前記認識信頼度を演算する、
請求項2〜8に記載の移動物体認識装置。 - 前記認識信頼度に応じて、前記移動物体の認識結果を報知する報知部を備える請求項1〜9の何れか一項に記載の移動物体認識装置。
- 前記報知部は、前記移動物体の認識結果を
前記認識信頼度が所定の第1しきい値以上の場合には、視覚及び聴覚の少なくとも一方により利用者が迅速に認識可能な警報モードで報知し、
前記認識信頼度が前記第1しきい値未満、且つ前記第1しきい値よりも小さい値に設定された第2しきい値以上の場合には、前記警報モードよりも認識性が低い注意モードで報知し、
前記認識信頼度が前記第2しきい値未満の場合には、報知を行わない、
請求項10に記載の移動物体認識装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007019319A JP4919036B2 (ja) | 2007-01-30 | 2007-01-30 | 移動物体認識装置 |
PCT/JP2008/050951 WO2008093585A1 (ja) | 2007-01-30 | 2008-01-24 | 移動物体認識装置 |
US12/525,018 US8184857B2 (en) | 2007-01-30 | 2008-01-24 | Moving object recognizing apparatus |
EP08703779.2A EP2128821B1 (en) | 2007-01-30 | 2008-01-24 | Moving object recognizing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007019319A JP4919036B2 (ja) | 2007-01-30 | 2007-01-30 | 移動物体認識装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008186246A true JP2008186246A (ja) | 2008-08-14 |
JP2008186246A5 JP2008186246A5 (ja) | 2009-10-01 |
JP4919036B2 JP4919036B2 (ja) | 2012-04-18 |
Family
ID=39673896
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007019319A Expired - Fee Related JP4919036B2 (ja) | 2007-01-30 | 2007-01-30 | 移動物体認識装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8184857B2 (ja) |
EP (1) | EP2128821B1 (ja) |
JP (1) | JP4919036B2 (ja) |
WO (1) | WO2008093585A1 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012123751A (ja) * | 2010-12-10 | 2012-06-28 | Toshiba Alpine Automotive Technology Corp | 車両用画像処理装置および車両用画像処理方法 |
JP2012146146A (ja) * | 2011-01-12 | 2012-08-02 | Denso It Laboratory Inc | 移動物体検出装置 |
JP2013020507A (ja) * | 2011-07-12 | 2013-01-31 | Aisin Seiki Co Ltd | 車両検出装置、車両検出方法及びプログラム |
JP2013120551A (ja) * | 2011-12-08 | 2013-06-17 | Denso It Laboratory Inc | 車両用運転支援装置 |
KR101344056B1 (ko) | 2013-09-25 | 2014-01-16 | 주식회사 피엘케이 테크놀로지 | 차량의 출발 정지 지원 장치 및 그 방법 |
KR101592125B1 (ko) | 2014-12-17 | 2016-02-04 | 한양대학교 에리카산학협력단 | 표적 추적 방법 및 장치 |
WO2020031898A1 (ja) * | 2018-08-08 | 2020-02-13 | 株式会社東芝 | 監視装置 |
JP2020042819A (ja) * | 2018-09-07 | 2020-03-19 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 運動ベクトル場の決定方法、運動ベクトル場の決定装置、機器、コンピュータ読み取り可能な記憶媒体及び車両 |
JP2021082316A (ja) * | 2017-04-11 | 2021-05-27 | ソニーグループ株式会社 | ビデオコンテンツにおけるオプティカルフローおよびセンサー入力ベースの背景差分 |
JPWO2022123786A1 (ja) * | 2020-12-11 | 2022-06-16 | ||
JP2022541826A (ja) * | 2019-07-23 | 2022-09-27 | パーキングクラウド・カンパニー・リミテッド | 車両ナンバープレートの認識率をモニタリングする方法及び装置、並びにコンピュータ読み取り可能な格納媒体 |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2347931B1 (en) * | 2008-10-31 | 2020-01-15 | Koito Manufacturing Co., Ltd. | Headlamp controller |
FR2948759B1 (fr) * | 2009-07-31 | 2011-08-12 | Movea | Procede d'estimation de l'orientation d'un solide en mouvement |
US8983127B2 (en) | 2010-03-19 | 2015-03-17 | University Of Central Florida Research Foundation, Inc. | Object tracking with opposing image capture devices |
JP5400718B2 (ja) * | 2010-07-12 | 2014-01-29 | 株式会社日立国際電気 | 監視システムおよび監視方法 |
US8995531B2 (en) * | 2010-08-02 | 2015-03-31 | Peking University | Representative motion flow extraction for effective video classification and retrieval |
US9342746B1 (en) * | 2011-03-17 | 2016-05-17 | UtopiaCompression Corporation | Maneuverless passive range estimation using monocular image sequences |
US20120242806A1 (en) * | 2011-03-23 | 2012-09-27 | Tk Holdings Inc. | Dynamic stereo camera calibration system and method |
JP2013007921A (ja) * | 2011-06-24 | 2013-01-10 | Sony Corp | 音制御装置、プログラム及び制御方法 |
US9072929B1 (en) * | 2011-12-01 | 2015-07-07 | Nebraska Global Investment Company, LLC | Image capture system |
US9465844B2 (en) * | 2012-04-30 | 2016-10-11 | Sap Se | Unified table query processing |
JP6141601B2 (ja) * | 2012-05-15 | 2017-06-07 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 車載カメラ自動キャリブレーション装置 |
JP5655038B2 (ja) * | 2012-07-30 | 2015-01-14 | 株式会社デンソーアイティーラボラトリ | 移動体認識システム、移動体認識プログラム、及び移動体認識方法 |
JP5944781B2 (ja) | 2012-07-31 | 2016-07-05 | 株式会社デンソーアイティーラボラトリ | 移動体認識システム、移動体認識プログラム、及び移動体認識方法 |
KR101480647B1 (ko) * | 2013-11-15 | 2015-01-09 | 현대자동차주식회사 | 협로 주행을 위한 조향 위험도 판단 시스템 및 그 판단 방법 |
JP6557973B2 (ja) * | 2015-01-07 | 2019-08-14 | 株式会社リコー | 地図生成装置、地図生成方法およびプログラム |
EP3057061B1 (en) * | 2015-02-16 | 2017-08-30 | Application Solutions (Electronics and Vision) Limited | Method and device for the estimation of car egomotion from surround view images |
US9430840B1 (en) * | 2015-07-23 | 2016-08-30 | Mitsubishi Electric Research Laboratories, Inc. | Method and system for segmenting an image based on motion vanishing points |
JP6450294B2 (ja) | 2015-09-30 | 2019-01-09 | 株式会社デンソーアイティーラボラトリ | 物体検出装置、物体検出方法、及びプログラム |
JP6742173B2 (ja) * | 2016-06-30 | 2020-08-19 | キヤノン株式会社 | 焦点調節装置及び方法、及び撮像装置 |
US9996752B2 (en) * | 2016-08-30 | 2018-06-12 | Canon Kabushiki Kaisha | Method, system and apparatus for processing an image |
IT201600094414A1 (it) | 2016-09-20 | 2018-03-20 | St Microelectronics Srl | Un procedimento per rilevare un veicolo in sorpasso, relativo sistema di elaborazione, sistema di rilevazione di un veicolo in sorpasso e veicolo |
JP6960827B2 (ja) | 2017-11-08 | 2021-11-05 | フォルシアクラリオン・エレクトロニクス株式会社 | 路面領域検出装置 |
US10688662B2 (en) | 2017-12-13 | 2020-06-23 | Disney Enterprises, Inc. | Robot navigation in context of obstacle traffic including movement of groups |
RU2680765C1 (ru) * | 2017-12-22 | 2019-02-26 | Общество с ограниченной ответственностью "Аби Продакшн" | Автоматизированное определение и обрезка неоднозначного контура документа на изображении |
US10565714B2 (en) | 2018-05-25 | 2020-02-18 | Denso Corporation | Feature tracking for visual odometry |
DE102018221617A1 (de) | 2018-12-13 | 2020-06-18 | Robert Bosch Gmbh | Verfahren zur Bestimmung einer Relativbewegung mittels einer digitalen Bilderfolge |
KR102186983B1 (ko) * | 2019-09-17 | 2020-12-04 | 한성대학교 산학협력단 | 사용자 영상 단말의 이동거리 측정 방법 및 장치 |
US11580833B2 (en) * | 2020-03-24 | 2023-02-14 | Object Video Labs, LLC | Camera detection of human activity with co-occurrence |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0737063A (ja) * | 1993-07-22 | 1995-02-07 | Fuji Electric Co Ltd | 物体監視装置 |
JPH0883345A (ja) * | 1994-07-14 | 1996-03-26 | Toyota Motor Corp | 移動物体検出方法 |
JPH09293185A (ja) * | 1996-04-24 | 1997-11-11 | Nittan Co Ltd | 対象検知装置および対象検知方法および対象監視システム |
JP2005309746A (ja) * | 2004-04-21 | 2005-11-04 | Nippon Telegr & Teleph Corp <Ntt> | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 |
JP2006318345A (ja) * | 2005-05-16 | 2006-11-24 | Sony Corp | 物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5036474A (en) * | 1989-03-31 | 1991-07-30 | Honeywell Inc. | Motion detection and tracking from a mobile platform |
US5265172A (en) * | 1989-10-13 | 1993-11-23 | Texas Instruments Incorporated | Method and apparatus for producing optical flow using multi-spectral images |
JP2940582B2 (ja) | 1992-10-15 | 1999-08-25 | ダイハツ工業株式会社 | 斜め後方走行車検出方法 |
JP3239521B2 (ja) | 1993-03-30 | 2001-12-17 | トヨタ自動車株式会社 | 移動体認識装置 |
JP3485135B2 (ja) | 1995-09-27 | 2004-01-13 | 矢崎総業株式会社 | 車両用後側方監視装置 |
US6330353B1 (en) * | 1997-12-18 | 2001-12-11 | Siemens Corporate Research, Inc. | Method of localization refinement of pattern images using optical flow constraints |
US6124647A (en) * | 1998-12-16 | 2000-09-26 | Donnelly Corporation | Information display in a rearview mirror |
US6480615B1 (en) * | 1999-06-15 | 2002-11-12 | University Of Washington | Motion estimation within a sequence of data frames using optical flow with adaptive gradients |
US7324665B2 (en) * | 2002-09-16 | 2008-01-29 | Massachusetts Institute Of Technology | Method of multi-resolution adaptive correlation processing |
US7446798B2 (en) * | 2003-02-05 | 2008-11-04 | Siemens Corporate Research, Inc. | Real-time obstacle detection with a calibrated camera and known ego-motion |
US8175412B2 (en) * | 2004-02-17 | 2012-05-08 | Yeda Research & Development Co. Ltd. | Method and apparatus for matching portions of input images |
DE102005013920B4 (de) * | 2004-03-26 | 2007-12-13 | Mitsubishi Jidosha Kogyo K.K. | Frontsicht-Überwachungsvorrichtung |
DE102004048400A1 (de) * | 2004-10-01 | 2006-04-06 | Robert Bosch Gmbh | Verfahren für die Erfassung einer optischen Struktur |
JP4367475B2 (ja) | 2006-10-06 | 2009-11-18 | アイシン精機株式会社 | 移動物体認識装置、移動物体認識方法及びコンピュータプログラム |
-
2007
- 2007-01-30 JP JP2007019319A patent/JP4919036B2/ja not_active Expired - Fee Related
-
2008
- 2008-01-24 EP EP08703779.2A patent/EP2128821B1/en not_active Not-in-force
- 2008-01-24 WO PCT/JP2008/050951 patent/WO2008093585A1/ja active Application Filing
- 2008-01-24 US US12/525,018 patent/US8184857B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0737063A (ja) * | 1993-07-22 | 1995-02-07 | Fuji Electric Co Ltd | 物体監視装置 |
JPH0883345A (ja) * | 1994-07-14 | 1996-03-26 | Toyota Motor Corp | 移動物体検出方法 |
JPH09293185A (ja) * | 1996-04-24 | 1997-11-11 | Nittan Co Ltd | 対象検知装置および対象検知方法および対象監視システム |
JP2005309746A (ja) * | 2004-04-21 | 2005-11-04 | Nippon Telegr & Teleph Corp <Ntt> | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 |
JP2006318345A (ja) * | 2005-05-16 | 2006-11-24 | Sony Corp | 物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置 |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012123751A (ja) * | 2010-12-10 | 2012-06-28 | Toshiba Alpine Automotive Technology Corp | 車両用画像処理装置および車両用画像処理方法 |
JP2012146146A (ja) * | 2011-01-12 | 2012-08-02 | Denso It Laboratory Inc | 移動物体検出装置 |
JP2013020507A (ja) * | 2011-07-12 | 2013-01-31 | Aisin Seiki Co Ltd | 車両検出装置、車両検出方法及びプログラム |
JP2013120551A (ja) * | 2011-12-08 | 2013-06-17 | Denso It Laboratory Inc | 車両用運転支援装置 |
KR101344056B1 (ko) | 2013-09-25 | 2014-01-16 | 주식회사 피엘케이 테크놀로지 | 차량의 출발 정지 지원 장치 및 그 방법 |
KR101592125B1 (ko) | 2014-12-17 | 2016-02-04 | 한양대학교 에리카산학협력단 | 표적 추적 방법 및 장치 |
JP2021082316A (ja) * | 2017-04-11 | 2021-05-27 | ソニーグループ株式会社 | ビデオコンテンツにおけるオプティカルフローおよびセンサー入力ベースの背景差分 |
WO2020031898A1 (ja) * | 2018-08-08 | 2020-02-13 | 株式会社東芝 | 監視装置 |
JP2020042819A (ja) * | 2018-09-07 | 2020-03-19 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 運動ベクトル場の決定方法、運動ベクトル場の決定装置、機器、コンピュータ読み取り可能な記憶媒体及び車両 |
US11227395B2 (en) | 2018-09-07 | 2022-01-18 | Apollo Intelligent Driving Technology (Beijing) Co., Ltd. | Method and apparatus for determining motion vector field, device, storage medium and vehicle |
JP2022541826A (ja) * | 2019-07-23 | 2022-09-27 | パーキングクラウド・カンパニー・リミテッド | 車両ナンバープレートの認識率をモニタリングする方法及び装置、並びにコンピュータ読み取り可能な格納媒体 |
JP7203277B2 (ja) | 2019-07-23 | 2023-01-12 | パーキングクラウド・カンパニー・リミテッド | 車両ナンバープレートの認識率をモニタリングする方法及び装置、並びにコンピュータ読み取り可能な格納媒体 |
JPWO2022123786A1 (ja) * | 2020-12-11 | 2022-06-16 | ||
WO2022123786A1 (ja) * | 2020-12-11 | 2022-06-16 | 三菱電機株式会社 | 信頼度推定装置、位置推定装置、及び信頼度推定方法 |
JP7221469B2 (ja) | 2020-12-11 | 2023-02-13 | 三菱電機株式会社 | 信頼度推定装置、位置推定装置、及び信頼度推定方法 |
Also Published As
Publication number | Publication date |
---|---|
JP4919036B2 (ja) | 2012-04-18 |
WO2008093585A1 (ja) | 2008-08-07 |
EP2128821A1 (en) | 2009-12-02 |
US20100027844A1 (en) | 2010-02-04 |
EP2128821A4 (en) | 2011-05-04 |
EP2128821B1 (en) | 2014-03-26 |
US8184857B2 (en) | 2012-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4919036B2 (ja) | 移動物体認識装置 | |
JP5689907B2 (ja) | 車両において通行物体位置検出を向上する方法 | |
Goldbeck et al. | Lane detection and tracking by video sensors | |
JP4899424B2 (ja) | 物体検出装置 | |
US8005266B2 (en) | Vehicle surroundings monitoring apparatus | |
JP5136504B2 (ja) | 物体識別装置 | |
US20180292201A1 (en) | Calibration apparatus, calibration method, and calibration program | |
US20130286205A1 (en) | Approaching object detection device and method for detecting approaching objects | |
WO2010067770A1 (ja) | 立体物出現検知装置 | |
KR101551026B1 (ko) | 차량 검출 방법 | |
JP4872769B2 (ja) | 路面判別装置および路面判別方法 | |
JP4407920B2 (ja) | 障害物認識方法及び障害物認識装置 | |
US20200286244A1 (en) | Image processing method and apparatus | |
Liu et al. | Development of a vision-based driver assistance system with lane departure warning and forward collision warning functions | |
US10832428B2 (en) | Method and apparatus for estimating a range of a moving object | |
CN114495064A (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
US8675047B2 (en) | Detection device of planar area and stereo camera system | |
US20240153106A1 (en) | Object tracking device | |
KR102003387B1 (ko) | 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체 | |
JP2009139324A (ja) | 車両用走行路面検出装置 | |
WO2022009537A1 (ja) | 画像処理装置 | |
Yang | Estimation of vehicle's lateral position via the Lucas-Kanade optical flow method | |
JP2010224926A (ja) | 停止線検出装置 | |
JP4788399B2 (ja) | 歩行者検出方法、装置、およびプログラム | |
JP5903901B2 (ja) | 車両位置算出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090626 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090818 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120105 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120118 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4919036 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150210 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |