JP2007257027A - 移動体監視装置 - Google Patents

移動体監視装置 Download PDF

Info

Publication number
JP2007257027A
JP2007257027A JP2006076965A JP2006076965A JP2007257027A JP 2007257027 A JP2007257027 A JP 2007257027A JP 2006076965 A JP2006076965 A JP 2006076965A JP 2006076965 A JP2006076965 A JP 2006076965A JP 2007257027 A JP2007257027 A JP 2007257027A
Authority
JP
Japan
Prior art keywords
image
template
moving body
camera
optical flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006076965A
Other languages
English (en)
Other versions
JP4740003B2 (ja
Inventor
Hirotaka Iwano
博隆 岩野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
HCX Corp
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Hitachi Ltd
HCX Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd, Hitachi Ltd, HCX Corp filed Critical Clarion Co Ltd
Priority to JP2006076965A priority Critical patent/JP4740003B2/ja
Publication of JP2007257027A publication Critical patent/JP2007257027A/ja
Application granted granted Critical
Publication of JP4740003B2 publication Critical patent/JP4740003B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】移動体監視装置において、テンプレートマッチング処理の精度を低下させることなく、所要時間を短縮する。
【解決手段】カメラ80によって撮影された映像を構成する時系列的に連続する画像P(n),P(n+1)に基づいて、接近する他車両200を含むブロックBijを複数検出する移動体検出手段10と、相関法によりオプティカルフローOFを求める相関法演算手段40とを備え、相関法演算手段40は、ブロックBijをテンプレートTとして、後続する画像P(n+1)に対する探索範囲を、ブロックBijの配置位置に応じて限定的に設定する。
【選択図】図1

Description

本発明は、移動体監視装置に関し、詳細には、カメラから得られた映像に基づいたオプティカルフローの検出の改良に関する。
近年、カメラにより撮像された映像に基づいて、このカメラに接近する移動体のオプティカルフローを求める移動体監視装置が提案されている。
ここで、オプティカルフローとは、移動体解析手法の一つであり、カメラに対する移動体の相対的な動きによって生じる画像状の各点の速度場を意味し、画像の輝度情報あるいは濃度情報(画像信号)に基づいて画像中の各部分の動きを解析し、この動きを速度ベクトルによって表現することで、移動体の運動を表し、相関法(テンプレートマッチング(ブロックマッチング)法)と勾配法とがある。
相関法は、映像を構成する時系列的に連続する複数の画像のうち任意の画像(第Nフレーム)における移動体を含む画像部分(第Nフレームの画像の一部分)をテンプレートとし、この任意の画像(第Nフレーム)に時系列的に後続した画像(第(N+1)フレーム)を探索範囲としたテンプレートマッチングにより、テンプレートと同一または類似の画像部分(第(N+1)フレームの画像の一部分)を、後続した画像(第(N+1)フレーム)から検出し、両画像間(第Nフレームの画像と第(N+1)フレーム)で対応する画像部分同士(第Nフレームの画像の一部分と第(N+1)フレームの画像の一部分)の、空間的な位置関係(第Nフレームにおける位置(Xn,Yn)→第(N+1)フレームにおける位置(X(n+1),Y(n+1)))に基づいて、当該画像部分の速度ベクトルを求める手法である。
一方、勾配法は、画像部分の局所の濃度パターンは運動(移動)後も不変に保たれるという仮定の下に、任意の画像(第Nフレーム)中の画像部分(第Nフレームの画像の一部分)の濃度パターンを空間的に線形近似して、濃度勾配を有する平面(空間的な濃度勾配平面)として把握し、この濃度勾配平面上の任意の画素(Xpn,Yqn)に注目して、当該注目画素(Xpn,Yqn)の濃度値(画像信号値)Spqnを求め、この画像(第Nフレーム)に時系列的に後続する画像(第(N+1)フレーム)の対応画像部分(第(N+1)フレームの画像の一部分)において、当該注目画素(Xpn,Yqn)と空間的に対応する画素(対応注目画素(Xp(n+1),Yq(n+1)))の濃度値Spq(n+1)を求め、上記任意の画像(第Nフレーム)における上記濃度勾配平面上において、対応注目画素(Xp(n+1),Yq(n+1))の濃度値Spq(n+1)と同一の濃度値Sp′q′nの画素の位置(Xp′n,Yq′n)を求め、この任意の画像(第Nフレーム)における画素(Xp′n,Yq′n)が、後続する画像(第(N+1)フレーム)における同一濃度値(Sp′q′n=Spq(n+1))の対応注目画素(Xp(n+1),Yq(n+1))に一致するように、任意の画像(第Nフレーム)の濃度勾配平面を、後続する画像(第(N+1)フレーム)の濃度勾配平面に向けて変位させる向き、および大きさにより、当該画像部分の速度ベクトルを求める手法である。
なお、上述した濃度勾配平面の変位方向や大きさは、上述した一画素の濃度値の一致のみに基づいて一通りに特定することはできないため、実際には、この他に所定の拘束条件を設けて、速度ベクトルを一意に特定する(特許文献1,2)。
また、これら特許文献1,2には、演算の高速化や、検出精度の高精度化を目的として、階層化処理や相関値の内挿処理など、各種の提案もなされている。
特開2005−209155号公報 特開2004−56763号公報
ところで、相関法は、テンプレートマッチングによって相関の高い画像部分を探索する処理であるため、より精密にマッチングを得ようとするときは、テンプレートを用いた探索を、空間的により細かい間隔で行うのが効果的である。
しかし、マッチングの回数が増えると、探索処理に要する時間が長く掛かり過ぎ、移動体のオプティカルフローを略リアルタイムに(タイムラグ少なく)求めるのが困難になる。
なお、このことは移動体が自動車に限定された問題ではなく、鋼材やその他の物体等においても同様である。すなわち、例えばクレーンやコンベアで搬送されている鋼板や木板等を移動体として検出し、そのオプティカルフローを相関法によって求める場合には、同様に生じうる問題である。
また、テンプレートマッチングによる探索の間隔を変化させない場合にあっても、探索時間を短縮することは常に求められている。
本発明は上記事情に鑑みなされたものであって、テンプレートマッチング処理の精度を低下させることなく、所要時間を短縮することができる移動体監視装置を提供することを目的とする。
本発明に係る移動体監視装置は、現実空間における移動体の接近方向と、カメラで撮影された画像上における移動体の変位方向との対応関係、およびこの移動体監視装置の主たる使用目的(移動体の接近動作の検出)に基づいて、テンプレートマッチングの探索範囲を限定するものであり、この探索範囲の限定によって探索時間を短縮するものである。
すなわち、本発明に係る移動体監視装置は、カメラにより撮影された映像に基づいて、該カメラに接近する移動体のオプティカルフローを求める移動体監視装置において、前記映像を構成する時系列的に連続する複数の画像に基づいて前記移動体を含む画像部分を検出する移動体検出手段と、任意の画像における前記画像部分をテンプレートとして、該任意の画像に時系列的に後続した画像を探索範囲としたテンプレートマッチングにより、前記移動体のオプティカルフローを求める相関法演算手段とを備え、前記相関法演算手段は、前記テンプレートによる、前記後続する画像に対する探索範囲を、前記任意の画像における前記画像部分の配置位置に応じて設定するものであることを特徴とする。
ここで、移動体検出手段による、自動車等の移動体を含む画像部分(テンプレート用のブロック)の検出は、例えば、映像を構成する時系列的に連続する2つの画像に関し、空間的に対応する(同一位置の)画素間で信号値の差分を演算することにより、実現することができる。
すなわち、移動体以外の画像部分(静止している物体についての画像部分)は、2つの画像間で、その信号値が略等しい。したがって、その差分は、略ゼロになる。一方、移動体の画像部分は、特にその輪郭に近い部分に関して、2つの画像間で、その信号値差が大きい。
したがって、差分が所定値を超えた範囲が、移動体の画像部分であると判定することができ、移動体の画像部分を検出することができる。
移動体を含む画像部分は、移動体の全体を含むような大きな領域の画像部分を意味するものではなく、画像全体と比較して小さなブロック領域を意味する。例えば、画像全体の大きさに対して、その縦方向については1/30程度画素数、横方向については1/40程度の画素数からなる、例えば縦と横の画素数が同一のブロックなどである。
移動体検出手段は、画像全体の中の、互いに異なる複数の位置から、そのような画像部分を検出するが、例えばマトリックス状に配置されている。ただし、各画像部分は必ず移動体を含むため、移動体が全く含まれないような、移動体から遠く離れた画像部分は、移動体検出手段による検出対象とはならない。
相関法演算手段は、相関法によりオプティカルフローを求める演算処理を行い、具体的には、映像を構成する時系列的に連続する複数の画像のうち任意の画像(第Nフレームの画像)における移動体を含む画像部分(第Nフレームの画像の一部分)をテンプレートとし、この任意の画像(第Nフレームの画像)に時系列的に後続した画像(第(N+1)フレームの画像)を探索範囲としたテンプレートマッチングにより、テンプレートと同一または類似である相関の高い画像部分(第(N+1)フレームの画像の一部分)を、後続した画像(第(N+1)フレームの画像)から検出し、両画像(第Nフレームの画像と第(N+1)フレームの画像)間で対応する画像部分同士(第Nフレームの画像の一部分と第(N+1)フレームの画像の一部分)の、空間的な位置関係(第Nフレームの画像の一部分(ブロック)における位置(Xn,Yn)→第(N+1)フレームの画像の一部分における位置(X(n+1),Y(n+1)))に基づいて、当該画像部分のオプティカルフロー(速度ベクトル)を求める。
ここで、本発明に係る移動体監視装置は、全ての移動体を検出することを目的とするものではなく、カメラ(カメラが固定された車両等の物体(被接近体))に接近してくる移動体のオプティカルフローを求めることを主たる使用目的としているたため、現実の空間上で移動体がカメラに接近する方向と、そのカメラによって撮影された画像上における移動体の移動方向とは対応しており、その移動方向は、所定の範囲に限定される。
例えば、カメラが、このカメラの取り付けられている被接近体の前右方の像を撮影するように設置されている状態において、右方からカメラに接近する移動体は、このカメラで撮影された画像上では、左右方向については、概略右から左に向かって変位する。したがって、左右方向については、テンプレートによるマッチング部分の探索範囲を、画像部分よりも左方向の範囲に限定することができる。
さらに、画像全体の上下方向の中央部より上側の部分に存在する移動体の部分は、カメラへの接近により、上下方向の上側方向に拡大されて写るため、上下方向については、上に向かって変位する。これとは反対に、上下方向の中央部より下側の部分に存在する移動体の部分は、カメラへの接近により、上下方向の下側方向に拡大されて写るため、上下方向については、下に向かって変位する。
よって、カメラが、このカメラの取り付けられている被接近体の前右方の像を撮影するように設置されている状態において、右方からカメラに接近する移動体の画像部分のうち、画像全体のうち上下方向の中央部より上側の部分に存在する画像部分は、左右方向について左方に、上下方向については上方に変位するため、この画像部分をテンプレートとしたとき、時系列的に後続する画像における探索範囲は、当該画像部分よりも左方かつ上方の領域に限定することができる。
これとは反対に、カメラが、このカメラの取り付けられている被接近体の前左方の像を撮影するように設置されている状態において、左方からカメラに接近する移動体は、このカメラで撮影された画像上では、左右方向については、概略左から右に向かって変位する。したがって、左右方向については、テンプレートによるマッチング部分の探索範囲を、画像部分よりも右方向の範囲に限定することができる。
さらに、画像全体の上下方向の中央部より上側の部分に存在する移動体の部分は、カメラへの接近により、上下方向の上側方向に拡大されて写るため、上下方向については、上に向かって変位する。これとは反対に、上下方向の中央部より下側の部分に存在する移動体の部分は、カメラへの接近により、上下方向の下側方向に拡大されて写るため、上下方向については、下に向かって変位する。
よって、カメラが、このカメラの取り付けられている被接近体の前左方の像を撮影するように設置されている状態において、左方からカメラに接近する移動体の画像部分のうち、画像全体のうち上下方向の中央部より上側の部分に存在する画像部分は、左右方向について右方に、上下方向については上方に変位するため、この画像部分をテンプレートとしたとき、時系列的に後続する画像における探索範囲は、当該画像部分よりも右方かつ上方の領域に限定することができる。
本発明に係る移動体監視装置によれば、現実空間における移動体の接近方向と、カメラで撮影された画像上における移動体の変位方向との対応関係、およびこの移動体監視装置の主たる使用目的(移動体の接近動作の検出)に基づいて、テンプレートマッチングの探索範囲を限定することができ、探索時間を短縮することができる。
以下、本発明に係る移動体監視装置の最良の実施形態について、図面を参照して説明する。
図1は、本発明の一実施形態に係る移動体監視装置100を示すブロック図、図2は図1に示した移動体監視装置100を搭載した自車両90に、他車両200(移動体)が右方向から接近している状態を、上方からの平面視として表す模式図である。
図示の移動体監視装置100は、自車両90に取り付けられているカメラ80によって撮影された映像に基づいて、このカメラ80に接近する、すなわち自車両90に右方から接近する他車両200のオプティカルフローOFを求める移動体監視装置であり、映像を構成する時系列的に連続する複数の画像P(n−1),P(n),P(n+1),…に基づいて、接近する他車両200を含む画像部分であるブロックBijを複数検出する移動体検出手段10と、移動体検出手段10によって検出された各ブロックBijを構成する縦4画素×横4画素(=16画素)の画素値(明度や濃度等の信号値)の分散値(特徴量)をそれぞれ求める移動体特徴量算出手段20と、任意の画像(第(N)フレームの画像)P(n)における各ブロックBijをテンプレートTとして、この任意の画像P(n)に時系列的に後続した画像(第(N+1)フレームの画像)P(n+1)を探索範囲としたテンプレートマッチングにより、他車両200のブロックBijについてのオプティカルフローOFを求める相関法演算手段40と、任意の画像P(n)におけるブロックBijと空間的に位置関係が対応する、この任意の画像P(n)よりも時系列的に後続する画像P(n+1)における対応画像部分Cijにおける局所の画像信号の変動に基づいて、接近する他車両200のブロックBijについてのオプティカルフローOFを求める勾配法演算手段50と、移動体特徴量算出手段30によって求められた分散値に基づいて、相関法演算手段40によりオプティカルフローOFを求める処理と勾配法演算手段50によりオプティカルフローOFを求める処理とを択一的に切り替える演算切替手段30と、求められたオプティカルフローOFに対して、予測の分散値と実測の分散値とを用いた所定の予測フィルタ処理によりオプティカルフローOFの補正を行い、この補正後のオプティカルフローOFを自車両90の車室内に取り付けられているモニタ85に出力する予測フィルタ70とを備えた構成である。
ここで、カメラ80およびモニタ85は、移動体監視装置100の使用目的とは異なる目的のために自車両90に予め取り付けられているもの(兼用するもの)であってもよいし、移動体監視装置100の使用目的のための専用品であってもよい。本実施形態の移動体監視装置100においては、カメラ80およびモニタ85は、移動体監視装置100の構成要素ではないもの(兼用品)として説明しているが、カメラ80やモニタ85が移動体監視装置100の専用品のときは、移動体監視装置100の構成要素とすることができる。
また、カメラ80は、図2に示すように、自車両90の、主として右方向を視野とするように、例えば前側右端部に固定されて、自車両90と一体的に移動する。
そして、カメラ80は、このカメラ80の視野に入った映像を、時系列的に所定の時間間隔ごとに撮影された第(1)フレームの静止画像、…、第(N−1)フレームの静止画像P(n−1)、第(N)フレームの静止画像P(n)、第(N+1)フレームの静止画像P(n+1)、…として、移動体監視装置100の移動体検出手段10に順次入力する。
ここで、図3(a),(b)、図4は、時系列的に相前後する第(N−1)フレームの静止画像P(n−1)、第(N)フレームの静止画像P(n)、第(N+1)フレームの静止画像P(n+1)であり、第(N−1)フレームの静止画像P(n−1)の次に、第(N)フレームの静止画像P(n)が入力され、第(N)フレームの静止画像P(n)の次に、、第(N+1)フレームの静止画像P(n+1)が入力される。
なお、自車両90は、交差点等の手前で一時停止状態にあるものとする。したがって、各画像P(n−1)、P(n)、P(n+1)において、カメラ80に対する相対的な動きのない交通標識300や、図示しない路面自体(または、路面に描かれた文字・記号・模様)などは、各画像P(n−1)、P(n)、P(n+1)間で差異無く同一の位置に現れている。
一方、図2に示す矢印方向に進行して、自車両200に接近しつつある他車両200は、カメラ80に対して相対的な動きがあるため、各画像P(n−1)、P(n)、P(n+1)間で現れる位置に差異が生じる。
そこで、移動体検出手段10は、映像を構成する時系列的に相前後する2つの画像P(n−1)、P(n)間で、空間的に対応する(同一位置の)画素間で信号値の差分を演算することにより、標識300と同様の静止している物体と、他車両200と同様の移動体とを、明確に峻別することができる。
すなわち、移動体以外の画像部分(静止している物体についての画像部分)は、2つの画像P(n−1)、P(n)間で動きがないため、その信号値が略等しい。したがって、その差分は、略ゼロになる。一方、移動体の画像部分は、特にその輪郭に近い部分に関して、2つの画像P(n−1)、P(n)間で、その信号値差が大きい。
したがって、差分が所定値を超えた画像領域が、移動体の画像部分であると判定することにより、移動体の画像部分を的確に検出(抽出)することが可能となる。
図5は、2つの画像P(n)、P(n+1)の差分ΔP(n)=P(n+1)−P(n)を明暗反転した模式図であり、二点鎖線で示す標識300等の静止している物体は消去され、移動体の画像部分、すなわち他車両200のみを浮き上がらせる。
なお、明暗反転させているのは、差分画像の明暗イメージを図3,4と共通化して理解を容易にするために過ぎず、移動体検出手段10による移動体の検出処理そのものには影響はなく、反転処理を施さない状態でも検出することができる。
また、差分画像ΔP(n)を生成するために用いた各画像P(n)、P(n+1)は、後の処理のために、一時的にメモリ等に記憶しておく。
移動体検出手段10は、さらに、図6に示す縦4画素×横4画素からなるブロックBijを、差分の画像(図5)の全域に等間隔でマトリックス状に分布するように複数(例えば、i=1,2,…,9、j=1,2,…,9とした81個)設定する(図7)。
ここで、すべてのブロックBijのうち、ブロックBijを構成する16画素のうち画素値が所定の値以上の画素を含むブロックBij(図7においては、B55,B65,B75,B85,B46,B56,B76,B86,B96,B47,B57,B67,B77,B87,B97)だけを注目ブロックとして検出する。
この注目ブロックBijの検出は、移動体である他車両200が存在するブロックBijだけを選択する処理となり、以後は、この選択されたブロックBijだけを処理の対象とし、残りのブロックBijについては、処理の対象としない。
そして、これらの検出されたブロックBijを、メモリに記憶されていた元の画像P(n)の対応位置に設定する(図8)。
移動体特徴量算出手段20は、移動体検出手段10によって検出された各ブロックBijを構成する縦4画素×横4画素(=16画素)の画素値の分散値をそれぞれ求め、各ブロックBij内のテクスチャの有無を評価する。
すなわち、分散値が所定値よりも大きいときは、ブロックBij内の明度変動が大きく、テクスチャが存在すると判定することができ、分散値が所定値よりも小さいときは、ブロックBij内の明度変動がなだらかであり、テクスチャが存在しないと判定することができる。
このようにして、移動体特徴量算出手段30は各ブロックBijごとに分散値を求め、演算切替手段30は、所定値より大きい分散値のブロックBijについては相関法演算手段40によりオプティカルフローOFを求める処理を適用し、所定値より小さい分散値のブロックBijについては勾配法演算手段50によりオプティカルフローOFを求める処理を適用するように、処理を切り替える。
相関法演算手段40は、相関法によりオプティカルフローOFを求める演算処理を行うが、具体的には、第(N)フレームの画像P(n)における各ブロックBijをそれぞれテンプレートTとし、各テンプレートTごとに、時系列的に後続した第(N+1)フレームの画像P(n+1)を探索範囲としたテンプレートマッチングにより、テンプレートと相関の高い画像部分(第(N+1)フレームの画像P(n+1)の一部分)をそれぞれ検出し、両画像(第Nフレームの画像P(n)と第(N+1)フレームの画像P(n+1))間で対応する画像部分同士(第Nフレームの画像P(n)のブロックBijと第(N+1)フレームの画像P(n+1)の一部分)の、空間的な位置関係(第Nフレームの画像P(n)のブロックBijにおける位置(Xn,Yn)→第(N+1)フレームの画像P(n+1)の一部分における位置(X(n+1),Y(n+1)))に基づいて、ブロックBijのオプティカルフロー(速度ベクトル)を求める。
一方、勾配法演算手段50は、勾配法によりオプティカルフローOFを求める3つの代表的な演算処理(空間的大域最適化法(SGO;オプティカルフローOFが滑らかに変化すると仮定した手法)、空間的局所最適化法(SLO;複数ブロックBij間でオプティカルフローOFが同一と仮定した手法)、時間的局所最適化法(TLO;オプティカルフローOF検出点のオプティカルフローOFが時間変化しないと仮定した手法))のうち、時間的局所最適化法によってオプティカルフローOFを求める演算処理を行うが、具体的には、ブロックBijの明度パターンが移動後も不変に保たれるという仮定の下に、第Nフレームの画像P(n)中のブロックBijの明度パターンを空間的に線形近似して、明度勾配を有する平面(空間的な明度勾配平面)として把握し、この明度勾配平面上の任意の画素(Xpn,Yqn)に注目して、当該注目画素(Xpn,Yqn)の明度値Spqnを求め、この第Nフレームの画像P(n)に時系列的に後続する第(N+1)フレームの画像P(n+1)の対応ブロックCijにおいて、当該注目画素(Xpn,Yqn)と空間的に対応する画素(対応注目画素(Xp(n+1),Yq(n+1)))の明度値Spq(n+1)を求め、第Nフレームの画像P(n)における明度勾配平面上において、対応注目画素(Xp(n+1),Yq(n+1))の明度値Spq(n+1)と同一の明度値Sp′q′nの画素の位置(Xp′n,Yq′n)を求め、この第Nフレームの画像P(n)における画素(Xp′n,Yq′n)が、後続する第(N+1)フレームの画像P(n+1)における同一明度値(Sp′q′n=Spq(n+1))の対応注目画素(Xp(n+1),Yq(n+1))に一致するように、第Nフレームの画像P(n)のブロックBijの明度勾配平面を、第(N+1)フレームの画像P(n+1)の明度勾配平面に向けて変位させる向き、および大きさにより、ブロックBijのオプティカルフローOFを求める。
また、相関法演算手段40は、テンプレートTとしてのブロックBijのうち、このブロックBijの平均明度との差が所定の閾値よりも大きい局所部分と、探索範囲としての第(N+1)フレームの画像P(n+1)の全体とについて、それぞれサブピクセル化処理する補間処理手段41を備えており、相関法演算手段40によるテンプレートマッチングは、このサブピクセル化処理により得られた画素間隔で行う。
補間処理手段41によるサブピクセル化処理、すなわち画素の内挿処理は、バイリニア(一次補間処理)法によるものや、バイキュービック(三次補間処理)法によるものが好ましい。ニアレストネイバー(最近傍点補間処理)法によるものでは、サブピクセル化により得られた画素間隔でテンプレートマッチングを行う効果が少ないからである。
図8の検出されたブロックBijのうち、分散値が所定値よりも大きいブロックB46を例に採ると、サブピクセル化処理前は、図9(a)に示すように、縦4画素×横4画素のブロックであり、左上の画素b11が、隣接する画素b21,b12に比べて明度が高く、かつその明度変化が急峻で、ブロックBijの平均明度との差が所定の閾値よりも大きくなっている。
このとき、補間処理手段41は、この明度変化が急峻となる画素b11を含む局所領域(画素b11,b21,b12,b22)の画素間隔が1/2倍となるように、この局所領域だけを図9(b)に示すようにサブピクセル化処理する。
サブピクセル化は、例えば一次補間処理法を適用し、元の1つの画素b11が、新たな4つの画素b11(1),b11(2),b11(3),b11(4)に分割されたことになる。他の画素b21,b12,b22についても同様にそれぞれ4つの画素に分割されて、この局所領域だけ、空間的な画素間隔が1/2倍となる。
残りの12個の画素b31,b41,b32,b42,b13,b23,b33,b43,b14,b24,b34,b44についてはサブピクセル化しない。
したがって、図9(c)に示すように、ブロックB46内の全画素b11,…,b44をサブピクセル化する場合に比べて、補間処理に要する演算時間を短縮することが可能である。
一方、図10に示すように、探索範囲としての第(N+1)フレームの画像P(n+1)については、画像P(n+1)の全体を、その画素間隔が1/2倍となるようにサブピクセル化処理する。
この結果、相関法演算手段40は、探索範囲を画像P(n+1)の全体とし、ブロックB46をテンプレートTとするテンプレートマッチングのマッチング間隔を、サブピクセル化する前のマッチング間隔よりも、空間的に細かく行うことができる。
ここで、テンプレートTには、サブピクセル化されていない画素もあるため、これらサブピクセル化されていない画素と、全画素がサブピクセル化された画像P(n+1)の画素とのマッチングは、図11に示すように、例えばテンプレートTのサブピクセル化されていない大きな画素b31に対応する大きさの画像P(n+1)の領域(サブピクセル化される前の画素c31)を、単一のサブピクセル化された画素c31(1)で代表させて、マッチングを行うようにすればよい。
同様に、テンプレートTの画素b41,b13,b14は、画像P(n+1)の画素c41(1),c13(1),c14(1)と、それぞれマッチングを行えばよく、テンプレートTの他の大きな画素についても、同様に行えばよい。
なお、補間処理手段41の演算処理能力に応じて、一次補間処理法と三次補間処理法とを択一的に切り替えることによりサブピクセル化処理するようにしてもよい。
三次補間処理法は、滑らかな内挿が可能であり、肉眼視によっても自然な印象を与える点で、一次補間処理法よりも好ましいが、一方で、三次補間処理法は、三次の多項式を、連続性の条件に基づいて解法する演算処理を行う必要があるため、一次補間処理法とは比べものにならないほどの演算処理時間を要する。
したがって、特に接近車両である他車両200を検出しようとする場合には、略リアルタイムでの演算能力が要求される。
よって、補間処理手段41が、略リアルタイムで三次補間処理法の演算能力を満たしている状況下では、三次補間処理法によるサブピクセル化を行い、略リアルタイムで三次補間処理法の演算能力を満たしていないが一次補間処理法の演算能力を満たしている状況下では、一次補間処理法によるサブピクセル化を行うように、一次補間処理法と三次補間処理法とを切り替えて適用することで、演算処理時間の短縮と補間精度の高さとを、状況に応じて的確に切り替えることができる。
また、相関法演算手段40は、テンプレートTによる、後続する画像P(n+1)に対する探索範囲を、画像P(n)におけるブロックBijの配置位置に応じて設定する。
つまり、本実施形態の移動体監視装置100は、全ての移動体を検出することを目的とするものではなく、カメラ80(カメラ80が固定された自車両90(被接近体))に接近してくる他車両200のオプティカルフローOFを求めることを主たる使用目的としているたため、現実の空間上で他車両200がカメラ80に接近する方向と、そのカメラ80によって撮影された画像P(n)上における他車両200の移動方向とは対応しており、その移動方向は、所定の範囲に限定される。
例えば、本実施形態のように、カメラ80が、このカメラ80の取り付けられている自車両90の前右方の映像を撮影するように設置されている状態においては、カメラ80に接近する他車両200は、このカメラ80で撮影された画像P(n)では、図12に示すように、左右方向については、この略右Rから左Lに向かって変位する。したがって、左右方向については、テンプレートTによる次画像P(n+1)に対するマッチングの探索範囲を、左L方向の範囲に限定することができる。
さらに、画像P(n)全体の上下方向の中央部Cより上側Uの領域RUに存在するブロックBij(例えば、ブロックB55)内の他車両200の部分は、カメラ80への接近により、上下方向の上側U方向に拡大されて写るため、上下方向については、上Uに向かって変位する。したがって、探索範囲を、このブロックBijの存在する位置よりも左方Lかつ上方Uの領域に限定することができる。
これとは反対に、上下方向の中央部Cより下側Dの領域RDに存在するブロックBij(例えば、ブロックB47)内の他車両200の部分は、カメラ80への接近により、上下方向の下側D方向に拡大されて写るため、上下方向については、下Dに向かって変位する。したがって、探索範囲を、このブロックBijの存在する位置よりも左方Lかつ下方Dの領域に限定することができる。
このように、テンプレートマッチングの探索範囲の限定により、探索時間を短縮することができる。
なお、カメラ80が、このカメラ80の取り付けられている自車両90の前左方Lの映像を撮影するように設置されている状態(例えば、右側通行の国向けの場合や、左右両方の接近車両を監視する目的の移動体監視装置の場合など)において、左方Lからカメラ80に接近する他車両200のブロックBijのうち、画像P(n)全体の上下方向の中央部Cより上側Uの領域RUに存在するブロックBij内の他車両200の部分は、左右方向について右方Rに、上下方向については上方Uに変位するため、このブロックBijをテンプレートTとしたとき、時系列的に後続する画像P(n+1)における探索範囲は、このブロックBijの存在する位置よりも右R方向かつ上方Uの領域に限定することができる。
反対に、画像P(n)全体の上下方向の中央部Cより下側Dの領域RDに存在するブロックBij内の他車両200の部分は、左右方向について右方Rに、上下方向については下方Dに変位するため、このブロックBijをテンプレートTとしたとき、時系列的に後続する画像P(n+1)における探索範囲は、このブロックBijの存在する位置よりも右R方向かつ下方Dの領域に限定することができる。
予測フィルタ70による処理としては、例えばカルマンフィルタ処理などを適用することができるが、カルマンフィルタ処理に限定されるものではなく、他の適切な予測フィルタ処理を適用することもできる。
カメラ80により撮影された映像は、通常、フレーム間の時間間隔が、33[msec]程度であり、数フレームに要する期間中は、接近する他車両200(近接移動体)の動きを略一定にする仮定が成立しやすい状況にある。
このように、近接移動体の動きを略一定とする仮定の下では、現在以前のオプティカルフローOFに基づいて現在のオプティカルフローOFを予測することが可能である。
この場合、予測フィルタ処理により補正を行うことで、処理結果を高精度化することができる。
例えばカルマンフィルタ処理を適用した予測フィルタ70は、予測の分散値と実測の分散値との両値を用いて平均処理を行うため、これらの値を予め定めておく必要がある。
実測の分散値は、実験により予め定めることができるが、この実測の分散値は、相関法演算手段40によるものと勾配法演算手段50によるものとで実験値が異なるため、それぞれに対応した値を準備し、相関法と勾配法との処理の切替えに応じて、相関法用の実測の分散値と勾配法用の実測の分散値とを動的に切り替えることで、最適化を図ることができる。
一方、予測の分散値は、その効果として時間変化の最大値を与えることになる。具体的には、接近する他車両200を初めて検出した時点から、正しいオプティカルフローOFの値を得るまでの間に、所要とするフレーム数を決めることになる。
この分散値が、上記実験値に比べて大きいほど、早く収束させることができるが、オプティカルフローOFの値が振れ易くなる。これとは反対に、予測の分散値と実測の分散値との差がゼロに近いほど、オプティカルフローOFの値は安定し易いが、収束させるのに要する時間が長くかかる。
したがって、この値は、この実験的に得られた分散値に対する比率を調整して、移動体監視装置100のシステムの要件に適合させるように定めることが必要である。この場合、移動体監視装置100のシステムの許容遅延時間等を目安にすることができる。
以上のように構成された本実施形態の移動体監視装置100の作用を、図13および図14を参照して説明する。
まず、移動体検出手段10が、自車両90に取り付けられているカメラ80によって撮影された映像を構成する時系列的に連続する複数の画像P(n),P(n+1),…を順次メモリに記憶し(図13における#1)、時系列的に相前後する2つの画像P(n),P(n+1)に基づいて、両画像P(n),P(n+1)の差分画像ΔP(n)を求め、この差分画像ΔP(n)に基づいて移動体である他車両200を検出する(#2、図5)。このとき、元の画像P(n),P(n+1)はメモリに一時記憶させる(#3)。
移動体検出手段10は、この差分画像ΔP(n)にブロックBijを設定し(#4、図7)、差分画像ΔP(n)に基づいて、他車両200に対応するブロックBijだけ選択する(#5、図8)。
次いで、移動体特徴量算出手段20が、選択された各ブロックBijの分散値を算出する(#6)。そして、演算切替手段30が、そのブロックBijの分散値が所定値以上のときはそのブロックBijについてのオプティカルフローOFを求める処理を相関法演算手段40による処理に切り替え(#7、#8)、そのブロックBijの分散値が所定値以下のときはそのブロックBijについてのオプティカルフローOFを求める処理を勾配法演算手段50による処理に切り替える(#7、#9)。
相関法演算手段40による処理に切り替えられたときは(#8)、探索範囲の対象である次画像P(n+1)に対して、前述した限定方向(図12)に探索領域を設定し(図14における#21)、画像P(n)からブロックBijをテンプレートTとして切り出す(#22)。
次いで、相関法演算手段40の補間処理手段41が、テンプレートTを局所サブピクセル化するとともに、次画像P(n+1)の全体をサブピクセル化し(図9(b)、#23)、相関法演算手段40が、このサブピクセル化されたテンプレートTを用いて、探索領域が限定された次画像P(n+1)に対してテンプレートマッチングを行って(図10、図11)、このブロックBijについてのオプティカルフローOFを求める(#24)。
一方、勾配法演算手段50による処理に切り替えられたときは(#9)、勾配法演算手段50が、勾配法の時間的局所最適化法(TLO)によって、このブロックBijについてのオプティカルフローOFを求める(#9)。
次いで、相関法または勾配法によって求められたブロックBijのオプティカルフローOFに対して、予測フィルタ70がカルマンフィルタ処理により補正し(#10)、この補正により得られた補正後のオプティカルフローOFが出力される(#12)。同時に、この出力された補正後のオプティカルフローOFは、所定のメモリに記録される(#11)。この記録された補正後のオプティカルフローOFは、予測フィルタ70による次回以後のカルマンフィルタ処理の補正に用いられる。
オプティカルフローOFが出力された後、他のブロックBijについても、上述した作用と同様の処理(#5〜#12)を繰り返し(#13)、選択された全てのブロックBijについて、補正後のオプティカルフローOFが得られると(#13)、時系列的に相前後する2つの画像P(n),P(n+1)間での処理を終了する。
以上、詳細に説明したように、本実施形態の移動体監視装置100によれば、移動体検出手段10が、映像を構成する時系列的に連続する複数の画像P(n)に基づいて、自車両90に接近してくる他車両200を含むブロックBijを検出し、移動体特徴量算出手段20が算出したブロックBijの分散値に応じて、演算切替手段30が、相関法演算手段40によりオプティカルフローOFを求める処理と勾配法演算手段50によりオプティカルフローOFを求める処理とを択一的に切り替えるため、他車両200の外表面の特徴に適した処理方法によってオプティカルフローOFを求めることができる。
また、本実施形態の移動体監視装置100によれば、移動体特徴量算出手段20が、ブロックBijの明度値の分散値を、当該ブロックBijの特徴量として求め、この分散値が、所定の値よりも大きいときは相関法演算手段40による処理を選択し、所定の値よりも小さいときは勾配法演算手段50による処理を選択するように、これら相関法演算手段40と勾配法演算手段50とを択一的に切り替えるため、移動体のブロックBijが、本実施形態の移動体監視装置100が監視対象とする自動車(他車両200)の輪郭部分以外のブロックBijのように、外表面が比較的滑らかで、かつ外表面の彩度変化が少ないもの(特徴的なテクスチャが存在しないもの)では、そのブロックBijについての分散値は小さい値となるため、演算切替手段30は、勾配法演算手段50によりオプティカルフローOFを求める処理を選択するが、このようなブロックBijは、明度パターンを空間的に線形近似し、濃度勾配を有する平面と仮定することができる勾配法によって、適切にオプティカルフローOFを求めることができる。
一方、自動車(他車両200)の輪郭部分のブロックBijのように、特徴的なテクスチャが存在するものについては、移動体特徴量算出手段20により求められた分散値は大きい値となるため、演算切替手段30は、相関法演算手段40によりオプティカルフローOFを求める処理を選択するが、特徴的なテクスチャが存在する等の移動体の画像部分をテンプレートマッチングで適切に検出することができる相関法によって、適切にオプティカルフローOFを求めることができる。
また、相関法演算手段40は、局所的にサブピクセル化処理する補間処理手段41を備え、テンプレートマッチングは、サブピクセル化により得られた画素間隔で行うため、補間処理手段41が、テンプレートTとしてのブロックBijのうち、このブロックBijの平均明度との差が所定の閾値よりも大きい局所部分と、探索範囲としての後続画像P(n+1)の全体とを、補間処理によって新たな画素を内挿することでサブピクセル化し、相関法演算手段40が、このサブピクセル化により得られた画素間隔でテンプレートマッチングを行うことにより、サブピクセル化する以前の画素の間隔でテンプレートマッチングを行う場合に比べて、空間的により細かくマッチング処理を行うことができ、サブピクセル化しない場合に比べて、精度のよいマッチング結果を得ることができる。
しかも、テンプレートTとしてのブロックBijの全体をサブピクセル化するのではなく、局所部分だけをサブピクセル化しているため、テンプレートマッチングの回数は、画像部分全体をサブピクセル化した場合と同じであるが、サブピクセル化による内挿画素の数は、ブロックBij全体をサブピクセル化した場合に比べて大幅に減らすことができるため、内挿される画素の値を算出するのに要する演算時間を大幅に減らすことができる。
この効果は、演算処理に要する時間が比較的長いバイキュービック法を適用した場合に特に顕著である。
また、個々のテンプレートマッチングにおいては、マッチングを行う画素数も、ブロックBij全体をサブピクセル化した場合に比べて大幅に少なくすることができるため、この点からも、演算処理時間を短縮することができる。
さらに、本実施形態の移動体監視装置100は、テンプレートマッチングの探索範囲の限定により、相関法演算手段40によるテンプレートマッチングの探索時間を短縮することができ、相関法によるオプティカルフローOFの算出時間を短縮することができる。
なお、本実施形態の移動体監視装置100は、移動体として接近する他車両200を適用した例であるが、本発明にかかる移動体検出装置は、移動体が自動車に限定されるものではなく、例えばクレーンやコンベアで搬送されている鋼板や木板等を移動体として検出し、そのオプティカルフローを求める場合にも、適用することができる。
本実施形態の移動体監視装置100は、相関法演算手段40と勾配法演算手段50とを選択的に切り替えるものであるが、本発明に係る移動体監視装置は、この形態に限定されるものではなく、探索範囲を限定する処理(図12)を行う相関法演算手段40を少なくとも備える移動体監視装置であればよく、勾配法演算手段50や演算切替手段30、予測フィルタ70を備えないものであってもよい。
また、相関法演算手段40は、ブロックBijを局所的にサブピクセル化する補間処理手段41を備えるものでなくてもよいし、反対にブロックBijの全体をサブピクセル化するものであってもよい。
本発明の一実施形態に係る移動体監視装置を示すブロック図である。 図1に示した移動体監視装置を搭載した自車両に、他車両が右方向から接近している状態を、上方からの平面視として表す模式図である。 (a)は時系列的に先行する第(N−1)フレームの静止画像P(n−1)、(b)は静止画像P(n−1)に後続する第(N)フレームの静止画像P(n)、をそれぞれ表す図である。 静止画像P(n)に後続する第(N+1)フレームの静止画像P(n+1)を表す図である。 2つの画像P(n)、P(n+1)の差分ΔP(n)=P(n+1)−P(n)を明暗反転した模式図である。図である。 画像の全域に等間隔でマトリックス状に分布する縦4画素×横4画素からなる複数のブロックBijを示す図である。 図5に示した差分の画像の全域に、図6に示した複数のブロックBijを設定した状態を示す図である。 他車両が存在するブロックBijだけを選択した状態を示す図である。 (a)は元のブロックBijの画素配列を示す図、(b)は局所的にサブピクセル化したブロックBijの画素配列を示す図、(c)はの全体をサブピクセル化したブロックBijの画素配列を示す図、をそれぞれ示す模式図である。 局所サブピクセル化されたブロックBijをテンプレートTとして次画像P(n+1)をテンプレートマッチング処理する様子を示す模式図である。 サブピクセル化されていない画素と全体がサブピクセル化された次画像P(n+1)とのマッチング処理を説明する図である。 テンプレートマッチング処理の探索範囲の限定を説明する図である。 図1に示した移動体監視装置による作用の処理手順を説明するフローチャートである。 相関法演算手段による相関法によるオプティカルフローを求める処理手順を説明するフローチャートである。
符号の説明
10 移動体検出手段
20 移動体特徴量算出手段
30 演算切替手段
40 相関法演算手段
41 補間処理手段
50 勾配法演算手段
70 予測フィルタ
80 カメラ
85 モニタ
100 移動体監視装置

Claims (5)

  1. カメラにより撮影された映像に基づいて、該カメラに接近する移動体のオプティカルフローを求める移動体監視装置において、
    前記映像を構成する時系列的に連続する複数の画像に基づいて前記移動体を含む画像部分を検出する移動体検出手段と、
    任意の画像における前記画像部分をテンプレートとして、該任意の画像に時系列的に後続した画像を探索範囲としたテンプレートマッチングにより、前記移動体のオプティカルフローを求める相関法演算手段とを備え、
    前記相関法演算手段は、前記テンプレートによる、前記後続する画像に対する探索範囲を、前記任意の画像における前記画像部分の配置位置に応じて設定するものであることを特徴とする移動体監視装置。
  2. 前記カメラが、該カメラが取り付けられた被接近体の前右方の像を撮影するように設置されている状態において、
    前記任意の画像における縦方向の中央よりも上側部分に配置された画像部分を前記テンプレートとした前記テンプレートマッチングの前記探索方向の上下方向に沿った成分は、前記上側を向いた方向であり、前記中央よりも下側部分に配置された画像部分を前記テンプレートとした前記テンプレートマッチングの前記探索方向の上下方向に沿った成分は、前記下側を向いた方向であり、
    前記テンプレートマッチングの前記探索方向の左右方向に沿った成分は、左に向いた方向であることを特徴とする請求項1に記載の移動体監視装置。
  3. 前記カメラが、該カメラが取り付けられた被接近体の前左方の像を撮影するように設置されている状態において、
    前記任意の画像における縦方向の中央よりも上側部分に配置された画像部分を前記テンプレートとした前記テンプレートマッチングの前記探索方向の上下方向に沿った成分は、前記上側を向いた方向であり、前記中央よりも下側部分に配置された画像部分を前記テンプレートとした前記テンプレートマッチングの前記探索方向の上下方向に沿った成分は、前記下側を向いた方向であり、
    前記テンプレートマッチングの前記探索方向の左右方向に沿った成分は、右に向いた方向であることを特徴とする請求項1に記載の移動体監視装置。
  4. 前記オプティカルフローに対して、予測の分散値と実測の分散値とを用いた所定の予測フィルタ処理により前記オプティカルフローの補正を行う予測フィルタを備えたことを特徴とする請求項1から3のうちいずれか1項に記載の移動体監視装置。
  5. 前記移動体が、走行する車両であることを特徴とする請求項1から4のうちいずれか1項に記載の移動体監視装置。


JP2006076965A 2006-03-20 2006-03-20 移動体監視装置 Active JP4740003B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006076965A JP4740003B2 (ja) 2006-03-20 2006-03-20 移動体監視装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006076965A JP4740003B2 (ja) 2006-03-20 2006-03-20 移動体監視装置

Publications (2)

Publication Number Publication Date
JP2007257027A true JP2007257027A (ja) 2007-10-04
JP4740003B2 JP4740003B2 (ja) 2011-08-03

Family

ID=38631262

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006076965A Active JP4740003B2 (ja) 2006-03-20 2006-03-20 移動体監視装置

Country Status (1)

Country Link
JP (1) JP4740003B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010146470A (ja) * 2008-12-22 2010-07-01 Denso Corp 走行レーン検出装置および走行レーン検出プログラム
JP2014178941A (ja) * 2013-03-15 2014-09-25 Nec Corp 画像照合システム
KR101841123B1 (ko) 2011-10-05 2018-03-23 엘지전자 주식회사 근사해를 이용한 블록 기반의 동영상 옵티컬 플로 추정

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001213254A (ja) * 2000-01-31 2001-08-07 Yazaki Corp 車両用側方監視装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001213254A (ja) * 2000-01-31 2001-08-07 Yazaki Corp 車両用側方監視装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010146470A (ja) * 2008-12-22 2010-07-01 Denso Corp 走行レーン検出装置および走行レーン検出プログラム
KR101841123B1 (ko) 2011-10-05 2018-03-23 엘지전자 주식회사 근사해를 이용한 블록 기반의 동영상 옵티컬 플로 추정
JP2014178941A (ja) * 2013-03-15 2014-09-25 Nec Corp 画像照合システム

Also Published As

Publication number Publication date
JP4740003B2 (ja) 2011-08-03

Similar Documents

Publication Publication Date Title
KR101569411B1 (ko) 보행자 인식 장치 및 그 방법
CN102077250B (zh) 移动体检测方法及移动体检测装置
EP3540637A1 (en) Neural network model training method, device and storage medium for image processing
JP4697480B2 (ja) 車線認識装置、車線認識方法および車線認識プログラム
JP5792091B2 (ja) 物体検出装置及び物体検出方法
JP6347211B2 (ja) 情報処理システム、情報処理方法及びプログラム
US9950667B2 (en) Vehicle system for detecting object and operation method thereof
CN105957110A (zh) 用于检测对象的设备和方法
JP6306735B2 (ja) ステレオカメラ装置及びステレオカメラ装置を備える車両
JP2014089687A (ja) Avmシステムの障害物検出装置及び方法
JP2006318272A (ja) 車両用物体検出装置、および方法
KR100965800B1 (ko) 차량 영상 검지 및 속도 산출방법
JP4740003B2 (ja) 移動体監視装置
JP4675808B2 (ja) 移動体監視装置
JP2002197445A (ja) オプティカルフローを利用した列車前方異常検出装置
JP2020126383A (ja) 動体検出装置、動体検出方法、動体検出プログラム
JP2007257025A (ja) 移動体監視装置
JP2021077091A (ja) 画像処理装置および画像処理方法
CN103839035A (zh) 人数统计方法和人数统计系统
AU2008356238A1 (en) Method and device for analyzing video signals generated by a moving camera
CN102682007A (zh) 创建图像数据库的方法和装置
JP6562648B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2016051236A (ja) 画像処理装置、画像処理方法およびそれを用いた検査方法。
KR101905128B1 (ko) 빛의 불규칙성을 기반으로 하는 동작영역 검출 제어 방법 및 그 방법을 이용한 동작영역 검출 장치
KR101127009B1 (ko) 레이저 포인터를 이용한 입력장치 및 입력 방법

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080422

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110426

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110428

R150 Certificate of patent or registration of utility model

Ref document number: 4740003

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250