JP2007148615A - 周辺車両運動状態推定装置、自車運動状態推定装置、自車および周辺車両運動状態推定装置およびプログラム - Google Patents

周辺車両運動状態推定装置、自車運動状態推定装置、自車および周辺車両運動状態推定装置およびプログラム Download PDF

Info

Publication number
JP2007148615A
JP2007148615A JP2005340005A JP2005340005A JP2007148615A JP 2007148615 A JP2007148615 A JP 2007148615A JP 2005340005 A JP2005340005 A JP 2005340005A JP 2005340005 A JP2005340005 A JP 2005340005A JP 2007148615 A JP2007148615 A JP 2007148615A
Authority
JP
Japan
Prior art keywords
vehicle
state
surrounding
motion state
host vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005340005A
Other languages
English (en)
Other versions
JP4798487B2 (ja
Inventor
Hirokazu Akaha
弘和 赤羽
Takashi Oguchi
敬 大口
Ryota Horiguchi
良太 堀口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
I TRANSPORT LAB CO Ltd
Tokyo Metropolitan Public University Corp
Original Assignee
I TRANSPORT LAB CO Ltd
Tokyo Metropolitan Public University Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by I TRANSPORT LAB CO Ltd, Tokyo Metropolitan Public University Corp filed Critical I TRANSPORT LAB CO Ltd
Priority to JP2005340005A priority Critical patent/JP4798487B2/ja
Publication of JP2007148615A publication Critical patent/JP2007148615A/ja
Application granted granted Critical
Publication of JP4798487B2 publication Critical patent/JP4798487B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

【課題】計測機器を備えない周辺車両および自車両の挙動を解析可能にする。
【解決手段】自車および周辺車両運動状態推定装置100は、自車両に取り付けられている自車走行状態観測機器200およびビデオカメラ302と接続される。自車運動状態推定処理106は、自車走行状態観測機器200が観測した自車両の走行状態と、自車両の運動状態に関する状態遷移方程式および観測方程式とに基づき、自車両の運動状態を推定する。周辺車両相対位置推定処理108は、ビデオカメラ302が撮影した画像における周辺車両の座標と、自車両に対する周辺車両の相対運動状態に関する状態遷移方程式および観測方程式とに基づき、周辺車両の相対運動状態を推定する。座標変換処理110は、自車運動状態推定処理106の推定結果と、周辺車両相対位置推定処理108の推定結果とに基づき、周辺車両の世界座標系における運動状態を取得する。
【選択図】図1

Description

本発明は、車両に搭載した観測機器が走行中に観測したデータに基づき、周辺車両の位置と運動状態を精度良く推定する周辺車両運動状態推定装置およびプログラムと、自車の位置と運動状態を精度良く推定する自車運動状態推定装置およびプログラムと、自車および周辺車両の位置と運動状態を精度良く推定する自車および周辺車両運動状態推定装置に関する。
従来の車両挙動の計測方法としては、車両感知器や地点画像計測により、ある道路断面の各車両の速度、車頭時間(交通流率)を計測している。また、フローティング調査やナンバープレート調査により、道路リンクや長い区間の旅行時間計測をしている。さらには、路側にビデオカメラを設置し、定点観測することにより、通過する車両の挙動を計測する手法もある(例えば、非特許文献1)。
しかし、運転者に対する道路幾何構造や信号などによる影響、あるいは運転者と周辺の車両の相互作用などを詳細な時間解像度で比較的に長い区間で調査する必要がある場合、交通流内部からの微視的な観測が必要である。このような観測を行なうために、速度、加速度計を搭載した2台の実験車両の相対距離をレーザ車間距離計で計測し、カルマンスムーザ(Kalman Smoother)により車両運動状態量を推定するシステムがある(例えば、非特許文献2)また、準静的な精密測量技術であるRTK−GPS(Real Time Kinematic Global Positioning System)の適用を移動車両に試み、試験走路において走行実験を行なった例もある(例えば、非特許文献3)。
なお、車両の周囲の状況を観測する技術としては、世界座標系では動かずに静止している道路面を対象としているが、非特許文献4、非特許文献6、非特許文献8が知られている。
また、その他にも、従来技術として、非特許文献5と非特許文献7が知られている。
エイチ.アカハネ(H.Akahane)、エス.ハタケナカ(S.Hatakenaka)、サクセッシブ オブザーベーションズ オブ トラジェクトリーズ オブ ビークルズ ウィズ プルーラル ビデオ カメラズ(Successive Observations of Trajectories of Vehicles With Plural Video Cameras)、"インターナショナル ジャーナル オブ ITSリサーチ(International Journal of ITS Research)"、2004、Vol2、No.1、p.47−53 赤羽 弘和、大庭 孝之、桑原 雅夫、越 正毅、車両の走行挙動計測システム、"土木計画学研究・講演集"、1988、No.11、p.63−70 グルシン.ジー(Gurusinghe.G)、横粂 昌典、中辻 隆、吾田 洋一、RTK−GPSを用いた車両追従試験と車群中の反応時間特性、"第21回交通工学研究発表会論文報告集"、2001、p.213−216 全 炳東、桜井 勝巳、小林 哲也、小沢 慎治、車両から見た道路像の解析、"電子情報通信学会論文誌"、1988年9月、Vol.J71−D No.9、p.1709−1717 農宗 千典、芥川 清、可変機能可変構造型パイプラインプロセッサをもつ高速画像処理装置、"電気学会論文誌C"、平成4年、112巻2号、p.81−88 農宗 千典、小沢 慎治、高速道路走行画像からの消失点推定に基づく実時間白線検出、"電気学会論文誌C"、平成5年、113巻2号、p.139−148 農宗 千典、小沢 慎治、道路走行シミュレーション画像の実時間合成、"電気学会論文誌C"、平成5年、113巻11号、p.987−995 農宗 千典、小沢 慎治、連続道路画像からの道路構造とカメラ姿勢の同時推定、"電子情報通信学会論文誌"、1993年3月、Vol.J76−D−II No.3、p.514−523
しかしながら、非特許文献2や非特許文献3に示す装置にあっては、自車両の挙動は解析できるが、計測機器を備えない周辺車両の挙動を充分には解析できないという問題がある。また、計測データに含まれる系統誤差や偶然誤差の影響を受けるという問題や、GPS測位の欠測により時空間連続の走行挙動が得られないという問題があった。
本発明は、このような事情に鑑みてなされたもので、その目的は、計測機器を備えない周辺車両の挙動を解析可能にする周辺車両運動状態推定装置を提供することにある。また、他の目的は、計測データに含まれる系統誤差や偶然誤差の影響を無くし、GPS測位の欠測が起きても時空間連続の周辺車両および自車両の走行挙動を推定可能な周辺車両運動状態推定装置、自車両運動状態推定装置およびプログラムを提供することにある。
この発明は上述した課題を解決するためになされたもので、請求項1に記載の発明は、自車両に取り付けられ、前記自車両の周辺に存在する周辺車両の前記自車両との相対位置を測定する周辺車両相対位置測定手段と接続される周辺車両運動状態推定装置において、世界座標系における前記自車両の位置と姿勢角を取得する自車両位置取得手段と、前記周辺車両相対位置測定手段が測定した相対位置と、前記自車両に対する前記周辺車両の相対運動状態に関する状態遷移方程式および観測方程式とに基づき、前記周辺車両の相対運動状態を推定する周辺車両相対運動状態推定手段と、前記自車両位置取得手段が取得した前記自車両の位置と姿勢角および、前記周辺車両相対位置推定手段が推定した前記周辺車両の相対運動状態に基づき、前記周辺車両の絶対運動状態を取得する座標変換手段とを備えることを特徴とする周辺車両運動状態推定装置である。
また、請求項2に記載の発明は、請求項1に記載の周辺車両運動状態推定装置であって、前記相対運動状態は、前記自車両に紐付けられた移動座標系における位置、速度、加速度あるいは加加速度であり、前記絶対運動状態は、世界座標系における位置、速度、加速度あるいは加加速度であることを特徴とする。
また、請求項3に記載の発明は、請求項1または請求項2に記載の周辺車両運動状態推定装置であって、前記周辺車両相対位置測定手段が、前記自車両の周辺を撮影するビデオカメラである周辺車両運動状態推定装置において、前記観測方程式の観測変数の要素が、前記ビデオカメラで撮影した画像における前記周辺車両の特徴点の座標を含むことを特徴とする。
また、請求項4に記載の発明は、請求項3に記載の周辺車両運動状態推定装置であって、前記状態遷移方程式の状態変数の要素が、前記ビデオカメラの前記自車両への取付け角、前記ビデオカメラの焦点距離、および、前記ビデオカメラの取付け高さと前記周辺車両の特徴点の高さの差を含むことを特徴とする。
また、請求項5に記載の発明は、請求項1から請求項4のいずれかの項に記載の周辺車両運動状態推定装置であって、前記周辺車両相対位置測定手段が、前記自車両と前記周辺車両との距離を測定するレーザ測距装置を含む周辺車両運動状態推定装置において、前記観測方程式の観測変数の要素が、前記レーザ測距装置で測定した前記自車両と前記周辺車両との距離を含むことを特徴とする。
また、請求項6に記載の発明は、請求項1から請求項5のいずれかの項に記載の周辺車両運動状態推定装置であって、前記周辺車両相対運動状態推定手段は、拡張カルマンスムーザを前記状態遷移方程式および前記観測方程式に適用して、相対運動状態を推定することを特徴とする。
また、請求項7に記載の発明は、請求項1から請求項5のいずれかの項に記載の周辺車両運動状態推定装置であって、前記周辺車両相対運動状態推定手段は、拡張カルマンフィルタを前記状態遷移方程式および前記観測方程式に適用して、相対運動状態を推定することを特徴とする。
また、請求項8に記載の発明は、請求項1から請求項7のいずれかの項に記載の周辺車両運動状態推定装置であって、自車両に取り付けられ、前記自車両の走行状態として位置、前記自車両に紐付けられた移動座標系における速度、加速度および角速度を測定する自車両走行状態測定手段と接続される周辺車両運動状態推定装置において、前記自車両位置取得手段は、前記自車両走行状態測定手段が測定した走行状態と、世界座標系における前記自車両の位置、速度、加速度、加加速度、前記自車両の姿勢方向の加速度バイアス、世界座標系における前記自車両の姿勢角、自車両の姿勢角の角速度および自車両の姿勢角の角加速度を状態変数とする状態遷移方程式および前記自車両の走行状態に関する観測方程式とに基づき、世界座標系における前記自車両の位置と姿勢角を推定する ことを特徴とする。
また、請求項9に記載の発明は、自車両に取り付けられ、前記自車両の周辺に存在する周辺車両の前記自車両との相対位置を測定する周辺車両相対位置測定手段と接続されるコンピュータシステムを、世界座標系における前記自車両の位置と姿勢角を取得する自車両位置取得手段と、前記周辺車両相対位置測定手段が測定した相対位置と、前記自車両に対する前記周辺車両の相対運動状態に関する状態遷移方程式および観測方程式とに基づき、前記周辺車両の相対運動状態を推定する周辺車両相対運動状態推定手段と、前記自車両位置取得手段が取得した前記自車両の位置と姿勢角および、前記周辺車両相対位置推定手段が推定した前記周辺車両の相対運動状態に基づき、前記周辺車両の絶対運動状態を取得する座標変換手段として機能させることを特徴とするプログラムである。
また、請求項10に記載の発明は、自車両に取り付けられ、前記自車両の走行状態として位置、前記自車両に紐付けられた移動座標系における速度、加速度および角速度を測定する自車両走行状態測定手段と接続される自車運動状態推定装置において、前記自車両走行状態測定手段が測定した走行状態と、世界座標系における前記自車両の位置、速度、加速度、加加速度、前記自車両の姿勢方向の加速度バイアス、世界座標系における前記自車両の姿勢角、自車両の姿勢角の角速度および自車両の姿勢角の角加速度を状態変数とする状態遷移方程式および前記自車両の走行状態に関する観測方程式とに基づき、前記状態変数を推定する自車両走行状態推定手段を備えることを特徴とする自車運動状態推定装置である。
また、請求項11に記載の発明は、自車両に取り付けられ、前記自車両の走行状態として位置、前記自車両に紐付けられた移動座標系における速度、加速度および角速度を測定する自車両走行状態測定手段と接続されるコンピュータシステムを、前記自車両走行状態測定手段が測定した走行状態と、世界座標系における前記自車両の位置、速度、加速度、加加速度、前記自車両の姿勢方向の加速度バイアス、世界座標系における前記自車両の姿勢角、自車両の姿勢角の角速度および自車両の姿勢角の角加速度を状態変数とする状態遷移方程式および前記自車両の走行状態に関する観測方程式とに基づき、前記状態変数を推定する自車両走行状態推定手段として機能させることを特徴とするプログラムである。
また、請求項12に記載の発明は、自車両に取り付けられ、前記自車両の走行状態として位置、前記自車両に紐付けられた移動座標系における速度、加速度および角速度を測定する自車両走行状態測定手段と、前記自車両に取り付けられ、前記自車両の周辺に存在する周辺車両の前記自車両との相対位置を測定する周辺車両相対位置測定手段と接続される自車および周辺車両運動状態推定装置において、前記自車両走行状態測定手段が測定した走行状態と、世界座標系における前記自車両の位置、速度、加速度、加加速度、前記自車両の姿勢方向の加速度バイアス、世界座標系における前記自車両の姿勢角、自車両の姿勢角の角速度および自車両の姿勢角の角加速度を状態変数とする第1の状態遷移方程式および前記自車両の走行状態に関する第1の観測方程式とに基づき、前記第1の状態変数を推定する自車両走行状態推定手段と、前記周辺車両相対位置測定手段が測定した相対位置と、前記自車両に対する前記周辺車両の相対運動状態に関する第2の状態遷移方程式および第2の観測方程式とに基づき、前記周辺車両の相対運動状態を推定する周辺車両相対運動状態推定手段と、前記自車両走行状態推定手段が取得した前記状態変数および、前記周辺車両相対位置推定手段が推定した前記周辺車両の相対運動状態に基づき、前記周辺車両の絶対運動状態を取得する座標変換手段とを備えることを特徴とする自車および周辺車両運動状態推定装置である。
この発明によれば、自車両位置取得手段が取得した自車両の絶対位置と姿勢角および、周辺車両相対位置推定手段が推定した周辺車両の相対運動状態に基づき、周辺車両の絶対運動状態を取得するので、計測機器を備えない周辺車両の挙動を得ることができる。
また、本発明によれば、自車両に対する周辺車両の相対運動状態に関する状態遷移方程式および観測方程式に基づき、周辺車両の相対運動状態を推定するので、計測データに含まれる系統誤差や偶然誤差の影響を無くし、GPS測位の欠測が起きても時空間連続の周辺車両の走行挙動を得ることができる。
また、本発明によれば、自車両の運動状態に関する状態遷移方程式および観測方程式に基づき、自車両の運動状態を推定するので、計測データに含まれる系統誤差や偶然誤差の影響を無くし、GPS測位の欠測が起きても時空間連続の自車両の走行挙動を得ることができる。
以下、図面を参照して、本発明の実施の形態について説明する。図1は、この発明の一実施形態による自車および周辺車両運動状態推定装置100の構成を示す概略ブロック図である。自車および周辺車両運動状態推定装置100には、車両に固定して取り付けられている自車走行状態観測機器200として、RTK−GPS201、速度計202、3軸ジャイロ203が、自車走行状態観測機器200同様に車両に固定して取り付けられている周辺車両相対位置観測機器300として、ビデオカメラ301およびレーザ測距装置302が接続される。また、結果表示用にディスプレイ400が接続される。RTK−GPS201は、自車の絶対位置を、速度計202は、自車の速度を、3軸ジャイロ203は、3軸方向の加速度および3軸回りの角速度を検出する。ビデオカメラ301は、図示しないが、GPS信号から生成された同期信号により制御され、自車の周辺を走行する車両の様子をGPS信号ベースのタイムコードと共に録画する。レーザ測距装置302は、自車から周辺車両までの距離を計測する。
ここで、本実施形態における座標系は、世界座標系として、図2に示すように、東進方向をX軸、北進方向をY軸、上昇方向をZ軸とし、X軸回りをロール角(ψ)、Y軸回りをピッチ角(θ)、Z軸回りをヨー角(φ)とする。また、自車に固定された移動座標系として、図3に示すように、自車の進行方向をx軸、自車左横方向をy軸、自車上向きをz軸とし、車両の全長の中線と全幅の中線の交点を路面に下ろした点をxyzの原点とする。さらに、ビデオカメラ301にて撮影した画像については、図3に示すように、画像の右方向をu、上方向をvとし、画像の中心を原点とする。このとき、移動座標系xyzを回転変換および平行移動した座標系を(p,q,r)座標系とし、fをビデオカメラ301の焦点距離とすると、u,vと(p,q,r)の関係は[数1]で表される。
Figure 2007148615
また、自車および周辺車両運動状態推定装置100は、観測値取込処理101、観測データ102、画像取込処理103、画像データ104、特徴点座標抽出処理105、自車運動状態推定処理106、自車絶対位置および運動状態107、周辺車両相対位置推定処理108、周辺車両相対位置および運動状態109、座標変換処理110、周辺車両絶対位置および運動状態111および表示処理112からなる。
観測値取込処理101は、周辺車両相対位置観測機器300のレーザ測距装置302および自車走行状態観測機器200にて観測した値を取り込み、観測データ102に格納する。画像取込処理103は、周辺車両相対位置観測機器300のビデオカメラ301が出力する画像を取り込み、画像データ104に格納する。特徴点座標抽出処理105は、画像データ104に格納されている画像を読み出し、測定対象となる周辺車両の特徴点(ここでは、ナンバプレート)の各時刻における該画像での座標を抽出し、観測データ102に格納する。自車運動状態推定処理106は、観測データ102より、自車走行状態観測機器200にて観測したデータを取り出し、自車の状態遷移方程式および観測方程式(詳細な説明は後述する)に対して、拡張カルマンスムーザを適用して、観測したデータに基づき、世界座標系XYZにおける、自車の絶対位置および運動状態を推定して、自車絶対位置および運動状態107に格納する。
周辺車両相対位置推定処理108は、観測データ102より、ナンバプレートの画像での座標を取り出し、周辺車両の状態遷移方程式および観測方程式(詳細な説明は後述する)に対して、拡張カルマンスムーザを適用して、ナンバプレートの画像での座標に基づき、移動座標系xyzにおける、周辺車両の位置(自車からの相対位置)と運動状態を推定して、周辺車両相対位置および運動状態109に格納する。座標変換処理110は、自車絶対位置および運動状態107より、各時刻における自車の絶対位置と姿勢角を読み出し、これらに基づき、周辺車両相対位置および運動状態109に格納されている周辺車両の相対位置と運動状態を、世界座標系XYZにおける値に変換して、周辺車両絶対位置および運動状態111に格納する。表示処理112は、自車絶対位置および運動状態107と周辺車両絶対位置および運動状態111より、自車および周辺車両の絶対位置と運動状態を読み出し、自車および周辺車両の軌跡などをディスプレイ400に表示する。
次に、自車運動状態推定処理106および周辺車両相対位置推定処理108にて使用する、状態遷移方程式および観測方程式と、座標変換処理110にて使用する座標変換について説明する。状態遷移方程式は、状態変数(ここではベクトルx)の時間経過による遷移関係を記述した式であり、一般的に[数2]のように、ある時刻tからΔt経過したときの状態変数を、時刻tにおける状態変数に状態遷移ベクトル関数fを施したベクトルと白色雑音ベクトルwの和で表される。
Figure 2007148615
自車運動状態推定処理106では、[数3]および[数4]に示すように、世界座標系XYZにおける自車両の位置、速度、加速度、加加速度(加速度の時間微分)、自車両姿勢方向の加速度バイアス、自車両の姿勢角、自車両の姿勢角の角速度、自車両の姿勢角の角加速度、3軸ジャイロ203の移動座標系xyzに対する取付不整角、移動座標系xyzに3軸ジャイロ203の取付不整角を加えた方向の角速度のバイアスを状態変数とする。これらの状態変数は、それぞれ3要素からなるため、状態変数ベクトルxは、合計で30の要素からなるベクトルとなる。なお、ここで、<ψ、θ、φ>で表される姿勢角は、ヨー角(φ)、ピッチ角(θ)、ロール角(ψ)の順に回転変換して得られるNavigation角と呼ばれる姿勢角である(ベクトルの要素の並び順と回転変換の順は逆である)。
Figure 2007148615
Figure 2007148615
本実施形態では、[数3]、[数4]に示した状態変数に関する状態遷移方程式の状態遷移ベクトル関数fを[数5]、白色雑音ベクトルwを[数6]、[数7]とする。
Figure 2007148615
Figure 2007148615
Figure 2007148615
状態遷移ベクトル関数f([数5])を参照すると分かるように、状態遷移方程式は線形方程式となっているので、状態遷移方程式は[数8]のように行列表現できる。このとき、状態遷移行列Fは[数9]のようになる。
Figure 2007148615
Figure 2007148615
観測方程式は、観測機器により観測した値と、状態変数の関係を表す式であり、一般的に、[数10]のように、観測変数ベクトルxを、状態変数ベクトルxに観測ベクトル関数hを施したベクトルと白色雑音ベクトルeの和で表される。
Figure 2007148615
自車運動状態推定処理106では、自車走行状態観測機器200であるRTK−GPS201、速度計202、3軸ジャイロ203の出力である世界座標系XYZにおける自車の位置、進行方向の速度、3軸ジャイロ203取付方向に対する加速度と角速度が、観測変数ベクトルxの要素となるので、観測変数ベクトルxは、[数11]のように表され、観測ベクトル関数hは[数12]となる。
Figure 2007148615
Figure 2007148615
観測ベクトル関数h[数12]は、非線形であるため、状態遷移ベクトル関数fのように行列表現することはできないが、観測ベクトル関数hを状態変数ベクトルxで偏微分した、観測行列Hを用いて、近似的に表すことができる。このとき、観測方程式は、[数13]のように表され、観測行列Hは、[数14]から[数22]で表される。
Figure 2007148615
Figure 2007148615
Figure 2007148615
Figure 2007148615
Figure 2007148615
Figure 2007148615
Figure 2007148615
Figure 2007148615
Figure 2007148615
Figure 2007148615
また、自車運動状態推定処理106における観測方程式の白色雑音ベクトルeは、[数23]である。
Figure 2007148615
次に、周辺車両相対位置推定処理108における状態遷移方程式は、自車運動状態推定処理106と同様に、[数2]で表される。本実施形態では、[数24]に示すように、自車両に固定された移動座標系xyzにおけるビデオカメラ301からの周辺車両(ナンバプレート)の相対位置、加速度、加加速度のxy成分、ビデオカメラ301の取付高さと周辺車両のナンバプレートの取付高さの差、ビデオカメラ301の取付角と焦点距離、レーザ測距装置302の測拒点とビデオカメラ301によるトラッキング点との較差を状態変数ベクトルxとする。また、状態遷移ベクトル関数fは、[数25]とする。
Figure 2007148615
Figure 2007148615
状態遷移ベクトル関数f([数24])を参照すると分かるように、周辺車両相対位置推定処理108においても、状態遷移方程式は線形方程式となっているので、状態遷移方程式は[数8]のように行列表現できる。このとき、状態遷移行列Fは[数26]のようになる。
Figure 2007148615
また、周辺車両相対位置推定処理108における状態遷移方程式の白色雑音ベクトルwは、[数27]とする。
Figure 2007148615
次に、周辺車両相対位置推定処理108における観測方程式は、自車運動状態推定処理106と同様に、[数28]で表される。本実施形態における周辺車両相対位置推定処理108では、周辺車両相対位置観測機器300であるビデオカメラ301の出力画像より抽出した周辺車両のナンバプレートの座標およびレーザ測距装置302の出力である周辺車両のナンバプレートまでの距離が、観測変数ベクトルyの要素となるので、観測変数ベクトルyは、[数29]のように表され、観測ベクトル関数hは[数30]となる。
Figure 2007148615
Figure 2007148615
Figure 2007148615
自車運動状態推定処理106と同様に、周辺車両相対位置推定処理108においても、観測ベクトル関数h[数30]は、非線形であるため、状態遷移ベクトル関数fのように行列表現することはできないが、観測ベクトル関数hを状態変数ベクトルxで偏微分した、観測行列Hを用いて、近似的に表すことができる。このとき、観測方程式は、[数31]のように表され、観測行列Hは、[数32]から[数34]で表される。
Figure 2007148615
Figure 2007148615
Figure 2007148615
Figure 2007148615
また、周辺車両相対位置推定処理108における観測方程式の白色雑音ベクトルeは、[数35]である。
Figure 2007148615
また、座標変換処理110においては、ビデオカメラ301からの相対位置<x’,y’,z’>を、[数36]により世界座標系XYZに変換する。位置以外の速度、加速度、加加速度については、[数37]にて、世界座標系XYZに変換する。
Figure 2007148615
Figure 2007148615
次に、この自車および周辺車両運動状態推定装置100の動作を説明する。車両が走行した状態で、観測値取込処理101は、該車両に取り付けられた自車走行状態観測機器200の各観測機器およびレーザ測距装置302から、Δt毎に観測値を取込み、GPSベースのタイムコードと共に、観測データ102に登録する。ここでは、t=0からTまでの時間の観測値を取り込んで、登録したとする。この間、ビデオカメラ301(ここでは、斜め前方を撮影しているカメラとする)は、周辺の車両の様子をGPSベースのタイムコードと共に録画し、録画した画像は、画像取込処理103により取り込まれて、画像データ104に格納される。特徴点座標抽出処理105は、オペレータにより、画像データ104に格納されている画像データの最初のフレームにて、観測対象となる周辺車両iの特徴点(ここでは、ナンバプレート)を指定されると、t=0からTまでΔt毎のフレームにおけるナンバプレートを認識し、画像上でのその座標(u,v)を観測データ102に登録する。なお、本実施形態では、特徴点は、オペレータにより指定されるとしたが、オペレータによる指定ではなく、画像認識処理などにより、画像データからナンバプレートなどの特徴点を自動的に認識するようにしても良い。
自車運動状態推定処理106は、t=0からTまでΔt毎の各時刻における自車走行状態観測機器による観測値を、観測データ102から読み出し、前述の状態遷移方程式と観測方程式に拡張カルマンスムーザを適用して、読み出した観測値に基づき、t=0からTまでΔt毎の各時刻における[数3]に示した状態変数ベクトルの各要素を推定し、推定値を自車絶対位置および運動状態107に格納する。次に、周辺車両相対位置推定処理108は、t=0からTまでΔt毎の各時刻における特徴点座標抽出処理105が抽出した、周辺車両iのナンバプレートの座標と、観測値取込処理101がレーザ測距装置302から取込んだ周辺車両iのナンバプレートまでの距離を観測データ102から読み出し、前述の状態遷移方程式と観測方程式に拡張カルマンスムーザを適用して、読み出した観測値に基づき、t=0からTまでΔt毎の各時刻における[数24]に示した状態変数ベクトルの各要素を推定し、推定値を周辺車両相対位置および運動状態109に格納する。
座標変換処理110は、t=0からTまでΔt毎の各時刻に対して、周辺車両相対位置および運動状態109から、状態変数ベクトルの要素であるビデオカメラ301からの周辺車両相対位置<x’,y’,z’>を読み出し、また、自車絶対位置および運動状態107から、自車両の位置<X,Y,Z>および自車両の姿勢角<ψ,θ,φ>を読み出す。次に、[数36]の<Xep,Yep,Zep>に自車両の位置<X,Y,Z>を、Navigation角変換の<ψep,θep,φep>に自車両の姿勢角<ψ,θ,φ>を代入し、さらに、周辺車両相対位置および運動状態109から読み出した周辺車両相対位置<x’,y’,z’>を代入して、t=0からTまでΔt毎の各時刻における周辺車両iの絶対位置<X,Y,Z>を得る。
さらに、t=0からTまでΔt毎の各時刻に対して、周辺車両相対位置および運動状態109から、移動座標系における速度、加速度、加加速度を読み出し、自車絶対位置および運動状態107から、自車両の姿勢角<ψ,θ,φ>を読み出す。次に、[数37]のNavigation角変換の<ψep,θep,φep>に自車両の姿勢角<ψ,θ,φ>を代入し、さらに、周辺車両相対位置および運動状態109から読み出した速度、加速度、加加速度を代入して、t=0からTまでΔt毎の各時刻における周辺車両iの世界座標系XYZでの速度、加速度、加加速度を得る。座標変換処理110は、得られた周辺車両iの世界座標系XYZにおける位置、速度、加速度、加加速度を周辺車両絶対位置および運動状態111に格納する。
表示処理112は、t=0からTまでΔt毎の各時刻における自車両および周辺車両iの位置を、自車絶対位置および運動状態107と周辺車両絶対位置および運動状態111から読み出し、これらの車両の通過した軌跡として、ディスプレイ400に表示する。
なお、上記実施形態における周辺車両相対位置観測機器300として、ビデオカメラ301とレーザ測距装置302を備えるとして説明したが、レーザ測距装置302は、必ずしも必要ではない。なお、レーザ測距装置302がない場合は、周辺車両相対位置推定処理108における状態変数ベクトル([数24])における要素s’(レーザー測距装置302の測距点とトラッキング点との較差)、状態遷移行列F([数26])の最終列、白色雑音ベクトルw([数27])の14番目(最後)の要素、観測変数ベクトル([数29])の3番目の要素、観測行列H([数32])の3行目、白色雑音ベクトルe([数35])の3番目の要素が不要となる。
また、特徴座標抽出処理105にて、抽出する特徴点は、ある1台の周辺車両の特徴点であるとして説明したが、複数台の周辺車両の特徴点であってもよい。その場合、周辺車両相対位置推定処理108や座標変換処理110は、各周辺車両に対して、前述の処理と同様の処理を繰り返す。さらに、取り付けられるビデオカメラ301が、複数となった場合も同様に、各ビデオカメラ301が撮影した画像の各周辺車両に対して、前述の処理と同様の処理を繰り返す。
また、本実施形態では、観測機器を取り付けられた車両に自車および周辺車両運動状態推定装置100も取り付けられているとして説明したが、観測が終わってから、各観測機器に自車および周辺車両運動状態推定装置100を接続して、観測データや画像データを取り込むようにしてもよい。また、逆に自車および周辺車両運動状態推定装置100は、常に観測機器に接続されており、リアルタイムに観測データおよび画像データ取り込み、さらに自車運動状態推定処理106、周辺車両相対位置推定処理108および座標変換110は、Δt毎に各状態変数の推定値を算出するようにしてもよい。この場合、推定処理には、拡張カルマンスムーザではなく、拡張カルマンフィルタを適用してもよい。
また、図1における観測値取込処理101、画像取込処理103、特徴点座標抽出処理105、自車運動状態推定処理106、周辺車両相対位置推定処理108、座標変換処理110、表示処理112の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、これらの処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
計測機器を備えない周辺車両の挙動を微視的に計測することで、道路幾何構造や交通信号などによる運転者に対する影響や、周辺の車両と運転者との相互作用を解析するための周辺車両運動状態推定装置および自車運動状態推定装置に用いて好適である。
この発明の一実施形態による自車および周辺車両運動状態推定装置100の構成を示すブロック図である。 同実施形態における世界座標系XYZを説明する図である。 同実施形態における移動座標系xyzを説明する図である。
符号の説明
100…自車および周辺車両運動状態推定装置
101…観測値取込処理
102…観測データ
103…画像取込処理
104…画像データ
105…特徴点座標抽出処理
106…自車運動状態推定処理
107…自車絶対位置および運動状態
108…周辺車両相対位置推定処理
109…周辺車両相対位置および運動状態
110…座標変換処理
111…周辺車両絶対位置および運動状態
112…表示処理
200…自車走行状態観測機器
201…RTK−GPS
202…速度計
203…3軸ジャイロ
300…周辺車両相対位置観測機器
301…ビデオカメラ
302…レーザ測距装置
400…ディスプレイ

Claims (12)

  1. 自車両に取り付けられ、前記自車両の周辺に存在する周辺車両の前記自車両との相対位置を測定する周辺車両相対位置測定手段と接続される周辺車両運動状態推定装置において、
    世界座標系における前記自車両の位置と姿勢角を取得する自車両位置取得手段と、
    前記周辺車両相対位置測定手段が測定した相対位置と、前記自車両に対する前記周辺車両の相対運動状態に関する状態遷移方程式および観測方程式とに基づき、前記周辺車両の相対運動状態を推定する周辺車両相対運動状態推定手段と、
    前記自車両位置取得手段が取得した前記自車両の位置と姿勢角および、前記周辺車両相対位置推定手段が推定した前記周辺車両の相対運動状態に基づき、前記周辺車両の絶対運動状態を取得する座標変換手段と
    を備えることを特徴とする周辺車両運動状態推定装置。
  2. 前記相対運動状態は、前記自車両に紐付けられた移動座標系における位置、速度、加速度あるいは加加速度であり、
    前記絶対運動状態は、世界座標系における位置、速度、加速度あるいは加加速度であること
    を特徴とする請求項1に記載の周辺車両運動状態推定装置。
  3. 前記周辺車両相対位置測定手段が、前記自車両の周辺を撮影するビデオカメラである周辺車両運動状態推定装置において、
    前記観測方程式の観測変数の要素が、前記ビデオカメラで撮影した画像における前記周辺車両の特徴点の座標を含むこと
    を特徴とする請求項1または請求項2に記載の周辺車両運動状態推定装置。
  4. 前記状態遷移方程式の状態変数の要素が、前記ビデオカメラの前記自車両への取付け角、前記ビデオカメラの焦点距離、および、前記ビデオカメラの取付け高さと前記周辺車両の特徴点の高さの差を含むこと
    を特徴とする請求項3に記載の周辺車両運動状態推定装置。
  5. 前記周辺車両相対位置測定手段が、前記自車両と前記周辺車両との距離を測定するレーザ測距装置を含む周辺車両運動状態推定装置において、
    前記観測方程式の観測変数の要素が、前記レーザ測距装置で測定した前記自車両と前記周辺車両との距離を含むこと
    を特徴とする請求項1から請求項4のいずれかの項に記載の周辺車両運動状態推定装置。
  6. 前記周辺車両相対運動状態推定手段は、拡張カルマンスムーザを前記状態遷移方程式および前記観測方程式に適用して、相対運動状態を推定することを特徴とする請求項1から請求項5のいずれかの項に記載の周辺車両運動状態推定装置。
  7. 前記周辺車両相対運動状態推定手段は、拡張カルマンフィルタを前記状態遷移方程式および前記観測方程式に適用して、相対運動状態を推定することを特徴とする請求項1から請求項5のいずれかの項に記載の周辺車両運動状態推定装置。
  8. 自車両に取り付けられ、前記自車両の走行状態として位置、前記自車両に紐付けられた移動座標系における速度、加速度および角速度を測定する自車両走行状態測定手段と接続される周辺車両運動状態推定装置において、
    前記自車両位置取得手段は、前記自車両走行状態測定手段が測定した走行状態と、世界座標系における前記自車両の位置、速度、加速度、加加速度、前記自車両の姿勢方向の加速度バイアス、世界座標系における前記自車両の姿勢角、自車両の姿勢角の角速度および自車両の姿勢角の角加速度を状態変数とする状態遷移方程式および前記自車両の走行状態に関する観測方程式とに基づき、世界座標系における前記自車両の位置と姿勢角を推定する
    ことを特徴とする請求項1から請求項7のいずれかの項に記載の周辺車両運動状態推定装置。
  9. 自車両に取り付けられ、前記自車両の周辺に存在する周辺車両の前記自車両との相対位置を測定する周辺車両相対位置測定手段と接続されるコンピュータシステムを、
    世界座標系における前記自車両の位置と姿勢角を取得する自車両位置取得手段と、
    前記周辺車両相対位置測定手段が測定した相対位置と、前記自車両に対する前記周辺車両の相対運動状態に関する状態遷移方程式および観測方程式とに基づき、前記周辺車両の相対運動状態を推定する周辺車両相対運動状態推定手段と、
    前記自車両位置取得手段が取得した前記自車両の位置と姿勢角および、前記周辺車両相対位置推定手段が推定した前記周辺車両の相対運動状態に基づき、前記周辺車両の絶対運動状態を取得する座標変換手段と
    して機能させることを特徴とするプログラム。
  10. 自車両に取り付けられ、前記自車両の走行状態として位置、前記自車両に紐付けられた移動座標系における速度、加速度および角速度を測定する自車両走行状態測定手段と接続される自車運動状態推定装置において、
    前記自車両走行状態測定手段が測定した走行状態と、世界座標系における前記自車両の位置、速度、加速度、加加速度、前記自車両の姿勢方向の加速度バイアス、世界座標系における前記自車両の姿勢角、自車両の姿勢角の角速度および自車両の姿勢角の角加速度を状態変数とする状態遷移方程式および前記自車両の走行状態に関する観測方程式とに基づき、前記状態変数を推定する自車両走行状態推定手段を備えることを特徴とする自車運動状態推定装置。
  11. 自車両に取り付けられ、前記自車両の走行状態として位置、前記自車両に紐付けられた移動座標系における速度、加速度および角速度を測定する自車両走行状態測定手段と接続されるコンピュータシステムを、
    前記自車両走行状態測定手段が測定した走行状態と、世界座標系における前記自車両の位置、速度、加速度、加加速度、前記自車両の姿勢方向の加速度バイアス、世界座標系における前記自車両の姿勢角、自車両の姿勢角の角速度および自車両の姿勢角の角加速度を状態変数とする状態遷移方程式および前記自車両の走行状態に関する観測方程式とに基づき、前記状態変数を推定する自車両走行状態推定手段として機能させることを特徴とするプログラム。
  12. 自車両に取り付けられ、前記自車両の走行状態として位置、前記自車両に紐付けられた移動座標系における速度、加速度および角速度を測定する自車両走行状態測定手段と、前記自車両に取り付けられ、前記自車両の周辺に存在する周辺車両の前記自車両との相対位置を測定する周辺車両相対位置測定手段と接続される自車および周辺車両運動状態推定装置において、
    前記自車両走行状態測定手段が測定した走行状態と、世界座標系における前記自車両の位置、速度、加速度、加加速度、前記自車両の姿勢方向の加速度バイアス、世界座標系における前記自車両の姿勢角、自車両の姿勢角の角速度および自車両の姿勢角の角加速度を状態変数とする第1の状態遷移方程式および前記自車両の走行状態に関する第1の観測方程式とに基づき、前記状態変数を推定する自車両走行状態推定手段と、
    前記周辺車両相対位置測定手段が測定した相対位置と、前記自車両に対する前記周辺車両の相対運動状態に関する第2の状態遷移方程式および第2の観測方程式とに基づき、前記周辺車両の相対運動状態を推定する周辺車両相対運動状態推定手段と、
    前記自車両走行状態推定手段が取得した前記状態変数および、前記周辺車両相対位置推定手段が推定した前記周辺車両の相対運動状態に基づき、前記周辺車両の絶対運動状態を取得する座標変換手段と
    を備えることを特徴とする自車および周辺車両運動状態推定装置。

JP2005340005A 2005-11-25 2005-11-25 周辺車両運動状態推定装置、自車運動状態推定装置、自車および周辺車両運動状態推定装置およびプログラム Expired - Fee Related JP4798487B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005340005A JP4798487B2 (ja) 2005-11-25 2005-11-25 周辺車両運動状態推定装置、自車運動状態推定装置、自車および周辺車両運動状態推定装置およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005340005A JP4798487B2 (ja) 2005-11-25 2005-11-25 周辺車両運動状態推定装置、自車運動状態推定装置、自車および周辺車両運動状態推定装置およびプログラム

Publications (2)

Publication Number Publication Date
JP2007148615A true JP2007148615A (ja) 2007-06-14
JP4798487B2 JP4798487B2 (ja) 2011-10-19

Family

ID=38209984

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005340005A Expired - Fee Related JP4798487B2 (ja) 2005-11-25 2005-11-25 周辺車両運動状態推定装置、自車運動状態推定装置、自車および周辺車両運動状態推定装置およびプログラム

Country Status (1)

Country Link
JP (1) JP4798487B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089365A (ja) * 2007-09-20 2009-04-23 Delphi Technologies Inc 物体追跡の方法
JP2016503488A (ja) * 2012-10-12 2016-02-04 クアルコム,インコーポレイテッド ジャイロスコープの調整およびジャイロカメラのアライメント
KR101751112B1 (ko) * 2015-06-05 2017-07-11 아주대학교산학협력단 영상정보기반 교통정보 생성 장치 및 그 방법
KR20180067949A (ko) * 2016-12-13 2018-06-21 홍익대학교 산학협력단 사건 사고 차량 정보 수집을 위한 지능형 블랙박스 영상 분석 시스템 및 방법
CN108762165A (zh) * 2018-06-28 2018-11-06 辽宁工业大学 一种汽车状态测控方法
CN113682307A (zh) * 2021-08-06 2021-11-23 南京市德赛西威汽车电子有限公司 一种可视化变道辅助方法及系统
US11483388B2 (en) * 2018-04-02 2022-10-25 Mitsubishi Electric Corporation Data collection system for collecting multiple types of data acquired by multiple vehicles and method of data collection

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08122432A (ja) * 1994-10-20 1996-05-17 Honda Motor Co Ltd 移動体の検出装置
JP2003077099A (ja) * 2001-08-31 2003-03-14 Nissan Motor Co Ltd 先行車両認識装置
JP2003327010A (ja) * 2002-05-09 2003-11-19 Daihatsu Motor Co Ltd 追従走行装置及びその制御方法
JP2004178610A (ja) * 2003-12-22 2004-06-24 Nissan Motor Co Ltd 接近予測装置
JP2007505377A (ja) * 2003-09-11 2007-03-08 ダイムラークライスラー・アクチェンゲゼルシャフト 路上における自動車の位置決定方法及び装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08122432A (ja) * 1994-10-20 1996-05-17 Honda Motor Co Ltd 移動体の検出装置
JP2003077099A (ja) * 2001-08-31 2003-03-14 Nissan Motor Co Ltd 先行車両認識装置
JP2003327010A (ja) * 2002-05-09 2003-11-19 Daihatsu Motor Co Ltd 追従走行装置及びその制御方法
JP2007505377A (ja) * 2003-09-11 2007-03-08 ダイムラークライスラー・アクチェンゲゼルシャフト 路上における自動車の位置決定方法及び装置
JP2004178610A (ja) * 2003-12-22 2004-06-24 Nissan Motor Co Ltd 接近予測装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089365A (ja) * 2007-09-20 2009-04-23 Delphi Technologies Inc 物体追跡の方法
JP2016503488A (ja) * 2012-10-12 2016-02-04 クアルコム,インコーポレイテッド ジャイロスコープの調整およびジャイロカメラのアライメント
KR101751112B1 (ko) * 2015-06-05 2017-07-11 아주대학교산학협력단 영상정보기반 교통정보 생성 장치 및 그 방법
KR20180067949A (ko) * 2016-12-13 2018-06-21 홍익대학교 산학협력단 사건 사고 차량 정보 수집을 위한 지능형 블랙박스 영상 분석 시스템 및 방법
KR102032828B1 (ko) * 2016-12-13 2019-10-16 홍익대학교 산학협력단 사건 사고 차량 정보 수집을 위한 지능형 블랙박스 영상 분석 시스템 및 방법
US11483388B2 (en) * 2018-04-02 2022-10-25 Mitsubishi Electric Corporation Data collection system for collecting multiple types of data acquired by multiple vehicles and method of data collection
CN108762165A (zh) * 2018-06-28 2018-11-06 辽宁工业大学 一种汽车状态测控方法
CN113682307A (zh) * 2021-08-06 2021-11-23 南京市德赛西威汽车电子有限公司 一种可视化变道辅助方法及系统
CN113682307B (zh) * 2021-08-06 2023-09-12 南京市德赛西威汽车电子有限公司 一种可视化变道辅助方法及系统

Also Published As

Publication number Publication date
JP4798487B2 (ja) 2011-10-19

Similar Documents

Publication Publication Date Title
JP4798487B2 (ja) 周辺車両運動状態推定装置、自車運動状態推定装置、自車および周辺車両運動状態推定装置およびプログラム
US11867510B2 (en) Integrated vision-based and inertial sensor systems for use in vehicle navigation
JP6119097B2 (ja) 路面調査プログラム及び路面調査装置
CN109084782B (zh) 基于摄像头传感器的车道线地图构建方法以及构建系统
EP2209091B1 (en) System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
JP4370869B2 (ja) 地図データ更新方法および地図データ更新装置
EP2208021B1 (en) Method of and arrangement for mapping range sensor data on image sensor data
CN207360243U (zh) 车载导航定位全景云台
CN107235013A (zh) 车载导航定位全景云台
JP2008204304A (ja) 車両挙動再現方法およびシステム
CN105931275A (zh) 基于移动端单目和imu融合的稳定运动跟踪方法和装置
JP2019074532A (ja) Slamデータに実寸法を付与する方法とそれを用いた位置測定
JP2022518369A (ja) センサを利用して獲得した空間情報を活用する車両、センサを利用して獲得した空間情報を活用するセンシング装置、及びサーバ
JP2009199572A (ja) 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置
JP2010511212A (ja) 画像内の平面オブジェクトを識別し且つ位置判定する方法及び装置
JP2010282615A (ja) 3dワーピング手法と固有対象物運動(pom)の検出の組み合わせに基づく対象物の動き検出システム
CN112665584B (zh) 一种基于多传感器融合的水下机器人定位与构图方法
JP2011134207A (ja) 運転記録装置および地図作成システム
JP5214355B2 (ja) 車両走行軌跡観測システム、車両走行軌跡観測方法、およびそのプログラム
CA3152294A1 (en) Method and system of vehicle driving assistance
JP7088881B2 (ja) インテリジェント路側ユニットの障害物提示方法、装置および機器
CN109559503B (zh) 信息提供系统、车载装置和信息提供方法
KR102675182B1 (ko) 비젼기반 하이브리드 건전성 예측 진단 시스템
US11919508B2 (en) Computer vision system for object tracking and time-to-collision
Sokolov et al. Coordinated use of visual odometry and landmarks for navigation of mobile ground vehicles

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080808

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080808

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100914

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100916

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110621

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110721

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140812

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4798487

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R370 Written measure of declining of transfer procedure

Free format text: JAPANESE INTERMEDIATE CODE: R370

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees