JP2011215055A - 風景画像認識を用いた自車位置検出システム - Google Patents
風景画像認識を用いた自車位置検出システム Download PDFInfo
- Publication number
- JP2011215055A JP2011215055A JP2010084628A JP2010084628A JP2011215055A JP 2011215055 A JP2011215055 A JP 2011215055A JP 2010084628 A JP2010084628 A JP 2010084628A JP 2010084628 A JP2010084628 A JP 2010084628A JP 2011215055 A JP2011215055 A JP 2011215055A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- reference data
- data
- image
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Instructional Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Navigation (AREA)
Abstract
【解決手段】車両からの風景を撮影した撮影画像から画像特徴点を抽出することによって生成された画像特徴点データ及び当該画像特徴点データに対応する撮影画像の撮影位置を関係付けた参照データ群を格納している参照データDB92と、車両の推定自車位置を抽出条件として参照データDB92から推定自車位置の周辺を撮影位置とする予備参照データを抽出し、実車両挙動に基づいて予備参照データの中から参照データを絞り込み、実撮影画像から生成されたマッチング用データに対するマッチング相手候補として出力する参照データ出力部と、マッチングした参照データに関係付けられた撮影位置に基づいて自車位置を決定する自車位置決定部とが備えられている。
【選択図】図1
Description
この画像処理システムは、データ入力部51、特徴点抽出部52、特徴点重要度決定部53と、重み付け部55、調整係数設定部54、画像特徴点データ生成部56、参照データデータベース化部57、などの機能部を備えているおり、それらの各機能はハードウエアまたはソフトウエアあるいはその組み合わせで作り出すことができる。
図5では、推定自車位置を基準点:Pnとし、そこから車両走行方向の前方側に位置する参照データの撮影位置を車両から近い順にPn+1,Pn+2,・・・Pn+k(kは正の整数)で示され、そこから車両走行方向の後方側に位置する参照データの撮影位置を車両から近い順にPn-1,Pn-2,・・・Pn+k(kは負の整数)で示されている。基準点:Pnを中心として自車位置測定誤差に基づいて算定される誤差範囲が点線で道路に沿って示されている。この例では、誤差範囲には、基準点:Pnとともに撮影位置:Pn+1,Pn+2,Pn-1,Pn-2が属している。この撮影位置とは、参照データDB92に格納されている参照データの撮影位置を意味している。さらに、その撮影位置の参照データに関連付けられている車両挙動として操舵角が模式的に示されており、基準点:Pnは0°、撮影位置:Pn+1,Pn-1は0°、撮影位置:Pn+2は15°, Pn-2は−15°となっている。このことから、推定自車位置である基準点:Pnの精度がかなり高いとすれば、マッチング相手として、この基準点:Pnでの車両挙動である操舵角と実質的に同じ操舵角を有する参照データだけに絞り込むことが可能となる。従って、この図5の例では、撮影位置:Pn+2と Pn-2はマッチング相手から除外することができる。つまり、誤差範囲に含まれている参照データのうち、基準点:Pnでの車両挙動、ここでは操舵角と所定許容範囲外となる参照データを除外することができる。このようなマッチング相手の絞り込みを行うことで、マッチング処理効率が向上する。
誤差範囲算定部62は、推定自車位置を基準として推定自車位置の誤差を考慮して誤差範囲を算定する。参照データ出力部63は、車両挙動評価部61から送られてくる車両挙動評価情報に記録されている実車両挙動及び誤差範囲算定部62から送られてくる誤差範囲に基づいて、撮影画像処理部5によって生成されたマッチング用データのための適切なマッチング相手候補を抽出するための検索条件を作成する。さらに、参照データ出力部63は、この検索条件によって参照データDB92から引き出された参照データをマッチング実行部64に転送する。なお、参照データ出力部63は、誤差範囲に属する撮影位置を有すること及び所定許容範囲の車両挙動を有することをAND条件として前記参照データデータベースから参照データを前記マッチング相手候補として抽出するように構成してもよいし、誤差範囲に属する前記撮影位置を有することを検索条件として前記参照データデータベースから参照データを抽出し、抽出された前記参照データのうち所定許容範囲の車両挙動を有する参照データだけを前記マッチング相手候補として出力するように構成してもよい。マッチング実行部64は、抽出された参照データ列を順々にパターンとしてセットしながら、マッチング用データに対するパターンマッチングを行う。マッチング撮影位置取り出し部65は、マッチングが成功した場合、成功したマッチング相手としての参照画像に関係付けられている撮影位置(自車位置)を読み出して、これを高精度自車位置として自車位置決定部45に送り出す。
上述した実施形態では、画像特徴点として、エッジ検出処理によって得られるエッジ点、特に一本の線分を構成している線分エッジやそのような線分が交差、好ましくはほぼ直交する交点であるコーナエッジが効果的な画像特徴点として扱われている。しかしながら、本発明は、画像特徴点としてそのようなエッジ点に限定されるわけではない。例えば、円や四角形など幾何学的形状を形成する代表的なエッジ点(円なら円周上の3点など)あるいは幾何学的形状の重心やその重心としての点なども、その風景によっては効果的な画像特徴点となるので、用いられる。また、エッジ強度も重要度を算定するための因子として採用することも好適であり、例えば強度の強いエッジからなる線分なら、その線分の始点と終点は重要度の高い画像特徴点として取り扱うことができる。また、特徴的な幾何学的形状における特定点、例えば左右対称な物体の端点なども重要度の高い画像特徴点として取り扱うことができる。
さらには、エッジ検出処理によって得られるエッジ点以外に、撮影画像を色相や彩度の変化として捉え、その変化の大きい点を画像特徴点として採用することも可能である。同様に色情報に基づくものとして色温度の高い物体の端点を重要度の高い画像特徴点として取り扱うことも可能である。
つまり、本発明で取り扱われる画像特徴点は、参照データと実撮影画像から生成される画像特徴量データとの間の類似度判定、例えば、パターンマッチングにとって有効なものであれば、全て利用の対象となる。
なお、撮影位置は、最低限、緯度・経度データのような二次元データでよいが、高さデータも加えて三次元データとしてもよい。
また、撮影方位を参照データに関係付けることは必須ではない。例えば、参照データの作成時も、この参照データを用いての風景画像認識時も、走行道路に対して実質的に同じ撮影方位で撮影されることが保証される場合では、撮影方位は不必要となる。
逆に、1つの基本的な撮影方位での参照データから撮影方位を適度にずらせた参照データを用意することができる場合では、方位センサなどの情報から算定された車両の走行方向に基づいて、その走行方位に適合する参照データだけを風景画像認識の対象とすることも可能である。
本発明で取り扱われる車載カメラは、車両走行方向前方の風景を撮影するものが最適である。しかしながら、前方斜めの風景をとるカメラであってもよいし、さらには後方の風景を撮影するカメラであってよい。但し、後方の風景を撮影するリアカメラを利用すると、車両の走行ともに移動する特徴点の移動方向がフロントカメラの場合と逆となるので、特徴点が周辺に集中している場合には、基準点をオフセットする方向を後方ではなく前方とする。また特徴点が中央に集中している場合には、基準点をオフセットする方向を前方ではなく後方とする。つまり、フロントカメラでもリアカメラでも使用可能であるので、本発明で取り扱われる撮影画像は、車両走行方向の前方風景を撮影したものだけに限定されない。
4:自車位置検出モジュール
41:GPS処理部
42:推測航法処理部
43:自車位置座標算定部
44:マップマッチング部
45:自車位置決定部
5:撮影画像処理部
51:データ入力部
52:特徴点抽出部
53:特徴点重要度決定部
54:重み付け部
55:調整係数設定部
56:画像特徴点データ生成部
57:参照データデータベース化部
6:風景マッチング部
61:車両挙動評価部
62:誤差範囲修正部
63:参照データ出力部
64:マッチング実行部
65:マッチング撮影位置取り出し部
14:カメラ
91:道路地図DB(道路地図データベース)
92:参照データDB(参照データデータベース)
Claims (3)
- 車両からの風景を撮影した撮影画像から画像特徴点を抽出することによって生成された画像特徴点データ及び当該画像特徴点データに対応する撮影画像の撮影位置を関係付けた参照データを格納している参照データデータベースと、
車載カメラによる風景の実撮影画像を入力して当該実撮影画像から画像特徴点を抽出することによって生成されたマッチング用データを出力する撮影画像処理部と、
前記車両の車両挙動である実車両挙動を示す車両挙動データを取得する車両挙動取得部と、
前記車両の推定自車位置を抽出条件として前記参照データデータベースから前記推定自車位置の周辺を撮影位置とする予備参照データを抽出し、前記実車両挙動に基づいて前記予備参照データの中から参照データを絞り込み、前記マッチング用データに対するマッチング相手候補として出力する参照データ出力部と、
出力された前記参照データと前記マッチング用データとのマッチングを行うマッチング実行部と、
前記マッチングに成功した前記参照データに関係付けられた前記撮影位置に基づいて自車位置を決定する自車位置決定部とを備えている、風景画像認識を用いた自車位置検出システム。 - 前記参照データ出力部は、地図データに基づいて前記実車両挙動が生じる撮影位置範囲を求め、当該撮影位置範囲を用いて前記予備参照データの中から前記参照データの絞り込みを行う請求項1に記載の自車位置検出システム。
- 前記車両挙動は、前記車両が走行する特定の道路状況に起因する車両挙動である請求項1または2に記載の自車位置検出システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010084628A JP5333862B2 (ja) | 2010-03-31 | 2010-03-31 | 風景画像認識を用いた自車位置検出システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010084628A JP5333862B2 (ja) | 2010-03-31 | 2010-03-31 | 風景画像認識を用いた自車位置検出システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011215055A true JP2011215055A (ja) | 2011-10-27 |
JP5333862B2 JP5333862B2 (ja) | 2013-11-06 |
Family
ID=44944934
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010084628A Expired - Fee Related JP5333862B2 (ja) | 2010-03-31 | 2010-03-31 | 風景画像認識を用いた自車位置検出システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5333862B2 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102997910A (zh) * | 2012-10-31 | 2013-03-27 | 上海交通大学 | 一种基于地面路标的定位导引系统及方法 |
JP2013186551A (ja) * | 2012-03-06 | 2013-09-19 | Nissan Motor Co Ltd | 移動物体位置姿勢推定装置及び方法 |
WO2016059904A1 (ja) * | 2014-10-15 | 2016-04-21 | シャープ株式会社 | 移動体 |
JP2016188806A (ja) * | 2015-03-30 | 2016-11-04 | シャープ株式会社 | 移動体及びシステム |
US9635346B2 (en) | 2014-05-27 | 2017-04-25 | Murata Machinery, Ltd. | Autonomous vehicle, and object recognizing method in autonomous vehicle |
JP2020060500A (ja) * | 2018-10-12 | 2020-04-16 | パイオニア株式会社 | 情報処理装置 |
US10625746B2 (en) | 2016-07-26 | 2020-04-21 | Nissan Motor Co., Ltd. | Self-position estimation method and self-position estimation device |
JP2021056629A (ja) * | 2019-09-27 | 2021-04-08 | 株式会社ゼンリンデータコム | 自己位置推定装置、自己位置を推定する方法、及びコンピュータプログラム |
US10996062B2 (en) | 2017-01-31 | 2021-05-04 | Fujitsu Limited | Information processing device, data management device, data management system, method, and program |
WO2022196069A1 (ja) * | 2021-03-15 | 2022-09-22 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
JP7473243B2 (ja) | 2019-10-21 | 2024-04-23 | パイパー ネットワークス,インコーポレイテッド | Lidarを使用した通過位置測定システムおよび方法 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08247775A (ja) * | 1995-03-15 | 1996-09-27 | Toshiba Corp | 移動体の自己位置同定装置および自己位置同定方法 |
WO2005038402A1 (ja) * | 2003-10-21 | 2005-04-28 | Waro Iwane | ナビゲーション装置 |
JP2005265494A (ja) * | 2004-03-17 | 2005-09-29 | Hitachi Ltd | 車両位置推定装置およびこれを用いた運転支援装置 |
WO2006106694A1 (ja) * | 2005-03-31 | 2006-10-12 | Pioneer Corporation | 経路誘導装置、経路誘導方法、経路誘導プログラムおよび記録媒体 |
JP2007108043A (ja) * | 2005-10-14 | 2007-04-26 | Xanavi Informatics Corp | 位置測位装置、および位置測位方法 |
JP2009074986A (ja) * | 2007-09-21 | 2009-04-09 | Xanavi Informatics Corp | 自車位置演算装置、自車位置演算方法、および、自車位置演算プログラム |
JP2009250718A (ja) * | 2008-04-03 | 2009-10-29 | Nissan Motor Co Ltd | 車両位置検出装置及び車両位置検出方法 |
-
2010
- 2010-03-31 JP JP2010084628A patent/JP5333862B2/ja not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08247775A (ja) * | 1995-03-15 | 1996-09-27 | Toshiba Corp | 移動体の自己位置同定装置および自己位置同定方法 |
WO2005038402A1 (ja) * | 2003-10-21 | 2005-04-28 | Waro Iwane | ナビゲーション装置 |
JP2005265494A (ja) * | 2004-03-17 | 2005-09-29 | Hitachi Ltd | 車両位置推定装置およびこれを用いた運転支援装置 |
WO2006106694A1 (ja) * | 2005-03-31 | 2006-10-12 | Pioneer Corporation | 経路誘導装置、経路誘導方法、経路誘導プログラムおよび記録媒体 |
JP2007108043A (ja) * | 2005-10-14 | 2007-04-26 | Xanavi Informatics Corp | 位置測位装置、および位置測位方法 |
JP2009074986A (ja) * | 2007-09-21 | 2009-04-09 | Xanavi Informatics Corp | 自車位置演算装置、自車位置演算方法、および、自車位置演算プログラム |
JP2009250718A (ja) * | 2008-04-03 | 2009-10-29 | Nissan Motor Co Ltd | 車両位置検出装置及び車両位置検出方法 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013186551A (ja) * | 2012-03-06 | 2013-09-19 | Nissan Motor Co Ltd | 移動物体位置姿勢推定装置及び方法 |
CN102997910A (zh) * | 2012-10-31 | 2013-03-27 | 上海交通大学 | 一种基于地面路标的定位导引系统及方法 |
US9635346B2 (en) | 2014-05-27 | 2017-04-25 | Murata Machinery, Ltd. | Autonomous vehicle, and object recognizing method in autonomous vehicle |
WO2016059904A1 (ja) * | 2014-10-15 | 2016-04-21 | シャープ株式会社 | 移動体 |
JP2016188806A (ja) * | 2015-03-30 | 2016-11-04 | シャープ株式会社 | 移動体及びシステム |
US10625746B2 (en) | 2016-07-26 | 2020-04-21 | Nissan Motor Co., Ltd. | Self-position estimation method and self-position estimation device |
US10996062B2 (en) | 2017-01-31 | 2021-05-04 | Fujitsu Limited | Information processing device, data management device, data management system, method, and program |
JP2020060500A (ja) * | 2018-10-12 | 2020-04-16 | パイオニア株式会社 | 情報処理装置 |
JP2021056629A (ja) * | 2019-09-27 | 2021-04-08 | 株式会社ゼンリンデータコム | 自己位置推定装置、自己位置を推定する方法、及びコンピュータプログラム |
JP7254671B2 (ja) | 2019-09-27 | 2023-04-10 | 株式会社ゼンリンデータコム | 自己位置推定装置、自己位置を推定する方法、及びコンピュータプログラム |
JP7473243B2 (ja) | 2019-10-21 | 2024-04-23 | パイパー ネットワークス,インコーポレイテッド | Lidarを使用した通過位置測定システムおよび方法 |
WO2022196069A1 (ja) * | 2021-03-15 | 2022-09-22 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP5333862B2 (ja) | 2013-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5062497B2 (ja) | 風景画像認識を用いた自車位置検出システム | |
JP5333862B2 (ja) | 風景画像認識を用いた自車位置検出システム | |
JP5168601B2 (ja) | 自車位置認識システム | |
JP5057184B2 (ja) | 画像処理システム及び車両制御システム | |
JP5435306B2 (ja) | 画像処理システム及び位置測位システム | |
JP5062498B2 (ja) | 風景マッチング用参照データ生成システム及び位置測位システム | |
JP5057183B2 (ja) | 風景マッチング用参照データ生成システム及び位置測位システム | |
JP5505723B2 (ja) | 画像処理システム及び位置測位システム | |
JP5333860B2 (ja) | 風景画像認識を用いた自車位置検出システム | |
JP5182594B2 (ja) | 画像処理システム | |
JP5333861B2 (ja) | 風景画像認識を用いた自車位置検出システム | |
JP5177579B2 (ja) | 画像処理システム及び位置測位システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120229 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130626 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130717 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5333862 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |