JP2016166853A - Location estimation device and location estimation method - Google Patents
Location estimation device and location estimation method Download PDFInfo
- Publication number
- JP2016166853A JP2016166853A JP2015205612A JP2015205612A JP2016166853A JP 2016166853 A JP2016166853 A JP 2016166853A JP 2015205612 A JP2015205612 A JP 2015205612A JP 2015205612 A JP2015205612 A JP 2015205612A JP 2016166853 A JP2016166853 A JP 2016166853A
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- position estimation
- moving body
- illumination
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 62
- 238000003384 imaging method Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000003287 optical effect Effects 0.000 claims abstract description 20
- 238000005286 illumination Methods 0.000 claims description 102
- 230000008569 process Effects 0.000 claims description 46
- 238000012795 verification Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 abstract description 10
- 239000003550 marker Substances 0.000 abstract description 8
- 238000004891 communication Methods 0.000 description 14
- 238000000605 extraction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 6
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000010426 asphalt Substances 0.000 description 1
- 239000004567 concrete Substances 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
Abstract
Description
本開示は、路面上における移動体の位置を推定する位置推定装置および位置推定方法に関する。 The present disclosure relates to a position estimation device and a position estimation method for estimating the position of a moving object on a road surface.
特許文献1は、床面に描いたドットパターンを撮影し、撮影したドットパターンと位置情報とを対応付ける移動体位置検出システム(位置推定装置)を開示する。これにより移動体が撮影した画像から移動体の位置を検出することができる。
しかしながら、特許文献1では、床面にドットパターンなどの人工的なマーカーを配置することで移動体の床面における位置を検出している。このため、位置の検出のために人工的なマーカーを予め床面に配置する必要がある。また、移動体の精密な位置を推定しようとすれば、人工的なマーカーをより微小な領域単位で広範囲に亘って配置する必要がある。このため、人工的なマーカーの配置に膨大な手間がかかるという問題がある。
However, in
本開示は、人工的なマーカー等を配置することなく、移動体の精密な位置を推定することができる位置推定装置を提供する。 The present disclosure provides a position estimation device capable of estimating a precise position of a moving body without arranging an artificial marker or the like.
本開示における位置推定装置は、路面上における移動体の位置を推定する位置推定装置であって、移動体に設けられ、路面を照明する照明部と、移動体に設けられ、照明部の光軸と非平行な光軸を有し、照明部により照明された路面を撮像する撮像部とを備える。位置推定装置はまた、位置と対応する路面の特徴とを含む路面情報を取得する制御部を備える。制御部は、撮像された路面画像から照合領域を決定し、照合領域における路面画像から路面の特徴を抽出し、抽出される路面の特徴と路面情報とを照合する照合処理により移動体の位置を推定する。制御部は更に、照合領域の有効性を判定し、照合領域が有効と判定した場合に上記照合処理を行う。 A position estimation device according to the present disclosure is a position estimation device that estimates a position of a moving body on a road surface. The position estimation device is provided on the moving body and illuminates the road surface. And an imaging unit that images the road surface illuminated by the illumination unit. The position estimation device also includes a control unit that acquires road surface information including the position and the corresponding road surface characteristics. The control unit determines a collation region from the captured road surface image, extracts a road surface feature from the road surface image in the collation region, and determines a position of the moving body by a collation process for collating the extracted road surface feature with the road surface information. presume. The control unit further determines the validity of the collation area, and performs the collation process when it is determined that the collation area is valid.
また、本開示における位置推定方法は、路面上における移動体の位置を推定する位置推定方法であって、移動体に設けられる照明部を用いて路面を照明し、移動体に設けられ、照明部の光軸と非平行な光軸を有する撮像部を用いて、照明部により照明された路面を撮像する。また、位置と対応する路面の特徴とを含む路面情報を取得する。また、撮像された路面画像から照合領域を決定し、照合領域における路面画像から路面の特徴を抽出し、その抽出される路面の特徴と路面情報とを照合する照合処理により移動体の位置を推定する。更に、移動体の位置の推定においては、照合領域の有効性を判定し、照合領域を有効と判定した場合に上記照合処理を行う。 Further, the position estimation method in the present disclosure is a position estimation method for estimating the position of the moving object on the road surface, and illuminates the road surface using an illumination unit provided in the moving object, and is provided in the moving object. The road surface illuminated by the illumination unit is imaged using an imaging unit having an optical axis that is not parallel to the optical axis. Further, road surface information including the position and the corresponding road surface characteristics is acquired. In addition, the verification area is determined from the captured road surface image, the road surface features are extracted from the road surface image in the verification area, and the position of the moving body is estimated by the verification process that compares the extracted road surface characteristics with the road surface information. To do. Furthermore, in the estimation of the position of the moving object, the validity of the collation area is determined, and the collation process is performed when it is determined that the collation area is valid.
本開示における位置推定装置は、人工的なマーカー等を配置することなく、移動体の精密な位置を推定することができる。 The position estimation apparatus according to the present disclosure can estimate the precise position of the moving body without arranging an artificial marker or the like.
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。 Hereinafter, embodiments will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of already well-known matters and repeated descriptions for substantially the same configuration may be omitted. This is to avoid the following description from becoming unnecessarily redundant and to facilitate understanding by those skilled in the art.
なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。 The inventor provides the accompanying drawings and the following description in order for those skilled in the art to fully understand the present disclosure, and is not intended to limit the subject matter described in the claims. Absent.
(実施の形態1)
以下、図1〜7を用いて、実施の形態1を説明する。
(Embodiment 1)
Hereinafter, the first embodiment will be described with reference to FIGS.
[1−1.構成]
まず、本実施の形態に係る位置推定装置の構成について、図1を用いて説明する。
[1-1. Constitution]
First, the configuration of the position estimation apparatus according to the present embodiment will be described with reference to FIG.
図1は、実施の形態1に係る位置推定装置101を備える移動体100の構成を示す図である。
FIG. 1 is a diagram illustrating a configuration of a
位置推定装置101は、路面102上における移動体100の位置および向きを推定する装置である。位置推定装置101は、照明部11と、撮像部12と、メモリ13と、制御部14と、Global Navigation Satellite System(GNSS)15と、速度計16と、通信部17とを備える。
The
照明部11は、移動体100に設けられ、路面102の一部を照明する。また、照明部11は、平行光を用いて照明する。照明部11は、例えば、LED(Light Emitting Diode)などの光源、平行光を形成する光学系等により実現される。
The illumination unit 11 is provided on the moving
なお、平行光とは、光束が平行な照明である。照明部11は、平行光を照射することにより、照射距離(照明部11から路面102までの距離)によらず、同じ大きさの領域を照らすことができる。照明部11は、例えば、テレセントリック光学系を用いて、テレセントリック光学系により出射される平行光を照明してもよい。また、互いに平行に配置された直進性を有する複数のスポット光により照射される平行光を用いて照明してもよい。平行光を用いる場合、領域のサイズを照明部11から路面102までの距離によらずに一定にすることができ、位置の推定に必要な領域を正確に設定し、正常な照合を実現できる。
Note that the parallel light is illumination in which light beams are parallel. The illumination unit 11 can illuminate a region having the same size by irradiating parallel light regardless of the irradiation distance (distance from the illumination unit 11 to the road surface 102). The illumination unit 11 may illuminate parallel light emitted from the telecentric optical system using, for example, a telecentric optical system. Moreover, you may illuminate using the parallel light irradiated with the some spot light which has a straight advance property arrange | positioned in parallel mutually. When parallel light is used, the size of the region can be made constant regardless of the distance from the illumination unit 11 to the
撮像部12は、移動体100に設けられる。撮像部12は、照明部11の光軸と非平行な光軸を有し、照明部11により照明された路面102を撮像する。具体的には、撮像部12は、照明部11により照明されている照明領域(後述参照)を含む路面102を撮像する。撮像部12は、例えば、カメラにより実現される。
The
ここで、照明部11および撮像部12は、例えば、移動体100の車体の底部に固定された状態で設けられている。撮像部12の光軸は、路面に対して垂直であることが好ましい。このため、移動体100が平面状の路面上に配置されていると仮定した場合、撮像部12は、その光軸が当該路面に垂直となるように固定されている。また、照明部11は、撮像部12の光軸とは非平行な光軸を有するため、上記平面状の路面に対して斜めから平行光を照射することで、撮像部12が撮像する路面の領域(以下、「撮像領域」という)のうちの一部の領域(以下、「照明領域」という)を照明する。
Here, the illumination part 11 and the
制御部14は、後述するメモリ13に保存され、位置および方角と路面102の特徴とが予め対応付けられた路面情報を取得する。制御部14は、撮像された路面画像から路面102の特徴を抽出し、取得した路面情報と抽出した路面102の特徴とを照合する照合処理により、移動体100の位置を推定する。制御部14は、照合処理により移動体100が向いている方角である、移動体の向きを推定してもよい。制御部14は、例えば、路面画像のうちで照明部11に照明された領域内から路面102の濃淡の2次元配置を特定し、特定した2次元配置に基づいて照合処理を行う。また、制御部14は、例えば、路面102の濃淡が撮像された路面画像を2値化することにより得られた2値化画像と路面情報とを照合する処理を照合処理として行う。ここで、移動体100の位置とは、移動体100が移動する路面102上の位置であり、向きとは、移動体100の正面が路面102上で向いている方角である。制御部14は、例えば、プロセッサ、プログラムが記憶されているメモリなどにより実現される。
The
メモリ13は、路面102の特徴と位置との対応関係を示す路面情報を記憶する。なお、路面情報は、メモリ13に記憶されていなくてもよく、照合処理の際に通信により外部から取得されてもよい。メモリ13は、例えば、不揮発性メモリなどにより実現される。
The
路面情報において対応付けられる位置は、絶対位置を示す情報である。また、路面情報は、絶対位置での方角が予め対応付けられた情報であってもよい。本実施の形態では、路面情報は、位置および方角と路面102の特徴とが予め対応付けられた情報である。
The position associated with the road surface information is information indicating an absolute position. Further, the road surface information may be information in which directions in absolute positions are associated in advance. In the present embodiment, the road surface information is information in which the position and direction are associated with the characteristics of the
路面情報に含まれる路面102の特徴は、路面102の濃淡の2次元配置を示す情報である。また、路面情報は、路面102の濃淡が撮像された路面画像を2値化することにより得られた2値化画像が、路面の特徴として対応付けられた情報である。なお、路面情報の元になる路面102は、アスファルト、コンクリート、木材などの表面の濃淡、凹凸、色などの特徴が一様でない素材で構成された道路の表面であることが好ましい。
The feature of the
GNSS15は、移動体の大まかな位置を決定する。つまり、GNSS15は、制御部14が推定する移動体の位置よりも精度の粗い位置推定を行う位置推定部である。GNSS15は、例えば、GPS(Global Positioning System)衛星からの信号を受信することにより位置を推定するGPSモジュールなどにより実現される。
The
速度計16は、移動体100の移動速度を計測する。速度計16は、例えば、移動体100のドリブンギアから得られる回転信号から移動体100の速度を計測する速度計により実現される。
The
通信部17は、必要に応じてメモリ13に記憶すべき路面情報を通信により外部から取得する。要するに、メモリ13に記憶されている路面情報は、路面情報の全てである必要はなく、路面情報の一部であってよい。つまり、路面情報は、世界中の路面の特徴および位置が対応付けられた情報であってもよいし、所定の国における路面の特徴および位置が対応付けられた情報であってもよい。また、路面情報は、所定の地域における路面の特徴および位置が対応付けられた情報であってもよいし、工場などの所定の施設における路面の特徴および位置が対応付けられた情報であってもよい。路面情報は、上述したように、路面の特徴と位置および方角とが対応付けられた情報であってもよい。通信部17は、例えば、携帯電話通信網などによる通信を行うことができる通信モジュールにより実現される。
The
[1−2.動作]
以上のように構成された位置推定装置101について、その動作を以下に説明する。
[1-2. Operation]
The operation of the
図2は、実施の形態1に係る位置推定装置101の位置推定動作の一例を説明するためのフローチャートである。
FIG. 2 is a flowchart for explaining an example of the position estimation operation of the
まず、照明部11は、路面を照明する(S101)。具体的には、照明部11は、撮像部12により撮像される撮像領域のうちの照明領域に対して斜め方向から平行光を出射することにより、路面を照明する。
First, the illumination unit 11 illuminates the road surface (S101). Specifically, the illumination unit 11 illuminates the road surface by emitting parallel light from an oblique direction with respect to the illumination region of the imaging region imaged by the
次に、撮像部12は、路面を撮像する(S102)。具体的には、撮像部12は、照明部11により照明された照明領域の全ての領域を含む路面を撮像する。つまり、照明領域の全領域は、撮像領域に含まれる。
Next, the
次に、制御部14は、メモリ13に保存されている路面情報であって、位置または方角と路面102の特徴とが予め対応付けられた路面情報を取得する(S103)。
Next, the
次に、制御部14は、撮像部12により撮像された路面画像から特徴を抽出する(S104)。なお、ステップS104における特徴を抽出する処理(以下、「特徴抽出処理」という)の詳細は、図3を用いて後述する。
Next, the
次に、路面画像から特徴を抽出する特徴抽出処理(S104)について図3を用いて説明する。 Next, feature extraction processing (S104) for extracting features from a road surface image will be described with reference to FIG.
図3は、実施の形態1に係る位置推定装置101の特徴抽出処理の一例を示すフローチャートである。
FIG. 3 is a flowchart illustrating an example of feature extraction processing of the
特徴抽出処理では、まず、制御部14は、照明部11により路面102に照射された平行光の照明領域の形状(以下、「照明形状」という)に基づいて撮像画像から特徴抽出処理を行う対象とする照合領域を決定する(S201)。
In the feature extraction process, first, the
ここで、照明形状の具体例を図4に示す。 Here, a specific example of the illumination shape is shown in FIG.
図4は、実施の形態1に係る照明部11から照明される照明領域の形状(照明形状)の例を示す図である。図4の(a)〜(d)で示される照明形状は、路面の情報から見たときの照明領域の形状である。図4の(a)〜(d)で示される照明部11による照明形状は、位置推定装置101ごとに決められていてもよいし、一つの位置推定装置において変更可能であってもよい。例えば、路面の状況等に応じて照明形状を変えてもよい。また、図4では、(a)〜(d)の斜線の領域は、照明領域を示し、(c)および(d)のドット部分の領域は、スポット光が照射されたスポット領域を示す。
FIG. 4 is a diagram illustrating an example of the shape (illumination shape) of the illumination region illuminated from the illumination unit 11 according to
図4の(a)は、照明形状が四角形状の例を示す図である。この場合、一般的な撮像素子の形状と親和性が高く、撮像素子を構成する複数の素子の検出値を無駄なく高い割合で採用できる。照明形状が四角形状である場合、照合領域は、照明形状の矩形全体であってもよいし、照明形状を基準とした照明形状よりも内側の領域であってもよい。照明形状の矩形位置を基準とした内側の領域を照合形状とする場合、照合形状は、例えば、照明形状と中心が同一であり、かつ、照明形状よりも面積が10%小さい領域に設定されてもよい。 (A) of FIG. 4 is a figure which shows the example whose illumination shape is square shape. In this case, the shape and affinity of a general image sensor are high, and the detection values of a plurality of elements constituting the image sensor can be employed at a high rate without waste. When the illumination shape is a quadrangle shape, the verification region may be the entire rectangle of the illumination shape, or may be a region inside the illumination shape based on the illumination shape. When the inner region based on the rectangular position of the illumination shape is used as the collation shape, the collation shape is, for example, set to a region having the same center as the illumination shape and an area that is 10% smaller than the illumination shape. Also good.
図4の(b)は、照明形状が円形の例を示す図である。この場合、向きの異なる照合において照合形状を一定にできる。 FIG. 4B is a diagram illustrating an example in which the illumination shape is circular. In this case, the collation shape can be made constant in collation with different directions.
図4の(c)は、広めの照明領域に加えて、矩形の照合領域を指定する複数のスポット領域(スポット光が照射された領域)を組み合わせた例を示す図である。この場合、照合領域は、複数のスポット領域を結ぶことにより特定される矩形の領域である。この場合においても、図4の(a)の例と同様に、照合形状は、例えば、複数のスポット領域を結ぶことにより特定される矩形の領域と中心が同一であり、かつ、当該矩形の領域よりも面積が10%小さい領域に設定されてもよい。 FIG. 4C is a diagram illustrating an example in which a plurality of spot areas (areas irradiated with spot light) that specify rectangular collation areas are combined in addition to a wider illumination area. In this case, the collation area is a rectangular area specified by connecting a plurality of spot areas. Also in this case, as in the example of FIG. 4A, the collation shape has the same center as the rectangular area specified by connecting a plurality of spot areas, for example, and the rectangular area. The area may be set to be 10% smaller than the area.
図4の(d)は、図4の(c)の照明領域に加えて、円形の照合領域を指定する複数のスポット領域を組み合わせた例を示す図である。この場合、照合領域は、複数のスポット領域を結ぶことにより特定される円形の領域である。このように、複数のスポット領域の配置を円形状にすることで、図4の(b)と同様の効果を得ることができる。 FIG. 4D is a diagram showing an example in which a plurality of spot areas that specify a circular collation area are combined in addition to the illumination area of FIG. In this case, the collation area is a circular area specified by connecting a plurality of spot areas. Thus, the effect similar to FIG.4 (b) can be acquired by making arrangement | positioning of several spot area | region circular.
図4の(c)、(d)で示される照合領域は、位置推定装置101ごとに決められていてもよいし、一つの位置推定装置によって変更可能であってもよい。例えば、路面の状況等に応じて照合領域の大きさや形を変えてもよい。
The collation areas shown in (c) and (d) of FIG. 4 may be determined for each
なお、図4の(c)および(d)におけるスポット領域では、赤色などに着色したスポット光が照射される領域としてもよいし、照明領域の光とは輝度が異なるスポット光が照射される領域としてもよい。また、スポット領域に照射される光は、照明領域に照射される光と異なる波長をもつとしてもよい。つまり、スポット領域は、照明領域と区別することが可能な光であるスポット光が照射されている領域である。 Note that the spot areas in FIGS. 4C and 4D may be irradiated with spot light colored in red or the like, or may be irradiated with spot light having a luminance different from that of the illumination area. It is good. Further, the light applied to the spot area may have a wavelength different from that of the light applied to the illumination area. That is, the spot area is an area irradiated with spot light that is light that can be distinguished from the illumination area.
ステップS201では、図4の(a)〜(d)で示した照明領域が撮像された路面画像から上述のように、照合領域を決定する。 In step S201, the collation area is determined as described above from the road surface image in which the illumination areas shown in FIGS. 4A to 4D are captured.
次に、制御部14は、照明領域の形状の変形などによる影響を考慮し、ステップS201で決定した照合領域の有効性を判定する(S202)。移動体100が路面102に対して傾斜した場合、照明部11により照明された照明領域の形状(照明形状)が変形し得る。このため、ステップS202は、このような変形などによる影響を考慮するために行われる。なお、照合領域の有効性が予め担保できる場合には、ステップS202は除いてもよい。路面102に対する移動体100の傾斜は、照明形状が規定形状からずれることで判定できる。例えば、図4の(a)の照明領域の四角形状の縦横比が変化することや、図4の(b)の円形状が楕円に変化することなどで判定できる。図4の(b)や図4の(d)の円(または円に近い形状)のような回転対称パターンを含めておくと、任意方向の傾斜を検出する判定を容易にできる。
Next, the
制御部14は、照合領域が有効であると判定した場合(S202でYes)、特徴配列を抽出する(S203)。つまり、制御部14は、撮像された路面画像のうちの照明領域に、前記のような変形が生じた場合であって、予め定めた一定程度の変形に満たない場合、特徴抽出処理を継続する。よって、制御部14は、予め定めた一定程度の変形であれば、照合領域の形状を補正し、特徴抽出処理に移行してもよい。例えば、図4の(b)や図4の(d)のような円形状を含む照明の場合、楕円の短軸を基準とし、当該楕円と中心が同じであり、かつ、半径が当該短軸となる円形状を照合領域とすることが考えられる。
When it is determined that the collation area is valid (Yes in S202), the
なお、同じ位置において路面102を撮像した結果であっても照合領域のサイズ(スケール)が変わると、抽出される特徴配列は全く異なる配列となる。照明部11と路面102との距離の変動が、このような照合領域のサイズ変化を生じさせうる。本開示では、照明光を用いて照合領域のサイズを設定することでこのような変化を検出し、変化している場合には適切なサイズの照合領域に補正することができる。
Even if the
一方、制御部14は、照合領域が無効であると判定した場合(S202でNo)、ステップS101に戻る。つまり、制御部14は、撮像された路面画像のうちの照明領域に、前記のような変形が生じた場合であって、予め定めた一定程度の変形を超えている場合、当該撮像画像における特徴抽出処理を終了し、新たな撮像画像による位置推定動作に移行する(つまり、ステップS101に戻る)。
On the other hand, when it determines with the collation area | region being invalid (No in S202), the
特徴配列の抽出では、制御部14は、撮像された路面画像の照合領域から、路面102の濃淡を示す特徴配列を抽出する。ここで、濃淡とは、移動体100のサイズと同等なスケールにおける濃淡の配列などではなく、移動体100の走行等に影響しないほどのミクロスケールの濃淡の配列などを用いる。このようなスケールにおける特徴配列を撮像することは、ミクロスケールに対応する充分な解像度のカメラを用いることで可能である。抽出する特徴配列を濃淡とする場合、制御部14は、路面画像の照合領域から、一定領域ごとの平均輝度を2値表現した値を特徴配列として抽出してもよいし、多値表現した値を特徴配列としても抽出してもよい。なお、特徴配列としては、濃淡の配列の代わりに、凹凸、色(波長スペクトル特性)の配列を採用してもよい。
In the feature array extraction, the
なお、図5は、実施の形態1に係る撮像された画像を2値化した場合に得られる濃淡特徴の特徴配列を示す図である。具体的には、図5は、照合領域を複数の画素からなる複数のブロックに分割した場合、複数のブロックのそれぞれについて、当該ブロックにおける画素値の平均値を算出し、当該ブロックにおける平均値が所定の閾値を超えているか否かで2値化することにより得られた濃淡の特徴配列の例を示す図である。
FIG. 5 is a diagram showing a feature array of light and dark features obtained when the captured image according to
制御部14は、図5で示されるような特徴配列を路面の特徴として抽出すると、ステップS104の特徴抽出処理を終了し、次のステップS105に進む。
When the
図2に戻り、制御部14は、取得した路面情報と特徴とを照合する照合処理により、移動体100の位置または向きを推定する(S105)。ここで、路面情報は、路面の特徴としての特徴配列に、位置を示す位置情報が対応付けられた情報である。ステップS105では、具体的には、制御部14は、ステップS203で抽出した特徴配列と、路面情報で位置情報と対応付けられている特徴配列との間の類似度を評価することで照合処理を行う。
Returning to FIG. 2, the
図6は、実施の形態1に係る路面情報の一例を示す図である。図6の横軸および縦軸は、それぞれ、x軸方向における位置、および、y軸方向における位置を示す。つまり、図6に示す路面情報は、路面の濃淡の特徴配列と、位置座標x、yとが対応付けられている。白黒のパターンの最小単位は、位置座標x、yがx軸方向およびy軸方向のそれぞれにおける0から100の範囲における特徴配列の1ブロックであることを示す。この場合、制御部14は、図5の特徴配列との照合処理を位置および向きのそれぞれについて行うことで、抽出した特徴配列の路面情報における類似度を算出する。なお、類似度の算出は、特徴配列をベクトル表現して差分を評価するなど、一般的なパタンマッチングに用いられる指標を適用することで行うことができる。制御部14は、照合処理の結果、位置および向きを推定する。制御部14は、照合処理において、照合度合い(類似度)が予め定めた基準を超え、かつ、最も照合度合いの高い位置および向きを、移動体100の位置および向きとして採用する。なお、照合度合いが予め定めた基準を超えない場合や、照合度合いが近い位置が複数存在する場合は、照合処理結果の信頼性が低いと判断する。照合処理結果の信頼性が低いと判断した場合、再度位置推定を行ってもよいし、信頼度を含めた位置および向きの決定値(例えば信頼度が低いことを示す情報とともに位置座標を示す情報)を出力してもよい。
FIG. 6 is a diagram illustrating an example of road surface information according to the first embodiment. The horizontal axis and the vertical axis in FIG. 6 indicate the position in the x-axis direction and the position in the y-axis direction, respectively. That is, the road surface information shown in FIG. 6 associates the characteristic arrangement of the road surface with the position coordinates x and y. The minimum unit of the black and white pattern indicates that the position coordinates x and y are one block of the feature array in the range of 0 to 100 in each of the x-axis direction and the y-axis direction. In this case, the
また、照合処理には、ロバストマッチング(M−推定、最小メジアン法など)を用いることが望ましい。路面102の特徴を用いて移動体100の位置および向きを決定する場合、路面102上に異物や破損等の存在により、完全一致しない場合が発生し得る。照合処理に用いる特徴配列の大きさが大きいほど特徴配列に含まれる情報量が多く、正確な照合が可能になる。しかし、照合に必要な処理コストが増加する。このため、必要十分な特徴配列よりも大きいサイズの特徴配列を利用する代わりに、一部に障害物等の隠蔽が含まれても正確なマッチングを行うロバストマッチングは、路面102を用いた位置推定に有効である。
In addition, it is desirable to use robust matching (M-estimation, minimum median method, etc.) for the collation processing. When the position and orientation of the moving
なお、広範囲の位置情報を含む路面情報を照合処理の対象とする場合、照合処理は、膨大になる。よって、照合処理の高速化のため、粗い照合後に詳細な照合を行うような階層的な照合処理を行ってもよい。例えば、制御部14は、GSNN15による精度の粗い位置推定の結果に基づき、路面情報を絞り込んで取得してもよい。この場合のステップS103の路面情報の取得処理について図7を用いて説明する。
In addition, when the road surface information including a wide range of position information is a target of the matching process, the matching process becomes enormous. Therefore, in order to speed up the matching process, a hierarchical matching process in which detailed matching is performed after rough matching may be performed. For example, the
図7は、実施の形態1に係る路面情報の取得処理の一例を示すフローチャートである。 FIG. 7 is a flowchart illustrating an example of a road surface information acquisition process according to the first embodiment.
路面情報の取得処理では、まず、GSNN15が粗い位置推定を行う(S301)。このように、照合すべき位置情報を予め限定することで、照合処理にかかる時間や照合処理に係る処理量(処理負荷)を低減させることが可能である。なお、粗い位置推定は、GSNN15により取得した位置情報を用いることに限らずに、過去に決定した位置情報の近傍の位置を精度の粗い位置として用いてもよい。また、公衆無線網や無線LAN等の基地局の位置情報や、無線通信の信号強度による位置推定の結果を用いてもよい。
In the road surface information acquisition process, first, the
次に、制御部14は、精度の粗い位置を含む地域の路面情報を取得する(S302)。具体的には、制御部14は、粗い位置推定を行った結果を用いて、通信部17を通じて精度の粗い位置の近傍の位置情報を含む路面情報を外部データベースから取得する。
Next, the
このように、精度の粗い位置推定を行ってから、位置を含む地域の路面情報を取得することにより、メモリ13に必要な容量を低減させることができる。また、照合処理の対象となる路面情報のデータサイズを小さくすることができる。したがって、照合処理にかかる処理負荷を低減することができる。
In this way, the capacity required for the
制御部14は、速度計16によって測定された移動体100の移動速度に応じて、照合処理を行ってもよい。例えば、制御部14は、測定された移動速度が予め定めた速度に満たない場合に行うように限定してもよい。制御部14は、測定された移動速度が速いほど、撮像部12のシャッタースピードを上げて撮像してもよい。制御部14は、測定された移動速度が所定の速度よりも速い場合、撮像部12のシャッタースピードを上げて撮像してもよい。制御部14は、測定された移動速度が所定の速度よりも速い場合、撮像された画像を先鋭化するための画像処理を行ってもよい。これは、移動体100の速度が速い場合、動きぶれによる照合誤りが生じやすくなるためである。これらのように、移動体100の速度を参照することで、不確実な照合を回避することができる。
The
[1−3.効果等]
以上のように、本実施の形態において、位置推定装置101は、路面上における移動体100の位置または向きを推定する位置推定装置であって、照明部11と、撮像部12と、制御部14とを備える。照明部11は、移動体100に設けられ、路面102を照射する。撮像部12は、移動体100に設けられ、照明部11の光軸と非平行な光軸を有し、照明部11により照明された路面102を撮像する。制御部14は、位置および方角と路面の特徴とが予め対応付けられた路面情報を取得する。また、制御部14は、撮像された路面画像から照合領域を決定し、照合領域の有効性を判定し、有効と判定された照合領域の路面画像から路面102の特徴を抽出し、抽出した路面102の特徴と、取得した路面情報とを照合する照合処理により移動体100の位置および向きを推定する。
[1-3. Effect]
As described above, in the present embodiment, the
これによれば、既にランダムな特徴を微小な領域内に含む路面102の特徴を用いて、位置または方角と予め対応付けられた路面情報と照合することで、位置または向き(移動体100が向いている方角)を推定している。したがって、人工的なマーカーなどを配置すること無く、移動体100の精密な位置(例えばmm単位の精度の位置)を推定することができる。また、路面102を撮像して位置を推定するため、撮像部12の視野を移動体周辺の障害物や構造物等で遮蔽されることがなく、安定して位置推定を継続することが可能である。
According to this, by using the characteristics of the
また、制御部14は、有効と判定した照合領域に対してのみ照合処理を行うため、路面の変形や傾斜等に起因して照合処理を正確に実行できないことを防ぐことができ、より正確な位置推定が可能となる。
In addition, since the
また、路面情報は、位置として絶対位置を示す情報と、路面102の特徴とが予め対応付けられた情報である。このため、移動体100が位置する路面上の絶対位置を容易に推定できる。
The road surface information is information in which information indicating an absolute position as a position is associated with the characteristics of the
また、照明部11は、平行光を用いて照明する。これによれば、照明部11は平行光を照射することにより路面102を照明しているため、照明部11と路面との距離が変化しても照明している路面102の領域の大きさが変わることを低減できる。これにより、撮像部12により撮像された路面画像において、照明部11により照明されている路面102の領域(照明領域)から照合領域を特定するだけで、路面102の大きさをより正確に推定できる。よって、移動体100の位置をより正確に推定することができる。
The illumination unit 11 illuminates using parallel light. According to this, since the illumination unit 11 illuminates the
また、路面情報は、路面102の特徴として、路面102の濃淡の2次元配置を示す情報が、位置と対応付けられた情報である。制御部14は、路面画像のうちで、照明部11に照明された領域内から路面102の濃淡の2次元配置を特定し、特定した2次元配置に基づいて照合処理を行う。
The road surface information is information in which information indicating the two-dimensional arrangement of the light and shade of the
これによれば、路面102の特徴が路面102の濃淡の2次元配置であるため、同じ位置であっても撮像された画像の向きによって画像が異なる。このため、移動体の位置を推定するとともに、移動体の向き(移動体が向いている方角)を推定することが容易にできる。
According to this, since the feature of the
また、路面情報は、路面102の濃淡が撮像された路面画像を2値化することにより得られた2値化画像が、路面102の特徴として位置と対応付けられた情報である。制御部14は、路面102の濃淡が撮像された路面画像を2値化することにより得られた2値化画像と、路面情報とを照合する処理を照合処理として行う。
The road surface information is information in which a binarized image obtained by binarizing a road surface image in which the density of the
このため、路面102の濃淡による特徴を簡略化することができる。これにより、路面情報のデータサイズを小さくすることができ、照合処理にかかる処理負荷を低減できる。また、メモリ13に記憶させる路面情報のデータサイズを小さくできるため、メモリ13の記憶容量を小さくすることができる。
For this reason, the feature by the shading of the
また、位置推定装置101は、制御部14が推定する移動体100の位置よりも精度の粗い位置推定を行うGNSS15に相当する位置推定部をさらに備えてよい。制御部14は、位置推定部による位置推定の結果に基づき、路面情報を絞り込んで取得してよい。このため、メモリ13に必要な容量を低減させることができる。また、照合処理の対象となる路面情報のデータサイズを小さくすることができる。したがって、照合処理にかかる処理負荷を低減することができる。
Further, the
また、制御部14は、移動体100の移動速度に応じて照合処理を行ってよい。このため、不確実な照合を回避することができる。
In addition, the
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
(Other embodiments)
As described above, the first embodiment has been described as an example of the technique disclosed in the present application. However, the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, replacements, additions, omissions, and the like are appropriately performed. Moreover, it is also possible to combine each component demonstrated in the said embodiment and it can also be set as a new embodiment.
そこで、以下では、他の実施の形態を例示する。 Thus, other embodiments will be exemplified below.
例えば、上記実施の形態では、路面102の特徴として路面102の濃淡を抽出しているが、これに限らずに、路面102の凹凸を抽出してもよい。照明部11を撮像部12の光軸に対して傾斜させることで路面102の凹凸に対応した陰影が生じるため、生じた陰影を多値表現した画像を路面102の特徴として採用してもよい。この場合、路面102の特徴は、例えば凸部は明るく、凹部は暗くなるため、輝度を2値化することにより、図5で示したような2値化画像を濃淡の特徴ではなく凹凸の特徴で得てもよい。
For example, in the above-described embodiment, the density of the
このように路面102の凹凸を抽出する場合、照明部11により照射される光は、照明領域において一様な明るさで照射される光ではなく、予め定められた模様を形成する光であるパターン光を用いてもよい。パターン光は、例えば、既知の縞のパターン光(図8A参照)やドット配列、格子のパターン光(図8B参照)などである。要するに、照明部11は、パターン光を照射することができればよい。このようなパターン光を照明部11が照射することにより、後述するような路面102の凹凸特徴を容易に検出できる。
Thus, when extracting the unevenness | corrugation of the
図9は、他の実施の形態に係る路面の凹凸を抽出する方法の一例を説明するための図である。図10は、他の実施の形態に係る路面の凹凸を抽出する方法の他の一例を説明するための図である。具体的には、図9および図10は、縞のパターン光により路面の凹凸の特徴を抽出する方法を説明するための図である。 FIG. 9 is a diagram for explaining an example of a method for extracting road surface unevenness according to another embodiment. FIG. 10 is a diagram for explaining another example of a method of extracting road surface unevenness according to another embodiment. Specifically, FIG. 9 and FIG. 10 are diagrams for explaining a method of extracting features of road surface unevenness by using stripe pattern light.
図8Aに示したような、縞のパターン光を斜め方向から路面に照射すると、図9および図10に示すように、縞のパターン光の明暗のエッジの部分を波線L1として抽出することができる。つまり、図9、図10は、縞のパターン光の複数本の明暗のエッジの部分のうちの1本を抽出した例である。 When the stripe pattern light as shown in FIG. 8A is irradiated on the road surface from an oblique direction, the bright and dark edge portions of the stripe pattern light can be extracted as a wavy line L1 as shown in FIGS. . That is, FIGS. 9 and 10 are examples in which one of a plurality of bright and dark edge portions of the stripe pattern light is extracted.
図9は、凹凸の無い路面を撮像した明暗のエッジの部分の直線L2に対しX方向のいずれにずれているかで、凹凸を判定する例である。つまり、図9に示すように、波線L1をY軸方向に複数の領域(例えば上述のブロック単位の領域)に分割する。このとき、複数の領域のそれぞれについて、当該領域では波線L1が直線L2よりもX軸方向プラス側に存在する画素が多ければ凸であることを示す「1」とし、X軸方向マイナス側に存在する画素が多ければ凹であることを示す「0」としてもよい。 FIG. 9 shows an example in which the unevenness is determined based on which of the straight lines L2 of the bright and dark edge portions obtained by imaging the road surface without the unevenness in the X direction. That is, as shown in FIG. 9, the wavy line L1 is divided into a plurality of regions (for example, the above-mentioned block unit regions) in the Y-axis direction. At this time, for each of the plurality of regions, “1” indicating that the wavy line L1 is convex in the X-axis direction plus side of the straight line L2 in the region is “1”, and exists on the X-axis direction minus side. If there are many pixels to perform, it may be “0” indicating that it is concave.
また、図10に示すように、波線L1をY軸方向に複数の領域(例えば上述のブロック単位の領域)に分割する。このとき、複数の領域のそれぞれについて、当該領域で上に凸の形状である画素が下に凸の形状である画素よりも多ければ凸であることを示す「1」とし、当該領域で下に凸の形状である画素が上に凸の形状である画素よりも多ければ凹であることを示す「0」としてもよい。 Also, as shown in FIG. 10, the wavy line L1 is divided into a plurality of regions (for example, the above-mentioned block unit regions) in the Y-axis direction. At this time, for each of the plurality of regions, “1” indicating that the pixel having a convex shape upward in the region is more convex than the pixel having a convex shape downward is set to “1”. If the number of pixels having a convex shape is larger than the number of pixels having a convex shape upward, “0” indicating that the pixel is concave may be used.
上記の処理を縞のパターン光の複数本の明暗のエッジの部分のそれぞれについて行えば、X軸方向における凹凸の値を算出することができ、凹凸特徴の2次元配置を得ることができる。 If the above processing is performed for each of the plurality of bright and dark edge portions of the stripe pattern light, the unevenness value in the X-axis direction can be calculated, and a two-dimensional arrangement of unevenness features can be obtained.
なお、この場合の明暗のエッジの部分は、縞のパターン光のうちの上から明暗のエッジであってもよいし、上から暗明のエッジであってもよい。 In this case, the bright / dark edge portion may be a bright / dark edge from the top of the stripe pattern light, or may be a dark / light edge from above.
また、凹凸の検出にステレオカメラやレーザレンジファインダを用いてもよい。 Further, a stereo camera or a laser range finder may be used for detecting the unevenness.
このような凹凸の特徴を路面102の特徴として採用する場合、路面102の凹凸度合いを数値表現してもよい。
When such an uneven feature is adopted as the feature of the
凹凸特徴を用いると、降雨や汚れによる路面の局所的な輝度分布の変化に影響を受けにくい特徴検出が可能になる。 When the uneven feature is used, it is possible to detect a feature that is not easily affected by a change in local luminance distribution on the road surface due to rain or dirt.
また、濃淡や凹凸以外に色の特徴を路面の特徴としてもよいし、非可視光(赤外光など)を用いて撮像された画像から路面の特徴を得てもよい。色を用いることで、情報量が増し、判別性能を高めることが可能である。また、非可視光を用いることで照明部から照射される光を人の目に付きにくくすることができる。 In addition to shading and unevenness, color features may be used as road surface features, or road surface features may be obtained from images captured using invisible light (such as infrared light). By using colors, it is possible to increase the amount of information and improve the discrimination performance. In addition, by using invisible light, it is possible to make the light emitted from the illumination unit less visible to the human eye.
また、路面102の特徴には、SIFT(Scale Invariant Feature Transform)、FAST(Features from Accelerated Segment Test)、SURF(Speed−Up Robust Features)特徴量等の配列を用いてもよい。
Further, as the characteristics of the
また、特徴量としては、上記のように濃淡や凹凸、色などの値そのものではなく、空間的な変化量(微分値)を用いてもよい。例えば横方向の微分であれば、微分値が増せば1、微分値が同じであれば0、微分値が小さくなれば−1のように離散的な微分値表現を用いて、環境光の影響を受けにくくすることもできる。 Further, as the feature amount, a spatial change amount (differential value) may be used instead of values such as shading, unevenness, and color as described above. For example, in the case of lateral differentiation, the effect of ambient light is expressed using a discrete differential value expression such as 1 if the differential value increases, 0 if the differential value is the same, and -1 if the differential value is small. It can be made difficult to receive.
上記実施の形態では、路面102上を移動する移動体が路面を撮像して位置を推定する例を説明した。しかし、例えば、建物やトンネルやダムなどの壁面に沿って移動しながら、壁面を撮像し、壁面を撮像した結果を用いて位置推定してもよい。ここで、路面は壁面も含む。
In the above embodiment, an example has been described in which a moving body moving on the
上記実施の形態では、位置推定装置101の照明部11、撮像部12および通信部17以外の構成は、クラウド上にあってもよい。撮像部12により撮像された路面画像が通信部17を通じてクラウド上に送信され、クラウド上で位置推定の処理を行ってもよい。
In the said embodiment, structures other than the illumination part 11, the
上記実施の形態では、照明部11または撮像部12の少なくとも一方に偏光フィルタを装着することで、路面102の鏡面反射成分を低減させてもよい。これにより、路面102の濃淡特徴のコントラストを向上でき、位置推定の誤差を低減させることができる。
In the above embodiment, the specular reflection component of the
上記実施の形態では、高速な照合を行うために、精度の粗い位置推定を行ってから、粗い位置推定の結果の位置を含む地域に絞り込んで路面情報を取得し、取得した路面情報を用いて照合処理を行うことで照合処理を高速化しているが、これに限らない。例えば、予め高速な照合ができるようにインデックスやハッシュテーブルを構築しておいてもよい。 In the above-described embodiment, in order to perform high-speed collation, after performing rough position estimation, the road surface information is acquired by narrowing down to the area including the position of the result of rough position estimation, and the acquired road surface information is used. Although collation processing is speeded up by performing collation processing, it is not restricted to this. For example, an index or a hash table may be constructed in advance so that high-speed collation can be performed.
また、上記の実施の形態では、制御部14は、撮像された路面画像から照合領域を決定し(図3のS201)、照合領域の形状からその有効性を判定したが(同S202)、これに限定されない。これに代えて、制御部14は、照合領域の路面画像から路面102の特徴を抽出した結果(例えば、図3のS203で得られる特徴配列)に基づいて、照合領域の有効性を判断してもよい。例えば、制御部14は、本来得られるべき凹凸の特徴量が一定量以上得られないことや、地図との照合で十分な一致が見られないなどの基準で有効性を判断することができる。これにより、制御部14は、有効と判定した照合領域に対してのみ照合処理を行うため、路面の変形や傾斜等に起因して照合処理を正確に実行できないことを防ぐことができ、より正確な位置推定が可能となる。
In the above embodiment, the
本開示は、位置推定方法として実現することもできる。 The present disclosure can also be realized as a position estimation method.
なお、本開示に係る位置推定装置101を構成する各構成要素のうちの制御部14は、CPU(Central Processing Unit)、RAM(Random Acccess Memory)、ROM(Read Only Memory)通信インターフェース、I/Oポート、ハードディスク、ディスプレイなどを備えるコンピュータ上で実行されるプログラムなどのソフトウェアで実現されてもよく、電子回路などのハードウェアで実現されてもよい。
It should be noted that the
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。 As described above, the embodiments have been described as examples of the technology in the present disclosure. For this purpose, the accompanying drawings and detailed description are provided.
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。 Accordingly, among the components described in the accompanying drawings and the detailed description, not only the components essential for solving the problem, but also the components not essential for solving the problem in order to illustrate the above technique. May also be included. Therefore, it should not be immediately recognized that these non-essential components are essential as those non-essential components are described in the accompanying drawings and detailed description.
上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。 Since the above-described embodiment is for illustrating the technique in the present disclosure, various modifications, replacements, additions, omissions, and the like can be made within the scope of the claims or an equivalent scope thereof.
本開示は、人工的なマーカー等を配置することなく、移動体の精密な位置を推定することができる位置推定装置などに適用可能である。具体的には、本開示は、移動型ロボット、車両、壁面検査機器などに適用可能である。 The present disclosure can be applied to a position estimation device that can estimate a precise position of a moving object without arranging an artificial marker or the like. Specifically, the present disclosure can be applied to a mobile robot, a vehicle, a wall surface inspection device, and the like.
11 照明部
12 撮像部
13 メモリ
14 制御部
15 GNSS(Global Navigation Satellite System)
16 速度計
17 通信部
100 移動体
101 位置推定装置
102 路面
DESCRIPTION OF SYMBOLS 11
16
Claims (13)
前記移動体に設けられ、前記路面を照明する照明部と、
前記移動体に設けられ、前記照明部の光軸と非平行な光軸を有し、前記照明部により照明された前記路面を撮像する撮像部と、
位置と対応する路面の特徴とを含む路面情報を取得する制御部と、を備え、
前記制御部は、
撮像された路面画像から照合領域を決定し、
前記照合領域における前記路面画像から路面の特徴を抽出し、
前記抽出される路面の特徴と前記路面情報とを照合する照合処理により前記移動体の位置を推定し、
前記照合領域の有効性を判定し、
前記照合領域が有効と判定した場合に前記照合処理を行う、
位置推定装置。 A position estimation device for estimating the position of a moving object on a road surface,
An illumination unit that is provided on the moving body and illuminates the road surface;
An imaging unit that is provided on the moving body, has an optical axis that is non-parallel to the optical axis of the illumination unit, and that images the road surface illuminated by the illumination unit;
A controller that acquires road surface information including the position and the characteristics of the corresponding road surface,
The controller is
Determine the verification area from the captured road surface image,
Extracting road surface features from the road surface image in the verification region;
Estimating the position of the moving body by a collation process for collating the extracted road surface characteristics with the road surface information,
Determine the validity of the verification region;
Performing the matching process when it is determined that the matching region is valid,
Position estimation device.
請求項1に記載の位置推定装置。 The illumination unit illuminates using parallel light,
The position estimation apparatus according to claim 1.
請求項1に記載の位置推定装置。 The road surface information includes information indicating an absolute position as the position.
The position estimation apparatus according to claim 1.
前記制御部は、前記照合処理により前記移動体の位置および向きを推定する、
請求項1に記載の位置推定装置。 The road surface information further includes information indicating a direction at the position,
The control unit estimates the position and orientation of the moving body by the verification process.
The position estimation apparatus according to claim 1.
請求項1に記載の位置推定装置。 The position estimation apparatus according to claim 1, wherein the illumination unit illuminates the road surface using pattern light, which is light that forms a predetermined pattern.
請求項5に記載の位置推定装置。 The position estimation device according to claim 5, wherein the pattern light is a stripe pattern light or a lattice pattern light.
前記制御部は、前記抽出される路面の特徴として、前記路面画像のうちで前記照明部に照明された領域内から路面の濃淡または凹凸の2次元配置を特定し、その特定した2次元配置に基づいて前記照合処理を行う
請求項1に記載の位置推定装置。 The characteristics of the corresponding road surface of the road surface information include information indicating a two-dimensional arrangement of road surface shading or unevenness,
The control unit specifies a two-dimensional arrangement of shading or unevenness on the road surface from within the area illuminated by the illumination unit in the road image as a feature of the extracted road surface, and uses the specified two-dimensional arrangement. The position estimation apparatus according to claim 1, wherein the matching process is performed based on the position matching process.
前記制御部は、前記抽出される路面の特徴として、前記路面の濃淡または凹凸が撮像された前記路面画像を2値化することにより得られた2値化画像を生成し、その生成した2値化画像と前記路面情報とを照合する処理を前記照合処理として行う
請求項1に記載の位置推定装置。 The feature of the corresponding road surface of the road surface information includes a binarized image obtained by binarizing a road surface image obtained by imaging the shading or unevenness of the road surface,
The control unit generates a binarized image obtained by binarizing the road surface image obtained by imaging the lightness or unevenness of the road surface as a feature of the extracted road surface, and the generated binary The position estimation apparatus according to claim 1, wherein a process of collating the digitized image with the road surface information is performed as the collation process.
前記制御部は、前記位置推定部による前記位置推定の結果に基づき、前記路面情報を絞り込んで取得する
請求項1に記載の位置推定装置。 A position estimator that performs coarse position estimation with accuracy greater than the position of the moving body estimated by the controller;
The position estimation device according to claim 1, wherein the control unit narrows down and acquires the road surface information based on a result of the position estimation by the position estimation unit.
請求項1に記載の位置推定装置。 The position estimation apparatus according to claim 1, wherein the control unit performs the collation process according to a moving speed of the moving body.
請求項1に記載の位置推定装置。 The control unit determines the effectiveness of the verification region based on the illumination shape formed on the road surface by the illumination unit.
The position estimation apparatus according to claim 1.
請求項1に記載の位置推定装置。 The control unit determines the effectiveness of the matching region based on the extracted characteristics of the road surface;
The position estimation apparatus according to claim 1.
前記移動体に設けられる照明部を用いて前記路面を照明し、
前記移動体に設けられ、前記照明部の光軸と非平行な光軸を有する撮像部を用いて、前記照明部により照明された前記路面を撮像し、
位置と対応する路面の特徴とを含む路面情報を取得し、
撮像された路面画像から照合領域を決定し、
前記照合領域における前記路面画像から路面の特徴を抽出し、
前記抽出される路面の特徴と前記路面情報とを照合する照合処理により移動体の位置を推定し、
前記移動体の位置の推定においては、前記照合領域の有効性を判定し、前記照合領域を有効と判定した場合に前記照合処理を行う、
位置推定方法。 A position estimation method for estimating the position of a moving object on a road surface,
Illuminating the road surface using an illumination unit provided on the moving body,
Using the imaging unit provided on the moving body and having an optical axis that is non-parallel to the optical axis of the illumination unit, the road surface illuminated by the illumination unit is imaged,
Obtain road surface information including the position and corresponding road surface features,
Determine the verification area from the captured road surface image,
Extracting road surface features from the road surface image in the verification region;
Estimating the position of the moving body by collation processing for collating the extracted road surface characteristics with the road surface information,
In the estimation of the position of the moving body, the effectiveness of the matching area is determined, and the matching process is performed when the matching area is determined to be valid.
Position estimation method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/046,487 US20160259034A1 (en) | 2015-03-04 | 2016-02-18 | Position estimation device and position estimation method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015043010 | 2015-03-04 | ||
JP2015043010 | 2015-03-04 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016166853A true JP2016166853A (en) | 2016-09-15 |
JP2016166853A5 JP2016166853A5 (en) | 2018-11-29 |
JP6667065B2 JP6667065B2 (en) | 2020-03-18 |
Family
ID=56897527
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015205612A Active JP6667065B2 (en) | 2015-03-04 | 2015-10-19 | Position estimation device and position estimation method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6667065B2 (en) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018117022A1 (en) * | 2016-12-20 | 2018-06-28 | 株式会社資生堂 | Application control device, application device, application control method, and recording medium |
WO2018225282A1 (en) * | 2017-06-06 | 2018-12-13 | 三菱電機株式会社 | Observation device and vehicle control system |
JP2018205073A (en) * | 2017-06-01 | 2018-12-27 | 株式会社豊田中央研究所 | Movement distance measuring device |
WO2019054438A1 (en) * | 2017-09-15 | 2019-03-21 | ヤマハ発動機株式会社 | Established-route-tracing vehicle |
JP2019185465A (en) * | 2018-04-12 | 2019-10-24 | 富士ゼロックス株式会社 | Mobile device and program |
JP2019185378A (en) * | 2018-04-10 | 2019-10-24 | 富士ゼロックス株式会社 | Mobile device and program |
JP2019200351A (en) * | 2018-05-17 | 2019-11-21 | 三菱重工業株式会社 | Map information generation device, map information display system, and map information display method |
CN113841068A (en) * | 2019-05-16 | 2021-12-24 | 三菱电机株式会社 | Information processing apparatus, information processing method, and information processing program |
WO2022191015A1 (en) * | 2021-03-12 | 2022-09-15 | 株式会社豊田自動織機 | Autonomous traveling vehicle |
WO2022196709A1 (en) * | 2021-03-19 | 2022-09-22 | 株式会社豊田自動織機 | Autonomous vehicle |
WO2023058128A1 (en) * | 2021-10-05 | 2023-04-13 | 日本電気株式会社 | Position estimation device, moving body system, position estimation method, and non-transitory computer-readable medium |
EP4249270A1 (en) | 2022-03-23 | 2023-09-27 | Ricoh Company, Ltd. | Liquid application apparatus, liquid application method, and carrier medium |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007278951A (en) * | 2006-04-10 | 2007-10-25 | Alpine Electronics Inc | Car body behavior measuring device |
JP2010102585A (en) * | 2008-10-24 | 2010-05-06 | Shimizu Corp | Mobile object position detection system |
JP2012242263A (en) * | 2011-05-20 | 2012-12-10 | Mazda Motor Corp | Mobile body position detection device |
US20140005932A1 (en) * | 2012-06-29 | 2014-01-02 | Southwest Research Institute | Location And Motion Estimation Using Ground Imaging Sensor |
WO2014170989A1 (en) * | 2013-04-18 | 2014-10-23 | 西日本高速道路エンジニアリング四国株式会社 | Device for inspecting shape of road travel surface |
-
2015
- 2015-10-19 JP JP2015205612A patent/JP6667065B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007278951A (en) * | 2006-04-10 | 2007-10-25 | Alpine Electronics Inc | Car body behavior measuring device |
JP2010102585A (en) * | 2008-10-24 | 2010-05-06 | Shimizu Corp | Mobile object position detection system |
JP2012242263A (en) * | 2011-05-20 | 2012-12-10 | Mazda Motor Corp | Mobile body position detection device |
US20140005932A1 (en) * | 2012-06-29 | 2014-01-02 | Southwest Research Institute | Location And Motion Estimation Using Ground Imaging Sensor |
WO2014170989A1 (en) * | 2013-04-18 | 2014-10-23 | 西日本高速道路エンジニアリング四国株式会社 | Device for inspecting shape of road travel surface |
Cited By (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018117022A1 (en) * | 2016-12-20 | 2018-06-28 | 株式会社資生堂 | Application control device, application device, application control method, and recording medium |
KR102555594B1 (en) | 2016-12-20 | 2023-07-14 | 가부시키가이샤 시세이도 | Dispensing control device, dispensing device, dispensing control method and recording medium |
KR20190099228A (en) * | 2016-12-20 | 2019-08-26 | 가부시키가이샤 시세이도 | Coating control device, coating device, coating control method and recording medium |
CN110191661A (en) * | 2016-12-20 | 2019-08-30 | 株式会社资生堂 | Coating controller, apparatus for coating, coating control method and recording medium |
CN110191661B (en) * | 2016-12-20 | 2022-07-05 | 株式会社资生堂 | Coating control device, coating control method, and recording medium |
JPWO2018117022A1 (en) * | 2016-12-20 | 2019-10-24 | 株式会社 資生堂 | Coating control device, coating device, coating control method, and recording medium |
US10799009B2 (en) | 2016-12-20 | 2020-10-13 | Shiseido Company, Ltd. | Application control device, application device, application control method and storage medium |
JP2018205073A (en) * | 2017-06-01 | 2018-12-27 | 株式会社豊田中央研究所 | Movement distance measuring device |
WO2018225282A1 (en) * | 2017-06-06 | 2018-12-13 | 三菱電機株式会社 | Observation device and vehicle control system |
JP2018206094A (en) * | 2017-06-06 | 2018-12-27 | 三菱電機株式会社 | Observation device and vehicle control system |
JPWO2019054438A1 (en) * | 2017-09-15 | 2019-11-14 | ヤマハ発動機株式会社 | Default route trace vehicle |
WO2019054438A1 (en) * | 2017-09-15 | 2019-03-21 | ヤマハ発動機株式会社 | Established-route-tracing vehicle |
JP2019185378A (en) * | 2018-04-10 | 2019-10-24 | 富士ゼロックス株式会社 | Mobile device and program |
JP7131042B2 (en) | 2018-04-10 | 2022-09-06 | 富士フイルムビジネスイノベーション株式会社 | mobile device and program |
JP2019185465A (en) * | 2018-04-12 | 2019-10-24 | 富士ゼロックス株式会社 | Mobile device and program |
JP2019200351A (en) * | 2018-05-17 | 2019-11-21 | 三菱重工業株式会社 | Map information generation device, map information display system, and map information display method |
JP7109253B2 (en) | 2018-05-17 | 2022-07-29 | 三菱重工業株式会社 | MAP INFORMATION CREATED DEVICE, MAP INFORMATION DISPLAY SYSTEM AND MAP INFORMATION DISPLAY METHOD |
CN113841068A (en) * | 2019-05-16 | 2021-12-24 | 三菱电机株式会社 | Information processing apparatus, information processing method, and information processing program |
WO2022191015A1 (en) * | 2021-03-12 | 2022-09-15 | 株式会社豊田自動織機 | Autonomous traveling vehicle |
WO2022196709A1 (en) * | 2021-03-19 | 2022-09-22 | 株式会社豊田自動織機 | Autonomous vehicle |
WO2023058128A1 (en) * | 2021-10-05 | 2023-04-13 | 日本電気株式会社 | Position estimation device, moving body system, position estimation method, and non-transitory computer-readable medium |
EP4249270A1 (en) | 2022-03-23 | 2023-09-27 | Ricoh Company, Ltd. | Liquid application apparatus, liquid application method, and carrier medium |
Also Published As
Publication number | Publication date |
---|---|
JP6667065B2 (en) | 2020-03-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6667065B2 (en) | Position estimation device and position estimation method | |
CN107463918B (en) | Lane line extraction method based on fusion of laser point cloud and image data | |
CN109751973B (en) | Three-dimensional measuring device, three-dimensional measuring method, and storage medium | |
CN107516077B (en) | Traffic sign information extraction method based on fusion of laser point cloud and image data | |
CN111832536B (en) | Lane line detection method and device | |
CN107014294B (en) | Contact net geometric parameter detection method and system based on infrared image | |
JP6871782B2 (en) | Road marking detector, road marking detection method, program, and road surface detector | |
JP2017533482A (en) | Lane data processing method, apparatus, storage medium and equipment | |
KR101272448B1 (en) | Apparatus and method for detecting region of interest, and the recording media storing the program performing the said method | |
JP6084552B2 (en) | Road surface orthoimage generation apparatus and generation method | |
US20160259034A1 (en) | Position estimation device and position estimation method | |
CN112669318A (en) | Surface defect detection method, device, equipment and storage medium | |
JPWO2008020544A1 (en) | Vehicle detection device, vehicle detection method, and vehicle detection program | |
Li et al. | Road detection from airborne LiDAR point clouds adaptive for variability of intensity data | |
JP2019020956A (en) | Vehicle surroundings recognition device | |
JP6477348B2 (en) | Self-position estimation apparatus and self-position estimation method | |
KR101940519B1 (en) | Apparatus and method for automatic water level measurement | |
CN104766331A (en) | Imaging processing method and electronic device | |
JP4887540B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
JP2007256280A (en) | Object recognition system and displacement measurement method of object using the same | |
JP5862217B2 (en) | Marker detection and tracking device | |
US10331977B2 (en) | Method for the three-dimensional detection of objects | |
US10007857B2 (en) | Method for the three-dimensional detection of objects | |
JP2008293504A (en) | Object recognition device | |
Ouma | On the use of low-cost RGB-D sensors for autonomous pothole detection with spatial fuzzy c-means segmentation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20160525 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181017 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181017 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20190116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190808 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190820 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190917 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200120 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6667065 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |