JP2016166853A - Location estimation device and location estimation method - Google Patents

Location estimation device and location estimation method Download PDF

Info

Publication number
JP2016166853A
JP2016166853A JP2015205612A JP2015205612A JP2016166853A JP 2016166853 A JP2016166853 A JP 2016166853A JP 2015205612 A JP2015205612 A JP 2015205612A JP 2015205612 A JP2015205612 A JP 2015205612A JP 2016166853 A JP2016166853 A JP 2016166853A
Authority
JP
Japan
Prior art keywords
road surface
position estimation
moving body
illumination
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015205612A
Other languages
Japanese (ja)
Other versions
JP2016166853A5 (en
JP6667065B2 (en
Inventor
今川 太郎
Taro Imagawa
太郎 今川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to US15/046,487 priority Critical patent/US20160259034A1/en
Publication of JP2016166853A publication Critical patent/JP2016166853A/en
Publication of JP2016166853A5 publication Critical patent/JP2016166853A5/ja
Application granted granted Critical
Publication of JP6667065B2 publication Critical patent/JP6667065B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a location estimation device capable of estimating a precise position of a moving body without disposing an artificial marker, or the like.SOLUTION: A location estimation device 101 estimates a position of a moving body 100 on a road surface 102. The location estimation device 101 includes a lighting part 11 that is provided in the moving body 100 and lights the road surface 102, and an imaging part 12 that is provided in the moving body 100, includes an optical axis not in parallel with an optical axis of the lighting part 11, and captures an image of the road surface 102 lighted by the lighting part 11. The location estimation device 101 also includes a control part 14 for acquiring road information including a position and characteristics of the corresponding road surface 102. The control part 14 determines a collation area from a captured road surface image, extracts the characteristics of the road surface from the road surface image in the collation area, and estimates a position of the moving body 100 by collation processing for collating the extracted characteristics of the road surface 102 with the road surface information. The control part 14 also determines effectiveness of the collation area, and performs collation processing when determining that the collation area is effective.SELECTED DRAWING: Figure 1

Description

本開示は、路面上における移動体の位置を推定する位置推定装置および位置推定方法に関する。   The present disclosure relates to a position estimation device and a position estimation method for estimating the position of a moving object on a road surface.

特許文献1は、床面に描いたドットパターンを撮影し、撮影したドットパターンと位置情報とを対応付ける移動体位置検出システム(位置推定装置)を開示する。これにより移動体が撮影した画像から移動体の位置を検出することができる。   Patent Document 1 discloses a moving body position detection system (position estimation device) that captures a dot pattern drawn on a floor surface and associates the captured dot pattern with position information. Thereby, the position of the moving body can be detected from the image taken by the moving body.

特開2010−102585号公報JP 2010-102585 A

しかしながら、特許文献1では、床面にドットパターンなどの人工的なマーカーを配置することで移動体の床面における位置を検出している。このため、位置の検出のために人工的なマーカーを予め床面に配置する必要がある。また、移動体の精密な位置を推定しようとすれば、人工的なマーカーをより微小な領域単位で広範囲に亘って配置する必要がある。このため、人工的なマーカーの配置に膨大な手間がかかるという問題がある。   However, in patent document 1, the position on the floor surface of a moving body is detected by arranging an artificial marker such as a dot pattern on the floor surface. For this reason, it is necessary to arrange an artificial marker on the floor in advance for position detection. In addition, in order to estimate the precise position of the moving body, it is necessary to arrange artificial markers over a wide range in units of smaller areas. For this reason, there exists a problem that arrangement | positioning of an artificial marker requires a huge effort.

本開示は、人工的なマーカー等を配置することなく、移動体の精密な位置を推定することができる位置推定装置を提供する。   The present disclosure provides a position estimation device capable of estimating a precise position of a moving body without arranging an artificial marker or the like.

本開示における位置推定装置は、路面上における移動体の位置を推定する位置推定装置であって、移動体に設けられ、路面を照明する照明部と、移動体に設けられ、照明部の光軸と非平行な光軸を有し、照明部により照明された路面を撮像する撮像部とを備える。位置推定装置はまた、位置と対応する路面の特徴とを含む路面情報を取得する制御部を備える。制御部は、撮像された路面画像から照合領域を決定し、照合領域における路面画像から路面の特徴を抽出し、抽出される路面の特徴と路面情報とを照合する照合処理により移動体の位置を推定する。制御部は更に、照合領域の有効性を判定し、照合領域が有効と判定した場合に上記照合処理を行う。   A position estimation device according to the present disclosure is a position estimation device that estimates a position of a moving body on a road surface. The position estimation device is provided on the moving body and illuminates the road surface. And an imaging unit that images the road surface illuminated by the illumination unit. The position estimation device also includes a control unit that acquires road surface information including the position and the corresponding road surface characteristics. The control unit determines a collation region from the captured road surface image, extracts a road surface feature from the road surface image in the collation region, and determines a position of the moving body by a collation process for collating the extracted road surface feature with the road surface information. presume. The control unit further determines the validity of the collation area, and performs the collation process when it is determined that the collation area is valid.

また、本開示における位置推定方法は、路面上における移動体の位置を推定する位置推定方法であって、移動体に設けられる照明部を用いて路面を照明し、移動体に設けられ、照明部の光軸と非平行な光軸を有する撮像部を用いて、照明部により照明された路面を撮像する。また、位置と対応する路面の特徴とを含む路面情報を取得する。また、撮像された路面画像から照合領域を決定し、照合領域における路面画像から路面の特徴を抽出し、その抽出される路面の特徴と路面情報とを照合する照合処理により移動体の位置を推定する。更に、移動体の位置の推定においては、照合領域の有効性を判定し、照合領域を有効と判定した場合に上記照合処理を行う。   Further, the position estimation method in the present disclosure is a position estimation method for estimating the position of the moving object on the road surface, and illuminates the road surface using an illumination unit provided in the moving object, and is provided in the moving object. The road surface illuminated by the illumination unit is imaged using an imaging unit having an optical axis that is not parallel to the optical axis. Further, road surface information including the position and the corresponding road surface characteristics is acquired. In addition, the verification area is determined from the captured road surface image, the road surface features are extracted from the road surface image in the verification area, and the position of the moving body is estimated by the verification process that compares the extracted road surface characteristics with the road surface information. To do. Furthermore, in the estimation of the position of the moving object, the validity of the collation area is determined, and the collation process is performed when it is determined that the collation area is valid.

本開示における位置推定装置は、人工的なマーカー等を配置することなく、移動体の精密な位置を推定することができる。   The position estimation apparatus according to the present disclosure can estimate the precise position of the moving body without arranging an artificial marker or the like.

実施の形態1に係る位置推定装置を備える移動体の構成を示す図The figure which shows the structure of a moving body provided with the position estimation apparatus which concerns on Embodiment 1. FIG. 実施の形態1に係る位置推定装置の位置推定動作の一例を説明するためのフローチャートFlowchart for explaining an example of position estimation operation of the position estimation apparatus according to Embodiment 1 実施の形態1に係る位置推定装置の特徴抽出処理の一例を示すフローチャートThe flowchart which shows an example of the feature extraction process of the position estimation apparatus which concerns on Embodiment 1. 実施の形態1に係る照明部から照明される照明領域の形状の例を示す図The figure which shows the example of the shape of the illumination area illuminated from the illumination part which concerns on Embodiment 1 実施の形態1に係る撮像された画像を2値化した場合に得られる濃淡特徴の特徴配列を示す図The figure which shows the feature arrangement | sequence of the light / dark feature obtained when the imaged image which concerns on Embodiment 1 is binarized 実施の形態1に係る路面情報の一例を示す図The figure which shows an example of the road surface information which concerns on Embodiment 1. 実施の形態1に係る路面情報の取得処理の一例を示すフローチャートThe flowchart which shows an example of the acquisition process of the road surface information which concerns on Embodiment 1. 他の実施の形態に係る照明部から照明される照明パターンの例を示す図The figure which shows the example of the illumination pattern illuminated from the illumination part which concerns on other embodiment 他の実施の形態に係る照明部から照明される照明パターンの例を示す図The figure which shows the example of the illumination pattern illuminated from the illumination part which concerns on other embodiment 他の実施の形態に係る路面の凹凸を抽出する方法の一例を説明するための図The figure for demonstrating an example of the method of extracting the unevenness | corrugation of the road surface which concerns on other embodiment 他の実施の形態に係る路面の凹凸を抽出する方法の他の一例を説明するための図The figure for demonstrating another example of the method of extracting the unevenness | corrugation of the road surface which concerns on other embodiment

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。   Hereinafter, embodiments will be described in detail with reference to the drawings as appropriate. However, more detailed description than necessary may be omitted. For example, detailed descriptions of already well-known matters and repeated descriptions for substantially the same configuration may be omitted. This is to avoid the following description from becoming unnecessarily redundant and to facilitate understanding by those skilled in the art.

なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。   The inventor provides the accompanying drawings and the following description in order for those skilled in the art to fully understand the present disclosure, and is not intended to limit the subject matter described in the claims. Absent.

(実施の形態1)
以下、図1〜7を用いて、実施の形態1を説明する。
(Embodiment 1)
Hereinafter, the first embodiment will be described with reference to FIGS.

[1−1.構成]
まず、本実施の形態に係る位置推定装置の構成について、図1を用いて説明する。
[1-1. Constitution]
First, the configuration of the position estimation apparatus according to the present embodiment will be described with reference to FIG.

図1は、実施の形態1に係る位置推定装置101を備える移動体100の構成を示す図である。   FIG. 1 is a diagram illustrating a configuration of a moving object 100 including a position estimation device 101 according to Embodiment 1.

位置推定装置101は、路面102上における移動体100の位置および向きを推定する装置である。位置推定装置101は、照明部11と、撮像部12と、メモリ13と、制御部14と、Global Navigation Satellite System(GNSS)15と、速度計16と、通信部17とを備える。   The position estimation device 101 is a device that estimates the position and orientation of the moving body 100 on the road surface 102. The position estimation apparatus 101 includes an illumination unit 11, an imaging unit 12, a memory 13, a control unit 14, a global navigation satellite system (GNSS) 15, a speedometer 16, and a communication unit 17.

照明部11は、移動体100に設けられ、路面102の一部を照明する。また、照明部11は、平行光を用いて照明する。照明部11は、例えば、LED(Light Emitting Diode)などの光源、平行光を形成する光学系等により実現される。   The illumination unit 11 is provided on the moving body 100 and illuminates a part of the road surface 102. The illumination unit 11 illuminates using parallel light. The illumination unit 11 is realized by a light source such as an LED (Light Emitting Diode), an optical system that forms parallel light, and the like.

なお、平行光とは、光束が平行な照明である。照明部11は、平行光を照射することにより、照射距離(照明部11から路面102までの距離)によらず、同じ大きさの領域を照らすことができる。照明部11は、例えば、テレセントリック光学系を用いて、テレセントリック光学系により出射される平行光を照明してもよい。また、互いに平行に配置された直進性を有する複数のスポット光により照射される平行光を用いて照明してもよい。平行光を用いる場合、領域のサイズを照明部11から路面102までの距離によらずに一定にすることができ、位置の推定に必要な領域を正確に設定し、正常な照合を実現できる。   Note that the parallel light is illumination in which light beams are parallel. The illumination unit 11 can illuminate a region having the same size by irradiating parallel light regardless of the irradiation distance (distance from the illumination unit 11 to the road surface 102). The illumination unit 11 may illuminate parallel light emitted from the telecentric optical system using, for example, a telecentric optical system. Moreover, you may illuminate using the parallel light irradiated with the some spot light which has a straight advance property arrange | positioned in parallel mutually. When parallel light is used, the size of the region can be made constant regardless of the distance from the illumination unit 11 to the road surface 102, and the region necessary for position estimation can be set accurately and normal verification can be realized.

撮像部12は、移動体100に設けられる。撮像部12は、照明部11の光軸と非平行な光軸を有し、照明部11により照明された路面102を撮像する。具体的には、撮像部12は、照明部11により照明されている照明領域(後述参照)を含む路面102を撮像する。撮像部12は、例えば、カメラにより実現される。   The imaging unit 12 is provided in the moving body 100. The imaging unit 12 has an optical axis that is non-parallel to the optical axis of the illumination unit 11 and images the road surface 102 illuminated by the illumination unit 11. Specifically, the imaging unit 12 images the road surface 102 including an illumination area (described later) illuminated by the illumination unit 11. The imaging unit 12 is realized by a camera, for example.

ここで、照明部11および撮像部12は、例えば、移動体100の車体の底部に固定された状態で設けられている。撮像部12の光軸は、路面に対して垂直であることが好ましい。このため、移動体100が平面状の路面上に配置されていると仮定した場合、撮像部12は、その光軸が当該路面に垂直となるように固定されている。また、照明部11は、撮像部12の光軸とは非平行な光軸を有するため、上記平面状の路面に対して斜めから平行光を照射することで、撮像部12が撮像する路面の領域(以下、「撮像領域」という)のうちの一部の領域(以下、「照明領域」という)を照明する。   Here, the illumination part 11 and the imaging part 12 are provided in the state fixed to the bottom part of the vehicle body of the mobile body 100, for example. The optical axis of the imaging unit 12 is preferably perpendicular to the road surface. For this reason, when it is assumed that the moving body 100 is disposed on a flat road surface, the imaging unit 12 is fixed so that its optical axis is perpendicular to the road surface. Further, since the illumination unit 11 has an optical axis that is non-parallel to the optical axis of the imaging unit 12, the illumination unit 11 irradiates parallel light obliquely onto the planar road surface so that the road surface captured by the imaging unit 12 is imaged. A part of the area (hereinafter referred to as “imaging area”) is illuminated (hereinafter referred to as “illumination area”).

制御部14は、後述するメモリ13に保存され、位置および方角と路面102の特徴とが予め対応付けられた路面情報を取得する。制御部14は、撮像された路面画像から路面102の特徴を抽出し、取得した路面情報と抽出した路面102の特徴とを照合する照合処理により、移動体100の位置を推定する。制御部14は、照合処理により移動体100が向いている方角である、移動体の向きを推定してもよい。制御部14は、例えば、路面画像のうちで照明部11に照明された領域内から路面102の濃淡の2次元配置を特定し、特定した2次元配置に基づいて照合処理を行う。また、制御部14は、例えば、路面102の濃淡が撮像された路面画像を2値化することにより得られた2値化画像と路面情報とを照合する処理を照合処理として行う。ここで、移動体100の位置とは、移動体100が移動する路面102上の位置であり、向きとは、移動体100の正面が路面102上で向いている方角である。制御部14は、例えば、プロセッサ、プログラムが記憶されているメモリなどにより実現される。   The control unit 14 stores road surface information that is stored in a memory 13 to be described later and in which the position and direction are associated with the characteristics of the road surface 102 in advance. The control unit 14 extracts the feature of the road surface 102 from the picked-up road surface image, and estimates the position of the moving body 100 by collation processing for collating the acquired road surface information with the extracted feature of the road surface 102. The control unit 14 may estimate the direction of the moving body, which is the direction in which the moving body 100 is directed by the collation process. For example, the control unit 14 identifies the two-dimensional arrangement of the road surface 102 from the area illuminated by the illumination unit 11 in the road surface image, and performs a matching process based on the identified two-dimensional arrangement. Further, the control unit 14 performs, for example, a process of collating a binarized image obtained by binarizing a road surface image obtained by imaging the shade of the road surface 102 with road surface information as a collation process. Here, the position of the moving body 100 is a position on the road surface 102 where the moving body 100 moves, and the direction is a direction in which the front surface of the moving body 100 faces on the road surface 102. The control unit 14 is realized by, for example, a processor and a memory storing a program.

メモリ13は、路面102の特徴と位置との対応関係を示す路面情報を記憶する。なお、路面情報は、メモリ13に記憶されていなくてもよく、照合処理の際に通信により外部から取得されてもよい。メモリ13は、例えば、不揮発性メモリなどにより実現される。   The memory 13 stores road surface information indicating the correspondence between the characteristics of the road surface 102 and the positions. Note that the road surface information may not be stored in the memory 13 and may be acquired from the outside by communication during the matching process. The memory 13 is realized by, for example, a nonvolatile memory.

路面情報において対応付けられる位置は、絶対位置を示す情報である。また、路面情報は、絶対位置での方角が予め対応付けられた情報であってもよい。本実施の形態では、路面情報は、位置および方角と路面102の特徴とが予め対応付けられた情報である。   The position associated with the road surface information is information indicating an absolute position. Further, the road surface information may be information in which directions in absolute positions are associated in advance. In the present embodiment, the road surface information is information in which the position and direction are associated with the characteristics of the road surface 102 in advance.

路面情報に含まれる路面102の特徴は、路面102の濃淡の2次元配置を示す情報である。また、路面情報は、路面102の濃淡が撮像された路面画像を2値化することにより得られた2値化画像が、路面の特徴として対応付けられた情報である。なお、路面情報の元になる路面102は、アスファルト、コンクリート、木材などの表面の濃淡、凹凸、色などの特徴が一様でない素材で構成された道路の表面であることが好ましい。   The feature of the road surface 102 included in the road surface information is information indicating a two-dimensional arrangement of the light and shade of the road surface 102. The road surface information is information in which a binarized image obtained by binarizing a road surface image in which the density of the road surface 102 is captured is associated as a road surface feature. In addition, it is preferable that the road surface 102 which becomes the basis of road surface information is the surface of the road comprised with the material which has features, such as shading, asperity, a color, etc. of surfaces, such as asphalt, concrete, and wood, which are not uniform.

GNSS15は、移動体の大まかな位置を決定する。つまり、GNSS15は、制御部14が推定する移動体の位置よりも精度の粗い位置推定を行う位置推定部である。GNSS15は、例えば、GPS(Global Positioning System)衛星からの信号を受信することにより位置を推定するGPSモジュールなどにより実現される。   The GNSS 15 determines a rough position of the moving object. In other words, the GNSS 15 is a position estimation unit that performs position estimation with coarser accuracy than the position of the moving body estimated by the control unit 14. The GNSS 15 is realized by, for example, a GPS module that estimates a position by receiving a signal from a GPS (Global Positioning System) satellite.

速度計16は、移動体100の移動速度を計測する。速度計16は、例えば、移動体100のドリブンギアから得られる回転信号から移動体100の速度を計測する速度計により実現される。   The speedometer 16 measures the moving speed of the moving body 100. The speedometer 16 is realized by, for example, a speedometer that measures the speed of the moving body 100 from a rotation signal obtained from the driven gear of the moving body 100.

通信部17は、必要に応じてメモリ13に記憶すべき路面情報を通信により外部から取得する。要するに、メモリ13に記憶されている路面情報は、路面情報の全てである必要はなく、路面情報の一部であってよい。つまり、路面情報は、世界中の路面の特徴および位置が対応付けられた情報であってもよいし、所定の国における路面の特徴および位置が対応付けられた情報であってもよい。また、路面情報は、所定の地域における路面の特徴および位置が対応付けられた情報であってもよいし、工場などの所定の施設における路面の特徴および位置が対応付けられた情報であってもよい。路面情報は、上述したように、路面の特徴と位置および方角とが対応付けられた情報であってもよい。通信部17は、例えば、携帯電話通信網などによる通信を行うことができる通信モジュールにより実現される。   The communication part 17 acquires the road surface information which should be memorize | stored in the memory 13 from the outside by communication as needed. In short, the road surface information stored in the memory 13 does not have to be all of the road surface information, and may be a part of the road surface information. That is, the road surface information may be information associated with road surface features and positions around the world, or may be information associated with road surface features and positions in a predetermined country. The road surface information may be information associated with road surface features and positions in a predetermined area, or may be information associated with road surface features and positions in a predetermined facility such as a factory. Good. As described above, the road surface information may be information in which road surface features are associated with positions and directions. The communication part 17 is implement | achieved by the communication module which can perform communication by a mobile telephone communication network etc., for example.

[1−2.動作]
以上のように構成された位置推定装置101について、その動作を以下に説明する。
[1-2. Operation]
The operation of the position estimation apparatus 101 configured as described above will be described below.

図2は、実施の形態1に係る位置推定装置101の位置推定動作の一例を説明するためのフローチャートである。   FIG. 2 is a flowchart for explaining an example of the position estimation operation of the position estimation apparatus 101 according to the first embodiment.

まず、照明部11は、路面を照明する(S101)。具体的には、照明部11は、撮像部12により撮像される撮像領域のうちの照明領域に対して斜め方向から平行光を出射することにより、路面を照明する。   First, the illumination unit 11 illuminates the road surface (S101). Specifically, the illumination unit 11 illuminates the road surface by emitting parallel light from an oblique direction with respect to the illumination region of the imaging region imaged by the imaging unit 12.

次に、撮像部12は、路面を撮像する(S102)。具体的には、撮像部12は、照明部11により照明された照明領域の全ての領域を含む路面を撮像する。つまり、照明領域の全領域は、撮像領域に含まれる。   Next, the imaging unit 12 images the road surface (S102). Specifically, the imaging unit 12 images a road surface that includes all the illumination areas illuminated by the illumination unit 11. That is, the entire illumination area is included in the imaging area.

次に、制御部14は、メモリ13に保存されている路面情報であって、位置または方角と路面102の特徴とが予め対応付けられた路面情報を取得する(S103)。   Next, the control unit 14 acquires road surface information stored in the memory 13 and in which the position or direction and the characteristics of the road surface 102 are associated in advance (S103).

次に、制御部14は、撮像部12により撮像された路面画像から特徴を抽出する(S104)。なお、ステップS104における特徴を抽出する処理(以下、「特徴抽出処理」という)の詳細は、図3を用いて後述する。   Next, the control unit 14 extracts features from the road surface image captured by the imaging unit 12 (S104). Details of the feature extraction processing (hereinafter referred to as “feature extraction processing”) in step S104 will be described later with reference to FIG.

次に、路面画像から特徴を抽出する特徴抽出処理(S104)について図3を用いて説明する。   Next, feature extraction processing (S104) for extracting features from a road surface image will be described with reference to FIG.

図3は、実施の形態1に係る位置推定装置101の特徴抽出処理の一例を示すフローチャートである。   FIG. 3 is a flowchart illustrating an example of feature extraction processing of the position estimation apparatus 101 according to the first embodiment.

特徴抽出処理では、まず、制御部14は、照明部11により路面102に照射された平行光の照明領域の形状(以下、「照明形状」という)に基づいて撮像画像から特徴抽出処理を行う対象とする照合領域を決定する(S201)。   In the feature extraction process, first, the control unit 14 performs the feature extraction process from the captured image based on the shape of the illumination region of the parallel light irradiated on the road surface 102 by the illumination unit 11 (hereinafter referred to as “illumination shape”). The collation area to be determined is determined (S201).

ここで、照明形状の具体例を図4に示す。   Here, a specific example of the illumination shape is shown in FIG.

図4は、実施の形態1に係る照明部11から照明される照明領域の形状(照明形状)の例を示す図である。図4の(a)〜(d)で示される照明形状は、路面の情報から見たときの照明領域の形状である。図4の(a)〜(d)で示される照明部11による照明形状は、位置推定装置101ごとに決められていてもよいし、一つの位置推定装置において変更可能であってもよい。例えば、路面の状況等に応じて照明形状を変えてもよい。また、図4では、(a)〜(d)の斜線の領域は、照明領域を示し、(c)および(d)のドット部分の領域は、スポット光が照射されたスポット領域を示す。   FIG. 4 is a diagram illustrating an example of the shape (illumination shape) of the illumination region illuminated from the illumination unit 11 according to Embodiment 1. The illumination shapes shown in (a) to (d) of FIG. 4 are the shapes of illumination areas when viewed from road surface information. The illumination shape by the illumination part 11 shown by (a)-(d) of FIG. 4 may be determined for every position estimation apparatus 101, and may be changeable in one position estimation apparatus. For example, the illumination shape may be changed according to the road surface condition. In FIG. 4, hatched areas (a) to (d) indicate illumination areas, and dot area areas (c) and (d) indicate spot areas irradiated with spot light.

図4の(a)は、照明形状が四角形状の例を示す図である。この場合、一般的な撮像素子の形状と親和性が高く、撮像素子を構成する複数の素子の検出値を無駄なく高い割合で採用できる。照明形状が四角形状である場合、照合領域は、照明形状の矩形全体であってもよいし、照明形状を基準とした照明形状よりも内側の領域であってもよい。照明形状の矩形位置を基準とした内側の領域を照合形状とする場合、照合形状は、例えば、照明形状と中心が同一であり、かつ、照明形状よりも面積が10%小さい領域に設定されてもよい。   (A) of FIG. 4 is a figure which shows the example whose illumination shape is square shape. In this case, the shape and affinity of a general image sensor are high, and the detection values of a plurality of elements constituting the image sensor can be employed at a high rate without waste. When the illumination shape is a quadrangle shape, the verification region may be the entire rectangle of the illumination shape, or may be a region inside the illumination shape based on the illumination shape. When the inner region based on the rectangular position of the illumination shape is used as the collation shape, the collation shape is, for example, set to a region having the same center as the illumination shape and an area that is 10% smaller than the illumination shape. Also good.

図4の(b)は、照明形状が円形の例を示す図である。この場合、向きの異なる照合において照合形状を一定にできる。   FIG. 4B is a diagram illustrating an example in which the illumination shape is circular. In this case, the collation shape can be made constant in collation with different directions.

図4の(c)は、広めの照明領域に加えて、矩形の照合領域を指定する複数のスポット領域(スポット光が照射された領域)を組み合わせた例を示す図である。この場合、照合領域は、複数のスポット領域を結ぶことにより特定される矩形の領域である。この場合においても、図4の(a)の例と同様に、照合形状は、例えば、複数のスポット領域を結ぶことにより特定される矩形の領域と中心が同一であり、かつ、当該矩形の領域よりも面積が10%小さい領域に設定されてもよい。   FIG. 4C is a diagram illustrating an example in which a plurality of spot areas (areas irradiated with spot light) that specify rectangular collation areas are combined in addition to a wider illumination area. In this case, the collation area is a rectangular area specified by connecting a plurality of spot areas. Also in this case, as in the example of FIG. 4A, the collation shape has the same center as the rectangular area specified by connecting a plurality of spot areas, for example, and the rectangular area. The area may be set to be 10% smaller than the area.

図4の(d)は、図4の(c)の照明領域に加えて、円形の照合領域を指定する複数のスポット領域を組み合わせた例を示す図である。この場合、照合領域は、複数のスポット領域を結ぶことにより特定される円形の領域である。このように、複数のスポット領域の配置を円形状にすることで、図4の(b)と同様の効果を得ることができる。   FIG. 4D is a diagram showing an example in which a plurality of spot areas that specify a circular collation area are combined in addition to the illumination area of FIG. In this case, the collation area is a circular area specified by connecting a plurality of spot areas. Thus, the effect similar to FIG.4 (b) can be acquired by making arrangement | positioning of several spot area | region circular.

図4の(c)、(d)で示される照合領域は、位置推定装置101ごとに決められていてもよいし、一つの位置推定装置によって変更可能であってもよい。例えば、路面の状況等に応じて照合領域の大きさや形を変えてもよい。   The collation areas shown in (c) and (d) of FIG. 4 may be determined for each position estimation apparatus 101, or may be changed by one position estimation apparatus. For example, the size and shape of the matching area may be changed according to the road surface condition.

なお、図4の(c)および(d)におけるスポット領域では、赤色などに着色したスポット光が照射される領域としてもよいし、照明領域の光とは輝度が異なるスポット光が照射される領域としてもよい。また、スポット領域に照射される光は、照明領域に照射される光と異なる波長をもつとしてもよい。つまり、スポット領域は、照明領域と区別することが可能な光であるスポット光が照射されている領域である。   Note that the spot areas in FIGS. 4C and 4D may be irradiated with spot light colored in red or the like, or may be irradiated with spot light having a luminance different from that of the illumination area. It is good. Further, the light applied to the spot area may have a wavelength different from that of the light applied to the illumination area. That is, the spot area is an area irradiated with spot light that is light that can be distinguished from the illumination area.

ステップS201では、図4の(a)〜(d)で示した照明領域が撮像された路面画像から上述のように、照合領域を決定する。   In step S201, the collation area is determined as described above from the road surface image in which the illumination areas shown in FIGS. 4A to 4D are captured.

次に、制御部14は、照明領域の形状の変形などによる影響を考慮し、ステップS201で決定した照合領域の有効性を判定する(S202)。移動体100が路面102に対して傾斜した場合、照明部11により照明された照明領域の形状(照明形状)が変形し得る。このため、ステップS202は、このような変形などによる影響を考慮するために行われる。なお、照合領域の有効性が予め担保できる場合には、ステップS202は除いてもよい。路面102に対する移動体100の傾斜は、照明形状が規定形状からずれることで判定できる。例えば、図4の(a)の照明領域の四角形状の縦横比が変化することや、図4の(b)の円形状が楕円に変化することなどで判定できる。図4の(b)や図4の(d)の円(または円に近い形状)のような回転対称パターンを含めておくと、任意方向の傾斜を検出する判定を容易にできる。   Next, the control unit 14 determines the effectiveness of the collation area determined in step S201 in consideration of the influence of the deformation of the shape of the illumination area (S202). When the moving body 100 is inclined with respect to the road surface 102, the shape of the illumination area illuminated by the illumination unit 11 (illumination shape) can be deformed. For this reason, step S202 is performed in order to consider the influence by such a deformation | transformation. Note that step S202 may be omitted if the validity of the verification area can be secured in advance. The inclination of the moving body 100 with respect to the road surface 102 can be determined by the illumination shape deviating from the prescribed shape. For example, the determination can be made by changing the rectangular aspect ratio of the illumination area in FIG. 4A or changing the circular shape in FIG. 4B to an ellipse. If a rotationally symmetric pattern such as a circle (or a shape close to a circle) in (b) of FIG. 4 or (d) of FIG. 4 is included, determination for detecting an inclination in an arbitrary direction can be facilitated.

制御部14は、照合領域が有効であると判定した場合(S202でYes)、特徴配列を抽出する(S203)。つまり、制御部14は、撮像された路面画像のうちの照明領域に、前記のような変形が生じた場合であって、予め定めた一定程度の変形に満たない場合、特徴抽出処理を継続する。よって、制御部14は、予め定めた一定程度の変形であれば、照合領域の形状を補正し、特徴抽出処理に移行してもよい。例えば、図4の(b)や図4の(d)のような円形状を含む照明の場合、楕円の短軸を基準とし、当該楕円と中心が同じであり、かつ、半径が当該短軸となる円形状を照合領域とすることが考えられる。   When it is determined that the collation area is valid (Yes in S202), the control unit 14 extracts a feature array (S203). In other words, the control unit 14 continues the feature extraction process when the above-described deformation occurs in the illumination area of the captured road surface image, and the deformation is less than a predetermined degree of deformation. . Therefore, the control part 14 may correct | amend the shape of a collation area | region and will transfer to the feature extraction process, if it is a predetermined fixed deformation | transformation. For example, in the case of illumination including a circular shape as shown in FIGS. 4B and 4D, the short axis of the ellipse is used as a reference, the center of the ellipse is the same, and the radius is the short axis. It is conceivable that a circular shape that becomes

なお、同じ位置において路面102を撮像した結果であっても照合領域のサイズ(スケール)が変わると、抽出される特徴配列は全く異なる配列となる。照明部11と路面102との距離の変動が、このような照合領域のサイズ変化を生じさせうる。本開示では、照明光を用いて照合領域のサイズを設定することでこのような変化を検出し、変化している場合には適切なサイズの照合領域に補正することができる。   Even if the road surface 102 is imaged at the same position, if the size (scale) of the collation region changes, the extracted feature array becomes a completely different array. Variations in the distance between the illumination unit 11 and the road surface 102 can cause such a change in the size of the collation area. In the present disclosure, such a change can be detected by setting the size of the collation area using illumination light, and if the change has been changed, the collation area can be corrected to an appropriate size.

一方、制御部14は、照合領域が無効であると判定した場合(S202でNo)、ステップS101に戻る。つまり、制御部14は、撮像された路面画像のうちの照明領域に、前記のような変形が生じた場合であって、予め定めた一定程度の変形を超えている場合、当該撮像画像における特徴抽出処理を終了し、新たな撮像画像による位置推定動作に移行する(つまり、ステップS101に戻る)。   On the other hand, when it determines with the collation area | region being invalid (No in S202), the control part 14 returns to step S101. That is, the control unit 14 is a case where the above-described deformation has occurred in the illumination area of the captured road surface image, and if the predetermined amount of deformation exceeds a predetermined degree, the feature of the captured image The extraction process is terminated, and the process proceeds to a position estimation operation using a new captured image (that is, the process returns to step S101).

特徴配列の抽出では、制御部14は、撮像された路面画像の照合領域から、路面102の濃淡を示す特徴配列を抽出する。ここで、濃淡とは、移動体100のサイズと同等なスケールにおける濃淡の配列などではなく、移動体100の走行等に影響しないほどのミクロスケールの濃淡の配列などを用いる。このようなスケールにおける特徴配列を撮像することは、ミクロスケールに対応する充分な解像度のカメラを用いることで可能である。抽出する特徴配列を濃淡とする場合、制御部14は、路面画像の照合領域から、一定領域ごとの平均輝度を2値表現した値を特徴配列として抽出してもよいし、多値表現した値を特徴配列としても抽出してもよい。なお、特徴配列としては、濃淡の配列の代わりに、凹凸、色(波長スペクトル特性)の配列を採用してもよい。   In the feature array extraction, the control unit 14 extracts a feature array indicating the lightness and darkness of the road surface 102 from the collation region of the captured road surface image. Here, the density is not an array of shades on a scale equivalent to the size of the moving body 100, but an array of shades on a micro scale that does not affect the traveling of the moving body 100 or the like. Capturing a feature array on such a scale is possible using a camera with sufficient resolution corresponding to the microscale. When the feature array to be extracted is shaded, the control unit 14 may extract, as a feature array, a value expressing the average luminance for each predetermined area as a feature array from the collation area of the road image, or a value expressed as a multivalue May be extracted as a feature array. As the characteristic arrangement, an arrangement of irregularities and colors (wavelength spectrum characteristics) may be adopted instead of the gray arrangement.

なお、図5は、実施の形態1に係る撮像された画像を2値化した場合に得られる濃淡特徴の特徴配列を示す図である。具体的には、図5は、照合領域を複数の画素からなる複数のブロックに分割した場合、複数のブロックのそれぞれについて、当該ブロックにおける画素値の平均値を算出し、当該ブロックにおける平均値が所定の閾値を超えているか否かで2値化することにより得られた濃淡の特徴配列の例を示す図である。   FIG. 5 is a diagram showing a feature array of light and dark features obtained when the captured image according to Embodiment 1 is binarized. Specifically, in FIG. 5, when the collation region is divided into a plurality of blocks including a plurality of pixels, an average value of pixel values in the block is calculated for each of the plurality of blocks, and the average value in the block is calculated. It is a figure which shows the example of the light-dark feature arrangement | sequence obtained by binarizing by whether it exceeds the predetermined threshold value.

制御部14は、図5で示されるような特徴配列を路面の特徴として抽出すると、ステップS104の特徴抽出処理を終了し、次のステップS105に進む。   When the control unit 14 extracts the feature array as shown in FIG. 5 as the road surface feature, the control unit 14 ends the feature extraction processing in step S104 and proceeds to the next step S105.

図2に戻り、制御部14は、取得した路面情報と特徴とを照合する照合処理により、移動体100の位置または向きを推定する(S105)。ここで、路面情報は、路面の特徴としての特徴配列に、位置を示す位置情報が対応付けられた情報である。ステップS105では、具体的には、制御部14は、ステップS203で抽出した特徴配列と、路面情報で位置情報と対応付けられている特徴配列との間の類似度を評価することで照合処理を行う。   Returning to FIG. 2, the control unit 14 estimates the position or orientation of the moving body 100 by the matching process for matching the acquired road surface information with the feature (S105). Here, the road surface information is information in which position information indicating a position is associated with a feature array as a road surface feature. In step S105, specifically, the control unit 14 performs the matching process by evaluating the similarity between the feature array extracted in step S203 and the feature array associated with the position information in the road surface information. Do.

図6は、実施の形態1に係る路面情報の一例を示す図である。図6の横軸および縦軸は、それぞれ、x軸方向における位置、および、y軸方向における位置を示す。つまり、図6に示す路面情報は、路面の濃淡の特徴配列と、位置座標x、yとが対応付けられている。白黒のパターンの最小単位は、位置座標x、yがx軸方向およびy軸方向のそれぞれにおける0から100の範囲における特徴配列の1ブロックであることを示す。この場合、制御部14は、図5の特徴配列との照合処理を位置および向きのそれぞれについて行うことで、抽出した特徴配列の路面情報における類似度を算出する。なお、類似度の算出は、特徴配列をベクトル表現して差分を評価するなど、一般的なパタンマッチングに用いられる指標を適用することで行うことができる。制御部14は、照合処理の結果、位置および向きを推定する。制御部14は、照合処理において、照合度合い(類似度)が予め定めた基準を超え、かつ、最も照合度合いの高い位置および向きを、移動体100の位置および向きとして採用する。なお、照合度合いが予め定めた基準を超えない場合や、照合度合いが近い位置が複数存在する場合は、照合処理結果の信頼性が低いと判断する。照合処理結果の信頼性が低いと判断した場合、再度位置推定を行ってもよいし、信頼度を含めた位置および向きの決定値(例えば信頼度が低いことを示す情報とともに位置座標を示す情報)を出力してもよい。   FIG. 6 is a diagram illustrating an example of road surface information according to the first embodiment. The horizontal axis and the vertical axis in FIG. 6 indicate the position in the x-axis direction and the position in the y-axis direction, respectively. That is, the road surface information shown in FIG. 6 associates the characteristic arrangement of the road surface with the position coordinates x and y. The minimum unit of the black and white pattern indicates that the position coordinates x and y are one block of the feature array in the range of 0 to 100 in each of the x-axis direction and the y-axis direction. In this case, the control unit 14 performs the matching process with the feature array in FIG. 5 for each position and orientation, thereby calculating the similarity in the road surface information of the extracted feature array. The similarity can be calculated by applying an index used for general pattern matching, such as evaluating a difference by expressing the feature array as a vector. The control unit 14 estimates the position and orientation as a result of the matching process. In the collation process, the control unit 14 employs a position and orientation in which the collation degree (similarity) exceeds a predetermined reference and has the highest collation degree as the position and orientation of the moving body 100. In addition, when the collation degree does not exceed a predetermined reference, or when there are a plurality of positions with similar collation degrees, it is determined that the reliability of the collation processing result is low. When it is determined that the reliability of the collation processing result is low, position estimation may be performed again, or position and orientation determination values including reliability (for example, information indicating position coordinates together with information indicating low reliability) ) May be output.

また、照合処理には、ロバストマッチング(M−推定、最小メジアン法など)を用いることが望ましい。路面102の特徴を用いて移動体100の位置および向きを決定する場合、路面102上に異物や破損等の存在により、完全一致しない場合が発生し得る。照合処理に用いる特徴配列の大きさが大きいほど特徴配列に含まれる情報量が多く、正確な照合が可能になる。しかし、照合に必要な処理コストが増加する。このため、必要十分な特徴配列よりも大きいサイズの特徴配列を利用する代わりに、一部に障害物等の隠蔽が含まれても正確なマッチングを行うロバストマッチングは、路面102を用いた位置推定に有効である。   In addition, it is desirable to use robust matching (M-estimation, minimum median method, etc.) for the collation processing. When the position and orientation of the moving body 100 are determined using the characteristics of the road surface 102, there may be a case where the moving body 100 does not completely match due to the presence of foreign matter or damage on the road surface 102. As the size of the feature array used for the matching process is larger, the amount of information included in the feature array is larger, and accurate matching becomes possible. However, the processing cost required for collation increases. Therefore, instead of using a feature array having a size larger than a necessary and sufficient feature array, robust matching that performs accurate matching even if some of the obstacles are concealed is used for position estimation using the road surface 102 It is effective for.

なお、広範囲の位置情報を含む路面情報を照合処理の対象とする場合、照合処理は、膨大になる。よって、照合処理の高速化のため、粗い照合後に詳細な照合を行うような階層的な照合処理を行ってもよい。例えば、制御部14は、GSNN15による精度の粗い位置推定の結果に基づき、路面情報を絞り込んで取得してもよい。この場合のステップS103の路面情報の取得処理について図7を用いて説明する。   In addition, when the road surface information including a wide range of position information is a target of the matching process, the matching process becomes enormous. Therefore, in order to speed up the matching process, a hierarchical matching process in which detailed matching is performed after rough matching may be performed. For example, the control unit 14 may narrow down and acquire road surface information based on a result of rough position estimation by the GSNN 15. The road surface information acquisition process in step S103 in this case will be described with reference to FIG.

図7は、実施の形態1に係る路面情報の取得処理の一例を示すフローチャートである。   FIG. 7 is a flowchart illustrating an example of a road surface information acquisition process according to the first embodiment.

路面情報の取得処理では、まず、GSNN15が粗い位置推定を行う(S301)。このように、照合すべき位置情報を予め限定することで、照合処理にかかる時間や照合処理に係る処理量(処理負荷)を低減させることが可能である。なお、粗い位置推定は、GSNN15により取得した位置情報を用いることに限らずに、過去に決定した位置情報の近傍の位置を精度の粗い位置として用いてもよい。また、公衆無線網や無線LAN等の基地局の位置情報や、無線通信の信号強度による位置推定の結果を用いてもよい。   In the road surface information acquisition process, first, the GSNN 15 performs rough position estimation (S301). In this way, by limiting the position information to be collated in advance, it is possible to reduce the time required for the collation processing and the processing amount (processing load) related to the collation processing. Note that the rough position estimation is not limited to using the position information acquired by the GSNN 15, and a position near the position information determined in the past may be used as a position with a high accuracy. Further, position information of a base station such as a public wireless network or a wireless LAN, or a position estimation result based on signal strength of wireless communication may be used.

次に、制御部14は、精度の粗い位置を含む地域の路面情報を取得する(S302)。具体的には、制御部14は、粗い位置推定を行った結果を用いて、通信部17を通じて精度の粗い位置の近傍の位置情報を含む路面情報を外部データベースから取得する。   Next, the control part 14 acquires the road surface information of the area | region containing a rough position (S302). Specifically, the control unit 14 acquires road surface information including position information in the vicinity of the rough position through the communication unit 17 from the external database using the result of the rough position estimation.

このように、精度の粗い位置推定を行ってから、位置を含む地域の路面情報を取得することにより、メモリ13に必要な容量を低減させることができる。また、照合処理の対象となる路面情報のデータサイズを小さくすることができる。したがって、照合処理にかかる処理負荷を低減することができる。   In this way, the capacity required for the memory 13 can be reduced by obtaining the road surface information of the area including the position after performing the rough position estimation. In addition, the data size of road surface information to be collated can be reduced. Therefore, it is possible to reduce the processing load for the collation process.

制御部14は、速度計16によって測定された移動体100の移動速度に応じて、照合処理を行ってもよい。例えば、制御部14は、測定された移動速度が予め定めた速度に満たない場合に行うように限定してもよい。制御部14は、測定された移動速度が速いほど、撮像部12のシャッタースピードを上げて撮像してもよい。制御部14は、測定された移動速度が所定の速度よりも速い場合、撮像部12のシャッタースピードを上げて撮像してもよい。制御部14は、測定された移動速度が所定の速度よりも速い場合、撮像された画像を先鋭化するための画像処理を行ってもよい。これは、移動体100の速度が速い場合、動きぶれによる照合誤りが生じやすくなるためである。これらのように、移動体100の速度を参照することで、不確実な照合を回避することができる。   The control unit 14 may perform collation processing according to the moving speed of the moving body 100 measured by the speedometer 16. For example, the control unit 14 may be limited to perform when the measured moving speed is less than a predetermined speed. The control unit 14 may increase the shutter speed of the imaging unit 12 and capture an image as the measured moving speed is faster. When the measured moving speed is faster than a predetermined speed, the control unit 14 may increase the shutter speed of the imaging unit 12 and perform imaging. The control unit 14 may perform image processing for sharpening a captured image when the measured moving speed is faster than a predetermined speed. This is because when the speed of the moving body 100 is high, a verification error due to motion blur is likely to occur. As described above, by referring to the speed of the moving body 100, uncertain matching can be avoided.

[1−3.効果等]
以上のように、本実施の形態において、位置推定装置101は、路面上における移動体100の位置または向きを推定する位置推定装置であって、照明部11と、撮像部12と、制御部14とを備える。照明部11は、移動体100に設けられ、路面102を照射する。撮像部12は、移動体100に設けられ、照明部11の光軸と非平行な光軸を有し、照明部11により照明された路面102を撮像する。制御部14は、位置および方角と路面の特徴とが予め対応付けられた路面情報を取得する。また、制御部14は、撮像された路面画像から照合領域を決定し、照合領域の有効性を判定し、有効と判定された照合領域の路面画像から路面102の特徴を抽出し、抽出した路面102の特徴と、取得した路面情報とを照合する照合処理により移動体100の位置および向きを推定する。
[1-3. Effect]
As described above, in the present embodiment, the position estimation device 101 is a position estimation device that estimates the position or orientation of the moving body 100 on the road surface, and includes the illumination unit 11, the imaging unit 12, and the control unit 14. With. The illumination unit 11 is provided on the moving body 100 and irradiates the road surface 102. The imaging unit 12 is provided on the moving body 100, has an optical axis that is not parallel to the optical axis of the illumination unit 11, and images the road surface 102 illuminated by the illumination unit 11. The control unit 14 acquires road surface information in which the position and direction are associated with the road surface characteristics in advance. Further, the control unit 14 determines a collation area from the captured road surface image, determines the validity of the collation area, extracts the characteristics of the road surface 102 from the road image of the collation area determined to be valid, and extracts the extracted road surface The position and orientation of the moving body 100 are estimated by a collation process that collates the characteristics 102 and the acquired road surface information.

これによれば、既にランダムな特徴を微小な領域内に含む路面102の特徴を用いて、位置または方角と予め対応付けられた路面情報と照合することで、位置または向き(移動体100が向いている方角)を推定している。したがって、人工的なマーカーなどを配置すること無く、移動体100の精密な位置(例えばmm単位の精度の位置)を推定することができる。また、路面102を撮像して位置を推定するため、撮像部12の視野を移動体周辺の障害物や構造物等で遮蔽されることがなく、安定して位置推定を継続することが可能である。   According to this, by using the characteristics of the road surface 102 that already include a random feature in a minute area and collating with the road surface information previously associated with the position or direction, the position or direction (the moving body 100 is directed). Direction). Therefore, it is possible to estimate a precise position (for example, a position with accuracy in mm) of the moving body 100 without arranging an artificial marker or the like. Further, since the position is estimated by imaging the road surface 102, the field of view of the imaging unit 12 is not shielded by obstacles or structures around the moving body, and the position estimation can be continued stably. is there.

また、制御部14は、有効と判定した照合領域に対してのみ照合処理を行うため、路面の変形や傾斜等に起因して照合処理を正確に実行できないことを防ぐことができ、より正確な位置推定が可能となる。   In addition, since the control unit 14 performs the matching process only on the matching area determined to be valid, it can prevent the matching process from being accurately executed due to deformation or inclination of the road surface. Position estimation is possible.

また、路面情報は、位置として絶対位置を示す情報と、路面102の特徴とが予め対応付けられた情報である。このため、移動体100が位置する路面上の絶対位置を容易に推定できる。   The road surface information is information in which information indicating an absolute position as a position is associated with the characteristics of the road surface 102 in advance. For this reason, the absolute position on the road surface where the mobile body 100 is located can be easily estimated.

また、照明部11は、平行光を用いて照明する。これによれば、照明部11は平行光を照射することにより路面102を照明しているため、照明部11と路面との距離が変化しても照明している路面102の領域の大きさが変わることを低減できる。これにより、撮像部12により撮像された路面画像において、照明部11により照明されている路面102の領域(照明領域)から照合領域を特定するだけで、路面102の大きさをより正確に推定できる。よって、移動体100の位置をより正確に推定することができる。   The illumination unit 11 illuminates using parallel light. According to this, since the illumination unit 11 illuminates the road surface 102 by irradiating parallel light, the size of the area of the road surface 102 that is illuminated is large even if the distance between the illumination unit 11 and the road surface changes. Change can be reduced. Thereby, in the road surface image imaged by the imaging unit 12, the size of the road surface 102 can be estimated more accurately only by specifying the collation area from the area (illumination area) of the road surface 102 illuminated by the illumination unit 11. . Therefore, the position of the mobile body 100 can be estimated more accurately.

また、路面情報は、路面102の特徴として、路面102の濃淡の2次元配置を示す情報が、位置と対応付けられた情報である。制御部14は、路面画像のうちで、照明部11に照明された領域内から路面102の濃淡の2次元配置を特定し、特定した2次元配置に基づいて照合処理を行う。   The road surface information is information in which information indicating the two-dimensional arrangement of the light and shade of the road surface 102 is associated with the position as a feature of the road surface 102. The control unit 14 specifies the two-dimensional arrangement of the light and shade of the road surface 102 from within the area illuminated by the illumination unit 11 in the road surface image, and performs a matching process based on the specified two-dimensional arrangement.

これによれば、路面102の特徴が路面102の濃淡の2次元配置であるため、同じ位置であっても撮像された画像の向きによって画像が異なる。このため、移動体の位置を推定するとともに、移動体の向き(移動体が向いている方角)を推定することが容易にできる。   According to this, since the feature of the road surface 102 is a two-dimensional arrangement of shades of the road surface 102, the image differs depending on the orientation of the captured image even at the same position. For this reason, while estimating the position of a moving body, it can carry out easily estimating the direction (direction which the moving body is facing) of a moving body.

また、路面情報は、路面102の濃淡が撮像された路面画像を2値化することにより得られた2値化画像が、路面102の特徴として位置と対応付けられた情報である。制御部14は、路面102の濃淡が撮像された路面画像を2値化することにより得られた2値化画像と、路面情報とを照合する処理を照合処理として行う。   The road surface information is information in which a binarized image obtained by binarizing a road surface image in which the density of the road surface 102 is captured is associated with a position as a feature of the road surface 102. The control unit 14 performs a process of collating a binarized image obtained by binarizing a road surface image obtained by binarizing the road surface 102 with road surface information as a collation process.

このため、路面102の濃淡による特徴を簡略化することができる。これにより、路面情報のデータサイズを小さくすることができ、照合処理にかかる処理負荷を低減できる。また、メモリ13に記憶させる路面情報のデータサイズを小さくできるため、メモリ13の記憶容量を小さくすることができる。   For this reason, the feature by the shading of the road surface 102 can be simplified. Thereby, the data size of road surface information can be made small and the processing load concerning collation processing can be reduced. In addition, since the data size of the road surface information stored in the memory 13 can be reduced, the storage capacity of the memory 13 can be reduced.

また、位置推定装置101は、制御部14が推定する移動体100の位置よりも精度の粗い位置推定を行うGNSS15に相当する位置推定部をさらに備えてよい。制御部14は、位置推定部による位置推定の結果に基づき、路面情報を絞り込んで取得してよい。このため、メモリ13に必要な容量を低減させることができる。また、照合処理の対象となる路面情報のデータサイズを小さくすることができる。したがって、照合処理にかかる処理負荷を低減することができる。   Further, the position estimation apparatus 101 may further include a position estimation unit corresponding to the GNSS 15 that performs position estimation with coarser accuracy than the position of the moving body 100 estimated by the control unit 14. The control unit 14 may narrow down and acquire road surface information based on the result of position estimation by the position estimation unit. For this reason, the capacity required for the memory 13 can be reduced. In addition, the data size of road surface information to be collated can be reduced. Therefore, it is possible to reduce the processing load for the collation process.

また、制御部14は、移動体100の移動速度に応じて照合処理を行ってよい。このため、不確実な照合を回避することができる。   In addition, the control unit 14 may perform a matching process according to the moving speed of the moving body 100. For this reason, uncertain collation can be avoided.

(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
(Other embodiments)
As described above, the first embodiment has been described as an example of the technique disclosed in the present application. However, the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, replacements, additions, omissions, and the like are appropriately performed. Moreover, it is also possible to combine each component demonstrated in the said embodiment and it can also be set as a new embodiment.

そこで、以下では、他の実施の形態を例示する。   Thus, other embodiments will be exemplified below.

例えば、上記実施の形態では、路面102の特徴として路面102の濃淡を抽出しているが、これに限らずに、路面102の凹凸を抽出してもよい。照明部11を撮像部12の光軸に対して傾斜させることで路面102の凹凸に対応した陰影が生じるため、生じた陰影を多値表現した画像を路面102の特徴として採用してもよい。この場合、路面102の特徴は、例えば凸部は明るく、凹部は暗くなるため、輝度を2値化することにより、図5で示したような2値化画像を濃淡の特徴ではなく凹凸の特徴で得てもよい。   For example, in the above-described embodiment, the density of the road surface 102 is extracted as a feature of the road surface 102. However, the present invention is not limited to this, and the unevenness of the road surface 102 may be extracted. Since the illumination unit 11 is tilted with respect to the optical axis of the imaging unit 12, a shadow corresponding to the unevenness of the road surface 102 is generated. Therefore, an image in which the generated shadow is expressed in multiple values may be adopted as a feature of the road surface 102. In this case, the road surface 102 is characterized in that, for example, the convex portion is bright and the concave portion is dark, so that by binarizing the brightness, the binarized image as shown in FIG. It may be obtained at.

このように路面102の凹凸を抽出する場合、照明部11により照射される光は、照明領域において一様な明るさで照射される光ではなく、予め定められた模様を形成する光であるパターン光を用いてもよい。パターン光は、例えば、既知の縞のパターン光(図8A参照)やドット配列、格子のパターン光(図8B参照)などである。要するに、照明部11は、パターン光を照射することができればよい。このようなパターン光を照明部11が照射することにより、後述するような路面102の凹凸特徴を容易に検出できる。   Thus, when extracting the unevenness | corrugation of the road surface 102, the light irradiated by the illumination part 11 is not the light irradiated with uniform brightness in an illumination area, but the pattern which is light which forms a predetermined pattern Light may be used. The pattern light is, for example, a known fringe pattern light (see FIG. 8A), a dot arrangement, a lattice pattern light (see FIG. 8B), or the like. In short, the illumination part 11 should just irradiate pattern light. When the illumination unit 11 irradiates such pattern light, the uneven feature of the road surface 102 as described later can be easily detected.

図9は、他の実施の形態に係る路面の凹凸を抽出する方法の一例を説明するための図である。図10は、他の実施の形態に係る路面の凹凸を抽出する方法の他の一例を説明するための図である。具体的には、図9および図10は、縞のパターン光により路面の凹凸の特徴を抽出する方法を説明するための図である。   FIG. 9 is a diagram for explaining an example of a method for extracting road surface unevenness according to another embodiment. FIG. 10 is a diagram for explaining another example of a method of extracting road surface unevenness according to another embodiment. Specifically, FIG. 9 and FIG. 10 are diagrams for explaining a method of extracting features of road surface unevenness by using stripe pattern light.

図8Aに示したような、縞のパターン光を斜め方向から路面に照射すると、図9および図10に示すように、縞のパターン光の明暗のエッジの部分を波線L1として抽出することができる。つまり、図9、図10は、縞のパターン光の複数本の明暗のエッジの部分のうちの1本を抽出した例である。   When the stripe pattern light as shown in FIG. 8A is irradiated on the road surface from an oblique direction, the bright and dark edge portions of the stripe pattern light can be extracted as a wavy line L1 as shown in FIGS. . That is, FIGS. 9 and 10 are examples in which one of a plurality of bright and dark edge portions of the stripe pattern light is extracted.

図9は、凹凸の無い路面を撮像した明暗のエッジの部分の直線L2に対しX方向のいずれにずれているかで、凹凸を判定する例である。つまり、図9に示すように、波線L1をY軸方向に複数の領域(例えば上述のブロック単位の領域)に分割する。このとき、複数の領域のそれぞれについて、当該領域では波線L1が直線L2よりもX軸方向プラス側に存在する画素が多ければ凸であることを示す「1」とし、X軸方向マイナス側に存在する画素が多ければ凹であることを示す「0」としてもよい。   FIG. 9 shows an example in which the unevenness is determined based on which of the straight lines L2 of the bright and dark edge portions obtained by imaging the road surface without the unevenness in the X direction. That is, as shown in FIG. 9, the wavy line L1 is divided into a plurality of regions (for example, the above-mentioned block unit regions) in the Y-axis direction. At this time, for each of the plurality of regions, “1” indicating that the wavy line L1 is convex in the X-axis direction plus side of the straight line L2 in the region is “1”, and exists on the X-axis direction minus side. If there are many pixels to perform, it may be “0” indicating that it is concave.

また、図10に示すように、波線L1をY軸方向に複数の領域(例えば上述のブロック単位の領域)に分割する。このとき、複数の領域のそれぞれについて、当該領域で上に凸の形状である画素が下に凸の形状である画素よりも多ければ凸であることを示す「1」とし、当該領域で下に凸の形状である画素が上に凸の形状である画素よりも多ければ凹であることを示す「0」としてもよい。   Also, as shown in FIG. 10, the wavy line L1 is divided into a plurality of regions (for example, the above-mentioned block unit regions) in the Y-axis direction. At this time, for each of the plurality of regions, “1” indicating that the pixel having a convex shape upward in the region is more convex than the pixel having a convex shape downward is set to “1”. If the number of pixels having a convex shape is larger than the number of pixels having a convex shape upward, “0” indicating that the pixel is concave may be used.

上記の処理を縞のパターン光の複数本の明暗のエッジの部分のそれぞれについて行えば、X軸方向における凹凸の値を算出することができ、凹凸特徴の2次元配置を得ることができる。   If the above processing is performed for each of the plurality of bright and dark edge portions of the stripe pattern light, the unevenness value in the X-axis direction can be calculated, and a two-dimensional arrangement of unevenness features can be obtained.

なお、この場合の明暗のエッジの部分は、縞のパターン光のうちの上から明暗のエッジであってもよいし、上から暗明のエッジであってもよい。   In this case, the bright / dark edge portion may be a bright / dark edge from the top of the stripe pattern light, or may be a dark / light edge from above.

また、凹凸の検出にステレオカメラやレーザレンジファインダを用いてもよい。   Further, a stereo camera or a laser range finder may be used for detecting the unevenness.

このような凹凸の特徴を路面102の特徴として採用する場合、路面102の凹凸度合いを数値表現してもよい。   When such an uneven feature is adopted as the feature of the road surface 102, the degree of unevenness of the road surface 102 may be expressed numerically.

凹凸特徴を用いると、降雨や汚れによる路面の局所的な輝度分布の変化に影響を受けにくい特徴検出が可能になる。   When the uneven feature is used, it is possible to detect a feature that is not easily affected by a change in local luminance distribution on the road surface due to rain or dirt.

また、濃淡や凹凸以外に色の特徴を路面の特徴としてもよいし、非可視光(赤外光など)を用いて撮像された画像から路面の特徴を得てもよい。色を用いることで、情報量が増し、判別性能を高めることが可能である。また、非可視光を用いることで照明部から照射される光を人の目に付きにくくすることができる。   In addition to shading and unevenness, color features may be used as road surface features, or road surface features may be obtained from images captured using invisible light (such as infrared light). By using colors, it is possible to increase the amount of information and improve the discrimination performance. In addition, by using invisible light, it is possible to make the light emitted from the illumination unit less visible to the human eye.

また、路面102の特徴には、SIFT(Scale Invariant Feature Transform)、FAST(Features from Accelerated Segment Test)、SURF(Speed−Up Robust Features)特徴量等の配列を用いてもよい。   Further, as the characteristics of the road surface 102, an array such as SIFT (Scale Invariant Feature Transform), FAST (Features From Accelerated Segment Test), or SURF (Speed-Up Robust Features) may be used.

また、特徴量としては、上記のように濃淡や凹凸、色などの値そのものではなく、空間的な変化量(微分値)を用いてもよい。例えば横方向の微分であれば、微分値が増せば1、微分値が同じであれば0、微分値が小さくなれば−1のように離散的な微分値表現を用いて、環境光の影響を受けにくくすることもできる。   Further, as the feature amount, a spatial change amount (differential value) may be used instead of values such as shading, unevenness, and color as described above. For example, in the case of lateral differentiation, the effect of ambient light is expressed using a discrete differential value expression such as 1 if the differential value increases, 0 if the differential value is the same, and -1 if the differential value is small. It can be made difficult to receive.

上記実施の形態では、路面102上を移動する移動体が路面を撮像して位置を推定する例を説明した。しかし、例えば、建物やトンネルやダムなどの壁面に沿って移動しながら、壁面を撮像し、壁面を撮像した結果を用いて位置推定してもよい。ここで、路面は壁面も含む。   In the above embodiment, an example has been described in which a moving body moving on the road surface 102 images the road surface and estimates the position. However, for example, a wall surface may be imaged while moving along a wall surface of a building, a tunnel, a dam, or the like, and the position may be estimated using a result of imaging the wall surface. Here, the road surface includes a wall surface.

上記実施の形態では、位置推定装置101の照明部11、撮像部12および通信部17以外の構成は、クラウド上にあってもよい。撮像部12により撮像された路面画像が通信部17を通じてクラウド上に送信され、クラウド上で位置推定の処理を行ってもよい。   In the said embodiment, structures other than the illumination part 11, the imaging part 12, and the communication part 17 of the position estimation apparatus 101 may exist on a cloud. The road surface image imaged by the imaging unit 12 may be transmitted to the cloud through the communication unit 17, and the position estimation process may be performed on the cloud.

上記実施の形態では、照明部11または撮像部12の少なくとも一方に偏光フィルタを装着することで、路面102の鏡面反射成分を低減させてもよい。これにより、路面102の濃淡特徴のコントラストを向上でき、位置推定の誤差を低減させることができる。   In the above embodiment, the specular reflection component of the road surface 102 may be reduced by attaching a polarizing filter to at least one of the illumination unit 11 or the imaging unit 12. Thereby, the contrast of the shading feature of the road surface 102 can be improved, and the error of position estimation can be reduced.

上記実施の形態では、高速な照合を行うために、精度の粗い位置推定を行ってから、粗い位置推定の結果の位置を含む地域に絞り込んで路面情報を取得し、取得した路面情報を用いて照合処理を行うことで照合処理を高速化しているが、これに限らない。例えば、予め高速な照合ができるようにインデックスやハッシュテーブルを構築しておいてもよい。   In the above-described embodiment, in order to perform high-speed collation, after performing rough position estimation, the road surface information is acquired by narrowing down to the area including the position of the result of rough position estimation, and the acquired road surface information is used. Although collation processing is speeded up by performing collation processing, it is not restricted to this. For example, an index or a hash table may be constructed in advance so that high-speed collation can be performed.

また、上記の実施の形態では、制御部14は、撮像された路面画像から照合領域を決定し(図3のS201)、照合領域の形状からその有効性を判定したが(同S202)、これに限定されない。これに代えて、制御部14は、照合領域の路面画像から路面102の特徴を抽出した結果(例えば、図3のS203で得られる特徴配列)に基づいて、照合領域の有効性を判断してもよい。例えば、制御部14は、本来得られるべき凹凸の特徴量が一定量以上得られないことや、地図との照合で十分な一致が見られないなどの基準で有効性を判断することができる。これにより、制御部14は、有効と判定した照合領域に対してのみ照合処理を行うため、路面の変形や傾斜等に起因して照合処理を正確に実行できないことを防ぐことができ、より正確な位置推定が可能となる。   In the above embodiment, the control unit 14 determines a matching area from the captured road surface image (S201 in FIG. 3), and determines its effectiveness from the shape of the matching area (S202). It is not limited to. Instead, the control unit 14 determines the effectiveness of the matching area based on the result of extracting the characteristics of the road surface 102 from the road surface image of the matching area (for example, the feature array obtained in S203 in FIG. 3). Also good. For example, the control unit 14 can determine the effectiveness on the basis that the feature amount of the unevenness that should be originally obtained cannot be obtained above a certain amount, or that the matching with the map is not sufficient. Thereby, since the control unit 14 performs the matching process only on the matching area determined to be valid, it is possible to prevent the matching process from being accurately performed due to deformation or inclination of the road surface, and more accurately. Position estimation is possible.

本開示は、位置推定方法として実現することもできる。   The present disclosure can also be realized as a position estimation method.

なお、本開示に係る位置推定装置101を構成する各構成要素のうちの制御部14は、CPU(Central Processing Unit)、RAM(Random Acccess Memory)、ROM(Read Only Memory)通信インターフェース、I/Oポート、ハードディスク、ディスプレイなどを備えるコンピュータ上で実行されるプログラムなどのソフトウェアで実現されてもよく、電子回路などのハードウェアで実現されてもよい。   It should be noted that the control unit 14 among the components constituting the position estimation apparatus 101 according to the present disclosure includes a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory) communication interface, and an I / O. It may be realized by software such as a program executed on a computer including a port, a hard disk, a display, or the like, or may be realized by hardware such as an electronic circuit.

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。   As described above, the embodiments have been described as examples of the technology in the present disclosure. For this purpose, the accompanying drawings and detailed description are provided.

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。   Accordingly, among the components described in the accompanying drawings and the detailed description, not only the components essential for solving the problem, but also the components not essential for solving the problem in order to illustrate the above technique. May also be included. Therefore, it should not be immediately recognized that these non-essential components are essential as those non-essential components are described in the accompanying drawings and detailed description.

上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。   Since the above-described embodiment is for illustrating the technique in the present disclosure, various modifications, replacements, additions, omissions, and the like can be made within the scope of the claims or an equivalent scope thereof.

本開示は、人工的なマーカー等を配置することなく、移動体の精密な位置を推定することができる位置推定装置などに適用可能である。具体的には、本開示は、移動型ロボット、車両、壁面検査機器などに適用可能である。   The present disclosure can be applied to a position estimation device that can estimate a precise position of a moving object without arranging an artificial marker or the like. Specifically, the present disclosure can be applied to a mobile robot, a vehicle, a wall surface inspection device, and the like.

11 照明部
12 撮像部
13 メモリ
14 制御部
15 GNSS(Global Navigation Satellite System)
16 速度計
17 通信部
100 移動体
101 位置推定装置
102 路面
DESCRIPTION OF SYMBOLS 11 Illumination part 12 Image pick-up part 13 Memory 14 Control part 15 GNSS (Global Navigation Satellite System)
16 speedometer 17 communication unit 100 moving object 101 position estimation device 102 road surface

Claims (13)

路面上における移動体の位置を推定する位置推定装置であって、
前記移動体に設けられ、前記路面を照明する照明部と、
前記移動体に設けられ、前記照明部の光軸と非平行な光軸を有し、前記照明部により照明された前記路面を撮像する撮像部と、
位置と対応する路面の特徴とを含む路面情報を取得する制御部と、を備え、
前記制御部は、
撮像された路面画像から照合領域を決定し、
前記照合領域における前記路面画像から路面の特徴を抽出し、
前記抽出される路面の特徴と前記路面情報とを照合する照合処理により前記移動体の位置を推定し、
前記照合領域の有効性を判定し、
前記照合領域が有効と判定した場合に前記照合処理を行う、
位置推定装置。
A position estimation device for estimating the position of a moving object on a road surface,
An illumination unit that is provided on the moving body and illuminates the road surface;
An imaging unit that is provided on the moving body, has an optical axis that is non-parallel to the optical axis of the illumination unit, and that images the road surface illuminated by the illumination unit;
A controller that acquires road surface information including the position and the characteristics of the corresponding road surface,
The controller is
Determine the verification area from the captured road surface image,
Extracting road surface features from the road surface image in the verification region;
Estimating the position of the moving body by a collation process for collating the extracted road surface characteristics with the road surface information,
Determine the validity of the verification region;
Performing the matching process when it is determined that the matching region is valid,
Position estimation device.
前記照明部は、平行光を用いて照明する、
請求項1に記載の位置推定装置。
The illumination unit illuminates using parallel light,
The position estimation apparatus according to claim 1.
前記路面情報は、前記位置として絶対位置を示す情報を含む、
請求項1に記載の位置推定装置。
The road surface information includes information indicating an absolute position as the position.
The position estimation apparatus according to claim 1.
前記路面情報はさらに、前記位置での方角を示す情報を含み、
前記制御部は、前記照合処理により前記移動体の位置および向きを推定する、
請求項1に記載の位置推定装置。
The road surface information further includes information indicating a direction at the position,
The control unit estimates the position and orientation of the moving body by the verification process.
The position estimation apparatus according to claim 1.
前記照明部は、予め定められた模様を形成する光であるパターン光を用いて前記路面を照明する
請求項1に記載の位置推定装置。
The position estimation apparatus according to claim 1, wherein the illumination unit illuminates the road surface using pattern light, which is light that forms a predetermined pattern.
前記パターン光は、縞のパターン光または格子のパターン光である
請求項5に記載の位置推定装置。
The position estimation device according to claim 5, wherein the pattern light is a stripe pattern light or a lattice pattern light.
前記路面情報の前記対応する路面の特徴は、路面の濃淡または凹凸の2次元配置を示す情報を含み、
前記制御部は、前記抽出される路面の特徴として、前記路面画像のうちで前記照明部に照明された領域内から路面の濃淡または凹凸の2次元配置を特定し、その特定した2次元配置に基づいて前記照合処理を行う
請求項1に記載の位置推定装置。
The characteristics of the corresponding road surface of the road surface information include information indicating a two-dimensional arrangement of road surface shading or unevenness,
The control unit specifies a two-dimensional arrangement of shading or unevenness on the road surface from within the area illuminated by the illumination unit in the road image as a feature of the extracted road surface, and uses the specified two-dimensional arrangement. The position estimation apparatus according to claim 1, wherein the matching process is performed based on the position matching process.
前記路面情報の前記対応する路面の特徴は、路面の濃淡または凹凸が撮像された路面画像を2値化することにより得られた2値化画像を含み、
前記制御部は、前記抽出される路面の特徴として、前記路面の濃淡または凹凸が撮像された前記路面画像を2値化することにより得られた2値化画像を生成し、その生成した2値化画像と前記路面情報とを照合する処理を前記照合処理として行う
請求項1に記載の位置推定装置。
The feature of the corresponding road surface of the road surface information includes a binarized image obtained by binarizing a road surface image obtained by imaging the shading or unevenness of the road surface,
The control unit generates a binarized image obtained by binarizing the road surface image obtained by imaging the lightness or unevenness of the road surface as a feature of the extracted road surface, and the generated binary The position estimation apparatus according to claim 1, wherein a process of collating the digitized image with the road surface information is performed as the collation process.
前記制御部が推定する前記移動体の前記位置よりも精度の粗い位置推定を行う位置推定部をさらに備え、
前記制御部は、前記位置推定部による前記位置推定の結果に基づき、前記路面情報を絞り込んで取得する
請求項1に記載の位置推定装置。
A position estimator that performs coarse position estimation with accuracy greater than the position of the moving body estimated by the controller;
The position estimation device according to claim 1, wherein the control unit narrows down and acquires the road surface information based on a result of the position estimation by the position estimation unit.
前記制御部は、前記移動体の移動速度に応じて前記照合処理を行う
請求項1に記載の位置推定装置。
The position estimation apparatus according to claim 1, wherein the control unit performs the collation process according to a moving speed of the moving body.
前記制御部は、前記照明部により前記路面上に形成される照明形状に基づき前記照合領域の有効性を判定する、
請求項1に記載の位置推定装置。
The control unit determines the effectiveness of the verification region based on the illumination shape formed on the road surface by the illumination unit.
The position estimation apparatus according to claim 1.
前記制御部は、前記抽出される路面の特徴に基づき前記照合領域の有効性を判定する、
請求項1に記載の位置推定装置。
The control unit determines the effectiveness of the matching region based on the extracted characteristics of the road surface;
The position estimation apparatus according to claim 1.
路面上における移動体の位置を推定する位置推定方法であって、
前記移動体に設けられる照明部を用いて前記路面を照明し、
前記移動体に設けられ、前記照明部の光軸と非平行な光軸を有する撮像部を用いて、前記照明部により照明された前記路面を撮像し、
位置と対応する路面の特徴とを含む路面情報を取得し、
撮像された路面画像から照合領域を決定し、
前記照合領域における前記路面画像から路面の特徴を抽出し、
前記抽出される路面の特徴と前記路面情報とを照合する照合処理により移動体の位置を推定し、
前記移動体の位置の推定においては、前記照合領域の有効性を判定し、前記照合領域を有効と判定した場合に前記照合処理を行う、
位置推定方法。
A position estimation method for estimating the position of a moving object on a road surface,
Illuminating the road surface using an illumination unit provided on the moving body,
Using the imaging unit provided on the moving body and having an optical axis that is non-parallel to the optical axis of the illumination unit, the road surface illuminated by the illumination unit is imaged,
Obtain road surface information including the position and corresponding road surface features,
Determine the verification area from the captured road surface image,
Extracting road surface features from the road surface image in the verification region;
Estimating the position of the moving body by collation processing for collating the extracted road surface characteristics with the road surface information,
In the estimation of the position of the moving body, the effectiveness of the matching area is determined, and the matching process is performed when the matching area is determined to be valid.
Position estimation method.
JP2015205612A 2015-03-04 2015-10-19 Position estimation device and position estimation method Active JP6667065B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/046,487 US20160259034A1 (en) 2015-03-04 2016-02-18 Position estimation device and position estimation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015043010 2015-03-04
JP2015043010 2015-03-04

Publications (3)

Publication Number Publication Date
JP2016166853A true JP2016166853A (en) 2016-09-15
JP2016166853A5 JP2016166853A5 (en) 2018-11-29
JP6667065B2 JP6667065B2 (en) 2020-03-18

Family

ID=56897527

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015205612A Active JP6667065B2 (en) 2015-03-04 2015-10-19 Position estimation device and position estimation method

Country Status (1)

Country Link
JP (1) JP6667065B2 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018117022A1 (en) * 2016-12-20 2018-06-28 株式会社資生堂 Application control device, application device, application control method, and recording medium
WO2018225282A1 (en) * 2017-06-06 2018-12-13 三菱電機株式会社 Observation device and vehicle control system
JP2018205073A (en) * 2017-06-01 2018-12-27 株式会社豊田中央研究所 Movement distance measuring device
WO2019054438A1 (en) * 2017-09-15 2019-03-21 ヤマハ発動機株式会社 Established-route-tracing vehicle
JP2019185465A (en) * 2018-04-12 2019-10-24 富士ゼロックス株式会社 Mobile device and program
JP2019185378A (en) * 2018-04-10 2019-10-24 富士ゼロックス株式会社 Mobile device and program
JP2019200351A (en) * 2018-05-17 2019-11-21 三菱重工業株式会社 Map information generation device, map information display system, and map information display method
CN113841068A (en) * 2019-05-16 2021-12-24 三菱电机株式会社 Information processing apparatus, information processing method, and information processing program
WO2022191015A1 (en) * 2021-03-12 2022-09-15 株式会社豊田自動織機 Autonomous traveling vehicle
WO2022196709A1 (en) * 2021-03-19 2022-09-22 株式会社豊田自動織機 Autonomous vehicle
WO2023058128A1 (en) * 2021-10-05 2023-04-13 日本電気株式会社 Position estimation device, moving body system, position estimation method, and non-transitory computer-readable medium
EP4249270A1 (en) 2022-03-23 2023-09-27 Ricoh Company, Ltd. Liquid application apparatus, liquid application method, and carrier medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007278951A (en) * 2006-04-10 2007-10-25 Alpine Electronics Inc Car body behavior measuring device
JP2010102585A (en) * 2008-10-24 2010-05-06 Shimizu Corp Mobile object position detection system
JP2012242263A (en) * 2011-05-20 2012-12-10 Mazda Motor Corp Mobile body position detection device
US20140005932A1 (en) * 2012-06-29 2014-01-02 Southwest Research Institute Location And Motion Estimation Using Ground Imaging Sensor
WO2014170989A1 (en) * 2013-04-18 2014-10-23 西日本高速道路エンジニアリング四国株式会社 Device for inspecting shape of road travel surface

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007278951A (en) * 2006-04-10 2007-10-25 Alpine Electronics Inc Car body behavior measuring device
JP2010102585A (en) * 2008-10-24 2010-05-06 Shimizu Corp Mobile object position detection system
JP2012242263A (en) * 2011-05-20 2012-12-10 Mazda Motor Corp Mobile body position detection device
US20140005932A1 (en) * 2012-06-29 2014-01-02 Southwest Research Institute Location And Motion Estimation Using Ground Imaging Sensor
WO2014170989A1 (en) * 2013-04-18 2014-10-23 西日本高速道路エンジニアリング四国株式会社 Device for inspecting shape of road travel surface

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018117022A1 (en) * 2016-12-20 2018-06-28 株式会社資生堂 Application control device, application device, application control method, and recording medium
KR102555594B1 (en) 2016-12-20 2023-07-14 가부시키가이샤 시세이도 Dispensing control device, dispensing device, dispensing control method and recording medium
KR20190099228A (en) * 2016-12-20 2019-08-26 가부시키가이샤 시세이도 Coating control device, coating device, coating control method and recording medium
CN110191661A (en) * 2016-12-20 2019-08-30 株式会社资生堂 Coating controller, apparatus for coating, coating control method and recording medium
CN110191661B (en) * 2016-12-20 2022-07-05 株式会社资生堂 Coating control device, coating control method, and recording medium
JPWO2018117022A1 (en) * 2016-12-20 2019-10-24 株式会社 資生堂 Coating control device, coating device, coating control method, and recording medium
US10799009B2 (en) 2016-12-20 2020-10-13 Shiseido Company, Ltd. Application control device, application device, application control method and storage medium
JP2018205073A (en) * 2017-06-01 2018-12-27 株式会社豊田中央研究所 Movement distance measuring device
WO2018225282A1 (en) * 2017-06-06 2018-12-13 三菱電機株式会社 Observation device and vehicle control system
JP2018206094A (en) * 2017-06-06 2018-12-27 三菱電機株式会社 Observation device and vehicle control system
JPWO2019054438A1 (en) * 2017-09-15 2019-11-14 ヤマハ発動機株式会社 Default route trace vehicle
WO2019054438A1 (en) * 2017-09-15 2019-03-21 ヤマハ発動機株式会社 Established-route-tracing vehicle
JP2019185378A (en) * 2018-04-10 2019-10-24 富士ゼロックス株式会社 Mobile device and program
JP7131042B2 (en) 2018-04-10 2022-09-06 富士フイルムビジネスイノベーション株式会社 mobile device and program
JP2019185465A (en) * 2018-04-12 2019-10-24 富士ゼロックス株式会社 Mobile device and program
JP2019200351A (en) * 2018-05-17 2019-11-21 三菱重工業株式会社 Map information generation device, map information display system, and map information display method
JP7109253B2 (en) 2018-05-17 2022-07-29 三菱重工業株式会社 MAP INFORMATION CREATED DEVICE, MAP INFORMATION DISPLAY SYSTEM AND MAP INFORMATION DISPLAY METHOD
CN113841068A (en) * 2019-05-16 2021-12-24 三菱电机株式会社 Information processing apparatus, information processing method, and information processing program
WO2022191015A1 (en) * 2021-03-12 2022-09-15 株式会社豊田自動織機 Autonomous traveling vehicle
WO2022196709A1 (en) * 2021-03-19 2022-09-22 株式会社豊田自動織機 Autonomous vehicle
WO2023058128A1 (en) * 2021-10-05 2023-04-13 日本電気株式会社 Position estimation device, moving body system, position estimation method, and non-transitory computer-readable medium
EP4249270A1 (en) 2022-03-23 2023-09-27 Ricoh Company, Ltd. Liquid application apparatus, liquid application method, and carrier medium

Also Published As

Publication number Publication date
JP6667065B2 (en) 2020-03-18

Similar Documents

Publication Publication Date Title
JP6667065B2 (en) Position estimation device and position estimation method
CN107463918B (en) Lane line extraction method based on fusion of laser point cloud and image data
CN109751973B (en) Three-dimensional measuring device, three-dimensional measuring method, and storage medium
CN107516077B (en) Traffic sign information extraction method based on fusion of laser point cloud and image data
CN111832536B (en) Lane line detection method and device
CN107014294B (en) Contact net geometric parameter detection method and system based on infrared image
JP6871782B2 (en) Road marking detector, road marking detection method, program, and road surface detector
JP2017533482A (en) Lane data processing method, apparatus, storage medium and equipment
KR101272448B1 (en) Apparatus and method for detecting region of interest, and the recording media storing the program performing the said method
JP6084552B2 (en) Road surface orthoimage generation apparatus and generation method
US20160259034A1 (en) Position estimation device and position estimation method
CN112669318A (en) Surface defect detection method, device, equipment and storage medium
JPWO2008020544A1 (en) Vehicle detection device, vehicle detection method, and vehicle detection program
Li et al. Road detection from airborne LiDAR point clouds adaptive for variability of intensity data
JP2019020956A (en) Vehicle surroundings recognition device
JP6477348B2 (en) Self-position estimation apparatus and self-position estimation method
KR101940519B1 (en) Apparatus and method for automatic water level measurement
CN104766331A (en) Imaging processing method and electronic device
JP4887540B2 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method
JP2007256280A (en) Object recognition system and displacement measurement method of object using the same
JP5862217B2 (en) Marker detection and tracking device
US10331977B2 (en) Method for the three-dimensional detection of objects
US10007857B2 (en) Method for the three-dimensional detection of objects
JP2008293504A (en) Object recognition device
Ouma On the use of low-cost RGB-D sensors for autonomous pothole detection with spatial fuzzy c-means segmentation

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20160525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181017

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181017

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190917

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200120

R151 Written notification of patent or utility model registration

Ref document number: 6667065

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151