JP2013182551A - Own vehicle position detection device, own vehicle position detection system and own vehicle position detection method - Google Patents
Own vehicle position detection device, own vehicle position detection system and own vehicle position detection method Download PDFInfo
- Publication number
- JP2013182551A JP2013182551A JP2012047703A JP2012047703A JP2013182551A JP 2013182551 A JP2013182551 A JP 2013182551A JP 2012047703 A JP2012047703 A JP 2012047703A JP 2012047703 A JP2012047703 A JP 2012047703A JP 2013182551 A JP2013182551 A JP 2013182551A
- Authority
- JP
- Japan
- Prior art keywords
- target mark
- vehicle position
- luminance
- vehicle
- parking space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、駐車スペースの路面上にターゲットマークを設置しておき、そのターゲットマークを検出することによって自車両の位置を検出する自車位置検出装置、自車位置検出システム及び自車位置検出方法に関する。 The present invention relates to an own vehicle position detection device, an own vehicle position detection system, and an own vehicle position detection method, in which a target mark is installed on a road surface of a parking space and the position of the own vehicle is detected by detecting the target mark. About.
従来からロボットを用いて行う物体の把持、組立、ドッキング作業において、対象となるターゲットにマークを取り付け、マークの画像をカメラに入力して画像処理することによって位置決めする方法が用いられてきた。 2. Description of the Related Art Conventionally, in object gripping, assembly, and docking operations performed using a robot, a method has been used in which a mark is attached to a target of interest, and an image of the mark is input to a camera and image processing is performed.
このようなロボットと物体間の相対位置を計測するためのターゲットマークとしては特許文献１が開示されている。 Patent Document 1 is disclosed as a target mark for measuring the relative position between a robot and an object.
しかしながら、上述した従来のターゲットマークでは、工場内での利用が目的であるためにすべてのマークが同時に検出可能であることが前提となっていた。したがって、すべてのマークを同時に検出できない場合には、正しく位置を算出することができないという問題点があった。 However, since the above-described conventional target mark is intended for use in a factory, it is assumed that all marks can be detected simultaneously. Therefore, when all the marks cannot be detected simultaneously, there has been a problem that the position cannot be calculated correctly.
この理由としては、ターゲットマークの中に同じ特徴を持ったマークが複数存在していると、それら同じ特徴のマークだけが検出された場合には区別することができずに正しく位置を算出することができなかった。 The reason for this is that if there are multiple marks with the same characteristics in the target mark, if only those marks with the same characteristics are detected, they cannot be distinguished and the position is calculated correctly. I could not.
しかし、駐車スペースの路面上にターゲットマークを設置する場合には、車両の停止位置や車載カメラの画角などの条件によって検出できないマークが存在することは十分に考えられるので、従来のターゲットマークをそのまま駐車支援用のターゲットマークとして利用することはできなかった。 However, when installing a target mark on the road surface of a parking space, it is fully possible that there are marks that cannot be detected depending on conditions such as the stop position of the vehicle and the angle of view of the in-vehicle camera. It could not be used as a target mark for parking assistance.
そこで、本発明は、上述した実情に鑑みて提案されたものであり、撮像している方向を特定して自車の位置を正確に算出することのできる自車位置検出装置、自車位置検出システム及び自車位置検出方法を提供することを目的とする。 Therefore, the present invention has been proposed in view of the above-described circumstances, and is a vehicle position detection device and vehicle position detection that can accurately calculate the position of the vehicle by specifying the direction in which the image is being captured. It is an object to provide a system and a vehicle position detection method.
本発明は、駐車スペースを自車両から撮像して駐車スペースの路面画像を出力する撮像部と、路面画像から駐車スペースの路面上に設置されたターゲットマークの位置を検出するターゲットマーク検出部と、ターゲットマークの位置に基づいて駐車スペースと自車両との間の相対位置を算出する自車位置算出部とを備えている。そして、ターゲットマーク検出部で検出されるターゲットマークは、２つ以上の円形マークで形成され、円形マークはそれぞれ区別可能なパターンを有し、円形マークのうちの少なくとも２つは駐車スペースの車両進入側に幅方向で離間して配置されていることを特徴とする。 The present invention captures a parking space from the host vehicle and outputs a road surface image of the parking space; a target mark detection unit that detects a position of a target mark installed on the road surface of the parking space from the road surface image; A host vehicle position calculation unit that calculates a relative position between the parking space and the host vehicle based on the position of the target mark; The target mark detected by the target mark detection unit is formed of two or more circular marks, each of which has a distinguishable pattern, and at least two of the circular marks enter the vehicle in the parking space. It is characterized by being spaced apart in the width direction on the side.
本発明によれば、ターゲットマークを２つ以上の円形マークで形成してそれぞれ区別可能なパターンとしたので、すべての円形マークが検出されなくても少なくとも２つの円形マークが検出されれば、常にターゲットマークから自車の位置を算出することができる。また、円形マークのうちの少なくとも２つを駐車スペースの車両進入側に幅方向で離間して配置したので、撮像している方向が特定でき、これによって常にターゲットマークから自車の位置を算出することができる。 According to the present invention, since the target mark is formed by two or more circular marks to be distinguishable patterns, even if not all circular marks are detected, it is always possible to detect at least two circular marks. The position of the vehicle can be calculated from the target mark. In addition, since at least two of the circular marks are spaced apart in the width direction on the vehicle entry side of the parking space, the direction in which the image is captured can be specified, and thereby the position of the vehicle is always calculated from the target mark. be able to.
以下、本発明を適用した第１〜第３実施形態について図面を参照して説明する。 Hereinafter, first to third embodiments to which the present invention is applied will be described with reference to the drawings.
［第１実施形態］
［自車位置検出装置の構成］
図１は、本実施形態に係る自車位置検出装置の構成を示すブロック図である。図１に示すように、本実施形態に係る自車位置検出装置１は、駐車スペース１０を自車両から撮像して駐車スペース１０の路面画像を出力する撮像部２と、撮像部２で撮像された路面画像を鳥瞰図に変換する視点変換部３と、駐車スペース１０の路面上に設置されたターゲットマーク４の位置を検出するターゲットマーク検出部５と、ターゲットマーク４の位置に基づいて駐車スペース１０と自車両との間の相対位置を算出する自車位置算出部６とを備えている。
[First Embodiment]
[Configuration of the vehicle position detection device]
FIG. 1 is a block diagram showing the configuration of the vehicle position detection device according to the present embodiment. As shown in FIG. 1, the vehicle position detection device 1 according to the present embodiment is imaged by an imaging unit 2 that images a parking space 10 from the own vehicle and outputs a road surface image of the parking space 10, and the imaging unit 2. A parking space 10 based on the position of the target mark 4, the target mark detection unit 5 that detects the position of the target mark 4 installed on the road surface of the parking space 10, and the position of the target mark 4. And a vehicle position calculation unit 6 for calculating a relative position between the vehicle and the vehicle.
ここで、ターゲットマーク検出部５で検出されるターゲットマーク４は、２つ以上の円形マークで形成され、円形マークはそれぞれ区別可能なパターンを有し、円形マークのうちの少なくとも２つは駐車スペースの車両進入側に幅方向で離間して配置されている。 Here, the target mark 4 detected by the target mark detection unit 5 is formed of two or more circular marks, each of which has a distinguishable pattern, and at least two of the circular marks are parking spaces. Are spaced apart in the width direction on the vehicle entry side.
次に、ターゲットマーク検出部５を構成する各部について説明する。図２はターゲットマーク検出部５の構成を示すブロック図である。図２に示すように、ターゲットマーク検出部５は、路面画像の鳥瞰図から輝度値及び輝度値の二乗のインテグラルイメージを作成するインテグラルイメージ作成部２１と、路面画像上の局所領域にターゲットマーク検出フィルタを設定して輝度を検出する局所領域輝度検出部２２と、ターゲットマーク検出フィルタの中心領域における輝度分布の統計値を算出する中心領域輝度解析部２３と、ターゲットマーク検出フィルタの外周領域における輝度分布の統計値を算出する外周領域輝度解析部２４と、中心領域及び外周領域における輝度分布の統計値を用いて路面画像の各画素について分離度を算出する分離度評価部２５と、分離度を所定の閾値で処理することによってターゲットマークを明示した２値化画像を出力する閾値処理部２６と、２値化画像に基づいてターゲットマークの位置を算出するマーク位置算出部２７とを備えている。ただし、図２に示すようにターゲットマーク検出フィルタを用いて分離度を算出する構成にしなくても、通常の画像処理によってターゲットマークを検出するような構成にしてもよい。 Next, each part which comprises the target mark detection part 5 is demonstrated. FIG. 2 is a block diagram showing the configuration of the target mark detection unit 5. As shown in FIG. 2, the target mark detection unit 5 includes an integral image creation unit 21 that creates an integral image of a brightness value and a square of the brightness value from a bird's eye view of a road surface image, and a target mark in a local area on the road surface image. A local area luminance detection unit 22 for setting a detection filter to detect luminance, a central area luminance analysis unit 23 for calculating a statistical value of luminance distribution in the central area of the target mark detection filter, and an outer peripheral area of the target mark detection filter An outer peripheral area luminance analysis unit 24 that calculates a statistical value of the luminance distribution; a separability evaluation unit 25 that calculates a degree of separation for each pixel of the road surface image using the statistical values of the luminance distribution in the central region and the outer peripheral region; A threshold processing unit 26 that outputs a binarized image in which the target mark is clearly indicated by processing the image with a predetermined threshold; And a mark position calculating section 27 that calculates the position of the target mark on the basis of the binarized image. However, as shown in FIG. 2, the configuration may be such that the target mark is detected by normal image processing without using the configuration for calculating the degree of separation using the target mark detection filter.
次に、自車位置算出部６を構成する各部について説明する。図３は自車位置算出部６の構成を示すブロック図である。図３に示すように、自車位置算出部６は、ターゲットマークの検出個数が２個以上であるか否かによって自車位置算出フラグの真偽を設定するマーク個数判定部３１と、ターゲットマークの路面画像上における位置から駐車スペースと自車両との間の相対角度を算出する相対角度算出部３２と、ターゲットマークの路面画像上における位置から駐車スペースと自車両との間の相対距離を算出する相対距離算出部３３と、ターゲットマークが２個以上検出されている場合に駐車スペースと自車両との間の相対角度及び相対距離を自車両の相対位置として出力する自車位置出力部３４とを備えている。 Next, each part which comprises the own vehicle position calculation part 6 is demonstrated. FIG. 3 is a block diagram showing the configuration of the vehicle position calculation unit 6. As shown in FIG. 3, the host vehicle position calculation unit 6 includes a mark number determination unit 31 that sets true / false of the host vehicle position calculation flag based on whether the number of detected target marks is two or more, a target mark The relative angle calculation unit 32 that calculates the relative angle between the parking space and the host vehicle from the position on the road surface image, and the relative distance between the parking space and the host vehicle from the position on the road image of the target mark. A relative distance calculation unit 33 that outputs a relative angle and a relative distance between the parking space and the host vehicle as a relative position of the host vehicle when two or more target marks are detected; It has.
次に、図１に示した自車位置検出装置と駐車スペースの路面上に設置されたターゲットマークとから構成された自車位置検出システムについて図４を参照して説明する。 Next, a description will be given of a vehicle position detection system including the vehicle position detection device shown in FIG. 1 and a target mark installed on the road surface of the parking space with reference to FIG.
図４に示すように、本実施形態に係る自車位置検出システム４１は、自車位置検出装置１が実装された計算機４２と、駐車スペース１０の路面上に設置されたターゲットマーク４３とから構成されている。そして、自車両４４の後方には撮像部２を構成する車載カメラ４５が取り付けられ、車載カメラ４５で周辺領域にあるターゲットマーク４３を検出し、その相対的な位置から駐車支援を行っている。車載カメラ４５で撮像された路面画像は、自車位置検出装置１が実装されている計算機４２に取り込まれ、路面画像からターゲットマーク４３の位置が検出され、さらにターゲットマーク４３の位置に基づいて自車両の相対位置が算出される。算出された自車両の相対位置は駐車支援システム４６に転送され、駐車支援が実行される。図４に示す自車位置検出システム４１は、自車位置検出装置１を駐車支援システム４６のターゲットマーク検出ロジックとして使用した場合を例示している。 As shown in FIG. 4, the vehicle position detection system 41 according to the present embodiment includes a computer 42 on which the vehicle position detection device 1 is mounted and a target mark 43 installed on the road surface of the parking space 10. Has been. A vehicle-mounted camera 45 constituting the imaging unit 2 is attached to the rear of the host vehicle 44, and the vehicle-mounted camera 45 detects the target mark 43 in the peripheral area and performs parking support from the relative position. The road surface image captured by the in-vehicle camera 45 is captured by the computer 42 on which the vehicle position detection device 1 is mounted, and the position of the target mark 43 is detected from the road surface image. The relative position of the vehicle is calculated. The calculated relative position of the host vehicle is transferred to the parking support system 46, and parking support is executed. The own vehicle position detection system 41 shown in FIG. 4 illustrates the case where the own vehicle position detection device 1 is used as the target mark detection logic of the parking assistance system 46.
ここで、駐車スペース１０の路面上に設置されたターゲットマークについて図５を参照して説明する。図５（ａ）に示すように、ターゲットマーク５１は、駐車スペース５２上に設置された２つの円形マーク５３、５４によって形成され、円形マーク５３、５４はそれぞれ区別可能なパターンを有している。本実施形態では円形マーク５３、５４はそれぞれ色が相違しており、円形マーク５３が白、５４が黒となっているが、異なる色であればその他の色でもよい。ただし、円形マーク５３、５４の色は駐車スペース５２の路面の色と相違している必要がある。さらに、図５（ｂ）に示すように、円形マーク５３、５４と異なる色の領域５５で円形マーク５３、５４の周りを囲むようにしてもよい。また、円形マークは２つ以上でもよく、色の他に円形マークの大きさをそれぞれ相違させてもよい。さらに、円形マークのうちの少なくとも２つは駐車スペースの車両進入側に幅方向で離間して配置されているので、撮像している方向を特定できる。また、自車位置を算出するためには、少なくとも円形マークを２つ検出する必要があるので、少なくとも２つの円形マークは駐車スペースの車両進入側近傍に配置して確実に撮像部２で撮像できるようにする。 Here, the target mark installed on the road surface of the parking space 10 will be described with reference to FIG. As shown in FIG. 5A, the target mark 51 is formed by two circular marks 53 and 54 installed on the parking space 52, and the circular marks 53 and 54 each have a distinguishable pattern. . In the present embodiment, the circular marks 53 and 54 have different colors, and the circular mark 53 is white and 54 is black. However, other colors may be used as long as they are different colors. However, the color of the circular marks 53 and 54 needs to be different from the color of the road surface of the parking space 52. Furthermore, as shown in FIG. 5B, the circular marks 53 and 54 may be surrounded by a region 55 having a different color from the circular marks 53 and 54. Moreover, two or more circular marks may be used, and the size of the circular mark may be different from each other in addition to the color. Furthermore, since at least two of the circular marks are spaced apart from each other in the width direction on the vehicle entry side of the parking space, the direction in which the image is captured can be specified. Further, since it is necessary to detect at least two circular marks in order to calculate the vehicle position, at least two circular marks can be arranged in the vicinity of the vehicle entrance side of the parking space and reliably imaged by the imaging unit 2. Like that.
尚、円形マーク５３、５４は駐車スペース５２の平面に埋まるように設置され、高さは略０ｃｍが理想的であるが、数ｃｍ程度の高さであれば問題ない。また、路面上に塗料でペイントしたものであってもよい。 The circular marks 53 and 54 are installed so as to be buried in the plane of the parking space 52, and the height is ideally about 0 cm, but there is no problem if the height is about several cm. Moreover, what was painted with the coating material on the road surface may be used.
次に、図１に示す自車位置検出装置１を構成する各部について説明する。 Next, each part which comprises the own vehicle position detection apparatus 1 shown in FIG. 1 is demonstrated.
まず、撮像部２は、駐車スペースの路面を撮像して路面画像を出力するための撮像手段であり、例えば車両後方に取り付けられた車載カメラで構成することができ、高さｈ、水平から下向きに角度θの方向に取り付けられている。 First, the imaging unit 2 is an imaging unit for imaging a road surface of a parking space and outputting a road surface image. The imaging unit 2 can be configured by, for example, an in-vehicle camera attached to the rear of the vehicle. Is attached in the direction of angle θ.
視点変換部３は、撮像部２で撮像された路面画像を視点変換によって鳥瞰図に変換している。鳥瞰図は、上空から路面を鉛直下向きに見下ろした仮想カメラの視点で撮像した画像である。鳥瞰図を作成するために用いる視点変換は公知の技術であり、例えば特開２００８−２１９０６３号公報に開示されている技術を利用することができる。尚、本実施形態では鳥瞰図を予め作成してからターゲットマークを検出する場合を一例として説明するが、鳥瞰図を作成しなくても撮像部２で撮像された路面画像上の座標系から鳥瞰図上の座標系への座標変換を逐一実施するようにしてもよい。この場合には視点変換部３を設けなくてもよい。 The viewpoint conversion unit 3 converts the road surface image captured by the imaging unit 2 into a bird's eye view through viewpoint conversion. The bird's-eye view is an image captured from the viewpoint of a virtual camera when the road surface is looked down vertically from above. The viewpoint conversion used to create the bird's-eye view is a known technique, and for example, the technique disclosed in Japanese Patent Application Laid-Open No. 2008-219063 can be used. In this embodiment, a case where a target mark is detected after a bird's-eye view is created in advance will be described as an example. However, even if a bird's-eye view is not created, a bird's-eye view can be obtained from a coordinate system on a road surface image captured by the imaging unit 2. You may make it implement the coordinate conversion to a coordinate system one by one. In this case, the viewpoint conversion unit 3 may not be provided.
次に、図２に示すターゲットマーク検出部４を構成する各部について説明する。 Next, each part which comprises the target mark detection part 4 shown in FIG. 2 is demonstrated.
まず、インテグラルイメージ作成部２１は、非特許文献（Violar,Jones:Robust Real-time Object Detection, IJCV2001）で報告されている手法を用いて鳥瞰図の輝度値のインテグラルイメージと、鳥瞰図の輝度値の二乗のインテグラルイメージとを作成する。これら二つのインテグラルイメージは中心領域輝度解析部２３及び外周領域輝度解析部２４で高速に輝度分布を解析するために使用される。 First, the integral image creation unit 21 uses the method reported in non-patent literature (Violar, Jones: Robust Real-time Object Detection, IJCV2001) to integrate the integral image of the brightness value of the bird's eye view and the brightness value of the bird's eye view. Create a square integral image. These two integral images are used by the central region luminance analysis unit 23 and the peripheral region luminance analysis unit 24 to analyze the luminance distribution at high speed.
局所領域輝度検出部２２は、路面画像上の局所領域にターゲットマーク検出フィルタを設定して輝度を検出するとともに、ターゲットマーク検出フィルタを路面画像全体に走査することによって路面画像上にある全ての局所領域の輝度を検出する。 The local region luminance detection unit 22 detects a luminance by setting a target mark detection filter in a local region on the road surface image, and scans the entire target surface image by scanning the target mark detection filter over the entire road surface image. Detect the brightness of the area.
中心領域輝度解析部２３は、局所領域における輝度の検出結果を用いてターゲットマーク検出フィルタの中心領域における輝度分布の統計値として輝度値の平均μ１と分散σ１を算出する。 The central area luminance analysis unit 23 calculates the average μ1 and the variance σ1 of the luminance values as the statistical values of the luminance distribution in the central area of the target mark detection filter using the luminance detection result in the local area.
外周領域輝度解析部２４は、上述した中心領域輝度解析部２３と同様の方法でターゲットマーク検出フィルタの外周領域における輝度分布の統計値として輝度値の平均μ２と分散σ２を算出する。 The outer peripheral area luminance analysis unit 24 calculates the average μ2 and the variance σ2 of the luminance values as statistical values of the luminance distribution in the outer peripheral area of the target mark detection filter by the same method as the central area luminance analysis unit 23 described above.
分離度評価部２５は、中心領域の輝度分布の統計値である平均μ１、分散σ１と、外周領域の輝度分布の統計値である平均μ２、分散σ２とを用いて、分離度ｓを算出する。分離度ｓは、中心領域と外周領域との間の輝度の差と中心領域及び外周領域の輝度分布の和との比に基づいて算出される値であり、この分離度ｓを路面画像の各画素について算出する。 The degree-of-separation evaluation unit 25 calculates the degree of separation s using the average μ1 and variance σ1 that are statistical values of the luminance distribution in the central region and the average μ2 and variance σ2 that are statistical values of the luminance distribution in the outer peripheral region. . The degree of separation s is a value calculated based on the ratio of the difference in luminance between the central region and the outer peripheral region and the sum of the luminance distributions of the central region and the outer peripheral region. Calculate for pixels.
閾値処理部２６は、分離度ｓを所定の閾値で処理することによって路面画像の各画素についてターゲットマークであるか否かを判定し、ターゲットマークであると判定された画素を明示することによって２値化画像を生成して出力する。尚、閾値については、予め実験等によって適切な値を設定しておくようにすればよい。 The threshold processing unit 26 determines whether or not each pixel of the road surface image is a target mark by processing the degree of separation s with a predetermined threshold, and clearly indicates the pixel determined to be the target mark. Generate and output a digitized image. As for the threshold value, an appropriate value may be set in advance through experiments or the like.
マーク位置算出部２７は、閾値処理部２６から出力される２値化画像に既知のＨｏｕｇｈ変換などを用いてターゲットマークの位置を算出する。 The mark position calculation unit 27 calculates the position of the target mark using a known Hough transform or the like for the binarized image output from the threshold processing unit 26.
次に、図３に示す自車位置算出部６を構成する各部について説明する。 Next, each part which comprises the own vehicle position calculation part 6 shown in FIG. 3 is demonstrated.
まず、マーク個数判定部３１は、ターゲットマーク検出部５で検出されたターゲットマークの個数が入力され、その個数が２個以上の場合には自車位置算出フラグを真に設定する。一方でターゲットマークの個数が１個以下の場合には原理的に自車両の位置を算出することが不可能なので、自車位置算出フラグを偽に設定する。そして、自車位置算出フラグの真偽を自車位置出力部３４に出力する。 First, the mark number determination unit 31 receives the number of target marks detected by the target mark detection unit 5, and sets the vehicle position calculation flag to true when the number is two or more. On the other hand, if the number of target marks is one or less, it is impossible in principle to calculate the position of the own vehicle, so the own vehicle position calculation flag is set to false. Then, the authenticity of the vehicle position calculation flag is output to the vehicle position output unit 34.
相対角度算出部３２は、検出されたターゲットマークのうちの２つを結んだ線分と自車両との間の角度を算出することによって駐車スペースと自車両との間の相対角度を算出する。 The relative angle calculation unit 32 calculates a relative angle between the parking space and the host vehicle by calculating an angle between a line segment connecting two of the detected target marks and the host vehicle.
相対距離算出部３３は、２つのターゲットマークの中点と自車両との間の距離を算出することによって駐車スペースと自車両との間の相対距離を算出する。 The relative distance calculator 33 calculates the relative distance between the parking space and the host vehicle by calculating the distance between the midpoint of the two target marks and the host vehicle.
自車位置出力部３４は、ターゲットマークが２個以上検出されて自車位置算出フラグが真に設定されている場合に、相対角度算出部３２及び相対距離算出部３３で求めた自車両と駐車スペースとの間の相対距離と相対角度を自車両の相対位置として駐車支援システムに出力する。一方、ターゲットマークが１個以下しか検出されずに自車位置算出フラグが偽に設定されている場合には、自車位置の算出に失敗したことを駐車支援システムに出力する。 The own vehicle position output unit 34 parks the own vehicle obtained by the relative angle calculation unit 32 and the relative distance calculation unit 33 when two or more target marks are detected and the own vehicle position calculation flag is set to true. The relative distance and the relative angle between the space and the relative position of the host vehicle are output to the parking assistance system. On the other hand, when only one or less target marks are detected and the vehicle position calculation flag is set to false, the fact that the calculation of the vehicle position has failed is output to the parking support system.
［自車位置検出処理］
以下、図６に示すフローチャートを参照して、本実施形態に係る自車位置検出装置による自車位置検出処理の手順を説明する。
[Vehicle position detection processing]
Hereinafter, with reference to the flowchart shown in FIG. 6, the procedure of the own vehicle position detection process by the own vehicle position detection apparatus according to the present embodiment will be described.
図６に示すように、本実施形態に係る自車位置検出処理では、まずステップＳ１０１において撮像部２が駐車スペースの路面を撮像して路面画像を出力すると、ステップＳ１０２において視点変換部３が路面画像を視点変換することによって路面画像の鳥瞰図を生成する。そして、ステップ１０３ではインテグラルイメージ作成部２１が鳥瞰図から輝度値のインテグラルイメージと輝度値の二乗のインテグラルイメージを作成する。 As shown in FIG. 6, in the own vehicle position detection process according to the present embodiment, first, in step S101, the imaging unit 2 images the road surface of the parking space and outputs a road surface image. In step S102, the viewpoint conversion unit 3 detects the road surface. A bird's eye view of a road surface image is generated by converting the viewpoint of the image. In step 103, the integral image creating unit 21 creates an integral image of luminance values and a square integral of luminance values from the bird's eye view.
次に、ステップＳ１０４において、局所領域輝度検出部２２によって路面画像上の局所領域にターゲットマーク検出フィルタを設定して輝度を検出する。 Next, in step S104, the local area luminance detection unit 22 sets a target mark detection filter in the local area on the road surface image to detect the luminance.
ここで、ターゲットマーク検出フィルタの構成を図７に基づいて説明する。図７（ａ）に示すように、ターゲットマーク検出フィルタ７０は、ターゲットマークを構成する円形マークと同一の特徴を有する中心領域７１と円形マークと異なる特徴を有する外周領域７２とから構成されている。中心領域７１は検出対象として予め登録されている円形マークと同一の色や大きさを有しており、外周領域７２は中心領域７１の外側に位置して異なる色をしている。 Here, the configuration of the target mark detection filter will be described with reference to FIG. As shown in FIG. 7A, the target mark detection filter 70 includes a central region 71 having the same characteristics as the circular mark constituting the target mark and an outer peripheral region 72 having a characteristic different from the circular mark. . The central area 71 has the same color and size as a circular mark registered in advance as a detection target, and the outer peripheral area 72 is located outside the central area 71 and has a different color.
また、インテグラルイメージを用いて以下の処理を行う場合には、図７（ｂ）に示すように円形マークを正方形で近似した形状のターゲットマーク検出フィルタを用いる。図７（ｂ）に示すターゲットマーク検出フィルタ７５は、１辺の長さが円形マークの直径と同一の正方形をした中心領域７６と中心領域７６の外側に位置して異なる色をした外周領域７７とから構成されている。 When the following processing is performed using an integral image, a target mark detection filter having a shape approximating a circular mark with a square as shown in FIG. 7B is used. A target mark detection filter 75 shown in FIG. 7B has a central area 76 having a side whose length is the same as the diameter of the circular mark, and an outer peripheral area 77 that is located outside the central area 76 and has a different color. It consists of and.
図７（ａ）、（ｂ）に示したターゲットマーク検出フィルタ７０、７５は白の円形マークを検出するためのものであり、黒の円形マークを検出する場合には白と黒を反転させた図７（ｃ）、（ｄ）に示すようなターゲットマーク検出フィルタを用いればよい。 The target mark detection filters 70 and 75 shown in FIGS. 7A and 7B are for detecting a white circular mark. When detecting a black circular mark, white and black are reversed. A target mark detection filter as shown in FIGS. 7C and 7D may be used.
そして、局所領域輝度検出部２２は、上述のターゲットマーク検出フィルタを路面画像上にある各局所領域に順番に設定していき、路面画像全体を走査することによって全ての局所領域における輝度を検出する。例えば、図８に示すように、路面画像上の(ｘ、ｙ)の位置にある局所領域にターゲットマーク検出フィルタを設定して輝度を検出すると、路面画像の横方向のサイズがｘｘ、縦方向のサイズがｙｙの場合には０≦ｘ≦ｘｘ、０≦ｙ≦ｙｙの範囲でターゲットマーク検出フィルタを１画素ずつ移動させて走査していき、各座標（ｘ、ｙ）における輝度を検出する。 Then, the local area luminance detection unit 22 sequentially sets the above-described target mark detection filter in each local area on the road image, and detects the luminance in all the local areas by scanning the entire road image. . For example, as shown in FIG. 8, when a luminance is detected by setting a target mark detection filter in a local area at a position (x, y) on the road image, the horizontal size of the road image is xx, and the vertical direction When the size of γ is yy, scanning is performed by moving the target mark detection filter pixel by pixel within the range of 0 ≦ x ≦ xx and 0 ≦ y ≦ yy, and the luminance at each coordinate (x, y) is detected. .
このとき、図７（ｂ）に示すターゲットマーク検出フィルタ７５では、白色の中心領域７６に対して重みが１に設定され、黒色の外周領域７７に対して重みが−１に設定されている。したがって、中心領域７６の輝度値をＡ、外周領域７７の輝度値をＢとすると、フィルタ応答値はＡ−Ｂとなる。このようなターゲットマーク検出フィルタ７５の中心領域７６に白の円形マークが完全に一致すると、中心領域７６は輝度値の高い白を検出するので、中心領域７６の輝度値Ａは大きな値となる。一方、このとき外周領域７７は円形マークの外側にある灰色の路面などを検出するので、外周領域７７の輝度値Ｂは低い値となる。したがってフィルタ応答値Ａ−Ｂはプラスの大きな値を出力することになる。そして、ターゲットマーク検出フィルタの位置が円形マークからずれていくにしたがってフィルタ応答値Ａ−Ｂは低下していき、まったく一致しなくなると中心領域７６も外周領域７７も路面を検出するので、輝度値は等しくなり、フィルタ応答値Ａ−Ｂは０となる。 At this time, in the target mark detection filter 75 shown in FIG. 7B, the weight is set to 1 for the white central region 76 and the weight is set to −1 for the black outer peripheral region 77. Therefore, if the luminance value of the central region 76 is A and the luminance value of the outer peripheral region 77 is B, the filter response value is AB. When the white circular mark completely coincides with the center region 76 of the target mark detection filter 75 as described above, the center region 76 detects white having a high luminance value, and thus the luminance value A of the center region 76 becomes a large value. On the other hand, since the outer peripheral area 77 detects a gray road surface outside the circular mark at this time, the luminance value B of the outer peripheral area 77 is a low value. Therefore, a large positive value is output as the filter response value AB. The filter response value AB decreases as the position of the target mark detection filter deviates from the circular mark. When the target mark detection filter does not match at all, the road surface of both the central region 76 and the outer peripheral region 77 is detected. Are equal to each other, and the filter response values AB are 0.
こうして各座標における輝度値が検出されると、次にステップＳ１０５において、中心領域輝度解析部２３及び外周領域輝度解析部２４によって輝度の解析が行われる。 When the luminance value at each coordinate is thus detected, the luminance analysis is performed by the central region luminance analyzing unit 23 and the outer peripheral region luminance analyzing unit 24 in step S105.
中心領域輝度解析部２３は、局所領域における輝度の検出結果を用いて中心領域における輝度分布の統計値として輝度値の平均μ１と分散σ１を算出する。具体的には座標（ｘ、ｙ）の局所領域において、ターゲットマーク検出フィルタ７０の中心領域７１における輝度分布のヒストグラムを作成し、このヒストグラムから中心領域７１における輝度値の平均μ１と分散σ１を統計値として算出する。ここでは基本的な手法として、ヒストグラムから平均と分散を求める方法を示したが、インテグラルイメージ作成部２１で作成したインテグラルイメージを用いることによって平均と分散を高速に計算することが可能となる。この場合には図７（ｂ）に示した正方形で近似した形状のターゲットマーク検出フィルタ７５を使用する。 The central area luminance analysis unit 23 calculates the average μ1 and the variance σ1 of the luminance values as the statistical values of the luminance distribution in the central area using the luminance detection result in the local area. Specifically, in the local region of coordinates (x, y), a histogram of the luminance distribution in the central region 71 of the target mark detection filter 70 is created, and the average μ1 and variance σ1 of the luminance values in the central region 71 are statistically calculated from this histogram. Calculate as a value. Here, as a basic method, a method of obtaining an average and a variance from a histogram is shown, but by using an integral image created by the integral image creation unit 21, it is possible to calculate the mean and variance at high speed. . In this case, the target mark detection filter 75 having a shape approximated by a square shown in FIG. 7B is used.
具体的に説明すると、まず中心領域７６の画素数がＮの場合に、インテグラルイメージ作成部２１で作成した輝度値のインテグラルイメージから中心領域７６における画素の輝度値の合計値αを求めることができる。そして、この合計値αを用いて平均μ１を算出すると、μ１=α／Ｎで求めることができる。 More specifically, first, when the number of pixels in the central region 76 is N, the total value α of the luminance values of the pixels in the central region 76 is obtained from the integral image of the luminance values created by the integral image creating unit 21. Can do. When the average μ1 is calculated using this total value α, it can be obtained by μ1 = α / N.
また、インテグラルイメージ作成部２１で作成した輝度値の二乗のインテグラルイメージを用いると、中心領域７６における輝度値の二乗の合計値βを求めることができる。そして、ζ=β／Ｎ、η=μ１×μ１とすれば、分散σ１はσ１＝ζ−ηで求めることができる。この分散σ１の算出方法は、統計学の分野で周知の式である分散Ｖ[ｘ]＝Ｅ[ｘ^２]−Ｅ[ｘ]^２の式に基づいている。ただし、Ｅは期待値である。このようにして中心領域輝度解析部２３は輝度値の平均μ１と分散σ１を算出する。 Further, when the integral image of the square of the brightness value created by the integral image creation unit 21 is used, the total value β of the square of the brightness value in the central region 76 can be obtained. If ζ = β / N and η = μ1 × μ1, the dispersion σ1 can be obtained by σ1 = ζ−η. The calculation method of the variance σ1 is based on the formula of variance V [x] = E [x ^ 2] −E [x] ^ 2, which is a well-known formula in the field of statistics. However, E is an expected value. In this way, the central region luminance analysis unit 23 calculates the average μ1 and the variance σ1 of the luminance values.
同様に、外周領域輝度解析部２４でも、外周領域７７における輝度分布の統計値として輝度値の平均μ２と分散σ２を算出する。 Similarly, the outer peripheral area luminance analysis unit 24 calculates the average μ2 and variance σ2 of the luminance values as the statistical values of the luminance distribution in the outer peripheral area 77.
こうして中心領域及び外周領域における平均と分散が算出されると、次にステップＳ１０６において分離度評価部２５が分離度を算出する。分離度評価部２５は、中心領域の平均μ１、分散σ１と、外周領域の平均μ２、分散σ２とを用いて、分離度ｓを算出する。分離度ｓは、中心領域と外周領域との間の輝度の差と中心領域及び外周領域の輝度分布の和との比に基づいて算出される値であり、次式によって算出することができる。 When the average and variance in the central region and the outer peripheral region are calculated in this way, the separation degree evaluation unit 25 calculates the separation degree in step S106. The degree-of-separation evaluation unit 25 calculates the degree of separation s using the average μ1 and variance σ1 of the central region and the average μ2 and variance σ2 of the outer peripheral region. The degree of separation s is a value calculated based on the ratio of the luminance difference between the central region and the outer peripheral region and the sum of the luminance distributions of the central region and the outer peripheral region, and can be calculated by the following equation.
分離度ｓ＝クラス間分散／全分散＝σＢ ２／σＴ ２ （１）
ここで、クラス間分散σＢ ２及び全分散σＴ ２は以下の式で表すことができる。
Degree of separation s = inter-class variance / total variance = σ B 2 / σ T 2 (1)
Here, the interclass variance σ B 2 and the total variance σ T 2 can be expressed by the following equations.
σＢ ２＝｛Ｎ１×（μ１−μＴ）２＋Ｎ２×（μ２−μＴ）２｝／（Ｎ１＋Ｎ２） （２）
σＴ ２＝σＢ ２＋σＷ ２ （３）
σＷ ２＝｛Ｎ１×σ１２＋Ｎ２×σ２２｝／（Ｎ１＋Ｎ２） （４）
ただし、Ｎ１は中心領域の画素数、Ｎ２は外周領域の画素数、μＴは中心領域と外周領域の全画素の平均である。
σ B 2 = {N 1 × (μ 1 −μ T ) 2 + N 2 × (μ 2 −μ T ) 2 } / (N 1 + N 2 ) (2)
σ T 2 = σ B 2 + σ W 2 (3)
σ W 2 = {N 1 × σ 1 2 + N 2 × σ 2 2 } / (N 1 + N 2 ) (4)
However, N 1 is the number of pixels in the central area, N 2 is the number of pixels in the peripheral region, the mu T is the average of all pixels of the central region and the peripheral region.
分離度評価部２５は、式（１）〜（４）に基づいて分離度ｓを路面画像の各画素について算出する。 The degree-of-separation evaluation unit 25 calculates the degree of separation s for each pixel of the road surface image based on the equations (1) to (4).
ここで、式（２）に示すようにクラス間分散σＢ ２は中心領域と外周領域との間の輝度の差に応じて変化する値であり、各領域の平均μ１、μ２が全画素の平均μＴから離れているほど大きな値となる。一方、全分散σＴ ２は中心領域及び外周領域の輝度分布の和に応じて変化する値であり、各領域の分散σ１、σ２が小さくなるほど、すなわち各領域の輝度分布が均一になるほど小さな値となる。 Here, as shown in Expression (2), the inter-class variance σ B 2 is a value that changes in accordance with the difference in luminance between the central region and the outer peripheral region, and the average μ1 and μ2 of each region are all pixel values. a large value enough away from the mean μ T. On the other hand, the total variance σ T 2 is a value that changes in accordance with the sum of the luminance distributions in the central region and the outer peripheral region, and the smaller the variances σ1 and σ2 in each region, that is, the smaller the luminance distribution in each region becomes. It becomes.
したがって、分離度ｓは図９に示すように中心領域の平均μ１と外周領域の平均μ２との間が離れており、尚且つ両者の分散σ１、σ２が小さくなるほど、すなわち各領域の輝度分布が均一であるほど評価値が大きな値となる。 Therefore, as shown in FIG. 9, the degree of separation s is such that the average μ1 of the central region and the average μ2 of the outer peripheral region are more distant, and as the variances σ1 and σ2 of both become smaller, that is, the luminance distribution of each region The evaluation value becomes larger as it is more uniform.
これにより、ターゲットマーク検出フィルタにマッチした形状と輝度パターンとなる局所領域（円形マークの部分）では分離度sは大きな値を示し、マッチしない局所領域（円形マーク以外の部分）では小さな値を示すことになる。したがって、全ての画素を走査して全ての画素について分離度sを算出し、その値を後段の閾値処理部２６で閾値処理することによって、円形マークを明示した二値化画像を出力することができる。 As a result, the degree of separation s shows a large value in a local region (circular mark portion) that has a shape and luminance pattern that matches the target mark detection filter, and a small value in a local region that does not match (a portion other than the circular mark). It will be. Therefore, it is possible to output a binarized image clearly indicating a circular mark by scanning all the pixels, calculating the degree of separation s for all the pixels, and thresholding the value by the threshold processing unit 26 in the subsequent stage. it can.
また、分離度ｓは必ず０〜１の値となるので、条件に応じてさまざまな閾値を設定しなくても１つの閾値を設定しておけば、円形マークを検出することができる。 Further, since the degree of separation s is always a value of 0 to 1, a circular mark can be detected by setting one threshold value without setting various threshold values according to conditions.
さらに、上述したようにターゲットマーク検出フィルタを局所領域に設定して局所領域毎に分離度を求めて円形マークを検出するので、画像中の日照条件が異なって明るい領域と暗い領域が混在するような場合でも円形マークの検出精度が低下することを防止できる。 Further, as described above, the target mark detection filter is set to a local area, and the degree of separation is obtained for each local area to detect a circular mark, so that bright and dark areas are mixed with different sunlight conditions in the image. Even in this case, it is possible to prevent the detection accuracy of the circular mark from being lowered.
また、分離度ｓを利用すると、昼間のように日照量が多い時間帯から朝、夕のように日照量が少ない時間帯に変化したとしても、日照条件の変化に影響を受けることなく、円形マークを検出することができる。図１０に示すように、昼間のように日照量が多い時間帯では中心領域と外周領域の輝度分布は実線で示すような分布となる。一方、朝、夕のように日照量が少ない時間帯では全体的に暗い画像になるため輝度分布は点線で示すように輝度値が低い方向へ全体的にシフトする。すなわち、平均μ１、μ２の値は低下するが、μ１とμ２の差は変化しないので、クラス間分散σＢ ２は変化しない。また、分散σ１、σ２も多少の変化を伴うだけでほとんど変化しないので、全分散σＴ ２についても変化しない。 Further, when the degree of separation s is used, even if the daylight amount changes from a time zone with a large amount of sunlight such as daytime to a time zone with a small amount of sunlight such as morning and evening, the circular shape is not affected by changes in the sunlight conditions. Marks can be detected. As shown in FIG. 10, the luminance distribution in the central region and the outer peripheral region is a distribution as shown by a solid line in a time zone with a large amount of sunlight such as daytime. On the other hand, since the image is dark overall in a time zone where the amount of sunlight is small such as in the morning and evening, the luminance distribution is entirely shifted in a direction where the luminance value is low as indicated by a dotted line. That is, the average .mu.1, although the value of μ2 decreases, since .mu.1 the difference of μ2 is not changed, the inter-class variance sigma B 2 does not change. The dispersibility .sigma.1, since hardly changes only involve some change .sigma. @ 2, does not change the total variance sigma T 2.
したがって、分離度ｓは日照条件が変化したとしても同様の値が算出されるので、日照条件の変化にロバストに円形マークを検出することができる。また、分離度ｓは日照条件が変化しても同様の値となるので、判別のための閾値を日照条件に応じて変化させる必要がなく、常に安定した検出結果を得ることができる。 Therefore, since the same value is calculated for the degree of separation s even if the sunshine conditions change, it is possible to detect a circular mark robustly to changes in the sunshine conditions. Further, the degree of separation s becomes the same value even if the sunshine condition changes, so that it is not necessary to change the threshold value for discrimination according to the sunshine condition, and a stable detection result can always be obtained.
こうしてステップＳ１０６において分離度が評価されると、次にステップＳ１０７において局所領域輝度検出部２２が路面画像の全画素について走査が終了したか否かを判定し、走査が終了していない場合にはステップＳ１０４に戻って上述した処理を繰り返し行い、走査が終了している場合にはステップＳ１０８に移行する。 When the degree of separation is evaluated in step S106 in this manner, in step S107, the local area luminance detection unit 22 determines whether or not scanning has been completed for all the pixels of the road surface image. Returning to step S104, the above-described processing is repeated, and if the scanning is completed, the process proceeds to step S108.
ステップＳ１０８では、閾値処理部２６が分離度ｓを所定の閾値で処理することによって路面画像の各画素についてターゲットマークであるか否かを判定し、ターゲットマークであると判定された画素を明示することによって２値化画像を生成して出力する。 In step S108, the threshold value processing unit 26 processes the degree of separation s with a predetermined threshold value to determine whether each pixel of the road surface image is a target mark, and clearly indicates the pixel determined to be the target mark. As a result, a binarized image is generated and output.
そして、ステップＳ１０９において、マーク位置算出部２７が２値化画像に対して既知のＨｏｕｇｈ変換などを行ってターゲットマークの位置を算出し、その結果を自車位置算出部６へ出力する。 In step S <b> 109, the mark position calculation unit 27 calculates a target mark position by performing known Hough transformation or the like on the binarized image, and outputs the result to the vehicle position calculation unit 6.
次に、自車位置算出部６では、ステップＳ１１０においてマーク個数判定部３１によって自車位置算出フラグの真偽が設定される。ターゲットマーク検出部５で検出されたターゲットマークの個数が２個以上の場合には自車位置算出フラグが真に設定され、ターゲットマークの個数が１個以下の場合には自車両の位置を算出できないので自車位置算出フラグが偽に設定される。そして、設定された自車位置算出フラグの真偽を自車位置出力部３４に出力する。 Next, in the vehicle position calculation unit 6, the true / false of the vehicle position calculation flag is set by the mark number determination unit 31 in step S110. When the number of target marks detected by the target mark detector 5 is two or more, the own vehicle position calculation flag is set to true, and when the number of target marks is one or less, the position of the own vehicle is calculated. Since this is not possible, the vehicle position calculation flag is set to false. Then, the authenticity of the set vehicle position calculation flag is output to the vehicle position output unit 34.
次に、ステップＳ１１１において、相対角度算出部３２が、ターゲットマーク検出部５で検出された円形マークの画像中における座標から自車両と駐車スペースとの間の相対角度を算出する。図１１は視点変換部３から出力された鳥瞰図であり、鳥瞰図には駐車スペース８０と、円形マーク８１Ｌと、円形マーク８１Ｒとが撮像されている。また、鳥瞰図には原点８２とＸ軸Ｘ１とＹ軸Ｙ１が設定されている。 Next, in step S111, the relative angle calculation unit 32 calculates the relative angle between the host vehicle and the parking space from the coordinates in the circular mark image detected by the target mark detection unit 5. FIG. 11 is a bird's-eye view output from the viewpoint conversion unit 3, and a parking space 80, a circular mark 81L, and a circular mark 81R are captured in the bird's-eye view. In the bird's eye view, an origin 82, an X axis X1, and a Y axis Y1 are set.
この鳥瞰図をターゲットマーク検出部５で処理したものが図１２であり、円形マーク８１Ｌの検出位置の座標が(xL, yL)、円形マーク８１Ｒの検出位置の座標が(xR, yR)となっている。図１２では円形マーク８１Ｌ、８１Ｒの中点を原点８３とする駐車スペースの座標系が設定されており、Ｘ軸Ｘ２は円形マーク８１Ｌ、８１Ｒを結んだ直線であり、Ｙ軸Ｙ２はＸ軸Ｘ２に垂直な直線である。 FIG. 12 shows the bird's eye view processed by the target mark detection unit 5. The coordinates of the detection position of the circular mark 81L are (xL, yL) and the coordinates of the detection position of the circular mark 81R are (xR, yR). Yes. In FIG. 12, the coordinate system of the parking space is set with the center point of the circular marks 81L and 81R as the origin 83, the X axis X2 is a straight line connecting the circular marks 81L and 81R, and the Y axis Y2 is the X axis X2. A straight line perpendicular to
ここで、鳥瞰図の座標(x,y)において円形マーク８１Ｌの検出位置の座標が(xL, yL)、円形マーク８１Ｒの検出位置の座標が(xR, yR)である場合には、前述した特開２００８−２１９０６３号公報の手法を用いて鳥瞰図を作成すれば、カメラの内部パラメータや取り付け高さ、姿勢等が既知であれば、鳥瞰図の座標(x,y)から実空間における自車両系の座標(XW,YW)を求めることが可能である。そこで、鳥瞰図の座標系を自車両の座標系へ変換すると、図１３に示すような自車両の座標系が設定される。 Here, when the coordinates of the detection position of the circular mark 81L are (xL, yL) and the coordinates of the detection position of the circular mark 81R are (xR, yR) in the coordinates (x, y) of the bird's-eye view, If a bird's-eye view is created using the technique disclosed in Japanese Unexamined Patent Application Publication No. 2008-219063, if the internal parameters, mounting height, posture, etc. of the camera are known, the coordinates of the host vehicle system in real space can be calculated from the coordinates (x, y) of the bird's-eye view. The coordinates (XW, YW) can be obtained. Therefore, when the coordinate system of the bird's eye view is converted into the coordinate system of the own vehicle, the coordinate system of the own vehicle as shown in FIG. 13 is set.
図１３では、自車両８５の中心に原点８６が設定され、自車両の座標系におけるＸ軸Ｘ３とＹ軸Ｙ３が設定されている。この自車両の座標系において、円形マーク８１Ｌの座標は(XWL, YWL)、円形マーク８１Ｒの座標は(XWR, YWR)として鳥瞰図の座標系から変換されている。 In FIG. 13, the origin 86 is set at the center of the host vehicle 85, and the X axis X3 and the Y axis Y3 in the coordinate system of the host vehicle are set. In the coordinate system of the host vehicle, the coordinates of the circular mark 81L are converted from the coordinate system of the bird's eye view as (XWL, YWL) and the coordinates of the circular mark 81R are (XWR, YWR).
このとき車両と駐車スペースとの間の相対角度は、円形マーク８１Ｌ、８１Ｒを結ぶ駐車スペース傾きベクトル８７の傾きから求めることができる。すなわち、駐車スペース傾きベクトル８７を原点８６に移動させてＸ軸Ｘ３とのなす角φが自車両と駐車スペースとの間の相対角度となる。したがって、相対角度φは次式で求めることができる。 At this time, the relative angle between the vehicle and the parking space can be obtained from the inclination of the parking space inclination vector 87 connecting the circular marks 81L and 81R. That is, the angle φ formed with the X axis X3 by moving the parking space inclination vector 87 to the origin 86 is the relative angle between the host vehicle and the parking space. Therefore, the relative angle φ can be obtained by the following equation.
ｔａｎφ=(YWR−YWL)／(XWR−XWL) （５）
相対角度算出部３２はこの相対角度φを自車位置出力部３４へ出力する。
tanφ = (YWR−YWL) / (XWR−XWL) (5)
The relative angle calculation unit 32 outputs the relative angle φ to the vehicle position output unit 34.
次に、ステップＳ１１２において、相対距離算出部３３がターゲットマーク検出部５で検出された円形マークの画像中における座標から自車両と駐車スペースとの間の相対距離を算出する。 Next, in step S <b> 112, the relative distance calculation unit 33 calculates the relative distance between the host vehicle and the parking space from the coordinates in the circular mark image detected by the target mark detection unit 5.
相対距離算出部３３では、図１３に示す自車両座標系の原点８６から駐車スペース座標系の原点８３までの距離を、自車両と駐車スペースとの間の相対距離とする。駐車スペース座標系の原点８３は円形マーク８１Ｌ、８１Ｒの中点と予め規定されているので、円形マーク８１Ｌの座標(XWL, YWL)と円形マーク８１Ｒの座標(XWL, YWL)から求めることができ、駐車スペース座標系の原点８３の座標を(XWC, YWC)とすれば、以下の２式で求めることができる。 In the relative distance calculation unit 33, the distance from the origin 86 of the host vehicle coordinate system to the origin 83 of the parking space coordinate system shown in FIG. 13 is set as the relative distance between the host vehicle and the parking space. Since the origin 83 of the parking space coordinate system is defined in advance as the midpoint of the circular marks 81L and 81R, it can be obtained from the coordinates (XWL, YWL) of the circular mark 81L and the coordinates (XWL, YWL) of the circular mark 81R. If the coordinates of the origin 83 in the parking space coordinate system are (XWC, YWC), the following two equations can be used.
XWC=(XWL+XWR)／2 （６）
YWC=(YWL+YWR)／2 （７）
したがって、相対距離は次式で求めることができる
相対距離＝{(XWC)2＋(YWC)2}1/2
相対距離算出部３３はこの相対距離を自車位置出力部３４へ出力する。
XWC = (XWL + XWR) / 2 (6)
YWC = (YWL + YWR) / 2 (7)
Therefore, the relative distance can be calculated by the following equation: relative distance = {(XWC) 2 + (YWC) 2 } 1/2
The relative distance calculation unit 33 outputs this relative distance to the vehicle position output unit 34.
こうして相対角度と相対距離が自車位置出力部３４へ出力されると、ステップＳ１１３において自車位置出力部３４は、ターゲットマークが２個以上検出されて自車位置算出フラグが真に設定されている場合には自車両と駐車スペースとの間の相対距離と相対角度を自車両の相対位置として駐車支援システムへ出力する。一方、ターゲットマークが１個以下しか検出されずに自車位置算出フラグが偽に設定されている場合には、自車位置の算出に失敗したことを駐車支援システムに出力して、本実施形態に係る自車位置検出装置１による自車位置検出処理は終了する。 When the relative angle and the relative distance are output to the vehicle position output unit 34 in this way, the vehicle position output unit 34 detects two or more target marks and sets the vehicle position calculation flag to true in step S113. If there is, the relative distance and relative angle between the host vehicle and the parking space are output to the parking support system as the relative position of the host vehicle. On the other hand, when only one or less target marks are detected and the vehicle position calculation flag is set to false, the fact that the calculation of the vehicle position has failed is output to the parking support system, and this embodiment The own vehicle position detection process by the own vehicle position detection device 1 according to the above ends.
［第１実施形態の効果］
上述したように、本実施形態に係る自車位置検出装置によれば、ターゲットマークを２つ以上の円形マークで形成してそれぞれ区別可能なパターンとしたので、すべての円形マークが検出されなくても少なくとも２つの円形マークが検出されれば、常にターゲットマークから自車の位置を算出することができる。また、円形マークのうちの少なくとも２つを駐車スペースの車両進入側に幅方向で離間して配置したので、撮像している方向が特定でき、これによって常にターゲットマークから自車の位置を算出することができる。
[Effect of the first embodiment]
As described above, according to the own vehicle position detection device according to the present embodiment, the target mark is formed by two or more circular marks to be distinguishable patterns, so that all the circular marks are not detected. If at least two circular marks are detected, the position of the vehicle can always be calculated from the target marks. In addition, since at least two of the circular marks are spaced apart in the width direction on the vehicle entry side of the parking space, the direction in which the image is captured can be specified, and thereby the position of the vehicle is always calculated from the target mark. be able to.
また、本実施形態に係る自車位置検出装置によれば、路面画像上の局所領域に対して中心領域と外周領域とを有するターゲットマーク検出フィルタを設定して輝度を検出し、中心領域と外周領域との間の輝度の差と中心領域及び外周領域の輝度分布の和とに基づいて算出される分離度を求めてターゲットマークを検出するので、局所領域ごとに日照環境が異なり輝度分布が不均一になるような場合でも良好にターゲットマークを検出することができる。 Further, according to the own vehicle position detection device according to the present embodiment, the target mark detection filter having the center region and the outer periphery region is set with respect to the local region on the road surface image to detect the luminance, and the center region and the outer periphery are detected. Since the target mark is detected by obtaining the degree of separation calculated based on the difference in brightness between the area and the sum of the brightness distributions in the center area and the outer area, the sunshine environment differs for each local area and the brightness distribution is not The target mark can be detected satisfactorily even when it becomes uniform.
さらに、本実施形態に係る自車位置検出装置によれば、中心領域輝度解析部及び外周領域輝度解析部がインテグラルイメージに基づいて輝度分布の統計値を算出するので、高速に計算を実行することができ、計算負荷を軽減することができる。 Furthermore, according to the own vehicle position detection device according to the present embodiment, the central region luminance analysis unit and the outer peripheral region luminance analysis unit calculate the statistical value of the luminance distribution based on the integral image, so the calculation is executed at high speed. And the calculation load can be reduced.
また、本実施形態に係る自車位置検出装置によれば、中心領域輝度解析部が中心領域における輝度分布の統計値として輝度値の平均と分散を算出するので、中心領域における輝度分布の状態を表した数値を利用して良好にターゲットマークを検出することができる。 Further, according to the own vehicle position detection device according to the present embodiment, the central region luminance analysis unit calculates the average and variance of the luminance values as the statistical values of the luminance distribution in the central region, so that the state of the luminance distribution in the central region is determined. The target mark can be detected satisfactorily using the numerical values shown.
さらに、本実施形態に係る自車位置検出装置によれば、外周領域輝度解析部が外周領域における輝度分布の統計値として輝度値の平均と分散を算出するので、外周領域における輝度分布の状態を表した数値を利用して良好にターゲットマークを検出することができる。 Furthermore, according to the vehicle position detection device according to the present embodiment, the outer peripheral area luminance analysis unit calculates the average and variance of the luminance values as the statistical values of the luminance distribution in the outer peripheral area. The target mark can be detected satisfactorily using the numerical values shown.
また、本実施形態に係る自車位置検出装置によれば、円形マークを正方形で近似した形状のターゲットマーク検出フィルタを用いて輝度を検出するので、インテグラルイメージを利用して輝度を検出することができ、高速に計算を実行することができる。 In addition, according to the vehicle position detection device according to the present embodiment, the luminance is detected using the target mark detection filter having a shape that approximates the circular mark with a square, so that the luminance is detected using the integral image. Can be executed at high speed.
さらに、本実施形態に係る自車位置検出装置によれば、円形マークのうちの２つを結んだ直線に基づいて駐車スペースと自車両との間の相対角度を算出する相対角度算出部と、円形マークのうちの２つの中点に基づいて駐車スペースと自車両との間の相対距離を算出する相対距離算出部とを備えているので、相対角度と相対距離とから自車両の位置を正確に検出することができる。 Furthermore, according to the vehicle position detection device according to the present embodiment, a relative angle calculation unit that calculates a relative angle between the parking space and the vehicle based on a straight line connecting two of the circular marks, Since it has a relative distance calculation unit that calculates the relative distance between the parking space and the host vehicle based on the two midpoints of the circular marks, the position of the host vehicle can be accurately determined from the relative angle and the relative distance. Can be detected.
また、本実施形態に係る自車位置検出装置によれば、円形マークの区別可能なパターンとして色によって区別可能とするので、円形マークを容易に区別することができ、確実に円形マークを検出することができる。 In addition, according to the vehicle position detection device according to the present embodiment, the circular mark can be distinguished by color as a distinguishable pattern of the circular mark, so that the circular mark can be easily distinguished and the circular mark is reliably detected. be able to.
さらに、本実施形態に係る自車位置検出装置によれば、円形マークの区別可能なパターンとして円の大きさによって区別可能とするので、円形マークを容易に区別することができ、確実に円形マークを検出することができる。 Furthermore, according to the vehicle position detection device according to the present embodiment, the circular mark can be distinguished according to the size of the circle as the distinguishable pattern of the circular mark. Can be detected.
また、本実施形態に係る自車位置検出システムによれば、ターゲットマークを２つ以上の円形マークで形成してそれぞれ区別可能なパターンとしたので、すべての円形マークが検出されなくても少なくとも２つの円形マークが検出されれば、常にターゲットマークから自車の位置を算出することができる。さらに、円形マークのうちの少なくとも２つを駐車スペースの車両進入側に幅方向で離間して配置したので、撮像している方向が特定でき、これによって常にターゲットマークから自車の位置を算出することができる。 In addition, according to the vehicle position detection system according to the present embodiment, the target mark is formed by two or more circular marks to be distinguishable patterns, so that at least 2 even if all the circular marks are not detected. If two circular marks are detected, the position of the vehicle can always be calculated from the target mark. Furthermore, since at least two of the circular marks are spaced apart from each other in the width direction on the vehicle entrance side of the parking space, the direction in which the image is captured can be specified, and thereby the position of the vehicle is always calculated from the target mark. be able to.
［第２実施形態］
次に、本発明の第２実施形態に係る自車位置検出装置について説明する。本実施形態では、ターゲットマークを構成する円形マークを２個より多くしたことが第１実施形態と相違している。
[Second Embodiment]
Next, a description will be given of an own vehicle position detection device according to a second embodiment of the present invention. This embodiment is different from the first embodiment in that the number of circular marks constituting the target mark is more than two.
本実施形態のターゲットマークについて図１４を参照して説明する。図１４に示すように、ターゲットマーク９１は、駐車スペース９２上に設置された２つの円形マーク９３、９４の他に大きさの異なる円形マーク９５が追加して形成されている。 The target mark of this embodiment will be described with reference to FIG. As shown in FIG. 14, the target mark 91 is formed by adding circular marks 95 having different sizes in addition to the two circular marks 93 and 94 installed on the parking space 92.
このとき、円形マーク９４と９５はいずれも色は白であるが、大きさが異なるので両者を区別することは可能である。円形マーク９５を検出するためには円形マーク９５の大きさに対応したターゲットマーク検出フィルタを予め用意しておけばよい。 At this time, although the circular marks 94 and 95 are both white in color, they can be distinguished from each other because they have different sizes. In order to detect the circular mark 95, a target mark detection filter corresponding to the size of the circular mark 95 may be prepared in advance.
また、円形マーク９５の位置は図１４に示す位置に限定されるわけではなく、駐車スペース９２内のどの位置に配置されていてもよい。円形マーク９３〜９５と異なる色の領域９６は、円形マーク９３〜９５が路面と異なる色をしていれば設置しなくてもよい。 Further, the position of the circular mark 95 is not limited to the position shown in FIG. 14, and may be arranged at any position in the parking space 92. The region 96 having a different color from the circular marks 93 to 95 may not be provided as long as the circular marks 93 to 95 have a different color from the road surface.
［第２実施形態の効果］
上述したように、本実施形態に係る自車位置検出装置によれば、円形マークの数が増えたことにより、自車位置の検出精度を向上させることができる。また、撮像部２によって円形マークが検出されている時間が長くなるので、駐車支援システムによってアシストされる時間が長くなり、確実に自車両を駐車させることができる。さらに、駐車スペースの奥行き方向に円形マークを配置することにより、自車両のピッチング挙動を検出することが可能になるので、自車位置の検出精度をより向上させることができる。
[Effects of Second Embodiment]
As described above, according to the vehicle position detection device according to the present embodiment, the detection accuracy of the vehicle position can be improved by increasing the number of circular marks. Further, since the time during which the circular mark is detected by the imaging unit 2 becomes longer, the time that is assisted by the parking assistance system becomes longer, and the host vehicle can be parked reliably. Furthermore, by arranging the circular mark in the depth direction of the parking space, it becomes possible to detect the pitching behavior of the host vehicle, so that the detection accuracy of the host vehicle position can be further improved.
［第３実施形態］
次に、本発明の第３実施形態に係る自車位置検出装置について説明する。本実施形態では、ターゲットマークを構成する円形マークを４個にして、各円形マークを二色以上の異なる色で構成される同心円にしたことが第１実施形態と相違している。
[Third Embodiment]
Next, a description will be given of an own vehicle position detection device according to a third embodiment of the present invention. The present embodiment is different from the first embodiment in that the number of circular marks constituting the target mark is four and each circular mark is a concentric circle composed of two or more different colors.
本実施形態のターゲットマークについて図１５を参照して説明する。図１５に示すように、ターゲットマーク１０１は、４個の円形マーク１０２、１０３、１０４、１０５から構成され、各円形マークは二色以上の異なる色で構成される同心円の形状をしている。 The target mark of this embodiment will be described with reference to FIG. As shown in FIG. 15, the target mark 101 includes four circular marks 102, 103, 104, and 105, and each circular mark has a concentric shape formed of two or more different colors.
４つの円形マークのうち左右に位置する円形マーク１０２、１０３と円形マーク１０４、１０５はそれぞれ白と黒が反転されている。また、左右に位置する円形マーク１０２、１０３と円形マーク１０４、１０５はそれぞれ大きさが同一であるが、駐車スペースの車両進入側にある円形マーク１０２、１０３と奥側にある円形マーク１０４、１０５との間では大きさが異なっている。ただし、円形マーク１０２〜１０５と異なる色の領域１０６は、円形マーク１０２〜１０５が路面と異なる色をしていれば設置しなくてもよい。 Of the four circular marks, the circular marks 102 and 103 and the circular marks 104 and 105 located on the left and right are inverted in white and black, respectively. The circular marks 102 and 103 and the circular marks 104 and 105 located on the left and right are the same in size, but the circular marks 102 and 103 on the vehicle entrance side of the parking space and the circular marks 104 and 105 on the back side. Are different in size. However, the region 106 having a color different from that of the circular marks 102 to 105 may not be provided as long as the circular marks 102 to 105 have a color different from that of the road surface.
同心円の円形マークを検出するためのターゲットマーク検出フィルタは、図７に示したものと形状は同一であるが、円形マークの内側の同心円の直径とターゲットマーク検出フィルタの中心領域の幅（直径または正方形の１辺）を同一にし、円形マークの外側の同心円の直径とターゲットマーク検出フィルタの外周領域の幅（直径または正方形の１辺）を同一にすればよい。 The target mark detection filter for detecting a concentric circular mark has the same shape as that shown in FIG. 7, but the diameter of the concentric circle inside the circular mark and the width of the central area of the target mark detection filter (diameter or (One side of the square) is made the same, and the diameter of the concentric circle outside the circular mark and the width of the outer peripheral area of the target mark detection filter (the diameter or one side of the square) may be made the same.
また、自車位置算出部６では、４個の円形マークがある場合には、図１６に示すように４個の円形マークから２個ずつのペアを４つ（対角成分を含めて６つでもよい）生成し、全てのペアについて２つの円形マークの中点１１０を求める。そして、これら４つの中点の平均の中点１１１から自車両と駐車スペースとの間の相対距離を算出する。これにより、円形マークが２個の場合よりも精度よく相対距離を算出することができる。相対角度も同様に４つのペアのそれぞれについて相対角度を求めると、それぞれの円形マークは正方形に配置されているので、４つの相対角度はそれぞれ約９０度ずつ回転していることになる。そこで、これら４つの相対角度を補正して平均を求めることによって、自車両と駐車スペースとの間の相対角度を求めることができる。これにより、円形マークが２個の場合よりも高精度に相対角度を算出することが可能となる。 Further, in the case where there are four circular marks, the vehicle position calculation unit 6 makes four pairs of two from the four circular marks (six including the diagonal component) as shown in FIG. And the midpoint 110 of two circular marks is obtained for all pairs. And the relative distance between the own vehicle and the parking space is calculated from the average midpoint 111 of these four midpoints. As a result, the relative distance can be calculated with higher accuracy than in the case of two circular marks. Similarly, when the relative angles are obtained for each of the four pairs, the respective circular marks are arranged in a square, and therefore the four relative angles are rotated by about 90 degrees. Therefore, the relative angle between the host vehicle and the parking space can be obtained by correcting these four relative angles and obtaining the average. As a result, the relative angle can be calculated with higher accuracy than in the case of two circular marks.
さらに、円形マーク１０２〜１０５の同心円のうち白の部分に発光装置を設置して発光させるようにしてもよい。 Furthermore, you may make it light-emit by installing a light-emitting device in the white part among the concentric circles of the circular marks 102-105.
［第３実施形態の効果］
上述したように、本実施形態に係る自車位置検出装置によれば、円形マークを二色以上の異なる色で構成される同心円にしたので、ターゲットマークの検出精度を向上させることができる。
[Effect of the third embodiment]
As described above, according to the own vehicle position detection device according to the present embodiment, the circular mark is a concentric circle composed of two or more different colors, so that the target mark detection accuracy can be improved.
また、本実施形態に係る自車位置検出装置によれば、円形マークの同心円のいずれかを発光させるようにしたので、円形マークの内側か外側のいずれかの同心円が昼夜を問わず発光し、日照環境の違いによらずにロバストに円形マークを検出することができる。 Further, according to the own vehicle position detection device according to the present embodiment, since one of the concentric circles of the circular mark is caused to emit light, either the inner or outer concentric circle of the circular mark emits light regardless of day or night, A circular mark can be detected robustly regardless of differences in sunshine environments.
さらに、円形マークを４つに増加させたことによって、自車両のローリングを検出することが可能となる。特に今後電気自動車が普及して非接触給電を行う場合には、高い給電効率を実現する必要があるので、高精度な駐車位置が要求されるが、円形マークを４つにすれば、高精度な駐車位置を実現することができる。 Furthermore, the rolling of the host vehicle can be detected by increasing the number of circular marks to four. In particular, when electric vehicles will become widespread and perform non-contact power feeding, it is necessary to realize high power feeding efficiency, so a high-accuracy parking position is required. A real parking position.
尚、図１５に示すターゲットマークを非接触給電装置と一体にしたものにすれば、円形マークに電気を供給して発光させることが容易になり、大幅なコストアップ無しで夜間でも検出可能な円形マークを実現することができる。また、円形マークの数を本実施形態では４つとしたが、さらに増やしてもよい。 If the target mark shown in FIG. 15 is integrated with the non-contact power feeding device, it becomes easy to supply electricity to the circular mark to emit light, and it can be detected at night without significant cost increase. Mark can be realized. Further, although the number of circular marks is four in this embodiment, it may be further increased.
以上、本発明の自車位置検出装置を図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、各部の構成は、同様の機能を有する任意の構成のものに置き換えることが可能である。 As mentioned above, although the own vehicle position detection apparatus of this invention was demonstrated based on embodiment of illustration, this invention is not limited to this, The structure of each part is set to the thing of the arbitrary structures which have the same function. It is possible to replace it.
１ 自車位置検出装置１
２ 撮像部
３ 視点変換部
４ ターゲットマーク
５ ターゲットマーク検出部
６ 自車位置算出部
１０ 駐車スペース
２１ インテグラルイメージ作成部
２２ 局所領域輝度検出部
２３ 中心領域輝度解析部
２４ 外周領域輝度解析部
２５ 分離度評価部
２６ 閾値処理部
２７ マーク位置算出部
３１ マーク個数判定部
３２ 相対角度算出部
３３ 相対距離算出部
３４ 自車位置出力部
1 Vehicle position detection device 1
2 imaging unit 3 viewpoint conversion unit 4 target mark 5 target mark detection unit 6 own vehicle position calculation unit 10 parking space 21 integral image creation unit 22 local region luminance detection unit 23 central region luminance analysis unit 24 outer peripheral region luminance analysis unit 25 separation Degree evaluation unit 26 Threshold processing unit 27 Mark position calculation unit 31 Mark number determination unit 32 Relative angle calculation unit 33 Relative distance calculation unit 34 Own vehicle position output unit
Claims (13)
前記路面画像から前記駐車スペースの路面上に設置されたターゲットマークの位置を検出するターゲットマーク検出手段と、
前記ターゲットマークの位置に基づいて前記駐車スペースと前記自車両との間の相対位置を算出する自車位置算出手段とを備え、
前記ターゲットマーク検出手段で検出されるターゲットマークは、２つ以上の円形マークで形成され、前記円形マークはそれぞれ区別可能なパターンを有し、前記円形マークのうちの少なくとも２つは前記駐車スペースの車両進入側に幅方向で離間して配置されていることを特徴とする自車位置検出装置。 Imaging means for imaging a parking space from the own vehicle and outputting a road surface image of the parking space;
Target mark detection means for detecting the position of a target mark installed on the road surface of the parking space from the road surface image;
Vehicle position calculation means for calculating a relative position between the parking space and the vehicle based on the position of the target mark;
The target mark detected by the target mark detection means is formed of two or more circular marks, each of the circular marks has a distinguishable pattern, and at least two of the circular marks are the parking spaces. A host vehicle position detection device, wherein the vehicle position detection device is disposed on the vehicle entry side so as to be separated in the width direction.
前記ターゲットマークと同一の特徴を有する中心領域と前記ターゲットマークと異なる特徴を有する外周領域とを有するターゲットマーク検出フィルタを有し、前記ターゲットマーク検出フィルタは、前記路面画像上の局所領域に設定して輝度を検出する局所領域輝度検出手段と、
前記局所領域における輝度の検出結果を用いて前記中心領域における輝度分布の統計値を算出する中心領域輝度解析手段と、
前記局所領域における輝度の検出結果を用いて前記外周領域における輝度分布の統計値を算出する外周領域輝度解析手段と、
前記中心領域及び前記外周領域における輝度分布の統計値を用いて、前記中心領域と前記外周領域との間の輝度の差と前記中心領域及び前記外周領域の輝度分布の和とに基づいて算出される分離度を前記路面画像の各画素について算出する分離度評価手段と、
前記分離度を所定の閾値で処理することによって前記路面画像の各画素についてターゲットマークであるか否かを判定してターゲットマークを明示した２値化画像を出力する閾値処理手段と、
前記２値化画像に基づいてターゲットマークの位置を認識するターゲットマーク認識手段と
を備えたことを特徴とする請求項１に記載の自車位置検出装置。 The target mark detection means includes
A target mark detection filter having a central area having the same characteristics as the target mark and an outer peripheral area having characteristics different from the target mark, and the target mark detection filter is set to a local area on the road surface image. Local area luminance detecting means for detecting the luminance,
A central region luminance analysis means for calculating a statistical value of the luminance distribution in the central region using the luminance detection result in the local region;
An outer peripheral area luminance analysis means for calculating a statistical value of the luminance distribution in the outer peripheral area using the luminance detection result in the local area;
Using the luminance distribution statistics in the central region and the outer peripheral region, calculated based on the difference in luminance between the central region and the outer peripheral region and the sum of the luminance distribution in the central region and the outer peripheral region. A separation degree evaluation means for calculating a separation degree for each pixel of the road surface image;
Threshold processing means for determining whether each pixel of the road image is a target mark by processing the degree of separation with a predetermined threshold and outputting a binarized image in which the target mark is clearly indicated;
The own vehicle position detecting device according to claim 1, further comprising target mark recognition means for recognizing a position of the target mark based on the binarized image.
前記中心領域輝度解析手段及び前記外周領域輝度解析手段は、前記インテグラルイメージに基づいて前記輝度分布の統計値を算出することを特徴とする請求項２に記載の自車位置検出装置。 The target mark detection filter further includes an integral image creating means for creating an integral image of a brightness value and a square of the brightness value from the road surface image,
The vehicle position detection device according to claim 2, wherein the central region luminance analysis unit and the outer peripheral region luminance analysis unit calculate a statistical value of the luminance distribution based on the integral image.
前記円形マークのうちの２つを結んだ直線に基づいて前記駐車スペースと前記自車両との間の相対角度を算出する相対角度算出手段と、
前記円形マークのうちの２つの中点に基づいて前記駐車スペースと前記自車両との間の相対距離を算出する相対距離算出手段と
を備えたことを特徴とする請求項１〜６のいずれか１項に記載の自車位置検出装置。 The vehicle position calculating means includes
A relative angle calculating means for calculating a relative angle between the parking space and the host vehicle based on a straight line connecting two of the circular marks;
7. A relative distance calculating means for calculating a relative distance between the parking space and the host vehicle based on two middle points of the circular marks. The vehicle position detection device according to item 1.
前記駐車スペースを自車両から撮像して前記駐車スペースの路面画像を出力する撮像手段と、前記路面画像から前記ターゲットマークの位置を検出するターゲットマーク検出手段と、前記ターゲットマークの位置に基づいて前記駐車スペースと前記自車両との間の相対位置を算出する自車位置算出手段とを備えた自車位置検出装置と
を含むことを特徴とする自車位置検出システム。 Formed by two or more circular marks installed on the road surface of the parking space, each of the circular marks has a distinguishable pattern, and at least two of the circular marks are on the vehicle entrance side of the parking space. Target marks that are spaced apart in the width direction; and
Based on the position of the target mark, imaging means for imaging the parking space from the own vehicle and outputting a road surface image of the parking space, target mark detection means for detecting the position of the target mark from the road surface image, A host vehicle position detection system comprising: a host vehicle position detection device including a host vehicle position calculation unit that calculates a relative position between a parking space and the host vehicle.
前記路面画像から前記駐車スペースの路面上に設置されたターゲットマークの位置を検出するターゲットマーク検出ステップと、
前記ターゲットマークの位置に基づいて前記駐車スペースと前記自車両との間の相対位置を算出する自車位置算出ステップとを含み、
前記ターゲットマーク検出ステップで検出されるターゲットマークは、２つ以上の円形マークで形成され、前記円形マークはそれぞれ区別可能なパターンを有し、前記円形マークのうちの少なくとも２つは前記駐車スペースの車両進入側に幅方向で離間して配置されていることを特徴とする自車位置検出方法。 An imaging step of imaging the parking space from the imaging means of the host vehicle and outputting a road surface image of the parking space;
A target mark detection step for detecting a position of a target mark installed on the road surface of the parking space from the road surface image;
A vehicle position calculating step for calculating a relative position between the parking space and the vehicle based on the position of the target mark,
The target mark detected in the target mark detection step is formed of two or more circular marks, each of the circular marks has a distinguishable pattern, and at least two of the circular marks are the parking spaces. A vehicle position detection method, wherein the vehicle position detection method is arranged to be separated from each other in the width direction on the vehicle entry side.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012047703A JP2013182551A (en) | 2012-03-05 | 2012-03-05 | Own vehicle position detection device, own vehicle position detection system and own vehicle position detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012047703A JP2013182551A (en) | 2012-03-05 | 2012-03-05 | Own vehicle position detection device, own vehicle position detection system and own vehicle position detection method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2013182551A true JP2013182551A (en) | 2013-09-12 |
Family
ID=49273134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012047703A Pending JP2013182551A (en) | 2012-03-05 | 2012-03-05 | Own vehicle position detection device, own vehicle position detection system and own vehicle position detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2013182551A (en) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9151628B1 (en) | 2015-01-30 | 2015-10-06 | Nissan North America, Inc. | Associating parking areas with destinations |
| US9436183B2 (en) | 2015-01-15 | 2016-09-06 | Nissan North America, Inc. | Associating passenger docking locations with destinations using vehicle transportation network partitioning |
| US9448559B2 (en) | 2015-01-15 | 2016-09-20 | Nissan North America, Inc. | Autonomous vehicle routing and navigation using passenger docking locations |
| US9519290B2 (en) | 2015-01-15 | 2016-12-13 | Nissan North America, Inc. | Associating passenger docking locations with destinations |
| US9541409B2 (en) | 2014-12-18 | 2017-01-10 | Nissan North America, Inc. | Marker aided autonomous vehicle localization |
| US9568335B2 (en) | 2015-01-30 | 2017-02-14 | Nissan North America, Inc. | Associating parking areas with destinations based on automatically identified associations between vehicle operating information and non-vehicle operating information |
| US9625906B2 (en) | 2015-01-15 | 2017-04-18 | Nissan North America, Inc. | Passenger docking location selection |
| US9697730B2 (en) | 2015-01-30 | 2017-07-04 | Nissan North America, Inc. | Spatial clustering of vehicle probe data |
| US9778658B2 (en) | 2015-03-13 | 2017-10-03 | Nissan North America, Inc. | Pattern detection using probe data |
| KR101830249B1 (en) * | 2014-03-20 | 2018-03-29 | 한국전자통신연구원 | Position recognition apparatus and method of mobile object |
| JP2018103751A (en) * | 2016-12-26 | 2018-07-05 | 株式会社Ｓｏｋｅｎ | Parking support device |
| US10120381B2 (en) | 2015-03-13 | 2018-11-06 | Nissan North America, Inc. | Identifying significant locations based on vehicle probe data |
| CN110488280A (en) * | 2019-08-29 | 2019-11-22 | 广州小鹏汽车科技有限公司 | A kind of modification method and device, vehicle, storage medium of parking stall profile |
| EP4230837A1 (en) | 2022-02-18 | 2023-08-23 | Sandvik Mining and Construction Lyon SAS | Apparatus for position detection, mine vehicle and method |
-
2012
- 2012-03-05 JP JP2012047703A patent/JP2013182551A/en active Pending
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101830249B1 (en) * | 2014-03-20 | 2018-03-29 | 한국전자통신연구원 | Position recognition apparatus and method of mobile object |
| US9541409B2 (en) | 2014-12-18 | 2017-01-10 | Nissan North America, Inc. | Marker aided autonomous vehicle localization |
| US9436183B2 (en) | 2015-01-15 | 2016-09-06 | Nissan North America, Inc. | Associating passenger docking locations with destinations using vehicle transportation network partitioning |
| US9448559B2 (en) | 2015-01-15 | 2016-09-20 | Nissan North America, Inc. | Autonomous vehicle routing and navigation using passenger docking locations |
| US9519290B2 (en) | 2015-01-15 | 2016-12-13 | Nissan North America, Inc. | Associating passenger docking locations with destinations |
| US9625906B2 (en) | 2015-01-15 | 2017-04-18 | Nissan North America, Inc. | Passenger docking location selection |
| US10012995B2 (en) | 2015-01-15 | 2018-07-03 | Nissan North America, Inc. | Autonomous vehicle routing and navigation using passenger docking locations |
| US10269240B2 (en) | 2015-01-30 | 2019-04-23 | Nissan North America, Inc. | Automatically identifying associations between vehicle operating data and non-vehicle operating data |
| US9568335B2 (en) | 2015-01-30 | 2017-02-14 | Nissan North America, Inc. | Associating parking areas with destinations based on automatically identified associations between vehicle operating information and non-vehicle operating information |
| US9697730B2 (en) | 2015-01-30 | 2017-07-04 | Nissan North America, Inc. | Spatial clustering of vehicle probe data |
| US9151628B1 (en) | 2015-01-30 | 2015-10-06 | Nissan North America, Inc. | Associating parking areas with destinations |
| US9778658B2 (en) | 2015-03-13 | 2017-10-03 | Nissan North America, Inc. | Pattern detection using probe data |
| US10120381B2 (en) | 2015-03-13 | 2018-11-06 | Nissan North America, Inc. | Identifying significant locations based on vehicle probe data |
| JP2018103751A (en) * | 2016-12-26 | 2018-07-05 | 株式会社Ｓｏｋｅｎ | Parking support device |
| CN110488280A (en) * | 2019-08-29 | 2019-11-22 | 广州小鹏汽车科技有限公司 | A kind of modification method and device, vehicle, storage medium of parking stall profile |
| EP4230837A1 (en) | 2022-02-18 | 2023-08-23 | Sandvik Mining and Construction Lyon SAS | Apparatus for position detection, mine vehicle and method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2013182551A (en) | Own vehicle position detection device, own vehicle position detection system and own vehicle position detection method | |
| JP4171501B2 (en) | Vehicle periphery monitoring device | |
| JP6233345B2 (en) | Road surface gradient detector | |
| US9235990B2 (en) | Vehicle periphery monitoring device | |
| JP4456086B2 (en) | Vehicle periphery monitoring device | |
| JP5922257B2 (en) | Vehicle periphery monitoring device | |
| EP2557540B1 (en) | Vehicle periphery monitoring device | |
| WO2013133129A1 (en) | Moving-object position/attitude estimation apparatus and method for estimating position/attitude of moving object | |
| JP5809751B2 (en) | Object recognition device | |
| JP2014215877A (en) | Object detection device | |
| JP2007241898A (en) | Stopping vehicle classifying and detecting device and vehicle peripheral monitoring device | |
| CN107527017B (en) | Parking space detection method and system, storage medium and electronic equipment | |
| WO2020196513A1 (en) | Object detection device | |
| JP2007304033A (en) | Monitoring device for vehicle periphery, vehicle, vehicle peripheral monitoring method, and program for vehicle peripheral monitoring | |
| CN108304749A (en) | The recognition methods of road speed line, device and vehicle | |
| JP5927110B2 (en) | Vehicle external recognition device | |
| EP3352134B1 (en) | Image processing device, object recognition device, device control system, image processing method, and program | |
| JP5983729B2 (en) | White line detection device, white line detection filter device, and white line detection method | |
| JP2019020956A (en) | Vehicle surroundings recognition device | |
| CN104115201A (en) | Three-dimensional object detection device | |
| KR20120009591A (en) | Vehicle Collision Alarm System and Method | |
| CN104008518B (en) | Body detection device | |
| JP2008077154A (en) | Vehicle periphery supervision unit | |
| JP5502149B2 (en) | Vehicle periphery monitoring device | |
| JP4765113B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130529 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130529 |