CN111417556A - 车辆位置估计装置以及车辆控制装置 - Google Patents

车辆位置估计装置以及车辆控制装置 Download PDF

Info

Publication number
CN111417556A
CN111417556A CN201880071990.4A CN201880071990A CN111417556A CN 111417556 A CN111417556 A CN 111417556A CN 201880071990 A CN201880071990 A CN 201880071990A CN 111417556 A CN111417556 A CN 111417556A
Authority
CN
China
Prior art keywords
vehicle
road surface
data
parking lot
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880071990.4A
Other languages
English (en)
Inventor
田中优
久野耕嗣
日与川丰治
小川启太
今村吉昭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Publication of CN111417556A publication Critical patent/CN111417556A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027Parking aids, e.g. instruction means
    • B62D15/0285Parking performed automatically
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G01C21/3685Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities the POI's being parking facilities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/48Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096805Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route
    • G08G1/096827Systems involving transmission of navigation instructions to the vehicle where the transmitted instructions are used to compute a route where the route is computed onboard
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096833Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route
    • G08G1/09685Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route where the complete route is computed only once and not updated
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/141Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces
    • G08G1/143Traffic control systems for road vehicles indicating individual free spaces in parking areas with means giving the indication of available parking spaces inside the vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/145Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas
    • G08G1/146Traffic control systems for road vehicles indicating individual free spaces in parking areas where the indication depends on the parking areas where the parking area is a limited parking space, e.g. parking garage, restricted space

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Navigation (AREA)

Abstract

作为实施方式的一个例子的车辆位置估计装置具备:停车场数据获取部,获取能够确定被设置在停车场的路面的路面标识的绝对方位以及绝对位置的停车场数据;图像数据获取部,获取通过拍摄车辆的周边状况的车载照相机得到的图像数据;以及位置估计部,通过从图像数据检测与路面标识相关的路面标识数据,来计算图像数据上的路面标识相对于车辆的相对方位以及相对位置,并基于计算出的相对方位以及相对位置、和停车场数据来估计车辆的实际方位以及实际位置。

Description

车辆位置估计装置以及车辆控制装置
技术领域
本发明的实施方式涉及车辆位置估计装置以及车辆控制装置。
背景技术
近年来,研究用于实现包含在停车场内的规定的下车区域乘客从车辆下车之后,根据规定的指示使车辆从下车区域自动地移动至空闲的停车区域并驻车的自动驻车、和在该自动驻车完成之后,根据规定的调用使车辆从停车区域出库并自动地移动至规定的乘车区域并停车的自动出库的自动代客驻车的技术。
专利文献1:日本特开2015-41348号公报
在上述那样的自动代客驻车等以自动行驶为前提的技术中,正确地把握自动行驶中的车辆的当前位置较重要。对于这一点,以往,已知有使用车轮速度传感器等的检测值估计车辆的当前位置的方法(所谓的里程表)。然而,在该方法中,车辆的移动距离越大,估计结果的误差越累积而变得更大,所以有不能够正确地把握车辆的当前位置的情况。
发明内容
因此,实施方式的课题之一在于提供能够正确地把握车辆的当前位置的车辆位置估计装置以及车辆控制装置。
作为实施方式的一个例子的车辆位置估计装置具备:停车场数据获取部,获取能够确定被设置在停车场的路面的路面标识的绝对方位以及绝对位置的停车场数据;图像数据获取部,获取通过拍摄车辆的周边状况的车载照相机得到的图像数据;以及位置估计部,通过从图像数据检测与路面标识相关的路面标识数据,来计算图像数据上的路面标识相对于车辆的相对方位以及相对位置,并基于计算出的相对方位以及相对位置、和停车场数据,估计车辆的实际方位以及实际位置。
根据上述的车辆位置估计装置,能够考虑利用基于图像数据计算出的相对位置以及相对方位确定出的计算上的路面标识的位置以及方位与基于停车场数据确定出的路面标识的(正规的)绝对位置以及绝对方位的偏差,正确地把握车辆的当前位置(实际位置)以及当前的方向(实际方位)。
在作为上述的一个例子的车辆位置估计装置中,位置估计部通过从侧方图像数据检测路面标识数据,来计算存在于车辆的左侧方以及右侧方中一方的路面标识的相对方位以及相对位置,上述侧方图像数据是表示车辆的左侧方以及右侧方中一方的状况的图像数据。根据该构成,能够利用容易摄入路面标识的侧方图像数据,容易地计算路面标识的相对方位以及相对位置。
另外,在作为上述的一个例子的车辆位置估计装置中,停车场数据获取部获取能够确定划分线的绝对方位以及绝对位置的划分线数据作为停车场数据,上述划分线是预先设置在停车场内的表示停车区域的边界的路面标识,位置估计部通过检测图像数据上的划分线的端部的位置和该划分线的方向作为路面标识数据,来计算划分线的相对方位以及相对位置,并基于计算出的相对方位以及相对位置、和划分线数据来估计车辆的实际方位以及实际位置。根据该构成,能够利用一般作为表示停车区域的边界的路面标识设置的划分线,容易地估计车辆的实际方位以及实际位置。
在利用划分线的上述的构成中,位置估计部检测图像数据上的划分线中通过该划分线划分为具有开口部的停车区域的开口部侧的端部的位置、和包含该端部的划分线的延伸方向,作为路面标识数据。根据该构成,能够利用划分线中停车区域的开口部侧的端部的位置和包含该端部的划分线的延伸方向,容易地估计车辆的实际方位以及实际位置。
另外,在利用划分线的上述的构成中,位置估计部检测图像数据上的划分线的端部的中心点的位置、和包含该端部的划分线的延伸方向,作为路面标识数据。根据该构成,能够利用划分线的端部的中心点的位置和包含该端部的划分线的延伸方向,容易地估计车辆的实际方位以及实际位置。
另外,在作为上述的一个例子的车辆位置估计装置中,停车场数据获取部获取能够确定包含第一线段的第一标记的绝对方位以及绝对位置的第一标记数据作为停车场数据,上述第一标记是预先设置在停车场内的车辆的行驶路径的周边的路面标识,位置估计部通过检测图像数据上的第一标记的位置与该第一标记所包含的第一线段的方向作为路面标识数据,来计算第一标记相对于车辆的相对方位以及相对位置,并基于计算出的相对方位以及相对位置、和第一标记数据来估计车辆的实际方位以及实际位置。根据该构成,能够利用第一标记容易地估计车辆的实际方位以及实际位置。
另外,在作为上述的一个例子的车辆位置估计装置中,停车场数据获取部获取能够确定划分线的绝对方位以及绝对位置的划分线数据、和能够确定包含第二线段的第二标记的绝对方位以及绝对位置的第二标记数据的至少一方作为停车场数据,上述划分线是预先设置在停车场内的表示停车区域的边界的路面标识,上述第二标记是设置在划分线的周边区域且停车场内的车辆的转弯路径的内侧的区域的路面标识,位置估计部通过在车辆的转弯时从内侧图像数据检测与划分线以及第二标记的至少一方相关的数据作为路面标识数据,来计算存在于车辆的转弯的内侧的划分线以及第二标记的至少一方的相对方位以及相对位置,并基于计算出的相对方位以及相对位置、和与检测出的路面标识数据对应的划分线数据以及第二标记数据的至少一方,来估计车辆的实际方位以及实际位置,上述内侧图像数据是表示车辆的转弯的内侧的状况的图像数据。根据该构成,能够利用划分线和第二标记的至少一方,精度良好地估计转弯时的车辆的实际方位以及实际位置。
另外,在作为上述的一个例子的车辆位置估计装置中,位置估计部通过检测图像数据上的第一坐标系上的表示路面标识的方位以及位置的第一值作为路面标识数据,将该第一值转换为与车载照相机对应的第二坐标系上的第二值,并将该第二值转换为与车辆对应的第三坐标系上的第三值,来将该第三值计算为路面标识相对于车辆的相对方位以及相对位置。根据该构成,能够通过坐标转换,容易地计算路面标识相对于车辆的相对方位以及相对位置。
另外,在作为上述的一个例子的车辆位置估计装置中,位置估计部基于车辆的实际方位以及实际位置的估计值、和路面标识的相对方位以及相对位置,来计算路面标识的计算上的绝对方位以及绝对位置,其中,上述车辆的实际方位以及实际位置的估计值基于车辆的实际方位以及实际位置的上次的估计结果、和基于里程表的车辆的实际方位以及实际位置的变化量,从停车场数据提取与该计算上的绝对位置的周边对应的部分数据,基于计算上的绝对位置与基于部分数据的绝对方位以及绝对位置的差分来修正车辆的实际方位以及实际位置的估计值,并基于修正结果估计车辆的实际方位以及实际位置。根据该构成,能够不利用停车场数据的全部,而利用部分数据,容易地估计车辆的实际方位以及实际位置。
在该情况下,位置估计部修正实际方位的估计值以使得计算上的绝对方位与基于部分数据的绝对方位一致,之后修正实际位置的估计值以使得计算上的绝对位置与基于部分数据的绝对位置一致。根据该构成,能够阶段性地容易地修正车辆的实际方位以及实际位置的估计值。
作为实施方式的其它的一个例子的车辆位置估计装置具备:停车场数据获取部,获取包含与设置于停车场的路面的多个路面标识中的每个路面标识的绝对位置相关的信息的停车场数据;图像数据获取部,获取通过拍摄车辆的周边状况的车载照相机得到的拍摄图像的图像数据;以及位置估计部,通过从图像数据检测与多个路面标识中至少两个路面标识相关的路面标识数据,来计算图像数据上的至少两个路面标识相对于车辆的相对位置,并基于计算出的相对位置、和停车场数据来估计车辆的实际位置。
根据上述的车辆位置估计装置,能够考虑利用基于图像数据计算出的相对位置确定出的至少两个路面标识的计算上的路面标识的位置(以及它们的位置关系)与基于停车场数据确定出的该至少两个路面标识的(正规的)绝对位置(以及它们的位置关系)的偏差,正确地把握车辆的当前位置(实际位置)。
在作为上述的其它的一个例子的车辆位置估计装置中,位置估计部通过从左侧方图像数据检测多个路面标识中存在于车辆的左侧方的至少一个第一路面标识的第一位置作为路面标识数据,并且从右侧方图像数据检测多个路面标识中存在于车辆的右侧方的至少一个第二路面标识的第二位置作为路面标识数据,来计算第一路面标识以及第二路面标识的相对位置,上述左侧方图像数据是表示车辆的左侧方的状况的图像数据,上述右侧方图像数据是表示车辆的右侧方的状况的图像数据。根据该构成,能够利用不同的两种图像(左侧方图像数据以及右侧方图像数据),精度良好地计算至少两个路面标识的相对位置。
另外,在作为上述的其它的一个例子的车辆位置估计装置中,位置估计部通过从侧方图像数据检测至少两个路面标识各自的位置作为路面标识数据,来计算存在于车辆的左侧方以及右侧方中一方的至少两个路面标识的相对位置,上述侧方图像数据是表示车辆的左侧方以及右侧方中一方的状况的图像数据。根据该构成,能够仅利用一种图像(侧方图像数据),容易地计算至少两个路面标识的相对位置。
另外,在作为上述的其它的一个例子的车辆位置估计装置中,停车场数据获取部获取能够确定多个划分线的端部的绝对位置的划分线数据作为停车场数据,上述多个划分线是预先设置在停车场内的表示停车区域的边界的路面标识,位置估计部通过检测图像数据上的多个划分线中至少两个划分线的端部的位置作为路面标识数据,来计算至少两个划分线的相对位置,并基于计算出的相对位置、和划分线数据来估计车辆的实际位置。根据该构成,能够利用一般作为表示停车区域的边界的路面标识设置的多个划分线中的至少两个,容易地估计车辆的实际位置。
在利用至少两个划分线的上述的构成中,位置估计部检测图像数据上的至少两个划分线中通过该划分线划分为具有开口部的停车区域的开口部侧的端部的位置作为路面标识数据。根据该构成,能够利用至少两个划分线中停车区域的开口部侧的端部的位置,容易地估计车辆的实际位置。
另外,在利用至少两个划分线的上述的构成中,位置估计部检测图像数据上的至少两个划分线的端部的中心点的位置作为路面标识数据。根据该构成,能够利用至少两个划分线的端部的中心点的位置,容易地估计车辆的实际位置。
另外,在作为上述的其它的一个例子的车辆位置估计装置中,停车场数据获取部获取能够确定多个划分线的端部的绝对位置的划分线数据、和能够确定多个标记的绝对位置的标记数据作为停车场数据,上述多个划分线是预先设置在停车场内的表示停车区域的边界的路面标识,上述多个标记预先设置在停车场内的车辆的行驶路径的周边,位置估计部通过检测与多个划分线中至少两个、或者多个标记中至少两个、或者多个划分线以及多个标记中至少各一个相关的路面标识数据,来估计车辆的实际位置。根据该构成,能够基于多个划分线以及多个标记中任意的两个以上的组合,容易地估计车辆的实际位置。
另外,在作为上述的其它的一个例子的车辆位置估计装置中,位置估计部通过检测图像数据上的第一坐标系上的表示至少两个路面标识的位置的第一值作为路面标识数据,将该第一值转换为与车载照相机对应的第二坐标系上的第二值,并将该第二值转换为与车辆对应的第三坐标系上的第三值,来将该第三值计算为至少两个路面标识相对于车辆的相对位置。根据该构成,能够通过坐标转换,容易地计算至少两个路面标识相对于车辆的相对位置。
另外,在作为上述的其它的一个例子的车辆位置估计装置中,位置估计部基于车辆的实际位置的估计值、和至少两个路面标识的相对位置,来计算至少两个路面标识的计算上的绝对位置,从停车场数据提取与该计算上的绝对位置的周边对应的部分数据,基于计算上的绝对位置与绝对位置的差分来修正车辆的实际位置的估计值,并基于修正结果估计车辆的实际位置,上述车辆的实际位置的估计值基于车辆的实际位置的上次的估计结果、和基于里程表的车辆的实际位置的变化量。根据该构成,能够不利用停车场数据的全部,而利用部分数据,容易地估计车辆的实际位置。
作为实施方式的其它的一个例子的车辆控制装置是安装于车辆的车辆控制装置,具备:行驶控制部,控制车辆的行驶状态以实现停车场内的自动行驶;停车场数据获取部,获取能够确定被设置在停车场的路面的路面标识的绝对方位以及绝对位置的停车场数据;图像数据获取部,获取通过拍摄车辆的周边状况的车载照相机得到的图像数据;以及位置估计部,通过在自动行驶的实施中,从图像数据检测与路面标识相关的路面标识数据,来计算图像数据上的路面标识相对于车辆的相对方位以及相对位置,并基于计算出的相对方位以及相对位置、和停车场数据,估计车辆的实际方位以及实际位置。
根据上述的车辆控制装置,能够考虑利用基于图像数据计算出的相对位置以及相对方位确定出的计算上的路面标识的位置以及方位与基于停车场数据确定出的路面标识的(正规的)绝对位置以及绝对方位的偏差,正确地把握自动行驶中的车辆的当前位置(实际位置)以及当前的方向(实际方位)。
作为实施方式的其它的一个例子的车辆控制装置是安装于车辆的车辆控制装置,具备:行驶控制部,控制车辆的行驶状态以实现停车场内的自动行驶;停车场数据获取部,获取包含与设置在停车场的路面的多个路面标识中的每个路面标识的绝对位置相关的信息的停车场数据;图像数据获取部,获取通过拍摄车辆的周边状况的车载照相机得到的拍摄图像的图像数据;以及位置估计部,通过在自动行驶的实施中,从图像数据检测与多个路面标识中至少两个路面标识相关的路面标识数据,计算图像数据上的至少两个路面标识相对于车辆的相对位置,并基于计算出的相对位置和停车场数据来估计车辆的包含实际方位的实际位置。
根据上述的车辆控制装置,能够考虑利用基于图像数据计算出的相对位置确定出的至少两个路面标识的计算上的路面标识的位置(以及它们的位置关系)与基于停车场数据确定出的该至少两个路面标识的(正规的)绝对位置(以及它们的位置关系)的偏差,正确地把握自动行驶中的车辆的当前位置(实际位置)。
附图说明
图1是表示实施方式所涉及的自动代客驻车系统中的自动驻车的一个例子的例示性的示意图。
图2是表示实施方式所涉及的自动代客驻车系统中的自动出库的一个例子的例示性的示意图。
图3是表示实施方式所涉及的管制装置的硬件构成的例示性和示意性框图。
图4是表示实施方式所涉及的车辆控制系统的系统构成的例示性和示意性框图。
图5是表示实施方式所涉及的管制装置以及车辆控制装置的功能的例示性和示意性框图。
图6是用于说明通过实施方式所涉及的车辆控制装置的位置估计部实施的当前位置的估计方法的一个例子的例示性的示意图。
图7是用于说明通过实施方式所涉及的车辆控制装置的位置估计部实施的当前位置的估计方法的与图6不同的一例的例示性的示意图。
图8是用于说明通过实施方式所涉及的车辆控制装置的位置估计部实施的当前位置的估计方法的与图6以及图7不同的一例的例示性的示意图。
图9是用于说明通过实施方式所涉及的车辆控制装置的位置估计部实施的当前位置的估计方法的与图6~图8不同的一例的例示性的示意图。
图10是用于说明通过实施方式所涉及的车辆控制装置的位置估计部实施的当前位置的估计方法的与图6~图9不同的一例的例示性的示意图。
图11是用于说明通过实施方式所涉及的车辆控制装置的位置估计部实施的考虑了一个路面标识的相对位置以及相对方位双方的修正的详细的例示性的示意图。
图12是用于接着图11说明通过实施方式所涉及的车辆控制装置的位置估计部实施的考虑了一个路面标识的相对位置以及相对方位双方的修正的详细的例示性的示意图。
图13是用于说明通过实施方式所涉及的车辆控制装置的位置估计部实施的仅考虑了多个路面标识的相对位置的修正的详细的例示性的示意图。
图14是用于接着图13说明通过实施方式所涉及的车辆控制装置的位置估计部实施的仅考虑了多个路面标识的相对位置的修正的详细的例示性的示意图。
图15是表示在实施方式中执行自动驻车的情况下管制装置以及车辆控制装置执行的处理的流程的例示性和示意性时序图。
图16是表示在实施方式中执行自动出库的情况下管制装置以及车辆控制装置执行的处理的流程的例示性和示意性时序图。
图17是表示在实施方式中执行自动驻车以及自动出库的情况下车辆控制装置执行的行驶控制所包含的当前位置的估计处理的流程的例示性和示意性流程图。
图18是表示在实施方式中执行行驶控制的情况下车辆控制装置执行的路面标识数据的检测处理的流程的例示性和示意性流程图。
图19是表示在实施方式中执行行驶控制的情况下车辆控制装置执行的当前位置的估计处理的流程的例示性和示意性流程图。
图20是用于说明通过实施方式所涉及的车辆控制装置的位置估计部实施的路面标识的相对位置以及相对方位的确定的详细的例示性的示意图。
图21是用于接着图20说明通过实施方式所涉及的车辆控制装置的位置估计部实施的路面标识的相对位置以及相对方位的确定的详细的例示性的示意图。
图22是用于说明通过实施方式所涉及的车辆控制装置的位置估计部实施的车辆的实际方位的修正的详细的例示性的示意图。
图23是用于接着图22说明通过实施方式所涉及的车辆控制装置的位置估计部实施的车辆的实际方位的修正的详细的例示性的示意图。
图24是用于说明通过实施方式所涉及的车辆控制装置的位置估计部实施的车辆的实际位置的修正的详细的例示性的示意图。
具体实施方式
以下,基于附图对实施方式进行说明。以下记载的实施方式的构成、及通过该构成带来的作用以及结果(效果)仅为一个例子,并不限定于以下的记载内容。
首先,参照图1以及图2对实施方式所涉及的自动代客驻车系统的概略进行说明。这里,自动代客驻车系统是指用于在具有例如通过白线等规定的划分线L以设置了开口部(车辆V的出入口)的方式划分的一个以上的停车区域R的停车场P中,实现包含以下说明的那样的自动驻车以及自动出库的自动代客驻车的系统。
图1是表示实施方式所涉及的自动代客驻车系统中的自动驻车的一个例子的例示性的示意图,图2是表示实施方式所涉及的自动代客驻车系统中的自动出库的一个例子的例示性的示意图。
如图1以及图2所示,在自动代客驻车中,执行:自动驻车,在停车场P内的规定的下车区域P1乘客X从车辆V下车之后,根据规定的指示使车辆V从下车区域P1自动地移动到空闲的停车区域R并驻车(参照图1的箭头C1);和自动出库,在该自动驻车完成后,根据规定的调用使车辆V从停车区域R出库并自动地移动至规定的乘车区域P2并停车(参照图2的箭头C2)。此外,规定的指示以及规定的调用通过乘客X对终端装置T的操作实现。
另外,如图1以及图2所示,自动代客驻车系统具有设置于停车场P的管制装置101、和安装于车辆V的车辆控制系统102。管制装置101和车辆控制系统102构成为能够通过无线通信相互通信。
这里,管制装置101构成为通过接受从拍摄停车场P内的状况的一个以上的监视照相机103得到的图像数据、从设置于停车场P内的各种传感器(未图示)等输出的数据来监视停车场P内的状况,并基于监视结果管理停车区域R。以下,存在将管制装置101为了监视停车场P内的状况而接受的信息总称为传感器数据的情况。
此外,在实施方式中,停车场P中的下车区域P1、乘车区域P2、以及停车区域R的数目、配置等并不限定于图1以及图2所示的例子。实施方式的技术能够应用于与图1以及图2所示的停车场P不同的各种构成的停车场。
接下来,参照图3以及图4,对实施方式所涉及的管制装置101以及车辆控制系统102的构成进行说明。此外,图3以及图4所示的构成仅是一个例子,实施方式所涉及的管制装置101以及车辆控制系统102的构成能够进行各种设定(变更)。
首先,参照图3,对实施方式所涉及的管制装置101的硬件构成进行说明。
图3是表示实施方式所涉及的管制装置101的硬件构成的例示性和示意性框图。如图3所示,实施方式所涉及的管制装置101具有与PC(Personal Computer:个人计算机)等一般信息处理装置相同的计算机资源。
在图3所示的例子中,管制装置101具有CPU(Central Processing Unit:中央处理器)301、ROM(Read Only Memory:只读存储器)302、RAM(Random Access Memory:随机存储器)303、通信接口(I/F)304、输入输出接口(I/F)305、以及SSD(Solid State Drive:固态硬盘)306。这些硬件经由数据总线350相互连接。
CPU301是统一地控制管制装置101的硬件处理器。CPU301读出存储于ROM302等的各种控制程序(计算机程序),并根据该各种控制程序所规定的指令实现各种功能。
ROM302是存储上述的各种控制程序的执行所需要的参数等的非易失性的主存储装置。
RAM303是提供CPU301的工作区的易失性的主存储装置。
通信接口304是实现管制装置101与外部装置之间的通信的接口。例如,通信接口304实现基于管制装置101与车辆V(车辆控制系统102)之间的无线通信的信号的发送接收。
输入输出接口305是实现管制装置101与外部装置的连接的接口。作为外部装置,例如考虑管制装置101的操作人员使用的输入输出设备等。
SSD306是能够改写的非易失性的辅助存储装置。此外,在实施方式所涉及的管制装置101中,作为辅助存储装置,也可以代替SSD306(或者除了SSD306之外),设置HDD(HardDisk Drive:硬盘驱动器)。
接下来,参照图4,对实施方式所涉及的车辆控制系统102的系统构成进行说明。
图4是表示实施方式所涉及的车辆控制系统102的系统构成的例示性和示意性框图。如图4所示,车辆控制系统102具有制动系统401、加速系统402、转向操纵系统403、变速系统404、障碍物传感器405、行驶状态传感器406、通信接口(I/F)407、车载照相机408、监视器装置409、车辆控制装置410、以及车载网络450。
制动系统401控制车辆V的减速。制动系统401具有制动部401a、制动控制部401b、以及制动部传感器401c。
制动部401a例如是包含制动踏板等的用于使车辆V减速的装置。
制动控制部401b例如是由具有CPU等硬件处理器的计算机构成的ECU(ElectronicControl Unit:电子控制单元)。制动控制部401b基于来自车辆控制装置410的指示驱动促动器(未图示),使制动部401a工作,从而控制车辆V的减速程度。
制动部传感器401c是用于检测制动部401a的状态的装置。例如,在制动部401a包含制动踏板的情况下,制动部传感器401c检测制动踏板的位置或者作用于该制动踏板的压力作为制动部401a的状态。制动部传感器401c将检测出的制动部401a的状态输出至车载网络450。
加速系统402控制车辆V的加速。加速系统402具有加速部402a、加速控制部402b、以及加速部传感器402c。
加速部402a例如是包含加速器踏板等的用于使车辆V加速的装置。
加速控制部402b例如是由具有CPU等硬件处理器的计算机构成的ECU。加速控制部402b基于来自车辆控制装置410的指示驱动促动器(未图示),使加速部402a工作,从而控制车辆V的加速程度。
加速部传感器402c是用于检测加速部402a的状态的装置。例如,在加速部402a包含加速器踏板的情况下,加速部传感器402c检测加速器踏板的位置或者作用于该加速器踏板的压力。加速部传感器402c将检测出的加速部402a的状态输出至车载网络450。
转向操纵系统403控制车辆V的行进方向。转向操纵系统403具有转向操纵部403a、转向操纵控制部403b、以及转向操纵部传感器403c。
转向操纵部403a例如是包含方向盘或者手柄等的使车辆V的转向轮转向的装置。
转向操纵控制部403b例如是由具有CPU等硬件处理器的计算机构成的ECU。转向操纵控制部403b基于来自车辆控制装置410的指示驱动促动器(未图示),使转向操纵部403a工作,从而控制车辆V的行进方向。
转向操纵部传感器403c是用于检测转向操纵部403a的状态的装置。例如,在转向操纵部403a包含方向盘的情况下,转向操纵部传感器403c检测方向盘的位置或者该方向盘的旋转角度。此外,在转向操纵部403a包含手柄的情况下,转向操纵部传感器403c也可以检测手柄的位置或者作用于该手柄的压力。转向操纵部传感器403c将检测出的转向操纵部403a的状态输出至车载网络450。
变速系统404控制车辆V的变速比。变速系统404具有变速部404a、变速控制部404b、以及变速部传感器404c。
变速部404a例如是包含变速杆等的用于变更车辆V的变速比的装置。
变速控制部404b例如是由具有CPU等硬件处理器的计算机构成的ECU。变速控制部404b基于来自车辆控制装置410的指示驱动促动器(未图示),使变速部404a工作,从而控制车辆V的变速比。
变速部传感器404c是用于检测变速部404a的状态的装置。例如,在变速部404a包含变速杆的情况下,变速部传感器404c检测变速杆的位置或者作用于该变速杆的压力。变速部传感器404c将检测出的变速部404a的状态输出至车载网络450。
障碍物传感器405是用于检测与可能存在于车辆V的周围的障碍物相关的信息的装置。障碍物传感器405例如包含检测到障碍物为止的距离的声呐等测距传感器。障碍物传感器405将检测出的信息给输出车载网络450。
行驶状态传感器406是用于检测车辆V的行驶状态的装置。行驶状态传感器406例如包含检测车辆V的车轮速度的车轮速度传感器、检测车辆V的前后方向或者左右方向的加速度的加速度传感器、检测车辆V的转弯速度(角速度)的陀螺仪传感器等。行驶状态传感器406将检测出的行驶状态输出至车载网络450。
通信接口407是实现车辆控制系统102与外部装置之间的通信的接口。例如,通信接口407实现车辆控制系统102与管制装置101之间的基于无线通信的信号的发送接收、车辆控制系统102与终端装置T之间的基于无线通信的信号的发送接收等。
车载照相机408是用于拍摄车辆V的周边状况的装置。例如,车载照相机408设置有多个以便拍摄包含车辆V的前方、后方、以及侧方(左右两方)的路面的区域。通过车载照相机408得到的图像数据使用于车辆V的周边状况的监视(也包含障碍物的检测)。车载照相机408将得到的图像数据输出至车辆控制装置410。此外,以下,存在将从车载照相机408得到的图像数据、和从设置于车辆控制系统102的上述的各种传感器得到的数据总称为传感器数据的情况。
监视器装置409设置于车辆V的车厢内的仪表板等。监视器装置409具有显示部409a、声音输出部409b、以及操作输入部409c。
显示部409a是用于根据车辆控制装置410的指示显示图像的装置。显示部409a例如由液晶显示器(LCD:Liquid Crystal Display)、或者有机EL显示器(OELD:OrganicElectroluminescent Display:有机电致发光显示器)等构成。
声音输出部409b是用于根据车辆控制装置410的指示输出声音的装置。声音输出部409b例如由扬声器构成。
操作输入部409c是用于受理车辆V内的乘客的输入的装置。操作输入部409c例如由设置于显示部409a的显示画面的触摸面板、物理操作开关等构成。操作输入部409c将受理的输入输出至车载网络450。
车辆控制装置410是用于统一地控制车辆控制系统102的装置。车辆控制装置410是具有CPU410a、ROM410b、RAM410c等计算机资源的ECU。
更具体而言,车辆控制装置410具有CPU410a、ROM410b、RAM410c、SSD410d、显示控制部410e、以及声音控制部410f。
CPU410a是统一地控制车辆控制装置410的硬件处理器。CPU410a读出存储于ROM410b等的各种控制程序(计算机程序),并根据该各种控制程序所规定的指令实现各种功能。
ROM410b是存储上述的各种控制程序的执行所需要的参数等的非易失性的主存储装置。
RAM410c是提供CPU410a的工作区的易失性的主存储装置。
SSD410d是能够改写的非易失性的辅助存储装置。此外,在实施方式所涉及的车辆控制装置410中,作为辅助存储装置,也可以代替SSD410d(或者除了SSD410d之外)设置HDD。
显示控制部410e主要负责由车辆控制装置410执行的各种处理中的、对从车载照相机408得到的图像数据的图像处理、输出至监视器装置409的显示部409a的图像数据的生成等。
声音控制部410f主要负责由车辆控制装置410执行的各种处理中的、输出至监视器装置409的声音输出部409b的声音数据的生成等。
车载网络450以能够通信的方式将制动系统401、加速系统402、转向操纵系统403、变速系统404、障碍物传感器405、行驶状态传感器406、通信接口407、监视器装置409的操作输入部409c、以及车辆控制装置410连接。
然而,为了实现自动代客驻车系统中的自动驻车以及自动出库那样的自动行驶,正确地把握自动行驶中的车辆V的当前位置较重要。关于这一点,以往,已知有使用车轮速度传感器等的检测值估计车辆V的当前位置的方法(所谓的里程表)。然而,在该方法中,车辆V的移动距离越大,估计结果的误差越累积而增大,所以有不能够正确地把握车辆V的当前位置的情况。
因此,在实施方式中,通过使车辆控制装置410具有以下那样的功能,实现在自动驻车以及自动出库中的自动行驶中正确地把握车辆V的当前位置。换句话说,在实施方式中,车辆控制装置410是“车辆位置估计装置”的一个例子。
图5是表示实施方式所涉及的管制装置101以及车辆控制装置410的功能的例示性和示意性框图。通过软件和硬件的配合实现该图5所示的功能。换句话说,在图5所示的例子中,作为CPU301读出存储于ROM302等的规定的控制程序并执行的结果实现管制装置101的功能,作为CPU410a读出存储于ROM410b等的规定的控制程序并执行的结果实现车辆控制装置410的功能。此外,在实施方式中,也可以仅通过专用的硬件(电路)实现图5所示的管制装置101以及车辆控制装置410的一部分或者全部。
如图5所示,实施方式所涉及的管制装置101具有通信控制部511、传感器数据获取部512、停车场数据管理部513、以及引导路径生成部514,作为功能构成。
通信控制部511控制在与车辆控制装置410之间执行的无线通信。例如,通信控制部511通过在与车辆控制装置410之间发送接收规定的数据来进行车辆控制装置410的认证、或者接收在自动驻车以及自动出库完成时从车辆控制装置410输出的规定的完成通知、或者根据需要将后述的停车场P的地图数据、引导路径等发送至车辆控制装置410。
传感器数据获取部512从设置于停车场P内的监视照相机103、各种传感器(未图示)等获取上述的传感器数据。通过传感器数据获取部512获取的传感器数据(特别是从监视照相机103得到的图像数据)例如能够使用于停车区域R的空闲状况的把握等。
停车场数据管理部513管理与停车场P相关的数据(信息)。例如,停车场数据管理部513管理停车场P的地图数据、停车区域R的空闲状况等。例如,停车场数据管理部513在进行自动驻车时,从空闲的停车区域R中选择一个停车区域R,并将选择的一个停车区域R指定为自动驻车时的车辆V的到达目标亦即目标停车区域。另外,停车场数据管理部513在自动驻车完成之后车辆V再次移动变更了停车区域R的情况下,基于从传感器数据获取部512获取的传感器数据,确定变更后的停车区域R。
引导路径生成部514生成在进行自动驻车以及自动出库时指示给车辆控制装置410的引导路径。更具体而言,引导路径生成部514在进行自动驻车时,生成从下车区域P1到目标停车区域的大致的路径作为引导路径,在进行自动出库时,生成从目标停车区域(在自动驻车后车辆V移动的情况下是车辆V当前停车的停车区域R)到乘车区域P2的大致的路径作为引导路径。
另一方面,如图5所示,实施方式所涉及的车辆控制装置410具有通信控制部521、传感器数据获取部522、行驶控制部523、以及位置估计部524,作为功能构成。
通信控制部521控制在与管制装置101之间执行的无线通信。例如,通信控制部521通过在与管制装置101之间发送接收规定的数据来进行车辆控制装置410的认证、或者在自动驻车以及自动出库完成时向管制装置101发送规定的完成通知、或者根据需要从管制装置101接收停车场P的地图数据、引导路径等。因此,通信控制部521作为获取停车场P的地图数据的地图数据获取部发挥作用。
此外,在实施方式中,地图数据例如包含用于确定可能设置于停车场P的路面的各种路面标识(后述具体例)的绝对位置的信息。这里提及的绝对位置是也可能包含路面标识具有的方向性(绝对方位)的概念。换句话说,在路面标识包含具有规定的朝向(方向性)的线状的标识的情况下,根据地图数据,不仅能够确定设置了路面标识的绝对位置,还能够确定通过路面标识所包含的线状的标识示出的绝对方位。
传感器数据获取部522是获取通过车载照相机408得到的图像数据的图像数据获取部的一个例子,获取包含该图像数据和从设置于车辆控制系统102的各种传感器输出的数据的传感器数据。通过传感器数据获取部522获取的传感器数据例如能够使用于基于从管制装置101接收的引导路径的实际的行驶路径(包含停车路径以及出库路径)的生成、在实际沿着该行驶路径行驶时需要的各种参数(车速、转向角、行进方向等)的设定等以下的由行驶控制部523执行的车辆V的各种行驶控制。
行驶控制部523通过控制制动系统401、加速系统402、转向操纵系统403、变速系统404等来控制车辆V的行驶状态,以执行从下车区域P1开始的起步控制、从下车区域P1到停车区域R的行驶控制(包含驻车控制)、从停车区域R向乘车区域P2的行驶控制(包含出库控制)、向乘车区域P2的停车控制等用于实现自动驻车以及自动出库的各种行驶控制。
位置估计部524在自动驻车以及自动出库中的车辆V的自动行驶中,根据上述的里程表估计车辆V的当前位置。然后,位置估计部524通过基于由传感器数据获取部522获取的图像数据,以消除其累积误差的方式修正基于里程表的估计结果,来估计车辆V的当前位置(实际位置)。此外,这里提及的实际位置是也包含车辆V的朝向(实际方位)的概念。
即,在实施方式中,位置估计部524在自动行驶的实施中,首先,根据由传感器数据获取部522获取的图像数据,检测与位于车辆V的周边的路面标识相关的路面标识数据,从而计算图像数据上的路面标识相对于车辆V的相对位置。然后,位置估计部524根据基于路面标识的相对位置确定的路面标识的计算上的绝对位置与基于由通信控制部531获取的停车场数据的路面标识的正规的绝对位置的差分,来修正基于里程表的估计结果,并将修正后的值设定为车辆V的当前位置(实际位置)的正规的估计值。此外,这里提及的相对位置是也可能包含路面标识相对于车辆V的相对方位的概念。
例如,在实施方式中,位置估计部524如以下说明的例子那样,在通过自动行驶而车辆V向与划分线L交叉的方向行驶的情况下,基于表示车辆V的侧方的状况的图像数据亦即侧方图像数据,检测与划分线L中接近车辆V的一侧(停车区域R的开口部侧)的端部E的位置、和划分线L的方向相关的路面标识数据。然后,位置估计部524基于检测出的路面标识数据,计算表示以车辆V为基准的划分线L的端部E的位置的相对位置、和表示以车辆V为基准的划分线L的方向的相对方位。然后,位置估计部524基于计算出的划分线L的相对位置以及相对方位、和基于停车场P的地图数据的划分线L的绝对位置以及绝对方位,修正基于里程表的估计结果,估计车辆V的当前位置(实际位置以及实际方位)。
图6是用于说明通过实施方式所涉及的车辆控制装置410的位置估计部524实施的当前位置的估计方法的一个例子的例示性的示意图。在图6所示的例子中,车辆V向与位于该车辆V的左侧方的三根划分线L61~L63交叉的方向行驶。
在图6所示的例子中,设置在车辆V的左侧部(例如后视镜)的车载照相机408的拍摄范围与包含划分线L62的端部E62的区域A61对应。因此,若对通过设置于车辆V的左侧部的车载照相机408得到的侧方图像数据实施白线检测处理等图像识别处理,则能够检测到与划分线L62的位置以及方向相关的路面标识数据。然后,若利用检测出的路面标识数据,则能够计算以车辆V为基准的划分线L62的相对位置(更具体而言是划分线L62的端部E的相对位置)、和划分线L62的相对方位(更具体而言是表示划分线L62的延伸方向的相对方位)。然后,若利用计算出的相对位置以及相对方位、和基于里程表的车辆V的位置以及方位的估计结果,则能够确定划分线L62的计算上的绝对位置以及绝对方位。
这里,如上述那样,划分线L62的计算上的绝对位置(以及绝对方位)是利用基于里程表的估计结果确定出的值,所以可能包含基于里程表的累积误差的影响。另一方面,如上述那样,由管制装置101管理的停车场P的地图数据包含用于确定路面标识的正规的绝对位置(以及绝对方位)的信息,所以在地图数据包含有用于确定作为路面标识的划分线L62的正规的绝对位置(以及绝对方位)的划分线数据。
因此,在实施方式中,通信控制部521从管制装置101获取作为地图数据的划分线数据。然后,位置估计部524取得基于上述的相对位置(包含相对方位)确定出的划分线L62的计算上的绝对位置、和基于划分线数据确定出的划分线L62的正规的绝对位置(包含绝对方位)的差分,并基于该差分,修正基于里程表的估计结果的偏差,并将修正后的值估计为车辆V的实际位置(包含实际方位)。此外,对于考虑了这样的相对位置以及相对方位双方的修正,在后面参照附图进行更具体的说明,所以这里省略进一步的说明。
在上述的图6所示的例子中,通过根据侧方图像数据检测一个路面标识(划分线L62),并计算该一个路面标识的相对位置以及相对方位双方,来估计车辆V的实际位置以及实际方位。然而,在实施方式中,若如以下说明的那样,能够根据侧方图像数据检测出至少两个路面标识,则也能够仅计算该至少两个路面标识的相对位置(不计算相对方位),并基于该至少两个路面标识的位置关系,估计车辆V的实际位置以及实际方位。
图7是用于说明通过实施方式所涉及的车辆控制装置410的位置估计部524实施的当前位置的估计方法的与图6不同的一例的例示性的示意图。在图7所示的例子中,车辆V向与位于该车辆V的左侧方的三个划分线L71~L73以及位于车辆V的右侧方的三根划分线L74~L76交叉的方向行驶。
在图7所示的例子中,设置于车辆V的左侧部(例如后视镜)的车载照相机408的拍摄范围与包含划分线L72的端部E72的区域A71对应,设置于车辆的右侧部(例如后视镜)的车载照相机408的拍摄范围与包含划分线L76的端部E76的区域A72对应。
因此,在图7所示的例子中,若对通过上述的两个车载照相机408得到的一对侧方图像数据进行白线检测处理等图像识别处理,则能够检测与划分线L72以及L76的端部E72以及E76的位置相关的路面标识数据。然后,若利用检测出的路面标识数据,则能够计算以车辆V为基准的划分线L72的相对位置(更具体而言是划分线L72的端部E72的相对位置)、和划分线L76的相对位置(更具体而言是划分线L76的端部E76的相对位置)。然后,若利用计算出的相对位置、和基于里程表的估计结果,则能够确定划分线L72以及L76的端部E72以及E76的计算上的绝对位置。
位置估计部524通过对基于上述的相对位置确定出的划分线L72以及L76的端部E72以及E76的计算上的绝对位置、和基于地图数据(划分线数据)确定出的划分线L72以及L76的端部E72以及E76的正规的绝对位置进行比较,来修正基于里程表的车辆V的位置以及方向(方位)的估计结果的偏差。此外,在图7所示的例子中,与上述的图6所示的例子不同,成为比较的对象的点为两个,所以若确定出这两个点与车辆V的位置关系,则能够在不独立地确定出各点的方位的情况下修正车辆V的方向(方位)的估计结果的偏差。
这样,根据图7所示的例子,能够不计算划分线L72以及L76的相对方位,而仅通过计算划分线L72以及L76的相对位置,来估计车辆V的实际位置以及实际方位。此外,对于这样的不包含相对方位的仅使用了相对位置的修正的方法,在后面参照附图进行更具体的说明,所以这里省略进一步的说明。
在上述的图6以及图7所示的例子中,通过分别从两个侧方图像数据(左侧方图像数据以及右侧方图像数据)各检测一个共计检测两个路面标识(划分线L72以及L76),并计算这两个路面标识的相对位置的位置关系,来估计车辆V的实际位置以及实际方位。然而,在实施方式中,如以下说明的那样,也能够通过从一个侧方图像数据同时检测多个路面标识,并计算这些多个路面标识的相对位置的位置关系,来估计车辆V的实际位置以及实际方位。
图8是用于说明通过实施方式所涉及的车辆控制装置410的位置估计部524实施的当前位置的估计方法的与图6以及图7不同的一例的例示性的示意图。在图8所示的例子中,车辆V向与位于该车辆V的左侧方的三根划分线L81~L83交叉的方向行驶。
在图8所示的例子中,设置于车辆V的左侧部(例如后视镜)的车载照相机408的拍摄范围与包含划分线L81的端部E81、和划分线L82的端部E82的区域A81对应。因此,在图8所示的例子中,若对通过设置于车辆V的左侧部的车载照相机408得到的一个侧方图像数据进行白线检测处理等图像识别处理,则能够检测与划分线L81以及L82的端部E81以及E82的位置相关的路面标识数据。然后,若利用检测出的路面标识数据,则能够计算以车辆V为基准的划分线L81的相对位置(更具体而言是划分线L81的端部E81的相对位置)、和划分线L82的相对位置(更具体而言是划分线L82的端部E82的相对位置)。然后,若利用计算出的相对位置、和基于里程表的估计结果,则能够确定划分线L81以及L82的端部E81以及E82的计算上的绝对位置。
位置估计部524通过对基于上述的相对位置确定出的划分线L81以及L82的端部E81以及E82的计算上的绝对位置、和基于地图数据(划分线数据)确定出的划分线L81以及L82的端部E81以及E82的正规的绝对位置进行比较,来修正基于里程表的车辆V的位置以及方向(方位)的估计结果的偏差。根据图8所示的例子,能够仅使用一个侧方图像数据,进行与上述的图7所示的例子相同的估计,即不包含相对方位的仅基于相对位置的车辆V的实际位置以及实际方位的估计。
在上述的图8所示的例子中,使用划分线L作为路面标识。然而,在实施方式中,如以下说明的那样,也能够使用划分线L以外的路面标识(包含向规定方向延伸的线段LS的标记M)。
图9是用于说明通过实施方式所涉及的车辆控制装置410的位置估计部524实施的当前位置的估计方法的与图6~图8不同的一例的例示性的示意图。在图9所示的例子中,车辆V以与位于该车辆V的左侧的三个划分线L91~L93交叉的方式行驶。
这里,在图9所示的例子中,作为路面标识,除了三个划分线L91~L93之外,还设置两个标记M91以及M92。标记M91包含线段LS91,且设置在划分线L91以及L92之间。另外,标记M92包含线段LS92,且设置在划分线L92以及L93之间。
在图9所示的例子中,设置于车辆V的左侧部(例如后视镜)的车载照相机408的拍摄范围与包含标记M91以及M92的区域A91对应。因此,若对通过设置于车辆V的左侧部的车载照相机408得到的侧方图像数据实施白线检测处理等图像识别处理,则能够检测与标记M91以及M92各自的位置(例如中心位置)、和标记M91以及M92所包含的线段LS91以及LS92各自的方向相关的路面标识数据。然后,若利用检测出的路面标识数据,则能够计算以车辆V为基准的标记M91以及M92的相对位置(标记M91以及M92的中心的相对位置)、和标记M91以及M92的方位(表示线段LS91以及LS92的方向的相对方位)。然后,若利用计算出的相对位置以及相对方位、和基于里程表的车辆V的位置以及方位的估计结果,则能够确定标记M91以及M92的计算上的绝对位置以及绝对方位。
与上述的图6等所示的例子相同,如上述那样,标记M91以及M92的计算上的相对位置(以及相对方位)是利用基于里程表的估计结果确定出的值,所以可能包含基于里程表的累积误差的影响。另一方面,如上述那样,由管制装置101管理的停车场P的地图数据包含用于确定路面标识的正规的绝对位置(以及绝对方位)的信息,所以在地图数据包含有用于确定作为路面标识的标记M91以及M92的正规的绝对位置(以及绝对方位)的标记数据。
因此,在实施方式中,通信控制部521从管制装置101获取作为地图数据的标记数据。然后,位置估计部524取得基于上述的相对位置(包含相对方位)确定出的标记M91以及M92的计算上的绝对位置与基于标记数据确定出的标记M91以及M92的正规的绝对位置(包含绝对方位)的差分,并基于该差分修正基于里程表的估计结果的偏差,并将修正后的值估计为车辆V的实际位置(包含实际方位)。
在上述的图6~图9所示的例子中,仅使用划分线L以及标记M的一方。然而,在实施方式中,也能够使用划分线L以及标记M双方。特别是,在以下说明的那样的车辆V的转弯时,期望当前位置的估计精度的提高,所以考虑划分线L以及标记M双方增加成为估计的基础的数据是有益的。
图10是用于说明通过实施方式所涉及的车辆控制装置410的位置估计部524实施的当前位置的估计方法的与图6~图9不同的一例的例示性的示意图。在图10所示的例子中,车辆V以划分线L101以及L102、和L形地配置在该划分线L101以及L102的附近的标记M101~M103为内侧,沿着箭头C100左转转弯。此外,标记M101~M103的形状并不限制于图10所示的例子。
在图10所示的例子中,位置估计部524在车辆V的转弯时,通过传感器数据获取部522获取表示车辆V的转弯的内侧的状况的图像数据亦即内侧图像数据。然后,通信控制部521从管制装置101获取划分线数据以及标记数据双方作为地图数据。然后,位置估计部524根据内侧图像数据检测与划分线L101以及L102和标记M101~M103相关的路面标识数据,并基于检测出的路面标识数据,计算划分线L101以及L102和标记M101~M103相对于车辆V的相对位置。
然后,位置估计部524基于计算出的相对位置、和基于里程表的车辆V的位置以及方位的估计结果,确定划分线L101以及L102和标记M101~M103的计算上的绝对位置。然后,位置估计部524基于确定出的计算上的绝对位置与根据划分线数据以及标记数据确定出的正规的绝对位置的差分,修正基于里程表的估计结果的偏差,并将修正后的值估计为车辆V的实际位置(包含实际方位)。
此外,在图10所示的例子中,三个标记M(M101~M103)配置为L形。然而,在实施方式中,只要进入转弯的车辆V的车载照相机的拍摄范围,则标记M的个数以及配置能够进行各种设定(变更)。另外,在图10所示的例子中,通过考虑划分线L和标记M双方估计车辆V的实际位置。然而,在实施方式中,若考虑划分线L以及标记M的至少一方,则也可以通过仅考虑划分线L、或者仅考虑标记M来估计车辆V的实际位置。该情况下,通信控制部521只要获取划分线数据以及标记数据中与应该考虑的路面标识数据对应的一方的数据作为地图数据即可。
另外,在图6~图10所示的例子中,例示端部构成为圆滑的U形的划分线L。然而,在实施方式中,也可以使用端部构成为矩形形状的划分线L。另外,在实施方式中,也可以划分线L以及标记M的相对位置的检测不仅使用通过设置于车辆V的侧部的车载照相机408得到的侧方图像数据,还使用通过设置于车辆V的前部(例如前保险杠)的车载照相机408得到前图像数据、通过设置于后部(例如后保险杠)的车载照相机408得到的后图像数据等。
这里,参照附图对在上述的图6~图10中实施的修正的具体内容进行详细说明。
首先,对在上述的图6等中实施的考虑了一个路面标识的相对位置以及相对方位双方的修正的详细进行说明。
图11是用于说明通过实施方式所涉及的车辆控制装置410的位置估计部524实施的考虑了一个路面标识的相对位置以及相对方位双方的修正的详细的例示性的示意图。
在图11中,矩形形状的区域R1是通过对由车载照相机408获取的图像数据实施投影变换而生成的俯视示出车载照相机408的拍摄范围的区域。在该区域R1内包含有向方向D1延伸的划分线L1,作为路面标识的例子。此外,在图11中,为了简化起见,以简洁的状态示出划分线L1的形状。
如图11所示,实施方式所涉及的位置估计部524首先构成以区域R1的中心C1为原点的X-Y坐标系,计算表示以该原点为基准的划分线L1的相对位置以及相对方位的值。此外,X轴设定为与车辆V(在图11未图示)的方向一致,Y轴设定为与车载照相机408的方向一致。在图11所示的例子中,计算划分线L1的端部E1的中心点P10的坐标(X1,Y1)作为表示相对位置的值,计算表示划分线L1的延伸方向D1的值,例如以X轴为基准的逆时针的角度(在图示的例子中为90度)作为表示相对方位的值。
然后,位置估计部524基于预先设定的参数,将上述的坐标(X1,Y1)转换为实际的距离的维。这里使用的参数例如是表示图像数据的一点在现实中与几米对应的参数(单位为[m/dot])。以下,存在将转换后的中心点P10记为点P20,并将该点P20的坐标记为(X2,Y2)的情况。
而且,如以下说明的那样,位置估计部524通过适当地变更X-Y坐标系的原点,来计算划分线L1相对于车辆V的相对位置(以及相对方位)。
图12是用于接着图11说明通过实施方式所涉及的车辆控制装置的位置估计部实施的考虑了一个路面标识的相对位置以及相对方位双方的修正的详细的例示性的示意图。
如图12所示,若上述的点P20的坐标(X2,Y2)的计算完成,则位置估计部524将X-Y坐标系的原点从上述的中心C1变更为车载照相机408的中心C2。然后,位置估计部524计算将变更后的X-Y坐标系作为基准的与上述的点P20对应的点P30的坐标(X3,Y3)、和表示上述的方向D1的值。在原点的变更后,也与原点的变更前相同,X轴设定为与车辆V的方向一致,Y轴设定为与车载照相机408的方向一致。因此,在图12所示的例子中,作为表示方向D1的值的以X轴为基准的参数在原点的变更的前后并不特别变化,另外,原点的变更前的中心C1与原点的变更后的中心C2均位于Y轴上。
这里,根据车载照相机408的规格等预先决定车载照相机408的中心C2与该车载照相机408的拍摄范围所对应的区域R1的中心C1的距离。因此,在图12所示的例子中,能够仅通过对坐标(X2,Y2)的Y轴成分加上规定的参数,来容易地计算原点的变更后的坐标(X3,Y3)。
此外,若点P30的坐标(X3,Y3)的计算完成,则位置估计部524进一步将X-Y坐标系的原点从车载照相机408的中心C2变更为车辆V的中心C3,并进一步计算与上述的点P30对应的点的坐标、和表示上述的方向D1的值。根据车辆V的规格等预先决定中心C2以及C3的关系。这样计算出的坐标的值成为表示以车辆V(的中心C3)为基准的划分线L1的相对位置以及相对方位的值。
然后,若相对位置的计算完成,则位置估计部524基于相对位置、和基于里程表估计出的车辆V(的中心C3)的位置以及方位,确定划分线L1的计算上的绝对位置以及绝对方位。
另一方面,位置估计部524从通过通信控制部521获取的地图数据,提取与基于里程表估计出的车辆V的位置的周边的划分线L(也就是划分线L1)相关的划分线数据。在该划分线数据例如包含有划分线L1的两端点的(正规的)绝对位置。若考虑这两端点的绝对位置的位置关系,则能够确定表示划分线L1的延伸方向D1的绝对方位。因此,位置估计部524基于从地图数据提取的划分线数据,确定划分线L1的端部E1的绝对位置、和表示划分线L1的延伸方向的绝对方位。
然后,位置估计部524取得基于图像数据确定出的划分线L1的计算上的绝对位置(以及绝对方位)与基于地图数据(划分线数据)确定出的划分线L1的正规的绝对位置(以及绝对方位)的差分。该差分相当于基于里程表的车辆V的位置以及方位的估计结果的累积误差。因此,位置估计部524修正基于里程表的车辆V的位置以及方位的估计结果以消除累积误差,并将修正后的值设定为车辆V的正规的当前位置(实际位置以及实际方位)。
接下来,对在上述的图7等中实施的仅考虑多个路面标识的相对位置的修正的详细进行说明。该修正除了不考虑多个路面标识各自的相对方位这一点以外,与上述的修正基本相同。
图13是用于说明通过实施方式所涉及的车辆控制装置410的位置估计部524实施的仅考虑了多个路面标识的相对位置的修正的详细的例示性的示意图。此外,在图13中,为了简化起见,以简洁的状态示出车载照相机408以及车辆V的形状。
在图13中,矩形形状的区域R11是通过对由车载照相机408获取的图像数据实施投影变换而生成的俯视示出车载照相机408的拍摄范围的区域。在该区域R11内包含有两个划分线L11以及L12作为路面标识的例子。此外,在图13中,也与图11相同,为了简化说明,以简洁的状态示出划分线L的形状。
如图13所示,实施方式所涉及的位置估计部524首先构成以区域R11的中心C11为原点的X-Y坐标系,并计算表示以该原点为基准的划分线L11以及L12的端部E11以及E12的相对位置的值。在图13所示的例子中,作为相对位置,计算划分线L11的端部E11的中心点P11的坐标(X11,Y11)、和划分线L12的端部E12的中心点P12的坐标(X12,Y12)。
然后,位置估计部524基于预先设定的参数(与上述相同),将上述的坐标(X1,Y1)以及(X12,Y12)转换为实际的距离的维。以下,存在将转换后的中心点P11以及P12分别记为点P21以及P22,并将该点P21以及P22的坐标分别记为(X21,Y21)以及(X22,Y22)的情况。
然后,如以下说明的那样,位置估计部524通过适当地变更X-Y坐标系的原点,来计算划分线L11以及L12相对于车辆V的相对位置。
图14是用于接着图13说明通过实施方式所涉及的车辆控制装置410的位置估计部524实施的不包含多个路面标识的相对方位的仅基于相对位置的当前位置的估计方法的详细的例示性的示意图。
如图14所示,若上述的点P21以及P22的坐标(X21,Y21)以及(X22,Y22)的计算完成,则位置估计部524将X-Y坐标系的原点从上述的中心C11变更为车载照相机408的中心C12。然后,位置估计部524分别计算以变更后的X-Y坐标系为基准的与上述的点P21以及P22对应的点P31以及P32的坐标(X31,Y31)以及(X32,Y32)。
然后,若点P31以及P32的坐标(X31,Y31)以及(X32,Y32)的计算完成,则位置估计部524进一步将X-Y坐标系的原点从车载照相机408的中心C12变更为车辆V的中心C13,并进一步计算以变更后的X-Y坐标系为基准的与上述的点P3对应的点的坐标。像这样计算出的坐标的值成为表示以车辆V(的中心C13)为基准的划分线L11以及L12的相对位置的值。
然后,若相对位置的计算完成,则位置估计部524基于相对位置、和基于里程表估计出的车辆V(的中心C13)的位置,确定划分线L11以及L12的计算上的绝对位置以及绝对方位。
然后,位置估计部524取得基于图像数据确定出的划分线L11以及L12的计算上的绝对位置与基于地图数据(划分线数据)确定的划分线L11以及L12的正规的绝对位置的差分,并基于差分修正基于里程表的车辆V的位置的估计结果。此外,若明确划分线L11以及L12的计算上的绝对位置与正规的绝对位置的偏差,则基于也包含车辆V的三点的位置关系,也明确车辆V的方向的偏差,所以根据上述的差分,也能够修正基于里程表的车辆V的方位的估计结果。然后,位置估计部524将修正后的值设定为车辆V的正规的当前位置(实际位置以及实际方位)。
此外,在上述的说明中,利用对两个划分线L(L11以及L12)的图像识别处理的结果估计车辆V的实际位置,但成为图像识别处理的对象的路面标识的个数也可以在三个以上。另外,车辆V的实际位置的估计所利用的路面标识并不限定于划分线L。例如,在设置了划分线L和标记M双方作为路面标识的停车场P中,可以利用对至少两个标记M的图像识别处理的结果估计车辆V的实际位置,也可以利用划分线L以及标记M中至少各一个估计车辆V的实际位置。
接下来,参照图15~图19,对实施方式所涉及的自动代客驻车系统执行的处理进行说明。
图15是表示在实施方式中执行自动驻车的情况下管制装置101以及车辆控制装置410执行的处理的流程的例示性和示意性时序图。该图15所示的处理顺序在通过乘客X在下车区域P1操作终端装置T,而进行了成为自动驻车的触发的规定的指示的情况下开始。
在图15所示的处理顺序中,首先,在S1101中,管制装置101与车辆控制装置410建立通信。在该S1101中,执行基于识别信息(ID)的发送接收的认证、用于实现管制装置101的监视下的自动行驶的驾驶权限的转让等。
若在S1101中建立通信,则管制装置101在S1102中,将停车场P的地图数据发送至车辆控制装置410。
然后,管制装置101在S1103中,确认停车区域R的空闲,并将空闲的一个停车区域R指定为给予车辆V的目标停车区域。
然后,管制装置101在S1104中,生成从下车区域P1向在S1103中指定的目标停车区域的(大致的)引导路径。
然后,管制装置101在S1105中,将在S1104中生成的引导路径发送至车辆控制装置410。
另一方面,车辆控制装置410在接收了在S1102中从管制装置101发送的地图数据之后的S1106,估计下车区域P1内的初始位置。初始位置是指成为从下车区域P1开始的起步的起点的下车区域P1内的车辆V的当前位置。初始位置的估计能够使用与上述的当前位置的估计相同的使用通过车载照相机408得到的图像数据的方法。此外,在图15所示的例子中,在S1105的处理之前执行S1106的处理,但也可以在S1105的处理之后执行S1106的处理。
若在S1106中估计初始位置,并且,接收在S1105中从管制装置101发送的引导路径,则车辆控制装置410在S1107中,基于在S1106中估计出的初始位置等,生成在实际的自动驻车时应该遵循的精度比引导路径高的行驶路径。
然后,车辆控制装置410在S1108中,执行从下车区域P1开始的起步控制。
然后,车辆控制装置410在S1109中,执行沿着在S1107中生成的行驶路径的行驶控制。伴随上述那样的基于使用了图像数据的方法的当前位置的估计执行该行驶控制。此外,对于在当前位置的估计时执行的处理的流程,在后面参照其它的附图进行详细说明,所以这里省略进一步的说明。
然后,车辆控制装置410在S1110中,执行向目标停车区域的驻车控制。
然后,若S1110中的驻车控制完成,则车辆控制装置410在S1111中,将驻车完成的通知发送至管制装置101。
如以上那样,实现自动代客驻车中的自动驻车。
图16是表示在实施方式中执行自动出库的情况下管制装置101以及车辆控制装置410执行的处理的流程的例示性和示意性时序图。该图16所示的处理顺序在通过乘客X在乘车区域P2操作终端装置T而进行了成为自动出库的触发的规定的调用的情况下开始。
在图16所示的处理顺序中,首先,在S1201中,管制装置101与车辆控制装置410建立通信。在该S1201中,与上述的图15的S1101相同,执行基于识别信息(ID)的发送接收的认证、用于实现管制装置101的监视下的自动行驶的驾驶权限的转让等。
若在S1201中建立通信,则管制装置101在S1202中,将停车场P的地图数据发送至车辆控制装置410。
然后,管制装置101在S1203中,确认安装了通信对象的车辆控制装置410的车辆V当前所在的停车区域R。在实施方式中,基于通过监视照相机103得到的图像数据等执行该S1203的处理。
然后,管制装置101在S1204中,生成从在S1203中确认的停车区域R到乘车区域P2的(概略的)引导路径。
然后,管制装置101在S1205中,将在S1204中生成的引导路径发送至车辆控制装置410。
另一方面,车辆控制装置410在接收了在S1202中从管制装置101发送的地图数据之后的S1206中,估计车辆V当前所在的停车区域P内的出库位置。出库位置是指成为从停车区域R的出库的起点的停车区域R内的车辆V的当前位置。出库位置的估计能够使用与上述的当前位置的估计相同的方法(使用通过图像识别处理从图像数据检测出的规定的路面标识数据和地图数据的方法)。此外,在图16所示的例子中,在S1205的处理之前执行S1206的处理,但也可以在S1205的处理之后执行S1206的处理。
若在S1206中估计出库位置,并且接收在S1205中从管制装置101发送的引导路径,则车辆控制装置410在S1207中,基于在S1206中估计出的出库位置等,生成在实际的自动出库时应该遵循的精度比引导路径高的行驶路径。
然后,车辆控制装置410在S1208中,执行从停车区域R的出库控制。
然后,车辆控制装置410在S1209中,执行沿着在S1207中生成的行驶路径的行驶控制。该行驶控制也与图15的S1109中的行驶控制相同,伴随上述那样的基于使用图像数据的方法的当前位置的估计(后述详细)执行。
然后,车辆控制装置410在S1210中,执行向乘车区域P2的停车控制。
然后,若S1210中的停车控制完成,则车辆控制装置410在S1211中,将出库完成的通知发送至管制装置101。
如以上那样,实现自动代客驻车中的自动出库。
图17是表示在实施方式中执行自动驻车以及自动出库的情况下车辆控制装置410执行的行驶控制所包含的当前位置的估计处理的流程的例示性和示意性流程图。该图17所示的处理流程在图15所示的S1109、图16所示的S1209等中的车辆V的自动行驶中反复执行。
在图17所示的处理流程中,首先,在S1301中,车辆控制装置410从车载照相机408获取图像数据(侧方图像数据)。此外,在图10所示的状况下,车辆控制装置410获取与转弯的内侧对应的侧方图像数据亦即内侧图像数据。
然后,在S1302中,车辆控制装置410通过规定的图像识别处理,从在S1301中获取的图像数据检测图像数据上的与路面标识相关的路面标识数据。在该S1302中,例如执行沿着以下的图18所示那样的处理流程的处理。
图18是表示在实施方式中执行行驶控制的情况下车辆控制装置410执行的路面标识数据的计算处理的流程的例示性和示意性流程图。在以下,作为一个例子,对与划分线L相关的路面标识数据的计算处理的流程进行说明。
在图18所示的处理流程中,首先,在S1401中,车辆控制装置410对从车载照相机408获取的图像数据执行失真修正处理。
然后,在S1402中,车辆控制装置410对S1401的失真修正处理后的图像数据执行白色提取处理。划分线L、标记M等路面标识通常描绘为白色,所以根据该S1402的处理,能够从失真修正处理后的图像数据提取包含路面标识(划分线L)的白色的区域。
然后,在S1403中,车辆控制装置410执行用于改善在S1402中提取出的白色的区域所包含的模糊的模糊改善处理。
然后,在S1404中,车辆控制装置410对S1403的模糊改善处理后的图像数据执行哈夫变换,从该图像数据提取作为路面标识(划分线L)的候补的直线状的区域。
然后,在S1405中,车辆控制装置410按照规定的基准选择在S1404中提取出的路面标识(划分线L)的候补。
然后,在S1406中,车辆控制装置410对包含在S1405中选择出的候补的图像数据实施投影变换,生成与俯视示出车载照相机408的拍摄范围的区域对应的图像数据。
然后,在S1407中,车辆控制装置410进一步按照规定的基准选择投影变换后的图像数据所包含的路面标识(划分线L)的候补。
然后,在S1408中,车辆控制装置410计算在S1407中提取出的候补的相对位置(可能包含相对方位)等作为路面标识数据。
若以上那样的S1401~S1408的处理完成,则处理进入图17的S1303。然后,在S1303中,车辆控制装置410通过沿着以下的图19所示的处理流程执行处理,来估计车辆V的当前位置。
图19是表示在实施方式中执行行驶控制的情况下车辆控制装置410执行的当前位置的估计处理的流程的例示性和示意性流程图。
在图19所示的处理流程中,首先,在S1501中,车辆控制装置410通过对与车辆V的当前位置相关的上次的估计值加上基于传感器数据的变化量,也就是根据里程表估计出的车辆V的位置的变化量,来计算基于里程表的车辆V的当前位置。
然后,在S1502中,车辆控制装置410基于通过图18所示的处理流程计算出的路面标识数据,计算以在S1501中计算出的当前位置为基准的路面标识的相对位置(可能包含相对方位)。若利用在该S1502中计算出的相对位置、和S1501的计算值,则能够确定路面标识的计算上的绝对位置。
然后,在S1503中,车辆控制装置410基于由通信控制部521获取的地图数据,确定路面标识的绝对位置(可能包含绝对方位)。更具体而言,车辆控制装置410通过从地图数据所包含的全部的路面标识的绝对位置,提取接近利用S1502的计算结果确定出的路面标识的计算上的绝对位置的绝对位置(能够称为与计算上的绝对位置的周边对应的部分数据),来确定成为在以下的S1504的处理中取得与计算上的绝对位置的差分的对象的路面标识的正规的绝对位置。例如,在成为计算路面标识数据的基础的图像数据为左侧方图像数据的情况下,车辆控制装置410通过从地图数据所包含的全部的路面标识的绝对位置提取相当于基于里程表的车辆V的当前位置的左侧的路面标识的绝对位置,来提取接近上述的计算上的绝对位置的绝对位置。此外,在路面标识为划分线的情况下,该划分线通常以大约2.5m的间隔设置的情况较多。该大约2.5m的间隔比在里程表中假定的误差大,所以在实施方式中,通常几乎不会通过S1503的处理错误地确定路面标识的正规的绝对位置。
然后,在S1504中,车辆控制装置410取得基于S1502的计算结果确定出的路面标识的计算上的绝对位置与在S1503中确定出的路面标识的正规的绝对位置的差分,并基于该差分修正S1501的计算值,也就是基于里程表的车辆V的当前位置的计算值。
然后,在S1505中,车辆控制装置410将S1504的修正后的值估计为车辆V的正规的当前位置。在实施方式中,基于该S1505的估计结果,进行车辆V的自动行驶时所需要的各种参数(车速、转向角、行进方向等)的设定。
此外,实施方式所涉及的车辆控制装置410也根据上述的S1501~S1505,执行以下说明的那样的处理。
更具体而言,首先,在S1501中,车辆控制装置410通过对与车辆V的当前的方位(实际方位)相关的上次的估计值加上基于传感器数据的方位的变化量,也就是根据里程表估计出的车辆V的方位的变化量,来计算基于里程表的车辆V的实际方位。然后,车辆控制装置410通过朝向基于里程表的车辆V的实际方位,对与车辆V的当前位置(实际位置)相关的上次的估计值加上基于传感器数据的位置的变化量,也就是根据里程表估计出的车辆V的位置的变化量,来计算基于里程表的车辆V的实际位置。
此外,在实施方式中,在S1501中,不存在与实际方位以及实际位置相关的上次的估计值的情况下,能够在接下来的S1502以后的处理直接采用基于里程表的车辆V的实际方位以及实际位置。
然后,在S1502中,车辆控制装置410基于通过图18所示的处理流程计算出的路面标识数据,例如如以下的图20以及图21所示那样的方式计算以在S1501中计算出的当前位置为基准的路面标识的相对位置以及相对方位。
图20是用于说明通过实施方式所涉及的车辆控制装置410的位置估计部524实施的路面标识的相对位置以及相对方位的确定的详细的例示性的示意图。
在图20中,矩形形状的区域R21与车载照相机408的拍摄范围对应。在该矩形形状的区域R21内包含有向方向D21延伸的划分线L21作为路面标识的例子。此外,在图20中,为了简化起见,以简洁的状态示出划分线L21的形状。
如图20所示,实施方式所涉及的位置估计部524首先构成以区域R21的中心C21为原点的X-Y坐标系,计算表示以该原点为基准的划分线L21的相对位置以及相对方位的值。此外,X轴设定为与车辆V(在图20未图示)的方向一致,Y轴设定为与车载照相机408的方向一致。
然后,位置估计部524计算划分线L21的端部E21的中心点P21的坐标(X21,Y21)、和划分线L21中划分线L21的边界侧的端点P22的坐标(X22,Y22)。然后,位置估计部524基于这两个坐标,使用反正切函数等,计算表示划分线L21的延伸方向D21的斜率作为例如以X轴为基准的逆时针的角度。
然后,位置估计部524基于预先设定的参数,将划分线L21的端部E21的中心点P21的坐标(X21,Y21)与区域R21的中心C21之间的间隔转换为实际的距离的维。这里使用的参数例如是表示图像数据的一点在现实中与几米对应的参数(单位为[m/dot])。
然后,位置估计部524如以下的图21所示那样,通过获取区域R21的中心C21与车载照相机408的中心(设置位置)C22的位置关系、以及车载照相机408的中心C22与车辆V的中心C23的位置关系,并基于这些位置关系适当地实施坐标转换,来计算以车辆V(的实际位置)为基准的划分线L21的相对位置以及相对方位。此外,以下说明的坐标转换是与已经参照图11~图14说明的坐标转换相同的构思的转换。
图21是用于接着图20说明通过实施方式所涉及的车辆控制装置410的位置估计部524实施的路面标识的相对位置以及相对方位的确定的详细的例示性的示意图。
如图21所示,位置估计部524将X-Y坐标系的原点从上述的中心C21变更为车载照相机408的中心C22。然后,位置估计部524将变更后的X-Y坐标系作为基准,计算与上述的划分线L21的端部E21的中心点P21对应的点P33的坐标(X33,Y33)、和表示划分线L21的延伸方向D21的值。
此外,若在上述的坐标转换的前后,使X轴以及Y轴的方向一致,则能够使表示方向D21的值成为在坐标转换的前后不变的值。该情况下,根据车载照相机408的规格等预先决定车载照相机408的中心C22与该车载照相机408的拍摄范围所对应的区域R21的中心C21的位置关系,所以能够仅利用Y轴成分的调整实现上述的坐标转换。
若以中心C22为原点的X-Y坐标系上的上述的值的计算完成,则位置估计部524基于车载照相机408的中心C22与车辆V的中心C23的根据车辆V的规格等预先决定的位置关系,进一步将X-Y坐标系的原点从中心C22变更为中心C23。然后,位置估计部524分别计算原点的变更后的X-Y坐标系上的与点P33对应的点的坐标以及表示方向D21的值,作为以车辆V(的中心C3)为基准的划分线L21的相对位置以及相对方位。
然后,位置估计部524基于利用上述的方法获取的以车辆V(的中心C3)为基准的划分线L21的相对位置以及相对方位、和在S1501中计算出的车辆V的实际位置以及实际方位,确定划分线L21的端部E21的计算上的绝对位置、以及表示划分线L21的延伸方向D21的计算上的绝对方位。
此外,本公开中的“绝对位置”以及“绝对方位”既可以通过纬度、经度等在世界上具有相同的意思的地理坐标系的值示出,也可以通过仅在停车场P内具有意义的任意地决定的坐标系的值示出。
返回到图19,若S1502的处理完成,则在S1503中,车辆控制装置410基于由通信控制部521获取的地图数据,确定路面标识的绝对位置以及绝对方位。更具体而言,车辆控制装置410通过从地图数据所包含的全部的路面标识的绝对位置,提取接近利用S1502的计算结果确定出的路面标识的计算上的绝对位置的绝对位置(能够称为与计算上的绝对位置的周边对应的部分数据),来确定成为在以下的S1504的处理中取得与计算上的绝对位置的差分的对象的路面标识的正规的绝对位置、和与该正规的绝对位置对应的正规的绝对方位。
此外,实施方式也能够采用在地图数据所包含的全部的路面标识的绝对位置中不存在在恒定以上的水平接近利用S1502的计算结果确定出的路面标识的计算上的绝对位置的绝对位置的情况下,不实施接下来的S1504以后的处理这样的构成。
在S1504中,车辆控制装置410取得基于S1502的计算结果确定出的路面标识的计算上的绝对位置以及绝对方位与在S1503中确定出的路面标识的正规的绝对位置以及绝对方位各自的差分。然后,车辆控制装置410基于这些差分修正在S1501中计算出的车辆V的实际位置以及实际方位的估计值。
更具体而言,车辆控制装置410的位置估计部524首先按照以下的图22以及图23所示那样的方式,修正车辆V的实际方位以使路面标识的计算上的绝对方位与正规的绝对方位一致。
图22是用于说明通过实施方式所涉及的车辆控制装置410的位置估计部524实施的车辆V的实际方位的修正的详细的例示性的示意图。另外,图23是用于接着图22说明通过实施方式所涉及的车辆控制装置410的位置估计部524实施的车辆V的实际方位的修正的详细的例示性的示意图。
在图22以及图23中,矩形形状的区域R50与车载照相机408的拍摄范围对应,该矩形状的区域R50内的点P50以及箭头D50分别与基于上述的S1502的计算结果确定出的路面标识(划分线L51)的计算上的绝对位置以及绝对方位对应。在图22以及图23中,为了简化起见,以简洁的状态示出划分线L51以及L52的形状。此外,以下的说明以在上述的S1503中,从地图数据提取与划分线L51的端部E51对应的点P51的正规的绝对位置、和与划分线L51的延伸方向对应的箭头D51的正规的绝对方位,作为取得与计算上的绝对位置以及绝对方位的差分的对象为前提。
如图22以及图23所示,车辆控制装置410的位置估计部524首先基于两者的差分(表示斜率的不同的角度)实施绕车辆V的中心C50的旋转转换(参照箭头A51),以使表示划分线L51的计算上的绝对方位的箭头D50的斜率与表示划分线L51的正规的绝对方位的箭头D51的斜率一致。由此,从方位的匹配性的观点来看,适当地修正了表示划分线L51的计算上的绝对位置的点P50的坐标、和表示划分线L51的计算上的绝对方位的箭头D50的值,并且也适当地修正了车辆V的实际方位。
然后,若车辆V的实际方位的修正完成,则车辆控制装置410的位置估计部524按照以下的图24所示那样的方式修正车辆V的实际位置以使路面标识的计算上的绝对位置与正规的绝对位置匹配。
图24是用于说明通过实施方式所涉及的车辆控制装置410的位置估计部524实施的车辆V的当前位置的修正的详细的例示性的示意图。此外,图24所示的例子直接沿用图23所示的例子的状况、附图标记等。
如图24所示,车辆控制装置410的位置估计部524在实施了图23所示那样的旋转转换之后,基于两者的差分(两点间的距离)实施车辆V的中心C50的平行移动(参照箭头A52),以使表示划分线L51的计算上的绝对位置的点P50的坐标与表示划分线L51的正规的绝对位置的点P50的坐标一致。由此,从位置的匹配性的观点来看,适当地修正了表示划分线L51的计算上的绝对位置的点P50的坐标,并且适当地修正了车辆V的实际方位。
这样,实施方式所涉及的车辆控制装置410的位置估计部524能够在实施了基于路面标识的计算上的绝对方位以及正规的绝对方位的差分的车辆V的实际方位的修正之后,实施基于路面标识的计算上的绝对位置以及正规的绝对位置的差分的车辆V的实际位置的修正。
返回到图15,若S1504的修正完成,则在S1505中,车辆控制装置410将修正后的实际位置以及实际方位分别估计为车辆V的正规的实际位置以及实际方位。在实施方式中,基于该S1505的估计结果,进行车辆V的自动行驶时所需要的各种参数(车速、转向角、行进方向等)的设定。
如以上所说明的那样,实施方式所涉及的车辆控制装置410具有控制车辆V的行驶状态以实现停车场P内的自动行驶的行驶控制部523。另外,车辆控制装置410具有:通信控制部521,获取能够确定被设置于停车场P的路面的路面标识的包含绝对方位的绝对位置的停车场数据;传感器数据获取部522,获取通过车载照相机408得到的图像数据;以及位置估计部524,在自动行驶的实施中,通过根据图像数据检测与路面标识相关的路面标识数据,来计算图像数据上的路面标识相对于车辆V的包含相对方位的相对位置,并基于计算出的相对位置、和停车场数据,估计车辆V的包含实际方位的实际位置。
根据实施方式,基于上述的构成,能够考虑利用基于图像数据计算出的相对位置确定出的计算上的路面标识的位置(以及方位)与基于停车场数据确定出的路面标识的正规的绝对位置(以及绝对方位)的偏差,正确地把握自动行驶中的车辆V的当前位置(包含实际方位的实际位置)。
此外,在实施方式中,位置估计部524能够通过根据表示车辆V的左侧方以及右侧方中一方的状况的图像数据亦即侧方图像数据检测路面标识数据,来计算存在于车辆V的左侧方以及右侧方中一方的路面标识的相对位置(包含相对方位)。根据该构成,能够利用容易摄入路面标识的侧方图像数据,容易地计算路面标识的相对位置(包含相对方位)。
另外,在实施方式中,通信控制部521获取能够确定划分线L的绝对位置的划分线数据作为停车场数据,上述划分线L是预先设置在停车场P内的示出停车区域R的边界的路面标识,位置估计部524能够通过检测图像数据上的划分线L的端部E的位置和该划分线L的方向作为路面标识数据,来计算划分线L的相对位置(包含相对方位),并基于计算出的相对位置、和划分线数据,估计车辆V的实际位置(包含实际方位)。根据该构成,能够利用一般作为表示停车区域R的边界的路面标识设置的划分线L,容易地估计车辆V的实际位置。
在利用划分线L的上述那样的构成中,位置估计部524检测图像数据上的划分线L中,通过该划分线L划分为具有开口部(车辆V的出入口)的停车区域R的开口部侧的端部E的位置、和包含该端部E的划分线L的延伸方向(停车区域R的长边方向),作为路面标识数据。根据该构成,能够利用划分线L中停车区域R的开口部侧的端部E的位置和包含该端部E的划分线L的延伸方向,容易地估计车辆V的实际方位以及实际位置。
另外,在利用划分线L的上述那样的构成中,位置估计部524检测图像数据上的划分线L的端部E的中心点的位置、和包含该端部E的划分线L的延伸方向的一部分(停车区域R的长边方向),作为路面标识数据。根据该构成,能够利用划分线L的端部E的中心点的位置和包含该端部E的划分线L的延伸方向,容易地估计车辆V的实际方位以及实际位置。
另外,在实施方式中,通信控制部521能够获取能够确定包含第一线段的第一标记(例如如图9所示那样的包含线段LS91以及LS92的标记M91以及M92)的绝对位置(包含绝对方位)的标记数据作为停车场数据,上述第一标记是预先设置于自动行驶中的车辆V的行驶路径的周边的路面标识。而且,位置估计部524能够通过检测图像数据上的第一标记的位置和该第一标记所包含的第一线段的方向作为路面标识数据,来计算第一标记相对于车辆V的相对位置(包含相对方位),并基于计算出的相对位置、和第一标记数据,估计车辆V的实际位置(实际方位)。根据该构成,能够利用第一标记容易地估计车辆V的实际位置。
另外,在实施方式中,通信控制部521能够获取能够确定预先设置于停车场P内的划分线L的绝对位置的划分线数据、和能够确定包含第二线段的第二标记(例如如图10所示那样的包含线段LS101~LS103的标记M101~M103)的绝对位置的标记数据作为停车场数据,上述第二标记是设置在划分线L的周边的区域且自动行驶中的车辆V的转弯路径的内侧的区域的路面标识。而且,位置估计部524能够通过在车辆V的转弯时,根据表示车辆V的转弯的内侧的状况的图像数据亦即内侧图像数据检测与划分线L以及第二标记相关的数据作为路面标识数据,来计算存在于车辆V的转弯的内侧的划分线L以及第二标记的相对位置,并基于计算出的相对位置、和划分线数据以及第二标记数据,估计车辆V的实际位置。根据该构成,能够利用划分线L和第二标记精度良好地估计转弯时的车辆的实际位置。
另外,在实施方式中,位置估计部524首先检测图像数据上的第一坐标系(例如以图像数据的中心为原点的坐标系)上的表示路面标识的方位以及位置的第一值作为路面标识数据(参照图11以及图20)。然后,位置估计部524将第一坐标系上的第一值转换为与车载照相机408对应的第二坐标系(例如以车载照相机408的中心为原点的坐标系)上的第二值(参照图12以及图21)。然后,位置估计部524通过将第二坐标系上的第二值转换为与车辆V对应的第三坐标系(例如以车辆V的中心为原点的坐标系)上的第三值,来将该第三值计算为路面标识相对于车辆V的相对方位以及相对位置(参照图12以及图21)。根据该构成,能够通过坐标转换,容易地计算路面标识相对于车辆V的相对方位以及相对位置。
另外,在实施方式中,位置估计部524基于根据车辆V的实际方位以及实际位置的上次的估计结果、和基于里程表的车辆V的实际方位以及实际位置的变化量计算出的车辆V的实际方位以及实际位置的估计值、和路面标识的相对方位以及相对位置,计算路面标识的计算上的绝对方位以及绝对位置。然后,位置估计部524从停车场数据提取与计算上的绝对位置的周边对应的部分数据,基于计算上的绝对位置与基于部分数据的绝对方位以及绝对位置的差分,修正车辆V的实际方位以及实际位置的估计值,并基于修正结果估计车辆V的实际方位以及实际位置。根据该构成,能够不利用停车场数据的全部,而利用部分数据,容易地估计车辆V的实际方位以及实际位置。
在该情况下,位置估计部524在修正实际方位的估计值以使计算上的绝对方位与基于部分数据的绝对方位一致之后,修正实际位置的估计值以使计算上的绝对位置与基于部分数据的绝对位置一致。根据该构成,能够阶段性地容易地修正车辆V的实际方位以及实际位置的估计值。
另外,在实施方式中,通信控制部521能够获取包含与多个路面标识各自的绝对位置相关的信息的停车场数据。而且,位置估计部524能够在自动行驶的实施中,通过根据图像数据检测与多个路面标识中至少两个路面标识相关的路面标识数据,来仅计算图像数据上的至少两个路面标识相对于车辆V的相对位置(不包含相对方位),并基于计算出的相对位置、和停车场数据,估计车辆V的包含实际方位的实际位置。根据该构成,能够考虑利用基于图像数据计算出的相对位置确定出的至少两个路面标识的计算上的路面标识的位置(以及它们的位置关系)与基于停车场数据确定出的该至少两个路面标识的(正规的)绝对位置(以及它们的位置关系)的偏差,而不考虑各路面标识的相对方位,正确地把握自动行驶中的车辆的当前位置(包含实际方位的实际位置)。
此外,在仅计算多个路面标识的相对位置的上述的构成中,位置估计部512能够通过从左侧方图像数据检测至少一个第一路面标识的第一位置(例如图7所示的划分线L72的端部E72的位置)作为路面标识数据,并且从右侧方图像数据检测至少一个第二路面标识的第二位置(例如图7所示的划分线L76的端部E76的位置)作为路面标识数据,来计算第一路面标识以及第二路面标识的相对位置。根据该构成,能够利用不同的两种图像(左侧方图像数据以及右侧方图像数据),精度良好地计算至少两个路面标识的相对位置。
另外,在仅计算多个路面标识的相对位置的上述的构成中,位置估计部524通过从一个侧方图像数据检测至少两个路面标识各自的位置(例如图8所示的划分线L81以及L82的端部E81以及E82的位置)作为路面标识数据,来计算存在于车辆V的左侧方以及右侧方中一方的至少两个路面标识的相对位置。根据该构成,能够仅利用一种图像(侧方图像数据),容易地计算至少两个路面标识的相对位置。
在该情况下,位置估计部524检测图像数据上的至少两个划分线L中,通过各划分线L划分为具有开口部(车辆V的出入口)的停车区域的开口部侧的端部E的位置作为路面标识数据。根据该构成,能够利用至少两个划分线L中停车区域R的开口部侧的端部E的位置,容易地估计车辆V的实际位置。
另外,在该构成中,位置估计部524检测图像数据上的至少两个划分线L的端部E的中心点的位置作为路面标识数据。根据该构成,能够利用至少两个划分线L的端部E的中心点的位置,容易地估计车辆V的实际位置。
另外,在仅计算多个路面标识的相对位置的上述的构成中,通信控制部521能够获取能够确定多个划分线L的端部E的绝对位置的划分线数据、和能够确定多个标记M的绝对位置的标记数据作为停车场数据。而且,位置估计部524能够通过检测与多个划分线L中至少两个、或者多个标记M中至少两个、或者多个划分线L以及多个标记M中至少各一个相关的路面标识数据,来估计车辆V的实际位置。根据该构成,能够基于多个划分线L以及多个标记M中任意的两个以上的组合,容易地估计车辆V的实际位置。
另外,在仅计算多个路面标识的相对位置的上述的构成中,位置估计部524首先能够检测图像数据上的第一坐标系(例如以图像数据的中心为原点的坐标系)上的表示至少两个路面标识的位置的第一值作为路面标识数据(参照图13)。然后,位置估计部524能够将第一坐标系上的第一值转换为与车载照相机408对应的第二坐标系(例如以车载照相机408的中心为原点的坐标系)上的第二值(参照图14)。然后,位置估计部524能够通过将第二坐标系上的第二值转换为与车辆V对应的第三坐标系(例如以车辆V的中心为原点的坐标系)上的第三值,来将该第三值计算为至少两个路面标识相对于车辆V的相对位置(参照图14)。根据该构成,能够通过坐标转换容易地计算至少两个路面标识相对于车辆V的相对位置。
另外,在上述的作为其它的一个例子的车辆位置估计装置中,位置估计部524能够基于根据车辆V的实际位置的上次的估计结果、和基于里程表的车辆V的实际位置的变化量计算出的车辆V的实际位置的估计值、和至少两个路面标识的相对位置,计算至少两个路面标识的计算上的绝对位置。然后,位置估计部524能够从停车场数据提取与计算上的绝对位置的周边对应的部分数据,基于计算上的绝对位置与绝对位置的差分,修正车辆V的实际位置的估计值,并基于修正结果估计车辆V的实际位置。根据该构成,能够不利用停车场数据的全部,而利用部分数据,来容易地估计车辆V的实际位置。
此外,在上述的实施方式中,例示了本发明的技术应用于自动代客驻车系统的情况。然而,本发明的技术只要是在停车场内设置适当的路面标识,且能够获取与该路面标识的绝对位置相关的数据的驻车系统,则也能够应用于自动代客驻车系统以外的驻车系统。
另外,在上述的实施方式中,例示了除了作为停车场数据获取部的传感器数据获取部、作为图像数据获取部的传感器数据获取部、以及位置估计部之外,还设置了具备行驶控制部的车辆控制装置作为车辆位置估计装置的构成。然而,在实施方式中,只要是至少具备上述那样的停车场数据获取部、图像数据获取部以及位置估计部的装置,则也可以设置不具备行驶控制部的与车辆控制装置不同的装置作为车辆位置估计装置。
以上,对本发明的实施方式进行了说明,但上述的实施方式仅是一个例子,并不意在限定发明的范围。上述的新的实施方式能够以各种方式实施,能够在不脱离发明的主旨的范围内,进行各种省略、置换、变更。上述的实施方式及其变形包含于发明的范围、主旨,并且包含于权利要求书所记载的发明及其同等的范围。
附图标记说明
408…车载照相机,410…车辆控制装置(车辆位置估计装置),521…通信控制部(停车场数据获取部),522…传感器数据获取部(图像数据获取部),523…行驶控制部,524…位置估计部,E、E1、E11、E12、E21、E51、E62、E72、E76、E81、E82…端部,L、L1、L11、L12、L21、L51、L52、L61~L63、L71~L76、L81~L83、L91~L93、L101、L102…划分线,M、M91、M92、M101~M103…标记,P…停车场,R…停车区域,V…车辆。

Claims (21)

1.一种车辆位置估计装置,具备:
停车场数据获取部,获取能够确定被设置在停车场的路面的路面标识的绝对方位以及绝对位置的停车场数据;
图像数据获取部,获取通过拍摄车辆的周边状况的车载照相机得到的图像数据;以及
位置估计部,通过从上述图像数据检测与上述路面标识相关的路面标识数据,来计算上述图像数据上的上述路面标识相对于上述车辆的相对方位以及相对位置,并基于计算出的上述相对方位以及上述相对位置、和上述停车场数据来估计上述车辆的实际方位以及实际位置。
2.根据权利要求1所述的车辆位置估计装置,其中,
上述位置估计部通过从侧方图像数据检测上述路面标识数据,来计算存在于上述车辆的左侧方以及右侧方中一方的上述路面标识的上述相对方位以及上述相对位置,上述侧方图像数据是表示上述车辆的左侧方以及右侧方中一方的状况的上述图像数据。
3.根据权利要求1所述的车辆位置估计装置,其中,
上述停车场数据获取部获取能够确定划分线的上述绝对方位以及上述绝对位置的划分线数据作为上述停车场数据,上述划分线是预先设置在上述停车场内的表示停车区域的边界的上述路面标识,
上述位置估计部通过检测上述图像数据上的上述划分线的端部的位置和该划分线的方向作为上述路面标识数据,来计算上述划分线的上述相对方位以及上述相对位置,并基于计算出的上述相对方位以及上述相对位置、和上述划分线数据来估计上述车辆的上述实际方位以及上述实际位置。
4.根据权利要求3所述的车辆位置估计装置,其中,
上述位置估计部检测上述图像数据上的上述划分线中通过该划分线划分为具有开口部的上述停车区域的上述开口部侧的端部的位置、和包含该端部的上述划分线的延伸方向,作为上述路面标识数据。
5.根据权利要求3所述的车辆位置估计装置,其中,
上述位置估计部检测上述图像数据上的上述划分线的上述端部的中心点的位置、和包含该端部的上述划分线的延伸方向,作为上述路面标识数据。
6.根据权利要求1所述的车辆位置估计装置,其中,
上述停车场数据获取部获取能够确定包含第一线段的第一标记的上述绝对方位以及上述绝对位置的第一标记数据作为上述停车场数据,上述第一标记是预先设置在上述停车场内的上述车辆的行驶路径的周边的上述路面标识,
上述位置估计部通过检测上述图像数据上的上述第一标记的位置和该第一标记所包含的上述第一线段的方向作为上述路面标识数据,来计算上述第一标记相对于上述车辆的上述相对方位以及上述相对位置,并基于计算出的上述相对方位以及上述相对位置、和上述第一标记数据来估计上述车辆的上述实际方位以及上述实际位置。
7.根据权利要求1所述的车辆位置估计装置,其中,
上述停车场数据获取部获取能够确定划分线的上述绝对方位以及上述绝对位置的划分线数据、和能够确定包含第二线段的第二标记的上述绝对方位以及上述绝对位置的第二标记数据的至少一方作为上述停车场数据,上述划分线是预先设置在上述停车场内的表示停车区域的边界的上述路面标识,上述第二标记是设置在上述划分线的周边区域且上述停车场内的上述车辆的转弯路径的内侧的区域的上述路面标识,
上述位置估计部通过在上述车辆的转弯时从内侧图像数据检测与上述划分线以及上述第二标记的至少一方相关的数据作为上述路面标识数据,来计算存在于上述车辆的转弯的内侧的上述划分线以及上述第二标记的至少一方的上述相对方位以及上述相对位置,并基于计算出的上述相对方位以及上述相对位置、和与检测出的上述路面标识数据对应的上述划分线数据以及上述第二标记数据的至少一方,来估计上述车辆的上述实际方位以及上述实际位置,上述内侧图像数据是表示上述车辆的转弯的内侧的状况的上述图像数据。
8.根据权利要求1所述的车辆位置估计装置,其中,
上述位置估计部通过检测上述图像数据上的第一坐标系上的表示上述路面标识的方位以及位置的第一值作为上述路面标识数据,将该第一值转换为与上述车载照相机对应的第二坐标系上的第二值,并将该第二值转换为与上述车辆对应的第三坐标系上的第三值,来将该第三值计算为上述路面标识相对于上述车辆的上述相对方位以及上述相对位置。
9.根据权利要求1所述的车辆位置估计装置,其中,
上述位置估计部基于上述车辆的上述实际方位以及上述实际位置的估计值、和上述路面标识的上述相对方位以及上述相对位置,来计算上述路面标识的计算上的绝对方位以及绝对位置,其中,上述车辆的上述实际方位以及上述实际位置的估计值基于上述车辆的上述实际方位以及上述实际位置的上次的估计结果、和基于里程表的上述车辆的上述实际方位以及上述实际位置的变化量,
上述位置估计部从上述停车场数据提取与该计算上的绝对位置的周边对应的部分数据,基于上述计算上的绝对方位以及绝对位置与基于上述部分数据的上述绝对方位以及上述绝对位置的差分来修正上述车辆的上述实际方位以及上述实际位置的估计值,并基于修正结果估计上述车辆的上述实际方位以及上述实际位置。
10.根据权利要求9所述的车辆位置估计装置,其中,
上述位置估计部修正上述实际方位的估计值以使得上述计算上的绝对方位与基于上述部分数据的上述绝对方位一致,之后修正上述实际位置的估计值以使得上述计算上的绝对位置与基于上述部分数据的上述绝对位置一致。
11.一种车辆位置估计装置,具备:
停车场数据获取部,获取停车场数据,该停车场数据包含与设置于停车场的路面的多个路面标识中的每个路面标识的绝对位置相关的信息;
图像数据获取部,获取通过拍摄车辆的周边状况的车载照相机得到的拍摄图像的图像数据;以及
位置估计部,通过从上述图像数据检测与上述多个路面标识中至少两个路面标识相关的路面标识数据,来计算上述图像数据上的上述至少两个路面标识相对于上述车辆的相对位置,并基于计算出的上述相对位置和上述停车场数据来估计上述车辆的实际位置。
12.根据权利要求11所述的车辆位置估计装置,其中,
上述位置估计部通过从左侧方图像数据检测上述多个路面标识中存在于上述车辆的左侧方的至少一个第一路面标识的第一位置作为上述路面标识数据,并且从右侧方图像数据检测上述多个路面标识中存在于上述车辆的右侧方的至少一个第二路面标识的第二位置作为上述路面标识数据,来计算上述第一路面标识以及上述第二路面标识的上述相对位置,其中,上述左侧方图像数据是表示上述车辆的左侧方的状况的上述图像数据,上述右侧方图像数据是表示上述车辆的右侧方的状况的上述图像数据。
13.根据权利要求11所述的车辆位置估计装置,其中,
上述位置估计部通过从侧方图像数据检测上述至少两个路面标识各自的位置作为上述路面标识数据,来计算存在于上述车辆的左侧方以及右侧方中一方的上述至少两个路面标识的上述相对位置,上述侧方图像数据是表示上述车辆的左侧方以及右侧方中一方的状况的上述图像数据。
14.根据权利要求11所述的车辆位置估计装置,其中,
上述停车场数据获取部获取能够确定多个划分线的端部的上述绝对位置的划分线数据作为上述停车场数据,上述多个划分线是预先设置在上述停车场内的表示停车区域的边界的上述路面标识,
上述位置估计部通过检测上述图像数据上的上述多个划分线中至少两个划分线的端部的位置作为上述路面标识数据,来计算上述至少两个划分线的上述相对位置,并基于计算出的上述相对位置和上述划分线数据来估计上述车辆的上述实际位置。
15.根据权利要求14所述的车辆位置估计装置,其中,
上述位置估计部检测上述图像数据上的上述至少两个划分线中通过该划分线划分为具有开口部的上述停车区域的上述开口部侧的端部的位置作为上述路面标识数据。
16.根据权利要求14所述的车辆位置估计装置,其中,
上述位置估计部检测上述图像数据上的上述至少两个划分线的上述端部的中心点的位置作为上述路面标识数据。
17.根据权利要求11所述的车辆位置估计装置,其中,
上述停车场数据获取部获取能够确定多个划分线的端部的上述绝对位置的划分线数据、和能够确定多个标记的上述绝对位置的标记数据作为上述停车场数据,上述多个划分线是预先设置在停车场内的表示停车区域的边界的上述路面标识,上述多个标记预先设置在上述停车场内的上述车辆的行驶路径的周边,
上述位置估计部通过检测与上述多个划分线中至少两个、或上述多个标记中至少两个、或上述多个划分线以及上述多个标记中至少各一个相关的上述路面标识数据,来估计上述车辆的上述实际位置。
18.根据权利要求11所述的车辆位置估计装置,其中,
上述位置估计部通过检测上述图像数据上的第一坐标系上的表示上述至少两个路面标识的位置的第一值作为上述路面标识数据,将该第一值转换为与上述车载照相机对应的第二坐标系上的第二值,并将该第二值转换为与上述车辆对应的第三坐标系上的第三值,来将该第三值计算为上述至少两个路面标识相对于上述车辆的上述相对位置。
19.根据权利要求11所述的车辆位置估计装置,其中,
上述位置估计部基于上述车辆的上述实际位置的估计值、和上述至少两个路面标识的上述相对位置,来计算上述至少两个路面标识的计算上的绝对位置,其中,上述车辆的上述实际位置的估计值基于上述车辆的上述实际位置的上次的估计结果、和基于里程表的上述车辆的上述实际位置的变化量,
上述位置估计部从上述停车场数据提取与该计算上的绝对位置的周边对应的部分数据,基于上述计算上的绝对位置与上述绝对位置的差分来修正上述车辆的上述实际位置的估计值,并基于修正结果估计上述车辆的实际位置。
20.一种车辆控制装置,是安装于车辆的车辆控制装置,具备:
行驶控制部,控制上述车辆的行驶状态以实现停车场内的自动行驶;
停车场数据获取部,获取能够确定被设置在上述停车场的路面的路面标识的绝对方位以及绝对位置的停车场数据;
图像数据获取部,获取通过拍摄上述车辆的周边状况的车载照相机得到的图像数据;以及
位置估计部,通过在上述自动行驶的实施中,从上述图像数据检测与上述路面标识相关的路面标识数据,来计算上述图像数据上的上述路面标识相对于上述车辆的相对方位以及相对位置,并基于计算出的上述相对方位以及上述相对位置、和上述停车场数据,来估计上述车辆的实际方位以及实际位置。
21.一种车辆控制装置,是安装于车辆的车辆控制装置,具备:
行驶控制部,控制上述车辆的行驶状态以实现停车场内的自动行驶;
停车场数据获取部,获取停车场数据,该停车场数据包含与设置在上述停车场的路面的多个路面标识中的每个路面标识的绝对位置相关的信息;
图像数据获取部,获取通过拍摄上述车辆的周边状况的车载照相机得到的拍摄图像的图像数据;以及
位置估计部,通过在上述自动行驶的实施中,从上述图像数据检测与上述多个路面标识中至少两个路面标识相关的路面标识数据,来计算上述图像数据上的上述至少两个路面标识相对于上述车辆的相对位置,并基于计算出的上述相对位置和上述停车场数据来估计上述车辆的实际位置。
CN201880071990.4A 2017-11-17 2018-11-16 车辆位置估计装置以及车辆控制装置 Pending CN111417556A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017221899 2017-11-17
JP2017-221899 2017-11-17
PCT/JP2018/042586 WO2019098353A1 (ja) 2017-11-17 2018-11-16 車両位置推定装置および車両制御装置

Publications (1)

Publication Number Publication Date
CN111417556A true CN111417556A (zh) 2020-07-14

Family

ID=66539844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880071990.4A Pending CN111417556A (zh) 2017-11-17 2018-11-16 车辆位置估计装置以及车辆控制装置

Country Status (5)

Country Link
US (1) US20210180954A1 (zh)
EP (1) EP3689695A4 (zh)
JP (2) JP6930600B2 (zh)
CN (1) CN111417556A (zh)
WO (1) WO2019098353A1 (zh)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11745727B2 (en) * 2018-01-08 2023-09-05 STEER-Tech, LLC Methods and systems for mapping a parking area for autonomous parking
JP7275520B2 (ja) 2018-10-03 2023-05-18 株式会社アイシン 車両制御装置
JP2020095623A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP7203587B2 (ja) 2018-12-14 2023-01-13 株式会社デンソーテン 画像処理装置および画像処理方法
JP7252750B2 (ja) 2018-12-14 2023-04-05 株式会社デンソーテン 画像処理装置および画像処理方法
JP7359541B2 (ja) 2018-12-14 2023-10-11 株式会社デンソーテン 画像処理装置および画像処理方法
JP7226986B2 (ja) 2018-12-14 2023-02-21 株式会社デンソーテン 画像処理装置および画像処理方法
JP7195131B2 (ja) 2018-12-14 2022-12-23 株式会社デンソーテン 画像処理装置および画像処理方法
JP7141940B2 (ja) * 2018-12-14 2022-09-26 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095620A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置および画像処理方法
JP2020095624A (ja) 2018-12-14 2020-06-18 株式会社デンソーテン 画像処理装置、および画像処理方法
KR20200084464A (ko) * 2018-12-27 2020-07-13 현대자동차주식회사 자율 발렛 주차를 지원하는 시스템 및 방법, 그리고 이를 위한 인프라 및 차량
US10957199B2 (en) * 2019-06-14 2021-03-23 Toyota Motor North America, Inc. Parking monitoring and assistance for transports
US11514544B2 (en) 2019-06-14 2022-11-29 Toyota Motor North America, Inc. Parking monitoring and assistance for transports
CN110264777B (zh) * 2019-06-26 2020-12-15 广州小鹏汽车科技有限公司 室内车辆导航方法、装置、存储介质及车辆控制终端
JP7248124B2 (ja) * 2019-07-19 2023-03-29 株式会社デンソー 駐車支援システム及び管理装置
JP7367375B2 (ja) * 2019-08-07 2023-10-24 株式会社アイシン 特定領域検知装置
CN110490172B (zh) * 2019-08-27 2022-04-08 北京茵沃汽车科技有限公司 信息融合泊车的停车位位置补偿方法、系统、装置、介质
CN110509792B (zh) * 2019-08-29 2020-11-24 安洁无线科技(苏州)有限公司 基于自动泊车的无线充电对准方法、计算机可读存储介质及系统
JP7222339B2 (ja) * 2019-10-25 2023-02-15 トヨタ自動車株式会社 自動駐車システム
JP7226357B2 (ja) * 2020-02-05 2023-02-21 トヨタ自動車株式会社 走行経路の設定装置および設定方法
DE102021112923A1 (de) * 2021-05-19 2022-11-24 Valeo Schalter Und Sensoren Gmbh Verfahren, computerprogrammprodukt, steuereinrichtung und fahrzeug
JP7481379B2 (ja) 2022-02-17 2024-05-10 Necプラットフォームズ株式会社 情報処理装置、情報処理方法、及び、プログラム
CN114973758B (zh) * 2022-05-20 2024-05-07 安徽江淮汽车集团股份有限公司 基于外部视觉采集及二维码标记的泊车辅助引导方法
JP7616175B2 (ja) 2022-08-22 2025-01-17 トヨタ自動車株式会社 車両位置推定方法
DE102023123989A1 (de) * 2023-09-06 2025-03-06 Valeo Schalter Und Sensoren Gmbh Verfahren zum Lokalisieren eines Fahrzeugs innerhalb einer Landkarte, in der zumindest eine Linie eingezeichnet ist

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101631695A (zh) * 2007-05-30 2010-01-20 爱信精机株式会社 驻车辅助装置
JP2010151619A (ja) * 2008-12-25 2010-07-08 Equos Research Co Ltd 制御装置
JP2015096411A (ja) * 2013-10-11 2015-05-21 本田技研工業株式会社 駐車支援システム
CN105637321A (zh) * 2014-02-15 2016-06-01 奥迪股份公司 用于求得移动单元的绝对位置的方法和移动单元
CN106415690A (zh) * 2014-06-12 2017-02-15 奥迪股份公司 求得运行机动车车辆系统时使用的位置数据的方法及位置数据求得和分配系统
CN107209518A (zh) * 2015-01-26 2017-09-26 罗伯特·博世有限公司 代客泊车方法和代客泊车系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8862395B2 (en) * 2011-01-31 2014-10-14 Raytheon Company Coded marker navigation system and method
JP6302636B2 (ja) 2013-08-23 2018-03-28 Kyb株式会社 駐車誘導装置
JP6167846B2 (ja) * 2013-10-25 2017-07-26 トヨタ自動車株式会社 駐車支援装置
DE102013021326A1 (de) * 2013-12-17 2015-06-18 Valeo Schalter Und Sensoren Gmbh Verfahren zum Detektieren einer auf einem Boden aufgebrachten Markierung, Fahrerassistenzeinrichtung und Kraftfahrzeug

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101631695A (zh) * 2007-05-30 2010-01-20 爱信精机株式会社 驻车辅助装置
JP2010151619A (ja) * 2008-12-25 2010-07-08 Equos Research Co Ltd 制御装置
JP2015096411A (ja) * 2013-10-11 2015-05-21 本田技研工業株式会社 駐車支援システム
CN105637321A (zh) * 2014-02-15 2016-06-01 奥迪股份公司 用于求得移动单元的绝对位置的方法和移动单元
CN106415690A (zh) * 2014-06-12 2017-02-15 奥迪股份公司 求得运行机动车车辆系统时使用的位置数据的方法及位置数据求得和分配系统
CN107209518A (zh) * 2015-01-26 2017-09-26 罗伯特·博世有限公司 代客泊车方法和代客泊车系统

Also Published As

Publication number Publication date
EP3689695A1 (en) 2020-08-05
EP3689695A4 (en) 2020-12-23
JP6930600B2 (ja) 2021-09-01
WO2019098353A1 (ja) 2019-05-23
US20210180954A1 (en) 2021-06-17
JPWO2019098353A1 (ja) 2020-12-03
JP2019096314A (ja) 2019-06-20

Similar Documents

Publication Publication Date Title
CN111417556A (zh) 车辆位置估计装置以及车辆控制装置
US11100808B2 (en) System and method for vehicle convoys
JP7275520B2 (ja) 車両制御装置
CN109426261B (zh) 自动驾驶装置
US20170197615A1 (en) System and method for reverse perpendicular parking a vehicle
CN107792061B (zh) 停车辅助装置
US10733889B2 (en) Method and device for parking assistance
JP5898539B2 (ja) 車両走行支援システム
JP2019139322A (ja) 車両制御装置、駐車場管制装置および自動バレー駐車システム
DE102016207421A1 (de) Fahrzeugfahrtsteuervorrichtung
US20200193176A1 (en) Automatic driving controller and method
US20210294338A1 (en) Control apparatus, control method, and computer-readable storage medium storing program
JP2018048949A (ja) 物体識別装置
KR20170015107A (ko) 자동 주행 차량 및 이것을 포함하는 자동 주행 시스템
JP7139618B2 (ja) 車両制御装置および駐車場
JP7238356B2 (ja) 車両制御装置および車両制御プログラム
US20200311400A1 (en) Driving assistance device
CN117308972A (zh) 车辆定位方法、装置和存储介质及电子设备
JP7261266B2 (ja) 車両走行制御装置及び車両走行制御方法
KR20190033760A (ko) 차량의 측위 장치 및 방법
JP7192309B2 (ja) 車両制御装置、および車両制御方法
CN118565526B (zh) 颠簸工况下的测距补偿方法、装置和存储介质及电子设备
JP7429112B2 (ja) 管制装置
CN112859825A (zh) 自动驾驶协控系统与控制方法
CN117601848B (zh) 基于汽车全景的泊车控制方法、系统、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200714

WD01 Invention patent application deemed withdrawn after publication