CN111736586B - 用于路径规划的自动驾驶车辆位置的方法及其装置 - Google Patents

用于路径规划的自动驾驶车辆位置的方法及其装置 Download PDF

Info

Publication number
CN111736586B
CN111736586B CN202010077028.0A CN202010077028A CN111736586B CN 111736586 B CN111736586 B CN 111736586B CN 202010077028 A CN202010077028 A CN 202010077028A CN 111736586 B CN111736586 B CN 111736586B
Authority
CN
China
Prior art keywords
feature map
coordinates
live
predetermined
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010077028.0A
Other languages
English (en)
Other versions
CN111736586A (zh
Inventor
金桂贤
金镕重
金鹤京
南云铉
夫硕熏
成明哲
申东洙
吕东勋
柳宇宙
李明春
李炯树
张泰雄
郑景中
诸泓模
赵浩辰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of CN111736586A publication Critical patent/CN111736586A/zh
Application granted granted Critical
Publication of CN111736586B publication Critical patent/CN111736586B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Navigation (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)

Abstract

本发明涉及一种使用路标检测来检测能够自动驾驶的对象车辆的位置的方法及其装置，其特征在于，包括：步骤(a)，在计算装置获取通过处理与计算装置联动的对象车辆的状况相对应的至少一个实况图像来生成的一个以上的实况特征地图情况下，通过参照(i)与各个参考对象相对应的一个以上的参考特征地图及(ii)上述实况特征地图，来按照获取上述实况特征地图的上述对象车辆的至少一个位置及包括于与至少一个姿势相对应的对象数据区域的一个以上的参考对象检测上述实况特征地图的各个特征地图坐标；步骤(b)，上述计算装置通过参照各个上述特征地图坐标来分别检测上述实况图像上的上述各个参考对象的图像坐标；以及步骤(c)。

Description

用于路径规划的自动驾驶车辆位置的方法及其装置
技术领域
本发明涉及用于与自动驾驶车辆一起使用的方法及装置，更具体地，涉及一种利用使用于路径规划的注意力驱动(attention-driven)算法来检测地标以获取自动驾驶车辆位置信息的方法及装置。
在这里，注意力驱动(attention-driven)算法指使用与对象周围的环境有关的信息的方式的算法。
背景技术
在自动驾驶领域，为了规划自动驾驶，对自动驾驶车辆处于何处的判断至关重要。但是，现在用来对自动驾驶车辆的位置进行判断的全球定位系统(GPS)的准确度存在其使用于自动驾驶时准确程度不高的问题。
为了克服这样的问题，当前存有直接对通过全球定位系统获取的位置信息进行确保的方法，但这需要很多计算资源，光现有的自动驾驶就会带来使其负荷过大的问题。
发明内容
技术问题
本发明的目的即为解决上述问题。
本发明的另一目的为提供一种利用注意力驱动(attention-driven)算法检测地标来检测出检测用来进行路径规划的自动驾驶车辆位置的方法，来实现更为准确的自动驾驶。
并且，本发明的再一目的为，以实况图像上的参考对象的位置信息和真实世界中的参考对象的其他位置信息为参照，来检测自动驾驶车辆的位置信息。
并且，本发明的又一目的为，提供一种能够从与实况图像对应的实况特征地图上检测参考对象的位置信息的卷积神经网络(CNN，Convolutional Neural Network)。
并且，本发明的又一目的为，提供另一种能够从实况图像上检测参考对象的位置信息的卷积神经网络。
解决问题的手段
为了达到上述目的，用来实现后述的本发明的特征性效果的本发明的特征性结构如下列所述。
根据本发明的一实施方式，提供一种使用路标检测来检测能够自动驾驶的对象车辆的位置的方法，其特征在于，包括：步骤(a)，在计算装置获取通过处理与计算装置联动的对象车辆的状况相对应的至少一个实况图像来生成的一个以上的实况特征地图情况下，通过参照(i)与各个参考对象相对应的一个以上的参考特征地图及(ii)上述实况特征地图，来按照获取上述实况特征地图的上述对象车辆的至少一个位置及包括于与至少一个姿势相对应的对象数据区域的一个以上的参考对象检测上述实况特征地图的各个特征地图坐标；步骤(b)，上述计算装置通过参照各个上述特征地图坐标来分别检测上述实况图像上的上述各个参考对象的图像坐标；以及步骤(c)，上述计算装置通过参照真实世界中的上述参考对象的一个以上的三维坐标、上述图像坐标、与获取上述实况图像的摄像头参数有关的信息及与上述对象车辆的上述姿势有关的信息来检测上述对象车辆的至少一个最优化对象坐标。
在一实施例中，提供一种方法，其特征在于，在上述步骤(c)中，上述计算装置同时使用上述图像坐标、上述三维坐标、与上述参数有关的信息、与上述姿势有关的信息以及下列数学式来检测上述最优化对象坐标，
在上述数学式中，[pj]k表示与第j参考对象有关的第j图像坐标的第k轴成分，[qj]k表示与第j参考对象有关的第j三维坐标的第k轴成分，rk表示上述最优化对象坐标的第k轴成分，zk表示将任意数作为其对角成分的对角矩阵(diagonal matrix)的第k对角成分，K表示与上述摄像头的上述参数相对应的摄像头矩阵，R(θ)表示与上述对象车辆的上述姿势相对应的旋转矩阵。
在一实施例中，提供一种方法，其特征在于，在上述步骤(c)中，上述计算装置通过解决与上述数学式相对应的最优化问题来检测上述最优化对象坐标，上述计算装置执行流程(i)、流程(ii)及流程(iii)，上述流程(i)包括流程(i-1)及流程(i-2)，在上述流程(i-1)中，参照与通过上述对象车辆的至少一个陀螺传感器获取的与上述姿势有关的信息，来使上述旋转矩阵初始化，从而生成初始化的旋转矩阵，在上述流程(i-2)中，参照通过上述对象车辆的全球定位系统获取的初始对象坐标来使用于获取上述最优化对象坐标的对象坐标矩阵初始化，从而生成初始化的对象坐标矩阵，在上述流程(ii)中，在提供上述初始化的旋转矩阵及上述初始化的对象坐标矩阵的状态下，找到使上述数学式最小化的初始化的对角矩阵来使上述对角矩阵初始化，在上述流程(iii)中，寻找最优化旋转矩阵、最优化对象坐标矩阵及最优化对角矩阵，上述最优化旋转矩阵、最优化对象坐标矩阵及最优化对角矩阵对上述初始化的旋转矩阵、上述初始化的对象坐标矩阵及上述初始化的对角矩阵的值进行调整来使上述数学式最小化，在解出上述最优化问题后，参照上述最优化的对象坐标矩阵来检测上述最优化对象坐标。
在一实施例中，提供一种方法，其特征在于，在上述步骤(a)中，若获取通过使(i)具有与特定参考对象相对应的W2×H2×C2尺寸的多个特定参考特征地图及(ii)具有W1×H1×C1尺寸的上述实况特征地图并列地以通道单位连接而生成的特定整合特征地图，则上述计算装置使第一卷积神经网络在上述特定整合特征地图适用至少一个第一卷积神经网络运算，在上述实况特征地图的部分实况特征地图中寻找特定部分实况特征地图，相对于上述特定参考特征地图，上述特定部分实况特征地图的相似度分数大于阈值，通过参照与存在于上述实况特征地图的上述特定部分实况特征地图的相对位置有关的信息来从上述特征地图坐标中检测特定特征地图坐标。
在一实施例中，提供一种方法，其特征在于，在向上述特定整合特征地图适用上述第一卷积神经网络运算之前，已完成上述第一卷积神经网络的学习，上述第一卷积神经网络执行流程(i)及流程(ii)，在上述流程(i)中，通过在学习用整合特征地图适用上述第一卷积神经网络运算来分别生成学习用上述实况特征地图的一个以上的各个学习用部分实况特征地图及学习用参考特征地图之间的一个以上的预测相似度分数，在上述流程(ii)中，通过参照上述预测相似度分数及与之相对应的真值相似度分数来生成第一损失，使用上述第一损失来执行反向传播，从而处于完成学习的状态。
在一实施例中，提供一种方法，其特征在于，在上述步骤(b)中，上述计算装置执行流程(i)及流程(ii)，在上述流程(i)中，通过参照对(i-1)与上述特定特征地图坐标相对应的特定部分实况特征地图及(i-2)与之相对应的特定参考特征地图进行整合而生成的特定部分整合特征地图，来从上述实况图像中检测与特定特征地图坐标相对应的特定子区域上的特定参考对象的特定子区域坐标，在上述流程(ii)中，通过参照上述特定子区域坐标及上述特定特征地图坐标来从上述图像坐标中检测特定图像坐标。
在一实施例中，提供一种方法，其特征在于，在上述步骤(b)中，上述计算装置使第二卷积神经网络通过向上述特定部分整合特征地图适用将双曲正切(tangenthyperbolic)运算用作激活函数(activation function)的至少一个第二卷积神经网络运算，来检测上述特定子区域坐标。
在一实施例中，提供一种方法，其特征在于，在向上述特定部分整合特征地图适用上述第二卷积神经网络运算之前，已完成上述第二卷积神经网络的学习，上述第二卷积神经网络执行流程(i)及流程(ii)，在上述流程(i)中，通过在学习用部分整合特征地图适用上述第二卷积神经网络运算来分别生成与上述学习用部分整合特征地图相对应的学习用参考对象的学习用预测子区域坐标，在上述流程(ii)中，通过参照上述预测子区域坐标及与之相对应的真值子区域坐标来生成第二损失，使用上述第二损失来执行反向传播，从而完成学习。
在一实施例中，提供一种方法，其特征在于，在上述步骤(a)中，通过搭载于上述车辆的摄像头获取上述实况图像后，在自动驾驶模块执行上述对象车辆的自动驾驶的过程中，向上述自动驾驶模块传递上述实况图像来生成上述实况特征地图，之后，向上述计算装置传递上述实况特征地图。
在一实施例中，提供一种方法，其特征在于，在上述步骤(a)中，上述计算装置利用通过搭载于上述对象车辆的全球定位系统获取的初始对象坐标及与上述对象车辆的上述姿势有关的信息来向高清地图传送查询，从而获取与包括上述参考特征地图的上述对象数据区域有关的信息。
根据本发明的另一实施方式，提供一种计算装置，通过使用地标检测来检测能够自动驾驶的对象车辆的位置，其特征在于，包括：至少一个存储器，用于存储至少一个指令；以及至少一个处理器，用于运行上述指令，上述处理器执行流程(I)、流程(II)及流程(III)，在上述流程(I)中，在获取通过对与计算装置联动的对象车辆的状况相对应的至少一个实况图像进行处理来生成的一个以上的实况特征地图的情况下，通过参照(i)与各个参考对象相对应的一个以上的各个参考特征地图及(ii)上述实况特征地图来按照获取上述实况特征地图的上述对象车辆的至少一个位置及包括于与至少一个姿势相对应的对象数据区域的一个以上的参考对象检测上述实况特征地图的各特征地图坐标，在上述流程(II)中，通过参照各个上述特征地图坐标来分别检测上述实况图像上的上述各个参考对象的图像坐标，在上述流程(III)中，通过参照真实世界中的上述参考对象的一个以上的三维坐标、上述图像坐标、与获取上述实况图像的摄像头参数有关的信息及与上述对象车辆的上述姿势有关的信息来检测上述对象车辆的至少一个最优化对象坐标。
在一实施例中，提供一种装置，其特征在于，在上述流程(III)中，上述处理器同时使用上述图像坐标、上述三维坐标、与上述参数有关的信息、与上述姿势有关的信息以及下列数学式来检测上述最优化对象坐标。
在上述数学式中，[pj]k表示与第j参考对象有关的第j图像坐标的第k轴成分，[qj]k表示与第j参考对象有关的第j三维坐标的第k轴成分，rk表示上述最优化对象坐标的第k轴成分，zk表示将任意数作为其对角成分的对角矩阵的第k对角成分，K表示与上述摄像头的上述参数相对应的摄像头矩阵，R(θ)表示与上述对象车辆的上述姿势相对应的旋转矩阵。
在一实施例中，提供一种装置，其特征在于，在上述流程(III)中，上述处理器通过解决与上述数学式相对应的最优化问题来检测上述最优化对象坐标，上述处理器执行流程(i)、流程(ii)及流程(iii)，上述流程(i)包括流程(i-1)及流程(i-2)，在上述流程(i-1)中，参照与通过上述对象车辆的至少一个陀螺传感器获取的上述姿势有关的信息，来使上述旋转矩阵初始化，从而生成初始化的旋转矩阵，在上述流程(i-2)中，参照通过上述对象车辆的全球定位系统获取的初始对象坐标来使用于获取上述最优化对象坐标的对象坐标矩阵初始化，从而生成初始化的对象坐标矩阵，在上述流程(ii)中，在提供上述初始化的旋转矩阵及上述初始化的对象坐标矩阵的状态下，找到使上述数学式最小化的初始化的对角矩阵来使上述对角矩阵初始化，在步骤(iii)中，寻找最优化旋转矩阵、最优化对象坐标矩阵及最优化对角矩阵，上述最优化旋转矩阵、最优化对象坐标矩阵及最优化对角矩阵对上述初始化的旋转矩阵、上述初始化的对象坐标矩阵及上述初始化的对角矩阵的值进行调整来使上述数学式最小化，在解出上述最优化问题后，参照上述最优化的对象坐标矩阵来检测上述最优化对象坐标。
在一实施例中，提供一种装置，其特征在于，在上述流程(I)中，若获取通过使(i)具有与特定参考对象相对应的W2×H2×C2尺寸的的多个特定参考特征地图及(ii)具有W1×H1×C1尺寸的上述实况特征地图并列地以通道单位连接而生成的特定整合特征地图，则上述处理器使第一卷积神经网络在上述特定整合特征地图适用至少一个第一卷积神经网络运算，在上述实况特征地图的部分实况特征地图中寻找特定部分实况特征地图，相对于上述特定参考特征地图，上述特定部分实况特征地图的相似度分数大于阈值，通过参照与存在于上述实况特征地图的上述特定部分实况特征地图的相对位置有关的信息来从上述特征地图坐标中检测特定特征地图坐标。
在一实施例中，提供一种装置，其特征在于，在向上述特定整合特征地图适用上述第一卷积神经网络运算之前，已完成上述第一卷积神经网络的学习，上述第一卷积神经网络执行流程(i)及流程(ii)，在上述流程(i)中，通过在学习用整合特征地图适用上述第一卷积神经网络运算来分别生成学习用上述实况特征地图的一个以上的各个学习用部分实况特征地图及学习用参考特征地图之间的一个以上的预测相似度分数，在上述流程(ii)中，通过参照上述预测相似度分数及与之相对应的真值相似度分数来生成第一损失，使用上述第一损失来执行反向传播，从而处于完成学习的状态。
在一实施例中，提供一种装置，其特征在于，在上述流程(II)中，上述处理器执行流程(i)及流程(ii)，在上述流程(i)中，通过参照对(i-1)与上述特定特征地图坐标相对应的特定部分实况特征地图及(i-2)与之相对应的特定参考特征地图进行整合而生成的特定部分整合特征地图，来从上述实况图像中检测与特定特征地图坐标相对应的特定子区域上的特定参考对象的特定子区域坐标，在流程(ii)中，通过参照上述特定子区域坐标及上述特定特征地图坐标来从上述图像坐标中检测特定图像坐标。
在一实施例中，提供一种装置，其特征在于，在上述流程(II)中，上述处理器使第二卷积神经网络通过向上述特定部分整合特征地图适用将双曲正切(tangenthyperbolic)运算用作激活函数(activation function)的至少一个第二卷积神经网络运算，来检测上述特定子区域坐标。
在一实施例中，提供一种装置，其特征在于，在向上述特定部分整合特征地图适用上述第二卷积神经网络运算之前，已完成上述第二卷积神经网络的学习，上述第二卷积神经网络执行流程(i)及流程(ii)，在上述流程(i)中，通过在学习用部分整合特征地图适用上述第二卷积神经网络运算分别生成与上述学习用部分整合特征地图相对应的学习用参考对象的学习用预测子区域坐标，在上述流程(ii)中，通过参照上述预测子区域坐标及与之相对应的真值子区域坐标来生成第二损失，使用上述第二损失来执行反向传播，从而完成学习。
在一实施例中，提供一种装置，其特征在于，在上述流程(I)中，通过搭载于上述车辆搭载的摄像头获取上述实况图像后，在自动驾驶模块执行上述对象车辆的自动驾驶的过程中，向上述自动驾驶模块传递上述实况图像来生成上述实况特征地图，之后，向上述计算装置传递上述实况特征地图。
在一实施例中，提供一种装置，其特征在于，在上述流程(I)中，上述处理器利用通过搭载于上述对象车辆的全球定位系统获取的初始对象坐标及与上述对象车辆的上述姿势有关的信息来向高清(HD，High-Density)地图传送查询，从而获取与包括上述参考特征地图的上述对象数据区域有关的信息。
发明的效果
本发明提供一种利用注意力驱动(attention-driven)算法检测地标来检测用来进行路径规划的自动驾驶车辆位置的方法，具有能够实现更为准确的自动驾驶的效果。
并且，本发明具有能够以实况图像上的参考对象的位置信息和真实世界中的参考对象的其他位置信息为参照，来检测自动驾驶车辆的位置信息的效果。
并且，本发明具有提供能够从与实况图像对应的实况特征地图上检测参考对象的位置信息的卷积神经网络(CNN，Convolutional Neural Network)的效果。
并且，本发明具有提供能够从实况图像上检测参考对象的位置信息的卷积神经网络的效果。
附图说明
为了说明本发明实施例，所附的以下附图仅为本发明的实施例中的一部分，本发明所属技术领域的普通技术人员(以下，“普通技术人员”)可以在不付出创造性劳动的情况下，通过这些附图获取其他附图。
图1为示出根据本发明一实施例的用于执行利用注意力驱动(attention-driven)算法来准确地检测地标并确定用于路径规划的自动驾驶车辆位置的方法的计算装置的结构的图。
图2为示出根据本发明一实施例的利用注意力驱动算法来准确地检测地标并确定用于路径规划的自动驾驶车辆位置的方法的流程图。
图3为示出根据本发明一实施例的为了执行利用注意力驱动算法来准确的检测地标并确定用于路径规划的自动驾驶车辆位置的方法而使用的参考对象的例示的图。
图4为示出根据本发明一实施例的为了执行利用注意力驱动算法来检测地标并确定用于路径规划的自动驾驶车辆位置的方法而生成整合特征地图的过程的图。
图5为示出根据本发明一实施例的利用为了执行利用注意力驱动算法来检测地标并确定用于路径规划的自动驾驶车辆位置的方法而生成的特定子区域坐标来导出与特定基准图像坐标有关的信息的方式的图。
具体实施方式
为了使本发明的目的、技术手段及优点更加明确，将以本发明能够实施的特定实施例为例并参照附图对本发明进行详细说明。为了普通技术人员能够充分实施本发明而详细说明这些实施例。
并且，在本发明的详细说明及发明要求保护范围中，术语“包括”及其变形并非意图为排除其他技术特征、附加物、结构要素或步骤等。普通技术人员可以从本说明书得知本发明的其他目的、优点及特性的一部分，且可以在实施本发明的流程中得知一部分。以下例及附图仅作为实例来提供，而本发明并不限定于此。
尤其，应理解，本发明包括本说明书中提供的多个实施例的所有组合。本发明的各种实施例虽然互不相同但不必相互排斥。例如，本文所记载的特定形状、结构及特性，在一实施例中不脱离本发明的思想及范围的情况下还可以实现为另一实施例。并且，应理解，所公开的每个实施例中的个别结构要素的位置或配置可以在不脱离本发明的思想及范围的情况下进行变更。因此，后述的详细说明并不用于限定本发明，只要能够进行适当的说明，本发明的范围应根据与发明要求保护范围等同的所有范围和所附的发明要求保护范围而被限定。附图中类似的附图标记在多个方面指类似的功能。
本发明中所提及的各种图像可以包括柏油马路或非柏油马路的相关图像，在这种情况下，可以假设包括马路环境中可以出现的物体(假如车辆、人、动物、植物、物体、建筑物、飞机或无人机等飞行物、其他障碍物)，但并不必须限定于此。本发明中所提及的各种图像还可以为与马路无关的图像(假如非柏油马路、胡同、空地、海、湖、河、山、树林、沙漠、天空、与室内相关的图像)，在这种情况下，可以假设包括非柏油马路、胡同、空地、海、湖、河、山、树林、沙漠、天空、室内环境中可以出现的物体(假如车辆、人、动物、植物、物体、建筑物、飞机或无人机等飞行物、其他障碍物)，但并不必须限定于此。
以下，为了使本发明所属技术领域的普通技术人员容易实施本发明，参照附图详细地说明本发明的优选实施例。
图1为示出根据本发明一实施例的用于执行利用注意力驱动(attention-driven)算法来准确地检测地标并确定用于路径规划的自动驾驶车辆位置的方法的计算装置的结构的图。
参照图1，计算装置100可以包括后面将详细说明的第一卷积神经网络130及第二卷积神经网络140。第一卷积神经网络130及第二卷积神经网络140的输入输出及运算需要各通过至少一个通信部110及至少一个处理器120来实现。但在图1中省略了通信部110和处理器的具体连接关系。此时，存储器115可处于存储后述的多种指令的状态，处理器110可通过执行后述的流程来执行本发明。但不能因为如此描述了计算装置100，就排除包括集成了多媒体、处理器及存储器的形态的集成处理器的情况。
使用这样的计算装置100来对利用注意力驱动(attention-driven)算法检测地标并确定用于路径规划的自动驾驶车辆位置的方法进行说明。通过参照图2来进行大致的说明。
图2为示出根据本发明一实施例的利用注意力驱动(attention-driven)算法来准确地检测地标并确定用于路径规划的自动驾驶车辆位置的方法的流程图。
参照图2，计算装置100可以参照与后面将进行详细说明的各参考对象对应的一个以上的各参考特征地图及实况特征地图，来从以一个以上的各参考对象的至少一个实况特征地图上检测各特征地图坐标(步骤S01)。而且，计算装置100可以参照各特征地图坐标，来检测实况图像上的各参考对象的各图像坐标(步骤S02)。此后，计算装置100可以参照对于获取真实世界的参考对象的一个以上的三维坐标、图像坐标、实况图像的摄像头的参数的信息及对于对向车辆的姿势的信息，来检测对象车辆的最优化对象坐标(步骤S03)。基本的流程如上述，以下对此进行更为详细的说明。
首先，计算装置100可以获取实况特征地图。实况特征地图可通过与计算装置100联动来操作的与对象车辆的周围情况对应的实况图像进行处理来生成。举例来说，在通过对象车辆搭载的摄像头获取实况图像后，可先传送到用来执行对象车辆的自动驾驶的自动驾驶模块。自动驾驶模块以图像处理为基础来执行自动驾驶，可以利用实况图像进行图像分割或客体探测。作为这样的自动驾驶的副产物，可通过自动驾驶模块生成实况特征地图。生成实况特征地图后，可传送至计算装置100。在采取这种方式时，灵活运用作为通过自动驾驶模块的运算生成的副产物的实况特征地图，在计算资源的使用层面具有经济上的优点。
并且，计算装置100可以获取与参考对象对应的参考特征地图。在这里，参考对象可以在后述的用来执行决定对象车辆位置的过程中作为标志来使用，可以为包括于实况图像上的特定客体。为了在包括于实况图像的一般客体中选择参考对象，计算装置100利用(i)通过搭载于对象车辆的全球定位系统(GPS，Global Positioning System)获取的体现对象车辆的大体位置的初始对象坐标及(ii)通过搭载与对象车辆的陀螺传感器获取的对向车辆的姿势信息，来对对象数据区域，即，与实况图像所含场景对应的区域进行特定。此后，计算装置100利用特定的对象数据区域的信息向高清(HD，High-Density)地图发出查询，作为应答，可以从高清地图获取参考对象及与之对应的参考特征地图的信息。对此例示的说明参照图3。
图3为示出根据本发明一实施例的为了执行利用注意力驱动(attention-driven)算法来准确的检测地标并确定用于路径规划的自动驾驶车辆位置的方法而使用的参考对象的图。
参照图3，可以确认包括于实况图像200的第一参考对象210及第二参考对象220。为了获取它们的信息，计算装置100参照初始对象坐标及与对象车辆姿势有关的信息，对出现于例示地图300的对象数据区域310进行特定，来获取包括于此的第一参考对象210和第二参考对象220的信息。
如此获取实况特征地图及参考特征地图后，计算装置100检测在实况特征地图上体现参考对象的位置的特征地图坐标。具体来说，计算装置100可通过(i)对与特定参考对象对应的具有W2×H2×C2尺寸的的多个特定参考特征地图及(ii)具有W1×H1×C1尺寸的上述实况特征地图并列的以通道单位进行连接来生成特定整合特征地图，其可用于检测与特定参考对象对应的特定整合特征地图坐标。举例来说，W2及H2均可为1。在此情况下，可将特定参考对象特征地图以通道单位与W1×H1号实况特征地图进行连接。对此的说明参照图4。
图4为示出根据本发明一实施例的为了执行利用注意力驱动(attention-driven)算法来检测地标并确定用于路径规划的自动驾驶车辆位置的方法而生成整合特征地图的过程的图。
参照图4，特定整合特征地图400可以通过将特定参考特征地图402以通道单位连接于实况特征地图401的W1×H1次数来生成。图4与特定参考特征地图402的尺寸为1×1×C2的情况相对应。当特定参考特征地图402的尺寸不是1×1×C2时，可以为了生成特定整合特征地图而使用更少个数的特定参考特征地图402。
在生成特定整合特征地图后，作为一例，计算装置100使用第一卷积神经网络130在上述特定整合特征地图上至少采用一个第一卷积神经网络运算，在上述实况特征地图的部分实况特征地图中，寻找特定部分实况特征地图，与特定参考特征地图相关联来寻找相似分数高于阈值的特定部分实况特征地图。在这里，部分实况特征地图的尺寸可以比实况特征地图小。举例来说，其尺寸可以为1×1×C1。特定部分实况特征地图为与特定参考对象对应的特征地图，可以通过在实况特征地图上使用特定部分实况特征地图的相对位置来在实况图像上预测特定参考对象的位置。即，可以通过使用特定部分实况特征地图的相对位置，来在特征地图坐标中检测特定特征地图坐标。在这里，为了在实况图像中准确检测参考对象的位置，将经过后面将说明的细致的调整过程。
执行上述第一卷积神经网络运算的第一卷积神经网络，可以包括至少一个卷积层及至少一个输出层。在这里，输出层可以表现为全互联(FC，Fully-Connected)网络形态。并且，如此的第一卷积神经网络，在特定整合特征地图上采用第一卷积神经网络运算之前，可以处于完成学习的状态。具体来说，第一卷积神经网络130执行，(i)在学习用整合特征地图上采用第一卷积神经网络运算，来执行在学习用上述实况特征地图的一个以上的各学习用部分实况特征地图及学习用参考特征地图之间各生成的一个以上的预测相似度分数的流程后，(ii)参照上述预测相似度分数及与之对应的真值相似度分数来生成第一损失，使用上述第一损失执行反向传播的流程，从而完成学习。上述的学习过程与通常的前馈神经网络(Feed-Forward Neural Network)的学习过程相似，普通技术人员可以轻易对其进行理解。
在其他例中，还可以使用基于规则(Rule-based)的算法来检测特征地图坐标。即，可以不将使用神经网络的运算施加于特定部分实况特征地图，而是通过直接求得部分实况特征地图和特定参考特征地图之间的相似度来检测特定部分实况特征地图的相对位置。
在获取特征地图坐标后，计算装置100可以检测与特定特征地图坐标对应的实况图像上的特定子区域。在这里，包括特定部分实况特征地图的实况特征地图对实况图像采用多次卷积来进行下采样，使实况特征地图上的特定特征地图“坐标”与实况图像上的特定子“区域”相对应。在检测特定子区域后，计算装置100参照包括(i)特定部分实况特征地图及(ii)与之对应的特定参考特征地图的特定部分整合特征地图，来检测特定子区域内部的特定参考对象的特定子区域坐标。
为了检测特定子区域坐标，计算装置100使第二卷积神经网络可以对于上述特定部分整合特征地图至少要采用一种使用激活函数(activation function)来进行双曲正切(tangent hyperbolic)运算的第二卷积神经网络运算，来检测上述特定子区域坐标。使用激活函数来进行双曲正切运算，是为了把特定子区域坐标的范围限制在-1以上且1以下。对特定子区域坐标的范围进行上述的限定的理由将正在后述中进行详细说明。在这里，第二卷积神经网络140可以包括至少一个卷积层及至少一个输出层。在这里，输出层可以表现为全互联(FC，Fully-Connected)网络形态。并且，如此的第而卷积神经网络，在特定整合特征地图上采用第二卷积神经网络运算之前，可以处于完成学习的状态。即，第二卷积神经网络140可以执行(i)在学习用整合特征地图上采用第二卷积神经网络运算，来执行生成与上述学习用部分整合特征地图对应的的一个学习用参考对象的学习用预测子区域坐标的流程后，(ii)参照上述预测子区域坐标及与之对应的真值子区域坐标，来生成第二损失，使用上述第二损失执行反向传播的流程，从而进入完成学习的状态。
在获取如此的特定子区域坐标后，计算装置100参照特定子区域坐标及特定特征地图坐标，来检测图像坐标中的一个特定图像坐标。这样的流程参照图5所示。
图5为示出根据本发明一实施例的利用为了执行利用注意力驱动(attention-driven)算法来检测地标并确定用于路径规划的自动驾驶车辆位置的方法而生成整合特征地图的过程的图。
参照图5，可以确认包括于特定子区域500的特定子区域的中心点501及其坐标(180，156)。这样的坐标是通过对在具有16×16尺寸的实况特征地图上的特定特征地图坐标(8，7)在具有384×384尺寸的实况地图上的何处进行计算而获取的。更为具体地，在特定特征地图中，各点成为尺寸为24×24的子区域。由此，中心点501的坐标可在特定特征地图坐标乘以24后再减去12来计算得出。并且，可以确认计算得出的包括于双曲正切运算对应的范围内的特定子区域点502的坐标为(0.8，-0.4)。在此，可以通过[180+0.8×24，156+(-0.4)×24]≒(200，146)计算出特定图像坐标。特定子区域坐标，如图所示，通过上述计算可以计算出体现特定参考对象在特定子区域上处于中心点501的哪个方向的向量。这样的计算过程进行公式化如下列所示。
特定图像坐标＝(x1×(w－0.5)+x2w，y1×(h－0.5)+y2h)
在上述数学式中，(x1，y1)可以表示特定特征地图坐标，(x2，y2)可以表示特定子区域坐标，w×h可以表示特定子区域的尺寸。并且，特定子区域的尺寸，可以参照使用于生成与实况图像及实况特征地图之间尺寸的比率对应的实况特征地图的步幅(stride)来决定。
上述坐标的例示均假设实况图像及实况特征地图的最左下方的点为原点，根据实施例的不同，也可以把实况图像及实况特征地图的中心点假设为原点。
通过上述流程获取各图像坐标后，计算装置100可以将它们与其他信息一起使用，来检测对象车辆在真实世界中的最优化对象坐标。上述其他信息可以包括参考对象在真实世界中的三维坐标、用来获取实况图像的摄像头的参数信息以及对象车辆的姿势信息。在此，在获取参考特征地图的过程中，可从高清地图同时获取三维坐标。以下通过数学式对此进行更为具体的说明。
即，计算装置100将上述图像坐标、上述三维坐标、上述参数的信息及上述姿势的信息同时使用于下列数学式中，来检测上述最优化对象坐标。
在上述数学式中，[pj]k表示对于第j参考对象的第j图像坐标的第k轴成分，[qj]k表示对于第j参考对象的第j三维坐标的第k轴成分，rk表示上述最优化对象坐标的第k轴成分，zk表示以任意数为对角成分的对角矩阵的第k对角成分，K表示与上述摄像头的上述参数对应的摄像头矩阵，R(θ)表示与上述对象车辆的上述姿势对用的旋转矩阵。旋转矩阵可以为广为人知的罗德里格旋转公式(Rodrigues Rotation Formula)中使用的矩阵。并且，摄像头矩阵可以为在图像处理领域广为人知的将二维图像上的坐标变换为三维空间中的坐标的矩阵。举例来说，三维坐标中的一个构成要素可以表示各对应参考对象的各纬度、经度及高度。
更具体地，上述数学式表示最优化问题，而计算装置100可以通过解决该问题来检测最优化对象坐标。但是，在解决以随机的初始值开始的最优化问题时，有可能无法正确解决。即，计算装置100有可能只能找出局部的最小值，或者因对于计算资源的过分的要求而无法解决。若要防止这样的危险，则需要一个适当的初始化流程。以下将进行更为具体的说明。
即，计算装置100，(i)参照通过上述车辆的至少一个陀螺传感器获取对于上述姿势的信息，对上述旋转矩阵执行初始化流程来生成初始化的旋转矩阵，(ii)参照通过上述车辆的全球定位系统获取初始对象坐标，对用来获取上述最优化对象坐标的对象坐标矩阵进行初始化来执行生成初始化的对象坐标矩阵的流程。旋转矩阵可假设通过陀螺传感器获取的姿势信息非常准确来进行如上述的初始化。并且，对象坐标矩阵可为对从全球定位系统中获取的位置信息进行调整而进行如上述的初始化，这可能带来稍微的错误。
在提供上述初始化的旋转矩阵及上述初始化的对象坐标矩阵的状态下，计算装置100可以通过寻找使上述数学式最小化的初始化的对角矩阵来对上述对角矩阵执行初始化的流程。之后，可以对上述初始化的旋转矩阵、上述初始化的对象坐标矩阵及上述初始化的对角矩阵的值进行调整，来最终执行使上述数学式最小化的，寻找最优化旋转矩阵、最优化对象坐标矩阵及最优化对角矩阵的流程。据此，在解决上述最优化问题后，可以把最优化的对象坐标矩阵作为参照来检测上述最优化的对象坐标。
概括来说，上述数学式的最优化问题涉及利用以实况图像为基础获取的参考对象的图像坐标对通过全球定位系统获取的全球定位系统基础的对象车辆的初始对象坐标进行调整的方法。普通技术人员通过说明可以很好的理解上述数学式。
在获取这样的最优化对象坐标后，对象车辆可以利用更为准确的自身的位置信息来执行自动驾驶。
以上说明的本发明的实施例能够以通过各种计算机结构要素执行的程序命令的形态实现并存储在计算机可读记录介质。上述计算机可读记录介质可以单独包括程序命令、数据文件、数据结构等或者可以包括它们的组合。上述计算机可读记录介质中记录的程序命令可以是为了本发明特殊设计并构成的，或者可以是由计算机软件领域的普通技术人员公知使用的。作为计算机可读记录介质的例，包括硬盘、软盘及磁带等磁介质、CD-ROM、DVD等光记录介质、光磁软盘(floptical disk)等磁光介质(magneto-optical media)、以及ROM、RAM、快闪存储器等为了存储并执行程序命令而特殊构成的硬件装置。作为程序命令的例，不仅包括由编译器制作的机器语言代码，而且还包括利用解析器等能够由计算机执行的高级语言代码。上述硬件装置为了执行本发明的处理而能够以一个以上软件模块运行，反之亦然。
以上，通过具体结构要素等特定事项和所限定的实施例及附图进行了说明，但这仅用于提供对本发明的更全面的理解，而本发明并不限定于上述实施例，本发明所属技术领域的普通技术人员可以从这些记载进行各种修改及变形。
因此，本发明的思想并不局限于上述所说明的实施例，发明要求保护范围及其等同或等价变形的所有内容均属于本发明的思想范畴内。

Claims (18)

1.一种方法，通过使用路标检测来检测能够自动驾驶的对象车辆的位置，其特征在于，
包括：
步骤(a)，在计算装置获取通过处理与计算装置联动的对象车辆的状况相对应的至少一个实况图像来生成的一个以上的实况特征地图情况下，通过参照(i)与各个参考对象相对应的一个以上的参考特征地图及(ii)上述实况特征地图，来按照获取上述实况特征地图的上述对象车辆的至少一个位置及包括于与至少一个姿势相对应的对象数据区域的一个以上的参考对象检测上述实况特征地图的各个特征地图坐标；
步骤(b)，上述计算装置通过参照各个上述特征地图坐标来分别检测上述实况图像上的上述各个参考对象的图像坐标；以及
步骤(c)，上述计算装置通过参照真实世界中的上述参考对象的一个以上的三维坐标、上述图像坐标、与获取上述实况图像的摄像头参数有关的信息及与上述对象车辆的上述姿势有关的信息来检测上述对象车辆的至少一个最优化对象坐标；
在上述步骤(c)中，
上述计算装置同时使用上述图像坐标、上述三维坐标、与上述参数有关的信息、与上述姿势有关的信息以及下列数学式来检测上述最优化对象坐标，
在上述数学式中，[pj]k表示与第j参考对象有关的第j图像坐标的第k轴成分，[qj]k表示与第j参考对象有关的第j三维坐标的第k轴成分，rk表示上述最优化对象坐标的第k轴成分，zk表示将任意数作为其对角成分的对角矩阵的第k对角成分，K表示与上述摄像头的上述参数相对应的摄像头矩阵，R(θ)表示与上述对象车辆的上述姿势相对应的旋转矩阵。
2.根据权利要求1所述的方法，其特征在于，
在上述步骤(c)中，
上述计算装置通过解决与上述数学式相对应的最优化问题来检测上述最优化对象坐标，
上述计算装置执行流程(i)、流程(ii)及流程(iii)，上述流程(i)包括流程(i-1)及流程(i-2)，在上述流程(i-1)中，参照与通过上述对象车辆的至少一个陀螺传感器获取的与上述姿势有关的信息，来使上述旋转矩阵初始化，从而生成初始化的旋转矩阵，在上述流程(i-2)中，参照通过上述对象车辆的全球定位系统获取的初始对象坐标来使用于获取上述最优化对象坐标的对象坐标矩阵初始化，从而生成初始化的对象坐标矩阵，在上述流程(ii)中，在提供上述初始化的旋转矩阵及上述初始化的对象坐标矩阵的状态下，找到使上述数学式最小化的初始化的对角矩阵来使上述对角矩阵初始化，在上述流程(iii)中，寻找最优化旋转矩阵、最优化对象坐标矩阵及最优化对角矩阵，上述最优化旋转矩阵、最优化对象坐标矩阵及最优化对角矩阵对上述初始化的旋转矩阵、上述初始化的对象坐标矩阵及上述初始化的对角矩阵的值进行调整来使上述数学式最小化，在解出上述最优化问题后，参照上述最优化的对象坐标矩阵来检测上述最优化对象坐标。
3.一种方法，通过使用路标检测来检测能够自动驾驶的对象车辆的位置，其特征在于，
包括：
步骤(a)，在计算装置获取通过处理与计算装置联动的对象车辆的状况相对应的至少一个实况图像来生成的一个以上的实况特征地图情况下，通过参照(i)与各个参考对象相对应的一个以上的参考特征地图及(ii)上述实况特征地图，来按照获取上述实况特征地图的上述对象车辆的至少一个位置及包括于与至少一个姿势相对应的对象数据区域的一个以上的参考对象检测上述实况特征地图的各个特征地图坐标；
步骤(b)，上述计算装置通过参照各个上述特征地图坐标来分别检测上述实况图像上的上述各个参考对象的图像坐标；以及
步骤(c)，上述计算装置通过参照真实世界中的上述参考对象的一个以上的三维坐标、上述图像坐标、与获取上述实况图像的摄像头参数有关的信息及与上述对象车辆的上述姿势有关的信息来检测上述对象车辆的至少一个最优化对象坐标；
在上述步骤(a)中，若获取通过使(i)上述各个参考对象中的一个具有与预定参考对象相对应的W2×H2×C2尺寸的多个预定参考特征地图及(ii)具有W1×H1×C1尺寸的上述实况特征地图并列地以通道单位连接而生成的预定整合特征地图，则上述计算装置使第一卷积神经网络在上述预定整合特征地图适用至少一个第一卷积神经网络运算，在上述实况特征地图的部分实况特征地图中，寻找预定部分实况特征地图的相似度分数大于阈值的预定部分实况特征地图，通过参照与存在于上述实况特征地图的上述预定部分实况特征地图的相对位置有关的信息来从上述特征地图坐标中检测与上述预定参考对象相对应的预定特征地图坐标。
4.根据权利要求3所述的方法，其特征在于，
在向上述预定整合特征地图适用上述第一卷积神经网络运算之前，已完成上述第一卷积神经网络的学习，
上述第一卷积神经网络执行流程(i)及流程(ii)，在上述流程(i)中，通过在学习用整合特征地图适用上述第一卷积神经网络运算来分别生成学习用上述实况特征地图的一个以上的各个学习用部分实况特征地图及学习用参考特征地图之间的一个以上的预测相似度分数，在上述流程(ii)中，通过参照上述预测相似度分数及与之相对应的真值相似度分数来生成第一损失，使用上述第一损失来执行反向传播，从而处于完成学习的状态。
5.根据权利要求3所述的方法，其特征在于，在上述步骤(b)中，上述计算装置执行流程(i)及流程(ii)，在上述流程(i)中，通过参照对(i-1)与上述预定特征地图坐标相对应的预定部分实况特征地图及(i-2)与之相对应的预定参考特征地图进行整合而生成的预定部分整合特征地图，来从上述实况图像中检测与预定特征地图坐标相对应的预定子区域上的预定参考对象的预定子区域坐标，在上述流程(ii)中，通过参照上述预定子区域坐标及上述预定特征地图坐标来从上述图像坐标中检测与上述预定参考对象相对应的预定图像坐标。
6.根据权利要求5所述的方法，其特征在于，在上述步骤(b)中，上述计算装置使第二卷积神经网络通过向上述预定部分整合特征地图适用将双曲正切运算用作激活函数的至少一个第二卷积神经网络运算，来检测上述预定子区域坐标。
7.根据权利要求6所述的方法，其特征在于，
在向上述预定部分整合特征地图适用上述第二卷积神经网络运算之前，已完成上述第二卷积神经网络的学习，
上述第二卷积神经网络执行流程(i)及流程(ii)，在上述流程(i)中，通过在学习用部分整合特征地图适用上述第二卷积神经网络运算来分别生成与上述学习用部分整合特征地图相对应的学习用参考对象的学习用预测子区域坐标，在上述流程(ii)中，通过参照上述预测子区域坐标及与之相对应的真值子区域坐标来生成第二损失，使用上述第二损失来执行反向传播，从而完成学习。
8.根据权利要求1所述的方法，其特征在于，在上述步骤(a)中，通过搭载于上述车辆的摄像头获取上述实况图像后，在自动驾驶模块执行上述对象车辆的自动驾驶的过程中，向上述自动驾驶模块传递上述实况图像来生成上述实况特征地图，之后，向上述计算装置传递上述实况特征地图。
9.根据权利要求1所述的方法，其特征在于，在上述步骤(a)中，上述计算装置利用通过搭载于上述对象车辆的全球定位系统获取的初始对象坐标及与上述对象车辆的上述姿势有关的信息来向高清地图传送查询，从而获取与包括上述参考特征地图的上述对象数据区域
有关的信息。
10.一种计算装置，通过使用地标检测来检测能够自动驾驶的对
象车辆的位置，其特征在于，
包括：
至少一个存储器，用于存储至少一个指令；以及
至少一个处理器，用于运行上述指令，
上述处理器执行流程(I)、流程(II)及流程(III)，在上述流程
(I)中，在获取通过对与计算装置联动的对象车辆的状况相对应的至
少一个实况图像进行处理来生成的一个以上的实况特征地图的情况下，
通过参照(i)与各个参考对象相对应的一个以上的各个参考特征地图
及(ii)上述实况特征地图来按照获取上述实况特征地图的上述对象车
辆的至少一个位置及包括于与至少一个姿势相对应的对象数据区域的
一个以上的参考对象检测上述实况特征地图的各特征地图坐标，在上
述流程(II)中，通过参照各个上述特征地图坐标来分别检测上述实况
图像上的上述各个参考对象的图像坐标，在上述流程(III)中，通过参
照真实世界中的上述参考对象的一个以上的三维坐标、上述图像坐标、
与获取上述实况图像的摄像头参数有关的信息及与上述对象车辆的上
述姿势有关的信息来检测上述对象车辆的至少一个最优化对象坐标，
在上述流程(III)中，上述处理器同时使用上述图像坐标、上述三
维坐标、与上述参数有关的信息、与上述姿势有关的信息以及下列数学
式来检测上述最优化对象坐标，
在上述数学式中，[pj]k表示与第j参考对象有关的第j图像坐标的第k轴成分，[qj]k表示与第j参考对象有关的第j三维坐标的第k轴成分，rk表示上述最优化对象坐标的第k轴成分，zk表示将任意数作为其对角成分的对角矩阵的第k对角成分，K表示与上述摄像头的上述参数相对应的摄像头矩阵，R(θ)表示与上述对象车辆的上述姿势向对应的旋转矩阵。
11.根据权利要求10所述的装置，其特征在于，
在上述流程(III)中，
上述处理器通过解决与上述数学式相对应的最优化问题来检测上述最优化对象坐标，
上述处理器执行流程(i)、流程(ii)及流程(iii)，上述流程(i)包括流程(i-1)及流程(i-2)，在上述流程(i-1)中，参照与通过上述对象车辆的至少一个陀螺传感器获取的上述姿势有关的信息，来使上述旋转矩阵初始化，从而生成初始化的旋转矩阵，在上述流程(i-2)中，参照通过上述对象车辆的全球定位系统获取的初始对象坐标来使用于获取上述最优化对象坐标的对象坐标矩阵初始化，从而生成初始化的对象坐标矩阵，在上述流程(ii)中，在提供上述初始化的旋转矩阵及上述初始化的对象坐标矩阵的状态下，找到使上述数学式最小化的初始化的对角矩阵来使上述对角矩阵初始化，在步骤(iii)中，寻找最优化旋转矩阵、最优化对象坐标矩阵及最优化对角矩阵，上述最优化旋转矩阵、最优化对象坐标矩阵及最优化对角矩阵对上述初始化的旋转矩阵、上述初始化的对象坐标矩阵及上述初始化的对角矩阵的值进行调整来使上述数学式最小化，在解出上述最优化问题后，参照上述最优化的对象坐标矩阵来检测上述最优化对象坐标。
12.一种计算装置，通过使用地标检测来检测能够自动驾驶的对象车辆的位置，其特征在于，
包括：
至少一个存储器，用于存储至少一个指令；以及
至少一个处理器，用于运行上述指令，
上述处理器执行流程(I)、流程(II)及流程(III)，在上述流程(I)中，在获取通过对与计算装置联动的对象车辆的状况相对应的至少一个实况图像进行处理来生成的一个以上的实况特征地图的情况下，通过参照(i)与各个参考对象相对应的一个以上的各个参考特征地图及(ii)上述实况特征地图来按照获取上述实况特征地图的上述对象车辆的至少一个位置及包括于与至少一个姿势相对应的对象数据区域的一个以上的参考对象检测上述实况特征地图的各特征地图坐标，在上述流程(II)中，通过参照各个上述特征地图坐标来分别检测上述实况图像上的上述各个参考对象的图像坐标，在上述流程(III)中，通过参照真实世界中的上述参考对象的一个以上的三维坐标、上述图像坐标、与获取上述实况图像的摄像头参数有关的信息及与上述对象车辆的上述姿势有关的信息来检测上述对象车辆的至少一个最优化对象坐标；
在上述流程(I)中，若获取通过使(i)上述各个参考对象中的一个具有与预定参考对象相对应的W2×H2×C2尺寸的多个预定参考特征地图及(ii)具有W1×H1×C1尺寸的上述实况特征地图并列地以通道单位连接而生成的预定整合特征地图，则上述处理器使第一卷积神经网络在上述预定整合特征地图适用至少一个第一卷积神经网络运算，在上述实况特征地图的部分实况特征地图中，寻找预定部分实况特征地图的相似度分数大于阈值的预定部分实况特征地图，通过参照与存在于上述实况特征地图的上述预定部分实况特征地图的相对位置有关的信息来从上述特征地图坐标中检测与上述预定参考对象相对应的预定特征地图坐标。
13.根据权利要求12所述的装置，其特征在于，
在向上述预定整合特征地图适用上述第一卷积神经网络运算之前，已完成上述第一卷积神经网络的学习，
上述第一卷积神经网络执行流程(i)及流程(ii)，在上述流程(i)中，通过在学习用整合特征地图适用上述第一卷积神经网络运算来分别生成学习用上述实况特征地图的一个以上的各个学习用部分实况特征地图及学习用参考特征地图之间的一个以上的预测相似度分数，在上述流程(ii)中，通过参照上述预测相似度分数及与之相对应的真值相似度分数来生成第一损失，使用上述第一损失来执行反向传播，从而处于完成学习的状态。
14.根据权利要求12所述的装置，其特征在于，在上述流程(II)中，上述处理器执行流程(i)及流程(ii)，在上述流程(i)中，通过参照对(i-1)与上述预定特征地图坐标相对应的预定部分实况特征地图及(i-2)与之相对应的预定参考特征地图进行整合而生成的预定部分整合特征地图，来从上述实况图像中检测与预定特征地图坐标相对应的预定子区域上的预定参考对象的预定子区域坐标，在流程(ii)中，通过参照上述预定子区域坐标及上述预定特征地图坐标来从上述图像坐标中检测与上述预定参考对象相对应的预定图像坐标。
15.根据权利要求14所述的装置，其特征在于，在上述流程(II)中，上述处理器使第二卷积神经网络通过向上述预定部分整合特征地图适用将双曲正切运算用作激活函数的至少一个第二卷积神经网络运算，来检测上述预定子区域坐标。
16.根据权利要求15所述的装置，其特征在于，
在向上述预定部分整合特征地图适用上述第二卷积神经网络运算之前，已完成上述第二卷积神经网络的学习，
上述第二卷积神经网络执行流程(i)及流程(ii)，在上述流程(i)中，通过在学习用部分整合特征地图适用上述第二卷积神经网络运算分别生成与上述学习用部分整合特征地图相对应的学习用参考对象的学习用预测子区域坐标，在上述流程(ii)中，通过参照上述预测子区域坐标及与之相对应的真值子区域坐标来生成第二损失，使用上述第二损失来执行反向传播，从而完成学习。
17.根据权利要求10所述的装置，其特征在于，在上述流程(I)中，通过搭载于上述车辆搭载的摄像头获取上述实况图像后，在自动驾驶模块执行上述对象车辆的自动驾驶的过程中，向上述自动驾驶模块传递上述实况图像来生成上述实况特征地图，之后，向上述计算装置传递上述实况特征地图。
18.根据权利要求10所述的装置，其特征在于，在上述流程(I)中，上述处理器利用通过搭载于上述对象车辆的全球定位系统获取的初始对象坐标及与上述对象车辆的上述姿势有关的信息来向高清地图传送查询，从而获取与包括上述参考特征地图的上述对象数据区域有关的信息。
CN202010077028.0A 2019-01-30 2020-01-23 用于路径规划的自动驾驶车辆位置的方法及其装置 Active CN111736586B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962798574P 2019-01-30 2019-01-30
US62/798,574 2019-01-30
US16/731,093 2019-12-31
US16/731,093 US10650548B1 (en) 2019-01-30 2019-12-31 Method and device for localization of autonomous vehicle for route planning by using attention-driven landmark detection

Publications (2)

Publication Number Publication Date
CN111736586A CN111736586A (zh) 2020-10-02
CN111736586B true CN111736586B (zh) 2023-10-03

Family

ID=70612951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010077028.0A Active CN111736586B (zh) 2019-01-30 2020-01-23 用于路径规划的自动驾驶车辆位置的方法及其装置

Country Status (5)

Country Link
US (1) US10650548B1 (zh)
EP (1) EP3690397B1 (zh)
JP (1) JP6986769B2 (zh)
KR (1) KR102296493B1 (zh)
CN (1) CN111736586B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111693049B (zh) * 2020-05-20 2022-02-11 五邑大学 一种无人船覆盖投食的动态路径规划方法及设备
DE102020120934A1 (de) 2020-08-07 2022-02-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Bereitstellen eines komprimierten neuronalen Netzes zur Multi-Label Multi-Klassen Kategorisierung, Fahrzeugassistenzeinrichtung zur Umgebungskategorisierung und Kraftfahrzeug
CN112002112B (zh) * 2020-08-25 2021-11-02 中国铁道科学研究院集团有限公司电子计算技术研究所 一种高速铁路周界入侵报警系统安防效能评估方法及系统
JP6830561B1 (ja) * 2020-09-17 2021-02-17 株式会社スペースリー 情報処理装置、情報処理方法、情報処理システム、情報処理プログラム
KR102289752B1 (ko) * 2020-10-13 2021-08-13 주식회사 스페이스소프트인더스트리 Gps 음영 지역에서 경로 비행을 수행하는 드론 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006119591A (ja) * 2004-09-22 2006-05-11 Mitsubishi Electric Corp 地図情報生成方法、地図情報生成プログラム及び地図情報収集装置
JP2009180631A (ja) * 2008-01-31 2009-08-13 Denso It Laboratory Inc ナビゲーション装置、ナビゲーション方法およびプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9290146B2 (en) * 1992-05-05 2016-03-22 Intelligent Technologies International, Inc. Optical monitoring of vehicle interiors
JP4497133B2 (ja) * 2006-07-12 2010-07-07 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
CN103154666B (zh) * 2011-06-14 2015-03-18 日产自动车株式会社 距离测量装置以及环境地图生成装置
KR101552773B1 (ko) * 2013-12-10 2015-09-11 고려대학교 산학협력단 인공 표식을 이용한 이동 로봇의 위치 추정 방법
US10395126B2 (en) * 2015-08-11 2019-08-27 Honda Motor Co., Ltd. Sign based localization
US9446730B1 (en) * 2015-11-08 2016-09-20 Thunder Power Hong Kong Ltd. Automatic passenger airbag switch
US9727793B2 (en) * 2015-12-15 2017-08-08 Honda Motor Co., Ltd. System and method for image based vehicle localization
KR101878685B1 (ko) * 2016-02-12 2018-07-16 서울과학기술대학교 산학협력단 지도 정보를 이용한 차량 측위 시스템 및 방법
WO2017168472A1 (ja) * 2016-03-30 2017-10-05 パナソニックＩｐマネジメント株式会社 位置推定装置、位置推定方法及び制御プログラム
KR101804471B1 (ko) * 2016-06-30 2017-12-04 주식회사 이누씨 영상 분석 방법 및 장치
EP3497405B1 (en) * 2016-08-09 2022-06-15 Nauto, Inc. System and method for precision localization and mapping
US20180074494A1 (en) * 2016-09-13 2018-03-15 Ford Global Technologies, Llc Passenger tracking systems and methods
KR20180050823A (ko) * 2016-11-07 2018-05-16 삼성전자주식회사 3차원의 도로 모델을 생성하는 방법 및 장치
KR101955506B1 (ko) * 2016-12-12 2019-03-11 주식회사 피엘케이 테크놀로지 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치 및 방법
DE112017006904T5 (de) * 2017-01-24 2019-10-02 Fujitsu Limited Informationsverarbeitungsvorrichtung, Merkmalspunkteextraktionsprogramm undMerkmalspunkteextraktionsverfahren
JP6760114B2 (ja) * 2017-01-31 2020-09-23 富士通株式会社 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
JP6589926B2 (ja) * 2017-04-07 2019-10-16 トヨタ自動車株式会社 物体検出装置
US10509947B1 (en) * 2017-04-11 2019-12-17 Zoox, Inc. Converting multi-dimensional data for image analysis
CN109061703B (zh) * 2018-06-11 2021-12-28 阿波罗智能技术(北京)有限公司 用于定位的方法、装置、设备和计算机可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006119591A (ja) * 2004-09-22 2006-05-11 Mitsubishi Electric Corp 地図情報生成方法、地図情報生成プログラム及び地図情報収集装置
JP2009180631A (ja) * 2008-01-31 2009-08-13 Denso It Laboratory Inc ナビゲーション装置、ナビゲーション方法およびプログラム

Also Published As

Publication number Publication date
EP3690397A1 (en) 2020-08-05
KR20200094654A (ko) 2020-08-07
KR102296493B1 (ko) 2021-09-02
EP3690397C0 (en) 2024-06-19
JP2020122784A (ja) 2020-08-13
EP3690397B1 (en) 2024-06-19
US10650548B1 (en) 2020-05-12
JP6986769B2 (ja) 2021-12-22
CN111736586A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN111736586B (zh) 用于路径规划的自动驾驶车辆位置的方法及其装置
CN109211241B (zh) 基于视觉slam的无人机自主定位方法
EP3690482B1 (en) Learning method and learning device for integrating an image acquired by a camera and a point-cloud map acquired by radar or lidar in a neural network and testing method and testing device using the same
US11530924B2 (en) Apparatus and method for updating high definition map for autonomous driving
CN109509230B (zh) 一种应用于多镜头组合式全景相机的slam方法
JP7326720B2 (ja) 移動体位置推定システムおよび移動体位置推定方法
US11393216B2 (en) Method of computer vision based localisation and navigation and system for performing the same
Cattaneo et al. Cmrnet: Camera to lidar-map registration
Ji et al. Panoramic SLAM from a multiple fisheye camera rig
CN110068335B (zh) 一种gps拒止环境下无人机集群实时定位方法及系统
KR102627453B1 (ko) 위치 추정 장치 및 방법
US11788845B2 (en) Systems and methods for robust self-relocalization in a visual map
JP6856855B2 (ja) それ自体によって生成された情報及び他の個体によって生成された情報を選択的に利用してカメラの誤整列を補正する方法及びこれを利用した装置
US11587241B2 (en) Detection of environmental changes to delivery zone
CN115861860B (zh) 一种无人机的目标跟踪定位方法和系统
CN111812978B (zh) 一种多无人机协作slam方法与系统
CN114549738A (zh) 无人车室内实时稠密点云重建方法、系统、设备及介质
Saleem et al. Neural network-based recent research developments in SLAM for autonomous ground vehicles: A review
CN117152249A (zh) 基于语义一致性的多无人机协同建图与感知方法及系统
US20230350418A1 (en) Position determination by means of neural networks
Abdulov et al. Visual odometry approaches to autonomous navigation for multicopter model in virtual indoor environment
Aggarwal Machine vision based SelfPosition estimation of mobile robots
Hernández et al. Visual SLAM with oriented landmarks and partial odometry
CN114462545A (zh) 一种基于语义slam的地图构建方法及装置
US20240282002A1 (en) Vision positioning method and related apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant