CN110588635A - 借助于人工智能基于摄像机对接车辆 - Google Patents
借助于人工智能基于摄像机对接车辆 Download PDFInfo
- Publication number
- CN110588635A CN110588635A CN201910342902.6A CN201910342902A CN110588635A CN 110588635 A CN110588635 A CN 110588635A CN 201910342902 A CN201910342902 A CN 201910342902A CN 110588635 A CN110588635 A CN 110588635A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- docking station
- docking
- support point
- imaging sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003032 molecular docking Methods 0.000 title claims abstract description 161
- 238000013473 artificial intelligence Methods 0.000 title abstract description 7
- 210000002569 neuron Anatomy 0.000 claims abstract description 62
- 238000011156 evaluation Methods 0.000 claims abstract description 55
- 238000003384 imaging method Methods 0.000 claims abstract description 54
- 238000000034 method Methods 0.000 claims description 66
- 238000012549 training Methods 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 7
- 230000006870 function Effects 0.000 description 9
- 238000013135 deep learning Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000011176 pooling Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0225—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/06—Automatic manoeuvring for parking
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及借助于人工智能基于摄像机对接车辆。针对对接站的评估装置,该评估装置包括:入口端口,用于获得对接站的利用能布置在车辆上的成像传感器摄取的至少一个影像,其中,评估装置被实施为,实施人造神经元网络,人造神经元网络被训练用于根据影像获知对接站的支撑点的图像坐标,根据支撑点的已知的几何形状来获知成像传感器相对于支撑点的位置和/或指向,并且根据成像传感器的所获知的位置和/或指向以及成像传感器在车辆上的已知的布置来获知对接站相对于车辆的位置和/或指向;出口端口,用于根据对接站相对于车辆的所获知的位置来提供用于车辆控制装置的信号,以便控制车辆对接到对接站上。
Description
技术领域
本发明涉及一种根据权利要求1所述的用于定位对接站的支撑点的评估装置。本发明还涉及一种根据权利要求2所述的用于定位对接站的支撑点的方法。本发明还涉及一种根据权利要求4所述的用于使车辆自动化地对接到对接站上的评估装置。本发明还涉及一种根据权利要求6所述的用于自动化地对接到对接站上的车辆。本发明也涉及一种根据权利要求7所述的用于使车辆自动化地对接到对接站上的方法。最后,本发明涉及一种根据权利要求13所述的用于将车辆对接到对接站上的计算机程序产品。
背景技术
自动化行驶的挑战一方面是在道路交通中的灵活驾驶。另一方面,尤其是在商用车领域,自动化行驶的任务是对接过程,其中,例如装卸货物和/或更换工具。
出版文献GB 2 513 393描述了一种具有摄像机和靶标的装置。摄像机固定在车辆上。标靶、例如图案面板固定在挂车上。通过在由摄像机摄取的图像中识别和定位标靶而能够计算轨迹。该轨迹描述了朝着拖车的方向的路径,车辆必须经过该路径用以对接拖车。
出版文献DE 10 2006 035 929 B4公开了一种用于借助商用车以传感器辅助的方式行驶到对象之下或者驶入对象中、尤其是驶入到变换桥中的方法,其中,由至少一个布置在商用车的尾部上的传感器来检测周围环境信息,并且其中,依据所检测到的周围环境信息来确定对象与商用车之间的相对位置,其中,与距离相关地在至少两个阶段中以传感器控制的方式选择出对象的分级模型的对象特征,其中,在商用车接近该对象期间,依据各个对象特征通过模型适配来实现该对象的单独的建模。在此,该分级模型随着距变换桥的距离而变化。例如,在远距离区域中识别出“粗略的”特征而在近距离区域中使模型精细化,用于更精确的定位。
发明内容
在此提出本发明。本发明所基于的任务是:改善车辆的自动化对接。
该任务通过具有权利要求1的特征的用于定位对接站的支撑点的评估装置来解决。该任务还通过具有权利要求2的特征的用于定位对接站的支撑点的方法来解决。该任务还通过具有权利要求4的特征的用于使车辆自动化地对接到对接站上的评估装置来解决。该任务还通过具有权利要求6的特征的用于自动化地对接到对接站上的车辆来解决。该任务也通过具有权利要求7的特征的用于使车辆自动化地对接到对接站上的方法来解决。最后,该任务通过具有权利要求13的特征的用于将车辆对接到对接站上的计算机程序产品来解决。
有利的设计方案和扩展方案在从属权利要求中说明。
按照本发明的用于在对接站的影像中定位对接站的支撑点的评估装置包括第一入口端口用于获得实际训练数据。实际训练数据包括对接站的影像。对于训练来说,存在支撑点的作为分开的信息的位置数据。该评估装置还包括第二入口端口用于获得目标训练数据。目标训练数据包括相应的支撑点在影像中的目标位置数据。该评估装置被实施为:将实际训练数据向前馈送给人造神经元网络,而且在该向前馈送给中获得相应的支撑点的利用该人造神经元网络获知的实际位置数据。该评估装置还被实施为:通过反向馈送实际位置数据与目标位置数据之间的偏差来调整用于人造神经元网络的神经元的连接的权重因子用以使偏差最小化,以便学习支撑点的目标位置数据。该评估装置还包括出口端口用于提供实际位置数据。
下面的限定适用于本发明的整个主题。
评估装置是如下设备,该设备处理输入的信息并且输出根据该处理而得到的结果。评估装置尤其是电子电路、诸如中央处理器单元或者图形处理器。
支撑点,英文也称作特征点(key points),例如是挂车的角点和/或在挂车或对接站上的其它明显的点。因此,按照本发明,直接探测支撑点,该支撑点是对接站的特征。也就是说,针对分类而言尤其是没有考虑变换桥的支撑部之间的自由空间,从而不必使用复杂的对象-自由空间模型,该对象-自由空间模块随着距变换桥的距离而变化。
对接站是车辆能够与其对接的对象。在对接状态下,车辆与对接站联接。对接站的示例是挂车、集装箱、变换桥或码头、例如装卸板。车辆是陆地车辆,例如载客车、商用车、例如载重车或牵引车、如拖拉机或者有轨车辆。车辆也可以是水运工具、诸如船。
影像是利用成像传感器所摄取的图像。数字摄像机包括成像传感器。影像尤其是彩色影像。
人工智能是针对智能行为的自动化的上位概念。例如学习智能算法,以便目标明确地对新的信息做出反应。人造神经元网络、英文被称为Artificial Neural Network是一种智能算法。智能算法被实施用以学习,以便目标明确地对新的信息做出反应。
为了可以目标明确地对新的信息做出反应,需要人工智能首先学习预先确定的信息的含义。为此,用有效数据来训练人工智能。有效数据一般是针对训练数据或测试数据的上位概念。除了真正的数据之外,训练数据尤其也包含关于相应的数据的含义的信息。也就是说,人工智能学习到的并被称作实际训练数据的训练数据被标签化。目标训练数据是真实的、给出的信息。目标位置数据尤其是支撑点的二维图像坐标。该训练阶段由大脑的学习过程启发。
具体而言,有效数据是如下数据组,利用该数据组在研发时间期间测试算法。因为研发人员基于测试也做出影响算法的决定,所以在研发结束时考虑另一数据组、即测试数据组用于最终的评价。例如,在不同的背景下的对接站的影像构成另一数据组。
利用有效数据的训练被称作机器学习。机器学习的子集是深度学习、即所谓的Deep Learning,其中,使用神经元的一系列分级层、即所谓的隐藏层(Hidden Layer),以便执行机器学习的过程。
神经元是人造神经元网络的功能单元。神经元的输出通常作为激活函数的值以评估的方式经由输入的利用权重因子来加权的和加上系统误差、即所谓的偏置而得到。具有多个隐藏层的人造神经元网络是深度神经元网络。
人造神经元网络例如是完全连接的网络,英文被称作Fully Connected Network。在完全连接的网络中,一个层的每个神经元都与之前的层的所有神经元连接。每个连接都具有它自己的权重因子。优选地,人造神经元网络是完全卷积网络(Fully ConvolutionalNetwork)。在卷积的神经元网络中,与位置无关地利用相同的权重因子将滤波器应用到神经元的层上。该卷积的神经元网络包括多个在卷积层之间的池化层。池化层在宽度和高度方面改变二维层的尺寸。池化层也被用于更高维度的层。优选地,人造神经元网络是具有对于本领域技术人员来说公知的编码器-解码器架构的卷积的神经元网络。
借此,评估装置学习识别在影像中的支撑点。优选地,人造神经元网络的输出是针对支撑点的逐像素的概率,也就是说,对于每个支撑点来说都获得所谓的被预测的热图,该热图说明了支撑点的逐像素的概率。那么,目标位置数据、也称作地面实况热图(groundtruth heatmap)优选地包括具有经标准化的高度的二维高斯钟,该二维高斯钟的最大值处在支撑点位置。实际位置数据与目标位置数据的偏差接着借助于在地面实况热图与预测的热图之间的交叉熵来最小化。
按照本发明的用于在对接站的影像中定位对接站的支撑点的方法包括如下方法步骤:
·获得支撑点的实际训练数据和位置数据;
·获得目标训练数据,其中,目标训练数据包括相应的支撑点在影像中的目标位置数据;
·将实际训练数据向前馈送给人造神经元网络并且利用人造神经元网络来获知相应的支撑点的实际位置数据;
·将实际位置数据与目标位置数据之间的偏差反向馈送,以便如下地调整用于人造神经元网络的神经元的连接的权重因子,即,使偏差被最小化,以便学习支撑点的目标位置数据。
该方法是用于人造神经元网络的训练方法。在所谓的训练阶段,利用权重因子来评价神经元之间的连接。向前馈送、英文被称作forward propagation指的是:将信息馈入到人造神经元网络的输入层中,穿过接下来的层并且在输出层中输出。反向馈送、英文被称作backward propagation指的是:信息反向穿过这些层,也就是说从输出层朝着输入层的方向穿过。通过将目标数据与实际数据的所获得的偏差从输出层逐渐地反向馈送到相应之前的层中直至到达输入层而获得相应的层的偏差。这些偏差是权重因子的函数。实际输出与目标输出之间的偏差通过成本函数来评价。在反向馈送中,误差的梯度根据各个权重来反向馈送。这样就知道:当增大或减小相应的权重时,在实际输出与目标输出之间的偏差是否最小化以及多强烈地最小化。通过在训练阶段,例如借助于最小二乘法、从信息理论中公知的交叉熵或者梯度下降法对偏差的最小化,借此改变权重因子。由此,在将输入重新馈入时,实现了接近所希望的输出。反向馈送例如在Michael A.Nielsen的神经元网络和深度学习(Neural Networks and Deep Learning),Determination Press,2015年中详细描述。
有利地,为了执行该方法,使用按照本发明的用于定位对接站的支撑点的评估装置。
优选地,在充分利用并行计算的情况下,该训练方法在图形处理器上执行。
按照本发明的用于使车辆自动化地对接到对接站上的评估装置包括入口端口,用于获得对接站的利用能布置在车辆上的成像传感器摄取的至少一个影像。该评估装置被实施为:实施人造神经元网络。人造神经元网络被训练用于根据影像获知对接站的支撑点的图像坐标。该评估装置还被实施为:根据支撑点的已知的几何形状来获知成像传感器相对于这些支撑点的位置和/或指向。该评估装置还被实施为:根据成像传感器的所获知的位置和/或指向以及成像传感器在车辆上的已知的布置来获知对接站相对于车辆的位置和/或指向。该评估装置还包括出口端口,用于根据对接站相对于车辆的所获知的位置来提供用于车辆控制装置的信号,以便车辆自动化地行驶至对接站用以对接。
成像传感器在每个时间戳都提供图像而且不仅仅是点云,诸如雷达、激光雷达或者激光。
图像坐标是来自三维的对象空间的对象在该对象的二维图像的参照空间内的二维坐标。
车辆控制装置包括调节回路和/或致动器,利用所述调节回路和/或致动器可以调节和/或控制车辆的纵向和/或横向引导。
借此,车辆可以有利地自动化地行驶到对接站的计算出的方位并且对接到对接站上。信号例如是转向角。借此,那么也能实现端到端(end-to-end)过程。有利地,基于支撑点的姿态估计是非常精确的,而且与端到端学习相比允许更多控制并且借此允许在算法方面的更大的安全性。
车辆控制装置优选地包括轨迹调节。
从对接站的三维模型中,例如公知支撑点的几何形状,例如支撑点彼此间的相对方位。如果事先不存在模型,则这些支撑点是按照本发明之前就被测出的。接着,根据对支撑点的几何形状的了解、优选地根据成像传感器的固有参数来得出成像传感器相对于支撑点的位置和/或指向。成像传感器的固有参数规定:成像传感器的光学测量和成像传感器的图像点、尤其是像素值如何相关联。例如,成像传感器的光学系统的焦距或者成像传感器的像素密度是成像传感器的固有参数。
优选地,根据按照本发明的用于定位对接站的支撑点的方法来训练人造神经元网络。
按照本发明的用于自动化地对接到对接站上的车辆包括具有成像传感器的摄像机。摄像机布置在车辆上,以便获得对接站的影像。该车辆还包括按照本发明的用于使车辆自动化地对接到对接站上的评估装置,以便根据对接站相对于该车辆的所获知的位置和/或指向来提供用于车辆控制装置的信号。车辆还包括车辆控制装置,以便根据该信号使车辆自动化地行驶至对接站用以对接。
借此,车辆可以有利地自动化地行驶至对接站的所计算出的方位并且对接到对接站上。因此,该车辆优选地是能自动化、优选地半自动化运行的车辆。能自动化运行的车辆是如下车辆,该车辆拥有如下技术装备,为了完成驾驶员任务,包括纵向和横向引导在内,该技术装备可以在激活相应的自动行驶功能、尤其是根据SAEJ3016标准的高度自动化或全自动化行驶功能之后利用车辆控制装置来控制相应的车辆。能半自动化运行的车辆可以承担特定的行驶任务。全自动化的车辆取代驾驶员。SAEJ3016标准在SAE第4级与SAE第5级之间的区别在于,第4级通过如下方式来限定:由自动化行驶系统来实施动态行驶任务的所有方面的行驶模式特定的实施方案,即使人类驾驶员没有对系统的询问适当地做出反应。第5级通过如下方式来限定:在人类驾驶员可以胜任的所有行驶和周围环境条件下,由自动化行驶系统来连贯地实施动态行驶任务的所有方面。本发明同样涉及的纯辅助系统在执行行驶任务方面对驾驶员进行辅助。这对应于SAE第1级。该辅助系统例如借助于在人机界面、英文被称作human machine interface、简称HMI上的视觉输出在转向机动方面对驾驶员进行辅助。人机界面例如是屏幕、尤其是触摸屏式的屏幕。
按照本发明的用于使车辆自动化地对接到对接站上的方法包括如下方法步骤:
·获得对接站的利用能布置在该车辆上的成像传感器来摄取的至少一个影像;
·实施人造神经元网络,该人造神经元网络被训练用于根据影像来获知对接站的支撑点的图像坐标;
·根据这些支撑点的已知的几何形状来获知该成像传感器相对于这些支撑点的位置和/或指向;
·根据该成像传感器的所获知的位置和该成像传感器在该车辆上的已知的布置来获知该对接站相对于该车辆的位置和/或指向;
以及
·根据该对接站相对于该车辆的所获知的位置和/或指向来提供用于车辆控制装置的信号。
借此,不再需要对对接站的事先的操纵,例如通过安装传感器、标记或图案面板来对对接站的事先的操纵。借助于所摄取的支撑点来识别对接站的位置和/或取向。
优选地,车辆控制装置根据该信号使该车辆自动化地行驶至对接站用以对接。借助于该方法,车辆可以有利地自动化地对接到对接站上。
有利地,在根据支撑点的已知的几何形状获知成像传感器相对于支撑点的位置和/或指向的情况下使用对接站的已知的模型,其中,该模型说明支撑点彼此间的相对方位。
优选地,在使用该已知的模型的情况下,使用成像传感器的固有参数。
特别优选地,在根据成像传感器的所获知的位置和成像传感器在车辆上的已知的布置而获知对接站相对于车辆的位置和/或指向的情况下,执行从成像传感器的系统至车辆的系统的坐标变换。根据车辆的坐标系可以实现朝着对接站的轨迹规划。
因此,借助于按照本发明的方法,根据对支撑点的相对的三维方位的了解,由人造神经元网络获得支撑点的二维投影并且获知到对接站的轨迹。
有利地,为了执行该方法,使用按照本发明的用于使车辆自动化地对接到对接站上的评估装置或者按照本发明的用于使车辆自动化地对接到对接站上的车辆。
按照本发明的用于将车辆对接到对接站上的计算机程序产品被实施为装载到计算机的存储器中,并且包括软件代码部分,当该计算机程序产品在计算机上运行时,利用所述软件代码部分来实施按照本发明的用于使车辆自动化地对接到对接站上的方法的方法步骤。
程序属于处理数据的系统、例如评估装置或计算机的软件。软件是针对程序和所属的数据而言的总的术语。硬件是对软件的补充。硬件表示处理数据的系统的机械和电子的精整。计算机是评估装置。
计算机程序产品通常包括指令序列,在程序被加载的情况下,通过该指令序列来促使硬件执行确定的方法,该方法促成确定的结果。当所涉及的程序在计算机上使用时,该计算机程序产品引起技术效果,即获得用于自动化地对接到对接站上的轨迹规划。
按照本发明的计算机程序产品与平台无关。也就是说,该计算机程序产品可以在每个任意的计算平台上实施。优选地,该计算机程序产品在按照本发明的用于使车辆自动化地对接到对接站上的评估装置上实施。
软件代码部分以任意的编程语言来编写,例如以Python语言来编写。
附图说明
本发明在附图中示例性地予以阐述。其中:
图1示出了按照本发明的车辆的实施例和对接站的实施例;
图2示出了对接站的实施例;
图3示出了按照本发明的用于定位对接站的支撑点的评估装置的实施例;
图4示出了按照本发明的用于定位对接站的支撑点的方法的示意图;
图5示出了按照本发明的用于使车辆自动化地对接到对接站上的评估装置的实施例;而
图6示出了按照本发明的用于使车辆自动化地对接到对接站上的方法的实施例。
在这些附图中,相同的附图标记涉及相同或功能类似的参考件。在各个附图中表征分别相关的参考部分。
具体实施方式
图1示出了拖拉机作为车辆30。该拖拉机运送拖车,该拖车是用于拖拉机的对接站10。车辆在到达对接站10时耦接到该对接站上。自动化地实现驶近对接站10和对接。为此,车辆包括摄像机33。
摄像机33摄取影像34,这些影像覆盖车辆30的向后的视域。通过这些影像34来检测对接站10。尤其是检测在图2中示出的支撑点11。图2也示出了图案面板9,借助于该图案面板也可以检测对接站10的位置和/或指向。然而,按照本发明并不强制地需要图案面板9。摄像机33包括成像传感器31。成像传感器31将影像34发送给评估装置20,用于将车辆30自动化地对接到对接站10上。
在图5中示出了评估装置20。评估装置20通过入口端口21来获得成像传感器31的影像34。这些影像34被提供给人造神经元网络4。
人造神经元网络4是完全卷积的网络。人造神经元网络4包括一个输入层4a、两个分级层4b和一个输出层4c。人造神经元网络可包括多个、例如超过1000个分级层4b。人造神经元网络4根据在图4中示出的用于在影像34中定位对接站10的支撑点11的方法来训练。也就是说,人造神经元网络4根据影像34来计算支撑点的图像坐标并且据此在知晓支撑点的几何形状和成像传感器31在车辆30上的布置的情况下计算对接站10相对于车辆30的位置和指向。根据对接站10相对于车辆30的位置和指向,评估装置20计算车辆30朝向对接站10的轨迹,而且将相应的控制信号输出给车辆控制装置32。评估装置20通过出口端口22将控制信号提供给车辆控制装置32。
利用在图3中示出的用于在对接站10的影像34中定位对接站10的支撑点11的评估装置1,执行在图4中示出的用于在对接站10的影像34中定位对接站10的支撑点11的训练方法。在训练方法中,影像34被标签化,也就是说,在这些影像中标记有支撑点11。
评估装置1包括第一入口端口2。评估装置1通过第一入口端口2来获得实际训练数据。实际训练数据就是影像34。获得实际训练数据是在图4中示出的第一方法步骤V1。
评估装置1还包括第二入口端口3。评估装置1通过第二入口端口3来获得目标训练数据。目标训练数据包括相应的支撑点11在所标记的影像34中的目标位置数据。获得目标训练数据是在图4中示出的第二方法步骤V2。
评估装置1还包括人造神经元网络4。人造神经元网络4例如具有类似于在图5中示出的评估装置20的人造神经元网络4的架构。
将实际训练数据向前馈送给人造神经元网络4。在向前馈送中,利用人造神经元网络4来获知相应的支撑点11的实际位置数据。向前馈送连同获知实际位置数据是在图4中示出的方法步骤V3。
在实际位置数据与目标位置数据之间的偏差通过人造神经元网络4来反向馈送。在反向馈送中,用于人造神经元网络4的神经元7的连接6的权重因子5被调整为使得将该偏差最小化。在此,学习支撑点11的目标位置数据。学习目标位置数据是在图4中示出的方法步骤V4。
评估装置1还包括出口端口8。通过出口端口来提供利用人造神经元网络4获得的实际位置数据,所述实际位置数据在训练方法期间接近目标位置数据。
利用在图5中示出的被训练的评估装置20执行在图6中示出的用于将车辆30自动化地对接到对接站10上的方法。在第一方法步骤S1中,获得对接站10的至少一个利用布置在车辆30上的成像传感器31摄取的影像34。在此,影像34是没有对支撑点11进行标记的普通图像。
在第二方法步骤S2中,实施人造神经元网络4。人造神经元网络4被训练用于根据影像34来获知对接站10的支撑点11的图像坐标。
在第三方法步骤S3中,根据支撑点11的已知的几何形状获知成像传感器31相对于支撑点11的位置和/或指向。在方法步骤S3a中,借助于对接站10的已知的三维模型来获知支撑点11的几何形状,其中,该模型说明支撑点11彼此间的相对方位。在方法步骤S3b中,在使用该已知的模型的情况下,使用成像传感器31的固有参数。
在方法步骤S4中,根据成像传感器31的所获知的位置和成像传感器31在车辆30上的已知的布置来获知对接站10相对于车辆30的位置和/或指向。在此,在方法步骤S4a中,执行从成像传感器31的系统到车辆30的系统的坐标变换。通过该坐标变换来知晓对接站10在车辆的系统中的位置和/或指向,以便借助于轨迹调整将车辆自动化地对接到计算出的对接站10的方位上。
在方法步骤S5中,根据对接站10相对于车辆30的获知的位置和/或指向来提供用于车辆控制装置32的信号。
在方法步骤S6中,车辆控制装置32根据该信号使车辆30自动化地行驶至对接站10用以对接。
附图标记列表
1 评估装置
2 第一入口端口
3 第二入口端口
4 人造神经元网络
4a 输入层
4b 分级层
4c 输出层
5 权重因子
6 连接
7 神经元
8 出口端口
9 图案面板
10 对接站
11 支撑点
20 评估装置
21 入口端口
22 出口端口
30 车辆
31 成像传感器
32 车辆控制装置
33 摄像机
34 影像
V1-V4 方法步骤
S1-S6 方法步骤
Claims (13)
1.一种用于在对接站(10)的影像(34)中定位对接站(10)的支撑点(11)的评估装置(1),所述评估装置包括:
·第一入口端口(2),用于获得实际训练数据,其中,所述实际训练数据包括所述对接站(10)的影像,其中,在所述影像(34)中标记有所述支撑点(11);
·第二入口端口(3),用于获得目标训练数据,其中,所述目标训练数据包括相应的支撑点(11)在所述影像(34)中的目标位置数据,
其中,所述评估装置(1)实施为:
·将实际训练数据向前馈送给人造神经元网络(4),并且在所述向前馈送中获得相应的支撑点(11)的利用所述人造神经元网络(4)获知的实际位置数据,并且
·通过反向馈送所述实际位置数据与所述目标位置数据之间的偏差来调整用于所述人造神经元网络(4)的神经元(7)的连接(6)的权重因子(5)用以使偏差最小化,以便学习所述支撑点(11)的目标位置数据;
和
·出口端口(8),用于提供所述实际位置数据。
2.一种用于在对接站(10)的影像(34)中定位所述对接站(10)的支撑点(11)的方法,所述方法包括如下方法步骤:
·获得所述支撑点(11)的实际训练数据和位置数据(V1);
·获得目标训练数据,其中,所述目标训练数据包括相应的支撑点(11)在所述影像(34)中的目标位置数据(V2);
·将所述实际训练数据向前馈送给人造神经元网络(4)并且利用所述人造神经元网络(4)来获知相应的支撑点(11)的实际位置数据(V3);
·将所述实际位置数据与所述目标位置数据之间的偏差反向馈送,以便如下地调整用于所述人造神经元网络(4)的神经元(7)的连接(6)的权重因子(5),即,使所述偏差最小化,以便学习所述支撑点(11)的目标位置数据(V4)。
3.根据权利要求2所述的方法,其中,为了执行所述方法,使用根据权利要求1所述的评估装置(10)。
4.一种用于使车辆(30)自动化地对接到对接站(10)上的评估装置(20),所述评估装置包括:
·入口端口(21),用于获得所述对接站(10)的利用能布置在所述车辆(30)上的成像传感器(31)摄取的至少一个影像(34),
·其中,所述评估装置实施为:
o实施人造神经元网络(4),所述人造神经元网络被训练用于根据所述影像(34)获知所述对接站(10)的支撑点(11)的图像坐标,
o根据所述支撑点(11)的已知的几何形状来获知所述成像传感器(31)相对于所述支撑点(11)的位置和/或指向,并且
o根据所述成像传感器(31)的所获知的位置和/或指向以及所述成像传感器(31)在所述车辆(30)上的已知的布置来获知所述对接站(10)相对于所述车辆(30)的位置和/或指向,
和
·出口端口(22),用于根据所述对接站(10)相对于所述车辆(30)的所获知的位置来提供用于车辆控制装置(32)的信号,以便所述车辆(30)自动化地行驶至所述对接站(10)用以对接。
5.根据权利要求4所述的评估装置(20),其中,所述人造神经元网络(4)根据权利要求2或3所述的方法来训练。
6.一种用于自动化地对接到对接站(10)上的车辆(30),所述车辆包括:
·具有成像传感器(31)的摄像机(33),所述摄像机布置在所述车辆(30)上,以便获得所述对接站(10)的影像(34);
·根据权利要求4或5所述的评估装置(20),用于根据所述对接站(10)相对于所述车辆(30)的所获知的位置和/或指向来提供用于车辆控制部的信号;
和
·车辆控制装置(32),用于根据所述信号使所述车辆(30)自动化地行驶至所述对接站(10)用以对接。
7.一种用于使车辆(30)自动化地对接到对接站(10)上的方法,所述方法包括如下方法步骤:
·获得所述对接站(10)的利用能布置在所述车辆(30)上的成像传感器(31)摄取的至少一个影像(34)(S1);
·实施人造神经元网络(4),所述人造神经元网络被训练用于根据所述影像(34)来获知所述对接站(10)的支撑点(11)的图像坐标(S2);
·根据所述支撑点(11)的已知的几何形状来获知所述成像传感器(31)相对于所述支撑点(11)的位置和/或指向(S3);
·根据所述成像传感器(31)的所获知的位置和所述成像传感器(31)在所述车辆(30)上的已知的布置来获知所述对接站(10)相对于所述车辆(30)的位置和/或指向(S4);
以及
·根据所述对接站(10)相对于所述车辆(30)的所获知的位置和/或指向来提供用于车辆控制装置(32)的信号(S5)。
8.根据权利要求7所述的方法,其中,所述车辆控制装置(32)根据所述信号使所述车辆(30)自动化地行驶至所述对接站(10)用以对接(S6)。
9.根据权利要求7或8所述的方法,其中,在根据所述支撑点(11)的已知的几何形状获知所述成像传感器(31)相对于所述支撑点(11)的位置和/或指向(S3)的情况下使用所述对接站(10)的已知的模型,其中,所述模型说明所述支撑点(11)彼此间的相对方位(S3a)。
10.根据权利要求9所述的方法,其中,在使用已知的模型的情况下使用所述成像传感器(31)的固有参数(S3b)。
11.根据权利要求7至10中任一项所述的方法,其中,在根据所述成像传感器(31)的所获知的位置和所述成像传感器在所述车辆(30)上的已知的布置而获知所述对接站(10)相对于所述车辆(30)的位置和/或指向(S4)的情况下,执行从所述成像传感器(31)的系统至所述车辆(30)的系统的坐标变换(S4a)。
12.根据权利要求7至11中任一项所述的方法,其中,为了执行所述方法,使用根据权利要求4或5所述的评估装置(20)或者使用根据权利要求6所述的车辆(30)。
13.一种计算机程序产品,其用于将车辆(30)对接到对接站(10)上,其中,所述计算机程序产品
·实施为装载到计算机的存储器中;并且
·包括软件代码部分,当所述计算机程序产品在所述计算机上运行时,利用所述软件代码部分来实施根据权利要求7至11中任一项所述的方法的方法步骤。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018209382.2 | 2018-06-13 | ||
DE102018209382.2A DE102018209382A1 (de) | 2018-06-13 | 2018-06-13 | Kamera-basiertes Andocken von Fahrzeugen mittels künstlicher Intelligenz |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110588635A true CN110588635A (zh) | 2019-12-20 |
Family
ID=66655189
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910342902.6A Pending CN110588635A (zh) | 2018-06-13 | 2019-04-26 | 借助于人工智能基于摄像机对接车辆 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20190384308A1 (zh) |
EP (1) | EP3582139A1 (zh) |
CN (1) | CN110588635A (zh) |
DE (1) | DE102018209382A1 (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210252698A1 (en) * | 2020-02-14 | 2021-08-19 | Nvidia Corporation | Robotic control using deep learning |
DE102020214579A1 (de) * | 2020-11-19 | 2022-05-19 | Robert Bosch Gesellschaft mit beschränkter Haftung | Computer-implementiertes Verfahren und Steuergerät zum sensorgestützten Unterfahren eines Objektes mit einem Nutzfahrzeug mithilfe Methoden künstlicher Intelligenz |
DE102022111559A1 (de) | 2022-05-10 | 2023-11-16 | Valeo Schalter Und Sensoren Gmbh | Positionierung eines Fahrzeugs bezüglich eines Anhängers |
EP4369134A1 (en) * | 2022-11-10 | 2024-05-15 | KAMAG Transporttechnik GmbH & Co. KG | Method and system for autonomous driving of a swap body transporter, and swap body transporter |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060071447A1 (en) * | 2004-06-17 | 2006-04-06 | Ottmar Gehring | Process for coupling a trailer to a motor vehicle |
CN101270983A (zh) * | 2007-03-21 | 2008-09-24 | 福特环球技术公司 | 车辆操纵辅助装置 |
CN101402363A (zh) * | 2007-10-05 | 2009-04-08 | 福特全球技术公司 | 用于车辆和拖车联接车的拖车晃动探测与补偿方法 |
US20160075281A1 (en) * | 2013-04-26 | 2016-03-17 | Jaguar Land Rover Limited | Vehicle Hitch Assistance System |
CN106274685A (zh) * | 2015-06-23 | 2017-01-04 | 通用汽车环球科技运作有限责任公司 | 采用hmi辅助可视伺服的智能拖车联接控制 |
CN106808940A (zh) * | 2015-12-01 | 2017-06-09 | 通用汽车环球科技运作有限责任公司 | 导向拖曳挂接控制系统和方法 |
US20180056868A1 (en) * | 2016-09-01 | 2018-03-01 | GM Global Technology Operations LLC | Method and apparatus to determine trailer pose |
CN108010053A (zh) * | 2016-11-02 | 2018-05-08 | Lg电子株式会社 | 提供环视图像的装置和方法、车辆及计算机可读存储介质 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102005008874A1 (de) * | 2005-02-24 | 2006-09-07 | Daimlerchrysler Ag | Bedien- und Anzeigekonzept für die Bildgestützte Navigation bei Fahrzeugen |
DE102006035929B4 (de) | 2006-07-31 | 2013-12-19 | Götting KG | Verfahren zum sensorgestützten Unterfahren eines Objekts oder zum Einfahren in ein Objekt mit einem Nutzfahrzeug |
US10150414B2 (en) * | 2016-07-08 | 2018-12-11 | Ford Global Technologies, Llc | Pedestrian detection when a vehicle is reversing |
DE102017008678A1 (de) * | 2017-09-14 | 2018-03-01 | Daimler Ag | Verfahren zur Adaption einer Objekterkennung durch ein Fahrzeug |
US20190129429A1 (en) * | 2017-10-26 | 2019-05-02 | Uber Technologies, Inc. | Systems and Methods for Determining Tractor-Trailer Angles and Distances |
US10878294B2 (en) * | 2018-01-05 | 2020-12-29 | Irobot Corporation | Mobile cleaning robot artificial intelligence for situational awareness |
BR112020017031A2 (pt) * | 2018-02-21 | 2021-02-23 | Outrider Technologies, Inc. | sistemas para operação de um trator de terminal de veículo autônomo, para controlar o carregamento de um caminhão elétrico em uma instalaçã, para manobrar um reboque com relação a um caminhão, para controlar acesso por um usuário a um caminhão autônomo, para permitir movimento de um reboque, para identificar e orientar com relação a poços de contêiner em vagões ferroviários, para transportar um reboque de longa distância, para abrir roboticamente portas oscilantes traseiras de um reboque, para operar um caminhão, para reter portas oscilantes abertas em um reboque, para assistir em operações de ré em um reboque engatado em um caminhão autônomo, para aplicar automaticamente um suporte de elevação estacionário a um reboque, para apoio automático de um reboque, método para operação de um trator de terminal de veículo autônomo, e, sistema de ponte-rolante. |
-
2018
- 2018-06-13 DE DE102018209382.2A patent/DE102018209382A1/de active Pending
-
2019
- 2019-04-26 CN CN201910342902.6A patent/CN110588635A/zh active Pending
- 2019-05-27 EP EP19176658.3A patent/EP3582139A1/de not_active Withdrawn
- 2019-06-06 US US16/433,257 patent/US20190384308A1/en not_active Abandoned
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060071447A1 (en) * | 2004-06-17 | 2006-04-06 | Ottmar Gehring | Process for coupling a trailer to a motor vehicle |
CN101270983A (zh) * | 2007-03-21 | 2008-09-24 | 福特环球技术公司 | 车辆操纵辅助装置 |
CN101402363A (zh) * | 2007-10-05 | 2009-04-08 | 福特全球技术公司 | 用于车辆和拖车联接车的拖车晃动探测与补偿方法 |
US20160075281A1 (en) * | 2013-04-26 | 2016-03-17 | Jaguar Land Rover Limited | Vehicle Hitch Assistance System |
CN106274685A (zh) * | 2015-06-23 | 2017-01-04 | 通用汽车环球科技运作有限责任公司 | 采用hmi辅助可视伺服的智能拖车联接控制 |
CN106808940A (zh) * | 2015-12-01 | 2017-06-09 | 通用汽车环球科技运作有限责任公司 | 导向拖曳挂接控制系统和方法 |
US20180056868A1 (en) * | 2016-09-01 | 2018-03-01 | GM Global Technology Operations LLC | Method and apparatus to determine trailer pose |
CN108010053A (zh) * | 2016-11-02 | 2018-05-08 | Lg电子株式会社 | 提供环视图像的装置和方法、车辆及计算机可读存储介质 |
Non-Patent Citations (1)
Title |
---|
YOUSEF ATOUM等: "Monocular Video-Based Trailer Coupler Detection Using Multiplexer Convolutional Neural Network", 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), pages 5472 - 5485 * |
Also Published As
Publication number | Publication date |
---|---|
DE102018209382A1 (de) | 2019-12-19 |
US20190384308A1 (en) | 2019-12-19 |
EP3582139A1 (de) | 2019-12-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110588635A (zh) | 借助于人工智能基于摄像机对接车辆 | |
US11216673B2 (en) | Direct vehicle detection as 3D bounding boxes using neural network image processing | |
US10552982B2 (en) | Method for automatically establishing extrinsic parameters of a camera of a vehicle | |
US8055020B2 (en) | Method for object tracking | |
Bounini et al. | Autonomous vehicle and real time road lanes detection and tracking | |
CN106274685A (zh) | 采用hmi辅助可视伺服的智能拖车联接控制 | |
US20180137376A1 (en) | State estimating method and apparatus | |
CN111284502B (zh) | 一种牵引车组位姿检测方法及系统 | |
JP7176478B2 (ja) | 画像認識装置 | |
EP4053020A1 (en) | Autonomous maneuver generation to mate connectors | |
US11776277B2 (en) | Apparatus, method, and computer program for identifying state of object, and controller | |
US20220119007A1 (en) | Method and Device for Operating a Robot with Improved Object Detection | |
US20240221202A1 (en) | Real time localization with image data | |
CN110395257A (zh) | 一种车道线实例检测方法和装置、自动驾驶车辆 | |
US20200097005A1 (en) | Object detection device, object detection method, and vehicle controller | |
CN113793371B (zh) | 目标分割追踪方法、装置、电子设备和存储介质 | |
US12008787B2 (en) | Object pose estimation | |
US20210406610A1 (en) | Recognition of objects in images with equivariance or invariance in relation to the object size | |
Ash et al. | Design of the minion research platform for the 2016 Maritime RobotX Challenge | |
WO2023145492A1 (ja) | 状態推定装置、状態推定方法及び状態推定プログラム | |
WO2023210279A1 (ja) | 電子機器、方法及びプログラム | |
US20230298474A1 (en) | Method for Safely Determining a Flight Path of an Unmanned Aerial Vehicle, and Unmanned Aerial Vehicle | |
JP2023053681A (ja) | 距離推定装置 | |
CN118470688A (zh) | 车辆控制方法、系统、设备及存储介质 | |
Cook | Joyride: IGVB 2023 self-drive design report |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |