CN112950718A - 用于对车辆组合的成像系统的图像数据进行校准的方法和设备 - Google Patents
用于对车辆组合的成像系统的图像数据进行校准的方法和设备 Download PDFInfo
- Publication number
- CN112950718A CN112950718A CN202011460678.XA CN202011460678A CN112950718A CN 112950718 A CN112950718 A CN 112950718A CN 202011460678 A CN202011460678 A CN 202011460678A CN 112950718 A CN112950718 A CN 112950718A
- Authority
- CN
- China
- Prior art keywords
- calibration object
- image
- imaging system
- image data
- characteristic quantity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 238000003384 imaging method Methods 0.000 title claims abstract description 48
- 230000001131 transforming effect Effects 0.000 claims abstract description 4
- 238000004590 computer program Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 claims description 3
- 230000005540 biological transmission Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
- B60R2300/402—Image calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
- B60W2050/0083—Setting, resetting, calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2300/00—Indexing codes relating to the type of vehicle
- B60W2300/14—Tractor-trailers, i.e. combinations of a towing vehicle and one or more towed vehicles, e.g. caravans; Road trains
- B60W2300/145—Semi-trailers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
一种用于对车辆组合的成像系统的图像数据进行校准的方法,该车辆组合具有第一组合部分和第二组合部分,该第一组合部分具有用于生成图像的成像系统,该第二组合部分具有校准对象,其中,第二组合部分以能够围绕至少一个轴机械运动的方式与第一组合部分耦合;成像系统设置为至少部分地成像第二组合部分,该方法具有以下步骤:提供成像系统的至少一个图像,该图像成像校准对象;辨识图像内的校准对象;辨识图像内的校准对象的特征参量;确定图像内的校准对象的特征参量与图像内的校准对象的所存储的期望特征参量的偏差;根据校准对象的特征参量与所存储的期望特征参量的偏差,通过对成像系统的图像数据进行变换生成经校准的图像数据,以便补偿偏差。
Description
背景技术
使用图像来表示至少部分自动化的平台的周围环境是一个非常广泛的领域,因为图像通常包含许多信息。
这种基于摄像机的系统需要进行校准,以将图像中的所辨识出的对象分配给周围环境中的对象,因此可以将相应的二维图像坐标转化为车辆坐标系中的相应的三维结构。
该校准通常划分为内在特征(Intrinsik)以及外在特征(Extrinsik),该内在特征涉及诸如焦距和焦点或者说视点(Blickpunkt)之类的摄像机自己的参数,该外在特征涉及车辆坐标中的位置和定向。
三维坐标系的原点通常在车辆自身处的固定点上。通常在测试台处借助校准板来实施摄像机系统的校准。
发明内容
在使用这种系统时,在行驶期间可能发生:摄像机系统的位置和/或定向已经改变。例如对于载重汽车,其原因可能是重心转移,例如由于轮胎压力的改变、汽油消耗又或者通过热影响和冷影响引起的载重汽车底盘的变形。在距传感器的距离较大的情况下,在定向方面仅改变角度的一部分可能导致几个百分点的误差。这限制由摄像机系统所识别的对象的质量,并且损害驾驶系统的整体性能。
用于在行驶期间进行校准的现有方案限于外在校准。对此,在周围环境中搜索不变的特征。由于在行驶期间周围环境自然地发生改变,因此无法在任意时刻确定该不变的特征。因此,在较长的时间段内观察辨识出的特征,并且对其结果进行积分,以便因此虚拟地接近于不变的特征。
这种特征例如可以是由光流得出的延伸焦点(focus of expansion)、道路标记或水平线。这些系统的基本假设仍然在于,在以下情况下特征的改变平均得到补偿:延伸焦点总是定向到行驶方向上或逆行驶方向上,道路标记平均地总是直的并且平行于车辆,或者水平线平均地是平的并且在视线水平上。
因此,提出在驾驶期间借助呈校准形式的实时修正来解决这种问题。
向后定向的摄像机(尤其是在鞍式牵引车中)通常检测挂车的图像。该挂车可以用作不变的特征以进行校准。如果挂车的尺寸在行驶之前是已知的,则摄像机系统可以将挂车自身的外部尺寸(Auβenmaβ)用作校准图样。
例如,在方形挂车的情况下,可以在白天将挂车的边缘用于这种校准,而在夜间将位置灯用于这种校准。替代地或附加地,在挂车中,可以在外表面上施加具有已知尺寸的图样,这些尺寸可以借助摄像机系统进行识别。可以在假设挂车在车辆后方平均笔直行驶的情况下,借助在较长时间段上的积分,辨识和考虑到挂车铰接角(即,换句话说,进行引导的车辆与该车辆的挂车之间的角度)的不准确度。通过使用市场上通用的系统来确定例如鞍座主销中的或者与另一系统的铰接角以进行挂车铰接角估计,可以直接对铰接角进行补偿。由此缩短用于确定外在校准的积分时间。此外,检测到的挂车尺寸也允许进行内在校准。
本发明公开根据本发明的一种用于对车辆组合(Fahrzeuggespann)的成像系统的图像数据进行校准的方法、一种设备、一种计算机程序的应用、一种计算机程序以及一种机器可读的存储介质。有利的构型是以下描述的主题。
在本发明的整个描述中,如此示出方法步骤的次序,使得本方法易于理解。但是,本领域技术人员将认识到,方法步骤中的许多也能够以另一顺序进行并且导致相同的结果。在此意义上,方法步骤的顺序可以相应地改变并且因此也是公开的。
根据一个方面,提出一种用于对车辆组合的成像系统的图像数据进行校准的方法,该车辆组合具有第一组合部分和第二组合部分,该第一组合部分具有用于生成图像的成像系统,该第二组合部分具有校准对象。在此,第二组合部分以能够围绕至少一个轴机械运动的方式与第一组合部分耦合,并且成像系统设置为至少部分地成像第二组合部分。
在本方法的一个步骤中,提供成像系统的至少一个图像,该图像成像校准对象。在另一步骤中,辨识图像内的校准对象。
在另一步骤中,辨识图像内的校准对象的特征参量。
在另一步骤中,确定图像内的校准对象的特征参量与图像内的校准对象的所存储的期望特征参量的偏差。
在另一步骤中,根据校准对象的特征参量与所存储的期望特征参量的偏差,通过对成像系统的图像数据进行变换,生成经校准的图像数据,以便补偿偏差。
在此,校准对象是以下对象:该对象可以由成像系统检测到,并且该对象的特征对于该方法执行校准而言是足够准确地已知的。
具有第一和第二组合部分的这种车辆组合是指以下车辆的任意组合:在这些车辆之间,在行驶期间存在可运动的连接。
有利地,可以在行驶期间执行该方法,并且借助已知的校准对象能够执行内在校准。在此,只要校准对象是自发光的,那么在不存在外部光的情况下(即,尤其是在夜间)也能够实现这种校准。尤其可以将存在的位置灯用作校准对象。在没有外部照明的情况下(例如在夜间),借助自身发光的对象进行校准是特别有利的,因为在夜间,对距其他交通参与者的距离的估计特别取决于校准的质量。
根据一个方面,提出由多个成像系统、尤其是由两个成像系统生成图像,该成像系统至少部分地成像第二组合部分。如果将分别单独生成的图像相互比较,或者如果成像系统基于不同的成像系统类型,则通过使用多个成像系统可以执行更准确的校准。
根据一个方面,提出校准对象具有第二组合部分的特征。由于这些特征例如也可以是照明设备的一部分,因此得出该方法的以下优点:在夜间也可以执行校准。
根据一个方面,提出将至少一个校准对象施加在第二组合部分的外部的表面上。
根据一个方面,提出根据第二组合部分的类型确定校准对象的期望特征参量。在此,在一个步骤中辨识第二组合部分的类型。在另一步骤中,借助分配表确定第二组合部分的类型的校准对象的期望特征参量。
这种分配表列出不同的组合部分类型,并且将这些类型与相应校准对象的期望特征参量进行对照,从而借助组合部分的类型的知识,已知用于该方法的校准对象的期望特征参量。
根据一个方面,提出借助辨识方法在第一组合部分与第二组合部分之间进行第二组合部分的类型的辨识。借助这种辨识方法得出以下优点:不必手动地向该方法提供期望特征参量。
根据一个方面,提出借助无线的辨识方法在第一组合部分与第二组合部分之间进行该辨识方法。为了能够在有多个第二组合部分的情况下执行该校准方法,有利的是:通过第二组合部分,至少将校准对象的类型、但尤其还有校准对象的期望参量以无线的方式提供给第一组合部分以用于该方法,因此可以舒适且可靠地执行第二组合部分的切换。
根据一个方面,提出辨识方法基于条形码方法和/或RFID方法和/或借助车辆总线(CAN)的传输。关于辨识方法基于条形码方法和/或RFID方法的特征,应广义地理解术语“基于”。可以如此理解,所提到的方法的任何使用都可以考虑用于辨识方法,其中,不排除也还可以考虑其他输入参量用于辨识方法。借助该辨识方法能够实现对第二组合部分的经济上有利的辨识。
根据一个方面,提出成像系统是摄像机系统、视频系统、激光雷达系统或雷达系统。因此,校准方法可以应用于不同的成像方法,并且匹配于特定的条件。
根据一个方面,提出借助以下方法步骤生成经校准的图像数据。在一个步骤中,针对由成像系统在不同时间已生成的多个图像,确定图像内的校准对象的特征参量与图像内的校准对象的所存储的期望特征参量的偏差。在另一步骤中,由多个图像的相应的偏差的平均值来计算偏差。
根据一个方面,提出借助以下方法步骤生成经校准的图像数据。在该方法的一个步骤中,针对由成像系统在不同时间已生成的多个图像,确定图像内的校准对象的特征参量与图像内的校准对象的所存储的期望特征参量的偏差。在另一步骤中,针对多个图像中的每个确定第一组合部分与第二组合部分之间的角度。在另一步骤中,由在第一组合部分与第二组合部分之间的限定角度下多个图像上的平均值计算偏差。通过这种铰接角补偿,除了消除较长期的校准误差以外,还可以识别和补偿例如由于轮胎爆裂而出现的短期的误差。因此,借助该方法也满足对冗余和故障安全性(Ausfallsicherheit)的更高要求,如对于自主驾驶所必需的那样。
根据一个方面,提出对于成像系统的校准、尤其是外在校准,校准对象的特征参量是成像系统的图像中的校准对象的至少一部分的位置,并且变换图像数据,其方式为:将图像数据换算到经校准的图像数据的新的参考系中。
有利地,如此可以通过校准补偿零点和/或旋转。
根据一个方面,提出对于成像系统的校准、尤其是内在校准,校准对象的特征参量是成像系统的图像中的校准对象的至少一部分的长度,并且变换图像数据,其方式为:计算图像数据相对于经校准的图像数据的长度变换和/或旋转和/或平移和/或焦点移动。
有利地,如此可以借助校准来补偿图像的大小、移动、扭转和焦点或者说视点的改变。
根据一个方面,提出基于校准对象的特征参量与校准对象的所存储的期望特征参量的所确定的偏差,提供用于操控至少部分自动化的车辆组合的控制信号。替代地或附加地,基于校准对象的特征参量与校准对象的所存储的期望特征参量的所确定的偏差,提供用于警告车辆组合的乘员的警报信号。
因此可以保证:当车辆组合的乘员又或者自动或部分自动系统使用成像系统的图像以引导车辆时,向车辆组合的乘员又或者自动或部分自动系统供给足够精准的信息。
说明一种设备,该设备设置为执行上述方法之一。借助这种设备可以轻松地将该方法集成到不同的系统中。
说明一种计算机程序,该计算机程序包括指令,在通过计算机实施该计算机程序时,该指令促使该计算机实施上述方法之一。这种计算机程序实现所描述的方法在不同系统中的使用。
说明一种机器可读的存储介质,在该机器可读的存储介质上存储有上述计算机程序。
所描述的方法尤其可以用于运行至少部分自动化的移动平台。移动平台可以理解为至少部分自动化的移动系统和/或车辆的驾驶员辅助系统。示例可以是至少部分自动化的车辆或者说具有驾驶员辅助系统的车辆。这意味着,在这种情况下,关于至少部分自动化的功能,至少部分自动化的系统包含移动平台,但是移动平台也包含车辆和其他移动机器,包括驾驶员辅助系统在内。移动平台的其他示例可以是具有多个传感器的驾驶员辅助系统、移动式多传感器机器人(如机器人吸尘器或割草机)、多传感器监控系统、制造机器、个人助理、船舶、飞机、班车、机器人出租车、商用车或访问控制系统。这种系统中的每个都可以是完全或部分自动化的系统。
附图说明
参考图1和2示出并在下文中进一步阐述本发明的实施例。附图示出:
图1a以立体视图示出具有第一和第二组合部分的车辆组合的概图;
图1b以俯视图示出具有第一和第二组合部分的车辆组合的概图;和
图2示出具有用于对图像数据进行校准的方法步骤的示意图。
具体实施方式
图1a描绘出车辆组合1,该车辆组合具有第二组合部分的特征参量10、12、20、30。在此,第二组合部分的以10标记的点说明可能的特征点。设有参考标记10的两个点之间的特征长度12描绘出由辨识出的特征点推导出特征参量的可能性。在第二组合部分的侧壁上施加有用于校准的校准对象20。设有参考标记30的点表示自发光的位置灯,借助这些位置灯,即使在没有外部照明(即,例如在夜间)的情况下也可以执行校准。
图1b以鸟瞰图描绘出车辆组合1的相同情况,在该车辆组合中突出已经描述的特征点10、30,并且表明成像系统50能够如何检测特征点10、30。在所描绘出的情况中,成像系统50可以通过成像系统50附加地检测在图1a中所描述的校准对象20,因为该校准对象位于成像系统50的检测范围中。此外,以角度α表明第一组合部分与第二组合部分之间的铰接角。
图2示意性地描绘出用于对图像数据进行校准的方法100。
在方法100的步骤S1中,提供成像系统的至少一个图像110,该图像成像校准对象。
在另一步骤S2a、S2b中,辨识图像110内的校准对象10、12、20、30,并且辨识图像110内的校准对象10、12、20、30的特征参量。在此,在所描绘出的方法流程中进行以下区分:在方法步骤S2a中在图像110中是否辨识出校准图样20,或者在方法步骤S2b中在图像110中是否辨识出第二组合部分的特定特征10、12、30。
在另一步骤S3中,确定图像内的校准对象的特征参量与图像内的校准对象的所存储的期望特征参量120的偏差。在此,如果第二组合部分的尺寸标识特征参量,则期望特征参量120可以取决于第二组合部分的类型140。替代地或附加地,如果辨识出校准图样,则只要总是仅使用校准图样,那么可以省去类型的确定。在确定校准对象的特征参量与所存储的期望特征参量120的偏差时,只要可以提供相应的值130,那么也可以考虑第一组合部分与第二组合部分之间的铰接角130。特别地,如果不能提供铰接角值130,则可以在时间上对图像内的校准对象的所辨识出的特征参量进行平均。
在另一步骤S4中,根据校准对象的特征参量与所存储的期望特征参量120的偏差,通过对成像系统的图像数据进行变换生成经校准的图像数据150,以便补偿偏差。
Claims (15)
1.一种用于对车辆组合的成像系统的图像数据(110)进行校准的方法(100),所述车辆组合具有第一组合部分和第二组合部分,所述第一组合部分具有用于生成图像(110)的所述成像系统,所述第二组合部分具有校准对象(10,12,20,30),其中,所述第二组合部分以能够围绕至少一个轴机械运动的方式与所述第一组合部分耦合;并且所述成像系统设置为至少部分地成像所述第二组合部分,所述方法具有以下步骤:
提供(S1)所述成像系统的至少一个图像,所述图像成像所述校准对象;
辨识(S2a,b)所述图像(110)内的所述校准对象(10,12,20,30);
辨识(S2a,b)所述图像内的所述校准对象的特征参量;
确定(S3)所述图像(110)内的所述校准对象(10,12,20,30)的所述特征参量与所述图像(110)内的所述校准对象(10,12,20,30)的所存储的期望特征参量的偏差;
根据所述校准对象(10,12,20,30)的所述特征参量与所存储的期望特征参量的偏差,通过对所述成像系统的所述图像数据进行变换生成(S4)经校准的图像数据(150),以便补偿所述偏差。
2.根据权利要求1所述的方法(100),其中,根据所述第二组合部分的类型确定所述校准对象(10,12,20,30)的所述期望特征参量,所述方法具有以下步骤:
辨识所述第二组合部分的类型(140);
借助分配表确定所述第二组合部分的所述类型的所述校准对象(10,12,20,30)的所述期望特征参量(120)。
3.根据权利要求2所述的方法(100),其中,所述第二组合部分的类型(140)的辨识借助辨识方法在所述第一组合部分与所述第二组合部分之间进行。
4.根据权利要求3所述的方法(100),其中,所述辨识方法借助无线的辨识方法在所述第一组合部分与所述第二组合部分之间进行。
5.根据权利要求3或4所述的方法(100),其中,所述辨识方法基于条形码方法和/或RFID方法和/或借助车辆总线(CAN)的传输。
6.根据以上权利要求中任一项所述的方法(100),其中,所述成像系统是摄像机系统、视频系统、激光雷达系统或雷达系统。
7.根据以上权利要求中任一项所述的方法(100),其中,生成所述经校准的图像数据,所述方法具有以下步骤:
针对由所述成像系统在不同时间已生成的多个图像,确定所述图像内的所述校准对象的所述特征参量与所述图像内的所述校准对象的所存储的期望特征参量(120)的偏差;并且
由所述多个图像的相应的偏差的平均值来计算所述偏差。
8.根据以上权利要求中任一项所述的方法(100),其中,生成所述经校准的图像数据,所述方法具有以下步骤:
针对由所述成像系统在不同时间已生成的多个图像(110),确定所述图像内的所述校准对象的所述特征参量与所述图像(110)内的所述校准对象(10,12,20,30)的所存储的期望特征参量的偏差;并且
针对所述多个图像中的每个图像,确定所述第一组合部分与所述第二组合部分之间的角度;并且
由在所述第一组合部分与所述第二组合部分之间的限定角度下所述多个图像上的平均值计算所述偏差。
9.根据以上权利要求中任一项所述的方法(100),其中,对于所述成像系统的校准,所述校准对象(10,12,20,30)的所述特征参量是所述成像系统的图像中的所述校准对象(10,12,20,30)的至少一部分的位置,并且变换所述图像数据,其方式为:将所述图像数据换算到所述经校准的图像数据的新的参考系中。
10.根据以上权利要求中任一项所述的方法(100),其中,对于所述成像系统的校准,所述校准对象的所述特征参量是所述成像系统的图像中的所述校准对象(10,12,20,30)的至少一部分的长度,并且变换所述图像数据,其方式为:计算所述图像数据相对于所述经校准的图像数据的长度变换和/或旋转和/或平移和/或焦点移动。
11.根据以上权利要求中任一项所述的方法(100),其中,基于所述校准对象(10,12,20,30)的所述特征参量与所述校准对象(10,12,20,30)的所存储的期望特征参量的所确定的偏差,提供用于操控至少部分自动化的车辆组合的控制信号;和/或基于所述校准对象(10,12,20,30)的所述特征参量与所述校准对象(10,12,20,30)的所存储的期望特征参量的所确定的偏差,提供用于警告所述车辆组合的乘员的警报信号。
12.一种设备,所述设备设置为执行根据权利要求1至11中任一项所述的方法(100)。
13.一种计算机程序的应用,所述计算机程序包括指令,在通过计算机实施所述计算机程序时,所述指令促使所述计算机实施根据权利要求1至11中任一项所述的方法,以控制至少部分自动化的车辆组合。
14.一种计算机程序,所述计算机程序包括指令,在通过计算机实施所述计算机程序时,所述指令促使所述计算机实施根据权利要求1至11中任一项所述的方法。
15.一种机器可读的存储介质,在所述机器可读的存储介质上存储有根据权利要求14所述的计算机程序。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019219386.2 | 2019-12-11 | ||
DE102019219386.2A DE102019219386A1 (de) | 2019-12-11 | 2019-12-11 | Verfahren zum Kalibrieren von Bilddaten eines bildgebenden Systems für ein Fahrzeuggespann |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112950718A true CN112950718A (zh) | 2021-06-11 |
Family
ID=76084723
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011460678.XA Pending CN112950718A (zh) | 2019-12-11 | 2020-12-11 | 用于对车辆组合的成像系统的图像数据进行校准的方法和设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11097670B2 (zh) |
CN (1) | CN112950718A (zh) |
DE (1) | DE102019219386A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11993249B2 (en) * | 2018-11-28 | 2024-05-28 | Horiba, Ltd. | Vehicle testing system and vehicle testing method |
US20230206497A1 (en) * | 2021-12-23 | 2023-06-29 | Stoneridge Electronics Ab | Camera monitoring system for vehicles including automatically calibrating camera |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009100342A (ja) * | 2007-10-18 | 2009-05-07 | Sanyo Electric Co Ltd | カメラ校正装置及び方法、並びに、車両 |
EP3174007A1 (en) * | 2015-11-30 | 2017-05-31 | Delphi Technologies, Inc. | Method for calibrating the orientation of a camera mounted to a vehicle |
US10391939B2 (en) * | 2016-09-01 | 2019-08-27 | GM Global Technology Operations LLC | Method and apparatus to determine trailer pose |
US10552976B2 (en) * | 2017-03-22 | 2020-02-04 | Magna Electronics Inc. | Trailer angle detection system for vehicle |
US10885652B2 (en) * | 2017-03-22 | 2021-01-05 | Magna Electronics Inc. | Trailer angle detection system for vehicle |
EP3678096B1 (en) * | 2019-01-07 | 2021-06-23 | Continental Automotive GmbH | Method for calculating a tow hitch position |
GB2584824B (en) * | 2019-05-23 | 2021-06-16 | Jaguar Land Rover Ltd | Vehicle control system and method |
-
2019
- 2019-12-11 DE DE102019219386.2A patent/DE102019219386A1/de active Pending
-
2020
- 2020-12-01 US US17/108,434 patent/US11097670B2/en active Active
- 2020-12-11 CN CN202011460678.XA patent/CN112950718A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
DE102019219386A1 (de) | 2021-06-17 |
US20210178984A1 (en) | 2021-06-17 |
US11097670B2 (en) | 2021-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10935643B2 (en) | Sensor calibration method and sensor calibration apparatus | |
US20210325897A1 (en) | Sensor array for an autonomously operated utility vehicle and method for surround-view image acquisition | |
US10629079B2 (en) | Vehicle collision avoidance | |
US9863775B2 (en) | Vehicle localization system | |
EP2682329B1 (en) | Vehicle trailer connect system | |
US20170297488A1 (en) | Surround view camera system for object detection and tracking | |
CN111815641A (zh) | 相机和雷达融合 | |
WO2016117200A1 (ja) | 車両用外界認識装置およびそれを用いた車両挙動制御装置 | |
US10655957B2 (en) | Method for characterizing a trailer attached to a towing vehicle, driver assistance system, as well as vehicle/trailer combination | |
CN108349533B (zh) | 用于确定用于停放机动车辆的停车区的方法、驾驶员辅助系统和机动车辆 | |
CN111003068A (zh) | 与adas连接的持续运行的主动式发动机罩装置 | |
JP4956453B2 (ja) | 物体検出装置 | |
CN112950718A (zh) | 用于对车辆组合的成像系统的图像数据进行校准的方法和设备 | |
EP1820020B1 (en) | Apparatus and method for detecting objects | |
US11145112B2 (en) | Method and vehicle control system for producing images of a surroundings model, and corresponding vehicle | |
CN110515376B (zh) | 一种航迹推演校正的评价方法、终端和存储介质 | |
US20230242132A1 (en) | Apparatus for Validating a Position or Orientation of a Sensor of an Autonomous Vehicle | |
CN114252887A (zh) | 求取环境感测系统运行参数的方法、环境感测系统和控制器 | |
US10356307B2 (en) | Vehicle camera system | |
US11820290B2 (en) | Trailer alignment detection for dock automation using vision system and dynamic depth filtering | |
US11477371B2 (en) | Partial image generating device, storage medium storing computer program for partial image generation and partial image generating method | |
US20240181964A1 (en) | Trailer alignment detection for dock automation using vision system and dynamic depth filtering | |
JP2023169124A (ja) | 車両をadasキャリブレーションターゲットに位置合わせする方法およびadasキャリブレーションシステム | |
CN117183894A (zh) | 包括基于图像的拖车角度检测的自动摇摄相机监测系统 | |
CN117751385A (zh) | 用于产生交通工具周围环境中的地面的高解析度地图的方法和用于交通工具的地图产生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |