CN108696719A - 用于校准车辆的车辆摄像机的方法和设备 - Google Patents
用于校准车辆的车辆摄像机的方法和设备 Download PDFInfo
- Publication number
- CN108696719A CN108696719A CN201810324005.8A CN201810324005A CN108696719A CN 108696719 A CN108696719 A CN 108696719A CN 201810324005 A CN201810324005 A CN 201810324005A CN 108696719 A CN108696719 A CN 108696719A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- camera
- review
- camera review
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012552 review Methods 0.000 claims abstract description 69
- 230000033001 locomotion Effects 0.000 claims abstract description 39
- 244000062793 Sorghum vulgare Species 0.000 claims description 9
- 235000019713 millet Nutrition 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 2
- 238000012937 correction Methods 0.000 description 9
- 238000012544 monitoring process Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 5
- 230000001105 regulatory effect Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000013461 design Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000006872 improvement Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 230000005389 magnetism Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
- B60W40/103—Side slip angle of vehicle body
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
- B60R2300/402—Image calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)
Abstract
在这里提出的方案涉及一种用于校准车辆(100)的车辆摄像机(105)的方法。所述方法(400)包括至少一个读取的步骤和至少一个调节的步骤。在所述读取的步骤中,读取至少一个第一摄像机图像(305)和至少一个第二摄像机图像(310),所述至少一个第一摄像机图像和所述至少一个第二摄像机图像代表在所述车辆(100)的静止状态中由至少所述车辆摄像机(105)在所述车辆摄像机(105)的摄像机运动期间拍摄的图像。在所述调节的步骤中,在使用所述第一摄像机图像(305)和所述第二摄像机图像(310)的情况下调节用于校准至少所述车辆摄像机(105)的校准参数(315)。
Description
技术领域
本方案从根据本发明的类型的一种设备或者一种方法出发。一种计算机程序也是本方案的主题。
背景技术
已知的机动车视频环视系统、即车辆周围环境监视系统利用四个或者更多个摄像机来检测车辆附近的周围环境。为了通过在车辆中的驾驶员直觉地检测状况,将摄像机的单图像拼接成一个总视图。基于摄像机固定地安装在车辆上的事实,关于单图像相对彼此的几何关系的静态的规定通常保存在车辆环视系统(简称VSV系统,Vehicle-Surround-View System)中,该过程也称作外部校准。在带尾(Bandende)校准的框架中或者仅仅由车辆的和摄像机的设计数据求取该规定。根据现有技术,借助于所谓的在线校准来校正校准的可能出现的改变。因为每个单个的环视摄像机可看作单目摄像机(Monokamera)并且因此仅仅能够通过摄像机运动算出对于校准必需的三维的周围环境模型,所以校正、即在线校准通常通过车辆在正常的行驶运行中的运动以分散的时间间隔进行。
DE 10 2008 259 551 A1例如公开了一种用于借助于摄像机的第一和第二图像求取摄像机系统的位置改变的方法。
发明内容
在此背景下,借助在这里提出的方案提出根据本发明的一种用于校准车辆的车辆摄像机的方法、一种使用所述方法的设备以及一种相应的计算机程序。通过在以下有利的实施方案中列举的措施能够实现在根据本发明的方法的有利的扩展方案和改进。
可借助所提出的方案实现的优点在于,不是在车辆的行驶运行期间才能够实现而是在车辆开动之前已经能够实现车辆摄像机的正确的校准。这尤其之所以是重要的,是因为恰恰在开动时、例如在从停车位驶出时,车辆周围环境在各个车辆摄像机图像的总视图中的正确示出对于驾驶员是必需的,以便能够例如正确地估计距离。
提出一种用于校准车辆的车辆摄像机的方法。所述方法包括至少一个读取的步骤和至少一个调节的步骤。在读取的步骤中,读取至少一个第一摄像机图像和至少一个第二摄像机图像,所述至少一个第一摄像机图像和所述至少一个第二摄像机图像代表在所述车辆的静止状态中由至少所述车辆摄像机在所述车辆摄像机的摄像机运动期间拍摄的图像。这些摄像机图像可以例如以一个或多个从至车辆摄像机的接口读取的信号的形式被读取。在调节的步骤中,在使用所述第一摄像机图像和所述第二摄像机图像的情况下调节用于校准至少所述车辆摄像机的校准参数。在这里,可以从车辆和自身的摄像机位置方面调节车辆摄像机。
所述方法可以具有确定摄像机运动的步骤。这可以例如通过分析处理加速度传感器的信号或者通过分析处理由摄像机提供的摄像机图像来进行。
所述方法可以例如在控制设备中例如通过软件或者硬件或者通过由软件和硬件组成的混合形式实现。
为了使车辆的静止状态可识别,所述方法可以具有另外的读取的步骤,在该另外的读取的步骤中,读取车辆运动信号,所述车辆运动信号表明或者代表车辆的静止状态。车辆的基本上0km/h的车辆速度可以理解为静止状态。可以响应于读取的步骤和另外的读取的步骤地实施调节的步骤。
有利地,在这里提出的方法可以具有确定的步骤,在所述确定的步骤中,在使用第一摄像机图像和第二摄像机图像的情况下确定流向量(Flussvektor),其中,在调节的步骤中,可以在使用流向量的情况下调节校准参数。
此外,如果方法具有接收的步骤——在所述接收的步骤中接收预先确定的参考向量和具有比较的步骤——在所述比较的步骤中将流向量与参考向量进行比较,则根据在这里提出的方法的一种有利的实施方式,在调节的步骤中在使用比较的步骤的比较结果的情况下调节校准参数。参考向量可以涉及以下向量,所述向量已与流向量相对应地、然而在车辆空或者未装载的情况下被确定。因为例如在车辆通过物品和/或人装载的情况下减震器的沉入深度改变并且因此车辆摄像机相对于车道表面的位置也改变,所以可能的是,车辆摄像机的或者摄像机系统的现有的外部校准不再是有效的并且因此应对其重新校准。有利地,可以通过所描述的比较的步骤确定现有的校准是否有效。与由此造成的比较结果相应地,例如当流向量与参考向量不一致时,可以调节校准参数,因为这样的偏差表明,车辆摄像机未正确地校准,即未校准。
在确定的步骤中,例如可以在使用在第一摄像机图像中成像的道路表面点和在第二摄像机图像中成像的道路表面点的情况下确定流向量。通过分别成像相同的道路表面点的这两个摄像机图像的比较或者叠加,可以快速和简单地确定流向量。
在读取的步骤中,可以读取摄像机图像,所述摄像机图像代表由布置在车辆的外后视镜和/或车门和/或后盖的区域中的车辆摄像机拍摄的图像。车辆摄像机的在这里描述的布置对于车辆周围环境监视系统是典型的和有意义的。因为也已知车辆周围环境监视系统在车辆上的摄像机位置,所以也可以预见车辆周围环境监视系统的可能的摄像机运动。在打开车门时,例如安装在车门上的车辆摄像机沿着限定的行进路径运动。同样的适用于布置在外后视镜上的车辆摄像机或者布置在后盖上的车辆摄像机。因此,在车辆静止的情况下能够实现限定的车辆摄像机运动。
因此,有利的是,在读取的步骤中,摄像机运动代表至少车辆摄像机的通过车辆的外后视镜的折叠和/或展开和/或由车门的打开和/或关闭和/或通过车辆的后盖的掀开和/或合上造成的行进路径。这是有意义的,因为从车辆的设计数据已知这样的行进路径,并且因此对于未装载的车辆也存在平面估计的准确的认识。
但为了求取代表摄像机运动的行进路径,所述方法也可以具有求取的步骤,在所述求取的步骤中,在使用用于引起摄像机运动的调整电动机的调整信号的情况下求取代表摄像机运动的行进路径。
因为尤其当车辆直立时在这里提出的方法的执行是有意义的,所以有利的是,所述方法具有另外的接收的步骤,在所述另外的接收的步骤中,从至车辆的倾斜传感器的接口接收倾斜信号,其中,如果倾斜信号表明车辆倾斜,则不实施调节的步骤。在这里,倾斜可以代表至少车辆摄像机相对于车辆的非水平的视野区域。
此外,在此提出的方案还实现一种设备,所述设备被构造用于在相应的装置中实施、控制或者实现在此提出的方法的变型方案的步骤。通过本方案的以设备形式的实施变型方案可以快速和高效地解决本方案所基于的任务。
为此,所述设备可以具有至少一个用于处理信号或数据的计算单元、至少一个用于存储信号或数据的存储器单元、至少一个用于读取传感器的传感器信号或者用于向致动器输出数据信号或控制信号的、至传感器或者致动器的接口和/或至少一个用于读取或输出数据的通信接口,所述数据被嵌入到通信协议中。计算单元可以是例如信号处理器、微控制器或者诸如此类的,其中,存储器单元可以是闪存、EPROM或者磁性的存储器单元。通信接口可以构造用于无线地和/或有线地读取或者输出数据,其中,可以有线地读取或者输出数据的通信接口可以例如以电的方式或者以光学的方式从相应的数据传输线路中读取这些数据或者将这些数据输出到相应的数据传输线路中。
设备在此可以理解为处理传感器信号并且据此输出控制信号和/或数据信号的电设备。所述设备可以具有按硬件方式和/或按软件方式构造的接口。在按硬件方式的构造中,接口例如可以是所谓的系统ASIC的包括所述设备的最不同功能的一部分。然而,也可能的是,接口是单独的集成电路或至少部分地由分立部件组成。在按软件方式的构造中,接口可以是软件模块,其例如与其他软件模块共存在微控制器上。
在一种有利的构型中,通过所述设备进行用于校准车辆的至少一个车辆摄像机的校准参数的调节。为此,设备可以例如存取代表至少一个第一摄像机图像和至少一个第二摄像机图像的传感器信号并且可选地也可以存取车辆运动信号。所述控制通过致动器——如至少一个用于读取至少第一摄像机图像和第二摄像机图像的读取装置和用于调节校准参数的调节装置来实现。
具有程序代码的计算机程序产品或者计算机程序也是有利的,所述程序代码可以存储在机器可读的载体或者存储介质,如半导体存储器、硬盘存储器或光学存储器上并且尤其用于当在计算机或者设备上执行程序产品或者程序时实施、实现和/或控制根据先前描述的实施方式之一的方法的步骤。
附图说明
在附图中示出并且在接下来的描述中详细地阐述在这里提出的方案的实施例。附图示出:
图1示出具有多个未校准的车辆摄像机的车辆的示意性俯视图;
图2示出在车辆的侧门上的车辆摄像机的行进路径的示意性视图;
图3示出具有根据一个实施例的、用于校准车辆摄像机的设备的车辆的示意性俯视图;
图4示出根据一个实施例的、用于校准车辆的车辆摄像机的方法的流程图;以及
图5示出根据一个实施例的、用于校准车辆的车辆摄像机的设备的功能方框图。
在本方案的有利的实施例的后续描述中,对于在不同附图中示出并且起类似作用的元件使用相同的或类似的附图标记,其中不重复描述这些元件。
具体实施方式
图1示出具有多个未校准的车辆摄像机105的车辆100的示意性俯视图。
在这里示出的车辆100处于静止状态中并且通过物品和/或人来装载,由此车辆100的减震器的沉入深度改变,并且因此,车辆摄像机105相对于车道表面的位置相对于在车辆100未装载的状态中车辆摄像机105相对于车道表面的位置改变。因此,各个车辆摄像机105的摄像机系统的现有的外部校准不再是有效的并且必须被重新校准。因为车辆周围环境监视系统通常尤其用于停车辅助,所以在装载改变之后可能会借助错误的校准以及因此也借助车辆周围环境的不合适的环视示图来进行驶出过程。错误的校准在图1中尤其在位置110、115上出现,在所述位置上,车辆摄像机105的单图像拼接(英语“gestitched:缝合”)。这导致,在从一个图像到邻近的图像的过渡时停车线和路边石边缘不相配。
标记117示出车辆100的前部摄像机105的和尾部摄像机105的摄像机视野区域。
在车辆100的车辆尾部的区域中标记的位置110示出不平行于车辆100地延伸的线。来自前部摄像机图像的线不准确地与在侧部摄像机图像中的线相配。该偏差通过在车辆100装载的情况下未校准的车辆摄像机105产生。
在车辆100的车辆前部的区域中标记的位置115示出在直线的走向中的弯折。来自前部摄像机图像的线不准确地与在侧部摄像机图像中的线相配。该偏差通过由于失调而未校准的车辆摄像机105产生。
有利地,通过在图3中提出的设备105,相应于已改变的装载的校准的校正可以不是如在已知的设备中那样在车辆100的明显行驶时才执行,而是在车辆100静止时已经执行。在这里的优点是确保在开始行驶之前的正确的校准。
图2示出在车辆100的侧门205上的车辆摄像机105的行进路径200的示意性视图。在此,可以涉及根据图1描述的、具有车辆摄像机105的车辆100。
如在图1中已经谈到的那样,在已知的车辆周围环境监视系统中,在工厂中一次性地在内部校准车辆摄像机105以及最终在外部相对彼此校准车辆摄像机105。在车辆100行驶期间,可以稍后进行系统的在线校准、即校准的校正,所述校正典型地采用在车辆100下方的一个平的平面并且因此可以在存在安装公差的情况下补偿在大约3°以内的不准确性。在线校准的这种方式至今仅仅能够在车辆100行驶期间进行,至今,在那里罕见地使用环视系统。但是,如果如在在这里示出的在静止中的车辆100的情况下那样由于车辆装载而已经发生校准的偏差,则车辆摄像机105的相应地失真的图像如在图1中示出的那样不再彼此相符,并且在车辆100中的最终用户在其图像屏幕上得到周围环境的相应错误地转换的总图像的呈现。然后,不再提供尤其在驶出时或者在缓慢地开出时的利用。
可以通过以下方式实现在静止状态中的状况的改进,即,根据在这里提出的方案在静止状态中根据运动的车辆摄像机105执行校准。在一定程度上附赠(geschenkt)地获得车辆摄像机105的运动,因为典型地在行驶开始之前已经不但使车辆100的门——在这里侧门205而且使行李箱盖运动。通过侧门205的在这里示出的运动,布置在侧门205上的、在这里示出的侧门车辆摄像机105实施行进路径200,由此,侧门车辆摄像机105的视野区域扫过(überstreicht)一偏转角210。车辆摄像机105的运动可以例如通过分析处理摄像机的图像或者例如加速度传感器的至少一个传感器信号来识别。
图3示出具有根据一个实施例的、用于校准车辆摄像机105的设备300的车辆100的示意性俯视图。在此,可以涉及根据之前的附图描述的、在静止状态中的经装载的车辆100,具有以下区别:车辆100的车辆摄像机105由于在这里提出的设备300而已被正确地校准。
为此,设备300从车辆摄像机105中的至少一个车辆摄像机读取车辆摄像机105的至少一个第一摄像机图像305和车辆摄像机105的第二摄像机图像310,其中,摄像机图像305、310代表在车辆100的静止状态中在车辆摄像机105的摄像机运动期间拍摄的图像。在使用第一摄像机图像305和第二摄像机图像310的情况下,设备300调节用于校准至少所述车辆摄像机105的校准参数315。
设备100的以下的特征是可选的:
根据该实施例,至少一个车辆摄像机105通过所调节的校准参数315校准。
根据该实施例,摄像机运动涉及在图2中示出的、车辆摄像机105的行进路径,车辆摄像机105通过侧门的打开和/或关闭已经实施所述行进路径,在所述侧门上布置有车辆摄像机105。
根据该实施例,设备100已经在使用第一摄像机图像305和第二摄像机图像310的情况下确定流向量,其中,在使用流向量的情况下调节了校准参数315。由设备100在使用在第一摄像机图像305中成像的道路表面点和在第二摄像机图像310中成像的道路表面点的情况下确定了流向量。此外,通过设备100接收了预先确定的参考向量并且将其与流向量进行比较,紧接着,在使用该比较的比较结果的情况下调节了校准参数315。根据该实施例,在使用用于引起设备100的摄像机运动的调整电动机的调整信号的情况下求取了车辆摄像机105的代表摄像机运动的行进路径。此外,在调节校准参数315之前,通过设备100读取了车辆运动信号,所述车辆运动信号表明车辆100的静止状态。
根据一个替代的实施例,附加地或者替代地,由设备100读取另外的摄像机图像,所述另外的摄像机图像代表由至少布置在车辆100的外后视镜和/或另外的车门和/或后盖的区域中的车辆摄像机105拍摄的图像,其中,如先前所描述的那样,附加地或者替代地,在使用另外的摄像机图像的情况下调节校准参数315。在该替代的实施例中,摄像机运动代表至少车辆摄像机105的通过车辆100的外后视镜的折叠和/或展开和/或通过另外的车门的打开和/或关闭和/或通过车辆100的后盖的掀开和/或合上造成的行进路径。
接下来,还一次以其他言语描述设备100的细节:
图3示出在通过在这里提出的设备100实施的校正之后的经校准的车辆摄像机105。位置320示出现在平行于车辆100延伸的线。在这里可见在来自尾部摄像机图像的线和在侧部摄像机图像中的线之间的无缝的过渡。
在这里提出的设备100构造用于,利用可折叠和展开的侧视镜的运动用于校准的计算。在这里,中心点在于以下事实:从设计数据已知镜、门的行进路径和可选地也已知后盖的行进路径,并且因此对于未装载的车辆100存在平面估计的准确的认识。对于后盖的运动替代地,也可以利用车辆摄像机的运动,所述车辆摄像机在挂入倒车挡时自动地展开或者下沉。该限定的运动也可以类似于侧视镜的折叠地被利用。然后,该平面估计的每个偏差被识别为校准的误差并且相应地被校正。在假定车辆100可视为“刚性的系统”的情况下,可以从侧部摄像机和尾部摄像机的数据推断出前部摄像机的校准。
在这里描述的设备100因此构造用于,附加地充分利用折叠的侧视镜的已知的运动,在所述侧视镜中典型地集成车辆周围环境监视系统的侧部摄像机。关于在镜中的车辆摄像机105在此走过的圆形轨道(该圆形轨道先前被称作行进路径)的认识有利地能够实现在静止状态中的在线校准——在基于相应的视频序列的最终的实际圆形轨道和基于相应的设计平面图和镜的转动铰接件(Drehgelenken)的期望圆形轨道之间的平衡能够实现校准的引入。
因此,借助由于该设备100而在行驶开始之前执行的校准提供车辆100的车辆周围环境的在几何上正确的示图并且因此是相对于已知的设备的改进。
换言之,可以如下描述设备100的功能:提供在空车状态中校准的车辆周围环境监视系统,简称VSV(Video Surround View:视频环视)系统。在通过门打开或者镜的折叠而运动的每个单个的车辆摄像机105上,通过车辆摄像机105的该固有的运动,可以通过在有纹理的道路表面上的光学流来执行平面估计。在平面上的流向量的方向在车辆摄像机105的已知的行进路径中是独特的并且在这种情况下相应于平面估计。流向量的根据该实施例在存储器中保存的经校准的版本(之前称作参考向量)与当前求取的流向量的比较在未校准的情况下示出偏差。可以在所有三个空间角度中几何地确定并且在算法上校正该偏差。这通过设备100对于尾部摄像机和侧部摄像机独立地进行。由这三个摄像机校正推断出车辆100相对于平面的位置并且由此出发同样执行前部摄像机的校正。对在存储器中保存的平面估计替代地,也可以测量/求取门/镜/后盖通过所装入的调整电动机的行进路径并且因此计算在每个图像中的期望平面估计。然后可以将由每个图像的图像数据分别在当前进行的平面估计与之比较并且计算校正。通过所述图像中的多个以及两个行进路径——折叠和展开——实现平面估计的充分的稳健性。
因为仅仅当由车辆摄像机105照明的视野区域相对于车辆100水平时,通过该设备100提出的方法才正确地起作用,所以设备100进一步构造用于,从至车辆100的倾斜传感器的接口接收倾斜信号。接着,如果所接收的倾斜信号表明车辆100倾斜,则不调节校准参数315。因此即,当车辆100以至少一个车轮位于倾斜的面上时,可以通过通常所安装的倾斜传感器探测到。在这种情况下,简单地拒绝校准。同样地,当车辆100直接位于倾斜的表面——例如堤坝旁边时,关于倾斜传感机构的可信度检查失败。在这种情况下,回退到旧的校准上。这以错误校准的识别为前提。
图4示出根据一个实施例的、用于校准车辆的车辆摄像机的方法400的流程图。在此,可以涉及方法400,所述方法可以由根据图3描述的设备实施。
方法400包括至少一个读取的步骤405和调节的步骤410。在读取的步骤405中,读取至少一个第一摄像机图像和第二摄像机图像,所述至少一个第一摄像机图像和第二摄像机图像代表在车辆静止状态中由至少车辆摄像机在车辆摄像机的摄像机运动期间拍摄的图像。在调节的步骤410中,在使用第一摄像机图像和第二摄像机图像的情况下调节用于校准至少车辆摄像机的校准参数。
方法400的接下来描述的实施方案是可选的:
根据该实施例,在读取的步骤405中读取多个摄像机图像,所述多个摄像机图像代表由布置在车辆的外后视镜和/或车门和/或后盖的区域中的车辆摄像机拍摄的图像。
根据该实施例,在读取的步骤405中通过所述图像中的多个读取摄像机运动,所述摄像机运动代表至少车辆摄像机的通过车辆的外后视镜的折叠和/或展开和/或通过车门的打开和/或关闭和/或通过车辆的后盖的掀开和/或合上引起的行进路径。
根据该实施例,实施调节的步骤410,因为读取到表明车辆的静止状态的车辆运动信号。
可选地,方法400此外包括确定的步骤415、接收的步骤420、求取的步骤425、比较的步骤430和另外的接收的步骤435。
在确定的步骤415中,在使用第一摄像机图像和第二摄像机图像的情况下确定流向量,其中,在调节的步骤410中,在使用流向量的情况下调节校准参数。根据该实施例,在确定的步骤415中,在使用在第一摄像机图像中成像的道路表面点和在第二摄像机图像中成像的道路表面点的情况下确定流向量。
在接收的步骤420中,接收预先确定的参考向量。根据一个替代的实施例,对于接收的步骤420附加地或者替代地,方法400具有求取的步骤425,在所述求取的步骤中,在使用用于引起摄像机运动的调整电动机的调整信号的情况下求取代表摄像机运动的行进路径。
在比较的步骤430中,将流向量与参考向量进行比较,其中,在调节的步骤410中,在使用比较的步骤430的比较结果的情况下调节校准参数。
在另外的接收的步骤435中,从至车辆的倾斜传感器的接口接收倾斜信号,其中,如果倾斜信号表明车辆倾斜,则不实施调节的步骤410。
在这里提出的方法步骤可以重复地以及以不同于所描述的顺序地实施。
图5示出根据一个实施例的、用于校准车辆的车辆摄像机105的设备300的功能性方框图。在此,可以涉及在图3中描述的设备300,所述设备构造用于实施在图4中描述的方法。车辆摄像机105可以是在车辆上的、根据图1至3描述的车辆摄像机105中的一个。
根据该实施例,设备300具有读取装置500、确定装置505、比较装置510和调节装置515。
根据该实施例,车辆摄像机105布置在车辆的侧门205上和/或车辆的镜的镜发动机的区域中。读取装置500构造用于,实施车辆摄像机105的图像收集(Bildeinzug),即读取第一摄像机图像305和第二摄像机图像310,至少第一摄像机图像和第二摄像机图像代表在车辆静止状态中在车辆摄像机105的摄像机运动期间拍摄的图像。确定装置505构造用于,在使用至少第一摄像机图像305和第二摄像机图像310的情况下确定流向量523和根据该实施例也实施平面估计。比较装置510构造用于,接收预先确定的参考向量525,所述参考向量代表在存储器中的经校准的系统的另外的流向量或者流图像。根据该实施例,在使用侧门205的已知的行进路径的情况下或者根据镜或者后盖的替代的实施例求取参考向量525。根据一个替代的实施例,参考向量525也可以存储在设备300中。此外,比较装置510构造用于,将流向量523与参考向量525比较。调节装置515构造用于,调节用于校准至少车辆摄像机105的校准参数315。根据该实施例,调节装置515构造用于,在使用比较装置510的比较的比较结果的情况下调节校准参数315。根据该实施例,调节装置515构造用于,通过调节校准参数315来至少校准车辆的车辆摄像机105和/或至少一个另外的车辆摄像机105,该过程也可以称作在算法上的校正。紧接着,从外部校准所述至少一个车辆摄像机105。
如果一个实施例包括第一特征与第二特征之间的“和/或”关系,则这可以解读如下:所述实施例根据一种实施方式不仅具有第一特征,而且具有第二特征;并且根据另一种实施方式或者仅仅具有第一特征,或者仅仅具有第二特征。
Claims (12)
1.一种用于校准车辆(100)的车辆摄像机(105)的方法(400),其中,所述方法(400)至少包括以下步骤:
读取(405)第一摄像机图像(305)和第二摄像机图像(310),所述第一摄像机图像和所述第二摄像机图像代表在所述车辆(100)的静止状态中由至少所述车辆摄像机(105)在所述车辆摄像机(105)的摄像机运动期间拍摄的图像;以及
在使用所述第一摄像机图像(305)和所述第二摄像机图像(310)的情况下调节(410)用于校准至少所述车辆摄像机(105)的校准参数(315)。
2.根据权利要求1所述的方法(400),其具有在使用所述第一摄像机图像(305)和所述第二摄像机图像(310)的情况下确定流向量(523)的步骤(415),其中,在所述调节(410)的步骤中,在使用所述流向量(523)的情况下调节所述校准参数(315)。
3.根据权利要求2所述的方法(400),其具有接收预先确定的参考向量(525)的步骤(420)和将所述流向量(523)与所述参考向量(525)进行比较的步骤(430),其中,在所述调节的步骤(410)中,在使用所述比较的步骤(430)的比较结果的情况下调节所述校准参数(315)。
4.根据权利要求2至3中任一项所述的方法(400),其中,在所述确定的步骤(415)中,在使用在所述第一摄像机图像(305)中成像的道路表面点和在所述第二摄像机图像(310)中成像的道路表面点的情况下确定所述流向量(523)。
5.根据以上权利要求中任一项所述的方法(400),其具有在使用用于引起所述摄像机运动的调整电动机的调整信号的情况下求取代表所述摄像机运动的行进路径(200)的步骤(425)。
6.根据以上权利要求中任一项所述的方法(400),其中,如果读取到表明所述车辆(100)的静止状态的车辆运动信号,则实施所述调节的步骤(410)。
7.根据以上权利要求中任一项所述的方法(400),其中,在所述读取的步骤(405)中,读取摄像机图像(305,310),所述摄像机图像代表由布置在所述车辆(100)的外后视镜和/或车门(205;520)和/或后盖的区域中的车辆摄像机(105)拍摄的图像。
8.根据以上权利要求中任一项所述的方法(400),其中,在所述读取的步骤(405)中,所述摄像机运动代表至少所述车辆摄像机(105)的通过所述车辆(100)的外后视镜的折叠和/或展开和/或通过车门(205;520)的打开和/或关闭和/或通过所述车辆(100)的后盖的掀开和/或合上造成的行进路径(200)。
9.根据以上权利要求中任一项所述的方法(400),其具有另外的、从至所述车辆(100)的倾斜传感器的接口接收倾斜信号的步骤(435),其中,如果所述倾斜信号表明所述车辆(100)倾斜,则不实施所述调节的步骤(410)。
10.一种设备(300),所述设备设置用于在相应的单元(500,505,510,515)中实施和/或控制根据以上权利要求中任一项所述的方法(400)的步骤。
11.一种计算机程序,所述计算机程序设置用于实施根据权利要求1至9中任一项所述的方法(400)。
12.一种机器可读的存储器介质,在所述存储器介质上存储有根据权利要求11所述的计算机程序。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102017206295.9A DE102017206295B3 (de) | 2017-04-12 | 2017-04-12 | Verfahren, Vorrichtung und Computerprogramm zum Kalibrieren einer Fahrzeugkamera eines Fahrzeugs |
DE102017206295.9 | 2017-04-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108696719A true CN108696719A (zh) | 2018-10-23 |
CN108696719B CN108696719B (zh) | 2022-03-01 |
Family
ID=60890546
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810324005.8A Active CN108696719B (zh) | 2017-04-12 | 2018-04-12 | 用于校准车辆的车辆摄像机的方法和设备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10438374B2 (zh) |
JP (1) | JP7096053B2 (zh) |
CN (1) | CN108696719B (zh) |
DE (1) | DE102017206295B3 (zh) |
GB (2) | GB2562898A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112706755A (zh) * | 2021-01-27 | 2021-04-27 | 广州小鹏自动驾驶科技有限公司 | 一种车载相机的调整方法和装置 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3644279A1 (en) * | 2018-10-25 | 2020-04-29 | Continental Automotive GmbH | Static camera calibration using motion of vehicle portion |
DE102018219666B4 (de) * | 2018-11-16 | 2020-12-24 | Zf Friedrichshafen Ag | Bildverarbeitungsverfahren und Kamerasystem zum Generieren einer Fahrzeugumsicht |
KR102177878B1 (ko) * | 2019-03-11 | 2020-11-12 | 현대모비스 주식회사 | 영상 처리 장치 및 방법 |
CN111223150A (zh) * | 2020-01-15 | 2020-06-02 | 电子科技大学 | 一种基于双消失点的车载摄像头外参数标定方法 |
JP2022123419A (ja) * | 2021-02-12 | 2022-08-24 | 本田技研工業株式会社 | 情報記録装置、情報記録方法、およびプログラム |
US11405559B1 (en) | 2021-02-19 | 2022-08-02 | Honda Motor Co., Ltd. | Systems and methods for live signal adjustment of a movable camera |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090179773A1 (en) * | 2005-10-28 | 2009-07-16 | Hi-Key Limited | Method and apparatus for calibrating an image capturing device, and a method and apparatus for outputting image frames from sequentially captured image frames with compensation for image capture device offset |
US20100273461A1 (en) * | 2009-04-22 | 2010-10-28 | Samsung Electronics Co., Ltd. | Method and device for calibrating mobile terminal |
US20140085469A1 (en) * | 2012-09-24 | 2014-03-27 | Clarion Co., Ltd. | Calibration Method and Apparatus for In-Vehicle Camera |
CN103824346A (zh) * | 2014-02-17 | 2014-05-28 | 深圳市宇恒互动科技开发有限公司 | 行车记录及重现方法和系统 |
US20140184799A1 (en) * | 2011-08-01 | 2014-07-03 | Magna Electronic Inc. | Vehicle camera alignment system |
JP2014230215A (ja) * | 2013-05-24 | 2014-12-08 | 京セラ株式会社 | カメラ較正装置、およびカメラ較正方法 |
JP2016001378A (ja) * | 2014-06-11 | 2016-01-07 | 株式会社デンソー | 車載カメラの校正装置 |
CN106167045A (zh) * | 2015-05-21 | 2016-11-30 | Lg电子株式会社 | 驾驶人员辅助装置及其控制方法 |
CN106404011A (zh) * | 2015-07-29 | 2017-02-15 | 福特全球技术公司 | 用于车辆的门位置传感器和系统 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3008833B2 (ja) | 1995-10-25 | 2000-02-14 | トヨタ自動車株式会社 | 車体の横滑り速度推定装置 |
JP4861813B2 (ja) | 2006-09-14 | 2012-01-25 | 株式会社豊田中央研究所 | 車両物理量推定装置及びプログラム |
DE102008059551B4 (de) * | 2008-11-28 | 2021-08-12 | Car.Software Estonia As | Verfahren zum Ermitteln der Lageänderung eines Kamerasystems und Vorrichtung zum Erfassen und Verarbeiten von Bildern |
US8259174B2 (en) | 2009-02-06 | 2012-09-04 | GM Global Technology Operations LLC | Camera auto-calibration by horizon estimation |
KR101023275B1 (ko) | 2009-04-06 | 2011-03-18 | 삼성전기주식회사 | 차량용 카메라 시스템의 캘리브레이션 방법 및 장치, 차량용 카메라 시스템의 각도상 오정렬을 판단하는 방법 및 이를 수행하는 전자 제어 유닛 |
WO2012139636A1 (en) | 2011-04-13 | 2012-10-18 | Connaught Electronics Limited | Online vehicle camera calibration based on road surface texture tracking and geometric properties |
JP6141601B2 (ja) | 2012-05-15 | 2017-06-07 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 車載カメラ自動キャリブレーション装置 |
US9509979B2 (en) | 2013-11-26 | 2016-11-29 | Mobileye Vision Technologies Ltd. | Stereo auto-calibration from structure-from-motion |
DE102014117888A1 (de) * | 2014-12-04 | 2016-10-13 | Connaught Electronics Ltd. | Online-Kalibrierung eines Kraftfahrzeug-Kamerasystems |
JP6488749B2 (ja) * | 2015-02-13 | 2019-03-27 | 株式会社デンソー | カメラ校正装置 |
-
2017
- 2017-04-12 DE DE102017206295.9A patent/DE102017206295B3/de active Active
-
2018
- 2018-04-10 US US15/949,586 patent/US10438374B2/en active Active
- 2018-04-11 GB GB1806014.5A patent/GB2562898A/en not_active Withdrawn
- 2018-04-11 JP JP2018075877A patent/JP7096053B2/ja active Active
- 2018-04-11 GB GB2206240.0A patent/GB2603731B/en active Active
- 2018-04-12 CN CN201810324005.8A patent/CN108696719B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090179773A1 (en) * | 2005-10-28 | 2009-07-16 | Hi-Key Limited | Method and apparatus for calibrating an image capturing device, and a method and apparatus for outputting image frames from sequentially captured image frames with compensation for image capture device offset |
US20100273461A1 (en) * | 2009-04-22 | 2010-10-28 | Samsung Electronics Co., Ltd. | Method and device for calibrating mobile terminal |
US20140184799A1 (en) * | 2011-08-01 | 2014-07-03 | Magna Electronic Inc. | Vehicle camera alignment system |
US20140085469A1 (en) * | 2012-09-24 | 2014-03-27 | Clarion Co., Ltd. | Calibration Method and Apparatus for In-Vehicle Camera |
JP2014230215A (ja) * | 2013-05-24 | 2014-12-08 | 京セラ株式会社 | カメラ較正装置、およびカメラ較正方法 |
CN103824346A (zh) * | 2014-02-17 | 2014-05-28 | 深圳市宇恒互动科技开发有限公司 | 行车记录及重现方法和系统 |
JP2016001378A (ja) * | 2014-06-11 | 2016-01-07 | 株式会社デンソー | 車載カメラの校正装置 |
CN106167045A (zh) * | 2015-05-21 | 2016-11-30 | Lg电子株式会社 | 驾驶人员辅助装置及其控制方法 |
CN106404011A (zh) * | 2015-07-29 | 2017-02-15 | 福特全球技术公司 | 用于车辆的门位置传感器和系统 |
Non-Patent Citations (2)
Title |
---|
常鑫等: "基于驾驶感受的车辆运行特性研究", 《交通信息与安全》 * |
王琪等: "基于视频的车辆跳动检测系统研究", 《公路交通技术》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112706755A (zh) * | 2021-01-27 | 2021-04-27 | 广州小鹏自动驾驶科技有限公司 | 一种车载相机的调整方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
GB2562898A (en) | 2018-11-28 |
GB2603731A (en) | 2022-08-10 |
GB2603731B (en) | 2022-11-23 |
US10438374B2 (en) | 2019-10-08 |
JP2019003613A (ja) | 2019-01-10 |
DE102017206295B3 (de) | 2018-01-25 |
US20180300899A1 (en) | 2018-10-18 |
CN108696719B (zh) | 2022-03-01 |
GB201806014D0 (en) | 2018-05-23 |
GB202206240D0 (en) | 2022-06-15 |
JP7096053B2 (ja) | 2022-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108696719A (zh) | 用于校准车辆的车辆摄像机的方法和设备 | |
US10919458B2 (en) | Method and system for calibrating vehicular cameras | |
CN109767475B (zh) | 一种传感器的外部参数标定方法及系统 | |
US10867409B2 (en) | Methods and systems to compensate for vehicle calibration errors | |
WO2016056197A1 (ja) | 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法 | |
CN103777742B (zh) | 用于在显示装置中提供用户界面的方法和显示装置 | |
CN109421453A (zh) | 具有预测挂接角功能的挂车倒退辅助系统 | |
CN107004277A (zh) | 机动车辆摄像头系统的在线标定 | |
US11381745B2 (en) | Drift correction with phase and amplitude compensation for optical image stabilization | |
TWI593578B (zh) | 車輛及應用於該車輛之自動調節系統及自動調節方法 | |
CN108780577A (zh) | 图像处理方法和设备 | |
KR20180028766A (ko) | 카메라의 오차 보정 시스템 및 방법 | |
CN113452914A (zh) | 光学防抖控制装置及其光学防抖控制方法、移动终端 | |
CN110194173A (zh) | 乘员监视装置 | |
FR3043824A3 (fr) | Procede et dispositif d'etalonnage de parametres extrinseques d'une camera pour habitacle de vehicule automobile | |
JP2019007739A (ja) | 自己位置推定方法及び自己位置推定装置 | |
WO2020164744A1 (en) | Systems and methods for image normalization | |
KR20150009763A (ko) | 카메라 시스템 및 카메라 시스템의 제어 방법 | |
US10891805B2 (en) | 3D model establishing device and calibration method applying to the same | |
KR102085866B1 (ko) | 촬영 장치, 촬영 시스템 및 이의 동작 방법 | |
JP7059740B2 (ja) | 画像処理装置 | |
JPH10150596A (ja) | ビデオカメラ | |
US11115592B2 (en) | Method and device for stabilizing photographic equipment on mobile device | |
CN116228875B (zh) | 一种多相机车载系统的标定方法、装置、系统及存储介质 | |
CN115451958B (zh) | 基于相对旋转角度的相机绝对姿态优化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |