CN116193108A - 一种摄像头在线自校准方法、装置、设备及介质 - Google Patents

一种摄像头在线自校准方法、装置、设备及介质 Download PDF

Info

Publication number
CN116193108A
CN116193108A CN202310443686.0A CN202310443686A CN116193108A CN 116193108 A CN116193108 A CN 116193108A CN 202310443686 A CN202310443686 A CN 202310443686A CN 116193108 A CN116193108 A CN 116193108A
Authority
CN
China
Prior art keywords
lateral
camera
calibration
optical flow
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310443686.0A
Other languages
English (en)
Other versions
CN116193108B (zh
Inventor
薛巍
张梁
莫博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Imotion Automotive Technology Suzhou Co Ltd
Original Assignee
Imotion Automotive Technology Suzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Imotion Automotive Technology Suzhou Co Ltd filed Critical Imotion Automotive Technology Suzhou Co Ltd
Priority to CN202310443686.0A priority Critical patent/CN116193108B/zh
Publication of CN116193108A publication Critical patent/CN116193108A/zh
Application granted granted Critical
Publication of CN116193108B publication Critical patent/CN116193108B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种摄像头在线自校准方法、装置、设备及介质，涉及自动驾驶技术领域，包括：在车辆运动过程中，从侧向摄像头中获取若干数量帧侧向图像，并基于各帧所述侧向图像中的角点得到侧向光流；根据所述侧向光流的移动变化规律构造目标代价函数；通过所述目标代价函数确定目标校准参数，以便利用所述目标校准参数实现所述侧向摄像头的校准。可见，本申请能够通过侧向光流的移动变化规律构造目标代价函数，然后通过所述目标代价函数便能实时计算出侧向摄像头的校准参数，无需预先准备标定板等设备和特定的车道线环境，同时也无需前、后摄像头重叠区域的引导，大大节约了校准时间。

Description

一种摄像头在线自校准方法、装置、设备及介质
技术领域
本发明涉及自动驾驶技术领域，特别涉及一种摄像头在线自校准方法、装置、设备及介质。
背景技术
在基于视觉的自动驾驶方案中，摄像头的自动校准影响到感知的精度以及后续的功能实现，对系统最终的性能以及稳定性有着重大影响。由于摄像头众多且位置分布不一，因此视觉自校准的实现难度以及精度要求更高，常见的环视镜头校准方案有以下几类：（1）离线的摄像头标定方法，例如：张正友标定法，基于标定板正中心的标定方法；（2）基于车道线一致性匹配的校准方法；（3）基于前、后向光流引导的校准方法。第（1）中方法需要提前准备好的标定格，当车辆发生颠簸导致摄像头位置发生改变之后，便会失效；此外，量产时的摄像头可能存在多种型号，每次都需要重新标定非常费时；第（2）种方法需要场景中存在良好的车道线环境，比较适合高速场景，在乡村道路等情形会失效，另外车道线的检测的准确性和速度是存在的问题。第（3）种方法对于左边摄像头的校准，需要通过左、前以及左、后摄像头重叠区域加以引导，对于右边摄像头，需要通过右、前以及右、后摄像头重叠区域引导，此类方法在大部分情况下可以工作良好，但由于摄像头的偏移，可能出现重叠区域过小或消失的情况，另外将校准分为两步比较耗时，存在一定的局限性。
为此，如何在无需预先准备标定板等设备和特定的车道线环境，同时也无需前、后摄像头重叠区域的引导的情况下实现侧向摄像头的在线自校准，以及在实现侧向摄像头在线自校准的同时实现前后摄像头的在线自校准，从而大大提高校准时间，是本领域亟待解决的问题。
发明内容
有鉴于此，本发明的目的在于提供一种摄像头在线自校准方法、装置、设备及介质，能够在无需预先准备标定板等设备和特定的车道线环境，同时也无需前、后摄像头重叠区域的引导的情况下实现侧向摄像头的在线自校准，以及在实现侧向摄像头在线自校准的同时实现前后摄像头的在线自校准，从而大大提高校准时间，其具体方案如下：
第一方面，本申请公开了一种摄像头在线自校准方法，包括：
在车辆运动过程中，从侧向摄像头中获取若干数量帧侧向图像，并基于各帧所述侧向图像中的角点得到侧向光流；
根据所述侧向光流的移动变化规律构造目标代价函数；
通过所述目标代价函数确定目标校准参数，以便利用所述目标校准参数实现所述侧向摄像头的校准。
可选的，所述基于各帧所述侧向图像中的角点得到侧向光流，包括：
计算第一帧所述侧向图像中的角点，并通过跟踪第一帧所述侧向图像中的所述角点得到其他帧所述侧向图像中的角点；
基于各帧所述侧向图像中的角点之间的位置移动得到侧向光流。
可选的，所述根据所述侧向光流的移动变化规律构造目标代价函数，包括：
确定用于表征消失点所在直线的第一函数以及用于表征地平线的第二函数；
根据消失点左侧光流和右侧光流横向移动变化小的规律以及所述第一函数构造第一代价函数；
根据地平线上侧光流和下侧光流横向移动变化大的规律以及所述第二函数构造第二代价函数；
根据所述第一代价函数以及所述第二代价函数构造目标代价函数。
可选的，所述通过所述目标代价函数确定目标校准参数，包括：
通过将若干数量帧所述侧向图像中的角点代入所述目标代价函数，得到所述消失点所在直线以及所述地平线；
根据所述消失点所在直线以及所述地平线确定所述侧向图像中的消失点，并根据所述消失点确定目标校准参数。
可选的，所述从侧向摄像头中获取若干数量帧侧向图像之后，还包括：
对若干数量帧所述侧向图像进行直方图均衡，得到各帧第一处理后图像；
对各帧所述第一处理后图像进行对比度增强处理，得到各帧第二处理后图像；
相应的，所述基于各帧所述侧向图像中的角点得到侧向光流，包括：
基于各帧所述第二处理后图像中的角点得到侧向光流。
可选的，所述摄像头在线自校准方法，还包括：
在车辆运动过程中，从前向摄像头中获取若干数量帧前向图像，并基于各帧所述前向图像中的角点得到前向光流；
根据所述前向光流确定所述前向图像中的消失点，以便根据所述前向图像中的消失点实现前向摄像头的校准。
可选的，所述摄像头在线自校准方法，还包括：
在车辆运动过程中，从后向摄像头中获取若干数量帧后向图像，并基于各帧所述后向图像中的角点得到后向光流；
根据所述后向光流确定所述后向图像中的消失点，以便根据所述后向图像中的消失点实现后向摄像头的校准。
第二方面，本申请公开了一种摄像头在线自校准装置，包括：
侧向光流确定模块，用于在车辆运动过程中，从侧向摄像头中获取若干数量帧侧向图像，并基于各帧所述侧向图像中的角点得到侧向光流；
目标代价函数构造模块，用于根据所述侧向光流的移动变化规律构造目标代价函数；
校准模块，用于通过所述目标代价函数确定目标校准参数，以便利用所述目标校准参数实现所述侧向摄像头的校准。
第三方面，本申请公开了一种电子设备，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现前述公开的摄像头在线自校准方法。
第四方面，本申请公开了一种计算机可读存储介质，用于保存计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的摄像头在线自校准方法。
可见，本申请提出一种摄像头在线自校准方法，包括：在车辆运动过程中，从侧向摄像头中获取若干数量帧侧向图像，并基于各帧所述侧向图像中的角点得到侧向光流；根据所述侧向光流的移动变化规律构造目标代价函数；通过所述目标代价函数确定目标校准参数，以便利用所述目标校准参数实现所述侧向摄像头的校准。综上可见，本申请能够通过侧向光流的移动变化规律构造目标代价函数，并通过所述目标代价函数便能实时计算出侧向摄像头的校准参数，无需预先准备标定板等设备和特定的车道线环境，同时也无需前、后摄像头重叠区域的引导，由于侧向摄像头的在线自校准无需前、后摄像头重叠区域的引导，因此本申请无需在前、后摄像头校准完成后才进行侧向摄像头的校准，这样一来，使得侧向摄像头与前后摄像头可以一起实时实行自适应校准，大大节约了校准时间。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种摄像头在线自校准方法流程图；
图2为本申请公开的一种侧向图像中光流分布的示意图；
图3为本申请公开的一种跟踪角点产生光流的示意图；
图4为本申请公开的一种车辆中摄像头的布局示意图；
图5为本申请公开的一种摄像头在线自校准装置结构示意图；
图6为本申请公开的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
（1）离线的摄像头标定方法，需要提前准备好的标定格；（2）基于车道线一致性匹配的校准方法需要场景中存在良好的车道线环境；（3）基于前、后向光流引导的校准方法对于左边摄像头的校准，需要通过左、前以及左、后摄像头重叠区域加以引导，对于右边摄像头，需要通过右、前以及右、后摄像头重叠区域引导，由于摄像头的偏移，可能出现重叠区域过小或消失的情况，另外将校准分为两步比较耗时，存在一定的局限性。
为此，本申请实施例提出一种摄像头在线自校准方案，能够在无需预先准备标定板等设备和特定的车道线环境，同时也无需前、后摄像头重叠区域的引导的情况下实现侧向摄像头的在线自校准，并大大提高校准时间。
本申请实施例公开了一种摄像头在线自校准方法，参见图1所示，该方法包括：
步骤S11：在车辆运动过程中，从侧向摄像头中获取若干数量帧侧向图像，并基于各帧所述侧向图像中的角点得到侧向光流。
本实施例中，车辆运动过程，可以包括车辆行驶过程或者泊车过程，所述侧向摄像头包括安装在车辆左侧的左摄像头以及安装在车辆右侧的右摄像头。
在一种具体的实施方式中，所述从侧向摄像头中获取若干数量帧侧向图像，包括：从左摄像头中获取若干数量帧左侧图像，进一步的，所述基于各帧所述侧向图像中的角点得到侧向光流，包括：基于各帧所述左侧图像中的角点得到第一侧向光流，具体的，计算第一帧所述左侧图像中的角点，并通过跟踪第一帧所述左侧图像中的所述角点得到其他帧所述左侧图像中的角点，然后基于各帧所述左侧图像中的角点之间的位置移动得到第一侧向光流。示例性的，在每帧图像中检测出的角点可能为多个，假设在第一帧左侧图像中检测出的角点为a1、a2、a3,…,an，在下一帧的左侧图像跟踪a1、a2、a3,…an，得到b1、b2、b3,…,bn，那么a1->b1的线段表示第一帧到第二帧的光流，b1点则表示在光流作用下，角点a1移动到的位置，参见图2所示,同理，也可以得到a2->b2、a3->b3,…, an->bn。以图3中(a)里的a1(x,y)点为例，限定匹配半径为50，匹配窗口为21，那么以a1为中心，构造边长为21的正方形，在图3中(b)里，以a1为起点，半径50以内的圆内任意位置取一点b1，以b1为中心构造边长为21的正方形，计算图3中以a1为中心的正方形和图3中以b1为中心的正方形的相似度，从而得到a1到b1连线，也即为两帧图像对应像素点之间的光流。
在另一种具体的实施方式中，所述从侧向摄像头中获取若干数量帧侧向图像，包括：从右摄像头中获取若干数量帧右侧图像，进一步的，所述基于各帧所述侧向图像中的角点得到侧向光流，包括：基于各帧所述右侧图像中的角点得到第二侧向光流，具体的，计算第一帧所述右侧图像中的角点，并通过跟踪第一帧所述右侧图像中的所述角点得到其他帧所述右侧图像中的角点，然后基于各帧所述右侧图像中的角点之间的位置移动得到第二侧向光流。
需要指出的是，在通过侧向摄像头得到侧向图像后，可以对若干数量帧所述侧向图像进行直方图均衡，得到各帧第一处理后图像，然后对各帧所述第一处理后图像进行对比度增强处理，得到各帧第二处理后图像，本实施例中，可以按照python的equalizeHist默认对图像的RGB通道进行处理，以增强图像的对比度。进一步的，所述基于各帧所述侧向图像中的角点得到侧向光流，包括：基于各帧所述第二处理后图像中的角点得到侧向光流。
步骤S12：根据所述侧向光流的移动变化规律构造目标代价函数。
可以理解的是，侧向光流包括第一侧向光流和第二侧向光流，在得到所述侧向光流后，根据所述侧向光流在不同位置具有不同移动大小的变化规律构造目标代价函数。具体过程如下所示：首先确定用于表征消失点所在直线的第一函数以及用于表征地平线的第二函数，然后根据消失点左侧光流和右侧光流横向移动变化小的规律以及所述第一函数构造第一代价函数，进一步的，根据地平线上侧光流和下侧光流横向移动变化大的规律以及所述第二函数构造第二代价函数，然后根据所述第一代价函数以及所述第二代价函数构造目标代价函数。示例性的，定义用于表征消失点所在直线的第一函数为
Figure SMS_2
，定义用于表征地平线的第二函数为/>
Figure SMS_5
，根据消失点左侧光流和右侧光流横向移动变化小的规律以及第一函数构造第一代价函数为/>
Figure SMS_6
；根据地平线上侧光流和下侧光流横向移动变化大的规律以及所述第二函数构造第二代价函数为/>
Figure SMS_7
；其中，/>
Figure SMS_8
和/>
Figure SMS_9
分别代表两帧之间的光流大小，/>
Figure SMS_10
代表当前帧上的角点距离消失点所在直线的距离。在得到所述第一代价函数和所述第二代价函数后，构建目标代价函数，也即/>
Figure SMS_1
，/>
Figure SMS_3
代表偏航角，/>
Figure SMS_4
代表俯仰角。
步骤S13：通过所述目标代价函数确定目标校准参数，以便利用所述目标校准参数实现所述侧向摄像头的校准。
本实施例中，通过构造的所述目标代价函数确定目标校准参数，然后利用所述目标校准参数实现侧向摄像头的校准，具体的，通过将若干数量帧所述侧向图像中的角点代入所述目标代价函数，得到所述消失点所在直线以及所述地平线；根据所述消失点所在直线以及所述地平线确定所述侧向图像中的消失点，并根据所述消失点确定目标校准参数。具体的，定义世界坐标系上任意一点的坐标为
Figure SMS_12
，那么消失点可以定义为
Figure SMS_14
，由像素坐标系转换为世界坐标系的公式为：/>
Figure SMS_15
；其中，
Figure SMS_16
代表像素坐标，/>
Figure SMS_17
代表比例系数，/>
Figure SMS_18
代表相机内参，/>
Figure SMS_19
代表相机的旋转，/>
Figure SMS_11
代表相机的平移，以齐次坐标形式给出，本实施例中，将两边同乘/>
Figure SMS_13
，得到：
Figure SMS_20
；
对于无穷远点，令
Figure SMS_21
取到正无穷大，那么就可以得到图像中消失点的坐标
Figure SMS_22
：
Figure SMS_23
;
将
Figure SMS_24
记为消失点，并将旋转矩阵和平移矩阵根据绕不同的轴旋转展开分量，得到：/>
Figure SMS_25
；
即
Figure SMS_26
；
由于旋转矩阵是单位向量，对两边同时取模，得到
Figure SMS_27
；
将
Figure SMS_28
代入原式，可以得到：
Figure SMS_29
；
上述公式中
Figure SMS_30
代表相机内参是已知的，/>
Figure SMS_31
代表消失点，也是已知的，那么就可以得到/>
Figure SMS_32
。
对于旋转矩阵
Figure SMS_33
，也可以根据翻滚角，俯仰角，偏航角来表达：
Figure SMS_34
；
因此：
Figure SMS_35
可以求得：
Figure SMS_36
；
Figure SMS_37
；
其中，
Figure SMS_38
代表偏航角，/>
Figure SMS_39
代表俯仰角，可以据此进行侧向摄像头的在线校准。
可见，本申请提出一种摄像头在线自校准方法，包括：在车辆运动过程中，从侧向摄像头中获取若干数量帧侧向图像，并基于各帧所述侧向图像中的角点得到侧向光流；根据所述侧向光流的移动变化规律构造目标代价函数；通过所述目标代价函数确定目标校准参数，以便利用所述目标校准参数实现所述侧向摄像头的校准。综上可见，本申请能够通过侧向光流的移动变化规律构造目标代价函数，并通过所述目标代价函数便能实时计算出侧向摄像头的校准参数，无需预先准备标定板等设备和特定的车道线环境，同时也无需前、后摄像头重叠区域的引导，由于侧向摄像头的在线自校准无需前、后摄像头重叠区域的引导，因此本申请无需在前、后摄像头校准完成后才进行侧向摄像头的校准，这样一来，使得侧向摄像头与前后摄像头可以一起实时实行自适应校准，大大节约了校准时间。
相对于上一实施例对侧向摄像头进行在校标定，本申请还能够在对侧向摄像头进行校准的同时，对前向摄像头以及后向摄像头进行在线校准，具体的，在车辆运动过程中，从前向摄像头中获取若干数量帧前向图像，并基于各帧所述前向图像中的角点得到前向光流；根据所述前向光流确定所述前向图像中的消失点，以便根据所述前向图像中的消失点实现前向摄像头的校准。在车辆运动过程中，从后向摄像头中获取若干数量帧后向图像，并基于各帧所述后向图像中的角点得到后向光流；根据所述后向光流确定所述后向图像中的消失点，以便根据所述后向图像中的消失点实现后向摄像头的校准。图4为目标车辆上的前、后、左、右摄像头的布局示意图。
相应的，本申请实施例还公开了一种摄像头在线自校准装置，参见图5所示，该装置包括：
侧向光流确定模块11，用于在车辆运动过程中，从侧向摄像头中获取若干数量帧侧向图像，并基于各帧所述侧向图像中的角点得到侧向光流；
目标代价函数构造模块12，用于根据所述侧向光流的移动变化规律构造目标代价函数；
校准模块13，用于通过所述目标代价函数确定目标校准参数，以便利用所述目标校准参数实现所述侧向摄像头的校准。
其中，关于上述各个模块更加具体的工作过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
可见，本申请提出一种摄像头在线自校准装置，包括：侧向光流确定模块，用于在车辆运动过程中，从侧向摄像头中获取若干数量帧侧向图像，并基于各帧所述侧向图像中的角点得到侧向光流；目标代价函数构造模块，用于根据所述侧向光流的移动变化规律构造目标代价函数；校准模块，用于通过所述目标代价函数确定目标校准参数，以便利用所述目标校准参数实现所述侧向摄像头的校准。综上可见，本申请能够通过侧向光流的移动变化规律构造目标代价函数，并通过所述目标代价函数便能实时计算出侧向摄像头的校准参数，无需预先准备标定板等设备和特定的车道线环境，同时也无需前、后摄像头重叠区域的引导，由于侧向摄像头的在线自校准无需前、后摄像头重叠区域的引导，因此本申请无需在前、后摄像头校准完成后才进行侧向摄像头的校准，这样一来，使得侧向摄像头与前后摄像头可以一起实时实行自适应校准，大大节约了校准时间。
进一步的，本申请实施例还提供了一种电子设备。图6是根据一示例性实施例示出的电子设备20结构图，图中的内容不能认为是对本申请的使用范围的任何限制。
图6为本申请实施例提供的一种电子设备20的结构示意图。该电子设备20，具体可以包括：至少一个处理器21、至少一个存储器22、显示屏23、输入输出接口24、通信接口25、电源26和通信总线27。其中，所述存储器22用于存储计算机程序，所述计算机程序由所述处理器21加载并执行，以实现以下步骤：
在车辆运动过程中，从侧向摄像头中获取若干数量帧侧向图像，并基于各帧所述侧向图像中的角点得到侧向光流；
根据所述侧向光流的移动变化规律构造目标代价函数；
通过所述目标代价函数确定目标校准参数，以便利用所述目标校准参数实现所述侧向摄像头的校准。
在一些具体实施方式中，所述处理器通过执行所述存储器中保存的计算机程序，具体可以实现以下步骤：
计算第一帧所述侧向图像中的角点，并通过跟踪第一帧所述侧向图像中的所述角点得到其他帧所述侧向图像中的角点；
基于各帧所述侧向图像中的角点之间的位置移动得到侧向光流。
在一些具体实施方式中，所述处理器通过执行所述存储器中保存的计算机程序，具体可以实现以下步骤：
确定用于表征消失点所在直线的第一函数以及用于表征地平线的第二函数；
根据消失点左侧光流和右侧光流横向移动变化小的规律以及所述第一函数构造第一代价函数；
根据地平线上侧光流和下侧光流横向移动变化大的规律以及所述第二函数构造第二代价函数；
根据所述第一代价函数以及所述第二代价函数构造目标代价函数。
在一些具体实施方式中，所述处理器通过执行所述存储器中保存的计算机程序，具体可以实现以下步骤：
通过将若干数量帧所述侧向图像中的角点代入所述目标代价函数，得到所述消失点所在直线以及所述地平线；
根据所述消失点所在直线以及所述地平线确定所述侧向图像中的消失点，并根据所述消失点确定目标校准参数。
在一些具体实施方式中，所述处理器通过执行所述存储器中保存的计算机程序，进一步还可以实现以下步骤：
对若干数量帧所述侧向图像进行直方图均衡，得到各帧第一处理后图像；
对各帧所述第一处理后图像进行对比度增强处理，得到各帧第二处理后图像；
相应的，所述基于各帧所述侧向图像中的角点得到侧向光流，包括：
基于各帧所述第二处理后图像中的角点得到侧向光流。
在一些具体实施方式中，所述处理器通过执行所述存储器中保存的计算机程序，进一步还可以实现以下步骤：
在车辆运动过程中，从前向摄像头中获取若干数量帧前向图像，并基于各帧所述前向图像中的角点得到前向光流；
根据所述前向光流确定所述前向图像中的消失点，以便根据所述前向图像中的消失点实现前向摄像头的校准。
在一些具体实施方式中，所述处理器通过执行所述存储器中保存的计算机程序，进一步还可以实现以下步骤：
在车辆运动过程中，从后向摄像头中获取若干数量帧后向图像，并基于各帧所述后向图像中的角点得到后向光流；
根据所述后向光流确定所述后向图像中的消失点，以便根据所述后向图像中的消失点实现后向摄像头的校准。
本实施例中，电源26用于为电子设备20上的各硬件设备提供工作电压；通信接口25能够为电子设备20创建与外界设备之间的数据传输通道，其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议，在此不对其进行具体限定；输入输出接口24，用于获取外界输入数据或向外界输出数据，其具体的接口类型可以根据具体应用需要进行选取，在此不进行具体限定。
另外，存储器22作为资源存储的载体，可以是只读存储器、随机存储器、磁盘或者光盘等，其上所存储的资源可以包括计算机程序221，存储方式可以是短暂存储或者永久存储。其中，计算机程序221除了包括能够用于完成前述任一实施例公开的由电子设备20执行的一种摄像头在线自校准方法的计算机程序之外，还可以进一步包括能够用于完成其他特定工作的计算机程序。
进一步的，本申请实施例还公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的一种摄像头在线自校准方法。
关于该方法的具体步骤可以参考前述实施例中公开的相应内容，在此不再进行赘述。
本申请书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的一种摄像头在线自校准方法、装置、设备、存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种摄像头在线自校准方法，其特征在于，包括：
在车辆运动过程中，从侧向摄像头中获取若干数量帧侧向图像，并基于各帧所述侧向图像中的角点得到侧向光流；
根据所述侧向光流的移动变化规律构造目标代价函数；
通过所述目标代价函数确定目标校准参数，以便利用所述目标校准参数实现所述侧向摄像头的校准。
2.根据权利要求1所述的摄像头在线自校准方法，其特征在于，所述基于各帧所述侧向图像中的角点得到侧向光流，包括：
计算第一帧所述侧向图像中的角点，并通过跟踪第一帧所述侧向图像中的所述角点得到其他帧所述侧向图像中的角点；
基于各帧所述侧向图像中的角点之间的位置移动得到侧向光流。
3.根据权利要求1所述的摄像头在线自校准方法，其特征在于，所述根据所述侧向光流的移动变化规律构造目标代价函数，包括：
确定用于表征消失点所在直线的第一函数以及用于表征地平线的第二函数；
根据消失点左侧光流和右侧光流横向移动变化小的规律以及所述第一函数构造第一代价函数；
根据地平线上侧光流和下侧光流横向移动变化大的规律以及所述第二函数构造第二代价函数；
根据所述第一代价函数以及所述第二代价函数构造目标代价函数。
4.根据权利要求3所述的摄像头在线自校准方法，其特征在于，所述通过所述目标代价函数确定目标校准参数，包括：
通过将若干数量帧所述侧向图像中的角点代入所述目标代价函数，得到所述消失点所在直线以及所述地平线；
根据所述消失点所在直线以及所述地平线确定所述侧向图像中的消失点，并根据所述消失点确定目标校准参数。
5.根据权利要求1至4任一项所述的摄像头在线自校准方法，其特征在于，所述从侧向摄像头中获取若干数量帧侧向图像之后，还包括：
对若干数量帧所述侧向图像进行直方图均衡，得到各帧第一处理后图像；
对各帧所述第一处理后图像进行对比度增强处理，得到各帧第二处理后图像；
相应的，所述基于各帧所述侧向图像中的角点得到侧向光流，包括：
基于各帧所述第二处理后图像中的角点得到侧向光流。
6.根据权利要求1所述的摄像头在线自校准方法，其特征在于，还包括：
在车辆运动过程中，从前向摄像头中获取若干数量帧前向图像，并基于各帧所述前向图像中的角点得到前向光流；
根据所述前向光流确定所述前向图像中的消失点，以便根据所述前向图像中的消失点实现前向摄像头的校准。
7.根据权利要求1所述的摄像头在线自校准方法，其特征在于，还包括：
在车辆运动过程中，从后向摄像头中获取若干数量帧后向图像，并基于各帧所述后向图像中的角点得到后向光流；
根据所述后向光流确定所述后向图像中的消失点，以便根据所述后向图像中的消失点实现后向摄像头的校准。
8.一种摄像头在线自校准装置，其特征在于，包括：
侧向光流确定模块，用于在车辆运动过程中，从侧向摄像头中获取若干数量帧侧向图像，并基于各帧所述侧向图像中的角点得到侧向光流；
目标代价函数构造模块，用于根据所述侧向光流的移动变化规律构造目标代价函数；
校准模块，用于通过所述目标代价函数确定目标校准参数，以便利用所述目标校准参数实现所述侧向摄像头的校准。
9.一种电子设备，其特征在于，包括：
存储器，用于保存计算机程序；
处理器，用于执行所述计算机程序，以实现如权利要求1至7任一项所述的摄像头在线自校准方法。
10.一种计算机可读存储介质，其特征在于，用于保存计算机程序；其中，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的摄像头在线自校准方法。
CN202310443686.0A 2023-04-24 2023-04-24 一种摄像头在线自校准方法、装置、设备及介质 Active CN116193108B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310443686.0A CN116193108B (zh) 2023-04-24 2023-04-24 一种摄像头在线自校准方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310443686.0A CN116193108B (zh) 2023-04-24 2023-04-24 一种摄像头在线自校准方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN116193108A true CN116193108A (zh) 2023-05-30
CN116193108B CN116193108B (zh) 2023-07-07

Family

ID=86449254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310443686.0A Active CN116193108B (zh) 2023-04-24 2023-04-24 一种摄像头在线自校准方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN116193108B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117119113A (zh) * 2023-10-20 2023-11-24 安徽淘云科技股份有限公司 电子设备的摄像头自校准方法、装置及电子设备
CN117437306A (zh) * 2023-12-21 2024-01-23 知行汽车科技(苏州)股份有限公司 一种摄像头的标定方法、装置、设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2618305A1 (de) * 2012-01-20 2013-07-24 ESG Elektroniksystem- und Logistik-GmbH Verfahren und Vorrichtung zur Online-Kalibrierung von Fahrzeug-Kameras
CN105513056A (zh) * 2015-11-30 2016-04-20 天津津航技术物理研究所 车载单目红外相机外参自动标定方法
CN106875448A (zh) * 2017-02-16 2017-06-20 武汉极目智能技术有限公司 一种车载单目摄像头外部参数自标定方法
CN108450058A (zh) * 2015-12-28 2018-08-24 英特尔公司 实时自动车载相机校准
CN111429527A (zh) * 2020-03-24 2020-07-17 广东星舆科技有限公司 一种车载相机的外参自动标定方法及系统
CN114549654A (zh) * 2022-01-19 2022-05-27 福思(杭州)智能科技有限公司 一种车载相机的外参标定方法、装置、设备及存储介质
CN115018926A (zh) * 2022-05-26 2022-09-06 深圳市锐明技术股份有限公司 车载相机的俯仰角确定方法、装置、设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2618305A1 (de) * 2012-01-20 2013-07-24 ESG Elektroniksystem- und Logistik-GmbH Verfahren und Vorrichtung zur Online-Kalibrierung von Fahrzeug-Kameras
CN105513056A (zh) * 2015-11-30 2016-04-20 天津津航技术物理研究所 车载单目红外相机外参自动标定方法
CN108450058A (zh) * 2015-12-28 2018-08-24 英特尔公司 实时自动车载相机校准
CN106875448A (zh) * 2017-02-16 2017-06-20 武汉极目智能技术有限公司 一种车载单目摄像头外部参数自标定方法
CN111429527A (zh) * 2020-03-24 2020-07-17 广东星舆科技有限公司 一种车载相机的外参自动标定方法及系统
CN114549654A (zh) * 2022-01-19 2022-05-27 福思(杭州)智能科技有限公司 一种车载相机的外参标定方法、装置、设备及存储介质
CN115018926A (zh) * 2022-05-26 2022-09-06 深圳市锐明技术股份有限公司 车载相机的俯仰角确定方法、装置、设备和存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117119113A (zh) * 2023-10-20 2023-11-24 安徽淘云科技股份有限公司 电子设备的摄像头自校准方法、装置及电子设备
CN117119113B (zh) * 2023-10-20 2024-01-23 安徽淘云科技股份有限公司 电子设备的摄像头自校准方法、装置及电子设备
CN117437306A (zh) * 2023-12-21 2024-01-23 知行汽车科技(苏州)股份有限公司 一种摄像头的标定方法、装置、设备及介质
CN117437306B (zh) * 2023-12-21 2024-02-20 知行汽车科技(苏州)股份有限公司 一种摄像头的标定方法、装置、设备及介质

Also Published As

Publication number Publication date
CN116193108B (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN116193108B (zh) 一种摄像头在线自校准方法、装置、设备及介质
CN108885791B (zh) 地面检测方法、相关装置及计算机可读存储介质
CN109446892B (zh) 基于深度神经网络的人眼注意力定位方法及系统
US9536306B2 (en) Vehicle vision system
CN112861653A (zh) 融合图像和点云信息的检测方法、系统、设备及存储介质
CN112967344B (zh) 相机外参标定的方法、设备、存储介质及程序产品
CN111324945B (zh) 传感器方案确定方法、装置、设备及存储介质
CN113029128B (zh) 视觉导航方法及相关装置、移动终端、存储介质
CN109447901B (zh) 一种全景成像方法和装置
CN111539484A (zh) 训练神经网络的方法及装置
CN112489106A (zh) 基于视频的车辆尺寸测量方法、装置、终端及存储介质
CN113947768A (zh) 一种基于单目3d目标检测的数据增强方法和装置
CN111046809B (zh) 一种障碍物检测方法、装置、设备及计算机可读存储介质
CN113658262A (zh) 相机外参标定方法、装置、系统及存储介质
CN110796604A (zh) 一种图像校正方法及装置
CN113763478B (zh) 无人车相机标定方法、装置、设备、存储介质及系统
CN116681776B (zh) 一种双目相机的外参标定方法和系统
CN110827337B (zh) 确定车载相机的姿态的方法、装置和电子设备
CN116402904A (zh) 一种基于激光雷达间和单目相机的联合标定方法
CN116030139A (zh) 摄像头检测方法、装置、电子设备及车辆
Kim et al. One shot extrinsic calibration of a camera and laser range finder using vertical planes
CN111783599B (zh) 一种人脸活体识别方法及电子设备
CN112348875B (zh) 一种标志杆的结构化参数表示确定方法及装置
CN113129437B (zh) 一种标志物的空间坐标确定方法及装置
CN112308905B (zh) 一种平面标志物的坐标确定方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant