CN117011185A - 一种电子后视镜cms图像矫正方法、系统及电子后视镜 - Google Patents

一种电子后视镜cms图像矫正方法、系统及电子后视镜 Download PDF

Info

Publication number
CN117011185A
CN117011185A CN202311052376.2A CN202311052376A CN117011185A CN 117011185 A CN117011185 A CN 117011185A CN 202311052376 A CN202311052376 A CN 202311052376A CN 117011185 A CN117011185 A CN 117011185A
Authority
CN
China
Prior art keywords
imaging
mirror
rearview mirror
plane
width
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311052376.2A
Other languages
English (en)
Other versions
CN117011185B (zh
Inventor
伍渊
谌璟
孙庆新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zizi Technology Wuhan Co ltd
Original Assignee
Zizi Technology Wuhan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zizi Technology Wuhan Co ltd filed Critical Zizi Technology Wuhan Co ltd
Priority to CN202311052376.2A priority Critical patent/CN117011185B/zh
Publication of CN117011185A publication Critical patent/CN117011185A/zh
Application granted granted Critical
Publication of CN117011185B publication Critical patent/CN117011185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Abstract

本发明公开了一种电子后视镜CMS图像矫正方法、系统及电子后视镜,所述方法包括:分析传统物理后视镜成像原理,计算实际物体在后视镜像平面的成像宽度与物理后视镜的镜平面宽度的比值;根据成像宽度与物理后视镜的镜平面宽度的比值确定所需裁剪CMS采集图像的ROI区域大小;根据电子后视镜的摄像头的位置、姿态对采集的目标图像进行校正,得到矫正图;按照所需裁剪的ROI区域大小裁剪出矫正图的ROI区域显示在监视器上。本发明通过计算实际物体在像平面的成像宽度与物理后视镜的镜平面宽度的比值来确定所需裁剪的ROI区域大小,以在CMS图像上模拟传统后视镜的焦距,能在电子后视镜的显示屏上显示与传统后视镜具有相同或相近距离感的图像,帮助驾驶员辨别真实环境。

Description

一种电子后视镜CMS图像矫正方法、系统及电子后视镜
技术领域
本发明属于电子后视镜技术领域,具体涉及一种电子后视镜CMS图像矫正方法、系统及电子后视镜。
背景技术
电子外后视镜是用摄像头与监视器的组合来取代传统的外后视镜,通过外部摄像头采集图像,处理后在座舱内部的显示屏中显示。电子后视镜突破了传统的光学后视镜的镜面曲率、大小、角度等因素的限制,视野更开阔,能更好的应对恶劣天气,逐渐成为智能汽车的新趋势。
驾驶员在使用新兴的电子后视镜CMS时,常常会遇到一个问题,就是习惯了传统物理后视镜产生的距离感,难以把握在电子后视镜CMS的监视器中物体的距离感,导致不能准确辨别车辆外部的真实情况。公开号为CN113879214A的发明专利公开了一种电子后视镜的显示方法、电子后视镜显示系统及相关设备,其依次拼接车辆外部不同角度采集到的图像,形成全景图并显示,从而减少电子后视镜呈现的影像与真实情况在方位、位置关系上的差异,便于驾驶员辨别车辆外部的环境信息。但是这种方式并不能较好的帮助驾驶员提升距离感知能力,导致距离判断失误,影响行车、泊车安全。
因此,如何将CMS的图像调整成具有传统后视镜的距离感变得相当重要。
发明内容
有鉴于此,本发明提出了一种电子后视镜CMS图像矫正方法、系统及电子后视镜,用于解决CMS的图像不具有传统后视镜的距离感的问题。
本发明第一方面,提出一种电子后视镜CMS图像矫正方法,所述方法包括:
分析传统物理后视镜成像原理,计算实际物体在后视镜像平面的成像尺寸与物理后视镜的镜平面尺寸的比值;
根据成像尺寸与物理后视镜的镜平面尺寸的比值确定所需裁剪的CMS采集图像的ROI区域大小;
根据电子后视镜的摄像头的位置、姿态对采集的目标图像进行校正,得到矫正图;
按照所需裁剪的ROI区域大小裁剪出矫正图的ROI区域显示在监视器上。
在以上技术方案的基础上,优选的,所述分析传统物理后视镜成像原理,计算实际物体在像平面的成像尺寸与物理后视镜的镜平面尺寸的比值具体包括:
简化传统物理后视镜成像原理,建立成像模型;
基于成像模型计算与实际物体宽度对应的像平面成像宽度w、实际物体高度对应的像平面成像高度h;
获取物理后视镜的镜平面宽度Wmirror、Hmirror
计算出的成像宽度与物理后视镜的镜平面宽度的比值
计算出的成像高度与物理后视镜的镜平面高度的比值
在以上技术方案的基础上,优选的,所述基于成像模型计算与实际物体宽度对应的像平面成像宽度w、实际物体高度对应的像平面成像高度h具体包括:
设实际物体在平面镜的成像平面的宽度为w'、高度为h',假设实际物体宽度为Wworld、高度为Hworld,后视镜成像平面与水平方向的夹角为θ,像平面在前后方向的倾角为α;
实际物体在水平像平面的成像宽度wscreen、成像高度hscreen为:
wscreen=w′*cos(θ)cos(α)
hscreen=h′*cos(θ)cos(α)
设实际物体到像平面的沿本车行驶方向的距离是D,眼点到像平面的沿本车行驶方向的距离是d,根据实际物体在水平像平面投影关系,得到:
分别联立以上wscreen、hscreen的两个公式,求出实际物体在平面镜的成像平面的宽度w'、高度h';
若物理后视镜为平面镜,实际物体在成像平面的宽度为w=w',高度为h=h';
若物理后视镜为凸面镜,实际物体在成像平面的宽度为w=β*w',高度为h=β*h',其中,β是与物理后视镜的凸率相关的修正系数。
在以上技术方案的基础上,优选的,所述根据成像宽度与物理后视镜的镜平面宽度的比值确定所需裁剪的ROI区域大小包括:
根据监视器的分辨率、实际物体在像平面的成像尺寸与物理后视镜的镜平面尺寸的比值计算需要在监视器上显示的成像宽度uw、成像高度uh
根据小孔成像的投影公式计算出所需要的水平焦距fcalc_w
根据小孔成像的投影公式计算出所需要的垂直焦距fcalc_h
分别计算水平焦距fcalc_w、垂直焦距fcalc_h与实际相机焦距fimg的宽度比值k、高度比值p,根据宽度比值k、高度比值p分别确定ROI区域的宽度裁剪尺寸、高度裁剪尺寸。
在以上技术方案的基础上,优选的,计算需要在监视器上显示的成像宽度uw、成像高度uh的公式为:
设监视器水平方向的分辨率为monitor_W,竖直方向的分辨率为monitor_H;
则需要在监视器上显示的成像宽度为uw=v*monitor_W,成像高度为uh=e*monitor_H。
在以上技术方案的基础上,优选的,所述ROI区域宽度与监视器分辨率宽度的比值在[1/(k*1.2),1/(k*0.8)]内,所述ROI区域高度与监视器分辨率高度的比值在[1/(p*1.2),1/(p*0.8)]内。
在以上技术方案的基础上,优选的,所述根据电子后视镜的摄像头的位置、姿态对采集的目标图像进行校正,得到矫正图具体包括:
获取摄像头的姿态角度pitch,yaw,roll,摄像头高度cameraheight
计算摄像头在当前姿态角度、摄像头高度下的外参数矩阵Rnew、Tnew,Rnew、Tnew分别为世界坐标系到矫正后的相机坐标系的旋转矩阵、平移矩阵;
根据摄像头内参矩阵K、外参数矩阵Rnew、Tnew计算变换矩阵H:
Pnew=K*Fnew
Fnew=[r3 r4 Tnew]
Rcamera=K*Fcamera
Fcamera=[r0 r1 Treal]
其中,r0、r1分别是摄像头自身在世界坐标系的旋转矩阵Rreal的前两列元素,r3、r4分别是世界坐标系到矫正后的图像坐标系的旋转矩阵Rnew的前两列元素;T_real为摄像头自身在世界坐标系平移矩阵,Fcamera是世界坐标系到相机坐标系变换矩阵,Pcamera是世界坐标系的到图像坐标系的变换矩阵,Fnew是世界坐标系到矫正后的相机坐标系的变换矩阵,Pnew是世界坐标系到矫正后的图像坐标系的变换矩阵;
通过变换矩阵H目标图像进行透视变换,得到矫正图。
本发明第二方面,公开一种电子后视镜CMS图像矫正系统,所述系统包括:
比例计算模块:用于分析传统物理后视镜成像原理,计算实际物体在后视镜像平面的成像尺寸与物理后视镜的镜平面尺寸的比值;
裁剪尺寸计算模块:用于根据成像尺寸与物理后视镜的镜平面尺寸的比值确定所需裁剪的CMS采集图像的ROI区域大小;
图像矫正模块:用于根据电子后视镜的摄像头的位置、姿态对采集的目标图像进行校正,得到矫正图;
裁剪显示模块:用于按照所需裁剪的ROI区域大小裁剪出矫正图的ROI区域显示在监视器上。
本发明第三方面,提出一种电子后视镜,使用本发明第二方面所述的电子后视镜CMS图像矫正方法。
本发明相对于现有技术具有以下有益效果:
1)本发明通过计算实际物体在像平面的成像宽度与物理后视镜的镜平面宽度的比值来确定所需裁剪的ROI区域大小,并进行目标图像的矫正和裁剪,以在CMS图像上模拟传统后视镜的焦距,能将电子后视镜的显示屏上显示的图像方便地调整成与传统后视镜具有相同或相近距离感的图像,有利于帮助驾驶员辨别真实环境。
2)本发明将监视器水平方向的分辨率乘以成像宽度与物理后视镜的镜平面宽度的比值得到需要在监视器上显示的成像宽度,后计算出与传统后视镜具有相同或相近距离感的图像所需要的焦距,根据所需要的焦距与实际相机焦距的比值确定所需裁剪的ROI区域的大小,可以较准确的模拟传统后视镜的距离感;
3)根据电子后视镜的摄像头的位置、姿态计算变换矩阵对采集的目标图像进行校正,并按照所需裁剪的ROI区域的大小对图像进行裁剪显示在监视器上,进一步减少监视器上的显示差异,增强物距感。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的传统物理后视镜成像原理示意图;
图2为本发明的水平像平面投影示意图。
具体实施方式
下面将结合本发明实施方式,对本发明实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是本发明一部分实施方式,而不是全部的实施方式。基于本发明中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式,都属于本发明保护的范围。
本发明所提及的距离感是焦距产生的,相同或相似的焦距成像对于人眼来说具有相同的距离感,因此只要在调整的CMS图像上模拟传统后视镜的焦距,就可以得到与传统后视镜具有相同或相近距离感的图像,
本发明提出一种电子后视镜CMS图像矫正方法,能将CMS图像轻易地调整成具有传统后视镜距离感的图像,所述方法包括:
S1、分析传统物理后视镜成像原理,计算实际物体在后视镜像平面的成像尺寸与物理后视镜的镜平面尺寸的比值。
S11、简化传统物理后视镜成像原理,建立成像模型。
请参阅图1,简化后的传统物理后视镜成像原理示意图。
先假设物理后视镜为平面镜,简化传统物理后视镜成像原理,如图1所示,先只考虑后视镜成像平面与水平方向的夹角为θ。假设实际物体在平面镜的成像平面的宽度为w'、高度为h',则物体成像在水平面上的成像宽度为w'*cos(θ)。同理如果考虑像平面有前后方向的倾角,这个角度如果为α,那么实际物体最终在水平面上的成像宽度wscreen为:
wscreen=w′*cos(θ)cos(α) (1)
实际物体最终在水平面上的成像高度hscreen为:
hscreen=h′*cos(θ)cos(α) (2)
进一步简化模型为水平像平面投影如图2所示,其中左下角的矩形填充框代表实际物体,AB代表平面镜,O为眼点。实际物体宽度是W0W1,记为Wworld,对应的像平面成像宽度是u0u1,记为wscreen,实际物体高度为Hworld,物体到像平面沿本车行驶方向的距离是D,眼点到像平面沿本车行驶方向的距离是d。则可以得到:
图2中的简化模型其实与实际投影并不完全等价,会存在眼点的移位,即简化模型与实际模型眼点并不处于同一位置,但是考虑这个移位的纵向分量值相对于实际眼点到后视镜沿车辆行驶方向的距离较小,因此忽略该影响。
S12、基于成像模型计算与实际物体宽度对应的像平面成像宽度w、实际物体高度对应的像平面成像高度h。
联立以上两个公式(1)和(3),求出实际物体在平面镜的成像平面的宽度w'。同理,联立以上两个公式(2)和(4),求出实际物体在平面镜的成像平面的高度h'。
若物理后视镜为平面镜,实际物体在成像平面的宽度为w=w',高度为h=h'。
若物理后视镜为凸面镜,考虑凸透镜的广角效应,设置一个修正系数β,根据后视镜的凸率不同β也不同,这里可以设置β=0.8,用于修正w'、h'的值,此时实际物体在成像平面的宽度w=w′*β,高度为h=β*h'。
具体实际实施时,为了简单起见也可以直接近似认为w=wscreen,通过实验发现该方法与实际成像宽度相差不多,对于近似方法而言准确度已经足够。
S13、计算出的成像宽度与物理后视镜的镜平面宽度的比值v、成像高度与物理后视镜的镜平面高度的比值e。
获取物理后视镜的镜平面宽度Wmirror,计算出的成像宽度与物理后视镜的镜平面宽度的比值
获取物理后视镜的镜平面高度Hmirror,计算出的成像高度与物理后视镜的镜平面高度的比值
S2、根据成像尺寸与物理后视镜的镜平面尺寸的比值确定所需裁剪的ROI区域大小。
S21、根据监视器的分辨率、成像宽度与物理后视镜的镜平面宽度的比值v计算需要在监视器上显示的成像宽度uw、成像高度uh
设监视器水平方向的分辨率为mopitor_W,竖直方向的分辨率为mopitor_H;
则需要在监视器上显示的成像宽度为uw=v*monitor_W,成像高度为uh=e*monitor_H。
S22、根据小孔成像的投影公式,计算出所需要的水平焦距fcalc_w和垂直焦距fcalc_h
根据小孔成像的投影公式可以计算出水平焦距fcalc_w和垂直焦距fcalc_h
S23、计算裁剪尺寸。
分别计算水平焦距fcalc_w、垂直焦距fcalc_h与实际相机焦距fimg的宽度比值k、高度比值p,根据宽度比值k、高度比值p分别确定ROI区域的宽度裁剪比例、高度裁剪比例,其中,宽度裁剪比例为1/k,高度裁剪比例为1/p。该roi区域大小是监视器分辨率大小的1/k。由于只需要裁剪图的焦距与计算焦距近似即可,因此该区域可以波动,ROI区域宽度与监视器分辨率宽度的比值在[1/(k*1.2),1/(k*0.8)]内,所述ROI区域高度与监视器分辨率高度的比值在[1/(p*1.2),1/(p*0.8)]内,即变化不超过比值的1/5。
假设图像长为w_img和宽为h_img,对于显示屏与图像等比例缩放显示的情况,因为一般摄像头的水平和垂直焦距是相同的,可以只计算计算水平焦距fcalc_w实际相机焦距fing的宽度比值k,则所需裁剪的ROI区域的宽为1/k*w_img,高为1/k*h_img。
对于显示屏与图像不等比例缩放显示的情况,需要分别计算水平焦距fcalc_w、垂直焦距fcalc_h与实际相机焦距fimg的宽度比值k、高度比值p,则所需裁剪的ROI区域的宽为1/k*w_img,高为1/p*h_img。
本发明将监视器水平方向的分辨率乘以成像宽度与物理后视镜的镜平面宽度的比值得到需要在监视器上显示的成像宽度,后计算出与传统后视镜具有相同或相近距离感的图像所需要的焦距,根据所需要的焦距与实际相机焦距的比值确定所需裁剪的ROI区域的大小,可以较准确的模拟传统后视镜的距离感。
S3、根据电子后视镜的摄像头的位置、姿态对采集的目标图像进行校正,得到矫正图。
本发明的矫正准则是,获得的图像应该是从后视镜位置,保留摄像头俯仰角的姿态看过去的,这样可以保证得到的图像中有高度的物体都是竖直的,地面是水平的。
获取摄像头的姿态角度pitch,yaw,roll,摄像头高度cameraheight
设相机的内参数是摄像头自身的外参数矩阵,包括摄像头自身在世界坐标系的旋转矩阵R_real=[r0,r1,r2]=eluer2rot(pitch,yaw,roll)、平移矩阵T_real,其中,r0、r1、r2都是三行一列的向量,T_real也是三行一列的向量。
计算摄像头在当前姿态角度、摄像头高度下的外参数矩阵Rnew、Tnew
Rnew=eluer2rot(pitch,0,0)=[r3,r4,r5]
Rnew、Tnew为世界坐标系到矫正后的相机坐标系的旋转矩阵、平移矩阵。
根据相机内参矩阵K、外参数矩阵Rnew、Tnew计算变换矩阵H:
Pnew=K*Fnew
Fnew=[r3 r4 Tnew]
Pcamera=K*Fcmera
Fcamera=[r0 r1 Treal]
其中,r0、r1分别是摄像头自身的旋转矩阵Rreal的前两列元素,r3、r4分别是世界坐标系到矫正后的图像坐标系的旋转矩阵Rnew的前两列元素,Fcamera是世界坐标系到相机坐标系变换矩阵,Pcamera是世界坐标系的到图像坐标系的变换矩阵,Fnew是世界坐标系到矫正后的相机坐标系化的变换矩阵,Pnew是世界坐标系到矫正后的图像坐标系的变换矩阵。相机坐标系是摄像头的光心为原点的坐标系,矫正后的图像坐标系是与监视器的分辨率、裁剪尺寸相对应的坐标系。
通过变换矩阵H目标图像进行透视变换,得到矫正图。
S4、按照所需裁剪的ROI区域大小裁剪出矫正图的ROI区域显示在监视器上。
获取矫正图的有效像素的最大矩形,按照步骤S2确定的ROI区域裁剪大小进行裁剪,将裁剪出的图像显示在监视器上。
本发明通过计算实际物体在像平面的成像宽度与物理后视镜的镜平面宽度的比值来确定裁剪尺寸以在CMS图像上模拟传统后视镜的焦距,根据电子后视镜的摄像头的位置、姿态计算变换矩阵进行目标图像的矫正并按照对应的裁剪尺寸对图像进行裁剪显示在监视器上,在电子后视镜的显示屏上显示与传统后视镜具有相同或相近距离感的图像,进一步减少监视器上的显示差异,有利于帮助驾驶员辨别真实环境。
与上述方法实施例相对应,本发明还提出一种电子后视镜CMS图像矫正系统,所述系统包括:
比例计算模块:用于分析传统物理后视镜成像原理,计算实际物体在后视镜像平面的成像尺寸与物理后视镜的镜平面尺寸的比值;
裁剪尺寸计算模块:用于根据成像尺寸与物理后视镜的镜平面尺寸的比值确定所需裁剪的CMS采集图像的ROI区域大小;
图像矫正模块:用于根据电子后视镜的摄像头的位置、姿态对采集的目标图像进行校正,得到矫正图;
裁剪显示模块:用于按照所需裁剪的ROI区域大小裁剪出矫正图的ROI区域显示在监视器上。
以上系统实施例和方法实施例是一一对应的,系统实施例简述之处请参阅方法实施例即可。
在以上方法实施例的基础上,本发明还提出了,电子后视镜使用前述的电子后视镜CMS图像矫正方法。
本发明还公开一种电子后视镜,包括:摄像头、监视器、至少一个处理器、至少一个存储器、通信接口和总线;其中,所述摄像头、监视器、处理器、存储器、通信接口通过所述总线完成相互间的通信;所述摄像头用于采集图像,所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令,以实现本发明前述的方法;所述监视器用于显示通过本发明前述的方法矫正后的图像。
本发明还公开一种计算机可读存储介质,所述计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机实现本发明实施例所述方法的全部或部分步骤。所述存储介质包括:U盘、移动硬盘、只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的系统实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以分布到多个网络单元上。本领域普通技术人员在不付出创造性的劳动的情况下,可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
以上所述仅为本发明的较佳实施方式而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (9)

1.一种电子后视镜CMS图像矫正方法,其特征在于,所述方法包括:
分析传统物理后视镜成像原理,计算实际物体在后视镜像平面的成像尺寸与物理后视镜的镜平面尺寸的比值;
根据成像尺寸与物理后视镜的镜平面尺寸的比值确定所需裁剪的CMS采集图像的ROI区域大小;
根据电子后视镜的摄像头的位置、姿态对采集的目标图像进行校正,得到矫正图;
按照所需裁剪的ROI区域大小裁剪出矫正图的ROI区域显示在监视器上。
2.根据权利要求1所述的电子后视镜CMS图像矫正方法,其特征在于,所述分析传统物理后视镜成像原理,计算实际物体在像平面的成像尺寸与物理后视镜的镜平面尺寸的比值具体包括:
简化传统物理后视镜成像原理,建立成像模型;
基于成像模型计算与实际物体宽度对应的像平面成像宽度w、实际物体高度对应的像平面成像高度h;
获取物理后视镜的镜平面宽度Wmirror、Hmirror
计算出的成像宽度与物理后视镜的镜平面宽度的比值
计算出的成像高度与物理后视镜的镜平面高度的比值
3.根据权利要求2所述的电子后视镜CMS图像矫正方法,其特征在于,所述基于成像模型计算与实际物体宽度对应的像平面成像宽度w、实际物体高度对应的像平面成像高度h具体包括:
设实际物体在平面镜的成像平面的宽度为w'、高度为h',假设实际物体宽度为Wworld、高度为Hworld,后视镜成像平面与水平方向的夹角为θ,像平面在前后方向的倾角为α;
实际物体在水平像平面的成像宽度wscreen、成像高度hscreen为:
wscreen=w′*cos(θ)cos(α)
hscreen=h′*cos(θ)cos(α)
设实际物体到像平面的沿本车行驶方向的距离是D,眼点到像平面的沿本车行驶方向的距离是d,根据实际物体在水平像平面投影关系,得到:
分别联立以上wscreen、hscreen的两个公式,求出实际物体在平面镜的成像平面的宽度w'、高度h';
若物理后视镜为平面镜,实际物体在成像平面的宽度为w=w',高度为h=h';
若物理后视镜为凸面镜,实际物体在成像平面的宽度为w=β*w',高度为h=β*h',其中,β是与物理后视镜的凸率相关的修正系数。
4.根据权利要求3所述的电子后视镜CMS图像矫正方法,其特征在于,所述根据成像宽度与物理后视镜的镜平面宽度的比值确定所需裁剪的ROI区域大小包括:
根据监视器的分辨率、实际物体在像平面的成像尺寸与物理后视镜的镜平面尺寸的比值计算需要在监视器上显示的成像宽度uw、成像高度uh
根据小孔成像的投影公式计算出所需要的水平焦距fcalc_w
根据小孔成像的投影公式计算出所需要的垂直焦距fcalc_h
分别计算水平焦距fcalc_w、垂直焦距fcalc_h与实际相机焦距fimg的宽度比值k、高度比值p,根据宽度比值k、高度比值p分别确定ROI区域的宽度裁剪尺寸、高度裁剪尺寸。
5.根据权利要求4所述的电子后视镜CMS图像矫正方法,其特征在于,计算需要在监视器上显示的成像宽度uw、成像高度uh的公式为:
设监视器水平方向的分辨率为monitor_W,竖直方向的分辨率为monitor_H;
则需要在监视器上显示的成像宽度为uw=v*monitor_W,成像高度为uh=e*monitor_H。
6.根据权利要求4所述的电子后视镜CMS图像矫正方法,其特征在于,所述ROI区域宽度与监视器分辨率宽度的比值在[1/(k*1.2),1/(k*0.8)]内,所述ROI区域高度与监视器分辨率高度的比值在[1/(p*1.2),1/(p*0.8)]内。
7.根据权利要求1所述的电子后视镜CMS图像矫正方法,其特征在于,所述根据电子后视镜的摄像头的位置、姿态对采集的目标图像进行校正,得到矫正图具体包括:
获取摄像头的姿态角度pitch,yaw,roll,摄像头高度cameraheight
计算摄像头在当前姿态角度、摄像头高度下的外参数矩阵Rnew、Tnew,Rnew、Tnew分别为世界坐标系到矫正后的相机坐标系的旋转矩阵、平移矩阵;
根据摄像头内参矩阵K、外参数矩阵Rnew、Tnew计算变换矩阵H:
Pnew=K*Fnew
Fnew=[r3 r4 Tnew]
Pcamera=K*Fcamera
Fcamera=[r0 r1 Treal]
其中,r0、r1分别是摄像头自身在世界坐标系的旋转矩阵Rreal的前两列元素,r3、r4分别是世界坐标系到矫正后的图像坐标系的旋转矩阵Rnew的前两列元素;T_real为摄像头自身在世界坐标系平移矩阵,Fcamera是世界坐标系到相机坐标系变换矩阵,Pcamera是世界坐标系的到图像坐标系的变换矩阵,Fnew是世界坐标系到矫正后的相机坐标系的变换矩阵,Pnew是世界坐标系到矫正后的图像坐标系的变换矩阵;
通过变换矩阵H目标图像进行透视变换,得到矫正图。
8.一种电子后视镜CMS图像矫正系统,其特征在于,所述系统包括:
比例计算模块:用于分析传统物理后视镜成像原理,计算实际物体在后视镜像平面的成像尺寸与物理后视镜的镜平面尺寸的比值;
裁剪尺寸计算模块:用于根据成像尺寸与物理后视镜的镜平面尺寸的比值确定所需裁剪的CMS采集图像的ROI区域大小;
图像矫正模块:用于根据电子后视镜的摄像头的位置、姿态对采集的目标图像进行校正,得到矫正图;
裁剪显示模块:用于按照所需裁剪的ROI区域大小裁剪出矫正图的ROI区域显示在监视器上。
9.一种电子后视镜,其特征在于,使用权利要求1~7任一项所述的电子后视镜CMS图像矫正方法。
CN202311052376.2A 2023-08-21 2023-08-21 一种电子后视镜cms图像矫正方法、系统及电子后视镜 Active CN117011185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311052376.2A CN117011185B (zh) 2023-08-21 2023-08-21 一种电子后视镜cms图像矫正方法、系统及电子后视镜

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311052376.2A CN117011185B (zh) 2023-08-21 2023-08-21 一种电子后视镜cms图像矫正方法、系统及电子后视镜

Publications (2)

Publication Number Publication Date
CN117011185A true CN117011185A (zh) 2023-11-07
CN117011185B CN117011185B (zh) 2024-04-19

Family

ID=88574324

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311052376.2A Active CN117011185B (zh) 2023-08-21 2023-08-21 一种电子后视镜cms图像矫正方法、系统及电子后视镜

Country Status (1)

Country Link
CN (1) CN117011185B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019105044A1 (zh) * 2017-11-28 2019-06-06 东莞市普灵思智能电子有限公司 一种镜头畸变矫正和特征提取的方法及系统
CN113362228A (zh) * 2021-06-29 2021-09-07 中国科学技术大学 基于改进畸变校正和标记拼接的环视图像拼接方法及系统
CN115482295A (zh) * 2022-09-21 2022-12-16 成都航盛智行科技有限公司 一种车载全景环视系统的摄像头外参标定方法
CN116433512A (zh) * 2023-03-23 2023-07-14 武汉橙宫信息技术有限公司 图像处理方法、装置及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019105044A1 (zh) * 2017-11-28 2019-06-06 东莞市普灵思智能电子有限公司 一种镜头畸变矫正和特征提取的方法及系统
CN113362228A (zh) * 2021-06-29 2021-09-07 中国科学技术大学 基于改进畸变校正和标记拼接的环视图像拼接方法及系统
CN115482295A (zh) * 2022-09-21 2022-12-16 成都航盛智行科技有限公司 一种车载全景环视系统的摄像头外参标定方法
CN116433512A (zh) * 2023-03-23 2023-07-14 武汉橙宫信息技术有限公司 图像处理方法、装置及存储介质

Also Published As

Publication number Publication date
CN117011185B (zh) 2024-04-19

Similar Documents

Publication Publication Date Title
CN109688392B (zh) Ar-hud光学投影系统及映射关系标定方法和畸变矫正方法
JP4596978B2 (ja) 運転支援システム
CN109741455B (zh) 一种车载立体全景显示方法、计算机可读存储介质及系统
US9858639B2 (en) Imaging surface modeling for camera modeling and virtual view synthesis
JP3300334B2 (ja) 画像処理装置および監視システム
JP3286306B2 (ja) 画像生成装置、画像生成方法
US8928753B2 (en) Method and apparatus for generating a surrounding image
US7554573B2 (en) Drive assisting system
EP2009590B1 (en) Drive assistance device
EP1640212B1 (en) Monitoring system for monitoring surroundings of vehicle
CN112224132B (zh) 一种车用全景环视障碍物预警方法
KR101592740B1 (ko) 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
WO2013094588A1 (ja) 画像処理装置、画像処理方法、画像処理装置用プログラム、記録媒体、および、画像表示装置
CN104851076A (zh) 用于商用车的全景环视泊车辅助系统及摄像头安装方法
CN105894549A (zh) 一种全景辅助泊车系统、装置及全景图像显示方法
JP2014520337A (ja) 車両周辺視角化のための3次元映像合成装置およびその方法
JP2002135765A (ja) カメラキャリブレーション指示装置及びカメラキャリブレーション装置
WO2023071834A1 (zh) 用于显示设备的对齐方法及对齐装置、车载显示系统
CN114007054B (zh) 车载屏幕画面投影矫正的方法及装置
US10453173B2 (en) Panel transform
EP3326146B1 (en) Rear cross traffic - quick looks
KR20100081964A (ko) 주변 영상 생성 방법 및 장치
CN117011185B (zh) 一种电子后视镜cms图像矫正方法、系统及电子后视镜
KR101398068B1 (ko) 차량 설치 카메라 외부 파라미터 추정 방법 및 장치
JP4706896B2 (ja) 広角画像の補正方法及び車両の周辺監視システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant