CN111731190B - 车载avm的显示方法、系统、电子设备及存储介质 - Google Patents

车载avm的显示方法、系统、电子设备及存储介质 Download PDF

Info

Publication number
CN111731190B
CN111731190B CN202010722290.6A CN202010722290A CN111731190B CN 111731190 B CN111731190 B CN 111731190B CN 202010722290 A CN202010722290 A CN 202010722290A CN 111731190 B CN111731190 B CN 111731190B
Authority
CN
China
Prior art keywords
image
vehicle
panoramic image
preset
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010722290.6A
Other languages
English (en)
Other versions
CN111731190A (zh
Inventor
常玉军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Spreadtrum Communications Tianjin Co Ltd
Original Assignee
Spreadtrum Communications Tianjin Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Spreadtrum Communications Tianjin Co Ltd filed Critical Spreadtrum Communications Tianjin Co Ltd
Priority to CN202010722290.6A priority Critical patent/CN111731190B/zh
Publication of CN111731190A publication Critical patent/CN111731190A/zh
Priority to PCT/CN2021/108307 priority patent/WO2022017528A1/zh
Application granted granted Critical
Publication of CN111731190B publication Critical patent/CN111731190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种车载AVM的显示方法、系统、电子设备及存储介质。其中,显示方法基于多颗车载镜头实现并且包括:构建坐标映射表,坐标映射表用于表征基于多颗车载镜头采集到的原始图像拼接得到的全景图像与各车载镜头采集到的原始图像之间的坐标映射关系;基于多颗车载镜头采集到的原始图像以及坐标映射表生成全景图像;将全景图像映射至预设世界模型中,以在预设世界模型的内部构建虚拟世界;将汽车模型放置在虚拟世界中对应真实汽车的位置;渲染并输出与指定视点对应的虚拟世界中的画面,视点位于预设世界模型上并且朝向汽车模型的中心点。本发明构建的端到端的坐标映射表可以避免多次图像插值,并且虚拟世界的构建有利于实现实时预览。

Description

车载AVM的显示方法、系统、电子设备及存储介质
技术领域
本发明涉及图像处理技术领域,尤其涉及一种车载AVM(Around View Monitor,全景式监控影像系统)的显示方法、系统、电子设备及存储介质。
背景技术
AVM 3D(Three Dimensions,三维)全景倒车影像可以帮助司机观察车周边的景象,以避免碰撞事故的发生。相对于2D(Two Dimensions,二维)全景,3D全景可以获得更大的视野并可以随意的切换视角来观察车周边的情况,2D全景的视野范围一般在车周边1至3米,而3D全景的视野范围可以达到20米甚至更大视野范围。视野范围的扩大意味着需要处理的图像范围变大,在保证图像质量的前提下需要处理的图像尺寸就会大很多,从而会导致帧率的下降。
当前AVM 3D全景倒车影像的方案都是通过多颗安装在车身不同位置的摄像头采集图像数据,然后把各个摄像头采集到的图像合成生成360度全景图像。其中,360度全景图像的生成需要采用标定板进行标定,拼接时通过标定板的点进行拼接,然后再通过融合算法让拼接缝部分的过渡更加自然。
通过上述过程即可生成一幅俯视的2D全景图,已有的AVM 3D全景倒车影像方案会在2D全景图的基础上根据视角去计算某一视角下的3D图像,其中,视角为用户输入项,用户可以滑动屏幕来改变视角。其中,每一次视角的改变都需要重新去计算输出的图像,如果用户快速滑动屏幕改变视角会由于计算的速度限制会造成卡顿、图像断层等不好的用户体验。此外,3D图像的生成要经过多步的图像插值,每一次图像插值都会损失图像质量。
发明内容
本发明要解决的技术问题是为了克服现有技术中AMV 3D全景倒车影像的生成插值次数多且每次仅能计算一个视角下的3D图像的缺陷,提供一种车载AVM的显示方法、系统、电子设备及存储介质。
本发明是通过下述技术方案来解决上述技术问题:
一种车载AVM的显示方法,所述显示方法基于多颗车载镜头实现并且所述显示方法包括:
构建坐标映射表,所述坐标映射表用于表征基于多颗车载镜头采集到的原始图像拼接得到的全景图像与各车载镜头采集到的原始图像之间的坐标映射关系;
基于多颗车载镜头采集到的原始图像以及所述坐标映射表生成全景图像;
将所述全景图像映射至预设世界模型中,以在所述预设世界模型的内部构建虚拟世界;
将汽车模型放置在所述虚拟世界中对应真实汽车的位置;
渲染并输出与指定视点对应的所述虚拟世界中的画面,所述视点位于所述预设世界模型上并且朝向所述汽车模型的中心点。
较佳地,所述构建坐标映射表的步骤包括:
基于多颗车载镜头采集到的原始图像拼接得到初始全景图像;
将所述初始全景图像中以真实汽车的中心点为圆心以预设长度为半径的圆形图像之外的图像确定为待压缩图像;
构建预设压缩模型,所述预设压缩模型包括球心;
以所述球心为视点将所述待压缩图像映射到所述预设压缩模型上;
将视点拉到无穷远处以将映射到所述预设压缩模型上的待压缩图像投影到所述圆形图像所在平面上,以生成压缩后的全景图像;
根据压缩后的全景图像以及各车载镜头采集到的原始图像构建坐标映射关系;
其中,所述构建预设压缩模型的步骤包括:
确定辅助线与所述初始全景图像的两个第一交点,所述辅助线与所述初始全景图像的边长平行并且经过所述圆心;
确定与所述圆心的连线垂直于所述初始全景图像并且与两个所述第一交点之间的角度为预设角度的目标点;
确定所述目标点到所述辅助线与所述圆形图像的第二交点的目标距离;
确定所述圆形图像朝向所述目标点的一侧与以所述目标点为球心以所述目标距离为半径的球所形成的封闭结构为预设压缩模型。
较佳地,所述基于多颗车载镜头采集到的原始图像拼接得到初始全景图像的步骤包括:
对原始图像进行ROI(Region of Interest,感兴趣区域)区域的裁剪;
对裁减得到的ROI区域进行投影变换以生成俯视图;
对多颗车载镜头对应的俯视图进行拼接以生成初始全景图像;
和/或,
所述预设世界模型由所述预设压缩模型缩放得到。
较佳地,所述车载镜头采用鱼眼镜头;
所述构建坐标映射表的步骤包括:
对原始图像进行畸变矫正;
和/或,
坐标的数据类型采用双精度浮点数据。
一种车载AVM的显示系统,所述显示系统基于多颗车载镜头实现并且所述显示系统包括:
构建模块,用于构建坐标映射表,所述坐标映射表用于表征基于多颗车载镜头采集到的原始图像拼接得到的全景图像与各车载镜头采集到的原始图像之间的坐标映射关系;
生成模块,用于基于多颗车载镜头采集到的原始图像以及所述坐标映射表生成全景图像;
映射模块,用于将所述全景图像映射至预设世界模型中,以在所述预设世界模型的内部构建虚拟世界;
放置模块,用于将汽车模型放置在所述虚拟世界中对应真实汽车的位置;
渲染输出模块,用于渲染并输出与指定视点对应的所述虚拟世界中的画面,所述视点位于所述预设世界模型上并且朝向所述汽车模型的中心点。
较佳地,所述构建模块包括:
拼接单元,用于基于多颗车载镜头采集到的原始图像拼接得到初始全景图像;
确定单元,用于将所述初始全景图像中以真实汽车的中心点为圆心以预设长度为半径的圆形图像之外的图像确定为待压缩图像;
压缩模型构建单元,用于构建预设压缩模型,所述预设压缩模型包括球心;
映射单元,用于以所述球心为视点将所述待压缩图像映射到所述预设压缩模型上;
压缩单元,用于将视点拉到无穷远处以将映射到所述预设压缩模型上的待压缩图像投影到所述圆形图像所在平面上,以生成压缩后的全景图像;
映射关系构建单元,用于根据压缩后的全景图像以及各车载镜头采集到的原始图像构建坐标映射关系;
其中,所述压缩模型构建单元包括:
第一确定子单元,用于确定辅助线与所述初始全景图像的两个第一交点,所述辅助线与所述初始全景图像的边长平行并且经过所述圆心;
第二确定子单元,用于确定与所述圆心的连线垂直于所述初始全景图像并且与两个所述第一交点之间的角度为预设角度的目标点;
第三确定子单元,用于确定所述目标点到所述辅助线与所述圆形图像的第二交点的目标距离;
第四确定子单元,用于确定所述圆形图像朝向所述目标点的一侧与以所述目标点为球心以所述目标距离为半径的球所形成的封闭结构为预设压缩模型。
较佳地,所述拼接单元包括:
裁剪子单元,用于对原始图像进行ROI区域的裁剪;
投影变换子单元,用于对裁减得到的ROI区域进行投影变换以生成俯视图;
拼接子单元,用于对多颗车载镜头对应的俯视图进行拼接以生成初始全景图像;
和/或,
所述预设世界模型由所述预设压缩模型缩放得到。
较佳地,所述车载镜头采用鱼眼镜头;
所述构建模块包括:
畸变矫正子单元,用于对原始图像进行畸变矫正;
和/或,
坐标的数据类型采用双精度浮点数据。
一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一种车载AVM的显示方法。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一种车载AVM的显示方法的步骤。
本发明的积极进步效果在于:本发明基于一次全景图像的生成来构建输出端到输入端的坐标映射表,在车载镜头等部件不发生改变的情况下,后续即可根据构建的坐标映射表进行查表插值来完成图像的转换,其中,对坐标的计算可以避免多次图像插值所导致的图像质量的下降。此外,本发明还将生成的全景图像映射至预设世界模型中以构建与真实世界相对应的、模拟真实世界的虚拟世界,并且只需进行一次计算即可将虚拟世界在所有视角下的画面全部计算出来,减少了计算量,有利于实现实时预览,避免了卡顿、图像断层等不好的用户体验。
附图说明
图1为根据本发明实施例1的车载AVM的显示方法的流程图。
图2为根据本发明实施例2的车载AVM的显示方法中步骤S1的流程图。
图3为根据本发明实施例2的车载AVM的显示方法中畸变矫正与ROI区域裁剪的示意图。
图4为根据本发明实施例2的车载AVM的显示方法中图像拼接的示意图。
图5为根据本发明实施例2的车载AVM的显示方法中步骤S16的流程图。
图6为根据本发明实施例2的车载AVM的显示方法中鱼眼压缩模型的截面示意图。
图7为根据本发明实施例2的车载AVM的显示方法中鱼眼压缩模型的压缩示意图。
图8为根据本发明实施例2的车载AVM的显示方法中预设世界模型的结构示意图。
图9为根据本发明实施例2的车载AVM的显示方法中全景图像与预设世界模型之间的对应关系。
图10为根据本发明实施例2的车载AVM的显示方法中虚拟世界的构建示意图。
图11为根据本发明实施例2的车载AVM的显示方法中视点的示意图。
图12为根据本发明实施例2的车载AVM的显示方法中视点与输出画面的对应关系。
图13为根据本发明实施例3的车载AVM的显示系统的模块示意图。
图14为根据本发明实施例4的车载AVM的显示方法中构建模块的模块示意图。
图15为根据本发明实施例5的电子设备的结构示意图。
具体实施方式
下面通过实施例的方式进一步说明本发明,但并不因此将本发明限制在所述的实施例范围之中。
实施例1
本实施例提供一种基于多颗车载镜头实现的车载AVM的显示方法,参见图1,本实施例的显示方法包括:
S1、构建坐标映射表;
S2、基于多颗车载镜头采集到的原始图像以及坐标映射表生成全景图像;
S3、将全景图像映射至预设世界模型中,以在预设世界模型的内部构建虚拟世界;
S4、将汽车模型放置在所述虚拟世界中对应真实汽车的位置;
S5、渲染并输出与指定视点对应的所述虚拟世界中的画面。
在本实施例中,所构建的坐标映射表用于表征基于多颗车载镜头采集到的原始图像拼接得到的全景图像与各车载镜头采集到的原始图像之间的坐标映射关系,其中,坐标映射表的构建只需基于一次全景图像的生成,在车载镜头等部件不发生改变的情况下,后续即可基于多颗车载镜头采集到的原始图像以及构建的坐标映射表通过查表插值来完成图像的转换,以生成全景图像,本实施例中对坐标的计算既可以减少计算量,还可以避免多次图像插值所导致的图像质量的下降。
本实施例中,视点位于预设世界模型上并且朝向汽车模型的中心点,与真实世界相对应的、模拟真实世界的虚拟世界的构建,通过一次计算即可将虚拟世界在所有视角下的画面全部计算出来,从而在虚拟世界中,可以任意的视角和FOV(Field of View,视场角)来观察,减少了计算量,有利于实现实时预览,避免了卡顿、图像断层等不好的用户体验。
实施例2
本实施例在实施例1的基础上提供一种车载AVM的显示方法,在本实施例中,车载镜头优选鱼眼镜头,并且鱼眼镜头的数量优选为4,使得鱼眼镜头可以分布在汽车的前后左右四个方向。参照图2,本实施例中的步骤S1具体包括:
S11、对原始图像进行畸变矫正。
S12、对进行畸变矫正后的原始图像进行ROI区域的裁剪。
参照图3,以分布在车辆前面的鱼眼镜头为例,其采集到的原始图像具有很大的畸变,需要进行畸变矫正,得到矫正后图像,在矫正后图像的基础上可以方便地进行ROI区域的裁剪,其中,ROI区域可以根据实际应用自定义设置,在本实施例中,ROI区域优选与汽车运行有关的图像因素,以舍弃掉无意义的图像区域,例如,可以根据实际需求舍弃天空部分的图像因素,以减少计算量。至此,可以得到经过畸变矫正以及ROI区域裁剪后的图像与原始图像的坐标关系函数fw(x,y),其中,(x,y)为原始图像的坐标。
S13、对裁减得到的ROI区域进行投影变换以生成俯视图。
在本实施例中,投影变换旨在将输入的且经上述处理的原始图像转换为俯视角度的视图,以方便后续的图像拼接。具体地,在本实施例中,投影变换的过程可以获得一个3*3的投影矩阵M,其中,需要将原始图像的二维坐标(x,y)扩展为三维坐标(x,y,0),投影后的图像坐标即由三维坐标(x,y,0)与矩阵M相乘得到。同理,也可以得到用于将投影后的图像坐标(x`,y`,0)还原到原始图像坐标(x,y,0)的矩阵M`。
S14、对多颗鱼眼镜头对应的俯视图进行拼接以生成初始全景图像。
在本实施例中,可以按照传统的标定板方式进行拼接以生成俯视视角下的初始全景图像,其中,初始全景图像f(x,y)=w1*(x1,y1)+w2*(x2,y2),具体地,(x1,y1)与(x2,y2)为拼接的两张原始图像的坐标,0<=w1<=1,w1+w2=1,并且,两张原始图像的重叠部分所对应的权重w1、w2优选和像素的坐标与拼接线的距离成线性关系,例如,w1由1渐变到0时,w2由0渐变到1,以实现重叠区域的平滑过渡。具体地,分别由位于汽车前后左右四个方向的鱼眼镜头所对应的俯视图拼接生成的初始全景图像的示意图参照图4。
S15、将初始全景图像中以真实汽车的中心点为圆心以预设长度为半径的圆形图像之外的图像确定为待压缩图像。
在本实施例中,由于后续的鱼眼压缩会对初始全景图像造成横向畸变,为了保证汽车周边的图像完全无畸变,而对圆形图像不进行压缩,仅对圆形图像之外的图像进行压缩。
S16、构建预设压缩模型。
参照图5,本实施例中步骤S16具体可以包括:
S161、确定辅助线与初始全景图像的两个第一交点,辅助线与初始全景图像的边长平行并且经过圆心;
S162、确定与圆心的连线垂直于初始全景图像并且与两个第一交点之间的角度为预设角度的目标点;
S163、确定目标点到辅助线与圆形图像的第二交点的目标距离;
S164、确定圆形图像朝向目标点的一侧与以目标点为球心以目标距离为半径的球所形成的封闭结构为预设压缩模型。
参照图6,本实施例中,初始全景图像的长宽比优选为1:1,点A和点B即为辅助线与初始全景图像的第一交点,点A与点B之间的距离即为初始全景图像的边长,点O即为目标点,∠AOB的角度即为预设角度,CD即为圆形图像的直径,点C和点D即为辅助线与圆形图像的第二交点,AC与DB即对应待压缩图像,OC以及OD即为目标距离,最终所形成的预设压缩模型的结构为大半球。
S17、以球心为视点将待压缩图像映射到预设压缩模型上。
在本实施例中,不进行压缩的圆形图像对应预设压缩模型的圆形截面,将圆形截面之外的待压缩图像利用鱼眼成像的原理映射到预设压缩模型的球形弧面上,具体地,参照图7,将AC压缩到弧CE,将DB压缩到弧DF。在本实施例中,待压缩图像的压缩比例和范围与∠AOB的大小相关,并且,∠AOB越接近180°,则可压缩的范围越大。
S18、将视点拉到无穷远处以将映射到预设压缩模型上的待压缩图像投影到圆形图像所在平面上,以生成压缩后的全景图像。
具体地,参照图7,弧CE投影到A`C,弧DF投影到DB`,CD部分则不变,由此,实现了将边长为AB的初始全景图像压缩成边长为A`B`的全景图像,在不损失图像质量、视野范围的基础上减小了全景图像的尺寸,避免对内存的过多占用,有利于提升车载AVM的性能。
S19、根据压缩后的全景图像以及各鱼眼镜头采集到的原始图像构建坐标映射关系。
在本实施例中,记压缩后的全景图像与待压缩的初始全景图像的函数关系为fc(x,y)。
至此,有鱼眼镜头输入端到全景图像输出端的函数:
fc(w1*((fw(x1,y1),0)*M)+w2*(fw(x2,y2),0)*M)
在实际计算过程中,优选遍历输出端的坐标去寻找输入端的坐标,则需颠倒上述每个函数的输入和输出。
在本实施例中,上述步骤S1仅需执行一次,并且,在此过程中,处理的数据全部为图像的坐标(x,y)而不是实质的像素,整个过程可以看作是对图像坐标的变换,在变换过程优选采用双精度浮点数据类型来计算。
在本实施例中,为了更好的还原真实世界的场景并减少畸变的影响,预设世界模型由预设压缩模型缩放得到,也即,预设世界模型与预设压缩模型一致,并且对预设世界模型贴图时的贴图范围也与压缩后的全景图像一致。具体地,参照图8,预设世界模型上的Ew点对应右侧图的A`点,Cw点对应C点,Dw点对应D点,Fw点对应B`点。
在本实施例中,由于是在预设世界模型的内部观察虚拟世界,所以在将全景图像贴设至预设世界模型时需要指定内外反转,以实现在预设世界模型的内部构建虚拟世界,图9示出了全景图像与预设世界模型之间的对应关系,具体地,预设世界模型中标记线以下的区域与全景图像对应,进一步地,标记线以下的内壁部分以及底面部分与全景图像对应。
最后,将汽车模型放置在虚拟世界中对应真实汽车的位置,也即,虚拟世界对应真实世界中真实汽车的位置,以最终完成完整的模拟真实世界的虚拟世界的构建,其中,构建完成的虚拟世界可以参照图10。
在本实施例中,参照图11,视点优选放置在预设世界模型的赤道弧上并且一直看向汽车模型的中心点,具体地,在本实施例中,可以通过左右滑动屏幕来改变视点的位置,例如,向左滑动视点则绕球心做逆向旋转;向右滑动视点绕球心做顺时针方向旋转。参照图12,在指定视点后,即可通过3D渲染引擎将渲染后的画面输出到车载屏幕上。
本实施例在实施例1的基础上,还基于鱼眼压缩,在不损失图像质量、视野范围的基础上减小了全景图像的尺寸,避免对内存的过多占用,有利于提升车载AVM的性能,此外,利用与鱼眼压缩模型一致的预设世界模型用于构建虚拟世界,有利于还原真实世界并减少畸变,进而有利于提升用户体验。
实施例3
本实施例提供一种基于多颗车载镜头实现的车载AVM的显示系统,参见图13,本实施例的显示系统包括:
构建模块1,用于构建坐标映射表;
生成模块2,用于基于多颗车载镜头采集到的原始图像以及坐标映射表生成全景图像;
映射模块3,用于将全景图像映射至预设世界模型中,以在预设世界模型的内部构建虚拟世界;
放置模块4,用于将汽车模型放置在所述虚拟世界中对应真实汽车的位置;
渲染输出模块5,用于渲染并输出与指定视点对应的所述虚拟世界中的画面。
在本实施例中,所构建的坐标映射表用于表征基于多颗车载镜头采集到的原始图像拼接得到的全景图像与各车载镜头采集到的原始图像之间的坐标映射关系,其中,坐标映射表的构建只需基于一次全景图像的生成,在车载镜头等部件不发生改变的情况下,后续即可基于多颗车载镜头采集到的原始图像以及构建的坐标映射表通过查表插值来完成图像的转换,以生成全景图像,本实施例中对坐标的计算既可以减少计算量,还可以避免多次图像插值所导致的图像质量的下降。
本实施例中,视点位于预设世界模型上并且朝向汽车模型的中心点,与真实世界相对应的、模拟真实世界的虚拟世界的构建,通过一次计算即可将虚拟世界在所有视角下的画面全部计算出来,从而在虚拟世界中,可以任意的视角和FOV(Field of View,视场角)来观察,减少了计算量,有利于实现实时预览,避免了卡顿、图像断层等不好的用户体验。
实施例4
本实施例在实施例3的基础上提供一种车载AVM的显示系统,在本实施例中,车载镜头优选鱼眼镜头,并且鱼眼镜头的数量优选为4,使得鱼眼镜头可以分布在汽车的前后左右四个方向。参照图14,本实施例中的构建模块1具体包括:
畸变矫正子单元11,用于对原始图像进行畸变矫正。
裁剪子单元12,用于对进行畸变矫正后的原始图像进行ROI区域的裁剪。
参照图3,以分布在车辆前面的鱼眼镜头为例,其采集到的原始图像具有很大的畸变,需要进行畸变矫正,得到矫正后图像,在矫正后图像的基础上可以方便地进行ROI区域的裁剪,其中,ROI区域可以根据实际应用自定义设置,在本实施例中,ROI区域优选与汽车运行有关的图像因素,以舍弃掉无意义的图像区域,例如,可以根据实际需求舍弃天空部分的图像因素,以减少计算量。至此,可以得到经过畸变矫正以及ROI区域裁剪后的图像与原始图像的坐标关系函数fw(x,y),其中,(x,y)为原始图像的坐标。
投影变换子单元13,用于对裁减得到的ROI区域进行投影变换以生成俯视图。
在本实施例中,投影变换旨在将输入的且经上述处理的原始图像转换为俯视角度的视图,以方便后续的图像拼接。具体地,在本实施例中,投影变换的过程可以获得一个3*3的投影矩阵M,其中,需要将原始图像的二维坐标(x,y)扩展为三维坐标(x,y,0),投影后的图像坐标即由三维坐标(x,y,0)与矩阵M相乘得到。同理,也可以得到用于将投影后的图像坐标(x`,y`,0)还原到原始图像坐标(x,y,0)的矩阵M`。
拼接子单元14,用于对多颗鱼眼镜头对应的俯视图进行拼接以生成初始全景图像。
在本实施例中,可以按照传统的标定板方式进行拼接以生成俯视视角下的初始全景图像,其中,初始全景图像f(x,y)=w1*(x1,y1)+w2*(x2,y2),具体地,(x1,y1)与(x2,y2)为拼接的两张原始图像的坐标,0<=w1<=1,w1+w2=1,并且,两张原始图像的重叠部分所对应的权重w1、w2优选和像素的坐标与拼接线的距离成线性关系,例如,w1由1渐变到0时,w2由0渐变到1,以实现重叠区域的平滑过渡。具体地,分别由位于汽车前后左右四个方向的鱼眼镜头所对应的俯视图拼接生成的初始全景图像的示意图参照图4。
确定单元15,用于将初始全景图像中以真实汽车的中心点为圆心以预设长度为半径的圆形图像之外的图像确定为待压缩图像。
在本实施例中,由于后续的鱼眼压缩会对初始全景图像造成横向畸变,为了保证汽车周边的图像完全无畸变,而对圆形图像不进行压缩,仅对圆形图像之外的图像进行压缩。
压缩模型构建单元16,用于构建预设压缩模型。
参照图14,本实施例中压缩模型构建单元16具体可以包括:
第一确定子单元161,用于确定辅助线与初始全景图像的两个第一交点,辅助线与初始全景图像的边长平行并且经过圆心;
第二确定子单元162,用于确定与圆心的连线垂直于初始全景图像并且与两个第一交点之间的角度为预设角度的目标点;
第三确定子单元163,用于确定目标点到辅助线与圆形图像的第二交点的目标距离;
第四确定子单元164,用于确定圆形图像朝向目标点的一侧与以目标点为球心以目标距离为半径的球所形成的封闭结构为预设压缩模型。
参照图6,本实施例中,初始全景图像的长宽比优选为1:1,点A和点B即为辅助线与初始全景图像的第一交点,点A与点B之间的距离即为初始全景图像的边长,点O即为目标点,∠AOB的角度即为预设角度,CD即为圆形图像的直径,点C和点D即为辅助线与圆形图像的第二交点,AC与DB即对应待压缩图像,OC以及OD即为目标距离,最终所形成的预设压缩模型的结构为大半球。
映射单元17,用于以球心为视点将待压缩图像映射到预设压缩模型上。
在本实施例中,不进行压缩的圆形图像对应预设压缩模型的圆形截面,将圆形截面之外的待压缩图像利用鱼眼成像的原理映射到预设压缩模型的球形弧面上,具体地,参照图7,将AC压缩到弧CE,将DB压缩到弧DF。在本实施例中,待压缩图像的压缩比例和范围与∠AOB的大小相关,并且,∠AOB越接近180°,则可压缩的范围越大。
压缩单元18,用于将视点拉到无穷远处以将映射到预设压缩模型上的待压缩图像投影到圆形图像所在平面上,以生成压缩后的全景图像。
具体地,参照图7,弧CE投影到A`C,弧DF投影到DB`,CD部分则不变,由此,实现了将边长为AB的初始全景图像压缩成边长为A`B`的全景图像,在不损失图像质量、视野范围的基础上减小了全景图像的尺寸,避免对内存的过多占用,有利于提升车载AVM的性能。
映射关系构建单元19,用于根据压缩后的全景图像以及各鱼眼镜头采集到的原始图像构建坐标映射关系。
在本实施例中,记压缩后的全景图像与待压缩的初始全景图像的函数关系为fc(x,y)。
至此,有鱼眼镜头输入端到全景图像输出端的函数:
fc(w1*((fw(x1,y1),0)*M)+w2*(fw(x2,y2),0)*M)
在实际计算过程中,优选遍历输出端的坐标去寻找输入端的坐标,则需颠倒上述每个函数的输入和输出。
在本实施例中,上述构建模块1仅需调用一次,并且,在此过程中,处理的数据全部为图像的坐标(x,y)而不是实质的像素,整个过程可以看作是对图像坐标的变换,在变换过程优选采用双精度浮点数据类型来计算。
在本实施例中,为了更好的还原真实世界的场景并减少畸变的影响,预设世界模型由预设压缩模型缩放得到,也即,预设世界模型与预设压缩模型一致,并且对预设世界模型贴图时的贴图范围也与压缩后的全景图像一致。具体地,参照图8,预设世界模型上的Ew点对应右侧图的A`点,Cw点对应C点,Dw点对应D点,Fw点对应B`点。
在本实施例中,由于是在预设世界模型的内部观察虚拟世界,所以在将全景图像贴设至预设世界模型时需要指定内外反转,以实现在预设世界模型的内部构建虚拟世界,图9示出了全景图像与预设世界模型之间的对应关系,具体地,预设世界模型中标记线以下的区域与全景图像对应,进一步地,标记线以下的内壁部分以及底面部分与全景图像对应。
最后,将汽车模型放置在虚拟世界中对应真实汽车的位置,也即,虚拟世界对应真实世界中真实汽车的位置,以最终完成完整的模拟真实世界的虚拟世界的构建,其中,构建完成的虚拟世界可以参照图10。
在本实施例中,参照图11,视点优选放置在预设世界模型的赤道弧上并且一直看向汽车模型的中心点,具体地,在本实施例中,可以通过左右滑动屏幕来改变视点的位置,例如,向左滑动视点则绕球心做逆向旋转;向右滑动视点绕球心做顺时针方向旋转。参照图12,在指定视点后,即可通过3D渲染引擎将渲染后的画面输出到车载屏幕上。
本实施例在实施例3的基础上,还基于鱼眼压缩,在不损失图像质量、视野范围的基础上减小了全景图像的尺寸,避免对内存的过多占用,有利于提升车载AVM的性能,此外,利用与鱼眼压缩模型一致的预设世界模型用于构建虚拟世界,有利于还原真实世界并减少畸变,进而有利于提升用户体验。
实施例5
本实施例提供一种电子设备,电子设备可以通过计算设备的形式表现(例如可以为服务器设备),包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中处理器执行计算机程序时可以实现实施例1或2提供的车载AVM的显示方法。
图15示出了本实施例的硬件结构示意图,如图15所示,电子设备9具体包括:
至少一个处理器91、至少一个存储器92以及用于连接不同系统组件(包括处理器91和存储器92)的总线93,其中:
总线93包括数据总线、地址总线和控制总线。
存储器92包括易失性存储器,例如随机存取存储器(RAM)921和/或高速缓存存储器922,还可以进一步包括只读存储器(ROM)923。
存储器92还包括具有一组(至少一个)程序模块924的程序/实用工具925,这样的程序模块924包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
处理器91通过运行存储在存储器92中的计算机程序,从而执行各种功能应用以及数据处理,例如本发明实施例1或2所提供的车载AVM的显示方法。
电子设备9进一步可以与一个或多个外部设备94(例如键盘、指向设备等)通信。这种通信可以通过输入/输出(I/O)接口95进行。并且,电子设备9还可以通过网络适配器96与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器96通过总线93与电子设备9的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备9使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID(磁盘阵列)系统、磁带驱动器以及数据备份存储系统等。
应当注意,尽管在上文详细描述中提及了电子设备的若干单元/模块或子单元/模块,但是这种划分仅仅是示例性的并非强制性的。实际上,根据本申请的实施方式,上文描述的两个或更多单元/模块的特征和功能可以在一个单元/模块中具体化。反之,上文描述的一个单元/模块的特征和功能可以进一步划分为由多个单元/模块来具体化。
实施例6
本实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现实施例1或2所提供的车载AVM的显示方法的步骤。
其中,可读存储介质可以采用的更具体可以包括但不限于:便携式盘、硬盘、随机存取存储器、只读存储器、可擦拭可编程只读存储器、光存储器件、磁存储器件或上述的任意合适的组合。
在可能的实施方式中,本发明还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行实现实施例1或2所述的车载AVM的显示方法的步骤。
其中,可以以一种或多种程序设计语言的任意组合来编写用于执行本发明的程序代码,所述程序代码可以完全地在用户设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户设备上部分在远程设备上执行或完全在远程设备上执行。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这仅是举例说明,本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下,可以对这些实施方式做出多种变更或修改,但这些变更和修改均落入本发明的保护范围。

Claims (8)

1.一种车载AVM的显示方法,其特征在于,所述显示方法基于多颗车载镜头实现并且所述显示方法包括:
构建坐标映射表,所述坐标映射表用于表征基于多颗车载镜头采集到的原始图像拼接得到的全景图像与各车载镜头采集到的原始图像之间的坐标映射关系;
基于多颗车载镜头采集到的原始图像以及所述坐标映射表生成全景图像;
将所述全景图像映射至预设世界模型中,以在所述预设世界模型的内部构建虚拟世界;
将汽车模型放置在所述虚拟世界中对应真实汽车的位置;
渲染并输出与指定视点对应的所述虚拟世界中的画面,所述视点位于所述预设世界模型上并且朝向所述汽车模型的中心点;
所述构建坐标映射表的步骤包括:
基于多颗车载镜头采集到的原始图像拼接得到初始全景图像;
将所述初始全景图像中以真实汽车的中心点为圆心以预设长度为半径的圆形图像之外的图像确定为待压缩图像;
构建预设压缩模型,所述预设压缩模型包括球心;
以所述球心为视点将所述待压缩图像映射到所述预设压缩模型上;
将视点拉到无穷远处以将映射到所述预设压缩模型上的待压缩图像投影到所述圆形图像所在平面上,以生成压缩后的全景图像;
根据压缩后的全景图像以及各车载镜头采集到的原始图像构建坐标映射关系;
其中,所述构建预设压缩模型的步骤包括:
确定辅助线与所述初始全景图像的两个第一交点,所述辅助线与所述初始全景图像的边长平行并且经过所述圆心;
确定与所述圆心的连线垂直于所述初始全景图像并且与两个所述第一交点之间的角度为预设角度的目标点;
确定所述目标点到所述辅助线与所述圆形图像的第二交点的目标距离;
确定所述圆形图像朝向所述目标点的一侧与以所述目标点为球心以所述目标距离为半径的球所形成的封闭结构为预设压缩模型。
2.如权利要求1所述的车载AVM的显示方法,其特征在于,所述基于多颗车载镜头采集到的原始图像拼接得到初始全景图像的步骤包括:
对原始图像进行ROI区域的裁剪;
对裁减得到的ROI区域进行投影变换以生成俯视图;
对多颗车载镜头对应的俯视图进行拼接以生成初始全景图像;
和/或,
所述预设世界模型由所述预设压缩模型缩放得到。
3.如权利要求1所述的车载AVM的显示方法,其特征在于,所述车载镜头采用鱼眼镜头;
所述构建坐标映射表的步骤包括:
对原始图像进行畸变矫正;
和/或,
坐标的数据类型采用双精度浮点数据。
4.一种车载AVM的显示系统,其特征在于,所述显示系统基于多颗车载镜头实现并且所述显示系统包括:
构建模块,用于构建坐标映射表,所述坐标映射表用于表征基于多颗车载镜头采集到的原始图像拼接得到的全景图像与各车载镜头采集到的原始图像之间的坐标映射关系;
生成模块,用于基于多颗车载镜头采集到的原始图像以及所述坐标映射表生成全景图像;
映射模块,用于将所述全景图像映射至预设世界模型中,以在所述预设世界模型的内部构建虚拟世界;
放置模块,用于将汽车模型放置在所述虚拟世界中对应真实汽车的位置;
渲染输出模块,用于渲染并输出与指定视点对应的所述虚拟世界中的画面,所述视点位于所述预设世界模型上并且朝向所述汽车模型的中心点;
所述构建模块包括:
拼接单元,用于基于多颗车载镜头采集到的原始图像拼接得到初始全景图像;
确定单元,用于将所述初始全景图像中以真实汽车的中心点为圆心以预设长度为半径的圆形图像之外的图像确定为待压缩图像;
压缩模型构建单元,用于构建预设压缩模型,所述预设压缩模型包括球心;
映射单元,用于以所述球心为视点将所述待压缩图像映射到所述预设压缩模型上;
压缩单元,用于将视点拉到无穷远处以将映射到所述预设压缩模型上的待压缩图像投影到所述圆形图像所在平面上,以生成压缩后的全景图像;
映射关系构建单元,用于根据压缩后的全景图像以及各车载镜头采集到的原始图像构建坐标映射关系;
其中,所述压缩模型构建单元包括:
第一确定子单元,用于确定辅助线与所述初始全景图像的两个第一交点,所述辅助线与所述初始全景图像的边长平行并且经过所述圆心;
第二确定子单元,用于确定与所述圆心的连线垂直于所述初始全景图像并且与两个所述第一交点之间的角度为预设角度的目标点;
第三确定子单元,用于确定所述目标点到所述辅助线与所述圆形图像的第二交点的目标距离;
第四确定子单元,用于确定所述圆形图像朝向所述目标点的一侧与以所述目标点为球心以所述目标距离为半径的球所形成的封闭结构为预设压缩模型。
5.如权利要求4所述的车载AVM的显示系统,其特征在于,所述拼接单元包括:
裁剪子单元,用于对原始图像进行ROI区域的裁剪;
投影变换子单元,用于对裁减得到的ROI区域进行投影变换以生成俯视图;
拼接子单元,用于对多颗车载镜头对应的俯视图进行拼接以生成初始全景图像;
和/或,
所述预设世界模型由所述预设压缩模型缩放得到。
6.如权利要求4所述的车载AVM的显示系统,其特征在于,所述车载镜头采用鱼眼镜头;
所述构建模块包括:
畸变矫正子单元,用于对原始图像进行畸变矫正;
和/或,
坐标的数据类型采用双精度浮点数据。
7.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至3中任一项所述的车载AVM的显示方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至3中任一项所述的车载AVM的显示方法的步骤。
CN202010722290.6A 2020-07-24 2020-07-24 车载avm的显示方法、系统、电子设备及存储介质 Active CN111731190B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010722290.6A CN111731190B (zh) 2020-07-24 2020-07-24 车载avm的显示方法、系统、电子设备及存储介质
PCT/CN2021/108307 WO2022017528A1 (zh) 2020-07-24 2021-07-26 车载avm的显示方法、系统、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010722290.6A CN111731190B (zh) 2020-07-24 2020-07-24 车载avm的显示方法、系统、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111731190A CN111731190A (zh) 2020-10-02
CN111731190B true CN111731190B (zh) 2022-12-30

Family

ID=72657612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010722290.6A Active CN111731190B (zh) 2020-07-24 2020-07-24 车载avm的显示方法、系统、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN111731190B (zh)
WO (1) WO2022017528A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111731190B (zh) * 2020-07-24 2022-12-30 展讯通信(天津)有限公司 车载avm的显示方法、系统、电子设备及存储介质
CN114827491B (zh) * 2022-04-18 2023-02-14 鹰驾科技(深圳)有限公司 一种无线传输全景环视拼接技术

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106710000A (zh) * 2016-12-05 2017-05-24 武汉大学 一种基于离散全景图构建连续场景的图像投影方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5676092B2 (ja) * 2009-09-18 2015-02-25 株式会社ローラン パノラマ画像生成方法及びパノラマ画像生成プログラム
CN103136720A (zh) * 2013-03-12 2013-06-05 中科院微电子研究所昆山分所 车载360度全景拼接方法
CN103617606B (zh) * 2013-11-26 2016-09-14 中科院微电子研究所昆山分所 用于辅助驾驶的车辆多视角全景生成方法
CN103763517B (zh) * 2014-03-03 2017-02-15 惠州华阳通用电子有限公司 一种车载环视显示方法及系统
CN105635551B (zh) * 2014-10-29 2019-03-26 浙江大华技术股份有限公司 一种球型摄像机生成全景图像的方法及球型摄像机
KR101642975B1 (ko) * 2015-04-27 2016-07-26 주식회사 피씨티 객체를 관찰하기 위한 파노라마 공간 모델링 방법
US10434877B2 (en) * 2016-05-05 2019-10-08 Via Technologies, Inc. Driver-assistance method and a driver-assistance apparatus
CN106991640B (zh) * 2016-10-31 2020-06-16 深圳市圆周率软件科技有限责任公司 一种全景图像展开方法及系统
CN106875339B (zh) * 2017-02-22 2020-03-27 长沙全度影像科技有限公司 一种基于长条形标定板的鱼眼图像拼接方法
CN107424120A (zh) * 2017-04-12 2017-12-01 湖南源信光电科技股份有限公司 一种全景环视系统中的图像拼接方法
US20190100147A1 (en) * 2017-10-02 2019-04-04 Hua-Chuang Automobile Information Technical Center Co., Ltd. Parking assistant panoramic image system
CN108269235A (zh) * 2018-02-26 2018-07-10 江苏裕兰信息科技有限公司 一种基于opengl的车载环视多视角全景生成方法
CN109064391A (zh) * 2018-08-02 2018-12-21 哈尔滨市舍科技有限公司 一种全景图像处理方法和全景图像处理装置
CN111731190B (zh) * 2020-07-24 2022-12-30 展讯通信(天津)有限公司 车载avm的显示方法、系统、电子设备及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106710000A (zh) * 2016-12-05 2017-05-24 武汉大学 一种基于离散全景图构建连续场景的图像投影方法

Also Published As

Publication number Publication date
CN111731190A (zh) 2020-10-02
WO2022017528A1 (zh) 2022-01-27

Similar Documents

Publication Publication Date Title
US20230328220A1 (en) System and method for creating a navigable, three-dimensional virtual reality environment having ultra-wide field of view
US7570280B2 (en) Image providing method and device
CN107660337B (zh) 用于从鱼眼摄像机产生组合视图的系统及方法
CN108564527B (zh) 基于神经网络的全景图内容补全和修复的方法及装置
US6947059B2 (en) Stereoscopic panoramic image capture device
CN109547766A (zh) 一种全景图像生成方法及装置
JP2008085446A (ja) 画像生成装置および画像生成方法
CN111731190B (zh) 车载avm的显示方法、系统、电子设备及存储介质
CN111275621A (zh) 一种行车环视系统中全景图生成方法、系统及存储介质
JP3352475B2 (ja) 画像表示装置
US20030117675A1 (en) Curved image conversion method and record medium where this method for converting curved image is recorded
JP2006515128A (ja) 立体パノラマ画像取り込み装置
CN109246477B (zh) 一种全景视频插帧方法及装置
CN111524230B (zh) 一种三维模型与展开全景图联动浏览方法及计算机系统
CN108765582B (zh) 一种全景图片显示方法及设备
WO2022166868A1 (zh) 漫游视图的生成方法、装置、设备和存储介质
CN114511447A (zh) 图像处理方法、装置、设备及计算机存储介质
CN109788270B (zh) 3d-360度全景图像生成方法及装置
CN114926612A (zh) 空中全景图像处理与沉浸式显示系统
CN113496503B (zh) 点云数据的生成及实时显示方法、装置、设备及介质
WO2024002023A1 (zh) 全景立体图像的生成方法、装置和电子设备
CN113674138A (zh) 图像处理方法、装置及系统
JP2002203237A (ja) 曲面像変換方法及びこの曲面像変換方法を記録した記録媒体
JP2002092597A (ja) 画像処理方法及び装置
CN102789649A (zh) 一种实现三维变换特效的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant