CN113002531B - 车辆全景环视方法、系统、设备和计算机可读存储介质 - Google Patents
车辆全景环视方法、系统、设备和计算机可读存储介质 Download PDFInfo
- Publication number
- CN113002531B CN113002531B CN202110172091.7A CN202110172091A CN113002531B CN 113002531 B CN113002531 B CN 113002531B CN 202110172091 A CN202110172091 A CN 202110172091A CN 113002531 B CN113002531 B CN 113002531B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- image
- images
- cameras
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 44
- 238000004590 computer program Methods 0.000 claims description 21
- 238000012937 correction Methods 0.000 claims description 11
- 230000009466 transformation Effects 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000001131 transforming effect Effects 0.000 claims description 6
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 5
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 4
- 241001300198 Caperonia palustris Species 0.000 claims description 2
- 235000000384 Veronica chamaedrys Nutrition 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Human Computer Interaction (AREA)
- Image Processing (AREA)
Abstract
本申请涉及汽车电子领域,提供了车辆全景环视方法、系统、设备和计算机可读存储介质,以减小盲区或增大车身周围可视区域的拍摄。所述方法包括:设置于车身的六个摄像头分别采集各自可视区域的图像,其中,六个摄像头包括设置于车辆前挡风玻璃靠近上边缘处的第一摄像头、设置于车辆左侧的第二摄像头、设置于车辆右侧的第三摄像头、设置于车辆后挡风玻璃靠近上边缘处的第四摄像头、设置于所述车辆的车标附近的第五摄像头和设置于所述车辆的后车牌附近的第六摄像头;中央处理器接收六个像头采集的图像后,将六个摄像头采集的图像拼接为车辆周围的全景图像;车载显示器显示中央处理器拼接的全景图像。本申请的技术方案提升了驾驶的安全度。
Description
技术领域
本发明涉及汽车电子领域,特别涉及一种车辆全景环视方法、系统、设备和计算机可读存储介质。
背景技术
随着人们生活水平的提高,汽车作为一种便捷的交通工具已经进入千家万户,与之相随的是人们对其安全性能的关注。在安全性能方面,最重要的当然是生命安全,即在极端情况下,如何保障车内人员的生命安全。目前的汽车,在安全方面推出了许多重要创新,譬如防抱死制动系统、安全气囊、高强度安全座仓和碰撞缓冲区等等。
如果说上述的安全创新是一种“硬安全”的措施,那么一般的防碰撞,包括前行过程和后退过程中碰撞到人或物则是一种相对较软的安全措施。在这方面,一般是采用基于图像的倒车影像系统来给予保障,具体是在车标、车尾以及车身左右两侧处安装摄像头,结合倒车雷达和车载显示器,将汽车周围区域以影像的形式显示给驾驶人员。
然而,上述方式的不足之处在于摄像头拍摄仍然存在视觉盲区,由此将增加安全驾驶的风险,例如碰撞和刮蹭等。
发明内容
本申请提供一种车辆全景环视方法、系统、设备和计算机可读存储介质,以减小盲区或增大车身周围可视区域的拍摄。
一方面,本申请提供了一种车辆全景环视方法,包括:
设置于车身的六个摄像头分别采集各自可视区域的图像,所述六个摄像头包括设置于车辆前挡风玻璃靠近上边缘处的第一摄像头、设置于所述车辆左侧的第二摄像头、设置于所述车辆右侧的第三摄像头、设置于所述车辆后挡风玻璃靠近上边缘处的第四摄像头、设置于所述车辆的车标附近的第五摄像头和设置于所述车辆的后车牌附近的第六摄像头;
中央处理器接收所述六个摄像头采集的图像后,将所述采集的图像拼接为车辆周围的全景图像;
车载显示器显示所述中央处理器拼接的全景图像。
另一方面,本申请提供了一种车辆全景环视系统,包括中央处理器、车载显示器和设置于车身的六个摄像头;
所述设置于车身的六个摄像头,用于分别采集各自可视区域的图像,所述六个摄像头包括设置于车辆前挡风玻璃靠近上边缘处的第一摄像头、设置于所述车辆左侧的第二摄像头、设置于所述车辆右侧的第三摄像头、设置于所述车辆后挡风玻璃靠近上边缘处的第四摄像头、设置于所述车辆的车标附近的第五摄像头和设置于所述车辆的后车牌附近的第六摄像头;
所述中央处理器,用于接收所述六个摄像头采集的图像后,将所述采集的图像拼接为车辆周围的全景图像;
所述车载显示器,用于显示所述中央处理器拼接的全景图像。
第三方面,本申请提供了一种设备,所述设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述车辆全景环视方法的技术方案的步骤。
第四方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述车辆全景环视方法的技术方案的步骤。
从上述本申请提供的技术方案可知,由于设置于车身的六个摄像头可以分别采集各自可视区域的图像,尤其是第一摄像头和第四摄像头,由于其设置于车辆前后挡风玻璃靠近上边缘处,位置比较高,因此能够最大限度地拍摄到车身周围景象,减小视觉盲区,中央处理器接收六个摄像头采集的图像后,将采集的图像拼接为车辆周围的全景图像并通过车载显示器显示给驾驶人员,能够让驾驶人员观察到车辆周边最大范围,提升了驾驶、尤其是倒车时的安全度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的车辆全景环视方法的流程图;
图2是本申请实施例提供的六个摄像头在车辆的布局示意以及与现有技术对比的视觉盲区减小示意图;
图3是本申请实施例提供的中央处理器接收六个摄像头采集的图像后,将六个摄像头采集的图像拼接为车辆周围的全景图像的流程示意图;
图4是本申请另一实施例提供的中央处理器接收六个摄像头采集的图像后,将六个摄像头采集的图像拼接为车辆周围的全景图像的流程示意图;
图5是本申请实施例提供的车辆全景环视系统的结构示意图;
图6是本申请实施例提供的设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本说明书中,诸如第一和第二之类的限定词仅可以用于将一个元素或动作与另一元素或动作进行区分,而不必要求或暗示任何实际的这种关系或顺序。在环境允许的情况下,参照元素或部件或步骤(等)不应解释为局限于仅元素、部件、或步骤中的一个,而可以是元素、部件、或步骤中的一个或多个等。
在本说明书中,为了便于描述,附图中所示的各个部分的尺寸并不是按照实际的比例关系绘制的。
本申请提出了一种车辆全景环视方法,可应用于各种车辆。如附图1所示,车辆全景环视方法主要包括步骤S101至S103,详述如下:
步骤S101:设置于车身的六个摄像头分别采集各自可视区域的图像,其中,六个摄像头包括设置于车辆前挡风玻璃靠近上边缘处的第一摄像头、设置于车辆左侧的第二摄像头、设置于车辆右侧的第三摄像头、设置于车辆后挡风玻璃靠近上边缘处的第四摄像头、设置于车辆的车标附近的第五摄像头和设置于车辆的后车牌附近的第六摄像头。
在本申请一个实施例中,设置于车身的六个摄像头在车辆的位置如附图2所示,其中,第一摄像头201设置于车辆前挡风玻璃靠近上边缘处,第二摄像头202和第三摄像头203分别设置于车辆左侧和右侧,第四摄像头204设置于车辆后挡风玻璃靠近上边缘处,第五摄像头205设置于车辆的车标附近,第六摄像头206设置于车辆的后车牌附近;较佳地,第一摄像头201设置于车辆前挡风玻璃靠近上边缘且位于上边缘横向的中心位置,第四摄像头204设置于车辆后挡风玻璃靠近上边缘且位于上边缘横向的中心位置。由于第一摄像头201设置于车辆前挡风玻璃靠近上边缘处,第四摄像头204设置于车辆后挡风玻璃靠近上边缘处,因此,其能够拍摄的车辆左右两侧的范围大大增加,叠加设置于车辆左侧的第二摄像头202和设置于车辆右侧的第三摄像头203,极大地减小了视觉盲区。请继续参阅图2,以下解释本申请的技术方案能够减小视觉盲区的原理。图2的左图是不含第一摄像头201的示例,即车辆前挡风玻璃靠近上边缘处不存在摄像头,仅在车标附近设置了第五摄像头205。对图2的左图进行光路分析可知,由第五摄像头205和第三摄像头203之间构成的视觉盲区为左图的斜线阴影区域。而对在车辆前挡风玻璃靠近上边缘处设置了第一摄像头201的示例(即图2的右图)进行光路分析可知,由第一摄像头201和第三摄像头203之间构成的视觉盲区为右图的格子阴影区域。从图2可以看出,图2中右图的格子阴影区域面积明显小于图2中左图斜线阴影区域面积,因此,明显减小了视觉盲区。图2中右图其他摄像头之间构成的视觉盲区与图2中左图其他摄像头之间构成的视觉盲区的分析对比结果也类似,不做赘述。
在本申请一个实施例中,第一摄像头和/或第四摄像头均为广角摄像头,有限地,其视角范围可以是210度。相对于普通摄像头,广角摄像头能够拍摄到更大的范围。
在本申请另一实施例中,第二摄像头设置于车辆的左后视镜处并与左转向灯控制装置串接,第三摄像头设置于车辆的右后视镜处并与右转向灯控制装置串接。具体而言,可以将第二摄像头和第三摄像头分别设置于车辆的左后视镜处和车辆的右后视镜处,如此,当车辆左转、开启左转向灯时,第二摄像头随着车辆左转,当车辆右转、开启右转向灯时,第三摄像头随着车辆右转。这种摄像头随车左转而左转或随车右转而右转的机制,可以使得车辆在转向时减小视觉盲区或增大拍摄视野。与前述实施例类似,在本申请实施例中,第二摄像头和/或第三摄像头亦可以为广角摄像头。
步骤S102:中央处理器接收六个摄像头采集的图像后,将六个摄像头采集的图像拼接为车辆周围的全景图像。
六个摄像头采集的图像均只是各自可视区域内采集到的图像,而为了驾驶员能够更好地观测车辆周围的状况,六个摄像头在各自可视区域内将同一时刻采集到图像传送至中央处理器。中央处理器接收六个摄像头采集的图像后,将六个摄像头采集的图像拼接为车辆周围的全景图像。
作为本申请一个实施例,中央处理器接收六个摄像头采集的图像后,将六个摄像头采集的图像拼接为车辆周围的全景图像可通过如附图3示例的步骤S301至步骤S303实现,说明如下:
步骤S301:中央处理器接收六个摄像头采集的图像后,对六个摄像头在同一时刻采集的图像进行变换得到鸟瞰图像。
具体地,首先对每个摄像头采集的图像进行摄像头标定和畸变校正分析,分别得到每个摄像头的内参矩阵和畸变系数;然后将每个摄像头的内参矩阵和畸变系数分别用于对其采集的图像进行畸变校正处理,得到去畸变后的图像;最后根据预先建立的鸟瞰图与每个摄像头采集到的图像之间像素映射关系,对该每个摄像头采集的图像进行变换得到对应的鸟瞰图像。
步骤S302:采用图像拼合算法对鸟瞰图像进行拼接配准得到拼接配准后图像。
在本申请实施例中,为了避免拼接后形成的全景图像中同一事物错位或者位置不对应即拼接内容不对应和/或错位,可以采用图像拼合算法对鸟瞰图像进行拼接配准得到拼接配准后图像,具体可以是:从鸟瞰图像中提取多个目标事物特征,调整相关鸟瞰图像的姿态,使得鸟瞰图像之间的多个目标事物特征对准,记录相关的调整矩阵作为鸟瞰图像之间的位置变换矩阵,最后,采用这些位置变换矩阵将相关两幅鸟瞰图像中的一幅变换到另一幅上,依次分别对所有鸟瞰图像进行上述变换,实现鸟瞰图像的配准拼接。
步骤S303:采用图像融合算法消除拼接配准后图像中的拼合缝得到车辆周围的全景图像。
具体地,可以对拼接配准后图像中两幅或多幅鸟瞰图像的重叠区域内的像素,确定相关的每幅鸟瞰图像中该重叠区域像素的权值,该权值为相关的每幅鸟瞰图像中该区域中对应像素的值与其权重的乘积相加得到,实现鸟瞰图像渐进过渡。对于经上述步骤S301至步骤S303之后造成图像存在亮度不一致的情况,还可以根据融合后图像的亮度直方图进行图像亮度处理,保证产生的全景图像亮度均匀。
作为本申请另一实施例,中央处理器接收六个摄像头采集的图像后,将六个摄像头采集的图像拼接为车辆周围的全景图像可通过如附图4示例的步骤S401至步骤S404实现,说明如下:
S401:每次拼接时,从中央处理器接收的图像中选择一幅待校正图像和待校正图像对应的两幅参考图像。
相对于车辆左右两侧的摄像头,由于车辆前后摄像头的视角要好一些,其拍摄的图像相对于车辆左右两侧的摄像头拍摄的图像质量要好一些,因此,在本申请实施例中,可以选择将设置于车辆左侧的第二摄像头或设置于车辆右侧的第三摄像头拍摄的图像作为待校正图像,将设置于车辆前挡风玻璃靠近上边缘处的第一摄像头拍摄的图像和设置于车辆后挡风玻璃靠近上边缘处的第四摄像头拍摄的图像作为待校正图像对应的两幅参考图像。
S402:确定待校正图像的两个拼接重叠区域中待校正图像与对应的参考图像之间的图像特征差值。
具体地,确定待校正图像的两个拼接重叠区域中待校正图像与对应的参考图像之间的图像特征差值可以是:针对每个拼接重叠区域,确定该拼接重叠区域中待校正图像所包含的所有像素点的第一图像特征值平均值;确定该拼接重叠区域中参考图像所包含的所有像素点的第二图像特征值平均值;将第二图像特征值平均值与第一图像特征值平均值之差,确定为该拼接重叠区域中待校正图像与参考图像之间的图像特征差值,其中,图像特征可以是图像的亮度。
S403:根据两个拼接重叠区域中待校正图像与对应的参考图像之间的图像特征差值对待校正图像进行图像特征校正,得到校正后图像。
具体地,根据两个拼接重叠区域中待校正图像与对应的参考图像之间的图像特征差值对待校正图像进行图像特征校正,得到校正后图像可以是:针对待校正图像的任意一个像素点,通过预设公式计算该像素点对应的图像特征校正值,待校正图像每个像素点的图像特征值与对应的图像特征校正值相加,得到校正后图像中每个像素点的图像特征值。
S404:将校正后图像与两幅参考图像拼接,得到车辆周围的全景图像。
具体地,可以按照预设顺序,将一幅校正后图像与两幅参考图像进行平铺拼接,得到车辆周围的全景图像。
步骤S103:车载显示器显示中央处理器拼接的全景图像。
在上述实施例中,虽然能够最大限度地减小视觉盲区,然而,不可能完全消除盲区。因此,在车载显示器显示中央处理器拼接的全景图像之后,上述实施例的方法还包括:实时测量车辆与车辆周围障碍物之间的距离,当车辆与车辆周围障碍物之间的距离小于距离阈值时,变更拼接的全景图像中对应障碍物所在区域的显示颜色,例如,获取障碍物所在区域所有点的距离,通过不同的颜色建立颜色库,将不同的距离的值映射至颜色库的不同颜色;根据全景图像中各点的距离变更全景图像中的颜色。从而提醒驾驶员视觉盲区存在障碍物,应小心驾驶。
从上述附图1示例的车辆全景环视方法可知,由于设置于车身的六个摄像头可以分别采集各自可视区域的图像,尤其是第一摄像头和第四摄像头,由于其设置于车辆前后挡风玻璃靠近上边缘处,位置比较高,因此能够最大限度地拍摄到车身周围景象,减小视觉盲区,中央处理器接收四个像头采集的图像后,将采集的图像拼接为车辆周围的全景图像并通过车载显示器显示给驾驶人员,能够让驾驶人员观察到车辆周边最大范围,提升了驾驶、尤其是倒车时的安全度。
请参阅附图5,是本申请实施例提供的一种车辆全景环视系统,可以包括中央处理器501、车载显示器502和设置于车身的六个摄像头503,详述如下:
设置于车身的六个摄像头503,用于分别采集各自可视区域的图像,其中,六个摄像头包括设置于车辆前挡风玻璃靠近上边缘处的第一摄像头、设置于车辆左侧的第二摄像头、设置于车辆右侧的第三摄像头、设置于车辆后挡风玻璃靠近上边缘处的第四摄像头、设置于车辆的车标附近的第五摄像头和设置于车辆的后车牌附近的第六摄像头;
中央处理器501,用于接收六个像头采集的图像后,将采集的图像拼接为车辆周围的全景图像;
车载显示器502,用于显示中央处理器501拼接的全景图像。
可选地,附图5示例的系统中,第一摄像头和/或第四摄像头为广角摄像头。
可选地,附图5示例的系统中,第二摄像头设置于车辆的左后视镜处并与左转向灯控制装置串接,第三摄像头设置于车辆的右后视镜处并与右转向灯控制装置串接。
可选地,附图5示例的中央处理器501可以包括变换单元、拼接配准单元和拼合缝消除单元,其中:
变换单元,用于中央处理器接收六个像头采集的图像后,对至少六个摄像头在同一时刻采集的图像进行变换得到鸟瞰图像;
拼接配准单元,用于采用图像拼合算法对鸟瞰图像进行拼接配准得到拼接配准后图像;
拼合缝消除单元,采用图像融合算法消除拼接配准后图像中的拼合缝得到全景图像。
可选地,附图5示例的中央处理器501可以包括选择单元、差异值确定单元、校正单元和拼接单元,其中:
选择单元,用于每次拼接时,从中央处理器接收的图像中选择一幅待校正图像和待校正图像对应的两幅参考图像;
差异值确定单元,用于确定待校正图像的两个拼接重叠区域中待校正图像与对应的参考图像之间的图像特征差值;
校正单元,用于根据图像特征差值对待校正图像进行图像特征校正,得到校正后图像;
拼接单元,用于将校正后图像与两幅参考图像拼接,得到车辆周围的全景图像。
可选地,附图5示例的系统可以包括测距模块和颜色变更模块,其中:
测距模块,用于实时测量车辆与车辆周围障碍物之间的距离;
颜色变更模块,用于当车辆与车辆周围障碍物之间的距离小于距离阈值时,变更全景图像中对应障碍物所在区域的显示颜色
从以上技术方案的描述中可知,由于设置于车身的六个摄像头可以分别采集各自可视区域的图像,尤其是第一摄像头和第四摄像头,由于其设置于车辆前后挡风玻璃靠近上边缘处,位置比较高,因此能够最大限度地拍摄到车身周围景象,减小视觉盲区,中央处理器接收六个像头采集的图像后,将采集的图像拼接为车辆周围的全景图像并通过车载显示器显示给驾驶人员,能够让驾驶人员观察到车辆周边最大范围,提升了驾驶、尤其是倒车时的安全度。
图6是本申请一实施例提供的设备的结构示意图。如图6所示,该实施例的设备6主要包括:处理器60、存储器61以及存储在存储器61中并可在处理器60上运行的计算机程序62,例如车辆全景环视方法的程序。处理器60执行计算机程序62时实现上述车辆全景环视方法实施例中的步骤,例如图1所示的步骤S101至S103。或者,处理器60执行计算机程序62时实现上述各装置实施例中各模块/单元的功能,例如图5所示中央处理器501、车载显示器502和设置于车身的四个摄像头503的功能。
示例性地,车辆全景环视方法的计算机程序62主要包括:设置于车身的六个摄像头分别采集各自可视区域的图像;中央处理器接收六个摄像头采集的图像后,将六个摄像头采集的图像拼接为车辆周围的全景图像;显示中央处理器拼接的全景图像,其中,六个摄像头包括设置于车辆前挡风玻璃靠近上边缘处的第一摄像头、设置于车辆左侧的第二摄像头、设置于车辆右侧的第三摄像头、设置于车辆后挡风玻璃靠近上边缘处的第四摄像头、设置于车辆的车标附近的第五摄像头和设置于车辆的后车牌附近的第六摄像头。计算机程序62可以被分割成一个或多个模块/单元,一个或者多个模块/单元被存储在存储器61中,并由处理器60执行,以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序62在设备6中的执行过程。例如,计算机程序62可以被分割成中央处理器501、车载显示器502和设置于车身的四个摄像头503的功能,各模块具体功能如下:设置于车身的六个摄像头503,用于分别采集各自可视区域的图像,其中,六个摄像头包括设置于车辆前挡风玻璃靠近上边缘处的第一摄像头、设置于车辆左侧的第二摄像头、设置于车辆右侧的第三摄像头、设置于车辆后挡风玻璃靠近上边缘处的第四摄像头、设置于车辆的车标附近的第五摄像头和设置于车辆的后车牌附近的第六摄像头;中央处理器501,用于接收六个摄像头采集的图像后,将六个摄像头采集的图像拼接为车辆周围的全景图像;车载显示器502,用于显示中央处理器501拼接的全景图像。
设备6可包括但不仅限于处理器60、存储器61。本领域技术人员可以理解,图6仅仅是设备6的示例,并不构成对设备6的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如计算设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器60可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器61可以是设备6的内部存储单元,例如设备6的硬盘或内存。存储器61也可以是设备6的外部存储设备,例如设备6上配备的插接式硬盘,智能存储卡(Smart MediaCard,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,存储器61还可以既包括设备6的内部存储单元也包括外部存储设备。存储器61用于存储计算机程序以及设备所需的其他程序和数据。存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即,将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述装置中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/设备实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个装置,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个非临时性计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,车辆全景环视方法的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤,即,设置于车身的六个摄像头分别采集各自可视区域的图像;中央处理器接收六个摄像头采集的图像后,将六个摄像头采集的图像拼接为车辆周围的全景图像;显示中央处理器拼接的全景图像,其中,六个摄像头包括设置于车辆前挡风玻璃靠近上边缘处的第一摄像头、设置于车辆左侧的第二摄像头、设置于车辆右侧的第三摄像头、设置于车辆后挡风玻璃靠近上边缘处的第四摄像头、设置于车辆的车标附近的第五摄像头和设置于车辆的后车牌附近的第六摄像头。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。非临时性计算机可读介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读内存(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,非临时性计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,非临时性计算机可读介质不包括电载波信号和电信信号。以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。以上所述的具体实施方式,对本申请的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本申请的具体实施方式而已,并不用于限定本申请的保护范围,凡在本申请的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (7)
1.一种车辆全景环视方法,其特征在于,所述方法包括:
设置于车身的六个摄像头分别采集各自可视区域的图像,所述六个摄像头包括设置于车辆前挡风玻璃靠近上边缘处的第一摄像头、设置于所述车辆左侧的第二摄像头、设置于所述车辆右侧的第三摄像头、设置于所述车辆后挡风玻璃靠近上边缘处的第四摄像头、设置于所述车辆的车标附近的第五摄像头和设置于所述车辆的后车牌附近的第六摄像头;
中央处理器接收所述六个摄像头采集的图像后,对所述六个摄像头在同一时刻采集的图像进行变换得到鸟瞰图像;
从鸟瞰图像中提取多个目标事物特征,调整相关鸟瞰图像的姿态,使得鸟瞰图像之间的多个目标事物特征对准,记录相关的调整矩阵作为鸟瞰图像之间的位置变换矩阵,采用所述位置变换矩阵将相关两幅鸟瞰图像中的一幅变换到另一幅上,依次分别对所有鸟瞰图像进行上述变换,得到拼接配准后图像;
采用图像融合算法消除所述拼接配准后图像中的拼合缝得到全景图像;
车载显示器显示所述中央处理器拼接的全景图像;
所述中央处理器接收所述六个摄像头采集的图像后,将所述采集的图像拼接为车辆周围的全景图像,包括:
每次拼接时,从所述中央处理器接收的图像中选择一幅待校正图像和所述待校正图像对应的两幅参考图像;
确定所述待校正图像的两个拼接重叠区域中所述待校正图像与对应的参考图像之间的图像特征差值;
根据所述图像特征差值对所述待校正图像进行图像特征校正,得到校正后图像;
将所述校正后图像与所述两幅参考图像拼接,得到所述车辆周围的全景图像。
2.如权利要求1所述车辆全景环视方法,其特征在于,所述第一摄像头和/或第四摄像头为广角摄像头。
3.如权利要求1所述车辆全景环视方法,其特征在于,所述第二摄像头设置于所述车辆的左后视镜处并与左转向灯控制装置串接,所述第三摄像头设置于所述车辆的右后视镜处并与右转向灯控制装置串接。
4.如权利要求1至3任意一项所述车辆全景环视方法,其特征在于,所述车载显示器显示所述中央处理器拼接的全景图像之后,所述方法还包括:
实时测量所述车辆与所述车辆周围障碍物之间的距离;
当所述距离小于距离阈值时,变更所述全景图像中对应所述障碍物所在区域的显示颜色。
5.一种车辆全景环视系统,其特征在于,所述系统包括中央处理器、车载显示器和设置于车身的六个摄像头;
所述设置于车身的六个摄像头,用于分别采集各自可视区域的图像,所述六个摄像头包括设置于车辆前挡风玻璃靠近上边缘处的第一摄像头、设置于所述车辆左侧的第二摄像头、设置于所述车辆右侧的第三摄像头、设置于所述车辆后挡风玻璃靠近上边缘处的第四摄像头、设置于所述车辆的车标附近的第五摄像头和设置于所述车辆的后车牌附近的第六摄像头;
所述中央处理器,用于接收所述六个摄像头采集的图像后,对所述六个摄像头在同一时刻采集的图像进行变换得到鸟瞰图像;
从鸟瞰图像中提取多个目标事物特征,调整相关鸟瞰图像的姿态,使得鸟瞰图像之间的多个目标事物特征对准,记录相关的调整矩阵作为鸟瞰图像之间的位置变换矩阵,采用所述位置变换矩阵将相关两幅鸟瞰图像中的一幅变换到另一幅上,依次分别对所有鸟瞰图像进行上述变换,得到拼接配准后图像;
采用图像融合算法消除所述拼接配准后图像中的拼合缝得到全景图像;
所述车载显示器,用于显示所述中央处理器拼接的全景图像;
所述中央处理器接收所述六个摄像头采集的图像后,将所述采集的图像拼接为车辆周围的全景图像,包括:
每次拼接时,从所述中央处理器接收的图像中选择一幅待校正图像和所述待校正图像对应的两幅参考图像;
确定所述待校正图像的两个拼接重叠区域中所述待校正图像与对应的参考图像之间的图像特征差值;
根据所述图像特征差值对所述待校正图像进行图像特征校正,得到校正后图像;
将所述校正后图像与所述两幅参考图像拼接,得到所述车辆周围的全景图像。
6.一种汽车设备,所述设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至4任意一项所述方法的步骤。
7.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110172091.7A CN113002531B (zh) | 2021-02-08 | 2021-02-08 | 车辆全景环视方法、系统、设备和计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110172091.7A CN113002531B (zh) | 2021-02-08 | 2021-02-08 | 车辆全景环视方法、系统、设备和计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113002531A CN113002531A (zh) | 2021-06-22 |
CN113002531B true CN113002531B (zh) | 2022-09-30 |
Family
ID=76383863
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110172091.7A Active CN113002531B (zh) | 2021-02-08 | 2021-02-08 | 车辆全景环视方法、系统、设备和计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113002531B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113538594B (zh) * | 2021-06-30 | 2022-04-22 | 东风汽车集团股份有限公司 | 基于方向传感器的车载摄像头标定方法 |
CN113938647B (zh) * | 2021-09-13 | 2023-06-02 | 杭州大杰智能传动科技有限公司 | 用于智慧工地的智能塔吊作业全景监控还原方法和系统 |
CN115619958B (zh) * | 2022-12-16 | 2023-04-07 | 小米汽车科技有限公司 | 目标鸟瞰图的生成方法、装置、电子设备及存储介质 |
CN118644563A (zh) * | 2023-03-08 | 2024-09-13 | 法雷奥汽车内部控制(深圳)有限公司 | 生成环视图像的方法、设备、系统、计算机程序产品以及机动车辆 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7095905B1 (en) * | 2000-09-08 | 2006-08-22 | Adobe Systems Incorporated | Merging images to form a panoramic image |
EP2733937A4 (en) * | 2011-07-12 | 2015-05-20 | Nissan Motor | VEHICLE MONITORING DEVICE, VEHICLE MONITORING SYSTEM, END TERMINAL AND VEHICLE MONITORING PROCEDURE |
CN203996009U (zh) * | 2014-06-27 | 2014-12-10 | 北京汽车股份有限公司 | 一种车载摄像系统及汽车 |
CN106080390A (zh) * | 2016-06-07 | 2016-11-09 | 深圳市灵动飞扬科技有限公司 | 车辆行进全景系统及其方法 |
CN207274542U (zh) * | 2017-05-08 | 2018-04-27 | 常熟理工学院 | 一种车辆盲区避险警示与监控装置 |
CN208036108U (zh) * | 2018-04-13 | 2018-11-02 | 华域视觉科技(上海)有限公司 | 一种汽车a柱显示系统 |
CN108621948A (zh) * | 2018-06-26 | 2018-10-09 | 杭州车厘子智能科技有限公司 | 车辆全景环视系统及全景环视图像生成方法 |
CN111179168B (zh) * | 2019-12-12 | 2023-11-17 | 河南嘉晨智能控制股份有限公司 | 一种车载360度全景环视监控系统及方法 |
-
2021
- 2021-02-08 CN CN202110172091.7A patent/CN113002531B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN113002531A (zh) | 2021-06-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113002531B (zh) | 车辆全景环视方法、系统、设备和计算机可读存储介质 | |
US11220216B2 (en) | Vehicle-trailer rearview vision system and method | |
US11553153B2 (en) | Display system and method | |
US11661006B2 (en) | Vehicular trailering assist system | |
CN112224132A (zh) | 一种车用全景环视障碍物预警方法 | |
WO2017037266A1 (en) | Display system and method | |
US20180012374A1 (en) | Image capturing device and method, program, and record medium | |
GB2529408A (en) | Display system and method | |
US20220118910A1 (en) | Imaging system and method | |
CN116823693A (zh) | 拖车视图成像方法、装置、设备及存储介质 | |
US11377027B2 (en) | Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method | |
CN116051379A (zh) | Avm图像融合方法及装置、车辆、可读存储介质 | |
CN116101174A (zh) | 车辆的碰撞提醒方法、装置、车辆及存储介质 | |
EP4140814A1 (en) | Method for harmonizing images acquired from non overlapping camera views | |
CN108566507A (zh) | 一种全天候adas专用前视摄像机平台 | |
CN205737221U (zh) | 一种车载摄像装置及车辆 | |
WO2019064126A1 (en) | SYSTEM AND METHOD FOR PARALLEL PARKING ASSISTANCE USING ORTHOGONAL PROJECTION | |
JP2016136326A (ja) | 情報表示装置および情報表示方法 | |
CN112744159B (zh) | 车辆及其后视显示装置以及后视显示装置的控制方法 | |
US10967792B1 (en) | Apparatus for monitoring periphery of a vehicle and displaying a view of the periphery on a display device | |
KR102564134B1 (ko) | 이미지 처리 방법 | |
CN216467585U (zh) | 一种无盲区的360度环视影像装置 | |
CN116513049A (zh) | 一种电子外后视镜视野显示调节方法 | |
CN117808674A (zh) | 车载环视系统图像处理方法、装置、电子设备及车辆 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |