CN112172670B - 基于图像识别的后视图像显示方法及装置 - Google Patents

基于图像识别的后视图像显示方法及装置 Download PDF

Info

Publication number
CN112172670B
CN112172670B CN202011119738.1A CN202011119738A CN112172670B CN 112172670 B CN112172670 B CN 112172670B CN 202011119738 A CN202011119738 A CN 202011119738A CN 112172670 B CN112172670 B CN 112172670B
Authority
CN
China
Prior art keywords
image
commercial vehicle
display
relative
area picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011119738.1A
Other languages
English (en)
Other versions
CN112172670A (zh
Inventor
刘柏林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ULTRONIX PRODUCTS Ltd
Original Assignee
ULTRONIX PRODUCTS Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ULTRONIX PRODUCTS Ltd filed Critical ULTRONIX PRODUCTS Ltd
Priority to CN202011119738.1A priority Critical patent/CN112172670B/zh
Publication of CN112172670A publication Critical patent/CN112172670A/zh
Application granted granted Critical
Publication of CN112172670B publication Critical patent/CN112172670B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views

Abstract

本申请实施例公开了一种基于图像识别的后视图像显示方法及装置;所述方法包括:获取后视镜摄像头采集的图像,得到第一图像;确定所述物体与商用车之间的相对位置;根据所述物体与商用车的相对位置关系,判断冲突概率,得到关键物体;基于关键物体的截图图像生成关键区域画面,基于所述第一图像生成整体区域画面;将所述整体区域画面和关键区域画面分别显示于显示器的第一显示区域和第二显示区域;本申请实施例通过摄像头获取图像,避免驾驶车辆时产生视野盲区,可以清楚全面地观察到车侧后方的情况;通过获取图像中的物体信息,清楚地了解到视野盲区内交通工具的相对位置,避免发生冲突,进而提高车辆驾驶的安全性,避免安全隐患的产生。

Description

基于图像识别的后视图像显示方法及装置
技术领域
本申请实施例涉及车辆技术领域,尤其涉及一种基于图像识别的后视图像显示方法及装置。
背景技术
汽车后视野直接关系着汽车驾驶安全,它是汽车安全性检测的一项重要指标。对于商用车,尤其是大型商用车,通常采用物理后视镜对车辆周围的情况进行反射显示,供驾驶员作为驾驶操作的参考。但是受限于物理后视镜的视野,驾驶员在驾驶过程中可能会因为后视镜中对车辆周围的视野盲区,无法清楚全面地观察到车侧后方的情况,因此在驾驶过程中驾驶员无法清楚地观察到视野盲区内是否有交通工具,也无法了解到视野盲区内交通工具是否会对本车辆产生冲突,无法对此作出驾驶操作,从而在车辆转向的过程中存在安全隐患。
发明内容
本申请实施例提供一种基于图像识别的后视图像显示方法及装置,以解决现有技术中车辆驾驶过程中存在视野盲区,无法清楚地了解到视野盲区内交通工具是否会对本车辆产生冲突,造成安全隐患的问题。
在第一方面,本申请实施例提供了一种基于图像识别的后视图像显示方法,包括:
获取后视镜摄像头采集的图像,得到第一图像,所述后视镜摄像头朝向商用车的后方;
对所述第一图像进行识别,获取所述第一图像中的物体,并确定所述物体与商用车之间的相对位置;根据所述物体与商用车的相对位置关系,判断冲突概率;筛选出冲突概率最大的物体,得到关键物体;
基于关键物体的截图图像生成关键区域画面,基于所述第一图像生成整体区域画面,所述整体区域画面对应于所述商用车侧后方远景画面;
将所述整体区域画面和关键区域画面分别显示于显示器的第一显示区域和第二显示区域,所述显示器设置于所述商用车的内部。
进一步的,所述基于所述第一图像生成整体区域画面和关键区域画面,包括:
根据所述相对参数,判断商用车与所述物体的冲突概率;
筛选最大的冲突概率对应的第一物体,将截图区域移动到覆盖第一图像中的第一物体,从所述第一图像生成关键区域画面。
进一步的,所述根据所述物体与商用车的相对位置关系,判断冲突概率,包括:
根据所述相对位置确定所述物体的相对参数;
根据所述相对参数,判断商用车与所述物体的冲突概率。
进一步的,所述将所述整体区域画面和关键区域画面分别显示于显示器的第一显示区域和第二显示区域之后还包括:
接收移动指令,对所述整体区域画面和关键区域画面于显示器上显示的区域进行移动;所述移动指令包括:上下方向和左右方向的平移动作;每次所述平移动作的移动范围在移动设定像素以上。
进一步的,所述根据所述相对参数,判断商用车与所述物体的冲突概率,包括:
结合所述物体与商用车之间的相对距离、相对速度和相对角度,判断商用车与所述物体的冲突概率;其中,所述相对参数包括相对距离、相对速度和相对角度。
进一步的,所述将所述整体区域画面和关键区域画面分别显示于显示器的第一显示区域和第二显示区域之前,还包括:
将所述整体区域画面和关键区域画面适应于所述显示器屏幕的分辨率进行分辨率调整。
进一步的,所述获取后视摄像头采集的图像,得到第一图像,具体为:
获取后视镜摄像头采集的图像,对所述图像进行进行镜像处理得到第一图像。
进一步的,所述基于关键物体的截图图像生成关键区域画面,包括:
基于关键物体的截图图像生成初始关键区域画面;
对所述初始关键区域画面进行镜像处理得到关键区域画面。
在第二方面,本申请实施例提供了一种基于图像识别的后视图像显示装置,包括:
图像获取模块,用于获取后视镜摄像头采集的图像,得到第一图像,所述后视镜摄像头朝向商用车的后方;
图像识别处理模块,用于对所述第一图像进行识别,获取所述第一图像中的物体,并确定所述物体与商用车之间的相对位置;根据所述物体与商用车的相对位置关系,判断冲突概率;筛选出冲突概率最大的物体,得到关键物体;
图像生成模块,用于基于关键物体的截图图像生成关键区域画面,基于所述第一图像生成整体区域画面,所述整体区域画面对应于所述商用车侧后方远景画面;
图像显示模块,用于将所述整体区域画面和关键区域画面分别显示于显示器的第一显示区域和第二显示区域,所述显示器设置于所述商用车的内部。
进一步的,所述图像生成模块包括参数确定单元和概率判断单元,所述参数确定单元用于根据所述相对位置确定所述物体的相对参数;所述概率判断单元用于根据所述相对参数,判断商用车与所述物体的冲突概率。
进一步的,还包括指令控制模块,所述指令控制模块用于接收移动指令,对所述整体区域画面和关键区域画面于显示器上显示的区域进行移动;所述移动指令包括:上下方向和左右方向的平移动作;每次所述平移动作的移动范围在移动设定像素以上。
进一步的,所述概率判断单元还用于结合所述物体与商用车之间的相对距离、相对速度和相对角度,判断商用车与所述物体的冲突概率;其中,所述相对参数包括相对距离、相对速度和相对角度。
进一步的,所述图像显示模块还用于将所述整体区域画面和关键区域画面适应于所述显示器屏幕的分辨率进行分辨率调整。
进一步的,还包括镜像处理模块,所述镜像处理模块用于获取后视镜摄像头采集的图像,对所述图像进行进行镜像处理得到第一图像。
进一步的,所述镜像处理模块还用于基于关键物体的截图图像生成初始关键区域画面;对所述初始关键区域画面进行镜像处理得到关键区域画面。
在第三方面,本申请实施例提供了一种电子设备,包括存储器以及一个或多个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的基于图像识别的后视图像显示方法。
在第四方面,本申请实施例提供了一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的基于图像识别的后视图像显示方法。
本申请实施例通过在后视镜设置摄像头并获取摄像头采集的图像,对采集的图像生成车侧后方远景画面,并显示在显示器上;通过对采集的图像进行识别处理,获取到图像中的物体的相对位置,并根据相对位置判断物体与本车辆的冲突概率,将冲突概率最大的物体显示在显示器上;其中,通过摄像头获取图像,避免驾驶员驾驶车辆时产生视野盲区,同时通过车侧后方远景画面和可能产生冲突的物体的结合显示,可以清楚全面地观察到车侧后方的情况;通过获取图像中的物体信息,清楚地了解到视野盲区内交通工具的相对位置,避免发生冲突,进而提高车辆驾驶的安全性,避免安全隐患的产生。
附图说明
图1是本申请实施例提供的一种基于图像识别的后视图像显示方法的流程图;
图2是摄像头以及对应的摄像采集范围的示意图;
图3是摄像头采集区域的最大冲突概率对应的物体114的示意图;
图4是本申请实施例提供的另一种基于图像识别的后视图像显示方法的流程图;
图5是以第一图像为二维坐标系的示意图;
图6是物体114在第一图像的二维坐标系的示意图;
图7是截图范围移动到物体114的区域在第一图像为二维坐标系的示意图;
图8是本申请实施例提供的另一种基于图像识别的后视图像显示方法的流程图;
图9是本申请实施例提供的一种基于图像识别的后视图像显示装置的结构示意图;
图10是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的基于图像识别的后视图像显示的方法通过在后视镜设置摄像头并获取摄像头采集的图像,对采集的图像生成车侧后方远景画面和近景画面,并显示在显示器上;通过对采集的图像进行识别处理,获取到图像中的物体的相对位置和参数,并显示在显示器上;其中,通过摄像头获取图像,避免驾驶员驾驶车辆时产生视野盲区,同时通过车侧后方远景画面和近景画面的结合显示,可以清楚全面地观察到车侧后方的情况;通过获取图像中的物体信息,清楚地了解到视野盲区内交通工具的相对位置和参数的情况,进而提高车辆驾驶的安全性,避免安全隐患的产生。而为了观察车辆转向时的视野,目前大多数的做法是仅仅通过后视镜对车后方的视野进行反射显示,这种方式会因为后视镜的反射范围有效,视野范围较小,没有办法更好地观察到视野盲区;另外,简单地在后视镜或者车辆的其他位置设置摄像头,虽然能够增强视野范围,但商用车的后侧方的物体距离商用车的距离远近都无差别地均被摄像头采集,无法从摄像头采集的图像得知物体与本车辆的冲突概率,当物体与本车辆存在冲突风险时,驾驶员无法获得对应物体的图像和位置参数信息,从而无法更好地做出驾驶操作,容易造成安全隐患。基于此,提供本申请实施例的基于图像识别的后视图像显示方法,来避免车辆驾驶过程中存在视野盲区,无法清楚地观察到视野盲区内交通工具的位置和参数的情况,造成安全隐患的问题。
实施例中提供的基于图像识别的后视图像显示方法可以由基于图像识别的后视图像显示装置执行,该基于图像识别的后视图像显示装置可以通过软件和/或硬件的方式实现,并集成在基于图像识别的后视图像显示设备中。其中,基于图像识别的后视图像显示设备可以是计算机等设备。
图1为本申请实施例提供的一种基于图像识别的后视图像显示方法的流程图。参考图1,该题目入库方法具体包括:
步骤110、获取后视镜摄像头采集的图像,得到第一图像,所述后视镜摄像头朝向商用车的后方。
具体的,在后视镜设置摄像头,其中,后视镜摄像头朝向商用车的后方,摄像头采集图像的方向与后视镜的反射视野的方向相同。其中,对摄像头与后视镜的相对位置不作限定。其中,基于摄像头采集的视野图像信息为摄像头角度内的车辆后方及车辆侧方的图像信息。以图2为例,是车头111后视镜设置摄像头以及摄像头对应的摄像采集范围。可以理解的是,实施例中对待显示图像的获取方式不作限定。
进一步的,实施例中获取的后视镜摄像头采集的图像,包括左后视镜摄像头采集的图像和右摄像头采集的图像,作为第一图像。
步骤120、对所述第一图像进行识别,获取所述第一图像中的物体,并确定所述物体与商用车之间的相对位置;根据所述物体与商用车的相对位置关系,判断冲突概率;筛选出冲突概率最大的物体,得到关键物体。
获取到摄像头采集的第一图像,对第一图像进行图像识别和特征提取,根据特征提取出第一图像中包含的物体,包括交通工具、障碍物、路标等。可选的,对于图像进行识别和特征提取的方式有多种;可以理解的,这里对图像识别和特征提取的方式不作限定。其中,根据第一图像中的物体的特征,确定物体与商用车直接的相对位置。其中,第一图像包括连续多帧图像,根据多帧图像中物体位置的变化,确定出物体与商用车的相对位置;实现对摄像头视野范围内的物体的相对位置的获取,使得驾驶员清楚地了解到视野盲区内交通工具的相对位置的情况,进而提高车辆驾驶的安全性,避免安全隐患的产生。
具体的,通过商用车与物体的相对位置计算出冲突概率,可以理解的,从中筛选出与商用车的冲突概率最大的物体;因此,根据筛选最大的冲突概率对应的关键物体,可以使驾驶员得知与本车辆冲突概率最大的物体的位置情况,以便及时做出驾驶操作,避免安全隐患。
步骤130、基于关键物体的截图图像生成关键区域画面,基于所述第一图像生成整体区域画面,所述整体区域画面对应于所述商用车侧后方远景画面。
示例性的,在摄像头采集的第一图像中获取整体区域画面,可选的,整体区域画面为摄像头拍摄的整个视野范围内的图像画面。其中,关键区域画面可以根据用户指令进行选取,可选的,用户可以通过键控、触控或者是相关联的应用程序发出选取指令;关键区域画面还可以是由该基于图像识别的后视图像显示装置自行截取。其中,对关键物体进行截图获得的图像作为关键区域画面,实现获取与本车辆冲突概率最大的关键物体的,以便做出对应的驾驶操作来避免安全隐患,增强驾驶的安全性。
步骤140、将所述整体区域画面和关键区域画面分别显示于显示器的第一显示区域和第二显示区域,所述显示器设置于所述商用车的内部。
具体的,对关键物体进行截图获得关键区域画面并显示在显示器屏幕上,摄像头的关键区域画面为与商用车冲突概率最大的物体,可以理解的是,如果关键区域画面在第一图像即摄像头采集的截取的区域保持不变,那么商用车的后侧方的物体都无差别地显示在显示器屏幕上,无法从关键区域图像或整体区域图像得到可以能与本商用车发生冲突的物体的图像,当存在可能与商用车发生冲突的物体时,驾驶员无法获得物体的图像从而无法更好地做出驾驶操作,容易造成安全隐患。可以理解的是,关键区域画面的截取区域为与商用车冲突概率最大的物体,结合整体区域画面保证视野的全面性和灵活性。关键区域画面和整体区域画面显示在显示屏上,关键区域画面的视野范围发生变化,可以根据对关键区域画面和整体区域画面的结合和对比判断车后方的视野情况,增强行车的安全性。
具体的,将所述整体区域画面和关键区域画面分别显示于显示器的第一显示区域和第二显示区域,需要先分别对整体区域画面和关键区域画面进行预处理,从而使得整体区域画面和关键区域画面适应显示器的屏幕,得以在显示器的屏幕进行显示。进一步地,对整体区域画面和关键区域画面的预处理可以是对图像进行大小、角度、规格等的处理。
示例性的,将整体区域画面和关键区域画面显示在显示屏上。可选的,显示屏可以是屏幕为横屏的显示器,将整体区域画面和关键区域画面参数分别显示在第一显示区域和第二显示区域,即将整体区域画面和关键区域画面分别显示在左显示区域和右显示区域。可选的,显示屏也可以是屏幕为竖屏的显示器,将整体区域画面和关键区域画面分别显示在第一显示区域和第二显示区域,即将整体区域画面和关键区域画面分别显示在上显示区域和下显示区域。可选的,第一显示区域和第二显示区域分别占用显示器屏幕的面积可以根据驾驶员的指令进行调整,根据驾驶员的视野和习惯来调节第一显示区域和第二显示区域的面积大小,以实现更好的观察到图像和获取雷达检测数据。其中,本实施例采用的显示器为横屏的显示器,将整体区域画面和关键区域画面进行处理以适应横屏的显示器,以显示在显示器的横屏屏幕的左显示区域和右间显示区域。
示例性的,显示器设置于商用车的内部,进一步的,显示器设置于商用车驾驶座上方区域。可选的,整体区域画面和关键区域画面可以通过USB设备发送到显示器进行显示,或者是显示器通过通信装置获取网络服务器或其他设备上的整体区域画面和关键区域画面进行显示。
以上步骤并不是严格按照编号描述的顺序依次执行,其应作为一个整体方案进行理解。
在上述实施例的基础上,图4给出了本申请实施例提供的另一种基于图像识别的后视图像显示方法的流程图。该基于图像识别的后视图像显示方法是对上述基于图像识别的后视图像显示方法的具体化。参考图4,该基于图像识别的后视图像显示方法包括:
步骤210、获取后视镜摄像头采集的图像,对所述图像进行进行镜像处理得到第一图像。
具体的,获取后视镜摄像头采集的图像,其中,后视镜摄像头采集的图像的视野是基于车头进行拍摄采集的,可以理解的是,为了使得显示在显示器屏幕的图像的视野方向与车辆内驾驶员的视野范围保持一致,需要对图像进行镜像处理;其中,对后视镜摄像头采集的图像进行镜像处理后得到第一图像。
其中,后视镜摄像头采集的第一图像的视野是基于车头进行拍摄采集的,从第一图像截取到的初始关键区域画面的视野与第一图像的视野相同,可以理解的是,为了使得显示在显示器屏幕的初始关键区域画面的视野方向与车辆内驾驶员的视野范围保持一致,需要对初始关键区域画面进行镜像处理,得到关键区域画面。
示例性的,从第一图像截取到的初始整体区域画面的视野与第一图像的视野相同,可以理解的是,为了使得显示在显示器屏幕的初始整体区域画面的视野方向与车辆内驾驶员的视野范围保持一致,需要对初始整体区域画面进行镜像处理,得到整体区域画面。
步骤220、根据所述相对位置确定所述物体的相对参数。
具体的,第一图像包括连续多帧图像,根据多帧图像中物体位置的变化,确定出物体与商用车的相对参数,包括物体与商用车的相对角度、相对距离和相对速度;实现对摄像头视野范围内的物体的相对位置、相对角度、相对距离和相对速度的获取。
步骤230、根据所述相对参数,判断商用车与所述物体的冲突概率。
具体的,相对参数包括多种参数,可选的,相对参数包括商用车与物体的相对角度、相对速度和相对距离等。通过相对角度、相对速度和相对距离的结合来计算判断对商用车与物体的冲突概率,可选的,基于相对角度、相对速度和相对距离的结合来计算判断对商用车与物体的冲突概率的方法有多种;其中,本实施例通过结合商用车与物体的相对角度、相对速度和相对距离来预测商用车与物体的相对运动,从而分析出冲突概率;可选的,若商用车与物体的相对角度为零度,即商用车与物体直接的运行轨迹是平行的,若商用车运行轨迹保持不变,则不存在冲突,即冲突概率为零;若商用车的运行轨迹即将改变,判断运行轨迹是否会与物体的运行轨迹有冲突,如果有,则可以根据相对速度和相对距离来分析冲突概率,若是相对速度为零,根据相对距离来推算冲突概率,距离越近,冲突概率越大;若是相对速度不为零,则根据相对距离和相对速度算商用车与物体冲突的时间,时间越小,则冲突概率越大;可以理解的是,上述冲突概率的计算判断方法为其中一种实施例,对基于相对角度、相对速度和相对距离的结合来计算判断对商用车与物体的冲突概率的其他多种方法不作列举。
具体的,通过商用车与物体的相对参数计算出冲突概率,可以理解的,从中筛选出与商用车的冲突概率最大的物体,并将该物体的图像显示在显示器屏幕上;具体的,对第一物体所在的图像区域进行截图,生成关键区域画面,并将关键区域画面显示在显示器屏幕上,则驾驶员通过显示器屏幕上的图像可以观察到与本商用车冲突概率最大的物体,以便做出对应的驾驶操作来避免安全隐患,增强驾驶的安全性。
因此,根据筛选最大的冲突概率对应的第一物体,对第一物体所在的图像区域进行截图,生成关键区域画面;可以理解的是,如果仅仅在显示屏上显示整体区域画面,那么商用车的后侧方的物体都无差别地显示在显示器屏幕上,无法从关键区域图像或整体区域图像得到可以能与本商用车发生冲突的物体的图像,当存在可能与商用车发生冲突的物体时,驾驶员无法获得物体的图像从而无法更好地做出驾驶操作,容易造成安全隐患。可以理解的是,关键区域画面的截取区域为商用车冲突概率最大的物体,结合整体区域画面保证视野的全面性和灵活性。关键区域画面和整体区域画面显示在显示屏上,关键区域画面的视野范围发生变化,可以根据对关键区域画面和整体区域画面的结合和对比判断车后方的视野情况,增强行车的安全性。
在上述实施例的基础上,图8给出了本申请实施例提供的另一种基于图像识别的后视图像显示方法的流程图。该基于图像识别的后视图像显示方法是对上述基于图像识别的后视图像显示方法的具体化。参考图8,该基于图像识别的后视图像显示方法包括:
步骤310、结合所述物体与商用车之间的相对距离、相对速度和相对角度,判断商用车与所述物体的冲突概率;其中,所述相对参数包括相对距离、相对速度和相对角度。
具体的,相对参数包括多种参数,可选的,相对参数包括商用车与物体的相对角度、相对速度和相对距离等。通过相对角度、相对速度和相对距离的结合来计算判断对商用车与物体的冲突概率,可选的,基于相对角度、相对速度和相对距离的结合来计算判断对商用车与物体的冲突概率的方法有多种;其中,本实施例通过结合商用车与物体的相对角度、相对速度和相对距离来预测商用车与物体的相对运动,从而分析出冲突概率;可选的,若商用车与物体的相对角度为零度,即商用车与物体直接的运行轨迹是平行的,若商用车运行轨迹保持不变,则不存在冲突,即冲突概率为零;若商用车的运行轨迹即将改变,判断运行轨迹是否会与物体的运行轨迹有冲突,如果有,则可以根据相对速度和相对距离来分析冲突概率,若是相对速度为零,根据相对距离来推算冲突概率,距离越近,冲突概率越大;若是相对速度不为零,则根据相对距离和相对速度算商用车与物体冲突的时间,时间越小,则冲突概率越大;可以理解的是,上述冲突概率的计算判断方法为其中一种实施例,对基于相对角度、相对速度和相对距离的结合来计算判断对商用车与物体的冲突概率的其他多种方法不作列举。
示例性的,以图3为例,当摄像头的视野范围内有多个物体时,计算判断得出物体114与商用车的冲突概率最大,将物体114的截图图像作为关键区域画面,并在显示器屏幕上进行显示;可以理解的是,驾驶员可以从显示屏上观察到物体114的具体图像,并结合相对位置和相对参数,包括的物体114与商用车的相对速度、相对角度和相对距离,进行参考来进行驾驶,增强了驾驶的安全性。
示例性的,基于第一图像生成二维坐标系。二维坐标系的具体生成规则实施例不作限定。其中,第一图像的中心点作为二维坐标系的原点。
示例性的,以图5为例,为在第一图像中截取两个不同区域的画面,其中,摄像头的视野范围即第一图像121为二维坐标系的原点。其中,第一图像121的分辨率为1920x1080,可以确定第一图像121的四个点的二维坐标系像素点分别为:(-960,540),(-960,-540),(960,540),(960,-540)。其中,整体区域画面122的分辨率为1080x960,整体区域画面123的四个点的二维坐标系像素点分别为:(-540,420),(-540,-540),(540,420),(540,-540)。
示例性的,请参照图5,设置二维坐标系的X轴正方向为摄像头视野范围向车身移动的方向。可选的,右后视镜摄像头对应的摄像头的视野范围与商用车冲突概率最大的物体移动设定像素。
其中,以图3为例,判断物体114与商用车的冲突概率最大,物体114的截图图像作为关键区域画面,如图6所示,物体114在第一图像中的图像即关键区域画面的分辨率为240x180,关键区域画面的四个点的二维坐标系像素点分别为:(360,240),(360,0),(720,0),(720,240)。如图7所示,如果检测到冲突概率最大的物体为物体115时,将物体115的截图图像作为关键区域画面,物体114在第一图像中的图像的分辨率为240x180,则关键区域画面对应的图像分辨率为240x180,物体115即关键区域画面的四个点的二维坐标系像素点分别为:(-480,540),(-480,-120),(-120,540),(-120,-120)。-
步骤320、将所述整体区域画面和关键区域画面适应于所述显示器屏幕的分辨率进行分辨率调整。
示例性的,截取获得关键区域画面和整体区域画面后,需要先分别对关键区域画面和整体区域画面进行分辨率调整,从而使得关键区域画面和整体区域画面适应显示器的屏幕,得以在显示器的屏幕进行显示。其中,确定关键区域画面或整体区域画面的图像分辨率是否高于设定分辨率,如果高于设定分辨率,则确定需要对图像进行拉伸处理,如果低于设定分辨率,则需要对图像进行缩小处理;上述设定分辨率可以根据实际情况设定,当图像分辨率超过设定分辨率时,说明在显示器显示的关键区域画面或整体区域画面会存在失真的情况,需要对关键区域画面或整体区域画面的分辨率进行调整以适应显示器的屏幕。
步骤330、基于关键物体的截图图像生成初始关键区域画面。
具体的,初始关键区域画面在第一图像中的截图范围取决于商用车与物体的冲突概率;通过商用车与物体的相对参数计算出冲突概率,可以理解的,从中筛选出与商用车的冲突概率最大的物体,并将该物体的图像显示在显示器屏幕上;具体的,将截图区域从原始位置移动到覆盖第一图像中的第一物体,实现从第一图像生成初始关键区域画面。
步骤340、对所述初始关键区域画面进行镜像处理得到关键区域画面。
示例性的,对所述初始关键区域画面进行镜像处理。其中,后视镜摄像头采集的第一图像的视野是基于车头进行拍摄采集的,从第一图像截取到的关键区域画面的视野与第一图像的视野相同,可以理解的是,为了使得显示在显示器屏幕的关键区域画面的视野方向与车辆内驾驶员的视野范围保持一致,需要对初始关键区域画面进行镜像处理,得到关键区域画面。
可以理解的是,对整体区域画面进行镜像处理。
示例性的,经过处理的关键区域画面和整体区域画面需要同时在显示器进行显示,为了实现显示效果,可选的,将关键区域画面和整体区域画面进行拼接处理。可选的,将关键区域画面和整体区域画面进行拼接处理,可以是进行上下拼接,也可以是进行左右拼接。本实施例中,对关键区域画面和整体区域画面进行上下拼接。其中,在对关键区域画面和整体区域画面进行拼接处理前,通过拉伸处理将关键区域画面和整体区域画面进行拼接的图像的边拉伸为一致的像素。
示例性的,经过拼接的关键区域画面和整体区域画面需要同时在显示器进行显示。其中,本实施例采用横屏的显示器。可选的,确定拼接后的图像是否可以适应横屏的显示器屏幕,如果可以适应,则不需要对图像进行旋转处理,如果拼接后的图像不可以适应横屏的屏幕,则需要对拼接后的图像进行图像旋转处理。可选的,可以对拼接后的图像进行顺时针旋转90度,也可以进行逆时针旋转90后,以实现显示在显示器屏幕上。
在上述实施例的基础上,基于图像识别的后视图像显示方法还可以具体化为:接收移动指令,对所述整体区域画面和关键区域画面于显示器上显示的区域进行移动;所述移动指令包括:上下方向和左右方向的平移动作;每次所述平移动作的移动范围在移动设定像素以上。
其中,移动指令用于指示控制关键区域画面和整体区域画面分别在第一图像的区域移动的组成。具体的,移动指令可以由用户通过键控、触控或者是相关联的应用程序发出;移动指令还可以是由该基于图像识别的后视图像显示装置自行发出。其中,当显示器接收到关键区域画面和整体区域画面时,确定关键区域画面和整体区域画面的视野范围是否清楚,是否是在正常范围内或是否是需要的视野,如果关键区域画面和整体区域画面的视野范围需要调整,则可以用户通过键控、触控或相关的应用程序发出移动指令,也可以是装置自行调整而发出的移动指令。可选的,所述移动指令包括上下方向和左右方向的平移动作。其中,每次所述平移动作的移动范围在移动设定像素以上,可选的,每次平移动作的移动范围在5个像素以上。根据移动指令对关键区域画面或整体区域画面进行平移动作,实现向上平移、向下平移、向左平移和向右平移,平移的范围在5个像素以上。
在上述实施例的基础上,图9为本申请实施例提供的一种基于图像识别的后视图像显示装置的结构示意图。参考图9,本实施例提供的图像处理装置具体包括:图像获取模块301、图像识别处理模块302、图像生成模块303以及显示设置模块304。
其中,图像获取模块301用于获取后视镜摄像头采集的图像,得到第一图像,所述后视镜摄像头朝向商用车的后方;图像识别处理模块302用于对所述第一图像进行识别,获取所述第一图像中的物体,并确定所述物体与商用车之间的相对位置;根据所述物体与商用车的相对位置关系,判断冲突概率;筛选出冲突概率最大的物体,得到关键物体;图像生成模块303用于基于关键物体的截图图像生成关键区域画面,基于所述第一图像生成整体区域画面,所述整体区域画面对应于所述商用车侧后方远景画面;图像显示模块304用于将所述整体区域画面和关键区域画面分别显示于显示器的第一显示区域和第二显示区域,所述显示器设置于所述商用车的内部。
进一步的,所述图像生成模块303包括参数确定单元和概率判断单元,所述参数确定单元用于根据所述相对位置确定所述物体的相对参数;所述概率判断单元用于根据所述相对参数,判断商用车与所述物体的冲突概率。
进一步的,还包括指令控制模块,所述指令控制模块用于接收移动指令,对所述整体区域画面和关键区域画面于显示器上显示的区域进行移动;所述移动指令包括:上下方向和左右方向的平移动作;每次所述平移动作的移动范围在移动设定像素以上。
进一步的,所述概率判断单元还用于结合所述物体与商用车之间的相对距离、相对速度和相对角度,判断商用车与所述物体的冲突概率;其中,所述相对参数包括相对距离、相对速度和相对角度。
进一步的,所述图像显示模块304还用于将所述整体区域画面和关键区域画面适应于所述显示器屏幕的分辨率进行分辨率调整。
进一步的,还包括镜像处理模块,所述镜像处理模块用于获取后视镜摄像头采集的图像,对所述图像进行进行镜像处理得到第一图像。
进一步的,所述镜像处理模块还用于基于关键物体的截图图像生成初始关键区域画面;对所述初始关键区域画面进行镜像处理得到关键区域画面。
上述,通过在后视镜设置摄像头并获取摄像头采集的图像,对采集的图像生成车侧后方远景画面,并显示在显示器上;通过对采集的图像进行识别处理,获取到图像中的物体的相对位置,并根据相对位置判断物体与本车辆的冲突概率,将冲突概率最大的物体显示在显示器上;其中,通过摄像头获取图像,避免驾驶员驾驶车辆时产生视野盲区,同时通过车侧后方远景画面和可能产生冲突的物体的结合显示,可以清楚全面地观察到车侧后方的情况;通过获取图像中的物体信息,清楚地了解到视野盲区内交通工具的相对位置,避免发生冲突,进而提高车辆驾驶的安全性,避免安全隐患的产生。
本申请实施例提供的基于图像识别的后视图像显示装置可以用于执行上述实施例提供的基于图像识别的后视图像显示方法,具备相应的功能和有益效果。
本申请实施例还提供了一种电子设备,该电子设备可集成本申请实施例提供的基于图像识别的后视图像显示装置。图10是本申请实施例提供的一种电子设备的结构示意图。参考图10,该电子设备包括:输入装置43、输出装置44、存储器42以及一个或多个处理器41;所述存储器42,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器41执行,使得所述一个或多个处理器41实现如上述实施例提供的基于图像识别的后视图像显示方法。其中输入装置43、输出装置44、存储器42和处理器41可以通过总线或者其他方式连接,图4中以通过总线连接为例。
处理器40通过运行存储在存储器41中的软件程序、指令以及模块,从而执行设备的各种功能应用以及数据处理,即实现上述的基于图像识别的后视图像显示方法。
上述提供的电子设备可用于执行上述实施例提供的基于图像识别的后视图像显示方法,具备相应的功能和有益效果。
本申请实施例还提供一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行一种基于图像识别的后视图像显示方法,该基于图像识别的后视图像显示方法包括:获取后视镜摄像头采集的图像,得到第一图像,所述后视镜摄像头朝向商用车的后方;对所述第一图像进行识别,获取所述第一图像中的物体,并确定所述物体与商用车之间的相对位置;根据所述物体与商用车的相对位置关系,判断冲突概率;筛选出冲突概率最大的物体,得到关键物体;基于关键物体的截图图像生成关键区域画面,基于所述第一图像生成整体区域画面,所述整体区域画面对应于所述商用车侧后方远景画面;将所述整体区域画面和关键区域画面分别显示于显示器的第一显示区域和第二显示区域,所述显示器设置于所述商用车的内部。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括:安装介质,例如CD-ROM、软盘或磁带装置;计算机系统存储器或随机存取存储器,诸如DRAM、DDRRAM、SRAM、EDORAM,兰巴斯(Rambus)RAM等;非易失性存储器,诸如闪存、磁介质(例如硬盘或光存储);寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外,存储介质可以位于程序在其中被执行的第一计算机系统中,或者可以位于不同的第二计算机系统中,第二计算机系统通过网络(诸如因特网)连接到第一计算机系统。第二计算机系统可以提供程序指令给第一计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然,本申请实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的基于图像识别的后视图像显示方法,还可以执行本申请任意实施例所提供的基于图像识别的后视图像显示方法中的相关操作。
上述实施例中提供的基于图像识别的后视图像显示装置、存储介质及电子设备可执行本申请任意实施例所提供的基于图像识别的后视图像显示方法,未在上述实施例中详尽描述的技术细节,可参见本申请任意实施例所提供的基于图像识别的后视图像显示方法。
上述仅为本申请的较佳实施例及所运用的技术原理。本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行的各种明显变化、重新调整及替代均不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由权利要求的范围决定。

Claims (6)

1.一种基于图像识别的后视图像显示方法,其特征在于,包括:
获取后视镜摄像头采集的图像,得到第一图像,所述后视镜摄像头朝向商用车的后方;
对所述第一图像进行识别,获取所述第一图像中的物体,并确定所述物体与商用车之间的相对位置,其中,根据第一图像中的物体的特征,确定物体与商用车直接的相对位置,其中,第一图像包括连续多帧图像,根据多帧图像中物体位置的变化,确定出物体与商用车的相对位置;根据所述物体与商用车的相对位置关系,判断冲突概率,其中,包括通过相对角度、相对速度和相对距离的结合来计算判断商用车与物体的冲突概率,筛选出冲突概率最大的物体,得到关键物体;
基于关键物体的截图图像生成关键区域画面,基于所述第一图像生成整体区域画面,所述整体区域画面对应于所述商用车侧后方远景画面;
将所述整体区域画面和关键区域画面分别显示于显示器的第一显示区域和第二显示区域,所述显示器设置于所述商用车的内部;
所述获取后视摄像头采集的图像,得到第一图像,具体为:获取后视镜摄像头采集的图像,对所述图像进行镜像处理得到第一图像;
所述根据所述物体与商用车的相对位置关系关系,判断冲突概率,包括:根据所述相对位置确定所述物体的相对参数,根据所述相对参数,判断商用车与所述物体的冲突概率;
所述根据所述相对参数,判断商用车与所述物体的冲突概率,包括:结合所述物体与商用车之间的相对距离、相对速度和相对角度,判断商用车与所述物体的冲突概率;其中,所述相对参数包括相对距离、相对速度和相对角度;
所述基于关键物体的截图图像生成关键区域画面,包括:基于关键物体的截图图像生成初始关键区域画面;对所述初始关键区域画面进行镜像处理得到关键区域画面。
2.根据权利要求1所述的基于图像识别的后视图像显示方法,其特征在于,所述将所述整体区域画面和关键区域画面分别显示于显示器的第一显示区域和第二显示区域之后还包括:
接收移动指令,对所述整体区域画面和关键区域画面于显示器上显示的区域进行移动;所述移动指令包括:上下方向和左右方向的平移动作;每次所述平移动作的移动范围在移动设定像素以上。
3.根据权利要求1所述的基于图像识别的后视图像显示方法,其特征在于,所述将所述整体区域画面和关键区域画面分别显示于显示器的第一显示区域和第二显示区域之前,还包括:
将所述整体区域画面和关键区域画面适应于所述显示器屏幕的分辨率进行分辨率调整。
4.一种基于图像识别的后视图像显示装置,其特征在于,包括:
图像获取模块,用于获取后视镜摄像头采集的图像,得到第一图像,所述后视镜摄像头朝向商用车的后方;
图像识别处理模块,用于对所述第一图像进行识别,获取所述第一图像中的物体,并确定所述物体与商用车之间的相对位置,其中,根据第一图像中的物体的特征,确定物体与商用车直接的相对位置,其中,第一图像包括连续多帧图像,根据多帧图像中物体位置的变化,确定出物体与商用车的相对位置;根据所述物体与商用车的相对位置关系,判断冲突概率,其中,包括通过相对角度、相对速度和相对距离的结合来计算判断商用车与物体的冲突概率,筛选出冲突概率最大的物体,得到关键物体;
图像生成模块,用于基于关键物体的截图图像生成关键区域画面,基于所述第一图像生成整体区域画面,所述整体区域画面对应于所述商用车侧后方远景画面;
所述图像生成模块包括参数确定单元和概率判断单元,所述参数确定单元用于根据所述相对位置确定所述物体的相对参数;所述概率判断单元用于根据所述相对参数,判断商用车与所述物体的冲突概率;
所述概率判断单元还用于结合所述物体与商用车之间的相对距离、相对速度和相对角度,判断商用车与所述物体的冲突概率;其中,所述相对参数包括相对距离、相对速度和相对角度;
图像显示模块,用于将所述整体区域画面和关键区域画面分别显示于显示器的第一显示区域和第二显示区域,所述显示器设置于所述商用车的内部;
镜像处理模块:用于获取后视镜摄像头采集的图像,对所述图像进行进行镜像处理得到第一图像;
镜像处理模块还用于基于关键物体的截图图像生成初始关键区域画面;对所述初始关键区域画面进行镜像处理得到关键区域画面。
5.一种电子设备,其特征在于,包括:存储器以及一个或多个处理器;
所述存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-3任一所述的基于图像识别的后视图像显示方法。
6.一种包含计算机可执行指令的存储介质,其特征在于,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-3任一所述的基于图像识别的后视图像显示方法。
CN202011119738.1A 2020-10-19 2020-10-19 基于图像识别的后视图像显示方法及装置 Active CN112172670B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011119738.1A CN112172670B (zh) 2020-10-19 2020-10-19 基于图像识别的后视图像显示方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011119738.1A CN112172670B (zh) 2020-10-19 2020-10-19 基于图像识别的后视图像显示方法及装置

Publications (2)

Publication Number Publication Date
CN112172670A CN112172670A (zh) 2021-01-05
CN112172670B true CN112172670B (zh) 2022-10-04

Family

ID=73949755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011119738.1A Active CN112172670B (zh) 2020-10-19 2020-10-19 基于图像识别的后视图像显示方法及装置

Country Status (1)

Country Link
CN (1) CN112172670B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112870712B (zh) * 2021-01-22 2023-03-14 腾讯科技(深圳)有限公司 虚拟场景中画面展示方法、装置、计算机设备及存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5031801B2 (ja) * 2009-07-28 2012-09-26 日立オートモティブシステムズ株式会社 車載用画像表示装置
CN102632839B (zh) * 2011-02-15 2015-04-01 香港生产力促进局 一种基于后视图像认知的车载盲区预警系统及方法
KR20160016213A (ko) * 2014-08-04 2016-02-15 지에스엠비즈 주식회사 사각지대 자동감지가 가능한 차량용 영상녹화장치
CN107848465B (zh) * 2015-05-06 2021-06-01 麦格纳镜片美国有限公司 具有盲区显示和警示系统的车辆视觉系统
DE102016007522B4 (de) * 2016-06-20 2022-07-07 Mekra Lang Gmbh & Co. Kg Spiegelersatzsystem für ein Fahrzeug
CN106553655B (zh) * 2016-12-02 2019-11-15 深圳地平线机器人科技有限公司 危险车辆检测方法和系统以及包括该系统的车辆
US10007269B1 (en) * 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
CN109263557B (zh) * 2018-11-19 2020-10-09 威盛电子股份有限公司 车辆盲区侦测方法
CN109815832A (zh) * 2018-12-28 2019-05-28 深圳云天励飞技术有限公司 行车预警方法及相关产品
CN109910754A (zh) * 2019-04-23 2019-06-21 北京七鑫易维科技有限公司 一种盲区画面获取的方法以及终端设备
CN110126734A (zh) * 2019-06-06 2019-08-16 中科院微电子研究所昆山分所 一种针对于车辆视野盲区的防碰撞预警系统、设备及方法
CN110682903B (zh) * 2019-10-12 2020-08-28 辽宁工业大学 一种基于视觉感知的安全超车预警系统及方法

Also Published As

Publication number Publication date
CN112172670A (zh) 2021-01-05

Similar Documents

Publication Publication Date Title
US9113049B2 (en) Apparatus and method of setting parking position based on AV image
US20160191795A1 (en) Method and system for presenting panoramic surround view in vehicle
EP1891580B1 (en) Method and a system for detecting a road at night
US20140114529A1 (en) Apparatus and method for assisting parking in area without parking line
CN103786644B (zh) 用于追踪外围车辆位置的装置和方法
US20180114067A1 (en) Apparatus and method for extracting objects in view point of moving vehicle
US20140112542A1 (en) System and method for recognizing parking space line markings for vehicle
US20160257252A1 (en) Projection of images on side window of vehicle
US20140160289A1 (en) Apparatus and method for providing information of blind spot
WO2018177702A1 (en) Parking assist system and method and a vehicle equipped with the system
US20190135197A1 (en) Image generation device, image generation method, recording medium, and image display system
CN114913506A (zh) 一种基于多视角融合的3d目标检测方法及装置
CN111052735B (zh) 图像处理装置、图像处理方法以及图像显示系统
US11836873B2 (en) Augmented photo capture
US20210331628A1 (en) A-pillar display device, a-pillar display method, and non-transitory medium
CN112172670B (zh) 基于图像识别的后视图像显示方法及装置
US11580695B2 (en) Method for a sensor-based and memory-based representation of a surroundings, display device and vehicle having the display device
CN112172671B (zh) 商用车后视图像显示方法、装置、计算机设备及存储介质
US20230230203A1 (en) Vehicle undercarriage imaging
EP3629292A1 (en) Reference point selection for extrinsic parameter calibration
CN112172669B (zh) 多数据源后视图像显示方法、装置、电子设备及存储介质
CN111754390A (zh) 环视图显示方法、装置、计算机设备和存储介质
US20230194290A1 (en) Systems and methods for determining trailer pose and coupler position for automated hitching
US20240144619A1 (en) Augmented photo capture
US20240112363A1 (en) Position estimation system, position estimation method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant