CN116403188A - 一种汽车a柱盲区图像生成方法、装置、设备及存储介质 - Google Patents

一种汽车a柱盲区图像生成方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116403188A
CN116403188A CN202310341774.XA CN202310341774A CN116403188A CN 116403188 A CN116403188 A CN 116403188A CN 202310341774 A CN202310341774 A CN 202310341774A CN 116403188 A CN116403188 A CN 116403188A
Authority
CN
China
Prior art keywords
image
blind area
driver
area image
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310341774.XA
Other languages
English (en)
Inventor
陈志军
谢欣然
刘姗栩
邵逸宾
郁梓涵
刘梓仪
卢睿仪
叶子璇
宁思琪
李英
胡军楠
王朝伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University of Technology WUT
Original Assignee
Wuhan University of Technology WUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University of Technology WUT filed Critical Wuhan University of Technology WUT
Priority to CN202310341774.XA priority Critical patent/CN116403188A/zh
Publication of CN116403188A publication Critical patent/CN116403188A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种汽车A柱盲区图像生成方法、装置、设备及存储介质，该方法包括：根据采集的驾驶员的面部轮廓信息确定驾驶员视线方向和驾驶员头部姿态信息；对采集的车外实时图像进行处理，确定所述车外实时图像的特征向量；根据所述特征向量确定所述驾驶员视线方向上的初始盲区图像；将所述头部姿态信息与所述初始盲区图像进行拟合得到目标盲区图像。本发明提供的一种汽车A柱盲区图像生成方法、装置、设备及存储介质，对驾驶员的面部轮廓进行分析确定驾驶员视线方向和驾驶员头部姿态信息，将车外实时图像进行处理得到驾驶员视线方向上的初始盲区图像，结合头部姿态信息可以确定符合驾驶员视角的准确的盲区图像，消除了驾驶中的安全隐患。

Description

一种汽车A柱盲区图像生成方法、装置、设备及存储介质
技术领域
本发明涉及汽车安全监控技术领域，尤其涉及一种汽车A柱盲区图像生成方法、装置、设备及存储介质。
背景技术
汽车A柱指汽车前挡风玻璃两侧连接汽车两个前门和发动机舱的柱子，发生事故时，A柱的存在可以有效减少人员伤害，但同时A柱会遮挡驾驶员部分视野，带来视野盲区，由于我国驾驶座位于左侧，左侧A柱带来的视野盲区更大，因此，如何在左转时减少或消除A柱盲区是提高交通安全的一个重要方面。
目前，现有技术中的消除A柱盲区的方法一般是使用汽车外的摄像头来采集汽车外的图像信息，从汽车外的图像信息中进一步提取出汽车的A柱盲区图像，然后再通过安装在车内的显示屏来显示A柱盲区内的图像。
但是，现有技术中的生成汽车A柱盲区的方法并没有考虑到根据驾驶员的面部轮廓信息来调整A柱盲区的范围，无法精确的显示出驾驶员的盲区范围，还需要驾驶员自身去进一步辨认出准确的盲区范围，且长时间的注视屏幕影像晃动也会使驾驶员产生眩目，存在驾驶安全隐患。
发明内容
有鉴于此，有必要提供一种汽车A柱盲区图像生成方法、装置、设备及存储介质，用以解决现有技术中生成汽车A柱盲区图像时不能根据驾驶员面部轮廓信息生成准确的盲区范围，需要驾驶员进一步辨认出盲区范围，而长时间注视屏幕影像易使驾驶员产生眩目，存在驾驶安全隐患的问题。
为达到上述技术目的，本发明采取了以下技术方案：
第一方面，本发明提供了一种汽车A柱盲区图像生成方法，包括：
根据采集的驾驶员的面部轮廓信息确定驾驶员视线方向和驾驶员头部姿态信息；
对采集的车外实时图像进行处理，确定车外实时图像的特征向量；
根据特征向量确定驾驶员视线方向上的初始盲区图像；
将头部姿态信息与初始盲区图像进行拟合得到目标盲区图像。
在一些可能的实现方式中，对采集的车外实时图像进行处理，确定车外实时图像的特征向量，包括：
对车外实时图像进行预设处理，确定备选特征点；
对备选特征点进行筛选，确定目标特征点；
根据目标特征点计算对应的特征向量。
在一些可能的实现方式中，对车外实时图像进行预设处理，确定备选特征点，包括：
通过预设去噪方法对车外实时图像进行去噪处理；
对去噪后的车外实时图像进行若干次高斯滤波处理和降采样处理直至满足预设阈值要求，得到若干组高斯图像；
根据临近的两组高斯图像得到高斯差分图像；
将高斯差分图像的采样点进行对比，得到满足预设像素要求的备选特征点。
在一些可能的实现方式中，对备选特征点进行筛选，确定目标特征点，包括：
对备选特征点进行过滤处理；
对高斯差分图像进行拟合处理，确定过滤后的备选特征点的高斯分差图像的泰勒展开式；
根据泰勒展开式确定黑塞矩阵；
根据黑塞矩阵和预设筛选阈值确定目标特征点。
在一些可能的实现方式中，根据目标特征点计算对应的特征向量，包括：
根据目标特征点计算图像梯度幅值；
根据目标特征点计算图像梯度方向；
根据图像梯度幅值和图像梯度方向计算特征向量。
在一些可能的实现方式中，根据特征向量确定驾驶员视线方向上的初始盲区图像，包括：
计算车外实时图像的特征向量与高斯差分图像的特征向量之间的相似性度量；
根据相似性度量确定备选的盲区图像；
将备选的盲区图像转换至驾驶员视线方向，确定初始盲区图像。
在一些可能的实现方式中，将头部姿态信息与初始盲区图像进行拟合得到目标盲区图像，包括：
根据头部姿态信息确定驾驶员头部姿态变换情况；
根据驾驶员头部姿态变换情况将初始盲区图像进行坐标变换得到目标盲区图像。
第二方面，本发明还提供了一种汽车A柱盲区图像生成装置，包括：
信息处理模块，用于根据采集的驾驶员的面部轮廓信息确定驾驶员视线方向和驾驶员头部姿态信息；
特征向量模块，用于对采集的车外实时图像进行处理，确定车外实时图像的特征向量；
盲区生成模块，用于根据特征向量确定驾驶员视线方向上的初始盲区图像；
拟合模块，用于将头部姿态信息与初始盲区图像进行拟合得到目标盲区图像。
第三方面，本发明还提供了一种电子设备，包括存储器和处理器，其中，
存储器，用于存储程序；
处理器，与存储器耦合，用于执行存储器中存储的程序，以实现上述任一种实现方式中的汽车A柱盲区图像生成方法中的步骤。
第四方面，本发明还提供了一种计算机可读存储介质，用于存储计算机可读取的程序或指令，程序或指令被处理器执行时，能够实现上述任一种实现方式中的汽车A柱盲区图像生成方法中的步骤。
采用上述实施例的有益效果是：本发明涉及一种汽车A柱盲区图像生成方法、装置、设备及存储介质，该方法包括：根据采集的驾驶员的面部轮廓信息确定驾驶员视线方向和驾驶员头部姿态信息；对采集的车外实时图像进行处理，确定所述车外实时图像的特征向量；根据所述特征向量确定所述驾驶员视线方向上的初始盲区图像；将所述头部姿态信息与所述初始盲区图像进行拟合得到目标盲区图像。本发明提供的一种汽车A柱盲区图像生成方法、装置、设备及存储介质，对驾驶员的面部轮廓进行分析确定驾驶员视线方向和驾驶员头部姿态信息，然后将车外实时图像进行处理，确定在驾驶员视线方向上的初始盲区图像，再结合头部姿态信息可以确定符合驾驶员视角的准确的盲区图像，可以直接针对驾驶员在驾驶时的头部姿态来确定在驾驶员当前头部姿态下的准确盲区位置，可以实现精确的显示驾驶员视角的准确的盲区图像，不需要驾驶员再去辨认盲区的范围，也就避免了驾驶员在驾驶时长时间的注视屏幕影像晃动使得驾驶员产生眩目的问题，最终消除了驾驶中的安全隐患，提高了驾驶的安全性。
附图说明
图1为本发明提供的汽车A柱盲区图像生成方法的一实施例的流程示意图；
图2为本发明提供图1中步骤S102的一实施例的流程示意图；
图3为本发明提供图2中步骤S201的一实施例的流程示意图；
图4为本发明提供图2中步骤S202的一实施例的流程示意图；
图5为本发明提供图2中步骤S203的一实施例的流程示意图；
图6为本发明提供图1中步骤S103的一实施例的流程示意图；
图7为本发明提供的汽车A柱盲区图像的生成装置的一实施例的结构示意图；
图8为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
本发明提供了一种汽车A柱盲区图像生成方法、装置、设备及存储介质，以下分别进行说明。
请参阅图1，图1为本发明提供的汽车A柱盲区图像生成方法的一实施例的流程示意图，本发明的一个具体实施例，公开了一种汽车A柱盲区图像生成方法，包括：
S101、根据采集的驾驶员的面部轮廓信息确定驾驶员视线方向和驾驶员头部姿态信息；
S102、对采集的车外实时图像进行处理，确定车外实时图像的特征向量；
S103、根据特征向量确定驾驶员视线方向上的初始盲区图像；
S104、将头部姿态信息与初始盲区图像进行拟合得到目标盲区图像。
在上述实施例中，通过内置双目相机(置于仪表盘上)和驾驶员视角模拟相机(置于驾驶员头部附近)来采集驾驶员的面部轮廓信息，通过外置广角相机(置于A柱外侧)来采集车外实时图像，生成的图像在左侧后视镜上的小圆镜显示屏上展示。
外置广角相机实时监测车外道路状况，当汽车始终处于直道时，小圆镜显示屏作为普通小圆镜扩大汽车后方视野，当外置摄像机监测到汽车即将进入弯道时，开始采集车外实时图像和驾驶员的面部轮廓信息来为驾驶员提供盲区图像。
需要先对驾驶员的人脸特征进行对齐，作为优选的实施例，采用回归树集成算法进行人脸对齐，该算法速度快，可在毫秒级实现人脸对齐。通过二维图像推断三位图像中头部相对于相机的相对位置关系。采用头部通用模型，即在世界坐标系中鼻尖坐标为(0，0，0)、下巴坐标为(0，-330，-65)、左眼眼角坐标为(-225，-170，-135)、右眼眼角坐标为(225，170，-135)、左嘴角坐标为(-150，-150，-125)、右嘴角坐标为(150，-150，-125)。对比从图像中获得的对应标识点，作为优选的实施例，本发明利用EPnP解法解决PnP问题的方法计算头部姿态信息。需要说明的是，本发明也可以采用其他方法来确定驾驶员的头部姿态信息，本发明对此不做进一步限制。
与现有技术相比，本实施例提供的一种汽车A柱盲区图像生成方法，该方法包括：根据采集的驾驶员的面部轮廓信息确定驾驶员视线方向和驾驶员头部姿态信息；对采集的车外实时图像进行处理，确定所述车外实时图像的特征向量；根据所述特征向量确定所述驾驶员视线方向上的初始盲区图像；将所述头部姿态信息与所述初始盲区图像进行拟合得到目标盲区图像。本发明提供的一种汽车A柱盲区图像生成方法、装置、设备及存储介质，对驾驶员的面部轮廓进行分析确定驾驶员视线方向和驾驶员头部姿态信息，然后将车外实时图像进行处理，确定在驾驶员视线方向上的初始盲区图像，再结合头部姿态信息可以确定符合驾驶员视角的准确的盲区图像，可以直接针对驾驶员在驾驶时的头部姿态来确定在驾驶员当前头部姿态下的准确盲区位置，可以实现精确的显示驾驶员视角的准确的盲区图像，不需要驾驶员再去辨认盲区的范围，也就避免了驾驶员在驾驶时长时间的注视屏幕影像晃动使得驾驶员产生眩目的问题，最终消除了驾驶中的安全隐患，提高了驾驶的安全性。
请参阅图2，图2为本发明提供图1中步骤S102的一实施例的流程示意图，在本发明的一些实施例中，对采集的车外实时图像进行处理，确定车外实时图像的特征向量，包括：
S201、对车外实时图像进行预设处理，确定备选特征点；
S202、对备选特征点进行筛选，确定目标特征点；
S203、根据目标特征点计算对应的特征向量。
在上述实施例中，车外实时图像为原始图像，对车外实时图像进行预设处理，包括将车外实时图像进行分割，确定其中每一部分的备选特征点，特征点指的是图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。图像特征点在基于特征点的图像匹配算法中有着十分重要的作用。图像特征点能够反映图像本质特征，能够标识图像中目标物体。通过特征点的匹配能够完成图像的匹配。
将得到的备选特征点进行筛选，剔除不满足要求的特征点，得到目标特征点，通过目标特征点进一步计算确定图像对应的特征向量，可以通过特征向量来进行转换，最终确定盲区的图像。
请参阅图3，图3为本发明提供图2中步骤S201的一实施例的流程示意图，在本发明的一些实施例中，对车外实时图像进行预设处理，确定备选特征点，包括：
S301、通过预设去噪方法对车外实时图像进行去噪处理；
S302、对去噪后的车外实时图像进行若干次高斯滤波处理和降采样处理直至满足预设阈值要求，得到若干组高斯图像；
S303、根据临近的两组高斯图像得到高斯差分图像；
S304、将高斯差分图像的采样点进行对比，得到满足预设像素要求的备选特征点。
在上述实施例中，预设去噪方法为BM3D算法，本发明通过BM3D算法对车外实时图像进行去噪处理，可以理解的是，本发明可以直接使用BM3D算法进行去噪，BM3D算法属于现有技术，不需要对BM3D算法进行过多赘述。
对原始图像进行多次高斯滤波，然后从底向上对图像尺度组进行降采样，删除当前图像尺度函数组的偶数行和偶数列，从而得到大小为原图像四分之一的降采样图像，然后在重新运用高斯滤波得到第二组图像尺度，之后持续进行上述操作直到达到预设阈值要求(预设为原始图像的十六分之一)，将临近的两组高斯图像相减得到高斯差分图像。
将高斯差分图像中每一个采样点和其同层8个方向领域点和上下层图像各9个领域点合计26个像素点分别进行对比。若其像素值大于或小于全部相邻26个像素点的像素值，则将其列选为待选特征点，记录其位置和尺度信息。
具体计算过程如下：
利用高斯滤波公式：
Figure BDA0004158309290000091
其中，σ表示高斯核函数标准差。
假定原图像表示为I(x,y)，尺度空间公式表示为：
L(x,y,σ)＝G(x,y,σ)*I(x,y) (2)；
其中，I(x，y)表示的是点(x，y)处的像素值。
高斯差分图像的计算公式表示为：
D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))*I(x,y)＝L(x,y,kσ)-L(x,y,σ) (3)；
其中，k为常数。
请参阅图4，图4为本发明提供图2中步骤S202的一实施例的流程示意图，在本发明的一些实施例中，对备选特征点进行筛选，确定目标特征点，包括：
S401、对备选特征点进行过滤处理；
S402、对高斯差分图像进行拟合处理，确定过滤后的备选特征点的高斯分差图像的泰勒展开式；
S403、根据泰勒展开式确定黑塞矩阵；
S404、根据黑塞矩阵和预设筛选阈值确定目标特征点。
在上述实施例中，对备选特征点进行过滤处理，去除不稳定的特征点和有干扰的特征点，可以理解的是，对特征点进行过滤处理的方式可以通过现有技术实现，且过滤处理并不是本方案所保护的重点，因此，本发明对此不做过多赘述。
对高斯差分图像进行拟合处理，对待选特征点的高斯分差图像泰勒展开式进行多次求导，通过泰勒展开式确定对应的黑塞矩阵(Hessian矩阵)，实现对过滤后的备选特征点的筛选，从而得到满足要求的目标特征点。
泰勒展开式为：
Figure BDA0004158309290000101
对上式求导，令导数为0：
Figure BDA0004158309290000102
将其代入公式(4)，取前两项：
Figure BDA0004158309290000103
当某一备选特征点在任意维度的偏移值大于0.5时，该极值点与其他点的距离更近，需要剔除，选择新的备选特征点进行求解，如此反复，直至小于0.5时停止。
但是上述方法中的边缘响应值较低，需利用Hessian矩阵选择性剔除。Hessian矩阵公式表示为：
Figure BDA0004158309290000104
其中Dxx(x,y)、Dxy(x,y)、Dyy(x,y)通过待选特征点领域点像素差分求得。
该矩阵的行列式和迹公式为：
Det(H)＝DxxDyy-(Dxy)2＝α·β
Figure BDA0004158309290000111
其中α、β分别表示特征值的最大值和最小值，假定γ为二者的比值，则：
Figure BDA0004158309290000112
设定预设筛选阈值γ为0.3，对边缘响应值较小的点剔除，即所保留的特征点需满足：
Figure BDA0004158309290000113
通过黑塞矩阵和预设筛选阈值γ筛选得到的特征点的边缘响应值更大，从而筛选得到的目标特征点更能表示高斯差分图像的特征。
请参阅图5，图5为本发明提供图2中步骤S203的一实施例的流程示意图，在本发明的一些实施例中，根据目标特征点计算对应的特征向量，包括：
S501、根据目标特征点计算图像梯度幅值；
S502、根据目标特征点计算图像梯度方向；
S503、根据图像梯度幅值和图像梯度方向计算特征向量。
在上述实施例中，目标特征点对应的高斯差分图像的梯度幅值公式为：
Figure BDA0004158309290000114
特征点子区域内图像梯度方向公式为：
Figure BDA0004158309290000121
在以目标特征点为中心的16*16窗口进行采样，然后将该16*16窗口分为16个4*4的区域，每一小块表示一个像素点，每个像素点表示有其梯度幅值和梯度方向，同时根据像素点距离特征点的远近为其赋以权值，由此可以得到表示该特征点的一个特征向量。
可以理解的是，根据像素点距离特征点的远近为其赋以权值具体可以根据实际情况进行调整，本发明对此不做进一步限制。
请参阅图6，图6为本发明提供图1中步骤S103的一实施例的流程示意图，在本发明的一些实施例中，根据特征向量确定驾驶员视线方向上的初始盲区图像，包括：
S601、计算车外实时图像的特征向量与高斯差分图像的特征向量之间的相似性度量；
S602、根据相似性度量确定备选的盲区图像；
S603、将备选的盲区图像转换至驾驶员视线方向，确定初始盲区图像。
在上述实施例中，车外实时图像的特征向量用X表示，高斯差分图像的特征向量用Y表示，则根据如下公式计算X，Y之间的相似性度量：
Figure BDA0004158309290000122
通过计算的相似性度量对高斯差分图像进行筛选，选择满足相似性度量要求的高斯差分图像，得到备选的盲区图像。
将盲区区域进行透视变换，将其转化到驾驶员视角。设备选的盲区图像上一点坐标为p(x，y)，经过透视变换后得到点p’(x’，y’)，两点对应关系为：
Figure BDA0004158309290000131
其中，θ为旋转角度，(tx，ty)T表示平移距离。
在本发明的一些实施例中，将头部姿态信息与初始盲区图像进行拟合得到目标盲区图像，包括：
根据头部姿态信息确定驾驶员头部姿态变换情况；
根据驾驶员头部姿态变换情况将初始盲区图像进行坐标变换得到目标盲区图像。
在上述实施例中，假设O为相机光心，OD为显示屏平面，车外景物与外置广角相机的距离OH固定为t，当驾驶员头部在B点时，A柱盲区的右侧边界点所对应的景物M在外置广角相机图像上所对应的点为m。当头部从B点移动到A点时，盲区在外置广角相机图像的边界点从m移动到n。当通过图像配准技术获得了驾驶员头部在B点的盲区边界点坐标后，驾驶员头部在A点时的盲区像素坐标就可以计算出来。做AG平行于MN，交BM于点G，做ΔAGD的垂线DK。根据三角形相似原理可得DK/OH＝AG/MN。设点M在外置广角相机坐标系下的三维坐标为(X1，Y1，Z1)，对应车外相机图像上像素坐标为(u1，v1)，N点在外置广角相机坐标系下的三维坐标为(X2，Y2，Z2)，对应的外置广角相机图像上像素坐标为(u2，v2)。则根据相机标定原理有如下公式：
Figure BDA0004158309290000141
因为景物与外置广角相机距离固定为t，所以Z1＝Z2＝t。将上述两式相减：
Figure BDA0004158309290000142
所以外置广角相机图像上盲区边界像素水平移动的距离为：
Figure BDA0004158309290000143
垂直方向上的盲区边界默认不变。
本发明提供的实施例还具有超声波测速和警示器功能，超声波测速所得数据传输到警示器，警示器对其进行判断：
单片机向位差超声波传感器发送的一个触发脉冲，超声波传感器被此脉冲触发后产生一道段40kHz的脉冲电信号，此电信号通过激励换能器处理后，将转换成机械振动的能量，由此形成超声波，并向外发射，发射出的超声波遇到障碍物后立即被反射。接收器接收到反射回来的超声波信号后，通过内部转换，将超声波变成微弱的电震荡，并将信号进行放大，得到所需的脉冲信号，此脉冲信号再返回给单片机。此过程所得脉冲宽度对应于超声波传播时间，由此根据超声波速度和其传播时间可计算得车辆与障碍物之间的距离，并对此进行距离判断：
1)当障碍物距离处于较安全范围内(大于30m)，警示器发出较平缓的提示音；
2)当障碍物距离小于30m时，警示器发出急促的提示音提醒驾驶员减速。
为了更好实施本发明实施例中的汽车A柱盲区图像的生成方法，在汽车A柱盲区图像的生成方法基础之上，对应的，请参阅图7，图7为本发明提供的汽车A柱盲区图像的生成装置的一实施例的结构示意图，本发明实施例提供了一种汽车A柱盲区图像的生成装置700，包括：
信息处理模块710，用于根据采集的驾驶员的面部轮廓信息确定驾驶员视线方向和驾驶员头部姿态信息；
特征向量模块720，用于对采集的车外实时图像进行处理，确定车外实时图像的特征向量；
盲区生成模块730，用于根据特征向量确定驾驶员视线方向上的初始盲区图像；
拟合模块740，用于将头部姿态信息与初始盲区图像进行拟合得到目标盲区图像。
这里需要说明的是：上述实施例提供的装置700可实现上述各方法实施例中描述的技术方案，上述各模块或单元具体实现的原理可参见上述方法实施例中的相应内容，此处不再赘述。
请参阅图8，图8为本发明实施例提供的电子设备的结构示意图。基于上述汽车A柱盲区图像的生成方法，本发明还相应提供了一种汽车A柱盲区图像的生成设备，汽车A柱盲区图像的生成设备可以是移动终端、桌上型计算机、笔记本、掌上电脑及服务器等计算设备。该汽车A柱盲区图像的生成设备包括处理器810、存储器820及显示器830。图8仅示出了电子设备的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
存储器820在一些实施例中可以是汽车A柱盲区图像的生成设备的内部存储单元，例如汽车A柱盲区图像的生成设备的硬盘或内存。存储器820在另一些实施例中也可以是汽车A柱盲区图像的生成设备的外部存储设备，例如汽车A柱盲区图像的生成设备上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器820还可以既包括汽车A柱盲区图像的生成设备的内部存储单元也包括外部存储设备。存储器820用于存储安装于汽车A柱盲区图像的生成设备的应用软件及各类数据，例如安装汽车A柱盲区图像的生成设备的程序代码等。存储器820还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器820上存储有汽车A柱盲区图像的生成程序840，该汽车A柱盲区图像的生成程序840可被处理器810所执行，从而实现本申请各实施例的汽车A柱盲区图像的生成方法。
处理器810在一些实施例中可以是一中央处理器(Central Processing Unit,CPU)，微处理器或其他数据处理芯片，用于运行存储器820中存储的程序代码或处理数据，例如执行汽车A柱盲区图像的生成方法等。
显示器830在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode，有机发光二极管)触摸器等。显示器830用于显示在汽车A柱盲区图像的生成设备的信息以及用于显示可视化的用户界面。汽车A柱盲区图像的生成设备的部件810-830通过系统总线相互通信。
在一实施例中，当处理器810执行存储器820中汽车A柱盲区图像的生成程序840时实现如上的汽车A柱盲区图像的生成方法中的步骤。
本实施例还提供了一种计算机可读存储介质，其上存储有汽车A柱盲区图像的生成程序，该汽车A柱盲区图像的生成程序被处理器执行时实现以下步骤：
根据采集的驾驶员的面部轮廓信息确定驾驶员视线方向和驾驶员头部姿态信息；
对采集的车外实时图像进行处理，确定车外实时图像的特征向量；
根据特征向量确定驾驶员视线方向上的初始盲区图像；
将头部姿态信息与初始盲区图像进行拟合得到目标盲区图像。
综上，本实施例提供的一种汽车A柱盲区图像生成方法、装置、设备及存储介质，该方法包括：根据采集的驾驶员的面部轮廓信息确定驾驶员视线方向和驾驶员头部姿态信息；对采集的车外实时图像进行处理，确定所述车外实时图像的特征向量；根据所述特征向量确定所述驾驶员视线方向上的初始盲区图像；将所述头部姿态信息与所述初始盲区图像进行拟合得到目标盲区图像。本发明提供的一种汽车A柱盲区图像生成方法、装置、设备及存储介质，对驾驶员的面部轮廓进行分析确定驾驶员视线方向和驾驶员头部姿态信息，然后将车外实时图像进行处理，确定在驾驶员视线方向上的初始盲区图像，再结合头部姿态信息可以确定符合驾驶员视角的准确的盲区图像，可以直接针对驾驶员在驾驶时的头部姿态来确定在驾驶员当前头部姿态下的准确盲区位置，可以实现精确的显示驾驶员视角的准确的盲区图像，不需要驾驶员再去辨认盲区的范围，也就避免了驾驶员在驾驶时长时间的注视屏幕影像晃动使得驾驶员产生眩目的问题，最终消除了驾驶中的安全隐患，提高了驾驶的安全性。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种汽车A柱盲区图像生成方法，其特征在于，包括：
根据采集的驾驶员的面部轮廓信息确定驾驶员视线方向和驾驶员头部姿态信息；
对采集的车外实时图像进行处理，确定所述车外实时图像的特征向量；
根据所述特征向量确定所述驾驶员视线方向上的初始盲区图像；
将所述头部姿态信息与所述初始盲区图像进行拟合得到目标盲区图像。
2.根据权利要求1所述的汽车A柱盲区图像生成方法，其特征在于，所述对采集的车外实时图像进行处理，确定所述车外实时图像的特征向量，包括：
对所述车外实时图像进行预设处理，确定备选特征点；
对所述备选特征点进行筛选，确定目标特征点；
根据所述目标特征点计算对应的特征向量。
3.根据权利要求2所述的汽车A柱盲区图像生成方法，其特征在于，所述对所述车外实时图像进行预设处理，确定备选特征点，包括：
通过预设去噪方法对所述车外实时图像进行去噪处理；
对去噪后的车外实时图像进行若干次高斯滤波处理和降采样处理直至满足预设阈值要求，得到若干组高斯图像；
根据临近的两组所述高斯图像得到高斯差分图像；
将所述高斯差分图像的采样点进行对比，得到满足预设像素要求的备选特征点。
4.根据权利要求3所述的汽车A柱盲区图像生成方法，其特征在于，所述对所述备选特征点进行筛选，确定目标特征点，包括：
对所述备选特征点进行过滤处理；
对所述高斯差分图像进行拟合处理，确定过滤后的备选特征点的高斯分差图像的泰勒展开式；
根据所述泰勒展开式确定黑塞矩阵；
根据所述黑塞矩阵和预设筛选阈值确定目标特征点。
5.根据权利要求2所述的汽车A柱盲区图像生成方法，其特征在于，所述根据所述目标特征点计算对应的特征向量，包括：
根据所述目标特征点计算图像梯度幅值；
根据所述目标特征点计算图像梯度方向；
根据所述图像梯度幅值和所述图像梯度方向计算特征向量。
6.根据权利要求5所述的汽车A柱盲区图像生成方法，其特征在于，所述根据所述特征向量确定所述驾驶员视线方向上的初始盲区图像，包括：
计算车外实时图像的特征向量与高斯差分图像的特征向量之间的相似性度量；
根据所述相似性度量确定备选的盲区图像；
将所述备选的盲区图像转换至所述驾驶员视线方向，确定初始盲区图像。
7.根据权利要求1所述的汽车A柱盲区图像生成方法，其特征在于，所述将所述头部姿态信息与所述初始盲区图像进行拟合得到目标盲区图像，包括：
根据所述头部姿态信息确定驾驶员头部姿态变换情况；
根据所述驾驶员头部姿态变换情况将所述初始盲区图像进行坐标变换得到目标盲区图像。
8.一种汽车A柱盲区图像生成装置，其特征在于，包括：
信息处理模块，用于根据采集的驾驶员的面部轮廓信息确定驾驶员视线方向和驾驶员头部姿态信息；
特征向量模块，用于对采集的车外实时图像进行处理，确定所述车外实时图像的特征向量；
盲区生成模块，用于根据所述特征向量确定所述驾驶员视线方向上的初始盲区图像；
拟合模块，用于将所述头部姿态信息与所述初始盲区图像进行拟合得到目标盲区图像。
9.一种电子设备，其特征在于，包括存储器和处理器，其中，
所述存储器，用于存储程序；
所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以实现上述权利要求1至7中任一项所述汽车A柱盲区图像生成方法中的步骤。
10.一种计算机可读存储介质，其特征在于，用于存储计算机可读取的程序或指令，所述程序或指令被处理器执行时，能够实现上述权利要求1至7中任一项所述汽车A柱盲区图像生成方法中的步骤。
CN202310341774.XA 2023-03-31 2023-03-31 一种汽车a柱盲区图像生成方法、装置、设备及存储介质 Pending CN116403188A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310341774.XA CN116403188A (zh) 2023-03-31 2023-03-31 一种汽车a柱盲区图像生成方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310341774.XA CN116403188A (zh) 2023-03-31 2023-03-31 一种汽车a柱盲区图像生成方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116403188A true CN116403188A (zh) 2023-07-07

Family

ID=87015479

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310341774.XA Pending CN116403188A (zh) 2023-03-31 2023-03-31 一种汽车a柱盲区图像生成方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116403188A (zh)

Similar Documents

Publication Publication Date Title
WO2021197189A1 (zh) 基于增强现实的信息显示方法、系统、装置及投影设备
US11320833B2 (en) Data processing method, apparatus and terminal
CN107554430B (zh) 车辆盲区可视化方法、装置、终端、系统及车辆
CN103448634B (zh) 与图像裁剪叠加的动态参考
Gandhi et al. Vehicle surround capture: Survey of techniques and a novel omni-video-based approach for dynamic panoramic surround maps
CN110909705B (zh) 一种基于车载摄像头的路侧停车位感知方法及系统
EP3968266B1 (en) Obstacle three-dimensional position acquisition method and apparatus for roadside computing device
EP2293588A1 (en) Method for using a stereovision camera arrangement
CN112232275B (zh) 基于双目识别的障碍物检测方法、系统、设备及存储介质
US11842440B2 (en) Landmark location reconstruction in autonomous machine applications
CN115496923B (zh) 一种基于不确定性感知的多模态融合目标检测方法及装置
US7599546B2 (en) Image information processing system, image information processing method, image information processing program, and automobile
WO2023231653A1 (zh) 一种车载相机的标定方法及装置、计算机设备、存储介质和产品
CN111913183A (zh) 车辆侧向避障方法、装置、设备及车辆
CN116543032B (zh) 冲击物测距方法、装置、测距设备及存储介质
CN110197104B (zh) 基于车辆的测距方法及装置
CN113459951A (zh) 车外环境显示方法和装置、车辆、设备和存储介质
CN116403188A (zh) 一种汽车a柱盲区图像生成方法、装置、设备及存储介质
CN116486351A (zh) 行车预警方法、装置、设备及存储介质
CN115147809B (zh) 一种障碍物检测方法、装置、设备以及存储介质
CN113298044B (zh) 基于定位补偿的障碍物检测方法、系统、设备及存储介质
TWI773288B (zh) 識別停車位的方法及其系統
CN115493614A (zh) 航迹线的显示方法、装置、存储介质及电子设备
CN115171384A (zh) 一种车载显示过程中关键车位置延迟补偿方法及装置
CN110614951A (zh) 一种车辆周围环境重建的镜头转换方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination