CN111739101B - 一种消除车辆a柱盲区的装置和方法 - Google Patents

一种消除车辆a柱盲区的装置和方法 Download PDF

Info

Publication number
CN111739101B
CN111739101B CN202010397855.8A CN202010397855A CN111739101B CN 111739101 B CN111739101 B CN 111739101B CN 202010397855 A CN202010397855 A CN 202010397855A CN 111739101 B CN111739101 B CN 111739101B
Authority
CN
China
Prior art keywords
driver
binocular
column
camera
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010397855.8A
Other languages
English (en)
Other versions
CN111739101A (zh
Inventor
王银
李丽娟
孙志毅
孙前来
王健安
胡啸
陈云龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Science and Technology
Original Assignee
Taiyuan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Science and Technology filed Critical Taiyuan University of Science and Technology
Priority to CN202010397855.8A priority Critical patent/CN111739101B/zh
Publication of CN111739101A publication Critical patent/CN111739101A/zh
Application granted granted Critical
Publication of CN111739101B publication Critical patent/CN111739101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种消除车辆A柱盲区的装置及方法，通过在车内左右A柱上分别安装双目相机模块，能准确识别驾驶员双眼及双眼距左右A柱距离，结合A柱尺寸，准确计算出驾驶员A柱盲区；根据A柱盲区信息，结合外部广角相机提供的A柱外侧图像信息，计算出驾驶员实际盲区图像，并在柔性显示屏上显示，能有效地提高车辆驾驶安全性能。

Description

一种消除车辆A柱盲区的装置和方法
技术领域
本发明涉及车辆安全技术领域，更具体地说，涉及一种消除车辆A柱盲区的装置和方法。
背景技术
车辆A柱是保证车辆安全的重要部位,但车辆A柱的存在遮挡了驾驶员视线，带来了极大的安全隐患，A柱盲区是导致交通事故的一个重要因素。
目前相关技术中，有A柱盲区视镜方法，通过镜面反射原理观察A柱盲区，该方法会导致图像失真，容易使驾驶员产生错误的判断；有通过在车身外部安装摄像头，并在中控台屏幕显示A柱外盲区图像方法，该方法会导致驾驶员将注意力转移到中控屏上，不利于安全驾驶；有通过在车身外部安装摄像头，并在A柱装饰板上安装显示屏的方法，由于驾驶员座椅前后位置不同、头部位置及姿态的不同，都会导致盲区的位置发生变化，因此该方法并不能准确呈现驾驶员的实际盲区。有通过在车身外部及内部安装摄像头，内部摄像头用于识别驾驶员双眼位置，根据双眼位置来控制旋转机构带动A柱盲区外摄像头进行转动来调整盲区影像，该方法并没有计算驾驶员眼睛距离A柱距离，不能准确计算驾驶员的实际盲区。
发明内容
本发明目的是提供一种消除车辆A柱盲区的装置及方法，提高车辆行驶安全性。
本发明解决其技术问题所采用的技术方案是：构造一种消除车辆A柱盲区的装置，包括：第一双目摄像模块、第二双目摄像模块、第一广角相机、第二广角相机、第一柔性显示屏、第二柔性显示屏及控制器；
其中，第一广角相机安装于左侧A柱的车外侧，第二广角相机安装于右侧A柱的车外侧；第一双目摄像模块安装于左侧A柱的车内侧装饰板上，第二双目摄像模块安装于右侧A柱的车内侧装饰板上；第一柔性显示屏安装于左侧A柱的车内侧装饰板上，宽度与A柱宽度相等；第二柔性显示屏安装于右侧A柱的车内侧装饰板上，宽度与A柱宽度相等；
控制器接收第一双目摄像模块、第二双目摄像模块拍摄的驾驶员图像，获取驾驶员眼部位置及双眼距离左右A柱距离信息；根据驾驶员眼部位置及双眼距离左右A柱距离信息及A柱尺寸，进行立体校正及全局立体匹配，计算匹配点视差，分别计算驾驶员双眼实际坐标，确定驾驶员实际盲区信息；根据驾驶员实际盲区信息，对第一广角相机、第二广角相机获取的A柱外侧图像信息进行截取，获取实际盲区图像信息，并在第一柔性显示屏、第二柔性显示屏上显示盲区图像信息。
其中，第一双目摄像模块和第二双目摄像模块均包括两个单目摄像机。
本发明解决其技术问题所采用的技术方案是：构造一种消除车辆A柱盲区的方法，利用如前述技术方案所述的消除车辆A柱盲区的装置进行车辆A柱盲区消除，包括步骤：
分别对第一双目摄像模块和第二双目摄像模块的两个单目摄像机进行标定，得到单目摄像机的内参和外参；
利用标记驾驶员双目位置的图像集训练卷积神经网络模型YOLOV3；
利用第一双目摄像模块和第二双目摄像模块分别采集实时驾驶员图像，并传输到训练好的卷积神经网络模型YOLOV3，检测实时驾驶员图像中驾驶员双目位置；
采用全局立体匹配算法对检测到驾驶员双目位置的实时驾驶员图像进行匹配，获取视差图；
依据检测到的驾驶员双眼位置及获取的视差图，计算驾驶员双眼与车辆A柱之间的距离；
计算驾驶员双目与第一双目摄像模块和第二双目摄像模块的单目射线机基线之间的夹角，及驾驶员被车辆A柱挡住的盲区角度，从第一广角相机和第二广角相机获取的图像中截取图像，并相应的显示于第一柔性显示屏和第二柔性显示屏上。
其中，单目摄像机的内参和外参的步骤中，包括步骤：
依据世界坐标系、相机坐标系和像素坐标系之间的变换关系，将空间中的三维点P(X Y Z)变换为图像中的二维点p(u,v)；
Figure BDA0002488249440000031
其中，s为尺度因子，f为相机焦距，dx和dy为相机单个感光元器件的宽和高，u0和v0为成像坐标系原点对应于像素坐标系中的坐标。矩阵K为相机内参矩阵，R为旋转矩阵，T为平移矩阵，矩阵B称为相机外参矩阵；
二维棋盘格标定法中的图像平面与标定物棋盘格平面二者的单应性投影关系为：
sp＝K[R T]P＝HP
根据棋盘格的4～8个固定角点坐标，解得单应性矩阵H；
根据单应性矩阵H求得内参矩阵K、旋转矩阵R、平移矩阵T；计算畸变系数，针对径向畸变：
Figure BDA0002488249440000032
Figure BDA0002488249440000033
其中，(u,v)表示理想状态下的像素坐标，没有因为畸变产生影响；
Figure BDA0002488249440000041
代表了因畸变作用而产生影响的实际状态下的像素坐标。k1和k2是前两阶的畸变参数；
转化为矩阵形式
Figure BDA0002488249440000042
记为：
Dk＝d
则：
k＝[k1 k2]T＝(DTD)-1DTd
根据图像每一像素点坐标，计算得畸变系数k1,k2。
其中，训练卷积神经网络模型YOLOV3的步骤包括：
获取标记驾驶员双目位置的图像集并进行预处理；其中，图像集是多位不同身高的驾驶员在驾驶座上的图像集合；
预处理后的图像集随机分为训练集和测试集，输入到卷积神经网络模型YOLOV3中，调整卷积神经网络模型的参数，得到训练后的卷积神经网络模型YOLOV3中；
根据训练结果调整参数，直至满足检测精度。
其中，在获取视差图的步骤中，包括步骤：
采用极线校正方法对检测到驾驶员双目位置的实时驾驶员图像进行立体校正，校正矩阵为：
Figure BDA0002488249440000043
其中，Rrect为变换正交矩阵，rl，rr为左右相机的合成旋转矩阵；
Figure BDA0002488249440000044
其中，e1为两个成像平面主点之间的方向向量，e2与e1正交，表示为
Figure BDA0002488249440000051
向量e3则由e1和e2叉乘得到：
e3＝e1×e2
利用畸变系数对图像进行畸变校正：
x'＝x·(1+k1r2+k2r4)
y'＝y·(1+k1r2+k2r4)
采用全局立体匹配算法，构建能量函数
Figure BDA0002488249440000052
其中，fp,fq为视差，Dp(fp)表示像素点p在视差为fp时的匹配代价，V为平滑约束，表示邻近像素点数据之间的相互作用；
构造基于动态规划的能量函数，在视差空间上找寻对应点
Figure BDA0002488249440000053
其中，C(p,D p)为像素点的代价值，可用下式计算得到
C(p,d)＝min(d(p,p-d,IL,IR),d(p-d),p,IL,IR)
Figure BDA0002488249440000054
利用能量函数对图像中所有像素进行视差值计算，得到整幅图的视差图，公式如下：
Figure BDA0002488249440000055
其中，Lr(p,d)为沿当前方向视差值为d时的最小代价值。
其中，计算驾驶员双眼与车辆A柱之间的距离的步骤中，包括步骤：
在检测到驾驶员双目位置的实时驾驶员图像中，计算驾驶员双眼位置，分别计算双眼中心点坐标位置；
依据相似三角形原理，计算双目在坐标系中的位置P(X Y Z)；
Figure BDA0002488249440000061
Figure BDA0002488249440000062
Figure BDA0002488249440000063
其中，b为左右相机光心之间的距离，(cx,cy)为相机坐标系原点，(xl,yl)为P点在成像平面上的投影。
其中，根据双目的坐标位置信息，计算双目与A柱之间的相对位置，即左眼、右眼与双目相机基线之间的夹角：
Figure BDA0002488249440000064
θl、θr分别是左右眼与双目相机基线之间的夹角；
驾驶员被A柱挡住的盲区角度为
θm＝|θl-θr|
本发明相对于现有技术，具体有益效果体现在：
本发明所述的一种消除车辆A柱盲区的装置及方法，通过在车内左右A柱上分别安装双目相机模块，能准确识别驾驶员双眼及双眼距左右A柱距离，结合A柱尺寸，准确计算出驾驶员A柱盲区；根据A柱盲区信息，结合外部广角相机提供的A柱外侧图像信息，计算出驾驶员实际盲区图像，并在柔性显示屏上显示，能有效地提高车辆驾驶安全性能。
附图说明
下面将结合附图及实施例对本发明作进一步说明，附图中：
图1是本发明提供的一种消除车辆A柱盲区的装置的结构示意图。
图2是本发明提供的一种消除车辆A柱盲区的装置的广角相机安装位置示意图。
图3是本发明提供的一种消除车辆A柱盲区的装置的双目摄像模块和柔性显示屏的安装位置示意图。
图4是本发明提供的一种消除车辆A柱盲区的方法的流程示意图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本发明的具体实施方式。
参阅图1-3，本发明提供了一种消除车辆A柱盲区的装置，包括：第一双目摄像模块、第二双目摄像模块、第一广角相机、第二广角相机、第一柔性显示屏、第二柔性显示屏及控制器；第一广角相机、第二广角相机的安装位置如图2所示，第一双目摄像模块、第二双目摄像模块、第一柔性显示屏、第二柔性显示屏的安装位置如图3所示。控制器可集成于车辆控制台内部，与其余模块之间电连接，如图1所示。
其中，第一广角相机安装于左侧A柱的车外侧，第二广角相机安装于右侧A柱的车外侧；第一双目摄像模块安装于左侧A柱的车内侧装饰板上，第二双目摄像模块安装于右侧A柱的车内侧装饰板上；第一柔性显示屏安装于左侧A柱的车内侧装饰板上，宽度与A柱宽度相等；第二柔性显示屏安装于右侧A柱的车内侧装饰板上，宽度与A柱宽度相等；
控制器接收第一双目摄像模块、第二双目摄像模块拍摄的驾驶员图像，获取驾驶员眼部位置及双眼距离左右A柱距离信息；根据驾驶员眼部位置及双眼距离左右A柱距离信息及A柱尺寸，进行立体校正及全局立体匹配，计算匹配点视差，分别计算驾驶员双眼实际坐标，确定驾驶员实际盲区信息；根据驾驶员实际盲区信息，对第一广角相机、第二广角相机获取的A柱外侧图像信息进行截取，获取实际盲区图像信息，并在第一柔性显示屏、第二柔性显示屏上显示盲区图像信息。
其中，第一双目摄像模块和第二双目摄像模块均包括两个单目摄像机。
如图4所示，本发明基于上述装置进行车辆A柱消除，方法步骤包括：
S110：分别对第一双目摄像模块和第二双目摄像模块的两个单目摄像机进行标定，得到单目摄像机的内参和外参。
依据世界坐标系、相机坐标系和像素坐标系之间的变换关系，将空间中的三维点P(X Y Z)变换为图像中的二维点p(u,v)；
Figure BDA0002488249440000081
其中，s为尺度因子，f为相机焦距，dx和dy为相机单个感光元器件的宽和高，u0和v0为成像坐标系原点对应于像素坐标系中的坐标。矩阵K为相机内参矩阵，R为旋转矩阵，T为平移矩阵，矩阵B称为相机外参矩阵；
二维棋盘格标定法中的图像平面与标定物棋盘格平面二者的单应性投影关系为：
sp＝K[R T]P＝HP
根据棋盘格的4～8个固定角点坐标，解得单应性矩阵H；
根据单应性矩阵H求得内参矩阵K、旋转矩阵R、平移矩阵T；计算畸变系数，针对径向畸变：
Figure BDA0002488249440000082
/>
Figure BDA0002488249440000091
其中，(u,v)表示理想状态下的像素坐标，没有因为畸变产生影响；
Figure BDA0002488249440000092
代表了因畸变作用而产生影响的实际状态下的像素坐标。k1和k2是前两阶的畸变参数；
转化为矩阵形式
Figure BDA0002488249440000093
记为：
Dk＝d
则：
k＝[k1 k2]T＝(DTD)-1DTd
根据图像每一像素点坐标，计算得畸变系数k1,k2。
S120：利用标记驾驶员双目位置的图像集训练卷积神经网络模型YOLOV3。
获取标记驾驶员双目位置的图像集并进行预处理；其中，图像集是多位不同身高的驾驶员在驾驶座上的图像集合；
预处理后的图像集随机分为训练集和测试集，输入到卷积神经网络模型YOLOV3中，调整卷积神经网络模型的参数，得到训练后的卷积神经网络模型YOLOV3中；
根据训练结果调整参数，直至满足检测精度。
S130：利用第一双目摄像模块和第二双目摄像模块分别采集实时驾驶员图像，并传输到训练好的卷积神经网络模型YOLOV3，检测实时驾驶员图像中驾驶员双目位置。
通过双目相机采集驾驶员图像，将图像输入训练好的YOLOV3网络，检测出驾驶员双眼在左右图像中的位置。
S140：采用全局立体匹配算法对检测到驾驶员双目位置的实时驾驶员图像进行匹配，获取视差图。
采用极线校正方法对检测到驾驶员双目位置的实时驾驶员图像进行立体校正，校正矩阵为：
Figure BDA0002488249440000101
其中，Rrect为变换正交矩阵，rl，rr为左右相机的合成旋转矩阵；
Figure BDA0002488249440000102
其中，e1为两个成像平面主点之间的方向向量，e2与e1正交，表示为
Figure BDA0002488249440000103
向量e3则由e1和e2叉乘得到：
e3＝e1×e2
利用畸变系数对图像进行畸变校正：
x'＝x·(1+k1r2+k2r4)
y'＝y·(1+k1r2+k2r4)
采用全局立体匹配算法，构建能量函数
Figure BDA0002488249440000104
其中，fp,fq为视差，Dp(fp)表示像素点p在视差为fp时的匹配代价，V为平滑约束，表示邻近像素点数据之间的相互作用；
构造基于动态规划的能量函数，在视差空间上找寻对应点
Figure BDA0002488249440000105
其中，C(p,D p)为像素点的代价值，可用下式计算得到
C(p,d)＝min(d(p,p-d,IL,IR),d(p-d),p,IL,IR)
Figure BDA0002488249440000106
利用能量函数对图像中所有像素进行视差值计算，得到整幅图的视差图，公式如下：
Figure BDA0002488249440000111
其中，Lr(p,d)为沿当前方向视差值为d时的最小代价值。
S150：依据检测到的驾驶员双眼位置及获取的视差图，计算驾驶员双眼与车辆A柱之间的距离。
在检测到驾驶员双目位置的实时驾驶员图像中，计算驾驶员双眼位置，分别计算双眼中心点坐标位置；
依据相似三角形原理，计算双目在坐标系中的位置P(X Y Z)；
Figure BDA0002488249440000112
Figure BDA0002488249440000113
Figure BDA0002488249440000114
其中，b为左右相机光心之间的距离，(cx,cy)为相机坐标系原点，(xl,yl)为P点在成像平面上的投影。
S160：计算驾驶员双目与第一双目摄像模块和第二双目摄像模块的单目射线机基线之间的夹角，及驾驶员被车辆A柱挡住的盲区角度，从第一广角相机和第二广角相机获取的图像中截取图像，并相应的显示于第一柔性显示屏和第二柔性显示屏上。
根据双目的坐标位置信息，计算双目与A柱之间的相对位置，即左眼、右眼与双目相机基线之间的夹角：
Figure BDA0002488249440000115
θl、θr分别是左右眼与双目相机基线之间的夹角；
驾驶员被A柱挡住的盲区角度为θm＝|θl-θr|。
根据上述计算得到的θl,θr,θm，从第一广角相机、第二广角相机所获取图像中截取图像，并显示于第一柔性显示屏和第二柔性显示屏上。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (6)

1.一种消除车辆A柱盲区的装置，其特征在于，包括：第一双目摄像模块、第二双目摄像模块、第一广角相机、第二广角相机、第一柔性显示屏、第二柔性显示屏及控制器；
其中，第一广角相机安装于左侧A柱的车外侧，第二广角相机安装于右侧A柱的车外侧；第一双目摄像模块安装于左侧A柱的车内侧装饰板上，第二双目摄像模块安装于右侧A柱的车内侧装饰板上；第一柔性显示屏安装于左侧A柱的车内侧装饰板上，宽度与A柱宽度相等；第二柔性显示屏安装于右侧A柱的车内侧装饰板上，宽度与A柱宽度相等；
控制器接收第一双目摄像模块、第二双目摄像模块拍摄的驾驶员图像，获取驾驶员眼部位置及双眼距离左右A柱距离信息；根据驾驶员眼部位置及双眼距离左右A柱距离信息及A柱尺寸，进行立体校正及全局立体匹配，计算匹配点视差，分别计算驾驶员双眼实际坐标，确定驾驶员实际盲区信息；根据驾驶员实际盲区信息，对第一广角相机、第二广角相机获取的A柱外侧图像信息进行截取，获取实际盲区图像信息，并在第一柔性显示屏、第二柔性显示屏上显示盲区图像信息；
第一双目摄像模块和第二双目摄像模块均包括两个单目摄像机；
利用上述的消除车辆A柱盲区的装置进行车辆A柱盲区消除的方法，包括：
分别对第一双目摄像模块和第二双目摄像模块的两个单目摄像机进行标定，得到单目摄像机的内参和外参；
利用标记驾驶员双目位置的图像集训练卷积神经网络模型YOLOV3；
利用第一双目摄像模块和第二双目摄像模块分别采集实时驾驶员图像，并传输到训练好的卷积神经网络模型YOLOV3，检测实时驾驶员图像中驾驶员双目位置；
采用全局立体匹配算法对检测到驾驶员双目位置的实时驾驶员图像进行匹配，获取视差图；
依据检测到的驾驶员双眼位置及获取的视差图，计算驾驶员双眼与车辆A柱之间的距离；
计算驾驶员双目与第一双目摄像模块和第二双目摄像模块的单目射线机基线之间的夹角，及驾驶员被车辆A柱挡住的盲区角度，从第一广角相机和第二广角相机获取的图像中截取图像，并相应的显示于第一柔性显示屏和第二柔性显示屏上。
2.根据权利要求1所述的消除车辆A柱盲区的装置，其特征在于，单目摄像机的内参和外参的步骤中，包括步骤：
依据世界坐标系、相机坐标系和像素坐标系之间的变换关系，将空间中的三维点P(XYZ)变换为图像中的二维点p(u,v)；
Figure QLYQS_1
其中，s为尺度因子，f为相机焦距，dx和dy为相机单个感光元器件的宽和高，u0和v0为成像坐标系原点对应于像素坐标系中的坐标，矩阵K为相机内参矩阵，R为旋转矩阵，T为平移矩阵，矩阵B称为相机外参矩阵；
二维棋盘格标定法中的图像平面与标定物棋盘格平面二者的单应性投影关系为：
sp＝K[R T]P＝HP
根据棋盘格的4～8个固定角点坐标，解得单应性矩阵H；
根据单应性矩阵H求得内参矩阵K、旋转矩阵R、平移矩阵T；
计算畸变系数，针对径向畸变：
Figure QLYQS_2
Figure QLYQS_3
其中，(u,v)表示理想状态下的像素坐标，没有因为畸变产生影响；
Figure QLYQS_4
代表了因畸变作用而产生影响的实际状态下的像素坐标，k1和k2是前两阶的畸变参数；
转化为矩阵形式
Figure QLYQS_5
记为：
Dk＝d
则：
k＝[k1 k2]T＝(DTD)-1DTd
根据图像每一像素点坐标，计算得畸变系数k1,k2。
3.根据权利要求1所述的消除车辆A柱盲区的装置，其特征在于，训练卷积神经网络模型YOLOV3的步骤包括：
获取标记驾驶员双目位置的图像集并进行预处理；其中，图像集是多位不同身高的驾驶员在驾驶座上的图像集合；
预处理后的图像集随机分为训练集和测试集，输入到卷积神经网络模型YOLOV3中，调整卷积神经网络模型的参数，得到训练后的卷积神经网络模型YOLOV3中；
根据训练结果调整参数，直至满足检测精度。
4.根据权利要求1所述的消除车辆A柱盲区的装置，其特征在于，在获取视差图的步骤中，包括步骤：
采用极线校正方法对检测到驾驶员双目位置的实时驾驶员图像进行立体校正，校正矩阵为：
Figure QLYQS_6
其中，Rrect为变换正交矩阵，rl，rr为左右相机的合成旋转矩阵；
Figure QLYQS_7
其中，e1为两个成像平面主点之间的方向向量，e2与e1正交，表示为
Figure QLYQS_8
向量e3则由e1和e2叉乘得到：
e3＝e1×e2
利用畸变系数对图像进行畸变校正：
x'＝x·(1+k1r2+k2r4)
y'＝y·(1+k1r2+k2r4)
采用全局立体匹配算法，构建能量函数
Figure QLYQS_9
其中，fp,fq为视差，Dp(fp)表示像素点p在视差为fp时的匹配代价，V为平滑约束，表示邻近像素点数据之间的相互作用；
构造基于动态规划的能量函数，在视差空间上找寻对应点
Figure QLYQS_10
其中，C(p,Dp)为像素点的代价值，可用下式计算得到
C(p,d)＝min(d(p,p-d,IL,IR),d(p-d),p,IL,IR)
Figure QLYQS_11
利用能量函数对图像中所有像素进行视差值计算，得到整幅图的视差图，公式如下：
Figure QLYQS_12
其中，Lr(p,d)为沿当前方向视差值为d时的最小代价值。
5.根据权利要求4所述的消除车辆A柱盲区的装置，其特征在于，计算驾驶员双眼与车辆A柱之间的距离的步骤中，包括步骤：
在检测到驾驶员双目位置的实时驾驶员图像中，计算驾驶员双眼位置，分别计算双眼中心点坐标位置；
依据相似三角形原理，计算双目在坐标系中的位置P(XYZ)；
Figure QLYQS_13
Figure QLYQS_14
Figure QLYQS_15
其中，b为左右相机光心之间的距离，(cx,cy)为相机坐标系原点，(xl,yl)为P点在成像平面上的投影。
6.根据权利要求5所述的消除车辆A柱盲区的装置，其特征在于，根据双目的坐标位置信息，计算双目与A柱之间的相对位置，即左眼、右眼与双目相机基线之间的夹角：
Figure QLYQS_16
θl、θr分别是左右眼与双目相机基线之间的夹角；
驾驶员被A柱挡住的盲区角度为
θm＝|θl-θr|。
CN202010397855.8A 2020-05-12 2020-05-12 一种消除车辆a柱盲区的装置和方法 Active CN111739101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010397855.8A CN111739101B (zh) 2020-05-12 2020-05-12 一种消除车辆a柱盲区的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010397855.8A CN111739101B (zh) 2020-05-12 2020-05-12 一种消除车辆a柱盲区的装置和方法

Publications (2)

Publication Number Publication Date
CN111739101A CN111739101A (zh) 2020-10-02
CN111739101B true CN111739101B (zh) 2023-06-02

Family

ID=72647122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010397855.8A Active CN111739101B (zh) 2020-05-12 2020-05-12 一种消除车辆a柱盲区的装置和方法

Country Status (1)

Country Link
CN (1) CN111739101B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112465921A (zh) * 2020-12-14 2021-03-09 南京理工大学 一种车辆驾驶员前方视野测量装置及方法
CN112896045A (zh) * 2021-01-26 2021-06-04 安信通科技（澳门）有限公司 一种车辆a柱盲区透视方法、系统及车辆
CN113239735B (zh) * 2021-04-15 2024-04-12 重庆利龙中宝智能技术有限公司 一种基于双目摄像头的汽车透明a柱系统及实现方法
CN113335184A (zh) * 2021-07-08 2021-09-03 合众新能源汽车有限公司 一种汽车a柱盲区的影像生成方法和装置
CN113676618A (zh) * 2021-08-20 2021-11-19 东北大学 一种透明a柱的智能显示系统及方法
CN113844365A (zh) * 2021-11-15 2021-12-28 盐城吉研智能科技有限公司 一种汽车前视双侧盲区可视化方法
CN113829997B (zh) * 2021-11-16 2023-07-25 合众新能源汽车股份有限公司 车外影像的显示方法及装置、曲面屏及车辆

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106646924A (zh) * 2016-12-21 2017-05-10 上海理工大学 汽车盲区指示眼镜以及汽车盲区指示系统
CN206465860U (zh) * 2017-02-13 2017-09-05 北京惠泽智业科技有限公司 一种消除汽车a柱盲区设备
CN110321877A (zh) * 2019-06-04 2019-10-11 中北大学 一种三目后视镜和三目视觉安全驾驶方法和系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4810953B2 (ja) * 2005-10-07 2011-11-09 日産自動車株式会社 車両用死角映像表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106646924A (zh) * 2016-12-21 2017-05-10 上海理工大学 汽车盲区指示眼镜以及汽车盲区指示系统
CN206465860U (zh) * 2017-02-13 2017-09-05 北京惠泽智业科技有限公司 一种消除汽车a柱盲区设备
CN110321877A (zh) * 2019-06-04 2019-10-11 中北大学 一种三目后视镜和三目视觉安全驾驶方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
汽车A柱的盲区消除与安全设计;纵科展;凤鹏飞;;科技风(第24期);全文 *

Also Published As

Publication number Publication date
CN111739101A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN111739101B (zh) 一种消除车辆a柱盲区的装置和方法
CN109688392B (zh) Ar-hud光学投影系统及映射关系标定方法和畸变矫正方法
US9729858B2 (en) Stereo auto-calibration from structure-from-motion
US8704882B2 (en) Simulated head mounted display system and method
KR101265667B1 (ko) 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
JP5455124B2 (ja) カメラ姿勢パラメータ推定装置
JP6522630B2 (ja) 車両の周辺部を表示するための方法と装置、並びに、ドライバー・アシスタント・システム
JP5874920B2 (ja) 車両周囲確認用モニター装置
CN202035096U (zh) 移动机械的移动操作监控系统
WO2013081287A1 (ko) 3ｄ 차량 주변 영상 생성 방법 및 장치
JP5011049B2 (ja) 画像処理システム
WO2023071834A1 (zh) 用于显示设备的对齐方法及对齐装置、车载显示系统
CN105825475A (zh) 基于单摄像头的360度全景影像生成方法
CN102163331A (zh) 采用标定方法的图像辅助系统
JP2011182236A (ja) カメラキャリブレーション装置
CN101487895B (zh) 显示鸟瞰车辆图像的倒车雷达系统
KR101583663B1 (ko) 차량용 카메라의 교정판 제공 방법
CN114007054B (zh) 车载屏幕画面投影矫正的方法及装置
US20170299873A1 (en) Dynamic eyebox correction for automotive head-up display
US20160037154A1 (en) Image processing system and method
CN111664839B (zh) 车载抬头显示虚像距离测量方法
EP3326146B1 (en) Rear cross traffic - quick looks
US20170024851A1 (en) Panel transform
WO2018222122A1 (en) Methods for perspective correction, computer program products and systems
CN111405263A (zh) 一种双摄像头结合共用于增强抬头显示的方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant