CN106915303B - 基于深度数据和鱼眼图像的汽车a柱盲区透视方法 - Google Patents

基于深度数据和鱼眼图像的汽车a柱盲区透视方法 Download PDF

Info

Publication number
CN106915303B
CN106915303B CN201710047056.6A CN201710047056A CN106915303B CN 106915303 B CN106915303 B CN 106915303B CN 201710047056 A CN201710047056 A CN 201710047056A CN 106915303 B CN106915303 B CN 106915303B
Authority
CN
China
Prior art keywords
image
head
depth
driver
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710047056.6A
Other languages
English (en)
Other versions
CN106915303A (zh
Inventor
秦学斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Faxiang Technology Co.,Ltd.
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN201710047056.6A priority Critical patent/CN106915303B/zh
Publication of CN106915303A publication Critical patent/CN106915303A/zh
Application granted granted Critical
Publication of CN106915303B publication Critical patent/CN106915303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及基于深度数据和鱼眼图像的汽车A柱盲区透视方法，其包括(1)、获取前景深度信息；(2)、对前景深度信息进行去噪处理，通过位置关系，提取头部位置的二值图像，实时计算驾驶员与深度摄像头的距离；(3)、采集鱼眼视频流数据，将采集到的鱼眼视频流数据的每一帧图像基于球面模型依次校正径向误差、切向误差、光心误差后生成球面图像；(4)、以深度摄像头探测的头部移动的距离构成以深度摄像头为坐标中心的世界坐标系；(5)、将获取头部x、y、z坐标作为球面图像的球心，z为球面图像的焦距，生成不同视角大小的透视图像；(6)、实时检测司机的头部移动是否超出预先设置的范围，若超出，则通过报警模块发出警报。

Description

基于深度数据和鱼眼图像的汽车A柱盲区透视方法
技术领域
本发明属于汽车安全领域，具体涉及基于深度数据和鱼眼图像的汽车A柱盲区透视方法。
背景技术
总所周知，汽车有A柱、B柱和C柱。驾驶员在驾驶中经常会受到A柱盲区的干扰。
汽车盲区透视系统在国内有一定的研究基础，杭州鸿泉数字设备有限公司设计的鸿泉盲区监控系统。大众和一汽公司也进行了相关的研究，但是他们设计的系统都存在以下一些共同的问题：
1、大多数系统在汽车上安装固定的摄像头，人体移动的时候只能看到固定的画面，缺乏真实感；
2、人体在远离或靠近摄像头时，摄像头所呈现的画面没有改变；
3、对人体移动来说，缺乏深度信息；从司机观察角度来说，视角比较小。
发明内容
发明目的：本发明针对上述现有技术存在的问题做出改进，即本发明公开了基于深度数据和鱼眼图像的汽车A柱盲区透视方法。
为了解决上述问题，选取了韩国meerecompany公司的Cube eye深度摄像头、PC机以及鱼眼相机搭建了一个透视系统：
其中采用Cube eye深度摄像头采集深度数据视频信息，采用鱼眼相机获取鱼眼视频流数据，
深度摄像头设于司机座位的右上方，能监测到司机头部和基本的肢体运动，
鱼眼相机设于车辆A柱的中央，镜头对外，镜头光心方向与地面平行,
深度摄像头的输出端、鱼眼相机的输出端与通过USB通信方式与PC机通信互联，PC机的输出端通过蓝牙与报警模块的输入端相连。当检测到司机头部超出范围，则通过蓝牙发出报警信息，报警模块(喇叭)随即发出警报。
技术方案：基于深度数据和鱼眼图像的汽车A柱盲区透视方法，包括以下步骤：
(1)、获取前景深度信息；
(2)、对步骤(1)得到的前景深度信息进行去噪处理，通过位置关系，提取头部位置的二值图像，实时计算驾驶员与深度摄像头的距离；
(3)、通过鱼眼相机采集鱼眼视频流数据，将采集到的鱼眼视频流数据的每一帧图像基于球面模型依次校正径向误差、切向误差、光心误差后生成球面图像；
(4)、以深度摄像头探测的头部移动的距离构成以深度摄像头为坐标中心的世界坐标系，得到x、y、z三个坐标值；
(5)、将获取头部x、y、z坐标作为球面图像的球心，z为球面图像的焦距，生成不同视角大小的透视图像；
(6)、实时检测司机的头部移动是否超出预先设置的范围，若超出，则通过报警模块发出警报。
进一步地，步骤(1)包括以下步骤：
(11)通过深度摄像头实时采集深度数据视频流；
(12)将采集的深度数据视频流的每一帧图像采用高斯滤波获取滤波图像；
(13)对所得的高斯图像与背景图像进行差分得到差分图像，
(14)将差分图像进行拉伸变换得到拉伸后的差分图像；
(15)将将拉伸后的差分图像进行腐蚀膨胀滤波，计算图像的平均像素值作为阈值，基于该阈值获取二值图像；
(16)将二值图像中的小块区域去除，获取二值图像中的大块区域，其中：大块区域包括驾驶员的头部和身体部分；
(17)从二值图像的第一行开始扫描，获取最大程度接近椭圆的部分作为驾驶员头部区域，即得到前景深度信息。
有益效果：本发明公开的基于深度数据和鱼眼图像的汽车A柱盲区透视方法具有以下有益效果：
1、深度相机和鱼眼相机都连接在PC上，所以使得整个系统快速可靠；
2、不仅可以实时检测人的头部坐标，即驾驶员头部移动信息，同时借助于球面模型可以实时生成透视图像，消除汽车的A柱盲区；
3、提出了基于深度数据的人体头部检测方法。
附图说明
图1为透视系统的示意图；
图2为本发明公开的基于深度数据和鱼眼图像的汽车A柱盲区透视方法的流程图；
图3是获取前景深度信息的流程图；
图4是基于球面图像的透视图像示意图。
具体实施方式：
下面对本发明的具体实施方式详细说明。
如图1所示，选取了韩国meerecompany公司的Cube eye深度摄像头、PC机以及鱼眼相机搭建了一个透视系统：
其中采用Cube eye深度摄像头采集深度数据视频信息，采用鱼眼相机获取鱼眼视频流数据，
深度摄像头设于司机座位的右上方，能监测到司机头部和基本的肢体运动，
鱼眼相机设于车辆A柱的中央，镜头对外，镜头光心方向与地面平行,
深度摄像头的输出端、鱼眼相机的输出端与通过USB通信方式与PC机通信互联，PC机的输出端通过蓝牙与报警模块的输入端相连。当检测到司机头部超出范围，则通过蓝牙发出报警信息，报警模块(喇叭)随即发出警报。
如图2所示，基于深度数据和鱼眼图像的汽车A柱盲区透视方法，包括以下步骤：
(1)、获取前景深度信息；
(2)、对步骤(1)得到的前景深度信息进行去噪处理，通过位置关系，提取头部位置的二值图像，实时计算驾驶员与深度摄像头的距离；
(3)、通过鱼眼相机采集鱼眼视频流数据，将采集到的鱼眼视频流数据的每一帧图像基于球面模型依次校正径向误差、切向误差、光心误差后生成球面图像；
(4)、以深度摄像头探测的头部移动的距离构成以深度摄像头为坐标中心的世界坐标系，得到x、y、z三个坐标值；
(5)、将获取头部x、y、z坐标作为球面图像的球心，z为球面图像的焦距，生成不同视角大小的透视图像；
(6)、实时检测司机的头部移动是否超出预先设置的范围，若超出，则通过报警模块发出警报。
进一步地，如图3所示，步骤(1)包括以下步骤：
(11)通过深度摄像头实时采集深度数据视频流；
(12)将采集的深度数据视频流的每一帧图像采用高斯滤波获取滤波图像；
(13)对所得的高斯图像与背景图像进行差分得到差分图像，
(14)将差分图像进行拉伸变换得到拉伸后的差分图像，即将差分图像中最大值映射到255，最小值映射到0；
(15)将将拉伸后的差分图像进行腐蚀膨胀滤波，计算图像的平均像素值作为阈值，基于该阈值获取二值图像，即大于该阈值为255小于该阈值为0；
(16)将二值图像中的小块区域去除，获取二值图像中的大块区域，其中：大块区域包括驾驶员的头部和身体部分；
(17)从二值图像的第一行开始扫描，获取最大程度接近椭圆的部分作为驾驶员头部区域，即得到前景深度信息。
步骤(2)根据头部图像块计算头部二值图像的重心(x,y)，再次统计头部图像块中每个像素的深度信息，
假设图像块中有n个像素，Pn对应的深度值，则深度信息即z为头部到相机的距离。本系统假设驾驶员正坐时检测到头部和相机之间的距离为1.4m，此时的焦距为f＝220像素值，
距离是指深度图像上像素的值，重心是指通过差分图像得到的二值图像后获取头部区域的重心位置。在二值图像上计算的重心位置即头部的中心，该位置在深度图像上对应于像素点的值为头部到相机的距离。所以距离值深度图像上的值，重心是二值图像上的位置。
如图4所示，步骤(5)中，当检测到头部远离相机时，距离为d0(d0>1.4m)，焦距f发生变化，即f＝220+(d0-1.4)*50；当检测到头部靠近相机时，距离为d0(d0<1.4m)，焦距f发生变化，即f＝220-(1.4-d0)*50；即深度图像宽为x0，长为y0。则深度图像的中心坐标(x0/2,y0/2)作为球面模型的球心，即为视点方向,球的半径为f。当视点方向改变时，即(x0/2+Δx,y0/2+Δy)计算出鱼眼图像上对应坐标(xs，ys)，借助于球面模型将鱼眼图像投影到球面模型上计算鱼眼图像上对应极坐标为(θ，β)。进一步基于坐标(θ，β)为中心点，获取透视图像。
上面对本发明的实施方式做了详细说明。但是本发明并不限于上述实施方式，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (2)

1.基于深度数据和鱼眼图像的汽车A柱盲区透视方法，其特征在于，包括以下步骤：
(1)、获取前景深度信息；
(2)、对步骤(1)得到的前景深度信息进行去噪处理，通过位置关系，提取头部位置的二值图像，实时计算驾驶员与深度摄像头的距离；
(3)、通过鱼眼相机采集鱼眼视频流数据，将采集到的鱼眼视频流数据的每一帧图像基于球面模型依次校正径向误差、切向误差、光心误差后生成球面图像；
(4)、以深度摄像头探测的头部移动的距离构成以深度摄像头为坐标中心的世界坐标系，得到x、y、z三个坐标值；
(5)、将获取头部x、y、z坐标作为球面图像的球心，z为球面图像的焦距，生成不同视角大小的透视图像；
(6)、实时检测司机的头部移动是否超出预先设置的范围，若超出，则通过报警模块发出警报。
2.根据权利要求1所述的基于深度数据和鱼眼图像的汽车A柱盲区透视方法，其特征在于，步骤(1)包括以下步骤：
(11)通过深度摄像头实时采集深度数据视频流；
(12)将采集的深度数据视频流的每一帧图像采用高斯滤波获取滤波图像；
(13)对所得的高斯图像与背景图像进行差分得到差分图像，
(14)将差分图像进行拉伸变换得到拉伸后的差分图像；
(15)将将拉伸后的差分图像进行腐蚀膨胀滤波，计算图像的平均像素值作为阈值，基于该阈值获取二值图像；
(16)将二值图像中的小块区域去除，获取二值图像中的大块区域，其中：大块区域包括驾驶员的头部和身体部分；
(17)从二值图像的第一行开始扫描，获取最大程度接近椭圆的部分作为驾驶员头部区域，即得到前景深度信息。
CN201710047056.6A 2017-01-22 2017-01-22 基于深度数据和鱼眼图像的汽车a柱盲区透视方法 Active CN106915303B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710047056.6A CN106915303B (zh) 2017-01-22 2017-01-22 基于深度数据和鱼眼图像的汽车a柱盲区透视方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710047056.6A CN106915303B (zh) 2017-01-22 2017-01-22 基于深度数据和鱼眼图像的汽车a柱盲区透视方法

Publications (2)

Publication Number Publication Date
CN106915303A CN106915303A (zh) 2017-07-04
CN106915303B true CN106915303B (zh) 2018-11-16

Family

ID=59453295

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710047056.6A Active CN106915303B (zh) 2017-01-22 2017-01-22 基于深度数据和鱼眼图像的汽车a柱盲区透视方法

Country Status (1)

Country Link
CN (1) CN106915303B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109857244B (zh) * 2017-11-30 2023-09-01 百度在线网络技术（北京）有限公司 一种手势识别方法、装置、终端设备、存储介质及vr眼镜
CN110798655A (zh) * 2018-08-02 2020-02-14 中华映管股份有限公司 消除移动载具a柱盲区的行车图像系统及其图像处理方法
CN110723073B (zh) * 2019-10-19 2021-05-11 西安科技大学 一种汽车a柱透视方法
CN111559314B (zh) * 2020-04-27 2021-08-24 长沙立中汽车设计开发股份有限公司 深度与图像信息融合的3d增强全景环视系统及实现方法
CN113315961B (zh) * 2021-05-26 2023-04-25 合众新能源汽车股份有限公司 用于透明a柱图像块映射的方法及装置
CN113844365A (zh) * 2021-11-15 2021-12-28 盐城吉研智能科技有限公司 一种汽车前视双侧盲区可视化方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100289631A1 (en) * 2009-05-12 2010-11-18 Ford Global Technologies, Llc Dual-mode vehicle rear vision system
DE102010023591A1 (de) * 2010-06-12 2011-12-15 Conti Temic Microelectronic Gmbh Stereokamerasystem
GB201318824D0 (en) * 2013-10-24 2013-12-11 Wheelright Ltd Tyre condition analysis
CN104090366A (zh) * 2014-07-23 2014-10-08 占舒婷 一种汽车驾驶眼镜

Also Published As

Publication number Publication date
CN106915303A (zh) 2017-07-04

Similar Documents

Publication Publication Date Title
CN106915303B (zh) 基于深度数据和鱼眼图像的汽车a柱盲区透视方法
US11967179B2 (en) System and method for detecting and removing occlusions in a three-dimensional image
CN102855774B (zh) 车辆周围监视装置
CN101216304B (zh) 物体尺寸估测之系统及方法
CN104036488B (zh) 一种基于双目视觉的人体姿态动作研究方法
CN104966062B (zh) 视频监视方法和装置
KR101478258B1 (ko) 차선 인식 방법 및 그 시스템
CN104902246A (zh) 视频监视方法和装置
JP5105481B2 (ja) 車線検出装置、車線検出方法、及び車線検出プログラム
CN104902261B (zh) 用于低清晰度视频流中的路面识别的装置和方法
CN107742097B (zh) 一种基于深度相机的人体行为识别方法
CN106295583B (zh) 一种提醒用户驾驶方式的方法及装置
CN102833486A (zh) 一种实时调节视频图像中人脸显示比例的方法及装置
US20180173982A1 (en) System and method for 1d root association providing sparsity guarantee in image data
CN106845410B (zh) 一种基于深度学习模型的火焰识别方法
CN108491810A (zh) 基于背景建模和双目视觉的车辆限高方法及系统
CN103455792A (zh) 一种客流量统计方法及系统
JP2021531601A (ja) ニューラルネットワーク訓練、視線検出方法及び装置並びに電子機器
CN104954747A (zh) 视频监视方法和装置
CN109191513A (zh) 基于全局优化的电力设备立体匹配方法
JPWO2017187694A1 (ja) 注目領域画像生成装置
US9558406B2 (en) Image processing apparatus including an object setting section, image processing method, and program using the same
CN117237597A (zh) 一种基于北斗卫星数据与ai图形融合的数据处理终端
WO2021248564A1 (zh) 一种全景大数据应用监测管控系统
AU2021303477A1 (en) Method and system of detecting obstacle elements with a visual aid device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200825

Address after: Room 5A03, 5 / F, industrial building, Xi'an University of science and technology, 58 Yanta Road, Xi'an City, Shaanxi Province 710054

Patentee after: Xi'an xiaotai Information Technology Co.,Ltd.

Address before: 710054 No. 58, Yanta Road, Shaanxi, Xi'an

Patentee before: XI'AN University OF SCIENCE AND TECHNOLOGY

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20231025

Address after: Room 617-1, 6th Floor, Building 5, Gulou Innovation Plaza, No. 18 Qingjiang South Road, Gulou District, Nanjing City, Jiangsu Province, 210036

Patentee after: Nanjing Faxiang Technology Co.,Ltd.

Address before: Room 5A03, 5th Floor, Industrial Building, Xi'an University of Science and Technology, No. 58 Yanta Road, Xi'an City, Shaanxi Province, 710054

Patentee before: Xi'an xiaotai Information Technology Co.,Ltd.

TR01 Transfer of patent right