CN106886759A - 一种应用于大型卡车的去盲区安全驾驶系统及方法 - Google Patents

一种应用于大型卡车的去盲区安全驾驶系统及方法 Download PDF

Info

Publication number
CN106886759A
CN106886759A CN201710047207.8A CN201710047207A CN106886759A CN 106886759 A CN106886759 A CN 106886759A CN 201710047207 A CN201710047207 A CN 201710047207A CN 106886759 A CN106886759 A CN 106886759A
Authority
CN
China
Prior art keywords
camera
driver
image
depth
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710047207.8A
Other languages
English (en)
Inventor
王伟峰
邓军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Science and Technology
Original Assignee
Xian University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Science and Technology filed Critical Xian University of Science and Technology
Priority to CN201710047207.8A priority Critical patent/CN106886759A/zh
Publication of CN106886759A publication Critical patent/CN106886759A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Abstract

本发明涉及一种应用于大型卡车的去盲区安全驾驶系统及方法。一种应用于大型卡车的去盲区安全驾驶系统，包括深度摄像头、PC机、两个鱼眼相机和报警模块。一种应用于大型卡车的去盲区安全驾驶方法，包括(1)、获取驾驶员的深度信息；(2)、对深度信息进行去噪处理，通过位置关系，提取驾驶员头部位置的二值图像，计算驾驶员头部与鱼眼相机之间的距离；(3)、通过鱼眼相机实时采集鱼眼视频流数据，将鱼眼图像基于球面模型别校正径向误差、切向误差、光心误差，然后生成球面图像；(4)、以深度摄像头探测的头部移动的距离构成以深度摄像头为坐标中心的世界坐标系，得到x、y、z三个坐标值；(5)、确定视点方向。

Description

一种应用于大型卡车的去盲区安全驾驶系统及方法
技术领域
本发明属于安全技术领域，具体涉及一种应用于大型卡车的去盲区安全驾驶系统及方法。
背景技术
大型卡车由于车体较长，在行驶过程中或倒车中，会出现大片区域的盲区，经常会出现事故。另一方面由于驾驶员偏离驾驶位的幅度太大而造成一些意想不到的事故。
虽然目前市场上已经出现了一些应用于卡车的安全驾驶系统，但是它们都存在一些共性问题：
1.大多数系统在汽车上安装固定的摄像头，人体移动的时候只能看到固定的画面，缺乏真实感；
2.人体在远离或靠近摄像头时，摄像头所呈现的画面没有改变；
3.当头部转动时，当转动较大时可能存在交通安全隐患，应该实时提醒；
4.对人体移动来说，缺乏深度信息；从司机观察角度来说，视角比较小。
发明内容
发明目的：本发明针对上述现有技术存在的问题做出改进，即本发明的第一个目的在于公开了一种应用于大型卡车的去盲区安全驾驶系统。本发明的第二个目的在于公开了一种应用于大型卡车的去盲区安全驾驶方法。
技术方案：一种应用于大型卡车的去盲区安全驾驶系统，包括深度摄像头、PC机、两个鱼眼相机和报警模块，
所述深度摄像头设于司机座位挡风玻璃下驾驶台前方的小平台处，
两个鱼眼相机分别设于驾驶台的两侧，两台鱼眼相机的镜头方向向外，两台相机镜头的主光轴在一条直线上，
所述深度摄像头的输出端通过USB接口与所述PC机的输出端相连，
所述鱼眼相机的输出端通过USB接口与所述PC机的输出端相连，
所述PC机的输出端与所述报警模块的输入端相连。
进一步地，所述报警模块为喇叭。
一种应用于大型卡车的去盲区安全驾驶方法，包括以下步骤：
(1)、获取驾驶员的深度信息；
(2)、对步骤(1)得到的深度信息进行去噪处理，通过位置关系，提取驾驶员头部位置的二值图像，计算驾驶员头部与鱼眼相机之间的距离；
(3)、通过鱼眼相机实时采集鱼眼视频流数据，将鱼眼图像基于球面模型分别校正径向误差、切向误差、光心误差，然后生成球面图像；
(4)、以深度摄像头探测的头部移动的距离构成以深度摄像头为坐标中心的世界坐标系，得到x、y、z三个坐标值，其中：
将获取头部x、y、z坐标作为球面图像的球心，z为球面图像的焦距；
(5)、确定视点方向
基于步骤(1)得到的深度信息对驾驶员的脸进行三维建模，以垂直于鱼眼相机方向的人脸方向为初始值，当人脸在三个方向上可能转动，垂直于人脸方向的矢量作为视线方向，结合步骤(4)得到的球面焦距信息实时生成不同视角大小的透视图像，根据头部平移的位置和检测人脸的方向，实时生成不同视点的大视野图像，当头部旋转角度超过阈值时，则通过报警模块发生报警信息。
进一步地，步骤(1)包括以下步骤：
(11)通过深度摄像头实时采集深度数据视频流；
(12)将采集的深度数据视频流的每一帧图像采用高斯滤波获取滤波图像；
(13)对所得的高斯图像与背景图像进行差分得到差分图像，
(14)将差分图像进行拉伸变换得到拉伸后的差分图像；
(15)将将拉伸后的差分图像进行腐蚀膨胀滤波，计算图像的平均像素值作为阈值，基于该阈值获取二值图像；
(16)将二值图像中的小块区域去除，获取二值图像中的大块区域，其中：大块区域包括驾驶员的头部和身体部分；
(17)从二值图像的第一行开始扫描，获取最大程度接近椭圆的部分作为驾驶员头部区域，即得到驾驶员的深度信息。
有益效果：本发明公开的一种应用于大型卡车的去盲区安全驾驶系统及方法具有以下有益效果：
1、采用深度图像结合RGB图像实现实时探测驾驶员的人脸定位和旋转；
2、基于人脸的旋转信息，若旋转过大即pitch，poll，Yaw即x，y，z三轴超过60度则认为旋转过大，则考虑到安全隐患问题实时报警；
3.将采集两路鱼眼图像可观察到驾驶台外360度的方位，为驾驶员提供了很好的去盲区效果，实现了安全驾驶。
附图说明
图1为本发明公开的一种应用于大型卡车的去盲区安全驾驶系统的结构示意图；
图2为基于人脸的相机坐标系图；
图3a为人脸绕着相机坐标系的x轴旋转的示意图；
图3b为人脸绕着相机坐标系的y轴旋转的示意图；
图3c为人脸绕着相机坐标系的z轴旋转的示意图。
具体实施方式：
下面对本发明的具体实施方式详细说明。
如图1所示，一种应用于大型卡车的去盲区安全驾驶系统，包括深度摄像头、PC机、两个鱼眼相机和报警模块，
深度摄像头设于司机座位挡风玻璃下驾驶台前方的小平台处，
两个鱼眼相机分别设于驾驶台的两侧，两台鱼眼相机的镜头方向向外，两台相机镜头的主光轴在一条直线上，
深度摄像头的输出端通过USB接口与PC机的输出端相连，
鱼眼相机的输出端通过USB接口与PC机的输出端相连，
PC机的输出端与报警模块的输入端相连。
其中：深度摄像头选取了韩国meerecompany公司的Cube eye深度摄像头。
进一步地，报警模块为喇叭。
一种应用于大型卡车的去盲区安全驾驶方法，包括以下步骤：
(1)、通过深度摄像头实时采集深度数据视频流，将深度图像预处理，然后通过背景差分的方法获取驾驶员的深度信息；
(2)、对步骤(1)得到的深度信息进行去噪处理，通过位置关系，提取驾驶员头部位置的二值图像，计算驾驶员头部与鱼眼相机之间的距离；
(3)、通过鱼眼相机实时采集鱼眼视频流数据，将鱼眼图像基于球面模型分别校正径向误差、切向误差、光心误差，然后生成球面图像；
(4)、以深度摄像头探测的头部移动的距离构成以深度摄像头为坐标中心的世界坐标系，得到x、y、z三个坐标值，其中：
将获取头部x、y、z坐标作为球面图像的球心，z为球面图像的焦距；
(5)、确定视点方向
基于步骤(1)得到的深度信息对驾驶员的脸进行三维建模，以垂直于鱼眼相机方向的人脸方向为初始值，当人脸在三个方向上可能转动，垂直于人脸方向的矢量作为视线方向，结合步骤(4)得到的球面焦距信息实时生成不同视角大小的透视图像，根据头部平移的位置和检测人脸的方向，实时生成不同视点的大视野图像，当头部旋转角度超过阈值时，则通过报警模块发生报警信息。
进一步地，如图3所示，步骤(1)包括以下步骤：
(11)通过深度摄像头实时采集深度数据视频流；
(12)将采集的深度数据视频流的每一帧图像采用高斯滤波获取滤波图像；
(13)对所得的高斯图像与背景图像进行差分得到差分图像，
(14)将差分图像进行拉伸变换得到拉伸后的差分图像，即将差分图像中最大值映射到255，最小值映射到0；
(15)将将拉伸后的差分图像进行腐蚀膨胀滤波，计算图像的平均像素值作为阈值，基于该阈值获取二值图像，即大于该阈值为255小于该阈值为0；
(16)将二值图像中的小块区域去除，获取二值图像中的大块区域，其中：大块区域包括驾驶员的头部和身体部分；
(17)从二值图像的第一行开始扫描，获取最大程度接近椭圆的部分作为驾驶员头部区域，即得到前景深度信息。
图2是基于人脸的相机坐标系图。图3a～3c为人脸绕着相机坐标系的x轴、y轴和z轴旋转的示意图。
上面对本发明的实施方式做了详细说明。但是本发明并不限于上述实施方式，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (4)

1.一种应用于大型卡车的去盲区安全驾驶系统，其特征在于，包括深度摄像头、PC机、两个鱼眼相机和报警模块，
所述深度摄像头设于司机座位挡风玻璃下驾驶台前方的小平台处，
两个鱼眼相机分别设于驾驶台的两侧，两台鱼眼相机的镜头方向向外，两台相机镜头的主光轴在一条直线上，
所述深度摄像头的输出端通过USB接口与所述PC机的输出端相连，
所述鱼眼相机的输出端通过USB接口与所述PC机的输出端相连，所述PC机的输出端与所述报警模块的输入端相连。
2.根据权利要求1所述的一种应用于大型卡车的去盲区安全驾驶系统，其特征在于，所述报警模块为喇叭。
3.一种应用于大型卡车的去盲区安全驾驶方法，其特征在于，包括以下步骤：
(1)、获取驾驶员的深度信息；
(2)、对步骤(1)得到的深度信息进行去噪处理，通过位置关系，提取驾驶员头部位置的二值图像，计算驾驶员头部与鱼眼相机之间的距离；
(3)、通过鱼眼相机实时采集鱼眼视频流数据，将鱼眼图像基于球面模型分别校正径向误差、切向误差、光心误差，然后生成球面图像；
(4)、以深度摄像头探测的头部移动的距离构成以深度摄像头为坐标中心的世界坐标系，得到x、y、z三个坐标值，其中：
将获取头部x、y、z坐标作为球面图像的球心，z为球面图像的焦距；
(5)、确定视点方向
基于步骤(1)得到的深度信息对驾驶员的脸进行三维建模，以垂直于鱼眼相机方向的人脸方向为初始值，当人脸在三个方向上可能转动，垂直于人脸方向的矢量作为视线方向，结合步骤(4)得到的球面焦距信息实时生成不同视角大小的透视图像，根据头部平移的位置和检测人脸的方向，实时生成不同视点的大视野图像，当头部旋转角度超过阈值时，则通过报警模块发生报警信息。
4.根据权利要求3所述的一种应用于大型卡车的去盲区安全驾驶方法，其特征在于，步骤(1)包括以下步骤：
(11)通过深度摄像头实时采集深度数据视频流；
(12)将采集的深度数据视频流的每一帧图像采用高斯滤波获取滤波图像；
(13)对所得的高斯图像与背景图像进行差分得到差分图像，
(14)将差分图像进行拉伸变换得到拉伸后的差分图像；
(15)将将拉伸后的差分图像进行腐蚀膨胀滤波，计算图像的平均像素值作为阈值，基于该阈值获取二值图像；
(16)将二值图像中的小块区域去除，获取二值图像中的大块区域，其中：大块区域包括驾驶员的头部和身体部分；
(17)从二值图像的第一行开始扫描，获取最大程度接近椭圆的部分作为驾驶员头部区域，即得到驾驶员的深度信息。
CN201710047207.8A 2017-01-22 2017-01-22 一种应用于大型卡车的去盲区安全驾驶系统及方法 Pending CN106886759A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710047207.8A CN106886759A (zh) 2017-01-22 2017-01-22 一种应用于大型卡车的去盲区安全驾驶系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710047207.8A CN106886759A (zh) 2017-01-22 2017-01-22 一种应用于大型卡车的去盲区安全驾驶系统及方法

Publications (1)

Publication Number Publication Date
CN106886759A true CN106886759A (zh) 2017-06-23

Family

ID=59176628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710047207.8A Pending CN106886759A (zh) 2017-01-22 2017-01-22 一种应用于大型卡车的去盲区安全驾驶系统及方法

Country Status (1)

Country Link
CN (1) CN106886759A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109857244A (zh) * 2017-11-30 2019-06-07 百度在线网络技术（北京）有限公司 一种手势识别方法、装置、终端设备、存储介质及vr眼镜

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101925930A (zh) * 2008-03-27 2010-12-22 松下电器产业株式会社 死角显示装置
CN103204104A (zh) * 2013-04-07 2013-07-17 布法罗机器人科技（苏州）有限公司 一种车辆全视角驾驶监控系统及方法
CN105336170A (zh) * 2014-08-08 2016-02-17 杭州海康威视系统技术有限公司 交通违法监测方法及其装置
CN105711501A (zh) * 2016-04-19 2016-06-29 深圳市航盛电子股份有限公司 一种基于汽车环视相机的盲区中车辆监测方法及系统
WO2016178190A1 (en) * 2015-05-06 2016-11-10 Magna Mirrors Of America, Inc. Vehicle vision system with blind zone display and alert system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101925930A (zh) * 2008-03-27 2010-12-22 松下电器产业株式会社 死角显示装置
CN103204104A (zh) * 2013-04-07 2013-07-17 布法罗机器人科技（苏州）有限公司 一种车辆全视角驾驶监控系统及方法
CN105336170A (zh) * 2014-08-08 2016-02-17 杭州海康威视系统技术有限公司 交通违法监测方法及其装置
WO2016178190A1 (en) * 2015-05-06 2016-11-10 Magna Mirrors Of America, Inc. Vehicle vision system with blind zone display and alert system
CN105711501A (zh) * 2016-04-19 2016-06-29 深圳市航盛电子股份有限公司 一种基于汽车环视相机的盲区中车辆监测方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
冯超: "驾驶人视觉注意力检测研究", 《万方数据知识服务平台》 *
邹武合: "基于视觉的驾驶员视点提取系统关键技术研究", 《中国博士学位论文全文数据库 信息科技辑》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109857244A (zh) * 2017-11-30 2019-06-07 百度在线网络技术（北京）有限公司 一种手势识别方法、装置、终端设备、存储介质及vr眼镜
CN109857244B (zh) * 2017-11-30 2023-09-01 百度在线网络技术（北京）有限公司 一种手势识别方法、装置、终端设备、存储介质及vr眼镜

Similar Documents

Publication Publication Date Title
CN109435852B (zh) 一种针对大型卡车的全景式辅助驾驶系统及方法
CN108638999B (zh) 一种基于360度环视输入的防碰撞预警系统及方法
CN107577988B (zh) 实现侧方车辆定位的方法、装置及存储介质、程序产品
CN106915303A (zh) 基于深度数据和鱼眼图像的汽车a柱盲区透视方法
CN109089074A (zh) 用于环视监控系统的摄像头角度估计方法
JP5387763B2 (ja) 映像処理装置、映像処理方法及び映像処理プログラム
KR101093316B1 (ko) 차량주행중 영상정합 방법 및 그 시스템
CN111582080A (zh) 车辆360度环视监控实现方法及装置
CN110386065A (zh) 车辆盲区的监控方法、装置、计算机设备及存储介质
Zhang et al. Robust inverse perspective mapping based on vanishing point
CN106228513A (zh) 一种计算机图像处理系统
CN111178150A (zh) 车道线检测方法、系统及存储介质
TWI726278B (zh) 行車偵測方法、車輛及行車處理裝置
CN105059190A (zh) 基于视觉的汽车开门碰撞预警装置及方法
Zhang et al. A perspective transformation method based on computer vision
CN106886759A (zh) 一种应用于大型卡车的去盲区安全驾驶系统及方法
Wang et al. A novel visibility restoration algorithm for single hazy images
TWI499999B (zh) The 3D ring car image system based on probability calculation and its obtaining method
CN112001266B (zh) 一种大型无人运输车监控方法及系统
EP3163533A1 (en) Adaptive view projection for a vehicle camera system
Roessing et al. Intuitive visualization of vehicle distance, velocity and risk potential in rear-view camera applications
CN115953341A (zh) 一种夜间火箭可见光图像和红外图像分区域融合方法
CN115493614A (zh) 航迹线的显示方法、装置、存储介质及电子设备
CN115100618A (zh) 一种多源异构感知信息多层级融合表征与目标识别方法
Sui et al. A-pillar blind spot display algorithm based on line of sight

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170623

RJ01 Rejection of invention patent application after publication