CN112721802A - 集成全景环视和盲区行人预警的车载设备及其预警方法 - Google Patents
集成全景环视和盲区行人预警的车载设备及其预警方法 Download PDFInfo
- Publication number
- CN112721802A CN112721802A CN202110171426.3A CN202110171426A CN112721802A CN 112721802 A CN112721802 A CN 112721802A CN 202110171426 A CN202110171426 A CN 202110171426A CN 112721802 A CN112721802 A CN 112721802A
- Authority
- CN
- China
- Prior art keywords
- module
- image
- vehicle
- pedestrian
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000012545 processing Methods 0.000 claims abstract description 75
- 238000001514 detection method Methods 0.000 claims abstract description 31
- 238000012937 correction Methods 0.000 claims abstract description 27
- 238000012502 risk assessment Methods 0.000 claims abstract description 14
- 230000004438 eyesight Effects 0.000 claims abstract description 4
- 239000004744 fabric Substances 0.000 claims description 18
- 230000000007 visual effect Effects 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 14
- 230000005540 biological transmission Effects 0.000 claims description 11
- 238000009434 installation Methods 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000013139 quantization Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000001351 cycling effect Effects 0.000 claims 1
- 230000008447 perception Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 238000010998 test method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供一种集成全景环视和盲区行人预警的车载设备及其预警方法，包括图像采集模块、图像处理模块、图像标定模块、显示模块和报警模块；图像采集模块安装于车辆的周围，其连接图像处理模块；图像处理模块连接显示模块和报警模块，其包括图像增强子模块、畸变矫正子模块、图像拼接子模块、行人检测子模块和碰撞风险分析运算子模块，碰撞风险分析运算子模块用于结合行人检测结果及摄像头的投影模型计算出行人与车辆之间的距离；图像标定模块对畸变矫正后的图像进行标定；显示模块可显示处理后的全景俯视图像或者视角图像，报警模块在图像处理模块发现行人碰撞风险时发出报警信号。应用本发明使驾驶员不用紧盯屏幕，提高了驾驶舒适性和安全性。
Description
技术领域
本发明属于汽车行车安全及车载视频监控技术领域，具体涉及一种集成全景环视和盲区行人预警的车载设备。
背景技术
随着汽车保有量的增加，道路越发拥挤，由此引发的停车和拥挤路况中行车造成的刮蹭现象也越来越多，尤其是针对大中型客、货车辆，在掉头和倒车时，由于视线盲区引发的伤亡事件层出不穷，车载全景环视系统正是为缓解这些问题应运而生。
目前，市场上车载环视产品基本上都是通过安装在车辆前后左右四个摄像头的图像进行拼接，形成一个全景的2D或3D图像，在车辆倒车、转弯或是经过拥挤路段时，打开全景图像，即可准确判断车辆周围是否安全，但前提是需要驾驶员盯着屏幕，时刻观察，此时驾驶员需要同时兼顾其他情况，所以存在分神的状态。
为此，有些厂家在此基础上增加了一些辅助设备，如配合雷达做障碍物检测，车辆只要靠近障碍物，立刻给予警示，但目前雷达成本较高，且各种雷达均有一定的缺陷，导致性价比不高。对于客货车辆来说，在转弯和倒车时，最严重的事故往往是与行人的擦碰，一旦出事故，付出的就是生命的代价，所以对车辆周围行人的保护是最重要的。因此在360全景图像的基础上，同时能够利用较低的成本检测周边行人，并且在驾驶员存在分神的情况时给予及时的提醒，在客货车辆和一些工程车辆上是急需的。
公布号为CN109407547A的中国专利申请公开了一种面向全景视觉感知的多摄像头在环仿真测试方法，通过工控机建立目标交通场景模型，摄像头采集全景图像数据上传到显示屏，传感器标定模块将摄像头进行位置参数标定，通过特征点检测和匹配并保留有效匹配对，完成图像拼接和融合，通过目标全景感知算法程序实时对汽车周围环境进行视觉感知，最后将通过全景感知算法获取的感知结果与虚拟建模的所有全景图像数据对比校验，分析全景感知算法获取在环仿真测试评价结果。但是该全景视觉感知的多摄像头无法进行行人碰撞预警，驾驶员仍要盯着屏幕观察并估算行人与车辆的距离，没有解决驾驶舒适性和安全性的问题。
发明内容
本发明的目的是提供一种集成全景环视和盲区行人预警的车载设备及其预警方法，以解决以上问题。
本发明提供了如下的技术方案：
一种集成全景环视和盲区行人预警的车载设备，包括图像采集模块、图像处理模块、图像标定模块、显示模块和报警模块；
至少两个所述图像采集模块安装于车辆的周围，用于获取车辆外部四周的图像信号，所述图像采集模块电连接所述图像处理模块；
所述图像处理模块为ARM图像处理芯片，所述图像处理模块电连接所述显示模块和所述报警模块，所述图像处理模块包括图像增强子模块、畸变矫正子模块、图像拼接子模块、行人检测子模块和碰撞风险分析运算子模块，所述图像增强子模块、畸变矫正子模块、图像拼接子模块依次连接，所述畸变矫正子模块还依次连接行人检测子模块和碰撞风险分析运算子模块；所述碰撞风险分析运算子模块用于结合行人检测结果及摄像头的投影模型计算出行人与车辆之间的距离；所述图像处理模块可将图像处理结果输出到显示模块和报警模块；
所述图像标定模块用于对畸变矫正后的图像进行标定，图像标定模块包括标定布和红外遥控器，四块纯色标定布分别铺在车辆的左前、右前、左后和右后方，用于提取待标定的角点；所述红外遥控器电连接所述图像处理模块，用于手工标定时选择标定布的角点；
所述显示模块和所述报警模块安装于车辆上，显示模块可以是监视器，所述显示模块可接收并显示处理后的拼接的全景俯视图像或者单侧摄像头的视角图像，所述报警模块用于在图像处理模块发现行人碰撞风险时发出报警信号。
优选的，所述图像采集模块为分别安装于车辆外部的前、后、左、右四个面的鱼眼摄像头，鱼眼摄像头的视场角为180-200度，鱼眼摄像头的安装方向斜向下以拍摄到车辆下侧。
进一步的，车辆的转向灯开关和倒车开关均连接到所述图像处理模块，所述图像处理模块可响应所述转向灯开关和倒车开关的输出信号而向显示模块输出相应侧摄像头拍摄的视角图像。
进一步的，还包括GPS模块，所述GPS模块连接图像处理模块，用于向图像处理模块实时发送车辆的位置和车速信息。
进一步的，还包括网络传输模块，所述图像处理模块连接所述网络传输模块，所述网络传输模块用于将车辆的位置、速度和报警时的图像信号上传到服务器。
本发明还提供一种车载设备的盲区行人预警方法，包括以下步骤：
1)图像采集：摄像头实时采集车辆周围的影像并发送给图像处理模块；
2)图像标定：摄像头安装完成后，可采用自动或手动标定方法，对各个摄像头进行标定，将采集的图像信号生成相机的内部和外部参数，建立相机的畸变系数和标定参数；
3)图像处理：高性能的ARM处理芯片负责对图像采集模块输入的各路图像进行畸变矫正、亮度均衡化、图像拼接、生成全景俯视图像或各视角图像、行人检测、碰撞风险分析，并将结果输出到显示模块和报警模块；
4)图像显示和报警：显示模块显示拼接处理后的全景俯视图像或者视角图像；当转向灯或者倒车开关打开时，车身的转向信息通过电平信号传至图像处理模块，图像处理模块根据信号的类型判断是左右转向还是倒车，并根据信号类型而向显示模块输出相应侧摄像头拍摄的视角图像或者全景俯视图像；报警模块响应图像处理模块发送的行人碰撞风险信号而发出报警铃声。
优选的，所述图像处理模块的行人检测子模块可在畸变矫正后的图像上检测到行人，行人的图像包括直立、下蹲、骑自行车或者骑助力车，该行人检测方法采用优化后的YOLO-V3算法，其包括以下步骤：
S1.将通道数大于96个的层，通道数量减小一半；
S2.将所有的激活函数更改为RELU；
S3.将最终分类数量改为和类，分别为非机动车辆和行人；
S4.采用8bit量化方法，对最终的模型进行量化；
其中：通道数是指每层网络经过卷积核运算后的的特征数量，限制通道数量可以有效减少计算量；RELU激活函数可以在保持检测效果的同时，加快训练的收敛；
最终分类数量是指网络的输出结果，初始结果为三类，分别为行人、机动车辆和非机动车辆；在输出类别的同时，输出检测框在图像中的坐标位置。
所述图像标定模块可实现自动和手动标定，其中，
手动标定的步骤包括：
步骤1.在车辆的左前、右前、左后、右后方放置2m*2m的纯色标定布；
步骤2.打开显示模块的标定页面，输入各个摄像头的畸变参数；
步骤3.用红外遥控器在各个图像中选择标定布的四个角，标记角点在图像中的像素坐标；
步骤4.进行拼接参数计算，标定完成，生成标定参数；
步骤5.保存标定参数；
所述图像标定模块自动标定的步骤包括：
步骤1.打开显示模块的标定页面，输入各个摄像头的畸变参数；
步骤2.选择自动标定，采用SIFT算子寻找角点，并用角点增强算法过滤掉特征不明显的角点，采用SIFT特征进行角点匹配，生成标定参数；
步骤3.保存标定参数。
优选的，所述碰撞风险分析运算子模块结合标定结果和行人检测结果，再通过摄像头安装高度、安装角度和视场角信息，结合摄像头的投影模型计算出行人与车辆之间的距离，并根据车速、转向等信息，判断行人与测量碰撞的风险；距离计算方法如下：
令摄像头图像分辨率为W*H，摄像头视场角为v0*h0，摄像头的安装高度为A0，图像中消失点坐标为P(Xt,Yt)；若检测到的行人框底部中点坐标为P(X0,Y0)，则行人与摄像头在水平面的距离(dx,dy)可按如下公式计算：
(6)x0＝y0*vk
(7)dy＝y0*cosβ+x0*sinβ
(8)dx＝x0*cosβ+y0*sinβ
其中：
α：摄像头俯仰角；
β：摄像头偏航角；
vf：垂直方向视场转换系数；
vk：水平方向视场转换系数；
y0，x0：均为计算中间变量。
本发明的有益效果是：
1.本发明使用图像处理技术，借助于环视系统的摄像头，在畸变矫正后的图像上直接进行行人检测，包括直立、蹲下、骑自行车、骑电动车和骑摩托车的行人，并且根据摄像头的标定结果实时计算行人与车辆的距离，再结合车速、转向、驾驶员反应时间等信息，通过算法分析，判断行人与车辆是否有潜在的碰撞风险，若存在风险，及时通过报警模块给予驾驶员声/光警示，驾驶员不用紧盯屏幕，提高了驾驶舒适性和安全性。
2.本发明对行人检测和全景环视都运行在一个芯片上，且都能够达到实时运行，在增加了安全预警功能的同时，降低了成本，同时也减少了安装工作量。
3.本发明同时可以将危险状态前后一段时间的环视拼接视频通过网络传输模块发往云端存储，供后台查看，适于推广应用。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明的算法流程图；
图2是本发明的标定布铺设示意图；
图中标记为：1.摄像头；2.标定布。
具体实施方式
如图1和图2所示，一种集成全景环视和盲区行人预警的车载设备，包括图像采集模块、图像处理模块、图像标定模块、显示模块、报警模块、GPS模块和网络传输模块。
至少两个图像采集模块安装于车辆的周围，用于获取车辆外部四周的图像信号，图像采集模块电连接图像处理模块。如图2所示，本实施例的图像采集模块为分别安装于车辆外部的前、后、左、右四个面的摄像头1，优选为鱼眼摄像头，鱼眼摄像头的视场角为180-200度，优选鱼眼摄像头的视场角为190度，图像分辨率为720P，安装高度大于0.5米，摄像头方向斜向下，保证拍摄到车辆底部。
图像处理模块负责对图像采集模块输入的四路图像进行畸变矫正、亮度均衡化、图像拼接、生成相应的视角图像、行人检测、碰撞风险分析，并图像处理结果输出到显示模块和报警模块。
图像处理模块采用高性能的ARM图像处理芯片，例如恩智浦IMX6Q车规级处理芯片，图像处理模块电连接显示模块和报警模块。图像处理模块包括图像增强子模块、畸变矫正子模块、图像拼接子模块、行人检测子模块和碰撞风险分析运算子模块。图像增强子模块、畸变矫正子模块、图像拼接子模块依次连接，畸变矫正子模块还依次连接行人检测子模块和碰撞风险分析运算子模块；其中：
图像增强子模块将四个摄像头的亮度和色彩均衡化，消除亮度和色彩上明显的差异；图像增强子模块是公知技术；
畸变矫正子模块通过算法对摄像头发送的畸变图像进行矫正；
图像拼接子模块将四个矫正后的图像拼接融合成一个全景俯视图像，并生成各摄像头侧对应的2D视角图像；
碰撞风险分析运算子模块通过摄像头安装高度、安装角度和摄像头视场角信息，结合摄像头投影模型计算出行人与车辆之间的距离，并根据车速、转向等信息，判断行人与测量碰撞的风险。
图像标定模块用于对畸变矫正后的图像进行标定，其将采集的图像信号生成相机的内部和外部参数，建立相机的畸变系数和标定参数，标定参数分为内参和相机的外参。其中，畸变系数包括径向畸变系数和切向畸变系数；内参包括图像坐标系到相机坐标系的映射矩阵；外参包括相机坐标系到世界坐标系的映射矩阵。如图2所示，图像标定模块包括标定布2和红外遥控器，四块纯色的标定布2分别铺在车辆的左前、右前、左后和右后方，用于提取待标定的角点，标定布尺寸可选用2m*2m。图像标定模块可采用自动或者手动标定模式，其中红外遥控器电连接图像处理模块，用于手工标定时选择标定布的角点。
显示模块和报警模块可以安装于车辆上，显示模块可接收并显示处理后的拼接的全景俯视图像或者单侧摄像头拍摄的2D视角图像，也可以根据接收的车辆的转弯或者倒车信号切换到区域图像显示模式。报警模块用于在图像处理模块发现行人碰撞风险时发出声和/或光报警信号。
GPS模块连接图像处理模块，用于向图像处理模块实时发送车辆的位置和车速信息。
图像处理模块连接网络传输模块，网络传输模块用于将车辆的位置、速度和报警时的图像信号上传到服务器。
车辆的转向灯开关和倒车开关均连接到图像处理模块，图像处理模块可响应转向灯开关和倒车开关的输出信号而向显示模块输出相应侧摄像头拍摄的视角图像。例如：当打开转向灯时，转向信息通过电平信号传至图像处理模块，图像处理模块根据该电平信号的类型，判断是左、右转向还是倒车，并根据信号类型切换相应摄像头的视角图像至显示模块，例如：当打开左转向灯时，切换到左侧摄像头的图像，当打开右转向灯时，切换到右侧摄像头图像，当挂入倒挡时，同时显示2D全景俯视图和后侧摄像头拍摄的图像。
图像处理模块还包含存储模块，存储模块是内置的SD卡，实时保存四个摄像头的拼接视频，每个视频的长度可以设置为两分钟，压缩格式为.h246，并且当SD卡存满时，可循环覆盖。
下面介绍上述车载设备的盲区行人预警方法，主要包括以下步骤：
1)图像采集：摄像头实时采集车辆周围的影像并发送给图像处理模块；
2)图像标定：摄像头安装完成后，可采用自动或手动标定方法，对各个摄像头进行标定；
3)图像处理：高性能的ARM处理芯片负责对图像采集模块输入的各路图像进行畸变矫正、亮度均衡化、图像拼接、生成全景俯视图像或相应的视角图像、行人检测、碰撞风险分析，并将结果输出到显示模块和报警模块；
4)图像显示和报警：显示模块显示拼接处理后的全景俯视图像或者视角图像；当转向灯或者倒车开关打开时，车身的转向信息通过电平信号传至图像处理模块，图像处理模块根据信号的类型判断是左右转向还是倒车，并根据信号类型而向显示模块输出相应侧摄像头拍摄的视角图像或者全景俯视图像；报警模块响应图像处理模块发送的行人碰撞风险信号而发出声和/或光报警。
其中，畸变矫正子模块的矫正步骤如下：
在摄像头安装之前，需要用畸变矫正方法，获取每个摄像头的畸变参数，具体实施步骤如下：
步骤1：准备一个棋盘格图像；
步骤2：从不同的角度拍摄一组棋盘格图像，图像数量为20张；
步骤3：采用张正友标定算法，自动计算出摄像头的畸变系数并保存。
为了提高实时性，图像的畸变矫正和拼接都集中在芯片的GPU中处理，这样不仅处理速度更快，而且减小了CPU的压力。为了提高行人检测的速度，在对四个摄像头的图像进行畸变矫正后，先进行裁剪，保留车辆附近的一块区域，然后将四幅图像拼接成一副，再用神经网络算法在图像上进行行人检测，最后将检测的行人坐标还原到现实坐标中，计算出行人离车辆的距离。在保证实时性的同时，可以做全方位的检测。
图像处理模块的行人检测子模块可在畸变矫正后的图像上检测到行人，行人的图像包括直立、下蹲、骑自行车或者骑助力车，该行人检测方法采用优化后的YOLO-V3算法，包括以下步骤：
S1.将通道数大于96个的层，通道数量减小一半；
S2.将所有的激活函数更改为RELU；
S3.将最终分类数量改为和类，分别为非机动车辆和行人；
S4.采用8bit量化方法，对最终的模型进行量化；
其中：通道数是指每层网络经过卷积核运算后的的特征数量，限制通道数量可以有效减少计算量；RELU激活函数可以在保持检测效果的同时，加快训练的收敛；
最终分类数量是指网络的输出结果，初始结果为三类，分别为行人、机动车辆和非机动车辆；在输出类别的同时，输出检测框在图像中的坐标位置。
图像标定模块可实现自动和手动标定，其中，手动标定的步骤包括：
步骤1.在车辆的左前、右前、左后、右后方放置2m*2m的纯色标定布；
步骤2.打开显示模块的标定页面，输入各个摄像头的畸变参数；
步骤3.用红外遥控器在各个图像中选择标定布的四个角，标记角点在图像中的像素坐标；
步骤4.进行拼接参数计算，标定完成，生成标定参数；
步骤5.保存标定参数；
图像标定模块自动标定的步骤包括：
步骤1.打开显示模块的标定页面，输入各个摄像头的畸变参数；
步骤2.选择自动标定，采用SIFT算子寻找角点，并用角点增强算法过滤掉特征不明显的角点，采用SIFT特征进行角点匹配，生成标定参数；
步骤3.保存标定参数。
碰撞风险分析运算子模块结合标定结果和行人检测结果，再通过摄像头安装高度、安装角度和视场角信息，结合摄像头的投影模型计算出行人与车辆之间的距离，并根据车速、转向等信息，判断行人与测量碰撞的风险；距离计算方法如下：
令摄像头图像分辨率为W*H，摄像头视场角为v0*h0，摄像头的安装高度为A0，图像中消失点坐标为P(Xt，Yt)；若检测到的行人框底部中点坐标为P(X0，Y0)，则行人与摄像头在水平面的距离(dx，dy)可按如下公式计算：
(6)x0＝y0*yk
(7)dy＝y0*cosβ+x0*sinβ
(8)dx＝x0*cosβ+y0*sinβ
其中：
α：摄像头俯仰角；
β：摄像头偏航角；
vf：垂直方向视场转换系数；
vk：水平方向视场转换系数；
y0，x0：均为计算中间变量。
算法结合车速和行人的距离和移动趋势信息，来实时分析碰撞风险，当风险大于一个阈值后，报警器发出声和/或光报警信号，提醒驾驶员，应当采取相应的规避措施。同时，程序会截取此时的前后各n秒的视频，通过硬件压缩并转换为h264的格式，经过网络传输模块传输到云端。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.集成全景环视和盲区行人预警的车载设备，其特征在于，包括图像采集模块、图像处理模块、图像标定模块、显示模块和报警模块；
至少两个所述图像采集模块安装于车辆的周围，用于获取车辆外部四周的图像信号，所述图像采集模块电连接所述图像处理模块；
所述图像处理模块为ARM图像处理芯片，所述图像处理模块电连接所述显示模块和所述报警模块，所述图像处理模块包括图像增强子模块、畸变矫正子模块、图像拼接子模块、行人检测子模块和碰撞风险分析运算子模块，所述图像增强子模块、畸变矫正子模块、图像拼接子模块依次连接，所述畸变矫正子模块还依次连接行人检测子模块和碰撞风险分析运算子模块；所述碰撞风险分析运算子模块用于结合行人检测结果及摄像头的投影模型计算出行人与车辆之间的距离；所述图像处理模块可将图像处理结果输出到显示模块和报警模块；
所述图像标定模块用于对畸变矫正后的图像进行标定，图像标定模块包括标定布和红外遥控器，四块纯色标定布分别铺在车辆的左前、右前、左后和右后方，用于提取待标定的角点；所述红外遥控器电连接所述图像处理模块，用于手工标定时选择标定布的角点；
所述显示模块和所述报警模块安装于车辆上，所述显示模块可接收并显示处理后的拼接的全景俯视图像或者单侧摄像头的视角图像，所述报警模块用于在图像处理模块发现行人碰撞风险时发出报警信号。
2.根据权利要求1所述的集成全景环视和盲区行人预警的车载设备，其特征在于，车辆的转向灯开关和倒车开关均连接到所述图像处理模块，所述图像处理模块可响应所述转向灯开关和倒车开关的输出信号而向显示模块输出相应侧摄像头拍摄的图像。
3.根据权利要求1所述的集成全景环视和盲区行人预警的车载设备，其特征在于，所述图像采集模块为分别安装于车辆外部的前、后、左、右四个面的摄像头，所述摄像头的视场角为180-200度，所述摄像头的安装方向斜向下以拍摄到车辆下侧。
4.根据权利要求1所述的集成全景环视和盲区行人预警的车载设备，其特征在于，还包括GPS模块，所述GPS模块连接图像处理模块，用于向图像处理模块实时发送车辆的位置和车速信息。
5.根据权利要求4所述的集成全景环视和盲区行人预警的车载设备，其特征在于，还包括网络传输模块，所述图像处理模块连接所述网络传输模块，所述网络传输模块用于将车辆的位置、速度和报警时的图像信号上传到服务器。
6.一种车载设备的盲区行人预警方法，其特征在于，采用权利要求2所述的车载设备实现，包括以下步骤：
1)图像采集：摄像头实时采集车辆周围的影像并发送给图像处理模块；
2)图像标定：摄像头安装完成后，可采用自动或手动标定方法，对各个摄像头进行标定，将采集的图像信号生成相机的内部和外部参数，建立相机的畸变系数和标定参数；
3)图像处理：高性能的ARM处理芯片负责对图像采集模块输入的各路图像进行畸变矫正、亮度均衡化、图像拼接、生成全景俯视图像或视角图像、行人检测、碰撞风险分析，并将结果输出到显示模块和报警模块；
4)图像显示和报警：显示模块显示拼接处理后的全景俯视图像或者视角图像；当转向灯或者倒车开关打开时，车身的转向信息通过电平信号传至图像处理模块，图像处理模块根据信号的类型判断是左右转向还是倒车，并根据信号类型而向显示模块输出相应侧摄像头拍摄的视角图像或者全景俯视图像；报警模块响应图像处理模块发送的行人碰撞风险信号而发出报警信号。
7.根据权利要求6所述的车载设备的盲区行人预警方法，其特征在于，所述图像处理模块的行人检测子模块可在畸变矫正后的图像上检测到行人，行人的图像包括直立、下蹲、骑自行车或者骑助力车的行人，该行人检测方法采用优化后的YOLO-V3算法，其包括以下步骤：
S1.将通道数大于96个的层，通道数量减小一半；
S2.将所有的激活函数更改为RELU；
S3.将最终分类数量改为和类，分别为非机动车辆和行人；
S4.采用8bit量化方法，对最终的模型进行量化；
其中：通道数是指每层网络经过卷积核运算后的的特征数量，限制通道数量可以有效减少计算量；RELU激活函数可以在保持检测效果的同时，加快训练的收敛；
最终分类数量是指网络的输出结果，初始结果为三类，分别为行人、机动车辆和非机动车辆；在输出类别的同时，输出检测框在图像中的坐标位置。
8.根据权利要求6所述的车载设备的盲区行人预警方法，其特征在于，所述图像标定模块可实现自动和手动标定，其中，
手动标定的步骤包括：
步骤1.在车辆的左前、右前、左后、右后方放置2m*2m的纯色标定布；
步骤2.打开显示模块的标定页面，输入各个摄像头的畸变参数；
步骤3.用红外遥控器在各个图像中选择标定布的四个角，标记角点在图像中的像素坐标；
步骤4.进行拼接参数计算，标定完成，生成标定参数；
步骤5.保存标定参数。
9.根据权利要求8所述的车载设备的盲区行人预警方法，其特征在于，所述图像标定模块自动标定的步骤包括：
步骤1.打开显示模块的标定页面，输入各个摄像头的畸变参数；
步骤2.选择自动标定，采用SIFT算子寻找角点，并用角点增强算法过滤掉特征不明显的角点，采用SIFT特征进行角点匹配，生成标定参数；
步骤3.保存标定参数。
10.根据权利要求6所述的车载设备的盲区行人预警方法，其特征在于，所述碰撞风险分析运算子模块结合标定结果和行人检测结果，再通过摄像头安装高度、安装角度和视场角信息，结合摄像头的投影模型计算出行人与车辆之间的距离，并根据车速、转向等信息，判断行人与测量碰撞的风险；距离计算方法如下：
令摄像头图像分辨率为W*H，摄像头视场角为v0*h0，摄像头的安装高度为A0，图像中消失点坐标为P(Xt,Yt)；若检测到的行人框底部中点坐标为P(X0,Y0)，则行人与摄像头在水平面的距离(dx,dy)可按如下公式计算：
(1)
(2)
(3)
(4)
(5)
(6)x0＝y0*yh
(7)dy＝y0*cosβ+x0*sinβ
(8)dx＝x0*cosβ+y0*sinβ
其中：
α：摄像头俯仰角；
β：摄像头偏航角；
vf：垂直方向视场转换系数；
vk：水平方向视场转换系数；
y0，x0：均为计算中间变量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110171426.3A CN112721802A (zh) | 2021-02-06 | 2021-02-06 | 集成全景环视和盲区行人预警的车载设备及其预警方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110171426.3A CN112721802A (zh) | 2021-02-06 | 2021-02-06 | 集成全景环视和盲区行人预警的车载设备及其预警方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112721802A true CN112721802A (zh) | 2021-04-30 |
Family
ID=75596527
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110171426.3A Pending CN112721802A (zh) | 2021-02-06 | 2021-02-06 | 集成全景环视和盲区行人预警的车载设备及其预警方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112721802A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114565852A (zh) * | 2022-03-04 | 2022-05-31 | 上海应用技术大学 | 一种基于机器视觉工业机器人安全防护系统及安全防护方法 |
| CN115278068A (zh) * | 2022-07-20 | 2022-11-01 | 重庆长安汽车股份有限公司 | 车载360全景影像系统的弱光增强方法及装置 |
| CN115379122A (zh) * | 2022-10-18 | 2022-11-22 | 鹰驾科技（深圳）有限公司 | 一种视频内容动态拼接方法、系统及存储介质 |
| CN116495004A (zh) * | 2023-06-28 | 2023-07-28 | 杭州鸿泉物联网技术股份有限公司 | 车辆环境感知方法、装置、电子设备和存储介质 |
| CN117392621A (zh) * | 2023-11-07 | 2024-01-12 | 西南交通大学 | 一种机动车右转不礼让行人行为识别方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105291984A (zh) * | 2015-11-13 | 2016-02-03 | 中国石油大学(华东) | 一种基于多车协作的行人及车辆检测的方法及系统 |
| US20180165527A1 (en) * | 2016-12-12 | 2018-06-14 | Plk Technologies Co., Ltd. | Side safety assistant device and method for large vehicle |
| CN108638999A (zh) * | 2018-05-16 | 2018-10-12 | 浙江零跑科技有限公司 | 一种基于360度环视输入的防碰撞预警系统及方法 |
-
2021
- 2021-02-06 CN CN202110171426.3A patent/CN112721802A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105291984A (zh) * | 2015-11-13 | 2016-02-03 | 中国石油大学(华东) | 一种基于多车协作的行人及车辆检测的方法及系统 |
| US20180165527A1 (en) * | 2016-12-12 | 2018-06-14 | Plk Technologies Co., Ltd. | Side safety assistant device and method for large vehicle |
| CN108638999A (zh) * | 2018-05-16 | 2018-10-12 | 浙江零跑科技有限公司 | 一种基于360度环视输入的防碰撞预警系统及方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114565852A (zh) * | 2022-03-04 | 2022-05-31 | 上海应用技术大学 | 一种基于机器视觉工业机器人安全防护系统及安全防护方法 |
| CN115278068A (zh) * | 2022-07-20 | 2022-11-01 | 重庆长安汽车股份有限公司 | 车载360全景影像系统的弱光增强方法及装置 |
| CN115379122A (zh) * | 2022-10-18 | 2022-11-22 | 鹰驾科技（深圳）有限公司 | 一种视频内容动态拼接方法、系统及存储介质 |
| CN115379122B (zh) * | 2022-10-18 | 2023-01-31 | 鹰驾科技（深圳）有限公司 | 一种视频内容动态拼接方法、系统及存储介质 |
| CN116495004A (zh) * | 2023-06-28 | 2023-07-28 | 杭州鸿泉物联网技术股份有限公司 | 车辆环境感知方法、装置、电子设备和存储介质 |
| CN117392621A (zh) * | 2023-11-07 | 2024-01-12 | 西南交通大学 | 一种机动车右转不礼让行人行为识别方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112721802A (zh) | 集成全景环视和盲区行人预警的车载设备及其预警方法 | |
| US10899277B2 (en) | Vehicular vision system with reduced distortion display | |
| US11447070B2 (en) | Method for determining misalignment of a vehicular camera | |
| US11472338B2 (en) | Method for displaying reduced distortion video images via a vehicular vision system | |
| US11535154B2 (en) | Method for calibrating a vehicular vision system | |
| US10504241B2 (en) | Vehicle camera calibration system | |
| US8199975B2 (en) | System and method for side vision detection of obstacles for vehicles | |
| US9445011B2 (en) | Dynamic rearview mirror adaptive dimming overlay through scene brightness estimation | |
| US9238434B2 (en) | Rear view mirror simulation | |
| US20130208118A1 (en) | Vehicular infrared night assistant driving system | |
| CN107985200B (zh) | 一种载重货车右转弯安全预警方法 | |
| CN103765489B (zh) | 障碍物警报装置 | |
| KR20190047027A (ko) | 차량의 차량 주변 리어뷰 미러 조망을 제공하는 방법 | |
| US11081008B2 (en) | Vehicle vision system with cross traffic detection | |
| US20190102636A1 (en) | Vehicular vision system using smart eye glasses | |
| US10300859B2 (en) | Multi-sensor interior mirror device with image adjustment | |
| CN113525234A (zh) | 一种辅助驾驶系统装置 | |
| CN110626269A (zh) | 一种基于意图辨识模糊控制的智能成像驾驶辅助系统及方法 | |
| CN105270249A (zh) | 一种利用可变形显示器显示摄像头图像的汽车视镜系统 | |
| CN203698134U (zh) | 一种用于接入车联网的工程车安全装置及系统 | |
| CN216331763U (zh) | 一种集成全景功能和bsd功能的智能汽车电子后视镜设备 | |
| CN113665485A (zh) | 汽车前挡风玻璃防眩光系统及控制方法 | |
| KR101684782B1 (ko) | 우적 감응형 와이퍼 장치 | |
| CN217892710U (zh) | 车辆周围图像采集系统和车辆 | |
| KR20180097976A (ko) | 주변 영상 모니터링 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210430 |