CN109472737B - 一种车载六路摄像头的全景报警方法 - Google Patents

一种车载六路摄像头的全景报警方法 Download PDF

Info

Publication number
CN109472737B
CN109472737B CN201811226799.0A CN201811226799A CN109472737B CN 109472737 B CN109472737 B CN 109472737B CN 201811226799 A CN201811226799 A CN 201811226799A CN 109472737 B CN109472737 B CN 109472737B
Authority
CN
China
Prior art keywords
panoramic
alarm
image
images
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811226799.0A
Other languages
English (en)
Other versions
CN109472737A (zh
Inventor
潘林
朱有煌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201811226799.0A priority Critical patent/CN109472737B/zh
Publication of CN109472737A publication Critical patent/CN109472737A/zh
Application granted granted Critical
Publication of CN109472737B publication Critical patent/CN109472737B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T3/047—
    • G06T3/067—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G06T5/77—
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/268—Signal distribution or switching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

本发明涉及一种车载六路摄像头的全景报警方法，实现车周指定区域的报警显示，利用OpenGL的纹理映射技术加快显示的速度以至满足实时显示，同时，采用鱼眼ROI报警区域的划分方法进行报警区域的行人、车辆的识别以及将显示结果的重新映射。本发明可用于大型客车、货车的车周报警显示。

Description

一种车载六路摄像头的全景报警方法
技术领域
本发明涉及一种车载六路摄像头的全景报警方法。
背景技术
随着现代科技技术的发展和进步，汽车逐步成为人们日常的交通工具。为了帮助驾驶员及时全面了解路况信息，尤其对于大型客车的司机，车载六路摄像头的全景系统能帮助消除视觉盲区，提高驾驶的安全性。但司机在驾驶过程中无法长时间观看监控屏幕，且存在视觉分散问题，车载系统若能借助先进的智能视觉方法实时感知车辆周边信息，将可以弥补驾驶员的视角和注意力的不足，有助于大型客车的安全驾驶。现有的智能视觉检测方法常采用深度学习的方法对车周的全景图像进行识别。然而，车载摄像头为了增加成像范围多采用鱼眼镜头，在鱼眼镜头边缘的畸变区域，现有的深度学习的训练模型难以适用；此外,如果直接对车周全景俯视图进行检测，由于全景拼接难以保证不出现畸变和失真，现有的模型检测效果也同样不佳。而且，六路摄像头同时进行基于深度学习的全景识别，实时性难以保证。
发明内容
有鉴于此，本发明的目的在于提供一种车载六路摄像头的全景报警方法，以解决全景拼接出现畸变和失真，以及检测效果不佳的问题。
为实现上述目的，本发明采用如下技术方案：
一种车载六路摄像头的全景报警方法，包括以下步骤：
步骤S1:根据车辆上正确的安装和标定六路摄像头，采集得到六路鱼眼图像；
步骤S2:对六路鱼眼图像进行进行消除畸变处理，将球形图像数据转化为平面图像数据，得到六路平面图像；
步骤S3:将得到的六路平面图像分别投射到3D模型相应的位置上，并将整个坐标变换过程制作成opengl映射表；
步骤S4:利用opengl读入六路摄像头数据，通过映射表确定每个鱼眼图像像素点变换后所显示的图像位置,生成全景图像；
步骤S5:对全景图像进行划分ROI报警区域，得到划分后的全景图像；
步骤S6:通过opengl映射表将划分后全景图像还原成六路鱼眼图像；
步骤S7:分别将六路鱼眼的报警区域ROI截取出来，并拼接成一张六路鱼眼ROI图像；
步骤S8:采用深度学习的方法对六路鱼眼ROI图像进行目标检测，并用矩形框标记作为检测结果；
步骤S9:记录矩形框的4个顶点位置坐标，并通过opengl映射表将4个顶点坐标重新映映射到全景图像当中，利用opengl将4个点连接并画成矩形框。
进一步的，所述步骤S5具体为：
步骤S51:对全景图像的六路图像分别做点数为N的标记，得到六组点数为N的标记；
步骤S52:将六组N点标记连接起来，得到六个N个标记点围成的矩形，即为全景图像的六个报警区。
本发明与现有技术相比具有以下有益效果：
1. 本发明实现车周指定区域的报警显示，利用OpenGL的纹理映射技术加快显示的速度以至满足实时显示；
2. 本发明采用鱼眼ROI报警区域的划分方法进行报警区域的行人、车辆的识别以及将显示结果的重新映射，可用于大型客车、货车的车周报警显示。
附图说明
图1是本发明方法流程图；
图2是本发明一实施例中全景图像划分ROI报警区域图；
图3是本发明一实施例中全景图像的坐标点还原成鱼眼图像相应坐标点；
图4是本发明一实施例中六路鱼眼ROI图像。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种车载六路摄像头的全景报警方法，包括以下步骤：
步骤S1:根据车辆上正确的安装和标定六路摄像头，采集得到六路鱼眼图像；
步骤S2:对六路鱼眼图像进行进行消除畸变处理，将球形图像数据转化为平面图像数据，得到六路平面图像；
步骤S3:将得到的六路平面图像分别投射到3D模型相应的位置上，并将整个坐标变换过程制作成opengl映射表；
步骤S4:利用opengl读入六路摄像头数据，通过映射表确定每个鱼眼图像像素点变换后所显示的图像位置,生成全景图像；
步骤S5:对全景图像进行划分ROI报警区域，得到划分后的全景图像；报警区域指，当车辆或者行人进入次区域即可将其识别，并报警提示；其区域大小、位置可根据实际应用的需要适当调整；
步骤S51:对全景图像的六路图像分别做点数为N的标记，得到六组点数为N的标记；N的个数越多则报警区域大小越精确
步骤S52:将六组N点标记连接起来，得到六个N个标记点围成的矩形，即为全景图像的六个报警区。参考图3本实施例采用N=6，报警区域大小为ABCDEF六个点所围成的矩形。
步骤S6:通过opengl映射表将划分后全景图像还原成六路鱼眼图像；
步骤S7:分别将六路鱼眼的报警区域ROI截取出来，并拼接成如图4的一张六路鱼眼ROI图像；
步骤S8:采用深度学习的方法对六路鱼眼ROI图像进行目标检测，并用矩形框标记作为检测结果；
步骤S9:记录矩形框的4个顶点位置坐标，并通过opengl映射表将4个顶点坐标重新映映射到全景图像当中，利用opengl将4个点连接并画成矩形框。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (2)

1.一种车载六路摄像头的全景报警方法，其特征在于，包括以下步骤：
步骤S1:根据车辆上正确的安装和标定六路摄像头，采集得到六路鱼眼图像；
步骤S2:对六路鱼眼图像进行进行消除畸变处理，将球形图像数据转化为平面图像数据，得到六路平面图像；
步骤S3:将得到的六路平面图像分别投射到3D模型相应的位置上，并将整个坐标变换过程制作成opengl映射表；
步骤S4:利用opengl读入六路摄像头数据，通过映射表确定每个鱼眼图像像素点变换后所显示的图像位置,生成全景图像；
步骤S5:对全景图像进行划分ROI报警区域，得到划分后的全景图像；
步骤S6:通过opengl映射表将划分后全景图像还原成六路鱼眼图像；
步骤S7:分别将六路鱼眼的报警区域ROI截取出来，并拼接成一张六路鱼眼ROI图像；
步骤S8:采用深度学习的方法对六路鱼眼ROI图像进行目标检测，并用矩形框标记作为检测结果；
步骤S9:记录矩形框的4个顶点位置坐标，并通过opengl映射表将4个顶点坐标重新映映射到全景图像当中，利用opengl将4个点连接并画成矩形框。
2.根据权利要求1所述的一种车载六路摄像头的全景报警方法，其特征在于：所述步骤S5具体为：
步骤S51:对全景图像的六路图像分别做点数为N的标记，得到六组点数为N的标记；
步骤S52:将六组N点标记连接起来，得到六个N个标记点围成的矩形，即为全景图像的六个报警区。
CN201811226799.0A 2018-10-22 2018-10-22 一种车载六路摄像头的全景报警方法 Active CN109472737B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811226799.0A CN109472737B (zh) 2018-10-22 2018-10-22 一种车载六路摄像头的全景报警方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811226799.0A CN109472737B (zh) 2018-10-22 2018-10-22 一种车载六路摄像头的全景报警方法

Publications (2)

Publication Number Publication Date
CN109472737A CN109472737A (zh) 2019-03-15
CN109472737B true CN109472737B (zh) 2022-05-31

Family

ID=65665841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811226799.0A Active CN109472737B (zh) 2018-10-22 2018-10-22 一种车载六路摄像头的全景报警方法

Country Status (1)

Country Link
CN (1) CN109472737B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110364024A (zh) * 2019-06-10 2019-10-22 深圳市锐明技术股份有限公司 行驶车辆的环境监控方法、装置及车载终端
CN111105347B (zh) * 2019-11-19 2020-11-13 贝壳找房(北京)科技有限公司 一种生成带深度信息的全景图的方法、装置及存储介质
US11055835B2 (en) 2019-11-19 2021-07-06 Ke.com (Beijing) Technology, Co., Ltd. Method and device for generating virtual reality data

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1312521A (zh) * 2000-03-08 2001-09-12 湖南天翼信息技术有限公司 交通视频图像自动处理系统
CN104851076A (zh) * 2015-05-27 2015-08-19 武汉理工大学 用于商用车的全景环视泊车辅助系统及摄像头安装方法
CN106875339A (zh) * 2017-02-22 2017-06-20 长沙全度影像科技有限公司 一种基于长条形标定板的鱼眼图像拼接方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130182065A1 (en) * 2012-01-17 2013-07-18 Shih-Yao Chen Vehicle event data recorder and anti-theft alarm system with 360 degree panograph function

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1312521A (zh) * 2000-03-08 2001-09-12 湖南天翼信息技术有限公司 交通视频图像自动处理系统
CN104851076A (zh) * 2015-05-27 2015-08-19 武汉理工大学 用于商用车的全景环视泊车辅助系统及摄像头安装方法
CN106875339A (zh) * 2017-02-22 2017-06-20 长沙全度影像科技有限公司 一种基于长条形标定板的鱼眼图像拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视觉的智能汽车道路检测与预警算法的研究;王明慧;《万方数据学位论文库》;20121231;第1-58页 *

Also Published As

Publication number Publication date
CN109472737A (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
CN110363820B (zh) 一种基于激光雷达、图像前融合的目标检测方法
CN109435852B (zh) 一种针对大型卡车的全景式辅助驾驶系统及方法
CN107577988B (zh) 实现侧方车辆定位的方法、装置及存储介质、程序产品
WO2018153304A1 (zh) 基于adas系统的地图道路标记及道路质量采集装置及方法
CN109472737B (zh) 一种车载六路摄像头的全景报警方法
CN106128115B (zh) 一种基于双摄像机检测道路交通信息的融合方法
CN106651963B (zh) 一种用于驾驶辅助系统的车载摄像头的安装参数标定方法
WO2019192418A1 (zh) 汽车抬头显示系统及其障碍物提示方法
CN109688392A (zh) Ar-hud光学投影系统及映射关系标定方法和畸变矫正方法
CN109961522B (zh) 图像投射方法、装置、设备和存储介质
EP3859593A1 (en) Vehicle feature acquisition method and device
CN110203210A (zh) 一种车道偏离预警方法、终端设备及存储介质
CN111141311B (zh) 一种高精度地图定位模块的评估方法及系统
CN109635737A (zh) 基于道路标记线视觉识别辅助车辆导航定位方法
CN112257539A (zh) 车辆与车道线的位置关系检测方法、系统和存储介质
CN110827197A (zh) 一种基于深度学习检测和识别车辆环视目标的方法和装置
US9569676B2 (en) Computer implemented system and method for extracting and recognizing alphanumeric characters from traffic signs
CN111260539A (zh) 鱼眼图目标识别方法及其系统
CN110738081A (zh) 异常路况检测方法及装置
Adamshuk et al. On the applicability of inverse perspective mapping for the forward distance estimation based on the HSV colormap
CN110626269A (zh) 一种基于意图辨识模糊控制的智能成像驾驶辅助系统及方法
CN106803073B (zh) 基于立体视觉目标的辅助驾驶系统及方法
WO2020199057A1 (zh) 一种自动驾驶模拟系统、方法、设备及存储介质
CN111652937A (zh) 车载相机标定方法和装置
CN109686104B (zh) 一种车辆超高检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant