CN106874869B - 一种车载视觉感知的信息安全系统及方法 - Google Patents

一种车载视觉感知的信息安全系统及方法 Download PDF

Info

Publication number
CN106874869B
CN106874869B CN201710079840.5A CN201710079840A CN106874869B CN 106874869 B CN106874869 B CN 106874869B CN 201710079840 A CN201710079840 A CN 201710079840A CN 106874869 B CN106874869 B CN 106874869B
Authority
CN
China
Prior art keywords
vehicle
image
camera
information
mounted camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710079840.5A
Other languages
English (en)
Other versions
CN106874869A (zh
Inventor
王云鹏
余贵珍
王章宇
李明
马亚龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Tage Idriver Technology Co Ltd
Original Assignee
Beihang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beihang University filed Critical Beihang University
Priority to CN201710079840.5A priority Critical patent/CN106874869B/zh
Publication of CN106874869A publication Critical patent/CN106874869A/zh
Application granted granted Critical
Publication of CN106874869B publication Critical patent/CN106874869B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06T5/94
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

一种车载视觉感知的信息安全系统,包括车载摄像头、摄像头自适应调节装置、感知处理器和预警装置,所述车载摄像头包括摄像头补光灯,用于在道路环境光线较弱时进行补光;摄像头镜头;角度调节限位机构,用于限定摄像头自适应位置调节范围;以及键槽机构,用于连接所述摄像头自适应调节装置。本发明还公开了一种车载视觉感知的信息安全系统的使用方法,包括以下步骤:步骤1:通过车载摄像头获取道路环境信息;步骤2:判断是否存在环境干扰以及干扰是否为人为攻击;步骤3:当存在环境干扰或者人为攻击时,进行图像增强操作。

Description

一种车载视觉感知的信息安全系统及方法
技术领域
本发明涉及车载传感器环境感知安全技术领域,适用于载有视觉传感器的车辆,具体涉及一种车载视觉感知的信息安全系统及方法。
背景技术
随着信息技术的不断发展,传统车辆已经难以满足人们安全以及舒适的方面的需求,车辆的智能化已经成为社会的研究热点。近年来,各种智能驾驶系统逐渐发展起来,智能驾驶系统融合了各个方面的前沿科技,包括环境感知、智能控制等。其中环境感知中系统中的视觉传感器在车道线识别、行人检测、交通标志识别等智能驾驶及半智能驾驶系统中得到广泛应用。
在现阶段的智能车辆的研究过程中,车辆的信息安全一直缺乏关注,尤其是车载传感器的视觉系统更缺乏安全角度的考虑。智能车辆在行驶的过程中应用机器视觉系统进行车道线识别、行人检测、交通标志识别等过程中很容易受到周围环境的干扰特别是一些恶意的攻击,如人为的强光照射摄像头等恶意干扰视觉信息源的攻击。此外,视觉感知系统很容易受到雨水、灰尘等自然因素干扰,因此,在智能驾驶以及辅助驾驶的过程中车载传感器存在一定的安全隐患。
针对环境中光照等因素对车载摄像头采集得到的视频图像质量的影响,现阶段也存在有一些算法用于解决此类问题。色彩空间转换法只能适用于光照微小变化的图像,直方图均衡化法对于光照强烈的图像不适用,而γ校正法不能处理暗光和强光并存的视频图像。
发明内容
为解决以上问题,本发明提出了一种车载视觉感知的信息安全系统。该系统主要包括有车载视觉感知摄像头、摄像头自适应调节装置、视觉感知处理器、视觉预警装置,此外还包括有一种自适应车载视觉图像增强方法。
一种车载视觉感知的信息安全系统,包括车载摄像头、摄像头自适应调节装置、感知处理器和预警装置,所述车载摄像头包括摄像头补光灯,用于在道路环境光线较弱时进行补光;摄像头镜头;角度调节限位机构,用于限定摄像头自适应位置调节范围;以及键槽机构,用于连接所述摄像头自适应调节装置。
所述车载摄像头为密闭式结构,具有防水功能。
所述摄像头自适应调节装置包括:摄像头位置调节限位凸起机构、连接键、驱动电机;所述位置调节限位凸起机构与所述角度调节限位机构共同用于限定摄像头自适应位置调节范围;所述连接键用于与所述键槽机构配合,所述驱动电机输出端与所述连接键连接。
所述角度调节限位机构和位置调节限位凸起机构均为弧形凸起结构。
所述预警装置为语音播报装置。
一种保护车载视觉感知信息安全的方法,包括以下步骤:
步骤1:通过车载摄像头获取道路环境信息,车载摄像头与摄像头自适应调节装置通过键连接,其中,车载摄像头在摄像头自适应调节装置中可旋转至三个不同位置,在每一个位置处对应的图像处理算法以及相机安装的内参及外参都经过实验标定;
步骤2:判断是否存在环境干扰以及干扰是否为人为攻击;
步骤3:当存在环境干扰或者人为攻击时,进行车载视觉图像增强操作;当干扰为人为攻击时,通过摄像头自适应调节装置调节车载摄像头的位置以避开人为攻击,同时通过所述预警装置发出预警。
其中,所述步骤2的判断方法具体为:对车载摄像头采集的视频图像进行卷积处理,得到各区域的卷积值,处理公式为p=I*G,上式中,G为卷积核,I为卷积核系数,p为卷积值;判断,若相邻的两区域差值大于设定的阈值时,即可认为此处存在光源干扰,进一步的若干扰区域大于设定数量以上时,则认为存在有人为恶意攻击。
所述步骤3的车载视觉图像增强的具体步骤为:
1)首先在获取到视频的一帧图像信息后,进行图像的灰度化,
2)将灰度化后的图像进行自适应图像增强,主要包括对数变换和非线性图像增强;
2a:对数变换采用如下压缩公式:
I1(x,y)=ln(e+I0(x,y))
上式中I0(x,y)为车载摄像头采集到的原始图像的灰度值,I1(x,y)为变换后的图像灰度值,变换后并将此值乘以比例系数k,从而使像素的灰度值分布在正常的图像灰度范围内;
2b:采用非线性图像增强对车载摄像头获取得到的图像中较亮信息进行抑制,具体的应用公式如下:
上式中I2(x,y)为非线性增强后图像的灰度值,m为非线性变换参数,具体的计算表达式如下:
为车载摄像头获取得到的每一帧图像的平均灰度值,a为调整系数,需要根据实际的实验标定,k(I)为非线性分级,分为两级,具体的表达式如下:
上式中,b、c为抑制基准,需要根据实际的实验结果标定得到;
2c:对图像的对数变换和非线性变换的综合,综合的表达式如下:
I(x,y)=β*I1(x,y)+(1-β)*I2(x,y)
式中的β为综合系数,β的范围在0与1之间,β的选取根据车载摄像头采集的图像信息而定;
3)将自适应图像增强后的图像进行输出,进一步的对输出的图像进行必要的图像处理。
所述三个不同位置分别为摄像头与水平线夹角为45°、60°和30°。
所述的b=8,c=9,β=0.4。
本发明的优点在于:
(1)本发明一种车载视觉感知的信息安全系统,提出车辆智能化信息安全相关概念,针对视觉传感器信息安全发明了一套视觉传感器信息安全系统,当智能车辆视觉感知传感器在存在有人为的恶意攻击或自然环境干扰时,可对干扰信息做出判断,并采取自适应保护及预警措施,极大的保护了智能车辆视觉传感器,从而保证了获取的视觉信息稳定可靠。
(2)本发明一种车载视觉感知的信息安全系统,提出了一种视觉传感器自适应保护装置,针对不同光线对摄像头照射时摄像头可自适应调整角度,从而保证了获取的图像信息不受外界干扰信息的影响,同时保护了视觉传感器。
(3)本发明一种车载视觉感知的信息安全系统,提出了一种新的图像光照增强算法,可对恶意攻击或干扰图像信息作出判断,能及时自我修复并作出预警,极大的保护了智能车辆的行驶安全。
附图说明
图1为本发明一种车载视觉感知的信息安全系统发明流程图。
图2为本发明一种车载视觉感知的信息安全系统摄像头结构示意图。
图3为本发明一种车载视觉感知的信息安全系统摄像头自适应调节装置示意图。
图4是本发明一种车载视觉感知的信息安全系统车载图像信息增强流程图。
具体实施方式
下面将结合附图和实施例对本发明作进一步的详细说明。
一种车载视觉感知的信息安全系统,主要包括有车载视觉感知摄像头、摄像头自适应调节装置、视觉感知处理器、视觉预警装置,此外还包括有一种自适应图像增强方法。
所述的车载视觉感知摄像头如图2所示,具有较强的密封性以及防水功能,主要包括有摄像头补光灯21、摄像头镜头22、角度调节限位机构23以及键槽机构24。摄像头补光灯21在道路环境光线较弱时可以进行补光,角度调节限位机构23用于限定摄像头自适应位置调节范围,键槽机构24用于连接车载摄像头与摄像头自适应调节装置驱动电机。
所述的摄像头自适应调节装置如图3所示,主要包括有摄像头位置调节限位凸起机构31、连接键32、驱动电机33。位置调节限位凸起机构31与车载摄像头中角度调节限位机构23共同用于限定摄像头自适应位置调节范围,连接键32用于连接车载摄像头和摄像头自适应位置驱动电机,驱动电机33用于驱动摄像头旋转,从而达到控制摄像头自适应旋转的目的。
本发明的流程图如图1所示,具体包括:
步骤1:通过车载摄像头获取道路环境信息,车载摄像头与车载摄像头自适应调节机构通过键连接,车载摄像头在自适应调节机构中可旋转至三个不同位置,在每一个位置处对应的图像处理算法都经过实验标定,从而保证了后期视频图像信息处理的精准有效。
步骤2:判断是否存在环境干扰以及干扰是否为人为攻击。环境干扰以及人为攻击在车载摄像头采集得到的视频图像中表现为图像的某一区域出现高亮度,同时本实施例中所采用的车载摄像头的分辨率为1920*1080,判断图像中是否存在干扰信息在本实施例中通过一个6*6的卷积核,且卷积核内各系数均为1,即p=I*G,G为卷积核,在对整幅图像作完卷积后得到各区域的卷积值,若相邻的两区域差值大于设定的阈值20时,即可认为此处存在光源干扰,进一步的若干扰区域大于4个以上,则认为存在有人为恶意攻击。
步骤3:当存在有环境干扰或者存在人为攻击时需要进行图像增强。进一步的若存在人为攻击时还需要进行摄像头位置自适应调整并发出预警。摄像头通过摄像头自适应调节装置可以处于三个不同的位置,分别为位置1、位置2、位置3,位置1时摄像头朝向与水平线夹角为45度,位置2时摄像头朝向与水平线夹角为60度,位置3时摄像头与水平线夹角为30度。正常状态下,摄像头处于位置1处,当步骤2检测到存在人为攻击时,若人为攻击对应存在于视频图像的上半部分,则自适应调节装置将摄像头旋转至位置3处,若人为攻击存在于视频图像的下半部分,则自适应调节装置将摄像头旋转至位置1处,从而使摄像头避开信息攻击源,保证了信息安全。
步骤3所述的图像增强,其流程图如图4所示,其具体的步骤如下:
1):首先在获取到视频的一帧图像信息后,进行图像的灰度化,
2):将灰度化后的图像进行自适应图像增强,主要包括对数变换和非线性图像增强。
2a:利用对数变换主要为了对车载摄像头获取得到的图像进行动态范围压缩,可以使得高值图像中的暗像素进行扩展,也就是说使得车载摄像头获取得到的视频信息中较暗区域进行补光操作,具体的压缩公式如下:
I1(x,y)=ln(e+I0(x,y))
上式中I0(x,y)为车载摄像头采集到的原始图像的灰度值,I1(x,y)为变换后的图像灰度值,变换后并将此值乘以比例系数k,从而使像素的灰度值分布在正常的图像灰度范围内。
通过对车载摄像头获取得到的图像进行对数压缩后,可以使得图像中较暗的部分得到增强,但同时也会使导致图像中原本较亮的环境信息显得过亮,因此需要对此部分信息进行抑制。
2b:对车载摄像头获取得到的图像中较亮信息进行抑制时主要应用非线性图像增强,具体的应用公式如下:
上式中I2(x,y)为非线性增强后图像的灰度值,m为非线性变换参数,具体的计算表达式如下
为车载摄像头获取得到的每一帧图像的平均灰度值,a为调整系数,需要根据实际的实验标定,本实验室例中a为1,k(I)为非线性分级,分为两级,具体的表达式如下:
上式中,b、c为抑制基准,需要根据实际的实验结果标定得到,本实施例中b为8,c为9。
通过非线性图像增强可以很好的抑制车载摄像头采集图像中的过亮信息,在此基础上需要进行对图像的对数变换和非线性变换的综合,综合的表达式如下:
I(x,y)=β*I1(x,y)+(1-β)*I2(x,y)
式中的β为综合系数,β的范围在0与1之间。β的选取根据车载摄像头采集的图像信息而定,本实施例中β取值为0.4。
3):将自适应图像增强后的图像进行输出,进一步的对输出的图像进行必要的图像处理,如车道线识别、行人检测等,这里需要根据实际需求而定。

Claims (4)

1.一种保护车载视觉感知信息安全的方法,其特征在于,包括以下步骤:
步骤1:通过车载摄像头获取道路环境信息,车载摄像头与摄像头自适应调节装置通过键连接,其中,车载摄像头在摄像头自适应调节装置中可旋转至三个不同位置,在每一个位置处对应的图像处理算法以及相机安装的内参及外参都经过实验标定;
步骤2:判断是否存在环境干扰以及干扰是否为人为攻击;判断方法具体为:对车载摄像头采集的视频图像进行卷积处理,得到各区域的卷积值,处理公式为p=I*G,上式中,G为卷积核,I为卷积核系数,p为卷积值;判断,若相邻的两区域差值大于设定的阈值时,即可认为此处存在光源干扰,进一步的若干扰区域大于设定数量以上时,则认为存在有人为恶意攻击;
步骤3:当存在环境干扰或者人为攻击时,进行车载视觉图像增强操作;当干扰为人为攻击时,通过摄像头自适应调节装置调节车载摄像头的位置以避开人为攻击,同时通过预警装置发出预警。
2.根据权利要求1所述的方法,其特征在于,
所述步骤3的车载视觉图像增强的具体步骤为:
1)首先在获取到视频的一帧图像信息后,进行图像的灰度化,
2)将灰度化后的图像进行自适应图像增强,包括对数变换和非线性图像增强;
2a:对数变换采用如下压缩公式:
I1(x,y)=ln(e+I0(x,y))
上式中I0(x,y)为车载摄像头采集到的原始图像的灰度值,I1(x,y)为变换后的图像灰度值,变换后并将此值乘以比例系数k,从而使像素的灰度值分布在正常的图像灰度范围内;
2b:采用非线性图像增强对车载摄像头获取得到的图像中较亮信息进行抑制,应用公式如下:
上式中I2(x,y)为非线性增强后图像的灰度值,m为非线性变换参数,m的计算表达式如下:
为车载摄像头获取得到的每一帧图像的平均灰度值,a为调整系数,根据实际的实验标定,k(I)为非线性分级,分为两级,表达式如下:
上式中,b、c为抑制基准,根据实际的实验结果标定得到;
2c:对图像的对数变换和非线性变换的综合,综合的表达式如下:
I(x,y)=β*I1(x,y)+(1-β)*I2(x,y)
式中的β为综合系数,β的范围在0与1之间,β的选取根据车载摄像头采集的图像信息而定;
3)将自适应图像增强后的图像进行输出,进一步的对输出的图像进行图像处理。
3.根据权利要求1所述的方法,其特征在于,所述三个不同位置分别为摄像头与水平线夹角为45°、60°和30°。
4.根据权利要求2所述的方法,其特征在于,所述的b=8,c=9,β=0.4。
CN201710079840.5A 2017-02-15 2017-02-15 一种车载视觉感知的信息安全系统及方法 Active CN106874869B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710079840.5A CN106874869B (zh) 2017-02-15 2017-02-15 一种车载视觉感知的信息安全系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710079840.5A CN106874869B (zh) 2017-02-15 2017-02-15 一种车载视觉感知的信息安全系统及方法

Publications (2)

Publication Number Publication Date
CN106874869A CN106874869A (zh) 2017-06-20
CN106874869B true CN106874869B (zh) 2018-07-27

Family

ID=59167128

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710079840.5A Active CN106874869B (zh) 2017-02-15 2017-02-15 一种车载视觉感知的信息安全系统及方法

Country Status (1)

Country Link
CN (1) CN106874869B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108347560A (zh) 2018-01-17 2018-07-31 浙江大华技术股份有限公司 一种摄像机防太阳灼伤方法、摄像机及可读存储介质
CN109375105B (zh) * 2018-11-01 2020-12-25 湖南工程学院 一种新能源汽车电机运行检测系统及检测方法
CN111787481B (zh) * 2020-06-17 2021-06-29 北京航空航天大学 一种基于5g的路车协调高精度感知方法
CN114779838B (zh) * 2022-06-20 2022-09-02 鲁冉光电(微山)有限公司 一种车载摄像头角度智能调节控制系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101428590A (zh) * 2008-08-13 2009-05-13 程滋颐 汽车用摄像头
CN101739827A (zh) * 2009-11-24 2010-06-16 北京中星微电子有限公司 一种车辆检测跟踪方法和装置
US8718348B2 (en) * 2009-08-07 2014-05-06 Carestream Health, Inc. Grid suppression in imaging
CN105491350A (zh) * 2016-01-04 2016-04-13 烟台中正新技术有限公司 一种用于车辆行驶图像采集的摄像装置
CN106205217A (zh) * 2016-06-24 2016-12-07 华中科技大学 基于机器视觉的无人机自动检测方法及无人机管制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101428590A (zh) * 2008-08-13 2009-05-13 程滋颐 汽车用摄像头
US8718348B2 (en) * 2009-08-07 2014-05-06 Carestream Health, Inc. Grid suppression in imaging
CN101739827A (zh) * 2009-11-24 2010-06-16 北京中星微电子有限公司 一种车辆检测跟踪方法和装置
CN105491350A (zh) * 2016-01-04 2016-04-13 烟台中正新技术有限公司 一种用于车辆行驶图像采集的摄像装置
CN106205217A (zh) * 2016-06-24 2016-12-07 华中科技大学 基于机器视觉的无人机自动检测方法及无人机管制方法

Also Published As

Publication number Publication date
CN106874869A (zh) 2017-06-20

Similar Documents

Publication Publication Date Title
CN106874869B (zh) 一种车载视觉感知的信息安全系统及方法
CN107862290B (zh) 车道线检测方法及系统
US9842261B2 (en) Vehicle monitoring device and method of monitoring vehicle
CN108515909A (zh) 一种汽车抬头显示系统及其障碍物提示方法
JP4953498B2 (ja) フェールセーフ機能を有する車外監視装置
CN109703460B (zh) 多摄像头的复杂场景自适应车辆碰撞预警装置及预警方法
WO2006129493A1 (ja) 車両及び路面標示認識装置
CN111462522B (zh) 一种可消除地面强反射光影响的视觉车位检测方法
CN102938057B (zh) 一种车辆阴影消除方法及装置
KR20160136722A (ko) 헤드램프 눈부심 방지 장치 및 이를 이용한 눈부심 방지 방법
CN108650495A (zh) 一种车用全景环视系统及其自适应补光方法
CN105303157A (zh) 延伸用于avm停止线检测的检测范围的算法
CN106412448A (zh) 一种基于单帧图像的宽动态范围处理方法与系统
KR20180065758A (ko) 탑-뷰 영상 생성 장치 및 그 방법
CN110626269A (zh) 一种基于意图辨识模糊控制的智能成像驾驶辅助系统及方法
WO2011000392A1 (en) Method and camera system for improving the contrast of a camera image
CN112800989A (zh) 一种检测斑马线的方法及装置
KR101660878B1 (ko) 차량용 카메라의 영상 처리 장치 및 방법
JP4804202B2 (ja) ステレオ式監視装置
US20220201253A1 (en) Camera and a method therein for facilitating installation of the camera
CN108375920A (zh) 基于深度传感器的设备控制系统
CN111435972A (zh) 一种图像处理的方法及装置
JP5169641B2 (ja) 画像解析装置および画像解析プログラム
CN105291982B (zh) 快速且可靠的停止线检测器
US11003944B2 (en) Topology preserving intensity binning on reduced resolution grid of adaptive weighted cells

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211130

Address after: 100176 901, 9th floor, building 2, yard 10, KEGU 1st Street, Beijing Economic and Technological Development Zone, Daxing District, Beijing

Patentee after: BEIJING TAGE IDRIVER TECHNOLOGY CO.,LTD.

Address before: 100191 No. 37, Haidian District, Beijing, Xueyuan Road

Patentee before: BEIHANG University