CN111756971B - 一种极端环境下无人车视觉增强装置及方法 - Google Patents

一种极端环境下无人车视觉增强装置及方法 Download PDF

Info

Publication number
CN111756971B
CN111756971B CN202010622342.2A CN202010622342A CN111756971B CN 111756971 B CN111756971 B CN 111756971B CN 202010622342 A CN202010622342 A CN 202010622342A CN 111756971 B CN111756971 B CN 111756971B
Authority
CN
China
Prior art keywords
circular polarizer
image
motor driving
driving unit
unmanned vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010622342.2A
Other languages
English (en)
Other versions
CN111756971A (zh
Inventor
唐小林
张志强
陈佳信
阳鑫
胡晓松
李佳承
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University
Original Assignee
Chongqing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University filed Critical Chongqing University
Priority to CN202010622342.2A priority Critical patent/CN111756971B/zh
Publication of CN111756971A publication Critical patent/CN111756971A/zh
Application granted granted Critical
Publication of CN111756971B publication Critical patent/CN111756971B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/663—Remote control of cameras or camera parts, e.g. by remote control devices for controlling interchangeable camera parts based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Accessories Of Cameras (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明涉及一种极端环境下无人车视觉增强装置及方法，属于无人驾驶环境感知领域。该装置包括：图像增强装置，包括滤光装置、图像分析单元和固定装置；滤光装置包括带有后座框的圆形偏振镜，外齿圈，电机驱动单元，以及安装在电机驱动单元上的齿轮；电机驱动单元控制齿轮带动外齿圈及圆形偏振镜同步旋转；图像分析单元输出电机旋转角度和方向信号。本发明通过控制圆形偏振镜的旋转角度实现滤光效果的无级调节，利用卷积神经网络模型和预训练权重参数对图像进行分析，确定圆形偏振镜的旋转角度和方向，同时提出周期扫描方法对圆形偏振镜位置进行校正。

Description

一种极端环境下无人车视觉增强装置及方法
技术领域
本发明属于无人驾驶环境感知领域，涉及一种极端环境下无人车视觉增强装置及方法。
背景技术
智能驾驶汽车近年来高速发展，高级驾驶员辅助系统(ADAS)在汽车领域得到了广泛的应用，可以减少交通事故、交通堵塞和空气污染，智能驾驶系统的鲁棒性能完全依赖于从环境中对车辆的完美检测。随着计算机视觉目标检测技术的蓬勃发展，利用边缘、阴影、光线等关键特征信息与卷积神经网络的深度特征信息来检测车辆，使智能交通系统能够解决车辆检测中的一些核心挑战。
光是传播方向与振动方向垂直的横波，自然光如太阳光是无偏光，经过界面反射后变成以平行于界面的振动位置为主的部分偏振光。在实际复杂多变的环境中，无人车摄像头的CCD/CMOS感光元件的测光系统易受汽车漆面，沥青路面，城市玻璃墙面，水面等界面反射的部分偏振光影响，导致画面中目标可见度低，特征不明显，进而造成目标漏检，此外积水路面的车辆倒影和夜间湿滑路面的灯光倒影等容易造成目标误检，导致无人车频繁制动，影响乘坐舒适性。
如公开号为CN106454040A的专利申请，公开了一种夜间防眩光车载摄像头及其控制方法，包括镜头与滤光装置，偏光镜片位于镜头的前方，一号电磁铁与二号电磁铁相对设置，一号电磁铁、二号电磁铁均与电磁铁供电组件电连接，电磁铁供电组件与电磁铁控制单元信号连接，电磁铁控制单元与眩光判断单元信号连接，眩光判断单元与图像采集单元信号连接。虽然该发明能减少眩光，但是仍存在以下缺陷：
首先，环境中自然光经不同界面反射产生不同方向的偏振，但该发明中偏振镜旋转方向不能根据实际情况实时调整，偏振镜的过滤功能只适用于固定方向的偏振光，同时，采用的线偏振镜影响相机的自动测光和对焦功能，导致照片曝光不足，曝光过量与照片模糊。
其次，该专利申请为实现防眩光的效果，需要采用两个电磁铁，使得结构较复杂，同时，电磁铁产生的磁场会影响相机感光元件电子元件，可靠性低。同时，眩光超过预设阈值后，偏振镜会吸附至镜头使图像眩光消除，然后偏振镜又被吸附至远离镜头的位置。在实际应用时，偏振镜处于往复移动状态，造成图像质量不稳定。
再次，该专利申请只分析图像的感兴趣区域中明亮区域的最大面积或者非圆形明亮区域的数目，根据预设的阈值进行跳跃式调节，适用场景少。
发明内容
有鉴于此，本发明的目的在于提供一种极端环境下无人车视觉增强装置及方法，使用卷积神经网络模型作为图像质量分析的主要方法，同时考虑到所训练的模型不能泛化的场景，提出偏振镜周期旋转方法，用于寻找图像最佳的旋转位置。所提出的装置采用圆形偏振镜，能够透射圆形偏振光，在不影响相机测光和对焦的前提下，能够实时有效的调整偏振镜的旋转方向，过滤环境中的有害偏振光，提升无人车的视觉感知能力。
为达到上述目的，本发明提供如下技术方案：
1、一种极端环境下无人车视觉增强装置，包括：相机机身1与镜头2，其特征在于，该装置还包括位于镜头2前方的图像增强装置；所述图像增强装置包括滤光装置、图像分析单元41和固定装置。
滤光装置包括带有后座框3的圆形偏振镜4，外齿圈21，电机驱动单元23，以及安装在电机驱动单元23上的齿轮22。电机驱动单元23控制齿轮22带动外齿圈21及圆形偏振镜4同步旋转。
图像分析单元41与相机机身1信号连接，提取分析图像深度特征信息；图像分析单元41与电机驱动单元23信号连接，输出电机旋转角度和方向信息。
相机机身1，用于对环境自动对焦和测光，通过镜头2将无人车前方环境信息转换为图像。
进一步，外齿圈21与圆形偏振镜4过盈配合连接；齿轮22通过啮合带动外齿圈21和圆形偏振镜4同步旋转。
进一步，圆形偏振镜4包括一片线性偏振镜与一片四分之一波片；圆形偏振镜4位于镜头2的正前方，圆形偏振镜4通过可自由旋转的后座框3与镜头2螺纹连接。
线偏振镜用于过滤环境中的不良反射光线，四分之一波片使透过它的偏振光振动方向在一个圆周上旋转，适用于自动对焦与自动测光的相机。
进一步，固定装置包括与相机机身1连接的底座31，以及与底座31连接的导杆32；导杆32固定在底座31一侧，底座31与相机机身1下端连接。
进一步，电机驱动单元23下端与导杆32连接，电机驱动单元23上端与齿轮22连接。
2、一种极端环境下无人车视觉增强方法，包含如下步骤：
S1：相机机身将镜头和圆形偏振镜透射的无人车前方环境信息转换为图像，将图像传输到图像分析单元。
S2：图像分析单元将图像输入到卷积神经网络模型中，根据预训练权重参数提取并分析图像深度特征，将神经网络输出的转动方向和角度传输给电机驱动单元。
S3：电机驱动单元根据转动信号驱动齿轮旋转，带动外齿圈及圆形偏振镜同步旋转到图像质量最佳位置。
S4：图像分析单元分析调整后的图像，若图像质量依然存在大量反光，眩光或倒影，电机驱动单元驱动齿轮旋转，带动齿圈及圆形偏振镜旋转一周期180度，图像分析单元记录旋转过程图像质量最佳时的圆形偏振镜旋转角度Φ度和方向。
S5：电机驱动单元驱动齿轮带动圆形偏振镜旋转到指定位置。
当图像分析单元检测到前方行车环境不存在沥青路面反光，车辆漆面反光，城市玻璃反光，雨后积水路面倒影，沿湖道路湖面反光，积雪结冰路面反光等不良反光时，电机处于静止状态，圆形偏振镜位置保持角度不变。
当图像分析单元检测到前方行车环境存在反光，眩光，水面倒影时，电机驱动单元根据神经网络输出的信号控制电机旋转，通过齿轮啮合使圆形偏振镜旋转到图像质量最优位置，增强视觉感知效果。
当圆形偏振镜根据神经网络模型输出结果调整后，图像仍然存在大量反光，眩光，水面倒影的情况，说明神经网络判断不出当前场景，采用周期扫描方法进行圆形偏振镜位置校正。
进一步，步骤S1中，圆形偏振镜是指透射的偏振光线为圆形偏振光，由一片线性偏振镜片与一片四分之一波片构成，线偏振镜用于过滤环境中的不良反射光线，四分之一波片使透过偏振光振动方向在一个圆周上旋转，适用于自动对焦与自动测光的相机。自然光是无偏光，圆形偏振镜过滤的光线通过镜头投射在相机机身的感光元件上，感光元件将光信号转换为图像数字信号传输给图像分析单元。
进一步，步骤S2中，卷积神经网络模型用来分析图片深度特征信息，预训练权重参数是根据人工标注的数据集训练的，数据集是人工标注极端场景下图像质量最优时的偏振镜旋转角度。采集的图像作为卷积神经网络模型的输入，经过预训练权重参数进行计算后，输出圆形偏振镜的旋转方向和角度，经过传动比计算后输出电机的旋转角度和方向。
进一步，步骤S3中，电机驱动单元根据图像分析单元输出的信号按制定方向旋转一定的角度，使偏振镜片的偏振方向能够过滤环境中大部分不良偏振光。
进一步，步骤S4中，卷积神经网络模型在某些陌生环境不能有效的分析环境深度特征信息，S3调整圆形偏振镜后，图像质量依然存在大量反光，眩光或倒影。基于此，S4提出周期扫描方法进行圆形偏振镜位置校正，即电机驱动带动圆形镜旋转一周期，图像分析单元记录图像位置最佳时的圆形镜旋转角度Φ度。所述一周期为180度，即偏振镜片每旋转180度，图像光线周期性变化一次。
进一步，步骤S5中，为了提高圆形偏振镜到达制定位置的速度，根据记录的角度Φ，，电机驱动单元根据下式控制偏振镜片的旋转方向和角度；
Figure GDA0002616817750000041
其中，Φ为周期扫描方法的偏振镜旋转角度，正转与上一次旋转方向相同，逆转与上一次旋转方向相反。
本发明的有益效果在于：本发明采用不影响相机自动测光与自动对焦的圆形偏振镜，通过控制圆形偏振镜的旋转角度实现滤光效果的无级调节，利用卷积神经网络模型和预训练权重参数对图像进行分析最优偏振镜旋转角度的方向，同时提出周期扫描方法进行圆形偏振镜位置校正。本发明解决了卷积神经网络部分陌生场景泛化能力弱的问题，提高无人车的视觉感知能力。与现有技术相比，本发明具有的优点：
1)本发明采用齿轮啮合转动，实现圆形偏振镜的无级调节，增强滤光效果。
2)本发明采用卷积神经网络模型进行图像分析，泛化能力强，能适应复杂多变的陌生环境，实现对偏振镜最优旋转角度的无级预测。
3)本发明采用周期扫描方法，解决卷积神经网络在部分陌生环境判断不准确的问题，提高了鲁棒性。
4)本发明方法复杂度更低，有着较好的可行性。
5)本发明机械装置结构简单，控制精度高，成本低。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为圆形偏振镜未安装结构示意图；
图2为圆形偏振镜安装结构示意图；
图3为本发明结构主视图；
图4为圆形偏振镜旋转控制原理示意图；
图5为圆形偏振镜旋转控制流程示意图；
图6为偏振镜的位置示意图；
附图标记：1-相机机身，2-镜头，3-后座框，4-圆形偏振镜，21-外齿圈，22-齿轮，23-电机驱动单元，31-底座，32-导杆，41-图像分析单元。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
请参阅图1～图6，本发明优选的一种极端环境下无人车视觉增强装置，如图1～4所示，包括：相机机身1与图像增强装置，增强装置位于镜头2的前方。图像增强装置包括滤光装置，图像分析单元41和固定装置。滤光装置包括带有后座框3的圆形偏振镜4，外齿圈21，安装在导杆32上的电机驱动单元23，安装在电机驱动单元23上的齿轮22。外齿圈21与圆形偏振镜4过盈配合连接，齿轮22通过啮合带动外齿圈21和圆形偏振镜4同步旋转。圆形偏振镜4包括一片线性偏振镜与一片四分之一波片，圆形偏振镜4位于镜头2的正前方，圆形偏振镜4通过可自由旋转的后座框3与镜头2连接。图像分析单元41与相机机身1信号连接，图像分析单元41与电机驱动单元23信号连接，所述固定装置包括与相机机身1连接的底座31，与底座31连接的导杆32。
相机机身1，用于对环境自动对焦和测光，通过镜头2将无人车前方环境信息转换为图像。
图像分析单元41，用于提取分析图像深度特征信息，输出电机旋转角度和方向信息。
图像增强装置，电机驱动单元23控制齿轮22带动外齿圈21及圆形偏振镜4同步旋转。
圆形偏振镜4，是由一片线性偏振镜片与一片四分之一波片构成，线偏振镜用于过滤环境中的不良反射光线，四分之一波片使透过它的偏振光振动方向在一个圆周上旋转，适用于自动对焦与自动测光的相机2。
导杆32固定在底座31一侧，底座31与相机机身1下端连接，所述电机驱动单元23下端与导杆32连接，电机驱动单元23上端与齿轮22连接，所述圆形偏振镜4与镜头2连接。
基于上述实施例的装置，在极端环境无人车视觉增强的方法，如图5所示，具体包括以下步骤：
步骤S1：图像采集；
圆形偏振镜4，是指透射的偏振光线为圆形偏振光，由一片线性偏振镜片与一片四分之一波片构成，线偏振镜用于过滤环境中的不良反射光线，四分之一波片使透过偏振光振动方向在一个圆周上旋转，适用于自动对焦与自动测光的相机1，圆形偏振镜4过滤的光线通过镜头2投射在相机机身1的感光元件上，感光元件将光信号转换为图像数字信号传输给图像分析单元41。
步骤S2：构建卷积神经网络模型，分析图像；
构建卷积神经网络模型用来分析图片深度特征信息，预训练权重参数是根据人工标注的数据集训练的，数据集是人工标注极端场景下图像质量最优时的圆形偏振镜4旋转角度。采集的图像作为卷积神经网络模型的输入，经过预训练权重参数进行计算后，输出圆形偏振镜4的旋转方向和角度，经过传动比计算后输出电机的旋转角度和方向。
步骤S3：启动图像增强装置；
电机驱动单元23根据图像分析单元输出的信号按制定方向旋转一定的角度，使圆形偏振镜4能够过滤环境中大部分不良偏振光。
步骤S4：启动周期扫描方法；
步骤S2所构建的卷积神经网络模型在某些陌生环境不能有效的分析环境深度特征信息，S3调整圆形偏振镜4后，图像质量依然存在大量反光，眩光或倒影。基于此，步骤S4提出一种周期扫描方法进行圆形偏振镜位置校正，即电机驱动单元23带动圆形偏振镜4旋转一周期，图像分析单元41记录图像位置最佳时的圆形偏振镜4旋转角度φ度。所述一周期为180度，即圆形偏振镜4每旋转180度，图像光线周期性变化一次。
根据卷积神经网络模型分析图像的过程，具体如下步骤：
1)标记偏振方向
如图6所示，根据圆形偏振镜片的偏振方向标记符号，在通过标记符号的圆形偏振镜片直径两端标记出P1和P2。
2)构建数据集
在眩光，反光等反射场景下，将圆形偏振镜旋转180°，当画面质量最佳时人工拍摄图像并记录圆形偏振镜P1P2与相机水平线之间的最优夹角α0，在多种场景下采集图片，将图片分为36个类别，偏振镜旋转角度0-5°为第一类别，5～10°为第二类别，其他类别同理。
3)构建深度学习卷积神经网络模型
利用ResNet或VGG或AlexNet等深度学习网络结构进行图像深度特征提取和分类，输出最优夹角α0。利用上述网络结构对最优夹角α0数据集进行预训练，获得预训练权重参数。
上述卷积神经网络可以根据实际需求进行替换，利用卷积层，池化层，全连接层等自定义深度学习网络结构，同样的进行预训练，获得权重参数。
4)最优夹角α0推理
将无人车前方实时图像作为上述深度学习网络结构的输入，并根据预训练权重参数对图像进行深度特征提取和分析，输出图像质量最佳时的最优夹角α0；计算机根据此时圆形偏振镜P1P2与相机水平线之间的夹角α1和最优夹角α0计算出电机的旋转角度和方向。
步骤S5：图像二次增强；
据记录的角度Φ，电机驱动单元23根据下式控制圆形偏振镜4的旋转方向和角度。
Figure GDA0002616817750000071
其中，Φ为周期扫描方法的偏振镜旋转角度，正转与上一次旋转方向相同，逆转与上一次旋转方向相反。
当图像分析单元41检测到前方行车环境不存在逆光沥青路面反光，车辆漆面反光，城市玻璃反光，雨后积水路面倒影，沿湖道路湖面反光，积雪结冰路面反光等，电机处于静止状态，圆形偏振镜4保持角度不变。
当图像分析单元41检测到前方行车环境存在反光，眩光，水面倒影时，电机控制单元23根据神经网络输出的信号控制电机旋转，通过齿轮22外齿圈21啮合使圆形偏振镜4旋转到图像质量最优位置，增强视觉感知效果。
当圆形偏振镜4根据神经网络模型输出结果调整后，图像仍然存在大量反光，眩光，水面倒影的情况，说明神经网络判断不出当前场景，采用周期扫描方法进行圆形偏振镜位置校正。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (9)

1.一种极端环境下无人车视觉增强装置，包括：相机机身(1)与镜头(2)，其特征在于，该装置还包括位于镜头(2)前方的图像增强装置；所述图像增强装置包括滤光装置、图像分析单元(41)和固定装置；
所述滤光装置包括带有后座框(3)的圆形偏振镜(4)，外齿圈(21)，电机驱动单元(23)，以及安装在电机驱动单元(23)上的齿轮(22)；所述电机驱动单元(23)控制齿轮(22)带动外齿圈(21)及圆形偏振镜(4)同步旋转；
所述图像分析单元(41)与相机机身(1)信号连接，提取并分析图像深度特征信息；所述图像分析单元(41)与电机驱动单元(23)信号连接，输出电机旋转角度和方向信息。
2.根据权利要求1所述的无人车视觉增强装置，其特征在于，所述外齿圈(21)与圆形偏振镜(4)连接，所述齿轮(22)通过啮合带动外齿圈(21)和圆形偏振镜(4)同步旋转。
3.根据权利要求1所述的无人车视觉增强装置，其特征在于，所述圆形偏振镜(4)包括一片线性偏振镜与一片四分之一波片；所述圆形偏振镜(4)位于镜头(2)的正前方，圆形偏振镜(4)通过可自由旋转的后座框(3)与镜头(2)螺纹连接。
4.根据权利要求1所述的无人车视觉增强装置，其特征在于，所述固定装置包括与相机机身(1)连接的底座(31)，以及与底座(31)连接的导杆(32)；所述导杆(32)固定在底座(31)一侧，底座(31)与相机机身(1)下端连接。
5.根据权利要求4所述的无人车视觉增强装置，其特征在于，所述电机驱动单元(23)下端与导杆(32)连接，电机驱动单元(23)上端与齿轮(22)连接。
6.根据权利要求1～5中任意一项所述的无人车视觉增强装置，其特征在于，当图像分析单元(41)检测到前方行车环境不存在沥青路面反光，车辆漆面反光，城市玻璃反光，雨后路面积水倒影，沿湖道路湖面反光，积雪结冰路面反光时，电机处于静止状态，圆形偏振镜(4)保持角度不变；
当图像分析单元(41)检测到前方行车环境存在反光，眩光，水面倒影时，电机驱动单元(23)控制电机旋转，通过齿轮(22)和外齿圈(21)啮合使圆形偏振镜(4)旋转到图像质量最优位置，增强视觉感知效果；
当圆形偏振镜(4)根据神经网络输出结果调整后，图像仍然存在大量反光，眩光，水面倒影的情况，采用周期扫描方法进行圆形偏振镜位置校正。
7.一种极端环境下无人车视觉增强方法，其特征在于，该方法具体包括以下步骤：
S1：采集图像并传输到图像分析单元(41)；
S2：图像分析单元(41)将图像输入到卷积神经网络中提取并分析图像深度特征，将神经网络输出的转动方向和角度传输给电机驱动单元(23)；
S3：电机驱动单元(23)根据转动信号驱动齿轮(22)旋转，带动齿圈(21)及圆形偏振镜(4)同步旋转到图像质量最佳位置；
S4：图像分析单元(41)分析调整后的图像，若图像质量依然不佳，电机驱动单元(23)驱动齿轮(22)旋转，带动齿圈(21)及圆形偏振镜(4)旋转一周期180度，图像分析单元(41)记录旋转过程图像质量最佳的圆形偏振镜(4)旋转角度Φ度；
S5：电机驱动单元(23)驱动齿轮(22)带动圆形偏振镜(4)旋转到指定位置，使图像采集质量最优。
8.根据权利要求7所述的无人车视觉增强方法，其特征在于，步骤S2中，所述的卷积神经网络用来分析图片深度特征信息，预训练权重参数是根据人工标注的数据集训练的；数据集是人工标注极端场景下图像质量最优时的圆形偏振镜旋转角度；采集的图像作为卷积神经网络模型的输入，经过预训练权重参数进行计算后，输出圆形偏振镜的旋转方向和角度，经过传动比计算后输出电机的旋转角度和方向。
9.根据权利要求7所述的无人车视觉增强方法，其特征在于，所述步骤S5具体包括：根据记录的角度Φ，电机驱动单元根据下式控制偏振镜片的旋转方向和角度；
Figure FDA0003023938770000021
其中，Φ为周期扫描方法的偏振镜旋转角度，正转与上一次旋转方向相同，逆转与上一次旋转方向相反。
CN202010622342.2A 2020-06-30 2020-06-30 一种极端环境下无人车视觉增强装置及方法 Active CN111756971B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010622342.2A CN111756971B (zh) 2020-06-30 2020-06-30 一种极端环境下无人车视觉增强装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010622342.2A CN111756971B (zh) 2020-06-30 2020-06-30 一种极端环境下无人车视觉增强装置及方法

Publications (2)

Publication Number Publication Date
CN111756971A CN111756971A (zh) 2020-10-09
CN111756971B true CN111756971B (zh) 2021-06-29

Family

ID=72680308

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010622342.2A Active CN111756971B (zh) 2020-06-30 2020-06-30 一种极端环境下无人车视觉增强装置及方法

Country Status (1)

Country Link
CN (1) CN111756971B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113518165A (zh) * 2021-04-22 2021-10-19 云南电网有限责任公司昆明供电局 一种摄像头自动光线调节装置及调节方法
US20230379567A1 (en) * 2022-05-23 2023-11-23 Plantronics, Inc. System and techniques for reflection reduction in video data

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100611399B1 (ko) * 2004-07-21 2006-08-11 주식회사 하이닉스반도체 광 리소그래피 노광 장치의 구조
CN104851144A (zh) * 2015-05-29 2015-08-19 山东鲁能智能技术有限公司 具有自适应偏振镜调节的巡检机器人图像处理系统及方法
CN105224024A (zh) * 2015-10-13 2016-01-06 广东欧珀移动通信有限公司 终端设备
CN106454040A (zh) * 2016-10-21 2017-02-22 东风商用车有限公司 一种夜间防眩光车载摄像头及其控制方法
WO2018140490A1 (en) * 2017-01-24 2018-08-02 Sharp Gary D Tunable color enhancement filter
CN109348093A (zh) * 2018-09-26 2019-02-15 维沃移动通信有限公司 一种图像采集装置、方法及终端设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN206136092U (zh) * 2016-10-21 2017-04-26 东风商用车有限公司 一种夜间防眩光车载摄像头
CN106814523B (zh) * 2016-12-27 2019-07-26 晶积科技股份有限公司 两环式滤镜组

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100611399B1 (ko) * 2004-07-21 2006-08-11 주식회사 하이닉스반도체 광 리소그래피 노광 장치의 구조
CN104851144A (zh) * 2015-05-29 2015-08-19 山东鲁能智能技术有限公司 具有自适应偏振镜调节的巡检机器人图像处理系统及方法
CN105224024A (zh) * 2015-10-13 2016-01-06 广东欧珀移动通信有限公司 终端设备
CN106454040A (zh) * 2016-10-21 2017-02-22 东风商用车有限公司 一种夜间防眩光车载摄像头及其控制方法
WO2018140490A1 (en) * 2017-01-24 2018-08-02 Sharp Gary D Tunable color enhancement filter
CN109348093A (zh) * 2018-09-26 2019-02-15 维沃移动通信有限公司 一种图像采集装置、方法及终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
关于偏振片对于眩光的抑制作用的研究;苏增识;《国际眼科杂志》;20050830;第5卷(第4期);760-762 *

Also Published As

Publication number Publication date
CN111756971A (zh) 2020-10-09

Similar Documents

Publication Publication Date Title
Hu et al. Ddd20 end-to-end event camera driving dataset: Fusing frames and events with deep learning for improved steering prediction
CN111756971B (zh) 一种极端环境下无人车视觉增强装置及方法
CN111527743A (zh) 扩展动态范围的多种操作模式
US8908038B2 (en) Vehicle detection device and vehicle detection method
CN102668540A (zh) 成像设备、车载成像系统、路面外观检测方法以及目标检测设备
CN112789185B (zh) 一种车辆数字化自动遮光的方法及遮光系统
CN111508260A (zh) 车辆停车位检测方法、装置和系统
EP3824623A1 (en) Camera assessment techniques for autonomous vehicles
WO2016075086A9 (de) System zur anzeige von parkplätzen
CN206136092U (zh) 一种夜间防眩光车载摄像头
CN106454040A (zh) 一种夜间防眩光车载摄像头及其控制方法
CN105313773A (zh) 高清全景泊车及辅助驾驶系统
CN107864013A (zh) 面向无人驾驶车辆的自适应成像定位导航系统及方法
FR2785434A1 (fr) Procede d'aide a la conduite d'un vehicule et dispositif de mise en oeuvre
JP2023549914A (ja) 雨天、逆光、汚れ時におけるサラウンドビューカメラシステムの画像の修正
DE102005004513A1 (de) Detektion von Niederschlägen auf Oberflächen, insbesondere auf der Oberfläche der Windschutzscheibe eines Kraftfahrzeuges
CN212220070U (zh) 基于视觉语义分割技术的车辆实时定位系统
CN106991415A (zh) 用于车载鱼眼相机的图像处理方法和装置
CN205916033U (zh) 汽车全景可视化辅助行车设备
CN207115438U (zh) 用于车载鱼眼相机的图像处理装置
DE102013220839B4 (de) Verfahren zum dynamischen Einstellen einer Helligkeit eines Bilds einer Rückansichts-Anzeigevorrichtung sowie entsprechendes Fahrzeugabbildungssystem
CN114422660A (zh) 一种指定监控区域的成像对焦系统
CN112758023B (zh) 车载摄像头的控制方法及控制系统
CN211628409U (zh) 一种基于鱼眼镜头的大场景识别相机
CN116208721A (zh) 一种低光照环境下车辆抓拍方法、装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant