CN113553998A - 基于深度学习算法下高速公路夜间车牌防炫目抓拍方法 - Google Patents
基于深度学习算法下高速公路夜间车牌防炫目抓拍方法 Download PDFInfo
- Publication number
- CN113553998A CN113553998A CN202111093289.2A CN202111093289A CN113553998A CN 113553998 A CN113553998 A CN 113553998A CN 202111093289 A CN202111093289 A CN 202111093289A CN 113553998 A CN113553998 A CN 113553998A
- Authority
- CN
- China
- Prior art keywords
- image
- snapshot
- speed measuring
- processor
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013135 deep learning Methods 0.000 title claims abstract description 27
- 239000013589 supplement Substances 0.000 claims description 42
- 230000007246 mechanism Effects 0.000 claims description 39
- 238000009434 installation Methods 0.000 claims description 14
- 238000007781 pre-processing Methods 0.000 claims description 8
- 238000004891 communication Methods 0.000 claims description 7
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 6
- 230000001502 supplementing effect Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000006978 adaptation Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 102100030148 Integrator complex subunit 8 Human genes 0.000 description 1
- 101710092891 Integrator complex subunit 8 Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
- G01P3/38—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Electromagnetism (AREA)
- Power Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明属于高速公路安全驾驶与车路协同智能装备领域，尤其是一种基于深度学习算法下高速公路夜间车牌防炫目抓拍方法，通过设置测速相机，使测速相机实时识别夜晚车辆大灯的位置，从而控制补光灯随车辆的运动而摆动，保证补光灯的照射范围始终位于车辆前挡风玻璃之下，且位于牌照区域之上，即保证牌照识别相机正常识别牌照，同时避免了补光灯直接照射驾驶员眼睛，极大地提高了高速公路的道路交通安全，尤其是对于不同类型的车辆均可以实现补光灯精确控制，从而提高车辆的行驶安全性。
Description
技术领域
本发明属于高速公路安全驾驶与监测技术领域，具体涉及基于深度学习算法下高速公路夜间车牌防炫目抓拍方法。
背景技术
因需采集车辆特征信息及过车记录，高速公路沿途设置了多个ETC龙门架，其上安装了大量智能监测记录设备，为了在夜间能清晰的记录并识别车辆牌照，龙门架上的补光灯也相应增多，但为了拍照清晰，补光灯的亮度往往较高，很多驾驶员反映补光灯存在亮度过高的问题，尤其是迎面行驶时，补光灯照射到驾驶员眼睛的时间大约在1-2秒左右，这会使驾驶员眼睛暂时眩光而无法看清前方道路；
即使汽车驶过门架，驾驶员的眼睛也需要一定时间的适应，这种适应从人体生理学的理论上解释为明-暗环境适应问题，即人眼由暗环境进入明环境时，可以在较短的时间内适应环境光亮从而看清周围的事物（1-3s）。而人眼由明环境进入暗环境时，则需要较长时间的适应（5s-18s）才能看清周围的事物。因此，急需要一种既可以让ETC门架既能精准识别车辆信息，又可以避免补光灯直射驾驶员眼部的装置，以提高高速公路的行车安全。
发明内容
本发明的目的是提供一种基于深度学习算法下高速公路夜间车牌防炫目抓拍方法。
为实现上述发明目的，本发明所采用的技术方案是：基于深度学习算法下高速公路夜间车牌防炫目抓拍方法；
所述抓拍方法使用的抓拍装置安装在龙门架上，所述龙门架固定架设在高速公路道路上；所述的抓拍装置包括固定角度安装在龙门架上的相机组件，以及可在一定角度内往复摆动的往复摆动机构，往复摆动机构与补光灯连接，带动补光灯在一定角度内往复摆动；所述的相机组件包括测速相机、牌照识别相机；所述的相机组件、往复摆动机构、补光灯分别与处理器通信连接；
所述的抓拍方法按照以下步骤顺次进行：
a. 在日间光线充足情况下，在测速相机拍照范围内的道路上沿道路分道线放置纵向标尺，沿分道线的水平垂向方向放置横向标尺，然后由测速相机拍摄照片，在照片图像中设置图像坐标系，图像坐标系中Y轴与纵向标尺平行，X轴与横向标尺平行；在照片图像中根据纵向标尺的刻度绘制等间距的一组与X轴平行的平行线，形成平行线组SX，所述等间距为实际道路中沿分道线纵向方向等间距；则在照片图像中显示的平行线组SX内平行线之间距离为等比例；
在SX内选择一条距离测速相机较远的平行线作为起始参考线QS，选择一条距离测速相机较近的平行线作为终止参考线ZZ；
删除照片图像中所有像素内容，保留绘制的图像坐标系、平行线组SX、起始参考线QS、终止参考线ZZ作为基础数据图像；然后进入步骤b；
b.测速相机按第一拍照频率f1对迎面驶来的车辆进行抓拍，实时将抓拍的照片图像发送给处理器；处理器通过深度学习算法识别照片图像的左前车灯、右前车灯；然后进入步骤c；
c.在照片图像中沿左前车灯下沿、右前车灯下沿分别绘制一条与X轴平行的平行线，在两条平行线之间绘制一条中间平行线作为基础参考线JC-1；
在JC-1上方一定距离位置绘制第一平行线S1-1，在JC-1下方一定距离位置绘制第二平行线S2-1，删除照片图像中所有像素信息，仅保留JC-1、S1-1、S2-1数据，作为对比数据图像，将对比数据图像与基础数据图像合并形成合并图像；
d.依此类推，重复步骤c，将测速相机连续抓拍的照片进行实时处理，形成车辆行驶过程中的连续多张合并图像；
处理器根据相邻的合并图像中JC-1的位置变化计算出车辆的行驶距离，再根据第一拍照频率f1计算出车辆行驶速度V；
所述的步骤d中，处理器还实时判断JC-1在合并图像中的位置，当JC-1位于起始参考线QS下方时，进入步骤f；
f.牌照识别相机开始连续拍照并将照片传递给处理器，处理器识别照片中的车牌号；
所述步骤f中，处理器根据多张合并图像中S1-1、S2-1的位置变化，往复摆动机构的高度H，以及往复摆动机构距离车辆的水平距离L00，计算出往复摆动机构的旋转角速度ω，控制往复摆动机构带动补光灯旋转，使补光灯的照射范围始终位于S1-1之下，且照射范围始终位于S2-1之上；当JC-1移动至终止参考线ZZ下方时，测速相机、牌照识别相机停止抓拍，补光灯关闭，往复摆动机构带动补光灯返回初始位置后，补光灯重新开启。
优选的，所述的步骤b中，处理器先对照片图像进行预处理步骤，所述的预处理步骤包括Gamma校正步骤，图片灰度化步骤，高斯模糊步骤，ROI剪裁步骤；
所述的图片灰度化步骤中，通常情况下，拍摄的照片图像中夜晚车灯的光源颜色为白色或黄色环状区域，与图像中的路面以及其他车辆等背景形成明显差别，为保持R，G，B三通道的平衡性，将灰度值定义为：
上式中，I为灰度值，R、G、B为图片中每一像素点的RGB亮度值数值；
所述的ROI剪裁步骤为，在照片图像中，沿车辆所在道路两侧的分道线向外扩展与分道线平行的两条辅助线FF，两条辅助线FF内侧的像素区域保留，两条辅助线FF外侧区域的像素区域删除。
优选的，所述的相机组件包括安装高度和安装角度均不相同的两个测速相机，其中一个测速相机安装高度低且相对于水平面的夹角较小，用于识别近光灯，另一个测速相机安装高度高且相对于水平面的夹角较大；所述龙门架的立柱上设置至少两个高度不同的光电传感器，光电传感器的信号线与处理器的信号输入端通信连接；所述的光电传感器为松下NA2型光幕光栅区域传感器，或欧姆龙E3JK-RR11-C光电开关传感器；
所述步骤b中，当多个光电传感器均无信号发送时，补光灯关闭，两个测速相机关闭；当高度较低的一个或多个光电传感器接收到光照并向处理器发送信号时，补光灯开启，用于识别近光灯的测速相机开始抓拍；当高度不同的多个光电传感器同时向处理器发送信号，或高度较高的一个或多个光电传感器发送信号时，补光灯开启，用于识别远光灯的测速相机开始抓拍。
优选的，所述的步骤b中，多个光电传感器中至少有一个向处理器发送信号后，测速相机按第二拍照频率f2开始抓拍，当照片图像中出现至少一个车灯时，测速相机按第一拍照频率f1进行抓拍，所述的f2＞f1。
优选的，所述的第一平行线S1-1、第二平行线S2-1的绘制方法为：所述步骤a中，在日间光线充足状态下，测速相机实时拍摄迎面行驶的车辆，并在拍摄的照片图像中识别出车辆前挡风玻璃轮廓、牌照轮廓；
在照片图像中车辆前挡风玻璃轮廓的下沿处绘制第一辅助参考线FC-1，在牌照轮廓下沿处绘制第二辅助参考线FC-2；重复上述过程，使同一辆车辆行驶过程中的JC-1变化时，对应不同的FC-1及FC-2；
针对不同轮廓车辆，重复上述过程，找出不同车辆的JC-1均位于某一位置时，该位置所对应的不同车辆的多个FC-1中最上方的FC-1标记为FC-1-max，该位置所对应的不同车辆的多个FC-2中最下方的FC-2标记为FC-2-max；将此时的JC-1、FC-1-max、FC-2-max在照片图像中的Y轴位置坐标[JC-1，FC-1-max, FC-2-max]存储为标定数组；
所述的步骤c中，当车辆行驶时拍摄的图像照片中的JC-1位于照片图像中某一位置时，则画出该位置对应FC-1-max, FC-2-max，令第一平行线S1-1位于FC-1-max上方，令第二平行线S2-1位于FC-2-max下方。
优选的，所述的步骤b中，处理器通过CNN卷积神经网络深度学习算法，或BP神经网络深度学习算法，或使用TensorFlow软件中搭载的图像识别算法作为深度学习算法，识别照片图像的左前车灯、右前车灯。
优选的，所述的往复摆动机构为曲柄摇杆机构，曲柄与驱动电机连接，摇杆通过螺栓与补光灯固定连接，使补光灯可在一定角度内往复摆动。
本发明具有以下有益效果：
通过设置测速相机，使测速相机实时识别夜晚车辆大灯的位置，从而控制补光灯随车辆的运动而摆动，保证补光灯的照射范围始终位于车辆前挡风玻璃之下，且位于牌照区域之上，即保证牌照识别相机正常识别牌照，同时避免了补光灯直接照射驾驶员眼睛，极大地提高了高速公路的道路交通安全，尤其是对于不同类型的车辆均可以实现补光灯精确控制，从而提高车辆的行驶安全性。
附图说明
图1为步骤a中在测距相机拍摄的照片图像中绘制X轴等线条示意；
图2中为将图1中的照片图像提取为基础数据图示意；
图3为测距相机拍摄的照片图像中绘制JC-1、S1-1、S2-1示意；
图4为车辆行驶过一定距离后根据照片图像中JC-1的位置变化计算车辆行驶速度示意图；
图5为夜间测距相机拍摄的照片图像示意；
图6为将图5中的照片图像进行预处理步骤示意；
图7为牌照识别相机拍照时补光灯照射范围示意；
图8为车辆移动时补光灯照射范围跟随变化示意；
图9为根据不同车辆的JC-1位于同一位置时，确定该JC-1对应的FC-1-max、FC-2-max示意；
图10为随动补光装置结构示意；
图11为处理器电路连接示意图。
具体实施方式
下面结合本发明的优选实施例对本发明做进一步地详细、准确说明，但本发明的实施方式不限于此。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
在本发明的描述中，需要说明的是，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”等应做广义理解。例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例
基于深度学习算法下高速公路夜间车牌防炫目抓拍方法，如图10所示的，所述抓拍方法使用的抓拍装置1安装在龙门架2上；所述龙门架2固定架设在高速公路道路3的沿途相应位置；所述的抓拍装置1包括固定角度安装在龙门架2上的相机组件10，以及可在一定角度内往复摆动的往复摆动机构20；所述的相机组件10包括测速相机11、牌照识别相机12；测速相机11、牌照识别相机12的安装角度可以相同或不同；所述的往复摆动机构20为曲柄摇杆机构，曲柄与驱动电机连接，摇杆通过螺栓或卡扣与补光灯30固定连接，使补光灯30可在一定角度内随摇杆往复摆动；补光灯30随车辆行驶方向摆动时为开启状态，实现补光效果，拍照完毕后补光灯30反向摆动返回初始位置的过程中为关闭状态，可以有效避免补光灯直射驾驶员眼睛。
如图11所示的，往复摆动机构20与补光灯30通过螺栓或卡箍固定连接；所述的相机组件10的通信线、往复摆动机构20的驱动电机控制线、补光灯30的控制线分别与处理器50的信号接口通信连接；曲柄摇杆机构为常见平面四连杆机构，本领域技术人员可根据龙门架高度及相关需要自行设置曲柄摇杆机构的各杆件长度，也可以直接使用现有的机构，例如将汽车雨刮机构作为往复摆动机构可以直接使用，将汽车雨刮电机的控制线与处理器50连接，雨刮臂上安装补光灯30，补光灯30可以设置一个或多个，当车流量较大时，可以安装两个往复摆动机构，两个往复摆动机构交替摆动，使两组补光灯30可以交替摆动，提高补光效率。
所述的处理器50可以是带有深度学习能力的处理器，例如特斯拉的FSD处理器，也可以是英伟达的Drive Xavier处理器，也可以是百度开源的Nuvo-5095G，也可以是现有的视觉图像处理器，例如RV1126/RV1109开发板模组，其可以直接作为AI视觉处理器使用，RV1109集成了 NEON 和 FPU，每个核心都有一个32KB的I-cache和 32KB 的D-cache，以及512K统一的L2缓存；内 NPU支持 INT8/INT16混合运算，计算能力高达1.2TOPS此外基于TensorFlow等一系列框架，可以很容易地转换；也可以根据传感器的类型和数量，使用89C52单片机或PLC控制板实现。
所述的抓拍方法按照以下步骤顺次进行：
a. 在日间光线充足情况下，在测速相机11拍照范围内的道路上沿道路分道线放置纵向标尺，沿分道线的水平垂向方向放置横向标尺，然后由测速相机11拍摄照片，在照片图像中设置图像坐标系，图像坐标系中Y轴与纵向标尺平行，X轴与横向标尺平行；在照片图像中根据纵向标尺的刻度绘制等间距的一组与X轴平行的平行线，形成平行线组SX，所述等间距为实际道路中沿分道线纵向方向等间距；则在照片图像中显示的平行线组SX内平行线之间距离为等比例；如图1所示的，照片图像中先以道路一侧的分道线边线作为Y轴，图像下方再设置一条水平线作为X轴，沿X轴、Y轴绘制网格，使网格的纵向线条与Y轴平行，则网格的横向线条之间的距离即为等间距，图1中，已知道路中两条分道虚线的间距为15m，则网格中相邻两条横向线条之间距离为15m，在此基础上可以进一步细分网格，使得网格中相邻的横向线条之间的距离为已知值，此时的横向线条组即为平行线组SX；上述过程可以人工设置或使用现有的图像识别算法自动完成，例如自动识别分道线边线及分道线虚线。
在SX内选择一条距离测速相机11较远的平行线作为起始参考线QS，选择一条距离测速相机11较近的平行线作为终止参考线ZZ；
如图2所示的，删除照片图像中所有像素内容，保留绘制的图像坐标系、平行线组SX、起始参考线QS、终止参考线ZZ作为基础数据图像；然后进入步骤b；
b.测速相机11按第一拍照频率f1对迎面驶来的车辆进行抓拍，实时将抓拍的照片图像发送给处理器50；处理器50通过深度学习算法识别照片图像的左前车灯、右前车灯；然后进入步骤c；
c.在照片图像中沿左前车灯下沿、右前车灯下沿分别绘制一条与X轴平行的平行线，在两条平行线之间绘制一条中间平行线作为基础参考线JC-1；这里也可以采用较为简单的计算方式，例如只识别一个前车灯，即使用该车灯下沿的平行线作为JC-1，经检验，使用较为简单的计算方式仍可以保证95%以上的驾驶员不受补光灯干扰。
在JC-1上方一定距离位置绘制第一平行线S1-1，在JC-1下方一定距离位置绘制第二平行线S2-1，删除照片图像中所有像素信息，仅保留JC-1、S1-1、S2-1数据，作为对比数据图像，将对比数据图像与基础数据图像合并形成合并图像；
d.依此类推，重复步骤c，将测速相机11连续抓拍的照片进行实时处理，形成车辆行驶过程中的连续多张合并图像；
处理器50根据相邻的合并图像中JC-1的位置变化计算出车辆的行驶距离，再根据第一拍照频率f1计算出车辆行驶速度V；
所述的步骤d中，处理器50还实时判断JC-1在合并图像中的位置，当JC-1位于起始参考线QS下方时，进入步骤f；
f.牌照识别相机12开始连续拍照并将照片传递给处理器50，处理器50识别照片中的车牌号；
所述步骤f中，处理器50根据多张合并图像中S1-1、S2-1的位置变化，往复摆动机构20的高度H，以及往复摆动机构20距离车辆的水平距离L00，计算出往复摆动机构20的旋转角速度ω，此处的L00可根据车辆的JC-1在图像中的位置与平行线组SX比较后直接得到，也可以在龙门架处设置距离传感器，使用传感器直接测量车辆距离，从而减小计算量；
然后处理器50控制往复摆动机构20带动补光灯30旋转，使补光灯30的照射范围始终位于S1-1之下，且照射范围始终位于S2-1之上；当JC-1移动至终止参考线ZZ下方时，测速相机11、牌照识别相机12停止抓拍，补光灯30关闭，往复摆动机构20带动补光灯30返回初始位置后，补光灯30重新开启。
通过设置测速相机，使测速相机实时识别夜晚车辆大灯的位置，从而控制补光灯随车辆的运动而摆动，保证补光灯的照射范围始终位于车辆前挡风玻璃之下，且位于牌照区域之上，即保证牌照识别相机正常识别牌照，同时避免了补光灯直接照射驾驶员眼睛，极大地提高了高速公路的道路交通安全。
实施例二
为了提高处理器50处理图像的速度，并进一步提高车灯识别的经度，更好的实施方式是：所述的步骤b中，处理器50先对照片图像进行预处理步骤，所述的预处理步骤包括Gamma校正步骤，图片灰度化步骤，高斯模糊步骤，ROI剪裁步骤；
如图5所示的，所述的图片灰度化步骤中，通常情况下，拍摄的照片图像中夜晚车灯的光源颜色为白色或黄色环状区域，与图像中的路面以及其他车辆等背景形成明显差别，为保持R，G，B三通道的平衡性，将灰度值定义为：
上式中，I为灰度值，R、G、B为图片中每一像素点的RGB亮度值数值；
高斯模糊也叫高斯平滑，用于计算机视觉算法中的预先处理阶段，以增强图像在不同比例大小下的图像效果；这里可以直接调用现有的高斯平滑软件算法，本申请不针对高斯平滑优化。得到的图像如图6所示。
所述的ROI剪裁步骤为，如图6所示的，在照片图像中，沿车辆所在道路两侧的分道线向外扩展与分道线平行的两条辅助线FF，两条辅助线FF内侧的像素区域保留，两条辅助线FF外侧区域的像素区域删除。
使用上述方法可以较好地解决夜间车灯亮度模糊的问题，同时裁剪不必要的区域，有效提高了计算速度。
实施例三
使用一个测速相机11拍照时，无法分别车辆远近光灯，某些危险路段情况下，需要龙门架进一步记录车辆大灯状态时，或遇到坡度较大路段，不好识别近光灯的情况，针对上述情况，更好的实施方式是：所述的相机组件10包括安装高度和安装角度均不相同的两个测速相机11，其中一个测速相机11安装高度低且相对于水平面的夹角较小，用于识别近光灯，另一个测速相机11安装高度高且相对于水平面的夹角较大；所述龙门架2的立柱上设置至少两个高度不同的光电传感器51，光电传感器51的信号线与处理器50的信号输入端通信连接；所述的光电传感器51为松下NA2型光幕光栅区域传感器，或欧姆龙E3JK-RR11-C光电开关传感器；
所述步骤b中，当多个光电传感器51均无信号发送时，补光灯30关闭，两个测速相机11关闭；当高度较低的一个或多个光电传感器51接收到光照并向处理器50发送信号时，补光灯30开启，用于识别近光灯的测速相机11开始抓拍；当高度不同的多个光电传感器51同时向处理器50发送信号，或高度较高的一个或多个光电传感器51发送信号时，补光灯30开启，用于识别远光灯的测速相机11开始抓拍。
为了减少计算量并节约电量，更好的实施方式是：所述的步骤b中，多个光电传感器51中至少有一个向处理器50发送信号后，测速相机11按第二拍照频率f2开始抓拍，当照片图像中出现至少一个车灯时，测速相机11按第一拍照频率f1进行抓拍，所述的f2＞f1。
更好的实施方式是：所述的第一平行线S1-1、第二平行线S2-1的绘制方法为：所述步骤a中，在日间光线充足状态下，测速相机实时拍摄迎面行驶的车辆，并在拍摄的照片图像中识别出车辆前大灯轮廓、前挡风玻璃轮廓、牌照轮廓；
在照片图像中车辆前挡风玻璃轮廓的下沿处绘制第一辅助参考线FC-1，在牌照轮廓下沿处绘制第二辅助参考线FC-2；重复上述过程，使同一辆车辆行驶过程中的JC-1变化时，对应不同的FC-1及FC-2；
针对不同轮廓车辆，重复上述过程，如图9所示的，找出不同车辆的JC-1均位于某一位置时，该位置所对应的不同车辆的多个FC-1中最上方的FC-1标记为FC-1-max，该位置所对应的不同车辆的多个FC-2中最下方的FC-2标记为FC-2-max；将此时的JC-1、FC-1-max、FC-2-max在照片图像中的Y轴位置坐标[JC-1，FC-1-max, FC-2-max]存储为标定数组；
所述的步骤c中，当车辆行驶时拍摄的图像照片中的JC-1位于照片图像中某一位置时，则画出该位置对应FC-1-max, FC-2-max，令第一平行线S1-1位于FC-1-max上方，令第二平行线S2-1位于FC-2-max下方。
根据本申请的基础上，还可以选择可调式补光灯，即其照射范围可调节，可以使用现有的可调式补光灯，也可以在补光灯上方和下方设置电动翻板，通过电动翻板的遮挡角度改变补光灯的照射范围；这样在调整往复摆动机构20的摆动角速度时，还可以配合补光灯的照射范围调整，从而保证补光灯30的照射范围始终位于S1-1之下，且照射范围始终位于S2-1之上。
更好的实施方式是：所述的步骤b中，处理器50通过CNN卷积神经网络深度学习算法，或BP神经网络深度学习算法，或使用TensorFlow软件中搭载的图像识别算法作为深度学习算法，识别照片图像的左前车灯、右前车灯，本申请不针对图像识别技术进行改进，可以直接采用现有的图像识别软件或图像识别模组。
Claims (7)
1.基于深度学习算法下高速公路夜间车牌防炫目抓拍方法，其特征在于：
所述抓拍方法使用的抓拍装置（1）安装在龙门架（2）上，所述龙门架（2）固定架设在高速公路道路（3）上；所述的抓拍装置（1）包括固定角度安装在龙门架（2）上的相机组件（10），以及可在一定角度内往复摆动的往复摆动机构（20），往复摆动机构（20）与补光灯（30）连接，带动补光灯（30）在一定角度内往复摆动；所述的相机组件（10）包括测速相机（11）、牌照识别相机（12）；所述的相机组件、往复摆动机构（20）、补光灯（30）分别与处理器（50）通信连接；
所述的抓拍方法按照以下步骤顺次进行：
a. 在日间光线充足情况下，在测速相机（11）拍照范围内的道路上沿道路分道线放置纵向标尺，沿分道线的水平垂向方向放置横向标尺，然后由测速相机（11）拍摄照片，在照片图像中设置图像坐标系，图像坐标系中Y轴与纵向标尺平行，X轴与横向标尺平行；在照片图像中根据纵向标尺的刻度绘制等间距的一组与X轴平行的平行线，形成平行线组SX，所述等间距为实际道路中沿分道线纵向方向等间距；则在照片图像中显示的平行线组SX内平行线之间距离为等比例；
在SX内选择一条距离测速相机（11）较远的平行线作为起始参考线QS，选择一条距离测速相机（11）较近的平行线作为终止参考线ZZ；
删除照片图像中所有像素内容，保留绘制的图像坐标系、平行线组SX、起始参考线QS、终止参考线ZZ作为基础数据图像；然后进入步骤b；
b.测速相机（11）按第一拍照频率f1对迎面驶来的车辆进行抓拍，实时将抓拍的照片图像发送给处理器（50）；处理器（50）通过深度学习算法识别照片图像的左前车灯、右前车灯；然后进入步骤c；
c.在照片图像中沿左前车灯下沿、右前车灯下沿分别绘制一条与X轴平行的平行线，在两条平行线之间绘制一条中间平行线作为基础参考线JC-1；
在JC-1上方一定距离位置绘制第一平行线S1-1，在JC-1下方一定距离位置绘制第二平行线S2-1，删除照片图像中所有像素信息，仅保留JC-1、S1-1、S2-1数据，作为对比数据图像，将对比数据图像与基础数据图像合并形成合并图像；
d.依此类推，重复步骤c，将测速相机（11）连续抓拍的照片进行实时处理，形成车辆行驶过程中的连续多张合并图像；
处理器（50）根据相邻的合并图像中JC-1的位置变化计算出车辆的行驶距离，再根据第一拍照频率f1计算出车辆行驶速度V；
所述的步骤d中，处理器（50）还实时判断JC-1在合并图像中的位置，当JC-1位于起始参考线QS下方时，进入步骤f；
f.牌照识别相机（12）开始连续拍照并将照片传递给处理器（50），处理器（50）识别照片中的车牌号；
所述步骤f中，处理器（50）根据多张合并图像中S1-1、S2-1的位置变化，往复摆动机构（20）的高度H，以及往复摆动机构（20）距离车辆的水平距离L00，计算出往复摆动机构（20）的旋转角速度ω，控制往复摆动机构（20）带动补光灯（30）旋转，使补光灯（30）的照射范围始终位于S1-1之下，且照射范围始终位于S2-1之上；当JC-1移动至终止参考线ZZ下方时，测速相机（11）、牌照识别相机（12）停止抓拍，补光灯（30）关闭，往复摆动机构（20）带动补光灯（30）返回初始位置后，补光灯（30）重新开启。
2.根据权利要求1所述的基于深度学习算法下高速公路夜间车牌防炫目抓拍方法，其特征在于：所述的步骤b中，处理器（50）先对照片图像进行预处理步骤，所述的预处理步骤包括Gamma校正步骤，图片灰度化步骤，高斯模糊步骤，ROI剪裁步骤；
所述的图片灰度化步骤中，通常情况下，拍摄的照片图像中夜晚车灯的光源颜色为白色或黄色环状区域，与图像中的路面以及其他车辆等背景形成明显差别，为保持R，G，B三通道的平衡性，将灰度值定义为：
上式中，I为灰度值，R、G、B为图片中每一像素点的RGB亮度值数值；
所述的ROI剪裁步骤为，在照片图像中，沿车辆所在道路两侧的分道线向外扩展与分道线平行的两条辅助线FF，两条辅助线FF内侧的像素区域保留，两条辅助线FF外侧区域的像素区域删除。
3.根据权利要求1所述的基于深度学习算法下高速公路夜间车牌防炫目抓拍方法，其特征在于：所述的相机组件（10）包括安装高度和安装角度均不相同的两个测速相机（11），其中一个测速相机（11）安装高度低且相对于水平面的夹角较小，用于识别近光灯，另一个测速相机（11）安装高度高且相对于水平面的夹角较大；所述龙门架（2）的立柱上设置至少两个高度不同的光电传感器（51），光电传感器（51）的信号线与处理器（50）的信号输入端通信连接；所述的光电传感器（51）为松下NA2型光幕光栅区域传感器，或欧姆龙E3JK-RR11-C光电开关传感器；
所述步骤b中，当多个光电传感器（51）均无信号发送时，补光灯（30）关闭，两个测速相机（11）关闭；当高度较低的一个或多个光电传感器（51）接收到光照并向处理器（50）发送信号时，补光灯（30）开启，用于识别近光灯的测速相机（11）开始抓拍；当高度不同的多个光电传感器（51）同时向处理器（50）发送信号，或高度较高的一个或多个光电传感器（51）发送信号时，补光灯（30）开启，用于识别远光灯的测速相机（11）开始抓拍。
4.根据权利要求3所述的基于深度学习算法下高速公路夜间车牌防炫目抓拍方法，其特征在于：所述的步骤b中，多个光电传感器（51）中至少有一个向处理器（50）发送信号后，测速相机（11）按第二拍照频率f2开始抓拍，当照片图像中出现至少一个车灯时，测速相机（11）按第一拍照频率f1进行抓拍，所述的f2＞f1。
5.根据权利要求1所述的基于深度学习算法下高速公路夜间车牌防炫目抓拍方法，其特征在于：所述的第一平行线S1-1、第二平行线S2-1的绘制方法为：所述步骤a中，在日间光线充足状态下，测速相机实时拍摄迎面行驶的车辆，并在拍摄的照片图像中识别出车辆前挡风玻璃轮廓、牌照轮廓；
在照片图像中车辆前挡风玻璃轮廓的下沿处绘制第一辅助参考线FC-1，在牌照轮廓下沿处绘制第二辅助参考线FC-2；重复上述过程，使同一辆车辆行驶过程中的JC-1变化时，对应不同的FC-1及FC-2；
针对不同轮廓车辆，重复上述过程，找出不同车辆的JC-1均位于某一位置时，该位置所对应的不同车辆的多个FC-1中最上方的FC-1标记为FC-1-max，该位置所对应的不同车辆的多个FC-2中最下方的FC-2标记为FC-2-max；将此时的JC-1、FC-1-max、FC-2-max在照片图像中的Y轴位置坐标[JC-1，FC-1-max, FC-2-max]存储为标定数组；
所述的步骤c中，当车辆行驶时拍摄的图像照片中的JC-1位于照片图像中某一位置时，则画出该位置对应FC-1-max, FC-2-max，令第一平行线S1-1位于FC-1-max上方，令第二平行线S2-1位于FC-2-max下方。
6.根据权利要求1所述的基于深度学习算法下高速公路夜间车牌防炫目抓拍方法，其特征在于：所述的步骤b中，处理器（50）通过CNN卷积神经网络深度学习算法，或BP神经网络深度学习算法，或使用TensorFlow软件中搭载的图像识别算法作为深度学习算法，识别照片图像的左前车灯、右前车灯。
7.根据权利要求1所述的基于深度学习算法下高速公路夜间车牌防炫目抓拍方法，其特征在于：所述的往复摆动机构（20）为曲柄摇杆机构，曲柄与驱动电机连接，摇杆通过螺栓与补光灯（30）固定连接，使补光灯（30）可在一定角度内往复摆动。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111093289.2A CN113553998B (zh) | 2021-09-17 | 2021-09-17 | 基于深度学习算法下高速公路夜间车牌防炫目抓拍方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111093289.2A CN113553998B (zh) | 2021-09-17 | 2021-09-17 | 基于深度学习算法下高速公路夜间车牌防炫目抓拍方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113553998A true CN113553998A (zh) | 2021-10-26 |
| CN113553998B CN113553998B (zh) | 2021-11-23 |
Family
ID=78134647
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111093289.2A Active CN113553998B (zh) | 2021-09-17 | 2021-09-17 | 基于深度学习算法下高速公路夜间车牌防炫目抓拍方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113553998B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114257751A (zh) * | 2021-12-17 | 2022-03-29 | 航天信息股份有限公司 | 一种随动补光系统 |
| CN114708735A (zh) * | 2022-03-08 | 2022-07-05 | 长安大学 | 一种高速公路测速监控 |
| CN114859629A (zh) * | 2022-04-14 | 2022-08-05 | 浙江高信技术股份有限公司 | 一种补光灯、用于车辆抓拍的补光控制系统及方法 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180089994A1 (en) * | 2016-09-27 | 2018-03-29 | International Business Machines Corporation | Predictive traffic management using virtual lanes |
| CN109177898A (zh) * | 2018-07-26 | 2019-01-11 | 信利光电股份有限公司 | 一种车灯控制系统及方法 |
| CN110310487A (zh) * | 2019-07-09 | 2019-10-08 | 安徽富煌科技股份有限公司 | 一种基于图像处理的违法占用公交车道抓拍系统与方法 |
| CN110956813A (zh) * | 2019-11-07 | 2020-04-03 | 安徽四创电子股份有限公司 | 一种基于多目标跟踪雷达的智能补光车辆抓拍方法 |
| CN211237119U (zh) * | 2019-12-31 | 2020-08-11 | 青岛昂莱物联科技有限公司 | 一种无人值守智慧停车场用车牌拍摄装置 |
| CN112036531A (zh) * | 2020-08-28 | 2020-12-04 | 杭州博安实业有限公司 | 一种车牌模具二维码识别装置及识别方法 |
| US20210065542A1 (en) * | 2017-12-28 | 2021-03-04 | Siemens Mobility GmbH | System and method for determining vehicle speed |
| CN213365525U (zh) * | 2020-06-23 | 2021-06-04 | 广州市市政工程设计研究总院有限公司 | 一种基于线阵ccd摄像装置的车牌识别系统 |
| CN112911096A (zh) * | 2020-12-31 | 2021-06-04 | 杭州海康汽车软件有限公司 | 一种图像拍摄装置、补光模组及设备 |
| CN213423663U (zh) * | 2020-08-18 | 2021-06-11 | 浙江普尔光电科技有限公司 | 一种高清led智能补光灯 |
-
2021
- 2021-09-17 CN CN202111093289.2A patent/CN113553998B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180089994A1 (en) * | 2016-09-27 | 2018-03-29 | International Business Machines Corporation | Predictive traffic management using virtual lanes |
| US20210065542A1 (en) * | 2017-12-28 | 2021-03-04 | Siemens Mobility GmbH | System and method for determining vehicle speed |
| CN109177898A (zh) * | 2018-07-26 | 2019-01-11 | 信利光电股份有限公司 | 一种车灯控制系统及方法 |
| CN110310487A (zh) * | 2019-07-09 | 2019-10-08 | 安徽富煌科技股份有限公司 | 一种基于图像处理的违法占用公交车道抓拍系统与方法 |
| CN110956813A (zh) * | 2019-11-07 | 2020-04-03 | 安徽四创电子股份有限公司 | 一种基于多目标跟踪雷达的智能补光车辆抓拍方法 |
| CN211237119U (zh) * | 2019-12-31 | 2020-08-11 | 青岛昂莱物联科技有限公司 | 一种无人值守智慧停车场用车牌拍摄装置 |
| CN213365525U (zh) * | 2020-06-23 | 2021-06-04 | 广州市市政工程设计研究总院有限公司 | 一种基于线阵ccd摄像装置的车牌识别系统 |
| CN213423663U (zh) * | 2020-08-18 | 2021-06-11 | 浙江普尔光电科技有限公司 | 一种高清led智能补光灯 |
| CN112036531A (zh) * | 2020-08-28 | 2020-12-04 | 杭州博安实业有限公司 | 一种车牌模具二维码识别装置及识别方法 |
| CN112911096A (zh) * | 2020-12-31 | 2021-06-04 | 杭州海康汽车软件有限公司 | 一种图像拍摄装置、补光模组及设备 |
Non-Patent Citations (3)
| Title |
|---|
| TOMAS BJORKLUND 等: "Robust license plate recognition using neural networks trained on synthetic images", 《PATTERN RECOGNITION》 * |
| 张洪斌 等: "基于交通视频分析的自适应摄像控制系统", 《西南交通大学学报》 * |
| 高东东: "智能交通补光系统防眩目与车牌防过曝的方案研究", 《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114257751A (zh) * | 2021-12-17 | 2022-03-29 | 航天信息股份有限公司 | 一种随动补光系统 |
| CN114708735A (zh) * | 2022-03-08 | 2022-07-05 | 长安大学 | 一种高速公路测速监控 |
| CN114859629A (zh) * | 2022-04-14 | 2022-08-05 | 浙江高信技术股份有限公司 | 一种补光灯、用于车辆抓拍的补光控制系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113553998B (zh) | 2021-11-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113553998B (zh) | 基于深度学习算法下高速公路夜间车牌防炫目抓拍方法 | |
| Alcantarilla et al. | Night time vehicle detection for driving assistance lightbeam controller | |
| DE69937956T3 (de) | Stufenlose steuerung eines scheinwerfers | |
| Alcantarilla et al. | Automatic LightBeam Controller for driver assistance | |
| KR100317790B1 (ko) | 도로영역 추출장치 및 그 방법 | |
| CN103358981B (zh) | 车辆的前灯调整装置 | |
| CN102806867B (zh) | 图像处理装置及配光控制方法 | |
| KR101768500B1 (ko) | 운전 보조 장치 및 그 제어방법 | |
| CN110781883B (zh) | 一种基于360度环视摄像头的车位尺寸识别系统及方法 | |
| CN108496176B (zh) | 识别机动车辆的周围区域中的对象的方法，驾驶员辅助系统和机动车辆 | |
| CN105579289B (zh) | 具有自身运动检测的成像系统和方法 | |
| CN101376352B (zh) | 自动适应夜间行车弯道及坡度的汽车前照灯控制方法 | |
| US9185363B2 (en) | Vehicle imaging system and method for categorizing objects using relative motion analysis | |
| US20110125374A1 (en) | Image acquisition and processing systems for vehicle equipment control | |
| US20110184895A1 (en) | Traffic object recognition system, method for recognizing a traffic object, and method for setting up a traffic object recognition system | |
| CN102815259B (zh) | 一种前照灯的调节方法、装置及驾驶员辅助系统 | |
| DE102009039179A1 (de) | Scheinwerfersteuervorrichtung und Fahrzeugscheinwerfer mit Scheinwerfersteuervorrichtung | |
| CN102865824B (zh) | 一种计算车辆间相对距离的方法和装置 | |
| CN110450706A (zh) | 一种自适应远光灯控制系统及图像处理算法 | |
| CN111619324A (zh) | 一种视线追踪汽车智能防炫目方法及系统 | |
| DE102006055906A1 (de) | Verfahren zur Erkennung von Reflektoren, Schildern und Fahrzeuglichtern | |
| CN108806333A (zh) | 基于路灯的交通路况监测方法及其装置 | |
| CN110588499A (zh) | 一种基于机器视觉的前照灯自适应控制系统及方法 | |
| CN110549934A (zh) | 一种基于图像处理和深度学习的汽车智能灯光调节系统 | |
| JP4007578B2 (ja) | 前照灯照射範囲制御方法及び前照灯装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230316 Address after: No. 602, 6th floor, building 3, No. 3, Xixin Avenue, high tech Zone, Chengdu, Sichuan 610000 Patentee after: Chengdu Greenhill Transportation Technology Co.,Ltd. Address before: 610039, No. 999, Jin Zhou road, Jinniu District, Sichuan, Chengdu Patentee before: XIHUA University |
|
| TR01 | Transfer of patent right |