CN111160131A - 基于计算机视觉的施工车辆精准智能辨识方法 - Google Patents
基于计算机视觉的施工车辆精准智能辨识方法 Download PDFInfo
- Publication number
- CN111160131A CN111160131A CN201911272536.8A CN201911272536A CN111160131A CN 111160131 A CN111160131 A CN 111160131A CN 201911272536 A CN201911272536 A CN 201911272536A CN 111160131 A CN111160131 A CN 111160131A
- Authority
- CN
- China
- Prior art keywords
- layer
- width
- depth
- layer operation
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 53
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 6
- 230000004913 activation Effects 0.000 claims description 39
- 238000011176 pooling Methods 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 5
- 238000013461 design Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 claims description 4
- 230000007547 defect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009440 infrastructure construction Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于计算机视觉的施工车辆精准智能辨识方法，是为了解决现有的施工车辆辨识成本高、精度低等缺点而提出的，包括：采集的施工现场的车辆高空鸟瞰图像作为原始数据，使用旋转矩形框进行人工标注，建立施工车辆精准智能辨识数据集；根据旋转矩形框的几何特性，设计对应的深度卷积神经网络结构和目标函数，使用数据集训练网络，将待辨识图像输入网络后得到精准辨识结果。本发明便捷、准确，较大幅度地提升了施工现场车辆辨识的准确性，适用于土木工程施工现场安全管理与监督领域。
Description
技术领域
本发明具体涉及一种基于计算机视觉的施工车辆精准智能辨识方法。
背景技术
随着基础设施建设行业的快速发展，施工场地的空间尺度和复杂度大幅增加，安全事故频发，因此施工现场的安全管理和监督手段亟需完善。而施工车辆作为施工场地中最为活跃的对象之一，其潜在的安全隐患巨大，需要管理者重点关注。随着智能感知技术的发展，依托于各种无线通信传感设备的施工车辆辨识系统逐步投入应用，然而这些系统价格昂贵，分辨率差，无法直观表现车辆现状，极大地限制了施工车辆辨识精度的提升。。
目前随着计算机视觉的发展，许多学者尝试使用可见光传感器即摄像头，期望在一定程度上缓解上述问题。但是在这些研究中大多摄像头安装在固定位置或者车里，受遮挡严重导致辨识效率低下。如何针对现有研究存在的问题提出一个施工车辆精准智能辨识的方法，为先进计算机视觉技术的应用提供一个可行的途径，为施工车辆辨识提供一个自动化智能化的解决方案，是一个亟待研究的问题。
发明内容
本发明的目的是为了解决现有的施工车辆辨识受遮挡严重、效率低下等缺点，提出一种基于计算机视觉的施工车辆精准智能辨识方法，实现了施工现场车辆数据的高效率采集和车辆的高精度辨识，为先进目标识别技术在施工车辆辨识的应用提供一个可行的途径，为施工现场的安全监测和管控提供了解决方案。
本发明所采用的技术如下：一种基于计算机视觉的施工车辆精准智能辨识方法，具体包括如下步骤：
步骤一、使用施工现场的车辆高空鸟瞰图像作为原始数据，将图像裁剪到适合网络输入的尺寸；
步骤二、使用旋转矩形框进行人工标注，建立施工车辆精准智能辨识数据集；
步骤三、根据旋转矩形框的几何特性，设计对应的深度卷积神经网络结构和目标函数，使用数据集训练网络，将待辨识图像输入网络后得到精准辨识结果。
本发明还具有如下技术特征：
1、步骤一中，使用无人机采集施工现场的车辆高空鸟瞰图像，根据网络输入能力确定无人机飞行高度，同时保证无人机拍摄图片为施工车辆正上方俯视图。
2、步骤二中，所述的旋转矩形框由五个参数唯一确定，即矩形的中心点横纵坐标、宽度、高度以及旋转角度。
3、步骤三中，深度卷积神经网络的设计顺序为特征提取模块、旋转矩形框建议模块以及回归模块，其中，(1)采用的基网络为目标分类主流网络，能够进行特征融合以提高特征利用效率；(2)中心点横纵坐标以特征图像素点为锚点，长宽以待测目标常见长宽为依据，角度则以一定间隔遍历；(3)兼顾角度回归的位置回归和类别回归。
4、步骤三中深度卷积神经网络各层的结构为：
L1-0层：输入的宽度为300，深度为3；执行卷积层操作，卷积层操作的宽度为3，数量为64，步距为1，补零为1；
L1-1层：输入的宽度为300，深度为64，执行激活层操作；
L1-2层：输入的宽度为300，深度为64，执行规则化层操作；
L1-3层：输入的宽度为300，深度为64；执行卷积层操作，卷积层操作的宽度为3，数量为64，步距为1，补零为1；
L1-4层：输入的宽度为300，深度为64，执行激活层操作；
L1-5层：输入的宽度为300，深度为64，执行规则化层操作；
L1-6层：输入的宽度为300，深度为64；执行卷积层操作，卷积层操作的宽度为3，数量为64，步距为1，补零为1；
L1-7层：输入的宽度为300，深度为64，执行激活层操作；
L1-8层：输入的宽度为300，深度为64，执行规则化层操作；
L1-9层：输入的宽度为300，深度为64，执行池化层操作；
L2-0层：输入的宽度为150，深度为64；执行卷积层操作，卷积层操作的宽度为3，数量为128，步距为1，补零为1；
L2-1层：输入的宽度为150，深度为128，执行激活层操作；
L2-2层：输入的宽度为150，深度为128，执行规则化层操作；
L2-3层：输入的宽度为150，深度为128；执行卷积层操作，卷积层操作的宽度为3，数量为128，步距为1，补零为1；
L2-4层：输入的宽度为150，深度为128，执行激活层操作；
L2-5层：输入的宽度为150，深度为128，执行规则化层操作；
L2-6层：输入的宽度为150，深度为128，执行池化层操作；
L3-0层：输入的宽度为75，深度为128；执行卷积层操作，卷积层操作的宽度为3，数量为256，步距为1，补零为1；
L3-1层：输入的宽度为75，深度为256，执行激活层操作；
L3-2层：输入的宽度为75，深度为256，执行规则化层操作；
L3-3层：输入的宽度为75，深度为256；执行卷积层操作，卷积层操作的宽度为3，数量为256，步距为1，补零为1；
L3-4层：输入的宽度为75，深度为256，执行激活层操作；
L3-5层：输入的宽度为75，深度为256，执行规则化层操作；
L3-6层：输入的宽度为75，深度为256；执行卷积层操作，卷积层操作的宽度为3，数量为256，步距为1，补零为1；
L3-7层：输入的宽度为75，深度为256，执行激活层操作；
L3-8层：输入的宽度为75，深度为256，执行规则化层操作；
L3-9层：输入的宽度为75，深度为256，执行池化层操作；
L4-0层：输入的宽度为38，深度为256；执行卷积层操作，卷积层操作的宽度为3，数量为512，步距为1，补零为1；
L4-1层：输入的宽度为38，深度为512，执行激活层操作；
L4-2层：输入的宽度为38，深度为512，执行规则化层操作；
L4-3层：输入的宽度为38，深度为512；执行卷积层操作，卷积层操作的宽度为3，数量为512，步距为1，补零为1；
L4-4层：输入的宽度为38，深度为512，执行激活层操作；
L4-5层：输入的宽度为38，深度为512，执行规则化层操作；
L4-6层：输入的宽度为38，深度为512；执行卷积层操作，卷积层操作的宽度为3，数量为512，步距为1，补零为1；
L4-7层：输入的宽度为38，深度为512；执行激活层操作；
L4-8层：输入的宽度为38，深度为512，执行规则化层操作；
L4-8-1-0层：输入的宽度为38，深度为512；执行卷积层操作，卷积层操作的宽度为1，数量为15；
L4-8-1-1层：输入的宽度为38，深度为15，执行扁平化层操作；
L4-8-2-0层：输入的宽度为38，深度为512；执行卷积层操作，卷积层操作的宽度为1，数量为6；
L4-8-2-1层：输入的宽度为38，深度为6，执行扁平化层操作；
L4-9层：输入的宽度为38，深度为512，执行池化层操作；
L5-0层：输入的宽度为19，深度为512；执行卷积层操作，卷积层操作的宽度为3，数量为512，步距为1，补零为1；
L5-1层：输入的宽度为19，深度为512，执行激活层操作；
L5-2层：输入的宽度为19，深度为512，执行规则化层操作；
L5-3层：输入的宽度为19，深度为512；执行卷积层操作，卷积层操作的宽度为3，数量为512，步距为1，补零为1；
L5-4层：输入的宽度为19，深度为512，执行激活层操作；
L5-5层：输入的宽度为19，深度为512，执行规则化层操作；
L5-6层：输入的宽度为19，深度为512；执行卷积层操作，卷积层操作的宽度为3，数量为512，步距为1，补零为1；
L5-7层：输入的宽度为19，深度为512，执行激活层操作；
L5-8层：输入的宽度为19，深度为512，执行规则化层操作；
L5-9层：输入的宽度为19，深度为512，执行池化层操作；
L6-0层：输入的宽度为19，深度为512；执行卷积层操作，卷积层操作的宽度为3，数量为1024，步距为1，补零为1；
L6-1层：输入的宽度为19，深度为1024，执行激活层操作；
L6-2层：输入的宽度为19，深度为1024，执行规则化层操作；
L6-3层：输入的宽度为19，深度为1024；执行卷积层操作，卷积层操作的宽度为3，数量为128，步距为1，补零为1；
L6-4层：输入的宽度为19，深度为1024，执行激活层操作；
L6-5层：输入的宽度为19，深度为1024，执行规则化层操作；
L6-5-1-0层：输入的宽度为19，深度为1024；执行卷积层操作，卷积层操作的宽度为1，数量为30；
L6-5-1-1层：输入的宽度为19，深度为30，执行扁平化层操作；
L6-5-2-0层：输入的宽度为19，深度为1024；执行卷积层操作，卷积层操作的宽度为1，数量为12；
L6-5-2-1层：输入的宽度为19，深度为12，执行扁平化层操作；
L7-0层：输入的宽度为19，深度为512；执行卷积层操作，卷积层操作的宽度为3，数量为256，步距为1，补零为1；
L7-1层：输入的宽度为19，深度为256，执行激活层操作；
L7-2层：输入的宽度为19，深度为256，执行规则化层操作；
L7-3层：输入的宽度为19，深度为256，执行池化层操作；
L7-4层：输入的宽度为10，深度为256；执行卷积层操作，卷积层操作的宽度为3，数量为512，步距为1，补零为1；
L7-5层：输入的宽度为10，深度为512，执行激活层操作；
L7-6层：输入的宽度为10，深度为512，执行规则化层操作；
L7-6-1-0层：输入的宽度为10，深度为512；执行卷积层操作，卷积层操作的宽度为1，数量为30；
L7-6-1-1层：输入的宽度为10，深度为30，执行扁平化层操作；
L7-6-2-0层：输入的宽度为10，深度为512；执行卷积层操作，卷积层操作的宽度为1，数量为12；
L7-6-2-1层：输入的宽度为10，深度为12，执行扁平化层操作；
L8-0层：输入的宽度为10，深度为512；执行卷积层操作，卷积层操作的宽度为3，数量为128，步距为1，补零为1；
L8-1层：输入的宽度为10，深度为128，执行激活层操作；
L8-2层：输入的宽度为10，深度为128，执行规则化层操作；
L8-3层：输入的宽度为10，深度为128，执行池化层操作；
L8-4层：输入的宽度为5，深度为128；执行卷积层操作，卷积层操作的宽度为3，数量为256，步距为1，补零为1；
L8-5层：输入的宽度为5，深度为256，执行激活层操作；
L8-6层：输入的宽度为5，深度为256，执行规则化层操作；
L8-6-1-0层：输入的宽度为5，深度为256；执行卷积层操作，卷积层操作的宽度为1，数量为30；
L8-6-1-1层：输入的宽度为5，深度为30，执行扁平化层操作；
L8-6-2-0层：输入的宽度为5，深度为256；执行卷积层操作，卷积层操作的宽度为1，数量为12；
L8-6-2-1层：输入的宽度为5，深度为12，执行扁平化层操作；
L9-0层：输入的宽度为5，深度为256；执行卷积层操作，卷积层操作的宽度为3，数量为128，步距为1，补零为1；
L9-1层：输入的宽度为5，深度为128，执行激活层操作；
L9-2层：输入的宽度为5，深度为128，执行规则化层操作；
L9-3层：输入的宽度为5，深度为128，执行池化层操作；
L9-4层：输入的宽度为3，深度为128；执行卷积层操作，卷积层操作的宽度为3，数量为256，步距为1，补零为1；
L9-5层：输入的宽度为3，深度为256，执行激活层操作；
L9-6层：输入的宽度为3，深度为256，执行规则化层操作；
L9-6-1-0层：输入的宽度为3，深度为256；执行卷积层操作，卷积层操作的宽度为1，数量为30；
L9-6-1-1层：输入的宽度为3，深度为30，执行扁平化层操作；
L9-6-2-0层：输入的宽度为3，深度为256；执行卷积层操作，卷积层操作的宽度为1，数量为12；
L9-6-2-1层：输入的宽度为3，深度为12，执行扁平化层操作；
L10-0层：输入的宽度为3，深度为256，执行池化层操作；
L10-0-1-0层：输入的宽度为1，深度为30，执行扁平化层操作；
L10-0-2-0层：输入的宽度为1，深度为12，执行扁平化层操作；
L11-0层：输入L4-8-1-1层、L6-5-1-1层、L7-6-1-1层、L8-6-1-1层、L9-6-1-1层以及L10-0-1-0层，执行叠加操作；
L11-1层：执行卷积层操作，卷积层操作的宽度为1，数量为5；
L12-0层：输入L4-8-2-1层、L6-5-2-1层、L7-6-2-1层、L8-6-2-1层、L9-6-2-1层以及L10-0-2-0层，执行叠加操作；
L12-1层：执行卷积层操作，卷积层操作的宽度为1，数量为2；
L13-0层：执行回归操作。
5、步骤三中深度卷积网络的目标函数为：
式中Lconf为分类损失，LOABB为位置回归损失，x为网络预测值，c为真实类别，l为网络建议位置，g为真实位置，N为样本数量，α取1。
本发明的优点及有益效果为：本发明便捷、准确，提升了施工现场车辆辨识的效率，实现了施工现场车辆数据的高效率采集和车辆的高精度辨识。整个辨识过程均为自动化处理，显著降低了辨识过程中的人工参与度。本发明还能满足施工现场其他潜在风险目标的精准智能辨识。本发明提高了施工现场车辆辨识的自动化、智能化、准确性和鲁棒性，适用于土木工程施工现场安全管理与监督领域，为施工现场的安全监测和管控提供了可行的解决途径。
附图说明
图1为本发明的流程示意图；
图2为本发明步骤三的深度卷积神经网络的结构示意图；
图3为本发明步骤一的一个实施例的原始图像图；
图4为本发明步骤二的一个实施例的人工标注结果图；
图5为本发明步骤三的一个实施例的智能辨识结果。
具体实施方式
下面根据说明书附图举例对本发明做进一步说明：
实施例1
如图1所示，一种基于计算机视觉的施工车辆精准智能辨识方法，包括如下步骤：
步骤一、使用无人机采集的施工现场的车辆高空鸟瞰图像作为原始数据，根据施工车辆尺寸和网络输入尺寸300×300，确定无人机飞行高度和镜头角度，将采集图像裁剪成300×300。
步骤二、使用旋转矩形框进行人工标注，建立施工车辆精准智能辨识数据集。此处所指旋转矩形框由五个参数唯一确定，即矩形的中心点横纵坐标、宽度、高度以及旋转角度。
步骤三、根据旋转矩形框的几何特性，设计对应的深度卷积神经网络结构和目标函数，使用数据集训练网络，将待辨识图像输入网络后得到精准辨识结果。深度卷积神经网络的设计顺序为特征提取模块、旋转矩形框建议模块以及回归模块，如图2所示。其中，(1)采用的基网络为目标分类主流网络，可进行特征融合以提高特征利用效率；(2)中心点横纵坐标建议以特征图像素点为锚点，长宽建议以待测目标常见长宽为依据，角度建议则以一定间隔遍历；(3)主要以兼顾角度回归的位置回归和类别回归为主。
深度卷积神经网络的目标函数为：
式中Lconf为分类损失，LOABB为位置回归损失，x为网络预测值，c为真实类别，l为网络建议位置，g为真实位置，N为样本数量，α取1。
实施例2
一种基于计算机视觉的施工车辆精准智能辨识方法，包括如下步骤：
步骤一、使用无人机采集的施工现场的车辆高空鸟瞰图像作为原始数据，根据施工车辆尺寸和网络输入尺寸300×300，确定无人机飞行高度和镜头角度。
(一)、在一个实施例中，无人机采集图像时飞行高度为30m，镜头角度为90度
(二)、无人机采集图像尺寸为3000×2000像素，将其裁剪为300×300以便输入网络，如图3所示；
步骤二、使用旋转矩形框进行人工标注，建立施工车辆精准智能辨识数据集。此处所指旋转矩形框由五个参数唯一确定，即矩形的中心点横纵坐标、宽度、高度以及旋转角度。
(一)、在一个实施例中，使用改进的基于Python的开源标注工具进行人工标注，得到施工车辆精准位置的旋转矩形框，如图4所示，并将对应的参数写入标准文件。
步骤三、根据旋转矩形框的几何特性，设计对应的深度卷积神经网络结构和目标函数，使用数据集训练网络，将待辨识图像输入网络后得到精准辨识结果。深度卷积网络的设计顺序为特征提取模块、旋转矩形框建议模块以及回归模块。其中，(1)采用的基网络为目标分类主流网络，可进行特征融合以提高特征利用效率；(2)中心点横纵坐标建议以特征图像素点为锚点，长宽建议以待测目标常见长宽为依据，角度建议则以一定间隔遍历；(3)主要以兼顾角度回归的位置回归和类别回归为主。
(一)、在一个实施例中，网络的特征提取模块的基网络采用了VGG16；
(二)、网络的旋转矩形框的角度建议间隔为30度；
(三)、训练的样本数量N为500；
(四)、基于该实施例进行了施工车辆智能辨识，结果如图5所示。
其中深度卷积神经网络各层的结构为：
L1-0层：输入的宽度为300，深度为3；执行卷积层操作，卷积层操作的宽度为3，数量为64，步距为1，补零为1；
L1-1层：输入的宽度为300，深度为64，执行激活层操作；
L1-2层：输入的宽度为300，深度为64，执行规则化层操作；
L1-3层：输入的宽度为300，深度为64；执行卷积层操作，卷积层操作的宽度为3，数量为64，步距为1，补零为1；
L1-4层：输入的宽度为300，深度为64，执行激活层操作；
L1-5层：输入的宽度为300，深度为64，执行规则化层操作；
L1-6层：输入的宽度为300，深度为64；执行卷积层操作，卷积层操作的宽度为3，数量为64，步距为1，补零为1；
L1-7层：输入的宽度为300，深度为64，执行激活层操作；
L1-8层：输入的宽度为300，深度为64，执行规则化层操作；
L1-9层：输入的宽度为300，深度为64，执行池化层操作；
L2-0层：输入的宽度为150，深度为64；执行卷积层操作，卷积层操作的宽度为3，数量为128，步距为1，补零为1；
L2-1层：输入的宽度为150，深度为128，执行激活层操作；
L2-2层：输入的宽度为150，深度为128，执行规则化层操作；
L2-3层：输入的宽度为150，深度为128；执行卷积层操作，卷积层操作的宽度为3，数量为128，步距为1，补零为1；
L2-4层：输入的宽度为150，深度为128，执行激活层操作；
L2-5层：输入的宽度为150，深度为128，执行规则化层操作；
L2-6层：输入的宽度为150，深度为128，执行池化层操作；
L3-0层：输入的宽度为75，深度为128；执行卷积层操作，卷积层操作的宽度为3，数量为256，步距为1，补零为1；
L3-1层：输入的宽度为75，深度为256，执行激活层操作；
L3-2层：输入的宽度为75，深度为256，执行规则化层操作；
L3-3层：输入的宽度为75，深度为256；执行卷积层操作，卷积层操作的宽度为3，数量为256，步距为1，补零为1；
L3-4层：输入的宽度为75，深度为256，执行激活层操作；
L3-5层：输入的宽度为75，深度为256，执行规则化层操作；
L3-6层：输入的宽度为75，深度为256；执行卷积层操作，卷积层操作的宽度为3，数量为256，步距为1，补零为1；
L3-7层：输入的宽度为75，深度为256，执行激活层操作；
L3-8层：输入的宽度为75，深度为256，执行规则化层操作；
L3-9层：输入的宽度为75，深度为256，执行池化层操作；
L4-0层：输入的宽度为38，深度为256；执行卷积层操作，卷积层操作的宽度为3，数量为512，步距为1，补零为1；
L4-1层：输入的宽度为38，深度为512，执行激活层操作；
L4-2层：输入的宽度为38，深度为512，执行规则化层操作；
L4-3层：输入的宽度为38，深度为512；执行卷积层操作，卷积层操作的宽度为3，数量为512，步距为1，补零为1；
L4-4层：输入的宽度为38，深度为512，执行激活层操作；
L4-5层：输入的宽度为38，深度为512，执行规则化层操作；
L4-6层：输入的宽度为38，深度为512；执行卷积层操作，卷积层操作的宽度为3，数量为512，步距为1，补零为1；
L4-7层：输入的宽度为38，深度为512；执行激活层操作；
L4-8层：输入的宽度为38，深度为512，执行规则化层操作；
L4-8-1-0层：输入的宽度为38，深度为512；执行卷积层操作，卷积层操作的宽度为1，数量为15；
L4-8-1-1层：输入的宽度为38，深度为15，执行扁平化层操作；
L4-8-2-0层：输入的宽度为38，深度为512；执行卷积层操作，卷积层操作的宽度为1，数量为6；
L4-8-2-1层：输入的宽度为38，深度为6，执行扁平化层操作；
L4-9层：输入的宽度为38，深度为512，执行池化层操作；
L5-0层：输入的宽度为19，深度为512；执行卷积层操作，卷积层操作的宽度为3，数量为512，步距为1，补零为1；
L5-1层：输入的宽度为19，深度为512，执行激活层操作；
L5-2层：输入的宽度为19，深度为512，执行规则化层操作；
L5-3层：输入的宽度为19，深度为512；执行卷积层操作，卷积层操作的宽度为3，数量为512，步距为1，补零为1；
L5-4层：输入的宽度为19，深度为512，执行激活层操作；
L5-5层：输入的宽度为19，深度为512，执行规则化层操作；
L5-6层：输入的宽度为19，深度为512；执行卷积层操作，卷积层操作的宽度为3，数量为512，步距为1，补零为1；
L5-7层：输入的宽度为19，深度为512，执行激活层操作；
L5-8层：输入的宽度为19，深度为512，执行规则化层操作；
L5-9层：输入的宽度为19，深度为512，执行池化层操作；
L6-0层：输入的宽度为19，深度为512；执行卷积层操作，卷积层操作的宽度为3，数量为1024，步距为1，补零为1；
L6-1层：输入的宽度为19，深度为1024，执行激活层操作；
L6-2层：输入的宽度为19，深度为1024，执行规则化层操作；
L6-3层：输入的宽度为19，深度为1024；执行卷积层操作，卷积层操作的宽度为3，数量为128，步距为1，补零为1；
L6-4层：输入的宽度为19，深度为1024，执行激活层操作；
L6-5层：输入的宽度为19，深度为1024，执行规则化层操作；
L6-5-1-0层：输入的宽度为19，深度为1024；执行卷积层操作，卷积层操作的宽度为1，数量为30；
L6-5-1-1层：输入的宽度为19，深度为30，执行扁平化层操作；
L6-5-2-0层：输入的宽度为19，深度为1024；执行卷积层操作，卷积层操作的宽度为1，数量为12；
L6-5-2-1层：输入的宽度为19，深度为12，执行扁平化层操作；
L7-0层：输入的宽度为19，深度为512；执行卷积层操作，卷积层操作的宽度为3，数量为256，步距为1，补零为1；
L7-1层：输入的宽度为19，深度为256，执行激活层操作；
L7-2层：输入的宽度为19，深度为256，执行规则化层操作；
L7-3层：输入的宽度为19，深度为256，执行池化层操作；
L7-4层：输入的宽度为10，深度为256；执行卷积层操作，卷积层操作的宽度为3，数量为512，步距为1，补零为1；
L7-5层：输入的宽度为10，深度为512，执行激活层操作；
L7-6层：输入的宽度为10，深度为512，执行规则化层操作；
L7-6-1-0层：输入的宽度为10，深度为512；执行卷积层操作，卷积层操作的宽度为1，数量为30；
L7-6-1-1层：输入的宽度为10，深度为30，执行扁平化层操作；
L7-6-2-0层：输入的宽度为10，深度为512；执行卷积层操作，卷积层操作的宽度为1，数量为12；
L7-6-2-1层：输入的宽度为10，深度为12，执行扁平化层操作；
L8-0层：输入的宽度为10，深度为512；执行卷积层操作，卷积层操作的宽度为3，数量为128，步距为1，补零为1；
L8-1层：输入的宽度为10，深度为128，执行激活层操作；
L8-2层：输入的宽度为10，深度为128，执行规则化层操作；
L8-3层：输入的宽度为10，深度为128，执行池化层操作；
L8-4层：输入的宽度为5，深度为128；执行卷积层操作，卷积层操作的宽度为3，数量为256，步距为1，补零为1；
L8-5层：输入的宽度为5，深度为256，执行激活层操作；
L8-6层：输入的宽度为5，深度为256，执行规则化层操作；
L8-6-1-0层：输入的宽度为5，深度为256；执行卷积层操作，卷积层操作的宽度为1，数量为30；
L8-6-1-1层：输入的宽度为5，深度为30，执行扁平化层操作；
L8-6-2-0层：输入的宽度为5，深度为256；执行卷积层操作，卷积层操作的宽度为1，数量为12；
L8-6-2-1层：输入的宽度为5，深度为12，执行扁平化层操作；
L9-0层：输入的宽度为5，深度为256；执行卷积层操作，卷积层操作的宽度为3，数量为128，步距为1，补零为1；
L9-1层：输入的宽度为5，深度为128，执行激活层操作；
L9-2层：输入的宽度为5，深度为128，执行规则化层操作；
L9-3层：输入的宽度为5，深度为128，执行池化层操作；
L9-4层：输入的宽度为3，深度为128；执行卷积层操作，卷积层操作的宽度为3，数量为256，步距为1，补零为1；
L9-5层：输入的宽度为3，深度为256，执行激活层操作；
L9-6层：输入的宽度为3，深度为256，执行规则化层操作；
L9-6-1-0层：输入的宽度为3，深度为256；执行卷积层操作，卷积层操作的宽度为1，数量为30；
L9-6-1-1层：输入的宽度为3，深度为30，执行扁平化层操作；
L9-6-2-0层：输入的宽度为3，深度为256；执行卷积层操作，卷积层操作的宽度为1，数量为12；
L9-6-2-1层：输入的宽度为3，深度为12，执行扁平化层操作；
L10-0层：输入的宽度为3，深度为256，执行池化层操作；
L10-0-1-0层：输入的宽度为1，深度为30，执行扁平化层操作；
L10-0-2-0层：输入的宽度为1，深度为12，执行扁平化层操作；
L11-0层：输入L4-8-1-1层、L6-5-1-1层、L7-6-1-1层、L8-6-1-1层、L9-6-1-1层以及L10-0-1-0层，执行叠加操作；
L11-1层：执行卷积层操作，卷积层操作的宽度为1，数量为5；
L12-0层：输入L4-8-2-1层、L6-5-2-1层、L7-6-2-1层、L8-6-2-1层、L9-6-2-1层以及L10-0-2-0层，执行叠加操作；
L12-1层：执行卷积层操作，卷积层操作的宽度为1，数量为2；
L13-0层：执行回归操作。
深度卷积神经网络的目标函数为：
式中Lconf为分类损失，LOABB为位置回归损失，x为网络预测值，c为真实类别，l为网络建议位置，g为真实位置，N为样本数量，α取1。
Claims (6)
1.一种基于计算机视觉的施工车辆精准智能辨识方法，其特征在于，包括如下步骤：
步骤一、使用施工现场的车辆高空鸟瞰图像作为原始数据，将图像裁剪到适合网络输入的尺寸；
步骤二、使用旋转矩形框进行人工标注，建立施工车辆精准智能辨识数据集；
步骤三、根据旋转矩形框的几何特性，设计对应的深度卷积神经网络结构和目标函数，使用数据集训练网络，将待辨识图像输入网络后得到精准辨识结果。
2.根据权利要求1所述的一种基于计算机视觉的施工车辆精准智能辨识方法，其特征在于，步骤一中，使用无人机采集施工现场的车辆高空鸟瞰图像，根据网络输入能力确定无人机飞行高度，同时保证无人机拍摄图片为施工车辆正上方俯视图。
3.根据权利要求1所述的一种基于计算机视觉的施工车辆精准智能辨识方法，其特征在于，步骤二中，所述的旋转矩形框由五个参数唯一确定，即矩形的中心点横纵坐标、宽度、高度以及旋转角度。
4.根据权利要求3所述的一种基于计算机视觉的施工车辆精准智能辨识方法，其特征在于，步骤三中，深度卷积神经网络的设计顺序为特征提取模块、旋转矩形框建议模块以及回归模块，其中，(1)采用的基网络为目标分类主流网络，能够进行特征融合；(2)中心点横纵坐标以特征图像素点为锚点，长宽以待测目标常见长宽为依据，角度则以一定间隔遍历；(3)兼顾角度回归的位置回归和类别回归。
5.根据权利要求1或4所述的一种基于计算机视觉的施工车辆精准智能辨识方法，其特征在于，步骤三中深度卷积神经网络各层的结构为：
L1-0层：输入的宽度为300，深度为3；执行卷积层操作，卷积层操作的宽度为3，数量为64，步距为1，补零为1；
L1-1层：输入的宽度为300，深度为64，执行激活层操作；
L1-2层：输入的宽度为300，深度为64，执行规则化层操作；
L1-3层：输入的宽度为300，深度为64；执行卷积层操作，卷积层操作的宽度为3，数量为64，步距为1，补零为1；
L1-4层：输入的宽度为300，深度为64，执行激活层操作；
L1-5层：输入的宽度为300，深度为64，执行规则化层操作；
L1-6层：输入的宽度为300，深度为64；执行卷积层操作，卷积层操作的宽度为3，数量为64，步距为1，补零为1；
L1-7层：输入的宽度为300，深度为64，执行激活层操作；
L1-8层：输入的宽度为300，深度为64，执行规则化层操作；
L1-9层：输入的宽度为300，深度为64，执行池化层操作；
L2-0层：输入的宽度为150，深度为64；执行卷积层操作，卷积层操作的宽度为3，数量为128，步距为1，补零为1；
L2-1层：输入的宽度为150，深度为128，执行激活层操作；
L2-2层：输入的宽度为150，深度为128，执行规则化层操作；
L2-3层：输入的宽度为150，深度为128；执行卷积层操作，卷积层操作的宽度为3，数量为128，步距为1，补零为1；
L2-4层：输入的宽度为150，深度为128，执行激活层操作；
L2-5层：输入的宽度为150，深度为128，执行规则化层操作；
L2-6层：输入的宽度为150，深度为128，执行池化层操作；
L3-0层：输入的宽度为75，深度为128；执行卷积层操作，卷积层操作的宽度为3，数量为256，步距为1，补零为1；
L3-1层：输入的宽度为75，深度为256，执行激活层操作；
L3-2层：输入的宽度为75，深度为256，执行规则化层操作；
L3-3层：输入的宽度为75，深度为256；执行卷积层操作，卷积层操作的宽度为3，数量为256，步距为1，补零为1；
L3-4层：输入的宽度为75，深度为256，执行激活层操作；
L3-5层：输入的宽度为75，深度为256，执行规则化层操作；
L3-6层：输入的宽度为75，深度为256；执行卷积层操作，卷积层操作的宽度为3，数量为256，步距为1，补零为1；
L3-7层：输入的宽度为75，深度为256，执行激活层操作；
L3-8层：输入的宽度为75，深度为256，执行规则化层操作；
L3-9层：输入的宽度为75，深度为256，执行池化层操作；
L4-0层：输入的宽度为38，深度为256；执行卷积层操作，卷积层操作的宽度为3，数量为512，步距为1，补零为1；
L4-1层：输入的宽度为38，深度为512，执行激活层操作；
L4-2层：输入的宽度为38，深度为512，执行规则化层操作；
L4-3层：输入的宽度为38，深度为512；执行卷积层操作，卷积层操作的宽度为3，数量为512，步距为1，补零为1；
L4-4层：输入的宽度为38，深度为512，执行激活层操作；
L4-5层：输入的宽度为38，深度为512，执行规则化层操作；
L4-6层：输入的宽度为38，深度为512；执行卷积层操作，卷积层操作的宽度为3，数量为512，步距为1，补零为1；
L4-7层：输入的宽度为38，深度为512；执行激活层操作；
L4-8层：输入的宽度为38，深度为512，执行规则化层操作；
L4-8-1-0层：输入的宽度为38，深度为512；执行卷积层操作，卷积层操作的宽度为1，数量为15；
L4-8-1-1层：输入的宽度为38，深度为15，执行扁平化层操作；
L4-8-2-0层：输入的宽度为38，深度为512；执行卷积层操作，卷积层操作的宽度为1，数量为6；
L4-8-2-1层：输入的宽度为38，深度为6，执行扁平化层操作；
L4-9层：输入的宽度为38，深度为512，执行池化层操作；
L5-0层：输入的宽度为19，深度为512；执行卷积层操作，卷积层操作的宽度为3，数量为512，步距为1，补零为1；
L5-1层：输入的宽度为19，深度为512，执行激活层操作；
L5-2层：输入的宽度为19，深度为512，执行规则化层操作；
L5-3层：输入的宽度为19，深度为512；执行卷积层操作，卷积层操作的宽度为3，数量为512，步距为1，补零为1；
L5-4层：输入的宽度为19，深度为512，执行激活层操作；
L5-5层：输入的宽度为19，深度为512，执行规则化层操作；
L5-6层：输入的宽度为19，深度为512；执行卷积层操作，卷积层操作的宽度为3，数量为512，步距为1，补零为1；
L5-7层：输入的宽度为19，深度为512，执行激活层操作；
L5-8层：输入的宽度为19，深度为512，执行规则化层操作；
L5-9层：输入的宽度为19，深度为512，执行池化层操作；
L6-0层：输入的宽度为19，深度为512；执行卷积层操作，卷积层操作的宽度为3，数量为1024，步距为1，补零为1；
L6-1层：输入的宽度为19，深度为1024，执行激活层操作；
L6-2层：输入的宽度为19，深度为1024，执行规则化层操作；
L6-3层：输入的宽度为19，深度为1024；执行卷积层操作，卷积层操作的宽度为3，数量为128，步距为1，补零为1；
L6-4层：输入的宽度为19，深度为1024，执行激活层操作；
L6-5层：输入的宽度为19，深度为1024，执行规则化层操作；
L6-5-1-0层：输入的宽度为19，深度为1024；执行卷积层操作，卷积层操作的宽度为1，数量为30；
L6-5-1-1层：输入的宽度为19，深度为30，执行扁平化层操作；
L6-5-2-0层：输入的宽度为19，深度为1024；执行卷积层操作，卷积层操作的宽度为1，数量为12；
L6-5-2-1层：输入的宽度为19，深度为12，执行扁平化层操作；
L7-0层：输入的宽度为19，深度为512；执行卷积层操作，卷积层操作的宽度为3，数量为256，步距为1，补零为1；
L7-1层：输入的宽度为19，深度为256，执行激活层操作；
L7-2层：输入的宽度为19，深度为256，执行规则化层操作；
L7-3层：输入的宽度为19，深度为256，执行池化层操作；
L7-4层：输入的宽度为10，深度为256；执行卷积层操作，卷积层操作的宽度为3，数量为512，步距为1，补零为1；
L7-5层：输入的宽度为10，深度为512，执行激活层操作；
L7-6层：输入的宽度为10，深度为512，执行规则化层操作；
L7-6-1-0层：输入的宽度为10，深度为512；执行卷积层操作，卷积层操作的宽度为1，数量为30；
L7-6-1-1层：输入的宽度为10，深度为30，执行扁平化层操作；
L7-6-2-0层：输入的宽度为10，深度为512；执行卷积层操作，卷积层操作的宽度为1，数量为12；
L7-6-2-1层：输入的宽度为10，深度为12，执行扁平化层操作；
L8-0层：输入的宽度为10，深度为512；执行卷积层操作，卷积层操作的宽度为3，数量为128，步距为1，补零为1；
L8-1层：输入的宽度为10，深度为128，执行激活层操作；
L8-2层：输入的宽度为10，深度为128，执行规则化层操作；
L8-3层：输入的宽度为10，深度为128，执行池化层操作；
L8-4层：输入的宽度为5，深度为128；执行卷积层操作，卷积层操作的宽度为3，数量为256，步距为1，补零为1；
L8-5层：输入的宽度为5，深度为256，执行激活层操作；
L8-6层：输入的宽度为5，深度为256，执行规则化层操作；
L8-6-1-0层：输入的宽度为5，深度为256；执行卷积层操作，卷积层操作的宽度为1，数量为30；
L8-6-1-1层：输入的宽度为5，深度为30，执行扁平化层操作；
L8-6-2-0层：输入的宽度为5，深度为256；执行卷积层操作，卷积层操作的宽度为1，数量为12；
L8-6-2-1层：输入的宽度为5，深度为12，执行扁平化层操作；
L9-0层：输入的宽度为5，深度为256；执行卷积层操作，卷积层操作的宽度为3，数量为128，步距为1，补零为1；
L9-1层：输入的宽度为5，深度为128，执行激活层操作；
L9-2层：输入的宽度为5，深度为128，执行规则化层操作；
L9-3层：输入的宽度为5，深度为128，执行池化层操作；
L9-4层：输入的宽度为3，深度为128；执行卷积层操作，卷积层操作的宽度为3，数量为256，步距为1，补零为1；
L9-5层：输入的宽度为3，深度为256，执行激活层操作；
L9-6层：输入的宽度为3，深度为256，执行规则化层操作；
L9-6-1-0层：输入的宽度为3，深度为256；执行卷积层操作，卷积层操作的宽度为1，数量为30；
L9-6-1-1层：输入的宽度为3，深度为30，执行扁平化层操作；
L9-6-2-0层：输入的宽度为3，深度为256；执行卷积层操作，卷积层操作的宽度为1，数量为12；
L9-6-2-1层：输入的宽度为3，深度为12，执行扁平化层操作；
L10-0层：输入的宽度为3，深度为256，执行池化层操作；
L10-0-1-0层：输入的宽度为1，深度为30，执行扁平化层操作；
L10-0-2-0层：输入的宽度为1，深度为12，执行扁平化层操作；
L11-0层：输入L4-8-1-1层、L6-5-1-1层、L7-6-1-1层、L8-6-1-1层、L9-6-1-1层以及L10-0-1-0层，执行叠加操作；
L11-1层：执行卷积层操作，卷积层操作的宽度为1，数量为5；
L12-0层：输入L4-8-2-1层、L6-5-2-1层、L7-6-2-1层、L8-6-2-1层、L9-6-2-1层以及L10-0-2-0层，执行叠加操作；
L12-1层：执行卷积层操作，卷积层操作的宽度为1，数量为2；
L13-0层：执行回归操作。
6.根据权利要求1或4所述的一种基于计算机视觉的施工车辆精准智能辨识方法，其特征在于，步骤三中深度卷积神经网络的目标函数为：
式中Lconf为分类损失，LOABB为位置回归损失，x为网络预测值，c为真实类别，l为网络建议位置，g为真实位置，N为样本数量，α取1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911272536.8A CN111160131A (zh) | 2019-12-12 | 2019-12-12 | 基于计算机视觉的施工车辆精准智能辨识方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911272536.8A CN111160131A (zh) | 2019-12-12 | 2019-12-12 | 基于计算机视觉的施工车辆精准智能辨识方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111160131A true CN111160131A (zh) | 2020-05-15 |
Family
ID=70556814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911272536.8A Pending CN111160131A (zh) | 2019-12-12 | 2019-12-12 | 基于计算机视觉的施工车辆精准智能辨识方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111160131A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106980895A (zh) * | 2017-02-22 | 2017-07-25 | 中国科学院自动化研究所 | 基于旋转区域的卷积神经网络预测方法 |
| CN108960135A (zh) * | 2018-07-03 | 2018-12-07 | 西北工业大学 | 基于高分辨遥感图像的密集舰船目标精确检测方法 |
| CN109376676A (zh) * | 2018-11-01 | 2019-02-22 | 哈尔滨工业大学 | 基于无人机平台的公路工程现场施工人员安全预警方法 |
| CN109977902A (zh) * | 2019-04-03 | 2019-07-05 | 刘西 | 一种基于深度学习的建筑施工车辆识别方法 |
-
2019
- 2019-12-12 CN CN201911272536.8A patent/CN111160131A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106980895A (zh) * | 2017-02-22 | 2017-07-25 | 中国科学院自动化研究所 | 基于旋转区域的卷积神经网络预测方法 |
| CN108960135A (zh) * | 2018-07-03 | 2018-12-07 | 西北工业大学 | 基于高分辨遥感图像的密集舰船目标精确检测方法 |
| CN109376676A (zh) * | 2018-11-01 | 2019-02-22 | 哈尔滨工业大学 | 基于无人机平台的公路工程现场施工人员安全预警方法 |
| CN109977902A (zh) * | 2019-04-03 | 2019-07-05 | 刘西 | 一种基于深度学习的建筑施工车辆识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| YAPENG GUO等: "Safety Monitoring in Construction Site based on Unmanned Aerial Vehicle Platform with Computer Vision using Transfer Learning Techniques", 《7TH ASIA-PACIFIC WORKSHOP ON STRUCTURAL HEALTH MONITORING ，NOVEMBER 12-15, 2018 HONG KONG SAR, P.R. CHINA》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110780305B (zh) | 一种基于多线激光雷达的赛道锥桶检测及目标点追踪方法 | |
| CN111340797A (zh) | 一种激光雷达与双目相机数据融合检测方法及系统 | |
| CN106989683B (zh) | 一种盾构机盾尾间隙视觉测量方法 | |
| CN109446973B (zh) | 一种基于深度神经网络图像识别的车辆定位方法 | |
| CN1818546A (zh) | 远距离面内小位移测量方法 | |
| CN111598770A (zh) | 一种基于三维数据和二维图像的物体检测方法和装置 | |
| CN104299240A (zh) | 用于车道偏移预警的摄像头标定方法及系统 | |
| CN110543473B (zh) | 一种众包数据融合优化方法、装置及存储介质 | |
| CN113221648B (zh) | 一种基于移动测量系统的融合点云序列影像路牌检测方法 | |
| CN103544489A (zh) | 一种车标定位装置及方法 | |
| WO2021017211A1 (zh) | 一种基于视觉的车辆定位方法、装置及车载终端 | |
| CN114067288A (zh) | 一种交通标志牌提取方法、系统、电子设备及存储介质 | |
| CN112329553A (zh) | 一种车道线标注方法及装置 | |
| CN113469178A (zh) | 一种基于深度学习的电力表计识别方法 | |
| CN109697428B (zh) | 基于rgb_d和深度卷积网络的无人机识别定位系统 | |
| CN114067287A (zh) | 一种基于车侧路侧数据感知融合的异物识别及预警系统 | |
| CN206832260U (zh) | 一种基于视觉的移动机器人导航系统 | |
| CN110415299B (zh) | 一种运动约束下基于设定路牌的车辆位置估计方法 | |
| CN102607667B (zh) | 基于虚拟仪器智能相机的煤仓煤位检测方法 | |
| CN111160131A (zh) | 基于计算机视觉的施工车辆精准智能辨识方法 | |
| CN103559492A (zh) | 一种车标识别装置及方法 | |
| CN110298852A (zh) | 基于无人机影像色谱的地质界线自动提取方法 | |
| CN111797681A (zh) | 基于计算机视觉的挖掘机姿态智能估计方法 | |
| CN108628320A (zh) | 一种智能汽车无人驾驶系统 | |
| CN114429469A (zh) | 一种基于三激光点标靶的掘进机机身位姿确定方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200515 |
|
| RJ01 | Rejection of invention patent application after publication |