CN110197166A - 一种基于图像识别的车体装载状态识别装置及方法 - Google Patents
一种基于图像识别的车体装载状态识别装置及方法 Download PDFInfo
- Publication number
- CN110197166A CN110197166A CN201910482570.1A CN201910482570A CN110197166A CN 110197166 A CN110197166 A CN 110197166A CN 201910482570 A CN201910482570 A CN 201910482570A CN 110197166 A CN110197166 A CN 110197166A
- Authority
- CN
- China
- Prior art keywords
- car body
- image
- pixel
- layer
- loading condition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012545 processing Methods 0.000 claims abstract description 35
- 230000006698 induction Effects 0.000 claims abstract description 29
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 20
- 238000013526 transfer learning Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 60
- 239000013598 vector Substances 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 20
- 238000005070 sampling Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 238000010606 normalization Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000005457 optimization Methods 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 230000000087 stabilizing effect Effects 0.000 claims description 3
- 230000004297 night vision Effects 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 5
- 230000008901 benefit Effects 0.000 abstract description 3
- 230000007613 environmental effect Effects 0.000 abstract description 2
- 238000005096 rolling process Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 6
- 238000009434 installation Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
- G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device
- G06K17/0029—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于图像识别的车体装载状态识别装置及方法，属于图像分类技术领域，包括有源RFID电子标签、RFID读写器、地感线圈、高清摄像头、处理器、平台服务器和立柱，处理器内包含控制单元和图像识别单元。控制单元获取卡车顶部图像信息和对应的有源RFID电子标签信息，发送到图像识别单元，图像识别单元用基于卷积神经网络的迁移学习方法结合SVM分类模型进行图像识别处理，获得卡车装载状态信息。本方法受人为因素和环境因素影响较小，在保证计量准确、提高劳动生产率的同时可以节省大量成本和人力，使矿山更加智能化，从而使企业获得更高的经济效益。
Description
技术领域
本发明属于图像分类技术领域，具体涉及一种基于图像识别的车体装载状态识别装置及方法。
背景技术
在矿业工程中，统计卡车运载量的准确性直接影响露天矿生产计划进度、作业安排和生产调度效率。卡车有效运载量是对露天矿卡车司机进行绩效评估的重要指标。
传统的统计卡车运载量的方法是人工计数，这种方法受人为因素和环境影响，往往无法核实数据的准确性和真实性。随着数字矿山的发展，出现了一些智能自动运输计量方法，可以在一定程度上减少人为因素和环境的影响。但这些方法都有一定的局限性：传统的方法大多使用地磅配合部分人工管理来获得卡车运载量数据，在一些大型矿山企业使用地磅来统计卡车运载量。但对于中小型企业来说，地磅容易损坏且价格昂贵。
因此，本申请提出一种基于图像识别的车体装载状态识别装置及方法。
发明内容
为了克服上述现有技术存在的不足，本发明提供了一种基于图像识别的车体装载状态识别装置及方法。
为了实现上述目的，本发明提供如下技术方案：
一种基于图像识别的车体装载状态识别装置，包括有源RFID电子标签、RFID读写器、地感线圈、高清摄像头、处理器和平台服务器，所述处理器内包含控制单元和图像识别单元，所述RFID读写器、地感线圈和高清摄像头分别与所述控制单元连接，所述控制单元与所述平台服务器通过无线信号连接；
所述有源RFID电子标签，用于记录车体信息并以预设的规则周期性的进行信号发射，所述车体信息为车体号码；
所述RFID读写器，用于在其作用区域内接收所述有源RFID电子标签发出的信号并识别有源RFID电子标签信息从而得到车体号码、记录车体通过RFID读卡器的时间，将车体号码和车体通过RFID读卡器的时间发送给所述控制单元；
所述地感线圈，用于感应车体经过信号并将车体经过信号发送给所述控制单元；
所述高清摄像头，用于采集车体顶部图像，并将图像发送给所述控制单元；
所述控制单元接收所述地感线圈发送的车体经过信号后与所述高清摄像头通信，所述高清摄像头以规定的时间间隔对车体顶部进行拍摄获取多张图像信息，同时开启所述RFID读写器以获取车体号码和车体通过RFID读卡器的时间；
所述高清摄像头将多张图像信息实时发送到所述控制单元，再由所述控制单元将多张图像信息发送到所述图像识别单元；
所述图像识别单元用于对接收到的图像信息进行图像识别处理，并根据处理结果判断车体装载状态，将车体装载状态发送到所述控制单元；所述车体装载状态指处于设定好的空载与满载之间的多个车体装载量级别；
所述平台服务器用于通过无线方式接收所述控制单元发送的车体号码、车体通过RFID读写器的时间和车体装载状态。
优选地，还包括立柱，所述有源RFID电子标签设置在车体上，所述地感线圈设置在车体经过的地面以下，安装深度为30到50毫米，所述立柱设置在车体经过的地面前方，所述RFID读写器、高清摄像头和处理器均设置在所述立柱上，所述高清摄像头带有红外夜视功能。
本发明的另一目的在于提供一种基于图像识别的车体装载状态识别方法，包括以下步骤：
S1：车身安装有所述有源RFID电子标签的车体进入所述RFID读写器的作用区域，所述地感线圈检测振荡器频率是否发生明显变化：若振荡器频率稳定，则地感线圈不发出信号，表示没有车体经过，继续检测；若振荡器频率提高，则地感线圈发出信号，表示有车体经过，进入步骤S2；
S2：所述高清摄像头以规定的时间间隔对车体顶部拍摄得到多张图像信息，并将图像信息实时发送到所述控制单元；所述RFID读写器通过接收有源RFID电子标签信息的信号得到车体号码和车体通过RFID读写器的时间，并将车体号码和车体通过RFID读卡器的时间发送给所述控制单元，所述控制单元将车体顶部的多帧图像实时发送到所述图像识别单元，进入步骤S3；
S3：所述图像识别单元通过对接收到的图像信息信息进行处理，根据处理结果判断车体装载状态，并将车体装载状态发送给控制单元，进入步骤S4；
S4：所述控制单元将车体状态信息发送到所述平台服务器，所述车体状态信息包括：车体号码、车体通过的时间和车体装载状态。
优选地，所述图像识别单元接收到所述控制单元发送的多张图像信息后，首先进行图像预处理，然后使用提前训练好的卷积神经网络模型提取多帧图像的特征向量，使用SVM分类模型对图像的特征向量进行分类，根据输出的结果对车体装载状态作出判断。
优选地，所述图像预处理包括以下步骤：
S01：检测图像中的主体部分，并裁剪出主体部分，进入步骤S02；
S02：判断图像的尺寸是否大于预设像素，若图像尺寸大于预设像素，进入步骤S03，若图像尺寸小于预设像素，进入步骤S04；
S03：对图像进行降采样和裁剪，使图像尺寸为预设像素，进入步骤S05；
所述降采样的具体公式为：
其中mk表示像素点k的值，表示窗口内所有像素的值相加，s表示窗口的边长，即对图像进行下采样的倍数；
S04：对图像进行升采样和裁剪，使图像尺寸为预设像素，进入步骤S5；
S05：将图像处理为3通道图像。
优选地，所述图像预处理的步骤S04中的升采样，采用双线性内插值算法，具体公式为：
即
式中，f(R1)表示未知函数f在点R1＝(x,y1)的值，f(R2)表示未知函数f在点R2＝(x,y2)的值，f(P)表示未知函数f在点P＝(x,y)的值，已知Q11＝(x1,y1),Q12＝(x1,y2),Q21＝(x2,y1),Q22＝(x2,y2)，f(Q11)表示未知函数f在点Q11的值，f(Q12)表示未知函数f在点Q12的值，f(Q21)表示未知函数f在点Q21的值，f(Q22)表示未知函数f在点Q22的值，在P点进行插值。
优选地，所述提前训练好的卷积神经网络模型采用AlexNet模型，其原始参数是在ImageNet数据库上训练的，在原始参数的基础上使用迁移学习的方法用车体装载状态数据库的数据对参数进行调优以获得所述提前训练好的卷积神经网络模型，所述车体装载状态数据库的数据是指根据车体装载量预先设定好的，处于空载与满载之间的多个车体装载量级别获取到的车体顶部图像。
优选地，所述提前训练好的卷积神经网络模型，车体装载状态数据库的数据在输入AlexNet模型之前，先进行图像增强，具体步骤如下：
S001：检测图像中的主体部分，并裁剪出主体部分，进入步骤S002；
S002：对原图像进行随机裁剪，进入步骤S003；
S003：对原图像进行随机任意角度旋转，进入步骤S004；
S004：对原图像进行色彩抖动处理，进入步骤S005；
S005：对原图像进行高斯噪声处理，进入步骤S006；
S006：判断图像的尺寸是否大于预设像素，若图像尺寸大于预设像素，进入步骤S007，若图像尺寸小于预设像素，进入步骤S008；
S007：对图像进行降采样，使图像尺寸为预设像素，进入步骤S009；
S008：对图像进行升采样，使图像尺寸为预设像素，进入步骤S009；
S009：将图像处理为3通道图像。
优选地，所述使用提前训练好的卷积神经网络模型提取多帧图像的特征向量，所述卷积神经网络有8层，包括5个卷积层和3个全连接层，将卷积层记为Conv1、Conv2、Conv3、Conv4、Conv5，将全连接层的前两层记为Fc6、Fc7，最后一层不参与提取特征的过程；卷积层进行卷积操作、池化操作和数据标准化处理；
Conv1、Conv2、Conv3、Conv4、Conv5、Fc6、Fc7都参与了特征提取的过程，按照这7层描述特征提取的具体过程：
A：Conv1的输入层为227x227x3的像素层，经过尺寸为11x11的卷积核以步长4个像素进行卷积操作，其中卷积核个数为96，得到55x55x96的像素层，经过ReLu函数处理，通过尺度为3x3像素、步长为2个像素的池化运算，得到27x27x96的像素层，经过尺度为5x5像素的归一化运算，最后输出层为27x27x96的像素层；
所述卷积操作的具体公式为：
用I(i)(1≤i≤8)表示第i层的输入，用O(i)(1≤i≤8)表示第i层的输出，第一层为输入层，其表达式为：
O(1)＝I(1)
其余层的卷积操作可描述为：
O(i)＝f(I(i))(2≤i≤8)
式中，I(i)是第i层的输入，O(i-1)是第(i-1)层的输出，W(i)是第i层卷积核的权值向量，表示使用卷积核对第(i-1)层的输出进行卷积操作，b(i)是第i层的偏置值向量，O(i)是第i层的输出，f为ReLu(Rectifiedlinearunit)函数，对第i层的输入I(i)进行激活函数处理以产生第i层的输出O(i)；
所述ReLu函数的具体公式为：
f(x)＝max(0,x)；
所述池化运算的具体公式为：
式中，aj表示对尺寸为N×N像素的图像最大池化后的结果，函数u(n,n)表示尺寸为n×n的滑动窗口，通过用滑动窗口遍历整个图像完成最大池化的过程；
所述归一化运算的具体公式为：
式中，用表示响应归一化活动，用表示在输入的位置(x,y)进行第i次卷积，再通过ReLu激活函数处理的结果，n是在同一空间位置上的与第i次前后相邻的n次卷积，N是这一层卷积核的总数。k,n,α,β是由验证集确定的超参数，式中k＝2,n＝5,α＝10-4,β＝0.75；
B：Conv2：Conv2的输入层为Conv1输出的27x27x96的像素层，为便于后续处理，对像素层的边缘填充2个像素，经过尺寸为5x5的卷积核以步长1个像素进行卷积操作，其中卷积核个数为256，得到27x27x256的像素层，经过ReLu函数处理，通过尺度为3x3像素、步长为2个像素的池化运算，得到13x13x256的像素层，经过尺度为5x5像素的归一化运算，最后输出层为13x13x256的像素层；
C：Conv3：Conv3的输入层为Conv2输出的13x13x256的像素层，为便于后续处理，对像素层的边缘填充1个像素，经过尺寸为3x3的卷积核以步长1个像素进行卷积操作，其中卷积核个数为384，得到13x13x384的像素层，经过ReLu函数处理，最后输出层为13x13x384的像素层；
D：Conv4：Conv4的输入层为Conv3输出的13x13x384的像素层，为便于后续处理，对像素层的边缘填充1个像素，经过尺寸为3x3的卷积核以步长1个像素进行卷积操作，其中卷积核个数为384，得到13x13x384的像素层，经过ReLu函数处理，最后输出层为13x13x384的像素层；
E：Conv5：Conv5的输入层为Conv4输出的13x13x384的像素层，为便于后续处理，对像素层的边缘填充1个像素，经过尺寸为3x3的卷积核以步长1个像素进行卷积操作，其中卷积核个数为256，得到13x13x256的像素层，经过ReLu函数处理，通过尺度为3x3像素、步长为2个像素的池化运算，最后输出层为6x6x256的像素层；
F：Fc6：Fc6的输入层为Conv5输出的6x6x256的像素层，与Fc6层的4096个神经元进行全连接，经过ReLu函数处理和dropout操作，最后输出为4096个数据；
G：Fc7：Fc7的输入层为Fc6输出的4096个数据，与Fc7层的4096个神经元进行全连接，经过ReLu函数处理和dropout操作，最后输出为4096个数据；
提取Fc6的特征向量，输入SVM分类模型中进行分类，得到Fc6的特征向量的类别，即露天矿卡车装载状态。
优选地，所述使用SVM分类模型对图像的特征向量进行分类，其特征在于，使用1对1M-SVM算法解决m类分类问题，一次进入SVM分类模型的多个特征向量对应一次拍摄的多帧图像，最后输出结果为一次进入SVM分类模型的多个特征向量分类结果的平均值，分类建立SVM优化目标的具体公式为：
记训练集为T＝{(x1,y1),(x2,y2),...,(xm,ym)}，xi∈Rn,yi∈{-1,+1},i＝1,2,...,m,
取初值α(0)＝0，令k＝0；
选取优化变量求解两个变量的最优化问题，
0≤αi≤C,i＝1,2.，
求得最优解更新α为α(k+1)；式中α为样本，y为样本标签，K为核函数；
若在精度ε范围内满足条件：
0≤αi≤C,i＝1,2,...,N,
则取否则继续求解最优解；
式中C为大于0的实数，g(xi)为分类超平面函数。
本发明提供的基于图像识别的车体装载状态识别装置及方法具有以下有益效果：
(1)通过RFID读写设备、地感线圈和高清摄像头等部件配合，实现当露天矿卡车经过时，在接收RFID电子标签信号的同时采用高清摄像头获取露天矿卡车的多帧顶部图像的精确控制，用预训练好的卷积神经网络提取特征，建立SVM分类模型对特征进行分类，得到分类器输出的平均值，从而判断车体装载状态，平台服务器结合数据库中的调度信息和卡车状态信息获得有效运量、无效运量，并结合人工补票对露天矿卡车司机进行绩效评估，在保证计量准确、提高劳动生产率的同时可以节省大量成本和人力，使矿山更加智能化，从而使企业获得更高的利润；
(2)使用图像识别的方法对卡车运载量作出判断，仅需要在固定的地点安装高清摄像头，几乎不需人工管理，受环境因素影响较小，在保证计量准确、提高劳动生产率的同时可以节省大量成本和人力，使矿山更加智能化，从而使企业获得更高的经济效益；
(3)通过对露天矿卡车顶部图像进行图像分类实现对车体装载状态的识别，进而在保证计量准确、提高劳动生产率的条件下实现了更加节省成本和人力的卡车运载量自动计量。
附图说明
图1为本发明实施例1的基于图像识别的车体装载状态识别装置的结构示意图；
图2为本发明实施例1的基于图像识别的车体装载状态识别方法的工作流程图；
图3为拍摄的多帧图像预处理流程图；
图4为图像增强流程图；
图5为AlexNet结构图。
具体实施方式
下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1
本发明提供了一种基于图像识别的车体装载状态识别装置，该装置可以较为准确地实时识别车体装载状态，在保证计量准确、提高劳动生产率的同时可以节省大量成本和人力，本实施例主要用于露天矿卡的装载状态识别上。
如图1所示，该基于图像识别的车体装载状态识别装置包括：
包括有源RFID电子标签1、RFID读写器2、地感线圈3、高清摄像头4、处理器5和平台服务器6，处理器5内包含控制单元和图像识别单元，RFID读写器2、地感线圈3和高清摄像头4分别与控制单元连接，控制单元与平台服务器6通过无线信号连接；
有源RFID电子标签1用于记录车体信息并以预设的规则周期性的进行信号发射，车体信息为车体号码；
RFID读写器2用于在其作用区域内接收有源RFID电子标签1发出的信号并识别有源RFID电子标签1信息从而得到车体号码、记录车体通过RFID读卡器的时间，将车体号码和车体通过RFID读卡器的时间发送给控制单元；
地感线圈3用于感应车体经过信号并将车体经过信号发送给控制单元；
高清摄像头4用于采集车体顶部图像，并将图像发送给控制单元；
控制单元接收地感线圈3发送的车体经过信号后与高清摄像头4通信，高清摄像头4以规定的时间间隔对车体顶部进行拍摄获取多张图像信息，同时开启RFID读写器2以获取车体号码和车体通过RFID读卡器的时间；
高清摄像头4将多张图像信息实时发送到控制单元，再由控制单元将多张图像信息发送到图像识别单元；
图像识别单元用于对接收到的图像信息进行图像识别处理，并根据处理结果判断车体装载状态，将车体装载状态发送到控制单元；车体装载状态指处于设定好的空载与满载之间的多个车体装载量级别；
平台服务器6用于通过无线方式接收控制单元发送的车体号码、车体通过RFID读写器2的时间和车体装载状态。
进一步地，本实施例还包括立柱7，立柱7固定在各个堆场进口位置路边一侧，有源RFID电子标签1设置在车体上，有源RFID电子标签1具体安装在露天矿卡车驾驶室前方尽量靠近车头处；地感线圈3设置在车体经过的地面以下，安装深度为30到50毫米，立柱7设置在车体经过的地面前方，RFID读写器2、高清摄像头4和处理器5均设置在立柱7上，高清摄像头4带有红外夜视功能。具体的，高清摄像头4安装在各个堆场进口位置路边一侧立柱7的上方，RFID读写器2安装在各个堆场进口位置路边一侧立柱7上与露天矿卡车高度齐平处和挖机驾驶室前方尽量靠近车头处；处理器5安装在各个堆场进口位置路边一侧立柱7上RFID读写器2的下方。
地感线圈3安装在距各个堆场进口位置路边一侧立柱7底部沿露天矿卡车进场方向约m米的地面处，其中m根据人工估计的高清摄像头的可视角镜头视野确定，如当进场的露天矿卡车开始进入可视角镜头视野时，车头沿露天矿卡车进场方向与各个堆场进口位置路边一侧立柱7底部的距离约为n米，则m为n和约三倍露天矿卡车车身长度的总和。高清摄像头4的安装位置通过人工测试确定，从高于露天矿卡车满载时的车顶的任意位置开始测试，调整高清摄像头4的角度和高度，当高清摄像头4的可视角镜头视野能够覆盖整个卡车顶部时，确定高清摄像头4的安装位置，再将处理器5与高清摄像头4相连。此时高清摄像头4的安装位置保证露天矿卡车经过时，高清摄像头4的可视角镜头视野能够覆盖整个卡车顶部以及高清摄像头4与处理器5相连；地感线圈3的安装位置保证高清摄像头4不是在露天矿卡车刚好进入高清摄像头4的可视角镜头视野时开始拍照，而是提前开始拍照，从而保证在高清摄像头4的可视角镜头视野内能够拍摄到足够多的露天矿卡车顶部图像；处理器5通过USB线与RFID读写器2连接；处理器5通过RS485串口连接线与地感线圈3连接；控制单元g与高清摄像头4通过USB线连接；控制器e与图像识别单元通过USB线连接。
有源RFID电子标签1用于以15秒为周期进行信号发射，RFID读写器2用于在其作用区域内接收有源RFID电子标签1发出的信号以识别有源RFID电子标签1，地感线圈3用于在感应到卡车通过时发出信号，高清摄像头4用于采集卡车顶部图像；控制单元接收到地感线圈3的信号后与高清摄像头4通信并开启RFID读写器2以获取有源RFID电子标签1信息，使高清摄像头4以2秒的时间间隔对卡车顶部拍摄得到多张图像信息，控制单元将卡车顶部的多帧图像和对应的有源RFID电子标签信息实时发送到图像识别单元；图像识别单元用于图像识别处理，获得卡车状态信息(卡车号码、卡车通过的时间、卡车装载状态)并发送到平台服务器6；平台服务器6用于接收安装在挖机车身上或各个堆场进口位置路边一侧立柱7上的RFID读写器2的信号和图像识别单元的信号。
本实施例还提供一种基于图像识别的车体装载状态识别方法，如图2所示，包括以下步骤：
S1：车身安装有有源RFID电子标签1的车体进入RFID读写器2的作用区域，地感线圈3检测振荡器频率是否发生明显变化：若振荡器频率稳定，则地感线圈3不发出信号，表示没有车体经过，继续检测；若振荡器频率提高，则地感线圈3发出信号，表示有车体经过，进入步骤S2；
S2：高清摄像头4以规定的时间间隔对车体顶部拍摄得到多张图像信息，并将图像信息实时发送到控制单元；RFID读写器2通过接收有源RFID电子标签1信息的信号得到车体号码和车体通过RFID读写器2的时间，并将车体号码和车体通过RFID读卡器的时间发送给控制单元，控制单元将车体顶部的多帧图像实时发送到图像识别单元，进入步骤S3；
S3：图像识别单元通过对接收到的图像信息信息进行处理，根据处理结果判断车体装载状态，并将车体装载状态发送给控制单元，进入步骤S4；
S4：控制单元将车体状态信息发送到平台服务器6，车体状态信息包括：车体号码、车体通过的时间和车体装载状态。
进一步地，本实施例中，图像识别单元接收到控制单元发送的多张图像信息后，首先进行图像预处理，然后使用提前训练好的卷积神经网络模型提取多帧图像的特征向量，使用SVM分类模型对图像的特征向量进行分类，根据输出的结果对车体装载状态作出判断。
进一步地，本实施例中，如图3所示，图像预处理包括以下步骤：
S01：检测图像中的主体部分，并裁剪出主体部分，进入步骤S02；
S02：判断图像的尺寸是否大于预设像素，若图像尺寸大于预设像素，进入步骤S03，若图像尺寸小于预设像素，进入步骤S04；
S03：对图像进行降采样和裁剪，使图像尺寸为预设像素，进入步骤S05；
降采样的具体公式为：
其中mk表示像素点k的值，表示窗口内所有像素的值相加，s表示窗口的边长，即对图像进行下采样的倍数；
S04：对图像进行升采样和裁剪，使图像尺寸为预设像素，进入步骤S5；
S05：将图像处理为3通道图像。
进一步地，本实施例中，图像预处理的步骤S04中的升采样，采用双线性内插值算法，具体公式为：
即
式中，f(R1)表示未知函数f在点R1＝(x,y1)的值，f(R2)表示未知函数f在点R2＝(x,y2)的值，f(P)表示未知函数f在点P＝(x,y)的值，已知Q11＝(x1,y1),Q12＝(x1,y2),Q21＝(x2,y1),Q22＝(x2,y2)，f(Q11)表示未知函数f在点Q11的值，f(Q12)表示未知函数f在点Q12的值，f(Q21)表示未知函数f在点Q21的值，f(Q22)表示未知函数f在点Q22的值，在P点进行插值。
进一步地，本实施例中，提前训练好的卷积神经网络模型采用AlexNet模型，其原始参数是在ImageNet数据库上训练的，在原始参数的基础上使用迁移学习的方法用车体装载状态数据库的数据对参数进行调优以获得提前训练好的卷积神经网络模型，车体装载状态数据库的数据是指根据车体装载量预先设定好的，处于空载与满载之间的多个车体装载量级别获取到的车体顶部图像。
进一步地，本实施例中，提前训练好的卷积神经网络模型，车体装载状态数据库的数据在输入AlexNet模型之前，先进行图像增强，如图4和图5所示，具体步骤如下：
S001：检测图像中的主体部分，并裁剪出主体部分，进入步骤S002；
S002：对原图像进行随机裁剪，进入步骤S003；
S003：对原图像进行随机任意角度旋转，进入步骤S004；
S004：对原图像进行色彩抖动处理，进入步骤S005；
S005：对原图像进行高斯噪声处理，进入步骤S006；
S006：判断图像的尺寸是否大于预设像素，若图像尺寸大于预设像素，进入步骤S007，若图像尺寸小于预设像素，进入步骤S008；
S007：对图像进行降采样，使图像尺寸为预设像素，进入步骤S009；
S008：对图像进行升采样，使图像尺寸为预设像素，进入步骤S009；
S009：将图像处理为3通道图像。
同时本申请中，使用提前训练好的卷积神经网络模型提取多帧图像的特征向量，卷积神经网络有8层，包括5个卷积层和3个全连接层，将卷积层记为Conv1、Conv2、Conv3、Conv4、Conv5，将全连接层的前两层记为Fc6、Fc7，最后一层不参与提取特征的过程；卷积层进行卷积操作、池化操作和数据标准化处理；
Conv1、Conv2、Conv3、Conv4、Conv5、Fc6、Fc7都参与了特征提取的过程，按照这7层描述特征提取的具体过程：
A：Conv1的输入层为227x227x3的像素层，经过尺寸为11x11的卷积核以步长4个像素进行卷积操作，其中卷积核个数为96，得到55x55x96的像素层，经过ReLu函数处理，通过尺度为3x3像素、步长为2个像素的池化运算，得到27x27x96的像素层，经过尺度为5x5像素的归一化运算，最后输出层为27x27x96的像素层；
卷积操作的具体公式为：
用I(i)(1≤i≤8)表示第i层的输入，用O(i)(1≤i≤8)表示第i层的输出，第一层为输入层，其表达式为：
O(1)＝I(1)
其余层的卷积操作可描述为：
O(i)＝f(I(i))(2≤i≤8)
式中，I(i)是第i层的输入，O(i-1)是第(i-1)层的输出，W(i)是第i层卷积核的权值向量，表示使用卷积核对第(i-1)层的输出进行卷积操作，b(i)是第i层的偏置值向量，O(i)是第i层的输出，f为ReLuRectified linearunit函数，对第i层的输入I(i)进行激活函数处理以产生第i层的输出O(i)；
ReLu函数的具体公式为：
f(x)＝max(0,x)；
池化运算的具体公式为：
式中，aj表示对尺寸为N×N像素的图像最大池化后的结果，函数u(n,n)表示尺寸为n×n的滑动窗口，通过用滑动窗口遍历整个图像完成最大池化的过程；
归一化运算的具体公式为：
式中，用表示响应归一化活动，用表示在输入的位置(x,y)进行第i次卷积，再通过ReLu激活函数处理的结果，n是在同一空间位置上的与第i次前后相邻的n次卷积，N是这一层卷积核的总数。k,n,α,β是由验证集确定的超参数，式中k＝2,n＝5,α＝10-4,β＝0.75；
B：Conv2：Conv2的输入层为Conv1输出的27x27x96的像素层，为便于后续处理，对像素层的边缘填充2个像素，经过尺寸为5x5的卷积核以步长1个像素进行卷积操作，其中卷积核个数为256，得到27x27x256的像素层，经过ReLu函数处理，通过尺度为3x3像素、步长为2个像素的池化运算，得到13x13x256的像素层，经过尺度为5x5像素的归一化运算，最后输出层为13x13x256的像素层；
C：Conv3：Conv3的输入层为Conv2输出的13x13x256的像素层，为便于后续处理，对像素层的边缘填充1个像素，经过尺寸为3x3的卷积核以步长1个像素进行卷积操作，其中卷积核个数为384，得到13x13x384的像素层，经过ReLu函数处理，最后输出层为13x13x384的像素层；
D：Conv4：Conv4的输入层为Conv3输出的13x13x384的像素层，为便于后续处理，对像素层的边缘填充1个像素，经过尺寸为3x3的卷积核以步长1个像素进行卷积操作，其中卷积核个数为384，得到13x13x384的像素层，经过ReLu函数处理，最后输出层为13x13x384的像素层；
E：Conv5：Conv5的输入层为Conv4输出的13x13x384的像素层，为便于后续处理，对像素层的边缘填充1个像素，经过尺寸为3x3的卷积核以步长1个像素进行卷积操作，其中卷积核个数为256，得到13x13x256的像素层，经过ReLu函数处理，通过尺度为3x3像素、步长为2个像素的池化运算，最后输出层为6x6x256的像素层；
F：Fc6：Fc6的输入层为Conv5输出的6x6x256的像素层，与Fc6层的4096个神经元进行全连接，经过ReLu函数处理和dropout操作，最后输出为4096个数据；
G：Fc7：Fc7的输入层为Fc6输出的4096个数据，与Fc7层的4096个神经元进行全连接，经过ReLu函数处理和dropout操作，最后输出为4096个数据；
提取Fc6的特征向量，输入SVM分类模型中进行分类，得到Fc6的特征向量的类别，即露天矿卡车装载状态。
进一步地，本实施例中，使用SVM分类模型对图像的特征向量进行分类，其特征在于，使用1对1M-SVM算法解决m类分类问题，一次进入SVM分类模型的多个特征向量对应一次拍摄的多帧图像，最后输出结果为一次进入SVM分类模型的多个特征向量分类结果的平均值，分类建立SVM优化目标的具体公式为：
记训练集为T＝{(x1,y1),(x2,y2),.….,(xm,ym)}，xi∈Rn,yi∈{-1,+1},i＝1,2,.….,m,
取初值α(0)＝0，令k＝0；
选取优化变量求解两个变量的最优化问题，
0≤αi≤C,i＝1,2.，
求得最优解更新α为α(k+1)；式中α为样本，y为样本标签，K为核函数；
若在精度ε范围内满足条件：
0≤αi≤C,i＝1,2,...,N,
则取否则继续求解最优解；
式中C为大于0的实数，g(xi)为分类超平面函数。
以上所述实施例仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换，均属于本发明的保护范围。
Claims (10)
1.一种基于图像识别的车体装载状态识别装置，其特征在于，包括有源RFID电子标签(1)、RFID读写器(2)、地感线圈(3)、高清摄像头(4)、处理器(5)和平台服务器(6)，所述处理器(5)内包含控制单元和图像识别单元，所述RFID读写器(2)、地感线圈(3)和高清摄像头(4)分别与所述控制单元连接，所述控制单元与所述平台服务器(6)通过无线信号连接；
所述有源RFID电子标签(1)，用于记录车体信息并以预设的规则周期性的进行信号发射，所述车体信息为车体号码；
所述RFID读写器(2)，用于在其作用区域内接收所述有源RFID电子标签(1)发出的信号并识别有源RFID电子标签(1)信息从而得到车体号码、记录车体通过RFID读卡器的时间，将车体号码和车体通过RFID读卡器的时间发送给所述控制单元；
所述地感线圈(3)，用于感应车体经过信号并将车体经过信号发送给所述控制单元；
所述高清摄像头(4)，用于采集车体顶部图像，并将图像发送给所述控制单元；
所述控制单元接收所述地感线圈(3)发送的车体经过信号后与所述高清摄像头(4)通信，所述高清摄像头(4)以规定的时间间隔对车体顶部进行拍摄获取多张图像信息，同时开启所述RFID读写器(2)以获取车体号码和车体通过RFID读卡器的时间；
所述高清摄像头(4)将多张图像信息实时发送到所述控制单元，再由所述控制单元将多张图像信息发送到所述图像识别单元；
所述图像识别单元用于对接收到的图像信息进行图像识别处理，并根据处理结果判断车体装载状态，将车体装载状态发送到所述控制单元；所述车体装载状态指处于设定好的空载与满载之间的多个车体装载量级别；
所述平台服务器(6)用于通过无线方式接收所述控制单元发送的车体号码、车体通过RFID读写器(2)的时间和车体装载状态。
2.根据权利要求1所述的基于图像识别的车体装载状态识别装置，其特征在于，还包括立柱(7)，所述有源RFID电子标签(1)设置在车体上，所述地感线圈(3)设置在车体经过的地面以下，安装深度为30到50毫米，所述立柱(7)设置在车体经过的地面前方，所述RFID读写器(2)、高清摄像头(4)和处理器(5)均设置在所述立柱(7)上，所述高清摄像头(4)带有红外夜视功能。
3.一种根据权利要求1-2任一项所述的基于图像识别的车体装载状态识别装置的识别方法，其特征在于，包括以下步骤：
S1：车身安装有所述有源RFID电子标签(1)的车体进入所述RFID读写器(2)的作用区域，所述地感线圈(3)检测振荡器频率是否发生明显变化：若振荡器频率稳定，则地感线圈(3)不发出信号，表示没有车体经过，继续检测；若振荡器频率提高，则地感线圈(3)发出信号，表示有车体经过，进入步骤S2；
S2：所述高清摄像头(4)以规定的时间间隔对车体顶部拍摄得到多张图像信息，并将图像信息实时发送到所述控制单元；所述RFID读写器(2)通过接收有源RFID电子标签(1)信息的信号得到车体号码和车体通过RFID读写器(2)的时间，并将车体号码和车体通过RFID读卡器的时间发送给所述控制单元，所述控制单元将车体顶部的多帧图像实时发送到所述图像识别单元，进入步骤S3；
S3：所述图像识别单元通过对接收到的图像信息信息进行处理，根据处理结果判断车体装载状态，并将车体装载状态发送给控制单元，进入步骤S4；
S4：所述控制单元将车体状态信息发送到所述平台服务器(6)，所述车体状态信息包括：车体号码、车体通过的时间和车体装载状态。
4.根据权利要求3所述的基于图像识别的车体装载状态识别方法，其特征在于，所述图像识别单元接收到所述控制单元发送的多张图像信息后，首先进行图像预处理，然后使用提前训练好的卷积神经网络模型提取多帧图像的特征向量，使用SVM分类模型对图像的特征向量进行分类，根据输出的结果对车体装载状态作出判断。
5.根据权利要求4所述的基于图像识别的车体装载状态识别方法，其特征在于，所述图像预处理包括以下步骤：
S01：检测图像中的主体部分，并裁剪出主体部分，进入步骤S02；
S02：判断图像的尺寸是否大于预设像素，若图像尺寸大于预设像素，进入步骤S03，若图像尺寸小于预设像素，进入步骤S04；
S03：对图像进行降采样和裁剪，使图像尺寸为预设像素，进入步骤S05；
所述降采样的具体公式为：
其中mk表示像素点k的值，表示窗口内所有像素的值相加，s表示窗口的边长，即对图像进行下采样的倍数；
S04：对图像进行升采样和裁剪，使图像尺寸为预设像素，进入步骤S5；
S05：将图像处理为3通道图像。
6.根据权利要求5所述的基于图像识别的车体装载状态识别方法，其特征在于，所述图像预处理的步骤S04中的升采样，采用双线性内插值算法，具体公式为：
即
式中，f(R1)表示未知函数f在点R1＝(x,y1)的值，f(R2)表示未知函数f在点R2＝(x,y2)的值，f(P)表示未知函数f在点P＝(x,y)的值，已知Q11＝(x1,y1),Q12＝(x1,y2),Q21＝(x2,y1),Q22＝(x2,y2)，f(Q11)表示未知函数f在点Q11的值，f(Q12)表示未知函数f在点Q12的值，f(Q21)表示未知函数f在点Q21的值，f(Q22)表示未知函数f在点Q22的值，在P点进行插值。
7.根据权利要求4所述的基于图像识别的车体装载状态识别方法，其特征在于，所述提前训练好的卷积神经网络模型采用AlexNet模型，其原始参数是在ImageNet数据库上训练的，在原始参数的基础上使用迁移学习的方法用车体装载状态数据库的数据对参数进行调优以获得所述提前训练好的卷积神经网络模型，所述车体装载状态数据库的数据是指根据车体装载量预先设定好的，处于空载与满载之间的多个车体装载量级别获取到的车体顶部图像。
8.根据权利要求7所述的基于图像识别的车体装载状态识别方法，其特征在于，所述提前训练好的卷积神经网络模型，车体装载状态数据库的数据在输入AlexNet模型之前，先进行图像增强，具体步骤如下：
S001：检测图像中的主体部分，并裁剪出主体部分，进入步骤S002；
S002：对原图像进行随机裁剪，进入步骤S003；
S003：对原图像进行随机任意角度旋转，进入步骤S004；
S004：对原图像进行色彩抖动处理，进入步骤S005；
S005：对原图像进行高斯噪声处理，进入步骤S006；
S006：判断图像的尺寸是否大于预设像素，若图像尺寸大于预设像素，进入步骤S007，若图像尺寸小于预设像素，进入步骤S008；
S007：对图像进行降采样，使图像尺寸为预设像素，进入步骤S009；
S008：对图像进行升采样，使图像尺寸为预设像素，进入步骤S009；
S009：将图像处理为3通道图像。
9.根据权利要求4所述的基于图像识别的车体装载状态识别方法，其特征在于，所述使用提前训练好的卷积神经网络模型提取多帧图像的特征向量，所述卷积神经网络有8层，包括5个卷积层和3个全连接层，将卷积层记为Conv1、Conv2、Conv3、Conv4、Conv5，将全连接层的前两层记为Fc6、Fc7，最后一层不参与提取特征的过程；卷积层进行卷积操作、池化操作和数据标准化处理；
Conv1、Conv2、Conv3、Conv4、Conv5、Fc6、Fc7都参与了特征提取的过程，按照这7层描述特征提取的具体过程：
A：Conv1的输入层为227x227x3的像素层，经过尺寸为11x11的卷积核以步长4个像素进行卷积操作，其中卷积核个数为96，得到55x55x96的像素层，经过ReLu函数处理，通过尺度为3x3像素、步长为2个像素的池化运算，得到27x27x96的像素层，经过尺度为5x5像素的归一化运算，最后输出层为27x27x96的像素层；
所述卷积操作的具体公式为：
用I(i)1≤i≤8表示第i层的输入，用O(i)1≤i≤8表示第i层的输出，第一层为输入层，其表达式为：
O(1)＝I(1)
其余层的卷积操作可描述为：
O(i)＝f(I(i))2≤i≤8
式中，I(i)是第i层的输入，O(i-1)是第i-1层的输出，W(i)是第i层卷积核的权值向量，表示使用卷积核对第i-1层的输出进行卷积操作，b(i)是第i层的偏置值向量，O(i)是第i层的输出，f为ReLu函数，对第i层的输入I(i)进行激活函数处理以产生第i层的输出O(i)；
所述ReLu函数的具体公式为：
f(x)＝max(0,x)；
所述池化运算的具体公式为：
式中，aj表示对尺寸为N×N像素的图像最大池化后的结果，函数u(n,n)表示尺寸为n×n的滑动窗口，通过用滑动窗口遍历整个图像完成最大池化的过程；
所述归一化运算的具体公式为：
式中，用表示响应归一化活动，用表示在输入的位置(x,y)进行第i次卷积，再通过ReLu激活函数处理的结果，n是在同一空间位置上的与第i次前后相邻的n次卷积，N是这一层卷积核的总数；k,n,α,β是由验证集确定的超参数，式中k＝2,n＝5,α＝10-4,β＝0.75；
B：Conv2：Conv2的输入层为Conv1输出的27x27x96的像素层，为便于后续处理，对像素层的边缘填充2个像素，经过尺寸为5x5的卷积核以步长1个像素进行卷积操作，其中卷积核个数为256，得到27x27x256的像素层，经过ReLu函数处理，通过尺度为3x3像素、步长为2个像素的池化运算，得到13x13x256的像素层，经过尺度为5x5像素的归一化运算，最后输出层为13x13x256的像素层；
C：Conv3：Conv3的输入层为Conv2输出的13x13x256的像素层，为便于后续处理，对像素层的边缘填充1个像素，经过尺寸为3x3的卷积核以步长1个像素进行卷积操作，其中卷积核个数为384，得到13x13x384的像素层，经过ReLu函数处理，最后输出层为13x13x384的像素层；
D：Conv4：Conv4的输入层为Conv3输出的13x13x384的像素层，为便于后续处理，对像素层的边缘填充1个像素，经过尺寸为3x3的卷积核以步长1个像素进行卷积操作，其中卷积核个数为384，得到13x13x384的像素层，经过ReLu函数处理，最后输出层为13x13x384的像素层；
E：Conv5：Conv5的输入层为Conv4输出的13x13x384的像素层，为便于后续处理，对像素层的边缘填充1个像素，经过尺寸为3x3的卷积核以步长1个像素进行卷积操作，其中卷积核个数为256，得到13x13x256的像素层，经过ReLu函数处理，通过尺度为3x3像素、步长为2个像素的池化运算，最后输出层为6x6x256的像素层；
F：Fc6：Fc6的输入层为Conv5输出的6x6x256的像素层，与Fc6层的4096个神经元进行全连接，经过ReLu函数处理和dropout操作，最后输出为4096个数据；
G：Fc7：Fc7的输入层为Fc6输出的4096个数据，与Fc7层的4096个神经元进行全连接，经过ReLu函数处理和dropout操作，最后输出为4096个数据；
提取Fc6的特征向量，输入SVM分类模型中进行分类，得到Fc6的特征向量的类别，即露天矿卡车装载状态。
10.根据权利要求9所述的基于图像识别的车体装载状态识别方法，其特征在于，所述使用SVM分类模型对图像的特征向量进行分类，其特征在于，使用1对1M-SVM算法解决m类分类问题，一次进入SVM分类模型的多个特征向量对应一次拍摄的多帧图像，最后输出结果为一次进入SVM分类模型的多个特征向量分类结果的平均值，分类建立SVM优化目标的具体公式为：
记训练集为T＝{(x1,y1),(x2,y2),...,(xm,ym)}，xi∈Rn,yi∈{-1,+1},i＝1,2,...,m,
取初值α(0)＝0，令k＝0；
选取优化变量求解两个变量的最优化问题，
0≤αi≤C,i＝1,2.，
求得最优解更新α为α(k+1)；式中α为样本，y为样本标签，K为核函数；
若在精度ε范围内满足条件：
0≤αi≤C,i＝1,2,...,N,
则取否则继续求解最优解；
式中C为大于0的实数，g(xi)为分类超平面函数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910482570.1A CN110197166B (zh) | 2019-06-04 | 2019-06-04 | 一种基于图像识别的车体装载状态识别装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910482570.1A CN110197166B (zh) | 2019-06-04 | 2019-06-04 | 一种基于图像识别的车体装载状态识别装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110197166A true CN110197166A (zh) | 2019-09-03 |
| CN110197166B CN110197166B (zh) | 2022-09-09 |
Family
ID=67754014
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910482570.1A Expired - Fee Related CN110197166B (zh) | 2019-06-04 | 2019-06-04 | 一种基于图像识别的车体装载状态识别装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110197166B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110738104A (zh) * | 2019-09-05 | 2020-01-31 | 成都亿盟恒信科技有限公司 | 一种基于图像处理的渣土车空重载识别系统及方法 |
| CN111274951A (zh) * | 2020-01-19 | 2020-06-12 | 北京迈格威科技有限公司 | 料箱状态的监控方法及装置、自动投料系统 |
| CN112034752A (zh) * | 2020-08-18 | 2020-12-04 | 沃行科技(南京)有限公司 | 一种无人驾驶矿山卡车作业状态监控方法 |
| CN112308003A (zh) * | 2020-11-06 | 2021-02-02 | 中冶赛迪重庆信息技术有限公司 | 一种废钢货车装载状态识别方法、系统、设备及介质 |
| CN113034503A (zh) * | 2021-05-28 | 2021-06-25 | 博奥生物集团有限公司 | 一种高通量自动分杯方法、装置及系统 |
| CN113139458A (zh) * | 2021-04-21 | 2021-07-20 | 新疆爱华盈通信息技术有限公司 | 识别停车库卷闸门开关状态的方法和系统 |
| CN113887644A (zh) * | 2021-10-13 | 2022-01-04 | 三一汽车制造有限公司 | 物料点状态分类模型的构建方法及物料点自动呼料方法 |
| CN115130599A (zh) * | 2022-07-05 | 2022-09-30 | 中国矿业大学 | 时间序列gan数据增强下露天矿卡状态识别的半监督方法 |
| CN115512284A (zh) * | 2022-09-21 | 2022-12-23 | 江阴市花园铝塑包装有限公司 | 塑料瓶牛奶封口膜完整分析系统及方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108334843A (zh) * | 2018-02-02 | 2018-07-27 | 成都国铁电气设备有限公司 | 一种基于改进AlexNet的燃弧识别方法 |
| US20190012768A1 (en) * | 2015-12-14 | 2019-01-10 | Motion Metrics International Corp. | Method and apparatus for identifying fragmented material portions within an image |
| CN109635784A (zh) * | 2019-01-10 | 2019-04-16 | 重庆邮电大学 | 基于改进的卷积神经网络的交通标志识别方法 |
-
2019
- 2019-06-04 CN CN201910482570.1A patent/CN110197166B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190012768A1 (en) * | 2015-12-14 | 2019-01-10 | Motion Metrics International Corp. | Method and apparatus for identifying fragmented material portions within an image |
| CN108334843A (zh) * | 2018-02-02 | 2018-07-27 | 成都国铁电气设备有限公司 | 一种基于改进AlexNet的燃弧识别方法 |
| CN109635784A (zh) * | 2019-01-10 | 2019-04-16 | 重庆邮电大学 | 基于改进的卷积神经网络的交通标志识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 王春毅等: "基于RFID/GPRS的露天矿车辆运输计量系统", 《金属矿山》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110738104A (zh) * | 2019-09-05 | 2020-01-31 | 成都亿盟恒信科技有限公司 | 一种基于图像处理的渣土车空重载识别系统及方法 |
| CN111274951A (zh) * | 2020-01-19 | 2020-06-12 | 北京迈格威科技有限公司 | 料箱状态的监控方法及装置、自动投料系统 |
| CN111274951B (zh) * | 2020-01-19 | 2023-12-26 | 北京迈格威科技有限公司 | 料箱状态的监控方法及装置、自动投料系统 |
| CN112034752A (zh) * | 2020-08-18 | 2020-12-04 | 沃行科技(南京)有限公司 | 一种无人驾驶矿山卡车作业状态监控方法 |
| CN112308003A (zh) * | 2020-11-06 | 2021-02-02 | 中冶赛迪重庆信息技术有限公司 | 一种废钢货车装载状态识别方法、系统、设备及介质 |
| CN113139458A (zh) * | 2021-04-21 | 2021-07-20 | 新疆爱华盈通信息技术有限公司 | 识别停车库卷闸门开关状态的方法和系统 |
| CN113034503A (zh) * | 2021-05-28 | 2021-06-25 | 博奥生物集团有限公司 | 一种高通量自动分杯方法、装置及系统 |
| CN113887644A (zh) * | 2021-10-13 | 2022-01-04 | 三一汽车制造有限公司 | 物料点状态分类模型的构建方法及物料点自动呼料方法 |
| CN115130599A (zh) * | 2022-07-05 | 2022-09-30 | 中国矿业大学 | 时间序列gan数据增强下露天矿卡状态识别的半监督方法 |
| CN115130599B (zh) * | 2022-07-05 | 2024-03-26 | 中国矿业大学 | 时间序列gan数据增强下露天矿卡状态识别的半监督方法 |
| CN115512284A (zh) * | 2022-09-21 | 2022-12-23 | 江阴市花园铝塑包装有限公司 | 塑料瓶牛奶封口膜完整分析系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110197166B (zh) | 2022-09-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110197166A (zh) | 一种基于图像识别的车体装载状态识别装置及方法 | |
| KR101970442B1 (ko) | Fast R-CNN 기반 차량검출을 이용한 불법 주정차 단속 시스템 | |
| CN106845890B (zh) | 一种基于视频监控的仓储监控方法及装置 | |
| CN111079640B (zh) | 一种基于自动扩增样本的车型识别方法及系统 | |
| CN108918532B (zh) | 一种快速道路交通标志破损检测系统及其检测方法 | |
| CN110245663A (zh) | 一种用于钢卷信息识别的方法 | |
| CN110837807A (zh) | 一种套牌车辆的识别方法及系统 | |
| CN107292298A (zh) | 基于卷积神经网络和分类器模型的牛脸识别方法 | |
| CN110033002A (zh) | 基于多任务级联卷积神经网络的车牌检测方法 | |
| CN109034024B (zh) | 基于图像目标检测的物流车辆车型分类识别方法 | |
| CN112861631B (zh) | 一种基于Mask Rcnn以及SSD的地磅人体入侵检测方法 | |
| CN101359365A (zh) | 一种基于最大类间方差和灰度信息的虹膜定位方法 | |
| CN107958217A (zh) | 一种基于深度学习的指纹分类识别系统及方法 | |
| CN105719283A (zh) | 一种基于Hessian矩阵多尺度滤波的路面裂缝图像检测方法 | |
| CN102436589A (zh) | 一种基于多类基元自主学习的复杂目标自动识别方法 | |
| CN109712324B (zh) | 一种自动售货机图像识别方法、售货方法及自动售货设备 | |
| Pechiammal et al. | An efficient approach for automatic license plate recognition system | |
| Xing et al. | Traffic sign recognition using guided image filtering | |
| CN109685780A (zh) | 一种基于卷积神经网络的零售商品识别方法 | |
| CN110852358A (zh) | 一种基于深度学习的车辆类型判别方法 | |
| CN109492700A (zh) | 一种基于多维信息融合的复杂背景目标识别方法 | |
| CN109784171A (zh) | 车辆定损图像筛选方法、装置、可读存储介质及服务器 | |
| EP3656683A1 (en) | A system and method for controlling passengers and luggage before boarding | |
| Shangzheng | A traffic sign image recognition and classification approach based on convolutional neural network | |
| CN109598200A (zh) | 一种铁水罐罐号的图像智能识别系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220909 |