CN114202746A - 路面状态识别方法、装置、终端设备及存储介质 - Google Patents
路面状态识别方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN114202746A CN114202746A CN202111328626.1A CN202111328626A CN114202746A CN 114202746 A CN114202746 A CN 114202746A CN 202111328626 A CN202111328626 A CN 202111328626A CN 114202746 A CN114202746 A CN 114202746A
- Authority
- CN
- China
- Prior art keywords
- road surface
- model
- refnet
- tensorrt
- surface state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012549 training Methods 0.000 claims abstract description 50
- 230000004913 activation Effects 0.000 claims abstract description 14
- 238000004590 computer program Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 20
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 19
- 238000012360 testing method Methods 0.000 description 12
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- RTAQQCXQSZGOHL-UHFFFAOYSA-N Titanium Chemical compound [Ti] RTAQQCXQSZGOHL-UHFFFAOYSA-N 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本申请适用于路面监测技术领域，提供了一种路面状态识别方法、装置、终端设备及存储介质，其中该方法包括：获取待识别路面图像；将待识别路面图像输入路面状态识别模型，得到待识别路面图像的路面状态识别结果；路面状态识别模型是利用多个路面图像样本对预设RefNet模型进行训练得到的，RefNet模型包括多个残差模块，残差模块中用于特征学习的卷积单元包括依次连接的第一卷积层、第一激活层和第一卷积层。本申请能在确保路面状态识别率的情况下，提升路面状态识别的实时性。
Description
技术领域
本申请属于路面监测技术领域，尤其涉及一种路面状态识别方法、装置、终端设备及存储介质。
背景技术
多变的天气环境会使路面处于湿滑、积水或结冰等不同状态，大大增加道路行驶的风险。许多致命的交通事故都是由于潮湿、冰、雪和水等道路条件造成的。因此，准确的路况信息可以帮助交通部门采取有效的行动。近年来，随着图像处理技术的发展，出现了许多基于图像的非接触式路面识别方法。这些方法可以分为两类:传统的机器学习和深度学习。
在机器学习方法中，需要对这些图像进行统一处理，提取颜色、纹理、形状等相关特征构建路面状态特征库，最后使用支持向量机(SVM)、K最近邻(KNN)或其他机器学习方法进行分类和预测。例如将道路状态分为干、冰、积雪、积水、湿五种类型；然后从图像中提取9维颜色特征向量和4个纹理特征向量，构建道路状态特征库；最后使用SVM识别路况。同时，为了提高精度和可靠性，采用网格搜索算法和粒子群优化算法对SVM的核函数因子和惩罚因子进行优化。
可见，在路面状态识别任务中，基于机器学习的方法往往需要繁琐的图像预处理操作，而且由于图像噪声的影响，分类效果也不理想。而目前所了解到的基于深度学习的方法如DenseNet网络、ResNeXt网络等虽然识别精确度较高(例如，利用现有的预训练卷积神经网络模型进行分类识别五种不同的路况)。但是他们网络深度高、时间复杂度大，且需要大型服务器支持，无法满足实时性的要求，在现实生活中的适用性不强。
综上，目前路面状态识别方法无法同时兼顾识别率和实时性要求。
发明内容
本申请实施例提供了一种路面状态识别方法、装置、终端设备及存储介质，可以解决路面状态识别方法无法同时兼顾识别率和实时性要求的问题。
第一方面，本申请实施例提供了一种路面状态识别方法，包括：
获取待识别路面图像；
将所述待识别路面图像输入路面状态识别模型，得到所述待识别路面图像的路面状态识别结果；
所述路面状态识别模型是利用多个路面图像样本对预设的RefNet模型进行训练得到的，所述RefNet模型包括多个残差模块，所述残差模块中用于特征学习的卷积单元包括依次连接的第一卷积层、第一激活层和第一卷积层。
其中，所述多个残差模块包括依次连接的第一残差模块、三个第二残差模块、三个第三残差模块和第四残差模块。
其中，所述路面状态识别模型的训练过程包括：
构建所述RefNet模型；
利用所述多个路面图像样本对所述RefNet模型进行训练，得到已训练的RefNet模型；
利用TensorRT对已训练的RefNet模型进行加速，得到路面状态识别模型。
其中，所述利用TensorRT对已训练的RefNet模型进行加速，得到路面状态识别模型的步骤，包括：
提取所述已训练的RefNet模型的模型参数的路径，并将所述模型参数转换为TensorRT格式的模型参数；
将所述路径转换为TensorRT格式的路径；
根据所述TensorRT格式的模型参数和所述TensorRT格式的路径，对所述已训练的RefNet模型进行加速，获得路面状态识别模型。
其中，所述根据所述TensorRT格式的模型参数和所述TensorRT格式的路径，对所述已训练的RefNet模型进行加速，获得路面状态识别模型的步骤，包括：
将所述多个路面图像样本的任一路面图像样本、所述已训练的RefNet网络、所述TensorRT格式的模型参数和所述TensorRT格式的路径输入TensorRT加速器，得到路面状态识别模型。
其中，所述残差模块还包括第二卷积层和第二激活层；所述第二激活层的输入端与所述第二卷积层的输出端连接，所述第二激活层的输出端与所述卷积单元的输入端连接。
其中，所述残差模块还包括第三卷积层和第三激活层；所述第三激活层的输入端与所述卷积单元的输出端连接，所述第三激活层的输出端与所述第三卷积层的输入端连接。
第二方面，本申请实施例提供了一种路面状态识别装置，包括：
获取模块，用于获取待识别路面图像；
识别模块，用于将所述待识别路面图像输入路面状态识别模型，得到所述待识别路面图像的路面状态识别结果；
所述路面状态识别模型是利用多个路面图像样本对预设的RefNet模型进行训练得到的，所述RefNet模型包括多个残差模块，所述残差模块中用于特征学习的卷积单元包括依次连接的第一卷积层、第一激活层和第一卷积层。
其中，所述多个残差模块包括依次连接的第一残差模块、三个第二残差模块、三个第三残差模块和第四残差模块。
其中，上述路面状态识别装置还包括：
构建模块，用于构建所述RefNet模型；
训练模块，用于利用所述多个路面图像样本对所述RefNet模型进行训练，得到已训练的RefNet模型；
确定模块，用于利用TensorRT对已训练的RefNet模型进行加速，得到路面状态识别模型。
其中，上述确定模块包括：
提取单元，用于提取所述已训练的RefNet模型的模型参数的路径，并将所述模型参数转换为TensorRT格式的模型参数；
转换单元，用于将所述路径转换为TensorRT格式的路径；
加速单元，用于根据所述TensorRT格式的模型参数和所述TensorRT格式的路径，对所述已训练的RefNet模型进行加速，获得路面状态识别模型。
其中，上述加速单元，具体用于将所述多个路面图像样本的任一路面图像样本、所述已训练的RefNet网络、所述TensorRT格式的模型参数和所述TensorRT格式的路径输入TensorRT加速器，得到路面状态识别模型。
其中，所述残差模块还包括第二卷积层和第二激活层；所述第二激活层的输入端与所述第二卷积层的输出端连接，所述第二激活层的输出端与所述卷积单元的输入端连接。
其中，所述残差模块还包括第三卷积层和第三激活层；所述第三激活层的输入端与所述卷积单元的输出端连接，所述第三激活层的输出端与所述第三卷积层的输入端连接。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的方法。
本申请实施例与现有技术相比存在的有益效果是：
在本申请的实施例中，由于路面状态识别模型是利用多个路面图像样本对预设的RefNet模型进行训练得到的，同时由于RefNet模型的学习效率高、识别效果好，从而确保了该路面状态识别模型对待识别路面图像进行识别时的识别率，另外由于RefNet模型的残差模块中用于特征学习的卷积单元只包括两个第一卷积层和第一激活层，从而使得路面状态识别模型的网络深度低、时间复杂度小，进而提升了路面状态识别的实时性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的路面状态识别方法的流程图；
图2是本申请一实施例提供的残差模块的结构示意图；
图3是本申请一实施例提供的RefNet模型的结构示意图；
图4是本申请一实施例提供的路面状态识别模型的训练过程的流程图；
图5是本申请一实施例提供的RefNet模型的训练损失和准确率的曲线图；
图6是本申请一实施例提供的ResNet-34模型的训练损失和准确率的曲线图；
图7是本申请一实施例提供的ResNet-50模型的训练损失和准确率的曲线图；
图8是本申请一实施例提供的ResNeXt-50模型的训练损失和准确率的曲线图；
图9是本申请一实施例提供的路面状态识别装置的结构示意图；
图10是本申请一实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
目前在路面状态识别任务中，不管是基于机器学习还是基于深度学习实现的方法，都无法同时兼顾识别率和实时性要求。
针对上述问题，本申请实施例通过构建轻量级的RefNet模型，并基于该RefNet模型得到路面状态识别模型。其中，由于轻量级的RefNet模型的学习效率高、识别效果好、网络深度低、时间复杂度小，从而使得路面状态识别模型在对待识别路面图像进行路面状态识别时，能同时兼顾识别率和实时性要求。
下面结合具体实施例对本申请提供的路面状态识别方法进行示例性的说明。
如图1所示，本申请的实施例提供了一种路面状态识别方法，该方法包括如下步骤：
步骤11，获取待识别路面图像。
在本申请的一些实施例中，上述待识别路面图像是指需要进行路面状态识别的路面图像，该待识别路面图像具体可以通过图像采集设备采集得到，例如通过交通部门监控拍照得到。
步骤12，将所述待识别路面图像输入路面状态识别模型，得到所述待识别路面图像的路面状态识别结果；所述路面状态识别模型是利用多个路面图像样本对预设的RefNet模型进行训练得到的，所述RefNet模型包括多个残差模块，所述残差模块中用于特征学习的卷积单元包括依次连接的第一卷积层、第一激活层和第一卷积层。
在本申请的一些实施例中，路面状态包括干、湿、冰、积雪、积水五种不同状态；上述路面状态识别模型主要用于识别待识别路面图像的路面状态，得到路面状态识别结果，该路面状态识别结果的输出形式为：待识别路面图像的路面状态为干的概率、待识别路面图像的路面状态为湿的概率、待识别路面图像的路面状态为冰的概率、待识别路面图像的路面状态为积雪的概率以及待识别路面图像的路面状态为积水的概率。
值得一提的是，在本申请的实施例中，由于路面状态识别模型是利用多个路面图像样本对残差网络(RefNet)模型进行训练得到的，同时由于RefNet模型的学习效率高、识别效果好，从而确保了该路面状态识别模型对待识别路面图像进行识别时的识别率，另外由于RefNet模型的残差模块中用于特征学习的卷积单元只包括两个第一卷积层和第一激活层，这与目前基于深度学习的路面状态识别模型相比，大大降低了网络深度和时间复杂度，从而提升了路面状态识别的实时性。
下面结合具体实施例对本申请中的残差网络进行示例性的说明。
在本申请的一些实施例中，RefNet模型的多个残差模块中的每个残差模块还包括：第二卷积层、第二激活层、第三卷积层和第三激活层，所述第二激活层的输入端与所述第二卷积层的输出端连接，所述第二激活层的输出端与所述卷积单元的输入端连接，所述第三激活层的输入端与所述卷积单元的输出端连接，所述第三激活层的输出端与所述第三卷积层的输入端连接。
即，如图2所示，RefNet模型中的残差模块结构包括依次连接的第二卷积层201、第二激活层202、卷积单元203、第三激活层204和第三卷积层205，其中，卷积单元203包括两个第一卷积层2031和第一激活层2032。需要说明的是，上述第二卷积层201主要用于对输入该第二卷积层201的数据进行降维处理，卷积单元203主要用于对第二卷积层201经第二激活层202输出的数据进行特征学习，第三卷积层205主要用于对卷积单元203经第三激活层204输出的数据进行升维处理，第一激活层2032、第二激活层202和第三激活层204均用于缓解深度学习训练过程中出现的过拟合和梯度消失问题。作为一个优选的示例，上述第一激活层2032、第二激活层202和第三激活层204均可以为激活函数(relu)。
如图3所示，RefNet模型的多个残差模块包括依次连接的第一残差模块301、三个第二残差模块302、三个第三残差模块303和第四残差模块304。
需要说明的是，在RefNet模型中，虽然每个残差模块均包括依次连接的第二卷积层、第二激活层、卷积单元、第三激活层和第三卷积层，但在实际架构中，各残差模块中的参数可以不同，例如第一残差模块的第一卷积层可以为感受野维数为3×3、卷积核为64的卷积层，第一残差模块的第二卷积层可以为感受野维数为1×1、卷积核为64的卷积层，第一残差模块的第三卷积层可以为感受野维数为1×1、卷积核为256的卷积层；第二残差模块的第一卷积层可以为感受野维数为3×3、卷积核为128的卷积层，第二残差模块的第二卷积层可以为感受野维数为1×1、卷积核为128、步长为2的卷积层，第二残差模块的第三卷积层可以为感受野维数为1×1、卷积核为512的卷积层；第三残差模块的第一卷积层可以为感受野维数为3×3、卷积核为256的卷积层，第三残差模块的第二卷积层可以为感受野维数为1×1、卷积核为256、步长为2的卷积层，第三残差模块的第三卷积层可以为感受野维数为1×1、卷积核为1024的卷积层；第四残差模块的第一卷积层可以为感受野维数为3×3、卷积核为512的卷积层，第四残差模块的第二卷积层可以为感受野维数为1×1、卷积核为512、步长为2的卷积层，第四残差模块的第三卷积层可以为感受野维数为1×1、卷积核为2014的卷积层。
如图3所示，路面图像(例如上述待识别路面图像)进入RefNet模型后的处理过程为：首先进入感受野维数为7×7、卷积核为64、步长为2的第四卷积层300，经过感受野维数为3×3、步数为2的池化层305进行降采样，然后进入上述多个残差模块，最后经过平均池化层306降采样后进入包含1000个结点的全连接层307。最后一层是软最大值层，其给出分类结果作为每个类别的概率值。在本申请的一些实施例中，路面状态分为干、湿、冰、积雪、积水五个不同的状态，所以输出结点也是5个，每个节点中的值将成为输入图像(即输入RefNet模型的路面图像)属于特定类别的概率，即输入图像的状态属于干的概率、输入图像的状态属于湿的概率、输入图像的状态属于冰的概率、输入图像的状态属于积雪的概率以及输入图像的状态属于积水的概率。
值得一提的是，在本申请的实施例中，RefNet模型在现有架构的基础上，对残差模块的改进，使RefNet模型的网络深度为34层，这大大降低了网络深度和时间复杂度，从而在确保路面状态识别率的情况下，提升了路面状态识别的实时性。
下面结合具体实施例对本申请中的路面状态识别模型的训练过程进行示例性的说明。
如图4所示，上述路面状态识别模型的训练过程包括如下：
步骤41，构建RefNet模型。
其中，构建的RefNet模型即为上述实施例中的RefNet模型，为避免过多重复，在此不再对RefNet模型进行过多介绍。
步骤42，利用所述多个路面图像样本对所述RefNet模型进行训练，得到已训练的RefNet模型。
在本申请的一些实施例中，上述路面图像样本是指用于对RefNet模型进行训练的路面图像，上述多个路面图像样本包括干、湿、冰、积雪、积水五种不同路面状态的路面图像。
作为一个优选的示例，为便于训练的快速进行，将路面状态为干的所有路面图像样本的标签设为0，将路面状态为湿的所有路面图像样本的标签设为1，将路面状态为冰的所有路面图像样本的标签设为2，将路面状态为积雪的所有路面图像样本的标签设为3，将路面状态为积水的所有路面图像样本的标签设为4。
需要说明的是，在本申请的一些实施例中，由于路面状态识别任务目前没有合适的公开数据集，所以可以设定路面状态分为干、湿、积雪、冰、积水五种，然后在多款浏览器上收集了2936张路面状态图像作为实验的数据集，其中2439张图像作为路面图像样本，497张图像作为后续的测试集数据。2439张路面图像样本包括538张路面状态为干的图像，500张路面状态为冰的图像，500张路面状态为积雪的图像，500张路面状态为积水的图像，401张路面状态为湿的图像；测试集数据包括100张路面状态为干的图像，100张路面状态为冰的图像，100路面状态为积雪的图像，100张路面状态为积水的图像，97张路面状态为湿的图像。
具体的，在本申请的一些实施例中，在利用所述多个路面图像样本对所述RefNet模型进行训练的过程中，需要根据模型损失值反向调整RefNet模型的参数，直至RefNet模型收敛得到已训练的RefNet模型。由于路面状态识别是一个多分类实验，因此可采用在多分类任务中常用的加权交叉熵误差来作为损失函数。在加权交叉熵损失函数中存在权重这一变量，在多分类任务中可以通过在权重变量中预设不同类别的权重，从而更好的特征提取和提高识别率，同时也能平衡样本类别不均衡所带来的影响。
其中，上述加权交叉熵损失函数如下：
步骤43，利用TensorRT对已训练的RefNet模型进行加速，得到路面状态识别模型。
在本申请的一些实施例中，为进一步提升路面状态识别模型的实时性，通过上述步骤43得到路面状态识别模型。
其中，TensorRT是英伟达(NVIDIA)的深度学习推理优化器，即图像处理器(GPU，Graphics Processing Unit)推理机。在模型推理过程中，计算速度非常重要，尤其是在自动驾驶等应用中。TensorRT只负责模型的推理过程，在中央处理器(CPU)或GPU模式下可以提供数倍的加速，非常适合高实时响应的任务。
TensorRT主要通过两种方式提高模型的运行速度。一是支持单精度(FP32)和半精度(FP16)的计算，深度学习网络(如上述RefNet模型)通常在训练过程中使用32位或16位数据，TensorRT在网络推理中选择精度不高的方式来加快推理速度。二是对网络(如上述RefNet模型)结构进行重构，将一些操作合并在一起，根据GPU的特点进行优化。比如一个卷积层、一个偏置层、一个重载层需要调用用于深度神经网络的GPU加速库(cuDNN)对应的应用程序接口(API，Application Programming Interface)三次，但是这三层的实现可以合并在一起，TensorRT会合并一些可以合并的网络。同时，TensorRT还可以水平合并网络，即合并输入张量相同的图层，执行相同的操作。
值得一提的是，由于本申请的路面状态识别模型为TensorRT加速模型，因此该路面状态识别模型的运行速度快、实时性强、适用性强。例如应用在低功耗嵌入式设备(如英伟达(NVIDIA)推出的新一代低功耗嵌入式设备Jetson AGX Xavier，)上，以使低功耗嵌入式设备能实现路面状态识别，例如，在复杂的交通环境中，自动驾驶应用需要实时感知路面状态信息，而无需访问云端。在资源受限的环境中，大功耗图形处理器(如Titan Xp)是不切实际的。
在本申请的一些实施例中，上述步骤43的具体实现方式包括如下步骤：
步骤一，提取所述已训练的RefNet模型的模型参数的路径，并将所述模型参数转换为TensorRT格式的模型参数。
在本申请的实施例中，已训练的RefNet模型的模型参数可以为.pt文件，当.pt文件保存好后，该文件的路径即为已训练的RefNet模型的模型参数的路径。具体的，将.pt文件重命名为.trt文件即可得到TensorRT格式的模型参数。
步骤二，将所述路径转换为TensorRT格式的路径。
在本申请的一些实施例中，可通过提取.pt文件的文件名，再加上其他部分(如TensorRT格式的必要组成部分)组合即可得到TensorRT格式的路径。
步骤三，根据所述TensorRT格式的模型参数和所述TensorRT格式的路径，对所述已训练的RefNet模型进行加速，获得路面状态识别模型。
具体的，可通过将所述多个路面图像样本的任一路面图像样本、所述已训练的RefNet网络、所述TensorRT格式的模型参数和所述TensorRT格式的路径输入TensorRT加速器，得到路面状态识别模型。需要说明的是，上述路面图像样本在此处的作用是：为了确保路面状态识别模型在进行识别任务时，能识别与上述路面图像样本大小一致的图像。
其中，为便于TensorRT部署Pytorch(Pytorch是一个Python工具包，是Python优先的深度学习框架)模型，上述RefNet模型采用的是Pytorch框架。在本申请的一些实施例中，借助Torch2trt库将pytorch的模型转换为TensorRT格式。其中，Torch2trt的转换原理为：将转换函数(如convert_ReLU)附加到原PyTorch函数(如torch.nn.ReLU.forward)上。在pytorch模型中，样本输入数据通过网络传输。当使用Torch2trt后遇到注册的函数(torch.nn.ReLU.forward)时，后面会调用对应的转换函数(convert_ReLU)。原始PyTorch函数的输入张量为修改后有一个属性'_trt'，它是PyTorch张量的TensorRT对应物。转换函数使用该属性向TensorRT网络添加图层，然后设置相关输出张量的属性。一旦模型被完全执行，最终的张量返回被标记为tensort网络的输出，并且优化的tensort引擎被构建。
需要说明的是，由于上述TensorRT加速器可以为常用TensorRT加速器，因此在此，不对Torch2trt的转换原理以及TensorRT加速器的工作原理进行过多赘述。
值得一提的是，由于在路面状态识别模型的训练过程中，在得到已训练的RefNet模型后，利用TensorRT加速器对RefNet模型进行加速，使得最终的路面状态识别模型的参数更少，时间复杂度更低，推理速度更快，提高了时间效率，进而使路面状态识别模型满足实时性要求。
在此以低功耗嵌入式设备NVIDIA Jetson AGX Xavier为例，对TensorRT的推理过程作进一步说明。
NVIDIA Jetson AGX Xavier的计算密度、能效和人工智能(AI)推理能力为行业树立了标杆。Xavier配备了集成的Volta(Volta是一种GPU架构)和张量核心，其性能与大型工作站相当，但尺寸为100×87mm，仅为工作站的1/10。同时，Xavier系列模块提供高达32TOPS(TOPS为处理器运算能力单位)的AI性能。
在Xavier设备上进行实验之前，在GTX1080TI服务器上配置了TensorRT相关环境，测试TensorRT的优化效果。实验中，模型结构采用了Pytorch深度学习框架，使用Torch2trt库将已训练的RefNet模型的模型参数从Pytorch格式(.pt)转换为TensorRT格式(.trtt)。TensorRT的优化结果如表1所示。
表1
从表1可看出，在TensorRT的优化作用下，RefNet的每秒传输帧数(FPS)从157提高到258，而识别率仅在1％以内波动。同时，在相同TensorRT的作用下，FP32和FP16的推理精度相差不大，识别率几乎一样，FPS非常接近。因此，TensorRT在保持识别率的同时，可以大大加快推理速度。
当将本申请的路面状态识别模型部署在NVIDIA Jetson AGX Xavier上时，实验细节与GTX1080TI服务器上的相似，借助Torch2trt库将已训练的RefNet模型的模型参数从Pytorch格式(.pt)转换为TensorRT格式(.trtt)，然后在Xavier上执行，实验结果如表2所示。
| 模型 | 推理精度 | TensorRT | 识别率(％) | Xavier FPS |
| RefNet | FP32 | 是 | 88.93 | 669 |
| RefNet | FP16 | 是 | 88.53 | 659 |
| RefNet | FP32 | 否 | 88.53 | 54 |
表2
由表2可知，经过TensorRT优化后，Xavier设备上RefNet的FPS从54提高到669，但最佳识别率没有变化，获得了理想的实验结果。在推理精度方面，FP32和FP16的实验结果仅略有不同，基本处于同一水平。同时，比较表1和表2时，可以发现Xavier设备上的FPS结果是GTX1080TI的近三倍。
下面结合具体实验数据对本申请中的RefNet模型进行示例性的说明。
在此，主要将RefNet模型与其他网络(包括ResNet-34、ResNet-50和ResNeXt-50)进行比较。RefNet网络的残差结构设置为[1，3，3，1](即RefNet模型的残差结构包括第一残差模块、三个第二残差模块、三个第三残差模块和第四残差模块)，其他参数保持一致，实验对比结果如表3所示，训练损失和准确率见图5至图8。其中，表3中的Params代表模型的参数号，FLOPs代表模型的浮点预算量，输入的路面图像大小为3×512×512，需要说明的是，表3中的识别率是经过100次迭代后各模型的识别率，此时的迭代过程可利用包含上述2439张图像的训练集数据和包含497张图像的测试集数据完成。图5中曲线A1为RefNet模型的测试集数据的训练损失、曲线A2为RefNet模型的训练集数据的训练损失、曲线A3为RefNet模型的训练集数据的准确率、曲线A4为RefNet模型的测试集数据的准确率；图6中曲线B1为ResNet-34模型的测试集数据的训练损失、曲线B2为ResNet-34模型的训练集数据的训练损失、曲线B3为ResNet-34模型的训练集数据的准确率、曲线B4为ResNet-34模型的测试集数据的准确率；图7中曲线C1为ResNet-50模型的测试集数据的训练损失、曲线C2为ResNet-50模型的训练集数据的训练损失、曲线C3为ResNet-50模型的训练集数据的准确率、曲线C4为ResNet-50模型的测试集数据的准确率；图8中曲线D1为ResNeXt-50模型的测试集数据的训练损失、曲线D2为ResNeXt-50模型的训练集数据的训练损失、曲线D3为ResNeXt-50模型的训练集数据的准确率、曲线D4为ResNeXt-50模型的测试集数据的准确率。
| 模型 | 识别率(％) | Params(M) | FLOPs(10<sup>9</sup>) |
| RefNet | 86.90 | 15.46 | 17.13 |
| ResNet-34 | 85.11 | 21.79 | 19.17 |
| ResNet-50 | 83.90 | 25.56 | 21.47 |
| ResNeXt-50 | 83.70 | 25.02 | 22.24 |
表3
从表3和图5至图8可看出，经过100次迭代，本申请的RefNet模型的识别率达到86.90％，ResNet-34网络的识别率为85.11％，也是一个34层的残差网络，但但无论在训练集还是测试集上，RefNet的识别率优于ResNet-34网络，这表明RefNet的学习效率更好；ResNet-50网络不仅层次更深，而且卷积复杂度更高，需要更多代迭代才能提取更多特征，同时它还面临着计算资源消耗增加和模型容易过度拟合的问题，本实验的识别率仅为83.90％；与ResNet-50相比，ResNeXt-50网络受益于子模块相同的拓扑结构，减少了超级参数的数量。因此，在同样的100次迭代中，ResNeXt-50比ResNet-50具有更好的学习效率，但与RefNet相比，在识别率上还是逊色的。通过比较可知，本申请的RefNet模型的识别率高，且它的时间复杂度被控制在较低的水平，适用性强。
综上，本申请实施例提供的路面状态识别方法具备如下效果：
第一，由于RefNet模型的学习效率高、识别效果好，使得基于RefNet模型构建的路面状态识别模型在进行路面状态识别时的识别率高；
第二，由于RefNet模型为轻量级RefNet模型，使得基于RefNet模型构建的路面状态识别模型在进行路面状态识别时的效率高，能提升状态识别的实时性；
第三，利用TensorRT对RefNet模型进行加速，使路面状态识别模型在进行路面状态识别时的效率更高，确保路面状态识别满足实时性的要求。
下面结合具体实施例对本申请提供的路面状态识别装置进行示例性的说明。
如图9所示，本申请的实施例提供了一种路面状态识别装置，该路面状态识别装置900包括：
获取模块901，用于获取待识别路面图像；
识别模块902，用于将所述待识别路面图像输入路面状态识别模型，得到所述待识别路面图像的路面状态识别结果；
所述路面状态识别模型是利用多个路面图像样本对预设的RefNet模型进行训练得到的，所述RefNet模型包括多个残差模块，所述残差模块中用于特征学习的卷积单元包括依次连接的第一卷积层、第一激活层和第一卷积层。
其中，所述多个残差模块包括依次连接的第一残差模块、三个第二残差模块、三个第三残差模块和第四残差模块。
其中，上述路面状态识别装置900还包括：
构建模块，用于构建所述RefNet模型；
训练模块，用于利用所述多个路面图像样本对所述RefNet模型进行训练，得到已训练的RefNet模型；
确定模块，用于利用TensorRT对已训练的RefNet模型进行加速，得到路面状态识别模型。
其中，上述确定模块包括：
提取单元，用于提取所述已训练的RefNet模型的模型参数的路径，并将所述模型参数转换为TensorRT格式的模型参数；
转换单元，用于将所述路径转换为TensorRT格式的路径；
加速单元，用于根据所述TensorRT格式的模型参数和所述TensorRT格式的路径，对所述已训练的RefNet模型进行加速，获得路面状态识别模型。
其中，上述加速单元，具体用于将所述多个路面图像样本的任一路面图像样本、所述已训练的RefNet网络、所述TensorRT格式的模型参数和所述TensorRT格式的路径输入TensorRT加速器，得到路面状态识别模型。
其中，所述残差模块还包括第二卷积层和第二激活层；所述第二激活层的输入端与所述第二卷积层的输出端连接，所述第二激活层的输出端与所述卷积单元的输入端连接。
其中，所述残差模块还包括第三卷积层和第三激活层；所述第三激活层的输入端与所述卷积单元的输出端连接，所述第三激活层的输出端与所述第三卷积层的输入端连接。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
如图10所示，本申请的实施例提供了一种终端设备，如图10所示，该实施例的终端设备D10包括：至少一个处理器D100(图10中仅示出一个处理器)、存储器D101以及存储在所述存储器D101中并可在所述至少一个处理器D100上运行的计算机程序D102，所述处理器D100执行所述计算机程序D102时实现上述任意各个方法实施例中的步骤。
所称处理器D100可以是中央处理单元(CPU，Central Processing Unit)，该处理器D100还可以是其他通用处理器、数字信号处理器(DSP，Digital Signal Processor)、专用集成电路(ASIC，Application Specific Integrated Circuit)、现成可编程门阵列(FPGA，Field-Programmable Gate Array)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器D101在一些实施例中可以是所述终端设备D10的内部存储单元，例如终端设备D10的硬盘或内存。所述存储器D101在另一些实施例中也可以是所述终端设备D10的外部存储设备，例如所述终端设备D10上配备的插接式硬盘，智能存储卡(SMC，SmartMedia Card)，安全数字(SD，Secure Digital)卡，闪存卡(Flash Card)等。进一步地，所述存储器D101还可以既包括所述终端设备D10的内部存储单元也包括外部存储设备。所述存储器D101用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器D101还可以用于暂时地存储已经输出或者将要输出的数据。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到路面状态识别装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种路面状态识别方法，其特征在于，包括：
获取待识别路面图像；
将所述待识别路面图像输入路面状态识别模型，得到所述待识别路面图像的路面状态识别结果；
所述路面状态识别模型是利用多个路面图像样本对预设的RefNet模型进行训练得到的，所述RefNet模型包括多个残差模块，所述残差模块中用于特征学习的卷积单元包括依次连接的第一卷积层、第一激活层和第一卷积层。
2.根据权利要求1所述的方法，其特征在于，所述多个残差模块包括依次连接的第一残差模块、三个第二残差模块、三个第三残差模块和第四残差模块。
3.根据权利要求1所述的方法，其特征在于，所述路面状态识别模型的训练过程包括：
构建所述RefNet模型；
利用所述多个路面图像样本对所述RefNet模型进行训练，得到已训练的RefNet模型；
利用TensorRT对已训练的RefNet模型进行加速，得到路面状态识别模型。
4.根据权利要求3所述的方法，其特征在于，所述利用TensorRT对已训练的RefNet模型进行加速，得到路面状态识别模型的步骤，包括：
提取所述已训练的RefNet模型的模型参数的路径，并将所述模型参数转换为TensorRT格式的模型参数；
将所述路径转换为TensorRT格式的路径；
根据所述TensorRT格式的模型参数和所述TensorRT格式的路径，对所述已训练的RefNet模型进行加速，获得路面状态识别模型。
5.根据权利要求4所述的方法，其特征在于，所述根据所述TensorRT格式的模型参数和所述TensorRT格式的路径，对所述已训练的RefNet模型进行加速，获得路面状态识别模型的步骤，包括：
将所述多个路面图像样本的任一路面图像样本、所述已训练的RefNet网络、所述TensorRT格式的模型参数和所述TensorRT格式的路径输入TensorRT加速器，得到路面状态识别模型。
6.根据权利要求1所述的方法，其特征在于，所述残差模块还包括第二卷积层和第二激活层；所述第二激活层的输入端与所述第二卷积层的输出端连接，所述第二激活层的输出端与所述卷积单元的输入端连接。
7.根据权利要求1所述的方法，其特征在于，所述残差模块还包括第三卷积层和第三激活层；所述第三激活层的输入端与所述卷积单元的输出端连接，所述第三激活层的输出端与所述第三卷积层的输入端连接。
8.一种路面状态识别装置，其特征在于，包括：
获取模块，用于获取待识别路面图像；
识别模块，用于将所述待识别路面图像输入路面状态识别模型，得到所述待识别路面图像的路面状态识别结果；
所述路面状态识别模型是利用多个路面图像样本对预设的RefNet模型进行训练得到的，所述RefNet模型包括多个残差模块，所述残差模块中用于特征学习的卷积单元包括依次连接的第一卷积层、第一激活层和第一卷积层。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111328626.1A CN114202746B (zh) | 2021-11-10 | 2021-11-10 | 路面状态识别方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111328626.1A CN114202746B (zh) | 2021-11-10 | 2021-11-10 | 路面状态识别方法、装置、终端设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114202746A true CN114202746A (zh) | 2022-03-18 |
| CN114202746B CN114202746B (zh) | 2024-04-12 |
Family
ID=80647164
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111328626.1A Active CN114202746B (zh) | 2021-11-10 | 2021-11-10 | 路面状态识别方法、装置、终端设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114202746B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114677641A (zh) * | 2022-03-23 | 2022-06-28 | 南京云创大数据科技股份有限公司 | 一种基于监控摄像头的积水深度估计方法和系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180054414A (ko) * | 2016-11-14 | 2018-05-24 | 삼성전자주식회사 | 얼굴 영상 분석 방법 및 장치 |
| CN110163260A (zh) * | 2019-04-26 | 2019-08-23 | 平安科技（深圳）有限公司 | 基于残差网络的图像识别方法、装置、设备及存储介质 |
| CN111785301A (zh) * | 2020-06-28 | 2020-10-16 | 重庆邮电大学 | 一种基于残差网络的3dacrnn语音情感识别方法及存储介质 |
| CN112528878A (zh) * | 2020-12-15 | 2021-03-19 | 中国科学院深圳先进技术研究院 | 检测车道线的方法、装置、终端设备及可读存储介质 |
| CN112949550A (zh) * | 2021-03-19 | 2021-06-11 | 中国科学院空天信息创新研究院 | 一种基于深度学习的水体识别方法、系统和介质 |
| US20210182632A1 (en) * | 2018-08-29 | 2021-06-17 | Korea Advanced Institute Of Science And Technology | Method and apparatus for estimation road surface type using ultrasonic signal |
| CN113033337A (zh) * | 2021-03-08 | 2021-06-25 | 深圳市安软科技股份有限公司 | 基于TensorRT的行人重识别方法及装置 |
| CN113505702A (zh) * | 2021-07-12 | 2021-10-15 | 北京洞微科技发展有限公司 | 基于双神经网络优化的路面病害识别方法及系统 |
-
2021
- 2021-11-10 CN CN202111328626.1A patent/CN114202746B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180054414A (ko) * | 2016-11-14 | 2018-05-24 | 삼성전자주식회사 | 얼굴 영상 분석 방법 및 장치 |
| US20210182632A1 (en) * | 2018-08-29 | 2021-06-17 | Korea Advanced Institute Of Science And Technology | Method and apparatus for estimation road surface type using ultrasonic signal |
| CN110163260A (zh) * | 2019-04-26 | 2019-08-23 | 平安科技（深圳）有限公司 | 基于残差网络的图像识别方法、装置、设备及存储介质 |
| CN111785301A (zh) * | 2020-06-28 | 2020-10-16 | 重庆邮电大学 | 一种基于残差网络的3dacrnn语音情感识别方法及存储介质 |
| CN112528878A (zh) * | 2020-12-15 | 2021-03-19 | 中国科学院深圳先进技术研究院 | 检测车道线的方法、装置、终端设备及可读存储介质 |
| CN113033337A (zh) * | 2021-03-08 | 2021-06-25 | 深圳市安软科技股份有限公司 | 基于TensorRT的行人重识别方法及装置 |
| CN112949550A (zh) * | 2021-03-19 | 2021-06-11 | 中国科学院空天信息创新研究院 | 一种基于深度学习的水体识别方法、系统和介质 |
| CN113505702A (zh) * | 2021-07-12 | 2021-10-15 | 北京洞微科技发展有限公司 | 基于双神经网络优化的路面病害识别方法及系统 |
Non-Patent Citations (5)
| Title |
|---|
| GUOSHENG LIN, ER AL.: "RefineNet: Multi-Path Refinement Networks for High-Resolution Semantic Segmentation", 2017 IEEE CONFERRENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 31 December 2017 (2017-12-31), pages 1 - 11 * |
| JIANDONG ZHAO, ET AL.: "Road Surface State Recognition Based on SVM Optimization and Image Segmentation Processing", JOURNAL OF ADVANCED TRANSPORTATION, 6 July 2017 (2017-07-06), pages 1 - 22 * |
| QIXIN GUI, ET AL.: "Road surface state recognition using deep convolution network on the low-power-consumption embedded device", MICROPROCESSORS AND MICROSYSTEMS, vol. 96, 9 December 2022 (2022-12-09), pages 1 - 8 * |
| 周立君等: "使用TensorRT进行深度学习推理", 应用光学, vol. 41, no. 02, 31 March 2020 (2020-03-31), pages 337 - 341 * |
| 邸慧军等: "无人驾驶车辆目标检测与运动追踪", 30 April 2021, 北京理工大学出版社, pages: 136 - 138 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114677641A (zh) * | 2022-03-23 | 2022-06-28 | 南京云创大数据科技股份有限公司 | 一种基于监控摄像头的积水深度估计方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114202746B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111488985B (zh) | 深度神经网络模型压缩训练方法、装置、设备、介质 | |
| EP4080416A1 (en) | Adaptive search method and apparatus for neural network | |
| CN107526785A (zh) | 文本分类方法及装置 | |
| CN109492674B (zh) | 用于目标检测的ssd框架的生成方法及装置 | |
| CN115249332B (zh) | 基于空谱双分支卷积网络的高光谱图像分类方法及设备 | |
| CN111382868A (zh) | 神经网络结构搜索方法和神经网络结构搜索装置 | |
| WO2021088365A1 (zh) | 确定神经网络的方法和装置 | |
| CN112699953B (zh) | 基于多信息路径聚合的特征金字塔神经网络架构搜索方法 | |
| CN113467851B (zh) | 一种基于车辆聚类的动态车辆计算任务卸载方法和装置 | |
| JP6107531B2 (ja) | 特徴抽出プログラム及び情報処理装置 | |
| CN111553215A (zh) | 人员关联方法及其装置、图卷积网络训练方法及其装置 | |
| CN113469989B (zh) | 遥感影像中输电导线的提取方法、系统、设备及介质 | |
| WO2022100607A1 (zh) | 一种神经网络结构确定方法及其装置 | |
| WO2023124342A1 (zh) | 一种针对图像分类的神经网络结构低成本自动搜索方法 | |
| CN112528845A (zh) | 一种基于深度学习的物理电路图识别方法及其应用 | |
| CN113705598A (zh) | 数据分类方法、装置及电子设备 | |
| CN114202746B (zh) | 路面状态识别方法、装置、终端设备及存储介质 | |
| CN114332075A (zh) | 基于轻量化深度学习模型的结构缺陷快速识别与分类方法 | |
| CN115984633B (zh) | 门级电路组件识别方法、系统、存储介质及设备 | |
| WO2023160309A1 (zh) | 一种联邦学习方法以及相关设备 | |
| CN116826734A (zh) | 一种基于多输入模型的光伏发电功率预测方法及装置 | |
| CN115587616A (zh) | 网络模型训练方法、装置、存储介质及计算机设备 | |
| CN114357160B (zh) | 基于生成传播结构特征的早期谣言检测方法及装置 | |
| CN112801153B (zh) | 一种嵌入lbp特征的图的半监督图像分类方法及系统 | |
| WO2023082103A1 (zh) | 路面状态识别方法、装置、终端设备、存储介质及产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |