CN112330664B - 路面病害检测方法、装置、电子设备及存储介质 - Google Patents

路面病害检测方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112330664B
CN112330664B CN202011339491.4A CN202011339491A CN112330664B CN 112330664 B CN112330664 B CN 112330664B CN 202011339491 A CN202011339491 A CN 202011339491A CN 112330664 B CN112330664 B CN 112330664B
Authority
CN
China
Prior art keywords
feature map
road surface
image
loss function
pavement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011339491.4A
Other languages
English (en)
Other versions
CN112330664A (zh
Inventor
刘畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202011339491.4A priority Critical patent/CN112330664B/zh
Publication of CN112330664A publication Critical patent/CN112330664A/zh
Application granted granted Critical
Publication of CN112330664B publication Critical patent/CN112330664B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及路面检测技术、人工智能及云技术领域，公开了一种路面病害检测方法、装置、电子设备及存储介质，该路面病害检测方法包括：获取待检测的路面图像；对路面图像进行特征提取，得到路面图像的至少两个层级的特征图；将该至少两个层级的特征图进行融合，得到融合特征图，融合特征图包括至少两个通道的特征图；基于融合特征图，确定融合特征图中各通道特征图的权重，并基于各通道特征图的权重分别对各通道特征图进行加权，得到加权后的融合特征图；基于加权后的融合特征图，得到路面图像对应的路面病害检测结果。通过本申请提供的方案，能够提升路面病害检测结果的准确性。

Description

路面病害检测方法、装置、电子设备及存储介质
技术领域
本申请涉及路面检测、人工智能及云技术领域，具体而言，本申请涉及一种路面病害检测方法、装置、电子设备及存储介质。
背景技术
无论是水泥还是沥青路面，在通车使用一段时间之后，都会陆续出现各种损坏、变形及其他缺陷，这些统称为路面病害。产生路面病害之后，若不能及时发现会导致路面病害加重，影响路面的使用甚至引起交通安全事故，给国家和人民生命造成巨大损失。
现有的路面病害的检测方法，往往依赖于道路养护作业人员通过人工的方式发现路面病害，如：一名作业员负责驾驶道路养护专用工程车，另一名作业员负责观察路面状况，当发现路面上的路害状况时，对路害状况进行拍摄记录，再登记到系统中，这种人工作业的路害检测方式，存在成本高、效率低、安全性差，影响交通的正常运行，且受人为因素影响等弊端，无法对路面病害进行客观、准确的评价。
发明内容
本申请的目的旨在至少能解决上述的技术缺陷之一，特提出以下技术方案，以解决路面病害检测结果的准确性不高的问题。
本申请的一个方面，提供了一种路面病害检测方法，包括：
获取待检测的路面图像；
对路面图像进行特征提取，得到路面图像的至少两个层级的特征图，其中，至少两个层级的特征图中高层级的特征图是基于该高层级的前一层级的特征图提取得到的；
将至少两个层级的特征图进行融合，得到融合特征图，融合特征图包括至少两个通道的特征图；
基于融合特征图，确定融合特征图中各通道特征图的权重，并基于各通道特征图的权重分别对各通道特征图进行加权，得到加权后的融合特征图；
基于加权后的融合特征图，得到路面图像对应的路面病害检测结果。
本申请的另一个方面，提供了一种路面病害检测装置，该装置包括：
路面图像获取模块，用于获取待检测的路面图像；
特征提取模块，用于对路面图像进行特征提取，得到路面图像的至少两个层级的特征图，其中，至少两个层级的特征图中高层级的特征图是基于该高层级的前一层级的特征图提取得到的；
特征融合模块，用于将至少两个层级的特征图进行融合，得到融合特征图，融合特征图包括至少两个通道的特征图；
加权模块，用于基于融合特征图，确定融合特征图中各通道特征图的权重，并基于各通道特征图的权重分别对各通道特征图进行加权，得到加权后的融合特征图；
检测结果确定模块，用于基于加权后的融合特征图，得到路面图像对应的路面病害检测结果。
本申请的再一个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现本申请第一方面所示的路面病害检测方法。
本申请的又一个方面，提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现本申请第一方面所示的路面病害检测方法。
本申请提供的技术方案带来的有益效果是：
本申请提供的路面病害检测方法，基于路面图像进行不同层级特征图的融合，提升了特征图对路面图像特征的表征性能，针对融合特征中不同通道的特征图，获得每个通道特征图的权重，对不同权重的通道特征图进行加权处理，以优化获得的融合特征图，进一步提升融合特征图的表征性能，使得基于加权处理后的融合特征图得到的路面病害检测结果更加准确。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请一个实施例提供的路面病害检测方法的流程图；
图2为本申请一个实施例提供的路面病害检测模型的网络结构图；
图3为本申请一个实施例提供的基于加权后的融合特征图得到路面图像对应的路面病害检测结果的流程图；
图4为本申请一个实施例提供的路面病害消息封装模块报文格式的示意图；
图5为本申请一个实施例提供的路面病害检测装置的结构示意图；
图6为本申请一种实施例提供的利用路面病害检测装置进行路面病害检测的流程图；
图7为本申请实施例提供的一种路面病害检测装置的结构示意图；
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像本申请实施例中一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本申请的发明人在研究过程中还发现：如果通过神经网络模型的方式进行路面病害的检测，若利用锚框的方式确定路面病害在图像中的尺寸信息，即通过确定路面病害包围框在图像中的顶点位置确定其尺寸信息，还需要人工设定锚框，对场景的适配性较差。
本申请实施例所提供的方案可以由任一电子设备执行，如可以是终端设备，也可以是服务器，其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。对于现有技术中所存在的技术问题，本申请提供的路面病害检测方法、装置、电子设备及存储介质，旨在解决现有技术的技术问题中的至少一项。
其中，本申请实施例所提供的路面病害检测方法可以通过神经网络模型实现，涉及人工智能技术，人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例的方案涉及图像识别技术，属于计算机视觉技术(ComputerVision,CV)，CV是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。在本申请实施例提供的方案中，通过神经网络模型能够实现路面图像中的路面灾害的自动化检测。
其中，可选的，本申请实施例所提供的方案可以基于云技术实现，各可选实施例中所涉及的数据处理(包括但不限于数据计算等)，可以采用云计算实现。云技术(Cloudtechnology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源，如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用，将来每个物品都有可能存在自己的识别标志，都需要传输到后台系统进行逻辑处理，不同程度级别的数据将会分开处理，各类行业数据皆需要强大的系统后盾支撑，只能通过云计算来实现。
云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展，按使用付费。
作为云计算的基础能力提供商，会建立云计算资源池(简称云平台，一般称为IaaS(Infrastructure as a Service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。按照逻辑功能划分,在IaaS(Infrastructure as a Service，基础设施即服务)层上可以部署PaaS(Platform as a Service，平台即服务)层，PaaS层之上再部署SaaS(Software as a Service，软件即服务)层，也可以直接将SaaS部署在IaaS上。PaaS为软件运行的平台，如数据库、web容器等。SaaS为各式各样的业务软件，如web门户网站、短信群发器等。一般来说，SaaS和PaaS相对于IaaS是上层。
下面以具体实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
本申请实施例提供了一种可能的实现方式，如图1所示，提供了一种路面病害检测方法的流程图，该方案可以由任一电子设备执行，可选的，可以在服务器端执行，例如，本申请实施例的方案可以在车载终端或者服务器上执行，执行主体通过获取路面图像实现对路面病害检测。为描述方便，下面将以车载终端作为执行主体为例对本申请实施例提供的方法进行说明。如图1中所示，该方法可以包括以下步骤：
步骤S110，获取待检测的路面图像；
步骤S120，对路面图像进行特征提取，得到路面图像的至少两个层级的特征图，其中，至少两个层级的特征图中高层级的特征图是基于该高层级的前一层级的特征图提取得到的；
步骤S130，将至少两个层级的特征图进行融合，得到融合特征图，融合特征图包括至少两个通道的特征图；
步骤S140，基于融合特征图，确定融合特征图中各通道特征图的权重，并基于各通道特征图的权重分别对各通道特征图进行加权，得到加权后的融合特征图；
步骤S150，基于加权后的融合特征图，得到路面图像对应的路面病害检测结果。
本申请提供的方案可以适用但不限于如下场景：电子设备(如车载终端)在获取到待检测的路面图像时，对该路面图像依次进行特征提取、并将提取得到的多个层级的特征融合得到融合特征图，融合特征图包括至少两个通道的特征图，对各通道特征图进行加权处理等操作得到加权后的融合特征图，再基于加权后的融合特征图，确定路面图像对应的路面病害检测结果，并返回路面病害检测结果，其中，路面病害，指道路上出现了各种损坏、变形或其他缺陷，如坑洼、裂痕、磨损等路面状况。
其中，路面图像为对待检测道路的拍摄图像，该图像可以是通过广角相机(如鱼眼相机，鱼眼相机是指带有鱼眼镜头的相机，是一种焦距极端并且视角接近或等于180°的镜头，是一种极端的广角镜头)，获得的超大视角图像，这种超大视角图像能够使得一张路面图像上能够表征更大范围内待检测道路的图像信息，有利于减少对待检测道路所拍摄的路面图像的数量，同时避免出现检测盲区。
对于路面图像的特征提取，可以通过神经网络(或者称为神经网络模型、路面灾害检测模型等)实现，其中，神经网络的具体网络结构本申请实施例不做限定，可以根据实际需求配置，如神经网络可以包括特征提取网络、特征融合网络以及预测网络等。通过神经网络的特征提取网络，可以得到路面图像对应的至少两个层级的特征图，可选的，至少两个层级的特征图除了最高层级的特征图及最低层级的特征图之外，还可以包括最高层级的特征图与最低层级的特征图之间的至少一个层级的特征图。其中，高层级的特征图是基于该高层级的前一层级的特征图提取得到的，如：最高层级的特征图是基于该最高层级的次高层级的特征图提取得到的。对于本领域技术人员而言清楚的是，上述至少两个层级的特征图中高层级特征图和低层级特征图中的高层和低层是相对的概念，也可以采用上层和下层的表述方式，当前层级的前一层级即当前层级的上一层级，当前层级的后一层级即当前层级的下一层级，高层级特征图也可以称为深层特征图，低层级特征图也可以称为浅层特征图，同样，深层和浅层也是相对应的概念。例如，上述至少两个层级的特征图为四个层级的特征图，层级由低至高可以依次即为特征图一至特征图四，则特征图二是对特征图一进行进一步特征提取得到的，特征图四是对特征图三进行再次特征提取得到的，该示例中，特征图二为特征图一的下一层级(即后一层级)，特征图一为特征图二的上一层级(即前一层级)。
获得路面图像多个层级的特征图，每个层级的特征图表征不同的特征信息。通过特征融合网络可以将至少两个层级的特征图进行融合，得到融合特征图，融合特征图包括至少两个通道的特征图。将不同层级的特征图进行融合，由于低层特征分辨率更高，包含更多位置、细节信息，但是由于经过的卷积少，其语义性低，噪声大。高层特征具有更强的语义信息，但是分辨率很低，对细节的感知能力较差，将两种不同层级的特征进行融合，使得融合特征兼具低层特征和高层特征的特征信息，提升了融合特征的信息表征性能。
融合特征图包括至少两个通道的特征图，对融合特征图进一步处理确定融合特征图中各通道特征图的权重，然后基于各通道特征图的权重分别对各通道特征图进行加权，根据各通道的特征图及对应的权重得到加权后的融合特征图。由于不同通道的特征图对检测结果的贡献度存在差异，例如：在路面病害检测方案中，路面图像中存在路面病害的区域对应的通道特征图对检测结果的贡献度较大，或者检测难度较大的区域对应的通道特征图对检测结果的贡献度较大，首先确定各通道特征图的权重，然后根据各通道特征图的权重对各通道特征图进行加权计算，对检测结果影响较大的通道特征图的权重较大，对检测结果影响较小的通道特征图的权重较小，利用该种方式得到加权后的融合特征图，基于加权后的融合特征图，通过预测网络得到路面图像对应的路面病害检测结果，与均衡对每个通道特征图进行处理相比，加权后的融合特征图能够更加准确地表征该路面图像的特征，有利于提升路面病害检测结果的准确性。
本申请提供的方案，基于路面图像进行不同层级特征图的融合，提升了特征图对路面图像特征的表征性能，针对融合特征中不同通道的特征图，获得每个通道特征图的权重，对不同权重的通道特征图进行加权处理，以优化获得的融合特征图，进一步提升融合特征图的表征性能，使得基于加权处理后的融合特征图得到的路面病害检测结果更加准确。
为了更清楚本申请提供的路面病害检测方案及其技术效果，接下来以多个可选实施例对其具体实施方案进行详细阐述。
在一种可选实施例中，步骤S130提供的将至少两个层级的特征图进行融合，得到融合特征图，可以包括：
A1，对于至少两个层级中的最高层级的特征图，将该层级的特征图和该层级的前一层级的特征图进行融合，得到该层级的前一层级的特征图对应的第一特征图；
A2，对于除最高层级之外的各层级的特征图，将该层级的特征图与该层级的后一层级特征图所对应的第一特征图进行融合，得到该层级的特征图对应的第一特征图；
A3，将该至少两个层级中最低层级的特征图所对应的第一特征图作为融合特征图。
可选地，最高层级的前一层级对应的第一特征图，可以通过如下方式获得：对最高层级的特征图进行反卷积处理，获得与该最高层级相邻的前一层级的特征图的特征向量相同的特征图；将反卷积处理后的特征图与该最高层级的前一层级对应的特征图进行融合，得到该最高层级的前一层级对应的第一特征图。
作为一个示例，图2为本申请一个实施例提供的路面病害检测方法采用的网络结构示意图。结合图2所示，采用特征图金字塔(Feature Pyramid Network Block，FPNBlock)对路面图像进行逐层特征提取，如图2所示，由低层级到高层级依次得到如下特征图：特征图一、特征图二、特征图三、特征图四，特征图五，特征图五是对特征图四进行特征提取得到的，特征图四为特征图五的前一层级对应的特征图，特征图五为特征图四的后一层级对应的特征图，不同层级的特征图对应的感受野是不同的，每经过一次特征提取，根据卷积核的大小及卷积步长，特征图的大小、以及特征图的语义表达能力发生了相应变化，如：特征图一的大小是160×480(宽×高)，经过一次卷积，特征图二的大小是80×240(宽×高)。最高层级的特征图和该最高层级的前一层级的特征图进行融合，也就是将特征图五与特征图四进行融合，由于特征图五的大小与特征图四的大小存在差异，因此，需要将两个特征图的向量大小转换为一样再进行融合，可选的，该转换操作是将特征图五进行反卷积，对特征图五进行反卷积处理后得到的特征图的大小与特征图四相同(即通过反卷积将特征图五处理为与特征图四一样的采样率)，将大小相同的两个特征图进行融合，在图2所示的示例中，通过对特征图五反卷积处理后的特征图与特征图四进行逐像素相加实现特征图融合，得到与特征图四对应的第一特征图。对特征图四对应的第一特征图进行反卷积，将反卷积之后的第一特征图与特征图三进行逐像素相加实现特征图融合，得到特征图三对应的第一特征图。将特征图三的反卷积结果与特征图二进行逐像素相加实现特征图融合得到特征图二对应的第一特征图。按照上述方式获得特征图一对应的第一特征图，并将特征图一对应的第一特征图作为路面图像的融合特征图。
值得说明的是，可以将至少两个层级对应的特征图中的最低层级对应的第一特征图作为融合特征图，也可以根据实际需要将最低层级的前一层级对应的第一特征图作为融合特征图，该特征融合过程可根据实际需要灵活调整。如图2所示的网络结构中，可以不将特征图二和特征图一对应的第一特征图进行融合，而是将特征图二对应的第一特征图作为融合特征图，这是因为最低层级的特征图的尺寸一般较大，对应的数据处理量也会增加，另外，最低层级的特征图的语义表达能力也相对较弱，因此，可以不对其进行融合处理。当然，可选的，也可以将特征图一和特征图一对应的第一特征图进行融合，得到最终要用的融合特征图，或者是只对部分特征图进行融合，如还可以将特征图二对应的第一特征图作为融合特征图，即特征图一和对应的第一特征图都可以不参与特征图的融合。
本申请实施例提供了一种将不同层级的特征图进行融合，得到路面图像对应的融合特征图的方案，融合特征图融合了每一层级的特征，大大提升了融合特征图的表征性能。
本申请一种可选实施例中还提供了基于加权后的融合特征图得到路面图像对应的路面病害检测结果的方案，可以包括如下步骤：
B1，基于加权后的融合特征图进行最大池化操作，得到池化后的特征图；
B2，将池化后的特征图中特征值小于设定阈值的特征值进行删除，得到处理后的特征图；
B3，基于处理后的特征图，得到路面图像对应的路面病害检测结果。
由于路面图像中路面病害区域对应的特征图的特征值往往高于非路面病害区域对应的特征图的特征值，因此，可以对加权后的融合特征图进行最大池化操作，得到池化后的特征图，将池化后的特征图中特征值小于设定阈值的特征值删除，也就是将路面图像中非路面病害区域对应的特征值删除，留下路面病害区域对应的特征值即得到处理后的特征图，基于留下的特征值及该特征值对应的位置可以直观地得到路面病害的位置及相关属性信息。
本申请实施例提供的方案，对加权后的融合特征图中的各特征值进行最大池化操作，直接选出候选路面病害对应的特征值，可以解决路面图像中存在重叠的两个目标物体时，误检、漏检目标物体的问题，还可以减少后续的数据处理量。
在该方案中，本申请一种可选实施例还提供了一种方案，用于基于融合特征图，确定融合特征图中各通道特征图的权重，包括：A4，对融合特征图中的各通道特征图进行特征提取，获得各通道特征图的权重。
可选地，对融合特征图中的各通道特征图进行特征提取，如：对各通道特征图进行编码与解码操作。如图2所示，采用SE Block(Squeeze-and-Excitation Networks Block，压缩激励网络模块)，该模块主要包含Squeeze(压缩)和Excitation(激励)两部分。Squeeze部分的处理方式为：顺着特征图的空间维度进行特征压缩，将每个特征通道变成一个实数，这个实数承载全局信息，并且输出的维度和输入的特征通道数一致，如将H*W*C(特征图的高、宽、通道)的输入转换成1*1*C的输出。Excitation的处理方式为：基于通道间的相关性，为每个特征通道生成对应的权重，该权重用来代表特征通道的重要程度，以便基于该权重获得加权后的融合特征图，并基于加权后的融合特征图进行路面检测结果的获取。
在该种实施例提供的方案还包括：A5，基于各通道特征图的权重分别对各通道特征图进行加权，得到加权后的融合特征图。可选地，将各通道特征图与其对应的权重进行对位相乘，即通道特征图与其对应的权重进行相乘，获得加权后的融合特征图。
本实施例提供的方案，通过获得各通道特征图的权重，把重要的特征进行强化来提升结果准确率，该过程可以通过神经网络模型的方式获得，自动获取到每个特征通道的权重，实现自适应调整各通道的特征值，极大地提升了网络性能。
图3为基于本申请一个可选实施例提供的基于加权后的融合特征图得到路面图像对应的路面病害检测结果的流程图，该方案中的融合特征图是基于步骤A1至A3所提供的方案得到的，该方案中的加权后的融合特征图是基于A4-A5所提供的方案得到的，可以参照前文中对于步骤A1-A5的描述，可选的，该实施例得到路面病害检测结果的过程如下：针对待检测的路面图像进行特征提取，得到至少两个层级的特征图，对于至少两个层级中的最高层级的特征图，将该层级的特征图和该层级的前一层级的特征图进行融合，得到该层级的后一层级的特征图对应的第一特征图，对于除最高层级之外的各层级的特征图，将该层级的特征图与该层级的后一层级特征图所对应的第一特征图进行融合，得到该层级的特征图对应的第一特征图，按照该种方式得到每层级对应的第一特征图，并将待检测的路面图像对应的至少两个层级中最低层级的特征图所对应的第一特征图作为融合特征图。基于该融合特征图，对融合特征图中的各通道特征图进行特征提取，获得融合特征图中各通道特征图的权重，并基于各通道特征图的权重分别对各通道特征图进行加权，得到加权后的融合特征图。在得到加权后的融合特征图之后，可以通过步骤B1-B3得到最终的路面病害检测结果，具体的，可以基于加权后的融合特征图进行最大池化操作，得到池化后的特征图；将池化后的特征图中特征值小于设定阈值的特征值进行删除，得到处理后的特征图；基于处理后的特征图，得到路面图像对应的路面病害检测结果。
本申请的可选实施例中，路面图像对应的路面病害检测结果包括路面病害类别、路面病害的包围框在图像中的尺寸信息、以及路面病害在图像中的位置信息。
可选的，路面病害检测结果还可以包括检测结果置信度，即检测结果的准确度或准确概率。
其中，路面病害类别具体包含类别可以根据实际需求配置的，如可以包括但不限于：裂纹、车辙、坑槽、沉陷、错台等。路面病害的包围框在图像中的尺寸信息为路面图像上包围路面病害的框体的尺寸信息，如：宽、高等。路面病害的包围框在路面图像中的位置信息，可以如：路面病害的包围框的顶角位置、框体的中心点位置等。基于本申请实施例的方案，可以基于所采集得到的路面图像，实现图像所对应的路面上路面病害的检测，路面病害的类别可以是上述类别中的至少一种。
可选地，该路面病害在图像中的位置信息为路面病害的包围框的中心点坐标。
本申请利用路面病害的包围框的中心点坐标表征路面病害在路面图像中的位置，与传统的通过锚框来表征路面病害的包围框的方式相比，由于锚框的方式需要人为预先设置锚框，基于设置的有限数量的锚框进行包围框的预测，因此，这种锚框的方式场景适配性较差，而本申请实施例提供的方式通过中心点坐标表征路面病害的位置，不需要考虑这种锚框问题，提升了本方案的场景泛化性。
可选地，上述实施例提供的路面病害检测方法可以通过路面病害检测模型实现的，其中，路面病害检测模型可以通过如下方式训练得到：
C1，获取训练数据，训练数据包括各样本路面图像、以及各样本路面图像所对应的真实路面病害检测结果；
C2，利用该训练数据对初始神经网络模型进行迭代训练，直至神经网络模型对应的总损失函数达到收敛条件，将总损失函数收敛时对应的神经网络模型作为路面病害检测模型，总损失函数包括预测损失函数，预测损失函数的值表征各样本图像的预测路面病害检测结果与真实路面病害检测结果之间的差异。
获取标识有真实路面病害检测结果的多个样本图像，将样本图像及其对应的真实路面病害检测结果作为训练样本，该真实路面病害检测结果包括：路面病害类别、路面病害包围框在图像中的尺寸、路面病害包围框在图像中的中心点坐标等。
在进行模型训练时，可以把各样本图像输入到神经网络模型中，获得神经网络模型输出的各样本图像的预测路面病害检测结果，并计算各样本图像的预测结果(即模型输出的路面灾害检测结果)与真实结果(即真实路面灾害检测结果)之间的差异值，从而获得神经网络模型对应的总损失函数的值，利用总损失函数的值调整模型参数，利用调整后的神经网络模型对各样本进行再次预测，获得各样本图像对应的新的预测路面病害检测结果，并利用该样本图像对应的总损失函数的值调整模型参数，直至总损失函数收敛，将总损失函数收敛时对应的神经网络模型作为路面病害检测模型。
在应用该路面病害检测模型时，模型的输入为待检测的路面图像，输出为该路面图像的路面病害检测结果，该路面病害检测结果包括：路边病害类别、路面病害的包围框在路面图像中的尺寸信息、以及路边病害在路面图像中的位置信息，还可以包括检测结果置信度。
其中，作为一个示例，图2中示出了本申请一个可选实施例提供的一种路面病害检测模型的网络结构的示意图，如图2所示，包括：该模型可以包括依次级联的特征提取网络、特征融合网络和预测网络(如图中所示的预测头部网络)。具体地，利用特征提取网络实现对输入的路面图像的特征提取，得到路面图像的至少两个层级的特征图；利用特征融合网络将至少两个层级的特征图进行融合，得到融合特征图，然后，利用SE Block(压缩激活网络模块)确定融合特征图中各通道特征图的权重，并基于各通道特征图的权重分别对各通道特征图进行加权，得到加权后的融合特征图；之后，利用预测网络确定路面图像中路面病害的位置信息，如：路面病害包围框在路面图像中的尺寸信息、中心点坐标、路面病害的类别、预测结果的置信度等。如图2提供的示例网络结构所示，输出路面病害的中心点位置信息和路面病害的包围框在路面图像中的宽高属性信息。
而且，通过图2可知，本申请提供的预测网络与特征提取网络、特征融合网络均为神经网络模型的一部分，它们作为一个整体对路面图像在GPU上进行一次单阶段运算，而现有技术中采用非极大值抑制方式来确定路面病害位置的方式，需要采取两阶段的计算方式，即第一阶段通过GPU计算得到特征图对应的各特征值，第二阶段通过CPU计算过滤冗余特征值，而本申请实施例提供的方式只需要单阶段运算，计算效率比两阶段的方法更高。
利用路面病害检测模型实现对路面病害检测，有利于快速准确地获得待检测路面图像的路面病害检测结果。
由于不同层级的特征图进行下采样时，上一层级的特征图坐标为整数，通过对降采样倍数对特征图坐标做除法进行下采样后，后一层级的特征图的坐标可能会出现小数，导致特征图的对应位置出现偏差，为了解决该问题，本申请一种可选实施例，总损失函数还包括位置偏移损失函数，其中，位置偏移损失函数表征了中心点预测位置与中心点真实位置之间的差异。通过位置偏移损失函数校正中心点预测位置与中心点真实位置之间的差异，提升训练后的路面病害检测模型对中心点位置的预测精准度。
作为一种可选实施例，预测损失函数Lk可以是focal loss(焦点损失函数)，焦点损失函数用于密集物体检测任务，简单的说，焦点损失函数是通过对数量较少的目标类别样本增加权重，对错误分类的样本增加权重，以解决样本数量极度不平衡的问题。
本申请实施例提供的预测损失函数为焦点损失函数时，通过如下示例说明焦点损失函数的作用过程：若路面病害类别A的检测结果置信度为0.5，检测结果置信度的取值范围为[0,1]，表明检测结果为路面病害类别A的检测概率为0.5，相比于检测结果置信度为0.9的样本来说，检测结果置信度为0.5的检测难度较大，将该样本作为难分样本，相对而言，检测结果置信度为0.9的样本为易分样本。焦点损失函数中提高该难分样本对应的损失函数的值，以便后续基于该难分样本对应的损失函数的值调整模型参数，针对这部分样本继续进行模型训练，提升模型对难分、错分样本的检测准确度。焦点损失函数还通过调高数量占比较小的目标类别样本的权重来平衡不同类别样本数量的比例不均导致的模型偏向性训练的问题。
可选的，基于加权后的融合特征图，得到路面图像对应的路面病害检测结果，可以通过如下步骤实现：
对加权后的融合特征图进行特征提取，得到目标特征图；
基于目标特征图得到路面图像对应的路面病害检测结果。
通过模型实现该方案时，模型对应的损失函数的值是通过以下方式确定的：
对于任一样本图像，计算该样本图像的指定区域内的特征点的预测特征值和参考特征值之间的预测损失，其中，指定区域为目标特征图中以中心点阈值位置为中心的预设范围的区域；
对于任一样本图像，基于该样本图像和该样本图像对应的目标特征图之间的采样率、该样本图像对应的中心点以及中心点真实位置，确定该样本图像对应的中心点偏移损失；
基于各样本图像所对应的预测损失，得到预测损失函数的值；
基于各样本图像所对应的中心点偏移损失得到位置偏移损失函数的值；
基于预测损失函数的值和位置偏移损失函数的值得到总损失函数的值。
其中，目标特征图是对融合特征图进行特征提取得到的、并用于确定路面病害检测结果的特征图。指定区域为目标特征图中以中心点为中心的预设范围的区域，中心点可以为以病害包围框的中心点的预设阈值范围内的圆心，与预设阈值为半径确定的区域。
可选地，该模型的总损失函数Lf可以通过如下公式表示：
Lf＝Lk+Loff，
Figure BDA0002798187880000171
其中，Lk为预测损失函数，Loff为位置偏移损失函数，N为样本图像的数量，j为通道数的索引，xyj表征通道数为j的目标特征图上指定区域的任一特征点位置，其中，目标特征图是对融合特征图进行特征提取得到、并用于确定路面病害检测结果的特征图，指定区域为目标特征图中以路面病害包围框的中心点位置为中心的预设范围的区域；α，β为模型对应的超参数，α为调整因子，β为平衡因子；Yxyj表征xyj位置的参考特征值，xyj＝1表征xyj位置为路面病害中心点，该中心点的参考特征值为1，Yxyj≠1表征以中心点为圆心的指定区域内的任一点；
Figure BDA0002798187880000172
表征xyj位置的预测特征值；p表征中心点位置的参考值，该参考值为参考特征值；R为输出降采样倍数；
Figure BDA0002798187880000173
表征中心点位置的预测值，该预测值为预测特征值；
Figure BDA0002798187880000174
表征中心点位置的参考值与预测值的偏移值。
结合图2所示的网络结构说明目标特征图，将加权后的融合特征图作为预测网络的输入，经过特征提取，如卷积处理，输出目标特征图，基于该目标特征图确定路面病害的包围框的中心点位置和尺寸信息，如图2所示的包围框的宽高属性。
Yxyj＝1表征xyj位置为路面病害中心点，即路面病害中心点的参考特征值为1，也就是该位置存在路面病害，Yxyj≠1表征该位置不是路面病害中心点，确切地，表征以中心点为圆心的指定区域内的任一点，Yxyj以及
Figure BDA0002798187880000175
的取值范围均是[0,1]。预测损失函数的作用过程示例如下：若检测结果类别为坑洼，检测结果置信度的范围是[0,1]，检测结果置信度越接近1，则表明该样本包含坑洼的概率越大，检测结果置信度越接近0，则表明该样本不包含坑洼的概率越大，检测结果置信度越接近0.5，表明该样本包含坑洼跟不包含坑洼的概率近似。当调整因子α为大于1的数值时，若某一样本的检查结果置信度为0.95，那么该样本被判别为坑洼类别的概率为95％，则该样本为易分样本，在利用预测损失函数计算该中心点所属样本的损失函数的值时，(1-0.95)α的值很小，也就是引入调整因子α之后，该易分样本对应的损失函数的值变得更小。而检测结果置信度为0.45的样本，也就是判断该样本为坑洼类别的概率接近0.5，与检测结果置信度为0.95的样本来说，属于难分样本，其对应的损失函数的值相对变大，也就是，通过引入调整因子α提高了难分样本对应的损失函数的值。同样，检测结果置信度为0.1的样本比置信度为0.7的样本对应的损失函数的值要小得多有利于模型针对难分样本进行训练，提高模型对难分样本的检测准确率。
其中，α，β的值可以通过实验得到，本申请选取α取2，β取4，以提高模型的收敛速度。
Figure BDA0002798187880000181
表征中心点位置的参考值与预测值之间的偏移值，可以通过中心点的预测特征值与中心点参考特征值的差值得到。
本申请实施例提供的预测损失函数针对易分样本，利用预测损失函数中的调整因子α调低其对应的损失函数的值，使得模型不再针对该部分易分样本进行持续训练。利用预测损失函数中的平衡因子β，用来避免各目标类别的样本数量比例不均导致的模型偏向训练。
本申请提供的预测损失函数，引入调整因子进行计算，降低易分样本对应的损失函数的值，提高难分样本对应的损失函数的值，将模型的训练重点放在难分样本上，也就是说，该预测损失函数降低了易分样本的损失占比，提升了难分样本的损失占比。而且，预存损失函数中引入平衡因子，以提高数量较少的类别的样本的损失函数的值，能够避免样本图像中的样本类型不均衡，如坑洼类型的样本少、裂痕类型的样本多等，避免神经网络模型对某一类别的偏向性学习。
而且，本申请提供的中心点偏移损失函数，利用预测中心点位置的预测值与参考值之间的差异进行模型参数调整，能够补偿特征提取过程中不断降采样造成的像素位置偏移，提升恢复由于图像上下采样的步长造成的像素偏差，有利于实现路面病害检测模型对路面图像中路面病害的中心点坐标的准确预测。
上述实施例提供的方法得到路面病害检测结果，除此之外，本申请还提供了以下实施例来确定路面病害的实际发生位置，路面病害检测方法，还包括：
获取路面图像采集时所对应的位置信息。
获取路面图像采集时所对应的位置信息，有利于后续基于该路面图像对应的路面病害检测结果以及对应的位置信息确定该路面病害的实际定位信息，简化确定路面病害的实际发生位置的过程。
基于该实施例提供的位置信息，若获取路面图像及该位置信息的执行主体是客户端，则本实施例提供的方案，还包括：将路面图像、路面图像对应的位置信息以及路面图像的路面病害检测结果发送至服务器。
可选地，将路面图像、路面图像对应的位置信息以及路面图像的路面病害检测结果发送至服务器，可以包括：
D1，将路面图像对应的路面病害检测结果以及对应的位置信息通过主报文的形式进行封装；
D2，将该路面检测结果中的路面病害类别、路面病害的包围框在路面图像中的尺寸信息以及路面病害在路面图像中的位置信息以主报文的子报文的形式进行封装；
D3，将封装后的主报文及子报文发送至服务器。
结合图4所示的路面病害消息封装模块报文格式进行说明。主报文包括消息队列ID、消息时间戳、路面图像采集时对应的位置信息、路面病害检测结果、路面图像5个字段；路面病害检测结果为5个字段的子报文，包括路面病害类别ID、中心点x、中心点y、宽属性w和高属性h。各个字段的含义分别为：
a.消息序列ID：自增的ID号标识，路面病害消息的唯一标识；
b.消息时间戳：记录路面病害消息发出时的物理时间；
c.路面图像采集时对应的位置信息：记录路面病害对应的路面图像采集时的位置信息，如：可以为GPS定位信息；
d.路面病害检测结果：记录当前消息序列ID的路面病害检测结果，包括：
a)路面病害类别ID：路面病害类别的唯一标识，如坑洼、裂痕、磨损等；
b)中心点x：路面图像中路面病害包围框的中心点位置横坐标；
c)中心点y：路面图像中路面病害包围框的中心点位置纵坐标；
d)宽属性w：路面图像中路面病害包围框的宽度；
e)高属性h：路面图像中路面病害包围框的高度。
可选地，主报文中的路面图像，可进行图像压缩后封装以减少报文大小。
通过上述消息封装模块的封装，获得了路面图像对应的路面病害状况。
除此之外，本申请实施例还提供了一种路面病害检测装置，该装置包括：车辆，其中车辆上安装有车载终端、以及与车载终端中的处理器通信连接的图像采集设备；
其中，图像采集装置用于在车辆在道路上运行时，采集道路的路面图像，将路面图像发送给车载终端；
车载终端，用于基于路面图像，执行前述任一实施例提供的路面病害检测方法。
车辆上安装有图像采集装置以及车载终端，车辆带动图像采集装置在道路上移动，车载终端接收图像采集装置发送的路面图像，并按照前述任一技术方案提供的路面病害检测方法进行路面病害检测，获得路面图像对应的路面病害检测结果。
值得说明的是，本申请提供的路面病害检测装置，还可以包括服务器，该检测系统的结构示意图如图5所示，包括：车辆、以及服务器，车辆上安装有车载终端以及与车载终端中的处理器通信连接的图像采集装置；具体地，
图像采集装置，用于采集路面图像；图像采集装置是用于采集路面图像的摄像装置，如照相机、录像机等，可选地，图像采集装置可以为广角相机，如：鱼眼相机，获得的超大视角图像，以通过一张道路图像获得道路上较大范围内待检测道路的路面信息，有利于减少对待检测道路所拍摄的路面图像的数量，同时避免出现检测盲区。
车载终端，用于接收路面图像，并且将路面图像及车辆位置信息发送给服务器；车载终端可以为安装在车辆上或者通过信号与车辆连接的可移动的终端，具有一定的数据接收、传输及处理功能，能够将接收到的信息，如路面图像、车辆位置信息发送给服务器，以便服务器基于车载终端发送的信息进行路面病害的检测。
车辆，用于带动其上安装的图像采集装置及车载终端在道路上移动；车辆可以为专门用于道路检测的工程车，也可以为其他用途的机动车或非机动车，其上安装有图像采集装置和车载终端，车辆主要用于带动其上安装的图像采集装置及车载终端在待检测道路上移动，在移动过程中，图像采集装置进行待检测道路的图像采集，车载终端可以接收同一车辆上的图像采集装置采集的道路图像并上传服务器。
服务器，用于接收车载终端发送的路面图像，并按照前述任一技术方案提供的路面病害检测方法进行路面病害检测，并获得该路面图像对应的路面病害检测结果。
该路面检测系统利用车辆(如：工程车、检测车等)带动图像采集装置(如：广角相机、夜视相机等)在道路上移动，车载终端将图像采集装置在移动过程中采集的路面图像实时上传至服务器车载终端中，如图4所示，车辆上还安装有定位装置，车载终端通过该定位装置将车辆的位置信息(如：GPS定位信息等)发送给服务器，服务器获取路面图像以及该路面图像拍摄时的位置信息，利用上述任一技术方案提供的路面病害检测方法获得路面图像中的路面病害检测结果，如：路面病害类别、路面病害包围框在图像中的尺寸信息及该包围框在图像中的位置信息等。
结合图6所示的一个可选实施例提供的利用路面病害检测装置进行路面病害检测的流程图对本申请提供的路面病害检测方法进行说明，具体如下：
首先利用车辆上安装的鱼眼相机采集道路的路面图像，并将路面图像发送给后台(后台为终端设备或服务器)，后台获取车载GPS上传的该路面图像的拍摄时刻对应的位置信息。
然后，后台利用路面病害检测算法，如路面病害检测模型，对路面图像进行分析、检测，输出该路面图像的路面病害检测结果，该路面病害检测结果包括路面病害类别、路面病害的包围框在图像中的尺寸信息、路面病害包围框的中心点坐标等。
最后，将路面病害检测结果与路面图像对应的位置信息进行消息封装，在云端服务器中形成路面检测消息记录。
基于与本申请实施例所提供的方法相同的原理，本申请实施例还提供了一种路面病害检测装置600，如图7所示，该装置可以包括：路面图像获取模块610、特征提取模块620、特征融合模块630、加权模块640、检测结果确定模块650，其中：
路面图像获取模块610，用于获取待检测的路面图像；
特征提取模块620，用于对路面图像进行特征提取，得到路面图像的至少两个层级的特征图，其中，至少两个层级的特征图中高层级的特征图是基于该高层级的前一层级的特征图提取得到的；
特征融合模块630，用于将至少两个层级的特征图进行融合，得到融合特征图，融合特征图包括至少两个通道的特征图；
加权模块640，用于基于融合特征图，确定融合特征图中各通道特征图的权重，并基于各通道特征图的权重分别对各通道特征图进行加权，得到加权后的融合特征图；
检测结果确定模块650，用于基于加权后的融合特征图，得到路面图像对应的路面病害检测结果。
本申请提供的路面病害检测装置，基于路面图像进行不同层级特征图的融合，提升了融合特征对路面图像特征的表征性能，针对融合特征中不同通道的特征图，获得每个通道特征图的权重，对不同权重的通道特征图进行加权处理，以优化获得的融合特征图，进一步提升融合特征图的表征性能，使得基于加权处理后的融合特征图得到的路面病害检测结果更加准确。
可选地，特征融合模块630，具体用于：
对于至少两个层级中的最高层级的特征图，将该层级的特征图和该层级的前一层级的特征图进行融合，得到该层级的前一层级的特征图对应的第一特征图；
对于除最高层级之外的各层级的特征图，将该层级的特征图与该层级的后一层级特征图所对应的第一特征图进行融合，得到该层级的特征图对应的第一特征图；
将所述至少两个层级中最低层级的特征图所对应的第一特征图作为所述融合特征图。
可选地，检测结果确定模块650，具体用于：
基于所述加权后的融合特征图进行最大池化操作，得到池化后的特征图；
将池化后的特征图中特征值小于设定阈值的特征值进行删除，得到处理后的特征图；
基于所述处理后的特征图，得到所述路面图像对应的路面病害检测结果。
可选地，加权模块640，具体用于：
对所述融合特征图中的各通道特征图进行特征提取，确定各通道特征图的权重。
可选地，路面病害检测装置600中的路面病害检测结果包括：路面病害类别、路面病害的包围框在路面图像中的尺寸信息、以及路面病害在路面图像中的位置信息。
可选地，路面病害检测装置600中的路面病害在路面图像中的位置信息为路面病害的包围框的中心点坐标。
可选地，路面病害检测装置600中的路面病害检测结果是通过路面病害检测模型实现的，路面病害检测模型是通过训练模块得到的，具体如下：
获取训练数据，所述训练数据包括各样本路面图像、以及各样本路面图像所对应的真实路面病害检测结果；
利用所述训练数据对初始神经网络模型进行迭代训练，直至神经网络模型对应的总损失函数达到收敛条件，将总损失函数收敛时对应的神经网络模型作为路面病害检测模型；所述总损失函数包括预测损失函数，预测损失函数的值表征各样本图像的预测路面病害检测结果与所述真实路面病害检测结果之间的差异。
可选地，总损失函数还包括位置偏移损失函数，其中，位置偏移损失函数表征了中心点预测位置与中心点真实位置之间的差异。
可选地，检测结果确定模块650，具体用于：
对加权后的融合特征图进行特征提取，得到目标特征图；
基于目标特征图得到路面图像对应的路面病害检测结果；
总损失函数的值是通过以下方式确定的：
对于任一样本图像，计算该样本图像的指定区域内的特征点的预测特征值和参考特征值之间的预测损失，其中，指定区域为目标特征图中以中心点为中心的预设范围的区域；
对于任一样本图像，基于该样本图像和该样本图像对应的目标特征图之间的采样率、该样本图像对应的中心点预测位置以及中心点真实位置，确定该样本图像对应的中心点偏移损失；
基于各所述样本图像所对应的预测损失，得到所述预测损失函数的值；
基于各所述样本图像所对应的中心点偏移损失得到所述位置偏移损失函数的值；
基于所述预测损失函数的值和所述位置偏移损失函数的值得到所述总损失函数的值。
可选地，路面病害检测装置600还包括位置模块，位置模块，具体用于：
获取所述路面图像采集时所对应的位置信息；
将所述路面图像、所述路面图像对应的所述位置信息及所述路面图像的路面病害检测结果发送至服务器。
本申请实施例的路面病害检测装置可执行本申请实施例所提供的路面病害检测方法，其实现原理相类似，本申请各实施例中的路面病害检测装置中的各模块、单元所执行的动作是与本申请各实施例中的路面病害检测方法中的步骤相对应的，对于路面病害检测装置的各模块的详细功能描述具体可以参见前文中所示的对应的路面病害检测方法中的描述，此处不再赘述。
基于与本申请的实施例中所示的方法相同的原理，本申请的实施例中还提供了一种电子设备，该电子设备可以包括但不限于：处理器和存储器；存储器，用于存储计算机程序；处理器，用于通过调用计算机程序执行本申请任一可选实施例所示的路面病害检测方法。与现有技术相比，本申请提供的路面病害检测方法，基于路面图像进行不同层级特征图的融合，提升了融合特征对路面图像特征的表征性能，针对融合特征中不同通道的特征图，获得每个通道特征图的权重，对不同权重的通道特征图进行加权处理，以优化获得的融合特征图，进一步提升融合特征图的表征性能，使得基于加权处理后的融合特征图得到的路面病害检测结果更加准确。
在一个可选实施例中提供了一种电子设备，如图8所示，图8所示的电子设备4000可以为服务器，包括：处理器4001和存储器4003。其中，处理器4001和存储器4003相连，如通过总线4002相连。可选地，电子设备4000还可以包括收发器4004。需要说明的是，实际应用中收发器4004不限于一个，该电子设备4000的结构并不构成对本申请实施例的限定。
处理器4001可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器4001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线4002可包括一通路，在上述组件之间传送信息。总线4002可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线4002可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器4003可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器4003用于存储执行本申请方案的应用程序代码，并由处理器4001来控制执行。处理器4001用于执行存储器4003中存储的应用程序代码，以实现前述方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图8示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
本申请提供的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
其中，本申请提供的路面病害检测方法，还可以通过云计算的方式实现，云计算(cloud computing)指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需资源；广义云计算指服务的交付和使用模式，指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关，也可是其他服务。云计算是网格计算(Grid Computing)、分布式计算(DistributedComputing)、并行计算(ParallelComputing)、效用计算(Utility Computing)、网络存储(Network StorageTechnologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。
随着互联网、实时数据流、连接设备多样化的发展，以及搜索服务、社会网络、移动商务和开放协作等需求的推动，云计算迅速发展起来。不同于以往的并行分布式计算，云计算的产生从理念上将推动整个互联网模式、企业管理模式发生革命性的变革。
本申请提供的路面病害检测方法，可以实现根据路面图像对路面病害检测结果的自动挖掘。该种方案还可以通过人工智能云服务实现，人工智能云服务，一般也被称作是AIaaS(AI as a Service，中文为“AI即服务”)。这是目前主流的一种人工智能平台的服务方式，具体来说AIaaS平台会把几类常见的AI服务进行拆分，并在云端提供独立或者打包的服务。这种服务模式类似于开了一个AI主题商城：所有的开发者都可以通过API接口的方式来接入使用平台提供的一种或者是多种人工智能服务，部分资深的开发者还可以使用平台提供的AI框架和AI基础设施来部署和运维自已专属的云人工智能服务。本申请中，可以利用平台提供的AI框架和AI基础设施来实现本申请提供的路面病害检测方法。
本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
需要说明的是，本申请上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例所示的方法。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的路面病害检测方法。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，特征提取模块还可以被描述为“对路面图像进行特征提取，得到路面图像的至少两个层级的特征图模块”。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (15)

1.一种路面病害检测方法，其特征在于，包括：
获取待检测的路面图像；
对所述路面图像进行特征提取，得到所述路面图像的至少两个层级的特征图，其中，所述至少两个层级的特征图中高层级的特征图是基于该高层级的前一层级的特征图提取得到的；
将所述至少两个层级的特征图进行融合，得到融合特征图，所述融合特征图包括至少两个通道的特征图；
基于所述融合特征图，确定所述融合特征图中各通道特征图的权重，并基于各通道特征图的权重分别对各通道特征图进行加权，得到加权后的融合特征图；
基于所述加权后的融合特征图，得到所述路面图像对应的路面病害检测结果；
其中，所述方法通过路面病害检测模型实现，训练所述路面病害检测模型使用的总损失函数包括预测损失函数和位置偏移损失函数，所述位置偏移损失函数的值是基于样本图像与样本图像对应的目标特征图之间的采样率、样本图像对应的中心点预测位置以及中心点真实位置所得到的，所述样本图像对应的目标特征图是对所述样本图像对应的融合特征图进行特征提取得到。
2.根据权利要求1所述的方法，其特征在于，所述将所述至少两个层级的特征图进行融合，得到融合特征图，包括：
对于所述至少两个层级中的最高层级的特征图，将该层级的特征图和该层级的前一层级的特征图进行融合，得到该层级的前一层级的特征图对应的第一特征图；
对于除最高层级之外的各层级的特征图，将该层级的特征图与该层级的后一层级特征图所对应的第一特征图进行融合，得到该层级的特征图对应的第一特征图；
将所述至少两个层级中最低层级的特征图所对应的第一特征图作为所述融合特征图。
3.根据权利要求1所述的方法，其特征在于，所述基于所述加权后的融合特征图，得到所述路面图像对应的路面病害检测结果，包括：
基于所述加权后的融合特征图进行最大池化操作，得到池化后的特征图；
将池化后的特征图中特征值小于设定阈值的特征值进行删除，得到处理后的特征图；
基于所述处理后的特征图，得到所述路面图像对应的路面病害检测结果。
4.根据权利要求1所述的方法，其特征在于，所述基于所述融合特征图，确定所述融合特征图中各通道特征图的权重，包括：
对所述融合特征图中的各通道特征图进行特征提取，确定各通道特征图的权重。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述路面病害检测结果包括路面病害类别、路面病害的包围框在路面图像中的尺寸信息、以及路面病害在路面图像中的位置信息。
6.根据权利要求5所述的方法，其特征在于，所述路面病害在路面图像中的位置信息为所述路面病害的包围框的中心点坐标。
7.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法是通过路面病害检测模型实现的，其中，所述路面病害检测模型是通过以下方式训练得到的：
获取训练数据，所述训练数据包括各样本图像、以及各样本图像所对应的真实路面病害检测结果；
利用所述训练数据对初始神经网络模型进行迭代训练，直至神经网络模型对应的总损失函数达到收敛条件，将总损失函数收敛时对应的神经网络模型作为路面病害检测模型；所述总损失函数包括预测损失函数，所述预测损失函数的值表征各样本图像的预测路面病害检测结果与所述真实路面病害检测结果之间的差异。
8.根据权利要求7所述的方法，其特征在于，所述总损失函数还包括位置偏移损失函数，其中，所述位置偏移损失函数表征了中心点预测位置与中心点真实位置之间的差异。
9.根据权利要求8所述的方法，其特征在于，所述基于所述加权后的融合特征图，得到所述路面图像对应的路面病害检测结果，包括：
对所述加权后的融合特征图进行特征提取，得到目标特征图；
基于所述目标特征图得到所述路面图像对应的路面病害检测结果；
所述总损失函数的值是通过以下方式确定的：
对于任一样本图像，计算该样本图像的指定区域内的特征点的预测特征值和参考特征值之间的预测损失，其中，所述指定区域为目标特征图中以中心点为中心的预设范围的区域；
对于任一样本图像，基于该样本图像和该样本图像对应的目标特征图之间的采样率、该样本图像对应的中心点预测位置以及中心点真实位置，确定该样本图像对应的中心点偏移损失；
基于各所述样本图像所对应的预测损失，得到所述预测损失函数的值；
基于各所述样本图像所对应的中心点偏移损失得到所述位置偏移损失函数的值；
基于所述预测损失函数的值和所述位置偏移损失函数的值得到所述总损失函数的值。
10.根据权利要求9所述的方法，其特征在于，所述预测损失函数包括调整因子和平衡因子；
其中，所述调整因子用于迭代训练时降低易分样本对应的预测损失函数的值、提高难分样本对应的预测损失函数的值，以在迭代训练时针对所述难分样本进行训练；所述平衡因子用于调整属于不同样本类型的样本图像的预测损失函数的值，以使所述初始神经网络模型对样本图像数量不同的样本类型的均衡学习。
11.根据权利要求1至4中任一项所述的方法，其特征在于，还包括：
获取所述路面图像采集时所对应的位置信息；
将所述路面图像、所述路面图像对应的所述位置信息及所述路面图像的路面病害检测结果发送至服务器。
12.一种路面病害检测装置，其特征在于，所述装置包括车辆，其中，所述车辆上安装有车载终端、以及与所述车载终端中的处理器通信连接的图像采集设备；
所述图像采集装置，用于在所述车辆在道路上运行时，采集所述道路的路面图像，将所述路面图像发送给所述车载终端；
所述车载终端，用于基于所述路面图像，执行权利要求1-11中任一项所述的方法。
13.一种路面病害检测装置，其特征在于，包括：
路面图像获取模块，用于获取待检测的路面图像；
特征提取模块，用于对所述路面图像进行特征提取，得到所述路面图像的至少两个层级的特征图，其中，所述至少两个层级的特征图中高层级的特征图是基于该高层级的前一层级的特征图提取得到的；
特征融合模块，用于将所述至少两个层级的特征图进行融合，得到融合特征图，所述融合特征图包括至少两个通道的特征图；
加权模块，用于基于所述融合特征图，确定所述融合特征图中各通道特征图的权重，并基于各通道特征图的权重分别对各通道特征图进行加权，得到加权后的融合特征图；
检测结果确定模块，用于基于所述加权后的融合特征图，得到所述路面图像对应的路面病害检测结果；
其中，所述装置通过路面病害检测模型实现，训练所述路面病害检测模型使用的总损失函数包括预测损失函数和位置偏移损失函数，所述位置偏移损失函数的值是基于样本图像与样本图像对应的目标特征图之间的采样率、样本图像对应的中心点预测位置以及中心点真实位置所得到的，所述样本图像对应的目标特征图是对所述样本图像对应的融合特征图进行特征提取得到。
14.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现权利要求1-11中任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-11中任一项所述的方法。
CN202011339491.4A 2020-11-25 2020-11-25 路面病害检测方法、装置、电子设备及存储介质 Active CN112330664B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011339491.4A CN112330664B (zh) 2020-11-25 2020-11-25 路面病害检测方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011339491.4A CN112330664B (zh) 2020-11-25 2020-11-25 路面病害检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112330664A CN112330664A (zh) 2021-02-05
CN112330664B true CN112330664B (zh) 2022-02-08

Family

ID=74307905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011339491.4A Active CN112330664B (zh) 2020-11-25 2020-11-25 路面病害检测方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112330664B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255605A (zh) * 2021-06-29 2021-08-13 深圳市城市交通规划设计研究中心股份有限公司 一种路面病害检测方法、装置、终端设备及存储介质
CN113689383B (zh) * 2021-07-27 2024-04-16 南京旭锐软件科技有限公司 一种图像处理方法、装置、设备及存储介质
CN113627364B (zh) * 2021-08-16 2022-09-16 禾多科技（北京）有限公司 道路信息显示系统、方法、电子设备和计算机可读介质
CN113392816B (zh) * 2021-08-16 2021-12-31 禾多科技（北京）有限公司 路面病害检测方法、装置、电子设备和计算机可读介质
CN114998713B (zh) * 2022-08-08 2022-11-04 中科视语(北京)科技有限公司 路面病害识别方法、装置、系统、电子设备及存储介质
CN115343685A (zh) * 2022-08-29 2022-11-15 北京国电经纬工程技术有限公司 应用于病害识别的多维度探地雷达检测方法、装置、设备
CN116229379B (zh) * 2023-05-06 2024-02-02 浙江大华技术股份有限公司 一种道路属性识别方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764063A (zh) * 2018-05-07 2018-11-06 华中科技大学 一种基于特征金字塔的遥感影像时敏目标识别系统及方法
CN110717532A (zh) * 2019-09-27 2020-01-21 广东工业大学 基于SE-RetinaGrasp模型的机器人目标抓取区域实时检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111695448B (zh) * 2020-05-27 2022-06-17 东南大学 一种基于视觉传感器的路侧车辆识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764063A (zh) * 2018-05-07 2018-11-06 华中科技大学 一种基于特征金字塔的遥感影像时敏目标识别系统及方法
CN110717532A (zh) * 2019-09-27 2020-01-21 广东工业大学 基于SE-RetinaGrasp模型的机器人目标抓取区域实时检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DeepSEED: 3D Squeeze-and-Excitation Encoder-Decoder ConvNets for Pulmonary Nodule Detectio;Yuemeng Li et al.;《arXiv:1904.03501v1》;20190406;第1-9页 *
Road Damage Detection Using RetinaNet;Road Damage Detection Using RetinaNet;《2018 IEEE International Conference on Big Data (Big Data)》;20190124;第1-4页 *

Also Published As

Publication number Publication date
CN112330664A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
CN112330664B (zh) 路面病害检测方法、装置、电子设备及存储介质
CN113780296B (zh) 基于多尺度信息融合的遥感图像语义分割方法及系统
JP2022518322A (ja) ソフトクロスエントロピー損失を用いたセマンティックセグメンテーション
US11716459B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
CN108235116B (zh) 特征传播方法和装置、电子设备和介质
US11694368B2 (en) Three-dimensional data encoding method, three-dimensional data decoding method, three-dimensional data encoding device, and three-dimensional data decoding device
CN104798128A (zh) 注解方法和装置
CN112954399B (zh) 一种图像处理方法、装置以及计算机设备
CN112381828A (zh) 基于语义和深度信息的定位方法、装置、介质与设备
CN115131281A (zh) 变化检测模型训练和图像变化检测方法、装置及设备
CN115205150A (zh) 图像的去模糊方法、装置、设备、介质及计算机程序产品
CN116453086A (zh) 识别交通标志的方法、装置和电子设备
CN116259040A (zh) 识别交通标志的方法、装置和电子设备
CN115797920A (zh) 车牌识别方法、装置、电子设备及存储介质
CN115546769A (zh) 道路图像识别方法、装置、设备、计算机可读介质
Ma et al. Vehicle-based machine vision approaches in intelligent connected system
CN116883770A (zh) 深度估计模型的训练方法、装置、电子设备及存储介质
US20230410254A1 (en) Task-aware point cloud down-sampling
CN118101862B (zh) 图像处理方法、装置、设备及存储介质
Kim Lifelong Learning Architecture of Video Surveillance System
WO2024007958A1 (zh) 图像语义分割模型优化方法、装置、电子设备及存储介质
CN110838132B (zh) 基于视频流的物体分割方法、装置、设备及存储介质
Arubai et al. Building a Real‐Time 2D Lidar Using Deep Learning
WO2022104012A2 (en) Task-aware point cloud down-sampling
Ji et al. DRI-Net: a model for insulator defect detection on transmission lines in rainy backgrounds

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40038337

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant