CN117395378A - 路产采集方法及采集系统 - Google Patents

Abstract

本申请提供一种路产采集方法及采集系统，用以解决路产检测效率较低的技术问题。其中，一种路产采集方案：移动端采集环境图像流；对环境图像流进行路产对象识别，确定环境图像流中记录路产对象的若干环境图像；对环境图像进行路产对象追踪，确定记录相同路产对象的若干环境图像；基于预设规则，对相同路产对象的若干环境图像进行综合评分；确定综合评分值最高的环境图像，作为采集结果。采用目标追踪技术，对若干环境图像中的相同路产对象进行追踪，确保在连续若干环境图像中，相同路产对象只被上传一次，从而减少冗余数据和传输带宽的使用。基于预设规则，确定综合评分值最高的环境图像，从而降低计算压力，提高路产检测的效率。

Description

路产采集方法及采集系统

技术领域

本申请涉及道路交通技术领域，尤其涉及一种路产采集方法及采集系统。

背景技术

路产是公路、公路用地、公路设施的总称。公路包括公路路基、路面、桥梁、涵洞、隧道。交通道路路面在自然因素或行车载荷的长期作用下，容易出现裂缝、坑槽、松散等不同类型的病害。这些病害的出现，不仅使得路面结构强度降低，也会导致路面的连贯性遭到破坏，最终影响道路的使用年限和行车安全。因此，路产采集作为维护和管理道路基础设施不可或缺的环节，在现代城市基础设施的建设与管理中扮演着至关重要的角色。

在实现现有技术中，发明人发现：

传统的路产采集方法，尽管在某种程度上能够实现其功能，却常常需要倚赖昂贵的专用设备以及繁琐的人工操作流程，从而导致操作成本居高不下。

随着科技的不断进步与普及，智能手机的便携性和普及性使得它们可以成为路产检测领域的理想工具。但现有的手机检测应用带宽、内存有限，无法在短时间内，将采集的路产信息进行路产检测，存在效率低下等问题。

因此，需要提供一种路产采集方法及系统，用以解决路产检测效率较低的技术问题。

发明内容

本申请实施例提供一种路产采集方法及系统，用以解决路产检测效率较低的技术问题。

具体的，一种路产采集方法，包括以下步骤：

移动端采集环境图像流；

对环境图像流进行路产对象识别，确定环境图像流中记录路产对象的若干环境图像，作为识别结果；

对环境图像进行路产对象追踪，确定记录相同路产对象的若干环境图像；

基于预设规则，对相同路产对象的若干环境图像进行综合评分；

确定综合评分值最高的环境图像，作为采集结果。

进一步的，所述方法还包括：

移动端根据预设上传规则，上传采集结果至云端；

云端接收采集结果；

输入采集结果至Dino视觉检测模型，确定路产对象的视觉参数；

将路产对象的视觉参数与路产对象的初始参数进行比对，确定路产对象的状态。

进一步的，所述基于预设规则，对相同路产对象的若干环境图像进行综合评分，具体包括：

获取所述识别结果中环境图像的识别分数；

获取相同路产对象在环境图像中的位置信息评分、占比信息评分；

根据位置信息评分、占比信息评分、识别分数的预设权重占比，确定相同路产对象的若干环境图像的综合评分。

进一步的，所述基于预设规则，对相同路产对象的若干环境图像进行综合评分，具体包括：

获取移动端的参考速度评分、颠簸程度评分、曝光参数；

根据参考速度评分、颠簸程度评分、曝光参数的预设权重占比，确定相同路产对象的若干环境图像的综合评分。

进一步的，所述移动端采集环境图像流，具体包括：

通过Camera2 API控制移动端的曝光时间、感光度，以提高图像清晰度。

进一步的，所述移动端采集环境图像流，具体包括：

通过陀螺仪，监控移动端的速度和颠簸程度，以提高图像清晰度。

进一步的，所述对环境图像流进行路产对象识别，确定环境图像流中记录路产对象的若干环境图像，作为识别结果，具体包括：

输入环境图像流至NCNN深度学习计算框架和Yolo-nano预训练目标检测模型，得到环境图像流中记录路产对象的若干环境图像，作为识别结果。

进一步的，所述方法还包括：

获取移动端采集环境图像流时的轨迹信息；

根据时间戳，将环境图像流和轨迹信息进行时间同步，获得记录路产对象的若干环境图像对应的移动端轨迹信息。

本申请实施例还提供一种路产采集系统，包括：

移动端，用于采集环境图像流；还用于对环境图像流进行路产对象识别，确定环境图像流中记录路产对象的若干环境图像，作为识别结果；还用于对环境图像进行路产对象追踪，确定记录相同路产对象的若干环境图像；还用于基于预设规则，对相同路产对象的若干环境图像进行综合评分；还用于确定综合评分值最高的环境图像，作为采集结果。

进一步的，所述移动端，还用于根据预设上传规则，上传采集结果至云端；

所述系统还包括：

云端，用于接收采集结果；还用于输入采集结果至Dino视觉检测模型，确定路产对象的视觉参数；还用于将路产对象的视觉参数与路产对象的初始参数进行比对，确定路产对象的状态。

本申请实施例提供的技术方案，至少具有如下有益效果：

采用目标追踪技术，对若干环境图像中的相同路产对象进行追踪，确保在连续若干环境图像中，相同路产对象只被上传一次，从而减少冗余数据和传输带宽的使用。基于预设规则，确定综合评分值最高的环境图像，从而降低计算压力，提高路产检测的效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本申请实施例提供的一种路产采集方法的流程框图；

图2为本申请实施例提供的一种路产采集系统的结构示意图；

图3为本申请实施例提供的另一种路产采集系统的结构示意图。

图中附图标记表示为：

100-路产采集系统

11-移动端

12-云端。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参照图1，为解决路产检测效率较低的技术问题，本申请提供路产采集方法，包括以下步骤：

S100：移动端采集环境图像流。

可以理解的是，所述流为视频流。视频流可以理解为包含了多个视频帧（即图像）的集合。移动端采集环境图像流，简单来说，就是移动端通过设备拍摄视频。所述环境可以理解为包含公路路产的空间。进一步看，所述环境图像可以理解为包含公路路产的空间图像。因此，移动端通过设备拍摄公路路产周边一定范围的空间视频。

移动端在采集过程中，先请求移动端拍摄设备的权限。当移动端拍摄设备被授予权限后，启动。接着，移动端拍摄设备接收若干环境图像。若干环境图像组成环境图像流。这里的移动端可以为手机、笔记本、平板电脑、POS机甚至包括车载电脑。在本申请的一个具体实施例中，移动端指手机或具有多种应用功能的智能手机。当移动端为手机时，所述移动端拍摄设配即可以为相机。因此，在本申请的采集场景中，当相机获取权限后，开启。开启后，相机拍摄公路路产周边一定范围内的视频。这里相机获取权限后再进行采集，可以保证移动端采集环境图像流，而不会获取到特定隐私信息，保证隐私性和安全性。

在具体采集过程中，不可避免的，公路地面有损坏、变形等。具体表现在公路地面有裂缝、车辙、坑槽、沉陷、错台等道路病害及其它缺陷。这将导致移动端在采集环境图像流时，出现颠簸情况。另外的，在一些限速路面，移动端不得不保持一定的高速度。再者说，移动端在进出隧道时刻，光线变化太快。以上种种都会导致移动端采集环境图像流比较模糊，环境图像不清晰。

进一步的，为提高环境图像的清晰度，在本申请提供的一种优选实施方式中，所述移动端采集环境图像流，具体包括：

通过Camera2 API控制移动端的曝光时间、感光度，以提高图像清晰度。

可以理解的是，所述Camera2 API提供了移动端相机的API（ApplicationProgramming Interface，程序之间的接口），可以更好地控制和管理移动端相机设备。在使用Camera2 API时，按照以下步骤进行操作：

获取相机设备：获取相机管理器对象，并获取相机设备的ID；

打开相机：监听相机设备的状态变化，并打开相机；

创建相机会话：创建相机会话，并设置会话的配置；

配置相机参数：创建对象，并设置相机参数；

捕捉图像：捕捉图像，监听捕捉过程和结果。

使用Camera2 API，可以通过调整曝光时间和感光度等参数来控制图像的曝光。其中，曝光时间决定了相机将接收光线的时间长短，而感光度则决定了相机对光线的敏感程度。通过适当调整曝光时间和感光度，以提高图像清晰度。同时，使用自动曝光功能可以根据当前环境光线的亮度自动调整曝光参数，以实现曝光的矫正。自动曝光可以确保在不同场景下获得正确的曝光，从而解决高速移动、颠簸等情况下可能出现的图像模糊问题。

因此，在本申请的一个具体实施例中，通过Camera2 API对移动端相机的曝光时间、感光度等参数进行控制，并定期使用自动曝光进行曝光参数的矫正，以此解决高速移动、颠簸等情况下，图像模糊的问题，提高图像清晰度。

以上为针对环境图像进行图像清晰度处理。另一方面，可以在移动端进行图像清晰度处理。

进一步的，为提高环境图像的清晰度，在本申请提供的一种优选实施方式中，所述移动端采集环境图像流，具体包括：

通过陀螺仪，监控移动端的速度和颠簸程度，以提高图像清晰度。

可以理解的是，所述陀螺仪为角速度传感器，可以测量、控制物体在相对惯性空间中的角运动。陀螺仪的具体原理为，物体在旋转时，其旋转轴在不受外力影响的情况下，旋转轴所指方向不变。因此可以用来测量角位移或角速度。移动端在采集环境图像流时，由于手抖，很容易弱化成像质量。再加上公路地面有损坏、变形等因素，采集的环境图像质量偏低。在本申请的一个具体实施例中，通过陀螺仪检测出移动端采集时的运动倾向，并将手抖产生的偏差反馈给图像处理器。接着通过图像识别算法，对拍摄时产生的抖动幅度进行补偿，从而让所拍摄的画面效果更好，更清晰。

以上，通过对设备定位、陀螺仪的监控，判断用户手机当前的速度和颠簸程度等。并根据这些参数评估相机拍摄状态，优化后续处理过程，可以提高环境图像的清晰度。

S200：对环境图像流进行路产对象识别，确定环境图像流中记录路产对象的若干环境图像，作为识别结果。

可以理解的是，所述路产对象包括但不限于路基、路面、桥梁、涵洞、隧道、绿化带、隔离带、界碑、检测设施、监控设施、标志牌、路灯、排水设备、防护构造物、交叉道口、测桩、安全设施、防护设施、服务设施、渡口码头、花草林木、专用房屋、交通标志、路面标线、隔离设施、视线诱导标等。

不可避免的，在采集环境图像流过程中，移动端会采集到不包含路产对象的环境图像，比如，天空等。如果将全部的环境图像进行识别，对识别算法和存储空间都会带来一定的挑战。因此，在本申请中，对环境图像流进行路产对象识别后，确定环境图像流中记录路产对象的若干环境图像，作为识别结果。

进一步的，为减小识别难度，提高识别准确率，在本申请提供的一种优选实施方式中，所述对环境图像流进行路产对象识别，确定环境图像流中记录路产对象的若干环境图像，作为识别结果，具体包括：

输入环境图像流至NCNN深度学习计算框架和Yolo-nano预训练目标检测模型，得到环境图像流中记录路产对象的若干环境图像，作为识别结果。

可以理解的是，所述NCNN（Nih Caffe Neural Network）深度学习计算框架是一个高效、轻量级的深度学习计算框架，专门用于在移动设备和嵌入式系统上进行推断。相较于其他深度学习计算框架，NCNN深度学习计算框架的跨平台性、兼容性更好。

所述Yolo-nano预训练目标检测模型相比于传统的目标检测方法，具有快速和实时性的优势，能够在图像或视频中准确地识别和定位多个目标物体。Yolo-nano预训练目标检测模型将目标检测问题转化为一个回归问题。具体的，将输入图像划分为固定大小的网格，并在每个网格中预测目标边界框的位置和类别概率。这意味着只需对整个图像进行一次前向传播，即可同时预测出所有目标的位置和类别。相比于传统的目标检测方法，Yolo-nano预训练目标检测模型体积小，执行效率高，更适配手机端等具有局限性的硬件环境。

在本申请的一个具体实施例中，将移动端采集的环境图像流输入至NCNN深度学习计算框架和Yolo-nano预训练目标检测模型，进行目标检测。这一步骤的目的是检测出每帧环境图像是否记录了路产对象。当检测到路基、路面、桥梁、涵洞等路产对象时，将记录有路产对象的环境图像帧作为识别结果。由于采用了NCNN深度学习计算框架和Yolo-nano预训练目标检测模型，降低了识别难度，从而提高识别准确率。另外的，由于NCNN深度学习计算框架和Yolo-nano预训练目标检测模型都具体高效、轻量级特点，保了证各类主流移动端的目标识别处理效率可达到10FPS，可以有效缓解卡顿、发热等问题。

S300：对环境图像进行路产对象追踪，确定记录相同路产对象的若干环境图像。

进一步的，所述对环境图像进行路产对象追踪，具体包括：

采用ByteTrack算法对环境图像进行路产对象追踪。

可以理解的是，所述ByteTrack算法是基于tracking-by-detection范式的跟踪算法，通过关联每个检测框而不仅仅是高分检测框来进行跟踪。对于低分检测框，利用检测框与轨迹的相似性来恢复真实目标，并过滤掉背景。值得注意的是，这里不同于传统的目标检测，这里为多目标追踪，目的是识别环境图像中物体或对象的位置和身份。

由于移动端带宽有限，因此采用多目标追踪ByteTrack算法技术，对连续环境图像中的相同的路产对象进行追踪，确保在连续环境图像中，相同的路产对象只被上传一次，从而减少冗余数据和传输带宽的使用，同时也降低云端的带宽、存储和计算压力。该ByteTrack算法效率和准确性高，并能够解决遮挡等问题，适合手机端具有局限性的硬件环境。

S400：基于预设规则，对相同路产对象的若干环境图像进行综合评分。

可以理解的是，记录相同路产对象的若干环境图像中，每帧环境图像的质量是不一样的。换句话说，记录相同路产对象的多张环境图像中，只有几张是最佳的。这种最佳的意思就是，在某帧环境图像中，路产对象位于环境图像的中间，且大小适当。拍摄该帧路产对象时，移动端的速度刚好、不颠簸、也处于最佳的曝光情况。

在本申请的一个具体实施例中，假设路产对象为路灯。先确定记录相同路灯的若干环境图像。如果对记录相同路灯的若干环境图像都进行识别，运算量太大。因此，基于预设规则，对相同路产对象的若干环境图像进行综合评分。对相同路产对象的若干环境图像进行筛选，选取最优图片上传。

进一步的，为了减少路产检测的计算量，在本申请提供的一种优选实施方式中，所述基于预设规则，对相同路产对象的若干环境图像进行综合评分，具体包括：

获取所述识别结果中环境图像的识别分数；

获取相同路产对象在环境图像中的位置信息评分、占比信息评分；

根据位置信息评分、占比信息评分、识别分数的预设权重占比，确定相同路产对象的若干环境图像的综合评分。

可以理解的是，所述识别分数是Yolo-nano预训练目标检测模型的返回结果，代表“识别对象”确系“相应识别类型”的概率。根据相同路产对象在环境图像中的位置信息，可以确定所述相同路产对象在环境图像中的位置信息评分。具体的，位置信息评分越高，表示路产对象在环境图像中的位置处于正中间。所述占比信息可以理解为路产对象在路产环境图像中的占比大小，例如，路产对象占环境图像较大面积，或者只占了一个小角落，或者只占上下边沿。

可以理解的是，追踪框回调后，根据追踪编号进行记录。基于预设规则，对相同路产对象的若干环境图像进行一一综合评分。如果有更优帧则抛弃当前帧，记录更优帧。具体的，获取识别结果中环境图像的识别分数、相同路产对象在环境图像中的位置信息评分、占比信息评分，比较顺序为贴边、分数、曝光、面积。根据位置信息评分、占比信息评分、识别分数的预设权重占比，确定相同路产对象的若干环境图像的综合评分。当第一帧的综合评分与第二帧的综合评分之差小于0.1时，优先选择非自动曝光帧。当第一帧的综合评分与第二帧的综合评分之差小于0.05时，优先按占比信息评分比较。这里的第一帧和第二帧为有前后顺序的帧。换句话说，这里的综合评分按照取不贴边、取评分高、取非自动曝光、取更大的框来进行评分。

在本申请的一个具体实施例中，当相同路产对象在环境图像中的占比大于环境图像的1/4，且识别分数大于0.9，且相同路产对象在环境图像中的位置不贴边，确定为帧环境图像直接上传的标准。当相同路产对象在环境图像中的占比长宽均大于10像素，且识别分数大于0.5，确定为帧环境图像允许上传的标准。需要强调的是，如果环境图像帧达到直接上传标准，则直接上传。此时释放缓存并记录已上传状态。另外，为了保证连续性，消失帧数达到一定程度即可以理解为连续10帧无此追踪编号或结束采集时，如果符合允许上传标准则上传，否则抛弃，以保证相同路产对象仅上传一次，相同图像仅上传一次，减少了路产检测的计算量。

进一步的，为了减少路产检测的计算量，在本申请提供的一种优选实施方式中，所述基于预设规则，对相同路产对象的若干环境图像进行综合评分，具体包括：

获取移动端的参考速度评分、颠簸程度评分、曝光参数；

根据参考速度评分、颠簸程度评分、曝光参数的预设权重占比，确定相同路产对象的若干环境图像的综合评分。

可以理解的是，所述参考速度评分表示移动端在采集环境图像流时的移动速度。所述曝光参数包括光圈、快门速度和感光度。在本申请的一个具体实施例中，赋予参考速度评分、颠簸程度评分、曝光参数不同的权重。根据参考速度评分、颠簸程度评分、曝光参数的预设权重占比，确定相同路产对象的若干环境图像的综合评分。

进一步的，在本申请提供的一种优选实施方式中，基于预设规则，对相同路产对象的若干环境图像进行综合评分

获取所述识别结果中环境图像的识别分数；

获取相同路产对象在环境图像中的位置信息评分、占比信息评分；

根据位置信息评分、占比信息评分、识别分数的预设权重占比，确定相同路产对象的若干环境图像的第一评分；

获取移动端的参考速度评分、颠簸程度评分、曝光参数；

根据参考速度评分、颠簸程度评分、曝光参数的预设权重占比，确定相同路产对象的若干环境图像的第二评分；

根据第一评分、第二评分，确定相同路产对象的若干环境图像的综合评分。

S500：确定综合评分值最高的环境图像，作为采集结果。

可以理解的是，所述确定综合评分值最高的环境图像即从移动端采集的环境图像流中，筛选出记录了相同路产对象的最佳环境图像。在本申请的一个具体实施例中，在一段连续的只记录了路灯的环境图像流中，筛选出路灯位于中间、路灯大小适当，识别分数更优的环境图像帧，筛选掉路灯位于环境图像的边沿、路灯占比小的环境图像帧，避免占用上传资源，从而提高效率。

进一步的，为了提高数据的运算效率，在本申请提供的一种优选实施方式中，所述方法还包括：

移动端根据预设上传规则，上传采集结果至云端；

云端接收采集结果；

输入采集结果至Dino视觉检测模型，确定路产对象的视觉参数；

将路产对象的视觉参数与路产对象的初始参数进行比对，确定路产对象的状态。

可以理解的是，所述云端通常指的是云计算中的云服务提供商的数据中心。这些数据中心通过互联网提供计算资源、存储和应用程序服务，允许用户通过网络访问和使用这些资源。云端AI处理是指将AI模型和算法部署在云计算服务提供商的远程服务器上，然后通过互联网连接从远程云服务器获取AI服务。云端AI通常用于需要大量计算资源和数据的任务，如深度学习模型训练、大规模数据分析和高性能计算。云端提供了强大的计算能力，可以容易地扩展以满足高负载需求。云端AI处理还能够集中管理和更新AI模型，确保最新的算法和数据可用。

所述移动端可以理解为边缘端的一种具体形式。所述边缘端通常指位于物理网络或设备靠近数据源和最终用户的位置。它包括接近数据生成源的设备、传感器、嵌入式系统、物联网设备以及位于网络边缘的服务器和计算资源。边缘端AI处理是指将AI模型和算法部署在靠近数据源或设备的本地计算资源上，以在本地进行AI推断和数据处理，而不必将数据传输到远程云服务器。边缘端AI通常用于需要实时响应、低延迟和数据隐私的应用程序，如智能摄像头、自动驾驶汽车、物联网设备和工业自动化。边缘端AI可以在设备上运行，减少了对互联网连接的依赖，从而增强了可靠性和安全性。手机相较于其他“边缘端”设备，性能更加受限，但普及度更高，成本更低。

当移动端开始采集环境图像流时，根据时间戳，将移动端时间戳和云端时间戳进行同步，以使云端实时获取移动端的采集结果。

线程是操作系统能够进行运算调度的最小单位。所述线程被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流。而一个进程中可以并发多个线程，每条线程并行执行不同的任务。

由于需上传的采集结果产生较快，而移动端的带宽和内存资源有限，故需要一套专门的上传机制保证移动端的图像正常上传。所述预设上传规则如下：

图像处理线程，将需上传的环境图像和对应信息保存到内存队列，不影响后续图像处理。

文件缓存线程，读取内存队列图像和信息后，保存到本地目录下，并创建标记文件。这里保存到本地是为了不因带宽限制而导致内存持续上涨，使系统崩溃。

网络上传线程，读取本地标记文件，并以多张一组，上传到云端，并删除本地文件缓存。这里多张一组上传是为了不频繁建立网络连接，缓解大量上传导致的手机端发热问题。

部分异常处理。断网时，上传线程等待。网络恢复时，唤醒线程继续上传。当网络请求错误时，停止继续上传，改为定期重试，防止对服务端造成冲击。如未上传完成即退出，再次打开时继续上传。移动端根据预设上传规则，上传采集结果至云端，可以缓解移动端卡顿、缓解发烫。

云端接收采集结果，并输入采集结果至Dino（Detr with Improved denoisinganchor boxes）视觉检测模型，确定路产对象的视觉参数。

可以理解的是，所述Dino视觉检测模型为一种视觉大模型知识蒸馏模型，是一种针对深度神经网络的模型。通过将一个大型视觉模型中的知识转移到一个小型模型中，从而提高小型模型的性能。Dino视觉大模型知识蒸馏技术主要包括以下步骤：

选择一个大型视觉模型，并在大规模图像数据集上进行预训练；

选择一个小型模型，作为蒸馏目标；

利用大型模型对图像进行特征提取，并将这些特征用于训练小型模型；

使用知识蒸馏技术将大型模型中的知识转移到小型模型中；

对小型模型进行微调，以进一步提高其性能。

在本申请的一个具体实施例中，将采集结果输入到Dino视觉检测模型，确定路产对象的视觉参数。将路产对象的视觉参数与路产对象的初始参数进行比对，确定路产对象的状态。

可以理解的是，所述路产对象的初始参数可以理解为是在道路建设之前就预先规划的存在的参数。本领域技术人员可以理解的是，道路是遵循预先规划进行建设的，因此这类预设存在有明确的预设路产类型、预设路产画面、预设位置信息，即路产对象的初始参数，可供查阅。通过将采集的路产对象的视觉参数与路产对象的初始参数进行比对，可以确定路产对象的状态。

总的来说，移动端的带宽和内存资源有限，而采集的环境图像流是无限的，所以移动端处理效率慢，甚至处理不了，会造成卡顿，无法发挥最佳性能。本申请中，将移动端采集的环境图像流进行筛选，将采集结果上传到云端。在云端发挥运算能力强、数据容量大等优势，采用大模型方式实现精细化分析，高标准实现最终目标需求。

进一步的，在本申请提供的一种优选实施方式中，所述方法还包括：

获取移动端采集环境图像流时的轨迹信息；

根据时间戳，将环境图像流和轨迹信息进行时间同步，获得记录路产对象的若干环境图像对应的移动端轨迹信息。

采用差值法，基于时间戳对移动端的轨迹信息和环境图像流进行同步，获得记录路产对象的若干环境图像对应的移动端轨迹信息。换句话说，即获得每帧环境图像的毫秒级预估位置。将路产对象的预估位置和现有地图数据进行比对，便于修复路产对象。

综上，本申请公开的路产采集的方法，移动端采集环境图像流，通过充分发挥智能手机摄像功能，极大地降低操作成本。对采集的环境图像流进行筛选，将综合评分值最高的环境图像上传到云端，降低了移动端的带宽需求，同时减轻云端负载压力。基于“移动端-云端协同处理”模式思路，充分发挥两端自身特点。在移动端采用高效率、低能耗的方式实现环境图像的粗筛。在云端发挥运算能力强、数据容量大等优势，采用大模型方式实现精细化分析，高标准实现最终目标需求，从而提高路产检测效率。

请参照图2，本申请还提供一种路产采集系统100，所述系统100包括：

移动端11，用于采集环境图像流；还用于对环境图像流进行路产对象识别，确定环境图像流中记录路产对象的若干环境图像，作为识别结果；还用于对环境图像进行路产对象追踪，确定记录相同路产对象的若干环境图像；还用于基于预设规则，对相同路产对象的若干环境图像进行综合评分；还用于确定综合评分值最高的环境图像，作为采集结果。

移动端11用于采集环境图像流。

可以理解的是，所述流为视频流。视频流可以理解为包含了多个视频帧（即图像）的集合。移动端采集环境图像流，简单来说，就是移动端通过设备拍摄视频。所述环境可以理解为包含公路路产的空间。进一步看，所述环境图像可以理解为包含公路路产的空间图像。因此，移动端通过设备拍摄公路路产周边一定范围的空间视频。

移动端在采集过程中，先请求移动端拍摄设备的权限。当移动端拍摄设备被授予权限后，启动。接着，移动端拍摄设备接收若干环境图像。若干环境图像组成环境图像流。这里的移动端可以为手机、笔记本、平板电脑、POS机甚至包括车载电脑。在本申请的一个具体实施例中，移动端指手机或具有多种应用功能的智能手机。当移动端为手机时，所述移动端拍摄设配即可以为相机。因此，在本申请的采集场景中，当相机获取权限后，开启。开启后，相机拍摄公路路产周边一定范围内的视频。这里相机获取权限后再进行采集，可以保证移动端采集环境图像流，而不会获取到特定隐私信息，保证隐私性和安全性。

在具体采集过程中，不可避免的，公路地面有损坏、变形等。具体表现在公路地面有裂缝、车辙、坑槽、沉陷、错台等道路病害及其它缺陷。这将导致移动端在采集环境图像流时，出现颠簸情况。另外的，在一些限速路面，移动端不得不保持一定的高速度。再者说，移动端在进出隧道时刻，光线变化太快。以上种种都会导致移动端采集环境图像流比较模糊，环境图像不清晰。

进一步的，为提高环境图像的清晰度，在本申请提供的一种优选实施方式中，所述移动端11用于采集环境图像流，具体用于：

通过Camera2 API控制移动端的曝光时间、感光度，以提高图像清晰度。

可以理解的是，所述Camera2 API提供了移动端相机的API（ApplicationProgramming Interface，程序之间的接口），可以更好地控制和管理移动端相机设备。在使用Camera2 API时，按照以下步骤进行操作：

获取相机设备：获取相机管理器对象，并获取相机设备的ID；

打开相机：监听相机设备的状态变化，并打开相机；

创建相机会话：创建相机会话，并设置会话的配置；

配置相机参数：创建对象，并设置相机参数；

捕捉图像：捕捉图像，监听捕捉过程和结果。

使用Camera2 API，可以通过调整曝光时间和感光度等参数来控制图像的曝光。其中，曝光时间决定了相机将接收光线的时间长短，而感光度则决定了相机对光线的敏感程度。通过适当调整曝光时间和感光度，以提高图像清晰度。同时，使用自动曝光功能可以根据当前环境光线的亮度自动调整曝光参数，以实现曝光的矫正。自动曝光可以确保在不同场景下获得正确的曝光，从而解决高速移动、颠簸等情况下可能出现的图像模糊问题。

因此，在本申请的一个具体实施例中，通过Camera2 API对移动端相机的曝光时间、感光度等参数进行控制，并定期使用自动曝光进行曝光参数的矫正，以此解决高速移动、颠簸等情况下，图像模糊的问题，提高图像清晰度。

以上为针对环境图像进行图像清晰度处理。另一方面，可以在移动端进行图像清晰度处理。

进一步的，为提高环境图像的清晰度，在本申请提供的一种优选实施方式中，所述移动端11用于采集环境图像流，具体用于：

通过陀螺仪，监控移动端的速度和颠簸程度，以提高图像清晰度。

可以理解的是，所述陀螺仪为角速度传感器，可以测量、控制物体在相对惯性空间中的角运动。陀螺仪的具体原理为，物体在旋转时，其旋转轴在不受外力影响的情况下，旋转轴所指方向不变。因此可以用来测量角位移或角速度。移动端在采集环境图像流时，由于手抖，很容易弱化成像质量。再加上公路地面有损坏、变形等因素，采集的环境图像质量偏低。在本申请的一个具体实施例中，通过陀螺仪检测出移动端采集时的运动倾向，并将手抖产生的偏差反馈给图像处理器。接着通过图像识别算法，对拍摄时产生的抖动幅度进行补偿，从而让所拍摄的画面效果更好，更清晰。

以上，通过对设备定位、陀螺仪的监控，判断用户手机当前的速度和颠簸程度等。并根据这些参数评估相机拍摄状态，优化后续处理过程，可以提高环境图像的清晰度。

移动端11还用于对环境图像流进行路产对象识别，确定环境图像流中记录路产对象的若干环境图像，作为识别结果。

不可避免的，在采集环境图像流过程中，移动端会采集到不包含路产对象的环境图像，比如，天空等。如果将全部的环境图像进行识别，对识别算法和存储空间都会带来一定的挑战。因此，在本申请中，对环境图像流进行路产对象识别后，确定环境图像流中记录路产对象的若干环境图像，作为识别结果。

进一步的，为减小识别难度，提高识别准确率，在本申请提供的一种优选实施方式中，所述对环境图像流进行路产对象识别，确定环境图像流中记录路产对象的若干环境图像，作为识别结果，具体包括：

输入环境图像流至NCNN深度学习计算框架和Yolo-nano预训练目标检测模型，得到环境图像流中记录路产对象的若干环境图像，作为识别结果。

可以理解的是，所述NCNN（Nih Caffe Neural Network）深度学习计算框架是一个高效、轻量级的深度学习计算框架，专门用于在移动设备和嵌入式系统上进行推断。相较于其他深度学习计算框架，NCNN深度学习计算框架的跨平台性、兼容性更好。

所述Yolo-nano预训练目标检测模型相比于传统的目标检测方法，具有快速和实时性的优势，能够在图像或视频中准确地识别和定位多个目标物体。Yolo-nano预训练目标检测模型将目标检测问题转化为一个回归问题。具体的，将输入图像划分为固定大小的网格，并在每个网格中预测目标边界框的位置和类别概率。这意味着只需对整个图像进行一次前向传播，即可同时预测出所有目标的位置和类别。相比于传统的目标检测方法，Yolo-nano预训练目标检测模型体积小，执行效率高，更适配手机端等具有局限性的硬件环境。

在本申请的一个具体实施例中，将移动端采集的环境图像流输入至NCNN深度学习计算框架和Yolo-nano预训练目标检测模型，进行目标检测。这一步骤的目的是检测出每帧环境图像是否记录了路产对象。当检测到路基、路面、桥梁、涵洞等路产对象时，将记录有路产对象的环境图像帧作为识别结果。由于采用了NCNN深度学习计算框架和Yolo-nano预训练目标检测模型，降低了识别难度，从而提高识别准确率。另外的，由于NCNN深度学习计算框架和Yolo-nano预训练目标检测模型都具体高效、轻量级特点，保了证各类主流移动端的目标识别处理效率可达到10FPS，可以有效缓解卡顿、发热等问题。

移动端11还用于对环境图像进行路产对象追踪，确定记录相同路产对象的若干环境图像。

进一步的，所述对环境图像进行路产对象追踪，具体包括：

采用ByteTrack算法对环境图像进行路产对象追踪。

可以理解的是，所述ByteTrack算法是基于tracking-by-detection范式的跟踪算法，通过关联每个检测框而不仅仅是高分检测框来进行跟踪。对于低分检测框，利用检测框与轨迹的相似性来恢复真实目标，并过滤掉背景。值得注意的是，这里不同于传统的目标检测，这里为多目标追踪，目的是识别环境图像中物体或对象的位置和身份。

由于移动端带宽有限，因此采用多目标追踪ByteTrack算法技术，对连续环境图像中的相同的路产对象进行追踪，确保在连续环境图像中，相同的路产对象只被上传一次，从而减少冗余数据和传输带宽的使用，同时也降低云端的带宽、存储和计算压力。该ByteTrack算法效率和准确性高，并能够解决遮挡等问题，适合手机端具有局限性的硬件环境。

移动端11还用于基于预设规则，对相同路产对象的若干环境图像进行综合评分；还用于确定综合评分值最高的环境图像，作为采集结果。

可以理解的是，记录相同路产对象的若干环境图像中，每帧环境图像的质量是不一样的。换句话说，记录相同路产对象的多张环境图像中，只有几张是最佳的。这种最佳的意思就是，在某帧环境图像中，路产对象位于环境图像的中间，且大小适当。拍摄该帧路产对象时，移动端的速度刚好、不颠簸、也处于最佳的曝光情况。

在本申请的一个具体实施例中，假设路产对象为路灯。先确定记录相同路灯的若干环境图像。如果对记录相同路灯的若干环境图像都进行识别，运算量太大。因此，基于预设规则，对相同路产对象的若干环境图像进行综合评分。对相同路产对象的若干环境图像进行筛选，选取最优图片上传。

进一步的，为了减少路产检测的计算量，在本申请提供的一种优选实施方式中，所述基于预设规则，对相同路产对象的若干环境图像进行综合评分，具体包括：

获取所述识别结果中环境图像的识别分数；

获取相同路产对象在环境图像中的位置信息评分、占比信息评分；

根据位置信息评分、占比信息评分、识别分数的预设权重占比，确定相同路产对象的若干环境图像的综合评分。

可以理解的是，所述识别分数是Yolo-nano预训练目标检测模型的返回结果，代表“识别对象”确系“相应识别类型”的概率。根据相同路产对象在环境图像中的位置信息，可以确定所述相同路产对象在环境图像中的位置信息评分。具体的，位置信息评分越高，表示路产对象在环境图像中的位置处于正中间。所述占比信息可以理解为路产对象在路产环境图像中的占比大小，例如，路产对象占环境图像较大面积，或者只占了一个小角落，或者只占上下边沿。

可以理解的是，追踪框回调后，根据追踪编号进行记录。基于预设规则，对相同路产对象的若干环境图像进行一一综合评分。如果有更优帧则抛弃当前帧，记录更优帧。具体的，获取识别结果中环境图像的识别分数、相同路产对象在环境图像中的位置信息评分、占比信息评分，比较顺序为贴边、分数、曝光、面积。根据位置信息评分、占比信息评分、识别分数的预设权重占比，确定相同路产对象的若干环境图像的综合评分。当第一帧的综合评分与第二帧的综合评分之差小于0.1时，优先选择非自动曝光帧。当第一帧的综合评分与第二帧的综合评分之差小于0.05时，优先按占比信息评分比较。这里的第一帧和第二帧为有前后顺序的帧。换句话说，这里的综合评分按照取不贴边、取评分高、取非自动曝光、取更大的框来进行评分。

在本申请的一个具体实施例中，当相同路产对象在环境图像中的占比大于环境图像的1/4，且识别分数大于0.9，且相同路产对象在环境图像中的位置不贴边，确定为帧环境图像直接上传的标准。当相同路产对象在环境图像中的占比长宽均大于10像素，且识别分数大于0.5，确定为帧环境图像允许上传的标准。需要强调的是，如果环境图像帧达到直接上传标准，则直接上传。此时释放缓存并记录已上传状态。另外，为了保证连续性，消失帧数达到一定程度即可以理解为连续10帧无此追踪编号或结束采集时，如果符合允许上传标准则上传，否则抛弃，以保证相同路产对象仅上传一次，相同图像仅上传一次，减少了路产检测的计算量。

进一步的，为了减少路产检测的计算量，在本申请提供的一种优选实施方式中，所述基于预设规则，对相同路产对象的若干环境图像进行综合评分，具体包括：

获取移动端的参考速度评分、颠簸程度评分、曝光参数；

根据参考速度评分、颠簸程度评分、曝光参数的预设权重占比，确定相同路产对象的若干环境图像的综合评分。

可以理解的是，所述参考速度评分表示移动端在采集环境图像流时的移动速度。所述曝光参数包括光圈、快门速度和感光度。在本申请的一个具体实施例中，赋予参考速度评分、颠簸程度评分、曝光参数不同的权重。根据参考速度评分、颠簸程度评分、曝光参数的预设权重占比，确定相同路产对象的若干环境图像的综合评分。

进一步的，在本申请提供的一种优选实施方式中，基于预设规则，对相同路产对象的若干环境图像进行综合评分

获取所述识别结果中环境图像的识别分数；

获取相同路产对象在环境图像中的位置信息评分、占比信息评分；

根据位置信息评分、占比信息评分、识别分数的预设权重占比，确定相同路产对象的若干环境图像的第一评分；

获取移动端的参考速度评分、颠簸程度评分、曝光参数；

根据参考速度评分、颠簸程度评分、曝光参数的预设权重占比，确定相同路产对象的若干环境图像的第二评分；

根据第一评分、第二评分，确定相同路产对象的若干环境图像的综合评分。

可以理解的是，所述确定综合评分值最高的环境图像即从移动端采集的环境图像流中，筛选出记录了相同路产对象的最佳环境图像。在本申请的一个具体实施例中，在一段连续的只记录了路灯的环境图像流中，筛选出路灯位于中间、路灯大小适当，识别分数更优的环境图像帧，筛选掉路灯位于环境图像的边沿、路灯占比小的环境图像帧，避免占用上传资源，从而提高效率。

请参照图3，进一步的，在本申请提供的一种优选实施方式中，所述移动端11，还用于根据预设上传规则，上传采集结果至云端；

所述系统100还包括：

云端12，用于接收采集结果；还用于输入采集结果至Dino视觉检测模型，确定路产对象的视觉参数；还用于将路产对象的视觉参数与路产对象的初始参数进行比对，确定路产对象的状态。

当移动端开始采集环境图像流时，根据时间戳，将移动端时间戳和云端时间戳进行同步，以使云端实时获取移动端的采集结果。

线程是操作系统能够进行运算调度的最小单位。所述线程被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流。而一个进程中可以并发多个线程，每条线程并行执行不同的任务。

由于需上传的采集结果产生较快，而移动端的带宽和内存资源有限，故需要一套专门的上传机制保证移动端的图像正常上传。所述预设上传规则如下：

图像处理线程，将需上传的环境图像和对应信息保存到内存队列，不影响后续图像处理。

文件缓存线程，读取内存队列图像和信息后，保存到本地目录下，并创建标记文件。这里保存到本地是为了不因带宽限制而导致内存持续上涨，使系统崩溃。

网络上传线程，读取本地标记文件，并以多张一组，上传到云端，并删除本地文件缓存。这里多张一组上传是为了不频繁建立网络连接，缓解大量上传导致的手机端发热问题。

部分异常处理。断网时，上传线程等待。网络恢复时，唤醒线程继续上传。当网络请求错误时，停止继续上传，改为定期重试，防止对服务端造成冲击。如未上传完成即退出，再次打开时继续上传。移动端根据预设上传规则，上传采集结果至云端，可以缓解移动端卡顿、缓解发烫。

云端接收采集结果，并输入采集结果至Dino（Detr with Improved denoisinganchor boxes）视觉检测模型，确定路产对象的视觉参数。

可以理解的是，所述Dino视觉检测模型为一种视觉大模型知识蒸馏模型，是一种针对深度神经网络的模型。通过将一个大型视觉模型中的知识转移到一个小型模型中，从而提高小型模型的性能。Dino视觉大模型知识蒸馏技术主要包括以下步骤：

选择一个大型视觉模型，并在大规模图像数据集上进行预训练；

选择一个小型模型，作为蒸馏目标；

利用大型模型对图像进行特征提取，并将这些特征用于训练小型模型；

使用知识蒸馏技术将大型模型中的知识转移到小型模型中；

对小型模型进行微调，以进一步提高其性能。

在本申请的一个具体实施例中，将采集结果输入到Dino视觉检测模型，确定路产对象的视觉参数。将路产对象的视觉参数与路产对象的初始参数进行比对，确定路产对象的状态。

可以理解的是，所述路产对象的初始参数可以理解为是在道路建设之前就预先规划的存在的参数。本领域技术人员可以理解的是，道路是遵循预先规划进行建设的，因此这类预设存在有明确的预设路产类型、预设路产画面、预设位置信息，即路产对象的初始参数，可供查阅。通过将采集的路产对象的视觉参数与路产对象的初始参数进行比对，可以确定路产对象的状态。

总的来说，移动端的带宽和内存资源有限，而采集的环境图像流是无限的，所以移动端处理效率慢，甚至处理不了，会造成卡顿，无法发挥最佳性能。本申请中，将移动端采集的环境图像流进行筛选，将采集结果上传到云端。在云端发挥运算能力强、数据容量大等优势，采用大模型方式实现精细化分析，高标准实现最终目标需求。

进一步的，在本申请提供的一种优选实施方式中，所述移动端11还用于：

获取移动端采集环境图像流时的轨迹信息；

根据时间戳，将环境图像流和轨迹信息进行时间同步，获得记录路产对象的若干环境图像对应的移动端轨迹信息。

采用差值法，基于时间戳对移动端的轨迹信息和环境图像流进行同步，获得记录路产对象的若干环境图像对应的移动端轨迹信息。换句话说，即获得每帧环境图像的毫秒级预估位置。将路产对象的预估位置和现有地图数据进行比对，便于修复路产对象。

综上，本申请公开的路产采集系统100，移动端11采集环境图像流，通过充分发挥智能手机摄像功能，极大地降低操作成本。对采集的环境图像流进行筛选，将综合评分值最高的环境图像上传到云端12，降低了移动端的带宽需求，同时减轻云端负载压力。基于“移动端11-云端12协同处理”模式思路，充分发挥两端自身特点。在移动端采用高效率、低能耗的方式实现环境图像的粗筛。在云端发挥运算能力强、数据容量大等优势，采用大模型方式实现精细化分析，高标准实现最终目标需求，从而提高路产检测效率。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，有语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种路产采集方法，其特征在于，包括以下步骤：

移动端采集环境图像流；

对环境图像流进行路产对象识别，确定环境图像流中记录路产对象的若干环境图像，作为识别结果；

对环境图像进行路产对象追踪，确定记录相同路产对象的若干环境图像；

基于预设规则，对相同路产对象的若干环境图像进行综合评分；

确定综合评分值最高的环境图像，作为采集结果。

2.如权利要求1所述方法，其特征在于，所述方法还包括：

移动端根据预设上传规则，上传采集结果至云端；

云端接收采集结果；

输入采集结果至Dino视觉检测模型，确定路产对象的视觉参数；

将路产对象的视觉参数与路产对象的初始参数进行比对，确定路产对象的状态。

3.如权利要求1所述方法，其特征在于，所述基于预设规则，对相同路产对象的若干环境图像进行综合评分，具体包括：

获取所述识别结果中环境图像的识别分数；

获取相同路产对象在环境图像中的位置信息评分、占比信息评分；

根据位置信息评分、占比信息评分、识别分数的预设权重占比，确定相同路产对象的若干环境图像的综合评分。

4.如权利要求1所述方法，其特征在于，所述基于预设规则，对相同路产对象的若干环境图像进行综合评分，具体包括：

获取移动端的参考速度评分、颠簸程度评分、曝光参数；

根据参考速度评分、颠簸程度评分、曝光参数的预设权重占比，确定相同路产对象的若干环境图像的综合评分。

5.如权利要求1所述方法，其特征在于，所述移动端采集环境图像流，具体包括：

通过Camera2 API控制移动端的曝光时间、感光度，以提高图像清晰度。

6.如权利要求1所述方法，其特征在于，所述移动端采集环境图像流，具体包括：

通过陀螺仪，监控移动端的速度和颠簸程度，以提高图像清晰度。

7.如权利要求1所述方法，其特征在于，所述对环境图像流进行路产对象识别，确定环境图像流中记录路产对象的若干环境图像，作为识别结果，具体包括：

输入环境图像流至NCNN深度学习计算框架和Yolo-nano预训练目标检测模型，得到环境图像流中记录路产对象的若干环境图像，作为识别结果。

8.如权利要求1所述方法，其特征在于，所述方法还包括：

获取移动端采集环境图像流时的轨迹信息；

根据时间戳，将环境图像流和轨迹信息进行时间同步，获得记录路产对象的若干环境图像对应的移动端轨迹信息。

9.一种路产采集系统，其特征在于，包括：

移动端，用于采集环境图像流；还用于对环境图像流进行路产对象识别，确定环境图像流中记录路产对象的若干环境图像，作为识别结果；还用于对环境图像进行路产对象追踪，确定记录相同路产对象的若干环境图像；还用于基于预设规则，对相同路产对象的若干环境图像进行综合评分；还用于确定综合评分值最高的环境图像，作为采集结果。

10.如权利要求9所述系统，其特征在于，所述移动端，还用于根据预设上传规则，上传采集结果至云端；

所述系统还包括：

云端，用于接收采集结果；还用于输入采集结果至Dino视觉检测模型，确定路产对象的视觉参数；还用于将路产对象的视觉参数与路产对象的初始参数进行比对，确定路产对象的状态。