CN114239809A - 一种面向设备多源异构数据识别检测方法 - Google Patents

Abstract

本公开提供了一种面向设备多源异构数据识别检测方法和装置，涉及人工智能技术领域。该方法包括采集多源异构数据；利用标注工具对多源异构数据进行处理生成多源异构数据训练集合；通过所述多源异构数据训练集合对YOLOv5学习模型进行训练，得到目标检测模型并获得模型权重文件；将多源异构数据输入目标检测模型后输出检测信息同时获取多源异构数据的附属信息。本发明的技术方案能够广泛、实时地检测多场景多源异构图像数据，降低检测成本，结合大数据迭代升级，并通过智能终端应用中分权分域来为不同用户实现可控、安全、不同需求的多源异构数据检测应用。

Description

一种面向设备多源异构数据识别检测方法

技术领域

本公开涉及人工智能技术领域，尤其涉及一种面向设备多源异构数据识别检测方法。

背景技术

图像识别为人们提供了日益丰富的实用功能，它的出现极大地改变了现代人的生活方式、工作方式和休闲方式，人们越来越关注人工智能对生活和工作提供的巨大便利，而目前对于图像识别、检测等等技术的应用和实践功能则只能够兼容主流物品识别，没有为人们提供多样定制化的智能识别分类选择。在对非主流和复杂的物品进行识别时，前期需要人工对待检测识别的图片进行相应的处理以统一标准为后续的检测识别工作做好准备。图像识别、检测等等技术达不到完善的图样特征库分类指标，更加不能很好的满足多源异构分类数据的识别要求。特别是针对资产的高效盘点、整理工作以及利用大数据捕捉和分析、确认资产，并提供衍生信息附属的产品或系统，目前还处于空白阶段。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种面向设备多源异构数据识别检测方法及相关设备，至少在一定程度上实现利用人工智能技术完成图样特征库分类指标，满足多源异构分类数据的识别检测要求。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一个方面，提供一种面向设备多源异构数据识别检测方法，包括：采集多源异构数据；利用标注工具对多源异构数据进行处理生成多源异构数据训练集合；通过所述多源异构数据训练集合对YOLOv5学习模型进行训练，得到目标检测模型并获得模型权重文件；将多源异构数据输入目标检测模型后输出检测信息同时获取多源异构数据的附属信息。

进一步地，所述的多源异构数据是用不同设备采集的服务器、路由器、交换机、磁盘、U口、机柜、线缆、串口等分类设备的图样数据。

进一步地，所述利用标注工具对多源异构数据进行处理，包括使用图片标注工具Labellmg对多源异构数据进行标注，标注信息主要包括多源异构数据的类别信息、坐标位置信息。

进一步地，所述YOLOv5学习模型包括输入端、Backbone(主干网络)端、Neck(瓶颈)端和Prediction(预测)端；所述输入端采用Mosaic(马赛克)数据增强的方式，包括自适应锚框计算和自适应图片缩放；所述Backbone端包括Focus(聚焦)结构、两种CSP(CrossStage Partial，跨阶段部分)结构，用于对所述多源异构数据进行聚合并形成图像特征；所述Neck端采用FPN(Feature Pyramid Networks，特征金字塔网络)和PAN(PathAggregation Network，路径聚合网络)的结构，用于提取所述多源异构数据的图像特征，并将图像特征传递到预测层；所述Prediction端采用GIOU_Loss(Generalized intersectionover union Loss，并上广义交损失)做包围盒(Bounding box)的损失函数，用于根据图像特征对待检测的多源异构数据进行预测。

进一步地，所述对YOLOv5学习模型进行训练包括使用不同anchors(锚框)的多尺度滑动窗口，训练出符合要求的权重文件。

进一步地，所述将多源异构数据输入目标检测模型后输出检测信息同时获取多源异构数据的附属信息的步骤包括：移动终端经相机获得实景中多源异构数据，经压缩处理成1*3*640*640的大小；将处理过的多源异构数据输入含有目标检测模型的移动终端进行识别检测；移动端输出识别检测信息，将检测框绘制在目标资产的多源异构数据中并经通讯单元获取多源异构数据的附属信息。

根据本公开的另一个方面，提供一种面向设备多源异构数据识别检测装置，包括：

多源异构数据采集模块，用于采集多源异构数据；

多源异构数据处理模块，用于对多源异构数据进行标注分类处理生成多源异构数据训练集合；

多源异构数据训练模块，用于建立YOLOv5学习模型，对多源异构数据训练集合进行训练和识别，从而得到权重文件；

多源异构数据检测模块，用于利用目标检测模型对待检测的多源异构数据进行识别检测，输出检测信息和多源异构数据的附属信息。

进一步地，所述一种面向设备多源异构数据识别检测装置还可以包括以下模块：

存储模块，用于存储检测信息和多源异构数据的附属信息；

控制模块，用于控制多源异构数据采集模块、多源异构数据处理模块、多源异构数据训练模块、多源异构数据检测模块、存储模块的运行。

根据本公开的再一个方面，提供一种面向设备多源异构数据识别检测设备，包括：

至少一个处理器和用于与所述至少一个处理器所通讯连接的存储器；所述存储器存储有可悲所述至少一个处理器执行的命令，所述命令被所述至少一个处理器执行，以使述所至少一个处理器能够执行如上述第一方面的一种面向设备多源异构数据识别检测方法。

根据本公开的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面的一种面向设备多源异构数据识别检测方法。

根据本公开的又一个方面，提供一种计算机程序产品，计算机程序产品包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当计算机程序指令被处理器执行时，使处理器执行如上述第一方面的一种面向设备多源异构数据识别检测方法。

本公开的实施例所提供的一种面向设备多源异构数据识别检测方法及装置，包括：采集多源异构数据；利用标注工具对多源异构数据进行处理生成多源异构数据训练集合；通过所述多源异构数据训练集合对YOLOv5学习模型进行训练，得到目标检测模型并获得模型权重文件；将多源异构数据输入目标检测模型后输出检测信息同时获取多源异构数据的附属信息。相比现有技术的技术方案，本公开的技术方案能够自动实现直接对广泛、实时采集的多场景多源异构图像数据进行识别、检测，并获取该多源异构数据的相关信息，节省了对于多源异构数据进行人工处理的环节，结合大数据迭代升级，并通过智能终端应用中分权分域来为不同用户实现可控、安全、不同需求的多源异构数据识别检测应用。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本公开一个示例性实施例提供的一种面向设备多源异构数据识别检测方法的流程图；

图2是本公开一个示例性实施例提供的一种面向设备多源异构数据识别检测方法的实际应用总体框架结构示意图；

图3是本公开一个示例性实施例提供的一种面向设备多源异构数据识别检测方法的YOLOv5学习模型的结构示意图；

图4是本公开一个示例性实施例提供的一种面向设备多源异构数据识别检测方法的Focus结构示意图；

图5是本公开一个示例性实施例提供的一种面向设备多源异构数据识别检测方法的CSP1_X结构示意图；

图6是本公开一个示例性实施例提供的一种面向设备多源异构数据识别检测方法的CSP2_X结构示意图；

图7是本公开一个示例性实施例提供的一种面向设备多源异构数据识别检测方法的CSP结构中的CBL(二维卷积操作Conv+归一化BatchNormalization+非线性激活函数Leaky_relu)与重聚合Resunit模块示意图；

图8是本公开一个示例性实施例提供的一种面向设备多源异构数据识别检测方法的构建YOLOv5学习模型的流程示意图；

图9是本公开一个示例性实施例提供的一种面向设备多源异构数据识别检测装置的装置示意图；

图10是本公开一个示例性实施例提供的一种面向设备多源异构数据识别检测设备。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

本申请提供的方案，能够广泛、实时地检测多场景多源异构图像数据，降低检测成本，结合大数据迭代升级，并通过智能终端应用中分权分域来为不同用户实现可控、安全、不同需求的多源异构数据检测应用。为了便于理解，下面首先对本申请涉及到的几个名词进行解释。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR(Optical Character Recognition，光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D(3-Dimension，三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

本申请实施例提供的方案涉及人工智能的图像识别等技术，具体通过如下实施例进行说明：

图1是本公开一个示例性实施例提供的一种面向设备多源异构数据识别检测方法的流程图，包括以下步骤：

步骤S1，采集多源异构数据；

步骤S2，利用标注工具对多源异构数据进行处理生成多源异构数据训练集合，标注工具可以使用数据集标注软件Labellmg对多源异构数据进行标注，标注信息主要包括多源异构数据的类别信息、坐标位置信息。

步骤S3，通过所述多源异构数据训练集合对YOLOv5学习模型进行训练，得到目标检测模型并获得模型权重文件；

步骤S4，将多源异构数据输入目标检测模型后输出检测信息同时获取多源异构数据的附属信息。

图2是本申请一个示例性实施例提供的一种面向设备多源异构数据识别检测方法与识别的实际应用总体框架结构示意图，包括以下步骤：

步骤S21，移动终端经相机获得实景中多源异构数据；

步骤S22，多源异构数据经压缩处理成1*3*640*640的大小；

步骤S23，将处理过的多源异构数据输入含有目标检测模型的移动终端进行识别检测；

步骤S24，移动端输出识别检测信息，将检测框绘制在目标资产的多源异构数据中并经通讯单元获取多源异构数据的附属信息。

图3是本申请一个示例性实施例提供的一种面向设备多源异构数据识别检测方法中的YOLOv5学习模型，包括输入端、主干网络(Backbone)端、瓶颈(Neck)端和预测(Prediction)端；所述Backbone端用于对所述多源异构数据进行聚合并形成图像特征；所述Neck端用于提取所述多源异构数据的图像特征，并将图像特征传递到预测层；所述Prediction端用于根据图像特征对待检测的多源异构数据进行预测。

输入端：Mosaic数据增强参考了CutMix数据增强方式，理论上具有一定的相似性。裁剪混合CutMix数据增强方式利用两张图片进行拼接，而Mosaic数据增强利用了四张图片。Mosaic数据增强的实现思路：每次读取四张图片；分别对四张图片进行翻转、缩放、色域变化等，并且按照四个方向位置摆好；进行图片的组合和框的组合。随机缩放、随机裁剪、随机排布的方式进行拼接，对于小目标的检测效果较好。Mosaic数据增强主要有几个优点：1.丰富数据集：随机使用四张图片，随机缩放，再随机分布进行拼接，大大丰富了检测数据集，特别是随机缩放增加了很多小目标，让网络的鲁棒性更好。2.减少图形处理器(graphicsprocessing unit，GPU)：Mosaic增强训练时，可以直接计算四张图片的数据，使得Mini-batch大小并不需要很大，一个GPU就可以达到比较好的效果。

自适应锚框计算：在YOLOv5算法中，针对不同的数据集，都会有初始设定长宽的锚框。在网络训练中，网络在初始锚框的基础上输出预测框，进而和真实框ground truth进行比对，计算两者差距，再反向更新，迭代网络参数。YOLOv5网络在每次训练时，自适应的计算不同训练集中的最佳锚框值。

自适应图片缩放：在常用的目标检测算法中，不同的图片长宽都不相同，因此常用的方式是将原始图片统一缩放到一个标准尺寸，再送入检测网络中。在YOLOv5的代码中数据集datasets.py的信箱letterbox函数中进行了修改，对原始图像自适应的添加最少的黑边。YOLOv5算法中常用416*416，608*608等尺寸，比如对800*600的图像进行缩放。具体步骤如下：

步骤一：计算缩放比例。原始缩放尺寸是416*416，都除以原始图像的尺寸后，可以得到0.52，和0.69两个缩放系数，选择小的缩放系数。

步骤二：计算缩放后的尺寸。原始图片的长宽都乘以最小的缩放系数0.52，宽变成了416，而高变成了312。

步骤三：计算黑边填充数值。将416-312＝104，得到原本需要填充的高度。再采用numpy中np.mod取余数的方式，得到8个像素，再除以2，即得到图片高度两端需要填充的数值。

Backbone端：Focus结构示意图如图4所示，其关键是切片操作。以YOLOv5s的结构为例，原始608*608*3的图像输入Focus结构，采用切片操作，先变成304*304*12的特征图，再经过一次32个卷积核的卷积操作，最终变成304*304*32的特征图。

YOLOv5检测算法的Backbone端中另外同一个关键结构是CSP：YOLOv5中设计了两种CSP结构，以yolov5s网络为例，CSP1_X结构示意图如图5所示应用于Backbone端主干网络，另一种CSP2_X结构示意图如图6所示则应用于Neck中。CSP结构中的CBL与Resunit模块，如图7所示。

Neck端：YOLOv5的Neck用FPN+PAN的结构，采用借鉴CSPnet设计的CSP2结构，加强网络特征融合的能力。

Prediction端：

Bounding box损失函数：YOLOv5中采用其中的GIOU_Loss做Bounding box的损失函数。在目标检测任务中，Bounding Box的评估指标是IoU，IoU范围在(0,1)之间，具有尺度不变性，而且可以衡量各种形状的匹配程度。

定义：

其中A为预测盒Prediction box与真实盒Ground truth box的交集；B为Prediction box与Ground truth box的并集；C是预测框和目标框的最小外接矩形。

GIoU损失不仅关注重叠区域，还关注非重合区域，解决了无重叠框之间差距无法评估的问题。当预测框和目标框完全重叠：GIoU＝IoU＝1；当预测框和目标框无重叠，GIoU随着距离增大而减小，趋近于-1。

非极大值抑制nms：在目标检测的后处理过程中，针对很多目标框的筛选，通常需要nms操作。YOLOv4在DIOU_Loss的基础上采用DIOU_nms的方式，而YOLOv5中采用加权nms的方式。

利用YOLOv5检测算法输出皮肤病类型之前，应先完成yolov5检测网络的搭建，具体流程如图8所示，步骤如下：

步骤一：构建YOLOv5框架；

步骤二：安装相关依赖项，进行虚拟环境配置；

步骤三：训练准备的多源异构数据集合，得到所需权重文件，具体如下：对多源异构数据集合与网络参数方面的yaml文件修改；在train.py中修改参数；执行train.py文件开始训练，得到目标检测模型并获得模型权重文件。

图9是本申请一个示例性实施例提供的面向设备多源异构数据识别检测装置，在该面向设备多源异构数据识别检测装置900中，包括但不限于以下模块：多源异构数据采集模块910、多源异构数据处理模块920、多源异构数据训练模块930、多源异构数据检测模块940。

其中，多源异构数据处理模块910，用于采集多源异构数据；

多源异构数据处理模块920，用于对多源异构数据进行标注分类处理生成多源异构数据训练集合；

多源异构数据训练模块930，用于建立YOLOv5学习模型，对多源异构数据训练集合进行训练和识别，从而得到权重文件；

多源异构数据检测模块940，用于利用目标检测模型对待检测的多源异构数据进行识别检测，输出检测信息和多源异构数据的附属信息.

优选地，该面向设备多源异构数据识别检测装置900还可以包括存储模块950，用于存储检测信息和多源异构数据的附属信息；

可选地，该面向设备多源异构数据识别检测装置900还可以包括控制模块960，用于控制多源异构数据采集模块910、多源异构数据处理模块920、多源异构数据训练模块930、多源异构数据检测模块940、存储模块950的运行；

需要说明的是，由于本实施例中的一种面向设备多源异构数据识别检测装置与上述任一实施例中的一种面向设备多源异构数据识别检测方法基于相同的发明构思，因此，方法实施例中的相应内容同样适用于本系统实施例，此处不再详述。

图10是本申请一个示例性实施例提供的面向设备多源异构数据识别检测设备，该面向设备多源异构数据识别检测设备1000可以是任意类型的终端，如是手机、游戏主机、平板电脑、电子书阅读器、智能眼镜、MP4(MovingPicture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、智能家居设备、AR(Augmented Reality，增强现实)设备、VR(Virtual Reality，虚拟现实)设备等移动终端，或者，该面向设备多源异构数据识别检测设备1000也可以是个人计算机(Personal Computer，PC)，比如膝上型便携计算机和台式计算机等等手机、平板电脑、个人计算机等。

其中，该面向设备多源异构数据识别检测设备1000可以安装有用于提供.....的应用程序。

优选地，该面向设备多源异构数据识别检测设备1000包括：一个或多个处理器1010和存储器1020，图10中以一个处理器1010为例。

处理器1010和存储器1020可以通过总线或其他方式连接，图10以通过总线连接为例。

存储器1020作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态性计算机可执行程序以及模块，如本发明实施例中的面向设备多源异构数据识别检测设备1000设备对应的程序指令/模块，例如，图9中所示的多源异构数据采集模块910、多源异构数据处理模块920、多源异构数据训练模块930、多源异构数据检测模块940。处理器1010通过运行存储在存储器1020中的非暂态软件程序、指令以及模块，从而执行面向设备多源异构数据识别检测装置900的各种功能应用以及数据处理，即实现上述方法实施例的一种面向设备多源异构数据识别检测方法。

存储器1020可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据面向设备多源异构数据识别检测装置900的使用所创建的数据等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器1020可选包括相对于处理器1010远程设置的存储器，这些远程存储器可以通过网络连接至该面向设备多源异构数据识别检测设备900。

可选的，上述的网络连接可以是无线网络或有线网络使用标准通信技术和/或协议。网络通常为因特网、但也可以是任何网络，包括但不限于局域网(Local Area Network，LAN)、城域网(Metropolitan Area Network，MAN)、广域网(Wide Area Network，WAN)、移动、有线或者无线网络、专用网络或者虚拟专用网络的任何组合)。在一些实施例中，使用包括超文本标记语言(Hyper Text Mark-up Language，HTML)、可扩展标记语言(ExtensibleMarkupLanguage，XML)等的技术和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层(Secure Socket Layer，SSL)、传输层安全(Transport Layer Security，TLS)、虚拟专用网络(Virtual Private Network，VPN)、网际协议安全(InternetProtocolSecurity，IPsec)等常规加密技术来加密所有或者一些链路。在另一些实施例中，还可以使用定制和/或专用数据通信技术取代或者补充上述数据通信技术。

所述一个或者多个单元存储在所述存储器1020中，当被所述一个或者多个处理器1010执行时，执行上述任意方法实施例中的一种面向设备多源异构数据识别检测方法。例如，执行以上描述的图1中的方法步骤S1至S4，图2中的方法步骤S21至S24，实现图9中的模块910-960的功能。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如，被图10中的一个处理器1010执行，可使得上述一个或多个处理器1010执行上述方法实施例中的一种面向设备多源异构数据识别检测方法，例如，执行以上描述的图1中的方法步骤S1至S4，图2中的方法步骤S21至S24，实现图9中的模块910-960的功能。

本发明实施例还提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，计算机程序包括程序指令，当程序指令被计算机执行，例如，被图10中的一个处理器1010执行，使得计算机执行如上述一种面向设备多源异构数据识别检测方法。例如，执行以上描述的图1中的方法步骤S1至S4，图2中的方法步骤S21至S24，实现图9中的模块910-960的功能。

描述了根据本发明的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

可选地，不同的设备900中安装的应用程序的客户端是相同的，或两个设备900上安装的应用程序的客户端是不同控制系统平台的同一类型应用程序的客户端。基于终端平台的不同，该应用程序的客户端的具体形态也可以不同，比如，该应用程序客户端可以是手机客户端、PC客户端或者全球广域网(World Wide Web，Web)客户端等。

本领域技术人员可以知晓，上述设备900的数量可以更多或更少。比如上述终端可以仅为一个，或者上述终端为几十个或几百个，或者更多数量。本申请实施例对终端的数量和设备类型不加以限定。

需要注意的是，上述附图仅是根据本发明示例性实施的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由所附的权利要求指出。

Claims (10)

1.一种面向设备多源异构数据识别检测方法，其特征在于，包括：

采集多源异构数据；

利用标注工具对多源异构数据进行处理生成多源异构数据训练集合；

通过所述多源异构数据训练集合对YOLOv5学习模型进行训练，得到目标检测模型并获得模型权重文件；

将多源异构数据输入目标检测模型后输出检测信息同时获取多源异构数据的附属信息。

2.根据权利要求1所述的一种面向设备多源异构数据识别检测方法，其特征在于，所述的多源异构数据是用不同设备采集的服务器、路由器、交换机、磁盘、U口、机柜、线缆、串口等分类设备的图样数据。

3.根据权利要求1所述的一种面向设备多源异构数据识别检测方法，其特征在于，所述利用标注工具对多源异构数据进行处理，包括使用图片标注工具Labellmg对多源异构数据进行标注，标注信息主要包括多源异构数据的类别信息、坐标位置信息。

4.根据权利要求1所述的一种面向设备多源异构数据识别检测方法，其特征在于，所述YOLOv5学习模型包括输入端、主干网络Backbone端、瓶颈Neck端和预测Prediction端。

所述输入端采用马赛克Mosaic数据增强的方式，包括自适应锚框计算和自适应图片缩放；

所述主干网络Backbone端包括聚焦Focus结构、两种跨阶段部分CSP结构，用于对所述多源异构数据进行聚合并形成图像特征；

所述瓶颈Neck端采用特征金字塔网络FPN和路径聚合网络PAN的结构，用于提取所述多源异构数据的图像特征，并将图像特征传递到预测层；

所述预测Prediction端采用并上广义交损失GIOU_Loss做包围盒Bounding box的损失函数，用于根据图像特征对待检测的多源异构数据进行预测。

5.根据权利要求1所述的一种面向设备多源异构数据识别检测方法，所述对YOLOv5学习模型进行训练包括使用不同锚框anchors的多尺度滑动窗口，训练出符合要求的权重文件。

6.根据权利要求1所述的一种面向设备多源异构数据识别检测方法，其特征在于，所述将多源异构数据输入目标检测模型后输出检测信息同时获取多源异构数据的附属信息的步骤包括：

移动终端经相机获得实景中多源异构数据，经压缩处理成1*3*640*640的大小；

将处理过的多源异构数据输入含有目标检测模型的移动终端进行识别检测；

移动端输出识别检测信息，将检测框绘制在目标资产的多源异构数据中并经通讯单元获取多源异构数据的附属信息。

7.一种面向设备多源异构数据识别检测装置，其特征在于，包括以下模块：

多源异构数据采集模块，用于采集多源异构数据；

多源异构数据处理模块，用于对多源异构数据进行标注分类处理生成多源异构数据训练集合；

多源异构数据训练模块，用于建立YOLOv5学习模型，对多源异构数据训练集合进行训练和识别，从而得到权重文件；

多源异构数据检测模块，用于利用目标检测模型对待检测的多源异构数据进行识别检测，输出检测信息和多源异构数据的附属信息。

8.根据权利要求7所述的一种面向设备多源异构数据识别检测装置，其特征在于，还可以包括以下模块：

存储模块，用于存储检测信息和多源异构数据的附属信息；

控制模块，用于控制多源异构数据采集模块、多源异构数据处理模块、多源异构数据训练模块、多源异构数据检测模块、存储模块的运行。

9.一种面向设备多源异构数据识别检测电子设备，其特征在于，包括：至少一个处理器和用于与所述至少一个处理器所通讯连接的存储器；所述存储器存储有可被所述至少一个处理器执行的命令，所述命令被所述至少一个处理器执行，以使述所至少一个处理器能够执行权利要求1～5中任意一项所述一种面向设备多源异构数据识别检测方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～5中任意一项所述一种面向设备多源异构数据识别检测方法。

Images