CN113935466A - 数据中心智能巡检机器人多任务学习方法 - Google Patents

数据中心智能巡检机器人多任务学习方法 Download PDF

Info

Publication number
CN113935466A
CN113935466A CN202111214681.8A CN202111214681A CN113935466A CN 113935466 A CN113935466 A CN 113935466A CN 202111214681 A CN202111214681 A CN 202111214681A CN 113935466 A CN113935466 A CN 113935466A
Authority
CN
China
Prior art keywords
module
server
model
loss function
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111214681.8A
Other languages
English (en)
Inventor
高岩
王雯哲
郝虹
王玉梁
尹青山
高明
王建华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong New Generation Information Industry Technology Research Institute Co Ltd
Original Assignee
Shandong New Generation Information Industry Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong New Generation Information Industry Technology Research Institute Co Ltd filed Critical Shandong New Generation Information Industry Technology Research Institute Co Ltd
Priority to CN202111214681.8A priority Critical patent/CN113935466A/zh
Publication of CN113935466A publication Critical patent/CN113935466A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
    • G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
    • G06K7/10861—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices sensing of data fields affixed to objects or articles, e.g. coded labels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1413—1D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Toxicology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种数据中心智能巡检机器人多任务学习方法，利用统一深度神经网络模型架构对图像中的二维码和条码的进行检测，对服务器进行分割，并根据服务器前面板的图像识别服务器型号。其包括如下步骤：1）构件训练集构建大量数据中心服务器图像，对图像进行人工标注，图像和标注信息组成训练集；2）使用深度学习编程框架搭建深度神经网络模型，并设定损失函数；3）对模型进行训练；4）训练后的模型部署于巡检机器人，模型大大减小了完成任务所需要的计算和存储资源，提高了机器人的巡检效率，同时也降低了模型部署的复杂度，方便工程应用，基于该模型，数据中心巡检机器人可以开展高级别的巡检任务。

Description

数据中心智能巡检机器人多任务学习方法
技术领域
本发明涉及一种多任务学习方法，具体涉及一种数据中心智能巡检机器人多任务学习方法，属于信息技术领域。
背景技术
随着数据中心规模的扩大和人工巡检成本的增加和机器人智能水平的提高，巡检机器人已经出现在数据中心机房中配合人工巡检。但目前巡检机器人智能水平较低，或者方案复杂，不利于广泛推广，经济效益低。高级巡检任务一般包括资产盘点，检查服务器等设备资产是否安全存在，服务器是否正常工作或者存在何种异常。这些高级别任务依赖视觉信息，一般机器人巡检首先利用高清相机拍摄服务器工作画面，然后利用各种模型或算法进行独立的分析，最后汇总分析结果形成巡检报告。多个模型之间往往存在着相似的架构，并且任务相互关联，存在严重的冗余计算，造成了模型部署过程繁琐、模型推理延时高、占用内存严重、训练模型周期长等后果。
发明内容
本发明目的是提供了一种数据中心智能巡检机器人多任务学习方法，利用统一深度神经网络模型架构对图像中的二维码和条码的进行检测，对服务器进行分割，并根据服务器前面板的图像识别服务器型号。
本发明为实现上述目的，通过以下技术方案实现：
一种数据中心智能巡检机器人多任务学习方法，包括如下步骤：
1）构件训练集
构建大量数据中心服务器图像，对图像进行人工标注，图像和标注信息组成训练集；
2）使用深度学习编程框架搭建深度神经网络模型，并设定损失函数；
3）对模型进行训练；
4）训练后的模型部署于巡检机器人
（4.1）当机器人拍摄一张图像之后，输入到训练后的模型；
（4.2）模型输出图像中对象的位置，分割出服务器前面板区域，并计算出每个服务（4.3）器前面板的特征向量；
（4.4）上层业务根据码检测模块输出的码的类别和位置进行解码，读取出码中的信息；
（4.5）根据服务器前面板的区域进一步提取面板中包含的服务器状态信息，根据服务器前面板的特征向量在数据库中检索相似度较高的服务器从而识别出该服务器的型号，以便进行资产盘点或知识图谱检索。
所述数据中心智能巡检机器人多任务学习方法优选方案，深度神经网络模型的架构由一个统一的编码器作为骨干网进行共性特征提取模块，三个独立的解码器针对各自负责的任务的特点进行设计，具体内容如下：
特征提取模块由多层卷积神经网络组成，该模块具体划分为两个子模块，第一个子模块层层递进对输入图像进行降维学习，提取抽象特征，数据宽度和高度下降，特征通道数升高；第二个子模块利用第一个子模块输出的抽象特征进行上采样，并和第一子模块的三个中间层的输出进行特征融合，得到三个融合层；
三个独立的解码器分别负责检测任务、语义分割任务，以及识别任务；对于码检测任务，将三个特征融合层的输出作为码检测模块的三个输入，对三个输入分别进行全卷积神经网络处理形成三个分支，每个分支预测其对应尺寸的二维码或条码的位置和类别；对于实例分割任务，将特征提取模块的第二子模块最后输出的特征图继续进行上采样，得到与原始输入图像相同尺寸的特征图，分别预测特征图上的每个像素点属于服务器或背景的概率；对于型号识别模块，将分割模块输出的特征图中概率超过阈值的区域进行切分，即将这些区域抠出，作为服务器特征，建立多层卷积神经网络进行细粒度的特征编码，对该模块最终的特征图进行逐通道的最大值池化，即输出每个通道的最大值组成该服务器的特征向量。
所述数据中心智能巡检机器人多任务学习方法优选方案， 深度神经网络模型的训练方法，步骤如下：
1)对码检测模块的输出和样本的标注信息构建损失函数，损失函数包含两部分，其一为位置回归误差损失函数，其二为类别误差损失函数，对二者进行加权求和，组成码检测模块的损失函数;
2) 对分割模块的输出和样本标注信息构建语义分割损失函数，损失函数计算每个像素点的类别误差;
3) 识别模块的损失函数为相似度度量函数，当该模块输入的特征图区域为同一个型号的服务器时，输出的特征向量的相似度应处于较高水平，否则处于较低水平，符合这一事实时的损失函数值小于不符合这一事实时的损失函数值;
4)对上述步骤得到的损失函数进行加权求和作为全局损失函数。
本发明的优点在于：
利用统一深度神经网络模型架构对图像中的二维码和条码的进行检测，对服务器进行分割，并根据服务器前面板的图像识别服务器型号，可以开展高级别的巡检任务；一个模型中统一了检测、语义分割、型号识别三类任务，相比于非统一的常规模型，本模型大大减小了完成任务所需要的计算和存储资源，提高了机器人的巡检效率，同时也降低了模型部署的复杂度，方便工程应用。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
图1为本发明实施例的服务器机柜标注示意图。
图2为本发明实施例的多任务模型架构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
一种数据中心智能巡检机器人多任务学习方法，包括如下步骤：
1.构件训练集
如图1，构建大量数据中心服务器图像，图像中的内容包括完整的服务器、二维码、条码等检测、分割或识别的对象,对图像进行人工标注，用矩形框表示二维码或条码的位置，用多边形区域表示服务器前面板区域,记录二维码、条码的类别，以及每个服务器前面板所对应的型号,图像和标注信息组成训练集；
2.使用深度学习编程框架搭建深度神经网络模型，如图2，并设定损失函数，这里不对损失函数进行具体描述，只需要满足发明的特性即可，按照发明的方法结合实施步骤1中的数据集对模型进行训练；
3.对模型进行训练；
4.训练后的模型部署于巡检机器人
（4.1）当机器人拍摄一张图像之后，输入到训练后的模型；
（4.2）模型输出图像中对象的位置，分割出服务器前面板区域，并计算出每个服务（4.3）器前面板的特征向量；
（4.4）上层业务根据码检测模块输出的码的类别和位置进行解码，读取出码中的信息；
（4.5）根据服务器前面板的区域进一步提取面板中包含的服务器状态信息，根据服务器前面板的特征向量在数据库中检索相似度较高的服务器从而识别出该服务器的型号，以便进行资产盘点或知识图谱检索。
本实施例中，深度神经网络模型的架构由一个统一的编码器作为骨干网进行共性特征提取模块，三个独立的解码器针对各自负责的任务的特点进行设计，具体内容如下：
特征提取模块由多层卷积神经网络组成，该模块具体划分为两个子模块，第一个子模块层层递进对输入图像进行降维学习，提取抽象特征，数据宽度和高度下降，特征通道数升高；第二个子模块利用第一个子模块输出的抽象特征进行上采样，并和第一子模块的三个中间层的输出进行特征融合，得到三个融合层；
三个独立的解码器分别负责检测任务、语义分割任务，以及识别任务；对于码检测任务，将三个特征融合层的输出作为码检测模块的三个输入，对三个输入分别进行全卷积神经网络处理形成三个分支，每个分支预测其对应尺寸的二维码或条码的位置和类别；对于实例分割任务，将特征提取模块的第二子模块最后输出的特征图继续进行上采样，得到与原始输入图像相同尺寸的特征图，分别预测特征图上的每个像素点属于服务器或背景的概率；对于型号识别模块，将分割模块输出的特征图中概率超过阈值的区域进行切分，即将这些区域抠出，作为服务器特征，建立多层卷积神经网络进行细粒度的特征编码，对该模块最终的特征图进行逐通道的最大值池化，即输出每个通道的最大值组成该服务器的特征向量。
本实施例中，深度神经网络模型的训练方法，步骤如下：
1)对码检测模块的输出和样本的标注信息构建损失函数，损失函数包含两部分，其一为位置回归误差损失函数，其二为类别误差损失函数，对二者进行加权求和，组成码检测模块的损失函数;
2) 对分割模块的输出和样本标注信息构建语义分割损失函数，损失函数计算每个像素点的类别误差;
3) 识别模块的损失函数为相似度度量函数，当该模块输入的特征图区域为同一个型号的服务器时，输出的特征向量的相似度应处于较高水平，否则处于较低水平，符合这一事实时的损失函数值小于不符合这一事实时的损失函数值;
4)对上述步骤得到的损失函数进行加权求和作为全局损失函数。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种数据中心智能巡检机器人多任务学习方法，其特征在于，包括如下步骤：
构件训练集
构建大量数据中心服务器图像，对图像进行人工标注，图像和标注信息组成训练集；
使用深度学习编程框架搭建深度神经网络模型，并设定损失函数；
对模型进行训练；
训练后的模型部署于巡检机器人
（4.1）当机器人拍摄一张图像之后，输入到训练后的模型；
（4.2）模型输出图像中对象的位置，分割出服务器前面板区域，并计算出每个服务（4.3）器前面板的特征向量；
（4.4）上层业务根据码检测模块输出的码的类别和位置进行解码，读取出码中的信息；
（4.5）根据服务器前面板的区域进一步提取面板中包含的服务器状态信息，根据服务器前面板的特征向量在数据库中检索相似度较高的服务器从而识别出该服务器的型号，以便进行资产盘点或知识图谱检索。
2.根据权利要求1所述数据中心智能巡检机器人多任务学习方法，其特征在于：深度神经网络模型的架构由一个统一的编码器作为骨干网进行共性特征提取模块，三个独立的解码器针对各自负责的任务的特点进行设计，具体内容如下：
特征提取模块由多层卷积神经网络组成，该模块具体划分为两个子模块，第一个子模块层层递进对输入图像进行降维学习，提取抽象特征，数据宽度和高度下降，特征通道数升高；第二个子模块利用第一个子模块输出的抽象特征进行上采样，并和第一子模块的三个中间层的输出进行特征融合，得到三个融合层；
三个独立的解码器分别负责检测任务、语义分割任务，以及识别任务；对于码检测任务，将三个特征融合层的输出作为码检测模块的三个输入，对三个输入分别进行全卷积神经网络处理形成三个分支，每个分支预测其对应尺寸的二维码或条码的位置和类别；对于实例分割任务，将特征提取模块的第二子模块最后输出的特征图继续进行上采样，得到与原始输入图像相同尺寸的特征图，分别预测特征图上的每个像素点属于服务器或背景的概率；对于型号识别模块，将分割模块输出的特征图中概率超过阈值的区域进行切分，即将这些区域抠出，作为服务器特征，建立多层卷积神经网络进行细粒度的特征编码，对该模块最终的特征图进行逐通道的最大值池化，即输出每个通道的最大值组成该服务器的特征向量。
3.根据权利要求1所述数据中心智能巡检机器人多任务学习方法，其特征在于： 深度神经网络模型的训练方法，步骤如下：
1)对码检测模块的输出和样本的标注信息构建损失函数，损失函数包含两部分，其一为位置回归误差损失函数，其二为类别误差损失函数，对二者进行加权求和，组成码检测模块的损失函数;
2) 对分割模块的输出和样本标注信息构建语义分割损失函数，损失函数计算每个像素点的类别误差;
3) 识别模块的损失函数为相似度度量函数，当该模块输入的特征图区域为同一个型号的服务器时，输出的特征向量的相似度应处于较高水平，否则处于较低水平，符合这一事实时的损失函数值小于不符合这一事实时的损失函数值;
4)对上述步骤得到的损失函数进行加权求和作为全局损失函数。
CN202111214681.8A 2021-10-19 2021-10-19 数据中心智能巡检机器人多任务学习方法 Pending CN113935466A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111214681.8A CN113935466A (zh) 2021-10-19 2021-10-19 数据中心智能巡检机器人多任务学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111214681.8A CN113935466A (zh) 2021-10-19 2021-10-19 数据中心智能巡检机器人多任务学习方法

Publications (1)

Publication Number Publication Date
CN113935466A true CN113935466A (zh) 2022-01-14

Family

ID=79280176

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111214681.8A Pending CN113935466A (zh) 2021-10-19 2021-10-19 数据中心智能巡检机器人多任务学习方法

Country Status (1)

Country Link
CN (1) CN113935466A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315368A (zh) * 2023-10-23 2023-12-29 龙坤(无锡)智慧科技有限公司 一种大规模数据中心智能运维巡检方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117315368A (zh) * 2023-10-23 2023-12-29 龙坤(无锡)智慧科技有限公司 一种大规模数据中心智能运维巡检方法
CN117315368B (zh) * 2023-10-23 2024-04-23 龙坤(无锡)智慧科技有限公司 一种大规模数据中心智能运维巡检方法

Similar Documents

Publication Publication Date Title
CN110688925B (zh) 基于深度学习的级联目标识别方法及系统
CN112561910A (zh) 一种基于多尺度特征融合的工业表面缺陷检测方法
CN110852222A (zh) 一种基于目标检测的校园走廊场景智能监控方法
CN111368636A (zh) 目标分类方法、装置、计算机设备和存储介质
CN111652181B (zh) 目标跟踪方法、装置及电子设备
CN113903022A (zh) 基于特征金字塔与注意力融合的文本检测方法及系统
CN114943840A (zh) 机器学习模型的训练方法、图像的处理方法和电子设备
CN116152226A (zh) 基于可融合的特征金字塔的换向器内侧图像缺陷检测方法
CN113935466A (zh) 数据中心智能巡检机器人多任务学习方法
CN117058624B (zh) 一种应用于建筑工地的工程检测方法及系统
CN113496212A (zh) 箱式结构的文本识别方法、装置及电子设备
CN112633100A (zh) 行为识别方法、装置、电子设备和存储介质
de Sa Lowande et al. Analysis of post-disaster damage detection using aerial footage from uwf campus after hurricane sally
CN116030050A (zh) 基于无人机与深度学习的风机表面缺陷在线检测分割方法
CN114549628A (zh) 一种电力杆倾斜检测方法、装置、设备及存储介质
CN115661097A (zh) 一种物体表面缺陷检测方法及系统
CN115063831A (zh) 一种高性能行人检索与重识别方法及装置
CN112200840B (zh) 一种可见光和红外图像组合中的运动物体检测系统
CN114842411A (zh) 一种基于互补时空信息建模的群体行为识别方法
CN114582012A (zh) 一种骨架人体行为识别方法、装置及设备
CN113269052A (zh) 价签识别方法、终端、存储装置
CN111882545A (zh) 基于双向信息传递及特征融合的织物疵点检测方法
CN115272814B (zh) 一种远距离空间自适应多尺度的小目标检测方法
Wu et al. Express parcel detection based on improved faster regions with CNN features
CN113762248B (zh) 一种目标落地检测方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination