CN111968102A - 一种目标设备检测方法、系统、介质及电子终端 - Google Patents

一种目标设备检测方法、系统、介质及电子终端 Download PDF

Info

Publication number
CN111968102A
CN111968102A CN202010878536.9A CN202010878536A CN111968102A CN 111968102 A CN111968102 A CN 111968102A CN 202010878536 A CN202010878536 A CN 202010878536A CN 111968102 A CN111968102 A CN 111968102A
Authority
CN
China
Prior art keywords
target
real
time
position information
initial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010878536.9A
Other languages
English (en)
Other versions
CN111968102B (zh
Inventor
庞殊杨
刘雨佳
冉星明
刘睿
张超杰
贾鸿盛
毛尚伟
刘璇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
CISDI Chongqing Information Technology Co Ltd
Original Assignee
CISDI Chongqing Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by CISDI Chongqing Information Technology Co Ltd filed Critical CISDI Chongqing Information Technology Co Ltd
Priority to CN202010878536.9A priority Critical patent/CN111968102B/zh
Publication of CN111968102A publication Critical patent/CN111968102A/zh
Application granted granted Critical
Publication of CN111968102B publication Critical patent/CN111968102B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种目标设备检测方法、系统、介质及电子终端，方法包括：获取目标设备的初始图像信息；将初始图像信息输入目标检测网络进行训练，获取用于检测目标设备位置的识别模型；获取目标设备的实时图像信息，并输入识别模型，得到目标设备的位置信息和固定框架的位置信息；通过目标设备的位置信息和固定框架的位置信息判断目标设备是否发生碰撞，完成目标设备检测；本发明中的方法通过获取目标设备的实时图像信息，并将实时图像信息输入识别模型，得到目标设备的位置信息和固定框架的位置信息，进而通过目标设备的位置信息和固定框架的位置信息判断目标设备是否发生碰撞，完成目标设备检测，实现对目标设备的自动识别跟踪和防撞识别。

Description

一种目标设备检测方法、系统、介质及电子终端
技术领域
本发明涉及图像识别技术领域，尤其涉及一种目标设备检测方法、系统、介质及电子终端。
背景技术
轧钢生产过程工艺、设备复杂，作业频繁，作业环境温度高，噪声和烟雾大，精整区打包机体积与质量较大，易与机体发生碰撞。
目前，轧钢精整区的目标设备的防撞识别大多还是采用人工的方式，然而，由于目标设备体积质量大，运行过程中涉及到高温、噪音与烟雾等危险因素，采用人工的方式容易发生安全事故。
发明内容
鉴于以上所述现有技术的缺点，本发明提供一种目标设备检测方法、系统、介质及电子终端，以解决现有技术中打包机设备的防撞识别采用人工方式进行识别，容易发生安全事故的问题。
本发明提供的目标设备检测方法，包括：
获取目标设备的初始图像信息；
将所述初始图像信息输入目标检测网络进行训练，获取用于检测目标设备位置的识别模型；
获取所述目标设备的实时图像信息，并输入所述识别模型，得到目标设备的位置信息和固定框架的位置信息；
通过所述目标设备的位置信息和固定框架的位置信息判断目标设备是否发生碰撞，完成目标设备检测。
可选的，获取目标设备的初始图像信息的步骤包括：采集目标设备的初始图像，并对所述初始图像中的目标设备进行标注与框选，进而获取初始目标框的位置信息。
可选的，所述初始目标框位置信息包括：
[xmin1,ymin1,xmax1,ymax1,class1]
其中，xmin1、ymin1分别为初始目标框在图像中左上角x、y坐标值，xmax1、ymax1分别为初始目标框在图像中右下角x、y坐标值，class1为初始图像的目标类别。
可选的，将所述初始图像信息输入目标检测网络进行训练，获取用于检测目标设备位置的识别模型的步骤包括：
搭建基于深度学习的目标检测网络；
将所述初始图像信息输入所述目标检测网络，所述目标检测网络对所述初始图像信息进行训练，进而获取识别准确率较高的模型作为识别模型。
可选的，获取所述目标设备的实时图像信息，并输入所述识别模型，得到目标设备的位置信息的步骤包括：
采集所述目标设备的实时图像信息，根据所述实时图像信息，获取目标设备的尺寸归一化图像信息；
将所述尺寸归一化图像信息输入所述识别模型，获取所述目标设备的实时目标框，进而获取第一位置信息，所述第一位置信息为所述实时目标框在所述尺寸归一化图像中的位置信息；
根据所述第一位置信息和初始图像信息，获取第二位置信息，所述第二位置信息为所述实时目标框映射到初始图像中的位置信息。
可选的，所述第一位置信息包括：
[class]
[xmin,ymin,xmax,ymax]
其中，class为归一化图像的目标类别；xmin、ymin分别为实时目标框在尺寸归一化图像中左上角的x、y坐标值，xmax、ymax分别为实时目标框在尺寸归一化图像中右下角的x、y坐标值。
可选的，根据所述第一位置信息和初始图像信息，获取第二位置信息的步骤包括：
根据所述第一位置信息和初始图像信息，获取所述实时目标框在初始图像中的位置坐标，得到第二位置信息；所述实时目标框在初始图像中的位置坐标的获取方式如下：
当所述实时目标框在尺寸归一化图像中的坐标相对于初始图像为绝对坐标值时,所述实时目标框映射到初始图像中的位置坐标值与所述实时目标框在尺寸归一化图像中的坐标值相同；
当所述实时目标框在尺寸归一化图像中的坐标相对于初始图像为相对比值时，所述实时目标框映射到初始图像中的位置坐标为：所述实时目标框在尺寸归一化图像中的坐标值与初始图像宽度值或高度值的乘积。
可选的，获取所述目标设备的实时图像信息，并输入所述识别模型，得到固定框架的位置信息的步骤包括：
采集所述目标设备的实时图像信息，根据所述实时图像信息和初始图像信息，获取目标设备的尺寸归一化图像信息；
将所述尺寸归一化图像信息输入所述识别模型，获取所述固定框架的位置信息。
所述固定框架的位置信息包括：
Figure BDA0002653384060000031
其中，
Figure BDA0002653384060000032
为固定框架的左上角x、y坐标值，
Figure BDA0002653384060000033
为固定框架的右下角x、y坐标值。
可选的，通过所述目标设备的位置信息和固定框架的位置信息判断目标设备是否发生碰撞的步骤包括：
根据所述第二位置信息和固定框架的位置信息，获取所述实时目标框与固定框架的坐标差值，根据所述坐标差值，判断设备是否处于稳定状态；
所述坐标差值的数学表达为：
Figure BDA0002653384060000034
Figure BDA0002653384060000035
其中，x2、y2为所述实时目标框在初始图像中右下角的位置坐标，
Figure BDA0002653384060000036
为固定框架的右下角x、y坐标值，Dx、Dy分别为实时目标框在初始图像中的x、y位置坐标与固定框架的位置x、y坐标之间的差值的绝对值。
可选的，判断目标设备是否处于稳定状态的步骤包括：
判断目标设备是否处于稳定状态的数学表达为：
Figure BDA0002653384060000037
Figure BDA0002653384060000038
其中，Dx(n)、Dx(n-1)、Dy(n)、Dy(n-1)分别是第n次与第n-1次的实时目标框在初始图像中的x、y位置坐标与固定框架的x、y位置坐标之间的差值的绝对值；
Figure BDA0002653384060000039
为预先设置的第一变化量阈值；
Figure BDA00026533840600000310
为预先设置的第二变化量阈值；
Figure BDA00026533840600000311
Figure BDA00026533840600000312
为实时目标框的x坐标值变化量小于或等于所述第一变化量阈值的次数；
Figure BDA00026533840600000313
为实时目标框的y坐标值变化量小于或等于所述第二变化量阈值的次数；ThresholdC为预先设置的第一次数阈值；
当同时满足上述数学表达时，则判定目标设备处于稳定状态。
可选的，通过所述目标设备的位置信息和固定框架的位置信息判断目标设备是否发生碰撞的步骤还包括：
当判定目标设备处于稳定状态时，根据所述实时目标框在初始图像中的位置坐标和所述固定框架的位置坐标判断目标设备是否发生碰撞，其数学表达为：
Figure BDA0002653384060000041
Figure BDA0002653384060000042
其中，Dx(n)、Dy(n)分别是第n次实时目标框在初始图像中的x、y位置坐标与固定框架的x、y位置坐标之间的差值的绝对值；
Figure BDA0002653384060000043
为预先设定的第一差值阈值；
Figure BDA0002653384060000044
为预先设定的第二差值阈值；
Figure BDA0002653384060000045
为实时目标框在初始图像中的x坐标与固定框架的x坐标之间的差值小于或等于所述第一差值阈值的次数；
Figure BDA0002653384060000046
Figure BDA0002653384060000047
为实时目标框在初始图像中的y坐标与固定框架的y坐标之间的差值小于或等于所述第一差值阈值的次数；ThresholdE为预先设置的第二次数阈值；满足上述数学表达中的任意一个，则判定目标设备发生碰撞。
本发明还提供一种目标设备检测系统，包括：
采集模块，用于获取目标设备的初始图像信息；
训练模块，用于将所述初始图像信息输入目标检测网络进行训练，获取用于检测目标设备位置的识别模型；
处理模块，用于获取所述目标设备的实时图像信息，并输入所述识别模型，得到目标设备的位置信息和固定框架的位置信息；
判断模块，用于通过所述目标设备的位置信息和固定框架的位置信息判断目标设备是否发生碰撞，完成目标设备检测。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述的目标设备检测方法。
本发明还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如上述任一项所述的目标设备检测方法。
本发明的有益效果：本发明中的目标设备检测方法通过获取目标设备的实时图像信息，并将实时图像信息输入根据初始图像信息获取的识别模型，得到目标设备的位置信息和固定框架的位置信息，进而通过目标设备的位置信息和固定框架的位置信息判断目标设备是否发生碰撞，完成目标设备检测，实现对目标设备的自动识别跟踪和防撞识别，可靠性较高。
附图说明
图1是本发明实施例中的目标设备检测方法的流程示意图1；
图2是本发明实施例中的目标设备检测方法的流程示意图2；
图3是本发明实施例中的目标设备检测方法中的激活单元函数表达关系示意图；
图4为本发明实施例中的目标设备检测系统的结构示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
发明人发现，在工业生产中，由于作业环境温度高，噪声和烟雾大，工业设备体积与质量较大，采用人工的方式不便于对工业设备进行实时防撞识别与监测，且容易发生安全事故，本发明适用于工业场景中移动设备和固定设备之间的防撞识别，例如：本实施例对轧钢精整区的打包机勾具与固定框架进行防撞识别与实时监测，通过工业摄像头采集打包机勾具的初始图像信息，将所述初始图像信息输入目标检测网络进行训练，获取用于检测目标设备位置的识别模型，获取所述目标设备的实时图像信息，并输入所述识别模型，得到目标设备的位置信息和固定框架的位置信息，通过所述目标设备的位置信息和固定框架的位置信息判断目标设备与固定框架是否发生碰撞，完成目标设备检测，通过自动识别与监测的方式，实现对勾具与固定框架的防撞识别与实时监测，避免了安全事故的发生，可靠性较高。
如图1所示，本实施例中的目标设备检测方法，包括：
S101：获取目标设备的初始图像信息；初始图像信息可通过工业场景中的摄像头进行获取，例如：通过工业摄像头采集打包机勾具的初始图像信息，并对所述初始图像中的勾具进行标注与框选，进而获取初始目标框位置信息，得到用于训练识别模型的数据集；
S102：将所述初始图像信息输入目标检测网络进行训练，获取用于检测目标设备位置的识别模型；例如：将数据集作为初始图像信息输入目标检测网络进行训练，得到经过多次迭代训练的较优的识别模型，所述识别模型用于检测勾具位置；
S103：获取所述目标设备的实时图像信息，并输入所述识别模型，得到目标设备的位置信息和固定框架的位置信息；例如：通过摄像头采集勾具的实时图像信息，将所述实时图像信息输入识别模型中，对勾具进行识别，并对实时图像进行尺寸归一化处理，得到尺寸归一化图像信息，根据所述尺寸归一化图像信息，框选出勾具的实时目标框，并获取第一位置信息，所述第一位置信息为所述实时目标框在尺寸归一化图像中的位置信息，再根据所述第一位置信息与初始图像信息，获取第二位置信息，所述第二位置信息为所述实时目标框映射到初始图像中对应的位置信息，根据实时图像信息获取相同尺寸图像中的固定框架的位置信息；
S104：通过所述目标设备的位置信息和固定框架的位置信息判断目标设备与固定框架是否发生碰撞，完成目标设备检测；例如：根据所述第二位置信息与固定框架的位置信息判断勾具是否处于稳定状态，若勾具处于稳定状态，则判断勾具与固定框架是否发生碰撞，实现对勾具的防撞识别与实时监测；采用自动识别监测的方式，便于对打包机勾具与固定框架进行防撞识别与监测，避免了安全事故的发生，且目标检测网络进行多次迭代训练，得到较优的识别模型，提高了对打包机勾具识别的精确度，可靠性较高，避免了安全事故的发生。
通过获取目标设备的实时图像信息，并将实时图像信息输入根据初始图像信息获取的识别模型，得到目标设备的位置信息和固定框架的位置信息，进而通过目标设备的位置信息和固定框架的位置信息判断目标设备是否发生碰撞，完成目标设备检测，实现了对目标设备的自动识别跟踪和防撞识别。
具体的，如图2所示，本实施中的目标设备检测方法，包括：
S201：采集目标设备的初始图像，并对所述初始图像中的目标设备进行标注与框选，进而获取初始目标框的位置信息，得到用于训练识别模型的数据集；
所述初始目标框位置信息包括：
[xmin1,ymin1,xmax1,ymax1,class1]
其中，xmin1、ymin1分别为初始目标框在图像中左上角x、y坐标值，xmax1、ymax1分别为初始目标框在图像中右下角x、y坐标值，class1为初始图像的目标类别；通过对目标设备进行标注和框选，使得每幅初始图像都具有对应的标签和位置信息，所述位置信息包括：初始目标框位置信息。
S202：搭建基于深度学习的目标检测网络；所述目标检测网络包括：SSD、yolo系列、faster-rcnn等，或者其他为本领域技术人员熟知的目标检测网络，此处仅为示例，本实施例中使用SSD-MobileNet深度学习网络；
S203：将所述数据集作为初始图像信息输入所述目标检测网络，所述目标检测网络对所述初始图像信息进行模型训练，进而获取用于检测目标设备位置的较优的识别模型；本实施例中，选取经过多次迭代训练后识别准确度最高的识别模型，可选的，模型训练的过程中所使用的激活单元函数可以为ReLU函数，也可以是本领域技术人员熟知的其他激活单元函数，此处仅为示例，本实施例中采用的神经元的非线性激活单元函数的表达式为：
ReLU(z)＝max(0,z)
ReLU激活单元函数表达关系如图3所示；
S204：采集所述目标设备的实时图像信息，根据所述实时图像信息，获取目标设备的尺寸归一化图像信息；通过对目标设备的尺寸归一化图像的获取，将目标设备的图像转换为相同大小的图像，便于后续的识别；
S205：将所述尺寸归一化图像信息输入所述识别模型，获取所述目标设备的实时目标框，进而获取第一位置信息，所述第一位置信息为所述实时目标框在所述尺寸归一化图像中的位置信息；
在一些实施例中，所述实时目标框在所述尺寸归一化图像中的位置信息包括：
[class]
[score]
[xmin,ymin,xmax,ymax]
其中，class为归一化图像的目标类别；score为结果置信度；xmin、ymin分别为实时目标框在尺寸归一化图像中左上角的x、y坐标值，xmax、ymax分别为实时目标框在尺寸归一化图像中右下角的x、y坐标值。通过对结果置信度的获取，选择置信度最高的目标框作为实时目标框进行处理，提高目标设备识别的精确度；
S206：根据所述第一位置信息和初始图像信息，获取第二位置信息，所述第二位置信息为所述实时目标框映射到初始图像中的位置信息；获取实时目标框在初始图像中的位置坐标；
在一些实施例中，识别模型通过多次迭代更新，实时目标框在初始图像中的位置坐标不断向误差方向进行收敛，然后反向传播根据链式法则将参数更新到每一层，每次迭代都将根据梯度下降的优化方向，尽可能减少传播误差；
所述实时目标框在初始图像中的位置坐标的获取方式如下：
当所述实时目标框在尺寸归一化图像中的坐标相对于初始图像为绝对坐标值时,所述实时目标框映射到初始图像中的位置坐标值与所述实时目标框在尺寸归一化图像中的坐标值相同；
当所述实时目标框在尺寸归一化图像中的坐标相对于初始图像为相对比值时，所述实时目标框映射到初始图像中的位置坐标为：所述实时目标框在尺寸归一化图像中的坐标值与初始图像宽度值或高度值的乘积；通过判断所述实时目标框在尺寸归一化图像中的坐标相对于初始图像为绝对坐标值还是相对比值，将实时目标框映射到初始图像中，得到实时目标框在初始图像中的位置信息，所述位置信息包括：实时目标框在初始图像中的位置坐标。
例如：当所述实时目标框在尺寸归一化图像中的坐标为绝对坐标值时，所述实时目标框映射到初始图像中的位置坐标为：
x1＝xmin
x2＝xmax
y1＝ymin
y2＝ymax
当所述实时目标框在尺寸归一化图像中的坐标为相对比值时，所述实时目标框映射到初始图像中的位置坐标为：
x1＝xmin*WIDTH
x2＝xmax*WIDTH
y1＝ymin*HEIGHT
y2＝ymax*HEIGHT
其中，x1、y1分别为实时目标框在初始图像中左上角的x、y坐标，x2,、y2为实时目标框在初始图像中右下角的x、y坐标；WIDTH、HEIGHT分别为初始图像的宽度值、高度值；
S207：采集所述目标设备的实时图像信息，根据所述实时图像信息和初始图像信息，获取目标设备的尺寸归一化图像信息；
将所述尺寸归一化图像信息输入所述识别模型，获取所述固定框架的位置信息。
所述固定框架的位置信息包括：
Figure BDA0002653384060000081
其中，
Figure BDA0002653384060000082
为固定框架的左上角x、y坐标值，
Figure BDA0002653384060000083
为固定框架的右下角x、y坐标值；
S208：根据所述第二位置信息和固定框架的位置信息，获取所述实时目标框与固定框架的坐标差值，根据所述坐标差值，判断设备是否处于稳定状态；
所述坐标差值的数学表达为：
Figure BDA0002653384060000084
Figure BDA0002653384060000085
其中，x2、y2为所述实时目标框在初始图像中右下角的位置坐标，
Figure BDA0002653384060000091
为固定框架的右下角x、y坐标值，Dx、Dy分别为实时目标框在初始图像中的x、y位置坐标与固定框架的位置x、y坐标之间的差值的绝对值；
在一些实施例中，判断目标设备是否处于稳定状态的步骤包括：
判断目标设备是否处于稳定状态的数学表达为：
Figure BDA0002653384060000092
Figure BDA0002653384060000093
其中，Dx(n)、Dx(n-1)、Dy(n)、Dy(n-1)分别是第n次与第n-1次的实时目标框在初始图像中的x、y位置坐标与固定框架的x、y位置坐标之间的差值的绝对值；
Figure BDA0002653384060000094
为预先设置的第一变化量阈值；
Figure BDA0002653384060000095
为预先设置的第二变化量阈值；
Figure BDA0002653384060000096
Figure BDA0002653384060000097
为实时目标框的x坐标值变化量小于或等于所述第一变化量阈值的次数；
Figure BDA0002653384060000098
为实时目标框的y坐标值变化量小于或等于所述第二变化量阈值的次数；ThresholdC为预先设置的第一次数阈值；
当同时满足上述数学表达时，则判定目标设备处于稳定状态。
S209：当判定目标设备处于稳定状态时，根据所述实时目标框在初始图像中的位置坐标和所述固定框架的位置坐标判断目标设备与固定框架是否发生碰撞，其数学表达为：
Figure BDA0002653384060000099
Figure BDA00026533840600000910
其中，Dx(n)、Dy(n)分别是第n次实时目标框在初始图像中的x、y位置坐标与固定框架的x、y位置坐标之间的差值的绝对值；
Figure BDA00026533840600000911
为预先设定的第一差值阈值；
Figure BDA00026533840600000912
为预先设定的第二差值阈值；
Figure BDA00026533840600000913
为实时目标框在初始图像中的x坐标与固定框架的x坐标之间的差值小于或等于所述第一差值阈值的次数；
Figure BDA00026533840600000914
Figure BDA00026533840600000915
为实时目标框在初始图像中的y坐标与固定框架的y坐标之间的差值小于或等于所述第一差值阈值的次数；ThresholdE为预先设置的第二次数阈值；满足上述数学表达中的任意一个，则判定目标设备发生碰撞，实现对目标设备的实时防撞识别与监测。
例如：在本实施例中，对勾具的初始图像采用监督式训练，每幅目标设备的图像，即勾具的图像，都有对应的标签及位置信息。当训练网络通过多次迭代，预测值不断向误差方向进行收敛，然后反向传播根据链式法则将参数更新到每一层，每次迭代都将根据梯度下降的优化方向，尽可能减少传播误差，最终得到数据集中所有勾具图像的识别结果，所述识别结果包括勾具的初始目标框的位置信息，再通过处理每一帧图像中的勾具，判断勾具是否处于稳定状态，对处于稳定状态的勾具进行防撞识别判断。本实施例取在数据集上识别准确率最高的模型作为最优模型，在工业场景的实际操作中，首先通过摄像头实时获取图片，将单幅勾具图像作为输入，通过检测模型自动对图像进行处理，识别勾具，进行判断处理，判断勾具是否处于稳定状态，若勾具处于稳定状态，则判断勾具是否与固定框架发生碰撞，最终获取并输出判断结果，实现对勾具的实时防撞识别与监测。
如图4所示，本实施例还提供一种目标设备检测系统，包括：
采集模块，用于获取目标设备的初始图像信息；
训练模块，用于将所述初始图像信息输入目标检测网络进行训练，获取用于检测目标设备位置的识别模型；
处理模块，用于获取所述目标设备的实时图像信息，并输入所述识别模型，得到目标设备的位置信息和固定框架的位置信息；
判断模块，用于通过所述目标设备的位置信息和固定框架的位置信息判断目标设备是否发生碰撞，完成目标设备检测；所述采集模块、训练模块、处理模块和判断模块依次信号连接；通过获取目标设备的实时图像信息，并输入根据初始图像信息获取的识别模型，得到目标设备的位置信息和固定框架的位置信息，进而通过目标设备的位置信息和固定框架的位置信息判断目标设备是否发生碰撞，完成目标设备检测，实现对目标设备的自动识别跟踪和防撞识别，可靠性较高，避免了安全事故的发生。
本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (14)

1.一种目标设备检测方法，其特征在于，包括：
获取目标设备的初始图像信息；
将所述初始图像信息输入目标检测网络进行训练，获取用于检测目标设备位置的识别模型；
获取所述目标设备的实时图像信息，并输入所述识别模型，得到目标设备的位置信息和固定框架的位置信息；
通过所述目标设备的位置信息和固定框架的位置信息判断目标设备是否发生碰撞，完成目标设备检测。
2.根据权利要求1所述的目标设备检测方法，其特征在于，获取目标设备的初始图像信息的步骤包括：采集目标设备的初始图像，并对所述初始图像中的目标设备进行标注与框选，进而获取初始目标框的位置信息。
3.根据权利要求2所述的目标设备检测方法，其特征在于，所述初始目标框位置信息包括：
[xmin1,ymin1,xmax1,ymax1,class1]
其中，xmin1、ymin1分别为初始目标框在图像中左上角x、y坐标值，xmax1、ymax1分别为初始目标框在图像中右下角x、y坐标值，class1为初始图像的目标类别。
4.根据权利要求3所述的目标设备检测方法，其特征在于，将所述初始图像信息输入目标检测网络进行训练，获取用于检测目标设备位置的识别模型的步骤包括：
搭建基于深度学习的目标检测网络；
将所述初始图像信息输入所述目标检测网络，所述目标检测网络对所述初始图像信息进行训练，进而获取识别准确率较高的模型作为识别模型。
5.根据权利要求1所述的目标设备检测方法，其特征在于，获取所述目标设备的实时图像信息，并输入所述识别模型，得到目标设备的位置信息的步骤包括：
采集所述目标设备的实时图像信息，根据所述实时图像信息，获取目标设备的尺寸归一化图像信息；
将所述尺寸归一化图像信息输入所述识别模型，获取所述目标设备的实时目标框，进而获取第一位置信息，所述第一位置信息为所述实时目标框在所述尺寸归一化图像中的位置信息；
根据所述第一位置信息和初始图像信息，获取第二位置信息，所述第二位置信息为所述实时目标框映射到初始图像中的位置信息。
6.根据权利要求5所述的目标设备检测方法，其特征在于，所述第一位置信息包括：
[class]
[xmin,ymin,xmax,ymax]
其中，class为归一化图像的目标类别；xmin、ymin分别为实时目标框在尺寸归一化图像中左上角的x、y坐标值，xmax、ymax分别为实时目标框在尺寸归一化图像中右下角的x、y坐标值。
7.根据权利要求5所述的目标设备检测方法，其特征在于，根据所述第一位置信息和初始图像信息，获取第二位置信息的步骤包括：
根据所述第一位置信息和初始图像信息，获取所述实时目标框在初始图像中的位置坐标，得到第二位置信息；所述实时目标框在初始图像中的位置坐标的获取方式如下：
当所述实时目标框在尺寸归一化图像中的坐标相对于初始图像为绝对坐标值时,所述实时目标框映射到初始图像中的位置坐标值与所述实时目标框在尺寸归一化图像中的坐标值相同；
当所述实时目标框在尺寸归一化图像中的坐标相对于初始图像为相对比值时，所述实时目标框映射到初始图像中的位置坐标为：所述实时目标框在尺寸归一化图像中的坐标值与初始图像宽度值或高度值的乘积。
8.根据权利要求1所述的目标设备检测方法，其特征在于，获取所述目标设备的实时图像信息，并输入所述识别模型，得到固定框架的位置信息的步骤包括：
采集所述目标设备的实时图像信息，根据所述实时图像信息和初始图像信息，获取目标设备的尺寸归一化图像信息；
将所述尺寸归一化图像信息输入所述识别模型，获取所述固定框架的位置信息。
所述固定框架的位置信息包括：
Figure FDA0002653384050000021
其中，
Figure FDA0002653384050000022
为固定框架的左上角x、y坐标值，
Figure FDA0002653384050000023
为固定框架的右下角x、y坐标值。
9.根据权利要求7或8所述的目标设备检测方法，其特征在于，通过所述目标设备的位置信息和固定框架的位置信息判断目标设备是否发生碰撞的步骤包括：
根据所述第二位置信息和固定框架的位置信息，获取所述实时目标框与固定框架的坐标差值，根据所述坐标差值，判断设备是否处于稳定状态；
所述坐标差值的数学表达为：
Figure FDA0002653384050000031
Figure FDA0002653384050000032
其中，x2、y2为所述实时目标框在初始图像中右下角的位置坐标，
Figure FDA0002653384050000033
为固定框架的右下角x、y坐标值，Dx、Dy分别为实时目标框在初始图像中的x、y位置坐标与固定框架的位置x、y坐标之间的差值的绝对值。
10.根据权利要求9所述的目标设备检测方法，其特征在于，判断目标设备是否处于稳定状态的步骤包括：
判断目标设备是否处于稳定状态的数学表达为：
Figure FDA0002653384050000034
Figure FDA0002653384050000035
其中，Dx(n)、Dx(n-1)、Dy(n)、Dy(n-1)分别是第n次与第n-1次的实时目标框在初始图像中的x、y位置坐标与固定框架的x、y位置坐标之间的差值的绝对值；
Figure FDA0002653384050000036
为预先设置的第一变化量阈值；
Figure FDA0002653384050000037
为预先设置的第二变化量阈值；
Figure FDA0002653384050000038
Figure FDA0002653384050000039
为实时目标框的x坐标值变化量小于或等于所述第一变化量阈值的次数；
Figure FDA00026533840500000310
为实时目标框的y坐标值变化量小于或等于所述第二变化量阈值的次数；ThresholdC为预先设置的第一次数阈值；
当同时满足上述数学表达时，则判定目标设备处于稳定状态。
11.根据权利要求1或10所述的目标设备检测方法，其特征在于，通过所述目标设备的位置信息和固定框架的位置信息判断目标设备是否发生碰撞的步骤还包括：
当判定目标设备处于稳定状态时，根据所述实时目标框在初始图像中的位置坐标和所述固定框架的位置坐标判断目标设备是否发生碰撞，其数学表达为：
Figure FDA0002653384050000041
Figure FDA0002653384050000042
其中，Dx(n)、Dy(n)分别是第n次实时目标框在初始图像中的x、y位置坐标与固定框架的x、y位置坐标之间的差值的绝对值；
Figure FDA0002653384050000043
为预先设定的第一差值阈值；
Figure FDA0002653384050000044
为预先设定的第二差值阈值；
Figure FDA0002653384050000045
为实时目标框在初始图像中的x坐标与固定框架的x坐标之间的差值小于或等于所述第一差值阈值的次数；
Figure FDA0002653384050000046
Figure FDA0002653384050000047
为实时目标框在初始图像中的y坐标与固定框架的y坐标之间的差值小于或等于所述第一差值阈值的次数；ThresholdE为预先设置的第二次数阈值；满足上述数学表达中的任意一个，则判定目标设备发生碰撞。
12.一种目标设备检测系统，其特征在于，包括：
采集模块，用于获取目标设备的初始图像信息；
训练模块，用于将所述初始图像信息输入目标检测网络进行训练，获取用于检测目标设备位置的识别模型；
处理模块，用于获取所述目标设备的实时图像信息，并输入所述识别模型，得到目标设备的位置信息和固定框架的位置信息；
判断模块，用于通过所述目标设备的位置信息和固定框架的位置信息判断目标设备是否发生碰撞，完成目标设备检测。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至11任一项所述的目标设备检测方法。
14.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至11任一项所述的目标设备检测方法。
CN202010878536.9A 2020-08-27 2020-08-27 一种目标设备检测方法、系统、介质及电子终端 Active CN111968102B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010878536.9A CN111968102B (zh) 2020-08-27 2020-08-27 一种目标设备检测方法、系统、介质及电子终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010878536.9A CN111968102B (zh) 2020-08-27 2020-08-27 一种目标设备检测方法、系统、介质及电子终端

Publications (2)

Publication Number Publication Date
CN111968102A true CN111968102A (zh) 2020-11-20
CN111968102B CN111968102B (zh) 2023-04-07

Family

ID=73399382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010878536.9A Active CN111968102B (zh) 2020-08-27 2020-08-27 一种目标设备检测方法、系统、介质及电子终端

Country Status (1)

Country Link
CN (1) CN111968102B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862806A (zh) * 2021-03-05 2021-05-28 中冶赛迪重庆信息技术有限公司 一种皮带机打滑检测方法、系统、介质及电子终端
CN113378952A (zh) * 2021-06-22 2021-09-10 中冶赛迪重庆信息技术有限公司 一种皮带机跑偏检测方法、系统、介质和终端

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016206730A (ja) * 2015-04-15 2016-12-08 富士通株式会社 物体検出装置、物体検出方法、及び物体検出プログラム
CN108182413A (zh) * 2017-12-29 2018-06-19 中国矿业大学(北京) 一种矿井移动目标检测与跟踪识别方法
EP3373199A2 (en) * 2017-03-08 2018-09-12 Ricoh Company Ltd. Object detector, object detection method, carrier means, and equipment control system
CN108583571A (zh) * 2018-04-28 2018-09-28 深圳市商汤科技有限公司 碰撞控制方法及装置、电子设备和存储介质
CN109934075A (zh) * 2017-12-19 2019-06-25 杭州海康威视数字技术股份有限公司 异常事件检测方法、装置、系统及电子设备
CN110067274A (zh) * 2019-04-29 2019-07-30 北京拓疆者智能科技有限公司 设备控制方法及挖掘机
CN110936380A (zh) * 2019-12-11 2020-03-31 桂林凯歌信息科技有限公司 碰撞防摔机器人及其控制方法
CN110969687A (zh) * 2019-11-29 2020-04-07 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种碰撞检测方法、装置、设备和介质
CN111080573A (zh) * 2019-11-19 2020-04-28 上海联影智能医疗科技有限公司 肋骨图像检测方法、计算机设备和存储介质
CN111523414A (zh) * 2020-04-13 2020-08-11 绍兴埃瓦科技有限公司 人脸识别方法、装置、计算机设备和存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016206730A (ja) * 2015-04-15 2016-12-08 富士通株式会社 物体検出装置、物体検出方法、及び物体検出プログラム
EP3373199A2 (en) * 2017-03-08 2018-09-12 Ricoh Company Ltd. Object detector, object detection method, carrier means, and equipment control system
CN109934075A (zh) * 2017-12-19 2019-06-25 杭州海康威视数字技术股份有限公司 异常事件检测方法、装置、系统及电子设备
CN108182413A (zh) * 2017-12-29 2018-06-19 中国矿业大学(北京) 一种矿井移动目标检测与跟踪识别方法
CN108583571A (zh) * 2018-04-28 2018-09-28 深圳市商汤科技有限公司 碰撞控制方法及装置、电子设备和存储介质
CN110067274A (zh) * 2019-04-29 2019-07-30 北京拓疆者智能科技有限公司 设备控制方法及挖掘机
CN111080573A (zh) * 2019-11-19 2020-04-28 上海联影智能医疗科技有限公司 肋骨图像检测方法、计算机设备和存储介质
CN110969687A (zh) * 2019-11-29 2020-04-07 中国商用飞机有限责任公司北京民用飞机技术研究中心 一种碰撞检测方法、装置、设备和介质
CN110936380A (zh) * 2019-12-11 2020-03-31 桂林凯歌信息科技有限公司 碰撞防摔机器人及其控制方法
CN111523414A (zh) * 2020-04-13 2020-08-11 绍兴埃瓦科技有限公司 人脸识别方法、装置、计算机设备和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
K. VIDYASAGAR 等: "Anti Collision and Secured Level Crossing System", 《INTERNATIONAL JOURNAL OF COMPUTER APPLICATIONS》 *
夏大勇 等: "龙滩水电工程大坝施工设备防碰撞预警系统的开发", 《红水河》 *
蔡创新 等: "车路视觉协同的高速公路防碰撞预警算法", 《中国图象图》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862806A (zh) * 2021-03-05 2021-05-28 中冶赛迪重庆信息技术有限公司 一种皮带机打滑检测方法、系统、介质及电子终端
CN113378952A (zh) * 2021-06-22 2021-09-10 中冶赛迪重庆信息技术有限公司 一种皮带机跑偏检测方法、系统、介质和终端

Also Published As

Publication number Publication date
CN111968102B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN111127513B (zh) 一种多目标跟踪方法
CN107220618B (zh) 人脸检测方法及装置、计算机可读存储介质、设备
CN109087510B (zh) 交通监测方法及装置
US20130163858A1 (en) Component recognizing apparatus and component recognizing method
JP2019036167A5 (zh)
CN111968102B (zh) 一种目标设备检测方法、系统、介质及电子终端
CN111832437A (zh) 建筑图纸识别方法、电子设备及相关产品
CN112001406B (zh) 一种文本区域检测方法及装置
CN111292377B (zh) 目标检测方法、装置、计算机设备和存储介质
CN110909712A (zh) 运动目标检测方法、装置、电子设备及存储介质
CN110765891A (zh) 工程图纸识别方法、电子设备及相关产品
CN115810133B (zh) 基于图像处理和点云处理的焊接控制方法及相关设备
CN114387513A (zh) 机器人抓取方法、装置、电子设备及存储介质
CN112364974A (zh) 一种基于激活函数改进的YOLOv3算法
CN111460909A (zh) 基于视觉的货位管理方法和装置
CN108133116B (zh) Cad户型图墙厚自动识别方法及系统
CN114219936A (zh) 目标检测方法、电子设备、存储介质和计算机程序产品
CN113435466A (zh) 电梯门位置和开关状态的检测方法、装置、介质和终端
CN117372928A (zh) 一种视频目标检测方法、装置及相关设备
CN114973300B (zh) 一种构件类别识别方法、装置、电子设备及存储介质
CN113688810B (zh) 一种边缘设备的目标捕获方法、系统及相关设备
CN110689556A (zh) 跟踪方法、装置及智能设备
CN115620082A (zh) 模型训练方法、头部姿态估计方法、电子设备及存储介质
CN114155471A (zh) 设计图纸与实物的核验方法、装置、计算机设备和系统
CN114612923A (zh) 基于目标检测的户型图墙体处理方法、系统、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 401329 No. 5-6, building 2, No. 66, Nongke Avenue, Baishiyi Town, Jiulongpo District, Chongqing

Applicant after: MCC CCID information technology (Chongqing) Co.,Ltd.

Address before: 20-24 / F, No.7 Longjing Road, North New District, Yubei District, Chongqing

Applicant before: CISDI CHONGQING INFORMATION TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant