CN116777899A - 基于回归模型的工业图像关键点检测方法、系统及平台 - Google Patents
基于回归模型的工业图像关键点检测方法、系统及平台 Download PDFInfo
- Publication number
- CN116777899A CN116777899A CN202310942633.3A CN202310942633A CN116777899A CN 116777899 A CN116777899 A CN 116777899A CN 202310942633 A CN202310942633 A CN 202310942633A CN 116777899 A CN116777899 A CN 116777899A
- Authority
- CN
- China
- Prior art keywords
- regression model
- key point
- industrial image
- real time
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 44
- 230000006870 function Effects 0.000 claims description 56
- 230000008569 process Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 13
- 230000004913 activation Effects 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 8
- 230000003213 activating effect Effects 0.000 claims description 6
- 238000011282 treatment Methods 0.000 claims description 6
- 239000003550 marker Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于回归模型的工业图像关键点检测方法、系统及平台，本发明通过方法获取与工业图像关键点相对应的图像数据，并结合特征提取网络，实时生成与工业图像关键点相对应的特征图；通过卷积处理实时压缩所述特征图的特征信息，其中，所述卷积为1×1卷积；构建回归模型，并结合回归模型，实时生成与工业图像关键点相对应的检测数据，以及与所述方法相应的系统、平台以及存储介质；可以保留特征的全局空间信息，提高关键点预测的空间泛化性和稳定性。而且会可以实现关键点回归模型添加每个点的可见性功能。
Description
技术领域
本发明属于图像关键点检测处理技术领域，具体涉及一种基于回归模型的工业图像关键点检测方法、系统及平台。
背景技术
现目前，对于传统的关键点检测算法，检测关键点自适应弱，无法实现从大量的数据中学习到不同样本的特征，从而导致关键点检测的准确性低。
此外，关键点的回归模型中，基本都用到了全局池化，但是全局池化会损失特征图的空间信息，导致模型对与关键点的位置信息难以区分。而且，一般关键点的回归模型会将所有类型的点都输出，不论某类点在图像中是否存在。图像中不存在的点也会检测出来，而且得分很高，不能通过阈值将图像中不可见的点筛选掉。
对于残差似然估计的关键点回归模型，通过流模型，估计出模型输出关节的分布概率密度。一旦估计出令人满意的先验分布函数就能动态优化损失函数，从而促进模型的回归训练。但是其输出的损失函数值在模型收敛的时候是负数，不直观，不能通过损失函数值判断模型训练过程的收敛情况。
因此，针对以上的技术问题缺陷，急需设计和开发一种基于回归模型的工业图像关键点检测方法、系统及平台。
发明内容
为克服上述现有技术存在的不足及困难，本发明之目的在于提供一种基于回归模型的工业图像关键点检测方法、系统、平台及存储介质，可以保留特征的全局空间信息，提高关键点预测的空间泛化性和稳定性。而且会可以实现关键点回归模型添加每个点的可见性功能。
本发明的第一目的在于提供一种基于回归模型的工业图像关键点检测方法；
本发明的第二目的在于提供一种基于回归模型的工业图像关键点检测系统；
本发明的第三目的在于提供一种基于回归模型的工业图像关键点检测平台；
本发明的第四目的在于提供一种计算机可读取存储介质；
本发明的第一目的是这样实现的：所述方法包括如下步骤：
获取与工业图像关键点相对应的图像数据，并结合特征提取网络，实时生成与工业图像关键点相对应的特征图；
通过卷积处理实时压缩所述特征图的特征信息，其中，所述卷积为1×1卷积；
构建回归模型，并结合回归模型，实时生成与工业图像关键点相对应的检测数据。
进一步地，所述通过卷积处理实时压缩所述特征图的特征信息，其中，所述卷积为1×1卷积，还包括：
卷积压缩所述特征图的特征信息，生成与特征图相对应的具有通道数的特征图；
归一化处理所述具有通道数的特征图，并激活Relu激活函数，以及展平处理所述特征图的特征。
进一步地，所述通过卷积处理实时压缩所述特征图的特征信息，其中，所述卷积为1×1卷积，还包括：
判定是否存在不可见的关键点，若存在，则结合关键点阈值，去除不可见的关键点；否则，执行下一步骤；
根据判定结果数据，实时生成与特征图相对应的关键点信息。
进一步地，所述构建回归模型，并结合回归模型，实时生成与工业图像关键点相对应的检测数据，还包括：
实时获取与特征图相对应的关键点信息；并对所述关键点信息于全连接层的输出层数量加二处理；
生成带有至少两个标志位数据的关键点，其中，一个标志位表示关键点存在，第二个表示不存在；
对标志位的值进行softmax归一化处理，并生成与关键点相对应的索引。
进一步地，所述构建回归模型，并结合回归模型，实时生成与工业图像关键点相对应的检测数据，还包括：
生成与关键点相对应的位置数据，以及关键点存在与否的数据信息。
进一步地，所述构建回归模型，并结合回归模型，实时生成与工业图像关键点相对应的检测数据，还包括：
结合均方误差损失函数数据，实时生成模型预测值和真实值之间像素差的平方和数据；
根据损失函数值数据，判断回归模型于训练过程中的收敛状态。
本发明的第二目的是这样实现的：所述系统包括：
获取生成单元，用于获取与工业图像关键点相对应的图像数据，并结合特征提取网络，实时生成与工业图像关键点相对应的特征图；
卷积处理单元，用于通过卷积处理实时压缩所述特征图的特征信息，其中，所述卷积为1×1卷积；
检测数据生成单元，用于构建回归模型，并结合回归模型，实时生成与工业图像关键点相对应的检测数据。
进一步地，所述卷积处理单元，还包括：
第一生成模块，用于卷积压缩所述特征图的特征信息，生成与特征图相对应的具有通道数的特征图；
第一处理模块，用于归一化处理所述具有通道数的特征图，并激活Relu激活函数，以及展平处理所述特征图的特征；
和/或，所述卷积处理单元，还包括：
第一判定模块，用于判定是否存在不可见的关键点，若存在，则结合关键点阈值，去除不可见的关键点；否则，根据判定结果数据，实时生成与特征图相对应的关键点信息；
第二生成模块，用于根据判定结果数据，实时生成与特征图相对应的关键点信息；
所述检测数据生成单元，还包括：
第二处理模块，用于实时获取与特征图相对应的关键点信息；并对所述关键点信息于全连接层的输出层数量加二处理；
第三生成模块，用于生成带有至少两个标志位数据的关键点，其中，一个标志位表示关键点存在，第二个表示不存在；
第四生成模块，用于对标志位的值进行softmax归一化处理，并生成与关键点相对应的索引；
和/或，所述检测数据生成单元，还包括：
第五生成模块，用于生成与关键点相对应的位置数据，以及关键点存在与否的数据信息；
和/或，所述检测数据生成单元，还包括：
第六生成模块，用于结合均方误差损失函数数据，实时生成模型预测值和真实值之间像素差的平方和数据；
第二判定模块，用于根据损失函数值数据，判断回归模型于训练过程中的收敛状态。
本发明的第三目的是这样实现的：包括处理器、存储器以及基于回归模型的工业图像关键点检测平台控制程序；其中在所述的处理器执行所述的基于回归模型的工业图像关键点检测平台控制程序，所述的基于回归模型的工业图像关键点检测平台控制程序被存储在所述存储器中，所述的基于回归模型的工业图像关键点检测平台控制程序，实现所述的基于回归模型的工业图像关键点检测方法。
本发明的第四目的是这样实现的：所述计算机可读取存储介质存储有基于回归模型的工业图像关键点检测平台控制程序，所述的基于回归模型的工业图像关键点检测平台控制程序，实现所述的基于回归模型的工业图像关键点检测方法。
本发明通过方法获取与工业图像关键点相对应的图像数据，并结合特征提取网络，实时生成与工业图像关键点相对应的特征图；通过卷积处理实时压缩所述特征图的特征信息，其中，所述卷积为1×1卷积；构建回归模型，并结合回归模型，实时生成与工业图像关键点相对应的检测数据，以及与所述方法相应的系统、平台以及存储介质；可以保留特征的全局空间信息，提高关键点预测的空间泛化性和稳定性。而且会可以实现关键点回归模型添加每个点的可见性功能。
也就是说，基于回归模型的工业图像关键点检测算法比传统检测算法，可以让设备自动将工业图像中各种类型的关键点检测出来，并且各类点的平均像素误差可以控制在一个像素以内。比传统检测算法有更高的精度，并且消除了人工因为个体差异、身体状态等造成的主观因素对缺陷判断的影响，提高了检测的安全性、可靠性以及效率。比常见的关键点回归模型多出预测点可见性的功能，大幅降低常见关键点回归模型的平均过检率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中常见关键点回归模型网络结构示意图；
图2为为本发明一种基于回归模型的工业图像关键点检测方法之应用FCNeck关键点回归模型网络结构示意图；
图3为本发明一种基于回归模型的工业图像关键点检测方法流程示意图；
图4为本发明一种基于回归模型的工业图像关键点检测系统架构示意图；
图5为本发明一种基于回归模型的工业图像关键点检测平台架构示意图；
图6为本发明一种实施例中计算机可读取存储介质架构示意图；
本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为便于更好的理解本发明的目的、技术方案和优点更加清楚，下面结合附图和具体的实施方式对本发明作进一步说明，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。
本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
需要说明，若本发明实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。其次，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时，应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
优选地，本发明一种基于回归模型的工业图像关键点检测方法应用在一个或者多个终端或者服务器中。所述终端是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述终端可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端可以与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
本发明为实现一种基于回归模型的工业图像关键点检测方法、系统、平台及存储介质。
如图3所示，是本发明实施例提供的基于回归模型的工业图像关键点检测方法的流程图。
在本实施例中，所述基于回归模型的工业图像关键点检测方法，可以应用于具备显示功能的终端或者固定终端中，所述终端并不限定于个人电脑、智能手机、平板电脑、安装有摄像头的台式机或一体机等。
所述基于回归模型的工业图像关键点检测方法也可以应用于由终端和通过网络与所述终端进行连接的服务器所构成的硬件环境中。网络包括但不限于：广域网、城域网或局域网。本发明实施例的基于回归模型的工业图像关键点检测方法可以由服务器来执行，也可以由终端来执行，还可以是由服务器和终端共同执行。
例如，对于需要进行基于回归模型的工业图像关键点检测终端，可以直接在终端上集成本发明的方法所提供的基于回归模型的工业图像关键点检测功能，或者安装用于实现本发明的方法的客户端。再如，本发明所提供的方法还可以软件开发工具包(SoftwareDevelopment Kit，SDK)的形式运行在服务器等设备上，以SDK的形式提供基于回归模型的工业图像关键点检测功能的接口，终端或其他设备通过所提供的接口即可实现基于回归模型的工业图像关键点检测功能。以下结合附图对本发明作进一步阐述。
如图1-图3所示，本发明提供了一种基于回归模型的工业图像关键点检测方法，所述的方法包括如下步骤：
S1、获取与工业图像关键点相对应的图像数据，并结合特征提取网络，实时生成与工业图像关键点相对应的特征图；
S2、通过卷积处理实时压缩所述特征图的特征信息，其中，所述卷积为1×1卷积；
S3、构建回归模型，并结合回归模型，实时生成与工业图像关键点相对应的检测数据。
所述通过卷积处理实时压缩所述特征图的特征信息，其中，所述卷积为1×1卷积，还包括：
S21、卷积压缩所述特征图的特征信息，生成与特征图相对应的具有通道数的特征图；
S22、归一化处理所述具有通道数的特征图，并激活Relu激活函数，以及展平处理所述特征图的特征。
所述通过卷积处理实时压缩所述特征图的特征信息，其中，所述卷积为1×1卷积，还包括：
S23、判定是否存在不可见的关键点，若存在，则结合关键点阈值，去除不可见的关键点；否则，执行下一步骤；
S24、根据判定结果数据，实时生成与特征图相对应的关键点信息。
所述构建回归模型，并结合回归模型，实时生成与工业图像关键点相对应的检测数据，还包括：
S31、实时获取与特征图相对应的关键点信息；并对所述关键点信息于全连接层的输出层数量加二处理；
S32、生成带有至少两个标志位数据的关键点，其中，一个标志位表示关键点存在，第二个表示不存在；
S33、对标志位的值进行softmax归一化处理，并生成与关键点相对应的索引。
所述构建回归模型，并结合回归模型，实时生成与工业图像关键点相对应的检测数据，还包括：
S34、生成与关键点相对应的位置数据，以及关键点存在与否的数据信息。
所述构建回归模型，并结合回归模型，实时生成与工业图像关键点相对应的检测数据，还包括：
S35、结合均方误差损失函数数据，实时生成模型预测值和真实值之间像素差的平方和数据；
S36、根据损失函数值数据，判断回归模型于训练过程中的收敛状态。
具体地，在本发明实施例中，工业上使用AI进行关键点检测的技术背景可以追溯到计算机视觉和机器学习领域的发展。相对于传统的关键点检测算法，AI检测关键点自适应强，AI模型可以从大量的数据中学习到不同样本的特征，具有更强的自适应性。AI模型可以通过深度学习算法训练得到更准确的模型，从而提高关键点检测的准确性。AI模型可以通过迁移学习等技术，在不同的工业应用场景中复用和优化，减少开发和维护成本。AI模型可以通过不断地添加和更新数据，不断优化模型，以适应新的工业应用场景，具有更强的可扩展性。
也就是说，常见关键点回归模型如图1所示。本方案将常见关键点回归模型中的全局池化改成增加设计的瓶颈结构，将其命名为FCNeck，对应的网络结构如图2所示。FCNeck首先用1×1卷积大幅降低特征图的通道数，因为所用卷积核输入和输出通道分别是2048和32。一般来说，全连接隐层层数量受全连接输入层和输出层数量的影响，输入层节点数量如果太多则需要更多的隐藏层，因此用此卷积压缩特征信息同时可保证后边的全连接结构隐藏层没有太多参数量。接下来FCNeck将降低通道的特征图进行BN归一化以及Relu激活函数激活，再将特征进行展平操作，代替全局池化操作，避免了全局池化操作损失特征图空间信息，保留了特征图的空间信息。
如图1所示的常见关键点回归模型的输出输出了所有类型关键点位置信息，没有考虑关键点存不存在的情况。不存在的点的得分照样很高，不能通过阈值将不可见的见去掉。本方案的模型的输出头用全连接层得到每个关键点的信息，让得到关键点信息的全连接层的输出层数量加二，以对每个关键点的输出多添加了两个标志位，一个标志位表示关键点存在，第二个表示不存在，两个标志位的值进行softmax归一化并找最大值对应的索引以表示这个关键点存不存在。这两个标志位的输出部分用交叉熵损失函数，模型结构如图2所示。这样模型不但可以输出关键点的详细位置并且可以输出关键点存在与否的信息。
残差似然估计的关键点回归模型，通过流模型，估计出模型输出关节的分布概率密度。但是其输出的损失函数值在模型收敛的时候是负数，不直观，不能通过损失函数值判断模型训练过程的收敛情况。本方案对损失函数添加了均方误差损失函数，让损失函数值更加直观，因为均方误差损失函数的输出是模型预测值和真实值之间像素差的平方和，当这部分损失函数在测试集上的值接近0时模型基本收敛了，可以通过损失函数值判断模型在训练过程中的收敛情况。同时可以让训练过程更加稳定。本方案模型总的损失函数为残差似然估计的损失部分和均方误差损失函数部分以及关键点可见性损失函数部分三者的加和。
换言之，本方案的主要保护垫是：关键点回归模型去掉模型中常见的全局池化操作而是用别的无全局池化的结构代替，例如本方案中的瓶颈结构FCNeck，以保留特征的全局空间信息，提高关键点预测的空间泛化性和稳定性。关键点回归模型添加每个点的可见性功能。本方案关键点回归模型的损失函数实现方式。
本方案提出了一种关键点模型的瓶颈结构，用于将回归模型特征提取网络提取的特征转换成全连接的输入，同时保留了特征图的空间信息。
本方案增加了关键点的可见性损失函数，对每种类型的点输出位置信息的同时也输出了这个点的可见性，解决了模型会将图像中不存在但是在模型可检测类别中的点也高得分输出的问题。
本方案对损失函数添加了均方误差损失函数，让损失函数值更加直观，可以通过损失函数值判断模型在训练过程中的收敛情况。同时可以让训练过程更加稳定。
图像经过dataset进行预处理后送入到关键点模型中，模型的特征提取网络对预处理后的图像提取特征，接着将特征送入到我们FCNeck结构中以尽量保留图像的全局信息，再对FCNeck结构的输出特征进行全连接操作得到各个关键点的准确位置以及可见性。
为实现上述目的，本发明还提供一种基于回归模型的工业图像关键点检测系统，如图4所示，所述的系统具体包括：
获取生成单元，用于获取与工业图像关键点相对应的图像数据，并结合特征提取网络，实时生成与工业图像关键点相对应的特征图；
卷积处理单元，用于通过卷积处理实时压缩所述特征图的特征信息，其中，所述卷积为1×1卷积；
检测数据生成单元，用于构建回归模型，并结合回归模型，实时生成与工业图像关键点相对应的检测数据。
所述卷积处理单元，还包括：
第一生成模块，用于卷积压缩所述特征图的特征信息，生成与特征图相对应的具有通道数的特征图；
第一处理模块，用于归一化处理所述具有通道数的特征图，并激活Relu激活函数，以及展平处理所述特征图的特征；
和/或，所述卷积处理单元，还包括：
第一判定模块，用于判定是否存在不可见的关键点，若存在，则结合关键点阈值，去除不可见的关键点；否则，根据判定结果数据，实时生成与特征图相对应的关键点信息；
第二生成模块，用于根据判定结果数据，实时生成与特征图相对应的关键点信息；
所述检测数据生成单元，还包括：
第二处理模块，用于实时获取与特征图相对应的关键点信息；并对所述关键点信息于全连接层的输出层数量加二处理；
第三生成模块，用于生成带有至少两个标志位数据的关键点，其中，一个标志位表示关键点存在，第二个表示不存在；
第四生成模块，用于对标志位的值进行softmax归一化处理，并生成与关键点相对应的索引；
和/或，所述检测数据生成单元，还包括：
第五生成模块，用于生成与关键点相对应的位置数据，以及关键点存在与否的数据信息；
和/或，所述检测数据生成单元，还包括：
第六生成模块，用于结合均方误差损失函数数据，实时生成模型预测值和真实值之间像素差的平方和数据；
第二判定模块，用于根据损失函数值数据，判断回归模型于训练过程中的收敛状态。
在本发明系统方案实施例中，所述的一种基于回归模型的工业图像关键点检测中涉及的方法步骤，具体细节已在上文阐述，也就是说，所述系统中的功能模块用于实现上述方法实施例中的步骤或子步骤，此处不再赘述。
为实现上述目的，本发明还提供一种基于回归模型的工业图像关键点检测平台，如图5所示，包括处理器、存储器以及基于回归模型的工业图像关键点检测平台控制程序；
其中在所述的处理器执行所述的基于回归模型的工业图像关键点检测平台控制程序，所述的基于回归模型的工业图像关键点检测平台控制程序被存储在所述存储器中，所述的基于回归模型的工业图像关键点检测平台控制程序，实现所述的基于回归模型的工业图像关键点检测方法步骤。例如：
S1、获取与工业图像关键点相对应的图像数据，并结合特征提取网络，实时生成与工业图像关键点相对应的特征图；
S2、通过卷积处理实时压缩所述特征图的特征信息，其中，所述卷积为1×1卷积；
S3、构建回归模型，并结合回归模型，实时生成与工业图像关键点相对应的检测数据。
步骤具体细节已在上文阐述，此处不再赘述。
本发明实施例中，所述的基于回归模型的工业图像关键点检测平台内置处理器，可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(Central Processingunit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。处理器利用各种接口和线路连接取各个部件，通过运行或执行存储在存储器内的程序或者单元，以及调用存储在存储器内的数据，以执行基于回归模型的工业图像关键点检测各种功能和处理数据；
存储器用于存储程序代码和各种数据，安装在基于回归模型的工业图像关键点检测平台中，并在运行过程中实现高速、自动地完成程序或数据的存取。
所述存储器包括只读存储器(Read-Only Memory，ROM)，随机存储器(RandomAccess Memory，RAM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
为实现上述目的，本发明还提供一种计算机可读取存储介质，如图6所示，所述计算机可读取存储介质存储有基于回归模型的工业图像关键点检测平台控制程序，所述的基于回归模型的工业图像关键点检测平台控制程序，实现所述的基于回归模型的工业图像关键点检测方法步骤，例如：
S1、获取与工业图像关键点相对应的图像数据，并结合特征提取网络，实时生成与工业图像关键点相对应的特征图；
S2、通过卷积处理实时压缩所述特征图的特征信息，其中，所述卷积为1×1卷积；
S3、构建回归模型，并结合回归模型，实时生成与工业图像关键点相对应的检测数据。
步骤具体细节已在上文阐述，此处不再赘述。
在本发明的实施方式的描述中，需要说明的是，流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读取介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。
另外，计算机可读取介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
在本发明实施例中，为实现上述目的，本发明还提供一种芯片系统，所述芯片系统包括至少一个处理器，当程序指令在所述至少一个处理器中执行时，使得所述芯片系统执行所述的基于回归模型的工业图像关键点检测方法步骤，例如：
S1、获取与工业图像关键点相对应的图像数据，并结合特征提取网络，实时生成与工业图像关键点相对应的特征图；
S2、通过卷积处理实时压缩所述特征图的特征信息，其中，所述卷积为1×1卷积；
S3、构建回归模型，并结合回归模型，实时生成与工业图像关键点相对应的检测数据。
步骤具体细节已在上文阐述，此处不再赘述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本发明通过方法获取与工业图像关键点相对应的图像数据，并结合特征提取网络，实时生成与工业图像关键点相对应的特征图；通过卷积处理实时压缩所述特征图的特征信息，其中，所述卷积为1×1卷积；构建回归模型，并结合回归模型，实时生成与工业图像关键点相对应的检测数据，以及与所述方法相应的系统、平台以及存储介质；可以保留特征的全局空间信息，提高关键点预测的空间泛化性和稳定性。而且会可以实现关键点回归模型添加每个点的可见性功能。
也就是说，基于回归模型的工业图像关键点检测算法比传统检测算法，可以让设备自动将工业图像中各种类型的关键点检测出来，并且各类点的平均像素误差可以控制在一个像素以内。比传统检测算法有更高的精度，并且消除了人工因为个体差异、身体状态等造成的主观因素对缺陷判断的影响，提高了检测的安全性、可靠性以及效率。比常见的关键点回归模型多出预测点可见性的功能，大幅降低常见关键点回归模型的平均过检率。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于回归模型的工业图像关键点检测方法，其特征在于，所述方法包括如下步骤：
获取与工业图像关键点相对应的图像数据，并结合特征提取网络，实时生成与工业图像关键点相对应的特征图；
通过卷积处理实时压缩所述特征图的特征信息，其中，所述卷积为1×1卷积；
构建回归模型构建回归模型，并结合回归模型，实时生成与工业图像关键点相对应的检测数据。
2.根据权利要求1所述一种基于回归模型的工业图像关键点检测方法，其特征在于，所述通过卷积处理实时压缩所述特征图的特征信息，其中，所述卷积为1×1卷积，还包括：
卷积压缩所述特征图的特征信息，并生成与特征图相对应的具有通道数的特征图；
归一化处理所述具有通道数的特征图，并激活Relu激活函数，以及展平处理所述特征图的特征。
3.根据权利要求1或2所述一种基于回归模型的工业图像关键点检测方法，其特征在于，所述通过卷积处理实时压缩所述特征图的特征信息，其中，所述卷积为1×1卷积，还包括：
判定是否存在不可见的关键点，若存在，则结合关键点阈值，去除不可见的关键点；否则，执行下一步骤；
根据判定结果数据，实时生成与特征图相对应的关键点信息。
4.根据权利要求1所述一种基于回归模型的工业图像关键点检测方法，其特征在于，所述构建回归模型，并结合回归模型，实时生成与工业图像关键点相对应的检测数据，还包括：
实时获取与特征图相对应的关键点信息；并对所述关键点信息于全连接层的输出层数量加二处理；
生成带有至少两个标志位数据的关键点，其中，一个标志位表示关键点存在，第二个表示不存在；
对标志位的值进行softmax归一化处理，并生成与关键点相对应的索引。
5.根据权利要求1或4所述一种基于回归模型的工业图像关键点检测方法，其特征在于，所述构建回归模型，并结合回归模型，实时生成与工业图像关键点相对应的检测数据，还包括：
生成与关键点相对应的位置数据，以及关键点存在与否的数据信息。
6.根据权利要求1或4所述一种基于回归模型的工业图像关键点检测方法，其特征在于，所述构建回归模型，并结合回归模型，实时生成与工业图像关键点相对应的检测数据，还包括：
结合均方误差损失函数数据，实时生成模型预测值和真实值之间像素差的平方和数据；
根据损失函数值数据，判断回归模型于训练过程中的收敛状态。
7.一种基于回归模型的工业图像关键点检测系统，其特征在于，所述系统包括：
获取生成单元，用于获取与工业图像关键点相对应的图像数据，并结合特征提取网络，实时生成与工业图像关键点相对应的特征图；
卷积处理单元，用于通过卷积处理实时压缩所述特征图的特征信息，其中，所述卷积为1×1卷积；
检测数据生成单元，用于构建回归模型，并结合回归模型，实时生成与工业图像关键点相对应的检测数据。
8.根据权利要求7所述的一种基于回归模型的工业图像关键点检测系统，其特征在于，所述卷积处理单元，还包括：
第一生成模块，用于卷积压缩所述特征图的特征信息，生成与特征图相对应的具有通道数的特征图；
第一处理模块，用于归一化处理所述具有通道数的特征图，并激活Relu激活函数，以及展平处理所述特征图的特征；
和/或，所述卷积处理单元，还包括：
第一判定模块，用于判定是否存在不可见的关键点，若存在，则结合关键点阈值，去除不可见的关键点；否则，根据判定结果数据，实时生成与特征图相对应的关键点信息；
第二生成模块，用于根据判定结果数据，实时生成与特征图相对应的关键点信息；
所述检测数据生成单元，还包括：
第二处理模块，用于实时获取与特征图相对应的关键点信息；并对所述关键点信息于全连接层的输出层数量加二处理；
第三生成模块，用于生成带有至少两个标志位数据的关键点，其中，一个标志位表示关键点存在，第二个表示不存在；
第四生成模块，用于对标志位的值进行softmax归一化处理，并生成与关键点相对应的索引；
和/或，所述检测数据生成单元，还包括：
第五生成模块，用于生成与关键点相对应的位置数据，以及关键点存在与否的数据信息；
和/或，所述检测数据生成单元，还包括：
第六生成模块，用于结合均方误差损失函数数据，实时生成模型预测值和真实值之间像素差的平方和数据；
第二判定模块，用于根据损失函数值数据，判断回归模型于训练过程中的收敛状态。
9.一种基于回归模型的工业图像关键点检测平台，其特征在于，包括处理器、存储器以及基于回归模型的工业图像关键点检测平台控制程序；
其中在所述的处理器执行所述的基于回归模型的工业图像关键点检测平台控制程序，所述的基于回归模型的工业图像关键点检测平台控制程序被存储在所述存储器中，所述的基于回归模型的工业图像关键点检测平台控制程序，实现如权利要求1至6中任一项所述的基于回归模型的工业图像关键点检测方法。
10.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质存储有基于回归模型的工业图像关键点检测平台控制程序，所述的基于回归模型的工业图像关键点检测平台控制程序，实现如权利要求1至6中任一项所述的基于回归模型的工业图像关键点检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310942633.3A CN116777899A (zh) | 2023-07-28 | 2023-07-28 | 基于回归模型的工业图像关键点检测方法、系统及平台 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310942633.3A CN116777899A (zh) | 2023-07-28 | 2023-07-28 | 基于回归模型的工业图像关键点检测方法、系统及平台 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116777899A true CN116777899A (zh) | 2023-09-19 |
Family
ID=88011657
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310942633.3A Pending CN116777899A (zh) | 2023-07-28 | 2023-07-28 | 基于回归模型的工业图像关键点检测方法、系统及平台 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116777899A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117635688A (zh) * | 2023-11-28 | 2024-03-01 | 广州恒沙数字科技有限公司 | 一种尺寸测量方法、装置、电子设备及存储介质 |
| CN117710348A (zh) * | 2023-12-21 | 2024-03-15 | 广州恒沙云科技有限公司 | 基于位置信息和注意力机制的路面裂缝检测方法及系统 |
| CN117635688B (zh) * | 2023-11-28 | 2024-06-07 | 广州恒沙数字科技有限公司 | 一种尺寸测量方法、装置、电子设备及存储介质 |
-
2023
- 2023-07-28 CN CN202310942633.3A patent/CN116777899A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117635688A (zh) * | 2023-11-28 | 2024-03-01 | 广州恒沙数字科技有限公司 | 一种尺寸测量方法、装置、电子设备及存储介质 |
| CN117635688B (zh) * | 2023-11-28 | 2024-06-07 | 广州恒沙数字科技有限公司 | 一种尺寸测量方法、装置、电子设备及存储介质 |
| CN117710348A (zh) * | 2023-12-21 | 2024-03-15 | 广州恒沙云科技有限公司 | 基于位置信息和注意力机制的路面裂缝检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109919077B (zh) | 姿态识别方法、装置、介质和计算设备 | |
| CN112380981A (zh) | 人脸关键点的检测方法、装置、存储介质及电子设备 | |
| CN113205037B (zh) | 事件检测的方法、装置、电子设备以及可读存储介质 | |
| CN113012200B (zh) | 一种运动物体的定位方法、装置、电子设备及存储介质 | |
| CN111652181B (zh) | 目标跟踪方法、装置及电子设备 | |
| CN113780098A (zh) | 文字识别方法、装置、电子设备以及存储介质 | |
| CN112966088A (zh) | 未知意图的识别方法、装置、设备及存储介质 | |
| CN114826947B (zh) | 一种基于自动编码器的流量矩阵恢复预测方法及系统 | |
| CN111563429A (zh) | 一种图纸校对方法、装置、电子设备及存储介质 | |
| CN111738290B (zh) | 图像检测方法、模型构建和训练方法、装置、设备和介质 | |
| CN113627298A (zh) | 目标检测模型的训练方法及检测目标对象的方法、装置 | |
| CN113378969A (zh) | 一种目标检测结果的融合方法、装置、设备及介质 | |
| CN115527083B (zh) | 图像标注方法、装置和电子设备 | |
| CN116777899A (zh) | 基于回归模型的工业图像关键点检测方法、系统及平台 | |
| CN113361455B (zh) | 人脸鉴伪模型的训练方法、相关装置及计算机程序产品 | |
| CN116229535A (zh) | 人脸检测模型的训练方法、人脸检测方法及装置 | |
| CN115937993A (zh) | 活体检测模型训练方法、活体检测方法、装置和电子设备 | |
| CN116091416A (zh) | 印制电路板组装缺陷检测、变化检测模型训练方法及装置 | |
| CN113033817B (zh) | 基于隐空间的ood检测方法、装置、服务器及存储介质 | |
| CN112541557B (zh) | 生成式对抗网络的训练方法、装置及电子设备 | |
| CN114022686A (zh) | 一种面向遮挡场景的行人再识别方法 | |
| CN113591787A (zh) | 光纤链路部件的识别方法、装置、设备和存储介质 | |
| CN112446385A (zh) | 一种场景语义分割方法、装置、电子设备 | |
| CN111798376A (zh) | 图像识别方法、装置、电子设备及存储介质 | |
| CN110765918A (zh) | 基于MFANet的vSLAM快速回环检测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |