CN116188584B - 基于图像识别物体打磨位置的方法及系统 - Google Patents
基于图像识别物体打磨位置的方法及系统 Download PDFInfo
- Publication number
- CN116188584B CN116188584B CN202310439832.2A CN202310439832A CN116188584B CN 116188584 B CN116188584 B CN 116188584B CN 202310439832 A CN202310439832 A CN 202310439832A CN 116188584 B CN116188584 B CN 116188584B
- Authority
- CN
- China
- Prior art keywords
- product
- feature map
- feature
- shallow
- polishing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005498 polishing Methods 0.000 title claims abstract description 132
- 238000000034 method Methods 0.000 title claims abstract description 76
- 238000013527 convolutional neural network Methods 0.000 claims description 64
- 238000010586 diagram Methods 0.000 claims description 60
- 239000010410 layer Substances 0.000 claims description 53
- 239000011159 matrix material Substances 0.000 claims description 46
- 230000003746 surface roughness Effects 0.000 claims description 43
- 238000011176 pooling Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 32
- 238000009792 diffusion process Methods 0.000 claims description 17
- 230000004913 activation Effects 0.000 claims description 15
- 230000008030 elimination Effects 0.000 claims description 13
- 238000003379 elimination reaction Methods 0.000 claims description 13
- 238000000227 grinding Methods 0.000 claims description 11
- 238000003062 neural network model Methods 0.000 claims description 11
- 238000005457 optimization Methods 0.000 claims description 11
- 239000013598 vector Substances 0.000 claims description 10
- 238000012546 transfer Methods 0.000 claims description 8
- 230000004927 fusion Effects 0.000 claims description 5
- 239000002356 single layer Substances 0.000 claims description 5
- 238000003860 storage Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 238000004590 computer program Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 7
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000007792 addition Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000007517 polishing process Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000013178 mathematical model Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Constituent Portions Of Griding Lathes, Driving, Sensing And Control (AREA)
- Machine Tool Sensing Apparatuses (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及图像识别领域，其具体地公开了一种基于图像识别物体打磨位置的方法及系统，其通过采用学习的人工智能技术，基于摄像头采集产品图像，基于产品图像生成产品三维模型，继而基于产品三维模型来确定打磨位置和打磨参数，这样实现对产品打磨流程的自动化处理，提高生产效率和产品质量，降低人工成本和人为错误。
Description
技术领域
本申请涉及图像识别领域，且更为具体地，涉及一种基于图像识别物体打磨位置的方法及系统。
背景技术
近年来，随着物联网、人工智能、图像处理等技术的发展，智能化图像识别技术被应用到越来越多的行业，大大提高了工业生产的自动化程度。图像识别技术是通过对图像采集设备采集的图片进行处理、分析和理解，以识别和获取各种不同模式的目标和对象的技术。
例如，申请号为202110962704.7的中国专利公开了一种机器人视觉识别及定位方法、智能终端及存储介质，包括：获取待识别图像；其中，所述待识别图像中包括若干待拆卸部件；将所述待识别图像输入图像识别模型，通过所述图像识别模型输出各个待拆卸部件对应的类别信息和图像位置信息；根据所述图像位置信息以及预先确定的相机到机器人末端的转换矩阵，确定所述各个待拆卸部件对应的目标位置信息。该发明通过图像识别模型输出各个待拆卸部件的类别信息及图像位置信息，并根据图像位置信息确定目标位置信息，可以精确识别待拆卸部件的类别信息并精确定位待拆卸部件的位置信息，实现共享单车的自动分类拆卸与共享单车零件的循环利用，解决人工暴力拆卸造成的资源浪费问题。
再如，申请号为202010884213.0的中国专利公开了目标物的抓取方法、装置、系统、存储介质及设备。其中，目标物的抓取方法包括：获取目标物的目标物图像；将目标物图像输入识别模型，以得到目标物的特征信息；基于特征信息，生成抓取指令，目标物通过抓取指令控制执行器抓取目标物。该技术方案通过基于人工智能的方法识别目标物的特征信息，再基于特征信息生成抓取指令，可以提高目标物的抓取成功率；另外，降低了更换元件的成本，提高了效率。
但是上述相关的图像识别技术应用到产品打磨加工行业比较困难，因为产品打磨是在三维空间内进行，如果要基于图像识别技术，实现产品打磨的智能化和自动化，对产品进行三维建模是核心难点。如果把目前的图像识别技术应用到三维空间的打磨加工，还需要一定的改进。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于图像识别物体打磨位置的方法及系统，其通过采用学习的人工智能技术，基于摄像头采集产品图像，基于产品图像生成产品三维模型，继而基于产品三维模型来确定打磨位置和打磨参数，这样实现对产品打磨流程的自动化处理，提高生产效率和产品质量，降低人工成本和人为错误。
根据本申请的一个方面，提供了一种基于图像识别物体打磨位置的方法，其包括：
获取由摄像头采集的待打磨产品图像；
将所述待打磨产品图像通过作为浅层特征图提取器的第一卷积神经网络模型以得到产品浅层特征图；
将所述产品浅层特征图通过空间注意力模块以得到空间增强产品浅层特征图；
将所述空间增强产品浅层特征图通过作为深层特征提取器的第二卷积神经网络模型以得到产品深层特征图；
融合所述产品深层特征图和所述空间增强产品浅层特征图以得到产品特征图；
对所述产品特征图进行特征去冗余化处理以得到优化后产品特征图；
对所述优化后产品特征图进行沿通道维度的全局均值池化以得到产品特征矩阵；
将所述产品特征矩阵通过基于扩散模型的三维模型生成器以得到产品三维模型图；
基于所述产品三维模型图，计算待打磨产品的表面粗糙度和几何误差，并基于所述待打磨产品的表面粗糙度和几何误差确定打磨位置和打磨参数；
将所述打磨位置和所述打磨参数输送给打磨机器人。
在上述基于图像识别物体打磨位置的方法中，所述第一卷积神经网络模型包含3-5个卷积层。
在上述基于图像识别物体打磨位置的方法中，将所述待打磨产品图像通过作为浅层特征图提取器的第一卷积神经网络模型以得到产品浅层特征图，包括：使用所述作为浅层特征图提取器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为浅层特征图提取器的第一卷积神经网络的最后一层的输出为所述产品浅层特征图，所述作为浅层特征图提取器的第一卷积神经网络的第一层的输入为所述待打磨产品图像。
在上述基于图像识别物体打磨位置的方法中，将所述产品浅层特征图通过空间注意力模块以得到空间增强产品浅层特征图，包括：使用所述空间注意力模块的卷积层对所述产品浅层特征图进行卷积编码以得到空间注意力图；将所述空间注意力图输入所述空间注意力模块的Softmax激活函数以得到空间注意力得分图；以及，计算所述空间注意力得分图和所述产品浅层特征图的按位置点乘以得到所述空间增强产品浅层特征图。
在上述基于图像识别物体打磨位置的方法中，将所述空间增强产品浅层特征图通过作为深层特征提取器的第二卷积神经网络模型以得到产品深层特征图，包括：使用所述作为深层特征提取器的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为深层特征提取器的第二卷积神经网络的最后一层的输出为所述产品深层特征图，所述作为深层特征提取器的第二卷积神经网络的第一层的输入为所述空间增强产品浅层特征图。
在上述基于图像识别物体打磨位置的方法中，融合所述产品深层特征图和所述空间增强产品浅层特征图以得到产品特征图，包括：以如下级联公式来融合所述产品深层特征图和所述空间增强产品浅层特征图以得到产品特征图；其中，所述公式为：
，其中，/>
表示所述产品深层特征图，/>
表示所述空间增强产品浅层特征图，/>
表示级联函数，/>
表示所述产品特征图。
在上述基于图像识别物体打磨位置的方法中，对所述产品特征图进行特征去冗余化处理以得到优化后产品特征图，包括：以如下优化公式对所述产品特征图进行特征去冗余化处理以得到优化后产品特征图；其中，所述公式为：
其中，
为所述产品特征图，/>
表示单层卷积操作，/>
、/>
和/>
分别表示特征图的逐位置相加、相减和相乘，且/>
和/>
为偏置特征图，且/>
和/>
为偏置特征图，
为所述优化后产品特征图。
在上述基于图像识别物体打磨位置的方法中，基于所述产品三维模型图，计算待打磨产品的表面粗糙度和几何误差，包括：利用表面重建方法生成所述待打磨产品的表面网格模型；计算所述待打磨产品的表面网格模型中各个网格点的局部曲率值和表面法向量；以及，基于所述各个网格点的局部曲率值和表面法向量，计算得到所述表面粗糙度。
在上述基于图像识别物体打磨位置的方法中，基于所述产品三维模型图，计算待打磨产品的表面粗糙度和几何误差，包括：计算所述产品三维模型图与理论三维模型图之间的距离差异以得到所述几何误差。
根据本申请的另一方面，提供了一种基于图像识别物体打磨位置的系统，其包括：
图像采集模块，用于获取由摄像头采集的待打磨产品图像；
第一卷积模块，用于将所述待打磨产品图像通过作为浅层特征图提取器的第一卷积神经网络模型以得到产品浅层特征图；
空间增强模块，用于将所述产品浅层特征图通过空间注意力模块以得到空间增强产品浅层特征图；
第二卷积模块，用于将所述空间增强产品浅层特征图通过作为深层特征提取器的第二卷积神经网络模型以得到产品深层特征图；
融合模块，用于融合所述产品深层特征图和所述空间增强产品浅层特征图以得到产品特征图；
优化模块，用于对所述产品特征图进行特征去冗余化处理以得到优化后产品特征图；
池化模块，用于对所述优化后产品特征图进行沿通道维度的全局均值池化以得到产品特征矩阵；
模型图生成模块，用于将所述产品特征矩阵通过基于扩散模型的三维模型生成器以得到产品三维模型图；
打磨位置和打磨参数确定模块，用于基于所述产品三维模型图，计算待打磨产品的表面粗糙度和几何误差，并基于所述待打磨产品的表面粗糙度和几何误差确定打磨位置和打磨参数；
打磨位置和打磨参数输送模块，用于将所述打磨位置和所述打磨参数输送给打磨机器人。
根据本申请的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的基于图像识别物体打磨位置的方法。
根据本申请的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的基于图像识别物体打磨位置的方法。
与现有技术相比，本申请提供的一种基于图像识别物体打磨位置的方法及系统，其通过采用学习的人工智能技术，基于摄像头采集产品图像，基于产品图像生成产品三维模型，继而基于产品三维模型来确定打磨位置和打磨参数，这样实现对产品打磨流程的自动化处理，提高生产效率和产品质量，降低人工成本和人为错误。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1为根据本申请实施例的基于图像识别物体打磨位置的方法的应用场景图；
图2为根据本申请实施例的基于图像识别物体打磨位置的方法的流程图；
图3为根据本申请实施例的基于图像识别物体打磨位置的方法的架构示意图；
图4为根据本申请实施例的基于图像识别物体打磨位置的方法中第一卷积神经网络编码的流程图；
图5为根据本申请实施例的基于图像识别物体打磨位置的方法中空间增强过程的流程图；
图6为根据本申请实施例的基于图像识别物体打磨位置的方法中待打磨产品的表面粗糙度和几何误差计算过程的流程图；
图7为根据本申请实施例的基于图像识别物体打磨位置的系统的框图；
图8为根据本申请实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述
的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
场景概述
针对上述技术问题，本申请的技术构思为：基于摄像头采集产品图像，基于产品图像生成产品三维模型，继而基于产品三维模型来确定打磨位置和打磨参数，这样实现对产品打磨流程的自动化处理，提高生产效率和产品质量，降低人工成本和人为错误。
首先获取由摄像头采集的待打磨产品图像。这里，通过所述摄像头采集所述待打磨产品的表面图像，其中，所述表面图像可真实地反映待打磨产品表面的几何形状、纹理信息等。值得一提的是，在本申请的技术方案中，为了充分采集待打磨产品的各个面向的表面特征，可调整所述摄像头的角度来采集所述待打磨产品的多个表面图像。优选地，所述多个表面图像能够充分覆盖所述待打磨产品的所有区域。
接着，将所述待打磨产品图像通过作为浅层特征图提取器的第一卷积神经网络模型以得到产品浅层特征图。也就是，使用基于卷积神经网络模型的浅层特征提取器从所述待打磨产品图像提取待打磨产品的浅层特征，包括轮廓、形态、纹理等特征。本领域普通技术人员应理解，深度学习的卷积神经网络具有自动提取特征的能力，在第一卷积神经网络模型中，通过多组卷积核和池化操作，可以在不同的尺度上提取图像的局部特征以得到较为抽象的浅层特征图，其中，所述浅层特征图可以很好地描述待打磨产品的轮廓、形态、纹理等特征。
特别地，在本申请的技术方案中，考虑到所述产品浅层特征图中不同空间位置的特征值对于待打磨产品的表面特征的信息密度不同，因此，为了更好地利用待打磨产品的空间信息，提高图像特征的表达能力，在本申请的技术方案中，将所述产品浅层特征图通过空间注意力模块以得到空间增强产品浅层特征图，这样，通过采用空间注意力模块，可增强产品浅层特征图的空间信息以提高所述产品浅层特征图的特征空间可鉴别能力。
通过所述第一卷积神经网络模型的编码可提取所述待打磨产品的浅层特征，但这些特征仍然存在一定局限性和不足，比如对于复杂的几何形状、纹理等信息可能提取不够充分。而深层特征更能够较好地描述待打磨产品的抽象特征，通过多层卷积神经网络的堆叠和训练，可以逐渐提取出更加高阶且抽象的特征，有助于区分不同类别的待打磨产品，并提高后续处理步骤的精度。基于此，在本申请的技术方案中，进一步将所述空间增强产品浅层特征图通过作为深层特征提取器的第二卷积神经网络模型以得到产品深层特征图。
接着，融合所述产品深层特征图和所述空间增强产品浅层特征图以得到产品特征图。融合所述产品深层特征图和所述空间增强产品浅层特征图以得到产品特征图，是为了综合利用不同深度的特征信息，提高特征表达能力和分类性能。在深度学习中，浅层特征和深层特征各自具有不同的表达能力和鉴别性，融合这两种特征可以充分利用它们的互补优势，提取更加全面、丰富的特征信息。在本申请一个具体的示例中，将所述产品深层特征图和所述空间增强产品浅层特征图进行级联以得到所述产品特征图。
特别地，这里，对于融合所述产品深层特征图和所述空间增强产品浅层特征图得到的所述产品特征图来说，由于所述作为深层特征提取器的第二卷积神经网络模型是在作为浅层特征图提取器的第一卷积神经网络模型提取出的产品浅层特征图的基础上得到所述产品深层特征图的，尽管所述产品浅层特征图通过空间注意力模块进行了空间分布强化，但是所述第二卷积神经网络模型仍旧会在图像空间维度上进行关联特征提取，这就导致所述产品深层特征图和所述空间增强产品浅层特征图不可避免地包含相同或相似的特征，从而使得融合得到的所述产品特征图包含特征冗余，这会影响对所述产品特征图进行沿通道维度的全局均值池化得到的产品特征矩阵的各个位置的特征值的准确性，从进一步降低将所述产品特征矩阵通过基于扩散模型的三维模型生成器得到的所述产品三维模型图的质量。
因此，本申请的申请人对所述产品特征图
进行基于低廉瓶颈机制堆叠的特征冗余优化，以得到优化后的产品特征图，例如记为/>
，具体表示为：
这里，所述基于低廉瓶颈机制堆叠的特征冗余优化可以使用两个低廉变换特征的乘加式堆叠的低廉瓶颈机制来进行特征扩张，并通过以均一值偏置堆叠通道来匹配残差路径，从而通过类似于基本残差模块的具有低廉成本的低廉操作变换来在冗余性特征中揭露出内在本质特征之下的隐分布信息，以通过简单而有效的卷积操作架构来获得特征的更内在本质的表达，从而优化所述产品特征图的冗余特征表达，提升所述产品特征矩阵的各个位置的特征值的准确性，最终提升所述产品三维模型图的质量。
接着，对所述产品特征图进行沿通道维度的全局均值池化以得到产品特征矩阵，并将所述产品特征矩阵通过基于扩散模型的三维模型生成器以得到产品三维模型图。这里，在本申请的技术方案中，对所述产品特征图进行沿通道维度的全局均值池化以得到产品特征矩阵，是为了通过全局均值池化来对所述产品特征图进行维度压缩以得到产品特征矩阵，其中，所述产品特征矩阵用于表示所述待打磨产品的全景图像。接着，将所述产品特征矩阵通过基于扩散模型的三维模型生成器以得到产品三维模型图。这里，本领域普通技术人员应知晓，所述扩散模型是一种基于梯度流的数学模型，其可以根据浓度场的演化规律生成相应的三维形态，从而实现三维重建等功能。
在得到所述产品三维模型图后，可基于所述产品三维模型图，计算待打磨产品的表面粗糙度和几何误差，并基于所述待打磨产品的表面粗糙度和几何误差确定打磨位置和打磨参数。具体地，上述计算过程包括步骤：
表面粗糙度计算：根据所述产品三维模型图，利用表面重建算法生成待打磨产品的表面网格模型。然后，采用曲率分析、高斯滤波、形态学处理等方法计算出每个网格点的局部曲率值和表面法向量，进而计算表面粗糙度指标，如平均粗糙度、最大深度等。
几何误差计算：根据所述产品三维模型图，计算出待打磨产品的理论模型和实际模型之间的距离差异，得到几何误差指标，如最大偏差、均方根误差等。
打磨位置和打磨参数确定：根据所述待打磨产品的表面粗糙度和几何误差指标，结合所选用的打磨工具和打磨机器人等设备的技术参数，以及所需的打磨时间等因素，确定最优的打磨位置和打磨参数。例如，对于表面粗糙度较大或几何误差较大的区域，应选用较高的打磨速度和更精确的打磨位置；而对于表面粗糙度较小或几何误差较小的区域，则可以采用更低的打磨速度和宽松的打磨位置等策略。
最终，将所述打磨位置和所述打磨参数输送给打磨机器人。这样，基于摄像头采集产品图像，并基于产品图像生成产品三维模型，继而基于产品三维模型来确定打磨位置和打磨参数，这样实现对产品打磨流程的自动化处理，提高生产效率和产品质量，降低人工成本和人为错误。
基于此，本申请提出了一种基于图像识别物体打磨位置的方法，其包括：获取由摄像头采集的待打磨产品图像；将所述待打磨产品图像通过作为浅层特征图提取器的第一卷积神经网络模型以得到产品浅层特征图；将所述产品浅层特征图通过空间注意力模块以得到空间增强产品浅层特征图；将所述空间增强产品浅层特征图通过作为深层特征提取器的第二卷积神经网络模型以得到产品深层特征图；融合所述产品深层特征图和所述空间增强产品浅层特征图以得到产品特征图；对所述产品特征图进行特征去冗余化处理以得到优化后产品特征图；对所述优化后产品特征图进行沿通道维度的全局均值池化以得到产品特征矩阵；将所述产品特征矩阵通过基于扩散模型的三维模型生成器以得到产品三维模型图；基于所述产品三维模型图，计算待打磨产品的表面粗糙度和几何误差，并基于所述待打磨产品的表面粗糙度和几何误差确定打磨位置和打磨参数；将所述打磨位置和所述打磨参数输送给打磨机器人。
图1为根据本申请实施例的基于图像识别物体打磨位置的方法的应用场景图。如图1所示，在该应用场景中，通过摄像头（例如，如图1中所示意的C）待打磨产品图像。接着，将上述图像输入至部署有用于基于图像识别物体打磨位置的算法的服务器（例如，图1中的S）中，其中，所述服务器能够以所述基于图像识别物体打磨位置的算法对上述输入的图像进行处理，以生成产品三维模型图。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性方法
图2为根据本申请实施例的基于图像识别物体打磨位置的方法的流程图。如图2所示，根据本申请实施例的基于图像识别物体打磨位置的方法，包括步骤：S110，获取由摄像头采集的待打磨产品图像；S120，将所述待打磨产品图像通过作为浅层特征图提取器的第一卷积神经网络模型以得到产品浅层特征图；S130，将所述产品浅层特征图通过空间注意力模块以得到空间增强产品浅层特征图；S140，将所述空间增强产品浅层特征图通过作为深层特征提取器的第二卷积神经网络模型以得到产品深层特征图；S150，融合所述产品深层特征图和所述空间增强产品浅层特征图以得到产品特征图；S160，对所述产品特征图进行特征去冗余化处理以得到优化后产品特征图；S170，对所述优化后产品特征图进行沿通道维度的全局均值池化以得到产品特征矩阵；S180，将所述产品特征矩阵通过基于扩散模型的三维模型生成器以得到产品三维模型图；S190，基于所述产品三维模型图，计算待打磨产品的表面粗糙度和几何误差，并基于所述待打磨产品的表面粗糙度和几何误差确定打磨位置和打磨参数；S200，将所述打磨位置和所述打磨参数输送给打磨机器人。
图3为根据本申请实施例的基于图像识别物体打磨位置的方法的架构示意图。如图3所示，在该网络结构中，首先，获取由摄像头采集的待打磨产品图像；接着，将所述待打磨产品图像通过作为浅层特征图提取器的第一卷积神经网络模型以得到产品浅层特征图；将所述产品浅层特征图通过空间注意力模块以得到空间增强产品浅层特征图；将所述空间增强产品浅层特征图通过作为深层特征提取器的第二卷积神经网络模型以得到产品深层特征图；然后，融合所述产品深层特征图和所述空间增强产品浅层特征图以得到产品特征图；对所述产品特征图进行特征去冗余化处理以得到优化后产品特征图；对所述优化后产品特征图进行沿通道维度的全局均值池化以得到产品特征矩阵；然后，将所述产品特征矩阵通过基于扩散模型的三维模型生成器以得到产品三维模型图；进而，基于所述产品三维模型图，计算待打磨产品的表面粗糙度和几何误差，并基于所述待打磨产品的表面粗糙度和几何误差确定打磨位置和打磨参数；将所述打磨位置和所述打磨参数输送给打磨机器人。
具体地，在步骤S110中，获取由摄像头采集的待打磨产品图像。应可以理解，在本申请的技术方案中，基于摄像头采集产品图像，基于产品图像生成产品三维模型，继而基于产品三维模型来确定打磨位置和打磨参数，因此，首先，可通过摄像头来获取待打磨产品图像。这里，通过所述摄像头采集所述待打磨产品的表面图像，其中，所述表面图像可真实地反映待打磨产品表面的几何形状、纹理信息等。值得一提的是，在本申请的技术方案中，为了充分采集待打磨产品的各个面向的表面特征，可调整所述摄像头的角度来采集所述待打磨产品的多个表面图像。优选地，所述多个表面图像能够充分覆盖所述待打磨产品的所有区域。
具体地，在步骤S120中，将所述待打磨产品图像通过作为浅层特征图提取器的第一卷积神经网络模型以得到产品浅层特征图。将所述待打磨产品图像通过作为浅层特征图提取器的第一卷积神经网络模型以得到产品浅层特征图。也就是，使用基于卷积神经网络模型的浅层特征提取器从所述待打磨产品图像提取待打磨产品的浅层特征，包括轮廓、形态、纹理等特征。本领域普通技术人员应理解，深度学习的卷积神经网络具有自动提取特征的能力，在第一卷积神经网络模型中，通过多组卷积核和池化操作，可以在不同的尺度上提取图像的局部特征以得到较为抽象的浅层特征图，其中，所述浅层特征图可以很好地描述待打磨产品的轮廓、形态、纹理等特征。在一个具体示例中，所述第一卷积神经网络包括相互级联的多个神经网络层，其中各个神经网络层包括卷积层、池化层和激活层。其中，在所述第一卷积神经网络的编码过程中，所述第一卷积神经网络的各层在层的正向传递过程中对输入数据使用所述卷积层进行基于卷积核的卷积处理、使用所述池化层对由所述卷积层输出的卷积特征图进行池化处理和使用所述激活层对由所述池化层输出的池化特征图进行激活处理。
图4为根据本申请实施例的基于图像识别物体打磨位置的方法中第一卷积神经网络编码的流程图。如图4所示，在所述第一卷积神经网络编码过程中，包括：使用所述作为浅层特征图提取器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：S210，对输入数据进行卷积处理以得到卷积特征图；S220，对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，S230，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为浅层特征图提取器的第一卷积神经网络的最后一层的输出为所述产品浅层特征图，所述作为浅层特征图提取器的第一卷积神经网络的第一层的输入为所述待打磨产品图像。
具体地，在步骤S130中，将所述产品浅层特征图通过空间注意力模块以得到空间增强产品浅层特征图。考虑到所述产品浅层特征图中不同空间位置的特征值对于待打磨产品的表面特征的信息密度不同，因此，为了更好地利用待打磨产品的空间信息，提高图像特征的表达能力，在本申请的技术方案中，将所述产品浅层特征图通过空间注意力模块以得到空间增强产品浅层特征图，这样，通过采用空间注意力模块，可增强产品浅层特征图的空间信息以提高所述产品浅层特征图的特征空间可鉴别能力。
图5为根据本申请实施例的基于图像识别物体打磨位置的方法中空间增强过程的流程图。如图5所示，在所述空间增强的过程中，包括：S310，使用所述空间注意力模块的卷积层对所述产品浅层特征图进行卷积编码以得到空间注意力图；S320，将所述空间注意力图输入所述空间注意力模块的Softmax激活函数以得到空间注意力得分图；以及，S330，计算所述空间注意力得分图和所述产品浅层特征图的按位置点乘以得到所述空间增强产品浅层特征图。
具体地，在步骤S140中，将所述空间增强产品浅层特征图通过作为深层特征提取器的第二卷积神经网络模型以得到产品深层特征图。应可以理解，通过所述第一卷积神经网络模型的编码可提取所述待打磨产品的浅层特征，但这些特征仍然存在一定局限性和不足，比如对于复杂的几何形状、纹理等信息可能提取不够充分。而深层特征更能够较好地描述待打磨产品的抽象特征，通过多层卷积神经网络的堆叠和训练，可以逐渐提取出更加高阶且抽象的特征，有助于区分不同类别的待打磨产品，并提高后续处理步骤的精度。基于此，在本申请的技术方案中，进一步将所述空间增强产品浅层特征图通过作为深层特征提取器的第二卷积神经网络模型以得到产品深层特征图。更具体地，使用所述作为深层特征提取器的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为深层特征提取器的第二卷积神经网络的最后一层的输出为所述产品深层特征图，所述作为深层特征提取器的第二卷积神经网络的第一层的输入为所述空间增强产品浅层特征图。
具体地，在步骤S150中，融合所述产品深层特征图和所述空间增强产品浅层特征图以得到产品特征图。也就是，在得到所述产品深层特征图和所述空间增强产品浅层特征图后，进一步融合所述产品深层特征图和所述空间增强产品浅层特征图综合利用不同深度的特征信息，提高特征表达能力和分类性能。在深度学习中，浅层特征和深层特征各自具有不同的表达能力和鉴别性，融合这两种特征可以充分利用它们的互补优势，提取更加全面、丰富的特征信息。在本申请一个具体的示例中，将所述产品深层特征图和所述空间增强产品浅层特征图进行级联以得到所述产品特征图。在本申请的一个具体示例中，可通过级联的方式来进行融合，更具体地，以如下级联公式来融合所述产品深层特征图和所述空间增强产品浅层特征图以得到产品特征图；其中，所述公式为：
，其中，
表示所述产品深层特征图，/>
表示所述空间增强产品浅层特征图，/>
表示级联函数，/>
表示所述产品特征图。
具体地，在步骤S160中，对所述产品特征图进行特征去冗余化处理以得到优化后产品特征图。应可以理解，对于融合所述产品深层特征图和所述空间增强产品浅层特征图得到的所述产品特征图来说，由于所述作为深层特征提取器的第二卷积神经网络模型是在作为浅层特征图提取器的第一卷积神经网络模型提取出的产品浅层特征图的基础上得到所述产品深层特征图的，尽管所述产品浅层特征图通过空间注意力模块进行了空间分布强化，但是所述第二卷积神经网络模型仍旧会在图像空间维度上进行关联特征提取，这就导致所述产品深层特征图和所述空间增强产品浅层特征图不可避免地包含相同或相似的特征，从而使得融合得到的所述产品特征图包含特征冗余，这会影响对所述产品特征图进行沿通道维度的全局均值池化得到的产品特征矩阵的各个位置的特征值的准确性，从进一步降低将所述产品特征矩阵通过基于扩散模型的三维模型生成器得到的所述产品三维模型图的质量。因此，本申请的申请人对所述产品特征图
进行基于低廉瓶颈机制堆叠的特征冗余优化，以得到优化后的产品特征图，例如记为/>
，具体表示为：
其中，
为所述产品特征图，/>
表示单层卷积操作，/>
、/>
和/>
分别表示特征图的逐位置相加、相减和相乘，且/>
和/>
为偏置特征图，且/>
和/>
为偏置特征图，
为所述优化后产品特征图。这里，所述基于低廉瓶颈机制堆叠的特征冗余优化可以使用两个低廉变换特征的乘加式堆叠的低廉瓶颈机制来进行特征扩张，并通过以均一值偏置堆叠通道来匹配残差路径，从而通过类似于基本残差模块的具有低廉成本的低廉操作变换来在冗余性特征中揭露出内在本质特征之下的隐分布信息，以通过简单而有效的卷积操作架构来获得特征的更内在本质的表达，从而优化所述产品特征图的冗余特征表达，提升所述产品特征矩阵的各个位置的特征值的准确性，最终提升所述产品三维模型图的质量。
具体地，在步骤S170中，对所述优化后产品特征图进行沿通道维度的全局均值池化以得到产品特征矩阵。也就是，对所述产品特征图进行沿通道维度的全局均值池化以得到产品特征矩阵，并将所述产品特征矩阵通过基于扩散模型的三维模型生成器以得到产品三维模型图。这里，在本申请的技术方案中，对所述产品特征图进行沿通道维度的全局均值池化以得到产品特征矩阵，是为了通过全局均值池化来对所述产品特征图进行维度压缩以得到产品特征矩阵，其中，所述产品特征矩阵用于表示所述待打磨产品的全景图像。
具体地，在步骤S180中，将所述产品特征矩阵通过基于扩散模型的三维模型生成器以得到产品三维模型图。在本申请的技术方案中，将所述产品特征矩阵通过基于扩散模型的三维模型生成器以得到产品三维模型图。这里，本领域普通技术人员应知晓，所述扩散模型是一种基于梯度流的数学模型，其可以根据浓度场的演化规律生成相应的三维形态，从而实现三维重建等功能。
具体地，在步骤S190中，基于所述产品三维模型图，计算待打磨产品的表面粗糙度和几何误差，并基于所述待打磨产品的表面粗糙度和几何误差确定打磨位置和打磨参数。在得到所述产品三维模型图后，可基于所述产品三维模型图，计算待打磨产品的表面粗糙度和几何误差，并基于所述待打磨产品的表面粗糙度和几何误差确定打磨位置和打磨参数。具体地，上述计算过程包括步骤：表面粗糙度计算：根据所述产品三维模型图，利用表面重建算法生成待打磨产品的表面网格模型。然后，采用曲率分析、高斯滤波、形态学处理等方法计算出每个网格点的局部曲率值和表面法向量，进而计算表面粗糙度指标，如平均粗糙度、最大深度等。几何误差计算：根据所述产品三维模型图，计算出待打磨产品的理论模型和实际模型之间的距离差异，得到几何误差指标，如最大偏差、均方根误差等。打磨位置和打磨参数确定：根据所述待打磨产品的表面粗糙度和几何误差指标，结合所选用的打磨工具和打磨机器人等设备的技术参数，以及所需的打磨时间等因素，确定最优的打磨位置和打磨参数。例如，对于表面粗糙度较大或几何误差较大的区域，应选用较高的打磨速度和更精确的打磨位置；而对于表面粗糙度较小或几何误差较小的区域，则可以采用更低的打磨速度和宽松的打磨位置等策略。
图6为根据本申请实施例的基于图像识别物体打磨位置的方法中待打磨产品的表面粗糙度和几何误差计算过程的流程图。如图6所示，在所述待打磨产品的表面粗糙度和几何误差计算过程中，包括：S410，利用表面重建方法生成所述待打磨产品的表面网格模型；S420，计算所述待打磨产品的表面网格模型中各个网格点的局部曲率值和表面法向量；以及，S430，基于所述各个网格点的局部曲率值和表面法向量，计算得到所述表面粗糙度。
具体地，在步骤S200中，将所述打磨位置和所述打磨参数输送给打磨机器人。也就是，在本申请的技术方案中，在确定完成打磨位置和打磨参数后，将所述打磨位置和所述打磨参数输送给打磨机器人。基于摄像头采集产品图像，并基于产品图像生成产品三维模型，继而基于产品三维模型来确定打磨位置和打磨参数，这样实现对产品打磨流程的自动化处理，提高生产效率和产品质量，降低人工成本和人为错误。
综上，根据本申请实施例的基于图像识别物体打磨位置的方法被阐明，其通过采用学习的人工智能技术，基于摄像头采集产品图像，基于产品图像生成产品三维模型，继而基于产品三维模型来确定打磨位置和打磨参数，这样实现对产品打磨流程的自动化处理，提高生产效率和产品质量，降低人工成本和人为错误。
示例性系统
图7为根据本申请实施例的基于图像识别物体打磨位置的系统的框图。如图7所示，根据本申请实施例的基于图像识别物体打磨位置的系统300，包括：图像采集模块310；第一卷积模块320；空间增强模块330；第二卷积模块340；融合模块350；优化模块360；池化模块370；模型图生成模块380；打磨位置和打磨参数确定模块390；打磨位置和打磨参数输送模块400。
其中，所述图像采集模块310，用于获取由摄像头采集的待打磨产品图像；所述第一卷积模块320，用于将所述待打磨产品图像通过作为浅层特征图提取器的第一卷积神经网络模型以得到产品浅层特征图；所述空间增强模块330，用于将所述产品浅层特征图通过空间注意力模块以得到空间增强产品浅层特征图；所述第二卷积模块340，用于将所述空间增强产品浅层特征图通过作为深层特征提取器的第二卷积神经网络模型以得到产品深层特征图；所述融合模块350，用于融合所述产品深层特征图和所述空间增强产品浅层特征图以得到产品特征图；所述优化模块360，用于对所述产品特征图进行特征去冗余化处理以得到优化后产品特征图；所述池化模块370，用于对所述优化后产品特征图进行沿通道维度的全局均值池化以得到产品特征矩阵；所述模型图生成模块380，用于将所述产品特征矩阵通过基于扩散模型的三维模型生成器以得到产品三维模型图；所述打磨位置和打磨参数确定模块390，用于基于所述产品三维模型图，计算待打磨产品的表面粗糙度和几何误差，并基于所述待打磨产品的表面粗糙度和几何误差确定打磨位置和打磨参数；所述打磨位置和打磨参数输送模块400，用于将所述打磨位置和所述打磨参数输送给打磨机器人。
在一个示例中，在上述基于图像识别物体打磨位置的系统300中，所述第一卷积模块320，用于：使用所述作为浅层特征图提取器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为浅层特征图提取器的第一卷积神经网络的最后一层的输出为所述产品浅层特征图，所述作为浅层特征图提取器的第一卷积神经网络的第一层的输入为所述待打磨产品图像。特别地，所述第一卷积神经网络模型包含3-5个卷积层。
在一个示例中，在上述基于图像识别物体打磨位置的系统300中，所述空间增强模块330，用于：使用所述空间注意力模块的卷积层对所述产品浅层特征图进行卷积编码以得到空间注意力图；将所述空间注意力图输入所述空间注意力模块的Softmax激活函数以得到空间注意力得分图；以及，计算所述空间注意力得分图和所述产品浅层特征图的按位置点乘以得到所述空间增强产品浅层特征图。
在一个示例中，在上述基于图像识别物体打磨位置的系统300中，所述第二卷积模块340，用于：使用所述作为深层特征提取器的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为深层特征提取器的第二卷积神经网络的最后一层的输出为所述产品深层特征图，所述作为深层特征提取器的第二卷积神经网络的第一层的输入为所述空间增强产品浅层特征图。
在一个示例中，在上述基于图像识别物体打磨位置的系统300中，所述融合模块350，用于：以如下级联公式来融合所述产品深层特征图和所述空间增强产品浅层特征图以得到产品特征图；其中，所述公式为：
其中，
表示所述产品深层特征图，/>
表示所述空间增强产品浅层特征图，
表示级联函数，/>
表示所述产品特征图。
在一个示例中，在上述基于图像识别物体打磨位置的系统300中，所述优化模块360，用于：以如下优化公式对所述产品特征图进行特征去冗余化处理以得到优化后产品特征图；其中，所述公式为：
其中，
为所述产品特征图，/>
表示单层卷积操作，/>
、/>
和/>
分别表示特征图的逐位置相加、相减和相乘，且/>
和/>
为偏置特征图，且/>
和/>
为偏置特征图，
为所述优化后产品特征图。
在一个示例中，在上述基于图像识别物体打磨位置的系统300中，所述打磨位置和打磨参数确定模块390，用于：利用表面重建方法生成所述待打磨产品的表面网格模型；计算所述待打磨产品的表面网格模型中各个网格点的局部曲率值和表面法向量；以及，基于所述各个网格点的局部曲率值和表面法向量，计算得到所述表面粗糙度。
综上，根据本申请实施例的基于图像识别物体打磨位置的系统300被阐明，其通过采用学习的人工智能技术，基于摄像头采集产品图像，基于产品图像生成产品三维模型，继而基于产品三维模型来确定打磨位置和打磨参数，这样实现对产品打磨流程的自动化处理，提高生产效率和产品质量，降低人工成本和人为错误。
如上所述，根据本申请实施例的基于图像识别物体打磨位置的系统可以实现在各种终端设备中。在一个示例中，根据本申请实施例的基于图像识别物体打磨位置的系统300可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于图像识别物体打磨位置的系统300可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于图像识别物体打磨位置的系统300同样可以是该终端设备的众多硬件模块之一。
替换地，在另一示例中，该基于图像识别物体打磨位置的系统300与该终端设备也可以是分立的设备，并且该基于图像识别物体打磨位置的系统300可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
示例性电子设备
下面，参考图8来描述根据本申请实施例的电子设备。
图8图示了根据本申请实施例的电子设备的框图。
如图8所示，电子设备10包括一个或多个处理器11和存储器12。
处理器11可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备10中的其他组件以执行期望的功能。
存储器12可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器11可以运行所述程序指令，以实现上文所述的本申请的各个实施例的基于图像识别物体打磨位置的方法中的功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如产品特征图等各种内容。
在一个示例中，电子设备10还可以包括：输入装置13和输出装置14，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。
该输入装置13可以包括例如键盘、鼠标等等。
该输出装置14可以向外部输出各种信息，包括三维模型图等。该输出装置14可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。
当然，为了简化，图8中仅示出了该电子设备10中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备10还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于图像识别物体打磨位置的方法中的功能中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于图像识别物体打磨位置的方法中的功能中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (10)
1.一种基于图像识别物体打磨位置的方法，其特征在于，包括：
获取由摄像头采集的待打磨产品图像；
将所述待打磨产品图像通过作为浅层特征图提取器的第一卷积神经网络模型以得到产品浅层特征图；
将所述产品浅层特征图通过空间注意力模块以得到空间增强产品浅层特征图；
将所述空间增强产品浅层特征图通过作为深层特征提取器的第二卷积神经网络模型以得到产品深层特征图；
融合所述产品深层特征图和所述空间增强产品浅层特征图以得到产品特征图；
对所述产品特征图进行特征去冗余化处理以得到优化后产品特征图；
对所述优化后产品特征图进行沿通道维度的全局均值池化以得到产品特征矩阵；
将所述产品特征矩阵通过基于扩散模型的三维模型生成器以得到产品三维模型图；
基于所述产品三维模型图，计算待打磨产品的表面粗糙度和几何误差，并基于所述待打磨产品的表面粗糙度和几何误差确定打磨位置和打磨参数；
将所述打磨位置和所述打磨参数输送给打磨机器人。
2.根据权利要求1所述的基于图像识别物体打磨位置的方法，其特征在于，所述第一卷积神经网络模型包含3-5个卷积层。
3.根据权利要求2所述的基于图像识别物体打磨位置的方法，其特征在于，将所述待打磨产品图像通过作为浅层特征图提取器的第一卷积神经网络模型以得到产品浅层特征图，包括：使用所述作为浅层特征图提取器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：
对输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述作为浅层特征图提取器的第一卷积神经网络的最后一层的输出为所述产品浅层特征图，所述作为浅层特征图提取器的第一卷积神经网络的第一层的输入为所述待打磨产品图像。
4.根据权利要求3所述的基于图像识别物体打磨位置的方法，其特征在于，将所述产品浅层特征图通过空间注意力模块以得到空间增强产品浅层特征图，包括：
使用所述空间注意力模块的卷积层对所述产品浅层特征图进行卷积编码以得到空间注意力图；
将所述空间注意力图输入所述空间注意力模块的Softmax激活函数以得到空间注意力得分图；以及
计算所述空间注意力得分图和所述产品浅层特征图的按位置点乘以得到所述空间增强产品浅层特征图。
5.根据权利要求4所述的基于图像识别物体打磨位置的方法，其特征在于，将所述空间增强产品浅层特征图通过作为深层特征提取器的第二卷积神经网络模型以得到产品深层特征图，包括：使用所述作为深层特征提取器的第二卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：
对输入数据进行卷积处理以得到卷积特征图；
对所述卷积特征图进行基于局部特征矩阵的池化以得到池化特征图；以及
对所述池化特征图进行非线性激活以得到激活特征图；
其中，所述作为深层特征提取器的第二卷积神经网络的最后一层的输出为所述产品深层特征图，所述作为深层特征提取器的第二卷积神经网络的第一层的输入为所述空间增强产品浅层特征图。
6.根据权利要求5所述的基于图像识别物体打磨位置的方法，其特征在于，融合所述产品深层特征图和所述空间增强产品浅层特征图以得到产品特征图，包括：以如下级联公式来融合所述产品深层特征图和所述空间增强产品浅层特征图以得到产品特征图；
其中，所述公式为：
其中，
表示所述产品深层特征图，/>
表示所述空间增强产品浅层特征图，
表示级联函数，/>
表示所述产品特征图。
7.根据权利要求6所述的基于图像识别物体打磨位置的方法，其特征在于，对所述产品特征图进行特征去冗余化处理以得到优化后产品特征图，
包括：以如下优化公式对所述产品特征图进行特征去冗余化处理以得到优化后产品特征图；
其中，所述公式为：
其中，
为所述产品特征图，/>
表示单层卷积操作，/>
、/>
和/>
分别表示特征图的逐位置相加、相减和相乘，且/>
和/>
为偏置特征图，/>
为所述优化后产品特征图。
8.根据权利要求7所述的基于图像识别物体打磨位置的方法，其特征在于，基于所述产品三维模型图，计算待打磨产品的表面粗糙度和几何误差，包括：
利用表面重建方法生成所述待打磨产品的表面网格模型；
计算所述待打磨产品的表面网格模型中各个网格点的局部曲率值和表面法向量；以及
基于所述各个网格点的局部曲率值和表面法向量，计算得到所述表面粗糙度。
9.根据权利要求8所述的基于图像识别物体打磨位置的方法，其特征在于，基于所述产品三维模型图，计算待打磨产品的表面粗糙度和几何误差，包括：
计算所述产品三维模型图与理论三维模型图之间的距离差异以得到所述几何误差。
10.一种基于图像识别物体打磨位置的系统，其特征在于，包括：
图像采集模块，用于获取由摄像头采集的待打磨产品图像；
第一卷积模块，用于将所述待打磨产品图像通过作为浅层特征图提取器的第一卷积神经网络模型以得到产品浅层特征图；
空间增强模块，用于将所述产品浅层特征图通过空间注意力模块以得到空间增强产品浅层特征图；
第二卷积模块，用于将所述空间增强产品浅层特征图通过作为深层特征提取器的第二卷积神经网络模型以得到产品深层特征图；
融合模块，用于融合所述产品深层特征图和所述空间增强产品浅层特征图以得到产品特征图；
优化模块，用于对所述产品特征图进行特征去冗余化处理以得到优化后产品特征图；
池化模块，用于对所述优化后产品特征图进行沿通道维度的全局均值池化以得到产品特征矩阵；
模型图生成模块，用于将所述产品特征矩阵通过基于扩散模型的三维模型生成器以得到产品三维模型图；
打磨位置和打磨参数确定模块，用于基于所述产品三维模型图，计算待打磨产品的表面粗糙度和几何误差，并基于所述待打磨产品的表面粗糙度和几何误差确定打磨位置和打磨参数；
打磨位置和打磨参数输送模块，用于将所述打磨位置和所述打磨参数输送给打磨机器人。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310439832.2A CN116188584B (zh) | 2023-04-23 | 2023-04-23 | 基于图像识别物体打磨位置的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310439832.2A CN116188584B (zh) | 2023-04-23 | 2023-04-23 | 基于图像识别物体打磨位置的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116188584A CN116188584A (zh) | 2023-05-30 |
| CN116188584B true CN116188584B (zh) | 2023-06-30 |
Family
ID=86452380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310439832.2A Active CN116188584B (zh) | 2023-04-23 | 2023-04-23 | 基于图像识别物体打磨位置的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116188584B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116416248A (zh) * | 2023-06-08 | 2023-07-11 | 杭州华得森生物技术有限公司 | 基于荧光显微镜的智能分析系统及其方法 |
| CN116403213A (zh) * | 2023-06-08 | 2023-07-07 | 杭州华得森生物技术有限公司 | 基于人工智能的循环肿瘤细胞检测仪及其方法 |
| CN116934704A (zh) * | 2023-07-18 | 2023-10-24 | 车金喜汽配股份有限公司 | 汽车零部件智能加工调节方法及其系统 |
| CN117067004B (zh) * | 2023-10-16 | 2024-01-16 | 杭州泓芯微半导体有限公司 | 一种平磨机及其控制方法 |
| CN117252928B (zh) * | 2023-11-20 | 2024-01-26 | 南昌工控机器人有限公司 | 用于电子产品模块化智能组装的视觉图像定位系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113379709A (zh) * | 2021-06-16 | 2021-09-10 | 浙江工业大学 | 一种基于稀疏多尺度体素特征融合的三维目标检测方法 |
| CN113947609A (zh) * | 2021-10-12 | 2022-01-18 | 中南林业科技大学 | 深度学习网络结构及多标签主动脉夹层ct图像分割方法 |
| CN113963182A (zh) * | 2021-10-22 | 2022-01-21 | 河海大学 | 基于多尺度空洞卷积注意力网络的高光谱影像分类方法 |
| CN114429422A (zh) * | 2021-12-22 | 2022-05-03 | 山东师范大学 | 基于残差通道注意力网络的图像超分辨率重建方法及系统 |
| CN114638836A (zh) * | 2022-02-18 | 2022-06-17 | 湖北工业大学 | 基于高度有效驱动与多层级特征融合的城市街景分割方法 |
| CN115761813A (zh) * | 2022-12-13 | 2023-03-07 | 浙大城市学院 | 基于大数据分析的智能控制系统及方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20230026811A1 (en) * | 2021-07-15 | 2023-01-26 | Ping An Technology (Shenzhen) Co., Ltd. | System and method for removing haze from remote sensing images |
-
2023
- 2023-04-23 CN CN202310439832.2A patent/CN116188584B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113379709A (zh) * | 2021-06-16 | 2021-09-10 | 浙江工业大学 | 一种基于稀疏多尺度体素特征融合的三维目标检测方法 |
| CN113947609A (zh) * | 2021-10-12 | 2022-01-18 | 中南林业科技大学 | 深度学习网络结构及多标签主动脉夹层ct图像分割方法 |
| CN113963182A (zh) * | 2021-10-22 | 2022-01-21 | 河海大学 | 基于多尺度空洞卷积注意力网络的高光谱影像分类方法 |
| CN114429422A (zh) * | 2021-12-22 | 2022-05-03 | 山东师范大学 | 基于残差通道注意力网络的图像超分辨率重建方法及系统 |
| CN114638836A (zh) * | 2022-02-18 | 2022-06-17 | 湖北工业大学 | 基于高度有效驱动与多层级特征融合的城市街景分割方法 |
| CN115761813A (zh) * | 2022-12-13 | 2023-03-07 | 浙大城市学院 | 基于大数据分析的智能控制系统及方法 |
Non-Patent Citations (4)
| Title |
|---|
| FASSD: A feature fusion and spatial attention-based single shot detector for small object detection;Deng Jiang等;《Electronics 2020》;1-20 * |
| Object Detection Algorithm Based on Channel-Spatial Fusion Cascade Attention;Guojun Mao等;《2022 IEEE 8th International Conference on Cloud Computing and Intelligent Systems (CCIS)》;210-214 * |
| 注意力引导特征融合的织物表面缺陷检测;宋智勇等;《软件工程》;第24卷(第12期);11-15 * |
| 结合注意力门控与特征融合的图像去雾网络;刘树东等;《传感器与微系统》;第41卷(第11期);61-64+72 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116188584A (zh) | 2023-05-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116188584B (zh) | 基于图像识别物体打磨位置的方法及系统 | |
| JP7049763B2 (ja) | 二次元画像からの三次元モデル化オブジェクトの認識 | |
| CN109190752B (zh) | 基于深度学习的全局特征和局部特征的图像语义分割方法 | |
| CN113902926A (zh) | 一种基于自注意力机制的通用图像目标检测方法和装置 | |
| CN111462120B (zh) | 一种基于语义分割模型缺陷检测方法、装置、介质及设备 | |
| CN108229588B (zh) | 一种基于深度学习的机器学习识别方法 | |
| CN111340785B (zh) | 模型训练方法、产品表面缺陷检测方法和存储介质 | |
| CN115880298B (zh) | 一种基于无监督预训练的玻璃表面缺陷检测系统 | |
| CN110942515A (zh) | 基于点云的目标物体三维计算机建模方法和目标识别方法 | |
| CN110490915B (zh) | 一种基于卷积受限玻尔兹曼机的点云配准方法 | |
| JP2019008571A (ja) | 物体認識装置、物体認識方法、プログラム、及び学習済みモデル | |
| CN116061187B (zh) | 一种复合机器人对货架商品识别、定位和抓取方法 | |
| CN111833282B (zh) | 一种基于改进的DDcGAN模型的图像融合方法 | |
| CN113095158A (zh) | 一种基于对抗生成网络的笔迹生成方法及装置 | |
| CN116797533A (zh) | 电源适配器的外观缺陷检测方法及其系统 | |
| CN117495891B (zh) | 点云边缘检测方法、装置和电子设备 | |
| CN117252928B (zh) | 用于电子产品模块化智能组装的视觉图像定位系统 | |
| CN111695582A (zh) | 一种颤振纹理的检测方法及其装置 | |
| CN117523593A (zh) | 患者病历数据处理方法及系统 | |
| CN114913330B (zh) | 点云部件分割方法、装置、电子设备与存储介质 | |
| CN116704554A (zh) | 一种基于深度学习的手姿估计与识别的方法、设备及介质 | |
| CN108345943B (zh) | 一种基于嵌入编码与对比学习的机器学习识别方法 | |
| CN112734016A (zh) | 用于钢筋表面的光滑程度检测的神经网络的训练方法 | |
| Zhu et al. | Unsupervised domain adaptive object detection for assembly quality inspection | |
| CN112766465A (zh) | 用于智能转动性能检测的神经网络的训练方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |