CN117455910A - 一种基于机器视觉的卷线识别方法及卷线设备 - Google Patents
一种基于机器视觉的卷线识别方法及卷线设备 Download PDFInfo
- Publication number
- CN117455910A CN117455910A CN202311779173.3A CN202311779173A CN117455910A CN 117455910 A CN117455910 A CN 117455910A CN 202311779173 A CN202311779173 A CN 202311779173A CN 117455910 A CN117455910 A CN 117455910A
- Authority
- CN
- China
- Prior art keywords
- target
- sample
- quality inspection
- feature mapping
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004804 winding Methods 0.000 title claims abstract description 100
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000007689 inspection Methods 0.000 claims abstract description 312
- 239000013598 vector Substances 0.000 claims abstract description 291
- 238000013507 mapping Methods 0.000 claims abstract description 266
- 238000003908 quality control method Methods 0.000 claims description 110
- 238000010586 diagram Methods 0.000 claims description 109
- 238000012512 characterization method Methods 0.000 claims description 100
- 230000015654 memory Effects 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 16
- 238000005259 measurement Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 description 20
- 238000013461 design Methods 0.000 description 15
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000005291 magnetic effect Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 1
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011810 insulating material Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供一种基于机器视觉的卷线识别方法及卷线设备,候选质检对象的目标语义表征向量为基于第一目标对象特征映射网络输出的初始语义表征向量获得,第一目标对象特征映射网络在调试时与上下文特征映射网络一起调试,对象特征映射网络不但可以汲取语义知识,还能汲取上下文知识,使得目标对象特征映射网络可获得更精准的语义表征向量,通过目标上下文表征向量和各候选质检对象的目标语义表征向量,确定各候选质检对象分别对应的支持概率,确定目标候选质检对象。本申请在进行质检对象关联时,可尽可能兼顾目标卷线图像的上下文信息,基于精度更高的语义表征向量适配该上下文信息,得到更精准的匹配识别对象,增加质检对象关联的精确度。
Description
技术领域
本申请涉及但不限于机器视觉技术领域,尤其涉及一种基于机器视觉的卷线识别方法及卷线设备。
背景技术
卷线设备是电气工业中常见的生产设备,其主要作用是将带有绝缘材料的电线、电缆等导体,通过一定的工艺过程卷绕成不同尺寸和形状的线圈。例如,对于车载空调压缩机中的马达线圈组,其为位于压缩机内部的线圈结构,是车载空调压缩机的关键部件之一,它的质量和性能对于车载空调的制冷效果、能耗和寿命等方面都有重要影响。因此,在设计和制造车载空调压缩机时,需要对马达线圈组进行精细设计和制造,以保证其稳定性、耐用性和高效性,卷线均匀、线圈无质量缺陷是重要质检方向。在传统的卷线设备中,由于缺乏自动化控制和检测手段,生产效率低下,制造精度不高,缺陷率较高,严重影响了产品质量和生产效益。因此,如何实现卷线设备的自动化控制和智能化生产已成为该领域的研究热点。
近年来,随着机器视觉技术的快速发展和应用,其在卷线设备中的应用也日益普及。机器视觉技术可以利用图像处理和模式识别等方法,对线圈的尺寸、形状、位置、疏密度、质量等关键参数进行测量和控制,实现对卷线过程的自动化控制和优化。同时,机器视觉还可以用于缺陷检测和品质控制,有效地提高了卷线设备的制造精度和缺陷检测能力,为卷线设备的生产提供了可靠的技术支持。
然而,在实际应用中,由于线圈的形状、大小、颜色和光照等因素的影响,线圈图像的复杂程度和多样性很高,不同的质检缺陷的可鉴别性难度大,传统的机器视觉技术往往难以满足实际需求。
发明内容
有鉴于此,本申请实施例至少提供一种基于机器视觉的卷线识别方法及卷线设备。
本申请实施例的技术方案是这样实现的:
一方面,本申请实施例提供一种基于机器视觉的卷线识别方法,所述方法包括:
确定目标卷线图像,对所述目标卷线图像进行识别对象划分得到目标识别对象;
对所述目标卷线图像进行特征映射,得到所述目标识别对象对应的目标上下文表征向量;
通过事先部署的识别对象和目标质检对照关系图中质检对象间的对应关系,确定所述目标识别对象对应的一个或多个候选质检对象;其中,每一所述候选质检对象携带对应的质检结果;
对于每个候选质检对象,获取所针对的候选质检对象的目标语义表征向量;其中,所述目标语义表征向量为基于初始语义表征向量获得的,所述初始语义表征向量为基于第一目标对象特征映射网络对所述所针对的候选质检对象对应的语义表征图像进行特征映射获得的,所述语义表征图像是在所述目标质检对照关系图中获得的;所述第一目标对象特征映射网络为基于第一表征向量误差调试获得的,所述第一表征向量误差通过第一上下文表征向量和第一语义表征向量确定得到,所述第一上下文表征向量为基于待调试的第一上下文特征映射网络对卷线图像样本进行特征映射获得的,所述卷线图像样本属于第一识别对象样本对应的第一调试样例,所述调试样例中还包括所述第一识别对象样本对应的语义表征图像,所述第一语义表征向量为基于待调试的第一对象特征映射网络对所述第一识别对象样本对应的语义表征图像进行特征映射获得的,所述第一识别对象样本对应的语义表征图像是在第一识别对象样本所在的质检对照关系图中获得的,所述卷线图像样本与所述第一识别对象样本具有包含关系;
通过所述目标上下文表征向量和各个候选质检对象各自的目标语义表征向量,确定各个候选质检对象分别对应的支持概率,通过各个候选质检对象分别对应的支持概率从所述一个或多个候选质检对象中确定所述目标识别对象对应的匹配识别对象;
将所述匹配识别对象对应的质检结果作为所述目标识别对象对应的质检结果。
在一些实施例中,所述所针对的候选质检对象的目标语义表征向量基于如下操作进行构建:
从所述目标质检对照关系图中确定所述所针对的候选质检对象对应的初始局部质检对照关系图;
对于所述初始局部质检对照关系图中各个对象元素,从所述目标质检对照关系图中获得所针对的质检对象元素对应的语义表征图像,并将所述所针对的质检对象元素对应的语义表征图像输入所述第一目标对象特征映射网络中,获取所述所针对的质检对象元素对应的初始语义表征向量;
通过各个对象元素分别对应的初始语义表征向量对所述初始局部质检对照关系图进行向量表示,得到目标局部质检对照关系图;
通过调试好的第二目标对象特征映射网络对向量表示获得的目标局部质检对照关系图进行特征映射,得到所述所针对的候选质检对象对应的目标语义表征向量。
在一些实施例中,所述对所述目标卷线图像进行特征映射,得到所述目标识别对象对应的目标上下文表征向量,包括:
将所述目标卷线图像输入调试好的第三目标上下文特征映射网络;
通过所述第三目标上下文特征映射网络对所述目标卷线图像进行特征映射,获得所述目标识别对象对应的目标上下文表征向量。
在一些实施例中,所述方法还包括:
在事先部署的卷线图像集合中抽取出识别对象,确定所述识别对象对应的质检对象,构建所述识别对象和对应的质检对象间的对应关系;所述对应的质检对象为与所述识别对象所在卷线图像具有包含关系的对象;
对于所述对应关系中的质检对象,确定所针对的质检对象在所述卷线图像集合中的存在频次;
对于所述对应关系中的识别对象,确定与所针对的识别对象存在对应关系的各个质检对象分别对应的存在频次,得到确定频次;
计算所述所针对的质检对象的存在频次与所述确定频次的比例,得到所述所针对的质检对象的支持概率系数,构建所述所针对的质检对象与所述支持概率系数之间的对应关系;
所述通过所述目标上下文表征向量和各个候选质检对象各自的目标语义表征向量,确定各个候选质检对象分别对应的支持概率,包括:
分别确定所述目标上下文表征向量和各个候选质检对象各自的目标语义表征向量之间的共性度量结果,将各个候选质检对象分别对应的共性度量结果乘以分别对应的支持概率系数,得到各个候选质检对象分别对应的支持概率。
在一些实施例中,所述第一对象特征映射网络的调试过程包括:
获取第一调试样例;所述第一调试样例包括第一识别对象样本对应的语义表征图像和卷线图像样本,所述语义表征图像是在所述第一识别对象样本所在的质检对照关系图中获得的,所述卷线图像样本与所述第一识别对象样本具有包含关系;
通过待调试的第一上下文特征映射网络对所述卷线图像样本进行特征映射,得到所述第一识别对象样本对应的第一上下文表征向量;
通过待调试的第一对象特征映射网络对所述语义表征图像进行特征映射,得到所述第一识别对象样本对应的第一语义表征向量;
通过所述第一上下文表征向量和所述第一语义表征向量确定第一表征向量误差,通过所述第一表征向量误差循环优化所述第一上下文特征映射网络和所述第一对象特征映射网络的网络配置变量直到调试结束,获得调试好的第一目标对象特征映射网络;所述第一目标对象特征映射网络被配置为对目标质检对照关系图中各实体生成对应的目标语义表征向量,各所述目标语义表征向量用于对目标卷线图像进行质检对象关联。
在一些实施例中,所述方法包括:
对于所述目标质检对照关系图的匹配识别对象,从所述目标质检对照关系图中确定所述匹配识别对象对应的初始局部质检对照关系图;
对于所述初始局部质检对照关系图中每个对象元素,从所述目标质检对照关系图中获得所针对的质检对象元素对应的语义表征图像,并将所述所针对的质检对象元素对应的语义表征图像输入所述第一目标对象特征映射网络中,获得所述所针对的质检对象元素对应的初始语义表征向量;
通过各个对象元素分别对应的初始语义表征向量对所述初始局部质检对照关系图进行向量表示,得到目标局部质检对照关系图;
通过调试好的第二目标对象特征映射网络对所述目标局部质检对照关系图进行特征映射,得到所述匹配识别对象对应的目标语义表征向量。
在一些实施例中,所述第二目标对象特征映射网络采用以下操作进行调试:
获取第二调试样例;所述第二调试样例包括第二识别对象样本对应的局部质检对照关系图样本和卷线图像样本;所述局部质检对照关系图样本为基于对所述第二识别对象样本对应的初始局部质检对照关系图进行向量表示获得的,所述第二识别对象样本对应的初始局部质检对照关系图是在所述第二识别对象样本所在质检对照关系图中确定得到;
通过待调试的第二上下文特征映射网络对所述第二识别对象样本对应的卷线图像样本进行特征映射,得到所述第二识别对象样本对应的第二上下文表征向量;
通过待调试的第二对象特征映射网络对所述局部质检对照关系图样本进行特征映射,得到所述第二识别对象样本对应的第二语义表征向量;
通过所述第二上下文表征向量和所述第二语义表征向量确定第二表征向量误差,通过所述第二表征向量误差优化所述第二上下文特征映射网络和所述第二对象特征映射网络的网络配置变量直到调试结束,获得调试好的第二目标对象特征映射网络。
在一些实施例中,所述获取第二调试样例,包括:
对于所述第二识别对象样本,从所述第二识别对象样本所在质检对照关系图中确定所述第二识别对象样本对应的初始局部质检对照关系图;
对于所述第二识别对象样本对应的初始局部质检对照关系图中每个对象元素,从所述第二识别对象样本所在质检对照关系图中获得所针对的质检对象元素对应的语义表征图像,并将所述所针对的质检对象元素对应的语义表征图像输入所述第一目标对象特征映射网络中,获得所述所针对的质检对象元素对应的初始语义表征向量;
通过各个对象元素分别对应的初始语义表征向量,对所述第二识别对象样本对应的初始局部质检对照关系图进行向量表示,得到所述第二识别对象样本对应的局部质检对照关系图样本;
通过所述第二识别对象样本对应的局部质检对照关系图样本和所述第二识别对象样本对应的卷线图像样本,构建所述第二识别对象样本对应的第二调试样例。
在一些实施例中,所述方法还包括:
获取第三调试样例;所述第三调试样例包括第三识别对象样本对应的卷线图像样本;
通过待调试的第三上下文特征映射网络对所述第三识别对象样本对应的卷线图像样本进行特征映射,得到所述第三识别对象样本对应的第三上下文表征向量;
通过所述第三上下文表征向量和所述第三识别对象样本对应的第三语义表征向量确定第三表征向量误差;所述第三语义表征向量为基于调试好的目标对象特征映射网络对所述第三识别对象样本对应的语义表征图像进行特征映射获得的;
通过所述第三表征向量误差优化所述第三上下文特征映射网络的网络配置变量直到调试结束,获得调试好的第三目标上下文特征映射网络;所述第三目标上下文特征映射网络被配置为对目标质检对照关系图中的质检对象生成对应的目标上下文表征向量,所述目标上下文表征向量用于进行质检对象关联。
另一方面,本申请实施例提供一种卷线设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现以上所述方法中的步骤。
本申请至少具有的有益效果:
本申请实施例提供的基于机器视觉的卷线识别方法及卷线设备,因为候选质检对象的目标语义表征向量为基于第一目标对象特征映射网络输出的初始语义表征向量获得的,而第一目标对象特征映射网络在调试时与上下文特征映射网络一起调试,令该对象特征映射网络不但可以汲取语义知识,还能汲取上下文知识,使得在将目标对象特征映射网络用于对识别对象生成语义表征向量时,可获得更加精准的语义表征向量,同时最后在选择候选质检对象时,通过目标上下文表征向量和各个候选质检对象各自的目标语义表征向量,确定各个候选质检对象分别对应的支持概率,根据支持概率确定目标候选质检对象,由此本申请在进行质检对象关联时,可尽可能兼顾目标卷线图像的上下文信息,基于精度更高的语义表征向量适配该上下文信息,得到更加精准的匹配识别对象,增加质检对象关联的精确度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本申请的技术方案。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本申请的实施例,并与说明书一起用于说明本申请的技术方案。
图1为本申请实施例提供的一种基于机器视觉的卷线识别方法的实现流程示意图。
图2为本申请实施例提供的一种基于机器视觉的卷线识别装置的组成结构示意图。
图3为本申请实施例提供的一种卷线设备的硬件实体示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面结合附图和实施例对本申请的技术方案进一步详细阐述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。所涉及的术语“第一/第二/第三”仅仅是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请的目的,不是旨在限制本申请。
本申请实施例提供一种基于机器视觉的卷线识别方法,该方法可以由卷线设备的处理器执行。图1为本申请实施例提供的一种基于机器视觉的卷线识别方法的实现流程示意图,如图1所示,该方法包括如下步骤:
步骤S110,确定目标卷线图像,对目标卷线图像进行识别对象划分得到目标识别对象。
本申请实施例中,目标卷线图像为需要进行质检对象关联的卷线图像。关于质检对象关联,以下进行说明:在本申请实施例中,将卷线图像进行识别对象划分,得到其中包含的多个识别对象,具体的,识别对象即卷线图像中包含的卷线,例如一个个线圈,可以将一圈线圈作为一个识别对象,也可以将具有堆集或聚拢的线圈组作为一个识别对象,可以理解,一个线圈组和其他堆集或聚拢的线圈组之间具有可识别性,例如两个线圈组之间具有明显的间隙。本申请中,可以采用诸如边缘识别(如Canny边缘检测算法)、阈值分割算法、分水岭算法、Fast R-CNN算法、YOLO、SSD等算法进行识别对象的划分,具体不做限定。本申请实施例中,预先建立部署了一个质检对照关系图,该质检对照关系图用于提供不同的质检对象及其对应的质检结果,换言之,质检对照关系图包括至少一个质检对象和其携带的质检结果,质检对象即一个供参考对比的识别对象,即一个对象图像。本申请实施例的目的是将目标识别对象与质检对照关系图中的各个候选质检对象进行关联,确定匹配的候选质检对象,这个过程即质检对象关联。可以理解的是,判断对象之间是否匹配,通常是按照一个匹配度阈值执行的,例如二者的匹配度超过了匹配度阈值,那么候选质检对象有较大的概率是与目标识别对象具有相同质检结果的对象,但是并不能完全确定,因为在现实情况中,不同的质检状态对应的图像形态是接近的,例如倾斜缠绕和卷线堆集在一些情况下可能是较为接近的,卷线稀疏不均匀和卷线破损可能表现得较为接近。基于此,在进行对象匹配时,目标识别对象可能匹配到多个具有高匹配度的候选质检对象。本申请后续的实施例中将针对这一情况进行解决。
步骤S120,对目标卷线图像进行特征映射,得到目标识别对象对应的目标上下文表征向量。
作为一种实际应用方式,卷线设备可以通过调试好的目标上下文特征映射网络对目标卷线图像进行特征映射,得到目标识别对象对应的目标上下文表征向量。此处所述目标上下文特征映射网络为训练完成的上下文特征映射网络,其具体可以是后续实施例将提及的第一目标上下文特征映射网络、第二目标上下文特征映射网络或者第三目标上下文特征映射网络中的一个。上下文特征映射网络即一个用于挖掘目标识别对象上下文特征信息的神经网络,例如可以为卷积神经网络、自编码器等神经网络。各网络的训练的过程将在后续进行介绍,此处暂不赘述。
步骤S130,通过事先部署的识别对象和目标质检对照关系图中质检对象间的对应关系,确定目标识别对象对应的一个或多个候选质检对象。其中,每一候选质检对象携带对应的质检结果。
作为一种实际应用方式,本申请实施例中,事先部署识别对象和目标质检对照关系图中质检对象间的对应关系,那么对于每一个目标识别对象,卷线设备可以通过对照该对应关系,得到每一个目标识别对象对应的一个或多个候选质检对象。其中,识别对象和目标质检对照关系图中质检对象间的对应关系可以是基于特征向量映射进行关联的,例如,将各个质检对象执行深度卷积,表示为一个语义向量,不同的质检结果对应的质检对象的语义向量不同,通过计算识别对象与质检对象的语义向量相似度,将符合相似度要求(例如大于相似度阈值)的各个质检对象作为候选质检对象。其中,计算语义向量相似度的方式可以是计算语义向量距离实现,例如计算欧式距离,距离越大,相似度越小,距离越小,相似度越大。
步骤S140,对于每个候选质检对象,获取所针对的候选质检对象的目标语义表征向量。
其中,目标语义表征向量为基于初始语义表征向量获得的,初始语义表征向量为基于第一目标对象特征映射网络对所针对的候选质检对象对应的语义表征图像进行特征映射获得的,语义表征图像是在目标质检对照关系图中获得的,第一目标对象特征映射网络为基于第一表征向量误差调试获得的,第一表征向量误差为基于第一上下文表征向量和第一语义表征向量确定得到,第一上下文表征向量为基于待调试的第一上下文特征映射网络对卷线图像样本进行特征映射获得的,卷线图像样本属于第一识别对象样本对应的第一调试样例,调试样例即训练用的样本数据,调试样例中还包括第一识别对象样本对应的语义表征图像,第一语义表征向量为基于待调试的第一对象特征映射网络对第一识别对象样本对应的语义表征图像进行特征映射获得的,第一识别对象样本对应的语义表征图像是在第一识别对象样本所在的质检对照关系图中获得的,卷线图像样本与第一识别对象样本具有包含关系。
作为一种可行的设计,对于每个候选质检对象,卷线设备将该候选质检对象对应的语义表征图像输入后续实施例调试完成的第一目标对象特征映射网络中,基于第一目标对象特征映射网络对该语义表征图像进行特征映射,得到该候选质检对象对应的初始语义表征向量,然后通过该初始语义表征向量得到该候选质检对象的目标语义表征向量。
为提高质检对象关联的效率,卷线设备可以预先对目标质检对照关系图中的各个质检对象生成目标语义表征向量,并存储对象和目标语义表征向量之间的对应关系,以在质检对象关联过程中,卷线设备直接对照该对应关系获取各匹配识别对象的目标语义表征向量。
作为一种可行的设计,卷线设备在获得候选质检对象对应的初始语义表征向量后,将该初始语义表征向量确定为该候选质检对象的目标语义表征向量。
步骤S150,通过目标上下文表征向量和各个候选质检对象各自的目标语义表征向量,确定各个候选质检对象分别对应的支持概率,通过各个候选质检对象分别对应的支持概率从一个或多个候选质检对象中确定目标识别对象对应的匹配识别对象。
支持概率表征候选质检对象的置信度,支持概率越大,该候选质检对象的置信度越高,那么该候选质检对象为匹配识别对象的可能性越大。
作为一种实际应用方式,卷线设备分别将目标上下文表征向量和各个候选质检对象各自的目标语义表征向量计算共性度量结果(即相似度),通过各个候选质检对象分别计算获得的共性度量结果,确定各候选质检对象分别对应的支持概率,然后基于支持概率在目标识别对象对应的候选质检对象中确定得到匹配识别对象。例如,对于每一个目标识别对象,卷线设备将该识别对象对应的候选质检对象中支持概率最大的候选质检对象确定为匹配识别对象。
以上实施例中,因为候选质检对象的目标语义表征向量为基于第一目标对象特征映射网络输出的初始语义表征向量获得的,因第一目标对象特征映射网络在调试时与上下文特征映射网络一起调试,促使该对象特征映射网络不但可以汲取语义知识,还能汲取上下文知识,使得在将该目标对象特征映射网络用于对识别对象生成语义表征向量时,可获得更加精准的语义表征向量,同时最后在选择候选质检对象时,通过目标上下文表征向量和各个候选质检对象各自的目标语义表征向量,确定各候选质检对象分别对应的支持概率,根据支持概率来目标候选质检对象,基于此,本申请在进行质检对象关联时,可尽可能兼顾目标卷线图像的上下文信息,基于精度更高的语义表征向量适配该上下文信息,得到更加精准的匹配识别对象,增加质检对象关联的精确度。
作为一种可行的设计,所针对的候选质检对象的目标语义表征向量基于如下操作进行构建:从目标质检对照关系图中确定所针对的候选质检对象对应的初始局部质检对照关系图;对于初始局部质检对照关系图中各个对象元素,在目标质检对照关系图中获得所针对的质检对象元素对应的语义表征图像,并将所针对的质检对象元素对应的语义表征图像输入第一目标对象特征映射网络中,获取所针对的质检对象元素对应的初始语义表征向量;基于各个对象元素分别对应的初始语义表征向量对初始局部质检对照关系图进行向量表示,得到目标局部质检对照关系图;基于调试好的第二目标对象特征映射网络对向量表示获得的目标局部质检对照关系图进行特征映射,得到所针对的候选质检对象对应的目标语义表征向量。
本申请实施例中,对于每个候选质检对象,卷线设备先获取该候选质检对象的初始局部质检对照关系图,以基于第一目标对象特征映射网络对初始局部质检对照关系图中各个对象元素生成初始语义表征向量,基于各初始语义表征向量对初始局部质检对照关系图进行向量表示,得到目标局部质检对照关系图,然后依据第二目标对象特征映射网络对该目标局部质检对照关系图进行特征映射,以完成对该候选质检对象的初始语义表征向量进行优化,得到该候选质检对象的目标语义表征向量。
调试获得第二目标对象特征映射网络的方式参照后续训练实施例中调试获得第二目标对象特征映射网络的步骤,此处所述第二目标对象特征映射网络可以参照后续实施例中调试获得的第二目标对象特征映射网络。
本申请先基于第一目标对象特征映射网络生成初始语义表征向量,然后依据第二目标对象特征映射网络对初始语义表征向量进行优化,获得目标语义表征向量,提高了目标语义表征向量的精确度。
作为一种可行的设计,对目标卷线图像进行特征映射,得到识别对象对应的上下文表征向量,包括:将目标卷线图像输入调试好的第三目标上下文特征映射网络;基于第三目标上下文特征映射网络对目标卷线图像进行特征映射,获得目标识别对象对应的目标上下文表征向量。其中,第三目标上下文特征映射网络的调试方式与后续实施例中的对第三目标上下文特征映射网络的调试方式相同。
步骤S160,将匹配识别对象对应的质检结果作为目标识别对象对应的质检结果。
匹配识别对象为支持概率最大的识别对象,其对应的质检结果可作为目标对象的质检结果。
作为一种可行的设计,上述基于机器视觉的卷线识别方法还包括以下步骤:
步骤S1,在事先部署的卷线图像集合中抽取出识别对象,确定识别对象对应的质检对象,构建识别对象和对应的质检对象间的对应关系;对应的质检对象为与识别对象所在卷线图像具有包含关系的对象。
预设的卷线图像集合中的卷线图像与质检对照关系图中质检对象的关联关系是已确定的,也就是预先对卷线图像集合中的卷线图像构建与质检对照关系图中的质检对象的包含关系。
步骤S2,对于对应关系中的质检对象,确定所针对的质检对象在卷线图像集合中的存在频次;对于对应关系中的识别对象,确定与所针对的识别对象存在对应关系的各个质检对象分别对应的存在频次(即出现的次数),得到确定频次(即统计到的总次数)。
其中,质检对象在卷线图像集合中的存在频次为质检对象被卷线图像集合中提取的识别对象所匹配的次数,即卷线图像集合中卷线图像每存在一次匹配到该质检对象的识别对象,表示该质检对象存在1次。
步骤S3,确定所针对的质检对象的存在频次与确定频次的比例,得到所针对的质检对象的支持概率系数,构建所针对的质检对象与支持概率系数之间的对应关系。
然后,本申请实施例中,在构建对应关系后,卷线设备可以确定识别对象和对应的质检对象间的对应关系,以确定目标识别对象对应的一个或多个候选质检对象,进而可以分别确定上下文表征向量和各个候选质检对象各自的目标语义表征向量之间的共性度量结果,将各个候选质检对象分别对应的共性度量结果乘以分别对应的支持概率系数,得到各个候选质检对象分别对应的支持概率。支持概率在计算时可以采用以下公式:
P=α·cos(F1,F2)
P为支持概率,α为支持概率系数,F1为候选质检对象的嵌入向量,即候选质检对象的目标语义表征向量,F2为识别对象的嵌入向量,即目标上下文表征向量,cos为共性度量结果计算,具体为余弦相似度计算。
以上基于事先部署各个候选质检对象与支持概率系数之间的对应关系,在确定支持概率时,能获取到支持概率系数,以确定更加精准的支持概率,增加质检对象关联的精确度。
下面介绍对象特征映射网络和各目标上下文特征映射网络、的训练过程,具体的,可以包括以下步骤:
步骤S210,获取第一调试样例。
其中,第一调试样例包括第一识别对象样本对应的语义表征图像和卷线图像样本,语义表征图像是在第一识别对象样本所在的质检对照关系图中获得的,卷线图像样本与第一识别对象样本具有包含关系。
第一识别对象样本为质检对照关系图中的质检对象,可以是质检对照关系图中的任一质检对象。第一识别对象样本对应的语义表征图像为包括第一识别对象样本的语义要素的图像,第一识别对象样本对应的语义表征图像是在第一识别对象样本所在的质检对照关系图中获得的,可以包括第一识别对象样本的纹理、形状、颜色等特征中的一种或多种。卷线图像样本为包括第一识别对象样本的上下文信息的数据。第一识别对象样本对应的卷线图像样本与质检对象样本间具有包含关系,即该卷线图像样本通过质检对象关联可以包含该第一识别对象样本。
作为一种实际应用方式,对于质检对照关系图中的第一识别对象样本,卷线设备可以从质检对照关系图中获取该第一识别对象样本对应的语义表征图像,并获取该第一识别对象样本对应的卷线图像样本,构建第一调试样例集。作为一种可行的设计,卷线设备可以在事先部署的种子质检对象关联数据集合中获取第一调试样例对应的卷线图像作为卷线图像样本,种子质检对象关联集合中预先保存有已知卷线图像到质检对照关系图中的质检对象的映射关系,通过索引种子质检对象关联集合中与第一识别对象样本存在对应关系的卷线图像可获得与第一识别对象样本具有包含关系的卷线图像样本。
步骤S220,通过待调试的第一上下文特征映射网络对卷线图像样本进行特征映射,得到第一识别对象样本对应的第一上下文表征向量。
步骤S230,通过待调试的第一对象特征映射网络对语义表征图像进行特征映射,得到第一识别对象样本对应的第一语义表征向量。
上下文特征映射网络是用于对识别对象的上下文信息进行特征映射的神经网络,对象特征映射网络是用于对识别对象的语义信息进行特征映射的神经网络。上下文特征映射网络和语义特征映射神经网络可以用于构建得到组成孪生网络,该孪生网络中,上下文特征映射网络的执行数据为识别对象样本的卷线图像样本,卷线图像样本是和识别对象样本具有包含关系的,卷线图像样本中包括了识别对象样本的上下文信息,可作为上下文特征映射网络的执行数据。对象特征映射网络的执行数据为识别对象样本的语义表征图像。基于调试该孪生网络,可以获得调试好的目标上下文特征映射网络和目标对象特征映射网络,调试好的目标上下文特征映射网络可以独自使用,对上下文信息进行特征映射,调试好的目标对象特征映射网络可以独自对语义信息进行特征映射。
作为一种实际应用方式,卷线设备可以将第一调试样例中的卷线图像样本输入待调试的第一上下文特征映射网络中,通过第一上下文特征映射网络对卷线图像样本进行特征映射,得到第一识别对象样本对应的第一上下文表征向量,将第一调试样例中的语义表征图像输入待调试的第一对象特征映射网络,通过第一对象特征映射网络对语义表征图像进行特征映射,得到第一识别对象样本对应的第一语义表征向量。
作为一种可行的设计,本申请实施例采用的孪生网络包括的上下文特征映射网络和语义特征映射神经网络中,上下文特征映射网络和语义特征映射神经网络都为卷积神经网络(CNN)。
步骤S240,通过第一上下文表征向量和第一语义表征向量确定第一表征向量误差,通过第一表征向量误差循环优化第一上下文特征映射网络和第一对象特征映射网络的网络配置变量直到调试结束,获得调试好的第一目标对象特征映射网络。
其中,第一目标对象特征映射网络被配置为对目标质检对照关系图中各质检对象生成对应的目标语义表征向量,各目标语义表征向量用于对目标卷线图像进行质检对象关联。目标质检对照关系图和第一识别对象样本所在的质检对照关系图可以为相同的质检对照关系图或者不同的质检对照关系图,目标质检对照关系图还可以是对第一识别对象样本所在的质检对照关系图进行更新获得的,比如对第一识别对象样本所在的质检对照关系图补充一些质检对象得到目标质检对照关系图。
作为一种实际应用方式,卷线设备可以获取第一上下文表征向量和第一语义表征向量的共性度量结果,以获得第一表征向量误差,通过第一表征向量误差循环优化孪生网络的网络配置变量(即各种网络参数),在符合调试截止要求时,训练结束,得到调试好的孪生网络,如此获得调试好的第一目标对象特征映射网络。调试截止要求可以是调试的次数达到了设定的最大次数或第一表征向量误差达到最小值,具体不做限定。
作为一种可行的设计,卷线设备可以获取第一上下文表征向量和第一语义表征向量之间的共性度量结果,例如余弦相似度,得到第一表征向量误差。
其中,本申请实施例中第一调试样例中包括的卷线图像样本是和第一识别对象样本具有包含关系的,那么,视第一调试样例为积极样本,又称正样本,在对积极样本进行学习时,孪生网络的调试目标是令两个特征映射网络具有相似的执行结果,比如获取两个特征映射网络的执行结果间的余弦相似度,令余弦相似度的数值向1靠近。或者,卷线设备还可以获取消极样本(即负样本)进行调试,消极样本中,卷线图像样本与第一质检对象样本间不具有包含关系,即消极样本中的卷线图像样本在经过质检对象关联后,不包含第一识别对象样本,在对消极样本进行学习时,孪生网络的调试目标是令两个特征映射网络具有不相似的执行结果,比如获取两个特征映射网络的输出之间的余弦相似度,令余弦相似度的数值向-1靠近。本申请实施例中,由于第一上下文特征映射网络和第一对象特征映射网络是一起调试的,则在调试结束时,可以获得调试好的第一目标上下文特征映射网络,第一目标上下文特征映射网络可以用于在质检对象关联时对待进行质检对象关联的卷线图像进行上下文特征映射,即完成上下文编码,得到上下文表征向量,以通过该上下文表征向量进行质检对象关联。
作为一种可行的设计,调试结束获得的第一目标对象特征映射网络可以直接使用,对于目标质检对照关系图中的各质检对象生成对应的目标语义表征向量,比如,对于目标质检对照关系图中的质检对象,在目标质检对照关系图中获取到对应的语义表征图像,将语义表征图像输入第一目标对象特征映射网络,第一目标对象特征映射网络对输入的语义表征图像进行特征映射,得到质检对象的目标语义表征向量。
作为一种可行的设计,在获得目标质检对照关系图中各个质检对象的目标语义表征向量,卷线设备可以构建目标对象和目标语义表征向量之间的对应关系,通过该对应关系,对待进行质检对象关联的卷线图像进行质检对象关联,质检对象关联的过程参照如上实施例。
本申请实施例在调试网络的过程中,通过获取第一调试样例,该调试样例中包括第一识别对象样本对应的语义表征图像和卷线图像样本,语义表征图像是在第一识别对象样本所在的质检对照关系图中获得的,卷线图像样本与第一识别对象样本具有包含关系,基于待调试的第一上下文特征映射网络对卷线图像样本进行特征映射,因为获得第一识别对象样本对应的第一上下文表征向量,通过待调试的第一对象特征映射网络对语义表征图像进行特征映射,得到第一识别对象样本对应的第一语义表征向量,通过第一上下文表征向量和第一语义表征向量确定第一表征向量误差,然后可以通过该误差调试得到第一目标对象特征映射网络,由于该对象特征映射网络在调试时与上下文特征映射网络一起调试,令该对象特征映射网络不但可以汲取语义知识,还能汲取上下文知识,使得在将该目标对象特征映射网络用于对识别对象生成目标语义表征向量时,可获得更加精准的语义表征向量。
进一步的,因为本申请在调试时,对象特征映射网络的输入是语义表征图像,语义表征图像从质检对照关系图中就能得到,在质检对照关系图更新时,质检对象的语义表征图像可能完成更新,新质检对象的语义表征向量不受限于大量对新质检对象的调试样本,只需要基于新质检对象的语义表征图像就能获得,则可以很好匹配不断更新的质检对照关系图。
作为一种可行的设计,训练过程还包括生成目标语义表征向量的步骤,具体包括:
步骤S310,对于目标质检对照关系图的匹配识别对象,在目标质检对照关系图中确定匹配识别对象对应的初始局部质检对照关系图。
其中,匹配识别对象可以为目标质检对照关系图中的任一质检对象,匹配识别对象对应的初始局部质检对照关系图为匹配识别对象以及匹配识别对象的关联对象组成的局部关系图。匹配识别对象的关联对象为与目标质检对象间具有预设共性度量区间内的对象,例如在相似度0.8以上的对象。
步骤S320,对于初始局部质检对照关系图中每个对象元素,从目标质检对照关系图中获得所针对的质检对象元素对应的语义表征图像,并将所针对的质检对象元素对应的语义表征图像输入第一目标对象特征映射网络中,获得所针对的质检对象元素对应的初始语义表征向量。
步骤S330,通过各个对象元素分别对应的初始语义表征向量对初始局部质检对照关系图进行向量表示,得到目标局部质检对照关系图。
作为一种实际应用方式,对于初始局部质检对照关系图中的每个对象元素,卷线设备可以从目标质检对照关系图中获取该对象元素对应的语义表征图像,然后将语义表征图像输入第一目标对象特征映射网络中,从而第一目标对象特征映射网络可以对该语义表征图像进行特征映射,得到该对象元素对应的初始语义表征向量。进而卷线设备可以依据各对象元素分别对应的语义表征向量对初始局部质检对照关系图中各个对象元素进行向量表示(即向量初始化),得到目标局部质检对照关系图。
步骤S340,通过调试好的第二目标对象特征映射网络对向量表示获得的目标局部质检对照关系图进行特征映射,得到匹配识别对象对应的目标语义表征向量。
其中,第二目标对象特征映射网络是调试完成的神经网络,第二目标对象特征映射网络的网络配置变量与第一目标对象特征映射网络的网络配置变量是不相同的。第二目标对象特征映射网络可以为图神经网络,将局部关系图里的其他对象元素的表征向量传播到识别对象样本对应的对象元素。第二目标对象特征映射网络可以通过对待调试的孪生网络进行调试获得的,该孪生网络中的一个用于调试得到该第二目标对象特征映射网络,其执行数据为识别对象样本对应的局部质检对照关系图样本,输出为该识别对象样本对应的语义表征向量,另一个网络的执行数据为该识别对象样本对应的卷线图像样本,此处所述第二目标对象特征映射网络可以是卷线设备调试获得的,或者是卷线设备从其他卷线设备获得的,换言之,调试该第二目标对象特征映射网络的卷线设备可以和使用该第二目标对象特征映射网络的卷线设备为不同的卷线设备。
作为一种实际应用方式,卷线设备可以将目标局部质检对照关系图输入调试好的第二目标对象特征映射网络,通过调试好的第二目标对象特征映射网络对目标局部质检对照关系图进行特征映射,得到匹配识别对象对应的目标语义表征向量。
以上实施方式中,基于获取匹配识别对象的初始局部质检对照关系图,基于第一目标对象特征映射网络对初始局部质检对照关系图中各个对象元素生成初始向量,通过初始化后的局部关系图,采用调试完成的第二对象特征映射网络对初始化后的局部关系图进行特征映射,完成初始语义表征向量的优化,得到更加精准的目标语义表征向量。
作为一种可行的设计,第二目标对象特征映射网络采用以下操作进行调试:获取第二调试样例;第二调试样例包括第二识别对象样本对应的局部质检对照关系图样本和卷线图像样本;局部质检对照关系图样本为基于对第二识别对象样本对应的初始局部质检对照关系图进行向量表示获得的,第二识别对象样本对应的初始局部质检对照关系图是在第二识别对象样本所在质检对照关系图中确定得到;通过待调试的第二上下文特征映射网络对第二识别对象样本对应的卷线图像样本进行特征映射,得到第二识别对象样本对应的第二上下文表征向量;通过待调试的第二对象特征映射网络对局部质检对照关系图样本进行特征映射,得到第二识别对象样本对应的第二语义表征向量;通过第二上下文表征向量和第二语义表征向量确定第二表征向量误差,通过第二表征向量误差优化第二上下文特征映射网络和第二对象特征映射网络的网络配置变量直到调试结束,获得调试好的第二目标对象特征映射网络。
其中,第二识别对象样本可以为质检对照关系图中的任一质检对象,第二识别对象样本与第一识别对象样本可以相同或不同,第二识别对象样本对应的卷线图像样本与第二识别对象样本存在质检对象关联关系。
作为一种实际应用方式,待调试的第二上下文特征映射网络和待训练第二对象特征映射网络可以用于组建孪生网络。卷线设备在获取到第二调试样例后,可以依据该孪生网络中的第二上下文特征映射网络对第二识别对象样本对应的卷线图像样本进行特征映射,得到第二上下文表征向量,以及基于该孪生网络中的第二对象特征映射网络对局部质检对照关系图样本进行特征映射,得到第二语义表征向量,获取第二上下文表征向量和第二语义表征向量的共性度量结果,以获得第二表征向量误差,通过第二表征向量误差优化孪生网络中两个神经网络的网络配置变量,在符合调试截止要求时,结束调试以得到调试好的孪生网络,得到调试好的第二目标对象特征映射网络。
作为一种可行的设计,卷线设备从识别对象样本所在质检对照关系图中确定了第二识别对象样本对应的初始局部质检对照关系图后,可以对初始局部质检对照关系图中各个对象元素进行任意的向量表示,以获得第二识别对象样本对应的局部质检对照关系图样本。其中,本申请实施例中,因为第二上下文特征映射网络和第二对象特征映射网络是一起调试的,则在调试结束时,可以得到调试好的第一目标上下文特征映射网络,第一目标上下文特征映射网络用于在质检对象关联时对拟进行质检对象关联的卷线图像进行上下文特征映射,得到上下文表征向量,然后基于该上下文表征向量进行质检对象关联。
作为一种可行的设计,获取第二调试样例,包括:对于第二识别对象样本,在第二识别对象样本所在质检对照关系图中确定第二识别对象样本对应的初始局部质检对照关系图;对于第二识别对象样本对应的初始局部质检对照关系图中每个对象元素,从第二识别对象样本所在质检对照关系图中获得所针对的质检对象元素对应的语义表征图像,并将所针对的质检对象元素对应的语义表征图像输入第一目标对象特征映射网络中,获取所针对的质检对象元素对应的初始语义表征向量;基于各象元素分别对应的初始语义表征向量,对第二识别对象样本对应的初始局部质检对照关系图进行向量表示,得到第二识别对象样本对应的局部质检对照关系图样本;通过第二识别对象样本对应的局部质检对照关系图样本和第二识别对象样本对应的卷线图像样本,建立第二识别对象样本对应的第二调试样例。
作为一种实际应用方式,卷线设备在确定第二识别对象样本对应初始局部质检对照关系图后,还可基于第一目标对象特征映射网络对初始局部关系图中各个对象元素生成对应的初始语义表征向量,然后基于初始语义表征向量对初始局部质检对照关系图进行向量表示,得到局部质检对照关系图样本,再基于该局部质检对照关系图样本和第二识别对象样本对应的卷线图像样本,建立第二识别对象样本对应的第二调试样例。对于比对初始局部质检对照关系图进行任意初始化以获得局部质检对照关系图样本,本申请实施例中获得的局部质检对照关系图样本中各个对象元素的初始化结果准确度更高,令调试获得的第二目标对象特征映射网络效果更优异。
作为一种可行的设计,以上调试过程还可以包括:获取第三调试样例,其中,第三调试样例包括第三识别对象样本对应的卷线图像样本;通过待调试的第三上下文特征映射网络对第三识别对象样本对应的卷线图像样本进行特征映射,得到第三识别对象样本对应的第三上下文表征向量;通过第三上下文表征向量和第三识别对象样本对应的第三语义表征向量确定第三表征向量误差;第三语义表征向量为基于调试好的目标对象特征映射网络对第三识别对象样本对应的语义表征图像进行特征映射获得的;通过第三表征向量误差优化第三上下文特征映射网络的网络配置变量直到调试结束,获得调试好的第三目标上下文特征映射网络;第三目标上下文特征映射网络被配置为对目标质检对照关系图中的质检对象生成对应的目标上下文表征向量,目标上下文表征向量用于进行质检对象关联。
其中,第三识别对象样本可以为质检对照关系图中的任一质检对象,第三识别对象样本与第一识别对象样本、第二识别对象样本可以相同或不同,第三识别对象样本对应的卷线图像样本与第三识别对象样本具有包含关系。第三识别对象样本对应的语义表征图像是在第三识别对象样本所在质检对照关系图中获得的。调试好的对象特征映射网络,即训练完成的对象特征映射网络,已经训练的对象特征映射网络可以是第一目标对象特征映射网络或者第二目标对象特征映射网络。
作为一种实际应用方式,卷线设备可以通过待调试的第三上下文特征映射网络对输入的卷线图像样本进行特征映射,得到第三识别对象样本对应的第三上下文表征向量,以此确定第三上下文表征向量和第三语义表征向量之间的共性度量结果,获得第三表征向量误差,通过第三表征向量误差优化第三上下文特征映射网络的网络配置变量直到调试结束,获得调试好的第三目标上下文特征映射网络。
在实际实施过程中,第三调试样例还包括第三识别对象样本对应的语义表征图像,待调试的第三上下文特征映射网络可以和训练完成的上下文特征映射网络组成孪生网络,在调试时,将卷线图像样本输入第三上下文特征映射网络,将语义表征图像输入训练完成的上下文特征映射网络中,通过第三上下文特征映射网络输出第三上下文表征向量,通过训练完成的上下文特征映射网络输出第三语义表征向量,然后基于获取第三上下文表征向量和第三语义表征向量之间的共性度量结果,获得第三表征向量误差,基于其优化第三上下文特征映射网络的内部配置变量,即网络参数,在调试时维持上下文特征映射网络的网络配置变量不变。
可选的实施方案中,为提高调试的速度,还可以预先采用预训练的对象特征映射网络对质检对照关系图中各质检对象生成语义表征向量,以及构建质检对象和语义表征向量之间的对应关系,进而在调试环节直接确定第三识别对象样本对应的第三语义表征向量,依据该第三语义表征向量和第三上下文特征映射网络输出的第三上下文表征向量确定第三表征向量误差。
以上实施方式中,基于调试好的目标对象特征映射网络所生成的语义表征向量,和待调试的第三上下文特征映射网络输出的第三上下文表征向量计算表征向量误差,以此调试第三上下文特征映射网络,调试的速度更快,调试获得的第三上下文特征映射网络在进行上下文特征映射时,获得的上下文表征向量更精确可靠。
基于前述的实施例,本申请实施例提供一种基于机器视觉的卷线识别装置,该装置所包括的各单元、以及各单元所包括的各模块,可以通过计算机设备中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理器(CentralProcessing Unit,CPU)、微处理器(Microprocessor Unit,MPU)、数字信号处理器(DigitalSignal Processor,DSP)或现场可编程门阵列(Field Programmable Gate Array,FPGA)等。
图2为本申请实施例提供的一种基于机器视觉的卷线识别装置的组成结构示意图,如图2所示,基于机器视觉的卷线识别装置200包括:
图像划分模块210,用于确定目标卷线图像,对所述目标卷线图像进行识别对象划分得到目标识别对象;
特征映射模块220,用于对所述目标卷线图像进行特征映射,得到所述目标识别对象对应的目标上下文表征向量;
候选确定模块230,用于通过事先部署的识别对象和目标质检对照关系图中质检对象间的对应关系,确定所述目标识别对象对应的一个或多个候选质检对象;其中,每一所述候选质检对象携带对应的质检结果;
语义表征模块240,用于对于每个候选质检对象,获取所针对的候选质检对象的目标语义表征向量;其中,所述目标语义表征向量为基于初始语义表征向量获得的,所述初始语义表征向量为基于第一目标对象特征映射网络对所述所针对的候选质检对象对应的语义表征图像进行特征映射获得的,所述语义表征图像是在所述目标质检对照关系图中获得的;所述第一目标对象特征映射网络为基于第一表征向量误差调试获得的,所述第一表征向量误差通过第一上下文表征向量和第一语义表征向量确定得到,所述第一上下文表征向量为基于待调试的第一上下文特征映射网络对卷线图像样本进行特征映射获得的,所述卷线图像样本属于第一识别对象样本对应的第一调试样例,所述调试样例中还包括所述第一识别对象样本对应的语义表征图像,所述第一语义表征向量为基于待调试的第一对象特征映射网络对所述第一识别对象样本对应的语义表征图像进行特征映射获得的,所述第一识别对象样本对应的语义表征图像是在第一识别对象样本所在的质检对照关系图中获得的,所述卷线图像样本与所述第一识别对象样本具有包含关系;
概率确定模块250,用于通过所述目标上下文表征向量和各个候选质检对象各自的目标语义表征向量,确定各个候选质检对象分别对应的支持概率,通过各个候选质检对象分别对应的支持概率从所述一个或多个候选质检对象中确定所述目标识别对象对应的匹配识别对象;
质检确定模块260,用于将所述匹配识别对象对应的质检结果作为所述目标识别对象对应的质检结果。
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。在一些实施例中,本申请实施例提供的装置具有的功能或包含的模块可以用于执行上述方法实施例描述的方法,对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的基于机器视觉的卷线识别方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件、软件或固件,或者硬件、软件、固件三者之间的任意结合。
本申请实施例提供一种卷线设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。所述计算机可读存储介质可以是瞬时性的,也可以是非瞬时性的。
本申请实施例提供一种计算机程序,包括计算机可读代码,在所述计算机可读代码在计算机设备中运行的情况下,所述计算机设备中的处理器执行用于实现上述方法中的部分或全部步骤。
本申请实施例提供一种计算机程序产品,所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,所述计算机程序被计算机读取并执行时,实现上述方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一些实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一些实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
这里需要指出的是:上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考。以上设备、存储介质、计算机程序及计算机程序产品实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请设备、存储介质、计算机程序及计算机程序产品实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
图3为本申请实施例提供的一种卷线设备的硬件实体示意图,如图3所示,该卷线设备1000的硬件实体包括:处理器1001和存储器1002,其中,存储器1002存储有可在处理器1001上运行的计算机程序,处理器1001执行程序时实现上述任一实施例的方法中的步骤。
存储器1002存储有可在处理器上运行的计算机程序,存储器1002配置为存储由处理器1001可执行的指令和应用,还可以缓存待处理器1001以及卷线设备1000中各模块待处理或已经处理的数据(例如,图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH)或随机访问存储器(Random Access Memory,RAM)实现。
处理器1001执行程序时实现上述任一项的基于机器视觉的卷线识别方法的步骤。处理器1001通常控制卷线设备1000的总体操作。
本申请实施例提供一种计算机存储介质,计算机存储介质存储有一个或者多个程序,该一个或者多个程序可被一个或者多个处理器执行,以实现如上任一实施例的基于机器视觉的卷线识别方法的步骤。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。上述处理器可以为目标用途集成电路(Application Specific Integrated Circuit,ASIC)、数字信号处理器(DigitalSignal Processor,DSP)、数字信号处理装置(Digital Signal Processing Device,DSPD)、可编程逻辑装置(Programmable Logic Device,PLD)、现场可编程门阵列(FieldProgrammable Gate Array,FPGA)、中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器中的至少一种。可以理解地,实现上述处理器功能的电子器件还可以为其它,本申请实施例不作具体限定。
上述计算机存储介质/存储器可以是只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory,FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory,CD-ROM)等存储器;也可以是包括上述存储器之一或任意组合的各种终端,如移动电话、计算机、平板设备、个人数字助理等。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各步骤/过程的序号的大小并不意味着执行顺序的先后,各步骤/过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。
Claims (10)
1.一种基于机器视觉的卷线识别方法,其特征在于,所述方法包括:
确定目标卷线图像,对所述目标卷线图像进行识别对象划分得到目标识别对象;
对所述目标卷线图像进行特征映射,得到所述目标识别对象对应的目标上下文表征向量;
通过事先部署的识别对象和目标质检对照关系图中质检对象间的对应关系,确定所述目标识别对象对应的一个或多个候选质检对象;其中,每一所述候选质检对象携带对应的质检结果;
对于每个候选质检对象,获取所针对的候选质检对象的目标语义表征向量;其中,所述目标语义表征向量为基于初始语义表征向量获得的,所述初始语义表征向量为基于第一目标对象特征映射网络对所述所针对的候选质检对象对应的语义表征图像进行特征映射获得的,所述语义表征图像是在所述目标质检对照关系图中获得的;所述第一目标对象特征映射网络为基于第一表征向量误差调试获得的,所述第一表征向量误差通过第一上下文表征向量和第一语义表征向量确定得到,所述第一上下文表征向量为基于待调试的第一上下文特征映射网络对卷线图像样本进行特征映射获得的,所述卷线图像样本属于第一识别对象样本对应的第一调试样例,所述调试样例中还包括所述第一识别对象样本对应的语义表征图像,所述第一语义表征向量为基于待调试的第一对象特征映射网络对所述第一识别对象样本对应的语义表征图像进行特征映射获得的,所述第一识别对象样本对应的语义表征图像是在第一识别对象样本所在的质检对照关系图中获得的,所述卷线图像样本与所述第一识别对象样本具有包含关系;
通过所述目标上下文表征向量和各个候选质检对象各自的目标语义表征向量,确定各个候选质检对象分别对应的支持概率,通过各个候选质检对象分别对应的支持概率从所述一个或多个候选质检对象中确定所述目标识别对象对应的匹配识别对象;
将所述匹配识别对象对应的质检结果作为所述目标识别对象对应的质检结果。
2.根据权利要求1所述的方法,其特征在于,所述所针对的候选质检对象的目标语义表征向量基于如下操作进行构建:
从所述目标质检对照关系图中确定所述所针对的候选质检对象对应的初始局部质检对照关系图;
对于所述初始局部质检对照关系图中各个对象元素,从所述目标质检对照关系图中获得所针对的质检对象元素对应的语义表征图像,并将所述所针对的质检对象元素对应的语义表征图像输入所述第一目标对象特征映射网络中,获取所述所针对的质检对象元素对应的初始语义表征向量;
通过各个对象元素分别对应的初始语义表征向量对所述初始局部质检对照关系图进行向量表示,得到目标局部质检对照关系图;
通过调试好的第二目标对象特征映射网络对向量表示获得的目标局部质检对照关系图进行特征映射,得到所述所针对的候选质检对象对应的目标语义表征向量。
3.根据权利要求1所述的方法,其特征在于,所述对所述目标卷线图像进行特征映射,得到所述目标识别对象对应的目标上下文表征向量,包括:
将所述目标卷线图像输入调试好的第三目标上下文特征映射网络;
通过所述第三目标上下文特征映射网络对所述目标卷线图像进行特征映射,获得所述目标识别对象对应的目标上下文表征向量。
4.根据权利要求1~3任意一项所述的方法,其特征在于,所述方法还包括:
在事先部署的卷线图像集合中抽取出识别对象,确定所述识别对象对应的质检对象,构建所述识别对象和对应的质检对象间的对应关系;所述对应的质检对象为与所述识别对象所在卷线图像具有包含关系的对象;
对于所述对应关系中的质检对象,确定所针对的质检对象在所述卷线图像集合中的存在频次;
对于所述对应关系中的识别对象,确定与所针对的识别对象存在对应关系的各个质检对象分别对应的存在频次,得到确定频次;
计算所述所针对的质检对象的存在频次与所述确定频次的比例,得到所述所针对的质检对象的支持概率系数,构建所述所针对的质检对象与所述支持概率系数之间的对应关系;
所述通过所述目标上下文表征向量和各个候选质检对象各自的目标语义表征向量,确定各个候选质检对象分别对应的支持概率,包括:
分别确定所述目标上下文表征向量和各个候选质检对象各自的目标语义表征向量之间的共性度量结果,将各个候选质检对象分别对应的共性度量结果乘以分别对应的支持概率系数,得到各个候选质检对象分别对应的支持概率。
5.根据权利要求1所述的方法,其特征在于,所述第一对象特征映射网络的调试过程包括:
获取第一调试样例;所述第一调试样例包括第一识别对象样本对应的语义表征图像和卷线图像样本,所述语义表征图像是在所述第一识别对象样本所在的质检对照关系图中获得的,所述卷线图像样本与所述第一识别对象样本具有包含关系;
通过待调试的第一上下文特征映射网络对所述卷线图像样本进行特征映射,得到所述第一识别对象样本对应的第一上下文表征向量;
通过待调试的第一对象特征映射网络对所述语义表征图像进行特征映射,得到所述第一识别对象样本对应的第一语义表征向量;
通过所述第一上下文表征向量和所述第一语义表征向量确定第一表征向量误差,通过所述第一表征向量误差循环优化所述第一上下文特征映射网络和所述第一对象特征映射网络的网络配置变量直到调试结束,获得调试好的第一目标对象特征映射网络;所述第一目标对象特征映射网络被配置为对目标质检对照关系图中各实体生成对应的目标语义表征向量,各所述目标语义表征向量用于对目标卷线图像进行质检对象关联。
6.根据权利要求5所述的方法,其特征在于,所述方法包括:
对于所述目标质检对照关系图的匹配识别对象,从所述目标质检对照关系图中确定所述匹配识别对象对应的初始局部质检对照关系图;
对于所述初始局部质检对照关系图中每个对象元素,从所述目标质检对照关系图中获得所针对的质检对象元素对应的语义表征图像,并将所述所针对的质检对象元素对应的语义表征图像输入所述第一目标对象特征映射网络中,获得所述所针对的质检对象元素对应的初始语义表征向量;
通过各个对象元素分别对应的初始语义表征向量对所述初始局部质检对照关系图进行向量表示,得到目标局部质检对照关系图;
通过调试好的第二目标对象特征映射网络对所述目标局部质检对照关系图进行特征映射,得到所述匹配识别对象对应的目标语义表征向量。
7.根据权利要求6所述的方法,其特征在于,所述第二目标对象特征映射网络采用以下操作进行调试:
获取第二调试样例;所述第二调试样例包括第二识别对象样本对应的局部质检对照关系图样本和卷线图像样本;所述局部质检对照关系图样本为基于对所述第二识别对象样本对应的初始局部质检对照关系图进行向量表示获得的,所述第二识别对象样本对应的初始局部质检对照关系图是在所述第二识别对象样本所在质检对照关系图中确定得到;
通过待调试的第二上下文特征映射网络对所述第二识别对象样本对应的卷线图像样本进行特征映射,得到所述第二识别对象样本对应的第二上下文表征向量;
通过待调试的第二对象特征映射网络对所述局部质检对照关系图样本进行特征映射,得到所述第二识别对象样本对应的第二语义表征向量;
通过所述第二上下文表征向量和所述第二语义表征向量确定第二表征向量误差,通过所述第二表征向量误差优化所述第二上下文特征映射网络和所述第二对象特征映射网络的网络配置变量直到调试结束,获得调试好的第二目标对象特征映射网络。
8.根据权利要求7所述的方法,其特征在于,所述获取第二调试样例,包括:
对于所述第二识别对象样本,从所述第二识别对象样本所在质检对照关系图中确定所述第二识别对象样本对应的初始局部质检对照关系图;
对于所述第二识别对象样本对应的初始局部质检对照关系图中每个对象元素,从所述第二识别对象样本所在质检对照关系图中获得所针对的质检对象元素对应的语义表征图像,并将所述所针对的质检对象元素对应的语义表征图像输入所述第一目标对象特征映射网络中,获得所述所针对的质检对象元素对应的初始语义表征向量;
通过各个对象元素分别对应的初始语义表征向量,对所述第二识别对象样本对应的初始局部质检对照关系图进行向量表示,得到所述第二识别对象样本对应的局部质检对照关系图样本;
通过所述第二识别对象样本对应的局部质检对照关系图样本和所述第二识别对象样本对应的卷线图像样本,构建所述第二识别对象样本对应的第二调试样例。
9.根据权利要求5~8任意一项所述的方法,其特征在于,所述方法还包括:
获取第三调试样例;所述第三调试样例包括第三识别对象样本对应的卷线图像样本;
通过待调试的第三上下文特征映射网络对所述第三识别对象样本对应的卷线图像样本进行特征映射,得到所述第三识别对象样本对应的第三上下文表征向量;
通过所述第三上下文表征向量和所述第三识别对象样本对应的第三语义表征向量确定第三表征向量误差;所述第三语义表征向量为基于调试好的目标对象特征映射网络对所述第三识别对象样本对应的语义表征图像进行特征映射获得的;
通过所述第三表征向量误差优化所述第三上下文特征映射网络的网络配置变量直到调试结束,获得调试好的第三目标上下文特征映射网络;所述第三目标上下文特征映射网络被配置为对目标质检对照关系图中的质检对象生成对应的目标上下文表征向量,所述目标上下文表征向量用于进行质检对象关联。
10.一种卷线设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1至9任一项所述方法中的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311779173.3A CN117455910B (zh) | 2023-12-22 | 2023-12-22 | 一种基于机器视觉的卷线识别方法及卷线设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311779173.3A CN117455910B (zh) | 2023-12-22 | 2023-12-22 | 一种基于机器视觉的卷线识别方法及卷线设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117455910A true CN117455910A (zh) | 2024-01-26 |
CN117455910B CN117455910B (zh) | 2024-03-26 |
Family
ID=89589536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311779173.3A Active CN117455910B (zh) | 2023-12-22 | 2023-12-22 | 一种基于机器视觉的卷线识别方法及卷线设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117455910B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117690164A (zh) * | 2024-01-30 | 2024-03-12 | 成都欣纳科技有限公司 | 基于边缘计算的机场飞鸟识别驱赶方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113516626A (zh) * | 2021-05-07 | 2021-10-19 | 中国海洋大学 | 基于多尺度卷积与池化策略的侧扫声纳海底沙波检测方法 |
WO2022043643A1 (en) * | 2020-08-25 | 2022-03-03 | Emotional Perception AI Limited | Method of training a neural network and related system and method for categorizing and recommending associated content |
CN114821424A (zh) * | 2022-04-29 | 2022-07-29 | 杭州云像科技有限公司 | 视频分析方法、视频分析装置、计算机设备、存储介质 |
CN116681957A (zh) * | 2023-08-03 | 2023-09-01 | 富璟科技(深圳)有限公司 | 一种基于人工智能的图像识别方法及计算机设备 |
CN116778189A (zh) * | 2023-07-25 | 2023-09-19 | 富璟科技(深圳)有限公司 | 一种rpa流程处理分析方法及计算机设备 |
-
2023
- 2023-12-22 CN CN202311779173.3A patent/CN117455910B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022043643A1 (en) * | 2020-08-25 | 2022-03-03 | Emotional Perception AI Limited | Method of training a neural network and related system and method for categorizing and recommending associated content |
CN113516626A (zh) * | 2021-05-07 | 2021-10-19 | 中国海洋大学 | 基于多尺度卷积与池化策略的侧扫声纳海底沙波检测方法 |
CN114821424A (zh) * | 2022-04-29 | 2022-07-29 | 杭州云像科技有限公司 | 视频分析方法、视频分析装置、计算机设备、存储介质 |
CN116778189A (zh) * | 2023-07-25 | 2023-09-19 | 富璟科技(深圳)有限公司 | 一种rpa流程处理分析方法及计算机设备 |
CN116681957A (zh) * | 2023-08-03 | 2023-09-01 | 富璟科技(深圳)有限公司 | 一种基于人工智能的图像识别方法及计算机设备 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117690164A (zh) * | 2024-01-30 | 2024-03-12 | 成都欣纳科技有限公司 | 基于边缘计算的机场飞鸟识别驱赶方法及系统 |
CN117690164B (zh) * | 2024-01-30 | 2024-04-30 | 成都欣纳科技有限公司 | 基于边缘计算的机场飞鸟识别驱赶方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN117455910B (zh) | 2024-03-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN117455910B (zh) | 一种基于机器视觉的卷线识别方法及卷线设备 | |
CN108846826B (zh) | 物体检测方法、装置、图像处理设备及存储介质 | |
CN109871821B (zh) | 自适应网络的行人重识别方法、装置、设备及存储介质 | |
EP2344986A1 (en) | System and method for object clustering and identification in video | |
CN114749342B (zh) | 一种锂电池极片涂布缺陷识别方法、装置及介质 | |
CN113065525B (zh) | 年龄识别模型训练方法、人脸年龄识别方法及相关装置 | |
CN116681957B (zh) | 一种基于人工智能的图像识别方法及计算机设备 | |
CN117173172B (zh) | 一种基于机器视觉的硅胶成型效果检测方法及系统 | |
CN113850281A (zh) | 一种基于meanshift优化的数据处理方法和装置 | |
CN111027347A (zh) | 一种视频识别方法、装置和计算机设备 | |
CN116363538B (zh) | 一种基于无人机的桥梁检测方法及系统 | |
WO2024102565A1 (en) | System and method for joint detection, localization, segmentation and classification of anomalies in images | |
CN115984671B (zh) | 模型在线更新方法、装置、电子设备及可读存储介质 | |
CN115567371B (zh) | 一种异常检测方法、装置、设备及可读存储介质 | |
CN112102178A (zh) | 一种点云保特征去噪方法、装置、电子设备及存储介质 | |
CN115685133A (zh) | 自动驾驶车辆的定位方法、控制装置、存储介质及车辆 | |
CN110443267B (zh) | 误检过滤方法、装置、拍摄装置及存储介质 | |
CN113888498A (zh) | 图像异常检测方法、装置、电子设备及存储介质 | |
CN113658217A (zh) | 一种自适应目标跟踪方法、装置及存储介质 | |
CN111860289A (zh) | 一种时序动作检测方法、装置及计算机设备 | |
CN117333493B (zh) | 一种基于机器视觉的显示器底座生产用检测系统以及方法 | |
CN112017641A (zh) | 一种语音处理方法、装置及存储介质 | |
CN110851634B (zh) | 图片检索的方法、装置及电子设备 | |
CN111625672B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
CN116665113B (zh) | 基于不确定性量化的遥感场景识别方法、系统及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |