CN117718249A - 珠宝裂纹分选方法、装置、系统、存储介质及电子设备 - Google Patents
珠宝裂纹分选方法、装置、系统、存储介质及电子设备 Download PDFInfo
- Publication number
- CN117718249A CN117718249A CN202410180040.2A CN202410180040A CN117718249A CN 117718249 A CN117718249 A CN 117718249A CN 202410180040 A CN202410180040 A CN 202410180040A CN 117718249 A CN117718249 A CN 117718249A
- Authority
- CN
- China
- Prior art keywords
- jewelry
- crack
- image
- sorting
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 239000007921 spray Substances 0.000 claims abstract description 161
- 230000008569 process Effects 0.000 claims abstract description 30
- 238000002347 injection Methods 0.000 claims description 67
- 239000007924 injection Substances 0.000 claims description 67
- 238000012549 training Methods 0.000 claims description 38
- 238000003062 neural network model Methods 0.000 claims description 31
- 238000012545 processing Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 27
- 238000005507 spraying Methods 0.000 claims description 18
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 8
- 238000000926 separation method Methods 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 10
- 239000000463 material Substances 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 238000013145 classification model Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 239000010929 jewellery material Substances 0.000 description 5
- 238000012216 screening Methods 0.000 description 4
- 230000005484 gravity Effects 0.000 description 3
- 230000005571 horizontal transmission Effects 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Image Analysis (AREA)
Abstract
本公开是关于一种珠宝裂纹分选方法、珠宝裂纹分选装置、珠宝裂纹分选系统、存储介质及电子设备。该珠宝裂纹分选方法包括获取珠宝在预定空间内散落过程中的采集图像，其中，采集图像具有与预定空间关联的图像坐标；基于珠宝分选模型，对采集图像进行珠宝裂纹特征识别，得到珠宝分类结果及具有珠宝裂纹特征的珠宝所对应的图像坐标；基于具有珠宝裂纹特征的珠宝所对应的图像坐标，及图像坐标与空间位置的对应关系，确定出对具有珠宝裂纹特征的珠宝进行喷气操作的目标喷阀；控制目标喷阀对具有珠宝裂纹特征的珠宝进行喷气操作，将具有珠宝裂纹特征的珠宝分选出来，可实现对具有珠宝裂纹特征的珠宝自动化识别分选，降低分选成本，提高分选效率。
Description
技术领域
本公开涉及珠宝分选技术领域，尤其涉及一种珠宝裂纹分选方法、珠宝裂纹分选装置、珠宝裂纹分选系统、存储介质及电子设备。
背景技术
在珠宝分选领域，珠宝的完整性越来越受到消费者和商家的高度重视，而裂纹珠宝在好料珠宝中的参杂率直接影响珠宝的出售价格。目前，珠宝行业需要大量珠宝的筛选和分类，这一过程主要依赖于人工筛选，这不仅费时费力，而且容易出现误差。因此，需要一种自动化的方法来实现高效的珠宝筛选。
发明内容
有鉴于此，本公开实施例期望提供一种珠宝裂纹分选方法、珠宝裂纹分选装置、珠宝裂纹分选系统、存储介质及电子设备。
本公开的技术方案是这样实现的：
第一方面，本公开提供一种珠宝裂纹分选方法。
本公开实施例提供的珠宝裂纹分选方法，包括：
获取珠宝在预定空间内散落过程中的采集图像，其中，所述采集图像具有与所述预定空间关联的图像坐标；
基于珠宝分选模型，对所述采集图像进行珠宝裂纹特征识别，得到珠宝分类结果及具有珠宝裂纹特征的珠宝所对应的图像坐标；其中，所述珠宝分选模型基于具有珠宝裂纹的特征图像，对神经网络模型进行模型训练得到；
基于所述具有珠宝裂纹特征的珠宝所对应的图像坐标，及所述图像坐标与空间位置的对应关系，确定出对所述具有珠宝裂纹特征的珠宝进行喷气操作的目标喷阀；
控制所述目标喷阀对所述具有珠宝裂纹特征的珠宝进行喷气操作，将所述具有珠宝裂纹特征的珠宝分选出来。
在一些实施例中，所述基于珠宝分选模型，对所述采集图像进行珠宝裂纹特征识别，得到珠宝分类结果及具有珠宝裂纹特征的珠宝所对应的图像坐标前，所述方法包括：
基于具有珠宝裂纹的特征图像，对神经网络模型进行模型训练，得到具有珠宝裂纹特征识别能力的所述珠宝分选模型。
在一些实施例中，所述神经网络模型包括SortNet神经网络；
所述基于具有珠宝裂纹的特征图像，对神经网络模型进行模型训练，得到具有珠宝裂纹特征识别能力的所述珠宝分选模型，包括：
构建所述SortNet神经网络的残差结构；所述残差结构中Input层分别经过1×1、3×3卷积层得到输出矩阵，并与Input层经过SUM层得到Output层；
将所述特征图像输入所述残差结构，进行多尺度输出，得到第一目标裂纹特征的特征识别信息及第二目标裂纹特征的特征识别信息；其中，所述第一目标裂纹特征为所述特征图像中用40×40尺度输出检测的目标裂纹特征，所述第二目标裂纹特征为所述特征图像中用20×20尺度输出检测的目标裂纹特征；
将所述第一目标裂纹特征的特征识别信息及所述第二目标裂纹特征的特征识别信息作为损失函数的输入参数进行损失函数优化，以更新模型参数，得到具有珠宝裂纹特征识别能力的所述珠宝分选模型。
在一些实施例中，所述珠宝在散落过程中为多路散落；其中每路珠宝散落过程中均对应有一路喷阀；
所述基于所述具有珠宝裂纹特征的珠宝所对应的图像坐标，及所述图像坐标与空间位置的对应关系，确定出对所述具有珠宝裂纹特征的珠宝进行喷气操作的目标喷阀，包括：
基于所述具有珠宝裂纹特征的珠宝所对应的图像坐标，及所述图像坐标与空间位置的对应关系，确定出具有珠宝裂纹特征的珠宝在图像采集时间所在空间位置；
基于所述具有珠宝裂纹特征的珠宝在图像采集时间所在空间位置，确定所述具有珠宝裂纹特征的珠宝的散落轨迹；
在多路喷阀中，确定喷阀喷气通道与所述具有珠宝裂纹特征的珠宝的散落轨迹具有重合区域的喷阀，为所述目标喷阀。
在一些实施例中，所述控制所述目标喷阀对所述具有珠宝裂纹特征的珠宝进行喷气操作，将所述具有珠宝裂纹特征的珠宝分选出来，包括：
获取所述具有珠宝裂纹特征的珠宝从所述图像采集时间所在空间位置，下落到所述目标喷阀所在空间位置的下落时长；
基于所述下落时长及所述图像采集时间，得到所述具有珠宝裂纹特征的珠宝下落到所述目标喷阀所在空间位置时目标喷阀执行喷气操作的喷气时间；
基于所述喷气时间，控制所述目标喷阀对所述具有珠宝裂纹特征的珠宝进行喷气操作，将所述具有珠宝裂纹特征的珠宝分选出来。
在一些实施例中，所述目标喷阀执行喷气操作具有响应时长t1；进行图像采集至所述采集图像处理完成具有图像处理时长t2；所述下落时长为t3；
所述基于所述下落时长及所述图像采集时间，得到所述具有珠宝裂纹特征的珠宝下落到所述目标喷阀所在空间位置时目标喷阀执行喷气操作的喷气时间，包括：
T=t3-t1-t2；其中，T为具有珠宝裂纹特征的珠宝下落到所述目标喷阀所在空间位置时目标喷阀执行喷气操作的喷气时间。
第二方面，本公开提供一种珠宝裂纹分选装置，包括：
图像获取模块，用于获取珠宝在预定空间内散落过程中的采集图像，其中，所述采集图像具有与所述预定空间关联的图像坐标；
特征识别模块，用于基于珠宝分选模型，对所述采集图像进行珠宝裂纹特征识别，得到珠宝分类结果及具有珠宝裂纹特征的珠宝所对应的图像坐标；其中，所述珠宝分选模型基于具有珠宝裂纹的特征图像，对神经网络模型进行模型训练得到；
喷阀确定模块，用于基于所述具有珠宝裂纹特征的珠宝所对应的图像坐标，及所述图像坐标与空间位置的对应关系，确定出对所述具有珠宝裂纹特征的珠宝进行喷气操作的目标喷阀；
珠宝分选模块，用于控制所述目标喷阀对所述具有珠宝裂纹特征的珠宝进行喷气操作，将所述具有珠宝裂纹特征的珠宝分选出来。
第三方面，本公开提供一种珠宝裂纹分选系统，包括：
摄像模组，用于对在预定空间内处于散落过程中的珠宝进行图像采集，其中，得到的采集图像具有与所述预定空间关联的图像坐标；
图像处理单元，用于基于珠宝分选模型，对所述采集图像进行珠宝裂纹特征识别，得到珠宝分类结果及具有珠宝裂纹特征的珠宝所对应的图像坐标；其中，所述珠宝分选模型基于具有珠宝裂纹的特征图像，对神经网络模型进行模型训练得到；
基于所述具有珠宝裂纹特征的珠宝所对应的图像坐标，及所述图像坐标与空间位置的对应关系，确定出对所述具有珠宝裂纹特征的珠宝进行喷气操作的目标喷阀；
控制器，用于控制所述目标喷阀对所述具有珠宝裂纹特征的珠宝进行喷气操作，将所述具有珠宝裂纹特征的珠宝分选出来。
第四方面，本公开提供一种计算机可读存储介质，其上存储有珠宝裂纹分选程序，该珠宝裂纹分选程序被处理器执行时，实现上述第一方面所述的珠宝裂纹分选方法。
第五方面，本公开提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的珠宝裂纹分选程序，所述处理器执行所述珠宝裂纹分选程序时，实现上述第一方面所述的珠宝裂纹分选方法。
根据本公开实施例的珠宝裂纹分选方法包括获取珠宝在预定空间内散落过程中的采集图像，其中，采集图像具有与预定空间关联的图像坐标；基于珠宝分选模型，对采集图像进行珠宝裂纹特征识别，得到珠宝分类结果及具有珠宝裂纹特征的珠宝所对应的图像坐标；其中，珠宝分选模型基于具有珠宝裂纹的特征图像，对神经网络模型进行模型训练得到；基于具有珠宝裂纹特征的珠宝所对应的图像坐标，及图像坐标与空间位置的对应关系，确定出对具有珠宝裂纹特征的珠宝进行喷气操作的目标喷阀；控制目标喷阀对具有珠宝裂纹特征的珠宝进行喷气操作，将具有珠宝裂纹特征的珠宝分选出来。本申请中，通过对采集图像进行珠宝裂纹特征识别，得到珠宝分类结果及具有珠宝裂纹特征的珠宝所对应的图像坐标；基于具有珠宝裂纹特征的珠宝所对应的图像坐标，及图像坐标与空间位置的对应关系，确定出对具有珠宝裂纹特征的珠宝进行喷气操作的目标喷阀；控制目标喷阀对具有珠宝裂纹特征的珠宝进行喷气操作，将具有珠宝裂纹特征的珠宝分选出来，可实现对具有珠宝裂纹特征的珠宝自动化识别分选，降低分选成本，提高分选效率。
本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
图1是根据一示例性实施例示出的珠宝裂纹分选方法流程图；
图2是根据一示例性实施例示出的珠宝分选模型结构示意图；
图3是根据一示例性实施例示出的珠宝分选模型的残差结构示意图；
图4是根据一示例性实施例示出的珠宝裂纹分选系统结构示意图；
图5是根据一示例性实施例示出的珠宝分选流程图；
图6是根据一示例性实施例示出的珠宝裂纹分选装置结构示意图。
具体实施方式
下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
在珠宝分选领域，珠宝的完整性越来越受到消费者和商家的高度重视，而裂纹珠宝在好料珠宝中的参杂率直接影响珠宝的出售价格。目前，珠宝行业需要大量珠宝的筛选和分类，这一过程主要依赖于人工筛选，这不仅费时费力，而且容易出现误差。因此，需要一种自动化的方法来实现高效的珠宝筛选。
针对上述情况，本公开提供一种珠宝裂纹分选方法。图1是根据一示例性实施例示出的珠宝裂纹分选方法流程图。如图1所示，该珠宝裂纹分选方法包括：
步骤10、获取珠宝在预定空间内散落过程中的采集图像，其中，所述采集图像具有与所述预定空间关联的图像坐标；
步骤11、基于珠宝分选模型，对所述采集图像进行珠宝裂纹特征识别，得到珠宝分类结果及具有珠宝裂纹特征的珠宝所对应的图像坐标；其中，所述珠宝分选模型基于具有珠宝裂纹的特征图像，对神经网络模型进行模型训练得到；
步骤12、基于所述具有珠宝裂纹特征的珠宝所对应的图像坐标，及所述图像坐标与空间位置的对应关系，确定出对所述具有珠宝裂纹特征的珠宝进行喷气操作的目标喷阀；
步骤13、控制所述目标喷阀对所述具有珠宝裂纹特征的珠宝进行喷气操作，将所述具有珠宝裂纹特征的珠宝分选出来。
在本示例性实施例中，多个珠宝可以从珠宝传输带上分多路传输。在传输带终端，多路珠宝分多路散落。珠宝散落过程中可被双摄成像系统拍摄图像，进行图像采集。由于双摄成像系统的相机安置在预定空间内的特定位置，可使得采集图像中的图像坐标与预定空间的空间位置对应。其中，图像采集时可进行珠宝的同步两侧图像采集，以覆盖珠宝的所有表面。对所述采集图像进行珠宝裂纹特征识别时，可对采集的两侧采集图像进行图像分析、特征识别。
在本示例性实施例中，珠宝分选模型可通过具有珠宝裂纹的特征图像，对神经网络模型进行模型训练得到。
在本示例性实施例中，喷阀可往预定喷气通道喷气，气体可作用在珠宝上，使得珠宝从散落队列中剔除。当珠宝散落到喷阀的喷气通道内时，可被气体喷出散落队列。
根据本公开实施例的珠宝裂纹分选方法包括获取珠宝在预定空间内散落过程中的采集图像，其中，采集图像具有与预定空间关联的图像坐标；基于珠宝分选模型，对采集图像进行珠宝裂纹特征识别，得到珠宝分类结果及具有珠宝裂纹特征的珠宝所对应的图像坐标；其中，珠宝分选模型基于具有珠宝裂纹的特征图像，对神经网络模型进行模型训练得到；基于具有珠宝裂纹特征的珠宝所对应的图像坐标，及图像坐标与空间位置的对应关系，确定出对具有珠宝裂纹特征的珠宝进行喷气操作的目标喷阀；控制目标喷阀对具有珠宝裂纹特征的珠宝进行喷气操作，将具有珠宝裂纹特征的珠宝分选出来。本申请中，通过对采集图像进行珠宝裂纹特征识别，得到珠宝分类结果及具有珠宝裂纹特征的珠宝所对应的图像坐标；基于具有珠宝裂纹特征的珠宝所对应的图像坐标，及图像坐标与空间位置的对应关系，确定出对具有珠宝裂纹特征的珠宝进行喷气操作的目标喷阀；控制目标喷阀对具有珠宝裂纹特征的珠宝进行喷气操作，将具有珠宝裂纹特征的珠宝分选出来，可实现对具有珠宝裂纹特征的珠宝自动化识别分选，降低分选成本，提高分选效率。
在一些实施例中，所述基于珠宝分选模型，对所述采集图像进行珠宝裂纹特征识别，得到珠宝分类结果及具有珠宝裂纹特征的珠宝所对应的图像坐标前，所述方法包括：
基于具有珠宝裂纹的特征图像，对神经网络模型进行模型训练，得到具有珠宝裂纹特征识别能力的所述珠宝分选模型。
在本示例性实施例中，在进行模型训练时，可根据需要选定具有珠宝裂纹的特征图像。
基于具有珠宝裂纹的特征图像，对神经网络模型进行模型训练，得到具有珠宝裂纹特征识别能力的所述珠宝分选模型，包括：
根据珠宝分选需求，选择珠宝裂纹特征尺寸大于预定值的特征图像，作为训练样本；
基于选择的训练样本，对神经网络模型进行模型训练，得到具有珠宝裂纹特征识别能力的所述珠宝分选模型，以分选出珠宝裂纹特征尺寸大于预定值的珠宝。其中，预定值可自行设定。
在一些实施例中，所述神经网络模型包括SortNet排序神经网络；
所述基于具有珠宝裂纹的特征图像，对神经网络模型进行模型训练，得到具有珠宝裂纹特征识别能力的所述珠宝分选模型，包括：
构建所述SortNet排序神经网络的残差结构；所述残差结构中Input输入层分别经过1×1、3×3卷积层得到输出矩阵，并与Input输入层经过SUM层得到Output输出层；
将所述特征图像输入所述残差结构，进行多尺度输出，得到第一目标裂纹特征的特征识别信息及第二目标裂纹特征的特征识别信息；其中，所述第一目标裂纹特征为所述特征图像中用40×40尺度输出检测的目标裂纹特征，所述第二目标裂纹特征为所述特征图像中用20×20尺度输出检测的目标裂纹特征；
将所述第一目标裂纹特征的特征识别信息及所述第二目标裂纹特征的特征识别信息作为损失函数的输入参数进行损失函数优化，以更新模型参数，得到具有珠宝裂纹特征识别能力的所述珠宝分选模型。
在本示例性实施例中，设计了一个SortNet神经网络结构用于训练模型，该模型用于检测珠宝裂纹特征，并输出珠宝的分类及图像坐标信息。具体如下：
S11，构建一个SortNet神经网络，网络结构包括输入层（Input）、残差结构(SortResidual)、连接层(Concat)、上采样层(Upsample)、输出层(Output)和损失函数(LossFunction)。
图2是根据一示例性实施例示出的珠宝分选模型结构示意图。S12，如图2所示，记输入样本图片P1，图片P1长宽高为4096×256×3像素尺寸，把图片P1进行裁剪操作得到P2，并归一化为特征向量，得到尺寸为640×640×3的输入矩阵。
S13，然后设置残差结构。图3是根据一示例性实施例示出的珠宝分选模型的残差结构示意图。如图3所示。该残差结构Input层分别经过1×1、3×3卷积层得到输出矩阵，并与Input层经过SUM层得到Output。
S14，接着，多尺度输出珠宝物料的目标特征，同时兼顾推理速度，设置两个尺度的输出结果。其中，40×40尺度输出用于检测小目标特征，20×20尺度输出用于检测大目标特征。
S15，最后，经过网络模型的各个层，输出得到Y1和Y2，同时构建一个损失函数，用于训练更新参数。
如图2所示，SortNet神经网络包括多层卷积。经过多层卷积后最终输出第一目标裂纹特征Y1和第二目标裂纹特征Y2。其中，第一目标裂纹特征Y1和第二目标裂纹特征Y2均包含有特征识别时识别出的裂纹特征对应的图像坐标信息、分类信息、特征尺寸信息。其中，第一目标裂纹特征可以为尺寸上比第二目标裂纹特征小的目标裂纹特征。
在本示例性实施例中，将所述第一目标裂纹特征的特征识别信息及所述第二目标裂纹特征的特征识别信息作为损失函数的输入参数进行损失函数优化，以更新模型参数。
其中，；/>为整体损失函数，为分类损失函数，/>为特征识别的裂纹特征的图像坐标损失函数，/>为特征识别的裂纹特征的尺寸损失函数，/>、/>均为是0-1范围的权重值；其中，
；/>为网络输出预测分类名称，为人工标注分类名称，B为多层卷积后最终输出的目标裂纹特征个数，此处可以为2；
；其中，/>为网络输出预测框box位置的x坐标，/>为网络输出预测框box位置的y坐标；
；其中，/>为网络输出预测框box的宽度，/>为网络输出预测框box的高度，/>为人工标注框box位置的x坐标，/>为人工标注框box位置的y坐标，/>为人工标注框box的宽度，/>为人工标注框box的高度。
在一些实施例中，所述珠宝在散落过程中为多路散落；其中每路珠宝散落过程中均对应有一路喷阀；
所述基于所述具有珠宝裂纹特征的珠宝所对应的图像坐标，及所述图像坐标与空间位置的对应关系，确定出对所述具有珠宝裂纹特征的珠宝进行喷气操作的目标喷阀，包括：
基于所述具有珠宝裂纹特征的珠宝所对应的图像坐标，及所述图像坐标与空间位置的对应关系，确定出具有珠宝裂纹特征的珠宝在图像采集时间所在空间位置；
基于所述具有珠宝裂纹特征的珠宝在图像采集时间所在空间位置，确定所述具有珠宝裂纹特征的珠宝的散落轨迹；
在多路喷阀中，确定喷阀喷气通道与所述具有珠宝裂纹特征的珠宝的散落轨迹具有重合区域的喷阀，为所述目标喷阀。
在本示例性实施例中，根据珠宝的应用场景，设置一个宽度为15cm，传输速度为20mm/s的珠宝履带传输系统。图4是根据一示例性实施例示出的珠宝裂纹分选系统结构示意图。如图4所示，在传输履带20的终端放置两个分辨率为4096×1的线扫相机21，用于扫描珠宝物料的上下两面的图像特征，其中物料的分辨率为27pixel/mm；
同时，在传送带下方处放置相机的检测点，再在相机的检测点下方10cm处，放置一个喷阀系统22，共有16路喷气出口，平均每个喷阀控制0.9375cm的区域；
具体操作时，可初始化软硬件，包括相机、喷阀、传输控制和SortNet模型加载。软件系统开始运行，在UI界面上点击下料按钮，即可触发双摄相机采集运行，分别采集前相机图像4096×256（P_front）和后相机图像4096×256（P_back）。
然后，把P_front和P_back输入SortNet推理模型进行推理，输出坐标（boxes）和分类（classes）信息。根据boxes和classes信息，确定哪些物料是需要喷阀剔除的，并计算发送喷阀指令的喷气时间，当时间到时，发送喷阀指令。
如图4所示，珠宝在散落过程中会经过喷阀喷气通道。喷阀为多个，并排设置。珠宝在散落过程中为多路散落；其中每路珠宝散落过程中均对应有一路喷阀。当珠宝a散落过程中经过喷阀A的喷气通道时，则可确定针对珠宝a进行喷气操作的目标喷阀即为喷阀A。
在本示例性实施例中，珠宝传输带可以为水平放置，珠宝散落时在重力方向为自由落体。双摄成像系统的相机包括第一相机和第二相机，两个相机相对拍摄。相机安置的特定位置可以为正对珠宝散落的抛物线平面，与珠宝传输带的水平传输平面平行，从而使得采集图像可呈现多个珠宝的自由落体位置，以便于根据珠宝水平方向的初速度及自由落体位置，确定珠宝的空间位置。例如，通过所述图像坐标与空间位置的对应关系，可知道珠宝自由落体的位置和时间，从而得到水平方向的运动距离，从而确定在预定空间内的空间位置，进而确定珠宝往下的散落轨迹。
在一些实施例中，所述控制所述目标喷阀对所述具有珠宝裂纹特征的珠宝进行喷气操作，将所述具有珠宝裂纹特征的珠宝分选出来，包括：
获取所述具有珠宝裂纹特征的珠宝从所述图像采集时间所在空间位置，下落到所述目标喷阀所在空间位置的下落时长；
基于所述下落时长及所述图像采集时间，得到所述具有珠宝裂纹特征的珠宝下落到所述目标喷阀所在空间位置时目标喷阀执行喷气操作的喷气时间；
基于所述喷气时间，控制所述目标喷阀对所述具有珠宝裂纹特征的珠宝进行喷气操作，将所述具有珠宝裂纹特征的珠宝分选出来。
在本示例性实施例中，所述目标喷阀执行喷气操作具有响应时长t1；进行图像采集至所述采集图像处理完成具有图像处理时长t2；所述下落时长为t3；
所述基于所述下落时长及所述图像采集时间，得到所述具有珠宝裂纹特征的珠宝下落到所述目标喷阀所在空间位置时目标喷阀执行喷气操作的喷气时间，包括：
T=t3-t1-t2；其中，T为具有珠宝裂纹特征的珠宝下落到所述目标喷阀所在空间位置时目标喷阀执行喷气操作的喷气时间。
在本示例性实施例中，在具体进行喷阀操作进行珠宝分选时，需要确定给目标喷阀下发喷气指令的时间，然后给目标喷阀下发喷气指令进行分选操作。其中，喷阀响应喷气指令有响应时长t1。同时，珠宝分选模型处理图像也具有图像处理时长t2，即存在图像处理延时。其中，在图像处理过程中，珠宝也在同步下落。因此，在确定喷气时间T时，需要在下落时长t3中去掉响应时长t1和图像处理时长t2。其中，上述图像采集时间为图像处理后识别出具有珠宝裂纹特征的珠宝时的时间点。图像采集时间的基础上累加下落时长t3，减去响应时长t1，减去图像处理时长t2，即可得到喷气时间对应的时间点。例如，图像采集时间为8点8分1秒，下落时长t3为15秒，响应时长t1为1秒，图像处理时长t2为1秒，则，目标喷阀的喷气时间对应的时间点为8点8分14秒。
图5是根据一示例性实施例示出的珠宝分选流程图。如图5所示，珠宝分选流程包括：
步骤50、开始；
步骤51、初始化软硬件加载SortNet模型；
步骤52、判断是否开始下料，如果未开始下料，则循环执行步骤52进行是否开始下料判断；
步骤53、如果开始下料，则判断是否打开双摄相机，如果打开失败则显示报错信息；
步骤54、如果成功打开，则取前后4096×256图像；
步骤55、输入模型进行推理；
步骤56、计算喷阀延时；
步骤57、判断延迟时间是否到，如果延迟时间未到，则继续执行步骤57进行延迟时间判断；
步骤58、若延迟时间到，则发送喷阀指令
步骤59、判断是否结束下料，若未结束则继续取前后4096×256图像；
步骤60、若结束，则停止图像采集。
本公开提供一种珠宝裂纹分选装置。图6是根据一示例性实施例示出的珠宝裂纹分选装置结构示意图。如图6所示，珠宝裂纹分选装置包括：
图像获取模块60，用于获取珠宝在预定空间内散落过程中的采集图像，其中，所述采集图像具有与所述预定空间关联的图像坐标；
特征识别模块61，用于基于珠宝分选模型，对所述采集图像进行珠宝裂纹特征识别，得到珠宝分类结果及具有珠宝裂纹特征的珠宝所对应的图像坐标；其中，所述珠宝分选模型基于具有珠宝裂纹的特征图像，对神经网络模型进行模型训练得到；
喷阀确定模块62，用于基于所述具有珠宝裂纹特征的珠宝所对应的图像坐标，及所述图像坐标与空间位置的对应关系，确定出对所述具有珠宝裂纹特征的珠宝进行喷气操作的目标喷阀；
珠宝分选模块63，用于控制所述目标喷阀对所述具有珠宝裂纹特征的珠宝进行喷气操作，将所述具有珠宝裂纹特征的珠宝分选出来。
在本示例性实施例中，多个珠宝可以从珠宝传输带上分多路传输。在传输带终端，多路珠宝分多路散落。珠宝散落过程中可被双摄成像系统拍摄图像，进行图像采集。由于双摄成像系统的相机安置在预定空间内的特定位置，可使得采集图像中的图像坐标与预定空间的空间位置对应。其中，图像采集时可进行珠宝的同步两侧图像采集，以覆盖珠宝的所有表面。进行对所述采集图像进行珠宝裂纹特征识别时，可对采集的两侧采集图像进行图像分析、特征识别。
在本示例性实施例中，珠宝分选模型可通过具有珠宝裂纹的特征图像，对神经网络模型进行模型训练得到。
在本示例性实施例中，喷阀可往预定喷气通道喷气，气体可作用在珠宝上，使得珠宝从散落队列中剔除。当珠宝散落到喷阀的喷气通道内时，可被气体喷出散落队列。
根据本公开实施例的珠宝裂纹分选装置通过获取珠宝在预定空间内散落过程中的采集图像，其中，采集图像具有与预定空间关联的图像坐标；基于珠宝分选模型，对采集图像进行珠宝裂纹特征识别，得到珠宝分类结果及具有珠宝裂纹特征的珠宝所对应的图像坐标；其中，珠宝分选模型基于具有珠宝裂纹的特征图像，对神经网络模型进行模型训练得到；基于具有珠宝裂纹特征的珠宝所对应的图像坐标，及图像坐标与空间位置的对应关系，确定出对具有珠宝裂纹特征的珠宝进行喷气操作的目标喷阀；控制目标喷阀对具有珠宝裂纹特征的珠宝进行喷气操作，将具有珠宝裂纹特征的珠宝分选出来。本申请中，通过对采集图像进行珠宝裂纹特征识别，得到珠宝分类结果及具有珠宝裂纹特征的珠宝所对应的图像坐标；基于具有珠宝裂纹特征的珠宝所对应的图像坐标，及图像坐标与空间位置的对应关系，确定出对具有珠宝裂纹特征的珠宝进行喷气操作的目标喷阀；控制目标喷阀对具有珠宝裂纹特征的珠宝进行喷气操作，将具有珠宝裂纹特征的珠宝分选出来，可实现对具有珠宝裂纹特征的珠宝自动化识别分选，降低分选成本，提高分选效率。
在一些实施例中，珠宝裂纹分选装置包括模型训练模块；所述基于珠宝分选模型，对所述采集图像进行珠宝裂纹特征识别，得到珠宝分类结果及具有珠宝裂纹特征的珠宝所对应的图像坐标前，所述模型训练模块，用于
基于具有珠宝裂纹的特征图像，对神经网络模型进行模型训练，得到具有珠宝裂纹特征识别能力的所述珠宝分选模型。
在本示例性实施例中，在进行模型训练时，可根据需要选定具有珠宝裂纹的特征图像。
基于具有珠宝裂纹的特征图像，对神经网络模型进行模型训练，得到具有珠宝裂纹特征识别能力的所述珠宝分选模型，包括：
根据珠宝分选需求，选择珠宝裂纹特征尺寸大于预定值的特征图像，作为训练样本；
基于选择的训练样本，对神经网络模型进行模型训练，得到具有珠宝裂纹特征识别能力的所述珠宝分选模型，以分选出珠宝裂纹特征尺寸大于预定值的珠宝。其中，预定值可自行设定。
在一些实施例中，所述神经网络模型包括SortNet神经网络；
所述模型训练模块，用于
构建所述SortNet神经网络的残差结构；所述残差结构中Input层分别经过1×1、3×3卷积层得到输出矩阵，并与Input层经过SUM层得到Output层；
将所述特征图像输入所述残差结构，进行多尺度输出，得到第一目标裂纹特征的特征识别信息及第二目标裂纹特征的特征识别信息；其中，所述第一目标裂纹特征为所述特征图像中用40×40尺度输出检测的目标裂纹特征，所述第二目标裂纹特征为所述特征图像中用20×20尺度输出检测的目标裂纹特征；
将所述第一目标裂纹特征的特征识别信息及所述第二目标裂纹特征的特征识别信息作为损失函数的输入参数进行损失函数优化，以更新模型参数，得到具有珠宝裂纹特征识别能力的所述珠宝分选模型。
在本示例性实施例中，设计了一个SortNet神经网络结构用于训练模型，该模型用于检测珠宝裂纹特征，并输出珠宝的分类及图像坐标信息。具体如下：
S11，构建一个SortNet神经网络，网络结构包括输入层（Input）、残差结构(SortResidual)、连接层(Concat)、上采样层(Upsample)、输出层(Output)和损失函数(LossFunction)。
S12，如图2所示，记输入样本图片P1，图片P1长宽高为4096×256×3像素尺寸，把图片P1进行裁剪操作得到P2，并归一化为特征向量，得到尺寸为640×640×3的输入矩阵。
S13，然后设置残差结构。如图3所示。该残差结构Input层分别经过1×1、3×3卷积层得到输出矩阵，并与Input层经过SUM层得到Output。
S14，接着，多尺度输出珠宝物料的目标特征，同时兼顾推理速度，设置两个尺度的输出结果。其中，40×40尺度输出用于检测小目标特征，20×20尺度输出用于检测大目标特征。
S15，最后，经过网络模型的各个层，输出得到Y1和Y2，同时构建一个损失函数，用于训练更新参数。
如图2所示，SortNet神经网络包括多层卷积。经过多层卷积后最终输出第一目标裂纹特征Y1和第二目标裂纹特征Y2。其中，第一目标裂纹特征Y1和第二目标裂纹特征Y2均包含有特征识别时识别出的裂纹特征对应的图像坐标信息、分类信息、特征尺寸信息。其中，第一目标裂纹特征可以为尺寸上比第二目标裂纹特征小的目标裂纹特征。
在本示例性实施例中，将所述第一目标裂纹特征的特征识别信息及所述第二目标裂纹特征的特征识别信息作为损失函数的输入参数进行损失函数优化，以更新模型参数。
其中，；/>为整体损失函数，为分类损失函数，/>为特征识别的裂纹特征的图像坐标损失函数，/>为特征识别的裂纹特征的尺寸损失函数，/>、/>均为是0-1范围的权重值；其中，
；/>为网络输出预测分类名称，为人工标注分类名称，B为多层卷积后最终输出的目标裂纹特征个数，此处可以为2；
；其中，/>为网络输出预测box框位置的x坐标，/>为网络输出预测box框位置的y坐标；
；其中，/>为网络输出预测box框的宽度，/>为网络输出预测box框的高度，/>为人工标注box框位置的x坐标，/>为人工标注box框位置的y坐标，/>为人工标注box框的宽度，/>为人工标注box框的高度。
在一些实施例中，所述珠宝在散落过程中为多路散落；其中每路珠宝散落过程中均对应有一路喷阀；
所述喷阀确定模块62，用于
基于所述具有珠宝裂纹特征的珠宝所对应的图像坐标，及所述图像坐标与空间位置的对应关系，确定出具有珠宝裂纹特征的珠宝在图像采集时间所在空间位置；
基于所述具有珠宝裂纹特征的珠宝在图像采集时间所在空间位置，确定所述具有珠宝裂纹特征的珠宝的散落轨迹；
在多路喷阀中，确定喷阀喷气通道与所述具有珠宝裂纹特征的珠宝的散落轨迹具有重合区域的喷阀，为所述目标喷阀。
在本示例性实施例中，根据珠宝的应用场景，设置一个宽度为15cm，传输速度为20mm/s的珠宝履带传输系统。如图4所示，在传输履带20的终端放置两个分辨率为4096×1的线扫相机21，用于扫描珠宝物料的上下两面的图像特征，其中物料的分辨率为27pixel/mm；
同时，在传送带下方处放置相机的检测点，再在相机的检测点下方10cm处，放置一个喷阀系统22，共有16路喷气出口，平均每个喷阀控制0.9375cm的区域；
具体操作时，可初始化软硬件，包括相机、喷阀、传输控制和SortNet模型加载。软件系统开始运行，在UI界面上点击下料按钮，即可触发双摄相机采集运行，分别采集前相机图像4096×256（P_front）和后相机图像4096×256（P_back）。
然后，把P_front和P_back输入SortNet推理模型进行推理，输出坐标（boxes）和分类（classes）信息。根据boxes和classes信息，确定哪些物料是需要喷阀剔除的，并计算发送喷阀指令的喷气时间，当时间到时，发送喷阀指令。
如图4所示，珠宝在散落过程中会经过喷阀喷气通道。喷阀为多个，并排设置。珠宝在散落过程中为多路散落；其中每路珠宝散落过程中均对应有一路喷阀。当珠宝a散落过程中经过喷阀A的喷气通道时，则可确定针对珠宝a进行喷气操作的目标喷阀即为喷阀A。
在本示例性实施例中，珠宝传输带可以为水平放置，珠宝散落时在重力方向为自由落体。双摄成像系统的相机包括第一相机和第二相机，两个相机相对拍摄。相机安置的特定位置可以为正对珠宝散落的抛物线平面，与珠宝传输带的水平传输平面平行，从而使得采集图像可呈现多个珠宝的自由落体位置，以便于根据珠宝水平方向的初速度及自由落体位置，确定珠宝的空间位置。例如，通过所述图像坐标与空间位置的对应关系，可知道珠宝自由落体的位置和时间，从而得到水平方向的运动距离，从而确定在预定空间内的空间位置，进而确定珠宝往下的散落轨迹。
在一些实施例中，所述珠宝分选模块63，用于
获取所述具有珠宝裂纹特征的珠宝从所述图像采集时间所在空间位置，下落到所述目标喷阀所在空间位置的下落时长；
基于所述下落时长及所述图像采集时间，得到所述具有珠宝裂纹特征的珠宝下落到所述目标喷阀所在空间位置时目标喷阀执行喷气操作的喷气时间；
基于所述喷气时间，控制所述目标喷阀对所述具有珠宝裂纹特征的珠宝进行喷气操作，将所述具有珠宝裂纹特征的珠宝分选出来。
在本示例性实施例中，所述目标喷阀执行喷气操作具有响应时长t1；进行图像采集至所述采集图像处理完成具有图像处理时长t2；所述下落时长为t3；
所述基于所述下落时长及所述图像采集时间，得到所述具有珠宝裂纹特征的珠宝下落到所述目标喷阀所在空间位置时目标喷阀执行喷气操作的喷气时间，包括：
T=t3-t1-t2；其中，T为具有珠宝裂纹特征的珠宝下落到所述目标喷阀所在空间位置时目标喷阀执行喷气操作的喷气时间。
在本示例性实施例中，在具体进行喷阀操作进行珠宝分选时，需要确定给目标喷阀下发喷气指令的时间，然后给目标喷阀下发喷气指令进行分选操作。其中，喷阀响应喷气指令有响应时长t1。同时，珠宝分选模型处理图像也具有图像处理时长t2，即存在图像处理延时。其中，在图像处理过程中，珠宝也在同步下落。因此，在确定喷气时间T时，需要在下落时长t3中去掉响应时长t1和图像处理时长t2。其中，上述图像采集时间为图像处理后识别出具有珠宝裂纹特征的珠宝时的时间点。图像采集时间的基础上累加下落时长t3，减去响应时长t1，减去图像处理时长t2，即可得到喷气时间对应的时间点。例如，图像采集时间为8点8分1秒，下落时长t3为15秒，响应时长t1为1秒，图像处理时长t2为1秒，则，目标喷阀的喷气时间对应的时间点为8点8分14秒。
第三方面，本公开提供一种珠宝裂纹分选系统，包括：
摄像模组，用于对在预定空间内处于散落过程中的珠宝进行图像采集，其中，得到的采集图像具有与所述预定空间关联的图像坐标；
图像处理单元，用于基于珠宝分选模型，对所述采集图像进行珠宝裂纹特征识别，得到珠宝分类结果及具有珠宝裂纹特征的珠宝所对应的图像坐标；其中，所述珠宝分选模型基于具有珠宝裂纹的特征图像，对神经网络模型进行模型训练得到；
基于所述具有珠宝裂纹特征的珠宝所对应的图像坐标，及所述图像坐标与空间位置的对应关系，确定出对所述具有珠宝裂纹特征的珠宝进行喷气操作的目标喷阀；
控制器，用于控制所述目标喷阀对所述具有珠宝裂纹特征的珠宝进行喷气操作，将所述具有珠宝裂纹特征的珠宝分选出来。
在本示例性实施例中，摄像模组、图像处理单元与控制器间均电连接。
摄像模组可以为双摄成像系统的双摄相机。多个珠宝可以从珠宝传输带上分多路传输。在传输带终端，多路珠宝分多路散落。珠宝散落过程中可被双摄成像系统拍摄图像，进行图像采集。由于双摄成像系统的相机安置在预定空间内的特定位置，可使得采集图像中的图像坐标与预定空间的空间位置对应。其中，图像采集时可进行珠宝的同步两侧图像采集，以覆盖珠宝的所有表面。进行对所述采集图像进行珠宝裂纹特征识别时，可对采集的两侧采集图像进行图像分析、特征识别。
在本示例性实施例中，珠宝分选模型可通过具有珠宝裂纹的特征图像，对神经网络模型进行模型训练得到。
在本示例性实施例中，喷阀可往预定喷气通道喷气，气体可作用在珠宝上，使得珠宝从散落队列中剔除。当珠宝散落到喷阀的喷气通道内时，可被气体喷出散落队列。
根据本公开实施例的珠宝裂纹分选系统通过获取珠宝在预定空间内散落过程中的采集图像，其中，采集图像具有与预定空间关联的图像坐标；基于珠宝分选模型，对采集图像进行珠宝裂纹特征识别，得到珠宝分类结果及具有珠宝裂纹特征的珠宝所对应的图像坐标；其中，珠宝分选模型基于具有珠宝裂纹的特征图像，对神经网络模型进行模型训练得到；基于具有珠宝裂纹特征的珠宝所对应的图像坐标，及图像坐标与空间位置的对应关系，确定出对具有珠宝裂纹特征的珠宝进行喷气操作的目标喷阀；控制目标喷阀对具有珠宝裂纹特征的珠宝进行喷气操作，将具有珠宝裂纹特征的珠宝分选出来。本申请中，通过对采集图像进行珠宝裂纹特征识别，得到珠宝分类结果及具有珠宝裂纹特征的珠宝所对应的图像坐标；基于具有珠宝裂纹特征的珠宝所对应的图像坐标，及图像坐标与空间位置的对应关系，确定出对具有珠宝裂纹特征的珠宝进行喷气操作的目标喷阀；控制目标喷阀对具有珠宝裂纹特征的珠宝进行喷气操作，将具有珠宝裂纹特征的珠宝分选出来，可实现对具有珠宝裂纹特征的珠宝自动化识别分选，降低分选成本，提高分选效率。
图像处理单元用于基于所述具有珠宝裂纹特征的珠宝所对应的图像坐标，及所述图像坐标与空间位置的对应关系，确定出具有珠宝裂纹特征的珠宝在图像采集时间所在空间位置；
基于所述具有珠宝裂纹特征的珠宝在图像采集时间所在空间位置，确定所述具有珠宝裂纹特征的珠宝的散落轨迹；
在多路喷阀中，确定喷阀喷气通道与所述具有珠宝裂纹特征的珠宝的散落轨迹具有重合区域的喷阀，为所述目标喷阀。
在本示例性实施例中，根据珠宝的应用场景，设置一个宽度为15cm，传输速度为20mm/s的珠宝履带传输系统。如图4所示，在传输履带20的终端放置两个分辨率为4096×1的线扫相机21，用于扫描珠宝物料的上下两面的图像特征，其中物料的分辨率为27pixel/mm；
同时，在传送带下方处放置相机的检测点，再在相机的检测点下方10cm处，放置一个喷阀系统22，共有16路喷气出口，平均每个喷阀控制0.9375cm的区域；
具体操作时，可初始化软硬件，包括相机、喷阀、传输控制和SortNet模型加载。软件系统开始运行，在UI界面上点击下料按钮，即可触发双摄相机采集运行，分别采集前相机图像4096×256（P_front）和后相机图像4096×256（P_back）。
然后，把P_front和P_back输入SortNet推理模型进行推理，输出坐标（boxes）和分类（classes）信息。根据boxes和classes信息，确定哪些物料是需要喷阀剔除的，并计算发送喷阀指令的喷气时间，当时间到时，发送喷阀指令。
如图4所示，珠宝在散落过程中会经过喷阀喷气通道。喷阀为多个，并排设置。珠宝在散落过程中为多路散落；其中每路珠宝散落过程中均对应有一路喷阀。当珠宝a散落过程中经过喷阀A的喷气通道时，则可确定针对珠宝a进行喷气操作的目标喷阀即为喷阀A。
在本示例性实施例中，珠宝传输带可以为水平放置，珠宝散落时在重力方向为自由落体。双摄成像系统的相机包括第一相机和第二相机，两个相机相对拍摄。相机安置的特定位置可以为正对珠宝散落的抛物线平面，与珠宝传输带的水平传输平面平行，从而使得采集图像可呈现多个珠宝的自由落体位置，以便于根据珠宝水平方向的初速度及自由落体位置，确定珠宝的空间位置。例如，通过所述图像坐标与空间位置的对应关系，可知道珠宝自由落体的位置和时间，从而得到水平方向的运动距离，从而确定在预定空间内的空间位置，进而确定珠宝往下的散落轨迹。
图像处理单元用于获取所述具有珠宝裂纹特征的珠宝从所述图像采集时间所在空间位置，下落到所述目标喷阀所在空间位置的下落时长；
基于所述下落时长及所述图像采集时间，得到所述具有珠宝裂纹特征的珠宝下落到所述目标喷阀所在空间位置时目标喷阀执行喷气操作的喷气时间；
将目标喷阀及所述喷气时间传输给控制器，供控制器控制所述目标喷阀对所述具有珠宝裂纹特征的珠宝进行喷气操作，将所述具有珠宝裂纹特征的珠宝分选出来。
本公开提供一种计算机可读存储介质，其上存储有珠宝裂纹分选程序，该珠宝裂纹分选程序被处理器执行时，实现上述各实施例所述的珠宝裂纹分选方法。
本公开提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的珠宝裂纹分选程序，所述处理器执行所述珠宝裂纹分选程序时，实现上述各实施例所述的珠宝裂纹分选方法。
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或及这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或及这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指及该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式及。
在本公开的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本公开和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本公开的限制。
此外，本公开实施例中所使用的“第一”、“第二”等术语，仅用于描述目的，而不可以理解为指示或者暗示相对重要性，或者隐含指明本实施例中所指示的技术特征数量。由此，本公开实施例中限定有“第一”、“第二”等术语的特征，可以明确或者隐含地表示该实施例中包括至少一个该特征。在本公开的描述中，词语“多个”的含义是至少两个或者两个及以上，例如两个、三个、四个等，除非实施例中另有明确具体的限定。
在本公开中，除非实施例中另有明确的相关规定或者限定，否则实施例中出现的术语“安装”、“相连”、“连接”和“固定”等应做广义理解，例如，连接可以是固定连接，也可以是可拆卸连接，或成一体，可以理解的，也可以是机械连接、电连接等；当然，还可以是直接相连，或者通过中间媒介进行间接连接，或者可以是两个元件内部的连通，或者两个元件的相互作用关系。对于本领域的普通技术人员而言，能够根据具体的实施情况理解上述术语在本公开中的具体含义。
在本公开中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种珠宝裂纹分选方法，其特征在于，包括：
获取珠宝在预定空间内散落过程中的采集图像，其中，所述采集图像具有与所述预定空间关联的图像坐标；
基于珠宝分选模型，对所述采集图像进行珠宝裂纹特征识别，得到珠宝分类结果及具有珠宝裂纹特征的珠宝所对应的图像坐标；其中，所述珠宝分选模型基于具有珠宝裂纹的特征图像，对神经网络模型进行模型训练得到；
基于所述具有珠宝裂纹特征的珠宝所对应的图像坐标，及所述图像坐标与空间位置的对应关系，确定出对所述具有珠宝裂纹特征的珠宝进行喷气操作的目标喷阀；
控制所述目标喷阀对所述具有珠宝裂纹特征的珠宝进行喷气操作，将所述具有珠宝裂纹特征的珠宝分选出来。
2.根据权利要求1所述的珠宝裂纹分选方法，其特征在于，所述基于珠宝分选模型，对所述采集图像进行珠宝裂纹特征识别，得到珠宝分类结果及具有珠宝裂纹特征的珠宝所对应的图像坐标前，所述方法包括：
基于具有珠宝裂纹的特征图像，对神经网络模型进行模型训练，得到具有珠宝裂纹特征识别能力的所述珠宝分选模型。
3.根据权利要求2所述的珠宝裂纹分选方法，其特征在于，所述神经网络模型包括SortNet神经网络；
所述基于具有珠宝裂纹的特征图像，对神经网络模型进行模型训练，得到具有珠宝裂纹特征识别能力的所述珠宝分选模型，包括：
构建所述SortNet神经网络的残差结构；所述残差结构中Input层分别经过1×1、3×3卷积层得到输出矩阵，并与Input层经过SUM层得到Output层；
将所述特征图像输入所述残差结构，进行多尺度输出，得到第一目标裂纹特征的特征识别信息及第二目标裂纹特征的特征识别信息；其中，所述第一目标裂纹特征为所述特征图像中用40×40尺度输出检测的目标裂纹特征，所述第二目标裂纹特征为所述特征图像中用20×20尺度输出检测的目标裂纹特征；
将所述第一目标裂纹特征的特征识别信息及所述第二目标裂纹特征的特征识别信息作为损失函数的输入参数进行损失函数优化，以更新模型参数，得到具有珠宝裂纹特征识别能力的所述珠宝分选模型。
4.根据权利要求1所述的珠宝裂纹分选方法，其特征在于，所述珠宝在散落过程中为多路散落；其中每路珠宝散落过程中均对应有一路喷阀；
所述基于所述具有珠宝裂纹特征的珠宝所对应的图像坐标，及所述图像坐标与空间位置的对应关系，确定出对所述具有珠宝裂纹特征的珠宝进行喷气操作的目标喷阀，包括：
基于所述具有珠宝裂纹特征的珠宝所对应的图像坐标，及所述图像坐标与空间位置的对应关系，确定出具有珠宝裂纹特征的珠宝在图像采集时间所在空间位置；
基于所述具有珠宝裂纹特征的珠宝在图像采集时间所在空间位置，确定所述具有珠宝裂纹特征的珠宝的散落轨迹；
在多路喷阀中，确定喷阀喷气通道与所述具有珠宝裂纹特征的珠宝的散落轨迹具有重合区域的喷阀，为所述目标喷阀。
5.根据权利要求4所述的珠宝裂纹分选方法，其特征在于，所述控制所述目标喷阀对所述具有珠宝裂纹特征的珠宝进行喷气操作，将所述具有珠宝裂纹特征的珠宝分选出来，包括：
获取所述具有珠宝裂纹特征的珠宝从所述图像采集时间所在空间位置，下落到所述目标喷阀所在空间位置的下落时长；
基于所述下落时长及所述图像采集时间，得到所述具有珠宝裂纹特征的珠宝下落到所述目标喷阀所在空间位置时目标喷阀执行喷气操作的喷气时间；
基于所述喷气时间，控制所述目标喷阀对所述具有珠宝裂纹特征的珠宝进行喷气操作，将所述具有珠宝裂纹特征的珠宝分选出来。
6.根据权利要求5所述的珠宝裂纹分选方法，其特征在于，所述目标喷阀执行喷气操作具有响应时长t1；进行图像采集至所述采集图像处理完成具有图像处理时长t2；所述下落时长为t3；
所述基于所述下落时长及所述图像采集时间，得到所述具有珠宝裂纹特征的珠宝下落到所述目标喷阀所在空间位置时目标喷阀执行喷气操作的喷气时间，包括：
T=t3-t1-t2；其中，T为具有珠宝裂纹特征的珠宝下落到所述目标喷阀所在空间位置时目标喷阀执行喷气操作的喷气时间。
7.一种珠宝裂纹分选装置，其特征在于，包括：
图像获取模块，用于获取珠宝在预定空间内散落过程中的采集图像，其中，所述采集图像具有与所述预定空间关联的图像坐标；
特征识别模块，用于基于珠宝分选模型，对所述采集图像进行珠宝裂纹特征识别，得到珠宝分类结果及具有珠宝裂纹特征的珠宝所对应的图像坐标；其中，所述珠宝分选模型基于具有珠宝裂纹的特征图像，对神经网络模型进行模型训练得到；
喷阀确定模块，用于基于所述具有珠宝裂纹特征的珠宝所对应的图像坐标，及所述图像坐标与空间位置的对应关系，确定出对所述具有珠宝裂纹特征的珠宝进行喷气操作的目标喷阀；
珠宝分选模块，用于控制所述目标喷阀对所述具有珠宝裂纹特征的珠宝进行喷气操作，将所述具有珠宝裂纹特征的珠宝分选出来。
8.一种珠宝裂纹分选系统，其特征在于，包括：
摄像模组，用于对在预定空间内处于散落过程中的珠宝进行图像采集，其中，得到的采集图像具有与所述预定空间关联的图像坐标；
图像处理单元，用于基于珠宝分选模型，对所述采集图像进行珠宝裂纹特征识别，得到珠宝分类结果及具有珠宝裂纹特征的珠宝所对应的图像坐标；其中，所述珠宝分选模型基于具有珠宝裂纹的特征图像，对神经网络模型进行模型训练得到；
基于所述具有珠宝裂纹特征的珠宝所对应的图像坐标，及所述图像坐标与空间位置的对应关系，确定出对所述具有珠宝裂纹特征的珠宝进行喷气操作的目标喷阀；
控制器，用于控制所述目标喷阀对所述具有珠宝裂纹特征的珠宝进行喷气操作，将所述具有珠宝裂纹特征的珠宝分选出来。
9.一种计算机可读存储介质，其特征在于，其上存储有珠宝裂纹分选程序，该珠宝裂纹分选程序被处理器执行时，实现权利要求1-6中任一项所述的珠宝裂纹分选方法。
10.一种电子设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的珠宝裂纹分选程序，所述处理器执行所述珠宝裂纹分选程序时，实现权利要求1-6中任一项所述的珠宝裂纹分选方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410180040.2A CN117718249B (zh) | 2024-02-18 | 2024-02-18 | 珠宝裂纹分选方法、装置、系统、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410180040.2A CN117718249B (zh) | 2024-02-18 | 2024-02-18 | 珠宝裂纹分选方法、装置、系统、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117718249A true CN117718249A (zh) | 2024-03-19 |
| CN117718249B CN117718249B (zh) | 2024-06-18 |
Family
ID=90203900
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410180040.2A Active CN117718249B (zh) | 2024-02-18 | 2024-02-18 | 珠宝裂纹分选方法、装置、系统、存储介质及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117718249B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009018310A (ja) * | 2006-06-15 | 2009-01-29 | Satake Corp | 光学式胴割選別方法 |
| CN110231341A (zh) * | 2019-04-29 | 2019-09-13 | 中国科学院合肥物质科学研究院 | 一种水稻种子内部裂纹在线检测装置及其检测方法 |
| CN114511710A (zh) * | 2022-02-10 | 2022-05-17 | 北京工业大学 | 一种基于卷积神经网络的图像目标检测方法 |
| CN116441198A (zh) * | 2023-04-28 | 2023-07-18 | 上海悦峻网络信息技术有限公司 | 一种喷气分拣物体的方法及设备 |
| CN117218511A (zh) * | 2023-09-11 | 2023-12-12 | 上海赛威德机器人有限公司 | 磁粉探伤裂纹视觉识别方法、裂缝的磁粉探伤方法 |
| CN117399313A (zh) * | 2023-11-24 | 2024-01-16 | 武汉东孚光电技术有限公司 | 一种准确启动气阀的方法 |
-
2024
- 2024-02-18 CN CN202410180040.2A patent/CN117718249B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009018310A (ja) * | 2006-06-15 | 2009-01-29 | Satake Corp | 光学式胴割選別方法 |
| CN110231341A (zh) * | 2019-04-29 | 2019-09-13 | 中国科学院合肥物质科学研究院 | 一种水稻种子内部裂纹在线检测装置及其检测方法 |
| CN114511710A (zh) * | 2022-02-10 | 2022-05-17 | 北京工业大学 | 一种基于卷积神经网络的图像目标检测方法 |
| CN116441198A (zh) * | 2023-04-28 | 2023-07-18 | 上海悦峻网络信息技术有限公司 | 一种喷气分拣物体的方法及设备 |
| CN117218511A (zh) * | 2023-09-11 | 2023-12-12 | 上海赛威德机器人有限公司 | 磁粉探伤裂纹视觉识别方法、裂缝的磁粉探伤方法 |
| CN117399313A (zh) * | 2023-11-24 | 2024-01-16 | 武汉东孚光电技术有限公司 | 一种准确启动气阀的方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117718249B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6757378B2 (ja) | 画像識別装置、画像識別方法及び画像識別プログラム | |
| US12006141B2 (en) | Systems and methods for detecting waste receptacles using convolutional neural networks | |
| EP3243166B1 (en) | Structural masking for progressive health monitoring | |
| EP3049793B1 (en) | Structural hot spot and critical location monitoring | |
| US20180038805A1 (en) | Arrangement, method, apparatus and software for inspecting a container | |
| CN105716567B (zh) | 通过单眼图像获取设备侦测物体与机动车辆距离的方法 | |
| CN114651506B (zh) | 用于自动相机安装引导（cig）的系统和方法 | |
| US20130034298A1 (en) | Image-based crack detection | |
| CN112651287A (zh) | 用于自动集装箱门状态识别的三维(3d)深度和二维(2d)成像系统和方法 | |
| US20200211221A1 (en) | Object recognition device and object recognition method | |
| CN109389105B (zh) | 一种基于多任务的虹膜检测和视角分类方法 | |
| US20050090961A1 (en) | Agricultural product handling system | |
| CN112889087A (zh) | 对制膜中任意形状的片材部件的自动检查 | |
| KR20230119625A (ko) | 결함 검사 장치, 결함 검사 방법 및 제조 방법 | |
| EP2860661A1 (en) | Mean shift tracking method | |
| CN107679529A (zh) | 一种物流包裹图片处理方法、装置及系统 | |
| CN114067295A (zh) | 一种车辆装载率的确定方法、装置及车辆管理系统 | |
| CN111666848B (zh) | 运输车辆到站检测方法、装置、设备及存储介质 | |
| CN117718249B (zh) | 珠宝裂纹分选方法、装置、系统、存储介质及电子设备 | |
| US11030465B1 (en) | Method for analyzing number of people and system thereof | |
| CN114226262A (zh) | 瑕疵检测方法、瑕疵分类方法及其系统 | |
| JP6989178B2 (ja) | 搬送物の追跡装置、搬送物の計数装置、搬送物の追跡方法、搬送物の計数方法、搬送物の追跡システム、および搬送物の計数システム | |
| CN116110127A (zh) | 一种多联动的加油站套现行为识别系统 | |
| JP7512853B2 (ja) | 被選別物の識別方法、選別方法及び選別装置 | |
| US11436835B2 (en) | Method for detecting trailer status using combined 3D algorithms and 2D machine learning models |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |