CN117740712A - 用于海关口岸的象牙及其制品快速初筛鉴定方法和系统 - Google Patents
用于海关口岸的象牙及其制品快速初筛鉴定方法和系统 Download PDFInfo
- Publication number
- CN117740712A CN117740712A CN202410184169.0A CN202410184169A CN117740712A CN 117740712 A CN117740712 A CN 117740712A CN 202410184169 A CN202410184169 A CN 202410184169A CN 117740712 A CN117740712 A CN 117740712A
- Authority
- CN
- China
- Prior art keywords
- data
- image data
- ivory
- image
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000012216 screening Methods 0.000 title claims abstract description 33
- 238000001228 spectrum Methods 0.000 claims description 121
- 241000894007 species Species 0.000 claims description 56
- 230000003595 spectral effect Effects 0.000 claims description 38
- 238000004458 analytical method Methods 0.000 claims description 37
- 241001503485 Mammuthus Species 0.000 claims description 36
- 238000007689 inspection Methods 0.000 claims description 28
- 238000012549 training Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 19
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 238000005516 engineering process Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 241001465754 Metazoa Species 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 9
- 238000002329 infrared spectrum Methods 0.000 claims description 9
- 238000013135 deep learning Methods 0.000 claims description 8
- 230000000877 morphologic effect Effects 0.000 claims description 8
- 238000000862 absorption spectrum Methods 0.000 claims description 7
- 238000013145 classification model Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 5
- 230000003213 activating effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 4
- 230000017105 transposition Effects 0.000 claims description 2
- 238000003860 storage Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000010183 spectrum analysis Methods 0.000 description 2
- 241000283153 Cetacea Species 0.000 description 1
- 238000001237 Raman spectrum Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了用于海关口岸的象牙及其制品快速初筛鉴定方法和系统,涉及象牙智能鉴定领域,本发明提供的方法将形态学人工鉴定的方法通过图像自动识别的方法进行鉴定,将光谱分析的方法通过人工智能分类的方法进行归类分析,同时还可以将上述分析方法的结果进行串/并联并针对不同的场景自动给与不同的权重,极大提高了象牙等涉濒危物种及其制品的鉴定速度。
Description
技术领域
本发明涉及象牙智能鉴定领域,具体是用于海关口岸的象牙及其制品快速初筛鉴定方法和系统。
背景技术
象牙\猛犸牙\牛角\兽骨等涉濒危动物及其制品,是海关口岸的重点检查对象。一般用于检验、鉴定该类物品的方法,主要是人工实验室检验,通过观察样品的纹理、颜色、质地等,或通过拉曼光谱、近红外光谱、分子生物学等方法进行检验。检验过程一般需要在专业实验室进行,操作过程复杂,还需鉴定人员具备专业的、用于分析分子生物学检验结果、分析光谱、分析纹理图案等的知识水平。鉴定结果受人的认识水平所限,漏检、误检等错误率较高,可靠性和一致性不能得到有效保证。培训此类的专业鉴定人员也需要很多的经费、时间、样本、教育投入。当前在海关口岸还未能实现专业鉴定人员的普遍覆盖,因此涉及此类的物品需送特定的几个实验室由专家鉴定。鉴定的时间周期长,物品通关时间长。
因此,为提高涉濒危动物及其制品的检验、鉴定效率,同时使可靠性得到有效保证,发明一种具备可复制性、可推广性、一致性的,适用于口岸快速初筛鉴定的方法具有十分重要意义。
发明内容
本发明旨在提供一种可实现快速初筛鉴定的象牙/猛犸牙鉴定方法,该方法能够快速、准确的判定所检物品是否属于象牙/猛犸牙或其制品,该方法可以在海关口岸大规模推广使用,从而帮助海关口岸快速完成鉴定工作,提高相关物品的检验覆盖率和准确度,提高鉴定的整体工作效率。
其中,用于海关口岸的象牙及其制品快速初筛鉴定方法,包括以下步骤:
S1. 通过反射式近红外吸收光谱检测技术采集样品和/或相近物种的样品的近红外光谱,将属于同一物种的光谱数据进行归类;
S2. 通过三维数字图像采集技术对样品图像进行采集,并根据图像特征对图像进行分类,获取同一濒危物种的图像数据;
S3. 根据深度神经网络对采集的图像数据和光谱数据分别进行训练识别,通过分类模型算法分别对图像数据和光谱数据进行训练,分别得到图像数据和光谱数据的分类结果;
S4. 根据物种之间的区分度高低分别赋予图像数据与光谱数据不同的权重,对图像数据和光谱数据进行加权分析,根据分析结果对检验目标的物种的鉴定结果进行输出,所述区分度至少包括纹理区分度、成分区分度、形态学特征区分度。
进一步的,所述步骤S3中,根据深度神经网络对采集的图像数据和光谱数据分别进行训练识别的具体子步骤为:
S301. 前向传播:在神经网络中,输入数据通过网络层传播,每层的输出成为下一层的输入,具体的:
;
;
其中,是第L层的输入加权和,/>通过激活函数/>处理后的输出,/>表示第/>层的权重,所述/>表示第/>层的偏置项;
S302. 定义损失函数:
;
其中,是真实标签,/>为预测标签,m为样本数量,C为类别数量;
S303. 反向传播与梯度下降:算法通过网络反向传播误差梯度,并更新每层的权重和偏置,通过权重更新公式进行梯度下降,具体为:
;
;
;
;
其中,与/>分别是损失函数对/>和的梯度,/>是激活函数的导数,所述/>表示逐元素乘法,T表示转置。
进一步的,所述步骤S4中,对图像数据和光谱数据进行加权分析的具体计算方式为:
;
其中,所述表示检验目标为象牙/猛犸牙的相似度,所述/>表示检验目标的图像数据与象牙/猛犸牙的相似度,所述/>表示检验目标的图像数据的权重值,所述/>表示检验目标的光谱数据与象牙/猛犸牙的相似度,所述/>表示检验目标的光谱数据的权重值。
进一步的,步骤S4中,根据物种之间的区分度高低分别赋予图像数据与光谱数据不同的权重,具体赋予权重的策略如下:
当≥95%且/>≤30%时,表示目标物为高仿象牙/猛犸牙可能性高,则对图像数据和光谱数据进行赋值:/>=0.3,/>=0.7,以光谱数据作为主要判断依据;
当≥80%且/>≥80%时,表示目标物的图像数据及光谱数据均与象牙/猛犸牙相似度较高,则对图像数据和光谱数据进行赋值:/>=0.5,/>=0.5,图像与光谱数据的权重相同;
当≤30%且/>≤30%时,表示目标物的图像及光谱数据均与象牙/猛犸牙相似度较低,则对图像数据和光谱数据进行赋值:/>=0.5,/>=0.5,图像与光谱数据的权重相同;
当、/>数值不符合上述区间,即/>、/>为其他情况,则对图像数据和光谱数据进行赋值:/>=0.6,/>=0.4,图像数据与光谱数据的权重接近,图像数据的权重略高。
进一步的,所述图像特征至少包括:象牙/猛犸牙的横截面上可见的施氏结构特征、象牙/猛犸牙的纵剖面上可见的规则排列的近直线形纹理特征、起伏的波纹特征和外缘施氏角的横切、纵切特征。
进一步的,所述检验目标的物种的鉴定结果至少包括疑似象牙、疑似猛犸牙、疑似其他动物制品、非动物制品、未判定结论。
用于海关口岸的象牙及其制品快速初筛鉴定系统,该系统上述任一项所述的用于海关口岸的象牙及其制品快速初筛鉴定方法来实现,包括:
光谱数据采集模块,用于通过反射式近红外吸收光谱检测技术采集样品和/或相近物种的样品的近红外光谱,将属于同一物种的光谱数据进行归类;
图像数据采集模块,用于通过三维数字图像采集技术对样品图像进行采集,并根据图像特征对图像进行分类,获取同一濒危物种的图像数据;
深度学习分类模块,用于根据深度神经网络对采集的图像数据和光谱数据分别进行训练识别,通过分类模型算法分别对图像数据和光谱数据进行训练,分别得到图像数据和光谱数据的分类结果;
分析计算模块,用于根据物种之间的区分度高低分别赋予图像数据与光谱数据不同的权重,对图像数据和光谱数据进行加权分析,所述区分度至少包括纹理区分度、成分区分度、形态学特征区分度;
分析鉴定模块,用于根据分析结果对检验目标的物种的鉴定结果进行输出。
进一步的,所述分析计算模块还包括:
权重赋值单元,用于根据物种之间的区分度高低分别赋予图像数据与光谱数据不同的权重;
加权分析单元,用于对图像数据和光谱数据进行加权分析;
其中,所述对图像数据和光谱数据进行加权分析的具体计算方式为:
;
其中,所述表示检验目标为象牙/猛犸牙的相似度,所述/>表示检验目标的图像数据与象牙/猛犸牙的相似度,所述/>表示检验目标的图像数据的权重值,所述/>表示检验目标的光谱数据与象牙/猛犸牙的相似度,所述/>表示检验目标的光谱数据的权重值。
进一步的,所述权重赋值单元中,根据物种之间的区分度高低分别赋予图像数据与光谱数据不同的权重,具体赋予权重的策略如下:
当≥95%且/>≤30%时,表示目标物为高仿象牙/猛犸牙可能性高,则对图像数据和光谱数据进行赋值:/>=0.3,/>=0.7,以光谱数据作为主要判断依据;
当≥80%且/>≥80%时,表示目标物的图像数据及光谱数据均与象牙/猛犸牙相似度较高,则对图像数据和光谱数据进行赋值:/>=0.5,/>=0.5,图像与光谱数据的权重相同;
当≤30%且/>≤30%时,表示目标物的图像及光谱数据均与象牙/猛犸牙相似度较低,则对图像数据和光谱数据进行赋值:/>=0.5,/>=0.5,图像与光谱数据的权重相同;
当、/>数值不符合上述区间,即/>、/>为其他情况,则对图像数据和光谱数据进行赋值:/>=0.6,/>=0.4,图像数据与光谱数据的权重接近,图像数据的权重略高。
发明的有益效果是:
(1) 本发明提供的方法将形态学人工鉴定的方法通过图像自动识别的方法进行鉴定,将光谱分析的方法通过人工智能分类的方法进行归类分析,同时还可以将上述分析方法的结果进行串/并联并针对不同的场景自动给与不同的权重,极大提高了象牙等涉濒危物种及其制品的鉴定速度;
(2) 本发明提供的方法所涉及的分析仪器可以在鉴定现场安装布置,因此可以将以前常规方法中只能在实验室由专家完成的鉴定工作在现场完成;
(3) 本发明提供的方法具备快速可复制性,经大规模训练得到的智能识别模型可快速的在每个鉴定口岸进行布置,无需对检验人员进行专业的形态学/分子生物学培训,即可在每一个应用现场得出可信度一致的鉴定结论;该方法还具备自动升级功能,可在应用中进一步提高鉴定的准确度、速度、可靠度 。
附图说明
图1为本发明实施例提供的用于海关口岸的象牙及其制品快速初筛鉴定方法的方法流程图;
图2是本发明实施例提出的用于海关口岸的象牙及其制品快速初筛鉴定方法的终端设备的结构示意图;
图3是本发明实施例提出的一种用于实现用于海关口岸的象牙及其制品快速初筛鉴定方法的产品的结构示意图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案,但本发明的保护范围不局限于以下所述。
为了使本发明的目的,技术方案及优点更加清楚明白,结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明,即所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。需要说明的是,术语“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
而且,术语“包括”,“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程,方法,物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程,方法,物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程,方法,物品或者设备中还存在另外的相同要素。
以下结合实施例对本发明的特征和性能作进一步的详细描述。
如图1所示,用于海关口岸的象牙及其制品快速初筛鉴定方法,包括以下步骤:
S1. 通过反射式近红外吸收光谱检测技术采集样品和/或相近物种的样品的近红外光谱,将属于同一物种的光谱数据进行归类;
S2. 通过三维数字图像采集技术对样品图像进行采集,并根据图像特征对图像进行分类,获取同一濒危物种的图像数据;
S3. 根据深度神经网络对采集的图像数据和光谱数据分别进行训练识别,通过分类模型算法分别对图像数据和光谱数据进行训练,分别得到图像数据和光谱数据的分类结果;
S4. 根据物种之间的区分度高低分别赋予图像数据与光谱数据不同的权重,对图像数据和光谱数据进行加权分析,根据分析结果对检验目标的物种的鉴定结果进行输出,所述区分度至少包括纹理区分度、成分区分度、形态学特征区分度;
其中,所述步骤S3中,根据深度神经网络对采集的图像数据和光谱数据分别进行训练识别的具体子步骤为:
S301. 前向传播:在神经网络中,输入数据通过网络层传播,每层的输出成为下一层的输入,具体的:
;
;
其中,是第L层的输入加权和,/>通过激活函数/>处理后的输出,/>表示第/>层的权重,所述/>表示第/>层的偏置项;
S302. 定义损失函数:
;
其中,是真实标签,/>为预测标签,m为样本数量,C为类别数量;
S303. 反向传播与梯度下降:算法通过网络反向传播误差梯度,并更新每层的权重和偏置,通过权重更新公式进行梯度下降,具体为:
;
;
;
;
其中,与/>分别是损失函数对/>和/>的梯度,/>是激活函数的导数,所述/>表示逐元素乘法。
具体的,深度学习是机器学习的一个分支,通过学习数据的多层次表示和抽象来发现复杂模式,其基础是深度神经网络(DNN),这种网络模仿了人脑的工作方式,由多层的神经元组成,每一层都能从输入数据中提取不同层次的特征。在本实施例中,深度学习用于从图像和光谱数据中提取特征,并对这些特征进行分类,以鉴别象牙或类似物种。
进一步的,作为本实施优选的具体实施方案,提出用于海关口岸的象牙及其制品快速初筛鉴定方法的深度学习处理流程,具体原理如下:
S301. 前向传播:在神经网络中,输入数据通过网络层传播,每层的输出成为下一层的输入,具体的:
;
;
其中,是第L层的输入加权和,/>通过激活函数/>处理后的输出,/>表示第/>层的权重,所述/>表示第/>层的偏置项;
S302. 定义损失函数:
;
其中,其中,是真实标签,/>为预测标签,m为样本数量,C为类别数量;
S303. 反向传播与梯度下降:算法通过网络反向传播误差梯度,并更新每层的权重和偏置,通过权重更新公式进行梯度下降,具体为:
;
;
;
;
其中,与/>分别是损失函数对/>和/>的梯度,/>是激活函数的导数,所述/>表示逐元素乘法;
具体的,根据研究对象以及原始数据的特殊性,采用Vision Transformer作为基础神经网络架构实现图像分类,同时采用网络裁剪的方式将网络结构进行适当的调整,在保证识别准确率的同时提高在普通性能设备上运行的可行性,对于本实施例中的深度学习算法步骤,在步骤S301之前,还包括数据采集、清洗等,具体为:数据准备,深度神经网络模型的训练需要大量标记数据,数据准备阶段涉及数据的手机、清理和标记图像数据;数据收集,分别采用图像、光谱仪器对象牙样品进行可见光光谱和近红外光谱图像的采集,同时确保了数据样本的多样性和代表性;数据清理,通过人工筛出方式对噪声图像、干扰图像和低质量图像进行过滤,以确保数据质量;数据标记,通过专家协助分析,对每张图像中所包含的样品提供准确的类别信息,并作为图像的标注数据保存;数据准备好后,将数据集随机划分为训练集和测试集两部分,训练集用于模型训练,而测试集用于评估模型效果。此外,由于数据量有限,现有数据可能无法较好的完成模型训练,采用Masked AutoEncoder自动编码器在输入数据中引入掩码的方式学习来提高网络模型的预训练效果,从而有效降低因数据不足带来的欠拟合风险。
作为优选的,还包括步骤S304,为了防止过拟合,可以在损失函数中添加正则化项,如L1正则化、L2正则化,具体的:
所述L1正则化通过向损失函数添加权重的绝对值之和进行工作,有助于生成一个稀疏权重矩阵,即模型中的许多权重为零,上述稀疏性可以被视为一种特征选择,其计算方式如下:假设表示原始损失函数,/>表示正则化参数,所述L1正则化的损失函数即为:
;
其中,所述表示模型的权重;
所述L2正则化通过向损失函数添加权重的平方和进行工作,惩罚权重的大数值,并因此有助于防止模型的权重变得太大,使模型更加平滑,其计算方式如下:
在L2正则化中,修改后的损失函数为:
;
具体的,选择使用L1或L2正则化(或两者的组合,称为Elastic Net正则化)取决于具体问题和数据集的特性,对于本实施例,使用正则化可以帮助模型避免过度拟合到训练数据的特定特征,提高模型在新样本上的泛化能力。
进一步的,作为上述实施例优选的实施方案,提出通过融合策略和联合模型训练进行鉴定的方法示例,具体原理为在步骤S301后,对图像特征向量和光谱特征向量进行融合连接,即:,所述/>即融合后的特征,所述/>表示图像特征向量,所述/>表示光谱特征向量;选择全连接层作为分类器,该分类器的权重矩阵为W,大小为/>,所述/>表示类别数,所述/>表示/>的维度,所述分类器的输出/>为:,所述b表示偏置向量,执行步骤S032。
进一步的,所述步骤S4中,对图像数据和光谱数据进行加权分析的具体计算方式为:
;
其中,所述表示检验目标为象牙/猛犸牙的相似度,所述/>表示检验目标的图像数据与象牙/猛犸牙的相似度,所述/>表示检验目标的图像数据的权重值,所述/>表示检验目标的光谱数据与象牙/猛犸牙的相似度,所述/>表示检验目标的光谱数据的权重值。
进一步的,所述步骤S4中,根据物种之间的区分度高低分别赋予图像数据与光谱数据不同的权重,具体赋予权重的策略如下:
当≥95%且/>≤30%时,表示目标物为高仿象牙/猛犸牙可能性高,则对图像数据和光谱数据进行赋值:/>=0.3,/>=0.7,以光谱数据作为主要判断依据;
当≥80%且/>≥80%时,表示目标物的图像数据及光谱数据均与象牙/猛犸牙相似度较高,则对图像数据和光谱数据进行赋值:/>=0.5,/>=0.5,图像与光谱数据的权重相同;
当≤30%且/>≤30%时,表示目标物的图像及光谱数据均与象牙/猛犸牙相似度较低,则对图像数据和光谱数据进行赋值:/>=0.5,/>=0.5,图像与光谱数据的权重相同;
当、/>数值不符合上述区间,即/>、/>为其他情况,则对图像数据和光谱数据进行赋值:/>=0.6,/>=0.4,图像数据与光谱数据的权重接近,图像数据的权重略高。
进一步的,所述图像特征至少包括:象牙/猛犸牙的横截面上可见的施氏结构特征、象牙/猛犸牙的纵剖面上可见的规则排列的近直线形纹理特征、起伏的波纹特征和外缘施氏角的横切、纵切特征。
进一步的,所述检验目标的物种的鉴定结果至少包括疑似象牙、疑似猛犸牙、疑似其他动物制品、非动物制品、未判定结论。
用于海关口岸的象牙及其制品快速初筛鉴定系统,该系统上述任一项所述的用于海关口岸的象牙及其制品快速初筛鉴定方法来实现,包括:
光谱数据采集模块,用于通过反射式近红外吸收光谱检测技术采集样品和/或相近物种的样品的近红外光谱,将属于同一物种的光谱数据进行归类;
图像数据采集模块,用于通过三维数字图像采集技术对样品图像进行采集,并根据图像特征对图像进行分类,获取同一濒危物种的图像数据;
深度学习分类模块,用于根据深度神经网络对采集的图像数据和光谱数据分别进行训练识别,通过分类模型算法分别对图像数据和光谱数据进行训练,分别得到图像数据和光谱数据的分类结果;
分析计算模块,用于根据物种之间的区分度高低分别赋予图像数据与光谱数据不同的权重,对图像数据和光谱数据进行加权分析,所述区分度至少包括纹理区分度、成分区分度、形态学特征区分度;
分析鉴定模块,用于根据分析结果对检验目标的物种的鉴定结果进行输出。
进一步的,所述分析计算模块还包括:
权重赋值单元,用于根据物种之间的区分度高低分别赋予图像数据与光谱数据不同的权重;
加权分析单元,用于对图像数据和光谱数据进行加权分析;
其中,所述对图像数据和光谱数据进行加权分析的具体计算方式为:
;
其中,所述表示检验目标为象牙/猛犸牙的相似度,所述/>表示检验目标的图像数据与象牙/猛犸牙的相似度,所述/>表示检验目标的图像数据的权重值,所述/>表示检验目标的光谱数据与象牙/猛犸牙的相似度,所述/>表示检验目标的光谱数据的权重值。
进一步的,所述权重赋值单元中,根据物种之间的区分度高低分别赋予图像数据与光谱数据不同的权重,具体赋予权重的策略如下:
当≥95%且/>≤30%时,表示目标物为高仿象牙/猛犸牙可能性高,则对图像数据和光谱数据进行赋值:/>=0.3,/>=0.7,以光谱数据作为主要判断依据;
当≥80%且/>≥80%时,表示目标物的图像数据及光谱数据均与象牙/猛犸牙相似度较高,则对图像数据和光谱数据进行赋值:/>=0.5,/>=0.5,图像与光谱数据的权重相同;
当≤30%且/>≤30%时,表示目标物的图像及光谱数据均与象牙/猛犸牙相似度较低,则对图像数据和光谱数据进行赋值:/>=0.5,/>=0.5,图像与光谱数据的权重相同;
当、/>数值不符合上述区间,即/>、/>为其他情况,则对图像数据和光谱数据进行赋值:/>=0.6,/>=0.4,图像数据与光谱数据的权重接近,图像数据的权重略高。
进一步的,作为上述实施例优选的具体实施原理,提出用于海关口岸的象牙及其制品快速初筛鉴定系统的原理流程,具体如下:
其步骤如下:
A、图像采集,采集图像使用的是三维数字图像采集技术,其成像技术主要包括自动变倍成像、自动超景深成像、自动旋转目标进行多角度成像;
B、图像分类,将属于同一物种的图像归为一类,以保证在最后能根据图像特征 判断其物种分类,得出该图像是否为相关的涉濒危物种(象牙)的结论;
C、光谱采集,采集样品及相近物种的样品的近红外光谱,其主要技术为反射式近红外吸收光谱检测技术;
D、光谱分类,将属于同一物种的光谱数据归为一类,以保证在最后能根据光谱特征判断其物种分类,得出该图像是否为相关的涉濒危物种(象牙)的结论;
E、数据筛选和剔除,由于采集的图像和光谱数据中可能有非关键特征的数据,因此需要对采集的图像和光谱进行筛选,其中,相关特征为较明显的施氏角横切、纵切、显微特征;
非相关特征为拍摄背景、阴影、反光等;在数据筛选和剔除时,将明显带有拍摄偏差、非相关特征过于突出、相关特征不明显的图片剔除;
F、使用深度神经网络对采集的图片、光谱数据进行训练识别,采用分类模型算法分别对图像数据和光谱数据进行训练,分别得到图像和光谱的判定结果;
G、对图像和光谱的判定结果进行加权分析,图像数据在某几类物种之间的区分度较低,光谱的区分度较高;在另外几种物种之间,图像的区分度较低而光谱的区分度较高,因此需对不同的状况分别给图像与光谱不同的权重:
;
P:检验目标为象牙/猛犸牙的相似度;
p1: 检验目标的图像数据与象牙/猛犸牙相似度;
w1: 检验目标的图像数据的权重;
p2: 检验目标的光谱数据与象牙/猛犸牙相似度;
w2: 检验目标的光谱数据的权重;
其中一个可行策略:
当p1≥95%且p2≤30%时,目标物可能为高仿象牙/猛犸牙,则w1=0.3,w2=0.7,以光谱数据作为主要判断依据;
当p1≤30%且p2≥95%时,目标物可能为海象牙、鲸牙等材质类似于象牙的物品,则w1=0.7,w2=0.3,则以图像数据作为主要判断依据;
当p1≥80%且p2≥80%时,目标物的图像及光谱数据都与象牙/猛犸牙相似度较高,则w1=0.5,w2=0.5,图像与光谱数据的权重相同;
当p1≤30%且p2≤30%时,目标物的图像及光谱数据都与象牙/猛犸牙相似度较低,则w1=0.5, w2=0.5,图像与光谱数据的权重相同;
其他情况则w1=0.6, w2=0.4,图像数据与光谱数据的权重接近,图像数据的权重略高;
H、综合分析,给出鉴定结论,根据图像分析、光谱分析以及加权分析的结论,对目标物的物种鉴定给出结论,包括疑似象牙、疑似猛犸牙、疑似其他动物制品、非动物制品、未判定等结论;
I、后续对每一次的鉴定,都会将图像数据、光谱数据放入识别模型进行深度学习,不断对象牙等涉濒危物种识别模型进行修正,提高识别率 。
作为进一步优选的实施方案,提出用于海关口岸的象牙及其制品快速初筛鉴定的终端设备,如图2,终端设备200包括至少一个存储器210、至少一个处理器220以及连接不同平台系统的总线230。
存储器210可以包括易失性存储器形式的可读介质,例如随机存取存储器(RAM)211和/或高速缓存存储器212,还可以进一步包括只读存储器(ROM)213。
其中,存储器210还存储有计算机程序,计算机程序可以被处理器220执行,使得处理器220执行本申请实施例中上述任一项用于海关口岸的象牙及其制品快速初筛鉴定方法,其具体实现方式与上述方法的实施例中记载的实施方式、所达到的技术效果一致,部分内容不再赘述。存储器210还可以包括具有一组(至少一个)程序模块215的程序/实用工具214,这样的程序模块包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
相应的,处理器220可以执行上述计算机程序,以及可以执行程序/实用工具214。
总线230可以为表示几类总线结构中的一种或多种,包括存储器总线或者存储器控制器、外围总线、图形加速端口、处理器或者使用多种总线结构中的任意总线结构的局域总线。
终端设备200也可以与一个或多个外部设备240例如键盘、指向设备、蓝牙设备等通信,还可与一个或者多个能够与该终端设备200交互的设备通信,和/或与使得该终端设备200能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口250进行。并且,终端设备200还可以通过网络适配器260与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。网络适配器260可以通过总线230与终端设备200的其它模块通信。应当明白,尽管图中未示出,可以结合终端设备200使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理器、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储平台等。
作为进一步优选的实施方案,提出用于海关口岸的象牙及其制品快速初筛鉴定的计算机可读存储介质,所述计算机可读存储介质上存储有指令,该指令被处理器执行时实现上述任一的用于海关口岸的象牙及其制品快速初筛鉴定方法。其具体实现方式与上述方法的实施例中记载的实施方式、所达到的技术效果一致,部分内容不再赘述。
图3示出了本实施例提供的用于实现上述方法的程序产品300,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本发明的程序产品300不限于此,在本实施例中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。程序产品300可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码,程序设计语言包括面向对象的程序设计语言诸如Java、C++等,还包括常规的过程式程序设计语言诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
上述实施例在象牙等涉濒危物种鉴定中是一种全新的方法,将多种方法进行串/并联并自动分配权重,极大提高了鉴定速度,并具备可复制性、可推广性、结果一致性、可持续提升能力。另外需要说明的是,本申请所保护的内容不仅仅限于象牙、猛犸牙,本领域技术人员应当知晓,对于以上所述仅是本发明的优选实施方式,应当理解本发明并非局限于本文所披露的形式,不应看作是对其他实施例的排除,而可用于各种其他组合、修改和环境,并能够在本文所述构想范围内,通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围,则都应在本发明所附权利要求的保护范围内。
Claims (9)
1.用于海关口岸的象牙及其制品快速初筛鉴定方法,其特征在于,包括以下步骤:
S1. 通过反射式近红外吸收光谱检测技术采集样品和/或相近物种的样品的近红外光谱,将属于同一物种的光谱数据进行归类;
S2. 通过三维数字图像采集技术对样品图像进行采集,并根据图像特征对图像进行分类,获取同一濒危物种的图像数据;
S3. 根据深度神经网络对采集的图像数据和光谱数据分别进行训练识别,通过分类模型算法分别对图像数据和光谱数据进行训练,分别得到图像数据和光谱数据的分类结果;
S4. 根据物种之间的区分度高低分别赋予图像数据与光谱数据不同的权重,对图像数据和光谱数据进行加权分析,根据分析结果对检验目标的物种的鉴定结果进行输出,所述区分度至少包括纹理区分度、成分区分度、形态学特征区分度。
2.如权利要求1所述的用于海关口岸的象牙及其制品快速初筛鉴定方法,其特征在于,所述步骤S3中,根据深度神经网络对采集的图像数据和光谱数据分别进行训练识别的具体子步骤为:
S301. 前向传播:在神经网络中,输入数据通过网络层传播,每层的输出成为下一层的输入,具体的:
;
;
其中,是第L层的输入加权和,/>通过激活函数/>处理后的输出,/>表示第/>层的权重,所述/>表示第/>层的偏置项;
S302. 定义损失函数:
;
其中,是真实标签,/>为预测标签,m为样本数量,C为类别数量;
S303. 反向传播与梯度下降:算法通过网络反向传播误差梯度,并更新每层的权重和偏置,通过权重更新公式进行梯度下降,具体为:
;
;
;
;
其中,与/>分别是损失函数对/>和/>的梯度,/>是激活函数的导数,所述/>表示逐元素乘法,T表示转置。
3.如权利要求1所述的用于海关口岸的象牙及其制品快速初筛鉴定方法,其特征在于,所述步骤S4中,对图像数据和光谱数据进行加权分析的具体计算方式为:
;
其中,所述表示检验目标为象牙/猛犸牙的相似度,所述/>表示检验目标的图像数据与象牙/猛犸牙的相似度,所述/>表示检验目标的图像数据的权重值,所述/>表示检验目标的光谱数据与象牙/猛犸牙的相似度,所述/>表示检验目标的光谱数据的权重值。
4.如权利要求1所述的用于海关口岸的象牙及其制品快速初筛鉴定方法,其特征在于,所述步骤S4中,根据物种之间的区分度高低分别赋予图像数据与光谱数据不同的权重,具体赋予权重的策略如下:
当≥95%且/>≤30%时,表示目标物为高仿象牙/猛犸牙可能性高,则对图像数据和光谱数据进行赋值:/>=0.3, />=0.7,以光谱数据作为主要判断依据;
当≥80%且/>≥80%时,表示目标物的图像数据及光谱数据均与象牙/猛犸牙相似度较高,则对图像数据和光谱数据进行赋值:/>=0.5, />=0.5,图像与光谱数据的权重相同;
当≤30%且/>≤30%时,表示目标物的图像及光谱数据均与象牙/猛犸牙相似度较低,则对图像数据和光谱数据进行赋值:/>=0.5, />=0.5,图像与光谱数据的权重相同;
当、/>数值不符合上述区间,即/>、/>为其他情况,则对图像数据和光谱数据进行赋值:=0.6, />=0.4,图像数据与光谱数据的权重接近,图像数据的权重略高。
5.如权利要求1所述的用于海关口岸的象牙及其制品快速初筛鉴定方法,其特征在于,用于海关口岸的象牙及其制品快速初筛鉴定方法,其特征在于,所述图像特征至少包括:象牙/猛犸牙的横截面上可见的施氏结构特征、象牙/猛犸牙的纵剖面上可见的规则排列的近直线形纹理特征、起伏的波纹特征和外缘施氏角的横切、纵切特征。
6.如权利要求1所述的用于海关口岸的象牙及其制品快速初筛鉴定方法,其特征在于,所述检验目标的物种的鉴定结果至少包括疑似象牙、疑似猛犸牙、疑似其他动物制品、非动物制品、未判定结论。
7.用于海关口岸的象牙及其制品快速初筛鉴定系统,该系统基于权利要求1-6中任一项所述的用于海关口岸的象牙及其制品快速初筛鉴定方法来实现,其特征在于,包括:
光谱数据采集模块,用于通过反射式近红外吸收光谱检测技术采集样品和/或相近物种的样品的近红外光谱,将属于同一物种的光谱数据进行归类;
图像数据采集模块,用于通过三维数字图像采集技术对样品图像进行采集,并根据图像特征对图像进行分类,获取同一濒危物种的图像数据;
深度学习分类模块,用于根据深度神经网络对采集的图像数据和光谱数据分别进行训练识别,通过分类模型算法分别对图像数据和光谱数据进行训练,分别得到图像数据和光谱数据的分类结果;
分析计算模块,用于根据物种之间的区分度高低分别赋予图像数据与光谱数据不同的权重,对图像数据和光谱数据进行加权分析,所述区分度至少包括纹理区分度、成分区分度、形态学特征区分度;
分析鉴定模块,用于根据分析结果对检验目标的物种的鉴定结果进行输出。
8.如权利要求7所述的用于海关口岸的象牙及其制品快速初筛鉴定系统,其特征在于,所述分析计算模块还包括:
权重赋值单元,用于根据物种之间的区分度高低分别赋予图像数据与光谱数据不同的权重;
加权分析单元,用于对图像数据和光谱数据进行加权分析;
其中,所述对图像数据和光谱数据进行加权分析的具体计算方式为:
;
其中,所述表示检验目标为象牙/猛犸牙的相似度,所述/>表示检验目标的图像数据与象牙/猛犸牙的相似度,所述/>表示检验目标的图像数据的权重值,所述/>表示检验目标的光谱数据与象牙/猛犸牙的相似度,所述/>表示检验目标的光谱数据的权重值。
9.如权利要求8所述的用于海关口岸的象牙及其制品快速初筛鉴定系统,其特征在于,所述权重赋值单元中,根据物种之间的区分度高低分别赋予图像数据与光谱数据不同的权重,具体赋予权重的策略如下:
当≥95%且/>≤30%时,表示目标物为高仿象牙/猛犸牙可能性高,则对图像数据和光谱数据进行赋值:/>=0.3, />=0.7,以光谱数据作为主要判断依据;
当≥80%且/>≥80%时,表示目标物的图像数据及光谱数据均与象牙/猛犸牙相似度较高,则对图像数据和光谱数据进行赋值:/>=0.5, />=0.5,图像与光谱数据的权重相同;
当≤30%且/>≤30%时,表示目标物的图像及光谱数据均与象牙/猛犸牙相似度较低,则对图像数据和光谱数据进行赋值:/>=0.5, />=0.5,图像与光谱数据的权重相同;
当、/>数值不符合上述区间,即/>、/>为其他情况,则对图像数据和光谱数据进行赋值:=0.6, />=0.4,图像数据与光谱数据的权重接近,图像数据的权重略高。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410184169.0A CN117740712B (zh) | 2024-02-19 | 2024-02-19 | 用于海关口岸的象牙及其制品快速初筛鉴定方法和系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410184169.0A CN117740712B (zh) | 2024-02-19 | 2024-02-19 | 用于海关口岸的象牙及其制品快速初筛鉴定方法和系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117740712A true CN117740712A (zh) | 2024-03-22 |
CN117740712B CN117740712B (zh) | 2024-04-19 |
Family
ID=90254893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410184169.0A Active CN117740712B (zh) | 2024-02-19 | 2024-02-19 | 用于海关口岸的象牙及其制品快速初筛鉴定方法和系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117740712B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004072868A1 (en) * | 2003-02-10 | 2004-08-26 | Verication, L.L.C. | Database and method of use for authenticity verification of pharmaceuticals |
CN203870040U (zh) * | 2014-02-26 | 2014-10-08 | 清华大学 | 一种用于海关监管物项的快速检查设备 |
CN114878506A (zh) * | 2022-04-19 | 2022-08-09 | 浙江省检验检疫科学技术研究院 | 一种基于近红外光谱的象牙鉴定方法 |
CN115546636A (zh) * | 2022-09-25 | 2022-12-30 | 四川省林业科学研究院 | 基于高分辨率遥感图像的地质灾害后植被恢复监测方法 |
CN115546536A (zh) * | 2022-09-22 | 2022-12-30 | 南京森林警察学院 | 一种象牙制品识别方法及系统 |
CN116297236A (zh) * | 2023-02-11 | 2023-06-23 | 海南大学 | 一种基于高光谱的单粒玉米种子活力鉴别方法及装置 |
-
2024
- 2024-02-19 CN CN202410184169.0A patent/CN117740712B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004072868A1 (en) * | 2003-02-10 | 2004-08-26 | Verication, L.L.C. | Database and method of use for authenticity verification of pharmaceuticals |
CN203870040U (zh) * | 2014-02-26 | 2014-10-08 | 清华大学 | 一种用于海关监管物项的快速检查设备 |
CN114878506A (zh) * | 2022-04-19 | 2022-08-09 | 浙江省检验检疫科学技术研究院 | 一种基于近红外光谱的象牙鉴定方法 |
CN115546536A (zh) * | 2022-09-22 | 2022-12-30 | 南京森林警察学院 | 一种象牙制品识别方法及系统 |
CN115546636A (zh) * | 2022-09-25 | 2022-12-30 | 四川省林业科学研究院 | 基于高分辨率遥感图像的地质灾害后植被恢复监测方法 |
CN116297236A (zh) * | 2023-02-11 | 2023-06-23 | 海南大学 | 一种基于高光谱的单粒玉米种子活力鉴别方法及装置 |
Non-Patent Citations (1)
Title |
---|
钱宏伟;王红球;王少华;司星宇;张建红;左佳倩;: "分子光谱技术在出入境物品快速筛查中的应用", 中国口岸科学技术, no. 07, 15 July 2020 (2020-07-15) * |
Also Published As
Publication number | Publication date |
---|---|
CN117740712B (zh) | 2024-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Barbedo | Plant disease identification from individual lesions and spots using deep learning | |
Shoaib et al. | Deep learning-based segmentation and classification of leaf images for detection of tomato plant disease | |
Sahasrabudhe et al. | Self-supervised nuclei segmentation in histopathological images using attention | |
Pennekamp et al. | Implementing image analysis in laboratory‐based experimental systems for ecology and evolution: a hands‐on guide | |
Alok et al. | Deep learning‐based image classifier for malaria cell detection | |
Binder et al. | Multi-organ gland segmentation using deep learning | |
CN112597038B (zh) | 软件缺陷预测方法及系统 | |
Carvalho et al. | Automated microfossil identification and segmentation using a deep learning approach | |
CN113239993B (zh) | 一种病理图像的分类系统、终端及计算机可读存储介质 | |
CN112581450B (zh) | 基于膨胀卷积金字塔与多尺度金字塔的花粉检测方法 | |
Vaviya et al. | Identification of artificially ripened fruits using machine learning | |
Takimoto et al. | Anomaly detection using siamese network with attention mechanism for few-shot learning | |
CN115409804A (zh) | 一种乳腺磁共振影像的病灶区域识别标注及疗效预测方法 | |
CN117252842A (zh) | 一种飞机蒙皮缺陷检测及网络模型训练方法 | |
CN114399763A (zh) | 一种单样本与小样本微体古生物化石图像识别方法及系统 | |
CN112801940A (zh) | 模型评测方法、装置、设备及介质 | |
Abdalla et al. | Transfer learning models comparison for detecting and diagnosing skin cancer | |
CN117740712B (zh) | 用于海关口岸的象牙及其制品快速初筛鉴定方法和系统 | |
Bergum et al. | Automatic in-situ instance and semantic segmentation of planktonic organisms using Mask R-CNN | |
Ranolo et al. | Underwater and coastal seaweeds detection for fluorescence seaweed photos and videos using YOLOV3 and YOLOV5 | |
CN115880266A (zh) | 一种基于深度学习的肠道息肉检测系统和方法 | |
Nakhli et al. | Ccrl: Contrastive cell representation learning | |
CN114067164A (zh) | 胚胎发育阶段的检测方法、装置、电子设备及存储介质 | |
Joly et al. | LifeCLEF 2020 teaser: biodiversity identification and prediction challenges | |
Joly et al. | LifeCLEF 2021 Teaser: Biodiversity Identification and Prediction Challenges |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |