CN111814554B - 基于粒度及关联信息的物体类别识别模型构建方法及应用 - Google Patents

基于粒度及关联信息的物体类别识别模型构建方法及应用 Download PDF

Info

Publication number
CN111814554B
CN111814554B CN202010517984.6A CN202010517984A CN111814554B CN 111814554 B CN111814554 B CN 111814554B CN 202010517984 A CN202010517984 A CN 202010517984A CN 111814554 B CN111814554 B CN 111814554B
Authority
CN
China
Prior art keywords
granularity
coarse
category
feature
fine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010517984.6A
Other languages
English (en)
Other versions
CN111814554A (zh
Inventor
朱昌明
苗夺谦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
Original Assignee
Tongji University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University filed Critical Tongji University
Priority to CN202010517984.6A priority Critical patent/CN111814554B/zh
Publication of CN111814554A publication Critical patent/CN111814554A/zh
Application granted granted Critical
Publication of CN111814554B publication Critical patent/CN111814554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/083—Shipping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements

Abstract

本发明涉及一种基于粒度及关联信息的物体类别识别模型构建方法及应用，识别模型构建包括步骤：S1、获取训练样本图像中物体的特征信息和类别信息；S2、提取粗粒度特征和细粒度特征，构建粗类别矩阵和细类别矩阵；S3、分别构建不同粒度下的关联函数：类别‑类别关联函数、特征‑特征关联函数、类别‑特征关联函数，基于关联函数建立不同粒度下的关联约束函数；S4、基于关联函数和关联约束函数构建关联衡量模型的目标函数；S5、求解目标函数确定关联函数并得到各关联度最优解；S6、根据最优解确定粗粒度、细粒度下的类别识别函数。应用时，通过类别识别函数识别物体类别。与现有技术相比，本发明大大提高了识别的准确度。

Description

基于粒度及关联信息的物体类别识别模型构建方法及应用
技术领域
本发明涉及模式识别技术领域，尤其是涉及一种基于粒度及关联信息的物体 类别识别模型构建方法及应用。
背景技术
为了建设“智慧城市”，人们针对需要处理的物体或对应的数据集，设计了一 系列的识别算法并嵌入应用系统加以处理，取得了良好的效果。但分析发现，数据 集具有特征(如箱型、箱重、箱高)、类别(如空箱、重箱)等多种样本信息。这 些信息可以分为粗粒度信息(含粗粒度特征和粗粒度类别)和细粒度信息(含细粒 度特征和细粒度类别)。前者多用于整体描述和粗略识别，后者多用于细节描述和 精细识别。这些样本信息中普遍存在多种关联信息，如类别-类别关联(不同类别 之间的关联信息)，类别-特征关联(类别和特征之间的关联信息)，特征-特征关联 (不同特征之间的关联信息)等。若两个类别或两个特征之间差异小、相关度高， 则它们之间应存在强类别-类别关联或强特征-特征关联；若一个类别的判定只与部 分特征有关，则相关的类别-特征关联应更强，其余不相关的类别-特征关联应减弱。 由于传统的识别算法没有考虑到这些粒度特征或多种关联信息，所以相应的应用系 统的性能时常出现降低的现象。
发明内容
本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于粒度及 关联信息的物体类别识别模型构建方法及应用。
本发明的目的可以通过以下技术方案来实现：
一种基于粒度及关联信息的物体类别识别模型构建方法，该方法包括如下步 骤：
S1、获取训练样本图像中物体的特征信息和类别信息，构成训练数据集；
S2、基于特征信息分别提取训练样本图像的粗粒度特征和细粒度特征构成粗 粒度特征矩阵XC和细粒度特征矩阵XD，同时根据训练样本图像类别信息构建粗类 别矩阵YC和细类别矩阵YD；
S3、分别构建不同粒度下的关联函数，包括，
粗粒度和细粒度下的类别-类别关联函数fSC、fSD：SC＝fSC(YC)、SD＝fSD(YD)，其 中，SC、SD分别为粗粒度和细粒度下的类别-类别关联度，
粗粒度和细粒度下的特征-特征关联函数fVC、fVD：VC＝fVC(XC)、VD＝fVD(XD)，其 中，VC、VD分别为粗粒度和细粒度下的特征-特征关联度，
粗粒度和细粒度下的类别-特征关联函数fWC、fWD：WC＝fWC(XC，YC)、WD＝fWD(XD， YD)，其中，WC、WD分别为粗粒度和细粒度下的类别-特征关联度，
同时基于关联函数建立粗粒度、细粒度下的关联约束函数fRC、fRD：RC＝fRC(SC，VC，WC)，RD＝fRD(SD，VD，WD)，其中，RC、RD分别为粗粒度和细粒度下的关联约 束度；
S4、基于粗粒度、细粒度下的关联函数和关联约束函数构建关联衡量模型的 目标函数；
S5、求解目标函数确定粗粒度、细粒度下的关联函数并得到类别-类别关联度 最优解、特征-特征关联度最优解以及类别-特征关联度最优解；
S6、根据最优解确定粗粒度、细粒度下的类别识别函数：
Figure BDA0002530891030000031
其中，
Figure BDA0002530891030000032
分别为粗粒度、细粒度下的类别-特征关联度最优解，
Figure BDA0002530891030000033
分别为待识别的图像中物体的粗粒度特征矩阵和细粒度特征矩阵，
Figure BDA0002530891030000034
为待确 定的粗粒度类别和细粒度类别。
优选地，步骤S2中通过卷积自编码器进行粗粒度特征提取。
优选地，步骤S2中通过循环注意力卷积神经网络进行细粒度特征提取。
优选地，步骤S3中粗粒度下的关联约束函数具体为：
Figure BDA0002530891030000035
其中，上标T表示转置，
Figure BDA0002530891030000036
为WC的拉普拉斯矩阵，||*||表示二范数。
优选地，细粒度下的关联约束函数具体为：
Figure BDA0002530891030000037
其中，上标T表示转置，
Figure BDA0002530891030000038
为WD的拉普拉斯矩阵，||*||表示二范数。
优选地，所述的目标函数为：
f(XC,YC,XD,YD,SC,WC,VC,RC,SD,WD,VD,RD)＝RC+RD+min[||XC-VCXC||2+ ||YC-SCYC||2+||VCXCWC-SCYC||2+||XD-VDXD||2+||YD-SDYD||2+||VDXDWD-SDYD||2]，
其中，||*||表示二范数。
一种基于粒度及关联信息的物体类别识别模型的应用，采用上述基于粒度及关联信息的物体类别识别模型进行物体类别识别，具体识别方法包括如下步骤：
a、获取待识别的图像的特征信息；
b、基于特征信息分别提取训练样本图像的粗粒度特征和细粒度特征构成粗粒 度特征矩阵
Figure BDA0002530891030000039
和细粒度特征矩阵
Figure BDA00025308910300000310
c、将
Figure BDA00025308910300000311
输入至类别识别函数中，求解得到粗粒度类别
Figure BDA00025308910300000312
和细粒度类别
Figure BDA00025308910300000313
优选地，步骤c完成类别识别后还包括对物体类别识别模型的校正，具体为： 将粗粒度特征矩阵
Figure BDA0002530891030000041
细粒度特征矩阵
Figure BDA0002530891030000042
粗粒度类别
Figure BDA0002530891030000043
和细粒度类别
Figure BDA0002530891030000044
输入 至步骤S5确定的关联函数中，求解得到粗粒度和细粒度下的类别-类别关联度
Figure BDA0002530891030000045
Figure BDA0002530891030000046
粗粒度和细粒度下的特征-特征关联度
Figure BDA0002530891030000047
粗粒度和细粒度下的类别-特 征关联度
Figure BDA0002530891030000048
进而将
Figure BDA0002530891030000049
与粗粒度、细粒度下的类 别-类别关联度最优解、特征-特征关联度最优解以及类别-特征关联度最优解进行比 对，当存在较大差异时对识别结果进行人工校正，同时将该预测样本作为新的训练 样本进行再次训练。
优选地，比对通过如下方式进行：
分别计算
Figure BDA00025308910300000410
其中，
Figure BDA00025308910300000411
分别为粗粒度、细粒度下的类别-类别关联度最优解，
Figure BDA00025308910300000412
分别 为粗粒度、细粒度下的特征-特征关联度最优解，
Figure BDA00025308910300000413
分别为粗粒度、细粒度 下的类别-特征关联度最优解，若计算值小于设定阈值，则识别结果正确，否则进 行人工校正。
优选地，所述的设定阈值为0.5。
与现有技术相比，本发明具有如下优点：
(1)本发明识别模型构建过程中通过引入粒度和多种关联信息，有效提升识 别模型的识别精度；
(2)本发明在利用识别模型进行类别识别后，对识别结果偏差较大的样本作 为训练样本进一步训练模型，有效提升识别算法的性能。
附图说明
图1为本发明基于粒度及关联信息的物体类别识别模型构建方法的流程图；
图2为采用基于粒度及关联信息的物体类别识别模型进行物体类别识别的流 程图；
图3为本发明物体类别识别模型在航运物流领域中的应用示意图--装箱；
图4为本发明物体类别识别模型在航运物流领域中的应用示意图--卸箱。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。注意，以下的实施方式的 说明只是实质上的例示，本发明并不意在对其适用物或其用途进行限定，且本发明 并不限定于以下的实施方式。
实施例
如图1所示，本发明公开了一种基于粒度及关联信息的物体类别识别模型构建 方法的设计方式，其包含细粒度特征提取，粗粒度特征提取，类别-类别关联计算 子模块，特征-特征关联计算子模块，类别-特征关联计算子模块，约束项构建子模 块以及关联衡量模型。
其中，细粒度特征提取连接由摄像头和训练样本数据库一同获取的训练样本类别和特征部分，以用于提取样本的细粒度特征并获得细粒度类别；粗粒度特征提取 连接由摄像头和训练样本数据库一同获取的训练样本类别和特征部分，以用于提取 样本的粗粒度特征并获得粗粒度类别。针对获得的粗粒度类别，进入所述的类别- 类别关联计算子模块并获得粗粒度类别之间的关联；针对获得的粗粒度特征，进入 所述的特征-特征关联计算子模块并获得粗粒度特征之间的关联；针对获得的粗粒 度特征和类别，进入所述的类别-特征关联计算子模块并获得粗粒度特征和类别之 间的关联；针对获得粗粒度类别之间的关联、粗粒度特征之间的关联、粗粒度特征 和类别之间的关联，进入所述的约束项构建子模块，获取这些关联之间存在的约束； 针对获得的细粒度类别，进入所述的类别-类别关联计算子模块并获得细粒度类别 之间的关联；针对获得的细粒度特征，进入所述的特征-特征关联计算子模块并获 得细粒度特征之间的关联；针对获得的细粒度特征和类别，进入所述的类别-特征 关联计算子模块并获得细粒度特征和类别之间的关联；针对获得细粒度类别之间的 关联、细粒度特征之间的关联、细粒度特征和类别之间的关联，进入所述的约束项 构建子模块，获取这些关联之间存在的约束；所述的关联衡量模型用于将粗粒度信息及相关的关联信息、约束与细粒度信息及相关的关联信息、约束结合在一起，构 建用于有效衡量样本信息间的多种关联的模型。
粗粒度特征提取，采用的是卷积自编码器(CAE)实现对样本粗粒度特征的提 取和粗粒度类别的获取；细粒度特征提取，采用的是循环注意力卷积神经网络 (RA-CNN)实现对样本细粒度特征的提取和细粒度类别的获取；类别-类别关联 计算子模块中为了计算类别之间的关联，需要设计类别-类别关联计算表达式，采 用拟合法并根据类别向量的相似度与样本同时属于不同类别的概率可以拟合得到 该表达式；特征-特征关联计算子模块中为了计算特征之间的关联，需要设计特征- 特征关联计算表达式，采用拟合法并根据特征向量的相似度与样本同时在不同特征 上呈现出的数值或分布相似的概率可以拟合得到该表达式；类别-特征关联计算子 模块中为了计算类别与特征之间的关联，需要设计类别-特征关联计算表达式，采 用拟合法并根据特征与类别之间的映射显著度和它们之间的相互决定关系可以拟 合得到该表达式；约束项构建子模块中需要根据实际情况得到不同关联之间存在的 约束关系，采用类比推理法并根据具有强关联的两个类别(或特征)的关联特征(或 类别)也会相似这一现象类比推理出类别-类别关联(或特征-特征关联)与类别- 特征关联之间应当存在相应的约束并基于此构建约束表达式；所述的关联衡量模 型，需要在特征提取后获得的多种粒度的特征、类别信息及其关联和约束的基础上， 设计衡量模型的基础形式，为了求解该模型，采用交替最小化策略。
综上，一种基于粒度及关联信息的物体类别识别模型构建方法，该方法包括如 下步骤：
S1、获取训练样本图像中物体的特征信息和类别信息，构成训练数据集；
S2、基于特征信息分别提取训练样本图像的粗粒度特征和细粒度特征构成粗 粒度特征矩阵XC和细粒度特征矩阵XD，同时根据训练样本图像类别信息构建粗类 别矩阵YC和细类别矩阵YD，在实际场景中，YC、YD往往因为这些样本会同时属于 多个类别而成为一个由多个类别向量组成的类别矩阵，每个类别向量对应一个类别 并表明哪些样本属于该类别，而XC、XD往往因为是一个由多个特征向量组成的特 征矩阵，每个特征向量表明这些样本在某个特征上的具体数值或分布，其中，通过 卷积自编码器进行粗粒度特征提取，通过循环注意力卷积神经网络进行细粒度特征 提取；
S3、分别构建不同粒度下的关联函数，包括，
粗粒度和细粒度下的类别-类别关联函数fSC、fSD，若类别a与类别b存在强关 联，即属于类别a的样本大概率也属于类别b，则相应的类别向量也是类似的，因 此，SC＝fSC(YC)、SD＝fSD(YD)，其中，SC、SD分别为粗粒度和细粒度下的类别-类别关 联度，本实施例中
Figure BDA0002530891030000061
粗粒度和细粒度下的特征-特征关联函数fVC、fVD：因为XC中包含了不同特征 的特征向量，所以可以通过特征向量的相似度来反映特征之间的关联程度，若特征 f与特征g存在强关联，即不同样本在特征f上呈现出的数值或分布大概率也会相 似地出现在特征g上，则相应的特征向量也是类似的，基于此，设计fVC，同理设 计fVD，
Figure BDA0002530891030000071
其中，VC、VD分别为粗粒度和 细粒度下的特征-特征关联度；
粗粒度和细粒度下的类别-特征关联函数fWC、fWD：若类别a与部分特征集C 存在强关联，即类别a的判定只需要C中的特征来决定即可，则类别a与C中的 特征之间存在显著的映射关系。另外，若类别集H与特征e存在强关联，即特征e 对类别集H中的类别都有决定作用，则特征e与H中的类别之间也存在显著的映 射关系。基于此，粗粒度类别-特征关联WC应当是关于XC和YC的函数，同理，细 粒度类别-特征关联WD应当是关于XD和YD的函数:
Figure BDA0002530891030000072
其中，WC、WD分别为 粗粒度和细粒度下的类别-特征关联度；
同时基于关联函数建立粗粒度、细粒度下的关联约束函数fRC、fRD：
真实场景中，两个具有强关联的类别，它们的关联特征往往相似，所以基于此， 可以构建约束：
Figure BDA0002530891030000073
其中，上标T表示转置，
Figure BDA0002530891030000074
为WC的拉普拉斯矩阵，||*||表示二范数；
而两个具有强关联的特征，它们的关联类别也往往相似，所以基于此，可以构 建约束：
Figure BDA0002530891030000075
由此，粗粒度下的关联约束函数具体为：
Figure BDA0002530891030000076
同理，细粒度下的关联约束函数具体为：
Figure BDA0002530891030000077
其中，RC、RD分别为粗粒度和细粒度下的关联约束度；
S4、基于粗粒度、细粒度下的关联函数和关联约束函数构建关联衡量模型的 目标函数，目标函数为：
f(XC,YC,XD,YD,SC,WC,VC,RC,SD,WD,VD,RD)＝RC+RD+min[||XC-VCXC||2+ ||YC-SCYC||2+||VCXCWC-SCYC||2+||XD-VDXD||2+||YD-SDYD||2+||VDXDWD-SDYD||2]，
其中，||*||表示二范数；
S5、求解目标函数确定粗粒度、细粒度下的关联函数并得到类别-类别关联度 最优解、特征-特征关联度最优解以及类别-特征关联度最优解；
S6、根据最优解确定粗粒度、细粒度下的类别识别函数：
Figure BDA0002530891030000081
其中，
Figure BDA0002530891030000082
分别为粗粒度、细粒度下的类别-特征关联度最优解，
Figure BDA0002530891030000083
分别为待识别的图像中物体的粗粒度特征矩阵和细粒度特征矩阵，
Figure BDA0002530891030000084
为待确 定的粗粒度类别和细粒度类别。
如图2所示，一种基于粒度及关联信息的物体类别识别模型的应用，采用上述 基于粒度及关联信息的物体类别识别模型进行物体类别识别，具体识别方法包括如 下步骤：
a、获取待识别的图像的特征信息；
b、基于特征信息分别提取训练样本图像的粗粒度特征和细粒度特征构成粗粒 度特征矩阵
Figure BDA0002530891030000085
和细粒度特征矩阵
Figure BDA0002530891030000086
c、将
Figure BDA0002530891030000087
输入至类别识别函数中，求解得到粗粒度类别
Figure BDA0002530891030000088
和细粒度类别
Figure BDA0002530891030000089
步骤c完成类别识别后还包括对物体类别识别模型的校正，具体为：将粗粒度 特征矩阵
Figure BDA00025308910300000810
细粒度特征矩阵
Figure BDA00025308910300000811
粗粒度类别
Figure BDA00025308910300000812
和细粒度类别
Figure BDA00025308910300000813
输入至步骤S5 确定的关联函数中，求解得到粗粒度和细粒度下的类别-类别关联度
Figure BDA00025308910300000814
粗粒 度和细粒度下的特征-特征关联度
Figure BDA00025308910300000815
粗粒度和细粒度下的类别-特征关联度
Figure BDA00025308910300000816
进而将
Figure BDA00025308910300000817
与粗粒度、细粒度下的类别-类别关 联度最优解、特征-特征关联度最优解以及类别-特征关联度最优解进行比对，当存 在较大差异时对识别结果进行人工校正，同时将该预测样本作为新的训练样本进行 再次训练。
比对通过如下方式进行：
分别计算
Figure BDA00025308910300000818
其中，
Figure BDA00025308910300000819
分别为粗粒度、细粒度下的类别-类别关联度最优解，
Figure BDA00025308910300000820
分别 为粗粒度、细粒度下的特征-特征关联度最优解，
Figure BDA00025308910300000821
分别为粗粒度、细粒度 下的类别-特征关联度最优解，若计算值小于设定阈值，则识别结果正确，否则进 行人工校正，本实施例设定阈值取为0.5。
本实施例用于识别集装箱，其中类别信息包括重箱、冷藏箱、空箱、危险箱、 中转箱等，粗粒度类别和细粒度类别与类别信息一致，粗粒度特征包括箱重、箱型、 箱色、箱高、箱宽等，细粒度特征包括箱表面缝隙、箱表面破损、边焊接点、危险 品标志等。本发明的目的即：根据已知类别信息的训练样本，识别训练样本的粗粒 度特征和细粒度特征，训练能够识别粗粒度类别和细粒度类别的识别函数，从而用 于物体的类别识别。
类别-类别关联计算子模块，用于计算样本的类别之间存在的关联信息；其中， 类别之间存在的关联信息主要是指样本的任意两个类别之间的关联度，如重箱与冷 藏箱之间的关联度，若关联度高，则表明一个集装箱为重箱，则其大概率也是冷藏 箱。
特征-特征关联计算子模块，用于计算样本的特征之间存在的关联信息；其中， 特征之间存在的关联信息主要是指样本的任意两个特征之间的关联度，如箱重与箱 高之间的关联度，若关联度高，则表明一个集装箱在箱重上数值大(即箱子更重)， 则其箱子的高度也大概率会较高。
类别-特征关联计算子模块，用于计算样本的类别与特征之间存在的关联信息；其中，类别与特征之间存在的关联信息主要是指样本的某一类别与某一特征之间的 关联度，如重箱(某一类别)与箱高、箱型(某些特征)的关联度高，与箱色、箱 长(某些特征)的关联度低，则表明要判断一个集装箱是否为重箱，只要箱高和箱 型等特征来决定即可，而箱色、箱长等不起决定性作用；又如，箱型(某一特征) 与重箱、冷藏箱(某些类别)的关联度高，与空箱、中转箱(某些类别)的关联度 底，则表明该特征可以用于决定一个集装箱是否属于重箱、冷藏箱，但不足以判断 该集装箱是否属于空箱、中转箱。
约束项构建子模块，用于计算样本多种关联信息之间存在的相互约束关系；其中，多种关联信息主要是指类别-类别关联(即类别之间存在的关联信息)、特征- 特征关联(即特征之间存在的关联信息)与类别-特征关联(即类别与特征之间存 在的关联信息)。真实情况下，它们之间存在着相互约束关系。如具有强关联的两 个类别(或特征)的关联特征(或类别)也会相似，那么类别-类别关联(或特征- 特征关联)与类别-特征关联之间应当存在相应的约束。假设，重箱与冷藏箱具有 高关联度，而重箱与箱型有较高的关联度，冷藏箱与箱温有较高的关联度，则实际 情况中，箱型与箱温也应当具有高关联度，换言而知，就是箱型和箱温这两个特征 在不同样本上的数值比较相似。通过设计约束项，可以令识别模型在设计的过程中 更符合真实的特征和类别情况。
如图3所示，本发明公开了一种基于粒度及多种关联信息的类别识别模型在航 运物流领域中的应用--装箱，其包含配载算法、船舶信息、船舶数据库、区位信息 表、识别算法。其中识别算法是本发明公开的算法；配载算法连接船舶本身，用于 将集装箱运输车运来的集装箱按照配载算法，配载并装到相应的舱位；船舶信息包 含舱位信息、船舶号、配载需求，并都输入中控室进行处理。其中舱位信息用于告 知中控室关于舱位分配的情况，船舶号用于中控室在船舶数据库中寻找船舶并判断 该船舶是否属于正常进港，配载需求用于告知中控室关于需要装箱的箱子型号、数 量及其他要求；船舶数据库用于记录所有本港中船舶的信息并判断相关入港船舶的 正确性；区位信息表用于记录堆场的区位信息并明确哪些箱子放在哪个区位；识别 算法用于识别区位中的箱子，避免错误装箱。
本实施例中，配载算法采用常规的启发式算法即可，也可采用基于遗传算法而 设计的配载算法，本发明中不作特别约束。船舶信息、船舶数据库、区位信息表一 般由港口、船舶自行编制，但需要符合国际标准；识别算法采用本发明中涉及的基 于粒度及多种关联信息的集装箱识别算法。
本实施例中，如图3所示。为更好的表述本发明提出的识别算法的应用，将该 算法应用于集装箱的运输场景之一--装箱中。(1)一旦摄像头拍摄到有船舶进港后， 中控室立刻准备相应的工作；(2)进港船舶将船舶信息发送给中控室，中控室接受 包含舱位信息、船舶号、配载需求在内的船舶信息后，先核对船舶数据库中的信息， 查询入港船舶是否合规。若合规，则将配载需求与区位信息表结合，找到需要装载 的箱子所在的区位，并用摄像头拍摄区位所在区域，利用本发明设计的识别算法， 找到箱子；(3)将需要装载的箱子装入集装箱运输车，并根据配载算法，将箱子正 式装入船舶，以完成装箱步骤。
如图4所示，本发明公开了一种基于粒度及多种关联信息的类别识别模型在航 运物流领域中的应用--卸箱，其包含船舶信息、船舶数据库、区位信息表、识别算 法。
船舶信息包含舱位信息、船舶号、配载表，并都输入中控室进行处理。其中舱 位信息用于告知中控室关于舱位分配的情况，船舶号用于中控室在船舶数据库中寻 找船舶并判断该船舶是否属于正常进港，配载表用于告知中控室关于需要卸箱的箱 子型号、数量及其在所在的舱位；船舶数据库用于记录所有本港中船舶的信息并判 断相关入港船舶的正确性；区位信息表用于记录堆场的区位信息及该区位应当放置 的箱子情况；识别算法连接船舶，用于识别舱位中的箱子，避免错误卸箱。
本实施例中，所述的船舶信息、船舶数据库、区位信息表一般由港口、船舶自 行编制，但需要符合国际标准；所述的识别算法采用本发明中涉及的基于粒度及多 种关联信息的集装箱识别算法。
本实施例中，如图4所示。为更好的表述本发明提出的识别算法的应用，将该 算法应用于集装箱的运输场景之一--卸箱中。(1)一旦摄像头拍摄到有船舶进港后， 中控室立刻准备相应的工作；(2)进港船舶将船舶信息发送给中控室，中控室接受 包含舱位信息、船舶号、配载表在内的船舶信息后，先核对船舶数据库中的信息， 查询入港船舶是否合规。若合规，则将配载表与区位信息表结合，找到需要卸载的 箱子应当放置的区位，并用摄像头拍摄区位所在区域和舱位，利用识别算法，找到 船舶中所在舱位的箱子；(3)将需要卸载的箱子装入集装箱运输车，将箱子正式放 入堆场中相应的区位，以完成卸箱步骤。
上述实施方式仅为例举，不表示对本发明范围的限定。这些实施方式还能以其 它各种方式来实施，且能在不脱离本发明技术思想的范围内作各种省略、置换、变 更。

Claims (10)

1.一种基于粒度及关联信息的物体类别识别模型构建方法，其特征在于，该方法包括如下步骤：
S1、获取训练样本图像中物体的特征信息和类别信息，构成训练数据集；
S2、基于特征信息分别提取训练样本图像的粗粒度特征和细粒度特征构成粗粒度特征矩阵XC和细粒度特征矩阵XD，同时根据训练样本图像类别信息构建粗类别矩阵YC和细类别矩阵YD；
S3、分别构建不同粒度下的关联函数，包括，
粗粒度和细粒度下的类别-类别关联函数fSC、fSD：SC＝fSC(YC)、SD＝fSD(YD)，其中，SC、SD分别为粗粒度和细粒度下的类别-类别关联度，
粗粒度和细粒度下的特征-特征关联函数fVC、fVD：VC＝fVC(XC)、VD＝fVD(XD)，其中，VC、VD分别为粗粒度和细粒度下的特征-特征关联度，
粗粒度和细粒度下的类别-特征关联函数fWC、fWD：WC＝fWC(XC，YC)、WD＝fWD(XD，YD)，其中，WC、WD分别为粗粒度和细粒度下的类别-特征关联度，
同时基于关联函数建立粗粒度、细粒度下的关联约束函数fRC、fRD：RC＝fRC(SC，VC，WC)，RD＝fRD(SD，VD，WD)，其中，RC、RD分别为粗粒度和细粒度下的关联约束度；
S4、基于粗粒度、细粒度下的关联函数和关联约束函数构建关联衡量模型的目标函数；
S5、求解目标函数确定粗粒度、细粒度下的关联函数并得到类别-类别关联度最优解、特征-特征关联度最优解以及类别-特征关联度最优解；
S6、根据最优解确定粗粒度、细粒度下的类别识别函数：
Figure FDA0002530891020000011
其中，
Figure FDA0002530891020000012
分别为粗粒度、细粒度下的类别-特征关联度最优解，
Figure FDA0002530891020000013
分别为待识别的图像中物体的粗粒度特征矩阵和细粒度特征矩阵，
Figure FDA0002530891020000014
为待确定的粗粒度类别和细粒度类别。
2.根据权利要求1所述的一种基于粒度及关联信息的物体类别识别模型构建方法，其特征在于，步骤S2中通过卷积自编码器进行粗粒度特征提取。
3.根据权利要求1所述的一种基于粒度及关联信息的物体类别识别模型构建方法，其特征在于，步骤S2中通过循环注意力卷积神经网络进行细粒度特征提取。
4.根据权利要求1所述的一种基于粒度及关联信息的物体类别识别模型构建方法，其特征在于，步骤S3中粗粒度下的关联约束函数具体为：
Figure FDA0002530891020000021
其中，上标T表示转置，
Figure FDA0002530891020000022
为WC的拉普拉斯矩阵，||*||表示二范数。
5.根据权利要求4所述的一种基于粒度及关联信息的物体类别识别模型构建方法，其特征在于，细粒度下的关联约束函数具体为：
Figure FDA0002530891020000023
其中，上标T表示转置，
Figure FDA0002530891020000024
为WD的拉普拉斯矩阵，||*||表示二范数。
6.根据权利要求5所述的一种基于粒度及关联信息的物体类别识别模型构建方法，其特征在于，所述的目标函数为：
Figure FDA0002530891020000025
其中，||*||表示二范数。
7.一种基于粒度及关联信息的物体类别识别模型的应用，其特征在于，采用权利要求1～6任意一项所述的基于粒度及关联信息的物体类别识别模型进行物体类别识别，具体识别方法包括如下步骤：
a、获取待识别的图像的特征信息；
b、基于特征信息分别提取训练样本图像的粗粒度特征和细粒度特征构成粗粒度特征矩阵
Figure FDA0002530891020000026
和细粒度特征矩阵
Figure FDA0002530891020000027
c、将
Figure FDA0002530891020000028
输入至类别识别函数中，求解得到粗粒度类别
Figure FDA0002530891020000029
和细粒度类别
Figure FDA00025308910200000210
8.根据权利要求7所述的一种基于粒度及关联信息的物体类别识别模型的应用，其特征在于，步骤c完成类别识别后还包括对物体类别识别模型的校正，具体为：将粗粒度特征矩阵
Figure FDA00025308910200000211
细粒度特征矩阵
Figure FDA00025308910200000212
粗粒度类别
Figure FDA00025308910200000213
和细粒度类别
Figure FDA00025308910200000214
输入至步骤S5确定的关联函数中，求解得到粗粒度和细粒度下的类别-类别关联度
Figure FDA00025308910200000215
粗粒度和细粒度下的特征-特征关联度
Figure FDA00025308910200000216
粗粒度和细粒度下的类别-特征关联度
Figure FDA00025308910200000217
进而将
Figure FDA00025308910200000218
与粗粒度、细粒度下的类别-类别关联度最优解、特征-特征关联度最优解以及类别-特征关联度最优解进行比对，当存在较大差异时对识别结果进行人工校正，同时将该预测样本作为新的训练样本进行再次训练。
9.根据权利要求8所述的一种基于粒度及关联信息的物体类别识别模型的应用，其特征在于，比对通过如下方式进行：
分别计算
Figure FDA0002530891020000031
其中，
Figure FDA0002530891020000032
分别为粗粒度、细粒度下的类别-类别关联度最优解，
Figure FDA0002530891020000033
分别为粗粒度、细粒度下的特征-特征关联度最优解，
Figure FDA0002530891020000034
分别为粗粒度、细粒度下的类别-特征关联度最优解，若计算值小于设定阈值，则识别结果正确，否则进行人工校正。
10.根据权利要求9所述的一种基于粒度及关联信息的物体类别识别模型的应用，其特征在于，所述的设定阈值为0.5。
CN202010517984.6A 2020-06-09 2020-06-09 基于粒度及关联信息的物体类别识别模型构建方法及应用 Active CN111814554B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010517984.6A CN111814554B (zh) 2020-06-09 2020-06-09 基于粒度及关联信息的物体类别识别模型构建方法及应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010517984.6A CN111814554B (zh) 2020-06-09 2020-06-09 基于粒度及关联信息的物体类别识别模型构建方法及应用

Publications (2)

Publication Number Publication Date
CN111814554A CN111814554A (zh) 2020-10-23
CN111814554B true CN111814554B (zh) 2022-06-21

Family

ID=72846010

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010517984.6A Active CN111814554B (zh) 2020-06-09 2020-06-09 基于粒度及关联信息的物体类别识别模型构建方法及应用

Country Status (1)

Country Link
CN (1) CN111814554B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875827A (zh) * 2018-06-15 2018-11-23 广州深域信息科技有限公司 一种细粒度图像分类的方法及系统
CN109284374A (zh) * 2018-09-07 2019-01-29 百度在线网络技术（北京）有限公司 用于确定实体类别的方法、装置、设备以及计算机可读存储介质
CN109409384A (zh) * 2018-09-30 2019-03-01 内蒙古科技大学 基于细粒度图像的图像识别方法、装置、介质及设备
CN110458233A (zh) * 2019-08-13 2019-11-15 腾讯云计算（北京）有限责任公司 混合粒度物体识别模型训练及识别方法、装置及存储介质
CN110458241A (zh) * 2019-08-16 2019-11-15 上海海事大学 一种基于信息增强的多视角分类器及其设计方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10503978B2 (en) * 2017-07-14 2019-12-10 Nec Corporation Spatio-temporal interaction network for learning object interactions

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875827A (zh) * 2018-06-15 2018-11-23 广州深域信息科技有限公司 一种细粒度图像分类的方法及系统
CN109284374A (zh) * 2018-09-07 2019-01-29 百度在线网络技术（北京）有限公司 用于确定实体类别的方法、装置、设备以及计算机可读存储介质
CN109409384A (zh) * 2018-09-30 2019-03-01 内蒙古科技大学 基于细粒度图像的图像识别方法、装置、介质及设备
CN110458233A (zh) * 2019-08-13 2019-11-15 腾讯云计算（北京）有限责任公司 混合粒度物体识别模型训练及识别方法、装置及存储介质
CN110458241A (zh) * 2019-08-16 2019-11-15 上海海事大学 一种基于信息增强的多视角分类器及其设计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Improved Multi-view Multi-label Learning with Incomplete Views and Labels";Changming Zhu et al.;《2019 International Conference on Data Mining Workshops》;20191231;全文 *
"基于多粒度特征的行人跟踪检测结合算法";王子晔等;《计算机研究与发展》;20200515;全文 *

Also Published As

Publication number Publication date
CN111814554A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN112200045B (zh) 基于上下文增强的遥感图像目标检测模型建立方法及应用
US20150360877A1 (en) System for loading parcel and method thereof
CN111667512B (zh) 基于改进卡尔曼滤波的多目标车辆轨迹预测方法
CN109815856A (zh) 目标车辆的状态标记方法、系统和计算机可读存储介质
CN111797829A (zh) 一种车牌检测方法、装置、电子设备和存储介质
CN111275044A (zh) 基于样本选择和自适应难例挖掘的弱监督目标检测方法
CN108827969A (zh) 金属零件表面缺陷检测与识别方法及装置
CN112052876B (zh) 一种基于改进ra-cnn的细粒度图像检测方法与系统
CN110309843B (zh) 一种电力设备图像中多类部件的自动识别方法
CN108985339A (zh) 一种基于目标识别与knn算法的超市仓库货物识别分类方法
CN112541591A (zh) 一种泊位识别方法、平台
CN113240716B (zh) 一种多特征融合的孪生网络目标跟踪方法及系统
US20220076404A1 (en) Defect management apparatus, method and non-transitory computer readable medium
CN113469158B (zh) 基于卷积神经网络的非法危化品运输车辆识别方法及系统
CN111553914B (zh) 基于视觉的货物检测方法、装置、终端及可读存储介质
WO2023273871A1 (zh) 港口信息的处理方法、装置及相关设备
CN116645586A (zh) 一种基于改进YOLOv5的港口集装箱损伤检测方法及系统
CN109741398A (zh) 图像识别方法、装置和计算机存储介质
CN111814554B (zh) 基于粒度及关联信息的物体类别识别模型构建方法及应用
CN107993031B (zh) 一种港口理货方法及装置
Kuo et al. Improving defect inspection quality of deep-learning network in dense beans by using hough circle transform for coffee industry
CN105740768A (zh) 一种局部和全局特征相结合的无人驾驶叉运装置
CN114742503B (zh) 一种基于深度学习的智慧物流拼车方法和装置
US20220366556A1 (en) Systems and methods for container condition determination in transport refrigiration
CN116523270A (zh) 一种物流运输任务自动调度方法、设备、服务器及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant