CN112487044A - 目标识别分拣方法、装置和存储介质 - Google Patents

目标识别分拣方法、装置和存储介质 Download PDF

Info

Publication number
CN112487044A
CN112487044A CN201910857264.1A CN201910857264A CN112487044A CN 112487044 A CN112487044 A CN 112487044A CN 201910857264 A CN201910857264 A CN 201910857264A CN 112487044 A CN112487044 A CN 112487044A
Authority
CN
China
Prior art keywords
target
data
sorting
user
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910857264.1A
Other languages
English (en)
Inventor
邓海燕
谭龙田
陈彦宇
马雅奇
周慧子
张黎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Zhuhai Lianyun Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai, Zhuhai Lianyun Technology Co Ltd filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN201910857264.1A priority Critical patent/CN112487044A/zh
Publication of CN112487044A publication Critical patent/CN112487044A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2462Approximate or statistical queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55Clustering; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/906Clustering; Classification

Abstract

本公开涉及自动化技术领域,具体涉及一种目标识别分拣方法、装置和存储介质,用于解决相关技术中分拣系统分拣过程中单一性目标的分拣方式导致效率较低的技术问题。该目标识别分拣方法包括:采集当前目标相关的目标数据参数,所述目标数据参数包括基本数据参数以及感知数据参数;对所述目标数据参数进行数据处理,以得到所述目标数据参数对应的数据特征信息;根据所述数据特征信息识别所述当前目标所属的目标类别,进而按照确定的目标类别对所述当前目标进行分拣。

Description

目标识别分拣方法、装置和存储介质
技术领域
本公开涉及自动化技术领域,特别地涉及一种目标识别分拣方法、装置和存储介质。
背景技术
随着科技的快速发展,人们的生活也越来越自动化、智能化。
目前,在对物体进行分拣时,通常只是按照某一单一性目标的人工分拣或采用自动分拣机,用户可以通过这些方法能够对目标的类别来进行判断,但是还无法应用到多种实际情况中、不能自动地对多种不同类别的物体进行判断或是能够为用户提供更加便捷的服务,简化用户操作,以便用户根据当前目标信息来进行判断。
发明内容
本公开提供一种目标识别分拣方法、装置和存储介质,以解决相关技术中分拣系统采用单一性目标的分拣方式导致效率较低的技术问题。
为实现上述目的,本公开实施例的第一方面,提供一种目标识别分拣方法,所述方法包括:
采集当前目标相关的目标数据参数;
对所述目标数据参数进行数据处理,以得到所述目标数据参数对应的数据特征信息;
根据所述数据特征信息识别所述当前目标所属的目标类别;
按照所述目标类别对所述当前目标进行分拣。
结合第一方面,在第一方面的第一种可能的实现方式中,对所述目标数据参数进行数据处理,以得到所述目标数据参数对应的数据特征信息,包括:
对所述目标数据参数进行多传感器信息融合处理,以对所述目标数据参数的分析处理及整合;
将处理后的数据输入训练模型以对所述目标数据参数进行特征提取,得到所述目标数据参数对应的数据特征信息。
结合第一方面的第一种可能的实现方式,在第一方面的第二种可能的实现方式中,根据所述数据特征信息识别所述当前目标所属的目标类别,包括:
根据所述数据特征信息识别所述当前目标,以确定所述当前目标对应的目标属性;
根据所述目标属性获取与所述当前目标对应的多个目标类型,每个所述目标类型分别对应有至少一个数据特征,且不同目标类型对应于不同的数据特征;
从确定所述多个目标类型中数据特征中确定与所述数据特征信息相匹配的目标类型,将确定的目标类型作为所述当前目标所属的目标类型。
结合第一方面的第一种或第二种可能的实现方式,在第一方面的第三种可能的实现方式中,在将处理后的数据输入训练模型以对所述目标数据参数进行特征提取之前,所述方法还包括:
获取与每个目标类型对应的采样数据参数集合;
利用多个所述采样数据参数集合对模型进行训练,以得到训练模型。
结合第一方面的第三种可能的实现方式,在第一方面的第四种可能的实现方式中,在确定所述当前目标所属的目标类别之后,所述方法还包括:
根据所述目标数据参数及所述目标类型,生成与所述当前目标对应的虚拟现实显示信息;
将所述虚拟显示信息发送到用户终端进行显示。
结合第一方面的第四种可能的实现方式,在第一方面的第五种可能的实现方式中,在将所述虚拟显示信息发送到用户终端进行显示之后,所述方法还包括:
接收用户通过所述用户终端输入的对所述当前目标所属目标类型的调整信息;
根据所述调整信息确定用户偏好的目标类型;
将所述当前目标对应的目标类型更新为所述用户偏好的目标类型。
结合第一方面的第五种可能的实现方式,在第一方面的第六种可能的实现方式中,在利用所述多个采样数据参数集合对模型进行训练后,所述方法还包括:
收集用户分拣偏好参数样本,所述用户分拣偏好参数样本中包含多个用户偏好分拣历史参数,每个用户偏好分拣历史参数包含对应的历史分拣目标及用户偏好的目标类型;
将所述用户分拣偏好参数样本输入所述训练模型进行再训练。
结合第一方面,在第一方面的第七种可能的实现方式中,在对所述目标数据参数进行数据处理,获取所述目标数据参数对应的数据特征信息之前,所述方法还包括:
检测当前环境中是否存在与所述目标数据参数相关的环境参数发生变化;
若确定存在至少一个环境参数发生变化,检测并更新所述目标数据参数中与发生变化的环境参数相关的目标数据参数。
本公开实施例的第二方面,提供一种目标识别分拣装置,所述装置包括:
存储器,其上存储有计算机程序;以及
处理器,用于执行所述存储器中的所述计算机程序,以实现上述第一方面中任一项所述方法的步骤。
本公开实施例的第三方面,提供一种存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述第一方面中任一项所述方法的步骤。
采用上述技术方案,至少能够达到如下技术效果:
本公开通过数据采集模块采集当前分拣目标相关的目标数据参数,进而通过将该目标数据参数输入数据分析处理模块中进行数据处理,从而获得与目标数据参数对应的用于表征分拣目标的数据特征类型,故根据数据特征类型即可确定当前分拣目标对应的分拣类型,从而按照确定的分拣类型即可实现对当前目标的自动分拣,能对多种不同类别的目标进行识别及分类,具有较高的分拣效率,有效改善了相关技术中单一性且效率较低的分拣方式。
进一步地,通过逼真的虚拟现实智能化形式将数据处理结果呈现给用户,方便用户把握目标的情况,对不同的目标进行分拣,符合用户习惯和偏好,分拣预测结果有多个选择作参考,并在用户确定选择分拣结果参数时,将用户的选择记录为个人偏好,用户的个人偏好数据将作为新的数据用于对模型再次训练,提高模型对当前场景的精度和适应性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是本公开一示例性实施例示出的一种目标识别分拣方法的流程图。
图2是本公开一示例性实施例示出的一种目标识别分拣方法的实施过程示意图。
图3是本公开一示例性实施例示出的实现虚拟现实的三维显示的流程图。
图4是本公开一示例性实施例示出的在工业生产中实现智能化自动识别和分拣的流程示意图。
图5是本公开一示例性实施例示出的一种目标识别分拣系统的系统框图。
图6是本公开一示例性实施例示出的一种目标识别分拣装置的结构框图。
具体实施方式
首先,本公开实施例中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
下面将结合附图及实施例来详细说明本公开的实施方式,借此对本公开如何应用技术手段来解决技术问题,并达到相应技术效果的实现过程能充分理解并据以实施。本申请实施例以及实施例中的各个特征,在不相冲突前提下可以相互结合,所形成的技术方案均在本公开的保护范围之内。
图1是本公开一示例性实施例示出的一种目标识别分拣方法流程图,以解决相关技术中分拣系统存在的单一性且效率较低的技术问题。本实施例示出的该方法可以应用于后续图5所示的目标识别分拣系统。如图1所示,该方法包括以下步骤:
S11:采集当前目标相关的目标数据参数。
S12:对所述目标数据参数进行数据处理,以得到所述目标数据参数对应的数据特征信息。
S13:根据所述数据特征信息识别所述当前目标所属的目标类别。
S14:按照确定的目标类别对所述当前目标进行分拣。
在步骤S11中,当前目标可以是待识别及分拣的对象,如工业原料/物件、物流快件、垃圾、回收站物品等等。目标数据参数至少包括与当前目标相关的基础数据参数及感知数据参数,感知数据参数包括视觉数据、触觉数据及听觉数据。
其中,基础数据参数可以是当前目标的基础信息,如生产厂家、物料来源地、物品收件地区、垃圾所属区域等等;感知数据参数对应于多传感器需融合的数据,即对传感数据经过处理所提取出其中的有效信息;其可以是指针对当前目标进行检测/识别过程中的多个传感器采集模块采集的数据,如光敏传感器采集的视觉数据、声敏传感器采集的声音数据、气敏传感器采集的嗅觉数据、化学传感器采集的味觉数据等,以及由压敏传感器、温敏传感器、流体传感器采集的表征当前目标的触觉数据等等。
在实际应用中,例如工业生产线的应用场景中,可通过多传感器关联的机械臂、高速相机等对目标进行数据采集,实现自动对目标的成分、尺寸、重量、结构、外观、位置、运动等数据进行采集,并可将采集的数据存储(如本地或云端)并传输到数据处理模块等。
在一种可能的实施方式中,在获得目标数据参数后,目标识别分拣系统还可进一步检测当前环境中的环境参数。具体可检测当前环境中与目标数据参数相关的至少一个环境参数是否发生变化,例如与物体热胀冷缩相关的环境温度参数、气压参数等;若确定存在至少一个环境参数发生变化,则自动检测并补充/更新目标数据参数中与发生变化的环境参数相关的目标数据参数。例如,在目标环境出现新的变化时,如温度变化,会造成目标的热胀冷缩;或者,如运动的加速速度变化、位移的变化等,目标对应相关数据参数也发生变化,故在对目标进行数据采集时,需及时更新参数,所以在环境参数变化时会存储并将新的参数作为补充参考,以提高采集数据的精准度,从而增强分类结果的准确度。
在另一种可选的实施例中,在获得目标数据参数的过程中,还可对数据参数不断智能化地分类和训练学习,通过自动对采集到的数据进行相关特征的分析,获得相应的检测/分类结果。也就是说,可通过预先在模型中对目标所有类别进行训练分类判断,在本公开实施例中可直接调用已训练好的模型,快速对待测目标进行分类判断。
S12中,目标识别分拣系统可通过数据处理模块对目标数据参数进行分析处理,提取目标数据参数对应的数据特征信息,以此来判断其存在状态(固/液/气)、光辐射强度、色彩变化、质量重量、大小尺寸、外观、结构、特性等相关的显著性特征。
其中,在对目标数据参数进行视觉处理分析时,包括采用的sobel算子轮廓提取、图像增强等传统图像处理方法与yolov3目标检测等深度学习图像视觉分析处理方法的结合,并通过调用深度学习方法中训练好的模型对当前目标进行特征提取。
以及,在对目标数据参数进行分析处理时,目标识别分拣系统可采用多传感器信息融合处理对目标数据参数进行预处理,实现对数据的分析处理及整合;进而,将预处理后的数据参数输入深度学习智能学习模型对所述目标数据参数进行特征信息提取。在实际应用中,可利用卷积神经网络(Convolutional Neural Networks,CNN)进行深度学习,同时通过对数据的预处理有助于在识别目标过程中便于信息的及时互补,提升对数据自动分析处理的智能程度。
本公开实施例中,提取的数据特征信息主要包括物理的、结构的、数学这三方面的特征。其中,物理、结构特征,即为目标在物理视觉上的特征,通过视觉、触觉等方法,可对应提取目标的边缘、角、点、区域、骨架、纹理、密度等特点;数学上的特征包括目标对应的周长、面积、长宽比、平均值、协方差等特征值与特征向量等。在实际应用中可根据实际情况设置/训练需要的提取特征,本文对此不作具体限制。
在S13中,目标识别分拣系统根据提取的数据特征信息可进行数据特征的训练学习及分类,从而识别当前目标,并确定当前目标所属的目标类别。
根据数据特征信息识别当前目标,并确定当前目标对应的目标属性。该目标属性可以表征目标的显著性信息,如其纹理、轮廓、面积、周长、边角、圆度、最小邻接矩形长宽比等;进而,根据显著性关键信息,即可确定当前目标对应的目标类型。例如,在工业生产线的场景中,通过特征提取,能够确定当前目标零配件主要材质、形状、大小尺寸、质量、重量、位置、运动状态、固/液/气状态等特点,根据这些特点即可对当前目标进行识别及分拣等。
进一步,目标识别分拣系统可以根据目标属性,获取当前目标对应的多个目标类型,所述每个目标类型对应于至少一个数据特征,且不同目标类型对应于不同的数据特征;进而,确定多个目标类型中数据特征与提取的数据特征信息相匹配的目标类型,即可确定出当前目标所属的目标类型。
因此,本公开实施例中的目标分拣识别方法可实现自动对目标进行识别和分拣,相对于人工识别和分拣,能够智能化地提高效率,简化流程;同时,通过对目标多方位信息进行采集,尤其在工业应用场景中,能够对目标物体实现全自动分拣并通过采集的数据,能够在误差允许的范围内对目标进行产品合格判断,比如工业生产中实现对产品零配件(扇叶型号、泡沫型号、螺钉类型等)的智能化自动识别和分拣。
在实际应用中,为了提高对数据处理效率,在进行步骤S12和S13时,还可基于预先训练好的模型对目标数据参数进行分析处理,实现对当前目标的特征提取,并根据提取的特征实现数据特征的训练学习及分类。在训练模型时,可对目标数据集合标注好标签,将这些分类好的数据集按照9:1或其他比例划分对应训练集和验证集的数据集大小,以训练模型需要的数据格式输入;进而,设置好对应的训练超参数数据,包括初始化权重、学习率、梯度下降方法、迭代次数等,送入模型进行训练,在模型中进行数据进预处理等,并选用滤波器等来进行特征提取,通过选择、归一化等提取的特征来对目标进行分类判断。由于同一目标类别的目标有相同/相应的特征信息,故通过模型的分析处理可直接输出目标对应类别,识别及分拣效率较高。
在一种可能的实施例中,在对目标进行识别分拣过程中,还可结合用户习惯和偏好来实现分拣,以提高分拣的准确性。具体的,可收集用户分拣偏好参数样本,该用户分拣偏好参数样本中包含多个用户偏好分拣历史参数,每个用户偏好分拣历史参数包含对应的历史分拣目标及用户偏好的目标类型;进而将用户分拣偏好参数样本输入模型进行训练,以增强训练模型的判断准确度。例如,用户根据需要(如更加细分类,或是分不同厂商来划分等)来进行调整,对应于用户偏好。也就是说,系统的自动分拣通常对于大类别,如螺钉同一类型元件,有不同厂家供应商;若每一厂家大同小异,例如有色差或是出厂标准有些许差异,在不细化区分的前提下是可以筛选分拣为一类的;若是客户对用料有严格标准,需采用同样的元件,则需根据对应不同厂家来更加细化类别,以实现更加准确的分拣和类别判断。
如图2所示,为本公开实施例中目标识别分拣方法的一种实施过程示意。其中,在对数据进行处理确定目标类型时,还可以采用智能分类算法学习用户分拣偏好参数,以便依用户分拣数据习惯来呈现相关信息,从而增加用户分拣数据学习样本,实现基于用户分拣偏好来确定目标对应的分拣结果(目标类型),以满足用户的需求。
本公开实施例中,在确定当前目标对应的目标类型后,目标分拣识别系统还可以根据当前目标、目标数据参数中的至少一部分数据及目标类型,生成与当前目标对应的虚拟现实显示信息,并将该虚拟显示信息发送到用户终端进行显示,从而用户可通过用户终端查看到与当前目标的识别分拣相关的虚拟现实场景。当然,虚拟现实显示功能可预留,在用户需要时启用,甚至可以选择相应的显示模式,如三维显示、基本数据显示模式、分拣结果展示等。其中,在虚拟现实过程中,用户还可通过虚拟现实的显示场景进行相应的交互,例如用户在佩戴智能眼镜观看当前目标的分拣结果的虚拟现实场景时,可通过手势、头部或眨眼动作等对场景中相应对象进行操作,如确认分拣结果,或根据用户偏好对当前目标进行标注或更改目标类型等,具备较强的交互能力,同时增强用户的沉浸感。
在实际应用中,在进行虚拟现实的三维显示时,主要可根据前期采集的数据来重构和重建环境数据信息,从而生成相应的虚拟现实3D显示场景,图3为实现虚拟现实的三维显示的流程图。需要说明的是,图3仅是一种示例,在实际应用中还可根据实际需求显示更多/更少的内容,同样,也可预设虚拟现实的多种显示/场景模式供用户选择使用,本公开实施例对此不做具体限制。
下面,结合附图举例说明本公开实施例中目标识别分拣方法的应用场景。
图4为在工业生产中实现智能化自动识别和分拣的流程示意图,图中以当前的待分拣对象为螺钉为例,在实际应用中还可以是其它对象,如包装箱、食品等,本公开实施例对此不做具体限制。
当待分拣的螺钉进入目标识别分拣系统时,如少量或批量的相同或不同的螺钉进入系统进行分拣,则目标识别分拣系统可通过数据采集模块(如传感器、激光雷达等)采集螺钉的目标数据参数,包括采集螺钉的基本数据参数,包括螺钉的尺寸、形状、材料、重量、体积等;以及螺钉对应的感知数据,包括视觉上的形态外观等、触觉甚至声音数据等等。
进而,对分拣对象数据进行多传感器信息融合,以对目标数据参数进行分析处理和整合,将处理后的数据输入训练模型(如训练好的深度学习智能学习模型),对目标数据参数进行特征提取获取相应的数据特征信息,如显著性信息等,进而即可判定螺钉所述的螺钉类型,并将同一批量的螺钉类型的螺钉分拣出来。同时,还可以对螺钉类型非一批量的螺钉进行用户标注,即对未识别出(例如训练模型可能还未训练到该螺钉类型的数据)的螺钉进行用户标注,包括对应的螺钉类型及厂家分类等,进而按照标注的螺钉类型对该螺钉进行分拣即可。
进一步,还可以对该螺钉的识别及分拣的过程/结果进行相应的虚拟现实显示,以提高对识别及分拣过程的观赏性,提高用户体验度。在实际应用时,可包括但不仅限于以下几方面的显示:
1)检测的相关数据参数信息的显示,如采集的目标质量、尺寸、外观、视觉、听觉、结构数据参数等;
2)对分拣结果的依据进行显示,如依据基本数据信息融合,并结合模型训练判断的结果,如判断的所属类别显示等;
3)三维立体显示,可结合前1)和2)(即基本结果数据)预留三维立体成重构,用户有需要显示可根据这个显示功能查看,若判断有误也可及时更改,提高灵活性;
4)用户偏好的显示,由于根据分拣结果,用户会根据自己的需要进行适当调整,或者对应类别更加细化,所以根据这些结果数据再次输入模型中学习训练,增强模型泛化能力,提高系统识别性能。
因此,虚拟现实呈现的结果数据中可以至少包含两项基本显示数据,即采集的一些数据本身(如基本数据参数及感知数据参数)以及被分拣后的所属类别,以逼真的虚拟现实形式将数据处理结果呈现给用户,方便用户把握目标的情况;同时,用户可根据显示的识别/分拣结果可按需要(如更加细分类,或按不同厂商来划分等)来进行调整,具有较高的灵活性,有助于提高分拣结果的准确性。
需要说明的是,本公开实施例提供的目标识别分拣方法可应用到多种场景中,例如工业原料物件的分拣、物流行业打包前的检测分拣、智能垃圾检测分类、回收站的检测分拣等,能够展现当前目标实际情况进行合适的处理,以便下一步能顺利高效有序进行。
图5是本公开实施例中目标识别分拣系统的一种结构示意图,该目标识别分拣系统可以用于实施前述目标识别分拣方法。如图5所示,该目标识别分拣系统主要包括数据采集模块310、数据处理模块320、目标识别模块330和目标分拣模块340,用于对待分拣目标进行多种相关数据的采集,进而通过对数据的分析处理,确定对应的目标类型,实现多应用场景的目标自动识别和分拣。
可选的,目标识别分拣装置中还可以包括数据存储及传输模块350、虚拟现实模块360、交互模块370等,图5中一并示出。
具体来说,数据采集模块310用于采集当前目标的目标数据参数,目标数据参数包括基本数据参数以及感知数据。该感知数据包括视觉、触觉、听觉数据。在实际应用中,数据采集模块310包含多个数据采集子模块,例如可以是激光雷达或传感器,如光敏传感器、声敏传感器等,利用这些数据可采集当前目标的“视觉”、“嗅觉”和“听觉”数据等感知数据;同时,数据采集模块310还可以包括压敏、温敏、流体等传感器采集模块,可采集当前目标的“触觉”感知数据。
目标识别分拣系统可通过数据存储及传输模块350将数据采集模块310采集的目标数据参数传输给数据处理模块320,数据处理模块320可对目标数据参数进行数据处理,获取目标数据参数对应的数据特征信息。
在实际应用中,数据处理模块320中可以包括多个子处理模块,如多信号数据分析处理模块、深度学习的智能学习模块等,其中多信号数据分析处理模块可以对目标数据参数进行多传感器信息融合处理,即进行预处理,进而再将融合信息送入深度学习的智能学习模块对数据进行训练学习及特征提取,获取相应的特征信息;其中,智能学习模块可预先通过个目标类型对应的数据样本集合的学习来训练模型,训练好的模型可用于对目标数据参数进行特征信息的提取,具有较高的准确性和效率。
目标识别模块330与数据处理模块320连接,用于根据数据特征信息识别当前目标,并确定当前目标所属的目标类别。目标识别模块330可以通过数据特征信息确定当前目标对应的目标属性,进而根据目标属性确定与当前目标对应的多个目标类型,每个目标类型对应于至少一个数据特征,且不同目标类型对应于不同的数据特征;然后,通过特征匹配确定多个目标类型中数据特征与数据特征信息相匹配的目标类型,并将确定的目标类型作为当前目标所属的目标类型。
也就是说,目标识别模块330在对基于当前目标的特征作识别的过程中,会先基于特征所表征的目标的显著性信息来识别目标所属的大类,如螺钉、扇叶或包装箱等大类,进而获取大类下的多个目标类型,如预先划分好的多种的螺钉类型、扇叶型号、包装箱类型/规格等,且每个目标类型对应有各自的特征信息,例如不同类型的螺钉对应于不同尺寸、重量/质量及厂家等;然后,通过将当前目标的数据特征与已有的目标类型的特征进行匹配,即可确定当前目标所属的目标类型。
若通过目标识别模块330无法识别目标,即训练模型中还没有与当前目标对应的特征记录,则可进行人工标注目标类型,并记录相应的用户分拣偏好数据,以通过智能学习模块用其作进一步的学习训练过程,使最终系统得到的结果更加贴合用户的需求。
目标分拣模块340,用于按照确定的目标类型对当前目标进行分拣,例如通过机械手臂、传输带等将当前目标分拣到相应目标类型的区域,实现自动化分拣。
在一种可能的实施例中,目标分拣识别系统中还可以包括虚拟现实模块360,其与数据采集模块310、数据处理模块320及目标识别模块330均有电连接,能够用于根据当前目标、目标数据参数中的至少一部分数据及确定的目标类型,生成与当前目标对应的虚拟现实显示信息,并基于虚拟现实显示信息显示,如将虚拟显示信息发送到用户终端进行虚拟现实场景的显示,如进行二维或三维显示均可。甚至,虚拟显示显示场景中还可以呈现目标相关的感知数据,如气味、声音、目标状态(固/液态)等等。进一步,还可通过交互模块370在显示场景中实现用户交互,响应相应的用户操作,如用户手势确认、或重新标注/调整当前分拣对象的目标类型等。
因此,目标识别分拣系统通过虚拟现实呈现和交互,将经过处理的感知数据分析处理后,通过自动学习分拣,能够以逼真的虚拟现实形式将数据处理结果呈现给用户,方便用户把握目标的情况;同时,通过对不同的目标进行分类,符合用户习惯和偏好,分拣预测结果有多个选择作参考,智能模块能够存储、自动补充基础数据;并在用户确定选择分拣结果参数时,进一步将上一次的结果数据作为将要进行学习的训练数据,学习用户对应的选择和对可能出现同属多个类别作参考。
此外,在实现人机交互时,通过将目标相关信息呈现给用户,包括目标主要成分、质量、尺寸、结构、类别、虚拟三维显示、用户偏好分拣相关选项(默认为学习模型推荐出的最优解决方案)、分拣结果等,用户可随意操作并能够及时反馈关于目标的感知和区分,随后将这些反馈作为新训练数据进行采集并训练,优化学习模块的性能,增强识别和分拣系统的鲁棒性和泛化能力。
本公开实施例中,通过在目标识别分拣系统中加入数据采集模块310、数据处理模块320、虚拟现实模块360等智能模块,以逼真的虚拟现实智能化形式将数据处理结果呈现给用户,方便用户把握目标的情况,对不同的目标进行分拣,符合用户习惯和偏好,分拣预测结果有多个选择作参考,智能模块能够存储、自动补充基础数据,并在用户确定选择分拣结果参数时,将用户的选择记录为个人偏好,用户的个人偏好数据将作为新的数据用于对模型再次训练,提高模型对当前场景的精度和适应性。
关于上述实施例中的系统,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述任一项可选实施例所述的目标识别分拣方法的步骤。
本公开还提供一种目标识别分拣装置,包括:
存储器,其上存储有计算机程序;以及
处理器,用于执行所述存储器中的所述计算机程序,以实现上述任一项可选实施例所述的目标识别分拣方法的步骤。
图6是根据一示例性实施例示出的一种目标识别分拣装置400的框图。如图6所示,该目标识别分拣装置400可以包括:处理器401,存储器402,多媒体组件403,输入/输出(I/O)接口404,以及通信组件405。
其中,处理器401用于控制该装置400的整体操作,以完成上述目标识别分拣方法中的全部或部分步骤。存储器402用于存储各种类型的数据以支持在该目标识别分拣装置400的操作,这些数据例如可以包括用于在该目标识别分拣装置400上操作的任何应用程序或方法的指令,以及应用程序相关的数据。该存储器402可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random AccessMemory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable ProgrammableRead-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable ProgrammableRead-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件403可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器402或通过通信组件405发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口404为处理器401和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件405用于该目标识别分拣装置400与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near Field Communication,简称NFC),2G、3G或4G,或它们中的一种或几种的组合,因此相应的该通信组件405可以包括:Wi-Fi模块,蓝牙模块,NFC模块。
在一示例性实施例中,目标识别分拣装置400可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的表单提交的方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,例如包括程序指令的存储器402,上述程序指令可由目标识别分拣400的处理器401执行以完成上述的目标识别分拣方法。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。

Claims (10)

1.一种目标识别分拣方法,其特征在于,所述方法包括:
采集当前目标相关的目标数据参数;
对所述目标数据参数进行数据处理,以得到所述目标数据参数对应的数据特征信息;
根据所述数据特征信息识别所述当前目标所属的目标类别;
按照所述目标类别对所述当前目标进行分拣。
2.如权利要求1所述的目标识别分拣方法,其特征在于,对所述目标数据参数进行数据处理,以得到所述目标数据参数对应的数据特征信息,包括:
对所述目标数据参数进行多传感器信息融合处理;
将处理后的数据输入训练模型以对所述目标数据参数进行特征提取,得到所述目标数据参数对应的数据特征信息。
3.如权利要求2所述的目标识别分拣方法,其特征在于,根据所述数据特征信息识别所述当前目标所属的目标类别,包括:
根据所述数据特征信息识别所述当前目标,以确定所述当前目标对应的目标属性;
根据所述目标属性获取与所述当前目标对应的多个目标类型,每个所述目标类型分别对应有至少一个数据特征,且不同目标类型对应不同的数据特征;
从所述多个目标类型中数据特征中确定与所述数据特征信息相匹配的目标类型,将确定的目标类型作为所述当前目标所属的目标类型。
4.如权利要求2或3所述的目标识别分拣方法,其特征在于,在将处理后的数据输入训练模型以对所述目标数据参数进行特征提取之前,所述方法还包括:
获取与每个目标类型分别对应的采样数据参数集合;
利用多个所述采样数据参数集合对模型进行训练,以得到训练模型。
5.如权利要求4所述的目标识别分拣方法,其特征在于,在确定所述当前目标所属的目标类别之后,所述方法还包括:
根据所述目标数据参数及所述目标类型,生成与所述当前目标对应的虚拟现实显示信息;
将所述虚拟显示信息发送到用户终端进行显示。
6.如权利要求5所述的目标识别分拣方法,其特征在于,在将所述虚拟显示信息发送到用户终端进行显示之后,所述方法还包括:
接收用户通过所述用户终端输入的对所述当前目标所属目标类型的调整信息;
根据所述调整信息确定用户偏好的目标类型;
将所述当前目标对应的目标类型更新为所述用户偏好的目标类型。
7.如权利要求6所述的目标识别分拣方法,其特征在于,在利用所述多个采样数据参数集合对模型进行训练后,所述方法还包括:
收集用户分拣偏好参数样本,所述用户分拣偏好参数样本中包含多个用户偏好分拣历史参数,每个用户偏好分拣历史参数包含对应的历史分拣目标及用户偏好的目标类型;
将所述用户分拣偏好参数样本输入所述训练模型进行再训练。
8.如权利要求1所述的目标识别分拣方法,其特征在于,在对所述目标数据参数进行数据处理,获取所述目标数据参数对应的数据特征信息之前,所述方法还包括:
检测当前环境中是否存在与所述目标数据参数相关的环境参数发生变化;
若确定存在至少一个环境参数发生变化,检测并更新所述目标数据参数中与所述至少一个环境参数相关的目标数据参数。
9.一种目标识别分拣装置,其特征在于,包括:
存储器,其上存储有计算机程序;以及
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1至8中任一项所述方法的步骤。
10.一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至8中任一项所述方法的步骤。
CN201910857264.1A 2019-09-11 2019-09-11 目标识别分拣方法、装置和存储介质 Pending CN112487044A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910857264.1A CN112487044A (zh) 2019-09-11 2019-09-11 目标识别分拣方法、装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910857264.1A CN112487044A (zh) 2019-09-11 2019-09-11 目标识别分拣方法、装置和存储介质

Publications (1)

Publication Number Publication Date
CN112487044A true CN112487044A (zh) 2021-03-12

Family

ID=74920517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910857264.1A Pending CN112487044A (zh) 2019-09-11 2019-09-11 目标识别分拣方法、装置和存储介质

Country Status (1)

Country Link
CN (1) CN112487044A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908432A (zh) * 2023-03-13 2023-04-04 单县龙宇生物科技有限公司 一种物料输出品质检测系统及预测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105620974A (zh) * 2015-06-25 2016-06-01 宇龙计算机通信科技(深圳)有限公司 智能垃圾分类装置、终端和智能垃圾分类系统
CN108698089A (zh) * 2017-09-29 2018-10-23 深圳蓝胖子机器人有限公司 一种自动分拣系统及自动分拣机器人
CN108861183A (zh) * 2018-03-26 2018-11-23 厦门快商通信息技术有限公司 一种基于机器学习的垃圾智能分类方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105620974A (zh) * 2015-06-25 2016-06-01 宇龙计算机通信科技(深圳)有限公司 智能垃圾分类装置、终端和智能垃圾分类系统
CN108698089A (zh) * 2017-09-29 2018-10-23 深圳蓝胖子机器人有限公司 一种自动分拣系统及自动分拣机器人
CN108861183A (zh) * 2018-03-26 2018-11-23 厦门快商通信息技术有限公司 一种基于机器学习的垃圾智能分类方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115908432A (zh) * 2023-03-13 2023-04-04 单县龙宇生物科技有限公司 一种物料输出品质检测系统及预测方法

Similar Documents

Publication Publication Date Title
US11295552B2 (en) Mobile user interface extraction
CN111260665B (zh) 图像分割模型训练方法和装置
CN112052186B (zh) 目标检测方法、装置、设备以及存储介质
JP7454743B2 (ja) ジェスチャの検出及び分析に基づくバーコードスキャン
CN107273019B (zh) 基于协同姿势的输入语言
CN110168603A (zh) 用于由设备校正图像的方法及其设备
EP3333767A1 (en) In-field data acquisition and formatting
KR20180055708A (ko) 이미지를 처리하는 전자 장치 및 방법
CN110741377A (zh) 人脸图像处理方法、装置、存储介质及电子设备
WO2015115274A1 (ja) 物体判別装置、画像センサ、物体判別方法
KR20190034021A (ko) 객체를 인식하는 방법 및 장치
CN111611240A (zh) 执行自动机器学习过程的方法、装置及设备
CN110063053B (zh) 用于处理图像的装置和方法
US20220163455A1 (en) System for analyzing a composite object in an image to determine ring characteristics using staged machine learning models
CN114882437A (zh) 一种识别模型的训练方法、装置、电子设备和存储介质
CN111444746B (zh) 一种基于神经网络模型的信息标注方法
CN112487044A (zh) 目标识别分拣方法、装置和存储介质
CN112000264B (zh) 菜品信息展示方法、装置、计算机设备及存储介质
KR20190078222A (ko) 패션 상품을 추천하는 전자 장치, 서버 및 그 동작 방법
CN109255805B (zh) 机器学习的工业智能数据收集系统和方法
WO2019233365A1 (zh) 一种数据处理方法、装置、电子设备和可读介质
CN115546824B (zh) 禁忌图片识别方法、设备及存储介质
KR20170082412A (ko) 인식 대상 맞춤형 비전 시스템 생성 장치 및 방법
Ramya et al. Real time palm and finger detection for gesture recognition using convolution neural network
KR102299393B1 (ko) 제품과 사용자의 매칭을 위한 전자 장치 및 이를 포함하는 매칭 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination