CN110666806B - 物品分拣方法、装置、机器人及存储介质 - Google Patents

物品分拣方法、装置、机器人及存储介质 Download PDF

Info

Publication number
CN110666806B
CN110666806B CN201911050870.9A CN201911050870A CN110666806B CN 110666806 B CN110666806 B CN 110666806B CN 201911050870 A CN201911050870 A CN 201911050870A CN 110666806 B CN110666806 B CN 110666806B
Authority
CN
China
Prior art keywords
sorted
information
target
sorting
article
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911050870.9A
Other languages
English (en)
Other versions
CN110666806A (zh
Inventor
胡安正
池佳豪
黄昭
方诗强
宋瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiangyang Lianjie Electromechanical Co ltd
Original Assignee
Hubei University of Arts and Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hubei University of Arts and Science filed Critical Hubei University of Arts and Science
Priority to CN201911050870.9A priority Critical patent/CN110666806B/zh
Publication of CN110666806A publication Critical patent/CN110666806A/zh
Application granted granted Critical
Publication of CN110666806B publication Critical patent/CN110666806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed

Abstract

本发明属于人工智能技术领域,公开了一种物品分拣方法、装置、机器人及存储介质。该方法包括:采集指令发放者的语音信息,根据语音信息确定目标分拣物品的目标特征信息和针对目标分拣物品的分拣指令;根据目标特征信息确定目标分拣物品的位置信息;根据分拣指令确定目标分拣物品需要分拣到的目标存储区域;根据位置信息和目标存储区域对应的预设位置信息规划行走路径;根据分拣指令和规划行走路径对目标分拣物品进行分拣。通过上述方式,简化了对物品分拣机器人的控制,同时提升了物品分拣的效率和准确性。

Description

物品分拣方法、装置、机器人及存储介质
技术领域
本发明涉及人工智能技术领域,尤其涉及一种物品分拣方法、装置、机器人及存储介质。
背景技术
随着科技的进步和时代的发展,机器人和人工智能更多的进入了人们的生活和工作。特别是应用于机器人上的物品分拣技术在物品生产、物流、无人零售等领域有着广泛的应用价值。
但是,目前记载的相关技术中,对分拣机器人的控制通常是通过接触式完成的,即在使用分拣机器人对物品进行分拣时,工作人员需要先手动在分拣机器人的触控屏上输入需要分拣的物品信息,或者在与分拣机器人通信连接的远程控制设备中输入需要分拣的物品信息。
虽然,这种方式可以实现对物品的分拣,但是针对不同物品的分拣,需要工作人员多次与分拣机器人或控制分拣机器人的远程控制设备进行接触,通过手动操作的方式输入新的物品分拣信息或分拣动作,这样不仅会影响分拣效率,还会因为繁琐的操作方式增大误操作的风险,影响分拣的准确性。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种物品分拣方法、装置、机器人及存储介质,旨在简化对物品分拣机器人的控制,同时提升物品分拣的效率和准确性。
为实现上述目的,本发明提供了一种物品分拣方法,所述方法包括以下步骤:
采集指令发放者的语音信息,根据所述语音信息确定目标分拣物品的目标特征信息和针对所述目标分拣物品的分拣指令;
根据所述目标特征信息确定所述目标分拣物品的位置信息;
根据所述分拣指令确定所述目标分拣物品需要分拣到的目标存储区域;
根据所述位置信息和所述目标存储区域对应的预设位置信息规划行走路径;
根据所述分拣指令和所述行走路径对所述目标分拣物品进行分拣。
优选地,所述根据所述语音信息确定目标分拣物品的目标特征信息和针对所述目标分拣物品的分拣指令的步骤,包括:
对所述语音信息进行预处理,得到待处理语音信息;
对所述待处理语音信息进行特征提取,得到语音信号特征参数;
根据所述语音信号特征参数与预先构建的语音指令模板库,确定所述目标分拣物品的目标特征信息和针对所述目标分拣物品的分拣指令。
优选地,所述根据所述语音信号特征参数与预先构建的语音指令模板库,确定所述目标分拣物品的目标特征信息和针对所述目标分拣物品的分拣指令的步骤之前,所述方法还包括:
对样本语音信息进行预处理,得到待处理样本语音信息;
对所述待处理样本语音信息进行特征提取,得到样本语音信号特征参数;
采用鲁棒性训练方式,对所述样本语音信号特征参数进行鲁棒性训练,得到所述语音指令模板库。
优选地,所述采集指令发放者的语音信息的步骤之前,所述方法还包括:
提取识别到的至少一个对象的生物特征信息;
根据所述生物特征信息,从所述至少一个对象中筛选出待交互对象,并统计筛选出的待交互对象的数量;
若筛选出的待交互对象的数量等于1,则确定所述待交互对象为指令发放者;
若筛选出的待交互对象的数量大于1,则根据预设的优先级设置条件,为筛选出的各待交互对象设置优先级,并将优先级最高的待交互对象确定为指令发放者;
建立与所述指令发放者之间的无线通信通道;
相应地,所述采集指令发放者的语音信息的步骤,包括:
基于预设的无线通信方式,通过所述无线通信通道采集所述指令发放者的语音信息。
优选地,所述根据所述目标特征信息确定所述目标分拣物品的位置信息的步骤,包括:
根据所述目标特征信息确定所述目标分拣物品在采集到的待分拣物品图像中的像素坐标;
根据所述像素坐标确定所述目标分拣物品的位置信息。
优选地,所述根据所述目标特征信息确定所述目标分拣物品在采集到的待分拣物品图像中的像素坐标的步骤之前,所述方法还包括:
对采集到的所述待分拣物品图像进行特征提取,得到待分拣物品的参考特征信息;
根据所述目标特征信息和所述参考特征信息,判断所述待分拣物品图像中是否包含所述目标分拣物品;
若所述待分拣物品图像中包含所述目标分拣物品,则执行所述根据所述目标特征信息确定所述目标分拣物品在采集到的待分拣物品图像中的像素坐标的操作。
优选地,所述对采集到的所述待分拣物品图像进行特征提取,得到待分拣物品的参考特征信息的步骤,包括:
获取所述待分拣物品图像的首帧信息;
根据所述首帧信息对所述待分拣物品图像进行区域划分,得到多个待识别区域;
对各待识别区域中的图像像素点进行区域增强,得到各待识别区域对应的加强区域;
提取各加强区域中的物品轮廓信息,并对提取出的各物品轮廓信息进行降噪处理,得到若干个待处理物品轮廓信息;
对各待处理物品轮廓信息进行特征提取,得到所述待分拣物品的多个参考特征片段;
将各参考特征片段进行汇聚,得到所述待分拣物品的参考特征信息。
此外,为实现上述目的,本发明还提出一种物品分拣装置,所述装置包括:
第一确定模块,用于采集指令发放者的语音信息,根据所述语音信息确定目标分拣物品的目标特征信息和针对所述目标分拣物品的分拣指令;
第二确定模块,用于根据所述目标特征信息确定所述目标分拣物品的位置信息;
第三确定模块,用于根据所述分拣指令确定所述目标分拣物品需要分拣到的目标存储区域;
规划模块,用于根据所述位置信息和所述目标存储区域对应的预设位置信息规划行走路径;
分拣模块,用于根据所述分拣指令和所述行走路径对所述目标分拣物品进行分拣。
此外,为实现上述目的,本发明还提出一种物品分拣机器人,所述物品分拣机器人包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的物品分拣程序,所述物品分拣程序配置为实现如上文所述的物品分拣方法的步骤。
此外,为实现上述目的,本发明还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有物品分拣程序,所述物品分拣程序被处理器执行时实现如上文所述的物品分拣方法的步骤。
本发明提供的物品分拣方案,通过对指令发放者的语音信息进行分析处理,进而确定需要进行分拣的目标分拣物品的目标特征信息和针对其的分拣指令,实现了在对物品进行分拣的过程中,无需操作人员与物品分拣机器人接触,只需通过语音发号施令即可实现对物品分拣机器人的实时控制的效果,从而大大简化了对物品分拣机器人的控制,减少了不必要的暂停,提升了物品分拣的效率。
并且,由于整个控制过程是通过语音实现的,操作人员无需掌握和记录任何操作规则,因此也尽可能的减少了误操作的风险,从而大大提升了物品分拣的准确性。
再者,由于整个控制过程是通过语音实现的,故而可以不限制操作人员必需待在物品分拣现场,使的物品分拣机器人能够更好的应用于环境恶劣、不适合操作人员待在现场进行控制的场景,从而保护了操作人员的安全。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的物品分拣机器人的结构示意图;
图2为本发明物品分拣方法第一实施例的流程示意图;
图3为本发明物品分拣方法第二实施例的流程示意图;
图4为本发明物品分拣方法第二实施例中步骤S00的具体流程示意图;
图5为本发明物品分拣装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
参照图1,图1为本发明实施例方案涉及的硬件运行环境的物品分拣机器人结构示意图。
如图1所示,该物品分拣机器人可以包括:处理器1001,例如中央处理器(CentralProcessing Unit,CPU),通信总线1002、用户接口1003,网络接口1004,存储器1005。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity,WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory,RAM)存储器,也可以是稳定的非易失性存储器(Non-Volatile Memory,NVM),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的结构并不构成对物品分拣机器人的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及物品分拣程序。
在图1所示的物品分拣机器人中,网络接口1004主要用于与网络服务器进行数据通信;用户接口1003主要用于与用户进行数据交互;本发明物品分拣机器人中的处理器1001、存储器1005可以设置在物品分拣机器人中,所述物品分拣机器人通过处理器1001调用存储器1005中存储的物品分拣程序,并执行本发明实施例提供的物品分拣方法。
本发明实施例提供了一种物品分拣方法,参照图2,图2为本发明一种物品分拣方法第一实施例的流程示意图。
本实施例中,所述物品分拣方法包括以下步骤:
步骤S10,采集指令发放者的语音信息,根据所述语音信息确定目标分拣物品的目标特征信息和针对所述目标分拣物品的分拣指令。
具体的说,由于本实施例提供的物品分拣方法主要是应用于物品分拣机器人,也可以称为物品分拣设备的。故而,本实施例的执行主体即为用于进行物品分拣操作的物品分拣机器人。
此外,由于物品分拣机器人需要采集指令发放者的语音信息,故而能够执行本实施例提供的物品分拣方法的物品分拣机器人需要具备语言采集功能,即物品分拣机器人上需要设置至少一个语音采集器。
关于语音采集器的选取,以及在物品分拣机器人上的具体设置位置、个数,本领域技术人员可以根据需要进行选取并进行设置,本实施例对此不做限制。
此外,在实际应用中,为了保证物品分拣机器人采集到的语音信息更加清晰,指令发放者可以通过扩音设备,比如话筒、喇叭等来下发语音信息。
此外,关于上述所说的根据所述语音信息确定目标分拣物品的目标特征信息和针对所述目标分拣物品的分拣指令的操作,在实际应用中可以通过如几个步骤实现:
(1)为了减少人体发声器官和采集语音信息的语音采集器带来的混叠,提高用于确定目标特征信息和分拣指令的语音信息的质量,在具体实现时,需要先对采集到的语音信息进行预处理,进而得到待处理语音信息。
具体的说,在本实施例中,上述所说的预处理操作,可以是对语音信息的预加重、分帧、加窗等任意一项或几项的处理操作。
需要说明的是,本实施例之所以要对语音信号进行预加重处理,是由于通常情况下,语音信号(以下用s(n)表示经过采样后离散的语音信号,n表示采样时间点)的平均功率谱会受声门激励和鼻辐射的影响。
比如,在高频段大于1000Hz以上时,频率越高,语音信号中对应的有用信息就会越少,即在高频段的语音信号中通常存在的是一些噪声。
故而,为了提升语音信息的质量,以保证后续确定的目标特征信息和分拣指令的准确性,需要先对语音信息中处于高频段的语音信号进行预加重的处理,以去除高频段的语音信号中的噪声,提升整个语音信息的质量。
通常情况下,可以采用数字滤波器来实现对语音信息中高频段的语音信号的预加重处理。
此外,值得一提的是,关于上述所说的预加重处理,在具体实现中预加重过程中输出的语音信号(s’(n))和输入的语音信号(s(n))可以遵循如下关系:s’(n)=s(n)-a(n-1)。
其中,a为预加重系数,本实施例中的取值为0.9。在具体实现中,本领域技术人员可以根据需要进行设置,本实施例对此不做限制。
进一步地,由于语音信号具体时变特性,故而为了保证确定的目标特征信息和分拣指令的准确性,需要将语音信息进行分帧处理,即将语音信息以帧为单位,划分为若干段,然后通过对各个语音信息片段的分析,获得若干个特征信息片段和分拣指令片段,最终通过对多个特征信息片段的汇聚得到目标特征信息,通过对多个分拣指令片段的汇聚得到分拣指令。
此外,值得一提的是,在本实施例中,划分的语音信息片段,具体是以10毫秒-30毫秒为一帧的长度进行划分的。但在实际应用中,本领域技术人员可以根据需要进行设置,本实施例对此不做限制。
进一步地,关于上述所说的加窗处理,在本实施例中具体是采用窗函数,比如目前较为普及的汉民窗函数对语音信息进行滤波,从而使得整个语音信息对应的频谱变得更为平滑,进而一步提升语音信息的整体质量。
应当理解的是,以上给出的仅为三种具体的预处理方式,对本发明的技术方案并不构成任何限定,在具体实现中,本领域技术人员可以根据需要设置不同的预处理操作,本实施例对此不做限制。
(2)对所述待处理语音信息进行特征提取,得到语音信号特征参数。
具体的说,在本实施例中,对经过预处理操作得到的待处理语音信息的特征提取操作选取的是梅尔频率倒谱系数(Mel-Frequency Cepstral Coefficients,MFCC)的方式实现的。
所谓MFCC,具体是通过模拟人耳对不同频段语音的感知,基于人的听觉特征,并利用人听觉的临界效应实现对语音信息的特征提取。故而,保证了本实施例中提取出的语音信号特征参数更加贴合用户的实际情况。
由于MFCC已经是一种较为常用的语音信号特征提取方式,故而本实施例对其的具体使用方式不再赘述,本领域技术人员可以通过查看相关技术文档自行实现。
此外,值得一提的是,由于本实施例的目的在于获得语音信号特征参数,对获取语音信号特征参数的具体方式并不做限制,故而在实际应用中,本领域技术人员也可以根据需要选择其他的特征提取方式来获得语音信号特征参数,本实施例对此不做限制。
(3)根据所述语音信号特征参数与预先构建的语音指令模板库,确定所述目标分拣物品的目标特征信息和针对所述目标分拣物品的分拣指令。
具体的说,关于上述步骤(3)所说的操作,在具体实现中,实质是将所述提取出的语音信号特征参数与预先构建的语音指令模板库中存储的语音信号特征参数进行对比,进而将与提取出的语音信号特征参数匹配的预存语音信号特征参数对应的特征信息确定为所述目标分拣物品的目标特征信息,将对应的分拣指令确定为针对所述目标分拣物品的分拣指令。
具体的,在实际应用中,可以采用基于动态时间弯折算法(Dynamic TimeWarping,DTW)来实现上述所说的匹配过程。
需要说明的是,本实施例之所以选取DTW算法来进行特征匹配,是因为DTW算法应用动态规则方法解决了语音信号特征参数序列比较时长不等的问题,故而能够适应于各种形式的语音信号特征识别。
由于DTW算法已经是一种较为常用的匹配方式,故而本实施例对其的具体使用方式不再赘述,本领域技术人员可以通过查看相关技术文档自行实现。
此外,值得一提的是,在实际应用中,为了尽可能保证进行匹配的两个语音信号特征参数具有可比性,可以在进行匹配操作之前,先对不同语音信号特征参数对应的时间进行归一化处理,进而使得相比较的任意两个语音信号特征参数满足线性规整,保证比对结果的准确性。
此外,应当理解的是,在实际应用中,为了保证上述步骤(3)的顺利进行,需要在执行上述步骤(3)之前,先构建所述语音指令模板库。
关于构建所述语音指令模板库的操作,大致可以如下:
首先,对样本语音信息进行预处理,得到待处理样本语音信息。
具体的说,此处所说的样本语音信息可以是不同年龄、不同性别的用户的语音信息。
然后,对所述待处理样本语音信息进行特征提取,得到样本语音信号特征参数。
关于上述所说的预处理操作,以及特征提取操作,与上述步骤(1)和步骤(2)给出的实现方式大致相同,此处不再赘述。
当然,在实际应用中,本领域技术人员也可以根据需要选取其他预处理方式及特征提取方式来完成上述两个步骤,本实施例对此不做限制。
最后,采用鲁棒性训练方式,对所述样本语音信号特征参数进行鲁棒性训练,得到所述语音指令模板库。
所谓鲁棒性训练,是以串行训练的方式将每一个词重复说多遍,直到得到一对一致性较好的特征矢量序列,从而保证最后得到的模板是在一致性较好的特征矢量序列对TDW的路径上求平均的结果。
关于其训练过程,大致如下:
首先,对某个特定的词条进行特征矢量序列排序,比如令X1={x11,x12,x13,...,x1T1}为第一遍的特征矢量序列,X2={x21,x22,x23,...,x2T2}为第二遍的特征矢量序列;
然后,通过DTW算法计算这个模板的失真得分d(X1,X2),如果该值小于某个特征门限,便认为其特征矢量序列一致性较好;
最后,通过X1,X2的时间弯曲折平均得到一个新的鲁棒性训练的模板Y={y1,y2,y3,...,yT},该模板中记载的特征信息即为上述所说的语音指令模板库中存储的相应特征信息和分拣指令信息。
同样,由于鲁棒性训练也是一种较为常见的训练方式,关于训练过程中的具体细节,此处不再赘述,本领域技术人员可以根据需要合理进行设置,本实施例对此不做限制。
需要说明的是,以上给出的仅为一种构建语音指令模板库的具体实现方式,对本发明的技术方案并不构成任何限定,在具体应用中,本领域的技术人员可以根据需要选取合适的训练方式构建语音指令模板库,本发明对此不做限制。
此外,需要说明的是,本实施例中所说的目标特征信息,可以包括目标分拣物品的形状、颜色、大小、材质等信息。
相应地,确定的分拣指令,可以是用于告知物品分拣机器人需要将目标分拣物品分拣到哪一存储区域。
比如,在采集到的语音信息为“将颜色为红色,体积为27立方厘米的正方体纸盒分拣到第一存储区域”时,确定的目标特征可以是“红色、27立方厘米、正方体、纸盒”,确定的分拣指令可以是“将颜色为红色,体积为27立方厘米的正方体纸盒分拣到第一存储区域”,也可以是其他格式的指令,本实施例对此不做限制。
此外,由于本实施例提供的物品分拣方法主要是用于控制物品分拣机器人的,故而对物品分拣机器人的具体结构、外形并不做任何限制,只要能按照本实施例提供的物品分拣方法进行物品分拣操作的物品分拣机器人均可。
步骤S20,根据所述目标特征信息确定所述目标分拣物品的位置信息。
具体的说,在本实施例中上述所说的位置信息是指目标分拣物品在实际三维空间中所处的位置,故而该位置信息就是标准所述目标分拣物品的位置坐标。
此外,需要说明的是,在实际应用中,上述所说的根据所述目标特征信息确定所述目标分拣物品的位置信息的操作,可以是先根据所述目标特征信息确定所述目标分拣物品在采集到的待分拣物品图像中的像素坐标,然后根据所述像素坐标确定所述目标分拣物品的位置信息。
具体的,在根据得到的像素坐标确定所述目标分拣物品的位置信息时,可以根据双目定位原理,或单目定位原理实现。
由于双目定位和单目定位的方式已经相当成熟,此处不再赘述具体处理过程,本领域技术人员可以自行查找相关资料实现,本实施例对此不做限制。
此外,由于在确定所述目标分拣物品的位置信息时,需要根据目标分拣物品在待分拣物品图像中的像素坐标确定,故而执行本实施例提供的物品分拣方法的物品分拣机器人上需要设置有至少一个图像采集设备,比如摄像头。
相应地,由于实际应用中,待分拣物品往往会有多个,故而采集到的待分拣物品图像中除了包括上述所说的目标分拣物品之外,还会包括其他物品。
此外,应当理解的是,关于图像采集设备的选取,以及在物品分拣机器人上的具体设置位置、个数,本领域技术人员可以根据需要进行选取并进行设置,本实施例对此不做限制。
进一步地,在实际应用中,为了保证上述操作“根据所述目标特征信息确定所述目标分拣物品在采集到的待分拣物品图像中的像素坐标”的顺利进行,需要在执行该操作之前,先进行如下操作:
(1)对采集到的所述待分拣物品图像进行特征提取,得到待分拣物品的参考特征信息。
关于上述所说的对待分拣物品图像进行的特征提取操作,大致可以如下:
(1.1)获取所述待分拣物品图像的首帧信息。
具体的说,由于在实际应用中,安装在物品分拣机器人上的摄像头采集到的图像信息通常是320*240像素的,但是为了避免一些不必要的干扰,作为后续需要进行识别的区域是需要去除上边界图像和下边界图像的,故而需要获取所述待分拣物品图像的首帧信息,以便根据首帧信息对所述待分拣物品图像进行区域划分。
(1.2)根据所述首帧信息对所述待分拣物品图像进行区域划分,得到多个待识别区域。
(1.3)对各待识别区域中的图像像素点进行区域增强,得到各待识别区域对应的加强区域。
关于对待识别区域中的图像像素点的增强操作,在实际应用中可以分为如下两种:
方式一:
首先,将各待识别区域对应的红绿蓝RGB图像经过高斯滤波平滑处理后转换到色度,饱和度,明度(Hue,Saturation,Value,HSV)空间;
然后,依据各待识别区域对应的亮度图像的平均像素亮度值设置增强图像对比度,具体的设置可以如下:
比如,在平均像素亮度值高于预设阈值时,在HSV空间中对亮度图像的饱和度进行直方图均衡化处理,实现区域增强;
还比如,在平均值像素亮度值低于预设阈值时,在HSV空间中对亮度图对应的灰度图像进行若干次非线性增强,实现区域增强。
方式二:
首先,将各待识别区域对应的RGB图像经过高斯滤波平滑处理后转换到HSV空间;
然后,依据不同光照条件下各待识别区域对应的RGB图像色彩度的不同,对HSV空间进行加权选取;
最后,对HSV空间加权后的待识别区域中的图形像素点进行非线性增强,实现区域增强。
应当理解的是,以上给出的仅为两种对区域增强的具体实现方式,对本发明的技术方案并不构成任何限定,在实际应用中,本领域技术人员可以根据需要选取合适的区域增强方式,本实施例对此不做限制。
(1.4)提取各加强区域中的物品轮廓信息,并对提取出的各物品轮廓信息进行降噪处理,得到若干个待处理物品轮廓信息。
具体的说,关于从加强区域中提取物品轮廓信息的方式,可以采用根据需要选取当前较为常用的轮廓提取方式实现,本实施例对此不做限制。
此外,为了保证提取的物品轮廓信息的精准性,可以在进行物品轮廓信息提取操作之前,先对加强区域中特定颜色,或者特定形状的物品进行复式和膨胀处理。
此外,关于上述所说的对提取出的各物品轮廓信息进行的降噪处理,具体可以是采用阈值面积法进行降噪,以去除物品轮廓信息中的噪点。
(1.5)对各待处理物品轮廓信息进行特征提取,得到所述待分拣物品的多个参考特征片段。
(1.6)将各参考特征片段进行汇聚,得到所述待分拣物品的参考特征信息。
应当理解的是,以上给出的仅为一种具体的图像处理方式,对本发明的技术方案并不构成任何限定,在实际应用中,本领域技术人员可以根据需要进行设置,本实施例对此不做限制。
(2)根据所述目标特征信息和所述参考特征信息,判断所述待分拣物品图像中是否包含所述目标分拣物品。
具体的说,上述所说的根据所述目标特征信息和所述参考特征信息,判断所述待分拣物品图像中是否包含所述目标分拣物品的操作,具体可以是将所述目标特征信息与所述参考特征信息进行匹配,若所述参考特征信息与所述目标特征信息匹配,则认为所述待分拣物品图像中包含所述目标分拣物品,并将所述参考特征信息对应的待分拣物品确定为所述目标分拣物品。
相应地,若所述待分拣物品图像中包含所述目标分拣物品,则执行所述根据所述目标特征信息确定所述目标分拣物品在采集到的待分拣物品图像中的像素坐标的操作。
进一步地,在实际应用中,如果通过判断,确定所述待分拣物品图像中不包含所述目标分拣物品,为了提升用户体验,可以设置物品分拣机器人作出相关提示,比如直接播放未识别到目标分拣物品的语音信息,从而告知指令发放者重新发放语音指令。
步骤S30,根据所述分拣指令确定所述目标分拣物品需要分拣到的目标存储区域。
具体的说,由于确定的分拣指令中通常已经指明了所述目标分拣物品需要分拣到的目标存储区域,故而直接根据所述分拣指令便可以确定所述目标分拣物品需要分拣到的目标存储区域。
步骤S40,根据所述位置信息和所述目标存储区域对应的预设位置信息规划行走路径。
应当理解的是,在实际应用中,处了根据所述位置信息和所述目标存储区域对应的预设位置信息规划行走路径之外,还可以引入其他参考因素,比如通过对采集到的待分拣物品图像中所述目标分拣物品周围环境的分析情况,来规划行走路径。
进一步地,在根据上述因素规划处的行走路径有多条时,可以根据行走时长、距离、困难度等因素,筛选一条最优的路径作为上述所说的行走路径。
步骤S50,根据所述分拣指令和所述行走路径对所述目标分拣物品进行分拣。
应当理解的是,由于分拣指令已经规定了需要分拣的对象,以及需要分拣到的存储区域,而行走路径则规定了物品分拣机器人需要按照哪种具体的路线往返与目标分拣物品和目标存储区域之间。故而,上述所说的根据所述分拣指令和所述行走路径对所述目标分拣物品进行分拣的操作即为按照所述行走路径,将所述目标分拣物品分拣到所述分拣指令规定的目标存储区域中。
此外,为了尽可能降低物品分拣机器人的实现成本,提高物品分拣机器人分拣物品的性能比,本实施例中采用树莓派开发板作为驱动,处理器采用高性能,具有4核的BCM2837处理器,在降低物品分拣机器人耗电量的同时,基于树莓派能够支持多进程处理的特性,使物品分拣机器人能够支持多进程同时处理,从而大大提高了物品分拣效率。
应当理解的是,以上给出的仅为一种具体的实现方式,对本发明的技术方案并不构成任何限定,在实际应用中,本领域技术人员可以根据需要进行设置,本实施例对此不做限制。
通过上述描述不难发现,本实施例提供的物品分拣方法,通过对指令发放者的语音信息进行分析处理,进而确定需要进行分拣的目标分拣物品的目标特征信息和针对其的分拣指令,实现了在对物品进行分拣的过程中,无需操作人员与物品分拣机器人接触,只需通过语音发号施令即可实现对物品分拣机器人的实时控制的效果,从而大大简化了对物品分拣机器人的控制,减少了不必要的暂停,提升了物品分拣的效率。
并且,由于整个控制过程是通过语音实现的,操作人员无需掌握和记录任何操作规则,因此也尽可能的减少了误操作的风险,从而大大提升了物品分拣的准确性。
参考图3,图3为本发明一种物品分拣方法第二实施例的流程示意图。
基于上述第一实施例,本实施例物品分拣方法在所述步骤S10之前,还包括:
步骤S00,确定指令发放者。
为了便于理解步骤S00中所说的确定指令发放者的操作,以下结合图4进行具体说明。
如图4所示,在具体实现过程中,步骤S00可以通过子步骤S01和子步骤S02两个步骤实现,具体的:
子步骤S01,提取识别到的至少一个对象的生物特征信息。
具体的说,在本实施例中,提取识别到的至少一个对象的生物特征信息的操作,具体可以是在以物品分拣机器人所处位置为圆心的预设范围(如5米)内检测到有至少一个对象接近时触发的,通过这种检测方式使物品分拣机器人能够感知自身所处位置360度范围内的对象。
值得一提的是,在本实施例中,物品分拣机器人确定识别到对象的操作,具体可以是通过物品分拣机器人上安装的接近传感器实现,比如在将物品分拣机器人放置在待分拣物品所在的场所,并将其启动后,接近传感器就可以感知以物品分拣机器人为圆心的5米范围内是否有对象接近,如果感知到有对象的移动信息或存在信息后,就将感知到的信息转换为电气信号,由物品分拣机器人的处理器,如上述所说的树莓派开发板控制物品分拣机器人的生物特征采集装置去提取识别到的至少一个对象的生物特征信息。
为了便于理解提取生物特征信息的具体实现方式,以下罗列了几种具体的提取方式,具体如下:
方式一:控制物品分拣机器人进行图像采集,并从采集到的图像中提取至少一个对象的生物特征,得到至少一个对象的生物特征信息。
方式二:控制物品分拣机器人进行语音采集,并从采集到的语音中提取至少一个对象的生物特征,得到至少一个对象的生物特征信息。
方式三:控制物品分拣机器人进行图像采集和语音采集,并从采集到的图像中提取至少一个对象的生物特征,得到至少一个对象的生物特征信息,同时从采集到的语音中提取至少一个对象的生物特征,得到至少一个对象的生物特征信息。
另外,在采用方式三提取生物特征信息时,可以进一步对从图像中得到的对象的生物特征信息和从语音中得到的对象生物特征信息进行分析处理,从而确定属于同一个对象的生物特征信息,使得后续筛选待交互对象的操作中,能够根据同一个对象来自图像中对象的生物特征信息和来自语音中对象的生物特征信息进行综合分析,从而提升筛选出的待交互对象的准确性。
需要说明的是,在本实施例中,提取的生物特征信息具体包括生理特征信息和/或行为特征信息。
其中,生理特征信息具体可以是识别到的对象的面部信息、眼部信息、声纹信息(具体指能够分析出声音来自谁的信息)等相关信息中的任意一个或任意组合,行为特征信息具体可以是识别到的对象的位移信息、所说的话语中的语音内容信息(具体指能够识别出所说内容的信息)等相关信息中的任意一个或任意组合。
比如说,在从采集到的图像中提取至少一个对象的生物特征时,通常可以提取到对象的面部信息和/或眼部信息等生理特征信息,以及位移信息等行为特征信息。
还比如说,在从采集到的语音中提取至少一个对象的生物特征时,通常可以提取到对象的声纹信息等生理特征信息,以及语音内容信息等行为特征信息。
另外,上述控制物品分拣机器人进行图像采集,具体可以是控制物品分拣机器人自身的图像采集装置,如摄像头进行图像采集,也可以是从与机器人通信连接的外部图像采集设备获取,如物品分拣机器人所处场合中安装的监控设备,或者两种方式配合采集。
同理,上述控制物品分拣机器人进行语音采集,也可以是利用物品分拣机器人自身的语音采集装置和/或与其通信连接的外部语音采集装置获取。
另外,值得一提的是,在确定识别到对象后,控制物品分拣机器人进行图像采集和/或语音采集之前,可以根据感知到对象的方向信息,控制机器人转动到面向识别到的对象所在的方向,然后在控制物品分拣机器人进行图像和/或语音的采集操作,从而保证采集到的图像和语音中有识别到的对象,使得后续提取的对象的生物特征信息更加完整,进而保证最终筛选出的待交互对象更加准确。
另外,本实施例中所说的采集到的图像并不局限为照片等图像信息,还可以是视频中的图像信息,此处不做限制。
需要说明的是,以上仅为举例说明,在实际应用中,本领域的技术人员可以根据其掌握的技术手段合理设置,只要能够根据提取到的生物特征信息,从识别到的至少一个对象中筛选出待交互对象即可。
子步骤S02,根据所述生物特征信息,从所述至少一个对象中筛选出待交互对象,并统计筛选出的待交互对象的数量。
相应地,若筛选出的待交互对象的数量等于1,则确定所述待交互对象为指令发放者;若筛选出的待交互对象的数量大于1,则根据预设的优先级设置条件,为筛选出的各待交互对象设置优先级,并将优先级最高的待交互对象确定为指令发放者。
此外,值得一提的是,因为在实际应用中,接近物品分拣机器人的对象不一定都是需要进行交互,即发出语音指令的对象,如接近物品分拣机器人的可能是小动物或其他终端设备,并非人。因此,可以通过将提取到的生物特征信息与预存的人的样本信息进行比对,将非人对象排除掉,从而保证后续操作的准确性。
此外,在确定识别到的对象中有多个人时,还可以进一步通过分析每个人的生物特征,如位移方向(是否是朝向物品分拣机器人运动等)、眼部信息(是否在注视物品分拣机器人等)等确定其是否准备发放语音指令,将这些可能发放语音指令的人确定为待交互对象。
接着,通过判断筛选出的待交互对象,按照上述规则确定指令发放者。
应当理解的是,以上给出的仅为一种从众多说话的对象中确定进行指令发放者的具体实现方式,对本发明的技术方案并不构成任何限定,在实际应用中,本领域技术人员可以根据需要进行设置,本实施例对此不做限制。
步骤S03,建立与所述指令发放者之间的无线通信通道。
相应地,所述采集指令发放者的语音信息的步骤,包括:
基于预设的无线通信方式,通过所述无线通信通道采集所述指令发放者的语音信息。
具体的说,本实施例之所以要建立与所述指令发放者之间的无线通信通道是为了使物品分拣机器人能够更好的应用于环境恶劣、不适合操作人员待在现场进行控制的场景,从而保护操作人员的安全。
故而,在开启物品分拣机器人之后,对物品分拣机器人下发操作指令之前,需要先建立物品分拣机器人与确定的指令发放者之间的无线通信通道,然后基于预设的无线通信方式,通过所述无线通信通道采集所述指令发放者的语音信息。
应当理解的是,关于上述所说的预选建立的物品分拣机器人与确定的指令发放者之间的无线通信通道,具体可以根据选用的无线通信方式确定,比如说基于Zigbee无线通信方式建立Zigbee点对点无线通信信道、基于wifi无线通信方式建立wifi点对点无线通信信道、基于NFC无线通信方式NFC点对点无线通信信道、基于4G/5G无线通信方式建立4G/5G点对点无线通信信道等。
为了便于理解,本实施例以基于Zigbee无线通信方式建立Zigbee点对点无线通信信道为例,进行具体说明:
具体的说,在采用的无线通信方式为Zigbee无线通信方式时,可以先在物品分拣机器人和指令发放者使用的语音设备,如话筒、喇叭或其他终端设备中植入预先编译好的Zigbee点对点通信协议脚本文件,并运行,从而建立物品分拣机器人与指令发放者使用的语音设备之间的Zigbee点对点无线通信信道。
关于上述所说的Zigbee点对点通信协议脚本文件,在实际应用中可以包括如下两个方面的内容:
(1)指令发放者使用的语音设备的设备参数,以及物品分拣机器人的设备参数,从而使得物品分拣机器人与指令发放者使用的语音设备能够根据各自的设备参数完成握手连接,建立所述Zigbee点对点无线通信信道;
(2)用于对后续采用Zigbee无线通信方式,通过所述Zigbee点对点无线通信信道采集到的所述指令发放者的语音信息进行解析的处理逻辑。
在本实施例中,通过所述Zigbee点对点无线通信信道采集到的所述指令发放者的语音信息进行解析的处理逻辑,大致可以如下:
首先,所述指令发放者使用的语音设备中的Zigbee通信模块在接收到指令发放者的语音信息,即语音数据包(通常为20个字节)时,提取所述语音数据包的前2个字节作为帧头,其后16个字节作为真正需要传输的语音信息,最后2个字节作为帧尾校验;
然后,所述所述指令发放者使用的语音设备通过所述Zigbee点对点无线通信信道将经过上述处理后的语音数据包传输至所述物品分拣机器人中的Zigbee模块中;
最后,所述物品分拣机器人中的Zigbee模块,从接收到的语音数据包中提取帧头和帧尾,并对帧头和帧尾进行检验,若检验成功,则从所述语音数据包中提取出真正需要处理的语音信息进行分析,以进行后续操作。
应当理解的是,以上仅为构建物品分拣机器人与指令发放者使用的语音设备之间的无线通信信道的一种具体实现方式,对本发明的技术方案并不构成任何限定,在实际应用中,本领域技术人员可以根据需要选取合适的无线通信方式,构建相应的无线通信信道,实现对指令发放者的语音信息的采集处理,本实施例对此不做限制。
此外,值得一提的是,在实际应用中,本领域技术人员可以根据物品分拣机器人需要与指令发放者之间保持的安全距离,选择合适的无线通信方式,以及设置各无线通讯方式需要接入的工作频段和频率,本实施例对此也不做任何限制。
此外,需要说明的是,以上给出的物品分拣方法中,关于对指令发放者的语音信息进行分析,进而提取分拣指令的操作,具体是由设置于物品分拣机器人上的语音处理芯片实现,即设置于所述指令发放者使用的语音设备上语音采集芯片,在该种方式中仅用于采集指令发放者的语音信息,然后将采集到的语音信息直接发送至物品分拣机器人上的语音处理芯片,或者进行简要的降噪、数据清洗等操作后,将采集到的语音信息发送至物品分拣机器人上的语音处理芯片,由物品分拣机器人上的语音处理芯片对接收到的指令发放者的语音信息进行分析处理,进而提取出针对目标分拣物品的分拣指令。
关于由物品分拣机器人上的语音处理芯片对接收到的指令发放者的语音信息进行分析处理,进而提取出针对目标分拣物品的分拣指令,详见上述物品分拣方法第一实施例中所说的可以通过提取语音信息中的语音信号特征参数,然后根据所述语音信号特征参数与预先构建的语音指令模板库进行确定,此处不再赘述。
进一步地,在实际应用中,为了尽可能扩大物品分拣机器人与指令发放者之间的距离,即尽可能实现远距离控制。对于指令发放者语音信息的分析操作,可以由采集所述语音信息的话筒、喇叭或其他用户手持的终端设备完成。
具体的说,这种方案中,设置于指令发放者使用的语音采集设备中的语音处理芯片在采集到指令发放者的语音信息后,先对采集到的语音信息进行预处理,以及特征提取的操作,进而得到语音信号特征参数,然后将提取出的语音信号特征参数与预先构建的语音指令模板库中的语音信号特征参数进行对比,进而确定分拣指令,最后只需通过与物品分拣机器人之间的无线通信通道,将所述分拣指令发送给物品分拣机器人即可。通过这种减少发送内容,仅发送明确的分拣指令的方式,有效延长了物品分拣机器人与指令发放者之间的距离,使得指令发放者可以更好的对物品分拣机器人进行远距离控制。
此外,应当理解的是,在对指令发放者的语音信息进行分析,提取语音指令的操作放在指令发放者使用的语音采集设备中的语言处理芯片完成时,上述所说的预选构建的语音指令模板库在实际应用中则可以存储到指令发放者使用的语音采集设备中。当然,为了减小对指令发放者使用的语音采集设备内存的占用,所述语音指令模板库也可以存放在其他远端设备中,只需通过无线通信方式建立指令发放者使用的语音采集设备与存放所述语音指令模板库的远端设备之间的通信连接即可,本领域技术人员可以根据需要进行设置,本实施例对此不做任何限制。
通过上述描述不难发现,本实施例提供的物品分拣方法,在采集指令发放者的语音信息之前,通过设置物品分拣机器人提取识别到的对象的生物特征信息,并根据生物特征信息来确定真正的指令发放者,从而保证了物品分拣机器人最终采集、分析处理的语音信息为有效的语音信息,尽可能的避免了误响应的现象发生,在保障物品分拣效率和准确性的同时,也尽可能的提升了用户体验。
此外,本实施例提供的物品分拣方法,通过采用无线通讯方式采集、处理指令发放者的语音信息,故而可以不限制操作人员必需待在物品分拣现场,使的物品分拣机器人能够更好的应用于环境恶劣、不适合操作人员待在现场进行控制的场景,从而保护了操作人员的安全。
此外,本发明实施例还提出一种计算机可读存储介质,所述计算机可读存储介质上存储有物品分拣程序,所述物品分拣程序被处理器执行时实现如上文所述的物品分拣方法的步骤。
参照图5,图5为本发明物品分拣装置第一实施例的结构框图。
如图5所示,本发明实施例提出的物品分拣装置包括:第一确定模块5001、第二确定模块5002、第三确定模块5003、规划模块5004和分拣模块5005。
其中,第一确定模块5001,用于采集指令发放者的语音信息,根据所述语音信息确定目标分拣物品的目标特征信息和针对所述目标分拣物品的分拣指令;第二确定模块5002,用于根据所述目标特征信息确定所述目标分拣物品的位置信息;第三确定模块5003,用于根据所述分拣指令确定所述目标分拣物品需要分拣到的目标存储区域;规划模块5004,用于根据所述位置信息和所述目标存储区域对应的预设位置信息规划行走路径;分拣模块5005,用于根据所述分拣指令和所述行走路径对所述目标分拣物品进行分拣。
关于第一确定模块5001根据所述语音信息确定目标分拣物品的目标特征信息和针对所述目标分拣物品的分拣指令的操作,在实际应用中可以通过如下几个步骤实现:
首先,对所述语音信息进行预处理,得到待处理语音信息;
然后,对所述待处理语音信息进行特征提取,得到语音信号特征参数;
最后,根据所述语音信号特征参数与预先构建的语音指令模板库,确定所述目标分拣物品的目标特征信息和针对所述目标分拣物品的分拣指令。
相应地,为了保证上述步骤“根据所述语音信号特征参数与预先构建的语音指令模板库,确定所述目标分拣物品的目标特征信息和针对所述目标分拣物品的分拣指令”的操作能够顺利执行,在实际应用中,执行该步骤之前,还可以先进行如下操作:
首先,对样本语音信息进行预处理,得到待处理样本语音信息;
然后,对所述待处理样本语音信息进行特征提取,得到样本语音信号特征参数;
最后,采用鲁棒性训练方式,对所述样本语音信号特征参数进行鲁棒性训练,得到所述语音指令模板库。
应当理解的是,以上给出的仅为一种确定目标特征信息和分拣指令的具体实现方式,对本发明的技术方案并不构成任何限定,在具体应用中,本领域的技术人员可以根据需要进行设置,本实施例对此不做限制。
此外,关于第二确定模块5002根据所述目标特征信息确定所述目标分拣物品的位置信息的操作,在实际应用中可以通过如下几个步骤实现:
首先,根据所述目标特征信息确定所述目标分拣物品在采集到的待分拣物品图像中的像素坐标;
然后,根据所述像素坐标确定所述目标分拣物品的位置信息。
相应地,为了保证上述步骤“据所述目标特征信息确定所述目标分拣物品在采集到的待分拣物品图像中的像素坐标”的操作能够顺利执行,在实际应用中,执行该步骤之前,还可以先进行如下操作:
首先,对采集到的所述待分拣物品图像进行特征提取,得到待分拣物品的参考特征信息;
然后,根据所述目标特征信息和所述参考特征信息,判断所述待分拣物品图像中是否包含所述目标分拣物品;
相应地,若所述待分拣物品图像中包含所述目标分拣物品,则执行所述根据所述目标特征信息确定所述目标分拣物品在采集到的待分拣物品图像中的像素坐标的操作。
此外,关于上述所说的“对采集到的所述待分拣物品图像进行特征提取,得到待分拣物品的参考特征信息”的操作,在实际应用中,具体可以通过如下几个步骤实现:
首先,获取所述待分拣物品图像的首帧信息;
然后,根据所述首帧信息对所述待分拣物品图像进行区域划分,得到多个待识别区域;
接着,对各待识别区域中的图像像素点进行区域增强,得到各待识别区域对应的加强区域;
接着,提取各加强区域中的物品轮廓信息,并对提取出的各物品轮廓信息进行降噪处理,得到若干个待处理物品轮廓信息;
接着,对各待处理物品轮廓信息进行特征提取,得到所述待分拣物品的多个参考特征片段;
最后,将各参考特征片段进行汇聚,得到所述待分拣物品的参考特征信息。
应当理解的是,以上给出的仅为一种确定所述目标分拣物品的位置信息的具体实现方式,对本发明的技术方案并不构成任何限定,在具体应用中,本领域的技术人员可以根据需要进行设置,本实施例对此不做限制。
此外,本实施例中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本发明的创新部分,本实施例中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,但这并不表明本实施方式中不存在其它的单元。
通过上述描述不难发现,本实施例提供的物品分拣装置,通过对指令发放者的语音信息进行分析处理,进而确定需要进行分拣的目标分拣物品的目标特征信息和针对其的分拣指令,实现了在对物品进行分拣的过程中,无需操作人员与物品分拣机器人接触,只需通过语音发号施令即可实现对物品分拣机器人的实时控制的效果,从而大大简化了对物品分拣机器人的控制,减少了不必要的暂停,提升了物品分拣的效率。
并且,由于整个控制过程是通过语音实现的,操作人员无需掌握和记录任何操作规则,因此也尽可能的减少了误操作的风险,从而大大提升了物品分拣的准确性。
需要说明的是,以上所描述的工作流程仅仅是示意性的,并不对本发明的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的,此处不做限制。
另外,未在本实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的物品分拣方法,此处不再赘述。
基于上述物品分拣装置的第一实施例,提出本发明物品分拣装置第二实施例。
在本实施例中,所述物品分拣装置还包括指令发放者确定模块。
具体的说,所述指令发放者确定模块,用于确定真正做出指令的指令发放者。
关于所述指令发放者确定模块确定真正做出指令的指令发放者的操作,在实际应用中可以通过如下几个步骤实现:
首先,提取识别到的至少一个对象的生物特征信息;
然后,根据所述生物特征信息,从所述至少一个对象中筛选出待交互对象,并统计筛选出的待交互对象的数量;
相应地,若筛选出的待交互对象的数量等于1,则确定所述待交互对象为指令发放者;若筛选出的待交互对象的数量大于1,则根据预设的优先级设置条件,为筛选出的各待交互对象设置优先级,并将优先级最高的待交互对象确定为指令发放者。
最后,在确定指令发放者之后,建立与所述指令发放者之间的无线通信通道。
应当理解的是,在实际应用中,上述所说的无线通信信道具体为物品分拣机器人与所述指令发放者使用的语音设备,如话筒、喇叭或其他终端设备之间的无线通信信道。
相应地,所述采集指令发放者的语音信息的步骤,包括:
基于预设的无线通信方式,通过所述无线通信通道采集所述指令发放者的语音信息。
应当理解的是,以上仅为举例说明,对本发明的技术方案并不构成任何限定,在具体应用中,本领域的技术人员可以根据需要进行设置,本发明对此不做限制。
此外,本实施例中所涉及到的各模块均为逻辑模块,在实际应用中,一个逻辑单元可以是一个物理单元,也可以是一个物理单元的一部分,还可以以多个物理单元的组合实现。此外,为了突出本发明的创新部分,本实施例中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入,但这并不表明本实施方式中不存在其它的单元。
通过上述描述不难发现,本实施例提供的物品分拣装置,在采集指令发放者的语音信息之前,通过设置物品分拣机器人提取识别到的对象的生物特征信息,并根据生物特征信息来确定真正的指令发放者,从而保证了物品分拣机器人最终采集、分析处理的语音信息为有效的语音信息,尽可能的避免了误响应的现象发生,在保障物品分拣效率和准确性的同时,也尽可能的提升了用户体验。
此外,本实施例提供的物品分拣方法,通过采用无线通讯方式采集、处理指令发放者的语音信息,故而可以不限制操作人员必需待在物品分拣现场,使的物品分拣机器人能够更好的应用于环境恶劣、不适合操作人员待在现场进行控制的场景,从而保护了操作人员的安全。
需要说明的是,以上所描述的工作流程仅仅是示意性的,并不对本发明的保护范围构成限定,在实际应用中,本领域的技术人员可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的,此处不做限制。
另外,未在本实施例中详尽描述的技术细节,可参见本发明任意实施例所提供的物品分拣方法,此处不再赘述。
此外,需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory,ROM)/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端机器人(可以是手机,计算机,服务器,或者网络机器人等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (9)

1.一种物品分拣方法,其特征在于,所述方法包括以下步骤:
采集指令发放者的语音信息,根据所述语音信息确定目标分拣物品的目标特征信息和针对所述目标分拣物品的分拣指令;
根据所述目标特征信息确定所述目标分拣物品的位置信息;
根据所述分拣指令确定所述目标分拣物品需要分拣到的目标存储区域;
根据所述位置信息和所述目标存储区域对应的预设位置信息规划行走路径;
根据所述分拣指令和所述行走路径对所述目标分拣物品进行分拣;
其中,所述采集指令发放者的语音信息的步骤之前,所述方法还包括:
提取识别到的至少一个对象的生物特征信息;
根据所述生物特征信息,从所述至少一个对象中筛选出待交互对象,并统计筛选出的待交互对象的数量;
若筛选出的待交互对象的数量等于1,则确定所述待交互对象为指令发放者;
若筛选出的待交互对象的数量大于1,则根据预设的优先级设置条件,为筛选出的各待交互对象设置优先级,并将优先级最高的待交互对象确定为指令发放者;
建立与所述指令发放者之间的无线通信通道;
相应地,所述采集指令发放者的语音信息的步骤,包括:
基于预设的无线通信方式,通过所述无线通信通道采集所述指令发放者的语音信息。
2.如权利要求1所述的方法,其特征在于,所述根据所述语音信息确定目标分拣物品的目标特征信息和针对所述目标分拣物品的分拣指令的步骤,包括:
对所述语音信息进行预处理,得到待处理语音信息;
对所述待处理语音信息进行特征提取,得到语音信号特征参数;
根据所述语音信号特征参数与预先构建的语音指令模板库,确定所述目标分拣物品的目标特征信息和针对所述目标分拣物品的分拣指令。
3.如权利要求2所述的方法,其特征在于,所述根据所述语音信号特征参数与预先构建的语音指令模板库,确定所述目标分拣物品的目标特征信息和针对所述目标分拣物品的分拣指令的步骤之前,所述方法还包括:
对样本语音信息进行预处理,得到待处理样本语音信息;
对所述待处理样本语音信息进行特征提取,得到样本语音信号特征参数;
采用鲁棒性训练方式,对所述样本语音信号特征参数进行鲁棒性训练,得到所述语音指令模板库。
4.如权利要求1所述的方法,其特征在于,所述根据所述目标特征信息确定所述目标分拣物品的位置信息的步骤,包括:
根据所述目标特征信息确定所述目标分拣物品在采集到的待分拣物品图像中的像素坐标;
根据所述像素坐标确定所述目标分拣物品的位置信息。
5.如权利要求4所述的方法,其特征在于,所述根据所述目标特征信息确定所述目标分拣物品在采集到的待分拣物品图像中的像素坐标的步骤之前,所述方法还包括:
对采集到的所述待分拣物品图像进行特征提取,得到待分拣物品的参考特征信息;
根据所述目标特征信息和所述参考特征信息,判断所述待分拣物品图像中是否包含所述目标分拣物品;
若所述待分拣物品图像中包含所述目标分拣物品,则执行所述根据所述目标特征信息确定所述目标分拣物品在采集到的待分拣物品图像中的像素坐标的操作。
6.如权利要求5所述的方法,其特征在于,所述对采集到的所述待分拣物品图像进行特征提取,得到待分拣物品的参考特征信息的步骤,包括:
获取所述待分拣物品图像的首帧信息;
根据所述首帧信息对所述待分拣物品图像进行区域划分,得到多个待识别区域;
对各待识别区域中的图像像素点进行区域增强,得到各待识别区域对应的加强区域;
提取各加强区域中的物品轮廓信息,并对提取出的各物品轮廓信息进行降噪处理,得到若干个待处理物品轮廓信息;
对各待处理物品轮廓信息进行特征提取,得到所述待分拣物品的多个参考特征片段;
将各参考特征片段进行汇聚,得到所述待分拣物品的参考特征信息。
7.一种物品分拣装置,其特征在于,所述装置包括:
第一确定模块,用于采集指令发放者的语音信息,根据所述语音信息确定目标分拣物品的目标特征信息和针对所述目标分拣物品的分拣指令;
第二确定模块,用于根据所述目标特征信息确定所述目标分拣物品的位置信息;
第三确定模块,用于根据所述分拣指令确定所述目标分拣物品需要分拣到的目标存储区域;
规划模块,用于根据所述位置信息和所述目标存储区域对应的预设位置信息规划行走路径;
分拣模块,用于根据所述分拣指令和所述行走路径对所述目标分拣物品进行分拣;
其中,所述第一确定模块,还用于提取识别到的至少一个对象的生物特征信息;根据所述生物特征信息,从所述至少一个对象中筛选出待交互对象,并统计筛选出的待交互对象的数量;若筛选出的待交互对象的数量等于1,则确定所述待交互对象为指令发放者;若筛选出的待交互对象的数量大于1,则根据预设的优先级设置条件,为筛选出的各待交互对象设置优先级,并将优先级最高的待交互对象确定为指令发放者;建立与所述指令发放者之间的无线通信通道;
所述第一确定模块,还用于基于预设的无线通信方式,通过所述无线通信通道采集所述指令发放者的语音信息。
8.一种物品分拣机器人,其特征在于,所述物品分拣机器人包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的物品分拣程序,所述物品分拣程序配置为实现如权利要求1至6中任一项所述的物品分拣方法的步骤。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有物品分拣程序,所述物品分拣程序被处理器执行时实现如权利要求1至6任一项所述的物品分拣方法的步骤。
CN201911050870.9A 2019-10-31 2019-10-31 物品分拣方法、装置、机器人及存储介质 Active CN110666806B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911050870.9A CN110666806B (zh) 2019-10-31 2019-10-31 物品分拣方法、装置、机器人及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911050870.9A CN110666806B (zh) 2019-10-31 2019-10-31 物品分拣方法、装置、机器人及存储介质

Publications (2)

Publication Number Publication Date
CN110666806A CN110666806A (zh) 2020-01-10
CN110666806B true CN110666806B (zh) 2021-05-14

Family

ID=69085196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911050870.9A Active CN110666806B (zh) 2019-10-31 2019-10-31 物品分拣方法、装置、机器人及存储介质

Country Status (1)

Country Link
CN (1) CN110666806B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111283679A (zh) * 2020-01-19 2020-06-16 路邦科技授权有限公司 一种多联语音控制自动导引运输系统及其控制方法
CN111152228B (zh) * 2020-01-22 2021-07-09 深圳国信泰富科技有限公司 一种机器人动作自规划系统
CN112597910A (zh) * 2020-12-25 2021-04-02 北京小狗吸尘器集团股份有限公司 利用扫地机器人对人物活动进行监控的方法和装置
CN113743856A (zh) * 2021-01-05 2021-12-03 北京京东乾石科技有限公司 物品分拣方法及装置、存储介质
CN113426711B (zh) * 2021-07-27 2022-11-29 北京物资学院 一种物品分拣方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931218A (zh) * 2016-04-07 2016-09-07 武汉科技大学 模块化机械臂的智能分拣方法
CN106709909A (zh) * 2016-12-13 2017-05-24 重庆理工大学 一种基于深度学习的柔性机器人视觉识别与定位系统
CN108401423A (zh) * 2017-09-05 2018-08-14 深圳蓝胖子机器人有限公司 自动输送包裹的方法、系统、机器人及存储装置
CN109414730A (zh) * 2017-09-29 2019-03-01 深圳蓝胖子机器人有限公司 基于机器人的自动分拣方法、系统及机器人、存储装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8095234B2 (en) * 2008-04-17 2012-01-10 Teradyne, Inc. Transferring disk drives within disk drive testing systems
EP3445680A1 (de) * 2016-05-17 2019-02-27 Liebherr-Verzahntechnik GmbH Kommissionierzelle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931218A (zh) * 2016-04-07 2016-09-07 武汉科技大学 模块化机械臂的智能分拣方法
CN106709909A (zh) * 2016-12-13 2017-05-24 重庆理工大学 一种基于深度学习的柔性机器人视觉识别与定位系统
CN108401423A (zh) * 2017-09-05 2018-08-14 深圳蓝胖子机器人有限公司 自动输送包裹的方法、系统、机器人及存储装置
CN109414730A (zh) * 2017-09-29 2019-03-01 深圳蓝胖子机器人有限公司 基于机器人的自动分拣方法、系统及机器人、存储装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于OpenCV的智能语音识别分拣机器人";池佳豪等;《电子制作》;20191015;第42-43页 *

Also Published As

Publication number Publication date
CN110666806A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN110666806B (zh) 物品分拣方法、装置、机器人及存储介质
CN107799126B (zh) 基于有监督机器学习的语音端点检测方法及装置
CN105868827B (zh) 一种智能机器人多模态交互方法和智能机器人
CN109346061B (zh) 音频检测方法、装置及存储介质
EP3779888B1 (en) Generating candidate images appropriate for image synthesis with an input image
CN108198130B (zh) 图像处理方法、装置、存储介质及电子设备
CN110175555A (zh) 人脸图像聚类方法和装置
CN107360157A (zh) 一种用户注册方法、装置及智能空调器
KR102290186B1 (ko) 사람의 감성 상태를 결정하기 위하여 영상을 처리하는 감성인식 방법
CN110875032A (zh) 语音交互系统和方法、程序、学习模型生成装置和方法
CN109065051B (zh) 一种语音识别处理方法及装置
WO2022033556A1 (zh) 电子设备及其语音识别方法和介质
KR20210048272A (ko) 음성 및 영상 자동 포커싱 방법 및 장치
CN108681390A (zh) 信息交互方法和装置、存储介质及电子装置
CN114399818A (zh) 一种多模态人脸情绪识别方法及装置
CN109784256A (zh) 人脸识别方法和装置、存储介质及电子装置
WO2020181706A1 (zh) 植物种类的识别方法及装置
DE102022121680A1 (de) Ermittlung eines aktiven Sprechers mittels Bilddaten
CN111428666A (zh) 基于快速人脸检测的智能家庭陪伴机器人系统及方法
CN110110666A (zh) 目标检测方法和装置
KR20200092166A (ko) 감정을 인식하는 서버, 방법 및 컴퓨터 프로그램
CN112286364A (zh) 人机交互方法和装置
US11819996B2 (en) Expression feedback method and smart robot
US10917721B1 (en) Device and method of performing automatic audio focusing on multiple objects
CN113611318A (zh) 一种音频数据增强方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220817

Address after: Block D, Building 2, Servo Industrial Park, 1, Qilin Avenue, Xiangcheng District, Xiangyang City, Hubei Province, 441057

Patentee after: XIANGYANG LIANJIE ELECTROMECHANICAL Co.,Ltd.

Address before: 441000 Hubei University of Arts and Sciences, 296 Longzhong Road, Xiangcheng District, Xiangyang City, Hubei Province

Patentee before: HUBEI University OF ARTS AND SCIENCE

TR01 Transfer of patent right