CN105759809A - 非特定人外语语音遥控的集群机器人系统 - Google Patents

非特定人外语语音遥控的集群机器人系统 Download PDF

Info

Publication number
CN105759809A
CN105759809A CN201410788613.6A CN201410788613A CN105759809A CN 105759809 A CN105759809 A CN 105759809A CN 201410788613 A CN201410788613 A CN 201410788613A CN 105759809 A CN105759809 A CN 105759809A
Authority
CN
China
Prior art keywords
module
computer system
foreign language
system module
chinese
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410788613.6A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qinghai Hanla Information Technology Co Ltd
Original Assignee
Qinghai Hanla Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qinghai Hanla Information Technology Co Ltd filed Critical Qinghai Hanla Information Technology Co Ltd
Priority to CN201410788613.6A priority Critical patent/CN105759809A/zh
Publication of CN105759809A publication Critical patent/CN105759809A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Machine Translation (AREA)

Abstract

本技术方案是一种非特定人外语语音遥控的集群机器人系统,属于外语语音遥控集群机器人技术领域。本技术方案包含集群机器人(13),其特征是:所述的机器人系统还包括外语语音遥控集群机器人(13)的控制器装置模块(14),该模块(14)包括外语语音遥控装置模块(12)、外语语音识别模块(11)、网络传输模块(10)、控制机器人集群的计算机系统模块(9)、外语与汉语翻译模块(8)、程序绑定模块(7)、程序逻辑排列连接模块(6)、网络传输模块(5)、上位机计算机系统模块(4)、网络传输模块(3)、下位机计算机系统模块(2)、执行模块(1),有了本技术方案,可以实现一种非特定人外语语音遥控的集群机器人系统。

Description

非特定人外语语音遥控的集群机器人系统
技术领域
本技术方案属于外语语音遥控集群机器人技术领域。
背景技术
所谓集群机器人就是由多台机器人组成的群体,他们可以同时分工完成规定时间需要完成的多项任务,也可以分工协作完成一件复杂的任务。
目前的现有技术要设计和制造出用外语语音遥控的一批机器人同时协同工作的系统,是一件很难做到的事情,市面上目前还没有通过外语语音遥控多台机器人在规定的时间内分工协作或协同工作的技术,即使有但基本上也是对单个机器人的一些简单的命令,基本上是“说一说”机器人设备“动一动”,让多个机器人系统在非现场实时非实时外语语音控制下自动完成一系列复杂协同工作的技术目前还没有出现,这就给人们设计和制造出用非特定人外语语音遥控的集群机器人系统的工作带来了难于逾越的障碍。
发明内容
本技术方案的提出就是为了解决上述出现的这些问题。具体来说本技术方案通过一种非特定人外语语音遥控的集群机器人系统的技术来解决上述出现的问题:
本技术方案采用的技术方案是:采用一种非特定人外语语音遥控的集群机器人系统,包含由执行机构、驱动系统、控制系统和智能系统组成的集群机器人13,其特征是:所述的机器人系统还包括非特定人外语语音遥控集群机器人13的控制器装置模块14。
所述的控制器装置模块14包括:输入非特定人外语语音遥控装置模块12、外语语音识别模块11、网络传输模块10、控制机器人集群的计算机系统模块9、储存在控制机器人集群的计算机系统模块中的外语与汉语翻译模块8、储存在控制机器人集群的计算机系统模块中的汉语关键词与计算机程序绑定模块7、储存在控制机器人集群的计算机系统模块中的计算机程序逻辑排列连接模块6、网络传输模块5、控制各个相应机器人的上位机计算机系统模块4、网络传输模块3、各种控制相应机器人的下位机计算机系统模块2、各种完成相应机器人规定动作的执行模块1,以上模块按照计算机处理信息和工作的顺序依次互相连接。
由于本技术方案可以采用26个拉丁字母表示的汉语语音码来表达汉语信息,且当直接用语音码编码来表示汉语信息时,其标点符号的用法同英文的标点符号的用法相同,这样就保证了汉语信息的表达连标点符号在内都与ASCII码完全一致,也即与ASCII码100%兼容,有了本技术方案以后,这样就保证了整个系统可以在ASCII码系统的计算机中运行,同时可以方便外国人用非特定人外语语音来遥控多个机器人协同工作。
附图说明
图1是本发明的非特定人外语语音遥控集群机器人的控制器装置示意图。
图2是本发明的非特定人外语语音遥控的集群机器人系统示意图。
具体实施方式
下面结合实施例对本发明的具体实施方式作进一步的说明。
本技术方案所述的汉语语音码以单词为单位,这里将汉字看作单音节词,根据组成该单词的每个音节的《汉语拼音方案》中的拼音,依次按“声码+介码+韵码+调码兼隔音节符号”的顺序编码,同一个单词的音节不用空格隔开连写,单词与单词之间的编码用空格隔开,当汉语信息表示处于汉语语音码状态时,其标点符号的用法同英文的标点符号的用法相同。
为了将汉语语音码的码元控制在26个拉丁字母范围内,同时使得“调码”兼作“隔音节符号”的作用能够得到充分体现,本技术方案所采用的汉语语音码的每一音节声、韵、调的编码方法采用以下的方法:
需要指出的是:下面破折号“—”后的符号均为汉语拼音符号,破折号“—”前的字母为所采用的汉语每一音节声、韵、调的编码,以下均同,以下将下列对照表简称为码表:
1、声码的编码符号采用与汉语拼音方案基本一致的声母的字母符号,比如采用下面这种声码的编码形式:
b—b;p—p;m—m;f—f;d—d;t—t;
n—n;l—l;g—g;k—k;h—h;
j—zh,j;q—ch,q;x—sh,x;r—r;
z—z;c—c;s—s;y—y;w—w。
2、汉语拼音介母(ü)采用26个拉丁字母中的一个字母表示,比如采用下面这种介码的编码形式:
i—i;u—u;y—ü。
3、韵码的编码,对单韵母除(ü)采用26个拉丁字母中的一个字母表示外,其它采用与汉语拼音相同的字母符号,汉语拼音的复合韵母可以采用《汉语拼音方案》相同的形式,也可以采用一个辅音字母来编码,比如采用下面的这种字母符号来对汉语拼音的韵母进行编码:
a—a;o—o;e—e;i—i;u—u;y—ü;
k—ao;c—ai;s—an;x—ou;w—ei;n—en;
z—ua;l—uo;b—ang;d—ong;p—eng;
q—ing;g—ng;er—er;
r—i;“i只与汉语拼音声母zh、ch、sh相拼时,汉语拼音的i用语音码的编码r代表”。即:汉语拼音的zhi、chi、shi分别用语音码的jr、qr、xr代表。jr或qr或xr及er键盘输入时分别按J和R或Q和R或X和R及E和R两个键位输入。
4、调码的编码除采用一个汉语不用的辅音字母v表示汉语拼音的上声(∨)外,其它采用元音字母来表示汉语的声调,比如采用下面的字母来对汉语拼音的声调进行编码:
a——,阴平;e—/,阳平;v—∨,上声;u—\,去声;
o—拼音不标轻声调号,轻声。
汉语语音码标点符号的用法同英文的标点符号的用法相同,比如:其六种点号,七种标号和一个移行号采用与英文相同的形式;
这里由于将独立运用的汉字看作单音节词,因此,本发明所采用的汉字编码的方法和汉语单词音节编码的方法相同,在本发明中采用单词音节编码按词连写后得到单词编码,我们将由若干个单词组成的一组词称为词组,本发明所采用词组的编码同汉语句子的编码相同,由于单词可以表示词组和汉语句子,因此在本发明中所采用的词组的编码和汉语句子的编码都可以通过单词的编码实现,而不需要对词组和汉语句子另外制定一套专门的编码,一般在整句整篇以词为单位表示汉语信息时,在理解时一般不需要进行同音字词的选择,原则上听起来不会产生歧义的句子,用编码表达时也不会产生歧义。
在用键盘键入汉语语音码及汉语语音码语句的标点符号时,组成汉语语音码编码的26个拉丁字母与西文标准键盘的26个字母键完全一一相同对应,汉语语音码语句的标点符号键与西文标准键盘的标点符号键也一一相同对应,输入汉语语音码字母和标点符号时,只需要击打西文标准键盘的相应的相同键位即可。
本技术方案所述的控制器装置其运行的方法和步骤的特征是:输入非特定人外语语音遥控装置模块12首先将输入该模块的非特定人外语语音通过储存在该模块中的外语语音识别模块11转换成外语文本,然后通过网络传输模块10传输给控制机器人集群的计算机系统模块9,该模块再将所述外语文本通过储存在控制机器人集群的计算机系统模块中的外语与汉语翻译模块8转换成分好词的由汉字或汉语语音码或汉语拼音形成的汉语文本,然后将所述汉语文本传输给预先储存在控制机器人集群的计算机系统模块中的汉语关键词与计算机程序绑定模块7,该模块将所述汉语文本中的关键词与对应的计算机程序进行绑定,绑定后的计算机程序再传给储存在控制机器人集群的计算机系统模块中的计算机程序逻辑排列连接模块6,该模块将所述计算机程序按执行的先后逻辑顺序进行排列,排列后通过网络传输模块5传输给控制各个相应机器人的上位机计算机系统模块4,该模块然后将任务分解后通过网络模块3传输给各种控制相应机器人的下位机计算机系统模块2,并由该模块控制各种完成相应机器人规定动作的执行模块1执行。
为了便于理解,下面以多台机器人作为例子,以一句输入手机的外语句子的语音为例来说明本技术方案的具体实现步骤:
比如我们向一部能发短信的2.5G或3G或4G手机输入下面的外语文本的外语语音:
“At2o'clockthisafternoonfirstpreparedacupofcoffeewakemeupthen,formeandreadyforhotwaterinthebathtub.”
中文的意思为:
“在今天下午2点首先给我准备一杯咖啡然后唤醒我,并在浴缸里准备好热水”
输入一部能发短信的2.5G或3G或4G手机,该手机相当于本技术方案中的输入非特定人外语语音遥控装置模块12,该模块首先将输入该模块的非特定人外语语音通过储存在该模块中的外语语音识别模块11转换成外语文本:
“At2o'clockthisafternoonfirstpreparedacupofcoffeewakemeupthen,formeandreadyforhotwaterinthebathtub.”
然后我们可以通过2.5G或3G或4G无线传输模块将上述外语文本的短信内容发到绑定的控制机器人集群的计算机系统模块9中,该控制机器人集群的计算机系统模块9里装有2.5G或3G或4G无线短信接收发送装置,类似我们平时手机能够接收发送短信一样,控制机器人集群的计算机系统模块9接收到上述外语文本短信内容后,该模块再将所述外语文本通过储存在控制机器人集群的计算机系统模块9中的外语与汉语翻译模块8转换成分好词的由汉字或汉语语音码或汉语拼音形成的汉语文本,所述储存在在控制机器人集群的计算机系统模块9中的外语与汉语翻译模块8的工作原理可以采用现有技术的相应模块,比如:《汉语外语句型转换双向机器翻译方法》。
经过上述翻译模块处理后,控制机器人集群的计算机系统模块9最终都会得到下列汉语语音码表示的汉语句子:
Zcujinatisaxiauwuv2disvxxvxisajunvbwuyiubwakaafwarxvhxuhusuxqvwov,bquzcuyuugbajdajunvbwuhkvreuxuiv.
汉语语音码也可以通过汉字与汉语语音码的转换模块转换成如下分好词的用汉字表示的句子:
“在今天下午2点首先准备一杯咖啡然后唤醒我,并在浴缸里准备好热水。”
为了简化叙述这里汉语拼音组成的句子略,这里就不再累述。
通过以上翻译模块,我们实现了由外语语音转换来的外语文本与汉语文本的转换以及汉语语音码与汉字、汉语拼音的转换,同理对其它的由外语语音转换来的的外语文本,我们也可以采用以上相同的方法进行翻译和转化,这里就不再累述。
值得指出的是:所述的储存在控制机器人集群的计算机系统模块9中的外语与汉语翻译模块8在将翻译好的汉语文本进行分词时采用汉语文本智能分词法进行分词。
因为只有采用属于现有技术的汉语文本智能分词法进行分词才能得到更好的技术效果。
控制机器人集群的计算机系统模块9在得到上述汉语语音码表示的汉语句子后,经过文本分析得出这个是一个多任务指令,根据目前控制机器人集群的计算机系统模块9所控制的机器人数量、当时各个机器人与所要工作地点的相对的位置、各个机器人目前的工作状态等情况会得出一个较优化的多任务指令分配策略、比如:控制机器人集群的计算机系统模块9检测到本系统模块所控制的机器人中,有两台目前处于空闲状态,而且其中一台离咖啡机和要唤醒主人较近,而另一台离浴室较近,控制机器人集群的计算机系统模块9就决定将这个多任务指令分别分配给两台机器人执行,为叙述方便这里将这两台机器人分别命名为一号机器人和二号机器人,相应地将“Zcujinatisaxiauwuv2disvxxvxisajunvbwuyiubwakaafwarxvhxuhusuxqvwov(在今天下午2点首先准备一杯咖啡然后唤醒我)”的任务分配给离咖啡机和要唤醒主人较近一号机器人去完成执行,将“bquzcuyuugbajdajunvbwuhkvreuxuiv(并在浴缸里准备好热水)”的任务分配给离浴室较近二号机器人完成执行。这两个任务被控制机器人集群的计算机系统模块9完成关键词与计算机程序绑定和计算机程序逻辑排列后会通过网络传输模块5分别传输到一号机器人和二号机器人上位计算机系统模块中运行。
具体关键词与计算机程序绑定和计算机程序逻辑排列以及计算机程序具体运行过程如下:
对一号机器人而言是被要求完成“Zcujinatisaxiauwuv2disvxxvxisajunvbwuyiubwakaafwarxvhxuhusuxqvwov(在今天下午2点首先准备一杯咖啡然后唤醒我)”的任务:
这里jinatisa用汉字表示的汉语意义是“今天”,这个关键词被提取出来后,控制机器人集群的计算机系统模块9会去查日历,查到今天的日期比如是2013年2月1日,控制机器人集群的计算机系统模块9就会将此日期提取出来作为机器人工作启动的程序日期参数加入到机器人工作启动的程序中,同理“xiauwuv2disv”用汉字表示的汉语意义是“下午2点”,这个关键词组被提取出来后,如果控制机器人集群的计算机系统模块9是按24小时计时,控制机器人集群的计算机系统模块9会自动将其换算成14点,并将此时间提取出来作为机器人开始执行程序时间参数加入到机器人开始工作的程序中,如果是按12时计时,则控制机器人集群的计算机系统模块9直接将此时间提取出来作为机器人开始工作的程序时间参数加入到机器人开始工作的程序中,这里junvbwuyiubwakaafwa用汉字表示的汉语意义是“准备一杯咖啡”,这组关键词被提取出来后,控制机器人集群的计算机系统模块9会去查控制“机器人”执行junvbwuyiubwakaafwa(准备一杯咖啡)的程序。
需要指出的是,关键词与计算机程序绑定的方式可以多种多样,只要能够达到有效绑定效果便可。
在本实施例中,所述储存在控制机器人集群的计算机系统模块中的汉语关键词与计算机程序绑定模块7是通过关键词与程序函数名建立对应关系词表或对应数据库的方式进行绑定,绑定时控制机器人集群的计算机系统模块9首先提取要绑定程序的关键词,然后再去查对应关系词表或对应数据库,查到对应的程序函数名后,将所述程序函数名传输给储存在控制机器人集群的计算机系统模块中的计算机程序逻辑排列连接模块6,该模块将所述程序函数名按执行的先后逻辑顺序排列到要执行的程序序列中,当执行到该程序函数名的程序时,控制机器人集群的计算机系统模块9、控制各个相应机器人的上位机计算机系统模块4或各种控制相应机器人的下位机计算机系统模块2就会从各自的程序库中调用与该程序函数名对应的计算机程序交所述的控制机器人集群的计算机系统模块9或控制各个相应机器人的上位机计算机系统模块4或各种控制相应机器人的下位机计算机系统模块2运行。
比如,在本例中以关键词“junvbwuyiubwakaafwa(准备一杯咖啡)”为例,关键词与计算机程序绑定时,控制机器人集群的计算机系统模块9首先提取要绑定程序的关键词“junvbwuyiubwakaafwa(准备一杯咖啡)”,然后去查对应关系词表或对应数据库,查到该程序后将该程序的程序名与junvbwuyiubwakaafwa(准备一杯咖啡)进行绑定并作为将要执行的程序,按程序执行的逻辑顺序排列后通过网络传输模块5传输给控制一号机器人的上位机计算机系统模块并储存在该模块中,控制一号机器人的上位机计算机系统模块在进行整个程序执行时,将该程序名对应的程序先从程序函数库中提取出来,然后再将要完成的具体任务分解后发往与完成该任务地址对应的各种控制一号机器人的下位机计算机系统模块,并由该各种控制一号机器人的下位机计算机系统模块控制各种完成一号机器人规定动作的执行模块执行上述接受到的控制机器人工作的程序,比如,控制一号机器人的上位机计算机系统模块在执行“准备一杯咖啡”程序时,通常要通过自身携带的位置定位系统查找到自身位置和能够制造咖啡的饮料机的位置,然后,朝缩小机器人和所述饮料机距离的方向运动,直至到能够方便操作所述饮料机制作一杯咖啡的位置停下,然后执行从所述饮料机装一杯咖啡的动作,执行完这个动作后,再将这杯咖啡送到方便向所述机器人发出上述指令的主人取用的位置,紧接着再执行后面的要求机器人工作的指令。在执行上述程序过程中,需要将整个任务分解到机器人的地面移动机构、手臂动作机构、定位系统模块等,所有的这些分解动作都有控制一号机器人的上位机计算机系统模块分解后发给相应的各种控制一号机器人的下位机计算机系统模块控制相应的各种完成一号机器人规定动作的执行模块执行,并根据各种控制一号机器人的下位机计算机系统模块反馈的执行情况,协调并分解下一步执行的任务给各种控制一号机器人的下位机计算机系统模块。
这里xxvxisa和rxvhxu用汉字表示的汉语意义分别是“首先”和“然后”,由于这两个词没有相应的计算机程序与它们对应,因此,我们称这种词为非关键词,在汉语里属于连词,这两个非关键词的含义是紧跟在xxvxisa后的程序要排在紧跟rxvhxu后面程序的前面,执行时紧跟在xxvxisa后的程序要比排在紧跟rxvhxu后面的程序先执行,这里husuxqv用汉字表示的汉语意义是“唤醒”,这个关键词被提取出来后,控制机器人集群的计算机系统模块9就会去查“唤醒”的机器人程序,查到该“唤醒”的机器人的程序后,由于“唤醒”的机器人程序紧跟rxvhxu(然后)后面,因此控制机器人集群的计算机系统模块9就会将此程序提取出来按执行的先后逻辑顺序排列的规则,将该段程序模块排列在紧跟“首先”后面的程序之后,也即程序“junvbwuyiubwakaafwa(准备一杯咖啡)”之后,句子中的“wov”用汉字表示的意思是“我”,由于这个“我”,紧跟在“唤醒”后面,控制机器人集群的计算机系统模块9据此判断是“唤醒”的对象,因此,将“我”作为唤醒程序动作的对象参数加入到唤醒程序中,在执行唤醒程序时,机器人首先采用一定的技术手段比如红外线测定位置装置或图像识别装置或预设的主人通常睡觉的位置识别出主人“位置”后,开始按照缩小机器人与“我”的距离的方向移动,直到唤醒动作能作用到且能清晰听到主人“我”的声音的位置为止,到达该位置后,机器人开始发出唤醒“我”的声音,比如:由轻到逐步响的音乐声,并每隔三秒钟,用合成语音问“您醒了吗?”然后侦听,当听到含有“醒了”关键词的声音时,机器人停止发出唤醒“我”的声音,否则继续上面的程序过程。
至此,对应一号机器人完成执行任务的汉语文本已经完成了全部该文本需要调动的计算机程序,并进行了正确程序参数赋值和程序先后执行顺序的连接。
在满足程序启动程序条件时,这里是“今天下午2点”,一号机器人在控制一号机器人的上位机计算机系统模块控制协调下,各种控制一号机器人的下位机计算机系统模块按照控制各个一号机器人的上位机计算机系统模块传输过来的分任务分工协作,按照上面与关键词绑定的程序及先后执行次序执行便可以完成中文意思是“在今天下午2点首先准备一杯咖啡然后唤醒我。”的全部任务。
同理通过以上类似的方式,二号机器人也可以完成“bquzcuyuugbajdajunvbwuhkvreuxuiv(并在浴缸里准备好热水)”的任务,这里就不在累述。
需要指出的是:为了减少控制机器人集群的计算机系统模块9通过网络传输模块传输给控制各个相应机器人的上位机计算机系统模块4以及控制各个相应机器人的上位机计算机系统模块4通过网络传输模块传输给各种控制相应机器人的下位机计算机系统模块2的数据信息量,对控制机器人集群的计算机系统模块9或控制各个相应机器人的上位机计算机系统模块4或各种控制相应机器人的下位机计算机系统模块2中已经储存的程序,控制机器人集群的计算机系统模块9在进行关键词与程序绑定时,只与相对应的程序名进行绑定,控制机器人集群的计算机系统模块9自身程序运行或传给控制各个相应机器人的上位机计算机系统模块4或各种控制相应机器人的下位机计算机系统模块2控制执行时,由控制机器人集群的计算机系统模块9或控制各个相应机器人的上位机计算机系统模块4或各种控制相应机器人的下位机计算机系统模块2根据相对应的程序名从自己的程序储存系统中调出对应的程序执行;
对于下一级计算机系统模块中没有的计算机程序,由对应的上一级计算机系统模块传输给它,当最上一级计算机系统模块控制机器人集群的计算机系统模块9也没有相应的计算机程序时,控制机器人集群的计算机系统模块9可以通过网络连接到指定的服务器,包括云服务器上进行搜索并下载,下载后再依次传输给下一级计算机系统模块并按统一程序名储存,以便下次与关键词绑定并调用执行。
由于每个人的用词习惯的不同,有些人可能用词不一定标准,这时可以在控制机器人集群的计算机系统模块9中预先储存同义词和近义词对照表,并由控制机器人集群的计算机系统模块9通过设定的同义词和近义词对照表来自动将不规范的用词转换成控制机器人集群的计算机系统模块9认可的规范用词,控制机器人集群的计算机系统模块9中的关键词一定是控制机器人集群的计算机系统模块9认可的规范用词,比如:“过来、跑过来、走过来”通过对照表都可以统一到“过来”这个词,并与相应的计算机程序模块进行预先绑定。
由于计算机程序语言在调用程序模块时,往往用由26个拉丁字母拼写的英文编写的程序来调用,26个拉丁字母属于ASCII码范围,各级计算机系统模块正常运行没有问题,由于汉字的内码系统不属于ASCII码范围,如果直接采用汉字语句来调用计算机程序,各级计算机系统模块不能保证正常运行,因此,本技术方案将汉字文本先转换成汉语语音码再运行,由于汉语语音码和英文一样用26个拉丁字母拼写,且标点符号与英文一致,这样保证了所运行的汉语信息的内码在ASCII码范围内,从而确保本技术方案在所有控制机器人集群的计算机系统模块9或控制各个相应机器人的上位机计算机系统模块4或各种控制相应机器人的下位机计算机系统模块2中能够正常运行。
如果控制机器人集群的计算机系统模块9用汉字能够直接调动上述计算机程序,也可以将汉字关键词直接绑定计算机程序。
以此类推,由于本例中由于控制机器人的数量是可以根据任务的多少、任务的复杂程度的不同而不同,因此,机器人的数量可以是两台以上的多台,比如机器人足球赛中有11个球员同时在场上比赛,控制机器人集群的计算机系统模块9会根据这11个机器人球员在场上的位置,对方机器人的位置,足球的位置,球门的位置选取适当的攻防策略程序,分别发给己方的机器人球员,让他们协同动作来完成足球赛这个相对复杂的任务,并不断根据反馈回来的场上双方态势,不断地进一步寻找优化的攻防策略程序,不断分别发给己方的机器人球员让他们协同动作来完成踢好足球这个任务。
在极端情况下,本技术方案中控制机器人集群的计算机系统模块9所控制的机器人可以是一台,也就是对单台机器人的控制仅是本技术方案的特殊情况,但反过来说单台机器人控制系统不能控制多台集群机器人系统。
在本例中由于所控制的对象,时间、控制对象的动作都可以通过外语语音转换成的汉语文本的改变而改变,因此,对其它控制对象、时间和控制对象的动作都可以采用上述方法进行机器人的近距或远程控制并运行,比如对遥控器发出如下汉语意思的外语语音来控制机器人工作:开始做午餐、晚上8点做好洗澡的准备、把别墅里的6个大门关上、打开收音机并调到990频道、讲讲今天的新闻、给我放一首悦耳的轻音乐、唱一首好听的歌等等,其实现过程与上面举例类似,这里就不一一累述。
所述控制机器人集群的计算机系统模块9在正式通过控制各个相应机器人的上位机计算机系统模块4并通过该模块控制各种控制相应机器人的下位机计算机系统模块2控制各种完成相应机器人规定动作的执行模块1执行时,分为两种模式运行,一种是自动运行模式,该模式按照所述控制机器人集群的计算机系统模块9对所收到的由外文转换过来的汉语文本的理解自动运行,并将开始通过各种控制相应机器人的下位机计算机系统模块2控制各种完成相应机器人规定动作的执行模块1执行所要产生的动作或所要达到的功能以外语文本或该外语文本的语音合成形式输出
比如,上面的例子中,控制机器人集群的计算机系统模块9在理解了所收到由外语语音转换过来的汉语文本信息、正确调用所绑定的程序并按照正确执行逻辑进行执行顺序排列的基础上,会输出:“在今天下午2点首先准备一杯咖啡然后唤醒我,并在浴缸里准备好热水。”的汉字文本信息的外文译文或该汉字文本的外文译文语音合成后的语音,该外语语音转换过来的汉语文本信息也可以转换成汉语语音码或外文或少数民族文字输出。
另一种是询问确认模式,该模式下所述控制机器人集群的计算机系统模块9对所收到的由外文转换过来的汉语文本先进行正确校正和执行程序的优化,并反馈一个经过正确校正和执行程序优化过的汉语文本的外文译文,该由汉语文本转换过来的外文译文也可以经过外语语音合成模块以语音的形式通过输入非特定人外语语音遥控装置模块12输出,经确认后再正式运行。
比如:控制机器人集群的计算机系统模块9收到一段由外语语音转换过来的以下意义的汉语文本:“在今天下午2点首先准备一杯咖啡然后唤醒我,并在浴缸里准备好热水。”控制机器人集群的计算机系统模块9检测到此时已经过了上午2点,会自动将时间设置在下午2点,同时在控制机器人集群的计算机系统模块9预先储存的汉语文本中检测到与该汉语文本最接近的一段使得程序更加优化的汉语文本,这时控制机器人集群的计算机系统模块9会输出如下汉语意义的外文译文或外语语音:“在今天下午2点首先准备一杯咖啡并加点牛奶然后唤醒我,并在浴缸里准备好热水。”您确认吗?发送确认外语文本或外语语音或其他确认信息,控制机器人集群的计算机系统模块9就将该外语文本对应的汉语文本作为最终接收到的汉语文本,按照上面案例中的步骤,加上“加点牛奶程序”满足预先设定的条件时机器人开始工作。
由于汉字文本通过汉字与汉语语音码双向转换模块转换后,汉字与汉语语音码可以互相转换,因此在本技术方案的叙述中,凡是用汉字表示的信息都可以用汉语语音码表示,反之亦然,这里在本技术方案的叙述就不在分别累述。
所述的输入非特定人外语语音遥控装置模块12或控制机器人集群的计算机系统模块9具有语音命令自动训练功能,输入非特定人外语语音遥控装置模块12或控制机器人集群的计算机系统模块9操作者在用语音命令控制整个机器人运行前,输入非特定人外语语音遥控装置模块12或控制机器人集群的计算机系统模块9将它能执行的外语语音命令一条条用外语语音朗读出来,要求操作者跟读,并将操作者跟读的语音作为模板并与该语音模板所对应的控制整个机器人运行的外语语音命令或对应的执行程序绑定后储存在输入非特定人外语语音遥控装置模块12或控制机器人集群的计算机系统模块9中。
所述的操作者跟读的语音包括汉语普通话语音、中国方言的语音、少数民族语言的语音、外国语语音、一种能与其它语音命令的声音相区分开的特殊的声响。
这样的设计主要方便各种人群,对计算机来说只要发出的声音与所绑定的程序不发生混淆就行,可以采用特殊的声响主要考虑一些发音困难的聋哑人,这要他们能发出一种能与其它语音命令的声音相区分开的特殊的声响,控制机器人集群的计算机系统模块9就会记住并执行相关绑定的程序,同时考虑到聋哑人听不见,所以机器人将要执行命令用文字显示来反馈给聋哑机器人操作者。
所述的遥控装置或控制机器人集群的计算机系统模块9在用语音命令自动训练操作者跟读语音命令时,除了发出相应的外语语音,还能够根据预先的设定发出中国方言的语音、少数民族语言的语音、汉语普通话语音。
这样的安排主要方便听不懂外语和汉语普通话的人,这些用语音合成模块等现有语音合成技术模块就可以实现。
所述的遥控装置或控制机器人集群的计算机系统模块9在进行语音命令自动训练时,在主动将它能执行的语音命令一条条用外语语音朗读出来的同时,将所朗读的语音命令根据预先的设定能够用意义一致的汉字、汉语拼音、汉语语音码、少数民族文字、外国语文字从显示屏幕上显示出来。
所述的输入非特定人外语语音遥控装置模块12或控制机器人集群的计算机系统模块9具有的语音命令,可以是具体的要求机器人采取某种动作的的语音命令,也可以是与某优化方案绑定的程序模块的语音调用命令,该模块用语音命令调用时,不要求针对某个具体动作发语音命令,而只要发出要达到的目的的语音命令,由控制机器人集群的计算机系统模块9自动根据所要达到的目的,寻找与该语音命令相对应的优化方案的程序并将上述程序的各种工作指令通过网络传输模块5传输给控制各个相应机器人的上位机计算机系统模块4,该模块然后将任务分解后通过网络模块3传输给各种控制相应机器人的下位机计算机系统模块2,并由该模块控制各种完成相应机器人规定动作的执行模块1执行。
比如:人们可以要求机器人对“老人和婴儿”既要求保持一定的饮料温度同时饮料不能太烫,这时候控制机器人集群的计算机系统模块9就会寻找并绑定对“老人和婴儿”既要求保持一定的饮料温度同时饮料不能太烫的程序,所述计算机程序按执行的先后逻辑顺序进行排列,排列后通过网络传输模块5传输给控制各个相应机器人的上位机计算机系统模块4,该模块然后将任务分解后通过网络模块3传输给各种控制相应机器人的下位机计算机系统模块2,并由该模块控制各种完成相应机器人规定动作的执行模块1执行。
对控制机器人集群的计算机系统模块9正确完成工作所必须的各种工作参数,如果控制机器人集群的计算机系统模块9认为需要操作者提供时,会以语音或文字或语音与文字相结合的形式,主动向操作者发出询问,直到控制机器人集群的计算机系统模块9了解到所有必须的工作参数为止。
比如:对于机器人对喝饮料的是婴儿还是老人还是青壮年无法感觉到,如果控制机器人集群的计算机系统模块9需要知道时,它会主动用预先设定的外语语音通过遥控装置或控制机器人集群的计算机系统模块9向操作者询问以下意思的句子:“是什么样的人喝这饮料?”人们用外语语音做以下相同意思的回答:“老人”或“婴儿”,这时候控制机器人集群的计算机系统模块9就会去寻找制作“老人”或“婴儿”饮料的程序,找到后进行正确的排序和连接,传输给控制各个相应机器人的上位机计算机系统模块4并由控制各个相应机器人的上位机计算机系统模块4将任务分解后传给相应控制机器人的各种控制相应机器人的下位机计算机系统模块2,最后由该各种控制相应机器人的下位机计算机系统模块2控制各种完成相应机器人规定动作的执行模块1完成上述的针对“老人”或“婴儿”的程序规定的动作。
本技术方案中所述的汉语文本包括汉字文本、汉语拼音文本、汉语语音码文本以及一切可以准确表达汉语信息的字符文本。
上例中外语是以英文为代表来举例说明,其实对其它外语也一样,只要与汉语之间具有可以翻译就行,这里就不在累述。
通过上述方法,我们实现了用手机作为遥控装置用外语语音对机器人集群进行遥控控制。
本技术方案所述的控制机器人集群的计算机系统模块9或控制各个相应机器人的上位机计算机系统模块4或各种控制相应机器人的下位机计算机系统模块2可以是台式电脑或笔记本电脑或者服务器或者云计算机系统,也可以是嵌入式计算机系统;
所述输入非特定人外语语音遥控装置模块12接收到的外语语音可以通过话筒输入或者电话输入,话筒输入或者电话输入采用的信息传输网络可以是有线网络也可以是无线网络;
所述的输入非特定人外语语音遥控装置模块12是指所有能进行外语语音识别并能向控制机器人集群的计算机系统模块9发送字符文本信息的装置,包括:固定电话系统、手机、台式电脑、笔记本电脑、上网本、个人数字信息助理PDA、遥控器、信息通讯软件模块;
所述网络传输模块10或网络传输模块5或网络传输模块3,涵盖有线网络和无线网络软硬件传输系统及传输模块,包括:固定电话通讯传输系统、电力线通讯传输系统、有线电视电缆通讯传输系统、因特网、局域网、2.5G、3G、4G、wifi、wimax、蓝牙、Zigbee近程双向无线联网系统、CAN串行总线控制局域网系统、LED灯无线网络传输系统。
对上述叙述中的现有技术为简略叙述起见,这里没有作进一步展开叙述。
通过本技术方案,实现了一种非特定人外语语音遥控的集群机器人系统。

Claims (10)

1.一种非特定人外语语音遥控的集群机器人系统,包含由执行机构、驱动系统、控制系统和智能系统组成的集群机器人(13),其特征是:所述的机器人系统还包括非特定人外语语音遥控集群机器人(13)的控制器装置模块(14)。
2.如权利要求1所述的一种非特定人外语语音遥控的集群机器人系统,其特征是:所述的控制器装置模块(14)包括:输入非特定人外语语音遥控装置模块(12)、外语语音识别模块(11)、网络传输模块(10)、控制机器人集群的计算机系统模块(9)、储存在控制机器人集群的计算机系统模块中的外语与汉语翻译模块(8)、储存在控制机器人集群的计算机系统模块中的汉语关键词与计算机程序绑定模块(7)、储存在控制机器人集群的计算机系统模块中的计算机程序逻辑排列连接模块(6)、网络传输模块(5)、控制各个相应机器人的上位机计算机系统模块(4)、网络传输模块(3)、各种控制相应机器人的下位机计算机系统模块(2)、各种完成相应机器人规定动作的执行模块(1),以上模块按照计算机处理信息和工作的顺序依次互相连接;
所述的控制器装置模块(14)其运行的方法和步骤的特征是:输入非特定人外语语音遥控装置模块(12)首先将输入该模块的非特定人外语语音通过储存在该模块中的外语语音识别模块(11)转换成外语文本,然后通过网络传输模块(10)传输给控制机器人集群的计算机系统模块(9),该模块再将所述外语文本通过储存在控制机器人集群的计算机系统模块中的外语与汉语翻译模块(8)转换成分好词的由汉字或汉语语音码或汉语拼音形成的汉语文本,然后将所述汉语文本传输给预先储存在控制机器人集群的计算机系统模块中的汉语关键词与计算机程序绑定模块(7),该模块将所述汉语文本中的关键词与对应的计算机程序进行绑定,绑定后的计算机程序再传给储存在控制机器人集群的计算机系统模块中的计算机程序逻辑排列连接模块(6),该模块将所述计算机程序按执行的先后逻辑顺序进行排列,排列后通过网络传输模块(5)传输给控制各个相应机器人的上位机计算机系统模块(4),该模块然后将任务分解后通过网络模块(3)传输给各种控制相应机器人的下位机计算机系统模块(2),并由该模块控制各种完成相应机器人规定动作的执行模块(1)执行。
3.如权利要求2所述的非特定人外语语音遥控的集群机器人系统,其特征是:所述的汉语语音码以单词为单位,这里将汉字看作单音节词,根据组成该单词的每个音节的《汉语拼音方案》中的拼音,依次按“声码+介码+韵码+调码兼隔音节符号”的顺序编码,同一个单词的音节不用空格隔开连写,单词与单词之间的编码用空格隔开,当汉语信息表示处于汉语语音码状态时,其标点符号的用法同英文的标点符号的用法相同。
4.如权利要求2或3所述的非特定人外语语音遥控的集群机器人系统,其特征是:在用键盘键入汉语语音码及汉语语音码语句的标点符号时,组成汉语语音码编码的26个拉丁字母与西文标准键盘的26个字母键完全一一相同对应,汉语语音码语句的标点符号键与西文标准键盘的标点符号键也一一相同对应,输入汉语语音码字母和标点符号时,只需要击打西文标准键盘的相应的相同键位即可。
5.如权利要求2所述的非特定人外语语音遥控的集群机器人系统,其特征是:所述的储存在控制机器人集群的计算机系统模块中的外语与汉语翻译模块(8)在将翻译好的汉语文本进行分词时采用汉语文本智能分词法进行分词。
6.如权利要求2所述的非特定人外语语音遥控的集群机器人系统,其特征是:所述储存在控制机器人集群的计算机系统模块中的汉语关键词与计算机程序绑定模块(7)是通过关键词与程序函数名建立对应关系词表或对应数据库的方式进行绑定,绑定时控制机器人集群的计算机系统模块(9)首先提取要绑定程序的关键词,然后再去查对应关系词表或对应数据库,查到对应的程序函数名后,将所述程序函数名传输给储存在控制机器人集群的计算机系统模块中的计算机程序逻辑排列连接模块(6),该模块将所述程序函数名按执行的先后逻辑顺序排列到要执行的程序序列中,当执行到该程序函数名的程序时,控制机器人集群的计算机系统模块(9)、控制各个相应机器人的上位机计算机系统模块(4)或各种控制相应机器人的下位机计算机系统模块(2)就会从各自的程序库中调用与该程序函数名对应的计算机程序交所述的控制机器人集群的计算机系统模块(9)或控制各个相应机器人的上位机计算机系统模块(4)或各种控制相应机器人的下位机计算机系统模块(2)运行。
7.如权利要求2所述的非特定人外语语音遥控的集群机器人系统,其特征是:对控制机器人集群的计算机系统模块(9)或控制各个相应机器人的上位机计算机系统模块(4)或各种控制相应机器人的下位机计算机系统模块(2)中已经储存的程序,控制机器人集群的计算机系统模块(9)在进行关键词与程序绑定时,只与相对应的程序名进行绑定,控制机器人集群的计算机系统模块(9)自身程序运行或传给控制各个相应机器人的上位机计算机系统模块(4)或各种控制相应机器人的下位机计算机系统模块(2)控制执行时,由控制机器人集群的计算机系统模块(9)或控制各个相应机器人的上位机计算机系统模块(4)或各种控制相应机器人的下位机计算机系统模块(2)根据相对应的程序名从自己的程序储存系统中调出对应的程序执行;
对于下一级计算机系统模块中没有的计算机程序,由对应的上一级计算机系统模块传输给它,当最上一级计算机系统模块控制机器人集群的计算机系统模块(9)也没有相应的计算机程序时,控制机器人集群的计算机系统模块(9)可以通过网络连接到指定的服务器,包括云服务器上进行搜索并下载,下载后再依次传输给下一级计算机系统模块并按统一程序名储存,以便下次与关键词绑定并调用执行。
8.如权利要求2所述的非特定人外语语音遥控的集群机器人系统,其特征是:所述控制机器人集群的计算机系统模块(9)在正式通过控制各个相应机器人的上位机计算机系统模块(4)并通过该模块控制各种控制相应机器人的下位机计算机系统模块(2)控制各种完成相应机器人规定动作的执行模块(1)执行时,分为两种模式运行,一种是自动运行模式,该模式按照所述控制机器人集群的计算机系统模块(9)对所收到的由外文转换过来的汉语文本的理解自动运行,并将开始通过各种控制相应机器人的下位机计算机系统模块(2)控制各种完成相应机器人规定动作的执行模块(1)执行所要产生的动作或所要达到的功能以外语文本或该外语文本的语音合成形式输出;另一种是询问确认模式,该模式下所述控制机器人集群的计算机系统模块(9)对所收到的由外文转换过来的汉语文本先进行正确校正和执行程序的优化,并反馈一个经过正确校正和执行程序优化过的汉语文本的外文译文,该由汉语文本转换过来的外文译文也可以经过外语语音合成模块以语音的形式通过输入非特定人外语语音遥控装置模块(12)输出,经确认后再正式运行。
9.如权利要求2所述的非特定人外语语音遥控的集群机器人系统,其特征是:所述的输入非特定人外语语音遥控装置模块(12)或控制机器人集群的计算机系统模块(9)具有语音命令自动训练功能,输入非特定人外语语音遥控装置模块(12)或控制机器人集群的计算机系统模块(9)操作者在用语音命令控制整个机器人运行前,输入非特定人外语语音遥控装置模块(12)或控制机器人集群的计算机系统模块(9)将它能执行的外语语音命令一条条用外语语音朗读出来,要求操作者跟读,并将操作者跟读的语音作为模板并与该语音模板所对应的控制整个机器人运行的外语语音命令或对应的执行程序绑定后储存在输入非特定人外语语音遥控装置模块(12)或控制机器人集群的计算机系统模块(9)中;
所述的操作者跟读的语音包括汉语普通话语音、中国方言的语音、少数民族语言的语音、外国语语音、一种能与其它语音命令的声音相区分开的特殊的声响;
所述的遥控装置或控制机器人集群的计算机系统模块(9)在进行语音命令自动训练时,在主动将它能执行的语音命令一条条用外语语音朗读出来的同时,将所朗读的语音命令根据预先的设定能够用意义一致的汉字、汉语拼音、汉语语音码、少数民族文字、外国语文字从显示屏幕上显示出来;
所述的输入非特定人外语语音遥控装置模块(12)或控制机器人集群的计算机系统模块(9)具有的语音命令,可以是具体的要求机器人采取某种动作的的语音命令,也可以是与某优化方案绑定的程序模块的语音调用命令,该模块用语音命令调用时,不要求针对某个具体动作发语音命令,而只要发出要达到的目的的语音命令,由控制机器人集群的计算机系统模块(9)自动根据所要达到的目的,寻找与该语音命令相对应的优化方案的程序并将上述程序的各种工作指令通过网络传输模块(5)传输给控制各个相应机器人的上位机计算机系统模块(4),该模块然后将任务分解后通过网络模块(3)传输给各种控制相应机器人的下位机计算机系统模块(2),并由该模块控制各种完成相应机器人规定动作的执行模块(1)执行;
对控制机器人集群的计算机系统模块(9)正确完成工作所必须的各种工作参数,如果控制机器人集群的计算机系统模块(9)认为需要操作者提供时,会以语音或文字或语音与文字相结合的形式,主动向操作者发出询问,直到控制机器人集群的计算机系统模块(9)了解到所有必须的工作参数为止。
10.如权利要求2所述的非特定人外语语音遥控的集群机器人系统,其特征是:所述的控制机器人集群的计算机系统模块(9)或控制各个相应机器人的上位机计算机系统模块(4)或各种控制相应机器人的下位机计算机系统模块(2)可以是台式电脑或笔记本电脑或者服务器或者云计算机系统,也可以是嵌入式计算机系统;
所述输入非特定人外语语音遥控装置模块(12)接收到的外语语音可以通过话筒输入或者电话输入,话筒输入或者电话输入采用的信息传输网络可以是有线网络也可以是无线网络;
所述的输入非特定人外语语音遥控装置模块(12)是指所有能进行外语语音识别并能向控制机器人集群的计算机系统模块(9)发送字符文本信息的装置,包括:固定电话系统、手机、台式电脑、笔记本电脑、上网本、个人数字信息助理PDA、遥控器、信息通讯软件模块;
所述网络传输模块(10)或网络传输模块(5)或网络传输模块(3),涵盖有线网络和无线网络软硬件传输系统及传输模块,包括:固定电话通讯传输系统、电力线通讯传输系统、有线电视电缆通讯传输系统、因特网、局域网、2.5G、3G、4G、wifi、wimax、蓝牙、Zigbee近程双向无线联网系统、CAN串行总线控制局域网系统、LED灯无线网络传输系统。
CN201410788613.6A 2014-12-19 2014-12-19 非特定人外语语音遥控的集群机器人系统 Pending CN105759809A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410788613.6A CN105759809A (zh) 2014-12-19 2014-12-19 非特定人外语语音遥控的集群机器人系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410788613.6A CN105759809A (zh) 2014-12-19 2014-12-19 非特定人外语语音遥控的集群机器人系统

Publications (1)

Publication Number Publication Date
CN105759809A true CN105759809A (zh) 2016-07-13

Family

ID=56339591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410788613.6A Pending CN105759809A (zh) 2014-12-19 2014-12-19 非特定人外语语音遥控的集群机器人系统

Country Status (1)

Country Link
CN (1) CN105759809A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101364110A (zh) * 2008-09-28 2009-02-11 重庆邮电大学 一种多自主机器人协同作业控制方法及系统
CN102833278A (zh) * 2011-06-14 2012-12-19 上海博泰悦臻电子设备制造有限公司 一种车载系统的需求处理方法
CN103277874A (zh) * 2013-06-19 2013-09-04 江苏华音信息科技有限公司 非特定人汉语语音遥控智能空调机的装置
CN103279362A (zh) * 2013-06-19 2013-09-04 江苏华音信息科技有限公司 外语文本遥控计算机程序运行的装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101364110A (zh) * 2008-09-28 2009-02-11 重庆邮电大学 一种多自主机器人协同作业控制方法及系统
CN102833278A (zh) * 2011-06-14 2012-12-19 上海博泰悦臻电子设备制造有限公司 一种车载系统的需求处理方法
CN103277874A (zh) * 2013-06-19 2013-09-04 江苏华音信息科技有限公司 非特定人汉语语音遥控智能空调机的装置
CN103279362A (zh) * 2013-06-19 2013-09-04 江苏华音信息科技有限公司 外语文本遥控计算机程序运行的装置

Similar Documents

Publication Publication Date Title
CN104699673A (zh) 汉语语音现场控制机器人的方法
CN104699004A (zh) 汉语文本遥控机器人的控制器装置
CN104698991A (zh) 汉语语音现场控制机器人的控制器装置
CN104699671A (zh) 非特定人外语语音现场控制机器人的方法
CN104699672A (zh) 非特定人外语语音现场控制的机器人系统
CN104698993A (zh) 汉语文本遥控的机器人系统
CN104699002A (zh) 汉语文本遥控机器人的方法
CN104698996A (zh) 汉语文本现场控制的机器人系统
CN104699000A (zh) 非特定人外语语音遥控的机器人系统
CN104699003A (zh) 汉语语音遥控的机器人系统
CN104698986A (zh) 汉语语音遥控机器人的控制器装置
CN105759810A (zh) 汉语文本现场控制的集群机器人系统
CN104698992A (zh) 外语自然语文本遥控机器人的控制器装置
CN104699001A (zh) 外语自然语文本遥控机器人的方法
CN104698999A (zh) 外语自然语文本现场控制机器人的控制器装置
CN104698855A (zh) 汉语文本现场控制机器人的方法
CN104698998A (zh) 汉语语音现场控制的机器人系统
CN105759669A (zh) 外语自然语文本遥控集群机器人的方法
CN104698988A (zh) 非特定人外语语音遥控机器人的控制器装置
CN104698990A (zh) 非特定人外语语音遥控机器人的方法
CN104698994A (zh) 外语自然语文本遥控的机器人系统
CN104698995A (zh) 外语自然语文本现场控制的机器人系统
CN105759809A (zh) 非特定人外语语音遥控的集群机器人系统
CN105759739A (zh) 非特定人外语语音遥控集群机器人的控制器装置
CN105785982A (zh) 非特定人外语语音遥控集群机器人的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160713