CN116330310B - 一种低延时机器人交互方法 - Google Patents
一种低延时机器人交互方法 Download PDFInfo
- Publication number
- CN116330310B CN116330310B CN202310113355.0A CN202310113355A CN116330310B CN 116330310 B CN116330310 B CN 116330310B CN 202310113355 A CN202310113355 A CN 202310113355A CN 116330310 B CN116330310 B CN 116330310B
- Authority
- CN
- China
- Prior art keywords
- convolutional neural
- robot
- neural network
- compressed
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000003993 interaction Effects 0.000 title claims abstract description 70
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 252
- 230000004044 response Effects 0.000 claims abstract description 134
- 238000004891 communication Methods 0.000 claims abstract description 33
- 238000004364 calculation method Methods 0.000 claims description 107
- 239000010410 layer Substances 0.000 claims description 89
- 238000000605 extraction Methods 0.000 claims description 44
- 230000008569 process Effects 0.000 claims description 31
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 238000007906 compression Methods 0.000 claims description 11
- 230000006835 compression Effects 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 239000011229 interlayer Substances 0.000 claims description 4
- 230000007423 decrease Effects 0.000 claims description 3
- 238000012163 sequencing technique Methods 0.000 claims description 2
- 230000002452 interceptive effect Effects 0.000 abstract description 6
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Robotics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Human Computer Interaction (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mechanical Engineering (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Manipulator (AREA)
Abstract
本发明公开一种低延时机器人交互方法，涉及人机交互技术领域。本发明包括，收集用户的交流数据以及对应的机器的回应数据；根据交流数据以及对应的回应数据生成人机交互卷积神经网络，人机交互卷积神经网络的输入层用于输入交流数据，人机交互卷积神经网络的输出层用于输出对应的回应数据；抽取人机交互卷积神经网络的部分中间层得到多个压缩卷积神经网络；获取若干个压缩卷积神经网络；获取用户的交流数据；将交流数据分别输入若干个压缩卷积神经网络，得到若干个回应初步数据；获取若干个回应初步数据的比例分布；根据若干个回应初步数据的比例分布得到用于向用户输出的回应数据。本发明提高了机器人的交互响应速度。
Description
技术领域
本发明属于人机交互技术领域，特别是涉及一种低延时机器人交互方法。
背景技术
用户与智能语音机器人进行交流的过程中，用户的语音信息经过模数转化之后得到用户的交流数据，再对用户的交流数据进行语音识别和应答匹配，最终得到向用户输出的回应数据。上述的语音识别和应答匹配通常是通过卷积神经网络进行处理，中间层数量越多的卷积神经网络识别越准确，但是消耗的算力也较大，作为本地端的机器人难以在短时间内通过复杂的卷积神经网络生成回应数据，导致机器人交互的响应迟钝。如果通过算力较强的远程端进行计算，但是受限于网络状况依旧会导致机器人的交互响应迟钝。
在公开号为CN114999470A的专利中公开了一种人机语音对话的控制方法，包括：接收用户端进行人机语音对话的第一语音流及监控机器端进行所述人机语音对话的第二语音流；获取所述第一语音流在第一时间切片的第一状态特征和所述第二语音流在所述第一时间切片的第二状态特征；根据所述第一状态特征和所述第二状态特征，从设定的控制指令集中选择对应的控制指令；其中，所述控制指令集包括控制机器端播报的指令和控制机器端静音的指令；在所述第一时间切片之后，根据所述相匹配的控制指令控制所述机器端进行所述人机语音对话。上述方案依旧是依靠用户端的硬件进行计算操作。
发明内容
本发明的目的在于提供一种低延时机器人交互方法，通过将机器人和远程端的算力进行分工协作，提高了机器人的交互响应速度。
为解决上述技术问题，本发明是通过以下技术方案实现的：
本发明提供一种低延时机器人交互方法，包括，
收集用户的交流数据以及对应的机器的回应数据；
根据交流数据以及对应的回应数据生成人机交互卷积神经网络，所述人机交互卷积神经网络的输入层用于输入交流数据，所述人机交互卷积神经网络的输出层用于输出对应的回应数据；
抽取所述人机交互卷积神经网络的部分中间层得到多个压缩卷积神经网络；
获取若干个所述压缩卷积神经网络；
获取用户的交流数据；
将所述交流数据分别输入若干个所述压缩卷积神经网络，得到若干个回应初步数据；
获取若干个所述回应初步数据的比例分布；
根据若干个所述回应初步数据的比例分布得到用于向用户输出的回应数据。
在本发明的一个实施例中，所述抽取所述人机交互卷积神经网络的部分中间层得到多个压缩卷积神经网络的步骤，包括，
按照所述人机交互卷积神经网络中由输入层至输出层的参数传递顺序将中间层进行编号，得到每个中间层的编号；
获取所述人机交互卷积神经网络内中间层的编号的最大值；
在所述人机交互卷积神经网络内中间层的编号的最大值以内生成系列数值大小的等差数列；
在所述人机交互卷积神经网络内中间层的编号中分别随机抽取所述等差数列内数值大小对应数量的中间层的编号，得到多个部分中间层编号数列；
将所述部分中间层编号数列按照由小至大的顺序进行排列得到中间层提取数列；
按照所述中间层提取数列中编号的排列顺序提取所述人机交互卷积神经网络内的中间层得到所述压缩卷积神经网络内的中间层；
根据所述人机交互卷积神经网络内输入层、输出层以及所述压缩卷积神经网络内的中间层组成所述压缩卷积神经网络。
在本发明的一个实施例中，所述在所述人机交互卷积神经网络内中间层的编号中分别随机抽取所述等差数列内数值大小对应数量的中间层的编号，得到多个部分中间层编号数列的步骤，包括，
依次提取所述等差数列内的数值作为中间层提取数量；
生成由一至所述人机交互卷积神经网络内中间层的编号的最大值的正整数数列；
随机生成所述正整数数列以内的正整数作为数列提取数；
判断所述数列提取数是否与在前的所述数列提取数重复；
若重复则继续随机生成新的所述数列提取数；
若不重复则将所述数列提取数按照生成顺序进行排列；
判断所述数列提取数的数列是否达到所述人机交互卷积神经网络内中间层的编号的最大值；
若否则继续随机生成新的所述数列提取数；
若是则完成提取并将得到的所述数列提取数排列组成的随机数列；
按照所述中间层提取数列将所述随机数列划分为多个数列单元；
在每个所述数列单元内提取一个数值作为中间层提取数值，组合得到所述部分中间层编号数列。
在本发明的一个实施例中，所述获取若干个所述压缩卷积神经网络的步骤，包括，
获取所述机器人内每个所述压缩卷积神经网络的运算所需算力；
根据所述机器人内每个所述压缩卷积神经网络的运算所需算力将所述机器人内的所述压缩卷积神经网络均匀顺序划分为若干个卷积网络单元组队列，并获取卷积网络均值单元组，其中所述卷积网络均值单元组中包括所述机器人内全部所述压缩卷积神经网络的运算所需算力的中值；
按照卷积网络单元组队列中所述卷积网络单元组的排列顺序，由所述卷积网络均值单元组开始依次交替循环提取两侧的所述卷积网络单元组中的所述压缩卷积神经网络；
判断由卷积网络单元组队列中提取出来的全部所述压缩卷积神经网络的运算所需算力的累加值是否小于所述机器人的硬件算力限制；
若小于，则持续由卷积网络单元组队列中提取出所述压缩卷积神经网络；
若大于，则停止由卷积网络单元组队列中提取出所述压缩卷积神经网络，并得到累加后运算所需算力小于所述机器人的硬件算力限制的全部所述压缩卷积神经网络。
在本发明的一个实施例中，所述根据所述机器人内每个所述压缩卷积神经网络的运算所需算力将所述机器人内的所述压缩卷积神经网络均匀顺序划分为若干个卷积网络单元组队列，并获取卷积网络均值单元组的步骤，包括，
根据每个所述压缩卷积神经网络的运算所需算力得到全部所述压缩卷积神经网络的运算所需算力的平均值；
按照每个所述压缩卷积神经网络的运算所需算力由大至小进行顺序排列；
按照每个所述压缩卷积神经网络的运算所需算力的大小的排列顺序，将多个所述压缩卷积神经网络均匀划分为若干个卷积网络单元组；
分别获取每个所述卷积网络单元组内所述压缩卷积神经网络的运算所需算力的平均值作为所述卷积网络单元组的运算所需平均算力；
将在数值范围内包括所述卷积网络单元组的运算所需平均算力的所述卷积网络单元组作为卷积网络均值单元组；
将全部所述卷积网络单元组按照所述卷积网络单元组的运算所需平均算力进行排列得到卷积网络单元组队列。
在本发明的一个实施例中，所述将所述交流数据分别输入若干个所述压缩卷积神经网络，得到若干个回应初步数据的步骤，包括，
多次获取所述机器人向用户输出的回应数据以及所述机器人内所述压缩卷积神经网络输出的回应初步数据；
根据回应初步数据与所述回应数据的一致性分布，得到所述机器人内每个所述卷积神经网络的命中率；
分别获取所述机器人内每个所述压缩卷积神经网络的运算所需算力；
根据所述机器人的硬件算力以及所述机器人内每个所述压缩卷积神经网络的运算所需算力得到所述机器人内每个所述压缩卷积神经网络的运算所需时间；
根据所述机器人内每个所述卷积神经网络的命中率以及每个所述压缩卷积神经网络的运算所需时间对所述机器人内所述卷积神经网络的运算顺序进行排序，得到所述机器人内所述卷积神经网络的运算执行顺序；
将所述交流数据按照所述机器人内所述卷积神经网络的运算执行顺序输入到对应的所述压缩卷积神经网络，得到若干个回应初步数据。
在本发明的一个实施例中，所述根据所述机器人内每个所述卷积神经网络的命中率以及每个所述压缩卷积神经网络的运算所需时间对所述机器人内所述卷积神经网络的运算顺序进行排序，得到所述机器人内所述卷积神经网络的运算执行顺序的步骤，包括，
按照所述机器人内每个所述卷积神经网络的命中率由低至高排列，得到所述机器人内所述压缩卷积神经网络的命中率顺序；
根据所述机器人内所述压缩卷积神经网络的命中率顺序得到所述机器人内所述压缩卷积神经网络的命中率编号序列；
按照所述机器人内每个所述压缩卷积神经网络的运算所需时间由高至低排列，得到所述机器人内所述压缩卷积神经网络的运算速度顺序；
根据所述机器人内所述压缩卷积神经网络的运算速度顺序得到所述机器人内所述压缩卷积神经网络的运算速度编号序列；
获取所述机器人内每个所述压缩卷积神经网络分别在命中率编号序列和运算速度编号序列中的编号的累加值；
将所述机器人内每个所述压缩卷积神经网络分别在命中率编号序列和运算速度编号序列中的编号的累加值由大至小排列得到所述机器人内所述压缩卷积神经网络的运算执行顺序。
在本发明的一个实施例中，所述将所述机器人内每个所述压缩卷积神经网络分别在命中率编号序列和运算速度编号序列中的编号的累加值由大至小排列得到所述机器人内所述压缩卷积神经网络的运算执行顺序的步骤，包括，
将每个所述机器人内每个所述压缩卷积神经网络分别在命中率编号序列和运算速度编号序列中的编号的累加值记为所述机器人内所述压缩卷积神经网络的预执行编号；
将所述机器人内所述压缩卷积神经网络的预执行编号进行累加得到预执行总编号；
获取所述机器人内所述压缩卷积神经网络的预执行编号与所述预执行总编号的比值，作为所述机器人内所述压缩卷积神经网络的排序执行编号期望值；
以所述机器人内所述压缩卷积神经网络的排序执行编号期望值作为在所述机器人内随机抽取所述压缩随机网络的概率，依次在所述机器人内抽取所述压缩卷积神经网络，得到所述机器人内所述压缩卷积神经网络的运算执行顺序。
在本发明的一个实施例中，所述根据若干个所述回应初步数据的比例分布得到用于向用户输出的回应数据的步骤，包括，
在所述机器人内的多个所述压缩卷积神经网络持续生成所述回应初步数据的过程中，实时获取所述回应初步数据的过程分布比例以及对应的生成时间；
获取所述机器人的设定响应时间；
获取所述机器人接收用户的交流数据的时刻；
根据所述机器人的设定响应时间以及所述机器人接收用户的交流数据的时刻获取所述机器人输出回应数据的时刻；
在所述机器人输出回应数据的时刻，根据所述回应初步数据的过程分布得到所述回应初步数据的分布中心作为向用户输出的回应数据。
在本发明的一个实施例中，所述在所述机器人输出回应数据的时刻，根据所述回应初步数据的过程分布得到所述回应初步数据的分布中心作为向用户输出的回应数据的步骤，包括，
获取所述回应初步数据的分布中心关于时间的映射；
根据所述回应初步数据的分布中心关于时间的映射获取单位时间内所述回应初步数据的分布中心的变化次数；
若回应初步数据的分布中心发生变化，则获取所述回应初步数据的分布中心在单位时间内的变化次数；
若变化次数逐渐减少且达到所述机器人的设定响应时间，则将此刻所述回应初步数据的分布中心作为向用户输出的回应数据。
本发明通过远程端的强大算力生成识别率准确但是运行资源占用较高的人机交互卷积神经网络，之后对人机交互卷积神经网络抽取部分中间层生成多个压缩卷积神经网络，将部分卷积神经网络传送至机器人。在用户和机器人进行对话的过程中将用户的交流数据分别输入机器人中的压缩卷积神经网络，根据输出的回应初步数据的比例分布得到回应数据。以上过程中只需要运行计算压缩卷积神经网络，相比较运行计算人机交互卷积神经网络，能够在较短的时间内输出准确的回应数据，提高了机器人的交互响应速度。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明所述一种低延时机器人交互方法于一实施例的步骤流程示意图；
图2为本发明所述步骤S3于一实施例的步骤流程示意图；
图3为本发明所述步骤S34于一实施例的步骤流程示意图；
图4为本发明所述步骤S4于一实施例的步骤流程示意图；
图5为本发明所述步骤S42于一实施例的步骤流程示意图；
图6为本发明所述步骤S6于一实施例的步骤流程示意图；
图7为本发明所述步骤S65于一实施例的步骤流程示意图；
图8为本发明所述步骤S656于一实施例的步骤流程示意图；
图9为本发明所述步骤S8于一实施例的步骤流程示意图；
图10为本发明所述步骤S85于一实施例的步骤流程示意图；
图11为本发明所述一种低延时机器人交互系统于一实施例的模块结构及信息流向示意图。
附图中，各标号所代表的部件列表如下：
1-远程端，2-机器人。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
为了提高机器人在人机交互过程中的响应速度，本发明提供以下方案。
请参阅图1和11所示，本发明提供了一种低延时机器人交互方法及系统，包括远程端1和机器人2，其中远程端1可以是云端服务器，机器人2用于直接和用户进行交互对话。在实施的过程中，远程端1可以用于执行步骤S1收集用户的交流数据以及对应的机器的回应数据。接下来可以执行步骤S2根据交流数据以及对应的回应数据生成人机交互卷积神经网络，人机交互卷积神经网络的输入层用于输入交流数据，人机交互卷积神经网络的输出层用于输出对应的回应数据。最后可以执行步骤S3抽取人机交互卷积神经网络的部分中间层得到多个压缩卷积神经网络。机器人2在实施的过程中首先可以执行步骤S4获取若干个压缩卷积神经网络，接下来可以执行步骤S5获取用户的交流数据。接下来可以执行步骤S6将交流数据分别输入若干个压缩卷积神经网络，得到若干个回应初步数据。接下来可以执行步骤S7获取若干个回应初步数据的比例分布，接下来可以执行步骤S8根据若干个回应初步数据的比例分布得到用于向用户输出的回应数据。以上步骤中通过远程端1训练出识别精度高但是算力消耗巨大的人机交互卷积神经网络，并且提取出算力消耗较小的压缩卷积神经网络，机器人2通过压缩卷积神经网络识别出多个回应初步数据，最后分析得出向用户输出的回应数据，在机器人2识别用户的交流数据的过程中，由于压缩卷积神经网络计算运行的算力消耗远小于人机交互卷积神经网络，因此能够提高机器人在人机交互过程中的响应速度。
请参阅图2所示，为了对人机交互卷积神经网络进行压缩，上述的步骤S3在执行的过程中首先可以执行步骤S31按照人机交互卷积神经网络中由输入层至输出层的参数传递顺序将中间层进行编号，得到每个中间层的编号。接下来可以执行步骤S32获取人机交互卷积神经网络内中间层的编号的最大值，
接下来可以执行步骤S33在人机交互卷积神经网络内中间层的编号的最大值以内生成系列数值大小的等差数列。接下来可以执行步骤S34在人机交互卷积神经网络内中间层的编号中分别随机抽取等差数列内数值大小对应数量的中间层的编号，得到多个部分中间层编号数列。接下来可以执行步骤S35将部分中间层编号数列按照由小至大的顺序进行排列得到中间层提取数列。接下来可以执行步骤S36按照中间层提取数列中编号的排列顺序提取人机交互卷积神经网络内的中间层得到压缩卷积神经网络内的中间层。接下来可以执行步骤S37根据人机交互卷积神经网络内输入层、输出层以及压缩卷积神经网络内的中间层组成压缩卷积神经网络。上述方案均匀抽取人机交互卷积神经网络内的中间层后再进行传递参数连接，得到多个压缩卷积神经网络。
请参阅图3所示，为了让多个压缩卷积神经网络之间具有区别性，因此在抽取人机交互卷积神经网络内的中间层的过程中需要具有随机性，具体在执行的过程中还需要考虑中间层抽取的数量，因此首先可以执行步骤S341依次提取等差数列内的数值作为中间层提取数量。接下来可以执行步骤S342生成由一至人机交互卷积神经网络内中间层的编号的最大值的正整数数列，
接下来可以执行步骤S343随机生成正整数数列以内的正整数作为数列提取数。接下来可以执行步骤S344判断数列提取数是否与在前的数列提取数重复，若重复则接下来可以执行步骤S33继续随机生成新的数列提取数，若不重复则接下来可以执行步骤S345将数列提取数按照生成顺序进行排列。接下来可以执行步骤S346判断数列提取数的数列是否达到人机交互卷积神经网络内中间层的编号的最大值。若否接下来可以执行步骤S347则继续随机生成新的数列提取数，若是接下来可以执行步骤S348则完成提取并将得到的数列提取数排列组成的随机数列。接下来可以执行步骤S349按照中间层提取数列将随机数列划分为多个数列单元，接下来可以执行步骤S3410在每个数列单元内提取一个数值作为中间层提取数值，组合得到部分中间层编号数列。上述步骤对中间层的提取顺序和数量进行规划，避免生成的多个压缩卷积神经网络之间实质上相同。
请参阅图4所示，由于不同的机器人硬件规格不同，对于不同的机器人需要置入不同的压缩卷积神经网络，为了匹配不同的机器人，上述步骤S4在执行的过程中首先可以执行步骤S41获取机器人内每个压缩卷积神经网络的运算所需算力。接下来可以执行步骤S42根据机器人内每个压缩卷积神经网络的运算所需算力将机器人内的压缩卷积神经网络均匀顺序划分为若干个卷积网络单元组队列，并获取卷积网络均值单元组，其中卷积网络均值单元组中包括机器人内全部压缩卷积神经网络的运算所需算力的中值。接下来可以执行步骤S43按照卷积网络单元组队列中卷积网络单元组的排列顺序，由卷积网络均值单元组开始依次交替循环提取两侧的卷积网络单元组中的压缩卷积神经网络。接下来可以执行步骤S44判断由卷积网络单元组队列中提取出来的全部压缩卷积神经网络的运算所需算力的累加值是否小于机器人的硬件算力限制，若小于，则接下来可以执行步骤S45持续由卷积网络单元组队列中提取出压缩卷积神经网络，若大于，则接下来可以执行步骤S46停止由卷积网络单元组队列中提取出压缩卷积神经网络，并得到累加后运算所需算力小于机器人的硬件算力限制的全部压缩卷积神经网络。上述步骤中针对不同机器人的硬件算力限制，将不同算力消耗梯度的压缩卷积神经网络置入机器人，兼顾了机器人的识别精度和硬件限制。
请参阅图5所示，为了实现将算力需求梯度差异的压缩卷积神经网络置入机器人，需要划分出若干个卷积网络单元组队列，并获取卷积网络均值单元组，在执行的过程中上述的步骤S42在执行的过程中首先可以执行步骤S421根据每个压缩卷积神经网络的运算所需算力得到全部压缩卷积神经网络的运算所需算力的平均值。接下来可以执行步骤S422按照每个压缩卷积神经网络的运算所需算力由大至小进行顺序排列。接下来可以执行步骤S423按照每个压缩卷积神经网络的运算所需算力的大小的排列顺序，将多个压缩卷积神经网络均匀划分为若干个卷积网络单元组。接下来可以执行步骤S424分别获取每个卷积网络单元组内压缩卷积神经网络的运算所需算力的平均值作为卷积网络单元组的运算所需平均算力，接下来可以执行步骤S425将在数值范围内包括卷积网络单元组的运算所需平均算力的卷积网络单元组作为卷积网络均值单元组。最后可以执行步骤S426将全部卷积网络单元组按照卷积网络单元组的运算所需平均算力进行排列得到卷积网络单元组队列。
请参阅图6所示，在机器人内部，为了在短时间尽快输出准确可靠的回应数据，需要对机器人内的压缩卷积神经网络计算顺序进行排序，因此上述的步骤S6在执行的过程中首先可以执行步骤S61多次获取机器人向用户输出的回应数据以及机器人内压缩卷积神经网络输出的回应初步数据。接下来可以执行步骤S62根据回应初步数据与回应数据的一致性分布，得到机器人内每个卷积神经网络的命中率。接下来可以执行步骤S63分别获取机器人内每个压缩卷积神经网络的运算所需算力，接下来可以执行步骤S64根据机器人的硬件算力以及机器人内每个压缩卷积神经网络的运算所需算力得到机器人内每个压缩卷积神经网络的运算所需时间。接下来可以执行步骤S65根据机器人内每个卷积神经网络的命中率以及每个压缩卷积神经网络的运算所需时间对机器人内卷积神经网络的运算顺序进行排序，得到机器人内卷积神经网络的运算执行顺序。最后可以执行步骤S66将交流数据按照机器人内卷积神经网络的运算执行顺序输入到对应的压缩卷积神经网络，得到若干个回应初步数据。上述步骤实施过程中，优先计算准确率和运算速度平衡度较高的压缩卷积神经网络，进一步提高了机器人的互动响应速度。
请参阅图7所示，为了兼顾步骤S6在执行过程中压缩卷积神经网络运算速度和准确率，上述步骤S65在执行的过程中首先可以执行步骤S651按照机器人内每个卷积神经网络的命中率由低至高排列，得到机器人内压缩卷积神经网络的命中率顺序。接下来可以执行步骤S652根据机器人内压缩卷积神经网络的命中率顺序得到机器人内压缩卷积神经网络的命中率编号序列。接下来可以执行步骤S653按照机器人内每个压缩卷积神经网络的运算所需时间由高至低排列，得到机器人内压缩卷积神经网络的运算速度顺序。接下来可以执行步骤S654根据机器人内压缩卷积神经网络的运算速度顺序得到机器人内压缩卷积神经网络的运算速度编号序列。接下来可以执行步骤S655获取机器人内每个压缩卷积神经网络分别在命中率编号序列和运算速度编号序列中的编号的累加值。最后可以执行步骤S656将机器人内每个压缩卷积神经网络分别在命中率编号序列和运算速度编号序列中的编号的累加值由大至小排列得到机器人内压缩卷积神经网络的运算执行顺序。
请参阅图8所示，对于不同的用户交流数据，相同的压缩卷积神经网络也可能会有不同的识别结果，换言之压缩卷积神经网络的识别准确率并不是一成不变的，考虑到此种情况，严格按照完全不变的机器人内压缩卷积神经网络的运算执行顺序可能会拖慢机器人的响应速度，为了尽量避免此种问题，上述步骤S656在执行的过程中首先可以执行步骤S6561将每个机器人内每个压缩卷积神经网络分别在命中率编号序列和运算速度编号序列中的编号的累加值记为机器人内压缩卷积神经网络的预执行编号。接下来可以执行步骤S6562将机器人内压缩卷积神经网络的预执行编号进行累加得到预执行总编号。接下来可以执行步骤S6563获取机器人内压缩卷积神经网络的预执行编号与预执行总编号的比值，作为机器人内压缩卷积神经网络的排序执行编号期望值。最后可以执行步骤S6564以机器人内压缩卷积神经网络的排序执行编号期望值作为在机器人内随机抽取压缩随机网络的概率，依次在机器人内抽取压缩卷积神经网络，得到机器人内压缩卷积神经网络的运算执行顺序。通过在机器人内压缩卷积神经网络的运算执行顺序中添加随机性，进一步提高机器人的整体识别响应速度。
请参阅图9所示，为了在统计层面上结合回应初步数据的比例分布得到回应数据，上述步骤S8在执行的过程中首先可以执行步骤S81在机器人内的多个压缩卷积神经网络持续生成回应初步数据的过程中，实时获取回应初步数据的过程分布比例以及对应的生成时间。接下来可以执行步骤S82获取机器人的设定响应时间，接下来可以执行步骤S83获取机器人接收用户的交流数据的时刻。接下来可以执行步骤S84根据机器人的设定响应时间以及机器人接收用户的交流数据的时刻获取机器人输出回应数据的时刻。最后可以执行步骤S85在机器人输出回应数据的时刻，根据回应初步数据的过程分布得到回应初步数据的分布中心作为向用户输出的回应数据。
请参阅图10所示，在机器人内置的压缩卷积神经网络运行的过程中可能已经得出稳定的回应初步数据的比例分布，鉴于此可以得出可靠的回应数据，上述步骤S85在执行的过程中首先可以执行步骤S851获取回应初步数据的分布中心关于时间的映射。接下来可以执行步骤S852根据回应初步数据的分布中心关于时间的映射获取单位时间内回应初步数据的分布中心的变化次数。接下来可以执行步骤S853判断回应初步数据的分布中心是否发生变化，若是则接下来可以执行步骤S854获取回应初步数据的分布中心在单位时间内的变化次数。接下来可以执行步骤S855判断变化次数逐渐减少且达到机器人的设定响应时间，若是则接下来可以执行步骤S856将此刻回应初步数据的分布中心作为向用户输出的回应数据。通过分析回应初步数据的分布中心在单位时间内的变化次数进一步缩短机器人的交互响应速度。
综上所述，本方案通过算计较强的远程端生成识别准确率高的人机交互卷积神经网络，并且压缩得到多个压缩卷积神经网络置入机器人。机器人在收到用户的交流数据之后输入内置的多个卷积神经网络中得到回应初步数据的比例分布，在对回应初步数据的比例分布进行分析之后得到回应数据。由于压缩卷积神经网络的算力消耗远小于人机交互卷积神经网络，即使多个压缩卷积神经网络占用的硬件资源也很少，因此能够在短时间内输出准确率较高的回应数据，提高了机器人的交互响应速度。
本发明所示实施例的上述描述(包括在说明书摘要中的内容)并非意在详尽列举或将本发明限制到本文所公开的精确形式。尽管在本文仅为说明的目的而描述了本发明的具体实施例和本发明的实例，但是正如本领域技术人员将认识和理解的，各种等效修改是可以在本发明的精神和范围内的。如所指出的，可以按照本发明实施例的上述描述来对本发明进行这些修改，并且这些修改将在本发明的精神和范围内。
本文已经在总体上将系统和方法描述为有助于理解本发明的细节。此外，已经给出了各种具体细节以提供本发明实施例的总体理解。然而，相关领域的技术人员将会认识到，本发明的实施例可以在没有一个或多个具体细节的情况下进行实践，或者利用其它装置、系统、配件、方法、组件、材料、部分等进行实践。在其它情况下，并未特别示出或详细描述公知结构、材料和/或操作以避免对本发明实施例的各方面造成混淆。
因而，尽管本发明在本文已参照其具体实施例进行描述，但是修改自由、各种改变和替换意在上述公开内，并且应当理解，在某些情况下，在未背离所提出发明的范围和精神的前提下，在没有对应使用其他特征的情况下将采用本发明的一些特征。因此，可以进行许多修改，以使特定环境或材料适应本发明的实质范围和精神。本发明并非意在限制到在下面权利要求书中使用的特定术语和/或作为设想用以执行本发明的最佳方式公开的具体实施例，但是本发明将包括落入所附权利要求书范围内的任何和所有实施例及等同物。因而，本发明的范围将只由所附的权利要求书进行确定。
Claims (5)
1.一种低延时机器人交互方法，其特征在于，包括，
收集用户的交流数据以及对应的机器的回应数据；
根据交流数据以及对应的回应数据生成人机交互卷积神经网络，所述人机交互卷积神经网络的输入层用于输入交流数据，所述人机交互卷积神经网络的输出层用于输出对应的回应数据；
抽取所述人机交互卷积神经网络的部分中间层得到多个压缩卷积神经网络；
获取若干个所述压缩卷积神经网络；
获取用户的交流数据；
将所述交流数据分别输入若干个所述压缩卷积神经网络，得到若干个回应初步数据；
获取若干个所述回应初步数据的比例分布；
根据若干个所述回应初步数据的比例分布得到用于向用户输出的回应数据；
其中，所述根据若干个所述回应初步数据的比例分布得到用于向用户输出的回应数据的步骤，包括，
在所述机器人内的多个所述压缩卷积神经网络持续生成所述回应初步数据的过程中，实时获取所述回应初步数据的过程分布比例以及对应的生成时间；
获取所述机器人的设定响应时间；
获取所述机器人接收用户的交流数据的时刻；
根据所述机器人的设定响应时间以及所述机器人接收用户的交流数据的时刻获取所述机器人输出回应数据的时刻；
在所述机器人输出回应数据的时刻，根据所述回应初步数据的过程分布得到所述回应初步数据的分布中心作为向用户输出的回应数据；
其中，所述在所述机器人输出回应数据的时刻，根据所述回应初步数据的过程分布得到所述回应初步数据的分布中心作为向用户输出的回应数据的步骤，包括，
获取所述回应初步数据的分布中心关于时间的映射；
根据所述回应初步数据的分布中心关于时间的映射获取单位时间内所述回应初步数据的分布中心的变化次数；
若回应初步数据的分布中心发生变化，则获取所述回应初步数据的分布中心在单位时间内的变化次数；
若变化次数逐渐减少且达到所述机器人的设定响应时间，则将此刻所述回应初步数据的分布中心作为向用户输出的回应数据；
其中，
所述抽取所述人机交互卷积神经网络的部分中间层得到多个压缩卷积神经网络的步骤，包括，
按照所述人机交互卷积神经网络中由输入层至输出层的参数传递顺序将中间层进行编号，得到每个中间层的编号；
获取所述人机交互卷积神经网络内中间层的编号的最大值；
在所述人机交互卷积神经网络内中间层的编号的最大值以内生成系列数值大小的等差数列；
在所述人机交互卷积神经网络内中间层的编号中分别随机抽取所述等差数列内数值大小对应数量的中间层的编号，得到多个部分中间层编号数列；
将所述部分中间层编号数列按照由小至大的顺序进行排列得到中间层提取数列；
按照所述中间层提取数列中编号的排列顺序提取所述人机交互卷积神经网络内的中间层得到所述压缩卷积神经网络内的中间层；
根据所述人机交互卷积神经网络内输入层、输出层以及所述压缩卷积神经网络内的中间层组成所述压缩卷积神经网络；
其中，所述获取若干个所述压缩卷积神经网络的步骤，包括，
获取所述机器人内每个所述压缩卷积神经网络的运算所需算力；
根据所述机器人内每个所述压缩卷积神经网络的运算所需算力将所述机器人内的所述压缩卷积神经网络均匀顺序划分为若干个卷积网络单元组队列，并获取卷积网络均值单元组，其中所述卷积网络均值单元组中包括所述机器人内全部所述压缩卷积神经网络的运算所需算力的中值；
按照卷积网络单元组队列中所述卷积网络单元组的排列顺序，由所述卷积网络均值单元组开始依次交替循环提取两侧的所述卷积网络单元组中的所述压缩卷积神经网络；
判断由卷积网络单元组队列中提取出来的全部所述压缩卷积神经网络的运算所需算力的累加值是否小于所述机器人的硬件算力限制；
若小于，则持续由卷积网络单元组队列中提取出所述压缩卷积神经网络；
若大于，则停止由卷积网络单元组队列中提取出所述压缩卷积神经网络，并得到累加后运算所需算力小于所述机器人的硬件算力限制的全部所述压缩卷积神经网络；
其中，所述将所述交流数据分别输入若干个所述压缩卷积神经网络，得到若干个回应初步数据的步骤，包括，
多次获取所述机器人向用户输出的回应数据以及所述机器人内所述压缩卷积神经网络输出的回应初步数据；
根据回应初步数据与所述回应数据的一致性分布，得到所述机器人内每个所述卷积神经网络的命中率；
分别获取所述机器人内每个所述压缩卷积神经网络的运算所需算力；
根据所述机器人的硬件算力以及所述机器人内每个所述压缩卷积神经网络的运算所需算力得到所述机器人内每个所述压缩卷积神经网络的运算所需时间；
根据所述机器人内每个所述卷积神经网络的命中率以及每个所述压缩卷积神经网络的运算所需时间对所述机器人内所述卷积神经网络的运算顺序进行排序，得到所述机器人内所述卷积神经网络的运算执行顺序；
将所述交流数据按照所述机器人内所述卷积神经网络的运算执行顺序输入到对应的所述压缩卷积神经网络，得到若干个回应初步数据。
2.根据权利要求1所述的方法，其特征在于，所述在所述人机交互卷积神经网络内中间层的编号中分别随机抽取所述等差数列内数值大小对应数量的中间层的编号，得到多个部分中间层编号数列的步骤，包括，
依次提取所述等差数列内的数值作为中间层提取数量；
生成由一至所述人机交互卷积神经网络内中间层的编号的最大值的正整数数列；
随机生成所述正整数数列以内的正整数作为数列提取数；
判断所述数列提取数是否与在前的所述数列提取数重复；
若重复则继续随机生成新的所述数列提取数；
若不重复则将所述数列提取数按照生成顺序进行排列；
判断所述数列提取数的数列是否达到所述人机交互卷积神经网络内中间层的编号的最大值；
若否则继续随机生成新的所述数列提取数；
若是则完成提取并将得到的所述数列提取数排列组成的随机数列；
按照所述中间层提取数列将所述随机数列划分为多个数列单元；
在每个所述数列单元内提取一个数值作为中间层提取数值，组合得到所述部分中间层编号数列。
3.根据权利要求1所述的方法，其特征在于，所述根据所述机器人内每个所述压缩卷积神经网络的运算所需算力将所述机器人内的所述压缩卷积神经网络均匀顺序划分为若干个卷积网络单元组队列，并获取卷积网络均值单元组的步骤，包括，
根据每个所述压缩卷积神经网络的运算所需算力得到全部所述压缩卷积神经网络的运算所需算力的平均值；
按照每个所述压缩卷积神经网络的运算所需算力由大至小进行顺序排列；
按照每个所述压缩卷积神经网络的运算所需算力的大小的排列顺序，将多个所述压缩卷积神经网络均匀划分为若干个卷积网络单元组；
分别获取每个所述卷积网络单元组内所述压缩卷积神经网络的运算所需算力的平均值作为所述卷积网络单元组的运算所需平均算力；
将在数值范围内包括所述卷积网络单元组的运算所需平均算力的所述卷积网络单元组作为卷积网络均值单元组；
将全部所述卷积网络单元组按照所述卷积网络单元组的运算所需平均算力进行排列得到卷积网络单元组队列。
4.根据权利要求1所述的方法，其特征在于，所述根据所述机器人内每个所述卷积神经网络的命中率以及每个所述压缩卷积神经网络的运算所需时间对所述机器人内所述卷积神经网络的运算顺序进行排序，得到所述机器人内所述卷积神经网络的运算执行顺序的步骤，包括，
按照所述机器人内每个所述卷积神经网络的命中率由低至高排列，得到所述机器人内所述压缩卷积神经网络的命中率顺序；
根据所述机器人内所述压缩卷积神经网络的命中率顺序得到所述机器人内所述压缩卷积神经网络的命中率编号序列；
按照所述机器人内每个所述压缩卷积神经网络的运算所需时间由高至低排列，得到所述机器人内所述压缩卷积神经网络的运算速度顺序；
根据所述机器人内所述压缩卷积神经网络的运算速度顺序得到所述机器人内所述压缩卷积神经网络的运算速度编号序列；
获取所述机器人内每个所述压缩卷积神经网络分别在命中率编号序列和运算速度编号序列中的编号的累加值；
将所述机器人内每个所述压缩卷积神经网络分别在命中率编号序列和运算速度编号序列中的编号的累加值由大至小排列得到所述机器人内所述压缩卷积神经网络的运算执行顺序。
5.根据权利要求4所述的方法，其特征在于，所述将所述机器人内每个所述压缩卷积神经网络分别在命中率编号序列和运算速度编号序列中的编号的累加值由大至小排列得到所述机器人内所述压缩卷积神经网络的运算执行顺序的步骤，包括，
将每个所述机器人内每个所述压缩卷积神经网络分别在命中率编号序列和运算速度编号序列中的编号的累加值记为所述机器人内所述压缩卷积神经网络的预执行编号；
将所述机器人内所述压缩卷积神经网络的预执行编号进行累加得到预执行总编号；
获取所述机器人内所述压缩卷积神经网络的预执行编号与所述预执行总编号的比值，作为所述机器人内所述压缩卷积神经网络的排序执行编号期望值；
以所述机器人内所述压缩卷积神经网络的排序执行编号期望值作为在所述机器人内随机抽取所述压缩随机网络的概率，依次在所述机器人内抽取所述压缩卷积神经网络，得到所述机器人内所述压缩卷积神经网络的运算执行顺序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310113355.0A CN116330310B (zh) | 2023-02-14 | 2023-02-14 | 一种低延时机器人交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310113355.0A CN116330310B (zh) | 2023-02-14 | 2023-02-14 | 一种低延时机器人交互方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116330310A CN116330310A (zh) | 2023-06-27 |
| CN116330310B true CN116330310B (zh) | 2023-11-07 |
Family
ID=86881328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310113355.0A Active CN116330310B (zh) | 2023-02-14 | 2023-02-14 | 一种低延时机器人交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116330310B (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063719A (zh) * | 2014-06-27 | 2014-09-24 | 深圳市赛为智能股份有限公司 | 基于深度卷积网络的行人检测方法及装置 |
| CN106873893A (zh) * | 2017-02-13 | 2017-06-20 | 北京光年无限科技有限公司 | 用于智能机器人的多模态交互方法及装置 |
| CN108081266A (zh) * | 2017-11-21 | 2018-05-29 | 山东科技大学 | 一种基于深度学习的机械臂手部抓取物体的方法 |
| CN110114783A (zh) * | 2016-11-04 | 2019-08-09 | 渊慧科技有限公司 | 利用辅助任务的强化学习 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11106967B2 (en) * | 2017-07-03 | 2021-08-31 | X Development Llc | Update of local features model based on correction to robot action |
-
2023
- 2023-02-14 CN CN202310113355.0A patent/CN116330310B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104063719A (zh) * | 2014-06-27 | 2014-09-24 | 深圳市赛为智能股份有限公司 | 基于深度卷积网络的行人检测方法及装置 |
| CN110114783A (zh) * | 2016-11-04 | 2019-08-09 | 渊慧科技有限公司 | 利用辅助任务的强化学习 |
| CN106873893A (zh) * | 2017-02-13 | 2017-06-20 | 北京光年无限科技有限公司 | 用于智能机器人的多模态交互方法及装置 |
| CN108081266A (zh) * | 2017-11-21 | 2018-05-29 | 山东科技大学 | 一种基于深度学习的机械臂手部抓取物体的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 融合人类认知网络优化的中国画情感识别;盛家川;陈雅琦;王君;李亮;;模式识别与人工智能(第02期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116330310A (zh) | 2023-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111612650B (zh) | 一种基于dtw距离的电力用户分群方法及系统 | |
| CN106909933B (zh) | 一种三阶段多视角特征融合的窃电分类预测方法 | |
| CN105487526B (zh) | 一种Fast RVM污水处理故障诊断方法 | |
| CN111368904B (zh) | 一种基于电力指纹的电器设备识别方法 | |
| CN111258767A (zh) | 复杂系统仿真应用的云计算资源智能分配方法与装置 | |
| CN109523022A (zh) | 终端数据处理方法、装置及终端 | |
| CN102522709B (zh) | 变压器状态检修的决策方法及系统 | |
| CN110082136A (zh) | 基于云遗传算法优化支持向量机的旋转机械故障诊断方法 | |
| CN110297469A (zh) | 基于重采样的集成特征选择算法的生产线故障判断方法 | |
| CN111090643A (zh) | 一种基于数据分析系统下的海量用电数据挖掘方法 | |
| CN115782105A (zh) | 一种注塑生产管理方法、系统、计算机设备及存储介质 | |
| CN116330310B (zh) | 一种低延时机器人交互方法 | |
| CN103501253A (zh) | 一种高性能计算应用特征的监控组织方法 | |
| CN110879802A (zh) | 一种日志模式提取及匹配方法 | |
| Asadi-Gangraj | Lagrangian relaxation approach to minimize makespan for hybrid flow shop scheduling problem with unrelated parallel machines | |
| CN111080089A (zh) | 一种基于随机矩阵理论的线损率关键因子确定方法和装置 | |
| CN103412942A (zh) | 一种基于云计算技术的电压暂降数据分析方法 | |
| Wenjing et al. | Data mining based dynamic scheduling approach for semiconductor manufacturing system | |
| CN110135511A (zh) | 电力系统时间断面的确定方法、装置以及电子设备 | |
| CN115357853A (zh) | 一种基于快速随机子空间的工程结构模态参数识别方法 | |
| Demir et al. | A New Approach to Solving Multi-Objective Flow-Shop Scheduling Problems: A MultiMoora-Based Genetic Algorithm | |
| CN114238328A (zh) | 数据分页查询方法、装置、设备及存储介质 | |
| CN117812185B (zh) | 一种智能外呼系统的管控方法及系统 | |
| CN110895541A (zh) | 一种Timing云数据统计智能化平台 | |
| CN116341628B (zh) | 分布式训练的梯度稀疏化方法、系统、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |