CN109333539A - 机器人及其控制方法、装置和存储介质 - Google Patents
机器人及其控制方法、装置和存储介质 Download PDFInfo
- Publication number
- CN109333539A CN109333539A CN201811431787.1A CN201811431787A CN109333539A CN 109333539 A CN109333539 A CN 109333539A CN 201811431787 A CN201811431787 A CN 201811431787A CN 109333539 A CN109333539 A CN 109333539A
- Authority
- CN
- China
- Prior art keywords
- information
- robot
- environmental information
- channel property
- subalgorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种机器人的控制方法,所述机器人的控制方法包括:在接收到环境信息时,将所述环境信息转化为通道性符号,其中,所述通道性符号包括所述环境信息对应的特征;将所述通道性符号转换成所述环境信息对应的语义描述;根据所述环境信息对应的语义描述得到待输出信息;控制机器人输出所述待输出信息。本发明还公开了一种机器人的控制装置、机器人和存储介质。本发明能够使得机器人交互适应的环境情景更加广泛,提高了机器人交互的自主性。
Description
技术领域
本发明涉及机器人领域,尤其涉及机器人及其控制方法、装置和存储介质。
背景技术
随着科技发展和进步,机器人能够实现的功能越来越丰富,也得到了越来越广泛的应用,例如图像处理、大数据分析等。
然而,目前机器人与环境的交互一般是通过预先设置特定环境信息和动作的对应关系,在获取到特定环境信息时,执行特定信息对应的动作;而当获取到的环境信息不是预存的特定环境信息时,机器人不会做出任何交互动作。因此现有的机器人与环境的交互只适用于特定的场景,不具备自主性。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种机器人及其控制方法、装置和存储介质,旨在解决现有的机器人与环境的交互只适用于特定的场景,不具备自主性的技术问题。
为实现上述目的,本发明提供1、一种机器人的控制方法,所述机器人的控制方法包括:
在接收到环境信息时,将所述环境信息转化为通道性符号,其中,所述通道性符号包括所述环境信息对应的特征;
将所述通道性符号转换成所述环境信息对应的语义描述;
根据所述环境信息对应的语义描述得到待输出信息;
控制机器人输出所述待输出信息。
优选地,所述环境信息包括图像信息和声波信息中的至少一种,所述在接收到环境信息时,将所述环境信息转化为通道性符号步骤包括:
在接收到环境信息时,判断所述环境信息的类型;
在所述环境信息为图像信息时,将所述图像信息传送至第一算法模块,利用所述第一算法模块中的第一子算法将所述图像信息转换成对应的通道性符号;
在所述环境信息为声波信息时,将所述环境声波信息传送至第二算法模块,利用所述第二算法模块中的第二子算法将所述声波信息转换成对应的通道性符号。
优选地,所述在所述环境信息为图像信息时,将所述图像信息传送至第一算法模块,利用所述第一算法模块中的第一子算法将所述图像信息转换成对应的通道性符号的步骤之后,还包括:
控制所述第一算法模块将所述图像信息对应的通道性符号传送至所述第二算法模块;
所述将所述通道性符号转换成所述环境信息对应的语义描述的步骤包括:
利用所述第二算法模块中的第三子算法将所述环境信息对应的通道性符号转换成所述环境信息对应的语义描述,其中,所述通道性符号包括图像信息对应的通道性符号和声波信息对应的通道性符号中的至少一种。
优选地,所述利用所述第二算法模块中的第三子算法将所述环境信息对应的通道性符号转换成所述环境信息对应的语义描述,其中,所述通道性符号包括图像信息对应的通道性符号和声波信息对应的通道性符号中的至少一种的步骤包括:
在所述环境信息为图像信息时,利用所述第二算法模块中的第三子算法对所述图像信息对应的通道性符号处理,得到所述图像信息中的特定物体及所述特定物体的语义描述;
在所述环境信息为声波信息时,利用所述第二算法模块中的第三子算法对所述声波信息对应的通道性符号处理,得到所述声波信息对应的语句。
优选地,所述待输出信息包括待输出语音和待输出动作中的至少一种,所述利用所述第二算法模块中的第三子算法将所述环境信息对应的通道性符号转换成所述环境信息对应的语义描述,其中,所述通道性符号包括图像信息对应的通道性符号和声波信息对应的通道性符号中的至少一种的步骤之后,还包括:
控制所述第二算法模块将所述环境信息对应的语义描述传送至第三算法模块;
根据所述环境信息对应的语义描述得到待输出信息的步骤包括:
利用所述第二算法模块中的第四子算法对所述环境信息对应的语义描述处理,得到所述待输出语言;
利用所述第三算法模块中的第五子算法对所述环境信息对应的语义描述处理,得到所述待输出动作。
优选地,所述在所述环境信息为图像信息时,将所述图像信息传送至第一算法模块,利用所述第一算法模块中的第一子算法将所述图像信息转换成对应的通道性符号的步骤之后,还包括:
控制所述第一算法模块将所述图像信息对应的通道性符号传送至所述第三算法模块;
利用所述第三算法模块中的第六子算法确定图像信息中的特定物体位置信息,其中,所述位置信息包括所述特定物体与所述机器人的相对方位和距离中的至少一种;
控制所述第三算法模块将所述位置信息传送至所述第二算法模块;
所述根据所述环境信息对应的语义描述得到待输出信息的步骤包括:
利用所述第二算法模块中的第四子算法对所述位置信息和所述环境信息对应的语义描述处理,得到待输出语言;
利用所述第三算法模块中的第五子算法对所述位置信息和所述环境信息对应的语义描述处理,得到待输出动作。
优选地,所述第一子算法包括多层全卷积网络算子,所述第二算法包括多层全卷积网络算子,所述第三子算法包括分类网络算子,所述第四子算法包括自然语言处理算子,所述第五子算法包括旋量代数算子,所述第六子算法包括双目帧差算子。
此外,为实现以上目的,本发明还提供一种机器人的控制装置,所述机器人的控制装置包括:存储器、处理器及存储在所述存储器上的机器人的控制程序,所述机器人的控制程序被所述处理器执行时实现如上任一项所述的机器人的控制方法的步骤。
此外,为实现以上目的,本发明还提供一种机器人,所述机器人包括:存储器、处理器及存储在所述存储器上的机器人的控制程序,所述机器人的控制程序被所述处理器执行时实现如上任一项所述的机器人的控制方法的步骤。
此外,为实现以上目的,本发明还提供一种存储介质,其特征在于,所述存储介质上存储有机器人的控制程序,所述机器人的控制程序被处理器执行时实现如上任一项所述的机器人的控制方法的步骤。
本发明实施例提出的一种机器人及其控制方法、装置和存储介质,机器人在接收到环境信息时,将所述环境信息转化为通道性符号,其中,所述通道性符号包括所述环境信息对应的特征,然后将所述通道性符号转换成所述环境信息对应的语义描述。然后根据所述环境信息对应的语义描述得到待输出信息,控制机器人输出所述待输出信息。由于各个转换过程可以通过逻辑算子实现,从而使得机器人交互适应的环境情景更加广泛,提高了机器人交互的自主性。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图;
图2为本发明机器人的控制方法第一实施例的流程示意图;
图3为本发明机器人的控制方法第二实施例的流程示意图;
图4为本发明机器人的控制方法第三实施例的流程示意图;
图5为本发明机器人的控制方法第四实施例的流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例的主要解决方案是:
在接收到环境信息时,将所述环境信息转化为通道性符号,其中,所述通道性符号包括所述环境信息对应的特征;
将所述通道性符号转换成所述环境信息对应的语义描述;
根据所述环境信息对应的语义描述得到待输出信息;
控制机器人输出所述待输出信息。
由于现有技术中,机器人与环境的交互只适用于特定的场景,不具备自主性。
本发明提供一种解决方案,使得机器人交互适应的环境情景更加广泛,提高了机器人交互的自主性。
如图1所示,图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。
如图1所示,该终端可以包括:处理器1001,例如CPU,网络接口1004,用户接口1003,存储器1005,通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是稳定的存储器(non-volatile memory),例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解,图1中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
如图1所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及机器人的控制程序。
在图1所示的终端中,网络接口1004主要用于连接后台服务器,与后台服务器进行数据通信;用户接口1003主要用于连接客户端(用户端),与客户端进行数据通信;而处理器1001可以用于调用存储器1005中存储的机器人的控制程序,并执行以下操作:
在接收到环境信息时,将所述环境信息转化为通道性符号,其中,所述通道性符号包括所述环境信息对应的特征;
将所述通道性符号转换成所述环境信息对应的语义描述;
根据所述环境信息对应的语义描述得到待输出信息;
控制机器人输出所述待输出信息。
进一步地,处理器1001可以调用存储器1005中存储的机器人的控制程序,还执行以下操作:
在接收到环境信息时,判断所述环境信息的类型;
在所述环境信息为图像信息时,将所述图像信息传送至第一算法模块,利用所述第一算法模块中的第一子算法将所述图像信息转换成对应的通道性符号;
在所述环境信息为声波信息时,将所述环境声波信息传送至第二算法模块,利用所述第二算法模块中的第二子算法将所述声波信息转换成对应的通道性符号。
进一步地,处理器1001可以调用存储器1005中存储的机器人的控制程序,还执行以下操作:
控制所述第一算法模块将所述图像信息对应的通道性符号传送至所述第二算法模块;
所述将所述通道性符号转换成所述环境信息对应的语义描述的步骤包括:
利用所述第二算法模块中的第三子算法将所述环境信息对应的通道性符号转换成所述环境信息对应的语义描述,其中,所述通道性符号包括图像信息对应的通道性符号和声波信息对应的通道性符号中的至少一种。
进一步地,处理器1001可以调用存储器1005中存储的机器人的控制程序,还执行以下操作:
在所述环境信息为图像信息时,利用所述第二算法模块中的第三子算法对所述图像信息对应的通道性符号处理,得到所述图像信息中的特定物体及所述特定物体的语义描述;
在所述环境信息为声波信息时,利用所述第二算法模块中的第三子算法对所述声波信息对应的通道性符号处理,得到所述声波信息对应的语句。
进一步地,处理器1001可以调用存储器1005中存储的机器人的控制程序,还执行以下操作:
控制所述第二算法模块将所述环境信息对应的语义描述传送至第三算法模块;
根据所述环境信息对应的语义描述得到待输出信息的步骤包括:
利用所述第二算法模块中的第四子算法对所述环境信息对应的语义描述处理,得到所述待输出语言;
利用所述第三算法模块中的第五子算法对所述环境信息对应的语义描述处理,得到所述待输出动作。
进一步地,处理器1001可以调用存储器1005中存储的机器人的控制程序,还执行以下操作:
控制所述第一算法模块将所述图像信息对应的通道性符号传送至所述第三算法模块;
利用所述第三算法模块中的第六子算法确定图像信息中的特定物体位置信息,其中,所述位置信息包括所述特定物体与所述机器人的相对方位和距离中的至少一种;
控制所述第三算法模块将所述位置信息传送至所述第二算法模块;
所述根据所述环境信息对应的语义描述得到待输出信息的步骤包括:
利用所述第二算法模块中的第四子算法对所述位置信息和所述环境信息对应的语义描述处理,得到待输出语言;
利用所述第三算法模块中的第五子算法对所述位置信息和所述环境信息对应的语义描述处理,得到待输出动作。
根据上述方案,机器人在接收到环境信息时,将所述环境信息转化为通道性符号,其中,所述通道性符号包括所述环境信息对应的特征,然后将所述通道性符号转换成所述环境信息对应的语义描述。然后根据所述环境信息对应的语义描述得到待输出信息,控制机器人输出所述待输出信息。由于各个转换过程可以通过逻辑算子实现,从而使得机器人交互适应的环境情景更加广泛,提高了机器人交互的自主性。
参照图2,图2为本发明机器人的控制方法第一实施例的流程示意图,所述机器人的控制方法包括:
步骤S10,在接收到环境信息时,将所述环境信息转化为通道性符号,其中,所述通道性符号包括所述环境信息对应的特征;
本发明提供的智能机器人的控制系统主要应用于机器人控制领域,尤其应用于人工智能机器人的控制。本发明涉及的机器人可配置有图像采集装置(如摄像头)和声波采集装置(如麦克风)。
本实施例涉及的终端中存储有逻辑算子(算法)群和符号域,其中,所述逻辑算子群为逻辑算子的集合,由于逻辑算子群的扩张可不受限制,因此,人类所有已知的逻辑算子均可纳入所述算子群中;其中,确定性的逻辑算子(例如加、减、乘、除等)可通过人工输入的方式导入逻辑算子群,语言逻辑算子等可通过系统连接的知识库导入,而图像识别算子、检测算子、特征生成算子等的算子则可通过训练生成,并通过训练提高此类算子的置信度。所述符号域为符号的集合,所述符号包括通道性符号和非通道性符号,其中,所述非通道性符号指语言单词或者具有唯一语义的短语,所述通道性符号指视觉、听觉、触觉、嗅觉、耳蜗、味觉等生成的特征,例如图像的颜色、线条轮廓等。同样,所述符号域的扩张也可不受,因此,人类已知的所有通道性符号和非通道性符号均可纳入所述符号域。所述非通道性符号可通过人类已掌握的逻辑变换,映射至一组新的单词或者通道性符号;所述通道性符号中部分可通过逻辑映射到非通道性符号。
本实施例中,机器人中存储有环境信息对应的处理算子,机器人在接收到环境信息时,调取所述环境信息对应的处理算子,将所述环境信息转换成对应的通道性符号,通道性符号为环境信息对应的特征。例如,当获取到的环境信息为图像信息时,机器人调取图像信息对应的处理算子(例如,可以多层全卷积网络算子),将获取到的图像信息进行分割处理,转换成颜色、线条轮廓等特征。
步骤S20,将所述通道性符号转换成所述环境信息对应的语义描述;
机器人进行交互时,需要“理解”接收到的环境信息的内容,才能根据“理解”的内容做出相应的交互动作。因此,在将环境信息转换成对应的通道性符号后,机器人进一步获取语义描述的生成算子,将环境信息对应的通道性符号转换成环境信息的语义描述,所述语义描述的生成算子可以是分类网络算子。例如,当对图像信息进行分割处理得到颜色、线条轮廓等特征后,利用分类网络算子对得到的颜色、线条轮廓等特征进行处理,得到图像信息中的特征物体,并得到所述特征物体的语义描述;例如,当得到所述图像信息中存在人体时及人体的特征后,通过分类网络算子即可则得到对应的语义描述:“人”、年龄、性别等;转换成语义描述“人”、年龄、性别后,机器人即能够“理解”到,当前环境中有人及人的特征。
步骤S30,根据所述环境信息对应的语义描述得到待输出信息;
机器人获取到环境信息的语义描述后,进一步将所述环境信息的语义描述作为条件,得到机器人交互的待输出信息。例如,在得到图像信息中“人”、年龄、性别等的语义描述后,可调取自然语言处理算子(NPL处理算子),将“人”、年龄、性别等作为条件,进行处理,得到待输出语言,例如,可得到打招呼语句“你好”。
步骤S40,控制机器人输出所述待输出信息。
得到待输出信息后,即可控制机器人输出所述待输出信息,例如,在得到打招呼语句“你好”后,即可控制机器人将所述语句“你好”转换成语音输出,从而完成在获取到的环境中存在人时,机器人进行打招呼的交互。可以理解的,通过扩充算子群和知识域,可将已知的所有算子和知识纳入系统,可不断提高机器人交互的自主性。
本实施例提供的技术方案,机器人在接收到环境信息时,将所述环境信息转化为通道性符号,其中,所述通道性符号包括所述环境信息对应的特征,然后将所述通道性符号转换成所述环境信息对应的语义描述。然后根据所述环境信息对应的语义描述得到待输出信息,控制机器人输出所述待输出信息。由于各个转换过程可以通过逻辑算子实现,从而使得机器人的交互不限定于特定的环境信息,使得交互适应的环境情景更加广泛,提高了机器人交互的自主性。
参照图3,图3为本发明机器人的控制方法第二实施例的流程示意图,基于第一实施例,所述环境信息包括图像信息和声波信息中的至少一种,所述步骤S10包括:
所述步骤S11,在接收到环境信息时,判断所述环境信息的类型;
所述步骤S12,在所述环境信息为图像信息时,将所述图像信息传送至第一算法模块,利用所述第一算法模块中的第一子算法将所述图像信息转换成对应的通道性符号;
所述步骤S13,在所述环境信息为声波信息时,将所述环境声波信息传送至第二算法模块,利用所述第二算法模块中的第二子算法将所述声波信息转换成对应的通道性符号。
为了更好地实现机器人交互的自主性,本实施例模拟人的前脑的功能分区设置机器人的控制系统的功能分区,分别设置为第一算法模块(枕叶)、第二算法模块(颞叶)、第三算法模块(顶叶)和第四算法模块(额叶),其中,所述第一算法模块(枕叶)包含处理视觉模拟信息(图像信息)的第一子算法,用于将图像信息转换成图像对应的通道性符号,可选的,所述第一子算法包括多层多层全卷积网络算子;所述第二算法模块(颞叶)包含处理听觉模拟信息(声波信息)的第二子算法,用于将声波信息转换成对应的通道性符号,可选的,所述第二子算法包括多层多层全卷积网络算子。现实交互中,最为常见场景是根据获取到的图像信息和声音来实现交互,因此对图像信息和声波信息的处理也最为常见,本实施例中,获取到的环境信息包括图像信息和声波信息中的至少一种,分别将其传送至对应的功能分区进行处理。需要理解的是,所述枕叶、所述颞叶、所述顶叶和所述枕叶借用前脑的功能分区名称命名,以体现上述第一算法模块、第二算法模块、第三算法模块和第四算法模块对应的逻辑功能,并不真正等同于人脑该分区的功能。
具体地,在接收到环境信息时,机器人判断判断所述环境信息的类型,在判定所述环境信息为图像信息时,则将所述图像信息传送至所述第一算法模块(枕叶),利用所述第一算法模块(枕叶)中的所述第一子算法将所述图像信息转换成对应的通道性符号,例如转换成颜色、线条轮廓等特征;而在判定所述环境信息为声波信息时,则将所述环境声波信息传送至第二算法模块(颞叶),利用所述第二算法模块(颞叶)中的所述第二子算法将所述声波信息转换成对应的通道性符号,例如转换成音节、音调等特征。可以理解的是,机器人在同时接收到图像信息和声波信息时,则将图像信息传送至所述第一算法模块(枕叶),将声波信息传送至第二算法模块(颞叶),进行分别处理。
进一步地,当机器人还配置有触觉、味觉和嗅觉等人类感觉的模拟传感器时,也可以设置对于的信息处理子算法,用于将触觉模拟信息、味觉模拟信息和嗅觉模拟信息转换成对应的通道性符号,其中,处理触觉模拟信息和味觉模拟信息的子算法设置在第三算法模块(顶叶),处理嗅觉模拟信息的子算法设置在第二算法模块(颞叶);可选的,用于将触觉模拟信息、味觉模拟信息和嗅觉模拟信息转换成对应的通道性符号的子算法均可以是多层全卷积网络算子。
本实施例提供的技术方案,模拟人前脑的功能分区,将不同的环境信息转换成对应的通道性符号分别由不同的算法模块中的子算法进行,提高了机器人对环境信息的处理的生物似然性。
参照图4,图4为本发明机器人的控制方法第三实施例的流程示意图,基于第二实施例,所述步骤S12之后,还包括:
步骤S14,控制所述第一算法模块将所述图像信息对应的通道性符号传送至所述第二算法模块;
所述步骤S20包括:
步骤S21,利用所述第二算法模块中的第三子算法将所述环境信息对应的通道性符号转换成所述环境信息对应的语义描述,其中,所述通道性符号包括图像信息对应的通道性符号和声波信息对应的通道性符号中的至少一种。
本实施例中,模拟人前脑的功能分区,涉及语言的处理均设置于所述第二算法模块(颞叶),第二算法模块中包含词向量系统,语段语义语料库等处理语言相关的所有符号,以及处理语言相关的子算法,例如自然语言处理算子(NLP处理算子)。机器人接收到的所有环境信息在转换成对于的通道性符号后,均传送至第二算法模块(颞叶)进行处理,转换成对应的语义描述。
具体地,接收到的图像信息在第一算法模块(枕叶)处理转换成对于的通道性符号后,机器人控制第一算法模块(枕叶)将图像信息对应的通道性符号传送至第二算法模块(颞叶),第二算法模块(颞叶)存储所述图像信息对应的通道性符号;而声波信息转换成对应的通道性符号是在第二算法模块(颞叶)进行,处理完成后第二算法模块(颞叶)直接存储得到的声波信息对于的通道性符号。
进一步地,机器人利用所述第二算法模块(颞叶)中的第三子算法将所述环境信息对应的通道性符号转换成所述环境信息对应的语义描述,其中,所述通道性符号包括图像信息对应的通道性符号和声波信息对应的通道性符号中的至少一种。例如,当环境信息为图像信息时,则第二算法模块(颞叶)中的第三子算法将图像信息对应的通道性符号(颜色、线条轮廓等)进行处理,得到所述图像信息中的特征物体(例如人)及所述特征物体的语义描述如:人、年龄、性别等语义描述;当环境信息为声波信息时,则第二算法模块(颞叶)中的第三子算法将声波信息对应的通道性符号(音节、音调等)转换成单词、语句等声波信息对应的语义描述,可选的,所述第三子算法包括自然语言处理算子(NLP处理算子)。可以理解的是,当环境信息同时包括图像信息和声波信息是,分别进行转换。
此外,当机器人还配置有触觉、味觉和嗅觉等人类感觉的模拟传感器时,触觉模拟信息、味觉模拟信息和嗅觉模拟信息对应的通道性符号也均由第二算法模块(颞叶)进行处理转换成对于的语义描述。
本实施例提供的技术方案,模拟人前脑的功能分区,将环境信息对应的通道性符号转换成语义描述的过程由专门的语言处理算法模块来执行,提高了机器人将通道性符号转换成语义描述的生物似然性。
参照图5,图5为本发明机器人的控制方法第四实施例的流程示意图,基于第三实施例,所述步骤S21之后,还包括:
步骤S50,控制所述第二算法模块将所述环境信息对应的语义描述传送至第三算法模块;
所述步骤S30包括:
步骤S31,利用所述第二算法模块中的第五子算法对所述环境信息对应的语义描述处理,得到所述待输出语音;
步骤S32,利用所述第三算法模块中的第四子算法对所述环境信息对应的语义描述处理,得到所述待输出动作。
现实情况中,机器人进行交互的输出主要为动作的输出和语音的输出,因此,所述待输出信息包括待输出语音和待输出动作中的至少一种。本实施例中,模拟人前脑的功能分区,动作生成的功能由所述第三算法模块(顶叶)来实现,语言生成的功能均由所述第二算法模块(颞叶)实现。因此,第二算法模块(颞叶)将通道性符号转换成语义描述后,第二算法模块(颞叶)课根据语义描述得到带输出语音;机器人控制所述第二算法模块将所述环境信息对应的语义描述传送至第三算法模块(顶叶),以供第三算法模块(顶叶)根据所述语义描述得到待输出动作。
具体地,机器人利用所述第二算法模块(颞叶)中的第四子算法(如自然语言处理算子)对环境信息对应的语义描述进行处理,得到待输出语言,例如环境信息对于的语义描述包括人、年龄、性别等时,得到打招呼的带输出语言“你好”。同时,利用所述第三算法模块(顶叶)中的第五子算法对所述环境信息对应的语义描述处理,得到所述待输出动作,例如,环境信息对于的语义描述包括人、年龄、性别等时,处理得到直接转身离开的动作,可选的,所述第五子算法包括旋量代数算子。可以理解的是,第二算法模块(颞叶)和第三算法模块(顶叶)对语义描述进行处理,并不一定得到待输出动作和待输出语言,可能只得到其中一个,或者均未得到,这取决于处理子算法处理得到的结果。
进一步地,模拟人前脑的功能,输出的控制由第四算法模块(额叶)来实现,在得到待输出信息后,得到的输出信息均传送至第四算法模块(额叶),由第四算法模块(额叶)来控制执行,例如,根据带输出动作控制机器人的动作,并将待输出语言转换成语音并输出。
此外,在机器人的现实交互中,机器人的待输出信息的生成除了与环境信息对应的语义描述有关外,还与环境信息中的特定物体和机器人的位置关系有关,例如,在与人交流时,除了要确定人的特征(姓名、年龄等)外,还需要确定人的位置。同样,模拟人前脑的功能分区,数学、物理、化学等知识的处理由第三算法模块(顶叶)进行,第三算法模块(顶叶)中包括有数学、物理、化学等的知识库和相关的逻辑处理算子。特定物体的位置信息由图像信息确定,属于数学和物理范畴,由第三算法模块(顶叶)进行处理得到。因此,进一步地,机器人利用所述第一算法模块(枕叶)中的第一子算法将所述图像信息转换成对应的通道性符号后,还控制所述第一算法模块(枕叶)将所述图像信息对应的通道性符号传送至所述第三算法模块(顶叶),以供顶叶处理得到图像信息中的特定物体(例如人)的位置信息,。然后机器人利用第六子算法确定图像信息中的特定物体的位置信息,其中,所述位置信息包括所述特定物体与所述机器人的相对方位和距离中的至少一种;可选的,所述第六子算法包括双目帧差算子。然后机器人控制所述第三算法模块(顶叶)将所述位置信息传送至所述第二算法模块(颞叶),以供第二算法模块(颞叶)作为生成待输出语言的条件;此外,位置信息同样作为第三算法模块(顶叶)生成待输出动作的条件。具体地,机器人利用所述第二算法模块(颞叶)中的第四子算法对所述距离和所述环境信息对应的语义描述处理,得到待输出语言,并利用所述第三算法模块(顶叶)中的第五子算法对所述距离和所述环境信息对应的语义描述处理,得到待输出动作。可以理解的是,本发明实施例涉及的第一子算法、第二子算法、第三子算法、第四子算法、第五子算法和第六子算法均可通过训练提高其置信度。
为更好的理解本发明,现结合机器人和人聊天的具体应用场景对本发明进行进一步阐述。
在机器人和人聊天时,机器人同时采集到图像信息和声波信息两种环境信息,则机器人将图像信息传送至第一算法模块(枕叶),利用所述第一子算法将图像信息转换成对应的通道性符号(例如颜色、线条轮廓等);同时,将声波信息传送至第二算法模块(颞叶),利用第二子算法将声波信息转换成对应的通道性符号(例如音节、音调等),从而完成环境信息转换成对于的通道性符号。
接下来,需要将环境信息转换成机器人可以“理解”的信息,包括图像信息中特定物体的语义描述和位置信息,以及声波信息对于的内容的语义描述(即和机器人聊天的人说的话的内容)。机器人控制第一算法模块(枕叶)将得到的图像信息对应的通道性符号分别传送至第二算法模块(颞叶)和第三算法模块(顶叶)。然后利用第三算法模块(顶叶)中的第六子算法对图像信息对应的通道性符号处理,得到图像中的特定物体(如人)的3D坐标,进一步根据3D坐标得到特定物体和机器人的相对位置(如距离和方位),然后控制第三算法模块(顶叶)将得到的相对位置(如距离和方位)传送至第二算法模块(颞叶);同时,机器人利用第二算法模块(颞叶)中的第三子算法将图像信息对应的通道性符号转换成图像信息的语义描述,例如,转化换得到人、姓名为老李的语义藐视,利用第二算法模块(颞叶)中的第三子算法将声波信息对应的通道性符号转换成声波信息的语义描述,例如,转换得到“机器人,你好”的语句。然后,机器人控制第二算法模块(颞叶)将转换得到的语义描述发送至第三算法模块(顶叶)。从而完成将环境信息转换成机器人可以“理解”信息(包括语义描述和位置信息),而且,此时,第二算法模块(颞叶)和第三算法模块(顶叶)中均有图像信息对应的语义描述、特定物体的位置信息和语音信息对于的语义描述三种信息。
接下来,机器人需要将图像信息对应的语义描述、特定物体的位置信息和语音信息对于的语义描述作为条件,进行处理得到待输出信息,所述待输出信息包括待输出语言和待输出动作中的至少一种。具体的,机器人利用第二算法模块(颞叶)中的第四子算法对所述图像信息对应的语义描述、特定物体的位置信息和语音信息对于的语义进行处理,得到待输出语言,例如,当距离小于预设阈值时,根据图像信息的语义描述人和姓名老李,声波信息的语义描述得到待输出语言“老李,你好”。同时,机器人利用第三算法模块(颞叶)中的第五子算法对所述图像信息对应的语义描述、特定物体的位置信息和语音信息对于的语义进行处理,得到待输出动作,例如,根据图像信息对应的语义描述中的人,位置信息中的相对方位得到“向左旋转X度角“的动作。从而完成根据位置信息和所述环境信息对应的语义描述生成待输出信息。
接下来,控制机器人输出生成的待输出信息,控制可由第四算法模块(额叶)来进行,则控制二算法模块(颞叶)将生成的动作“向左旋转X度角”的动作发送至第四算法模块(额叶),控制第三算法模块(颞叶)将生成的待输出语言“老李,你好”发送至第四算法模块(额叶)。第四算法模块(额叶)控制机器人向左旋转X度角,并将“老李,你好”的语句转换成语音输出。从而完成机器人和人对话的交互过程。
本实施例提供的技术方案,模拟人前脑的功能分区,将待输出信息中的待输出语言和待输出动作的生成分别交由不同的算法模块来执行,提高了机器人待输出信息生成的的生物似然性。
此外,为实现以上目的,本发明实施例还提供一种机器人的控制装置,所述机器人的控制装置包括:存储器、处理器及存储在所述存储器上的机器人的控制程序,所述机器人的控制程序被所述处理器执行时实现如上任一实施例所述的机器人的控制方法的步骤。
此外,为实现以上目的,本发明实施例还提供一种机器人,所述机器人包括:存储器、处理器及存储在所述存储器上的机器人的控制程序,所述机器人的控制程序被所述处理器执行时实现如上任一实施例所述的机器人的控制方法的步骤。
此外,为实现以上目的,本发明实施例还提供一种存储介质,其特征在于,所述存储介质上存储有机器人的控制程序,所述机器人的控制程序被处理器执行时实现如上任一实施例所述的机器人的控制方法的步骤。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种机器人的控制方法,其特征在于,所述机器人的控制方法包括:
在接收到环境信息时,将所述环境信息转化为通道性符号,其中,所述通道性符号包括所述环境信息对应的特征;
将所述通道性符号转换成所述环境信息对应的语义描述;
根据所述环境信息对应的语义描述得到待输出信息;
控制机器人输出所述待输出信息。
2.如权利要求1所述的机器人的控制方法,其特征在于,所述环境信息包括图像信息和声波信息中的至少一种,所述在接收到环境信息时,将所述环境信息转化为通道性符号步骤包括:
在接收到环境信息时,判断所述环境信息的类型;
在所述环境信息为图像信息时,将所述图像信息传送至第一算法模块,利用所述第一算法模块中的第一子算法将所述图像信息转换成对应的通道性符号;
在所述环境信息为声波信息时,将所述环境声波信息传送至第二算法模块,利用所述第二算法模块中的第二子算法将所述声波信息转换成对应的通道性符号。
3.如权利要求2所述的机器人的控制方法,其特征在于,所述在所述环境信息为图像信息时,将所述图像信息传送至第一算法模块,利用所述第一算法模块中的第一子算法将所述图像信息转换成对应的通道性符号的步骤之后,还包括:
控制所述第一算法模块将所述图像信息对应的通道性符号传送至所述第二算法模块;
所述将所述通道性符号转换成所述环境信息对应的语义描述的步骤包括:
利用所述第二算法模块中的第三子算法将所述环境信息对应的通道性符号转换成所述环境信息对应的语义描述,其中,所述通道性符号包括图像信息对应的通道性符号和声波信息对应的通道性符号中的至少一种。
4.如权利要求3所述的机器人的控制方法,其特征在于,所述利用所述第二算法模块中的第三子算法将所述环境信息对应的通道性符号转换成所述环境信息对应的语义描述,其中,所述通道性符号包括图像信息对应的通道性符号和声波信息对应的通道性符号中的至少一种的步骤包括:
在所述环境信息为图像信息时,利用所述第二算法模块中的第三子算法对所述图像信息对应的通道性符号处理,得到所述图像信息中的特定物体及所述特定物体的语义描述;
在所述环境信息为声波信息时,利用所述第二算法模块中的第三子算法对所述声波信息对应的通道性符号处理,得到所述声波信息对应的语句。
5.如权利要求3所述的机器人的控制方法,其特征在于,所述待输出信息包括待输出语音和待输出动作中的至少一种,所述利用所述第二算法模块中的第三子算法将所述环境信息对应的通道性符号转换成所述环境信息对应的语义描述,其中,所述通道性符号包括图像信息对应的通道性符号和声波信息对应的通道性符号中的至少一种的步骤之后,还包括:
控制所述第二算法模块将所述环境信息对应的语义描述传送至第三算法模块;
根据所述环境信息对应的语义描述得到待输出信息的步骤包括:
利用所述第二算法模块中的第四子算法对所述环境信息对应的语义描述处理,得到所述待输出语言;
利用所述第三算法模块中的第五子算法对所述环境信息对应的语义描述处理,得到所述待输出动作。
6.如权利要求2任一项所述的机器人的控制方法,其特征在于,所述在所述环境信息为图像信息时,将所述图像信息传送至第一算法模块,利用所述第一算法模块中的第一子算法将所述图像信息转换成对应的通道性符号的步骤之后,还包括:
控制所述第一算法模块将所述图像信息对应的通道性符号传送至所述第三算法模块;
利用所述第三算法模块中的第六子算法确定图像信息中的特定物体位置信息,其中,所述位置信息包括所述特定物体与所述机器人的相对方位和距离中的至少一种;
控制所述第三算法模块将所述位置信息传送至所述第二算法模块;
所述根据所述环境信息对应的语义描述得到待输出信息的步骤包括:
利用所述第二算法模块中的第四子算法对所述位置信息和所述环境信息对应的语义描述处理,得到待输出语言;
利用所述第三算法模块中的第五子算法对所述位置信息和所述环境信息对应的语义描述处理,得到待输出动作。
7.如权利要求5-6任一项所述的机器人的控制方法,其特征在于,所述第一子算法包括多层全卷积网络算子,所述第二算法包括多层全卷积网络算子,所述第三子算法包括分类网络算子,所述第四子算法包括自然语言处理算子,所述第五子算法包括旋量代数算子,所述第六子算法包括双目帧差算子。
8.一种机器人的控制装置,其特征在于,所述机器人的控制装置包括:存储器、处理器及存储在所述存储器上的机器人的控制程序,所述机器人的控制程序被所述处理器执行时实现如权利要求1至7中任一项所述的机器人的控制方法的步骤。
9.一种机器人,其特征在于,所述机器人包括:存储器、处理器及存储在所述存储器上的机器人的控制程序,所述机器人的控制程序被所述处理器执行时实现如权利要求1至7中任一项所述的机器人的控制方法的步骤。
10.一种存储介质,其特征在于,所述存储介质上存储有机器人的控制程序,所述机器人的控制程序被处理器执行时实现如权利要求1至7中任一项所述的机器人的控制方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811431787.1A CN109333539B (zh) | 2018-11-27 | 2018-11-27 | 机器人及其控制方法、装置和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811431787.1A CN109333539B (zh) | 2018-11-27 | 2018-11-27 | 机器人及其控制方法、装置和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109333539A true CN109333539A (zh) | 2019-02-15 |
CN109333539B CN109333539B (zh) | 2021-06-29 |
Family
ID=65318874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811431787.1A Active CN109333539B (zh) | 2018-11-27 | 2018-11-27 | 机器人及其控制方法、装置和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109333539B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112817503A (zh) * | 2021-01-18 | 2021-05-18 | 陈林斌 | 电子相框的智能显示方法、电子相框及可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105913039A (zh) * | 2016-04-26 | 2016-08-31 | 北京光年无限科技有限公司 | 基于视觉和语音的对话数据交互处理方法及装置 |
CN106182027A (zh) * | 2016-08-02 | 2016-12-07 | 西南科技大学 | 一种开放式服务机器人系统 |
CN106486121A (zh) * | 2016-10-28 | 2017-03-08 | 北京光年无限科技有限公司 | 应用于智能机器人的语音优化方法及装置 |
CN106874363A (zh) * | 2016-12-30 | 2017-06-20 | 北京光年无限科技有限公司 | 智能机器人的多模态输出方法及装置 |
CN107808145A (zh) * | 2017-11-13 | 2018-03-16 | 河南大学 | 基于多模态智能机器人的交互身份鉴别与跟踪方法及系统 |
-
2018
- 2018-11-27 CN CN201811431787.1A patent/CN109333539B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105913039A (zh) * | 2016-04-26 | 2016-08-31 | 北京光年无限科技有限公司 | 基于视觉和语音的对话数据交互处理方法及装置 |
CN106182027A (zh) * | 2016-08-02 | 2016-12-07 | 西南科技大学 | 一种开放式服务机器人系统 |
CN106486121A (zh) * | 2016-10-28 | 2017-03-08 | 北京光年无限科技有限公司 | 应用于智能机器人的语音优化方法及装置 |
CN106874363A (zh) * | 2016-12-30 | 2017-06-20 | 北京光年无限科技有限公司 | 智能机器人的多模态输出方法及装置 |
CN107808145A (zh) * | 2017-11-13 | 2018-03-16 | 河南大学 | 基于多模态智能机器人的交互身份鉴别与跟踪方法及系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112817503A (zh) * | 2021-01-18 | 2021-05-18 | 陈林斌 | 电子相框的智能显示方法、电子相框及可读存储介质 |
CN112817503B (zh) * | 2021-01-18 | 2024-03-26 | 陈林斌 | 电子相框的智能显示方法、电子相框及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109333539B (zh) | 2021-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021043053A1 (zh) | 一种基于人工智能的动画形象驱动方法和相关装置 | |
CN110544488B (zh) | 一种多人语音的分离方法和装置 | |
CN110503942A (zh) | 一种基于人工智能的语音驱动动画方法和装置 | |
CN110286756A (zh) | 视频处理方法、装置、系统、终端设备及存储介质 | |
CN110400251A (zh) | 视频处理方法、装置、终端设备及存储介质 | |
CN107765852A (zh) | 基于虚拟人的多模态交互处理方法及系统 | |
CN107294837A (zh) | 采用虚拟机器人进行对话交互的方法和系统 | |
CN107682536A (zh) | 一种语音控制方法、终端和计算机可读存储介质 | |
CN107291690A (zh) | 标点添加方法和装置、用于标点添加的装置 | |
CN107704169A (zh) | 虚拟人的状态管理方法和系统 | |
CN107632706A (zh) | 多模态虚拟人的应用数据处理方法和系统 | |
CN111209423B (zh) | 一种基于电子相册的图像管理方法、装置以及存储介质 | |
CN107784355A (zh) | 虚拟人多模态交互数据处理方法和系统 | |
JP2022553252A (ja) | 画像処理方法、画像処理装置、サーバ、及びコンピュータプログラム | |
CN109324688A (zh) | 基于虚拟人行为标准的交互方法及系统 | |
CN111813910A (zh) | 客服问题的更新方法、系统、终端设备及计算机存储介质 | |
CN109955257A (zh) | 一种机器人的唤醒方法、装置、终端设备和存储介质 | |
CN113793398A (zh) | 基于语音交互的绘画方法与装置、存储介质和电子设备 | |
CN110794964A (zh) | 虚拟机器人的交互方法、装置、电子设备及存储介质 | |
CN111221495A (zh) | 可视化交互方法、装置及终端设备 | |
CN116137673B (zh) | 数字人表情驱动方法及其装置、设备、介质 | |
CN110379411A (zh) | 针对目标说话人的语音合成方法和装置 | |
CN109333539A (zh) | 机器人及其控制方法、装置和存储介质 | |
CN115390678B (zh) | 虚拟人交互方法、装置、电子设备及存储介质 | |
CN116072111A (zh) | 智能设备的交互方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |