CN109955251A - 控制器、屏幕机器人及其控制方法和计算机存储介质 - Google Patents

控制器、屏幕机器人及其控制方法和计算机存储介质 Download PDF

Info

Publication number
CN109955251A
CN109955251A CN201910196973.XA CN201910196973A CN109955251A CN 109955251 A CN109955251 A CN 109955251A CN 201910196973 A CN201910196973 A CN 201910196973A CN 109955251 A CN109955251 A CN 109955251A
Authority
CN
China
Prior art keywords
screen
movement
robot
target
mechanical arm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910196973.XA
Other languages
English (en)
Other versions
CN109955251B (zh
Inventor
骆磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Data Robotics Zhuhai Co ltd
Original Assignee
Cloudminds Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Inc filed Critical Cloudminds Inc
Priority to CN201910196973.XA priority Critical patent/CN109955251B/zh
Publication of CN109955251A publication Critical patent/CN109955251A/zh
Application granted granted Critical
Publication of CN109955251B publication Critical patent/CN109955251B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Abstract

本发明实施例涉及机器人技术领域,尤其公开了一种控制器、屏幕机器人及其控制方法和计算机存储介质,其中,方法包括:根据预设条件判断是否需要屏幕机器人的机械臂动作,预设条件包括屏幕机器人播放内容。若需要,确定动作的类型及动作所指向的目标在屏幕中的位置。在动作库中根据动作的类型及动作所指向的目标在屏幕中的位置,确定屏幕机器人的机械臂各轴的目标位置,其中,动作库中存储有动作的类型、动作所指向的目标在屏幕中的位置及屏幕机器人的机械臂各轴的位置之间的对应关系。根据确定的机械臂各轴的目标位置控制屏幕机器人执行动作。由此可见,利用本发明方案,可以使屏幕机器人的机械臂根据与屏幕机器人播放内容相关的预设条件进行动作。

Description

控制器、屏幕机器人及其控制方法和计算机存储介质
技术领域
本发明实施例涉及机器人技术领域,特别是涉及一种控制器、屏幕机器人及其控制方法和计算机存储介质。
背景技术
随着机器人越来越多的出现在我们的生产和生活中,机器人的控制以及人与机器人之间的交互越来越关键。目前人机交互的主要方式是语音交互,即,机器人根据用户的输入语音进行反馈。
一些有屏幕的屏幕机器人,可以通过屏幕向用户展示动画或图片,从而使机器人向用户展示的内容更加生动。
本发明的发明人在实现本发明实施例的过程中,发现:在屏幕机器人向用户播放内容的过程中,可以配合播放内容控制屏幕机器人动作,从而使讲解内容更加生动。
发明内容
鉴于上述问题,提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种控制器、屏幕机器人及其控制方法和计算机存储介质。
为解决上述技术问题,本发明实施例采用的一个技术方案是:提供一种屏幕机器人的控制方法,包括根据预设条件判断是否需要屏幕机器人的机械臂动作,预设条件包括屏幕机器人播放内容。若需要,确定动作的类型及动作所指向的目标在屏幕中的位置。在动作库中根据动作的类型及动作所指向的目标在屏幕中的位置,确定屏幕机器人的机械臂各轴的目标位置,其中,动作库中存储有动作的类型、动作所指向的目标在屏幕中的位置及屏幕机器人的机械臂各轴的位置之间的对应关系。根据确定的机械臂各轴的目标位置控制屏幕机器人执行动作。
可选的,根据预设条件判断是否需要屏幕机器人的机械臂动作,包括:判断屏幕机器人播放内容的进度是否达到触发动作时间。若是,确定需要屏幕机器人的机械臂动作。
可选的,确定动作类型及动作所指向的目标在屏幕中的位置,包括:根据屏幕机器人播放内容的文件名及触发动作时间,在动作触发库中确定动作的类型及动作所指向的目标在屏幕中的位置,其中,动作触发库中存储有文件名、触发动作时间及动作所指向的目标在屏幕中的位置之间的对应关系。
可选的,根据预设条件判断是否需要屏幕机器人的机械臂动作,包括:接收用户输入的内容。对该内容进行语义分析,得到语义分析结果。根据语义分析结果判断是否需要屏幕机器人的机械臂动作。
可选的,确定动作的类型及动作所指向的目标在屏幕中的位置,包括:根据语义分析结果确定动作的类型。使用图像分析算法,结合语义分析结果确定动作所指向的目标以及动作所指向的目标在屏幕中的位置。
可选的,用户输入的内容为语音或文本,当内容为语音时,该方法还包括:将语音转换成文本。
可选的,该方法还包括:根据文本,在文本库中确定语音的答复,文本库存储有文本及答复的对应关系。控制屏幕机器人播放该答复。
为解决上述技术问题,本发明实施例采用的另一技术方案是:提供一种屏幕机器人的控制装置,包括:判断模块、第一确定模块、第二确定模块及控制模块,其中,判断模块,用于根据预设条件判断是否需要屏幕机器人的机械臂动作,预设条件包括屏幕机器人播放内容。第一确定模块,用于当需要屏幕机器人的机械臂动作时,确定动作的类型及动作所指向的目标在屏幕中的位置。第二确定模块,用于在动作库中根据动作的类型及动作所指向的目标在屏幕中的位置,确定屏幕机器人的机械臂各轴的目标位置。其中,动作库中存储有动作的类型、动作所指向的目标在屏幕中的位置及屏幕机器人的机械臂各轴的位置之间的对应关系。控制模块,用于根据确定的机械臂各轴的目标位置控制屏幕机器人执行动作。
可选的,判断模块包括:第一判断单元、第一确定单元、接收单元、语义分析单元及第二判断单元。其中,第一判断单元,用于判断屏幕机器人播放内容的进度是否达到触发动作时间。第一确定单元,用于当屏幕机器人播放内容的进度达到触发动作时间时,确定需要屏幕机器人的机械臂动作。接收单元,用于接收用户输入的内容。语义分析单元,用于对该内容进行语义分析,得到语义分析结果。第二判断单元,用于根据语义分析结果判断是否需要屏幕机器人的机械臂动作。
可选的,接收单元用于接收用户输入的内容,该内容为语音或文本。当该内容为语音时,判断模块还包括转换单元,用于将该语音转换成文本。
可选的,当用户输入的内容为语音时,该装置还包括第三确定模块及播放模块,其中,第三确定模块,用于根据转换单元得到的文本,在文本库中确定语音的答复,文本库中存储有文本及答复的对应关系。播放模块,用于控制屏幕机器人播放该答复。
可选的,第一确定模块包括:第二确定单元、第三确定单元及第四确定单元。其中,第二确定单元,用于根据屏幕机器人播放内容的文件名及触发动作时间,在动作触发库中确定动作的类型及动作所指向的目标在屏幕中的位置,动作触发库中存储有文件名、触发动作时间、动作的类型及动作所指向的目标在屏幕中的位置之间的对应关系。第三确定单元,用于根据语义分析结果确定动作的类型。第四确定单元,用于使用图像分析算法,结合语义分析结果确定动作所指向的目标及动作所指向的目标在屏幕中的位置。
为解决上述技术问题,本发明实施例采用的还一技术方案是:提供一种控制器,包括:处理器、存储器、通信接口和通信总线,处理器、存储器和通信接口通过通信总线完成相互间的通信。存储器用于存放至少一可执行指令,该可执行指令使处理器执行上述屏幕机器人的控制方法对应的操作。
为解决上述技术问题,本发明实施例采用的又一技术方案是:提供一种屏幕机器人,该屏幕机器人包括屏幕机器人本体和上述控制器,屏幕机器人本体包括屏幕和机械臂,控制器用于控制机械臂。
为解决上述技术问题,本发明实施例采用的再一技术方案是提供一种计算机存储介质,该存储介质中存储有至少一可执行指令,该可执行指令使处理器执行上述屏幕机器人的控制方法对应的操作。
本发明实施例的有益效果是:区别于现有技术的情况,本发明实施例可以根据预设条件判断是否需要屏幕机器人的机械臂动作,并在需要屏幕机器人的机械臂动作时,根据确定的动作的类型及动作所指向的目标在屏幕中的位置,确定屏幕机器人的机械臂各轴的目标位置,根据该目标位置控制机器人执行动作。由此可见,通过本发明实施例,可以使屏幕机器人的机械臂根据与屏幕机器人播放内容相关的预设条件进行动作。
上述说明仅是本发明技术方案的概述,为了能够更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂,以下特举本发明的具体实施例。
附图说明
通过阅读下文优选实施例的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施例的目的,而并不认为是对本发明的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:
图1是本发明一种屏幕机器人的控制方法实施例的流程图;
图2是本发明一种屏幕机器人的控制方法另一实施例中判断是否需要屏幕机器人的机械臂动作的方法流程图;
图3是本发明一种屏幕机器人的控制方法又一实施例中判断是否需要屏幕机器人的机械臂动作的方法流程图;
图4是本发明一种屏幕机器人的控制方法再一实施例中确定动作的类型及动作所指向的目标在屏幕中的位置的方法流程图;
图5是本发明一种屏幕机器人的控制装置实施例的功能框图;
图6是本发明一种控制器实施例的结构示意图;
图7是本发明一种屏幕机器人实施例的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1为本发明一种屏幕机器人的控制方法实施例的流程图。如图1所示,该方法包括以下步骤:
步骤S1:根据预设条件判断是否需要屏幕机器人的机械臂动作,若需要,执行步骤S2,若不需要,重复执行该步骤。
预设条件包括屏幕机器人播放内容,该播放内容包括屏幕机器人的屏幕展示内容,以及屏幕机器人对屏幕展示内容的语音讲解。当屏幕机器人与用户存在交互时,预设条件还包括用户输入的内容。
步骤S2:确定动作的类型及动作所指向的目标在屏幕中的位置。
其中,动作的类型包括“指”、“圈住”、“滑动”等机械臂的动作。动作所指向的目标包括具体的某一个人或物。
步骤S3:在动作库中根据动作的类型及动作所指向的目标在屏幕中的位置,确定屏幕机器人的机械臂各轴的目标位置。
动作库中存储有动作的类型、动作所指向的目标在屏幕中的位置及屏幕机器人的机械臂各轴的位置之间的对应关系。动作所指向的目标在屏幕中的位置可以是屏幕中的像素点,也可以是屏幕中的像素块。屏幕机器人的机械臂各轴的位置,是指屏幕机器人的机械臂各个关节的转动角度。一个动作的类型对应多个屏幕中的像素点,每一像素点对应一组机械臂各轴的目标位置。
步骤S4:根据确定的机械臂各轴的目标位置控制屏幕机器人执行动作。
本发明实施例可以根据预设条件判断是否需要屏幕机器人的机械臂动作,并在需要屏幕机器人的机械臂动作时,根据确定的动作的类型及动作所指向的目标在屏幕中的位置,确定屏幕机器人的机械臂各轴的目标位置,根据该目标位置控制机器人执行动作。由此可见,通过本发明实施例,可以使屏幕机器人的机械臂根据与屏幕机器人播放内容相关的预设条件进行动作。
在一些实施例中,屏幕机器人与用户不存在交互,如,屏幕机器人单向的向用户讲解屏幕展示的内容,在这种情况下,本发明实施例与上一实施例的不同之处在于,根据预设条件判断是否需要屏幕机器人的机械臂动作,进一步包括如图2所示的步骤:
步骤S211:判断屏幕机器人播放内容的进度是否达到触发动作时间,若是,执行步骤S212,若否,执行步骤S213。
其中,屏幕机器人播放内容一般是指屏幕机器人语音讲解的内容。屏幕机器人对屏幕展示内容进行语音讲解时,屏幕展示内容可能停留在同一画面,如,屏幕机器人对演示文稿或图片进行讲解,对每页或者每幅图片的讲解会持续一段时间,此时屏幕展示内容将在该时间段内停留在同一画面。为了使屏幕机器人的机械臂动作的时间与屏幕展示内容的进度及语音讲解的进度均一致,触发动作时间按照屏幕机器人语音讲解的进度进行设置。
步骤S212:确定需要屏幕机器人的机械臂动作。
当屏幕机器人播放内容的进度达到触发动作时间时,确定需要屏幕机器人的机械臂动作。
步骤S213:确定不需要屏幕机器人的机械臂动作。
当屏幕机器人播放内容的进度没有达到触发动作时间,确定不需要屏幕机器人的机械臂动作。
值得说明的是,在本发明实施例中,当需要屏幕机器人的机械臂动作时,确定动作的类型及动作所指向的目标在屏幕中的位置进一步包括:根据屏幕机器人播放内容的文件名及触发动作时间,在动作触发库中确定动作的类型及动作指向的目标在屏幕中的位置,其中,动作触发库中存储有文件名、触发动作时间及动作所指向的目标在屏幕中的位置之间的对应关系。
可以理解的是,当屏幕机器人与用户不存在交互时,屏幕机器人对于播放内容是已知的,针对播放内容中需要屏幕机器人的机械臂动作的视频帧或图像,可以根据屏幕机器人播放内容的进度预先在动作触发库中存储触发动作时间,以使屏幕机器人在触发动作时间动作。
当屏幕机器人中存储有多个待播放文件时,通过当前播放文件的文件名与动作触发库中存储的文件名匹配,确定当前播放的文件。
本发明实施例用于在屏幕机器人与用户不存在交互的情况下,通过判断屏幕机器人播放内容的进度是否达到触发动作时间确定是否需要屏幕机器人的机械臂动作,并在需要屏幕机器人的机械臂动作时,根据屏幕机器人播放内容的文件名及触发动作时间,在动作触发库中确定动作类型及动作所指向的目标在屏幕中的位置,从而在动作库中,确定屏幕机器人的机械臂各轴的目标位置,根据该目标位置控制机器人执行动作。由此可见,通过本发明实施例,可以使屏幕机器人的机械臂根据屏幕机器人播放内容及触发动作时间执行动作。
在另外一些实施例中,屏幕机器人与用户存在交互,如,屏幕机器人向用户展示图像并根据用户的输入内容进行反馈。在这种情况下,本发明实施例与上一实施例的不同之处在于,根据预设条件判断是否需要屏幕机器人的机械臂动作,包括如图3所示的步骤:
步骤S221:接收用户输入的内容。
用户输入的内容为语音或文本,语音可以是用户说的话,文本可以是用户通过键盘、鼠标或触摸屏输入的文本。当该内容为语音时,将语音转换成文本,以对该内容进行语义分析。
在一些实施例中,当用户输入的内容为语音时,需要屏幕机器人答复。根据语音转换成的文本,在文本库中确定语音答复,并控制屏幕机器人播放该答复,文本库存储有文本及答复的对应关系。
可以理解的是,用户输入的语音转换成的文本可能与文本库中存储的文本不完全一致,在这种情况下,通过语义分析,找到与用户输入的语音转换成的文本相似度最高的文本,并控制屏幕机器人播放相似度最高的文本对应的答复。
步骤S222:对该内容进行语义分析,得到语义分析结果。
在一些实施例中,对该内容进行语义分析,包括将文本拆分为若干个分词,使用语义分析算法分析每一分词在文本中的含义,并结合每一分词的含义及每一分词之间的连接关系,得到语义分析结果。
步骤S223:根据语义分析结果判断是否需要屏幕机器人的机械臂动作。
在一种实施例中,语义分析结果为一种动作所指向的目标类型,目标类型是指动作所指向的目标类型,包括“人”、“动物”等分类类型。如,“这个人是谁”,通过语义分析,可以确定目标类型为“人”。当该目标类型与目标类型库中预先存储的目标类型一致时,确定需要屏幕机器人的机械臂动作,该目标类型库中预先存储有目标类型,如,“人”、“动物”等。
当屏幕机器人与用户存在交互时,确定动作的类型及动作所指向的目标在屏幕中的位置,包括如图4所示的步骤:
步骤S21:根据语义分析结果确定动作的类型。
在一种实施例中,语义分析结果为动作所指向的目标类型,根据目标类型,可以在目标类型库中,确定动作的类型,该目标类型库中存储有目标类型对应的动作的类型。
值得说明的是,在目标类型库中,同一目标类型对应的动作类型可以不止一个,如,目标类型“人”,可以对应动作类型“指”,也可以对应动作类型“圈住”。在这种情况下,屏幕机器人可以随机在目标类型库中匹配目标类型对应的动作类型。
步骤S22:使用图像分析算法,结合语义分析结果确定动作所指向的目标及动作所指向的目标在屏幕中的位置。
当确定的目标类型在屏幕中仅有一个目标时,确定该目标为动作所指向的目标。当目标类型在屏幕中对应多个目标时,需要结合图像分析算法,结合语义分析确定动作所指向的目标。如,用户输入的语音为“谁最好看”,通过语义分析,可以确定目标类型为“人”,且需要在目标类型对应的多个目标中,确定最好看的人作为动作所指向的目标,此时确定最好看的人可以通过现有技术中的图像分析算法实现。通过图像分析算法,定位屏幕中目标类型对应的所有目标,并在所有目标中,确定动作所指向的目标,及动作所指向的目标在屏幕中的位置。
本发明实施例用于在屏幕机器人与用户存在交互的情况下,通过对用户输入的内容进行语义分析,根据语义分析结果确定是否需要屏幕机器人的机械臂动作,并在需要屏幕机器人的机械臂动作时,根据语义分析结果确定动作的类型,并通过图像分析算法,结合语义分析结果确定动作所指向的目标及动作所指向的目标在屏幕中的位置,从而在动作库中,确定屏幕机器人的机械臂各轴的目标位置,根据该目标位置控制机器人执行动作。由此可见,通过本发明实施例,可以使屏幕机器人的机械臂根据屏幕机器人播放内容及及用户输入的内容执行动作。
图5是本发明一种屏幕机器人的控制装置实施例的功能框图,如图5所示,该装置包括:判断模块51、第一确定模块52、第二确定模块53、控制模块54。其中,判断模块51,用于根据预设条件判断是否需要屏幕机器人的机械臂动作,预设条件包括屏幕机器人播放内容。第一确定模块52,用于当需要屏幕机器人的机械臂动作时,确定动作的类型及动作所指向的目标在屏幕中的位置。第二确定模块53,用于在动作库中根据动作的类型及动作所指向的目标在屏幕中的位置,确定屏幕机器人的机械臂各轴的目标位置。其中,动作库中存储有动作的类型、动作所指向的目标在屏幕中的位置及屏幕机器人的机械臂各轴的位置之间的对应关系。控制模块54,用于根据确定的机械臂各轴的目标位置控制屏幕机器人执行动作。
其中,判断模块51包括:第一判断单元511、第一确定单元512、接收单元513、语义分析单元514、第二判断单元515及转换单元516。其中,第一判断单元511,用于判断屏幕机器人播放内容的进度是否达到触发动作时间。第一确定单元512,用于当屏幕机器人播放内容的进度达到触发动作时间时,确定需要屏幕机器人的机械臂动作。接收单元513,用于接收用户输入的内容,该内容为语音或文本。语义分析单元514,用于对该内容进行语义分析,得到语义分析结果。第二判断单元515,用于根据语义分析结果判断是否需要屏幕机器人的机械臂动作。转换单元516,用于当用户输入的内容为语音时,将语音转换成文本。
其中,当用户输入的内容为语音时,本发明实施例还包括第三确定模块55及播放模块56,其中,第三确定模块55,用于根据转换单元得到的文本,在文本库中确定语音的答复,文本库中存储有文本及答复的对应关系。播放模块56,用于控制屏幕机器人播放该答复。
其中,第一确定模块52包括:第二确定单元521、第三确定单元522及第四确定单元523。其中,第二确定单元521,用于根据屏幕机器人播放内容的文件名及触发动作时间,在动作触发库中确定动作的类型及动作所指向的目标在屏幕中的位置,动作触发库中存储有文件名、触发动作时间、动作的类型及动作所指向的目标在屏幕中的位置之间的对应关系。第三确定单元522,用于根据语义分析结果确定动作的类型。第四确定单元523,用于使用图像分析算法,结合语义分析结果确定动作所指向的目标及动作所指向的目标在屏幕中的位置。
本发明实施例通过判断模块51根据预设条件判断是否需要屏幕机器人的机械臂动作,并在需要屏幕机器人的机械臂动作时,使用第一确定模块52确定的动作的类型及动作所指向的目标在屏幕中的位置,并通过第二确定模块53确定屏幕机器人的机械臂各轴的目标位置,根据该目标位置,通过控制单元54控制机器人执行动作。由此可见,通过本发明实施例,可以使屏幕机器人的机械臂根据预设条件进行动作。
值得说明的是,上述装置内的模块、单元之间的信息交互、执行过程等内容,由于与本发明的方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
本申请实施例提供了一种非易失性计算机存储介质,该计算机存储介质存储有至少一可执行指令,该计算机可执行指令可执行上述屏幕机器人的控制方法实施例中的步骤。
图6为本发明一种控制器6实施例的结构示意图,本发明具体实施例并不对控制器的具体实现做限定。
如图6所示,该控制器6可以包括:处理器(processor)602、通信接口(Communications Interface)604、存储器(memory)606、以及通信总线608。
其中:
处理器602、通信接口604、以及存储器606通过通信总线608完成相互间的通信。
通信接口604,用于与其它设备比如客户端或其它服务器等的网元通信。
处理器602,用于执行程序610,具体可以执行上述一种屏幕机器人的控制方法实施例中的相关步骤。
具体地,程序610可以包括程序代码,该程序代码包括计算机操作指令。
处理器602可能是中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。控制器6包括的一个或多个处理器,可以是同一类型的处理器,如一个或多个CPU;也可以是不同类型的处理器,如一个或多个CPU以及一个或多个ASIC。
存储器606,用于存放程序610。存储器606可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
程序610具体可以用于使得处理器602执行以下操作:
根据预设条件判断是否需要屏幕机器人的机械臂动作,预设条件包括屏幕机器人播放内容,若需要,确定动作的类型及动作所指向的目标在屏幕中的位置。在动作库中根据动作的类型及动作所指向的目标在屏幕中的位置,确定屏幕机器人的机械臂各轴的目标位置,其中,动作库中存储有动作的类型、动作所指向的目标在屏幕中的位置及屏幕机器人的机械臂各轴的目标位置之间的对应关系。根据确定的机械臂各轴的目标位置控制屏幕机器人执行动作。
在一种可选的方式中,程序610具体可以进一步用于使得处理器602执行以下操作:
判断屏幕机器人播放内容的进度是否达到触发动作时间,若是,确定需要屏幕机器人的机械臂动作。
在一种可选的方式中,程序610具体可以进一步用于使得处理器602执行以下操作:根据屏幕机器人播放内容的文件名及触发动作时间,在动作触发库中确定动作的类型及动作所指向的目标在屏幕中的位置,其中,动作触发库中存储有文件名、触发动作时间、动作的类型及动作所指向的目标在屏幕中的位置之间的对应关系。
在一种可选的方式中,程序610具体可以进一步用于使得处理器602执行以下操作:
接收用户输入的内容;对内容进行语义分析,得到语义分析结果。根据语义分析结果判断是否需要屏幕机器人的机械臂动作。
在一种可选的方式中,程序610具体可以进一步用于使得处理器602执行以下操作:根据语义分析结果确定动作的类型。使用图像分析算法,结合语义分析结果确定动作所指向的目标以及动作所指向的目标在屏幕中的位置。
在一种可选的方式中,程序610具体可以进一步用于使得处理器602执行以下操作:当用户输入的内容为语音时,将语音转换成文本。
在一种可选的方式中,程序610具体可以进一步用于使得处理器602执行以下操作:根据文本,在文本库中确定语音的答复,文本库存储有文本及答复的对应关系。控制屏幕机器人播放答复。
图7为本发明一种屏幕机器人实施例的结构示意图,如图7所示,屏幕机器人包括机器人本体70和上一实施例中的控制器6,其中,机器人本体70包括屏幕701和机械臂702,控制器6用于控制机械臂702。
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述,构造这类系统所要求的结构是显而易见的。此外,本发明也不针对任何特定编程语言。应当明白,可以利用各种编程语言实现在此描述的本发明的内容,并且上面对特定语言所做的描述是为了披露本发明的最佳实施例。
在此处所提供的说明书中,说明了大量具体细节。然而,能够理解,本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中,并未详细示出公知的方法、结构和技术,以便不模糊对本说明书的理解。
类似地,应当理解,为了精简本公开并帮助理解各个发明方面中的一个或多个,在上面对本发明的示例性实施例的描述中,本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而,并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说,如权利要求书所反映的那样,发明方面在于少于前面公开的单个实施例的所有特征。因此,遵循具体实施例的权利要求书由此明确地并入该具体实施例,其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解,可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件,以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外,可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述,本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外,本领域的技术人员能够理解,尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征,但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如,在权利要求书中,所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现,或者以在一个或者多个处理器上运行的软件模块实现,或者以它们的组合实现。本领域的技术人员应当理解,可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的一种屏幕机器人的控制装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如,计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上,或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到,或者在载体信号上提供,或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制,并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中,不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中,这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

Claims (11)

1.一种屏幕机器人的控制方法,其特征在于,包括:
根据预设条件判断是否需要所述屏幕机器人的机械臂动作,所述预设条件包括屏幕机器人播放内容;
若需要,确定所述动作的类型及所述动作所指向的目标在所述屏幕中的位置;
在动作库中根据所述动作的类型及所述动作所指向的目标在所述屏幕中的位置,确定所述屏幕机器人的机械臂各轴的目标位置,其中,所述动作库中存储有所述动作的类型、所述动作所指向的目标在所述屏幕中的位置及所述屏幕机器人的机械臂各轴的目标位置之间的对应关系;
根据确定的所述机械臂各轴的目标位置控制所述屏幕机器人执行所述动作。
2.根据权利要求1所述的方法,其特征在于,所述根据预设条件判断是否需要所述屏幕机器人的机械臂动作,包括:
判断所述屏幕机器人播放内容的进度是否达到触发动作时间;
若是,确定需要所述屏幕机器人的机械臂动作。
3.根据权利要求2所述的方法,其特征在于,所述确定所述动作的类型及所述动作所指向的目标在所述屏幕中的位置,包括:
根据所述屏幕机器人播放内容的文件名及所述触发动作时间,在动作触发库中确定所述动作的类型及所述动作所指向的目标在所述屏幕中的位置,其中,所述动作触发库中存储有所述文件名、所述触发动作时间、所述动作的类型及所述动作所指向的目标在所述屏幕中的位置之间的对应关系。
4.根据权利要求1所述的方法,其特征在于,所述根据预设条件判断是否需要所述屏幕机器人的机械臂动作,包括:
接收用户输入的内容;
对所述内容进行语义分析,得到语义分析结果;
根据语义分析结果判断是否需要所述屏幕机器人的机械臂动作。
5.根据权利要求4所述的方法,其特征在于,所述确定所述动作的类型及所述动作所指向的目标在所述屏幕中的位置,包括:
根据语义分析结果确定所述动作的类型;
使用图像分析算法,结合所述语义分析结果确定所述动作所指向的目标以及所述动作所指向的目标在所述屏幕中的位置。
6.根据权利要求4所述的方法,其特征在于,所述用户输入的内容为语音或文本;当所述内容为语音时,所述方法还包括:
将所述语音转换成文本。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
根据所述文本,在文本库中确定所述语音的答复,所述文本库存储有文本及答复的对应关系;
控制所述屏幕机器人播放所述答复。
8.一种屏幕机器人的控制装置,其特征在于,包括:
判断模块:用于根据预设条件判断是否需要所述屏幕机器人的机械臂动作,所述预设条件包括屏幕机器人播放内容;
第一确定模块:用于当需要所述屏幕机器人的机械臂动作时,确定所述动作的类型及所述动作所指向的目标在所述屏幕中的位置;
第二确定模块:用于在动作库中根据所述动作的类型及所述动作所指向的目标在所述屏幕中的位置,确定所述屏幕机器人的机械臂各轴的目标位置,其中,所述动作库中存储有所述动作的类型、所述动作所指向的目标在所述屏幕中的位置及所述屏幕机器人的机械臂各轴的目标位置之间的对应关系;
控制模块:用于根据确定的所述机械臂各轴的目标位置控制所述屏幕机器人执行所述动作。
9.一种控制器,其特征在于,包括:处理器、存储器、通信接口和通信总线,所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的一种屏幕机器人的控制方法对应的操作。
10.一种屏幕机器人,其特征在于,包括:屏幕机器人本体和如权利要求9所述的控制器,所述屏幕机器人本体包括屏幕和机械臂,所述控制器用于控制所述机械臂。
11.一种计算机存储介质,所述存储介质中存储有至少一可执行指令,所述可执行指令使处理器执行如权利要求1-7中任一项所述的一种屏幕机器人的控制方法对应的操作。
CN201910196973.XA 2019-03-15 2019-03-15 控制器、屏幕机器人及其控制方法和计算机存储介质 Active CN109955251B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910196973.XA CN109955251B (zh) 2019-03-15 2019-03-15 控制器、屏幕机器人及其控制方法和计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910196973.XA CN109955251B (zh) 2019-03-15 2019-03-15 控制器、屏幕机器人及其控制方法和计算机存储介质

Publications (2)

Publication Number Publication Date
CN109955251A true CN109955251A (zh) 2019-07-02
CN109955251B CN109955251B (zh) 2021-08-03

Family

ID=67024454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910196973.XA Active CN109955251B (zh) 2019-03-15 2019-03-15 控制器、屏幕机器人及其控制方法和计算机存储介质

Country Status (1)

Country Link
CN (1) CN109955251B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111026274A (zh) * 2019-12-11 2020-04-17 张桂芹 一种触屏设备操作装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100133666A (ko) * 2009-06-12 2010-12-22 부산대학교 산학협력단 다중센서 기반 교육용 모바일 로봇
CN105049574A (zh) * 2015-08-20 2015-11-11 工业和信息化部电信研究院 利用机器人手对手机流畅度进行检测的系统及其检测方法
CN105500378A (zh) * 2016-01-12 2016-04-20 上海交通大学 自动完成游戏节奏大师的机器人
CN107553505A (zh) * 2017-10-13 2018-01-09 刘杜 自主移动讲解系统平台机器人及讲解方法
CN108058179A (zh) * 2017-12-26 2018-05-22 佛山市幻龙科技有限公司 一种教学机器人
CN109035884A (zh) * 2018-08-20 2018-12-18 安徽倍思特教育科技有限公司 一种辅助教学用教育机械人

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100133666A (ko) * 2009-06-12 2010-12-22 부산대학교 산학협력단 다중센서 기반 교육용 모바일 로봇
CN105049574A (zh) * 2015-08-20 2015-11-11 工业和信息化部电信研究院 利用机器人手对手机流畅度进行检测的系统及其检测方法
CN105500378A (zh) * 2016-01-12 2016-04-20 上海交通大学 自动完成游戏节奏大师的机器人
CN107553505A (zh) * 2017-10-13 2018-01-09 刘杜 自主移动讲解系统平台机器人及讲解方法
CN108058179A (zh) * 2017-12-26 2018-05-22 佛山市幻龙科技有限公司 一种教学机器人
CN109035884A (zh) * 2018-08-20 2018-12-18 安徽倍思特教育科技有限公司 一种辅助教学用教育机械人

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111026274A (zh) * 2019-12-11 2020-04-17 张桂芹 一种触屏设备操作装置

Also Published As

Publication number Publication date
CN109955251B (zh) 2021-08-03

Similar Documents

Publication Publication Date Title
Hundt et al. “good robot!”: Efficient reinforcement learning for multi-step visual tasks with sim to real transfer
Toyama et al. Androidenv: A reinforcement learning platform for android
US20100144441A1 (en) Method and System for Rendering the Scenes of a Role Playing Game in a Metaverse
US9925461B2 (en) Character model animation using stored recordings of player movement interface data
US20150331415A1 (en) Robotic task demonstration interface
US10599324B2 (en) Hand gesture API using finite state machine and gesture language discrete values
CN112560622B (zh) 虚拟对象动作控制方法、装置及电子设备
CN109947911A (zh) 一种人机交互方法、装置、计算设备及计算机存储介质
WO2016064564A1 (en) Profile-driven avatar sessions
JP2021531603A (ja) マシン相互作用
Krishnaswamy et al. Generating a novel dataset of multimodal referring expressions
CN109955251A (zh) 控制器、屏幕机器人及其控制方法和计算机存储介质
Zhang et al. Learning collaborative action plans from youtube videos
Krishnaswamy et al. Multimodal continuation-style architectures for human-robot interaction
Nguen et al. Deep CNN-based recognition of JSL finger spelling
Vogt et al. Learning two-person interaction models for responsive synthetic humanoids
Costa et al. A Cambrian Explosion in Robotic Life
Saerbeck et al. Design guidelines and tools for creating believable motion for personal robots
US11205066B2 (en) Pose recognition method and device
CN115116295B (zh) 关联性交互训练展示方法、系统、设备及存储介质
US9898256B2 (en) Translation of gesture to gesture code description using depth camera
Tan et al. Multimodal human-robot interaction with Chatterbot system: extending AIML towards supporting embodied interactions
Smeddinck et al. QuickWoZ: a multi-purpose wizard-of-oz framework for experiments with embodied conversational agents
WO2017116878A1 (en) Multimodal interaction using a state machine and hand gestures discrete values
KR101058471B1 (ko) 행동 유발성 모델에 기반한 중간 목표 생성 방법과 이를기반으로 한 임무 학습 방법 및 그 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20210127

Address after: 200000 second floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Applicant after: Dalu Robot Co.,Ltd.

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Applicant before: CLOUDMINDS (SHENZHEN) ROBOTICS SYSTEMS Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Patentee after: Dayu robot Co.,Ltd.

Address before: 200000 second floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Patentee before: Dalu Robot Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230925

Address after: Office 701-724, No. 3000 Huandao East Road, Hengqin New District, Zhuhai City, Guangdong Province, 519031

Patentee after: Data Robotics (Zhuhai) Co.,Ltd.

Address before: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Patentee before: Dayu robot Co.,Ltd.