CN104487208B - 机器人控制脚本生成方法及装置 - Google Patents

机器人控制脚本生成方法及装置 Download PDF

Info

Publication number
CN104487208B
CN104487208B CN201380039487.8A CN201380039487A CN104487208B CN 104487208 B CN104487208 B CN 104487208B CN 201380039487 A CN201380039487 A CN 201380039487A CN 104487208 B CN104487208 B CN 104487208B
Authority
CN
China
Prior art keywords
robot
frame
tool
controls
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380039487.8A
Other languages
English (en)
Other versions
CN104487208A (zh
Inventor
宋世经
李元涌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
(strain) Future Robot
Original Assignee
(strain) Future Robot
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (strain) Future Robot filed Critical (strain) Future Robot
Publication of CN104487208A publication Critical patent/CN104487208A/zh
Application granted granted Critical
Publication of CN104487208B publication Critical patent/CN104487208B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0003Home robots, i.e. small robots for domestic use
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/40Transformation of program code
    • G06F8/54Link editing before load time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/008Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • B25J19/023Optical sensing devices including video camera means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40393Learn natural high level command, associate its template with a plan, sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Manipulator (AREA)
  • Toys (AREA)

Abstract

根据用于解决课题的机器人控制脚本生成方法,其包括如下步骤:接收对情况认知(Situation Cognition)帧(Frame)及表现(Expression)帧的输入,从而运算工具对判断(Judgement)帧进行生成,进而存储于存储工具并进行显示;接收对至少一个以上的所述判断帧及至少一个以上的过渡(Transition)帧的选择,从而所述运算工具对阶段(Stage)进行生成,进而存储于存储工具并进行显示;以及,在至少两个以上的阶段中,所述运算工具将一个阶段的过渡帧与其他阶段相连接,从而存储于存储工具并进行显示。根据本发明,不同于在工厂的固定作业环境下进行单纯反复作业的产业用机器人,在人生活的空间内与人近距离存在,并对周围情况及人提供的信息进行认知,从而可提供满足人的各种需求的服务。此外,根据本发明可生成机器人控制脚本,所述机器人控制脚本可将人提供的各种且复杂的信息与情况匹配地进行认知。

Description

机器人控制脚本生成方法及装置
技术领域
本发明涉及利用与人类相类似的情况认知方法和表现方法,从而易于一般使用者,而非机器人工程师(engineer)对机器人的动作及表现控制脚本(scenario)进行直观生成的方法及装置。
背景技术
在现实生活及工厂自动化等各个领域中,各种种类的机器人得以利用,并且机器人根据各个领域的特有目的,分别具有固有的控制脚本,从而根据所述控制脚本进行操作。
工厂自动化领域的机器人具有执行反复操作的操作控制脚本,以便适合进行反复作业。但是,对于在日常生活或各种场所中所使用的宣传机器人、教育机器人、娱乐机器人等服务机器人领域,不适合单纯地进行反复操作的脚本,而是根据所属场所及服务,要求进行各种操作及反应的控制脚本。此外,即使是相同的机器人,如果所使用的场所及服务不同,则需要修正操作所述机器人的控制脚本。
由此,需要一种机器人控制脚本的生成及修正方法,所述方法可根据机器人的使用场所及服务,即使是不具备专业知识的一般机器人使用者,而非机器人工程师,在服务现场也能够通过认知信息间的组合认知多种且复杂的情况,并将机器人具备的操作及表现功能(面部表情、语音、效果音响、发光二极管(LED)、发话、动作、显示)进行组合,从而提供匹配于所述认知情况的表现,所述认知信息是通过机器人具备的传感器(sensor)(超音波、激光(laser)、相机(camera)、话筒(mike)、触摸(touch)、运动传感器(Motion sensor)等)所认知的。
现有技术中存在内容开发用著作工具或机器人内容(contents)著作系统等,所述内容开发用著作工具可使一般使用者在非代码级的水准中生成机器人的操作控制方法,所述机器人内容(contents)著作系统可在互联网环境内,使多个使用者各自分别进行机器人内容著作。
机器人为了进行类似于人类的认知,并进行匹配于根据所述认知的情况的具有自然生动感的表现,对人类的情况认知方法及表现方法进行类似模仿在提高服务机器人制品的价值和提高使用者满足度的方面非常重要。此外,并非机器人工程师,而是无法得知服务现场情况和使用者需求的在服务现场使用机器人的一般使用者,为了根据机器人的场所及服务来生成及修正控制脚本,如果也可以以人类的情况认知方法及表现方法为基础修正所述控制脚本,则一般使用者可更为容易且直观地生成及修正机器人控制脚本。
人类利用通过感官的复合信息来认知特定情况,所述感官包括通过眼睛的视觉、皮肤等的触觉、通过声音的听觉等。例如,利用作为“小孩从正面朝我的前面向我走来,所述小孩的视线并非看向正面而是看向其他地方”的多个感官的复合认知信息,从而认知情况并进行根据所述情况的行动或表现。
人的表现方法并非通过某一工具的单一操作或表现,而是通过多个工具进行复合表现。例如,如上所述,根据所认知的情况,判断冲突可能性并应对,通过“说小心,并停止,或避开所述小孩的移动路径并移动”等多个工具进行复合表现。
由此,在模仿人类的机器人的情况下,也为了与如上所述的人的情况认知及表现方法相类似地进行制作,并非机器人工程师,而是了解现场情况和机器人服务需求的一般使用者,以人类的情况认知及表现方法为基础,应能够对机器人控制脚本进行生成及修正。
但是,现有技术的问题在于,使用者单纯地摸机器人的头部,或摸手臂等,以选择所属于特定单一传感器的输入的条件的定型化,且反复的方式来修正机器人的内容,从而难以提供适合非常复杂且多样的人类的情况认知方法的机器人内容,并且问题在于,在利用复合表现工具的人类表现方法基础中,并非制作并再使用机器人的内容,而是在每次制作脚本时,使用者需要分别一一选择单一的表现工具的操作,从而对表现进行生成。
此外,现有技术问题在于,为了生成机器人的控制脚本,需在所属于机器人操作的时间分量的时间轴(timeline)中一一配置所述机器人操作或内容。
换句话说,如图1(a)所示,现有技术的问题在于,每次制作机器人控制脚本时,使用者需一一选择机器人的传感器的输入条件,并对根据其的单一表现工具的表现方法进行连接,并且需根据机器人的场所和服务方法对所述作业进行反复。
此外,将如图1(a)所示的单一传感器的输入使用为直接的认知工具的机器人控制脚本方式与人类的复合情况认知方法及表现方法不同,作为低级(level)的认知方法及表现方法,一般使用者而非机器人工程师在生成及修正机器人控制脚本时有不便之处,并且机器人工程师也需要每次设计复杂的逻辑。
此外,现有技术的问题在于,如图1(b)所示,机器人控制脚本由通过特定条件和根据其的行动连接的机器人控制的连续构成。由此,当生成用于机器人的10小时控制的脚本时,使用者为了生成机器人的控制脚本,在10小时分量所属的时间轴120上需要一一将针对各个机器人的表现工具110的所述机器人控制要素进行配置,因此很难生成脚本,并且无法进行机器人或者类似于人类地适合各种情况地操作。
发明内容
为了实现本发明的技术课题,提供一种生成机器人控制脚本的方法及装置,所述方法及装置利用类似于人类的情况认知方法和表现方法。
为了实现本发明的另一技术课题,提供一种生成可类似于人类进行操作的机器人控制脚本的方法及装置,所述方法及装置通过匹配于情况的各种阶段的连接,机器人根据各种情况进行主动地多样地操作,从而生成可类似于人类进行操作的机器人控制脚本。
为了实现本发明的另一技术课题,提供一种可生成无限操作的机器人控制脚本的方法及装置,所述方法及装置即使没有在机器人操作的时间分量所属的全部时间轴上一一对所述机器人操作或内容进行配置也能够生成无限操作的机器人控制脚本。
为了实现本发明的另一技术课题,提供一种无关于机器人的种类,使用者通过相同的方式生成机器人控制脚本的方法及装置。
根据用于解决本发明的课题的机器人控制脚本生成方法,其包括如下步骤:接收对情况认知(Situation Cognition)帧(Frame)及表现(Expression)帧的输入,从而运算工具生成判断(Judgement)帧,进而存储于存储工具并进行显示;接收对至少一个以上的所述判断帧及至少一个以上的过渡(Transition)帧的选择,从而所述运算工具对阶段(Stage)进行生成,进而存储于存储工具并进行显示;以及在至少两个以上的阶段中,所述运算工具将一个阶段的过渡帧与其他阶段相连接,从而存储于存储工具并进行显示。
根据用于解决本发明的课题的机器人控制脚本生成装置,其包括:存储部,其通过电信号或磁信号来存储数据;判断帧生成部,其接收对情况认知(Situation Cognition)帧(Frame)及表现(Expression)帧的选择,从而生成判断(Judgement)帧,进而存储于存储部;阶段生成部,其接收对至少一个以上的所述判断帧及至少一个以上的过渡(Transition)帧的选择,从而对阶段(Stage)进行生成,并存储于所述存储部;以及脚本生成部,其在至少两个以上的阶段中,将一个阶段过渡帧与其他阶段进行连接,从而存储于所述存储部。
根据本发明具有如下效果:通过利用类似于人类的情况认知方法和表现方法,使用者即使对机器人没有相关知识,也能够容易且直观地生成机器人控制脚本。
此外,根据本发明具有如下效果:通过利用类似于人类的情况认知方法和表现方法,可生成类似于人类地进行操作的机器人控制脚本。
此外,根据本发明具有如下效果:通过连接匹配于情况的各种阶段,根据不同的情况,机器人进行主动地多样地操作,由此可生成更为类似于人类地可操作的机器人控制脚本。
此外,根据本发明具有如下效果:通过连接匹配于情况的各种阶段,使用者即使没有在机器人操作的时间分量所属的全部时间轴上一一对所述机器人操作或内容进行配置,也可生成无限操作的机器人控制脚本。
此外,根据本发明具有如下效果:利用类似于人类的情况认知方法和表现方法,将所制作的情况认知帧和表现帧,可在根据机器人的使用场所或服务的机器人控制脚本的生成及修正中进行再使用。
此外,根据本发明具有如下效果:无关于机器人的种类,使用者可使用相同的方式生成机器人控制脚本。
此外,根据本发明具有如下效果:可将各种认知情况信息(人数、身高、移动、停留时间、语音认知、脸部和动作认知等)间的复杂相互关系组合匹配于现场情况来定义,并且可对能够使人感觉到自然且生动感的机器人表现组合进行定义,并且对所定义的情况认知帧和表现帧间的相互关系进行定义,从而可提供类似于人类的情况认知方法和表现方法。
此外,根据本发明具有如下效果:可容易且直观地生成机器人控制脚本,所述机器人控制脚本即使使用者对机器人不具备相关知识,也能够为服务现场的各种顾客(小孩、成人、老人及一人、多人、暂时使用的人、感兴趣并使用的人等)提供机器人服务。
附图说明
图1是生成机器人控制脚本的现有技术的方式。
图2是机器人的情况认知的一个例子。
图3是机器人的表现的一个例子。
图4是根据本发明的机器人控制脚本生成方法的流程图。
图5是情况认知帧(frame)选择的一个例子。
图6是针对情况认知帧和认知工具的连接的一个例子。
图7是表现帧构成的一个例子。
图8是针对表现帧和表现工具的连接的一个例子。
图9是阶段(stage)生成的一个例子。
图10是阶段(stage)连接的一个例子。
图11是根据本发明的机器人控制脚本生成装置的框图。
标号说明
110:表现工具
120、720:时间轴(Timeline)
510、710:构成要素
具体实施方式
涉及本发明的目的和技术构成及根据所述技术构成的作用效果的详细事项将通过以下详细说明进行更为明确地理解,所述详细说明以本发明的说明书所附图面为依据。参考附图对根据本发明的实施例进行详细说明。
本领域的通常技术人员通过本说明书的实施例,可以实现本发明的各种应用,因此本发明的详细说明中所记载的任意的实施例作为为了更好说明本发明的示例,并非意图在于将本发明的范围限定于实施例。
本说明书中所表现的各个功能部只是针对本发明体现的例子。由此,在本发明的其他体现中,在不脱离本发明的思想及范围的范围内可使用其他功能部。此外,各个功能部可纯粹地只由硬件或软件的构成来体现,但是也可以由实行相同功能的各种硬件及软件构成的组合来体现。
在本说明书中,运算工具可以是通用的中央运算装置(CPU),但也可以是适合于特定目的所体现的可编程(programmable)设备(device)元件(CPLD,FPGA)或专用集成电路(ASIC)。此外,存储工具或存储部可以是易失性存储器元件或非易失性存储器或非易失性电磁式存储装置。
根据本发明的机器人控制脚本生成方法可以在机器人内直接执行,也可以在机器人外部的其他装置上执行。
参照图4,对根据本发明的机器人控制脚本生成方法的实施例进行说明。根据本发明的机器人控制脚本生成方法包括判断(Judgement)帧(frame)生成步骤S410、阶段(Stage)生成步骤S420及脚本生成步骤S430。
所述判断帧生成步骤S410开始于从使用者接收对情况认知(Situation Cognition)帧及表现(Expression)帧的输入。
使用者并非通过单纯地选择直接的认知工具的传感器输入,而是通过选择如图5所示的情况认知帧可输入情况认知帧。
情况认知帧的选择可意味着选择说明所属情况的构成要素510。
参照图5可举例,选择对“一名身高1.5米左右的人接近至机器人前方一米,停留一秒以上的”情况进行说明的构成,从而输入情况认知帧。
在所述情况认知帧中,利用至少一个以上的认知工具的输入来可决定所述机器人外部的情况。
认知工具如果是相机(camera)、触摸传感器、激光传感器、麦克风(microphone)、触摸显示装置等对所述机器人外部的情况进行认知的工具,则对其种类不进行限定。此外,所述机器人外部的情况包括时间的流逝。由此,认知特定时间的流逝的计时器(Timer)也包括于所述认知工具。
认知工具为相机及激光传感器时,例如,通过所述激光传感器的输入,所述运算工具对所述机器人周围物体的数字、移动与否、移动方向及物体的大小等进行掌握,并且通过所述相机,对所述物体的影像进行拍摄,从而所述运算工具对是否为人类进行认知,当人类时,对所述人类的脸部进行认知,从而可掌握所述人类的性别及年龄等。
所述情况下,情况认知帧利用所述相机及激光传感器的输入,从而可生成如下情况认知帧:如图2(a)所示,“一名身高1.5m以下的小孩向机器人靠近的”情况认知帧;如图2(b)所示,“一名身高1.5m以上的男性成人经过机器人的”情况认知帧;如图2(c)所示,“多个人停留在机器人周围的”情况认知帧。
另外,图3的(a)、(b)、(c)表示在彼此不同的情况下,机器人可执行的各种种类的操作的示例。
此外,所述认知工具不仅包括对机器人外部的情况进行直接认知的工具,还包括对机器人外部的情况进行间接认知的工具。例如,机器人位于特定外部场所时,不仅包括光亮传感器、拍摄天空的相机等直接认知工具,还包括通过GPS装置及有线无线网络对所述机器人位置的天气进行掌握的间接认知工具。
此外,所述认知工具为触摸显示装置时,利用所述触摸显示的触摸输入,从而可决定所述机器人外部的情况。
此外,所述情况认知帧不仅可利用机器人外部的情况,还可进一步利用机器人的状态来被决定。
例如,在以使得机器人具有感情状态的方式进行设定的情况下,同时利用机器人的感情状态及机器人外部的情况,从而可决定情况认知帧。机器人的感情如果是心情非常好的状态,则可生成“一名身高1.5m以下的小孩向心情好的状态的机器人靠近的”情况认知帧,或者机器人的感情如果是忧郁的状态,则可生成“一名身高1.5m以下的小孩向忧郁状态的机器人靠近的”情况认知帧。
此外,机器人的状态不仅可以是机器人的感情状态,还可以是机器人的机械的、电子的状态。机器人的机械的、电子的状态如果比喻为人类,则可以想象为人类的身体状态。例如,对机器人的表现工具的运转状态进行周期检查,从而特定表现工具的运转不可能时,可生成“一名身高1.5m以下的小孩向右侧手臂不动状态的机器人靠近的”情况认知帧。
用于决定情况认知帧的情况的认知工具可提前设定其种类及输入。
参照图6,例如,用于决定“人在靠近的”情况认知帧的情况的认知工具及其输入提前设定为激光扫描仪(laser scanner)的反射信号输入、相机所拍摄的脸部影像、麦克风的语音认知,或者用于决定“人在经过的”情况认知帧的情况的认知工具及其输入可提前设定为超音波传感器的反射输入及激光传感器的反射信号输入。
换句话说,作为人类的使用者可通过类似的情况进行认知,但是技术上判断所属情况时,适合的认知工具的种类及输入可彼此不同。根据本发明,具有如下效果,使用者通过单纯地输入情况认知帧,也可决定适合于所属情况的认知工具的种类及输入,从而可正确掌握所述情况。
例如,如果输入“一名身高1.5m以下的小孩向右侧手臂不移动状态的机器人靠近的”情况认知帧,则作为用于掌握所属情况的认知工具,使用者无需对是否使用超音波传感器、影像相机或者只使用影像相机进行一一费心,而是通过提前设定所属情况适合的认知工具,从而可掌握所述情况。
此外,根据机器人的版本及种类,适合认知特定情况的认知工具的种类及输入可彼此不同,但是使用者可不受此拘束,仅通过单纯地输入相同的情况认知帧,可生成各种种类的机器人控制脚本。
适合决定情况认知帧的情况的认知工具的设定可提前设定于机器人内部,并且也可通过有线无线网络从提前设定的服务器下载。
由此,适合决定情况认知帧的情况的认知工具的设定设定于服务器,并对其进行下载时,通过认知工具的输入,决定情况的算法(algorithm)产生变更,从而决定特定情况的认知工具的种类及输入产生变更时,使用者无需对此进行考虑,仅通过相同于现有的方式对情况认知帧进行输入,也能够生成各种种类的机器人控制脚本。
此外,适合决定情况认知帧的情况的认知工具的设定设定于服务器,并对其进行下载时,为已经购买的机器人额外购买特定认知工具并升级(upgrade)时,使用者无需对此进行考虑,仅通过相同于现有的方式对情况认知帧进行输入,也能够生成各种种类的机器人控制脚本。
此外,生成机器人控制脚本的使用者并非一一对认知工具的传感输入进行直接选择,而是通过输入与人类相类似的方式的情况认知帧,使用者可容易且直观地生成机器人控制脚本。
使用者并非单纯地选择一个表现工具和一个输出,而是选择由至少一个以上的表现工具的至少一个以上的输出构成的表现帧,从而可输入表现帧。
表现帧的选择意味着对说明所属情况的构成要素710进行选择,从而在时间轴(Time Line)720上进行配置。
表现工具如果是机器人的面部、手臂、LED、显示装置等,对所述机器人的操作及内容等进行表现的工具,并非对其种类进行限定。
例如,使用者通过对提前设定的有人表现帧进行选择,从而可输入表现帧,并且所述有人表现帧可由如下表现构成:将机器人的头部向左右一定角度反复转动,将手臂一定角度向上下反复摇动,并且将“你好,请暂时向这儿看”的语音进行输出,与此同时向特定方向移动机器人。
所述表现帧可利用至少一个以上的表现工具的至少一个以上的输出来构成,并且如图7所示,所述表现工具及所述输出可由使用者选择提前设定的表现工具及输出而构成。
如果对表现帧构成进行举例,则如图7所示,使用者对机器人的脸部笑的表现、影像内容的播放及特定句子的语音合成(TTS:Text To Speech)等的构成要素710进行选择,从而以在时间轴720上拖放(Drag and Drop)的方式等可对表现帧进行构成。
由此,使用者对多个表现工具的多个输出进行组合,从而对用于特定表现的表现帧进行构成,由此每次在脚本生成时,对表现工具及表现工具的输出再次进行一一组合,从而无需构成表现帧,可使用匹配于提前设定的情况的适合的表现帧。
此外,表现帧对用于特定表现的表现工具及其输出进行提前决定,使用者也可单纯地选择针对所属表现的表现帧。
例如,机器人打招呼是非常常用的表现,因此如图8所示,将“打招呼”的基本表现帧设定表现工具及输出,并且使用者可通过只选择所述打招呼表现帧进行输入。
运算工具连接由使用者输入的情况认知帧和表现帧,从而生成判断(Judgement)帧。
所述判断帧是指将情况认知帧和判断帧相互连接。由此,即使是相同的情况认知帧连接彼此不同的表现帧,或者将相同的表现帧连接彼此不同的情况认知帧,从而可生成多个判断帧。
由此,根据机器人的使用场所及服务性格,使用者对通过情况认知程序及表现帧的组合的各种判断帧进行生成,从而可制作各种机器人的控制脚本。
如果判断帧生成,则运算工具接收对至少一个以上的判断帧和过渡(transition)帧的选择,从而生成阶段(Stage)S420,在至少两个以上的阶段中,将一个阶段的过渡帧与其他阶段连接,从而生成脚本S430。
过渡帧作为与表现帧不连接,而与其他阶段连接的情况认知帧,意味着如果对根据所述情况认知帧的情况进行认知,则构成为实行其他阶段的帧。
例如,参照图9,名称为“介绍(Intro)”910的阶段由一个名称为“人接近”的过度帧920和一个判断帧930构成。所述判断帧由“自动开始0秒”情况认知帧931和“介绍”表现帧932连接构成。
所述“自动开始0秒”情况认知帧931可构成为对从所述“Intro”阶段的实行开始,时间的流逝过去0秒的情况进行认知,所述“介绍”表现帧932可构成为机器人的头部向左右进行一定角度反复转动,并将特定视频播放于显示装置的表现。
所述“人接近”过渡帧920与人的种类及数字无关,可以是能够对人向机器人靠近的情况进行认知的构成的情况认知帧。
由此,实行所述阶段的机器人如果从所述“Intro”阶段的实行开始,时间的流逝过去0秒,则机器人的头部向左右进行一定角度反复转动,并将特定视频播放于显示装置后,与人的种类及数字无关,如果对人向机器人靠近的情况进行认知,则可实行连接至所述“人接近”过渡帧920的阶段。
所述过渡帧选择至少一个以上,从而可包括于阶段,因此实行所述阶段的同时,也对各种情况进行认知,从而实行适合于所认知的情况的其他阶段,由此可适合于各种情况地生成机器人可反应的机器人的控制脚本。
图10是多个阶段通过过渡帧相互连接的脚本的例子。执行根据图10的脚本的机器人在名称为“开始(opening)”的阶段1100中,实行由“自动开始0秒”的情况认知帧和“开始”表现帧所构成的判断帧1130后,如果对“人接近”情况认知帧1120所属的情况进行认知,则实行名称为“打招呼”的阶段1300,并且在没有对“人接近”情况认知帧1120所属的情况进行认知的状态下,如果对从名称为“开始”的阶段实行经过5秒进行认知,则实行名称为“介绍”的阶段1200。
相同地,其他阶段实行中也彼此通过过渡帧实行适合各个情况的阶段,因此并非根据提前定好的一系列顺序,执行机器人的操作,而是根据各种情况进行主动地多样地机器人操作,由此可生成更为类似于人类地可操作的机器人控制脚本。
此外,使用者即使没有在机器人操作的时间分量所属的全部时间轴上一一对所述机器人操作或内容进行配置,也可通过将根据特定情况的多个阶段彼此相连接,从而可生成无限操作的机器人控制脚本。
参照图11,对根据本发明的机器人控制脚本生成装置的实施例进行说明。根据本发明的机器人控制脚本生成装置包括通过电信号或磁信号存储数据的存储部1110、判断(Judgement)帧生成部1120、阶段(Stage)生成部1130及脚本生成部1140。
所述判断帧生成部1120接收对情况认知(Situation Cognition)帧(Frame)及表现(Expression)帧的选择,从而生成判断(Judgement)帧,进而存储于所述存储部。
所述阶段生成部1130接收至少一个以上的所述判断帧及至少一个以上的过渡(Transition)帧的选择,从而生成阶段(Stage),进而存储于所述存储部。
所述脚本生成部1140在至少两个以上的阶段中,将一个阶段的过渡帧与其他阶段相连接,从而存储于所述存储部。
为了帮助本发明的理解而说明的实施例中所使用的特定术语并非限定于本发明。对于通常的技术人员,本发明可包括具备所有构成要素及同等价值的全部构成要素。

Claims (12)

1.一种机器人控制脚本生成装置的机器人控制脚本生成方法,其包括如下步骤:
接收对情况认知帧及表现帧的输入,从而运算工具生成判断帧,进而存储于存储工具并进行显示;
接收对至少一个以上的所述判断帧及至少一个以上的过渡帧的选择,从而所述运算工具对阶段进行生成,进而存储于存储工具并进行显示;以及
在至少两个以上的阶段中,所述运算工具将一个阶段的过渡帧与其他阶段相连接,从而存储于存储工具并进行显示。
2.根据权利要求1所述的机器人控制脚本生成装置的机器人控制脚本生成方法,其特征在于:
在所述情况认知帧中,利用至少一个以上的认知工具的输出来决定所述机器人外部的情况。
3.根据权利要求2所述的机器人控制脚本生成装置的机器人控制脚本生成方法,其特征在于:
用于决定所述情况的所述认知工具被提前设定或者可被使用者修正。
4.根据权利要求2所述的机器人控制脚本生成装置的机器人控制脚本生成方法,其特征在于:
所述情况认知帧进一步利用所述机器人的状态来决定。
5.根据权利要求1所述的机器人控制脚本生成装置的机器人控制脚本生成方法,其特征在于:
所述表现帧利用所述机器人的至少一个以上的表现工具的至少一个以上的输出来构成。
6.根据权利要求5所述的机器人控制脚本生成装置的机器人控制脚本生成方法,其特征在于:
所述表现工具及所述输出接收对被提前设定或可被使用者修正的表现工具及输出的选择而构成。
7.一种机器人控制脚本生成装置,其包括:
存储部,其通过电信号或磁信号来存储数据;
判断帧生成部,其接收对情况认知帧及表现帧的选择,从而生成判断帧,进而存储于所述存储部;
阶段生成部,其接收对至少一个以上的所述判断帧及至少一个以上的过渡帧的选择,从而对阶段进行生成,并存储于所述存储部;以及
脚本生成部,其在至少两个以上的阶段中,将一个阶段过渡帧与其他阶段进行连接,从而存储于所述存储部。
8.根据权利要求7所述的机器人控制脚本生成装置,其特征在于:
在所述情况认知帧中,利用至少一个以上的认知工具的输出来决定所述机器人外部的情况。
9.根据权利要求8所述的机器人控制脚本生成装置,其特征在于:
用于决定所述情况的所述认知工具被提前设定或者可被使用者修正。
10.根据权利要求9所述的机器人控制脚本生成装置,其特征在于:
所述情况认知帧进一步利用所述机器人的状态来被决定。
11.根据权利要求7所述的机器人控制脚本生成装置,其特征在于:
所述表现帧利用所述机器人的至少一个以上的表现工具的至少一个以上的输出来构成。
12.根据权利要求11所述的机器人控制脚本生成装置,其特征在于:
所述表现工具及所述输出接收对被提前设定或可被使用者修正的表现工具及输出的选择而构成。
CN201380039487.8A 2012-07-23 2013-07-16 机器人控制脚本生成方法及装置 Expired - Fee Related CN104487208B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2012-0080067 2012-07-23
KR1020120080067A KR101190660B1 (ko) 2012-07-23 2012-07-23 로봇 제어 시나리오 생성 방법 및 장치
PCT/KR2013/006362 WO2014017773A1 (ko) 2012-07-23 2013-07-16 로봇 제어 시나리오 생성 방법 및 장치

Publications (2)

Publication Number Publication Date
CN104487208A CN104487208A (zh) 2015-04-01
CN104487208B true CN104487208B (zh) 2016-08-24

Family

ID=47287931

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380039487.8A Expired - Fee Related CN104487208B (zh) 2012-07-23 2013-07-16 机器人控制脚本生成方法及装置

Country Status (4)

Country Link
US (1) US9636822B2 (zh)
KR (1) KR101190660B1 (zh)
CN (1) CN104487208B (zh)
WO (1) WO2014017773A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150314454A1 (en) 2013-03-15 2015-11-05 JIBO, Inc. Apparatus and methods for providing a persistent companion device
EP2974273A4 (en) 2013-03-15 2018-01-10 Jibo, Inc. Apparatus and methods for providing a persistent companion device
USD746886S1 (en) 2014-05-23 2016-01-05 JIBO, Inc. Robot
WO2016011159A1 (en) * 2014-07-15 2016-01-21 JIBO, Inc. Apparatus and methods for providing a persistent companion device
US20180067381A1 (en) * 2015-10-22 2018-03-08 Aflatoon AFLATOONI Interactive event photography kiosk
JP6747506B2 (ja) * 2016-04-28 2020-08-26 富士通株式会社 ロボット
JP6844135B2 (ja) 2016-07-05 2021-03-17 富士ゼロックス株式会社 移動ロボットおよび移動制御システム
KR102645817B1 (ko) * 2016-12-06 2024-03-08 한화로보틱스 주식회사 로봇의 비헤이비어 관리 방법 및 장치
CN107145758A (zh) * 2017-05-31 2017-09-08 上海思依暄机器人科技股份有限公司 一种基于家用机器人的外出陪护服务方法和装置
JP7146373B2 (ja) * 2017-07-13 2022-10-04 雅美 田嶋 接客サービスシステム
CN109421044A (zh) * 2017-08-28 2019-03-05 富泰华工业(深圳)有限公司 智能机器人
KR102108389B1 (ko) 2017-12-27 2020-05-11 (주) 퓨처로봇 서비스 로봇의 제어 시나리오 생성 방법 및 그 장치
KR102519064B1 (ko) * 2018-04-25 2023-04-06 삼성전자주식회사 사용자에게 서비스를 제공하는 이동형 로봇 장치 및 방법
KR20190141303A (ko) * 2018-06-14 2019-12-24 엘지전자 주식회사 이동 로봇의 동작 방법
JP7045938B2 (ja) * 2018-06-15 2022-04-01 株式会社日立製作所 対話システム及び対話システムの制御方法
CN111080750B (zh) * 2019-12-30 2023-08-18 北京金山安全软件有限公司 一种机器人动画配置方法、装置及系统
CN112060090B (zh) * 2020-09-01 2021-11-26 深圳优地科技有限公司 机器人避让方法、装置及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101571930A (zh) * 2008-04-30 2009-11-04 悠进机器人股份公司 可与人互动的机器人
CN101786272A (zh) * 2010-01-05 2010-07-28 深圳先进技术研究院 一种用于家庭智能监控服务的多感知机器人
JP4560078B2 (ja) * 2007-12-06 2010-10-13 本田技研工業株式会社 コミュニケーションロボット

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002073955A1 (en) * 2001-03-13 2002-09-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, studio apparatus, storage medium, and program
JP2003205483A (ja) * 2001-11-07 2003-07-22 Sony Corp ロボットシステム及びロボット装置の制御方法
GB0306875D0 (en) 2003-03-25 2003-04-30 British Telecomm Apparatus and method for generating behavior in an object
KR100767170B1 (ko) * 2003-08-12 2007-10-15 가부시키가이샤 고쿠사이 덴키 츠신 기소 기주츠 겐큐쇼 커뮤니케이션 로봇용 제어 시스템
KR100572683B1 (ko) 2003-09-30 2006-04-19 주식회사유진로보틱스 지능형 로봇의 컨텐츠 제작용 저작툴 및 이를 이용한지능형 로봇의 컨텐츠 제작 방법
WO2005098729A2 (en) * 2004-03-27 2005-10-20 Harvey Koselka Autonomous personal service robot
KR101309562B1 (ko) 2006-10-25 2013-09-17 에스케이플래닛 주식회사 사용자의 행동을 판단하여 몸을 움직여 감정을 표현하는로봇 및 그 방법
KR100824317B1 (ko) 2006-12-07 2008-04-22 주식회사 유진로봇 로봇의 동작 제어시스템
KR100988597B1 (ko) 2008-01-14 2010-10-18 주식회사 유진로봇 웹 환경에서의 사용자 친화형 로봇 컨텐츠 저작시스템
KR20110026212A (ko) 2009-09-07 2011-03-15 삼성전자주식회사 로봇 및 그 제어방법
US8958911B2 (en) * 2012-02-29 2015-02-17 Irobot Corporation Mobile robot

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4560078B2 (ja) * 2007-12-06 2010-10-13 本田技研工業株式会社 コミュニケーションロボット
CN101571930A (zh) * 2008-04-30 2009-11-04 悠进机器人股份公司 可与人互动的机器人
CN101786272A (zh) * 2010-01-05 2010-07-28 深圳先进技术研究院 一种用于家庭智能监控服务的多感知机器人

Also Published As

Publication number Publication date
WO2014017773A1 (ko) 2014-01-30
KR101190660B1 (ko) 2012-10-15
US20150183112A1 (en) 2015-07-02
US9636822B2 (en) 2017-05-02
CN104487208A (zh) 2015-04-01

Similar Documents

Publication Publication Date Title
CN104487208B (zh) 机器人控制脚本生成方法及装置
CN106873773B (zh) 机器人交互控制方法、服务器和机器人
KR102306624B1 (ko) 지속적 컴패니언 디바이스 구성 및 전개 플랫폼
US9431027B2 (en) Synchronized gesture and speech production for humanoid robots using random numbers
JP6902683B2 (ja) 仮想ロボットのインタラクション方法、装置、記憶媒体及び電子機器
US20170206064A1 (en) Persistent companion device configuration and deployment platform
CN108027664A (zh) 统一的虚拟现实平台
CN109416701A (zh) 多种交互人格的机器人
JP2020531999A (ja) 自律パーソナルコンパニオンによってユーザの人工知能モデルが実行するためのユーザのコンテクスト環境を記述する識別タグに基づくシナリオの継続的選択
CN108363492A (zh) 一种人机交互方法及交互机器人
CN108519816A (zh) 信息处理方法、装置、存储介质及电子设备
SA110310836B1 (ar) مساعدة تعاونية ظاهرية تعتمد على صورة رمزية
Heloir et al. Embr–a realtime animation engine for interactive embodied agents
US9076345B2 (en) Apparatus and method for tutoring in convergence space of real and virtual environment
KR20190105403A (ko) 전자 장치, 전자 장치와 결합 가능한 외부 디바이스 및 이의 디스플레이 방법
CN112204563A (zh) 用于基于用户通信的视觉场景构建的系统和方法
CN108133259A (zh) 人工虚拟生命与外界交互的系统及方法
CN206021605U (zh) 智能机器人点读系统
KR20190075416A (ko) 디지털 에이전트 이동 매니퓰레이터 및 그 동작 방법
WO2016206645A1 (zh) 为机器装置加载控制数据的方法及装置
Igorevich et al. Behavioral synchronization of human and humanoid robot
CN109571507A (zh) 一种服务机器人系统及服务方法
Betti et al. Communication landscapes
WO2020166373A1 (ja) 情報処理装置および情報処理方法
Ganal et al. PePUT: A Unity Toolkit for the Social Robot Pepper

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160824

CF01 Termination of patent right due to non-payment of annual fee