CN1649699A - 用于由一组可活动部件组成的机器人的动画系统 - Google Patents

用于由一组可活动部件组成的机器人的动画系统 Download PDF

Info

Publication number
CN1649699A
CN1649699A CNA038096714A CN03809671A CN1649699A CN 1649699 A CN1649699 A CN 1649699A CN A038096714 A CNA038096714 A CN A038096714A CN 03809671 A CN03809671 A CN 03809671A CN 1649699 A CN1649699 A CN 1649699A
Authority
CN
China
Prior art keywords
movable part
parameter
robot
signal
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA038096714A
Other languages
English (en)
Other versions
CN100346940C (zh
Inventor
C·莫雷
T·普兰特罗塞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1649699A publication Critical patent/CN1649699A/zh
Application granted granted Critical
Publication of CN100346940C publication Critical patent/CN100346940C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1671Programme controls characterised by programming, planning systems for manipulators characterised by simulation, either to verify existing program or to create and verify new program, CAD/CAM oriented, graphic oriented programming systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/40Robotics, robotics mapping to robotics vision
    • G05B2219/40515Integration of simulation and planning
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/30Nc systems
    • G05B2219/45Nc applications
    • G05B2219/45176Animation for film scenes, show

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Processing Or Creating Images (AREA)
  • Toys (AREA)

Abstract

本发明的目的是通过在主信号PS中将运动参数传送到机器人而驱使机器人的可活动部件再现动画对象的可活动部件的运动。主信号PS包含了与动画对象的可活动部件相关联的参数集,所述参数集则被根据反映所述动画对象的可活动部件运动的层次图形结构插入到所述主信号中。所述机器人的可活动部件再现了与之关联的参数集中包含的运动参数所表征的运动。应用:一种用于机器人的动画系统。

Description

用于由一组可活动部件组成的机器人的动画系统
本发明涉及一种用于动画(animate)一个由一组可活动部件组成的机器人的动画系统。
在工业或家庭应用的情景中,本发明可以大量应用于那些必须借助远端机器人再现对象或个人运动的通信系统。
通过使用机器人来执行一组复杂重复的任务,这在工业环境中是已知的技术。此外,在家庭应用环境中使用机器人,尤其是将其用作一个“助手机器人”,这同样也是已知的技术。
日本专利N°P2001-96481A描述了一种用于机器人以及具有狗的外形的机器人的动画系统,其中所述机器人包括用于再现一个以来自计算机发送器或是遥控类型发送器的控制信号的形式发送的动作的装置。此外所述机器人还配备了用于再现动作的可活动部件,例如与脚或头的运动相对应的动作。
对现有技术文档中的已知的机器人来说,它具有一个信号处理器以及一个ROM类型的存储器,所述存储器用于存储一组能使机器人再现一指定系列动作的程序和参数。如果接收到的控制信号表明必须再现另一个将要执行的动作,那么机器人还可以中断当前正在执行的动作。
现有技术文档中的已知的动画系统和机器人都存在着某些局限性。
对现有技术文档所描述的机器人而言,其行为是通过发送一个控制信号而被修改的,其中所述控制信号允许由传动器来使机器人的可活动部件再现一个动作,尤其是运动动作。
由于机器人的行为主要是由存储器中预先存储的一组程序和参数确定的,因此机器人接收的控制信号只能局部修改机器人的行为。由于这种行为在很大程度上是预先确定的,因此对现有技术文档中的已知的机器人来说,它们在行为方面是受到限制的。
在这里有可能出现这样一种情况,其中为了改变机器人的整体行为,存储器中存储的程序和参数将会随着时间而发生变化,然而由于需要加载的数据量很大,因此这种操作往往会因为机器人与传送系统之间的通信信道带宽太小而需要花费大量的时间。此外,除了缺乏灵活性之外,这种操作往往对用户而言是很难执行的。
从硬件资源的观点来看,现有技术文档中已知的机器人需要大容量存储器来存储程序和动作参数,这样将会导致产品非常昂贵。
本发明的一个目的是通过在主信号中将运动参数传送到机器人,以使机器人的可活动部件再现动画对象的可活动部件的运动,从而使之具有使用灵活的特性并且提供一个节约成本的技术方案。
本发明涉及一种用于机器人的动画系统,其中包括:
a)一个发送器,包括:
用于创建一个主信号的装置,其中所述主信号包含了用于对动画对象的一组可活动部件的运动进行描述的参数集,所述参数集包括:
aa)用于将可活动部件关联于关注着的参数集的标识参数,
bb)用于对关联于参数集的可活动部件的运动进行描述的运动参数,
用于传送主信号的传送装置,
b)一个机器人,包括:
用于接收所述主信号的接收装置,
能够按照控制信号运动的可活动部件,
用于对包含在接收到的主信号中的参数集连续处理的处理装置,其中所述处理装置包括:
aa)关联装置,该装置使用标识参数来将机器人的可活动部件关联于参数集,
bb)生成装置,该装置通过使用运动参数来向关联于参数集的可活动部件生成控制信号,以使所述相关联的可活动部件再现所述运动参数所表征的运动。
本发明建议依照一种专用于描述和传送动画对象的特征的语法来对传送到机器人的主信号进行编码。
从支持参考文献MPEG-4 ISO/IEC 14496-1和MPEG-4 ISO/IEC14496-2的标准中可以了解到一种用于描述场景中的对象特征的编码语法。这种编码语法是名为MPEG-4 BIFS(源自英文“Binary Formatfor Scene description(用于场景描述的二进制格式)”)的标准功能所特有的。依照这种功能,可以将一个依照MPEG-4 BIFS功能的需要而被编码的数据信号关联于一个依照MPEG-4标准编码并且包含了多媒体场景元素(音频、文本、图形、视频等类型)的场景。特别地,描述参数可以就动画对象的形状及其在所述多媒体场景中的时间空间定位来描述动画对象的动画特性。场景元素的动画参数则是依照MPEG-4 BIFS的动画(Anim)功能编码语法而被编码的,而用于更新场景元素的参数是依照MPEG-4 BIFS更新功能的编码语法来编码的。
非常有利的是,在本发明中使用这种运动参数编码模式来将用于动画对象的可活动部件的运动参数传送到机器人,以使机器人的可活动部件再现所述参数所表征的运动。这里的“动画对象”是指物理对象、虚拟对象、个人或动物。这样一来,机器人能够再现动画对象的运动。
对动画对象的每个可活动部件来说,运动参数被插入一组参数中,依照MPEG-4 BIFS功能,这组参数通常被称为是一个“节点”,通过对所述参数集进行标识,可以在机器人那里建立参数集与机器人可活动部件之间的对应。此外还可以对参数集进行调整,从而形成一个具有分层结构的图形,反映动画对象的可活动部件相对于彼此的结构和排列。
参数集包含了用于对与之相对应的动画对象的可活动部件的运动进行描述的运动参数,其中举例来说,所述运动参数可以是借助于正交参照系坐标、极坐标或是旋转/平移(translation)型参数化变换来描述可活动部件的空间位置的优先级。
由于MPEG-4 BIFS功能一方面预备依照差分模式来发送动画参数,另一方面还顾及了借助于量化机制所执行的信号压缩,因此使用这种编码模式来向机器人发送运动参数具有减少传送给机器人的信息量的优点。这样一来,只需要一个带宽很小的连接就可以将运动参数传送给机器人。
另一个使用MPEG-4 BIFS功能的优点是能在主信号中将一个运动参数的连续流传送给机器人,这种传送模式即为通常所说的“流式传送”。这样一来,机器人不需要为了运行而在一开始加载一个最小的运动参数集合。因此,机器人实时或伪实时地执行所述主信号中包含的运动参数所表征的运动。结果,依照本发明的机器人不再需要具有可用的大容量存储器资源,而这将会生成一个节约成本的技术方案。
最后,使用MPEG-4 BIFS功能将会使传送到机器人的主信号编码非常规范,这一方面便于同一控制信号对多个机器人进行控制,另一方面还便于在一组机器人之间交换运动参数。
依照一个特定实施例,上述系统包含了运动捕捉装置,用于生成那些用于表征动画对象的每个可活动部件运动的运动参数。
本应用能使机器人再现动画对象的运动。特别地,动画对象与一个在肢体上配备了运动传感器的个人相对应。在这种情况下将会捕获个人的各个肢体的运动参数并且将其插入主信号。由此创建的主信号被传送到一个包含了能够再现所述肢体运动的可活动部件的机器人。借助于关联机制,机器人接收的每一组参数与再现由该组参数包含的运动参数所表征的运动的机器人的可活动部件相关联。
这样的应用的目的是在用户那里再现远端人员的实际运动,由此将所述人员模拟成实际出现在用户面前。
依照一个特定实施例,所述动画系统包括音频编码装置,用于对所述动画对象传送的音频信号进行编码,以便生成一个与所述主信号一起由所述传送装置传送的音频信号,所述机器人包含用于解码和再现所述音频信号的装置。
除了捕获运动参数之外,本实施例还可以借助音频传感器而使机器人再现动画对象所传送的音频信号,如果动画对象是人,那么所述音频信号将会是一个语音信号。这样一来,机器人的听觉表示会与远端人员的听觉表示合并。为了减少信息量,较为有利的是在传送之前借助一个位于所述发送器中的音频编码器来对所述音频信号进行编码。
非常有利的是,本应用取代了视频会议类型的应用。而这则是因为在这里是由机器人实际表示远端人员而不是将远端人员显示在音频/视频显示器上,由此能够再现远端人员的动作和语音信号。
这种应用的优点在于仅仅传送的是涉及通信信道的紧凑信息(主信号和音频信号),而不像视频会议类型(例如依照H.324标准)的应用那样需要高速发送视觉质量良好的视频信息或是低速发送视觉质量低下的视频信息。
本应用可以在远程学习环境中使用,在所述远程学习期间,对远离学生的老师来说,其运动是由一个在学生附近的机器人来再现的。
本应用可以在远程外科手术环境中使用,以便再现远离病人的外科医生的动作并且随后由机器人来为病人做手术。
如果处于聋人附近的机器人再现了与聋人通信的通信者的手嘴的运动,那么也可以使用本应用而使聋人能与远端的通信者进行通信。
本发明还涉及一种用于机器人的动画系统,其中包括:a)一个用于接收构成场景元素的多媒体数据信号的接收器,其中所述场景元素与一个场景描述信号相关联,而该场景描述信号则借助于描述参数来对所述场景元素进行描述,所述多媒体数据信号包含了一个包括一组可活动部件的动画场景元素,而所述场景描述信号则包含了用于对所述可活动部件的运动进行描述的参数集,这个参数集包括:
aa)用于将可活动部件关联于关注着的参数集的标识参数,
bb)用于描述所述关联于参数集的可活动部件的运动的运动参数,
所述接收器包括:
用于从所述场景描述信号中提取所述动画对象的运动参数并且生成一个包含所述运动参数的主信号的提取装置,
用于将所述主信号传送给机器人的传送装置;
b)一个机器人,包括:
用于接收所述主信号的接收装置;
能够按照控制信号运动的可活动部件,
用于对接收到的主信号中包含的参数集进行连续处理的处理装置,该处理装置包括:
aa)关联装置,用于使用标识信息来将机器人的可活动部件关联于参数集,
bb)生成装置,用于使用运动参数来向关联于参数集的可活动部件生成所述控制信号,以使所述相关联的可活动部件再现所述运动参数所表征的运动。
本应用能使机器人再现场景元素类型的动画对象(例如化身或个人)的运动,特别地,所述动画场景元素构成了依照MPEG-4标准而被编码的多媒体场景的一小部分。为了生成传送到机器人的主信号,接收器只从场景描述信号中提取所述动画场景元素的运动参数。
依照一个附加特性,所述接收器包含了用于根据多媒体数据信号和场景描述信号生成一个场景信号的场景创作装置,其中所述场景信号的内容欲由视听装置来播放。
所述动画场景元素的运动是由显示装置旁边的机器人再现的,由此所述多媒体场景内容的显示将会变得更有吸引力并且更为生动。
举例来说,与场景描述信号相关联的多媒体数据信号可以是由电视节目供应商(广播公司)或是网络游戏设备传递的。本应用可以选择用机器人再现构成这个多媒体场景的一部分的动画场景元素的运动,由此在多媒体场景内容中提供更大的“浸入(immersion)”。
依照一个附加特征,所述机器人包括用于对接收到的主信号所包含的参数集进行修改的修改装置。
这个特征可以使主信号中包含的参数集适应于机器人的能力。因此,如果机器人的能力不能再现运动参数所对应的运动,那么可以修改所述参数集中包含的运动参数值甚至将其省略。
依照一个附加特征,所述机器人包括:
用于生成一个语音参数的适用外部音频信号的语音识别装置,
用于将所述语音参数匹配于附加的运动参数的匹配装置,其中所述运动参数表征所述机器人的一个或多个可活动部件的运动,所述生成装置根据所述附加运动参数生成控制信号。
这个附加特征允许用户借助于语音来与机器人的运动交互。
依照一个附加特征,所述机器人包含了用于重新传送所述主信号的装置。
借助于这个特征,可以将主信号的内容传送给一组机器人,以便由这组机器人同时再现所述主信号中包含的参数集所表征的运动。
本发明还涉及一种在以上应用中描述的机器人,所述机器人包括:
接收装置,用于接收一个主信号,其中所述主信号包含了用于描述动画对象的一组可活动部件的运动的参数集,所述参数集包括:
aa)用于将可活动部件关联于关注着的参数集的标识参数,
bb)用于对关联于参数集的可活动部件的运动进行描述的运动参数,
能够按照控制信号运动的可活动部件,
用于对接收到的主信号中包含的参数集连续进行处理的处理装置,所述处理装置包括:
aa)关联装置,用于使用标识参数而将机器人的可活动部件关联于参数集,
bb)生成装置,用于使用运动参数来向关联于参数集的可活动部件生成所述控制信号,以使所述相关联的可活动部件再现所述运动参数所表征的运动。
本发明还涉及一种依照MPEG-4 BIFS功能的编码语法编码的信号,用于控制机器人的可活动部件的运动,其中所述编码的信号包含参数集,参数集则包括用于将可活动部件关联于关注着的参数集的标识参数以及对所要再现的所述可活动部件的运动进行描述的运动参数。
以下参考附图所示的实施例例示来对本发明进行进一步描述,然而,本发明并不局限于这些实例。
图1示意性描述了一个依照本发明的用于机器人的动画系统,
图2描述的是一个依照本发明的用于机器人的动画系统的第一应用,
图3描述的是一个依照本发明的用于机器人的动画系统的第二应用。
图1示意性描述了一个用于依照本发明的机器人的动画系统,该系统包括一个用于将主信号PS发送到机器人R的发送器E。向机器人R传送主信号PS的目的则在于驱使机器人再现动画对象O的运动。
在这里,动画对象O类似一个包含了一组可活动部件(101~112)(身体101、头部102、嘴103、眼睛104、左臂105、左手106、右臂107、右手108、左腿109、左脚110、右腿111、右脚112)的人。这些可活动部件则形成了一个用于对彼此间的可活动部件的排列进行描述的分层结构图形O-SG。
一个可活动部件是由一组参数来进行描述的,这组参数包括:
用于将可活动部件关联于关注着的参数集的标识参数。其中举例来说,所述标识参数可以对应于一个单独的数值。
用于对关联于参数集的可活动部件的运动进行描述的运动参数。其中举例来说,所述运动可以由一个或多个定义了可活动部件的空间坐标、由中心和角度表征的旋转型变换或是由矢量所表征的平移来进行描述。
发送器E包含了用于根据每个可活动部件101~112的运动参数来创建主信号PS的装置。所述主信号PS是一个依照MPEG-4 BIFS功能的语法而被编码的信号,其中将每个参数集都视为是处于MPEG-4 BIFS功能含义以内的一个节点,更准确地说,如果其他节点依赖于该节点,则将该节点视为是一个上层节点(也称为“双亲节点”),如果所述节点依赖于其他节点,则将其视为是一个低层分层节点(也称为“子节点”)。这样一来,信号PS包含了通过依照这个结构调整参数集而进行的动画对象O的分层结构编码。
借助于这种分层结构,可以将分配给上层可活动部件的运动应用于低层可活动部件。其中举例来说,可活动部件102的运动还应用于部分103和104。同样,可活动部件105的运动参数还应用于部分106。
信号PS由发送器E中包含的传送装置传送到一个机器人R,所述机器人包含了一组用于再现动画对象O的可活动部件的运动的可活动部件101′~102′。
在机器人接收到包含了对动画对象O的可活动部件的运动进行描述的参数集的主信号PS之后,关联装置会将机器人的每个可活动部件关联于一个参数集。这种关联是使用每个参数集中包含的标识参数来做出的。因此,可活动部件101′被关联于可活动部件101的一个参数集,而可活动部件102′则关联于可活动部件102的一个参数集,依此类推。
所述关联装置可以生成一个分层结构图形R-SG,用于对可活动部件101′~112′彼此之间的排列进行描述。在结构上,机器人R的可活动部件与动画对象O的可活动部件相类似,而可活动部件101~112的结构和运动则分别由可活动部件101′~112′再现。此外,图形R-SG与图形O-SG是相同的。
机器人R的可活动部件是按照施加于机械传动器的控制信号而运动的,在这里并未显示所述机械传动器。施加到传动器的控制信号由生成装置生成,以使所关联的可活动部件再现每个参数集101′-112′中包含的运动参数所表征的运动。这些生成装置包括将运动参数转换成一个可以由所述传动器使用的信号。其中举例来说,所述生成装置将运动参数转录到一个能使传动器实施可活动部件运动的电子或气动信号。
图2描述的是依照本发明的动画系统的第一应用。该应用包含了对个人O的可活动部件的运动进行感测的装置。这些运动感测装置包括布置在每个可活动部件上的运动传感器201,其中所述可活动部件的运动要由机器人R再现。这些传感器201传递一组信号202,该组信号包含了反映每个可活动部件的运动的物理量。这些信号202被传送到处理装置203,用于将每个信号的物理量转换成发送到创建图形结构SGC的装置的运动参数204。通过使用参数204,装置SGC将会仿效动画对象O的可活动部件的结构层次来创建一个与图1所述结构O-SG具有相同类型的图形结构。此外所述装置SGC还传递那些将要发送给机器人R的主信号。
这种应用还可以包括用于获取由个人O传送的音频信号206的音频记录装置205。非常有利的是,信号206由包含在发送器E中的音频编码器AC进行编码,以便能够减少将要传送的音频数据量,其中举例来说,所述编码器可以是一个依照MP3标准的编码器。
信号PS和207将会传送到机器人R。为此目的,这些信号可以预先由装置TC依照多种传输协议来进行编码。其中举例来说,在借助分组并经由网络传送这些信号之前,这些信号可以由多路复用器插入到一个MPEG-2的传输流中。在经由无线网络发送之前,这些信号还可以由编码器依照DECT、BLUETOOTH、GPRS或UMTS传输协议来进行编码。
机器人R包含了用于提取依照一个或多个上述传输协议而被编码的信号PS和207的接收装置。
机器人R还包含了用于对音频信号207进行解码的音频解码器,其中举例来说,所述音频解码器可以是依照MP3标准的解码器。由此解码的音频信号由包含在机器人中的扬声器类型的音频再现装置播放。
为了对信号PS进行处理,机器人R包含了与图1所述的处理装置相同的处理装置。
非常有利的是,这个应用可以替换那些使用了屏幕的显示装置的视频会议类型的应用。这是因为远端人员是由机器人实际表示而不是在音频/视频显示器上显示的,由此可以再现远端人员的动作和语音信号。
本应用可以在远程学习环境中使用,在远程学习期间,对远离学生的老师来说,其运动是由一个在学生附近的机器人再现的。
本应用可以在远程外科手术环境中使用,以便再现远离病人的外科医生的动作,随后则由机器人来为病人做手术。
如果处于聋人附近的机器人再现了与聋人通信的通信者的手嘴的运动,那么也可以使用本应用而使聋人能与远端的通信者进行通信。
图3描述的是依照本发明的动画系统的第二应用。这个第二应用允许机器人R再现一个构成了多媒体场景301的场景元素的动画对象O的运动。
除了场景元素O之外,所述多媒体场景301还包括音频、文本或图形类型的场景元素或是与在本实例中一样的视频类型的场景元素302。较为有利的是,多媒体场景是依照MPEG-4标准而被编码的。因此,场景元素O和302的时间空间特性是由包含在依照MPEG-4 BIFS功能的语法编码的场景描述信号中的描述参数来进行描述的。
动画场景元素O的可活动部件与图1所述的部分是相同的,场景描述信号则构成了一个图形,所述图形的分层结构由图形SG表示。这个图形包含了用于描述元素302的时间空间特性的第一分层结构(在图3中并未详细描述这个特性),以及用于描述场景元素O的运动参数的第二分层结构。在一种与图1相同的方式中,场景元素O的每个可活动部件101~112的运动也是由一组参数集来进行描述的。
场景元素包含在一个与场景描述信号304相关联的多媒体数据信号303中。其中举例来说,这些信号是由电视节目供应商供应的。
依照本发明的动画系统包含了经由并未显示的接收装置来接收信号303和304的接收器305,其中举例来说,所述接收器可以是机顶盒(或接收盒)类型的接收器。并且举例来说,接收装置对应于一个解调器或解复用器。
接收器305包括提取装置306,所述装置从所述场景描述信号304中提取所述动画对象O的运动参数,并且生成一个包含所述运动参数的主信号。这种提取相当于定义了一个新的描述信号,在这个信号中只保持了动画场景元素O的层次图形结构,如图形R-SG所示。
接收器305包含了用于将所述主信号PS传送到机器人的传送装置307。这些传送装置307依照多种传输协议来对主信号进行编码。其中举例来说,所述主信号在网络上被逐分组地传送之前,可以由复用器将所述主信号插入到一个MPEG-2的传输流中。此外还可以在经由无线网络发送主信号之前由编码器依照DECT、BLUETOOTH、GPRS或UMTS传输协议来对所述主信号进行编码。其中举例来说,较为有利的是,在家庭应用环境中,接收器305将包含依照BLUETOOTH传输协议来传送信号PS的传送模块307。
接收器305还可以经由所述传送装置307而将一个音频类型的场景元素传送到机器人R。
此外机器人R还包含了与图1所述的处理装置相同的处理装置,以便对信号PS进行处理。
依照一个附加的特性,接收器305包含了用于根据多媒体数据信号303和场景描述信号304生成一个场景信号309的场景创作装置308,其中所述场景信号309的内容欲由电视接收器类型的视听装置310播放。
依照一个附加特性,机器人R包含了用于修改信号PS中包含的参数集的修改装置。这些修改装置可以将主信号中包含的参数集适应于机器人的能力。这样一来,如果机器人的能力不足以再现与运动参数相对应的运动,那么将会对所述运动参数进行修改甚至将其省略。举例来说,如果关联于可活动部件的参数集描述的是由一元矢量以及所述矢量的范数(norm)定义的平移并且机器人不能再现这种幅度的平移运动,那么运动参数将被初始化,以免机器人尝试再现这种运动,但是也可以减小一元矢量的范数,以使机器人能够部分地再现这种平移运动。
依照一个附加特性,所述机器人包括:
用于对外部音频信号进行识别以便产生语音参数的装置;
用于将所述语音参数与表征机器人的一个或多个可活动部件的运动的附加运动参数相匹配的匹配装置,其中所述生成装置根据所述附加运动参数来生成控制信号。
这个附加特征允许用户借助语音来影响机器人的可活动部件的运动。
依照一个附加特性,机器人包括将所述主信号重新传送到例如其他远端机器人或是需要主信号中包含的运动参数的设备的装置,在这种环境中,机器人R是像发送器终端那样工作的。
本发明是在依照MPEG-4 BIFS功能语法而对主信号进行编码,以便传送表征要由机器人可活动部件再现的运动的运动参数的情况下描述的。当然,其他任何能够描述构成音频/视频场景的动画对象的运动参数的编码语法也可以用于对这种主信号进行编码,而不会脱离本发明的范围。
本发明同样适用于传送那些包含了描述面部动画的运动参数集的主信号。本发明同样适用于传送那些包含了描述面部动画的运动参数集的主信号。在这种情况下,接收这种主信号的机器人具有一个面部,其中包含了用于再现这种动画的可活动部件。

Claims (10)

1.一种用于机器人的动画系统,包括:
a)一个发送器,包括:
用于创建一个主信号的装置,其中所述主信号包含了用于对动画对象的一组可活动部件的运动进行描述的参数集,所述参数集包括:
aa)用于将一可活动部件关联于关注着的参数集的标识参数,
bb)用于对所述关联于参数集的可活动部件的运动进行描述的运动参数,
用于传送所述主信号的传送装置,
b)一个机器人,包括:
用于接收所述主信号的接收装置,
能够按照控制信号运动的可活动部件,
用于对包含在接收到的主信号中的参数集连续处理的处理装置,其中所述处理装置包括:
aa)关联装置,该装置使用标识参数来将机器人的可活动部件关联于参数集,
bb)生成装置,该装置通过使用运动参数来向关联于参数集的可活动部件生成所述控制信号,以使所述相关联的可活动部件再现所述运动参数所表征的运动。
2.如权利要求1所述的系统,其中所述创建装置包括运动感测装置,用于生成表征所述动画对象的每个可活动部件的运动的运动参数。
3.如权利要求2所述的系统,还包括音频编码装置,用于对所述动画对象传送的音频信号进行编码,以便生成一个与所述主信号一起由所述传送装置传送的音频信号,其中所述机器人包含了用于解码和再现所述音频信号的装置。
4.一种用于机器人的动画系统,包括:
a)一个用于接收构成场景元素的多媒体数据信号的接收器,其中所述场景元素与一个场景描述信号相关联,该场景描述信号借助于描述参数来对所述场景元素进行描述,所述多媒体信号包含了一个包括一组可活动部件的动画场景元素,所述场景描述信号则包含了用于对所述可活动部件的运动进行描述的参数集,这个参数集包括:
aa)用于将一可活动部件关联于关注着的参数集的标识参数,
bb)用于描述所述关联于参数集的可活动部件的运动的运动参数,
所述接收器包括:
提取装置,用于从所述场景描述信号中提取所述动画对象的运动参数并且生成一个包含所述运动参数的主信号,
传送装置,用于将所述主信号传送给机器人;
b)一个机器人,包括:
用于接收所述主信号的接收装置;
能够按照控制信号运动的可活动部件,
用于对接收到的主信号中包含的参数集进行连续处理的处理装置,该处理装置包括:
aa)关联装置,用于使用标识信息来将机器人的可活动部件关联于参数集,
bb)生成装置,用于使用运动参数来向关联于参数集的可活动部件生成所述控制信号,以使所述相关联的可活动部件再现所述运动参数所表征的运动。
5.如权利要求4所述的系统,其中所述接收器包括场景创作装置,用于根据多媒体数据信号和场景描述信号生成一个场景信号,其中所述场景信号的内容欲由视听装置加以播放。
6.如权利要求5所述的系统,其特征在于,所述机器人包含了修改装置,用于对接收到的主信号中包含的参数集进行修改。
7.如权利要求3或6中任何一个权利要求所述的系统,其特征在于,所述机器人包括:
用于生成一个语音参数并适用外部音频信号的语音识别装置,
用于将所述语音参数与表征机器人的一个或多个可活动部件的运动的附加运动参数相匹配的匹配装置,其中所述生成装置根据所述附加运动参数生成控制信号。
8.如权利要求7所述的系统,其特征在于,所述机器人包含了用于重新传送所述主信号的装置。
9.一种机器人,包括:
接收装置,用于接收一个主信号,其中所述主信号包含了用于描述动画对象的一组可活动部件的运动的参数集,该参数集包括:
aa)用于将可活动部件关联于关注着的参数集的标识参数,
bb)用于对关联于参数集的可活动部件的运动进行描述的运动参数,
能够按照控制信号运动的可活动部件,
用于对接收到的主信号中包含的参数集连续处理的处理装置,所述处理装置包括:
aa)关联装置,用于使用标识参数而将机器人的可活动部件关联于参数集,
bb)生成装置,通过使用运动参数来向关联于参数集的可活动部件生成所述控制信号,以使所述相关联的可活动部件再现所述运动参数所表征的运动。
10.一种依照MPEG-4BIFS功能的编码语法加以编码的信号,用于控制机器人的可活动部件的运动,其中所述编码的信号包含参数集,所述参数集则包含了用于将可活动部件关联于关注着的参数集的标识参数以及对所要再现的所述可活动部件的运动进行描述的运动参数。
CNB038096714A 2002-04-30 2003-04-22 用于由一组可活动部件组成的机器人的动画系统 Expired - Fee Related CN100346940C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0205437A FR2839176A1 (fr) 2002-04-30 2002-04-30 Systeme d'animation pour robot comprenant un ensemble de pieces mobiles
FR0205437 2002-04-30

Publications (2)

Publication Number Publication Date
CN1649699A true CN1649699A (zh) 2005-08-03
CN100346940C CN100346940C (zh) 2007-11-07

Family

ID=28800072

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB038096714A Expired - Fee Related CN100346940C (zh) 2002-04-30 2003-04-22 用于由一组可活动部件组成的机器人的动画系统

Country Status (8)

Country Link
US (1) US7440819B2 (zh)
EP (1) EP1501659A1 (zh)
JP (1) JP2005523827A (zh)
KR (1) KR20040101570A (zh)
CN (1) CN100346940C (zh)
AU (1) AU2003216681A1 (zh)
FR (1) FR2839176A1 (zh)
WO (1) WO2003092967A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101989076A (zh) * 2010-08-24 2011-03-23 北京水晶石数字科技有限公司 一种三维软件控制拍摄的方法
CN102930536A (zh) * 2012-10-16 2013-02-13 深圳先进技术研究院 基于层次化结构的室内场景运动性分析与检测方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7752544B2 (en) * 2003-11-17 2010-07-06 International Business Machines Corporation Method, system, and apparatus for remote interactions
JP2007006352A (ja) * 2005-06-27 2007-01-11 Nippon Television Network Corp データ放送を利用した外部機器の制御システムと、それに用いられる装置及びプログラム
FR2890815B1 (fr) * 2005-09-14 2007-11-23 Streamezzo Sa Procede de transmission d'un contenu multimedia vers un terminal de radiocommunication, programme d'ordinateur, signal, terminal de radiocommunication et serveur de diffusion correspondants
US8467904B2 (en) * 2005-12-22 2013-06-18 Honda Motor Co., Ltd. Reconstruction, retargetting, tracking, and estimation of pose of articulated systems
US7859540B2 (en) 2005-12-22 2010-12-28 Honda Motor Co., Ltd. Reconstruction, retargetting, tracking, and estimation of motion for articulated systems
JP2007286976A (ja) * 2006-04-18 2007-11-01 Fanuc Ltd ロボットシミュレーション装置
US8924021B2 (en) * 2006-04-27 2014-12-30 Honda Motor Co., Ltd. Control of robots from human motion descriptors
US20090327509A1 (en) * 2006-08-10 2009-12-31 Joris Roussel Method for the diffusion of information in a distributed network
US20080215994A1 (en) * 2007-03-01 2008-09-04 Phil Harrison Virtual world avatar control, interactivity and communication interactive messaging
EP2227802A4 (en) * 2007-12-17 2012-04-25 Pixar METHOD AND DEVICE FOR DESIGNING ANIMATRONIC UNITS FROM COMPUTER-GENERATED JOINTFIGURES
US8390629B2 (en) * 2007-12-17 2013-03-05 Pixar Methods and apparatus for designing animatronics units from articulated computer generated characters
WO2009086088A1 (en) * 2007-12-21 2009-07-09 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
US8508537B2 (en) * 2008-11-17 2013-08-13 Disney Enterprises, Inc. System and method for dependency graph evaluation for animation
US8161137B2 (en) * 2009-01-16 2012-04-17 At&T Intellectual Property I., L.P. Environment delivery network
DE102009054112A1 (de) * 2009-11-20 2011-05-26 Kuka Roboter Gmbh Verfahren und Vorrichtung zur Planung und/oder Steuerung einer Roboterapplikation
JP5699648B2 (ja) * 2011-02-02 2015-04-15 富士通株式会社 動作制御方法、ロボット及びプログラム
US8464153B2 (en) * 2011-03-01 2013-06-11 Lucasfilm Entertainment Company Ltd. Copying an object in an animation creation application
US10866783B2 (en) * 2011-08-21 2020-12-15 Transenterix Europe S.A.R.L. Vocally activated surgical control system
EP2685403A3 (en) 2012-07-09 2017-03-01 Technion Research & Development Foundation Limited Natural machine interface system
US9904500B2 (en) * 2014-06-18 2018-02-27 David Milton Durlach Choreography of kinetic artwork via video
US9427868B1 (en) * 2015-02-24 2016-08-30 Disney Enterprises, Inc. Method for developing and controlling a robot to have movements matching an animation character
US20180117762A1 (en) * 2015-08-14 2018-05-03 Sphero, Inc. Data exchange system
US10427305B2 (en) * 2016-07-21 2019-10-01 Autodesk, Inc. Robotic camera control via motion capture
US10919152B1 (en) * 2017-05-30 2021-02-16 Nimble Robotics, Inc. Teleoperating of robots with tasks by mapping to human operator pose

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6337552B1 (en) * 1999-01-20 2002-01-08 Sony Corporation Robot apparatus
US3510210A (en) * 1967-12-15 1970-05-05 Xerox Corp Computer process character animation
US4631676A (en) * 1983-05-25 1986-12-23 Hospital For Joint Diseases Or Computerized video gait and motion analysis system and method
US5182557A (en) * 1989-09-20 1993-01-26 Semborg Recrob, Corp. Motorized joystick
US5586224A (en) * 1990-12-25 1996-12-17 Shukyohojin, Kongo Zen Sohonzan Shorinji Robot or numerical control programming method
JP2919284B2 (ja) * 1994-02-23 1999-07-12 松下電工株式会社 物体認識方法
US5602968A (en) * 1994-05-02 1997-02-11 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Task space angular velocity blending for real-time trajectory generation
US6144385A (en) * 1994-08-25 2000-11-07 Michael J. Girard Step-driven character animation derived from animation data without footstep information
JPH08221599A (ja) * 1995-02-15 1996-08-30 Matsushita Electric Ind Co Ltd 3次元の動き生成および解析方法
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
US6714841B1 (en) * 1995-09-15 2004-03-30 Computer Motion, Inc. Head cursor control interface for an automated endoscope system for optimal positioning
US5825982A (en) * 1995-09-15 1998-10-20 Wright; James Head cursor control interface for an automated endoscope system for optimal positioning
US5982389A (en) * 1996-06-17 1999-11-09 Microsoft Corporation Generating optimized motion transitions for computer animated objects
JP3841439B2 (ja) * 1996-07-24 2006-11-01 ファナック株式会社 ロボットのジョグ送り方法
JPH10133733A (ja) * 1996-10-31 1998-05-22 Kokoro:Kk アミューズメントロボットの動作教示方法及び動作教示装置
KR20010029494A (ko) * 1997-07-11 2001-04-06 요트.게.아. 롤페즈 시청각 데이터 디코딩 방법
FR2765983B1 (fr) * 1997-07-11 2004-12-03 France Telecom Signal de donnees de modification d'une scene graphique, procede et dispositif correspondants
FI116990B (fi) * 1997-10-20 2006-04-28 Nokia Oyj Menetelmä ja järjestelmä akustisen virtuaaliympäristön käsittelemiseksi
FR2776792B1 (fr) * 1998-03-27 2000-06-16 Univ Paris Curie Ensemble robotise a programmation simplifiee et procede de commande, support magnetique et programme informatique associes
US6157873A (en) * 1998-04-09 2000-12-05 Motoman, Inc. Robot programming system and method
JP2000050238A (ja) * 1998-07-27 2000-02-18 Matsushita Electric Ind Co Ltd 監視カメラ装置
US6246924B1 (en) * 1998-11-30 2001-06-12 Honda Of America Mfg., Inc. Apparatus and method for automatically realigning an end effector of an automated equipment to prevent a crash
JP4126126B2 (ja) * 1998-12-11 2008-07-30 株式会社日立製作所 送信システム、送信方法
US6944584B1 (en) * 1999-04-16 2005-09-13 Brooks Automation, Inc. System and method for control and simulation
JP2001096481A (ja) 1999-09-30 2001-04-10 Sony Corp 情報処理装置および方法、並びにプログラム格納媒体
JP3621020B2 (ja) * 1999-12-24 2005-02-16 日本電信電話株式会社 音楽反応型ロボットおよび発信装置
JP3538091B2 (ja) * 1999-11-30 2004-06-14 日本電信電話株式会社 ゼスチャー伝送装置
US6430472B1 (en) * 1999-12-20 2002-08-06 Servo-Robot Inc. Robot feature tracking devices and methods
JP2001191283A (ja) * 1999-12-31 2001-07-17 Sony Corp ロボット装置及びその制御方法
JP2001198868A (ja) * 2000-01-17 2001-07-24 Atr Media Integration & Communications Res Lab サイバー漫才用ロボットおよび支援装置
US6377281B1 (en) * 2000-02-17 2002-04-23 The Jim Henson Company Live performance control of computer graphic characters
JP4409035B2 (ja) * 2000-03-22 2010-02-03 本田技研工業株式会社 画像処理装置、特異箇所検出方法、及び特異箇所検出プログラムを記録した記録媒体
JP2002063505A (ja) * 2000-08-16 2002-02-28 Nippon Telegr & Teleph Corp <Ntt> 情報配信方法、情報配信センタ装置、情報配信端末装置及びキャラクタ人形
JP2002118828A (ja) * 2000-10-06 2002-04-19 Matsushita Electric Ind Co Ltd 動作端末およびその制御方法
JP2002319036A (ja) * 2001-02-13 2002-10-31 Sega Corp アニメーション生成プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101989076A (zh) * 2010-08-24 2011-03-23 北京水晶石数字科技有限公司 一种三维软件控制拍摄的方法
CN102930536A (zh) * 2012-10-16 2013-02-13 深圳先进技术研究院 基于层次化结构的室内场景运动性分析与检测方法

Also Published As

Publication number Publication date
US7440819B2 (en) 2008-10-21
KR20040101570A (ko) 2004-12-02
US20050177276A1 (en) 2005-08-11
JP2005523827A (ja) 2005-08-11
AU2003216681A1 (en) 2003-11-17
EP1501659A1 (en) 2005-02-02
FR2839176A1 (fr) 2003-10-31
WO2003092967A1 (en) 2003-11-13
CN100346940C (zh) 2007-11-07

Similar Documents

Publication Publication Date Title
CN100346940C (zh) 用于由一组可活动部件组成的机器人的动画系统
JP6630798B2 (ja) 触覚データを符号化及びストリーミングする方法及びシステム
CN1271573C (zh) 后期同步信息流
RU2721410C2 (ru) Способ и устройство для обеспечения осязательной обратной связи и интерактивности на основе осязательного пространства (hapspace) пользователя
CN1310517C (zh) 发送和接收表示3-维虚拟空间的数据流的装置和方法
US8717359B2 (en) Script control for camera positioning in a scene generated by a computer rendering engine
Abrantes et al. MPEG-4 facial animation technology: Survey, implementation, and results
CN1129276C (zh) 用于带有异种客户机的客户机服务器系统的方法和装置
CN1537300A (zh) 通信系统
JP4725936B1 (ja) 入力支援装置、入力支援方法及びプログラム
CN107197385A (zh) 一种实时虚拟偶像直播方法及系统
CN1738438A (zh) 使静止图像与运动图像流同步的方法
JPH05153581A (ja) 顔画像符号化方式
US20080255702A1 (en) Robotic system and method for controlling the same
CN1260685C (zh) 发送和/或接收流数据的装置及其方法
US20230044961A1 (en) Automated haptics generation and distribution
CN1875634A (zh) 编码视频信号的方法
TW202304216A (zh) 經由5g網路對擴展現實資料的分離渲染
Capin et al. Controlling and efficient coding of mpeg-4 compliant avatars
CN1263670A (zh) 图形场景动画信号,相应的方法和装置
CN1205819C (zh) 用于从各种数据中合成视频景像的方法
KR20200066063A (ko) 로봇 피규어 시스템
Preteux et al. Animated characters within the MPEG-4 standard
TW202403508A (zh) 編碼/解碼觸覺資料的方法及設備
Wang et al. A feedback system for graphics video coding and networking

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20071107

Termination date: 20100422