CN111515959B - 一种可编程木偶表演机器人控制方法、系统及机器人 - Google Patents
一种可编程木偶表演机器人控制方法、系统及机器人 Download PDFInfo
- Publication number
- CN111515959B CN111515959B CN202010423949.8A CN202010423949A CN111515959B CN 111515959 B CN111515959 B CN 111515959B CN 202010423949 A CN202010423949 A CN 202010423949A CN 111515959 B CN111515959 B CN 111515959B
- Authority
- CN
- China
- Prior art keywords
- point
- action
- corresponds
- robot
- performance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000009471 action Effects 0.000 claims abstract description 132
- 230000000875 corresponding effect Effects 0.000 claims abstract description 19
- 238000004088 simulation Methods 0.000 claims abstract description 12
- 230000033001 locomotion Effects 0.000 claims description 24
- 210000000988 bone and bone Anatomy 0.000 claims description 14
- 210000000707 wrist Anatomy 0.000 claims description 12
- 230000001276 controlling effect Effects 0.000 claims description 9
- 210000003127 knee Anatomy 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 210000003423 ankle Anatomy 0.000 claims description 6
- 210000000454 fifth toe Anatomy 0.000 claims description 6
- 210000001255 hallux Anatomy 0.000 claims description 6
- 210000001217 buttock Anatomy 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000009417 prefabrication Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 230000003631 expected effect Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000003993 interaction Effects 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims 1
- 230000000007 visual effect Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000004075 alteration Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/003—Manipulators for entertainment
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1679—Programme controls characterised by the tasks executed
- B25J9/1689—Teleoperation
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Manipulator (AREA)
Abstract
本发明提供了一种可编程木偶表演机器人、可编程木偶表演机器人控制系统、一种机器人动作模拟方法，方法包括：用户添加元表演动作进队列；可编程系统将队列组合，并发送至机器人控制系统；机器人控制系统根据接收到的队列，从元动作库中获取相应的动作指令；系统将动作指令发送至木偶表演机器人；木偶表演机器人根据获得的指令进行相应的动作表演。通过此方法控制的木偶表演机器人，操作十分简洁，即使是没有编程经验的用户也可以十分轻松地让机器人表演所期望的动作。
Description
技术领域
本发明涉及信息技术领域，尤其涉及一种可编程木偶表演机器人控制方法、系统及机器人。
背景技术
机器人是集电子、机械、控制、人工智能等多学科先进技术于一体的自动化装备。机器人自诞生后，经过近60年的高速发展，已被防范用于各个领域，如装备制造、生物医药、智慧新能源等高新产业。同时，有一部分机器人也走进了人们的家中。但是目前大部分的家用可编程机器人所提供的功能中，并无自定义动作的表演。
千年来，泉州地区的提线木偶戏也早已成为极具当地特色的优秀传统文化遗产，但是其传承却面临后继无人的窘境。在传统木偶表演中，新剧本的产生需要设计合适的木偶角色及其根据剧情和人物性格设计动作，艺人往往需要不断调试操控不同部位的线来设计动作，同时也是为了确定哪些部位的线是可以留下来，哪些是可以去除。传统的木偶表演由于人力的限制很难做出复杂的动作。使用木偶表演机器人进行木偶动作的模拟和控制使得传统木偶表演有了新的突破，但面临如何精确和高效控制木偶表演机器人进行动作的问题。
发明内容
本发明为了解决现有问题，提出了一种家用机器人控制方法、系统及机器人。可以提高木偶表演机器人的精确度和效率。
为了解决上述问题，本发明所采用的技术方案如下所述：
一种可编程木偶表演机器人控制方法，该方法包括如下步骤：
S1：用户添加元表演动作进队列；
S2：可编程系统将队列发送至机器人控制系统；
S3：机器人控制系统根据接收到的队列，从元动作库中获取相应的动作指令，动作指令包含着控制木偶的机器人的每个关节的位置信息，从而保证机器人可以根据正确的位置信息来移动关节，从而对木偶进行操纵，使木偶进行相应的动作表演；
S4：系统将动作指令发送至木偶表演机器人；
S5：木偶表演机器人根据获得的指令进行相应的动作表演，表演时机器人各个关节按照接收到的动作指令队列进行移动操作，从而操作提线，进而保证木偶表演的准确性，使其表演达到预期效果。
可选的，还包括如下步骤：S6：可编程系统可以提供预制的动作队列，并将其发送至机器人控制系统。
本发明还提供了一种可编程木偶表演机器人可编程系统，其特征在于，系统包括：
用户交互界面模块，用于接收用户的指令输入；
自定义动作顺序模块，用于帮助没有编程经验的用户快速自定义表演动作；
自定义动作预览模块，用于帮助用户预览已编好的动作序列；
自定义动作保存模块，用于进行用户自定义的动作表演；
清空模块，用于清空当前自定义动作队列；
预制动作模块，用于根据系统预制动作进行表演；
语音识别模块，以接收用户的语音指令，并做出相应处理；
动作模仿模块，使机器人可以模仿用户的动作。
本发明还提供了一种可编程木偶表演机器人，包括：高清照相机，用于拍摄多帧图像；
电源转换单元，用于将电池电压或者电线电压转变成适合机器人工作的稳定电压；
通讯单元，包括WIFI模块和无线控制模块，用于接收指令信息或者发送多帧图像信息；
存储单元，用于存储计算机程序；
控制单元，用于控制机器人各个关节的活动，从而控制提线木偶进行表演，计算机程序被控制单元执行时实现本申请实施例描述的方法。
附图说明
图1是本发明中可编程机器人基本控制方法流程图；
图2是本发明中使用系统预设动作的方法流程图；
图3是本发明中控制系统界面示意图；
图4是本发明中使用系统预设动作的界面示意图；
图5是本发明中动作模拟方法中骨骼点位置示意图；
图6是本发明中动作模拟方法流程图；
图7是本发明中木偶表演机器人表演示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
为了达到以上目的，如图1所示，本发明提供了一种家用小型木偶表演机器人的控制方法，该方法包括：
S11:用户添加元表演动作进队列,具体可以为：
用户可以选择可视化编程或者是编程语言编程。以下说明如无特殊情况，均视为用户在可视化编程界面进行操作，界面详见图3。用户可以自由选择添加新的元动作进队列，同时也可以对队列中已存在的动作进行修改、删除以及清空等操作。在操作时，若不点击保存按钮，则视为用户仍未结束操作，因此不会将动作队列发送至控制系统。如果用户点击了保存按钮，则进行S12步骤。
S12：可编程系统将队列发送至机器人控制系统，具体可以为：
若用户使用可视化编程界面，并且点击保存按钮后，执行本步骤。若用户使用编程语言编程，则会根据所编写的代码中是否有Save_Act_Que方法来进行判断。若有，则视为有效编程，用户编译后，执行本步骤；若没有，则不会进行本步骤的操作。
S13：机器人控制系统根据接收到的队列，从元动作库中获取相应的动作指令。其中动作指令包含着控制木偶的机器人的每个关节的位置信息，从而保证机器人可以根据正确的位置信息来移动关节，从而对木偶进行操纵，使木偶进行相应的动作表演。
S14：系统将动作指令发送至木偶表演机器人；
S15：木偶表演机器人根据获得的指令进行相应的动作表演。具体可以为：
表演时，机器人各个关节严格按照接收到的动作指令队列进行移动操作，从而操作提线，进而保证木偶表演的准确性，使其表演达到预期效果。
本发明所提供的另一种方法，即使用系统预制动作的木偶表演机器人控制方法，如图2。理当理解，除第一步操作外，其与前述方法类似，具体可以为：
S21：用户选择可编程系统提供的预制的动作队列，具体可以为：
用户选择点击预制动作按钮后，进入预制动作选择界面，界面详见图4。用户可以选择已经由系统预先设置好的动作队列使木偶表演机器人进行相应的表演。如果用户点击了预制动作，并且选择确定后，视为有效操作，系统会进行下一步骤，同时并不会影响用户按照前述方法所选择的动作队列。如果用户选择编程语言编程，系统会根据用户是否使用Pre_Action(num)方法来判断，其中num为系统预制动作的编号。
S22：可编程系统将队列发送至机器人控制系统；
S23：机器人控制系统根据接收到的队列，从元动作库中获取相应的动作指令；
S24：系统将动作指令发送至木偶表演机器人；
S25：木偶表演机器人根据获得的指令进行相应的动作表演。
为了达到上述目标，本发明还提供了一种可编程木偶表演机器人，包括机器人主体和被控制的提线木偶，具体可以为：
机器人主体包括：
高清照相机，用于拍摄多帧图像；
电源转换单元，用于将电池电压或者电线电压转变成适合机器人工作的稳定电压；
通讯单元，包括WIFI模块和无线控制模块，用于接收指令信息或者发送多帧图像信息；
存储单元，用于存储计算机程序；
控制单元，用于控制机器人各个关节的活动，从而控制提线木偶进行表演，计算机程序被控制单元执行时实现本申请实施例描述的方法。
为了实现上述目的，本发明还提供了一种可编程木偶表演机器人可编程系统，理当理解，可视化界面可以帮助没有编程经验的用户快速上手，进行本木偶表演机器人的控制；而编程语言编程方法的设计是为了帮助想进一步了解本系统的用户而设计的。这两种方法所使用的功能并无差异，仅在使用方式上存在不同。本系统具体包括：
自定义动作顺序模块，以帮助没有编程经验的用户快速自定义表演动作；
自定义动作预览模块，以帮助用户预览已编好的动作队列。具体可以为：
如图3可见，系统提供了动作队列预览区域，用户可以先通过本系统查看已经编排好的动作队列，使用此模块时，系统不会进行到下一步操作，即S12。
自定义动作保存模块。理当理解，使用此模块后，系统则会进行到下一步操作，即S12。
清空模块，以清空当前自定义动作队列；
预制动作模块，使机器人根据系统预制动作进行表演，理当理解，此模块所采用的方法，前面已经详细介绍过，此处不做赘述。
语音识别模块，以接收用户的语音指令，并做出相应处理；
动作模仿模块，使机器人可以模仿用户的动作，需要注意的是，由于元动作库的限制，木偶表演机器人所能模仿的动作需为元动作库中已存在的动作，如果用户表现出的动作无法被识别到，则机器人的表演会跳过该动作。
还包含动作调整模块，用于根据木偶表演剧本的人物角色设定调整木偶表演机器人的动作风格，模块具体包括：
角色子模块，用于读入木偶表演机器人的角色设定数据，角色动作幅度L设定为1到5级别，分别为L1,L2,L3,L4,L5,级别越高做出动作时幅度越大；
计算子模块，用于获取木偶表演机器人除点8臀部中央以外其他23个骨骼点与点8臀部中央的距离Dn，其中0<n<24，n代表24个骨骼点；
调整子模块，用于根据如下公式计算木偶表演机器人进行表演时的动作幅度θ＝α*L+β*Dn，其中α和β为调整系数，木偶表演机器人进行木偶剧表演时根据角色设定使用动作幅度θ对表演动作做出调整，以使得木偶表演机器人更符合角色要求。
为了解决动作模仿的问题，其流程图如图5所示，动作模拟过程具体可以为：
S31:摄像头捕获多帧图像，并将图像发送至控制系统；
S32:系统对接收到的图像进行判断，筛选出其中的关键帧，并且丢弃非关键帧；
S33:系统识别出图像关键帧中的骨骼点，其中，各个骨骼点对应的位置信息如图6所示，理当理解，由于被识别人员正对摄像头，故识别到的骨骼点左右应相反，因此其具体对应关系为：点0对应鼻子；点1对应脖子；点2对应右肩；点3对应右手肘；点4对应右手腕；点5对应左肩；点6对应左手肘；点7对应左手腕；点8对应臀部中央；点9对应右髋；点10对应右膝；点11对应右脚踝；点12对应左髋；点13对应左膝；点14对应左脚踝；点15对应右眼；点16对应左眼；点17对应右耳；点18对应左耳；点19对应左脚大拇趾；点20对应左小趾；点21对应左足跟；点22对应右脚大拇趾；点23对应右小趾；点24对应右足跟。需要注意的是，在识别时，由于局限于硬件设备，往往不需要检测全部的骨骼点，只需要检测其中相对重要，并且能够满足识别需要的骨骼点即可。
S34:系统根据骨骼点的绝对位置坐标，判断出与元动作库中最为相似的动作。判断时，使用各个骨骼点之间的相对距离和连线所成的夹角度数范围来进行识别，所有角度默认都为0°到180°之间，当被识别人员在保持直立时，其髋-膝-脚踝以膝为顶点所成的夹角为180°，而蹲下的动作，其夹角为20°到40°之间。而在两个动作的关键检测角度相似的地方，可以加入其他的限制条件。像是分辨举手动作和大臂伸直，小臂自然下垂动作时(这里便于说明，举手动作与本动作中手腕-手肘-肩的角度均视为90°)，可以添加约束条件，当手腕骨骼点位置高于手肘时，判定为举手动作；当手腕骨骼点低于手肘时，判定为小臂自然下垂的动作。在判定其他复杂动作时，亦是将复杂动作拆分为没有歧义的几个简单动作的集合，从而达到准确识别的效果。
S35:系统将识别出的动作队列进行输出到机器人；
S36:木偶机器人根据获得的队列进行动作表演。S35与S36两步可以参考S14和S15，此处不做赘述。
图7所示的表演形式是木偶表演机器人的一种动作方式。
为了实现上述目标，本发明还提供了一种元动作库，所述动作库存放木偶表演机器人进行表演所需要的动作信息。具体包括木偶表演机器人的机器人主体各个关节在空间中的移动信息。其在空间中的坐标移动信息可以由IK逆运动学算法计算得出。
还可以根据木偶表演剧本的人物角色设定调整木偶表演机器人的动作风格，具体如下：
读入木偶表演机器人的角色设定数据，角色动作幅度L设定为1到5级别，分别为L1,L2,L3,L4,L5,级别越高做出动作时幅度越大；
获取木偶表演机器人除点8臀部中央以外其他23个骨骼点与点8臀部中央的距离Dn，其中0<n<24，n代表24个骨骼点；
根据如下公式计算木偶表演机器人进行表演时的动作幅度θ＝α*L+β*Dn，其中α和β为调整系数；
木偶表演机器人进行木偶剧表演时根据角色设定使用动作幅度θ对表演动作做出调整，以使得木偶表演机器人更符合角色要求。
最后，需要说明的是：以上所述仅为本申请技术方案的较佳实施例而已，并非用于限定本申请的保护范围。显然，本领域技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(ProgrammableGate Array；以下简称：PGA)，现场可编程门阵列(Field ProgrammableGate Array；以下简称：FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (6)
1.一种可编程木偶表演机器人控制方法，其特征在于，包括：
S1：用户添加元表演动作进队列；
S2：可编程系统将队列发送至机器人控制系统；
S3：机器人控制系统根据接收到的队列，从元动作库中获取相应的动作指令，动作指令包含着控制木偶的机器人的每个关节的位置信息，从而保证机器人可以根据正确的位置信息来移动关节，从而对木偶进行操纵，使木偶进行相应的动作表演；
S4：系统将动作指令发送至木偶表演机器人；
S5：木偶表演机器人根据获得的指令进行相应的动作表演，表演时机器人各个关节按照接收到的动作指令队列进行移动操作，从而操作提线，进而保证木偶表演的准确性，使其表演达到预期效果；
控制可编程木偶表演机器人进行动作模拟，具体步骤包括：
摄像头捕获多帧图像，并将图像发送至控制系统；
系统对接收到的图像进行判断，筛选出其中的关键帧，并且丢弃非关键帧；
系统识别出图像关键帧中的骨骼点；
系统根据骨骼点的绝对位置坐标，判断出与元动作库中最为相似的动作；
系统将识别出的动作队列进行输出到机器人；
木偶机器人根据获得的队列进行动作表演；
系统识别出图像关键帧中的骨骼点具体包括：被识别人员正对摄像头，识别到的骨骼点左右应相反，通过24个骨骼点进行动作模拟，其中，点0对应鼻子；点1对应脖子，点2对应右肩，点3对应右手肘，点4对应右手腕，点5对应左肩，点6对应左手肘，点7对应左手腕，点8对应臀部中央，点9对应右髋，点10对应右膝，点11对应右脚踝，点12对应左髋，点13对应左膝，点14对应左脚踝，点15对应右眼，点16对应左眼，点17对应右耳，点18对应左耳，点19对应左脚大拇趾，点20对应左小趾，点21对应左足跟，点22对应右脚大拇趾，点23对应右小趾，点24对应右足跟，根据动作复杂度，检测满足识别需要的骨骼点即可；
根据木偶表演剧本的人物角色设定调整木偶表演机器人的动作风格，具体如下：
读入木偶表演机器人的角色设定数据，角色动作幅度L设定为1到5级别，分别为L1,L2,L3,L4,L5,级别越高做出动作时幅度越大；
获取木偶表演机器人除点8臀部中央以外其他23个骨骼点与点8臀部中央的距离Dn，其中0<n<24，n代表24个骨骼点；
根据如下公式计算木偶表演机器人进行表演时的动作幅度θ＝α*L+β*Dn，其中α和β为调整系数；
木偶表演机器人进行木偶剧表演时根据角色设定使用动作幅度θ对表演动作做出调整，以使得木偶表演机器人更符合角色要求。
2.根据权利要求1所述的方法，其特征在于，S6：可编程系统可以提供预制的动作队列，并将其发送至机器人控制系统。
3.根据权利要求1所述的方法，其特征在于，系统根据骨骼点的绝对位置坐标，判断出与元动作库中最为相似的动作包括：使用各个骨骼点之间的相对距离和连线所成的夹角度数范围来进行识别，所有角度默认都为0°到180°之间，当被识别人员在保持直立时，其髋-膝-脚踝以膝为顶点所成的夹角为180°，而蹲下的动作，其夹角为20°到40°之间，当手腕骨骼点位置高于手肘时，判定为举手动作，当手腕骨骼点低于手肘时，判定为小臂自然下垂的动作，在判定复杂动作时将复杂动作拆分为没有歧义的几个简单动作的集合，从而达到准确识别的效果。
4.一种可编程木偶表演机器人可编程系统，其特征在于，系统包括：
用户交互界面模块，用于接收用户的指令输入；
自定义动作顺序模块，用于帮助没有编程经验的用户快速自定义表演动作；
自定义动作预览模块，用于帮助用户预览已编好的动作序列；
自定义动作保存模块，用于保存用户自定义的动作表演；
清空模块，用于清空当前自定义动作队列；
预制动作模块，用于根据系统预制动作进行表演；
语音识别模块，以接收用户的语音指令，并做出相应处理；
动作模仿模块，使机器人可以模仿用户的动作；
动作模仿模块包括：
捕获子模块，用于摄像头捕获多帧图像，并将图像发送至控制系统；
判断子模块，用于系统对接收到的图像进行判断，筛选出其中的关键帧，并且丢弃非关键帧；
识别子模块，用于系统识别出图像关键帧中的骨骼点；
匹配子模块，用于系统根据骨骼点的绝对位置坐标，判断出与元动作库中最为相似的动作；
输出子模块，用于系统将识别出的动作队列进行输出到机器人；
表演子模块，用于木偶机器人根据获得的队列进行动作表演；
识别子模块还包括：被识别人员正对摄像头，识别到的骨骼点左右应相反，通过24个骨骼点进行动作模拟，其中，点0对应鼻子；点1对应脖子，点2对应右肩，点3对应右手肘，点4对应右手腕，点5对应左肩，点6对应左手肘，点7对应左手腕，点8对应臀部中央，点9对应右髋，点10对应右膝，点11对应右脚踝，点12对应左髋，点13对应左膝，点14对应左脚踝，点15对应右眼，点16对应左眼，点17对应右耳，点18对应左耳，点19对应左脚大拇趾，点20对应左小趾，点21对应左足跟，点22对应右脚大拇趾，点23对应右小趾，点24对应右足跟，根据动作复杂度，检测满足识别需要的骨骼点即可；
还包含动作调整模块，用于根据木偶表演剧本的人物角色设定调整木偶表演机器人的动作风格，模块具体包括：
角色子模块，用于读入木偶表演机器人的角色设定数据，角色动作幅度L设定为1到5级别，分别为L1,L2,L3,L4,L5,级别越高做出动作时幅度越大；
计算子模块，用于获取木偶表演机器人除点8臀部中央以外其他23个骨骼点与点8臀部中央的距离Dn，其中0<n<24，n代表24个骨骼点；
调整子模块，用于根据如下公式计算木偶表演机器人进行表演时的动作幅度θ＝α*L+β*Dn，其中α和β为调整系数，木偶表演机器人进行木偶剧表演时根据角色设定使用动作幅度θ对表演动作做出调整，以使得木偶表演机器人更符合角色要求。
5.根据权利要求4所述的系统，其特征在于，匹配子模块还包括：使用各个骨骼点之间的相对距离和连线所成的夹角度数范围来进行识别，所有角度默认都为0°到180°之间，当被识别人员在保持直立时，其髋-膝-脚踝以膝为顶点所成的夹角为180°，而蹲下的动作，其夹角为20°到40°之间，当手腕骨骼点位置高于手肘时，判定为举手动作，当手腕骨骼点低于手肘时，判定为小臂自然下垂的动作，在判定复杂动作时将复杂动作拆分为没有歧义的几个简单动作的集合，从而达到准确识别的效果。
6.一种可编程木偶表演机器人，其特征在于，包括：
高清照相机，用于拍摄多帧图像；
电源转换单元，用于将电池电压或者电线电压转变成适合机器人工作的稳定电压；
通讯单元，包括WIFI模块和无线控制模块，用于接收指令信息或者发送多帧图像信息；
存储单元，用于存储计算机程序；
控制单元，用于控制机器人各个关节的活动，从而控制提线木偶进行表演，计算机程序被控制单元执行时实现如权利要求1-3中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010423949.8A CN111515959B (zh) | 2020-05-19 | 2020-05-19 | 一种可编程木偶表演机器人控制方法、系统及机器人 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010423949.8A CN111515959B (zh) | 2020-05-19 | 2020-05-19 | 一种可编程木偶表演机器人控制方法、系统及机器人 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111515959A CN111515959A (zh) | 2020-08-11 |
| CN111515959B true CN111515959B (zh) | 2021-11-23 |
Family
ID=71912720
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010423949.8A Expired - Fee Related CN111515959B (zh) | 2020-05-19 | 2020-05-19 | 一种可编程木偶表演机器人控制方法、系统及机器人 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111515959B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114378823B (zh) * | 2022-01-20 | 2023-12-15 | 深圳市优必选科技股份有限公司 | 一种机器人动作控制方法、装置、可读存储介质及机器人 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100077286A (ko) * | 2008-12-29 | 2010-07-08 | 숭실대학교산학협력단 | 인형극용 인형 제어장치 |
| CN102580327A (zh) * | 2012-03-27 | 2012-07-18 | 付少锋 | 智能机器人皮影戏表演的编辑与控制方法 |
| CN103425136A (zh) * | 2012-05-23 | 2013-12-04 | 西安宣仁电子科技有限责任公司 | 智能交互式机器人皮影表演的控制方法 |
| CN109333544A (zh) * | 2018-09-11 | 2019-02-15 | 厦门大学 | 一种观众参与的提线木偶表演的人偶交互方法 |
| CN110694286A (zh) * | 2019-11-05 | 2020-01-17 | 厦门大学 | 一种使用机械臂模拟掌中木偶表演的方法 |
| CN111002292A (zh) * | 2019-12-11 | 2020-04-14 | 南京邮电大学 | 基于相似性度量的机械臂仿人运动示教方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10366499B2 (en) * | 2016-09-23 | 2019-07-30 | Robotis Co., Ltd. | Device, method, and computer-readable recording medium for editing and playing robot motion |
-
2020
- 2020-05-19 CN CN202010423949.8A patent/CN111515959B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100077286A (ko) * | 2008-12-29 | 2010-07-08 | 숭실대학교산학협력단 | 인형극용 인형 제어장치 |
| CN102580327A (zh) * | 2012-03-27 | 2012-07-18 | 付少锋 | 智能机器人皮影戏表演的编辑与控制方法 |
| CN103425136A (zh) * | 2012-05-23 | 2013-12-04 | 西安宣仁电子科技有限责任公司 | 智能交互式机器人皮影表演的控制方法 |
| CN109333544A (zh) * | 2018-09-11 | 2019-02-15 | 厦门大学 | 一种观众参与的提线木偶表演的人偶交互方法 |
| CN110694286A (zh) * | 2019-11-05 | 2020-01-17 | 厦门大学 | 一种使用机械臂模拟掌中木偶表演的方法 |
| CN111002292A (zh) * | 2019-12-11 | 2020-04-14 | 南京邮电大学 | 基于相似性度量的机械臂仿人运动示教方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111515959A (zh) | 2020-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110930483B (zh) | 一种角色控制的方法、模型训练的方法以及相关装置 | |
| CN111260764B (zh) | 一种制作动画的方法、装置及存储介质 | |
| Liu et al. | Aggregated multi-gans for controlled 3d human motion prediction | |
| JP2022518970A (ja) | 異種のターゲットアニメーションデータを使用してキャラクタをトレーニングする強化学習 | |
| WO2022143178A1 (zh) | 一种运动重定向方法、装置、电子设备及存储介质 | |
| CN107833271A (zh) | 一种基于Kinect的骨骼重定向方法及装置 | |
| KR20220025023A (ko) | 애니메이션 처리 방법 및 장치, 컴퓨터 저장 매체 그리고 전자 디바이스 | |
| CN111223168B (zh) | 目标对象控制方法、装置、存储介质和计算机设备 | |
| CN110189397A (zh) | 一种图像处理方法及装置、计算机设备和存储介质 | |
| CN111724459A (zh) | 一种面向异构人体骨骼的运动重定向的方法及系统 | |
| WO2024027661A1 (zh) | 数字人驱动方法、装置、设备及存储介质 | |
| CN111515959B (zh) | 一种可编程木偶表演机器人控制方法、系统及机器人 | |
| CN115331265A (zh) | 姿态检测模型的训练方法和数字人的驱动方法、装置 | |
| Maiocchi et al. | Directing an animated scene with autonomous actors | |
| CN113989928A (zh) | 一种动作捕捉和重定向方法 | |
| Dang et al. | Imitation learning-based algorithm for drone cinematography system | |
| Fang et al. | Hand pose estimation on hybrid CNN-AE model | |
| Kovar | Automated methods for data-driven synthesis of realistic and controllable human motion | |
| JP6059614B2 (ja) | 仕草生成装置、仕草生成システム、仕草生成方法およびコンピュータプログラム | |
| CN115617429A (zh) | 一种数据处理方法及相关设备 | |
| JP5210401B2 (ja) | 用例に基づく効率的なモーションデータベースのスタイリング | |
| Ren et al. | Diverse motion in-betweening with dual posture stitching | |
| Kim et al. | Keyframe-based multi-contact motion synthesis | |
| WO2024060833A1 (zh) | 一种图像处理方法 | |
| Cong et al. | LaserHuman: Language-guided Scene-aware Human Motion Generation in Free Environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211123 |