CN104914992A - 一种人机互动的控制方法 - Google Patents

Abstract

本发明提供了一种人机互动的控制方法，它包括以下步骤：1）在虚拟环境中建立第一自我角色，通过摄像头捕捉用户动作以控制第一自我角色与用户动作保持一致；在第一自我角色上记录i个或以上的点位置变化，至少包括：C1、C2、…Ci…Cm;m=i；2）在虚拟环境中建立第二自我角色，并在第二自我角色身上标注i个或以上的点，至少包括：B1、B2、…Bi…Bn；n=i；使C1、C2、…Ci分别与B1、B2、…Bi一一对应；3）使B1、B2、…Bi随C1、C2、…Ci同步发生位置变化，且B1、B2、…Bi的位置变化值分别系C1、C2、…Ci位置变化值的X1、X2、…Xi倍，继而实现使第二自我角色同步放大执行第一自我角色的动作。

Description

一种人机互动的控制方法

技术领域

本发明涉及一种可使人机互动的仿生虚拟世界的控制方法。

背景技术

现有技术中已给出了可人机互动的仿生虚拟世界的多种控制方法及其设备，但均存在一缺陷：需要用户运动空间大，且运动存在局限性，如：当用户已移动到墙壁，但游戏自我角色下一动作还需要用户向墙壁的背向前进，就会使用户“撞墙”且无法继续实施上述控制。而现有技术为了避免这种情况，一般采用如下方法：

1）缩小自我角色的活动空间（注意，这里说的是自我角色而非用户），以使用户控制过程中不用移动或尽量减小活动，但这样的方法使游戏的可玩性大大降低，其运用价值也非常有限。

2）限定自我角色所在环境，如:申请号为201110065915的《仿生学运动》。

3）限定自我角色活动形式，如仅只能在指定路线内驾驶汽车等移动工具；该形式的目的在于避免，“虚拟角色通过肢体发生位移时，用户在现实空间中也需要发生位移”。

4）利用空载控制台，如：跑步机等方案，使用户至在同个位置移动，但也存在着：用户需要持续体能消耗，因此很难长时间持续进行人机互动；另外这样的控制台“空载”的路径非常有限，如用户只能在跑步机传送带上的同一方向跑动，而无法朝任意方向活动，用户也很难随心运动。

现有技术除了无法实现自我角色如现实般可充分进行自由活动外，还存在机械控件多、成本高，而且携带不便等问题。

发明内容

本发明的目的是提供一种不必为保证自我角色和用户的配合，而对虚拟世界进行空间、环境、人机互动形式等进行限制的人机互动方法及设备；或不必为保证自我角色如现实般可充分进行自由活动，而对虚拟世界进行空间限制、环境限制、人机互动形式等进行限制的人机互动方法。

为了便于理解本发明，特对所涉及的各术语进行如下名词解释。

（一）自我角色：指在虚拟世界中，可被用户操控的，并被用户认为是自己的虚拟角色，可是人类或任意活动物方。

（二）活动部位：在某些情况下，用户并非全部部位的活动都可以控制我自我角色相应部位的活动，尤其当自我角色为非人类时，并没有用户身上的某些部位，因此本发明所指的“活动部位”是指用户身体上的部位，该部位对应于自我角色可被控制的部位。另一方面，当自我角色的活动部位数多于用户实际的活动部位数时，则采用本发明介绍的其他方法；另外 本文所称的活动部位也可指活动关节，所述活动关节并非仅限于骨架连接处，它泛指人体上可活动的任何部位，如整个上臂上的任一点或点组合。

特别指出为确保实现本发明目的的前提下，使用户在操控过程中，不离开操控台的方法主要包括：

1、至少考虑两个或以上不同部位的命令发出顺序，即 当多个活动部位的符合发出动作指令时，尤其考虑1个或1个以上部位的命令发出。

（四）最大幅度原则：根据专利号为“201110458168.3”的《一种人机互动的控制方法及其运用》记载，在人机互动过程中，存在用户发出比自己期望幅度值小的动作，且该动可让自我角色发出与用户期望值相同幅度的动作，在此基础上，我们定议所述最大幅度原则：先规定一动作幅度上限为Mm，且使Mm小于用户的运动极限； 就该动作规定自我角色对应的虚拟动作幅度上限为Nm（一般情况下，使Nm≥用户的运动极限）,且Nm>Mm;设在t时间点上用户执行该动作的幅度为Mt,对应自我角色的虚拟动作幅度为Nt,则满足：当Mt≥M时Nt＝N、当Mt<M时N>Nt>Mt；当系统通过上述规则放大用户动作的，称被依上述规则放大的用户动作为微动作。

如先规定：用户手臂抬起５度时，自我角色则完全抬起手臂，当用户抬手臂的角度大于５度，自我角色均完全抬起手臂，这里，我们称５度为用户执行抬手臂的最大幅度，显然用户手臂不仅可以抬５度；再规定：用户期望将手抬高30度，而实际上只抬高1度的动作；所述微动作一般表现如：手臂微动、脚微曲，另外应针对不同部位规定幅度上限（即 不同部位的幅度上限有所不同），再者 优选使相应部位相对于默认位置的位移上限小于10cm。

动作放大：为了力求用户的真实感受，及在互动过程的同步需求，设定以下三个规则：

一、 命令优先规则

至少使两个指标具有不同的优先级（如：位移指标和力度指标），本发明优选方案中，使力度指标的放大指令优先于位移指标的放大命令。

二、与人体感动能力匹配规则

1、在人体感知能力范围内， 使自我角色至少放大执行微动作的位移指标和力度指标；

2、 当超过人体感知能力范围，使自我角色至少放大执行微动作的速度指标、位移指标和力度指标。

这里尤其指出：

1）用户执行某允许动作时，实际的运动极限均大于该允许动作的最大幅度，而为了更有效实现本技术效果，虚拟世界过程采用动作放大系统时，最好通过对用户肢体的限制只允许其进行小幅度的微动作；

2）某些部位，有时需执行微动作，有时不需要执行微动作；

3）为了使用户动作都不离开操控台，可使用户的幅度上限规定小至满足：位移指标小于3cm。

三、 其他规则

1、至少有一个活动部位，当用户朝背向操控位方向的动作被放大的比例不小于其他方向被放大的比例，优先选择大于其他方向被放大的比例。

（五）虚拟允许动作方案：虚拟世界赋予自我角色或虚拟世界中器具可以进行的动作或动作方案，所述动作方案包括连续的动作组合、动作力度、速度等。

（六）评价动作幅度的指标可以是涉及执行允许微动作方案的活动部位的位移、角度、速度、弧度、振动频率（反复执行某同一动作的频率）、姿势变化等，特别指出：评价一个动作幅度可以同时涉及两个或以上指标；上述各指标可以根据任意现有技术或公识常识规定，如：所述角度可以是被跟踪部位在两个时间点上的夹角等，对应的用户允许微动作方案可规定：当用户以最大幅度M完成任一微动作时，躯干上除手掌和脚掌外的任意相邻的两部份的角度变化值小于30度。如：某允许微动作方案涉及上臂和下臂的角度，在实施该动作的前后角度为120度和140度，则该相邻两部份的夹角变化值就为+20度。显然用户和自我角色的形态（姿势）并不要求相同或类似。

为实现上述发明目的，本发明提供一种用户无需离开控制台，尤其无需在“操控位”上发生位移，而连续执行对自我角色进行各种控制的方法，该方法可满足：不必为保证自我角色和用户的配合，而对虚拟世界进行空间、环境、人机互动形式等进行限制。

本发明技术方案为：

一种人机互动的控制方法，专门针对用户置身于控制台上而进行的人机互动，专门针对在虚拟世界中建立自我角色，并使用户通过实施用户允许微动作方案控制虚拟环境中的自我角色实施相应的虚拟允许动作方案；其特征在于：它包括以下步骤：

1）  在虚拟环境中建立第一自我角色，通过摄像头捕捉用户动作以控制第一自我角色与用户动作保持一致；在第一自我角色上记录i个或以上的点位置变化，至少包括：C1、C2、…Ci…Cm;m>=i。

2） 在虚拟环境中建立第二自我角色，并在第二自我角色身上标注i个或以上的点，至少包括：B1、B2、…Bi…Bn; n>=i;使C1、C2、…Ci分别与B1、B2、…Bi一一对应。

3） 使B1、B2、…Bi随C1、C2、…Ci同步发生位置变化，且B1、B2、…Bi的位置变化值分别系C1、C2、…Ci位置变化值的X1、X2、…Xi倍，继而实现使第二自我角色同步放大执行第一自我角色的动作。

4） 令第二自我角色身上任意点Bj为第二自我角色身上的核心点，令第一自我角色身上的任意点Cj为第一自我角色身上的核心点；在允许第一自我角色与第二自我角色使用不同参照系的前提下，使Bj发生的位移是Cj的Xj倍，Xj符合最大幅度原则。

5） Bj-1是第二自我角色身上的、Bj相邻的一个点，Cj-1是第一自我角色身上的、Cj相邻的一个点，Bj-1与Cj-1对应；所述点Bj-1以Bj或与Bj相对位置保持不变的点为参照物，使Bj-1发生的位移是Cj-1发生位移的Xj-1倍，Xj-1符合最大幅度原则；Bj+1是第二自我角色身上的、Bj相邻的另一个点，Cj+1是第一自我角色身上的、Cj相邻的另一个点，Cj+1与Cj+1对应；所述点Bj+1以Bj或与Bj相对位置保持不变的点为参照物，使Bj+1发生的位移是Cj+1发生位移的Xj+1倍，Xj+1符合最大幅度原则。

6）Bj-2是第二自我角色身上的、Bj-1相邻的另一个点，Cj-2是第一自我角色身上的、Cj-1相邻的另一个点，Bj-2与Cj-2对应；所述点Bj-2以Bj-1或与Bj-1相对位置保持不变的点为参照物，使Bj-2发生的位移是Cj-2发生位移的Xj-2倍，Xj-2符合最大幅度原则；Bj+2是第二自我角色上的、Bj+1相邻的另一个点，Cj+2是第一自我角色身上的、Cj+1相邻的另一个点，Bj+2与Cj+2对应；所述点Bj+2以Bj+1或与Bj+1相对位置保持不变的点为参照物，使Bj+2发生的位移是Cj+2发生位移的Xj+2倍，Xj+2符合最大幅度原则。

7）从Bj-2和Bj+2起，使第二自我角色身上未确定位置关系的点，依次逐点按步骤3）所述以相邻已确定位置点或与该点相对位置保持不变的点为参照物，使其发生的位移是第一自我角色身上对应点发生位移的一定倍数，并使该倍数符合最大幅度原则，直到化身上的各点位置可确定。

本发明是对用户动作通过“先限制而后放大”的方法实现上述技术效果,该方法包括：

使用户通过实施用户允许微动作方案以控制虚拟环境中的自我角色实施相应的虚拟允许动作方案；

在以下部位中至少有两个或以上部位涉及执行允许微动作方案：头部、脖子、腰部、上臂、下臂、宽部、上腿、下腿、手掌和脚掌；

控制用户身上至少两处不同部位被放大比例方案，以实现虚拟角色的任意活动，用户都无需离开控制台。

上述技术方案的有益之处在于：

本发明使用户执行微动作，并使虚拟角色放大执行微动作，且各部位的放大比例允许不同，即用户的即时姿势与虚拟角色不同，姿势变化情况也不完全等同，这就极大放宽了用户对操纵空间的要求，即“虚拟角色与虚拟环境的接触部位”与“用户与操纵空间的接触部位”可以不同，尤其还可以实现“用户被操控位支承的部位”与“虚拟角色被所在环境支承的部位”不同，如：用户坐在操控位上控制虚拟角色实施步行动作时，“用户被被操控位支承的部位”是臀部，而“虚拟角色被所在环境支承的部位”是脚底。

因用户采用微动作控制自我角色，因此可以完成各种现实中无法完成的各种动作，如使自我角色执行下腰时，同时还出拳的动作。

同时“用户对所在操控位的作用力”与“虚拟角色对所在环境的作用力”也可以不相同；当虚拟角色执行一个动作而对所在环境实施作用力，继而使虚拟角色发生位移时，用户对所在环境并不会施于相同的作用力，或者实施操纵台的作用力不足于克服操纵台对用户主杆肢体的限制，因此无论虚拟角色发生多少位移，都可实现始终不离开操作台；如：用户坐在床上控制虚拟角色走路，只需用户上身微微前倾，而双脚在床上交替划动，而这样的动作并不会改变用户在床上的位置。

正因为无论虚拟角色无论如何运动，在虚拟环境中发生怎样的位移，用户都无需离开操控位，因此系统无需对虚拟角色的活动空间和活动形式进行限制以满足操纵空间对用户身体的限制要求（假设系统放开对虚拟角色的活动空间和活动形式的限制，如果使用传统技术就容易出现用户离开操纵台或撞墙的情况；如果使用本发明记载的技术，则不会出用户离开操纵台或撞墙的情况）。

本发明用户的身体无需离开所在位置的前提下，控制虚拟角色执行任意动作，且系统无需对动作类类型、数量、幅度进行限制；另外 用户在操作过程中，均可躺着或坐着，因此用户可长时间轻松自如完成各项操控，不会因为体力不支而被迫中止；本发明产品适应人群极广，凡身体有活动肌能的人都可以通过本发明进行相应的人机互动。

本发明介绍的“动作放大系统”，可使用户身体无需发生位移或者仅发生微小位移就可以实现全部虚拟世界赋予的全部功能或能力，使得用户在虚拟世界全程中均只在同一处操控位上，同时还便于实现用户的运动部位和虚拟世界人物运动部位一致，使用户容易上手。

该方法可极大延长用户活动时间或减小运动能耗，这里的活动尤其指用户能实现且生活中可经常执行的复杂动作，如跳健美操，打蓝球等而非仅含单一动作（如：跑步），假设一用户的跳某一健美操只能坚持20分钟，而通过本发明控制自我角色跳相同健美操的，该用户可坚持远超超过20分钟。

因用户采用微动作控制自我角色，因此可以完成各种现实中无法完成的各种动作，如使自我角色执行下腰时，同时还出拳的动作。

本发明介绍的“动作放大系统”，可使用户身体无需发生位移或者仅发生微小位移就可以实现全部虚拟世界赋予的全部功能或能力，使得用户在虚拟世界全程中均只在同一处操控位上，同时还便于实现用户的运动部位和虚拟世界人物运动部位一致，使用户容易上手。

通过本发明可实现自我角色“可如用户在现实般”充分、自由动作。

下面结合具体实施例对本发明作进一步的说明。

具体实施方式

实施例

一种人机互动的控制方法

1）通过3Dmax进行3D建模，并构建虚拟角色A和B，其中虚拟角色A与用户对应；

2）通过双摄像头捕捉人体动作，使虚拟角色A即时执行用户的动作；

3）使虚拟角色B放大执行虚拟角色A的动作。

本实施例中虚拟角色B对虚拟角色A的动作放大方法可以采用以下步骤：

1）确定虚拟角色A身上可被控制的n个或以上点，至少包括：质心、头、肩、髋、臂、手、肘、腿、脚、膝，并记录为A1、A2、…A10。

2）确定虚拟角色B上可被跟踪的n个或以上点，至少包括：质心、头、肩、髋、臂、手、肘、腿、脚、膝，并记录为B1、B2、…B10;使A1、A2、…A10分别与B1、B2、…B10一一对应。

3） 即时收集虚拟角色A的A1、A2、…A10的坐标。

4） 令点Bm为虚拟角色B身上的核心点，即 与虚拟环境物方M的接触点，并满足：Bm与M相互作用的状态发生变化时，可决定虚拟角色B的位置是否发生变化及如何变化；令点Am为化身身上的核心点；在允许使用者与化身使用不同参照系的前提下，使Am发生的位移是Bm的Xm倍，Xm符合最大幅度原则。

情形1：用户各肢干配合变化，使Bm与M相互作用的状态发生变化，并决定虚拟角色B的位置是否发生变化及如何变化，Bm与M之间的作用力不使用户产生位移（支承力和静摩力）；如：行走中的用户，将其双脚命名为脚1和脚 2；当脚1与地面接触时，Bm是脚 1与“地面”接触的一点，Bm与地面产生静摩擦力；用户重心向前推进，同时脚 2向前迈进，并最终接触于地面；用户的重心继续向前移，使脚2与地面的作用力承担用户的重力，脚1收起并脱离与地面的接触；用户的重心继续向前移，脚2上Bm与地面产生静摩擦力。

情形2：用户各肢干配合变化，使Bm与M相互作用，并使Bm与M发生相对位移，Bm与M之间的作用力使用户产生位移；如：用户跳跃。

情形3：用户与环境中物方的接触部位没动，即 Bm与M没有发生相对位移可以有多个核心点，核心点的位移可以为0。

5）Bj-1是化身上的、Am相邻的一个点，Cj-1是用户身上的、Bm相邻的一个点，Bj-1与Cj-1对应；所述点Bj-1以Am或与Am相对位置保持不变的点为参照物，使Bj-1发生的位移是Cj-1发生位移的Xm-1倍，Xm-1符合最大幅度原则；Bj+1是化身上的、Am相邻的另一个点，Cj+1是用户身上的、Bm相邻的另一个点，Bj+1与Cj+1对应；所述点Bj+1以Am或与Am相对位置保持不变的点为参照物，使Bj+1发生的位移是Cj+1发生位移的Xm+1倍，Xm+1符合最大幅度原则。

6）Bj-2是化身上的、Bj-1相邻的另一个点，Cj-2是用户身上的、Cj-1相邻的另一个点，Bj-2与Cj-2对应；所述点Bj-2以Bj-1或与Bj-1相对位置保持不变的点为参照物，使Bj-2发生的位移是Cj-2发生位移的Xj-2倍，Xj-2符合最大幅度原则；Bj+2是化身上的、Bj+1相邻的另一个点，Cj+2是用户身上的、Cj+1相邻的另一个点，Bj+2与Cj+2对应；所述点Bj+2以Bj+1或与Bj+1相对位置保持不变的点为参照物，使Bj-2发生的位移是Cj-2发生位移的Xj-2倍，Xj-2符合最大幅度原则。

7）从Bj-2和Bj+2起，使化身身上未确定位置关系的点，依次逐点按步骤6）所述以相邻已确定位置点或与该点相对位置保持不变的点为参照物，使其发生的位移是用户身上对应点发生位移的一定倍数，并使该倍数符合最大幅度原则，直到化身上的各点位置可确定。

Claims (2)

1.一种人机互动的控制方法，专门针对用户置身于控制台上而进行的人机互动，专门针对在虚拟世界中建立自我角色，并使用户通过实施用户允许微动作方案控制虚拟环境中的自我角色实施相应的虚拟允许动作方案；其特征在于：它包括以下步骤：

1）在虚拟环境中建立第一自我角色，通过摄像头捕捉用户动作以控制第一自我角色与用户动作保持一致；在第一自我角色上记录i个或以上的点位置变化，至少包括：C1、C2、…Ci…Cm;m>=i；

2）在虚拟环境中建立第二自我角色，并在第二自我角色身上标注i个或以上的点，至少包括：B1、B2、…Bi…Bn; n>=i;使C1、C2、…Ci分别与B1、B2、…Bi一一对应；

3）使B1、B2、…Bi随C1、C2、…Ci同步发生位置变化，且B1、B2、…Bi的位置变化值分别系C1、C2、…Ci位置变化值的X1、X2、…Xi倍，继而实现使第二自我角色同步放大执行第一自我角色的动作。

2.如权利要求1所述的一种人机互动的控制方法，其特征在于：所述的控制方法包括以下步骤：

1）令第二自我角色身上任意点Bj为第二自我角色身上的核心点，令第一自我角色身上的任意点Cj为第一自我角色身上的核心点；在允许第一自我角色与第二自我角色使用不同参照系的前提下，使Bj发生的位移是Cj的Xj倍，Xj符合最大幅度原则；

2）Bj-1是第二自我角色身上的、Bj相邻的一个点，Cj-1是第一自我角色身上的、Cj相邻的一个点，Bj-1与Cj-1对应；所述点Bj-1以Bj或与Bj相对位置保持不变的点为参照物，使Bj-1发生的位移是Cj-1发生位移的Xj-1倍，Xj-1符合最大幅度原则；Bj+1是第二自我角色身上的、Bj相邻的另一个点，Cj+1是第一自我角色身上的、Cj相邻的另一个点，Cj+1与Cj+1对应；所述点Bj+1以Bj或与Bj相对位置保持不变的点为参照物，使Bj+1发生的位移是Cj+1发生位移的Xj+1倍，Xj+1符合最大幅度原则；

3）Bj-2是第二自我角色身上的、Bj-1相邻的另一个点，Cj-2是第一自我角色身上的、Cj-1相邻的另一个点，Bj-2与Cj-2对应；所述点Bj-2以Bj-1或与Bj-1相对位置保持不变的点为参照物，使Bj-2发生的位移是Cj-2发生位移的Xj-2倍，Xj-2符合最大幅度原则；Bj+2是第二自我角色上的、Bj+1相邻的另一个点，Cj+2是第一自我角色身上的、Cj+1相邻的另一个点，Bj+2与Cj+2对应；所述点Bj+2以Bj+1或与Bj+1相对位置保持不变的点为参照物，使Bj+2发生的位移是Cj+2发生位移的Xj+2倍，Xj+2符合最大幅度原则；

4）从Bj-2和Bj+2起，使第二自我角色身上未确定位置关系的点，依次逐点按步骤3）所述以相邻已确定位置点或与该点相对位置保持不变的点为参照物，使其发生的位移是第一自我角色身上对应点发生位移的一定倍数，并使该倍数符合最大幅度原则，直到化身上的各点位置可确定。