CN105849502A

CN105849502A - 动作捕捉系统

Info

Publication number: CN105849502A
Application number: CN201480070725.6A
Authority: CN
Inventors: 阿里·科尔德
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2013-10-24
Filing date: 2014-10-24
Publication date: 2016-08-10
Also published as: WO2015061750A1; US20150213653A1; JP2017503225A; EP3063496A4; EP3063496A1

Abstract

实施例从包含比例尺框和动作捕捉主体的图像中形成经校准的生物机械骨架。该生物机械骨架的连杆和关节叠加于针对所捕捉图像的序列中的每一个图像所产生的廓影上。根据该比例尺框的真实尺寸与从所记录相机图像获取的测量值的比较来确定每一连杆的真实长度和每一生物机械参考位置的准确定位。该动作捕捉主体可执行校准动作序列以允许该生物机械骨架中的关节位置准确地定位于该动作捕捉主体中的相应骨骼关节上。可通过使用该比例尺框中所包含的撑杆和校准标志的真实尺寸补偿图像中所测量的连杆长度来确定该生物机械骨架的准确连杆长度。

Description

动作捕捉系统

技术领域

实施例总体上涉及用于根据从相机图像和任选地从定位(position)传感器收集的信息产生动作捕捉主体的图形模型的系统，且更具体来说涉及用于使用比例尺框准确校准动作捕捉图像的方法。

背景技术

可通过测量执行诸如行走、弯曲手臂或腿(leg)、旋转头部等动作的人体的移动来产生人体的关节联接的可移动图形模型。该图形模型可采用生物机械骨架的形式。可记录人体的肢体和关节的定位且映射到生物机械骨架上以模仿人类或其他动作捕捉主体的动作。可在视频、计算机游戏或电影的场景中将演员的图像重叠于生物机械骨架上。生物机械骨架可以与人类骨架不同的方式关节联接，此可能是通过用更少关节建模或通过将一些复杂结构(例如手或脚)聚集成更简单模型来实现。例如，生物机械骨架中的脚可缺少可个别移动的脚趾。

动作捕捉系统已使用若干不同方式来记录和测量主体的动作且确定用于诸如生物机械骨架等模型的参数。一些动作捕捉系统使用三角测量来检测相机图像中的肢体和关节定位，例如使用一个以上相机同时记录某一场景且比较通过具有已知相机定位、相机角度和其他因素的每一相机捕捉的图像以计算骨架参数，例如肢体长度、肢体角度、关节定位、头部定位、头部倾斜和旋转角度、腰部和躯干定位和角度等。使用三角测量的动作捕捉系统可能需要一定空间在代表待捕捉场景的视场外侧安装一个以上相机。所述系统可装备极为昂贵，难以校准，操作复杂，且可能需要尖端的采集后数据分析来处理来自不同相机的图像，各相机对场景和动作捕捉主体具有不同视野。

一些动作捕捉系统将一个或多个捕捉目标置于动作捕捉主体上以提供用于三角测量的参考定位或参考点。捕捉目标(例如反光贴、反光半球、涂料点和诸如此类)可能需要强光照明、使用红外光或其他人眼不可见频率的照明、对红外光敏感的相机或其他有效的专门摄影设备。捕捉目标可干扰动作捕捉主体的外观或反应。在动作捕捉主体到处移动时可能会从相机的视场阻挡捕捉目标，此可能会损害准确动作捕捉。例如，一个或多个捕捉目标可被另一目标、被动作捕捉主体身体的肢体或其他部分或被靠近动作捕捉主体的物体遮挡。在人将其后背转向相机时，人躯干前侧的捕捉目标可从相机定位被遮蔽，从而妨碍了准确动作捕捉。目标遮挡是现有技术系统中的熟知问题且导致在可产生的场景中使用更多相机、更长后处理和可能的艺术限制。动作捕捉系统用于形成图形模型的捕捉目标数量越大，从一个或多个相机发生目标遮挡的可能性越大。使用捕捉目标的三角测量的动作捕捉系统的设置和操作过于复杂，过于昂贵，且将生物机械骨架或演员映射到场景中对于大众市场应用(例如计算机游戏)来说过于缓慢。

其他动作捕捉系统将一个或多个定位传感器附接到动作捕捉主体的肢体、关节或要在图形模型中表示的其他参考位置处。对于业内先前已知的动作捕捉系统，关节联接模型的每一可单独移动的部分可使用单独的定位传感器来测量主体身体的相应部分的移动和定位。主体身体中由一个传感器整体表示的部分可不准确地定位于所得图形模型中。例如，将一个传感器置于主体腕部可允许模型腕部模拟主体动作，但除非在主体肘上放置另一个传感器，否则模型的肘部可能以与主体肘部不同的方式移动。

一些动作捕捉系统需要人穿戴关节联接框以用于测量肢体、脊柱、躯干或人体其他部分之间的角度。关节联接框和生物机械骨架的示例描述于美国专利5,826,578中，但关节联接框和生物机械骨架可采用其他形式。关节联接框可用于测量相对肢体角度，但不直接测量肢体定位的平移变化，也就是平行于动作捕捉坐标系统中三个常规空间轴中的一或多者的动作分量的位移。关节联接框可在剧烈活动期间易于受损，可干扰人的动作速度或损害动作的完整范围，且可具有减损相机图像中的优选美学效应的视觉外观。

生物机械骨架可将动作捕捉主体建模为通过可旋转关节彼此联接的刚性连杆的组合。可分析动作捕捉主体的相机图像以将图像中的所选位置(location)映射到生物机械骨架中的关节和连杆。可组合图像与来自惯性测量传感器、加速度计或关节联接框的数据以指定连杆的定位和长度、指定关节的定位和角度且指定生物机械骨架的定位和姿势。然而，用于测量定位数据、动作方向或角度的传感器可经历测量误差和漂移。测量误差可为累积性的(尤其对于诸如行走等重复动作)，导致生物机械骨架相对于其他物体或相对于绝对定位参考的位置产生累积误差，且可能导致骨架部分之间的相对定位或角度产生误差。累积误差可引起生物机械骨架或骨架部分(例如脚或手)的定位的突然性不合意跳变。或者，累积误差可导致生物机械骨架在场景中错误定位，例如演员的脚的一部分低于地板表面，或演员的手与场景中另一实体物体占据的体积交叉。累积误差可妨碍生物机械骨架实现肢体的优选姿势或布置，或可使骨架相对于场景中的其他物体错误定位。例如，动作捕捉主体可从座椅站起，围绕桌子行走，且返回座椅，但执行相同序列的生物机械骨架可在结束这一系列动作时停止于坐在座椅旁空闲空间中位置，或骨架中腿的一部分占据与座椅的实体部分相同的体积。

可通过确定动作捕捉主体到用于记录动作捕捉主体的图像的相机的距离来改良动作捕捉准确度，例如生物机械骨架中的连杆长度和关节定位的准确确定。一些动作捕捉系统使用非接触式距离测量仪器来测量射频脉冲或声脉冲的飞行时间，以确定相机与动作捕捉主体上的参考位置之间的间隔距离。动作捕捉主体与相机之间的距离可称为相机-主体距离或物距。在参考位置被从测量仪器的视场阻挡时，距离测量系统可测量到错误的相机-主体距离。在动作捕捉主体上的捕捉目标从动作捕捉相机的视角不可见时，使用三角测量的系统可报告错误的相机-主体距离。例如，人可将手插入动作捕捉相机与人体上的参考定位之间，从而妨碍相机观察参考定位且妨碍准确的动作捕捉。

发明内容

设备实施例的一示例包含具有至少三个撑杆和至少四个校准标志的比例尺框。至少四个校准标志中每一者的一个附接到至少三个撑杆中的每一者的一端，并且至少三个撑杆通过至少三个校准标志中的一者以直角彼此联接。该设备实施例进一步包含相机和以硬件实现的计算机。计算机与相机数据通信。计算机适于从相机接收图像，将图像转化成廓影(silhouette)，并且从图像提取用于生物机械骨架的参数。该设备实施例任选地包含与计算机数据通信的动作捕捉传感器。

方法实施例的一示例包含：面向比例尺框定位相机，并且相机上镜头的光轴是水平的且指向比例尺框的前侧；在比例尺框内部定位动作捕捉主体；以及记录至少两个图像，每一个图像都包含动作捕捉主体和比例尺框。方法实施例的示例进一步包含：将动作捕捉主体的第一图像转化成第一廓影图像；将动作捕捉主体的第二图像转化成第二廓影图像；根据第一廓影图像与第二廓影图像的比较为生物机械骨架指定第一生物机械参考位置；和根据廓影图像与第二廓影图像的比较为生物机械骨架指定第二生物机械参考位置。方法实施例的示例还包含：在生物机械骨架中在第一与第二生物机械参考位置之间连接连杆；通过从动作捕捉主体的第一和第二图像测量的第一和第二生物机械参考位置的定位来指定该连杆的投影长度；测量在第一和第二图像中的比例尺框上的所选撑杆的投影长度；通过该连杆的投影长度以及第一图像中该撑杆的投影长度和第二图像中该撑杆的投影长度来确定该连杆的真实长度；以及将该连杆的真实长度赋予生物机械骨架。

附图说明

图1展示经配置以确定用于生物机械骨架的参数的设备实施例的一示例，且另外展示叠加于动作捕捉主体上的生物机械骨架的一示例。

图2展示来自图1的生物机械骨架的示例，其中膝盖发生弯曲且相机-主体距离与图1相比有所改变。

图3展示设备实施例的一示例的示图。

图4为朝向站立于比例尺框的一示例中的动作捕捉主体的前侧的示图，其中主体的右手位于该图左侧，生物机械骨架模型的一示例叠加于动作捕捉主体的图像上，且动作捕捉传感器的示例定位于动作捕捉主体上。

图5为来自图4的示例的动作捕捉主体和比例尺框的示图，其中比例尺框如图4中进行定位和定向且使人转向以便其右侧朝向相机。

图6为一廓影示例，其代表来自图4的示例的姿势和相机-主体距离，且另外代表用于校准叠加于廓影上的生物机械骨架的肢体的替代定位。

图7展示来自图6的示例的廓影的修改形式的一示例，其对应于相机-主体间隔距离和动作捕捉主体的姿势的变化。

图8图解说明适用于设备实施例的定位传感器的一示例(现有技术)。

图9图解说明动作捕捉传感器相对于生物机械骨架和动作捕捉主体的廓影的位置的一示例。

图10为包含于一些实施例中的动作捕捉传感器与中央处理单元(CPU)之间的联系的方块图。

具体实施方式

一实施例(在本文中还称为动作捕捉系统或mocap系统)采用一个相机来记录动作捕捉主体(例如人)的图像序列。可处理来自该序列的图像以产生动作捕捉主体的相应廓影序列。处理每一廓影以指定参数值用于能够准确模仿动作捕捉主体执行的所选身体定位、姿势和动作的图形模型。通过设备实施例来校准图形模型(还称为生物机械骨架)以准确模仿可由动作捕捉主体作出的动作。可从经校准生物机械骨架来确定每一廓影的准确相机-主体距离。可从生物机械骨架来确定廓影的不同部分的深度暗示。可任选地包含一个或多个动作捕捉传感器以改良生物机械骨架或图形模型在场景中的定位准确度。动作捕捉传感器可在捕捉主体移动的同时，提供对动作捕捉主体的实时定位估计。

设备实施例包含具有已知线性尺寸的比例尺框用于测量框中或框附近的物体长度且用于校准来自相机的图像，且包含作为硬件实现的计算机系统以分析通过相机收集的图像。通过比较比例尺框组件的已知大小与在所捕捉图像中测量的相同框组件的大小，可准确确定框中、毗邻框的或在距框已知距离内的物体在所捕捉图像中的尺寸、角度和定位。可从动作捕捉主体的图像准确确定的参数的示例包含(但不限于)肢体角度、肢体长度、关节定位、肢体和关节相对于绝对定位参考的定位、肢体角度和动作捕捉主体或主体身体部分横跨的距离。在执行校准之后，可从场景去除框且可以高准确度确定动作捕捉主体横跨的距离、主体相对于场景中的其他物体的定位以及肢体和人体其他部分的定位。

实施例能够为动作捕捉主体的相机图像序列中的每一图像进行相机-主体距离的新的准确测量。可比较所测量相机-主体距离与所计算相机-主体距离以检测且去除生物机械骨架的定位或姿势中的累积误差，由此与业内先前已知的动作捕捉系统相比改良动作捕捉准确度。

实施例非常适用于实时动作捕捉和显示映射图像。实施例被视为实时的，这是因为可对在电视图像、计算机游戏和录像中以常规视频显示速率流过的图像帧序列中的每一帧执行捕捉、处理和显示步骤。

实施例中所使用的模型还称为演员档案，其将人表示为包括在生物机械参考位置处彼此联接的刚性连杆的关节联接生物机械骨架。生物机械参考位置还可称为生物机械关节形心。一些生物机械参考位置代表人类骨架中关节的定位，例如腕关节、膝关节或髋关节的定位。其他生物机械参考位置代表人体部分的长度、宽度或厚度，例如上臂的长度或脊柱上两个参考点之间的间隔距离。生物机械参考位置可任选地代表包括一个以上关节或一个以上连杆的复合结构。例如，可指定单一生物机械参考位置代表人手。一用于模型中的生物机械骨架可具有与人类骨架不同的关节联接和可能不同的关节间连接。

通过记录来自一人的图像序列来收集待提供给演员档案的参数，该人在维持紧靠比例尺框的同时遵循演员档案中待捕捉的每一肢体的动作序列。遵循分离的动作序列改良模型准确度且减小模型中所代表肢体和其他身体部分的定位和角度的累积误差。将每一待分析图像转化成代表动作捕捉主体的肢体、躯干、头部和主体身体的其他部分的边缘的廓影。生物参考位置可在每一图像上位于肢体末端(例如在人头部的顶部或人踵底部)，位于经确定代表动作捕捉主体上的骨骼关节的每一区域的形心处，位于经选择以代表复杂结构(例如手)的定位上，或位于生物机械骨架上可用于代表人体相对于一些外部定位参考(例如坐标系统的原点或相机视场中另一物体的定位)的定位的任一位置处。实施例可任选地适于捕捉图像且提取用于市售生物机械模型中的参数。

根据一实施例的设备的示例显示于图1中。动作捕捉系统实施例100的示例展示于设备布置的示例中，该设备用于通过捕捉作为动作捕捉主体148执行的人的动作和定位来产生经校准生物机械骨架154。如图1的示例中所展示，设备实施例100包含相机114和比例尺框140且可任选地包含计算机122用于分析相机图像且指定用于生物机械骨架的参数。

相机114包含具有光轴128的镜头126，该光轴128定位于与XY平面平行且与比例尺框102的底侧相切的水平参考表面156的上方高度120处。相机可任选地安装于高度可调式三脚架116或类似相机支架上。相机镜头126与比例尺框102的前侧相隔间隔距离118。图1示例中的光轴是水平的，与Y轴平行，且任选地与Y轴一致。图1示例中的Z轴是竖直的且垂直于相机镜头的光轴128。X轴垂直于Y轴和Z轴且相对于动作捕捉主体148站立其上且比例尺框102放置于其上的地板156、或更通常地水平支撑表面为水平的。在图中的示例中，Y轴是以指向相机的(-Y)和指向远离相机的(+Y)来定向。

动作捕捉主体148背部和腿伸直地站在图1中比例尺框102的示例内部，且与相机114间隔相机-主体距离160的示例。在图2示例中，动作捕捉主体148由具有对应于直背和弯膝的姿势的生物机械骨架154代表。图2中的相机-主体距离160A可不同于图1中的相机-主体距离160。因在图2中人的膝盖弯曲，所以从地板156到人头顶部152H的距离158B小于图1中的相应距离158A。

计算机122通过数据通信连接124接收相机114捕捉的图像162。计算机(以硬件实现的计算装置)包含易失性和非易失性存储器、包括半导体装置的中央处理单元(CPU)、至少一个数据输入装置(例如键盘或鼠标)和图像显示器(例如液晶显示器、等离子显示器或发光二极管显示器)。计算机122与相机114之间的数据通信连接的示例包含(但不限于)有线连接、无线连接、计算机网络(例如局域网)和互联网。或者，计算机122可从相机114在非易失性计算机可读取媒体(例如光盘、磁盘、磁带、存储棒、固态硬盘或诸如此类)上来接收图像。

在图3示例中，比例尺框102包含至少四个通过撑杆104连接的校准标志106。每一撑杆104优选地与其他共同附接到一个校准标志106的撑杆垂直。在图3示例中，比例尺框102的高度尺寸108(对应于Z轴方向)、宽度尺寸110(对应于X轴方向)和深度尺寸112(对应于Y轴方向)均彼此相等且8个校准标志106定位于立方体的角处。在比例尺框102的替代实施例中，长度、宽度和深度尺寸可彼此不同。不同空间轴上的校准标志106可任选地指定不同颜色或可经表面标记(例如文字、数字或条码)标记，以使得后处理软件能够自动鉴别相机图像中的x轴、y轴和z轴方向且可能从所捕捉图像自动去除比例尺框的图像。

比例尺框的每一角处的校准标志106可均具有相同直径130或另一选择为可具有不同直径。可选择直径106来充分提高比例尺框的底侧以允许人脚在撑杆104下方滑动，由此允许人尽可能靠近比例尺框前侧的平面来定位其腿和躯干，其中比例尺框的前侧为最靠近相机114且与相机镜头126的光轴128大致垂直的一侧。

图3-4示例中的比例尺框102包括12个撑杆和8个校准标志，所述标志包含上右前校准标志132、上左前校准标志134、下右前校准标志136和下左前校准标志138，其中左和右是相对于动作捕捉主体148的右手(未标记)和左手152A来标记。接下来，对于比例尺框102的后侧，上右后校准标志140、上左后校准标志142、下右后校准标志144和下左后校准标志146通过撑杆彼此联接且与前校准标志联接。可将比例尺框中每一撑杆的已知长度和每一校准标志的已知直径与其在比例尺框的相机图像中的尺寸进行比较，以确定图像中的另一物体(例如站立于比例尺框内部的人)的尺寸、角度和定位。对于具有已知焦距的相机镜头126来说，从通过相机记录的图像所测量比例尺框102的尺寸和角度可用于确定相机镜头与比例尺框之间的间隔距离118。或者，可通过比较通过动作捕捉传感器170测量的定位与相机镜头126的定位来确定相机-主体距离。

可处理通过相机捕捉的图像以提取用于演员档案的参数。图4-5展示叠加于站立于比例尺框102中的动作捕捉主体148的图像上的生物机械骨架154的示例的不同视图。动作捕捉主体优选地穿戴紧身服186以改良用于确定肢体长度、关节位置和从所记录图像提取的其他参数的定位的准确度。如图4示例中所示，通过计算机(参照图1)处理动作捕捉主体148的图像以形成廓影，其呈人148的头部、躯干和肢体的外形的形式。随着人移动，相机收集图像，例如以30帧/秒记录的视频图像序列。通过计算机将每一图像转化成廓影。通过计算机将个别廓影图像彼此相比较以指定每一生物机械参考位置152在生物机械骨架154上的位置。两个生物机械参考位置152之间的间隔距离可界定生物机械骨架中的连杆长度。

生物机械参考位置152A可代表连杆和关节的复杂组合。例如，图5中的参考位置152A代表右手。与手中每一手指有关的关节和连杆可共同由一个参考位置152A标记，或可将每一连杆和关节单独建模。生物机械参考位置可任选地指定为代表坐标原点、代表演员档案中模型的定位的便利参考、主体的“根”定位(也就是从其进行后续动作的参考定位)、与主体148相关的物体的定位、或形成或使用演员档案的其他便利选择。用于生物机械参考位置152的定位的其他示例包含(但不限于)肩关节152C、髋关节152D、膝关节152E和踝关节152J、脚端152G、头顶152H。连杆可定位于成对的相关关节之间，例如连杆164可定位于膝关节152E与髋关节152D之间，或另一连杆166可定位于膝关节152E与踝关节152J之间。

可从连杆相对端处的生物机械参考位置的坐标来指定每一连杆的长度尺寸。经校准生物机械骨架包括骨架中每一生物机械参考位置的所测量坐标定位(可能参考骨架的根定位)，且可包含每一连杆的长度和定向性质和任选地每一连杆和关节的动作角度范围。如果动作捕捉主体在连续图像中的每一个图像中具有不同的区段远端的旋转定位，则可通过比较连续图像来计算每一个生物机械参考位置在该区段的端处的定位。

一实施例可任选地包含用于校准生物机械骨架的下列步骤中的任何一者或多者，其中相对于如图1-3中所展示的x轴、y轴和z轴的定向来界定空间方向，x-y平面是水平的且平行于地面，且相机镜头的光轴平行于y轴：

沿y轴在距离118处定位相机114，该距离118经选择以将动作捕捉主体148配合到相机视场中；

在主体148的身高约一半的高度120处定位相机114；

在计算机122的图像显示器上观看来自相机114的视频图像输出；

如图4示例中所展示，将动作捕捉主体148定位于相机视场的中心，使其以放松姿势面向相机114且足够靠近相机以实现所需图像分辨率，此还称为初始化姿态或者主要姿态；

定位动作捕捉主体148，且右脚的右边缘与比例尺框102上的下右前校准标志136接触，上右前校准标志132在相机图像中可见，且主体的躯干、手和腿的前侧尽可能靠近比例尺框的前侧平面；

将动作捕捉主体的图像(例如图1中的图像162)转化成廓影150(例如图6-7中的廓影150)，且比例尺框102上的至少三个校准标志106可与主体图像相区分；

将演员档案、任选地与常用数据格式(例如毕维森分层数据(Biovision Hierarchical Data，BVH))相容的演员档案叠加于廓影上；

优化生物机械参考位置在廓影150上的定位；

如图5示例中所展示，使动作捕捉主体148在比例尺框102内围绕z轴旋转90度，使主体的侧面指向相机镜头的光轴，例如如图3中所示的主体右侧；和

重复优化生物机械参考位置的定位的步骤；

其中优化步骤进一步单独或组合包括下列步骤中的任何一者或多者，这些步骤任选地在躯干右侧面向相机的情况下或者在主体处于初始姿态的情况下执行：

在平行于相机镜头的光轴的轴周围拍手；

在平行于相机镜头的光轴的轴拍动上臂；

将手臂举到水平定位(还称为“T＝姿态”)，且在保持手臂平行于地面的同时沿平行于相机镜头的光轴的轴抬起肩尖(锁骨肩胛骨(clavioscapular))；

放松(落下)肩尖；

在不使用锁骨的情况下返回T-姿态且然后围绕平行于相机镜头的光轴的轴仅旋转肘部；

返回初始化姿态；

围绕平行于相机镜头的光轴的水平轴旋转头颈；

围绕平行于相机镜头的光轴的水平轴旋转胸腔；

在围绕平行于相机镜头的光轴的水平轴的旋转中移动腰部以上的躯干；

将体重置于右脚上，通过弯曲左膝而从比例尺框前侧的撑杆下方向外滑动左脚，并且在左脚已通过下前左校准标志之后伸直左膝；

在围绕平行于相机镜头的光轴的水平轴的旋转中抬起且放下左大腿(upper thigh)；

将左脚抬起到略高于下前左校准标志且旋转脚踝；

将体重置于左脚上，通过弯曲右膝而从比例尺框前侧的撑杆下方向外滑动右脚，并且在右脚已通过上前右校准标志后方之后伸直右膝；

在围绕平行于相机镜头的光轴的水平轴的旋转中抬起和放下右大腿；

将右脚抬起到略高于下前右校准标志且旋转脚踝；

在锁骨关节放松、肘部僵直且腕部僵直的情况下抬起右上手臂，同时保持手臂平行于地面且拇指指向上，然后围绕平行于相机镜头的光轴的轴旋转腕部；

抬起锁骨，从而肩胛骨围绕平行于相机镜头的光轴的水平轴旋转；

保持手臂平行于地面且指向前，前后推动锁骨，此对应于围绕z轴旋转；

向前弯腰以围绕平行于相机镜头的光轴的水平轴旋转胸腔；

围绕平行于相机镜头的光轴的水平轴前后旋转头颈；

围绕平行于相机镜头的光轴的水平轴从腰部向前弯曲；

将体重置于左脚上，从前下撑杆下方移动右脚且从后方抬起右腿，在不移动其他肢体的情况下围绕右大腿骨盆关节尽可能远地抬起腿；

在不碰到比例尺框的情况下，在不弯曲膝关节的情况下抬起右腿，使脚趾指向上，优选地在围绕平行于相机镜头的光轴的轴的旋转中移动腿，且优选地保持躯干和骨盆静止；

在肘部锁定的情形下，在围绕平行于相机镜头的光轴的水平轴的旋转中摆动双臂；

抬起右膝，从而使大腿平行于地面且不动，然后围绕平行于相机镜头的光轴的水平轴旋转小腿；

从整条腿的动作半径减去小腿的动作半径；

在小腿下垂的情况下保持大腿平行于地面，围绕平行于相机镜头的光轴的水平轴旋转踝关节；

在检测到模型区段中的不期望动作时，激活对主体的警告；

从通过旋转每一区段的远端所产生的半径计算每一关节的定位；和

在计算每一关节的定位之后，通过比较关节间的测量距离与比例尺框上的已知尺寸来指定毗邻关节之间的每一连杆的长度。

常规光学原理允许从物体图像上相应尺寸的测量值和用于制作图像的光学系统的参数来计算具有已知尺寸的物体的相机-主体距离值。例如，可从图像距离、图像高度和物高的值或从适用于图像传感器像素大小、像素计数和镜头焦距的特定组合的角分辨率值来确定相机-主体距离(还称为“物距”)的值。可通过比较相机图像中的廓影高度与以初始姿态(例如背部、腿和颈伸直的姿势)站立的动作捕捉主体的已知高度来计算相机-主体距离。然而，在动作捕捉主体处于弯膝、弯颈或弯曲躯干的姿势时(如在跑、坐、跳等期间可发生)，现有技术动作捕捉系统中所收集的图像中的廓影的所测量高度可能与在主体伸直站立时所测量的高度无关。遮挡动作捕捉目标可妨碍现有技术动作捕捉系统作出肢体和关节定位的任何确定且将由此妨碍相机-主体距离的确定。

实施例能够通过使用经校准生物机械骨架来补偿动作捕捉主体的姿势，通过通过从叠加于主体廓影上的生物机械骨架中连杆长度的换算值计算物高的准确值，来确定相机-主体距离值。可将适用于动作捕捉主体的特定姿势的物高值输入常规镜头公式中，其中图像高度是从廓影测量且图像距离是通过相机参数确定，以计算相机-主体距离。可通过将叠加于廓影上的生物机械骨架中连杆的测量长度除以经校准生物机械骨架中相应连杆的真实长度来确定换算率。单独换算率可应用于叠加于廓影上的生物机械骨架中的每一连杆。可换算图像中每一连杆的z轴分量(也就是贡献到高度的分量)的长度测量值且加和以得到动作捕捉主体在z轴方向上的总尺寸，其可与从廓影测量的图像高度一起用于计算主体-镜头距离。

图6和7展示用于计算物高的生物机械骨架的示例，其可用于实施例确定相机-主体距离。在图6中，动作相机主体是由以颈、背部和腿伸直的初始化姿态站立于地板156上的人的廓影150代表。生物机械骨架154已映射于廓影上且已通过上文所描述的方法步骤确定关节和连杆的定位。真实高度尺寸158A可从处于初始化姿态的生物机械骨架或通过直接测量来确定。

图6另外图解说明用于校准生物机械骨架的替代肢体定位的一示例。以实线外形展示的廓影150使主体的右手臂沿主体左侧伸直，且使腕关节152K定位于肩关节152C下方。主体右手臂的替代定位以虚线展示，且手臂从肩膀152C向外侧向伸出且手臂大致水平。可指示主体在图解说明的两个定位之间移动手臂，使得腕关节沿着位于平行于XZ平面且与相机的光轴垂直的平面中的弧188移动。可通过比较两个手臂的定位且确定廓影中靠近肩膀的静止部分的形心来估计生物机械骨架中肩关节152C的定位。更通常地，可通过以下方式来确定对应于生物机械关节定位的任一关节的形心：沿位于与相机镜头的光轴垂直的平面中的弧旋转关节相对侧上的身体部分且比较连续廓影图像以估计关节定位。类似地，可通过比较动作捕捉主体的不同视图(例如朝前的视图和朝向主体侧面的另一视图)中的相应生物机械参考定位来确定生物机械骨架中每一刚性连杆的长度和动作范围。

在图7中，动作捕捉主体已弯曲其膝盖且朝向相机倾斜其头颈。从其形成廓影150的动作捕捉主体在图7中所处的相机-主体距离可与在图6中不同。在图7中叠加于廓影150B上的生物机械骨架154中，大腿连杆164B和小腿连杆166B的投影长度短于图6中叠加于廓影150A上的大腿连杆164A和小腿连杆166A。图6中从头顶152H到颈关节的连杆168A的投影长度长于图7中相同连杆的投影长度168B。图7中从地板156到廓影顶部152H的尺寸为图像高度158B的一示例，其可用于计算相机-主体距离。图7中每一连杆的垂直分量的换算和加和得到待用于计算相机-主体距离的物高。可从相机设计参数来确定图像距离。可根据熟知光学公式从图像高度、物高和图像距离的值计算来物距(还称为相机-主体距离)。

替代方法实施例包含下列步骤中的一或多者：

捕捉动作捕捉主体的第一序列图像；

针对第一序列中的每一图像，确定动作捕捉主体的廓影；

从廓影序列确定经校准生物机械骨架；

捕捉动作捕捉主体的第二序列图像，每一图像任选地在不同相机-主体距离处且每一图像任选地代表与前一图像不同的动作捕捉主体的姿势；和

针对第二序列图像中的每一图像：

形成动作捕捉主体的廓影；

将图像生物机械骨架映射到廓影上；

从图像生物机械骨架确定图像高度；

从图像生物机械骨架和经校准生物机械骨架确定物高；和

从每一图像的图像高度和物高计算相机-主体距离。

图9可用作诠释可妨碍生物机械骨架在场景中的准确定位或导致移动骨架定位跳变(不连续)的廓影图像的模糊性的一示例。举例来说，认为可能难以从图9中的廓影确定动作捕捉主体的实际姿势。例如，仅通过检查廓影150可能难以确定主体是面向相机抑或将其背部转向相机。另外，弯曲腿的外形可与一种以上身体姿势一致。例如，两个膝盖可都朝向相机弯曲。或者，动作捕捉主体可以以下方式站立：一条腿弯曲，大腿向前(朝向相机)，且另一条腿弯曲，大腿在后(远离相机)，使得一只脚在躯干前方且另一只脚在躯干后方。廓影外形和生物机械骨架中连杆的投影长度可能无法区分这些定位。类似地，左手臂可定位于躯干前方且右手臂定位于躯干后方，或反之亦然，且仍产生图9示例中所展示左手臂和右手臂的投影连杆长度。人头部的倾斜提供廓影150中可能模糊的情况的另一示例。可通过向前(更靠近相机)或向后(远离相机)倾斜头部来产生头部中连杆168的相同投影长度。比较连杆的投影长度与其源自生物机械骨架校准的实际长度可能无法解决所有定位模糊性。

一些实施例能够通过比较生物机械参考位置152与来自动作捕捉主体穿戴的至少一个动作捕捉传感器的测量值来解决因不同身体姿势的类似连杆投影所致的定位模糊性。根据一实施例的动作捕捉传感器170的一示例展示于图8的现有技术图解说明中。动作捕捉传感器170可包含电连接器172以用于与其他传感器或与数据采集系统建立电连接，且可包含方向参考174或类似标记以指示传感器报告动作的方向和可能的旋转角度所使用空间轴的方向。适用于实施例的动作捕捉传感器的示例包含(但不限于)惯性测量传感器、倾斜传感器、角度传感器、加速度计和动作捕捉主体穿戴的关节联接的动作捕捉联动装置。动作捕捉传感器中出现的适用于实施例的关节联接动作捕捉连杆的示例可附接到弹性带或服装物品，例如外衣186(参照图5)、有边帽或无边帽、一副手套、一双鞋等。图8中动作捕捉传感器170的示例大约为1cm2×约3mm厚，但可使用其他大小的传感器。

动作捕捉主体可在对应于生物机械参考位置的定位处穿戴动作捕捉传感器。例如，动作捕捉传感器170展示于图9中的生物机械参考位置152H处。另一传感器170展示于右膝关节152E处。可将动作捕捉传感器置于动作捕捉主体上的任一定位处，例如距关节已知间隔距离的定位处，如图5中在参考位置152B处所展示。与可使用传感器测量模型中待捕捉的每一关节和连杆的定位的现有技术系统相比，实施例可仅包含那些有助于解决因类似投影连杆长度所致的定位模糊性的传感器。例如，每一腿上的单一传感器使得实施例能够准确指定上和下生物机械骨架连杆在两条腿上的定位。每一手臂上的单一传感器解决了在连杆长度模糊时哪条手臂向前且哪条手臂向后的问题。头部上的一个传感器解决了头部向前还是向后倾斜的问题，等等。无需传感器来确定肢体长度。在动作捕捉主体上具有至少一个传感器使得可准确确定相机-主体距离。实施例准确定位场景中的生物机械骨架所需要的传感器少于现有技术系统来。

图10展示用于从附接到动作捕捉主体的动作捕捉(mocap)传感器读取定位信息的回路的一示例的简化方块图。动作捕捉主体穿戴的多个mocap传感器170中的每一者通过电连接器172通过电连接184耦联到CPU 176。CPU 176的示例包含(但不限于)微控制器、微处理器、专用集成电路(ASIC)、门阵列和可程序化逻辑装置(PLD)的硬件实施方案。CPU与非易失性存储器176、任选有线通信接口180(例如网络接口、行接口或并串行接口)且可能与任选无线通信接口182(例如WiFi接口或蓝牙接口)数据通信。CPU、非易失性存储器和通信接口回路可任选地由动作捕捉主体穿戴或可替代性地与主体穿戴的mocap传感器分离，并在要读取并存储传感器数据以供动作捕捉时连接到传感器。CPU 176可任选地与用于执行以下步骤中的一或多者的CPU相同：产生廓影、执行生物机械骨架的校准、将生物机械骨架叠加于来自相机的所捕捉图像上和移动生物机械骨架以与通过一个或多个动作捕捉传感器测量的定位数据重合。

除非在本文中另外明确陈述，否则普通术语具有在呈现其的相应背景内的相应普通含义，且普通技术术语具有其相应常规含义。

Claims

1.一种设备，包括：

比例尺框，所述比例尺框包括至少三个撑杆和至少四个校准标志，其中所述至少四个校准标志中的每一者的一个附接到所述至少三个撑杆中的每一者的一端，且所述至少三个撑杆通过所述至少三个校准标志中的一者以直角彼此联接；

相机；

以硬件实现的计算机，其中所述计算机与所述相机数据通信，且所述计算机适于从所述相机接收图像，将所述图像转化成廓影，且从所述图像提取用于生物机械骨架的参数；以及

动作捕捉传感器，与所述计算机数据通信。

2.一种方法，包括：

面向比例尺框定位相机，并且所述相机上的镜头的光轴是水平的且指向所述比例尺框的前侧；

将动作捕捉主体定位在所述比例尺框内；

记录至少两个图像，每一个图像都包含所述动作捕捉主体和所述比例尺框；

将所述动作捕捉主体的第一图像转化成第一廓影图像；

将所述动作捕捉主体的第二图像转化成第二廓影图像；

根据所述第一廓影图像与所述第二廓影图像的比较为生物机械骨架指定第一生物机械参考位置；

根据所述廓影图像与所述第二廓影图像的比较为所述生物机械骨架指定第二生物机械参考位置；

在所述生物机械骨架中在所述第一生物机械参考位置与所述第二生物机械参考位置之间连接连杆；

通过从所述动作捕捉主体的所述第一图像和所述第二图像测量的所述第一生物机械参考位置和所述第二生物机械参考位置的定位来指定所述连杆的投影长度；

测量所述第一图像和所述第二图像中的所述比例尺框上的所选撑杆的投影长度；

通过所述连杆的投影长度以及所述第一图像中的撑杆的投影长度和所述第二图像中的撑杆的投影长度来确定所述连杆的真实长度；以及

将所述连杆的真实长度赋予所述生物机械骨架。

3.根据权利要求2所述的方法，进一步包括：通过从所述第一图像和所述第二图像测量的投影长度来确定所述生物机械骨架中的另一连杆的真实长度。

4.根据权利要求3所述的方法，进一步包括：所述动作捕捉主体绕平行于所述相机镜头的所述光轴的轴拍手。

5.根据权利要求3所述的方法，进一步包括：

所述动作捕捉主体绕平行于所述相机镜头的所述光轴的轴旋转手臂；

将所述手臂抬到水平定位；

在保持所述手臂水平的同时抬起肩膀；以及

将所述肩膀下降到休息定位。

6.根据权利要求3所述的方法，进一步包括：绕平行于所述相机镜头的所述光轴的轴在肘关节处旋转所述手臂。

7.根据权利要求3所述的方法，进一步包括：所述动作捕捉主体绕平行于所述相机镜头的所述光轴的水平轴执行头部和颈部的旋转。

8.根据权利要求3所述的方法，进一步包括：所述动作捕捉主体绕平行于所述相机镜头的所述光轴的水平轴执行躯干的旋转。

9.根据权利要求3所述的方法，进一步包括：所述动作捕捉主体执行从腰部以上的躯干的移动，所述移动是绕平行于所述相机镜头的所述光轴的水平轴的旋转。

10.根据权利要求3所述的方法，进一步包括：所述动作捕捉主体将体重置于右脚上，通过弯曲左膝而从所述比例尺框下方滑动左脚，并且在所述左脚已通过下前左校准标志之后伸直所述左膝。

11.根据权利要求3所述的方法，进一步包括：

所述动作捕捉主体在绕平行于所述相机镜头的所述光轴的水平轴的旋转中抬起并放下左大腿；

略微抬起左脚并且旋转脚踝；

将体重置于所述左脚上，通过弯曲右膝而从所述比例尺框下方滑动右脚，并且在所述右脚已通过所述比例尺框上的上校准标志后方之后伸直所述右膝；

在绕平行于所述相机镜头的所述光轴的水平轴的旋转中抬起并放下右大腿；以及

抬起所述右脚略高于所述比例尺框上的下前校准标志，并且旋转左脚踝。

12.根据权利要求3所述的方法，进一步包括：

所述动作捕捉主体抬起右手臂且所述右手臂上的肘部和腕部保持僵直，同时保持所述右手臂水平以及右手上的拇指向上指；然后绕平行于所述相机镜头的所述光轴的轴旋转所述腕部；以及

将所述右手臂和左手臂定位成平行于彼此且指向所述相机，朝向并远离所述相机旋转两肩，并且将锁骨推向所述相机且随后将所述锁骨推离所述相机。

13.根据权利要求3所述的方法，进一步包括：所述动作捕捉主体朝向所述相机镜头向前弯腰。

14.根据权利要求3所述的方法，进一步包括：所述动作捕捉主体将体重置于左脚上，从所述比例尺框的前下撑杆下方移动右脚，并且在绕右腿与骨盆之间的关节的旋转中抬起所述右腿。

15.根据权利要求14所述的方法，进一步包括：所述动作捕捉主体在不弯曲右膝关节的情形下抬起所述右腿，且右脚上的脚趾向上指，在绕平行于所述相机镜头的所述光轴的轴的旋转中移动所述右腿，并且伴随着静止的躯干和骨盆。

16.根据权利要求3所述的方法，进一步包括：所述动作捕捉主体在肘部锁定的情况下旋转两个手臂。

17.根据权利要求3所述的方法，进一步包括：所述动作捕捉主体抬起右膝直到右大腿为水平为止，然后绕平行于所述相机镜头的所述光轴的水平轴旋转膝盖以下的右腿。

18.根据权利要求3所述的方法，进一步包括：所述动作捕捉主体水平地定位大腿且腿的远端竖直地定位，并且绕平行于所述相机镜头的所述光轴的水平轴旋转踝关节。

19.根据权利要求2所述的方法，进一步包括：在检测到模型区段中的不期望的动作时，警告所述动作捕捉主体。

20.根据权利要求2所述的方法，进一步包括：如果所述动作捕捉主体在连续图像中的每一图像中具有不同的区段远端的旋转定位，则通过比较所述连续图像来计算在所述区段的端处的生物机械参考位置的定位。