CN108431736A - 用于身体上姿势接口以及投影显示的系统和方法 - Google Patents

Abstract

一种具有姿势接口的可穿戴系统，其用于穿戴在例如用户手腕上。所述系统包括超声收发器阵列结构，并且可以包括微微投影仪显示元件以用于在表面上显示图像。通过接合手腕、手指和手部姿态，用户解剖特征输入以超声信号的形式被接收，所述超声信号表示用户的手腕的空间时间横截面，所述接合被转化成姿势。来自惯性和其它传感器的输入被系统用作解剖特征姿态标识方法和设备的部分。通过使用组织对象的生物度量的经数学建模的、基于模拟的集合来识别姿势，所述姿势被转换成可执行的计算机指令。本文中公开的系统的实施例还可以用于通过计算机网络或使用板上系统来监视生物计量和健康数据。

Description

用于身体上姿势接口以及投影显示的系统和方法

对相关申请的交叉引用

本申请要求2015年10月30日提交的美国临时专利申请号62/249,021的权益，所述专利申请的全部通过引用被并入本文中。

技术领域

本文中的公开内容涉及如下领域：可穿戴技术、姿势（gesture）识别、增强现实、人机接口、人类输入设备、微微或微显示投影、生物医学成像、超声（本文中也称为“US”）以及超声波扫描术。更具体地，本文中的公开内容涉及用于身体上姿势接口以及投影显示的系统和方法，以及一种用于生成姿势命令来用于控制计算机、显示器或使用人类解剖特征的姿态和姿势的其它设备的可穿戴设备。通过使用特征的超声地映射的、空间-时间横截面来获得姿态和姿势，所述特征已经基于包括特征的组织对象的预定的和用户生物度量而与数学模型相互关联。

背景技术

已知人机接口或交互（“HCI”）通道（有时被称为“人机接口”或“HMI”）具有有限带宽。在当前HCI系统中，用户典型地通过作为“人类接收”通道的显示器、屏幕或监视器而接收信息，并且通过使用被描述为“人类传送”通道的键盘/鼠标/其它输入设备而将信息传送回到计算机。

接收通道具有可以被认为是与相关联的显示器分辨率和色彩空间成比例的带宽。传送通道具有受与人类用户的物理和机械熟练度合作的相关联的输入设备的符号系统（alphabet）大小所限制的带宽。常规的显示技术在分辨率方面已经增加，甚至在诸如体积光场（3D）显示器之类的新的显示技术已经出现的时候，其使接收通道带宽增加数千倍。尽管有这些进步，但是作为需要训练以在其中发展熟练度的受限符号系统姿势接口或非直观机械接口的结果，传送带宽仍然是受限的。

常规解决方案中的这些问题当在移动（智能电话）显示器的上下文中被考虑的时候被放大。尽管移动设备显示器一般有很高的分辨率，但是人类视觉系统的受限的显示空间和视敏度迫使用户和设计者二者创建新的范式来用于人/机交互。这通过如下来被例示：使用多个屏幕以用于在非常少的触觉虚拟按钮的情况下导航通过应用。而且，可穿戴技术中的人类工程学约束限制最大显示尺寸。这进而产生问题，其中习惯于大显示器的用户不会发现使用小得多的显示器或与小得多的显示器交互是便利的，导致具有低传送以及低接收带宽二者的可穿戴设备。

本文中所述的实施例提供了一种系统和方法，其使能实现可穿戴的图像投影和姿势识别接口，从而导致如与类似常规设备相比的核心用户体验中的显著改善，而同时解决较早前描述的通道带宽问题。

通过允许用户从计算机器的内部状态提取信息并且通过允许用于输入命令来控制机器而使得计算设备有用。电子显示器通常用于信息输出，而机电键、触摸屏或键盘通常用于将信息输入到这样的计算设备。

随着设备渐渐变得更小、更薄、便携式并且可穿戴，存在可用于既显示信息又创建舒适接口以用于用户输入信息的减小的空间和大小。

这必须开发多种新的接口技术。例如，计算机现在通常也提供触觉（振动或电气）、声学和/或温度反馈输出。计算机和移动设备还可以提供各种非传统的输入技术，诸如用于机器视觉辅助的姿势识别的成像模态、语音识别、惯性运动感测、肌电图描记信号感测、脑电信号感测、生物力学应变传感器、通过生物媒介的络合声学信号感测、深度大脑激励感测技术（脑皮层电图学或颅内脑电图学）以及非侵入性生物成像感测技术（超声波检查法、磁共振成像、x射线成像），连同理解用户意图的微型化机电开关。

可穿戴计算系统的优点之一是它们通常总是可用于即时使用。在提取有用内容之前需要利用多个按钮或触摸元件的交互的可穿戴系统因此不能转化由这样的亲密性所授予的优点。可用于可穿戴计算机器的显示空间也保持受限。构造足够大以可用作可穿戴设备的显示器的美学挑战不能通过使用现有显示途径来被解决。

关于输入技术，本文中描述的实施例的系统和方法利用超声传送器和接收器（其当被组合的时候通常已知为“换能器”或“收发器”），所述超声传送器和接收器可以被穿戴在用户的解剖特征（诸如手腕或头）上，以映射特征的空间-时间横截面。由于手腕包含手、拇指和手指的多个肌骨骼机械元素（即屈肌/伸肌/外展肌/内收肌和肌腱）的汇合，所以它们的弯张/外延运动和组织变形可以容易地通过使用所公开的超声收发器或收发器阵列而被检测。本文中所描述的实施例的所获取的空间-时间信号图（map）以在现有设备之上的增加的准确性而与手腕或所选解剖特征的3维（3-D）、数学建模的机械姿态直接相互关联。手腕的所建模的3D机械姿态结合所获得的超声横截面图被用作用于计算系统的多状态离散或比率计输入。

本文中所描述的实施例的输出可以包括一个或多个微型光学投影的光显示器，本文中也被称为“微微投影仪”。这些微微投影仪元件被配置成使用来自设备和本文中所描述的实施例的输入传感器的输入来在平面和非平面的显示表面上渲染（render）和显示光学准确的光场。多个微微投影仪的使用允许系统使用一个或多个身体上的表面（例如手掌）或外部表面，在所述表面上投影所显示的图像。

在常规输出技术的情况中，可视显示器通常具有如与其他模态（声学或触觉的）相比的最大信息带宽。因此，显示器是用于用户的优选信息接收通道。尽管如此，有关的信息带宽与屏幕尺寸和分辨率成比例，使得小的屏幕尺寸和人类视敏度上的约束限制可以通过常规可穿戴技术传递的总信息。

输入技术面对类似的约束和挑战。基于机电开关的输入技术仍提供对计算设备的最高信息输入带宽和良好用户体验。不幸地，用于用户（从手指）的平均可用触觉区域保持恒定，并且触觉键的微型化不可能超越有限范围。基于各种电子模态的触摸屏出于它们不占空间的原因已经变得普及，但是触摸输入模态具有如相比于机电键的较低带宽。触摸能力还变得难以在可穿戴设备中所使用的日益更小的屏幕尺寸上实现。其它的输入技术处于各种成熟状态，但是在很大程度上使用统计方法来估计用户意图，这通常导致降级的用户体验。

以下讨论关于对于各种商业技术中的姿势识别和控制的特定常规途径的某些模仿。

许多关注被给予基于机器视觉的姿势识别。这包括使用多个成像模态，诸如使用电磁频谱中的不同频率、图案化或成形的电磁波、多视角图像捕获、空气耦合的超声发射器和接收器、射频天线阵列等等。这样的设备创建环境的2D或体积图像，然后信号处理技术用于将用户与背景隔离，从而识别用户姿势。这样的途径遭受多个缺陷，包括：

1. 这些常规途径倾向于捕获用户图像信息连同背景图像信息，并且需要显著的硬件和软件/处理努力来在两者之间进行区分。经常使用示出很大方差的统计假设来做出区分。

2. 这些相同的途径经常不能捕获对于估计解剖特征姿态所需的所有输入数据，因为关键信息无心地被遮挡或不被图像设备感测。

3. 这些途径对用户衣着施加约束（例如没有手套、没有袖子、戒指），并且这些途径可能被用户手中的物体误导，并且不能被截肢过的用户或具有某些医学残疾的那些用户使用。

4. 在并入了外部感测方案的常规应用中，这样的系统不容易是便携的，并且有关的传感器必须被附在相对于用户的非常特定的位置处。

5. 许多常规的解决方案导致通常已知为“猩猩臂”的重复的应变伤害，并且可能对用户在物理上有要求。

6. 常规的姿势识别解决方案通常对用户环境（杂乱、背景照明、传感器相对于地面的位置）施加约束，以便使得传感器准确地工作，并且许多系统约束用户的移动要在特定的位置或边界内。

7. 常规的机器视觉途径通常在传感器的实际视场是什么方面向用户提供很少或不提供任何反馈。这在用户非故意地步出由感测相机可访问的区时经常导致混乱。

8. 常规的机器视觉系统可使用多个相机设置并且捕获冗余的数据集。这进而增加硬件要求以及等待时间，尽管大多数数据最后作为背景被丢弃，这降低传感器效率并且浪费处理能力。

9. 常规的光学姿势识别系统还经常经历必须被单独处理的伪像（例如来自运动模糊、透镜畸变、阴影和照明的那些）。

对于姿势识别的另一常规途径基于在类手套的包封中所嵌入的传感器。该常规途径的传感器典型地测量四肢中关节处的变形以产生姿态估计。在这样的系统的情况下的主要限制是要求穿戴不舒适并且显眼的类手套系统，其中手套设计中所使用的织物的弹性可能不利地影响解剖特征的姿态估计。

更新近的常规输入技术被描述为生物声学感测。该途径一般涉及被置于人手上的某些位置处的振动传感器，其在用户触摸或轻击其身体的某些位置的时候测量振动传递信息。这样的生物声学系统的一些主要限制是：

1. 这样的方法只能被判别性地使用。新的姿势或轻击位置不能被区分，因而限制这样的系统能够识别的姿势的可用数目和分辨率二者。

2. 由于振动传递要求，该途径限制用户在使用这样的系统时可以穿戴的服装。

3. 生物声学系统要求使用两只手。

4. 在生物声学系统中使用的传感器基于组织密度仅能被置于某些身体位置处。

某些其它的常规姿势识别技术基于从人体提取的电生理学信号。一些常见的示例是肌电图（EMG）信号，其基于肌肉的电活动以及基于脑电图学（EEG）信号的技术，所述基于脑电图学信号的技术基于神经系统和人脑的电活动。如在微皮层脑电描记法中所使用的用于提取这些信号的侵入性技术是不实际的，因为它们需要外科手术或插入针状电极以用于安置，并且仅仅被用作最后手段、生命状况改善的选项。

对于EEG或EMG的常规非侵入性途径可以使用被安置在头部（用于EEG）或特定肌肉（用于EMG）周围的表面电极。对于这样的姿势识别途径的实际问题是：在这些信号的生成之后的科学尚未被很好地理解，并且大多数姿势识别算法判别性地运作。在非侵入性EEG/EMG系统中，每个新的姿势需要特定的、可识别的电信号被检测并且被训练。这限制可以通过这样的系统所记录的姿势的总数目。这些常规途径中的另一缺陷是：有关的信号具有非常差的信噪比，从而导致差的姿态估计。由于所需的表面电极在EEG/EMG中从不同位置中的多个组织拾取平均输入，所以这些系统具有降低姿势判别准确性的倾向，并且还要求传感器位于具有繁重电活动的区中。在这些系统的准确性和受限姿势判别能力情况下的总体问题倾向于将其使用限制于商业应用。

最后，存在已经被尝试但是遭受较早前在其它常规姿势识别尝试中所讨论的问题中的许多或全部的基于常规惯性测量和姿态以及前进方向参考的姿态感测系统。

除了以上讨论的姿势识别技术之外，存在关于使用可穿戴超声收发器用于识别姿势以及可穿戴的微型化微微投影系统的公开文献。以下讨论常规可穿戴超声姿势控制和投影途径的缺陷。

现在将讨论与可穿戴超声设备相关的以下文献：K.Beach在1996年10月10日提交的美国专利号5,818,359；Y.Zheng在2002年8月1日提交的美国专利号6,984,208；Y.Son在2010年7月21日提交的美国专利号8,292,833；S.Sikdar等人在2012年8月1日提交的美国专利公布号2013/0041477；以及Guo,JY等人的“Dynamic Monitoring Of Forearm Muscles Using One-Dimensional Sonomyography System”（JRRD，45（1），2008）。这些公开内容中没有一个计及当设备被穿戴的时候由机械固定装置或外部接触部所施加的压力。防止可穿戴设备跨或沿着人体解剖特征滑动的固定装置不变地在身体部分本身上施加大量压力（例如腕表带、领带、帽子、裤子的皮带、短裤中使用的松紧带）。该压力使皮下组织布置以及内部解剖对象的结构显著地变更、重定位以及变形，所述内部解剖对象诸如已知为在温和压力下萎陷的静脉或肌腱，其在所施加的压力下的近端背侧手腕表面区中重布置它们本身。

这样的组织重布置在多个穿戴-移除循环之间不一致地发生，并且因此影响从解剖特征接收的超声信号特性。以上参考文献中所公开的尝试没有教导任何方法来控制或减轻由这样的固定装置所生成的机械应力对身体内部对象和组织的影响。它们也没有讨论当例如用户的前臂和手处于静息或靠着外部表面被支撑或者与外部表面接触的时候所引入的信号扰动。对着肘部区以上的上臂的压力显著地影响通过皮肤的信号并且引起特征内的对象的组织变形。

人类组织具有高度各向异性以及异质的声学散射性质。因此，由收发器的重安置中的不一致性或滑动所导致的超声收发器阵列的微小旋转接合可能不合期望地导致非常大的信号变化。

在姿势识别应用中的另一问题是在身体组织中的惯性引发的运动（包括静态和振动性偏转二者）。人类四肢正常的每日运动和接合导致其组织相对于超声收发器或阵列的相对的内部惯性运动。由收发器本身所表示的惯性质量将影响组织在其紧邻处的惯性响应，从而潜在地使信号品质降级，这是由于在惯性载荷下的组织的机械变形所致。

当包括关节的解剖特征（例如手腕）经历旋转的时候，在关节周围的褶皱处存在变形，并且邻近的皮肤倾向于连同经历垂直于关节轴的位移的肌腱一同起皱。该起皱的皮肤/移动的肌腱结构针对外部穿戴的对象（诸如手表、带、条带或其它可穿戴设备）向外施加压力。当在手腕处使用利用凸声学透镜的可穿戴的超声探头的时候这特别成问题，因为这可能使得探头从感兴趣的横截面旋转开或在适当的位置移动。这进而由于组织中的各向异性而使得返回超声信号品质降级。没有在先前所标识的任何文献中提出对该问题的解决方案。

没有被常规途径解决的附加考虑是重力本身的影响。人类手指或足趾以及身体部分具有相当大的质量，并且它们的组织不足够硬以抵抗在重力影响下的非自发变形。这样的非自发变形导致在所有模态中的精确姿势识别中的问题。

超声被视为当前可用的最安全的成像模态之一。然而，对于安全性的该名声假定减轻US（超声）暴露风险，这通过限制剂量次数和强度，以及特别地追踪某些US（超声）性能指数。需要组织的长期声透射的超声设备必须注意安全性并且提供故障安全（fail-safe）设计，尽管本文中讨论的常规途径不直接解决安全第一的设计考虑。

在可穿戴设备应用中，大部分商业现成的超声收发器与相关的传送介质（即生物组织）阻抗失配。存在一些、例如1-3或2-2个压电复合物，其提供改善的阻抗匹配，然而这样的设备不解决空气-皮肤轮廓屏障以及通过它的泄漏。常规的US收发器的实际实现方式要么依赖于凝胶/油（参见Y.Zheng在2002年8月1日提交的美国专利号6,984,208），要么完全不提及US耦合介质（参见S.Sikdar等人在2012年8月1日提交的美国专利公布号2013/0041477），因此假定使用凝胶、油或特定的阻抗匹配介质。对于每次使用、在应用收发器之前以及在任何信号传送之前将会需要以上讨论的US凝胶应用。显然，凝胶或油的使用是极不便利的，并且不适于实际使用。

从算法的角度，姿势识别的常规尝试使用判别模型，诸如斑点追踪、归一化互相关以及对照一组参考或预定义的姿势表示的加权平均光学流度量，所述姿势表示诸如被存储在查找表（“LUT”）中，其从用于在脉冲回波/延迟和相加（delay-and-sum）数据的US扫描转换之后获得的全局图像（或局部子图像）上识别姿势的训练会话获得。通过使用众所周知的、预训练的分类算法（如果真要的话）执行姿势识别；否则简单地报告最高相关性得分。

这些常规途径的关键缺点是它们需要经标注的、在先训练数据集，其中用户“分类”或例如定义使食指完全屈曲意味着什么。用户很少能有精度地重现姿势，这导致累积偏差。这要求用户重训练软件，并且将用户限制到某些预定义的姿势。其中计算机并不自然地识别食指与拇指的这样的在统计上定义的姿势导致令人沮丧的用户接口交互。

这样的途径中的另一问题是它们是“参考性的”或判别性的，而不是生成性的。它们因而具有通过训练期间所使用的姿势来确切定义的非常有限的符号系统大小（即，算法的实现方式可以在用户可以实际上生成的姿势和姿态的整个集合之间进行区分的姿势的总数目）。这些姿势不能以如下方式被组合：用于识别从其他姿势的组合所获得的新姿势的方式。

例如，移动食指、移动拇指、以及一起移动拇指和食指在超声空间-时间信号空间中各自具有唯一的表示。这些表示不是基本姿势的线性函数。因此，通过单独地移动食指和拇指所获得的训练将不导致线性方法，所述线性方法标识其中同时移动拇指和食指二者的状况。因此，在这样的系统中常规途径可以增大符号系统大小的仅有方式是通过增大在训练期间定义的单独姿势的数目。例如，移动食指、移动拇指和一起移动拇指和食指表示需要单独被训练的三个唯一姿势。这导致两个问题：一个问题其中每个图像帧中的姿势的检测需要在整个训练语料库上计算得分，这导致更多的计算复杂度以及具有增加的等待时间的减小的帧率。以及第二问题，其中大训练数据集还迫使用户花费较长的时间训练算法，这在商业产品中是冗长且不可接受的。例如，代替于仅仅针对移动食指和移动拇指进行训练、表示两个姿势、并且使用该信息来估计何时两个手指同时移动，常规的技术需要对于三个单独的姿势进行训练。

S. Sikdar等人在2012年8月1日提交的美国专利公布号2013/0041477公开了使用用户解剖特征的回声反射性作为界标，诸如骨骼，用于预瞄准组织和肌腱位置。关于所公开的途径的关键问题是：解剖组成的特定位置并不是跨群体关于界标一致地可参考的，并且它们可能贯穿测量过程而不可见。例如，尽管拇长肌存在于多数用户中，但是它可能不处于相对于诸如用户中的尺骨或桡骨之类的界标的特定位置中。因此，基于静态界标的预瞄准对于用于姿势识别的算法并不很好地起作用。

在现有技术US姿势识别文献中使用的算法通常依赖于图像处理。这通过传统基于图像的模式匹配中所使用的归一化互相关度量的扩展使用而被证明。图像处理不合期望地需要使用在后端的US后处理中被称为“扫描转换”的过程期间发生的2D US图像形成。该过程引入空间和时间内插和混叠伪像，不直接表示或利用从回波描记术获得的原始超声数据，也不是甚至在非成像应用中需要的扫描转换。这样的图像形成/扫描转换引入不想要的硬件和等待时间开销；例如，用于存储帧的存储器缓冲器，以及用于存储、检索或访问缓冲器的时间。

常规姿势识别一般假定人体生理学是静态的，当事实上它不是静态的时候。该假定通过常规算法中获得的静态、一次训练参考的频繁使用来说明。因此，常规途径不计及衰老（老化）、个体发育（发展）和生活方式有关的改变。

另外，以上讨论的姿势识别参考文献中没有一个教导了在任何诊断或一般的健康护理模态中使用放射线照相术技术。此外，没有任何一个提供了如下接口技术：所述接口技术显式地是它们的超出简单消息显示的姿势识别算法的一部分。这样的方法使用中心频率方法，并且其技术基于脉冲回波以及延迟和相加模态。它们此外将非仪表化途径用于其算法，其中它们的测量过程不受其测量的性质所影响。

Y.Son在2010年7月21日提交的美国专利号8,292,833要求保护将设备定位在“手腕”上并且对“腕隧道”进行成像。设备被理解成对隧道中的屈肌肌腱进行成像并且将波形与从收发器获得的返回信号相关联。美国专利号8,292,833的设备被理解成通过使用来自与手指屈曲可能地对应的惯性测量单元的信号来识别用户是否已经移动了手指。

存在对于美国专利号8,292,833的实现方式所独特的若干问题。在腕隧道区中，肌腱被压缩在一起。所有肌腱倾向于在隧道中和谐地一起移动（由于被包封的性质）。在绕俯仰、侧滚或偏转轴的手腕或肘部接合导致在腕隧道处的变形，从而还导致肌腱的表观运动。因此，所获取的信号在该途径中遭受严重和谐掩蔽和混叠。另外，任何手指或足趾的任何接合需要对抗地起作用的至少两个肌腱（屈肌和伸肌）——伸展中的手指将导致对应屈肌的很小畸变并且反之亦然。由于伸肌肌腱通常不通过腕隧道，并且由于参与在手指或足趾接合中的肌肉群组、诸如拇短展肌或蚓状肌，这事实上严重地限制可以利用这样的途径所感测的实际姿态。

在较早前引用的参考文献中被装配在手腕上的姿势识别系统中所使用的惯性测量传感器被配置成检测特定于手腕位置的绝对旋转、定向或加速度。因此，除了来自单独手指的那些之外，它们拾取来自手腕接合和前臂运动二者的惯性响应。参考文献没有呈现在这样的不经意的激活之间进行区分的任何解决方案，也没有已知存在于文献中的任何有关的通用算法。通常，由于这样的系统的欠定的（under-determined）性质，单独的惯性测量不能解决这样的问题。

可穿戴投影系统还在以下文献中被讨论。A.Tony等人在2011年3月31日提交的美国公布号2012/0249409；C. Harrison等人在2011年5月17日提交的美国专利号US 8,619,049；P. Mistry等人在2010年2月3日提交的美国专利公布号2010/0199232。这些中没有一个讨论了所使用的投影技术的有意义的细节。现有技术可穿戴或微型化的“微微投影”途径可以基于四种技术，激光扫描、硅上液晶（LCoS）、数字光投影（DLP）或微发射OLED技术。

微发射OLED技术不被认为是用于微微投影的有用模态，因为它不生成用于使实际投影发生的足够的光输出或亮度。DLP/LCoS二者都需要如下各项的组合：照明LED、准直光学器件、组合光学器件、均质器、射束分裂器、偏振再循环系统，所有附加于空间光调制器单元、投影光学器件组装件、功率驱动器集成电路和像素调制集成电路——这些引入了关于这样的光引擎可以具有的最小体积所占空间（footprint）的约束。

激光扫描技术具有关于斑点化的问题，其需要使用光学和光激性多样性来降低所投影的图像中的斑点对比度，并且需要使用附加的硬件。用作这样的系统中的照明源的LED和激光二极管占据体积，并且需要扩展的热管理子系统。仅仅可以通过降低这样的系统的总光输出来管理这样的设备的大小，并且即使那样，系统体积实际上不能被很大程度进一步减小，从而限制了可穿戴技术系统中的采用。

如明显的，常规的可穿戴姿势识别和投影系统基于不很好地遵照可穿戴设备形状因子或在可允许的设计中严重受限的技术。这还约束了具有多个嵌入式微微投影元件的系统的设计，并且将设计限制到意图用于在单个表面上显示所投影图像的那些。

常规的尝试不考虑许多投影表面（例如人类皮肤）具有不一致的光学特性。通过基于皮肤表面的光学特性、房间的环境照明以及手的姿态/姿势的非线性增益函数来对用户皮肤表面上所投影的光进行变换。屏幕增益和环境照明已经是对于墙上投影显示的显著挑战，并且通常通过使用高强度的灯来被解决，并且身体上的投影约束使得这样的显示品质甚至更具有挑战性。

常规技术微微投影途径不考虑以下事实：用于可穿戴设备的投影表面的几何结构可能不是平面的，并且可能在具有3D时变变形的2D皮肤表面上。在皮肤表面下的肌腱的任何运动以及任何软组织变形引起多个方向上的所投影的光的反射，这产生对比度中的损失以及效率和亮度的损失。如果显示被投影在其上的身体部分在显示期间经历姿态改变，则问题变得更加困难。

在微微投影技术中所做的常见假设是：所意图的投影表面是或将是垂直于所投影的光的。如果投影表面在平面中旋转，那么它被旋转一致的角度值。这使用在梯形畸变（keystone）校正中。但是身体上的表面将很可能具有多个非线性的弯曲，并且常规途径中没有一个计及此。计及这样的非线性弯曲需要图像分辨率从线性到非线性的转换，并且必须在显示技术中被物理地计及，或通过如下被计及：使用已知为降低这样的显示器中所使用的有效分辨率的软件翘曲算法。

某些常规的途径要求保护使用不返回关于实际组织变形的信息的姿势识别技术。例如，C. Harrison等人在2011年5月17日提交的美国专利号8,619,049讨论了使用生物声学感测，其缺陷在较早前被讨论过。A. Toney等人在2011年3月31日提交的美国专利公布号2012/0249409考虑使用不以任何保真度地提供实际姿态识别的低分辨率技术。因此，这些常规解决方案不提供高分辨率手段来计及姿态引发的软组织变形。

如所指出的，以上讨论的常规途径使用判别性途径用于识别姿势，这与使用生成性模型相对。例如，美国专利公布号2012/0249409需要使用预定义的激活定位，并且美国专利号8,619,049使用基于判别的在先训练数据。这大大地限制这些途径的交互模态和投影能力。

所需要的是一种姿势识别和微微投影系统和方法，其解决在常规途径中的以上缺陷，并且提供高分辨率姿势识别，所述高分辨率姿势识别利用人手和手腕或其它解剖特征的大姿势符号系统。

附图说明

图1A是图示了在根据本文中描述的实施例的方法中的步骤集的流程图。

图1B描绘了在多个身体部分（本文中的“解剖特征”诸如人手、手腕、肘部、头部等等）上穿戴根据一个实施例的系统的用户。

图2A-B图示了分别处于打开和闭合定位中的示例系统的实施例，其中所述系统可以穿戴在用户的手腕或前臂上。

图3图示了可以包括系统的示例实施例的各种子系统。

图4描绘了根据实施例的系统的示例系统架构。

图5A-D示出了根据系统的实施例的在其上可以同时或单独地发生显示投影的各种身体表面。

图6图示了根据一个示例实施例的系统的子单元的超声收发器阵列。

图7A-C图示了根据一个示例实施例的用于描述人手的部分的3D运动的各种解剖参照。

图8A-F图示了根据一个示例实施例的使用人手的五个手指来与投影到其掌中或背侧表面上的显示内容交互所做出的代表性姿势。

图9A-B图示了根据一个示例实施例的绕如在图8A-F中所参照的腕骨轴（桡骨和尺骨）的“俯仰”运动中的代表性姿势。

图10A-B图示了根据一个示例实施例的涉及近端和中间指骨的偏转接合的代表性“紧握”运动姿势，其中手指被带入与手掌表面接触。

图11A-B图示了根据一个示例实施例的涉及近端和中间指骨的偏转接合的代表性姿势，其中没有将手指带入与手掌表面接触。

图12A-B图示了根据一个示例实施例的以手腕的定向的拇指的代表性“俯仰”运动。

图13A-K图示了包括通过根据一个示例实施例的系统可识别的前臂的定向的手指和手腕姿态的各种范例组合。

图14A-C图示了根据一个示例实施例的范例复合姿势，其通过将拇指尖指向各种手指和指节间的褶皱以及手指尖，而同时将手腕维持于稳定的姿态和定向由所述系统可识别。

图15A-C图示了根据一个示例实施例的姿势交互的模态，其中用户手臂的手指用于与被投影在相对的臂的表面上的显示相交互。

图16A-B图示了根据一个示例实施例的被用作用于系统的所显示图像的投影表面的外部显示表面。

图17图示了在重构全身姿态中的系统的实施例中所使用的运动学模型。

图18A图示了根据一个示例实施例的基于超声收发器的、身体上姿势识别系统的架构。

图18B图示了根据一个示例实施例的过程步骤集的流程图。

图19A-B图示了根据一个示例实施例的方法的生物计量数学模型中所使用的手腕的简化混合元素模型。

图20图示了根据一个示例实施例的使用在线联网软件的方法的示例软件架构。

图21是根据一个示例实施例的方法的信号识别数学模型中所使用的人手的混合元素模型的代表性图示。

图22A-C根据一个示例实施例图示了手腕和手关节标注、手指关节表示，并且描绘了在姿势期间手指关节表示如何变换。

图23示出了根据一个示例实施例的手指关节表示，其中不同的关节测量具有不同的分辨率。

图24是使用根据一个示例实施例的方法、根据姿势识别所构造的网络图的表示。

图25示出了在根据一个示例实施例的方法中的呈递和软组织变形模拟中所使用的模型的架构。

图26图示了根据一个示例实施例的用于控制被投影到手的手掌表面上的游戏的系统的示例实施例。

图27图示了用于解释在根据本文中的实施例的系统的启动时段期间执行的示例姿势识别过程的流程图。

图28图示了用于解释根据本文中的实施例的示例姿势识别过程的流程图。

图29是根据本文中的实施例的根据统计生物计量数据的人体的表示。

图30是根据本文中一个实施例的由用户穿戴的系统的所标识位置的表示。

图31是根据本文中一个实施例的用于解释已经被分离的数据的聚类（cluster）的边界的标识的表示。

图32是根据本文中实施例的用于解释所检测的边界与解剖特征的对准的表示。

图33是根据本文中实施例的用于解释通过侵蚀或扩张的经对准边界的简化的表示。

图34是根据本文中实施例的用于解释在超声数据中所检测的边界的简化的表示。

图35是根据本文中实施例的从简化的边界信息中生成的网格的表示。

具体实施方式

为了克服上述限制，本文中所述的实施例的系统和方法使能实现一种可穿戴且移动的姿势识别系统，其包括多个投影和传统显示系统，而同时通过使用多个超声收发器和传感器元件而获得高保真度用户姿势输入。

在实施例中，所述系统可以被穿戴在手腕上，而通过手的背侧和手掌方面来提供显示投影表面。在该实施例中，通过接合手腕、手、手指和拇指姿态而接收用户姿势输入，并且获取包括手腕的解剖对象的超声空间-时间横截面图，姿态被估计并且转换成可执行的计算机指令。通过使用经数学建模的、基于模拟的姿势识别系统方法来获得可执行的计算机指令，所述系统和方法还可以从一个或多个用户定义的机械和电子传感器接收输入。

为了本申请的目的，术语“姿态（posture）”是指人类解剖特征中的一个或集合的静态或瞬时动态的定位、定向或这二者。作为示例并且不通过限制，姿态可以包括人手、手腕、拇指和手指的定位或定向或这二者，诸如其中在“指向”定位中，食指手指基本上水平地延伸，并且拇指和其余的手指被保持靠近于手掌。这些姿态通过每个关节处的自由度（DOF）的值或状态的组合而被唯一地标识，如图7中所示。

姿态的另一示例可以包括一定向，其中手的手指和拇指被保持向上并且靠着彼此，其中平整的手掌竖直地面向外，如可以被展现为用于“停止”或“终止”的命令。

为了本申请的目的，术语“姿势（gesture）”可以是指如较早前定义的单独的姿态。此外，术语“姿势”可以是指连续采取的、要么静态要么处于沿着运动路径的瞬时点处的单独姿态的集合，即：瞬时姿态的集合，包括人类解剖特征的运动路径，诸如从一个角度手腕定位向一个或多个不同角度手腕定位沿着运动路径的挥手。姿势的另外的示例可以包括从打开手掌定位到闭合定位的闭合或紧握拳头。唯一的姿势可以包括在关节的自由度的值或状态的多个集合、即姿态之间的多个唯一的转变。

如可以设想的，如果可以标识包括姿势的单独姿态的集合，则可以识别动态姿势（即移动）。由于人手的手腕、手指和拇指的关节的数目和许多自由度，容易显而易见的是存在手、手指和拇指可以采取的许多可能的静态或瞬时动态的姿态和姿势。

明确地指出：虽然本文中姿态和姿势的所描述的示例关于人手、手指、拇指和手腕，但是术语“姿态”和“姿势”被认为可适用于人类和非人类动物解剖体的所有方面，所述解剖体包括而不限于人类或动物的面部、颈部、头部、臂、肘部、肩部、脊柱、臀部、腿、膝盖或脚踝。

本文中所公开的一个实施例部分地利用所选人类解剖特征的新颖数学模型，其包括预定的“对象”数据集，所述数据集在数学上表示构成解剖特征的内部和外部人类组织元素（本文中的“对象”），作为用于生成数学模型的基线数据集。可以通过从“云”或其它外部数据存储介质或源将数据集下载到系统而提供预定的对象数据集。

所述对象数据集表示相关解剖特征的预定的内部和外部组织对象的多个用户定义的生物或生物力学特性或度量（共同地为“生物度量”），并且被用作用于开发包括解剖特征的对象的模型的变量初始集合。

在一个实施例中，提供一种模型，其数学地描述解剖特征及其组织对象，这通过使用生物度量的对象数据集和方程来建立在生物度量和因而对象之间的大量数学关系。所述模型可以包括管控、构成性或运动学方程和约束的任何组合，如对于数学建模领域中的合理技术人员所已知的。

对象数据集可以表示对于人类群体的所选子集的平均或典型生物解剖特征度量中之一或其集合，所述所选子集诸如通过体重、身高、性别、年龄、种族或人类群体的任何用户定义的子集。对象数据集可以包括用户定义的生物度量的任何组合。作为示例并且不通过限制，对象数据集可以包括对于多个内部或外部身体结构、组织或元素的生物度量（例如物理的、生理的、或生物力学的）的集合。对象可以例如而不限于包括肌肉、肌腱和韧带、骨骼、血管、表皮或真皮、或这样的对象的任何组合。

对象数据集可以包括对象的生物度量的用户定义的集合，所述度量可以包括例如以下各项中的任一个或组合：对象位置、其对于解剖特征中另一对象的相对位置、最大预期对象位移或变形、对象运动范围、相对于解剖特征中其它对象的运动的相对范围和角度、对象自由度、半径、周长、回波（即超声）性质、弹性、形状、长度、厚度、宽度、横截面几何结构、或密度或骨骼过程，以及其它生物力学特征性质或能够被数学建模、包括诸如通过有限元分析（FEA）或可变形动态网格分析的性质。

在图1A中所示的方法的一个方面中，公开了一种方法，其用于向人机接口系统中的计算设备或处理元件生成姿势命令。在框101处，提供了用户的解剖特征的多个预定内部或外部对象的数学模型。在所图示的实施例中，解剖特征是人类手腕。所述数学模型提供了技术来根据人体中这样的对象的任何任意的构型（configuration）来模拟超声测量，并且比较所模拟的测量与从框102获得的实际测量的超声数据，并且评定所述模型和任意构型在预测对象的实际构型中的拟合性。

在框102处，通过对用户的解剖特征的空间-时间横截面进行超声映射从多个内部和外部生物元素、结构、特征、即“对象”（例如骨骼、肌肉、肌腱等等）的用户解剖特征来获得超声信号数据集。

在框103处，通过使超声信号数据与从对象的构型的数学模型获得的模拟结果相互关联来标识用户的解剖特征的一个或多个对象的至少一个预定性质（除了其它之外尤其例如变形、速度、形状、定位）。在框104处，然后至少部分地基于一个或多个对象的所标识的性质来估计用户的解剖特征的姿态。

所述方法的姿态估计可以此外基于从传感器元件接收传感器输出，所述传感器元件被配置成测量用户的预定事件、环境或物理改变或状态中的至少一个。

所述方法的传感器元件可以包括以下各项的组中的一个或多个：加速度计；陀螺仪；压力传感器；GPS传感器；麦克风；电磁成像传感器；环境光传感器；颜色传感器；角度传感器；电生理学传感器；EMG传感器；生物声学传感器；RFID天线；超声测距传感器；高频收发器阵列；电磁场和接近度传感器。

在图1A的实施例中，所述方法可以此外在框105处基于所估计的一个或多个姿态以及所标识的姿势来生成预定可执行的计算机指令或命令。

所述方法的计算机指令可以被配置成修改计算机屏幕上的显示信息，或修改被投影到表面上的显示信息，所述表面可以是人类解剖特征的非线性表面（即皮肤或衣着）。

在此外的实施例中，系统可以在不被穿戴的情况下被使用，并且任何可用的表面、诸如墙壁或桌子可以用作投影显示表面。在这样的情况中，可以通过被嵌入在系统的带状元件中的机电开关和电磁/机械振动传感器中的选择来接收用户输入。在另一实施例中，所述系统可以用于通过计算机网络或通过使用板上系统来监视解剖特征的生物计量和健康数据，这通过将对象的所标识的性质通过计算机网络传送到远程位置以供健康护理专员分析。

图1B是可穿戴系统1的某些实施例的非限制性图示，所述可穿戴系统1可以被穿戴在例如人类手腕、前臂、上臂上、左或右臂上、或颈部周围，或附于眼睛近旁或附到跨躯干的任何区。系统1还可以被穿戴在大腿、膝盖、脚踝周围、左或右腿或脚上。在本文中描述的实施例的一些实施例或应用中，诸如用于医学应用的那些，系统1不需要包括图像显示或投影元件。

其它实施例可以被配置成通过使用智能电话或移动设备或通过有线或无线网络接收和发送数据。在另一模态中，所述系统可以被提供有微微投影显示模块，并且可以具有一个或多个固定的显示器，例如LCD。如图1B中所示的，在一些实施例中，一个或多个系统1可以组合地被使用。在这些实施例中，系统1与彼此通信以共享信息。

图2A-2B图示了一实施例，其中系统（诸如图1B中所示的系统1）被穿戴在手腕周围。当被穿戴在手腕周围的时候，系统1可以包括带状元件5以用于绕手腕的周界穿戴，并且包括如所示的铰链10和闩锁15。系统1还可以包括一个或多个超声（US）收发器25，以及电子LCD显示器20’。

当带状元件5用于说明的目的被描述的时候，注意到：一般平面的结构可以被附到人类解剖特征、诸如躯干的表面，而不是带状元件5，并且这样的结构被设想为落入本文中的权利要求的范围内。

图3图示了可以包括系统1的范例代表性硬件子系统。第一投影显示组件可以是微型化的显示投影模块，在本文中被称为“微微投影仪”20。作为代表性示例，图3描绘了多个微微投影仪20以及电子LCD显示器20'，其被布置在围绕带状元件5的外部周界表面的表面的预定、间隔开的位置处。

一个或多个超声（“US”）接收器/发射器或超声收发器25（其可以是以包括US收发器子单元的阵列的US收发器阵列的形式）被布置在围绕带状元件5的内部周界表面的预定、间隔开的位置处。收发器25耦合到电子和处理电路，所述电子和处理电路被配置成使能实现超声能量的发射和接收，并且被配置用于主体解剖特征的空间-时间横截面的映射。

系统1可以此外包括常见的机电输入系统元件，诸如按钮、开关、转盘和触摸表面元件27以用于对系统1的输入。系统1可以包括可变张力的闩锁15和铰链10，用以在带状元件5中引入电子控制的可变张力。闩锁15和铰链10可以被配置成感测并且将基于压力的触觉反馈提供给用户。

系统1可以包括一个或多个聚合物声学层30，所述层充当界面并且被布置在带状元件5和用户的皮肤之间。声学层30被设计成提供用户定义的声学衰减、热绝缘，并且创建与用户皮肤的柔软且连续的接触部，用于促进在皮肤组织和系统1之间的顺从的界面。

系统1可以包括一个或多个彩色RGB相机35，所述相机包括像素阵列，所述像素阵列被配置成捕获用户的皮肤组织色调和颜色和/或在用户周围的环境照明。系统1可以包括附加的相机和光学器件子组装件35'，以用于用户定义的数字图像获取的目的。带状元件5的一个或多个部分可以用于系统1的无线天线通信37的I/O。

系统1可以包括以用户定义的图案而布置的一个或多个扬声器/麦克风子系统40，以用于声音输出、捕获用户语音的目的或用于估计用户头部位置。系统1可以包括以阵列或网格所布置的一个或多个振动反馈系统（未示出），用以向用户提供振动-触觉反馈。

如图3中所描绘的，所述系统可以包括一个或多个温度传感器网格阵列45，所述一个或多个温度传感器网格阵列45耦合到用户的皮肤或耦合到用户身体的内部系统温度。温度传感器45可以作为网格阵列被提供，以监视用户的内部身体或组织温度，以用于故障安全热监视。

图4图示了系统架构400并且图示了一组系统核心元件410，所述系统架构400描述了用于可被提供的系统、诸如系统1的一组示例子系统，取决于用户应用。

所述架构可以包括一个或多个通信接口420，诸如Wi-Fi、蓝牙、有线、RFID或近场通信。系统1输出元件430可以包括电子显示元件、诸如发射型和非发射型2D显示器、光场或3D显示器、扬声器或触觉系统。在一个实施例中，所述光场显示系统是可穿戴近眼显示系统，包括增强现实显示系统或虚拟现实显示系统。具有适合供本文中所述的实施例使用的扩展视角的示例3D显示器、超高分辨率2D显示器或2D/3D可切换显示器包括而不限于在2014年10月7日被颁发给Hussein S. El-Ghoroury等人的、题为"Spatio-TemporalDirectional Light Modulator"的、美国专利号8,854,724中所公开的那些，其中每一个的全部内容通过引用被并入本文中。系统1输入440可以包括诸如加速度计或陀螺仪的惯性测量传感器，、压力传感器、用于位置数据的GPS传感器和接收器、麦克风、电磁成像传感器、环境光传感器、颜色传感器、角度传感器、电生理学传感器、EMG传感器、生物声学传感器、RFID天线、超声测距传感器、高频收发器阵列、或电磁场和接近度传感器。

图4中所描绘的示例子系统可以此外包括一个或多个处理器、图形处理器、专用处理器、存储器、接口控制器、便携式功率供给单元、和功率管理子单元。系统1可以包括局域和广域通信硬件和软件，用以使能低功率、短距离通信，以及通过使用天线37而提供对标准无线联网硬件的访问。图1的所图示的通信子系统可以被配置成将系统1与多个其它的电子或计算设备相连接，所述其它电子或计算设备包括相同或类似于系统1的设备。除了本文中所提及的微微投影仪20和常规显示器20'之外，系统1可以包括LED和电光单元，用以向用户提供视觉反馈。

如图4中所示的，除了超声收发器25之外，系统1可以包括惯性和/或磁性测量或姿态航向传感器以及参考子系统445中的一个或多个；例如，诸如基于微机电加速度计、陀螺仪和磁力计的那些。系统1可以此外包括电磁场传感器、机电接近度或应变传感器、电生理学传感器和振动传感器。

系统1可以被配置成从使用空中声学测距收发器或基于电磁天线的传感器的空间并置系统450接收输入。这样的空间并置系统可以用于确定系统1相对于用户身体的定位。如图4中所示，系统1还可以包括姿势系统故障安全开关455。姿势系统故障安全开关455可以包括一个或多个温度传感器网格阵列，所述一个或多个温度传感器网格阵列耦合到用户的皮肤或耦合到用户身体的内部系统温度。温度传感器可以作为网格阵列被提供，以监视用户的内部身体或组织温度，以用于故障安全热监视。

图5A-D图示了可以由系统1的微微投影仪20使用的示例身体上投影表面。所示的多微微投影仪20系统可以与至少一个微微投影仪20一起使用，并且能够在一到四个身体表面上投影。显示投影可以在一个或两个或更多身体表面处同时发生，如图5A-D中所示。例如，系统1可以投影到如所图示的手的手掌表面以及前臂的腹侧表面上。在可替换的实施例中，当用户移除带状元件5的时候，任何外部表面可以用于充当投影屏幕。

在身体上的图5A-D的所图示的投影表面鉴于以下事实被选择：前臂可以在眼睛和投影表面之间维持相对稳定性。在一个实施例中，为了防止通过尝试维持僵硬手臂姿态的重复应变伤害（RSI），微微投影仪20可以被配置成基于姿势以及在手臂姿态之间的转变而自动地在手掌和腹侧前臂表面到背侧手和前臂表面之间切换。

较早前讨论的常规微微投影仪使用DLP、LCoS或基于激光射束扫描的技术。然而，系统1的实施例的投影技术和微微投影仪20基于量子光子成像仪或“QPI®”成像仪。（“QPI®”是Ostendo Technologies公司的注册商标。参见H. El-Ghoroury等人在2010年3月19日提交的美国专利号US 8,049,231），其是一种微发射型固态发光结构技术，它具有被集成到高分辨率GaN-GaAs分层的像素阵列的背板中的功率和逻辑电路，并且具有被直接集成到像素堆叠顶部的微光学器件层。这种形式的微微投影仪20创建占据非常小的体积的功率高效的微微投影显示。

适合供本文中所述的实施例使用的示例QPI成像仪（微发射型固态发光显示元件）包括而不限于在美国专利号7,623,560、7,829,902、8,567,960、 7,767,479、8,049,231、和8,243,770中所公开的那些，每一个都题为"Quantum Photonic Imagers And Methods OfFabrication Thereof" 并且被转让给本文中的申请者，其中每一个的全部内容通过引用被并入本文中。

以上参考的QPI成像仪以如下各项为特征：高亮度、非常快速的光多色强度以及在包括所有必要显示驱动电路的单个发射型显示设备中的空间调制能力。在本文中所述的实施例的上下文内，术语“微微投影仪”意图涵盖光电子设备：所述光电子设备包括发射型微尺度固态光（SSL）发射像素的阵列。下文中简单地被称为微微投影仪的这样的设备的SSL发光像素可以是发光二极管（LED）或激光二极管（LD）或任何固态发光结构，其开-关状态通过CMOS电路内所包含的驱动电路来控制，在所述CMOS电路上形成或结合发射型微尺度像素阵列。

QPI成像仪的发射型微尺度像素阵列内的像素通过其驱动CMOS电路而在空间上、颜色上和时间上单独可寻址，从而使得QPI成像仪能够发射经空间、颜色和时间调制的光。通过QPI成像仪所发射的多个颜色有益地共享相同的像素孔径。QPI成像仪像素以范围从±5º到±45º的发散角而发射准直（或非朗伯）的光。构成QPI成像仪的发射型阵列的像素的大小典型地在近似5-20微米的范围中，其中所述设备的典型发射型表面面积在近似15-150平方毫米的范围中。QPI成像仪可以被设计有在其发射型像素阵列与成像仪的物理边缘之间的最小间隙，从而允许许多QPI成像仪被拼贴（tile）以创建任何任意大小的显示区域。

由于投影中所涉及的较小距离（投距（throw）），使用QPI成像仪的所投影的显示可以非常亮，而无需显著功率。以上列出的美国专利的QPI成像仪的微光学器件和聚焦模块在考虑非线性投影表面和投距的情况下被特别地设计。当然，虽然QPI成像仪对于用作本发明的微微投影仪或使用于本发明的微微投影仪中是理想的，但是本发明不被这样限制，并且在期望时，其他成像仪可以被用作本发明的微微投影仪或使用于本发明的微微投影仪中。

人类解剖特征（即皮肤或表皮）的投影表面本身是软的、可变形的组织，其根据姿势而变形。皮肤表面不是一致的中性颜色，在用户之间变化，并且促成颜色劣化，具有全取决于身体位置的可变反射率和光洁度（毛发）（例如，背侧手表面较暗，并且具有如与手掌表面相比的不同反射率）。最终投影的显示品质强烈地取决于投影表面的环境中的周围照明。这样的问题必须被考虑以向用户提供经改善的身体上显示体验。

投影系统的软件组件包括算法，在本文中称为“皮肤引擎”，其补偿并且调节来自微微投影仪20的所投影的显示输出，用以计及人类皮肤投影表面的可变性质。所述皮肤引擎获取从相机35接收的皮肤投影表面的图像数据，并且基于以下各项而修改所投影的显示输出：组织变形、手姿态、投影表面、反射率、环境照明、皮肤颜色和用户头部/眼睛位置。在显示在皮肤表面上之前、在将图像传送到投影系统帧缓冲器之前，通过使用静态和动态对比度增强、颜色校正、伽玛（gamma）、纵横比、图像畸变和变形校准来修改待显示的图像。

本文中所述的方法利用非侵入性US感测模态，所述模态深入身体查看以得到来自内部对象和结构的生物力学信号，所述内部对象和结构必要地伴随人类解剖特征姿态中的改变。身体的所有自发和非自发的姿势和姿态总是伴随有生物力学组织变形。这样的生物力学变形信号的提取和数字化使得能够捕获对姿态和姿势信息进行表示的相关的、高度压缩的、且最少冗余的数据集。对这些数字表示的数学建模和分析使得能够实现在人类解剖特征的单独姿态和姿势之间的高分辨率判别。

US收发器25被提供有机电发射器，所述机电传送器将非离子化的声学压力波发射到组织中。所发射的压力波以大约声速在组织中传播、与内部对象的动态组织结构相互作用，并且基于构成解剖特征对象的组织的独特回波性质而被反射、折射、衍射和衰减。通过使用被安置在US成像的组织区周围的机电接收器来检测波前（wavefront）的这样的声学发射分量。来自换能器的所接收的信号被称为“V”。所接收的信号的特性对原始发射的波前与之交互的内部对象的组织的空间-时间分布和性质进行编码。收发器25还可以被配置成传送预定的经编码的且定向的波前，所述波前返回用户定义的特定且经滤波的US信息。

在被称为“超声检查”的领域中，高频声波或超声波通常用于收集关于生物力学组织结构的信息。这样的超声检查技术通常与基于阵列的超声收发器以及图像形成/扫描转换硬件和/或软件耦合以产生表示人体横截面的二维图像以供查看和分析。这样的横截面图像在医学领域中是有用的，其中组织结构信息可以揭示组织的内部状况。超声检查中的惯例是使用同一机电元件作为既发射以及也接收的元件，通常被称为超声收发器。

超声成像机器很大并且笨重，且意图通过使用基于液体或凝胶的发射耦合而跨整个人体上的多个位置被手动地操作。这些机器有必要很大，部分因为制造商倾向于：1）使用现成电路，2）增加用于改变意图的模块性，以及3）支持使用相同硬件的高分辨率可重配置的特征集。

如图1A-5D中所描绘的系统1的手腕穿戴的实施例使能实现人手腕的空间-时间横截面的近实时的映射，并且不需要扫描转换的过程密集步骤。由于手腕包含手、拇指和手指的所有肌骨骼机械元素（屈肌/伸肌/外展肌/内收肌肌腱、邻域韧带和骨骼）的汇合，所以它们的弯张/外延运动、以及周围和背景组织变形可以通过使用如本文中所公开的紧密超声收发器25而被检测。通过使用手腕的基于生物计量的数学模型而使所获取的空间-时间信号图以比其它商业上可得到的人机接口设备更大的准确性而直接与手腕的3维机械姿态和姿势相互关联。

在其中系统1直接在手腕之上且围绕手腕被穿戴并且从身体内部获得生物力学信号的实施例中，没有对用户的视场约束，并且有用US信号中没有任何部分被遮挡。针对手部姿势所获得的超声回波对象信号数据与前臂或上臂的其余部分的定向和姿态无关。因此，用户可以选择当参与其他活动的同时操作设备，例如，用户可以在用户的手在衣服口袋里的情况下做姿势。系统1的灵活性避免有猩猩臂综合征状或RSI的问题，所述问题烦扰基于外部相机的机器视觉姿势系统。

本文中所公开的方法不仅仅考虑肌腱的运动学（不像美国专利号8,292,833或5,818,359），而是代替地考虑位于相应肢体（包括但不限于深处肌肉、脉管系统和骨骼）的横截面中的对象和组织的全变形和多个生物力学及变形特性。这是重要的特征，因为在肌腱变形的时候，它们的回波性质剧烈改变，并且可能不像在常规途径中那样可通过使用预定位的传感器而检测。如果仅有肌腱用于姿态检测，则缺乏来自肌腱的清晰US信号阻止对姿态的准确识别。

人类肌骨骼系统示出在获取精确自发和空间运动技能中的卓越可塑性。这是用户优选具有物理按钮的机电键盘以及还有为什么触觉输入在所有其它输入模态中具有最高带宽的原因。因此，通过在手的手指近旁产生所投影的光接口来实现的感觉运动反馈环路的闭合是主要优点，所述手指的姿态通过使用本文中所公开的姿势识别方法和设备而被感测。直接反馈允许对人类感觉运动复合体的加强学习和训练，从而导致高度直观的用户接口。该环路闭合的效果是用户可以容易地获取姿势技能。

图6图示了图3中所示的超声收发器25阵列的示例实施例。收发器25阵列的安置中的设计应当考虑以下能力：对所考虑的区中的图像组织变形的配置，避免来自无反响的矿化组织（比如骨骼）的所传送的波的阴影化，而同时计及人类解剖体中的统计可变性。例如，被安置在手腕区的腹侧上的单个收发器25可能不能从通常传递得表面地更靠近手腕的背侧表面的伸肌肌腱提取信号。

因此，在系统（诸如系统1）的实施例中，收发器25根据象限而被安置，或可以不对称地安置以基于针对特定应用的感兴趣的区而最大化组织可见性。收发器25可以合期望地与其它收发器25正交地被布置以准许不同的信号接收模态。在某些实施例中，不是所有收发器25需要被连续地或周期性地使用，并且所选收发器25可以被特别地激活以使能机密或用户定义的感测目的。

关于图6，系统（诸如系统1）的超声收发器25可以被制造在硬或柔性的衬底100上，在所述衬底上可以装配专用集成电路（ASIC）110或数字信号处理器（DSP）。衬底100可以充当通孔互连层，其将功率和数字信号线从系统1连接到ASIC 110。支撑收发器25阵列的高压脉冲发生器电路120可以作为ASIC 110的一部分被提供，或者可以是连同ASIC 110一起被封装的独立管芯。

如图6中所图示的，在一个实施例中，衬底100除了用于支持US成像的其它类似的电子和处理电路之外尤其可以包括发射和接收射束形成器电路、数字化仪电路、数字到模拟转换器电路、增益控制电路、存储器、切换装置、复用器/解复用器以及可编程的模拟或数字滤波器。声学传送阻挡层130可以被布置在ASIC 110和高压脉冲发生器120电路的表面上。阻挡层130可以用于主动或被动地阻挡反向声学传送，并且可以被设计成提供特定的声学阻抗。阻挡层130可以包括半导体材料。另外，ASIC 110还可以包括特定于频谱多普勒信号处理的电路。

收发器25可以包括有源、机电US收发器子结构140或“单元”的阵列，并且可以位于阻挡层130的顶部，并且可以用作US发射器或US接收器或二者的组合。构成收发器25的阵列的超声收发器子结构140可以例如包括微机电元件（MEMS），或可以包括复合陶瓷层。可以存在以线性、二维矩形或椭圆网格被布置在支撑衬底100上的多个收发器子结构元件140。基于所期望的空间信号分辨率和射束操纵参数来确定所述多个子结构140的节距和几何结构。几何参数还可以被选择成防止皮肤上的毛发干扰超声波发射或接收。单独的收发器25子结构元件140可以在大小上缩减以获得取决于所需分辨率水平（例如，使较小的血管特征成像）的较高分辨率超声信号传送和获取。

收发器阵列25的可替换实施例可以包括电容性微机器加工的超声收发器阵列，其从半导体晶片以及光刻型或表面微机器加工过程而制造。这样的实施例准许高密度集成，所述高密度集成使用在3D集成电路互连和封装技术中所使用的经证明的制造方法。在这样的实施例中，ASIC 110可以连同收发器25一起被单片地制造，并且可以形成收发器25层的背板。在其它实施例中，可以利用压电活性材料层、诸如氮化铝来取代电容性元件，所述压电活性材料层可以通过气相沉积过程被沉积在微机械薄膜结构的表面上。

收发器元件25可以被提供有有源或无源的矩阵电极子结构140，所述子结构连接单独的收发器25或收发器阵列与ASIC 110和功率电路。收发器25阵列本身可以被装配在能够周期性振动的微机电转化器级上，或提供如下转化方法：所述转化方法依赖于压电、电磁或静电致动策略以生成3D体积扫描。收发器25阵列中的子单元140可以被配置成以所选的波长/频率多样性方案而操作，其中混合频率或多频率收发器用于增加聚焦深度。

收发器25可以此外包括被沉积在其它收发器元件的表面上的一个或多个声学匹配层150，用以降低在收发器25和组织介质之间的声学阻抗失配。声学匹配层150可以包括聚合物声学透镜层160，用以聚焦超声传送的波前。可以通过高粘性且顺从的基于聚合物的声学层30来封装声学透镜层160。

系统1的可替换实施例利用对于通过应用模态在算法上确定的US信号射束形成的类型和性质的仪表化途径。由于多收发器25阵列的配置，单独的收发器子结构140或阵列可以以常规脉冲回波信号发射和接收模式被操作，以及被配置用于投-捕（pitch-catch）或透射传送（through-transmission）模式。实施例可以使用所返回的超声信号中的谐波内容，这基于以下事实：常规的基频超声对于大约30%的人类群体是不被很好地容忍的。

在传统超声检查中，超声收发器阵列通常以扫描模式被使用。虽然适合用于超声成像目的，但是扫描模式降低可以从超声系统收集数据的速率，并且降低响应性。为了克服该缺陷，除了扫描阵列模式之外，实施例可以利用平面波射束形成途径，用以准许既更快速以及也更安全的信号模态。由于本文中所公开的实施例的目标应用固有地是非成像的，所以实施例可以使用多个不同的模态来监视手腕横截面区中的组织改变。该途径是仪表化的途径，其中多个频率和多个扫描类型被用于成像算法中，以提取关于手腕中组织对象中的改变和变形的最大信息。积分和保持-移位（hold-shift）方法可以用于产生超声数据集。射束操纵算法可以用于聚焦于离轴区上（既在收发器平面中以及也在高程平面（elevationplane）中），或聚焦于特定的特征上用于较高准确性的读取。

在还另外的可替换实施例中，阵列的单独收发器25子结构140可以通过使用压电、静电、电磁、磁性、电子或机械相变或光子压力引发的振荡而以切变或纵向振动模式被激活。收发器25子结构140可以与至少一个声学阻抗匹配层150耦合。

衬底100可以被设计成机械地或电子地防止或阻碍与目标位置相反的信号传送。每个子结构140可以被配置成既充当发射器又充当接收器，即收发器25。以此方式，一系列空间上和时间上成组的超声振荡可以用作发生器，并且一系列空间上和时间上成组的振荡器可以在脉冲回波、投-捕或透射传送模式中被使用，从而在波前与生物组织对象相互作用并且被返回之后接收所述波前。通过使用利用了特定加权函数的多焦和多扫描平均化，这确保微小的扰动不影响所获取的超声信号。

许多常规的途径依赖于使用扫描转换来根据超声脉冲回波数据而生成图像。扫描转换过程基本上将收发器所捕获的超声数据转化成将适合用于显示的笛卡尔坐标。在超声系统中，对扫描转换器的输入是所获取的回波数据，并且输出是被显示在监视器上的数据。然而，注意到：本文中所公开的方法不在硬件本身上使用扫描转换技术，并且代替地，直接在所接收的超声响应信号上操作，以最小化硬件、软件和复杂度开销。扫描转换不合期望地引入图像伪像，所述图像伪像需要另外的校准以被移除。另一扫描转换缺陷是：来自径向收发器的图像，由于其射束展开和聚焦的径向性质，引入阴影区，所述阴影区尽管具有很小的熵却也占据缓冲器中的存储。尽管如此，特别地来自相同区的超声回波信号具有很小的熵。在本文中所公开的实施例中利用这样的冗余，以改善帧率和扫描目标获取。高帧率使得能够以闭环来使用本文中所公开的实施例的射束形成方法，并且还使得能够追踪特定的组织。

例如，由于人体中的组织和血管和肌腱的统计上守恒（conserved）的空间分布，本文中所公开的方法可以利用基于字典的编码方法来实现较大的压缩以用于通过网络传送数据。本文中所公开的方法利用更高效的计算算法，所述计算算法直接在压缩数据上操作并且利用信号的稀疏性质；从而降低开销。小波变换可以用于变换编码，然后编码基于特定信号生成的特性而被量化以移除接收模态，然后最终被以字典编码。该方法消除基于扫描转换的2D图像形成伪像的可能性。

然而，本文中所公开的方法可以在可替换的实施例中将扫描转换例程并入在云服务器上或网络上，其中来自设备的流式数据可以用于在请求时生成图像。为了防止对超声数据的未经授权的访问，扫描转换算法访问可以被配置成被加密和/或仅仅在经认证时被释放给经认可的医学专业人员。

在可替换的实施例中，收发器25包括收发器子结构元件140的2D相控阵列，所述收发器子结构元件被配置成发射宽超声射束，所述宽超声射束从收发器25偏离开并且以锥形体积扫出。所返回的回波被收发器25的2D阵列检测到并且然后被处理以实时地显示来自体积的多个平面。这些平面可以被交互式地选择以允许用户查看在探查下的所期望的区。

源自超声的健康风险来自通过长期暴露于声波的组织加热，流体空腔化和体液中的声流的危险。通常，来自组织的热学加热的风险被最小化，因为存在操作者监管，并且探头关于特定的区通常不是静止的，并且血液灌注典型地防止任何局部化的加热。然而，对于肌肉和脂肪组织的灌注时间常量较大，因而慢得多。

制造商通常利用机械和热学指数来计算并且呈现超声剂量学数据给放射线科执业医师。本文中所公开的实施例使用类似的途径，除了在算法上确定和监视声学剂量之外，其中系统算法控制声学信号中所包含的频率和功率，并且使用射束操纵来防止相同区的连续监视。由于本文中所公开的实施例一般用于不依赖于高分辨率成像的非诊断应用中，所以系统算法控制入射的超声强度处于平均值。这此外通过基于多频率收发器、合成聚焦和可操纵阵列的安全仪器化的途径来被辅助。

在一个实施例中，较早前讨论的温度传感器网格阵列45是独立的故障安全电路，其具有多个冗余的热学传感器元件，所述元件追踪、监视和估计在被定为目标的组织区内部的温度，并且包括在闭合控制环路中的多组织校准因子。如果接近或超过任何预定的安全操作温度阈值，则电路可以警告用户或切断到收发器电路的所有功率。来自温度传感器阵列45的数据还被前馈到控制声学暴露和剂量的系统算法。

在身体改变姿态的时候，在相关解剖特征的人类组织中以及在系统1中由于它们相应的质量而引发惯性运动。组织和手指或足趾还经历由于重力存在所致的变形。例如，手在掌面朝下时候的静息姿态大体上不同于掌心向上转动中的手的静息姿态。为了计及这样的影响，惯性测量传感器、诸如加速度计、陀螺仪和磁力计可以被包括在本文中的实施例中。惯性测量传感器是特别有用的，因为身体部分在重力的影响下可显著变形，而不引起内部组织的结构中的明显改变。被并入到系统1中的惯性测量传感器可以被配置成提供关于重力的特征和身体定向、加速度和角速度测量的粗略估计。这些测量被提供到以下讨论的系统算法，所述系统算法考虑组织和设备的惯性运动以用于手势识别。

由于惯性测量传感器一般穿戴地耦合到用户的身体，所以它们可以用于重构用户整个身体的姿态的低保真度模型。这样的姿态数据用于在当用户正站立、移动、行走、坐着或躺下时之间粗略地判别。使用惯性测量传感器使能识别何时身体经历例如来自与外部对象的撞击或接触的突然运动。

如较早前指出的，来自跨身体部分所附接的设备的压力可以引起近邻区中的组织的显著和不确定的变形和重布置。在可穿戴超声姿势识别上的常规尝试要么没有弄清楚有关的收发器如何附接到用户的身体，要么假定使用粘合性材料。代替地，带状元件5处于用户之上的轻微压缩负载之下。张力传感器和致动器对（未示出）可以用于可变地控制带状元件5的形状、张力和变形。这样的压缩压力于是可以被计及并且被主动地控制。较早前讨论的可变张力闩锁15和铰链10的使用有益地解决这些担忧。

系统1的实施例可以使用结构性带状元件5、铰链10和闩锁15，其由形状记忆合金（SMA）构成。如所已知的，SMA被利用工程方法设计以在施加热的时候经历在某些温度下的相变，并且将它们的形状改变成预记忆的形式。通常经由通过使电流通过SMA构件来对SMA构件的电阻性加热来施加热。这样的机电张拉（tensioning）系统可以用于调节跨带状元件5所施加的压力或张力，以使带状元件5结构的张力变紧或放松，或用以跨超声收发器25在期望的位置最优地分布压力，以及提供带状元件5的实际形状的某种可控性。在压缩负载下的这样的变形轮廓对于每个用户是唯一的，并且可以在算法上被调节以用于最优的感测和精度。所公开的形状记忆合金的带状元件5或铰链10或闩锁15还可以用于通过轻柔地“紧夹”用户的手而提供触觉反馈。

医学超声设备典型地使用液体、油和凝胶来确保在橡胶声学透镜和皮肤之间的声学传送。这些途径是湿式技术，并且不能使用在消费者电子空间中。为了避免这样的湿式耦合介质，实施例利用如在图3和6中所图示的基于聚合物的聚合物声学层30。

虽然美国专利公布号2013/0041477讨论了使用PVA或聚氨酯以用于用作这样的耦合材料，但是这些表示具有高度可变的机械、热学和环境性质的宽泛、非特定的类的材料。本文中所讨论的实施例不仅仅聚焦于声学方面，而且还聚焦于其构成结构的机械和热学性质，以及制造容易。因此，除了匹配组织声学阻抗之外，聚合物声学层30材料是共形的、顺从的和发粘的以均匀地与皮肤粘附，使能在光洁或非光洁（多毛）皮肤上的密封形成，这类似于通过特别地采用通过发汗或流汗所产生的汗水来填充表皮中的空缺和褶皱，以及以其它方式创建机械耦合表面，所述机械耦合表面既是穿戴起来舒适的，而同时计及通过手腕尺寸中变化的径向压缩中的变化。声学层30充当用于电子器件的热学隔离器，以及充当用以阻止所耦合的组织-手链振动的机械阻尼器。该共形性可以通过使用基于SMA的结构、闩锁15和铰链10来被辅助。

在一些实施例中，声学层30包括柔软且发粘的热塑性弹性体聚合物混合，诸如由以下各项形成的那些：异戊二烯聚合物、或苯乙烯-丁烯块共聚物或聚（苯乙烯-乙烯-丁烯）共聚物，这三者具有特定的添加剂增粘剂树脂以控制粘附特性，无残渣的聚合油以控制机械一致性，以及赋予正常设备操作和环境温度下的热学稳定性、光学品质、颜色和亲水涂层的各种其他添加剂。这样的聚合物混合的益处是：它们可以容易地被注塑或压模以及结合常规制造技术被工程设计。制造期间所采用的特定过程允许将无源且电子的组件添加到这样的聚合物。这样的材料的尺寸可调节以补偿用户的解剖尺寸、设备的惯性运动以及通过闩锁所施加的径向压缩负载。

声学层30可以被设计成是用户可置换的。声学层30中所包含的有源或无源的电子电路可以用于向系统1传送对声学层30的特性进行标识的唯一数据。例如，声学层30所需的特性除了其它之外尤其可以包括机械顺从性、制造日期、邻近、电阻率。

对于无菌应用，这样的聚合物材料可以用于构造整个手套，或仅仅构造与前臂重叠的手套的袖口部分。这允许在其中期望使用无菌或净室服装的环境中使用本文中所述的实施例。

在声学层30的误运转或不可达性的情况中，简单的自来水可以用于建立在身体和设备之间的界面。可以预期通过汗水的毛细管作用长期地维持该暂时的界面。

如较早前陈述的，实施例可包括允许用户拍照片的一个或多个相机设备35和35'。相机35和35'还可以被配置成实现显示品质反馈系统，以通过使用诸如但不限于对比度、亮度、颜色色域的度量来改善微微投影仪20品质。相机35可以专用于在环境光、皮肤颜色以及皮肤光学性质之间进行判别。

空间并置系统（SCS）涉及系统1的架构中的模态，其允许手腕的绝对空间坐标相对于身体而被感测并且被报告给系统的应用处理器。对于多系统层次，SCS可以提供在多个系统之间的相对空间位置。可以采用该信息以在多个场景中提供交互式服务。这样的场景的示例将是检测手臂相对于人体的正中矢状的、冠状的和横向平面的相对拉伸，以用于健身或医学或交互式娱乐应用。在实施例中，SCS可以通过使用空中超声收发器或电磁场传感器或红外收发器对或结构光发射器-传感器对或深度传感器而被实现，或者可以使用麦克风阵列以用于头部（扬声器）定位。SCS还可以用于估计关于水平面或地面平面的信息。

另外，系统1可以被提供有其它类型的传感器元件，诸如机械薄膜应变计量器或干电生理学传感器以及压电振动传感器。这样的传感器使能在离体模态中使用本文中所述的实施例。系统1可以包括一个或多个总集或分布式便携功率供给系统，所述系统具有其自己的功率管理电路。这些功率系统可以包括锂聚合物离子技术。系统1可以包括一个或多个振动致动器，所述振动致动器为用户生成触觉反馈。这样的致动器可以排他地或结合SMA触觉缢缩反馈致动器被使用。较早前所描述的麦克风/扬声器阵列40可以用于通信目的，其中阵列信号处理技术用于提供一种分离语音与噪音的方法。

本文中所公开的实施例可以结合分布式或基于云的计算系统来操作。因此，实施例可以包括一个或多个硬件接口，诸如天线37，以用于网络或对等连接性，例如但不限于电话、Wi-Fi、蓝牙、无线的无线电、近场通信（NFC）。多个系统1可以被配置成与彼此通信，并且用于在彼此之间创建局部网状网络以及传输信息，诸如相对位置、定向、当前姿势类型等等。由于系统1对计算机和云传送和接收数据，所以所有的实施例可以用于与本地机器或远程/虚拟机器相对接。

图7A-C示出了所使用的解剖命名法，以及系统1可以使用的自由度的定义。可以关于腕隧道的位置相对于手腕而定义参考系。关于某些轴的接合不可能仅仅根据超声数据以低误差被检测，因为激活肌肉群组中的一些被包含在手掌区中，诸如蚓状肌、掌短肌以及拇组，并且对于超声收发器25不可访问。发生某些状况，其中系统1不能精确地捕获手指的PIP（近端指骨间）或DIP（远端）接合。然而，通过使用利用手的运动学中的冗余以及通过使用在手腕的致密封装组织结构中所生成的交感应变场来估计这些轴。

图8A-F示出了与用户接口交互的代表性姿势，所述用户接口可以由皮肤引擎调解。在一个实施例中，皮肤引擎算法将手指接合（姿态）信息呈现给皮肤引擎，所述皮肤引擎然后使与手指对应的特定图标突出。这可以针对在背侧或手掌表面上的投影而发生。通过使用涉及所有五个手指的接合的紧握、抓挖或抓取姿势来选择特定的图标。由于用户典型地具有五个手指，所以五个图标或任务菜单具有对于皮肤引擎的特定意义。皮肤引擎控制所投影的光场的变形和修改，用以计及软表面组织变形和光照。在姿态和数字信息之间的实际交互同用户与物理对象交互是完全相同的方式。尽管图8A-F示出了手掌或背侧的手部表面投影，但是相同的用户接口概念适用于前臂表面投影，其中来自每个手指的姿势用于控制前臂表面上的五个图标菜单。

图9A-B图示了如下示例：物理上直观的翻页姿势如何可以用于与所投影的光场交互。在该实施例中，关于腕骨轴（图7A-C中所描述的）的俯仰、其以其他方式被称为桡骨尺骨偏离，用于实现翻页或滚动通过姿势。

类似地，图10A-B图示了紧握动作如何可以用于选择任务的示例。

图11A-B图示了与图10A-B中所示的那个类似的范例姿势。图10A-B示出了通过接口的翻页或滚动，其基于除了拇指之外的四个手指的近端指骨的接合。

类似地，图12A-B示出了通过检测拇指球（thenar）俯仰姿势所实现的选择动作或按钮按压动作。在该图示中，示出了相机接口，其中拇指球俯仰姿势指示系统1拍照片。手上的每个手指可以被归于单个按钮推按类活动。

图13A-K图示了系统1可以区分的各种各样的多个手指姿势。这样的姿势在非言语通信模态中是有用的。

在图14A-C中呈现另外的姿势图示，其中拇指用作对手指皱褶的指针。每个姿态表示可以用于传达预定信息的唯一姿势。

外部压力源可以定位在具有有限分辨率的超声信号中。这样的定位可以用于实现交互性。图15A-C示出了实施例，其中在一只手上生成所投影的显示，而同时另一只手用于将点压力施加到手掌或前臂表面上。通过使用这样的定位，粗略的触摸姿势可以被识别并且表示两手交互模态。

图16A-B示出了实施例，其中代替于将显示投影在身体表面上，投影被指向外部屏幕。这样的外部投影的显示可以使用基于手的姿势输入和抖动控制，其通过使用皮肤引擎中的适当软件而被管理。

在实施例中，系统1被穿戴在眼睛周围的颅骨的眼眶区中或邻近所述眼眶区（参见图1B），并且可以通过使用粘合性贴片或等同的方法而定位在颧骨、颞骨、蝶骨或上颌骨中任一个上。收发器25然后可以用于追踪六个眼肌群组（上、下、侧面和内直肌（左/右）以及上和下斜肌（L/R））连同上睑提肌 、眼轮匝肌、主要/较小颧大肌以及提上唇肌的活动。基于硬件的位置和软件的目标，系统1可以除了其它应用之外尤其追踪眼睑活动、虹膜的眼跳、巩膜区的旋转、面颊表情、嘴部张开结构、耳部的变形。该实施例在如下应用中具有重要性：在所述应用中重要的是追踪眼睛，诸如在增强现实和虚拟现实可穿戴显示器中。

类似地，系统1可以被穿戴在人类颈前部（参见图1B）。类似于先前的应用，系统1可以用于追踪人类声道中的快速波动以及相关联的生物力学结构改变。这些波动可以用于多个应用中。例如，所述结构中的特定的自发改变可以用于定义姿势，这类似于手部姿态如何用于识别姿势。

如以上所讨论的，姿势可以包括在身体或手部的姿态或定位之间的转变中的一组姿态。姿态可以包括比如以下各项的信息：手和身体中的关节的伸展或压缩位移以及角接合，以及对应的关节速度。绕其可以发生这样的接合或位移的关节的总数目被称为系统的自由度（“DOF”）。这些DOF可以关于身体或身体部分（诸如手腕）或身体或身体部分的轴或平面中的任一个而被定义。姿态的集合可以被标注为姿势。姿势可以包括如下二者：定位位移的大小或角接合信息，以及时间和速度信息，使得缓慢重复的相同姿势可以不同地被定义或可以构成不同的姿势。

手中的自由度的姿态通过使用系统1被确定，并且身体的其余部分的自由度的姿态通过使用被称为“I”数据的惯性运动传感器而被确定。该姿态信息用于构造如图17中所示的身体和手的代表性粗略运动学姿态模型。图17图示了实施例，其中系统（设备）被穿戴在左手上。以高分辨率对该手部区建模。人体的姿态的其余部分通过使用粗略的集总元素来被建模。

可以通过使用来自惯性测量“I”以及手腕穿戴的实施例中所包含的其它传感器的数据来构造人体粗略姿态模型。来自这样的传感器的数据可以通过使用模型驱动的自适应和非线性滤波技术（参见Yun, X., Bachmann, ER.“Design, Implementation, And Experimental Results Of A Quaternion-Based Kalman Filter For Human Body Motion Tracking”（IEEE Trans））来被处理以获得和追踪姿态。预期的是除非另一系统1被穿戴在右手上，否则集总的人体姿态的某些自由度将具有与它相关联的较高误差，所述误差与它们距惯性测量传感器的距离成比例。然而，这样的身体姿态模型仅仅用于粗略地将身体姿态分类成主要身体姿态分类，除了其它之外尤其诸如坐着、站立、行走、跪下和蹲伏，并且这样的数据被称为“B”。可以利用声学麦克风阵列通过使用声源定位和射束形成算法框架来估计头部的近似位置。参见Zhang, C.等人的“Maximum Likelihood Sound Source Localization and Beamforming for Directional Microphone Arrays in Distributed Meetings”（IEEE Trans.Multimedia，10 (3)，2008）。

在根据一个实施例的系统和方法的初次使用情形中，可以要求用户录入自标识信息，除了其它之外尤其诸如年龄、体重、身高、性别和皮肤色调。该信息可以用于从如所讨论的数据库选择初始统计生物度量。这样的生物度量可以被提供以自动填入关于群体中除了其它之外尤其是不同身体部分的重量和尺寸、组织厚度的统计信息。该评估可以用于确定用于系统算法的初始条件，并且该标识的效果更多用户特定的数据在系统1的使用期间被累积并且在生物度量数据库中被更新的时候被逐步地移除。通过图27图示该初次使用实施例的示例过程。如图27中所示，在框2701处，提示用户用于输入诸如年龄、性别、身体类型等等。在框2702处，输入信息用于检索数据的特定子集。在框2703处获得统计人体模型，其具有参数值，除了其它之外尤其诸如几何结构、声学信息、材料信息、电子性质、用于接合的运动学模型及其限制。还可以获得用于这些参数值的置信区间。

基于初始条件，简单的超声信号生成和获取模态、诸如A模式扫描可以用于如框2712中所示的初次使用情形。在框2712处，超声测量获得自当前横截面并且被提供给框2713处的预处理算法，用以获得关于用户所穿戴的系统的定向和位置的信息。从这样的扫描获得的数据连同其它传感器或致动器模态允许标识某些生物计量参数，除了其它之外尤其诸如系统1被穿戴在其上的手腕或手臂上的设备的位置、手腕的周长、以及带状元件5的定向。该初始信息可以用于评定某些内部对象界标的位置，所述内部对象界标诸如桡骨和尺骨骨骼，以及脉动组织、诸如动脉和静脉，以及肌腱和其它组织的近似位置。例如，系统1可以检测其初始定向，这通过检查无反响骨骼区的相对大小，以及它们是出现在相对于系统1的左侧还是右侧。

在框2704处，根据一个示例实施例，较早前下载的统计人体模型被转换成特定于用户的有限元模型。在一些实施例中，统计人体模型被转换成集总元素模型或转换成混合元素模型。在一个实施例中，所述模型可以包括动态和可变形的网格。在一个实施例中，所述模型可以包括至少一个数值优化例程，所述例程服从运动学约束地操作。在一个实施例中，所述模型可以包括至少一个非监督的统计学习模型。在一个实施例中，所述模型可以包括至少一个监督的统计学习模型。在一个实施例中，所述模型可以包括至少一个概率图模型。该转换还可以考虑来自框2713的输出，所述框2713执行预处理以标识粗略解剖特征，从而获得关于系统相对于用户的定向和位置的信息。在框2714处，身体姿态和惯性传感器数据（IMU传感器数据）被获得并且在框2705处被用于在存在重力加速度的情况下利用来自IMU传感器的加速度输入来针对系统的刚体运动进行模拟。

在框2706处，模拟跨所生成的有限元网格模型的声波传播。在框2715处，统计上守恒的姿势数据集被获得，并且在框2707处与框2706中所获得的经模拟的数据集相比较。在框2708处，通过比较来标识初次使用的简单姿态，并且在框2716处将所述姿态传递到姿势识别系统。在框2709处，分析在所模拟的超声模型和实际超声数据之间的误差，并且预处理器——驻留在存储器中、具有可重配置的指令的控制程序——在框2710处被更新以瞄准误差位置，并且从误差位置获得较高品质数据，其中较高的品质除了其它之外尤其通过可调谐的声学聚焦深度、扫描元素的数目、滤波器参数来被定义。在框2711处，扫描中所使用的易失性或非易失性存储器中所存储的硬件参数被更新以致力于误差或不确定的区。例如，射束形成器可以被调谐以当没有任何姿势被系统主动要求的时候操纵射束以瞄准位置。

由于人类解剖体的统计上类似的性质，一些简单的姿势（诸如来自手腕的接合或手掌的紧握运动的那些姿势）可以被直接识别，而无需任何另外的输入或通过系统1根据从框2716所获得的数据的训练。例如，如图7A-C中所示的手腕处的手掌向下和掌心向上或转动导致显著的相对骨骼位移并且可以被容易地检测。类似地，腕骨偏转可以生成系统1的旋转，这是由于皮肤组织在带状元件5的边缘处堆积，其可以通过惯性传感器被检测到。因此，这样的简单姿势可以在对设备进行控制中直接地使用，而这样的姿势的较精细的方面通过系统1被学习。

在这样的初始化之后，系统1可以指引用户经历某些预定序列的姿态或姿势，其意图用于改善参与生物力学运动的内部组织的标识和瞄准。这被称为“初始算法适配”。

常规的途径依赖于通过要求用户执行与所述标签相关的特定姿势并且然后存储与该标签有关的数据来为数据集创建许多“标签”。这些姿势识别过程然后仅仅对应于测量在当前数据和所存储的数据之间的最高相关性，并且返回该标签作为姿势的标识符。

关于创建被加标签的数据集的问题是需要专家监督以维持标签一致性。例如，在被要求接合食指时，如果用户移动其中指，则该姿势最后被标识为食指姿势。因此，这样的训练途径要求用户显著地注意确保正确的响应。关于该常规途径的另一问题是在手指移动之间存在交感耦合——不同的人具有独立于另一个手指并且重复地移动一个手指的不同能力。这使判别算法困惑，即使用户相信他们仅仅移动了单个手指。

代替地，本文中公开的方法不使用基于标签或标注的训练。在“初始算法适配”过程期间，没有向用户建议任何特定的姿势或动作。他们可能仅仅被提供空间特征或图标，这通过使用在手掌或前臂上的所投影的光显示，预期用户使用对他们而言便利、直观或自然的无论什么姿势来对所述光显示做出反应。另外，可以要求用户伸展或屈曲他们的手指和手腕到最大和最小的舒适限制，以确定他们的独特的关节屈曲/伸展限制。这些请求可以由系统1以特定的序列呈现，所述特定序列被选择以突出在用户经历运动时的特定解剖特征。例如，表示按钮的图标可以被显示，用户可以通过使用一根手指的屈曲来与所述图标交互。在另一示例中，游戏可以用于相同的目的。该过程可以被重复若干次，包括在背侧或手掌/腹侧表面上的投影。在该“初始算法适配”过程期间，各种统计的、机器学习的和优化算法用于构造用户特定的内部解剖体的较高保真度模型。

在这样的交互期间，组织对象超声数据被收集、存储和处理，这要么在本地要么通过网络。收集关于肌肉、肌腱、脉管系统以及组织生物力学、以及变形的信息以告知系统1的数学模型。

图18A图示了根据本文中的实施例的姿态和姿势识别系统（诸如系统1）的示例架构1800。它包括软件或硬件应用控制器，所述软件或硬件应用控制器与超声收发器1812（例如超声收发器25的阵列）、系统中的其它传感器1814和1816、以及系统1的操作系统1838通信。它可以被连接到通过操作系统1838在广域网上可访问的外部软件或硬件设施，其被称为系统1的云组件1810。

如图18A中所描绘的，控制器1826可以包括联网和通信外围接口1834、存储器1818和数字信号处理器（DSP）核1820。DSP核可以具有执行特定功能的专用分段。例如，来自网状网格热学温度传感器1828（诸如温度传感器45）的数据可以被馈送到热-机械监视器分段1822，所述分段1822追踪内部组织温度分布。DSP上的其它专用分段可以是姿态数字化仪分段1824、声场模拟器（AFS）分段1832以及基于物理的可变形王网状动态模型（DM2）模拟器1830，其附加于预处理器2710和硬件设置2711。这些分段中的每一个可以受益于由控制器1826接收的来自传感器网格的输入传感器信号。

控制器1826起作用以收集和处理从超声收发器1812以及ASIC（诸如ASICS 110）接收的信号，确定仪表化的信号生成和获取算法以及协议，配置、维护和更新预处理器2710，分析并且译解内部组织对象结构，基于用户接口控制器而分析并且译解姿态和姿势，通过使用模拟器分段或查找表（LUT）来验证和追踪姿态数据，并且将姿态数据前馈到微微投影仪20接口。控制器1826适时地存储分析和算法参数数据，并且经由系统总线1836将它传递到系统1的云组件1810。云组件可以被配置成修改与仪表化的信号生成和获取算法有关的参数中的一些或全部。

在初次使用、诸如图27中所呈现的那样时，控制器检索针对特定于用户提供的输入的组织对象的生物度量数据，诸如从云组件，并且使用它来将参数填入在本地AFS和DM2模型中。由初次使用算法适配过程所提供的对象数据可以用于标识组织、骨骼、脉管系统和液体分段、界标特征，并且将所述数据与生物计量数学模型中所包含的数据相互关联。该相互关联过程可以修改生物度量数据，用以反映特定于用户的生物对象数据。来自适配序列的附加组织对象数据标识针对所有这样的特征的变形边界，包括关节屈曲和伸展限制。在适配了参数之后，该对象数据被提交给本地DM2模拟器，以及提交给系统1的云组件，所述本地DM2模拟器生成解剖特征的体积性基于有限元的或数学的描述。

身体中的一些组织、诸如肌腱可以在改变姿态的时候、或诸如当手臂与其它表面接触的时候或在压力被施加到前臂上的皮肤的情况下在三维中变形、旋转和弯曲。这可以对应于带状元件5相对于手部的惯性引发的旋转或滑动或者内部组织结构的弹性变形。已知肌腱和肌肉具有高度各向异性的超声声学性质。因此，这样的旋转和变形可以使得组织不可通过收发器25观察。而且，当手臂靠着表面静息的时候，超声描记术信号的品质明显不同于当手臂自由悬垂的时候所获得的。因此，合期望的是计及这样的状况以改善用户体验和设备可用性。系统1的DM2和AFS模拟器被配置成考虑这样的情形。

在图18B的方法的实施例中，以来自收发器25的超声信号电压（“V”）、惯性测量传感器（“I”）和身体定向值（“B”）的形式的输入1850在系统1存储器中被接收以供处理（在图18B中共同被称为“数据”）。在涉及一个或多个系统1的实施例中，该数据还可以包括超声信号电压、惯性测量传感器和来自其他系统的身体定向值。

在示例实施例中，所接收的数据在框1852处被重采样并且在框1854处被分析以标识周期性的脉动内容，然后在框1856处被分析以使组织对象信号源位置定向，其输出在框1858处被分析以用于基于回声反射性图案而识别组织对象区。

在框1860处，对象区可以基于人体组织/解剖体的统计回声反射性数据而被滤波，并且数据中的阴影区可以被分段和标识，如框1862中所示。在框1864和1866处，特定的组织对象几何结构和位置可以通过使用先前步骤的输出而被标识，其然后可以用于标识并且生成针对DM2数学模型的一组模型初始化参数。这样的步骤的收集和重复共同由框1868表示。

所生成的模型初始化参数通过使用来自云和在系统1中本地这二者的统计解剖模型数据库根据所分析的组织对象数据来被标识和优化。

通过使用经优化的模型参数，具有与近似姿态自由度（“DOF”）对应的运动学约束的组织变形的统计解剖模型和近似模型参数各自在框1874处从系统1存储器被取得。在框1876处，从惯性测量传感器（I）和身体定向值（B）数据收集关于刚体运动的信息。在框1878处，构造解剖特征的数学模型，诸如通过使用集总的和有限元分析技术。

IMU输入“I”用于限定坐标参考系平移和旋转加速度，其设置在数学有限元模型中所使用的惯性反应（惯性释放）力，所述数学有限元模型包括整个系统硬件、人体解剖特征以及在人体和系统之间的整个界面。用于构造有限元表示的数学方程组的示例通过以下被给出：

其中

并且，

其中：M是结构质量矩阵，C是结构阻尼矩阵，u(t), 和ü(t)是节点位移、速度和加速度向量，K是总刚度矩阵，，其中N是元素的数目，是元素刚度矩阵，和是内部和所施加的负载向量，其中和分别是所施加的节点负载、加速度负载、元素热负载和元素压力负载向量，其中总质量矩阵由给出，其中M _e 是元素质量矩阵。而且，和分别表示总加速度向量、全局笛卡尔系中的加速度、由于惯性释放的平移加速度、由于旋转的平移加速度、由于惯性的旋转加速度、由于输入旋转加速度的角加速度。图19和35示出了本申请中所使用的单元矩阵的图形图示。IMU提供了在此处所呈现的混合元素公式化中所使用的加速度信息。

数学模型的有限元公式化方面允许系统考虑构成整个系统硬件、人体解剖特征以及在人体和系统之间的整个界面的对象的机械变形、平移、旋转、振动和弹性。由于某种特定的组织（诸如骨骼）如相比于周围组织（诸如肌肉或血液）可能不可压缩，所以它们可以被更简单地建模为集总的元素，其没有与它们相关联的可压缩或弹性的自由度。这样的集总元素连同有限元的组合自此以后被称为“混合元素”。可想到的是：这样的全混合元素模拟可以离线或在别处被预计算，并且仅仅相关的系数或LUT可以实时地从云组件1810直接获得，其中仅有简单内插方案的有限方面实时在设备上发生。

在示例实施例中，在利用混合元素公式化的模拟被完成并且在身体动力学和重力影响下的元素变形和位移被计算之后，结果产生的系统然后在框1880中被提交用于声场模拟。在该步骤中，通过由混合元素公式化中的方程组所表示的数值数学模型来模拟超声波前的生成和传送。所模拟的波前然后可以在数学模型中经历对象周围的反射、折射和散射，并且反射、折射的和散射的信号因此可以从模拟中被采样以产生通过系统1中的硬件所收集的实际测量的超声信号的品质的估计。

声场模拟模型可以包括通过以下给出的一般非均质Helmholtz方程的离散化版本：

其中有限元表示具有以下形式：

并且离散化的波方程通过以下给出：

其中c是介质中的声速，是平均流体密度，K是介质的体积模量（bulk modulus），u是动态黏度，是声压，Q是被建模为常量的连续性方程中的质量源，t是时间，j是sqrt(-1)， f是压力振荡频率，dv是声学域中的差分体积，ds是声学域边界中的差分表面，是向边界的向外法向单位向量，q是节点质量源向量，并且是节点质量源向量的一阶导数，并且是声学流体质量密度常量。

声学流体质量矩阵通过以下被描述：

声学流体阻尼矩阵通过以下被给出：

声学流体刚度矩阵通过以下被给出：

声学边界矩阵通过以下被给出：

并且声学流体负载向量通过以下被给出：

。

AFS中所使用的元素描述从混合元素建模的结果中获得，并且其中除了其它之外的压力分布、声学阻抗值获得自LUT。在框1880处，运行声场模拟，并且在框1882处生成在模拟数据和优化的数据之间的误差得分。可想到的是：这样的全声场模拟可以离线或在别处被预计算，并且仅仅相关的系数或LUT可以实时地从云组件1810直接获得，其中仅有简单内插方案的有限方面实时在设备上发生。

随后，在框1884处，参数误差梯度搜索可以被执行以最小化在模型参数和所测量的数据（“V”）之间的误差。优化过程的输出然后在框1872处被反馈到本地统计模型数据库，并且进而在框1870处被反馈到对象的生物度量的全局统计对象模型数据库。优化步骤的输出被用于在框1886处返回被表示为DOF定位集合的经分类的姿态，或者如果不良匹配，则在框1888处被更新为未经分类的姿态。

经分类的姿态的输出然后可以用于在框1890处映射姿态图数据库或概率图模型中的姿态DOF数据，连同但不限于诸如重复频率之类的信息。这然后可以用于在框1892处分析姿态之间的转变以识别姿势。软件用户接口（UI）或应用编程接口定义的姿态还可以由系统1在框1894处接收。姿势然后在框1896处被识别和输出，并且以可执行的计算机指令的形式的姿势命令基于所映射的姿态DOF数据和所分析的姿态事务而被执行。

现在将根据参考图28的一个示例实施例来描述图18B的框1850到1886。转到图28，在框2801处，从系统（诸如系统1）获得超声数据。在一个实施例中，超声数据集合可以是稀疏并且带状的，使得它可以通过使用通过IP协议的实时语音而被发送。超声数据可以用于设置模拟参数；然而基线模拟结果可以在云组件上。在框2802处，来自框2801的超声数据可以针对噪声和成像伪像被重采样以及滤波。在一个实施例中，可以通过使用时间平均的滤波器技术而滤波数据。在框2803处，可以关于人体的解剖体来标识系统（设备）的定向和位置。图30图示了设备关于解剖体2900的示例性所标识的位置3000。在框2804处，身体姿态信息和手部定向数据被获得从而标识用于身体模型数据集（其可以获得自云组件、诸如云1810）的查询参数。在这方面，惯性数据可以用于构造数据库查询，所述数据库查询被转换成最接近的姿态近似，其中所述数据库包括统计人体数据和预模拟的数据集。对应于最接近的近似的数据集可以被返回到所述设备。在框2805处，获得包括生物计量数据的统计人体数据（其可以获得自云组件、诸如云1810）。图29图示了统计人体数据的表示2900的示例。在框2806处，通过使用定位信息和人体模型来指定感兴趣的解剖特征。在框2807处，超声数据被处理以突出感兴趣的特定解剖特征。检查多个阈值和形态特征。该处理可以被视为“预处理”技术，并且可以用于例如基于桡骨或尺骨骨骼形状、大小和动脉区而确定用户将设备穿戴在那只手上。框2807处的处理导致感兴趣的区与超声信号的背景数据的分离。在框2808处，数据的单独聚类被标识和分离。在框2809处，标识经聚类的数据的边界，如由图31中的表示3100所示的。

近似区的标识可以用于确定除了与所述区相关联的其它特征之外尤其是近似形状、直径、位置、几何结构和条纹密度。这些度量然后可以用于将所测量的超声信号与预期的解剖特征相互关联。在框2810处，在框2809处所标识的边界3100被对准以最佳地匹配解剖特征2900，其基于如图32中所示的统计人类解剖体。在框2811处，所对准的边界被简化如图33中所示，例如通过侵蚀和扩张或关键点移除技术，并且在框2812处，在超声数据中检测简化的边界，如图34中所示。在框2813处，根据在框2812处所检测的简化边界来生成网格。图35图示了根据简化边界信息而生成的示例网格。在一个实施例中，通过从惯性测量传感器接收输入而考虑系统的刚体运动。在框2814处，生成声场模拟（AFS）模型。最终，在框2815处，在模拟数据和测量数据之间的误差被比较以生成姿态估计。如图18B中所示，该误差信息可以被传递到概率图/网络。

要理解的是，尽管有对特定图像处理操作的较早前和稍后的提及，操作在稀疏数值阵列上被实施，并且不是从如用于图像形成的扫描转换和网格内插所获得的“图像”上，所述稀疏数值阵列除了其它特征之外尤其编码按扫描线的空间分布所布置的回波数据的分析包络。

图19A示出了可以驻留在系统1的存储器中的降阶可变形网格动态模型或DM2有限元人体模型的组件的代表性图示。其功能是基于生物计量模型中所选的可允许的自由度的缩减构型空间而模拟所组合的系统1和组织对象的组织变形、顺从、碰撞、压紧、惯性和重力行为。该缩减的构型空间计及手部或其它身体部分可以实现的原理姿态。图19B示出了关于图19A的手部姿态模型中所考虑的代表性运动学自由度。

例如，图19A考虑直接在系统1之下的手腕的横截面。单独的肌腱、骨骼、设备硬件、聚合物层被数学建模为弹性可变形或刚性的元素，所述元素具有与其端部相关联的节点。一些组织、诸如骨骼可以被简单地建模为非弹性结构元素；其它组织、诸如静脉和动脉可以被建模为弹性结构元素。还其它的组织、诸如肌腱可以被建模为致动器元素，所述元素示出与接收自超声收发器25的数据相关的自张拉（例如，屈曲期间的伸肌）或自放松（拉伸期间的屈肌）行为。表示所有组织的边缘和几何结构的模型中的节点通过使用三维非线性、各向异性且时间相关的机械顺从性以及耗散元素、在手臂的接合所生成的基础激励之下而被建模。这样的基础激励加速性和移动性信息可以通过系统1的惯性测量传感器返回。另外，这样的模型可以包括用于对自接触进行建模的自碰撞检测以及简单几何渗透刚度的规定。

对于生成这样的数学模型所需要的参数部分地获得自如较早前所呈现的初次使用算法适配过程，并且参数的其余部分获得自云组件或外部数据库。另外，来自超声收发器25的信号可以用于通过使用受约束的拉格朗日动力学模型来标识组织的内部状态，并且然后可以在小变形假定下求解受约束的正向运动学模型，其返回手部姿态的估计。结果然后可以被进一步滤波或平滑化，这通过使用如对于本领域熟练人员可显而易见的自适应的、随机的、追踪的或最优滤波器。

如从1886、1888、2716或2815所获得的身体和手部的姿态然后可以用于标识是否存在手臂靠着表面静息的可能性。在这样的情况中，当怀疑手臂处于静息的时候，或者如果在信号品质中存在对应于惯性运动的粗放移位，声场模拟器用于生成数据，所述数据当与实际超声数据相比较的时候可以有助于评定在通过正向运动学解所返回的姿态数据中的置信度。声场模拟器可以考虑组织温度，因为组织中的声速可随着温度稍微增加。如果特定的区经历比所推荐的更大的强度，则这样的温度测量还可以用于触发剂量或自动关停警报。

图18A中所示的控制器具有被描述为姿态数字化仪1824的另一分段。所述姿态数字化仪控制姿势的定义和标识。它可以从控制器的主DSP核、声场模拟器、超声收发器接收输入，如在1886、1888、2716或2815中所示，以及从用户接口（UI）接收输入，所述用户接口标识UI预期接收的姿势的种类1894。姿态数字化仪还可以检测来自主控制器的错误姿态输入，并且可以将该信息反馈到控制器，如1888和2710中所示。

DSP核1820计算运动学模型中的关节中每一个的接合值，并且将结果推送到数字化仪。基于来自用户接口的输入以及由操作系统或云组件所确定的准则，数字化仪可以将值量化成居于两个值之间的积分表示。对于这样的量化的分辨率可以由用户接口或操作系统确定，并且两个值的范围可以对应于针对关节的接合的统计范围，或者它可以在初始算法适配过程期间获得自被确定成是极值、最大和最小值的值。这样的值可以被缩放和取整以为了简单。

图22示出了可以被连接到DM2模型的手部的示例简化运动学模型。该图使用图7A-C中所示的关节定义，并且示出了总共16个关节。DSP核计算运动学模型中的关节中每一个的接合值，并且将结果推送到数字化仪。基于来自UI的输入以及由操作系统或云组件所确定的准则，数字化仪可以将值量化成居于两个值之间的积分表示。对于这样的量化的分辨率可以由UI 1894或操作系统确定，并且两个值的范围可以对应于针对关节的接合的统计范围，或者它可以在初始算法适配过程期间获得自被确定成是极值、最大和最小值的值。在示例实施例中，这样的值可以被缩放和取整以为了简单。

例如，对于16个关节中每一个的在-7和+7之间均匀被允许的十五个这样的离散值可以被使用，如图22B中所示，其中利用形成行的关节以及形成矩阵的列的关节接合而被构造代表性矩阵。被填充的黑色方块表示所接合的关节的数字值——例如，关节P1（手指4，近端指骨偏转）被-2接合，并且关节W1（手腕/腕骨偏转）被-7接合。这样的矩阵可以被称为姿态矩阵。

可以观察到：这样的矩阵中的每一行可仅仅确切地具有单个非零值，并且这样的矩阵可以用于表示来自控制器的针对每一个顺序测量的数据。这样的可能的姿态矩阵的总数目可以被计算为是

其中，I 是关节的总数目，并且n _i 是第i个关节的量化的数目。在图22A-C中所示的示例中，N = 15 ¹⁶ 是表示理论上可以用于创建姿势的符号系统或符号的总数目的非常大的数目。

图22C示出了自图22B的相同矩阵，但是具有与下一帧对应的顺序测量的数据。灰色方块示出了来自在前帧的关节值，并且黑色方块示出了新的关节值。新值向左或向右移位，或者它们维持相同。例如，关节P1现在已经被接合到-3的值，并且W1现在处于-6处。可以看到：需要快速获取帧率和粗略足够的数字分辨率以用于每个关节处的接合值仅仅在先前帧的紧接邻域中的定位内转变。例如，如果量化j不等于1或15的话，位于矩阵中(i,j)处的元素仅仅可以移动到由{(i,j),(i,j-1),(i,j+1) }状态给出的三个状态之一，或针对j=15仅仅可以移动到两个状态{(i,j),(i,j-1) }之一，或者针对j=1仅仅可以移动到两个状态{(i,j),(i,j+1)}之一。这被描述为姿态中的最近邻域转变，并且产生自关节模型的基于约束的运动学，所述关节模型不允许构型空间中的任何奇点。

在测量姿态的时候，可以存在与可在姿态矩阵中示出的模型不确定性、计算、整数数学和近似有关的噪声。该噪声中的一些可以在逻辑上被抑制以不允许非最近邻转变，而同时替代从滤波器获得的值。该方法还使能实现最优检测，即使一些肌腱示出大的旋转并且不能被追踪。如果判别型途径用于标识姿态，那么该方法还可以用于增加搜索的效率，这通过将搜索限制到最近邻域配置。

最近邻域配置还可以使用在超声传送和接收射束形成过程中，用以仅仅扫描其中这样的转变可能发生的区。这可以用于增加扫描速率，以及降低组织的有效声透射。如果用户开始生成不与用户接口预期的姿势对应的姿态，那么最近邻转变可以用于在用户完成错误姿势之前断言输入错误。除了较早前提及的噪声抑制应用之外，该方法可以用于监视和校准可以在姿态稳定保持的时候获得的噪声和漂移过程模型。来自这样的噪声和漂移模型的统计度量可以此外被使用在医学应用中。

看到：对于图22A-C中所呈现的情形，N被示出为是非常大的数。在简单模态中，关节的总数目可以被减小并且可能具有减少的量化级别。这可以通过用户接口1894来确定。例如，这样的系统的实施例可以仅仅允许每个手指的单个自由度以及手腕处的三个自由度。可以存在每自由度或关节所定义的仅仅三个量化级别。这样的系统可以用于简单的符号系统，并且在符号系统中将具有3^8个可用符号。没有必要使得对于所有关节的量化级别是相同的。

例如，图23示出了一矩阵，其具有针对姿态矩阵中每个关节的不同量化级别。这样的可变量化值可以是有用的，因为不是所有自由度都允许高接合，并且能力随人而变化。例如，远端大拇指指骨可以仅仅接合20度，然而手指1上的近端指骨可以接合110度。

还应当指出的是：尽管姿态矩阵的构型的理论数目N非常大，但是不是所有姿态都可由所有用户实现。实际构型空间可以除了其它之外尤其被以下限制：交感手指运动、残疾、疾病、诸如骨关节炎。类似地，不是姿态之间所有转变都可以是可能的，并且也不是许多姿态都可以是可检测的。因此，为了考虑这样的观察，构造系统的概率网络模型。

图24示出了网络模型，其中节点和顶点表示单独的组合姿态（或姿态矩阵），其中多达N个这样的节点可以存在于网络中。这样的网络模型可以从云组件被下载到本地系统，并且可以包括预填入的图，所述图基于人类群体集的统计生物度量。图24的网络图可以通过如下被创建：记录姿态之间的转变、转变时间、停延时间、在系统中可能的所有经量化的姿态状态之间的转变不确定性。图中的边是有向的且加权的，并且可以表示在姿态节点之间的转变概率，所述转变概率已经根据统计生物测量学数据或模拟而被计算。尽管图24示出了平面图以用于可视化，但是这样的图实际上可以在较高维中被表示。节点的空间布置或拓扑因此可以基于一个或多个维度上的拓扑度量或基于字典的度量。姿势可以被定义为在这样的图中一组连接的节点之间的“游走（walk）”或运动路径或循环。

还可以通过先验或后验地计算的概率来对节点进行分类。例如，找到具有自然手腕姿态的放松手部的概率可高于找到以紧握状态的手部的。自然手腕姿态也可受定向影响，因为重力对放松姿态具有显著影响。某些姿态对于用户而言可能是不舒适的，并且因此可示出高的短暂性以及快速转变速率，并且可具有附到那些的低概率。一些姿态尽管不舒适但是在从一个舒适姿态转变到另一个的时候可能是不可避免的。图24中的每个节点的阴影密度因此表示每个姿态的出现概率，其中边示出从一个到另一个的转变。在图24中，黑色表示较高的概率，并且较淡的阴影表示较低的姿态概率。

由于姿势通过图中的游走、路径或循环而被分类，所以附到节点和定向边的这样的概率可以用于计算姿势的概率，并且这可以用作一种度量来确定用户舒适度或偏好。在示例中，可能导致较低概率的姿势可以被避免供用户接口算法所使用。这样的度量和拓扑描述可以另外被用于最小化估计误差，以及改善一般声学-生物力学建模。

由于这样的网络可具有循环和强连接的分量，所以这些可以通过使用所连接的分量算法来被检测，诸如Tarjan的或搜索算法，诸如宽度/深度第一或最优搜索及其组合。特定长度的游走的数目还可以通过使用频谱图理论而被计数。生成树（Spanning tree）也可以通过使用组合拉普拉斯途径而被计算。除了其它之外尤其是这样的度量在本地或在云组件上被计算。这些度量还可以具有累积得分，所述累积得分可以得自被附到它们的转变概率。用于计算这样的度量的算法可以使用查找表和字典来改善它们的计算或搜索时间。

这些度量然后可以用于实现系统1中的自适应性。由于人类感觉运动神经可塑性，预期用户还可以经历与如何可以学习打字类似的肌骨骼训练。例如，初始姿势可要求粗略或大的运动；由于算法自适应性，对于传达姿势所需要的实际运动可以大幅被减少。换言之，姿势灵敏度也可以被逐步降低。这可以具有减少用户疲劳的益处。自适应性可以取单独的偏好用于通过交感运动或关节的非独立性所引入的姿势和变化，或可以表明为较高或较低概率循环的统计身体差异可以被考虑。例如，用户不觉得舒适并且导致快速转变时间的姿势可以被移除。该自适应性还允许考虑老化、发育或生长有关的可变性或生活方式有关的改变、诸如用户中肥胖的降低。生理残疾、无论是暂时的还是永久的也可以被计及以用于包括与除了其它之外尤其是多指趾畸形、并指、缺指畸形、杜普伊特伦挛缩有关的那些。

所公开的实施例的可适配性的另一益处是姿势中的轻微或粗放的变化可以通过用户接口在算法上引入或移除以防止重复的应变伤害。例如，可以监视姿态以检查用户是否以过度、不必要的僵硬保持姿态。如果检测到这样的状况，那么可以生成错误，并且可以引入对姿势的简单修改。

其它等同的表示是可能的，其中代替于姿态矩阵，可以使用多维向量。在另一示例中，可以简单地通过使用固定的矩阵或存储器地址来表示网络。

图20此外示出了系统1的基于云的方面的实施例的图示。系统1的云组件可以除了其它之外尤其包含关于人体模型的统计物理和生物度量数据、机械和声学组织参数、材料模型、以及校准或验证数据集。关于内部生物结构的数据集还可以除了其它之外根据非超声、非侵入性成像模态、诸如磁共振成像（MRI）或计算机断层扫描 （CT）成像连同高分辨率超声检查、或根据解剖数据库而被生成。

这样的数据驱动的数据集可以有益地被重呈递成全体积分量模型，诸如：如图21中所示的手部的示例。可以存在附加的协议以用于基于效率或可适用性考虑而从这样的全体积模型中简化、排序、移除或添加分量。这些数据集在任何使用之前可以被排序、标注、归类和分类。统计生物测量学模型可以被预分类成群组。当由云组件接收用户输入的时候，如在初次使用情况中所描述的，它可以标识与用户相关的最接近的生物测量学群组，并且在初次使用期间将该数据返回到本地设备存储器。

系统1的云方面还可以包含加密和安全特征，以唯一地标识匿名的用户，并且防止对可标识信息的任何未经授权的访问。云组件还可以包含扫描转换系统，所述扫描转换系统从用户获取超声检查数据，并且将它们呈递到诊断品质图像。云组件的扫描转换方面还被访问控制以防止对诊断图像的误用。例如，用户可能不能访问诊断图像，但是可以为得到许可的或注册的医学从业者授权访问。

云组件可以具备全场建模和模拟工具，所述工具运行与生物计量有限元人体模型耦合的高分辨率声场模拟。驻留在云上的可变形网格动态模型或DM2有限元人体模型（例如图21）的主要功能可以是基于解剖特征的数学模型中的可允许的自由度的总构型空间来模拟所组合的系统和组织系统的非线性异质的组织变形、顺从性、碰撞、压紧、惯性和重力行为。该构型空间计及手部或其它身体部分可以实现的所有姿态。

驻留在云上的声场模拟器的功能可以是模拟由考虑组织各向异性和旋转变形的特定射束形成器算法和仪表化协议所创建的声场。这些声场模拟可以用于向系统算法告知回波描计术轮廓中的粗放改变，所述改变由于设备硬件相对于组织的惯性运动、或通过滑动或压力或某种其它的扰动模式而引起。声场模拟还可以用于优化特定的传送或接收射束形成或合成聚焦算法，使得可以从单独的设备获取最大信息。

该相同的对象数据还可以使用在基于物理的软组织模拟和光场模型中。这样的对象模型及其变型可以用于通过系统1来预呈递除了其它之外尤其是组织变形、光场模型、在声场和变形的组织之间的交互。这些模拟可以用于生成统计查找表以及经拟合的参数，其捕获这样的模拟的结果。结果然后可以根据预定的生物计量群组而被重分类，并且基于其相应的生物测量学群组而被提交到每个用户账户。这样的基于群组的查找表和参数然后可以被降低分辨率，并且被修改以匹配用户的唯一生物统计。这样的数据可以在单独的系统请求这样的信息之前被生成，并且在请求时的实际过程可以仅仅引入与信息的搜索、检索和传送相关联的等待时间。另外，如果请求不能被完成，或者如果模拟不存在，则这样的请求可以被排队以用于模拟和验证。另外，如果用户数据不符合关于品质的度量，则新的射束形成协议可以被下载到这样的单独系统1。

匿名的用户数据可以通过基于云的聚类和分割算法而被传递给用户，所述算法被配置成匹配预呈递的模型和参数数据。预期用户的生理机能和解剖体将随时间改变。这样的途径允许用户的自适应重分类，并且随时间移除附加的训练或调节要求。

基于云的算法可以用于生成自动化的健康护理度量。例如，这样的度量除了其它之外尤其可以包括心率、血压、组织或区硬度、血流速度、姿态动力学、结构改变、组织应变场及其历史行为。一些生物度量还可以由专家服务提供者手动收集或分析。这些度量可以用于提供自动化或手动的诊断服务。

由于本文中公开的实施例的应用的显著分段可以本质上有关于预防性、诊断性或治疗性健康，所以附加的顺从性、基准化和性能协议被本地包括在设备上以及远程包括在云上。这样的算法可以被算法地或手动地测试、更新和监视。审计接口也可以被手动地或算法地提供给测试模拟、健康护理或扫描转换数据。异常度量可以由专家人类用户审查。还可以从任何特定的设备在算法上地或手动地调度较高分辨率成像模式，以审查出度量中的假阴性。通过独立/基准化/审计算法以及通过人类监管而随机地对正常得分进行审计，以最小化假阴性。每个系统1的固件和故障安全模式还可以以固定频率被审查。可以自动提醒用户更新消耗品，诸如声学层30。如果检测到被损坏或期满的部件，则可以自动或远程地禁用健康护理模式实施例。

用于本文中所述方法的基于数学模型的途径可以被描述为自适应的生成性模型，如相对于现有技术中所述的判别模型。这是因为，代替于如在常规途径中那样显式地对算法进行训练以仅仅在固定的姿态之间进行判别，按照本文中公开的一个实施例，选择任何姿态，并且基于该姿态的姿势被标识。因此，该途径具有带许多符号的非常大的符号系统，其中符号被定义为唯一的姿势。由于不使用判别性、一次性参考信号训练，所以该生成性和自适应的途径不受通过一次性训练所引入的误差影响。

一旦姿势和姿态数据已经被控制器检测到，它就可以被传递到皮肤引擎。术语“皮肤引擎”是指两个方面；控制投影显示的一方面，以及定义用户接口、语言和设计的另一方面。

图25是根据一个示例实施例的皮肤引擎270的架构的图示。它可以从系统1的传感器和控制器接收输入，所述输入呈以下形式：身体部分的姿态258、用户眼睛位置的估计256、全身或手部构型254的姿态和定向，以及传感器数据，诸如来自相机或色彩环境光传感器的那些252。它还可以从操作系统262接收待显示的图像（例如显示数据260）以及用户接口信息264。

皮肤引擎270的显示方面使用输入信息来首先执行浅表（shallow）软组织运动学和变形模拟274，其可以与混合元素模型共享多方面，并且然后将此传递到光场和照明呈递引擎272。该照明呈递过程用于评定显示品质，并且当投影到非线性皮肤表面、诸如手部表面上的时候，它适当地修改待显示的图像，从而增强其光学品质。经修改的图像可以随后在通过微微投影仪20被投影之前用于更新帧缓冲器。

在身体表面上投影的情况下的主要关注是：投影仪典型地被设计成投影到平坦表面上，但是身体表面不平坦或不具有均匀的颜色和纹理。此外，在用户改变姿态的时候，这样的身体表面通常变形。这些表面还具有纹理、褶皱、可变皱褶、可变颜色、反射率、毛发覆盖、对环境照明的暴露、以及阻止简单的投影或梯形畸变补偿方案跨用户生成一致投影图像的其它问题。因此，软组织运动学变形模型274用于生成投影表面变形的模型，其然后可以由光场或照明呈递模型用于针对显示参数进行优化。

术语“浅表软组织”用于描述皮肤系统（表皮和真皮）以及皮下（下皮）层的皮肤和组织的软层。在身体经历运动的时候，由这些层描述的表面变形。这些层还具有永久特征，比如折痕和褶皱，诸如图7A-C中所示的手掌褶皱。除了如可以伴随姿势的通过简单拉伸的变形之外，这些层还可以由于下方组织、诸如肌腱和肌肉的运动而变形。

这样的软组织变形可以通过使用来自计算图形学的数据驱动的和基于物理的建模的组合而被建模。参见Sueda, S., Kaufman, A., Pai, DK.的“Musculotendon Simulation For Hand Animation”（ACM Trans. Graph.，27 (3)，2008）。还参见Bickel,B.等人的“Capture And Modeling Of Non-Linear Heterogeneous Soft Tissue”（ACMTrans. Graphics - Proc. ACM SIGGRAPH 2009 TOG，28 (3)，2009）。例如，从控制器获得的姿态数据可以用于确定骨骼框架的定向。组织几何结构可以获得自如由系统1的云组件所提供的统计生物测量学模型，并且除了其它之外尤其可以反映诸如以下各项的性质：尺寸、组织厚度和脂质层厚度。组织几何信息和可穿戴设备的位置可以用于提供关于肌腱、肌肉和其它组织模型的约束，连同骨骼框架姿态测量，其然后可以被求解以计算组织变形。可替换地，来自控制器的有限元模拟还可以提供组织变形信息。这些模拟方面还可以在系统的云组件上实施，并且本地系统1中的存储器可以下载查找表以及多项式内插函数，除了其它之外尤其诸如样条或非均匀的合理B样条，用以作为姿态的函数来表示浅表软组织变形。

一旦获得了变形的表面信息，它就被提交到如图25中所描绘的光场照明呈递系统272。呈递系统可以取得输入，诸如姿态、待投影的图像、用于投影的身体上位置、皮肤颜色、纹理、投影表面的变形、皮肤反射率、环境照明、所估计的用户眼睛定位、在该处发生投影的身体部分的定向，以及投影仪光学、亮度和颜色性质，包括像素和透镜传递函数、占空比和刷新率。假定相机位于用户的眼睛处。照明呈递系统272然后可以使用这样的信息来生成场景，所述场景通过使用在对所投影的显示特性进行优化的约束下的呈递方程的公式化而被求解，所述所投影的显示特性除了其它之外尤其诸如一致性颜色对比度、静态和动态对比度、纵横比、以及最小畸变和功率消耗。优化过程可以使用方法、诸如辐射度算法或基于蒙特卡罗的算法，诸如在路径追踪中所使用的那些。

由于用于这样的照明优化的输入参数中的许多一般是恒定的或可预测的（例如，环境照明一般在使用过程上经历对于用户的可预测的改变，皮肤颜色不改变），所以这样的呈递可以发生在系统1的云组件上，并且仅仅需要下载系数和查找表以用于用户。低分辨率或简化模型还可以在本地系统1设备中被求解，并且可以使用来自云组件上的模拟所生成的查找表的校正因子。另外，用户能够补偿显示伪像或调节色彩水平，这通过使用对显示输出进行调节的简单校准或补偿参数。这样的参数可以被手动操作。

附加的图像补偿可以通过使用人类视觉系统的空间-时间对比度响应、边缘寻求和运动寻求模型而被提供，从而获得最优的像素和颜色、空间和动态调制、占空比和频率。参见以下：Ahumada, AJ., Beard, BL., Eriksson, R.的“Spatio-temporal discrimination model predicts temporal masking functions”（Proc. SPIE 3299,Human Vision and Electronic Imaging III,1998）；Watson, AB., Ahumada, AJ.的“Model of human visual motion seeking”（J.Opt.Soc.Am.A,2 (2),1985）；Watson,AB., Solomon, JA.的“Model of visual contrast gain control and pattern masking”（J.Opt.Soc. Am.A,14 (9),1997）；Watson, AB.的“Visual detection of spatial contrast patterns: Evaluation of five simple models”（Optics express,6(1),2000）；Watson, AB.的“The search for optimal visual stimuli”（VisionResearch,38,pp.1619—1621,1998）；Lambrecht, CJVDB.的“A Working Spatio-Temporal Model Of The Human Visual System For Image Restoration And Quality Assessment Applications”（Proc. ICASSP-96,IEEE,5月7-10,Atlanta,GA,1996）；以及Watson, AB.的“The Spatial Standard Observer: A Human Vision Model for Display Inspection”（SID Symposium Digest of Technical Papers 31(1),2006）。例如，靠近图标或所显示对象的边界的像素可以被调制成以特定频率的最大亮度，从而使人类视觉系统的响应饱和并且抑制超过图标边缘的亮度。在幻觉中通常使用的附加效果，除了其它之外尤其诸如方格图案阴影、甜玉米（corn sweet）、同时对比度、格子图案（plaid）、或Vasarely幻觉，也可以用于增加在皮肤或其它非线性投影表面上所显示的图像的所感知的对比度。在图25的实施例中，皮肤引擎270还包括背景和前述呈递元件276。来自皮肤引擎270的输出被传递到帧缓冲器278，并且帧缓冲器278的输出被传递到微微投影仪280。

系统1的用户接口元件可以用于用户视觉体验的类似优化。用户接口的重要方面是如图8A-F中所图示的五动作菜单。所述五个动作对应于用户一般具有的五根手指，并且可以跨许多接口具有与它们中的每一个相关联的一致动作。用户不需要从存储器召回姿势的效果，并且可以代替地简单地查找在身体表面上所投影的标注。这创建基于操纵定律的高效率接口，并且具有对Hick和Fitt定律的显著暗示。

系统1的用户接口的另一方面是使用“有弹性的”接口。这样投影光接口中的弹性可以被定义为在图标之间的相对运动，或图标的动画，其可以与软组织变形或手部姿态成比例。例如，图8A-F的五图标菜单可以示出相应地在拉伸或紧握姿势期间图标舒展开或更紧密地靠在一起。这些动画提示可以用于利用人类视觉系统的运动寻求和边缘辨别行为。图8A-F示出了用于标识正被选择的图标的这样的动画提示的示例。

这样的弹性接口可以是非矩形的、无框架的，并且不需要具有与接口相关联的强边界或网格或边缘。这样的边缘一般充当视觉提示，对照所述视觉提示来辨别图像中的畸变。因此，与利用任何矩形网格结构相比，被投影到皮肤上的图标集可以相对于身体部分的形貌被对准得更多。

系统1的手腕穿戴的实施例上的用户接口可以提供对例如四个即时显示位置的访问：两个背侧位置——一个在前臂上并且另一个在手部上；以及两个掌侧位置——一个在前臂上并且另一个在手部（手掌）上。手部的掌侧或背侧表面被用作显示表面的原因是：手腕关节相对于用户眼睛是经反馈稳定化的，但是包括前臂或上臂的其它表面在有用时间段上没有这样的稳定性。常规途径所描述的其它模态中没有任何一个意识到该益处。

基于由系统1的控制器所提供的姿态信息，所述接口可以被配置成在四个显示表面之间无缝地切换。所有表面可以同时或独立地被使用。例如，手腕的简单手掌向下-掌心向上运动可以在背侧或掌侧手部表面之间翻转。这样的自动化的屏幕切换行为可以用于实现上下文皮肤掠过（skim）行为，其中系统1可以鉴于用户眼睛、自动地基于身体和手臂姿态信息而识别仅有的目标表面。基于系统1中的传感器或通过姿态信息来自动检测显示表面的存在。在不存在任何可用表面的情况中，所有微微投影仪20元件被关断，除非用户明确阻止。

所呈现的描述主要聚焦于考虑手腕穿戴的实施例的方法的模态。然而，类似的途径可以用于监视身体的其它区。例如，模态被设计用于眼睛、面部或颈部，生成性模型将会包括在上颌骨和合子骨骼周围的组织结构，或者在颈部的情况中——围绕舌骨和椎骨骨骼的组织。用于评定和监视医学状况的先进医学成像模态可以包括全身的生成性和声学模型，所述模型可以驻留在系统的云组件上。

在可以聚焦于健康护理的技术的模态中，除了其它之外尤其是心率、血压、血流速度、平均速度、脉动性指数、心脏收缩/心脏舒张循环分数可以通过检查脉动动脉或一般脉管系统区而被监视。可以通过作为时间的函数来测量脉动区处的组织变形而直接标识心率。这样的区示出与心率对应的周期性波动。类似地，可以通过检查跨脉动组织的应变场和速度分布图而监视血压（参见Beulen, BW.等人的“Toward noninvasive blood pressure assessment in arteries by using ultrasound”（Ultrasound Med. Biol.,37(5),2011））。

本文中所公开的实施例的系统和方法的所有健康护理模态可以以如下为条件：训练用户准确使用设备。例如，用户可能不理解用于从邻近于颈部的颈动脉区提取品质信号的正确过程。因此，用户可以在经销商或供应商所在地接收训练，类似于当前如何提供首次辅助复苏训练。对于简单或非关键的模态，用户可以通过使用在线服务被训练，或可以被提供有自动化的协议验证和误差校正。例如，对于容易从中提取信号的非关键区的训练可以通过在线视频服务被提供，并且在使用正确协议时，他们可以以与如何训练用户使用指纹传感器类似的方式来被给予自动化的反馈。

一些健康护理模态可能需要偶然的设备校准和性能测试。这样的校准可以在经批准的位置处发生，或可以通过使用云组件在线地在算法上进行。在一个实施例中，用户可以购买特定的声学体模（phantom）目标以用于这样的校准。

键盘是直观的，因为用户得到对他们的输入的即时视觉反馈，并且立即注意到错误。该功能性可以利用所呈现的技术被重创建。例如，在检测到手指3屈曲姿势时，系统1的所投影的显示可以被配置成投影邻近于手指3位置的有色符号，其标识所检测的姿势来自手指3。该符号可以是逐步消失的动画子图形（sprite）。

在系统1的模态中，当检测到用户活动的时候，可以自动开启超声收发器25。收发器25还可以被配置成通过使用来自惯性测量传感器的数据而被开启，例如，手腕绕前臂的旋转序列可以用于开启系统1。

在系统的另外的模态中，如果来自超声收发器25的所接收的信号指示了高阻抗介质，或者设备被指示为不恰当地紧固在身体周围，那么超声收发器25可以被配置成立即被关停。

在还另外的模态中，类似于基于软件的打字指令，用户可以被训练成使用某些姿势以用于交互，其通过显示所投影的图标或标注，所述图标或标注可以引导用户移动某个手指或顺序地采取某个姿态。这样的模态的优点是：微微投影仪20的显示为用户创建即时的视觉反馈。

由于在本文中公开的实施例中所使用的唯一的用户接口，来自因特网的一般内容可以在算法上被预呈递以符合设计接口。这样的内容呈递可以通过位于系统1的云组件上的网关接口而发生。

为了获得较高准确性度量衡，用户可以输入附加的生物度量数据，或者这样的数据可以通过使用板上传感器被自动测量。生物度量数据例如通过以下各项而被例示：在肩膀到手腕之间的手臂的长度、手指的尺寸、手部的弓形、肘部到手腕长度、高度、躯干尺寸等等。该数据由本文中公开的实施例的系统和方法使用以创建用户的数学身体模型并且用于各种目的。

在另外的模态中，本文中公开的实施例可以追踪对于通过姿势所做出的用户请求的接口响应事件。用户经常出错，其可能导致不想要的响应。不想要的响应通常导致用户进行校正。例如，在常规键盘中的不想要的键击之后，用户可以击打退格或CTRL+Z来撤消错误；或者在访问了非故意点击的链接之后，用户快速浏览离开这样的链接。这样的不想要的响应可以通过追踪随后的临时和校正性的输入来被标识。这是系统1接口的主要元素，因为用户在这样的虚拟接口中可能像他们在机械键盘中所做的那样不具有直接触觉反馈。

以下是本文中所公开的实施例的一些非限制性可能的应用的简要描述。基于功能性而分割应用。这些应用可以通过使用系统1的本地资源来被处置，或可以利用联网的设备，比如智能电话或虚拟、基于云的器具。具有适合供本文中所述的实施例使用的扩展视角的示例3D显示器、超高分辨率2D显示器或2D/3D可切换显示器包括而不限于在2014年10月7日被颁发给Hussein S. El-Ghoroury等人的、题为"Spatio-Temporal Directional LightModulator"的、美国专利号8,854,724以及2015年1月6日被颁发给Zahir Y. Alpaslan等人的、题为“Spatio-Optical Directional Light Modulator”的、美国专利号 “8,928,969”中所公开的那些。适合于供本文中所述的实施例使用的示例空间-时间光场相机包括而不限于在2015年11月3日被颁发给Hussein S. El-Ghoroury等人的、题为“Spatio-TemporalLight Field Cameras”的、美国专利号9,179,126中被公开的那些。前述文献中每一个的全部内容通过引用被并入到本文中。

2D上的3D显示控制：手腕穿戴的实施例可以用于与2D屏幕上所显示的3D内容交互，所述3D内容诸如通过计算机辅助设计程序、或者动画或模拟程序所生成的那些。姿势数据然后被传递到计算设备，所述计算设备将输入转换成虚拟控制参数。这些控制参数然后与2D呈递的3D内容交互。

3D上的3D显示控制：基于体积光场呈递的3D显示变得更常见。然而，对于与深度内容交互而言有用的模态不可用。在一个实施例中，系统（设备）可以被穿戴在手腕上，并且可以用于基于手臂和身体的姿态和姿势而与深度内容交互。示例应用可以是在与医学全息摄影交互中。

2D鼠标控制：系统（设备）的手腕穿戴的实施例可以用作2D光标位置控制器（鼠标），这通过将拇指用作触笔以限定由食指的顶部和底部所构成的四个拐角，并且将小指用作2D控制表面的拐角。如拇指所指向的该控制表面内部的任何定位通过屏幕上的光标来重现。手部的手掌表面的使用因而允许拇指被用作触笔以输入2D坐标信息。在系统1的一个实施例中，这允许使用通过控制表面所绘制的特定图案来用作密码，所述密码可以用于唯一的用户标识。

虚拟键盘：系统（设备）的手腕穿戴的实施例可以在不被穿戴的情况下被使用。系统1可以自动调节所投影的光以在平坦表面上呈递。一个或多个光场可以用于创建拼贴的、大显示表面。在一个实施例中，可以通过使用以下各项来与这样的系统1交互：振动传感器、结构光传感器、红外传感器、或捕获和定位来自轻击的振动或对结构光的阻碍的类似设备。

单手游戏：如图26中所描绘的，系统（设备）的手腕穿戴的、单手实施例可以使用在游戏或娱乐应用中，其中手指被使用，游戏控制者以数字或比率计的方式进行输入以与所显示的内容交互。投影表面不需要被限制到手掌或背侧手部表面，而是也可以包括前臂表面和离体外部投影表面。所述应用也可以使用附加的姿势输入，比如前臂的旋转。

两手游戏前端：系统（设备）的一对手腕穿戴的实施例可以用在任一只手上，用以创建拼贴的显示表面用于游戏或娱乐应用，但是不限于这样的应用，其中多个显示与彼此交互并且在之间共享内容。这样的应用可以使用较早前所述的空间并置系统以用于设备间通信。这样的应用可以使用多个投影表面，包括在背侧、手掌和前臂表面上以及在外部离体表面上的那些。

两手游戏：系统（设备）的一对手腕穿戴的实施例可以用在任一只手上，用以创建分布式的显示表面用于游戏或娱乐应用，但是不限于这样的应用，其中多个显示与彼此交互并且在之间共享内容。根据手臂姿态所确定的手部的空间分离可以用于将附加的输入添加到应用中。这样的应用可以使用较早前所述的空间并置系统以用于设备间通信。这样的应用可以使用多个投影表面，包括在背侧、手掌和前臂表面上以及在外部离体表面上的那些。

基于图像的搜索：在实施例中，系统1的板上相机可以被配置成拍摄对象或环境的照片，并且这样的图像可以用于查询搜索引擎。姿势可以用于浏览和选择正确的结果。搜索引擎可以被提供关于正确结果的信息，所述信息可以被加地理标记并且被推送给稍后访问站点的其它用户。还可以通过使用姿势来控制搜索参数。例如，手部姿态可以用于传达关于大小和相关性的概念。

工业装备：一个或多个手腕穿戴的实施例可以用于与工业设备交互，所述工业设备仅仅具备联网接口，但是没有显示器或输入能力。代表性的应用是系统1从工业装备接收状态信息，并且用户操纵对于操作工业装备而言所需的控制参数。这具有以下优点：降低工业装备制造中的成本，因为它们不再需要其自己的输入或输出能力。

远端临场（Telepresence）：一个或多个手腕穿戴的实施例可以用于通过网络远程地与设备和器具交互，其中来自远程设备的状态或数据可以通过使用投影显示而被呈现，并且姿势可以用于远程地与设备交互。

军事战术型：手腕穿戴的单手实施例可以用于如下应用中：在所述应用中操作者可能需要通过使用另一只手来保持对其它装备的控制。例如，远程操纵IED拆弹（disposal）机器人的士兵可以使用姿势，而同时保留对其武器的完全战术性控制。该应用利用通过显示与姿势系统的集成所提供的单手交互能力。

游戏控制器：一个或多个手腕穿戴的实施例可以用于取代用于控制设备的传统有线或无线的控制器，所述设备诸如电视、游戏控制台以及其他的，但不限于这样的示例。

机器人控制器：人手中的关节具有多于20个自由度。由于本文中公开的实施例以模拟方式捕获这些关节中大多数的姿态，所以信息可以容易地被转化成机器人关节的姿态。类似于人类关节，机器人关节也具有对总行进的限制。本文中公开的实施例提供直观编程接口以用于直接控制机器人并且监视它们的内部状态。系统所估计的手部姿态可以被转换成机器人编程接口理解的符号，或直接被中继到控制器。控制器在关节速度和行-不行评估方面解译符号。代替于实时地直接控制姿态，本文中公开的实施例也可以用作离线编程接口。在一个实施例中，关节的运动轨迹可以通过使用关键帧的内插而被估计，所述关键帧如通过使用根据本文中公开的实施例所计算的姿态而被定义的那样。

在另一实施例中，具体化多个模态的多个可穿戴设备（诸如图1中所示的）可以直接被穿戴或通过与服装的集成而被穿戴。这些系统1可以用于捕获人体中主要关节的姿态。该姿态信息然后可以被中继到外骨骼机器人结构。这提供在这样的外骨骼和人体之间的直接触觉联系。

手钻/物联网：一个或多个手腕穿戴的实施例可以用于通过有线或无线网络与家用设备交互，所述家用设备仅仅具备联网接口，但是没有显示器或输入能力。本文中公开的实施例可以被配置成从家用设备接收状态信息，并且操纵对于操作所述设备而言需要的控制参数。这具有以下优点：降低这样的设备制造中的成本，因为它们不再需要其自己的输入或输出能力。该类型的示例是家用温度调节装置。另外，许多系统、比如螺纹磨床或冰箱具有基于电位计的拨盘或滑块或开关。也可以通过使用本文中公开的实施例来取代这样的分立或双极性开关或比率计控制器。

言语残疾/ASL：可穿戴实施例可以结合通用或定制的字典而被使用，所述字典解译姿势、姿态和轨迹，用以产生符号通信。在实施例中，所识别的符号可以被转换成声音源的频率和幅度调制，以产生类似于语音的声音。例如，这样的系统可以用于辅助具有言语残疾、精通所述通用字典、诸如美国手语的用户来通信，其通过将姿势转化成声学反馈以用于不理解美国手语的人。

在另一实施例中，听觉残障的用户可以被呈现有获得自姿势转化的符号。这样的呈现可以通过使用微微投影仪20组件来进行，或它可以通过使用移动显示设备、比如智能电话来被呈现。

隐秘通信：“默默自言自语”或“在你脑中谈话”的过程导致声道中的肌活动。该活动通常被描述为默读。研究已经示出了：来自颈部中声带区周围的EMG信号可以用于从主动发声和默读中拾取信号。常规途径通过使用判别方法来使用这样的EMG信号，用以识别语音和自发/非自发的有声/默读姿势。

系统（设备）的实施例当被附接到人类喉咙区的时候可以用于对人类声道中的迅速波动进行成像。这些波动然后可以用于创建电信号，所述电信号可以在本地被处理或传达到不同的计算设备。这样的信号可以用于多个应用。例如，这些信号可以与字词（特别地音素）相互关联以生成电气或数字信号。这样的信号可以被进一步处理以用于转换成语音或文本或有意义的符号。这样的技术的应用可以用于安全、非发声的通信中。在另一实施例中，系统可以围绕手腕被穿戴，并且可以将姿势转换成符号，如较早前所讨论的。这样的符号还可以用于通信，而不使用发声或声学声音。

加密：一般的超声图像压缩涉及传统的压缩算法，其解决一般情况的成像问题。由于本文中所公开的实施例的性质，它非通用，并且它仅仅在作为可穿戴设备的受限区中扫描。出于此原因，它可以利用所探查的区的相当静止的性质，并且仅仅从其中信号熵最大的区提取信息。所使用的确切压缩技术根据单独的历史和解剖体而在算法上被确定，并且系统1可以充当个性化的加密机制，所述个性化的加密机制可以用于唯一地标识个体。

密码学：包含确切扫描/射束形成协议的压缩协议和生物测量学文件标头对于每个用户是唯一的，所以该算法实际上还充当加密算法。例如，唯一的姿势可以用于表示唯一的姿势通信符号，对其解码需要原始压缩/生物测量学技术的知识。这些特征使得设备压缩成为公共密钥加密的等同物。私有密钥（序列表示算法参数）可以被存储在系统中所驻留的安全设备飞地（enclave）上。

非声学环境/海底/空间：实施例可以用于在不支持声学或言语通信的环境中的通信目的。这样的应用可以使用基于姿势的符号方法，或可以使用发声活动的标识来检测发声的或默读的音素以用于通信，并且可以用于将简单的指令传达到机器。例如，反潜作战技术经常采用高度灵敏的声呐阵列，所述声呐阵列足够灵敏以拾取来自潜水器的声学通信或声音。所述实施例可以用于在这样的环境中避免检测到。另一示例是用于供潜水者使用的基于姿势的水下通信，而使能这样的功能性的当前技术需要使用专门的潜水装备。

通信被拒绝的环境：实施例可以用于在需要不存在或有最小限度声学或言语通信的环境中的通信目的。这样的通信可以基于默读检测或基于非视线姿势的通信。这样的技术的示例性应用将会是用于在敌对环境中操作的军事或民用战术专家，其中团队成员可能没有对他们可用的基于视线身体姿势的通信模态，或可能操作于低光环境中并且保持静默具有战略重要性。

援助呼叫911：实施例可以用于自动从所指定或授权方请求援助。这样的应用可以使用系统的生物计量度量衡能力来评定用户的身体状况。当检测到异常信号、诸如冲撞或跌落或反常心脏表现的时候，可以发出援助请求。

非人类通信：实施例可以被设计用于与非人类动物有关的应用，所述非人类动物可以通过使用传统或操作性制约调节而被训练。在这样的实施例的范例应用中，但不限于该示例，宠物可以能够传送对于食物类型的偏好，这通过投影可由动物以及人类二者查看的图像或符号，其中动物利用所投影的图像而获取食物类型的相关理解。

群组同步：可以使用实施例，其中设备可以跨身体的多区而被穿戴，并且可以与人群组所穿戴的近旁或远程的类似设备通信。这样的系统1在被特定的姿势或姿态激活时可以向用户提供反馈响应。这样的反馈响应可以用于同步人群组的活动或任务。

测量和度量衡、重量：在可替换的实施例中，一个或多个手腕穿戴的版本可以用于以下目的：测量对象的物理、机械尺寸和速度，或设备距其它静态或移动对象的距离。在一个这样的实施例中，所述设备可以使用空中超声收发器作为测距仪来测量距其它对象的距离。在另一个这样的实施例中，指尖的分离可以用于测量可以适合普通手抓住的较小对象的尺寸。这样的实施例对于建设、工程、现场测试中的应用可以是有用的，并且作为一般车间工具。

力/力矩测量：一个或多个实施例可以用于测量人体中关节处的负载-反应的目的。例如，手腕穿戴的实施例可以用于测量通过手举起某质量所施加的反作用力。另一示例将会是测量在脚踝和地面之间的反作用力。通过使用肢体尺寸的近似，还可以测量关于肢体上的反应、力矩的附加信息。这样的实施例的范例使用是在现场或工业工程中，其中被施加到物理对象的负载和力矩需要被监视。

无标记的姿态捕获：从如此处所呈现的实施例生成的身体和肢体姿态数据可以在本地被收集或实时地通过计算机网络被传送。这样的姿态数据的大纲可以使用在通信模态分析中。这样的数据还可以被使用在关于虚拟现实、动画、计算机生成的图像、视频游戏和远端临场（telepresence）的应用中，但是不限于这样的应用。例如，这样的数据可以用于在游戏中模拟虚拟人群，或用于基于虚拟现实或远端临场的体育事件。数据可以进一步被处理以揭示附加的度量。

运动学CGI方向：一个或多个手腕穿戴的实施例可以被使用在需要控制点的虚拟表示的方向的应用中，所述控制点诸如在计算机生成的图形（CGI）、建模和动画中所使用的那些。代替于手动对这样的点的轨迹或位置进行编程，或编辑点的这样的计算机生成的轨迹或位置，实施例可以用于将姿势或姿态信息转换成符号或命令以与这样的点交互。例如，手指的关节可以用作用于虚拟运动学链结的替代物，并且来自手部的姿态信息可以用于操纵控制点。示例应用可以发现用于视频游戏、3D建模应用或动画生成的目的。

雕塑：一个或多个手腕穿戴的实施例可以用于通过有线或无线网络而与数字呈递的对象交互。手部的姿态可以用于使数字呈递变形。例如，指尖或手掌表面的位置可以用于创建3D网格中的节点并且使所述节点变形，以用于固态建模。另一示例可以是使用指尖位置来限定这样的节点，从而在虚拟雕塑过程中创建新的模型。

触觉扫描/3D扫描：一个或多个手腕穿戴的实施例可以用于生成数字内容，并且通过有线或无线的网络来中继它们，其中所述数字内容关于指尖的位置。指尖可以用于追踪固态对象的轮廓。数字内容可以采取点云的形式。在该示例中，该模态具有与3D扫描技术类似的功能性。

非自发度量：实施例可以用于获取非自发的生物力学数据，基于所述数据可以估计附加的度量。一些示例应用，但是不限于这些，可以是在用户参与追踪和广告优化的领域中。一些生物力学信号、诸如体温、通过身体活动确定的专注度、心率和呼吸速率可以用于构造度量。使用本文中公开的实施例的优点是：这样的信号不能被诳骗或伪造并且表示真实的用户参与。这样的度量可以用于补充传统的“每查看的点击”、“点击量”以及“查看花费的时间”类型的度量。

全景成像：其中所述实施例包含一个或多个图像传感器的手腕穿戴的实施例可以用于当设备故意在空间中四处移动的时候连续地获取图像。所获取的图像可以稍后被缝合在一起以创建体积光场数据或全景或贴片的图像。这样的图像可以通过虚拟现实或头戴式显示器被查看，或者它们可以通过使用增强现实应用被查看。

注视和眼部追踪：面部穿戴的实施例可以用于监视眼肌的状态。例如，这样的实施例可以是以眼外附接的形式，并且可以位于颧骨、颞骨、蝶骨或上颌骨骨骼中任一个上，如图1中所示。所图示的位置被选择，因为它提供对眼窝的访问，并且难以在其它面部位置处成像，因为颅骨中的骨骼大大地阻碍声学传送。实施例可以用于追踪六个眼肌群组（上、下、侧面和内直肌（左/右）以及上和下斜肌（左/右））连同上睑提肌 、眼轮匝肌、主要/较小颧大肌以及提上唇肌的状态。基于装置位于哪个骨骼上，系统1能够追踪眼睑、虹膜的眼跳跃、巩膜区的旋转、面颊表情、嘴部的结构和状态以及嘴唇的变形。

来自这样的头部穿戴式实施例的信息可以用于但不限于诸如注视追踪、表情和眼部追踪之类的应用。这样的实施例优于传统光学眼部/注视追踪硬件的益处之一是它是非遮蔽的（非阻挡或非妨碍的）。不需要虹膜或瞳孔的直接或间接查看。本文中所公开的实施例可以用于除了提供解译数据以用于眼科、治疗分析或监视目的之外还控制数字和物理接口和对象二者，但不限于这些。类似地，本文中公开的实施例可以是眼镜、头戴式显示器、头盔或面罩的一部分，其将会使能实现一种非妨碍的手段来追踪眼睛并且推断其参数，以便作为反馈信号而提供检测眼部对给定刺激、图像或视频内容的响应。这样的实施例对于增强显示（AR）显示应用是有价值的，在所述增强显示（AR）显示应用中，所述实施例提供的反馈可以被使用来取决于实施例所检测的眼部参数的反馈而修改、调节、压缩、强调或突出所显示的图像内容的部分或大体上全部。

表情追踪：面部穿戴的实施例，其类似于以上讨论的那个，可以用于监视面部肌肉的状态。从这样的实施例所返回的数据可以用于解译或分析人的面部表情。应用可以包括动画控制、非自发的度量收集或医学实践。

弹性成像：弹性成像是一成像模态，其构造组织的机械刚度的图形表示。这样的刚度图可以使用在诸如肿瘤学监视和分析之类的应用中。可以是手腕穿戴的实施例并且类似触觉成像的一个实施例可以用于通过使用较早前所公开的方法来测量组织的力响应。所测量的数据可以与较早前获得自用户的参考数据比较，或对照被使得在线可得到的测量纲要来进行比较。所述比较用于检测组织的机械响应中的异常。

在另一实施例中，所述设备可以被穿戴在身体部分周围以被分析，或它可以靠着多区宽松地被安置。系统1的带状元件5中所包含的振动电机或SMA致动器可以因而被用于周期性地激励或刺激组织，而同时在激励期间主动地收集超声信号。所收集的信号可以在算法上被分析或由从业者分析以用于监视目的。

冲击/撞击/震荡性撞击监视：身体的多个区可以由可穿戴实施例监视，其中实施例可以是服装、衣服或保护性衣着、诸如帽子、靴子、保护性膝肘穿着和手套的一部分，并且可以用于监视从实施例获得的运动学、惯性和统计数据。这样的实施例可以用于提供关于身体或身体特定部分可能经受的冲击或震荡性撞击或跌落的信息。应用包括撞击性或冲击性体育活动，其中活动关节、头部、以及一般暴露或被覆盖的组织可能经受突然的且异常的加速和减速，其导致关于骨骼系统的严重、惯性组织运动。尽管这样的伤害可能不立即表现出病状，但是随着时间它们可能表现出病状。这些实施例可以用于追踪实际组织运动并且监视累积损害，并且帮助理解和治疗任何被归因的疾病。这样的实施例不限于体育活动，而是可以包括多活动，除了其它之外尤其诸如建造、工业技术劳动、民用服务、诸如警方和消防管理、海事和物流服务。

运动医学：除了与较早前讨论的工作场所安全有关的模态之外，本文中所公开的实施例的方面可以使用在运动医学的一般领域中，用于表现追踪、监视和在算法上或通过人机共生（human-in-the-loop）专家所提供的改善推荐。高尔夫运动是很好的示例。来自这样的使用的信息可以由实施例收集，并且用于分析从姿态信息以及与打高尔夫球相关的生物力学中收集的度量，除了其它之外尤其诸如击球撞击、摆动效率、速度、活动肌肉群组以及手腕的姿态。类似的实施例可以用于监视其它身体部分以评定撞击的影响、投掷动作的效率，并且提供生物力学反馈，以改善身体动作或姿势的效率和有效性。对于这样的实施例的另一示例使用可以是在团队体育活动的分析中，其中需要生物力学同步。

云上的成像：一个或多个实施例可以提供信号，所述信号可以在云上获取并且被重处理。如所讨论的，身体上的可穿戴系统1不需要具备用于直接实现输入信号扫描转换的构件。因此，原始、压缩的或加密的形式的这样的超声信号可以被上传到云或网络基础设施，其中扫描转换模态存在并且可以用于构造2D图像。基于自动化的图像分析，定制的超声信号生成或接收协议可以被下载到系统1以改善所重构的图像的品质或性质。这样的定制信号生成能力除了其它信号处理模态之外可以包括较高频率、较高分辨率、特定扫描频率。

云上的监视：一个或多个可穿戴实施例可以提供信号，所述信号可以在云基础设施上被获取并且被重处理。如较早前所讨论的，信号可以被扫描转换成图像格式，所述图像格式然后可以用于在算法上生成评定以及一般的健康监视度量，其然后可以被返回给用户。例如，已经讨论了一种用于根据来自脉动血管组织的多普勒或常规信号而测量心率的方法。在另一应用中，可以通过查看血管组织/动脉的结构性扩张来估计高血压。在其它实施例中，多普勒超声可以用于检查通过肢体中脉冲点处动脉的血流并且返回血压评定。这样的实施例可以用于评定外围血管疾病风向、患有高血压的人中常见的发现、动脉中的斑块累积、高血压、标识胆固醇或甲状腺或关节磨损和断裂类型问题的病状，以及但不限于运动障碍。基于自动化的图像分析，定制的超声信号生成或接收协议可以被下载到设备以改善医学评定和度量测量的品质或性质。这样的定制信号生成能力除了其它信号处理模态之外可以包括较高频率、较高分辨率、特定扫描频率。以此方式，云平台可以提供度量的统计估计以及时间历史，既给用户以实现生活方式改变，或者也给健康护理专员以用于先进的医学监视和评定。

远程放射：实施例可以用于提供基于网络的预防性、监视性和治疗性健康护理。例如，来自用户的信息可以按需或自动地被传达到云，用户可以接收对其健康状态的自动化更新，如在算法上确定的或通过手动专家技术分析所确定的。云可以请求和访问信息，诸如来自私有或政府健康信息网络的个人健康记录和电子健康记录。云然后可以在算法上分析数据以从用户提取度量和/或可以在算法上确定一种最优方式来将任务分布到经训练技术员的本地或远程网络，所述技术员提供信息学和分析服务。他们的报告和度量被提交回到云基础设施，所述云基础设施然后将结果推送到邻近于用户的健康专业人员或直接推送给用户。基于所收集的度量和所指示的结果，所述算法可以为用户与相关专业人员自动地安排约定或附加的测试。健康护理提供商和管理健康护理的组织有关的支付分析还可以通过使用将有助于用户的云来安排特定的模态。

这样的实施例的主要优点是：可以在一段时间上自动地收集数据，如相对于示出远远大得多的统计可变性的单个昂贵测试。除了连续监视之外，另一优点是：用户不需要费尽心思地访问测试和安排服务。

土耳其机器人（Mechanical turk）/众包洞察：在实施例中，可以被使用提供人机共生健康护理按需服务。用户可以使可以是一次性的或订购服务的请求置于与技术医学服务提供者连接，所述提供者手动地检查用户的度量或图像。服务可以绕专家检验员评级而被结构化。用户可以基于这样的评级来选择特定的服务，并且准许服务访问匿名或具名的数据，并且可以接收匿名或具名的评定。多个服务可以被组合以得到统计上相关的评定。这样的评定可以被添加到用户的个人健康记录。分析服务可以在算法上或手动地被审计以用于准确性以及调控性测试。

运动障碍：一个或多个可穿戴实施例可以用于连续地或间歇地追踪和监视神经肌肉和肌骨骼障碍。这样的实施例可以具有除了其它之外尤其在一般病理学、神经病理学、肌骨骼肿瘤学、心动描记法、心肌症、矫形术、或风湿病学中的各种应用，其中病理学通过生物力学或运动学血管标记来被表明，所述标记可以通过使用目前技术所使能的各种扫描模态来被检测和监视。例如，癫痫可以通过肢体非自发的抽搐或颤动、对于高胆固醇的斑块积累指示符、局部缺血、动脉粥样硬化、或涉及血管收缩的其它病状而被指示。实施例对于负荷超声心动图可以是特别有用的。另外，这样的模态的按需可用性可以产生对于异常标记积累的统计上显著的数据集。

这样的实施例的其它示例可以采取围绕手腕或围绕身体设备的形式，所述设备监视、标识或表征统计上不是用户平常姿态和移动历史的一部分的抽搐行为、动作迟缓、静止性震颤、姿态不稳定性或僵硬。这样的监视或过程可以在本地或远程地被管理，并且用户可以实时地接收关于其表现的反馈。

外科手术/远端临场机器人学：类似于较早前讨论的机器人学应用，实施例可以用于控制复杂的外科手术工具。外科手术机器人学呈现特殊的挑战，其中由于患者体内的统计解剖可变性，典型地不能依赖于预编程。受过训练的外科医生需要在现场并且通过使用非直观的机电接口实时地操纵机器人学机构。实施例可以用于直接将医学专业人员所使用的姿势转化成可以由机器人学装置执行的操作。在对遥控机器人的应用中，类似的实施例可以用于远程地执行过程。在这样的过程期间所获得的数据可以被收集并且用于进一步训练医学机器人并且使其自动化。

手上可视化：手腕穿戴的实施例可以结合无菌或净室服装被使用，以产生总是可用的信息显示以及基于姿势的装置以用于信息检索和/或管理。例如，可以提供实施例，其中系统用于由仪器提供的实时可视化，所述仪器具有在医学过程期间在使用中的身体上投影显示。该实施例通过系统的单手可操作性来使能。

治疗和美容：身体穿戴/可移除的实施例可以使用在多个疗法或缓和的治疗促进应用以及美容应用中。例如，比用于成像的更大的声学压力的脉冲、定向和所操纵的超声被怀疑为提升血液灌注、组织刺激和放松以及一般地在力学上扰乱组织和生物物质，并且改善局部所应用药物的递送或子表面吸收。这些效果可以用于既处理新状况以及也管理现存状况。例如，一些实施例除了其它之外尤其可以使用在骨折愈合促进、定向皮下脂肪移除、胶原刺激、瘢痕组织分解、炎症和肿胀缩减以及声透疗法应用中。这样的实施例可以在算法上或手动地由从业者控制，并且可以同时使用成像模态或组织追踪以及瞄准模态来在特定区处递送受控的声学能量。这样的实施例还可以亲自或远程地跨云端被控制。

物理疗法：一个或多个可穿戴实施例可以用于评定在神经肌肉或肌骨骼障碍中常见的处方治疗的品质和性能。例如，所述技术的实施例可以穿戴在膝盖周围，并且返回膝盖区中的组织和韧带的结构性、动态和力学性质的指示符、移动和姿态动力学，并且这样的信息可以用于指导治疗。

运动障碍：一个或多个可穿戴实施例可以用于追踪、监视和提供关于神经肌肉和肌骨骼障碍的反馈。反馈可以采取如下形式：通过触觉、视觉或听觉刺激被提供给用户的校正性调节信息以及另外的向专家的度量通信。这样的实施例的示例可以采取围绕手腕或围绕身体设备的形式，所述设备监视和标识抽搐行为、动作迟缓、静止性震颤、姿态不稳定性或僵硬，其统计上不是用户平常姿态和移动历史的一部分。附加的整形外科、肌骨骼度量、诸如对组织硬度或几何结构进行标识的那些，可以被提供给专家以确定治疗功效。这样的监视或过程可以在本地或远程地被管理，并且用户可以实时地接收关于其表现的反馈。

假体应用：实施例可以使用在用于用户中不同模态的身体残疾的复原或辅助性设备中。截肢外科手术中术后护理的最重要的方面之一是患者的物理复原。外科手术预备和规划可以包括用于成功术后复原的策略。

在示例实施例中，假体窝槽可以包括系统1，所述系统1可以用于监视在假肢皮瓣后的组织中的自发和非自发的变形。由于假肢区维持大的切变应力，所以可想到的是较深的信号模态将用于提取信号用于深度身体组织姿势标识中。在实施例的应用中，外科手术前规划可以包括术后假体设计考虑，而同时确定皮瓣的切口、横断面、结扎、重附着、重连接和设计以最大化寿命品质和使用容易度。

本文中公开的实施例的另一应用是在语音假体应用中。诸如喉头切除术或气管穿刺外科手术之类的过程可以引起患者体内生成声学话音的能力上的损失。

增强现实的书：手腕穿戴的实施例可以使用在增强现实应用中，其中所投影的光场与手中持有的对象相交互。示例实施例是其中所投影的图像被显示在手中持有的书的页面上，并且所述图像显示字典信息。这样的实施例可以与光学字符识别算法或机器视觉途径相组合以从系统内嵌入的传感器提取信息，并且来自传感器的数据可以用于控制所投影的图像或其它模态。

静态数据交互：促成印刷媒体衰退的主要问题之一是：内容是静态且非交互的。一个或多个手腕穿戴的实施例可以用于解决关于静态或印刷媒体的这样的问题，这通过使用系统上的传感器可以识别的光学可识别码，用以引导投影光系统的行为。范例实施例可以是扫描静态QR码，其引导所投影的显示以示出可以位于联网资源上的特定图像或视频或其它这样的交互内容。这样的系统可以用于广告目的或动态地显示所生成的内容。

信息亭：手腕穿戴的实施例可以用于要么基于对物理对象的接近要么基于从导航或定位传感器所确定的位置坐标来显示通过无线或有线通信网络所供应的动态信息或内容。

地图：手腕穿戴的实施例可以用于显示基于位置的信息，其中从导航传感器确定位置，并且通过使用有线或无线网络来访问信息。显示可以示出信息，诸如地图。可以利用系统相机的板上机器视觉系统可以用于进一步对显示中的内容进行校准或成形。

QR码：阻止编码的静态图形、诸如快速响应（QR）码或基于一般机器视觉的对象识别的更宽采用的主要问题之一是：用于解译和显示所编码的指令的设备不总是在手边可用且准备好使用。因此，手腕穿戴的实施例可以与单个姿势相组合地使用以获取这样的编码的信息的图像或一般场景，并且通过使用所投影的显示来呈递所解码的信息或所识别的对象。这样的实施例可以在购物应用中用于查询价格和可替换产品。应当注意到：这样的技术还可以使用在物流和存货管理中，或整理工业环境中的部件。

沉浸式显示/贴片的：一个或多个手腕穿戴的实施例可以同步地被使用以投影到外部表面上并且创建大的、贴片的沉浸式3D显示。可以通过使用来自板上惯性测量系统的数据来对抗用户定位和姿态中的漂移而补偿这些显示。用户可以通过使用姿势来与所投影的显示相交互。

在另一增强现实实施例中，系统1可以仅仅将图像的一部分投影到身体上投影表面之一上。在用户改变姿态或定向的时候，所显示的图像可以跨两维或更多维空间滚动，以反馈于定向或姿态改变。

沉浸式游戏：一个或多个手腕穿戴的实施例可以用于沉浸式交互娱乐体验。这样的实施例可以使用设备间通信模态来除了其它之外尤其共享关于设备位置、用户姿态、姿势的信息。这样的信息可以用于更新所显示的信息。所显示的信息可以被呈递在身体上表面以及外部表面上。

在前述公开内容中的各个地方，指出了各种实施例具有或可以具有在医学领域中的应用。一般，这样的使用结合需要医学关注和诊断的状况的发现，以及一旦做出诊断则对状况的评定和监视。

虽然已经以示例的方式描述了前述公开内容，但是要理解的是本公开内容不限于此。它意图包括宽范围的修改和类似的布置。本公开内容的特征或组件的修改可以在不偏离本公开内容的核心概念的情况下被做出。作为结果，本公开内容的范围不会被前述描述所限制，而是仅仅由如本文中所陈述的随附权利要求来限制。

Claims (59)

1.一种用于通过使用人机接口系统中的可穿戴姿势识别设备来生成姿势命令的方法，包括以下步骤：

基于可穿戴姿势识别设备的刚体运动以及基于解剖特征的多个预定内部或外部对象的生物度量集合来提供数学模型；

通过映射用户的解剖特征的空间-时间横截面来从所述多个对象的用户的解剖特征获得超声信号数据集合；

通过将超声信号数据与数学模型相互关联来标识对象的预定性质；

基于对象的所标识的性质来估计用户的解剖特征的姿态；以及

基于所估计的姿态而生成姿势命令。

2.根据权利要求1所述的方法，其中所映射的对象包括以下各项中的一个或多个：用户的肌肉、肌腱、韧带、脉管系统、骨骼、真皮、表皮、上皮、连接性肌肉和神经组织。

3.根据权利要求1所述的方法，其中所述性质包括以下各项中的至少一个：对象的半径、定位、与另一对象的相对定位、角度、与另一对象的相对角度、脉动性、变形、回声反射性、速度、位移、伸展、压缩、出现、消失以及每个性质的差分改变。

4.根据权利要求1所述的方法，其中姿态估计此外基于从传感器元件接收的传感器输出，所述传感器元件被配置成测量用户的预定事件、物理改变或状态。

5.根据权利要求4所述的方法，其中传感器元件包括：加速度计；陀螺仪；压力传感器；GPS传感器；麦克风；电磁成像传感器；环境光传感器；颜色传感器；角度传感器；电生理学传感器；肌电图描记传感器；生物声学传感器；光电体积描记术传感器；RFID天线；超声测距传感器；高频换能器阵列；电磁场传感器或接近传感器。

6.根据权利要求4所述的方法，其中所估计的姿态的所估计的运动学用于生成软组织变形图。

7.根据权利要求6所述的方法，其中所述软组织变形图用于补偿和校准所投影的显示。

8.根据权利要求4所述的方法，此外包括如下步骤：基于姿势命令来生成预定的可执行计算机指令。

9.根据权利要求8所述的方法，其中所述计算机指令集合基于从被配置成对非线性表面进行成像的颜色传感器或成像传感器所接收的输入而修改被投影在非线性表面上的显示信息。

10.根据权利要求9所述的方法，其中所述非线性表面是用户的身体表面。

11.根据权利要求8所述的方法，其中所述计算机指令集合删除计算机存储器中的用户选择的数字内容。

12.根据权利要求8所述的方法，其中所述计算机指令集合提前或返回到计算机存储器中的用户选择的数字内容。

13.根据权利要求8所述的方法，其中所述计算机指令集合触发数字相机系统中的图像捕获。

14.根据权利要求8所述的方法，其中所述计算机指令集合触发数字相机系统中的全景图像捕获。

15.根据权利要求8所述的方法，其中所述计算机指令集合修改三维光场显示。

16.根据权利要求8所述的方法，其中所述计算机指令集合控制计算机显示上的二维光标。

17.根据权利要求8所述的方法，其中所述计算机指令集合控制三维光场显示中的三维光标。

18.根据权利要求8所述的方法，其中所述计算机指令集合与计算机游戏交互。

19.根据权利要求8所述的方法，其中所述计算机指令集合与在用户两只手上所显示的计算机游戏交互。

20.根据权利要求8所述的方法，其中所述计算机指令集合监视或控制一件工业装备。

21.根据权利要求8所述的方法，其中所述计算机指令用于远程地操纵陆地、空中或海运运载工具。

22.根据权利要求8所述的方法，其中所述计算机指令集合与家庭娱乐系统交互。

23.根据权利要求8所述的方法，其中所述计算机指令集合控制功率工具或机器人系统。

24.根据权利要求8所述的方法，其中所述计算机指令集合控制机器人外科手术系统。

25.根据权利要求8所述的方法，其中所述计算机指令集合映射和呈递对象的空间尺寸或几何结构。

26.根据权利要求8所述的方法，其中所述计算机指令集合测量用户的肢体所施加的力、扭矩和力矩。

27.根据权利要求8所述的方法，其中所述计算机指令集合与三维内容交互以用于数字内容生成。

28.根据权利要求8所述的方法，其中所述计算机指令集合用于组织弹性成像辅助的监视。

29.根据权利要求8所述的方法，其中所述计算机指令集合用于监视针对撞击应力的关节、针对物理疗法的姿态或运动。

30.根据权利要求8所述的方法，其中所述计算机指令集合使用在与打印的内容的用户交互中。

31.根据权利要求8所述的方法，其中所述计算机指令集合使用在与所显示的增强现实内容的用户交互中。

32.根据权利要求8所述的方法，其中所述计算机指令使用在与所显示的虚拟现实内容的用户交互中。

33.根据权利要求8所述的方法，其中所述计算机指令集合使用在存货判别应用中。

34.根据权利要求8所述的方法，其中所述计算机指令集合用于创建虚拟沉浸式显示。

35.根据权利要求8所述的方法，其中所述计算机指令集合使用在沉浸式多玩家游戏中。

36.根据权利要求8所述的方法，其中所述计算机指令集合修改投影表面上的显示信息。

37.根据权利要求36所述的方法，其中所述显示信息包括计算机菜单屏幕，所述计算机菜单屏幕包括图形用户接口图标。

38.根据权利要求1所述的方法，其中所述数学模型包括集总、有限或混合元素模型。

39.根据权利要求1所述的方法，其中所述数学模型包括动态和可变形网格。

40.根据权利要求1所述的方法，其中所述数学模型包括至少一个数值优化例程，所述例程服从运动学约束而操作。

41.根据权利要求1所述的方法，其中所述数学模型包括至少一个非监督的统计学习模型。

42.根据权利要求1所述的方法，其中所述数学模型包括至少一个监督的统计学习模型。

43.根据权利要求1所述的方法，其中所述数学模型包括至少一个概率图模型。

44.一种用于远程地监视解剖特征的性质的方法，包括以下步骤：

基于可穿戴姿势识别设备的刚体运动以及基于解剖特征的多个预定内部或外部对象的生物度量集合来提供数学模型；

通过映射用户的解剖特征的空间-时间横截面来从所述多个对象的用户的解剖特征获得超声信号数据集合；

通过将超声信号数据与数学模型相互关联来标识对象的预定性质；以及

通过网络以计算机可读信息的形式将所标识的对象性质传送到远程位置。

45.一种用于人机接口的可穿戴姿势识别系统，包括：

带状元件，其被配置成紧固在用户的解剖特征上；

多个间隔开的超声收发器，其被布置在带状元件上的预定位置处；

收发器，其被配置成当所述带被用户穿戴的时候传送超声信号并且获取反射信号，其表示用户解剖特征的横截面的空间-时间图；以及

处理电路，其被配置成接收、处理所获取的空间-时间图并将其输出到信号处理器。

46.根据权利要求45所述的系统，其中所述收发器是单独超声收发器子元件的二维阵列，所述子元件各自具有顶部和底部可寻址的矩阵电极；声学耦合层；声学透镜层；声学匹配层；以及传送有源/无源阻抗层。

47.根据权利要求45所述的系统，其中所述带状元件被配置成围绕用户的肢体的周界而被紧固。

48.根据权利要求47所述的系统，此外包括：

与所述带状元件通信的可穿戴的近眼显示系统，

其中所述处理电路此外被配置成从可穿戴的近眼显示系统接收信息以用于处理，根据从可穿戴的近眼显示系统所接收的信息而修改解剖特征的横截面的空间时间图，并且将经修改的空间时间图输出到信号处理器。

49.根据权利要求47所述的系统，此外包括：

与所述带状元件通信的移动通信设备，

其中所述处理电路此外被配置成从移动通信设备接收信息以用于处理，根据从移动通信设备所接收的信息而修改解剖特征的横截面的空间时间图，并且将经修改的空间时间图输出到信号处理器。

50.根据权利要求47所述的系统，其中所述带状元件包括可变张力元件，所述可变张力元件被配置成当被用户穿戴的时候提供带状元件上的预定张力。

51.根据权利要求45所述的系统，此外包括传感器元件，所述传感器元件包括被配置成感测三维体积中解剖特征的定位的陀螺仪和加速度计中的至少一个；以及三维光场显示系统中的定位相关的姿势接口，其包括用户的解剖特征的所估计姿态和所感测的定位。

52.根据权利要求51所述的系统，其中所述定位相关的姿势接口被配置用于用户与用户在光场显示系统中所查看的数字内容交互或操纵所述数字内容。

53.根据权利要求52所述的系统，所述光场显示系统是可穿戴近眼显示系统，包括增强现实显示系统或虚拟现实显示系统。

54.根据权利要求52所述的系统，其中所述数字内容被显示在直视光场显示系统上。

55.根据权利要求51所述的系统，此外包括无线接口，用于将所感测的定位和所估计的姿态无线地传递到外部计算机或显示系统。

56.根据权利要求55所述的系统，其中所述光场显示系统是可穿戴近眼显示系统，包括增强现实显示系统或虚拟现实显示系统。

57.根据权利要求55所述的系统，其中所述显示系统是直视光场显示系统。

58.根据权利要求45所述的系统，此外包括穿戴在解剖特征上的微微投影仪，所述微微投影仪被配置成投影数字内容、对象或图标以用于在用户身体表面或外部表面上显示，其中用户经由姿势命令而与所述数字内容、对象或图标交互、操纵或选择所述数字内容、对象或图标。

59.根据权利要求58所述的系统，此外包括陀螺仪或加速度计，其被配置成通过使用用户的手部定位来选择被投影在用户身体或外部表面上的数字内容的一部分。