CN106662913A - 用于双模式传感器系统的系统和方法 - Google Patents

用于双模式传感器系统的系统和方法 Download PDF

Info

Publication number
CN106662913A
CN106662913A CN201580013521.3A CN201580013521A CN106662913A CN 106662913 A CN106662913 A CN 106662913A CN 201580013521 A CN201580013521 A CN 201580013521A CN 106662913 A CN106662913 A CN 106662913A
Authority
CN
China
Prior art keywords
ultrasonic
entity
physically
received
ultrasonic wave
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580013521.3A
Other languages
English (en)
Inventor
杰西·R·奇塔姆三世
罗德里克·A·海德
内森·P·米佛德
戴斯尼·S·谭
克拉伦斯·T·特格林
查尔斯·惠特默
安德鲁·威尔逊
珍妮特·M·温
穆里尔·Y·伊什克瓦
乔丁·T·卡勒
克雷格·J·蒙迪
罗伯特·C·佩特罗斯基
埃里克·D·鲁德尔
小洛厄尔·L·伍德
维多利亚·Y·H·伍德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Elwha LLC
Original Assignee
Elwha LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US14/203,401 external-priority patent/US9618618B2/en
Priority claimed from US14/280,463 external-priority patent/US9739883B2/en
Priority claimed from US14/496,037 external-priority patent/US9437002B2/en
Application filed by Elwha LLC filed Critical Elwha LLC
Publication of CN106662913A publication Critical patent/CN106662913A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses

Abstract

本发明提供用于使用两种成像模式以两种不同的分辨率对实体成像的系统和方法。例如,该系统可以利用第一模式(例如,超声波或电磁辐射)以产生第一分辨率的图像数据。然后,该系统可利用其他模式产生感兴趣部分的第二分辨率的图像数据,所述第二分辨率高于所述第一分辨率。在另一实施方式中,一种成像模式可以用于解决在使用另一种成像模式产生的图像数据中的模糊性,如重影。

Description

用于双模式传感器系统的系统和方法
优先权申请和相关申请以及优先权申请和相关申请的任何和所有的父、祖父、曾祖父等的申请的所有主题,包括任何优先权要求,在这样的主题并不与本发明相悖的程度下通过引用并入本文。
技术领域
本发明涉及用于产生区域内的实体的图像的系统和方法。具体地,本发明提供用于使用与例如娱乐设备组合的双模式传感器(例如,超声波和电磁辐射)的系统和方法。
背景技术
系统可利用双模式传感器产生图像数据。该系统可以使用第一模式以产生实体的粗质图像数据。然后,该系统可以使用该粗质图像数据来识别实体的感兴趣部分。该系统可以使用第二模式以产生所识别的感兴趣部分的精细图像数据。
例如,在各种实施方式中,系统可以包括一个或多个超声波发射器和/或接收器来实现第一模式。在一些实施方式中,发射器和/或接收器可以体现为一个或多个收发器。超声波发射器可以被配置成发射超声波到由一个或多个表面界定的区域中。超声波接收器可以接收来自区域内的一个或多个实体的直接超声波反射。如下面详细描述的,系统可以使用超声波发射器和/或接收器,以产生实体的粗质图像数据,并基于所述粗质图像数据识别实体的感兴趣部分。
例如,在某些实施方式中,系统还可以被配置成经由电磁接收器接收来自区域内的实体的电磁反射。该系统可以使用所接收的电磁反射产生所识别的感兴趣部分的精细图像数据。例如,在经由粗质图像数据识别感兴趣部分之后,该系统可以接收来自所识别的感兴趣部分的电磁辐射,并产生具有比在粗质图像数据中可获得的分辨率更高的分辨率的图像数据(本文称作精细图像数据)。
在一些实施方式中,双模式可被用于解决至少一种模糊性。例如,从第一模式接收的图像数据可以包括诸如重影之类的模糊。在这样的例子中,第二模式可以由系统利用以解决由第一模式引入的模糊,例如,在使用第一模式产生的图像数据中的重影。作为具体的例子,所接收的电磁辐射可以由系统利用以校正由所接收的超声波反射引入的重影。
上面所讨论的两种模式(即,电磁成像和超声波)中的任一种可以由系统利用以产生精细图像数据或粗质图像数据。例如,第一实施方式可利用超声波来产生粗质图像数据和利用电磁成像产生精细图像数据,而第二实施方式可利用电磁成像产生粗质图像数据和利用超声波产生精细图像数据。
前面的概述仅是说明性的并不旨在以任何方式进行限制。除了以上描述的说明性方面、实施方式和特征,参照附图和下面的详细描述还展示了进一步的方面、实施方式和特征。
附图说明
图1A示出了发射超声波朝向有界区域内的三个人的定位系统。
图1B示出了由定位系统接收的直接超声波反射和因此由定位系统产生的“重影”。
图2A示出了反弹超声波离开墙壁然后朝向所述三个人的定位系统。
图2B示出了反弹超声波离开墙壁然后朝向所述三个人的定位系统的侧视图。
图3A示出了被配置成通过所述定位系统促进反弹的超声波的发射、反射和/或接收的多个超声波反射器。
图3B示出了被配置成通过所述定位系统促进反弹的超声波的发射、反射和/或接收的多个有源超声波反射器。
图4A示出了在第一位置上的被配置成相对于壁枢转的有源受控超声波反射器,它被安装到所述墙壁上以通过所述定位系统促进反弹的超声波的发射、反射和/或接收。
图4B示出了在第二位置上的有源受控的超声波反射器。
图5示出了根据一个实施方式的定位系统的框图。
图6示出了用于产生描述区域内的一个或多个实体的相对位置的位置数据的方法的流程图。
图7A示出了发射和接收来自静止实体的反射超声波的超声波系统。
图7B示出了发射第一频率的超声波和接收第二频率的来自移动远离超声波系统的实体的反射超声波的超声波系统。
图7C示出了发射第一频率的超声波和接收第二频率的来自朝向超声波系统移动的实体的反射超声波的超声波系统。
图7D示出了类似于图7A的发射和接收来自静止实体的反射超声波的超声波系统。
图7E示出了当实体移动远离超声波系统时来自所述实体的反射超声波的时序延迟。
图8示出了超声波在由移动远离超声波接收器的实体反射之前反弹离开反射器。
图9示出了结合超声波速度和/或加速度检测系统使用的电磁位置检测系统。
图10示出了从一个或多个辅助反射器反射和/或反弹的超声波。
图11示出了用于确定来自多个方向的速度和/或加速度信息的多个超声波系统。
图12示出了用于确定与移动实体相关联的速度和/或加速度信息的方法。
图13A示出了发射和接收反射离开有界区域内站立的人的超声波的双模式系统。
图13B示出了基于所接收的超声波反射产生实体的粗质图像数据的双模式系统。
图13C示出了基于从超声波反射产生的粗质图像数据识别所述实体上的若干感兴趣部分的双模式系统。
图14示出了利用电磁反射结合超声波以接收来自所识别的感兴趣部分的额外图像信息的双模式系统。
图15示出了产生人上的感兴趣部分的精细图像数据的双模式系统。
图16示出了使用超声波和电磁辐射产生图像的方法。
图17示出了使用超声波和电磁辐射产生图像的另一方法。
图18示出了使用超声波和电磁辐射解决图像中模糊性的方法。
具体实施方式
系统可以利用双模式传感器系统以产生图像数据。例如,系统可以利用两个成像模式以两种不同的分辨率对实体成像。也就是说,系统可以利用第一模式(例如,超声波或电磁辐射),以在第一分辨率产生实体的图像数据。然后,该系统可利用另一模式在第二分辨率产生实体(不一定是整个实体)上感兴趣部分的图像数据,其中,第二分辨率高于第一分辨率。因此,双模式可以被用来使用第一模式产生整个实体的粗质(即,较低的分辨率)图像,确定实体上的感兴趣部分,然后使用第二模式产生感兴趣部分的精细(即,较高的分辨率)图像。
作为具体的例子,系统可经由第一超声波发射器发射超声波到区域中。超声波接收器可以从在区域内的实体上的多个位点接收发射的超声波的超声波反射。处理器可以基于所接收的超声波反射在第一分辨率产生实体的粗质图像数据。然后,该系统可基于粗质图像数据识别实体上的感兴趣部分。电磁辐射可以从实体上的所识别的感兴趣部分接收。可以基于所接收的电磁辐射在第二分辨率产生实体上的感兴趣部分的精细图像数据。第二分辨率可以高于第一分辨率。在一些实施方式中,第一分辨率可以高于第二分辨率。
在一些实施方式中,与实体上的感兴趣部分相关联的运动值(a kinematicvalue)可基于所接收的电磁辐射和所接收的超声波反射中的至少一种来确定。类似地,在一些实施方式中,娱乐设备的状态可以基于所确定的与实体上的感兴趣部分相关联的运动值来修改。
在一些实施方式中,上述的粗质图像数据可以基于所接收的电磁反射来产生,并且精细图像数据可以基于所接收的超声波反射来产生。在本文所述的多种实施方式中的任何一种中,所接收的电磁辐射可以通过系统、通过另一系统、通过辅助电磁辐射源来产生,和/或包括环境电磁辐射(例如光)。
在一些实施方式中,一种成像模式可以用于解决在使用另一种成像模式产生的图像数据中的模糊性(如重影)。例如,使用超声波成像技术产生的图像可具有重像式图像模糊,该重像式图像模糊可以使用电磁成像技术(或者甚至仅电磁位置/距离检测技术)来解决。
例如,系统可以包括一个或多个超声波发射器和/或接收器,以及一个或多个电磁发射器和/或接收器。这些不同的模式中的每个模式可以以不同的分辨率捕获图像数据。该系统可以以较低的分辨率产生不重要或不太重要的图像数据,而以较高的分辨率捕获重要的图像数据。在一些实施方式中,以较高的分辨率产生仅该图像的一部分可以允许系统能较快地并以较压缩的方式处理图像数据,同时仍然以高分辨率提供感兴趣部分。
在一些实施方式中,发射器和/或接收器可以体现为一个或多个收发器。超声波发射器和/或接收器可以通过系统与电磁接收器同时或在电磁接收器之前或之后按顺序进行操作。超声波发射器和接收器可以与电磁接收器组合使用以产生图像数据。
电磁和/或超声波的发射器、接收器和/或收发器中的一个或多个可以包括压电换能器,其可以是单个换能器系统的一部分或换能器阵列。在一些实施方式中,换能器可以包括超材料或由超材料制成。超声波换能器的平面副波长阵列可以结合本发明描述的实施方式使用,例如这些利用超材料的阵列的实施方式。
该双模式传感器系统可以被配置成利用不同的频谱。这样的系统上使用的超声波发射器可以被配置成发射超声波到由一个或多个表面界定的区域中。超声波可以是介于20kHz和250kHz之间。在一个实施方式中,超声波特别地介于35kHz和45kHz之间。还可以在这种系统中使用电磁发射器和/或接收器以发射和/或接收一定范围的电磁辐射频率。例如,系统可以被配置成使用电磁微波、太赫兹、红外线、可见光、和/或紫外线辐射。双模式传感器系统可以使用两种模式来产生更详细的图像数据和/或校正由模式中的一种引起的模糊性。
例如,该系统可以使用第一模式以产生实体的粗质图像数据,并且,以获得关于所识别的感兴趣部分的更详细的数据,该系统可以使用第二模式产生实体的识别部分的精细图像数据。例如,如果第一模式产生具有低分辨率的实体图像,则所述第二模式可以用于提供较高分辨率的实体上的兴趣部分。另一实施方式可包括引入模糊性到图像数据的第一模式。为了校正模糊,该系统可以使用不容易产生相同类型的模糊的第二模式。
例如,所述系统可以包括或一个或多个超声波发射器和/或接收器。该系统可以使用超声波接收器和/或发射器,以产生粗质图像数据。例如,超声波发射器可以被配置成发射超声波到区域中。超声波接收器可以接收来自该区域内的一个或多个实体的超声波反射。基于这些接收的超声波反射,该系统可以经由处理器产生一个或多个实体的粗质图像数据。
系统可使用粗质图像数据识别实体上的感兴趣部分。例如,该系统可以识别人的手、手指、手臂、腿脚、脚趾、躯干、颈部、头部、口、唇、和/或眼部。所识别的感兴趣部分可以基于娱乐装置的状态。一旦一个或多个感兴趣部分被确定,则该系统可以使用第二模式(例如,电磁辐射),以收集有关感兴趣部分的进一步细节。
例如,所述系统还可以包括电磁接收器和/或发射器。该系统可以使用所接收的电磁反射产生所识别的感兴趣部分的精细图像数据。例如,在使用粗质图像数据识别所述感兴趣部分之后,该系统可以接收来自所识别的感兴趣部分的电磁辐射,并产生所识别的感兴趣部分的更高分辨率的图像。
在一些实施方式中,第二模式可以用于解决在第一模式中固有的或由第一模式的使用引起的至少一种模糊性。例如,使用第一模式产生的图像数据可包括模糊。例如,经由超声波产生的图像数据可以具有在图像数据中固有的重影。在这样的例子中,第二模式(例如,电磁辐射)可以由系统使用,以解决由所述第一模式引入的模糊。例如,所接收的电磁辐射可以由系统使用以去除在使用超声波反射所产生的图像数据中的重影图像。
上文所讨论的两种模式(即,电磁成像和超声波)中的任何一种可以由系统使用以产生精细图像数据或粗质图像数据。例如,第一实施方式可利用超声波来产生粗质图像数据以及利用电磁成像来产生精细图像数据,而第二实施方式可利用电磁成像来产生粗质图像数据以及利用超声波来产生精细图像数据。
可确定与实体或实体上的特定的感兴趣部分相关联的运动值。实体的运动值可以包括实体的位置、速度、和/或加速度。运动值可基于所接收的电磁辐射和/或所接收的超声波反射。
在一些实施方式中,直接超声波可以从实体的第一部分反射,并且反弹的超声波可以从实体的不同的第二部分反射。位置数据可以用所接收的超声波反射来确定。直接位置数据可以对应于实体的位置的第一方向分量,并且反弹位置数据可以对应于实体的位置的第二方向分量。同样,一个或多个直接超声波反射和/或反弹的超声波反射可以被用来确定速度和/或加速度。例如,速度和/或加速度的信息可以使用对应于反射实体的运动的多普勒偏移来确定。
在一些实施方式中,所接收的超声波反射(直接或反弹的)可被用于确定位置数据。在不同时间取样的位置数据可以用于确定和/或预测与实体相关联的当前和/或未来的速度和/或加速度的信息。在其他实施方式中,如本文所述的,速度和/或加速度的信息可以基于由实体反射的超声波中的所检测到的偏移来计算。例如,系统可以检测由实体反射的超声波相对于所发射的超声波的多普勒偏移。朝向更长的波长的偏移可以指示实体移动远离超声波接收器。朝向更短的波长的偏移可以指示实体朝向超声波接收器移动。所检测的偏移可以与频移、波长偏移、相移、时移反射、和/或其他超声波偏移相关联。
任何数量的直接和/或反弹的超声波反射可以从区域内的一个或多个实体获得,以获得一段时间内的速度和/或加速度的数据,和/或获得多个数据点的更准确的速度和/或加速度的数据。发射的超声波可以作为定向或非定向的超声波脉冲以调制的(频率、振幅、相位等)方式和/或其他形式连续地发射。超声波发射可以按照需求以规则的间隔和/或基于先前发射的超声波发射的接收而隔开。直接的超声波脉冲和反弹的超声波脉冲可以在同一时间发射,或任何一者可在另一者之前被发射。
反弹的超声波反射可以被定义为以任何顺序反射除了离开实体以外还离开至少一个表面的超声波反射。例如,反弹的超声波反射在由超声波接收器接收之前可以(以任何顺序)被反射离开任何数量的表面和/或实体。
映射或定位系统可以基于直接超声波反射和/或反弹的超声波反射产生与实体中的一个或多个相关联的位置数据。位置数据可以包括实体的质心、实体的二维映射、实体的图像、实体的假色表现、实体的信息表示(框、正方形、阴影等)、实体的三维映射、实体的一个或多个特征、和/或其它信息。
速度和/或加速度的数据可以相对于该区域的一个或多个表面、超声波速度/加速度系统、系统的接收器、和/或系统的发射器来限定。区域内的一个或多个实体可以包括机械、机器人、家具、家庭财产、一般人、游戏玩家、电子器件的控制人员、电子器件、装置和/或其它人或非人实体。
该实体可能包括人的特定部分,如手、手指、手臂、腿、脚、脚趾、躯干、颈部、头部、口部、唇、或眼部。在一些实施方式中,反弹的超声波发射可以被反射离开设置在房间内的超声波反射器。在一些实施方式中,超声波反射器可以被安装和/或以其他方式定位在所述区域内。在其他实施方式中,超声波反射器可以被保持、穿戴、和/或以其他方式在超声波定位系统的用户或操作者的位置中。超声波反射器可以修改反射的超声波的特性,从而有利于所接收的反弹的超声波反射的识别。
超声波反射器可以包括用于控制在区域内的超声波反弹的方向和/或以其他方式行进的方向的无源、有源和/或有源地移动/枢转的超声波反射器。例如,超声波反射器可以被配置成修改反弹超声波的频率、相位、和/或振幅中的一种或多种。经修改的特性可以有利于直接超声波反射和反弹的超声波反射的区分。在一些实施方式中,直接信号和反弹信号可以使用各自的波束的发射或接收方向的知识来区分。在一些实施方式中,直接信号和反弹信号可使用各自的波束的飞行时间的知识来区分。在一些实施方式中,反射光束(并因此其输送位置信息的定向特性)的方向可以通过所述反射面的方向和它的反射特性的知识来确定。例如,来自表面的超声波反射可以以镜面反射为主,从而允许能直接判定反弹的几何形状。
映射系统或定位系统还可以使用实体的来自所述一个或多个表面的反弹的超声波反射来产生速度和/或加速度的数据。应该理解的是,来自表面的反弹的超声波反射可以首先反弹离开表面然后反弹离开实体,或首先离开实体然后离开表面。
该系统然后可以通过组合直接速度和/或加速度的数据以及反弹的速度和/或加速度的数据来产生增强的速度和/或加速度的数据。增强的速度和/或加速度的数据可以是直接和反弹的速度和/或加速度的数据的拼接,或者是直接和反弹速度和/或加速度的数据的简单的或复杂的函数。
例如,在一个实施方式中,直接和反弹速度和/或加速度的数据可仅包括飞行时间信息,所述飞行时间信息基于空气声速,可针对每个波束转化为输送距离信息。在这样的实施方式中,直接速度和/或加速度的数据提供从收发机到上述实体的范围,即,剩下沿二维球面的速度和/或加速度未定义。沿此球面的每个潜在实体的位置导致(例如,假定镜面反射)针对来自一个表面(墙壁、天花板、地板)的反弹的波束的不同的飞行时间;这使实体的可能的速度和/或加速度的轨迹限制成沿球形表面的一维弧形,从而提高速度和/或加速度预测值。
该系统可通过分析来自第二表面的反弹数据进一步调节速度和/或加速度的数据。在当前的例子中,每个沿球面的潜在实体的位置(通过直接波束的飞行时间获得)限定用于超声波从第一表面反弹的第一飞行时间,以及用于超声波从第二表面反弹的第二飞行时间;两次飞行时间的知识决定实体的位置。显然,来自其它表面的飞行时间数据可以通过“过限定”问题来(例如,通过降低测量误差、漫反射的效果等的灵敏度)改善位置预测值。在其它实施方式中,直接和反弹速度和/或加速度的数据可以包括定向信息。
例如,针对直接超声波的定向信息可以识别实体(或它的特定部分)沿已知的射线定位,从而提供它的速度和/或加速度的两个分量。然后来自反弹超声波的信息可以提供足以识别实体的速度和/或加速度的第三分量(即,沿射线)的额外的加速度和/或速度的数据。该反弹超声波可以提供飞行时间信息;每个实体的沿射线的速度和/或加速度对应于不同的针对来自表面的反弹超声波的飞行时间,因此所测得的飞行时间标识实体的位置、速度和/或加速度。该反弹超声波可以提供(用于发射或接收的)方向信息;该反弹射线与直接射线的交点用于识别实体的位置、速度和/或加速度。
使用经由直接超声波反射或反弹的超声波反射获得的额外的速度和/或加速度的数据和/或其它速度和/或加速度的数据,例如经由其他装置/系统/方法(例如,激光检测、照相机等)获得的速度和/或加速度的数据,增强的速度和/或加速度的数据可以被进一步增强或增加。取决于它们从实体反射的时间,直接和反弹速度和/或加速度的数据可以在相同或不同的时间提供用于实体的速度和/或加速度的数据。增强的位置数据可以使用设计为组合对应于不同的时间或定向组件的速度和/或加速度的数据的动态模型(例如,卡尔曼滤波器)进行分析,将它们与实体的当前和/或未来的运动的预测值一起使用进行分析,以改善实体的当前和/或未来的运动的预测值。
在一些实施方式中,可以不使用直接超声波反射。而是,可以使用第一反弹的超声波反射和第二反弹的超声波反射以产生速度和/或加速度的数据。应理解,可以使用任何数量的直接超声波反射或反弹的超声波反射来识别在区域内的实体的位置、速度、加速度,和/或其他移动信息。在各种实施方式中,利用超声波反射收集的速度和/或加速度的数据可以与其它速度和/或加速度的数据(如红外线、通过人工输入提供的速度和/或加速度的数据,回声位置,声纳技术,激光,和/或类似物)进行组合。
在各种实施方式中,一个或多个本地、远程或分布式系统和/或系统组件可以经由超声波发射器发射超声波到区域中。接收到的超声波可以包括直接反射和反弹反射两者。来自直接反射和反弹反射两者的速度和/或加速度的数据可以被用于获得更准确和/或更快速地描述区域内的一个或多个实体的相对速度和/或加速度的数据的速度和/或加速度的数据。
实施方式可包括多种步骤,这些步骤可以体现在由计算机系统执行的机器可执行指令中。计算机系统包括一个或多个通用或专用计算机(或其它电子设备)。该计算机系统可以包括硬件组件,所述硬件组件包括用于执行所述步骤的特定逻辑,或者可以包括硬件、软件和/或固件的组合。
实施方式也可被提供为计算机程序产品,所述计算机程序产品包括具有其上存储有可用于对计算机系统或其它电子设备进行编程以执行本文描述的处理的指令的计算机可读介质。该计算机可读介质可以包括,但不限于:硬盘、软盘、光盘、CD-ROM、DVD-ROM、ROM、RAM、EPROM、EEPROM、磁卡或光卡、固态存储器设备、或其它类型的适合于存储电子指令的介质/计算机可读介质。
计算机系统和在计算机系统中的计算机可以经由网络连接。用于配置和/或用于如本文所述的用途的适当的网络包括一个或多个局域网、广域网、城域网和/或因特网或IP网络,如万维网、专用因特网、安全因特网、增值网络、虚拟专用网、外部网、内部网,或者甚至是通过介质的物理传输与其他机器进行通信的独立机器。特别地,适当的网络可以由两个或多个其它网络(包括使用不同的硬件和网络通信技术的网络)的部件形成或整体地形成。
一种适当的网络包括服务器和多个客户端;其它适当的网络可以包含服务器、客户端和/或对等网络节点的其他组合,并且给定的计算机系统可用作客户端和用作服务器两者。每个网络包括至少两个计算机或计算机系统,诸如服务器和/或客户端。计算机系统可包括工作站、膝上型计算机、可断开移动式计算机、服务器、大型机、集群、所谓的“网络计算机”或“瘦客户端”、平板电脑、智能电话、个人数字助理或其它手持式计算设备、“智能”消费电子设备或装置、医疗设备、或它们的组合。
网络可以包括通信或网络软件,如可从Novell、微软、Artisoft以及其他供应商获得的软件,并且可以通过双绞线电缆、同轴电缆、或光纤电缆、电话线、无线电波、卫星、微波继电器、调制的AC电源线、物理介质传递、和/或本领域技术人员公知的数据传输“线”,使用TCP/IP、SPX、IPX和其他协议来操作。该网络可以包括较小的网络和/或通过网关或类似的机制可连接到其它网络。
每个计算机系统至少包括处理器和存储器;计算机系统还可以包括各种输入设备和/或输出设备。该处理器可以包括通用设备,诸如 或其他“现成的”微处理器。所述处理器可以包括专用处理设备,例如ASIC、SoC、SiP、FPGA、PAL、PLA、FPLA、PLD或其他定制或可编程设备。所述存储器可以包括静态RAM、动态RAM、闪存、一个或多个触发器、ROM、CD-ROM、磁盘、磁带、磁计算机存储介质、光学计算机存储介质,或其他计算机存储介质。输入设备可以包括键盘、鼠标、触摸屏、光笔、平板电脑、麦克风、传感器、或具有附随固件和/或软件的其它硬件。输出设备可以包括监视器或其它显示器、打印机、语音或文本合成器、开关、信号线、或具有随附的固件和/或软件的其它硬件。
计算机系统能够使用软盘驱动器、磁带驱动器、光盘驱动器、磁光驱动器,或者其他手段以读取存储介质。适当的存储介质包括具有特定的物理结构的磁的、光学的或其他计算机可读的存储设备。适当的存储设备包括软盘、硬盘、磁带、CD-ROM、DVD、PROM、RAM、闪存,以及其他的计算机系统存储设备。物理配置表示造成计算机系统以如本文中所述的特定的和预定义的方式操作的数据和指令。
协助执行本发明的适当的软件通过相关领域中的技术人员使用这里提出的教导以及编程语言和工具容易地提供,所述编程语言和工具如Java、Pascal、C++、C、数据库语言、API、SDK、组件、固件、微码、和/或其他语言和工具。适当的信号格式可体现为模拟或数字形式,具有或没有错误检测和/或校正位、数据包报头、特定格式的网络地址,和/或由相关领域中技术人员易于提供的其他支持数据。
描述的实施方式的若干方面将被示为软件模块或组件。如本文所使用的,软件模块或组件可以包括位于存储设备内的任何类型的计算机指令或计算机可执行代码。例如,软件模块可以包括计算机指令的一个或多个物理或逻辑块,其可以被组织为执行一个或多个任务或实现特定的抽象数据类型的例程、程序、目标、组件、数据结构等。
在某些实施方式中,特定软件模块可以包括存储在存储设备的不同位置、不同的存储设备或不同的计算机上的不同的指令,它们一起实现模块的所描绘的功能。实际上,模块可包括单个指令或多个指令,且可分布在若干不同的代码段上,在不同的程序中,以及跨越多个存储设备。一些实施方式可以以其中任务由通过通信网络链接的远程处理设备执行的分布式计算环境来实践。在分布式计算环境中,软件模块可以位于本地和/或远程存储器存储设备中。此外,在数据库记录中捆绑或渲染在一起的数据可以驻留在相同的存储设备中,或跨越多个存储器设备,并且可以在网络上的数据库中的记录的字段中连接在一起。
许多可以根据本发明使用的基础设施是容易获得的,如:通用计算机,计算机编程工具和技术,计算机网络和网络技术,数字存储介质,认证,访问控制,以及由公开密钥、加密、防火墙和/或其他装置提供的其他安全工具和技术。
下面参考附图描述本公开的实施方式,其中在全文中相同的部件由相同标号表示。如通常在本文的附图中所描述和示出的,公开的实施方式的组件可以以各种不同的配置来布置和设计。此外,与一种实施方式相关联的特征、结构和操作可以适用于其他实施方式或者与结合其他实施方式所描述的特征、结构或操作组合。在其他情况下,公知的结构、材料或操作没有被示出,也没有详细描述,以避免使得本公开的各个方面不清楚。
因此,本公开的系统和方法的实施方式的以下详细描述并不旨在限制本公开的的范围(如主张的),而仅仅代表可能的实施方式。另外,方法的步骤并不一定需要以任何特定的顺序执行,或甚至按顺序执行,步骤也并不一定只执行一次。
图1A示出了发射超声波120朝向有界区域100内的组150中的三个人151、152和153的双模式定位系统110。如图所示,该有界区域100由底板141、左壁142、后壁143、右壁144和天花板145界定。前壁(未示出)也可以界定区域100。
该双模式定位系统110可以将超声波120作为定向超声波脉冲以调制方式(频率、振幅、相位)发射和/或以其他形式连续地发射。超声波120可以朝向人151、152和153直接地发射。超声波120可间接地朝向人151、152和153发射。
在各种实施方式中,双模式定位系统110可以具有任何形状或尺寸和/或可以包括多个分布式组件。图示的实施方式仅是一个示例,并不旨在传达关于形状、尺寸、配置或功能的任何信息。在各种实施方式中,双模式定位系统110可以包括配置成发射和/或接收超声波和/或电磁辐射的换能器(如压电换能器)阵列。双模式定位系统110可以配置有用于发射超声波和/或电磁辐射的第一多个换能器112(或单个换能器)和用于接收超声波的第二多个换能器113(或单个换能器)。
图1B示出了由双模式定位系统110接收的直接超声波反射121。如图所示,直接超声波反射121可以传送相对二维的方式的粗质图像信息,其中三个人151、152和153被视为单个实体160,或者被视为在基本上相同平面上的三个不同的实体(161、162和163)。图1B示出了超声波121的所接收的直接反射的视觉表示。依赖于采样速率、精度、处理位深度、使用的超声波的频率等,所接收的实际位置数据可以是较高的分辨率或较低的分辨率。
图2A示出了类似于结合图1A和1B说明的双模式定位系统的双模式定位系统210,其中超声波225朝向界定区域200的表面发射。在示出的实施方式中,反弹表面是左壁242。可以理解,超声波可以被反弹离开左壁242、底板241、后壁243、右壁244和/或天花板245中的一个或多个。类似地,电磁辐射可以反弹离开左壁242、底板241、后壁243、右壁244和/或天花板245中的一个或多个。在一些实施方式中,系统可以接收来自其他来源(例如,区域中的环境光)的电磁辐射。
如本文所使用的,术语反弹的和反弹可以包括任何类型的反射、折射和/或可以包括或可以不包括相位、频率、调制、和/或幅度的变化的重复。反弹可以由表面的外表面,表面的内部,或设置在表面上、设置在表面内或设置在表面的后面的实体(例如,外壁涂料、干壁、内部金属、螺柱、内部涂层、安装板,等等)来进行。
超声波可最终被反弹227以与图1A和1B中获得的角度不同的角度反射离开人251、252和253。示出的实施方式示出了反弹超声波227反射离开左壁242然后反射离开人251-253。然而,超声波可以替代地反射离开人251-253,然后再反射离开左壁242。最终,超声波225可以以任何的顺序由人251-253和表面/壁241-245中的一个或多个反弹和/或反射,然后通过定位系统210接收。
图2B示出了结合图2A描述的双模式定位系统210的侧视图,其中反弹的超声波226在反射离开在位置228的人251-253并反弹离开左壁242之后被接收。图2B还示出了前壁246。在一些实施方式中,所有的超声波可针对前壁246发射以在整个区域更均匀地分布超声波(即,较宽的有效波束宽度)。
如图2B所示,通过反弹的超声波226获得的位置数据可以提供经由图1A和1B中所示的直接反射不能获得的粗质图像信息,例如,由于一个实体防止直接超声波到达第二实体(或第一实体的另一部分)而导致。例如,所获得的位置数据的视觉表示示出了相对于双模式定位系统210显然在不同的平面上的三个不同的实体261、262和263。例如,基于图2B的反弹的超声波产生的位置数据示出了实体262与实体261和263之间的距离D。如果仅直接反射是可获得的(如在图1A和1B),则这样的距离D可能是难以确定或不同地测定的。
图3A示出了固定到表面341、342、343、345和346中的一个或多个、安装到表面341、342、343、345和346中的一个或多个、定位在表面341、342、343、345和346中的一个或多个内和/或与表面341、342、343、345和346中的一个或多个整体地形成的多个超声波和/或电磁辐射反射器371、372、373和374。在一些实施方式中,用户/受试者可以握住或以其他方式控制便携式超声波和/或电磁辐射反射器375。超声波反射器371-375可以通过双模式定位系统310便于传送、反射和/或接收反弹超声波。
超声波和/或电磁辐射反射器可以包括用于控制超声波在区域内反弹的方向和/或以其他方式行进的方向的无源、有源和/或有源移动/枢转的超声波反射器。例如,超声波和/或电磁辐射反射器可以被配置成修改反弹超声波和/或电磁辐射的频率、相位和/或幅度中的一个或多个。经修改的特性可以促进直接超声波和/或电磁辐射反射与反弹超声波和/或电磁辐射反射的区别。
双模式映射或定位系统310可以基于直接超声波和/或电磁辐射反射(例如,图1A和1B)和/或反弹超声波和/或电磁辐射反射(例如,图2A和2B)来产生与实体中的一个或多个相关联的位置数据。位置数据可以包括实体的质心、实体的二维映射、实体的图像、实体的假色表现、实体的信息表示(框、正方形、阴影等)、实体的三维映射、实体的一个或多个特征、和/或其它信息。经由一个模式(即,超声波或电磁辐射)所产生的位置数据可以比通过其他方式产生的位置数据有更高或更低的分辨率。
该位置数据可以相对于该区域的一个或多个表面、双模式定位系统310、定位系统312的接收器和/或定位系统的发射器313来限定。区域内的一个或多个实体可以包括机械、机器人、家具、家庭财产、一般人、游戏玩家、电子器件的控制人员、电子器件、固定装置和/或其它人或非人实体。
该实体可包括人的特定部分,如手、手指、手臂、腿、脚、脚趾、躯干、颈部、头部、口部、唇、或眼部。如图3A和3B所示,反弹超声波发射可以被反射离开设置在房间内的超声波反射器371-375。在一些实施方式中,超声波反射器可以修改反射的超声波的特性,有利于所接收的圆形超声波反射的识别。
图3B示出了多个被配置成通过所述定位系统来促进反弹超声波的发射、反射和/或接收的有源超声波反射器391-394。如图所示,有源超声波反射器391-394可以连接到电源,如电池、太阳能电池、热转换器、插座380,和/或其它适当的功率源。在一些实施方式中,超声波本身可以提供功率源。
图4A示出了在第一位置的有源控制的超声波反射器472。双模式定位系统410可以与超声波反射器472通信,或超声波反射器472可以是自治的。在各种实施方式中,定位系统410可以发射超声波425朝向人451、452和453或朝向壁442,如图所示。超声波425然后可以分别反弹离开壁442或由人451-453反射。
图4B示出了在第二位置的有源控制的超声波反射器472。超声波反射器472可通过枢轴控制器495枢转和/或控制。
在一些实施方式中,枢转控制器495除了改变超声波反射器472的方向外,还可以改变超声波反射器472的反射特性、吸收特性和/或折射性能。例如,超声波反射器472可以具有特定的超声波或其它声吸收性质。枢轴控制器495可调节枢转性能和/或声性能和/或电性能。
图5示出了根据一个实施方式的定位系统500的框图。如图所示,定位系统500可以包括处理器530、存储器540,以及可能的网络550或其它数据传送接口。总线520可以互连各种集成组件和/或分立组件。各种模块可以以硬件、软件、固件和/或它们的组合来实现。
超声波发射器模块580可被配置成以在此描述的各种形式和/或方法中的任何一种发射超声波。超声波接收器模块582可被配置成接收来自在区域内的实体的直接超声波反射。此外,超声波接收器模块582可以被配置成接收来自实体的反弹的超声波反射。如本文中所使用的,直接反射和反弹反射是指本文提供的各种描述,以及这些术语的通常理解和变型。
映射系统模块584基于一个或多个直接超声波反射产生与实体相关的直接位置数据。如可以在本领域中被理解的,映射系统模块584还可以基于一个或多个间接超声波反射产生与实体相关联的直接位置数据。如可以在本领域中被理解的,映射系统模块584还可以基于一个或多个间接超声波反射产生与实体关联的反弹位置数据。
直接反射模块586可以被配置成促进、管理和/或监控直接反射的发射和/或接收。反弹反射模块588可以被配置成促进、管理和/或监控反弹反射的发射和/或接收。
位置数据计算模块589可以基于一个或多个直接超声波反射产生与实体相关联的直接位置数据。位置数据计算模块589还可以基于一个或多个反弹的超声波反射产生与实体相关联的反弹位置数据。位置数据计算模块589还可以通过组合直接位置数据和反弹位置数据来产生增强的位置数据。
图6示出了用于产生描述区域内的一个或多个实体的相对位置和/或运动的位置数据的方法600的流程图。方法步骤以非特定的顺序提供并可以如在技术上可行的方式重新排列。定位系统可发射超声波到由至少一个表面限定的区域中605。该定位系统可以接收来自区域内的至少对一个实体的直接超声波反射610。
所述定位系统可以接收来自区域内的至少一个实体的反弹的超声波反射612。反弹的超声波反射可首先反射离开壁和/或首先反射离开实体。定位系统可以基于来自实体的直接反射产生位置数据614。定位系统可以基于来自实体的反弹反射产生位置数据616。
定位系统可通过组合直接位置数据和反弹位置数据产生增强的位置数据618。在其它实施方式中,定位系统可发送直接位置数据和反弹位置数据到其他电子处理设备或其他处理设备以供使用。
与实体的位置的检测结合描述的超声波发射器、接收器、反射器和/或其它组件的各种配置中的任何一种也可应用于本文中所描述的关于与一个实体或多个实体相关联的速度和/或加速度的数据的检测和/或计算的实施方式,包括下面参考图7A-12描述的那些实施方式。例如,直接反射和反弹反射、多个反射器和/或超声波路径可以用来计算与区域内的实体相关联的速度和/或加速度的数据。
图7A示出了超声波系统710,它可被用作发射720和接收740来自静止实体730的反射超声波的双模式系统的一部分。代表超声波720和740的弧形之间的间隔是超声波的波长和/或频率的代表。由于实体730在固定位置上,反射超声波740相对于发射的超声波720不偏移。
图7B示出了发射第一频率的超声波720并接收来自移动离开超声波系统710的实体的第二频率的反射超声波741的超声波系统710。频移可以被检测和用来确定实体730的反向运动的速度。例如,实体730的速度Vo等于频率的变化Δf乘以超声波的速度Vus再除以发射的超声波相对于超声波接收器的频率ftrans。可以使用各种多普勒偏移速度和/或加速度计算和/或预测算法中的任何一种。
图7C示出了发射第一频率的超声波720并接收来自朝向超声波系统710移动的实体730的第二频率的反射超声波742的超声波系统710。同样,可以使用用于计算、确定和/或预测实体730相对于超声波系统710的相对速度的多种普勒偏移算法中的任何一种。例如,多普勒方程:
在上面的式1中,假定传输介质(例如,空气)是相对静止的,则fr是所接收的超声波的频率,C是超声波在介质(例如,空气)中的速度,Vr为超声波接收器相对于介质的速度,Vo是实体相对于介质的速度,并且ft是发射的超声波的频率。实体的加速度可使用在多个离散的时间段的速度计算值和/或通过检测所接收的超声波的频率随着时间的推移的变化fr来确定。
如本文所述,超声波系统710可以包括一个或多个超声波发射器和/或超声波接收器,并且发射器和接收器可以在物理上连接(如图7C所示),或者它们可以是分开的,并且甚至有可能定位于该区域内的不同位置。在一些实施方式中,发射器和接收器可以在单个换能器中实现。在其他实施方式中,每个换能器可充当超声波发射器和超声波接收器两者。在其他实施方式中,每个换能器可以结合电磁位置检测系统和/或接收器系统作为双模式系统使用。
图7D示出了超声波系统710发射和接收来自静止实体730的反射超声波720和743,类似于图7A。图7D提供图7E的代表性环境。
图7E示出了当实体730移动离开超声波系统710时在来自实体730的反射超声波743中的时序延迟和/或相移,显示为缺失波弧形757。如本文所提供的多普勒偏移可以被用于确定与移动实体相关联的加速度和/或速度信息。然而,应认识到,可利用速度测量的各种方法。例如,包括类似于在多普勒超声波心动描记术中使用的那些相移(即,当接收的信号到达时)测量。可以理解,实体的速度和/或加速度信息的各种1D、2D和3D向量多普勒计算可并入到目前描述的系统和方法中,其包括,但不限于,二维多普勒成像(2D DopplerImaging)、向量多普勒(Vector Doppler)、斑点跟踪(Speckle Tracking)、和其他。
图8示出了超声波820在由正移动离开超声波接收器810的实体830反射之前在821反弹离开反射器850(例如,辅助反射器)。所接收的超声波840相对于发射的超声波820的偏移可用于确定实体830相对于超声波接收器810的速度。
在一个实施方式中,超声波可以首先由实体830反射,然后由反射器850反弹。在这样的实施方式中,有可能确定实体830相对于反射器850的速度和/或加速度的信息。
图9示出了可以结合超声波速度和/或加速度检测系统910使用作为双模式系统的电磁位置检测系统913。超声波速度和/或加速度检测系统910可以结合本文中所描述的多种实施方式中的任何一种来操作和/或配置成结合本文中所描述的多种实施方式中的任何一种,以确定当前时间的位置、速度和/或加速度信息和/或用于预测在将来时间的这种信息。电磁位置检测系统913可使用飞行时间检测实体930的位置。例如,激光或其它电磁辐射源可以被用于测量系统913和实体930之间的飞行时间。经由电磁系统913获得的位置信息可结合使用本文描述的超声波系统910获得的速度和/或加速度的数据来使用。
图10示出了从一个或多个辅助反射器1030和1040反射和/或反弹的超声波1020。如在各种实施方式中描述的,超声波接收器/发射器1010可基于所检测的频移和/或相移利用来自区域内的实体的直接反射来确定速度和/或加速度信息。在一些实施方式中,除了直接超声波反射以外或代替直接超声波反射,还可以利用反弹的超声波反射。超声波反射器1030和1040可以是有源或无源的,并且可以集成到该区域的一个或多个设备、墙壁、或其他特征。在一些实施方式中,现有的墙壁、房间特征、家具、人、实体、或类似物可以被识别和/或指定作为反射器1030和1040。
图11示出了用于确定来自相对于区域1100内的实体1110或实体1110上的位点的多个方向的速度和/或加速度信息的多个超声波系统1120、1121、1122和1123。在各种实施方式中,每个超声波系统1120-1123可以包括一个或多个超声波发射器和一个或多个超声波接收器。在其他实施方式中,超声波系统1120-1123中的一个或多个可以包括一个或多个超声波发射器或一个或多个超声波接收器。在一些实施方式中,超声波发射器和超声波接收器可以是彼此间隔开的分离的组件。如图所示,超声波可反弹离开一个或多个辅助反射器141、142、143和144。
图12示出了用于确定与移动实体相关联的速度和/或加速度的信息的方法1200。超声波可以被发射到由至少一个表面限定的区域1205。一些实施方式可以基于检测到的超声波的偏移利用来自实体的直接反射来确定速度和/或加速度的数据,如框1240所提供的。接收器可以接收来自区域内的至少一个实体或实体上的位点的直接超声波反射1210。也可以确定在发射超声波和接收超声波之间的诸如波长偏移、频率偏移、或相位偏移之类的偏移1211。然后,该系统可以基于所检测到的偏移产生速度和/或加速度的数据1214。
应理解,“确定偏移”、“检测偏移”、“计算偏移”等可能未必需要实际确定发射和接收的超声波的例如频率之间的差别。即,在速度和/或加速度的多普勒计算过程中“检测偏移”及类似短语可以建设性地进行。例如,如果实体的速度使用(1)发射的超声波的已知的/测得的频率和(2)由实体反射的超声波的已知的/测得的频率来确定,那么“检测偏移”可以被建设性地进行。因为可以利用多种用于基于多普勒的速度计算的多种衍生的和等效的算法,所以该系统可以或可以不实际计算发射和接收的超声波之间的频率差。
在一些实施方式中,基于超声波中所检测的偏移,来自实体的反弹反射可以被用于确定速度和/或加速度的数据,如框1250所提供的。超声波可以被发射到由至少一个表面限定的区域1205。接收器可以接收来自区域内的至少一个实体或实体上的位点的反弹的超声波反射1212。也可以确定1213在发射超声波和接收超声波之间的诸如波长偏移、频率偏移、或相位偏移之类的偏移。然后,该系统可以基于所检测的偏移产生速度和/或加速度的数据1216。在各种实施方式中,来自直接反射和反弹反射的速度和/或加速度的数据可以任选地组合1218。来自直接反射和反弹反射的速度和/或加速度的数据可以被用于确定与实体或实体上的位点相关的速度和/或加速度信息的二维矢量。
图13A示出了发射超声波1325a和接收反射离开站在界定区域1300a内的人1362a的超声波1327的双模式系统1310a。如图所示,界定区域1300a由地板1341a、左壁1342a、后壁1343a、右壁1344a和天花板1345a界定。前壁(未示出)也可以界定区域1300a。
双模式系统1310a可以利用类似于相对于前面的附图所讨论的那些超声波模式。例如,双模式系统1310a可以以调制方式(频率、振幅、相位等)和/或其他形式连续地将超声波1325a作为定向超声波脉冲发射。超声波1325a可以直接朝向人1362a发射和/或超声波1325a可间接朝向人1362a发射。
图13B示出了基于所接收的超声波反射产生实体的粗质图像数据的双模式系统1310b。如图所示,直接超声波反射1327b可以以相对两维方式传送粗质图像信息。双模式系统1310b可以使用处理器以产生人1362b或其它实体的粗质图像数据。取决于使用的超声波的采样速率、准确度、处理位深度、频率等,所接收的实际图像数据可以是在较高或较低的分辨率。在某些实施例中,为了使用较少的处理功率,双模式系统1310b可以使用低分辨率来跟踪作为整体的实体。如果使用低分辨率,则感兴趣的部分可以被识别,其中针对特定的应用,更详细的信息是期望的、有用的和/或所需的。
图13C示出了使用从超声波反射1327c(或替代地使用接收的电磁辐射)产生的粗质图像数据识别实体上的若干感兴趣部分的双模式系统1310c。人1362c的感兴趣部分可包括手、手指、手臂、腿、脚、脚趾、躯干、颈部、头部、口部、唇和眼部。例如,如图13C所示,双模式系统1310c已经识别手、脚和头部作为人的感兴趣部分1362c。
可以部分基于相关联的娱乐设备的状态来识别感兴趣部分。例如,相关联的娱乐设备的状态可以针对那些不能使用粗的图像数据确定的特定的操作利用手部动作。在这种情况下,双模式系统1310c可以识别人1362c的手作为其中精细图像数据(即,较高分辨率的图像)是所期望的感兴趣部分。无论识别什么感兴趣部分,双模式系统1310c可以使用第二模式来接收额外的和更详细的图像信息。
例如,图14示出了使用与超声波1425结合的电磁成像以接收来自所识别的感兴趣部分的额外图像信息的双模式系统1410。除了超声波,双模式系统1410还可以利用电磁发射器和/或接收器以接收/确定电磁图像信息。例如,激光或其它电磁辐射源可以被用于接收实体的图像数据。在某些实施方式中,双模式系统1410可以使用接收器(例如红外接收器)以从环境辐射源收集图像数据。在某些实例中,所接收的电磁辐射可以包括微波、太赫兹、红外线、可见光、和/或紫外辐射。
系统可以利用电磁成像功能以接收低分辨率的粗质图像数据或较高的、较细的分辨率的精细图像数据。例如,图14示出了接收来自在使用所接收的超声波反射1427产生的二维粗质图像上的所识别的感兴趣部分的电磁辐射的双模式系统1410。所接收的电磁辐射可以用于产生比使用所接收的超声波反射1427所产生的图像的分辨率更高分辨率的图像。
例如,图15示出了产生人1562上感兴趣部分的精细图像数据的双模式系统1510。一种模式,如超声波1525,可以被用于产生具有低分辨率的粗质图像,而第二模式,如电磁辐射,可被用于产生具有较高分辨率的详细图像。应该理解的是,或者超声波或电磁辐射都可以被用于收集低分辨率的图像或较高分辨率的图像。
图16示出了使用超声波和电磁辐射产生图像的方法。方法步骤以非特定的顺序被提供,并且可以依照在技术上是可行的方式被重新排列。双模式系统可以发射超声波到由至少一个表面限定的区域中1605。双模式系统可以接收来自区域内的至少一个实体的直接超声波反射或反弹的超声波反射1607。使用所接收的超声波反射,双模式系统可以产生实体的粗质图像数据1609。双模式系统可以识别在实体上的一个或多个感兴趣部分1611。双模式系统可以接收来自感兴趣部分的电磁辐射1613,并使用电磁辐射以产生实体的精细图像数据1615。精细图像数据可以比粗质图像数据具有更高的分辨率。可选地,系统还可确定与所述感兴趣部分相关联的运动值1617,并且基于运动值修改娱乐设备的状态1619。
图17示出了使用超声波和电磁辐射产生图像的方法。方法步骤不以任何特定的顺序提供,并且可以依照在技术上是可行的方式被重新排列。双模式系统1702可以接收来自区域中的多个位点的电磁辐射。在一些实施方式中,所接收的电磁辐射可以被用于产生该区域内的实体或实体上的位点的粗质图像。双模式系统可以识别在实体上的一个或多个感兴趣部分1704。双模式系统可以发射超声波到区域中1706,并接收来自感兴趣部分的直接超声波反射或反弹的超声波反射1708。根据所接收的超声波反射,双模式系统可产生实体和/或实体上的感兴趣部分的精细(较高分辨率)的图像数据1710。可选地,系统还可确定与感兴趣部分相关联的运动值1712,并且基于运动值修改娱乐设备的状态1714。
图18示出了使用超声波和电磁辐射解决图像中模糊性的方法。方法步骤不以任何特定的顺序提供,并且可以依照在技术上是可行的方式被重新排列。双模式系统可以发射超声波到由至少一个表面限定的区域1805。双模式系统可以接收来自区域内的至少一个实体的直接超声波反射或反弹的超声波反射1807。使用所接收的超声波反射,双模式系统可以产生实体的图像数据1809。使用所接收的超声波反射所产生的图像数据可以包括至少一种模糊性,如重影。双模式系统可以接收来自实体的足以解决模糊性的电磁辐射1811。双模式系统可以基于所接收的电磁辐射产生解决模糊性的增强的图像数据1813。可选地,系统还可确定与所述感兴趣部分相关联的运动值1815和/或基于运动值修改娱乐设备的状态1817。
已经参考包括最佳模式的多种示范性实施方式实践本发明。然而,本领域的技术人员应认识到,在不脱离本发明的范围的情况下,可以对示例性实施方式做出改变和修改。虽然本发明的原理已经在各种实施方式中示出,但在不脱离本发明的原理和范围的情况下,结构、配置、比例、元件、材料和组件的许多修改可适合于特定的环境和/或操作要求。这些和其它改变或修改旨在被包括在本发明的范围之内。
本发明应被认为是说明性的而不是限制性的,并且所有这样的修改都旨在被包括在本发明的范围之内。同样地,益处、其他优点和问题的解决方案已在上文中相对于各种实施方式进行了说明。然而,益处、优点、问题的解决方案,和可能导致任何益处、优点,或解决方案发生或变得更加明显的任何元素不应当被解释为是关键的、必需的或基本的特征或元素。因此,本发明的范围应该由随附权利要求来确定。

Claims (30)

1.一种用于产生区域内的实体的图像的方法,包括:
经由超声波发射系统的第一超声波发射器发射超声波到所述区域内;
经由超声波接收器系统的第一超声波接收器接收所发射的超声波的来自所述区域内的所述实体上的多个位点的超声波反射;
基于所接收的超声波反射经由处理器以第一分辨率产生所述实体的粗质图像数据;
基于所述粗质图像数据识别所述实体上的感兴趣部分;
接收来自所述实体上的所识别的所述感兴趣部分的电磁辐射;
基于所接收的电磁辐射,以第二分辨率产生所述实体上的所述感兴趣部分的精细图像数据,其中所述第二分辨率高于所述第一分辨率;
基于所接收的电磁辐射和所接收的超声波反射中的至少一种,确定与所述实体上的所述感兴趣部分相关联的运动值;以及
基于所确定的与所述实体上的所述感兴趣部分相关联的所述运动值,修改娱乐设备的状态。
2.根据权利要求1所述的方法,其中,所述感兴趣部分至少部分地基于所述娱乐设备的状态来识别。
3.根据权利要求1所述的方法,其还包括经由电磁发射器发射电磁能量到所述区域中,并且
其中,接收来自所述实体上的所识别的所述感兴趣部分的电磁辐射包括接收所发射的电磁辐射的反射部分。
4.根据权利要求1所述的方法,其中,所发射的超声波与所接收的反射超声波中的至少一种是从辅助超声波反射器反弹的。
5.根据权利要求1所述的方法,其中,计算与所述实体上的所述感兴趣部分相关联的所述运动值包括多普勒速度计算,其中第一速度(Vdop)是:所计算的偏移(Δs)、所发射的超声波的频率(f0)、所述超声波的到达速度(Vin)和所述超声波的离开速度(Vout)的函数。
6.根据权利要求1所述的方法,其中,检测偏移并计算第一速度分量是使用以下等式的推导或等效方程进行的:其中fr是基于所接收的所述超声波的频率,C是基于在所述区域内的介质中的所述超声波的速度,Vo是基于所述实体上的位点相对于所述介质的速度,以及ft是基于所发射的所述超声波的频率。
7.根据权利要求1所述的方法,其还包括:
经由所述超声波接收器系统的在物理上与所述第一超声波接收器分离的第二超声波接收器,接收来自所述实体的超声波反射;
检测由所述第二超声波接收器接收的所述超声波反射的偏移;以及
基于所检测的由所述第二超声波接收器接收的所述超声波反射的偏移,经由所述处理器,计算与所述实体上的所述感兴趣部分相关联的第二运动值。
8.根据权利要求7所述的方法,其进一步包括:
经由所述超声波接收器系统的在物理上与所述第一超声波接收器分离的第三超声波接收器,接收来自所述实体的超声波反射;
检测由所述第三超声波接收器接收的所述超声波反射的偏移;以及
基于所检测的由所述第三超声波接收器接收的所述超声波反射的偏移,经由所述处理器,计算与所述实体上的所述感兴趣部分相关联的第三运动值。
9.根据权利要求8所述的方法,其中,所述第一、第二和第三超声波接收器是彼此之间相对地不共线的。
10.根据权利要求1所述的方法,其中,多个运动值针对所述实体上的相应的多个位点来计算。
11.根据权利要求10所述的方法,其中,所述多个运动值用于确定所述实体的平移速度。
12.根据权利要求1所述的方法,其中,所述实体上的所述感兴趣部分包括选自手、手指、手臂、腿、脚、脚趾、躯干、颈部、头部、口部、唇、和/或眼部的人的部分。
13.根据权利要求1所述的方法,其中,确定所述实体上的所述感兴趣部分的所述运动值包括:
经由所述超声波发射系统,发射超声波到所述区域内,其中所述区域由第一表面界定;
经由超声波接收器系统,接收来自所述实体的直接超声波反射,基于所述直接超声波反射产生与所述实体相关联的直接位置数据;
接收来自所述实体的反弹的超声波反射,其中所述反弹的超声波反射包括在由所述超声波接收器接收之前由所述实体和所述第一表面反射的超声波;
使用来自所述第一表面的所述实体的所述反弹的超声波反射产生反弹位置数据;以及
通过组合所述直接位置数据和所述反弹位置数据产生增强的位置数据。
14.根据权利要求1所述的方法,其中,确定所述实体上的所述感兴趣部分的运动值包括:
发射超声波到所述区域内,其中所述区域由第一表面界定;
接收来自所述实体的直接超声波反射,基于所述直接超声波反射产生与所述实体相关联的直接位置数据;
接收来自所述实体的反弹的超声波反射,其中所述反弹的超声波反射包括在被接收之前由所述实体和所述第一表面反射的超声波;
使用所述实体的来自所述第一表面的所述反弹的超声波反射产生反弹位置数据;以及
通过组合所述直接位置数据和所述反弹位置数据产生增强的位置数据。
15.根据权利要求14所述的方法,其还包括:
接收来自所述实体的额外的反弹的超声波反射,
其中,所述额外的反弹的超声波反射包括在被接收之前由所述实体和界定所述区域的第二表面反射的超声波;
使用所述实体的来自所述第二表面的所述额外的反弹的超声波反射产生额外的反弹的位置数据;以及
用所述额外的反弹位置数据补充所述增强的位置数据。
16.根据权利要求14所述的方法,其中,发射所述超声波包括:
发射第一超声波脉冲,所述第一超声波脉冲作为所述直接超声波反射被接收;以及
发射第二超声波脉冲,所述第二超声波脉冲作为所述反弹的超声波反射被接收。
17.一种用于产生区域内的实体的图像的方法,其包括:
接收来自区域内的实体上的多个位点的电磁辐射;
基于所接收的电磁辐射识别所述实体上的感兴趣部分;
经由超声波发射系统的第一超声波发射器发射超声波到所述区域内;
经由超声波接收器系统的第一超声波接收器接收所发射的超声波的来自所述区域内的所述实体上的所述感兴趣部分的超声波反射;
基于所接收的超声波反射经由处理器以第一分辨率产生所述实体上的所述感兴趣部分的图像数据;
基于所接收的电磁辐射和所接收的超声波反射中的至少一种确定与所述感兴趣部分相关联的运动值;以及
基于所确定的与所述实体上的所述感兴趣部分相关联的运动值修改娱乐设备的状态。
18.根据权利要求17所述的方法,其还包括基于所接收的电磁辐射以第二分辨率产生所述实体的图像数据,其中,所述第二分辨率低于所述第一分辨率。
19.根据权利要求17所述的方法,其还包括发射电磁辐射到所述区域内。
20.一种用于产生区域内的实体的图像的方法,其包括:
经由超声波发射系统发射超声波到所述区域内;
经由超声波接收器系统接收所发射的超声波的来自所述区域内的所述实体上的多个位点的超声波反射;
基于所接收的超声波反射,经由处理器以第一分辨率产生所述实体的图像数据,其中,第一分辨率的图像数据包括至少一种模糊性;
接收由所述实体反射的足以解决所述至少一种模糊性的电磁辐射;
基于所接收的电磁辐射产生解决所述至少一种模糊性的增强的图像数据;
基于所接收的电磁辐射和所接收的超声波反射中的至少一种,确定与所述实体相关联的运动值;以及
基于所确定的与所述实体上的所述感兴趣部分相关联的运动值修改娱乐设备的状态。
21.根据权利要求20所述的方法,其中解决所述至少一种模糊性包括确定多个与图像数据相关联的图像中的哪一个是重影。
22.根据权利要求20所述的方法,其还包括将电磁辐射引导朝向所述实体上的与所述至少一种模糊性相关联的位点。
23.一种用于产生区域内的实体的图像的系统,其包括:
超声波发射器,其被配置成发射超声波到所述区域内;
超声波接收器,其被配置成接收所发射的超声波的来自所述区域内的所述实体上的多个位点的超声波反射;
第一成像模块,其被配置成基于所接收的超声波反射以第一分辨率产生所述实体的粗质图像数据;
识别模块,其被配置成基于所述粗质图像数据识别所述实体上的感兴趣部分;
电磁辐射接收器,其被配置成接收来自所述实体上的所识别的所述感兴趣部分的电磁辐射;
第二成像模块,其被配置成基于由所述电磁辐射接收器接收的电磁辐射以第二分辨率产生所述实体上的所述感兴趣部分的精细图像数据,其中所述第二分辨率高于所述第一分辨率;
运动学确定模块,其被配置成基于所接收的电磁辐射和所接收的超声波反射中的至少一种确定与所述实体上的所述感兴趣部分相关联的运动值;以及
修改模块,其被配置成基于与所述实体上的所述感兴趣部分相关联的所述运动值修改娱乐设备的状态。
24.根据权利要求23所述的系统,其中所述实体的所述运动值包括所述实体的速度。
25.根据权利要求23所述的系统,其中,所发射的超声波和所反射的超声波中的至少一种是从辅助超声波反射器反弹的。
26.根据权利要求23所述的系统,其还包括:
第二超声波接收器,其与所述第一超声波接收器物理上分开,其中所述第二超声波接收器被配置成接收来自所述位点的超声波反射;
其中偏移模块被配置成检测由所述第二超声波接收器接收的所述超声波反射的偏移,以及
其中所述运动值模块被配置成基于所检测的由所述第二超声波接收器接收的所述超声波反射的偏移计算与所述实体上的感兴趣部分相关联的第二运动值。
27.根据权利要求26所述的系统,其还包括:
第三超声波接收器,其与所述第一超声波接收器以及第二超声波接收器在物理上分开,其中,所述第三超声波接收器被配置成接收来自所述位点的超声波反射,
其中所述偏移模块被配置成检测由所述第三超声波接收器接收的所述超声波反射的偏移,以及
其中所述运动值模块被配置成基于所检测的由所述第三超声波接收器接收的所述超声波反射来计算与所述实体上的感兴趣部分相关联的第三运动值。
28.根据权利要求27所述的系统,其还包括:
预测模块,其被配置成基于(1)与所述实体上的所述感兴趣部分相关联的所述第一运动值,(2)与所述实体上的所述感兴趣部分相关联的所述第二运动值,以及(3)与所述实体上的所述感兴趣部分相关联的所述第三运动值,来预测在将来时间所述实体的相对位置。
29.一种用于产生区域内的实体的图像的系统,其包括:
电磁辐射接收器,其被配置成接收来自区域内的实体上的多个位点的电磁辐射;
识别模块,其被配置成基于所接收的电磁辐射识别所述实体上的感兴趣部分;
超声波发射器,其被配置成发射超声波到所述区域内;
超声波接收器,其被配置成接收所发射的超声波的来自所述区域内的所述实体上的所述感兴趣部分的超声波反射;
第一成像模块,其被配置成基于所接收的超声波反射以第一分辨率产生所述实体上的所述感兴趣部分的图像数据;
运动学确定模块,其被配置成基于所接收的电磁辐射和所接收的超声波反射中的至少一种确定与所述实体上的所述感兴趣部分相关联的运动值;以及
修改模块,其被配置成基于与所述实体上的所述感兴趣部分相关联的所述运动值修改娱乐设备的状态。
30.根据权利要求29所述的系统,其中所述实体的运动值包括所述实体的位置。
CN201580013521.3A 2014-03-10 2015-03-10 用于双模式传感器系统的系统和方法 Pending CN106662913A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US14/203,401 2014-03-10
US14/203,401 US9618618B2 (en) 2014-03-10 2014-03-10 Systems and methods for ultrasonic position and motion detection
US14/280,463 US9739883B2 (en) 2014-05-16 2014-05-16 Systems and methods for ultrasonic velocity and acceleration detection
US14/280,463 2014-05-16
US14/496,037 US9437002B2 (en) 2014-09-25 2014-09-25 Systems and methods for a dual modality sensor system
US14/496,037 2014-09-25
PCT/US2015/019614 WO2015138396A1 (en) 2014-03-10 2015-03-10 Systems and methods for a dual modality sensor system

Publications (1)

Publication Number Publication Date
CN106662913A true CN106662913A (zh) 2017-05-10

Family

ID=54072311

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580013521.3A Pending CN106662913A (zh) 2014-03-10 2015-03-10 用于双模式传感器系统的系统和方法

Country Status (2)

Country Link
CN (1) CN106662913A (zh)
WO (1) WO2015138396A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110749897A (zh) * 2018-07-23 2020-02-04 Ibeo汽车系统有限公司 用于光学距离测量的方法和装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106919295B (zh) * 2017-01-17 2019-12-10 北京集创北方科技股份有限公司 人机交互装置和显示装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1057110A (zh) * 1990-06-04 1991-12-18 阿吉普公司 用超声波识别材料和设备的方法及装置
US20100278008A1 (en) * 2008-04-20 2010-11-04 Stalix Llc Acoustic and ultrasonic concealed object detection
EP2458472A1 (en) * 2010-11-29 2012-05-30 Samsung Medison Co., Ltd. Ultrasound system for providing an ultrasound image optimized for posture of a user
CN103226386A (zh) * 2013-03-13 2013-07-31 广东欧珀移动通信有限公司 一种基于移动终端的手势识别方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090046538A1 (en) * 1995-06-07 2009-02-19 Automotive Technologies International, Inc. Apparatus and method for Determining Presence of Objects in a Vehicle
US6885300B1 (en) * 2002-06-05 2005-04-26 The Watt Stopper, Inc. Broad field motion detector
US8323106B2 (en) * 2008-05-30 2012-12-04 Sony Computer Entertainment America Llc Determination of controller three-dimensional location using image analysis and ultrasonic communication
AU2013212213B2 (en) * 2012-01-23 2018-06-28 Tomowave Laboratories, Inc. Laser optoacoustic ultrasonic imaging system (LOUIS) and methods of use

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1057110A (zh) * 1990-06-04 1991-12-18 阿吉普公司 用超声波识别材料和设备的方法及装置
US20100278008A1 (en) * 2008-04-20 2010-11-04 Stalix Llc Acoustic and ultrasonic concealed object detection
EP2458472A1 (en) * 2010-11-29 2012-05-30 Samsung Medison Co., Ltd. Ultrasound system for providing an ultrasound image optimized for posture of a user
CN103226386A (zh) * 2013-03-13 2013-07-31 广东欧珀移动通信有限公司 一种基于移动终端的手势识别方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110749897A (zh) * 2018-07-23 2020-02-04 Ibeo汽车系统有限公司 用于光学距离测量的方法和装置

Also Published As

Publication number Publication date
WO2015138396A1 (en) 2015-09-17

Similar Documents

Publication Publication Date Title
CN102279380B (zh) 用于估计位置和方向的系统和方法
CN106537179B (zh) 用于确定不规则对象的大小的手持多传感器系统
US9618618B2 (en) Systems and methods for ultrasonic position and motion detection
US20170371038A1 (en) Systems and methods for ultrasonic velocity and acceleration detection
CN101430207A (zh) 使用结构光产生三维地图的设备和方法
JPH0996672A (ja) 3次元位置データ生成システムおよび方法
JP6293049B2 (ja) 点群データ取得システム及びその方法
CN109223030A (zh) 一种掌上式三维超声成像系统和方法
US20130179119A1 (en) Data collection and point cloud generation system and method
CN106291567A (zh) 一种激光雷达、激光雷达系统及数据处理方法
CN106774901A (zh) 基于超声定位的远距离pc体感输入方法
De Marchi et al. Augmented reality to support on-field post-impact maintenance operations on thin structures
US20160364960A1 (en) Systems and methods for ultrasonically induced tactile stimuli in an entertainment system
US20170011521A1 (en) Systems and methods for a dual modality sensor system
CN106662913A (zh) 用于双模式传感器系统的系统和方法
JP2010159998A (ja) Isar試験装置
JP2022501591A (ja) 測定対象物内の欠陥を検出するTHz測定装置及びTHz測定方法
KR20200023434A (ko) 컴퓨터 매개 현실을 위한 디스플레이 장치
JP2012108122A (ja) 海底音響映像システム
Deshpande et al. A next generation mobile robot with multi-mode sense of 3D perception
CN115474273B (zh) 基于uwb基站的控制器六自由度画面生成方法和装置
JP7054507B2 (ja) 計測装置、移動体、及び計測方法
US9995823B2 (en) Systems and methods for utilizing compressed sensing in an entertainment system
US20200372767A1 (en) Tactile Feedback Guidance Device
Khan et al. Non-contact Structural Displacement Measurements Using a Low-Cost Motion Tracking System

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170510