CN108401452A - 使用虚拟现实头戴式显示器系统来执行真实目标检测和控制的装置和方法 - Google Patents

使用虚拟现实头戴式显示器系统来执行真实目标检测和控制的装置和方法 Download PDF

Info

Publication number
CN108401452A
CN108401452A CN201880000212.6A CN201880000212A CN108401452A CN 108401452 A CN108401452 A CN 108401452A CN 201880000212 A CN201880000212 A CN 201880000212A CN 108401452 A CN108401452 A CN 108401452A
Authority
CN
China
Prior art keywords
real
color
real space
world object
gui
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880000212.6A
Other languages
English (en)
Other versions
CN108401452B (zh
Inventor
倪翔
倪一翔
梁富屯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hong Kong Applied Science and Technology Research Institute ASTRI
Original Assignee
Hong Kong Applied Science and Technology Research Institute ASTRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/903,781 external-priority patent/US10497179B2/en
Application filed by Hong Kong Applied Science and Technology Research Institute ASTRI filed Critical Hong Kong Applied Science and Technology Research Institute ASTRI
Publication of CN108401452A publication Critical patent/CN108401452A/zh
Application granted granted Critical
Publication of CN108401452B publication Critical patent/CN108401452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种使用虚拟现实头戴式显示器系统来执行真实物体检测和控制的装置和方法，更具体地，真实物体检测和控制是检测在自由空间中的手部存在和控制，在虚拟现实环境里，所述控制是诸如在自由空间中的姿势或移动。

Description

使用虚拟现实头戴式显示器系统来执行真实目标检测和控制 的装置和方法
技术领域
本发明涉及一种使用虚拟现实头戴式显示系统来执行真实目标检测和控制的装置和方法，特别涉及但不限于在虚拟现实环境里检测和控制真实目标，如手部存在和姿势。
在大多数虚拟现实(VR)应用中，虚拟世界和自然交互的直观探索起着非常重要的作用。因此，非常希望用户能够在虚拟环境中获得有关其身体的视觉反馈。这种视觉反馈有多种益处，可以将虚拟身体的真实可视化纳入到虚拟现实环境中，虚拟身体可以由用户的肢体运动来实时控制，并以自我为中心的视角来观看。
但是，诸如在虚拟现实环境中徒手操作图形用户界面(GUI)或在VR环境中触摸虚拟物体等最自然的方式尚未普及。目前市场上的主要VR头戴式显示器(HMD)(也被称为VR头盔或VR眼镜)系统不具有智能和有效方式以方便用户操作。其中大多数仍在使用笨重的游戏手柄控制器、触摸板、头部旋转等。
发明内容
鉴于以上所述，根据本发明实施例披露了在VR应用或环境里使用VR HMD系统来检测自由空间中的手部存在以及利用手部检测来控制(例如手部姿势/移动)的VR HMD系统及方法。特别地，本发明实施例提供了一种VR HMD系统和方法，将自由空间划分为不同区域，并在每个区域应用检测到的色彩变化，用于手势检测和手部控制。
根据本发明的一个方面，提供了一种在虚拟现实环境中检测真实物体的存在和控制的方法，包括：获取图像传感器视野中拍摄图像的颜色像素值，并根据以拍摄图像的目标颜色概率密度函数作为输入值的一个函数产生变化的α值将拍摄图像的颜色像素与虚拟现实背景进行α混合；接收真实物体的输入即真实物体的不同种类的移动、或移动真实物体到真实空间中的一个或多个特定位置上，使用所述输入去操作虚拟现实中的图形用户界面GUI或虚拟物体；检测真实空间中特定位置上的颜色变化序列；根据所接收到的真实物体的输入，呈现所述GUI或虚拟物体对应于所述特定位置上所述颜色变化序列的相应改变。
根据本发明的另一方面，提供了一种用于在虚拟现实环境中检测真实物体存在和移动的系统，包括图像传感器、处理器；图像传感器用于获取视野中拍摄图像的颜色像素值；处理器包括真实物体存在模块、真实物体控制模块、和呈现模块；真实物体存在模块根据以拍摄图像的目标颜色概率密度函数作为输入值的一个函数产生变化的α值将拍摄图像的颜色像素与虚拟现实背景进行α混合；真实物体控制模块接收真实物体的输入即真实物体的不同种类的移动、或移动真实物体到真实空间中的一个或多个特定位置上，使用所述输入去操作虚拟现实中的图形用户界面GUI或虚拟物体，并检测真实空间中特定位置上的颜色变化序列；呈现模块根据所接收到的真实物体的输入，呈现所述GUI或虚拟物体对应于所述特定位置上所述颜色变化序列的相应改变。
根据本发明的另一方面，提供一种包含指令的非暂时性机器可读介质，当所述指令是由头戴式显示器系统的一个或多个处理器执行时，使得该介质能够执行操作，所述操作包括：获取图像传感器视野中拍摄图像的颜色像素值，根据以拍摄图像的目标颜色概率密度函数作为输入值的一个函数产生变化的α值将拍摄图像的颜色像素与虚拟现实背景进行α混合；接收真实物体的输入即真实物体的不同种类的移动、或移动真实物体到真实空间中的一个或多个特定位置上，使用所述输入去操作虚拟现实中的图形用户界面GUI或虚拟物体；检测真实空间中特定位置上的颜色变化序列；根据所接收到的真实物体的输入，呈现所述GUI或虚拟物体对应于所述特定位置上所述颜色变化序列的相应改变。
附图说明
从以下结合附图对实施例的描述，本发明的这些和/或其它方面以及优点将越发明显且更易于理解，其中：
根据本发明实施例，图1A是虚拟现实头戴式显示器(HMD)或头盔的正面透视图，图1B是VR HMD的背面透视图，图1C显示VR HMD的垂直视野，图1D显示VR HMD的水平视野。
图2是根据本发明实施例的虚拟现实头戴式显示器(VR HMD)的示意性框图。
图3描述根据本发明实施例的一种基于用户肤色在VR应用中用于校准和手部存在以及控制的方法的流程图。
图4A和4B是分别描述如何获得肤色检测校准概率密度函数(PDF)以及手部检测色彩分布的示意图。
图5A-5C描述根据本发明实施例的(a)真实空间块；(b)由n个真实空间块组成的合并真实空间；(c)一个预定义映射函数，将肤色概率映射到α混合值。
图6描述根据本发明实施例的在VR环境里的手部控制(例如手部姿势和手部移动)以及用于确定手部姿势和移动的数据。
图7A和7B描述根据本发明实施例的在VR里的(a)手部存在和(b)手部控制的模拟结果。
具体实施方式
现将详细参考本发明的当前实施例，其示例在附图中示出，其中，相同的附图标记始终表示相同的元件。以下通过参考附图来描述实施例以便更好地解释本发明。
在以下的披露中，为了简化描述，短语“虚拟现实”通常用于描述虚拟现实和增强现实。根据本发明实施例，图1A是虚拟现实头戴式显示器(HMD)或头盔的正面透视图，图1B是VR HMD的背面透视图，图1C显示VR HMD的垂直视野，图1D显示VR HMD的水平视野。
虚拟现实头戴式显示器(VR HMD)10包括壳体12、包括左侧立体摄像机14a和右侧立体摄像机14b的图像传感器、以及头带16。壳体12容纳VR HMD 10的电子器件。用户将VRHMD10安置在其头上，并将头带16紧固在用户头部周围(图中未示出)以便将VR HMD 10保持在头部的正确位置。显示器17使用户能够观看VR环境。
左侧和右侧立体摄像机14a和14b用于在垂直和水平视野(FOV)18、19中观看真实物体，例如手部。
图2是根据本发明实施例的VR HMD 10的示意性框图。
惯性测量单元(IMU)传感器20用于进行VR HMD 10的用户的头部朝向的旋转跟踪。处理器24通过执行存储在存储器26里的操作系统程序和一个或多个应用程序来控制VRHMD 10的整体操作。处理器24可以是一个或多个，可以是但不限于CPU、GPU、DSP、APU或FPGA。存储器26可以是一个或多个，可以是但不限于易失性或非易失性的，诸如SDRAM、DRAM、SRAM、闪存、MRAM、F-RAM或P-RAM。处理器24从左侧和右侧摄像机14a、14b接收图像数据，并将其显示在透镜15a、15b上，将图像数据显示在显示器17上也是可能的，显示器17的数目可以是一个或多个。因此，VR HMD 10可以连接到支持HDMI连接的显示器17。在摄像机模式里，左侧和右侧摄像机14a、14b和IMU传感器20将真实世界输出指示到处理器24，使用户能够看到用户周围的真实世界以及增强现实(AR)视频内容。
处理器24包括校准模块30、肤色检测模块31、手部存在模块32、手部控制模块34、呈现模块36、以及VR内容模块38。VR内容模块38从IMU传感器20接收头部朝向数据。存储器40(可以是但不限于非易失性的，如硬盘)存储来自校准模块30的目标颜色概率密度函数。
广义上来说，由于本发明实施例可以包含不是手部的真实物体，因此肤色检测模块31、手部存在模块32和手部控制模块34可以被称为真实物体色彩检测模块31、真实物体出现模块32和真实物体控制模块34。
左侧和右侧摄像机14a、14b和IMU传感器20位于HMD主体12中。本发明描述了处理器24、存储器26、显示器16和存储器40是VR HMD 10的一部分，然而，这些元件可以位于VRHMD 10的外部，可以与图2的其他元件一起被认为是VR HMD系统的一部分。
VR内容模块38提供诸如游戏、全景360视频/图片、或任何VR图形的内容。所有这些内容都是根据用户的头部朝向(绕x轴、绕y轴、绕z轴)来呈现。因此，VR内容模块38从IMU传感器20接收数据。通常，VR内容模块38存储VR应用。
图3是根据本发明实施例的一种用于校准和确定虚拟现实环境中真实物体并控制的方法100，该方法是由处理器24执行。应当注意的是，在本实施例里，真实物体被描述为手部，但应该理解，本发明实施例可以使用除手部之外的真实物体。
存储器22可以包括非临时性机器可读介质、机器可读存储介质、计算机可读存储介质、或其任何适当的组合，其存储一种非暂时性的、有形的计算机程序产品，包括计算机程序代码，当处理器24执行该计算机程序代码时，被认为执行以下任何方法。
校准是在图3的步骤101-104中由校准模块30执行。
在步骤101，左侧和右侧摄像机14a、14b(图像传感器)在1秒钟内拍摄处于垂直和水平视野-18、19内的用户的一只手或两只手的图像，如图4A所示，但容易理解，这个时间可能会有所不同。将拍摄的图像提供给处理器24的校准模块30。通过在校准过程期间拍摄图像的有限集合里收集来自真实物体(例如手部)的颜色像素值作为数据样本，处理器24找到在HSV(色调、饱和度、和数值)色域中的目标颜色概率密度函数(PDF)。
在步骤102，从皮肤的预定义采样区域获取像素的颜色像素值，该预定义采样区域是由如图4A所示的手形界定的区域。
在步骤103，确定肤色的校准目标颜色概率密度函数(PDF)，图4B所示；在步骤104，将目标色彩校准PDF的数据库存储在存储器40中。
在步骤105，肤色检测模块31根据在步骤104存储在存储器40里的校准PDF来执行肤色检测。
接着，在步骤106，根据肤色检测输出，手部存在模块32确定VR环境中手部存在，并在步骤107检测手部位置。
然后，在步骤108，手部控制模块34确定手部控制如手部姿势/运动。在步骤108，手部控制模块34接收来自肤色检测模块31的输出，并通过位移和移动速度来确定VR环境中的手势。在步骤109，用户通过使用不同种类的手势如手滑动(handswiping)(任何方向)、或单击或双击(不限于此，仅作为示例)、或在真实空间中将手(真实物体)移动到特定位置，来操作虚拟现实中的图形用户界面(GUI)或虚拟物体，如图6所示。手部控制模块34根据肤色检测输出来检测真实空间中特定位置上的色彩变化次序。
在步骤110，呈现模块36根据GUI/虚拟对象对应于特定位置的颜色变化序列的相应改变，以及来自手部存在模块32、手部控制模块34和VR内容模块38的输入，来执行VR呈现。
如果没有检测到GUI或虚拟物体，则该校准过程返回到步骤105。
需要注意的是，在本发明的其他实施例里，不需要执行校准过程。
在步骤101-104的校准期间，处理器24开启在VR HMD 10上的左侧和右侧摄像机14a、14b，并要求用户将手放在如图4A所示的专用区域上。由左侧和右侧摄像机14a、14b收集(拍摄)该区域的像素的所有颜色像素值(步骤101)，并由校准模块30在预定义的颜色空间中进行分析以形成一个概率密度函数，如图4B所示的手部检测颜色分布图。Boolean函数p(x,y)被确定为过滤最可能是皮肤像素的像素。通过实验结果，α被定义为肤色的阈值概率值。当Φ(I(x,y))>α时，p(x,y)被设置为1；否则被设置为0，在步骤103，Φ(I(x,y))返回图像像素(x,y)上的颜色的肤色概率。
在一个实施例中，对于预定义的颜色空间，一个颜色可以用3个分量表示：色调(hue)、饱和度(saturation)和明度(value)。“色调”表示以循环方式(色环)排列的感知颜色(例如红、黄、绿等)。色调是在[0-179]范围内表示，其中红为0，黄为30，绿为60，依此类推，并在179回到红。“饱和度”表示色彩度，在[0-255]范围内表示。数字越小，颜色越接近灰度色。“明度”是指亮度，也在[0-255]范围内表示。数字越小，颜色越暗。
HSV颜色空间适合描述手的颜色分布，手对光线和阴影敏感。HSV值的集合给出了一个3D直方图。一个特定HSV矢量的频率即计数数量(图4B所示的3D区域的H/S/V范围被指定，例如{H＝[28-32]，S＝[240-255]，和V＝[240-255]}用于“非常明亮的黄色”)，用以确定在HSV颜色空间的子区域内的像素有多密集。
整个HSV颜色空间被分成均匀长度的HSV矢量。每个HSV矢量是一个大小为(4x 85x85)的3D区域。换言之，H分为45个等级([0-3]，[4-7]，...，[176-179])，S和V分别被分成以下3个等级([0-85]，[86-170]，[171-255])。对于每个HSV矢量，通过(频率/集合里的像素总数)获得每个HSV矢量的“概率”。所有HSV矢量的概率之和等于1。
从校准获得的概率密度函数(PDF)被称为“校准PDF”，其存储在存储器40里。然后，校准PDF用于手部存在和控制。
在步骤105，肤色检测模块31对来自左侧和右侧摄像机的拍摄图像进行非肤色检测的详细计算，具体如下：
如果P(X,Y,Z)＝pl(xl,yl)^pr(xr,yr)等于0，确定在位置上没有发现肤色。
通过将针孔摄像机模型扩展到立体摄像机场景：
其中d被称为视差，是两个摄像机14a、14b之间的长度。
(X,Y,Z)是从两个摄像机14a、14b之间的中点(0,0，0)所定义的位置。fl和fr分别是左侧和右侧摄像机14a、14b的焦距(以像素为单位)。
(xl,yl)和(xr,yr)是2D坐标，其中3D点分别投影在来自左侧和右侧摄像机14a、14b的左右图像上。
pl,pr分别是左侧和右侧摄像机14a、14b的Boolean函数。
在步骤106，根据目标颜色概率函数，通过变化的α值对拍摄图像与虚拟现实背景执行颜色像素α混合。在VR环境里手部存在的详细计算如下。
手部存在模块32定义一个由n个真实空间块组成的合并真实空间(其中手与虚拟现实环境合并)，如图5B所示；并且左侧和右侧摄像机14a、14b的相应图像像素集合对应到一个具有宽度W、高度H、深度D和中心(Xs,Ys,Zs)的真实空间块(参考图5A)，如下：
其中i∈{－m..m},j∈{－n..n},k∈{－q..q}。
对每个区块，
如果(P(Xs,Ys,Zs)＝＝0){
在图像像素(Xslik,Ysljk)上的α值被设定为τ
在图像像素(Xsrik,Ysrjk)上的α值被设定为τ
}
否则{
在图像像素(Xslik,Ysljk)上的α值＝Ψ(Φl(I(Xslik,Ysljk)))
在图像像素(Xsrik,Ysrjk)上的α值＝Ψ(Φr(I(Xsrik,Ysrjk)))
}
其中τ∈[0,1],s∈{0..n-1}，Φl是左侧摄像机的PDF，Φr是右侧摄像机的PDF，I是颜色，Ψ:X→Y,X∈[0,1]和Y∈[τ,1]，是一个预定的映射函数，将肤色概率映射到α混合值，其范围是从0.0到1.0，其中0.0表示一个完全透明的颜色，而1.0表示一个完全不透明的颜色，如图5C所示。
在步骤107，在VR环境里确定手部位置。
接着，在步骤108，手部控制模块34确定手部控制，如手势/移动。在步骤108，手部控制模块34接收来自肤色检测模块31的输出，并通过位移和移动速度确定VR环境里的手势。在步骤109，如图6所示，用户通过使用不同种类的手势如手指滑动(任何方向)、或单击或双击(不限于此，仅作为示例)、或在真实空间中将手(真实物体)移动到特定位置，来操作虚拟现实中的图形用户界面(GUI)或虚拟物体。手部控制模块34根据肤色检测输出来检测真实空间中特定位置上的颜色变化序列。
此外，应该注意到，尽管本实施例披露了在手部存在检测之后执行手部控制检测，但根据其他实施例，手部控制检测可以在手部存在检测之前执行，或可以仅执行手部存在检测和手部控制检测中的一个。
如图6所示VR环境里手部控制(姿势/移动)的详细计算具体如下：
检测手部的水平滑动
S＝{P(X,Ys,Zs)}其中X∈{－Ws/2,Ws/2}
S’＝S(t+δt)其中δt是一个单元集合
H＝{S’(X+δxi)}其中和
其中Ys和Zs分别是感兴趣真实空间块的y坐标和z坐标，以左侧和右侧摄像机14a、14b之间的中点为参考。
Ws是在x方向上平铺的感兴趣真实空间块的宽度之和。
S是在特定时间t时的感兴趣真实空间块的一系列肤色出现值P(X,Ys,Zs)，而S’是在下一个时间t+δt时的感兴趣真实空间块的一系列肤色出现值。
δxi是在感兴趣真实空间块的x方向上的移动距离。
H是具有不同移动距离的S’的副本的集合。
如果(S∩S’(X+δx)＝Max(S∩H)
以及
Max(S∩H)>δswipe
其中δswipe是阈值。
检测手部单击或双击：
S＝{P(Xt+k,Yt+k,Zt+k)}
S’＝{S(t+δt)}其中和i∈{0,30}
其中{k}是目标真实空间块和相邻真实空间块。
S是在特定时间t时的感兴趣真实空间块的一系列肤色出现值P(Xt+k,Yt+k,Zt+k)，而S’是在随后时间段上的感兴趣真实空间块的一系列肤色出现值。
更特别地，对双击手部姿势：
如果S∩Sdouble-tap>δdouble-tap，则双击＝真
其中Sdouble-tap是预定义的，δdouble-tap是阈值
Sdouble-tap是在给定的S’序列在某些标准下与之匹配时确定双击的预定义序列模式。
更特别地，对单击手部姿势：
如果S’∩Ssingle-tap>δsingle-tap，则单击＝真
其中Ssingle-tap是预定义的，δsingle-tap是阈值
Ssingle-tap是在给定的S’序列在某些标准下与之匹配时确定单击的预定义序列模式。
图7A是根据本发明实施例由手部存在模块32执行的手部存在的模拟结果图，图7B是根据本发明实施例由手部控制模块34执行的VR环境里手部控制的示意图。模拟结果显示，在VR应用/环境中使用立体摄像机(左侧和右侧摄像机14a、14b)用于检测手部存在是有希望的。结果还显示，在VR环境中执行手部控制是可行的，包括(i)水平滑动，(ii)双击、和(iii)操作虚拟物体，仅作为示例。虽然图7A和7B中未显示单击，但可以简单地将双击中的两次单击的其中一次认为是单击。
如上所述，根据本发明实施例，一种使用虚拟现实头戴式显示器系统检测自由空间中的手部存在的装置和方法，利用所检测到的手部来确定VR环境里所检测到的手部的手部控制(姿势/移动)。
尽管已经显示并描述了本发明的一些实施例，但本领域技术人员应该理解，在不脱离本发明原理和精神的情况下，可以对本实施例进行改变，其范围仍由权利要求及其等同物定义。

Claims (20)

1.一种在虚拟现实环境里检测真实物体的存在和控制的方法，所述方法包括：
获取图像传感器视野中拍摄图像的颜色像素值，并根据以拍摄图像的目标颜色概率密度函数作为输入值的一个函数产生变化的α值，将所述拍摄图像的颜色像素与虚拟现实背景进行α混合；
接收所述真实物体的输入即所述真实物体的不同种类的移动、或移动所述真实物体到真实空间中的一个或多个特定位置上，使用所述输入去操作虚拟现实中的图形用户界面GUI或虚拟物体；
检测所述真实空间中所述特定位置上的颜色变化序列；和
根据所述接收到的真实物体的输入，呈现所述GUI或虚拟物体对应于所述特定位置上的所述颜色变化序列的相应改变。
2.根据权利要求1所述的方法，还包括：
使用所述图像传感器，拍摄所述视野中图像的颜色像素值；
从所述真实物体的一个预定义采样区域获取所述颜色像素值；
执行一个校准过程即在有限集合的所述拍摄图像里收集所述真实物体的颜色像素值作为数据样本，通过在色调、饱和度和明度(HSV)色域里找到所述目标颜色概率密度函数；
其中所述HSV色域是针对不同种类的真实物体而预定义的。
3.根据权利要求2所述的方法，其中所述真实物体是手部，所述颜色像素值是所述手部皮肤的。
4.根据权利要求1所述的方法，其中所述图像传感器包括第一和第二摄像机，以目标颜色概率密度函数作为输入值的一个函数是根据以下确定：定义一个由n个真实空间块组成的合并真实空间；
对所述n个真实空间块中的每个真实空间块，将所述变化的α值分配给所述每个真实空间块的相应的颜色像素对集合，如下：
如果(P(Xs,Ys,Zs)＝＝0){
在图像像素(Xslik,Ysljk)上的α值被设定为τ
在图像像素(Xsrik,Ysrjk)上的α值被设定为τ
}
否则{
在图像像素(Xslik,Ysljk)上的α值＝Ψ(Φl(I(Xslik,Ysljk)))
在图像像素(Xsrik,Ysrjk)上的α值＝Ψ(Φr(I(Xsrik,Ysrjk)))
}
其中τ∈[0,1],s∈{0..n-1}，Φl是所述第一摄像机即左侧摄像机的PDF，Φr是所述第二摄像机即右侧摄像机的PDF，I是所述颜色，Ψ是一个预定义映射函数，将目标颜色概率映射到从τ开始的α混合值。
5.根据权利要求2所述的方法，其中所述图像传感器包括第一和第二摄像机，以目标颜色概率密度函数作为输入值的一个函数是根据以下确定：定义一个由n个真实空间块组成的合并真实空间；和
对所述n个真实空间块中的每个真实空间块，将所述变化的α值分配给所述每个真实空间块的相应的颜色像素对集合，如下：
如果(P(Xs,Ys,Zs)＝＝0){
在图像像素(Xslik,Ysljk)上的α值被设定为τ
在图像像素(Xsrik,Ysrjk)上的α值被设定为τ
}
否则{
在图像像素(Xslik,Ysljk)上的α值＝Ψ(Φl(I(Xslik,Ysljk)))
在图像像素(Xsrik,Ysrjk)上的α值＝Ψ(Φr(I(Xsrik,Ysrjk)))
}
其中τ∈[0,1],s∈{0..n-1}，Φl是所述第一摄像机即左侧摄像机的PDF，Φr是所述第二摄像机即右侧摄像机的PDF，I是所述颜色，Ψ是一个预定义映射函数，将目标色彩概率映射到从τ开始的α混合值。
6.根据权利要求1所述的方法，其中操作GUI或虚拟物体包括以下至少一个：
确定所述真实物体水平滑动所述GUI的菜单或所述虚拟物；
确定所述真实物体双击所述GUI的菜单或所述虚拟物；
确定所述真实物体单击所述GUI的菜单或所述虚拟物。
7.根据权利要求2所述的方法，其中操作所述GUI或虚拟物体包括以下至少一个：
确定所述真实物水平滑动所述GUI的菜单或所述虚拟物；
确定所述真实物体双击所述GUI的菜单或所述虚拟物；
确定所述真实物体单击所述GUI的菜单或所述虚拟物。
8.根据权利要求5所述的方法，其中操作所述GUI或虚拟物体包括以下至少一个：
确定所述真实物体水平滑动所述GUI的菜单或所述虚拟物；
确定所述真实物体双击所述GUI的菜单或所述虚拟物；
确定所述真实物体单击所述GUI的菜单或所述虚拟物。
9.根据权利要求8所述的方法，其中水平滑动的确定使用了所述颜色变化序列，根据以下确定：
S＝{P(X,Ys,Zs)}其中X∈{－Ws/2,Ws/2}
S’＝S(t+δt)其中δt是一个单元集合，
H＝{S’(X+δxi)}其中和
其中Ys和Zs分别是感兴趣真实空间块的y坐标和z坐标，由所述摄像机14a、14b之间的中点确定；
Ws是在x方向上平铺的感兴趣真实空间块的宽度之和；
S是在特定时间t时的感兴趣真实空间块的一系列目标颜色发生值P(X,Ys,Zs)，S’是在在下一个时间t+δt时的感兴趣真实空间块的一系列目标颜色发生值P(X,Ys,Zs)；
δxi是感兴趣真实空间块的移动距离；
H是具有不同移动距离的S'的副本的集合；
真实物体位移＝δx和
如果(S∩S’(X+δx)＝Max(S∩H)
和
Max(S∩H)>δswipe
其中δswipe是阈值；
其中双击的确定使用了所述颜色变化序列，根据以下确定：
S＝{P(Xt+k,Yt+k,Zt+k)}
S’＝{S(t+δt)}其中和i∈{0,30}
其中{k}是一个目标真实空间块和相邻真实空间块。
S是在特定时间t时的感兴趣真实空间块的一系列目标颜色发生值P(Xt+k,Yt+k,Zt+k)，S’是在下一个时段时的S序列。
如果S∩Sdouble-tap>δdouble-tap，则双击＝真
其中Sdouble-tap是预定义的，δdouble-tap是阈值，
其中单击的确定使用了所述颜色变化序列，根据以下确定：
S＝{P(Xt+k,Yt+k,Zt+k)}
S’＝{S(t+δt)}其中和i∈{0,30}
其中{k}是一个目标真实空间块和相邻真实空间块；
S是在特定时间t时的感兴趣真实空间块的一系列目标颜色发生值P(Xt+k,Yt+k,Zt+k)，S’是在下一个时段时的S序列。
如果S’∩Ssingle-tap>δsingle-tap，则单击＝真
其中Ssingle-tap是预定义的，δsingle-tap是阈值。
10.一种在虚拟真实环境里检测真实物体的存在和控制的系统，所述系统包括：
图像传感器，其获取视野里拍摄图像的颜色像素值；
处理器，包括：
真实物体存在模块，其根据以拍摄图像的目标颜色概率密度函数作为输入值的一个函数产生变化的α值，将所述拍摄图像的颜色像素与虚拟现实背景进行α混合；
真实物体控制模块，其接收所述真实物体的输入即所述真实物体的不同种类的移动、或移动所述真实物体到真实空间中的一个或多个特定位置上，使用所述输入去操作虚拟现实中的图形用户界面GUI或虚拟物体；
并检测所述真实空间中特定位置上的颜色变化序列；
呈现模块，其根据接收到的真实物体的输入，呈现所述GUI或虚拟物体对应于所述特定位置上的所述颜色变化序列的相应改变。
11.根据权利要求10所述的系统，还包括：
所述图像传感器获取视野里的图像的颜色像素值；所述处理器还包括：
校准模块，其从所述真实物体的一个预定义采样区域获取所述颜色像素值；执行一个校准过程即在有限集合的所述拍摄图像里收集所述真实物体的颜色像素值作为数据样本，通过在色调、饱和度和明度(HSV)色域里找到所述目标颜色概率密度函数；
其中所述HSV色域是针对不同种类的真实物体而预定义的。
12.根据权利要求11所述的系统，所述真实物体是手部，所述颜色像素值是所述手部皮肤的。
13.根据权利要求10所述的系统，其中：
所述图像传感器包括第一和第二摄像机，
所述真实物体存在模块依照以下步骤确定目标颜色概率密度函数的所述一个函数：
定义一个由n个真实空间块组成的合并真实空间；和
对所述n个真实空间块中的每个真实空间块，根据以下将所述变化的α值分配给每个真实空间块的相应的颜色像素对集合：
如果(P(Xs,Ys,Zs)＝＝0){
在图像像素(Xslik,Ysljk)上的α值被设定为τ
在图像像素(Xsrik,Ysrjk)上的α值被设定为τ
}
否则{
在图像像素(Xslik,Ysljk)上的α值＝Ψ(Φl(I(Xslik,Ysljk)))
在图像像素(Xsrik,Ysrjk)上的α值＝Ψ(Φr(I(Xsrik,Ysrjk)))
}
其中τ∈[0,1],s∈{0..n-1}，Φl是所述第一摄像机即左侧摄像机的PDF，Φr是所述第二摄像机即右侧摄像机的PDF，I是所述颜色，Ψ是一个预定义映射函数，将目标颜色概率映射到从τ开始的α混合值。
14.根据权利要求11所述的系统，其中：
所述图像传感器包括第一和第二摄像机，
所述真实物体存在模块依照以下步骤确定目标颜色概率密度函数的所述一个函数：
定义一个由n个真实空间块组成的合并真实空间；和
对所述n个真实空间块中的每个真实空间块，根据以下将所述变化的α值分配给每个真实空间块的相应的颜色像素对集合：
如果(P(Xs,Ys,Zs)＝＝0){
在图像像素(Xslik,Ysljk)上的α值被设定为τ
在图像像素(Xsrik,Ysrjk)上的α值被设定为τ
}
否则{
在图像像素(Xslik,Ysljk)上的α值＝Ψ(Φl(I(Xslik,Ysljk)))
在图像像素(Xsrik,Ysrjk)上的α值＝Ψ(Φr(I(Xsrik,Ysrjk)))
}
其中τ∈[0,1],s∈{0..n-1}，Φl是所述第一摄像机即左侧摄像机的PDF，Φr是所述第二摄像机即右侧摄像机的PDF，I是所述颜色，Ψ是一个预定义映射函数，将目标颜色概率映射到从τ开始的α混合值。
15.根据权利要求10所述的系统，其中所述真实物体控制模块通过确定以下至少一个来确定操作所述GUI或虚拟物体：
确定所述真实物体水平滑动所述GUI的菜单或所述虚拟物；
确定所述真实物体双击所述GUI的菜单或所述虚拟物；
确定所述真实物体单击所述GUI的菜单或所述虚拟物。
16.根据权利要求11所述的系统，其中所述真实物体控制模块通过确定以下至少一个来确定操作所述GUI或虚拟物体：
确定所述真实物体水平滑动所述GUI的菜单或所述虚拟物；
确定所述真实物体双击所述GUI的菜单或所述虚拟物；
确定所述真实物体单击所述GUI的菜单或所述虚拟物。
17.根据权利要求14所述的系统，其中操作所述GUI或虚拟物体包括以下至少一个：
确定所述真实物体水平滑动所述GUI的菜单或所述虚拟物；
确定所述真实物体双击所述GUI的菜单或所述虚拟物；
确定所述真实物体单击所述GUI的菜单或所述虚拟物。
18.根据权利要求17所述的系统，其中：
确定水平滑动使用了所述颜色变化序列，根据以下确定：
S＝{P(X,Ys,Zs)}其中X∈{－Ws/2,Ws/2}
S’＝S(t+δt)其中δt是一个单元集合.
H＝{S’(X+δxi)}其中和
其中Ys和Zs分别是所述真实空间块的y坐标和z坐标，由所述摄像机14a、14b之间的中点确定；
Ws是在x方向上平铺的所述真实空间块的宽度之和；
S是在特定时间t时的所述真实空间块的一系列目标颜色发生值P(X,Ys,Zs)，S’是在在下一个时间t+δt时的所述真实空间块的一系列目标颜色发生值；
δxi是所述真实空间块的移动距离；
H是具有不同移动距离的S'副本的集合；
真实物体位移＝δx和
如果(S∩S’(X+δx)＝Max(S∩H)
和
Max(S∩H)>δswipe
其中δswipe是阈值；
其中确定双击使用了所述颜色变化序列，根据以下确定：
S＝{P(Xt+k,Yt+k,Zt+k)}
S’＝{S(t+δt)}其中和i∈{0,30}
其中{k}是一个目标真实空间块和相邻真实空间块；
S是在特定时间t时的所述真实空间块的一系列目标颜色发生值P(Xt+k,Yt+k,Zt+k)，S’是在下一个时段时的S序列。
如果S∩Sdouble-tap>δdouble-tap，则双击＝真
其中Sdouble-tap是预定义的，δdouble-tap是阈值；
其中确定单击使用了所述颜色变化序列，根据以下确定：
S＝{P(Xt+k,Yt+k,Zt+k)}
S’＝{S(t+δt)}其中和i∈{0,30}
其中{k}是一个目标真实空间块和相邻真实空间块；
S是在特定时间t时的所述真实空间块的一系列目标色彩发生值P(Xt+k,Yt+k,Zt+k)的系列，S’是在下一个时段时的S序列。
如果S’∩Ssingle-tap>δsingle-tap，则单击＝真
其中Ssingle-tap是预定义的，δsingle-tap是阈值。
19.根据权利要求10所述的系统，还包括一种头戴式设备，所述头戴式设备包括：
所述图像传感器；和
所述处理器。
20.一种包含指令的非暂时性机器可读介质，当所述指令由头戴式显示器系统的一个或多个处理器执行时，使所述介质能够执行操作，所述操作包括：
获取图像传感器视野中拍摄图像的颜色像素值，并根据以拍摄图像的目标颜色概率密度函数作为输入值的一个函数产生变化的α值，将所述拍摄图像的颜色像素与虚拟现实背景进行α混合；
接收所述真实物体的输入即所述真实物体的不同种类的移动、或移动所述真实物体到真实空间中的一个或多个特定位置上，使用所述输入去操作虚拟现实中的图形用户界面GUI或虚拟物体；
检测所述真实空间中特定位置上的颜色变化序列；
根据接收到的真实物体的输入，呈现所述GUI或虚拟物体对应于所述特定位置上的所述颜色变化序列的相应改变。
CN201880000212.6A 2018-02-23 2018-03-02 使用虚拟现实头戴式显示器系统来执行真实目标检测和控制的装置和方法 Active CN108401452B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/903,781 2018-02-23
US15/903,781 US10497179B2 (en) 2018-02-23 2018-02-23 Apparatus and method for performing real object detection and control using a virtual reality head mounted display system
PCT/CN2018/077863 WO2019161576A1 (en) 2018-02-23 2018-03-02 Apparatus and method for performing real object detection and control using a virtual reality head mounted display system

Publications (2)

Publication Number Publication Date
CN108401452A true CN108401452A (zh) 2018-08-14
CN108401452B CN108401452B (zh) 2021-05-07

Family

ID=63093355

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880000212.6A Active CN108401452B (zh) 2018-02-23 2018-03-02 使用虚拟现实头戴式显示器系统来执行真实目标检测和控制的装置和方法

Country Status (1)

Country Link
CN (1) CN108401452B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111801725A (zh) * 2018-09-12 2020-10-20 株式会社阿尔法代码 图像显示控制装置及图像显示控制用程序
CN112445341A (zh) * 2020-11-23 2021-03-05 青岛小鸟看看科技有限公司 虚拟现实设备的键盘透视方法、装置及虚拟现实设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411703A (zh) * 2010-09-21 2012-04-11 索尼公司 检测图像序列中的特定对象的装置、方法和视频摄像设备
CN104423046A (zh) * 2013-08-29 2015-03-18 精工爱普生株式会社 图像处理装置及具有其的头部安装型显示装置
CN104463191A (zh) * 2014-10-30 2015-03-25 华南理工大学 一种基于注意机制的机器人视觉处理方法
CN105302295A (zh) * 2015-09-07 2016-02-03 哈尔滨市一舍科技有限公司 一种具有3d摄像组件的虚拟现实交互设备
CN105843371A (zh) * 2015-01-13 2016-08-10 上海速盟信息技术有限公司 人机隔空交互方法及系统
US20160350975A1 (en) * 2015-05-25 2016-12-01 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
CN106484119A (zh) * 2016-10-24 2017-03-08 网易（杭州）网络有限公司 虚拟现实系统及虚拟现实系统输入方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102411703A (zh) * 2010-09-21 2012-04-11 索尼公司 检测图像序列中的特定对象的装置、方法和视频摄像设备
CN104423046A (zh) * 2013-08-29 2015-03-18 精工爱普生株式会社 图像处理装置及具有其的头部安装型显示装置
CN104463191A (zh) * 2014-10-30 2015-03-25 华南理工大学 一种基于注意机制的机器人视觉处理方法
CN105843371A (zh) * 2015-01-13 2016-08-10 上海速盟信息技术有限公司 人机隔空交互方法及系统
US20160350975A1 (en) * 2015-05-25 2016-12-01 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
CN105302295A (zh) * 2015-09-07 2016-02-03 哈尔滨市一舍科技有限公司 一种具有3d摄像组件的虚拟现实交互设备
CN106484119A (zh) * 2016-10-24 2017-03-08 网易（杭州）网络有限公司 虚拟现实系统及虚拟现实系统输入方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111801725A (zh) * 2018-09-12 2020-10-20 株式会社阿尔法代码 图像显示控制装置及图像显示控制用程序
CN112445341A (zh) * 2020-11-23 2021-03-05 青岛小鸟看看科技有限公司 虚拟现实设备的键盘透视方法、装置及虚拟现实设备
CN112445341B (zh) * 2020-11-23 2022-11-08 青岛小鸟看看科技有限公司 虚拟现实设备的键盘透视方法、装置及虚拟现实设备
US12073026B2 (en) 2020-11-23 2024-08-27 Qingdao Pico Technology Co., Ltd. Keyboard perspective method and apparatus for virtual reality device, and virtual reality device

Also Published As

Publication number Publication date
CN108401452B (zh) 2021-05-07

Similar Documents

Publication Publication Date Title
US10497179B2 (en) Apparatus and method for performing real object detection and control using a virtual reality head mounted display system
EP3227760B1 (en) Pointer projection for natural user input
US7952594B2 (en) Information processing method, information processing apparatus, and image sensing apparatus
JP5564300B2 (ja) ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法
US20170277259A1 (en) Eye tracking via transparent near eye lens
US8098263B2 (en) Image processing method and image processing apparatus
US20140123077A1 (en) System and method for user interaction and control of electronic devices
JP6390799B2 (ja) 入力装置、入力方法、及びプログラム
JP7026825B2 (ja) 画像処理方法及び装置、電子機器並びに記憶媒体
US20180088676A1 (en) Gesture interface
Caputo et al. 3D Hand Gesture Recognition Based on Sensor Fusion of Commodity Hardware.
JP6344530B2 (ja) 入力装置、入力方法、及びプログラム
CN104081307A (zh) 图像处理装置、图像处理方法和程序
US20100188355A1 (en) Apparatus and method for detecting an object pointed by a user
WO2017145423A1 (ja) 情報処理システム、情報処理装置、制御方法、及びプログラム
CN109271023B (zh) 一种基于三维对象外形轮廓徒手手势动作表达的选择方法
US11182580B2 (en) Fingertip identification for gesture control
US20210165492A1 (en) Program, recognition apparatus, and recognition method
CN108401452A (zh) 使用虚拟现实头戴式显示器系统来执行真实目标检测和控制的装置和方法
JP6632298B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN109085931A (zh) 一种虚实结合的交互式输入方法、装置和存储介质
JP5932889B2 (ja) ヘッドマウント型拡張現実映像提示装置及び仮想表示物操作方法
KR101788471B1 (ko) 조명 정보 기반의 객체 증강 현실 디스플레이 장치 및 방법
JP2017103607A (ja) 画像処理装置、画像処理方法及びプログラム
CN118363451A (zh) 位姿确定方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant