CN109668545A - 用于头戴式显示装置的定位方法、定位器以及定位系统 - Google Patents

用于头戴式显示装置的定位方法、定位器以及定位系统 Download PDF

Info

Publication number
CN109668545A
CN109668545A CN201711000385.1A CN201711000385A CN109668545A CN 109668545 A CN109668545 A CN 109668545A CN 201711000385 A CN201711000385 A CN 201711000385A CN 109668545 A CN109668545 A CN 109668545A
Authority
CN
China
Prior art keywords
locator
head
display apparatus
image
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711000385.1A
Other languages
English (en)
Other versions
CN109668545B (zh
Inventor
刘伟伦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wistron Corp
Original Assignee
Wistron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wistron Corp filed Critical Wistron Corp
Publication of CN109668545A publication Critical patent/CN109668545A/zh
Application granted granted Critical
Publication of CN109668545B publication Critical patent/CN109668545B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种用于头戴式显示装置的定位方法及其定位器与系统，上述的方法包括下列步骤。提供定位器以设置于头戴式显示装置上，其中定位器包括影像撷取装置以及通信接口，定位器通过通信接口与头戴式显示装置连接。于操作空间中，由定位器利用影像撷取装置撷取参考物件的影像，以产生第一参考物件影像。由定位器根据第一参考物件影像，计算头戴式显示装置与参考物件的相对位置，进而取得头戴式显示装置于操作空间中的定位信息。由定位器将定位信息传送至头戴式显示装置。

Description

用于头戴式显示装置的定位方法、定位器以及定位系统
技术领域
本发明涉及一种定位方法、定位器以及定位系统，且特别涉及一种用于头戴式显示装置的定位方法、定位器以及定位系统。
背景技术
头戴式显示装置以往大多使用在军事用途，但随着显示器、陀螺仪、空间感应器等关键零组件的科技先进发展、制造成本降低与微型轻量化，使得例如虚拟现实(VirtualReality，VR)、增强现实(Augmented Reality，AR)、混合现实(Mixed Reality，MR)等头戴式显示装置开始走进一般消费市场，提供消费者完全不同于一般平面显示器的视觉感官享受。以虚拟现实而言，通过近眼显示器提供双眼具有视差的二张影像，配合陀螺仪及动作感应器，可创造出具有真实影像、声音以及其它感官上的拟真世界，以在有限空间中复制出真实环境或是虚构场景。因此，使用者得以融入、探索以及操控虚拟现实环境而感觉仿佛身历其境。
一般虚拟现实系统中的体感设备的定位方式主要是采用由外向内追踪技术(outside-in tracking)以及由内向外追踪技术(inside-out tracking)，以在固定空间中通过红外线LED元件或者是搭配摄影机进行追踪定位。然而，上述两种技术皆需要较高的硬件成本，架设的困难度较高且空间定位的程序较复杂。
发明内容
有鉴于此，本发明提供一种用于头戴式显示装置的定位方法、定位器以及定位系统，其可在无须于操作空间中架设额外的定位设备的前提下，以成本低廉以及简易的方式来进行头戴式显示装置的定位。
在本发明的一实施例中，上述的方法包括下列步骤。提供定位器以设置于头戴式显示装置上，其中定位器包括影像撷取装置以及通信接口，定位器通过通信接口与头戴式显示装置连接。于操作空间中，由定位器利用影像撷取装置撷取参考物件的影像，以产生第一参考物件影像。由定位器根据第一参考物件影像，计算头戴式显示装置与参考物件的相对位置，进而取得头戴式显示装置于操作空间中的定位信息。由定位器将定位信息传送至头戴式显示装置。
在本发明的一实施例中，上述的定位器包括影像撷取装置、通信接口、数据储存装置以及处理器，其中处理器耦接影像撷取装置、通信接口以及储存装置。影像撷取装置用以于操作空间中撷取参考物件的影像，以产生第一参考物件影像。通信接口用以与头戴式显示装置建立连线。数据储存装置用以储存数据。处理器用以根据第一参考物件影像，计算头戴式显示装置与参考物件的相对位置，进而取得头戴式显示装置于操作空间中的定位信息，以及通过通信接口传送定位信息至头戴式显示装置。
在本发明的一实施例中，上述的系统包括参考物件、定位器以及头戴式显示装置，其中定位器设置于头戴式显示装置上并且与头戴式显示装置连接。定位器用以于操作空间中，撷取参考物件的影像，以产生第一参考物件影像，根据第一参考物件影像，计算头戴式显示装置与参考物件的相对位置，进而取得头戴式显示装置于操作空间中的定位信息，以及传送定位信息至头戴式显示装置。
为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合附图说明书附图作详细说明如下。
附图说明
图1为根据本发明一实施例所绘示的定位系统的示意图。
图2A为根据本发明的一实施例所绘示的定位方法的流程图。
图2B为根据本发明的一实施例所绘示的球面坐标的示意图。
图3A为根据本发明的一实施例所绘示的定位方法的初始化设定流程图。
图3B为根据本发明的一实施例所绘示的初始化定位方法的示意图。
图4为根据本发明一实施例所绘示的定位器的方块图。
图5A为根据本发明的一实施例所绘示的定位方法的流程图。
图5B为根据本发明的一实施例所绘示的目前影像的示意图。
图6A为根据本发明的一实施例所绘示的定位方法的情境示意图。
图6B为根据本发明的一实施例所绘示的定位方法的情境示意图。
附图标记说明：
100：定位系统
110：参考物件
120：定位器
130：虚拟现实头戴装置
S：操作空间
S202～S206、S302～S312、S502～S522：步骤
P：点
r：径向距离
θ：倾斜角度
平面旋转角度
O：原点位置
A、B、C、D：角落位置
410：影像撷取装置
420：运动感测器
430：时间产生器
440：通信接口
450：数据储存装置
460：处理器
d2、d3、d5、d6：距离
C：中心点
110’：参考物件的影像
Img、Img61～Img66：参考物件影像
FOV：视野
具体实施方式
本发明的部分实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部分，并未公开所有本发明的可实施方式。更确切的说，这些实施例只是本发明的专利申请范围中的方法以及系统的范例。
为利于具体说明，以下说明内容以及图1至图6B仅将以头戴式显示装置中的一种虚拟现实装置为范例做说明，但不用以限制本发明的应用产品领域，例如也可适用在增强现实或混合实镜等各种头戴式显示装置上。图1为根据本发明一实施例所绘示的定位系统的示意图，但此仅是为了方便说明，并不用以限制本发明。首先图1先介绍定位系统中的所有构件以及配置关系，详细功能将配合图2一并公开。
请参照图1，定位系统100包括参考物件110、定位器120以及VR头戴装置130，其中定位器120设置于VR头戴装置130上。在本实施例中，定位系统100将在操作空间S中针对VR头戴装置130进行定位。值得一提的是，本发明所提及的操作空间S较常为室内空间，包括全封闭或不完全封闭的室内空间，但也不排除可以指具有实体或虚拟边界的户外空间，只要能设置参考物件110以及可定义出边界即可满足本发明所指的操作空间S。
在本实施例中，参考物件110为具有可识别方向性的图形、图片、照片等影像。定位器120至少包括影像撷取装置、通信接口、处理器以及数据储存装置，其是基于影像分析的方式来达到定位功能，而硬件构件的详细内容将于后续进行说明。
针对参考物件110，以图形而言，其可以例如是无对称轴的图形或是只有一条对称轴的线对称图形。另一方面，具有两条以上对称轴的图形等较不易于识别其方向性的图形(例如圆形、矩形等)则将不会被采用。以图片、照片而言，则是需要一定数量的特征点以利于定位器120进行影像辨识。值得一提的是，在定位器120出厂前，其可例如是内建支援数个图形于储存装置，而此些图形亦会储存于例如是云端伺服器，以便于使用者自行下载以及列印出而成为参考物件110。如此一来，可以确保定位器120在后续执行定位方法时对每一个图形的辨识达到优化的效能，且因可掌握所支援的图形，故定位器120更可以使用较低阶的处理器以降低硬件成本。
在另一实施例中，参考物件110亦可以是操作空间S中所选择的特定物件，不论是二维或三维物件，最好均满足如上述的具可识别方向性以及多个特征点。在定位器120进行定位之前，将会针对特定物件进行拍摄并且上传至例如是云端伺服器以进行特征点辨识，并且云端伺服器再将特征点辨识的结果回传至定位器120并且储存于定位器120的储存装置，亦可在后续执行定位方法时达到优化的效能。
VR头戴装置130可以是实作成头戴显示器或是眼镜。VR头戴装置130至少包括整合显示器以及通信接口。显示器例如是液晶显示器(Liquid-Crystal Display，LCD)、发光二极管(Light-Emitting Diode，LED)显示器(例如OLED显示器或Micro LED显示器)或其他类似装置。VR头戴装置130会通过通信接口自定位器120取得本身的定位信息，再通过通信接口以现有的无线或有线方式再将定位信息输出至主机(未绘示)，而主机会依据定位信息将与该定位信息关联的VR影像内容传送给VR头戴装置130的显示器呈现。值得一提的是，上述实施例是VR头戴装置130与主机(例如电脑)分离的分离式系统，而本发明另一实施例中VR头戴装置130与主机是整合在一起而为单一整合系统。
图2为根据本发明的一实施例所绘示的定位方法的流程图，而图2的步骤可以是以图1所绘示的定位系统100来实现。在本实施例中，参考物件110为具有特殊图样的影像并且固定于操作空间S中的天花板。在另一实施例中，参考物件110亦可以是固定于操作空间S中垂直平面的墙面并且建议高于定位器120的水平高度，以达到较佳的影像辨识效果。必须先说明的是，由于定位器120是设置于VR头戴装置130上并且两者之间仅存在一个已知的距离，因此在以下的描述当中，定位器120的位置将假设等同于VR头戴装置130的位置。
请同时参照图1以及图2，首先，定位器120将撷取参考物件110的影像，以产生第一参考物件影像(步骤S202)。接着，定位器120将根据第一参考物件影像，计算VR头戴装置130与参考物件110的相对位置，进而取得VR头戴装置130于操作空间S的定位信息(步骤S204)。在此的相对位置可以例如是以VR头戴装置130与参考物件110之间的距离、相对于水平面的倾斜角度以及平面旋转角度来表示，而定位信息可以是以操作空间S的绝对位置来表示。
详细来说，基于影像的成像，当定位器120与参考物件110之间的距离越近时，第一参考物件影像中的参考物件将会越大，而当定位器120与参考物件110之间的距离越远时，第一参考物件影像中的参考物件将会越小。定位器120可以利用此关系计算出VR头戴装置130与参考物件110之间的距离。另一方面，当定位器120与参考物件110之间相对于水平方向具有倾斜角度时，第一参考物件影像中的参考物件将会因定位器120撷取影像的视角不同(angle of view)而产生不同程度的变形。因此，定位器120可以利用第一参考物件影像中的参考物件的变形程度计算出VR头戴装置130与参考物件110之间的倾斜角度。此外，定位器120可以利用第一参考物件影像中的参考物件的呈现方位计算出定位器120与参考物件110之间的平面旋转角度。
定位器120所计算出的VR头戴装置130与参考物件110的相对位置可以是表示成球面坐标(spherical coordinate)，即其中r、θ、分别为定位器120与参考物件110之间的径向距离、倾斜角度以及平面旋转角度。定位器120会更进一步地将转换成操作空间S的定位信息，例如表示成直角坐标(Cartesian coordinate)，即(x,y,z)。之后，定位器120将传送定位信息至VR头戴装置130(步骤S206)，以用于后续VR头戴装置130针对VR影像内容的显示。以图2B根据本发明之一实施例所绘示的球面坐标示意图来说，假设P点的球面坐标为则P点的绝对坐标可以是以来表示。
相较于一般用于虚拟现实的定位系统需要较高的硬件成本及其架设的困难度，本实施例中的使用者仅需在操作空间S中设置参考物件110以及简单的步骤即可完成定位系统100的初始化设定。具体来说，图3A为根据本发明之一实施例所绘示的定位方法的初始化设定流程图，图3B为根据本发明之一实施例所绘示的操作空间的平面示意图。
请先同时参照图1、图3A，在完成参考物件110的设置后，VR头戴装置130将与定位器120连线(步骤S302)。在本实施例中，VR头戴装置130可以是对应一个应用程序，其记录前次连线的定位器120。当此应用程序启动时，当VR头戴装置130尚未与定位器120连线时，应用程序将会与定位器120要求建立连线。假设应用程序并未记录前次连线的定位器120或者是需要连线至其它定位器，则可于应用程序的输入接口提供使用者来选择输入。
接着，定位器120将自正向于参考物件110的原点位置撷取参考物件110的影像，以产生参考物件影像(步骤S304)，并且VR头戴装置130将取得VR头戴装置130与参考物件110之间的距离，以取得原点位置坐标(步骤S306)。假设参考物件110是设置于天花板上，则原点位置可以是在参考物件110的正下方，也就是说使用者将戴着VR头戴装置130站在参考物件110的正下方，以让定位器120得以正向地撷取到参考物件110的影像。当定位器120撷取并且辨识出参考物件110的影像时，可由VR头戴装置130的应用程序输入接口将要求使用者手动输入VR头戴装置130与参考物件110之间的距离，或者是通过参考物件110的影像大小，在参考物件110的实际大小为已知的前提下来判断出VR头戴装置130与参考物件110之间的距离。以图3B为例，假设O为原点位置，而其坐标为(0,0,z0)，其中z0为VR头戴装置130位于原点位置O时与参考物件110之间的距离。
由于当定位器120撷取并且辨识出参考物件110的影像之后，定位器120将锁定该参考物件110位置并持续且动态地追踪该参考物件110。接着，当使用者戴着VR头戴装置130并依序移动至空间S的多个角落时，定位器120将自操作空间S的多个角落位置分别撷取参考物件110的影像，以产生分别对应于各个角落位置的角落参考物件影像(步骤S308)，并且由VR头戴装置130取得各个角落位置坐标(步骤S310)。当定位器120于各个角落位置撷取并且辨识出参考物件110的影像时，可由VR头戴装置130的应用程序输入接口将要求使用者输入角落位置坐标，或者是通过参考物件110的影像大小，在参考物件110的实际大小为已知的前提下来判断出角落位置坐标。以图3B为例，假设A、B、C以及D分别为四个角落位置，而其坐标则分别为(x1,y1,z0)、(x2,y2,z0)、(x3,y3,z0)以及(x4,y4,z0)。其它位置于操作空间S的坐标可以是以现有的内插法(interpolation)等方式来推算而出，于此则不再详述。
附带说明的是，VR头戴装置130可利用四个角落位置及其坐标定义出操作空间S中使用者可活动的边界，以避免沉浸于虚拟现实世界中的使用者碰撞到墙壁或是实际物体。之后，VR头戴装置130将传送原点坐标以及所有角落坐标至定位器(步骤S312)，以完成初始化设定。
基于使用者在使用VR头戴装置130往往会不断地移动而导致定位器120的影像撷取装置无法实时地撷取到参考物件110的影像，因此在以下的实施例中，将导入检测VR头戴装置130的移动而对应地自动控制定位器120快速反应与追踪的机制，以使得定位方法更为精确。
图4为根据本发明一实施例所绘示的定位器120的方块图，但此仅是为了方便说明，并不用以限制本发明。首先图4先介绍定位器120中的所有构件以及配置关系，详细功能将配合图5一并公开。
请参照图4，定位器120包括影像撷取装置410、运动感测器420、时间产生器430、通信接口440、数据储存装置450以及处理器460。
影像撷取装置410用以撷取其前方的影像并且包括具有透镜以及感光元件的摄像镜头。感光元件用以感测进入透镜的光线，进而产生影像。感光元件可以例如是电荷耦合元件(charge coupled device，CCD)、互补性氧化金属半导体(complementary metal-oxidesemiconductor，CMOS)元件或其他元件，本发明不在此设限。影像撷取装置410的视野(field of view，FOV)可以是120度，然而本发明不限于此。
运动感测器420可以是由加速度计(accelerometer)、陀螺仪(gyroscope)、磁强计(magnetometer)等组合而成以检测VR头戴装置130或定位器本身的移动以及旋转的感测器。但当然，亦不排除只包含加速度计、陀螺仪、磁强计的其一或其二，端视实际规格需求与成本而定。
时间产生器430用以提供时间，其可以例如是实时时钟(real-time clock，RTC)等可输出精确时间的电子装置或集成电路。
通信接口440用以与VR头戴装置130进行数据传输，其可以例如是蓝牙(Bluetooth)等支援近距离且具有低功耗、低成本特性的无线传输通信接口。在其它实施例中，通信接口440亦可以是USB等连接接口，以与VR头戴装置130进行有线连接。
数据储存装置450用以存储器映象、数据、缓冲数据、永久数据以及用来执行处理器460的功能的编译程序码，其可以是任意型式的非暂态性、挥发性、非挥发性的存储器，例如动态随机存取存储器(dynamic random access memory，DRAM)、随机存取存储器(randomaccess memory，RAM)、快闪存储器(flash memory)、硬盘或其他类似装置、集成电路及其组合。
处理器460用以控制定位器120的整体运作，其可以是场式可程序闸阵列(FieldProgrammable Array，FPGA)、可编程逻辑装置(Programmable Logic Device，PLD)、特殊应用集成电路(Application Specific Integrated Circuits，ASIC)、中央处理单元(Central Processing Unit，CPU)、应用处理器(Application Processor，AP)，或是其他可编程的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(DigitalSignal Processor，DSP)、图形处理器(Graphics Processing Unit，GPU)或其他类似装置、晶片、集成电路及其组合。
附带说明的是，本领域具通常知识者应明了定位器120还包括用以提供定位器120所需电源的电池单元。此外，定位器120更可包括用以承载影像撷取装置410伺服单元，其是由处理器460所控制。伺服单元可包括用以控制影像撷取装置410进行X轴方向移动的X轴伺服以及用以控制影像撷取装置410进行Z轴方向移动的Z轴伺服。
图5A为根据本发明的一实施例所绘示的定位方法的流程图。图5A的步骤可以是以图1所绘示的定位系统100来实现。
请同时参照图1、图4以及图5A，首先，定位器120的影像撷取装置410将撷取前方的影像，以产生目前影像(步骤S502)，运动感测器420将检测定位器120的移动以及旋转，以产生目前动作数据(步骤S504)，并且时间产生器430将产生目前时间数据(步骤S506)。在此的目前影像为影像撷取装置410所撷取到包含参考物件110的影像。目前动作数据为同一时点定位器120相对于水平面的角度差以及定位器120的加速度。目前时间数据可以是上述时点的时间戳(timestamp)。
定位器120的处理器460在读取目前影像、目前动作数据以及目前时间数据后，将根据目前影像计算影像撷取装置410与参考图像110的相对坐标，以产生目前相对坐标(步骤S508)，并且根据目前动作数据校正目前相对坐标，从而产生VR头戴装置130的目前定位信息(步骤S510)。接着，通信接口440则会将目前时间数据以及VR头戴装置130的目前定位信息传送至VR头戴装置130(步骤S512)。具体来说，假设影像撷取装置410与参考图像110的目前相对坐标可以表示成而处理器460将取得定位器120相对于水平面的角度差为并且例如是通过伺服单元取得影像撷取装置410所旋转的角度为VR头戴装置130的目前相对坐标将校正 处理器460将更进一步地将校正后的目前相对坐标转换成直角坐标，即Pvr＝(xvr,yvr,zvr)，以成为目前定位信息。
另一方面，为了使影像撷取装置410与参考物件110保持最佳视野(即，确保参考物件110的影像位于所撷取到的影像的中心点附近)，影像撷取装置410需持续地追踪参考物件110。因此，当VR头戴装置130快速移动时，处理器460可预测并且调整影像撷取装置410的移动轨迹，以避免失去针对参考物件的追踪。
详细来说，定位器120的处理器460将会计算目前影像中的特定图像与中心点之间的距离，以产生目前距离(步骤S514)。具体来说，以5B根据本发明的一实施例所绘示的目前影像的示意图来说，目前影像Img中的参考图像110’与中心点C之间的目前距离可表示成
接着，处理器460将计算目前动作数据与先前动作数据之间的差值，以产生目前差值(步骤S516)，并且判断目前差值是否大于预设差值(步骤S518)。然而，在移动影像撷取装置410之前，处理器460需要判断VR头戴装置的移动速度来决定移动影像撷取装置410的距离，因此将会计算目前动作数据与先前动作数据之间的差值D(t-1,t)，以判断此差值是否大于预设差值S，其中t为目前时间数据。此预设差值为门槛值，其与定位器120的系统反应时间以及影像撷取装置410的FOV相关。当定位器120的系统反应时间越快时，则预设差值越大，反之则越小。当影像撷取装置410的FOV越大，则预设差值越大，反之则越小。
基此，当目前差值大于预设差值时(即，D＝(t-1,t)>S)，影像撷取装置410将以目前距离的倍数移动(步骤S520)，其中此倍数可以表示成SD，其中SD>1(例如是1.5)。在此情况下代表使用者以较快的速度移动VR头戴装置130，因此影像撷取装置410的移动将加大成为其代表当VR头戴装置130的移动速度越快时，影像撷取装置410的移动距离越大，反之则越小。
当目前差值不大于预设差值时(即，D＝(t-1,t)<S)，影像撷取装置410将以目前距离移动(步骤S522)。在此情况下代表使用者以较慢的速度移动VR头戴装置130，因此影像撷取装置410的移动则为成为
影像撷取装置410经移动后，所补捉到的视角将会不同，则流程将回到步骤S502，影像撷取装置410将重新撷取前方的影像。
图6A～图6B为根据本发明的一实施例所绘示的定位方法的情境示意图。
请先参照图6A，在此的影像撷取装置410的FOV为40度，因此参考物件110将会在所撷取的影像中呈现较大的尺寸。当使用者的头向上正对参考图像110时，影像撷取装置410所撷取到的影像Img61中的参考物件110’则将位于中心点C。当使用者的头往左倾例如是30度时，影像撷取装置410所撷取到的影像Img62中的参考物件110’则将在中心点C的右边并且距离d2的位置。当使用者的头往右倾例如是30度时，影像撷取装置410所撷取到的影像Img63中的参考物件110’则将在中心点C的左边并且距离d3的位置。
请再参照图6B，在此的影像撷取装置410的FOV为120度，因此参考物件110将会在所撷取的影像中呈现较小的尺寸。当使用者的头正对参考图像110时，影像撷取装置410所撷取到的影像Img64中的参考物件110’则将位于中心点C。当使用者的头往左倾例如是30度时，影像撷取装置410所撷取到的影像Img65中的参考物件110’则将在中心点C的右边并且距离d5的位置。当使用者的头往右倾例如是30度时，影像撷取装置410所撷取到的影像Img66中的参考物件110’则将在中心点C的左边并且距离d6的位置。
因此，即使使用者的头倾斜相同的角度，FOV的不同将使得d2>d5以及d3>d6。简单来说，当FOV越大时，则代表S值越大，反之则越小。假设预设差值为S并且可以设定为影像的1/4距离。当FOV为40度时，d2以及d3皆大于S，因此需要乘上一个大于1的倍数SD(例如是1.5)，以确保参考物件110’于影像中可以位于中心点C。以下表1将具体说明针对图6A～图6B的情境时影像撷取装置410所需移动的角度。
表1
附带一提的是，以使用者的头以加速度a往左移动30度并且参考物件110’与中心点C的距离为d2为例，若定位器120的系统反应时间快2倍，则参考物件110’与中心点C的距离将会成为d2/2<S。也就是说定位器120的系统对于预设距离S的容忍度将会加大。
综上所述，本发明所提出用于头戴式显示装置的定位方法、定位器与定位系统，其针对操作空间中的参考物件来进行影像撷取，以利用所撷取到的影像来计算头戴式显示装置与参考物件的相对位置，进而取得头戴式显示装置于操作空间中的定位信息。如此一来，本发明可在无须于操作空间中架设额外的定位设备，以成本低廉以及简易的方式来进行头戴式显示装置的定位，以增强本发明在实际应用中的适用性。
虽然本发明已以实施例公开如上，然其并非用以限定本发明，任何所属技术领域技术人员，在不脱离本发明的精神和范围内，当可作些许的变动与润饰，故本发明的保护范围当视后附的权利要求所界定者为准。

Claims (20)

1.一种用于头戴式显示装置的定位方法，该方法包括下列步骤：
提供定位器以设置于该头戴式显示装置上，其中该定位器包括影像撷取装置以及通信接口，该定位器通过该通信接口与该头戴式显示装置连接；
于操作空间中，由该定位器利用该影像撷取装置撷取该操作空间中的参考物件的影像，以产生第一参考物件影像；
由该定位器根据该第一参考物件影像，计算该头戴式显示装置与该参考物件的相对位置，进而取得该头戴式显示装置于该操作空间中的定位信息；以及
由该定位器传送该定位信息至该头戴式显示装置。
2.如权利要求1所述的方法，其中该参考物件为具有方向性的图像并且设置于该操作空间中的顶面或是垂直侧面。
3.如权利要求1所述的方法，其中该头戴式显示装置与该参考物件的该相对位置关联于该头戴式显示装置与该参考物件之间的径向距离、相对于水平面的倾斜角度以及水平旋转角度，而该头戴式显示装置的该定位信息关联于该头戴式显示装置于该操作空间中的绝对位置。
4.如权利要求1所述的方法，其中在由该定位器撷取该参考物件的该影像，以产生该第一参考物件影像的步骤之前，该方法还包括下列步骤：
由该定位器自正向于该参考物件的原点位置撷取该参考物件的影像，以产生对应于该原点位置的原点参考物件影像，并且由该头戴式显示装置取得该定位器与该参考物件之间的距离，以取得该原点位置的原点坐标；
由该定位器自该操作空间的多个角落位置撷取该参考物件的影像，以产生分别对应于各所述角落位置的角落参考物件影像，并且由该头戴式显示装置取得各所述角落位置的角落坐标；以及
由该头戴式显示装置传送该原点坐标以及所述角落坐标至该定位器。
5.如权利要求4所述的方法，其中由该头戴式显示装置取得各所述角落位置的该角落坐标的步骤之后，该方法还包括：
由该头戴式显示装置根据各所述角落位置的该角落坐标定义该头戴式显示装置于该操作空间中的活动边界。
6.如权利要求1所述的方法，其中该定位器还包括运动感测器以及时间产生器，而该方法还包括：
由该定位器利用该运动感测器检测该定位器的移动以及旋转，以产生目前动作数据；以及
由该定位器利用该时间产生器产生对应于该目前动作数据的目前时间数据。
7.如权利要求6所述的方法，其中由该定位器根据该第一参考物件影像，计算该头戴式显示装置与该参考物件的该相对位置，进而取得该头戴式显示装置于该操作空间中的该定位信息的步骤包括：
由该定位器根据该目前影像计算该头戴式显示装置与该参考物件的目前相对坐标；以及
由该定位器根据该目前动作数据校正该目前相对坐标，以计算该头戴式显示装置与该参考物件的该相对位置。
8.如权利要求7所述的方法，其中由该定位器根据该目前动作数据校正该相对坐标，以计算该头戴式显示装置与该参考物件的该相对位置的步骤包括：
由该定位器取得该影像撷取装置撷取该参考物件影像时的旋转角度以及相对于水平面的角度差；
由该定位器根据该旋转角度以及该角度差，校正该相对坐标，以设定为该相对位置。
9.如权利要求6所述的方法，其中由该定位器传送该定位信息至该头戴式显示装置的步骤之后，该方法还包括：
由该定位器计算该参考物件影像中的该参考物件与影像中心点之间的距离，以产生目前距离，其中该影像中心点为该参考物件影像的中心点；
由该定位器计算该目前运动数据与先前运动数据之间的差值，以产生目前差值；以及
由该定位器根据该目前差值以及该目前距离，移动该影像撷取装置。
10.如权利要求9所述的方法，其中由该定位器根据该目前差值以及该目前距离，移动该影像撷取装置的步骤包括：
由该定位器判断该目前差值是否大于预设差值；
当该目前差值大于预设差值时，以该目前距离的倍数移动该影像撷取装置，其中该倍数大于1；以及
当该目前差值不大于预设差值时，以该目前距离移动该影像撷取装置。
11.如权利要求10所述的方法，其中该预设差值关联于该定位器的系统反应时间，当该定位器的该系统反应时间越大时，该预设差值越大。
12.如权利要求10所述的方法，其中该预设差值关联于该影像撷取装置的视野范围，当该影像撷取装置的该视野范围越大时，该预设差值越大。
13.一种定位器，设置于头戴式显示装置上，包括：
影像撷取装置，用以于操作空间中撷取参考物件的影像，以产生第一参考物件影像；
通信接口，用以与该头戴式显示装置建立连线；
储存装置，用以储存数据；
处理器，耦接该影像撷取装置、该通信接口以及该储存装置，用以根据该第一参考物件影像，计算该头戴式显示装置与该参考物件的相对位置，进而取得该头戴式显示装置于该操作空间中的定位信息，以及通过该通信接口传送该定位信息至该头戴式显示装置。
14.如权利要求13所述的定位器，其中该参考物件为具有方向性的图像并且设置于该操作空间中的顶面或是垂直侧面。
15.如权利要求13所述的定位器，还包括：
运动感测器，耦接该处理器，用以检测该定位器的移动以及旋转，以产生目前动作数据；以及
时间产生器，耦接该处理器，用以产生对应于该目前动作数据的目前时间数据，其中
该处理器根据该目前影像计算该头戴式显示装置与该参考物件的目前相对坐标，并且根据该目前动作数据校正该目前相对坐标，以计算该头戴式显示装置与该参考物件的该相对位置。
16.如权利要求13所述的定位器，还包括：
伺服单元，其中该处理器更计算该参考物件影像中的该参考物件与影像中心点之间的距离，以产生目前距离，计算该目前运动数据与先前运动数据之间的差值，以产生目前差值，以及根据该目前差值以及该目前距离，控制该伺服单元移动该影像撷取装置其中该影像中心点为该参考物件影像的中心点。
17.一种定位系统，包括：
头戴式显示装置；
定位器，设置于该头戴式显示装置上并且与该头戴式显示装置连接，用以于操作空间中，撷取参考物件的影像，以产生第一参考物件影像，根据该第一参考物件影像，计算该头戴式显示装置与该参考物件的相对位置，进而取得该头戴式显示装置于该操作空间中的定位信息，以及传送该定位信息至该头戴式显示装置。
18.如权利要求17所述的定位系统，其中该参考物件为具有方向性的图像并且设置于该操作空间中的顶面或是垂直侧面。
19.如权利要求17所述的定位系统，其中该定位器更用以检测该定位器的移动以及旋转，以产生目前动作数据，产生对应于该目前动作数据的目前时间数据，根据该目前影像计算该头戴式显示装置与该参考物件的目前相对坐标，并且根据该目前动作数据校正该目前相对坐标，以计算该头戴式显示装置与该参考物件的该相对位置。
20.如权利要求17所述的定位系统，其中该定位器更计算该参考物件影像中的该参考物件与影像中心点之间的距离，以产生目前距离，计算该目前运动数据与先前运动数据之间的差值，以产生目前差值，以及根据该目前差值以及该目前距离，控制该伺服单元移动该影像撷取装置，其中该影像中心点为该参考物件影像的中心点。
CN201711000385.1A 2017-10-13 2017-10-24 用于头戴式显示装置的定位方法、定位器以及定位系统 Active CN109668545B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW106135189 2017-10-13
TW106135189A TWI642903B (zh) 2017-10-13 2017-10-13 用於頭戴式顯示裝置的定位方法、定位器以及定位系統

Publications (2)

Publication Number Publication Date
CN109668545A true CN109668545A (zh) 2019-04-23
CN109668545B CN109668545B (zh) 2024-02-09

Family

ID=65431881

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711000385.1A Active CN109668545B (zh) 2017-10-13 2017-10-24 用于头戴式显示装置的定位方法、定位器以及定位系统

Country Status (3)

Country Link
US (1) US10380761B2 (zh)
CN (1) CN109668545B (zh)
TW (1) TWI642903B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI837813B (zh) * 2021-12-09 2024-04-01 宏達國際電子股份有限公司 用於調整所顯示內容的方法、主機和電腦可讀儲存媒體

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201710646A (zh) * 2015-09-02 2017-03-16 湯姆生特許公司 描繪大視場內容一部份時，決定導航資訊之方法和裝置，以及大視場內容描繪器
TWI736857B (zh) * 2019-03-07 2021-08-21 國立臺南藝術大學 凌空旋轉式體感裝置及包含該裝置之虛擬實境體感系統
TWI704376B (zh) * 2019-07-19 2020-09-11 宏碁股份有限公司 視角校正方法、虛擬實境顯示系統與運算裝置
TWI730482B (zh) * 2019-10-31 2021-06-11 大陸商南京深視光點科技有限公司 平面動態偵測系統及偵測方法
US11574447B2 (en) * 2020-08-19 2023-02-07 Htc Corporation Method for capturing real-world information into virtual environment and related head-mounted device
US11762465B2 (en) 2021-07-23 2023-09-19 Htc Corporation Wireless position tracking device, display system and wearable device
US20240005553A1 (en) * 2022-05-26 2024-01-04 Htc Corporation Method for pose correction and host
US20240168289A1 (en) * 2022-11-17 2024-05-23 Htc Corporation Head-mounted display device, tracking system, and tracking method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102149436B (zh) * 2008-05-30 2014-08-06 美国索尼电脑娱乐有限责任公司 利用图像分析和超声波通信对控制器三维定位的确定
CN104951117A (zh) * 2014-03-27 2015-09-30 纬创资通股份有限公司 利用影像辨识产生相对应信息的影像处理系统及相关方法
JP5991423B2 (ja) * 2013-02-21 2016-09-14 富士通株式会社 表示装置、表示方法、表示プログラムおよび位置設定システム
US20170010469A1 (en) * 2015-03-16 2017-01-12 Magic Leap, Inc. Augmented reality display systems and methods for re-rendering the world
CN106415671A (zh) * 2014-06-03 2017-02-15 Metaio有限公司 用于呈现与真实对象相关的数字信息的方法和系统
TW201734954A (zh) * 2016-03-24 2017-10-01 Mitsubishi Electric Corp 資料處理裝置、資料處理方法以及資料處理程式產品

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10228242B2 (en) * 2013-07-12 2019-03-12 Magic Leap, Inc. Method and system for determining user input based on gesture
CN105354820B (zh) * 2015-09-30 2018-05-22 深圳多新哆技术有限责任公司 调整虚拟现实图像的方法及装置
CN105867611A (zh) * 2015-12-29 2016-08-17 乐视致新电子科技（天津）有限公司 虚拟现实系统中的空间定位方法、装置及系统
CN106997241B (zh) * 2016-01-22 2020-04-21 宏达国际电子股份有限公司 虚拟现实环境中与真实世界互动的方法与虚拟现实系统
CN106643699B (zh) * 2016-12-26 2023-08-04 北京互易科技有限公司 一种虚拟现实系统中的空间定位装置和定位方法
US10719125B2 (en) * 2017-05-09 2020-07-21 Microsoft Technology Licensing, Llc Object and environment tracking via shared sensor
US10416837B2 (en) * 2017-06-26 2019-09-17 Facebook, Inc. Virtual reality safety bounding box

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102149436B (zh) * 2008-05-30 2014-08-06 美国索尼电脑娱乐有限责任公司 利用图像分析和超声波通信对控制器三维定位的确定
JP5991423B2 (ja) * 2013-02-21 2016-09-14 富士通株式会社 表示装置、表示方法、表示プログラムおよび位置設定システム
CN104951117A (zh) * 2014-03-27 2015-09-30 纬创资通股份有限公司 利用影像辨识产生相对应信息的影像处理系统及相关方法
CN106415671A (zh) * 2014-06-03 2017-02-15 Metaio有限公司 用于呈现与真实对象相关的数字信息的方法和系统
US20170010469A1 (en) * 2015-03-16 2017-01-12 Magic Leap, Inc. Augmented reality display systems and methods for re-rendering the world
TW201734954A (zh) * 2016-03-24 2017-10-01 Mitsubishi Electric Corp 資料處理裝置、資料處理方法以及資料處理程式產品

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI837813B (zh) * 2021-12-09 2024-04-01 宏達國際電子股份有限公司 用於調整所顯示內容的方法、主機和電腦可讀儲存媒體

Also Published As

Publication number Publication date
US20190114803A1 (en) 2019-04-18
US10380761B2 (en) 2019-08-13
CN109668545B (zh) 2024-02-09
TWI642903B (zh) 2018-12-01
TW201915445A (zh) 2019-04-16

Similar Documents

Publication Publication Date Title
CN109668545A (zh) 用于头戴式显示装置的定位方法、定位器以及定位系统
WO2021036353A1 (zh) 基于拍照的3d建模系统及方法、自动3d建模装置及方法
US10733801B2 (en) Markerless image analysis for augmented reality
US9646384B2 (en) 3D feature descriptors with camera pose information
US9508146B2 (en) Automated frame of reference calibration for augmented reality
US20180150148A1 (en) Handheld interactive device and projection interaction method therefor
CN111738220A (zh) 三维人体姿态估计方法、装置、设备及介质
CN106210538A (zh) 在用户设备上显示基于光场的图像的方法和装置及程序
US20130229396A1 (en) Surface aware, object aware, and image aware handheld projector
US20140267031A1 (en) Spatially aware pointer for mobile appliances
CN108028871A (zh) 移动设备上的无标记的多用户多对象增强现实
EP3956717A1 (en) Sensor fusion for electromagnetic tracking
EP3398168A1 (en) A method and system for real-time 3d capture and live feedback with monocular cameras
TW201346640A (zh) 影像處理裝置及電腦程式產品
US8724849B2 (en) Information processing device, information processing method, program, and information storage medium
CN108008817B (zh) 一种实现虚实融合的方法
US11240481B2 (en) Creation and user interactions with three-dimensional wallpaper on computing devices
JP6640294B1 (ja) 複合現実システム、プログラム、携帯端末装置、及び方法
US20240031678A1 (en) Pose tracking for rolling shutter camera
CN110737326A (zh) 虚拟对象的显示方法、装置、终端设备及存储介质
CN110152293A (zh) 操控对象的定位方法及装置、游戏对象的定位方法及装置
CN111179341A (zh) 一种增强现实设备与移动机器人的配准方法
US20130155211A1 (en) Interactive system and interactive device thereof
CN117173756A (zh) 一种增强现实ar系统、计算机设备及存储介质
CN114093020A (zh) 动作捕捉方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant