CN106796452B - 头戴式显示装置及其控制方法、计算机可读介质 - Google Patents

头戴式显示装置及其控制方法、计算机可读介质 Download PDF

Info

Publication number
CN106796452B
CN106796452B CN201580053844.5A CN201580053844A CN106796452B CN 106796452 B CN106796452 B CN 106796452B CN 201580053844 A CN201580053844 A CN 201580053844A CN 106796452 B CN106796452 B CN 106796452B
Authority
CN
China
Prior art keywords
measured value
head
reference value
mounted display
display apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580053844.5A
Other languages
English (en)
Other versions
CN106796452A (zh
Inventor
罗敬虔
崔光珍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Love Love Sijier Co Ltd
Original Assignee
Love Love Sijier Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Love Love Sijier Co Ltd filed Critical Love Love Sijier Co Ltd
Publication of CN106796452A publication Critical patent/CN106796452A/zh
Application granted granted Critical
Publication of CN106796452B publication Critical patent/CN106796452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

头戴式显示装置(Head‑Mounted Display；HMD)可包括传感器部；显示部，被构造为显示图像；及控制部，被构造为由所述传感器部的测定值检测对所述头戴式显示装置施加的敲击，并将所述敲击作为输入信号来使用以控制显示在所述显示部上的图像。当使用所述HMD时，通过将对HMD的任意部分施加的敲击作为输入信号来使用以控制显示在HMD上的图像，从而具有即使没有额外的控制器也能进行事件(event)处理等的优点。

Description

头戴式显示装置及其控制方法、计算机可读介质
技术领域
实施例涉及一种头戴式显示装置(Head-Mounted Display；HMD)及其控制方法和用于控制该装置的计算机程序，更为详细地涉及一种被构造为即使没有额外的控制器也能通过对HMD施加的敲击(tap)来控制的HMD及其控制技术。
背景技术
头戴式显示装置(Head-Mounted Display；HMD)为一种戴在头上形式的便携式显示装置，通过将显示装置以护目镜或头盔等形式安装于头上来将图像聚焦于眼前近距离上的设备。戴上HMD的用户的整个视界被图像覆盖，从而有虚拟现实的感觉，因此在军事、医疗及私人生活等多种领域上得到应用。
作为一例，日本专利公开公报第1999-161190号公开了对用户头部动作进行检测后根据检测结果控制显示在显示元件上的信息的技术。但这种以往的HMD中用户动作只用于转换显示元件上显示的视点，具有如下的缺点：为了对显示信息进行事件(event)处理等控制，需要额外的控制器，例如触摸板或游戏手柄等。
发明内容
发明所要解决的问题
根据本发明的一方面，可提供一种HMD及其控制方法和用于控制该装置的计算机程序，该HMD被构造为即使没有额外的控制器也能通过将对头戴式显示装置(Head-MountedDisplay；HMD)施加的敲击(tap)作为输入信号来使用以控制显示在HMD上的图像。
用于解决问题的方案
一实施例的头戴式显示装置(Head-Mounted Display；HMD)包括：传感器部；显示部，被构造为显示图像；及控制部，被构造为由所述传感器部的测定值检测对所述头戴式显示装置施加的敲击，并将所述敲击作为输入信号来使用以控制显示在所述显示部上的图像。
所述控制部可被构造为对所述测定值与预先设定的基准值进行比较，以检测对所述HMD施加的敲击信息。此时，所述敲击信息可包括敲击的有无、次数及位置信息。此外，所述测定值及所述基准值可为基于戴上所述HMD的用户的动作或在所述头戴式显示装置中产生的声音中的一个以上形成的信号。
所述控制部可被构造为将所述敲击作为所述输入信号使用并对显示在所述显示部上的图像的类型、输出部分、输出形式及播放速度中的一个以上进行改变。
一实施例的HMD的控制方法包括步骤：在所述HMD上显示图像；对所述HMD施加的敲击进行检测；及将对所述HMD施加的敲击作为输入信号使用以控制显示在所述HMD上的图像。
所述对敲击进行检测的步骤可包括：对通过所述HMD的传感器得到的测定值与预先设定的基准值进行比较，以检测对所述HMD施加的敲击信息。此时，所述敲击信息可包括敲击的有无、次数及位置信息。此外，所述测定值及所述基准值可为基于戴上所述头戴式显示装置的用户的动作或在所述头戴式显示装置中产生的声音中的一个以上形成的信号。
所述控制显示在所述HMD上的图像的步骤可包括：将所述敲击作为所述输入信号使用，并对显示在所述显示部上的图像的类型、输出部分、输出形式及播放速度中的一个以上进行改变。
一实施例的计算机程序可为存储于介质中的程序，其与HMD结合而执行所述HMD的控制方法。
发明效果
当使用本发明一方面的头戴式显示装置(Head-Mounted Display；HMD)及其控制方法时，通过将对HMD的任意部分施加的敲击作为输入信号使用以控制显示在HMD上的图像，从而具有即使没有额外的控制器也能进行事件(event)处理等的优点。
附图说明
图1为一实施例的头戴式显示装置(Head-Mounted Display；HMD)的方框图。
图2a至图2e为表示在一实施例的HMD中使用的示意性基准信号的波形的图表。
图3为表示在一实施例的HMD中使用的示意性基准信号的波形的图表。
具体实施方式
下面，参照附图详细说明本发明的实施例。
图1为一实施例的头戴式显示装置(Head-Mounted Display；HMD)的方框图。
参照图1，本实施例的HMD包括传感器部10、显示部20及控制部30。在一实施例中，HMD可进一步包括通信部40及/或存储部50。本实施例的HMD被构造为用户能够在头上戴上HMD，并且根据需要可包括一个或多个固定装置(未图示)。例如，实施例的HMD可由护目镜(goggle)或头盔等形式来实现，但并不局限于此。
实施例的HMD可全部为硬件，或全部为软件，或部分为硬件、部分为软件。例如，在本说明书中构造HMD的各“部(unit)”可为硬件及用于驱动该硬件的操作软件的总称。此外，硬件可为包括CPU或其他处理器(processor)的数据处理设备。此外，通过硬件驱动的软件可指执行中的进程、对象(object)、执行文件(executable)、执行线程(thread ofexecution)及程序(program)等。
此外，构成实施例的HMD的各部并不刻意指物理上分开的独立的结构要素。在图1中，传感器部10、显示部20及控制部30等表示为彼此分开的独立的方框，但根据实施例，传感器部10、显示部20及控制部30中的部分或全部也可被集成化为一个元件。例如，具有微处理器(microprocessor)等处理装置、加速度传感器及触摸屏的智能手机(smartphone)可相当于上述的传感器部10、显示部20及控制部30中的一个以上，这种智能手机与可在头上安装的其他部件(未图示)相结合来构成实施例的HMD。即，在本说明书中记载的HMD也可为能够通过其他部件来作为头戴式显示装置使用的智能手机。
传感器部10是用于获得测定值的部分，所述测定值为用于检测对HMD施加的敲击(tap)的基础。例如，传感器部10可由如加速度计(accelerometer)、磁强计(magnetometer)及/或陀螺仪(gyroscope)等能够测定戴上HMD的用户动作的一个以上的传感器来构成。在此情况下，可通过对这些传感器所测定的测定值与对应于敲击的动作的基准值进行比较来测定对HMD施加的敲击。或者，传感器部10也可由麦克风等能够测定声音的一个以上的传感器来构成，此时，可利用HMD被敲击时产生的声音来测定敲击。对敲击的具体测定过程在后面进行详细的描述。
当传感器部10由被构造为测定用户动作的一个或多个传感器构成时，传感器部10的测定值不仅用于测定敲击，还可用于根据用户视点改变所显示的图像对应的视点。这是在输出广视角图像的一部分的同时，与戴上HMD的用户的头部动作相应地移动图像中的显示部分，从而使用户能够感到现实感的显示方式，这种显示方式与以往的HMD中使用的显示方式相同。例如，当用户向右转头时，将显示在显示部20上的整个图像与此对应地向左移动，从而使用户感到在由图像显示的虚拟空间中转过头来看右边一样的感觉。但这只不过是示意性的，在另一实施例中，传感器部10只是为了测定对HMD施加的敲击而设置，用户的动作也可通过与传感器部10不同的额外的装置来测定。
显示部20为位于用户的眼睛附近而显示图像的部分。显示部20可包括液晶显示器(Liquid Crystal Display；LCD)或其他适当的图像显示元件。此外，显示部20可进一步包括一个以上的使通过图像显示元件显示的图像焦点聚焦于用户的眼睛或其附近的凸透镜等光学元件。在本说明书中，显示在显示部20上的图像意指包括如照片的单个图像或如影像的一连串连续的图像。例如，在本说明书中记载的图像也可包括包含影像及/或声音的视频等内容(contents)。
在一实施例中，HMD进一步包括通信部40，显示在显示部20上的图像可为通过网络由通信部40从远程服务器(未图示)接收的图像。例如，通信部40可通过流式传输(streaming)方式接收图像。此外，HMD也可通过通信部40向远程服务器传输数据。在另一实施例中，显示在显示部20上的图像也可为预先存储在存储部50中的图像。存储部50包括能够存储在显示部20上显示的图像或其他额外数据的储存装置。
控制部30与传感器部10及显示部20可通信地连接，控制部30由传感器部10的测定值检测对HMD施加的敲击。此外，当控制部30检测到敲击时，将该敲击作为输入信号使用，以控制显示在显示部20上的图像。控制部30可将敲击作为输入信号使用，并处理与图像关联的各种事件(event)，其中，事件处理可指图像的类型、输出部分、输出形式及播放速度等的变化。例如，需要显示的图像的选择、图像的开始播放及停止播放、当图像为时间顺序的视频时快进(fast forward)和倒回(rewind)、播放速度的增减、输出音量的增减、如全屏(full screen)模式的显示形式的转换、显示在图像上的菜单、按钮(button)或图标(icon)等用户界面(user interface)的操作可相当于事件处理，但并不局限于此。当图像为游戏、虚拟现实(Virtual Reality；VR)或扩增现实(Augmented Reality；AR)应用程序的一部分时，也可通过敲击HMD来实现与这些应用程序的交互。
在未对HMD施加敲击的状态下，控制部30可通过与一般HMD同样地控制显示在显示部20上的图像，从而根据用户的动作来改变与图像对应的视点。例如，当用户向右转头时，控制部30会与此相应地将显示在显示部20上的整个图像向左移动。但是，当由传感器部10的测定值检测到对HMD施加的敲击时，控制部30将敲击作为输入信号来使用，并控制显示在显示部10上的图像。因此，戴上本实施例的HMD的用户即使没有额外的控制器也能够只通过敲击自己的头部来与图像进行交互。
在一实施例中，控制部30包括敲击检测部31及基准值存储部32。敲击检测部31被构造为对传感器部10的测定值与预先设定在基准值存储部32中的基准值进行比较，以检测对HMD施加的敲击。敲击检测部31被构造为能够检测对HMD施加的敲击。敲击检测部31也可被构造为检测对特定接触部(未图示)施加的敲击，该特定接触部是为了敲击而在HMD额外设置的部件。或者，敲击检测部31也可被构造为检测对HMD的任意部分施加的敲击。此外，在一实施例中，敲击检测部31进一步可被构造为能够判断出HMD中被敲击的是哪一部分。传感器部10的测定值及在基准值存储部32中存储的基准值可根据用于测定敲击的传感器部10由何种类型的传感器构成来具有适当的形式。
在一实施例中，所述测定值及所述基准值分别可为基于戴上HMD的用户的动作的信号，基于动作的信号可为利用速度、加速度、角速度及/或方位中一个以上的信号。在传感器部10由能够测定震动的一个以上的传感器构成的情况下，当用户敲击HMD的任意部分的表面时，因震动而在传感器部10测定的震动中产生急剧的信号大小或信号图案的变化。因此，敲击检测部31能够区分用户通常的头部动作和装置的敲击，当检测的是敲击而不是通常的头部动作时，能够将敲击信息作为输入信号来控制图像。
在另一实施例中，所述测定值及所述基准值分别可为基于在HMD中产生的声音的信号。在传感器部10由能够测定声音的一个以上的传感器构成的情况下，当用户敲击HMD的表面时，会增加传感器部10测定的信号的大小。此时，敲击检测部31可通过传感器部10所测信号的增加来获知HMD已被敲击，并将敲击信息作为输入信号来控制图像。
对检测敲击信息的过程具体说明如下。在敲击检测部31中，可利用传感器部10的测定值和预先通过数据库化来存储在基准值存储部32中的敲击基准信号的模板匹配(template matching)来进行比较并计算相似度。相似度的计算算法可使用归一化互相关(normalized cross correlation)算法，并以如下的数学式1计算相似度。
[数学式1]
在上述数学式1中，S(x)为传感器部10的测定信号，T(x)为预先存储的敲击基准信号。δS及δT分别为测定信号和基准信号的标准偏差，Saverage及Taverage分别为测定信号和基准信号的平均。对特定时间内测定的信号，当通过所述数学式1计算的相似度为规定阈值以上时，敲击检测部31可确定为HMD已被敲击。
当基准信号更加细化时，敲击检测部31不仅获得敲击的有无及次数，还能获得包括被敲击位置信息在内的敲击信息。即，可预先存储HMD的上下左右方向的基准信号或以其他方式区分的各位置的基准信号，并对传感器部10的测定值与各位置的基准信号进行比较，并将与相似度最高的基准信号对应的位置确定为已被敲击的位置。
但是，上述敲击信息的计算过程仅为示意性的，另一实施例的HMD还可被构造为通过与上述方式不同的方式检测对HMD施加的敲击。
图2a至图2e为表示在一实施例的HMD中使用的示意性基准信号的波形的图表，表示利用加速度计的基准信号的波形。
如在图2a至图2e所示各图表的虚线方形内表示，表示敲击的基准信号因敲击而在特定区间内具有测定值急剧增加而产生的峰值。例如，在峰值下的加速度测定值大约可为8.5m/s2，但并不局限于此。对传感器部的测定值与这些基准信号进行比较的结果，当相似度为预先确定的阈值(例如，70％)以上时，可确定为产生了敲击。
图3为表示在一实施例的HMD中使用的又一个示意性基准信号的波形的图表，表示利用声音的基准信号。
与参照图2在前面描述的基于加速度的基准信号同样地，利用声音的基准信号也因敲击而在特定区间内具有测定值急剧增加而产生的峰值。作为一例，在基准信号中，声音测定值在峰值下大约可为-5dB，最低值大约可为-75dB，但并不局限于此。对传感器部的测定值与这些基准信号进行比较的结果，当相似度大于已确定的阈值(例如，70％)以上时，可确定为产生了敲击。
但是，参照图2及图3在前面描述的基准信号的波形仅为示意性的，对于用于检测传感器的测定值是否为敲击的基准信号的类型、波形及信号大小等，可根据所使用传感器的灵敏度及所使用的应用程序等适当地确定。
以上说明的实施例的HMD的操作及用于控制该操作的方法至少其中一部分可由计算机程序来实现，并被存储在计算机可读存储介质中。所述计算机可读存储介质包括用于存储计算机可读数据的所有类型的存储装置。计算机可读存储介质的示例中有ROM、RAM、CD-ROM、磁带、软盘及光学数据存储装置等，此外还包括以载波(carrier wave)(例如，网络传输)形式实现的存储介质。此外，计算机可读存储介质还可分散到由网络连接的计算机系统中，并以分散方式存储并运行计算机可读代码。此外，本实施例所属技术领域的技术人员应能容易理解用于实现本实施例的功能程序、代码及代码段(segment)。
以上描述的本发明，虽然参照附图所示的实施例进行了说明，但这些实施例只不过是示意性的，本发明所属技术领域的技术人员应能理解基于上述内容可以进行多种变形及实施例的变形。但是，这种变形应被视为在本发明的技术保护范围内。因此，本发明的真正的技术保护范围应以所附的权利要求书的技术思想来界定。
产业上的可利用性
实施例涉及头戴式显示装置(Head-Mounted Display；HMD)和用于控制该装置的方法及计算机程序。

Claims (7)

1.一种头戴式显示装置，包括：
传感器部；显示部，被构造为显示图像；及控制部；
所述控制部被构造为：
确定由所述传感器部获得的测定值指示穿戴所述头戴式显示装置的用户的动作或是施加在所述头戴式显示装置上的敲击，所述确定是通过使用归一化互相关算法计算所述测定值和预先设定的基准值之间的相似度，以及通过当计算的所述相似度等于或大于规定阈值时确定发生所述敲击并且通过当计算的所述相似度小于所述规定阈值时确定发生所述用户的动作而所述动作并非所述敲击，其中所述归一化互相关算法使用特定时间段内所述测定值的平均和在所述特定时间段内所述传感器部获得的所述测定值的标准偏差，以及所述预先设定的基准值的平均和所述预先设定的基准值的标准偏差；以及
作为对由所述传感器部获得的所述测定值指示所述用户的动作的响应，根据穿戴所述头戴式显示装置的用户的所述动作改变所述图像的视角；以及
作为对由所述传感器部获得的所述测定值指示施加在所述头戴式显示装置上的敲击的响应，使用所述敲击作为输入信号控制在所述显示装置上显示的图像；
其中，所述测定值和所述预先设定的基准值之间的所述相似度是通过将所述测定值的误差与所述基准值的误差之和除以所述测定值和所述基准值各自的标准偏差得到的平均数；并且
其中，所述测定值和所述预先设定的基准值之间的所述相似度通过如下公式计算
其中S(x)表示所述测定值，T(x)表示所述基准值，Saverage表示所述测定值的平均，Taverage表示所述基准值的平均，δS表示所述测定值的标准偏差，并且δT表示所述基准值的标准偏差。
2.根据权利要求1所述的头戴式显示装置，其中，
所述测定值及所述基准值为基于戴上所述头戴式显示装置的用户的动作或在所述头戴式显示装置中产生的声音中的一个以上形成的信号。
3.根据权利要求1所述的头戴式显示装置，其中，
所述控制部被构造为将所述敲击作为所述输入信号来使用并对显示在所述显示部上的图像的类型、输出部分、输出形式及播放速度中的一个以上进行改变。
4.一种头戴式显示装置的控制方法，包括步骤：
在所述头戴式显示装置上显示图像；
基于由传感器部获得的测定值和预先设定的基准值之间的相似度来确定所述测定值指示穿戴所述头戴式显示装置的用户的动作或是施加在所述头戴式显示装置上的敲击；以及
作为对由所述传感器部获得的所述测定值指示所述用户的动作的响应，根据穿戴所述头戴式显示装置的用户的所述动作改变所述图像的视角；以及
作为对由所述传感器部获得的所述测定值指示施加在所述头戴式显示装置上的敲击的响应，使用所述敲击作为输入信号控制在所述显示装置上显示的图像；
其中，确定所述测定值指示穿戴所述头戴式显示装置的用户的动作或是施加在所述头戴式显示装置上的敲击包括：
使用归一化互相关算法计算所述测定值和预先设定的基准值之间的相似度，其中所述归一化互相关算法使用特定时间段内所述测定值的平均和在所述特定时间段内所述传感器部获得的所述测定值的标准偏差，以及所述预先设定的基准值的平均和所述预先设定的基准值的标准偏差；以及
当计算的所述相似度等于或大于规定阈值时确定发生所述敲击；以及
当计算的所述相似度小于所述规定阈值时确定发生所述用户的动作，其中，所述动作并非所述敲击；
其中，所述测定值和所述预先设定的基准值之间的所述相似度是通过将所述测定值的误差与所述基准值的误差之和除以所述测定值和所述基准值各自的标准偏差得到的平均数；并且
其中，所述测定值和所述预先设定的基准值之间的所述相似度通过如下公式计算
其中S(x)表示所述测定值，T(x)表示所述基准值，Saverage表示所述测定值的平均，Taverage表示所述基准值的平均，δS表示所述测定值的标准偏差，并且δT表示所述基准值的标准偏差。
5.根据权利要求4所述的头戴式显示装置的控制方法，其中，
所述测定值及所述基准值为基于戴上所述头戴式显示装置的用户的动作或在所述头戴式显示装置中产生的声音中的一个以上形成的信号。
6.根据权利要求4所述的头戴式显示装置的控制方法，其中，
所述控制显示在所述头戴式显示装置上的图像的步骤包括：
将所述敲击作为所述输入信号来使用并对显示在显示部上的图像的类型、输出部分、输出形式及播放速度中的一个以上进行改变。
7.一种非暂时性计算机可读记录介质，其存储有计算机程序，用于执行以下步骤：
在头戴式显示装置上显示图像；
基于由传感器部获得的测定值和预先设定的基准值之间的相似度来确定所述测定值指示穿戴所述头戴式显示装置的用户的动作或是施加在所述头戴式显示装置上的敲击；以及
作为对由所述传感器部获得的所述测定值指示所述用户的动作的响应，根据穿戴所述头戴式显示装置的用户的所述动作改变所述图像的视角；以及
作为对由所述传感器部获得的所述测定值指示施加在所述头戴式显示装置上的敲击的响应，使用所述敲击作为输入信号控制在所述显示装置上显示的图像；
其中，确定所述测定值指示穿戴所述头戴式显示装置的用户的动作或是施加在所述头戴式显示装置上的敲击包括：
使用归一化互相关算法计算所述测定值和预先设定的基准值之间的相似度，其中所述归一化互相关算法使用特定时间段内所述测定值的平均和在所述特定时间段内所述传感器部获得的所述测定值的标准偏差，以及所述预先设定的基准值的平均和所述预先设定的基准值的标准偏差；以及
当计算的所述相似度等于或大于规定阈值时确定发生所述敲击；以及
当计算的所述相似度小于所述规定阈值时确定发生所述用户的动作，其中，所述动作并非所述敲击；
其中，所述测定值和所述预先设定的基准值之间的所述相似度是通过将所述测定值的误差与所述基准值的误差之和除以所述测定值和所述基准值各自的标准偏差得到的平均数；并且
其中，所述测定值和所述预先设定的基准值之间的所述相似度通过如下公式计算
其中S(x)表示所述测定值，T(x)表示所述基准值，Saverage表示所述测定值的平均，Taverage表示所述基准值的平均，δS表示所述测定值的标准偏差，并且δT表示所述基准值的标准偏差。
CN201580053844.5A 2014-09-17 2015-09-16 头戴式显示装置及其控制方法、计算机可读介质 Active CN106796452B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020140123344A KR101839441B1 (ko) 2014-09-17 2014-09-17 두드림에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램
KR10-2014-0123344 2014-09-17
PCT/KR2015/009707 WO2016043515A1 (ko) 2014-09-17 2015-09-16 두드림에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램

Publications (2)

Publication Number Publication Date
CN106796452A CN106796452A (zh) 2017-05-31
CN106796452B true CN106796452B (zh) 2019-11-12

Family

ID=55454756

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580053844.5A Active CN106796452B (zh) 2014-09-17 2015-09-16 头戴式显示装置及其控制方法、计算机可读介质

Country Status (5)

Country Link
US (1) US9904359B2 (zh)
JP (1) JP6490804B2 (zh)
KR (1) KR101839441B1 (zh)
CN (1) CN106796452B (zh)
WO (1) WO2016043515A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6668170B2 (ja) * 2016-06-07 2020-03-18 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、およびコンピュータプログラム
KR20180021515A (ko) 2016-08-22 2018-03-05 삼성전자주식회사 영상 표시 장치 및 영상 표시 장치의 동작 방법
US10241583B2 (en) * 2016-08-30 2019-03-26 Intel Corporation User command determination based on a vibration pattern
CN106383597B (zh) * 2016-09-07 2020-04-28 北京奇虎科技有限公司 一种实现与智能终端、与vr设备交互的方法和装置
CN106383575B (zh) * 2016-09-07 2020-04-10 北京奇虎科技有限公司 一种vr视频的交互控制方法和装置
CN107885313A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种设备交互方法、装置和设备
CN106791765A (zh) * 2016-11-29 2017-05-31 宇龙计算机通信科技(深圳)有限公司 视图界面的切换方法、装置和虚拟现实设备
DE102018108643A1 (de) * 2018-04-11 2019-11-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Positionsbestimmungsvorrichtung zum Bestimmen einer Position eines Gegenstands innerhalb einer tubulären Struktur
KR102242703B1 (ko) * 2018-10-24 2021-04-21 주식회사 알파서클 헤드 마운트 디스플레이에 연결된 스마트 단말 및 이를 위한 제어 방법
KR102281296B1 (ko) * 2019-06-17 2021-07-23 주식회사 케이티앤지 에어로졸 생성 장치 및 그의 동작 방법
KR20210087760A (ko) * 2020-01-03 2021-07-13 삼성전자주식회사 전자장치 및 그 제어방법
CN111616460A (zh) * 2020-01-17 2020-09-04 厦门理工学院 智能头盔及其控制方法
CN114442810A (zh) * 2022-01-28 2022-05-06 歌尔科技有限公司 一种头戴设备的控制方法、头戴设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101179711A (zh) * 2006-11-07 2008-05-14 索尼株式会社 成像设备和成像方法
CN103323950A (zh) * 2012-03-22 2013-09-25 精工爱普生株式会社 头部佩戴型显示装置
CN103891269A (zh) * 2011-10-25 2014-06-25 奥林巴斯株式会社 头戴式显示装置、信息终端、程序、信息存储介质、图像处理系统、头戴式显示装置的控制方法及信息终端的控制方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11161190A (ja) 1997-11-25 1999-06-18 Seiko Epson Corp 頭部装着型表示装置
KR100265492B1 (ko) * 1998-03-04 2000-09-15 구자홍 두부 움직임 감지 장치 및 감지 방법
US6861946B2 (en) * 2000-05-17 2005-03-01 Caveo Technology Llc. Motion-based input system for handheld devices
WO2009063968A1 (ja) 2007-11-16 2009-05-22 Nikon Corporation 制御装置、ヘッドマウントディスプレイ装置、プログラム及び制御方法
JP5047115B2 (ja) * 2008-10-14 2012-10-10 セコム株式会社 移動物体追跡装置
US9292084B2 (en) * 2009-10-13 2016-03-22 Intel Corporation Control systems and methods for head-mounted information systems
KR101997034B1 (ko) * 2010-04-19 2019-10-18 삼성전자주식회사 인터페이스 방법 및 장치
US9134800B2 (en) 2010-07-20 2015-09-15 Panasonic Intellectual Property Corporation Of America Gesture input device and gesture input method
WO2012040386A1 (en) * 2010-09-21 2012-03-29 4Iiii Innovations Inc. Head-mounted peripheral vision display systems and methods
KR101677696B1 (ko) 2010-12-14 2016-11-18 한국전자통신연구원 움직임 탐색시 효율적인 움직임 벡터 추출 방법 및 그 장치
KR101824501B1 (ko) * 2011-05-19 2018-02-01 삼성전자 주식회사 헤드 마운트 디스플레이 장치의 이미지 표시 제어 장치 및 방법
JPWO2013054728A1 (ja) * 2011-10-11 2015-03-30 ソニー株式会社 ヘッド・マウント・ディスプレイ及び表示制御方法
US10341642B2 (en) * 2012-09-27 2019-07-02 Kyocera Corporation Display device, control method, and control program for stereoscopically displaying objects
JP2014072575A (ja) * 2012-09-27 2014-04-21 Kyocera Corp 表示装置および制御方法
US9016857B2 (en) * 2012-12-06 2015-04-28 Microsoft Technology Licensing, Llc Multi-touch interactions on eyewear
US20140168057A1 (en) * 2012-12-13 2014-06-19 Qualcomm Incorporated Gyro aided tap gesture detection
KR102028761B1 (ko) * 2013-07-26 2019-10-04 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 헤드 마운티드 디스플레이 및 그 제어 방법
US20150347717A1 (en) * 2014-06-02 2015-12-03 Xerox Corporation Hybrid personal training system and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101179711A (zh) * 2006-11-07 2008-05-14 索尼株式会社 成像设备和成像方法
CN103891269A (zh) * 2011-10-25 2014-06-25 奥林巴斯株式会社 头戴式显示装置、信息终端、程序、信息存储介质、图像处理系统、头戴式显示装置的控制方法及信息终端的控制方法
CN103323950A (zh) * 2012-03-22 2013-09-25 精工爱普生株式会社 头部佩戴型显示装置

Also Published As

Publication number Publication date
KR101839441B1 (ko) 2018-03-16
JP2017531388A (ja) 2017-10-19
US9904359B2 (en) 2018-02-27
KR20160032817A (ko) 2016-03-25
US20160077651A1 (en) 2016-03-17
CN106796452A (zh) 2017-05-31
WO2016043515A1 (ko) 2016-03-24
JP6490804B2 (ja) 2019-03-27

Similar Documents

Publication Publication Date Title
CN106796452B (zh) 头戴式显示装置及其控制方法、计算机可读介质
US11157725B2 (en) Gesture-based casting and manipulation of virtual content in artificial-reality environments
US10712901B2 (en) Gesture-based content sharing in artificial reality environments
US10783712B2 (en) Visual flairs for emphasizing gestures in artificial-reality environments
US10257423B2 (en) Method and system for determining proper positioning of an object
KR101809636B1 (ko) 컴퓨터 장치의 원격 제어
CN104023802B (zh) 使用神经分析的电子装置的控制
US20170255256A1 (en) Head-mounted display controlled by sightline, method for controlling same, and computer program for controlling same
US20180364808A1 (en) Displacement oriented interaction in computer-mediated reality
KR20150129621A (ko) 원격 상호 작용을 위한 햅틱 피드백을 제공하는 시스템 및 방법
JP2022535315A (ja) 自己触覚型仮想キーボードを有する人工現実システム
JP2015166890A (ja) 情報処理装置、情報処理システム、情報処理方法及びプログラム
KR20150110257A (ko) 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스
US11009949B1 (en) Segmented force sensors for wearable devices
EP2857951B1 (en) Apparatus and method of using events for user interface
JP2022534639A (ja) 指マッピング自己触覚型入力方法を有する人工現実システム
TW201842432A (zh) 自動配置感測器的方法、電子設備及記錄媒體
WO2017021902A1 (en) System and method for gesture based measurement of virtual reality space
WO2021073743A1 (en) Determining user input based on hand gestures and eye tracking
TW201830050A (zh) 追蹤系統、追蹤裝置及追蹤方法
JP6535699B2 (ja) 情報処理方法、情報処理プログラム及び情報処理装置
JP2023525196A (ja) 滑りの影響を受けない視線追跡ユーザインターフェイス
KR101587263B1 (ko) 센싱장치 및 이를 구비한 스크린 사격 시뮬레이션 시스템
WO2024049463A1 (en) Virtual keyboard
JP2019091510A (ja) 情報処理方法、情報処理プログラム及び情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant