CN112912824A - 与头戴式显示器相连接的智能终端及用于其的控制方法 - Google Patents
与头戴式显示器相连接的智能终端及用于其的控制方法 Download PDFInfo
- Publication number
- CN112912824A CN112912824A CN201980070311.6A CN201980070311A CN112912824A CN 112912824 A CN112912824 A CN 112912824A CN 201980070311 A CN201980070311 A CN 201980070311A CN 112912824 A CN112912824 A CN 112912824A
- Authority
- CN
- China
- Prior art keywords
- head
- user
- mounted display
- intelligent terminal
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
- G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
- G06F2200/163—Indexing scheme relating to constructional details of the computer
- G06F2200/1636—Sensing arrangement for detection of a tap gesture on the housing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
Abstract
本发明为紧固在头戴式显示器(Head Mounted Display)来播放影像的智能终端，上述头戴式显示器佩戴在用户的头部，本发明的特征在于，智能终端包括动作控制模块，上述动作控制模块利用智能终端所包括的传感器或摄像头来识别预设的用户的行为，执行与用户的行为匹配的控制动作，智能终端利用动作控制模块来使用户在未摘下头戴式显示器的情况下控制智能终端，从而与头戴式显示器是否包括额外的控制单元无关地控制智能终端的动作。
Description
技术领域
本发明涉及智能终端，更详细地，涉及与头戴式显示器相连接的智能终端及用于其的控制方法。
背景技术
头戴式显示器(HMD，head mounted display)为佩戴在用户头部的显示装置。头戴式显示器使用3D眼镜技术，因此赋予立体感且具有宽广的视野角度，从而具有提高现场感和沉浸感的优点，因而用于实现虚拟现实或增强现实。
但是，头戴式显示器为遮挡眼睛并佩戴在头部的方式，因此，由于无法直接用眼睛观看外部情况而有可能发生安全问题。尤其，在不具备额外的控制单元，而是安装如智能手机的设备来使用的头戴式显示器的情况下，为了进行暂停影像等的操作而将面临需要摘下并带上头戴式显示器的麻烦。
因此，本发明的发明人为了解决上述问题，经过长时间的研究和反复试验后完成了本发明。
发明内容
技术问题
本发明为了解决上述问题而提出与头戴式显示器相连接的智能终端及用于其的控制方法。
另一方面，本发明的未明示的其他目的在可从以下的详细说明及其效果轻松推论的范围内考虑追加。
技术方案
本发明的第一实施方式提供与头戴式显示器(Head Mounted Display)相连接的智能终端，上述智能终端紧固在头戴式显示器来播放影像，上述头戴式显示器佩戴在用户的头部，上述与头戴式显示器相连接的智能终端的特征在于，智能终端包括动作控制模块，上述动作控制模块利用智能终端所包括的传感器或摄像头来识别预设的用户的行为，执行与用户的行为匹配的控制动作，智能终端利用动作控制模块来使用户在未摘下头戴式显示器的情况下控制智能终端，从而与头戴式显示器是否包括额外的控制单元无关地控制智能终端的动作。
在优选的实施例中，优选地，动作控制模块利用智能终端所包括的传感器来识别用户敲打头戴式显示器的行为并执行控制动作，控制动作包括播放影像、暂停播放、用户前方显示画面中的至少一个。
在优选的实施例中，优选地，动作控制模块还包括：菜单显示模块，若识别到用户的敲打行为，则在智能终端的显示器弹出用于控制智能终端的选择菜单；菜单选择模块，利用智能终端的传感器来检测用户的头部移动，根据头部的移动，使在选择菜单上移动的菜单选择点移动；以及动作选择模块，若识别到用户的敲打行为，则执行显示在菜单选择点所在的区域的动作。
在优选的实施例中，优选地，上述与头戴式显示器相连接的智能终端还包括：摄像头，在头戴式显示器前方拍摄用户的手势；以及手势存储部，用于存储用户的手势的形态及与手势形态匹配的控制动作的种类，动作控制模块利用摄像头模块来识别用户在头戴式显示器前方做出的手势，根据与存储于手势存储部的手势形态匹配的控制动作来控制智能终端。
本发明的第二实施方式提供与头戴式显示器相连接的智能终端的控制方法，其特征在于，包括：步骤(a)，紧固在头戴式显示器来播放影像的智能终端激活动作控制模块的步骤，上述头戴式显示器佩戴在用户的头部；步骤(b)，智能终端所包括的动作控制模块利用智能终端所包括的传感器来识别用户敲打头戴式显示器的行为或者利用摄像头来识别用户在头戴式显示器前方做出的手势的形态；以及步骤(c)，智能终端执行与用户的行为匹配的控制动作，智能终端通过执行上述步骤来使用户在未摘下头戴式显示器的情况下控制智能终端，从而与头戴式显示器是否包括额外的控制单元无关地控制智能终端的动作。
在优选的实施例中，优选地，步骤(b)还包括：若识别到用户敲打的行为，则在智能终端的显示器弹出用于控制智能终端的选择菜单的步骤；利用智能终端的传感器来检测用户的头部移动，根据头部的移动，使在选择菜单上移动的菜单选择点移动的步骤；以及若识别到用户的敲打行为，则执行显示在菜单选择点所在的区域的动作的步骤。
本发明的第三实施方式提供执行基于情况识别的危险应对的智能终端，上述智能终端紧固在头戴式显示器来播放影像，上述头戴式显示器佩戴在用户的头部，执行基于情况识别的危险应对的智能终端的特征在于，智能终端包括危险应对模块，利用智能终端所包括的摄像头来识别在用户的前方发生的危险情况，执行与危险情况匹配的控制动作，智能终端利用危险应对模块来使用户在未摘下头戴式显示器的情况下控制智能终端来掌握并应对危险情况。
在优选的实施例中，优选地，危险应对模块利用可设置于智能终端的后方来监控用户的前方的后方摄像头来识别在用户的前方出现的障碍物，若识别到用户前方的障碍物，则在智能终端所包括的显示部实时显示前方画面。
在优选的实施例中，优选地，智能终端还包括动作控制模块，上述动作控制模块利用智能终端所包括的传感器来识别用户敲打头戴式显示器的行为或者利用智能终端所包括的摄像头来识别用户在头戴式显示器前方做出的手势，执行作为与对应行为预先匹配的控制动作的播放影像、暂停播放、播放影像与前方画面之间的转换中的一个。
在优选的实施例中，优选地，在用户与障碍物之间的距离大于预设的基准距离的情况下，危险应对模块同时显示播放画面和前方画面，在距离接近预设的基准距离的情况下，中断播放画面，仅显示前方画面。
在优选的实施例中，优选地，危险应对模块在显示部的上下左右中，在障碍物出现的方向显示前方画面。
本发明的第四实施方式提供执行基于情况识别的危险应对的智能终端的控制方法，其特征在于，包括：步骤(a)，紧固在头戴式显示器来播放影像的智能终端激活可以监控用户的前方的后方摄像头及危险应对模块的步骤，上述头戴式显示器佩戴在用户的头部；步骤(b)，智能终端所包括的危险应对模块利用后方摄像头来识别在用户前方出现的障碍物的步骤；步骤(c)，若危险应对模块识别到障碍物，则在智能终端所包括的显示部实时显示前方画面的步骤，智能终端通过执行上述步骤来使用户在未摘下头戴式显示器的情况下识别用户前方是否出现障碍物并作出应对。
发明的效果
根据本发明的实施例，本发明可以有效地控制与头戴式显示器相连接的智能终端。
另一方面，即使存在在此并未明确提及的效果，通过本发明的技术特征期待的以下的说明书中记载的效果及其潜在效果也应被处理成本发明的说明书中所记载的效果。
附图说明
图1为示出利用本发明来在未摘下头戴式显示器的情况下控制智能终端的场景的示意图。
图2为示出本发明的智能终端的优选实施例的图。
图3为示出控制本发明的智能终端的动作的方法的优选实施例的图。
图4为示出识别本发明的危险情况的智能终端的控制方法的优选实施例的图。
附图是为了理解本发明的技术思想而作为参照例示，本发明的范围并不局限于此。
具体实施方式
在说明本发明的过程中，在判断为对相关的公知功能的说明使本发明的主旨不清楚的情况下，将省略对其的详细说明。
图1为示出利用本发明来在未摘下头戴式显示器的情况下控制智能终端的场景的示意图。
以下，在本发明的优选实施例中说明称头戴式显示器10为没有额外的显示部的形态，即，紧固智能终端来通过智能终端100的显示器播放影像，但本发明并不局限于此。例如，本发明可适用自身具备显示部的头戴式显示器10。这是因为若以下说明的智能终端的结构形成于头戴式显示器，则可以实现相同的动作。
如图1所示，用户正在佩戴头戴式显示器10欣赏包括虚拟现实的影像内容。例如，在欣赏过程中，用户可通过敲打头戴式显示器10的动作控制头戴式显示器10。若通过如本发明的动作控制头戴式显示器10，则即使在头戴式显示器并未安装额外的控制单元，也可以即可进行控制。并且，即使并未摘下头戴式显示器并触摸智能终端，也可以即可进行控制。即，可以与在头戴式显示器是否安装额外的控制单元无关以及与是否与将显示单元紧固在智能终端来使用无关地控制头戴式显示器10。
另一方面，在另一实施例中，在用户佩戴头戴式显示器10并欣赏包括虚拟现实的影像内容的过程中，智能终端通过自身的情况识别来检测危险情况并向用户告知危险情况。在优选实施例中，在智能终端100告知危险情况的方法中，利用可设置于智能终端的后方来监控用户的前方的后方摄像头来识别在用户的前方出现的障碍物，若识别到用户前方的障碍物，则在智能终端所包括的显示部实时显示前方画面。
若向用户通知危险情况，则用户可观察轻重来通过摘下头戴式显示器10或其他动作对应危险情况。
应对危险情况的动作基本上可以为摘下头戴式显示器10的动作，但本发明可以在未摘下头戴式显示器10的情况下应对危险情况。例如，可通过敲打头戴式显示器10的动作控制智能终端，由此可以即刻执行多种控制。例如，在房门突然被打开并有人将物品传递给自己的情况下，在智能终端显示前方画面。用户可以知道突发情况并非为危险情况，因此，无需摘下头戴式显示器10。在这种情况下，在用户敲打头戴式显示器10暂时停止影像之后，在依然带着头戴式显示器10的状态下接收所传递的物品并将其放在规定位置之后，可通过再次敲打头戴式显示器10来播放影像。
另一方面，虽然未图示，但本发明的头戴式显示器10为包括如下部件的装置：外壳；支撑单元，用于将外壳固定于头部；显示部(例如，智能终端)；以及框架，用于支撑显示部。并且，在本发明的头戴式显示器10中，说明了并不包括手握形态的额外的控制单元的情况，在包括控制单元的情况下也可适用本发明。
图2为示出本发明的智能终端的优选实施例的图。
如图2所示，本发明的智能终端100可包括传感器110、摄像头120、手势存储部130及动作控制模块140。
传感器110包括形成于智能终端的多个传感器。例如，传感器110可包括加速度传感器111及陀螺仪传感器113。加速度传感器111为在X、Y、X坐标上测定与智能手机的移动有关的加速度的传感器。陀螺仪传感器113为用于测定角速度的传感器。本发明的智能终端可以利用如加速度传感器111及陀螺仪传感器113的传感器110来检测预设的用户的行为，例如，敲打头戴式显示器的行为。
摄像头120为内置于智能终端来拍摄影像的装置，可以为安装于与智能终端的显示画面的相反面的后方摄像头。后方摄像头可以在头戴式显示器前方拍摄用户的手势。为此，在头戴式显示器的外壳中，后方摄像头所在的部分可以为开放的形态或者以可使后方摄像头拍摄用户的手势的方式处于半透明形态。
手势存储部130可存储用户的手势形态和与手势形态匹配的控制动作的种类。
动作控制模块140利用智能终端中所包括的传感器110或摄像头120来识别预设的用户的行为，并执行与用户的行为匹配的控制动作。如上所述，本发明的智能终端100利用动作控制模块140来在用户未摘下头戴式显示器的情况下控制智能终端，由此，与在头戴式显示器是否包括额外的控制单元无关地控制智能终端的动作。
动作控制模块140所识别的用户的行为可包括多种实施例。在优选的实施例中，动作控制模块140可利用智能终端所包括的传感器来识别用户敲打头戴式显示器的行为并执行控制动作。敲打行为可通过次数进一步被特定，例如，识别到敲打一次的行为有可能为错误动作，因此，可以将敲打两次的行为识别成一个行为。一个行为可以与多个控制动作匹配。例如，在播放影像过程中，若识别到敲打两次的行为，则中断播放(暂时停止)，在暂时停止过程中，若存在敲打两次的行为，则可以再次播放。如上所述，若可通过一个行为(例如，敲打两次)控制所有控制动作，则用户能够容易记忆并轻松控制。
另一方面，在另一实施例中，可根据敲打次数执行不同的控制动作。并且，可调节敲打间隔来执行其他控制动作。
控制动作可包括播放影像、暂停播放、用户前方显示画面中的至少一个。前方画面显示可通过在显示器画面显示后方摄像头的影像来使用户在未摘下头戴式显示器的情况下识别前方的情况。前方画面显示可以为整个画面或者一部分画面。
另一方面，在另一实施例中，动作控制模块140可包括菜单显示模块141、菜单选择模块143、动作选择模块145以及危险应对模块147。
若识别到用户的敲打行为，则菜单显示模块141在智能终端的显示器弹出用于控制智能终端的选择菜单。在选择菜单可重叠显示如影像的播放、暂停、后退、播放速度调节等的多个菜单。并且，菜单显示模块141可以将菜单选择点可视化在选择菜单，随着用户的头部移动，菜单选择点可以移动。
菜单选择模块143利用智能终端的传感器来检测用户的头部移动，根据头部的移动，使在选择菜单上移动的菜单选择点移动。即，若头部进行旋转，则菜单选择点在选择菜单上移动。
若识别到用户的敲打行为，则动作选择模块145执行在菜单选择点所在的区域显示的动作。
危险应对模块147可利用智能终端所包括的摄像头来识别在用户的前方发生的危险情况，可执行与危险情况匹配的控制动作。如上所述，本发明的智能终端可利用危险应对模块147来使用户在未摘下头戴式显示器的情况下控制智能终端，从而把握危险情况并作出应对。
在优选实施例中，危险应对模块147可利用设置于智能终端的后方来能够监控用户的前方的后方摄像头来识别在用户的前方出现的障碍物，若识别到用户前方的障碍物，则在智能终端所包括的显示部实时显示前方画面。
危险应对模块147显示前方画面的方法可包括多种实施例。在一实施例中，在用户与障碍物之间的距离大于预设的基准距离的情况下，危险应对模块147可同时显示播放画面和前方画面，在距离接近预设的基准距离的情况下，可中断播放画面并仅显示前方画面。如上所述，若根据危险情况的轻重来改变显示方法，则可以减少给用户带来的不便。另一方面，在另一实施例中，危险应对模块147可以在显示部的上下左右中，在障碍物出现的方向显示前方画面。如上所述，若从显示前方画面开始显示障碍物出现的方向，则用户可以更加能动地应对危险情况。例如，可以在不摘下头戴式显示器的情况下执行避开障碍物的动作。
另一方面，在另一实施例中，动作控制模块140可利用摄像头模块来识别用户在头戴式显示器前方做出的手势，可根据与存储于手势存储部130的手势形态匹配的控制动作来控制智能终端。例如，若用户握住拳头，则可以暂时停止影像内容的播放，若张开手掌，则可以再次播放影像内容。
图3为示出控制本发明的智能终端的动作的方法的优选实施例的图。
如图3所示，佩戴在用户头部的头戴式显示器与在头戴式显示器中播放影像的智能终端紧固之后，智能终端激活动作控制模块(步骤S1100)。
智能终端所包括的动作控制模块利用智能终端所包括的传感器来识别用户敲打头戴式显示器的行为或利用摄像头来识别用户在头戴式显示器前方做出的手势的形态(步骤S1200)。
智能终端执行与用户的行为匹配的控制动作(步骤S1300)。智能终端执行上述步骤来使用户在未摘下头戴式显示器的情况下控制智能终端，由此，与头戴式显示器是否包括额外的控制单元无关地控制智能终端的动作。
在一实施例中，本发明的智能终端依次识别如下的步骤来使用户通过头部移动来执行控制动作：在S1200中，若识别到用户的敲打行为，则在智能终端的显示器弹出用于控制智能终端的选择菜单的步骤；利用智能终端的传感器来检测用户的头部移动，根据头部的移动，使在选择菜单上移动的菜单选择点移动；以及若识别到用户敲打的行为，则执行在菜单选择点所在的区域显示的动作。
图4为示出识别本发明的危险情况的智能终端的控制方法的优选实施例的图。
如图4所示，紧固在头戴式显示器来播放影像的智能终端激活可以监控用户的前方的后方摄像头及危险应对模块，上述头戴式显示器佩戴在用户的头部(步骤S2100)。
智能终端所包括的危险应对模块利用后方摄像头来识别在用户的前方出现的障碍物(步骤S2200)。
危险应对模块识别到障碍物，则在智能终端所包括的显示部实时显示前方画面(步骤S2300)。
若用户识别到危险情况，则可以摘下头戴式显示器，但是可以在佩戴头戴式显示器的状态下，利用动作控制模块来控制智能手机。即，若用户执行预设的动作，例如，敲打行为，则动作控制模块识别用户的行为(步骤S2400)，执行与预设的用户的行为匹配的控制动作(步骤S2500)。
如上所述，本发明的智能终端通过执行上述步骤来使用户在未摘下头戴式显示器的情况下能够识别用户前方出现障碍物。
本发明的范围并不局限于以上明示性说明的实施例的记载及表现。并且，再次声明，本发明所属技术领域中的变更或置换并不限制本发明的保护范围。
Claims (6)
1.一种与头戴式显示器相连接的智能终端，上述智能终端紧固在头戴式显示器来播放影像，上述头戴式显示器佩戴在用户的头部，上述与头戴式显示器相连接的智能终端的特征在于，
智能终端包括动作控制模块，上述动作控制模块利用智能终端所包括的传感器或摄像头来识别预设的用户的行为，执行与用户的行为匹配的控制动作，
智能终端利用动作控制模块来使用户在未摘下头戴式显示器的情况下控制智能终端，从而与头戴式显示器是否包括额外的控制单元无关地控制智能终端的动作。
2.根据权利要求1所述的与头戴式显示器相连接的智能终端，其特征在于，
动作控制模块利用智能终端所包括的传感器来识别用户敲打头戴式显示器的行为并执行控制动作，
控制动作包括播放影像、暂停播放、用户前方显示画面中的至少一个。
3.根据权利要求2所述的与头戴式显示器相连接的智能终端，其特征在于，动作控制模块还包括：
菜单显示模块，若识别到用户的敲打行为，则在智能终端的显示器弹出用于控制智能终端的选择菜单；
菜单选择模块，利用智能终端的传感器来检测用户的头部移动，根据头部的移动，使在选择菜单上移动的菜单选择点移动；以及
动作选择模块，若识别到用户的敲打行为，则执行显示在菜单选择点所在的区域的动作。
4.根据权利要求1所述的与头戴式显示器相连接的智能终端，其特征在于，
还包括：
摄像头，在头戴式显示器前方拍摄用户的手势；以及
手势存储部，用于存储用户的手势的形态及与手势形态匹配的控制动作的种类，
动作控制模块利用摄像头模块来识别用户在头戴式显示器前方做出的手势，根据与存储于手势存储部的手势形态匹配的控制动作来控制智能终端。
5.一种与头戴式显示器相连接的智能终端的控制方法，其特征在于，
包括：
步骤(a)，紧固在头戴式显示器来播放影像的智能终端激活动作控制模块的步骤，上述头戴式显示器佩戴在用户的头部；
步骤(b)，智能终端所包括的动作控制模块利用智能终端所包括的传感器来识别用户敲打头戴式显示器的行为或者利用摄像头来识别用户在头戴式显示器前方做出的手势的形态；以及
步骤(c)，智能终端执行与用户的行为匹配的控制动作，
智能终端通过执行以上步骤来使用户在未摘下头戴式显示器的情况下控制智能终端，从而与头戴式显示器是否包括额外的控制单元无关地控制智能终端的动作。
6.根据权利要求5所述的与头戴式显示器相连接的智能终端的控制方法，其特征在于，步骤(b)还包括：
若识别到用户敲打的行为，则在智能终端的显示器弹出用于控制智能终端的选择菜单的步骤；
利用智能终端的传感器来检测用户的头部移动，根据头部的移动，使在选择菜单上移动的菜单选择点移动的步骤；以及
若识别到用户的敲打行为，则执行显示在菜单选择点所在的区域的动作的步骤。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2018-0127250 | 2018-10-24 | ||
| KR1020180127250A KR102242703B1 (ko) | 2018-10-24 | 2018-10-24 | 헤드 마운트 디스플레이에 연결된 스마트 단말 및 이를 위한 제어 방법 |
| PCT/KR2019/014085 WO2020085821A1 (ko) | 2018-10-24 | 2019-10-24 | 헤드 마운트 디스플레이에 연결된 스마트 단말 및 이를 위한 제어 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112912824A true CN112912824A (zh) | 2021-06-04 |
Family
ID=70331654
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980070311.6A Pending CN112912824A (zh) | 2018-10-24 | 2019-10-24 | 与头戴式显示器相连接的智能终端及用于其的控制方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11301667B2 (zh) |
| KR (1) | KR102242703B1 (zh) |
| CN (1) | CN112912824A (zh) |
| WO (1) | WO2020085821A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113407084A (zh) * | 2021-06-24 | 2021-09-17 | 杭州灵伴科技有限公司 | 展示内容更新方法、头戴式显示设备和计算机可读介质 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7039672B1 (ja) * | 2020-10-29 | 2022-03-22 | ソフトバンク株式会社 | 制御装置、プログラム、及び制御方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101302138B1 (ko) * | 2009-12-18 | 2013-08-30 | 한국전자통신연구원 | 착용형 컴퓨팅 환경 기반의 사용자 인터페이스 장치 및 그 방법 |
| KR102184402B1 (ko) * | 2014-03-06 | 2020-11-30 | 엘지전자 주식회사 | 글래스 타입의 이동 단말기 |
| KR101839441B1 (ko) * | 2014-09-17 | 2018-03-16 | (주)에프엑스기어 | 두드림에 의해 제어되는 헤드 마운트형 디스플레이 장치, 이의 제어 방법 및 이의 제어를 위한 컴퓨터 프로그램 |
| US9690374B2 (en) * | 2015-04-27 | 2017-06-27 | Google Inc. | Virtual/augmented reality transition system and method |
| KR102471302B1 (ko) * | 2015-07-07 | 2022-11-28 | 삼성전자 주식회사 | 헤드 마운트 디스플레이 장치 |
| KR102400383B1 (ko) * | 2015-10-23 | 2022-05-23 | 삼성전자 주식회사 | 전자 장치의 센서 데이터 획득 방법 및 이를 사용하는 전자 장치 |
| KR20170089228A (ko) * | 2016-01-26 | 2017-08-03 | 이재민 | 스마트 폰을 이용한 가상현실 헤드 마운트 디스플레이의 제어 방법 |
| KR20170099755A (ko) * | 2016-02-24 | 2017-09-01 | 주식회사 메타포트 | 보행 시뮬레이터용 ｈｍｄ |
| US9779605B1 (en) * | 2016-03-30 | 2017-10-03 | Sony Interactive Entertainment Inc. | Virtual reality proximity sensors |
| CN110476168B (zh) * | 2017-04-04 | 2023-04-18 | 优森公司 | 用于手部跟踪的方法和系统 |
-
2018
- 2018-10-24 KR KR1020180127250A patent/KR102242703B1/ko active IP Right Grant
-
2019
- 2019-10-24 WO PCT/KR2019/014085 patent/WO2020085821A1/ko active Application Filing
- 2019-10-24 US US17/288,136 patent/US11301667B2/en active Active
- 2019-10-24 CN CN201980070311.6A patent/CN112912824A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113407084A (zh) * | 2021-06-24 | 2021-09-17 | 杭州灵伴科技有限公司 | 展示内容更新方法、头戴式显示设备和计算机可读介质 |
| US11506904B1 (en) | 2021-06-24 | 2022-11-22 | Hangzhou Lingban Technology Co. Ltd. | Presentation content update method, head-mounted display, and computer-readable medium |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102242703B1 (ko) | 2021-04-21 |
| US11301667B2 (en) | 2022-04-12 |
| KR20200046301A (ko) | 2020-05-07 |
| WO2020085821A1 (ko) | 2020-04-30 |
| US20210312160A1 (en) | 2021-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6393367B2 (ja) | 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法 | |
| KR102473259B1 (ko) | 시선 타겟 애플리케이션 런처 | |
| CN104750249B (zh) | 一种信息处理方法及电子设备 | |
| EP3311249B1 (en) | Three-dimensional user input | |
| WO2022225761A1 (en) | Hand gestures for animating and controlling virtual and graphical elements | |
| US20170329488A1 (en) | Two-handed object manipulations in virtual reality | |
| CN107646098A (zh) | 用于在虚拟现实中跟踪手持式设备的系统 | |
| CN107810465A (zh) | 用于产生绘制表面的系统和方法 | |
| JP4413203B2 (ja) | 画像呈示装置 | |
| US11595637B2 (en) | Systems and methods for using peripheral vision in virtual, augmented, and mixed reality (xR) applications | |
| WO2013136333A1 (en) | Touch free user interface | |
| WO2013009482A2 (en) | Methods and systems for a virtual input device | |
| EP4157474A1 (en) | Interactive augmented reality experiences using positional tracking | |
| CN104423575B (zh) | 基于关注的呈现和保真度 | |
| EP3066543B1 (en) | Face tracking for additional modalities in spatial interaction | |
| US20220084303A1 (en) | Augmented reality eyewear with 3d costumes | |
| CN112912824A (zh) | 与头戴式显示器相连接的智能终端及用于其的控制方法 | |
| WO2014111947A1 (en) | Gesture control in augmented reality | |
| JPWO2017122270A1 (ja) | 画像表示装置 | |
| US20210406542A1 (en) | Augmented reality eyewear with mood sharing | |
| US20230214025A1 (en) | Gesture areas | |
| KR20170089228A (ko) | 스마트 폰을 이용한 가상현실 헤드 마운트 디스플레이의 제어 방법 | |
| JP2018151742A (ja) | 情報表示システム | |
| CN111258423B (zh) | 组件显示方法、装置、存储介质及增强现实显示设备 | |
| KR20230073336A (ko) | 가상 아이웨어 빔들을 사용한 증강 현실 게이밍 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |