CN106951080A - 用于控制虚拟物体的交互方法和装置 - Google Patents

用于控制虚拟物体的交互方法和装置 Download PDF

Info

Publication number
CN106951080A
CN106951080A CN201710158701.1A CN201710158701A CN106951080A CN 106951080 A CN106951080 A CN 106951080A CN 201710158701 A CN201710158701 A CN 201710158701A CN 106951080 A CN106951080 A CN 106951080A
Authority
CN
China
Prior art keywords
operating body
parameter
dummy object
condition
meets
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710158701.1A
Other languages
English (en)
Inventor
周运
刘云辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201710158701.1A priority Critical patent/CN106951080A/zh
Publication of CN106951080A publication Critical patent/CN106951080A/zh
Priority to US15/920,051 priority patent/US20180267688A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04802—3D-info-object: information is displayed on the internal or external surface of a three dimensional manipulable object, e.g. on the faces of a cube that can be rotated by the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种用于控制虚拟物体的交互方法和用户控制虚拟物体交互的装置。所述方法包括：检测操作体；判断所述操作体的第一参数；以及若所述第一参数满足第一条件，则响应所述操作体的动作，基于所述用户感知到的所述虚拟物体的位置和所述操作体的动作，对所述虚拟物体进行操作；或者若所述第一参数满足第二条件，则显示指示符，使用户感知所述指示符显示于所述虚拟物体所在的显示空间，并响应所述操作体的动作，通过所述指示符对所述虚拟物体进行控制。

Description

用于控制虚拟物体的交互方法和装置
技术领域
本公开涉及虚拟现实和/或增现实领域，具体地涉及一种用于控制虚拟物体的交互方法和装置。
背景技术
现有的增强现实(AR)和虚拟现实(VR)的眼镜或头显设备的手势交互方式基本分为两种：一种是“接触式交互”，即使用者直接去触碰显示在前方的虚拟界面或物体，达到自然操控的体验；另一种是“光标式交互”，即使用者并不去直接触碰虚拟界面，而是通过类似光标的指代物在虚拟界面上反映手指等操作题的位置，达到间接操控的效果。但是，“接触式交互”长时间操作可能会引起疲惫感，而“光标式交互”体验的真实性较弱，可见这两种交互方式都会带来用户体验不佳的问题。
发明内容
本公开的一个方面提供了一种用于控制虚拟物体的交互方法，包括：
检测操作体；
判断所述操作体的第一参数；以及
若所述第一参数满足第一条件，则响应所述操作体的动作，基于所述用户感知到的所述虚拟物体的位置和所述操作体的动作，对所述虚拟物体进行操作；或者若所述第一参数满足第二条件，则显示指示符，使用户感知所述指示符显示于所述虚拟物体所在的显示空间，并响应所述操作体的动作，通过所述指示符对所述虚拟物体进行控制。
可选地，所述操作体的第一参数包括操作体的类型：
当所述操作体的类型属于预设的第一类型时，所述操作体的第一参数满足第一条件；
当所述操作体的类型属于预设的第二类型时，所述操作体的第一参数满足第二条件。
可选地，所述操作体的第一参数包括操作体的姿态：
当所述操作体的姿态属于第一预设姿态时，所述操作体的第一参数满足第一条件；
当所述操作体的姿态属于第二预设姿态，所述操作体的第一参数满足第二条件。
可选地，所述操作体的第一参数包括所述操作体所在的位置：
当所述操作体位于虚拟物体所在的显示空间时，所述操作体的第一参数满足第一条件；
当所述操作体位于所述虚拟物体所在的显示空间之外时，所述操作体的第一参数满足第二条件。
可选地，所述第一参数满足第二条件，则显示指示符，包括：根据预设位置映射关系、所述操作体的第一位置确定所述操作体的第一位置被映射至所述虚拟物体所在的空间中的第二位置；以及，在所述第二位置处显示所述指示符。
本公开的另一个方面提供了一种用于控制虚拟物体的装置，包括：
检测单元，用于检测操作体；
处理单元，用于：
识别所述操作体的第一参数；以及
当所述第一参数满足第一条件时，响应所述操作体的动作，基于所述用户感知到的所述虚拟物体的位置和所述操作体的动作，对所述虚拟物体进行操作；或者当所述第一参数满足第二条件时显示指示符，使用户感知所述指示符显示于所述虚拟物体所在的空间，并响应所述操作体的动作，通过所述指示符对所述虚拟物体进行控制。
可选地，所述操作体的第一参数包括操作体的类型：
当所述操作体的类型属于预设的第一类型时，所述操作体的第一参数满足第一条件；
当所述操作体的类型属于预设的第二类型时，所述操作体的第一参数满足第二条件。
可选地，所述操作体的第一参数包括操作体的姿态：
当所述操作体的状态属于第一预设姿态时，所述操作体的第一参数满足第一条件；
当所述操作体的状态属于第二预设姿态时，所述操作体的第一参数满足第二条件。
可选地，所述操作体的第一参数包括所述操作体所在的位置：
当所述操作体位于虚拟物体所在的显示空间时，所述操作体的第一参数满足第一条件；
当所述操作体位于所述虚拟物体所在的显示空间之外时，所述操作体的第一参数满足第二条件。
可选地，所述处理单元在所述第一参数满足第二条件时显示指示符，包括：所述处理单元根据预设位置映射关系、所述操作体的第一位置确定所述操作体的第一位置被映射至所述虚拟物体所在的空间中的第二位置；以及所述处理单元在所述第二位置处显示所述指示符。
附图说明
为了更完整地理解本公开及其优势，现在将参考结合附图的以下描述，其中：
图1示意性示出了根据本公开一实施例的用于控制虚拟物体的交互方法的流程图；
图2a和图2b示意性示出了根据本公开各实施例的用于控制虚拟物体的交互方法的应用情景示意图；
图3示意性示出了根据本公开一实施例的用户控制虚拟物体的装置的框图。
具体实施方式
根据结合附图对本公开示例性实施例的以下详细描述，本公开的其它方面、优势和突出特征对于本领域技术人员将变得显而易见。
在本公开中，术语“包括”和“含有”及其派生词意为包括而非限制；术语“或”是包含性的，意为和/或。
在本说明书中，下述用于描述本公开原理的各种实施例只是说明，不应该以任何方式解释为限制公开的范围。参照附图的下述描述用于帮助全面理解由权利要求及其等同物限定的本公开的示例性实施例。下述描述包括多种具体细节来帮助理解，但这些细节应认为仅仅是示例性的。因此，本领域普通技术人员应认识到，在不背离本公开的范围和精神的情况下，可以对本文中描述的实施例进行多种改变和修改。此外，为了清楚和简洁起见，省略了公知功能和结构的描述。此外，贯穿附图，相同参考数字用于相似功能和操作。
根据本公开的各个实施例，提供了一种用于控制虚拟物体的交互方法，可以应用于虚拟现实或者增强现实的电子设备中。该方法包括检测操作体，然后判断操作体的第一参数，根据判断结果选择是通过操作体直接对用户感知到的虚拟物体进行操作控制，还是通过显示指示符来间接对用户感知到的虚拟物体进行操作控制，从而在控制虚拟物体方面实现了通过操作体直接交互和通过指示符间接交互的整合，使上述两种交互方式优势互补，方便用户在操作虚拟物体时根据需要灵活选择。
根据本公开的各个实施例，操作体的第一参数可以是操作体的类型，也可以使操作体的姿态，或者是操作体所在的位置等。
图1示意性示出了根据本公开一实施例的用于控制虚拟物体的交互方法的流程图。
如图1所示，根据本公开一实施例的用于控制虚拟物体的交互方法包括：
步骤S110：检测操作体；
步骤S120：判断所述操作体的第一参数，根据判断结果执行步骤S130-1或者步骤S130-2；
步骤S130-1：若所述第一参数满足第一条件，则响应所述操作体的动作，基于所述用户感知到的所述虚拟物体的位置和所述操作体的动作，对所述虚拟物体进行操作；
步骤S130-2：若所述第一参数满足第二条件，则显示指示符，使用户感知所述指示符显示于所述虚拟物体所在的显示空间，并响应所述操作体的动作，通过所述指示符对所述虚拟物体进行控制。
本实施例中，在对用户感知到的虚拟物体进行操作之前，先检测在当前的可检测的环境范围内中是否存在操作体。当检测到有操作体存在时，判断该操作体的第一参数是满足第一条件还是满足第二条件。当该操作体的第一参数满足第一条件时，响应于操作体的动作，基于用户感知到的虚拟物体的位置和操作体的动作，对虚拟物体直接进行操作。当操作体的第一参数满足第二条件时，则显示指示符，并且使用户感知到该指示符显示于虚拟物体所在的显示空间，进而可以通过指示符的变化或移动等来反映操作体的动作，从而通过指示符对虚拟物体进行控制，实现操作体对虚拟物体的间接控制。
通过本实施例的方法，对虚拟物体进行交互控制时，用户可以根据需要灵活选择是通过操作体直接操作，还是通过指示符进行间接控制。
通过操作体对虚拟物体进行直接操作时，一般需要操作体到达用户感知到的虚拟物体的位置，例如使用户感知到操作体与虚拟物体有接触，这样对用户而言会有比较真实地体验。但是单一的通过操作体直接对虚拟物体进行操作的方式，如果操作持续时间较长，由于需要来回走动以及通过手臂的伸缩带动操作体的移动，可能会造成疲劳感。同样的，单一的通过指示符来间接控制虚拟物体的方式，虽然不需要用户的频繁走动和手臂的伸缩，相对来说长时间操作会比较舒适不易产生疲劳，但是用户的体验真实性相对较弱。本实施例的方法整合了通过操作体对虚拟物体的直接操作方式，以及通过指示符对虚拟物体的间接控制方式，将以上两种方式结合起来，根据操作体的第一参数所满足的条件，方便用户灵活选择是通过操作体直接操作虚拟物体，还是通过指示符间接操作操作题，使用户根据使用意愿灵活选用不同的操作方式，提升了用户的操作体验。
检测操作体的手段和方式可以多种多样，例如，可以通过虚拟现实或者增强现实设备上的深度相机来捕捉进入深度相机拍摄范围内的操作体。
操作体可以是任何经过预先设置过的，能够被检测识别出，并且能够与虚拟物体进行交互的物体。
操作体的第一参数，可以是操作体本身的属性，或者是操作体的姿态，或者是操作体所在的位置。
操作体本身的属性可以是操作体的类型，例如操作体是手还是手柄。
操作体姿态可以是操作体所呈现出的样子，例如操作体是手时，操作体的第一参数可以是手的姿态，例如握拳、食指伸出、手张开、食指和拇指捏合等。
操作体所在的位置可以是，例如，操作体所在的位置与虚拟物体所在的显示空间的相对位置。其中，虚拟物体所在的显示空间是用户能够看到或者感知到的显示虚拟物体的空间范围。虚拟物体所在的显示空间一般由虚拟现实或增强现实的显示设备所在的位置及其显示范围确定。操作体所在的位置与虚拟物体所在的显示空间的相对位置可以包括，操作体位于虚拟物体所在的显示空间之内，或者操作位于虚拟物体所在的显示空间之外。
判断操作体的第一参数的方法可以根据操作体的第一参数的具体内容可以有多种不同的方法。例如，当操作体的第一参数是操作体的类型时，例如要判断操作体的第一参数是手还是手柄，可以通过温度传感设备，通过检测操作体的温度的分布和差异来判断操作体是手还是手柄，还可以直接通过图像识别设备识别出是手还是手柄，又或者，当手柄可以与设备传输信号时，可以通过检测是否有信号的传输来判断操作体是否是手柄。又例如，当操作体的第一参数是操作体的姿态时，具体地例如要判断操作体的第一参数是手握拳还是食指伸出，可以通过具有图像识别功能的设备进行分析判断。再例如，当操作体的第一参数是操作体的所在的位置时，可以通过判断操作体是否处于虚拟物体所在的显示空间内来判断。
第一条件可以包括预先设定的一个或者一组参数。将判断得到的操作体第一参数与第一条件进行匹配。当操作体的第一参数与第一条件相匹配时，则认为操作体的第一参数满足第一条件，反之，则认为操作体的第一参数不满足第一条件。
第二条件与第一条件类似，也包括预先设定的一个或者一组参数。但是第二条件与第一条件二者之间没有交集。
根据本公开一实施例，操作体的第一参数包括操作体的类型。具体地，当操作体的类型属于预设的第一类型时，操作体的第一参数满足第一条件；当操作体的类型属于预设的第二类型时，操作体的第一参数满足第二条件。
本实施例中，操作体的第一参数包括操作体的类型，例如操作体是手还是手柄等。
对操作体的类型进行划分，预设第一类型和第二类型。例如，可以预设第一类型为手，预设第二类型为手柄。当然，此处预设的第一类型和第二类型所对应的操作体的具体类型也可以互换，即可以预设第一类型为手柄，预设第二类型为手。不过，一般在虚拟现实或者增强现实中，考虑到用手与虚拟物体进行直接操作能带来更多的真实体验，更倾向于预设第一类型为手。
本实施例中，当判断操作体的第一参数属于预设的第一类型时，例如判断得到的操作体的第一参数为手，属于预设的第一类型，则可以确定操作体的第一参数满足第一条件。此时，则响应手的动作，基于用户感知到的虚拟物体的位置和手的动作，对虚拟物体进行操作。
本实施例中，当判断操作体的第一参数属于预设的第二类型时，例如判断得到的操作体的第一参数为手柄，属于预设的第二类型，则可以确定操作体的第一参数满足第二条件。此时，则显示指示符，并使用户感知到该指示符显示于虚拟物体所在的显示空间。根据操作体(即手柄)的动作，通过该指示符对虚拟物体进行控制。
本实施例根据操作体的类型，区分对虚拟物体是通过操作体直接操作还是通过指示符间接控制，为用户进行虚拟物体控制时，提供了多种操作体选择，并且方便了用户进行虚拟物体控制方式的切换。
根据本公开的另一实施例，操作体的第一参数包括操作体的姿态。具体的，当操作体的姿态属于第一预设姿态时，操作体的第一参数满足第一条件；当操作体的姿态属于第二预设姿态，操作体的第一参数满足第二条件。
本实施例中，操作体的第一参数包括操作体的姿态，例如是食指伸出、握拳、两手指捏合等其他姿态。
可以根据操作体可能呈现的状态以及操作的需要设置第一预设姿态和第二预设姿态。例如，第一预设姿态可以包括食指伸出、两手指捏合等，预设的第二预设姿态可以包括握拳等。这样，当用户食指伸出时，则表明用户想要对感知到的虚拟物体通过食指进行接触式交互。当用户握拳时，则表明用户想要对其感知到的虚拟物体通过指示符进行间接控制。
本实施例的方法，用户在控制自己感知到的近处的虚拟物体时，可以使操作体呈现为第一预设姿态，这样可以方便用户对感知到的虚拟物体通过操作体的动作直接进行操作。而对于用户感知到的离自己较远的虚拟物体，如果不需要或者用户不愿意直接用手去接触控制时，就可以通过使操作体的姿态变换为第二预设姿态的方式，通过指示符远程控制这些用户感知到的离自己较远的虚拟物体，极大地提高了用户操作的舒适度和体验的真实性。
本实施例的方法，用户只需要将操作体的姿态在第一预设姿态和第二预设姿态之间进行变换，就可以快捷地实现通过操作体操作虚拟物体和通过指示符间接控制虚拟物体两种方式的切换，提高了两种方式切换的快捷性，提高了用户体验。
根据本公开的再一实施例，操作体的第一参数包括操作体所在的位置。具体的，当操作体位于虚拟物体所在的显示空间时，操作体的第一参数满足第一条件；当操作体位于虚拟物体所在的显示空间之外时，操作体的第一参数满足第二条件。
本实施例中，操作体的的第一参数包括操作体的位置，例如操作体相对于虚拟物体所在的显示空间的位置。其中，虚拟物体所在的显示空间是用户能够看到或者感知到的显示虚拟物体的空间范围。虚拟物体所在的显示空间一般由虚拟现实或增强现实的显示设备所在的位置及其显示范围确定。操作体所在的位置与虚拟物体所在的显示空间的相对位置可以包括，操作体位于虚拟物体所在的显示空间之内，或者操作位于虚拟物体所在的显示空间之外。
当操作体位于虚拟物体所在的显示空间时，操作体的第一参数满足第一条件，此时，响应于操作体的动作，基于用户感知到的虚拟物体的位置和操作体的动作对虚拟物体进行操作。
当操作体位于虚拟物体所在的显示空间之外时，操作体的第一参数满足第二条件，此时，则显示指示符，使用户感知到指示符显示于虚拟物体所在的显示空间，并响应操作体的动作，通过指示符对虚拟物体进行控制。
本实施例中，当用户想要通过操作体直接对虚拟物体进行操作时，可以将操作体置于虚拟物体所在的显示空间，这样用户在感知到虚拟物体的同时也能够感知到操作体的动作，体验比较真实。同样的，为了避免用户长时间操作的疲劳，用户可以选择在需要的时候将操作体置于虚拟物体所在的显示空间之外，此时通过感知到的指示符对虚拟物体进行控制。在这种方式下，只判断操作体的位置是否位于虚拟物体所在的显示空间内，而无需关心操作体的种类或者操作体的姿态。
根据本公开的各个实施例的用于控制控制虚拟物体的交互方法，其中当操作体的第一参数满足第二条件时，则显示指示符，具体包括：根据预设位置映射关系、操作体的第一位置确定该操作体的第一位置被映射至虚拟物体所在的空间中的第二位置。
当操作体的第一参数满足第二条件时，则显示指示符。其中，指示符的具体显示位置，根据操作体所在的空间与虚拟物体所在的显示空间之间的预设位置映射关系以及将操作体的第一位置来确定，也就是说，本实施例中根据操作体所在的空间与虚拟物体所在的显示空间之间的预设位置映射关系将所述操作体的第一位置映射至虚拟物体所在的显示空间中的对应位置，并在该对应位置显示指示符。对此，例如，可以参见图2b的示例。
图2a和图2b示意性示出了根据本公开各实施例的用于控制虚拟物体的交互方法的应用情景示意图，更具体地，图2a和图2b显示的是操作体的第一参数为操作体所在的位置时用于控制虚拟物体的交互的示例。
其中，图2a的示例中，操作体211位于虚拟物体所在的显示空间之内，第一参数满足第一条件，则响应操作体211的动作，基于用户感知到的虚拟物体的位置和操作体211的动作，对虚拟物体进行操作。
图2b的示例中，操作体221位于虚拟物体所在的显示空间之外，操作体的221第一参数满足第二条件，则显示指示符222，通过指示符222对虚拟物体进行控制。其中，指示符222的位置是根据操作体221所在的空间区域(即虚拟物体所在的显示空间之外、深度相机等检测设备的检测范围之内的空间)与虚拟物体所在的显示空间的位置映射关系，将操作体221的位置映射至虚拟物体所在的显示空间而得到的，即当前图2中的指示符222的位置。
由于操作体221所在的空间区域(即虚拟物体所在的显示空间之外、深度相机等检测设备的检测范围之内的空间)与虚拟物体所在的显示空间之间具有位置映射关系，因此，操作体221的移动会引起指示符222在虚拟物体所在的显示空间中的同步移动，以此方式，用户可以控制指示符222的位置，通过指示符222来控制虚拟物体。
图2中示例的操作体的第一参数是操作体所在的位置，仅是为了便于说明。对应的，当操作体的第一参数是操作体的类型或者操作体的姿态时，其应用情景与图2所示类似，此处就不再赘述。
图3示意性示出了根据本公开一实施例的用户控制虚拟物体的装置的框图。
如图3所示，根据本公开一实施例的用户控制虚拟物体的装置300包括检测单元310和处理单元320。其中，检测单元310用于检测操作体，处理单元310用于识别该操作体的第一参数：用于当该第一参数满足第一条件时，响应该操作体的动作，基于该用户感知到的该虚拟物体的位置和该操作体的动作，对该虚拟物体进行操作；或者，用于当该第一参数满足第二条件时显示指示符，使用户感知该指示符显示于该虚拟物体所在的空间，并响应该操作体的动作，通过该指示符对该虚拟物体进行控制。
本实施例中，检测单元310检测在当前的可检测的环境范围内是否存在操作体。当检测单元310检测到有操作体存在时，由处理单元320识别该操作体的第一参数是满足第一条件还是满足第二条件。当该操作体的第一参数满足第一条件时，处理单元320则响应于操作体的动作，基于用户感知到的虚拟物体的位置和操作体的动作，对虚拟物体直接进行操作。当该操作体的第一参数满足第二条件时，处理单元320则显示指示符，并且使用户在虚拟物体所在的显示空间中感知到指示符的存在，进而可以通过指示符的显示状态变化等来反映操作体的动作，从而通过指示符对虚拟物体进行控制，实现操作体对虚拟物体的间接控制。
本实施例的装置300，整合了通过操作体对虚拟物体的直接操作方式，和通过指示符对虚拟物体的间接控制方式。
本实施例中通过处理单元320对操作体的第一参数进行识别后分类处理，将以上两种方式结合起来，方便用户根据需要选择合适的操作体的第一参数，进而选择是通过操作体直接操作虚拟物体，还是通过指示符间接操作操作体。通过这种方式，装置300能够使用户根据使用意愿灵活选用不同的操作方式，提升了用户的操作体验。
检测单元310可以是，例如虚拟现实或者增强现实设备上的深度相机，可以捕捉进入深度相机拍摄范围内的操作体，其中深度相机的捕捉范围覆盖了用户感知到的虚拟物体所在的显示空间。
操作体可以是任何经过预先设置过的，能够被检测识别出，并且能够与虚拟物体进行交互的物体，例如，手、手柄等。
操作体的第一参数，可以是操作体本身的属性，或者是操作体的姿态，或者是操作体所在的位置。
处理单元320可以将识别的操作体的第一参数与第一条件和第二条件进行匹配。当操作体的第一参数与第一条件相匹配时，则认为操作体的第一参数满足第一条件，反之，则认为操作体的第一参数不满足第一条件。
第一条件可以预先设定的一个或者一组参数。第二条件与第一条件类似，也包括预先设定的预先设定的一个或者一组参数。并且第二条件与第一条件二者之间没有交集。
根据本公开一实施例，处理单元300识别的操作体的第一参数包括操作体的类型。具体地，当操作体的类型属于预设的第一类型时，操作体的第一参数满足第一条件；当操作体的类型属于预设的第二类型时，操作体的第一参数满足第二条件。
本实施例中，处理单元320识别的操作体的第一参数包括操作体的类型，例如操作体是手还是手柄等。
在处理单元320中预设第一类型和第二类型。例如，可以预设第一类型为手，预设第二类型为手柄。当然，此处预设的第一类型和第二类型所对应的操作体的具体类型也可以互换，即可以预设第一类型为手柄，预设第二类型为手。不过，一般在虚拟现实或者增强现实中，考虑到用手与虚拟物体进行直接操作能带来更多的真实体验，更倾向于预设第一类型为手。
本实施例中，当处理单元320识别的操作体的第一参数属于预设的第一类型时，例如处理单元320识别得到的操作体的第一参数为手，属于预设的第一类型，则可以确定操作体的第一参数满足第一条件。此时，处理单元320进一步响应手的动作，基于用户感知到的虚拟物体的位置和手的动作，对虚拟物体进行操作。
本实施例中，当处理单元320识别的操作体的第一参数属于预设的第二类型时，例如处理单元320识别的操作体的第一参数为手柄，属于预设的第二类型，则可以确定操作体的第一参数满足第二条件。此时，处理单元320进一步地用于显示指示符，并使用户感知到该指示符显示于虚拟物体所在的显示空间，根据操作体(即手柄)的动作，通过该指示符对虚拟物体进行控制。
本实施例中处理单元320根据操作体的类型，区分对虚拟物体是通过操作体直接操作还是通过指示符间接控制，为用户进行虚拟物体控制时，提供了多种操作体选择，并且方便了用户进行虚拟物体控制方式的切换。
根据本公开的另一实施例，处理单元300识别的操作体的第一参数包括操作体的姿态。具体的，当操作体的姿态属于第一预设姿态时，操作体的第一参数满足第一条件；当操作体的姿态属于第二预设姿态，操作体的第一参数满足第二条件。
本实施例中，处理单元320识别的操作体的第一参数包括操作体的姿态，例如是食指伸出、握拳、两手指捏合等其他姿态。
处理单元320可以根据操作体可能呈现的状态以及操作的需要设置第一预设姿态和第二预设姿态。例如，可以设置第一预设姿态包括食指伸出、两手指捏合等，可以设置第二预设姿态包括握拳等。这样，当处理单元320识别出是食指伸出时，处理单元320就会基于用户感知到的虚拟物体的位置和用户食指伸出的手的动作，对虚拟物体进行操作。当处理单元320识别出是握拳时，处理单元320则显示指示符，并且使用户感知该指示符显示于虚拟物体所在的空间，并响应握拳的手的动作，通过指示符对虚拟物体进行控制
本实施例的装置300，可以方便用户通过将操作体的姿态进行变换从而切换对虚拟物体的控制方式。例如，用户可以在控制自己感知到的近处的虚拟物体时，可以使操作体呈现为第一预设姿态，这样可以方便用户对感知到的虚拟物体通过操作体的动作直接进行操作。而对于用户感知到的离自己较远的虚拟物体，如果不需要或者用户不愿意直接用手去接触控制时，就可以通过使操作体的姿态变换为第二预设姿态的方式，通过指示符远程控制这些用户感知到的离自己较远的虚拟物体，极大地提高了用户操作的舒适度和体验的真实性。
本实施例的装置300，使得用户将操作体的姿态在第一预设姿态和第二预设姿态之间进行变换，就可以快捷地实现通过操作体操作虚拟物体和通过指示符间接控制虚拟物体两种方式的切换，提高了两种方式切换的快捷性，提升了用户体验。
根据本公开的再一实施例，处理单元300识别的操作体的第一参数包括操作体所在的位置。具体的，当操作体位于虚拟物体所在的显示空间时，操作体的第一参数满足第一条件；当操作体位于虚拟物体所在的显示空间之外时，操作体的第一参数满足第二条件。
本实施例的装置300中，处理单元320识别的操作体的的第一参数包括操作体的位置，例如操作体所在的位置与虚拟物体所在的显示空间的相对位置。其中，虚拟物体所在的显示空间是用户能够看到或者感知到的显示虚拟物体的空间范围。虚拟物体所在的显示空间一般由虚拟现实或增强现实的显示设备所在的位置及其显示范围确定。操作体所在的位置与虚拟物体所在的显示空间的相对位置可以包括，操作体位于虚拟物体所在的显示空间之内，或者操作位于虚拟物体所在的显示空间之外。
当操作体位于虚拟物体所在的显示空间时，操作体的第一参数满足第一条件，此时，处理单元320响应于操作体的动作，基于用户感知到的虚拟物体的位置和操作体的动作对虚拟物体进行操作。
当操作体位于虚拟物体所在的显示空间之外时，操作体的第一参数满足第二条件，此时，处理单元320显示指示符，使用户感知到该显示符显示于虚拟物体所在的显示空间，并响应该操作体的动作，通过指示符对虚拟物体进行控制。
本实施例的装置300，能够使用户想要通过操作体直接对虚拟物体进行操作时，可以将操作体置于虚拟物体所在的显示空间，这样用户在感知到虚拟物体的同时也能够感知到操作体的动作，体验比较真实。同样的，为了避免用户长时间操作的疲劳，用户可以选择在需要的时候将操作体置于虚拟物体所在的显示空间之外，此时通过感知到的指示符对虚拟物体进行控制。在这种方式下，只判断操作体的位置是否位于虚拟物体所在的显示空间内，而无需关心操作体的种类或者操作体的姿态。
根据本公开的各个实施例的用于控制虚拟物体的装置300，处理单元320在当第一参数满足第二条件时显示指示符，包括：该处理单元根据预设位置映射关系、该操作体的第一位置确定该操作体的第一位置被映射至该虚拟物体所在的空间中的第二位置；该处理单元在该第二位置处显示该指示符。
处理单元320在当第一参数满足第二条件时显示指示符。其中，处理单元320显示的指示符的具体位置，根据操作体所在的空间与虚拟物体所在的显示空间之间的预设位置映射关系、将操作体的第一位置映射至虚拟物体所在的显示空间中的对应位置，并在该对应位置显示指示符。这样，指示符的位置就和操作体的位置建立起了对应关系。当需要移动指示符的位置时，用户就可以通过改变操作体的位置，同步地实现指示符在虚拟物体所在的显示空间中的位置变化。
根据本公开各实施例的上述方法、装置、单元和/或模块可以通过有计算能力的电子设备执行包含计算机指令的软件来实现。该系统可以包括存储设备，以实现上文所描述的各种存储。所述有计算能力的电子设备可以包含通用处理器、数字信号处理器、专用处理器、可重新配置处理器等能够执行计算机指令的装置，但不限于此。执行这样的指令使得电子设备被配置为执行根据本公开的上述各项操作。上述各设备和/或模块可以在一个电子设备中实现，也可以在不同电子设备中实现。这些软件可以存储在计算机可读存储介质中。计算机可读存储介质存储一个或多个程序(软件模块)，所述一个或多个程序包括指令，当电子设备中的一个或多个处理器执行所述指令时，所述指令使得电子设备执行本公开的方法。
这些软件可以存储为易失性存储器或非易失性存储装置的形式(比如类似ROM等存储设备)，不论是可擦除的还是可重写的，或者存储为存储器的形式(例如RAM、存储器芯片、设备或集成电路)，或者被存储在光可读介质或磁可读介质上(比如，CD、DVD、磁盘或磁带等等)。应该意识到，存储设备和存储介质是适于存储一个或多个程序的机器可读存储装置的实施例，所述一个程序或多个程序包括指令，当所述指令被执行时，实现本公开的实施例。实施例提供程序和存储这种程序的机器可读存储装置，所述程序包括用于实现本公开的任何一项权利要求所述的装置或方法的代码。此外，可以经由任何介质(比如，经由有线连接或无线连接携带的通信信号)来电传递这些程序，多个实施例适当地包括这些程序。
根据本公开各实施例的方法、装置、单元和/或模块还可以使用例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC)或可以以用于对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式的适当组合来实现。该系统可以包括存储设备，以实现上文所描述的存储。在以这些方式实现时，所使用的软件、硬件和/或固件被编程或设计为执行根据本公开的相应上述方法、步骤和/或功能。本领域技术人员可以根据实际需要来适当地将这些系统和模块中的一个或多个，或其中的一部分或多个部分使用不同的上述实现方式来实现。这些实现方式均落入本公开的保护范围。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (10)

1.一种用于控制虚拟物体的交互方法，包括：
检测操作体；
判断所述操作体的第一参数；以及
若所述第一参数满足第一条件，则响应所述操作体的动作，基于所述用户感知到的所述虚拟物体的位置和所述操作体的动作，对所述虚拟物体进行操作；或者若所述第一参数满足第二条件，则显示指示符，使用户感知所述指示符显示于所述虚拟物体所在的显示空间，并响应所述操作体的动作，通过所述指示符对所述虚拟物体进行控制。
2.如权利要求1所述的交互方法，其中，所述操作体的第一参数包括操作体的类型：
当所述操作体的类型属于预设的第一类型时，所述操作体的第一参数满足第一条件；
当所述操作体的类型属于预设的第二类型时，所述操作体的第一参数满足第二条件。
3.如权利要求1所述的交互方法，其中所述操作体的第一参数包括操作体的姿态：
当所述操作体的姿态属于第一预设姿态时，所述操作体的第一参数满足第一条件；
当所述操作体的姿态属于第二预设姿态，所述操作体的第一参数满足第二条件。
4.如权利要求1所述的交互方法，其中所述操作体的第一参数包括所述操作体所在的位置：
当所述操作体位于虚拟物体所在的显示空间时，所述操作体的第一参数满足第一条件；
当所述操作体位于所述虚拟物体所在的显示空间之外时，所述操作体的第一参数满足第二条件。
5.如权利要求1～4任一项所述的交互方法，其中所述第一参数满足第二条件，则显示指示符，包括：
根据预设位置映射关系、所述操作体的第一位置确定所述操作体的第一位置被映射至所述虚拟物体所在的空间中的第二位置；
在所述第二位置处显示所述指示符。
6.一种用于控制虚拟物体的装置，包括：
检测单元，用于检测操作体；
处理单元，用于；
识别所述操作体的第一参数；以及
当所述第一参数满足第一条件时，响应所述操作体的动作，基于所述用户感知到的所述虚拟物体的位置和所述操作体的动作，对所述虚拟物体进行操作；或者当所述第一参数满足第二条件时显示指示符，使用户感知所述指示符显示于所述虚拟物体所在的空间，并响应所述操作体的动作，通过所述指示符对所述虚拟物体进行控制。
7.如权利要求6所述的装置，其中，所述操作体的第一参数包括操作体的类型：
当所述操作体的类型属于预设的第一类型时，所述操作体的第一参数满足第一条件；
当所述操作体的类型属于预设的第二类型时，所述操作体的第一参数满足第二条件。
8.如权利要求6所述的装置，其中，所述操作体的第一参数包括操作体的姿态：
当所述操作体的状态属于第一预设姿态时，所述操作体的第一参数满足第一条件；
当所述操作体的状态属于第二预设姿态时，所述操作体的第一参数满足第二条件。
9.如权利要求6所述的装置，其中，所述操作体的第一参数包括所述操作体所在的位置：
当所述操作体位于虚拟物体所在的显示空间时，所述操作体的第一参数满足第一条件；
当所述操作体位于所述虚拟物体所在的显示空间之外时，所述操作体的第一参数满足第二条件。
10.如权利要求6～9任一项所述的装置，其中所述处理单元在所述第一参数满足第二条件时显示指示符，包括：
所述处理单元根据预设位置映射关系、所述操作体的第一位置确定所述操作体的第一位置被映射至所述虚拟物体所在的空间中的第二位置；以及
所述处理单元在所述第二位置处显示所述指示符。
CN201710158701.1A 2017-03-16 2017-03-16 用于控制虚拟物体的交互方法和装置 Pending CN106951080A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710158701.1A CN106951080A (zh) 2017-03-16 2017-03-16 用于控制虚拟物体的交互方法和装置
US15/920,051 US20180267688A1 (en) 2017-03-16 2018-03-13 Interaction method and device for controlling virtual object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710158701.1A CN106951080A (zh) 2017-03-16 2017-03-16 用于控制虚拟物体的交互方法和装置

Publications (1)

Publication Number Publication Date
CN106951080A true CN106951080A (zh) 2017-07-14

Family

ID=59472580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710158701.1A Pending CN106951080A (zh) 2017-03-16 2017-03-16 用于控制虚拟物体的交互方法和装置

Country Status (2)

Country Link
US (1) US20180267688A1 (zh)
CN (1) CN106951080A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108543309A (zh) * 2018-04-03 2018-09-18 网易（杭州）网络有限公司 在增强现实中控制虚拟控制对象移动的方法、装置及终端
CN108664124A (zh) * 2018-05-08 2018-10-16 北京奇艺世纪科技有限公司 一种基于空间方位信息的控制方法及装置
CN108671539A (zh) * 2018-05-04 2018-10-19 网易（杭州）网络有限公司 目标对象交互方法及装置、电子设备、存储介质
CN110874132A (zh) * 2018-08-29 2020-03-10 塔普翊海（上海）智能科技有限公司 头戴式虚实交互装置和虚实交互方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10515484B1 (en) * 2017-10-20 2019-12-24 Meta View, Inc. Systems and methods to facilitate interactions with virtual content in an interactive space using visual indicators
CN112764619B (zh) * 2021-01-22 2023-03-21 联想(北京)有限公司 一种窗口控制方法及电子设备
CN113223344B (zh) * 2021-05-25 2022-08-23 湖南汽车工程职业学院 一种基于大数据的艺术设计用专业教学展示系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102915114A (zh) * 2012-09-05 2013-02-06 广东威创视讯科技股份有限公司 Ppt远程控制方法
US20130293486A1 (en) * 2010-09-01 2013-11-07 Exent Technologies, Ltd. Touch-based remote control
CN104011629A (zh) * 2011-10-14 2014-08-27 欧特克公司 用于能够进行基于触摸的输入的用户界面的经增强的目标选择
CN105278668A (zh) * 2014-12-16 2016-01-27 维沃移动通信有限公司 移动终端的控制方法及移动终端

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009035705A1 (en) * 2007-09-14 2009-03-19 Reactrix Systems, Inc. Processing of gesture-based user interactions
US20110102570A1 (en) * 2008-04-14 2011-05-05 Saar Wilf Vision based pointing device emulation
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
US9529424B2 (en) * 2010-11-05 2016-12-27 Microsoft Technology Licensing, Llc Augmented reality with direct user interaction
US9459697B2 (en) * 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130293486A1 (en) * 2010-09-01 2013-11-07 Exent Technologies, Ltd. Touch-based remote control
CN104011629A (zh) * 2011-10-14 2014-08-27 欧特克公司 用于能够进行基于触摸的输入的用户界面的经增强的目标选择
CN102915114A (zh) * 2012-09-05 2013-02-06 广东威创视讯科技股份有限公司 Ppt远程控制方法
CN105278668A (zh) * 2014-12-16 2016-01-27 维沃移动通信有限公司 移动终端的控制方法及移动终端

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108543309A (zh) * 2018-04-03 2018-09-18 网易（杭州）网络有限公司 在增强现实中控制虚拟控制对象移动的方法、装置及终端
WO2019192270A1 (zh) * 2018-04-03 2019-10-10 网易（杭州）网络有限公司 在增强现实中控制虚拟控制对象移动的方法、装置及终端
US11504624B2 (en) 2018-04-03 2022-11-22 Netease (Hangzhou) Network Co., Ltd. Method and apparatus for controlling movement of virtual object in augmented reality, and terminal
CN108671539A (zh) * 2018-05-04 2018-10-19 网易（杭州）网络有限公司 目标对象交互方法及装置、电子设备、存储介质
CN108664124A (zh) * 2018-05-08 2018-10-16 北京奇艺世纪科技有限公司 一种基于空间方位信息的控制方法及装置
CN108664124B (zh) * 2018-05-08 2021-08-24 北京奇艺世纪科技有限公司 一种基于空间方位信息的控制方法及装置
CN110874132A (zh) * 2018-08-29 2020-03-10 塔普翊海（上海）智能科技有限公司 头戴式虚实交互装置和虚实交互方法

Also Published As

Publication number Publication date
US20180267688A1 (en) 2018-09-20

Similar Documents

Publication Publication Date Title
CN106951080A (zh) 用于控制虚拟物体的交互方法和装置
Sanna et al. A Kinect-based natural interface for quadrotor control
CN104602868B (zh) 用于机器人训练的用户接口
US8031175B2 (en) Touch sensitive remote control system that detects hand size characteristics of user and adapts mapping to screen display
CN107837531A (zh) 信息处理方法、装置、电子设备及存储介质
KR102051309B1 (ko) 지능형 인지기술기반 증강현실시스템
CN106462132A (zh) 自动化界面
CN104781781B (zh) 一种移动物体的控制方法、装置及移动设备
CN108789403A (zh) 操作装置、机器人系统以及操作方法
CN104199547B (zh) 一种虚拟触屏操作装置、系统及方法
CN106247561A (zh) 一种空调及其远程控制方法和装置
CN104503275A (zh) 基于手势的非接触式控制方法及其设备
CN108604086A (zh) 家庭自动化系统
CN107037736A (zh) 智能家居系统的联动控制方法、红外感应器及智能网关
CN105302021A (zh) 人机协作再制造中控制机器人运动的穿戴式手势控制装置
CN104881122A (zh) 一种体感交互系统激活方法、体感交互方法及系统
CN104199548B (zh) 一种三维人机交互操作装置、系统及方法
US20180067562A1 (en) Display system operable in a non-contact manner
CN106843504A (zh) Vr环境与现实环境实现真实交互的触感手套及交互方法
CN107239222A (zh) 一种触摸屏的操控方法及终端设备
CN104915003A (zh) 一种体感控制参数调整的方法、体感交互系统及电子设备
CN106354246A (zh) 一种终端显示控制方法、装置及终端
CN107111391A (zh) 通过不透明覆盖件来操作的设备和系统
CN109801709A (zh) 一种用于虚拟环境的手部姿态捕捉与健康状态感知的系统
JP3138145U (ja) 脳トレーニング装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170714