CN117784926A - 控制装置、控制方法和计算机可读存储介质 - Google Patents
控制装置、控制方法和计算机可读存储介质 Download PDFInfo
- Publication number
- CN117784926A CN117784926A CN202311268649.7A CN202311268649A CN117784926A CN 117784926 A CN117784926 A CN 117784926A CN 202311268649 A CN202311268649 A CN 202311268649A CN 117784926 A CN117784926 A CN 117784926A
- Authority
- CN
- China
- Prior art keywords
- hand
- input operation
- input
- control
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000010365 information processing Effects 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims description 59
- 238000013507 mapping Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000036544 posture Effects 0.000 description 57
- 210000003811 finger Anatomy 0.000 description 22
- 210000004247 hand Anatomy 0.000 description 13
- 238000003825 pressing Methods 0.000 description 13
- 239000002131 composite material Substances 0.000 description 11
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000008094 contradictory effect Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 210000000707 wrist Anatomy 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 210000003813 thumb Anatomy 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- VLCQZHSMCYCDJL-UHFFFAOYSA-N tribenuron methyl Chemical compound COC(=O)C1=CC=CC=C1S(=O)(=O)NC(=O)N(C)C1=NC(C)=NC(OC)=N1 VLCQZHSMCYCDJL-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/033—Indexing scheme relating to G06F3/033
- G06F2203/0331—Finger worn pointing device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Computer Hardware Design (AREA)
- Position Input By Displaying (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供控制装置、控制方法和计算机可读存储介质。该控制装置包括：接收单元，其被配置为能够接收利用作为可穿戴型装置的操作装置的输入操作以及利用手追踪的输入操作；以及确定单元，其被配置为在同时接收到利用所述操作装置的输入操作和利用所述手追踪的输入操作的情况下，基于预先设置的优先级，来确定采用利用所述操作装置的输入操作和利用所述手追踪的输入操作中的哪一个作为用于控制信息处理系统的输入操作。
Description
技术领域
本发明涉及控制装置和控制方法。
背景技术
作为用于在使用户体验虚拟现实的交叉现实(cross reality)(XR)系统中操作头戴式显示器(HMD)的显示的手段，已知使用诸如手控制器等的操作装置的方法或者使用手追踪的方法等。
在前一种方法中，用户通过改变操作装置的位置/姿势或者通过操作诸如按钮等的设置在操作装置中的操作构件来在HMD上进行输入操作。这样，通常使用形成为由手把持的形状的操作装置(被称为把持型或手持型等)，但也提出了可附接到手或手指的小型操作装置(也被称为可穿戴型等)(参见WO 2015/153803)。在后一种方法中，手追踪以如下方式来进行：从照相机所拍摄的图像中识别出用户的手，并且掌握手的位置、姿势或手势等作为输入操作。例如，WO 2012/135553公开了通过手势输入的HMD的控制方法。
使用操作装置的方法具有操作装置不太可能被错误操作(安全操作容易)的优点，而使用手追踪的方法具有通过手或手指来使直观操作成为可能的优点。传统上，一些XR系统能够在使用操作装置的操作模式和利用手追踪的操作模式之间进行切换。
本发明人想到，如果不选择性地切换操作装置的模式和手追踪的模式，而是可接收操作装置的操作和手追踪的操作这两者，则可以进一步提高XR系统的便利性或可操作性。特别地，在可穿戴型的情况下，手不会被操作装置隐藏(手的一部分不在照相机的盲点中)，并且在使用操作装置期间手或手指可以自由移动。因此，容易组合使用操作装置和手追踪这两者。
然而，本发明人在操作装置和手追踪的组合使用中面临以下问题。例如，当用户对操作装置进行操作以输入命令时，存在如下的可能性：保持操作装置的手(或附接操作装置的手)移动，并且手的移动被偶然地解释为手追踪的命令输入。与之相对，当用户进行手势时，存在如下的可能性：手所保持(或者附接到手)的操作装置的位置或姿势改变，并且该改变被偶然地解释为操作装置的命令输入。在这种情况下，同时识别出(检测到)操作装置的命令输入和手追踪的命令输入，XR系统中可能发生控制故障或不期望的行为。
发明内容
本发明是鉴于以上情况而做出的，并且提供了使得可以组合进行利用操作装置的输入操作和利用手追踪的输入操作的技术。
本公开包括一种控制装置，其包括：接收单元，其被配置为能够接收利用作为可穿戴型装置的操作装置的输入操作以及利用手追踪的输入操作；以及确定单元，其被配置为在同时接收到利用所述操作装置的输入操作和利用所述手追踪的输入操作的情况下，基于预先设置的优先级，来确定采用利用所述操作装置的输入操作和利用所述手追踪的输入操作中的哪一个作为用于控制信息处理系统的输入操作。
通过参考附图对以下示例性实施例的描述，本发明的进一步的特征将变得明显。
附图说明
图1是用于描述信息处理系统的整个配置的图；
图2是用于描述信息处理系统的内部配置的图；
图3A至图3C是示出HMD的显示示例的图；
图4是示出图像处理装置的软件配置的图；
图5是示出用于输入操作的处理的信息的示例的图；
图6是示出优先级表的示例的图；以及
图7A和图7B是输入操作的处理的流程图。
具体实施方式
在下文中，将参照附图详细描述实施例。注意，以下实施例不旨在限制根据权利要求书的发明。在实施例中描述了多个特征，但是这多个特征对于本发明不一定都是必需的。此外，多个特征可以任意组合在一起。另外，相同或类似的配置由相同的附图标记表示，并且在附图中省略它们的重复描述。
(整个系统配置)将参照图1描述根据本发明的实施例的信息处理系统1。信息处理系统1具有HMD 100、图像处理装置110和操作装置120。信息处理系统1是用于使用户具有融合了现实世界和虚拟世界的伪体验(交叉现实：XR)的XR系统。XR包括虚拟现实(VR)、增强现实(AR)、混合现实(MR)或替代现实(SR)等，但是信息处理系统1适用于任何类型的XR内容。
HMD 100是附接到用户的头130的头戴式显示装置(电子设备)。在HMD 100上，显示将由HMD 100拍摄的用户正面范围的图像和在与HMD 100的姿势相对应的模式中的诸如计算机图形(CG)等的内容合成在一起的合成图像。
图像处理装置110是控制装置(电子设备)，该控制装置负责进行诸如HMD 100的控制、安装在HMD 100中的照相机所拍摄的拍摄图像的处理、诸如CG等的内容的生成、以及显示在HMD 100上的合成图像的生成等的处理。图像处理装置110由包括CPU(处理器)和存储器的计算机构成。例如，智能电话、平板终端、个人计算机(PC)或视频游戏设备等可用作图像处理装置110。图像处理装置110以无线或有线方式连接到HMD 100。图像处理装置110通过将拍摄图像与CG进行合成来生成合成图像，并将合成图像发送到HMD 100。注意，图像处理装置110的各配置可以内置在HMD 100中。
操作装置120是用于向HMD 100输入指令(命令)的装置。在信息处理系统1处于特定控制模式的情况下，当用户使用操作装置120进行预定输入操作(动作)时，与该输入操作相对应的命令被信息处理系统1接收，并且HMD 100或图像处理装置110被控制。
操作装置120也被称为“手控制器”或被简称为“控制器”。形成为用户的手所把持(保持)的形状的控制器被称为把持型控制器或手持型控制器等。在附接到用户的手或手指的状态下使用的控制器被称为可穿戴型控制器等。在本实施例中，例如，以可附接到用户的手指上的方式来使用图1所示的指环型的操作装置120。可附接到用户的手指的操作装置120具有如下优点：用户能够在保持操作装置120的同时自由地移动手或手指，并且手不太可能被操作装置120隐藏。操作装置120具有内置有“光学追踪板”(在下文中被称为“OTP”)的按钮。操作装置120通过Bluetooth(TM)(蓝牙)来与图像处理装置110进行无线通信。
注意，操作装置120的形状是如上所述的指环型，但不限于此。例如，操作装置120的形状可以是诸如手套型等的可附接到手的形状或者诸如腕表型(手镯型)等的可附接到手腕的形状。如上所述，操作装置120可以具有能够由用户的手保持或者可附接到手或手腕的形状，以便于用户使用。图1仅示出一个操作装置120。然而，可以设置多个操作装置来操作HMD 100。例如，可以设置用于右手的操作装置和用于左手的操作装置，或者操作装置可以附接到多个手指(例如，拇指或食指等)。
只要用户能够通过物理接触来进行操作，操作装置120就可以包括任何操作构件来代替OTP。例如，操作装置120可以包括触摸垫、触摸面板、十字键、按钮、操纵杆和追踪板装置中的任何一个来代替OTP。可替代地，如果仅将操作装置120自身的位置和/或姿势的改变用作操作装置120的操作，则可以不设置OTP或其他操作构件。
(HMD的内部配置)将参照图2描述HMD 100的内部配置。HMD 100具有HMD控制单元201、摄像单元202、图像显示单元203和姿势传感器单元204。
HMD控制单元201控制HMD 100的各配置。当从图像处理装置110获取到合成图像(将摄像单元202所拍摄的用户正面空间的拍摄图像和CG合成在一起的图像)时，HMD控制单元201在图像显示单元203上显示该合成图像。用户能够在附接有HMD 100的情况下看到图像显示单元203上所显示的合成图像。用户能够体验诸如CG与现实空间进行融合的混合现实等的各种混合现实。
摄像单元202可以包括两个照相机(摄像装置)。为了拍摄与用户在通常时间看到的空间相同的空间的图像，当HMD 100附接到用户时，两个照相机排列在用户的右眼和左眼的位置附近。两个照相机所拍摄的被摄体(用户正面的范围)的图像被输出到图像处理装置110。此外，摄像单元202的两个照相机能够通过基于立体照相机的测距来获取与从两个照相机到被摄体为止的距离相关的信息作为距离信息。
图像显示单元203显示合成图像。图像显示单元203例如具有由液晶面板或有机EL面板等构成的显示面板。在HMD 100附接到用户的状态中，显示面板布置在用户的相应右眼和左眼的前方。
姿势传感器单元204检测HMD 100的姿势(和位置)。然后，姿势传感器单元204检测(获取)与HMD 100的姿势(和位置)相对应的用户(即HMD 100所附接的用户)的姿势。姿势传感器单元204具有惯性测量单元(IMU)。姿势传感器单元204向图像处理装置110输出与用户姿势相关的信息(姿势信息)。
(图像处理装置的内部配置)将参照图2描述图像处理装置110的内部配置。图像处理装置110是具有控制单元211、内容数据库(DB)212和通信单元213的控制装置。
控制单元211从HMD 100接收由摄像单元202获取的图像(拍摄图像)和由姿势传感器单元204获取的姿势信息。控制单元211对拍摄图像进行用于消除摄像单元202的光学系统和图像显示单元203的光学系统之间的像差的图像处理。然后，控制单元211将拍摄图像与任意CG进行合成以生成合成图像。控制单元211将合成图像发送到HMD 100中的HMD控制单元201。
注意，控制单元211基于由HMD 100获取的信息(距离信息和姿势信息)来控制合成图像中的CG的位置、方向和大小。例如，当将被指示为CG的虚拟物体在合成图像所表示的空间中配置在存在于现实空间中的特定物体附近时，控制单元211将虚拟物体(CG)设置为随着特定物体和摄像单元202之间的距离越近而越大。通过像这样控制CG的位置、方向和大小，控制单元211能够生成如同不存在于现实空间中的CG虚拟物体被配置在现实空间中那样样的合成图像。
此外，控制单元211进行利用操作装置120的输入操作的接收、使用从HMD 100获取的拍摄图像的利用手追踪的输入操作的接收、或者基于输入操作的HMD 100的显示控制等。与输入操作相关联的处理的细节将在后面描述。
内容DB 212是用于存储诸如CG等的信息的存储单元。注意，控制单元211能够切换从内容DB 212读取的CG(即用于生成合成图像的CG)。
(操作装置的内部配置)将参照图2描述操作装置120的内部配置。操作装置120具有控制单元221、操作单元222、通信单元223和移动检测单元224。
控制单元221控制操作装置120的各配置。控制单元221可以由小型通用处理器、存储器和程序构成，或者可以由专用微处理器或ASIC等构成。
操作单元222包括内置有OTP的按钮。将与针对操作单元222中的OTP的按压或手指滑动相关的信息(操作信息)经由通信单元223发送到图像处理装置110。
例如，用户能够通过在OTP上滑动手指来将显示在HMD 100上的指针移动到预定位置。此外，用户能够通过按压OTP的按钮来向HMD 100或图像处理装置110给出用于进行特定处理的指令。如上所述，用户能够通过OTP上的手指滑动和按钮按压的组合来控制HMD 100。
通信单元223与图像处理装置110(通信单元213)进行无线通信。
移动检测单元224具有能够检测操作装置120上的惯性信息(空间移动量或角度)的惯性测量单元(IMU)(惯性传感器)。在本实施例中，移动检测单元224使用IMU，该IMU包括三轴(x,y,z)加速度传感器和三轴陀螺仪传感器，并且能够获取与在x、y和z方向上的运动以及绕着x、y和z轴的旋转的六个自由度相关的惯性信息。将惯性信息经由通信单元223发送到图像处理装置110。注意，移动检测单元224可以具有任何装置，只要该装置不会妨碍操作装置120的小型化并且能够检测惯性信息(诸如位置位移、速度和加速度等的信息)即可。
(手追踪和操作装置的操作)本实施例的信息处理系统1支持操作装置120的操作和手追踪的操作这两者。
操作装置120的操作是指如下方法，该方法用于以用户改变操作装置120的位置或姿势或者操作诸如操作装置120中所设置的OTP等的操作构件的方式来向HMD 100输入命令(指令)。利用操作装置120的输入操作的类型例如包括以下变化。
*将操作装置120移动到预定位置或区域
*在预定方向上移动操作装置120(平移移动)
*以绘制预定轨迹的方式来移动操作装置120
*在预定速度条件下移动操作装置120(例如，缓慢移动操作装置120或快速倾斜操作装置120等)
*在预定方向上转动操作装置120(以具有预定姿势)(旋转)
*按压按钮(按下、半按下、长按、双击或者同时按下多个按钮等)
*通过诸如OPT和十字键等的操作构件来指示方向
手追踪的操作是指用于根据用户的手或手指的位置、姿势或移动向HMD 100输入命令(指令)的方法。在检测到附接有HMD 100的用户的手并且从HMD 100的摄像单元202所拍摄的图像中掌握手的位置、姿势或移动(手势)等的情况下，识别出利用手追踪的输入操作。利用手追踪的输入操作的类型例如包括以下变化。
*将手移动到预定位置或区域
*在预定方向上移动手
*以绘制预定轨迹的方式来移动手
*在预定速度条件下移动手(例如，缓慢移动手或快速倾斜手等)
*在预定方向上转动手(以具有预定姿势)
*利用手或手指来形成预定形状(例如，竖起拇指或和平符号等)
*利用手或手指来做预定移动(例如，捏、握紧或挥动等)
当接收到(识别出)操作装置120或手追踪的“输入操作”时，信息处理系统1(图像处理装置110)将输入操作转换为“命令”，并进行基于该命令的HMD100的控制。该命令是指对信息处理系统1(HMD 100)的控制指令。例如，可以准备用于操作HMD 100上所显示的GUI或者操作虚拟物体的抽象指令(例如，“选择”、“下一步”或“移动”等)作为该命令。
例如，用户能够进行如下操作：长时间按下操作装置120的按钮以使菜单显示在HMD 100上，在通过OTP的操作将指针移动到期望项目之后按下OTP的按钮，并确定项目的选择。此外，用户也能够仅通过手追踪来实现相同的操作。此外，用户可以通过操作装置120的操作来显示菜单，并且通过手追踪来进行项目的选择或确定。以这种方式，用户也能够将操作装置120的操作和手追踪的操作组合在一起。
如后面将描述的，将输入操作和命令之间的对应关系(映射)预先设置在信息处理系统1中。信息处理系统1根据该设置将所接收到的输入操作转换(翻译)为命令。注意，输入操作和命令之间的对应关系可以由用户自由设置。此外，即使在相同的移动中，可以将由右手进行操作的情况、由左手进行操作的情况以及由双手进行操作的情况各自分配给不同的命令。如上所述，存在各种类型的利用操作装置120的输入操作和利用手追踪的输入操作，但是不要求信息处理系统1对应于所有类型。信息处理系统1可以根据目的、功能或内容来适当地实现可接收的(可识别的)输入操作。
(利用手追踪的操作的示例)首先，将描述使用与用户的手的位置相对应的手追踪来控制HMD 100的示例。
图像处理装置110的控制单元211基于拍摄图像中所反映的用户的手的颜色和形状来判断(识别)手的手指的位置、姿势和移动。然后，控制单元211根据合成图像所表示的空间中的手的位置(例如，手的手指和CG之间的距离)来控制HMD 100。在用于从图像中识别手和手指的方法中，可以使用任意算法。例如，可以使用如支持向量机所代表的经典机器学习，可以使用基于诸如R-CNN等的深度学习的算法，或者可以使用基于规则的算法。
例如，如图3A所示，控制单元211在合成图像上显示用于示出三个选项的面板301至303的CG，并计算合成图像所表示的空间中的三个面板301至303与手的食指的指尖之间的距离。然后，当三个面板301至303中的任何一个面板和指尖之间的距离不大于预定距离的状态持续超过预定时间时，控制单元211判断为面板已经被选择。然后，控制单元211进行与所选择的面板相对应的判断处理。在图3A的示例中，用户右手食指的指尖放置在面板302上。当该状态持续例如至少一秒以上时，控制单元211解释为用于选择面板302的命令(指令)已经被输入，并且进行分配给面板302的处理B。
接下来，将参照图3B描述使用与用户的手的方向相对应的虚拟线(virtual ray)来控制HMD 100的示例。控制单元211根据用户的手的方向延伸上的虚拟线的位置来控制HMD 100。
图像处理装置110的控制单元211基于拍摄图像中所反映的用户的手的颜色和形状来判断(识别)手的方向。此时，如图3B所示，控制单元211在图像显示单元203上显示在手所指示的方向上延伸的线(ray)(光线)的CG。然后，控制单元211使指针显示在(移动到)线所指向的位置处。因此，用户能够通过改变手的方向来改变线的位置和方向以及指针的位置。在图3B的示例中，右手的线310的指针311指示面板302，并且左手的线320的指针321指示面板301。
如图3C所示，当在指针321显示在面板301上的状态下用户用左手进行捏手势(手指的捏操作)时，控制单元211判断为面板301已经被选择。然后，控制单元211进行与所选择的面板301相对应的判断处理。上面描述了捏手势作为示例，但是用户可以通过除捏之外的手势来进行选择操作。
从附接到用户的手的操作装置120中所设置的惯性测量单元(IMU)(惯性传感器)获取的信息可以被用于控制线的方向。例如，控制单元211可以使用从IMU获取的与操作装置120的方向相关的信息代替手追踪所获取的与手的方向相关的信息来判断线的方向。可替换地，控制单元可以基于从IMU获取的与操作装置120的倾斜度或加速度相关的信息以及诸如根据图像所判断的手指方向等的信息这两者，来增加用户所指示的方向和线延伸的方向之间的一致率。
(图像处理装置110的软件平台的配置)接下来，将参照图4描述根据实施例的图像处理装置110的软件配置。
平台402可以配置在例如Google LLC的Android(TM)或者诸如Linux(TM)等的OS401上。平台402包括用于控制各种硬件的装置驱动程序组，并向在平台402上进行操作的应用程序406提供用于使用各种硬件的API。作为装置驱动程序组，存在Bluetooth(TM)(蓝牙)控制单元403。此外，平台402还具有向应用程序406提供用于基于由操作装置控制单元404和手追踪控制单元405检测到的数据所生成的各种类型的输入操作信息的功能。图像处理装置110能够安装各种应用程序406，并使其在OS 401和平台402上进行操作。
应用程序406包括输入操作映射单元407、事件处理单元408和内容DB 409。输入操作映射单元407是用于将利用操作装置120或手追踪的输入操作(动作)转换为用于表示对信息处理系统1的控制指令的抽象信息(命令)的转换单元。事件处理单元408提供用于当从输入操作映射单元407接收到命令时进行与该命令相对应的处理的功能。内容DB 409与图2所示的内容DB 212相同，并且存储要在HMD 100上显示的GUI或虚拟物体的CG等。
来自操作装置控制单元404和/或手追踪控制单元405的输入操作信息被通知给输入操作映射单元407，并且被转换为预先设置的抽象信息(命令)。例如，输入操作映射单元407将第一操作装置的A按钮已被按压的信息转换为抽象信息“选择”。抽象信息被通知给应用程序的事件处理单元408。当对与第一操作装置不同的第二操作装置进行响应时，输入操作映射单元407可以将第二操作装置的B按钮已被按压的信息分配给信息“选择”。因此，应用程序便于对多个操作装置和各种操作装置的响应。
图5示出输入操作映射单元407所保持的输入映射信息412的示例、操作装置控制单元404所保持的操作装置信息410的示例、以及手追踪控制单元405所保持的手追踪信息411的示例。如图3B所示，将描述如下情况作为示例：右手通过操作装置120来进行线操作，并且左手没有操作装置但是进行与手的方向相对应的线操作。
操作装置控制单元404具有操作装置120的名称、保持/附接操作装置的手(右手/左手)、按钮的按压状态、OTP的操作状态、用于显示线的三维位置和姿势、以及用于显示操作装置的三维位置和姿势，作为操作装置信息410。在操作装置120被操作的定时处或者按固定时间间隔(例如，IMU的输出速率)更新诸如按钮的按压状态、OTP的操作状态、以及三维位置和姿势等的信息。使用用于显示线的位置和姿势来显示线，并且当操作装置由CG显示时，使用用于显示操作装置的位置和姿势。基于操作装置120是用于右手还是左手来判断保持/附接操作装置的手。如果操作装置120用于右手和左手这两者，则可以基于用户手动设置的信息来判断手，或者可以基于拍摄图像来自动判断手。所保持的操作装置信息根据安装在操作装置120中的操作构件以及诸如传感器等的配置而不同。
手追踪控制单元405针对右手和左手各自具有用于显示线的三维位置和姿势、手势和关节位置的三维位置作为手追踪信息411。使用用于显示线的位置和姿势来显示线。手追踪信息411按固定的时间间隔(例如，摄像单元202的帧频)进行更新。
输入操作映射单元407具有如下的表作为输入映射信息412，其中在该表中，对于右手和左手中的各个手，定义了从操作装置120和手追踪接收到的输入操作信息和命令之间的对应关系。
这里，两个控制器(即，XX控制器和YY控制器)可用作操作装置120。“XX控制器(右)”指示XX控制器由用户的右手保持或者附接到用户的右手，并且“XX控制器(左)”指示XX控制器由用户的左手保持或者附接到用户的左手。这同样适用于YY控制器。
图5的操作装置信息410示出：XX控制器附接到用户的右手，并且按钮和OTP未被操作。由于用户没有使用YY控制器，因此与YY控制器相关的信息没有包括在操作装置信息410中。此外，图5的手追踪信息411示出：用户的右手和左手这两者被识别，并且右手和左手这两者正在做出张开手势(张开右手和左手这两者)。
首先，将描述左手的输入映射信息412。当接收到XX控制器(左)的按钮A的按压、YY控制器(左)的按钮B的按压、以及手追踪(左手)的捏手势中的任何一个时，输入操作映射单元407将操作转换为命令“选择”。命令“选择”被通知给事件处理单元408。当接收到命令“选择”时，事件处理单元408进行用于选择左手的指针321所指示的项目或虚拟物体等的处理。用于显示XX控制器(左)的线的三维位置和姿势、用于显示YY控制器(左)的线的三维位置和姿势、以及用于显示手追踪(左手)的线的三维位置和姿势被转换为命令“摆好指针姿势(POINTER POSE)”。命令“摆好指针姿势”与三维位置和姿势信息一起被通知给事件处理单元408，并用于控制左手的线320和指针321。
在图5的操作装置信息410的示例中，(由于操作装置仅由右手保持并附接到右手)与左手相关联的输入操作不会发生。在图5的手追踪信息411的示例中，手势以及用于显示手追踪(左手)的线的三维位置和姿势可以被检测为与左手相关联的输入操作。例如，根据左手的位置和姿势来更新用于显示手追踪信息411的左手的线的三维位置和姿势。然后，输入操作映射单元407发出命令“摆好指针姿势”，并且事件处理单元408更新左手的线320和指针321的绘制位置。当检测到用户已经利用左手做出捏手势时，与手追踪信息411的左手手势相关的信息被更新为“捏”。然后，输入操作映射单元407发出命令“选择”，并且事件处理单元408进行用于选择放置在左手的指针321处的项目或虚拟物体的处理。
接下来，将描述右手的输入映射信息412。当XX控制器(右)的按钮A的按压、YY控制器(右)的按钮B的按压、以及手追踪(右手)的捏手势中的任何一个发生时，输入操作映射单元407将操作转换为命令“选择”。命令“选择”被通知给事件处理单元408。当接收到命令“选择”时，事件处理单元408进行用于选择右手的指针311所指示的项目或虚拟物体等的处理。用于显示XX控制器(右)的线的三维位置和姿势、用于显示YY控制器(右)的线的三维位置和姿势、以及用于显示手追踪(右手)的线的三维位置和姿势被转换为命令“摆好指针姿势”。命令“摆好指针姿势”与三维位置和姿势信息一起被通知给事件处理单元408，并用于控制右手的线310和指针311。
在图5的操作装置信息410的示例中，按钮A的按压以及用于显示XX控制器的线的三维位置和姿势可以被检测为与右手相关联的输入操作。在图5的手追踪信息411的示例中，可以检测到手势以及用于显示手追踪(右手)的线的三维位置和姿势。
在本实施例中，在输入映射信息412中，将用于显示XX控制器(右)的线的三维位置和姿势以及用于显示手追踪(右手)的线的三维位置和姿势这两者分配给右手的“摆好指针姿势”。例如，当用户移动右手时，可以同时检测到用于显示由右手保持并附接到右手的XX控制器的线的三维位置和姿势的变化以及用于显示手追踪(右手)的线的三维位置和姿势的变化。此时，如果从XX控制器的操作装置信息410获取的三维位置和姿势的值与从右手的手追踪信息411获取的三维位置和姿势的值一致，则不会出现问题，但是这些值之间实际上存在差异。因此，可以同时发出具有与控制量相对应的三维位置和姿势的不同值的“摆好指针姿势”的两个命令(即，具有彼此矛盾的内容的两个命令(控制指令))。像这样，“可以同时发出(检测到)并且可以被解释为彼此矛盾的命令的多个输入操作”将在下面被称为“处于竞争关系的输入操作”。如果接收到处于竞争关系的多个输入操作，则存在发生控制故障或不期望的行为的可能性。
因此，在本实施例的信息处理系统1中，对于处于竞争关系的输入操作组，预先设置优先级(优先级别)。然后，当同时接收到处于竞争关系的多个输入操作时，信息处理系统1基于预先设置的优先级来判断采用所接收到的输入操作中的哪一个。简单地说，可以仅采用所接收到的多个输入操作中的具有最高优先级的输入操作。然而，用于采用输入操作的方法不限于此。代替仅依赖于优先级，可以使用包括优先级的多个评价指标来采用输入操作。可替代地，可以通过与优先级相对应的权重来将多个输入操作组合在一起。
图6示出优先级、输入操作和命令之间的对应关系被定义为优先级的设置示例的优先级表的示例。针对分配给右手的“摆好指针姿势”的三个输入操作，设置了优先级1至3。注意，如果存在处于竞争关系的其他输入操作组，则针对各个组来准备优先级表。
优先级表可以由用户设置，或者可以在应用程序创建者创建应用程序时设置。可替代地，代替使用这样的优先级表，可以定义如下规则：利用操作装置120的输入操作总是被赋予比利用手追踪的输入操作更高的优先级。基于优先级的该判断可以由平台402进行，或者可以由应用程序406(输入操作映射单元407或事件处理单元408)进行。
(输入操作的处理示例)接下来，将沿着图7A和图7B的流程图来描述本实施例中的输入操作的处理示例。图7A和图7B所示的处理由图像处理装置110以预定周期重复进行。
在步骤S701中，操作装置控制单元404基于从操作装置120获取的信息来更新操作装置信息410。此时，操作装置控制单元404根据从操作装置120获取的惯性信息来估计操作装置120的位置和姿势，并计算用于显示线的三维位置和姿势以及用于显示操作装置的三维位置和姿势。步骤S701的处理与利用操作装置120的输入操作的接收相对应。
在步骤S702中，手追踪控制单元405根据HMD 100的摄像单元202所拍摄的图像来进行对用户(HMD 100所附接的人)的右手和左手的各位置、姿势、关节位置或手势等的估计。然后，手追踪控制单元405基于估计的结果来更新手追踪信息411。步骤S702的处理与利用手追踪的输入操作的接收相对应。
在步骤S703中，输入操作映射单元407进行在步骤S701和S702中接收到的利用操作装置120的输入操作和利用手追踪的输入操作的排他控制。输入操作的排他控制在同时接收到彼此竞争的多个输入操作时与这多个输入操作中的任何输入操作的确定相对应。
在步骤S704中，输入操作映射单元407参考输入映射信息412，并将在步骤S703中确定(采用)的输入操作转换为命令(对信息处理系统1的控制指令)。
在步骤S705中，输入操作映射单元407将在步骤S704中转换后的命令通知给事件处理单元408。此时，在必要时，输入操作映射单元407也将与操作装置120或手的三维位置和姿势相关的信息与命令一起通知给事件处理单元408。事件处理单元408进行与所通知的命令相对应的用于控制HMD 100的显示的处理。
接下来，将参照图7B详细描述步骤S703中的输入操作的排他控制的处理。
在步骤S706中，输入操作映射单元407从在步骤S701和S702中接收到的多个输入操作中提取右手所进行的输入操作。例如，输入操作映射单元407提取由右手保持或附接到右手的操作装置120的三维位置和姿势或者按钮/OTP的输入操作以及利用右手的手追踪的三维位置和姿势或者手势等的输入操作。这里，当提取了利用操作装置120的输入操作(被称为第一输入操作)和利用手追踪的输入操作(被称为第二输入操作)时，输入操作映射单元407确认第一输入操作和第二输入操作是否彼此竞争。
在图5的示例中，“XX控制器(右)的按钮A的按压”、“YY控制器(右)的按钮B的按压”以及“手追踪(右手)的捏手势”被分配给“选择”，并且处于竞争关系。此外，“用于显示XX控制器(右)的线的三维位置和姿势”、“用于显示YY控制器(右)的线的三维位置和姿势”以及“用于显示手追踪(右手)的线的三维位置和姿势”也处于竞争关系。
当第一输入操作和第二输入操作彼此竞争时，输入操作映射单元407根据优先级表中所设置的优先级来采用第一输入操作和第二输入操作中的任何输入操作。在图6的示例中，当接收到“用于显示XX控制器(右)的线的三维位置和姿势”以及“用于显示手追踪(右手)的线的三维位置和姿势”时，输入操作映射单元407采用“用于显示XX控制器(右)的线的三维位置和姿势”注意，“用于显示手追踪(右手)的线的三维位置和姿势”(即，输入操作映射单元407未采用的输入操作)被丢弃。
在步骤S707中，输入操作映射单元407从在步骤S701和S702中接收到的多个输入操作中提取由左手进行的输入操作。例如，输入操作映射单元407提取由左手保持或附接到左手的操作装置120的三维位置和姿势或者按钮/OTP的输入操作以及利用左手的手追踪的三维位置和姿势或者手势等的输入操作。如右手的排他控制那样，当提取处于竞争关系的第一输入操作和第二输入操作时，输入操作映射单元407根据优先级表中所设置的优先级来采用第一输入操作和第二输入操作中的任何输入操作。
根据上述本实施例，当接收到多个输入操作时，基于预先设置的优先级来确定采用处于竞争关系的多个输入操作中的任何输入操作。因而，可以防止彼此矛盾的多个命令(控制指令)的出现，并预先避免控制故障或异常的发生等。因此，可以毫无问题地组合进行利用操作装置的输入操作和利用手追踪的输入操作这两者，并提供具有极好的便利性和可操作性的XR系统。
以上基于本发明的优选实施例来详细描述本发明，但不限于这些特定实施例。本发明的主旨范围内的各种模式也包括在本发明中。上述的实施例的一部分可以适当地组合在一起。
注意，以上实施例的各功能单元可以是或者可以不是单独的硬件。至少两个功能单元的功能可以由共同硬件实现。一个功能单元的多个功能各自可以由单独的硬件实现。一个功能单元的至少两个功能可以由共同硬件实现。此外，各功能单元可以由或者可以不由诸如ASIC、FPGA和DSP等的硬件实现。例如，装置可以具有处理器和存储有控制程序的存储器(存储介质)。此外，当处理器从存储器读取控制程序并运行所读取的程序时，可以实现装置的至少一些功能单元的功能。
根据本公开，可以组合进行利用操作装置的输入操作和利用手追踪的输入操作这两者。
其他实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然已经参考示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求书的范围应符合最广泛的解释，以涵盖所有这样的修改以及等同的结构和功能。
Claims (12)
1.一种控制装置，包括：
接收单元，其被配置为能够接收利用作为可穿戴型装置的操作装置的输入操作以及利用手追踪的输入操作；以及
确定单元，其被配置为在同时接收到利用所述操作装置的输入操作和利用所述手追踪的输入操作的情况下，基于预先设置的优先级，来确定采用利用所述操作装置的输入操作和利用所述手追踪的输入操作中的哪一个作为用于控制信息处理系统的输入操作。
2.根据权利要求1所述的控制装置，还包括：
转换单元，其被配置为基于映射信息来将所述确定单元所采用的输入操作转换为命令，其中在所述映射信息中，定义了所述接收单元能够接收的输入操作和用于表示对所述信息处理系统的控制指令的命令之间的对应关系。
3.根据权利要求2所述的控制装置，其中，
所述确定单元被配置为在同时接收到利用所述操作装置的第一输入操作和利用所述手追踪的第二输入操作的情况下，并且在所述映射信息中所述第一输入操作和所述第二输入操作与相同命令相对应的情况下，基于所述优先级来确定采用所述第一输入操作和所述第二输入操作中的哪一个。
4.根据权利要求1至3中任一项所述的控制装置，其中，
所述确定单元被配置为进行：
用于从利用由右手保持或附接到右手的操作装置的右手输入操作以及利用右手的手追踪的右手输入操作中确定要采用的右手输入操作的处理，以及
用于从利用由左手保持或附接到左手的操作装置的左手输入操作以及利用左手的手追踪的左手输入操作中确定要采用的左手输入操作的处理。
5.根据权利要求1至3中任一项所述的控制装置，其中，
利用所述操作装置的输入操作包括用于改变所述操作装置的方向的操作，
利用所述手追踪的输入操作包括用于改变手的方向的操作，以及
所述信息处理系统的控制包括用于根据所述操作装置的方向或者所述手的方向来改变所述信息处理系统中所设置的显示装置上所显示的计算机图形的方向的控制。
6.根据权利要求5所述的控制装置，其中，
所述计算机图形是用线表示用户的手所指向的方向的计算机图形。
7.根据权利要求1至3中任一项所述的控制装置，其中，
所述操作装置是指环型装置。
8.根据权利要求1至3中任一项所述的控制装置，其中，
所述操作装置是腕表型装置。
9.根据权利要求1至3中任一项所述的控制装置，其中，
设置所述优先级，使得利用所述操作装置的输入操作被赋予比利用所述手追踪的输入操作更高的优先级。
10.根据权利要求1至3中任一项所述的控制装置，其中，
所述优先级能够由用户设置。
11.一种控制方法，用于信息处理系统，所述控制方法包括：
接收利用作为可穿戴型装置的操作装置的输入操作；
接收利用手追踪的输入操作；以及
在同时接收到利用所述操作装置的输入操作和利用所述手追踪的输入操作的情况下，基于预先设置的优先级，来确定采用利用所述操作装置的输入操作和利用所述手追踪的输入操作中的哪一个作为用于控制信息处理系统的输入操作。
12.一种计算机可读存储介质，其存储有程序，所述程序用于使处理器执行根据权利要求11所述的控制方法的各个步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022154733A JP2024048680A (ja) | 2022-09-28 | 2022-09-28 | 制御装置、制御方法、プログラム |
| JP2022-154733 | 2022-09-28 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117784926A true CN117784926A (zh) | 2024-03-29 |
Family
ID=88068584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311268649.7A Pending CN117784926A (zh) | 2022-09-28 | 2023-09-28 | 控制装置、控制方法和计算机可读存储介质 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20240103629A1 (zh) |
| EP (1) | EP4345584A1 (zh) |
| JP (1) | JP2024048680A (zh) |
| KR (1) | KR20240044327A (zh) |
| CN (1) | CN117784926A (zh) |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012135545A1 (en) | 2011-03-29 | 2012-10-04 | Qualcomm Incorporated | Modular mobile connected pico projectors for a local multi-user collaboration |
| US9218058B2 (en) * | 2011-06-16 | 2015-12-22 | Daniel Bress | Wearable digital input device for multipoint free space data collection and analysis |
| US9142182B2 (en) * | 2011-10-07 | 2015-09-22 | Lg Electronics Inc. | Device and control method thereof |
| KR20140112910A (ko) * | 2013-03-14 | 2014-09-24 | 삼성전자주식회사 | 입력 제어 방법 및 이를 지원하는 전자 장치 |
| KR101933289B1 (ko) | 2014-04-01 | 2018-12-27 | 애플 인크. | 링 컴퓨팅 디바이스를 위한 디바이스 및 방법 |
| US10101803B2 (en) * | 2015-08-26 | 2018-10-16 | Google Llc | Dynamic switching and merging of head, gesture and touch input in virtual reality |
| US20220253146A1 (en) * | 2021-02-09 | 2022-08-11 | Finch Technologies Ltd. | Combine Inputs from Different Devices to Control a Computing Device |
-
2022
- 2022-09-28 JP JP2022154733A patent/JP2024048680A/ja active Pending
-
2023
- 2023-08-30 KR KR1020230114136A patent/KR20240044327A/ko unknown
- 2023-09-12 US US18/244,966 patent/US20240103629A1/en active Pending
- 2023-09-14 EP EP23197383.5A patent/EP4345584A1/en active Pending
- 2023-09-28 CN CN202311268649.7A patent/CN117784926A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20240103629A1 (en) | 2024-03-28 |
| EP4345584A1 (en) | 2024-04-03 |
| JP2024048680A (ja) | 2024-04-09 |
| KR20240044327A (ko) | 2024-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11983326B2 (en) | Hand gesture input for wearable system | |
| KR101844390B1 (ko) | 사용자 인터페이스 제어를 위한 시스템 및 기법 | |
| JP6288372B2 (ja) | インタフェース制御システム、インタフェース制御装置、インタフェース制御方法、及びプログラム | |
| JP7213899B2 (ja) | 視線に基づく拡張現実環境のためのインターフェース | |
| JP6057396B2 (ja) | ３次元ユーザインタフェース装置及び３次元操作処理方法 | |
| JP2022535316A (ja) | スライドメニューを有する人工現実システム | |
| US20170293351A1 (en) | Head mounted display linked to a touch sensitive input device | |
| JP2022535315A (ja) | 自己触覚型仮想キーボードを有する人工現実システム | |
| CN116097209A (zh) | 人工现实交互模式的整合 | |
| CN113892074A (zh) | 用于人工现实系统的手臂凝视驱动的用户界面元素选通 | |
| JP2010108500A (ja) | 着用型コンピューティング環境基盤のユーザインターフェース装置およびその方法 | |
| JP2022534639A (ja) | 指マッピング自己触覚型入力方法を有する人工現実システム | |
| JP6399692B2 (ja) | ヘッドマウントディスプレイ、画像表示方法及びプログラム | |
| KR20150040580A (ko) | 가상 공간 멀티 터치 인터랙션 장치 및 방법 | |
| CN113841110A (zh) | 具有用于选通用户界面元素的个人助理元素的人工现实系统 | |
| CN113892075A (zh) | 用于人工现实系统的拐角识别手势驱动的用户界面元素选通 | |
| KR20190059726A (ko) | 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법 | |
| US11501552B2 (en) | Control apparatus, information processing system, control method, and program | |
| JP2018029907A (ja) | 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ | |
| EP4099135A1 (en) | Information processing device, information processing method, computer program, and augmented reality sensing system | |
| WO2014054317A1 (ja) | ユーザインタフェース装置及びユーザインタフェース方法 | |
| CN117784926A (zh) | 控制装置、控制方法和计算机可读存储介质 | |
| JP6290493B2 (ja) | 情報処理方法、当該情報処理方法をコンピュータに実行させるためのプログラム及びコンピュータ | |
| Prabhakar et al. | Comparison of three hand movement tracking sensors as cursor controllers | |
| WO2023181549A1 (ja) | 制御装置、制御方法、プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication |