CN117590930A - 信息处理设备、信息处理方法和计算机可读介质 - Google Patents

信息处理设备、信息处理方法和计算机可读介质 Download PDF

Info

Publication number
CN117590930A
CN117590930A CN202311002597.9A CN202311002597A CN117590930A CN 117590930 A CN117590930 A CN 117590930A CN 202311002597 A CN202311002597 A CN 202311002597A CN 117590930 A CN117590930 A CN 117590930A
Authority
CN
China
Prior art keywords
control mode
display
information processing
area
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311002597.9A
Other languages
English (en)
Inventor
池田宏治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN117590930A publication Critical patent/CN117590930A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033—Indexing scheme relating to G06F3/033
    • G06F2203/0331—Finger worn pointing device

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及信息处理设备、信息处理方法和计算机可读介质。该信息处理设备在第一控制模式中进行控制，使得在显示单元的显示区域上显示第一显示项，所述第一显示项指示基于控制器的惯性信息的位置。该信息处理设备在第二控制模式中进行控制，使得在所述显示区域上显示第二显示项，所述第二显示项指示在所述显示区域的第一区域中的与对指定操作构件进行的第一操作相对应的位置。该信息处理设备在所述第一控制模式中，在所述第一显示项所指示的位置被包括在所述显示区域的第二区域中的情况下，响应于指定操作，进行从所述第一控制模式向所述第二控制模式的切换。

Description

信息处理设备、信息处理方法和计算机可读介质
技术领域
本发明涉及信息处理设备、信息处理方法和计算机可读介质。
背景技术
已知混合现实(MR)技术和虚拟现实(VR)技术，这些技术各自使用HMD(头戴式显示器)以使得用户能够感觉到与真实空间不同的空间。在这样的技术中，研究了用户在佩戴HMD(头戴式显示器)期间对HMD进行各种控制。
日本特开2017-059062公开了一种用于识别输入装置和用于操作该输入装置的操作介质(用户的手)、并且基于识别的结果来切换应用的信息处理设备。
另一方面，还研究了控制用于指示位置的显示项以提高用户的操作性的技术。日本特开平8-152972公开了如下的技术：在显示对话框窗口时，不管紧接之前显示的鼠标光标(显示项)的位置如何，都将鼠标光标移动到规定位置以提高操作性。
发明内容
另一方面，从便利性的角度来看，用户可能想要可切换地使用各自用于指示位置的多个显示项(例如，鼠标光标和选择框)。然而，上述技术没有假设多个显示项的使用，并且因此无法控制各自用于表示位置并且对用户来说高度方便的多个显示项。
因此，本发明的目的是提供一种控制各自用于表示位置并且对用户来说高度方便的多个显示项的技术。
本发明的方面是一种信息处理设备，其包括：第一显示控制单元，其被配置为在第一控制模式中进行控制，使得在显示单元的显示区域上显示第一显示项，所述第一显示项用于指示基于控制器的惯性信息的位置；第二显示控制单元，其被配置为在第二控制模式中进行控制，使得在所述显示区域上显示第二显示项，所述第二显示项用于指示与对指定操作构件进行的第一操作相对应的位置，该位置在所述显示区域的第一区域中；以及切换单元，其被配置为在所述第一控制模式中，在所述第一显示项所指示的位置被包括在所述显示区域的第二区域中的情况下，响应于指定操作，进行从所述第一控制模式向所述第二控制模式的切换。
本发明的方面是一种信息处理方法，其包括：第一显示控制步骤，用于在第一控制模式中进行控制，使得在显示单元的显示区域上显示第一显示项，所述第一显示项用于指示基于控制器的惯性信息的位置；第二显示控制步骤，用于在第二控制模式中进行控制，使得在所述显示区域上显示第二显示项，所述第二显示项用于指示与对指定操作构件进行的第一操作相对应的位置，该位置在所述显示区域的第一区域中；以及切换步骤，用于在所述第一控制模式中，在所述第一显示项所指示的位置被包括在所述显示区域的第二区域中的情况下，响应于指定操作，进行从所述第一控制模式向所述第二控制模式的切换。
通过参考附图对示例性实施例的以下描述，本发明的进一步特征将变得清楚。
附图说明
图1是示出根据第一实施例的信息处理系统的图；
图2是根据第一实施例的HMD等的内部配置图；
图3是根据第一实施例的模式切换处理的流程图；
图4是示出根据第一实施例的线(ray)控制模式的显示的图；
图5是示出根据第一实施例的OTP控制模式的显示的图；
图6是根据第一实施例的模式切换处理的流程图；
图7是示出根据第一变形例的线控制模式的显示的图；
图8是示出根据第一变形例的OTP控制模式的显示的图；
图9是示出根据第二变形例的线控制模式的显示的图；
图10是示出根据第二变形例的OTP控制模式的显示的图；以及
图11是示出根据第三变形例的OTP控制模式的显示的图。
具体实施方式
参考附图，将通过使用HMD作为示例来详细描述本发明的实施例。注意，在HMD中，例如存在360度视场的显示范围。因此，HMD使得用户能够感觉到与传统PC显示器相比显示范围被极大地扩展。结果，HMD具有可以同时进行大量显示的优点，另一方面用于指示(指定)诸如鼠标光标或指针等的位置的显示项(UI)在移出用户视线时容易被看不见。
第一实施例
参考图1，将给出根据第一实施例的信息处理系统1的描述。信息处理系统1具有HMD 100、图像处理设备110和控制器120。
HMD 100是能够佩戴在用户头部上的头部佩戴的显示装置(显示元件)。HMD 100显示通过将拍摄图像与诸如根据HMD 100的姿势的形式的CG(计算机图形)等的内容进行合成而获得的合成图像，其中该拍摄图像是由HMD 100所进行的用户前方范围的摄像而得到的。
图像处理设备110是用于控制HMD 100的控制设备(信息处理设备或电子装置)。图像处理设备110的示例是智能电话、平板终端和PC(个人计算机)。图像处理设备110无线地或有线地连接到HMD 100。图像处理设备110将拍摄图像与CG进行合成以生成合成图像，并且将该合成图像发送到HMD 100。注意，图像处理设备110的各个组件也可以被包括在HMD100中。
控制器120是用于进行HMD 100的各种控制的装置。在图像处理设备110处于指定控制模式并且用户对控制器120进行操作时，根据用户的操作来控制HMD 100。如图1所示，控制器120具有可佩戴在用户的手指上的指环形状(环形状)。在控制器120可佩戴在用户的手指上时，用户可以在保持控制器120的同时自由地移动手。控制器120具有嵌入有能够感测二维移动量的光学轨迹板(optical track pad)(在下文中被称为“OTP”)的按钮。控制器120经由Bluetooth(注册商标)(蓝牙)与图像处理设备110进行无线通信。
例如，用户长按OTP按钮以在HMD 100上显示包括指针的菜单。然后，用户将手指放在OTP上并在可选方向上滑移以使得能够将指针移动到预期项。然后，用户按压OTP按钮以使得能够进行确定操作，诸如确定项的选择等。假设控制器120的形状是指环形状，但是控制器120的形状不限于此。例如，控制器120的形状也可以是可佩戴在手上的形状(诸如手套形状等)。因而，控制器120可以适当地以用户友好的方式采用能够用用户的手保持或能够佩戴在手上的形式。
HMD的内部配置
参考图2，将描述HMD 100的内部配置。HMD 100具有HMD控制单元201、摄像单元202、图像显示单元203和姿势传感器单元204。
HMD控制单元201控制HMD 100的各个组件。在从图像处理设备110获取合成图像(通过将摄像单元202对用户前方的空间的摄像所得到的拍摄图像与CG进行合成而获得的图像)时，HMD控制单元201在图像显示单元203上显示该合成图像。因此，通过佩戴HMD 100，用户可以查看图像显示单元203上所显示的合成图像。用户可以以将CG与真实空间融合的方式来体验各种混合现实。
摄像单元202包括两个照相机(摄像装置)。这两个照相机中的一个照相机放置在靠近用户在佩戴HMD 100时的左眼的位置，并且这两个照相机中的另一照相机放置在靠近用户在佩戴HMD 100时的右眼的位置，以便拍摄与用户在正常时间观看的空间相同的空间的图像。由两个照相机对被摄体(用户前方的范围)的摄像所得到的图像(拍摄图像)被输出到图像处理设备110。摄像单元202中的两个照相机还可以通过立体照相机的距离测量来获取与从两个照相机到被摄体的距离有关的信息作为距离信息。
图像显示单元203显示合成图像。例如，图像显示单元203具有液晶面板或有机EL面板等。在用户佩戴HMD 100的状态下，有机EL面板位于用户的各个眼睛前方。
注意，对于图像显示单元203，也可以使用利用半透射型的半反射镜的装置。在这种情况下，例如图像显示单元203也可以使用通常被称为AR的技术，从而以将CG直接叠加在通过半反射镜观看的真实空间上的方式来显示图像。可替代地，图像显示单元203也可以使用通常被称为VR的技术，以在不使用拍摄图像的情况下显示完整的虚拟空间图像。
姿势传感器单元204检测HMD 100的姿势和位置。姿势传感器单元204具有用于获取惯性信息的惯性测量单元(IMU)。姿势传感器单元204将与HMD 100的姿势有关的信息作为姿势信息输出到图像处理设备110。
图像处理设备的内部配置
接下来，将描述图像处理设备110的内部配置。图像处理设备110具有控制单元211、内容DB 212和通信单元213。
控制单元211(显示控制单元)从HMD 100接收摄像单元202所获取的图像(拍摄图像)以及姿势传感器单元204所获取的姿势信息。控制单元211对拍摄图像进行图像处理，诸如抵消摄像单元202的光学系统和图像显示单元203的光学系统之间的像差等。然后，控制单元211将拍摄图像与可选的CG进行合成以生成合成图像。控制单元211将该合成图像发送到HMD 100中的HMD控制单元201。
注意，控制单元211基于HMD 100所获取的信息(距离信息和姿势信息)来控制CG在合成图像中的位置、CG的朝向和CG的大小。例如，当在合成图像所表示的空间中，将CG所表示的虚拟物体放置在真实空间中存在的指定物体附近时，控制单元211随着指定物体和摄像单元202之间的距离越短而将虚拟物体(CG)的大小设置得越大。通过由此控制CG的位置、朝向和大小，控制单元211可以以未放置在真实空间中的CG物体看起来彷佛放置在真实空间中一样的方式来生成合成图像。
内容DB 212是用于存储与CG等有关的信息的存储单元。注意，控制单元211可以切换要从内容DB 212读取的CG(即，要用于生成合成图像的CG)。
控制器的内部配置
参考图2，将描述控制器120的内部配置。控制器120具有控制器控制单元221、操作单元222、通信单元223和姿势传感器单元224。本文不需要将多个发光二极管(诸如大型传感器等)安装在控制器120中。因此，可以减小控制器120的大小。
控制器控制单元221控制控制器120的各个组件。
操作单元222包括嵌入有OTP(指定操作构件)的按钮。与操作单元222中的OTP按压和手指滑动有关的信息(操作信息)经由通信单元223发送到图像处理设备110。
例如，通过将手指滑过OTP，用户可以将显示在HMD 100上的指针移动到预定位置。另外，通过按压OTP按钮，用户可以向HMD 100和图像处理设备110中的每一个发出指定处理所用的指令。通过由此结合OTP中的手指滑动和按钮按压，用户可以控制HMD 100。更具体地，用户可以进行控制，以使得例如通过长按OTP按钮以在HMD 100上显示菜单、将指针移动到预期位置、然后按压OTP按钮，来选择位置。
只要用户能够通过物理接触在操作单元222上进行操作，操作单元222就还可以包括任意操作构件来代替OTP。例如，操作单元222还可以包括触摸垫、触摸面板、方向键、操纵杆和轨迹板装置中的任一个来代替OTP。
通信单元223与图像处理设备110(通信单元213)进行无线通信。
姿势传感器单元224具有能够检测控制器120的惯性信息(空间移动或旋转移动)作为用户的移动的IMU(惯性测量装置或惯性传感器)。注意，姿势传感器单元224仅需是不阻碍控制器120的大小减小并且能够检测与空间移动(位置变化、速度和加速度)或/和旋转移动(旋转量、旋转速度和角速度)有关的信息作为惯性信息的装置。
各个控制模式
参考图4和图5，将给出基于根据第一实施例的控制模式的各种处理的描述。
图4是示出根据第一实施例的线控制模式(第一控制模式)中的显示的图。注意，线控制模式是根据控制器120的惯性信息(位置和姿势中的至少一个)来控制线(虚拟光束)的控制模式。本文提及的线是用于指示HMD 100的显示区域中的用户所指定的位置的显示项。
图4示意性地示出HMD 100的图像显示单元203中的显示区域(合成图像)。HMD 100显示HMD 100周围的风景(摄像单元202所拍摄的风景)。如图4所示，背景包括用户的手402。HMD 100可以将与普通PC的桌面画面类似的画面与示出风景的背景进行合成。该画面被称为“广域桌面”。
HMD 100上所显示的“广域桌面”使得用户能够在不使用连接到图像处理设备110(诸如PC等)等的大型PC监视器的情况下，使用HMD 100来进行各种任务。另外，在HMD 100上，显示区域横跨用户的整个视场，并且因此也可以显示具有在真实的PC监视器上难以实现的分辨率的图像，并且同时显示并排配置的多个图像。
下面假设“广域桌面”被显示在HMD 100的显示区域上，并且用户同时进行多个任务。另外，在HMD 100上，多个窗口401A至401C被显示成仿佛漂浮在空间中一样。具体地，如图4所示，并排显示窗口401A、窗口401B和窗口401C。例如，在窗口401A中，用户可以使得能够操作因特网浏览器并使得能够显示搜索结果。在窗口401B中，用户可以产生书面文本(文档)。在窗口401C中，用户可以再现视频或使得能够操作音乐播放器并再现音乐。
注意，控制器120佩戴在用户的手402的手指(食指)上。从食指起在食指所示的方向上延伸的线403(光束)被显示为CG。在控制器120移动时，姿势传感器单元224获取本文新的惯性信息，并且将惯性信息从控制器控制单元221发送到控制单元211。然后，控制单元211基于惯性信息来控制线的显示。
图5是示出根据第一实施例的OTP控制模式(第二控制模式)中的显示的图。OTP控制模式是根据对OTP进行的操作(在下文中被称为“OTP操作”)来控制鼠标光标的控制模式。本文提及的鼠标光标是用于指示HMD 100的显示区域的指定区域(各个窗口中的区域)中用户等所指定的位置的显示项。
与图4类似，图5示出图像显示单元203的显示区域(合成图像)。HMD 100显示“广域桌面”。本文将描述用户在窗口401C中精细控制鼠标光标501的位置的示例。在窗口401C中，显示音乐播放器，并且可以由用户再现音乐。为了再现或快进音乐作品，用户选择音乐播放器中的按钮图标。用户还可以在播放列表中选择音乐作品以选择用户想要收听的音乐作品。
当在显示有窗口401A和窗口401B的状态下使用窗口401C进行音乐再现时，在图像显示单元203的显示区域的部分区域上显示窗口401C。在窗口401C的区域中，显示按钮图标和选择对象的区域被进一步限制。因此，在显示有按钮图标和选择对象的区域中移动鼠标光标501时，需要用户精细地指定位置。因此，鼠标光标501根据例如追踪控制器120的OTP的表面的操作(在下文中被称为“滑动操作”)在窗口401C中二维地移动。这使得用户能够精细地指定鼠标光标501的位置。
注意，通过改变控制器120的位置或姿势来控制线。结果，在线的前端的位置要显著移动时，线能够按照用户意图移动的可能性高，但是在线的前端的位置要被移动极小距离时，线的前端的位置可能偏离预期位置。另外，在线的前端的位置靠近用户的手时，可以相当精细地控制位置，但在线长并且窗口显示在远离用户的手的位置处时，难以进行位置的极精细的控制。因此，在要在窗口401C中精细地指定位置时，用户在OTP控制模式中比在线控制模式中更容易指定位置。
模式切换处理
参考图3中的流程图，将给出将线控制模式切换到OTP控制模式的处理的描述。假设在图3中的流程图开始的时间，显示如图4所示的合成图像。还假设在图3中的流程图开始的时间，控制模式被设置为线控制模式，并且在图像显示单元203的显示区域上显示线。
在步骤S1001中，控制单元211获取控制器120的姿势传感器单元224(IMU)所检测到的惯性信息(与控制器120的姿势和位置有关的信息)。
在步骤S1002中，控制单元211基于惯性信息来使线移动。具体地，控制单元211基于惯性信息来判断用户的手的食指所指示的位置，并且将线的前端的位置移动到用户的手的食指所指示的位置。
在步骤S1003中，控制单元211判断用户是否进行了OTP操作。在判断为进行了OTP操作时，处理前进到步骤S1004。在判断为尚未进行OTP操作时，处理返回到步骤S1001。
OTP操作不仅可以是对OTP进行的滑动操作，还可以是诸如OTP表面的轻击等的轻击操作或推按与OTP一体化地配置的推式按钮的操作等。换句话说，OTP操作可以是使用OTP的任何操作。注意，在OTP控制模式中进行用于使鼠标光标移动的操作(诸如滑动操作等)作为OTP操作时，由于来自线控制模式的操作连续性，因此该操作特别便利。
在步骤S1004中，控制单元211判断线的前端是否位于切换区域中。在图4的示例中，切换区域与图像显示单元203的显示区域中的窗口401A至401C相对应。在判断为线的前端位于切换区域中时，处理前进到步骤S1005。在判断为线的前端没有位于切换区域中时，处理前进到步骤S1006。
在步骤S1005中，控制单元211将控制模式切换到OTP控制模式。然后，控制单元211使得鼠标光标显示在线的前端的位置处以隐藏该线。结果，在控制模式的切换时，用于指定位置的显示项(线的前端和鼠标光标)所指示的位置不改变，并且因此可以抑制用户看不见鼠标光标。
注意，控制单元211也可以使得鼠标光标显示在预先确定的位置(预定位置)处，而不是使得鼠标光标显示在线的前端的位置处。例如，在音乐播放器被启动时，控制单元211在再现按钮上显示鼠标光标，或者只要后续操作是明确的，控制单元211就在根据后续操作的位置处显示鼠标光标。这可以提高用户的操作性。另一方面，即使在重新开始文档制作并且将字符输入到先前文档制作停止了的位置的这种情况下，与在线的前端的位置相比，也可以更方便地在与先前文档制作中相同的位置处显示鼠标光标。注意，鼠标光标的最佳位置根据用户所进行的操作的细节或情形而不同。控制单元211还可以根据情形等在不同位置处显示鼠标光标。
在步骤S1006中，控制单元211忽略OTP操作并继续线控制模式(不切换控制模式)。通过进行步骤S1006中的这样的处理，在用户无意地触摸OTP时，可以抑制不需要的控制模式的切换。
在图3的流程图中，当在线的前端位于切换区域中的情况下进行OTP操作时，线控制模式切换到OTP控制模式。然而，在线的前端位于切换区域中的情况下，当进行有意选择切换区域(窗口)的操作、然后还进行与该操作不同的OTP操作时，线控制模式也可以切换到OTP控制模式。有意选择切换区域的操作的添加可以降低抵抗用户的意图而切换到OTP控制模式的可能性。“有意选择切换区域的操作”也可以是在线控制模式中抖动控制器120的操作(使得控制器120进行轻击运动的操作)或触摸OTP的操作。可替代地，“有意选择切换区域的操作”也可以是与用于控制线的操作和OTP操作中的各个操作不同的操作。
接下来，参考图6中的流程图，将描述将OTP控制模式切换到线控制模式的处理。基本上，鼠标光标仅指示窗口401A至401C其中之一的位置。因此，即使在OTP模式中在窗口401C中显示鼠标光标的状态下、用户想要选择另一窗口401A的情况下，鼠标光标也不会到达窗口401A。结果，用户需要暂时将显示项从鼠标光标切换到线，然后选择窗口401A。另外，由于各个窗口401A至401C之间的相对距离长的可能性高，因此使用线指定位置提供了用户便利性高的优点。注意，窗口401A至401C中的各个窗口的显示区域由三维空间中的二维平面表示，并且因此深度被固定。
在步骤S2001中，控制单元211判断是否获取了与对OTP进行的滑动操作有关的信息。然后，在判断为获取了与滑动操作有关的信息时，在步骤S2002中，控制单元211根据与滑动操作有关的信息来使鼠标光标移动。在判断为尚未获取与滑动操作有关的信息时，处理前进到步骤S2003。
在步骤S2003中，控制单元211判断是否进行了“用于将控制模式从OTP控制模式切换到线控制模式的操作(切换操作)”。在判断为进行了切换操作时，处理前进到步骤S2004。在判断为尚未进行切换操作时，处理前进到步骤S2005。
例如，切换操作是用于使控制器120或用户的手移动(改变控制器120或用户的手的位置或姿势)以满足指定条件的操作。例如，切换操作是用于以扭转手腕的方式一次性地快速改变控制器120的朝向的操作或者连续抖动控制器120的操作等。可替代地，切换操作也可以是诸如将手改变为指定形状的手势等。换句话说，切换操作仅需要是与OTP操作(诸如滑动操作等)不同并且在OTP控制模式中不进行的操作。
在步骤S2004中，控制单元211将控制模式切换到线控制模式，以线的前端位于鼠标光标所指示的位置处的方式来显示线。然后，控制单元211隐藏鼠标光标。在步骤S2005中，控制单元211忽略切换操作并且继续OTP控制模式(不切换控制模式)。
因而，根据第一实施例，在线控制模式中，在线的前端位于窗口(切换区域)内部的状态下进行OTP操作时，将线控制模式切换到与由OTP操作指定位置的控制模式相对应的OTP控制模式。然后，用户在窗口内部通过OTP操作来控制鼠标光标，以使得能够进行精细的位置指定。结果，根据第一实施例，可以控制各自用于指示位置的多个显示项(线和鼠标光标)并且对用户来说便利性高。
注意，在以上给出的描述中，描述了姿势传感器单元224具有IMU的示例，但是仅需要能够获取用于指定位置的信息(诸如与指定位置或姿势有关的信息等)。例如，姿势传感器单元224也可以具有用于确定原点位置的照相机(安装在HMD 100中的照相机)以及加速度传感器。可替代地，姿势传感器单元224可以仅具有照相机并且使用该照相机来检测控制器120的姿势。
注意，切换区域也可以是窗口401A至401C的指定区域(菜单区域、OK按钮区域或弹出区域)。可替代地，也可以使用在与线的前端相对应的位置处所显示的指针来代替线。
第一变形例
参考图7和图8，将给出根据第一变形例的HMD 100的描述。在第一变形例中，将描述使用用于指示所选择的图标的粗框来代替鼠标光标的示例。
图7示出在线控制模式中的HMD 100的显示区域。在显示区域上显示有窗口401A、窗口401B和窗口401C。同样在第一变形例中，切换区域是窗口401A至401C。在窗口401C的区域中，如在智能电话或平板电脑的画面上那样排列多个图标701。在从多个图标701中确定一个图标701时，启动由所确定的图标701表示的应用。注意，窗口401C也可以是并排显示字符信息来代替图标701的菜单画面(使得能够选择和设置功能的画面)。
如图7所示，在线的前端移动以位于窗口401C中、然后进行OTP操作时，线控制模式切换到OTP控制模式，并且显示如图8所示的合成图像。
图8示出由粗框702(显示项)突出显示位于线的前端处的图标701的状态。注意，图标701也可以通过被显示为向前浮出而不是被包围在粗框702中来进行突出显示(悬停显示)(与其他图标701不同地显示)。存在图标701之间的间隔小的情况，并且难以用线精确地选择图标701其中之一。因此，在线的前端位于窗口401C中时，控制单元211根据OTP操作将控制模式切换到OTP控制模式。然后，控制单元211显示粗框702以突出显示图标701。
另外，在OTP控制模式中，每当进行OTP操作(例如，每当按压所指定的OTP按钮)时，控制单元211将用于指示所选择的图标701的粗框702移动到紧邻的图标701。因而，即使在图标701的大小小时，用户也可以精确地选择预期的图标701。即使在图标701的大小大时，用户也可以通过一次操作来将粗框702移动到紧邻的图标701，并且因此可以将粗框702直接移动到预期的图标701。
第二变形例
参考图9和图10，将在下面给出根据第二变形例的HMD 100的描述。在第二变形例中，将描述显示CG来代替窗口、并且使用图标来代替鼠标光标的示例。
图9示出线控制模式中的HMD 100(图像显示单元203)的显示区域。在图像显示单元203的显示区域中，显示三个长方体CG 801。在第二变形例中，本文假设切换区域不是根据第一实施例的“窗口”，而是“CG”。在图9中，长方体CG 801其中之一由线指示。然后，当在该状态下进行OTP操作时，将控制模式切换到OTP模式，并且显示如图10所示的合成图像。
在OTP控制模式中，用户进行OTP操作以使得能够放大或缩小CG 801。例如，当在右方向上进行滑动操作时，控制单元211放大CG 801，而当在左方向上进行滑动操作时，控制单元211缩小CG 801。
因而，可以通过OTP操作来切换控制模式并放大CG，并且因此可以通过用线指示CG801来连续进行CG 801的大小的控制。另外，由于位于线的前端处的CG 801的大小改变，因此用户不需要移动视线，并且不会看不见操作对象。
注意，在OTP控制模式中，控制单元211使得用于指示CG 801的大小的箭头形状图标802被显示。然而，控制单元211也可以不使得箭头形状图标802被显示，并且可以将CG801的端部处的线条(图标802所指示的垂直线条)或CG 801的侧面视为显示项(用于指定位置的显示项)。在这种情况下，控制单元211也可以在与其他线条的显示模式不同的显示模式中显示CG 801的端部处的线条。例如，控制单元211还可以使得CG 801的端部处的线条闪烁或以与其他线条的颜色不同的颜色进行显示。
第三变形例
参考图11，将在下面给出根据第三变形例的HMD 100的描述。假设在线控制模式中，HMD 100的显示区域以与第二变形例中相同的方式显示图9所示的线或CG 801。在如图9所示的线的前端位于CG 801上的状态下，在进行OTP操作时，控制模式切换到OTP控制模式，并且显示如图11所示的合成图像。
图11示出OTP控制模式中的HMD 100的显示区域。在图11中，根据OTP操作，控制CG801的表面的颜色和图案。然后，与CG 801相邻地显示用于表示图案和颜色的候选的调色盘901。在通过OTP操作来选择图案和颜色时，控制单元211将选择的细节反映在CG 801的显示上。在第三变形例中，在进行OTP操作时，控制单元211在调色盘901(显示调色盘901的区域)中移动用于指示所选择的图案的四边形框902来代替鼠标光标。
根据本发明，可以控制各自用于指示位置的多个显示项并且对用户来说便利性高。
在前述中，“当A等于或多于B时，前进到步骤S1；并且当A小于(低于)B时，前进到步骤S2”也可以被读作“当A大于(高于)B时，前进到步骤S1；并且当A等于或小于B时，前进到步骤S2”。相反地，“当A大于(高于)B时，前进到步骤S1；并且当A等于或小于B时，前进到步骤S2”也可以被读作“当A等于或多于B时，前进到步骤S1；并且当A小于(低于)B时，前进到步骤S2”。因此，只要不出现矛盾，表述“等于或多于A”可以被替换为“等于或大于(高于、长于或多于)A”，或者也可以被读作或替换为“大于(高于、长于或多于)A”。另一方面，表述“等于或小于A”可以被替换为“等于或小于(低于、短于、少于)A”，或者也可以被替换为或读作“小于(低于、短于、少于)A”。另外，表述“大于(高于、长于或多于)A”也可以被读作“等于或多于A”，而“小于(低于、短于、少于)A”也可以被读作“等于或小于A”。
虽然基于本发明的优选实施例来详细描述了本发明，但是本发明不限于这些特定实施例，并且包括在不背离本发明的主旨的范围内的各种模式。也可以适当地组合上述实施例中的一部分。
其他实施例
本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。
虽然参考示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求书的范围应被给予最广泛的解释，以涵盖所有这样的修改以及等同的结构和功能。

Claims (12)

1.一种信息处理设备，包括：
第一显示控制单元，其被配置为在第一控制模式中进行控制，使得在显示单元的显示区域上显示第一显示项，所述第一显示项用于指示基于控制器的惯性信息的位置；
第二显示控制单元，其被配置为在第二控制模式中进行控制，使得在所述显示区域上显示第二显示项，所述第二显示项用于指示与对指定操作构件进行的第一操作相对应的位置，该位置在所述显示区域的第一区域中；以及
切换单元，其被配置为在所述第一控制模式中，在所述第一显示项所指示的位置被包括在所述显示区域的第二区域中的情况下，响应于指定操作，进行从所述第一控制模式向所述第二控制模式的切换。
2.根据权利要求1所述的信息处理设备，
其中，在进行了从所述第一控制模式向所述第二控制模式的切换的情况下，所述第二显示控制单元在所述显示区域上显示所述第二显示项，使得所述第二显示项指示所述第一显示项所指示的位置。
3.根据权利要求1所述的信息处理设备，
其中，在进行了从所述第一控制模式向所述第二控制模式的切换的情况下，所述第二显示控制单元在所述显示区域上显示所述第二显示项，使得所述第二显示项指示所述第一区域中的预定位置。
4.根据权利要求1至3中任一项所述的信息处理设备，
其中，所述第一操作是用于追踪所述指定操作构件的表面的操作。
5.根据权利要求1至3中任一项所述的信息处理设备，
其中，所述指定操作是对所述指定操作构件的操作。
6.根据权利要求1至3中任一项所述的信息处理设备，
其中，在所述第一控制模式中，在所述第一显示项所指示的位置不被包括在所述第二区域中的情况下，即使进行所述指定操作，所述切换单元也不进行从所述第一控制模式向所述第二控制模式的切换。
7.根据权利要求1至3中任一项所述的信息处理设备，
其中，在所述第一控制模式中，在所述第一显示项所指示的位置被包括在所述第二区域中的情况下，
即使在用于选择所述第二区域的操作之前进行了所述指定操作，所述切换单元也不进行从所述第一控制模式向所述第二控制模式的切换，以及
在用于选择所述第二区域的操作之后进行了所述指定操作的情况下，所述切换单元进行从所述第一控制模式向所述第二控制模式的切换。
8.根据权利要求1至3中任一项所述的信息处理设备，
其中，在所述第二控制模式中，在进行了与所述第一操作和所述指定操作中的各个操作不同的第二操作的情况下，所述切换单元进行从所述第二控制模式向所述第一控制模式的切换。
9.根据权利要求8所述的信息处理设备，
其中，所述第二操作是用于使所述控制器或用户的手移动以满足指定条件的操作。
10.根据权利要求1至3中任一项所述的信息处理设备，
其中，所述第一显示项是线，以及
其中，所述第一显示项所指示的位置是所述线的前端的位置。
11.一种信息处理方法，包括：
第一显示控制步骤，用于在第一控制模式中进行控制，使得在显示单元的显示区域上显示第一显示项，所述第一显示项用于指示基于控制器的惯性信息的位置；
第二显示控制步骤，用于在第二控制模式中进行控制，使得在所述显示区域上显示第二显示项，所述第二显示项用于指示与对指定操作构件进行的第一操作相对应的位置，该位置在所述显示区域的第一区域中；以及
切换步骤，用于在所述第一控制模式中，在所述第一显示项所指示的位置被包括在所述显示区域的第二区域中的情况下，响应于指定操作，进行从所述第一控制模式向所述第二控制模式的切换。
12.一种计算机可读介质，其上存储有程序，所述程序用于使计算机执行根据权利要求11所述的信息处理方法。
CN202311002597.9A 2022-08-12 2023-08-10 信息处理设备、信息处理方法和计算机可读介质 Pending CN117590930A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022128583A JP2024025272A (ja) 2022-08-12 2022-08-12 情報処理装置、情報処理方法、プログラム
JP2022-128583 2022-08-12

Publications (1)

Publication Number Publication Date
CN117590930A true CN117590930A (zh) 2024-02-23

Family

ID=89846169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311002597.9A Pending CN117590930A (zh) 2022-08-12 2023-08-10 信息处理设备、信息处理方法和计算机可读介质

Country Status (3)

Country Link
US (1) US20240053832A1 (zh)
JP (1) JP2024025272A (zh)
CN (1) CN117590930A (zh)

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8081252B2 (en) * 2006-06-13 2011-12-20 Panasonic Corporation Image displaying apparatus
JP6292754B2 (ja) * 2013-02-21 2018-03-14 キヤノン株式会社 表示制御装置及びその制御方法

Also Published As

Publication number Publication date
US20240053832A1 (en) 2024-02-15
JP2024025272A (ja) 2024-02-26

Similar Documents

Publication Publication Date Title
US9335912B2 (en) GUI applications for use with 3D remote controller
US9685005B2 (en) Virtual lasers for interacting with augmented reality environments
US7557816B2 (en) Image processing apparatus, method and computer-readable storage medium for generating and presenting an image of virtual objects including the operation panel viewed from the position and orientation of the viewpoint of the observer
CN116194868A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
JP5087532B2 (ja) 端末装置、表示制御方法および表示制御プログラム
CN107315512B (zh) 图像处理设备、图像处理方法和程序
JP5802667B2 (ja) ジェスチャ入力装置およびジェスチャ入力方法
US8316319B1 (en) Efficient selection of characters and commands based on movement-inputs at a user-inerface
US20130265220A1 (en) System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
CN110546601B (zh) 信息处理装置、信息处理方法和程序
KR20170126295A (ko) 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
KR20190133080A (ko) 증강 현실 시스템용 터치프리 인터페이스
EP2558924B1 (en) Apparatus, method and computer program for user input using a camera
US11720171B2 (en) Methods for navigating user interfaces
JP4343637B2 (ja) 操作指示方法および装置
WO2014178039A1 (en) Scrolling electronic documents with a smartphone
US11049306B2 (en) Display apparatus and method for generating and rendering composite images
CN117590930A (zh) 信息处理设备、信息处理方法和计算机可读介质
CN117980962A (zh) 用于内容应用的设备、方法和图形用户界面
KR101622695B1 (ko) 이동 단말기 및 그것의 제어방법
JP2020077365A (ja) 画像表示システム、オペレーティングシステムおよび画像表示システムの制御方法
US20240086031A1 (en) Method of grouping user interfaces in an environment
Kumazawa et al. A multi-modal interactive tablet with tactile feedback, rear and lateral operation for maximum front screen visibility
JP2024018907A (ja) Ｘｒマルチウィンドウ制御
CN117716327A (zh) 用于管理用户界面与物理对象的交互的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication