CN111344663B - 渲染装置及渲染方法 - Google Patents

渲染装置及渲染方法 Download PDF

Info

Publication number
CN111344663B
CN111344663B CN201880069512.XA CN201880069512A CN111344663B CN 111344663 B CN111344663 B CN 111344663B CN 201880069512 A CN201880069512 A CN 201880069512A CN 111344663 B CN111344663 B CN 111344663B
Authority
CN
China
Prior art keywords
rendering
display
virtual reality
coordinate system
reality space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880069512.XA
Other languages
English (en)
Other versions
CN111344663A (zh
Inventor
宗像博史
玉野浩
陈元昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wacom Co Ltd
Original Assignee
Wacom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wacom Co Ltd filed Critical Wacom Co Ltd
Priority to CN202311265341.7A priority Critical patent/CN117348743A/zh
Publication of CN111344663A publication Critical patent/CN111344663A/zh
Application granted granted Critical
Publication of CN111344663B publication Critical patent/CN111344663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Abstract

课题在于在虚拟现实空间中实现直观且精度高的描绘。渲染装置是具备控制部及存储器且在显示于虚拟现实显示器上的虚拟现实空间内渲染3D对象的渲染装置。控制部与存储器协同配合而执行：3D渲染步骤S6，将所述3D对象作为虚拟现实空间坐标系中的3D显示的3D对象进行渲染；2D渲染步骤S11，将该3D对象作为平面坐标系中的2D显示的3D对象进行渲染；及显示更新步骤S7、S12，更新基于3D渲染步骤S6的渲染结果的虚拟现实显示器的显示和基于2D渲染步骤的渲染结果的虚拟现实显示器的显示。

Description

渲染装置及渲染方法
技术领域
本发明涉及在虚拟现实(包括VR：Virtual Reality(虚拟现实)、AR：AugmentedReality(增强现实)、MR：Mixed Reality(混合显示))空间内渲染3D对象的渲染装置及渲染方法。
背景技术
近年来，想要在虚拟现实空间中一边立体观察一边设计各种产品这一需求正在升高。
专利文献1公开了在AR空间中基于使用电子笔输入到平板终端的2D对象而生成3D对象的技术。以下，将通过在平面上使电子笔移动而进行的输入的方法称作“2D输入”。
非专利文献1公开了通过使3D输入用的控制器在VR空间中移动来输入3D对象的技术。以下，将利用这样的3D输入用的控制器的输入的方法称作“3D输入”。
现有技术文献
专利文献
专利文献1：美国专利申请公开第2016/0343174号说明书
非专利文献
非专利文献1：Google，“Tilt Brush:Painting from a new perspective”，[online]，平成28年5月3日，[平成29年10月5日检索]，互联网<URL：https://www.youtube.com/watch？v＝TckqNdrdbgk>
发明内容
发明所要解决的课题
根据上述的2D输入，由于电子笔的位置固定于已知的平面内，所以能够得到比3D输入高的精度。然而另一方面，在2D输入中存在“由于限定于平面内的描绘，所以与3D输入相比难以进行直观的操作”这一问题。
相对于此，根据3D输入，能够进行直观的操作。另一方面，由于控制器的位置的自由度高，所以作为用于设计的用途的技术而存在精度不充分这一问题。
因此，本发明的目的之一在于提供能够在虚拟现实空间中实现直感且精度高的描绘的渲染装置及渲染方法。
用于解决课题的手段
本发明的第一侧面涉及渲染装置，在显示于虚拟现实显示器上的虚拟现实空间内渲染3D对象，执行：3D渲染步骤，将所述3D对象作为虚拟现实空间坐标系中的3D显示的3D对象进行渲染；2D渲染步骤，将所述3D对象作为平面坐标系中的2D显示的3D对象进行渲染；及显示更新步骤，具有通过所述3D渲染步骤的渲染结果来更新所述虚拟现实显示器的显示的3D显示模式和通过所述2D渲染步骤的渲染结果来更新所述虚拟现实显示器的显示的2D显示模式。
本发明的第二侧面涉及渲染方法，用于使计算机作为在显示于虚拟现实显示器上的虚拟现实空间内渲染3D对象的渲染装置发挥功能，使所述计算机执行：3D渲染步骤，将所述3D对象作为虚拟现实空间坐标系中的3D显示的3D对象进行渲染；2D渲染步骤，将所述3D对象作为平面坐标系中的2D显示的3D对象进行渲染；及显示更新步骤，具有通过所述3D渲染步骤的渲染结果来更新所述虚拟现实显示器的显示的3D显示模式和通过所述2D渲染步骤的渲染结果来更新所述虚拟现实显示器的显示的2D显示模式。
发明效果
根据本发明，能够将3D对象在虚拟现实空间内的显示方法(3D显示或2D显示)根据用户的选择而切换，因此能够在虚拟现实空间实现直观且精度高的描绘。
附图说明
图1是示出本发明的第一实施方式的3D对象渲染系统1的结构的图。
图2是说明平板面坐标系与虚拟现实空间坐标系的关系的图。
图3是示出图1所示的控制部2a所进行的处理的流程图。
图4是示出图2所示的位置信息等取得处理的详情的流程图。
图5是示出图2所示的平板终端显示处理的详情的流程图。
图6是示出在本发明的第一实施方式的虚拟现实空间中将3D对象进行2D输入的状态的图。
图7是示出在本发明的第一实施方式的虚拟现实空间中将3D对象进行3D输入的状态的图。
图8是示出在本发明的第二实施方式的虚拟现实空间中将3D对象进行2D输入的状态的图。
图9是示出本发明的第二实施方式的控制部2a所进行的处理的一部分的流程图。
具体实施方式
以下，一边参照附图一边对本发明的实施方式进行详细说明。
图1是示出本发明的第一实施方式的3D对象渲染系统1的结构的图。如该图所示，本实施方式的3D对象渲染系统1构成为包括计算机2、虚拟现实显示器3、平板4、电子笔5、手套单元6、发光盒7a、7b及位置传感器8a～8d。需要说明的是，位置传感器8a、8c、8d分别安装于平板4、电子笔5及手套单元6，位置传感器8b设置于虚拟现实显示器3。通过安装位置传感器8c，电子笔5作为触控笔发挥功能并且也作为控制器发挥功能。需要说明的是，也可以将位置传感器8c内置于电子笔5。
图1所示的各装置原则上配置于房间中。在3D对象渲染系统1中，该房间的大致整体能够作为虚拟现实空间来利用。
计算机2包括控制部2a(控制器)和与控制部2a协同配合的存储器2b。后述的计算机2进行的各处理能够通过控制部2a与存储器2b协同配合(更具体而言，通过将存储于存储器2b内的程序读出并执行)而实现。
计算机2与虚拟现实显示器3及发光盒7a、7b的各自通过有线或无线而连接。在图1中示出了计算机2与虚拟现实显示器3及发光盒7a、7b的各自通过USB等有线通信标准而连接的例。另外，详情后述，在平板4是具有通信功能的装置的情况下，计算机2也与平板4通过有线或无线而连接。在图1中示出了计算机2与平板4通过例如蓝牙(注册商标)等近距离无线通信标准而连接的例。需要说明的是，在平板4或虚拟现实显示器3内置作为计算机的功能的情况下，也可以由该计算机构成计算机2。
计算机2构成为具有在虚拟现实显示器3上显示虚拟现实空间的功能。该虚拟现实空间可以是VR(Virtual Reality：虚拟现实)空间，也可以是AR(Augmented Reality：增强现实)空间，还可以是MR(Mixed Reality：混合现实)空间。在显示VR空间的情况下，佩戴了虚拟现实显示器3的用户认识虚拟现实，被与现实世界切离。另一方面，在显示AR空间或MR空间的情况下，佩戴了虚拟现实显示器3的用户认识虚拟现实与现实世界混合而成的空间。
计算机2构成为作为以发光盒7a、7b的位置为基准来设定虚拟现实空间且在设定的虚拟现实空间内渲染各种各样的3D对象的渲染装置发挥功能。计算机2利用渲染的结果来更新虚拟现实显示器3的显示。由此，在显示于虚拟现实显示器3上的虚拟现实空间内出现各种各样的3D对象。
计算机2的渲染基于存储于存储器2b内的3D对象来执行。3D对象是表示示出由计算机2设定的虚拟现实空间的虚拟现实空间坐标系中的3D对象的形状、位置及朝向的信息，针对渲染对象的每个3D对象存储于存储器2b内。
在由计算机2渲染的3D对象中，包括表示图1所示的平板4、电子笔5及手套单元6的各自的3D对象。在渲染这些3D对象时，计算机2首先检测虚拟现实空间坐标系中的位置传感器8a～8d各自的位置及朝向。然后，构成为基于检测到的位置传感器8b的位置及朝向来取得表示用户的视点的视点信息，基于取得的视点信息、存储的各3D对象的形状及检测到的位置传感器8a、8c、8d各自的位置及朝向，将表示平板4、电子笔5及手套单元6的各自的3D对象向虚拟现实空间内渲染。
计算机2还构成为，能够通过检测位置传感器8c、8d的位置来检测在虚拟现实空间内用户进行的操作，基于其结果来新制作3D对象或者更新已经保持的3D对象。
虚拟现实显示器3是佩戴于人的头部而使用的VR显示器(头戴显示器)。在一般市售的虚拟现实显示器中，存在“透过型”或“非透过型”、“眼镜型”或“帽子型”等各种虚拟现实显示器，作为虚拟现实显示器3，可以使用其中任一个。
虚拟现实显示器3与位置传感器8a、电子笔5(包括位置传感器8c)及手套单元6(包括位置传感器8d)的各自通过有线或无线而连接。位置传感器8a、8c、8d构成为通过该连接而将后述的受光水平信息向虚拟现实显示器3通知。虚拟现实显示器3构成为将从位置传感器8a、8c、8d的各自通知的受光水平信息与内置于自身的位置传感器8b的受光水平信息一起向计算机2通知。计算机2基于这样通知的受光水平信息来检测虚拟现实空间坐标系中的位置传感器8a～8d各自的位置及朝向。另外，电子笔5及手套单元6构成为通过上述连接来将后述的操作信息向虚拟现实显示器3通知。虚拟现实显示器3构成为将这样通知的操作信息向计算机2传送。
平板4具有平板面4a。平板面4a优选是平坦的表面，由适合于使电子笔5的笔尖滑动的材料构成。在一例中，平板4是所谓的数字转换器，构成为具有检测触摸面内的电子笔5的指示位置的触摸传感器和将检测到的指示位置向计算机2通知的通信功能。该情况下的平板面4a由数字转换器的触摸面构成。在另一例中，平板4是所谓的平板计算机，构成为具有显示器、检测该显示器的显示面内的电子笔5的指示位置的触摸传感器及将检测到的指示位置向计算机2通知的通信功能。该情况下的平板面4a由显示器的显示面构成。在又一例中，平板4是不具有检测电子笔5的指示位置的功能的物理物体(包括单纯的板、桌子、不具有检测电子笔5的指示位置的功能的显示器或计算机等)。该情况下的平板面4a由设置于平板4的表面的平面构成。
位置传感器8a固定设置于平板4的表面。因此，由计算机2检测的位置传感器8a的位置及朝向表示虚拟现实空间坐标系中的平板面4a的位置及朝向。
电子笔5及手套单元6用于供用户指示虚拟现实空间内的位置。电子笔5构成为具有笔型的形状。手套单元6具有作为在用户的手上佩戴的手套的形状。
在电子笔5的表面或内部设置有开关等各种感测设备。作为这里所说的感测设备，除了取接通断开任一状态的切换开关之外，还包括构成为能够检测任意的物理量的传感器。作为设置于电子笔5的开关的例，可举出构成为能够接受用户的接通断开操作的侧开关或尾部开关。另外，作为设置于电子笔5的其他开关的例，也可举出检测向电子笔5的笔尖施加的压力(笔压)的电容传感器等。电子笔5构成为检测设置于自身的开关的输出(按下状态或检测到的物理量)并将检测结果的全部或一部分作为自身的操作信息而向虚拟现实显示器3通知。
作为设置于电子笔5的感测设备，也可以包括检测用户对电子笔5的把持力的力传感器(载荷传感器)。在该情况下，力传感器的输出本来并不表示笔压，但接受了力传感器的输出的通知的计算机2也可以将其作为表示笔压的数据(笔压数据)来处理。通过这样，在用户在空中操作电子笔5的情况下，也能够使笔压反映于描绘结果。
在平板4具有触摸传感器的情况下，电子笔5的位置也由该触摸传感器检测。由触摸传感器检测的位置不是虚拟现实空间坐标系中的位置，而是在平板面4a上规定的平板面坐标系中的位置。触摸传感器构成为将检测到的电子笔5的位置向计算机2通知。
一般来说，由触摸传感器检测的位置与使用位置传感器8c检测的位置相比为高精度。因此，计算机2在从触摸传感器接受了电子笔5的位置的情况下，优选取得从触摸传感器通知的位置而非通过位置传感器8c检测到的位置作为电子笔5的位置。在该情况下，计算机2优选通过基于使用位置传感器8a检测到的平板面4a的位置及朝向将平板面坐标系与虚拟现实空间坐标系建立对应来将从触摸传感器通知的位置变换为虚拟现实空间坐标系中的位置。
图2是说明平板面坐标系与虚拟现实空间坐标系的关系的图。在该图中示出了平板面4a位于虚拟现实空间10中的状态。虚拟现实空间坐标系由3个轴VRX、VRY、VRZ规定，平板面坐标系由3个轴TRX、TRY、TRZ规定。其中，轴TRZ是平板面4a的法线方向。在图示的位置P作为平板面坐标系中的位置(x、y、z)而由触摸传感器检测到的情况下(z例如表示悬停位置)，计算机2通过规定的变换处理而将该(x、y、z)变换为虚拟现实空间坐标系中的位置(X、Y、Z)。由此，能够将从触摸传感器通知的位置变换为虚拟现实空间坐标系中的位置。
在此，触摸传感器对电子笔5的位置检测可以使用电磁感应方式，也可以使用主动静电方式。在使用主动静电方式的情况下，触摸传感器构成为从配置于触摸面内的传感器电极(未图示)以规定的时间间隔送出信标信号。在信标信号中包括用于从触摸传感器控制电子笔5的指令。在指令的控制的内容中，例如包括发送表示向电子笔5的笔尖施加的压力的笔压数据(由电容传感器检测到的笔压数据)、发送设置于电子笔5的各种开关(未图示)的按下状态及发送预先保存于电子笔5的固有ID等。
与主动静电方式对应的电子笔5若检测到上述信标信号则作为响应信号而送出笔信号。笔信号是包括作为无调制的载波的脉冲串信号和通过利用与上述指令对应的数据对载波进行调制而得到的数据信号的信号。触摸传感器利用上述传感器电极来尝试脉冲串信号的检测，基于检测结果来检测电子笔5的位置。另外，通过利用上述传感器电极来检测数据信号并将该数据信号解调，来接收电子笔5根据指令而发送出的数据。平板4构成为将这样取得的电子笔5的位置及电子笔5发送出的数据对计算机2发送。计算机2构成为将这样通知的位置如上述那样变换为虚拟现实空间坐标系中的位置，并且将通知的数据作为上述的操作信息的一部分而取得。
发光盒7a、7b是在3D对象渲染系统1中使用的用于位置检测的信号发送装置，分别构成为能够按照计算机2的控制一边改变方向一边射出信号(在该例中是激光)。位置传感器8a～8d分别由多个受光传感器构成，构成为将发光盒7a、7b的各自照射出的信号(激光)利用各受光传感器来接受，取得包括各自的受光水平的受光水平信息。取得的受光水平信息如上述那样从各位置传感器8a～8d向计算机2通知，为了检测它们的位置及朝向而使用。
以上，对3D对象渲染系统1的整体概要进行了说明。在这样的3D对象渲染系统1中用户进行新的3D对象的输入的情况下，在此以前，使用电子笔5及手套单元6来进行3D输入，或者将平板4设为平板计算机，使用电子笔5对该平板计算机进行2D输入。然而，如上所述，在3D输入中存在能够进行直观的操作这一长处但另一方面存在精度不充分这一短处，另外，在2D输入中存在能够得到高的精度但另一方面难以进行直观的操作这一短处。
本实施方式的3D对象渲染系统1鉴于这样的以往的输入方法的问题点，通过将3D对象在虚拟现实空间内的显示方法(3D显示或2D显示)根据用户的选择而切换，能够在虚拟现实空间中实现直观且精度高的描绘。以下，关于这一点，一边参照计算机2的控制部2a所进行的处理的流程图一边详细说明。
图3是示出计算机2的控制部2a所进行的处理的流程图。该处理在用户使用电子笔5及手套单元6的至少一方来进行3D对象的输入时执行，通过用户使用电子笔5及手套单元6来进行规定的操作且控制部2a检测该规定的操作而开始。
如图3所示，控制部2a首先在存储器2b内确保表示虚拟现实空间坐标系中的输入中对象的形状、位置及朝向的3D对象的存储区域(步骤S1)。3D对象的具体的形式没有特别的限定，例如适合设为VRML形式、X3D形式的数据。
接着，控制部2a执行位置信息等取得处理(步骤S2)。
图4是示出在步骤S2中执行的位置信息等取得处理的详情的流程图。如该图所示，控制部2a通过执行取得视点信息的步骤(步骤S20)、取得平板面信息的步骤(步骤S21)、取得控制器信息(第一信息)的步骤(步骤S22。控制器信息取得步骤。第一信息取得处理)、取得电子笔信息(第二信息)的步骤(步骤S23。电子笔信息取得步骤。第二信息取得处理)的各自来执行位置信息等取得处理。需要说明的是，步骤S20～S23的执行顺序没有特别的限定。
视点信息是表示虚拟现实空间坐标系中的用户的视点的信息，具体而言由虚拟现实显示器3的位置及朝向表示。控制部2a构成为基于关于位置传感器8b检测到的位置及朝向来取得视点信息。具体的视点信息例如由以1个3维坐标为起点的向量信息构成。
平板面信息是表示虚拟现实空间坐标系中的平板面4a的形状、位置及朝向的信息，作为3D对象之一而存储于存储器2b内。控制部2a基于关于位置传感器8a检测到的位置及朝向和预先存储的平板4的形状来取得平板面信息。
控制器信息是表示虚拟现实空间坐标系中的3D控制器(包括电子笔5及手套单元6)的位置及朝向以及该3D控制器的操作信息的信息。控制部2a基于关于位置传感器8c、8d检测到的位置及朝向和经由虚拟现实显示器3而接收到的电子笔5及手套单元6各自的操作信息来取得控制器信息。
电子笔信息是表示平板面坐标系中的电子笔5的指示位置及电子笔5的操作信息的信息。在平板4具有触摸传感器的情况下，控制部2a从触摸传感器取得平板面坐标系中的电子笔5的指示位置。另一方面，在平板4不具有触摸传感器的情况下，控制部2a通过对从位置传感器8c取得的位置(虚拟现实空间坐标系中的位置)实施变换处理(参照图2而说明的变换处理的逆处理)来取得平板面坐标系中的电子笔5的指示位置。另外，控制部2a在能够从触摸传感器取得电子笔5的操作信息的情况下(例如，在电子笔5与主动静电方式对应的情况下)，从触摸传感器取得电子笔5的操作信息(包括电容传感器的输出)。另一方面，在无法从触摸传感器取得电子笔5的操作信息的情况下，控制部2a经由虚拟现实显示器3而取得电子笔5的操作信息(包括力传感器的输出)。
返回图3，执行了位置信息等取得处理的控制部2a接着执行平板面等显示处理(步骤S3)。该处理是用于将表示平板面的平板面图像和表示用于将输入中的3D对象进行2D显示的显示面的显示面图像显示于虚拟现实空间内的处理。
图5是示出由步骤S3执行的平板面等显示处理的详情的流程图。如该图所示，控制部2a首先基于在虚拟现实空间内用户选择出的位置或与输入中的3D对象接触的位置来实施显示面图像的渲染(步骤S30。显示面图像渲染步骤(处理))。用户对位置的选择例如通过用户按下设置于电子笔5的开关且表示该内容的操作信息向控制部2a通知来执行。显示面图像可以是模仿显示器的图像，也可以是单纯的矩形的框。需要说明的是，控制部2a优选基于在图4的步骤S20中取得的视点信息，以使显示面图像的法线方向与用户的视线方向一致的方式渲染显示面图像。
接着，控制部2a取得表示虚拟现实空间坐标系与在显示面上规定的显示面坐标系(第一平面坐标系)的对应关系的第一对应信息(步骤S31)。第一对应信息具体而言是用于将虚拟现实空间坐标系与显示面坐标系相互变换的变换规则。
接着，控制部2a取得表示虚拟现实空间坐标系与平板面坐标系(第二平面坐标系)的对应关系的第二对应信息(步骤S32)。第二对应信息具体而言是用于将虚拟现实空间坐标系与平板面坐标系相互变换的变换规则。
最后，控制部2a基于平板面信息及视点信息来实施表示平板面4a的平板面图像的渲染(步骤S33。平板面图像渲染步骤(处理))。平板面图像可以是模仿平板终端的触摸面的图像，也可以是单纯的矩形的框。需要说明的是，控制部2a优选基于在图4的步骤S20中取得的视点信息，以使用户的视线方向与平板面4a所成的角度(俯角)成为规定的值的方式渲染平板面图像。
返回图3，执行了平板面等显示处理的控制部2a接着接受用户对动作模式的选择操作(步骤S4)。该选择例如可以通过用户按下设置于电子笔5的开关来执行，也可以通过用户使平板面4a与电子笔5之间的距离变化来执行。例如，可以在平板面4a与电子笔5之间的距离接近为小于规定距离的情况下切换为2D显示，在平板面4a与电子笔5的间的距离远离为规定距离以上的情况下自动地切换为3D显示。在后者的情况下，平板面4a与电子笔5之间的距离可以是触摸传感器检测，也可以基于平板面图像的显示位置和使用位置传感器8c检测的电子笔5的位置而是控制部2a检测。在步骤S4中接受了选择操作的控制部2a根据选择内容而进行进入3D显示模式和2D显示模式中的某一方的处理(即，选择3D显示和2D显示中的某一方的显示选择处理)(步骤S5。模式选择步骤)。
在步骤S5中进入了3D显示模式的情况下，控制部2a执行将虚拟现实空间坐标系中的3D对象向虚拟现实显示器3上渲染的3D渲染步骤(处理)。若具体说明，则控制部2a首先基于存储于存储器2b内的3D对象和在图4的步骤S20中取得的视点信息来实施输入中对象及其他3D对象的渲染(步骤S6)。然后，利用该结果来更新向虚拟现实显示器3的输出(显示)(步骤S7。显示更新步骤(处理))。此时，在图5的步骤S30中渲染出的显示面图像、在图5的步骤S33中渲染出的平板面图像等虚拟现实空间内的其他显示也同时被更新。由此，用户能够通过3D输入来编辑输入中对象。
控制部2a进一步基于在图4的步骤S22中取得的控制器信息来更新存储于存储器2b内的输入中对象的3D对象(步骤S8。3D对象更新步骤(处理))。之后，返回步骤S2使处理继续。
在此，步骤S8及后述的步骤S14中的3D对象的更新也基于从电子笔5通知的操作信息而执行。例如，在从电子笔5通知了表示电容传感器的输出或力传感器的输出的数据的情况下，计算机2取得该数据作为笔压数据，基于取得的笔压数据来决定输入中对象的线宽、透明度。然后，使该决定结果反映于3D对象。
在步骤S5中进入了2D显示模式的情况下的控制部2a执行将3D对象作为显示面坐标系中的2D显示的3D对象而向虚拟现实显示器3上渲染的2D渲染步骤(处理)。具体而言，首先，基于在图5的步骤S31中取得的第一对应信息，将存储于存储器2b内的输入中对象的3D对象变换为表示显示面坐标系中的输入中对象的形状、位置及朝向的2D对象(步骤S10。第一变换步骤)。然后，基于得到的2D对象和在图4的步骤S20中取得的视点信息来实施输入中对象的渲染(步骤S11)，利用该结果来更新向虚拟现实显示器3的输出(显示)(步骤S12。显示更新步骤(处理))。此时，也与步骤S7同样，在图5的步骤S30中渲染出的显示面图像、在图5的步骤S33中渲染出的平板面图像等虚拟现实空间内的其他显示也同时被更新。由此，用户能够通过2D输入来编辑输入中对象。
接着，控制部2a基于在图5的步骤S32中取得的第二对应信息，将由在图4的步骤S23中取得的电子笔信息表示的指示位置变换为虚拟现实空间坐标系中的位置(步骤S13。第二变换步骤)。然后，基于包括得到的指示位置的电子笔信息，更新存储于存储器2b内的输入中对象的3D对象(步骤S14。3D对象更新步骤)。如上所述，该更新也基于从电子笔5通知的操作信息来执行。控制部2a之后返回步骤S2而使处理继续。
图6是示出在虚拟现实空间中将3D对象进行2D输入的状态(在图3的步骤S4中用户选择了2D显示模式的状态)的图，图7是示出在虚拟现实空间中将3D对象进行3D输入的状态(在图3的步骤S4中用户选择了3D显示模式的状态)的图。
如图6所示，在2D显示模式下，在显示于虚拟现实空间10内的矩形的显示面图像11中将输入中对象13进行2D显示。需要说明的是，显示面图像11所示的3个轴DRX、DRY、DRZ表示显示面坐标系。3轴中的轴DRZ是显示面图像11的法线方向。另外，显示矩形的平板面图像12，用户通过在该平板面图像12内移动电子笔5来进行输入中对象13的编辑。该编辑通过在平面上使电子笔5移动来进行，因此是2D输入。虽然佩戴着虚拟现实显示器3的用户看不见，但在显示着平板面图像12的位置实际存在平板面4a，因此用户能够一边感受平板面4a的手感一边在平板面图像12内移动电子笔5。
另一方面，如图7所示，在3D显示模式下，将输入中对象13在虚拟现实空间10内进行3D显示。用户通过在该虚拟现实空间10内移动电子笔5及手套单元6来进行输入中对象13的编辑。该编辑利用3D输入用的控制器来进行，因此是3D输入。
如以上说明那样，根据本实施方式的3D对象渲染系统1，能够通过用户的选择来切换3D对象在虚拟现实空间内的显示方法(3D显示或2D显示)，因此能够在虚拟现实空间中实现直观且精度高的描绘。另外，在进行着2D显示的期间能够实现基于2D输入的3D对象的编辑，在进行着3D显示的期间能够实现基于3D输入的3D对象的编辑，因此能够以适合于显示方法的输入方法来进行3D对象的编辑。
另外，根据本实施方式的3D对象渲染系统1，能够在虚拟现实空间中利用电子笔5来输入3D对象。
接着，对本发明的第二实施方式的3D对象渲染系统1进行说明。本实施方式的3D对象渲染系统1在使显示面坐标系和平板面坐标系为同一坐标系这一点上与它们是互相不同的坐标系的第一实施方式的3D对象渲染系统1不同。由于在其他方面与第一实施方式的3D对象渲染系统1相同，所以对与第一实施方式相同的结构标注同一标号，以下着眼于与第一实施方式的不同点来说明。
图8是示出在本实施方式的虚拟现实空间中将3D对象进行2D输入的状态的图。若首先参照该图8来说明本实施方式的概要，则本实施方式的控制部2a构成为将表示图1所示的平板4(平板终端)的平板终端图像14向虚拟现实空间内渲染。平板终端图像14中包含的平板面图像14a对应于在第一实施方式中说明的平板面图像及显示面图像双方，因此，在本实施方式中，平板面坐标系(轴TRX、TRY、TRZ)兼任显示面坐标系。作为结果，在2D显示模式下，如图8所示，在平板面图像14a内将输入中对象13进行2D显示。
图9是示出本实施方式的控制部2a所进行的处理的一部分的流程图。图9(a)置换图5所示的流程图。另一方面，图9(b)置换图3所示的步骤S10。
如图9(a)所示，本实施方式的控制部2a构成为不执行图5所示的步骤S30、S31，且取代步骤S33而执行步骤S33a。在步骤S33a中，基于平板面信息及视点信息来实施表示图1所示的平板4(平板终端)的平板终端图像的渲染(平板终端图像渲染步骤(处理))。由此，如图8所示，与现实的平板4(平板终端)同样的平板终端(平板终端图像14)在虚拟现实空间10内出现。
另外，如图9(b)所示，本实施方式的控制部2a为了得到在2D显示模式下渲染输入中对象时使用的2D对象信息，基于在步骤S32中取得的第二对应信息而非第一对应信息，进行将存储于存储器2b内的输入中对象的3D对象变换为表示显示面坐标系中的输入中对象的形状、位置及朝向的2D对象的处理(步骤S10a)。其结果，如图8所示，输入中对象13(即，由控制器信息取得步骤(步骤S22)取得的虚拟现实空间坐标系中的电子笔5的位置)在平板面图像14a内显示。
通过本实施方式的3D对象渲染系统1，也能够通过用户的选择来切换3D对象在虚拟现实空间内的显示方法(3D显示或2D显示)，因此能够在虚拟现实空间中实现直观且精度高的描绘。另外，在进行着2D显示的期间能够实现基于2D输入的3D对象的编辑，在进行着3D显示的期间能够进行基于3D输入的3D对象的编辑，因此能够以适合于显示方法的输入方法进行3D对象的编辑。
除此之外，根据本实施方式，用户能够在虚拟现实空间内得到向平板终端的输入体验。因此，能够宛如在通常的平板终端中进行输入操作那样进行3D对象的输入操作。
以上，虽然对本发明的优选实施方式进行了说明，但本发明丝毫不限定于这样的实施方式，本发明当然能够在不脱离其主旨的范围内以各种方案来实施。
标号说明
1 3D对象渲染系统
2 计算机
2a 控制部
2b 存储器
3 虚拟现实显示器
4 平板
4a 平板面
5 电子笔
6 手套单元
7a、7b 发光盒
8a～8d 位置传感器
10 虚拟现实空间
11 显示面
12 平板面图像
13 输入中对象
14 平板终端图像
14a 平板面图像。

Claims (20)

1.一种渲染装置，具备控制器和与所述控制器协同配合的存储器，渲染在显示器上的虚拟现实空间显示的3D对象，其中，
所述控制器构成为与所述存储器协同配合而执行以下处理：
3D渲染处理，将所述3D对象作为虚拟现实空间坐标系中的3D显示的3D对象进行渲染；
2D渲染处理，将所述3D对象作为平面坐标系中的2D显示的3D对象进行渲染；及
显示更新处理，更新基于所述3D渲染处理的渲染结果的所述显示器的显示和基于所述2D渲染处理的渲染结果的所述显示器的显示。
2.根据权利要求1所述的渲染装置，
所述控制器构成为与所述存储器协同配合而进一步执行以下处理：
第一信息取得处理，取得表示所述虚拟现实空间坐标系中的电子笔的位置的第一信息；
第二信息取得处理，取得表示所述平面坐标系中的所述电子笔的指示位置的第二信息；及
3D对象更新处理，在所述3D显示中，基于所述第一信息来更新所述虚拟现实空间坐标系中的所述3D对象，在所述2D显示中，基于所述第二信息来更新所述3D对象。
3.根据权利要求2所述的渲染装置，
所述控制器与所述存储器协同配合而进一步执行渲染表示平板终端的平板终端图像的平板终端图像渲染处理，
所述平板终端图像渲染处理构成为基于所述虚拟现实空间坐标系中的所述平板终端的位置而执行，
所述平面坐标系是由所述虚拟现实空间内的所述平板终端的位置规定的坐标系。
4.根据权利要求2所述的渲染装置，
所述控制器与所述存储器协同配合而进一步执行以下处理：
显示面图像渲染处理，渲染表示用于将输入中的3D对象进行2D显示的显示面的显示面图像；及
平板面图像渲染处理，基于所述虚拟现实空间坐标系中的平板面的位置来渲染表示所述平板面的平板面图像。
5.根据权利要求4所述的渲染装置，
所述显示面图像渲染处理向在所述虚拟现实空间内选择出的位置或在所述虚拟现实空间内与所述3D对象接触的位置渲染图像。
6.根据权利要求3～5中任一项所述的渲染装置，
包括根据用户的选择操作而选择所述3D显示和所述2D显示中的某一方的显示选择处理。
7.根据权利要求3所述的渲染装置，
所述2D渲染处理以使通过所述第一信息取得处理取得的所述虚拟现实空间坐标系中的所述电子笔的位置显示于所述平板终端图像内的方式进行渲染。
8.根据权利要求4或5所述的渲染装置，
所述平板面构成为不具有检测所述电子笔指示的位置的功能。
9.根据权利要求2～5中任一项所述的渲染装置，
在所述电子笔设置有感测设备，执行根据所述感测设备的操作而取得笔压数据的处理，并且也基于取得的所述笔压数据来更新所述3D对象。
10.根据权利要求9所述的渲染装置，
所述感测设备是检测用户对所述电子笔的把持力的力传感器。
11.一种渲染方法，在显示器上的虚拟现实空间内渲染3D对象，其中，执行：
3D渲染步骤，将所述3D对象作为虚拟现实空间坐标系中的3D显示的3D对象进行渲染；
2D渲染步骤，将所述3D对象作为平面坐标系中的2D显示的3D对象进行渲染；及
显示更新步骤，更新基于所述3D渲染步骤的渲染结果的所述显示器的显示和基于所述2D渲染步骤的渲染结果的所述显示器的显示。
12.根据权利要求11所述的渲染方法，进一步执行：
第一信息取得步骤，取得表示所述虚拟现实空间坐标系中的电子笔的位置的第一信息；
第二信息取得步骤，取得表示所述平面坐标系中的所述电子笔的指示位置的第二信息；及
3D对象更新步骤，在所述3D显示中，基于所述第一信息来更新所述虚拟现实空间坐标系中的所述3D对象，在所述2D显示中，基于所述第二信息来更新所述3D对象。
13.根据权利要求12所述的渲染方法，进一步执行渲染表示平板终端的平板终端图像的平板终端图像渲染步骤，
所述平板终端图像渲染步骤构成为基于所述虚拟现实空间坐标系中的所述平板终端的位置而执行，
所述平面坐标系是由所述虚拟现实空间内的所述平板终端的位置规定的坐标系。
14.根据权利要求12所述的渲染方法，进一步执行：
显示面图像渲染步骤，渲染表示用于将输入中的3D对象进行2D显示的显示面的显示面图像；及
平板面图像渲染步骤，基于所述虚拟现实空间坐标系中的平板面的位置来渲染表示所述平板面的平板面图像。
15.根据权利要求14所述的渲染方法，
所述显示面图像渲染步骤向在所述虚拟现实空间内选择出的位置或在所述虚拟现实空间内与所述3D对象接触的位置渲染图像。
16.根据权利要求13～15中任一项所述的渲染方法，
包括根据用户的选择操作而选择所述3D显示和所述2D显示中的某一方的显示选择步骤。
17.根据权利要求13所述的渲染方法，
所述2D渲染步骤以使通过所述第一信息取得步骤取得的所述虚拟现实空间坐标系中的所述电子笔的位置显示于所述平板终端图像内的方式进行渲染。
18.根据权利要求14或15所述的渲染方法，
所述平板面构成为不具有检测所述电子笔指示的位置的功能。
19.根据权利要求12～15中任一项所述的渲染方法，
在所述电子笔设置有感测设备，执行根据所述感测设备的操作而取得笔压数据的步骤，并且也基于取得的所述笔压数据来更新所述3D对象。
20.根据权利要求19所述的渲染方法，
所述感测设备是检测用户对所述电子笔的把持力的力传感器。
CN201880069512.XA 2017-11-21 2018-11-02 渲染装置及渲染方法 Active CN111344663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311265341.7A CN117348743A (zh) 2017-11-21 2018-11-02 计算机、渲染方法以及位置指示装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-223497 2017-11-21
JP2017223497 2017-11-21
PCT/JP2018/040918 WO2019102825A1 (ja) 2017-11-21 2018-11-02 レンダリング装置及びレンダリング方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311265341.7A Division CN117348743A (zh) 2017-11-21 2018-11-02 计算机、渲染方法以及位置指示装置

Publications (2)

Publication Number Publication Date
CN111344663A CN111344663A (zh) 2020-06-26
CN111344663B true CN111344663B (zh) 2023-10-24

Family

ID=66631759

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202311265341.7A Pending CN117348743A (zh) 2017-11-21 2018-11-02 计算机、渲染方法以及位置指示装置
CN201880069512.XA Active CN111344663B (zh) 2017-11-21 2018-11-02 渲染装置及渲染方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202311265341.7A Pending CN117348743A (zh) 2017-11-21 2018-11-02 计算机、渲染方法以及位置指示装置

Country Status (5)

Country Link
US (4) US11262857B2 (zh)
EP (1) EP3716031A4 (zh)
JP (3) JP7345396B2 (zh)
CN (2) CN117348743A (zh)
WO (1) WO2019102825A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11226683B2 (en) * 2018-04-20 2022-01-18 Hewlett-Packard Development Company, L.P. Tracking stylus in a virtual reality system
US11422530B2 (en) * 2018-08-20 2022-08-23 Dell Products, L.P. Systems and methods for prototyping a virtual model
JPWO2022025027A1 (zh) * 2020-07-27 2022-02-03
CN112150602A (zh) * 2020-09-24 2020-12-29 苏州幻塔网络科技有限公司 模型图像的渲染方法和装置、存储介质和电子设备
EP4328717A1 (en) 2021-04-23 2024-02-28 Wacom Co., Ltd. Controller and computer
WO2023139630A1 (ja) * 2022-01-18 2023-07-27 日本電気株式会社 出力制御システム、出力制御方法、および記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09305306A (ja) * 1996-03-12 1997-11-28 Toho Business Kanri Center:Kk 位置入力装置、位置入力処理装置およびその方法
CN102915232A (zh) * 2011-08-01 2013-02-06 华为技术有限公司 一种3d控件的交互方法及通信终端
CN102945116A (zh) * 2012-10-19 2013-02-27 广东欧珀移动通信有限公司 一种界面切换显示方法、装置及移动终端

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55160916A (en) 1979-05-30 1980-12-15 Showa Electric Wire & Cable Co Power supply device
JP4449183B2 (ja) 2000-07-11 2010-04-14 ソニー株式会社 画像編集システム及び画像編集方法、並びに記憶媒体
JP2005148844A (ja) 2003-11-11 2005-06-09 Fukuda Gakuen 表示システム
US9812096B2 (en) * 2008-01-23 2017-11-07 Spy Eye, Llc Eye mounted displays and systems using eye mounted displays
US8392218B2 (en) * 2009-03-18 2013-03-05 Siemens Aktiengesellschaft Sequential control and execution of medical applications at different workstations
JP5635850B2 (ja) 2010-09-16 2014-12-03 任天堂株式会社 情報処理装置、情報処理プログラム、情報処理システムおよび情報処理方法
JP5930618B2 (ja) 2011-06-20 2016-06-08 コニカミノルタ株式会社 空間手書きシステム及び電子ペン
JP2013084096A (ja) * 2011-10-07 2013-05-09 Sharp Corp 情報処理装置
US9671566B2 (en) * 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US10533850B2 (en) * 2013-07-12 2020-01-14 Magic Leap, Inc. Method and system for inserting recognized object data into a virtual world
GB2522855A (en) 2014-02-05 2015-08-12 Royal College Of Art Three dimensional image generation
US10509865B2 (en) * 2014-09-18 2019-12-17 Google Llc Dress form for three-dimensional drawing inside virtual reality environment
JP6122537B1 (ja) 2016-09-08 2017-04-26 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
US10536691B2 (en) * 2016-10-04 2020-01-14 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
WO2019180745A1 (en) * 2018-03-21 2019-09-26 Karade Vikas Systems and methods for obtaining 3-d images from x-ray information for deformed elongate bones
CN113143313A (zh) * 2020-01-07 2021-07-23 通用电气精准医疗有限责任公司 可按压触摸面板以及超声成像系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09305306A (ja) * 1996-03-12 1997-11-28 Toho Business Kanri Center:Kk 位置入力装置、位置入力処理装置およびその方法
CN102915232A (zh) * 2011-08-01 2013-02-06 华为技术有限公司 一种3d控件的交互方法及通信终端
CN102945116A (zh) * 2012-10-19 2013-02-27 广东欧珀移动通信有限公司 一种界面切换显示方法、装置及移动终端

Also Published As

Publication number Publication date
EP3716031A4 (en) 2021-05-05
JP2023166504A (ja) 2023-11-21
EP3716031A1 (en) 2020-09-30
JP2023164499A (ja) 2023-11-10
US20230288999A1 (en) 2023-09-14
WO2019102825A1 (ja) 2019-05-31
CN117348743A (zh) 2024-01-05
US11681383B2 (en) 2023-06-20
CN111344663A (zh) 2020-06-26
US11262857B2 (en) 2022-03-01
US20230288998A1 (en) 2023-09-14
US20220155884A1 (en) 2022-05-19
JPWO2019102825A1 (ja) 2020-12-03
US20200278763A1 (en) 2020-09-03
JP7345396B2 (ja) 2023-09-15

Similar Documents

Publication Publication Date Title
CN111344663B (zh) 渲染装置及渲染方法
US11699271B2 (en) Beacons for localization and content delivery to wearable devices
CN103970265B (zh) 具有触觉反馈的增强现实用户接口
EP2919104B1 (en) Information processing device, information processing method, and computer-readable recording medium
CN110476142A (zh) 虚拟对象用户界面显示
CN114080585A (zh) 在人工现实环境中使用外围设备的虚拟用户界面
CN108038726B (zh) 物品展示方法及装置
CN103998970A (zh) 头戴式显示器和信息显示设备
US10203781B2 (en) Integrated free space and surface input device
KR102499354B1 (ko) 디스플레이를 통해 표시된 제 1 콘텐트에 대해 제 2 콘텐트를 외부 객체의 움직임에 따라 제공하기 위한 전자 장치 및 그의 동작 방법
US20190050132A1 (en) Visual cue system
JP2021114346A (ja) 位置指示装置、コンピュータ、制御方法
US20130117717A1 (en) 3d user interaction system and method
JP2013003961A (ja) 空間手書きシステム及び電子ペン
JP2017187952A (ja) 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
JP6386897B2 (ja) 電子黒板、情報処理プログラムおよび情報処理方法
US20220155881A1 (en) Sensing movement of a hand-held controller
US11386612B2 (en) Non-transitory computer-readable medium, image processing method, and image processing system for controlling progress of information processing in response to a user operation
KR102572675B1 (ko) 사용자 인터페이스를 적응적으로 구성하기 위한 장치 및 방법
KR20200066962A (ko) 사용자의 움직임에 기반하여 콘텐트를 제공하기 위한 전자 장치 및 방법
US20220004299A1 (en) Systems and methods for dynamic shape sketching
KR102288431B1 (ko) 가상현실을 이용한 이미지입력시스템 및 이를 이용한 이미지데이터 생성방법
JP2022037377A (ja) 入力システム及び入力方法
US20230144941A1 (en) Computer-implemented method, computer, and program
JP7275885B2 (ja) 表示装置、方向特定方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant