CN115968465A - 计算机、方法及程序 - Google Patents

计算机、方法及程序 Download PDF

Info

Publication number
CN115968465A
CN115968465A CN202180052215.6A CN202180052215A CN115968465A CN 115968465 A CN115968465 A CN 115968465A CN 202180052215 A CN202180052215 A CN 202180052215A CN 115968465 A CN115968465 A CN 115968465A
Authority
CN
China
Prior art keywords
coordinate system
coordinates
coordinate
computer
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180052215.6A
Other languages
English (en)
Inventor
藤冈润吏
菊池亮一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wacom Co Ltd
Original Assignee
Wacom Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wacom Co Ltd filed Critical Wacom Co Ltd
Publication of CN115968465A publication Critical patent/CN115968465A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Image Processing (AREA)

Abstract

提供能够在第一追踪系统涉及的XR空间内容易地使用支持第二追踪系统的设备的计算机、方法及程序。本发明的计算机是具有处理器的计算机，所述处理器算出在由第一坐标系定义的XR空间内渲染的3D对象在所述第一坐标系中的第一坐标，并且关于由与所述第一坐标系不同的第二坐标系的设定涉及的追踪系统追踪的设备算出所述第二坐标系中的第二坐标，根据用户的规定的操作，基于所述第一坐标及所述第二坐标来算出用于将所述第二坐标系的坐标变换为所述第一坐标系的坐标的坐标变换式。

Description

计算机、方法及程序
技术领域
本发明涉及用于在通过VR(Virtual Reality：虚拟现实)、AR(AugmentedReality：增强现实)、MR(Mixed Reality：混合现实)、SR(Substitutional Reality：替代现实)等XR技术构成的空间(以下称作“XR空间”)内渲染3D对象的计算机、方法及程序。
背景技术
在XR技术中，使用检测头戴显示器、控制器等各种设备的位置及朝向的追踪系统。一例的追踪系统构成为包括多台相机，构成为基于利用各相机拍摄到的各设备的图像来决定XR空间内的各设备的位置及朝向。
另外，在开始追踪系统的使用前，进行用于使在XR空间内显示的设备的位置及朝向与现实的设备的位置及朝向一致的校准。在专利文献1、2中记载了该校准的例子。
现有技术文献
专利文献
专利文献1：美国专利第10127732号说明书
专利文献2：国际公开第2019-175582号说明书
发明内容
发明所要解决的课题
近年来，支持XR技术的设备的种类正在多样化，伴随于此，产生了想要将由不同的供应商制造的多个设备在1个XR空间内同时使用这一需求。然而，能够在使用某供应商的追踪系统而构建的XR空间内使用的设备局限于支持该追踪系统的设备，未能将支持其他的供应商的追踪系统的设备在使用某供应商的追踪系统而构建的XR空间内容易地使用。
因此，本发明的目的之一在于提供能够在第一追踪系统涉及的XR空间内容易地使用支持第二追踪系统的设备的计算机、方法及程序。
用于解决课题的手段
本发明的计算机是具有处理器的计算机，其特征在于，所述处理器算出在由第一坐标系定义的XR空间内渲染的3D对象在所述第一坐标系中的第一坐标，并且关于由与所述第一坐标系不同的第二坐标系的设定涉及的追踪系统追踪的设备算出所述第二坐标系中的第二坐标，根据用户的规定的操作，基于所述第一坐标及所述第二坐标来算出用于将所述第二坐标系的坐标变换为所述第一坐标系的坐标的坐标变换式。
本发明的计算机是具有处理器的计算机，所述处理器也能够构成为：在由第一坐标系定义的XR空间内渲染虚拟设备，算出在所述XR空间内渲染的所述虚拟设备在所述第一坐标系中的第一坐标，并且关于在由与所述第一坐标系不同的第二坐标系的设定涉及的追踪系统追踪的设备设置的追踪器算出所述第二坐标系中的第二坐标，根据用户的规定的操作，基于算出的所述第一坐标及所述第二坐标来算出用于将所述第二坐标系的坐标变换为所述第一坐标系的坐标的坐标变换式。
本发明的方法包括以下步骤：算出在由第一坐标系定义的XR空间内渲染的3D对象在所述第一坐标系中的第一坐标，并且关于由与所述第一坐标系不同的第二坐标系的设定涉及的追踪系统追踪的设备算出所述第二坐标系中的第二坐标，根据用户的规定的操作，基于所述第一坐标及所述第二坐标来算出用于将所述第二坐标系的坐标变换为所述第一坐标系的坐标的坐标变换式。
本发明的方法也能够构成为包括以下步骤：在由第一坐标系定义的XR空间内渲染虚拟设备；及算出在所述XR空间内渲染的所述虚拟设备在所述第一坐标系中的第一坐标，并且关于在由与所述第一坐标系不同的第二坐标系的设定涉及的追踪系统追踪的设备设置的追踪器算出所述第二坐标系中的第二坐标，根据用户的规定的操作，基于算出的所述第一坐标及所述第二坐标来算出用于将所述第二坐标系的坐标变换为所述第一坐标系的坐标的坐标变换式。
本发明的程序用于使计算机执行以下步骤：算出在由第一坐标系定义的XR空间内渲染的3D对象在所述第一坐标系中的第一坐标，并且关于由与所述第一坐标系不同的第二坐标系的设定涉及的追踪系统追踪的设备算出所述第二坐标系中的第二坐标，根据用户的规定的操作，基于所述第一坐标及所述第二坐标来算出用于将所述第二坐标系的坐标变换为所述第一坐标系的坐标的坐标变换式。
本发明的程序也能够构成为使计算机执行以下步骤：在由第一坐标系定义的XR空间内渲染虚拟设备；及算出在所述XR空间内渲染的所述虚拟设备在所述第一坐标系中的第一坐标，并且关于在由与所述第一坐标系不同的第二坐标系的设定涉及的追踪系统追踪的设备设置的追踪器算出所述第二坐标系中的第二坐标，根据用户的规定的操作，基于算出的所述第一坐标及所述第二坐标来算出用于将所述第二坐标系的坐标变换为所述第一坐标系的坐标的坐标变换式。
发明效果
根据本发明，能够提供能够在第一追踪系统涉及的XR空间内容易地使用支持第二追踪系统的设备的计算机、方法及程序。
附图说明
图1是示出本发明的第一实施方式的3D对象渲染系统1的功能块的概略框图。
图2是示出3D对象渲染系统1的整体结构的图。
图3是示出计算机10的基本的硬件结构的图。
图4的(a)是示出控制器C2的外观的图，(b)是示出控制器C2的内部结构的图。
图5是示出应用部20及设备信息取得部23进行的校准处理的处理流程的流程图。
图6是示出在图5的步骤S2中显示的虚拟设备40的图。
图7是示出本发明的第二实施方式的控制器C2的内部结构的图。
图8是示出应用部20及设备信息取得部23进行的校准处理的处理流程的流程图。
图9是示出在图8的步骤S11中显示的虚拟设备40及倾斜显示信息41的图。
具体实施方式
以下，一边参照附图，一边对本发明的实施方式进行详细说明。
图1是示出本发明的第一实施方式的3D对象渲染系统1的功能块的概略框图。另外，图2是示出3D对象渲染系统1的整体结构的图。
首先参照图1，3D对象渲染系统1构成为具有计算机10、相机11a、11b、头戴显示器12、相机13a～13c、结合装置14及控制器C1、C2。另外，计算机10在功能上构成为具有应用部20、XR系统部21、追踪处理部22、设备信息取得部23及坐标变换处理部24。
相机11a、11b、头戴显示器12、结合装置14及控制器C1构成为能够通过有线或无线而与计算机10直接通信。另外，相机13a～13c及控制器C2构成为能够通过有线或无线而与结合装置14直接通信，构成为能够与计算机10经由结合装置14而通信。相机11a、11b及XR系统部21构成用于追踪头戴显示器12及控制器C1(检测其位置及倾斜)的追踪系统T1，相机13a～13c、结合装置14及追踪处理部22构成用于追踪控制器C2(检测其位置及倾斜)的追踪系统T2。
接着参照图2，3D对象渲染系统1构成为还具有位置检测装置15。位置检测装置15是具有触摸面且具有检测触摸面上的指示体的位置的功能的装置。在一例中，位置检测装置15是与计算机10通过有线或无线而连接的数字转换器，构成为将每次检测到的指示体的位置向计算机10供给。需要说明的是，在图2中，将位置检测装置15和计算机10作为分体的装置而描绘，但位置检测装置15也可以是内置于计算机10的装置。在该情况下，也可以是计算机10的显示器兼任触摸面。
相机11a、11b及相机13a～13c以能够拍摄用户就座的桌子的桌板上方的空间的方式配置。更具体而言，相机11a、11b从桌子的用户来看设置于里侧的一边的两端各自的上方。相机13a从桌子的用户来看设置于里侧的一边的中央的上方。相机13b、13c从桌子的用户来看设置于两侧的各边各自的比中央靠近用户的位置的上方。结合装置14内置于相机13a中。
控制器C1、C2分别是构成为用户能够拿在手中使用的设备。另外，头戴显示器12是向用户的头部佩戴的类型的显示器设备，构成为也能够通过向左右的眼睛放映出不同的影像而显示3D影像。
控制器C1及头戴显示器12的位置及倾斜由图1所示的追踪系统T1检测。具体来说，构成追踪系统T1的XR系统部21基于由相机11a、11b拍摄到的影像来检测控制器C1及头戴显示器12各自的位置及倾斜。由XR系统部21检测到的位置作为一例而由以头戴显示器12的规定位置为原点的坐标系(在图2中以坐标轴X1、Y1、Z1示出的坐标系。以下，称作“坐标系1”)中的坐标表示，倾斜由表示坐标系1中的旋转的四元数表示。
另一方面，控制器C2的位置及倾斜由图1所示的追踪系统T2检测。虽然详情后述，但在控制器C2的表面设置有多个追踪器(作为一例而为多个点)，构成追踪系统T2的追踪处理部22基于由相机13a～13c拍摄到的影像来确定这些追踪器中的至少3个以上的位置，从而检测控制器C2的位置及倾斜。由追踪处理部22检测到的位置作为一例而由以结合装置14的规定位置为原点的坐标系(在图2中以坐标轴X2、Y2、Z2示出的坐标系。以下，称作“坐标系2”)中的坐标表示，倾斜由表示坐标系2中的旋转的旋转矩阵表示。不过，也可以与由XR系统部21检测的倾斜同样，利用表示坐标系2中的旋转的四元数来表示控制器C2的倾斜。
在图2的例子中，计算机10由配置于桌子中央的笔记本型的个人计算机构成。不过，无需将计算机10配置于桌子中央，配置于能够与相机11a、11b、头戴显示器12、结合装置14及控制器C1通信的位置即可。另外，计算机10除了笔记本型的个人计算机之外，也能够由台式的个人计算机、平板型的个人计算机、智能手机、服务器计算机等各种各样的类型的计算机构成。
图3是示出计算机10的基本的硬件结构的图。如该图所示，计算机10构成为具有处理器101、存储装置102、通信装置103、输入装置104及输出装置105经由总线106而相互连接的结构。
处理器101是将存储于存储装置102的程序读出并执行的中央处理装置。图1所示的应用部20、XR系统部21、追踪处理部22、设备信息取得部23及坐标变换处理部24分别通过处理器101将存储于存储装置102的程序读出并执行而实现。处理器101构成为能够经由总线106而与该服务器内的各部分通信，根据执行的程序的描述而进行各部分的控制、存储于存储装置102的数据的处理等。
存储装置102是暂时或持久地存储各种程序及各种数据的装置。存储装置102通常由主存储装置、辅助存储装置等多个存储装置的组合构成，主存储装置由DRAM(DynamicRandom Access Memory：动态随机存取存储器)、SRAM(Static Random Access Memory：静态随机存取存储器)等构成，辅助存储装置由硬盘、SSD(Solid State Drive：固态驱动器)等构成。
通信装置103是根据处理器101的控制而在与外部的通信装置(包括图1所示的相机11a、11b、头戴显示器12、结合装置14及控制器C1)之间执行通信的装置。通信装置103进行的通信的方式不特别限定，但作为一例，可举出有线或无线的WAN(Wide Area Network：广域网)或LAN(Local Area Network：局域网)或蓝牙(注册商标)等近距离无线通信。
输入装置104是接收来自用户的输入的装置，包括鼠标、键盘、触摸面板等各种输入单元。输入装置104接收的用户输入的内容经由总线106而向处理器101传递。输出装置105是根据处理器101的控制而进行相对于用户的输出的装置，包括显示器、扬声器等各种输出单元。
再次参照图1，XR系统部21是用于与相机11a、11b、头戴显示器12及控制器C1协同配合来实现XR空间的软件，构成为：除了如上所述那样检测头戴显示器12及控制器C1各自的位置及倾斜的功能之外，还具有取得设置于控制器C1的表面等的操作开关的操作状态的功能和基于应用部20的指示而在头戴显示器12的显示面上渲染XR空间的功能。
应用部20是例如支持XR的应用，具有通过XR系统部21而对用户提供XR空间上的各种各样的体验的功能。作为一例，应用部20与XR系统部21、相机11a、11b、头戴显示器12及控制器C1一起作为1个套件而出售。应用部20基于预先存储于存储装置102的程序来构建XR空间，并且基于XR系统部21检测的控制器C1的位置及倾斜而将表示控制器C1的3D对象在XR空间内渲染。另外，根据XR系统部21取得的操作开关的操作状态来控制XR空间。
应用部20将控制后的XR空间的信息向XR系统部21供给。XR系统部21基于检测的头戴显示器12的位置及倾斜而在XR空间内设定用户的视点，将从该视点观看的影像向头戴显示器12供给。通过头戴显示器12显示这样供给来的影像，用户能够在XR空间内进行各种各样的体验。
追踪处理部22构成为具有如上述那样检测控制器C2的位置及倾斜的功能和取得设置于控制器C2的表面等的操作开关的操作状态的功能。追踪处理部22检测或取得的这些数据经由设备信息取得部23及坐标变换处理部24而向应用部20供给。
设备信息取得部23是通过应用部20的供应商供给的软件开发工具包制作的软件，起到将追踪处理部22检测或取得的数据向应用部20供给的作用。坐标变换处理部24是应用部20的嵌入软件，起到将从追踪处理部22供给的位置及倾斜(坐标系2中的位置及倾斜)变换为XR空间内的位置及倾斜(坐标系1中的位置及倾斜)的作用。该变换的具体的方法(坐标变换式)由应用部20及设备信息取得部23进行的校准处理决定。关于该校准处理的详情，之后详细说明。
图4(a)是示出控制器C2的外观的图，图4(b)是示出控制器C2的内部结构的图。首先参照图4(a)，控制器C2是在笔C2a的中央部分装配把手C2b而成的形状的设备。如图2所示，用户以握着把手C2b的部分的状态使用控制器C2。
如图4(b)所示，控制器C2构成为具有控制部30、芯体31、笔尖电极32、压力传感器33、34、电池35、无线通信部36、操作开关37及多个发光部38。
控制部30是对控制器C2的整体进行控制的微处理器。芯体31是沿着笔C2a的笔轴而配置的棒状的物体，由其前端构成笔C2a的笔尖。芯体31的末端抵接于压力传感器33。压力传感器33起到通过该抵接而取得施加于笔尖的压力的作用。控制部30构成为将由压力传感器33取得的压力作为笔压而取得。压力传感器34是设置于控制器C2的表面且取得用户握住控制器C2的力的传感器。控制部30构成为将由压力传感器34取得的力作为笔压而取得。由此，控制部30在笔尖未与触摸面等硬的面相接的状态使用控制器C2时也能够取得笔压。
笔尖电极32是配置于芯体31的前端附近的导电体，与控制部30电连接。控制部30构成为能够经由该笔尖电极32而与位置检测装置15双向地收发信号或者对位置检测装置15发送信号。位置检测装置15构成为使用这样从控制器C2接收的信号来取得触摸面上的控制器C2的位置并将表示取得的位置的信息向计算机10逐次发送。在控制器C2对位置检测装置15发送的信号中，能够包括表示控制部30从压力传感器33取得的笔压的值。
另外，控制部30构成为与相对于位置检测装置15的信号的发送相独立地经由无线通信部36而将表示从压力传感器34取得的笔压的值向结合装置14发送。结合装置14将表示从压力传感器34取得的笔压的值向计算机10发送。通过这样做，在空中使用控制器C2时也能够使笔压产生。
电池35起到供给控制器C2的动作电力(包括使发光部38发光所需的电力)的作用。无线通信部36是用于通过例如蓝牙(注册商标)等近距离无线通信来与图1所示的结合装置14进行通信的通信装置。控制部30经由该无线通信部36而进行与结合装置14的通信。
操作开关37是构成为能够由用户进行通断操作的开关，如图4(a)所例示那样，例如配置于把手C2b的表面。不过，操作开关37的配置场所只要是用户能够操作的场所即可，不特别限定。追踪处理部22构成为取得操作开关37的操作状态。
发光部38是例如在红外线区域中发光的LED(Light Emitting Diode：发光二极管)，如图4(a)所例示那样，配置于控制器C2的表面的各处。发光部38构成上述的追踪器，追踪处理部22基于由相机13a～13c拍摄到的影像来确定至少3个以上的发光部38的位置，从而检测控制器C2的位置及倾斜。在控制器C2可以设置至少8个发光部38，以使得：即使在控制器C2的一部分隐藏于用户的手的情况下，且不管控制器C2的角度如何，追踪处理部22都能够确定至少3个以上的发光部38的位置。
以下，对应用部20及设备信息取得部23进行的校准处理进行详细说明。
图5是示出应用部20及设备信息取得部23进行的校准处理的处理流程的流程图。在该处理中，首先，由应用部20接受校准执行指示(步骤S1)。在一例中，该指示是用户使用控制器C1而在XR空间内进行的。接着，应用部20在由坐标系1定义的XR空间内渲染表示控制器C2的虚拟设备40(步骤S2)。该渲染中的虚拟设备40在坐标系1中的位置预先确定即可。
图6是示出在步骤S2中渲染的虚拟设备40的显示的一例的图。作为一例，虚拟设备40在头戴显示器12显示。如该图所示，虚拟设备40具有与控制器C2相同的外形。在XR空间是VR空间的情况下，该图所示的控制器C2对于佩戴有头戴显示器12的用户而言看不见。用户移动握着控制器C2的手，使用手的感觉来将控制器C2向渲染于XR空间内的虚拟设备40的位置对准。然后，在该状态下按下操作开关37。
在此，在步骤S2中渲染的虚拟设备40的朝向优选以使相当于笔C2a的部分成为水平或垂直的方式设定。通过这样做，与相当于笔C2a的部分斜着的情况相比，由用户进行的对位变得容易，因此能够减小后述的旋转矩阵A的误差。
返回图5。设备信息取得部23在显示着虚拟设备40的期间，等待用户的规定的操作(步骤S3)。作为一例，规定的操作是操作开关37的按下操作。检测到规定的操作的设备信息取得部23进行与应用部20协同配合来算出坐标变换式(步骤S4～S6)、将算出的坐标变换式对坐标变换处理部24设定(步骤S7)这一系列的处理。
具体来说，设备信息取得部23首先关于设置于控制器C2的多个追踪器(发光部38)中的至少3个确定坐标系2中的坐标VHP(步骤S4)。另外，设备信息取得部23关于与上述至少3个追踪器分别相同的虚拟设备40上的各位置使应用部20确定坐标系1中的坐标VUP(步骤S5)，取得确定出的坐标VUP。
之后，设备信息取得部23通过将取得的各3个坐标VUP、VHP向以下的式(1)代入来导出旋转矩阵A及平行移动矢量B(步骤S6)。然后，作为包括导出的旋转矩阵A及平行移动矢量B的坐标变换式而对坐标变换处理部24设定(步骤S7)，结束处理。之后的坐标变换处理部24进行使用被设定的旋转矩阵A及平行移动矢量B而将从追踪处理部22供给的位置及倾斜变换为XR空间内的位置及倾斜的处理。
VUP＝A×VHP+B…(1)
如以上说明这样，根据本实施方式的计算机10，能够根据佩戴着头戴显示器12的用户移动握着控制器C2的手、将控制器C2的位置与显示于XR空间内的虚拟设备40对准后按下操作开关37这一用户操作，算出用于将坐标系2的坐标变换为坐标系1的坐标的坐标变换式(具体而言，旋转矩阵A及平行移动矢量B)，并对坐标变换处理部24设定。因此，能够在使用追踪系统T1而构建的XR空间内使用仅支持追踪系统T2的控制器C2。
接着，对本发明的第二实施方式的3D对象渲染系统1进行说明。本实施方式在控制器C2具有惯性计测装置(IMU：Inertial Measurement Unit)且追踪系统T2根据该惯性计测装置的测定结果来检测控制器C2的倾斜这一点上与第一实施方式不同。以下，着眼于不同点来详细说明。
图7是示出本实施方式的控制器C2的内部结构的图。如比较该图和图4(b)所理解的那样，本实施方式的控制器C2在具有惯性计测装置39这一点上与第一实施方式的控制器C2不同。惯性计测装置39是内置3轴的陀螺仪和3方向的加速度计的装置，起到将控制器C2的角度及加速度以3轴进行检测的作用。本实施方式的追踪处理部22构成为基于由惯性计测装置39测定出的角度及加速度来检测坐标系2中的控制器C2的倾斜。该倾斜具体而言以3×3的姿势矩阵的形式被检测。
图8是示出本实施方式的应用部20及设备信息取得部23进行的校准处理的处理流程的流程图。首先由应用部20接受校准执行指示这一点(步骤S10)与第一实施方式是同样的。接受了校准执行指示的应用部20在XR空间内除了与第一实施方式同样地渲染表示控制器C2的虚拟设备40之外，还渲染表示虚拟设备40在坐标系1中的倾斜的倾斜显示信息41(步骤S11)。
图9是示出在步骤S11中渲染的虚拟设备40及倾斜显示信息41的图。倾斜显示信息41以配置成包围虚拟设备40的周围的立方体的形状在XR空间内渲染。倾斜显示信息41的尺寸优选在充分处于用户的视野的范围内设定为比虚拟设备40充分大的尺寸。
返回图8。接着，设备信息取得部23基于惯性计测装置39的测定结果来取得控制器C2的姿势矩阵(步骤S12)。然后，应用部20基于由设备信息取得部23取得的姿势矩阵而在XR空间内渲染倾斜显示信息42(步骤S13)。
再次参照图9，在该图中也示出了倾斜显示信息42。在该图中，为了方便而将倾斜显示信息42以虚线示出，但实际的倾斜显示信息42在XR空间内以用户能够目视确认的方式显示。应用部20以XR空间内的虚拟设备40的位置为基准来渲染倾斜显示信息42。由此，用户能够通过使倾斜显示信息42与倾斜显示信息41一致来使控制器C2的倾斜与虚拟设备40的倾斜一致，因此，与仅依赖于虚拟设备40来进行对位的情况相比，能够以高的精度进行控制器C2和虚拟设备40的对位。
返回图8。设备信息取得部23在显示着虚拟设备40的期间，等待用户的规定的操作(步骤S14)。规定的操作与第一实施方式同样，可以是操作开关37的按下操作。检测到规定的操作的设备信息取得部23进行与应用部20协同配合来算出坐标变换式(步骤S15～S20)、将算出的坐标变换式对坐标变换处理部24设定(步骤S21)这一系列的处理。
具体来说，设备信息取得部23首先基于惯性计测装置39的测定结果来取得控制器C2的姿势矩阵VHR(步骤S15)，并且从应用部20取得虚拟设备40的姿势矩阵VUR(步骤S16)。然后，通过将取得的2个姿势矩阵向以下的式(2)代入来导出旋转矩阵A(步骤S17)。
VUR＝A×VHR…(2)
接着，设备信息取得部23关于设置于控制器C2的多个点(发光部38)中的至少1个确定坐标系2中的坐标VHP(步骤S18)。另外，设备信息取得部23关于虚拟设备40的相同的点使应用部20确定坐标系1中的坐标VUP(步骤S19)，取得确定出的坐标VUP。然后，通过将取得的坐标VHP、VUP及在步骤S17中导出的旋转矩阵A向上述的式(1)代入来导出平行移动矢量B(步骤S20)。
之后，设备信息取得部23将导出的旋转矩阵A及平行移动矢量B作为坐标变换式而对坐标变换处理部24设定(步骤S21)，结束处理。之后的坐标变换处理部24进行使用被设定的旋转矩阵A及平行移动矢量B而将从追踪处理部22供给的位置及倾斜变换为XR空间内的位置及倾斜的处理。
如以上说明这样，根据本实施方式的计算机10，由于在XR空间内渲染倾斜显示信息41、42，所以用户能够以比第一实施方式高的精度将控制器C2和虚拟设备40的位置对准。因此，能够以更高的精度算出用于将坐标系2的坐标变换为坐标系1的坐标的坐标变换式(具体而言，旋转矩阵A及平行移动矢量B)并对坐标变换处理部24设定。
以上，对本发明的优选的实施方式进行了说明，但本发明丝毫不限定于这样的实施方式，本发明当然能够在不脱离其主旨的范围内以各种方案来实施。
例如，在上述实施方式中，对利用基于相机的影像来检测3D对象的类型的追踪系统的3D对象渲染系统1进行了说明，但关于利用例如使用激光的类型的追踪系统的3D对象渲染系统，本发明也能够同样地应用。
附图标记说明
1          3D对象渲染系统
10         计算机
11a、11b    相机
12         头戴显示器
13a～13c   相机
14         结合装置
15         位置检测装置
20         应用部
21         XR系统部
22         追踪处理部
23         设备信息取得部
24         坐标变换处理部
30         追踪系统
30         控制部
31         芯体
32         笔尖电极
33、34      压力传感器
35         电池
36         无线通信部
37         操作开关
38         发光部(追踪器)
39         惯性计测装置
40         虚拟设备
41、42      倾斜显示信息
101        处理器
102        存储装置
103        通信装置
104        输入装置
105        输出装置
106        总线
C1、C2      控制器
C2a        笔
C2b        把手
T1、T2      追踪系统。

Claims (9)

1.一种计算机，是具有处理器的计算机，其特征在于，
所述处理器算出在由第一坐标系定义的XR空间内渲染的3D对象在所述第一坐标系中的第一坐标，并且关于由与所述第一坐标系不同的第二坐标系的设定涉及的追踪系统追踪的设备算出所述第二坐标系中的第二坐标，
所述处理器根据用户的规定的操作，基于所述第一坐标及所述第二坐标来算出用于将所述第二坐标系的坐标变换为所述第一坐标系的坐标的坐标变换式。
2.根据权利要求1所述的计算机，
所述规定的操作是对设置于所述设备的操作开关的操作。
3.根据权利要求1所述的计算机，
所述3D对象在头戴显示器显示。
4.根据权利要求1所述的计算机，
所述3D对象是表示虚拟设备的3D对象。
5.根据权利要求1～3中任一项所述的计算机，
所述处理器根据用户的所述规定的操作，关于设置于所述设备的多个追踪器中的至少3个算出所述第二坐标系中的坐标，并且关于与所述至少3个追踪器各自的位置对应的所述3D对象上的各位置算出所述第一坐标系中的坐标，基于算出的各坐标来导出平行移动矢量及旋转矩阵，由此，算出所述坐标变换式。
6.根据权利要求1～4中任一项所述的计算机，
所述处理器以将表示所述3D对象在所述第一坐标系中的倾斜的第一信息和由所述设备中包含的惯性计测装置的计测结果表示的所述设备在所述第二坐标系中的倾斜的第二信息与所述3D对象一起在所述XR空间内显示的方式控制显示器。
7.根据权利要求1～4中任一项所述的计算机，
所述处理器从所述设备中包含的惯性计测装置取得表示所述设备在所述第二坐标系中的姿势的第一矩阵，并且取得表示所述3D对象在所述第一坐标系中的姿势的第二矩阵，基于取得的所述第一矩阵及所述第二矩阵来导出旋转矩阵，
而且，所述处理器关于设置于所述设备的多个点中的1个点确定所述第二坐标系中的坐标，并且关于与设置于所述设备中的多个点中的所述1个点对应的所述3D对象的点确定所述第一坐标系中的坐标，基于确定的各坐标及所述旋转矩阵来导出平行移动矢量，由此，算出所述坐标变换式。
8.一种方法，包括以下步骤：
算出在由第一坐标系定义的XR空间内渲染的3D对象在所述第一坐标系中的第一坐标，并且关于由与所述第一坐标系不同的第二坐标系的设定涉及的追踪系统追踪的设备算出所述第二坐标系中的第二坐标，
根据用户的规定的操作，基于所述第一坐标及所述第二坐标来算出用于将所述第二坐标系的坐标变换为所述第一坐标系的坐标的坐标变换式。
9.一种程序，用于使计算机执行以下步骤：
算出在由第一坐标系定义的XR空间内渲染的3D对象的所述第一坐标系中的第一坐标，并且关于由与所述第一坐标系不同的第二坐标系的设定涉及的追踪系统追踪的设备算出所述第二坐标系中的第二坐标，
根据用户的规定的操作，基于所述第一坐标及所述第二坐标来算出用于将所述第二坐标系的坐标变换为所述第一坐标系的坐标的坐标变换式。
CN202180052215.6A 2020-10-23 2021-10-01 计算机、方法及程序 Pending CN115968465A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2020-178397 2020-10-23
JP2020178397 2020-10-23
PCT/JP2021/036458 WO2022085395A1 (ja) 2020-10-23 2021-10-01 コンピュータ、方法、及びプログラム

Publications (1)

Publication Number Publication Date
CN115968465A true CN115968465A (zh) 2023-04-14

Family

ID=81289912

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180052215.6A Pending CN115968465A (zh) 2020-10-23 2021-10-01 计算机、方法及程序

Country Status (6)

Country Link
US (1) US20230260210A1 (zh)
EP (1) EP4216040A4 (zh)
JP (1) JPWO2022085395A1 (zh)
CN (1) CN115968465A (zh)
TW (1) TW202232288A (zh)
WO (1) WO2022085395A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005147894A (ja) * 2003-11-17 2005-06-09 Canon Inc 計測方法、計測装置
JP4677273B2 (ja) * 2004-06-29 2011-04-27 キヤノン株式会社 情報処理方法および情報処理装置
KR102310994B1 (ko) * 2014-11-25 2021-10-08 삼성전자주식회사 3차원 상호작용 컴퓨팅 장치 및 방법
US9805512B1 (en) 2015-11-13 2017-10-31 Oculus Vr, Llc Stereo-based calibration apparatus
WO2019152619A1 (en) * 2018-02-03 2019-08-08 The Johns Hopkins University Blink-based calibration of an optical see-through head-mounted display
BR112020017167A2 (pt) * 2018-02-23 2020-12-22 Telefonaktiebolaget Lm Ericsson (Publ) Alinhamento de coordenação de sistemas de coordenadas usados para um dispositivo de realidade gerada por computador e um dispositivo háptico
GB2571953A (en) 2018-03-13 2019-09-18 Massless Emea Ltd Single view tracking of cylindrical objects
WO2019181118A1 (ja) * 2018-03-23 2019-09-26 株式会社ワコム ３次元位置指示器及び３次元位置検出システム
US11100713B2 (en) * 2018-08-17 2021-08-24 Disney Enterprises, Inc. System and method for aligning virtual objects on peripheral devices in low-cost augmented reality/virtual reality slip-in systems

Also Published As

Publication number Publication date
US20230260210A1 (en) 2023-08-17
EP4216040A1 (en) 2023-07-26
EP4216040A4 (en) 2024-03-13
WO2022085395A1 (ja) 2022-04-28
JPWO2022085395A1 (zh) 2022-04-28
TW202232288A (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
JP5508122B2 (ja) プログラム、情報入力装置、及びその制御方法
US20210048897A1 (en) Position indicating device and information processing device
JP5656514B2 (ja) 情報処理装置及び方法
CN111344663B (zh) 渲染装置及渲染方法
US20030184602A1 (en) Information processing method and apparatus
US11995252B2 (en) Input system and input method for setting instruction target area including reference position of instruction device
US20200089311A1 (en) Tracking System and Tacking Method Using the Same
EP3705982B1 (en) Apparatus and method for adaptively configuring user interface
US20170090716A1 (en) Computer program for operating object within virtual space about three axes
CN111736689B (zh) 虚拟现实装置、数据处理方法与计算机可读存储介质
US9013404B2 (en) Method and locating device for locating a pointing device
CN117784926A (zh) 控制装置、控制方法和计算机可读存储介质
CN115968465A (zh) 计算机、方法及程序
KR100636094B1 (ko) 3차원 사용자 입력 장치 및 그 입력 처리 방법
US10936147B2 (en) Tablet computing device with display dock
KR101066829B1 (ko) 공간 입력장치 및 이를 이용한 입력방법
KR20220009196A (ko) 사용자 인터페이스 송신 장치 및 수신 장치, 그리고 이를 이용한 시스템
JP2014146354A (ja) プログラム、情報入力装置、及びその制御方法
JP2013125311A (ja) 情報入力システムとそのプログラム
KR20050010649A (ko) 좌표축 변환을 통한 역학 센서를 사용한 입력장치
KR20050030241A (ko) 좌표축 변환을 통한 역학 센서를 사용한 입력장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination