CN108351690A - 信息处理装置、信息处理系统和信息处理方法 - Google Patents

信息处理装置、信息处理系统和信息处理方法 Download PDF

Info

Publication number
CN108351690A
CN108351690A CN201680062535.9A CN201680062535A CN108351690A CN 108351690 A CN108351690 A CN 108351690A CN 201680062535 A CN201680062535 A CN 201680062535A CN 108351690 A CN108351690 A CN 108351690A
Authority
CN
China
Prior art keywords
axis
information processing
information
acceleration
acceleration transducer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680062535.9A
Other languages
English (en)
Other versions
CN108351690B (zh
Inventor
土江竜雄
池上涉
池上涉一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Publication of CN108351690A publication Critical patent/CN108351690A/zh
Application granted granted Critical
Publication of CN108351690B publication Critical patent/CN108351690B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

根据本发明，信息处理装置的姿势数据获取部分从头戴式显示器的运动传感器获取输出值(S10)，然后基于校正公式校正输出值来获得有效的加速度(S12)。在基于加速度计算相对于设为基准的运动传感器的轴的姿势之后，通过基于先前获取的角度误差执行旋转校正来计算头戴式显示器的姿势，所计算的姿势被输出到信息处理单元(S14，S16)。校正数据更新单元基于从捕获图像中获取的头戴式显示器上的标记来获取姿势信息(S18)，并且通过与基于标记的姿势信息进行比较来更新用于从传感器输出值计算姿势的校正数据(S20、S22中的是)。

Description

信息处理装置、信息处理系统和信息处理方法
技术领域
本发明涉及响应于在真实世界中的移动而处理信息的信息处理技术。
背景技术
存在涉及通过照相机捕获用户身体的图像和附接到其上的标记，并用用于在显示设备上显示的另一图像替换与捕获的图像相对应的显示区域的视频游戏(例如，参见专利文献1)。不仅分析所捕获的图像，而且分析来自附接于用户或由用户保持的各种传感器的测量结果，以及具有反映在诸如游戏的信息处理中的分析结果的技术已经在从小型游戏机到休闲的设备的广泛领域中得到广泛接受。
[引用列表]
[专利文献]
欧洲公开专利EP0999518
发明内容
[技术问题]
对于上述技术，如何准确获取与目标物体的姿势和移动有关的信息一直是主要挑战。例如，在用户穿戴在头上的头戴式显示器向用户呈现虚拟世界的情况下，该虚拟世界不仅反映头部的移动而且还改变用户的视野，如何准确地检测头部的姿势和移动对于表达更真实的感觉和更高的沉浸感来说，是一个需要解决的挑战。除了表达的问题之外，检测到的值甚至与头部的姿势稍有不一致可能会导致用户在连续观看反映检测值的显示图像期间失去平衡感。这可能会足够危险以对用户的身体状况产生不利影响。
本发明是鉴于上述情况而完成的。因此，本发明的目的是提供用于容易且高度准确地获取与目标物体的姿势有关的信息的技术。
[问题的解决方案]
根据本发明的一个实施例，提供了一种信息处理装置。该信息处理装置包括：输入信息获取部分，其被配置为从安装在目标物体上的加速度传感器中获取输出值；姿势数据获取部分，其被配置为通过基于输出值计算加速度传感器的轴上的加速度的速率来获取与目标物体有关的姿势信息，以便基于所计算的加速度的速率获得轴的倾斜角，以及信息处理部分，其被配置为在输出作为信息处理的结果而生成的输出数据之前，使用姿势信息来执行信息处理。基于一方面加速度传感器的轴与另一方面赋予目标物体的基准轴之间的角度误差，姿势数据获取部分根据与目标物体有关的姿势信息校正与加速度传感器有关的姿势信息。
根据本发明的另一方面，提供了一种信息处理系统。信息处理系统包括头戴式显示器和被配置为与头戴式显示器建立连接并生成显示图像的数据的信息处理装置。该信息处理装置包括：输入信息获取部分，其被配置为从安装在头戴式显示器上的加速度传感器中获取输出值，姿势数据获取部分，其被配置为通过基于输出值计算加速度传感器的轴上的加速度的速率来获取与头戴式显示器有关的姿势信息，以便基于所计算的加速度的速率来获得轴的倾斜角，以及信息处理部分，其被配置为生成具有根据使用姿势信息的姿势改变的虚拟视图的显示图像的数据，信息处理部分进一步将显示图像数据输出到头戴式显示器。姿势数据获取部分基于一方面加速度传感器的轴与另一方面赋予头戴式显示器的基准轴之间的角度误差，根据与头戴式显示器有关的姿势信息，校正与加速度传感器有关的姿势信息。
根据本发明的另一方面，提供了一种信息处理方法。该信息处理方法包括以下步骤：从安装在目标物体上的加速度传感器中获取输出值，通过基于输出值计算加速度传感器的轴上的加速度的速率来获取与目标物体有关的姿势信息，以便基于所计算的加速度的速率来获得轴的倾斜角，以及在将作为信息处理的结果而生成的输出数据输出到另一装置之前，使用姿势信息来执行信息处理。基于一方面加速度传感器的轴与另一方面赋予目标物体的基准轴之间的角度误差，姿势信息获取步骤根据与目标物体有关的姿势信息校正与加速度传感器有关的姿势信息。
顺便提及，如果在诸如记录计算机程序的方法、装置、系统、计算机程序和记录介质的不同形式之间转换本发明的上述组成元件的其他组合或上述表达式，它们仍构成本发明的有效实施例。
[本发明的有益效果]
根据本发明，容易并且高度准确地获得与目标物体的姿势有关的信息。
附图说明
图1是描绘可以应用本发明的实施例的信息处理系统的典型配置的示意图。
图2是描绘作为本发明的一个实施例的信息处理装置的典型内部电路配置的框图。
图3是描绘本发明实施例中的头戴式显示器(HMD)的典型内部电路配置的框图。
图4是描绘本发明的实施例中的HMD的外部形状的示意图。
图5是描绘作为本发明的一个实施例的信息处理装置以及构成其一部分的HMD中的功能块的配置的框图。
图6是说明一方面显示图像与另一方面实施例中用加速度传感器进行测量的加速度的速率之间的典型关系的示意图。
图7是说明用于通过实施例的校准来获得校正公式的技术的示意图。
图8是说明用本实施例执行旋转校正的原理的示意图。
图9是描绘由本实施例的姿势数据获取部分执行的姿势获取处理的过程的流程图。
具体实施方式
图1描绘可以应用本发明的实施例的信息处理系统的典型配置。信息处理系统8包括：对目标物体成像的成像设备12、基于捕获图像执行信息处理的信息处理装置10、显示由信息处理产生的图像的平板显示设备16、也显示这样的图像的头戴式显示器(以下称为HMD)18以及由用户操作的输入设备14。
信息处理装置10、成像设备12、输入设备14、平板显示设备16和HMD18可以通过电缆或通过诸如蓝牙(注册商标)的已知无线通信技术互连。基于由信息处理装置10执行的信息处理，可以选择性地引入输入设备14和平板显示设备16。这些设备的外形不限于图中所示。上述设备中的至少两个可以一体形成。例如，信息处理装置10、输入设备14和平板显示设备16可以一体形成在便携式终端中。
HMD 18是由用户穿戴在头上的显示设备，其被设计为在诸如位于用户眼睛前方的有机电致发光(EL)面板的显示面板上以显示图像。例如，HMD18可以通过生成从右视角和左视角观看的视差图像并且通过在显示屏幕的平分左右区域上显示所生成的视差图像来呈现立体图像。诸如加速度传感器和陀螺仪传感器的运动传感器被结合在HMD 18中或从外部附接到HMD 18。这些传感器测量与用户头部的姿势和移动有关的物理量，并将测量结果连续地发送给信息处理装置10。HMD 18可以进一步结合位于抵靠用户的耳朵的扬声器或耳机以用于向其输出音频。
成像设备12包括以预定帧速率对诸如用户的目标物体进行成像的照相机和通过执行诸如对从照相机输出的信号进行去马赛克的已知处理来生成捕获图像的输出数据的机构，该机构进一步将生成的输出数据输出到信息处理装置10。照相机是立体照相机，其包括普通可见光传感器，诸如以预定距离相隔左右定位的电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。
信息处理装置10通过使用从HMD 18的运动传感器发送的测量结果和来自成像设备12的捕获图像数据执行必要的信息处理来生成诸如图像和声音的输出数据。由信息处理装置10执行的处理的内容不限于特定的任何内容，并且可以基于用户期望的具体功能和应用根据需要来确定。例如，视频游戏可以根据用户的移动和输入而提前(be advanced)。虚拟世界的显示图像可以以使得虚拟世界的视野将随着头部移动而改变这样的方式生成。用户的移动可以被转换为用于信息处理的命令输入。
信息处理装置10可以使用附接到其上的标记来获取输入设备14的移动。信息处理装置10可以替代地使用除诸如通过跟踪安装在HMD 18的外表面上的多个标记的运动传感器以外的装置来获取用户头部的姿势和移动。在这种情况下，来自运动传感器的测量结果和来自其他装置的测量结果可以以互补的方式使用，以提高检测姿势和移动的准确性。作为另一种替代方案，如稍后将讨论的，可以使用与从捕获图像中的标记图像获取的头部姿势有关的信息来校正来自运动传感器的测量结果。由信息处理装置10生成的输出数据至少被发送到HMD 18或平面显示设备16。
平板显示设备16可以是具有用于输出二维图像的显示器和用于输出声音的扬声器的电视机(TV)。例如，平板显示设备16可以是液晶显示电视机、有机EL电视机、等离子显示电视机或个人计算机(PC)显示器。在另一示例中，平板显示设备16可以是具有扬声器的平板终端或移动终端的显示器。当由用户操作时，输入设备14接收诸如用于开始和结束处理、选择功能和输入命令的这些请求，并且将接收到的请求作为电信号输出到信息处理装置10。
输入设备14可以是诸如游戏控制器、键盘、鼠标、操纵杆、安装在平板显示设备16的显示表面上的触摸板的常用输入设备中的任何一种，或者这些设备的组合。输入设备14可以进一步包括具有以预定颜色发光的元件的发光标记或者这种发光元件的集合体。在这种情况下，信息处理装置10可以使用捕获的图像来跟踪标记的移动并且将输入设备14的移动解释为用户的操作。作为另一种替代方案，输入设备14可以仅由发光标记和用于保持该标记的机构组成。
图2描绘了信息处理装置10的内部电路结构。信息处理装置10包括中央处理单元(CPU)22、图形处理单元(GPU)24和主存储器26。这些组件经由总线30互连。总线30还被连接到输入/输出接口28。输入/输出接口28被连接到外围设备接口，诸如通用串行总线(USB)接口和电气和电子工程师协会(IEEE)1394接口；由有线或无线局域网(LAN)接口组成的通信部分32；存储部分34，诸如硬盘驱动器或非易失性存储器；输出部分36，用于将数据输出到平面显示设备16和HMD 18；输入部分38，用于输入来自成像设备12、输入设备14或HMD 18的数据；以及驱动诸如磁盘、光盘或半导体存储器的可移动记录介质的记录介质驱动部分40。
CPU 22通过执行存储在存储部分34中的操作系统来控制整个信息处理装置10。CPU 22还执行从可移动记录介质读取并加载到主存储器26中的各种程序或经由通信部分32下载的程序。GPU 24具有几何引擎的功能和渲染处理器的功能。根据来自CPU 22的渲染指令，GPU 24执行渲染处理并将得到的显示图像存储在帧缓冲器(未示出)中。GPU 24继续将帧缓冲器中的显示图像转换为视频信号，并将视频信号输出到输出部分36。主存储器26由存储处理所需的程序和数据的随机存取存储器(RAM)组成。
图3描绘了HMD 18的内部电路结构。HMD 18包括CPU 50、主存储器52、显示部分54和音频输出部分56。这些组件经由总线58互连。总线58进一步被连接到输入/输出接口60。输入/输出接口60被连接到由有线或无线LAN网络接口、运动传感器64和发光部分66组成的通信部分62。
CPU 50经由总线58处理从HMD 18的组件获取的信息，并将输出数据馈送到显示部分54和音频输出部分56。主存储器52存储CPU 50处理所需的程序和数据。然而，基于要执行的应用或使用中的设备的设计，信息处理装置10可以实施大部分处理，使得HMD 18仅需输出从信息处理装置10发送的数据。在这种情况下，CPU 50和主存储器52可以用更简单的设备代替。
显示部分54配置有在穿戴HMD 18的用户的眼睛的前方显示图像的诸如液晶显示面板或有机EL面板的显示面板。如上所述，立体视图可以通过在与右眼和左眼对应的面板区域中显示一对视差图像来实现。显示部分54可以进一步包括位于显示面板和穿戴HMD 18的用户的眼睛之间的一对透镜，透镜用于扩大用户的视角。在这种情况下，显示图像经历失真校正，使得当经由信息处理装置10上或HMD 18上的透镜观看时，图像将正常出现。
音频输出部分56包括当用户穿戴HMD 18时位于用户耳朵所在的位置的扬声器或耳机，从而允许用户听到声音。用于输出的音频通道的数量不受限制。音频输出部分56可以具有单声道、立体声或环绕扬声器或耳机。通信部分62是向信息处理装置10和平板显示设备16发送和从信息处理装置10和平板显示设备16接收数据的接口。例如，通信部分62可以使用诸如蓝牙(注册商标)的已知的无线通信技术来实现。
例如，通过加速度传感器和陀螺仪传感器的组合来提供运动传感器64，并且检测HMD 18的姿势和移动。检测的结果经由通信部分62被发送到信息处理装置10。发光部分66是以预定颜色发光的元件或集合体。多个发光元件被附接到HMD 18的外表面。作为标记被跟踪的这些发光元件允许获取HMD 18的位置。而且，HMD 18的姿势是基于捕获图像中的标记图像的数量和他们之间的位置关系来获取的。
图4描绘了HMD 18的外观。在该示例中，HMD 18由输出机构部分102和穿戴机构部分104组成。穿戴机构部分104包括由用户穿戴在头部周围以保护设备的耐磨带106。耐磨带106由长度可调整至用户头部的周边的材料组成或具有这样的结构。例如，耐磨带106可以由诸如橡胶的弹性体形成，或者可以采用带扣或齿轮布置。
输出机构部分102包括外壳108，外壳108的形状为当用户穿戴HMD 18时能覆盖用户的右眼和左眼的形状。在外壳108内部是当设备被穿戴时面向双眼的显示面板。外壳108外部是发光标记110a、110b、110c和110d。尽管发光标记的数量及其位置不受限制，但在本实施例中，四个发光标记被布置在输出机构部分102的外壳前部的四个角处。进一步，发光标记110e和110f也可以被布置在耐磨带106的背面的两侧。输出机构部分102下面的发光标记110c和110d以及耐磨带106外部的发光标记110e和110f从图4的视图中看不到，因此用虚线描绘每个标记的周边。
发光标记指示用户在捕获图像的平面上的位置。当如图所示安装在HMD18上时，发光标记也用于获取头部的姿势。例如，如果用户直接面向成像设备12，则四个发光标记110a、110b、110c和110d被成像。如果用户面向侧面，则三个发光标记(例如，发光标记110b、110d和110e)被成像。如果用户面向后方，则两个发光标记110e和110f被成像。
即使用户面向这些方向之间的某个位置，也可以基于捕获图像中的标记图像之间的位置关系来估计头部在HMD 18的三维(3-D)空间中的姿势，例如，只要一方面HMD 18的3D模型的姿势与另一方面成像平面上标记的投影之间的关系以与计算机图形学中相同的方式获得即可。未示出的运动传感器64进一步被结合在HMD 18中或从外部附接到HMD 18。对于本实施例来说基本的是获得相对于使用加速度传感器作为运动传感器64的一部分的重力矢量的角度以及使用陀螺仪传感器作为运动传感器64的另一部分的面部的方向，并且获取用户头部的姿势。
头部在3-D空间中的位置是根据立体照相机从右视角和左视角捕获的立体图像中的标记图像的位置来获取的。当以这种方式获取头部的位置和姿势并且相应地改变显示在HMD 18上的虚拟世界图像的视野时，用户可以体验到几乎在虚拟世界内的感觉。当获取姿势时，通过整体获得与捕获图像中的标记图像有关的信息可以提高获取的准确性。HMD 18和运动传感器64可以不是一体形成。例如，可以将运动传感器64附接到用户身体的一部分，从而由此检测身体的姿势和移动并将其转变成图像。这样生成的图像可以被显示在平面显示设备16上。这也构成了本实施例可以应用的设置。
在任何设置中，来自运动传感器64的测量结果，即使与现实稍有不一致时，也会显著影响信息处理和最终的显示。例如，在显示的视频游戏的虚拟世界中，用户可能打算直线前进，但可能发现他/她自己以稍有不同的方向移动，或者用户可能保持头部笔直向上，但显示图像的视野可能会出现略微倾斜。这会给用户带来不适感。连续地观看水平不平衡的图像可能会导致用户失去平衡感，并且甚至会对用户的身体状况产生不利影响。在本实施例中，在获取头的姿势之前，在从包括一个传感器到另一个传感器(诸如加速度传感器和陀螺仪传感器)的值的输出事件之间经过一段时间之后适当地执行校正。这减少了检测姿势角度的任何误差，从而尽可能地避免了失去平衡感的问题。
图5描绘了信息处理装置10和HMD 18中的功能块的配置。图5所描绘的功能块以硬件配置实现，该硬件配置可以包括如图2和3所示的CPU、GPU、各种存储器、显示装置、扬声器、发光元件和传感器。例如，这些功能块也以软件实现为通常从记录介质加载到存储器中以提供数据输入功能、数据保持功能、图像处理功能和通信功能的程序。因此，本领域技术人员将理解，这些功能块仅由硬件、仅由软件或者以各种形式的组合来实现，并且不限于任何这种形式。
信息处理装置10包括：输入信息获取部分72，其获取从输入设备14和HMD 18输入的信息，捕获图像获取部分74，其从成像设备12获取捕获图像数据，姿势数据获取部分76，其获取表示用户头部的姿势的数据，图像分析部分78，其分析捕获图像以跟踪目标物体，信息处理部分80，其根据诸如视频游戏的正在执行的应用执行信息处理，以及输出数据发送部分82，其将输出数据发送到HMD 18和平板显示设备16。
HMD 18包括：输出数据接收部分94，其接收从信息处理装置10发送的输出数据，测量部分，其由运动传感器和通信机构组成，发光部分92，其由发光元件和用于控制从中发光的机构组成，显示处理部分98，其显示从由输出数据接收部分94接收的输出数据中提取的图像，以及音频处理部分96，其输出从输出数据提取的声音。
信息处理装置10中的输入信息获取部分72从输入设备14中获取详细的用户操作。用户操作可以包括对要执行的应用的选择、处理的开始和结束、命令的输入以及在信息处理期间通常执行的其他操作。基于从输入设备14获取的信息的内容，输入信息获取部分72将该信息馈送到捕获图像获取部分74或信息处理部分80。而且，输入信息获取部分72接收运动传感器输出来自HMD 18中的测量部分90的值，并将接收到的值馈送到姿势数据获取部分76。
捕获图像获取部分74以预定帧速率获取诸如由成像设备12通过视频成像获得的立体图像的捕获图像的数据。而且，捕获图像获取部分74可以根据由输入信息获取部分72从用户获得的处理开始或结束请求，执行控制以开始或结束通过成像设备12的成像。基于通过信息处理部分80的处理的结果，捕获图像获取部分74可以进一步控制从成像设备12获取的数据的类型。
基于来自HMD 18中的测量部分90的传感器输出值，姿势数据获取部分76以预定速率获取用户头部的姿势和移动，并将所获取的移动馈送到信息处理部分80。姿势数据获取部分76包括：校正数据存储部分84，其作为存储区域用于存储从传感器输出值中获取姿势时校正所需的数据(该数据将在下文中被称为“校正数据”)，姿势计算部分86，其使用校正数据从传感器输出值中计算头部姿势，以及校正数据更新部分88，其根据需要更新校正数据。在本实施例中，对两种误差执行校正：(1)源自运动传感器的初始安装的误差；和(2)由于运动传感器的老化而逐渐发生误差。稍后将讨论执行校正的具体方法。
用于校正上述(1)类别中的误差的数据是在HMD 18的制造期间获取的，并且通常在发货时存储在校正数据存储部分84中。校正数据更新部分88根据需要从一开始就更新存储在校正数据存储部分84中的校正数据，从而提供用于校正上述(2)类别中的误差的数据。此时，校正数据更新部分88通过比较两个姿势来确定是否需要更新校正数据：如上所述由图像分析部分78从捕获图像中的多个标记图像中获取HMD 18的姿势，以及由姿势计算部分86计算出的姿势。如果两姿势之间的差异非常大，则校正数据更新部分88以使得与通过图像分析获取的姿势相同的姿势也可以从运动传感器输出值中获得这样的方式更新校正数据。
在随后的校正中，姿势计算部分86使用更新的校正数据。如果存在多个HMD 18可能与信息处理装置10连接的可能性，则校正数据存储部分84可以将校正数据与个体标识信息相关联地存储，个体标识信息与每个HMD 18有关，使得校正数据将相对于每个HMD进行管理。例如，如果校正数据的初始值被存储在HMD 18的内部存储器中，则姿势数据获取部分76通常在初始连接时经由输入信息获取部分72将从存储器获取的初始值加载到校正数据存储部分84中。
图像分析部分78从捕获图像的每帧中检测HMD 18上的标记的图像，并从中获取用户头部在真实空间中的位置和姿势。头部在真实空间中的位置由从成像平面到根据立体图像中的相关标记图像之间的位置关系计算出的标记的距离以及由图像平面上的标记图像的位置来识别。现有技术可用于识别目标物体的位置的处理中和跟踪物体的处理中。图像分析部分78将与获取的位置和姿势有关的信息连续地馈送到信息处理部分80。
在姿势数据获取部分76中的由校正数据更新部分88请求的预定时刻或时间点，图像分析部分78向校正数据更新部分88提供与根据捕获图像中的标记图像的数量及其位置关系来获取的HMD 18的姿势有关的信息。接着，校正数据更新部分88根据需要更新存储在校正数据存储部分84中的校正数据。
信息处理部分80通过适当地综合由姿势数据获取部分76获取的关于头部姿势的数据和由图像分析部分78获得的关于用户的位置和姿势的数据来执行预定信息处理。最通常地，虚拟世界可以通过推进正在进行的游戏并且响应于如上所述的用户头部的移动而改变其视野来呈现。只要使用头部的姿势，信息处理的内容不限于任何特定的内容。信息处理部分80输出如此实施的信息处理的结果作为表示图像和声音的输出数据。输出数据发送部分82连续获取由信息处理部分80生成的输出数据，并且在根据需要修改所获取的数据之后，将数据馈送到HMD 18或平板显示设备16中的至少一个。
HMD 18中的输出数据接收部分94接收来自信息处理装置10的输出数据。给定输出数据，输出数据接收部分94将从中提取的视频数据和音频数据分别馈送到显示处理部分98和音频处理部分96。结果，包括在显示处理部分98中的显示面板输出图像，并且包括在音频处理部分96中的扬声器输出声音。显示处理部分98可以切出例如由此生成的图像的一部分，并且将切出部分的数据发送到平面显示设备16。
包括图3中所描绘的运动传感器64和通信部分62的测量部分90以预定速率将运动传感器64的输出值发送到信息处理装置10。输出值包括诸如由加速度传感器测量的预定数量的轴上的加速度的速率和由陀螺仪传感器测量的角速度之类的信息。包括图3所描绘的发光部分66的发光部分92使其用作以预定颜色的发光的发光标记。发出的光的颜色可以由信息处理装置10指定。在这种情况下，输出数据接收部分94从信息处理装置10获取用于指定发光颜色的数据，并将获取的数据发送到发光部分92。例如，可以根据用户的标识信息来改变发光颜色。这使得可以通过发光颜色区分多个用户的头部。类似地，信息处理装置10可以进一步指定附接到输入设备14的标记的发光颜色。
图6是说明一方面显示图像与另一方面用加速度传感器进行测量的加速度的速率之间的典型关系的示意图。该示例描绘了穿戴在头上的配备有三轴加速度传感器的HMD 18的用户150。该示例指示如何根据用户头部的姿势改变虚拟世界152的视野。假设在具有垂直向下定向的重力矢量g(其中X0轴和Y0轴定义水平面并且Z0轴在垂直方向上)的参考正交坐标系中，加速度传感器的X轴、Y轴和Z轴分别倾斜角度θ、ψ和φ。在此假设下，一方面要测量的加速度的速率A(X)、A(Y)和A(Z)与另一方面轴的角度之间的关系定义如下：
[数学.1]
加速度传感器的姿势使用上述表达式1所定义的测量的轴上的加速度的速率来获得。通过陀螺仪传感器获得用户脸部的方向。以这种方式，确定用户150的头部的姿势，并且也确定用户所面向的方向的方向矢量v。然后相应地确定屏幕坐标系，虚拟世界152投影到对应于系统设置的屏幕154上。这允许显示虚拟世界图像的视野的显示根据用户面向的方向而改变。
值得注意的是，来自加速度传感器的输出值包含来自传感器之间的个体差异和来自所安装的基板准确性的误差。通常，这需要在制造加速度传感器时执行初始校准，从而确定用于从输出值获得加速度的有效速率的校正公式。如果假设轴上加速度传感器的输出值为Aout(X)、Aout(Y)和Aout(Z)，则校正公式如下：
A(X)＝SX×Aout(X)+BX
A(Y)＝SY×Aout(Y)+BY
A(Z)＝SZ×Aout(Z)+BZ
其中，SX、SY和SZ代表比例值，BX、BY和BZ代表偏差值。这些值构成校正数据的一部分。
图7是说明用于通过校准来获得校正公式的技术的示意图。如图所示，校准涉及获取用六个方向夹具固定的加速度传感器的输出值。具体地，在图7的状态(a)和(b)中，其中X轴的正方向分别垂直向上和向下，获取X轴上的输出值Aout(X+)和Aout(X-)。在Y轴的正方向分别垂直向上和向下的状态(c)和(d)中，测量Y轴上的输出值Aout(Y+)和Aout(Y-)。在Z轴的正方向分别垂直向上和向下的状态(e)和(f)中，测量Z轴上的输出值Aout(Z+)和Aout(Z-)。
例如，预期X轴上的加速度A(X)的速率在状态(a)为-g，并且在状态(b)为-g，使得针对这些状态指定以下表达式：
-g＝SX×Aout(X+)+BX
+g＝SX×Aout(X-)+BX
通过求解上述联立方程式来获得比例值SX和偏差值BX。这同样适用于Y轴和Z轴。结果，获得比例值SX、SY和SZ以及偏置值BX、BY和BZ。
理论上，如上所述实施的校准提高了获取姿势的准确性。但是，如本实施方式那样在显示图像中反映了姿势的情况下，即使是约1度的微小的误差也会给用户带来上述的不适感。具体地，诸如提供沉浸感的HMD的显示设置会会对用户的身体状况产生不利影响。即使在上述初始校准之后，仍可能发生由各种因素引起的小误差，这些因素包括在校准期间使用夹具或进行测量时的准确性以及将传感器附接到HMD 18的准确性。
因此，利用附接到HMD 18的加速度传感器获取更多的校正数据，使得误差可以最小化。具体地，假设加速度传感器的安装角度包括微小的误差。在此假设下，以这样的方式对从加速度获得的姿势实施旋转校正以抵消误差。因此，基于加速度传感器的姿势，不仅准确地获取HMD 18而且获取用户的头部的姿势。由传感器安装之后的上述因素引起的误差也适用于其他传感器，诸如包括在运动传感器64中的陀螺仪传感器。然后可以使用相同的校正数据来校正来自其他传感器的输出值。例如，这允许更准确地获取用户面向的方向的方向矢量v。图8是说明执行旋转校正的原理的示意图。首先，使用安装在HMD 18上的加速度传感器，对应于图7中的(a)至(f)中的每个方向的HMD 18被固定。然后获取加速度传感器的三个轴上的输出值。
这些输出值使用上述的比例值SX、SY和SZ以及偏置值BX、BY和BZ进行校正。如果加速度传感器安装时没有误差，则其状态与上述初始校准的状态相同。在这种情况下，校正后的加速度A(X)、A(Y)和A(Z)的速率在图7的状态(a)和(b)中的X轴方向上、在状态(c)和(d)中的Y轴方向上以及状态(e)和(f)中的Z轴方向上为+g或-g。在其他轴方向上，加速度A(X)、A(Y)和A(Z)的速率为0。另一方面，在存在误差的情况下，即使HMD 18对应于图7的状态(a)至(f)被固定，由于加速度传感器的轻微倾斜，轴相对于垂直方向具有角度。结果，加速度的速率成为其他一些值。
也就是说，在给定这些加速度的速率的情况下，加速度传感器的轴倾斜被获得为HMD 18的初始坐标轴与重力矢量重合的六个状态中的加速度矢量。轴的倾斜角以上述表达1所定义的方式与加速度A(X)、A(Y)和A(Z)的速率有关。这里假设，在HMD 18对应于图7的状态(a)至(f)被固定的情况下，由加速度传感器给出的加速度矢量为V(X+)、V(X-)、V(Y+)、V(Y-)、V(Z+)和V(Z-)。在图8中，在这些状态综合的情况下，加速度矢量的倾斜角相对于HMD18的XH轴、YH轴和ZH轴同时被描绘。因为图7的状态(a)和(b)之间存在180度的差异θ，加速度矢量V(X+)和V(X-)理论上在相反的方向上，但在同一条直线上。该线构成加速度传感器的X轴。
类似地，加速度矢量V(Y+)和V(Y-)构成加速度传感器的Y轴，并且加速度矢量V(Z+)和V(Z-)组成其Z轴。如果在安装加速度传感器时没有误差，则其X、Y和Z轴与HMD 18的坐标轴重合。例如，如果加速度传感器略微倾斜，则X、Y和Z轴上的正交坐标发生相对于HMD 18的正交坐标的倾斜量的旋转。为了抵消该像差，预先获得轴的误差角度σθ、σψ和σφ，并将其存储到校正数据存储部分84中。
在操作中，使用以上表达式1的姿势计算部分86基于来自加速度传感器的输出值从加速度的速率中获得姿势，并且从各个角度减去涉及的误差，以准确地计算HMD 18以及特别是用户的头部的姿势。对任何其他传感器呈现的角度信息实施类似的校正。然而，由于安装误差以外的因素，可能无法获得构成加速度传感器的任何一个轴的加速度矢量的线性或其轴之间的正交性。例如，加速度矢量V(Z+)和V(Z-)可能不构成直线，或者两个矢量中的任何一个可能不明显地正交于X轴或Y轴。
在那种情况下，加速度矢量如果未经校正地旋转，则不能与HMD 18的正交坐标轴重合。通过从误差角度σθ、σψ和σφ的计算中去除这些加速度矢量，可以抵消该像差。例如，任何一个被认为是异常的轴可以根据线性和正交性来识别。剩余的两个轴然后可以以使得这两个轴与HMD 18的对应轴重合的方式旋转以获得它们的误差角度。基于诸如视频游戏的信息处理的内容，承受较大角度变化的轴可能受到限制。在这种情况下，可以以使得优先使轴与HMD 18的对应轴重合的方式获得受限轴的误差角度。这些措施有效地提高了姿势检测的准确性。
可替代地，利用相对于HMD 18的对应轴获取的每个加速度矢量的角度，可以对涉及的轴的误差角度进行平均以找出每个轴的平均误角度。作为另一种替代方案，可以根据最接近于HMD 18的任何轴的给定轴上的旋转量来计算误差角度。也可以从操作期间的姿势计算中排除就相同轴上的加速度矢量的线性或所涉及的轴之间的正交性而言加速度明显是异常的任何轴。
以下说明的是由上述配置实施的操作。图9是描绘由姿势数据获取单元76执行的姿势获取处理的步骤的流程图，该姿势获取处理包含由校正数据更新部分88执行的校正数据更新处理。顺便提及，姿势数据获取部分76也可以从除了加速度传感器之外的其他传感器(未示出)的测量结果中根据需要生成或综合信息，这些传感器被包括在安装在HMD 18上的运动传感器中。
首先，姿势计算部分86从HMD 18的加速度传感器中获取输出值(S10)。姿势计算部分86通过参考存储在校正数据存储部分84中的校正数据来校正输出值(S12)。具体地，姿势计算部分86通过将轴上的输出值代入包括预先准备的比例值和偏差值的校正公式来计算加速度的有效速率。此时，在允许多个HMD 18与信息处理装置10连接的情况下，姿势计算部分86在参考与所获取的个体标识信息相关联的校正数据之前首先获取与每个HMD 18相关的个体标识信息。这不仅适用于比例值和偏差值，还适用于角度误差。
然后，姿势计算部分86计算相对于参考正交坐标系的倾斜角度θ、ψ和φ，即，使用以上表达式1来计算姿势(S14)。此时，姿势计算部分86通过根据存储在校正数据存储部分84中误差角度σθ、σψ和σφ量对输出值实施旋转校正，从加速度传感器的姿势准确地获得头部姿势。类似地对来自其他传感器的角度相关输出值实施旋转校正。如此计算的姿势信息被输出到信息处理部分80(S16)。同时，校正数据更新部分88从图像分析部分78获取与作为分析捕获图像的结果而获得的HMD 18的姿势有关的信息(S18)。如上所述，通常通过使用基于HMD 18的标记图像的数量以及捕获图像中的标记图像之间的位置关系的计算机图形技术的几何计算来获取该信息。
接着，校正数据更新部分88将基于运动传感器的步骤S14中获得的姿势与作为图像分析的结果而获取的姿势进行比较，以确定它们之间的差是否大于预定阈值(S20)。例如，在每个轴上比较角度。如果存在比较角度之间的差大于预定阈值的任何轴，则识别该轴。如果没有这样的轴，则处理结束(S20中的N)。如果存在比较角度之间的差大于预定阈值的轴(S20中的Y)，则校正数据更新部分88以使得获取符合通过图像分析获得的姿势的角度这样的方式更新校正数据存储部分84中的校正数据(S22)。例如，校正数据更新部分88可以反向计算上面的表达式1以获得允许基于图像分析获取角度的加速度的速率，并且以这样的方式更新偏差值，以从加速度传感器的输出值中获得这些加速度的速率。但是，要修正的目标不限于偏差值。用于旋转校正的比例值和误差角度也可以被认为是要校正的目标。
以预定频率重复步骤S10至S22，不仅能够连续获取HMD 18的姿势，而且能够连续获取用户的头部的姿势。所获取的姿势反映在诸如显示图像中的信息处理的结果中。即使校正数据在操作期间也承受长期变化，这种变化的影响被最小化。尽管示出的示例描绘了计算和输出姿势的处理，并且更新校正数据的处理是串联执行的，但是实际上这两个处理可以替代地在独立的时间实施。例如，基于图像分析的姿势信息可以累积预定时间段。当基于累积信息的姿势与从加速度传感器导出的姿势之间的差异在预定时间段内变得大于预定阈值时，可以更新校正数据。
如上所述，在基于图像分析的结果校正姿势信息的情况下，获得并存储用于允许获取校正姿势的校正数据。数据在下一次实施处理时使用，使得保持姿势采集的准确性。由于存储的姿势信息与基于图像分析的姿势信息之间的差异在短时间内得到校正，所以即使长期变化连续，一次校正量也会减小。因此不需要进行耗时的大规模的校正。例如，由于制造加速度传感器的处理的结果，这种长期变化可能仅出现在特定轴上。
如果通常从描述运动传感器的特性的产品信息中获得识别承受比其他轴更大的长期变化的轴或者在其上进行测量时证明是异常的轴的信息，或者如果通过实际测量结果检测到这样的轴，考虑到容易的(easy)人类感知，运动传感器可以以使得异常轴沿特定方向取向的方式安装在HMD 18上。例如，异常轴是垂直定向的，使得在检测相对于水平面的角度时，其长期变化将被最小化。这稳定了最敏感感知的水平方向上的角度，实现长时间免于不适的图像显示。
如果存在呈现三个轴的长期变化量或准确性水平的顺序，则可以安装加速度传感器，使得其轴按照长期变化量的降序或按照准确性水平的升序设置，例如以垂直、前后或横向方向。当因此以难以察觉其像差的降序建立坐标轴时，加速度传感器的特性的不利影响被最小化。加速度传感器的安装方向可以通过考虑异常轴的最小不利影响来确定，特定方向上的倾斜不反映在诸如在视频游戏中的信息处理的结果中，或者用户在异常轴上的移动例如除了考虑到感知像差的困难之外保持最小。
利用上述实施例实现使用运动传感器来检测目标物体的姿势的技术，除了用于将加速度传感器的输出值转换成加速度的速率的比例值和偏差值之外，还获取并存储旋转误差。在操作中，使用所存储的值准确地获取目标物体的姿势，以对从加速度传感器和其他传感器获得的角度信息实施旋转校正。这样可以最小化由于诸如传感器的个体差异、安装的准确性水平以及用于校准的夹具的准确性的各种因素导致的误差的影响。
在运动传感器附接到HMD以使得HMD显示其视野响应于用户的头部运动而变化的图像的设置中，如果呈现一个世界，描绘了相对于现实甚至有一个大约1度的微小误差，用户易于感受不适感以及身体状况的恶化。通过上述配置有效地抵消了这种像差。在操作中，校正数据根据需要与通过关于相同的目标物体的运动传感器以外的方式获得的姿势信息进行比较来更新。例如，通过将运动传感器附接到HMD，多个标记也被安装在HMD上。然后基于捕获图像中标记图像的数量和它们之间的位置关系分别获取用户头部的姿势。
在使用分别获取的姿势信息来根据需要更新校正数据的情况下，传感器的长期变化的影响被最小化，并且容易保持适当的状态。如果事先知道长期变化更明显，或者测量结果的准确性在某一轴上比其他轴低，则例如垂直设置异常轴，或者在被选择为最不适合感知的特定方向上设置异常轴。这使对用户的不利影响最小化，诸如对反映姿势的视野中显示的图像感觉不适的用户的不利影响。由于可以使用相对便宜的加速度传感器，因此降低系统的制造成本。
以上已经结合具体实施例描述了本发明。本领域技术人员应该理解，上述作为示例的实施例的构成元件和处理的适当组合可以导致本发明的进一步变化，并且这些变化也落入本发明的范围内。
例如，尽管本实施例描述了通过基于角度误差的旋转校正、利用图像分析的结果的校正数据的更新，以及反映传感器轴的特性的安装方向的确定来实现本实施方式，但是这些构成操作可以分别独立实现。在这种情况下，独立实现的操作仍然允许稳定和高度精确地采集姿势信息。
[附图标记列表]
8信息处理系统，10信息处理装置，12成像设备，14输入设备，16平板显示设备，18HMD，22CPU，24GPU，32通信部分，54显示部分，56音频输出部分，62通信部分，64运动传感器，66发光部分，72输入信息获取部分，74捕获图像获取部分，76姿势数据获取部分，78图像分析部分，80信息处理部分，82输出数据发送部分，84校正数据存储部分，86姿势计算部分，90测量部分，92发光部分，94输出数据接收部分，96音频处理部分，98显示处理部分。
[工业实用性]
如上所述，本发明可应用于游戏机、信息处理装置、物体识别装置、头戴式显示器以及包括这些设备和装置中的任何一个的系统等。

Claims (12)

1.一种信息处理装置，包括：
输入信息获取部分，配置为从安装在目标物体上的加速度传感器中获取输出值；
姿势数据获取部分，配置为通过基于所述输出值计算所述加速度传感器的轴上的加速度的速率，以便基于所计算的所述加速度的速率获得所述轴的倾斜角，获取与所述目标物体有关的姿势信息；以及
信息处理部分，配置为在输出作为信息处理的结果而生成的输出数据之前，使用所述姿势信息来执行所述信息处理，
其中，基于一方面所述加速度传感器的所述轴与另一方面赋予所述目标物体的基准轴之间的角度误差，所述姿势数据获取部分根据与所述目标物体有关的所述姿势信息校正与所述加速度传感器有关的姿势信息。
2.如权利要求1所述的信息处理装置，进一步包括：
校正数据存储部分，配置为将同时旋转的所述加速度传感器的多个轴的角度变化量存储为角度误差，直到所述轴与赋予所述目标对象的多个基准轴中的对应轴重合为止；
其中，所述姿势数据获取部分通过参考存储在所述校正数据存储部分中的所述角度误差来执行校正。
3.如权利要求2所述的信息处理装置，
其中，所述校正数据存储部分存储所述角度误差，所述角度误差与作为安装有所述加速度传感器的所述目标对象的设备有关的个体标识信息相关联，所述姿势数据获取部分获取与安装有从中获取所述输出值的所述加速度传感器的设备有关的所述个体标识信息，所述姿势数据获取部分进一步参考与获取的个体标识信息相关联的角度误差。
4.如权利要求2或3所述的信息处理装置，进一步包括：
校正数据更新部分，配置为获取通过关于相同的目标物体的加速度传感器以外的方式生成的姿势信息，并将由此获取的姿势信息与由所述姿势数据获取部分获取的姿势信息进行比较，以更新用于使用的校正数据，直到所述姿势数据获取部分从所述输出值中获取所述姿势信息为止，所述校正数据更新部分进一步将更新的数据存储到所述校正数据存储部分中。
5.如权利要求4所述的信息处理装置，
其中，所述校正数据更新部分更新用于基于所述输出值计算所述加速度的速率的校正公式中的至少一个参数。
6.如权利要求1至5中任一项所述的信息处理装置，
其中，在使被赋予所述目标对象的基准轴与正方向和负方向的重力矢量重合的状态下，通过假设通过连接由所述加速度传感器呈现的两个加速度矢量形成的线作为传感器加速度的轴，所述姿势数据获取部使用预先计算出的角度误差来校正姿势信息。
7.如权利要求1至6中任一项所述的信息处理装置，
其中，所述姿态数据获取部分基于所述角度误差来校正来自与所述加速度传感器一起安装的另一传感器的输出值以便测量角度相关值，所述姿势数据获取部分进一步将所校正的输出值与姿势信息综合。
8.一种信息处理系统，包括：
头戴式显示器；以及
信息处理装置，配置为与头戴式显示器建立连接并生成显示图像的数据，
其中，所述信息处理装置包括：
输入信息获取部分，配置为从安装在所述头戴式显示器上的加速度传感器中获取输出值，
姿势数据获取部分，配置为通过基于输出值计算所述加速度传感器的轴上的加速度的速率，以便基于所计算的加速度的速率来获得所述轴的倾斜角，获取与所述头戴式显示器有关的姿势信息，以及
信息处理部分，配置为使用所述姿势信息生成具有根据的姿势改变的虚拟视图的显示图像的数据，所述信息处理部分进一步将显示图像数据输出到所述头戴式显示器，以及
所述姿势数据获取部分基于一方面所述加速度传感器的轴与另一方面赋予所述头戴式显示器的基准轴之间的角度误差，根据与所述头戴式显示器有关的姿势信息，校正与所述加速度传感器有关的姿势信息。
9.如权利要求8所述的信息处理系统，
其中，在与各个轴获取的特性对应的方向上将所述加速度传感器安装到所述头戴式显示器上。
10.如权利要求9所述的信息处理系统，
其中，以这样的方式安装所述加速度传感器：经历比其他轴的更大量的长期变化的加速度传感器的轴在由用户穿戴的所述头戴式显示器的垂直方向上。
11.一种信息处理方法，所述方法包括以下步骤：
从安装在目标物体上的加速度传感器中获取输出值；
通过基于所述输出值计算所述加速度传感器的轴上的加速度的速率，以便基于所计算的加速度的速率来获得所述轴的倾斜角，获取与目标物体有关的姿势信息，以及
在将作为信息处理的结果而生成的输出数据输出到另一装置之前，使用所述姿势信息来执行信息处理，
其中，基于一方面所述加速度传感器的轴与另一方面赋予所述目标物体的基准轴之间的角度误差，姿势信息获取步骤根据与所述目标物体有关的姿势信息校正与所述加速度传感器有关的姿势信息。
12.一种程序，使计算机实现的功能包括：
从安装在目标物体上的加速度传感器中获取输出值；
通过基于所述输出值计算所述加速度传感器的轴上的加速度的速率，以便基于所计算的加速度的速率来获得所述轴的倾斜角，获取与目标物体有关的姿势信息，以及
在将作为信息处理的结果而生成的输出数据输出之前，使用所述姿势信息来执行信息处理，
其中，基于一方面所述加速度传感器的轴与另一方面赋予所述目标物体的基准轴之间的角度误差，姿势信息获取步骤根据与所述目标物体有关的姿势信息校正与所述加速度传感器有关的姿势信息。
CN201680062535.9A 2015-11-02 2016-10-26 信息处理装置、信息处理系统和信息处理方法 Active CN108351690B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-216128 2015-11-02
JP2015216128A JP6514089B2 (ja) 2015-11-02 2015-11-02 情報処理装置、情報処理システム、および情報処理方法
PCT/JP2016/081745 WO2017077918A1 (ja) 2015-11-02 2016-10-26 情報処理装置、情報処理システム、および情報処理方法

Publications (2)

Publication Number Publication Date
CN108351690A true CN108351690A (zh) 2018-07-31
CN108351690B CN108351690B (zh) 2021-04-06

Family

ID=58662563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680062535.9A Active CN108351690B (zh) 2015-11-02 2016-10-26 信息处理装置、信息处理系统和信息处理方法

Country Status (5)

Country Link
US (1) US10416758B2 (zh)
EP (1) EP3343320B1 (zh)
JP (1) JP6514089B2 (zh)
CN (1) CN108351690B (zh)
WO (1) WO2017077918A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919141A (zh) * 2019-04-09 2019-06-21 广东省智能制造研究所 一种基于骨架姿态的行人再识别方法
CN110968087A (zh) * 2018-09-30 2020-04-07 百度（美国）有限责任公司 车辆控制参数的标定方法、装置、车载控制器和无人车
CN111241359A (zh) * 2018-11-28 2020-06-05 富士通株式会社 显示方法、信息处理设备和计算机可读记录介质
CN111643887A (zh) * 2020-06-08 2020-09-11 歌尔科技有限公司 头戴设备及其数据处理方法、计算机可读存储介质
CN111857365A (zh) * 2019-04-19 2020-10-30 苹果公司 用于头戴式设备的基于触笔的输入
CN112424849A (zh) * 2019-01-02 2021-02-26 松下电器（美国）知识产权公司 信息处理装置、信息处理方法及程序

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017156547A1 (en) 2016-03-11 2017-09-14 Magic Leap, Inc. Structure learning in convolutional neural networks
US10509469B2 (en) 2016-04-21 2019-12-17 Finch Technologies Ltd. Devices for controlling computers based on motions and positions of hands
EP3545497B1 (en) * 2016-11-22 2021-04-21 Lego A/S System for acquiring a 3d digital representation of a physical object
US10705113B2 (en) 2017-04-28 2020-07-07 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user to generate inputs for computer systems
US10379613B2 (en) 2017-05-16 2019-08-13 Finch Technologies Ltd. Tracking arm movements to generate inputs for computer systems
US10540006B2 (en) 2017-05-16 2020-01-21 Finch Technologies Ltd. Tracking torso orientation to generate inputs for computer systems
DE102017208365A1 (de) * 2017-05-18 2018-11-22 Robert Bosch Gmbh Verfahren zur Orientierungsschätzung eines tragbaren Gerätes
CN107976205A (zh) * 2017-10-10 2018-05-01 深圳市虚拟现实科技有限公司 姿态测量装置自动图形校正的方法及系统
JP6890524B2 (ja) * 2017-10-31 2021-06-18 株式会社ソニー・インタラクティブエンタテインメント 姿勢制御システム
US10521011B2 (en) * 2017-12-19 2019-12-31 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user and to a head mounted device
US10509464B2 (en) 2018-01-08 2019-12-17 Finch Technologies Ltd. Tracking torso leaning to generate inputs for computer systems
US11016116B2 (en) 2018-01-11 2021-05-25 Finch Technologies Ltd. Correction of accumulated errors in inertial measurement units attached to a user
DE112018006985A5 (de) * 2018-01-31 2020-10-08 Oelschläger Metalltechnik GmbH Elektrisch höhenverstellbarer tisch sowie verfahren zum steuern desselben
US20190324283A1 (en) * 2018-04-19 2019-10-24 Htc Corporation Display device and display method
US10416755B1 (en) 2018-06-01 2019-09-17 Finch Technologies Ltd. Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
US11474593B2 (en) 2018-05-07 2022-10-18 Finch Technologies Ltd. Tracking user movements to control a skeleton model in a computer system
US11009941B2 (en) 2018-07-25 2021-05-18 Finch Technologies Ltd. Calibration of measurement units in alignment with a skeleton model to control a computer system
KR102361148B1 (ko) * 2018-10-30 2022-02-10 에이케이시스 주식회사 응용프로그램 구동 환경을 제공하는 가상 안드로이드 장치를 이용한 제어 시스템
JP7353773B2 (ja) * 2019-03-18 2023-10-02 株式会社ソニー・インタラクティブエンタテインメント 複数のマーカを備えたデバイス
WO2020236993A1 (en) 2019-05-21 2020-11-26 Magic Leap, Inc. Hand pose estimation
US10809797B1 (en) 2019-08-07 2020-10-20 Finch Technologies Ltd. Calibration of multiple sensor modules related to an orientation of a user of the sensor modules
CN114979615A (zh) * 2022-05-11 2022-08-30 闪耀现实(无锡)科技有限公司 用于在头戴显示设备显示画面的方法、装置及电子设备
CN117064375B (zh) * 2023-07-18 2024-03-22 江西瑞声电子有限公司 头部姿态监测方法、主控设备以及智能穿戴设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030062675A1 (en) * 2001-09-28 2003-04-03 Canon Kabushiki Kaisha Image experiencing system and information processing method
US20050168486A1 (en) * 1999-06-11 2005-08-04 Canon Kabushiki Kaisha Marker layout method, mixed reality apparatus, and mixed reality space image generation method
US20070046805A1 (en) * 2005-08-30 2007-03-01 Hiroyuki Nakanishi Display apparatus, display control apparatus, and control method
JP2007310840A (ja) * 2006-05-22 2007-11-29 Sony Computer Entertainment Inc 情報処理装置、情報処理装置の制御方法及びプログラム
CN103593044A (zh) * 2012-08-13 2014-02-19 鸿富锦精密工业（深圳）有限公司 电子装置校正系统及方法
WO2014034378A1 (ja) * 2012-08-27 2014-03-06 ソニー株式会社 画像表示装置及び画像表示方法、情報通信端末及び情報通信方法、並びに画像表示システム
JP2015041868A (ja) * 2013-08-21 2015-03-02 株式会社Ｗｈｅｒｅ 頭部装着型画像表示装置、検出方法、検出プログラム、および、画像表示システム
US20150261291A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Methods and Systems Tracking Head Mounted Display (HMD) and Calibrations for HMD Headband Adjustments

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100812903B1 (ko) 1998-05-19 2008-03-11 가부시키가이샤 소니 컴퓨터 엔터테인먼트 화상 처리 장치와 방법 및 프로그램 기록 매체
JP3530772B2 (ja) * 1999-06-11 2004-05-24 キヤノン株式会社 複合現実感装置及び複合現実空間画像の生成方法
JP3584229B2 (ja) * 2001-09-28 2004-11-04 キヤノン株式会社 映像体験システムおよび情報処理方法
JP3837533B2 (ja) * 2003-01-15 2006-10-25 独立行政法人産業技術総合研究所 姿勢角処理装置および姿勢角処理方法
JP4861357B2 (ja) * 2008-02-28 2012-01-25 京セラ株式会社 傾斜センサ内蔵小型電子機器及び補正方法
JP2010117260A (ja) * 2008-11-13 2010-05-27 Epson Toyocom Corp 姿勢検出装置の補正パラメーター作成方法、姿勢検出装置の補正パラメーター作成用装置及び姿勢検出装置
IN2014MU00117A (zh) * 2014-01-13 2015-08-28 Tata Consultancy Services Ltd

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050168486A1 (en) * 1999-06-11 2005-08-04 Canon Kabushiki Kaisha Marker layout method, mixed reality apparatus, and mixed reality space image generation method
US20030062675A1 (en) * 2001-09-28 2003-04-03 Canon Kabushiki Kaisha Image experiencing system and information processing method
US20070046805A1 (en) * 2005-08-30 2007-03-01 Hiroyuki Nakanishi Display apparatus, display control apparatus, and control method
JP2007310840A (ja) * 2006-05-22 2007-11-29 Sony Computer Entertainment Inc 情報処理装置、情報処理装置の制御方法及びプログラム
CN103593044A (zh) * 2012-08-13 2014-02-19 鸿富锦精密工业（深圳）有限公司 电子装置校正系统及方法
WO2014034378A1 (ja) * 2012-08-27 2014-03-06 ソニー株式会社 画像表示装置及び画像表示方法、情報通信端末及び情報通信方法、並びに画像表示システム
JP2015041868A (ja) * 2013-08-21 2015-03-02 株式会社Ｗｈｅｒｅ 頭部装着型画像表示装置、検出方法、検出プログラム、および、画像表示システム
US20150261291A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Methods and Systems Tracking Head Mounted Display (HMD) and Calibrations for HMD Headband Adjustments

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110968087A (zh) * 2018-09-30 2020-04-07 百度（美国）有限责任公司 车辆控制参数的标定方法、装置、车载控制器和无人车
CN111241359A (zh) * 2018-11-28 2020-06-05 富士通株式会社 显示方法、信息处理设备和计算机可读记录介质
CN111241359B (zh) * 2018-11-28 2024-03-12 富士通株式会社 显示方法、信息处理设备和计算机可读记录介质
CN112424849A (zh) * 2019-01-02 2021-02-26 松下电器（美国）知识产权公司 信息处理装置、信息处理方法及程序
CN112424849B (zh) * 2019-01-02 2023-08-04 松下电器（美国）知识产权公司 信息处理装置、信息处理方法及记录介质
CN109919141A (zh) * 2019-04-09 2019-06-21 广东省智能制造研究所 一种基于骨架姿态的行人再识别方法
CN111857365A (zh) * 2019-04-19 2020-10-30 苹果公司 用于头戴式设备的基于触笔的输入
CN111857365B (zh) * 2019-04-19 2024-06-04 苹果公司 用于头戴式设备的基于触笔的输入
CN111643887A (zh) * 2020-06-08 2020-09-11 歌尔科技有限公司 头戴设备及其数据处理方法、计算机可读存储介质
CN111643887B (zh) * 2020-06-08 2023-07-14 歌尔科技有限公司 头戴设备及其数据处理方法、计算机可读存储介质

Also Published As

Publication number Publication date
EP3343320A4 (en) 2019-04-17
JP2017090979A (ja) 2017-05-25
EP3343320A1 (en) 2018-07-04
US20180253142A1 (en) 2018-09-06
JP6514089B2 (ja) 2019-05-15
EP3343320B1 (en) 2021-06-23
US10416758B2 (en) 2019-09-17
WO2017077918A1 (ja) 2017-05-11
CN108351690B (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN108351690A (zh) 信息处理装置、信息处理系统和信息处理方法
CN111696213B (zh) 图像生成装置、图像生成方法以及计算机可读介质
JP6074494B2 (ja) 形状認識装置、形状認識プログラム、および形状認識方法
CN106774880B (zh) 用户控制装置的在空间中的三维跟踪
EP3859495B1 (en) Systems and methods for tracking motion and gesture of heads and eyes
CN105339865B (zh) 显示控制装置、显示控制方法以及计算机可读介质
US20200363867A1 (en) Blink-based calibration of an optical see-through head-mounted display
CN109643159A (zh) 在增强和/或虚拟现实环境中利用六自由度控制器操纵虚拟对象
JP2017037554A (ja) 画像表示装置、コンピュータープログラム、および画像表示システム
CN108369752A (zh) 信息处理装置和警告呈现方法
US11720178B2 (en) Information processing device, information processing method, and computer-readable recording medium
TWI704376B (zh) 視角校正方法、虛擬實境顯示系統與運算裝置
EP3889737A1 (en) Information processing device, information processing method, and program
JP2024050696A (ja) 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ
JP6859447B2 (ja) 情報処理システムおよび対象物情報取得方法
US20210373652A1 (en) System and method for a virtual reality motion controller
CN108475114A (zh) 用于对象姿势跟踪器的反馈
US20200219307A1 (en) System and method for co-registration of sensors
JP2020201183A (ja) カメラ位置調整方法
WO2023238678A1 (ja) 情報処理装置、コントローラ表示方法およびコンピュータプログラム
US11983306B2 (en) Peripheral tracking system and method
US11845001B2 (en) Calibration system and method for handheld controller
CN112308906B (zh) 视角校正方法、虚拟实境显示系统与运算装置
JP6890524B2 (ja) 姿勢制御システム
TWM643746U (zh) 擴增實境眼鏡系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant