CN106415447B - 信息处理装置、信息处理方法和图像处理系统 - Google Patents

信息处理装置、信息处理方法和图像处理系统 Download PDF

Info

Publication number
CN106415447B
CN106415447B CN201580033884.3A CN201580033884A CN106415447B CN 106415447 B CN106415447 B CN 106415447B CN 201580033884 A CN201580033884 A CN 201580033884A CN 106415447 B CN106415447 B CN 106415447B
Authority
CN
China
Prior art keywords
information
posture
head
observer
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580033884.3A
Other languages
English (en)
Other versions
CN106415447A (zh
Inventor
辰田宽和
河本献太
小山裕一郎
今孝安
长谷川雄一
志村大
山本祐辉
田中英一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106415447A publication Critical patent/CN106415447A/zh
Application granted granted Critical
Publication of CN106415447B publication Critical patent/CN106415447B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/068—Adjustment of display parameters for control of viewing angle adjustment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提供了一种显示通过跟随观察者的头部和身体完成的自由视点图像的图像显示设备。基于分别由头部运动追踪设备200和躯干运动追踪设备300获得的头部的姿态信息和用户的躯干的姿态信息，在要显示在显示设备500上的自由视点空间中单独确定用户的视线方向和用户的身体的朝向。本发明使得能够在真实空间中呈现自然动作，其中当视线与身体的前向方向不匹配时视线沿身体的前向方向在空间中移动。另外，本发明防止不自然的用户界面，该不自然的用户界面不管身体的朝向如何都显示在视线的方向上直线前进。

Description

信息处理装置、信息处理方法和图像处理系统
技术领域
本说明书中描述的技术涉及用于处理追踪观察者的移动的图像的信息处理装置、信息处理方法、计算机程序以及图像处理系统。
背景技术
已知佩带在用户的头部或面部上的图像显示装置(即，头戴式显示器)。头戴式显示器在右眼和左眼两者上设置有图像显示单元并且被配置为能够与听筒一起使用控制视觉和听觉感知。用于在佩带在头部上时完全遮住外部世界的配置在观看期间提高虚拟现实。头戴式显示器能够将不同的视频图像投影到每个眼镜上并能够通过在左眼和右眼上显示具有视差的图像呈现3D图像。
这类头戴式显示器在眼睛的视网膜上形成虚拟图象以允许用户对其进行观察。在这点上，虚拟图象形成在比焦距更靠近透镜的物体侧。作为一个实例，已开发了一种头戴式显示器，头戴式显示器通过将广视角的虚拟图像光学系统放置成与瞳孔的前部间隔开25毫米并将具有大约0.7英寸的有效像素范围的尺寸的显示面板进一步放置在广视角光学系统的前方来在用户的瞳孔上形成显示图像的放大虚拟图像(例如，参见专利文献1)。
用户能够观察通过使用这类头戴式显示器对广角图像的一部分进行分割获得的图像。作为一个实例，已开发了一种头戴式显示器，头戴式显示器允许通过在头部上安装包括陀螺仪传感器等的头部运动追踪设备并通过使其追踪用户的头部的移动实现360度旋转视图的视频图像的真实体验(参见专利文献2和3)。可以通过在广角图像中移动显示区域以取消陀螺仪传感器检测的头部的移动来实现自由视点观看和视点移动环境。
发明内容
技术问题
本说明书中描述的技术的目的是提供能够适当地处理追踪观察者的移动的图像的一种改善的信息处理装置、信息处理方法、计算机程序、和图像处理系统。
解决的问题
已考虑到上述问题做出本申请，并且权利要求1中描述的技术是信息处理装置，包括：接收器，被配置为接收关于观察者的头部的姿势的第一信息和关于观察者的除头部以外身体的姿势的第二信息；以及图像渲染处理单元(image rendering processing unit)，被配置为基于第一信息和第二信息生成对应于观察者的姿势的显示图像。
根据在权利要求2中描述的技术，根据权利要求1所述的信息处理装置的接收器接收至少观察者的躯干的姿势作为第二信息，并且图像渲染处理单元通过基于第一信息在自由视点空间中定向观察者的视线方向并通过基于从第二信息获得的观察者的躯干的姿势在自由视点空间中定向观察者的身体的朝向(视点位置)生成追踪观察者的头部的姿势的自由视点图像。
根据在权利要求3中描述的技术，当接收用于指示观察者在自由视点空间中移动的控制信号作为输入时，根据权利要求2所述的信息处理装置的图像渲染处理单元通过将基于从第二信息获得的观察者的躯干的姿势定向的身体的朝向识别为前向方向确定移动之后的点(视点位置)。
根据在权利要求4中描述的技术，根据权利要求1所述的信息处理装置的图像渲染处理单元通过基于第一信息在自由视点空间中定向观察者的视线方向并通过布置在基于从第二信息获得的姿势定向的固定位置中生成追踪观察者的头部的姿势的自由视点图像。
根据在权利要求5中描述的技术，根据权利要求1所述的信息处理装置的接收器接收至少观察者的躯干的姿势作为第二信息，并且图像渲染处理单元通过基于第一信息在自由视点空间中定向观察者的视线方向，通过基于从第二信息获得的观察者的躯干的姿势在自由视点空间中定向观察者的身体的朝向(视点位置)，并通过将预定图像控件布置在基于从观察者的躯干的姿势定向的固定位置中生成追踪观察者的头部的姿势的自由视点图像。
根据在权利要求6中描述的技术，根据权利要求1至5中任一项所述的信息处理装置，进一步包括被配置为获得校准参数的校准处理单元。图像渲染处理单元使用通过校准参数校正的姿势信息执行图像生成。
根据在权利要求7中描述的技术，根据权利要求8所述的信息处理装置的校准处理单元，基于从第一信息获得的头部姿势信息和从第二信息获得的第二姿势信息计算用于校正第二姿势信息的校准参数并且使用校准参数校正第二姿势信息。
根据在权利要求8中描述的技术，根据权利要求7所述的信息处理装置的校准处理单元通过使用头部姿势信息和第二姿势信息计算用于将第二姿势信息与头部姿势信息匹配的姿势转换参数作为校准参数。
根据在权利要求9中描述的技术，由四元数(quaternion)表示姿势信息。根据权利要求7所述的信息处理装置的校准处理单元通过将头部姿势信息从右边乘以第二姿势信息的四元数的倒数计算用于校正第二姿势信息的校准四元数，并且通过将第二姿势信息的四元数从左边乘以校准四元数执行校正。
根据在权利要求10中描述的技术，根据权利要求6所述的信息处理装置的校准处理单元基于从第一信息获得的头部姿势的坐标系和从第二信息获得的姿势的坐标系的某个时段的旋转位移以及人体的特性估计用于校正第二姿势信息的校准参数。
根据在权利要求11中描述的技术，根据权利要求6所述的信息处理装置的校准处理单元将基于从第一信息获得的头部姿势信息和从第二信息获得的第二姿势信息计算的某个时段的校准参数的时间序列平均值设置为最后校准参数。
根据在权利要求12中描述的技术，由四元数表示姿势信息。信息处理装置的校准处理单元通过在基于从重新接收的第一信息和第二信息中的每一个获得的姿势信息的四元数重新计算的校准四元数与由时间序列平均值确定的最后校准四元数之间执行球面线性内插更新校准四元数。
根据在权利要求13中描述的技术，基于第二信息计算观察者的躯干的姿势，并且当重力方向被设为旋转轴线时，根据权利要求11所述的信息处理装置的校准处理单元确定分别从重新接收的第一信息和第二信息获得的头部和躯干的姿势信息的旋转方向的角度差的平均值，并计算重力方向上的校准参数和平均值。
根据在权利要求14中描述的技术，根据权利要求1所述的信息处理装置的图像渲染处理单元基于从第一信息获得的头部姿势与从第二信息获得的躯干姿势之间的差异处理显示单元上的显示图像。
根据在权利要求15中描述的技术，在根据权利要求2和3中任一项所述的信息处理装置中，图像渲染处理单元通过在生物安全支持模式(biosafety support mode)下以自由视点空间中的头部姿势与躯干姿势之间的差异减少的方式校正世界坐标系生成自由视点图像。
根据在权利要求16中描述的技术，根据权利要求2和3中任一项所述的信息处理装置的图像渲染处理单元通过在设置生物安全支持模式时的时间点在自由视点空间中固定头部姿势并通过在生物安全支持模式下根据由头部姿势检测单元检测的头部姿势在自由视点空间中改变躯干姿势生成自由视点图像。
根据在权利要求17中描述的技术，在根据权利要求15和16中任一项所述的信息处理装置中，当从第一信息获得的头部姿势与从第二信息获得的躯干姿势之间的差异超过第一阈值的状态持续某个时间时设置生物安全支持模式，并且当差异小于或等于第二阈值时释放生物安全支持模式，第二阈值小于第一阈值。
在权利要求18中描述的技术是一种信息处理方法，包括：接收步骤，接收关于观察者的头部的姿势的第一信息和关于观察者的除身体的头部以外的姿势的第二信息；以及图像渲染处理步骤，基于第一信息和第二信息生成对应于观察者的姿势的显示图像。
在权利要求19中描述的技术是一种计算机程序，其以计算机可读格式编写，用于使计算机用作：头部姿势操作单元，被配置为基于通过在头部姿势检测单元中的检测获得的结果计算观察者的头部的姿势信息，头部姿势检测单元被配置为检测观察者的头部的姿势；第二姿势操作单元，被配置为基于通过第二姿势检测单元中的检测获得的结果计算观察者的除头部以外的身体的第二部分的姿势信息，第二姿势检测单元被配置为检测第二部分的一个或多个的姿势；以及图像渲染处理单元，被配置为基于观察者的头部的姿势和第二部分的姿势处理待显示在显示单元上的图像，显示单元被固定至观察者的头部或面部。
根据本申请的权利要求19所述的计算机程序定义一种以计算机可读格式描述的计算机程序，以便在计算机上执行预定处理。换言之，通过将根据本申请的权利要求19的计算机程序安装在计算机中，在计算机上发挥协作作用，使得可以提供与根据本申请的权利要求1所述的信息处理装置的效果相同的操作效果。
在权利要求20中描述的技术是图像处理系统，包括：显示单元，被固定至观察者的头部或面部；头部姿势检测单元，被配置为检测观察者的头部的姿势；第二姿势检测单元，被配置为检测身体的观察者的除头部以外的一个或多个第二部分的姿势；以及图像渲染处理单元，被配置为基于观察者的头部的姿势和第二部分中的每一个的姿势处理显示单元上的显示图像。
有益效果
根据本说明书中描述的技术是提供能够适当地处理追踪观察者的移动的图像的一种改善的信息处理装置、信息处理方法、计算机程序、和图像处理系统。
应注意，在本说明书中描述的有益效果仅为了示例，并且本发明的有益效果不限于此。此外，在一些情况下，本发明还可以表现出除以上给出的有益效果以外的附加有益效果。
将基于在下文中论述的示例性实施方式和附图通过更详细说明阐明在本说明书中公开的技术的进一步目的、特征、以及优点。
附图说明
[图1]图1是示意性地示出应用本文中公开的技术的图像显示系统100的示例性配置的示图。
[图2]图2是示出了图像显示系统100的变形的示图。
[图3]图3是示出了图像显示系统100的变形的示图。
[图4]图4是示出了图像显示系统100的另一变形的示图。
[图5]图5是佩带显示设备500的用户的俯视图。
[图6]图6是佩带显示设备500的用户的前视图。
[图7]图7是示出了用于渲染仅追踪用户头部的移动的自由视点图像的处理过程的流程图。
[图8]图8是示出了如何基于从头部运动追踪设备200和躯干运动追踪设备300中的每一个提供的姿势信息在自由视点空间中单独定向用户的视线方向和躯干朝向的示图。
[图9]图9是示出了通过考虑用户的头部的头部姿势和身体姿势渲染自由视点图像的处理过程的流程图。
[图10]图10是示出以描述仅追踪用户头部的移动的自由视点图像的示图。
[图11]图11是示出以描述通过考虑用户的头部姿势和身体姿势生成的自由视点图像的示图。
[图12]图12是示出了使用通过校准参数校正的姿势信息渲染自由视点图像的处理过程的流程图。
[图13]图13是示出了使用通过校准参数校正的姿势信息渲染自由视点图像的另一处理过程的流程图。
[图14]图14是示出了使用通过校准参数校正的姿势信息渲染自由视点图像的又一处理过程的流程图。
[图15]图15是示出了用于处理自动校准的过程的流程图。
[图16]图16是示出了用于处理自动校准的另一过程的流程图。
[图17]图17是示出了如何移动自由视点图像使得通过在图像中移动固定点1701用户的视线方向1702朝向躯干的前方方向返回至初始位置的示图。
[图18]图18是示出了自由视点图像的图像渲染处理过程的流程图，其包括使用第一方法减少或避免用户的不自然的观看姿势的过程。
[图19]图19是示出了自由视点图像的图像渲染处理过程的流程图，其包括使用第二方法减少或避免用户的不自然的观看姿势的过程。
[图20]图20是示出了自由视点图像的图像渲染处理过程的流程图，其包括使用第二方法减少或避免用户的不自然的观看姿势的过程。
[图21]图21是示出了四元数q的示图。
[图22]图22是示出了通过球面线性内插(Slerp)补偿四元数的方法的示图。
[图23]图23是示出了通过将UI控件布置在基于用户的躯干姿势定向的固定位置中来渲染自由视点图像的处理过程的流程图。
[图24]图24是示出了通过将UI控件布置在基于用户的躯干姿势定向的固定位置中来渲染自由视点图像的处理过程的流程图。
[图25]图25是示出了当将UI控件布置在基于用户的头部姿势定向的固定位置中时用于渲染自由视点图像的处理过程的示图。
[图26]图26是示出了当将UI控件布置在基于用户的头部姿势定向的固定位置中时用于渲染自由视点图像的处理过程的示图。
[图27]图27是示出了当将UI控件布置在基于用户的头部姿势定向的固定位置中时用于渲染自由视点图像的处理过程的示图。
[图28]图28是示出了当将UI控件布置在基于用户的头部姿势定向的固定位置中时用于渲染自由视点图像的处理过程的示图。
[图29]图29是示出了当将UI控件布置在基于用户的躯干姿势定向的固定位置中时的自由视点图像的显示实例的示图。
[图30]图30是示出了当将UI控件布置在基于用户的躯干姿势定向的固定位置中时的自由视点图像的显示实例的示图。
[图31]图31是示出了当将UI控件布置在基于用户的躯干姿势定向的固定位置中时的自由视点图像的显示实例的示图。
[图32]图32是示出了当将UI控件布置在基于用户的躯干姿势定向的固定位置中时的自由视点图像的显示实例的示图。
具体实施方式
在下文中将参考附图详细描述本说明书中所公开的技术的实施方式。
A.系统配置
图1是示意性地示出了应用本文中公开的技术的图像显示系统100的示例性配置。所示出的图像显示系统100被配置为包括头部运动追踪设备200、躯干运动追踪设备300、图像渲染设备400、以及显示设备500。
当佩带在观察在显示设备500上显示的图像的用户头部上时使用头部运动追踪设备200，并以预定发送间隔将用户头部的姿势信息输出至图像渲染设备400。当佩带在用户的躯干上时使用躯干运动追踪设备300并以预定发送间隔将用户的躯干的姿势信息输出至图像渲染设备400。在所示出的实例中，头部运动追踪设备200被配置为包括传感器单元201、姿势角度操作单元202、以及用于将所获得的姿势信息发送至图像渲染设备400的发送器203。躯干运动追踪设备300被配置为包括传感器单元301、姿势角度操作单元302、以及用于将所获得的姿势信息发送至图像渲染设备400的发送器303。头部运动追踪设备200和躯干运动追踪设备300的不同之处可仅在于其附接至用户的身体的部分或者彼此附接的方法，但在内部配置和操作特征上可彼此相似。下面仅对头部运动追踪设备200的内部配置进行描述，但躯干运动追踪设备300的内部配置同样适用。
作为一个实例，通过多个传感器设备(诸如，陀螺仪传感器、加速度传感器、以及地磁传感器)的组合配置传感器单元201。在该说明书中，这是可检测总共九个轴的传感器(包括三轴陀螺仪传感器、三轴加速度传感器、以及三轴地磁传感器)。姿势角度操作单元202基于通过检测传感器单元201中的九个轴获得的结果对诸如其所附接的用户的头部的部分的姿势信息执行运算。发送器203将所获得的姿势信息发送至图像渲染设备400。然而，当躯干运动追踪设备300仅必须检测用户的躯干的朝向时，传感器单元301可被配置为具有仅设置有陀螺仪传感器且不必是九个轴的检测传感器的简单结构。
在本实施方式中，通过用四元数的形式表示其来处理头部或躯干的姿势信息。由于不存在奇点，因此四元数适于使用计算机的计算。在计算计制图的领域中，通常使用四元数表示物体的姿势。如在以下式(1)和图21中所示出的，四元数q是包括旋转轴(矢量)和旋转角度(标量)的四元数。
[数学式1]
然而，在头部运动追踪设备200或躯干运动追踪设备300中，不必对由传感器201和301检测的姿势角的信息中由四元数表示的姿势信息执行运算。头部运动追踪设备200或躯干运动追踪设备300可以将其中用除了四元数以外的形式表示姿势角度的信息发送至图像渲染设备400，用以允许在图像渲染设备400侧上计算四元数。如在图2中示出的，头部运动追踪设备200或躯干运动追踪设备300可以在没有任何修改地输出传感器单元201和传感器单元301的传感器信息，以允许布置在图像渲染设备400中的姿势角度操作单元202以四元数的形式或其他形式从传感器信息中计算姿势角度。
在所示出的图像显示系统100中，通过无线通信(诸如，蓝牙(注册商标)通信)在头部运动追踪设备200与图像渲染设备400之间以及躯干运动追踪设备300与图像渲染设备400之间建立连接。可以经由高速有线接口(诸如，通用串行总线(USB))代替无线通信在头部运动追踪设备200与图像渲染设备400之间以及躯干运动追踪设备300与图像渲染设备400之间有保证地建立连接。
图像渲染设备400对在显示设备500上显示的图像执行渲染处理。作为一个实例，图像渲染设备400可被配置为配备有安卓(注册商标)的终端，诸如，智能手机和平板电脑、个人计算机、或游戏机，但不限于这些设备。
在所示出的实例中，图像渲染设备400被配置为包括用于从头部运动追踪设备200和躯干运动追踪设备300接收姿势信息的接收器401，用于基于姿势信息执行图像的渲染处理的图像渲染处理单元402，用于将渲染图像发送至显示设备500的发送器402，以及用作图像数据的源的图像源404。尽管未示出，图像渲染设备400可被配置为包括音频输出单元。
接收器401经由蓝牙(注册商标)通信等从头部运动追踪设备200和躯干运动追踪设备300接收姿势信息。如上所述，用四元数形式(quaternion form)表示来自头部运动追踪设备200的姿势信息。
作为一个实例，图像源404包括：存储设备，诸如，硬盘驱动器(HDD)和固态驱动器(SSD)，用于记录图像内容；媒介回放设备，用于回放记录媒介，诸如，蓝光(注册商标)；广播调谐器，用于选择信道以接收由游戏机或数字广播信号产生的游戏图像；通信接口，用于接收在互联网上从服务器流式传输的图像内容；以及无线接口，用于无线接收由设置在移动设备(诸如，无线电控制车和汽车)上的外部相机捕捉的图像。
图像渲染处理单元402渲染在显示设备500一侧显示的来自图像源404的图像数据的图像。作为一个实例，图像渲染处理单元402通过将对应于用户的头部和躯干的姿势信息的显示视角进行分割渲染自由视点图像，自由视点图像是由接收器401从全方位类型的原始图像或具有广视角的原始图像(诸如，从图像源404提供的4K)接收的。设想互联网上的服务器渲染自由视点图像的示例性系统配置。在这种情况下，作为一个实例，优选的是，头部运动追踪设备200或躯干运动追踪设备300中的每一个将姿势信息发送至用作图像渲染设备400的服务器，并且显示设备500接收并显示由服务器分割的图像。
作为一个实例，经由有线电缆(诸如，高清晰度多媒体接口(HDMI，注册商标)和动高清晰度连接(MHL))在图像渲染设备400与显示设备之间建立连接。替换地，可以通过无线通信(诸如，wirelessHD和Miracast)建立这种连接。发送器403使用通信路径中的任何一个将由图像渲染处理单元402渲染的未压缩图像数据(或者，也可采用压缩图像数据)发送至显示设备500。
显示设备500被配置为包括用于从图像渲染设备400接收图像数据的接收器501和用于显示所接收的图像的显示单元502。作为一个实例，显示设备500(或显示单元502)被配置为头戴式显示器，头戴式显示器被固定到观察图像的用户的头部或面部部分(例如，参见专利文献1)。
作为一个实例，接收器501经由通信路径(诸如，HDMI(注册商标)和MHL)从图像渲染设备400接收图像数据。当存在压缩图像数据时，接收器执行解码和解压缩处理。显示单元502在屏幕上显示所接收的图像数据。
作为一个实例，当显示设备500被配置为头戴式显示器时，显示单元502设置有分别固定地安装在用户的左眼和右眼中的左屏幕和右屏幕，并且显示左眼图像和右眼图像。作为一个实例，显示单元502的屏幕包括显示面板或激光扫描显示器(诸如，视网膜直接显示器)，显示面板包括微型显示器(诸如，有机电动发光设备(OLED))和液晶显示器(LCD)。显示单元502设置有虚拟图像光学系统，虚拟图像光学系统扩大显示屏幕，对其进行投影，并将具有预定图像视角的放大的虚拟图象聚焦在用户的瞳孔上。
作为一个实例，在图像渲染设备400一侧，渲染通过从全方位类型的原始图像或具有广视角的原始图像(诸如,4K)中分割对应于用户的头部和躯干的姿势信息的显示视角获得的图像。在显示设备500一侧，移动原始图像中的显示区域以抵消用户的头部的姿势的改变。因此，可以再现追踪头部的移动的自由视点图像，从而允许用户体验大屏幕的观看。显示设备500可以根据图像的移动定位声音图像的方向。
图3示意性地示出了图像显示系统100的变形。在图1和图2中示出的实例中，图像显示系统100被配置为包括四个单独的设备，即，头部运动追踪设备200、躯干运动追踪设备300、图像渲染设备400、以及显示设备500。然而，在图3中示出的实例中，在显示设备500中配备图像渲染设备400的功能。在图3中，由相同的参考标号表示与图1中包含的部件相同的部件。如在图1中示出的，如果头部运动追踪设备200或躯干运动追踪设备300中至少一个被配置为与显示设备500分开出售的可选择产品(附带商品，诸如，配件)，则显示设备500将是紧凑的、重量轻的、且便宜的。
图4示意性地示出了图像显示系统100的另一变形。在图1和图2中示出的实例中，图像显示系统100被配置为包括四个单独的设备，即，头部运动追踪设备200、躯干运动追踪设备300、图像渲染设备400、以及显示设备500。然而，在图4中示出的实例中，在显示设备500中配备头戴式显示器和图像渲染设备400的功能。在图4中，由相同的参考标号表示与图1中包含的部件相同的部件。如在图1中示出的，只有躯干运动追踪设备300可被配置为用作外部连接至显示设备500的设备。
图5和图6示出了用户1如何使用图像显示系统100。图5是佩带显示设备500的用户1的俯视图，以及图6是佩带显示设备500的用户1的前视图。
显示设备500是头戴式显示器，并具有易于佩带在人的头部上的外观构造，诸如，类似眼镜或者类似帽子的构造。用户1将显示设备500佩带在头部上。头部运动追踪设备200(作为显示设备500的配件)相似地附接至用户1的头部以检测用户1的头部的姿势信息。
如在图6中示出的，躯干运动追踪设备300附接至用户1的躯干以检测用户1的躯干的姿势信息。在所示出的实例中，尽管躯干运动追踪设备300附接至用户1的腰部附近，但其可以附接至除了腰部以外的部分(诸如，臂部或肩部)，只要检测的姿势信息可对应于用户1的躯干的朝向。在所示出的实例中，躯干运动追踪设备300包含于附接至用户1的躯干的盒子600中。
盒子600可以是专用设备，或者可以是具有内置陀螺仪传感器的设备，诸如，游戏机控制器。在后者的情况下，盒子600位于显示设备500(诸如，头戴式显示器)与躯干运动追踪设备300之间。躯干运动追踪设备300可被配置为整体包括图像渲染设备400的功能的设备，诸如，智能手机或平板电脑终端。用户1将躯干运动追踪设备300附接至躯干的方式是可选择的，但盒子600不必设置在它们之间。考虑到用户的可用性，优选允许用户选择性地选择附接有躯干运动追踪设备300的位置而不是严格限定附接位置。作为一个实例，设想用户将其放入口袋的状态或者用户将其钩在皮带上的状态。除此之外，附接至用户1的躯干的躯干运动追踪设备300的数目不限于一个，但可以布置两个或更多个设备，从而根据具有高精确度的设备的数目检测躯干的朝向。
如上所述，经由无线通信(诸如，蓝牙(注册商标)通信)或高速有线接口(诸如，通用串行总线(USB))在头部运动追踪设备200与图像渲染设备400以及躯干运动追踪设备300与图像渲染设备400之间建立连接。
当用户观看在显示设备500上显示的图像的同时用户1改变他的头部或躯干的朝向。图像渲染设备400基于由头部运动追踪设备200和躯干运动追踪设备300检测的方向生成自由视点图像(free viewpoint image)，并且然后将其输出至显示设备500。
应用为显示设备500的头戴式显示器可被配置为所谓的沉浸(immersive)、透视、视频透视中的任一个。
作为一个实例，沉浸头戴式显示器附接至用户的头部或面部以覆盖用户的眼睛，并且设置有布置为面向用户的眼睛的显示单元(诸如，LCD和OLED)。由于这个原因，佩带沉浸头戴式显示器的用户难以看到外面的风景(即，现实世界的风景)。换言之，只有在显示单元上显示的视频图像落在视野内，并且因此，可以为观看图像的用户提供沉浸的感觉。
透视头戴式显示器设置有包括半反射镜或导光板的透明的虚拟图像光学系统使得虚拟图像光学系统可以面向用户的眼睛，并在虚拟图像光学系统的内部显示图像。因此，即使在用户观看在虚拟图像光学系统的内部显示的图像时的时间期间，佩带透视头戴式显示器的用户可通过图像看到外面的风景。
作为一个实例，视频透视头戴式显示器附接至用户的头部或面部以覆盖用户的眼镜，并设置有显示单元，显示单元布置为面向用户的眼睛，视频透视头戴式显示器与沉浸头戴式显示器相似。然而，视频透视头戴式显示器可被配置为还包括用于捕捉周围的风景的图像捕捉单元(诸如，相机)，从而通过显示单元上的图像捕捉单元显示沿着用户的视线捕捉的图像。尽管佩带视频透视头戴式显示器的用户不能直接看到外面的风景，但用户可通过在显示单元上显示的所捕捉的图像观察外面的风景。
B.自由视点图像的图像渲染处理
将描述由图像显示系统100显示的自由视点图像的图像渲染处理。
在设置有仅安装在用户的头部上的陀螺仪传感器的头戴式显示器的情况下(例如，参见专利文献2和3)，可以从头部的位移中检测用户的视线，从而呈现追踪用户的头部的移动的自由视点图像。
图7通过流程图示出了用于在图像显示系统100中渲染追踪用户头部的移动的自由视点图像的处理过程。仅追踪用户头部的移动意味着考虑用户头部的姿势，而不考虑用户的身体。更具体地，这表示图像渲染设备400仅从头部运动追踪设备200接收姿势信息qH作为输入，但不从躯干运动追踪设备300接收姿势信息qB。
在头部运动追踪设备200中，传感器单元201检测用户头部的姿势(步骤S701)，并且姿势角度操作单元202基于检测结果对表示用户头部的姿势的四元数qH执行运算(步骤S702)并通过发送器203将其发送至图像渲染设备400。
图像渲染设备400从头部运动追踪设备200接收表示头部的姿势的四元数qH并接收用于在自由视点空间移动的控制信号v(诸如，位移速度和位移量)作为输入(步骤S703)。作为一个实例，当生成三维图像(诸如，游戏)时，图像渲染设备400接收对应于游戏控制器的操纵杆等的操纵变量的控制信号v作为输入。通过使智能手机显示用户要操纵的操纵屏幕，可以接收控制信号v作为输入。替换地，可以输入使用安装在外部的相机等检测的用户的头部的物理位置的移动作为控制信号v。
图像渲染处理单元402根据所输入的控制信号v计算自由视点空间中的移动量ΔH(步骤S704)。在该处理例程中，不使用可从躯干运动追踪设备300获得的用户的躯干的姿势信息，并且因此，控制信号v可仅与用户头部的姿势信息qH相关联，并且如在以下式(2)中示出的确定移动量ΔH。在以下式(2)中，g是用于基于表示姿势信息的四元数qH从表示位移速度或位移量的控制信号v中计算自由视点空间中的移动量ΔH的函数。
[数学式2]
ΔH＝g(v，qH) …(2)
图像渲染处理单元402计算通过在自由视点空间中沿着用户头部的姿势qH的方向(视线方向)将当前点移动移动量ΔH获得的点pH(步骤S705)。与用户头部的姿势qH相关联的点pH被设为新视点位置，从视点位置pH渲染在表示为四元数qH的视线方向看到的图像IH(步骤S706)，并且然后在显示设备500上显示所渲染的图像作为输出。如在以下式(3)中示出的，基于用于生成从视点位置pH和视线方向qH看到的图像的函数f生成在这个过程中获得的自由视点图像IH。
[数学式3]
IH＝f(pH，qH) …(3)
在从检测用户头部的姿势到显示追踪姿势的图像的时间期间，存在由于各种原因引起的时间延迟，诸如，当头部运动追踪设备200将姿势信息发送至图像渲染设备400时发生的发送延迟，当图像渲染设备400对图像执行渲染处理时发生的渲染延迟，以及当显示设备500显示图像渲染数据时发生的显示延迟。如果延迟时间增加，则渲染对应于头部的先前姿势的图像。因此，图像追踪头部的运动的身体感觉劣化，这不利地使用户经历运动病(motion sickness，晕动病)。因此，图像渲染设备400可被配置为通过考虑延迟时间执行图像校正。作为一个实例，在转让给本申请人的PCT/2014/079205的说明书中公开的图像处理技术是可适用的(图像渲染设备400预测延迟时间并且然后在经过延迟时间之后从所接收的姿势角数据中预测姿势角数据，从而在预测延迟时间中渲染图像)。
在图7中示出的处理过程中，图像渲染设备400生成追踪用户头部的姿势的自由视点图像IH。然而，在仅检测用户头部的姿势同时忽视用户的躯干的姿势时，用户界面(UI)处于无论躯干的朝向如何视线方向都向前的状态或者其中通过游戏控制器确定自由视点空间中的移动方向使UI不自然地偏离真实空间的状态。换言之，在视线与躯干的前方不匹配的状态中(例如，当头部与一个侧面成角度的同时向前移动)，仅基于头部检测姿势位移使空间移动至躯干的前方(躯干的前向方向)，从而防止真实空间中的自然行为被表示成视频图像。这显著减少了用于沉浸于视频图像中的感觉。
同时，在根据本实施方式的图像显示系统100中，可以基于由头部运动追踪设备200获得的用户头部的姿势信息qH和由躯干运动追踪设备300获得的用户的躯干的姿势信息qB在显示设备500上显示的自由视点空间中为用户的视线方向和躯干朝向单独进行定向。
图8示出了如何在自由视点空间中单独定向用户的视线方向和躯干朝向。如示出的，基于从头部运动追踪设备200提供的姿势信息qH为由参考标号801表示的视线方向定向。基于从躯干运动追踪设备300提供的姿势信息qB定向由参考标号802表示的身体的朝向。当图像渲染设备400渲染自由视点图像时，通过将身体的朝向802设置为自由视点空间的身体的朝向，可以获得用户将其识别为前方的方向。
因此，根据本实施方式的图像显示系统100允许使用自由视点图像表示在视线与躯干前方不匹配(例如，在头部与一侧边成角度时向前移动)的状态下空间移动至躯干前方(躯干的前向方向)的真实空间中的自然行为。防止UI处于无论躯干的朝向如何视线方向都移动的状态(例如，在头部与一侧面成角度时向前移动)或者其中通过游戏控制器确定自由视点空间中的移动方向使UI不自然地偏离真实空间的状态。
图9通过流程图示出了通过考虑图像显示系统100中的用户的身体的姿势和头部的姿势渲染自由视点图像的处理过程。
在头部运动追踪设备200中，传感器单元201检测用户头部的姿势(步骤S901)，并且姿势角度操作单元202基于检测结果对表示用户头部的姿势的四元数qH执行运算(步骤S902)并通过发送器203将其发送至图像渲染设备400。
在躯干运动追踪设备300中，传感器单元301检测用户的躯干姿势(步骤S911)。姿势角度操作单元202基于检测结果对表示用户的躯干的姿势的四元数qB执行运算(步骤S912)并通过发送器303将其发送至图像渲染设备400。
然后，图像渲染设备400从头部运动追踪设备200接收表示头部姿势的四元数qH并从躯干运动追踪设备300接收表示躯干姿势的四元数qB，并接收用于在自由视点空间中移动的控制信号v(诸如，位移的速度和位移量)作为输入(步骤S903)。作为一个实例，当生成三维图像(诸如，游戏)时，图像渲染设备400接收对应于游戏控制器的操纵杆等的操纵变量的控制信号v作为输入。通过使智能手机显示用户要操作的操作屏幕，可以接收控制信号v作为输入。替换地，可以输入使用安装在外部的相机等检测的用户的头部的物理位置的移动作为控制信号v。
图像渲染处理单元402根据所输入的控制信号v计算自由视点空间中的移动量ΔB(步骤S904)。在该处理例程中，使用可从躯干运动追踪设备300获得的用户的躯干的姿势信息，并且因此，控制信号v可仅与用户的躯干的姿势信息qB相关联，并且如以下式(4)中所示确定移动量ΔB。在以下式(4)中，g是用于基于表示姿势信息的四元数qB从表示位移速度或位移量的控制信号v中计算自由视点空间中的移动量ΔB的函数(同上)。
[数学式4]
ΔB＝g(v，qB) …(4)
图像渲染处理单元402计算通过在自由视点空间中沿着用户的躯干姿势qB(即，躯干的前向方向)的方向将当前点移动移动量ΔB获得的点pB(步骤S905)。与用户的躯干姿势信息qB相关联的点pB被设为自由视点空间中的视点位置，从视点位置pB渲染在表示为四元数qH的视线方向看到的图像IB(步骤S906)，并且然后在显示设备500上显示渲染的图像作为输出。如在以下式(5)中示出的，基于用于生成从视点位置pH和视线方向qH(同上)看到的图像的函数f生成在这个过程中生成的自由视点图像IH。
[数学式5]
IB＝f(pB，qH) …(5)
在上述式(4)中，基于用户的躯干姿势信息qB计算移动量ΔB。因此，在步骤S905中，相比使用基于用户的头部姿势信息计算移动量qH的上述式(2)的情况，可以计算更加自然的移动之后的点pB。因此，在步骤S906中生成的自由视点图像IB变成UI，该UI比根据在图7中示出的处理过程生成的自由视点图像IH更自然。换言之，在视线与躯干的前方不一致的状态中(例如，在头部与一侧面成角度时向前移动)可以通过将空间移动至躯干的前方(躯干的前向方向)表示真实空间中的自然行为。
同样在图9中示出的处理过程中，可以通过考虑在从检测用户的头部和躯干姿势到显示图像的时间期间出现的延迟时间执行图像渲染(同上)。
在本实施方式中，如参照图8描述的，基于从头部运动追踪设备200提供的姿势信息qH定向用户在自由视点空间中的视线方向801，并且基于从躯干运动追踪设备300提供的姿势信息qB定向用户的身体在自由视点空间中的朝向802。然后，将身体的朝向802设为用户将其识别为前方的方向。
如在图7和以上式(2)中示出的，当仅考虑头部姿势信息时，与头部姿势qH(即，视线的朝向)相关联地计算自由视点空间中的移动量。在这种情况下，参照图8，将提供其中自由视点空间朝向视线方向801而不是用户的前向方向802移动的图像，并且因此图像移动不自然。作为一个实例，使用游戏控制器的操纵杆等输入用于指示移动至前向方向的控制信号v。图10示出了仅追踪用户头部的移动的自由视点图像。如示出的，在用户将他的头部(视线方向1001)倾斜至左侧的姿势中，即使从控制器输入指向前向方向1002的指令，在从当前点沿着用户的头部姿势qH(视线方向)1001的方向移动移动量ΔH的点处生成图像IH并从点pH处沿视线方向qH观看该图像。换言之，即使存在移动至前向方向的指令，待生成的图像IH行进至视线方向1001，并且因此图像将不自然。
同时，如在图9中和以上式(4)中示出的，存在通过考虑头部和躯干姿势信息计算自由视点空间中的移动量的情况。在这种情况下，参照图8，基于头部姿势信息定向视线方向801并基于躯干姿势信息定向自由视点空间中的用户的身体朝向802。因此，可以通过将身体朝向802识别为用户前方的位置来计算在自由视点空间中的移动量。因此，可以渲染追踪用户的头部和身体的移动的自然自由视点图像。作为一个实例，使用游戏控制器的操纵杆等输入用于指示移动至前向方向的控制信号v。
图11示出了通过考虑用户的头部姿势和身体姿势生成的自由视点图像。如示出的，在用户将他的头部倾斜(视线方向1001)至左侧的姿势中，当从控制器输入指向前向方向1102的指令时，在从当前点沿着用户的躯干姿势qB的方向(视线方向)1102移动移动量ΔB的点处生成图像IB并从点pB处沿视线方向qH观看。换言之，生成视线方向1101的风景行进至前向方向1102的自然图像IB。
C.校准
当如上所述在自由视点空间中单独定向用户的视线方向和躯干朝向时，需要使头部运动追踪设备200检测用户的头部姿势的坐标系与躯干运动追踪设备300检测用户的躯干姿势的坐标系相关联。
当头部运动追踪设备200结合到用作显示设备500的头戴式显示器中时，可以机械的方式大致严格地限定头部运动追踪设备200附接至用户的头部的位置。这是因为根据用户通过左眼和右眼中的每一个的图像显示单元观看的事实每次佩戴时用户都将其佩戴在基本固定的位置。
另一方面，严格限定以机械的方式附接至用户的躯干的初始朝向的方法也可以考虑用于躯干运动追踪设备300。然而，在使用包含于附接至用户的躯干的盒子600中的躯干运动追踪设备300的模式中(例如，参照图6)，难以如头戴式显示器一样严格地限定附接位置。
考虑到用户可用性，优选用户通过用户自身的选择来选择躯干运动追踪设备300的附接位置而不是严格地限定。作为一个实例，设想用户将其放入口袋的状态或者用户将其钩在皮带上的状态。
因此，需要通过校准确定用于相互转换头部运动追踪设备200检测用户的头部姿势的坐标系和躯干运动追踪设备300检测用户的躯干姿势的坐标系的参数。当严格限定附接头部运动追踪设备200的位置时，可以校准躯干运动追踪设备300的初始位置。换言之，只要在用户佩带躯干运动追踪设备300之后仅执行一次校准，用户可以通过用户自身的选择确定附接躯干运动追踪设备300的位置。
在用户面向用户头部正前方并且身体布置在一条线上(即，直立姿势)的状态下，通过确定头部运动追踪设备200的检测坐标系与躯干运动追踪设备300的检测坐标系之间的相应关系来执行校准。下面描述了用于执行包括项(a)至(c)的校准的触发器的实例。
(a)设置在头部运动追踪设备200或躯干运动追踪设备300中的触发按钮的用户操作。
(b)用户选择通过在显示设备500上显示的图形用户界面(GUI)执行校准。
(c)用户输入用于头部运动追踪设备200或躯干运动追踪设备300的特定输入(例如，当头部竖直地摇动两次时头部运动追踪设备200和躯干运动追踪设备300的旋转角速度同步的时刻被设置为触发器)。
替换地，可在图像显示系统100中自动地执行校准，而不是使用户执行如在以上项(a)至(c)中描述的校准的触发操作。
作为一个实例，在某个时段可以显示(或者，通过声音表示)诱导用户采用直立姿势的图像，并且在该时段可以执行校准。
替换地，可以记录从记录用户发起自由视点观看的状态起的某个时段坐标系的旋转位移，并且可以从坐标系的旋转位移的记录数据和人体的特性确定在用户站立的状态下的躯干运动追踪设备300的传感器单元301的坐标系。
图12通过流程图示出了在图像显示系统100中使用由校准参数校正的姿势信息来渲染自由视点图像的处理过程。在执行校准之后的正常操作期间执行所示出的处理过程。
在头部运动追踪设备200中，传感器单元201检测用户头部的姿势(步骤S1201)，并且姿势角度操作单元202基于检测结果对表示用户头部的姿势的四元数qH执行运算(步骤S1202)并通过发送器203将其发送至图像渲染设备400。
在躯干运动追踪设备300中，传感器单元301检测用户的躯干姿势(步骤S1211)。姿势角度操作单元202基于检测结果对表示用户的躯干的姿势的四元数qB执行运算(步骤S1212)并通过发送器303将其发送至图像渲染设备400。
图像渲染设备400从头部运动追踪设备200接收表示头部姿势的四元数qH并且从躯干运动追踪设备300接收表示躯干姿势的四元数qB。然后，获得校准四元数q作为校准参数(步骤S1221)。然后，使用校准参数q校正表示躯干姿势的四元数qB，并且获得校正的四元数q′B(步骤S1213)。
校准四元数q是用于相互转换头部运动追踪设备200检测用户的头部姿势的坐标系和躯干运动追踪设备300检测用户的躯干姿势的坐标系并通过校正确定的参数。当使用四元数表示姿势信息时，用于对其进行校正的校准参数是用四元数形式表示的校准四元数。在步骤S1213中，通过根据以下式(6)从左侧乘以校准四元数q来校正表示躯干姿势的四元数qB。
[数学式6]
q′B＝qqB …(6)
然后，图像渲染设备400接收用于在自由视点空间中移动的控制信号v(诸如，位移速度和位移量)作为输入(步骤S1203)。作为一个实例，当生成三维图像(诸如，游戏)时，图像渲染设备400接收对应于游戏控制器的操纵杆等的操纵变量的控制信号v作为输入。通过使智能手机显示用户要操作的操作屏幕，可以接收控制信号v作为输入。替换地，可以输入使用安装在外部的相机等检测的用户的头部的物理位置的移动作为控制信号v。
图像渲染处理单元402根据所输入的控制信号v计算自由视点空间中的移动量ΔB(步骤S1204)。在该处理例程中，使用可从躯干运动追踪设备300获得的用户的躯干的姿势信息，并且因此，控制信号v可与用户的躯干的校正姿势信息q’B相关联，并且如以下式(7)中所示确定移动量ΔB。在以下式(7)中，g是用于基于表示姿势信息的校正四元数q’B从表示位移速度或位移量的控制信号v计算自由视点空间中的移动量ΔB的函数(同上)。
[数学式7]
ΔB＝g(v，q′B) …(7)
图像渲染处理单元402计算通过在自由视点空间中沿着用户的躯干姿势qB(即，躯干的前向方向)的方向将当前点移动移动量ΔB获得的点pB(步骤S1205)。与用户的躯干姿势信息qB相关联的点pB被设为自由视点空间中的视点位置，从视点位置pB渲染在表示为四元数qH的视线方向看到的图像IB(步骤S1206)，并且然后在显示设备500上显示渲染的图像作为输出。如在以上式(5)中示出的，基于用于生成从视点位置pH和视线方向qH(同上)看到的图像的函数f生成在这个过程中生成的自由视点图像IH。
同样在图12中示出的处理过程中，可以通过考虑在从检测用户的头部和躯干姿势到显示图像的时间期间出现的延迟时间执行图像渲染(同上)。
图13通过流程图示出了在图像显示系统100中使用由校准参数校正的姿势信息渲染自由视点图像的另一处理过程。在所示出的处理过程中，根据如在以上项(a)至(c)中描述的明确操作执行校准。
在头部运动追踪设备200中，传感器单元201检测用户头部的姿势(步骤S1301)，并且姿势角度操作单元202基于检测结果对表示用户头部的姿势的四元数qH执行运算(步骤S1302)并通过发送器203将其发送至图像渲染设备400。
在躯干运动追踪设备300中，传感器单元301检测用户的躯干姿势(步骤S1311)。姿势角度操作单元202基于检测结果对表示用户的躯干的姿势的四元数qB执行运算(步骤S1312)并通过发送器203将其发送至图像渲染设备400。
图像渲染设备400使用以下式(8)从表示用户的头部姿势的从头部运动追踪设备200发送的四元数qH和从躯干运动追踪设备300发送的表示用户的躯干姿势的四元数qB计算校准四元数q(步骤S1321)，并将其暂时存储。在以下式(8)中，“qB-1”的上标“-1”表示四元数“qB”的倒数(inverse)(以下同样)。
[数学式8]
q＝qHqB-1 …(8)
然后，图像渲染设备400根据以上式(6)通过从左侧乘以校准四元数q来校正表示躯干姿势的四元数(步骤S1313)。
接下来，图像渲染设备400接收用于在自由视点空间中移动的控制信号v(诸如，位移速度和位移量)作为输入(步骤S1303)。作为一个实例，当生成三维图像(诸如，游戏)时，图像渲染设备400接收对应于游戏控制器的操纵杆等的操纵变量的控制信号v作为输入。通过使智能手机显示用户要操作的操作屏幕，可以接收控制信号v作为输入。替换地，可以输入使用安装在外部的相机等检测的用户的头部的物理位置的移动作为控制信号v。
图像渲染处理单元402由控制信号v计算在自由视点空间中的移动量ΔB(步骤S1304)。在该处理例程中，使用可从躯干运动追踪设备300获得的用户躯干的姿势信息使得可以使控制信号v与用户的躯干的校正姿势信息q′B相关联，从而根据以上式(7)确定移动量ΔB。
图像渲染处理单元402计算通过在自由视点空间中沿着用户的躯干姿势qB的方向(即，躯干的前向方向)将当前点移动移动量ΔB获得的点pB(步骤S1305)。与用户的躯干姿势信息qB相关联的点pB被设为自由视点空间中的视点位置，从视点位置pB渲染在表示为四元数qH的视线方向看到的图像IB(步骤S1306)，并且然后在显示设备500上显示渲染的图像作为输出。如在以上式(5)中示出的，基于用于生成从视点位置pH和视线方向qH(同上)看到的图像的函数f生成在这个过程中生成的自由视点图像IH。
同样在图13中示出的处理过程中，可以通过考虑在从检测用户的头部和躯干姿势到显示图像的时间期间出现的延迟时间执行图像渲染(同上)。
图14通过流程图示出了在图像显示系统100中使用由校准参数校正的姿势信息渲染自由视点图像的又一处理过程。在所示出的处理过程中，基于某个时段的坐标系的旋转位移和人体的特性自动执行校准。
在头部运动追踪设备200中，传感器单元201检测用户头部的姿势(步骤S1401)，并且姿势角度操作单元202基于检测结果对表示用户头部的姿势的四元数qH执行运算(步骤S1402)并通过发送器203将其发送至图像渲染设备400。
在躯干运动追踪设备300中，传感器单元301检测用户的躯干姿势(步骤S1411)。姿势角度操作单元202基于检测结果对表示用户的躯干的姿势的四元数qB执行运算(步骤S1412)并通过发送器203将其发送至图像渲染设备400。
图像渲染设备400基于某个时段的坐标系的旋转位移和人体的特性估计校准四元数q(步骤S1421)。在这个过程中，一直而不是仅在特定时间点执行校准四元数q的估计。下面将更详细地描述在步骤S1421中估计校准四元数q的方法。
然后，图像渲染设备400根据以上式(6)通过从左侧乘以校准四元数q来校正表示躯干姿势的四元数qB(步骤S1413)。
接下来，图像渲染设备400接收用于在自由视点空间中移动的控制信号v(诸如，位移速度和位移量)作为输入(步骤S1403)。作为一个实例，当生成三维图像(诸如，游戏)时，图像渲染设备400接收对应于游戏控制器的操纵杆等的操纵变量的控制信号v作为输入。通过使智能手机显示用户要操作的操作屏幕，可以接收控制信号v作为输入。替换地，可以输入使用安装在外部的相机等检测的用户的头部的物理位置的移动作为控制信号v。
图像渲染处理单元402由控制信号v计算在自由视点空间中的移动量ΔB(步骤S1404)。在该处理例程中，使用可从躯干运动追踪设备300获得的用户躯干的姿势信息使得可以使控制信号v与用户的躯干的校正姿势信息q′B相关联，从而根据以上式(7)确定移动量ΔB(同上)。
图像渲染处理单元402计算通过在自由视点空间中沿着用户的躯干姿势qB的方向(即，躯干的前向方向)将当前点移动移动量ΔB获得的点pB(步骤S1405)。与用户的躯干姿势信息qB相关联的点pB被设为自由视点空间中的视点位置，从视点位置pB渲染沿表示为四元数qH的视线方向看到的图像IB(步骤S1406)，并且然后在显示设备500上显示渲染的图像作为输出。如在以上式(5)中示出的，基于用于生成从视点位置pH和视线方向qH(同上)看到的图像的函数f生成在这个过程中生成的自由视点图像IH。
同样在图14中示出的处理过程中，可以通过考虑在从检测用户的头部和躯干姿势到显示图像的时间期间出现的延迟时间执行图像渲染(同上)。
图15通过流程图示出了在图14中示出的流程图的步骤S1421中执行的自动校准的处理过程。在所示出的处理过程中，基于某个时段的坐标系的旋转位移和人体的特性估计校准四元数q。尽管可在图像显示系统100的设备200至500中的任何一个中执行这个处理过程，但假定在图像渲染设备400中执行处理过程为方便起见将进行描述。
图像渲染设备400接收从头部运动追踪设备200发送的表示用户的头部姿势的四元数qH作为常数输入以及从躯干运动追踪设备300发送的表示用户的躯干姿势的四元数qB作为时间序列数据(步骤S1501)。
根据以下式(9)，基于由头部运动追踪设备200和躯干运动追踪设备300中的每一个重新检测的姿势信息的四元数，计算新校准四元数q′并依次进行记录(步骤S1502)。
[数学式9]
q′＝qHqB-1 …(9)
由在用户面向用户头部的正前方并且躯干布置成一直线(即，直立姿势)的时刻检测的四元数qH和qB计算的四元数q′是合适的校准四元数。因此，在该处理过程中，基于当长时间测量用户的头部和躯干姿势时平均说来用户经常面向头部的正前方并且身体布置成一直线的假设，通过采用在步骤S1502中记录的校准四元数q′的时间序列平均值计算最后校准四元数q(步骤S1503)，并输出(S1504)。
与根据在图13中示出的明确操作执行校准的情况不同，在图15中示出的处理过程中，校准四元数q不是固定值而是会随时发生变化，并且可以除去传感器单元201或301的干扰因素，诸如站着或坐着的用户。
在步骤S1502中，通过求取校准四元数q′的时间序列的平均值更新最终校准四元数，内插更新前(pre-updated)的校准四元数qprev和新计算的校准四元数q′以确定更新的校准四元数qupdated。
表示姿势的四元数被描述为三维球体上的一点。因此，如在以下式(10)和图22中示出的，通过球面线性内插(Slerp)更新的校准四元数qupdated可以用于对四元数qprev与q′之间的三维球体执行线性内插。
[数学式10]
在以上式(10)中，通过用权重(1-δ)加权的更新前的校准四元数qprev和用δ加权的新的计算值q′的加权平均值确定更新的校准四元数qupdated(内插(interpolation)而不是外插(extrapolation，外推))。作为一个实例，权重系数δ＝0.01。首先，用权重1更新四元数qupdated。因此，当用户在启动的时候采用正确姿势时(头部面向正前方并且身体成一条线)，不久达到收敛。
Slerp的运算仅定义为二元关系，如在以上式(10)中示出的。因此，不适合同时用大量四元数计算平均值(如上所述，四元数的顺序更新qupdated是可以的)。为了解决这个问题(即，为了同时用大量四元数计算平均值)，考虑对数空间中的算术平均值。利用单位向量u，表示绕u旋转的角度θ的四元数q可表示为如在以下式(11)中示出的。采用这个对数，得出以下式(12)。
[数学式11]
[数学式12]
因此，通过对数变换将校准四元数{q′}的时间序列映射到三维空间以计算代表值(诸如，算术平均值)，并且然后可以通过如在以下式(13)中示出的指数转换设置回四元数。当计算算术平均值时，可视情况执行所需过程，诸如，去除异常值。
[数学式13]
图16通过流程图示出了在图14中示出的流程图的步骤S1421中执行的自动校准的另一处理过程。在所示出的处理过程中，基于某个时段的坐标系的旋转位移和人体的特性估计校准参数q。可预见用户的头部和躯干姿势在作为共用轴线的重力方向上的情况，并且假设传感器单元201和301具有检测重力方向并执行自动校准的功能。尽管可在图像显示系统100的设备200至500中的任何一个中执行这个处理过程，但假定在图像渲染设备400中执行处理过程为方便起见将进行描述。
图像渲染设备400接收从头部运动追踪设备200发送的表示用户的头部姿势的四元数qH作为常数输入并接收从躯干运动追踪设备300发送的表示用户的躯干姿势的四元数qB作为时间序列数据(步骤S1601)。
用户的头部和躯干姿势在作为共用轴线的重力方向上，并且坐标系的偏差仅累加成θ的一个参数。因此，当重力方向被设为旋转轴线时，计算并依次进行记录表示用户的头部姿势的四元数qH和表示用户的躯干姿势的四元数qB的旋转方向的角度差θ(t)(步骤S1602)。
然后，计算角度差θ(t)的平均值，并且估计计算结果作为在头部运动追踪设备200的传感器单元201和躯干运动追踪设备300的传感器单元301所附接的位置的偏差量(步骤S1603)。
因此，基于重力方向和角度差θ(t)的平均值计算校准四元数q(步骤S1604)，并输出(步骤S1605)。
在步骤S1604中，假设计算用于将用户的躯干姿势的四元数qB转换成与头部姿势的四元数qH相同的坐标系的表示的校准四元数。
在图16中示出的处理过程中，校准四元数q不是固定值而是会随时发生变化，并且可以去除传感器单元201或301的干扰因素(诸如，站着或坐着的用户)(同上)。
在步骤S1603中，除了计算角度差θ(t)的简单平均之外，可以采用以下项(d)至(g)的任意计算方法。
(d)频率分布的中值
(e)去除异常值之后的平均值
(f)用于确定材料的速度和加速度数据的组合
(g)用于确定材料的头部旋转的极限值的组合
在项(f)中描述的“用于确定材料的速度和加速度数据的组合”仅使用在自由视点空间中以某个范围的速度和加速度执行移动时的数据。当长时间保持静止状态时，不包含于样本。
在项(g)中描述了“用于确定材料的头部旋转的极限值的组合”，仅使用在范围[θ_max-θ_th,θ_min+θ_th]内的数据计算角度差θ(t)的平均值，其中，极限值θ_th暂时被设为120度，测量数据中的角度差的最大值被设为θ_max并且最小值被设为θ_min。
D.生物安全支持
在由显示设备500(诸如，头戴式显示器)呈现的自由视点空间中，当用户试图通过从初始位置移动固定点超过90度而往回看时，用户可以采用以下(A)和(B)两种类型的运动。
(A)仅转动头部90度
(B)转动整个躯干90度
当仅通过检测用户的头部姿势渲染自由视点图像时，用户不能确定是否执行以上项(A)和(B)的运动中的任一个。运动(A)是不自然的姿势，并且因此担心影响人体，从而导致生产安全性问题。
同时，在根据本实施方式的图像显示系统100中，除了通过头部运动追踪设备200得到的用户的头部的姿势信息qH之外，可使用通过躯干运动追踪设备300得到的用户的躯干的姿势信息qB。因此，用户可以确定所执行的运动是项(A)还是(B)。因此，可以引入用于基于通过确定运动得出的结果来减少或避免由于自由视点观看引起的头部的不自然的观看姿势的机构。
作为一个实例，用于减少或避免用户不自然的观看姿势的第一方法可以包括显示图像以将用户的头部返回到正常位置。如果由用户的头部和躯干的姿势信息qH和qB确定某个时段保持伴有用户的不自然的姿势的运动(A)(诸如，极度地扭转头部或躯干)的状态，以低速无意识地显示用户的头部朝向躯干的前向方向返回到初始位置的图像。图17示出了如何移动自由视点图像使得可以通过在图像中移动固定点1701而使用户的视线方向1702朝向躯干的前向方向回到初始位置。
在图9、图12、图13、以及图14中示出的处理过程中，渲染通过将分别通过头部运动追踪设备200和躯干运动追踪设备300实际上检测的头部姿势qH和躯干姿势qB没有任何修改地映射至自由视点空间的世界坐标系得到的自由视点图像。同时，在减少或避免用户的不自然的观看姿势的第一方法中，如果在用户观看自由视点图像时用户的姿势不自然(头部相对于躯干扭曲)，则对自由视点空间的世界坐标系进行校正使得自由视点空间中的头部姿势qH*与躯干姿势qB*之间的差异可以减小，从而提示甚至在真实空间中要减小用户的头部姿势qH与躯干姿势qB之间的差异。
作为减少或避免用户的不自然的观看姿势的第二方法可以包括自动取消追踪头部的移动(头部追踪)。如果确定在某个时段保持伴有用户的不自然的姿势的运动(A)的状态，则自动取消追踪头部的移动(头部追踪)并且使用户的头部利用在前方显示的固定点朝向躯干的前向方向返回到初始位置，从而重新执行坐标对准。可以通过用户的主动操作(诸如，按压按钮)取消头部追踪而不是自动取消。
在减少或避免用户的不自然的观看姿势的第二方法中，当指示取消头部追踪时通过在自由视点空间中固定头部姿势而保持在前方显示固定点。然后，在取消头部追踪的期间，根据由头部运动追踪设备200检测的头部姿势qH引起自由视点空间中的躯干姿势发生改变(即，用户移动脖子相同的量)。这提示用户的头部朝向躯干的前向方向回到初始姿势。
图18通过流程图示出了用于渲染自由视点图像的处理过程，其包括使用第一方法减少或避免用户的不自然的观看姿势的过程。通过校正自由视点空间的世界坐标系执行这个过程。尽管在图18中未示出，表示世界坐标系的校正的四元数qW的初始值被设为单位四元数。
在头部运动追踪设备200中，传感器单元201检测用户头部的姿势(步骤S1801)，并且姿势角度操作单元202基于检测结果对表示用户头部的姿势的四元数qH执行运算(步骤S1802)并通过发送器203将其发送至图像渲染设备400。
在躯干运动追踪设备300中，传感器单元301检测用户的躯干姿势(步骤S1811)。姿势角度操作单元202基于检测结果对表示用户的躯干的姿势的四元数qB执行运算(步骤S1812)并通过发送器303将其发送至图像渲染设备400。
图像渲染设备400从头部运动追踪设备200接收表示头部姿势的四元数qH并且从躯干运动追踪设备300接收表示躯干姿势的四元数qB。然后，获得校准四元数q作为校准参数(步骤S1821)。然后，使用校准参数q校正表示躯干姿势的四元数qB，并且获得校正的四元数q′B(步骤S1813)。
校准四元数q是用于相互转换头部运动追踪设备200检测用户的头部姿势的坐标系和躯干运动追踪设备300检测用户的躯干姿势的坐标系的参数(如上所述)。获得校准四元数q的方法是可选择的。在步骤S1813中，通过根据以上式(6)从左边乘以校准四元数q校正表示躯干姿势的四元数qB。
然后，基于从头部运动追踪设备200接收的头部姿势四元数qH和校正后的躯干姿势四元数q′B执行图像显示系统100是否处于生物安全支持模式的模式确定(步骤S1831)。模式确定的方法是可选择的。作为一个实例，根据如下所述的条件(C1)至(C3)执行模式确定。
(C1)在初始状态下关掉生物安全支持模式。
(C2)当在关掉生物安全支持模式的状态下用户的头部与躯干姿势之间的差异ψ超过第一阈值ψth1的状态持续一定时间时，开启生物安全支持模式。
(C3)当在开启生物安全支持模式的状态下用户的头部与躯干姿势之间的差异ψ降到第二阈值ψth2以下时，关掉生物安全支持模式。
在这点上，在以上条件(C2)中，可通过以下式(14)使用头部姿势四元数qH和校正后的躯干姿势四元数q′B计算用户的头部与躯干姿势之间的差异ψ。
[数学式14]
ψ＝||qHq′B-1|| …(14)
通过将通过以上式(14)计算的头部与躯干姿势之间的差异ψ与阈值ψth2和ψth2中的每一个进行比较可以确定是否设置生物安全支持模式。然而，根据以上条件(C1)至(C3)，当用户处于不舒服的姿势可以主动(或手动)执行生物安全支持模式的开/关之间的转换，而不是生物安全支持模式的开/关之间的自动转换。
然后，在生物安全支持模式下(在步骤S1831中为是)，对自由视点空间中的世界坐标系进行校正使得自由视点空间中的头部姿势与躯干姿势之间的差异可以减少(步骤S1832)。如果未处于生物安全支持模式中(在步骤S1831中为否)，则跳过世界坐标系的校正处理。
在步骤S1832中执行的世界坐标系的校正对应于通过逐渐旋转世界坐标系使头部姿势接近躯干姿势的操作。如在以下式(15)中示出的，当表示世界坐标系的校正的四元数是qW时，通过从左侧乘以接近躯干姿势的四元数δ来更新世界坐标系的校正四元数qW。世界坐标系的校正四元数qW的初始值是单位四元数(如上所述)。
[数学式15]
qW＝δqW …(15)
如在以下式(16)中示出的，逐渐接近躯干姿势的四元数δ是通过将表示头部姿势与躯干姿势之间的差异的四元数划分成n得出的四元数。在此，n是允许用户不费事地(或无意识地)观察的划分的数目。替换地，如在以下式(17)中示出的，逐渐接近躯干姿势的四元数δ是通过将通过标准化头部姿势与躯干姿势之间的差异得出的四元数乘以小标量ε得出的四元数。
[数学式16]
[数学式17]
当使用以上式(16)校正世界坐标系时，每当它出现时校正量都发生变化。因此，如果改变大，可能会被观察为不自然的移动。同时，当使用以上式(17)校正世界坐标系时，可使每当出现时校正量恒定。
然后，通过将在步骤S1802中计算的头部姿势的四元数qH和在步骤S1813中校正的躯干姿势的四元数q′B中的每一个从左侧乘以四元数qW来执行在自由视点空间中的头部姿势qH*和躯干姿势q′B*中的每一个的校正(步骤S1833和S1834)，并且通过逐渐旋转世界坐标系执行使头部姿势接近躯干姿势的操作。
图像渲染设备400接收用于在自由视点空间中移动的控制信号v(诸如，位移速度和位移量)作为输入(步骤S1803)。作为一个实例，当生成三维图像(诸如，游戏)时，图像渲染设备400接收对应于游戏控制器的操纵杆等的操纵变量的控制信号v作为输入。通过使智能手机显示用户要操作的操作屏幕，可以接收控制信号v作为输入。替换地，可以输入使用安装在外部的相机等检测的用户的头部的物理位置的移动作为控制信号v。
然后，在图像渲染处理单元402中，基于通过用四元数qW校正世界坐标系得出的自由视点空间中的躯干姿势q′B*，使用以下式(18)计算对应于所输入的控制信号v的移动量ΔB*(步骤S1804)。在以下式(18)中，g是用于基于表示姿势信息的校正四元数q′B*由表示位移速度和位移量的控制信号v计算自由视点空间中的移动量ΔB*的函数(同上)。
[数学式18]
ΔB*＝g(v，q′B*) …(18)
然后，图像渲染处理单元402计算通过在自由视点空间中沿着用户的躯干姿势qB的方向(即，躯干的前向方向)将当前点移动移动量ΔB*获得的点pB*(步骤S1805)。与校正后的用户的躯干姿势信息qB*相关联的点pB*被设为自由视点空间中的视点位置，从视点位置pB*渲染在表示为头部姿势的校正后的四元数qH*的视线方向看到的图像IB*(步骤S1806)，并且然后在显示设备500上显示渲染的图像作为输出。基于用于生成从视点位置pB*和视线方向qH*看到的图像的函数f生成在这个过程中生成的自由视点图像IB*(同上)。
同样在图18中示出的处理过程中，可以通过考虑在从检测用户的头部和躯干姿势到显示图像的时间期间出现的延迟时间执行图像渲染(同上)。
图19和图20通过流程图示出了用于渲染自由视点图像的处理过程，其包括使用第一方法减少或避免用户的不自然的观看姿势的过程。通过校正自由视点空间的世界坐标系执行这个过程。尽管在图19和图20中未示出，但表示世界坐标系的校正的四元数qW的初始值被设为单位四元数。
在头部运动追踪设备200中，传感器单元201检测用户头部的姿势(步骤S1901)，并且姿势角度操作单元202基于检测结果对表示用户头部的姿势的四元数qH执行操作(步骤S1902)并通过发送器203将其发送至图像渲染设备400。
在躯干运动追踪设备300中，传感器单元301检测用户的躯干姿势(步骤S1911)。姿势角度操作单元202基于检测结果对表示用户的躯干的姿势的四元数qB执行运算(步骤S1912)并通过发送器303将其发送至图像渲染设备400。
图像渲染设备400从头部运动追踪设备200接收表示头部姿势的四元数qH并且从躯干运动追踪设备300接收表示躯干姿势的四元数qB。然后，获得校准四元数q作为校准参数(步骤S1921)。然后，使用校准参数q校正表示躯干姿势的四元数qB，并且获得躯干姿势的校正后的四元数q′B(步骤S1913)。
校准四元数q是用于相互转换头部运动追踪设备200检测用户的头部姿势的坐标系和躯干运动追踪设备300检测用户的躯干姿势的坐标系的参数(如上所述)。获得校准四元数q的方法是可选择的。在步骤S1913中，通过根据以上式(6)从左侧乘以校准四元数q来校正表示躯干姿势的四元数qB。
然后，确定图像显示系统100是否处于生物安全支持模式(步骤S1941)。作为一个实例，通过判断根据以上式(14)计算的头部和躯干姿势之间的差异ψ是否超过预定阀值可以自动执行确定是否设置生物安全支持模式。替换地，可以由判断是否指示取消头部追踪的用户主动执行这个确定(或者，通过手动，诸如，按压按钮)。
如果设置生物安全支持模式(在步骤S1941中为是)，进一步检查当前时间是否是设置生物安全支持模式的时刻(步骤S1942)，然后在设置模式的时刻的用户的头部姿势qH被保存为qH0(步骤S1943)。
然后，在生物安全支持模式期间，通过用qH0替换重新检测并计算的头部姿势的四元数qH来固定自由视点空间中的头部姿势，从而防止在渲染时执行头部追踪。通过替换根据以下式(19)在步骤S1913中校正的躯干姿势的q′B，自由视点空间中的躯干姿势q′B可以改变通过由头部运动追踪设备200检测的头部姿势qH改变的量(步骤S1944)。更具体地，通过将躯干姿势q′B从左侧乘以当前头部姿势的四元数qH的倒数和在取消头部追踪的时刻头部姿势的四元数qH0(按以上顺序)，使用躯干姿势补偿头部姿势上的改变。
[数学式19]
另一方面，如果没有设置生物安全支持模式(在步骤S1941中为否)，确定这个时间是否是释放生物安全支持模式的时刻(步骤S1945)。然后，如果这个时间是释放生物安全支持模式的时刻(在步骤S1945中为是)，则使用以下式(20)更新用于校正世界坐标系的四元数以补偿在生物安全支持模式期间头部姿势实际上的改变(步骤S1946)。更具体地，通过将四元数qW从左侧乘以当前头部姿势的四元数qH的倒数和在取消头部追踪的时刻头部姿势的四元数qH0(按以上顺序)，使用躯干姿势补偿头部姿势上的改变。
[数学式20]
qW＝qWqH0qH-1 …(20)
然后，通过将头部姿势的四元数qH和躯干姿势的四元数q′B中的每一个从左侧乘以四元数qW执行自由视点空间中的头部姿势qH*和躯干姿势q′B*中的每一个的校正(步骤S1947和S1948)，并且通过逐渐旋转世界坐标系执行使头部姿势接近躯干姿势的操作。
图像渲染设备400接收用于在自由视点空间中移动的控制信号v(诸如，位移速度和位移量)作为输入(步骤S1903)。作为一个实例，当生成三维图像(诸如，游戏)时，图像渲染设备400接收对应于游戏控制器的操纵杆等的操纵变量的控制信号v作为输入。通过使智能手机显示用户要操作的操作屏幕，可以接收控制信号v作为输入。替换地，可以输入使用安装在外部的相机等检测的用户的头部的物理位置的移动作为控制信号v。
然后，在图像渲染处理单元402中，基于通过用四元数qW校正世界坐标系得出的自由视点空间中的躯干姿势q′B*，使用以上式(18)计算对应于所输入的控制信号v的移动量ΔB*(步骤S1904)。
图像渲染处理单元402计算通过在自由视点空间中沿着用户的躯干姿势qB的方向(即，躯干的前向方向)将当前点移动移动量ΔB*获得的点pB*(步骤S1905)。与校正后的用户的躯干姿势信息qB*相关联的点pB*被设为自由视点空间中的视点位置，从视点位置pB*渲染在表示为头部姿势的校正后的四元数qH*的视线方向看到的图像IB*(步骤S1906)，并且然后在显示设备500上显示渲染的图像作为输出。基于用于生成从视点位置pB*和视线方向qH*看到的图像的函数f生成在这个过程中生成的自由视点图像IB*(同上)。
同样在图19和图20中示出的处理过程中，可以通过考虑在从检测用户的头部和躯干姿势到显示图像的时间期间出现的延迟时间执行图像渲染(同上)。
以这种方式，在根据本实施方式的图像显示系统100中，除了由头部运动追踪设备200得到的用户的头部姿势信息qH之外，可以使用由躯干运动追踪设备300得到的用户的躯干姿势信息qB。因此，可以减少或避免由于自由视点观看引起的头部的不自然的观看姿势。
E.自由视点图像的元信息的显示
除了现有的TV广播之外，自由视点图像内容的实例可以包括由安置在移动设备(诸如，汽车)和无线电控制中的广角相机捕捉的图像和第一人称视点的游戏图像。
用户有时想要指的是与正在观看的自由视点图像内容有关的元信息。本文中所指的元信息的实例可包括与内容播放位置或剩余播放时间有关的信息，与指示其在虚拟空间中自身的当前位置的地图或坐标有关的信息，以及在游戏中操纵的人物的状态(例如，在战斗游戏中，疲劳或损伤程度、武器或弹药的剩余数量、迄今进行的破坏、分数等)。
观看自由视点图像的用户的视野与外部世界隔绝或者用户沉浸于虚拟世界中。因此，用户有时想要指的是真实世界信息而不是如上所述的元信息。真实世界信息的实例可包括当前时间或其他环境信息、电子邮件或电话呼叫通知等。
用户可以通过在自由视点图像中用在其上描述的这样的内容元信息或真实世界信息显示用户界面组件而在不妨碍观看自由视点图像的情况下检查期望元信息或真实世界信息。
当通过仅考虑用户的头部姿势布置这样的UI控件时，即，当UI控件布置在基于头部姿势定向的固定位置中时，自由视点图像追踪用户的头部姿势，即，视线方向，并且继续在同一地方显示UI控件。
当始终在同一地方显示UI控件时，用户可以在观看期间在任何时间检查元信息或真实世界信息。自由视点图像随着头部姿势的移动而改变，但始终在同一地方的UI控件的布置是反常的，这会导致显著削弱真实或沉浸的感觉。与自由视点图像有关的信息通常将位于布置UI控件的地点，从而使用户感觉观看或播放游戏困难。有时，存在用户不想看元信息或真实世界信息的时域，并且用户从UI控件的显示中可以感觉到繁重。
图25和图26示出了当UI控件布置在基于从头部运动追踪设备200获得的用户的头部姿势定向的固定位置中时的自由视点图像的显示实例。
在图25中示出的实例中，用户的头部面向前方，并且UI控件布置在用户的头部的前向方向上，如由参考标号2501表示的。因此，在这种情况下，如由参考标号2502表示的，UI控件投影到自由视点图像2500上。
在图26中示出的实例中，用户鞠躬且他的头部朝下。在这种情况下，UI控件布置在用户的头部的前向方向上，如由参考标号2601表示。因此，同样在这种情况下，UI控件被投影到自由视点图像2600上，如由参考标号2602表示。换言之，无论用户的头部姿势怎样，UI控件一直存在于自由视点图像中。
图27和图28示出了当UI控件布置在基于从头部运动追踪设备200获得的用户的头部姿势定向的固定位置中时的自由视点图像的另一显示实例。
在图27中示出的实例中，用户的头部面向前方，并且UI控件布置在如由参考标号2701表示的用户的头部的前向方向上。因此，在这种情况下，UI控件投影到自由视点图像2700上，如由参考标号2702表示的。
在图28中示出的实例中，用户向左转弯并且头朝向左边。在这种情况下，UI控件如由参考标号2801表示的布置在用户的头部的前向方向上。因此，在这种情况下，UI控件如由参考标号2802表示的被投影到自由视点图像2800上。换言之，无论用户的头部姿势怎样，UI控件一直存在于自由视点图像中。
另一方面，图29和图30示出了当UI控件布置在基于从躯干运动追踪设备300获得的用户的躯干姿势定向的固定位置中时自由视点图像的显示实例。
在图29中示出的实例中，用户的头部面向前方，但UI控件布置在用户的躯干的前向方向上，如由参考标号2901表示的。因此，在这种情况下，自由视点图像2600中不存在UI控件。
在图30中示出的实例中，用户鞠躬且他的头部向下转。在这种情况下，UI控件如由参考标号3001表示的布置在用户的躯干的前向方向上。因此，用户的头向下转使得UI控件能够显示在自由视点图像3000上，如由参考标号3002表示的。
换言之，尽管在用户将他的头向前转的正常的姿势中UI控件隐藏，但可以通过向下转动头使UI控件在自由视点图像中显示。三维UI控件可以通过根据用户的头部姿势校正基于用户面向前方的躯干姿势定向在固定位置的UI控件的姿势而布置在自由视点图像中。
另一方面，图31和图32示出了当UI控件布置在基于从躯干运动追踪设备300获得的用户的躯干姿势定向的固定位置中时自由视点图像的另一显示实例。
在图31中示出的实例中，用户的头部面向前方，但UI控件布置在用户的躯干的左侧方向上，如由参考标号3101表示的。因此，在这种情况下，自由视点图像3100中不存在UI控件。
在图32中示出的实例中，用户向左转弯并且头朝向左边。在这种情况下，UI控件如由参考标号3201表示的布置在用户的躯干的左侧方向上。因此，用户的头向左转使得UI控件能够显示在自由视点图像3200上，如由参考标号3202表示的。
换言之，尽管在用户将他的头向前转的正常的姿势中UI控件隐藏，但可以通过向左转动头使UI控件显示在自由视点图像中。三维UI控件可以通过根据用户的头部姿势校正基于用户面向前方的躯干姿势定向在固定位置的UI控件的姿势而布置在自由视点图像中。
图23通过流程图示出了其中UI控件布置在基于用户的躯干姿势定向的固定位置中的自由视点图像的图像渲染处理的过程。
在头部运动追踪设备200中，传感器单元201检测用户头部的姿势(步骤S2301)，并且姿势角度操作单元202基于检测结果对表示用户头部的姿势的四元数qH执行运算(步骤S2302)并通过发送器203将其发送至图像渲染设备400。
在躯干运动追踪设备300中，传感器单元301检测用户的躯干姿势(步骤S2311)。姿势角度操作单元202基于检测结果对表示用户的躯干的姿势的四元数qB执行运算(步骤S2312)并通过发送器303将其发送至图像渲染设备400。
然后，如果图像渲染设备400接收上述内容元信息或真实世界信息作为输入(步骤S2321)，表示所输入的信息的UI控件布置在基于表示用户的躯干姿势的四元数qB定向在用户躯干坐标系上的固定位置中(步骤S2313)。然后，图像渲染处理单元402基于表示用户的头部姿势的四元数qH将布置在用户躯干坐标系上的UI控件的位置和姿势转换成头部坐标系上的位置和姿势(步骤S2314)。
当将用户躯干坐标系中的第i个UI控件的位置设为pi，并将其姿势设为qi时，可以根据以下式(21)和(22)将位置和姿势转换成用户头部坐标系中的位置p′i和姿势q′i。
[数学式21]
p′i＝pi+pBH …(21)
[数学式22]
q′i＝qBqH-1qi …(22)
在以上式(21)中，pBH是如从用户头部坐标系的原点看到的用户躯干坐标系的原点位置。如果可以获得头部或躯干的位置信息(以及姿势信息)，实际测量值可以用于pBH。作为一个实例，通过使用日本成年男性的平均值，pBH可以参数化，诸如，pBH＝(0m、0m、-0.75m)等。
在以上式(22)中，通过将表示用户的躯干姿势的四元数qB从右侧乘以表示头部姿势的四元数qH的倒数得出右侧中的qBqH-1，并且是用于将躯干坐标系中的物体(UI控件)的姿势转换成头部坐标系中的姿势的四元数。
然后，图像渲染处理单元402渲染其中在由四元数qH表示的视线方向上观看布置有UI控件的自由视点的图像(步骤S2315)，并且然后渲染的图像显示在显示设备500上作为输出。
同样在图23中示出的处理过程中，可以通过考虑在从检测用户的头部和躯干姿势到显示图像的时间期间出现的延迟时间执行图像渲染(同上)。
尽管在图23中示出的流程图中未示出，通过采用在以上项C中描述的校准处理，可以执行由头部运动追踪设备200检测的用户的头部姿势的坐标系与由躯干运动追踪设备300检测的用户的躯干姿势的坐标系之间的关联。
图24通过流程图示出了用于渲染其中UI控件布置在基于用户的躯干姿势定向的固定位置中的自由视点图像的处理过程的另一实例。图24中示出的处理过程与图23中示出的处理过程的不同之处在于基于用户的躯干姿势控制自由视点中的用户的视点位置。
在头部运动追踪设备200中，传感器单元201检测用户头部的姿势(步骤S2401)，并且姿势角度操作单元202基于检测结果对表示用户头部的姿势的四元数qH执行运算(步骤S2402)并通过发送器203将其发送至图像渲染设备400。
在躯干运动追踪设备300中，传感器单元301检测用户的躯干姿势(步骤S2411)。姿势角度操作单元202基于检测结果对表示用户的躯干的姿势的四元数qB执行运算(步骤S2412)并通过发送器303将其发送至图像渲染设备400。
然后，如果图像渲染设备400接收上述内容元信息或真实世界信息作为输入(步骤S2421)，则表示所输入的信息的UI控件布置在基于表示用户的躯干姿势的四元数qB定向在用户躯干坐标系上的固定位置中(步骤S2413)。然后，图像渲染处理单元402根据以上式(21)和(22)基于表示用户的头部姿势的四元数qH将布置在用户躯干坐标系上的UI控件的位置和姿势转换成头部坐标系上的位置和姿势(步骤S2414)。
图像渲染设备400接收用于在自由视点空间中移动的控制信号v(诸如，位移速度和位移量)作为输入(步骤S2431)。作为一个实例，当生成三维图像(诸如，游戏)时，图像渲染设备400接收对应于游戏控制器的操纵杆等的操纵变量的控制信号v作为输入。通过使智能手机显示用户要操作的操作屏幕，可以接收控制信号v作为输入。替换地，可以输入使用安装在外部的相机等检测的用户的头部的物理位置的移动作为控制信号v。
图像渲染处理单元402根据所输入的控制信号v计算自由视点空间中的移动量ΔB(步骤S2432)。在该处理例程中，使用可从躯干运动追踪设备300获得的用户的躯干的姿势信息，并且因此，控制信号v可与用户的躯干的姿势信息qB相关联，并且如以上式(4)中所示确定移动量ΔB。
图像渲染处理单元402计算通过在自由视点空间中沿着用户的躯干姿势qB的方向(即，躯干的前向方向)将当前点移动移动量ΔB获得的点pB(步骤S2433)。
与用户的躯干姿势信息qB相关联的点pB被设为自由视点空间中的视点位置，从视点位置pB渲染在表示为头部姿势的四元数qH的视线方向看到的图像(步骤S2415)，并且然后在显示设备500上显示渲染的图像作为输出。
同样在图24中示出的处理过程中，可以通过考虑在从检测用户的头部和躯干姿势到显示图像的时间期间出现的延迟时间执行图像渲染(同上)。
尽管在图24中示出的流程图中未示出，通过采用在以上项C中描述的校准处理，可以执行由头部运动追踪设备200检测的用户的头部姿势的坐标系与由躯干运动追踪设备300检测的用户的躯干姿势的坐标系之间的关联。
现有技术文献
专利文献
专利文献1：特开2012-141461号公报
专利文献2：特开平9-106322号公报
专利文献3：特开2010-256534号公报
工业实用性
因此上文参照具体实施方式详细地描述了本说明书中公开的技术。然而，对本领域中的技术人员显而易见的是，在不偏离在本说明书中公开的精神的前提下，可以对这些实施方式进行修改和替换。
尽管本文中已主要描述了用于实现自由视点观看和具有头戴式显示器的视点移动的环境的实施方式，但本文中描述的技术可应用于其他使用案例。作为一个实例，坐在大屏幕显示器(诸如，电视或投影仪)的前方玩游戏的用户可佩带头部运动追踪设备200和躯干运动追踪设备300，从而在电视的游戏屏幕中实现自由视点观看和视点移动的环境。
本文中描述的技术可应用于任何类型的沉浸、透视、视频透视头戴式显示器。本文中描述的技术可应用于任何类型的双眼和单眼头戴式显示器。
基本上，已通过举例的方式描述了本说明书中公开的技术，并且本说明书陈述的内容不应当被解释为限制性的。应当考虑到权利要求确定本说明书中公开的技术的精神。
此外，还可以如下配置本技术。
(1)
一种信息处理装置，包括：
接收器，被配置为接收关于观察者的头部的姿势的第一信息和关于观察者的除头部以外的身体的姿势的第二信息；以及
图像渲染处理单元，被配置为基于第一信息和第二信息生成对应于观察者的姿势的显示图像。
(2)
根据(1)所述的信息处理装置，
其中，接收器接收至少观察者的躯干的姿势作为第二信息，并且
图像渲染处理单元通过基于第一信息在自由视点空间中定向观察者的视线方向并通过基于从第二信息获得的观察者的躯干的姿势在自由视点空间中定向观察者的身体的朝向(视点位置)，来生成追踪观察者的头部的姿势的自由视点图像。
(3)
根据(2)所述的信息处理装置，
其中，当接收用于指示观察者在自由视点空间中移动的控制信号作为输入时，图像渲染处理单元通过将基于从第二信息获得的观察者的躯干的姿势定向的身体的朝向识别为前向方向，来确定移动之后的点(视点位置)。
(4)
根据(1)所述的信息处理装置，
其中，图像渲染处理单元通过基于第一信息在自由视点空间中定向观察者的视线方向并通过布置在基于从第二信息获得的姿势定向的固定位置中，来生成追踪观察者的头部的姿势的自由视点图像。
(5)
根据(1)所述的信息处理装置，
其中，接收器接收至少观察者的躯干的姿势作为第二信息，并且
图像渲染处理单元通过基于第一信息在自由视点空间中定向观察者的视线方向、通过基于从第二信息获得的观察者的躯干的姿势在自由视点空间中定向观察者的身体的朝向(视点位置)、并通过将预定图像控件布置在基于观察者的躯干的姿势定向的固定位置中，来生成追踪观察者的头部的姿势的自由视点图像。
(5-1)
根据(4)和(5)中任一项所述的信息处理装置，
其中图像渲染处理单元布置包括与自由视点图像有关的原信息的图像控件。
(6)
根据(1)至(5)中任一项所述的信息处理装置，进一步包括：
校准处理单元，被配置为获得校准参数，
其中，图像渲染处理单元使用通过校准参数校正的姿势信息执行图像生成。
(7)
根据(6)所述的信息处理装置，
其中，校准处理单元基于从第一信息获得的头部姿势信息和从第二信息获得的第二姿势信息计算用于校正第二姿势信息的校准参数并且使用校准参数校正第二姿势信息。
(8)
根据(7)所述的信息处理装置，
其中，校准处理单元通过使用头部姿势信息和第二姿势信息计算用于将第二姿势信息与头部姿势信息匹配的姿势转换参数作为校准参数。
(9)
根据(7)所述的信息处理装置，
其中，由四元数表示姿势信息，
校准处理单元通过将头部姿势信息从右侧乘以第二姿势信息的四元数的倒数计算用于校正第二姿势信息的校准四元数，并且
通过将第二姿势信息的四元数从左侧乘以校准四元数执行校正。
(10)
根据(6)所述的信息处理装置，
其中，校准处理单元基于从第一信息获得的头部姿势的坐标系和从第二信息获得的姿势的坐标系的某个时段的旋转位移以及人体的特性估计用于校正第二姿势信息的校准参数。
(11)
根据(6)所述的信息处理装置，
其中，校准处理单元将基于从第一信息获得的头部姿势信息和从第二信息获得的第二姿势信息计算的某个时段的校准参数的时间序列平均值设置为最终校准参数。
(12)
根据(11)所述的信息处理装置，
其中，由四元数表示姿势信息，并且
校准处理单元通过在基于从重新接收的第一信息和第二信息中的每一个获得的姿势信息的四元数重新计算的校准四元数与由时间序列平均值确定的最后校准四元数之间执行球面线性内插，来更新校准四元数。
(12-1)
根据(11)所述的图像显示设备，
其中校准处理单元通过对数转换将校准四元数的时间序列映射到三维空间上、计算包括算术平均值的代表值、并且然后通过指数转换将所得出的值返回至四元数。
(13)
根据(11)所述的信息处理装置，
其中，基于第二信息计算观察者的躯干的姿势，并且
当重力方向被设为旋转轴线时，校准处理单元确定分别从重新接收的第一信息和第二信息获得的头部和躯干的姿势信息的旋转方向的角度差的平均值、并计算重力方向上的校准参数和平均值。
(14)
根据(1)所述的信息处理装置，
其中，图像渲染处理单元基于从第一信息获得的头部姿势与从第二信息获得的躯干姿势之间的差异处理显示单元上的显示图像。
(15)
根据(2)和(3)中任一项所述的信息处理装置，
其中，图像渲染处理单元通过在生物安全支持模式下以自由视点空间中的头部姿势与躯干姿势之间的差异减少的方式校正世界坐标系，来生成自由视点图像。
(16)
根据(2)和(3)中任一项所述的信息处理装置，
其中，图像渲染处理单元通过在设置生物安全支持模式时的时间点在自由视点空间中固定头部姿势并通过在生物安全支持模式下根据由头部姿势检测单元检测的头部姿势在自由视点空间中改变躯干姿势，来生成自由视点图像。
(17)
根据(15)和(16)中任一项所述的信息处理装置，
其中，当从第一信息获得的头部姿势与从第二信息获得的躯干姿势之间的差异超过第一阈值的状态持续一定时间时设置生物安全支持模式，并且当差异等于或小于第二阈值时释放生物安全支持模式，第二阈值小于第一阈值。
(18)
一种信息处理方法，包括：
接收步骤，接收关于观察者的头部的姿势的第一信息以及关于观察者的除头部以外的身体的姿势的第二信息；以及
图像渲染处理步骤，基于第一信息和第二信息生成对应于观察者的姿势的显示图像。
(19)
一种计算机程序，其以计算机可读格式编写，用于使计算机用作：
头部姿势操作单元，被配置为基于通过在头部姿势检测单元中的检测获得的结果计算观察者的头部的姿势信息，头部姿势检测单元被配置为检测观察者的头部的姿势；
第二姿势操作单元，被配置为基于通过第二姿势检测单元中的检测获得的结果计算观察者的除头部以外的身体的第二部分的姿势信息，第二姿势检测单元被配置为检测第二部分的一个或多个的姿势；以及
图像渲染处理单元，被配置为基于观察者的头部的姿势和第二部分的姿势处理待显示在显示单元上的图像，显示单元被固定至观察者的头部或面部。
(20)
一种图像处理系统，包括：
显示单元，被固定至观察者的头部或面部；
头部姿势检测单元，被配置为检测观察者的头部的姿势；
第二姿势检测单元，被配置为检测观察者的除头部以外的身体的一个或多个第二部分的姿势；以及
图像渲染处理单元，被配置为基于观察者的头部的姿势和第二部分中的每一个的姿势处理显示单元上的显示图像。
符号说明
100 图像显示系统
200 头部运动追踪设备
201 传感器单元
202 姿势角度操作单元
203 发送器
300 躯干运动追踪设备
301 传感器单元
302 姿势角度操作单元
303 发送器
400 图像渲染设备
401 接收器
402 图像渲染处理单元
403 发送器
404 图像源
500 显示设备
501 接收器
502 显示单元。

Claims (18)

1.一种信息处理装置，包括：
接收器，被配置为接收关于观察者的头部的姿势的第一信息和关于所述观察者的除头部以外的身体的姿势的第二信息；以及
图像渲染处理单元，被配置为基于所述第一信息和所述第二信息生成对应于所述观察者的姿势的显示图像，
其中，所述接收器接收至少所述观察者的躯干的姿势作为所述第二信息，并且
所述图像渲染处理单元通过基于所述第一信息在自由视点空间中定向所述观察者的视线方向并通过基于从所述第二信息获得的所述观察者的躯干的姿势在所述自由视点空间中定向所述观察者的身体的朝向，来生成追踪所述观察者的头部的姿势的自由视点图像，
其中，当接收到用于指示所述观察者在所述自由视点空间中移动的控制信号作为输入时，所述图像渲染处理单元通过将基于从所述第二信息获得的所述观察者的躯干的姿势定向的身体的朝向识别为前向方向来确定移动之后的点。
2.根据权利要求1所述的信息处理装置，
其中，所述图像渲染处理单元通过基于所述第一信息在自由视点空间中定向所述观察者的视线方向并通过布置在基于从所述第二信息获得的姿势定向的固定位置中，来生成追踪所述观察者的头部的姿势的自由视点图像。
3.根据权利要求1所述的信息处理装置，
其中，所述接收器接收至少所述观察者的躯干的姿势作为所述第二信息，并且
所述图像渲染处理单元通过基于所述第一信息在自由视点空间中定向所述观察者的视线方向、通过基于从所述第二信息获得的所述观察者的躯干的姿势在所述自由视点空间中定向所述观察者的身体的朝向、并通过将预定图像控件布置在基于所述观察者的躯干的姿势定向的固定位置中，来生成追踪所述观察者的头部的姿势的自由视点图像。
4.根据权利要求1至3中任一项所述的信息处理装置，进一步包括：
校准处理单元，被配置为获得校准参数，
其中，所述图像渲染处理单元使用通过所述校准参数校正的姿势信息来执行图像生成。
5.根据权利要求4所述的信息处理装置，
其中，所述校准处理单元基于从所述第一信息获得的头部姿势信息和从所述第二信息获得的第二姿势信息计算用于校正所述第二姿势信息的校准参数并且使用所述校准参数校正所述第二姿势信息。
6.根据权利要求5所述的信息处理装置，
其中，所述校准处理单元通过使用所述头部姿势信息和所述第二姿势信息计算用于将所述第二姿势信息与所述头部姿势信息匹配的姿势转换参数作为所述校准参数。
7.根据权利要求5所述的信息处理装置，
其中，由四元数表示所述姿势信息，
所述校准处理单元通过将所述头部姿势信息从右侧乘以所述第二姿势信息的四元数的倒数来计算用于校正所述第二姿势信息的校准四元数，并且
通过将所述第二姿势信息的四元数从左侧乘以所述校准四元数来执行校正。
8.根据权利要求4所述的信息处理装置，
其中，所述校准处理单元基于从所述第一信息获得的头部姿势的坐标系和从所述第二信息获得的姿势的坐标系的一定时段的旋转位移以及人体的特性来估计用于校正第二姿势信息的校准参数。
9.根据权利要求4所述的信息处理装置，
其中，所述校准处理单元将基于从所述第一信息获得的头部姿势信息和从所述第二信息获得的第二姿势信息计算的一定时段的校准参数的时间序列平均值设置为最终校准参数。
10.根据权利要求9所述的信息处理装置，
其中，由四元数表示所述姿势信息，并且
所述校准处理单元通过在基于从重新接收的所述第一信息和所述第二信息中的每一个获得的姿势信息的四元数重新计算的校准四元数与由所述时间序列平均值确定的最后校准四元数之间执行球面线性内插，来更新校准四元数。
11.根据权利要求9所述的信息处理装置，
其中，基于所述第二信息计算所述观察者的躯干的姿势，并且当重力方向被设为旋转轴线时，所述校准处理单元确定分别从重新接收的所述第一信息和所述第二信息获得的头部和躯干的姿势信息的旋转方向的角度差的平均值、并计算重力方向上的校准参数和平均值。
12.根据权利要求1所述的信息处理装置，
其中，所述图像渲染处理单元基于从所述第一信息获得的头部姿势与从所述第二信息获得的躯干姿势之间的差异处理显示单元上的显示图像。
13.根据权利要求1所述的信息处理装置，
其中，所述图像渲染处理单元通过在生物安全支持模式下以所述自由视点空间中的头部姿势与躯干姿势之间的差异减少的方式校正世界坐标系，来生成自由视点图像。
14.根据权利要求1所述的信息处理装置，
其中，所述图像渲染处理单元通过在设置生物安全支持模式时的时间点在自由视点空间中固定头部姿势并通过在所述生物安全支持模式下根据由头部姿势检测单元检测的头部姿势在自由视点空间中改变躯干姿势，来生成自由视点图像。
15.根据权利要求13和14中任一项所述的信息处理装置，
其中，当从所述第一信息获得的头部姿势与从所述第二信息获得的躯干姿势之间的差异超过第一阈值的状态持续一定时间时设置所述生物安全支持模式，并且当所述差异等于或小于第二阈值时释放所述生物安全支持模式，所述第二阈值小于所述第一阈值。
16.一种信息处理方法，包括：
接收步骤，接收关于观察者的头部的姿势的第一信息以及关于所述观察者的除头部以外的身体的姿势的第二信息；以及
图像渲染处理步骤，基于所述第一信息和所述第二信息生成对应于所述观察者的姿势的显示图像，
其中，在所述接收步骤中，接收至少所述观察者的躯干的姿势作为所述第二信息，并且
在所述图像渲染处理步骤，通过基于所述第一信息在自由视点空间中定向所述观察者的视线方向并通过基于从所述第二信息获得的所述观察者的躯干的姿势在所述自由视点空间中定向所述观察者的身体的朝向，来生成追踪所述观察者的头部的姿势的自由视点图像，
其中，当接收到用于指示所述观察者在所述自由视点空间中移动的控制信号作为输入时，在所述图像渲染处理步骤，通过将基于从所述第二信息获得的所述观察者的躯干的姿势定向的身体的朝向识别为前向方向来确定移动之后的点。
17.一种图像处理系统，包括：
显示单元，被固定至观察者的头部或面部；
头部姿势检测单元，被配置为检测所述观察者的头部的姿势；
第二姿势检测单元，被配置为检测所述观察者的除头部以外的身体的一个或多个第二部分的姿势；以及
图像渲染处理单元，被配置为基于所述观察者的头部的姿势和所述第二部分中的每一个的姿势处理所述显示单元上的显示图像，
其中，所述第二姿势检测单元检测至少所述观察者的躯干的姿势，并且
所述图像渲染处理单元通过基于所述观察者的头部的姿势在自由视点空间中定向所述观察者的视线方向并通过基于所述观察者的躯干的姿势在所述自由视点空间中定向所述观察者的身体的朝向，来生成追踪所述观察者的头部的姿势的自由视点图像，
其中，当接收到用于指示所述观察者在所述自由视点空间中移动的控制信号作为输入时，所述图像渲染处理单元通过将基于所述观察者的躯干的姿势定向的身体的朝向识别为前向方向来确定移动之后的点。
18.一种计算机，安装有以计算机可读格式编写的计算机程序，用于使所述计算机用作：
头部姿势操作单元，被配置为基于通过在头部姿势检测单元中的检测获得的结果计算观察者的头部的姿势信息，所述头部姿势检测单元被配置为检测所述观察者的头部的姿势；
第二姿势操作单元，被配置为基于通过第二姿势检测单元中的检测获得的结果计算所述观察者的除头部以外的身体的第二部分的姿势信息，所述第二姿势检测单元被配置为检测所述第二部分的一个或多个的姿势；以及
图像渲染处理单元，被配置为基于所述观察者的头部的姿势和所述第二部分的姿势处理要显示在显示单元上的图像，所述显示单元被固定至所述观察者的头部或面部，
其中，所述第二姿势检测单元检测至少所述观察者的躯干的姿势，并且
所述图像渲染处理单元通过基于所述观察者的头部的姿势在自由视点空间中定向所述观察者的视线方向并通过基于所述观察者的躯干的姿势在所述自由视点空间中定向所述观察者的身体的朝向，来生成追踪所述观察者的头部的姿势的自由视点图像，
其中，当接收到用于指示所述观察者在所述自由视点空间中移动的控制信号作为输入时，所述图像渲染处理单元通过将基于所述观察者的躯干的姿势定向的身体的朝向识别为前向方向来确定移动之后的点。
CN201580033884.3A 2014-06-30 2015-04-21 信息处理装置、信息处理方法和图像处理系统 Active CN106415447B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2014-135216 2014-06-30
JP2014135216 2014-06-30
JP2014172231 2014-08-27
JP2014-172231 2014-08-27
PCT/JP2015/062055 WO2016002318A1 (ja) 2014-06-30 2015-04-21 情報処理装置及び情報処理方法、コンピューター・プログラム、並びに画像処理システム

Publications (2)

Publication Number Publication Date
CN106415447A CN106415447A (zh) 2017-02-15
CN106415447B true CN106415447B (zh) 2019-08-06

Family

ID=55018876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580033884.3A Active CN106415447B (zh) 2014-06-30 2015-04-21 信息处理装置、信息处理方法和图像处理系统

Country Status (6)

Country Link
US (1) US10310595B2 (zh)
EP (1) EP3163422B1 (zh)
JP (1) JP6572893B2 (zh)
KR (1) KR102420313B1 (zh)
CN (1) CN106415447B (zh)
WO (1) WO2016002318A1 (zh)

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6474278B2 (ja) * 2015-02-27 2019-02-27 株式会社ソニー・インタラクティブエンタテインメント 画像生成システム、画像生成方法、プログラム及び情報記憶媒体
EP3302740A1 (en) * 2015-06-01 2018-04-11 Thomson Licensing Reactive animation for virtual reality
US10222619B2 (en) * 2015-07-12 2019-03-05 Steven Sounyoung Yu Head-worn image display apparatus for stereoscopic microsurgery
JPWO2017064926A1 (ja) * 2015-10-15 2018-08-02 ソニー株式会社 情報処理装置及び情報処理方法
RU2617557C1 (ru) * 2015-11-18 2017-04-25 Виталий Витальевич Аверьянов Способ воздействия на виртуальные объекты дополненной реальности
KR102499349B1 (ko) * 2016-03-21 2023-02-14 삼성전자주식회사 전방위 영상을 제공하는 전자 장치 및 방법
US10509469B2 (en) 2016-04-21 2019-12-17 Finch Technologies Ltd. Devices for controlling computers based on motions and positions of hands
US10705338B2 (en) 2016-05-02 2020-07-07 Waves Audio Ltd. Head tracking with adaptive reference
US11182930B2 (en) 2016-05-02 2021-11-23 Waves Audio Ltd. Head tracking with adaptive reference
US10238571B2 (en) 2016-06-22 2019-03-26 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist devices and methods of calibrating image data of a vision-assist device
US20180012377A1 (en) * 2016-07-08 2018-01-11 Toyota Motor Engineering & Manufacturing North America, Inc. Vision-assist devices and methods of calibrating vision-assist devices
US11172005B2 (en) 2016-09-09 2021-11-09 Nokia Technologies Oy Method and apparatus for controlled observation point and orientation selection audiovisual content
US10708569B2 (en) * 2016-09-29 2020-07-07 Eric Wilson Turbine-Powered Pool Scrubber
US10438389B2 (en) * 2016-11-07 2019-10-08 Htc Corporation Method, device, and non-transitory computer readable storage medium for displaying virtual reality or augmented reality environment according to a viewing angle
JP2018082308A (ja) 2016-11-16 2018-05-24 ソニー株式会社 情報処理装置、方法及びプログラム
US10969861B2 (en) * 2017-02-23 2021-04-06 Sony Corporation Image processing device, image processing method, and image system
WO2018183405A1 (en) 2017-03-27 2018-10-04 Avegant Corp. Steerable foveal display
CN107145706B (zh) * 2017-03-30 2020-09-18 重庆爱奇艺智能科技有限公司 虚拟现实vr设备融合算法性能参数的评估方法及装置
US10705113B2 (en) 2017-04-28 2020-07-07 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user to generate inputs for computer systems
WO2018198909A1 (ja) 2017-04-28 2018-11-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法及びプログラム
US10379613B2 (en) 2017-05-16 2019-08-13 Finch Technologies Ltd. Tracking arm movements to generate inputs for computer systems
US10540006B2 (en) * 2017-05-16 2020-01-21 Finch Technologies Ltd. Tracking torso orientation to generate inputs for computer systems
CN107368192B (zh) * 2017-07-18 2021-03-02 歌尔光学科技有限公司 Vr眼镜的实景观测方法及vr眼镜
US20200186729A1 (en) * 2017-07-31 2020-06-11 Sony Corporation Image processing apparatus, image processing method, program, and remote communication system
JP2019040555A (ja) * 2017-08-29 2019-03-14 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10628958B2 (en) * 2017-09-05 2020-04-21 Htc Corporation Frame rendering apparatus, method and non-transitory computer readable storage medium
GB2567164A (en) * 2017-10-04 2019-04-10 Continental Automotive Gmbh Display system in a vehicle
US11303814B2 (en) * 2017-11-09 2022-04-12 Qualcomm Incorporated Systems and methods for controlling a field of view
JP7073702B2 (ja) * 2017-12-11 2022-05-24 富士フイルムビジネスイノベーション株式会社 情報処理装置及び情報処理プログラム
US10521011B2 (en) 2017-12-19 2019-12-31 Finch Technologies Ltd. Calibration of inertial measurement units attached to arms of a user and to a head mounted device
US10509464B2 (en) * 2018-01-08 2019-12-17 Finch Technologies Ltd. Tracking torso leaning to generate inputs for computer systems
US11016116B2 (en) 2018-01-11 2021-05-25 Finch Technologies Ltd. Correction of accumulated errors in inertial measurement units attached to a user
JP7355006B2 (ja) 2018-03-30 2023-10-03 ソニーグループ株式会社 情報処理装置、情報処理方法、および記録媒体
US10416755B1 (en) 2018-06-01 2019-09-17 Finch Technologies Ltd. Motion predictions of overlapping kinematic chains of a skeleton model used to control a computer system
US11474593B2 (en) 2018-05-07 2022-10-18 Finch Technologies Ltd. Tracking user movements to control a skeleton model in a computer system
JP6506454B1 (ja) * 2018-06-14 2019-04-24 株式会社バーチャルキャスト データ差し替え装置、端末、およびデータ差し替えプログラム
WO2020023399A1 (en) * 2018-07-23 2020-01-30 Magic Leap, Inc. Deep predictor recurrent neural network for head pose prediction
US11009941B2 (en) 2018-07-25 2021-05-18 Finch Technologies Ltd. Calibration of measurement units in alignment with a skeleton model to control a computer system
WO2020026380A1 (ja) * 2018-08-01 2020-02-06 楽天株式会社 表示装置、表示方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体
JP7168207B2 (ja) * 2018-10-29 2022-11-09 Ｎｅｃソリューションイノベータ株式会社 情報処理装置、情報処理方法、及びプログラム
WO2020090042A1 (ja) * 2018-10-31 2020-05-07 株式会社ソニー・インタラクティブエンタテインメント トラッカーのキャリブレーション装置、トラッカーのキャリブレーション方法及びプログラム
US11169383B2 (en) 2018-12-07 2021-11-09 Avegant Corp. Steerable positioning element
CN113412442A (zh) 2019-01-07 2021-09-17 阿维甘特公司 控制系统和渲染管道
JP7048520B2 (ja) * 2019-01-31 2022-04-05 株式会社日立製作所 頭部装着型表示装置および仮想空間表示制御方法
WO2020157955A1 (ja) 2019-02-01 2020-08-06 マクセル株式会社 仮想オブジェクト表示装置及び仮想オブジェクト表示方法
JP2022059098A (ja) * 2019-02-20 2022-04-13 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JP7111645B2 (ja) * 2019-03-28 2022-08-02 株式会社バーチャルキャスト 制御プログラム
KR102649783B1 (ko) 2019-03-29 2024-03-20 아브간트 코포레이션 도파관을 사용한 조향 가능한 하이브리드 디스플레이
US11126001B2 (en) * 2019-03-29 2021-09-21 Sony Interactive Entertainment Inc. Image generating apparatus, head-mounted display, content processing system and image displaying method
US11756259B2 (en) * 2019-04-17 2023-09-12 Rakuten Group, Inc. Display controlling device, display controlling method, program, and non-transitory computer-readable information recording medium
CN109976535B (zh) * 2019-05-05 2022-12-02 北京七鑫易维信息技术有限公司 一种校准方法、装置、设备及存储介质
US11954247B2 (en) 2019-06-21 2024-04-09 Maxell, Ltd. Head mounted display apparatus
US10809797B1 (en) 2019-08-07 2020-10-20 Finch Technologies Ltd. Calibration of multiple sensor modules related to an orientation of a user of the sensor modules
US20220300120A1 (en) * 2019-08-30 2022-09-22 Sony Group Corporation Information processing apparatus, and control method
WO2021124680A1 (ja) 2019-12-18 2021-06-24 ソニーグループ株式会社 情報処理装置及び情報処理方法
US11624921B2 (en) 2020-01-06 2023-04-11 Avegant Corp. Head mounted system with color specific modulation
KR20210103880A (ko) 2020-02-14 2021-08-24 엘지전자 주식회사 컨텐트 제공 방법 및 디바이스
CN111694429B (zh) * 2020-06-08 2023-06-02 北京百度网讯科技有限公司 虚拟对象驱动方法、装置、电子设备及可读存储
KR102437276B1 (ko) * 2020-10-15 2022-08-30 (주)이머시브캐스트 바디 움직임 기반의 클라우드 vr 장치 및 방법
GB2607151B (en) * 2021-03-12 2024-06-05 Canon Kk Wearable image pickup apparatus, portable device and calibrator that communicate with image pickup apparatus, control methods therefor, and storage media
GB2611154A (en) * 2021-07-29 2023-03-29 Canon Kk Image pickup apparatus used as action camera, control method therefor, and storage medium storing control program therefor
KR20230019016A (ko) * 2021-07-30 2023-02-07 캐논 가부시끼가이샤 액션 카메라로서 사용되는 촬상장치
GB2611156B (en) 2021-07-30 2024-06-05 Canon Kk Image capture apparatus, control method, and program
GB2611157A (en) 2021-07-30 2023-03-29 Canon Kk Image pickup apparatus used as action camera, calibration system, control method for image pickup apparatus, and storage medium storing control program for...
US12026302B2 (en) * 2022-06-24 2024-07-02 Apple Inc. Controlling a device setting using head pose

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5846134A (en) * 1995-07-14 1998-12-08 Latypov; Nurakhmed Nurislamovich Method and apparatus for immersion of a user into virtual reality
JP2001208529A (ja) * 2000-01-26 2001-08-03 Mixed Reality Systems Laboratory Inc 計測装置及びその制御方法並びに記憶媒体
CN102193625A (zh) * 2010-02-24 2011-09-21 索尼公司 图像处理设备、图像处理方法、程序以及图像处理系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09106322A (ja) 1995-10-09 1997-04-22 Data Tec:Kk ヘッドマウントディスプレイにおける姿勢角検出装置
US6118888A (en) * 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
JP3848092B2 (ja) * 2001-03-13 2006-11-22 キヤノン株式会社 画像処理装置及び方法、並びにプログラム
US20080091373A1 (en) * 2006-07-31 2008-04-17 University Of New Brunswick Method for calibrating sensor positions in a human movement measurement and analysis system
KR101483713B1 (ko) * 2008-06-30 2015-01-16 삼성전자 주식회사 모션 캡쳐 장치 및 모션 캡쳐 방법
JP2010256534A (ja) 2009-04-23 2010-11-11 Fujifilm Corp 全方位画像表示用ヘッドマウントディスプレイ装置
US9366862B2 (en) * 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
JP2012141461A (ja) 2010-12-29 2012-07-26 Sony Corp ヘッド・マウント・ディスプレイ
KR101214227B1 (ko) * 2011-05-25 2012-12-20 한국과학기술연구원 동작 추적 방법.
JP2013083731A (ja) 2011-10-06 2013-05-09 Murata Mach Ltd 画像表示システム
JP6143469B2 (ja) * 2013-01-17 2017-06-07 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP6439702B2 (ja) 2013-12-25 2018-12-19 ソニー株式会社 画像処理装置及び画像処理方法、コンピューター・プログラム、並びに画像表示システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5846134A (en) * 1995-07-14 1998-12-08 Latypov; Nurakhmed Nurislamovich Method and apparatus for immersion of a user into virtual reality
JP2001208529A (ja) * 2000-01-26 2001-08-03 Mixed Reality Systems Laboratory Inc 計測装置及びその制御方法並びに記憶媒体
CN102193625A (zh) * 2010-02-24 2011-09-21 索尼公司 图像处理设备、图像处理方法、程序以及图像处理系统

Also Published As

Publication number Publication date
EP3163422B1 (en) 2020-02-12
EP3163422A1 (en) 2017-05-03
EP3163422A4 (en) 2018-03-07
JP6572893B2 (ja) 2019-09-11
KR102420313B1 (ko) 2022-07-13
US10310595B2 (en) 2019-06-04
JPWO2016002318A1 (ja) 2017-04-27
WO2016002318A1 (ja) 2016-01-07
US20170083084A1 (en) 2017-03-23
KR20170028313A (ko) 2017-03-13
CN106415447A (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
CN106415447B (zh) 信息处理装置、信息处理方法和图像处理系统
US10574889B2 (en) Information processing device, information processing method, and program
CN106797460B (zh) 三维视频的重建
US9479736B1 (en) Rendered audiovisual communication
US10539797B2 (en) Method of providing virtual space, program therefor, and recording medium
JP5646263B2 (ja) 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
US10545339B2 (en) Information processing method and information processing system
CN108292040A (zh) 优化头戴式显示器屏幕上的内容定位的方法
CN108292489A (zh) 信息处理装置和图像生成方法
US11074737B2 (en) Information processing apparatus and method
CN107636534A (zh) 一般球面捕获方法
KR20180042386A (ko) 임의의 위치 및 임의의 시간으로부터 비디오 컨텐츠를 재생하기 위한 방법 및 장치
US10564801B2 (en) Method for communicating via virtual space and information processing apparatus for executing the method
US20180196506A1 (en) Information processing method and apparatus, information processing system, and program for executing the information processing method on computer
US20180300926A1 (en) Information processing method and apparatus, and program for executing the information processing method on computer
CN109644235A (zh) 在混合现实应用中设置焦点的技术
CN105894571A (zh) 一种处理多媒体信息的方法及装置
CN112272817A (zh) 用于在沉浸式现实中提供音频内容的方法和装置
WO2020129115A1 (ja) 情報処理システム、情報処理方法およびコンピュータプログラム
CN107197339A (zh) 影片弹幕的显示控制方法、装置及头戴式显示设备
CN105893452A (zh) 一种呈现多媒体信息的方法及装置
CN105894581A (zh) 一种呈现多媒体信息的方法及装置
CN105630170B (zh) 一种信息处理方法及电子设备
CN109313823A (zh) 信息处理装置、信息处理方法和程序

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant