CN105593924B - 图像处理装置、图像处理方法、计算机程序以及图像显示系统 - Google Patents

图像处理装置、图像处理方法、计算机程序以及图像显示系统 Download PDF

Info

Publication number
CN105593924B
CN105593924B CN201480054842.3A CN201480054842A CN105593924B CN 105593924 B CN105593924 B CN 105593924B CN 201480054842 A CN201480054842 A CN 201480054842A CN 105593924 B CN105593924 B CN 105593924B
Authority
CN
China
Prior art keywords
image
time
external device
unit
series data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480054842.3A
Other languages
English (en)
Other versions
CN105593924A (zh
Inventor
山本祐辉
河本献太
广田洋一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105593924A publication Critical patent/CN105593924A/zh
Application granted granted Critical
Publication of CN105593924B publication Critical patent/CN105593924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/80—Creating or modifying a manually drawn or painted image using a manual input device, e.g. mouse, light pen, direction keys on keyboard
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/12—Use of DVI or HDMI protocol in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请生成一种跟随观察图像的用户的头部的运动的图像。绘图装置300从已经接收的姿势角数据的时间序列预测某个时间段要接收的姿势角数据，并且基于所述预测的姿势角数据，渲染图像。姿势角数据的预测算法大致分成两个步骤：(1)估计何时将接收所述姿势角数据，以及(2)预测预测的时间的所述姿势角数据。通过从所预测的姿势角数据渲染在预测的时间的图像，减少在显示跟随用户的头部的运动的图像时亲身感觉到的延迟。

Description

图像处理装置、图像处理方法、计算机程序以及图像显示系统
技术领域
在本说明书中公开的技术涉及用于处理跟随用户的头部的运动的图像的一种图像处理装置、一种图像处理方法、一种计算机程序以及一种图像显示系统。
背景技术
已知固定至观察图像的用户的头部或脸部的一种图像显示装置，即，头戴式显示器。例如，头戴式显示器包括用于相应的左眼和右眼的图像显示单元，并且配置为与耳机一起使用，以便能够控制视觉和听觉。在头戴式显示器配置为在安装在头上时完全挡住外部世界时，增强在查看和收听期间的虚拟现实。头戴式显示器也能够在左眼和右眼上投射不同的视频。因此，在为左眼和右眼显示具有视差的图像时，可以呈现3D图像。
这种类型的头戴式显示器促使在眼睛的视网膜上形成并且由用户观察虚拟图像。在对象位于在焦距内接近透镜的位置上时，在本文中使用的虚拟图像形成在透镜的对象侧上。例如，提出了一种头戴式显示器，配置该头戴式显示器，以便具有宽视角的光学系统通过25mm的间距设置在瞳孔的前面，并且具有大约0.7英寸的有效像素范围的尺寸的显示面板进一步设置在具有宽视角的光学系统的前面(例如，参照专利文档1)。
使用这种类型的头戴式显示器，可以查看广角图像。例如，提出了一种头戴式显示器，配置该头戴式显示器，以便包括陀螺仪传感器等的头部运动跟踪装置连接至头部，以便允许用户感到跟随用户的头部的运动的整个空间的360度视频(例如，参照专利文档2和专利文档3)。移动显示的区域，以便消除由陀螺仪传感器检测的头部的运动，据此，允许用户观察跟随用户的头部的运动的图像并且检查整个空间。
头戴式显示器优选地通过更短的延迟时间呈现跟随用户的头部运动的移动的图像。图像跟随头部的运动的感觉由长延迟时间劣化。此外，担心用户感到不舒服。
发明内容
本发明要解决的问题
在本说明书中公开的技术的目标在于，提供一种图像处理装置、一种图像处理方法、一种计算机程序以及一种图像显示系统，能够适当地处理跟随用户的一部分身体或者全部身体(例如，头部、手的端部、脚的端部以及手腕)的运动的图像。
问题的解决方案
鉴于上述问题，构成本申请，并且根据本发明的一方面描述的技术是一种图像处理装置，包括：
接收单元，从外部装置接收时间序列数据；
预测时间计算单元，计算从在所述外部装置中生成先前接收的数据中的最近数据时的时间到在显示下一个图像时的时间的预测时间；
时间序列数据预测单元，预测在所述预测时间的时间序列数据；以及
绘图处理单元，基于由所述预测单元预测的时间序列数据，渲染图像。
进一步地，所述的图像处理装置的时间序列数据预测单元包括插在两片时间序列数据之间的配置，并且配置为外推在所述两片时间序列数据之前的部分，以预测在所述预测时间前的时间序列数据。
进一步地，所述的图像处理装置进一步包括向显示装置发送渲染图像的发送单元。
进一步地，所述的图像处理装置进一步包括显示所渲染的图像的显示单元。
进一步地，所述外部装置跟踪观察图像的用户的一部分身体或者全部身体的位置或姿势。此外，进一步地，所述的图像处理装置的接收单元从所述外部装置接收姿势信息，作为时间序列数据，并且所述绘图处理单元配置为基于所述姿势信息渲染跟随用户的一部分身体或者全部身体的运动的图像。
进一步地，所述的图像处理装置的预测时间计算单元配置为基于从所述外部装置发送所述姿势信息时到显示基于所述姿势信息的图像时的总延迟量，计算所述预测时间。
进一步地，在所述的图像处理装置中，所述总延迟量包括在从所述外部装置中传输所述姿势信息时发生的传输延迟、在基于所述姿势信息渲染所述图像时发生的渲染延迟、以及在显示所渲染的图像时发生的显示延迟。
进一步地，图像处理装置的预测时间计算单元配置为将所述总延迟量分成可测量的恒定延迟以及不可测量的变化延迟，以计算所述总延迟量。
进一步地，在所述的图像处理装置中，所述变化延迟包括传输延迟的变化。
进一步地，图像处理装置的接收单元配置为从所述外部装置接收表示用户的一部分身体或者全部身体的位置或姿势的四元数，作为时间序列数据。
进一步地，图像处理装置的时间序列数据预测单元包括对两个四元数执行线性插值的配置，并且配置为外推在所述两个四元数之前的部分，以预测所述预测时间前的四元数。
进一步地，所述的图像处理装置的时间序列数据预测单元包括对两个四元数执行球面线性插值的配置，并且配置为外推在所述两个四元数之前的部分，以预测所述预测时间前的四元数。
此外，根据本发明的另一方面描述的技术是一种图像处理装置，包括：
接收单元，从外部装置接收时间序列数据；
预测时间计算单元，计算从在所述外部装置中加入先前接收的数据中的最近数据中的时间到在显示下一个图像时的时间的预测时间；
时间序列数据预测单元，预测在所述预测时间的时间序列数据；以及
绘图处理单元，基于由所述预测单元预测的时间序列数据，渲染图像。
而且，根据本发明的另一方面描述的技术是一种图像处理装置，包括：
接收单元，从外部装置接收时间序列数据；
预测时间计算单元，计算从所述外部装置发送先前接收的数据中的最近时间到在显示下一个图像时的时间的预测时间；
时间序列数据预测单元，预测在所述预测时间的时间序列数据；以及
绘图处理单元，基于由所述预测单元预测的时间序列数据，渲染图像。
而且，根据本发明的另一方面描述的技术是一种图像处理方法，包括：
接收步骤，从外部装置接收时间序列数据；
预测时间计算步骤，计算从在所述外部装置中生成先前接收的数据中的最近数据时的时间到在显示下一个图像时的时间的预测时间；
时间序列数据预测步骤，预测在所述预测时间的时间序列数据；以及
绘图处理步骤，基于在所述预测步骤中预测的时间序列数据，渲染图像。
此外，根据本发明的另一方面描述的技术是一种通过计算机可读形式描述的计算机程序，以使计算机用作：
接收单元，从外部装置接收时间序列数据；
预测时间计算单元，计算从在所述外部装置中生成先前接收的数据中的最近数据时的时间到在显示下一个图像时的时间的预测时间；
时间序列数据预测单元，预测在所述预测时间的时间序列数据；以及
绘图处理单元，基于由所述预测单元预测的时间序列数据，渲染图像。
所述的计算机程序限定通过计算机可读形式描述的计算机程序，以便在计算机上实现预定的处理。换言之，通过在计算机上安装根据所述的计算机程序，在计算机上显示协同效果，据此，可以获得与根据本申请的一方面描述的所述的图像处理装置的工作效果相似的工作效果。
而且，根据本发明的另一方面描述的技术是一种图像显示系统，包括：
外部装置，发送时间序列数据；
绘图装置，接收所述时间序列数据并且渲染图像；以及
显示装置，显示由所述绘图装置渲染图像，其中，
所述绘图装置预测从在所述外部装置中生成先前接收的数据中的最近数据时的时间到在显示下一个图像时的时间的预测时间，预测在所述预测时间的时间序列数据，并且基于预测时间序列数据，渲染所述图像。
在本文中使用的“系统”表示多个装置(或实现特定功能的功能模块)的逻辑集合，并且对每个装置或功能模块是否在单个外壳内没有特定要求。
根据该技术，在所述的图像显示系统中，所述外部装置是跟踪装置，跟踪在所述显示单元上观察显示图像的用户的一部分身体或者全部身体的姿势，并且发送姿势信息，并且所述绘图装置配置为基于接收的姿势信息，渲染跟随用户的一部分身体或者全部身体的运动的图像。
根据本发明的另一方面描述的技术，在所述的图像显示系统中，所述跟踪装置发送表示用户的一部分身体或者全部身体的位置或姿势的四元数，并且所述绘图装置配置为通过外推在两个四元数之前的部分，以对所述两个四元数执行球面线性插值，来预测所述预测时间前的四元数，并且基于所述预测四元数，渲染所述图像。
本发明的效果
根据在本说明书中公开的技术，可以提供一种优异的图像处理装置、一种图像处理方法、一种计算机程序以及一种图像显示系统，能够适当地处理跟随用户的一部分身体或者全部身体(例如，头部、手的端部、脚的端部以及手腕)的运动的图像。
在传输表示用户的头部等的运动的姿势信息时，具有延迟量的变化。根据在本说明书中公开的技术，预测在具有传输延迟的变化的姿势信息的时间序列之后的某个时间的姿势信息，并且基于所述预测的姿势信息，对图像执行渲染处理。因此，可以减少在用户观察跟随头部的运动的图像时感觉到的延迟的感觉。
在本说明书中描述的效果仅仅是实例，并且本发明的效果不限于这些效果。除了上述效果，本发明还可提供进一步额外效果。
通过稍后描述的实施方式以及基于附图的更详细的描述，阐明在本说明书中公开的技术的进一步另一个目标、特征以及优点。
附图说明
图1是示意性示出应用在本说明书中公开的技术的图像显示系统100的一个示例性配置的示图；
图2是示出在图像显示系统100中显示跟随用户的头部运动的图像数据时发生的延迟的示图；
图3是示意性示出在图像显示系统100中的延迟模型的示图；
图4是示出四元数q的示图；
图5是用于描述在两个四元数之间执行线性插值的方法的示图；
图6是用于描述在两个四元数之间执行球面线性插值的方法的示图；
图7是示意性示出应用用于姿势信息的预测算法的绘图装置300的一个示例性配置的示图；
图8是示出四元数的预测结果的时间序列图的示图；
图9是示出图像显示系统100的变化的示图；
图10是示出在图像显示系统100中的处理的流程的时间图。
具体实施方式
在后文中，参照附图，描述在本说明书中公开的技术的一个实施方式。
在图1中，示意性示出应用在本说明书中公开的技术的图像显示系统100的一个示例性配置。所显示的图像显示系统100包括头部运动跟踪装置200、绘图装置300以及显示装置400。
通过安装在观察由显示装置400显示的图像的用户的头上，使用头部运动跟踪装置200。头部运动跟踪装置200在预定的发送周期给绘图装置300输出用户的头部的姿势角。在显示的实例中，头部运动跟踪装置200包括传感器单元201、姿势角操作单元202以及给绘图装置300发送获得的姿势信息的发送单元203。
通过组合多个传感器元件，例如，陀螺仪传感器、加速度传感器以及地磁传感器，配置传感器单元201。在本文中使用的传感器单元201是能够检测总共9个轴的传感器，包括三轴陀螺仪传感器、三轴加速度传感器以及三轴地磁传感器。
姿势角操作单元202基于传感器单元201的9个轴的检测结果，操作用户的头部的姿势角。发送单元203将请求的姿势信息发送给绘图装置300。在本实施方式中，姿势角表示为四元数。四元数是包括旋转轴(矢量)和旋转角(标量)的四元数。然而，头部运动跟踪装置200不必操作由四元数表示的姿势角。头部运动跟踪装置200可通过与四元数不同的形式给绘图装置300发送表示姿势角的信息。可替换地，如图9中所示，头部运动跟踪装置200可从发送单元203中照原样输出传感器单元201的检测结果，并且绘图装置300可装有姿势角操作单元202，以从头部运动跟踪装置200中接收的传感器信息中计算姿势角。
在所显示的图像显示系统100中，头部运动跟踪装置200和绘图装置300通过无线通信(例如，蓝牙(注册商标)通信)彼此耦合。假设在本实施方式中，头部运动跟踪装置200和绘图装置300彼此异步通信，并且这两个装置的时钟彼此也不同步。毋庸置疑，头部运动跟踪装置200和绘图装置300可通过高速有线接口彼此耦合，例如，通用串行总线(USB)，代替无线通信。在任一种情况下，在姿势信息从头部运动跟踪装置200中发送给绘图装置300时，发生传输延迟。
由于蓝牙(注册商标)通信用于各种装置的通信的特征，所以给每种类型的装置设计协议，并且该协议标准化为配置文件。例如，串行端口配置文件(SPP)是在符合蓝牙(注册商标)的装置之间的虚拟串行通信的配置文件，并且也用于连接装有Android(注册商标)的终端(例如，智能电话)和符合蓝牙(注册商标)的装置。SPP的范围在取样速率内，并且容易生成不规则的延迟。
绘图装置300执行在显示装置400上显示图像的渲染处理。例如，绘图装置300配置为装有Android(注册商标)的终端(例如，智能电话)或者配置为个人电脑或游戏机。然而，绘图装置300不限于这些装置。
在所显示的实例中，绘图装置300包括接收单元301、绘图处理单元302、发送单元303以及图像源304。接收单元301从头部运动跟踪装置200中接收姿势信息。绘图处理单元302基于姿势信息执行图像的渲染处理。发送单元303将渲染图像发送给显示装置400。图像源304用作图像数据的供应源。
接收单元301从头部运动跟踪装置200中通过蓝牙(注册商标)通信等接收姿势信息。如上所述，姿势信息由四元数表示。
例如，图像源304包括媒体再现装置、广播调谐器以及通信接口等。媒体再现装置再现记录介质，例如，蓝光(注册商标)。广播调谐器选择并且接收数字广播信号。通信接口从互联网的服务器等中接收图像内容。
绘图处理单元302从图像源304的图像数据中渲染要在显示装置400上显示的图像。例如，绘图处理单元302从图像源304中供应的整个球面原始图像或高清晰度(例如，4K)原始图像中渲染作为从原始图像中分割的局部区域并且对应于在接收单元301上接收的姿势信息的图像。
绘图装置300和显示装置400通过(例如)有线电缆(例如，高清晰度多媒体接口(HDMI注册商标)和移动高清连接技术(MHL))彼此耦合。可替换地，绘图装置300和显示装置400可通过无线通信(例如，无线HD和Miracast)彼此耦合。使用任何通信路径，发送单元303给显示装置400发送由绘图处理单元302渲染图像数据，而不压缩。
显示装置400包括接收单元401和显示单元402。接收单元401从绘图装置300中接收图像。显示单元402显示接收的图像。显示装置400配置为(例如)头戴式显示器，该显示器固定至观察图像的用户的头部或脸部。
接收单元401通过通信路径从绘图装置300中接收未压缩的图像数据，例如，HDMI(注册商标)和MHL。显示单元402在屏幕上显示接收的图像数据。
在显示装置400配置为(例如)头戴式显示器的情况下，显示单元402包括分别固定至用户的左眼和右眼的左屏幕和右屏幕，并且显示左眼图像和右眼图像。显示单元402的屏幕包括显示面板，例如，由有机电致发光(EL)元件例证的微型显示器以及液晶显示器。可替换地，显示单元402的屏幕包括激光扫描显示器，例如，视网膜直接绘图显示器。显示单元402的屏幕还包括虚拟图像光学单元，该单元放大并且在显示单元402上投射显示图像，以允许用户观察图像，作为预定的视角的放大的虚拟图像。
在绘图装置300上渲染图像。例如，这种图像是从整个球面原始图像或高清晰度(例如，4K)原始图像中分割的局部区域并且对应于用户的头部的姿势信息。在显示装置400上，在原始图像内的显示区域移动，以便消除用户的头部的姿势角。因此，允许用户观察跟随用户的头部的运动的图像并且检查大屏幕。
在图1中示出的实例中，图像显示系统100包括3个独立装置，即，头部运动跟踪装置200、绘图装置300以及显示装置400。可替换地，可通过这种方式配置图像显示系统100，以便绘图装置300和显示装置400包含在单个装置内，或者头部运动跟踪装置200、绘图装置300以及显示装置400均包含在单个装置内。在头部运动跟踪装置200如图1中所示配置为在外部连接至显示装置400的可选产品的情况下，显示装置400的尺寸、重量以及成本减小。
在图1中示出的图像显示系统100中，在头部运动跟踪装置200检测用户的头部的姿势时并且在显示装置400显示跟随该姿势的图像时，发生延迟时间。如图2中所示，传输延迟21、渲染延迟22以及显示延迟23被视为在延迟时间内的主要因素。在姿势信息从头部运动跟踪装置200中传输给绘图装置300时，发生传输延迟21。在跟随姿势信息的图像经受在绘图装置300上的绘图处理时，发生渲染延迟22。在显示装置400上显示绘图数据时，发生显示延迟23。
在图3中，示意性示出在图像显示系统100中执行从头部运动跟踪装置200到绘图装置300的传输时发生的延迟模型。
头部运动跟踪装置200从传感器单元201的检测结果中计算用户的头部的姿势信息(四元数)，并且在每个预定的发送周期Δtperiod输出姿势信息，如由参考数字31表示的数据序列所示。
在姿势信息从头部运动跟踪装置200中传输给绘图装置300时发生的传输延迟恒定的情况下，在每个发送周期发送的时间生成的姿势信息在不变地固定的传输延迟Δttransmit之后到达绘图装置300，如由参考数字32表示的数据序列所示。换言之，通过预定的间距接收姿势信息的每个项目。然而，由于传输延迟包括恒定分量和变化分量，所以传输延迟每次不同，如由参考数字33表示的数据序列所示。在第i次发送时发生的传输延迟表示为Δti transmit。例如，在用于蓝牙(注册商标)通信的SPP等协议用于从头部运动跟踪装置200中传输给显示装置400的情况下，假设传输延迟变化。
显示装置400优选地通过更短的延迟时间呈现跟随用户的头部运动的运动的图像。图像跟随头部的运动的感觉由长延迟时间劣化。此外，人们担心用户感到不舒服。
在图像显示系统100中，如上所述，从头部运动跟踪装置200中到达绘图装置300的姿势信息的特征在于传输延迟的变化。在本实施方式中，在绘图装置300中，预测在已经接收的姿势信息系列之后的某个时间的姿势信息，并且基于所述预测的姿势信息，对图像执行渲染处理。因此，可以减少在呈现跟随用户的头部的运动的图像时感觉到的延迟的感觉。
首先，参照图2，描述姿势预测处理的数据流程。使用提前测量的偏移值，从传感器单元201中输出的传感器值中去除偏移。姿势角操作单元202在去除偏移之后使用传感器值估计姿势，以获得表示传感器功率坐标旋转的四元数。在本文中使用的坐标旋转表示从固定至地面的惯性坐标系(全局坐标系)转换成固定至显示装置400的局部坐标系。
一旦在姿势估计之后的四元数从头部运动跟踪装置200中发送给绘图装置300，在接收单元301上接收的四元数的值储存在绘图装置300上的阵列内。该阵列的长度具有姿势的预测算法需要的固定的尺寸n。最近的n个四元数始终储存在该阵列内。使用储存在四元数阵列内的值，执行姿势预测处理，据此，可以获得单个四元数。绘图处理单元302使用预测结果的获得的四元数执行坐标旋转，用于在显示装置400上显示3D模型。然后，绘图处理单元302执行渲染处理，以更新绘图。
所述姿势角数据的预测算法大致分成两个步骤：(1)估计预测的时间，以显示基于下一个姿势信息的图像；并且(2)预测在预测的时间的所述姿势信息。绘图处理单元302从预测的姿势信息渲染在预测的时间图像，据此，显示装置400减少在用户观察跟随头部的运动的图像时感觉到的延迟的感觉。
接下来，描述估计预测时间的方法。在本文中使用的预测时间是从在头部运动跟踪装置200中生成(测量或计算)由来自头部运动跟踪装置200的绘图装置300先前接收的数据中的最近数据时的时间或者在头部运动跟踪装置200执行发送时的时间到在显示下一个图像时的时间的时间段。不仅发送时刻的时间，而且在时间信息生成并且加入在头部运动跟踪装置200内的数据中时的时间可以用作头部运动跟踪装置200的数据发送时间。
在数据从头部运动跟踪装置200中尤其无线传输给绘图装置300的情况下，假设传输延迟不固定，而是在某个范围内变化。由于传感器单元201(头部运动跟踪装置200)的时钟和绘图装置300的时钟彼此不同步，所以不允许绘图装置300照原样使用加入接收的数据中的时间信息。然而，绘图装置300可以使用接收时间估计发送时间。
在图10中，在时间图上示出了在图像显示系统100中的处理的流程。参照图10，描述用于在绘图装置300中估计从头部运动跟踪装置200中发送数据的时间的方法。
在图10中，从头部运动跟踪装置200中发送数据的周期表示为Δtperiod，从头部运动跟踪装置200中发送第n个数据的时间表示为tn send，在绘图装置300上接收第n个数据的时间表示为tn receive，并且从发送第n个数据到在绘图装置300上接收所需要的时间(传输延迟)表示为Δtn transmit。假设在绘图处理单元302中的第r个渲染计算需要时间(渲染延迟)Δtr render，并且假设在显示单元402上显示渲染结果需要时间(显示延迟)Δtdisplay。
头部运动跟踪装置200每次在Δtperiod之后给绘图装置300发送从传感器单元201的传感器结果中操作的四元数。接收单元301管理接收的四元数以及接收时间。绘图处理单元302在渲染所需要的时间访问在接收单元301内累积的四元数，以渲染相应的显示图像。在渲染之后，在显示装置400的显示单元402上显示结果图像。
在绘图装置300中，数据发送周期Δtperiod、数据接收时间{ti receive}i∈N、渲染延迟Δtr render、以及显示延迟Δtdisplay的每个时间是可测量的已知值。另一方面，由于从头部运动跟踪装置200中发送数据的时间{ti send}i∈N不为绘图装置300所知，所以传输延迟{Δti transmit}i∈N是未知值。
在某个时间由头部运动跟踪装置200发送的姿势信息由绘图装置300接收，进一步由绘图装置300渲染，并且在显示装置400上显示之前的总延迟量可以由数学公式(例如，以下公式(1))表示为第r个渲染的预测时间Δtr predict。
【数学公式1】
如上所述，虽然以上公式(1)的第一项的显示延迟Δtdisplay和第二项的渲染延迟Δtr render的值为绘图装置300所知，所以第三项的传输延迟Δtn transmit的值不为绘图装置300所知。因此，总延迟量可分成包括显示延迟Δtdisplay和渲染延迟Δtr render的恒定延迟以及未知的变化延迟Δtn transmit。为了计算总延迟量Δtr predict，需要使用已知的恒定延迟估计未知值{Δti transmit}i∈N。
在这方面，固定用于在绘图装置300上接收数据的时间间隔Δti receive＝ti receive-ti-1 receive(i∈N)固定的特征等同于传输延迟{Δti transmit}i∈N固定的特征。通过提前在某个时间段内连续地测量传输延迟时间，可以测量恒定延迟时间Δtconst＝Ei(Δti transmit)的平均值。因此，以上公式(1)的第三项可以分成恒定传输延迟Δtconst和变化传输延迟Δtn variant，如以下公式(2)所表示的。此外，在以下公式(2)分配给以上公式(1)时，获得以下公式(3)。
【数学公式2】
【数学公式3】
在以上公式(3)的右侧的第一到第三项可以由初步测量或系统时钟测量来测量，并且作为恒定延迟分类。在本实施方式中，在右侧的第一项的显示延迟Δtdisplay和在右侧的第三项的恒定传输延迟Δtconst提前测量并且用于估计预测时间。
同时，在以上公式(3)的右侧的第四项Δtn variant是传输延迟的变化。不能测量传输延迟Δtn variant的变化，并且作为变化延迟分类。在本实施方式中，变化传输延迟Δtn variant由数学公式表示，例如，以下公式(4)或(5)。在这方面，稍后详细描述用于发展在以下公式(4)中示出的变化传输延迟Δtn variant的方法。
【数学公式4】
【数学公式5】
在以上公式(4)或(5)的右侧的接收时间间隔Δtn receive在绘图装置300上接收从头部运动跟踪装置200中发送的姿势信息的第(n-1)个四元数时的时间tn-1 receive与在绘图装置300上接收从头部运动跟踪装置200中发送的姿势信息的第n个四元数时的时间tn receive之间的差异。如果传输延迟没有变化，那么接收时间间隔Δtn receive(＝tn receive-tn-1 receive)等于从头部运动跟踪装置200中发送姿势信息的周期Δtperiod。然而，如果具有变化，那么Δtn receive-Δtperiod不再是0。在以上公式(4)中，求用于接收姿势信息的前n项的间距的变化的总和，以估计变化传输延迟Δtn variant。以上公式(5)还可以被视为n是无穷大的情况的近似公式。
由以上公式(1)表示的并且从恒定延迟(显示延迟、渲染延迟以及传输延迟的平均值)和变化延迟的总和中获得的总延迟量Δtr predict变成预测时间，以从头部运动跟踪装置200中接收在某个时间发送的姿势信息。
接下来，描述用于在预测时间预测姿势信息的方法。
在本实施方式中，如上所述，姿势角由四元数q表示。如以下公式(6)和图4所表示的，四元数q是包括旋转轴(矢量)和旋转角(标量)的四元数。
【数学公式6】
由于四元数没有奇异点，所以四元数适合于计算。在计算机绘图的领域中，对象的姿势通常由四元数表示。在本实施方式中，从头部运动跟踪装置200中到达绘图装置300的四元数qi(假设qi是接收的第i个四元数)的时间序列中预测在预测时间Δtr predict的四元数。
表示姿势的四元数描述在三维球面上的单点。用于在两个四元数qi-1与qi之间执行线性插值的方法的实例包括用于在连接四元数qi-1与qi的目的点的线段上执行线性插值的方法Lerp，如以下公式(7)和图5所表示的，并且包括用于在四元数qi-1与qi之间的三维球面上执行球面线性插值的方法Slerp，如以下公式(8)和图6所表示的。
【数学公式7】
Lerp(t；qi-1，qi)＝(1-t)qi-1+tqi…(7)
【数学公式8】
考虑球面线性插值Slerp比一般线性插值Lerp更精确地执行插值。
在以上公式(8)中，在满足0≤t≤1时，在两个四元数qi-1与qi之间执行线性插值。在满足t≥1时，外推在两个四元数qi-1和qi之前的部分，以由时间t提前预测四元数。在本实施方式中，因此，通过将估计的预测时间分配给以上公式(8)，预测在预测时间之后的四元数。
用于从头部运动跟踪装置200中发送四元数qi-1和qi的间隔是Δtperiod。此外，用于在绘图装置300上接收从头部运动跟踪装置200中随后发送的四元数qi+1是通过将总延迟量Δtr predict加入发送间隔Δtperiod中所获得的时间Δtperiod+Δtr predict。该时间由发送间隔Δtperiod标准化，以获得值(tr＝1+Δtr predict/Δtperiod)，并且假设该值是t，并且将该值分配给以上公式(8)，据此，可以根据以下公式(9)或(10)，预测在预测时间Δtr predict之后的四元数qpredict(tr)。在这方面，使用以下公式(11)替换以下公式(10)的qpredict(tn-1)。稍后详细描述用于发展在以下公式(9)中示出的预测时间tr的四元数qpredict(tr)的方法。
【数学公式9】
【数学公式10】
【数学公式11】
明确表示的四元数乘积
在图7中，示出应用用于姿势信息的预测算法的绘图装置300的一个示例性配置。
根据以上公式(4)或(5)，变化延迟估计单元71监控在接收单元301从头部运动跟踪装置200中接收四元数时的时间，以估计变化延迟Δtn variant。
根据以上公式(1)，总延迟量计算单元72从变化延迟估计单元71中输入变化延迟Δtn variant并且输入提前测量的在绘图处理单元302内的显示延迟和传输延迟以及渲染延迟的平均值，以计算总延迟量Δt。
预测单元73配置为在两个四元数之间在三维球面上执行线性插值的球面线性插值(Slerp)。通过将从总延迟量Δt中获得的预测时间分配给参数t，如以上公式(6)所表示的，预测单元73外推下一个四元数qi+1，以预测四元数，作为当前正确的姿势信息。然后，预测单元73给绘图处理单元302输出预测的四元数q。绘图处理单元302使用预测的四元数q，执行对应于用户的头部的姿势信息的视角的图像的渲染。
在图8中，示出预测单元73的四元数的预测结果的时间序列图。在图中，水平轴是时间轴，并且垂直轴是四元数的s分量。
由在图8中的参考数字81表示的曲线是四元数的s分量的正确回答值，即，从头部运动跟踪装置200中输出的值。
在绘图装置300上接收的四元数(在预测之前的四元数)的s分量由黑色方块(◆)表示。如上所述，在四元数从头部运动跟踪装置200中传输给绘图装置300时，发生传输延迟，并且传输延迟根据每个四元数变化。
如由参考数字82、83所表示的，预测单元73从接收的两个四元数中在预测时间预测当前正确的四元数，以将预测的四元数输出给绘图处理单元302。在图8中，在预测之前从两个四元数中预测的四元数的s分量由黑圆圈(●)表示。可以理解的是，预测的四元数接近正确的回答值。
在后文中，描述用于发展在以上公式(4)中示出的变化传输延迟Δtn variant的方法。在接收数据的时间间隔Δti receive与传输延迟Δti variant之间建立由以下公式(12)表示的关系式。在以下公式(12)中使用以下公式(13)时，获得以下公式(14)。
【数学公式12】
【数学公式13】
【数学公式14】
变化传输延迟Δti variant的平均值应是0。因此，满足以下公式(15)。
【数学公式15】
在这种情况下，修改以上公式(14)，以获得以下公式(16)。
【数学公式16】
在某个N固定时，相对于任意的j关于j≤i≤N–1采用以上公式(16)的两侧的总和，获得以下公式(17)和以下公式(18)。
【数学公式17】
其中，相对于N≥2∈N和j≤N∈N\{0}，满足j≤i≤N–1。
【数学公式18】
而且，通过采用关于i的以上公式(18)的两侧的总和，满足以下公式(19)和(20)。
【数学公式19】
【数学公式20】
在这种情况下，从以上公式(5)中，在N足够大时，推导出以下公式(21)。因此，以上公式(20)变成以下公式(22)。在使用N+1代替以下公式(22)的N时，获得以下公式(23)。
【数学公式21】
【数学公式22】
【数学公式23】
通过从以上公式(23)中减去以上公式(22)的两侧，获得以下公式(24)。
【数学公式24】
在这种情况下，注意以下特征：修改在以上公式(23)的右侧的第一项，如以下公式(25)所表示的，并且满足以下公式(26)。因此，相对于以上公式(24)，满足以下公式(27)和(28)。
【数学公式25】
【数学公式26】
【数学公式27】
【数学公式28】
因此，在假设以上公式(28)是关于ΔtN+1 variant的估计公式时，相对于足够大的N，满足以下公式(29)，并且可以发展以上公式(4)。
【数学公式29】
接下来，描述用于发展在以上公式(9)中示出的预测时间tr的四元数qpredict(tr)的方法。通过使用迄今获得的最后三个四元数q(tn-2)、q(tn-1)以及q(tn)并且使用球面线性插值的公式，如下计算预测的四元数qpredict(tr)。
【数学公式30】
【数学公式31】
以上公式(30)表示预测四元数的差异化。以上公式(31)使用上述预测的四元数qpredict(tn)，由预测时间Δtr predict提前预测姿势的四元数。
在这种情况下，在设置以下公式(32)时，以上公式(31)变成以下公式(33)。
【数学公式32】
【数学公式33】
换言之，可以理解的是，在该发展方法中，使用估计四元数q(tn-1)的值qpredict(tn-1)，由球面线性差值预测在预测时间tr的四元数qpredict(tr)。
引用列表
专利文献
专利文献1：日本专利申请公开号2012-141461
专利文献2：日本专利申请公开号09-106322
专利文献3：日本专利申请公开号2010-256534
工业实用性
迄今，参照具体实施方式，详细描述在本说明书中公开的技术。然而，显然，在不背离在本说明书中公开的技术的主旨的范围内，本领域的技术人员可以修改或者替换实施方式。
在本说明书中，主要描述了用于基于用户的一部分身体或者全部身体(例如，头部、手的端部、脚的端部以及手腕)的作为时间序列数据的姿势信息渲染图像的实施方式。在基于其他时间序列数据渲染图像的情况下，可以通过相同的方式应用在本说明书中公开的技术。在本说明书中，还主要描述了用于由四元数表示姿势信息的实施方式。在由其他形式表示姿势信息的情况下，可以通过相同的方式应用在本说明书中公开的技术。
总之，在本说明书中公开的技术由示例性实施方式描述，并且不应限制地解释本说明书的内容。应参考权利要求的范围，用于确定在本说明书中公开的技术的主旨。
同时，还可以如下配置在本说明书中公开的技术。
(1)一种图像处理装置，包括：
接收单元，从外部装置接收时间序列数据；
预测时间计算单元，计算从在所述外部装置中生成先前接收的数据中的最近数据时的时间到在显示下一个图像时的时间的预测时间；
时间序列数据预测单元，预测在所述预测时间的时间序列数据；以及
绘图处理单元，基于由所述预测单元预测的时间序列数据，渲染图像。
(2)根据上述(1)所述的图像处理装置，其中，
所述时间序列数据预测单元包括插在两片时间序列数据之间的配置，并且外推在所述两片时间序列数据之前的部分，以预测在所述预测时间前的时间序列数据。
(3)根据上述(1)或(2)所述的图像处理装置，进一步包括向显示装置发送渲染图像的发送单元。
(4)根据上述(1)到(3)中任一项所述的图像处理装置，进一步包括显示所渲染的图像的显示单元。
(5)根据上述(1)到(5)中任一项所述的图像处理装置，其中，
所述外部装置跟踪观察图像的用户的一部分身体或者全部身体的位置或姿势，
所述接收单元从所述外部装置接收姿势信息，作为时间序列数据，并且
所述绘图处理单元基于所述姿势信息渲染跟随用户的一部分身体或者全部身体的运动的图像。
(6)根据上述(5)所述的图像处理装置，其中，
所述预测时间计算单元基于从所述外部装置发送所述姿势信息时到显示基于所述姿势信息的图像时的总延迟量，计算所述预测时间。
(7)根据上述(6)所述的图像处理装置，其中，
所述总延迟量包括在从所述外部装置中传输所述姿势信息时发生的传输延迟、在基于所述姿势信息渲染所述图像时发生的渲染延迟、以及在显示所渲染的图像时发生的显示延迟。
(8)根据上述(6)或(7)所述的图像处理装置，其中，
所述预测时间计算单元将所述总延迟量分成可测量的恒定延迟以及不可测量的变化延迟，以计算所述总延迟量。
(9)根据上述(8)所述的图像处理装置，其中，
所述变化延迟包括传输延迟的变化。
(10)根据上述(5)所述的图像处理装置，其中，
所述接收单元从所述外部装置接收表示用户的一部分身体或者全部身体的位置或姿势的四元数，作为时间序列数据。
(11)根据上述(10)所述的图像处理装置，其中，
所述时间序列数据预测单元包括对两个四元数执行线性插值的配置，并且外推在所述两个四元数之前的部分，以预测所述预测时间前的四元数。
(12)根据上述(10)或(11)所述的图像处理装置，其中，
所述时间序列数据预测单元包括对两个四元数执行球面线性插值的配置，并且外推在所述两个四元数之前的部分，以预测所述预测时间前的四元数。
(13)一种图像处理装置，包括：
接收单元，从外部装置接收时间序列数据；
预测时间计算单元，计算从在所述外部装置中加入先前接收的数据中的最近数据中的时间到在显示下一个图像时的时间的预测时间；
时间序列数据预测单元，预测在所述预测时间的时间序列数据；以及
绘图处理单元，基于由所述预测单元预测的时间序列数据，渲染图像。
(14)一种图像处理装置，包括：
接收单元，从外部装置接收时间序列数据；
预测时间计算单元，计算从所述外部装置发送先前接收的数据中的最近时间到在显示下一个图像时的时间的预测时间；
时间序列数据预测单元，预测在所述预测时间的时间序列数据；以及
绘图处理单元，基于由所述预测单元预测的时间序列数据，渲染图像。
(15)一种图像处理方法，包括：
接收步骤，从外部装置接收时间序列数据；
预测时间计算步骤，计算从在所述外部装置中生成先前接收的数据中的最近数据时的时间到在显示下一个图像时的时间的预测时间；
时间序列数据预测步骤，预测在所述预测时间的时间序列数据；以及
绘图处理步骤，基于在所述预测步骤中预测的时间序列数据，渲染图像。
(16)一种通过计算机可读形式描述的计算机程序，以使计算机用作：
接收单元，从外部装置接收时间序列数据；
预测时间计算单元，计算从在所述外部装置中生成先前接收的数据中的最近数据时的时间到在显示下一个图像时的时间的预测时间；
时间序列数据预测单元，预测在所述预测时间的时间序列数据；以及
绘图处理单元，基于由所述预测单元预测的时间序列数据，渲染图像。
(17)一种图像显示系统，包括：
外部装置，发送时间序列数据；
绘图装置，接收所述时间序列数据并且渲染图像；以及
显示装置，显示由所述绘图装置渲染图像，其中，
所述绘图装置预测从在所述外部装置中生成先前接收的数据中的最近数据时的时间到在显示下一个图像时的时间的预测时间，预测在所述预测时间的时间序列数据，并且基于预测时间序列数据，渲染所述图像。
(18)根据上述(17)所述的图像显示系统，其中，
所述外部装置是跟踪装置，跟踪在所述显示装置上观察显示图像的用户的一部分身体或者全部身体的姿势，并且发送姿势信息，并且
所述绘图装置基于接收的姿势信息，渲染跟随用户的一部分身体或者全部身体的运动的图像。
(19)根据上述(17)所述的图像显示系统，其中，
所述跟踪装置发送表示用户的一部分身体或者全部身体的位置或姿势的四元数，并且
所述绘图装置通过外推在两个四元数之前的部分，以对所述两个四元数执行球面线性插值，来预测所述预测时间前的四元数，并且基于所述预测四元数，渲染所述图像。
参考符号列表
100：图像显示系统
200：头部运动跟踪装置
201：传感器单元
202：姿势角操作单元
203：发送单元
300：绘图装置
301：接收单元
302：绘图处理单元
303：发送单元
304：图像源
400：显示装置
401：接收单元
402：显示单元
71：变化延迟估计单元
72：总延迟量计算单元
73：预测单元。

Claims (15)

1.一种图像处理装置，包括：
接收单元，从外部装置接收时间序列数据；
预测时间计算单元，计算从在所述外部装置中生成先前接收的数据中的最近数据时的时间到在显示下一个图像时的时间的预测时间；
时间序列数据预测单元，预测所述预测时间的时间序列数据；
以及
绘图处理单元，基于由所述预测单元预测的所述时间序列数据，渲染图像，
其中所述外部装置跟踪观察图像的用户的一部分身体或者全部身体的位置或姿势，
所述接收单元从所述外部装置接收姿势信息，作为所述时间序列数据，
所述绘图处理单元基于所述姿势信息渲染跟随所述用户的一部分身体或者全部身体的运动的图像，
所述预测时间计算单元基于从所述外部装置发送所述姿势信息时到显示基于所述姿势信息的图像时的总延迟量，计算所述预测时间，并且
所述预测时间计算单元将所述总延迟量分成可测量的恒定延迟以及不可测量的变化延迟，以计算所述总延迟量，
所述总延迟量包括在从所述外部装置传输所述姿势信息时发生的传输延迟、在基于所述姿势信息渲染所述图像时发生的渲染延迟、以及在显示所渲染的所述图像时发生的显示延迟。
2.根据权利要求1所述的图像处理装置，其中，
所述时间序列数据预测单元包括插在两片时间序列数据之间的配置，并且外推在所述两片时间序列数据之前的部分，以预测在所述预测时间前的时间序列数据。
3.根据权利要求1所述的图像处理装置，进一步包括向显示装置发送所渲染的所述图像的发送单元。
4.根据权利要求1所述的图像处理装置，进一步包括显示所渲染的所述图像的显示单元。
5.根据权利要求1所述的图像处理装置，其中，
所述变化延迟包括传输延迟的变化。
6.根据权利要求1所述的图像处理装置，其中，
所述接收单元从所述外部装置接收表示所述用户的一部分身体或者全部身体的位置或姿势的四元数，作为所述时间序列数据。
7.根据权利要求6所述的图像处理装置，其中，
所述时间序列数据预测单元包括对两个四元数执行线性插值的配置，并且外推在所述两个四元数之前的部分，以预测所述预测时间前的四元数。
8.根据权利要求6所述的图像处理装置，其中，
所述时间序列数据预测单元包括对两个四元数执行球面线性插值的配置，并且外推在所述两个四元数之前的部分，以预测所述预测时间前的四元数。
9.一种图像处理装置，包括：
接收单元，从外部装置接收时间序列数据；
预测时间计算单元，计算从在所述外部装置中加入先前接收的数据中的最近数据时的时间到在显示下一个图像时的时间的预测时间；
时间序列数据预测单元，预测所述预测时间的时间序列数据；
以及
绘图处理单元，基于由所述预测单元预测的所述时间序列数据，渲染图像，
其中所述外部装置跟踪观察图像的用户的一部分身体或者全部身体的位置或姿势，
所述接收单元从所述外部装置接收姿势信息，作为所述时间序列数据，
所述绘图处理单元基于所述姿势信息渲染跟随所述用户的一部分身体或者全部身体的运动的图像，
所述预测时间计算单元基于从所述外部装置发送所述姿势信息时到显示基于所述姿势信息的图像时的总延迟量，计算所述预测时间，并且
所述预测时间计算单元将所述总延迟量分成可测量的恒定延迟以及不可测量的变化延迟，以计算所述总延迟量，
所述总延迟量包括在从所述外部装置传输所述姿势信息时发生的传输延迟、在基于所述姿势信息渲染所述图像时发生的渲染延迟、以及在显示所渲染的所述图像时发生的显示延迟。
10.一种图像处理装置，包括：
接收单元，从外部装置接收时间序列数据；
预测时间计算单元，计算从所述外部装置发送先前接收的数据中的最近数据时的时间到在显示下一个图像时的时间的预测时间；
时间序列数据预测单元，预测所述预测时间的时间序列数据；
以及
绘图处理单元，基于由所述预测单元预测的所述时间序列数据，渲染图像，
其中所述外部装置跟踪观察图像的用户的一部分身体或者全部身体的位置或姿势，
所述接收单元从所述外部装置接收姿势信息，作为所述时间序列数据，
所述绘图处理单元基于所述姿势信息渲染跟随所述用户的一部分身体或者全部身体的运动的图像，
所述预测时间计算单元基于从所述外部装置发送所述姿势信息时到显示基于所述姿势信息的图像时的总延迟量，计算所述预测时间，并且
所述预测时间计算单元将所述总延迟量分成可测量的恒定延迟以及不可测量的变化延迟，以计算所述总延迟量，
所述总延迟量包括在从所述外部装置传输所述姿势信息时发生的传输延迟、在基于所述姿势信息渲染所述图像时发生的渲染延迟、以及在显示所渲染的所述图像时发生的显示延迟。
11.一种通过使用根据权利要求1所述的图像处理装置的图像处理方法，包括：
接收步骤，从外部装置接收时间序列数据；
预测时间计算步骤，计算从在所述外部装置中生成先前接收的数据中的最近数据时的时间到在显示下一个图像时的时间的预测时间；
时间序列数据预测步骤，预测所述预测时间的时间序列数据；
以及
绘图处理步骤，基于在所述预测步骤中预测的所述时间序列数据，渲染图像。
12.一种存储介质，所述存储介质包括通过计算机可读形式描述的计算机程序，以使计算机用作：
接收单元，从外部装置接收时间序列数据；
预测时间计算单元，计算从在所述外部装置中生成先前接收的数据中的最近数据时的时间到在显示下一个图像时的时间的预测时间；
时间序列数据预测单元，预测所述预测时间的时间序列数据；
以及
绘图处理单元，基于由所述预测单元预测的所述时间序列数据，渲染图像，
其中所述外部装置跟踪观察图像的用户的一部分身体或者全部身体的位置或姿势，
所述接收单元从所述外部装置接收姿势信息，作为所述时间序列数据，
所述绘图处理单元基于所述姿势信息渲染跟随所述用户的一部分身体或者全部身体的运动的图像，
所述预测时间计算单元基于从所述外部装置发送所述姿势信息时到显示基于所述姿势信息的图像时的总延迟量，计算所述预测时间，并且
所述预测时间计算单元将所述总延迟量分成可测量的恒定延迟以及不可测量的变化延迟，以计算所述总延迟量，
所述总延迟量包括在从所述外部装置传输所述姿势信息时发生的传输延迟、在基于所述姿势信息渲染所述图像时发生的渲染延迟、以及在显示所渲染的所述图像时发生的显示延迟。
13.一种图像显示系统，包括：
外部装置，发送时间序列数据；
绘图装置，接收所述时间序列数据并且渲染图像；以及
显示装置，显示由所述绘图装置渲染的所述图像，其中，
所述绘图装置包括：
接收单元，从外部装置接收时间序列数据；
预测时间计算单元，计算从在所述外部装置中生成先前接收的数据中的最近数据时的时间到在显示下一个图像时的时间的预测时间；
时间序列数据预测单元，预测所述预测时间的时间序列数据；
以及
绘图处理单元，基于由所述预测单元预测的所述时间序列数据，渲染图像，
其中所述外部装置跟踪观察图像的用户的一部分身体或者全部身体的位置或姿势，
所述接收单元从所述外部装置接收姿势信息，作为所述时间序列数据，
所述绘图处理单元基于所述姿势信息渲染跟随所述用户的一部分身体或者全部身体的运动的图像，
所述预测时间计算单元基于从所述外部装置发送所述姿势信息时到显示基于所述姿势信息的图像时的总延迟量，计算所述预测时间，并且
所述预测时间计算单元将所述总延迟量分成可测量的恒定延迟以及不可测量的变化延迟，以计算所述总延迟量，
所述总延迟量包括在从所述外部装置传输所述姿势信息时发生的传输延迟、在基于所述姿势信息渲染所述图像时发生的渲染延迟、以及在显示所渲染的所述图像时发生的显示延迟。
14.根据权利要求13所述的图像显示系统，其中，
所述外部装置是跟踪装置，跟踪在所述显示装置上观察显示图像的用户的一部分身体或者全部身体的姿势，并且发送姿势信息，并且
所述绘图装置基于接收的姿势信息，渲染跟随所述用户的一部分身体或者全部身体的运动的图像。
15.根据权利要求13所述的图像显示系统，其中，
跟踪装置发送表示用户的一部分身体或者全部身体的位置或姿势的四元数，并且
所述绘图装置通过外推在两个四元数之前的部分，以对所述两个四元数执行球面线性插值，来预测所述预测时间前的四元数，并且基于预测的四元数，渲染所述图像。
CN201480054842.3A 2013-12-25 2014-11-04 图像处理装置、图像处理方法、计算机程序以及图像显示系统 Active CN105593924B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-268014 2013-12-25
JP2013268014 2013-12-25
PCT/JP2014/079205 WO2015098292A1 (ja) 2013-12-25 2014-11-04 画像処理装置及び画像処理方法、コンピューター・プログラム、並びに画像表示システム

Publications (2)

Publication Number Publication Date
CN105593924A CN105593924A (zh) 2016-05-18
CN105593924B true CN105593924B (zh) 2019-06-07

Family

ID=53478170

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480054842.3A Active CN105593924B (zh) 2013-12-25 2014-11-04 图像处理装置、图像处理方法、计算机程序以及图像显示系统

Country Status (6)

Country Link
US (1) US10324523B2 (zh)
EP (1) EP3089154B1 (zh)
JP (1) JP6439702B2 (zh)
KR (1) KR102208329B1 (zh)
CN (1) CN105593924B (zh)
WO (1) WO2015098292A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10310595B2 (en) 2014-06-30 2019-06-04 Sony Corporation Information processing apparatus, information processing method, computer program, and image processing system
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
CN106959745A (zh) * 2016-01-12 2017-07-18 深圳多哚新技术有限责任公司 一种头部姿态预测方法和装置
WO2017120767A1 (zh) * 2016-01-12 2017-07-20 深圳多哚新技术有限责任公司 一种头部姿态预测方法和装置
JP6690277B2 (ja) 2016-02-09 2020-04-28 富士通株式会社 画像処理制御方法、画像処理制御プログラムおよび情報処理装置
CN105892658B (zh) * 2016-03-30 2019-07-23 华为技术有限公司 基于头戴显示设备预测头部姿态的方法和头戴显示设备
US10708569B2 (en) * 2016-09-29 2020-07-07 Eric Wilson Turbine-Powered Pool Scrubber
CN106598253B (zh) * 2016-12-23 2019-12-10 北京搜狐新媒体信息技术有限公司 一种数据预测方法及装置
US9807384B1 (en) * 2017-01-13 2017-10-31 Optofidelity Oy Method, apparatus and computer program product for testing a display
JP6673288B2 (ja) * 2017-04-27 2020-03-25 株式会社デンソー 車両用表示装置
US11158101B2 (en) 2017-06-07 2021-10-26 Sony Interactive Entertainment Inc. Information processing system, information processing device, server device, image providing method and image generation method
JP6698946B2 (ja) * 2017-06-22 2020-05-27 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、制御方法、及びプログラム
JP6946087B2 (ja) * 2017-07-14 2021-10-06 キヤノン株式会社 情報処理装置及びその制御方法、並びに、プログラム
CN109791297B (zh) * 2017-07-18 2021-07-20 深圳市柔宇科技股份有限公司 检测头戴式显示器数据传输延迟的方法及头戴式显示器
US10762691B2 (en) * 2017-09-08 2020-09-01 Microsoft Technology Licensing, Llc Techniques for compensating variable display device latency in image display
CN107566685B (zh) * 2017-09-26 2020-10-27 联想(北京)有限公司 一种图像数据处理方法及电子设备
JP6978289B2 (ja) * 2017-11-20 2021-12-08 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置、ヘッドマウントディスプレイ、画像生成システム、画像生成方法、およびプログラム
US10726765B2 (en) * 2018-02-15 2020-07-28 Valve Corporation Using tracking of display device to control image display
GB2573271B (en) 2018-03-27 2022-04-06 Displaylink Uk Ltd Data transmission to mobile devices
GB2579760B (en) 2018-03-29 2023-03-22 Displaylink Uk Ltd Position error measurement in an extended reality mobile display device
CN108717701B (zh) 2018-05-24 2021-03-02 北京乐蜜科技有限责任公司 一种制作影片残影特效的方法、装置、电子设备及介质
CN109743626B (zh) * 2019-01-02 2022-08-12 京东方科技集团股份有限公司 一种图像显示方法、图像处理方法和相关设备
US11010921B2 (en) * 2019-05-16 2021-05-18 Qualcomm Incorporated Distributed pose estimation
CN110430270B (zh) * 2019-08-08 2022-03-25 网易（杭州）网络有限公司 载具数据的同步方法及装置
CN111131805A (zh) * 2019-12-31 2020-05-08 歌尔股份有限公司 图像处理方法、装置和可读存储介质
CN111352506A (zh) * 2020-02-07 2020-06-30 联想(北京)有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN112486318A (zh) * 2020-11-26 2021-03-12 北京字跳网络技术有限公司 图像显示方法、装置、可读介质及电子设备
CN117294832B (zh) * 2023-11-22 2024-03-26 湖北星纪魅族集团有限公司 数据处理方法、装置、电子设备和计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5615132A (en) * 1994-01-21 1997-03-25 Crossbow Technology, Inc. Method and apparatus for determining position and orientation of a moveable object using accelerometers

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2758023B2 (ja) * 1989-05-17 1998-05-25 日本放送協会 画像表示装置
JPH08336128A (ja) * 1995-04-05 1996-12-17 Matsushita Electric Ind Co Ltd 映像視聴装置
JPH09106322A (ja) 1995-10-09 1997-04-22 Data Tec:Kk ヘッドマウントディスプレイにおける姿勢角検出装置
US5933125A (en) 1995-11-27 1999-08-03 Cae Electronics, Ltd. Method and apparatus for reducing instability in the display of a virtual environment
AU7616496A (en) * 1995-11-27 1997-06-19 Cae Electronics Ltd. Method and apparatus for displaying a virtual environment on a video display
US6839041B2 (en) * 2001-08-01 2005-01-04 Thermwood Corporation Virtual reality viewing system and method
US7002551B2 (en) * 2002-09-25 2006-02-21 Hrl Laboratories, Llc Optical see-through augmented reality modified-scale display
JP2004198377A (ja) 2002-12-20 2004-07-15 Zenrin Co Ltd 移動体監視システム
JP4080375B2 (ja) 2003-05-15 2008-04-23 シャープ株式会社 移動通信端末位置推定装置、この移動通信端末位置推定装置と通信可能な通信端末装置、通信システム、通信システムにおける移動通信端末位置推定方法、移動通信端末位置推定プログラム、及び移動通信端末位置推定プログラムを記録したコンピュータ読み取り可能な記録媒体
US8774950B2 (en) * 2008-01-22 2014-07-08 Carnegie Mellon University Apparatuses, systems, and methods for apparatus operation and remote sensing
JP5047090B2 (ja) * 2008-07-31 2012-10-10 キヤノン株式会社 システム
JP2010256534A (ja) 2009-04-23 2010-11-11 Fujifilm Corp 全方位画像表示用ヘッドマウントディスプレイ装置
JP5330946B2 (ja) 2009-09-25 2013-10-30 株式会社ユビキタスエンターテインメント 三次元画像表示プログラム、三次元画像表示機能を備えた携帯電話機等の携帯デバイス、及び三次元画像の表示方法
JP2012141461A (ja) 2010-12-29 2012-07-26 Sony Corp ヘッド・マウント・ディスプレイ
JP2013225245A (ja) 2012-04-23 2013-10-31 Sony Corp 画像処理装置、画像処理方法及びプログラム
US9443355B2 (en) * 2013-06-28 2016-09-13 Microsoft Technology Licensing, Llc Reprojection OLED display for augmented reality experiences

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5615132A (en) * 1994-01-21 1997-03-25 Crossbow Technology, Inc. Method and apparatus for determining position and orientation of a moveable object using accelerometers

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Improving Static and Dynamic Registration in an Optical See-through HMD》;Ronald Azuma;《Proceedings of SIGGRAPH》;19940701;第197-204页
《Quaternion calculus as a basic tool in computer graphics》;Daniel;《VISUAL COMPUTER》;19890101;第5卷(第2期);第2-13页

Also Published As

Publication number Publication date
US20160252955A1 (en) 2016-09-01
JP6439702B2 (ja) 2018-12-19
US10324523B2 (en) 2019-06-18
KR20160101894A (ko) 2016-08-26
CN105593924A (zh) 2016-05-18
KR102208329B1 (ko) 2021-01-26
EP3089154A1 (en) 2016-11-02
EP3089154A4 (en) 2017-08-30
EP3089154B1 (en) 2020-04-08
WO2015098292A1 (ja) 2015-07-02
JPWO2015098292A1 (ja) 2017-03-23

Similar Documents

Publication Publication Date Title
CN105593924B (zh) 图像处理装置、图像处理方法、计算机程序以及图像显示系统
CN107807732B (zh) 用于显示图像的方法、存储介质和电子装置
KR101777820B1 (ko) 헤드 마운트 디스플레이를 위한 예측적 트래킹에 기반한 인식
US10168981B2 (en) Method for sharing images and electronic device performing thereof
US9684169B2 (en) Image processing apparatus and image processing method for viewpoint determination
CN109743626B (zh) 一种图像显示方法、图像处理方法和相关设备
TWI508525B (zh) 行動終端機及控制該行動終端機操作的方法
US11002959B2 (en) Head mount display device and driving method thereof
EP3683656A1 (en) Virtual reality (vr) interface generation method and apparatus
KR102057531B1 (ko) 제스처를 이용하여 데이터를 송수신하는 모바일 기기들
US20210368152A1 (en) Information processing apparatus, information processing method, and program
US20160148434A1 (en) Device and method for processing visual data, and related computer program product
CN108363486A (zh) 图像显示装置及方法、图像处理装置及方法和存储介质
EP3508951B1 (en) Electronic device for controlling image display based on scroll input
JP6683605B2 (ja) 車両の少なくとも１つの機能を制御するための位置又は運動情報を提供するための方法及びシステム
JP5695936B2 (ja) 情報処理プログラム、情報処理装置、情報処理システム、および、情報処理方法
WO2013132885A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2016185634A1 (ja) 情報処理装置
WO2019102676A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2023162504A1 (ja) 情報処理装置、情報処理方法およびプログラム
KR102535918B1 (ko) 사용자의 움직임 정보에 기반하여 디스플레이의 오버 드라이빙 정보를 조정하기 위한 방법 및 웨어러블 장치
WO2023015085A2 (en) Motion blur compensation through eye tracking
EP4381597A2 (en) Motion blur compensation through eye tracking
CN117768599A (zh) 处理图像的方法、装置、系统、电子设备和存储介质
JP2011050562A (ja) プログラム、情報記憶媒体、向き決定装置、ゲームシステム及び向き決定方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant