CN117677894A - 惯性测量装置、操作惯性测量装置的方法、成像装置、显示装置和程序 - Google Patents

Abstract

本公开内容涉及一种惯性测量单元(IMU)、用于操作惯性测量单元的方法、成像装置、显示装置和程序，该惯性测量单元使得能够在抖动校正中考虑到从IMU的观察定时起直到致动器等的运动被控制的时滞来实现适当的抖动校正。由成像装置主体的多个IMU合成并输出检测结果，并且输出根据主体部的当前的角速度和加速度的预定时间段后的未来的角速度和加速度。基于未来的角速度和加速度来检测图像传感器的未来的位置和姿态，并且基于作为检测结果的位置和姿态通过驱动图像传感器来校正图像传感器的抖动，使得吸收图像传感器的抖动。本公开内容适用于成像装置。

Description

惯性测量装置、操作惯性测量装置的方法、成像装置、显示装 置和程序

技术领域

本公开内容涉及惯性测量装置、操作惯性测量装置的方法、成像装置、显示装置和程序，并且更具体地，涉及能够提高多IMU的检测精度并且高度准确地校正图像抖动的惯性测量装置、操作惯性测量装置的方法、成像装置、显示装置和程序。

背景技术

已经提出了通过对多个惯性测量单元(IMU：惯性测量装置)的检测结果进行整合而获得的多IMU来提高检测精度。

作为用于提高多IMU的检测精度的技术，提出了能够根据多个IMU的噪声特性和针对观察值的条件来适当地合成多个IMU的观察值的技术(参见专利文献1)。

此外，还提出了如下技术，其中IMU安装在成像装置上，并且由致动器等基于观察值来控制图像传感器的运动，以校正成像抖动(专利文献2和专利文献3)。

鉴于以上，设想将多IMU安装在成像装置上，并且应用专利文献2和专利文献3的技术来实现高度准确的成像抖动校正。

专利文献1：WO 2020/045099

专利文献2：日本专利申请公开第2014-138380号

专利文献3：日本专利申请公开第2011-095467号

发明内容

本发明要解决的问题

同时，在根据专利文献1至专利文献3使用IMU的成像校正中，由致动器等基于IMU的观察值来控制图像传感器的运动，这造成了IMU的观察定时与致动器等的运动被控制的定时之间的时滞，从而可能无法适当地执行抖动校正。

鉴于这样的情况构思出本公开内容，并且特别地在校正抖动时，本公开内容使得能够考虑到从IMU的观察定时起直到致动器等的运动被控制的定时的时滞来进行适当的抖动校正。

问题的解决方案

根据本公开内容的第一方面的惯性测量装置和程序是如下惯性测量装置和程序，该惯性测量装置包括：惯性测量单元(IMU)，其检测当前的角速度和加速度；以及预测单元，其基于由IMU检测到的当前的角速度和加速度，来预测预定时间段之后的未来的角速度和加速度。

操作根据本公开内容的第一方面的惯性测量装置的方法是操作惯性测量装置的方法，该惯性测量装置包括检测当前的角速度和加速度的惯性测量单元(IMU)，该方法包括以下步骤：基于由IMU检测到的当前的角速度和加速度来预测预定时间段之后的未来的角速度和加速度。

在本公开内容的第一方面中，检测当前的角速度和加速度，并且基于当前的角速度和加速度来预测预定时间段之后的未来的角速度和加速度。

根据本公开内容第二方面的成像装置包括：图像传感器，其捕获图像；驱动单元，其驱动图像传感器；惯性测量器，其检测图像传感器在预定时间段之后的未来的角速度和加速度；未来位置/姿态检测单元，其基于未来的角速度和加速度来检测图像传感器的未来位置和姿态；以及驱动控制单元，其基于图像传感器的未来位置和姿态执行对驱动单元进行驱动的控制以校正图像传感器的抖动，其中，惯性测量器包括：惯性测量单元(IMU)，其检测主体单元的当前的角速度和加速度；以及预测单元，其基于由IMU检测到的当前的角速度和加速度来预测预定时间段之后的未来的角速度和加速度。

在本公开内容的第二方面中，驱动捕获图像的图像传感器，检测图像传感器在预定时间段之后的未来的角速度和加速度，基于未来的角速度和加速度来检测图像传感器的未来位置和姿态，基于图像传感器的未来位置和姿态执行控制以校正图像传感器的抖动，检测主体单元的当前的角速度和加速度，并且基于检测到的当前的角速度和加速度来预测预定时间段之后的未来的角速度和加速度。

根据本公开内容第三方面的显示装置包括：显示单元，其在显示单元佩戴在用户头部上的眼睛前方的状态下显示能够由用户观看的图像；惯性测量器，其检测头部在预定时间段之后的未来的角速度和加速度；未来位置/姿态检测单元，其基于未来的角速度和加速度来检测头部的未来位置和姿态；以及抖动校正单元，其基于头部的未来位置和姿态来校正显示在显示单元上的图像的抖动，其中，惯性测量器包括：惯性测量单元(IMU)，其检测当前的角速度和加速度；以及预测单元，其基于由IMU检测到的当前的角速度和加速度来预测预定时间段之后的未来的角速度和加速度。

在本公开内容的第三方面中，在佩戴在用户头部上的眼睛前方的状态下显示用户可观看的图像，检测头部在预定时间段之后的未来的角速度和加速度，基于未来的角速度和加速度来检测头部的未来位置和姿态，基于头部的未来位置和姿态来校正显示在显示单元上的图像的抖动，检测当前的角速度和加速度，并且基于检测到的当前的角速度和加速度来预测预定时间段之后的未来的角速度和加速度。

附图说明

图1是用于说明实现手部抖动校正的成像装置的配置示例的图。

图2是用于说明根据本公开内容的成像装置的概要的图。

图3是说明角速度和加速度的未来预测的概要的图。

图4是用于说明根据本公开内容的第一实施方式的成像装置的配置示例的图。

图5是用于说明图4中的多IMU的外观配置示例的图。

图6是用于说明图4中的多IMU的外观配置示例的图。

图7是用于说明由图4中的多IMU实现的功能的图。

图8是用于说明图4中的传感器位置检测单元的配置示例的图。

图9是用于说明图4中的多IMU的角速度和加速度检测处理的流程图。

图10是用于说明图4中的成像装置的成像处理的流程图。

图11是用于说明图4中的成像装置的学习处理的流程图。

图12是用于说明根据本公开内容的第二实施方式的成像装置的配置示例的图。

图13是用于说明由图12中的多IMU实现的功能的图。

图14是用于说明图12中的多IMU的角速度和加速度检测处理的流程图。

图15是用于说明图12中的成像装置的学习处理的流程图。

图16是用于说明根据本公开内容的第三实施方式的VR眼镜装置的配置示例的图。

图17是用于说明图16中的VR眼镜装置的显示处理的流程图。

图18是用于说明通用个人计算机的配置示例的图。

具体实施方式

在下文中，将参照附图详细地描述本公开内容的优选实施方式。注意，在本说明书和附图中，具有大致相同的功能配置的部件由相同的附图标记表示，并且省略冗余的描述。

在下文中，将描述用于实施本技术的模式。将按以下顺序给出描述。

1.本公开内容的概述

2.第一实施方式

3.第二实施方式

4.第三实施方式

5.通过软件执行的示例

<<1.本公开内容的概述>>

<通过驱动图像传感器来实现手部抖动校正的成像装置的配置示例>

在描述根据本公开内容的具有防抖动功能的成像装置时，将描述通过驱动图像传感器的驱动机构来物理地校正手部引起的抖动的成像装置的配置示例。

注意，虽然手部引起的抖动指示当用户用手抓握和操作成像装置时发生的由成像装置体的抖动造成的图像抖动，但是此处假设手部引起的抖动指示在成像时发生的整体抖动。因此，例如，手部引起的抖动包括相对于安装在由马达、发动机等驱动的移动装置(例如无人机、车辆等)上的成像装置被马达或发动机驱动而生成的高频振动造成的成像抖动。此外，假设简单术语图像的“抖动”也包括手部引起的抖动。

图1是通过由IMU检测成像装置体的姿态和位置并且基于关于检测到的成像装置体的姿态和位置的信息驱动图像传感器来实现手部抖动校正的成像装置的配置示例。

图1中的成像装置11包括惯性测量单元(IMU：惯性测量装置)31、位置/姿态检测单元32、驱动控制单元33、驱动单元34a-1、34a-2、34b-1和34b-2以及图像传感器35。

IMU 31包括例如：加速度传感器，该加速度传感器检测作为包括XYZ轴的三个轴向方向中的每一个中的平移运动的加速度；以及陀螺仪传感器，该陀螺仪传感器检测作为旋转运动的角速度，并且该IMU 31检测三个轴向方向中的每一个中的加速度和角速度以将该加速度和角速度输出至位置/姿态检测单元32。

位置/姿态检测单元32基于由IMU 31检测到的角速度来检测成像装置11的主体的姿态，基于由IMU 31检测到的加速度来检测成像装置11的主体的位置，并且将成像装置11的主体的姿态和位置输出至驱动控制单元33。

驱动控制单元33基于关于由位置/姿态检测单元32检测到的成像装置11的主体的位置和姿态的信息，向驱动单元34a-1、34a-2、34b-1和34b-2中的每一个输出用于沿抵消所生成的抖动(运动)的方向驱动图像传感器35的控制信号。

驱动单元34a-1和34a-2是物理地驱动图像传感器35的驱动机构(例如致动器)，并且基于从驱动控制单元33提供的控制信号沿图中的水平方向驱动图像传感器35。驱动单元34b-1和34b-2是物理地驱动图像传感器35的驱动机构(例如致动器)，并且基于从驱动控制单元33提供的控制信号沿图中的竖直方向驱动图像传感器35。

注意，在不要求特别区分驱动单元34a-1、34a-2、34b-1和34b-2时，也将它们简称为驱动单元34。

图像传感器35包括互补金属氧化物半导体(CMOS)、电荷耦合器件(CCD)等，生成与入射光的光量对应的像素信号以捕获图像，并且输出捕获的图像。

即，驱动控制单元33基于使用IMU 31和位置/姿态检测单元32的惯性导航通过对驱动单元34进行驱动，来控制图像传感器35的位置和姿态。

因此，驱动控制单元33通过基于位置/姿态检测单元32的检测结果的前馈控制来控制驱动单元34以抵消图像传感器35的抖动(运动)。

驱动单元34每次以基于从驱动控制单元33提供的控制信号的方向和移动量驱动图像传感器35。

因此，根据成像装置11的位置和姿态的变化沿抵消手部引起的抖动的方向驱动图像传感器35，从而实现手部抖动校正。

然而，在图1中的成像装置11的配置情况下，IMU 31被设置在驱动图像传感器35的驱动单元34所驱动的范围外，因此，即使可以适当地检测到成像装置11的主体的位置和姿态，但是可能不能适当地检测到图像传感器35的位置和姿态。

因此，即使当图像传感器35被驱动单元34驱动时，也可能不能适当地校正手部引起的抖动。此外，特别地在图像传感器35中生成高频振动等的情况下，IMU 31可能不能将图像传感器35的位置和姿态的变化检测为高频振动，并且可能不能适当地跟随运动，并且因此可能不能进行适当的校正。

此外，由于图像传感器35的运动由包括附接至成像装置11的主体的物理驱动机构的驱动单元34传递，因此该运动跟随成像装置11的主体本身的运动。换言之，图像传感器35的运动是跟随成像装置11的主体的运动的运动，并且是相对于成像装置11的运动延迟预定时间段的运动，并且因此可能无法实现适当的抖动校正。

鉴于以上，在本公开内容中，通过学习根据成像装置的当前运动来预测图像传感器在预定时间段之后的未来的运动，并且基于预测结果驱动图像传感器以抵消其抖动(运动)来执行手部抖动校正，从而适当地应对图像传感器的运动，并且实现不受延迟影响的高度准确的手部抖动校正。

<本公开内容的成像装置的概述>

图2示出了用于说明通过学习预测图像传感器在预定时间段之后的未来的位置和姿态并且基于预测结果控制图像传感器的位置和姿态的成像装置的概要的配置示例。

图2中的成像装置51包括多IMU 61、未来位置/姿态检测单元62、驱动控制单元63、驱动单元64a-1、64a-2、64b-1和64b-2、图像传感器65、传感器位置检测单元66、当前位置/姿态检测单元67、当前位置/姿态估计单元68和预测误差计算单元69。

多IMU 61包括多个IMU，对由多个IMU检测到的成像装置51的主体的当前的角速度和加速度进行整合，并且将其作为当前输出输出至当前位置/姿态估计单元68。

此外，多IMU 61对由多个IMU检测到的成像装置51的主体的当前的角速度和加速度进行整合，基于整合的当前的角速度和加速度来预测预定时间段之后的未来的角速度和加速度，并且将其作为预测输出输出至未来位置/姿态检测单元62。

此外，多IMU 61获得从驱动控制单元63向驱动单元64提供的控制量目标值作为预测误差反馈，并且使用成像装置51的主体单元的当前的角速度和加速度以及预测误差反馈，基于成像装置51的主体单元的当前的角速度和加速度执行学习以预测图像传感器65在预定时间段之后的未来的角速度和加速度。

即，根据该学习，多IMU 61基于成像装置51的主体单元的当前的角速度和加速度，来预测图像传感器65在预定时间段之后的未来的角速度和加速度。

未来位置/姿态检测单元62基于从多IMU 61提供的图像传感器65在预定时间段之后的未来的角速度和加速度，来检测图像传感器65在预定时间段之后的未来的位置和姿态，并且将其输出至驱动控制单元63。

驱动控制单元63获得从未来位置/姿态检测单元62提供的关于图像传感器65在预定时间段之后的未来的位置和姿态的信息。

此外，驱动控制单元63获得关于预测误差的信息，关于该预测误差的信息是从预测误差计算单元69提供的、由当前位置/姿态估计单元68根据主体单元的当前的角速度和加速度估计的图像传感器65的当前位置和姿态与由当前位置/姿态检测单元67根据由传感器位置检测单元66获得的图像传感器65的实际的当前的角速度和加速度而获得的图像传感器65的实际当前位置和姿态之间的差。

然后，驱动控制单元63考虑到相对于从未来位置/姿态检测单元62提供的关于图像传感器65在预定时间段之后的未来定时的位置和姿态的信息的位置和姿态的预测误差，来设置图像传感器65的位置和姿态的控制量目标值，并且将其作为控制信号提供给驱动单元64a-1、64a-2、64b-1和64b-2。

此时，驱动控制单元63将控制量目标值作为预测误差反馈提供给多IMU 61。

驱动单元64a-1、64a-2、64b-1和64b-2与图1中的驱动单元34a-1、34a-2、34b-1和34b-2对应，并且基于控制量目标值(其是从驱动控制单元63提供的控制信号)沿吸收抖动的方向驱动图像传感器65。

即，驱动单元64a-1、64a-2、4b-1和64b-2沿吸收所生成的抖动的方向驱动图像传感器65的位置和姿态，使得图像传感器65能够保持满足作为控制信号的控制量目标值的位置和姿态。

与图1中的图像传感器35对应的图像传感器65包括互补金属氧化物半导体(CMOS)、电荷耦合器件(CCD)等，并且生成与入射光的光量对应的像素信号以捕获图像，并且输出捕获的图像。

传感器位置检测单元66与图像传感器65集成，检测图像传感器65在三维方向上的移动量，并且将其输出至当前位置/姿态检测单元67。

当前位置/姿态检测单元67基于从传感器位置检测单元66提供的图像传感器65的移动量来检测图像传感器65的当前位置和姿态，并且将其输出至预测误差计算单元69。

当前位置/姿态估计单元68基于从多IMU 61提供的关于成像装置51的主体的角速度和加速度的信息来估计图像传感器65的位置和姿态，并且将估计结果输出至预测误差计算单元69。

预测误差计算单元69计算基于从当前位置/姿态估计单元68提供的成像装置51的主体的位置和姿态的图像传感器65的位置和姿态的估计结果与由当前位置/姿态检测单元67检测到的图像传感器65的实际位置和姿态的检测结果之间的差，并且将其作为预测误差提供给驱动控制单元63。

驱动控制单元63获得作为由当前位置/姿态估计单元68估计的图像传感器的当前位置和姿态与由当前位置/姿态检测单元67检测到的图像传感器65的实际当前位置和姿态之间的差的预测误差。

然后，驱动控制单元63考虑到该预测误差、基于从未来位置/姿态检测单元62提供的图像传感器65在预定时间段之后的未来定时的位置和姿态，来设置要成为图像传感器65的控制量目标值的位置和姿态，生成用于对驱动单元64进行驱动的控制信号，并且将控制信号提供给驱动单元64以进行驱动。

即，使得驱动控制单元63能够考虑到预测误差和与驱动单元64的操作相关联的延迟、基于图像传感器65在预定时间段之后的未来的位置和姿态来设置要成为控制量目标值的图像传感器的位置和姿态。

利用这种配置，使得驱动控制单元63能够将在预定时间段之后的未来定时采取预测的位置和姿态所需的图像传感器65的位置和姿态设置为控制量目标值，并且还使得能够考虑到延迟将基于控制量目标值的控制信号输出至驱动单元64。

因此，除了包括图像传感器65在预定时间段之后的未来时间的位置和姿态的预测结果与包括由驱动单元64基于预测结果驱动的图像传感器65的实际位置和姿态的实际测量结果之间的预测误差之外，还能够设置用于吸收与驱动单元64的操作相关联的延迟的控制量目标值。

注意，此时，驱动控制单元63将控制量目标值作为预测误差反馈提供给多IMU 61。

多IMU 61根据自身生成的成像装置51的主体的当前的角速度和加速度以及包括驱动控制单元63中的控制量目标值的预测误差反馈，通过预测学习，来生成用于基于自身生成的当前的角速度和加速度预测图像传感器65在预定时间段之后的未来定时的角速度和加速度的系数。

然后，多IMU 61使用基于预测学习生成的系数，根据成像装置51的主体的当前的角速度和加速度来预测图像传感器65在预定时间段之后的未来定时的角速度和加速度，并且将其输出至未来位置/姿态检测单元62。

<角速度和加速度预测的概述>

接下来，将参照图3描述多IMU 61中的角速度和加速度的预测的概要。

多IMU 61包括多个IMU，多个IMU包括将旋转运动检测为角速度AV的三轴陀螺仪传感器和将平移运动检测为加速度A的三轴加速度传感器，并且多IMU 61整合并输出多个IMU的检测结果。多IMU 61将作为多个IMU的整合结果的成像装置51的主体单元中的角速度AV和加速度A作为当前输出而进行输出。

基于包括成像装置51的主体单元中的角速度AV和加速度A的当前输出来执行当前位置/姿态计算RC，从而计算基于成像装置51的主体单元中的当前输出的位置P和姿态AT。

更具体地，在当前位置/姿态计算RC中，对角速度AV进行积分，从而获得基于成像装置51的主体单元中的当前输出的姿态AT。

此外，由于从多IMU 61提供的加速度A是全局坐标系中的加速度，因此在当前位置/姿态计算RC中通过姿态AT将加速度A转换成全局坐标系并进一步进行积分，从而获得基于成像装置51的主体单元中的当前输出的全局坐标系中的速度V。

此外，对全局坐标系中的速度V进行积分，从而获得基于成像装置51的主体单元中的当前输出的全局坐标系中的位置P。

获得通过当前位置/姿态计算RC所获得的位置P和姿态AT作为基于多IMU 61的当前输出的成像装置51的主体单元的位置和姿态RCATP。然后，将基于多IMU 61的当前输出的成像装置51的主体单元的位置和姿态RCATP用作图像传感器65在当前时间的位置和姿态的估计值。

此外，与图像传感器65集成的传感器位置检测单元66检测图像传感器65的位置和姿态RCATP。

基于多IMU 61的当前输出的图像传感器65的位置和姿态RCATP是基于成像装置51的主体单元的位置和姿态的估计值，并且与图像传感器65的实际位置和姿态RSATP不完全匹配。

因此，将基于多IMU 61的当前输出的图像传感器65的位置和姿态RCATP与图像传感器65的位置和姿态RSATP之间的差计算为误差D。该误差D是与多IMU 61与传感器位置检测单元66之间的位置关系以及当驱动单元64实际驱动图像传感器65时发生的延迟相对应的值。

同时，在多IMU 61中，基于作为成像装置51的主体的当前输出的角速度AV和加速度A来进行未来预测FP，并且获得成像装置51的主体在预定时间段之后的未来的角速度和加速度。

然后，基于通过未来预测FP获得的成像装置51的主体在预定时间段之后的未来的角速度和加速度来执行未来位置/姿态计算FC，并且预测图像传感器65在预定时间段之后的未来的位置和姿态FSATP。

然后，基于图像传感器65在预定时间段之后的未来的位置和姿态FSATP以及误差D，来设置图像传感器65在预定时间段之后的未来的位置和姿态的控制量目标值CV。

即，控制量目标值CV指示图像传感器65在预定时间段之后的未来所处的位置和姿态，并且该控制量目标值CV基于图像传感器65在预定时间段之后的未来的位置和姿态FSATP、考虑到误差D来设置。

然后，如图中虚线箭头所指示的，驱动单元64基于控制量目标值CV来驱动图像传感器65，并且将其位置和姿态保持在控制量目标值CV的位置和姿态处。利用这种配置，物理地校正了所生成的抖动，并且图像传感器65被保持在与控制量目标值CV对应的位置和姿态处。

此外，使用控制量目标值CV以及作为多IMU 61的当前输出的角速度AV和加速度A执行预测学习L，从而获得用于未来预测FP的系数。

由于物体的运动是根据与物体的质量M对应的惯性的运动，因此可以根据在预定定时的运动来预测从预定定时起预定时间段之后的未来运动。

特别地，由于随着质量M增加而生成更大的惯性，因此可以以更高的精度来预测预定时间段之后的未来的运动。因此，例如，与成像装置安装在诸如无人机的移动物体上的情况相比，安装在具有较大质量M的车辆上的成像装置可以以更高的精度来预测未来的运动。

根据该惯性，基于在预定定时的角速度和加速度来预测从预定定时起预定时间段之后的未来的角速度和加速度。

控制量目标值是由驱动单元64驱动的图像传感器65的位置和姿态的目标值，该目标值基于图像传感器65在预定时间段之后的未来的位置和姿态以及预测误差来计算。

因此，在预测学习L中，通过学习获得预测系数，使得基于当前的角速度和加速度预测的预定时间段之后的未来的角速度和加速度是与成为作为预测误差反馈而提供的控制量目标值的位置和姿态相对应的角速度和加速度。

在预定时间段之后的未来的角速度和加速度例如是在大约数十毫秒至数百毫秒之后的未来的角速度和加速度，并且此处所称的预定时间段例如是与当包括致动器等的驱动单元64被驱动时生成的延迟相对应的时间。

利用这种配置，可以考虑到由多IMU 61与图像传感器65之间的位置关系造成的误差以及当驱动单元64实际驱动图像传感器65时造成的延迟，根据成像装置的主体的当前的角速度和加速度来高度准确地预测图像传感器65在预定时间段之后的未来的角速度和加速度。

因此，可以高度准确地检测图像传感器65在预定时间段之后的未来的位置和姿态，并且高度准确地执行对图像传感器65的物理抖动校正。

<<2.第一实施方式>>

接下来，将参照图4描述根据本公开内容的第一实施方式的成像装置的配置示例。注意，虽然图4示出了成像装置101安装在诸如车辆、无人机等的移动装置100上的情况的配置示例，但是成像装置101可以不安装在移动装置100上。

图4中的成像装置101包括：主体单元111，其控制用于对手部引起的抖动(包括由移动装置100的运动引起的伴随振动的抖动)进行校正的操作；成像单元112，其包括捕获图像的图像传感器；以及输出单元113，其输出作为成像结果的图像。

主体单元111包括多IMU 131、未来位置/姿态检测单元132、驱动控制单元133、驱动单元134、防抖动处理单元135、当前位置/姿态检测单元136、当前位置/姿态估计单元137和预测误差计算单元138。

与图2中的多IMU 61对应的多IMU 131检测主体单元111的当前的加速度和角速度，并且将其作为当前输出输出至当前位置/姿态估计单元137。

此外，多IMU 131基于检测到的主体单元111的当前的加速度和角速度，来预测图像传感器181在预定时间段之后的未来的加速度和角速度，并且将其作为预测输出输出至未来位置/姿态检测单元132。

此外，多IMU 131从驱动控制单元133获取包括在用于对驱动单元134进行控制的控制信号中的控制量目标值，并且通过与主体单元111的当前的加速度和角速度相关联的、与图3中的预测学习对应的学习来生成用于根据主体单元111的当前的加速度和角速度预测图像传感器181在预定时间段之后的未来的角速度和加速度的系数。

然后，多IMU 131使用通过预测学习生成的系数，根据来自主体单元111的多IMU131的当前的加速度和角速度，来预测图像传感器181在预定时间段之后的未来的加速度和角速度。

注意，后面将参照图5至图7描述多IMU 131的详细配置。

与图2中的未来位置/姿态检测单元62对应的未来位置/姿态检测单元132执行与图3中的未来位置/姿态计算FC对应的处理，以基于从多IMU131提供的图像传感器181在预定时间段之后的未来的角速度和加速度来检测图像传感器181在预定时间段之后的未来的位置和姿态，并且将其输出至驱动控制单元133。

与图2中的驱动控制单元63对应的驱动控制单元133基于从未来位置/姿态检测单元132提供的关于图像传感器181在预定时间段之后的未来的位置和姿态的信息以及从预测误差计算单元138提供的作为图像传感器181的当前位置和姿态的实际测量结果与估计结果之间的差的预测误差，来控制驱动单元134。

更具体地，驱动控制单元133包括控制量目标值计算单元151，并且使得该控制量目标值计算单元151基于关于图像传感器181在预定时间段之后的未来的位置和姿态的信息以及从预测误差计算单元138提供的作为图像传感器181的当前位置和姿态的实际测量结果与估计结果之间的差的预测误差，来计算要成为图像传感器181在预定时间段之后的未来的位置和姿态的目标值的控制量目标值。

然后，驱动控制单元133基于作为控制量目标值计算单元151的计算结果的控制量目标值生成用于驱动图像传感器181的控制信号，并且将其提供给驱动单元134以驱动图像传感器181。

更具体地，驱动控制单元133生成用于驱动图像传感器181以吸收伴随振动的抖动的控制信号，使得图像传感器181的位置和姿态可以保持在要成为控制量目标值的位置和姿态，并且将控制信号提供给驱动单元134。

此外，驱动控制单元133将控制量目标值作为误差反馈输出至多IMU 131。

驱动单元134包括与图2中的驱动单元64(64a-1、64a-2、64b-1和64b-2)对应的致动器等，并且基于来自驱动控制单元133的控制信号驱动图像传感器181。

驱动控制单元133将控制量目标值提供给防抖动处理单元135。防抖动处理单元135包括图像帧缓冲器161，并且缓冲从图像传感器181提供的图像。

防抖动处理单元135基于从驱动控制单元133提供的控制量目标值，获得指示图像传感器181运动的运动矢量作为指示手部引起的抖动的大小和方向的信息。更具体地，防抖动处理单元135根据作为时间序列控制量目标值的图像传感器181的位置和姿态的差，来计算根据图像传感器181的时间序列运动的以像素为单位的运动矢量。

然后，防抖动处理单元135基于所获得的运动矢量，对由图像传感器181捕获的经受缓冲的图像执行基于信号处理的手部抖动校正，并且将其输出至输出单元113。

成像单元112包括图像传感器181和传感器位置检测单元182。与图2中的图像传感器65对应的图像传感器181捕获包括与入射光的光量对应的像素信号的图像，并且将其提供给防抖动处理单元135。

与图2中的传感器位置检测单元66对应的传感器位置检测单元182包括例如与图像传感器181集成的霍尔元件传感器等，并且检测图像传感器181在三维方向上的移动量，以将其输出至当前位置/姿态检测单元136。

注意，将在后面参照图8详细描述传感器位置检测单元182。

当前位置/姿态检测单元136基于从传感器位置检测单元182提供的图像传感器181在三维方向上的移动量来获得图像传感器181的当前位置和姿态，并且将其作为图像传感器181的当前位置和姿态的实际测量结果输出至预测误差计算单元138。

当前位置/姿态估计单元137基于从多IMU 131提供的当前输出来获得主体单元111的当前位置和姿态，并且将其作为图像传感器181的位置和姿态的估计结果输出至预测误差计算单元138。

预测误差计算单元138计算从当前位置/姿态检测单元136提供的图像传感器181的当前的位置和姿态的实际测量结果与从当前位置/姿态估计单元137提供的图像传感器181的当前的位置和姿态的估计结果之间的差作为预测误差，并且将其提供给驱动控制单元133。

输出单元113输出通过防抖动处理单元135校正的图像。更具体地，输出单元113包括图像记录单元191和传输单元192。

图像记录单元191将通过防抖动处理单元135校正的图像记录为数据。

传输单元192包括例如以太网等，并且经由网络(未示出)将通过防抖动处理单元135校正的图像传输至外部信息处理设备、通信终端等。

注意，输出单元113可以具有任何其他配置，并且例如，其可以包括具有显示功能等的显示器，并且可以显示通过防抖动处理单元135校正的图像。

因此，在图4的成像装置101中，驱动控制单元133基于从未来位置/姿态检测单元132提供的关于图像传感器181在预定时间段之后的未来的位置和姿态的信息来设置图像传感器181的控制量目标值，并且对驱动单元134进行驱动，从而考虑到驱动单元134的操作中的延迟控制驱动单元134以驱动图像传感器181。

利用这种配置，图像传感器181的位置和姿态的控制量目标值被设置成使得与驱动单元134的操作相关的延迟的影响最小，从而可以高度准确地校正图像传感器181的手部引起的抖动。

此外，此时，驱动控制单元133考虑到从预测误差计算单元138提供的作为当前图像传感器181的估计结果与实际测量结果之间的误差的预测误差来设置控制量目标值，并且控制驱动单元134，从而设置图像传感器181的位置和姿态的控制量目标值。

利用这种配置，考虑到根据多IMU 131的检测结果估计的图像传感器181的当前的位置和姿态的估计结果与图像传感器181的当前的位置和姿态的实际测量结果之间的误差来对驱动单元134进行驱动，这使得能够以更高的精度校正手部引起的抖动。

此外，关于即使通过使用驱动单元134的物理方法来控制图像传感器181的位置和姿态也可能无法完全校正的抖动，防抖动处理单元135通过信号处理执行抖动校正，从而可以进一步高度准确地校正手部引起的抖动。

<多IMU的外观配置示例>

接下来，将参照图5和图6描述多IMU 131的配置示例。注意，图5是多IMU 131的外观的立体图，图6的上部分从左边起示出了一个侧视图、俯视图和另一侧视图，并且图6的下部分示出了正视图。

多IMU 131包括主体单元220、布线部221和端子222。主体单元220具有用于检测主体单元111的角速度和加速度的配置，并且具体地包括在图中示出为多个矩形配置的IMU211以及操作块212，该操作块212将在各个IMU 211中检测到的各个角速度和加速度进行整合并且执行用于预测预定时间段之后的未来的加速度和角速度的各种操作。

注意，图5和图6示出了包括其中16个IMU 211堆叠为两层总共32个IMU 211的示例性情况。此外，操作块212配置在图5中堆叠的IMU 211的下层。IMU 211中的每一个检测主体单元111的角速度和加速度，并且将其输出至操作块212。

操作块212对从多个各个IMU 211提供的主体单元111的角速度和加速度的检测结果进行整合以计算主体单元111的当前的角速度和角速度，并且将其输出至当前位置/姿态估计单元137。

此外，操作块212基于整合的主体单元111的当前的加速度和角速度来预测图像传感器181在预定时间段之后的未来的加速度和角速度，并且将其输出至未来位置/姿态检测单元132。

此外，操作块212根据从驱动控制单元133提供的控制量目标值和整合的主体单元111的当前的加速度和角速度，通过学习来获得用于预测图像传感器181在预定时间段之后的未来的加速度和角速度的系数，并且使用获取的系数来预测主体单元111在预定时间段之后的未来的加速度和角速度。

此外，操作块212经由布线部221和端子222将作为计算结果的主体单元111的当前的加速度和角速度以及图像传感器181在预定时间段之后的未来的加速度和角速度分别输出至当前位置/姿态估计单元137和未来位置/姿态检测单元132，并且从驱动控制单元133获得作为预测误差反馈的控制量目标值。

端子222包括：端子222a，其将主体单元111的当前的加速度和角速度提供给当前位置/姿态估计单元137；端子222b，其将图像传感器181在预定时间段之后的未来的加速度和角速度提供给未来位置/姿态检测单元132；以及端子222c，其从驱动控制单元133获得作为预测误差反馈的控制量目标值。

端子222a、222b和222c中的每一个例如是诸如串行外围接口(SPI)、内部集成电路(I2C)、改进的内部集成电路(I3C)、通用异步接收器/发送器(UART)等的通信标准的端子。

注意，虽然在图5和图6中端子222a、222b和222c的附图标记附带有引线，但是它们都不指示对应的引脚布置在附带有引线的位置处，而是指示端子222包括端子222a、222b和222c中的每一个。

<由多IMU实现的功能>

接下来，将参照图7描述由多IMU 131实现的功能。

多IMU 131包括IMU 211-1至211-n和操作块212。即，IMU 211-1至211-n与图5和图6中示出为32个矩形部的配置相对应。

操作块212包括合成处理单元241、短时未来预测单元242、输出单元243-1和243-2、时间戳生成单元244-1和244-2、预测校正量计算单元245和预测学习单元246。

合成处理单元241获得从IMU 211-1至211-n中的每一个提供的主体单元111的角速度和加速度，将它们中的每一个进行组合，并且将组合的角速度和加速度作为一个整合的主体单元111的当前的角速度和加速度输出至输出单元243-1和短时未来预测单元242。

短时未来预测单元242对从合成处理单元241提供的主体单元111的当前的角速度和加速度执行使用预测学习单元246通过学习而生成的系数的操作，以预测图像传感器181在预定时间段之后的未来的角速度和加速度，并且将其输出至输出单元243-2。

当输出单元243-1从合成处理单元241获得主体单元111的当前的角速度和加速度时，输出单元243-1提供与由时间戳生成单元244-1以时间序列方式生成的当前时间相对应的时间戳，并且将其作为当前输出从端子222a输出至当前位置/姿态估计单元137。

当输出单元243-2从短时未来预测单元242获得图像传感器181在预定时间段之后的未来的角速度和加速度时，输出单元243-2提供与由时间戳生成单元244-2以时间序列方式生成的预定时间段之后的未来时间相对应的时间戳，并且将其作为预测输出从端子222b输出至未来位置/姿态检测单元132。

预测校正量计算单元245获得从驱动控制单元133作为预测误差反馈提供的控制量目标值，计算与要成为控制量目标值的图像传感器181的位置和姿态相对应的角速度和加速度作为预测校正量，并且将其输出至预测学习单元246。

预测学习单元246根据预测校正量和主体单元111的当前的角速度和加速度，通过学习来生成用于预测图像传感器181的在预定时间段之后的未来的角速度和加速度所需的系数，并且将其输出至短时未来预测单元242。

短时未来预测单元242通过使用以这种方式生成的系数和从合成处理单元241提供的主体单元111的当前的角速度和加速度的操作，来预测图像传感器181在预定时间段之后的未来的角速度和加速度，并且将其输出至输出单元243-2。要在短时未来预测单元242中使用的系数可以在制造时预先生成并存储。在这种情况下，可以省略预测校正量计算单元245和预测学习单元246。

注意，短时未来预测单元242可以包括例如神经网络。在这种情况下，根据使用预测校正量和主体单元111的当前的角速度和加速度的机器学习，预测学习单元246生成隐藏层，其中包括在短时未来预测单元242中的输入层被设置为主体单元111的当前的角速度和加速度，并且输出层被设置为图像传感器181在预定时间段之后的未来的角速度和加速度。要在短时未来预测单元242中使用的神经网络可以在制造时预先生成并存储。在这种情况下，可以省略预测校正量计算单元245和预测学习单元246。

注意，虽然已经在本实施方式中描述了使用包括多个IMU 211的多IMU 131检测成像装置101的主体单元111的角速度和加速度的示例，但是可以由单个IMU 211检测成像装置101的主体单元111的角速度和加速度。

<传感器位置检测单元的配置示例>

接下来，将参照图8描述传感器位置检测单元182的配置示例。

图8中的传感器位置检测单元182是所谓的霍尔元件传感器，并且包括磁体251-1和251-2以及霍尔元件252-1和252-2。

磁体251-1和251-2被布置成使得磁体的磁化方向与图像传感器181在竖直方向和水平方向上的各自移动方向对准。

在图像传感器181位于原点位置的情况下，霍尔元件252-1和252-2分别固定地布置成与磁体251-1和251-2的南极与北极之间的边界一致。

利用这样的布置，当图像传感器181移动时，施加至霍尔元件252-1和252-2的磁场相对于围绕磁体251-1和251-2的南极与北极之间的边界的磁体的移动量成比例地变化。

通过测量磁场，可以检测磁体251-1和251-2在该区域范围内的水平方向和竖直方向的位置。

然而，虽然图8中所示的传感器位置检测单元182可以检测与图像传感器181的成像表面对应的平面方向上的位置变化，但是可能无法检测到入射方向上的变化。虽然省略了图示，但是可以通过在入射光的入射方向上单独设置磁体251和霍尔元件252来解决这一点。

如上所述，传感器位置检测单元182检测与图像传感器181的成像表面对应的平面方向和入射方向中的每一个方向上的移动量，并且将关于检测到的三维方向上的移动量的信息提供给当前位置/姿态检测单元136。

当前位置/姿态检测单元136基于从传感器位置检测单元182提供的入射方向和与图像传感器181的成像表面对应的平面方向中的每一个的三维方向上的移动量来检测图像传感器181的位置和姿态。

注意，代替传感器位置检测单元182，可以将IMU与图像传感器181单独集成，以使用IMU检测图像传感器181的角速度和加速度，并且当前位置/姿态检测单元136可以基于由IMU检测到的角速度和加速度来检测图像传感器181的位置和姿态。

<图4中的多IMU的角速度和加速度检测处理>

接下来，将参照图9的流程图描述由图4中的成像装置101中的多IMU 131执行的角速度和加速度检测处理。

在步骤S11中，IMU 211-1至211-n中的每一个检测主体单元111的当前的加速度和角速度以将其输出至合成处理单元241。

在步骤S12中，合成处理单元241将由IMU 211-1至211-n中的每一个检测到的主体单元111的当前的加速度和角速度进行组合，并且将其输出至短时未来预测单元242和输出单元243-1。

在步骤S13中，短时未来预测单元242基于主体单元111的当前的加速度和角速度，通过使用由预测学习单元246学习的系数的操作，来预测图像传感器181在预定时间段之后的未来的加速度和角速度，并且将其输出至输出单元243-2。

在步骤S14中，输出单元243-1对从合成处理单元241提供的主体单元111的当前的加速度和角速度提供与由时间戳生成单元244-1生成的当前时间对应的时间戳。

在步骤S15中，输出单元243-2对从短时未来预测单元242提供的主体单元111在在预定时间段之后的未来的加速度和角速度提供与由时间戳生成单元244-2生成的未来时间对应的时间戳。

在步骤S16中，输出单元243-1将主体单元111的当前的加速度和角速度与对应于当前时间的时间戳一起作为当前输出输出至当前位置/姿态估计单元137。

在步骤S17中，输出单元243-2将图像传感器181在预定时间段之后的未来的加速度和角速度与对应于未来时间的时间戳一起作为预测输出输出至未来位置/姿态检测单元132。

在步骤S18中，合成处理单元241确定是否已经指示终止处理，并且在是尚未指示终止的情况下处理返回至步骤S11。

此外，在步骤S18中指示终止处理的情况下该处理终止。

根据以上处理，主体单元111的当前的角速度和加速度在附加有与当先时间对应的时间戳的状态下作为当前输出被输出至当前位置/姿态估计单元137，并且图像传感器181在预定时间段之后的未来的角速度和加速度在附加有与未来时间对应的时间戳的状态下作为预测输出被输出至未来位置/姿态检测单元132。

因此，可以输出被提供了与当前时间对应的时间戳的主体单元111的当前的角速度和加速度以及被提供了与未来时间对应的时间戳的图像传感器181在预定时间段之后的未来的角速度和加速度。

<图4中的成像装置的成像处理>

接下来，将参照图10的流程图描述由图4中的成像装置101执行的成像处理。

在步骤S31中，图像传感器181捕获图像，并且将捕获的图像存储在防抖动处理单元135的图像帧缓冲器161中。

在步骤S32中，当前位置/姿态估计单元137获得作为从多IMU 131提供的当前输出的主体单元111的当前的角速度和加速度。

在步骤S33中，当前位置/姿态估计单元137基于主体单元111的当前的角速度和加速度来估计图像传感器181的当前位置和姿态，并且将作为估计结果的图像传感器181的当前位置和姿态输出至预测误差计算单元138。

在步骤S34中，传感器位置检测单元182检测与图像传感器181的成像表面对应的平面方向和入射方向中的每一个的三维方向上的移动量，并且将关于检测到的移动量的信息提供给当前位置/姿态检测单元136。

在步骤S35中，当前位置/姿态检测单元136基于从传感器位置检测单元182提供的关于入射方向和与图像传感器181的成像表面对应的平面方向中的每一个的移动量的信息，来检测图像传感器181的位置和姿态，并且将其输出至预测误差计算单元138。

在步骤S36中，预测误差计算单元138计算从当前位置/姿态估计单元137提供的、基于由多IMU 131检测到的角速度和加速度的图像传感器181的当前位置和姿态的估计结果与从前位置/姿态检测单元136提供的、基于由传感器位置检测单元182检测到的入射方向和与图像传感器181的成像表面对应的平面方向中的每一个的三维方向上的移动量的图像传感器181的当前位置和姿态的检测结果(实际测量结果)之间的差作为预测误差，并且将其输出至驱动控制单元133。

在步骤S37中，未来位置/姿态检测单元132获得从多IMU 131提供的图像传感器181在预定时间段之后的未来的角速度和加速度的预测输出。

在步骤S38中，未来位置/姿态检测单元132基于来自多IMU 131的主体单元111在预定时间段之后的未来的角速度和加速度，来检测图像传感器181在预定时间段之后的未来的位置和姿态，并且将其输出至驱动控制单元133。

在步骤S39中，驱动控制单元133对控制量目标值计算单元151进行控制，使得控制量目标值计算单元151基于从未来位置/姿态检测单元132提供的图像传感器181在预定时间段之后的未来的位置和姿态以及从预测误差计算单元138提供的预测误差，来计算要成为图像传感器181的控制量目标值的位置和姿态。

在步骤S40中，驱动控制单元133基于控制量目标值生成用于控制驱动单元134的驱动的控制信号，将其提供给驱动单元134，并且控制驱动单元134的驱动以驱动图像传感器181的位置和姿态。

此时，驱动控制单元133基于对指定用于计算控制量目标值的图像传感器181在预定时间段之后的未来姿态和位置的角速度和加速度所提供的时间戳，在比与驱动单元134的操作相关的延迟时间(大约数十毫秒至数百毫秒)早的定时将对应控制量目标值的控制信号输出至驱动单元134。

在步骤S41中，驱动控制单元133将控制量目标值作为误差反馈输出至多IMU 131。

在步骤S42中，驱动控制单元133将控制量目标值输出至防抖动处理单元135。防抖动处理单元135基于时间序列控制量目标值获得以像素为单位的运动矢量，并且通过信号处理校正抖动，从而对存储在图像帧缓冲器161中的图像指定手部抖动校正，以将图像输出至输出单元113。

此时，驱动控制单元133在与对指定用于计算控制量目标值的图像传感器181在预定时间段之后的未来的位置和姿态的角速度和加速度提供的时间戳对应的定时将对应的控制量目标值输出至防抖动处理单元135。即，由于在此处执行信号处理，并且几乎不产生延迟，因此不考虑与驱动单元134的操作等相关的延迟。

在步骤S43中，输出单元113的图像记录单元191记录已经经受手部抖动校正的图像。此外，输出单元113的传输单元152传输已经经受手部抖动校正的图像。在输出单元113包括显示器等的情况下，输出单元113显示已经经受手部抖动校正的图像。

在步骤S44中，确定是否已经指示终止成像处理，并且在未指示终止的情况下，处理返回至步骤S31。

即，重复步骤S31至S44的处理，直到指示终止成像处理。

然后，在步骤S44中指示终止成像处理的情况下，处理终止。

根据以上处理，基于关于图像传感器181在预定时间段之后的未来的位置和姿态的信息来设置要成为图像传感器181的控制量目标值的位置和姿态，并且驱动单元134驱动图像传感器181，使得保持所设置的要成为控制量目标值的位置和姿态。

利用这种配置，考虑到基于驱动单元134的操作的延迟来设置要成为图像传感器181的控制量目标值的位置和姿态，并且执行控制使得保持所设置的要成为控制量目标值的位置和姿态，从而可以适当地校正图像传感器181的抖动。

此外，考虑到作为根据多IMU 131的当前输出估计的图像传感器181的当前位置和姿态的估计结果与由传感器位置检测单元182检测到的图像传感器181的位置和姿态的实际测量结果之间的差的预测误差来设置控制量目标值。

利用这种配置，考虑到由多IMU 131检测到的主体单元111的位置和姿态与图像传感器181的实际位置和姿态之间的偏差来适当地设置图像传感器181的控制量目标值，从而可以校正抖动使得保持所设置的要成为控制量目标值的位置和姿态。

此外，根据基于图像传感器181在预定时间段之后的未来的位置和姿态设置的控制量目标值来对驱动单元134进行控制，并且针对仍然出现的预测误差，由防抖动处理单元135根据控制量目标值电子地校正抖动，这使得能够进行高度准确的抖动校正。

因此，安装在诸如无人机、车辆等的移动装置100上的成像装置101也使得能够校正由移动装置100的驱动马达、发动机等的高频振动造成的手部引起的抖动(基于马达、发动机等的高频振动的抖动)。

<图4中的成像装置的学习处理>

接下来，将参照图11的流程图描述由图4中的成像装置101执行的学习处理。

在步骤S61中，预测校正量计算单元254获得从驱动控制单元133提供的包括控制量目标值的预测误差反馈。

在步骤S62中，预测校正量计算单元254基于获得的图像传感器181的位置和姿态的控制量目标值，计算预定时间段之后的未来的角速度和加速度作为预测校正量，并且将其输出至预测学习单元246。

在步骤S63中，预测学习单元246基于主体单元111的当前的角速度和加速度，获得用于预测作为预测校正量的预定时间段之后的未来的角速度和加速度所需的系数，并且将其输出至短时未来预测单元242。

在步骤S64中，预测学习单元246确定是否指示终止，并且在未指示终止的情况下，处理返回至步骤S61以重复随后的处理。

即，重复步骤S61至步骤S64的处理直到指示终止处理，并且基于主体单元111的当前的角速度和加速度，重复用于获得预测预定时间段之后的未来的角速度和加速度所需的系数和隐藏层的学习处理。

然后，当在步骤S64中指示终止处理时，处理终止。

根据以上处理，对获得要用于短时未来预测单元242中的系数以基于主体单元111的当前的角速度和加速度来获得图像传感器181在预定时间段之后的未来的预测角速度和加速度的处理进行重复，从而可以以更高的精度检测预定时间段之后的未来的角速度和加速度。

<<3.第二实施方式>>

<第二实施方式的成像装置的配置示例>

在上文中，已经描述了以下示例：考虑到成像单元112的图像传感器181的位置和姿态的估计结果与实际测量结果之间的预测误差，基于由驱动单元134设置的控制量目标值来学习要用于多IMU 131的短时间未来预测单元242中的系数。

然而，可以根据在多IMU 131中检测到的主体单元111的当前的角速度和加速度与图像传感器181在预定时间段之后的未来的角速度和加速度之间的误差来获得控制量目标值，并且可以在多IMU 131中学习要用于短时未来预测单元242的系数。在这种情况下，多IMU 131仅输出要成为预测输出的图像传感器181在预定时间段之后的未来的角速度和加速度。

图12示出了根据第二实施方式的成像装置的配置示例，其中在多IMU 131中学习要用于短时未来预测单元242的系数。

在图12中的成像装置101A中，具有与图4中的成像装置101对应的功能的配置由具有添加至其末端的“A”的附图标记表示，并且将适当地省略其描述。

图12中的成像装置101A与图4中的成像装置101不同之处在于，图12中的成像装置101A提供了多IMU 131A而不是多IMU 131，并且删除了当前位置/姿态检测单元136、当前位置/姿态估计单元137、预测误差计算单元138和传感器位置检测单元182。

即，由于在图12中的成像装置101A中的多IMU 131A中学习要用于短时未来预测单元242的系数，因此省略了当前位置/姿态检测单元136、当前位置/姿态估计单元137、预测误差计算单元138和传感器位置检测单元182。

此外，多IMU 131A仅将作为预测输出的关于图像传感器181在预定时间段之后的未来的位置和姿态的信息输出至未来位置/姿态检测单元132。因此，驱动控制单元133A仅根据从多IMU 131A提供的作为预测输出的关于图像传感器181在预定时间段之后的未来的位置和姿态的信息来对控制量目标值计算单元151A进行控制，并且使其计算控制量目标值。

<图12中的多IMU的配置示例>

接下来，将参照图13描述图12中的多IMU 131A的配置示例。

在图13中的多IMU 131A中，具有与图5中的多IMU 131的功能相同功能的配置由相同的附图标记表示，并且将省略其描述。

即，图13中的多IMU 131A与图5中的多IMU 131的不同之处在于，新设置了当前位置/姿态检测单元261、未来位置/姿态检测单元262、预测误差计算单元263和控制量目标值计算单元264。

与图4中的当前位置/姿态估计单元137对应的当前位置/姿态检测单元261基于主体单元111的当前的角速度和加速度(其用作来自输出单元243-1的当前输出)来检测(估计)图像传感器181的当前位置和姿态，并且将其输出至预测误差计算单元263。

与未来位置/姿态检测单元132A对应的未来位置/姿态检测单元262基于图像传感器181在预定时间段之后的未来的角速度和加速度(其用作来自输出单元243-2的预测输出)来检测(估计)图像传感器181在预定时间段之后的未来的位置和姿态，并且将其输出至预测误差计算单元263和控制量目标值计算单元264。

注意，此处由于当前位置/姿态检测单元261和未来位置/姿态检测单元262基于多IMU 131A的检测结果来检测(估计)位置和姿态，因此当前位置/姿态检测单元261和未来位置/姿态检测单元262的各自的检测结果实质上是主体单元111的当前和未来的位置和姿态，但是在该示例中假设各自的检测结果是图像传感器181的位置和姿态的估计结果。

与图4中的预测误差计算单元138对应的预测误差计算单元263计算图像传感器181的当前位置和姿态的估计结果与关于图像传感器181在预定时间段之后的未来的位置和姿态的信息之间的差作为预测误差，并且将其输出至控制量目标值计算单元264。

更具体地，预测误差计算单元263缓冲关于图像传感器181在预定时间段之后的未来的位置和姿态的信息，计算与关于具有相同时间戳的当前位置和姿态的信息的差作为预测误差，并且将其输出至控制量目标值计算单元264。

与控制量目标值计算单元151A对应的控制量目标值计算单元264基于关于图像传感器181在预定时间段之后的未来的位置和姿态的信息计算图像传感器181的控制量目标值，并且将其作为预测误差反馈输出至预测校正量计算单元245。此时，控制量目标值计算单元264考虑了预测误差来计算控制量目标值。

来自控制量目标值计算单元264的预测误差反馈输出对应于图4中的来自驱动控制单元133的预测误差反馈输出。

即，在图12中的多IMU 131A中，代替来自驱动控制单元133的预测误差反馈，在多IMU 131A中生成预测误差反馈，并且在短时未来预测单元242中基于当前的角速度和加速度通过学习来生成用于预测预定时间段之后的未来的角速度和加速度的系数。

注意，虽然图13示出了存在用于输出当前的角速度和加速度的端子222a的示例，但是由于不输出当前的角速度和加速度，因此也可以省略端子222a。

<图13中多IMU的角速度和加速度检测处理>

接下来，将参照图14的流程图描述由图13中的多IMU 131A执行的角速度和加速度检测处理。

注意，图14的流程图中的步骤S81至S87和S92的处理与图9的流程图中的步骤S11至S18的处理相同，并且因此将省略其描述。

即，当通过步骤S81至S87的处理检测到当前的角速度和加速度以及预定时间段之后的未来的角速度和加速度并将其各自附加时间戳后输出时，处理进行至步骤S88。

在步骤S88中，当前位置/姿态检测单元261基于当前的角速度和加速度来检测(估计)图像传感器181的当前位置和姿态，并且将其输出至预测误差计算单元263。

在步骤S89中，未来位置/姿态检测单元262基于预定时间段之后的未来的角速度和加速度来检测(估计)图像传感器181在预定时间段之后的未来的位置和姿态，并且将其输出至预测误差计算单元263和控制量目标值计算单元264。

在步骤S90中，预测误差计算单元263计算从当前位置/姿态检测单元261提供的图像传感器181的当前位置和姿态与从未来位置/姿态检测单元262提供的图像传感器181在预定时间段之后的未来的位置和姿态之间的差，并且将其作为预测误差输出至控制量目标值计算单元264。

在步骤S91中，控制量目标值计算单元264计算要成为图像传感器181的控制量目标值的位置和姿态，并且将其作为预测误差反馈输出至预测校正量计算单元245。此时，控制量目标值计算单元264考虑到预测误差来计算控制量目标值。

根据以上处理，使得多IMU 131A能够在不从成像装置101获得预测误差反馈的情况下基于当前的角速度和加速度，来学习并生成用于预测预定时间段之后的未来的角速度和加速度的系数。

利用这种配置，可以通过相对于成像装置等仅替换多IMU 131A来实现使用未来的角速度和加速度的手部抖动校正。

因此，可以以低成本实现高度精确的手部抖动校正。

注意，学习处理与参照图11的流程图描述的处理类似，并且因此省略其描述。

<图12的中成像装置的成像处理>

接下来，将参照图15的流程图描述由图12中的成像装置101执行的成像处理。

在步骤S111中，图像传感器181捕获图像，并且将捕获的图像存储在防抖动处理单元135的图像帧缓冲器161中。

在步骤S112中，未来位置/姿态检测单元132A获得从多IMU 131A提供的图像传感器181在预定时间段之后的未来的角速度和加速度的预测输出。

在步骤S113中，未来位置/姿态检测单元132基于来自多IMU 131A的图像传感器181在预定时间段之后的未来的角速度和加速度，来检测图像传感器181在预定时间段之后的未来的位置和姿态，并且将其输出至驱动控制单元133A。

在步骤S114中，驱动控制单元133A对控制量目标值计算单元151A进行控制，以使控制量目标值计算单元151A基于从未来位置/姿态检测单元132A提供的图像传感器181在预定时间段之后的未来的位置和姿态来计算要成为图像传感器181的控制量目标值的位置和姿态。

在步骤S115中，驱动控制单元133A基于控制量目标值来控制驱动单元134A的驱动，并且使驱动控制单元133A控制图像传感器181，使得保持要成为控制量目标值的位置和姿态的状态。

在步骤S116中，驱动控制单元133A将控制量目标值输出至防抖动处理单元135A。防抖动处理单元135A基于控制量目标值通过信号处理对存储在图像帧缓冲器161A中的图像进行校正，从而执行手部抖动校正以将图像输出至输出单元113。

在步骤S117中，输出单元113的图像记录单元191记录已经经受手部抖动校正的图像。此外，输出单元113的传输单元152传输已经经受手部抖动校正的图像。在输出单元113是显示单元的情况下，输出单元113显示已经经受手部抖动校正的图像。

在步骤S118中，确定是否已经指示终止成像处理，并且在未指示终止的情况下，处理返回至步骤S111。

即，重复步骤S111至S118的处理，直到指示终止成像处理。

然后，在步骤S118中指示终止成像处理的情况下，处理终止。

根据以上处理，在多IMU 131A中生成预测误差反馈，并且短时未来预测单元242基于当前的角速度和加速度通过学习来生成用于预测预定时间段之后的未来的角速度和加速度的系数。

利用这种配置，由于不需要在除了成像装置101A中的多IMU 131A以外的配置中生成预测误差反馈，因此基于关于图像传感器181在预定时间段之后的未来的位置和姿态的信息来设置图像传感器181的控制量目标值，并且基于所设置的控制量目标值来控制驱动单元134A的驱动，从而可以执行控制使得图像传感器181保持要成为控制量目标值的位置和姿态。

因此，考虑到基于驱动单元134的操作的延迟来控制图像传感器181的位置和姿态，从而可以适当地校正图像传感器181的抖动。由于此时不需要生成预测误差反馈，因此成像装置101A的配置可以被简化。

此外，利用这种配置，仅通过替换和仅设置多IMU 131A，即使在现有成像装置中，也能够控制考虑了由驱动单元134A造成的操作延迟的图像传感器181的位置和姿态，以实现抖动校正。

因此，可以以低成本实现高度准确的抖动校正。

<<4.第三实施方式>4>

虽然在上面已经描述了使用多IMU 131A来实现成像时的手部抖动校正的示例，但是也可以通过使用多IMU 131A校正由虚拟现实(VR)眼镜装置显示的图像的抖动来实现所谓的VR晕眩预防处理。

VR眼镜装置是佩戴在用户的头上的装置，并且在面向用户的眼睛的位置处设置有显示单元，以跟随佩戴VR眼镜装置的用户的头部移动显示VR图像。

然而，已知的是，当跟随头部移动显示的VR图像变化时，在显示中出现延迟，以造成所显示的VR图像与实际头部移动之间的偏差，这给观看VR图像的用户造成所谓的VR晕眩。

鉴于以上，通过将根据本公开内容的多IMU设置在VR眼镜装置中，可以通过预测VR眼睛装置在预定时间段之后的未来的运动并改变和显示VR图像来抑制VR晕眩的发生。

图16示出了应用在图12中的成像装置101A中使用的多IMU 131A的VR眼镜装置的配置示例。

图16中的VR眼镜装置301是设置有包括有机电致发光(EL)、液晶显示器(LCD)等的眼镜式显示单元的装置，并且以显示单元的显示面面向用户的左眼和右眼的状态佩戴在用户的头部，并且在显示单元上显示根据用户头部的移动的VR图像。

更具体地，VR眼镜装置301包括多IMU 311、未来位置/姿态检测单元312、驱动控制单元313、抖动校正单元314、图像生成单元315和显示单元318。

具有与图12中的多IMU 131A相同配置的多IMU 311检测佩戴VR眼镜装置301的头部在在预定时间段之后的未来的角速度和加速度，并且将其输出至未来位置/姿态检测单元312。注意，此处所称的从现在起的预定时间段(即未来)是与直到VR图像被改变和显示为止的处理时间对应的时间。

与图12中的未来位置/姿态检测单元132A对应的未来位置/姿态检测单元312基于从多IMU 311提供的佩戴VR眼镜装置301的头部在在预定时间段之后的未来的角速度和加速度，来检测佩戴VR眼镜装置301的头部在预定时间段之后的未来的位置和姿态，并且将其输出至驱动控制单元313。

驱动控制单元313包括控制量目标值计算单元351，并且对控制量目标值计算单元351进行控制，以使控制控制量目标值计算单元351基于从未来位置/姿态检测单元312提供的关于头部在预定时间段之后的未来的位置和姿态的信息来计算用于指定要在VR眼镜装置301上显示的VR图像的位置和姿态的控制量目标值，并且将其输出至抖动校正单元314。

抖动校正单元314对由图像生成单元315生成并显示在显示单元316上的图像执行电子旋转或平移，使得在VR眼镜装置301上显示与控制量目标值对应的位置和姿态的VR图像，从而校正抖动。即，抖动校正单元314基于VR眼镜装置301在预定时间段之后的未来的位置和姿态来校正VR图像，使得可以在根据佩戴对应的VR眼镜装置301的用户头部的位置和姿态的变化(视线方向的变化)不发生抖动的状态下观看VR图像。

图像生成单元315生成VR图像作为显示图像，并且在通过抖动校正单元314校正VR图像的抖动之后，将VR图像输出至包括有机电致发光(EL)、液晶显示器(LCD)等的显示单元318以进行显示。

根据以上配置，显示在显示单元318上的VR图像的显示根据佩戴VR眼镜装置301的头部在预定时间段之后的未来的移动经受抖动校正，从而可抑制由已经经受了抖动校正的VR图像的显示延迟引起的VR晕眩。

<图16中VR眼镜装置的显示处理>

接下来，将参照图17的流程图描述由图16中的VR眼镜装置301执行的显示处理。

在步骤S151中，多IMU 311通过角速度和加速度检测处理来检测VR眼镜装置在预定时间段之后的未来的角速度和加速度，并且将其输出至未来位置/姿态检测单元312。注意，角速度和加速度检测处理与参照图14的流程图描述的处理相同，并且因此将省略对其的描述。

然后，未来位置/姿态检测单元312从多IMU 311获得VR眼镜装置301在预定时间段之后的未来的角速度和加速度。

在步骤S152中，未来位置/姿态检测单元312基于来自多IMU 311的VR眼镜装置301在预定时间段之后的未来的角速度和加速度，来检测VR眼镜装置301在预定时间段之后的未来的位置和姿态，并且将其输出至驱动控制单元313。

在步骤S153中，驱动控制单元313对控制量目标值计算单元351进行控制，以使控制量目标值计算单元351基于从未来位置/姿态检测单元312提供的VR眼镜装置301在预定时间段之后的未来的位置和姿态计算要成为用于显示要显示在显示单元316上的VR图像的控制量目标值的位置和姿态，并且将其输出至抖动校正单元314。

在步骤S154中，图像生成单元315生成要显示在显示单元316上的VR图像。

在步骤S155中，抖动校正单元314基于控制量目标值对由图像生成单元315生成并将显示在显示装置316上的图像执行旋转或平移，从而校正抖动。

在步骤S156中，图像生成单元315将已经经受抖动校正单元314的抖动校正的VR图像输出至显示单元316使得保持要成为控制量目标值的VR图像的位置和姿态，并且显示VR图像。

在步骤S157中，确定是否已指示终止显示处理，并且在未指示终止的情况下，处理返回至步骤S151。

即，重复步骤S151至S157的处理，直到指示终止成像处理。

然后，在步骤S157中指示终止显示处理的情况下，处理终止。

根据以上处理，检测到佩戴在头上的VR眼镜装置301在预定时间段之后的未来的位置和姿态，并且能够基于检测到的VR眼镜装置301在预定时间段之后的未来的位置和姿态执行应用抖动校正的显示，使得保持显示在显示单元316上的VR图像的显示位置和姿态。

利用这种配置，根据VR眼镜装置301在预定时间段之后的未来的移动(即，用户头部的移动)来校正发生在显示的VR图像中的抖动，从而可以抑制所谓的VR晕眩。

<<5.通过软件执行的示例>>

同时，上述一系列处理可以通过硬件执行，但是也可以通过软件执行。在通过软件执行一系列处理的情况下，将包括在软件中的程序从记录介质安装到并入专用硬件中的计算机，或者例如安装到能够通过安装各种程序来执行各种功能的通用计算机等。

图18示出了通用计算机的配置示例。该个人计算机包含中央处理单元(CPU)1001。输入/输出接口1005经由总线1004耦接至CPU 1001。只读存储器(ROM)1002和随机存取存储器(RAM)1003耦接至总线1004。

输入/输出接口1005耦接至以下单元：输入单元1006，该输入单元1006包括用户通过其输入操作命令的诸如键盘、鼠标等的输入装置；输出单元1007，该输出单元1007将处理操作画面和处理结果的图像输出至显示装置；存储单元1008，该存储单元1008包括存储程序和各种类型的数据的硬盘驱动器等；通信单元1009，该通信单元1009包括局域网(LAN)适配器等，并且经由以因特网为代表的网络执行通信处理。此外，还耦接有驱动器1010，该驱动器1010从可移除存储介质1011读取数据和向可移除存储介质1011写入数据，所述可移除存储介质1011例如是磁盘(包括软盘)、光盘(包括致密盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包括迷你光盘(MD))、半导体存储器等。

CPU 1001根据存储在ROM 1002中的程序或从诸如磁盘、光盘、磁光盘、半导体存储器等的可移除存储介质1001读出、安装在存储单元1008中并从存储单元1008加载到RAM1003中的程序执行各种处理。RAM 1003还适当地存储CPU 1001执行各种处理等所需的数据。

在如上所述配置的计算机中，例如，CPU 1001经由输入/输出接口1005和总线1004将存储在存储单元1008中的程序加载到RAM 1003中，并且执行该程序，从而执行上述一系列处理。

例如，可以通过将由计算机(CPU 1001)执行的程序记录在作为封装介质等的可移除存储介质1011中来提供该程序。此外，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。

在计算机中，可以通过将可移除存储介质1011附接至驱动器1010来经由输入/输出接口1005将程序安装在存储单元1008中。此外，可以经由有线或无线传输介质由通信单元1009来接收程序，并且可以将程序安装在存储单元1008中。此外，可以将程序预先安装在ROM 1002或存储单元1008中。

注意，由计算机执行的程序可以是按照本说明书中所描述的顺序以时间序列执行处理的程序，或者可以是并行地或在诸如进行调用时的必要定时执行处理的程序。

注意，图18中的CPU 1001实现了图4中的驱动控制单元133和防抖动处理单元135、图12中的驱动控制单元133A和防抖动处理单元135A以及图16中的驱动控制单元313和抖动校正单元314的功能。

此外，在本说明书中，系统意指多个部件(装置、模块(部件)等)的集合，并且所有部件是否在同一壳体中并不重要。因此，容纳在单独的壳体中并经由网络耦接的多个装置以及将多个模块容纳在一个壳体中的一个装置都是系统。

注意，本公开内容的实施方式不限于上述实施方式，并且可以在不脱离本公开内容的范围的情况下进行各种修改。

例如，本公开内容可以具有云计算的配置，其中由多个装置经由网络共享一个功能，并且合作执行处理。

此外，上述流程图中描述的每个步骤可以由一个装置执行，或者可以由多个装置以共享的方式执行。

此外，在一个步骤包括多种处理的情况下，一个步骤中包括的多种处理可以由一个装置执行，或者可以由多个装置以共享的方式执行。

注意，本公开内容还可以具有以下配置。

<1>一种惯性测量装置，包括：

惯性测量单元(IMU)，其检测当前的角速度和加速度；以及

预测单元，其基于由IMU检测到的当前的角速度和加速度，来预测预定时间段之后的未来的角速度和加速度。

<2>根据<1>的所述惯性测量装置，其中，

预测单元通过使用预定系数对当前的角速度和加速度进行操作来预测未来的角速度和加速度。

<3>根据<2>所述的惯性测量装置，还包括：

当前位置/姿态检测单元，其基于当前的角速度和加速度来检测当前的位置和姿态；

未来位置/姿态检测单元，其基于未来的角速度和加速度来检测未来的位置和姿态；以及

学习单元，其通过基于预测误差的学习来生成预定系数，预测误差包括当前位置和姿态与未来位置和姿态之间的差。

<4>根据<1>所述的惯性测量装置，其中，

预测单元包括神经网络，神经网络使当前的角速度和加速度作为输入层，并且使未来的角速度和加速度作为输出层。

<5>根据<4>所述的惯性测量装置，还包括：

当前位置/姿态检测单元，其基于当前的角速度和加速度来检测当前位置和姿态；

未来位置/姿态检测单元，其基于未来的角速度和加速度检测未来位置和姿态；以及

学习单元，其通过基于预测误差的机器学习来生成神经网络，预测误差包括当前位置和姿态与未来位置和姿态之间的差。

<6>根据<1>所述的惯性测量装置，还包括：

未来输出单元，其输出未来的角速度和加速度；以及

当前输出单元，其输出当前的角速度和加速度，其中，

当前输出单元向当前的角速度和加速度添加与当前时间对应的时间戳，并且输出当前的角速度和加速度，并且

未来输出单元向未来的角速度和加速度添加与预定时间段之后的未来时间对应的时间戳，并且输出未来的角速度和加速度。

<7>根据<6>所述的惯性测量装置，其中，

当前输出单元和未来输出单元经由预定通信标准的端子分别输出当前的角速度和加速度以及未来的角速度和加速度。

<8>根据<7>所述的惯性测量装置，其中，

预定通信标准包括串行外围接口(SPI)、内部集成电路(I2C)、改进的内部集成电路(I3C)和通用异步接收器/发送器(UART)。

<9>根据<1>至<8>中任一项所述的惯性测量装置，其中，

IMU为多IMU，多IMU包括多个IMU。

<10>一种操作惯性测量装置的方法，惯性测量装置包括检测当前的角速度和加速度的惯性测量单元(IMU)，该方法包括以下步骤：

基于由IMU检测到的当前的角速度和加速度，来预测预定时间段之后的未来的角速度和加速度。

<11>一种程序，使控制惯性测量装置的计算机用作以下单元，惯性测量装置包括检测当前的角速度和加速度的惯性测量单元(IMU)，该单元为：

预测单元，其基于由IMU检测到的当前的角速度和加速度，来预测预定时间段之后的未来的角速度和加速度。

<12>一种成像装置，包括：

图像传感器，其捕获图像；

驱动单元，其驱动图像传感器；

惯性测量器，其检测图像传感器在预定时间段之后的未来的角速度和加速度；

未来位置/姿态检测单元，其基于未来的角速度和加速度来检测图像传感器的未来位置和姿态；以及

驱动控制单元，其基于图像传感器的未来位置和姿态执行驱动驱动单元的控制，以校正图像传感器的抖动，其中，

惯性测量器包括：

惯性测量单元(IMU)，其检测主体单元的当前的角速度和加速度；以及

预测单元，其基于由IMU检测到的当前的角速度和加速度来预测预定时间段之后的未来的角速度和加速度。

<13>根据<12>所述的成像装置，其中，

驱动控制单元基于图像传感器的未来位置和姿态来计算要成为图像传感器的控制量目标值的位置和姿态，并且将基于控制量目标值的控制信号提供给驱动单元，并且

驱动单元基于控制信号来驱动图像传感器以保持要成为控制量目标值的位置和姿态。

<14>根据<13>所述的成像装置，其中，

驱动控制单元将控制量目标值反馈给惯性测量器，

预测单元对由IMU检测到的当前的角速度和加速度执行使用预定系数的处理，以预测预定时间段之后的未来的角速度和加速度，

惯性测量器还包括学习单元，学习单元基于控制量目标值学习预定系数。

<15>根据<14>所述的成像装置，还包括：

当前位置/姿态估计单元，其基于从当前输出单元输出的当前的角速度和加速度来估计图像传感器的当前位置和姿态；

位置/姿态检测单元，其检测由驱动单元驱动的图像传感器的位置和姿态；以及

预测误差计算单元，其计算作为当前位置/姿态估计单元的估计结果的图像传感器的位置和姿态与由位置/姿态检测单元检测到的图像传感器的位置和姿态之间的差作为预测误差，其中，

惯性测量器还包括：

未来输出单元，其输出未来的角速度和加速度；以及

当前输出单元，其输出当前的角速度和加速度，并且

驱动控制单元基于图像传感器的未来位置和姿态以及预测误差来计算要成为图像传感器的控制量目标值的位置和姿态。

<16>根据<15>所述的成像装置，还包括：

抖动校正单元，其基于控制量目标值，通过信号处理对由图像传感器捕获的图像执行抖动校正。

<17>根据<12>所述的成像装置，其中，

预测单元通过对由IMU检测到的当前的角速度和加速度执行使用预定系数的处理来预测未来的角速度和加速度，并且

惯性测量器还包括：

当前位置/姿态检测单元，其基于当前的角速度和加速度来检测图像传感器的当前位置和姿态；

另一未来位置/姿态检测单元，其与未来位置/姿态检测单元不同，另一未来位置/姿态检测单元基于未来的角速度和加速度来检测图像传感器的未来位置和姿态；

预测误差计算单元，其计算由当前位置/姿态检测单元检测到的当前位置和姿态与由另一未来位置/姿态检测单元检测到的未来位置和姿态之间的差作为预测误差；

控制量目标值计算单元，其基于未来位置和姿态以及预测误差来计算要成为图像传感器的控制量目标值的位置和姿态；以及

学习单元，其基于控制量目标值来学习预定系数。

<18>一种显示装置，包括：

显示单元，其在显示单元佩戴在用户头部上的眼睛前方的状态下显示能够由用户观看的图像；

惯性测量器，其检测头部在预定时间段之后的未来的角速度和加速度；

未来位置/姿态检测单元，其基于未来的角速度和加速度来检测头部的未来位置和姿态；以及

抖动校正单元，其基于头部的未来位置和姿态来校正显示在显示单元上的图像的抖动，其中，

惯性测量器包括：

惯性测量单元(IMU)，其检测当前的角速度和加速度；以及

预测单元，其基于由IMU检测到的当前的角速度和加速度来预测预定时间段之后的未来的角速度和加速度。

<19>根据<18>所述的显示装置，还包括：

控制量目标值计算单元，其基于未来位置和姿态来计算要成为显示在显示单元上的图像的位置和姿态的控制量目标值，其中

抖动校正单元校正抖动，使得图像以要成为控制量目标值的位置和姿态显示。

<20>根据<18>或<19>所述的显示装置，其中，

显示单元显示虚拟现实(VR)图像作为图像。

附图标记列表

100 移动装置

101 成像装置

111 主体单元

112 成像单元

113 输出单元

131 多IMU

132 未来位置/姿态检测单元

133 驱动控制单元

134 驱动单元

135 防抖动处理单元

136 当前位置/姿态检测单元

137 当前位置/姿态估计单元

138 预测误差计算单元

151 控制量目标值计算单元

161 图像帧缓冲器

181 图像传感器

182 传感器位置检测单元

191 图像记录单元

192 传输单元

211、211-1至211-n IMU

212 操作块

241 合成处理单元

242 短时未来预测单元

243-1,243-2 输出单元

244-1,244-2 时间戳生成单元

245 预测校正量计算单元

246 预测学习单元

101A 成像装置

111A 主体单元

131A 多IMU

132A 未来位置/姿态检测单元

133A 驱动控制单元

134A 驱动单元

135A 防抖动处理单元

151A 控制量目标值计算单元

161A 图像帧缓冲器

261 当前位置/姿态检测单元

262 未来位置/姿态检测单元

263 预测误差计算单元

264 控制量目标值计算单元

311 多IMU

312 未来位置/姿态检测单元

313 驱动控制单元

314 抖动校正单元

315 图像生成单元

316 显示单元

351 控制量目标值计算单元

Claims (20)

1.一种惯性测量装置，包括：

惯性测量单元IMU，其检测当前的角速度和加速度；以及

预测单元，其基于由所述IMU检测到的所述当前的角速度和加速度，来预测预定时间段之后的未来的角速度和加速度。

2.根据权利要求1所述的惯性测量装置，其中，

所述预测单元通过使用预定系数对所述当前的角速度和加速度进行操作来预测所述未来的角速度和加速度。

3.根据权利要求2所述的惯性测量装置，还包括：

当前位置/姿态检测单元，其基于所述当前的角速度和加速度来检测所述当前的位置和姿态；

未来位置/姿态检测单元，其基于所述未来的角速度和加速度来检测所述未来的位置和姿态；以及

学习单元，其通过基于预测误差的学习来生成所述预定系数，所述预测误差包括所述当前的位置和姿态与所述未来的位置和姿态之间的差。

4.根据权利要求1所述的惯性测量装置，其中，

所述预测单元包括神经网络，所述神经网络使所述当前的角速度和加速度作为输入层，并且使所述未来的角速度和加速度作为输出层。

5.根据权利要求4所述的惯性测量装置，还包括：

当前位置/姿态检测单元，其基于所述当前的角速度和加速度来检测所述当前的位置和姿态；

未来位置/姿态检测单元，其基于所述未来的角速度和加速度检测所述未来的位置和姿态；以及

学习单元，其通过基于预测误差的机器学习来生成所述神经网络，所述预测误差包括所述当前的位置和姿态与所述未来的位置和姿态之间的差。

6.根据权利要求1所述的惯性测量装置，还包括：

未来输出单元，其输出所述未来的角速度和加速度；以及

当前输出单元，其输出所述当前的角速度和加速度，其中，

所述当前输出单元向所述当前的角速度和加速度添加与所述当前时间对应的时间戳，并且输出所述当前的角速度和加速度，并且

所述未来输出单元向所述未来的角速度和加速度添加与所述预定时间段之后的未来时间对应的时间戳，并且输出所述未来的角速度和加速度。

7.根据权利要求6所述的惯性测量装置，其中，

所述当前输出单元和所述未来输出单元分别经由预定通信标准的端子输出所述当前的角速度和加速度以及所述未来的角速度和加速度。

8.根据权利要求7所述的惯性测量装置，其中，

所述预定通信标准包括串行外围接口SPI、内部集成电路I2C、改进的内部集成电路I3C和通用异步接收器/发送器UART。

9.根据权利要求1所述的惯性测量装置，其中，

所述IMU为多IMU，所述多IMU包括多个IMU。

10.一种操作惯性测量装置的方法，所述惯性测量装置包括检测当前的角速度和加速度的惯性测量单元IMU，所述方法包括以下步骤：

基于由所述IMU检测到的所述当前的角速度和加速度，来预测预定时间段之后的未来的角速度和加速度。

11.一种程序，所述程序使控制惯性测量装置的计算机用作以下单元，所述惯性测量装置包括检测当前的角速度和加速度的惯性测量单元IMU，所述单元为：

预测单元，其基于由所述IMU检测到的所述当前的角速度和加速度，来预测预定时间段之后的未来的角速度和加速度。

12.一种成像装置，包括：

图像传感器，其捕获图像；

驱动单元，其驱动所述图像传感器；

惯性测量器，其检测所述图像传感器在预定时间段之后的未来的角速度和加速度；

未来位置/姿态检测单元，其基于所述未来的角速度和加速度来检测所述图像传感器的未来的位置和姿态；以及

驱动控制单元，其基于所述图像传感器的未来的位置和姿态执行驱动所述驱动单元的控制，以校正所述图像传感器的抖动，其中，

所述惯性测量器包括：

惯性测量单元IMU，其检测主体单元的当前的角速度和加速度；以及

预测单元，其基于由所述IMU检测到的所述当前的角速度和加速度来预测所述预定时间段之后的未来的角速度和加速度。

13.根据权利要求12所述的成像装置，其中，

所述驱动控制单元基于所述图像传感器的未来的位置和姿态来计算要成为所述图像传感器的控制量目标值的位置和姿态，并且将基于所述控制量目标值的控制信号提供给所述驱动单元，并且

所述驱动单元基于所述控制信号来驱动所述图像传感器，以保持要成为所述控制量目标值的位置和姿态。

14.根据权利要求13所述的成像装置，其中，

所述驱动控制单元将所述控制量目标值反馈给所述惯性测量器，

所述预测单元对由所述IMU检测到的所述当前的角速度和加速度执行使用预定系数的处理，以预测所述预定时间段之后的未来的角速度和加速度，

所述惯性测量器还包括学习单元，所述学习单元基于所述控制量目标值学习所述预定系数。

15.根据权利要求14所述的成像装置，其中，

所述惯性测量器还包括：

未来输出单元，其输出所述未来的角速度和加速度；以及

当前输出单元，其输出所述当前的角速度和加速度

所述成像装置还包括：

当前位置/姿态估计单元，其基于从所述当前输出单元输出的所述当前的角速度和加速度来估计所述图像传感器的当前的位置和姿态；

位置/姿态检测单元，其检测由所述驱动单元驱动的所述图像传感器的位置和姿态；以及

预测误差计算单元，其计算作为所述当前位置/姿态估计单元的估计结果的所述图像传感器的位置和姿态与由所述位置/姿态检测单元检测到的所述图像传感器的位置和姿态之间的差，以作为预测误差，并且

所述驱动控制单元基于所述图像传感器的未来的位置和姿态以及所述预测误差来计算要成为所述图像传感器的控制量目标值的位置和姿态。

16.根据权利要求15所述的成像装置，还包括：

抖动校正单元，其基于所述控制量目标值，通过信号处理对由所述图像传感器捕获的图像执行抖动校正。

17.根据权利要求12所述的成像装置，其中，

所述预测单元通过对由所述IMU检测到的所述当前的角速度和加速度执行使用预定系数的处理来预测所述未来的角速度和加速度，并且

所述惯性测量器还包括：

当前位置/姿态检测单元，其基于所述当前的角速度和加速度来检测所述图像传感器的当前的位置和姿态；

其他未来位置/姿态检测单元，其与所述未来位置/姿态检测单元不同，所述其他未来位置/姿态检测单元基于所述未来的角速度和加速度来检测所述图像传感器的所未来的位置和姿态；

预测误差计算单元，其计算由所述当前位置/姿态检测单元检测到的所述当前位置和姿态与由所述另一未来位置/姿态检测单元检测到的所述未来的位置和姿态之间的差，以作为预测误差；

控制量目标值计算单元，其基于所述未来的位置和姿态以及所述预测误差来计算要成为所述图像传感器的控制量目标值的位置和姿态；以及

学习单元，其基于所述控制量目标值来学习所述预定系数。

18.一种显示装置，包括：

显示单元，所述显示单元在佩戴在用户的头部上的眼睛前方的状态下显示能够由所述用户观看的图像；

惯性测量器，其检测所述头部在预定时间段之后的未来的角速度和加速度；

未来位置/姿态检测单元，其基于所述未来的角速度和加速度来检测所述头部的未来的位置和姿态；以及

抖动校正单元，其基于所述头部的未来的位置和姿态来校正显示在所述显示单元上的所述图像的抖动，其中，

所述惯性测量器包括：

惯性测量单元IMU，其检测当前的角速度和加速度；以及

预测单元，其基于由所述IMU检测到的所述当前的角速度和加速度来预测所述预定时间段之后的未来的角速度和加速度。

19.根据权利要求18所述的显示装置，还包括：

控制量目标值计算单元，其基于所述未来的位置和姿态来计算要成为显示在所述显示单元上的所述图像的位置和姿态的控制量目标值，其中

所述抖动校正单元校正所述抖动，使得所述图像以要成为所述控制量目标值的位置和姿态显示。

20.根据权利要求18所述的显示装置，其中，

所述显示单元显示虚拟现实VR图像作为所述图像。