CN106973214B - 数据处理装置以及数据处理方法 - Google Patents

Abstract

姿态判定部(126)在摄像装置(100)中产生的加速度稳定、且判定为基于加速度的姿态方向的判定结果以同一结果持续的情况下(S201“是”)，将姿态方向的判定结果更新为最新的判定结果，在重放时用在帧的抖动补正等中(S208)。另一方面，在摄像装置100中产生的加速度不稳定的情况下(S201“否”)，基于加速度的姿态方向的判定结果不同于前次的情况下(S205“否”)，另外，即使是与前次的判定结果同一结果但未持续给定次数的情况下(S206“否”)，不更新姿态方向的判定结果，保持过去的姿态方向的判定结果，在重放时用在帧的抖动补正等中(S203、S210、S213)。

Description

数据处理装置以及数据处理方法

技术领域

本发明涉及数据处理装置以及数据处理方法。

背景技术

如特开2009-267792号公报记载的那样，提出一种摄像装置，利用者在头部装备摄像装置来对位于自身的视线前方的事物进行摄像。这样的摄像装置未设想以稳定的姿态进行摄像，因而考虑在姿态稳定的定时自动进行摄像。

但在采用上述那样的摄像方法的情况下，由于在摄像装置的姿态不稳定的期间不进行摄像，因此有不能适用于需要周期性摄像的摄像方法这样的问题。

发明内容

本申请发明鉴于这样的问题点而提出，目的在于，在姿态不稳定的情况下也能进行周期性的摄像。

本发明所涉及的数据处理装置的特征在于，具备：姿态信息取得单元，其取得多个数据取得时的各个与数据取得装置的姿态相关的信息；和控制单元，其进行控制，按照由所述姿态信息取得单元取得的与所述姿态相关的信息的内容，运用该数据取得时以外所取得的信息作为该数据取得时的与姿态相关的信息。

另外，本发明所涉及的数据处理方法的特征在于，包含：姿态信息取得步骤，取得数据取得时的与数据取得装置的姿态相关的信息；和控制步骤，按照在所述姿态信息取得步骤取得的与所述姿态相关的信息的内容，运用该数据取得时以外所取得的信息作为该数据取得时的与姿态相关的信息。

附图说明

图1是表示本发明的第1实施方式所涉及的摄像装置的构成的图。

图2是表示本发明的第1实施方式所涉及的摄像装置中的摄像处理的动作的流程图。

图3是表示本发明的第1实施方式所涉及的摄像装置中的姿态方向判定处理的动作的流程图。

图4是表示本发明的第1实施方式所涉及的摄像装置中出现的加速度的过渡的一例的图。

图5是表示本发明的第1实施方式所涉及的摄像装置中出现的加速度的过渡的另一例的图。

图6是表示本发明的第2实施方式所涉及的摄像装置中的重放处理的动作的流程图。

具体实施方式

(第1实施方式)

以下说明作为本发明的实施方式所涉及的数据处理装置的摄像装置。本发明的实施方式所涉及的摄像装置100如图1所示那样，包含控制部102、存储器104、操作部106、加速度传感器110、镜头光学系统111、摄像元件112、模拟/数字(A/D：Analogue/digital)变换部113、图像处理部114、自动对焦(AF：Auto Focus)控制部115、镜头驱动部116、显示部120而构成。摄像装置100例如装备在利用者的头部，对该利用者的前方进行摄像。

控制部102具备CPU(Central Processing Unit，中央处理器)，遵循存放于存储器104的程序来执行软件处理，实现摄像装置100所具备的功能即摄像控制部122、图像取得部124以及姿态判定部126等。

控制部102内的摄像控制部122对应于利用者对操作部106的操作等来控制摄像，对AF控制部115进行合焦控制、变焦控制等摄像控制的指示。图像取得部124取得从图像处理部114输入的图像数据即帧。姿态判定部126基于来自加速度传感器110的在摄像装置100产生的加速度来判定摄像装置100的摄像时的方向。关于控制部102进行的摄像时的处理，之后叙述。

存储器104由非易失性存储器和易失性存储器构成。非易失性存储器存储摄像装置100中的控制等所用的各种信息(程序等)、后述的姿态方向的判定结果等。另一方面，易失性存储器例如成为工作区。

操作部106是为了输入用户的操作内容而用的接口。操作部106例如具备用户进行操作的按键。

加速度传感器110，逐次检测伴随摄像装置100的移动而产生的加速度。例如加速度传感器110检测三维空间中的X轴、Y轴、Z轴的各方向的加速度。加速度传感器110将检测到的加速度的数据输出给控制部102。加速度的数据存储在存储器104。另外，该三维空间中的X轴所示的方向，表示与摄像装置100中的镜头光学系统111的光轴方向正交的水平方向(或左右方向)。另外，Y轴所示的方向，表示与摄像装置100中的镜头光学系统111的光轴方向正交的垂直方向(或上下方向)。进而，Z轴所示的方向，表示摄像装置100中的镜头光学系统111的光轴方向(或前后方向)。

AF控制部115按照控制部102内的摄像控制部122、图像处理部114进行的合焦控制、变焦控制等摄像控制的指示，来控制镜头驱动部116。镜头驱动部116内置用于使镜头光学系统111移动的电动机。镜头驱动部116为了按照AF控制部115的控制来进行合焦控制、变焦控制等而使镜头光学系统111移动。

镜头光学系统111由变焦透镜等构成。镜头光学系统111通过镜头驱动部116的控制而移动。通过镜头光学系统111的移动来控制进行摄像时的视角、光学像。

摄像元件112由规则地二维排列在受光面的多个受光元件、采样保持电路等构成。受光元件例如是光电二极管、Bayer排列的彩色滤光器、CCD(Charge Coupled Device，电荷耦合器件)、CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)等摄像器件。摄像元件112对经由镜头光学系统111而入光的光学像进行摄像(受光)，将模拟的图像信号输出给A/D变换部113。

A/D变换部113将来自摄像元件112的模拟图像信号变换成数字数据并输出。

图像处理部114包含彩色处理电路、JPEG(Joint Photographic Experts Group，联合图像专家组)电路、数字视频编码器等而构成。图像处理部114被输入来自A/D变换部113的数字数据，生成图像数据即帧。图像处理部114将生成的帧输出给控制部102内的图像取得部124。另外，图像处理部114对生成的帧进行解析来判定是否需要合焦控制，在需要的情况下，对AF控制部115进行合焦控制的指示。

显示部120例如由LCD(Liquid Crystal Display，液晶显示器)、PDP(PlasmaDisplay Panel，等离子显示器面板)、EL(Electro-Luminescence，电致发光)显示器等构成，显示与帧对应的图像。

接下来说明摄像装置100所进行的摄像处理的详细。图2是表示摄像处理的动作的流程图。

摄像装置100的电源成为接通而起动(步骤S100)。控制部102内的姿态判定部126读出预先存储在存储器104内的非易失性存储器的姿态方向的判定结果，设定为姿态方向判定结果的初始值(步骤S101)。在此，存储于存储器104的姿态方向的判定结果是在过去的姿态方向的判定处理(后述的步骤S102的处理)中判定的摄像装置100的姿态方向当中、决定进行保持的最新的姿态方向。

接下来，姿态判定部126进行姿态方向的判定处理(步骤S102)。图3是表示摄像装置100中的姿态方向判定处理的动作的流程图。

姿态判定部126判定从加速度传感器110逐次输入的加速度是否稳定(步骤S201)。

图4以及图5是表示在摄像装置100产生的加速度的过渡的一例的图。如上述那样，加速度传感器110检测三维空间中的X轴、Y轴、Z轴的各方向的加速度。在图4中，X轴方向以及Z轴方向的加速度在0[G]附近的变化变小，Y轴方向的加速度在1[G]附近的变化变小，处于稳定。Y轴方向的加速度为1[G]附近是因为在Y轴方向上产生重力加速度。另一方面，在图5中，X轴、Y轴、Z轴的不管哪个方向的加速度都较大变化，处于不稳定，也不能判别重力加速度的方向。在步骤S201，姿态判定部126在给定时间(例如100[ms])内的加速度的变化为给定范围内的情况下，判定为加速度处于稳定，在超过给定范围的情况下，判定为加速度处于不稳定。

在加速度处于不稳定的情况下(步骤S201“否”)，姿态判定部126判定为姿态方向为不确定(判定NG)(步骤S202)，不更新存储于存储器104内的非易失性存储器的姿态方向的判定结果(步骤S203)。

另一方面，在加速度处于稳定的情况下(步骤S201“是”)，接下来，姿态判定部126基于加速度来判定摄像装置100的姿态方向，具体地，判定镜头光学系统111所朝向的方向(步骤S204)。

具体地，姿态判定部126基于来自加速度传感器110的加速度的变化来判别重力加速度的方向。接下来，姿态判定部126将该重力加速度的方向判别为垂直方向，将与该重力加速度的方向正交的方向判别为水平方向。进而，姿态判定部126基于该垂直方向的加速度来求取针对镜头光学系统111的垂直方向(Y轴方向)的朝向，基于该水平方向的加速度来求取水平方向(X轴方向)的朝向。这时，姿态判定部126判别镜头光学系统111所朝向的方向关于垂直方向的朝向以及水平方向的朝向的各朝向是4个方向(0°(正立)、90°(右90°转动)、180°(180°转动)、270°(左90°转动))的哪一者，求取姿态方向。

接下来，姿态判定部126判定通过步骤S204判定的姿态方向的判定结果是否是与前次的姿态方向同一结果(步骤S205)。具体地，姿态判定部126将姿态方向判定结果的初始值和通过步骤S204判定的姿态方向判定结果进行比较，判定是否相同。

在通过步骤S204判定的姿态方向的判定结果是与前次的姿态方向同一结果的情况下(步骤S205“是”)，姿态判定部126判定同一结果是否持续了n次(例如在20[ms]周期内5次)以上(步骤S206)。例如，在存储器104内设置每当根据步骤S204判定的姿态方向的判定结果成为与前次的姿态方向同一结果就增加1的计数器。姿态判定部126每当在步骤S205判定为通过步骤S204判定的姿态方向的判定结果是与前次的姿态方向同一结果，就使计数器增加1，在判定为不是同一结果的情况下，将计数器重置。进而，姿态判定部126在步骤S206判定计数器的值是否是n以上。

在同一结果持续了n次以上的情况下(步骤S206“是”)，姿态判定部126判定为姿态方向确定(判定OK)(步骤S207)，将存储于存储器104内的非易失性存储器的姿态方向的判定结果更新为在步骤S204判定的姿态方向的判定结果(即，作为本次的判定结果运用)(步骤S208)。

另一方面，在同一结果未持续n次以上的情况下(步骤S206“否”)，姿态判定部126判定为是正在判定姿态方向(判定NG)(步骤S209)，不更新存储于存储器104内的非易失性存储器的姿态方向的判定结果(步骤S210)。

另外，在通过步骤S204判定的姿态方向的判定结果不是与前次的姿态方向相同的结果的情况下(步骤S205“否”)，姿态判定部126将姿态方向判定结果的初始值更新为通过步骤S204判定的姿态方向的判定结果(步骤S211)。

接下来，姿态判定部126判定为是正在判定姿态方向(判定NG)(步骤S212)，不更新存储于存储器104内的非易失性存储器的姿态方向的判定结果(步骤S213)。

再度返回图2来进行说明。在步骤S102中的姿态方向判定处理后，控制部102内的摄像控制部122判定是否由利用者操作了操作部106而作出了摄像的请求(步骤S103)。

在未作出摄像的请求的情况下(步骤S103“否”)，重复步骤S102中的姿态方向判定处理。另一方面，在作出了摄像的请求的情况下(步骤S103“是”)，图像取得部124为了摄像装置100的姿态判别而取得存储于存储器104内的非易失性存储器的姿态方向的判定结果，采用该姿态方向(步骤S104)。进而，图像取得部124使用取得的姿态方向的判定结果来进行摄像处理(步骤S105)。具体地，图像取得部124将取得的姿态方向的判定结果和帧建立对应存储在存储器104。在帧的重放时，使用建立对应的姿态方向的判定结果来进行帧的抖动补正等。

之后，控制部102判定是否通过利用者对操作部106的操作请求了摄像装置100的电源的断开(步骤S106)。在请求了电源的断开的情况下(步骤S106“是”)，摄像装置100的电源成为断开(步骤S107)，一系列动作结束。另一方面，在未请求电源的断开的情况下(步骤S106“否”)，重复步骤S102中的姿态方向判定处理。

如以上说明的那样，在本实施方式所涉及的摄像装置100中，在摄像装置100中产生的加速度稳定且基于加速度的姿态方向的判定结果以同一结果持续的情况下，将姿态方向的判定结果更新为最新的结果，在重放时用在帧的抖动补正等中。另一方面，在摄像装置100中产生的加速度不稳定的情况下，或在基于加速度的摄像时时方向的判定结果未以同一结果继续的情况下，不更新姿态方向的判定结果，保持过去的姿态方向的判定结果，在重放时用在帧的抖动补正等中。

由此，在摄像装置100的姿态不稳定的期间周期性进行摄像的情况下，也能使用过去的姿态方向的判定结果来在重放时进行帧的抖动补正等。

(第2实施方式)

在上述第1实施方式中，在摄像时将姿态方向的判定结果与帧建立对应存储在存储器104，但也可以在重放时取得姿态方向的判定结果。

图6是表示该情况下的重放处理的动作的流程图。该重放处理由上述第1实施方式的摄像装置100进行，本实施方式中发挥功能的电路部是控制部102、存储器104、操作部106、显示部120、图像取得部124以及姿态判定部126。

另外，在存储器10的非易失性存储器中，除了记录摄像装置100中的控制等所用的各种信息(程序等)、姿态方向的判定结果以外，还记录所记录的静止图像文件以及动态图象文件，另外在动态图象文件中，在记录时，与记录经过时间一并记录由加速度传感器110测量并运用摄影方向判定处理之前的该摄像装置100姿态方向。

若摄像装置100的电源成为接通，操作部106检测到给定操作，则移转到重放模式，控制部120进行记录于存储器104的成为重放对象的动态图象文件的读出(步骤S300)。接下来进行作为该动态图象文件的元数据而记录的姿态方向数据的读出(步骤S301)。

然后直到检测到来自操作部106的重放开始指示为止都待机(步骤S302)。在未检测到重放指示的情况下(步骤S303“否”)，在步骤S302继续待机，但若检测到重放指示，则在该时间点执行摄影方向判定处理(步骤S304)。

该摄影方向判定处理与上述第1实施方式的步骤S102以及图3同样地进行。其中，在上述第1实施例中，姿态稳定部126判定从加速度传感器110逐次输入的加速度是否处于稳定，但在第2实施方式中，基于记录于重放对象的动态图象文件的加速度信息来判定摄影时的摄像装置100是否以稳定的状态记录了动态图象。

另外在第2实施方式中也运用图3的流程图，但在该流程图中，通过将从加速度传感器110逐次输入、并和动态图象一起记录的X轴、Y轴、Z轴的加速度所构成的加速度信息用到判定处理中，来在重放处理的过程中进行摄影时方向的判定处理。

然后，若步骤304中的姿态方向判定处理结束，则使判定结果反映到重放对象帧来进行动态图象重放处理(步骤S305)。之后，控制部102判定重放处理是否结束(步骤S306)。在检测到重放处理的结束的情况下(步骤S306“是”)结束本处理。另一方面，在未请求重放处理的结束的情况下(步骤S306“否”)，继续步骤S305中的重放处理。

以上说明了本发明优选的实施方式，但本发明并不限定于相关的特定的实施方式，在本发明中包含权利要求的范围所记载的发明和其等同的范围。

Claims (11)

1.一种数据处理装置，其特征在于，

所述数据处理装置的处理器，

在时间上连续取得：时间上连续取得的数据的取得时的、与数据取得装置的姿态相关的信息，

按照取得的与所述姿态相关的信息的内容，选择：将与本次的姿态相关的信息保持在存储部且运用与该姿态相关的信息、还是将该数据取得时以外取得并保持在所述存储部中的与姿态相关的信息作为与本次的姿态相关的信息来运用，

所述处理器，进一步，

按照与所述姿态相关的信息的变化是否满足给定的条件，来选择：将与本次的姿态相关的信息保持在存储部且运用与该姿态相关的信息、还是将该数据取得时以外取得并保持在所述存储部中的与姿态相关的信息作为与本次的姿态相关的信息来运用。

2.根据权利要求1所述的数据处理装置，其特征在于，

所述给定的条件，是指与所述姿态相关的信息的变化的程度为给定的范围内。

3.根据权利要求1所述的数据处理装置，其特征在于，

所述存储部保持的与姿态相关的信息，是指该数据取得装置处于稳定时的与所述姿态相关的信息。

4.根据权利要求1所述的数据处理装置，其特征在于，

所述数据处理装置还具备：

取得部，其取得多个所述数据；和，

检测部，其对与该数据取得装置的姿态相关的信息进行检测，

所述处理器取得：所述取得部的多个数据的取得时的、在所述检测部中检测出的与数据取得装置的姿态相关的信息。

5.根据权利要求4所述的数据处理装置，其特征在于，

所述取得部包含摄像部，

在所述多个数据中包含由所述摄像部摄像的图像数据。

6.根据权利要求5所述的数据处理装置，其特征在于，

所述摄像部以给定的周期进行摄像。

7.根据权利要求6所述的数据处理装置，其特征在于，

所述处理器，

与由所述摄像部以给定的周期所摄像的图像建立对应地在所述存储部保持与所述姿态相关的信息。

8.一种数据处理方法，其特征在于，

在时间上连续取得：时间上连续取得的数据的取得时的、与数据取得装置的姿态相关的信息，

按照取得的与所述姿态相关的信息的内容，选择：将与本次的姿态相关的信息保持在存储部且运用与该姿态相关的信息、还是将该数据取得时以外取得并保持在所述存储部中的与姿态相关的信息作为与本次的姿态相关的信息来运用，

进一步，按照与所述姿态相关的信息的变化是否满足给定的条件来选择：将与本次的姿态相关的信息保持在存储部且运用与该姿态相关的信息、还是将该数据取得时以外取得并保持在所述存储部中的与姿态相关的信息作为与本次的姿态相关的信息来运用。

9.根据权利要求8所述的数据处理方法，其特征在于，

所述给定的条件，是指与所述姿态相关的信息的变化的程度为给定的范围内。

10.根据权利要求8所述的数据处理方法，其特征在于，

所述存储部保持的与姿态相关的信息，是指该数据取得装置处于稳定时的与所述姿态相关的信息。

11.根据权利要求8所述的数据处理方法，其特征在于，

所述数据处理方法还包含：

取得步骤，取得多个所述数据；和，

检测步骤，其对与该数据取得装置的姿态相关的信息进行检测，

取得：所述取得步骤的多个数据的取得时的、在所述检测步骤检测出的与数据取得装置的姿态相关的信息。