CN107923740B - 传感器设备、传感器系统以及信息处理设备 - Google Patents

Abstract

为了提供能够以简化方式来减小传感器中的累积误差的机制。提供了具有如下部分的传感器设备：第一惯性传感器；第一信息码，其被形成为使得可以从外部捕获其图像；以及第一成像单元，其能够捕获形成在其他传感器设备上的第二信息码的图像。

Description

传感器设备、传感器系统以及信息处理设备

技术领域

本公开内容涉及一种传感器设备、传感器系统以及信息处理设备。

背景技术

近来，已经积极开发了将身体的移动可视化(即，数字化)的技术。例如，在运动领域，正在开发将传感器设备附接至身体的各个部位以基于测量结果来将身体的移动可视化并且有助于改进形态等的技术。

例如，下面的专利文献1公开了基于指示参加运动的用户的行为的传感器信息来生成有关运动的信息的技术。

引用列表

专利文献

专利文献1：JP2013-188426A

发明内容

技术问题

然而，由传感器设备测量的传感器信息可能包括误差。例如，作为本技术的主要传感器的惯性传感器包括漂移误差。因此，漂移误差可能在基于传感器信息的计算处理期间引起严重的累积误差。因而，期望提供可以容易地减小传感器中的累积误差的机制。

问题的解决方案

根据本公开内容，提供了一种传感器设备，其包括：第一惯性传感器；第一信息码，其被形成为能够从外部被成像；以及第一成像单元，其能够对形成在其他传感器设备上的第二信息码进行成像。

另外，根据本公开内容，提供了一种传感器系统，其包括：多个传感器设备。每个传感器设备均包括惯性传感器、被形成为能够从外部被成像的信息码以及能够对设置在其他传感器设备上的信息码进行成像的成像单元。

另外，根据本公开内容，提供了一种信息处理设备，其包括：处理单元，其被配置成对从多个传感器设备获取的传感器信息和捕获图像进行处理，其中，所述多个传感器设备中的每个均包括传感器、被形成为能够从外部被成像的信息码以及能够对设置在其他传感器设备上的信息码进行成像的成像单元。

本发明的有益效果

如上所述，根据本公开内容，提供了可以容易地减小传感器中的累积误差的机制。注意，上面描述的效果并非是限制性的。与以上效果一起或替代以上效果，可以实现本说明书中描述的效果中的任一效果或者可以从本说明书理解的其他效果。

附图说明

图1是用于描述根据第一实施方式的传感器系统的概要的图。

图2是用于描述用于由根据实施方式的传感器系统减小位置信息或姿态信息中的累积误差的机制的说明图。

图3是示出根据实施方式的传感器设备的逻辑配置的示例的框图。

图4是示出根据实施方式的信息码的示例的图。

图5是示出根据实施方式的传感器设备的逻辑配置的示例的框图。

图6是用于描述根据实施方式的传感器系统的校正处理的示例的说明图。

图7是示出要在根据实施方式的传感器系统中执行的处理的流程示例的时序图。

图8是示出要在根据实施方式的传感器设备中执行的成像定时的控制处理的流程示例的流程图。

图9示出通过根据实施方式的传感器系统的校正处理来减小累积误差的示例。

图10是示出根据第二实施方式的传感器设备的逻辑配置的示例的框图。

图11是示出根据实施方式的服务器的逻辑配置的示例的框图。

图12是示出要由根据实施方式的传感器系统执行的处理的流程示例的时序图。

具体实施方式

在下文中，将参照附图详细描述本公开内容的一个或多个优选实施方式。注意，在本说明书和附图中，具有基本上相同的功能和结构的结构元件使用相同的附图标记来表示，并且省略对这些结构元件的重复说明。

另外，在本说明书和附图中，在对具有基本上相同的功能配置的部件给出相同的标记之后，可以对这些部件给出不同的字母以进行区分。例如，根据需要将具有基本上相同的功能配置的多个部件区分成传感器设备10A、传感器设备10B以及传感器设备10C。然而，当不必特别区分具有基本上相同的功能配置的多个部件中的各个部件的情况下，仅给出相同的标记。例如，在不必特别区分传感器设备10A、传感器设备10B以及传感器设备10C的情况下，传感器设备可以简称为传感器设备10。

现在将按照下面的次序来给出描述。

1.介绍

1.1.惯性导航系统

1.2.技术问题

2.第一实施方式

2.1.传感器系统的概要

2.2.作为从设备工作的传感器设备的配置示例

2.3.作为主设备工作的传感器设备的配置示例

2.4.处理流程

2.5.与其他方法的比较

3.第二实施方式

3.1.传感器设备的配置示例

3.2.服务器的配置示例

3.3.处理流程

4.结论

<<1.介绍>>

<1.1.惯性导航系统>

惯性导航系统(INS)是由惯性传感器测量的传感器信息的一种用途。惯性导航系统是可以通过对角速度和加速度多次积分来计算其位置的技术，并且可以用在例如船舶、飞行器等中。下面将描述由使用惯性导航系统的传感器设备实现的处理的内容。

首先，传感器设备对角速度进行积分(第一次积分)以计算其姿态(即，在真实空间中的姿态角)。接下来，传感器设备对加速度进行积分(第二次积分)以计算其速度。随后，传感器设备对速度进行积分(第三次积分)以计算其移动距离。然后，传感器设备针对每个细分点将移动距离的向量与姿态(即，移动的方向)进行组合来计算其与作为起始点的初始位置的相对位置信息。如果初始位置已知，则传感器设备可以通过上面的计算来计算出其绝对位置信息(即，在真实空间中的三维坐标)。

在惯性导航系统中，为了计算位置信息一共进行了三次积分计算。针对每次积分计算，包括在待积分的目标中的误差累积；因此，包括在计算结果中的累积误差增大。因此，包括在经历了三次积分计算的位置信息中的累积误差呈指数增长。即使包括在原始传感器信息(即，角速度和加速度)中的误差较小，在位置信息中也将包括极大的累积误差并且不可忽略。另一方面，与位置信息中的累积误差相比，经历一次积分计算的姿态信息包括较小的累积误差。

<1.2.技术问题>

船舶、飞行器等使用高精度传感器设备以减小上述累积误差。下表示出了通常用在可穿戴设备等中的民用微机电系统(MEMS)传感器与通常用在船舶、飞行器等中的工业环形激光陀螺仪以及工业加速度传感器之间的精度比较的示例。表1是姿态信息中的累积误差随时间的过去而增加的比较。表2是位置信息中的累积误差随时间的过去而增加的比较。

表1

过去的时间	5秒	3分钟	1小时
				民用MEMS传感器	0.5度	18度	360度
工业环形激光陀螺仪	15微度	540微度	11毫度

表2

参考上面的表1和表2，民用MEMS传感器中的累积误差远大于工业环形激光陀螺仪和加速度传感器中的累积误差。另外，表1与表2之间的比较示出姿态信息中的累积误差缓慢增长，而位置信息中的累积误差爆发式增长。

至于工业环形激光陀螺仪和加速度传感器中仍然包括的累积误差，船舶或飞行器根据需要使用GPS等来获取绝对位置信息以校正位置信息的计算结果。因此，船舶或飞行器通过使用高精度传感器设备并且根据需要使用外部信息校正位置信息来实现累积误差的减小。

然而，可穿戴设备难以采取与船舶或飞行器采取的措施类似的措施。高精度传感器设备昂贵且沉重，因此，它们不适合于例如附接至人体的使用。另外，考虑到GPS中的误差的范围可达几米，因此GPS不适合作为用于感测人体的移动的可穿戴设备的校正手段。长时间接收GPS信号使得能够进行精确测量；然而，考虑到人体移动，GPS仍然不适合作为可穿戴设备的校正手段。

<<2.第一实施方式>>

<2.1传感器系统的概要>

图1是用于描述根据本实施方式的传感器系统1的概要的图。如图1所示，传感器系统1包括附接至传感器附接装置20的多个传感器设备10(即，10A至10C)。

传感器设备10是感测各种数据的设备。传感器设备10附接至包括在传感器附接装置20中的传感器附接工具21以执行以目标对象的移动为目标的感测。目标对象可以是人、狗、猫或其他生物体，或者可以是非生物体例如机器人。在图1所示的示例中，目标对象是用户(即，人)。另外，目标对象可以是由生物体使用的对象。例如，目标对象可以是要用于竞技的工具，例如，高尔夫球杆、网球拍、滑雪板、滑雪靴、球门或球棒。另外，目标对象可以是要用于生活的工具，例如人造手或轮椅。另外，目标对象可以是要用于动物的工具，例如项圈或马蹄铁。

传感器设备10可以单独或者与另一传感器设备10相结合来测量各种各样的数据。传感器设备10可以包括例如惯性传感器。因此，可以由惯性导航系统计算各个传感器设备10的位置信息和姿态信息。另外，通过结合多个传感器设备10的位置信息与姿态信息，可以计算身体的移动(例如，保持在两个传感器设备10之间的关节的弯曲程度、手臂挥动的速度、高尔夫球杆的轨迹等)。注意，可以由传感器设备10自身或其他设备(例如服务器)来执行根据传感器设备10的感测结果(即，传感器信息)计算这些类型的信息的处理。

传感器附接装置20是用于将传感器设备10固定至目标对象的装置。如图1所示，传感器附接装置20具有用于可移除地附接传感器设备10的一个或更多个附接位置(传感器附接工具21)，并且传感器设备10可以被附接至附接位置中的一部分或全部。传感器附接装置20可以被形成为覆盖用户的躯干、肢体等的一部分或全部的形状，并且在这种情况下，期望使用可伸长且可收缩的材料来形成传感器附接装置20，以使用户的移动不受影响。另外，附接的传感器设备10可以与目标对象分离，并且传感器附接装置20可以具有厚度，像头盔或保护装置等一样。另外，传感器附接装置20可以附接至对象或者与对象一体形成，其中，对象例如是高尔夫球杆、网球拍以及滑雪板。用户可以将传感器设备10附接至定位在用户想要测量的地方处的传感器附接工具21。

图2是用于描述在这样的传感器系统1中用于减小上述位置信息或者姿态信息中的累积误差的机制的说明图。如图2所示，传感器设备的形状是立方体，并且信息码30形成在立方体的每个表面上，使得每个信息码30可以从外部被成像。信息码可以例如是二维码、条形码、QR码(注册商标)、AR标记等。另外，提供了可以对形成在其他传感器设备10上的信息码成像的摄像装置40。例如，传感器设备10A的摄像装置40A可以在每个信息码进入视角的定时对传感器设备10B上的信息码30B和传感器设备10C上的信息码30C进行成像。

换句话说，除了使用惯性传感器测量传感器信息以外，各个传感器设备10还捕获其他传感器设备上的信息码的捕获图像。一旦信息码的捕获图像被识别，就可以识别执行成像的传感器设备10与作为成像主体的其他传感器设备10之间的相对位置关系(即，相对距离)以及姿态关系(即，相对角度)。根据本实施方式的传感器系统1基于相对位置关系和姿态关系来校正由惯性导航系统计算的姿态信息和位置信息。这样的机制使得能够减小传感器中的累积误差。

注意，校正处理可以在每个传感器设备10中或在其他设备(例如服务器)中执行。在本实施方式中，作为示例，描述了一个传感器设备10(例如，传感器10A)作为主设备来集中执行校正处理并且其他传感器设备10(例如，传感器设备10B和传感器设备10C)作为从设备工作的示例。

注意，立方体是传感器设备10的形状的一个示例，并且传感器设备10可以被形成为任何其他形状。另外，信息码和摄像装置可以独立形成，并且一个传感器设备10可以设置有任意数量的信息码以及任意数量的摄像装置。

<2.2.作为从设备工作的传感器设备的配置示例>

图3是示出作为从设备工作的传感器设备10B和传感器设备10C的逻辑配置的示例的框图。作为从设备工作的传感器设备10B和传感器设备10C在下面的描述中被简称为从设备10。如图3所示，从设备10包括惯性传感器110、成像单元120、通信单元130、显示单元140、存储单元150以及处理单元160。

惯性传感器110是利用惯性来执行测量的设备。惯性传感器110包括加速度传感器、陀螺仪传感器、地磁传感器等，并且惯性传感器110将所测量的传感器信息(例如，加速度和角速度)输出至处理单元160。惯性传感器110例如可以是MEMS传感器。

成像单元120是包括透镜系统、驱动透镜系统的驱动系统、对由透镜系统获得的成像光进行光电转换以生成成像信号的固态图像传感器阵列等的设备，并且成像单元120对捕获图像进行捕获。成像单元120对应于图2中所示的摄像装置40。即，成像单元120可以对形成在其他传感器设备(例如，其他从设备或主设备)10上的信息码进行成像。

通信单元130是用于以有线/无线的方式向其他传感器设备10发送数据以及从其他传感器设备10接收数据的通信模块。例如，通信单元130可以执行符合任何通信方法例如局域网(LAN)、无线LAN、Wi-Fi(注册商标)、Bluetooth(注册商标)或者红外通信的通信。通信单元130将由从设备10测量、成像或者计算的信息发送至其他传感器设备10，以及接收由其他传感器设备10测量、成像或者计算的信息。

显示单元140是显示图像的显示设备。例如，显示单元140显示信息码。信息码可以固定地形成(即，显示)或者可变地形成。显示单元140可以由液晶显示器(LCD)、有机发光二极管(OLED)、电子纸等来实现。

存储单元150临时地或永久地存储用于操作从设备10的程序和各种数据。例如，存储单元150临时存储应当发送至其他传感器设备10的信息。另外，存储单元150存储指示从设备10的移动轨迹的信息。

处理单元160对应于CPU、DSP等，并且执行用于提供从设备10的各种功能的处理。如图3所示，处理单元160包括传感器信息获取单元161、运动状态计算单元162、外部信息获取单元163、捕获图像获取单元164、识别单元165、显示控制单元166、惯性导航单元167以及通知单元168。注意，处理单元160还可以包括除这些部件以外的其他部件。即，处理单元160还可以执行除了这些部件的操作以外的操作。

传感器信息获取单元161获取由惯性传感器110测量的传感器信息。传感器信息获取单元161将所获取的传感器信息与测量时间相关联地输出至运动状态计算单元162和惯性导航单元167。

运动状态计算单元162基于传感器信息来计算指示运动状态的运动状态信息。运动状态信息可以例如是通过对加速度积分而获得的速度、通过对角速度积分而获得的姿态、或者加速度或角速度本身。运动状态计算单元162将运动状态信息与传感器信息的测量时间相关联地输出至捕获图像获取单元164、显示控制单元166以及通知单元168。

外部信息获取单元163获取通信单元130接收到的信息。例如，外部信息获取单元163获取其他传感器设备10的运动状态信息以及指示由主设备进行的校正的结果的信息。外部信息获取单元163将其他传感器设备10的运动状态信息输出至捕获图像获取单元164。另外，外部信息获取单元163将指示由主设备进行的校正的结果的信息输出至惯性导航单元167。

捕获图像获取单元164从成像单元120获取捕获图像。捕获图像获取单元164可以控制成像单元120的成像定时。例如，捕获图像获取单元164使成像单元120在其他传感器设备10上的信息码进入视角的定时执行成像。此外，捕获图像获取单元164可以基于从设备10的运动状态信息和/或其他传感器设备10的运动状态信息来控制成像定时。例如，捕获图像获取单元164使成像单元120在从设备10或其他传感器设备10的运动幅度(例如，独立速度)或者从设备10或其他传感器设备10的相对运动幅度(例如，相对速度)降低到阈值以下的情况下，对形成在其他传感器设备10上的信息码进行成像。这可以降低由于摄像装置抖动或者成像主体抖动而导致的捕获图像的模糊，并且可以防止稍后将描述的识别单元165的识别精度的劣化。捕获图像获取单元164将获取的捕获图像输出至识别单元165。

识别单元165获取指示与从设备10或其他传感器设备10有关的相对距离和相对姿态中的至少一个的相对关系信息。例如，识别单元165基于由成像单元120成像的其他传感器设备10上的信息码的捕获图像(即，显示在其他传感器设备10的显示单元140上)，识别从设备10与其他传感器设备10之间的相对关系。具体地，识别单元165根据包括在捕获图像中的信息码的大小来识别相对距离，以及根据包括在捕获图像中的信息码的姿态来识别相对姿态。例如，信息码可以是AR标记，并且用于估计AR标记的位置和姿态的算法在例如“Hirokazu Kato、Mark Billinghurst、Koichi Asano以及Keihachiro Tachibana：AnAugmented Reality System and its Calibration based on Marker Tracking，TVRSJ，1999年，第4卷，第4期”中得到详细说明。信息码包括用于标识每个传感器设备10的标识信息，并且识别单元165可以指定所识别的相对关系信息指示与哪个传感器设备10的相对关系。注意，可以基于传感器设备10与其他传感器设备10之间的通信结果(例如，无线电波的到达时间)来识别相对关系信息中的相对距离。例如，超宽带(UWB)可以用于这样的无线电波。在这种情况下，包括在每个传感器设备10中的通信单元130发送和接收符合UWB的无线电波。识别单元165将识别的相对关系信息输出至显示控制单元166和通知单元168。注意，使用无线信号的相对距离的识别手段不限于使用UWB的手段，例如，802.11az的标准化被认为是可以测量距离的无线技术。

显示控制单元166控制由显示单元140进行的显示。例如，显示控制单元166基于运动状态信息和/或相对关系信息来控制要由显示单元140显示的信息码，使得信息码易于被其他传感器设备10识别。具体地，显示控制单元166使显示单元140显示在与从设备10移动的方向相同的方向上空间频率小并且在其他方向上空间频率大的信息码。图4是示出要通过这样的控制显示的信息码的示例的图。例如，在从设备10在X方向上移动的情况下，显示单元140显示在X方向上空间频率小并且在Y方向上空间频率大的信息码30D。这可以降低当其他传感器设备10对信息码30D进行成像时可能引起的X方向上的模糊的影响，并且防止其他传感器设备10中的相对关系信息的识别精度的劣化。另一方面，在从设备10在Y方向上移动的情况下，显示单元140显示在Y方向上空间频率小并且在X方向上空间频率大的信息码30E。类似地，在这种情况下，可以防止其他传感器设备10中的相对关系信息的识别精度的劣化。从类似的观点来看，显示控制单元166可以使显示单元140显示在与从设备10相对于作为参考的其他传感器设备10移动的方向相同的方向上空间频率小并且在其他方向上空间频率大的信息码。在这种情况下，还考虑了其他传感器设备10的移动；因此，可以进一步防止其他传感器设备10中的相对关系信息的识别精度的劣化。另外，在穿戴传感器设备10的用户的行为是可预测的情况下，显示控制单元166可以依照对用户行为的预测来执行信息码的显示控制。例如，在用户正在打网球的情况下，显示控制单元166可以显示在与挥动的轨迹相同的方向上空间频率小的信息码。在这种情况下，可以进一步防止其他传感器设备10中的相对关系信息的识别精度的劣化。为了预测用户的行为，例如，可以由用户输入运动的种类等或者可以学习预测模型。

惯性导航单元167基于传感器信息、通过惯性导航系统计算从设备10的位置信息和姿态信息。这里，在外部信息获取单元163输出指示由主设备进行的校正的结果的信息的情况下，惯性导航单元167反映指示校正结果的信息。具体地，惯性导航单元167使用校正后的位置信息和姿态信息重写从设备10自身的位置信息和姿态信息。这减小了包括在后续计算结果中的累积误差。惯性导航单元167将计算出的位置信息和姿态信息输出至通知单元168。

通知单元168将由惯性传感器110测量的传感器信息、由成像单元120捕获的捕获图像以及基于这些的计算结果中的至少一个与测量时间或者成像时间相关联地通知给其他传感器设备10。通知单元168通过通信单元130执行该通知。注意，指示基于传感器信息或捕获图像的计算结果的信息是相对关系信息、运动状态信息、位置信息以及姿态信息中的至少一个。这些通知使得能够在主设备中进行校正处理。另外，这些通知使得能够在其他传感器设备10中进行对信息码的显示控制和基于从设备10的移动对成像定时的控制。

<2.3.作为主设备工作的传感器设备的配置示例>

图5是示出作为主设备工作的传感器设备10A的逻辑配置的示例的框图。在下面的描述中，将作为主设备工作的传感器设备10A简称为主设备10。如图5所示，主设备10包括惯性传感器110、成像单元120、通信单元130、显示单元140、存储单元150以及处理单元160。

注意，惯性传感器110、成像单元120、通信单元130、显示单元140以及存储单元150的功能与从设备10中的那些部件的功能相似。在上面与从设备10相关的描述中，可以将从设备10解读为主设备10，并且可以将其他传感器设备10解读为作为从设备工作的传感器设备10。

处理单元160对应于CPU、DSP等，并且执行用于提供主设备10的各种功能的处理。如图5所示，处理单元160包括传感器信息获取单元161、运动状态计算单元162、外部信息获取单元163、捕获图像获取单元164、识别单元165、显示控制单元166、惯性导航单元167、通知单元168以及校正单元169。注意，处理单元160还可以包括除这些部件之外的其他部件。即，处理单元160还可以执行除了这些部件的操作以外的操作。

注意，传感器信息获取单元161、运动状态计算单元162、外部信息获取单元163、捕获图像获取单元164、识别单元165、显示控制单元166、惯性导航单元167以及通知单元168的功能与从设备10的这些部件的功能相似。在上面与从设备10相关的描述中，可以将从设备10解读为主设备10，并且可以将其他传感器设备10解读为作为从设备工作的传感器设备10。下面描述与从设备10不同的部分。

外部信息获取单元163获取其他传感器设备10的运动状态信息、相对关系信息、位置信息以及姿态信息。这里，从其他传感器设备10获取的相对关系信息可以是基于由其他传感器设备10捕获的主设备10的信息码的捕获图像而识别的、与其他传感器设备10和主设备10有关的相对关系信息。另外，从其他传感器设备10获取的相对关系信息可以是基于由其他传感器设备10捕获的另外其他传感器设备10的信息码的捕获图像而识别的其他传感器设备10之间的相对关系信息。外部信息获取单元163将其他传感器设备10的运动状态信息输出至捕获图像获取单元164。另外，外部信息获取单元163将其他传感器设备10的相对关系信息、位置信息以及姿态信息输出至校正单元169。

识别单元165将识别的相对关系信息输出至显示控制单元166和校正单元169。

惯性导航单元167基于传感器信息、通过惯性导航系统计算主设备10的位置信息和姿态信息。另外，惯性导航单元167反映指示由校正单元169进行的校正的结果的信息。具体地，惯性导航单元167使用校正后的位置信息和姿态信息重写主设备10自身的位置信息和姿态信息。这减小了包括在后续计算结果中的累积误差。惯性导航单元167将计算的位置信息和姿态信息输出至校正单元169。

指示由校正单元169进行的校正的结果的信息包括在来自通知单元168通知的信息中的、指示基于传感器信息或者捕获图像的计算结果的信息中。这使得能够在其他传感器设备10中反映校正结果。

校正单元169基于相对关系信息来校正根据传感器信息计算的积分值。该积分值可以是基于角速度和加速度计算的位置信息。在这种情况下，可以减小包括在位置信息中的累积误差。另外，该积分值可以是基于角速度计算的姿态信息。在这种情况下，可以减小包括在姿态信息中的累积误差。首先，校正单元169校正根据由惯性传感器110测量的传感器信息而计算的积分值，即，主设备10自身的惯性导航单元167计算的结果。这可以减小包括在主设备10自身的位置信息和姿态信息中的累积误差。校正单元169将指示校正结果的信息输出至惯性导航单元167。另外，其次，校正单元169校正根据由其他传感器设备10测量的传感器信息而计算的积分值，即，其他传感器设备10的惯性导航单元167计算的结果。这可以减小包括在其他传感器设备10的位置信息和姿态信息中的累积误差。校正单元169将指示校正结果的信息输出至通知单元168。在下面的描述中，将参照图6给出校正处理的具体描述。

图6是用于描述由根据本实施方式的传感器系统1进行的校正处理的示例的说明图。图6所示的示例是基于由三个传感器设备10形成的三角形的校正的示例。

用户穿戴了多个传感器设备。传感器系统1(例如，校正单元169)使用由用户所穿戴的多个传感器设备10中的任意三个传感器设备10在空间中形成的三角形布置来执行校正处理。在这种方法中，传感器系统1使用两个三角形。第一三角形由惯性传感器在每一时刻连续地形成。第二三角形由图像传感器间歇性地形成。传感器系统1通过使用由图像传感器形成的间歇三角形校正由惯性传感器形成的连续三角形来校正累积误差。

首先，将描述使用惯性传感器形成第一三角形的方法。首先，传感器系统1在开始时执行初始设置。用户在穿戴传感器设备10之后将进入静止状态。在该静止状态下，传感器系统1决定布置在三角形的各个顶点处的三个传感器设备10的空间坐标的初始位置。对此，用户可以手动设置空间坐标，或者传感器系统1可以使用已知方法例如其他图像处理来决定空间坐标。

在开始运动捕捉操作之后，传感器系统1通过基于每一时刻获得的惯性传感器的传感器信息计算在三角形的顶点处的传感器设备10的位置和姿态角来时刻执行更新。在这种情况下，例如，传感器设备10A被决定作为参考点，并且恒定且持续地继续形成以该点作为起始点的三角形。

接下来，将描述使用图像传感器形成第二三角形的方法。通过图像传感器，还获得连接传感器设备10A与10B的边50AB的长度(即，相对距离)，作为与传感器设备10A和10B有关的相对关系信息。还获得连接传感器设备10B与10C的边50BC的长度作为与传感器设备10B和10C有关的相对关系信息。还获得连接传感器设备10A与10C的边50AC的长度作为与传感器设备10A和10C有关的相对关系信息。以这种方式获得三角形的三条边的长度。当然，可以使用无线测距技术例如UWB来获取三条边的长度。另外，类似地，根据图像识别结果，获得角度60A、60B以及60C。传感器系统1可以基于三条边的长度和相对角度在空间中形成三角形。例如，通过将传感器设备10A决定为参考点，获得以该点作为起始点的三角形。信息码在某些情况下是隐藏的；因此，三角形是间歇性地获得的信息。

根据图像传感器获得的三角形是间歇性的，但是它们由于图像识别的特性而不会累积误差。另一方面，根据惯性传感器获得的三角形是连续的，但由于惯性传感器的特性而累积误差。因此，传感器系统1可以通过使用根据图像传感器间歇性地获得的三角形信息来重写和更新根据惯性传感器获得的三角形信息，继续连续运动捕捉操作并且间歇性地重置误差累积。

另外，传感器系统1可以使用根据内角和为180度的条件得到角度60A、60B以及60C的特性来校正根据惯性传感器获得的连续三角形的姿态角信息的一部分。

总之，假定校正单元169将传感器设备10A、10B或10C中的一个传感器设备固定为参考点(即，位置信息和姿态信息不会被校正)，并且其他传感器设备10被定位至实现三角形的所得到的各条边的长度以及角度的位置(即，位置信息和姿态信息被校正)。注意，在上面通过采用相对关系信息中的三角形的三条边的长度来形成三角形；然而，例如可以通过采用相对关系信息中的两条边的长度和这两条边之间的角度(即，相对角度)或者一条边的长度以及两端的角度来形成三角形。

注意，由于惯性传感器的特性，所以位置信息中的每单位时间的累积误差远大于姿态角信息中的每单位时间的累积误差；因此，在对传感器系统1的使用为短时间运动捕捉的情况下，也可以说仅校正位置信息就足够了。在这种情况下，传感器系统1可以通过基于利用无线测距技术例如UWB获得的三条边的长度来限制或校正通过惯性传感器连续形成的三角形的三条边的长度，仅在短时间内校正每个顶点的坐标位置。在这种情况下，传感器设备10不需要包括成像单元120或显示单元140，并且代替成像单元120或显示单元140，通信单元130需要包括可以测量距离的无线接口例如UWB。

另外，在穿戴传感器设备10的用户的行为是可预测的情况下，校正单元169可以根据预测的用户行为来执行校正。例如，校正单元169基于预先创建并在每项运动中专门的人体骨骼的动作模型来校正位置信息和姿态信息，使得不会出现与动作模型的大的偏差。该移动模型可以例如包括指示在每项运动的各种动作中关节位置的时间序列变化、关节的移动、肢体的移动、身体的扭转、重心的移动等的信息。例如，这样的动作模型可以基于在各个关节位置处穿戴了传感器设备10的用户的动作的测量结果的累积来学习。

<2.4.处理流程>

(1)处理的总体流程

图7是示出要在根据本实施方式的传感器系统1中执行的处理的流程示例的时序图。在该时序中涉及主设备10和多个从设备10。

首先，主设备10和从设备10初始化惯性导航系统中的位置和姿态(步骤S102)。接下来，主设备10和从设备10各自获取传感器信息(步骤S104)，并且计算(步骤S106)和共享(步骤S108)运动状态信息。这里，运动状态信息也在从设备10之间共享。

接下来，主设备10和从设备10获取捕获图像(步骤S110)，并且基于所获取的捕获图像计算相对关系信息(步骤S112)。从设备10将所计算的相对关系信息通知给主设备10(步骤S114)。此时通知给主设备10的相对关系信息包括与主设备10和从设备10有关的相对关系信息以及从设备10之间的相对关系信息。注意，尽管在时序中省略了细节，但是在主设备10和传感器设备10中基于运动状态信息和/或相对关系信息来执行对信息码的显示控制和对成像定时的控制。

接下来，主设备10和从设备10各自基于传感器信息，通过惯性导航系统计算位置信息和姿态信息(步骤S116)。从设备10将所计算的位置信息和姿态信息通知给主设备10(步骤S118)。

然后，主设备10基于相对关系信息校正其自身计算的或自从设备10收集的位置信息和姿态信息(步骤S120)。主设备10给出关于指示校正结果的信息的反馈(步骤S122)，并且每个从设备10将该反馈反映在其位置信息和姿态信息中(步骤S124)。

这是处理的结束。注意，根据上述步骤S104至步骤S124的处理可以重复执行或异步执行。

(2)对成像定时的控制处理

图8是示出要在根据本实施方式的传感器设备10中执行的对成像定时的控制处理的流程示例的流程图。注意，这里要描述的处理是上面参照图7描述的时序中的步骤S110的处理的详细描述。

首先，捕获图像获取单元164基于传感器设备10自身的运动状态信息来确定传感器设备10自身的速度是否低于阈值(步骤S202)。另外，捕获图像获取单元164基于其他传感器设备10的运动状态信息来确定是否存在其速度低于阈值的其他传感器设备10(步骤S204)。各个步骤中的阈值可以彼此匹配或者彼此不同。

在确定传感器设备10自身的速度低于阈值并且存在其速度低于阈值的其他传感器设备10的情况下(步骤S202为是并且步骤S204为是)，捕获图像获取单元164获取其速度被确定为低于阈值的其他传感器设备10的捕获图像。例如，在其速度被确定为低于阈值的其他传感器设备10进入视角的定时，捕获图像获取单元164向成像单元120输出成像指令，并从成像单元120获取捕获图像。

在确定传感器设备10自身的速度不低于阈值或者确定不存在其速度低于阈值的其他传感器设备10的情况下(步骤S202为否或者步骤S204为否)，捕获图像获取单元164不获取捕获图像。

这是处理的结束。

<2.5.与其他方法的比较>

上面已经详细描述了根据本实施方式的传感器系统1。如上所述，根据本实施方式的传感器系统1可以通过基于分别计算的传感器设备10之间的相对关系的校正处理来减小惯性导航系统中的累积误差。图9示出了通过这样的校正处理来减小累积误差的示例。图9的左部(符号71)示出了在没有执行校正处理的情况下位置信息中的累积误差以指数方式增长。图9的右部(符号72)示出了在执行校正处理的情况下根据需要减小位置信息中的累积误差。该减小的定时例如是与多个传感器设备10有关的相对关系信息彼此一致的定时。如图9所示，根据本技术，可以根据需要减小累积误差；因此，即使使用价格低廉并且精度低的民用MEMS传感器，也可以实现维持精度的测量。

例如，用于使用户身体的移动可视化的技术被称为动作捕捉技术。作为其中一种方法，存在下述技术：用户穿戴全身服装并将工业传感器附接至每个关节，然后基于传感器之间的已知距离与累积误差较小的姿态信息来将身体的移动可视化(即，估计传感器的位置信息)。例如，在这样的技术中包括正运动学方法、逆运动学方法等。然而，在这样的方法中，需要与所有关节有关的角度信息，并且用户需要穿戴沉重的服装。相比之下，在根据本实施方式的技术中并不强加这些要求，因此，与上面的运动捕捉技术相比，该技术可以说是容易的机制。存在使用固定安装的红外传感器的另一种方法；然而，装置设置复杂，并且由于红外传感器使用红外线而难以在外部使用红外传感器。相比之下，根据本实施方式的技术不需要固定的装置，并且由于其使用捕获图像所以也可以在外部使用。另外，在使用红外传感器的情况下，速度响应取决于红外传感器(例如红外摄像装置)的帧速率。相比之下，在根据本实施方式的技术中，校正可以取决于成像单元120的帧速率；然而，位置信息和姿态信息基于惯性传感器的测量结果来计算，因此，与使用红外传感器的情况相比，速度响应更高。即，根据本实施方式的技术可以适当地测量运动中的快速移动。

<<3.第二实施方式>>

本实施方式是在除了传感器设备以外的信息处理设备中执行基于传感器信息的计算的实施方式。这里，将给出在稍后将描述的服务器80中执行计算的描述。

<3.1.传感器设备的配置示例>

图10是示出根据本实施方式的传感器设备10的逻辑配置的示例的框图。如图10所示，传感器设备10包括惯性传感器110、成像单元120、通信单元130、显示单元140、存储单元150以及处理单元160。

惯性传感器110、成像单元120、通信单元130、显示单元140以及存储单元150的功能如第一实施方式中所述。

处理单元160对应于CPU、DSP等，并且执行用于提供主设备10的各种功能的处理。如图10所示，处理单元160包括传感器信息获取单元161、外部信息获取单元163、捕获图像获取单元164、显示控制单元166以及通知单元168。注意，处理单元160还可以包括除了这些部件以外的其他部件。即，处理单元160还可以执行除了这些部件的操作以外的操作。

包括在处理单元160中的各个部件的功能如第一实施方式中所述。下面描述与第一实施方式不同的部分。

传感器信息获取单元161将传感器信息与测量时间相关联地输出至通知单元168。

外部信息获取单元163从服务器80获取信息。例如，外部信息获取单元163获取传感器设备10自身的运动状态信息和相对关系信息。另外，外部信息获取单元163获取其他传感器设备10的运动状态信息。外部信息获取单元163将传感器设备10自身和其他传感器设备10的运动状态信息输出至捕获图像获取单元164。另外，外部信息获取单元163将传感器设备10自身的运动状态信息和传感器设备10自身的相对关系信息输出至显示控制单元166。

捕获图像获取单元164基于从外部信息获取单元163获取的传感器设备10自身的运动状态信息和/或其他传感器设备10的运动状态信息来控制成像定时。捕获图像获取单元164将获取的捕获图像输出至通知单元168。

显示控制单元166基于从外部信息获取单元163获取的运动状态信息和/或相对关系信息来控制要由显示单元140显示的信息码。

通知单元168将从传感器信息获取单元161获取的传感器信息与测量时间相关联地通知给服务器80，以及将从捕获图像获取单元164获取的捕获图像与成像时间相关联地通知给服务器80。

<3.2.服务器的配置示例>

图11是示出根据本实施方式的服务器80的逻辑配置的示例的框图。如图11所示，服务器80包括通信单元810、存储单元820以及处理单元830。

通信单元810是用于以有线/无线方式向传感器设备10发送数据以及从传感器设备10接收数据的通信模块。例如，通信单元810可以执行符合可选通信方法例如LAN、无线LAN、Wi-Fi、Bluetooth或红外通信的通信。通信单元810从传感器设备10接收传感器信息和捕获图像，并将指示基于传感器信息和捕获图像的计算结果的信息发送至传感器设备10。

存储单元820临时地或永久地存储用于操作服务器80的程序和各种数据。例如，存储单元820临时存储应发送至传感器设备10的信息。另外，存储单元150存储指示传感器设备10的移动轨迹的信息。

处理单元830对应于CPU、DSP等，并且执行用于提供服务器80的各种功能的处理。如图11所示，处理单元830包括外部信息获取单元163、运动状态计算单元162、识别单元165、惯性导航单元167、通知单元168以及校正单元169。注意，处理单元830还可以包括除这些部件以外的其他部件。即，处理单元830还可以执行除了这些部件的操作以外的操作。

包括在处理单元830中的各个部件的功能如第一实施方式中所述。下面描述与第一实施方式不同的部分。

外部信息获取单元163从传感器设备10获取信息。例如，外部信息获取单元163获取在每个传感器设备10中测量的传感器信息以及在每个传感器设备10中捕获的捕获图像。外部信息获取单元163将传感器信息输出至运动状态计算单元162和惯性导航单元167，以及将捕获图像输出至识别单元165。

运动状态计算单元162基于在每个传感器设备10中测量的传感器信息来计算每个传感器设备10的运动状态信息。运动状态计算单元162将运动状态信息输出至通知单元168。

识别单元165基于在每个传感器设备10中捕获的捕获图像来计算与每个传感器设备10有关的相对关系信息。识别单元165将相对关系信息输出至通知单元168和校正单元169。

通知单元168将运动状态信息和相对关系信息通知给每个传感器设备10。

惯性导航单元167基于在每个传感器设备10中测量的传感器信息、通过惯性导航系统来计算每个传感器设备10的位置信息和姿态信息。另外，惯性导航单元167反映与每个传感器设备10有关的指示由校正单元169进行的校正的结果的信息。惯性导航单元167将所计算的位置信息和姿态信息输出至校正单元169。

校正单元169基于相对关系信息来校正每个传感器设备10的位置信息和姿态信息。校正单元169将指示校正结果的信息输出至惯性导航单元167。

<3.3.处理流程>

图12是示出要在根据本实施方式的传感器系统1中执行的处理的流程示例的时序图。在这个时序中涉及服务器80和多个传感器设备10。

首先，服务器80初始化惯性导航系统中的每个传感器设备10的位置和姿态(步骤S302)。

接下来，传感器设备10各自获取传感器信息(步骤S304)，获取捕获图像(步骤S306)，以及将传感器信息和捕获图像通知给服务器80(步骤S308)。

接下来，服务器80基于每个传感器设备10通知给服务器80的捕获图像来计算每个传感器设备10的相对关系信息(步骤S310)。接下来，服务器80基于每个传感器设备10通知给服务器80的传感器信息来计算每个传感器设备10的运动状态信息(步骤S312)。接下来，服务器80将运动状态信息和相对关系信息通知给每个传感器设备10(步骤S314)。尽管未在时序中示出，但是在每个传感器设备10中基于这些种类的信息来执行对信息码的显示控制和对成像定时的控制。

接下来，服务器80基于每个传感器设备10通知给服务器80的传感器信息、通过惯性导航系统计算位置信息和姿态信息中的每一个(步骤S316)。然后，服务器80基于每个传感器设备10的关系信息来校正每个传感器设备10的位置信息和姿态信息(步骤S318)。

这是处理的结束。注意，根据上述步骤S304至S318的处理可以重复执行或异步执行。

<<4.结论>>

在上面，已经参照图1至图12详细描述了本公开内容的实施方式。如上所述，根据本实施方式的传感器设备10包括惯性传感器、被形成为使得可以从外部对信息码进行成像的信息码以及可以捕获设置在其他传感器设备10上的信息码的成像单元。每个传感器设备10使用惯性传感器执行测量以及对彼此的信息码进行成像。这使得能够基于从捕获图像中获得的相对关系信息对由惯性导航系统根据从惯性传感器获得的传感器信息计算的姿态信息和位置信息进行校正。因此，提供了可以容易地减小传感器中的累积误差的机制。

本技术适用于各种领域。例如，将传感器设备10附接至运动员可以实现在成像主体(附接有传感器设备10的运动员或对手)的移动的抖动较小时的定时自动执行成像的摄像装置。另外，将传感器设备10附接至多个自动驾驶体(例如，无人机或汽车等)中的每一个可以实现能够在自动驾驶体之间保持适当距离并避免碰撞的系统。另外，将传感器设备10附接至运动员以及安装有摄像装置的每一个无人机可以实现自动对运动员进行拍照的安装有摄像装置的无人机。另外，将传感器设备10附接至机器人的每个可移动部分可以实现控制机器人姿态的系统。

上面已经参照附图描述了本公开内容的一个或多个优选实施方式，然而本公开内容不限于上面的示例。本领域技术人员可以在所附权利要求的范围内找到各种变型和修改，并且应该理解的是，它们将自然地归入本公开内容的技术范围内。

注意，通过本说明书中描述的每个设备进行的一系列处理可以使用软件、硬件以及软件和硬件的组合中的任何一种来实现。例如，包括在软件中的程序被预先存储在要被安装到每个设备的内部或外部的存储介质(非暂态介质)中。然后，每个程序在由计算机执行时被读至RAM中并且由处理器例如CPU来执行。

另外，本说明书中以流程图和时序图描述的处理可以不必按照图中所示的次序执行。一些处理步骤可以并行执行。另外，可以采用另外的处理步骤或者可以省略处理步骤的一部分。

此外，在本说明书中描述的效果仅是说明性或示例性的效果，而非限制性的。即，利用或代替上述效果，根据本公开内容的技术可以实现对本领域技术人员而言根据本说明书的描述将是清楚的其他效果。

另外，本技术还可以配置如下。

(1)一种传感器设备，包括：

第一惯性传感器；

第一信息码，其被形成为能够从外部被成像；以及

第一成像单元，其能够对形成在其他传感器设备上的第二信息码进行成像。

(2)根据(1)所述的传感器设备，还包括：

获取单元，其被配置成获取指示与所述传感器设备和所述其他传感器设备有关的相对距离和相对姿态中的至少一个的相对关系信息。

(3)根据(2)所述的传感器设备，还包括：

校正单元，其被配置成基于所述相对关系信息对根据所述第一惯性传感器测量的传感器信息算出的积分值进行校正。

(4)根据(3)所述的传感器设备，其中，所述校正单元对根据包括在所述其他传感器设备中的第二惯性传感器测量的传感器信息算出的积分值进行校正。

(5)根据(3)或(4)所述的传感器设备，其中，所述积分值是基于角速度和加速度算出的位置信息。

(6)根据(3)至(5)中任一项所述的传感器设备，其中，所述积分值是基于角速度算出的姿态信息。

(7)根据(2)至(6)中任一项所述的传感器设备，其中，基于由所述第一成像单元捕获的所述第二信息码的捕获图像或基于由包括在所述其他传感器设备中的第二成像单元捕获的所述第一信息码的捕获图像，识别与所述传感器设备和所述其他传感器设备有关的所述相对关系信息。

(8)根据(2)至(7)中任一项所述的传感器设备，其中，所述获取单元获取所述其他传感器设备之间的所述相对关系信息。

(9)根据(1)至(8)中任一项所述的传感器设备，其中，在所述传感器设备或所述其他传感器设备的运动幅度或者所述传感器设备和所述其他传感器设备的相对运动幅度降低到阈值以下的情况下，所述第一成像单元对所述第二信息码进行成像。

(10)根据(1)至(9)中任一项所述的传感器设备，还包括：

显示单元，其被配置成可变地显示所述第一信息码。

(11)根据(10)所述的传感器设备，其中，所述显示单元显示在与所述传感器设备移动的方向相同的方向上空间频率小并且在其他方向上空间频率大的所述第一信息码。

(12)根据(10)所述的传感器设备，其中，所述显示单元显示在与所述传感器设备相对于作为参考的所述其他传感器设备移动的方向相同的方向上空间频率小并且在其他方向上空间频率大的所述第一信息码。

(13)根据(1)至(12)中任一项所述的传感器设备，还包括：

通知单元，其被配置成将由所述第一惯性传感器测量的传感器信息、由所述第一成像单元捕获的捕获图像以及指示基于所述传感器信息和所述捕获图像的计算结果的信息中的至少一个与测量时间或成像时间相关联地通知给其他设备。

(14)一种传感器系统，包括：

多个传感器设备，其中，

所述传感器设备中的每个均包括：

惯性传感器，

信息码，其被形成为能够从外部被成像，以及

成像单元，其能够对在设置在其他传感器设备上的所述信息码进行成像。

(15)一种信息处理设备，包括：

处理单元，其被配置成对从多个传感器设备获取的传感器信息和捕获图像进行处理，其中，所述多个传感器设备中的每个均包括惯性传感器、被形成为能够从外部被成像的信息码以及能够对设置在其他传感器设备上的所述信息码进行成像的成像单元。

(16)一种传感器设备，包括：

第一惯性传感器；以及

第一通信单元，其被配置成向其他传感器设备发送无线信号，以及从所述其他传感器设备接收无线信号。

(17)根据(16)所述的传感器设备，还包括：

获取单元，其被配置成获取指示与所述传感器设备和所述其他传感器设备有关的相对距离的相对关系信息，其中，

所述相对关系信息基于所述第一通信单元的通信结果被识别。

参考标记列表

1 传感器系统

10 传感器设备

20 附接装置

21 传感器附接工具

110 惯性传感器

120 成像单元

130 通信单元

140 显示单元

150 存储单元

160 处理单元

161 传感器信息获取单元

162 运动状态计算单元

163 外部信息获取单元

164 捕获图像获取单元

165 识别单元

166 显示控制单元

167 惯性导航单元

168 通知单元

169 校正单元

80 服务器

810 通信单元

820 存储单元

830 处理单元

Claims (13)

1.一种传感器设备，包括：

第一惯性传感器；

第一信息码，其被形成为能够从所述传感器设备的外部被成像；

第一成像单元，其能够对形成在其他传感器设备上的第二信息码进行成像；以及

获取单元，其被配置成获取指示与所述传感器设备和所述其他传感器设备有关的相对距离和相对姿态中的至少一个的相对关系信息，

其中，所述传感器设备和所述其他传感器设备有关的所述相对关系信息是基于由所述第一成像单元捕获的所述第二信息码的捕获图像或基于由包括在所述其他传感器设备中的第二成像单元捕获的所述第一信息码的捕获图像而识别的。

2.根据权利要求1所述的传感器设备，还包括：

校正单元，其被配置成基于所述相对关系信息对根据所述第一惯性传感器测量的传感器信息算出的积分值进行校正。

3.根据权利要求2所述的传感器设备，其中，所述校正单元对根据包括在所述其他传感器设备中的第二惯性传感器测量的传感器信息算出的积分值进行校正。

4.根据权利要求2所述的传感器设备，其中，所述积分值是基于角速度和加速度算出的位置信息。

5.根据权利要求2所述的传感器设备，其中，所述积分值是基于角速度算出的姿态信息。

6.根据权利要求1所述的传感器设备，其中，所述获取单元获取所述其他传感器设备之间的所述相对关系信息。

7.根据权利要求1所述的传感器设备，其中，在所述传感器设备或所述其他传感器设备的运动幅度或者所述传感器设备和所述其他传感器设备的相对运动幅度降低到阈值以下的情况下，所述第一成像单元对所述第二信息码进行成像。

8.根据权利要求1所述的传感器设备，还包括：

显示单元，其被配置成可变地显示所述第一信息码。

9.根据权利要求8所述的传感器设备，其中，所述显示单元显示在与所述传感器设备移动的方向相同的方向上空间频率小并且在其他方向上空间频率大的所述第一信息码。

10.根据权利要求8所述的传感器设备，其中，所述显示单元显示在与所述传感器设备相对于作为参考的所述其他传感器设备移动的方向相同的方向上空间频率小并且在其他方向上空间频率大的所述第一信息码。

11.根据权利要求1所述的传感器设备，还包括：

通知单元，其被配置成将由所述第一惯性传感器测量的传感器信息、由所述第一成像单元捕获的捕获图像以及指示基于所述传感器信息和所述捕获图像的计算结果的信息中的至少一个与测量时间或成像时间相关联地通知给其他设备。

12.一种传感器系统，包括：

多个传感器设备，其中，

所述多个传感器设备中的每一个均包括：

惯性传感器，

信息码，其被形成为能够从所述传感器设备的外部被成像，

成像单元，其能够对设置在其他传感器设备上的信息码进行成像，以及

获取单元，其被配置成获取指示与所述传感器设备和所述其他传感器设备有关的相对距离和相对姿态中的至少一个的相对关系信息，

其中，所述传感器设备和所述其他传感器设备有关的所述相对关系信息是基于由所述成像单元捕获的所述其他传感器设备上的信息码的捕获图像或基于由包括在所述其他传感器设备中的成像单元捕获的所述传感器设备上的信息码的捕获图像而识别的。

13.一种信息处理设备，包括：

处理单元，其被配置成对从多个传感器设备获取的传感器信息和捕获图像进行处理，其中，所述多个传感器设备中的每一个均包括：

惯性传感器，

信息码，被形成为能够从所述传感器设备的外部被成像，

成像单元，其能够对设置在其他传感器设备上的信息码进行成像，以及

获取单元，其被配置成获取指示与所述传感器设备和所述其他传感器设备有关的相对距离和相对姿态中的至少一个的相对关系信息，

其中，所述传感器设备和所述其他传感器设备有关的所述相对关系信息是基于由所述成像单元捕获的所述其他传感器设备上的信息码的捕获图像或基于由包括在所述其他传感器设备中的成像单元捕获的所述传感器设备上的信息码的捕获图像而识别的。

Images