CN109754419A - 位置推测系统 - Google Patents

Abstract

本发明在位置推测系统中提高被拍摄体位置的推测精度。本发明的位置信息服务器(104)从距离传感器(102～103)接收被拍摄体(107～109)的位置信息，基于接收到的位置信息来决定距离传感器(102～103)要执行的位置信息生成处理，并将关于位置信息生成处理的指示信息发送至距离传感器(102～103)。

Description

位置推测系统

技术领域

本发明涉及位置推测系统。

背景技术

已知有根据TOF(Time of flight)摄像机或立体摄像机等距离传感器拍摄到的距离图像推测被拍摄体的位置的技术。

例如，在专利文献1中记载了如下方法：针对距离传感器拍摄的人体的距离图像的各像素，计算像素与身体各部位相关联的概率，来推测被拍摄体的关节位置。

现有技术文献

专利文献

专利文献1：美国专利8503720号公报

发明内容

发明要解决的课题

在存在多个对被拍摄体进行摄影的距离传感器的情况下，一般地将位置信息收集到通过网络与多个距离传感器相连接的位置信息服务器上，从位置信息服务器向各种应用提供位置信息。

然而，在由距离传感器进行与被拍摄体的距离的测量、由位置信息服务器进行从多个距离传感器送来的距离图像的收集和关节位置的推测的情况下，多个距离传感器送来的距离图像数据占用了网络带宽，可用于位置推测的信息量减少，被拍摄体位置的推测精度降低。

此外，由于距离传感器的计算资源一般显著比位置信息服务器少，因此可用于位置推测的资源受到限制，被拍摄体位置的推测精度降低。

专利文献1中，并未针对在由位置信息服务器进行从多个距离传感器送来的距离图像的收集和关节位置的推测的情况下产生的被拍摄体位置的推测精度的降低的问题加以考虑。

本发明的目的为在位置推测系统中提高被拍摄体的推测精度。

用于解决课题的技术方案

本发明的一种实施方式的位置推测系统为将至少一个距离传感器与位置信息服务器经由网络连接而构成的位置推测系统，其特征在于：所述距离传感器测量与被拍摄体之间的距离而生成关于所述被拍摄体的位置的信息，并将生成的所述位置信息发送至所述位置信息服务器，所述位置信息服务器从所述距离传感器接收所述被拍摄体的所述位置信息，基于接收到的所述位置信息来决定所述距离传感器要执行的位置信息生成处理，将所决定的关于所述位置信息生成处理的指示信息发送至所述距离传感器。

发明效果

通过本发明的一种实施方式，能够在位置推测系统中提高被拍摄体的推测精度。

附图说明

图1是表示位置推测系统的整体结构的图。

图2是表示实施例1的位置信息服务器的结构的图。

图3是表示实施例1的TOF传感器的结构的图。

图4是表示实施例1的位置信息服务器控制程序的结构的图。

图5是表示实施例1的传感器表的结构的图。

图6是表示实施例1的监视区域表的结构的图。

图7是表示实施例1的TOF传感器控制程序的结构的图。

图8是表示实施例1的TOF传感器摄影参数的结构的图。

图9是表示实施例1的位置信息服务器控制程序的流程的图。

图10是表示实施例1的TOF传感器控制程序的流程的图。

图11是表示距离图像的结构的图。

图12是表示将发送区域限定在二维指定的范围后的距离图像的图。

图13是表示将摄影区域限定在三维指定的范围后的距离图像的图。

图14是表示将发送区域限定在三维指定的范围后的距离图像的图。

图15是表示实施例2的位置信息服务器控制程序的结构的图。

图16是表示实施例2的传感器表的结构的图。

图17是表示实施例2的位置信息服务器的结构的图。

图18是表示实施例2的被拍摄体模型表的结构的图。

图19是表示实施例2的推测参数表的结构的图。

图20是表示实施例2的关节位置的结构的图。

图21是表示实施例2的位置信息服务器控制程序的流程的图。

图22是表示实施例2的TOF传感器的结构的图。

图23是表示实施例2的TOF传感器控制程序的结构的图。

图24是表示实施例2的TOF传感器的推测参数的结构的图。

图25是表示实施例2的TOF传感器控制程序的流程的图。

图26是表示实施例2的被拍摄体表的结构的图。

具体实施方式

在由距离传感器进行与被拍摄体的距离的测量、由位置信息服务器进行从多个距离传感器送来的距离图像的收集和关节位置的推测的情况下，多个距离传感器送来的距离图像数据占用了网络带宽。

例如，在距离图像大小为640×480，每像素的信息量为16bit，帧率为30fps的情况下，每个距离传感器非压缩时需要147Mbps的带宽。

因此，存在因通信延迟使得无法进行实时解析或者设备成本为确保网络带宽而增大的问题。此外，如果为了减少通信量而减少距离图像的信息量(分辨率、帧率)，则可用于位置推测的信息量减少，存在推测精度降低的问题。

在由距离传感器进行与被拍摄体的距离的测量和关节位置的推测、由位置信息服务器进行从多个距离传感器送来的关节位置的收集的情况下，由于传感器设备的计算资源一般比服务器少，因此可用于关节位置推测的资源受到限制。

例如，非常普通的服务器的CPU主频、CPU核心数、搭载内存量分别为数GHz、10核以上、数十GB以上，而传感器设备中分别为1GHz左右、1～数核、数百MB～1GB左右。因此，无法实时地进行复杂的推测处理，存在推测精度降低的问题。

实施方式在减少从距离传感器发送到位置信息服务器的数据量的同时维持并提高被拍摄体位置的推测精度。

此外，实施方式中，基于被拍摄体位置的推测结果，确定位置推测处理中需要的可能性高的被拍摄体附近的区域，仅在距离图像中包含该区域对应的像素，由此减少从距离传感器发送到位置信息服务器的距离图像的大小。

此外，实施方式中，基于被拍摄体位置的推测结果，通过按照被拍摄体的特征而调整来确定精度高的推测方法，来改变距离传感器内的推测方法，从而提高推测精度。

以下参考附图针对实施例进行说明。

【实施例1】

实施例1为由距离传感器进行与被拍摄体的距离的测量、由位置信息服务器进行从多个距离传感器送来的距离图像的收集和关节位置的推测的位置推测系统。

参考图1针对实施例1的位置推测系统的整体结构进行说明。

距离传感器(TOF传感器)101、102、103、位置信息服务器104和行动分析服务器105通过网络连接。TOF传感器101、102、103通过网络106将被拍摄体107、108、109的距离图像发送给位置信息传感器104。作为网络通信协议例如可使用TCP/IP。

TOF传感器101、102、103发送来的距离图像的各像素具有TOF传感器101、102、103与被拍摄体107、108、109的距离。当得知像素的像素坐标与被拍摄体107、108、109的距离时，可通过一般的转换方法，求出各像素的空间内的三维坐标。

例如，可针对各像素，求出以传感器设置位置为原点、以水平方向、垂直方向、进深方向分别作为X轴、Y轴、Z轴的三维坐标。三维坐标可基于位置信息服务器104接收到的距离图像来生成，也可由TOF传感器101、102、103生成并作为距离图像的一部分发送到位置信息服务器。在实施例1中，若无特别说明，以TOF传感器101、102、103生成和发送各像素的三维坐标作为距离图像的一部分来进行说明。

位置信息服务器104基于接收到的距离图像来推测被拍摄体107、108、109的关节位置。行动分析服务器105向位置信息服务器104请求被拍摄体107、108、109的关节位置，并经由网络106接收被拍摄体107、108、109的关节位置。在行动分析服务器105中，基于关节位置，识别被拍摄体107、108、109的姿势和动作并分析。此外，位置信息服务器104基于推测出的关节位置，控制TOF传感器101、102、103的处理。

参考图2针对位置信息服务器104的结构进行说明。

位置信息服务器104配备用于与TOF传感器101、102、103和行动分析服务器105通信的网络接口201、用于执行控制程序的CPU 202、用于保存程序和各种数据的存储器203、用于向管理者提供在存储器203中保存的状态并从管理者接收变更指令的用户界面207。

用户界面207例如可使用用于显示信息的显示屏、用于印刷的打印机或用于用户输入指令的键盘或鼠标等。存储器203保存有：由CPU202执行的位置信息服务器控制程序204、保存与所连接的传感器相关的信息的传感器表205、保存与监视被拍摄体的进入的区域相关的信息的监视区域表206、保存各被拍摄体的关节位置的被拍摄体表208。

虽然未特别说明，位置信息服务器控制程序204在启动后将各表初始化为适当的初始值。

位置信息服务器控制程序204具有图4所示的各功能。

图像数据接收功能401通过网络接口201接收从TOF传感器101、102、103发送来的距离图像数据。点集合获取功能402获取与接收到的距离图像中所含的各像素对应的点集亦即传感器在视野空间内检测出的被拍摄体表面的点集的位置。

关节位置推测功能403根据获取的被拍摄体107、108、109的点集推测各关节的三维坐标。摄影参数选择功能404基于被拍摄体107、108、109的关节位置的推测结果，选择适用于对该被拍摄体107、108、109进行拍摄的TOF传感器101、102、103的各种摄影参数。

摄影参数发送功能405通过网络接口201将所选择的参数发送到TOF传感器101、102、103。关节位置提供功能406按照来自行动分析服务器105的请求，通过网络发送被拍摄体表208中记录的关节位置。

管理功能407通过网络接口207向管理者提供传感器表205、监视区域表206、被拍摄体表208的内容，根据管理者的指令将传感器表205、监视区域表206变更为指定的值。例如，将TOF传感器101、102、103的视野区域或监视区域的范围、被拍摄体进入监视区域时采用的分辨率或帧率设定为指定的值。

传感器表205针对各TOF传感器101、102、103包含图5所示的要素。

实施例1中，摄影范围506、距离模式508、分辨率509、帧率510、被拍摄体编号511的各值由位置信息服务器程序204生成，除此之外的各要素由管理者指定。

传感器编号501为管理者为了确定传感器而使用的唯一的传感器识别符。IP地址502为用于网络通信所需的地址。视野区域503表示各传感器的视野空间的范围。空间的范围可由一般的各种方式表示。例如，在视野区域为长方体的情况下，可使用位于对角的两个顶点的三维坐标来表示。在视野区域为球形的情况下，可使用中心点的三维坐标和半径来表示。在传感器的视野角和摄影距离范围可从位置信息服务器控制程序参照的情况下，管理者可仅需指定确定视野范围所需的传感器设置坐标和设置角度。

位置基准504和摄影区域大小505表示摄影区域并非为整个视野而是限定为被拍摄体周围空间时的摄影区域的范围。作为位置基准504，例如通过管理者指定关节的种类(头、腰等)，指定X轴、Y轴、Z轴方向的各长度作为摄影区域大小505，以所指定的关节位置为中心，该指定的距离的长方体成为摄影区域。

位置信息服务器控制程序基于所指定的位置基准504和摄影区域大小505，生成摄影区域506。摄影区域506与视野区域503同样地可通过各种形式来表示。时间间隔507为各TOF传感器定期地发送拍摄整个视野的距离图像的时间间隔。

摄影模式508为位置信息服务器控制程序根据被拍摄体的推测位置所决定的TOF传感器101、102、103的摄影模式。一般地，传感器具有多个摄影模式，通过根据被拍摄体的状况来选择合适的摄影模式，能够获得更为准确摄影数据。例如，可选择拍摄远处的被拍摄体的远距离模式、专门用于近距离的被拍摄体的近距离模式、其中间的中间模式等摄影模式。

在实施例1中，各TOF传感器101、102、103的摄影模式由位置信息服务器控制程序根据传感器与被拍摄体107、108、109的距离来指定。分辨率509为所生成的距离图像的分辨率。帧率510为TOF传感器101、102、103向位置信息服务器104发送距离图像的频度。

被拍摄体编号511为各TOF传感器101、102、103拍摄的被拍摄体107、108、109的识别符。监视区域表206中指定管理者从行动分析的角度感兴趣的空间区域和当该区域内外存在被拍摄体107、108、109时的摄影参数。区域编号601为管理者用于确定监视区域而使用的唯一的区域识别符。

区域范围602指定各区域的范围。表示范围的形式与传感器表205的视野范围503或摄影范围506同样地可用各种形式表示。默认分辨率603和默认帧率604分别为区域范围602内不存在被拍摄体107、108、109的情况下TOF传感器101、102、103应选择的距离图像的分辨率和帧率。监视分辨率605和监视帧率606分别为区域范围602内存在被拍摄体107、108、109的情况下TOF传感器101、102、103应选择的距离图像的分辨率和帧率。

被拍摄体表208针对检测出的各被拍摄体107、108、109包含图20所示的要素。被拍摄体编号2001为唯一地识别各被拍摄体的识别符。除此之外的要素2002～2007表示各被拍摄体107、108、109的各种关节的推测位置。关节位置由三维坐标表示。位置信息服务器控制程序204的关节位置提供功能406根据来自行动分析服务器105的要求发送被拍摄体表208的部分或全部。

图3表示TOF传感器101、102、103的结构。

各TOF传感器101、102、103配备用于与位置信息服务器104通信的网络接口301、用于获取时刻的时钟208、用于执行控制程序的CPU 302、用于保存程序或各种数据的存储器303、用于获取当前时刻的时钟306、用于生成距离图像而测量与被拍摄体107、108、109的距离的摄像模块307。

存储器303保存由CPU 302执行的TOF传感器控制程序304、用于生成发送给位置信息服务器104的距离图像数据而使用的摄影参数305。

TOF传感器控制程序304具有图7所示的各功能。距离图像生成功能701基于摄像模块307测量的与被拍摄体107、108、109的距离来生成距离图像，该距离图像的各像素具有表示TOF传感器101、102、103与被拍摄体107、108、109的距离和空间内的位置的三维坐标。

距离图像压缩功能将距离图像中不需要的部分数据替换成无效值或删除，使用一般的数据压缩技术缩小整体大小。距离图像发送功能703经由网络接口301将压缩后的距离图像发送到位置信息服务器。

摄影参数接收功能704通过网络接口301接收从位置信息服务器104送来的摄影参数，作为摄影参数305保存在存储器303内。

摄影参数305包含图8所示的各要素。分辨率801和帧率802为生成、发送的距离图像的分辨率和帧率。摄影范围803、时间间隔804、距离模式805为位置信息服务器的传感器表205中针对相应的TOF传感器101、102、103而记录的值。

整体图像发送时刻805为将最新拍摄视野整体所得的距离图像发送到位置信息服务器的时刻。图像发送时刻807为最新而不限于视野整体范围下发送距离图像的时刻。在整体图像发送时刻806之外，保存从位置信息服务器104指定的值。整体图像发送时刻806和距离图像发送时刻807记录了TOF传感器控制程序304生成的值。

图9中展示了为了减少来自TOF传感器101、102、103的通信量并提高被拍摄体107、108、109的位置推测的精度、位置信息服务器控制程序204向TOF传感器101、102、103指示处理变更的流程。

开始程序的执行后，位置信息服务器控制程序204从TOF传感器101、102、103接收到距离图像(步骤902)。

发送距离图像的TOF传感器101、102、103可通过对照发送源的IP地址与传感器表来识别。接着，从接收到的距离图像提取对应各像素的点集(步骤903)。

在接收到的距离图像被压缩的情况下进行解压处理。在距离图像包含图像的三维坐标的情况下，将这些坐标集原样地作为点集。在由位置信息服务器生成三维坐标的情况下，从距离图像生成点集的坐标。

接着，基于提取出的点集来推测被拍摄体的关节位置，将推测结果和拍摄被拍摄体的TOF传感器编号保存在被拍摄体表208中。此外，将进行位置推测的被拍摄体107、108、109的被拍摄体编号记录在传感器表205的被拍摄体编号509中。

基于推测结果，选择TOF传感器101、102、103的摄影参数(步骤905)。在检测出被拍摄体107、108、109的情况下，首先，从由传感器表205的位置基准504指定的关节的推测结果位置和摄影区域大小505指定的范围，将以后的距离图像中进行位置推测时所需的被拍摄体周边的区域选择作为摄影范围。

此外，基于该区域与TOF传感器101、102、103的距离来决定合适的摄影模式。进一步地，确认所推测的关节位置是否符合监视区域表206的某一监视区域的范围602。如果符合，则选择该区域中指定的监视分辨率和监视帧率。

如果所有的区域范围都不符合，则对比TOF传感器101、102、103的视野区域503中指定的范围与各监视区域的范围的重叠，来选择符合的监视区域的默认分辨率和默认帧率。在符合多个监视区域的情况下，选择最高的默认分辨率和帧率。

在未检测出被拍摄体107、108、109的情况下，将视野整体作为摄影范围，将预先决定的默认摄影模式选择作为摄影模式。分辨率和帧率与被拍摄体位置不符合任一监视区域的情况同样地选择。

但是，在从被拍摄体表208搜索存在于最靠近视野区域的位置的被拍摄体、该被拍摄体107、108、109的位置在视野区域外但与视野区域的最短距离较短的情况下(例如20cm以下的情况下)，假定为该被拍摄体107、108、109紧接着就进入视野内的情况，根据靠近被拍摄体位置的视野区域部分来选择摄影模式。

此外，该视野区域部分是否符合监视区域表602中指定的某一监视区域的范围602。如果符合，则选择该区域指定的监视分辨率和监视帧率。如果所有区域范围都不符合，与检测出被拍摄体107、108、109的情况同样地选择默认分辨率和默认帧率。

将选择的摄影范围、摄影模式、分辨率、帧率与记录在传感器表205的值进行比较(步骤906)。但如果不一致，为了更新摄影参数，将TOF传感器101、102、103中选择的摄影参数和时间间隔507一起发送(步骤907)。

但在不一致的情况下，根据情况不同，在程度较小的情况下，也可不发送新的摄影参数。例如，在摄影范围的大小有足以包含被拍摄体的余量、摄影范围仅移动数cm的情况下，由于在目前的摄影范围中拍摄也能够继续捕捉被拍摄体的整体，因此更新摄影范围的必要性较低。

这样，仅在以往的值与所选择的值的差在大于阈值的情况下，通过发送摄影参数，能够减少通信量和TOF传感器101、102、103的参数更新处理负载。发送的摄影参数记录在传感器表205的摄影范围506、摄影模式508、分辨率509、帧率510中。

从管理者通过网络接口207发送了程序的结束指令的情况下，结束程序的执行(步骤908)。如果没有，则为了接收新的距离图像而返回步骤902。

图10中展示了如下流程：TOF传感器控制程序304为了减少对位置信息服务器104的通信量或提高被拍摄体107、108、109的位置推测的精度，根据来自位置信息服务器104的指令而改变处理。

首先，确认是否通过网络接口301接收到来自位置信息服务器104的摄影参数指定(步骤1002)，如果接收到了，则将指定的参数记录在摄影参数305的分辨率801、帧率802、摄影范围803、摄影模式805中(步骤1003)。

接着，根据从时钟306获取到的当前时刻和图像发送时刻807，计算从上次距离图像发送的经过时间，与可从帧率802计算的帧发送时间相比较。在距离上次发送的时间间隔太短的情况下，等待时间经过(步骤1008)。

例如，等待直至经过了可从帧率计算的间隔的一半。相对于帧率经过了合适的时间后，以摄影模式805指定的模式，通过摄像模块307测量与被拍摄体的距离，生成距离图像(步骤1004)。通过使用基于被拍摄体107、108、109的推测位置而指定的摄影模式，能够输出更准确的距离图像。

接着，根据整体图像发送时刻806和当前时刻，计算从上次整体图像发送的经过时间，与时间间隔804相比较(步骤1005)。若为比时间间隔804中指定的值更长的时间经过，则将整体图像发送时刻806更新为当前时刻，并发送整体图像(步骤1007)。

如果不是，则为了发送仅包含摄影范围803中指定的范围的像素的部分图像，对距离图像进行压缩(1006)，并将压缩后的距离图像发送到位置信息服务器(步骤1007)。在任何情况下，在发生距离图像时都在图像发送时刻807中记录当前时刻。

对于距离图像的压缩，在基于一般的数据压缩技术的数据量缩减的基础上，通过删除指定范围之外的图像来进行信息量的缩减。范围指定或数据量缩减方法如下所述有多种方法。图11表示将视野的平面1101分割成横640、纵480的图像后所得的距离图像。

一般地，将具有X轴、Y轴、Z轴三个方向的长度的三维空间中存在的点投影到平面上，可生成距离图像，其通过XY像素坐标表示视野平面内的位置，通过每个像素所具有的与被拍摄体的距离值表示深度。以视野整体为对象的距离图像1101具有640×480的有效像素，但在仅需要部分范围的像素的情况下，可通过指定图像的像素坐标范围来减少像素数。

例如在图12中，仅需要以像素位置(200，100)的像素1204为基点的横200像素、纵300像素的范围的情况下，仅1202所示的范围为有效像素。通过对指定范围之外的部分1203的像素指定同样的无效值(例如全为0)，数据压缩容易产生效果，因此图像数据大小变小。

此外，除去无效像素，生成仅具有所需的范围1202的像素的200×300的距离图像，也能够使距离图像自身的大小缩小。此时，将表示该距离图像的像素相当于压缩前的距离图像的哪个部分的元数据作为图像数据的头部(header)或其它数据来提供。

图12的例子中，将距离图像中包含的像素范围通过图像上的像素坐标来表示，图13为通过三维空间坐标表示的例子。

图13中在距离图像1301中仅包含作为长方体1302指定的区域中存在的被拍摄体107、108、109对应的像素。除此之外的区域的被拍摄体107、108、109与不存在的情况同样地处理，对应的像素中设定无效值。

图12的情况下，距离图像的指定范围中必然含有有效像素，但在图13等通过三维空间的区域进行范围指定的情况下就并非一定如此。例如，在长方体区域1302跟前存在可遮挡整个长方体的较大的被拍摄体的情况下，由于在指定范围内没有检测出被拍摄体，因此距离图像完全不包含有效像素。通过使这样具有同样的值的无效像素变多，数据压缩容易产生效果，图像数据大小变小。

在通过三维空间坐标指定范围的情况下，通过如图14所示将包含有效像素部分1402的矩阵切出作为小距离图像1401，能够缩小图像本身的尺寸。这种情况下，相当于指定范围之外的区域的像素部分1403、1404被设定成无效值。此外，将表示该距离图像的像素相当于压缩前的距离图像的哪一部分的元数据作为图像数据的头部或者其它数据来提供。

如上所述，通过实施例1，通过使TOF传感器101、102、103发送到位置信息服务器104的距离图像仅包含被拍摄体附近的像素信息来缩减通信量，能够缓和网络带宽的占用。

同时，通过定期地发送视野整体的距离图像，使在远离现有的被拍摄体位置的位置上出现的新的被拍摄体107、108、109的检测变得可能。进一步地，通过根据被拍摄体位置来使用合适的摄影模式，能够获取更为正确的距离图像，提高位置推测精度。

此外，基于其它TOF传感器101、102、103检测出的视野外的被拍摄体107、108、109的推测位置，为该被拍摄体107、108、109进入视野内的时刻做好准备，预先设定合适的摄影模式、分辨率、帧率。由此，能够提高将来进入视野的被拍摄体107、108、109的位置推测精度。

【实施例2】

实施例2为由TOF传感器101、102、103进行与被拍摄体107、108、109的距离测量和关节位置的推测、由位置信息服务器104进行从多个TOF传感器101、102、103送来的关节位置的收集的位置推测系统。以下参考附图仅对与实施例1不同的部分进行说明。

参考图17针对实施例2的位置信息服务器104的结构进行说明。

位置信息服务器104的存储器203中保存了位置信息服务器控制程序1701、传感器表1702、被拍摄体模型表1703、推测参数表1704、被拍摄体表1705。时钟1706与实施例1中的时钟306同样地提供当前时刻。

位置信息服务器控制程序1701具有图15所示的各功能。实施例2中，作为距离图像的替代，从TOF传感器101、102、103发送被拍摄体107、108、109的推测关节位置。关节位置接收功能1501接收TOF传感器101、102、103推测出的被拍摄体107、108、109的关节位置。

被拍摄体模型选择功能1502基于接收到的关节位置选择体格、姿势等被拍摄体107、108、109的特征。推测参数选择功能1503为了推测所选择的特征的被拍摄体的关节位置而选择合适的推测参数。推测参数发送功能1504将选择的推测参数发送至TOF传感器101、102、103。关节位置提供功能1505和管理功能1506为与实施例1相同的功能。

传感器表1702针对TOF传感器101、102、103包含图16所示的要素。

推测用被拍摄体模型编号1604保存当前时刻用于被拍摄体的推测的被拍摄体模型的编号。检测被拍摄体模型1605保存通过被拍摄体模型选择功能来选择的被拍摄体模型的编号。被拍摄体模型检测时刻1606保存连续地选择同一被拍摄体模型时的最初的检测时刻。切换间隔1607将管理者指定的值作为同一检测被拍摄体模型的选择持续至切换推测用被拍摄体模型的时间进行保存。

被拍摄体模型表1703记录预定义的每个被拍摄体的特征，针对各被拍摄体模型包含图18所示的要素。

被拍摄体模型编号1601为唯一地识别被拍摄体模型的识别符。最小肩宽1802和最大肩宽1803分别为该被拍摄体模型中的两肩关节间距离的最小值和最大值。头与地面的最小距离1804和头与地面的最大距离1805分别为该被拍摄体模型中的头与地面的距离的最小值和最大值。

人数1806为该被拍摄体模型中的被拍摄体的个数。人数并非严格的人数，也有N人以上或N人以下等指定的情况。密集度1807表示该被拍摄体模型中被拍摄体107、108、109的接近程度，例如通过被拍摄体之间的平均距离的范围来表示。

推测参数表1704为每个被拍摄体记录预定义的合适的推测参数，针对各被拍摄体模型包含图19所示的要素。

被拍摄体模型编号1901为唯一地识别被拍摄体模型的识别符。最小肩肘距离1902和最大肩肘距离1903为该被拍摄体模型中肩关节与肘关节的距离(上臂长度)的最小值和最大值。推测器1904为按照该被拍摄体模型进行机器学习的关键位置推测器。

通过根据被拍摄体107、108、109来限定推测参数，能够提高推测精度。例如，在以从大人到孩子这样宽泛的被拍摄体107、108、109为对象的推测处理的情况下，需要增大肩肘距离。因此，采用孩子的肩肘距离对大人的被拍摄体107、108、109来推测关节位置，存在弄错推测结果的可能。

在已知被拍摄体107、108、109为大人的情况下，通过采用大人用的肩肘距离的阈值，能够排除那样的错误推测。同样地，对具有特定特征的被拍摄体107、108、109进行深入学习的推测器1904相比以宽泛的被拍摄体107、108、109为对象进行肤浅学习的推测器能够以更好的精度进行推测。如图26所示，被拍摄体表1705在与实施例1同样的结构要素的基础上，记录各被拍摄体的被拍摄体模型编号2607。

参考图22针对TOF传感器101、102、103的结构进行说明。

各TOF传感器101、102、103的存储器303保存TOF传感器控制程序2201、推测参数2202。TOF传感器控制程序2201具有图23所示的各功能。

距离图像生成功能2301、点集获取功能2302、关节位置推测功能2303分别为与实施例1的对应功能701、402、403相同的功能。但关节位置推测功能2303在如下所述地推测时使用从位置信息服务器接收到的推测参数的点上与实施例1不同。

关节位置发送功能2304将所推测的关节位置发送到位置信息服务器104。推测参数接收功能2305接收从位置信息服务器104发送来的推测参数，并作为推测参数2202保存在存储器303内。

推测参数2202包含图24所示的要素。最小肩肘距离2401、最大肩肘距离2402、推测器2403分别为作为推测参数表1704的最小肩肘距离1902、最大肩肘距离1903、推测器1904记录的值。

在图21中表示位置信息服务器控制程序2201为了提高被拍摄体107、108、109的位置推测的精度而向TOF传感器101、102、103指示处理变更的流程。

开始程序执行后，位置信息服务器控制程序204从TOF传感器101、102、103接收被拍摄体107、108、109的推测关节位置，如果检测出被拍摄体107、108、109，则将该关节位置记录在被拍摄体表1705中(步骤2102)。

将接收到的关节位置与被拍摄体模型表中定义的各模型的特征进行比较，选择一个匹配的被拍摄体模型，记录在被拍摄体表1705的被拍摄体模型编号2607中(步骤2103)。例如，将两肩关节的推测位置的距离作为肩宽进行计算，匹配最小肩宽1802比该值小、最大肩宽1803比该值大的模型。同样地，根据各种关节位置的推测结果，也针对头与地面的距离、被拍摄人数、密集度与被拍摄体模型表中定义的值进行比较。

如果匹配的被拍摄体一个都没有的情况下，选择预先确定作为通用模型的默认被拍摄体模型。此外，对于未检测出被拍摄体107、108、109的情况下，也同样地选择默认的被拍摄体模型。但是，从被拍摄体表1705搜索存在于距离视野区域最近的位置上的被拍摄体107、108、109，在该被拍摄体107、108、109的位置在视野外、但与视野区域的最短距离较小的情况下，假定为该被拍摄体107、108、109之后马上进入视野的情况，选择该被拍摄体107、108、109的被拍摄体模型。

在所选择的被拍摄体模型的编号与记录在检测被拍摄体模型编号1605中的编号不同的情况下(步骤2104)，在检测被拍摄体模型编号1605中记录所选择的模型编号，并在被拍摄体模型检测时刻1606中记录当前时刻(步骤2109)。在并非如此的情况下，根据当前时刻与被拍摄体检测时刻1606中记录的值的差计算所检测出的被拍摄体模型持续了多长时间，与记录在切换间隔1607中的值进行比较(步骤2105)。

如果所选择的被拍摄体模型编号与推测用被拍摄体模型编号不同且持续时间超过作为切换间隔指定的时间，则将推测用被拍摄体模型编号1604更新为所选择的被拍摄体模型编号(步骤2106)，从推测参数表1704选择与被拍摄体模型编号对应的推测用参数(步骤2107)。最后，将选择的推测参数发送到TOF传感器101、102、103(步骤2108)。

图25中表示TOF传感器控制程序2201为了提高被拍摄体107、108、109的位置推测的精度而根据来自位置信息服务器104的指令来改变处理的流程。

首先，确认是否接收到来自位置信息服务器的推测参数指定(步骤2502)，如果接收到，将指定的参数作为推测参数2202进行记录(步骤2203)。

接着，与实施例1同样地生成距离图像(步骤2504)，为了推测关节位置而获取点集(步骤2505)。进一步地，利用记录在推测参数2202在肩肘距离的范围2401、2402和推测器2403来推测被拍摄体的关节位置(步骤2506)。

最后，将推测结果发送到位置信息服务器(步骤2507)。

如上所述，通过实施例2，通过根据关节位置的推测结果识别被拍摄体的特征，并使用适合该特征的推测参数，能够提高位置推测精度。

此外，基于其它TOF传感器101、102、103检测出的视野外的被拍摄体107、108、109以及该被拍摄体107、108、109的特征，为该被拍摄体107、108、109进入视野的时候做好准备，预先设定合适的推测参数。由此，能够提高将来进入视野的被拍摄体107、108、109的位置推测的精度。

附图记号说明

101、102、103……TOF传感器

104……位置信息服务器

105……行动分析服务器

106……网络

107、108、109……被拍摄体。

Claims (13)

1.一种将至少一个距离传感器与位置信息服务器经由网络连接而构成的位置推测系统，其特征在于：

所述距离传感器测量与被拍摄体之间的距离而生成关于所述被拍摄体的位置的信息，并将生成的所述位置信息发送至所述位置信息服务器，

所述位置信息服务器从所述距离传感器接收所述被拍摄体的所述位置信息，基于接收到的所述位置信息来决定所述距离传感器要执行的位置信息生成处理，将所决定的关于所述位置信息生成处理的指示信息发送至所述距离传感器。

2.如权利要求1所述的位置推测系统，其特征在于：

所述距离传感器所发送的所述位置信息包含距离图像，

所述位置信息服务器基于所述距离图像来推测所述被拍摄体的各部分的位置。

3.如权利要求2所述的位置推测系统，其特征在于：

所述位置信息服务器所发送的关于所述位置信息生成处理的所述指示信息包含关于成为所述距离图像的摄影对象的三维空间范围的信息，

所述距离传感器将要发送的所述距离图像中的、存在于由所述指示信息指定的所述三维空间范围之外的所述被拍摄体所对应的像素设定为无效值。

4.如权利要求3所述的位置推测系统，其特征在于：

所述位置信息服务器基于接收到的所述距离图像的各像素在所述三维空间中的分布，来决定成为所述距离图像的所述摄影对象的所述三维空间的范围。

5.如权利要求3所述的位置推测系统，其特征在于：

所述位置信息服务器基于从接收到的所述距离图像推测得到的所述被拍摄体的推测位置，来决定成为所述距离传感器的所述摄影对象的所述三维空间的范围。

6.如权利要求2所述的位置推测系统，其特征在于：

所述位置信息服务器所发送的关于所述位置信息生成处理的所述指示信息包含所述距离传感器用来拍摄所述被拍摄体的摄影模式，

所述距离传感器基于所述摄影模式下拍摄到的距离数据来生成所述距离图像并将其发送至所述位置信息服务器。

7.如权利要求2所述的位置推测系统，其特征在于：

所述位置信息服务器所发送的关于所述位置信息生成处理的所述指示信息包含指定发送所述距离图像的间隔的信息，

所述距离传感器以所指定的所述间隔将所述距离图像发送至所述位置信息服务器。

8.如权利要求2所述的位置推测系统，其特征在于：

所述位置信息服务器所发送的关于所述位置信息生成处理的所述指示信息包含指定所述距离图像的分辨率的信息，

所述距离传感器基于所指定的所述分辨率来生成所述距离图像并将其发送至所述位置信息服务器。

9.如权利要求1所述的位置推测系统，其特征在于：

所述距离传感器所发送的所述位置信息包含所述被拍摄体的推测位置。

10.如权利要求9所述的位置推测系统，其特征在于：

所述位置信息服务器所发送的关于所述位置信息生成处理的所述指示信息包含指定所述距离传感器用于推测所述被拍摄体的位置的推测参数，

所述距离传感器使用所指定的所述推测参数来推测所述被拍摄体的位置。

11.如权利要求10所述的位置推测系统，其特征在于：

所述位置信息服务器基于接收到的所述被拍摄体的推测位置，来决定所述距离传感器用于推测所述被拍摄体的位置的推测参数。

12.如权利要求10所述的位置推测系统，其特征在于：

所述位置信息服务器所发送的所述推测参数包含关于所述被拍摄体的身体结构的阈值。

13.如权利要求12所述的位置推测系统，其特征在于：

关于所述被拍摄体的身体结构的所述阈值至少包含最小肩肘距离和最大肩肘距离作为所述被拍摄体的所述身体结构。