CN105376527A - 轨迹描绘装置和轨迹描绘方法以及轨迹描绘系统 - Google Patents

Abstract

本发明涉及轨迹描绘装置、轨迹描绘方法以及轨迹描绘系统，其目的在于通过描绘作业者动作轨迹来分析作业者作业等。轨迹描绘装置中，用户在显示器(500)显示的帧上选择了追踪对象区域后，设定信息取得部(352)取得该区域的追踪对象信息，并保存到追踪对象信息存储部(354)中。而后，追踪对象追踪部(353)根据取得的追踪对象信息和以规定的追踪方法生成的概率分布图像，追踪对象物体，并将追踪结果数据保存到追踪结果数据存储部(356)中。而后，图生成部(359)对每一个帧，将保存的追踪结果数据的帧与颜色信息相关联，并将时间上位于前一个位置的帧的中心坐标与下一个帧的中心坐标连接起来。

Description

轨迹描绘装置和轨迹描绘方法以及轨迹描绘系统

技术领域

本发明涉及追踪对象物体，并涉及将追踪结果作为动作轨迹描绘的轨迹描绘装置、轨迹描绘方法以及轨迹描绘系统。

背景技术

以往，用摄影装置拍摄工厂等生产现场的作业，用拍摄的视频来测定作业时间或计算作业者的作业效率等，对作业进行分析。

专利文献1(JP特开2012-003649号公报)公开了一种作业分析装置，该装置以改善制造现场作业为目的，用来进行定量评价。该装置用预设的关于多个区域中作业者存在(作业)时间的信息，来取得表示与各区域对应的作业工序的作业状况的作业效率信息。

专利文献1公开的作业分析装置虽然能够取得与各区域对应的作业工序的作业时间，但是，若要分析各区域中作业者如何动作(即作业)，则必须重放视频进行确认。

换言之，例如为了分析作业者的作业等，需要重放视频，这样便需要更多的作业时间。

发明内容

鉴于上述问题，本发明的目的在于，不需要重访视频，而是通过描绘作业者动作轨迹，来分析作业者作业等。

为了达到上述目的，本发明提供一种轨迹描绘装置，其中包括：帧读入模块，用来读入拍摄了追踪对象的视频的帧；追踪对象区域设定模块，用来在所述帧读入模块读入的帧上设定所述追踪对象的追踪对象区域；追踪模块，用来在所述帧读入模块读入的多个帧之间追踪所述追踪对象区域；描绘模块，用来根据所述追踪模块的追踪结果，描绘所述追踪对象的动作轨迹；以及，显示控制模块，用来在显示装置上显示所述描绘模块描绘的动作轨迹。

本发明的效果在于，不需要重访视频，而是通过描绘作业者动作轨迹，来分析作业者作业等。

附图说明

图1是本发明的实施方式涉及的轨迹描绘装置的模块图。

图2是本发明的实施方式涉及的轨迹描绘装置的功能模块图。

图3是用来说明本发明的实施方式涉及的轨迹描绘装置追踪追踪对象物体，到保存追踪结果为止的处理步骤的流程图。

图4是显示控制部从视频数据存储部取得的帧的示意图。

图5是追踪对象信息存储部中保存的追踪对象信息的示意图。

图6是显示控制部在帧上重叠显示的追踪对象区域的示意图。

图7是保存在动作区域信息存储部中的动作区域信息的示意图。

图8是动作区域重叠显示在帧上的示意图。

图9是保存在追踪结果数据存储部中的追踪结果数据的示意图。

图10是保存在追踪结果数据存储部中与动作区域信息相关联的追踪结果数据的示意图。

图11是本发明实施方式涉及的轨迹描绘装置描绘动作轨迹的处理流程图。

图12是追踪对象物体动作轨迹的示意图。

图13是一例将颜色分配给帧的程序的图。

图14是本发明实施方式涉及的轨迹描绘装置描绘动作区域的处理流程图。

图15是动作区域确定部确定的动作区域的时间变化的示意图。

图16是本发明实施方式涉及的轨迹描绘装置描绘动作轨迹视频的重放的处理流程图。

图17是确定帧时显示的时刻信息的示意图。

图18是一例关于追踪对象物体的动作轨迹和动作区域的分割显示。

图19是作业者作业的分析例的示意图。

具体实施方式

以下参考附图描述本发明的实施方式。

图1是本发明的实施方式涉及的轨迹描绘装置的模块图。

轨迹描绘装置300与摄影装置100、外部存储装置200、输入装置400、显示装置500以及外部连接设备600连接，构成轨迹描绘系统。

摄影装置100用于拍摄被摄对象，例如录像机、IP(InternetProtocol)照相机、浏览照相机等，向轨迹描绘装置300提供视频流媒体视频。

摄影装置100具备管理摄影时间的时间管理部(未图示)、以及保持摄影装置100固有ID(识别信息)的固有ID部，在拍摄视频之际，将摄影时间与固有ID作为元数据与视频数据相关联。

转发器(HUB)130起到将装置连接起来的网络设备功能，通过将摄影装置100经由转发器连接到轨迹描绘装置300上，视频数据被保存到轨迹描绘装置300内部的视频数据存储部350(图2)中。

摄影装置100还具有与轨迹描绘装置300内部的视频数据存储部350(图2)不同的外部视频存储部的功能，还可以用来保存摄像装置100自己的拍摄时的视频数据。因此，能够将摄影装置100中保存的视频数据转送到轨迹描绘装置300中。

图1中将四台摄影装置100A至100D连接到轨迹描绘装置300上，但是这并不对与轨迹描绘装置300相连接的摄影装置100的数量形成限制。

外部存储装置200为硬盘等大容量存储装置，用来存储摄影装置100以外的其他摄影装置拍摄的视频数据。

用摄影装置100以外的摄影装置拍摄，并将视频数据保存在该摄影装置自己之中时，也可将该摄影装置设为外部摄影装置200。此时，将该摄影装置的存储卡插入存储插槽320(图2)，或将USB(UniversalSerialBus)线连接到USB等连接接口330(图2)上，转送视频数据。轨迹描绘装置300根据用户设定的追踪对象信息(即关于作为追踪对象的物体的信息)，追踪该追踪对象物体，给予追踪结果描绘追踪对象物体的动作轨迹。

作为附属性的功能，轨迹描绘装置300根据追踪结果，确定追踪对象物体的动作区域并计算移动量。

轨迹描绘装置300还可以连接LAN(LocalAreaNetwork)或互联网等网络。轨迹描绘装置300中安装了用来描绘轨迹等所需要的软件。键盘或鼠标等输入装置400用来供用户对轨迹描绘装置300进行各种操作。

液晶显示装置等显示装置(以下称为显示器)500显示当前连接轨迹描绘装置300的摄影装置100拍摄的视频以及/或保存在轨迹描绘装置300内的视频数据存储部350(图2)中的视频、追踪对象物体的动作轨迹即动作区域的重叠视频、以及安装在轨迹描绘装置300中的软件的操作画面等。外部连接设备600为例如个人计算机、平板计算机、智能手机等。

外部连接设备600以LAN线等有线通信，或Wi-Fi(WirelessFidelity)等无线LAN、蓝牙(注册商标)等无线通信来连接轨迹描绘装置300。

外部连接设备600的显示器或屏幕的显示规格与显示器500的显示规格相同。图2是本发明的实施方式涉及的轨迹描绘装置300的功能模块图。

轨迹描绘装置300具有作为视频数据等的输入输出功能的外部视频输入部310、存储插槽320、USB等连接接口330、用户接口340、外部视频输出部370、LAN端口380、无线接口390。轨迹描绘装置300内具有作为轨迹描绘功能的视频数据存储部350、时刻管理部351、设定信息取得部352、追踪对象追踪部353、追踪对象信息存储部354、动作区域信息存储部355、追踪结果数据存储部356、动作区域确定部357、移动量计算部358、图生成部359、显示控制部360。

上述各个功能部中时刻管理部351、设定信息取得部352、追踪对象追踪部353、动作区域确定部357、移动量计算部358、图生成部359是通过轨迹描绘装置300的计算机读取程序生成的功能模块。外部视频输入部310是用于轨迹描绘装置300与摄影装置100连接的接口。

存储器插槽320是供存储卡插入的插口，用以传送视频数据，该存储卡中保存由摄影装置100以外的其他摄影装置拍摄的视频数据。USB等连接接口330是以USB线连接键盘以及鼠标等输入装置400的接口，让用户操作轨迹描绘装置300。用户还可以用USB线将外部存储装置200连接到USB等连接接口330上，用以将外部存储装置200中保存的视频数据传送到轨迹描绘装置300中。

用户接口340是用来供用户进行轨迹描绘装置300的电源操作以及有关动作轨迹的显示控制等，直接操作轨迹描绘装置300的接口。

视频数据存储部350是轨迹描绘装置300的内存，用来以帧单位保存摄影装置100拍摄的通过外部视频输入部310输入的视频数据

视频数据存储部350对于外部存储装置200通过存储插口320或USB等连接接口330输入的视频数据，也以帧单位保存。

视频数据存储部350在保存多个摄影装置100(100A至100D)拍摄的视频时，在使得视频数据以摄影时刻等时刻在时间上同步的基础上保存。时刻管理部351用于管理轨迹描绘装置300内的时刻，并管理与摄影装置100拍摄且保存在轨迹描绘装置300中的视频数据相关的时刻信息或使得视频数据同步时使用的时刻信息。

在因数据通信的延迟等，造成在轨迹描绘装置300内的时刻管理部351管理的时刻无法让视频数据同步的情况下，也可以利用受到摄影装置100具备的时刻管理部管理且与视频数据相关联的时刻，使得视频数据同步。

设定信息取得部352用来取得描绘动作轨迹所需要的信息(条件)。

例如，设定信息取得部352取得作为追踪对象被选择的物体的区域(以下称为追踪对象区域)以及该追踪对象物体预定的动作区域(以下称为动作区域)等设定信息。

追踪对象追踪部353用来根据设定信息取得部352设定的追踪对象信息(即被设定为追踪对象的物体的区域)来追踪追踪对象物体。

本实施方式用CamShift方法作为追踪方法。

CamShift方法通过步骤来追踪追踪对象。

(i)将追踪对象作为区域来选择，

(ii)制作追踪对象区域中的色相值的柱状图，

(iii)生成概率分布图像，

(iv)计算追踪对象区域的重心，

(v)更新追踪对象区域

追踪方法不一定局限于CamShift方法，此外也可以使用例如模板匹配方法和动作矢量检测的方法等。

追踪对象信息存储部354用来保存设定信息取得部352设定的追踪对象信息。

具体将用户设定的追踪对象区域的中心坐标、中心坐标的像素值和大小等作为追踪对象信息保存。

用户也可以对一个视频数据，选择多个追踪对象区域。此时，追踪对象信息存储部354中将多个关于追踪对象区域的数据相关联地保存

动作区域信息存储部355用来保存设定信息取得部352设定的动作区域信息。

即动作区域信息存储部355保存用户选择的动作区域。用户选择的动作区域为例如四角形(长方形)、圆形、椭圆形、歪多角形等。

追踪结果数据存储部356用来保存作为追踪结果数据的追踪对象追踪部353的追踪结果。

动作区域确定部357用来根据动作区域信息存储部355中保存的动作区域信息以及追踪结果数据存储部356中保存的追踪结果数据，确定追踪对象物体(即追踪对象区域的中心坐标)属于哪一个动作区域。

用规定的内外判断方法来确定区域。例如，当判断追踪对象区域的中心坐标位于构成动作区域的所有各条边内侧方向，则将追踪结果确定为位于该区域内。

动作区域确定部357确定了动作区域后，将确定的动作区域与帧相关联后保存到追踪结果数据存储部356中。

移动量计算部358用来计算追踪对象物体的移动量(具体为追踪对象区域的中心坐标的移动量)。

追踪对象区域的中心坐标如后述的图9所示，以直角坐标系统表示，因而移动量计算部358以下式计算移动量。

$d={\mathrm{\Σ}}_{i=0}^{n-1}\sqrt{{(X_{i+1}-X_i)}^2+{(Y_{i+1}-Y_i)}^2}---\left(1\right)$

上式中的d为移动量，i表示帧编号。

移动量计算部358依次读取帧编号0到n的中心坐标，而后用上式计算移动量。

移动量计算部358是用多个摄影装置100拍摄并同步保存的视频，能够更加正确地计算移动量。例如，另外使用拍摄深度方向(z轴方向)的视频，能够计算深度方向的移动量。

图生成部359对应于本发明的描绘模块，根据追踪结果数据存储部356中保存的追踪结果数据生成图。

具体来说，图生成部359例如以帧为单位，将追踪结果数据与颜色信息相关联，用图来表示追踪对象物体的动作轨迹以及动作区域等。

显示控制部360在显示器500或外部连接器600的显示区域中显示图生成部359生成的图(追踪对象物体的动作轨迹和动作区域)等。

显示控制部360还能够分割一个显示画面，分别显示多个摄影装置100A至100D拍摄的多个视频。此时，也可以分割一个显示画面，显示多个摄影装置100A至100D同时拍摄的多个视频(具体为在视频数据存储部350中同步并保存的视频)，并将这些视频在显示画面上结合并表示为一个画面。这样即便追踪对象物体的动作范围较大，也能够准确方便地追踪追踪对象物体，而无需降低画质。

如果作为显示对象的视频数量大于显示画面可分割显示数量，则显示控制部360可以利用卷动功能来显示所有视频。

显示控制部360还可以根据视频数量，分割显示器500或外部连接器600的显示区域上的显示画面，显示不同摄影时间或不同摄影装置(100A至100D)拍摄的多个视频。

例如，当视频数据存储部350中保存了多个拍摄不同作业者实施相同作业的视频时，也可以分割显示画面，用来显示这些视频。这样便能够同时比较作业者之间的作业。

外部视频输出部370是用来连接轨迹描绘装置300和显示装置500的接口。

LAN端口380是轨迹描绘装置300与外部连接器600通过LAN线等有线通信装置连接的接口。

无线接口390是轨迹描绘装置300与外部连接器600通过Wi-Fi或蓝牙(注册商标)等无线通信装置连接的接口。

图3是用来说明本发明的实施方式涉及的轨迹描绘装置300从追踪追踪对象物体到保存追踪结果为止的处理步骤的流程图。

显示控制部360从视频数据存储部350读入在时间上位于最初位置的帧(S101)。

显示控制部360在显示器500或外部连接器600的显示区域上显示读入的帧(S102)。

在步骤S101中显示控制部360读入的帧不需要是视频数据在时间上位于最初位置的帧，也可以用用户设定时刻的帧。

在步骤S102中显示控制部360显示的帧将在下述中以图4例示。

在显示器500等显示的帧上选择区域(即追踪对象区域)，作为被用户作为追踪对象的物体，而后，设定信息取得部352取得该区域，将其作为追踪对象信息(S103)。

设定信息取得部352将取得的追踪对象信息保存到追踪对象信息存储部354(S104)。

显示控制部360将追踪对象区域重叠在步骤S102中显示的帧上，要求用户确认(S105)。

图5显示在步骤S104中保存在追踪对象信息存储部354中的追踪对象信息，图6显示在步骤S105中被显示器500等显示的追踪对象区域重叠的帧。

作为追踪对象区域的确认结果，如果用户选择追踪对象区域的改变(即修改)(S105的改变)，则改变追踪对象区域后，设定信息取得部352取得该区域作为追踪对象信息(S103)，并保存到追踪对象信息存储部354中(S104)。

显示控制部360将改变后的追踪对象区域重叠显示在步骤S102显示的帧上，再次要求用户确认(S105)。

这样，轨迹描绘装置300反复进行步骤S103至S105的处理，直到追踪对象信息(即追踪对象区域)被确认(S105的确认)。

在追踪对象信息被确定后(S105的确定)，用户选择动作区域，设定信息取得部352取得该动作区域，并将该动作区域作为动作区域信息(S106)。

设定信息取得部352将取得的动作区域信息保存到动作区域信息355中。(S107)。

显示控制部360在步骤S102中显示的帧上重叠显示被选动作区域，并要求用户确认(S108)。

图7显示了在步骤S107中，动作区域信息存储部355中保存的动作区域信息，图8显示了显示器500等显示的动作区域重叠的帧。

作为动作区域的确认结果，如果用户选择动作区域的改变(即修改)(S108的改变)，则改变动作区域后，设定信息取得部352取得该区域作为动作区域信息(S103)，并保存到动作区域信息存储部355中(S104)。

显示控制部360将改变后的动作区域重叠显示在步骤S102显示的帧上，再次要求用户确认(S105)。

这样，轨迹描绘装置300反复进行步骤S103至S105的处理，直到动作区域被确认(S108的确认)。

经过追踪对象信息以及动作区域信息的确认(S105的确认和S108的确认)，当收到用户发送的追踪开始指示时(S109的是)，追踪对象追踪部353开始有关追踪的处理(S110至S116)。

即追踪对象追踪部353对帧进行计数(S110)，判断能否读入在步骤S101读取的帧的下一个位置的帧(S111)。

而后，如果判断视频数据存储部350中保存了可读入的帧(S111的是)，则追踪对象追踪部353读取帧(S112)。

追踪对象追踪部353根据追踪对象信息存储部354中保存的追踪对象信息以及CamShift方式生成的概率分布图像，追踪追踪对象物体(S113)。

追踪对象追踪部353在步骤S113的追踪处理结束后，将追踪结果数据保存到追踪结果数据存储部356中(S114)。

动作区域确定部357在追踪结果数据被保存到追踪结果数据存储部356中后，根据动作区域信息存储部355中保存的动作区域信息，确定追踪对象物体在哪一个动作区域内(S115)。

动作区域确定部357将确定了的动作区域作为动作区域信息，与追踪结果数据相关联后保存到追踪结果数据存储部356中(S116)。

图9显示在步骤S114中，保存在追踪追踪结果数据存储部356中的追踪结果数据。图10显示在步骤S116中，追踪结果数据存储部356中与追踪结果数据相关联地保存的区域数据。

轨迹描绘装置300在步骤S116的处理结束后，对帧进行计数，再次实行步骤S111至S116的处理。

反复实行步骤S111至S116的处理，直到步骤S111不再从视频数据存储部350读入帧为止(S111的否)。

在图3的流程图中，以动作区域信息存储部355中保存了动作区域信息为前提(S107)，开始追踪处理，但动作区域的选择(S106)和动作区域信息的存储部(S107)也可以在追踪处理(具体为步骤S113和S114的处理)结束后实行。

换言之，动作区域的确定(S115)也可以在追踪处理(S113和S114)结束后实行。

图4是显示控制部360从视频数据存储部350取得的帧的示意图。

图4显示一例从工厂内作业者的视频中取得的帧。

用户用输入装置400从被显示的帧中选择追踪对象物体(在此为作业者)，作为规定的区域。

本实施方式用椭圆形来描述追踪对象区域，但是也可以用四角形、圆形、非正多角形来作为追踪对象区域。

当用户选定追踪对象区域后，设定信息取得部352取得该区域作为追踪对象信息，并保存到追踪对象信息保存部354中。

图5是追踪对象信息存储部354中保存的追踪对象信息的示意图。

如图5所示，设定信息取得部352取得用户输入装置从用户利用输入装置400选择的追踪对象区域中取得重心坐标、大小、颜色等相关数据，并将这些数据作为追踪对象信息保存到追踪对象信息存储部354中。

显示控制部360根据追踪对象信息存储部354中保存的追踪对象信息，将追踪对象区域重叠显示到从视频数据存储部350取得的帧上。

图6是显示控制部360在帧上重叠显示的追踪对象区域的示意图。

本实施方式如图6所示，以作业者作为追踪对象物体，用椭圆形状来选择(设定)追踪对象区域。

追踪对象区域被显示在显示器500等上，便于用户确认追踪对象区域。用户在确认之后，也可以再次改变追踪对象区域。

而后，用户可以在图4所示的帧中选择动作区域(以下称为作业区域)。

作业区域与追踪对象区域相同，也可以用圆形、椭圆形、四角形、以及非正多角形来选择。

本实施方式用四角形来选择作为动作区域的三个区域。

设定信息取得部352在确定了一个区域的时间点，向动作区域分配编号(ID)，并按照区域保存到动作区域信息存储部355中。

动作区域信息存储部355中保存的数据构成取决于用户设定的动作区域的形状。例如，用户选择了动作区域为圆形后，动作区域信息存储部355中便保存圆的中心坐标以及圆的半径。

显示控制部360根据动作区域信息存储部355中保存的动作区域信息，将动作区域重叠显示在从视频数据存储部350中取得的帧上。

图8是显示控制部360将动作区域重叠显示在帧上的示意图。

本实施方式如图8所示，以四角形选择(设定)了动作区域1、2、3。

动作区域被显示在显示器500等上，便于用户确认。用户确认了动作区域之后也可以再次改变动作区域。

追踪对象追踪部353在追踪对象信息存储部354中保存了追踪对象信息的前提下，接受用户发送的开始追踪指示后，开始追踪，并将追踪结果保存到追踪结果数据存储部356中。

图9是追踪结果数据存储部356中保存的追踪结果数据的示意图。

追踪结果数据如图9所示，以帧编号、时间、以及追踪对象区域的中心坐标构成。

当追踪结果被保存到追踪结果数据存储部356中后，动作区域确定部357确定作业者在哪一个动作区域内动作。而后，动作区域确定部357将经过确定的动作区域作为动作区域信息，与追踪结果数据相关联地保存。

图10是保存在追踪结果数据存储部356中与动作区域信息相关联的追踪结果数据的示意图。

如图10所示，关于动作区域的数据被与追踪结果数据相关联。

图11是本发明实施方式涉及的轨迹描绘装置300描绘动作轨迹的处理流程图。

图生成部359判断追踪结果数据存储部356中是否存在可以取得的追踪结果数据(S201)。

如果判断存在追踪结果数据(S201的是)，则图生成部359取得追踪结果数据(S202)。

图生成部359将取得的每一个追踪结果数据的帧与颜色信息(例如RGB值)相关联(S203)。

图生成部359根据相关联的颜色信息，将在时间上位于前一个位置的帧的追踪结果数据的中心坐标与上述S202取得的追踪结果数据的中心坐标连接起来(S204)。

图生成部359在结束S201至S204的处理后，对帧计数(S205)，而后再对下一个帧实行S201至S205的处理。

图生成部359反复实行上述S201至S205的处理，直到在S201中不再存在能够取得的追踪结果数据为止(S201的否)。

而后，如果S201中不再存在能够取得的追踪结果数据，则图生成部359根据在S202取得的追踪结果数据的中心坐标和追踪对象区域的大小，在帧上描绘椭圆(S206)。

图12是追踪对象物体动作轨迹的示意图。

如图12所示，对每个帧分配(相关联)规定颜色(RGB值)，图生成部359描绘动作轨迹。

图中，○表示红色(R)，口表示绿色(G)，△表示蓝色(B)。从○(红色)转变到口(绿色)，其间用十角形、九角形、八角形、七角形、六角形、五角形表示从红色转变到绿色其间中的中间色。例如十角形以亮红色、九角形以橙色、八角形以棕色、七角形以土黄色、六角形以黄色、五角形以黄绿色表示。从口(绿色)转变到△(蓝色)时，也同样经过中间色(例如青绿色、淡蓝色等)。

图生成部359将帧编号0、1、2依次分配给“○(红色)”、“口(绿色)”、“(蓝色)”，从追踪结果数据的中心坐标开始移动到下一个追踪结果数据的中心坐标，描绘动作轨迹。

而后，在取得了追踪结果数据存储部356中保存的最后一个追踪结果数据后，根据追踪对象信息的中心坐标和大小，用椭圆描绘追踪对象区域。

出于方便，图12中约设定20种颜色用来分配给帧的颜色，但是图生成部359可以根据帧的数量(视频数据容量)，调整分配的颜色种类数量，将颜色分配给帧。

也就是说，图生成部359可以将分配给帧的颜色种类数量和帧的数量调整到相同程度后，将颜色分配给帧。

图13是一例将颜色分配给帧的程序的图。

图13所示的程序用来将255×6种颜色依次分配各保存在追踪结果数据存储部356中的追踪结果数据(帧)。

在图13所示的程序中，变量r为红色，g为绿色，b为蓝色，变数num表示用帧编号除以255×6时的余数。图生成部359根据该余数大小来分歧，决定分配的颜色。

图13的程序中，按照帧编号从小到大的顺序，分配颜色由红色到绿色，绿色到蓝色，进而蓝色到红色地转移。

图生成部359通过改变除以帧编号时的除数或分歧的数量，来调整颜色分配的方法。

分配给帧的颜色的种类，24比特颜色时最多能够准备256×256×256种，32比特颜色时最多能够准备256×256×256×256种。

分配给帧的颜色与本发明的帧确定信息相对应，对于帧确定信息，还可以使用图9所示的时间(即拍摄时刻)。此时，动作轨迹上描绘了拍摄时刻。

图14是本发明实施方式涉及的轨迹描绘装置300描绘动作区域的处理流程图。

图生成部359判断追踪结果数据存储部356中是否存在可以取得的与动作区域相关联的追踪结果数据(S301)。

如果判断存在追踪结果数据(S301的是)，则图生成部359取得与动作区域信息相关联的追踪结果数据(S302)。

图生成部359将取得的每一个追踪结果数据的帧与颜色信息相关联(S303)。

图生成部359根据相关联的颜色信息，在图上该当动作区域描绘(S304)。

图生成部359在结束S301至S304的处理后，对帧计数(S305)，而后再对下一个帧实行S301的处理。

图生成部359反复实行上述S301至S305的处理，直到在S301中不再存在能够取得的追踪结果数据为止(S301的否)。

而后，如果S301中不再存在能够取得的追踪结果数据，则图生成部359结束动作区域的描绘处理。

图15是动作区域确定部357确定的动作区域的时间变化的示意图。

如图15所示，设纵向为动作区域，横向为被确定的时间，图生成部359用分配给每一个帧的规定颜色来描绘确定了的动作区域。

颜色的分配方法与图12相同。

参见图10可知，帧编号从0到1，即从0秒到30秒期间，作业者在动作区域1内作业，图生成部359将“○(红色)”分配给帧编号0，描绘动作区域1。其次，帧编号从1到2，即从30秒到60秒期间，作业者在动作区域2内作业，图生成部359将“十角形(亮红色)”分配给帧编号0，描绘动作区域2。

这样，按照图14所示流程的处理顺序，图生成部359描绘由动作区域确定部357确定的动作区域。

用户从图15描绘了的动作区域种选择规定位置后，能够重放被选位置的视频。关于该处理将在以下用图18详述。

图16是本发明实施方式涉及的轨迹描绘装置300描绘动作轨迹视频的重放的处理流程图。

用户选择图12所示的动作轨迹的预定位置，便能够确认从该时间点开始的视频。

用户通过输入装置400选择显示器500上显示的动作轨迹的预定位置后(S401)，轨迹描绘装置300便开始图16所示的处理。

设定信息取得部352取得关于用户选择的位置的坐标信息(S402)。

显示控制部360根据设定信息取得部352从保存在追踪结果数据存储部356中的追踪结果数据取得的坐标信息，取得显示到显示器500上的帧(S403)。

但是，图12显示的动作轨迹会发生预定位置交叉的情况(即存在多个具有同一个坐标的帧(数据记录))，在这种情况下，显示控制部360无法确定帧。

此时，显示控制部360判断能否确定帧(即S403中取得的帧的数量是否是单个)(S404)。

显示控制部360如果判断不能确定帧(即S403中取得的帧的数量是多个)(S404的否)，则在显示器500上显示各个帧的时间信息(S405)(图17)。

而后，用户根据帧的时间信息，选择帧后(S406)，显示控制部360在显示器500上显示被选(确定)的帧(S407)。

另一方面，如果显示控制部360判断能确定帧(即S403中取得的帧的数量是单个)(S404的是)，则也在显示器500上显示被确定的帧(S407)。

在本实施方式中，S404中如果显示控制部360判断不能确定帧(S404的否)，则显示控制部360显示各个帧的时间信息(S405)，此时的显示规格并不受此限制，例如可以显示帧编号，或者读取所有选择对象的帧，并根据帧的数量分割显示画面暂时性地显示帧(未在图16的流程图中显示)。

显示控制部360在显示器500上显示了被确定的帧后，在收到用户发送的重放指示之后(S408)，重放视频数据(S409)。

在S401中如果用户先择的位置不适于图9所示的追踪结果数据中的任何中心坐标，则显示控制部360在S407中选择并显示中心坐标位于与用户选择的位置最接近的帧。

图17是确定帧时显示的时刻信息的示意图。

如图17所示，根据图9所示的追踪结果数据，用户选择的位置(x＝45，y＝40)适用于帧编号7和10的两个帧。

对此，显示控制部360如图17所示，在显示器500上显示时间信息，要求用户选择视频重放的开始时间点。

图18是一例关于追踪对象物体的动作轨迹和动作区域的分割显示。

图18分割显示摄影装置100B(照相机2)拍摄的视频上重叠作业者动作轨迹的视频以及表示动作区域的时间变化的图。

在能够将重叠了动作轨迹的视频和动作区域的时间变化图在时间上同步的情况下，通过选择轨迹上的规定位置，便能够用表示动作区域的时间变化的图来确认被选位置的动作区域。

相反，通过从表示动作区域的时间变化的图来选择预定位置，便能够从重叠动作轨迹的视频来确认被选位置的动作轨迹。

例如在作业工序中没有预定要进入动作区域3时，管理者用表示动作区域的时间变化的图来选择动作区域3中的动作(图上的数据)，从该时间点开始重放视频。这样，管理者便能够确认作业顺序。

图18显示一例管理者选择动作区域3的动作的情况。

图19是作业者作业的分析例的示意图。

图19分割显示摄影装置100B(照相机2)拍摄的视频以及表示从退出动作区域1(OUT)到进入动作区域1(IN)的所需时间。

图19还纵向显示了表示正常时节拍(节拍时间；工序作业时间)的图以及表示作业者A节拍的图。

图的横轴表示动作区域1的进入次数，图的纵轴表示动作区域1从退出到进入所需时间。

图生成部359根据与动作区域信息相关联的追踪结果数据(图10)，生成图19所示的图。分割显示的视频是摄影装置100B拍摄的作业者A的作业视频。

管理者对比显示正常时节拍的图和作业者A的节拍的图，选择有问题的点。

在图19所示的例中，到第十次进入作业区域1为止的时间非常长。

对此，管理者在图上选择第九次进入作业区域1的位置，这样，便能够重放显示从该时间点开始的由摄影装置100B拍摄的视频。

此时，还可以将动作轨迹重叠显示在视频上。这样便能够确定作业者A的作业的落后原因。

表示从退出到进入图19所示的动作区域1所需时间(即移动时间)的图是表示移动时间的的图像的一例。

如上所述，本发明的实施方式涉及的轨迹描画装置能够通过描绘作业者的动作轨迹，分析作业者的作业，而不需要重放视频。

通过预设作业者预定进行作业的动作区域，能够测定作业者在各动作区域的作业时间，计算作业效率。

进而，还能够根据作业者的移动距离(作业距离)来计算规定时间中的移动距离或总移动距离。

Claims (11)

1.一种轨迹描绘装置，其中包括：

帧读入模块，用来读入拍摄了追踪对象的视频的帧；

追踪对象区域设定模块，用来在所述帧读入模块读入的帧上设定所述追踪对象的追踪对象区域；

追踪模块，用来在所述帧读入模块读入的多个帧之间追踪所述追踪对象区域；

描绘模块，用来根据所述追踪模块的追踪结果，描绘所述追踪对象的动作轨迹；以及，

显示控制模块，用来在显示装置上显示所述描绘模块描绘的动作轨迹。

2.根据权利要求1所述轨迹描绘装置，其中，

所述描绘模块除了描绘所述追踪对象的动作轨迹以外，还描绘帧确定信息。

3.根据权利要求2所述轨迹描绘装置，其中，

所述帧确定信息为规定颜色。

4.根据权利要求2所述轨迹描绘装置，其中，

所述帧确定信息为摄影时刻。

5.根据权利要求1至4中任意一项所述轨迹描绘装置，其中进一步具有：

动作区域设定模块，用来在所述帧读入模块读入的帧上设定动作区域；以及，

动作区域确定模块，用来根据所述动作区域设定模块设定的动作区域和所述追踪模块的追踪结果，确定所述追踪对象的动作区域。

6.根据权利要求5所述轨迹描绘装置，其中，

所述描绘模块根据所述追踪模块的追踪结果，计算所述追踪对象在被确定的所述动作区域之间的移动时间，描绘表示求出的所述移动时间的图像。

7.根据权利要求1至4中任意一项所述轨迹描绘装置，其中，

进一步具备移动量计算模块，用来根据所述追踪模块的追踪结果，计算所述追踪对象的移动量。

8.根据权利要求1至4中任意一项所述轨迹描绘装置，其中，

在用户选择了所述显示装置上显示的动作轨迹上的任意位置后，所述显示控制模块取得与被选位置对应的帧，并将该帧显示到所述显示装置上。

9.根据权利要求1至8中任意一项所述轨迹描绘装置，其中，

所述显示控制模块控制在被分割开的显示画面上分别显示由多个摄影装置拍摄的多个图像。

10.一种用于轨迹描绘装置的轨迹描绘方法，其中具有以下工序：

帧读入工序，读入拍摄了追踪对象的视频的帧；

追踪对象区域设定工序，在所述帧读入工序中读入的帧上设定所述追踪对象的追踪对象区域；

追踪工序，在所述帧读入工序中读入的多个帧之间追踪所述追踪对象区域；

描绘工序，根据所述追踪工序的追踪结果，描绘所述追踪对象的动作轨迹；以及，

显示控制工序，在显示装置上显示所述描绘工序中描绘的动作轨迹。

11.一种轨迹描绘系统，其中具有：

权利要求1至9中任意一项所述的轨迹描绘装置；

用来拍摄将被保存到所述轨迹描绘装置中的视频的摄影装置；

用来显示所述轨迹描绘装置描绘的动作轨迹的显示装置；以及，

用来输入用于轨迹描绘装置描绘轨迹的规定条件的输入装置。