CN104519317B - 运动对象跟踪装置、运动对象跟踪系统及运动对象跟踪方法 - Google Patents

Abstract

本发明涉及运动对象跟踪装置、运动对象跟踪系统及运动对象跟踪方法。用于允许显示装置显示在监视区域的实时图像上叠加的运动对象的运动线路的运动对象跟踪装置包括：检测单元，其从监视区域的图像检测运动对象并且输出检测位置信息；第一运动线路生成单元，其移除包括在检测位置信息中的错误检测信息，并且使用已经移除错误检测信息的检测位置信息生成确定运动线路；第二运动线路生成单元，其生成在由检测位置信息表示的实质上最新检测位置和确定运动线路的终点之间内插未确定区段的临时运动线路；以及运动线路信息获得单元，其获得与由结合在一起的确定运动线路和临时运动线路形成的结合运动线路有关的运动线路信息。

Description

运动对象跟踪装置、运动对象跟踪系统及运动对象跟踪方法

技术领域

本发明涉及运动对象跟踪装置、运动对象跟踪系统及运动对象跟踪方法，用于为允许显示装置显示在监视区域的实时图像上叠加运动对象的运动线路的画面，基于由从监视区域的图像检测运动对象获得的检测位置信息，获得运动线路信息。

背景技术

广泛使用监视系统，其包括用于显示监视区域的视频图像的监视器，来监视包括在图像中的、诸如人的运动对象。此外，已知从图像检测运动对象，并且基于由此获得的检测位置信息，生成表示运动对象的运动路径的运动线路(运动轨迹)(见JP 2011-243155A)。如果通过使用这种运动线路生成技术，在实时图像上叠加显示运动线路，可以通过查看所显示的运动线路和包括在该图像中的运动对象，正确地掌握运动对象的运动状态，由此，能提高监视工作的效率。

如上所述，在实时图像上叠加显示运动对象的运动线路的情况下，如果仅按时间顺序连接检测位置，形成运动线路，则运动线路可能显著地偏离运动对象的实际运动路径，因为检测位置可能包括由运动对象检测处理中的误差引起的“噪声”。因此，期望移除由运动对象检测处理的误差引起的噪声，并且基于已经移除噪声的检测位置，生成优化为运动对象的运动路径的确定的运动线路。

然而，执行生成确定的运动线路的处理费时，并且这可能导致相对于运动对象(诸如人)的运动，显著延迟地显示运动线路。在这种情况下，存在运动路径未被显示为紧密地跟随运动对象，由此用户会感受到不协调感的问题。此外，在运动线路未被绘制为紧密地跟随运动对象的情况下，变得难以正确地掌握运动对象的运动状态，产生监视工作的效率下降的问题。

发明内容

做出本发明来解决现有技术中的上述问题，并且本发明的主要目的是提供运动对象跟踪装置、运动对象跟踪系统及运动对象跟踪方法，其被配置成当在监视区域的实时图像上叠加地显示运动对象的运动线路时，防止所显示的运动线路导致用户感受到不协调感，并且允许用户正确地掌握运动对象的运动状态。

为实现上述目的，本发明的第一方面提供一种运动对象跟踪装置，用于为允许显示装置显示在监视区域的实时图像上叠加表示运动对象的运动路径的运动线路的画面，基于通过从监视区域的图像检测运动对象获得的检测位置信息，获得运动线路信息，该运动对象跟踪装置包括：运动对象检测单元，其从监视区域的图像，检测运动对象并且输出运动对象的检测位置信息；第一运动线路生成单元，其移除包括在检测位置信息中的错误检测信息，并且基于已经移除错误检测信息的检测位置信息，生成优化为运动对象的运动路径的确定运动线路；第二运动线路生成单元，其生成在由检测位置信息表示的实质上最新检测位置和确定运动线路的终点之间内插未确定区段的临时运动线路；以及运动线路信息获得单元，其获得有关由确定运动线路和临时运动线路结合在一起形成的结合运动线路的运动线路信息。

根据该结构，与生成确定运动线路的过程的状态无关，由确定运动线路和临时运动线路结合在一起形成的结合运动线路被显示为延伸到显示图像中所示的运动对象的附近。由此，运动线路总是被显示为跟随运动对象，因此，可以避免使用户感受到不协调感并且允许用户正确地掌握运动对象的运动状态，由此提高监视工作的效率。

在本发明的第二方面中，第二运动线路生成单元生成按时间顺序连接由检测位置信息表示的检测位置的未确定运动线路，作为临时运动线路。

根据该结构，由于未确定运动线路包括由于在运动对象检测处理中产生的错误检测而导致的噪声，未确定运动线路可能偏离运动对象的实际运动路径，但未确定运动线路实质上与人的实际运动路径匹配，由此，大大地有助于正确地掌握运动对象的运动状态。

在本发明的第三方面中，当运动对象检测单元从图像检测到多个运动对象时，运动线路信息获得单元获得用于运动对象的每一个的运动线路信息。

根据该结构，即使当检测到多个运动对象时，对每一运动对象显示运动线路，由此可以掌握每一运动对象的运动状态。特别地，由于运动线路被显示为延伸到每一运动对象的最新检测位置，可以避免将每一运动线路与错误运动对象关联。这也有助于正确地掌握每一运动对象的运动状态。

在本发明的第四方面中，运动线路信息包括用于将确定运动线路和临时运动线路显示为能够相互区分的显示信息。

根据该结构，确定运动线路和临时运动线路被显示为可相互区分，由此，可以可视地区分确定运动线路和临时运动线路。特别地，当由未确定运动线路实现临时运动线路时，区分确定运动线路和未确定运动线路允许用户掌握确定运动线路的状况。

在本发明的第五方面中，通过线条类型、厚度、暗度和颜色中的至少一个相互不同的线条，绘制确定运动线路和临时运动线路。

根据该结构，能易于可视地将确定运动线路和临时运动线路相互区分。

在本发明的第六方面中，用实线绘制确定运动线路和临时运动线路中的一个，并且用虚线绘制另一个。

根据该结构，能更容易可视地区分确定运动线路和临时运动线路。

在本发明的第七方面中，对确定运动线路和临时运动线路中的至少一个执行动画显示以定期地改变线条的显示状态。

根据该结构，确定运动线路和未确定运动线路可以被显示为可相互区分。可以对确定运动线路和临时运动线路的每一个执行动画显示。在这种情况下，应当对确定运动线路和临时运动线路执行不同动画显示。

在本发明的第八方面中，运动对象跟踪装置进一步包括显示方法设定单元，其根据由用户执行的、用于指定确定运动线路和临时运动线路的显示方法的输入操作，将显示方法设定为由用户指定的显示方法，其中，根据由该显示方法设定单元设定的显示方法，生成显示信息。

根据该结构，确定运动线路和临时运动线路的显示方法能根据需要由用户指定，由此，提高用户便利性。

在本发明的第九方面中，提供一种运动对象跟踪系统，用于为允许显示装置显示在监视区域的实时图像上叠加表示运动对象的运动路径的运动线路的画面，基于通过从该监视区域的图像检测运动对象获得的检测位置信息，获得运动线路信息，该运动对象跟踪系统包括：捕捉监视区域的图像的相机；多个信息处理装置，以及显示装置，其显示在监视区域的实时图像上叠加运动线路的画面，其中，多个信息处理装置共同包括：运动对象检测单元，其从监视区域的图像检测运动对象，并且输出运动对象的检测位置信息；第一运动线路生成单元，其移除包括在检测位置信息中的错误检测信息，并且基于已经移除错误检测信息的检测位置信息，生成优化为运动对象的运动路径的确定运动线路；第二运动线路生成单元，其生成在由检测位置信息表示的实质上最新检测位置和确定运动线路的终点之间内插未确定区段的临时运动线路；运动线路信息获得单元，其获得有关由确定运动线路和临时运动线路结合在一起形成的结合运动线路的运动线路信息；以及画面生成单元，其基于运动线路信息，生成在监视区域的实时图像上叠加运动线路的画面。

根据该结构，如在本发明的第一方面中，当在监视区域的实时图像上叠加显示运动对象的运动线路时，可以防止所显示的运动线路导致用户感受到不协调感，并且允许用户正确地掌握运动对象的运动状态。

在本发明的第十方面中，提供一种运动对象跟踪方法，用于为允许显示装置显示在监视区域的实时图像上叠加表示运动对象的运动路径的运动线路的画面，基于通过从该监视区域的图像检测运动对象获得的检测位置信息，获得运动线路信息，包括：从监视区域的图像检测运动对象并且输出运动对象的检测位置信息；移除包括在检测位置信息中的错误检测信息，并且基于已经移除错误检测信息的检测位置信息，生成优化为运动对象的运动路径的确定运动线路；生成在由检测位置信息表示的实质上最新检测位置和确定运动线路的终点之间内插未确定区段的临时运动线路；以及获得有关由确定运动线路和临时运动线路结合在一起形成的结合运动线路的运动线路信息。

根据该结构，如在本发明的第一方面中，当在监视区域的实时图像上叠加显示运动对象的运动线路时，可以防止所显示的运动线路导致用户感受到不协调感，并且允许用户正确地掌握运动对象的运动状态。

附图说明

现在，参考附图，根据其优选实施例，在下文中描述本发明，其中：

图1是示出根据本发明的实施例的运动对象跟踪系统的整体构造的图；

图2是示意性地示出运动对象跟踪装置4和个人计算机(PC)3的功能结构的框图；

图3是用于说明分别由确定运动线路生成单元23和临时运动线路生成单元24生成的确定运动线路和未确定运动线路的状态的说明图；

图4是示出在比较例子中，在监视器7上显示的画面中所示的运动线路的说明图；

图5是示出在本发明的实施例中，在监视器7上显示的画面中示出的运动线路的说明图；

图6是示出由运动对象跟踪装置4执行的处理的流程图；

图7是用于说明显示运动线路的示例性方法的说明图；

图8是用于说明显示运动线路的示例性方法的说明图；

图9是用于说明显示运动线路的示例性方法的说明图；

图10是用于说明临时运动线路的其他例子的说明图；

图11是用于说明显示由确定运动线路和未确定运动线路结合在一起形成的结合运动线路的方法的说明图；以及

图12是用于说明在检测到多人的情况下，运动线路的显示的状态的说明图。

具体实施方式

在下文中，将参考附图，描述本发明的实施例。

图1是根据本发明的实施例的运动对象跟踪系统的整体构造的图。为诸如超市等等的零售店设计该运动对象跟踪系统，该运动对象跟踪系统包括相机1、记录器(图像存储装置)2、个人计算机(PC)3和运动对象跟踪装置4。

相机1安装在商店中的适当位置来捕捉商店中的监视区域的图像，并且由此获得的图像信息被记录在记录器2中。

PC3与用于诸如监视人员的用户执行各种输入操作的、诸如鼠标的输入装置6以及显示监视画面的监视器(显示装置)7连接。应注意到，输入装置6和监视器7可以实现为触控板显示器。

PC3设立在商店的安全位置等等中，并且使监视器7显示使监视人员(诸如保安人员)浏览由相机1拍摄的商店内部的实时图像或在记录器2中记录的商店内部的过去图像的监视画面。

安装在管理办公室中的PC11也与图中未示出的监视器连接，使得处于管理办公室的用户能通过观看由相机1拍摄的商店内部的实时图像或在记录器2中记录的商店内部的过去图像，检查商店中的情形。

接着，将描述图1中所示的每一运动对象跟踪装置4执行的运动对象跟踪处理。图2是示意性地示出运动对象跟踪装置4和PC3的功能结构的框图。应注意到，为简化起见，图2仅示出一个相机1和一个运动对象跟踪装置4，尽管系统可以包括多个相机1和运动对象跟踪装置4，如图1所示。

运动对象跟踪装置4包括图像输入单元21、运动对象检测单元22、确定运动线路生成单元(第一运动线路生成单元)23、临时运动线路生成单元(第二运动线路生成单元)24、运动线路信息获得单元25、运动线路输出单元26和显示方法设定单元27。PC3包括跟踪装置控制单元31和画面生成单元32。

运动对象跟踪装置4的图像输入单元21接收从相机1输出的图像(帧)。运动对象检测单元22执行从输入到图像输入单元21的图像检测人(运动对象)并且对于每个人输出检测位置信息的处理。该运动对象检测处理可以通过使用已知的图像识别技术(人物检测技术、人物跟踪技术等等)来执行。

确定运动线路生成单元23执行移除包括在由运动对象检测单元22获得的检测位置信息(诸如人的位置坐标)中的错误的检测信息(诸如噪声)，并且基于已经移除错误的检测信息的检测位置信息，获得优化为人的运动路径的确定运动线路的处理。在该确定运动线路生成处理中，通过使用适当地平滑算法，对检测位置信息执行数据清理。

临时运动线路生成单元24执行生成在由运动对象检测单元22获得的最近检测位置和由确定运动线路生成单元23生成的确定运动线路的终点之间的未确定区段中，内插运动线路的临时运动线路的处理。特别地，在本实施例中，临时运动线路生成单元24生成通过按时间顺序连接由运动对象检测单元22获得的检测位置信息表示的未确定区段中的检测位置形成的未确定运动线路，作为临时运动线路。

运动线路信息获得单元25执行获得与通过结合确定运动线路和临时运动线路形成的结合运动线路有关的运动线路信息的处理。从运动线路输出单元26输出由运动线路信息获得单元25获得的运动线路信息。

PC3的跟踪装置控制单元31执行根据由使用输入装置6的用户执行的输入操作，诸如设定与由运动对象跟踪装置4执行的各种处理有关的条件，控制运动对象跟踪装置4的处理。

特别地，在本实施例中，由PC3的跟踪装置控制单元31控制的运动对象跟踪装置4的显示方法设定单元27，进行与用于将确定运动线路和临时运动线路的运动线路显示为以便区分彼此的显示方法有关的设定。即，当由使用PC3的输入装置6的用户执行用于指定运动线路的显示方法的操作时，由显示方法设定单元27执行将显示方法设定到由用户的输入操作指定的显示方法的处理。然后，运动线路信息获得单元25执行根据由显示方法设定单元27设定的显示方法，生成用于将确定运动线路和临时运动线路显示为区分彼此的显示信息的处理。该显示信息被包括在运动线路信息中并且从运动线路输出单元26输出。

画面生成单元32执行生成将在监视器7上显示的监视画面的处理。特别地，在本实施例中，画面生成单元32基于从运动对象跟踪装置4获得的运动线路信息和来自相机1的图像信息，生成在实时图像上叠加人的运动线路的画面。特别地，基于包含在运动线路信息中的显示信息，将确定运动线路和临时运动线路显示为以便彼此区分。

应注意到，通过由PC3的CPU执行用于运动对象跟踪的程序，实现图2中所示的PC3的各个单元。这些程序可以安装在PC3中，作为专门设计的应用程序。也可以通过Web服务器功能提供运动对象跟踪装置4并且使PC3运行通用的Web浏览器来实现必要功能。

接着，将描述图2中所示的运动对象跟踪装置4的确定运动线路生成单元23、临时运动线路生成单元24和运动线路信息获得单元25执行的处理。图3是用于说明分别由确定运动线路生成单元23和临时运动线路生成单元24生成的确定运动线路和未确定运动线路的状态的说明图。图4是示出在比较例子中，在监视器7上显示的画面中所示的运动线路的说明图。图5是示出在本实施例中，在监视器7上显示的画面中所示的运动线路的说明图。在图4和图5中，显示表示人的位置的边框图像来环绕该人。

如图3所示，确定运动线路生成单元23生成确定运动线路。在由运动对象检测单元22检测的检测位置的可靠度低的情况下，执行确定运动线路生成处理是费时的，由此，相对于人的运动，显著延迟地生成确定运动线路，如图3的部分(A)所示。当具有高可靠度的检测位置变为可用时，确定运动线路赶上人的运动，使得在显示图像中确定运动线路延伸到人的附近，如图3的部分(B)中所示。应注意到，尽管在上文中，说明了确定运动线路生成处理中的延迟能起因于检测位置的低可靠度，但通常，该延迟受平滑算法的处理负担影响。例如，如果平滑算法被设计为通过考虑一定范围的过去(以前)和未来(以后)检测位置信息来确定当前检测位置，则使确定运动线路的生成(更新)延迟处理该以前和以后检测位置信息所需的时间段。此外，在这种算法中，使确定运动线路的生成(更新)延迟用于获得以后帧(以后检测位置信息)的时间段。

如果在实时图像上重叠地显示确定运动线路，则在图3的部分(A)所示的状态中，离开在显示图像中所示的人地显示确定运动线路，如图4的部分(A)所示，并且尽管人在运动，但不更新运动线路来跟随该人。因此，当面临图3中的部分(B)所示的状态时，将确定运动线路突然更新为延伸到人的最后检测位置的附近，如图4的部分(B)中所示。由此，当简单地显示确定运动线路时，当人正在运动时，运动线路不被绘制为紧密地跟随该人，这使得用户感受到不协调感。此外，这也使得难以正确地掌握人的运动状态，由此降低监视工作的效率。

相反，在本实施例中，临时运动线路生成单元24生成通过按时间顺序连接由检测位置信息表示的检测位置形成的未确定运动线路，作为在由运动对象检测单元22获得的最新检测位置和确定运动线路的终点之间内插未确定区段的临时运动线路，并且运动线路信息获得单元25生成由结合在一起的确定运动线路和未确定运动线路形成的结合运动线路。

由此，在图3的部分(A)所示的状态中，将通过结合确定运动线路和未确定运动线路形成的结合运动线路显示为延伸到显示图像中所示的人的附近，如图5的部分(A)所示。同时，当面临图3的部分(B)中所示的状态时，由图5的部分(B)中所示的确定运动线路的更新(或新生成)部分，替换由图5的部分(A)中的未确定运动线路表示的区段。由此，在本实施例中，运动线路被显示为跟随该人，因此，可以避免用户感受到不协调感并且允许用户正确地掌握人的运动状态，由此提高监视工作的效率。

应注意到，确定运动线路生成处理受在运动对象检测处理中所做的错误检测的程度影响，由此，未确定运动线路的长度取决于在运动对象检测处理中所做的错误检测的次数而改变。然而，与确定运动线路生成处理的状态无关，由结合在一起的确定运动线路和临时运动线路形成的结合运动线路总是被显示为延伸到显示图像中所示的人(运动对象)附近。此外，由于还要求一定时间来执行运动对象检测处理，未确定运动线路的终点，即，最新检测位置可能不被准确地定位在显示图像中所示的人的图像上。然而，由于运动对象检测处理不要求大量时间，在画面图像中所示的人的位置和人的最新检测位置之间不会产生显著区别，并且未确定运动线路被显示为延伸到显示图像中所示的人的图像的附近。

此外，在本实施例中，将通过按时间顺序连接检测位置形成的未确定运动线路显示为在最新检测位置和确定运动线路的终点之间内插未确定区段的临时运动线路。由于在运动对象检测处理中做出的错误检测，未确定运动线路包括噪声，未确定运动线路可能偏离人的实际运动路径。然而，未确定运动线路实质上与人的实际运动路径匹配，由此，大大有助于正确地掌握该人的运动状态。

此外，在本实施例中，响应于由用户执行的输入操作来指定确定运动线路和临时运动线路的显示方法，设定单元27执行将显示方法设定到由用户指定的显示方法的处理，并且运动线路信息获得单元25根据由此设定的显示方法，生成运动线路的显示信息。由此，用户可以根据需要，自由地设定确定运动线路和临时运动线路的显示方法，由此提高用户便利性。

接着，将描述由图2所示的运动对象跟踪装置4执行的处理。图6是示出由运动对象跟踪装置4执行的处理的流程图。

在运动对象跟踪装置4中，当将从相机1输出的图像(帧)输入到图像输入单元21时(ST101)，运动对象检测单元22执行从图像检测人的处理(ST102)。然后，如果从图像检测到人(ST103为是)，确定运动线路生成单元23执行基于运动对象检测信息生成确定运动线路的处理(ST104)。此外，临时运动线路生成单元24执行基于运动对象检测信息，生成未确定运动线路的处理(ST105)。接着，运动线路信息获得单元25执行获得与通过结合确定运动线路和未确定运动线路形成的结合运动线路有关的运动线路信息的处理(ST106)，并且从运动线路输出单元26输出由运动线路信息获得单元25生成的运动线路信息(ST107)。

另一方面，如果未从图像检测到人(ST103为否)，不执行生成确定运动线路、生成临时运动线路、获得运动线路信息和输出运动线路信息的处理(ST104至ST107)，并且控制流进行到下一图像(帧)的处理。

接着，将描述显示在图2所示的监视器7上显示的画面中所示的运动线路的方法。图7、图8和图9是用于说明显示运动线路的示例性方法的说明图。

在图7的部分(A)所示的例子中，由不同类型的线条，绘制确定运动线路和未确定运动线路。特别地，在该例子中，由实线绘制确定运动线路，而用虚线绘制未确定运动线路。应注意到，可以由除实线和虚线外的线条，诸如点线、点划线、双点划线等等，绘制确定运动线路和未确定运动线路。

在图7的部分(B)所示的例子中，用具有不同暗度(阴影)的线条，绘制确定运动线路和未确定运动线路。特别地，在该例子中，用暗线条绘制确定运动线路，而用亮线条绘制未确定运动线路。应注意到，可以用不同色调(色相)的线条绘制确定运动线路和未确定运动线路。例如，可以用红色绘制确定运动线路，而用蓝色绘制未确定运动线路。

此外，在图7的部分(C)所示的例子中，用具有不同厚度的线条绘制确定运动线路和未确定运动线路。特别地，在该例子中，用粗线绘制确定运动线路，而用细线绘制未确定运动线路。

如上所述，在本实施例中，相互可区分地显示确定运动线路和临时运动线路，由此，可以可视地将确定运动线路和临时运动线路彼此区分。特别地，当由未确定运动线路实现临时运动线路时，区分确定运动线路和未确定运动线路允许用户掌握确定运动线路的状况。

特别地，在本实施例中，用线条类型、厚度、暗度和颜色的至少一个不同的线条，绘制确定运动线路和临时运动线路，可以易于可视地将确定运动线路和临时运动线路彼此区分。

另一方面，在图8所示的例子中，对未确定运动线路执行定期地改变线条的显示状态的动画显示。特别地，本实施例中，闪烁显示未确定运动线路。即，交替地重复如图8的部分(A)所示地显示未确定运动线路的第一显示状态和如图8的部分(B)所示地不显示未确定运动线路的第二显示状态。总是显示确定运动线路。

如上所述，在本实施例中，对未确定运动线路执行定期地改变线条的显示状态的动画显示，由此，能将确定运动线路和未确定运动线路显示为使得可区分彼此。

应注意到，可以对确定运动线路执行动画显示。此外，也可以对确定运动线路和临时运动线路的每一个执行动画显示。在这种情况下，可以对确定运动线路和临时运动线路执行不同的动画显示。

此外，在图7和图8所示的例子中，仅在未确定区段中显示未确定运动线路。然而，在图9所示的例子中，在确定区段和未确定区段的每一个中，显示未确定运动线路，由此，在确定区段中，同时显示确定运动线路和未确定运动线路。

可以适当地组合显示图7至9所示的运动线路的方法。例如，可以绘制分别表示确定运动线路和未确定运动线路的实线和虚线，如图7的部分(A)所示，使得实线和虚线具有不同的暗度和/或色调，如在图7的部分(B)所示的例子中。此外，在图8所示的例子中，分别用实线绘制对其执行动画显示的确定运动线路和未确定运动线路，但通过具有不同属性，诸如线条类型的线条，绘制确定运动线路和未确定运动线路，如图7所示的例子中。

接着，将描述临时运动线路的其他例子。图10是用于说明临时运动线路的其他例子的说明图。

在图10的部分(A)所示的例子中，与图7所示的例子类似，将通过按时间顺序连接检测位置形成的未确定运动线路显示为未确定区段中的临时运动线路。

另一方面，在图10的部分(B)所示的例子中，显示直线作为未确定区段中的临时运动线路。该直线被绘制为连接由运动对象检测单元22获得的最新检测位置和确定运动线路的终点。应注意到可以显示曲线作为未确定区段中的临时运动线路。在这种情况下，基于确定运动线路在其终点附近的部分的曲率(弯曲度)等等，形成该曲线。

此外，在图10的部分(C)所示的例子中，将“简化的”未确定运动线路显示为临时运动线路。与图10的部分(A)所示的、其中连接按时间顺序排列的所有检测位置来绘制未确定运动线路的例子相反，在图10的部分(C)所示的例子中，部分地忽略检测位置。即，使按时间顺序排列的检测位置稀疏化，并且将由连接稀疏化的检测点的直线段形成的线条绘制为临时运动线路。

优选能根据用户需要，适当地选择在图10中所示的临时运动线路的实施例，如同图7至图9所示的确定运动线路和未确定运动线路的显示方法。

接着，将描述显示由结合在一起的确定运动线路和未确定运动线路形成的结合运动线路的方法。图11是用于说明显示由结合在一起的确定运动线路和未确定运动线路形成的结合运动线路的方法的说明图。

当显示由结合在一起的确定运动线路和未确定运动线路形成的结合运动线路时，通过按时间顺序，连接未确定区段，即确定运动线路的终点的时刻后的区段中的检测位置，生成未确定运动线路，但确定运动线路的终点(即，未确定运动线路的起点)的时刻的检测位置不一定与确定运动线路的终点相同。在这种情况下，可以采用图11的部分(A)和(B)所示的绘制方法。

在图11的部分(A)所示的例子中，通过连接线，连接确定运动线路的终点和未确定运动线路的起点。连接线可以是直线或者曲线。当连接线由曲线组成时，可以基于确定运动线路在终点附近的部分和/或未确定运动线路在起点附近的部分的曲率(弯曲度)等等，形成该曲线。

在图11的部分(B)所示的例子中，不连接确定运动线路的终点和未确定运动线路的起点，由此，在确定运动线路和未确定运动线路之间形成间隙。在这种情况下，如果确定运动线路和未确定运动线路之间的间隙大，用户会感受到不协调感。然而，通常，同一时间点，确定运动线路的终点和未确定运动线路的起点之间的差别不显著，并且确定运动线路和未确定运动线路之间的间隙小，由此，用户实质上不会感受到不协调感。

优选的是，能根据用户需要，适当地选择图11中所示的结合运动线路的绘制方法，如同图7至图9所示的确定运动线路和未确定运动线路的显示方法。

接着，将描述在检测到多人的情况下，运动线路的显示状态。图12是用于说明在检测到多人的情况下，运动线路的显示状态的说明图。其中，将描述存在检测到两个人的情形，但本发明能类似地应用于检测到两个人以上的情形。

首先，当如图12的部分(A)所示，检测到两个人时，对两个人的每一个，显示确定运动线路和未确定运动线路，如同检测到单个人的情形。然后，如图12的部分(B)所示，当两个人相互接近时，相互分开地显示该两个人的确定运动线路，而未确定运动线路合并，使得对该两个人，显示单个未确定线路。接着，如果两个人彼此离开，如图12的部分(C-1)所示，则对两个人的每一个，显示确定运动线路和未确定运动线路。

另一方面，如果从图12的部分(B)所示的状态，两个人运动同时相互保持短距离，如图12的部分(C-2)所示，则对各个人显示的两个确定运动线路合并成一个，如同未确定运动线路。

如上所述，在本实施例中，即使当检测到多人时，对每一人显示运动线路，由此，可以掌握每个人的运动状态。特别地，在本实施例中，运动线路被显示为延伸到每一人的最新检测位置，由此，可以避免将每一运动线路与错误的人关联。这也有助于正确地掌握每人的运动状态。

在上文中，已经就其具体实施例，描述了本发明。然而，为示例目的提供这些实施例，并且本发明不受实施例限定。应注意到，并非全部在本发明的实施例中所示的运动对象跟踪装置、运动对象跟踪系统和运动对象跟踪方法的结构元件均是必不可少的，根据需要，可以有选择地使用它们，而不背离本发明的精神。

例如，在上述实施例中，描述了将本发明应用于诸如超市的零售店的例子。然而，本发明可以应用于除零售店外的商业机构，诸如可以是休闲餐厅等等的饭店。此外，本发明可以应用于除商业机构外的设施，诸如工厂、飞机、铁路、高速公路、公共设施、发电厂等等，只要可以采用大面积监视系统。

此外，在上述实施例中，描述了待跟踪的运动对象为人的例子。然而，可以使用本发明来跟踪除人以外的运动对象，诸如可以包括汽车、自行车等等的车辆。

此外，在上述实施例中，基于由运动对象检测单元22获得的最新检测位置，生成临时运动线路(未确定运动线路)。然而，不一定要求基于检测位置生成临时运动线路，并且可以基于时间上接近最新检测位置的检测位置，生成临时运动线路。

此外，在上述实施例中，可以与照相机1分开地提供运动对象跟踪装置4，但运动对象跟踪装置4的功能的一部分或全部可以合并在照相机1中来构成具有运动对象跟踪功能的成像装置。此外，为增加处理速度，可以将运动对象跟踪装置4的功能的一部分，诸如确定运动线路生成单元23和运动线路信息获得单元25的功能转移到PC3。也可以将PC3的功能合并在运动对象跟踪装置4中或将运动对象跟踪装置4和PC3的功能合并在记录器2中。在这些结构中，PC3变得不必要。

此外，在图2所示的例子中，将显示方法设定单元27提供给运动对象跟踪装置4，但可以将显示方法设定单元27提供给PC3。在这种情况下，能在PC3侧，选择用于从运动线路输出单元26输出的确定运动线路和未确定运动线路的每一个的显示方法。

此外，本实施例中，通过在商店设立的装置，执行运动对象跟踪处理中的所有处理，但这些必要处理可以由设立在管理办公室的PC11或形成云计算系统的云计算机12执行。此外，这些必要的处理可以通过协同多个信息处理装置来执行，在该情况下，多个信息处理装置被配置成能经诸如IP网络或LAN的通信媒介，彼此通信或共享信息。由此，联合地执行必要处理的多个信息处理装置构成运动对象跟踪系统。

在这种情况下，优选的是设立在商店的装置被配置成至少执行运动对象检测处理。在这种结构中，由于由运动对象检测处理获得的信息具有少量数据，即使由设立在除商店外的地方的信息处理装置，诸如设置在管理办公室的PC11执行剩余处理，通信负担也能够小，由此，易于以广域网的形式操作系统。

还可以优选将云计算机12配置成至少执行确定运动线路生成处理。在这种结构中，尽管确定运动线路生成处理要求大量计算，但能通过构成云计算系统的信息处理装置实现该处理，因此，不必在用户侧，即商店等等准备高速信息处理装置。此外，由于剩余处理要求少量计算，能将剩余处理执行为设立在商店以充当销售信息管理装置的信息处理装置的延伸功能，这能减轻用户承担的成本。

还可以进行配置，使得云计算机12执行必要处理的全部或一部分，或将由运动对象跟踪处理获得的运动线路信息传输到云计算机12。这种结构使得可以在除设立在商店的PC3和设立在管理办公室的PC11外，在诸如智能电话13的运动终端上查看运动对象的跟踪状态，并且这允许用户不仅在商店或办公室，而且在任何其他地方。诸如用户正商务访问的场所查看跟踪状态。

此外，在上述实施例中，在设立在商店的PC3的监视器7上，显示包括在实时图像上叠加的一个或多个运动线路的监视画面，但可以与PC3分开地提供用于显示监视画面的显示装置。例如，可以将上述的设置在管理办公室的PC11或智能电话13用作用于显示监视画面的显示装置。除此之外，也可以将用于显示监视画面的显示装置的功能添加到设置在商店的销售信息管理装置。

根据本发明的运动对象跟踪装置、运动对象跟踪系统和运动对象跟踪方法能当在监视区域的实时图像上叠加地显示运动对象的运动线路时，防止所显示的运动线路导致用户感受到不协调感，并且允许用户正确地掌握运动对象的运动状态，由此，可用作为允许显示装置显示包括在监视区域的实时图像上叠加的运动对象的运动线路的画面，基于通过从监视区域的图像检测运动对象获得的检测位置信息，获得运动线路信息的运动对象跟踪装置、运动对象跟踪系统和运动对象跟踪方法。

Claims (10)

1.一种运动对象跟踪装置(4)，用于为允许显示装置(7)显示在监视区域的实时图像上叠加表示运动对象的运动路径的运动线路的画面，基于通过从所述监视区域的图像检测所述运动对象获得的检测位置信息，获得运动线路信息，所述运动对象跟踪装置包括：

运动对象检测单元(22)，所述运动对象检测单元从所述监视区域的图像检测所述运动对象，并且输出所述运动对象的所述检测位置信息；

第一运动线路生成单元(23)，所述第一运动线路生成单元移除包括在所述检测位置信息中的错误检测信息，并且基于已经移除所述错误检测信息的所述检测位置信息，生成优化为所述运动对象的运动路径的确定运动线路；

第二运动线路生成单元(24)，所述第二运动线路生成单元生成在由所述检测位置信息表示的实质上最新检测位置和所述确定运动线路的终点之间内插未确定区段的临时运动线路；以及

运动线路信息获得单元(25)，所述运动线路信息获得单元获得与由结合在一起的所述确定运动线路和所述临时运动线路形成的结合运动线路有关的运动线路信息。

2.根据权利要求1所述的运动对象跟踪装置，其中，所述第二运动线路生成单元生成按时间顺序连接由所述检测位置信息表示的检测位置的未确定运动线路，作为所述临时运动线路。

3.根据权利要求1所述的运动对象跟踪装置，其中，当所述运动对象检测单元从图像检测到多个运动对象时，所述运动线路信息获得单元获得所述运动对象中的每一个的所述运动线路信息。

4.根据权利要求1至3中的任一项所述的运动对象跟踪装置，其中，所述运动线路信息包括用于将所述确定运动线路和所述临时运动线路显示为能够相互区分的显示信息。

5.根据权利要求4所述的运动对象跟踪装置，其中，通过线条类型、厚度、暗度和颜色中的至少一个相互不同的线条，绘制所述确定运动线路和所述临时运动线路。

6.根据权利要求5所述的运动对象跟踪装置，其中，用实线绘制所述确定运动线路和所述临时运动线路中的一个，并且用虚线绘制另一个。

7.根据权利要求4所述的运动对象跟踪装置，其中，对所述确定运动线路和所述临时运动线路中的至少一个执行动画显示以定期地改变线条的显示状态。

8.根据权利要求4所述的运动对象跟踪装置，进一步包括显示方法设定单元(27)，所述显示方法设定单元根据由用户执行的、用于指定所述确定运动线路和所述临时运动线路的显示方法的输入操作，将显示方法设定为由所述用户指定的显示方法，

其中，根据由所述显示方法设定单元设定的显示方法，生成所述显示信息。

9.一种运动对象跟踪系统，用于为允许显示装置(7)显示在监视区域的实时图像上叠加表示运动对象的运动路径的运动线路的画面，基于通过从所述监视区域的图像检测所述运动对象获得的检测位置信息，获得运动线路信息，所述运动对象跟踪系统包括：

相机(1)，所述相机捕捉所述监视区域的图像；

多个信息处理装置(2，3，11，12，13)，以及

显示装置(7)，所述显示装置显示在所述监视区域的所述实时图像上叠加所述运动线路的画面，

其中，所述多个信息处理装置共同包括：

运动对象检测单元(22)，所述运动对象检测单元从所述监视区域的图像检测所述运动对象，并且输出所述运动对象的所述检测位置信息；

第一运动线路生成单元(23)，所述第一运动线路生成单元移除包括在所述检测位置信息中的错误检测信息，并且基于已经移除所述错误检测信息的所述检测位置信息，生成优化为所述运动对象的运动路径的确定运动线路；

第二运动线路生成单元(24)，所述第二运动线路生成单元生成在由所述检测位置信息表示的实质上最新检测位置和所述确定运动线路的终点之间内插未确定区段的临时运动线路；

运动线路信息获得单元(25)，所述运动线路信息获得单元获得与由结合在一起的所述确定运动线路和所述临时运动线路形成的结合运动线路有关的运动线路信息；以及

画面生成单元(32)，所述画面生成单元基于所述运动线路信息，生成在所述监视区域的所述实时图像上叠加所述运动线路的画面。

10.一种运动对象跟踪方法，用于为允许显示装置(7)显示在监视区域的实时图像上叠加表示运动对象的运动路径的运动线路的画面，基于通过从所述监视区域的图像检测所述运动对象获得的检测位置信息，获得运动线路信息，所述运动对象跟踪方法包括：

从所述监视区域的图像检测所述运动对象，并且输出所述运动对象的所述检测位置信息(ST102)；

移除包括在所述检测位置信息中的错误检测信息，并且基于已经移除所述错误检测信息的所述检测位置信息，生成优化为所述运动对象的运动路径的确定运动线路(ST104)；

生成在由所述检测位置信息表示的实质上最新检测位置和所述确定运动线路的终点之间内插未确定区段的临时运动线路(ST105)；以及

获得与由结合在一起的所述确定运动线路和所述临时运动线路形成的结合运动线路有关的运动线路信息(ST106)。