CN108475431B

CN108475431B - 图像处理装置、图像处理系统、图像处理方法和记录介质

Info

Publication number: CN108475431B
Application number: CN201680074749.8A
Authority: CN
Inventors: 小元翔太郎; 大村庆二
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2015-12-18
Filing date: 2016-11-24
Publication date: 2022-02-18
Anticipated expiration: 2036-11-24
Also published as: JPWO2017104372A1; US10949983B2; EP3392829A4; EP3392829B1; CN108475431A; WO2017104372A1; JP6756338B2; EP3392829A1; US20180374221A1

Abstract

本发明特征在于提供了：再现单元，其用于在显示装置的特定显示区域中再现和显示由成像装置捕获的视频数据；特征区域检测单元，其用于在由再现单元显示的视频数据的第一帧中，基于针对跟踪目标预先注册的特征信息来检测多个特征区域；以及跟踪区域检测单元，其用于基于由特征区域检测单元检测出的多个特征区域之间的距离，来检测包括多个特征区域的区域作为包括跟踪目标的跟踪区域。

Description

图像处理装置、图像处理系统、图像处理方法和记录介质

技术领域

本发明涉及图像处理装置、图像处理系统、图像处理方法和记录介质。

背景技术

近年来，用于分析通过诸如摄像机的成像装置记录和获得的视频数据并且在视频中检测物体或者跟踪物体移动的图像处理技术发展显著。作为用于检测或跟踪物体的图像处理方法，已有各种方法，诸如背景减除、帧减除、粒子滤波、光流、均值移位法、模板匹配、以及特征匹配。

作为用于跟踪目标物体的技术，已经公开了一种技术，其中通过将用于跟踪目标物体的特征点的设备和用于使用直方图来重新发现的设备进行组合而准确地跟踪目标物体。

现有技术文献

专利文献

专利文献1：日本特开2005-309746号公报

发明内容

发明所解决的问题

然而，专利文献1中描述的技术具有以下问题：当在周围存在与目标物体的特征区域类似的区域时，可能会错误地检测到该类似的区域。

鉴于上述情况而构思出本发明，并且目的在于提供一种能够准确地只跟踪特定跟踪目标的图像处理装置、图像处理系统、图像处理方法和记录介质。

解决问题的方案

为了解决上述问题和完成该目的，本发明包括：再现单元，其用于在显示设备上的特定显示区域中再现和显示通过成像装置捕获的视频数据；特征区域检测单元，其用于在由再现单元显示的视频数据的第一帧中，基于针对跟踪目标预先注册的特征信息来检测多个特征区域；以及跟踪区域检测单元，其用于基于由特征区域检测单元检测出的多个特征区域之间的距离，来检测包括多个特征区域的区域作为包括跟踪目标的跟踪区域。

发明的效果

根据本发明，能够准确地只跟踪特定的跟踪目标。

附图说明

[图1]图1是示出根据实施例的图像处理系统的总体配置的示例的示意图。

[图2]图2是示出根据实施例的信息处理装置的硬件配置的示例的示意图。

[图3]图3是示出根据实施例的信息处理装置的功能块配置的示例的示意图。

[图4]图4是示出由根据本实施例的信息处理装置执行的颜色注册处理的流程示例的流程图。

[图5]图5是示出将视频显示在跟踪屏幕上的状态的示例的示意图，其中的跟踪屏幕显示在根据本实施例的信息处理装置的显示单元上。

[图6]图6是用于解释根据本实施例的信息处理装置中注册跟踪目标的颜色的操作的示意图。

[图7]图7是示出用于检测跟踪目标并且显示在根据本实施例的信息处理装置的显示单元上的帧的示例的示意图。

[图8]图8是示出提取图像的示例的示意图，其中具有针对根据本发明的信息处理装置的显示单元上显示的帧所注册的颜色的区域被提取。

[图9]图9是示出二值化图像的示例的示意图，该二值化图像通过将显示在根据本发明的信息处理装置的显示单元上的帧的提取图像进行二值化化而获得的。

[图10]图10是示出标签图像的示例的示意图，该标签图像是通过将显示在根据本实施例的信息处理装置的显示单元上的帧的二值化图像的每个块执行标签处理而获得的。

[图11]图11是示出目标识别图像的示例的示意图，其中针对根据本发明的信息处理装置的显示单元上显示的帧只留下特定的块。

[图12]图12是用于说明针对根据本发明的信息处理装置的显示单元上显示的帧从目标识别图像检测到的两个特征区域和特征区域之间的距离的示意图。

[图13]图13是用于说明针对根据本发明的信息处理装置的显示单元上显示的帧，用于判定目标识别图像中的搜索区域的操作的示意图。

[图14]图14是示出由根据本实施例的信息处理装置执行的对于跟踪目标的跟踪处理的流程示例的流程图。

[图15]图15是示出跟踪结果表的示例的示意图，该跟踪结果表指示通过由根据本实施例的信息处理装置执行的跟踪处理检测到跟踪区域有关的信息。

[图16]图16是示出轨迹线重叠在根据本实施例的信息处理装置的显示单元上显示的视频的状态的示例的示意图。

[图17]图17是用于说明当显示在根据本实施例的信息处理装置的显示单元上的轨迹线被选择时执行的操作的示意图。

[图18]图18是用于说明雇佣工人佩戴的两色腕带作为跟踪目标的示例的示意图。

[图19]图19是用于说明附接到购物者携带的篮子的两色片作为跟踪目标的示例的示意图。

[图20]图20是用于说明附接到书法笔刷的两色印章作为跟踪目标的示例的示意图。

[图21]图21是用于说明根据本实施例的第一变型的信息处理装置中注册跟踪目标的形状的操作的示意图。

[图22]图22是用于说明由根据本实施例的第二变型的信息处理装置对于多个跟踪目标进行的跟踪处理的示意图。

具体实施方式

下面将参考附图描述根据本发明的图像处理装置、图像处理系统、图像处理方法和记录介质的实施例。本发明不受以下实施例的显示，并且下面描述的实施例中的组件包括本领域技术人员容易想到的组件、实际上相同的组件、以及等同范围内的组件。此外，在不脱离下面实施例的主旨的范围内，可以进行组件的各种省略、替换以及变型。

(图像处理系统的总体配置)

图1是示出根据本实施例的图像处理系统的总体配置的示例的示意图。参考图1，将描述根据本实施例的图像处理系统1的总体配置。

如图1所示，根据本实施例的图像处理系统1包括成像装置2a至2f、信息处理装置3、以及网络4。

成像装置2a-2f是如下的摄像机：通过将来自物体的光转换为电信号来使物体成像(捕获物体)并且生成视频数据，该视频数据是配置有多个帧(图像数据)(例如，10(fps)、25(fps)等)的移动图像。例如，成像装置2a至2f将工作在例如生成产品的生产设施或生产线上的工人进行成像并且生成视频数据。

当不区分地指代成像装置2a至2f或者被统称时，可以将它们简称为“成像装置2”。在图1中，图像处理系统1包括六个成像装置2，但是实施例不限于该示例，而是可以包括不同数量的成像装置2。

信息处理装置3是个人计算机(PC)、工作站等，其用作图像处理装置，用于基于成像装置2所捕获的视频数据来执行图像处理。此外，信息处理装置3连接到诸如生产设备的外部装置10，使得它们能够基于例如现场总线标准来与外部装置10执行通信。

网络4是用于将成像装置2a至2f连接至信息处理装置3的基于例如以太网(注册商标)的网络。在此情况下，在网络4中，使用诸如传输控制协议/互联网协议(TCP/IP)的协议来执行数据通信。另外，在此情况下，在成像装置2a至2f和信息处理设备3具有用于利用诸如TCP/IP的协议进行通信的媒体访问控制(MAC)地址，并且被分配IP地址，诸如私人IP地址。此外，作为网络4的详细配置，可以采用星形布线拓扑结构，其中成像装置2a至2f和信息处理设备3中的每一个经由例如局域网(LAN)连接到具有多个端口的交换式集线器。

虽然描述了图1中所示的网络4使得能够利用TCP/IP进行通信，但是实施例不限于该示例。例如，可以采用如下模式：视频图形阵列(VGA)终端或通用串行总线(USB)端口设置在信息处理装置3中，并且多个成像装置3经由例如VGA线缆或USB线缆连接到信息处理装置3。

(信息处理装置的硬件配置)

图2是示出根据本实施例的信息处理装置的硬件配置的示例的示意图。将参考图2来描述根据本实施例的信息处理装置3的硬件配置。

如图2中所示，信息处理装置3包括中央处理器(CPU)101、只读存储器(ROM)102、随机存取存储器(RAM)103、外部存储设备104、显示器105、网络I/F 106、键盘107、鼠标108、数字多功能光盘(DVD)驱动器109、以及外部装置I/F 111。

CPU 101是控制信息处理装置3的整体操作的设备。ROM 2是在其存储用于信息处理装置3的程序的非易失性存储设备，诸如基本输入/输出系统(BIOS)或固件。RAM 103是作为CPU 101的工作区域来使用的易失性存储器。

外部存储设备104是存储由成像装置2捕获的视频数据和诸如设置信息的各种数据的存储设备，诸如硬盘驱动器(HDD)或固态驱动器(SSD)。

显示器105是显示光标、菜单、窗口、诸如字符或图像的各种信息、或者用于执行由信息处理装置3执行图像判定操作的应用的屏幕的显示设备。显示器105例如是阴极射线管(CRT)显示器、液晶显示器(LCD)、有机电致发光(EL)显示器等。显示器105通过例如VGA线缆、高清晰度多媒体接口(HDMI：注册商标)线缆、以太网线缆等连接到信息处理装置3的主体。

网络I/F 106是用于连接到网络4并与其执行数据通信的接口。网络I/F 106例如是能够使用TCP/IP的协议进行通信的网络接口卡(NIC)。具体地，信息处理装置3经由网络4和网络I/F 106从成像装置2获取视频信息。

键盘107是用于例如选择字符、数字以及各种指令，移动光标并且执行设置信息的设置的输入设备。鼠标108是用于例如选择和执行各种指令，选择处理目标，移动光标并且执行设置信息的设置的输入设备。

DVD驱动109是针对作为可移除存储介质的一个示例的DVD 110来控制数据的读取、写入和删除的设备。

外部装置I/F 111是用于连接到外部装置10并与其执行数据通信的接口。外部装置I/F 111例如是使能基于现场总线标准的通信的接口卡。具体地，信息处理装置3经由外部装置I/F 111执行与外部装置10的数据通信。

CPU 101、ROM 102、RAM 103、外部存储设备104、显示器105、网络I/F 106、键盘107、鼠标108、DVD驱动109、以及外部装置I/F 111经由诸如地址总线或数据总线的总线113相互可通信地连接。当使用以太网线缆连接显示器105的情况下，显示器105连接到网络I/F106，并且在此情况下，执行使用诸如TCP/IP的协议的数据通信。

(信息处理装置的块配置)

图3是示出根据实施例的信息处理装置的功能块配置的示例的示意图。将参考图3来描述信息处理装置3的块配置。

如图3中所示，信息处理装置3包括：视频接收单元301、输入单元302、设置单元303、存储单元304、再现单元305、获取单元306、指定单元307、注册单元308、搜索区域确定单元309(确定单元)、检测单元310(特征区域检测单元)、距离计算单元311(计算单元)、判定单元312、更新单元313(跟踪区域检测单元)、移动量计算单元314、轨迹生成单元315(生成单元)、管理单元316、显示控制单元317、以及显示单元318(显示设备)。在图3中，为了说明简单未示出网络4。

视频接收单元301是经由网络4从成像装置2接收视频数据的功能单元。视频接收单元301将接收到的视频数据存储在存储单元304中。视频接收单元301通过图2中所示的接口I/F 106来实现。

输入单元302是输入使得信息处理装置3对于跟踪目标执行颜色注册助理、跟踪处理等的操作的设备。输入单元302通过图2中所示的键盘107和鼠标108来实现。

设置单元303是根据由用户进行操作从输入单元302给出的操作信号来设置各种设置信息并将设置信息存储在存储单元304中的功能部。例如，设置单元303设置指示以参考颜色为中心的预定范围的信息(此后，可称为“跟踪参数”)，并且将所设置的跟踪参数存储在存储单元304中，其中的参数颜色注册在如随后将描述的注册单元308中。这里，确定以参考颜色为中心的预定范围使得当参考颜色在RGB颜色空间中进行呈现时，通过设置上限值和下限值来确定以该参考颜色的R值为中心的预定范围，其中的上限值通过将预定量加到参考颜色的R值来获获得，下限值通过从R值减去预定量来获得。同样适用于参考颜色的G值和B值。预定量可以被设置为针对R值、G值和B值中的每个值不同的值。设置单元303通过由图2中所示的CPU 101所执行的程序来实现。

存储单元304是在其中存储从视频接收部301接收到的视频数据、各种设置信息等的功能单元。存储单元304在其中存储由视频接收单元301接收到的视频数据使得能够识别出已生成视频数据的成像装置2。存储单元304通过例如由图2中所示的RAM 103或外部存储设备104来实现。假设如图3中所示存储单元304包括在信息处理装置3中，但是实施例不限于该示例。例如，存储单元104可以是从外部附接的外部存储设备，或者可以设置在外部装置中，诸如服务器设备。

再现单元305是如下的功能单元：根据从用户进行操作的输入单元302给出的操作信号，将从存储单元304获取到的视频数据发送到显示控制单元317，并且使得显示控制单元317在显示单元318上再现与显示该视频数据。具体地，如随后描述的图5中所示，再现单元305将视频数据显示在视频单元318上显示的跟踪屏幕400的视频显示部401。再现单元305通过由图2中所示的CPU 101所执行的程序来实现。

获取单元306是从存储在存储单元304的视频数据获取帧的功能单元，其中的帧将要经历针对跟踪目标的跟踪处理。获取单元306通过由图2中所示的CPU 101所执行的程序来实现。

指定单元307是如下的功能单元：根据从用户进行操作的输入单元302给出的操作信号，在视频单元318上显示视频数据的显示区域(随后描述的图5中的视频显示部401)中指定识别颜色的指定区域(例如，随后描述的图6中所示的第一指定区域550和第二指定区域551)，其中的颜色作为将要使用在针对跟踪目标的跟踪处理中的特征数据(特征信息)。指定单元307将所指定的指定区域的信息与每个成像装置2相关联地存储在存储单元304中。指定单元307通过由图2中所示的CPU 101所执行的程序来实现。

注册单元308是基于指定单元307所指定的指定区域的像素值来识别指定区域的颜色并且将所识别的参考颜色的信息存储(注册)在存储单元304中的功能单元。识别单元308基于由指定单元307指定的两个指定区域(例如随后描述的图6中所示的第一指定区域550和第二指定区域551)来识别两个参考颜色。这里，视频显示部401中显示的视频数据的帧的值是例如指示基于RGB颜色空间、HSV颜色空间等的颜色的信息。具体地，例如，注册单元308计算包括在指定区域中的像素的像素值的平均值，并且指定平均值作为参考颜色。注册单元308可以识别指定区域的中心像素的像素值作为参考颜色。注册单元308通过由图2中所示的CPU 101所执行的程序来实现。

搜索区域确定单元309是在将要经历对于跟踪目标的跟踪处理的帧中确定搜索区域的功能单元，在该搜索区域中检测单元310检测具有注册单元308所注册的颜色的特征区域。例如，如果检测单元310在特定帧中没有检测到特征区域，则搜索区域确定单元309相对于特定帧中的搜索区域将搜索区域扩展预定量，并且将经扩展的搜索区域确定为特定帧的下一帧的搜索区域。搜索区域确定单元309通过由图2中所示的CPU 101所执行的程序来实现。

检测单元310是在将由经历跟踪目标的跟踪处理的帧中，在由搜索区域确定单元309所确定的搜索区域内使用两个参考颜色来检测特征区域的功能单元。具体地，检测单元310对于将要经历对于跟踪目标的跟踪处理的帧执行处理，诸如随后描述的提取处理、二值化化处理以及标记处理，并且检测与包括以如上所述的参考颜色为中心的预定区域中所包括的颜色的像素的块对应的区域(此后，可以称为“参考颜色区域”)作为特征区域。随后参考图7至图13描述由检测单元310执行的特征区域的操作。检测单元310通过由图2中所示的CPU 101所执行的程序来实现。

距离计算单元311是计算由检测单元检测到的两个特征区域之间的距离的功能单元。具体地，距离计算单元311计算两个特征区域的每个特征区域中所包括的像素之中最近邻像素之间的距离。距离计算单元311通过由图2中所示的CPU 101所执行的程序来实现。

判定单元312是判定由检测单元310检测到的两个特征区域是否彼此相邻的功能单元。具体地，判定单元312判定由距离计算单元311计算出的两个特征区域之间的距离是否等于或小于预定阈值。判定单元312通过由图2中所示的CPU 101所执行的程序来实现。

更新单元313是当判定单元312判定两个特征区域之间的距离等于或小于预定阈值时检测包括两个特征区域的区域作为跟踪区域的功能单元。也就是，更新单元313将跟踪区域更新为检测到的跟踪区域作为包括当前跟踪目标的区域。此外，更新单元313将检测到的跟踪区域有关的信息与检测到的帧相关联地存储在存储单元304中。这里，检测到的跟踪区域有关的信息包括例如跟踪区域中心点的坐标有关的信息、跟踪区域的大小有关的信息等。更新单元313通过由图2中所示的CPU 101所执行的程序来实现。

移动量计算单元314是计算跟踪目标的移动量的功能单元。具体地，移动量计算单元314计算与存储单元304中所存储的视频数据的每个帧对应的跟踪区域有关的数据之中跟踪区域中心点的移动量。如下面的公式(1)所示，将所有帧之中的跟踪区域中心点的移动量进行加和获得跟踪区域中心点的移动量。

在公式(1)中，d是跟踪区域中心点的移动量，i是帧数，xi是帧数为i的帧中的跟踪区域中心点的x坐标(帧在水平轴上的坐标)，并且yi是帧数为i的帧中的跟踪区域中心点的y坐标(帧在垂直轴上的坐标)。因此，移动量计算单元314能够使用公式(1)从帧数0的帧到帧数n的帧来计算跟踪区域中心点的移动量。移动量计算单元314通过由图2中所示的CPU101所执行的程序来实现。移动量计算单元314通过以同步的方式使用由多个成像装置2捕获到并且存储在存储单元403中的视频数据，能够更准确地计算移动量。例如，可以进一步通过分开使用在深度方向(z轴方向)中捕获到的视频数据来计算深度方向的移动量。

轨迹生成单元315是生成指示跟踪目标的轨迹的轨迹线并且使得显示控制单元317将轨迹线以重叠的方式显示在视频显示部401上再现和显示的视频数据的功能单元。具体地，轨迹生成单元315在从存储单元304读取的视频数据的帧之中，用线连接特定帧中检测到的跟踪区域的中心点与下一帧中检测到的跟踪区域的中心点，并且将这条线作为轨迹线以重叠的方式显示在视频数据上。轨迹生成单元315可以通过连接至少跟踪区域中所包括的任何点(像素)而不是跟踪区域的中心点来生成跟踪线。轨迹生成单元315通过由图2中所示的CPU 101所执行的程序来实现。

管理单元316是如下的功能单元：根据从用户进行操作的输入单元302给出的操作信号，针对视频显示部401上显示的视频数据，开始或者停止对于跟踪目标的跟踪处理，该跟踪目标通过由注册单元308注册的参考颜色进行识别。此外，管理单元316管理信息处理装置3的全部操作。管理单元316通过由图2中所示的CPU 101所执行的程序来实现。

显示控制单元317是控制显示单元318的显示操作的功能单元。具体地，显示控制单元317在显示单元318上显示：通过再现单元305获取到的视频数据，通过设置单元303设置的设置信息集合，通过指定单元307所指定的指定区域等。显示控制单元317由图2中所示的CPU 101所执行的程序来实现。

显示单元318是在显示控制单元317的控制下显示各种数据的设备。特别地，在本实施例中，显示单元318基于由图2中所示的CPU 101执行的程序(应用)来显示跟踪屏幕400(随后将进行描述)等。显示单元318通过图2中所示的显示器105来实现。

图3中所示的视频接收单元301、输入单元302、设置单元303、存储单元304、再现单元305、获取单元306、指定单元307、注册单元308、搜索区域确定单元309、检测单元310、距离计算单元311、判定单元312、更新单元313、移动量计算单元314、轨迹生成单元315、管理单元316、显示控制单元317、以及显示单元318中的一部分或者所有可以通过诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)的硬件电路来实现，而不是通过作为软件的程序。

此外，图3中所示的每个功能单元在功能上是概念性的，不一定需要以相同的方式进行配置。例如，如图3中的独立功能单元所示的多个功能单元可以配置为单个功能单元。相反，图3中的单个功能单元的功能可以分为多个功能并且配置为多个功能单元。

另外，为了简化下面给出的描述，显示控制单元317将接收到的数据显示在显示单元318上的表达将被简单描述为向显示控制单元317发送数据的功能单元在显示单元318(或者显示单元318上所显示的屏幕)上显示该数据。例如，当再现单元305将视频数据发送到显示控制单元317并且使得显示控制单元317在显示单元318上再现和显示该视频数据时，该操作将被描述为再现单元305在显示单元318上再现和显示该视频数据。

(颜色注册处理)

图4是示出由根据本实施例的信息处理装置执行的颜色注册处理的流程示例的流程图。图5是示出将视频显示在跟踪屏幕上的状态的示例的示意图，其中的跟踪屏幕显示在根据本实施例的信息处理装置的显示单元上。图6是用于解释根据本实施例的信息处理装置中注册跟踪目标的颜色的操作的示意图。将参考图4至图6描述根据本实施例的信息处理装置3所执行的颜色注册处理的流程。

首先，将参考说明颜色注册处理的流程的图5来描述跟踪屏幕400的配置。跟踪屏幕400是用于如下处理的屏幕：用于通过颜色注册处理来注册颜色作为特征数据，并且用于对于视频显示部401上再现和显示的特定跟踪目标执行跟踪处理。如图5中所示，跟踪屏幕400包括视频显示部401(显示区域)、相机选项卡401a、视频操作按钮单元403、拖动条404、滑块405、放大/缩小按钮单元406、范围变更按钮单元407、时间显示部408、跟踪开始按钮409、以及跟踪停止按钮410。

视频显示部401是根据从用户进行操作的输入单元302给定的操作信号在其上再现和显示视频数据的显示单元，其中的视频数据由再现单元305从存储单元304获取。在图5中的示例中，如果用户通过操作输入单元302来执行在相机选项卡401a中选择“2”的操作，则存储单元304在视频显示部401上再现和显示由成像装置2b捕获到的视频数据。

相机选项卡401a是允许用户从成像装置2a至2f的视频数据之中选择用户期望在视频显示部401上进行再现和显示的视频数据的操作单元。例如，成像装置2a至2f捕获到的视频数据分别与“1”至“6”相关联。在图5的示例中，示出了“2”，即成像装置2b的视频数据被选择的情况。

视频操作按钮单元403是按钮的集合，这些按钮用于根据用户的输入单元302的操作，执行视频显示部401上的视频数据的重放、快退、快进、停止以及暂停。拖动条404是条状物，其中布置在拖动条上的滑块405的位置指示视频显示部401上正在再现和显示的视频数据的时间。滑块405是根据再现和显示在视频显示部401上的视频数据的成像时间(所显示的帧被捕获的时间)滑动到搜索条404上的特定位置的物体和操纵单元。相反地，如果用户通过操作输入单元302来滑动滑块405，则再现单元305在视频显示部401上显示具有与滑块405在拖动条404上的位置对应的成像时间的视频数据的帧。

放大/缩小按钮单元406是按钮的集合，这些按钮用于使得再现单元305根据用户执行的输入单元302的操作来放大或者缩小在显示部401上再现和显示的视频数据。例如，每当放大/缩小按钮单元406中的放大按钮被按下时，视频数据以预定放大比例被放大。例如，假设正常显示状态时100％，则视频数据被放大120％、140％……

范围变更按钮单元407是按钮的集合，这些按钮用于使得再现单元305根据用户执行的设置单元303的操作来放大或者缩小拖动条404的显示范围。不一定使得再现单元305放大或者显示拖动条404的显示范围，而是可以使得不同的功能单元来执行该操作。

时间显示部408是用于显示将要由再现部305再现与显示在设置视频显示部401上的视频数据的成像日期和成像时间的显示区域。

跟踪开始按钮409是在通过用户执行的输入单元302的操作而被按下时使得管理单元316开始对于跟踪目标的跟踪处理的按钮，其中跟踪目标通过再现和显示在视频显示部401上的视频数据中的参考颜色进行识别。跟踪停止按钮410是在通过用户执行的输入单元302的操作而被按下时使得管理单元316停止对于跟踪目标执行的跟踪处理的按钮，其中跟踪目标通过再现和显示在视频显示部401上的视频数据中的参考颜色进行识别。

接着，将描述颜色注册处理的详细流程。图5中所示的跟踪屏幕400指示再现单元405再现和显示与成像装置2b对应的视频数据的状态。

<步骤S11>

首先，在视频显示部401正在再现和显示视频数据时，在期望经历颜色注册处理的图像部分被显示的时刻，通过用户执行的输入单元302的操作而按下暂停按钮时，再现单元305暂停视频数据在视频显示部401上的再现和显示。如图5中所示，工人500出现在暂停视频数据的帧中。接着，获取单元306从暂停视频数据获取视频显示401上正在显示的帧。然后，过程进行到步骤S12。

<步骤S12>

这里，假设在视频显示部501上正在显示的帧中根据本实施例的信息处理装置3将要跟踪的目标是如图6中所示的工人500的跟踪目标501。跟踪目标501是工人500穿着的外衣的一部分，并且包括具有特定颜色的第一颜色部分501a和具有不同于第一颜色部分501a的颜色的第二颜色部分501b。

通过用户执行的输入单元302的操作(例如，使用鼠标108的拖拽操作)，指定单元307指定第一颜色部分501a中的第一指定区域550并且指定第二颜色部分501b中的第二指定区域551，以便识别用作特征数据的颜色，该特征数据将要使用在通过获取单元306获得到的帧中的跟踪目标的跟踪处理中，如图6中所示。也就是，指定单元307指定具有不同颜色的第一指定区域550和第二指定区域551。

可以使得指定单元307能够在通过放大/缩小按钮单元406的放大按钮或缩小按钮来放大或缩小显示在视频显示部401上的帧的状态下对于指定区域进行指定。然后，过程进行到步骤S13。

<步骤S13>

注册单元308基于指定单元307所指定的第一指定区域550和第二指定区域551来识别参考颜色(与第一指定区域550对应的参考颜色被称为第一颜色，与第二指定区域551对应的参考颜色被称为第二颜色)，并且将两个识别出的参考颜色有关的信息存储(注册)在存储单元304中。具体地，例如，注册单元308计算每个指定区域中所包括的像素的像素值的平均值，并且将平均值识别作为参考颜色。

然后，设置单元303将指示以注册单元308所注册的参考颜色为中心的预定范围的信息设置为跟踪参数，并且将一对设置的跟踪参数存储在存储单元304中。通过设置跟踪参数，参考颜色范围被确定。

通过如上述的步骤S11至步骤S13，颜色注册处理(参考颜色的指定和注册)和跟踪参数的设置被执行。

(检测特征区域的操作)

图7是示出用于检测跟踪目标并且显示在根据本实施例的信息处理装置的显示单元上的帧的示例的示意图。图8是示出提取图像的示例的示意图，其中具有根据本发明的信息处理装置的显示单元上显示的帧被注册的颜色的区域被提取。图9是示出二值化图像的示例的示意图，该二值化图像通过将显示在根据本发明的信息处理装置的显示单元上的帧的提取图像进行二值化化而获得的。图10是示出标签图像的示例的示意图，该标签图像是通过将显示在根据本实施例的信息处理装置的显示单元上的帧的二值化图像的每个块执行标签处理而获得的。图11是示出目标识别图像的示例的示意图，其中针对根据本发明的信息处理装置的显示单元上显示的帧只留下特定的块。图12是用于说明针对根据本发明的信息处理装置的显示单元上显示的帧从目标识别图像检测到的两个特征区域和特征区域之间的距离的示意图。图13是用于说明针对根据本发明的信息处理装置的显示单元上显示的帧，用于判定目标识别图像中的搜索区域的操作的示意图。将参考图7至图13描述根据本实施例的信息处理装置3的检测单元310进行的检测特征区域的操作。

假设图7中所示的原始图像450显示在跟踪屏幕400的视频显示部401上。在原始图像450中，带有包括第一颜色部分501a和第二颜色部分501b的跟踪目标501的工人500出现。下面，将采用原始图像450作为示例来描述检测跟踪目标501的操作的示例。

首先，检测单元通过提取处理(第一处理)获取图8中所示的提取图像451(第一图像)，其中的提取处理(第一处理)用于从原始图像450的像素之中只提取出像素值包括在两种参考颜色范围内的像素。另外，如图8所示，通过提取处理提取出与第一颜色部分501a和第二颜色部分501b对应的像素，其中指定区域被指定识别两个参考颜色。此外，原始图像450可以包括颜色接近由注册单元308所识别的参考颜色的物体，以及颜色接近参考颜色的像素，即通过提取处理可以提取像素值包括在参考颜色范围内的像素。

随后，检测单元310对于通过提取处理所获得的提取图像451执行二值化处理(第二处理)，并且获得图9中所示的二值化图像452(第二图像)。这里，作为二值化处理，例如用白色代替通过提取处理提取的像素，并且用黑色代替除了提取像素以外的所有像素。二值化处理不限于如上述的处理，可以使用其他的方法来执行二值化化，诸如利用白色像素来代替像素值等于或大于预定阈值的像素，并且利用黑色像素来代替像素值小于阈值的像素。通过对于提取图像451执行二值化化处理而获得的图9所示的二值化图像452包括七个块，诸如块601a、602b、602，以及603a至603d，作为各自是白色像素的聚集的块。

随后，检测单元310对于通过二值化化处理所获得的二值化图像452执行标记处理(第三处理)，并且获得图10中所示的标记图像453(第三图像)。这里，标记处理是指定识别信息的处理，该识别信息用于识别二值化化处理所获得的每个块(白色像素的聚集)。作为标记处理，例如用唯一识别主体块的值来代替二值化图像452的每个快中所包括的像素的像素值。例如，在图10中所示的标记图像453的示例中，检测单元310用“1”代替块602中包括的像素的像素值，用“2”代替块601a中包括的像素的像素值，并且用“3”代替块601b中包括的像素的像素值。此外，检测单元310分别用“4”到“7”代替块603a至603d中包括的像素的像素值。因此，每个块被唯一地识别。

随后，检测单元310执行如下处理：相对于通过标记处理获得的标记图像453中包括的每个块，删除面积小于预定面积的块，获得图11中所示的目标识别图像454。作为该处理的结果，检测单元310删除面积小于预定面积的块602和603a至603d，并且保留面积等于或大于预定面积的块601a。

随后，检测单元310在原始图像450中由搜索区域确定单元309确定的搜索区域中，检测包括两种参考颜色范围(预定颜色范围)内的颜色的像素并且具有与目标识别图像454的块对应的像素的区域作为特征区域，其中的原始图像450是将要经历通过跟踪目标501进行的跟踪处理的帧。这里，如果原始图像450是将要经历跟踪处理的第一帧，搜索区域确定单元309将整个原始图像450确定为搜索区域。如图12中所示，作为在搜索区域中检测特征区域的操作的结果，检测单元310检测到特征区域701，其包括第一颜色的参考颜色范围内的像素并且具有与原始图像450的块601a对应的像素。此外，检测单元310检测到特征区域702，其包括第二颜色的参考颜色范围内的像素并且包括与块601b对应的像素。

随后，距离计算单元311计算由检测单元310检测到的特征区域701和特征区域702之间的距离。具体地，如图12中所示，距离计算单元311计算特征区域701和特征区域702的每个特征区域中包括的像素之中最近邻像素之间的距离D。

随后，判定单元312判定由距离计算单元311计算出的特征区域701和特征区域702之间的距离D是否等于或小于预定阈值。如果判定单元312判定距离D大于预定阈值，则更新单元313判定特征区域701和特征区域702相互不相邻，并且判定无法检测到包括跟踪目标501的跟踪区域。相反，如果判定单元312判定距离D等于或小于预定阈值，则更新单元313判定特征区域701与特征区域702相互相邻。在此情况下，更新单元313指定其中写入特征区域701的矩形特征区域框701a和其中写入特征区域702的矩形特征区域框702a，并且检测其中写入特征区域701和特征区域702两者的最小矩形区域作为包括跟踪目标501的跟踪区域703。也就是，更新单元313将带有检测到的跟踪区域703的跟踪区域更新为包括当前跟踪目标501(视频显示部401上显示的帧中包括的跟踪目标501)的区域。此外，更新单元313将检测到的跟踪区域703有关的信息与检测到的帧(原始图像450)相关联地存储在存储单元304中。

然后，如图13中所示，搜索区域确定单元309将以更新单元313检测到的跟踪区域703的中心为中心的具有预定尺寸的区域确定为用于在原始图像450的下一帧中检测跟踪目标501的搜索区域704。图13中所示的搜索区域704被设置为长方形区域，但是不限于此，可以设置为不同形状的区域，诸如圆形或椭圆形。

(对于跟踪目标的跟踪处理)

图14是示出由根据本实施例的信息处理装置执行的对于跟踪目标的跟踪处理的流程示例的流程图。图15是示出跟踪结果表的示例的示意图，该跟踪结果表指示通过由根据本实施例的信息处理装置执行的跟踪处理检测到跟踪区域有关的信息。图16是示出轨迹线重叠在根据本实施例的信息处理装置的显示单元上显示的视频的状态的示例的示意图。图17是用于说明当显示在根据本实施例的信息处理装置的显示单元上的轨迹线被选择时执行的操作的示意图。将参考图14至图17描述根据本实施例的信息处理装置3所执行的对于跟踪目标的跟踪处理的流程。假设通过上述颜色注册方法预先注册两个参考颜色(第一颜色和第二颜色)。首先，在再现单元305在视频显示部401上再现和显示视频数据的同时，当期望经历对于跟踪目标(例如，图16中所示的跟踪目标501)的跟踪处理的帧被显示的时刻用户通过操作输入单元302按下跟踪开始按钮409时，管理单元316从再现单元305所显示帧开始对于跟踪目标的跟踪处理。由再现单元305再现和显示在视频显示部401上的视频数据可以是从成像装置2接收到的实时视频数据，或者可以是存储在存储单元304中的过去的视频数据。

<步骤S31>

获取单元306获取跟踪开始按钮409被按下之后紧接着的时刻由再现单元305显示的帧，或者获取在跟踪处理终止的帧之后提供的并且由再现单元305显示的帧。获取单元306获取的帧不限于在跟踪处理终止的帧之后提供的帧，而可以是在预定时间的经过时间之后提供的帧。也就是，不必针对开始进行处理的视频数据的帧之后的每个帧来执行跟踪处理，而是可以对于预定时间间隔的帧来执行。此后，由获取单元306获取的帧可以称为“目标帧”(第一帧)。然后，处理进行到步骤S32。

<步骤S32>

检测单元310通过从目标帧的像素之中只提取像素值包括在第一颜色和第二颜色的参考颜色范围内的像素的提取处理，来获取提取图像(例如，图8中所示的提取图像451)。然后，检测单元310对于通过提取处理所获得的提取图像执行二值化处理，并且获得二值化图像(例如，图9中所示的二值化图像452)。二值化图像例如包括如图9中所示的二值化图像452中的块，其是白色像素的聚集。然后，处理进行到步骤S33。

<步骤S33>

检测单元310对于通过二值化化处理所获得的二值化图像执行标记处理，并且获得标记图像(例如，图10中所示的标记图像453)。在标记处理中，例如用唯一识别主体块的值来代替二值化图像452的每个快中所包括的像素的像素值。因此，每个块被唯一地识别。

随后，检测单元310执行相对于通过标记处理获得的标记图像453中包括的每个块删除面积小于预定面积的块的处理，获得目标识别图像(例如，图11中所示的目标识别图像454)。执行这个处理是为了预先从用于检测操作的目标中删除小块并且消除显现为与跟踪目标不对应的块。然后，处理进行到步骤S34。

<步骤S34>

搜索区域确定单元309将如下的区域确定为目标帧中的搜索区域，该区域具有预定大小并且以在随后描述的步骤S39中由更新单元313在设置于目标帧之前的帧(第二帧的示例)中检测到的跟踪区域的中心为中心。如果目标帧是将要经历跟踪处理的第一帧，则搜索区域确定单元309将整个目标帧确定为搜索区域。搜索区域确定单元309所确定的搜索区域不限于以在设置于目标帧之前的帧中检测到的跟踪区域的中心为中心的区域，而是可以将至少包括在先前帧中检测到的跟踪区域的区域确定为搜索区域。然后，过程进行到步骤S35。

<步骤S35>

在搜索区域确定单元309所确定的搜索区域中，检测单元310识别包括第一颜色的参考颜色范围内的像素并且具有与目标识别图像的块对应的像素的区域，并且检测该识别区域作为特征区域(此后，可以称为“第一特征区域”)(例如，图12中所示的特征区域701)。此外，在搜索区域中，检测单元310识别包括第二颜色的参考颜色范围内的像素并且具有与目标识别图像的块对应的像素的区域，并且检测该识别区域作为特征区域(此后，可以称为“第二特征区域”)(例如，图12中所示的特征区域702)。然后，处理进行到步骤S36。

<步骤S36>

在步骤S35，如果检测单元310检测到两个特征区域(第一特征区域和第二特征区域)(步骤S36中的是)，处理进行到步骤S37。如果第一特征区域和第二特征区域中的至少一个未被检测到(步骤S36中的否)，处理进行到步骤S41。

<步骤S37>

距离计算单元311计算由检测单元310检测到的第一特征区域和第二特征区域之间的距离。具体地，距离计算单元311计算第一特征区域和第二特征区域的每个特征区域中所包括的像素之中最近邻像素之间的距离(例如，图12中所示的距离D)。然后，处理进行到步骤S38。

<步骤S38>

判定单元312判定由距离计算单元311计算出的第一特征区域和第二特征区域之间的距离是否等于或小于预定阈值。如果判定单元312判定距离大于预定阈值(步骤S38中的否)，则更新单元313判定第一特征区域和第二特征区域相互不相邻，并且判定无法检测到包括跟踪目标的跟踪区域，并且进行到步骤S41。相反，如果判定单元312判定距离等于或小于预定阈值(步骤S38中的是)，则更新单元313判定第一特征区域和第二特征区域相互相邻，并且进行到步骤S39。

<步骤S39>

更新单元313指定其中写入第一特征区域的矩形特征区域帧(此后，称为“第一特征区域帧”)(例如，图12中所示的特征区域帧701a)，并且指定其中写入第二特征区域的矩形特征区域帧(此后，称为“第二特征区域帧”)(例如，图12中所示的特征区域帧702a)。然后，更新单元313检测其中写有第一特征区域帧和第二特征区域帧两者的最小矩形区域作为包括跟踪目标的跟踪区域(例如，图12中所示的跟踪区域703)。也就是，更新单元313将带有检测到的跟踪区域的跟踪区域更新为包括当前跟踪目标(目标帧中包括的跟踪目标)的区域。此外，更新单元313将检测到的跟踪区域有关的信息与目标帧相关联地存储在存储单元304中。例如，作为图15中所示的跟踪结果表1000中，更新单元313在存储单元304中存储如下信息，其中跟踪区域的中心坐标、帧数以及从跟踪处理开始的经过时间在跟踪区域有关的信息之中相互关联。跟踪结果表100被描述为表格格式的信息，但是不限于此，只要在信息中跟踪区域的坐标、帧数以及经过时间相关联可以是任何格式的信息。然后，过程进行到步骤S40。

<步骤S40>

轨迹生成单元315从存储在存储单元304中的跟踪结果表1000中读取与目标帧对应的跟踪区域的中心坐标和与目标帧之前提供的帧对应的跟踪区域的中心坐标。然后，轨迹生成单元315生成连接与目标帧对应的跟踪区域的中心点和与目标帧之前提供的帧对应的跟踪区域的中心点的轨迹线，并且将该轨迹线以重叠的方式显示在视频显示部401上显示的目标帧上。在此情况下，轨迹生成单元315在目标帧上以重叠的方式类似地显示针对从跟踪处理开始之后提供的帧到目标帧之前提供的帧所生成的轨迹线。利用该操作，跟踪处理开始之后，指示跟踪目标的轨迹的轨迹线以重叠的方式显示在视频显示部401上的视频数据上。

此外，移动量计算单元314从存储在存储单元304中的跟踪结果表1000中读取与目标帧对应的跟踪区域的中心坐标和与目标帧之前提供的帧对应的跟踪区域的中心坐标。然后，移动量计算单元314计算与目标帧对应的跟踪区域的中心坐标和与目标帧之前提供的帧对应的跟踪区域的中心坐标之间的距离(移动量)，并且将该移动量加到针对从跟踪处理开始之后提供的帧开始到目标帧之前提供的帧的多个帧计算出的移动量。也就是，移动量计算单元314计算的移动量等于轨迹生成单元315生成的轨迹线的长度。

轨迹生成单元315可以显示图16中所示的线型按时间顺序发生变化的轨迹线800，作为重叠在视频显示部401上显示的目标帧(原始图像450)上的轨迹线。在图16所示的示例中，在轨迹线800中，最早的轨迹由粗线表示，最新的轨迹由点划线表示，中间轨迹由虚线来表示。利用这种配置，当看到跟踪目标的轨迹线时，可以在视觉上识别轨迹中的部分是新的还是旧的，并且这在基于轨迹线来分析目标目标的操作中是有用的。图16中所示的轨迹线800被显示为线型按照时间顺序而改变，但是不限于该示例，可以按照时间顺序以不同的模式来显示轨迹线的各个部分，使得轨迹线的颜色按照时间顺序发生变化或者不同形状的点按照时间顺序来绘制。

然后，过程进行到步骤S42。

<步骤S41>

搜索区域确定单元309确定检测单元310在目标帧的搜索区域中没有检测到跟踪区域，也就是跟踪目标丢失，则扩展搜索区域，并且使用对于设置在目标帧接下来的帧进行的跟踪处理中的搜索区域(第三帧的示例)。扩展搜索区域的方法的示例包括将搜索区域在水平轴方向上和垂直轴方向上扩展预定量的方法，以及在保持类似形状(具有相同的中心)的同时将搜索区域的面积扩展预定比例的方法。因此，可以易于在对于目标帧接下来的帧执行的跟踪处理中再次检测跟踪目标。然后，处理返回到步骤S31。

<步骤S42>

管理单元316判定跟踪停止按钮410是否通过由用户执行的输入单元302的操作被按下。如果跟踪停止按钮410被按下，则管理单元316终止跟踪处理(步骤S42中的是)。相反，如果跟踪停止按钮410未被按下，则管理单元316保持跟踪处理(步骤S42中的否)，并且返回到步骤S31。

通过如上述的步骤S31至S42，执行对于跟踪目标的跟踪处理。

当通过由用户执行的输入单元302的操作(例如使用鼠标108的点击操作)来选择以重叠方式显示在视频显示部401上显示的视频数据上的轨迹线的任何部分时，再现单元305可以再现与显示具有与轨迹的被操作部分对应的日期和时间的帧。在此情况下，例如，如果在如图17所示的轨迹线800中线相互交叉所处的部分被操作时，再现单元305可以显示帧选择窗口801并且允许用户选择具有与如图17中所示的交叉线对应的日期和时间的任何帧。在图17中所示的示例中，帧选择窗口包括表示为“时间210(s)”的选择按钮801a和表示为“时间300(s)”的选择按钮801b，其中时间指示从跟踪处理开始的时间。在此情况下，轨迹线800的交叉线中，用虚线显示的部分对应于选择按钮801a，而用点划线显示的部分对应于选择按钮801b。例如，如果通过由用户执行的输入单元302的操作而按下选择按钮801a，则再现单元305再现与显示从跟踪处理开始经过210s之后提供的帧。再现单元305可以在暂停状态下显示帧时通过由用户执行的输入单元302的操作来按下视频操作按钮单元403的重放按钮时开始再现与显示，而不是从具有与轨迹线的被操作部分对应的日期和时间的帧执行再现与显示。

此外，在图14所示的跟踪处理的流程中，对于整个目标帧执行提取处理、二值化化处理和标记处理，但是实施例不限于该示例。检测单元310可以对于搜索区域确定单元309所确定的搜索区域至少执行提取处理、二值化化处理和标记处理中的任何处理。利用该操作，可以减少对于跟踪目标的跟踪处理的负荷。

(对于跟踪目标的跟踪处理的应用示例)

接着，将描述上述对于跟踪目标的跟踪处理的应用示例。

图18是用于说明雇佣工人佩戴的两色腕带作为跟踪目标的示例的示意图。在图18中所示的示例中，利用跟踪目标511，其是执行装配部件操作等的工人的手臂上佩戴的腕带，来作为用于在视频显示部401上显示帧上进行跟踪处理的目标，如图18(a)所示。跟踪目标511包括具有特定颜色的第一颜色部分511a和具有不同于第一颜色部分511a的颜色的第二颜色部分511b。

通过这种方式，通过利用工人佩戴的两色腕带(跟踪目标511)作为跟踪目标，可以识别如图18(b)所示的轨迹重叠图像460中的轨迹线所示的腕带的行为，使得可以分析工人510的工作效率等。

图19是用于说明附接到购物者携带的篮子的两色片作为跟踪目标的示例的示意图。在图19中所示的示例，跟踪目标521，其为在设置有卖场A至I的超市中附接在由购物者520携带的篮子上的二色片，被用作用于在视频显示部401上显示的帧中进行跟踪处理的目标。

以这种方式，通过采用附接到购物者520所携带的篮子的二色片(跟踪目标521)作为跟踪目标，例如可以识别如图19所示的轨迹线所示出的购物者520的行为，使得可以分析购物者相对于超市中显示的商品的偏好，并且改进产品布局。

图20是用于说明附接到毛笔的两色印章作为跟踪目标的示例的示意图。在图20中所示的示例，跟踪目标531，其为在附接在毛笔上的二色印章，被用作目标用于在视频显示部401上显示的帧中进行跟踪处理。

以这种方式，通过利用附接到毛笔的两色印章(跟踪目标531)作为跟踪目标，可以识别如图20所示的轨迹重叠图像470中的轨迹线所示的毛笔的移动，并且这可以用于通过与专家手持毛笔的移动进行比较来改进书法技艺。

如上所述，跟踪目标中所包括的颜色之中的两个颜色(第一颜色和第二颜色)被预先注册为特征数据，并且当检测单元310在作为特征区域的帧中检测到包括两个颜色中的任一颜色的区域并且判定单元312判定包括第一颜色的特征区域与包括第二颜色的特征区域相互相邻时，更新单元313检测特征区域作为包括跟踪目标的跟踪区域。以这种方式，检测包括跟踪目标的两个颜色的区域，使得即使在周围存在具有两个颜色中的任一颜色的单个区域时，也可以防止该区域被错误地识别为跟踪区域，使得可以改进跟踪目标的检测准确性。

此外，搜索区域确定单元309确定搜索区域，并且检测单元310执行在搜索区域中检测跟踪目标的处理。因此，可以减少处理的负荷并且防止处于自然分离部分中的类似区域被检测作为特征区域。

此外，当检测单元310没有在目标帧的搜索区域中检测到跟踪区域时(当跟踪目标丢失时)，搜索区域确定单元309扩展搜索区域并且在对于接着目标帧提供的帧进行的跟踪处理中使用经扩展的搜索区域。因此，可以易于在对于目标帧接下来的帧执行的跟踪处理中再次检测跟踪目标。

而且，轨迹生成单元315将指示跟踪目标轨迹的轨迹线以重叠的方式显示在正在再现与显示的视频数据上。因此，可以在视觉上识别跟踪目标的轨迹，并且这在分析跟踪目标的操作中是有用的。

在上述对于跟踪目标的跟踪处理中，说明的是检测单元310基于由注册单元308预先注册的参考颜色来检测每个帧中的特征区域，但是实施例不限于该示例。例如，当在特定帧中检测特征区域时，检测单元310可以基于特征区域中所包括的像素的颜色来更新参考颜色，并且基于已更新的参考颜色在下一帧中检测特征区域。利用这种配置，即使当跟踪目标周围的环境已经变化时(例如，当照明条件已经发生变化)也易于检测特征区域。

而且，在上述对于跟踪目标的跟踪处理中，轨迹生成单元315对于由再现单元305再现并且显示的视频数据，使用由更新单元313实时检测到的跟踪区域，以重叠的方式来显示跟踪线，但是实施例不限于该示例。也就是，当存储在存储单元304中的跟踪结果表100可用于对于跟踪目标进行的跟踪处理时，并且当再现单元305再次再现并且显示对应的视频数据时，跟踪生成单元315可以参考存储在存储单元304中的跟踪结果表1000中的跟踪区域的中心坐标，并且通过使用所参考的中心坐标将跟踪目标的轨迹线以重叠方式显示在视频数据上。

而且，所说明的是，注册单元308基于由指定单元307指定的两个指定区域，将两个参考颜色注册为特征数据，但是该实施例不限于该示例，并且可以注册三个或更多个参考颜色。在此情况下，如果注册三个参考颜色，检测单元310基于三个参考颜色来检测三种特征区域。然后，例如，距离计算单元311计算三种特征区域之间的距离，判定单元312基于该距离来执行阈值判定，并且当所有的距离都等于或小于阈值时，更新单元313将包括三种特征区域的区域检测并且更新为跟踪区域。

此外，在上述示例中，说明的是注册了两个不同的参考颜色，但是实施例不限于该示例。也就是，当注册了单个参考颜色时，并且如果判定两个检测到的特征区域(即，具有相同颜色的特征区域)之间的距离短时，可以将该区域确定为跟踪区域。

而且，在上述跟踪目标的跟踪处理中，检测单元310执行在标记图像中删除面积小于预定面积的块的处理，但是可以不指定这样的处理。利用这种配置，可以易于在帧中对于面积小的跟踪目标执行跟踪处理。

(第一变型例)

参考图21，下面将描述根据第一实施例的信息处理装置3；特别地，将主要描述与根据上述实施例的信息处理装置3的区别。在上述实施例中，描述了如下操作，其中采用颜色作为特征数据的操作，注册单元308基于两个指定区域来指定两个参考颜色，并且使用这两个参考颜色来检测跟踪目标。在第一变型例中，将描述如下操作，其中采用形状作为特征数据，注册单元308指定两个指定相应区域中包括的两个形状作为参考形状，并且使用这两个参考形状来检测跟踪目标。根据第一变型例的图像处理系统1的配置和信息处理装置3的硬件配置和功能块配置与上述实施例的相同。

图21是用于说明根据本实施例的第一变型的信息处理装置中注册跟踪目标的形状的操作的示意图。首先，下面将参考图21来描述第一变型例中的注册形状的处理。

假设如图21所示，第一变型例的信息处理装置3采用箱体540的跟踪目标541作为显示在视频显示部401上的帧中的跟踪目标。跟踪目标541是附接到箱体540的侧向表面上的印章等，并且包括具有特定形状的第一形状部分541a和具有不同于第一形状部分541a的形状的第二形状部分541b。

通过用户执行的输入单元302的操作(例如，使用鼠标108的拖拽操作)，指定单元307指定第一形状部分541a中的第一指定区域560并且指定第二形状部分541b中的第二指定区域561，以便识别用作特征数据的形状，该特征数据将要使用在通过获取单元306获得到的帧中的跟踪目标的跟踪处理中，如图21中所示。也就是，指定单元307指定具有不同形状的第一指定区域560和第二指定区域561。

注册单元308基于指定单元307所指定的第一指定区域560和第二指定区域561来识别两个参考形状(与第一指定区域560对应的参考形状被称为第一形状，与第二指定区域561对应的参考形状被称为第二形状)，并且将两个识别出的参考形状有关的信息存储(注册)在存储单元304中。具体地，注册单元308例如在每个指定区域中执行图像处理，诸如边缘检测，并且识别第一形状部分541a的第一提取形状571(第一形状)和第二形状部分541b的第二提取形状571(第二形状)。

然后，设置单元303将由注册单元308注册的参考形状的模板设置作为跟踪参数，并且将设置跟踪参数存储在存储单元304中。通过如上所述的处理，注册形状的处理(参考形状的识别和注册)和跟踪参数的设置被执行。

接着，将参考图21描述根据第一变型例的对于跟踪目标的跟踪处理。在第一变型例的跟踪处理中，检测到两个特征区域之后执行的处理(图14的示例中从步骤S36到步骤S42的处理)与上述实施例的跟踪处理相同；因此下面将描述检测特征区域的操作。

获取单元306获取跟踪开始按钮409被按下之后紧接着的时刻由再现单元305显示的帧，或者获取在跟踪处理终止的帧之后提供的并且由再现单元305显示的帧。此后，由获取单元306获取的帧可以称为“目标帧”。

随后，如与图14中所示的步骤S39对应的处理，搜索区域确定单元309将如下的区域确定为目标帧中的搜索区域，该区域具有预定大小并且以更新单元313在目标帧之前提供的帧中检测到的跟踪区域的中心为中心。如果目标帧是将要经历跟踪处理的第一帧，则搜索区域确定单元309将整个目标帧确定为搜索区域。

随后，检测单元310在目标帧的由搜索区域确定单元309确定的搜索区域中，使用由注册单元308注册的参考形状的模板来执行模板匹配。具体地，检测单元310在目标帧的搜索区域中使用第一形状的模板来执行模板匹配，并且将匹配区域检测为第一特征区域。此外，检测单元310在目标帧的搜索区域中使用第二形状的模板来执行模板匹配，并且将匹配区域检测为第二特征区域。

对于跟踪目标的跟踪处理中的其他处理与上述图14中所示的从步骤S36到步骤S42的处理相同。

如上所述，跟踪目标中所包括的形状之中的两个形状(第一形状和第二形状)而不是上述实施例中作为特征来使用的颜色被预先注册为特征数据，当检测单元310在作为特征区域的帧中检测到包括两个形状中的任一形状的区域并且判定单元312判定包括第一形状的特征区域与包括第二形状的特征区域相互相邻时，更新单元313检测特征区域作为包括跟踪目标的跟踪区域。以这种方式，检测包括跟踪目标的两个形状的区域，使得即使在周围存在具有两个形状中的任一形状的单个区域时，也可以防止该区域被错误地识别为跟踪区域，使得可以改进跟踪目标的检测准确性。

在上述图21的说明中，假设注册两个不同的形状，但是实施例不限于该示例。也就是，当两个形状相同时，如果判定两个检测到的特征区域(即，具有相同形状的特征区域)之间的距离短时，可以将该区域确定为跟踪区域。

此外，在采用颜色作为上述实施例中的特征数据并且采用形状作为第一变型例中的特征数据的同时，可以组合地使用颜色和形状。在此情况下，如果基于参考颜色检测到的特征区域与基于参考形状检测到的特征区域之间的距离短，则可以判定包括特征区域的区域用作跟踪区域。

(第二变型例)

参考图22，下面将描述根据第二变型例的信息处理装置3，其中将主要描述与根据上述实施例的信息处理装置3的区别。在上述实施例中，已经描述了在目标帧中跟踪单个跟踪目标的操作。在第二变型例中，将描述在目标帧中跟踪多个跟踪目标的操作。根据第二变型例的图像处理系统1的配置和信息处理装置3的硬件配置和功能块配置与上述实施例的相同。

图22是用于说明由根据实施例的第二变型的信息处理装置对于多个跟踪目标进行的跟踪处理的示意图。将参考图22描述在第二变型例的目标帧中跟踪多个跟踪目标的操作。在图22中，示出在配送仓库中自动传送的箱体的状态。

用于基于指定单元307所指定的两个指定区域来识别两个参考颜色的注册单元执行的操作，和将两个识别参考颜色有关的信息存储(注册)在存储单元304中与上述实施例中的相同。

在上述图7至图13中，已经描述了针对单个跟踪目标来检测特征区域的操作，该操作能够直接应用于多个跟踪目标。在此情况下，当检测单元310检测到第一颜色和第二颜色的两个特征区域的多个组合时，足够使得距离计算单元311计算距离，使得判定单元312执行距离的阈值判定，并且使得更新单元313针对每个组合来检测和更新跟踪区域。此外，当更新单元313检测到包括多个跟踪目标的跟踪区域时，足够使得搜索区域确定单元309将具有预定尺寸并且以每个搜索区域的中心为中心的区域确定为在目标帧接下来的帧中检测相同的跟踪目标的搜索区域。如果难以判定在帧中可以出现多个跟踪目标的部分，或者如果多个跟踪目标可能出现帧的各处，可以不使得搜索区域确定单元309确定特定的搜索区域，而是执行在整个帧中搜索特征区域的操作。

图22中所示的轨迹重叠图像480是当帧中出现多个跟踪目标(产品545和546)时所获得的并且其中反映对于多个跟踪目标的跟踪处理结果的图像。产品545和546具有相应的跟踪目标(跟踪目标545a和546a)，这些跟踪目标具有相同的颜色。对于跟踪目标545a和546a，检测单元310检测特征区域，距离计算单元311计算距离，判定单元313执行距离的阈值判定，并且更新单元313检测和更新跟踪区域。在此，更新单元313将与跟踪目标545a和546a中的每个跟踪目标对应的跟踪结果表1000(见图15)存储在存储单元304中。然后，轨迹生成单元315从存储在村单元304中的两个不同跟踪结果表1000中，读取与跟踪帧对应的跟踪区域的中心坐标和与跟踪帧之前提供的帧对应的跟踪区域的中心坐标。然后，跟踪生成单元315生成连接与目标帧对应的跟踪区域的中心点和与在目标帧之前提供的帧对应的跟踪区域的中心点的轨迹线，并且将该轨迹线以重叠的方式显示在视频显示部401上显示的目标帧上。在此情况下，轨迹生成单元315在目标帧上以重叠的方式显示针对从跟踪处理开始之后提供的帧到目标帧之前提供的帧所生成的轨迹线。利用该操作，在跟踪处理开始之后，指示跟踪目标的轨迹的两条轨迹线(轨迹线840和841)以重叠的方式显示在视频显示部401上的视频数据上。轨迹线840和841是分别指示跟踪目标545a和546a的轨迹的线。

如上所述，即使存在多个跟踪目标，针对跟踪目标中的每个跟踪目标来检测包括两个颜色的区域。因此，与上述实施例类似，即使在周围存在具有两个颜色中的任一颜色的单个区域时，也可以防止该区域被错误地识别为跟踪区域，使得可以改进跟踪目标的检测准确性。在图22中所示的示例，可以配送参考中自动传送箱体的处理中的每个箱体，使得可以检测传送中的延迟。

在对于多个跟踪目标的跟踪处理中，说明的是注册单元308注册两个颜色(第一颜色和第二颜色)，但是实施例不限于该示例。例如，不一定注册一组颜色(第一颜色和第二颜色)，而是可以注册两个组或更多组颜色并且检测具有相应组颜色的特征区域，其使得能够检测具有相应组颜色的跟踪目标。

当功能单元中的至少任何功能单元，诸如实施例和每个变型例中的设置单元303、再现单元305、获取单元306、指定单元307、注册单元308、搜索区域确定单元309、检测单元310、距离计算单元311、判定单元312、更新单元313、移动量计算单元314、轨迹生成单元315、管理单元316以及显示控制单元317，通过程序的执行来实现，该程序通过预先并入在ROM等中来提供。此外，实施例和每个变型例的信息处理装置3执行的程序可以通过以计算机可安装或计算机可执行文件的格式记录在计算机可读记录介质中来提供，诸如光盘只读存储器(CD-ROM)、软盘(FD)、可读光盘(CD-R)或DVD。另外，本实施例和每个变型例的信息处理设备3所执行的程序可以存储在连接到诸如互联网的网络的计算机上，并且可以通过经由网络进行下载的方式来提供。而且，实施例和每个变型例的信息处理装置3所执行的程序可以配置为经由诸如互联网进行下载或提供。此外，实施例和每个变型例的信息处理装置3所执行的程序具有包括上述功能模块中的至少任何一个功能模块的模块结构。作为实际的硬件，CPU从上述ROM读取程序并且执行该程序，使得上述每个单元被加载和生成在主存储设备上。

附图标记列表

1 图像处理系统

2、2a至2f 成像装置

3 信息处理装置

4 网络

10 外部装置

101 CPU

102 ROM

103 RAM

104 外部存储设备

105 显示器

106 网络接口

107 键盘

108 鼠标

109 DVD驱动

110 DVD

111 外部装置I/F

113 总线

301 视频接收单元

302 输入单元

303 设置单元

304 存储单元

305 再现单元

306 获取单元

307 指定单元

308 注册单元

309 搜索区域确定单元

310 检测单元

311 距离计算单元

312 判定单元

313 更新单元

314 移动量计算单元

315 轨迹生成单元

316 管理单元

317 显示控制单元

318 显示单元

400 跟踪屏幕

401 视频显示单元

401a 相机选项卡

403 视频操作按钮单元

404 拖动条

405 滑块

406 放大/缩小按钮单元

407 范围变更按钮单元

408 时间显示单元

409 跟踪开始按钮

410 跟踪停止按钮

450 原始图像

451 提取图像

452 二值化图像

453 标签图像

454 目标识别图像

460 轨迹重叠图像

470 轨迹重叠图像

480 轨迹重叠图像

500 工人

501 跟踪目标

501a 第一颜色部分

501b 第二颜色部分

510 工人

511 跟踪目标

511a 第一颜色部分

511b 第二颜色部分

520 购物者

521 跟踪目标

531 跟踪目标

540 盒子

541 跟踪目标

541a 第一形状部分

541b 第二形状部分

545 产品

545a 跟踪目标

546 产品

546a 跟踪目标

550 第一指定区域

551 第二指定区域

560 第一指定区域

561 第二指定区域

570 第一提取形状

571 第二提取形状

601a、601b、602、603a至603d 块

701、702 特征区域

701a、702a 特征区域帧

703 跟踪区域

704 搜索区域

800 轨迹线

801 帧选择窗口

801a、801b 选择按钮

810 轨迹线

820 轨迹线

830 轨迹线

840、841 轨迹线

1000 跟踪结果表

Claims

1.一种图像处理装置，包括:

再现单元，其用于在显示设备的预定显示区域中再现和显示由成像装置捕获到的视频数据；

特征区域检测单元，其用于在所述再现单元显示的视频数据的第一帧中，基于针对跟踪目标预先注册的特征信息来检测多个特征区域；以及

跟踪区域检测单元，其用于基于所述特征区域检测单元检测到的多个特征区域之间的距离，将包括所述多个特征区域的区域检测为包括所述跟踪目标的跟踪区域；其中，

指示所述跟踪目标的轨迹的轨迹线以重叠的方式显示在所述视频数据上，如果轨迹线中线相互交叉所处的部分被操作，再现单元显示帧选择窗口并且允许用户选择具有与交叉线对应的日期和时间的任何帧。

2.根据权利要求1所述的图像处理装置，进一步包括：

计算单元，其用于计算所述距离；以及

判定单元，其用于判定由所述计算单元计算出的所述距离是否等于或小于阈值，其中

当所述判定单元判定所述多个特征区域之间的距离等于或小于所述阈值时，所述跟踪区域检测单元将包括所述多个特征区域的区域检测为所述跟踪区域。

3.根据权利要求1或2所述的图像处理装置，进一步包括：

确定单元，其用于将特定区域确定为显示区域中的搜索区域，所述特定区域将成为所述特定区域检测单元在其中检测所述多个特征区域的目标，其中

所述特征区域检测单元在所述搜索区域中检测所述多个特征区域。

4.根据权利要求3所述的图像处理装置，其中

所述确定单元将具有预定大小并且包括由所述跟踪区域检测单元在第一帧之前提供的第二帧中检测到的跟踪区域的区域确定为第一帧中的搜索区域。

5.根据权利要求3所述的图像处理装置，其中

当所述跟踪区域检测单元在第一帧中未检测到所述跟踪区域时，所述确定单元通过将针对第一帧所确定的搜索区域扩展预定量来确定新搜索区域，并且

所述特征区域检测单元针对在第一帧之后提供的第三帧，在所述新搜索区域中检测所述多个特征区域。

6.根据权利要求1所述的图像处理装置，其中

与所述跟踪目标中包括的颜色对应的参考颜色被注册为所述特征信息。

7.根据权利要求6所述的图像处理装置，其中

与所述跟踪目标中包括的多个颜色对应的多个参考颜色被注册为所述特征信息。

8.根据权利要求6或7所述的图像处理装置，进一步包括：

指定单元，其用于指定用于注册所述参考颜色的指定区域；以及

注册单元，其用于使用所述指定区域中存在的像素的颜色来注册所述参考颜色。

9.根据权利要求6或7所述的图像处理装置，其中

所述特征区域检测单元执行：

第一处理，通过在第一帧的至少部分区域中提取包括具有颜色的像素的区域来获得第一图像，所述颜色被包括在预定颜色范围中，所述预定颜色范围包括所述参考颜色，

第二处理，通过将所述第一图像二值化化来获得第二图像，以及

第三处理，获得第三图像，在所述第三图像中，通过第二处理在第二图像中获得的一个或多个块相互区分，并且

当与第三图像的每个块对应的第一帧的区域的像素值被包括在所述预定颜色范围内时，所述特征区域检测单元将该区域确定为所述特征区域。

10.根据权利要求1所述的图像处理装置，其中

与所述跟踪目标中包括的形状对应的参考形状被注册为所述特征信息。

11.根据权利要求10所述的图像处理装置，进一步包括：

指定单元，其用于指定用于注册所述参考形状的指定区域；以及

注册单元，其用于使用所述指定区域中存在的形状来注册所述参考形状。

12.根据权利要求1所述的图像处理装置，其中

与所述跟踪目标中包括的颜色和形状对应的参考颜色和参考形状被注册为所述特征信息。

13.根据权利要求12所述的图像处理装置，其中

所述轨迹线的部分按时间顺序以不同的模式进行显示。

14.根据权利要求1所述的图像处理装置，其中

所述特征区域检测单元基于在所述第一帧中检测到的多个特征区域，将多个特征信息更新为新特征信息，并且在第一帧之后提供的帧中基于所述新特征信息来检测多个特征区域。

15.一种图像处理系统，包括:

成像装置，所述成像装置用于捕获视频数据；

显示设备，所述显示设备用于显示由所述成像装置捕获到的视频数据；以及

根据权利要求1到14中的任一项所述的图像处理装置。

16.一种图像处理方法，包括:

再现步骤，在显示设备的预定显示区域中再现和显示由成像装置捕获到的视频数据；

特征信息检测步骤，在所显示的视频数据的第一帧中，基于针对跟踪目标预先注册的特征信息来检测多个特征区域；以及

跟踪区域检测步骤，基于多个检测到的特征区域之间的距离，将包括多个特征区域的区域检测为包括所述跟踪目标的跟踪区域；其中，

指示所述跟踪目标的轨迹的轨迹线以重叠的方式显示在所述视频数据上，在再现步骤中，如果轨迹线中线相互交叉所处的部分被操作，显示帧选择窗口并且允许用户选择具有与交叉线对应的日期和时间的任何帧。

17.一种记录介质，其存储使得计算机执行如下操作的程序：

再现处理，在显示设备的预定显示区域中再现和显示由成像装置捕获到的视频数据；

特征信息检测处理，在所显示的视频数据的第一帧中，基于针对跟踪目标预先注册的特征信息来检测多个特征区域；以及

跟踪区域检测处理，基于多个检测到的特征区域之间的距离，将包括多个特征区域的区域检测为包括所述跟踪目标的跟踪区域；其中，

指示所述跟踪目标的轨迹的轨迹线以重叠的方式显示在所述视频数据上，在再现处理中，如果轨迹线中线相互交叉所处的部分被操作，显示帧选择窗口并且允许用户选择具有与交叉线对应的日期和时间的任何帧。