CN107730533A - 图像处理方法、图像处理设备和存储图像处理程序的介质 - Google Patents

图像处理方法、图像处理设备和存储图像处理程序的介质 Download PDF

Info

Publication number
CN107730533A
CN107730533A CN201710638817.5A CN201710638817A CN107730533A CN 107730533 A CN107730533 A CN 107730533A CN 201710638817 A CN201710638817 A CN 201710638817A CN 107730533 A CN107730533 A CN 107730533A
Authority
CN
China
Prior art keywords
scope
people
region
change
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710638817.5A
Other languages
English (en)
Other versions
CN107730533B (zh
Inventor
宫崎信浩
濑川英吾
辻健太郎
郑明燮
松田裕司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN107730533A publication Critical patent/CN107730533A/zh
Application granted granted Critical
Publication of CN107730533B publication Critical patent/CN107730533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明涉及图像处理方法、图像处理设备和存储图像处理程序的介质。一种用于跟踪对象的图像处理方法，该方法包括：通过参考存储由捕获装置捕获的过去帧的存储装置，在下一帧中指定搜索第一目标的第一范围和搜索第二目标的第二范围；在下一帧中指定的第一范围和第二范围彼此交叠的区域等于或大于预定值的情况下，改变下一帧中的第一范围和/或第二范围，使得交叠区域小于预定值；以及在改变的第一范围和改变的第二范围中搜索与第一目标对应的区域和与第二目标对应的区域，并且在下一帧中指定与第一目标对应的区域和与第二目标对应的区域。

Description

图像处理方法、图像处理设备和存储图像处理程序的介质
技术领域
本文所讨论的实施方式涉及图像处理程序。
背景技术
近年来，监测相机除了用于监测目的之外，还用于诸如营销或交通量调查之类的多个使用目的。例如，通过基于由购物中心的监测相机捕获的图像数据对人的移动路径进行分析来估计由人购买的商品，并且将所估计的商品信息用于营销。
例如，在相关技术中，通过使用分类器确定使用粒子滤波器估计的头部候选是头部并且重复执行定位人的头部的处理来跟踪同一人。相关技术的示例包括日本特开专利公开No.2012-108798、No.2008-112210、No.2004-94518、No.2011-180684和No.2008-26974。
然而，在相关技术中，存在以下问题：难以减小目标的位置的错误确定。
根据一个方面，本公开的目的是提供一种能够减小目标的位置的错误确定的图像处理程序、图像处理方法和图像处理设备。
发明内容
根据本发明的方面，图像处理方法包括：在从由捕获装置捕获的前一帧提取出与第一目标对应的第一区域和与第二目标对应的第二区域的情况下，通过参考存储由所述捕获装置捕获的过去帧的存储装置，在下一帧中指定搜索第一目标的第一范围和搜索第二目标的第二范围；在所述下一帧中指定的所述第一范围和所述第二范围彼此交叠的区域等于或大于预定值的情况下，改变所述下一帧中的所述第一范围和/或所述第二范围，使得所述交叠区域小于所述预定值；以及在改变的第一范围和改变的第二范围中搜索与所述第一目标对应的区域和与所述第二目标对应的区域，并且在下一帧中指定与所述第一目标对应的区域和与所述第二目标对应的区域。
附图说明
图1是用于描述确定人的移动路径的参考示例的第一图；
图2是用于描述确定人的移动路径的参考示例的第二图；
图3是用于描述参考示例的问题的第一图；
图4是用于描述参考示例的问题的第二图；
图5是用于描述根据本实施方式的图像处理设备的处理的图；
图6是示出了根据本实施方式的图像处理设备的配置的功能框图；
图7是示出了图像表的数据结构的示例的图；
图8是示出了跟踪表的数据结构的示例的图；
图9是用于描述相似度计算单元的处理的图；
图10是用于描述范围指定单元的处理的第一图；
图11是用于描述范围指定单元的处理的第二图；
图12是用于描述范围指定单元的处理的第三图；
图13是用于描述改变单元的处理的第一图；
图14是用于描述改变单元的处理的第二图；
图15是用于描述区域指定单元的处理的图；
图16是用于描述检测单元的处理的图；
图17是示出了根据本实施方式的图像处理设备的处理过程的流程图；
图18是示出了相似度计算处理的处理过程的流程图；
图19是示出了位置估计处理的处理过程的流程图；
图20是示出了区域计算处理的处理过程的流程图；
图21是示出了位置确定处理的处理过程的流程图；
图22是示出了人跟踪处理的处理过程的流程图；
图23是示出了人检测处理的处理过程的流程图；以及
图24是示出了计算机的硬件配置的示例的图。
具体实施方式
在下文中，将参照附图详细描述本申请中公开的图像处理程序、图像处理方法和图像处理设备的实施方式。本公开内容不受实施方式的限制。
[实施方式]
在对本实施方式进行描述之前将描述确定人的移动路径的参考示例。该参考示例不是相关技术。在执行位置预测处理之后，根据参考示例的图像处理设备执行跟踪处理。
图1和图2是用于描述确定人的移动路径的参考示例的图。将参照图1描述根据参考示例的位置预测处理。假定在时间t1和时间t2指定人1A的位置。假定人1A在时间t1的位置是(x1，y1)，并且人1A在时间t2的位置是(x2，y2)。
根据参考示例的图像处理设备假定人1A直线移动，并且预测人1A在时间t3的位置为(x3，y3)。在图1所示的示例中，图像处理设备将包括位置(x3，y3)的范围设置为搜索范围1B。
将参照图2描述根据参考示例的跟踪处理。假定基于图1的位置预测处理来设置搜索范围1B。图像处理设备从存储单元获取人1A的特征2A。人1A的特征2A是从前一帧的图像数据检测的人1A的特征，并且例如是人1A在时间t2的特征。
通过将特征2A与人的搜索范围1B进行比较来指定在搜索范围1B和人1A的特征2A之间具有高相似度的区域2B，并且将所指定的区域2B确定为人1A在时间t3的区域。根据参考示例的图像处理设备通过重复执行位置预测处理和跟踪处理来跟踪人1A。
接下来，将描述参考示例的问题。图3和图4是用于描述参考示例的问题的图。首先，将参照图3描述参考示例的问题。假定在时间t1和时间t2指定人3A和人4A的位置。假定人3A在时间t1的位置是(x31，y31)，并且人3A在时间t2的位置是(x32，y32)。假定人4A在时间t1的位置是(x41，y41)，并且人4A在时间t2的位置是(x42，y42)。
与图1中描述的处理类似，根据参考示例的图像处理设备假定人3A直线移动，并且将包括人3A在时间t3的位置的范围设置为搜索范围3B。图像处理设备假定人4A直线移动，并且将包括人4A在时间t3的位置的范围设置为搜索范围4B。
将参照图4描述参考示例的问题。图像处理设备从存储单元获取人3A的特征5A。人3A的特征5A是从前一帧的图像数据检测的人3A的特征，并且例如是人3A在时间t2的特征。
图像处理设备将在搜索范围3B和人3A的特征5A之间具有高相似度的区域确定为人3A在时间t3的区域。然而，如果人3A的特征和人4A的特征彼此相似并且搜索范围3B和搜索范围4B在预定区域或更大区域上彼此交叠，则人4A的区域6B可能被确定为人3A的区域，因此不能够适当地执行对人3A的跟踪处理。
类似地，图像处理设备从存储单元获取人4A的特征6A。人4A的特征6A是从前一帧的图像数据检测的人4A的特征，并且例如是人4A在时间t2的特征。
图像处理设备将在搜索范围4B和人4A的特征6A之间具有高相似度的区域确定为人4A在时间t3的区域。然而，如果人3A的特征和人4A的特征彼此相似并且搜索范围3B和搜索范围4B在预定区域或更大区域上彼此交叠，则人3A的区域5B可能被确定为人4A的区域，因此不能够执行对人4A的跟踪处理。
在下文中，将描述根据本实施方式的图像处理设备。图5是用于描述根据本实施方式的图像处理设备的处理的图。将描述图5的步骤S10。假定人10A和人10B存在于在某一时间捕获的图像数据的帧中。图像处理设备假定人10A和人10B以相同的速度直线移动，并且根据人10A和人10B的过去移动速度来估计在下一帧中的位置。
例如，人的移动速度(速度矢量)由公式(1)来限定。
v＝(px(t-1)-px(t-2)，py(t-1)-py(t-2))…(1)
在公式(1)中，px(t)指示人在时间t的x坐标。py(t)指示人在时间t的y坐标。例如，人在时间t的位置坐标由公式(2)来限定。
p(t)＝(px(t)，py(t))…(2)
图像处理设备基于人10A和人10B的移动速度来预测人10A和人10B在下一帧中的位置坐标。例如，如果人10A在单位时间(帧之间的时间)中的移动量和移动方向是v1(速度)，则人10A在下一帧中的位置坐标是位置坐标10A'。如果人10B在单位时间(帧之间的时间)中的移动量和移动方向是v2(速度)，则人10B在下一帧中的位置坐标是位置坐标10B'。
将描述图5的步骤S11。图像处理设备将具有人10A的预测位置坐标10A'的搜索范围11A设置为其参考。图像处理设备将具有人10B的预测位置坐标10B'的搜索范围11B设置为其参考。
图像处理设备确定是否满足下面要表示的“追赶条件1和追赶条件2”。在满足追赶条件1和追赶条件2二者的情况下，图像处理设备确定追赶被执行，并且进行至步骤S12的处理。在不满足追赶条件1和追赶条件2二者的情况下，图像处理设备确定追赶未被执行，并且执行与根据参考示例的跟踪处理相同的处理。在追赶未被执行的情况下，即使执行根据参考示例的跟踪处理，也不会产生图3和图4所示的问题。以下条件是用于确定人10A是否追赶人10B的条件，如图5所示。
追赶条件1：v1和v2的符号在x和y坐标方向上彼此相同，并且v1大于v2。
追赶条件2：在搜索范围11A与搜索范围11B的交叠区域11C的竖直宽度是h并且其水平宽度是w的情况下，w≥w0并且h≥h0。w0和h0是预设阈值，并且对应于人区域的大小。
将描述图5的步骤S12。在确定追赶被执行的情况下，图像处理设备调整具有较高速度的人的速度的方向，使得具有高速度的人的估计位置的方向和原始移动方向最小，并且与另一人的搜索范围的交叠区域小于人区域。调整目标是方向，并且不改变速度的绝对值。
具体地，图像处理设备改变速度矢量v1的方向并且重复执行重置搜索范围11A的处理，直至交叠区域11C的水平宽度w等于或小于w0或者直至交叠区域11C的垂直宽度h等于或小于h0。在存在满足交叠区域11C的水平宽度w等于或小于w0或者交叠区域11C的竖直宽度h等于或小于h0的多个速度矢量的情况下，图像处理设备指定满足使由原始速度矢量和改变的速度矢量形成的角度θ最小的速度矢量v1'。图像处理设备通过速度矢量v1'来设置搜索范围11A，并且执行跟踪处理。
如在图5的步骤S10至步骤S12中所描述的，根据本实施方式的图像处理设备通过注意到以下事实来在捕获画面上调整追赶人的预测位置坐标：当人实际移动时，追赶人在避开被追赶人的同时进行移动。通过以这种方式调整位置坐标，追赶人的搜索范围与被追赶人的搜索范围的交叠区域小于人区域，因此可以抑制人的变化。因此，可以适当地执行跟踪处理。
接下来，将描述根据本实施方式的图像处理设备的配置。图6是示出了根据本实施方式的图像处理设备的配置的功能框图。如图6所示，图像处理设备100包括相机110、输入装置120、显示装置130、存储单元140以及控制单元150。
相机110是对捕获范围的图像进行捕获并且将捕获图像的数据输出至图像处理设备100的装置。在以下描述中，由相机110捕获的图像的数据被描述为图像数据。图像数据是各个时间的帧连续的数据。虽然未在图6中示出，但是相机110可以经由网络连接至图像处理设备100。
输入装置120是用于向图像处理设备100输入各种信息项的输入装置。输入装置120对应于键盘、鼠标或触摸板。
显示装置130是显示装置，其显示控制单元150的处理结果。显示装置130对应于液晶显示器或触摸板。
存储单元140包括图像表141、跟踪表142以及预测误差数据143。存储单元140对应于诸如随机存取存储器(RAM)、只读存储器(ROM)或闪速存储器之类的半导体存储装置，或诸如硬盘驱动器(HDD)之类的存储装置。
图像表141是存储图像数据中所包括的各个时间的帧的表。图7是示出了图像表的数据结构的示例的图。如图7所示，图像表141使时间和帧相关联。如上所述，由相机110捕获的图像数据包括各个时间连续的帧。
跟踪表142是保存与作为跟踪目标的人有关的各种信息项的表。图8是示出了跟踪表的数据结构的示例的图。如图8所示，跟踪表142使人标识(ID)、时间、人区域和移动量相关联。人ID是用于唯一地标识人的信息。时间指示帧的时间。虽然在图8中针对每个人仅示出了两个帧，但是实际上针对每个人存储有许多帧。
人区域指示人存在于帧上的区域。人区域包括x坐标、y坐标、宽度以及高度。x坐标和y坐标对应于人区域的左上方的x坐标和y坐标。宽度对应于人区域的宽度，并且高度对应于人区域的高度。x坐标和y坐标不限于人区域的左上方的x坐标和y坐标，并且可以是人区域的右上方、左下方、右下方或中心处的x坐标和y坐标。
移动量(x，y)指示人每单元时间在x轴方向和y轴方向上移动的移动量。移动量(x，y)对应于速度矢量。例如，假定单位时间是从时间t-1的帧至时间t的帧的时间。
预测误差数据143是指示特定人的估计位置坐标和该特定人的实际位置坐标之间的误差的信息。下面将描述与预测误差数据143有关的细节。
控制单元150包括获取单元151、相似度计算单元152、范围指定单元153、改变单元154、区域指定单元155以及检测单元156。控制单元150对应于诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)的集成装置。例如，控制单元150对应于诸如中央处理单元(CPU)或微处理单元(MPU)之类的电子电路。
获取单元151是从相机110获取图像数据的处理单元。获取单元151使图像数据中所包括的帧与时间相关联，并且将相关联的项存储在图像表141中。
相似度计算单元152是处理单元，其在下一帧中存在多个人区域的情况下计算每个人区域的相似度。相似度计算单元152将每个人区域的相似度的数据输出至改变单元154。相似度计算单元152在下一帧中存在三个或更多个人区域的情况下，针对每组两个不同的人区域来计算相似度。
例如，相似度计算单元152计算归一化互相关函数的值作为相似度。具体地，相似度计算单元152基于公式(3)来计算每个人区域的相似度R。图9是用于描述相似度计算单元的处理的图。如图9所示，假定在下一帧中存在人10A的区域T和人10B的区域I。公式(3)中的T(x，y)表示区域T中所包括的坐标(x，y)的像素值。I(x，y)表示区域I中所包括的坐标(x，y)的像素值。h对应于区域T或区域I的高度。w对应于区域T或区域I的宽度。
相似度计算单元152对下一帧中所包括的该组人区域重复执行计算相似度的处理。例如，相似度计算单元152将通过使帧的时间、与该组人区域对应的人ID和相似度相关联而获得的信息输出至改变单元154。
范围指定单元153是处理单元，其基于跟踪表142在下一帧中指定搜索第一人的第一范围以及搜索第二人的第二范围。范围指定单元153执行下面要描述的位置估计处理和范围计算处理。
将描述由范围指定单元153执行的位置估计处理。范围指定单元153根据人在过去帧中的位置坐标来计算人的移动量，并且估计人在下一帧中的位置坐标。
图10是用于描述范围指定单元的处理的第一图。假定人在相机坐标系统中的两个过去帧中的位置坐标p(t-1)和p(t-2)通过过去的处理被存储在跟踪表142中。这里，假定人是例如人10A。位置坐标p(t-2)对应于人10A在时间t-2的位置坐标。位置坐标p(t-1)对应于人10A在时间t-1的位置坐标。这里，p(t)由公式(2)来限定。
人10A每单位时间的移动量(速度矢量)由公式(4)来限定。范围指定单元153假定人10A以均匀速度直线移动，并且通过公式(5)来估计人10A在时间t的位置坐标p(t)。
Δ＝p(t-1)-p(t-2)…(4)
p(t)＝p(t-1)+Δ…(5)
接下来，将描述由范围指定单元153执行的范围计算处理。范围指定单元153将具有通过位置估计处理指定的位置坐标p(t)的搜索范围设置为其参考。
图11是用于描述范围指定单元的处理的第二图。范围指定单元153基于位置坐标p(t)来设置具有水平宽度r和竖直宽度r的搜索范围11A。例如，范围指定单元153设置搜索范围11A，使得搜索范围11A的左上端位于位置坐标p(t)。
随后，范围指定单元153在考虑到预测误差ε(εx，εy)的情况下修改搜索范围11A。范围指定单元153从预测误差数据143获取预测误差ε(εx，εy)。
图12是用于描述范围指定单元的处理的第三图。预测误差ε对应于基于公式(5)估计的人10A的位置坐标和人10A的实际位置坐标之间的误差。例如，范围指定单元153通过将搜索范围11A的水平宽度扩展仅2εx并且将其竖直宽度扩展仅εy来将搜索范围11A修改为搜索范围11A'。搜索范围11A被修改为搜索范围11A'，因此，可以将人区域无遗漏地包括在搜索范围11A'中。在除了范围指定单元153之外的描述中，将经修改的搜索范围11A'简单地描述为搜索范围11A。
例如，预测误差εx由公式(6)来限定。预测误差εy由公式(7)来限定。公式(6)的x对应于基于公式(5)估计的人10A的x坐标。公式(7)的y对应于基于公式(5)估计的人10A的y坐标。
εx＝x×(1-px)…(6)
εy＝y×(1-py)…(7)
公式(6)的px是由公式(8)限定的值。公式(7)的py是由公式(9)限定的值。
公式(8)中的px1和公式(9)中的py1是特定人(例如，人10A)的预测精度，并且分别由公式(10)和公式(11)来限定。
公式(10)中所包括的“xp1、xp2、xp3、......”和公式(11)中所包括的“yp1、yp2、yp3、......”由公式(12)至公式(17)来限定。在公式(12)至公式(17)中，x1(t)指示从时间t的帧检测的人的实际x坐标。y1(t)指示从时间t的帧检测的人的实际y坐标。x2(t)指示从时间t的帧检测的人的预测x坐标。y2(t)指示从时间t的帧检测的人的预测y坐标。
xp1＝1-{|x1(t-2)-x2(t-2)|/x1(t-2)}…(12)
yp1＝1-{|y1(t-2)-y2(t-2)|/y1(t-2)}…(13)
xp2＝1-{|x1(t-1)-x2(t-1)|/x1(t-1)}…(14)
yp2＝1-{|y1(t-1)-y2(t-1)|/y1(t-1)}…(155)
xp3＝1-{|x1(t)-x2(t)|/x1(t)}…(16)
yp3＝1-{|y1(t)-y2(t)|/y1(t)}…(17)
…
公式(8)中的px2和公式(9)中的py2是另一人(例如，人10B)的预测精度，并且与公式(10)和公式(11)类似地进行限定。公式(8)中的px3和公式(9)中的py3是又一人(例如，未被示出的人10C)的预测精度，并且与公式(10)和公式(11)类似地进行限定。
假定范围指定单元153提前计算了人10A至10C及另一人的实际位置坐标和基于公式(5)估计的位置坐标，并且计算了预测误差εx和预测误差εy。范围指定单元153将预测误差εx和预测误差εy的数据作为预测误差数据143登记在存储单元140中。
范围指定单元153将通过使人ID、人在与人ID对应的时间t-1的位置坐标、移动量(速度矢量)以及搜索范围相关联而获得的信息输出至改变单元154。
在下一帧中指定的人10A的搜索范围11A与人10B的搜索范围11B彼此交叠的区域等于或大于预定值的情况下，改变单元154是下述处理单元，其改变搜索范围11A或搜索范围11B的位置，使得交叠区域小于预定值。
最初，改变单元154通过确定是否满足追赶条件1和追赶条件2二者来确定是否改变搜索范围11A或搜索范围11B的位置。
如上所述，追赶条件1是其中“v1和v2在x和y坐标方向上的符号彼此相同或者v2的值是0”的条件。这里，如果假定追赶人是人10A并且被追赶人是人10B，则人10A的移动量对应于“v1”，并且人10B的移动量对应于“v2”。例如，改变单元154比较人的移动量，并且确定具有较大移动量的人是追赶人，并且具有较小移动量的人是被追赶人。
追赶条件2是其中“在搜索范围11A与搜索范围11B的交叠区域11C的竖直宽度是h并且其水平宽度是w的情况下，w≥w0并且h≥h0”的条件。w0和h0是预设阈值，并且对应于人区域的大小。
图13是用于描述改变单元的处理的第一图。在图13所示的坐标系统中，假定当位置变得更靠近右侧时x坐标变得更大，并且当位置变得更靠近下侧时y坐标变得更大。如图13所示，假定搜索范围11B的左上端的坐标是(x1min，y1min)，并且搜索范围11B的右下端的坐标是(x1max，y1max)。假定搜索范围11A的左上端的坐标是(x2min，y2min)，并且搜索范围11A的右下端的坐标是(x2max，y2max)。
交叠区域11C的宽度w由公式(18)来限定。交叠区域11C的高度h由公式(19)来限定。公式(18)和公式(19)中所包括的min(x，y)表示x和y中的较小值被选择。max(x，y)表示x和y中的较大值被选择。改变单元154基于公式(18)和公式(19)来计算交叠区域11C的宽度w和高度h。
w＝min(x1max，x2max)-max(x1min，x2min)…(18)
h＝min(y1max，y2max)-max(y1min，y2min)…(19)
在不满足追赶条件1和追赶条件2二者的情况下，改变单元154跳过改变搜索范围11A或搜索范围11B的位置的处理。也就是说，在不满足追赶条件1和追赶条件2二者的情况下，假定改变单元154保持搜索范围11A或搜索范围11B的位置。
同时，在满足追赶条件1和追赶条件2二者的情况下，改变单元154执行改变搜索范围11A或搜索范围11B的位置的处理。这里，将描述例如改变搜索范围11A的位置的情况。
图14是用于描述改变单元的处理的第二图。在图14的描述中，假定追赶人是人10A，并且被追赶人是人10B。假定人10A在位置被改变之前的速度矢量(移动量)是速度矢量v1并且人10A在位置被改变之后的速度矢量是速度矢量v1'。
将描述图14的步骤S20。改变单元154通过将速度矢量v1的取向改变成人10A与人10B分离的方向来设置速度矢量v1'。速度矢量v1和速度矢量v1'的量值彼此相等，但是其取向彼此不同。在图14所示的示例中，由速度矢量v1和速度矢量v1'形成的角度是θ。
将描述图14的步骤S21。改变单元154通过使用人10A的移动量作为速度矢量v1'来重新计算人10A在下一帧中的位置坐标，并且重新设置搜索范围11A。由改变单元154基于移动量执行的计算人10A的位置坐标的处理以及设置搜索范围的处理与上述由范围指定单元153执行的计算位置坐标的处理以及设置搜索范围的处理相同。
将描述图14的步骤S22。改变单元154指定新设置的搜索范围11A与人10B的搜索范围11B的交叠区域11C。
改变单元154重复执行改变速度矢量v1的方向和重新设置搜索范围11A的处理(步骤S20至步骤S22)直至交叠区域11C的水平宽度w等于或小于w0或者交叠区域11C的竖直宽度等于或小于h0。在存在多个速度矢量满足交叠区域11C的水平宽度w等于或小于w0或者交叠区域11C的竖直宽度h等于或小于h0的情况下，改变单元154指定满足使由原始速度矢量和改变的速度矢量形成的角度θ最小的速度矢量v1'。改变单元154基于满足使角度θ最小的指定速度矢量v1'来将搜索范围11A确定为改变的搜索范围11A。
改变单元154将通过使人ID与下一帧的搜索范围相关联而获得的信息输出至区域指定单元155。例如，假定下一帧是时间t的帧。
改变单元154获取通过使帧的时间、与该组人区域对应的人ID和来自相似度计算单元152的相似度相关联而获得的信息，并且在每个人ID的相似度小于阈值的情况下执行以下处理。这里，为了方便描述，假定与人ID对应的人是人10A和人10B。在人10A在时间t-1的人区域与人10B在时间t-1的人区域之间的相似度小于阈值的情况下，改变单元154跳过图14的步骤S20至步骤S22所示的处理，并且在位置被改变之前保持人10A的搜索范围11A和人10B的搜索范围11B。改变单元154将通过使人ID与下一帧的搜索范围相关联而获得的信息输出至区域指定单元155。
区域指定单元155是下述处理单元，其根据在下一帧中设置的搜索范围来指定人的区域。区域指定单元155通过使用从过去帧获取的人的特征来跟踪同一人。这里，为了便于描述，将描述根据在时间t的帧中设置的人10A的搜索范围11A来指定人10A的区域的情况。将描述根据在时间t的帧中设置的人10B的搜索范围11B来指定人10B的区域的情况。
图15是用于描述区域指定单元的处理的图。将描述图15的步骤S30。区域指定单元155基于图像表141和跟踪表142来获取人10A的模板12A。例如，区域指定单元155通过参照跟踪表142来获取与人ID“10A”的时间“t-1”对应的人区域的信息。如图8所示，人区域的信息包括x坐标、y坐标、宽度和高度。随后，区域指定单元155通过从图像表141的时间“t-1”的帧提取人10A的人区域的图像来获取模板12A。
类似地，区域指定单元155基于图像表141和跟踪表来获取人10B的模板12B。例如，区域指定单元155通过参照跟踪表142来获取与人ID“10B”的时间“t-1”对应的人区域的信息。随后，区域指定单元155通过从图像表141的时间“t-1”""的帧提取人10B的人区域的图像来获取模板12B。
将描述图15的步骤S31。区域指定单元155在搜索范围11A上布置模板12A，并且重复执行计算相似度的处理，同时移动模板12A的位置。
例如，区域指定单元155通过公式(20)来计算搜索范围11A与模板交叠的区域和该模板之间的相似度。公式(20)中的T'(x，y)指示模板T'中所包括的坐标(x，y)的像素值。I'(x，y)指示搜索范围与模板交叠的区域I'中所包括的坐标(x，y)的像素值。h对应于模板T'的高度。w对应于模板T'的宽度。
区域指定单元155通过将搜索范围与模板12A进行比较来设置相似度R最大的区域I'作为区域13A。在该情况下，区域指定单元155指定区域I'作为人10A在时间t的人区域13A。
类似地，区域指定单元155在搜索范围11B上布置模板12B，并且重复执行计算相似度的处理，同时移动模板12B的位置。区域指定单元155通过将搜索范围与模板12B进行比较来设置相似度R最大的区域I'作为区域13B。在该情况下，区域指定单元155指定区域I'作为人10B在时间t的人区域13B。
将描述图15的步骤S32。区域指定单元155确定人10A在时间t-1移动至时间t的人区域13A。区域指定单元155使人ID“10A”、时间“t”、人区域13A的信息和人10A的移动量相关联，并且将关联的项登记在跟踪表142中。
区域指定单元155确定人10B在时间t-1移动至时间t的人区域13B。区域指定单元155使人ID“10B”、时间“t”、人区域13B的信息和人10B的移动量相关联，并且将关联的项登记在跟踪表142中。
将再次描述图6。检测单元156是从时间t的帧检测人的处理单元。检测单元156确定所检测的人是否是作为跟踪目标的人，并且在所检测的人不是作为跟踪目标的人的情况下，将作为跟踪目标的新人而检测的人的信息添加至跟踪表142。
图16是用于描述检测单元的处理的图。将描述图16的步骤S40。检测单元156通过参考图像表141来获取时间t-1的帧50a和时间t的帧50b。
将描述图16的步骤S41。检测单元156生成帧50a和帧50b之间的背景差图像51。
将描述图16的步骤S42。检测单元156通过使用方向梯度直方图(HOG)特征来预先生成人的分类器。检测单元156将该分类器与背景差图像51进行比较，并且确定人的区域是否被包括在背景差图像51中。在人的区域被包括在背景差图像51中的情况下，检测单元156输出人区域候选52。
将描述图16的步骤S43。检测单元156基于跟踪表142来指定作为跟踪目标的人在时间t的人区域。这里，为了便于描述，假定基于跟踪表142指定的人区域是人10A的人区域13A。检测单元156计算人区域13A与人区域候选52的交叠率。
在人区域13A和人区域候选52的交叠率等于或大于预定交叠率的情况下，检测单元156确定人区域候选52对应于人区域13A，并且跳过将人区域候选添加至跟踪表142的处理。
在人区域13A和人区域候选52的交叠率小于预定交叠率的情况下，检测单元156确定人区域候选52与人区域13A不对应。在确定人区域候选52与跟踪表142的每个人区域不对应的情况下，检测单元156将人区域候选52的信息重新登记在跟踪表142中。例如，检测单元156分配唯一的人ID，使该人ID、时间t、人区域候选的x坐标和y坐标、宽度和高度相关联，并且将关联的项登记在跟踪表142中。
接下来，将描述根据本实施方式的图像处理设备100的处理过程。图17是示出了根据本实施方式的图像处理设备的处理过程的流程图。如图17所示，图像处理设备100的获取单元151从相机110获取图像数据(步骤S101)。
图像处理设备100的相似度计算单元152执行相似度计算处理(步骤S102)。图像处理设备100的范围指定单元153执行位置估计处理(步骤S103)。范围指定单元153执行区域计算处理(步骤S104)。
图像处理设备100的改变单元154执行位置确定处理(步骤S105)。图像处理设备100的区域指定单元155执行人跟踪处理(步骤S106)。图像处理设备100的检测单元156执行人检测处理(步骤S107)。
图像处理设备100的控制单元150输出处理结果(步骤S108)。图像处理设备100确定是否继续进行处理(步骤S109)。在控制单元继续处理的情况下(步骤S109，是)，图像处理设备100进行至步骤S101。在控制单元不继续处理的情况下(步骤S109，否)，图像处理设备100结束处理。
将描述在图17的步骤S102中示出的相似度计算处理。图18是示出了相似度计算处理的处理过程的流程图。如图18所示，相似度计算单元152基于图像表141和跟踪表142来指定人区域(步骤S201)。
相似度计算单元152基于图像表141和跟踪表142来指定另一人的人区域(步骤S202)。相似度计算单元152计算人区域之间的相似度(步骤S203)。
相似度计算单元152确定是否存在未计算相似度的人区域的组合(步骤S204)。在存在未计算相似度的人区域的组合的情况下(步骤S204，是)，相似度计算单元152进行至步骤S201。同时，在不存在未计算相似度的人区域的组合的情况下(步骤S204，否)，相似度计算单元152结束相似度计算处理。
将描述在图17的步骤S103中示出的位置估计处理。图19是示出了位置估计处理的处理过程的流程图。如图19所示，范围指定单元153确定在过去帧中获取的同一人的人区域是否等于或大于2(步骤S251)。当在过去帧中获取的同一人的人区域不等于或大于2的情况下(步骤S251，否)，范围指定单元153进行至步骤S255。同时，当在过去帧中获取的同一人的人区域等于或大于2的情况下(步骤S251，是)，范围指定单元153进行至步骤S252。
范围指定单元153指定人在两个过去帧中的位置坐标(步骤S252)。范围指定单元153通过使用位置坐标来计算人的移动量(速度矢量)(步骤S253)。
范围指定单元153估计人的位置坐标(步骤S254)。例如，范围指定单元153基于人在时间t-1和时间t-2的位置坐标来计算速度矢量，并且估计人在时间t的位置坐标。
范围指定单元153确定是否存在位置坐标未被估计的人(步骤S255)。在存在位置坐标未被估计的人的情况下(步骤S255，是)，范围指定单元153进行至步骤S251。同时，在不存在位置坐标未被估计的人的情况下(步骤S255，否)，范围指定单元153结束位置估计处理。
将描述在图17的步骤S104中示出的区域计算处理。图20是示出了区域计算处理的处理过程的流程图。如图20所示，范围指定单元153获取人在下一帧(时间t的帧)中的估计位置坐标(步骤S301)。范围指定单元153基于人的估计位置坐标来设置人的搜索范围(步骤S302)。
范围指定单元153确定是否存在搜索范围未被设置的人(步骤S303)。在存在搜索范围未被设置的人的情况下(步骤S303，是)，范围指定单元153进行至步骤S301。在不存在搜索范围未被设置的人的情况下(步骤S303，否)，范围指定单元153结束区域计算处理。
将描述在图17的步骤S105中示出的位置确定处理。图21是示出了位置确定处理的处理过程的流程图。如图21所示，改变单元154获取作为跟踪目标的人的搜索范围和移动量(速度矢量)的信息(步骤S351)。改变单元154获取另一人的搜索范围和移动量(速度矢量)的信息(步骤S352)。
改变单元154确定人的移动方向是否基本相同(速度矢量的方向之间的差小于阈值)或者位于另一人前方的人的移动量是否基本为0(速度矢量的绝对值小于阈值)(步骤S353)。在人的移动方向基本相同或者位于另一人前方的人的移动量基本为0的情况下(步骤S353，是)，改变单元154进行至步骤S354。同时，在人的移动方向不相同或者位于另一人前方的人的移动量不为0的情况下(步骤S353，否)，改变单元154进行至步骤S357。
改变单元154确定搜索范围的交叠区域是否等于或大于人区域的大小(步骤S354)。在搜索范围的交叠区域等于或大于人区域的大小的情况下(步骤S354，是)，改变单元154进行至步骤S355。同时，在搜索范围的交叠区域不等于或大于人区域的大小的情况下(步骤S354，否)，改变单元154进行至步骤S357。
改变单元154改变人的移动方向，并且估计人的坐标位置和搜索范围(步骤S355)。改变单元154确定交叠区域是否等于或大于人区域的大小(步骤S356)。在交叠区域等于或大于人区域的大小的情况下(步骤S356，是)，改变单元154进行至步骤S354。
在交叠区域不等于或大于人区域的大小的情况下(步骤S356，否)，改变单元154固定所估计的搜索范围作为人的搜索范围(步骤S357)。在步骤S357中，改变单元154基于在满足使步骤S356的条件为否的位置改变之后的速度矢量中的、满足使由位置改变之前的速度矢量和位置改变之后的速度矢量形成的角度θ最小的速度矢量来固定搜索范围作为改变的搜索范围。
改变单元154确定是否存在作为跟踪目标的另一人(步骤S358)。在存在作为跟踪人的另一人的情况下(步骤S358，是)，改变单元154进行至步骤S351。在不存在作为跟踪人的另一人的情况下(步骤S358，否)，改变单元154结束位置确定处理。
将描述在图17的步骤S106中示出的人跟踪处理。图22是示出了人跟踪处理的处理过程的流程图。如图22所示，区域指定单元155获取人区域的模板(步骤S401)。
区域指定单元155通过使用人区域的模板来扫描搜索范围内的区域，并且计算相似度(步骤S402)。区域指定单元155指定搜索范围内的具有最高相似度的区域作为人区域(步骤S403)。
区域指定单元155更新跟踪表142(步骤S404)。区域指定单元155确定是否存在未被执行跟踪处理的人(步骤S405)。在存在未被执行跟踪处理的人的情况下(步骤S405，是)，区域指定单元155进行至步骤S401。在不存在未被执行跟踪处理的人的情况下(步骤S405，否)，范围指定单元155结束人跟踪处理。
将描述在图17的步骤S107中示出的人检测处理。图23是示出了人跟踪处理的处理过程的流程图。如图23所示，检测单元156获取背景差图像(步骤S451)。检测单元156通过使用HOG特征来提前生成分类器(步骤S452)。
检测单元156通过使用分类器来确定人区域候选是否包括在背景差图像中(步骤S453)。检测单元156指定被确定为人的人区域候选(步骤S454)。
检测单元156确定人区域候选与通过人跟踪处理获得的人区域的交叠率是否等于或大于阈值(步骤S455)。在人区域候选与通过人跟踪处理获得的人区域的交叠率不等于或大于阈值的情况下(步骤S455，否)，检测单元156将作为新出现的人的人区域候选的信息登记在跟踪表142中(步骤S456)。
同时，在人区域候选与通过人跟踪处理获得的人区域的交叠率等于或大于阈值的情况下(步骤S455，是)，检测单元156结束人检测处理。
接下来，将描述根据本实施方式的图像处理设备100的优点。在第一人的第一搜索范围和第二人的第二搜索范围彼此交叠的区域等于或大于预定值的情况下，图像处理设备100改变第一搜索范围和/或第二搜索范围，使得交叠率小于预定值。图像处理设备100从下一帧中的第一搜索范围指定第一人的区域，并且从下一帧中的第二搜索范围指定第二人的区域。因此，可以减小目标的位置的错误确定。
图像处理设备100通过基于第一人在过去帧中的移动历史计算第一速度矢量来指定第一搜索范围。图像处理设备100通过基于第二人在过去帧中的移动历史计算第二速度矢量来指定第二搜索范围。因此，可以通过使用简单的方法来计算第一人和第二人的位置。
图像处理设备100指定第一搜索范围和第二搜索范围彼此交叠的区域，同时改变速度矢量的方向，并且在满足交叠区域小于预定值的条件的范围内指定满足使速度矢量的方向的改变量最小的改变量。图像处理设备100使速度矢量的方向改变指定的改变量，并且改变下一帧中的第一搜素范围。因此，追赶人的搜索范围和被追赶人的搜索范围彼此交叠的范围小于人区域，并且因此，可以抑制人的切换。因此，可以适当地执行跟踪处理。
在过去帧中所包括的第一人的特征和第二人的特征之间的相似度等于或大于阈值的情况下，图像处理设备100改变下一帧中的搜索范围。因为这样的切换仅在第一人的特征和第二人的特征彼此相似的情况下发生，所以在特征彼此不相似的情况下跳过改变下一帧中的搜索范围的处理，因此可以减小处理负荷。
在第一人的移动方向和第二人的移动方向基本相同的情况下，图像处理设备100改变下一帧中第一范围的搜索范围。这里，如果第一人的移动方向和第二人的移动方向基本不相同，则因为不存在搜索范围彼此交叠的情况，所以跳过确定是否改变搜索范围的处理，因此可以减小处理负荷。
虽然在本实施方式中已经描述了对由相机110捕获的人进行跟踪，但本公开不限于此，并且可以类似地应用于诸如车辆或动物等移动对象。
在下文中，将描述用于实现与本实施方式中描述的图像处理设备100的功能相同的功能的计算机的硬件配置的示例。图24是示出了计算机的硬件配置的示例的图。
如图24所示，计算机200包括：CPU 201，其执行各种运算处理；输入装置202，其从用户接收数据的输入；以及显示器203。计算机200包括：读取装置204，其从存储介质读取程序；以及接口装置205，其经由网络向另一计算机发送数据并从另一计算机接收数据。计算机200包括相机206。计算机200包括RAM 207，其暂时存储各种信息项；以及硬盘装置208。各个装置201至208连接至总线209。
硬盘装置208包括获取程序208a、相似度计算程序208b、范围指定程序208c、改变程序208d、区域指定程序208e和检测程序208f。CPU 201读取获取程序208a、相似度计算程序208b、范围指定程序208c、改变程序208d、区域指定程序208e或检测程序208f，并且将所读取的程序加载到RAM 207中。
获取程序208a用作获取处理207a。相似度计算程序208b用作相似度计算处理207b。范围指定程序208c用作范围指定处理207c。改变程序208d用作改变处理207d。区域指定程序208e用作区域指定处理207e。检测程序208f用作检测处理207f。
例如，获取处理207a的处理对应于获取单元151的处理。相似度计算处理207b的处理对应于相似度计算单元152的处理。范围指定处理207c的处理对应于范围指定单元153的处理。改变处理207d的处理对应于改变单元154的处理。区域指定处理207e的处理对应于区域指定单元155的处理。检测处理207f的处理对应于检测单元156的处理。
各个程序208a至208f在初始阶段可以不一定存储在硬盘装置208中。例如，各个程序被存储在要被插入至计算机200的“便携式物理介质”例如软盘(FD)、CD-ROM、DVD盘、磁光盘或IC卡中。计算机200可以读取各个程序208a至208f，并且可以执行所读取的程序。

Claims (15)

1.一种计算机可读存储介质，所述计算机可读存储介质存储图像处理程序，所述图像处理程序使计算机执行以下处理：
在从由捕获装置捕获的前一帧提取出与第一目标对应的第一区域和与第二目标对应的第二区域的情况下，通过参考存储由所述捕获装置捕获的过去帧的存储装置，在下一帧中指定搜索所述第一目标的第一范围和搜索所述第二目标的第二范围；
在所述下一帧中指定的所述第一范围和所述第二范围彼此交叠的区域等于或大于预定值的情况下，改变所述下一帧中的所述第一范围和/或所述第二范围，使得交叠区域小于所述预定值；以及
在改变的第一范围和改变的第二范围中搜索与所述第一目标对应的区域和与所述第二目标对应的区域，并且在所述下一帧中指定与所述第一目标对应的区域和与所述第二目标对应的区域。
2.根据权利要求1所述的存储介质，
其中，在指定范围的处理中，通过基于所述第一目标在所述过去帧中的移动历史计算第一速度矢量来指定所述第一范围，并且通过基于所述第二目标在所述过去帧中的移动历史计算第二速度矢量来指定所述第二范围。
3.根据权利要求2所述的存储介质，
其中，在改变范围的处理中，通过以下处理来改变所述下一帧中的所述第一范围：指定所述第一范围和所述第二范围彼此交叠的区域，同时改变所述第一速度矢量的方向；在满足所述交叠区域小于所述预定值的条件的范围中，指定满足使所述第一速度矢量的方向的改变量最小的改变量；以及使所述第一速度矢量的方向改变指定的改变量。
4.根据权利要求1至3中任一项所述的存储介质，
其中，在改变范围的处理中，在所述前一帧中包括的所述第一目标的第一特征和所述第二目标的第二特征之间的相似度等于或大于阈值的情况下，改变所述下一帧中的所述第一范围和/或所述第二范围。
5.根据权利要求1至4中任一项所述的存储介质，
其中，在改变范围的处理中，在所述第一目标的移动方向和所述第二目标的移动方向之间的差值小于预定阈值的情况下，改变所述下一帧中的所述第一范围和/或所述第二范围。
6.一种由计算机执行的图像处理方法，所述方法包括：
在从由捕获装置捕获的前一帧提取出与第一目标对应的第一区域和与第二目标对应的第二区域的情况下，通过参考存储由所述捕获装置捕获的过去帧的存储装置，在下一帧中指定搜索所述第一目标的第一范围和搜索所述第二目标的第二范围；
在所述下一帧中指定的所述第一范围和所述第二范围彼此交叠的区域等于或大于预定值的情况下，改变所述下一帧中的所述第一范围和/或所述第二范围，使得交叠区域小于所述预定值；以及
在改变的第一范围和改变的第二范围中搜索与所述第一目标对应的区域和与所述第二目标对应的区域，并且在所述下一帧中指定与所述第一目标对应的区域和与所述第二目标对应的区域。
7.根据权利要求6所述的图像处理方法，
其中，在指定范围的处理中，通过基于所述第一目标在所述过去帧中的移动历史计算第一速度矢量来指定所述第一范围，并且通过基于所述第二目标在所述过去帧中的移动历史计算第二速度矢量来指定所述第二范围。
8.根据权利要求7所述的图像处理方法，
其中，在改变范围的处理中，通过以下处理来改变所述下一帧中的所述第一范围：指定所述第一范围和所述第二范围彼此交叠的区域，同时改变所述第一速度矢量的方向；在满足所述交叠区域小于所述预定值的条件的范围中，指定满足使所述第一速度矢量的方向的改变量最小的改变量；以及使所述第一速度矢量的方向改变指定的改变量。
9.根据权利要求6至8中任一项所述的图像处理方法，
其中，在改变范围的处理中，在所述前一帧中包括的所述第一目标的第一特征和所述第二目标的第二特征之间的相似度等于或大于阈值的情况下，改变所述下一帧中的所述第一范围和/或所述第二范围。
10.根据权利要求6至9中任一项所述的图像处理方法，
其中，在改变范围的处理中，在所述第一目标的移动方向和所述第二目标的移动方向之间的差值小于预定阈值的情况下，改变所述下一帧中的所述第一范围和/或所述第二范围。
11.一种图像处理设备，包括：
范围指定单元，所述范围指定单元：在从由捕获装置捕获的前一帧提取出与第一目标对应的第一区域和与第二目标对应的第二区域的情况下，通过参考存储由所述捕获装置捕获的过去帧的存储装置，在下一帧中指定搜索所述第一目标的第一范围和搜索所述第二目标的第二范围；
改变单元，所述改变单元：在所述下一帧中指定的所述第一范围和所述第二范围彼此交叠的区域等于或大于预定值的情况下，改变所述下一帧中的所述第一范围和/或所述第二范围，使得交叠区域小于所述预定值；以及
搜索单元，所述搜索单元：在改变的第一范围和改变的第二范围中搜索与所述第一目标对应的区域和与所述第二目标对应的区域，并且在所述下一帧中指定与所述第一目标对应的区域和与所述第二目标对应的区域。
12.根据权利要求11所述的图像处理设备，
其中，所述改变单元通过基于所述第一目标在所述过去帧中的移动历史计算第一速度矢量来指定所述第一范围，并且通过基于所述第二目标在所述过去帧中的移动历史计算第二速度矢量来指定所述第二范围。
13.根据权利要求12所述的图像处理设备，
其中，所述改变单元通过以下处理来改变所述下一帧中的所述第一范围：指定所述第一范围和所述第二范围彼此交叠的区域，同时改变所述第一速度矢量的方向；在满足所述交叠区域小于所述预定值的条件的范围中，指定满足使所述第一速度矢量的方向的改变量最小的改变量；以及使所述第一速度矢量的方向改变指定的改变量。
14.根据权利要求11至13中任一项所述的图像处理设备，
其中，在所述前一帧中包括的所述第一目标的第一特征和所述第二目标的第二特征之间的相似度等于或大于阈值的情况下，所述改变单元改变所述下一帧中的所述第一范围和/或所述第二范围。
15.根据权利要求11至14中任一项所述的图像处理设备，
其中，在所述第一目标的移动方向和所述第二目标的移动方向之间的差值小于预定阈值的情况下，所述改变单元改变所述下一帧中的所述第一范围和/或所述第二范围。
CN201710638817.5A 2016-08-10 2017-07-31 图像处理方法、图像处理设备和存储图像处理程序的介质 Active CN107730533B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016157702A JP6750385B2 (ja) 2016-08-10 2016-08-10 画像処理プログラム、画像処理方法および画像処理装置
JP2016-157702 2016-08-10

Publications (2)

Publication Number Publication Date
CN107730533A true CN107730533A (zh) 2018-02-23
CN107730533B CN107730533B (zh) 2021-10-12

Family

ID=61159234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710638817.5A Active CN107730533B (zh) 2016-08-10 2017-07-31 图像处理方法、图像处理设备和存储图像处理程序的介质

Country Status (3)

Country Link
US (1) US10297040B2 (zh)
JP (1) JP6750385B2 (zh)
CN (1) CN107730533B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112534473A (zh) * 2018-08-22 2021-03-19 日立汽车系统株式会社 图像处理装置以及图像处理方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10824878B2 (en) * 2016-03-08 2020-11-03 Accuware, Inc. Method and arrangement for receiving data about site traffic derived from imaging processing
CN111127508B (zh) * 2018-10-31 2023-05-02 杭州海康威视数字技术股份有限公司 一种基于视频的目标跟踪方法及装置
US11507768B2 (en) * 2019-07-04 2022-11-22 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
US11640701B2 (en) * 2020-07-31 2023-05-02 Analog Devices International Unlimited Company People detection and tracking with multiple features augmented with orientation and size based classifiers

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101389022A (zh) * 2007-09-14 2009-03-18 索尼株式会社 图像处理设备、图像处理方法以及图像拾取设备
CN101807300A (zh) * 2010-03-05 2010-08-18 北京智安邦科技有限公司 一种目标碎片区域融合的方法及装置
US20120051594A1 (en) * 2010-08-24 2012-03-01 Electronics And Telecommunications Research Institute Method and device for tracking multiple objects
CN103903282A (zh) * 2014-04-08 2014-07-02 陕西科技大学 一种基于LabVIEW的目标跟踪方法
US9165369B1 (en) * 2013-03-14 2015-10-20 Hrl Laboratories, Llc Multi-object detection and recognition using exclusive non-maximum suppression (eNMS) and classification in cluttered scenes
CN105830009A (zh) * 2013-12-20 2016-08-03 高通股份有限公司 用于视频帧的显示分割和集群的对象的选择和跟踪

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004094518A (ja) 2002-08-30 2004-03-25 Oki Electric Ind Co Ltd 人物追跡装置、人物追跡方法及びプログラム
JP2008026974A (ja) 2006-07-18 2008-02-07 Mitsubishi Electric Corp 人物追跡装置
JP4725490B2 (ja) * 2006-10-27 2011-07-13 パナソニック電工株式会社 自動追尾方法
EP1916538A3 (en) 2006-10-27 2011-02-16 Panasonic Electric Works Co., Ltd. Target moving object tracking device
JP4884331B2 (ja) * 2007-08-20 2012-02-29 セコム株式会社 移動物体追跡装置
JP5349367B2 (ja) * 2010-02-26 2013-11-20 セコム株式会社 移動物体追跡装置
JP5687035B2 (ja) * 2010-11-18 2015-03-18 セコム株式会社 人物追跡装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101389022A (zh) * 2007-09-14 2009-03-18 索尼株式会社 图像处理设备、图像处理方法以及图像拾取设备
CN101807300A (zh) * 2010-03-05 2010-08-18 北京智安邦科技有限公司 一种目标碎片区域融合的方法及装置
US20120051594A1 (en) * 2010-08-24 2012-03-01 Electronics And Telecommunications Research Institute Method and device for tracking multiple objects
US9165369B1 (en) * 2013-03-14 2015-10-20 Hrl Laboratories, Llc Multi-object detection and recognition using exclusive non-maximum suppression (eNMS) and classification in cluttered scenes
CN105830009A (zh) * 2013-12-20 2016-08-03 高通股份有限公司 用于视频帧的显示分割和集群的对象的选择和跟踪
CN103903282A (zh) * 2014-04-08 2014-07-02 陕西科技大学 一种基于LabVIEW的目标跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
邹薇: "行人多目标检测与跟踪技术研究", 《万方数据知识服务平台》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112534473A (zh) * 2018-08-22 2021-03-19 日立汽车系统株式会社 图像处理装置以及图像处理方法

Also Published As

Publication number Publication date
JP2018025988A (ja) 2018-02-15
CN107730533B (zh) 2021-10-12
JP6750385B2 (ja) 2020-09-02
US10297040B2 (en) 2019-05-21
US20180047181A1 (en) 2018-02-15

Similar Documents

Publication Publication Date Title
CN107730533A (zh) 图像处理方法、图像处理设备和存储图像处理程序的介质
CN105631399B (zh) 用于体育视频识别的快速对象跟踪框架
US8989448B2 (en) Moving object detecting device, moving object detecting method, moving object detection program, moving object tracking device, moving object tracking method, and moving object tracking program
CN106934333B (zh) 一种手势识别方法及系统
US10600190B2 (en) Object detection and tracking method and system for a video
JP5754990B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6675984B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2014006673A (ja) 映像処理装置、映像処理装置の制御方法、およびプログラム
US8417026B2 (en) Gesture recognition methods and systems
JP2012243161A (ja) 画像処理装置、画像処理方法
JP5247569B2 (ja) 人物追跡装置、人物追跡方法及びプログラム
JP7438684B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN109767453A (zh) 信息处理装置、背景图像更新方法和非暂态计算机可读存储介质
JP2018036901A (ja) 画像処理装置、画像処理方法および画像処理プログラム
US11314968B2 (en) Information processing apparatus, control method, and program
JP2012033100A (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
KR102151748B1 (ko) 비디오 영상에서 사람과 배경을 분리하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US10671881B2 (en) Image processing system with discriminative control
JP4449483B2 (ja) 画像解析装置、および画像解析方法、並びにコンピュータ・プログラム
KR20000054784A (ko) 시간적 색상에 기반한 외형 모델을 이용한 복수 객체의움직임 추적시스템 및 그 제어방법
WO2022153481A1 (en) Posture estimation apparatus, learning model generation apparatus, method, and computer-readable recordingmedium
JP2005071125A (ja) 被写体検出装置、被写体検出方法、被写体データ選定プログラムおよび被写体位置検出プログラム
JPH1063842A (ja) テンプレートマッチング方法
JP2024064059A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP2009266170A (ja) 情報処理装置および方法、並びにプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant