CN113393552A - 图像处理设备、方法和非暂时性计算机可读存储介质 - Google Patents

Abstract

图像处理设备、方法和非暂时性计算机可读存储介质。图像处理设备包括：设定单元，其被配置为基于显示画面中设定的检测线来在所述显示画面中设定片区域，所述片区域包括检测区域和计数区域，所述检测区域用作检测物体的位置的区域，所述计数区域被所述检测区域包围；以及计数单元，其被配置为从所述显示画面内移动的物体在所述检测区域中的移动向量或基于所述移动向量的轨迹与所述检测区域中的所述检测线之间的交点之中，计数位于所述计数区域中的交点。

Description

图像处理设备、方法和非暂时性计算机可读存储介质

技术领域

本发明涉及图像处理设备、图像处理方法和非暂时性计算机可读存储介质，特别涉及运动图像分析技术。

背景技术

近年来，已经提出了基于由照相机等拍摄的图像来分析摄像区域中的人流的设备。作为用于分析人流的具体方法，存在对已经通过作为在图像上引入的虚拟线的检测线的人数进行计数的方法。

在多人聚集的设施中，通过对从设施的出入口进入及离开的人数进行计数，能够估计出停留在设施内的人数。另外，期望识别出拥挤度高的出入口或已经发生堵塞的出入口，由此防止因拥挤而导致的事故和犯罪活动。

在Khurram Shafique和Mubarak Shah.A Non-Iterative Greedy Algorithm forMulti-frame Point Correspondence.IEEE transactions on pattern analysis andmachine intelligence(2005)(在下文中，称作非专利文献1)中，公开了如下方法：在该方法中，通过在多个帧上中使在每天的各时刻检测到的点彼此相关联，进行多个点的跟踪。日本特开2018-180619(在下文中，称作专利文献1)公开了将在时间顺序上连续的图像分割成多个局部区域以获得多个分割区域，针对各分割区域提取物体的数量和移动特征，并且对所提取的数量和移动特征整合，由此估计出分割区域中的物体流。

非专利文献1中公开的技术在不使针对与检测线的部位相对应的点的检测范围变窄的情况下，对整个画面进行点的检测，因此具有延长了对通过数量计数所用的处理时间的问题。为了以高的速度对通过数量计数，能够想到仅针对检测线的周围进行人流分析，并且确定人流与检测线之间的交点。

专利文献1中公开的技术采用了针对各分割区域估计物体流的方法。基于该构思，通过仅对检测线穿过的分割区域中的物体通过数量计数、并且对结果求和，能够获得针对整个检测线的物体通过数量。在这里，因为能够针对各分割区域对通过数量独立地计数，所以能够通过使针对各分割区域的处理并行来以高的速度对人数计数。

然而，根据专利文献1，无论检测线的位置如何，用于分割图像的方法均维持不变。当用于分割图像的方法保持不变时，会出现如下问题：取决于检测线与分割区域之间的关系，对通过数量的计数结果可能不准确。图1示出了该问题的示例。

图1示出了检测线101由用户设定的输入图像100的示例。在这种情况下，为了对针对检测线101的物体通过数量计数，在分割区域102、103和104的各分割区域中均对物体通过数量计数。箭头105、106、107和108中的各箭头均是表示给定物体从时刻t1的位置(起点)向时刻t2的位置(终点)的移动的移动向量。对于起点和终点均位于分割区域104内的如箭头105所示的物体，能够在分割区域104中检测到该物体的通过。然而，在分割区域102、103和104中的任意分割区域中，不能检测到起点和终点位于不同分割区域中的与箭头106对应的物体的通过，以及起点和终点中的至少一者位于分割区域外的与箭头107和108对应的物体的通过。这会带来如下问题：针对整个检测线的通过数量小于实际通过数量。

发明内容

本发明提供用于对通过检测线的物体数量更精确计数的技术。

根据本发明的第一方面，提供一种图像处理设备，其包括：设定单元，其被配置为基于显示画面中设定的检测线来在所述显示画面中设定片区域，所述片区域包括检测区域和计数区域，所述检测区域用作检测物体的位置的区域，所述计数区域被所述检测区域包围；以及计数单元，其被配置为从所述显示画面内移动的物体在所述检测区域中的移动向量或基于所述移动向量的轨迹与所述检测区域中的所述检测线之间的交点之中，计数位于所述计数区域中的交点。

根据本发明的第二方面，提供一种由图像处理设备进行的图像处理方法，所述图像处理方法包括：基于显示画面中设定的检测线来在所述显示画面中设定片区域，所述片区域包括检测区域和计数区域，所述检测区域用作检测物体的位置的区域，所述计数区域被所述检测区域包围；以及从所述显示画面内移动的物体在所述检测区域中的移动向量或基于所述移动向量的轨迹与所述检测区域中的所述检测线之间的交点之中，计数位于所述计数区域中的交点。

根据本发明的第三方面，提供一种非暂时性计算机可读存储介质，其存储用于使计算机用作如下单元的计算机程序：设定单元，其被配置为基于显示画面中设定的检测线来在所述显示画面中设定片区域，所述片区域包括检测区域和计数区域，所述检测区域用作检测物体的位置的区域，所述计数区域被所述检测区域包围；以及计数单元，其被配置为从所述显示画面内移动的物体在所述检测区域中的移动向量或基于所述移动向量的轨迹与所述检测区域中的所述检测线之间的交点之中，计数位于所述计数区域中的交点。

通过对以下示例性实施方式的描述(参照附图)，本发明的其它特征将变得明显。

附图说明

图1是用于说明传统技术的问题的图。

图2是示出图像处理设备200的示例性硬件配置的框图。

图3是示出图像处理设备200的示例性功能配置的框图。

图4是由图像处理设备200进行的处理的流程图。

图5A是示出片区域(patch region)的图。

图5B是说明基于检测线的片区域的设定的图。

图6A至图6D是说明根据第一实施方式的由片区域提供的效果的图。

图7A至图7E是说明根据第一实施方式的由片区域提供的效果的图。

图8A是示出片区域的示例的图，在该片区域中，计数区域具有与检测区域大致相同的尺寸。

图8B是示出片区域的示例的图，在该片区域中，计数区域被形成为小于图8A所示的计数区域。

图9A至图9C是说明确定片区域的位置的顺序的图。

图10是说明图像中人的移动向量的估计的图。

具体实施方式

在下文中，将参照附图详细描述实施方式。注意，以下实施方式不旨在限制所要求保护的发明的范围。实施方式中记载了多个特征，但是并非限制发明需要具有所有这些特征，而是多个这些特征可以适当的组合。此外，在附图中，赋予相同或相似的构造相同的附图标记，并且省略其重复描述。

[第一实施方式]

在本实施方式中，将给出如下图像处理设备的描述：当显示画面中显示出通过对监控目标区域摄像而得到的运动图像时，对通过显示画面中设定的检测线的物体数量(通过数量)计数。尽管以下将描述“物体”(即，计数对象)是“人”的情况，但是“物体”不限于“人”，并且可以是其它移动体。

首先，将参照图2的框图描述根据本实施方式的图像处理设备的示例性硬件配置。图2所示的图像处理设备200是诸如个人计算机(PC)、智能电话和平板终端设备等的计算机设备。

控制装置21包括诸如CPU等的处理器和诸如RAM或ROM等的存储器装置。处理器使用存储在存储器装置中的计算机程序和数据，执行各种类型的处理。因此，控制装置21进行图像处理设备200的整体操作控制，并且执行或控制各种类型的处理，稍后将在图像处理设备200执行该处理时对该处理进行描述。

存储装置22是非易失性存储器，其中保存有操作系统(OS)以及用于使控制装置21(处理器)执行或控制各种类型的处理的计算机程序和数据，稍后将在图像处理设备200执行该处理时对该处理进行描述。保存在存储装置22中的计算机程序和数据在控制装置21(处理器)的控制下加载到存储器装置(RAM)中，然后由控制装置21(处理器)处理。

计算装置23基于来自控制装置21的指令，进行各种类型的计算处理。输入装置24是诸如键盘、鼠标或触摸面板画面等的用户接口，并且允许通过被用户操作向控制装置21(处理器)中输入各种指令。

输出装置25是包括液晶画面或触摸面板画面作为显示画面的显示装置，并且能够使用图像、字符等显示由控制装置21进行的处理的结果。接口(I/F)26是用于与拍摄监控目标区域的图像的摄像设备、保持通过对监控目标区域摄像而得到的运动图像的设备、保持各种计算机程序和数据的设备等进行数据通信的通信接口。图像处理设备200经由I/F 26进行与这些设备的数据通信。I/F 26例如是诸如通用串行总线、Ethernet(注册商标)或光缆等的有线接口，或者是诸如Wi-Fi或Bluetooth(注册商标)等的无线接口。

接下来，将参照图3的框图描述根据本实施方式的图像处理设备200的示例性功能配置。尽管以下将图3所示的功能单元描述为处理的执行器，但是实际上，功能单元的功能是通过控制装置21(处理器)或计算装置23执行用于使处理器或计算装置23执行功能单元的功能的计算机程序而实现的。因而，图3所示的功能单元可以通过软件(计算机程序)实现，或者可以通过硬件实现。

检测线设定单元301在输出装置25的显示画面中设定检测线。图像获取单元302经由I/F 26从外部获取通过对监控目标区域摄像而得到的运动图像中的各帧的图像(拍摄图像)。运动图像中的各帧的图像显示在输出装置25的显示画面中。

片提取单元303基于设定在输出装置25的显示画面上的检测线在显示画面上设定片区域，并且从显示在显示画面内的拍摄图像中提取位于所设定的片区域中的部分图像作为“片”。

估计单元304针对由片提取单元303设定的每个片区域(独立地)，估计在输出装置25的显示画面中移动的人在片区域中的移动向量。

坐标跟踪单元305基于估计单元304对由片提取单元303设定的每个片区域估计出的人的移动向量，针对该片区域(独立地)获取人在输出装置25的显示画面中的轨迹。

通过数量计数单元306基于由估计单元304估计出的人的移动向量或由坐标跟踪单元305获取的人的轨迹，针对由片提取单元303设定的每个片区域(独立地)对通过检测线的人数(通过数量)计数。然后，通过数量计数单元306确定针对每个片区域计数出的通过数量的总和作为针对整个检测线的通过数量。

接下来，将根据图4的流程图描述图像处理设备200进行的用于对通过设定在输出装置25的显示画面中的检测线的人数(通过数量)进行计数的处理。

<步骤S401>

检测线设定单元301在输出装置25的显示画面中设定检测线。用于设定检测线的方法不限于任何特定的设定方法。例如，可以使通过对监控目标区域摄像而得到的运动图像在输出装置25的显示画面中再现并显示出来，并且用户可以在观看该运动图像的同时，通过操作输入装置24来在显示画面中设定检测线。可选地，例如，检测线设定单元301可以使通过对监控目标区域摄像而得到的运动图像在输出装置25的显示画面中再现并显示出来，在显示画面中检测涉及人的进出的(诸如门或检票口等)物体的图像区域，并且将检测线设定在该图像区域附近。可选地，例如，检测线设定单元301可以将检测线设定在输出装置25的显示画面的端部(显示画面的上端部、下端部、左端部和右端部中的一者以上)。可选地，例如，检测线设定单元301可以使通过对监控目标区域摄像而得到的运动图像在输出装置25的显示画面中再现并显示出来，在显示画面中检测出高流量区域，并且将检测线设定在该区域附近。

<步骤S402>

图像获取单元302经由I/F 26从外部获取通过对监控目标区域摄像而得到的运动图像中的各帧的图像(拍摄图像)作为输入图像。如上所述，运动图像中的各帧的图像依次地显示在输出装置25的显示画面中。

在这里，运动图像是例如流传输(streaming)或视频文件、针对各帧保存的一系列图像文件、保存在介质中的动画等。获取运动图像的源不限于任何特定的源。例如，图像获取单元302可以获取通过诸如CMOS传感器或CCD传感器等的固态摄像元件或安装有该固态摄像元件的摄像设备对监控目标区域摄像而得到的运动图像中的各帧的图像。可选地，例如，图像获取单元302可以从服务器设备、诸如硬盘或SSD等的存储装置或者记录介质获取通过对监控目标区域摄像而得到的运动图像的各帧的图像。

<步骤S403>

片提取单元303基于在步骤S401中设定的检测线，在输出装置25的显示画面上设定片区域，并且从显示在显示画面中的输入图像提取片区域中的部分图像作为“片”。

在这里，将参照图5A描述片区域。如图5A所示，片区域500是具有“用作用于对已经通过检测线的人数计数的区域的计数区域502设置在用作用于检测人物的位置的区域的检测区域501的内部”这一构造的区域。计数区域502的中心位置与检测区域501的中心位置相同，并且计数区域502是与检测区域501类似的缩小区域。即，计数区域502具有小于检测区域501的尺寸的尺寸(像素数)，并且被检测区域501包围。以下，将计数区域502与检测区域501之间的关系称作“计数区域502被检测区域501真包围”。

接下来，将参照图5B描述基于检测线的片区域的设定。在本实施方式中，片提取单元303确定片区域在显示画面中的位置，使得整个检测线被片区域的计数区域覆盖，并且计数区域彼此不重叠。在图5B中，确定六个片区域的位置，使得输入图像510上的整个检测线511被片区域的计数区域覆盖。

在这里，参照图6A至图6D，将给出关于由于片区域的计数区域被检测区域真包围而提高了通过人数的计数精度的原因的描述。图6A示出了如下情况：片区域的整个区域由检测区域和计数区域(计数区域和检测区域彼此完全一致)构成，并且在显示画面中设定这样的片区域。在图6A中，整个检测线601被片区域604(＝计数区域)和片区域603(＝计数区域)覆盖。箭头602指示从人在时刻t1时的位置(起点)向人在时刻t2时的位置(终点)的移动向量。在图6A中，箭头602与检测线601相交，进而表示在时刻t1和时刻t2之间有人刚刚跨过检测线601。在这里，箭头602的起点(人在时刻t1时的位置)位于片区域604中，箭头602的终点(人在时刻t2时的位置)位于片区域603中。因此，如果针对每个片区域进行人的移动向量的估计和人的跟踪，则在片区域603和片区域604中的任一片区域内，均不能检测到与箭头602对应的人的通过。即，在如图6A所示的情况下，会发生对通过数量的计数的遗漏。

图6B示出了如下情况：在显示画面中设定计数区域被检测区域真包围的片区域。在图6B中，整个检测线611被片区域616(包括检测区域617和计数区域618)的计数区域618以及片区域613(包括检测区域614和计数区域615)的计数区域615覆盖。箭头612指示从人在时刻t1时的位置(起点)向人在时刻t2时的位置(终点)的移动向量。在图6B中，箭头612与检测线611相交，进而表示在时刻t1和时刻t2之间有人刚刚跨过检测线611。在这里，箭头612的起点(人在时刻t1时的位置)和终点(人在时刻t2时的位置)均位于片区域613和片区域616两者中。因此，如果针对每个片区域进行人的移动向量的估计和人的跟踪，则能够检测到与箭头612对应的人的通过，因此不会发生对通过数量的计数的遗漏。

图6C示出了图6B中的片区域613。检测线621是上述检测线611中的与片区域613的计数区域615重叠的部分(线段)。如上所述，箭头612的起点和终点位于片区域613中，因此能够在片区域613中识别出箭头612。结果，能够在片区域613的计数区域615中确定箭头612是否与检测线621相交。因为在图6C的计数区域615中，箭头612与检测线621相交，所以能够确定为在时刻t1和时刻t2之间有一个人已经跨过检测线621。

图6D示出了图6B中的片区域616。检测线631是上述检测线611的与片区域616的计数区域618重叠的部分(线段)。如上所述，因为箭头612的起点和终点位于片区域616中，所以能够在片区域616中识别出箭头612。结果，能够在片区域616的计数区域618中确定箭头612是否与检测线631相交。因为在图6D的计数区域618中，箭头612不与检测线631相交，所以能够确定为在时刻t1和时刻t2之间尚未有人跨过检测线631。

因为能够独立地获得作为图6C中的计数结果的“通过数量＝1”和作为图6D中的计数结果的“通过数量＝0”，所以能够获得这些结果的总和“通过数量＝1+0＝1”，并且能够估计出在时刻t1和时刻t2之间已经发生有一个人通过检测线。这等于真实的通过数量。

接下来，参照示出另一示例的图7A至图7E，将给出关于由于片区域的计数区域被检测区域真包围而提高了通过人数的计数精度的原因的描述。图7A示出了如下情况：片区域的整个区域由检测区域和计数区域(计数区域和检测区域彼此完全一致)构成，并且在显示画面中设定这样的片区域。在图7A中，整个检测线701被片区域705(＝计数区域)和片区域706(＝计数区域)覆盖。箭头702、703和704分别指示从人A、B和C在时刻t1时的位置(起点)向人A、B和C在时刻t2时的位置(终点)的移动向量。在图7A中，箭头702与检测线701相交，进而表示在时刻t1和时刻t2之间人A已经跨过检测线701。在图7A中，箭头703与检测线701相交，进而表示在时刻t1和时刻t2之间人B已经跨过检测线701。在图7A中，箭头704与检测线701相交，进而表示在时刻t1和时刻t2之间人C已经跨过检测线701。

在这里，箭头702的终点(人A在时刻t2时的位置)位于片区域706中，箭头702的起点(人A在时刻t1时的位置)不属于片区域705和片区域706中的任何片区域。箭头703的起点(人B在时刻t1时的位置)位于片区域705中，箭头703的终点(人B在时刻t2时的位置)不属于片区域705和片区域706中的任何片区域。箭头704的起点(人C在时刻t1时的位置)和终点(人C在时刻t2时的位置)不属于片区域705和片区域706中的任何片区域。

因此，如果针对各片区域进行人的移动向量的估计和人的跟踪，则在片区域705和片区域706中的任一片区域内，均不能检测到分别与箭头702、703和704对应的人A、B和C的通过。即，在如图7A所示的这种情况下，将发生对通过数量的计数的遗漏(将通过数量错误地计数为0)。

图7B示出了如下情况：在显示画面中设定计数区域被检测区域真包围的片区域。在图7B中，整个检测线711被片区域715(包括检测区域716和计数区域717)的计数区域717、片区域718(包括检测区域719和计数区域720)的计数区域720以及片区域721(包括检测区域722和计数区域723)的计数区域723覆盖。

图7C示出了图7B中的片区域715。检测线731是上述检测线711中的与片区域715的计数区域717重叠的部分(线段)。箭头713指示从人在时刻t1时的位置(起点)向人在时刻t2时的位置(终点)的移动向量。箭头714指示从人在时刻t1时的位置(起点)向人在时刻t2时的位置(终点)的移动向量。因为箭头713的起点和终点位于片区域715中，所以能够在片区域715中识别出箭头713。结果，能够在片区域715的计数区域717中确定箭头713是否与检测线731相交。因为箭头714的起点和终点位于片区域715中，所以能够在片区域715中识别出箭头714。结果，能够在片区域715的计数区域717中确定箭头714是否与检测线731相交。在图7C中，箭头713与检测线731相交，并且箭头714与检测线731相交，因此能够确定为在时刻t1和时刻t2之间有两个人已经跨过检测线731。

图7D示出了图7B中的片区域718。检测线732是上述检测线711中的与片区域718的计数区域720重叠的部分(线段)。因为从片区域718尚未检测到移动向量，所以能够确定为在时刻t1和时刻t2之间已经跨过检测线732的人数是0。

图7E示出了图7B中的片区域721。检测线733是上述检测线711中的与片区域721的计数区域723重叠的部分(线段)。箭头712指示从人在时刻t1时的位置(起点)向人在时刻t2时的位置(终点)的移动向量。因为箭头712的起点和终点位于片区域721中，所以能够在片区域721中识别出箭头712。结果，能够在片区域721的计数区域723中确定箭头712是否与检测线733相交。在图7E中，箭头712与检测线733相交，因此能够确定为在时刻t1和时刻t2之间有一个人已经跨过检测线733。

因为能够独立地获得作为图7C中的计数结果的“通过数量＝2”、作为图7D中的计数结果的“通过数量＝0”和作为图7E中的计数结果的“通过数量＝1”，所以能够获得结果的总和“通过数量＝2+0+1＝3”，并且能够估计出在时刻t1和时刻t2之间已经发生三个人通过检测线。这等于真实的通过数量。

因此，如以图6A至图6D和图7A至图7E作为示例所述的，通过将片区域的计数区域设定为被检测区域真包围，能够防止对通过检测线的人数的计数的遗漏。结果，能够提高计数精度。

接下来，将给出如下确定方法的描述：通过该确定方法，片提取单元303基于检测线确定片区域的位置。如上所述，在本实施方式中，片区域中的计数区域的中心位置与检测区域的中心位置彼此一致，并且计数区域是与检测区域类似的缩小区域。

首先，片提取单元303确定片区域中的计数区域的尺寸。为此，片提取单元303确定通过用片区域中的检测区域的尺寸除以该片区域的计数区域的尺寸而获得的比率r1。

对于比率r1存在权衡。图8A示出了以下片区域的示例，在该片区域中，计数区域具有与检测区域大致相同的尺寸。片区域803包括检测区域804和计数区域805。箭头802的终点位于检测区域804的外部，因此不能检测到箭头802在检测线801上的通过。接下来，图8B示出了以下片区域的示例，在该片区域中，计数区域小于图8A所示的计数区域。片区域813包括检测区域814和计数区域815。检测区域814的尺寸与计数区域815的尺寸的比率大于检测区域804的尺寸与计数区域805的尺寸的比率。因此，箭头812的起点和终点均包括在检测区域814中，并且能够检测到箭头812在检测线811上的通过。

增大比率r1的优点在于能够防止对通过的计数的遗漏。然而，缺点在于处理量会因覆盖整个检测线所需的片区域的数量的增加而增大。

用于确定比率r1的方法包括基于在时刻t1和时刻t2之间人移动的距离来确定比率r1的方法。在假定人以最大速度v移动的情况下，确定在时刻t1和时刻t2之间人在现实世界中移动的最大移动量。将在现实世界中的最大移动量转换为在显示画面上的像素计数(最大行进像素计数(maximum travel pixel count))。通过以使得检测区域的边界与计数区域的边界之间的像素计数大于最大行进像素计数的方式确定比率r1，能够无遗漏地对以最大速度v或更小速度移动的人的数量计数。

用于确定比率r1的另一方法包括基于学习时段中的统计值的方法。设置学习时段，并且收集已经通过估计单元304在学习时段期间估计出的人的移动向量。然后，从所收集的移动向量组中，删除具有排在前p％(例如，p＝5)的大小(移动向量的大小)的移动向量，并且将剩余移动向量当中的具有最大大小的移动向量的长度定义为l。然后，通过以使得检测区域的边界与计数区域的边界之间的像素计数为l的方式确定比率r1，能够无遗漏地对至少(100-p)％的移动向量计数。

因而，通过基于人的移动速度确定比率r1，能够在使覆盖整个检测线所需的片区域的数量最小化的同时，无遗漏地对大多数移动向量计数。注意，用于确定比率r1的方法不限于上述方法，并且能够采用各种方法。

一旦已经确定了比率r1，则片提取单元303将片区域中的计数区域的纵向尺寸和横向尺寸确定为“通过用片区域中的检测区域的纵向尺寸和横向尺寸除以r1而获得的纵向尺寸和横向尺寸”。一旦已经确定了片区域中的计数区域的尺寸，则将随后要使用的片区域确认为具有“具有通过用检测区域的纵向尺寸和横向尺寸除以r1而获得的纵向尺寸和横向尺寸的计数区域设置在检测区域的内部”这一构造的片区域。

接下来，片提取单元303确定设定在显示画面上的一个或多个片区域的位置，使得检测线的所有部分均被片区域的计数区域覆盖。

用于确定片区域在输出装置25的显示画面中的位置的方法的示例是如下方法：在该方法中，确定每个片区域的位置，以使得该片区域中的检测区域的尺寸与出现在该片区域中的人的尺寸之间的比率大致恒定。通过采用该方法，减小了出现在片区域中的人的尺寸的变化，因此能够提高移动向量估计的精度，稍后将对此进行描述。

在该方法中，从检测线的一端开始确定片区域的位置。将由检测线和显示画面的X轴(水平方向上的轴线)的正方向形成的角度定义为θ。如图9A所示，当θ为45度以上且135度以下时，从检测线的下侧开始确定片区域的位置。如图9B所示，当θ为0度以上且小于45度时，从检测线的左侧开始确定片区域的位置。如图9C所示，当θ大于135度且小于180度时，从检测线的右侧开始确定片区域的位置。

在假定通过用检测区域的尺寸除以计数区域的尺寸而获得的比率r1是固定的、并且通过用检测区域的尺寸除以显示画面中的人的尺寸而获得的比率r2是固定的，则通过用计数区域的尺寸除以显示画面中的人的尺寸而获得的比率是r2/r1，并且是固定的。因而，通过从检测线的一端起以满足以下条件1至条件3的所有条件的方式来依次重复地确定片区域的位置，能够确定所有片区域的位置。

条件1…检测线的尚未被覆盖的其余线段的终点恰好与片区域的计数区域的边界接触。

条件2…检测线或通过延长检测线而获得的直线穿过片区域中的计数区域的中心。

条件3…通过用片区域中的计数区域的尺寸除以出现在计数区域中的人的尺寸而获得的比率大致等于r2/r1(大致恒定)。

例如，通过预先手动提供提示，或者通过预先提供学习时段并从在学习时段期间检测到的人在统计学上确定尺寸，能够估计出现在计数区域中的人的尺寸。注意，用于确定片区域的位置的方法不限于上述方法。例如，作为另一方法，可以以如下方式确定各片区域的位置：无论片区域位于显示画面上的何处，各片区域均是包括固定像素计数的区域。可选地，例如，可以以如下方式确定各片区域的位置：片区域中的计数区域彼此部分重叠。在这种情况下，为了防止当在步骤S407(将稍后描述)中对在片区域中获得的通过数量求和时进行多次计数，需要采取诸如对计数区域的重叠部分的通过数量取平均等的措施。

一旦已经确定了片区域的位置使得整个检测线被计数区域覆盖，片提取单元303就将片区域设定在所确定的位置，并且提取显示在显示画面中的输入图像当中的位于片区域内的部分图像作为片。然后，片提取单元303将所提取的各片的尺寸调整为适当的尺寸(例如，由估计单元304确定的尺寸)。

<步骤S404>

估计单元304基于人物的位置，针对在步骤S403中由片提取单元303获取的各片(独立地)估计人在该片中(在检测区域中)的移动向量。对于图像中的人的移动向量的估计，能够使用各种方法。将参照图10描述其示例。

在图10所示的方法中，估计单元304从片估计在各时刻ti的人物位置的列表。将人物位置定义为人的特定部位(包括例如人的头部中心或躯干中心)的位置。例如，估计单元304接收从时刻t1时的帧的输入图像提取的片1001作为输入，并且估计在时刻t1时的片1001中的人物位置(参见矩形1002)的列表。矩形1002中的示意性地指示列表中的人物位置的标记1008是指示片1001中的人物位置的标记。另外，估计单元304接收从时刻t2的帧的输入图像提取的片1003作为输入，并且估计在时刻t2时的片1003中的人物位置(参见矩形1004)的列表。矩形1004中的示意性地指示列表中的人物位置的标记1009是指示片1003中的人物位置的标记。随后，估计单元304进行对应于时刻t(i-1)的人物位置的列表与对应于时刻ti的人物位置的列表之间的最佳匹配。获得了“时刻ti的移动向量”，其使作为最佳匹配的结果而相关联的时刻t(i-1)的人物位置作为起点和时刻ti的人物位置作为终点。例如，估计单元304接收对应于时刻t1的人物位置(矩形1002中的标记1008的位置)的列表和对应于时刻t2的人物位置(矩形1004中的标记1009的位置)的列表作为输入，并且获得时刻t2时的移动向量1011的列表(参见列表中的示意性地指示移动向量的矩形1005)。

以下将描述每个处理的细节。将描述人物位置的估计的细节。对于人物位置的估计，能够使用各种方法。例如，识别人的特定部位的位置的物体检测器能够用于人物位置的估计。物体检测器以矩形格式或掩模图像格式输出物体的位置。能够使用诸如深度学习等的机器学习方法来学习物体检测器。能够使用诸如输出结果的重心等的代表点作为人物的位置。

对于人物位置的估计，可以使用利用了密度分布的方法。密度分布是给定的输入图像中被估计为存在人的位置的表示。密度分布可以是例如与通过数量要被计数的人的尺寸对应的均匀分布，或者可以是在很可能存在人的位置处具有最大值的任意分布。后者的示例包括高斯分布。能够使用诸如深度学习等的机器学习方法来学习用于估计密度分布的密度分布估计器。此外，从由密度分布估计器估计的密度分布，能够使用诸如深度学习等的机器学习方法来学习用于估计人物的位置的人物位置估计器。即，能够使用密度分布估计器从输入图像估计密度分布，并且能够使用人物位置估计器从密度分布估计人物位置。

在图10中，采用如下方法用于时刻ti的人物位置的估计：在该方法中，接收时刻ti的片作为输入。然而，如下估计器可以用于人物位置的估计：接收多个时刻的片作为输入，或者估计多个时刻的人物位置。例如，为了估计时刻ti的人物位置，可以使用如下物体检测器：其接收时刻t(i-1)的片和时刻ti的片两者作为输入，并且输出人在时刻t(i-1)的位置和人在时刻ti的位置。

将描述对应于时刻t(i-1)的人物位置的列表与对应于时刻ti的人物位置的列表之间的最佳匹配的细节。在人物位置的匹配中，期望使匹配时的成本总和最小化。用于进行这种匹配的算法的示例包括匈牙利(Hungarian)匹配、线性编程和神经网络。作为匹配时的成本，能够例如基于通过匹配而相关联的一对人物位置之间的距离或局部图像的特征量之间的差来定义成本。通过以使成本总和最小化的方式实施匹配，能够在考虑了整体最佳的情况下进行最佳匹配。

通过分别使用作为该最佳匹配的结果而相关联的时刻t(i-1)和时刻ti的人物的人物位置作为起点和终点，获得了从起点指向终点的向量作为此人在时刻ti的移动向量。

<步骤S405>

坐标跟踪单元305基于由估计单元304针对片提取单元303所获取的各片(独立地)估计出的人的移动向量，跟踪此人的位置。

将跟踪人的位置的结果称作轨迹。该轨迹能够通过将移动向量连接在一起而生成。例如，假定估计出了“以时刻t(i-1)的人物位置作为起点并以时刻ti的人物位置作为终点的时刻ti的移动向量A”以及“以时刻ti的人物位置作为起点并以时刻t(i+1)的人物位置作为终点的时刻t(i+1)的移动向量B”。如果移动向量A的终点和移动向量B的起点是同一位置(人物位置)，则坐标跟踪单元305将连接在一起的移动向量A和移动向量B确定为轨迹。对轨迹赋予用于区分轨迹的ID(例如，对每个人唯一的ID)。

将以图10为例描述坐标跟踪单元305的操作。时刻t2的移动向量1011是从使时刻t1的人物位置(标记1008)与时刻t2的人物位置(标记1009)匹配的结果而获得的移动向量。时刻t3的移动向量1012是从时刻t2的人物位置(标记1009)与时刻t3的人物位置(标记1010)匹配的结果而获得的移动向量。因为时刻t2的移动向量1011的终点和时刻t3的移动向量1012的起点是同一人物位置(标记1009)，所以从这些移动向量生成轨迹1013。

<步骤S406>

通过数量计数单元306基于由估计单元304估计出的人的移动向量或由坐标跟踪单元305计算出的人的轨迹，针对由片提取单元303获取的各片(独立地)对已经通过检测线的人数(通过数量)计数。

通过数量的计数能够在使用移动向量或轨迹的情况下以大致相同的方式获得。通过确定片区域中的计数区域内是否存在人的轨迹或移动向量与检测线之间的交点，能够获得对通过数量的计数。例如，在图6C所示的片区域613中的计数区域615内存在箭头612与检测线621之间的交点，因此确定为已经发生有一个人的通过。

因而，通过数量计数单元306针对各片区域，对该片区域的计数区域中的“移动向量或轨迹与检测线之间的交点”的数量进行计数。即，通过数量计数单元306仅对计数区域内的“移动向量或轨迹与检测线之间的交点”的数量进行计数，而不对计数区域外的“移动向量或轨迹与检测线之间的交点”的数量进行计数。

注意，通过数量计数单元306还能够通过确定轨迹或移动向量在哪个方向通过检测线，针对各通过方向来对通过数量进行计数。例如，通过诸如线段与线段之间的相交确定等的几何方法，能够进行轨迹或移动向量与检测线之间的相交确定。

在使用轨迹对通过数量计数的情况下，需要施加限制以使得当同一人作出重复跨过检测线的移动时，不对通过数量多次计数。为了实现这一点，可以针对赋予给轨迹的各ID来存储通过检测线的通过方向和通过数量。

<步骤S407>

通过数量计数单元306将在步骤S406中针对各片区域计数的通过数量的总和确定为“整个检测线上的通过人数”。注意，通过数量计数单元306还可以针对通过检测线的各方向来对通过数量计数。

注意，上述步骤S404至步骤S406的各处理均是能够针对各片独立执行的处理，因此通过针对各片并行地执行从步骤S404至步骤S406的一系列处理，能够以高的速度对通过数量计数。

因而，根据本实施方式，基于给定的检测线动态地确定了片区域的位置。片区域由两个区域、即检测区域和计数区域构成，其中对于检测区域，将进行特定物体的估计，对于计数区域，将进行计数。通过确定片区域的位置以使得检测线的所有部分被任意片区域的计数区域覆盖，能够通过并行化进行高速处理，同时针对整个检测线的通过数量的偏差保持较小。

尽管如上所述已经在本实施方式中描述了要计数通过数量的物体是人的示例，但是能够用作该物体的对象不限于人，而是可以使用数量能够被计数的任何物体。这种物体的示例包括诸如自行车和摩托车等的骑乘物体、诸如汽车或卡车等的车辆、诸如牲畜等的动物、细胞和微生物等。

[第二实施方式]

在第一实施方式中，已经描述了用于对整个检测线上的通过数量计数的构造。以这种方式计数的通过数量可以显示在输出装置25的显示画面上，或者可以经由I/F 26发送到外部设备。在将通过数量显示在输出装置25的显示画面上的情况下，通过数量可以显示为字符串(代表通过数量的数字)，或者可以显示为大小、长度或颜色等根据通过数量的增多或减少而改变的图标。即，所计数的通过数量的输出目的地和输出形式不限于任何特定的输出目的地和输出形式。

图像处理设备200可以是与运动图像的源分开的设备，或者可以是与该源一体化的设备。在后者的情况下，例如，图像处理设备200可以合并在用于拍摄监控目标区域的图像的摄像设备中，并且可以针对由摄像设备拍摄的运动图像对已经通过检测线的物体数量计数。

注意，以上描述中使用的数值、处理定时、处理顺序等是作为用于提供具体描述的示例给出的，本发明不旨在限于这些数值、处理定时、处理顺序等。

上述实施方式中的一些或所有实施方式可以适当地组合。可以选择性地使用上述实施方式中的一些或所有实施方式。

[其它实施方式]

本发明的实施方式还可以通过如下方法实现：经由网络或者各种存储介质将执行上述实施方式的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然已经参照示例性实施方式描述了本发明，但是应当理解，本发明不限于所公开的示例性实施方式。以下权利要求书的范围符合最宽泛的解释，以包含所有这些变型、等同结构和功能。

Claims (11)

1.一种图像处理设备，其包括：

设定单元，其被配置为基于显示画面中设定的检测线来在所述显示画面中设定片区域，所述片区域包括检测区域和计数区域，所述检测区域用作检测物体的位置的区域，所述计数区域被所述检测区域包围；以及

计数单元，其被配置为从所述显示画面内移动的物体在所述检测区域中的移动向量或基于所述移动向量的轨迹与所述检测区域中的所述检测线之间的交点之中，计数位于所述计数区域中的交点。

2.根据权利要求1所述的图像处理设备，其中，所述设定单元根据所述物体在所述显示画面中的速度，确定所述片区域中的所述计数区域的尺寸。

3.根据权利要求1所述的图像处理设备，其中，所述设定单元确定各片区域各自在所述显示画面中的位置，以使得各片区域中的计数区域不重叠。

4.根据权利要求1所述的图像处理设备，其中，所述设定单元确定所述片区域在所述显示画面中的位置，以使得所述检测区域的尺寸与所述片区域中出现的物体的尺寸之间的比率大致恒定。

5.根据权利要求1所述的图像处理设备，其中，所述计数单元针对各片区域并行地进行所述计数。

6.根据权利要求1所述的图像处理设备，其中，所述计数单元获得针对各片区域所计数的交点的数量的总和，作为已经通过所述检测线的物体的数量。

7.根据权利要求6所述的图像处理设备，还包括：

输出单元，其被配置为输出由所述计数单元获得的所述总和。

8.根据权利要求1所述的图像处理设备，还包括：

获取单元，其被配置为获取由用于拍摄监控目标区域的图像的摄像设备所拍摄的运动图像，

其中，所述运动图像中的各帧的图像显示在所述显示画面中。

9.根据权利要求8所述的图像处理设备，其中，所述图像处理设备与所述摄像设备一体化。

10.一种由图像处理设备进行的图像处理方法，所述图像处理方法包括：

基于显示画面中设定的检测线来在所述显示画面中设定片区域，所述片区域包括检测区域和计数区域，所述检测区域用作检测物体的位置的区域，所述计数区域被所述检测区域包围；以及

从所述显示画面内移动的物体在所述检测区域中的移动向量或基于所述移动向量的轨迹与所述检测区域中的所述检测线之间的交点之中，计数位于所述计数区域中的交点。

11.一种非暂时性计算机可读存储介质，其存储用于使计算机用作如下单元的计算机程序：

设定单元，其被配置为基于显示画面中设定的检测线来在所述显示画面中设定片区域，所述片区域包括检测区域和计数区域，所述检测区域用作检测物体的位置的区域，所述计数区域被所述检测区域包围；以及

计数单元，其被配置为从所述显示画面内移动的物体在所述检测区域中的移动向量或基于所述移动向量的轨迹与所述检测区域中的所述检测线之间的交点之中，计数位于所述计数区域中的交点。

Images