CN110211021A - 图像处理装置、图像处理方法和存储介质 - Google Patents

Abstract

本发明涉及图像处理装置、图像处理方法和存储介质。图像处理装置包括：第一检测单元，其执行用于通过使用与人物相关的训练模型来从图像中检测被假定为人物的物体的第一检测处理；第二检测单元，其执行用于至少通过使用模式匹配来从图像中检测被假定为人物的物体的第二检测处理；确定单元，其确定通过第一检测处理检测到的物体是否与通过第二检测处理检测到的物体对应；校正单元，其校正跟通过第一检测处理检测到的且被确定为与通过第二检测处理检测到的物体对应的物体有关的检测结果；以及计算单元，其至少基于由校正单元校正过的检测结果，计算图像中的人物的数量。

Description

图像处理装置、图像处理方法和存储介质

技术领域

本公开涉及图像处理装置、图像处理方法和存储介质。

背景技术

已经提出了用于测量拍摄图像中的人的数量和人的拥挤程度的系统。该系统能够检测拥挤程度并能够通过拥挤掌握人的关注程度，因而期望用于拥挤的缓解和用于旨在集中人的营销活动。日本特开2009-211311号公报公开了用于通过检测人物形状来测量人物数量的技术。“Yingying Zhang,Desen hou,Siqin Chen,Shenghua Gao,Yi Ma.Single-Image Crowd Counting via Multi-Column Convolutional Neural Network.CVPR,2016”讨论了如下技术：通过使用利用包括一群人的训练数据进行学习的训练模型，在拥挤环境中通过头部对目标是人物的可能性进行评估，来测量人物的数量。

在如日本特开2009-211311号公报所讨论的使用人物形状的人物检测中，能够在几乎不存在人物交叠的场所中以高的精度检测人物。然而，在该人物检测中，在人口密集的场所中，例如在人物的形状被其它物体隐藏住的环境中，检测的精度会降低。在基于头部检测的人物检测中，在仅能够拍摄到人物头部的人口密集的场所中能够以高的精度检测人物，而因为使用包括一群物体的图像作为训练数据，所以在人口稀少的场所中，检测的精度会降低。

发明内容

为了改善人物检测的精度，本公开的一方面提供了一种图像处理装置，所述图像处理装置包括：第一检测单元，其被构造为执行用于通过使用与人物相关的训练模型来从图像中检测被假定为人物的物体的第一检测处理；第二检测单元，其被构造为执行用于至少通过使用模式匹配来从所述图像中检测被假定为人物的物体的第二检测处理；确定单元，其被构造为确定通过所述第一检测处理检测到的物体是否与通过所述第二检测处理检测到的物体对应；校正单元，其被构造为校正跟通过所述第一检测处理检测到的且由所述确定单元确定为与通过所述第二检测处理检测到的物体对应的物体有关的检测结果；以及计算单元，其被构造为至少基于由所述校正单元校正过的检测结果，计算所述图像中的人物的数量。

通过以下参照附图对示例性实施例的描述，其它特征将变得明显。

附图说明

图1是示出图像处理装置的硬件构造的图。

图2是示出图像处理装置的功能构造的图。

图3A和图3B分别是示出第一检测处理和第二检测处理的说明图。

图4是示出图像处理的流程图。

图5A和图5B均是示出显示画面的示例的图。

图6是示出用于人物的匹配确定处理的说明图。

图7是示出根据第二示例性实施例的图像处理的流程图。

图8是示出检测结果的示例的图。

具体实施方式

在下文中，将参照附图描述本公开的示例性实施例。

以下将描述第一示例性实施例。图1是示出根据本示例性实施例的图像处理装置100的硬件构造的图。图像处理装置100包括中央处理单元(CPU)110、存储器120、显示设备130、输入设备140和网络接口(I/F)150。CPU 110控制图像处理装置100。存储器120存储供CPU 110使用以进行处理的数据、指令等。显示设备130是液晶监控器等，并且显示各种类型的信息。输入设备140是鼠标或键盘，并且输入用户操作。网络I/F 150是连接到网络的接口。通过使CPU 110执行存储在存储器120中的指令，实现图像处理装置100的功能和处理。

图2是示出图像处理装置100的功能构造的图。图像处理装置100包括图像获取单元210、检测方法确定单元220、第一检测单元231、第二检测单元232、匹配确定单元240、结果校正单元250和显示处理单元260。图像获取单元210获取待实施人物检测的图像。检测方法确定单元220确定是对所获取的图像进行第一检测处理、第二检测处理还是两者，其中第一检测处理和第二检测处理进行人物检测。第一检测处理是专用于人物头部检测的针对人物检测的图像处理。在第一检测处理中，通过使用已经利用具有高的人物密度的训练数据进行了学习的训练模型，来检测被假定为人物的物体(在下文中，还称为“人物”或“人物物体”)。在第一检测处理中，检测图像中的被假定为人物的物体的坐标，并且检测所检测的物体是人物的可能性(likelihood)。作为示例，可能性越大，物体就越可能是人物。另外，作为示例，用小于或等于1的数字表示可能性，并且针对图像中的各物体计算可能性。将针对图像中的所有物体计算出的可能性的总和评估为图像中的人物的数量。作为用于生成训练模型的训练数据，可以使用与单个人物或多个人物对应的训练数据。

在第二检测处理中，进行图像处理以检测呈现诸如面部、上半身或下半身等的人体的特征形状的区域。例如，在第二检测处理中，使用与诸如面部、上半身或下半身等的人体的特征形状对应的匹配模式，利用模式匹配检测被假定为人物的物体，而不使用训练模型。仅要求第一检测处理和第二检测处理不同，并且其具体处理不限于本示例性实施例中描述的那些。更期望地，针对人物的密度较高的状况，第一检测处理比第二检测处理适合。

图3A和图3B是示出第一检测处理和第二检测处理的说明图。图3A是示出第一检测处理的检测结果的图。作为检测结果，获得指示头部在图像中的位置的点A的坐标(x，y)并获得可能性。图3B是示出第二检测处理的检测结果的图。在第二检测处理中，作为检测结果，获得呈现特征形状的区域300。在图3B的示例中，获得包括作为特征形状的面部形状的区域300。

返回到图2，第一检测单元231进行第一检测处理。第二检测单元232进行第二检测处理。匹配确定单元240基于第一检测单元231的检测结果和第二检测单元232的检测结果，确定是否检测到同一人物。也就是，匹配确定单元240确定通过第一检测单元231检测的物体是否与通过第二检测单元232检测的物体对应。结果校正单元250在匹配确定单元240确定出检测到同一人物的情况下，校正第一检测单元231的检测结果(人物检测结果)。显示处理单元260进行控制，使得将由结果校正单元250校正过的第一检测单元231的检测结果显示在显示设备130上。

图4是示出由根据本示例性实施例的图像处理装置100进行的图像处理的流程图。在步骤S401中，图像获取单元210获取待实施人物检测的图像。图像获取单元210可以从诸如照相机等的外部设备获取图像，或者可选地，可以从存储器120获取图像。作为又一示例，图像处理装置100可以包括照相机。在这种情况下，图像获取单元210可以获取由照相机获得的图像。

在步骤S402中，检测方法确定单元220确定对图像待进行的人物检测方法。具体地，检测方法确定单元220确定是进行第一检测处理、第二检测处理还是两者。检测方法确定单元220基于图像的频率成分，分析出现在待实施处理的图像中的人物的密度。检测方法确定单元220在密度超过阈值的情况下，确定出进行第一检测处理和第二检测处理两者，并且在密度为阈值以下的情况下，确定出仅进行第二检测处理。

在检测方法确定单元220确定检测处理时进行的具体处理不限于本示例性实施例中描述的那些。作为另一示例，检测方法确定单元220可以基于用户操作确定检测处理。例如，显示处理单元260显示图5A所示的显示画面500。图像显示在显示画面500的图像窗口510中，出现在图像中的人物的密度叠加在图像上并带有颜色地呈现。通过选择显示在显示画面500上的复选框511和512中的至少一者，用户能够输入选择检测处理的指令。这里，复选框511与第一检测处理对应，复选框512与第二检测处理对应。选择复选框511来输入选择第一检测处理的指令，选择复选框512来输入选择第二检测处理的指令。选择复选框511和512两者来输入选择第一处理和第二处理两者的指令。

另外，显示处理单元260可以基于处理负荷显示复选框。例如，在图5B所示的显示画面520上，显示速度优先复选框531和精度优先复选框532。速度优先复选框531是用于输入仅进行第二检测处理的指令的用户界面(UI)，精度优先复选框532是用于输入进行第一检测处理和第二检测处理两者的指令的UI。

返回到图4，在步骤S402的处理之后，在步骤S403中，执行在步骤S402中确定出的检测处理。在步骤S404中，在步骤S403中执行第一检测处理和第二检测处理两者的情况下，匹配确定单元240确定通过第二检测处理检测到的人物是否与通过第一检测处理检测到的人物相同。图6是示出步骤S404的处理的说明图。如果在第二检测处理中，作为人体的形状，检测到区域600，则匹配确定单元240将区域600的一部分指定为头部区域610。在通过第一检测处理检测到的头部位置A包括在头部区域610内的情况下，匹配确定单元240确定出通过第一检测处理检测到的人物与通过第二检测处理检测到的人物相同。

返回到图4，在步骤S404中，如果匹配确定单元240确定出在第一处理和第二处理中检测到同一人物(在步骤S404中为“是”)，则处理前进到步骤S405。如果匹配确定单元240未确定出在第一处理和第二处理中检测到同一人物(在步骤S404中为“否”)，则处理前进到步骤S406。在步骤S405中，结果校正单元250将作为第一检测处理的检测结果而获得的、目标是人物的可能性校正为更高的值。例如，结果校正单元250将可能性校正为最大值。作为另一示例，结果校正单元250可以将由用户设定的值增加到可能性。也就是，结果校正单元250可以基于用户操作增加可能性。作为另一示例，结果校正单元250可以从第二检测处理的检测结果获得校正值，并且可以基于该校正值校正可能性。结果校正单元250校正出人物物体是人物的可能性比另一人物物体或其他人物物体是人物的可能性相对高就足够了。作为又一示例，结果校正单元250可以降低除了目标以外的另一物体或其他物体是人物的可能性，由此使目标是人物的可能性的相对值变得更高。

在步骤S406中，匹配确定单元240确定是否已经针对通过第一检测处理检测到的所有人物物体作出是否检测到同一人物的确定。如果匹配确定单元240确定出已经针对所有人物物体作出确定(在步骤S406中为“是”)，则处理前进到步骤S407。如果匹配确定单元240确定出尚有未进行确定处理的人物物体(在步骤S406中为“否”)，则处理前进到步骤S404。在这种情况下，在将尚未进行确定处理的人物物体视作待处理的目标的情况下，继续步骤S404之后的处理。

在步骤S407中，结果校正单元250进行控制，使得在显示设备130上显示作为第一检测处理的校正后的检测结果所获得的、指示人物物体是人物的可能性的值和检测数量(即，检测到的人物物体的数量)。伴随着该处理，图像处理结束。在校正后的检测数量包括小数的情况下，可以将小数向上或向下取整，使得检测数量变为整数。这里，步骤S407的处理仅是显示处理的示例。

如上所述，与仅进行一种检测处理类型的情况相比，根据本示例性实施例的图像处理装置100通过组合多种检测处理类型来改善检测精度。

作为第一示例性实施例的变型例，通过第二检测处理检测到的头部区域内可以包括通过第一检测处理检测到的多个头部坐标。在这种情况下，匹配确定单元240仅针对多个头部坐标中的一个头部坐标，确定出检测到同一人物。确定多个头部坐标中的一个头部坐标的方法是任选的。例如，匹配确定单元240可以仅针对物体是人物的可能性最高的头部坐标，确定出检测到同一人物。作为又一示例，匹配确定单元240可以仅针对物体是人物的可能性最低的头部坐标，确定出检测到相同人物。

以下将描述本发明的第二示例性实施例。将主要聚焦于与根据第一示例性实施例的图像处理装置100的区别，描述根据本示例性实施例的图像处理装置100。图7是示出由根据本示例性实施例的图像处理装置100进行的图像处理的流程图。在图7所示的图像处理的各处理中，用相同的附图标记表示与参照图4描述的根据第一示例性实施例的图像处理相同的图像处理的处理。在步骤S406之后，在步骤S701中，结果校正单元250使第一检测处理的校正后的检测结果与第二检测处理的检测结果整合。更具体地，结果校正单元250将通过从如下的总和中减去检测到的同一人物物体的数量而获得的值确定为整合结果：通过第一检测处理获得的校正后的检测数量(检测到的人物物体的数量)与通过第二检测处理获得的检测数量(检测到的人物物体的数量)的总和，即并集。这里，通过第一检测处理获得的校正后的检测数量是校正后的可能性的总和。另外，通过第二检测处理获得的检测数量是通过第二检测处理检测到的人物物体的数量的总和。

例如，如图8所示，仅利用第一检测处理，在区域800中的区域801内检测到8个人物物体。在区域802内，通过第一检测处理和第二检测处理两者检测到4个人物物体。在区域803内，仅通过第二检测处理，检测到3个人物物体。在这种情况下，结果校正单元250通过从利用第一检测处理检测到的检测数量12与利用第二检测处理的检测数量7的总和19中减去区域802内的检测数量4，获得区域800内的检测数量15。

返回到图7，在步骤S701之后，在步骤S702中，显示处理单元260进行控制，使得将并集显示为检测数量。伴随着该处理，图像处理结束。根据第二示例性实施例的图像处理装置100的其它构造和其它处理与根据第一示例性实施例的图像处理装置100的其它构造和其它处理类似。如上所述，根据本示例性实施例的图像处理装置100还能够对利用多种检测方法中的仅一种检测方法检测到的人物物体进行计数。

尽管以上已经详细描述了本发明的优选示例性实施例，但是本公开不限于具体的示例性实施例，并且能够在本公开的范围内作出各种变型和改变。

根据上述各示例性实施例，能够改善人物检测的精度。

其它实施例

另外，可以通过读出并执行记录在存储介质(也可更完整地称为“非临时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或更多个程序)以执行上述实施例中的一个或更多个的功能、并且/或者包括用于执行上述实施例中的一个或更多个的功能的一个或更多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，来实现实施例，并且，可以利用通过由所述系统或装置的所述计算机例如读出并执行来自所述存储介质的所述计算机可执行指令以执行上述实施例中的一个或更多个的功能、并且/或者控制所述一个或更多个电路执行上述实施例中的一个或更多个的功能的方法，来实现本发明的实施例。所述计算机可以包括一个或更多个处理器(例如，中央处理单元(CPU)，微处理单元(MPU))，并且可以包括分开的计算机或分开的处理器的网络，以读出并执行所述计算机可执行指令。所述计算机可执行指令可以例如从网络或所述存储介质被提供给计算机。所述存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如压缩光盘(CD)、数字通用光盘(DVD)或蓝光光盘(BD)^TM)、闪存设备以及存储卡等中的一个或更多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

虽然对示例性实施例进行了描述，但是应当理解，本公开并不限于所公开的示例性实施例。应当对所附权利要求的范围给予最宽的解释，以使其涵盖所有这些变型例以及等同的结构和功能。

Claims (11)

1.一种图像处理装置，所述图像处理装置包括：

第一检测单元，其被构造为执行用于通过使用与人物相关的训练模型来从图像中检测被假定为人物的物体的第一检测处理；

第二检测单元，其被构造为执行用于至少通过使用模式匹配来从所述图像中检测被假定为人物的物体的第二检测处理；

确定单元，其被构造为确定通过所述第一检测处理检测到的物体是否与通过所述第二检测处理检测到的物体对应；

校正单元，其被构造为校正跟通过所述第一检测处理检测到的且由所述确定单元确定为与通过所述第二检测处理检测到的物体对应的物体有关的检测结果；以及

计算单元，其被构造为至少基于由所述校正单元校正过的检测结果，计算所述图像中的人物的数量。

2.根据权利要求1所述的图像处理装置，其中，在人物的密度高的情况下使用所述第一检测处理。

3.根据权利要求1所述的图像处理装置，其中，通过所述第一检测处理检测头部，并且

其中，通过所述第二检测处理检测面部、上半身或下半身中的一个或更多个。

4.根据权利要求1所述的图像处理装置，其中，在通过所述第一检测处理检测到的物体与通过所述第二检测处理检测到的物体对应的情况下，所述校正单元将指示通过所述第一检测处理检测到的物体有多大可能是人物的可能性的相对值，校正为更高的值。

5.根据权利要求1所述的图像处理装置，其中，所述校正单元基于用户操作，校正所述第一检测处理的检测结果。

6.根据权利要求1所述的图像处理装置，所述图像处理装置还包括显示控制单元，所述显示控制单元被构造为进行控制，使得显示由所述校正单元校正过的所述第一检测处理的检测结果。

7.根据权利要求1所述的图像处理装置，所述图像处理装置还包括计算单元，所述计算单元被构造为通过将由所述校正单元校正过的所述第二检测处理的检测结果与所述第一检测处理的检测结果进行整合，来计算从所述图像中检测到的人物的数量。

8.根据权利要求7所述的图像处理装置，所述图像处理装置还包括显示控制单元，所述显示控制单元被构造为进行控制，使得将由所述计算单元计算出的人物的数量显示在显示单元上。

9.根据权利要求1所述的图像处理装置，其中，所述第一检测单元计算指示通过所述第一检测处理检测到的物体有多大可能是人物的可能性，并且

其中，所述校正单元将通过所述第一检测处理检测到的且由所述确定单元确定为与通过所述第二检测处理检测到的物体对应的物体的可能性，校正为比由所述第一检测单元计算出的可能性高。

10.一种图像处理方法，所述图像处理方法包括：

第一检测步骤，执行用于通过使用与人物相关的训练模型来从图像中检测被假定是人物的物体的第一检测处理；

第二检测步骤，执行用于至少通过使用模式匹配来从所述图像中检测被假定为人物的物体的第二检测处理；

确定步骤，确定通过所述第一检测处理检测到的物体是否与通过所述第二检测处理检测到的物体对应；

校正步骤，校正跟通过所述第一检测处理检测到的且在所述确定步骤中确定为与通过所述第二检测处理检测到的物体对应的物体有关的检测结果；以及

计算步骤，至少基于在所述校正步骤中校正过的检测结果，计算所述图像中的人物的数量。

11.一种存储用于使计算机执行如下方法的指令的非暂时性存储介质，所述方法包括：

第一检测步骤，执行用于通过使用与人物相关的训练模型来从图像中检测被假定为人物的物体的第一检测处理；

第二检测步骤，执行用于至少通过使用模式匹配来从所述图像中检测被假定为人物的物体的第二检测处理；

确定步骤，确定通过所述第一检测处理检测到的物体是否与通过所述第二检测处理检测到的物体对应；

校正步骤，校正跟通过所述第一检测处理检测到的且通过所述确定步骤确定为与通过所述第二检测处理检测到的物体对应的物体有关的检测结果；以及

计算步骤，至少基于在所述校正步骤中校正过的检测结果，计算所述图像中的人物的数量。