CN103996182A - 图像处理装置、图像处理方法 - Google Patents

Abstract

本发明提供一种能够提高通过处理可见光图像来检测、跟踪进入到对象区域的客体等处理的可靠性的图像处理装置、图像处理方法以及图像处理程序。由可见光摄像头（10）拍摄的对象区域的可见光图像输入到可见光图像输入部（3），由远红外线摄像头（11）拍摄的对象区域的远红外线图像输入到远红外线图像输入部（4）。可见光图像处理部（51）针对所输入的可见光图像，提取不适合进行客体检测的图像区域，对于其中未被提取的图像区域进行客体检测处理。并且，远红外线图像处理部（52）对于可见光图像处理部（51）所提取的图像区域进行客体检测处理。

Description

图像处理装置、图像处理方法

技术领域

本发明涉及一种通过处理对象区域的拍摄图像而检测出被拍摄客体的技术。

背景技术

根据以往的一种图像处理装置，对由可见光摄像头拍摄的对象区域的可见光图像进行处理，检测被拍摄的人或车辆等客体，并跟踪检测出的客体（参照专利文献1等）。根据专利文献1，通过生成由可见光摄像头拍摄的对象区域的可见光图像与该对象区域的背景图像之间的差分图像（背景差分图像）或者时间上连续的两个拍摄图像（可见部分图像）之间的差分图像（帧间差分图像）等，来检测、跟踪被拍摄客体。

并且，根据另一种图像处理装置，对由远红外线摄像头拍摄的对象区域的温度分布图像进行处理，检测被拍摄的人或车辆等客体，并跟踪检测出的客体（参照专利文献2等）。根据专利文献2，对于由远红外线摄像头拍摄而取得的热像的各像素，区别地生成落在与人物的温度相当的亮度值（像素值）的上限阈值与下限阈值范围内的像素与不落在该范围内的像素的二值化图像，并检测被拍摄的人物。由远红外线摄像头拍摄的对象区域的温度分布图像，也与可见光图像一样，通过生成背景差分图像或帧间差分图像，来检测、跟踪被拍摄客体。

现有技术文献

专利文献

专利文献1：日本特开平9-265585号公报

专利文献2：日本特开2006-101384号公报

比较基于可见光图像的图像处理系统与基于温度分布图像的图像处理系统，就可见光图像而言，对被拍摄的人（被检测的人）的面部进行处理，来推测此人的性别、年龄等属性，或者通过与数据库中注册的注册者的面部进行比对来实施个人认证等，这比基于温度分布图像的图像处理更具实用性。并且，能够将拍摄而取得的可见光图像显示于显示器，以便于工作人员确认其面部。

另外，可见光图像容易受到对象区域的照度变化的影响。在因光量过多而发白的像素或因光量不足而发黑的像素以某种程度集中的可见光图像的图像区域，有时无法正常进行客体检测。即，在发白或发黑的像素以某种程度集中的可见光图像的图像区域，容易导致客体遗漏。一旦发生客体遗漏，就无法检测出进入到对象区域的客体，丢失跟踪的客体，进而导致客体跟踪失败。

发明内容

本发明的目的在于提供如下的技术，即，通过抑制对进入到对象区域的客体的遗漏或对跟踪客体的丢失，来提高通过处理可见光图像来检测、跟踪进入到对象区域的客体等处理的可靠性。

本发明的图像处理装置为了解决上述技术问题并达到上述目的而如下地构成。

第一图像输入部用于输入由第一摄像头拍摄的对象区域的可见光图像。并且，第二图像输入部用于输入由第二摄像头拍摄的对象区域的温度分布图像。第一摄像头为拍摄可见光图像的视频摄像头，第二摄像头为拍摄温度分布图像的远红外线摄像头。

第一图像处理部处理输入到第一图像输入部的可见光图像，检测在上述可见光图像中拍摄出的客体。第一图像处理部例如通过背景差分方式或帧间差分方式检测在可见光图像中拍摄出的客体。

第二图像处理部处理输入到第二图像输入部的温度分布图像，检测在上述温度分布图像中拍摄出的客体。与第一图像处理部相同，第二图像处理部例如通过背景差分方式或帧间差分方式检测温度分布图像中拍摄出的客体。

图像区域提取部，针对输入到第一图像输入部的对象区域的可见光图像，提取不适合在第一图像处理部进行客体检测的图像区域。优选地，该图像区域提取部将因光量过多而发白的像素或因光量不足而发黑的像素以某种程度集中的图像区域，作为不适合在第一图像处理部进行客体检测的图像区域而提取。

并且，优选地，图像区域提取部，针对将输入到第一图像输入部的对象区域的可见光图像划分成多个区域而形成的每一个区域块，判断是否为不适合在第一图像处理部进行客体检测的图像区域。并且，优选地，在如上所述地构成的情况下，可针对将可见光图像划分成多个区域而形成的每一个区域块，基于像素值在预先设定的像素值范围外的像素的总数，来判断是否为不适合在第一图像处理部进行客体检测的图像区域并进行提取。更具体地，优选地，将像素值在预先设定的像素值范围外的像素的总数超过预先设定的像素数量的区域块，或者将在区域块内的像素值在预先设定的像素值范围外的像素的总数与该区域块的像素的总数之比超过预先设定的比例的区域块，判断为不适合在第一图像处理部进行客体检测的图像区域并进行提取。

第二图像处理部，对输入到第二图像输入部的温度分布图像中的第一图像区域进行处理，来检测被拍摄客体，该第一图像区域，对应于由图像区域提取部提取的不适合在第一图像处理部进行客体检测的可见光图像的图像区域。优选地，上述第二图像处理部，为了降低处理负荷，对输入到第二图像输入部的温度分布图像中的第二图像区域不进行客体检测处理，该第二图像区域，对应于未被图像区域提取部提取的可见光图像的图像区域（在该区域，由第一图像处理部进行客体检测）。

在可见光图像中，对于因光量过多而发白的像素或因光量不足而发黑的像素以某种程度集中的图像区域，由第二图像处理部对温度分布图像进行处理并检测客体，因此，能够抑制遗漏客体。因此，能够提高通过处理可见光图像来检测、跟踪进入到对象区域的客体等处理的可靠性。

根据本发明，能够提高通过处理可见光图像来检测、跟踪进入到对象区域的客体等处理的可靠性。

附图说明

图1是表示图像处理装置的主要部分的结构的示意图。

图2A、图2B、图2C是表示对象区域、可见光图像、远红外线图像的示意图。

图3是表示客体检测处理的流程图。

其中，附图标记说明如下：

1：图像处理装置

2：控制部

3：可见光图像输入部

4：远红外线图像输入部

5：图像处理部

6：输入输出部

10：可见光摄像头

11：远红外线摄像头

51：可见光图像处理部

52：远红外线图像处理部

具体实施方式

以下对本发明实施方式的图像处理装置进行说明。

图1是表示本发明实施方式的图像处理装置的主要部分的结构的示意图。

该图像处理装置1包括控制部2、可见光图像输入部3、远红外线图像输入部4、图像处理部5、输入输出部6。

控制部2用于控制图像处理装置1的本体各部分的动作。

上述图像处理装置1与可见光摄像头10（相当于本发明的第一摄像头）以及远红外线摄像头11（相当于本发明的第二摄像头）相连接。可见光摄像头10与远红外线摄像头11以大致相同的角度和大致相同的拍摄倍率来拍摄进行客体检测的对象区域。并且，可见光摄像头10以及远红外线摄像头11既可与图像处理装置1的本体一体形成，还可以是与图像处理装置1的本体相独立地形成的筐体构件。

可见光图像输入部3用于输入由可见光摄像头10拍摄的对象区域的可见光图像。远红外线图像输入部4用于输入由远红外线摄像头11拍摄的对象区域的远红外线图像（温度分布图像）。

图像处理部5具有可见光图像处理部51和远红外线图像处理部52。可见光图像处理部51对输入到可见光图像输入部3的可见光图像进行处理，并进行对被拍摄客体的检测等。远红外线图像处理部52对输入到远红外线图像输入部4的远红外线图像进行处理，并进行对被拍摄客体的检测等。

由可见光图像处理部51以及远红外线图像处理部52检测的客体是根据具体用途预先设定的，例如可以是人或车辆。并且，作为检测客体检测到人的情况下，可见光图像处理部51进行属性推定处理、面部认证处理等，在属性推定处理中，截取所检测到的人的面部，并推测检测该人的性别、年龄等属性，在面部认证处理中，认证所检测到的人是否为预先注册的注册者。另外，作为检测客体检测到车辆的情况下，可见光图像处理部51进行文字识别处理等，在文字识别处理中，截取车辆的车号牌，识别车号牌上的车牌号。

另外，由于远红外线图像处理部52的处理图像为远红外线图像，因此，不执行上述的属性推定处理、面部认证处理、文字识别处理等。并且，图像处理部5还进行对所检测到的客体的跟踪等。

输入输出部6将图像处理部5（可见光图像处理部51以及远红外线图像处理部52）的处理结果向未图示的上位装置等输出。并且，输入输出部6还接收来自上位装置等的输入。

图2A表示对象区域。图2B表示由可见光摄像头拍摄的对象区域的可见光图像。图2C表示由远红外线摄像头拍摄的对象区域的远红外线图像。

另外，图2C中，以仅区分作为客体的人和建筑物等背景的二值化图像示出了远红外线图像（温度分布图像），而实际上是各像素为与温度相对应的像素值的多值化图像。

如上所述，可见光摄像头10和远红外线摄像头11以大致相同的角度和大致相同的拍摄倍率拍摄对象区域。

可见光图像处理部51存储用于将输入到可见光图像输入部3的可见光图像划分成多个区域块的设定。图2B中示出的虚线为用于将可见光图像划分成多个区域块的线，该例中，示出了将可见光图像划分成3×3共9个区域块的例子。同样，远红外线图像处理部52存储用于将输入到远红外线图像输入部4的远红外线图像划分成多个区域块的设定。图2C中示出的虚线为用于将远红外线图像划分成多个区域块的线，该例中，示出了将远红外线图像划分成3×3共9个区域块的例子。

可见光图像和远红外线图像的设定是划分成相同的区域块数量。并且，图像处理部5存储两个图像之间拍摄大致相同区域的区域块的对应关系。区域块的划分数量不限于本例示中的9个，还可以是12个或16个等。并且，关于各区域块的大小，既可以相同，也可以不同。

可见光图像处理部51通过生成由可见光摄像头10拍摄的对象区域的可见光图像与该对象区域的背景图像（以下称为“可见光背景图像”）之间的差分图像（可见光背景差分图像），来进行被拍摄客体的检测、跟踪等处理，并根据需要进行上述属性推定处理、面部认证处理、文字识别处理等。并且，可见光图像处理部51还进行该对象区域的可见光背景图像的更新。

远红外线图像处理部52通过生成由远红外线摄像头11拍摄的对象区域的远红外线图像与该对象区域的背景图像（以下称为“远红外线背景图像”）之间的差分图像（远红外线背景差分图像），来进行被拍摄客体的检测、跟踪等处理。并且，远红外线图像处理部52还进行该对象区域的远红外线背景图像的更新。

图像处理部5既可由单芯片处理器构成，也可由分别独立的处理器来分别构成可见光图像处理部51以及远红外线图像处理部52。

另外，在本例中，说明的是图像处理部5通过背景差分方式进行客体检测处理，但也可采用公知的帧间差分方式，也可采用其他方式。

并且，图像处理部5相当于用于执行本发明的图像处理方法的计算机，并且，相当于用于运行本发明的图像处理程序的计算机。

以下，将对本发明的实施方式的图像处理装置1的动作进行说明。

使可见光摄像头10和远红外线摄像头11的拍摄时刻同步。可见光摄像头10和远红外线摄像头11分别是每一秒钟将10帧左右的拍摄图像输入到图像处理装置1。

每当由可见光摄像头10拍摄的对象区域的可见光图像输入到可见光图像输入部3时，可见光图像处理部51利用所输入的可见光图像，对对象区域的可见光背景图像进行更新。可见光图像处理部51将可见光背景图像存储到未图示的存储器。关于这种可见光背景图像的更新，已提出并公开了各种方法，在此省略相关说明。可见光背景图像的更新方法可根据可见光摄像头10的拍摄特性或对象区域的环境等来设定。

并且，每当由远红外线摄像头11所拍摄的对象区域的远红外线图像输入到远红外线图像输入部4时，远红外线图像处理部52利用所输入的远红外线图像，对对象区域的远红外线背景图像进行更新。远红外线图像处理部52将远红外线背景图像存储到未图示的存储器。关于这种远红外线背景图像的更新，已提出并公开了各种方法，在此省略相关说明。远红外线背景图像的更新方法可根据远红外线摄像头11的拍摄特性或对象区域的环境等来设定。

接着，对图像处理装置1的客体检测处理进行说明。图3是表示该客体检测处理的流程图。

在图像处理装置1中，可见光图像处理部51针对输入到可见光图像输入部3的可见光图像，提取不适合客体检测的图像区域的处理（步骤S1）。在步骤S1中，可见光图像处理部51针对图2B示出的由虚线划分而形成的各区域块，判断区域块是否为不适合客体检测的图像区域，并提取被判断为不适合客体检测的区域块。

按如下方式判断是否为不适合客体检测的图像区域（区域块）。首先，可见光图像处理部51针对处理对象的区域块内的每个像素，判断该像素的像素值（亮度值）是否落在预先设定的像素值的范围内，并计算不落在该范围内的像素的总数。就该像素值的范围而言，下限是判断为发黑的像素的像素值，上限是判断为发白的像素的像素值。

如果所计算出的像素的总数（像素值在上述范围外的像素的总数）超过预先设定的数量，则可见光图像处理部51判断为是不适合进行客体检测的图像区域（区域块）。

并且，有关上述判断也可以是以如下方式判断的处理，即：如果所计算出的像素的总数（像素值在上述范围外的像素的总数）与处理对象的区域块内的像素的总数之比，超过预先设定的值，就判断为是不适合客体检测的图像区域（区域块）。

可见光图像处理部51，对在步骤S1中判断为是不适合客体检测而提取的区域块以外的区域块，进行客体检测处理（步骤S2）。即，可在步骤S2中，可见光图像处理部51，对适合客体检测的可见光图像的图像区域（区域块）进行客体检测处理。例如，在将显示于图2B的右上角的区域块作为在步骤S1中判断为是不适合客体检测的区域块而提取的情况下，对上述右上角的区域块以外的区域块，进行客体检测处理。可见光图像处理部51虽然可对所有区域块进行客体检测处理，但为了降低处理负荷，优选地，对于在步骤S1中判断为是不适合客体检测而提取的区域块，不进行客体检测处理。在步骤S2中，利用在该时刻进行存储的可见光背景图像，生成可见光背景差分图像，并检测出被拍摄客体。

并且，图像处理部5判断是否存在由可见光图像处理部51在步骤S1中判断为是不适合客体检测而提取的区域块（步骤S3），如果不存在步骤S1中提取出的区域块，则向上位装置输出步骤S2的客体检测结果（步骤S6），并返回步骤S1。

另一方面，如果存在步骤S1中提取出的区域块，图像处理部5则利用远红外线图像处理部52进行针对该区域块的客体检测处理（步骤S4）。例如，在将图2B中示出的右上角的区域块作为在步骤S1中判断为是不适合客体检测的区域块而提取的情况下，对显示于图2C中示出的右上角的区域块进行客体检测处理。

在步骤S4中，远红外线图像处理部52利用在该时刻进行存储的远红外线背景图像，生成远红外线背景差分图像，并检测被拍摄客体。即，对于因光量过多而发白的像素或因光量不足而发黑的像素以某种程度集中而致使可见光图像处理部51无法正常检测出客体的区域块，由远红外线图像处理部52进行客体检测处理。

另外，远红外线图像处理部52虽然可对所有区域块进行客体检测处理，但为了降低处理负荷，优选地，对于在步骤S1中未被判断为不适合检测因而未被提取的区域块，不进行客体检测处理。并且，在步骤S2中进行客体检测处理的可见光图像和在步骤S4中进行客体检测处理的远红外线图像，是在大致相同时刻下拍摄的对象区域的拍摄图像。

图像处理部5将步骤S2的可见光图像处理部51的客体检测结果与步骤S4的远红外线图像处理部52的客体检测结果进行整合（步骤S5），并将其作为本次客体检测结果而向上位装置输出（步骤S6）。在步骤S5中进行如下整合，即：对于在步骤S1中未被提取的区域块，设为由可见光图像处理部51在步骤S2中进行的客体检测的结果，而对于在步骤S1中被提取的区域块，设为由远红外线图像处理部52在步骤S4中进行的客体检测的结果。

如此，根据本例的图像处理装置1，在可见光图像中，对于因光量过多而发白的像素或因光量不足而发黑的像素以某种程度集中的图像区域，能够利用远红外线图像检测被拍摄客体。由此，能够抑制在如下图像区域中拍摄出的客体的遗漏，该图像区域是指，光量过多而发白的像素或因光量不足而发黑的像素以某种程度集中的图像区域。因此，能够提高通过处理可见光图像来检测、跟踪进入到对象区域的客体等处理的可靠性。

另外，对进入到对象区域的客体的跟踪，可由图像处理部5进行，还可由上位装置利用在步骤S6中输出的客体检测结果进行。

Claims (8)

1.一种图像处理装置，其特征在于，

包括：

第一图像输入部，用于输入由第一摄像头拍摄的对象区域的可见光图像，

第二图像输入部，用于输入由第二摄像头拍摄的上述对象区域的温度分布图像，

第一图像处理部，对输入到上述第一图像输入部的可见光图像进行处理，检测在该可见光图像中拍摄出的客体，

第二图像处理部，对输入到上述第二图像输入部的温度分布图像进行处理，检测在该温度分布图像中拍摄出的客体，

图像区域提取部，针对输入到上述第一图像输入部的上述对象区域的可见光图像，提取不适合在上述第一图像处理部中进行客体检测的图像区域；

上述第二图像处理部，对输入到上述第二图像输入部的温度分布图像中的第一图像区域进行处理，来检测被拍摄客体，该第一图像区域，对应于由上述图像区域提取部判断为不适合在上述第一图像处理部进行客体检测而提取出的可见光图像的图像区域。

2.根据权利要求1所述的图像处理装置，其特征在于，

上述图像区域提取部，针对将输入到上述第一图像输入部的上述对象区域的可见光图像划分成多个区域而形成的每一个区域块，判断是否为不适合在上述第一图像处理部进行客体检测的图像区域。

3.根据权利要求2所述的图像处理装置，其特征在于，

上述图像区域提取部，针对将输入到上述第一图像输入部的上述对象区域的可见光图像划分成多个区域而形成的每一个区域块，基于像素值在预先设定的像素值范围外的像素的总数，来判断是否为不适合在上述第一图像处理部进行客体检测的图像区域。

4.根据权利要求3所述的图像处理装置，其特征在于，

上述图像区域提取部，针对将输入到上述第一图像输入部的上述对象区域的可见光图像划分成多个区域而形成的每一个区域块，基于像素值在预先设定的像素值范围外的像素的总数与上述区域块的像素总数之比，来判断是否为不适合在上述第一图像处理部进行客体检测的图像区域。

5.根据权利要求1至4中任一项所述的图像处理装置，其特征在于，

上述第二图像处理部，对输入到上述第二图像输入部的温度分布图像中的第二图像区域不进行客体检测，该第二图像区域，对应于未被上述图像区域提取部判断为不适合在上述第一图像处理部进行客体检测因而未被提取的可见光图像的图像区域。

6.根据权利要求1至4中任一项所述的图像处理装置，其特征在于，

还包括输出部，上述输出部用于整合上述第一图像处理部以及上述第二图像处理部的客体检测结果并进行输出。

7.根据权利要求5所述的图像处理装置，其特征在于，

还包括输出部，上述输出部用于整合上述第一图像处理部以及上述第二图像处理部的客体检测结果并进行输出。

8.一种图像处理方法，

由计算机执行以下步骤：

第一图像处理步骤，对输入到第一图像输入部的对象区域的可见光图像进行处理，检测在可见光图像中拍摄出的客体；

第二图像处理步骤，对输入到第二图像输入部的温度分布图像进行处理，检测在上述温度分布图像中拍摄出的客体；

图像区域提取步骤，针对输入到上述第一图像输入部的上述对象区域的可见光图像，提取不适合在上述第一图像处理步骤进行客体检测的图像区域；

上述图像处理方法的特征在于，

在上述第二图像处理步骤中，对输入到上述第二图像输入部的温度分布图像中的特定的图像区域进行处理，来检测被拍摄客体，该特定的第一图像区域，对应于在上述图像区域提取步骤中判断为不适合在上述第一图像处理步骤中进行客体检测而提取出的可见光图像的图像区域。