CN101124612A - 图像处理方法、图像处理系统、图像处理装置以及计算机程序 - Google Patents

Abstract

本发明提供一种图像处理方法、图像处理系统、图像处理装置以及计算机程序，例如在使用安装于车辆并对驾驶者脸部进行摄像的车载照相机的系统中，即使在产生局部性的照度变化时，也能够高精度地检测驾驶者脸部的轮廓的宽度等检测对象的边缘部的位置。对在水平方向等图像的第一方向上排列的象素的亮度进行二次微分，并在垂直方向等第二方向上对基于二次微分的结果的数据进行累计，根据累计的结果对图像中的检测对象在第一方向的位置进行检测。

Description

图像处理方法、图像处理系统、图像处理装置以及计算机程序

技术领域

本发明涉及使用了从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置的图像处理方法、应用了该图像处理方法的图像处理系统、在该图像处理系统中使用的图像处理装置、以及用于实现该图像处理装置的计算机程序，尤其涉及使检测对象的检测精度提高的图像处理方法、图像处理系统、图像处理装置以及计算机程序。

背景技术

作为支持汽车等车辆的驾驶的装置，已经提出了这样的图像处理装置：利用配置在能够对驾驶者脸部进行摄像的位置的车载照相机，对驾驶者脸部进行摄像，并进行从所得到的图像对驾驶者脸部的轮廓、以及眼睛和鼻孔的位置进行检测的图像处理(例如，参照专利文献1)。通过使用这样的装置，还可以构成这样的系统：测知驾驶者的状况，从而进行对应于溜号驾驶、瞌睡驾驶等驾驶者的状况的警告等的驾驶支持。另外，由于有西照阳光等外界光射到车辆内的驾驶者脸部的状况烦杂地产生，所以驾驶过程中的驾驶者脸部的照度不是恒定的，但可通过车载照相机的自动增益(auto gain)功能进行某种程度的调整，以使拍摄驾驶者脸部所得到的图像的亮度恒定。

专利文献1：日本特开2004-234367号公报

但是，当太阳光、反射光等外界光均匀地照射到驾驶者脸部时，可以通过自动增益功能来应对，但是在照射的外界光不均匀的情况下，通过对图像整体的亮度进行调整的自动增益功能，不能应对局部性的照度的变化。例如在产生太阳光仅照到脸部的左半部分的片面变化时，无法将太阳光照射不到的暗的部分作为脸部来识别，从而存在产生只将明亮的部分作为脸部的轮廓进行检测的错误检测的问题。并且，在对脸部进行了错误检测的情况下，具有对眼睛以及鼻孔的位置等存在于脸部中的部位也进行错误检测的问题。

发明内容

本发明是鉴于上述情况而完成的，其目的在于提供：图像处理方法，其对在通过摄像等处理得到的图像的第一方向上排列的象素进行二次微分，在与第一方向不同的第二方向上对基于二次微分的结果的数据进行累计，根据该累计的结果对图像内所示的驾驶者脸部等检测对象的位置进行检测，由此即使在例如产生太阳光仅照射到脸部的一部分的片面变化的情况下，也能够高精度地对作为检测对象的脸部的位置进行检测；应用了该图像处理方法的图像处理系统；在该图像处理系统中使用的图像处理装置；以及用于实现该图像处理装置的计算机程序。

本发明的第一方面的图像处理方法使用了从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置，其特征在于，对在图像的第一方向上排列的象素进行二次微分，在与第一方向不同的第二方向上对基于二次微分的结果的数据进行累计，根据累计的结果对图像中的检测对象在第一方向的位置进行检测。

在本发明中，例如在检测对象为通过车载照相机等摄像装置的摄像而得到的驾驶者脸部的情况下，即使在由于射入车辆内的西照阳光等外界光的影响，而相对于驾驶者脸部产生局部性的照度变化时，通过使用不易受到照度变化的影响的二次微分图像，也能够高精度地对脸部的轮廓等检测对象的位置进行检测。

本发明的第二方面的图像处理系统具有从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置，其特征在于，上述图像处理系统包括：对在图像的第一方向上排列的象素进行二次微分的单元；在与第一方向不同的第二方向上对基于二次微分的结果的数据进行累计的单元；以及根据累计的结果对图像中的检测对象在第一方向的位置进行检测的检测单元。

在本发明中，通过使用二次微分图像能够使检测对象的边缘部(edge)明显，通过在第二方向上累计，并对检测对象在第一方向的位置进行检测，能够高精度地对第一方向的边缘部进行检测。例如在检测对象为通过车载照相机等摄像装置的摄像而得到的驾驶者脸部的情况下，即使在相对于驾驶者脸部产生局部性的照度变化时，也能够高精度地对脸部的轮廓等检测对象的边缘部进行检测。

本发明的第三方面的图像处理系统具有从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置，其特征在于，上述图像处理系统包括：按在图像的第一方向上排列的象素的每列对象素的亮度进行二次微分的单元；根据二次微分的结果从第一方向的象素的各列检测特定点的单元；在与第一方向不同的第二方向上对在各列检测到的特定点进行累计的单元；以及根据累计的结果对图像中的检测对象在第一方向的位置进行检测的检测单元。

在本发明中，通过使用二次微分图像，能够使检测对象的边缘部明显，例如通过在第二方向上对边缘部的可能性高的特定点的数量进行累计，能够提高对第一方向上的边缘部的位置进行检测的精度。而且例如在检测对象为通过车载照相机等摄像装置的摄像而得到的驾驶者脸部的情况下，即使在相对于驾驶者脸部产生局部性的照度变化时，由于是二次微分图像，因此也能够抑制照度的局部性变化所带来的不良影响，从而高精度地对脸部的轮廓等检测对象的边缘部进行检测。

本发明的第四方面的图像处理系统的特征在于，在本发明的第三方面中，上述特定点是从对象素的亮度在第一方向的变化进行二次微分的结果求出的极小点。

在本发明中，通过将从亮度变化状况发生变化的二次微分的结果求得的极小值作为特定点，例如在检测对象为通过车载照相机等摄像装置的摄像而得到的驾驶者脸部的情况下，即使当驾驶者脸部的照度不均匀的情况下，作为亮度变化状况发生变化的特定点，由于能够对作为背景和脸部之间的界限的脸部的轮廓进行检测，因此能够高精度地对检测对象进行检测。

本发明的第五方面的图像处理系统在本发明的第三或第四方面中，其特征在于，上述图像处理系统还包括设定在第一方向上排列的象素的列中的基准点的单元，上述检测单元构成为根据以下位置进行检测：特定点的累计值成为最大值的位置；以及从该位置在与基准点不同的一侧累计值为比最大值低预定率的值的位置。

在本发明中，例如将认为是比以前的检测结果靠近检测对象的中心的位置设定为基准点，根据特定点的数量的累计值为最大值的位置、以及累计值为例如最大值的1/2的位置，对检测对象进行检测，从而能够高精度地对检测对象进行检测。

本发明的第六方面的图像处理系统具有从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置，其特征在于，上述图像处理系统包括：按在图像的第一方向上排列的象素的每列对象素的亮度进行二次微分的二次微分单元；在与第一方向不同的第二方向上对各列的二次微分值进行累计的累计单元；以及根据累计的结果对图像中的检测对象在第一方向的位置进行检测的检测单元。

在本发明中，通过使用二次微分图像能够使检测对象的边缘部明显，例如通过在第二方向上对边缘部的可能性高的亮度的二次微分值进行累计，能够提高对第一方向的边缘部的位置进行检测的精度。而且例如在检测对象为通过车载照相机等摄像装置的摄像而得到的驾驶者脸部的情况下，即使在相对于驾驶者脸部产生局部性的照度变化时，由于是二次微分图像，因此也能够抑制照度的局部性变化所带来的不良影响，从而高精度地对脸部的轮廓等检测对象的边缘部进行检测。

本发明的第七方面的图像处理系统在本发明的第六方面中，其特征在于，上述二次微分单元是二维的拉普拉斯滤波处理。

通过进行拉普拉斯滤波处理，检测对象的边缘部明显，从而能够进行适于检测对象的位置检测的二次微分处理。

本发明的第八方面的图像处理系统在本发明的第六或第七方面中，其特征在于，上述图像处理系统还包括：在利用上述二次微分单元进行二次微分后，根据二次微分值的频数分布，确定二次微分值的基准值的单元；以及将所确定的基准值以上的象素的二次微分值转换为预定值的单元，上述累计单元构成为对转换为预定值后的二次微分值进行累计。

例如在表示二次微分值的分布的整个直方图中，为了提取具有较高值的30％的象素，将与分布于高位的频数的30％的位置对应的二次微分值确定为基准值，将具有所确定的基准值以上的二次微分值的象素，即具有较高值的30％的象素的二次微分值转换为预定值，例如转换为上限值。由于由此对二次微分值高的值进行了强调，因此能够使边缘部明显，能够提高检测对象的边缘部的检测精度。

本发明的第九方面的图像处理系统在本发明的第二至第八方面的任一方面中，其特征在于，上述图像处理系统还包括在二次微分之前将原图像缩小并生成二次微分用的图像的单元。

在本发明中，通过对缩小的图像进行二次微分，减小了处理负荷大的二次微分处理的处理量，能够减轻处理负荷使处理高速化。

本发明的第十方面的图像处理系统在本发明的第二至第九方面的任一方面中，其特征在于，上述图像处理系统还包括生成上述图像的摄像装置，上述检测对象是通过上述摄像装置拍摄到的人物的脸部，上述第一方向是水平方向，上述第二方向是垂直方向，上述检测单元检测的位置是人物在水平方向的轮廓的位置。

在本发明中，在为通过车载照相机等摄像装置的摄像而得到的驾驶者脸部的情况下，即使在由于射入车辆内的西照阳光等外界光的影响，而相对于驾驶者脸部产生局部性的照度变化时，也能够高精度地对水平方向的轮廓，即脸部的轮廓的宽度进行检测。

本发明的第十一方面的图像处理装置从包含二维排列的多个象素的图像对特定的检测对象进行检测，其特征在于，上述图像处理装置包括：对在图像的第一方向上排列的象素进行二次微分的单元；在与第一方向不同的第二方向上对基于二次微分的结果的数据进行累计的单元，以及根据累计的结果对图像中的检测对象在第一方向的位置进行检测的单元。

在本发明中，通过使用二次微分图像能够使检测对象的边缘部(edge)明显，通过在第二方向上累计来对检测对象在第一方向上的位置进行检测，能够高精度地对第一方向的边缘部进行检测。例如在检测对象为通过车载照相机等摄像装置的摄像而得到的驾驶者脸部的情况下，即使在相对于驾驶者脸部产生局部性的照度变化时，也能够高精度地对脸部的轮廓等检测对象的边缘部进行检测。

本发明的第十二方面的计算机程序，其使计算机从表示包含二维排列的多个象素的图像的图像数据对特定的检测对象进行检测，其特征在于，上述计算机程序执行以下步骤：对在由图像数据表示的图像的第一方向上排列的象素进行二次微分的步骤；在与第一方向不同的第二方向上对基于二次微分的结果的数据进行累计的步骤；以及根据累计的结果对图像中的检测对象在第一方向的位置进行检测的步骤。

在本发明中，通过在连接有车载照相机等摄像装置的车载计算机等计算机中执行程序，计算机作为图像处理装置进行动作，通过使用二次微分图像能够使检测对象的边缘部明显，通过在第二方向上进行累计，并对检测对象在第一方向的位置进行检测，能够高精度地对第一方向的边缘部进行检测。例如在检测对象为通过车载照相机等摄像装置的摄像而得到的驾驶者脸部的情况下，即使在相对于驾驶者脸部产生局部性的照度变化时，也能够高精度地对脸部的轮廓等检测对象的边缘部进行检测。

本发明的图像处理方法、图像处理系统、图像处理装置以及计算机程序，适用于这样的系统：从例如由安装于车辆的车载照相机等摄像装置对驾驶者脸部进行摄像而得到的图像中，将驾驶者脸部作为检测对象进行检测，对在水平方向等图像的第一方向上排列的象素的亮度进行二次微分，并在垂直方向等第二方向上对基于二次微分的结果的数据进行累计，根据累计的结果对图像中的检测对象在第一方向的位置进行检测。

通过该结构，即使在由于射入车辆内的西照阳光等外界光的影响，而相对于驾驶者脸部产生局部性的照度变化时，由于使用不易受到照度变化的影响的二次微分图像，因此也能够高精度地对脸部的轮廓的宽度等检测对象的边缘部的位置进行检测。

详细地说，本发明的图像处理系统等根据在第一方向上进行二次微分的结果对极小点等特定点进行检测，在第二方向上对检测到的特定点的位置进行累计，并且例如将认为是比以前的检测结果靠近检测对象的中心的位置设定为基准点，根据特定点的累计值为最大值的位置以及累计值为例如最大值的1/2的位置，对检测对象进行检测。

根据该结构，由于使用二次微分图像，因此能够使检测对象的边缘部明显，例如在检测对象为通过车载照相机等摄像装置的摄像而得到的驾驶者脸部的情况下，即使在相对于驾驶者脸部产生局部性的照度变化时，也具有这样优良的效果：由于是二次微分图像，因此能够抑制照度的局部性变化所带来的不良影响，从而高精度地对脸部的轮廓等检测对象的边缘部进行检测等。而且通过将从亮度变化状况发生变化的二次微分的结果求得的极小点作为特定点，即使在驾驶者脸部的照度不均匀时，作为亮度变化状况发生变化的点，由于能够对作为背景和脸部之间的界限的脸部的轮廓进行检测，因此达到能够高精度地对检测对象进行检测等优良的效果。并且在应用于通过使检测对象的检测精度提高，来测知驾驶者的状况，从而进行对溜号驾驶的警告等驾驶支持的情况下，可达到这样的优良的效果：即使是在外界光的状况一直变化的环境下进行驾驶的时候，也能够构造错误检测少的值得信赖的驾驶支持系统等。

另外，本发明的图像处理系统等，通过二维的拉普拉斯滤波处理等二次微分处理，根据表示在第一方向上对象素的亮度进行二次微分得到二次微分值的频数分布的直方图，例如为了在整体中提取具有二次微分值高的值的30％的象素，将与分布在高位的频数的30％的位置对应的二次微分值确定为基准值，将具有所确定的基准值以上的二次微分值的象素，即具有较高值的30％的象素的二次微分值转换为预定值，例如转换为上限值之后，在第二方向上进行累计，根据累计的结果对检测对象进行检测。

通过该结构，由于使用二次微分图像，因此能够使检测对象的边缘部明显，例如在检测对象为通过车载照相机等摄像装置的摄像而得到的驾驶者脸部的情况下，可达到这样的优良效果：即使在相对于驾驶者脸部产生局部性的照度变化时，由于是二次微分图像，因此也能够抑制照度的局部性变化所带来的不良影响，能够高精度地对脸部的轮廓等检测对象的边缘部进行检测等。而且由于将具有二次微分值高的值的30％的象素的值转换为上限值，因此具有这样优良的效果：二次微分值较高的值被强调，能够使边缘部明显，能够提高检测对象的边缘部的检测精度等。并且，在应用于通过提高检测对象的检测精度，来测知驾驶者的状况，从而进行溜号驾驶的警告等驾驶支持的系统的情况下，具有这样的优良效果：即使在外界光的状况一直变化的环境下进行驾驶的时候，也能够构造错误检测少的值得信赖的驾驶支持系统等。

另外，作为前处理，通过对拍摄到的图像在缩小之后进行二次微分，可减小处理负荷大的二次微分处理的处理量，能够减轻处理负荷，因此，在应用于进行驾驶支持的系统的情况下，具有这样的优良效果：能够实现高速的处理，能够构造即使在糟糕的状况下也能够反应的驾驶支持系统等。

附图说明

图1是表示本发明的实施方式1中的图像处理系统的结构例的框图。

图2是表示在本发明的实施方式1中的图像处理系统中使用的图像处理装置的处理的流程图。

图3是示意性地表示本发明的实施方式1中的图像处理系统的从图像的提取到基准点和检测范围的设定的处理的例子的说明图。

图4是表示本发明的实施方式1中的图像处理系统的图像的亮度的水平方向分布的例子的说明图。

图5是表示本发明的实施方式1中的图像处理系统的图像的亮度的极小点的累计值的分布的例子的曲线图。

图6是示意性地表示本发明的实施方式1中的图像处理系统的相对于图像的检测对象的检测结果的例子的说明图。

图7是表示在本发明的实施方式2中的图像处理系统中使用的图像处理装置的处理的流程图。

图8是示意性地表示本发明的实施方式2中的图像处理系统的从图像的提取到基准点和检测范围的设定的处理的例子的说明图。

图9是表示本发明的实施方式2中的图像处理系统的用于拉普拉斯滤波(Laplacian filter)处理的系数的例子的说明图。

图10是表示本发明的实施方式2中的图像处理系统进行拉普拉斯滤波处理后的图像的例子的说明图。

图11是表示本发明的实施方式2中的图像处理系统的对一部分值进行转换后的二次微分值的分布的例子的曲线图。

图12是表示本发明的实施方式3中的图像处理系统的结构例的框图。

标号说明

1：摄像装置；2：图像处理装置；3：计算机程序；4：记录介质。

具体实施方式

根据附图对本发明的实施方式进行详细说明。

实施方式1

图1是表示本发明的实施方式1中的图像处理系统的结构例的框图。在图1中，1是安装于车辆上的车载照相机等摄像装置，摄像装置1通过由专用电缆等通信线、或者构成为有线或无线的车内局域网(Local AreaNetwork)等通信网与进行图像处理的车载用计算机等图像处理装置2连接。摄像装置1配设在车辆内的方向盘、仪表板等驾驶者的前方，其被调整成可摄像状态，以便将驾驶者脸部作为摄像对象，使驾驶者脸部的横向和纵向成为图像的水平方向和垂直方向。

摄像装置1具有：控制整个装置的MPU(Micro Processor Unit：微处理机单元)11；记录根据MPU11的控制而执行的各种计算机程序和数据的ROM(Read Only Memory：只读存储器)12；对ROM12上记录的计算机程序执行时临时产生的各种数据进行存储的RAM(Random AccessMemory：随机存储器)13；使用CCD(Charge Coupled Device：电荷耦合器件)等摄像元件构成的摄像部14；将通过摄像部14的摄像得到的模拟图像数据转换为数字数据的A/D转换器15；对通过A/D转换器15转换为数字数据的图像数据临时进行存储的帧存储器16；以及用于与图像处理装置2之间的通信的通信接口17。

在摄像装置1中，通过摄像部14连续地或者断续地进行摄像处理，根据摄像处理生成例如每秒30帧的图像数据(图像帧)，并向A/D转换器15输出，在A/D转换器15中，将构成图像的各象素转换为以256灰度(1字节)等灰度表示的数字图像数据，并存储于帧存储器16中。存储于帧存储器16中的图像数据在预定的定时从通信接口17向图像处理装置2输出。构成图像的各象素呈二维排列，图像数据包括在平面直角坐标系、即所谓的xy坐标系中表示的各象素的位置、以及表示以灰度值表示的各象素的亮度的数据。另外，分别相对于各象素，也可以不通过xy坐标系来表示坐标，而是利用在数据内排列的顺序来表示坐标。并且图像的水平方向与图像数据的x轴方向对应，图像的垂直方向与图像数据的y轴方向对应。

图像处理装置2具有：控制整个装置的CPU(Central Processing Unit：中央处理器)21；CD-ROM驱动器等辅助存储部22，其从记录了本发明的计算机程序3以及数据等各种信息的CD-ROM等记录介质4中读取信息；对通过辅助存储部22读取到的各种信息进行记录的硬盘(以下称为HD)23；对执行HD23上所记录的计算机程序3时临时产生的各种数据进行存储的RAM24；由挥发性存储器构成的帧存储器25；以及用于与摄像装置1之间的通信的通信接口26。另外，从HD23读取本发明的计算机程序3和数据等各种信息，将其存储于RAM24，并由CPU21执行计算机程序3所包含的各种步骤，由此，车载用计算机作为本发明的图像处理装置2进行动作。作为记录在HD23中的数据，有与计算机程序3的执行有关的数据，例如后述的检测范围的数据等各种数据。

图像处理装置2通过通信接口26接收从摄像装置1输出的图像数据，并将接收到的图像数据存储到帧存储器25中，读出存储于帧存储器25中的图像数据，以进行各种图像处理。对接收到的图像数据执行的各种图像处理，是从图像数据中对作为检测对象(摄像时的摄像对象)的驾驶者脸部轮廓的检测以及与眼睛和鼻孔的位置的特定等的检测对象相关的检测处理，例如是在由本申请的申请人申请的日本特开2004-234494号公报(Japanese Patent Application Laid-Open No.2004-234494)、日本特开2004-234367号公报(Japanese Patent Application Laid-Open No.2004-234367)等文献中记载的处理。另外，这些图像处理不限定于日本特开2004-234494号公报(Japanese Patent Application Laid-Open No.2004-234494)和日本特开2004-234367号公报(Japanese Patent ApplicationLaid-Open No.2004-234367)中记载的处理，可以根据其用途、硬件结构、与其他应用程序的联合等条件进行适当选择。

下面对在本发明的实施方式1的图像处理系统中使用的各种装置的处理进行说明。图2是表示在本发明的实施方式1的图像处理系统中使用的图像处理装置2的处理的流程图。在图像处理装置2中，通过执行存储在RAM24中的计算机程序3的CPU21的控制，从帧存储器25中提取通过摄像装置1的摄像得到的、经通信接口26接收到的图像数据(S101)，设定在由提取到的图像数据所表示的图像的水平方向(第一方向)上排列的象素列中的基准点和检测范围(S102)。设定的基准点，是被认为存在作为检测对象的驾驶者脸部的纵向的中心线的概率高的点，例如根据记录于HD23的或存储于RAM24的前次的检测结果进行预测。但是，所设定的基准点不是必须在脸部的中心线上。驾驶者脸部的纵向的中心线在由图像数据所表示的图像内，用表示垂直方向的x坐标表示。并且在步骤S102中，在水平方向上排列的象素列中，与该x坐标对应的点设定为基准点。检测范围是四边形的区域，其是为了对检测对象进行检测而在图像内设定的区域，并且其检测到检测对象的可能性高的一边与图像的水平方向平行，不是从整个图像对检测对象进行检测，通过缩小范围能够减轻检测处理的负荷。

在图像处理装置2中，通过CPU21的控制，相对于排列在图像的水平方向上的象素列，从基准点向外侧方向通过预定的运算对象素的亮度进行二次微分(S103)，根据二次微分的结果，检测出水平方向的各象素列中的极小点(S104)，将作为检测的结果的极小点的位置(x坐标)存储于RAM24中(S105)。对水平方向的象素列的极小点的检测和存储是针对图像检测范围内的所有象素列进行的。另外在RAM24内形成有存储所检测到的极小点的极小点分布表。另外极小点分布表也可以不形成在RAM24内，而是形成在HD23内。

并且在图像处理装置2中，通过CPU21的控制，在垂直方向(第二方向)上对在RAM24中形成的极小点分布表中所存储的各象素列的极小点进行累计(S106)，根据累计的结果对检测对象的水平方向的位置(x坐标)进行检测(S107)。步骤S106中的累计，是对各象素列的极小点的位置(x坐标)进行统计、算出每个位置的极小点的数量的处理。在步骤S107中检测到的水平方向的位置，是从基准点在各侧特定点的累计值为最大值的位置，以及从成为最大值的位置在外侧累计值为最大值的1/2的位置。即，相对于作为检测对象的驾驶者脸部，检测以下位置作为检测对象在水平方向的位置：在左侧累计值为最大值的位置、在该位置的外侧累计值为最大值的1/2的位置、在右侧累计值为最大值的位置、以及在该位置的外侧累计值为最大值的1/2的位置。

并且图像处理装置2将检测到的结果记录在HD23中或存储于RAM24中，并进行基于检测结果的眼睛和鼻孔的位置的检测等各种图像处理，并且进行基于该结果的驾驶支持处理。

对使用图2的流程图说明过的处理更具体地进行说明。图3是示意性地表示本发明的实施方式1的图像处理系统从图像的提取到基准点和检测范围的设定的处理的例子的说明图。在图3中，实线所示的外侧的框是由在步骤S101中提取到的图像数据表示的图像整体，其包含有作为检测对象的驾驶者脸部的图像。单点划线所示的内侧的框是在步骤S102中设定的检测范围。图3中的横方向的粗线L表示排列在水平方向上的构成图像的象素列，纵方向的虚线是驾驶者脸部的中心线C。中心线C与象素列的交点为在步骤S102中设定的基准点。

图4是表示本发明的实施方式1中的图像处理系统的图像的亮度在水平方向的分布的例子的说明图。图4(a)表示在用图3表示的图像的粗线L的位置上，沿水平方向排列的象素的亮度的分布，驾驶者脸部的中心线C的附近、即与鼻子对应的位置的亮度高，从中心线C越向外侧，亮度越低。像这样离摄像装置1越近亮度越高的亮度分布通过在摄像装置1的附近配置照明装置变得显著。通过利用下述公式(1)的运算，进行对像这样分布的象素列的亮度进行二次微分的步骤S103的处理。

F(x，n)＝A(x-n)+A(x+n)-2×A(x)…(1)

其中，F(x，n)：在位置x处的二次微分值

x：水平方向的象素列的x坐标

n：常数(此处为2或3)

A(x)：在位置x处的亮度值

并且在步骤S104中，将通过公式(1)算出的二次微分值F(x，n)满足下述条件的位置(x坐标)作为极小点进行检测。在图4(b)中，将根据对图4(a)所示的亮度分布进行二次微分的结果检测到的极小点在象素列上的位置用×表示。

F(x，2)＜N…(2)

F(x，3)＜N…(3)

x满足上述公式(2)、公式(3)两者(公式(2)和公式(3)的逻辑积是真值)

其中，N：预定的阈值。

在图4所示例中，表示为点a、点b、点c和点d的四点作为基于二次微分的结果的极小点被检测。图4(a)所示的点a朝向图4与左侧的脸部轮廓大致对应，点b与从鼻根到鼻翼的鼻的边缘部大致对应，点c朝向图4与右侧的鼻的边缘部大致对应，并且点d与脸部的轮廓的位置大致对应。其中，在步骤S104中的极小点的检测中，存在这样的可能性：例如从不是检测对象的脸部的背景中检测到极小点。因此从基准点向外侧的方向对象素的亮度进行二次微分，在其结果满足预定的条件的情况下，判断为是背景的可能性高，并且结束在该象素列的二次微分。

作为预定条件此处表示了设定三个条件的例子。第一条件是检测到第二个极小点的情况。在从基准点向外侧的方向进行了二次微分的情况下，如图4(a)所示，在鼻子的边缘部和脸部的轮廓这两点上检测出极小点。因此第三点以后判断为是背景。另外，此处所谓两点，是从基准点向一个方向进行二次微分的情况下的两点，由于向左方向和右方向进行二次微分，所以作为整个象素列会检测出最大四点的极小点。第二条件是亮度值的变化在预定值以下的情况。在例如亮度以分为256级的灰度值表示的情况下，当与一个象素的亮度差在16以下的象素从一个象素连续35个象素时，判断为是背景。第三条件是亮度值在预定的阈值以下的情况。在满足像这样设定的第一条件、第二条件和第三条件中的任一个的情况下，结束对该象素列从基准点进行的向一个方向的二次微分。

图5是表示本发明的实施方式1中的图像处理系统的图像的亮度的极小点的累计值的分布的例子的曲线图。图5是表示通过步骤S106对在步骤S104中检测到的极小点进行累计的结果的曲线图，其横轴与图像的水平方向对应，纵轴表示极小点的频数。如图5所示，当在垂直方向上对极小点进行累计的情况下，频数的分布成为在作为检测对象的驾驶者脸部的两侧轮廓附近具有峰的形状。此处朝向图5，对于左侧的峰，将累计值最大的位置作为位置Lin，将从成为最大值的位置向外侧累计值成为最大值的1/2的位置作为位置Lout。同样地，朝向图5，对于右侧的峰，将累计值为最大值的位置为位置Rin，将从成为最大值的位置向外侧累计值成为最大值的1/2的位置作为位置Rout。

图6是示意性地表示本发明的实施方式1中的图像处理系统的相对于图像的检测对象的检测结果的例子的说明图。图6表示了：作为图3所示的检测对象的驾驶者脸部所表示的图像、以及根据图5所示的极小点的累计结果检测到的位置。图6中的沿纵方向表示的线表示根据极小点的累计结果检测到的位置Lin、位置Lout、位置Rin以及位置Rout，如图6所示，检测到的四个位置与检测对象的轮廓大致对应。即，如步骤S107说明的那样，从累计的结果对检测对象在水平方向的位置、即作为检测对象的驾驶者脸部的轮廓的位置进行检测。

上述实施方式1所示的各种条件等只是一个例子，可根据系统结构、目的等适当设定。例如，在步骤S107中，示出了根据极小值的累计值为最大值的位置和为最大值的1/2的位置，来对检测对象在水平方向的位置进行检测的方式，但本发明不限定于此，也可以只根据成为最大值的位置进行检测，还可以根据1/2以外的值、即根据比最大值低预定率的任意设定的值的位置对水平方向的位置进行检测。

实施方式2

实施方式2是进行与实施方式1不同的二次微分的方式。另外，由于实施方式2中的图像处理系统的结构与实施方式1相同，因此以实施方式1为参照，省略其说明。

对本发明的实施方式2的图像处理系统中使用的各种处理进行说明。图7是表示在本发明的实施方式2的图像处理系统中使用的图像处理装置2的处理的流程图。图像处理装置2通过执行存储于RAM24中的计算机程序3的CPU21的控制，从帧存储器25中提取通过摄像装置1的摄像而得到的、经由通信接口26接收到的图像数据(S201)，将由所提取到的图像数据表示的图像例如在垂直方向上以1/8的比例缩小、在水平方向上以1/8的比例缩小(S202)，并设定排列在由缩小了的图像数据表示的图像的水平方向(第一方向)上的象素列中的基准点、以及检测范围(S203)。通过进行缩小处理，在实施方式2中的二次微分处理时的检测对象的检测变得容易。另外通过进行缩小处理，产生了减轻二次微分时的处理负荷这一效果，因此也可以对上述实施方式1进行缩小处理。另外，在实施方式2中，缩小率的设定能够任意地设定，另外也可以省略缩小处理。

在图像处理装置2中，通过CPU21的控制，对在图像的水平方向上排列的象素列，从基准点像外侧方向，通过拉普拉斯滤波处理对象素的亮度进行二次微分(S204)，根据各象素的二次微分值的频数分布来确定二次微分值的基准值(S205)，将在所确定的基准值以上的象素的二次微分值转换为预定值(S206)，将转换了一部分的值的二次微分值存储于RAM24中(S207)。成为处理对象的图像的亮度由分为256级的灰度值来表示，通过利用使图像的边缘部明确化的拉普拉斯滤波处理来进行二次微分，作为检测对象的驾驶者脸部的轮廓的灰度值变大。另外，在步骤S205中根据二次微分值的频数分布确定的基准值，此处确定为分布于灰度值的高位的频数的30％的位置的二次微分值，例如在象素数为1000的情况下，将第300高的值的二次微分值确定为基准值。即，在表示二次微分值的分布的整个直方图中，为了提取具有较高值的30％的象素，将与分布于高位的频数的30％的位置对应的二次微分值确定为基准值。并且步骤S206的预定值设定为最大值，例如在灰度值为0～255的情况下，设定为255。即通过步骤S205～S206的处理，将二次微分值的上位30％转换成最大值，由此，进一步强调通过使用拉普拉斯滤波处理的二次微分而明确的检测对象的轮廓。与对水平方向的象素列的二次微分有关的处理和存储针对图像的检测范围内的全部象素列进行。另外，在RAM24内形成有存储二次微分值的二次微分值分布表。另外，二次微分值分布表也可以不形成在RAM24内，而是形成在HD23内。

并且，在图像处理装置2中，通过CPU21的控制在垂直方向(第二方向)上对RAM24中形成的二次微分值分布表所存储的各象素列的二次微分值进行累计(S208)，根据累计的结果对检测对象的水平方向的位置(x坐标)进行检测(S209)。在步骤S209中检测到的水平方向的位置，是从基准点在各侧二次微分值的累计值为极大值的位置，此处是在极大值中累计值成为高位的三点的位置。

并且，在图像处理装置2中，将检测到的结果记录于HD23中或者存储于RAM24中，并进行基于检测结果的眼睛和鼻孔的位置的检测等各种图像处理，并进行基于其结果的驾驶支持处理。

对使用图7的流程图说明过的处理进行更加具体的说明。图8是示意性地表示本发明的实施方式2的图像处理系统的从图像的提取到基准点和检测范围的设定的处理的例子的说明图。在图8中，由实线表示的外侧的框是在步骤S202中缩小了的图像的整体，其包含作为检测对象的驾驶者脸部的图像。单点划线所示的内侧的框是在步骤S203中设定的检测范围。图8的横方向的粗线L表示构成图像的排列在水平方向的象素列，纵方向的虚线是驾驶者脸部的中心线C，中心线C与象素列之间的交点为在步骤S203中设定的基准点。

图9是表示本发明的实施方式2中的图像处理系统的拉普拉斯滤波(Laplacian filter)处理所使用的系数的例子的说明图。在步骤S204中进行的二维的拉普拉斯滤波处理是这样的处理：根据一个象素的亮度、以及以该象素为中心在上下左右和斜方向相邻的八个象素的亮度，算出一个象素的二次微分值。在使用如图9的系数的情况下，相对于一个象素的亮度以及相邻的八个象素的亮度，分别乘以对应的位置的系数，对其结果进行合计后的值成为作为二次微分值算出的亮度。

图10是表示本发明的实施方式2中的图像处理系统进行拉普拉斯滤波处理后的图像的例子的说明图。通过在步骤S204中进行二维的拉普拉斯滤波处理，图8所例示的图像被转换为作为检测对象的驾驶者脸部的轮廓等边缘部被明确化的如图10所示的图像。

图11是表示本发明的实施方式2中的图像处理系统对一部分的值进行转换后的二次微分值的累计值的分布的例子的曲线图。图11是表示在步骤S208中对通过步骤S204～S206的处理结果求得的值进行累计的结果的曲线图，横轴与图像的水平方向对应，纵轴表示累计值。如图11所示，在垂直方向上对二次微分值进行了累计的情况下，成为在作为检测对象的驾驶者脸部的两侧轮廓附近具有峰的形状。此处朝向图11，相对于左侧的峰，将极大值为最大值的位置作为L1，将第二和第三大的值的位置分别作为L2、L3。同样地，朝向图11，相对于右侧的峰，将极大值为最大值的位置为R1，将第二和第三大的值的位置分别作为R2、R3。将这六点作为检测对象即驾驶者脸部的轮廓的位置的候补检测出来，即，作为是脸部轮廓的可能性高的位置检测出来。并且使用检测到的六点进行驾驶者的轮廓的位置的进一步的检测处理，例如进行与通过其他方法检测到的轮廓的位置进行比较来实行最终的轮廓的位置确定等的处理。

上述实施方式2所示的各种条件等只是一个例子，可根据系统结构、目的等适当设定。例如，在步骤S209中，表示了根据二次微分值的累计值的极大值并根据左右各三点的位置对检测对象在水平方向的位置进行检测的方式，但本发明不限定于此，也可以只根据极大值成为最大的位置进行检测等，能够进行各种的条件设定。

实施方式3

实施方式3是在实施方式2中利用摄像装置1进行缩小图像的处理的结构。图12是表示本发明的实施方式3中的图像处理系统的结构例的框图。在图12中，1是摄像装置，摄像装置1具有：MPU11、ROM12、RAM13、摄像部14、A/D转换器15、帧存储器16、通信接口17和进行图像的缩小处理的缩小电路18。

并且在摄像装置1中，通过摄像部14进行摄像处理，在缩小电路18中将通过A/D转换器15转换为数字图像数据的图像缩小，并存储于帧存储器16中。并且存储于帧存储器16中的缩小了的图像的图像数据在预定的定时从通信接口17向图像处理装置2输出。

图像处理装置2具有：CPU21；辅助存储部22，其从记录有本发明的计算机程序3和数据等各种信息的记录介质4读取信息；HD23；RAM24；帧存储器25；以及通信接口26。

在本发明的实施方式3中的图像处理系统中，通过摄像装置1的缩小电路18进行与实施方式2的步骤S202的缩小处理对应的处理，并向图像处理装置2输出表示进行了缩小处理的图像的图像数据。在图像处理装置2中的处理与实施方式2相同，因此以实施方式2为参照，并省略其说明。但是，在实施方式2的步骤S202中的缩小处理已在摄像装置1中进行，所以当然不再执行。

在上述实施方式3中，表示了通过摄像装置1进行缩小处理的方式，但通过用摄像装置1进行实施方式1和实施方式2的处理一部分或者全部，能够进一步展开成无数种方式。

在上述实施方式1至3中，已表示了针对用平面直角坐标系表示的图像数据的处理，但本发明不限定于此，能适用于各种坐标系的图像数据，例如能够适用于以这样的坐标系表示的图像数据：在对包含呈蜂窝状配置的象素的图像进行处理的情况下，第一方向与第二方向以60度的角度交叉的坐标系。

另外，在上述实施方式1至3中，已表示了将车辆的驾驶者作为检测对象的方式，但本发明不限定于此，也可以是将各种的人物，还有人物以外的生物或者非生物作为检测对象的方式。

此外，在上述实施方式1至3中，已表示了从通过使用车载照相机的摄像装置的摄像而生成的图像对检测对象进行检测的方式，但本发明不限定于此，能够适用于将使用各种装置通过各种方法生成的图像记录在HD中，并从所记录的图像对特定的检测对象进行检测的各种图像处理。

Claims (12)

1.一种图像处理方法，该图像处理方法使用了从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置，其特征在于，

对在图像的第一方向上排列的象素进行二次微分，

在与第一方向不同的第二方向上对基于二次微分的结果的数据进行累计，

根据累计的结果对图像中的检测对象在第一方向的位置进行检测。

2.一种图像处理系统，该图像处理系统具有从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置，其特征在于，上述图像处理系统包括：

对在图像的第一方向上排列的象素进行二次微分的单元；

在与第一方向不同的第二方向上对基于二次微分的结果的数据进行累计的单元；以及

根据累计的结果对图像中的检测对象在第一方向的位置进行检测的检测单元。

3.一种图像处理系统，该图像处理系统具有从包含二维排列的多个象素的图像中对特定的检测对象进行检测的图像处理装置，其特征在于，上述图像处理系统包括：

按在图像的第一方向上排列的象素的每列对象素的亮度进行二次微分的单元；

根据二次微分的结果从第一方向的象素的各列检测特定点的单元；

在与第一方向不同的第二方向上对在各列检测到的特定点进行累计的单元；以及

根据累计的结果，对图像中的检测对象在第一方向的位置进行检测的检测单元。

4.根据权利要求3所述的图像处理系统，其特征在于，

上述特定点是从对象素的亮度在第一方向上的变化进行二次微分的结果求出的极小点。

5.根据权利要求3或4所述的图像处理系统，其特征在于，

该图像处理系统还包括设定在第一方向上排列的象素的列中的基准点的单元，

上述检测单元构成为根据以下位置进行检测：特定点的累计值成为最大值的位置；以及从该位置在与基准点不同的一侧累计值为比最大值低预定率的值的位置。

6.一种图像处理系统，该图像处理系统具有从包含二维排列的多个象素的图像对特定的检测对象进行检测的图像处理装置，其特征在于，上述图像处理系统包括：

按在图像的第一方向上排列的象素的每列对象素的亮度进行二次微分的二次微分单元；

在与第一方向不同的第二方向上对各列的二次微分值进行累计的累计单元；以及

根据累计的结果对图像中的检测对象在第一方向的位置进行检测的检测单元。

7.根据权利要求6所述的图像处理系统，其特征在于，

上述二次微分单元是二维的拉普拉斯滤波处理。

8.根据权利要求6或7所述的图像处理系统，其特征在于，上述图像处理系统还包括：

在利用上述二次微分单元进行二次微分后，

根据二次微分值的频数分布，确定二次微分值的基准值的单元；以及

将所确定的基准值以上的象素的二次微分值转换为预定值的单元，

上述累计单元构成为对转换为预定值后的二次微分值进行累计。

9.根据权利要求2至8中的任一项所述的图像处理系统，其特征在于，

该图像处理系统还包括在二次微分之前将原图像缩小并生成二次微分用的图像的单元。

10.根据权利要求2至9中的任一项所述的图像处理系统，其特征在于，

该图像处理系统还包括生成上述图像的摄像装置，

上述检测对象是通过上述摄像装置拍摄到的人物的脸部，

上述第一方向是水平方向，

上述第二方向是垂直方向，

上述检测单元检测的位置是人物的水平方向的轮廓的位置。

11.一种图像处理装置，该图像处理装置从包含二维排列的多个象素的图像对特定的检测对象进行检测，其特征在于，上述图像处理装置包括：

对在图像的第一方向上排列的象素进行二次微分的单元；

在与第一方向不同的第二方向上对基于二次微分的结果的数据进行累计的单元，以及

根据累计的结果对图像中的检测对象在第一方向的位置进行检测的单元。

12.一种计算机程序，其使计算机从表示包含二维排列的多个象素的图像的图像数据对特定的检测对象进行检测，其特征在于，上述计算机程序执行以下步骤：

对在由图像数据表示的图像的第一方向上排列的象素进行二次微分的步骤；

在与第一方向不同的第二方向上对基于二次微分的结果的数据进行累计的步骤；以及

根据累计的结果对图像中的检测对象在第一方向的位置进行检测的步骤。

Images