CN102598056A - 远红外线行人探测装置 - Google Patents

Abstract

本发明提供一种远红外线行人探测装置，包括：无限远点检测部(30)，从拍摄到的远红外线图像(200)中，对无限远点的位置进行检测；行人探测区域设定部(40)，根据检测出的无限远点的位置，在拍摄到的远红外线图像(200)中对行人的探测区域进行设定，从而在该行人探测区域内部进行行人探测。

Description

远红外线行人探测装置

技术领域

本发明涉及一种远红外线行人探测装置，具体来说，涉及一种从拍摄到的图像中检测出行人的存在位置，并提高图像处理的效率的方法。

背景技术

目前，人们正在努力从事于降低交通死亡人员的技术方面的工作。通过安全气囊等普及，这其中在占有死亡事故较大比例的驾驶员的保护方面已显示出显著的降低效果。与此不同的是，在占有死亡事故比例次位的行人的安全措施方面，如下系统的实现正处在研究当中，该系统是从拍摄车辆前方的图像中检测是否有行人和行人的存在位置，并将此通报给驾驶员。

该系统具体来说，在车辆上设置对前进方向进行拍摄的远红外线摄像机，根据拍摄到的图像来检测行人，并在图像中的行人部分上设置标记后，提示给驾驶员。此外，在将来还有可能做到的是，在利用该系统来探测出行人时，自动判断危险度，在判断为危险的情况下，给出警告或者借助车辆的自动操作装置进行制动或操作方向盘，借此来避免碰撞。

作为从图像之中探测行人的方法来说，其可以采用所谓的模板匹配算法，即：预先准备行人的模板，并求出该模板与图像内的有可能存在行人的区域之间的相似度。相似度的计算方法大体分为“像素值的比较”和“轮廓信息的比较”的方法。

其中的轮廓信息，由于不依赖于图像的亮度，因而它适合于受天气和太阳位置的影响而使图像亮度的变化较大的、如车辆用等户外应用。轮廓信息由于能够以二值或较少的灰度来表现，所以数据处理量也较少，且在行人探测处理中占有较大处理量的模板匹配中的相似度计算量不多即可解决问题。

接下来，对于基于轮廓信息的远红外线探测装置的处理过程进行说明。

首先，对整个画面做对比度增强处理，使在拍摄到的图像的各像素中储存的值(后文称为像素值)的差别明确化，从而强调图像轮廓。

然后，受过轮廓强调的图像与预先预备好的行人的受过轮廓强调的模板进行匹配处理，求得图像的各部分与模板之间的相关值(由图像中的模板各个位置的相关值来表示的相关地图)。

在进行与模板的匹配处理时，以与模板同样大小，从受到轮廓强调处理的图像之中剪切行人(的像)可能存在的区域。或者是，以与假定的行人(的像)同样的大小对图像进行剪切后，再将剪切到的图像放大或者缩小，使其等于模板的大小。

由于得到的相关地图中的相关值具有连续性(若位置相邻的话，则相关值不会突发性变化)，所以在所述相关地图中的由相关值表示的区域成为某种程度上具有一定广度的区域；将模板套用在该区域内表示最大的相关值的位置的部分，作为存在行人像的候补部分。

接着，所述最大的相关值与预先设定的阈值(适于判别行人是否存在的值)进行比较，在最大的相关值超过阈值时，判定为该位置存在行人的像(专利文献1)。

(专利文献1)：日本特开2003-009140号公报

现有例是对拍摄到的整个图像进行用于检测行人的模板匹配处理。

在模板匹配处理中，由于需要一边移动模板的位置，一边针对拍摄到的图像中的各像素就拍摄到的图像与模板的相关度进行运算，因而，即使在利用信息量较少的轮廓信息的情况下，也耗费较多的计算机负荷。

鉴于上述状况，本发明的目的在于，提供一种能够降低行人探测处理的计算机负荷的远红外线探测装置。

发明内容

本发明所涉及的远红外线行人探测装置，从拍摄到的图像之中检测无限远点的位置，基于无限远点的位置来设定行人的探测区域，此后仅对行人的探测区域进行行人的探测，从而可以减轻计算机处理的负荷。

也就是说，本发明涉及的远红外线行人探测装置，从由具有对远红外线具有灵敏度拍摄到的图像中，对行人的存在位置进行探测，其特征在于，包括：无限远点检测部，基于所述拍摄到的图像，求得所述图像中的无限远点的位置；行人探测区域设定部，按照所述无限远点的位置，对用于探测行人的存在位置的探测区域进行设定。

根据这样构成的本发明涉及的远红外线行人探测装置，在无限远点检测部，从由摄像部拍摄到的图像中对无限远点的位置进行检测，在行人探测区域设定部，按照所述无限远点的位置，对拍摄到的图像中的行人的探测区域进行限制，因而，作为行人探测用的计算器处理机构，例如在进行模板匹配处理中，可以降低该模板匹配所需的计算机的负荷。

此外，本发明涉及的远红外线行人探测装置，优选如下构成，即：所述无限远点检测部具有：轮廓检测部，在所述图像中，对作为相邻像素之间的差在既定值以上的轮廓构成点、以及所述轮廓构成点中的轮廓的延伸方向进行检测；特定轮廓成分除去部，在由所述轮廓检测部检测出的所述轮廓构成点之中，将所述轮廓的延伸方向是水平或接近水平的轮廓构成点、以及所述轮廓的延伸方向是垂直或接近垂直的轮廓构成点除去；直线检测部，基于没有由所述特定轮廓成分除去部除去的所述轮廓构成点的位置与所述轮廓构成点的轮廓的延伸方向，对两条分离既定值以上的直线进行检测，并基于所述的检测出的两条直线，对所述无限远点的位置进行特定。

根据这样构成的本发明涉及的远红外线行人探测装置，利用特定轮廓成分除去部，预先除去由轮廓检测部检测出的所述轮廓构成点之中的、可能是不能够作为用于特定图像中的无限远点的位置的信息的轮廓的延伸方向是水平或者接近水平的轮廓构成点以及垂直或者接近垂直的轮廓构成点，因而可以高精度地检测无限远点的位置。

此外，本发明涉及的远红外线行人探测装置，优选如下构成，即：在所述特定轮廓成分除去部，对于由所述轮廓检测部检测出的所述轮廓构成点，从经过哈弗变换而生成的哈弗空间内，将与通过所述轮廓构成点的水平或接近水平的直线以及垂直或接近垂直的直线相对应的信息加以除去；在所述直线检测部，基于将所述特定轮廓成分加以除去后的结果，进行所述直线的检测。

根据这样构成的本发明涉及的远红外线行人探测装置，在对由轮廓检测部检测出的轮廓构成点应用哈弗变换之后，在由哈弗变换生成的参数空间(哈弗空间)内，全部除去水平或接近水平的轮廓成分、或者垂直或者接近垂直的轮廓成分，并且，基于特定轮廓成分的除去结果，在哈弗空间内对与相互分离在既定角度以上的两条直线相对应的极大值进行检测，这样可实施直线检测，从而能够以简单的程序对在决定无限远点的位置中所必需的两条直线进行检测。

本发明涉及的远红外线行人探测装置，优选如下构成，即：在车辆上配备有如下：模板匹配部，对于由所述行人探测区域设定部设定的行人的探测区域，与既定的模板进行比较对照，从而对与显示在所述模板中的像相对的图像部分进行检测；标记叠加部，既定的标记叠加到由所述模板匹配部检测出的图像部分上并输出；图像显示部，显示既定的信息，所述拍摄到的图像时对所述车辆的前进方向的既定区域进行拍摄而得到的图像，在所述模板匹配部，与采用行人像作为模板像的模板进行对照。

根据这样构成的本发明涉及的远红外线行人探测装置，在拍摄到的图像中的限定行人探测区域后，利用模板匹配部，与显示行人像的模板进行比较对照(模板匹配)，因此无需对拍摄到的整个图像进行模板匹配。进而，可更加精确地将既定的标记叠加到，拍摄的远红外线图像中的行人的图像部分上，并提醒驾驶员等乘员对行人多加注意。

本发明涉及的远红外线行人探测装置可以获得如下效果，即：可以降低为探测行人而进行图像处理的计算机的负荷。

附图说明

图1是对本发明的实施方式涉及的远红外线行人探测装置100的概要构成进行表示的流程图；

图2是对图1的远红外线行人探测装置100中的行人探测部20的详细构成进行表示的框图；

图3是对图2中所示的行人探测部20之中的、基于无限远点检测部30的无限远点检测步骤、基于行人探测区域设定部40的行人探测区域设定步骤以及基于模板匹配部50的行人的图像的检测处理步骤进行表示的流程图；

图4是对由远红外线摄像部10拍摄到的远红外线图像200的一例进行表示的图；

图5是对远红外线图像200轮廓强调后得出的轮廓强调图像201进行表示的图；

图6是对从轮廓强调图像201提取出轮廓构成点的轮廓构成点图像202进行表示的图；

图7是说明在哈弗变换中进行计算的θ和ρ的图；

图8是对轮廓构成点图像202进行哈弗变换而得到的哈弗变换图像203的示意图；

图9是从哈弗变换图像203中，将轮廓的延伸方向是水平的、或者接近垂直的轮廓成分除去后得到的特定轮廓成分除去图像204的示意图；

图10是从特定轮廓成分除去图像204中，检测两条方向分离规定值以上的直线的结果的示意图；

图11是对行人K3、构成远红外线摄像部10的透镜K1、与构成远红外线摄像部10的摄像元件K2之间的位置关系进行表示的图；

图12是远红外线摄像部10位于图11中所示的位置关系的情况下的行人探测区域A1的示意图；

图13是在远红外线摄像部10的光学系统的光轴向下倾斜Φ的情况下，行人K3、透镜K1与摄像元件K2之间的位置关系的示意图；

图14是在远红外线摄像部10的光学系统的光轴向下倾斜5°的情况下的行人探测区域A2的示意图；

图15是在远红外线摄像部10的光学系统的光轴向上倾斜5°的情况下的行人探测区域A3的示意图；

图16是对探测出的行人的位置进行显示的矩形框F、与远红外线图像205相叠加的结果的示意图。

具体实施方式

下面，参考附图对于本发明所涉及的远红外线行人探测装置的实施方式进行说明。

图1是对本发明的实施方式涉及的远红外线行人探测装置100的简要构成进行表示的流程图；图2是对图1的远红外线行人探测装置100中的行人探测部20的详细构成进行表示的框图；图3表示在图2中所示的行人探测部20，利用无限远点检测部30、行人探测区域设定部40以及模板匹配部50对行人的像进行检测处理的流程图。

本发明涉及的远红外线行人探测装置100如图1所示，包括：远红外线摄像部10，设置在车辆上，对车辆前进方向的既定区域以远红外线图像200(参考图4)的方式进行拍摄；行人检测部20，基于由远红外线摄像部10拍摄到的远红外线图像200，从远红外线图像200中检测出表示行人的像，并在检测出的行人的像的部分叠加矩形框(标记)后输出；图像显示部70，显示在行人的像的位置叠加矩形框F(参考图16)的远红外线图像205。

如图11所示，远红外线摄像部10的内部，具有用于将外界的影像变换成电信号的光学系统(透镜K1)和摄像元件K2。

行人探测部20如图1所示，由无限远点检测部30、行人探测区域设定部40、模板匹配部50和标记叠加部60构成。

无限远点检测部30具备：像素值调整部31，增强远红外线图像200的对比度；轮廓检测部32，对于由像素值调整部31增强对比度的图像，进行图像轮廓的强化，生成轮廓强调图像201(参考图5)，并将具有轮廓强度在规定值以上的像素作为轮廓构成点进行抽取，而生成轮廓构成点图像202(参考图6)；哈弗变换部33，对生成在轮廓检测部32中的轮廓构成点图像202进行哈弗变换；特定轮廓成分除去部34，就根据哈弗变换的结果而得到的哈弗变换图像203(参考图8)而言，从该哈弗变换图像203中去除特定方向的轮廓成分；直线检测部35，从由特定轮廓成分除去部34去除了特定方向的轮廓成分的特定轮廓成分去除图像204(参考图9)中，检测出方向分离既定值以上的两条直线；直线的交点计算部36，求出由直线检测部35检测出的两条直线的交点。

在此处，利用哈弗变换部33进行的哈弗变换，作为从给出的图像中检测出直线成分的图像处理方法而被广泛应用。具体来说，首先，假定有通过图像之中的轮廓构成点(x，y)的任意直线。此时，若假设从图像的原点垂直向下至此直线的垂线长为ρ、ρ与图像的水平轴之间的夹角角度为θ，则ρ与θ之间满足(公式1)的关系。

ρ＝x·cosθ+y·sinθ(公式1)

其中，对于给出的图像中的全部的轮廓构成点，一边使θ值每次改变既定值，一边随时用(公式1)计算ρ，对与算出的(θ，ρ)对应的像素值，通过每次增加一个像素值的方式，生成所谓哈弗空间的(θ，ρ)空间。通过上述处理，若给出的图像中含有直线成分，则将突出的值存储在与直线成分(θ，ρ)对应的像素中，因而，可从哈弗空间选定给予极大值的(θ，ρ)，进而从给出的图像中检测出直线成分。

行人探测区域设定部40，基于无限远点检测部30检测出的远红外线图像200中的无限远点的位置，设定认为有行人的区域。

模板匹配部50包括：相关值计算部51，在由行人探测区域设定部40设定的区域，对轮廓强调图像201与存储在模板存储部52内的行人的模板进行模板匹配处理，借此求得轮廓强调图像201与行人的模板之间的相关值；行人存在位置检测部53，基于由相关值计算部51算出的相关值，检测行人的存在位置。

标记叠加部60，在通过远红外线摄像部10获得的远红外线图像200中，在利用所述模板匹配部50获得的人像位置，叠加图16中所示的矩形框F并输出。

接下来，参考图3的流程图，对本实施方式所涉及的远红外线行人探测装置100的作用进行说明。

首先，设在车辆上的远红外线摄像部10，对车辆前进方向上的既定区域进行拍摄，例如拍摄如图4所示的远红外线图像200或者如图16所示的远红外线图像205的远红外线图像。在这样拍摄的远红外线图像中，如图16所示的远红外线图像205，在像人体一样放射热量的目标部分中储存较大的值，故可在图像上明亮显示。

下面，以远红外线图像200为例来说明本发明的作用。

在图3的步骤1(S1)，把由远红外线摄像部10拍摄到的远红外线图像200输入到像素调整部31中。像素调整部31，为更有效进行在后进行的轮廓强调，对输入的远红外线图像200进行对比度的增强处理(图3的S2)。

作为对比度的增强处理，可进行如下处理，例如，求得远红外线图像200中像素值的最大值和最小值，在像素值被量化为8bit时，将最大值变换成255、最小值变换成0，以线形插补中间值；或者，首先求得像素值的柱形统计图，并以像素值的中央值为界，对具有比中央值小的像素值的像素，在0到中央值之间对像素值进行非线形变换，而对具有大于中央值的像素值的像素，在中央值到255之间，对像素值进行非线形变换。当然，本发明并不限定于上述特定的方法，也可以采用具有与上述同等效果的处理方法。

将经像素调整部31增强对比度的图像输入到轮廓检测部32中。轮廓检测部32对输入的已增强对比度的图像进行微分处理(图3的S3)。通过微分处理，可以获得在图像中像素值剧烈变化、且已强化物体的轮廓的轮廓强调图像201(图5)。

图像的微分处理可以通过如下方式来执行，即：采用例如Sobel算子、Prewitt算子等已提案过的各种算子，进行所谓空间过滤的过滤处理。这种处理方法是在数字图像处理中通常采用的方法，因而对详细说明不再赘述。本发明可以采用任意一种算子进行处理。

接下来，通过轮廓检测部32，从轮廓强调图像201中提取相邻像素的像素值的差距较大、且具有较强轮廓强度的轮廓构成点。在轮廓强调图像201中做如下2值化处理(图3的S4)，即：在具有既定值以上的像素值的像素存储“1”，在除此之外其它的像素存储“0”。通过2值化处理而得到轮廓构成点图像202(图6)。在图6中，白像素存储表示轮廓构成点的“1”；黑像素存储表示轮廓点以外的“0”。

轮廓构成点图像202输入到哈弗变换部33。在哈弗变换部33中，对轮廓构成点图像202做哈弗变换(图3的S5)，而得到哈弗变换图像203(图8)。

下面，参考图7，对进行哈弗变换处理的步骤进行说明。

对于在轮廓构成点图像202中存储有“1”的全部的像素，假定存在可能通过该等像素的直线，并算出对自轮廓构成点图像202的左上的原点0(0，0)起而与此假定直线垂直的垂线长ρ、与轮廓构成点图像202的水平轴和垂线之间的夹角θ。

在图7中，画出从原点0(0，0)，作为轮廓构成点的代表的点C(x0，y0)；画出作为通过点C的所有直线的代表的直线L1。

利用公式1，使θ每次改变既定值(例如1°)，并随时计算出对应于θ的ρ，从而求得(θ，ρ)组合；并将与(θ，ρ)对应的坐标的像素值逐一地持续增加下去，从而生成所谓哈弗空间的哈弗变换图像203。

将生成的哈弗变换图像203输入到特定轮廓成分除去部34，进行去除沿水平方向以及垂直方向延伸的轮廓的处理(图3的S6)。

当在从拍摄车辆的前进方向的前方的图像中，对无限远点进行检测时的情况下，由于拍摄到的图像接受透视变换，所以一般将无限远点作为指向无限远处且在无限远处聚交的多条直线的交点进行计算。但是，还存在很多像道路上的障碍物的轮廓、道路以外的建筑物的轮廓那样、并不能成为用作特定无限远点位置的信息的轮廓。尤其是，在受到透视变换的图像中沿水平方向延伸的轮廓(水平轮廓)与沿垂直方向延伸的轮廓(垂直轮廓)，往往不用于特定无限远点的位置。在无限远点检测之前，利用特定轮廓成分除去部34，对这样的水平轮廓和垂直轮廓进行除去处理。

具体来说，利用预先设定的阈值ω对哈弗变换图像203进行以下的变换处理。其中，哈弗变换图像203取为M(θ，ρ)；对特定轮廓成分进行去除处理后，得到的图像取为N(θ，ρ)(后文称为特定轮廓成分除去图像204)。

N(θ，ρ)＝0(-ω≤θ≤ω、90°-ω≤θ、θ≤-90°+ω)

(公式2)

N(θ，ρ)＝M(θ，ρ)((式2)以外的θ)

(公式3)

其中，ω是表示接近水平轮廓以及垂直轮廓的既定阈值，其可以设定成例如ω＝5°。图9表示这样生成的特定轮廓成分除去图像204的例子。另外，表示在公式2、公式3中的处理可以通过如下简单的处理来实现，具体来说，对于哈弗变换图像203，将公式2所示范围内的像素值全部置换成0的处理方法。

接下来，利用直线检测部35，从特定轮廓成分除去图像204中检测两条直线(图3的S7)。该直线检测处理按照如下方式进行，即对于特定轮廓成分除去图像204，求出θ分离既定值以上的两个极大点的方法进行。

首先，从特定轮廓成分除去图像204中，对储存有最大值的像素进行选定。将选定的像素取为(θ1，ρ1)。接着，在预先确定既定值δ，例如δ＝90°，且，θ位于θ＜θ1-δ以及θ1+δ＜θ范围内时，对储存有特定轮廓成分除去图像204的最大值的像素进行选定。将选定的像素取为(θ2，ρ2)。

像这样经选定的(θ1，ρ1)以及(θ2，ρ2)，表示存在于远红外线图像200中的、轮廓构成点较多的排在前面的两条直线。其中，之所以设定阈值δ，这是由于使用方向尽量各异的两条直线时，可以更加精确地检测出无限远点。在图10中表示(θ1，ρ1)和(θ2，ρ2)的检测结果例。

接下来，利用直线的交点计算部36来计算两条直线(θ1，ρ1)与(θ2，ρ2)的交点(图3的S8)。具体而言，求得利用(θ1，ρ1)和(θ2，ρ2)选定的两条直线的公式，将两条直线的公式作为联立方程式来求解，从而确定该交点。这样算出的交点表示远红外线图像200中的无限远点的位置。

然后，行人探测区域设定部40，基于算出的无限远点的位置，选出认为行人存在的区域(图3的S9)。

采用具体数值来说明行人探测区域的设定方法。假设远红外线摄像部10的摄像元件的像素数是横向360像素、纵向240像素、摄像元件的1个像素的大小是42μm(纵横大小相同)、构成远红外线摄像部10的透镜K1的焦点距离是f＝25mm。且，假设该远红外线摄像部10以面朝车辆的前进方向、俯角为0°的方式设置在车辆高度为h＝180cm的位置处。

尽管行人的检测范围可以基于行人探测系统的设计要件来设定，然而，在此处，假设仅可以对存在于距行人的距离L＝30m到90m的范围内、且左右各W＝5m的范围内的行人进行探测。

在记载在图1中的布置中，投影到摄像元件上的行人脚底部的纵向位置dv，可以根据距行人的距离L、构成远红外线摄像部10的透镜的焦点距离f和行人的身高Dv，以公式4来计算。

dv＝Dv·f/L(公式4)

在图11中，K1表示构成远红外线摄像部10的透镜、K2表示构成远红外线摄像部10的摄像元件、K3表示行人。

在前方L＝30m处存在身高Dv＝1.8m的行人的情况下，根据公式4算得dv＝1.5mm。dv除以摄像元件的大小42μm，于是行人脚底部距画面中央的纵向距离等于36像素。同样，在前方L＝90m存在行人的情况下，行人脚底部到画面中央的纵向距离等于12像素。

另一方面，尽管图示被省略，但与图11同样，行人脚底部投影到远红外线摄像部10的摄像元件上的横向位置dh，可以根据距行人的距离L、构成远红外线摄像部10的透镜的焦点距离f和远红外线摄像部10的光学系统的光轴到行人的水平方向距离Dh，以公式5来计算。

dh＝Dh·f/[(Dh²+L²)^1/2·cos{tan^-1(Dv/L)}](公式5)

其中，当行人位于L＝30m的前方、且左方向Dh＝5m的位置的情况下，dh＝4.17mm。dh除以摄像元件的大小42μm，于是行人的脚底部距画面中央的左方向偏位量等于99像素。同样，在位于L＝90m前方且左方向Dh＝5m处的行人的脚底部，距画面中央的左方向偏位量等于34像素。由于位于右方向Dh＝5m的位置处的行人可在与上述对称的位置观测到，所以我们认为存在行人的脚底部的行人探测区域A1，是在图12中所示的A1的范围。

此外，在上述条件的情况，远红外线图像200中的无限远点的位置是Vp1(180，120)。

当实际在车辆上设置远红外线摄像部10时、或者在此状态下前进时，远红外线摄像部10的设置方向与前进中的路面的关系受如下两种因素影响而发生变化。其中一种因素是摄像机本身的安装误差；另一种是前进中的车辆的上下运动。

假定为如下情况，例如由于远红外线摄像部10的安装误差、或者前进中的车辆的上下运动，远红外线摄像部10的光学系统的俯角不是0°，而向下倾斜5°。此时，我们认为存在行人的脚底部的行人探测区域，可以按照如下方式来计算。

在图13中表示一种拍摄模型，在该拍摄模型中，远红外线摄像部10的光学系统的光轴面朝车辆前进方向，且从水平向下倾斜Φ。为简化说明，假设旋转中心与透镜中心重叠，且光学系统的光轴仅在上下方向上倾斜。就上述内容来说，即使旋转中心多少偏移一些，也不会给结果带来较大影响；在后文中，在另一倾斜(左右)方向上，也可应用相同的模型。图13的K1表示构成远红外线摄像部10的透镜、K2表示构成远红外线摄像部10的摄像元件、K3表示行人。dv是投影到摄像元件上的行人的脚底部的纵向位置。

在如图11布置的情况下，远红外线图像200中的无限远点的位置是Vp2(180，68)。此外，在图13的布置中，dv可以根据距行人的距离L、构成远红外线摄像部10的透镜的焦点距离f和行人的身高Dv，采用公式6来计算。

dv＝f·tan{φ-tan^-1(Dv/L)}(公式6)

此外，尽管图示被省略，然而，投影在摄像元件上的行人的脚底部的横向位置dh，可以根据距行人的距离L、构成远红外线摄像部10的透镜的焦点距离f和远红外线摄像部10的光学系统的光轴到行人的脚底部为止的水平方向距离Dh，采用公式7来计算。

dh＝Dh·f/[(Dh²+L²)^1/2·cos{φ-tan^-1(Dv/L)}](公式7)

借助公式6、公式7算出的，即，存在于车辆前进方向的前方30m至90m、且左右各5m的范围内的行人探测区域A2，如在图14中所示的区域。

在远红外线摄像部10的光学系统的光轴在向上倾斜5°的情况下，无限远点的位置是Vp3(180、172)，存在于车辆前进方向的前方30m至90m、且左右各5m的范围内的行人探测区域，如在图15中所示的A3区域。

综上所述，认为存在行人脚底部的行人探测区域的位置，与远红外线图像200中的无限远点的位置一一对应，若无限远点的位置可以确定的话，则可以选定行人探测区域。

远红外线摄像部10的光学系统的光轴不仅在俯角方向上变动，还在水平方向上变动。此时，也可以用与上述步骤相同的方法，推定行人探测区域。

在行人探测区域设定部40内预先存储，基于拍摄到的远红外线图像200中的无限远点的位置，推定的行人探测区域的位置信息，并且基于由无限远点检测部30检测出的无限远点的位置坐标，读取与检测出的无限远点的位置坐标相对应的行人探测区域的位置信息。

接下来，利用模板匹配部50，对于按照上述步骤设定的行人探测区域内部的各像素进行模板匹配处理，从而确定行人是否存在以及行人的存在位置。

在模板匹配处理中，把从拍摄行人的远红外线图像中检测出轮廓的图像作为模板加以利用。模板预先存储在模板存储部52内。

模板匹配处理按照如下方式进行，即：对存储在模板存储部52内的模板和行人探测区域内部的每个像素进行匹配，每进行一次匹配时利用相关值计算部51来计算相关值(图3的S10、S11)。相关值的算法有各种方法，例如，可以是在模板内部的各像素与与之匹配过的轮廓强调图像21的对应像素之间，计算出进行归一化互相相关值的计算；或者，在模板内部的各像素与与之对应的远红外线图像200的像素之间，计算出对应的像素值的差分值的总和。

在使用归一化互相相关值的情况，在模板匹配在行人的存在位置上时，计算出相关值的最大值；在计算差分值的总和的情况下，在模板匹配在行人的存在位置上时，计算出相关值的最小值。

接下来，行人存在位置检测部53，基于由相关值计算部51计算出的结果，检测行人是否存在以及有行人存在时的行人的存在位置(图3的S12)。该处理是按照以下内容进行的。

由相关值计算部51计算出的结果与预先决定好的阈值进行比较，判定是否存在大于阈值、或者小于阈值的像素。

将归一化互相相关值作为相关值的情况下，判定是否有大于阈值的值即可。当发现了具有比阈值大的相关值的像素的情况下，则判定为行人存在于该位置；当没有发现比阈值大的相关值的像素的情况下，则判定为不存在行人。

另一方面，将像素值的差分值的总和作为相关值的情况下，判定是否有小于阈值的值即可。当发现了具有比阈值小的相关值的像素的情况下，则判定为行人存在于该位置；当没有发现比阈值小的相关值的像素的情况下，则判定为不存在行人。阈值的值以及判定基准均可以依照所利用的相关值来设定。

将由相关值计算部51检测出的行人的位置传送到标记叠加部60，标记叠加部60，基于行人像的位置，设定可包围行人像的区域的最小矩形框F，并把该矩形框F叠加到远红外线摄像部10输入的远红外线图像200中的行人的位置上，并输出到图像显示部70。

在图像显示部70显示，标记叠加部60传送的远红外线图像200中的行人像上设有矩形框F(图3的S13)的图像。在图16中，表示这样生成的远红外线图像205的一例。

在利用直线检测部35，从特定轮廓成分除去图像204对两条直线进行检测时，附加这样的条件，即：两条直线的方向分离既定值δ以上，在具体例中记载为δ＝90°，但δ的值并不限定于90°。

尽可能找出两条分离直线的交点，这样就可以更加精确地检测无限远点，因此，优选检测表示道路的左端的直线以及表示道路的右端的直线。例如，在远红外线摄像部10位于图11的布置的情况下，宽度为10m的道路的左端和右端，在无限远点Vp1大约以140°的角度相交。因而，在这种情况下δ可以设定为低于140°的值。

像这样构成的本实施方式涉及的远红外线行人探测装置100，包括：无限远点检测部，从对远红外线具有灵敏度的远红外线摄像部10拍摄到的图像中，计算出无限远点的位置；行人探测区域设定部，根据无限远点的位置，对行人的存在位置进行探测，从而，可在拍摄到的图像中，限定行人探测区域。

进而，可以降低为进行行人探测而实施的模板匹配处理的计算机的负荷。

在本实施方式所涉及的远红外线行人探测装置中，将行人探测区域限定在预先设定的既定区域内，然而，本发明涉及的远红外线行人探测装置不限定于该方式，例如还可以采取如下结构，即：通过装备在车辆上的传感器测得的车辆的前进速度、或者装备在车辆上的导航系统测得的正在前进的道路宽度，改变行人探测区域的位置或者尺寸。

如上所述，即使采取如下结构，即动态改变行人探测区域的尺寸、而且基于远红外线图像之中的无限远点的位置对行人探测区域的位置进行特定，也可以发挥与上述实施方式同样的作用、效果。

(与关联申请的相互参考)

本申请基于2009年10月23日在日本专利局提交的发明专利申请2009-244443而主张优先权，其全部公开内容均经参考而被引用于本说明书中。

Claims (6)

1.一种远红外线行人探测装置，从对远红外线具有灵敏度的远红外线摄像部拍摄的图像中，对行人的存在位置进行检测，其特征在于，

包括：无限远点检测部，基于所述拍摄到的图像，求得所述图像中的无限远点的位置；行人探测区域设定部，根据所述无限远点的位置，设定用于探测出行人的存在位置的探测区域。

2.根据权利要求1所述的远红外线行人探测装置，其特征在于，

所述无限远点检测部具有：

轮廓检测部，在所述图像中，检测相邻像素之间的差在既定值以上的轮廓构成点、以及所述轮廓构成点中的轮廓的延伸方向；

特定轮廓成分除去部，在由所述轮廓检测部检测出的所述轮廓构成点之中，去除所述轮廓的延伸方向是水平或接近水平的轮廓构成点、以及所述轮廓的延伸方向是垂直或接近垂直的轮廓构成点；

直线检测部，基于没有被所述特定轮廓成分除去部去除的所述轮廓构成点的位置与所述轮廓构成点的轮廓的延伸方向，检测出两条分离既定值以上的直线，

并基于所述的检测出的两条直线，确定所述无限远点的位置。

3.根据权利要求2所述的远红外线行人探测装置，其特征在于，

所述特定轮廓成分除去部，从对所述轮廓检测部检测出的所述轮廓构成点进行哈弗变换而生成的哈弗空间中，去除与通过所述轮廓构成点的水平或接近水平的直线以及垂直或接近垂直的直线相对应的信息；所述直线检测部，基于去除所述特定轮廓成分的结果，进行所述直线的检测。

4.根据权利要求1所述的远红外线行人探测装置，其特征在于，

车辆上配备有：模板匹配部，在所述行人探测区域设定部设定的行人的探测区域，与既定的模板进行比较对照，借此检测出与显示在所述模板中的像相对应的图像部分；标记叠加部，将既定的标记叠加到由所述模板匹配部检测出的图像部分并输出；图像显示部，显示既定的信息；所述拍摄到的图像是对所述车辆的前进方向的既定区域进行拍摄而得到的图像，在所述模板匹配部，与采用行人像作为模板像的模板进行对照。

5.根据权利要求2所述的远红外线行人探测装置，其特征在于，

车辆上配备有：模板匹配部，在所述行人探测区域设定部设定的行人的探测区域，与既定的模板进行比较对照，借此检测出与显示在所述模板中的像相对应的图像部分；标记叠加部，将既定的标记叠加到由所述模板匹配部检测出的图像部分并输出；图像显示部，显示既定的信息；所述拍摄到的图像是对所述车辆的前进方向的既定区域进行拍摄而得到的图像，在所述模板匹配部，与采用行人像作为模板像的模板进行对照。

6.根据权利要求3所述的远红外线行人探测装置，其特征在于，

车辆上配备有：模板匹配部，在所述行人探测区域设定部设定的行人的探测区域，与既定的模板进行比较对照，借此检测出与显示在所述模板中的像相对应的图像部分；标记叠加部，将既定的标记叠加到由所述模板匹配部检测出的图像部分并输出；图像显示部，显示既定的信息；所述拍摄到的图像是对所述车辆的前进方向的既定区域进行拍摄而得到的图像，在所述模板匹配部，与采用行人像作为模板像的模板进行对照。

Images