CN104718562B - 图像处理装置以及图像处理方法 - Google Patents

Abstract

图像处理装置(10)具有计算部(11)以及检测部(12)。计算部(11)按图像的处理对象区域所包含的第一方向的每个坐标值，将同一坐标值的亮度值相加，来计算第一方向的每个坐标值的亮度值的相加值。计算部(11)按处理对象区域所包含的第二方向的亮度值的每个坐标值，将同一坐标值的亮度值相加，来计算第二方向的每个坐标值的亮度值的相加值。检测部(12)根据计算部(11)的计算结果，检测第一方向的每个坐标值的亮度值的相加值等同的图像的区域、或者第二方向的每个坐标值的亮度值的相加值等同的区域。

Description

图像处理装置以及图像处理方法

技术领域

本发明涉及图像处理装置等。

背景技术

若能够将在驾驶中可能与横穿者接触等险情、即容易产生像驾驶员惊慌、吃惊那样的现象的位置的信息通知给驾驶员，则能够防止事故的发生。为了确定容易发生险情的位置的信息，可利用行驶记录仪所记录的数据。例如，在行驶记录仪中记录有车辆的位置、拍摄时间、车辆的加速度、车辆的速度、车辆前方的图像数据等。

例如，有一种对行驶记录仪所记录的图像数据进行统计性处理，来解析每个危险地点的危险现象、危险因素，并基于解析结果将建议输出给驾驶员的现有技术。

专利文献1：日本特开2006－309445号公报

专利文献2：日本特开2011－100298号公报

然而，在上述的现有技术中，存在不能高精度检测移动体的问题。

例如，对行驶记录仪所记录的图像数据而言，原始的分辨率粗糙，并且为了抑制容量而被压缩。另外，即使将成为险情的原因的移动体限定于车辆，也存在轿车、大型车、卡车、摩托车等各种形状。并且，图像上的检测对象的形状根据本车辆与检测对象的位置关系而不同。因此，难以根据行驶记录仪等所记录的图像数据高精度地检测可能成为险情的原因的移动体。

发明内容

在一个方面，本发明的目的在于，提供能够高精度地检测移动体的图像处理装置以及图像处理方法。

在第一方案中，图像处理装置具有计算部以及检测部。计算部按图像的处理对象区域所包含的第一方向的每个坐标值，将同一坐标值的亮度值相加，来计算第一方向的每个坐标值的亮度值的相加值。计算部按处理对象区域所包含的第二方向的亮度值的每个坐标值，将同一坐标值的亮度值相加，来计算第二方向的每个坐标值的亮度值的相加值。检测部根据计算部的计算结果，来检测第一方向的每个坐标值的亮度值的相加值等同的图像的区域、或者第二方向的每个坐标值的亮度值的相加值等同的区域。

根据本发明的一个实施方式，起到能够高精度地检测移动体这一效果。

附图说明

图1是表示本实施例1涉及的图像处理装置的构成的功能框图。

图2是表示本实施例2涉及的图像处理装置的构成的功能框图。

图3是表示行驶记录信息的数据结构的一个例子的图。

图4是表示移动体管理表的数据结构的一个例子的图。

图5A是表示连结管理表的数据结构的一个例子的图。

图5B是表示统合结果表的数据结构的一个例子的图。

图6是表示车道检测部所检测的车道区域的一个例子的图。

图7是对前方区域以及侧方区域进行说明的图。

图8是对横穿区域进行说明图。

图9是用于对前方检测部的处理进行说明的图。

图10是用于对侧方检测部的处理进行说明的图。

图11是用于对填充率检查进行说明的图。

图12是对角落判定的处理进行说明的图。

图13是用于对三角形度的计算方法进行说明的图。

图14是用于对计算移动体与照相机的距离的处理进行说明的图。

图15是用于对统合部的处理的一个例子进行说明的图(1)。

图16是用于对统合部的处理的一个例子进行说明的图(2)。

图17是统合处理的影像图。

图18是表示被分类为前方的移动体的一个例子的图。

图19是表示被分类为横穿的移动体的一个例子的图。

图20是表示被分类为侧方的移动体的一个例子的图(1)。

图21是表示被分类为侧方的移动体的一个例子的图(2)。

图22是表示本实施例2涉及的图像处理装置的处理步骤的流程图。

图23是表示连结处理的处理步骤的流程图。

图24是表示统合处理的处理步骤的流程图。

图25是用于对侧方检测部的其他处理进行说明的图。

图26是表示执行图像处理程序的计算机的一个例子的图。

具体实施方式

以下，基于附图对本发明涉及的图像处理装置、图像处理程序以及图像处理方法的实施例进行详细说明。其中，本发明并不被该实施例限定。

实施例1

对实施例1涉及的图像处理装置的构成进行说明。图1是表示实施例1涉及的图像处理装置的构成的功能框图。如图1所示，图像处理装置10具有计算部11和检测部12。

计算部11按图像的处理对象区域所包含的第一方向的每个坐标值，将同一坐标值的亮度值相加，来计算第一方向的每个坐标值的亮度值的相加值。或者，计算部11按处理对象区域所包含的第二方向的每个亮度值的坐标值，将同一坐标值的亮度值相加，来计算第二方向的每个坐标值的亮度值的相加值。

检测部12根据计算部11的计算结果，来检测第一方向的每个坐标值的亮度值的相加值等同的上述图像的区域、或者上述第二方向的每个坐标值的亮度值的相加值等同的区域。

对本实施例1涉及的图像处理装置10的效果进行说明。例如，若图像处理装置10对行驶记录仪所记录的图像数据执行处理，则处理对象区域所包含的图像的大半是路面。在该路面上存在移动体的情况下，移动体的图像与路面的图像之间产生亮度差。因此，通过如上述那样，检测第一方向或者第二方向的每个坐标值的亮度值的相加值等同的图像的区域，能够高精度地检测移动体。

[实施例2]

接下来，对本实施例2涉及的图像处理装置进行说明。图2是表示本实施例2涉及的图像处理装置的构成的功能框图。如图2所示，图像处理装置100具有通信部110、输入部120、显示部130、存储部140、控制部150。

通信部110是经由网络与其他装置执行数据通信的处理部。通信部110例如对应于通信装置等。

输入部120是将各种数据输入到图像处理装置100的输入装置。例如，输入部120与键盘、鼠标、触摸面板等对应。显示部130是显示从控制部150输出的数据的显示装置。例如，显示部130对应于液晶显示器、触摸面板等。

存储部140具有行驶记录信息141、移动体管理表142、连结管理表143、统合结果表144、照相机参数145。存储部140对应于RAM(Random Access Memory：随机存储器)、ROM(Read Only Memory：只读存储器)、闪存(Flash Memory)等半导体存储器元件，或者硬盘、光盘等存储装置。

行驶记录信息141包含由行驶记录仪记录的各种数据。图3是表示行驶记录信息的数据结构的一个例子的图。如图3所示，行驶记录信息141将帧编号、时间、速度、加速度、位置坐标、图像建立对应。帧编号是唯一识别帧的编号。时间是相应的帧被拍摄的时间。速度是对相应的帧进行拍摄的时刻下的搭载有行驶记录仪的车辆的速度。加速度是对相应的帧进行拍摄的时刻下的搭载有行驶记录仪的车辆的加速度。位置坐标是对相应的帧进行拍摄的时刻下的搭载有行驶记录仪的车辆的位置坐标。图像是相应的帧的图像数据。

移动体管理表142是具有从各帧中检测的移动体的信息的表。图4是表示移动体管理表的数据结构的一个例子的图。例如，移动体管理表142具有表142a、142b、142c。

表142a保持由前方检测部152a检测的前方区域内的移动体的信息。与前方区域有关的说明将后述。表142a具有帧编号、移动体识别编号、检测坐标、可靠性。帧编号是唯一识别帧的编号。移动体识别编号是唯一识别移动体的信息。检测坐标表示检测到移动体的区域的坐标。可靠性是表示检测到的移动体是移动体的可能性的程度的值。可靠性越大，则移动体是移动体的可能性越大。在同一帧的前方区域内检测出多个移动体的情况下，同一帧编号的记录中存在多个移动体识别编号、检测坐标、可靠性的组。

表142b保持由侧方检测部152b检测的侧方区域内的移动体的信息。与侧方区域有关的说明将后述。表142b具有帧编号、移动体识别编号、检测坐标、可靠性。与帧编号、移动体识别编号、检测坐标、可靠性有关的说明和表142a的说明相同。在同一帧的侧方区域内检测出多个移动体的情况下，同一帧编号的记录中存在多个移动体识别编号、检测坐标、可靠性的组。

表142c保持由横穿检测部152c检测的横穿区域内的移动体的信息。与横穿区域有关的说明将后述。表142c具有帧编号、移动体识别编号、检测坐标、可靠性。在同一帧的横穿区域内检测出多个移动体的情况下，同一帧编号的记录中存在多个移动体识别编号、检测坐标、可靠性的组。

连结管理表143是具有将从各帧中检测的各移动体连结了的结果的信息的表。与将各移动体连结的处理有关的说明将后述。图5A是表示连结管理表的数据结构的一个例子的图。例如，连结管理表143具有表143a、143b、143c。

表143a是具有将由前方检测部152a检测的前方区域内的移动体连结了的结果的信息的表。例如，表143a具有连结识别编号、和移动体识别编号组。连结识别编号是唯一识别所连结的各移动体的组的信息。移动体识别编号组是表示被连结的各移动体的各移动体识别编号的信息。

表143b是具有将由侧方检测部152b检测的侧方区域内的移动体连结了的结果的信息的表。例如，表143b具有连结识别编号、以及移动体识别编号组。与连结识别编号、移动体识别编号组有关的说明和表143a的与连结识别编号、移动体识别编号组有关的说明相同。

表143c是具有将由横穿检测部152b检测的横穿区域内的移动体连结了的结果的信息的表。例如，表143c具有连结识别编号、和移动体识别编号组。与连结识别编号、移动体识别编号组有关的说明和表143a的与连结识别编号、移动体识别编号组有关的说明相同。

统合结果表144是存储对在前方区域F、侧方区域S、横穿区域C检测出的移动体进行了统合的结果的信息的表。图5B是表示统合结果表的数据结构的一个例子的图。如图5B所示，统合结果表144具有统合识别编号、和移动体识别编号组。统合识别编号是唯一识别统合了的各移动体的组的信息。移动体识别编号组是表示被统合的各移动体的各移动体识别编号的信息。

照相机参数145包含行驶记录仪所利用的照相机的各种参数的信息。例如，照相机参数145包含照相机的水平视角、垂直视角、帧的水平分辨率、帧的垂直分辨率、照相机的设置高度。

控制部150具有车道检测部151、前方检测部152a、侧方检测部152b、横穿检测部152c、可靠性计算部153、连结部154、统合部155、分类部156、评价部157。控制部150例如对应于ASIC(Application Specific Integrated Circuit：专用集成电路)、或FPGA(FieldProgrammable Gate Array：现场可编程门阵列)等集成装置。另外，控制部150例如对应于CPU、或MPU(Micro Processing Unit：微处理单元)等电子电路。

车道检测部151是从行驶记录信息141取得各帧的图像数据，并检测图像内的车道的区域的处理部。在以下的说明中，将图像内的车道的区域适当地记作车道区域。

图6是表示车道检测部所检测的车道区域的一个例子的图。如图6所示，车道区域20是以点21a、21b、21c为顶点的三角形的区域。点21a是与消失点对应的点。

对车道检测部151检测消失点的处理的一个例子进行说明。车道检测部151对图像数据进行霍夫变换来检测多个直线，将各直线交叉的点确定为消失点。车道检测部151也可以使用其他任意的现有技术来确定消失点。

图6的点21b、21c是被设定在比车辆的发动机罩22的位置靠上方的点。发动机罩22的位置可以预先设定，也可以通过规定的图像处理来确定。

车道检测部151通过确定点21a、21b、21c，并求出以点21a、21b、21c为顶点的三角形的区域，来检测车道区域20。车道检测部151将车辆区域的信息输出至前方检测部152a、侧方检测部152b、横穿检测部152c。

前方检测部152a是检测前方区域所包含的移动体的处理部。侧方检测部152b是检测侧方区域所包含的移动体的处理部。横穿检测部152c是检测横穿区域所包含的移动体的处理部。

图7是对前方区域以及侧方区域进行说明的图。如图7所示，前方区域F是包含车道区域20的矩形的区域。侧方区域S是与前方区域F一部分重复，并包含车道区域20的两侧的矩形的区域。

图8是对横穿区域进行说明的图。对横穿区域而言，区域的大小根据速度发生变动。在速度不是0的情况下，成为横穿区域C。横穿区域C包含图7所示的前方区域F和侧方区域S的一部分。在速度是0的情况下，成为横穿区域Ca。例如，横穿区域Ca成为比横穿区域C大的区域。

对前方检测部152a检测前方区域F所包含的移动体的处理的一个例子进行说明。前方检测部152a从行驶记录信息141取得各帧的图像数据。图9是用于对前方检测部的处理进行说明的图。在图9中，横轴表示x坐标，纵轴表示y坐标。

前方检测部152a针对前方区域F计算纵向的亮度投影值。前方检测部152a按每个x坐标值分别沿纵向将前方区域F所包含的同一x坐标值的亮度值相加，从而计算出纵向的亮度投影值30a。前方检测部152a检测出亮度值的相加值等同的x坐标的范围x1～x2。

前方检测部152a通过计算出邻接的x坐标的亮度值之差为阈值以上的x坐标，来检测x1、x2。例如，前方检测部152a计算出亮度投影值30a所包含的各x坐标的亮度值的平均，将计算出的平均的亮度值作为阈值来使用。

例如，由于白色系的车辆比路面亮度高，所以包含车辆的x坐标的范围的亮度值与阈值之差变大。另外，由于黑色系的车辆比路面亮度低，所以包含车辆的x坐标的范围的亮度值与阈值之差变大。

接下来，前方检测部152a计算横向的亮度投影值。前方检测部152a按每个y坐标值分别沿横向将前方区域F所包含的同一y坐标值的亮度值相加，来计算横向的亮度投影值30b。

前方检测部152a根据横向的亮度投影值30b来检测亮度值最小的y坐标作为y1。

前方检测部152a将x1和x2的中点确定为移动体的x坐标。另外，前方检测部152a将y1确定为移动体的y坐标。例如，前方检测部152a将移动体的坐标的信息、车道区域的信息、移动体的x坐标的范围的信息输出至可靠性计算部153。

此外，前方检测部152a求取包含移动体的x坐标的范围x1、x2的处理并不限于上述的处理。例如，前方检测部152a也可以将纵向的亮度投影值为阈值以上的区域确定为包含移动体的区域。

对侧方检测部152b检测侧方区域S所包含的移动体的处理的一个例子进行说明。侧方检测部152b从行驶记录信息141中取得各帧的图像数据。侧方检测部152b从侧方区域S检测移动体的处理与前方检测部152a检测前方区域F所包含的移动体的处理相同。

不过，侧方检测部152b对于纵向的亮度投影值，在亮度值的相加值等同的范围与侧方区域S的外侧相接的情况下，将该范围从移动体的范围中排除。图10是用于对侧方检测部的处理进行说明的图。在图10中，亮度投影值30c是侧方区域S中的纵向的亮度投影值。x1是侧方区域S的左端的x坐标。x5是侧方区域S的右端的x坐标。

如图10所示，对于亮度投影值30c，亮度值的相加值等同的x坐标的范围为范围x1～x2、范围x3～x4。这里，范围x1～x2与侧方区域S的外接相接。因此，侧方检测部152b将范围x1～x2从移动体的范围中排除，例如将范围x3～x4确定为移动体的范围。

例如，侧方检测部152b将移动体的坐标的信息、车道区域的信息、移动体的x坐标的范围的信息输出至可靠性计算部153。

对横穿检测部152c检测横穿区域C、Ca所包含的移动体的处理的一个例子进行说明。横穿检测部152c根据与行驶记录信息141的图像数据对应的速度，在速度不是0的情况下，从横穿区域C中检测移动体。在速度是0的情况下，横穿检测部152c从横穿区域Ca中检测移动体。

横穿检测部152c依次执行生成平均图像的处理、生成二值图像的处理、检测移动体的处理。

对横穿检测部152c生成平均图像的处理进行说明。横穿检测部152c取得行驶记录信息141的各帧的图像数据，按每个像素将各像素值相加。横穿检测部152c将相加后的每个像素的像素值除以帧数，从而生成平均图像。此外，横穿检测部152c创建平均图像的处理并不限于上述的处理，也可以使用任意的公知技术。

对横穿检测部152c生成二值图像的处理进行说明。横穿检测部152c针对各帧分别生成各帧的平均图像与帧的图像数据的差分图像。横穿检测部152c根据各差分图像，生成二值图像。

例如，横穿检测部152c从图像数据的各像素的像素值减去平均图像的各像素的像素值，从而生成差分图像。横穿检测部152c也可以对全部的帧生成差分图像。

横穿检测部152c对差分图像进行RGB(Red Green Blue：红绿蓝)分解。横穿检测部152c在RGB分解之后，针对差分图像的各像素，在R的值、G的值、B的值分别超过规定的阈值的情况下，将该像素的像素值设定为“1”，将其他像素的像素值设定为“0”，从而生成二值图像。横穿检测部152c针对各差分图像生成二值图像。

对横穿检测部152c检测移动体的处理进行说明。横穿检测部152c在检测移动体的情况下，执行标记处理和角落判定处理。

对横穿检测部152c执行的标记处理进行说明。横穿检测部152c执行对二值图像进行扫描，并将像素值连续为“1”的各像素连结的标记处理。在以下的说明中，将通过标记处理而连结的区域记作候补区域。横穿检测部152c在检测出候补区域之后，执行面积检查、填充率检查、纵横比检查，来排除与检测对象不相应的候补区域。

对横穿检测部152c执行的面积检查进行说明。横穿检测部152c在候补区域的面积为预先设定的规定的面积以上的情况下，保留该候补区域。与此相对，横穿检测部152c在候补区域的面积小于预先设定的规定的面积的情况下，将该候补区域排除。

对横穿检测部152c执行的填充率检查进行说明。图11是用于对填充率检查进行说明的图。在图11所示的例子中在横穿区域C中存在候补区域35。横穿检测部152c设定候补区域35的外接矩形36。横穿检测部152c计算候补区域35的面积相对于外接矩形36的面积的比例来作为填充率。横穿检测部152c在填充率是规定的填充率以上的情况下，保留该候补区域35。与此相对，横穿检测部152c在填充率小于规定的填充率的情况下，将该候补区域排除。

对横穿检测部152c执行的纵横比检查进行说明。与图11相同，横穿检测部152c设定相对于候补区域的外接矩形。横穿检测部152c针对外接矩形计算出纵横比。横穿检测部152在外接矩形的纵向宽度相对于横向宽度的比率、或者外接矩形的横向宽度相对于纵向宽度的比率小于规定的比率的情况下，保留该候补区域35。

与此相对，横穿检测部152c在外接矩形的纵向宽度相对于横向宽度的比率、或者外接矩形的横向宽度相对于纵向宽度的比率是规定的比率以上的情况下，将该候补区域排除。在外接矩形的纵向宽度相对于横向宽度的比率、或者外接矩形的横向宽度相对于纵向宽度的比率是规定的比率以上的情况下，由于候补区域与一般的横穿者的形状相比较，极端地表示为纵向长或者横向长，所以认为候补区域是检测对象。

接着，横穿检测部152c针对从二值图像中检测出的候补区域进行面积检查、填充率检查、纵横比检查，针对未被排除的候补区域的信息执行角落判定。

对横穿检测部152c执行的角落判定处理进行说明。图12是对角落判定的处理进行说明的图。在图12中，候补区域31是在上述的标记处理中检测出的候补区域，对应未被面积检查、填充率检查、纵横比检查排除的候补区域。另外，外接矩形41是候补区域31的外接矩形。

横穿检测部152c求出包含外接矩形41内的各角41a、41b、41c、41d的候补区域31以外的角落区域的面积。角落区域可称为被构成外接矩形的边、和构成候补区域的边围成的多边形。在图12所示的例子中，横穿检测部152c求出角落区域42a、42b、42c、42d的面积。横穿检测部152c基于各角落区域的大小关系，来排除候补区域。在以下的说明中，对候补区域的排除条件1～3进行说明。其中，在下述的说明中，将角落区域42a、42c记作对角角落。另外，将角落区域42b、42d记作逆对角角落。

对排除条件1进行说明。横穿检测部152c在对角角落的面积是规定的面积以上的情况下，将该候补区域排除。

对排除条件2进行说明。横穿检测部152c在对角角落的至少一方的面积是规定的面积以上、且逆对角角落的面积小于规定的面积的情况下，将该候补区域排除。

对排除条件3进行说明。横穿检测部152c在对角角落的面积是规定的面积以上、且对角角落的三角形度是规定的三角形度以上、并且逆对角角落的面积小于规定的面积的情况下，将该候补区域排除。

此外，在排除条件1～3中使用的阈值可以根据外接矩形41的面积的大小来变更。例如，若将外接矩形41的面积设为S，则通过S÷6来求出阈值。其中，在阈值的值低于40像素的情况下，将阈值设为40。

对三角形度的计算方法进行说明。图13是用于对三角形度的计算方法进行说明的图。这里，对求取角落区域42c的三角形度的情况进行说明。将三角形BCD所包含的像素的像素值设定为1，将被三角形ABC围起的像素的像素值设定为0。而且，横穿检测部152c通过将矩形ABCD所包含的像素中的像素值为1的面积除以矩形ABCD，来计算角落区域42c的三角形度。

横穿检测部152c检测出未被上述的排除条件1～3排除的候补区域作为移动体。例如，横穿检测部152c将移动体的坐标的信息、填充率的信息输出至可靠性计算部153。

可靠性计算部153是计算前方检测部152a、侧方检测部152b、横穿检测部152c分别检测出的移动体的可靠性的处理部。可靠性计算部153将帧编号、移动体识别编号、检测坐标、可靠性建立对应，并登记到移动体管理表142。

对可靠性计算部153计算由前方检测部152a检测出的移动体的可靠性的处理的一个例子进行说明。可靠性计算部153根据移动体的y坐标的值，将移动体的x坐标的范围的信息换算为实际的移动体的宽度(m)，根据换算出的值来计算移动体的可靠性。这里，移动体的x坐标的范围是图9所示的与x1～x2对应的范围。

对可靠性计算部153根据y坐标的值来换算为实际的移动体的宽度的处理的一个例子进行说明。首先，可靠性计算部153计算移动体与照相机的距离。图14是用于对计算移动体与照相机的距离的处理进行说明的图。

可靠性计算部153取得照相机参数145。照相机参数145包含照相机50的水平视角CH(radian)、照相机50的垂直视角CV(radian)、处理帧的水平分辨率SH(pixel)、处理帧的垂直分辨率SV(pixel)、照相机50的设置高度HGT(m)。

在图14中，50a表示照相机视场，50b表示消失点的位置。另外，51在以距离d处的投影面SV上，与移动体的坐标对应。以下，将移动体的坐标适当地记作检测位置51。图14的θ是将照相机50以及消失点50b连结的直线与将照相机50以及检测位置51连结的直线所成的角度。另外，cy是消失点50b与检测位置51的垂直方向的距离。

这里，由于式(1)成立，所以θ通过式(2)来表示。另外，通过使用θ，距离d能够通过式(3)来表示。

cy/SV＝θ/CV……(1)

θ＝CV×cy/SV……(2)

d＝HGT/tan(θ)……(3)

更具体而言，式(2)能够通过式(4)来表示。在式(4)中，VanY[pixel]表示处理帧上的消失点的y坐标。y[pixel]表示处理帧上的移动体的y坐标。ABS表示绝对值。

θ＝CV[rad]×ABS(VanY[pixel]－y[pixel])/SV[pixel]……(4)

其中，对于移动体和照相机距离，x轴方向的距离通过式(5)来计算。y轴方向的距离是通过式(3)求出的d的值。

x轴方向的距离＝d×tan(CH[rad]/2)×2……(5)

通过上述的式(3)求出的距离d和移动体与照相机的距离对应。

例如，可靠性计算部153在计算出移动体与照相机的距离之后，使用式(6)，根据y坐标来计算实际的移动体的宽度。

实际的移动体的宽度[m]＝d[m]×移动体的x坐标的范围[pixel]/y坐标[pixel]……(6)

可靠性计算部153计算出实际的移动体的宽度(m)与平均的车辆的宽度之差的绝对值。可靠性计算部153以差的绝对值越接近0，则值越接近100，差的绝对值越大，则值越为0的方式，对差的绝对值进行标准化，计算出标准化后的值来作为可靠性。可靠性计算部153按各帧的前方区域F所包含的每个移动体来计算可靠性。

可靠性计算部153按每个帧编号将移动体识别编号、检测坐标以及可靠性建立对应，并登记到移动体管理表142的表142a。可靠性计算部153对各移动体分配唯一的移动体识别编号。检测坐标与移动体的坐标对应。

对可靠性计算部153计算由侧方检测部152b检测出的移动体的可靠性的处理的一个例子进行说明。可靠性计算部153计算由侧方检测部152b检测出的移动体的可靠性的处理与计算由前方检测部152a检测出的移动体的可靠性的处理相同。可靠性计算部153按各帧的侧方区域S所包含的每个移动体计算可靠性。

可靠性计算部153按每个帧编号将移动体识别编号、检测坐标以及可靠性建立对应，并登记到移动体管理表142的表142b。可靠性计算部153对各移动体分配唯一的移动体识别编号。检测坐标与移动体的坐标对应。

对可靠性计算部153计算由横穿检测部152c检测出的移动体的可靠性的处理的一个例子进行说明。例如，可靠性计算部153可以基于填充率，来计算横穿区域C的移动体的可靠性。可靠性计算部153通过填充率越大，则越使可靠性接近100，填充率越小，则越使可靠性接近0，来计算可靠性。

可靠性计算部153按每个帧编号将移动体识别编号、检测坐标以及可靠性建立对应，并登记到移动体管理表142的表142c。可靠性计算部153对各移动体分配唯一的移动体识别编号。检测坐标与移动体的坐标对应

连结部154是将同一移动体按时间序列连结的处理部。连结部154根据移动体管理表142的表142a，将从前方区域F检测出的同一移动体按时间序列连接。连结部154根据表142b，按照时间序列对从侧方区域S检测出的同一移动体进行连结。连结部154根据表142c，将从横穿区域C检测出的同一移动体按时间序列连结。连结部154将分别在前方区域F、侧方区域S、横穿区域C中连结的结果登记到连结管理表143。

对连结部154将从前方区域F检测出的同一移动体按时间序列连结的处理进行说明。连结部154确定以N帧的检测坐标为中心的规定范围的区域Na、与以N+1帧的检测坐标为中心的规定范围的区域Nb重叠的区域Nc。连结部154在区域Nc的大小是阈值以上的情况下，将N帧的移动体和N+1帧的移动体连结。例如，连结部154可以在区域Nc的大小相对于规定范围的区域的比例是50％以上的情况下，进行连结。

除了上述的处理以外，连结部154也可以基于区域内的颜色，来连结各移动体。例如，连结部154在区域Na的颜色和区域Nb的颜色是同色系的颜色的情况下，将N帧的移动体和N+1帧的移动体连结。连结部154从行驶记录信息141的图像数据中取得区域Na、Nb的颜色信息。例如，连结部154在区域内的图像的亮度值是128以上的情况下，判定为区域内的颜色是白色系。连结部154在区域内的图像的亮度值小于128的情况下，判定为区域内的颜色是黑色系。

连结部154针对前方区域F，将连结识别编号和包含连结了的各移动体的各移动体识别编号的移动体识别编号组建立对应，并登记到表143a。

对连结部154按时间序列将从侧方区域S检测出的同一移动体连结的处理进行说明。连结部154按时间序列将侧方区域S的移动体连结的处理也可以与按时间序列将上述的前方区域F的移动体连结的处理相同。

连结部154针对侧方区域S，将连结识别编号和包含连结了的各移动体的各移动体识别编号的移动体识别编号组建立对应，并登记到表143b。

对连结部154按时间序列将从横穿区域C检测出的同一移动体连结的处理进行说明。连结部154按时间序列将横穿区域C的移动体连结的处理也可以与按时间序列将上述的前方区域F的移动体连结的处理相同。其中，与在前方区域F中利用的阈值相比，连结部154基于比该阈值小的阈值来将N帧的移动体和N+1帧的移动体连结。例如，连结部154可以在区域Nc的大小相对于规定范围的区域的比例是10％以上的情况下，进行连结。这是因为，由于在横穿区域C检测的移动体的移动量较大，所以在连续的帧间，区域重叠的大小有变小的趋势。

连结部154针对横穿区域C，将连结识别编号和包含连结了的各移动体的各移动体识别编号的移动体识别编号组建立对应，并登记到表143c。

连结部154在各帧的移动体中，优先将可靠性为阈值以上的移动体彼此连结。但是，也可能存在移动体的可靠性暂时变低的情况。因此，存在连结部154不能将可靠性为阈值以上的移动体彼此连结的情况。在这样的情况下，连结部154可以使可靠性小于阈值的移动体包含于连结候补，来将各移动体连结。

连结部154也可以确定可靠性最大的移动体，以确定出的可靠性最大的移动体为起点，来连结各帧的移动体。

统合部155是对连结管理表143的表143a、143b、143c的移动体进行统合，从而生成统合结果表144的处理部。图15以及图16是用于对统合部的处理的一个例子进行说明的图。在图15中，车辆60是搭载有行驶记录仪的本车辆。车辆65是与移动体对应的其他车辆。图15的横轴是时间轴。

在图15中，作为一个例子，对在期间T1中侧方检测部152b检测出移动体65，在期间T3中横穿检测部152c检测出移动体65，在期间T6中前方检测部152a检测出移动体65的情况进行说明。这里，在期间T2中，存在侧方检测部152b以及横穿检测部152c检测出同一移动体65的可能性。另外，在期间T4中，存在横穿检测部152c以及前方检测部152a检测出同一移动体65的可能性。

统合部155在期间T2中，判定侧方检测部152b以及横穿检测部152c是否检测出同一移动体65。另外，统合部155在期间T4中，判定横穿检测部152c以及前方检测部152a是否检测出同一移动体65。在T2、T4中检测出同一移动体65的情况下，统合部155对在期间T1、T3、T6中检测出的各移动体的组进行统合，分类为同一组。统合部155将统合结果登录到统合结果表144。

对统合部155在期间T2中判定侧方检测部152b以及横穿检测部152c是否检测出同一移动体65的处理进行说明。

统合部155求出以在期间T2中侧方检测部152b检测出的移动体的检测坐标为中心的规定范围的区域Ma、和以在期间T2中横穿检测部152c检测出的移动体的检测坐标为中心的规定范围的区域Mb。统合部155根据移动体管理表142以及连结管理表143，来求出区域Ma、Mb。

统合部155确定区域Ma与区域Mb重叠的区域Mc。统合部155在区域Mc的大小是阈值以上的情况下，对在期间T1中侧方检测部152b检测出的各移动体的组、和在期间T3中横穿检测部152c检测出的各移动体的组进行统合。

除了上述处理以外，统合部155也可以基于区域内的颜色，来对各移动体的组与各移动体的组进行统合。例如，统合部155在区域Ma的颜色和区域Mb的颜色是同色系的情况下，对在期间T1中侧方检测部152b检测出的各移动体的组、和在期间T3中横穿检测部152c检测出的各移动体的组进行统合。判定是否是同色系的处理的说明与在连结部154中说明的判定是否是同色系的处理的说明相同。

接着，对统合部155判定在期间T4中横穿检测部152c以及前方检测部152a是否检测到同一移动体65的处理进行说明。

统合部155求出以在期间T4中横穿检测部152c检测出的移动体的检测坐标为中心的规定范围的区域La、和以在期间T4中前方检测部152a检测出的移动体的检测坐标为中心的规定范围的区域Lb。统合部155根据移动体管理表142以及连结管理表143，来求出区域La、Lb。

统合部155确定区域La和区域Lb重叠的区域Lc。统合部155在区域Lc的大小是阈值以上的情况下，对在期间T3中横穿检测部152c检测出的各移动体的组、和在期间T6中前方检测部152a检测出的各移动体的组进行统合。

除了上述处理以外，统合部155也可以基于区域内的颜色，来对各移动体的组、和各移动体的组进行统合。例如，统合部155在区域La的颜色与区域Lb的颜色是同色系的情况下，对在期间T3中侧方检测部152b检测出的各移动体的组、和在期间T6中横穿检测部152c检测出的各移动体的组进行统合。判定是否是同色系的处理的说明与在连结部154中说明的判定是否是同色系的处理的说明相同。

统合部155通过执行使用图15说明了的处理，来对在各期间T1、T3、T6中检测出的移动体的组进行统合，并将信息登记到统合结果表144。统合部155将唯一的统合识别编号分配给统合后的各移动体识别编号。

对图16进行说明。在图16中，作为一个例子，对在期间T7中前方检测部152a检测出移动体65，在期间T9中横穿检测部152c检测出移动体65，在期间T11中前方检测部152a检测出移动体65的情况进行说明。例如，由于存在若移动体65过于接近车辆60，则通过前方检测部152a无法检测移动体65的情况，所以能够利用横穿检测部152c的移动体的检测结果，来补偿前方检测部152a不能检测的期间。

统合部155判定在期间T8中前方检测部152a以及横穿检测部152c是否检测到同一移动体65。另外，统合部155判定在期间T10中前方检测部152a以及横穿检测部152c是否检测到同一移动体65。

对统合部155判定在期间T8中前方检测部152a以及横穿检测部152c是否检测到同一移动体65的处理进行说明。

统合部155求出以在期间T8中前方检测部152a检测到的移动体的检测坐标为中心的规定范围的区域Ka、和以在期间T8中横穿检测部152c检测出的移动体的检测坐标为中心的规定范围的区域Kb。统合部155根据移动体管理表142以及连结管理表143，来求出区域Ka、Kb。

统合部155确定区域Ka和区域Kb重叠的区域Kc。统合部155在区域Kc的大小是阈值以上的情况下，对在期间T8中前方检测部152a检测出的各移动体的组、和在期间T8中横穿检测部152c检测出的各移动体的组进行统合。其中，统合部155在区域Ka和区域Kb是同色系的颜色的情况下，对各移动体的组进行统合的部件。

对统合部155判定在期间T10中横穿检测部152c以及前方检测部152a是否检测到同一移动体65的处理进行说明。求出以在期间T10中横穿检测部152c检测到的移动体的检测坐标为中心的规定范围的区域Ja、和以在期间T10中前方检测部152a检测到的移动体的检测坐标为中心的规定范围的区域Jb。统合部155根据移动体管理表142以及连结管理表143，来求出区域Ja、Jb。

统合部155确定区域Ja和区域Jb重叠的区域Jc。统合部155在区域Jc的大小是阈值以上的情况下，对在期间T10中横穿检测部152c检测到的各移动体的组、和在期间T10中前方检测部152a检测到的各移动体的组进行统合。其中，统合部155在区域Ja与区域Jb是同色系的颜色的情况下，对各移动体的组进行统合。

统合部155通过执行使用图16说明了的处理，来对在各期间T7、T9、T11中检测到的移动体的组进行统合，并将信息登记到统合结果表144。统合部155将唯一的统合识别编号分配给结合后的各移动体识别编号。

图17是统合处理的影像图。各步骤S所包含的20与上述的检测区域对应。在步骤S10中，侧方检测部152b检测移动体70a。在步骤S11中，侧方检测部152b以及横穿检测部152c检测移动体70a。在步骤S12中，横穿检测部152c检测移动体70a。

在步骤S13中，横穿检测部152c检测移动体70a。在步骤S14中，横穿检测部152c检测移动体70a。在步骤S15中，前方检测部152a以及横穿检测部152c检测移动体70a。

例如，将在图17的步骤S11、S12、S15中检测出的移动体的可靠性设为阈值以上，将在步骤S10、S13、S14中检测出的移动体的可靠性设为小于阈值。即使将在步骤S10、S13、S14中检测出的移动体70a的可靠性设为小于阈值，在图17的步骤S11、S12、S15中检测出的移动体70a的可靠性较高的情况下，统合部155也将步骤S10～S15的移动体70a连结。

分类部156是根据统合结果表144以及移动体管理表，将检测出的移动体的移动分类为前方、横穿、侧方的处理部。以下，对分类部156的处理具体进行说明。

分类部156使用在可靠性计算部153的处理中说明的式(3)、式(5)，按统合结果表144的每个统合识别编号计算出移动体的x方向的距离、y方向的距离。该x方向的距离以及y方向的距离是以搭载有行驶记录仪的本车辆为原点的情况下的距离。

分类部156将在本车辆的前方行驶规定期间的移动体分类为“前方”。例如，在规定期间中，当x方向的距离小于阈值Fx、且y方向的距离小于阈值Fy时，分类部156将与统合识别编号建立对应的移动体分类为“前方”。

图18是表示被分类为前方的移动体的一个例子的图。如图18所示，在步骤S20、S21、S22、S23、S24中，移动体71从检测区域20附近几乎不移动。对于进行这样的活动的移动体71而言，x方向的距离小于阈值Fx，并且，y方向的距离小于阈值Fy。因此，分类部156将移动体71分类为“前方”。

分类部156将从右向左或者从左向右在本车辆的前方行驶的移动体分类为“横穿”。例如，在x方向的移动距离为阈值Cx以上的情况下，分类部156将与统合识别编号建立对应的移动体分类为“横穿”。

图19是表示被分类为横穿的移动体的一个例子的图。如图19所示，在步骤S30、S31、S32、S33中移动体72在本车辆60的横向移动，在步骤S31、S32中，检测到移动体72。对于进行这样的活动的移动体72而言，x方向的距离为阈值Cx以上。因此，分类部156将移动体72分类为“横穿”。

分类部156将在本车辆的侧方行驶的移动体、或者从本车辆的侧方向前方移动的移动体分类为“侧方”。例如，在规定期间中，当保持了x方向的距离为阈值Sx以上的状态时，分类部156将与统合识别编号建立对应的移动体分类为“侧方”。另外，在规定期间中，当x方向的处理成为为阈值Sx以上的状态后，分类部156将y方向的距离为阈值Sy的移动体分类为“侧方”。

图20以及图21是表示被分类为侧方的移动体的一个例子的图。如图20所示，在步骤S40、S41、S42中检测出移动体73，从检测区域20的横侧起几乎不移动。对于这样的移动体73而言，保持x方向的距离为阈值Sx以上的状态。因此，分类部156将移动体73分类为“侧方”。

如图21所示，在步骤S50、S51、S52、S53、S54中检测出移动体74，在检测区域20的横侧细微移动。对于这样的移动体74而言，保持x方向的距离为阈值Sx以上的状态。因此，分类部156将移动体74分类为“侧方”。

分类部156将统合识别编号与分类结果建立了对应的信息输出至评价部157。而且，将上述的x方向的阈值的大小关系设为阈值Cx＞阈值Sx＞阈值Fx。将y方向的阈值的大小关系设为阈值Sy＞阈值Fy。

评价部157是根据分类部156的分类结果，对险情的原因进行评价的处理部。评价部157将评价结果输出至显示部130。

例如，在由统合识别编号确定的移动体被分类为“前方”的情况下，评价部157将因该移动体引起的险情的原因评价为“取决于人”。例如，可以说移动体被分类为前方的情况是在驾驶员因未注意前方而踩下紧急制动器的情况下，被行驶记录仪拍摄的移动体。

与此相对，在通过统合识别编号确定的移动体被分类为“横穿”或者“侧方”的情况下，评价部157将因该移动体引起的险情的原因评价为“取决于位置”。例如，可以说移动体被分类为横穿或者侧方的情况是驾驶员的发现慢、具有突然出现的危险场所。

接下来，对本实施例2涉及的图像处理装置100的处理步骤进行说明。图22是表示本实施例2涉及的图像处理装置的处理步骤的流程图。如图22所示，图像处理装置100从图像中检测本车道(步骤S101)。

图像处理装置100执行前方检测处理(步骤S102)。前方检测处理对应于从前方区域F检测移动体的处理。图像处理装置100执行侧方检测处理(步骤S103)。侧方检测处理对应于从侧方区域S检测移动体的处理。图像处理装置100执行横穿检测处理(步骤S104)。图像处理装置100也可以并列执行步骤S102、S103、S104各处理。

图像处理装置100执行前方连结处理(步骤S105)。前方连结处理对应于将从前方区域F检测出的各移动体连结的处理。图像处理装置100执行侧方连结处理(步骤S106)。侧方连结处理对应于将从侧方区域S检测出的各移动体连结的处理。图像处理装置100执行横穿连结处理(步骤S107)。横穿连结处理对应于将从横穿区域C检测出的各移动体连结的处理。图像处理装置100也可以并列执行步骤S105、S106、S107各处理。

图像处理装置100执行统合处理(步骤S108)。统合处理是对在前方区域F、侧方区域S、横穿区域C连结了的移动体的信息进行统合的处理。图像处理装置100对移动体的活动进行分类(步骤S109)，并对各移动体进行评价(步骤S110)。

接下来，对步骤S105、S106、S107所示的连结处理的处理步骤的一个例子进行说明。图23是表示连结处理的处理步骤的流程图。如图23所示，图像处理装置100检测可靠性为阈值以上的移动体(步骤S201)。例如，将检测出的移动体的帧设为T。

图像处理装置100将T的值设定为t1，将t1－1的值设定为t2(步骤S202)。图像处理装置100判定在t2帧中是否存在移动体(步骤S203)。在存在移动体的情况下(步骤S203，是)，图像处理装置100将t1帧和t2帧进行比较(步骤S204)，判定是否存在连接对象(步骤S205)。在不存在连接对象的情况下(步骤S205，否)，图像处理装置100移至步骤S208。

另一方面，在存在连接对象的情况下(步骤S205，是)，图像处理装置100将t1帧的移动体和t2帧的移动体连接(步骤S206)。图像处理装置100将t2的值设定为t1，将t1－1的值设定为t2(步骤S207)，并移至步骤S203。

在步骤S203中，当在t2帧中不存在移动体时(步骤S203，否)，移至步骤S208。图像处理装置100将T的值设定为t1，将t1+1的值设定为t2(步骤S208)。

图像处理装置100判定在t2帧中是否存在移动体(步骤S209)。在存在移动体的情况下(步骤S209，是)，图像处理装置100将t1帧和t2帧进行比较(步骤S210)，判定是否存在连接对象(步骤S211)。在t2帧中不存在移动体的情况下(步骤S209，否)，图像处理装置100移至步骤S213。

另一方面，在t2帧中存在移动体的情况下(步骤S209，是)，图像处理装置100将t1帧和t2帧进行比较(步骤S210)，判定是否存在连接对象(步骤S211)。在不存在连接对象的情况下(步骤S211，否)，图像处理装置100移至步骤S213。

另一方面，在存在连接对象的情况下(步骤S211，是)，图像处理装置100将t2的值设定为t1，将t1－1的值设定为t2(步骤S212)，然后移至步骤S209。

图像处理装置100判定在处理对象的移动体中是否存在未处理的移动体(步骤S213)。在处理对象的移动体中存在未处理的移动体的情况下(步骤S213，是)，图像处理装置100移至步骤S201。另一方面，在处理对象的移动体中不存在未处理的移动体的情况下(步骤S213，否)，图像处理装置100结束连结处理。

接下来，对步骤S108所示的统合处理的处理步骤进行说明。图24是表示统合处理的处理步骤的流程图。如图24所示，图像处理装置100提取可靠性为阈值以上的连结物体(步骤S301)。在步骤S301中，连结物体表示已连结的各移动体的组。图像处理装置100提取连结物体所包含的移动体的可靠性中的任意一个为阈值以上的连结物体。在步骤S301中，作为一个例子，图像处理装置100提取了在tS帧～tE帧中连结了的连结物体。tS是连结物体的开始帧，tE是连结物体的结束帧。

图像处理装置100在tS～tS+δ的帧中，在其他处理范围中检索连结对象的连结物体(步骤S302)。在步骤S302中，当在之前的步骤S301中选择出的连结物体的检测源是前方区域F时，其他处理范围为侧方区域S或者横穿区域C。当在之前的步骤S301中选择出的连结物体的检测源是侧方区域S时，其他处理范围为前方区域F或者横穿区域C。当在之前的步骤S301中选择出的连结物体的检测源是横穿区域C时，其他处理范围为前方区域F或者侧方区域S。

图像处理装置100判定是否存在连结物体(步骤S303)。在存在连结物体的情况下(步骤S303，是)，图像处理装置100移至步骤S306。

另一方面，在不存在连结物体的情况下(步骤S303，否)，图像处理装置100在tS－1帧判定在其他处理范围内是否存在连结物体或者移动体(步骤S304)。在存在连结物体或者移动体的情况下(步骤S305，是)，图像处理装置100移至步骤S306。另一方面，在不存在连结物体或者移动体的情况下(步骤S305，否)，图像处理装置100移至步骤S307。

图像处理装置100将移动体连结，并更新tS、tE(步骤S306)。例如，在图15的期间T1的各帧的移动体与期间T3的各帧的移动体连结了的情况下，图像处理装置100将tS帧更新为期间T1的开始帧，将tE帧更新为期间T3的结束帧。在执行了步骤S306的处理后，图像处理装置100移至步骤S302。

图像处理装置100在tS～tS－δ的帧中，在其他处理范围检索连结对象的连结物体(步骤S307)。图像处理装置100判定是否存在连结物体(步骤S308)。

在存在连结物体的情况下(步骤S308，是)，图像处理装置100移至步骤S311。另一方面，在不存在连结物体的情况下(步骤S308，否)，图像处理装置100在tE+1帧中，在其他处理范围检索是否存在连结物体或者移动体(步骤S309)。

图像处理装置100判定是否存在连结物体或者移动体(步骤S310)。在存在连结物体的情况下(步骤S310，是)，图像处理装置100将移动体连结，并更新tS、tE(步骤S311)，然后移至步骤S308。

在不存在连结物体的情况下(步骤S310，否)，图像处理装置100判定在处理对象的移动体中是否存在未处理的移动体(步骤S312)。在处理对象的移动体中存在未处理的移动体的情况下(步骤S312，是)，图像处理装置100移至步骤S301。另一方面，在处理对象的移动体中不存在未处理的移动体的情况下(步骤S312，否)，图像处理装置100结束统合处理。

接下来，对本实施例2涉及的图像处理装置100的效果进行说明。例如，若图像处理装置100对行驶记录仪所记录的图像数据执行处理，则处理对象区域所包含的图像的大半是路面。当在该路面上存在移动体时，在移动体的图像与路面的图像之间产生亮度差。因此，例如通过检测x轴方向的每个坐标的亮度值的相加值等同的图像的区域，能够高精度地检测移动体。

另外，图像处理装置100如在图10中说明那样，对于纵向的亮度投影值，在亮度值的相加值等同的范围与侧方区域S的外侧相接的情况下，将该范围从移动体的范围排除。例如，若是在侧方区域S有对象车的状态，则检测出的移动体的区域大多不会出现在与侧方区域S的外接相接的位置。因此，通过执行上述的处理，能够防止将噪声错误地检测为移动体。

另外，图像处理装置100设置前方区域F、侧方区域S、横穿区域C，针对各个区域，前方检测部152a、侧方检测部152b、横穿检测部152c进行移动体的检测。而且，图像处理装置100判定在各区域F、S、C中检测出的移动体的坐标的变化和时间变化。因此，能够从前方区域F、侧方区域S、横穿区域C预先检测多个移动体的候补，之后判断各个检测出的候补是否是同一移动体，来判定移动体的活动。例如，有时通过横穿区域C能够检测在前方区域F、侧方区域S中不能检测的移动体，能够从各区域F、S、C连续地检测出移动体。

另外，图像处理装置100确定可靠性最大的移动体，以确定出的可靠性最大的移动体为起点，将各帧的移动体连结。一般在前方区域F中检测出的移动体的可靠性最大的情况较多。因此，能够在前方区域F确定移动体，并确定与确定出的前方区域F的移动体具有重叠的横穿区域C的移动体。另外，能够确定与确定出的横穿区域C的移动体具有重叠的侧方区域S的移动体。因此，能够准确地追踪从侧方区域S至前方区域F的移动体的活动，例如能够将险情的原因评价为突然出现。

另外，图像处理装置100根据本车辆是否停止，来调整横穿区域的大小。例如，如在图8中说明那样，在速度不是0的情况下，成为横穿区域C。在速度是0的情况下，成为比横穿区域C大的横穿区域Ca。若在本车辆有速度时，横穿检测部152c通过差分处理来尝试移动体检测，则固定物也被检测为差分的噪声增多。因此，通过在本车辆有速度时缩窄横穿区域，能够减少可能被检测的噪声的量。

在上述的实施例2中说明的图像处理装置100的处理是一个例子，也可以执行其他的处理。以下，对图像处理装置100执行的其他处理进行说明。

对侧方检测部152b的其他处理进行说明。例如，侧方检测部152b在从侧方区域S检测移动体时，也可以依次执行夜间判定处理、高亮度区域检测处理、移动体检测处理，来检测移动体。

对侧方检测部152b执行的夜间判定处理进行说明。侧方检测部152b参照行驶记录信息，对图像数据的规定的区域计算平均亮度。例如，侧方检测部152b在比消失点靠上方设定区域，来计算平均亮度。侧方检测部152b在平均亮度小于规定的亮度的情况下，将该图像数据判定为是夜间的图像数据。侧方检测部152b对各帧的图像数据执行相同的处理，从行驶记录信息141中提取夜间的图像数据的各帧。此外，侧方检测部152b也可以利用时间，来判定夜间的图像数据。

对侧方检测部152b执行的高亮度区域检测处理进行说明。侧方检测部152b在夜间的图像数据的侧方区域S中检测成为规定的亮度以上的高亮度区域。侧方检测部152b在高亮度区域的面积比规定的面积大的情况下，将该高亮度区域作为移动体候补来检测。侧方检测部152b对夜间的各图像数据执行相同的处理，从各图像数据中检测移动体候补区域。

对侧方检测部152b执行的移动体检测处理进行说明。侧方检测部152b将从各图像数据检测出的移动体候补区域连结。例如，侧方检测部152b将从前后的图像数据检测出的移动体候补区域进行比较，在重复的区域的大小是阈值以上的情况下，将各移动体候补区域连结。

侧方检测部152b根据连结后的各移动体候补区域的坐标、和照相机参数145，来计算移动体候补区域的x方向的距离的变化以及y方向的距离的变化。例如，侧方检测部152b根据上述的式(3)、式(5)，来计算移动体候补区域的x方向的距离的变化以及y方向的距离的变化。

侧方检测部152b在x方向的距离向负方向变化的情况、y方向的距离向正方向变化的情况下，将移动体候补区域检测为移动体。与此相对，可认为向x方向单调增加且向y方向单调减少的移动体候补是静止物体。因此，侧方检测部152b不将向x方向单调增加且向y方向单调减少的移动体候补检测为移动体。

图25是用于对侧方检测部的其他处理进行说明的图。如图25所示，在步骤S61、S62、S63、S64、S65中检测出移动体候补区域75。各移动体候补区域75在各帧中连结完毕。在图25所示的例子中，移动体候补区域75接近本车辆，x方向的距离向负方向变化。在这样的情况下，侧方检测部152b将移动体候补区域75检测为移动体。

这样，通过侧方检测部152b根据高亮度区域的块、和高亮度区域的块的活动来检测移动体，即使图像数据的画质粗糙，也能够高精度地检测移动体。

对可靠性计算部153的其他处理进行说明。可靠性计算部153也可以针对前方检测部152a或者侧方检测部152b检测出的移动体的可靠性，根据移动体的亮度值与规定的亮度值之差来计算可靠性。例如，可靠性计算部153计算在图9中说明了的亮度投影值30a的平均亮度与移动体的亮度值之差的绝对值。可靠性计算部153以差的绝对值越远离0则越使可靠性接近100，差的绝对值越接近0则越使可靠性接近0的方式，对差的绝对值进行标准化，计算出标准化后的值作为可靠性。

例如，若是在本车道上有前方车辆的状态，则在前方区域F的两端、和中央加上了亮度而得到的值应该产生差值。若利用该特性，则能够提高检测出存在于前方区域F的车辆的情况下的可靠性。

例如，若设想存在于前方区域F的T字路被误检测为移动体的情况，则在前方区域F的两端和中央加上了亮度而得到的值不会产生差值。若利用该特性，则能够降低被误检测的移动体的可靠性。

另外，可靠性计算部153也可以基于移动体的坐标来计算前方检测部152a或者侧方检测部152b检测出的移动体的可靠性。例如，计算从前方区域F检测出的移动体的坐标与前方区域F的规定的坐标的距离。例如，将规定的坐标作为前方区域F的中心坐标。可靠性计算部153以距离越接近0则越使可靠性接近100，距离越远离0则越使可靠性接近0的方式，进行标准化，计算出标准化后的值来作为可靠性。通过执行这样的处理，在前方区域、侧方区域的角落可能被检测的噪声检测为移动体的情况下，能够将该移动体的可靠性设定得较低。

对分类部156以及评价部157的其他处理进行说明。分类部156将检测出的移动体的活动分类为“前方”、“横穿”、“侧方”，但也可以在移动体的活动与“前方”、“横穿”、“侧方”的任一条件都不一致的情况下，将移动体分类为“不相关”。评价部157在移动体被分类为“不相关”的情况下，将该移动体评价为不是险情的原因。

另外，在移动体被分类为“侧方”或者“横穿”的情况下，评价部157也可以将该移动体的检测位置作为险情的发生位置，记录于地图数据。评价部157也可以进一步与险情的发生位置建立对应地与时刻、天气、季节等一并记录于地图数据。在移动体被分类为“侧方”或者“横穿”的情况下，是不取决于人的场所特有的险情。

图像处理装置100除了图2所示的处理部以外，还可以设置排除部。例如，排除部根据移动体管理表142的可靠性，将可靠性小于规定的可靠性的记录从移动体管理表142中删除。或者，排除部也可以对可靠性小于规定的可靠性的记录赋予排除标志，以能够与其他的记录相区别的方式进行记录。通过设置排除部，能够排除像噪声那样的移动体。

上述的前方检测部152a、侧方检测部152b是计算部以及检测部的一个例子。上述的横穿检测部152c是变化区域检测部的一个例子。上述可靠性计算部153是可靠性计算部的一个例子。上述连结部154、统合部155是判定部、连结部的一个例子。

接下来，对执行实现与上述的实施例所示的图像处理装置相同的功能的图像处理程序的计算机的一个例子进行说明。图26是表示执行图像处理程序的计算机的一个例子的图。

如图26所示，计算机300具有执行各种运算处理的CPU301、受理来自用户的数据的输入的输入装置302、以及显示器303。另外，计算机300具有从存储介质读取程序等的读取装置304、和经由网络与其他计算机之间进行数据的收受的接口装置305。另外，计算机300具有暂时存储各种信息的RAM306、和硬盘装置307。而且，各装置301～307与总线308连接。

硬盘装置307例如具有计算程序307a、检测程序307b、变化区域检测程序307c、可靠性计算程序307d、连结程序307e、判定程序307f、排除程序307g。CPU301读出各程序307a～307g并在RAM306中展开。

计算程序307a作为计算工序306a发挥作用。检测程序307b作为检测工序306b发挥作用。变化区域检测程序307c作为变化区域检测工序306c发挥作用。可靠性计算程序307d作为可靠性计算工序306d发挥作用。连结程序307e作为连结工序306e发挥作用。判定程序307f作为判定工序306f发挥作用。排除程序307g作为排除工序306g发挥作用。

例如，计算工序306a以及检测工序306b对应于前方检测部152a、侧方检测部152b等。变化区域检测工序306c对应于横穿检测部152c等。可靠性计算工序306d对应于可靠性计算部153等。连结工序306e对应于连结部154、统合部155等。判定工序306f对应于连结部154、统合部155等。排除工序306g对应于上述的排除部等。

此外，各程序307a～307g也可以不必从最初就存储于硬盘装置307。例如，预先将各程序存储到被插入计算机300的软盘(FD)、CD－ROM、DVD光盘、光磁盘、IC卡等“便携式物理介质”。而且，计算机300可以从这些中读出各程序307a～307g来执行。

符号说明

10…图像处理装置；11…计算部；12…检测部。

Claims (8)

1.一种图像处理装置，其特征在于，具有：

计算部，将图像的处理对象区域所包含的某一方向的多个坐标值的亮度值相加，来计算所述某一方向的每个坐标值的亮度值的相加值；检测部，根据所述计算部的计算结果，来检测通过与所述某一方向的每个坐标值的亮度值的相加值的平均值的比较而相加值为平均值以上且所述某一方向的每个坐标值的亮度值的相加值相等的图像的区域；以及

第一可靠性计算部，生成连结了各图像的平均图像与图像的差分图像的区域中的像素值超过阈值的区域的连结区域，计算出所述连结区域的面积相对于所述检测部检测出的区域所包含的连结区域的外接矩形的面积的比例作为所述检测部检测出的区域的可靠性。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述计算部将所述处理对象区域所包含的与所述某一方向不同的其他方向的多个坐标值的亮度值相加，来进一步计算出所述其他方向的每个坐标值的亮度值的相加值，所述检测部根据所述计算结果，来检测所述某一方向的每个坐标值的亮度值的相加值为规定值以上的区域、或者所述其他方向的亮度值的相加值为规定值以上的区域。

3.根据权利要求1所述的图像处理装置，其特征在于，还具有：

第二可靠性计算部，基于所述检测部检测出的区域的大小或者坐标或者区域的内侧与外侧的亮度差，来计算所述区域的可靠性；以及

排除部，基于由所述第一可靠性计算部计算出的可靠性或者由所述第二可靠性计算部计算出的可靠性，来排除所述区域。

4.根据权利要求1或者3所述的图像处理装置，其特征在于，还具有：

变化区域检测部，以一部分区域与所述图像的处理对象区域重复的其他处理对象区域为对象，在多个帧间生成差分图像，并根据所述差分图像来检测发生变化的区域；以及

判定部，根据由所述检测部检测出的区域、和由所述变化区域检测部检测出的区域，来判定由所述检测部检测出的区域以及由所述变化区域检测部检测出的区域的坐标的变化和时间变化。

5.根据权利要求4所述的图像处理装置，其特征在于，

还具有连结部，该连结部 根据从所述处理对象区域检测出的区域或者从所述其他处理对象区域检测出的区域的可靠性，来确定可靠性最大的区域，以确定出的可靠性最大的区域为起点，在各帧中将由所述检测部检测的区域或者由所述变化区域检测部检测的区域连结。

6.根据权利要求4所述的图像处理装置，其特征在于，

所述变化区域检测部根据图像拍摄时的速度，来调整所述其他处理对象区域的范围。

7.一种图像处理方法，是计算机所执行的图像处理方法，其特征在于，执行下述各处理：

将图像的处理对象区域所包含的某一方向的多个坐标值的亮度值相加，来计算所述某一方向的每个坐标值的亮度值的相加值，

根据计算结果，检测通过与所述某一方向的每个坐标值的亮度值的相加值的平均值的比较而相加值为平均值以上且所述某一方向的每个坐标值的亮度值的相加值相等的图像的区域，

生成连结了各图像的平均图像与图像的差分图像的区域中的像素值超过阈值的区域的连结区域，计算出所述连结区域的面积相对于检测出的区域所包含的连结区域的外接矩形的面积的比例作为检测出的区域的可靠性。

8.一种图像处理装置，其特征在于，具有：

计算部，按图像的处理对象区域所包含的水平方向的每个坐标值，将相同的坐标值的亮度值相加，来计算所述水平方向的每个坐标值的亮度值的相加值，并按所述处理对象区域所包含的垂直方向的亮度值的每个坐标值，将相同的坐标值的亮度值相加，来计算所述垂直方向的每个坐标值的亮度值的相加值；以及

确定部，根据所述计算部的计算结果，来确定所述水平方向的每个坐标值的亮度值的相加值为阈值以上的范围，确定所述垂直方向的坐标值中的亮度值的相加值为最低的坐标值，确定所述阈值以上的范围的所述水平方向的中点的坐标和所述最低的所述垂直方向的坐标值的组，作为移动体的坐标。