CN104584092B - 图像处理装置及图像处理方法 - Google Patents

Abstract

本实施例所涉及的图像处理装置(10)具有确定部(11)、检测部(12)、以及判定部(13)。本实施例所涉及的图像处理装置(10)确定照相机在夜间拍摄到的视频数据，并根据确定出的图像数据的帧来检测高亮度区域。图像处理装置(10)基于视频数据是在转弯行驶中拍摄到的视频数据还是在直线行驶中拍摄到的视频数据，来切换高亮度区域是否为检测对象的判定内容并进行判定。

Description

图像处理装置及图像处理方法

技术领域

本发明涉及图像处理装置等。

背景技术

若能够将驾驶中马上要与过路者接触等潜在事故，即、驾驶员惊慌、吃惊那样的事态容易产生的位置的信息通知给驾驶员，则能够防止事故的产生。为了确定潜在事故容易产生的位置的信息，能够利用行车记录仪所记录的数据。例如，在行车记录仪记录有车辆的位置、拍摄日期时间、车辆的加速度、车辆的速度、车辆前方的影像等。

这里，若仅利用行车记录仪所记录的车辆的加速度等数值数据试验潜在事故的检测，则存在将本来不为潜在事故的事态误检测为潜在事故的情况。这是因为，在车辆行驶中，由于道路的起伏等，存在即使与潜在事故无关，加速度也急剧地变化的情况。

为了防止上述那样的潜在事故的误检测，期望根据与加速度一起记录的车辆前方的影像来解析是否为潜在事故。

作为潜在事故的产生原因，能够列举本车道内存在的过路者、自行车等检测对象的存在。特别是，在视野较差的夜间产生潜在事故的情况较多。因此，通过根据在夜间拍摄到的图像判定是否存在检测对象，能够判定潜在事故的原因是否存在于影像内，进而能够解析是否为潜在事故。

行车记录仪所使用的照相机是可见光照相机。由可见光照相机在夜间拍摄到的图像受到车辆的前照灯的影响较大。例如，在车辆的行驶前方存在检测对象，且前照灯照射该检测对象的情况下，检测对象的反射光较大。因此，在现有技术中，能够将在夜间拍摄到的图像的高亮度区域确定为检测对象。

专利文献1：日本特开2010－205087号公报

然而，在上述的现有技术中，存在不能够正确地对检测对象进行检测这样的问题。

例如，在本车辆转弯的期间，有在转弯的角存在电线杆、自动售货机等的情况。不符合检测对象的电线杆、自动售货机也被前照灯照射的情况下，反射光变大，并在图像中作为高亮度区域出现。因此，难以区别是真正的检测对象和即使为高亮度区域也不是真正的检测对象的物体。

发明内容

在一个方面，本发明是鉴于上述而完成的，目的在于提供能够正确地对检测对象进行检测的图像处理装置及图像处理方法。

在第1方案中，图像处理装置具有检测部以及确定部。检测部检测视频数据所包含的各帧间像素值变化的区域。确定部基于相对于检测部检测出的上述区域的外接矩形的上述区域的填充率，来确定包含检测对象的帧。

根据本发明的一实施方式，起到能够正确地对检测对象进行检测这样的效果。

附图说明

图1是表示本实施例1所涉及的图像处理装置的构成的功能框图。

图2是表示本实施例2所涉及的图像处理装置的构成的功能框图。

图3是表示行车记录仪信息的数据结构的一个例子的图。

图4是表示成为夜间判定部的处理对象的规定区域的一个例子的图。

图5是用于说明检测部的处理的图(1)。

图6是用于说明检测部的处理的图(2)。

图7是用于说明判定部的处理的一个例子的图。

图8是表示距离的推移以固定的比例变化的照相机与高亮度区域的距离的关系的图。

图9是表示距离的推移不以固定的比例变化的照相机与高亮度区域的距离的关系的图。

图10是用于说明计算高亮度区域与照相机的距离的处理的图。

图11是表示本实施例2所涉及的图像处理装置的处理顺序的流程图。

图12是表示执行图像处理程序的计算机的一个例子的图。

具体实施方式

以下，基于附图对本发明所涉及的图像处理装置、图像处理方法以及图像处理程序的实施例进行详细的说明。此外，并不由该实施例对该发明进行限定。

实施例1

对本实施例1所涉及的图像处理装置的构成进行说明。图1是表示本实施例1所涉及的图像处理装置的构成的功能框图。如图1所示，该图像处理装置10具有确定部11、检测部12、以及判定部13。

确定部11确定照相机在夜间所拍摄到的视频数据。

检测部12根据确定部11所确定出的视频数据的帧来检测高亮度区域。

判定部13基于视频数据是转弯行驶中拍摄到的视频数据还是直线行驶中拍摄到的视频数据，来切换高亮度区域是否为检测对象的判定内容并进行判定。

对本实施例1所涉及的图像处理装置10的效果进行说明。图像处理装置10确定照相机在夜间所拍摄到的视频数据，并根据确定出的图像数据的帧检测高亮度区域。图像处理装置10基于视频数据是转弯行驶中拍摄到的视频数据还是直线行驶中拍摄到的视频数据，来切换高亮度区域是否为检测对象的判定内容并进行判定。例如，若将本车道内作为检测区域，则在转弯行驶中静止物进入检测区域，从而作为高亮度区域检测静止物。与此相对，在本车辆直线行驶中的情况下，静止物不会进入检测区域。因此，通过分为转弯行驶中的情况和直线行驶中的情况，切换高亮度区域是否为检测对象的判定内容，从而能够进行符合两者的检测，能够正确地对检测对象进行检测。

实施例2

对本实施例2所涉及的图像处理装置的构成进行说明。图2是表示本实施例2所涉及的图像处理装置的构成的功能框图。如图2所示，图像处理装置100具有通信部110、输入部120、显示部130、存储部140、以及控制部150。

通信部110是经由网络而与其他的装置执行数据通信的处理部。例如，通信部110与通信装置等对应。

输入部120是将各种数据输入到图像处理装置100的输入装置。例如，输入部120与键盘、鼠标、触摸面板等对应。显示部130是显示从控制部150输出的数据的显示装置。例如，显示部130与液晶显示器、触摸面板等对应。

存储部140是存储行车记录仪信息141、候选列表142、以及照相机参数143的存储部。存储部140例如与RAM(Random Access Memory：随机存取存储器)、ROM(Read OnlyMemory：只读存储器)、闪存(Flash Memory)等半导体存储元件等存储装置对应。

行车记录仪信息141包含由行车记录仪记录的各种数据。图3是表示行车记录仪信息的数据结构的一个例子的图。如图3所示，该行车记录仪信息141将帧编号、日期时间、速度、加速度、位置坐标、以及图像建立对应而存储。帧编号是唯一地识别帧的编号。日期时间是拍摄了相应的帧的日期时间。速度是拍摄了相应的帧的时刻下的、安装了行车记录仪的车辆的速度。加速度是拍摄了相应的帧的时刻下的、安装了行车记录仪的车辆的加速度。位置坐标是拍摄了相应的帧的时刻的、安装了行车记录仪的车辆的位置坐标。图像是相应的帧的图像数据。

候选列表142是保持在夜间拍摄到的处理帧中的、包含高亮度区域的帧的列表。后述与候选列表142有关的具体的说明。

照相机参数143具有行车记录仪利用的照相机参数。后述与照相机参数143有关的具体的说明。

控制部150具有夜间判定部151、检测部152、以及判定部153。控制部150例如与ASIC(Application Specific Integrated Circuit：专用集成电路)、FPGA(FieldProgrammable Gate Array：现场可编程门阵列)等集成装置对应。另外，控制部150例如与CPU、MPU(Micro Processing Unit：微处理器)等电子电路对应。

夜间判定部151是参照行车记录仪信息141，提取在夜间拍摄到的与帧编号对应的各图像数据的处理部。在以下的说明中，将在夜间的期间与拍摄到的帧编号对应的各图像数据标记为处理帧。夜间判定部151将提取出的各处理帧的信息输出给检测部152。处理帧的信息与相应的处理帧的帧编号等建立对应。

这里，对夜间判定部151判定在夜间拍摄到的处理帧的处理的一个例子进行说明。夜间判定部151针对图像数据的规定的区域，计算平均亮度。图4是表示成为夜间判定部的处理对象的规定的区域的一个例子的图。例如，夜间判定部151在图像数据20的消失点20a的上方设定区域20b。

夜间判定部151可以以任意的方式确定消失点20a。例如，夜间判定部151对图像数据20进行霍夫变换检测多个直线，将各直线交叉的点确定为消失点20a。

夜间判定部151判定区域20b的平均亮度是否在规定的亮度以上。夜间判定部151对于图像数据20的在时间上相继的图像数据也相同，判定是否在规定的亮度以上。夜间判定部151进行多次决定，在区域20b的平均亮度比规定的亮度小的图像数据的数目比与规定的亮度相比大的图像数据的数目多的情况下，将图像数据20判定为在夜间拍摄到的图像数据。而且，夜间判定部151也同样地判定为图像数据20的前后几分钟的图像数据是在夜间拍摄到的图像数据。

此外，夜间判定部151也可以利用行车记录仪信息141的日期时间，判定夜间的图像数据。例如，夜间判定部151也可以将19点以后拍摄到的各图像数据判定为在夜间拍摄到的图像数据。管理者适当地设定将几点以后作为夜间即可。

另外，夜间判定部151也可以仅提取在夜间拍摄到的处理帧中的、速度急剧地减速的期间的处理帧，并输出给检测部152。例如，夜间判定部151对于减速中的处理帧，提取前后的处理帧的速度变化了规定速度以上的区间的处理帧。

检测部152是根据各处理帧检测高亮度区域的处理部。检测部152将预先设定的检测区域内所占的高亮度区域的比例在规定的比例以上的处理帧的信息登记于候选列表142。

图5是用于说明检测部的处理的图(1)。如图5所示，检测部152在处理帧21内，设定检测区域21a。检测区域21a是包含本车道的规定的区域。

例如，该检测区域21a是以消失点22a为顶点的三角形的区域，检测区域21a的底边的位置与车辆的发动机罩22b的位置相比为上方。例如，消失点22a的位置在车辆的直线行驶时，利用预先计算出的消失点的位置。消失点的求法可以与上述的夜间判定部151相同。发动机罩22b的位置预先设定，或者通过规定的图像处理确定即可。

检测部152检测在检测区域21a内，比规定的亮度大的高亮度区域21b。然后，检测部152计算高亮度区域21b的面积相对于检测区域21a的面积的比例，并在计算出的比例在规定的比例以上的情况下，将处理帧21的信息登记于候选列表142。规定的比例是管理者预先适当地设定的比例。

与此相对，检测部152在高亮度区域21b的面积相对于检测区域21a的面积的比例小于规定的比例的情况下，不将相应的处理帧21的信息登记于候选列表142。

检测部152在对从夜间判定部151获取的全部的处理帧21进行了上述处理之后，基于登记在候选列表142的处理帧，生成连结候选。例如，检测部152比较候选列表142的帧编号连续的前后的处理帧的高亮度区域21b的坐标，并将坐标重叠的处理帧的组生成为连结候选。检测部152将连结候选的信息输出给判定部153。

图6是用于说明检测部的处理的图(2)。图6所示的处理帧31、32、33是登记于候选列表142的处理帧，处理帧31、32、33是帧编号连续的处理帧。检测部152比较处理帧31的高亮度区域31a的坐标和处理帧32的高亮度区域32a的坐标。另外，检测部152比较处理帧32的高亮度区域32a的坐标和处理帧33的高亮度区域33a的坐标。这里，高亮度区域31a的坐标与高亮度区域32a的坐标一部分重叠，高亮度区域32a的坐标与高亮度区域33a的坐标一部分重叠。该情况下，检测部152将处理帧31、32、33的组作为连结候选。

判定部153基于连结候选所包含的处理帧是在转弯行驶中拍摄到的处理帧还是在直线行驶中拍摄到的处理帧，切换高亮度区域是否为检测对象的判定内容并进行判定。检测对象例如与过路者、自行车等对应。

对判定部153对于连结候选的各处理帧，判定是在转弯行驶中拍摄到的处理帧还是在直线行驶中拍摄到的处理帧的处理进行说明。判定部153将各处理帧的帧编号作为关键字，从行车记录仪信息141获取各处理帧的位置信息，并基于各位置信息，判定是否为转弯行驶中。例如，判定部153比较各处理帧的各位置信息和地图信息，并将在十字路口等车辆的行驶方向改变的期间，或者变为与到此为止行驶的车道的方向不同的车道的期间判定为转弯行驶中。

图7是用于说明判定部的处理的一个例子的图。例如，如图7所示，各处理帧的位置如1、2、3、4、5那样依次变化。此时，判定部153将与位置1、2、3、4、5对应的各处理帧判定为在转弯行驶中拍摄到的处理帧。

此外，判定部153在行车记录仪信息141包含转向灯点亮信息的情况下，使用转向灯点亮信息，判定是否为转弯行驶中拍摄到的处理帧。判定部153将右转向灯或者左转向灯点亮的期间的处理帧判定为转弯行驶中拍摄到的处理帧。

在上述以外的情况下，判定部153将连结候选的各处理帧判定为直线行驶中拍摄到的处理帧。此外，判定部153也可以比较各处理帧的各位置信息和地图信息，并将车辆在同一车道行驶的期间的处理帧判定为直线行驶中拍摄到的处理帧。

接下来，说明判定部153根据转弯行驶中拍摄到的各处理帧，对检测对象进行检测的处理。判定部153按照每个处理帧计算照相机和高亮度区域的距离，并在距离的推移以固定的比例变化的情况下，将高亮度区域判定为静止物。与此相对，判定部153在照相机与高亮度区域的距离的推移不以固定的比例变化的情况下，将高亮度区域判定为检测对象。

判定部153针对前后的处理帧，计算照相机与高亮度区域的距离的差分。例如，当在处理帧N中，照相机与高亮度区域的距离为Na，在处理帧N+1中，照相机与高亮度区域的距离为Nb的情况下，计算差分Na－Nb。判定部153在差分Na－Nb的值为阈值以上的差分的数目小于规定量的情况下，判定为距离的推移以固定的比例变化。

图8是表示距离的推移以固定的比例变化的照相机与高亮度区域的距离的关系的图。图8的纵轴是车辆的行进方向的轴。横轴相对于车辆的行进方向是垂直方向的轴。高亮度区域为自动售货机等静止物的情况下，驾驶员不在意，而以等速驾驶，所以距离的推移以固定的比例变化。

与此相对，判定部153在差分的值为阈值以上的差分的数目在规定量以上的情况下，判定为距离的推移未以固定的比例变化。

图9是表示距离的推移不以固定的比例变化的照相机与高亮度区域的距离的关系的图。图9的纵轴是车辆的行进方向的轴。横轴相对于车辆的行进方向是垂直方向的轴。高亮度区域为过路者等检测对象的情况下，车辆和过路者分别向避让的方向移动，所以距离的推移不以固定的比例变化。

另外，判定部153也可以进一步利用车辆的速度的推移，来对检测对象进行检测。判定部153在根据转弯行驶中拍摄到的各处理帧检测出检测对象之后，参照行车记录仪信息141，求出拍摄到各处理帧的时刻的车辆的速度的推移。判定部153在车辆的速度减少，且车辆的速度小于规定的速度的情况下，确定为检测对象确实为检测对象。

接下来，说明判定部153根据直线行驶中拍摄到的各处理帧对检测对象进行检测的处理。该情况下，判定部153将连结候选所包含的处理帧的高亮度区域判定为检测对象。

判定部153输出判定为检测对象的各处理帧的帧编号。例如，判定部153可以将帧编号输出给显示部130，也可以经由通信部110，将帧编号通知给其他的装置。

接下来，示出判定部153计算处理帧的高亮度区域、和行车记录仪的照相机的距离的处理的一个例子。此外，判定部153并不限定于下述的说明，也可以利用转换处理帧上的坐标、和距离的公知的转换表，来确定高亮度区域与照相机的距离。

图10是用于说明计算高亮度区域与照相机的距离的处理的图。首先，判定部153获取照相机参数143。照相机参数143包含照相机40的水平视场角CH(radian)、照相机40的垂直视场角CV(radian)、处理帧的水平分辨率SH(pixel)、处理帧的垂直分辨率SV(pixel)、以及照相机40的设置高度HGT(m)。

在图10中，40a表示照相机视场，40b表示消失点的位置。另外，41与在以距离d的投影面SV上检测到检测对象的检测位置对应。另外，图10的θ是连接照相机40以及消失点40b的直线、和连接照相机40以及检测位置41的直线所成的角度。另外，cy是消失点40b与检测位置41的垂直方向的距离。

这里，式(1)成立，所以θ由式(2)表示。另外，通过使用θ，距离d能够由式(3)表示。

cy/SV＝θ/CV···(1)

θ＝CV×cy/SV···(2)

d＝HGT/tan(θ)···(3)

更具体而言，式(2)能够由式(4)表示。在式(4)中，VanY[pixel]表示处理帧上的消失点的y坐标。y[pixel]表示处理帧上的检测对象的y坐标。ABS表示绝对值。

θ＝CV[rad]×ABS(VanY[pixel]－y[pixel])/SV[pixel]···(4)

而且，关于高亮度区域与照相机的距离，x轴方向的距离通过式(5)计算。此外，y轴方向的距离是通过式(3)求出的d的值。

x轴方向的距离＝d×tan(CH[rad]/2)×2···(5)

接下来，对本实施例2所涉及的图像处理装置100的处理顺序进行说明。图11是表示本实施例2所涉及的图像处理装置的处理顺序的流程图。例如，图11所示的流程图以受理了处理执行命令为契机执行。图像处理装置100可以从输入部120受理处理命令，也可以经由通信部110从其他的装置受理。

如图11所示，图像处理装置100执行夜间判定，并提取在夜间拍摄到的处理帧(步骤S102)。图像处理装置100设定检测区域(步骤S103)，并判定检测区域是否存在高亮度区域(步骤S104)。

图像处理装置100在检测区域不存在高亮度区域的情况下(步骤S104：否)，移至步骤S106。另一方面，图像处理装置100在检测区域存在高亮度区域的情况下(步骤S104：是)，将处理帧登记于候选列表142(步骤S105)。

图像处理装置100判定是否选择了全部的处理帧(步骤S106)。图像处理装置100在未选择全部的处理帧的情况下(步骤S106：否)，选择未选择的处理帧(步骤S107)，并移至步骤S103。

另一方面，图像处理装置100在选择了全部的处理帧的情况下(步骤S106：是)，生成连结候选(步骤S108)。图像处理装置100判定连结候选的处理帧是否为转弯中拍摄到的处理帧(步骤S109)。

图像处理装置100在处理帧为转弯中拍摄到的处理帧的情况下(步骤S109：是)，根据转弯中的判定基准，对检测对象进行检测(步骤S110)。另一方面，图像处理装置100在处理帧为直线行驶中拍摄到的处理帧的情况下(步骤S109：否)，根据直线行驶中的判定基准，对检测对象进行检测(步骤S111)。

接下来，对本实施例所涉及的图像处理装置100的效果进行说明。图像处理装置100判定照相机在夜间拍摄到的处理帧。图像处理装置100基于处理帧是在转弯行驶中拍摄到的处理帧还是在直线行驶中拍摄到的处理帧，切换高亮度区域是否为检测对象的判定内容并进行判定。例如，若将本车道内作为检测区域，则在转弯中静止物进入检测区域，而作为高亮度区域检测静止物。与此相对，在本车辆为直线行驶中的情况下，静止物不会进入检测区域。因此，通过分为转弯行驶中的情况和直线行驶中的情况，并切换高亮度区域是否为检测对象的判定内容，从而能够进行符合两者的检测，能够正确地对检测对象进行检测。

另外，图像处理装置100在处理帧为转弯行驶中拍摄到的视频数据的情况下，基于从检测到高亮度区域开始的车辆的移动速度的推移，或者，照相机与高亮度区域的距离的推移，判定是否将高亮度区域作为检测对象。因此，在转弯中，能够正确地判定检测区域所包含的高亮度区域是检测对象还是静止物。例如，在高亮度区域为过路者等的情况下，考虑驾驶员注意到而迅速减速。与此相对，若高亮度区域为静止物，则驾驶员不注意，而速度推移固定。另外，若高亮度区域为步行者，则步行者以避开车辆的方式移动，车辆以避开步行者的方式移动，所以考虑高亮度区域与照相机的距离变化不均匀。

另外，图像处理装置100使用速度减速的期间的处理帧，对检测对象进行检测。例如，若速度提高，则解决了应该减速的原因，所以在该时刻，考虑成为潜在事故的原因的检测对象未被拍摄到。因此，通过使用速度减速期间的处理帧，来对检测对象进行检测，不用进行不需要的处理。

另外，图像处理装置100从包含本车道的规定的范围，检测上述高亮度区域。由于过路者存在于本车道的可能性较高，所以通过将包含这样的本车道的区域作为检测对象，与从整体图像对检测对象进行检测的情况相比较，能够减少计算量。

接下来，对执行实现与上述的实施例所示出的图像处理装置相同的功能的图像处理程序的计算机的一个例子进行说明。图12是表示执行图像处理程序的计算机的一个例子的图。

如图12所示，计算机200具有执行各种运算处理的CPU201、受理来自用户的数据的输入的输入装置202、以及显示器203。另外，计算机200具有从存储介质读取程序等的读取装置204、和经由网络在与其他的计算机之间进行数据的交换的接口装置205。另外，计算机200具有暂时存储各种信息的RAM206、和硬盘装置207。而且，各装置201～207与总线208连接。

硬盘装置207例如具有确定程序207a、检测程序207b、以及判定程序207c。CPU201读出各程序207a～207c并展开到RAM206。

确定程序207a作为确定进程206a发挥作用。检测程序207b作为检测进程206b发挥作用。判定程序207c作为判定进程206c发挥作用。

例如，确定进程206a与确定部11、夜间判定部151等对应。检测进程206b与检测部12、152等对应。判定进程206c与判定部13、153对应。

此外，对于各程序207a～207c，也可以并不一定从最初开始存储于硬盘装置207。例如，使各程序预先存储于插入到计算机200的软盘(FD)、CD－ROM、DVD盘、光磁盘、IC卡等“便携式物理介质”。而且，计算机200也可以从这些物理介质读出各程序207a～207c并执行。

符号说明

10…图像处理装置，11…确定部，12…检测部，13…判定部。

Claims (4)

1.一种图像处理装置，其特征在于，具有：

确定部，其确定搭载于移动体的照相机在夜间拍摄到的视频数据；

检测部，其根据所述确定部所确定出的视频数据的帧来检测高亮度区域；以及

判定部，其在所述视频数据是在转弯行驶中拍摄到的视频数据的情况下，按照每个帧计算所述检测部检测出的所述高亮度区域与照相机的距离，在距离的推移以固定的比例变化的情况下，将所述高亮度区域判定为静止物，在距离的推移不以固定的比例变化，并且，从检测出所述高亮度区域起的所述移动体的移动速度减少且所述移动速度小于规定阈值的情况下，将所述高亮度区域判定为检测对象，

在所述视频数据是在直线行驶中拍摄到的视频数据的情况下，判定为所述检测部检测出的所述高亮度区域是检测对象。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述视频数据与速度数据建立对应，所述确定部确定视频数据所包含的各帧中的、速度减速的期间的帧。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述检测部从包含本车道的规定的范围检测所述高亮度区域。

4.一种图像处理方法，为计算机执行的图像处理方法，其特征在于，

执行以下各处理，即，

确定搭载于移动体的照相机在夜间拍摄到的视频数据；

根据确定出的视频数据的帧来检测高亮度区域；以及

在所述视频数据是在转弯行驶中拍摄到的视频数据的情况下，按照每个帧计算所述高亮度区域与照相机的距离，在距离的推移以固定的比例变化的情况下，将所述高亮度区域判定为静止物，在距离的推移不以固定的比例变化，并且，从检测出所述高亮度区域起的所述移动体的移动速度减少且所述移动速度小于规定阈值的情况下，将所述高亮度区域判定为检测对象，在所述视频数据是在直线行驶中拍摄到的视频数据的情况下，判定为检测出的所述高亮度区域是检测对象。