CN104584093A - 图像处理装置、图像处理方法以及图像处理程序 - Google Patents

Abstract

本发明涉及图像处理装置、图像处理方法以及图像处理程序。本实施例所涉及的图像处理装置(10)具备检测部(11)、确定部(12)。图像处理装置(10)所包含的检测部(11)检测在动态图像数据所包含的各帧之间像素值变化的区域。检测部(11)将检测结果向确定部(12)输出。确定部(12)对于被检测部(11)检测出的区域设定外接矩形。确定部(12)基于区域相对于外接矩形的填充率，来确定包含检测对象的帧。

Description

图像处理装置、图像处理方法以及图像处理程序

技术领域

本发明涉及图像处理装置等。

背景技术

如果能够向驾驶员通知在驾驶中容易发生快要与横过马路者接触等危险，即驾驶员吓出冷汗或者吃一惊这样的现象的位置的信息，就能够防止事故的发生。为了确定容易发生危险的位置的信息，能够利用驾驶记录仪所记录的数据。例如，在驾驶记录仪中记录有车辆的位置、拍摄时间、车辆的加速度、车辆的速度、车辆前方的影像等。

这里，若仅通过在驾驶记录仪中记录的加速度等数值数据尝试危险的检测，则存在将其实不是危险的现象错误检测为危险的情况。这是因为在车辆行驶中，存在由于道路起伏等即使与危险没有关系，加速度也会骤然变化的情况。

为了防止如上述那样的危险误检测，需要根据与加速度一起记录的车辆前方影像，来解析是否危险。

作为危险的发生原因，列举了在自身车道内存在的横过马路者、自行车等检测对象的存在。因此，除了加速度的信息以外，还能够通过判定在影像内是否存在检测对象，来判定危险的原因是否在影像内存在，进而，能够解析是否危险。

专利文献1：日本特开平5－143897号公报

然而，在上述现有技术中，存在无法准确地检测检测对象这样的问题。

驾驶记录仪用的拍摄装置安装于车辆，在记录于驾驶记录仪的影像中，拍摄装置也会随着车辆的移动而移动，所以能够视为静止物移动。因此，若单纯地将在帧间有变化的区域判定为检测对象，则在自身车道区域中，存在作为静止物的车道内的喷图等也判定为检测对象的情况。

发明内容

在一个侧面中，本发明的目的在于提供鉴于上述情况而完成的、能够准确地检测检测对象的图像处理装置、图像处理方法以及图像处理程序。

在第1方案中，图像处理装置具有检测部以及确定部。检测部检测在动态图像数据所包含的各帧之间像素值变化的区域。确定部基于被检测部检测出的上述区域相对于上述区域的外接矩形的填充率，来确定包含检测对象的帧。

根据本发明的一个实施方式，起到能够准确地检测检测对象这样的效果。

附图说明

图1是表示本实施例1所涉及的图像处理装置的构成的功能框图。

图2是表示本实施例2所涉及的图像处理装置的构成的功能框图。

图3是表示驾驶记录信息的数据构造的一个例子的图。

图4是用于对处理范围的一个例子进行说明的图。

图5是用于对填充率检查进行说明的图。

图6A是用于对角判定的处理进行说明的图。

图6B是用于对三角形角度的计算方法进行说明的图。

图7是表示符合排除条件的候补区域的一个例子的图。

图8是表示符合排除条件的候补区域的一个例子的图。

图9是用于对确定部的处理进行说明的图。

图10是表示本实施例2所涉及的图像处理装置的处理步骤的流程图。

图11是表示执行图像处理程序的计算机的一个例子的图。

具体实施方式

以下，基于附图对本发明所涉及的图像处理装置、图像处理方法以及图像处理程序的实施例进行详细说明。此外，该发明并不被该实施例限定。

实施例1

对于本实施例1的图像处理装置的构成进行说明。图1是表示本实施例1的图像处理装置的构成的功能框图。如图1所示，该图像处理装置10具有检测部11和确定部12。

检测部11检测在动态图像数据所包含的各帧之间像素值变化的区域。

确定部12基于被检测部11检测出的区域相对于区域的外接矩形的填充率，来确定包含检测对象的帧。

对于本实施例1所涉及的图像处理装置10的效果进行说明。图像处理装置10检测在动态图像数据所包含的各帧之间像素值变化的区域，基于检测出的区域相对于区域的外接矩形的填充率，来确定包含检测对象的帧。例如，车辆内的喷图往往在图像上作为接近矩形形状的区域出现，与此相对，成为检测对象的横过马路者或自行车等为不定形。因此，通过利用相对于外接矩形的填充率，就能够准确地检测检测对象。

实施例2

对于本实施例2所涉及的图像处理装置的构成进行说明。图2是表示本实施例2所涉及的图像处理装置的构成的功能框图。如图2所示，图像处理装置100具有通信部110、输入部120、显示部130、存储部140以及控制部150。

通信部110是经由网络与其他装置执行数据通信的处理部。例如，通信部110与通信装置等对应。

输入部120是将各种数据输入图像处理装置100的输入装置。例如，输入部120与键盘、鼠标、触摸面板等对应。显示部130是显示从控制部150输出的数据的显示装置。例如，显示部130与液晶显示器或触摸面板等对应。

存储部140是存储驾驶记录信息141的存储部。存储部140例如与RAM(Random Access Memory：随机存取存储器)、ROM(Read OnlyMemory：只读存储器)、闪存(Flash Memory)等半导体存储器元件等存储装置对应。

驾驶记录信息141包括被驾驶记录仪记录的各种数据。图3是表示驾驶记录信息的数据构造的一个例子的图。如图3所示，该驾驶记录信息141将帧编号、日期时间、速度、加速度、位置坐标、图像建立关联地存储。帧编号是唯一地识别帧的编号。日期时间是该帧被拍摄的日期时间。速度是拍摄该帧的时刻安装了驾驶记录仪的车辆的速度。加速度是拍摄了该帧的时刻安装了驾驶记录仪的车辆的加速度。位置坐标是该帧被拍摄到的时刻安装了驾驶记录仪的车辆的位置坐标。图像是该帧的图像数据。

控制部150具有处理帧确定部151、平均图像创建部152、处理图像创建部153、检测部154以及确定部155。控制部150例如与ASIC(Application Specific Integrated Circuit：专用集成电路)、FPGA(FieldProgrammable Gate Array：现场可编程门阵列)等集成装置对应。另外，控制部150例如与CPU、MPU(Micro Processing Unit：微处理单元)等电子电路对应。

处理帧确定部151是访问驾驶记录信息141，提取与减速期间的帧编号对应的各图像数据的处理部。在以下的说明中，将与减速期间的帧编号对应的图像数据记载为处理帧。处理帧确定部151将提取出的各处理帧的信息向平均图像创建部152输出。

平均图像创建部152是创建从处理帧确定部151获取到的各处理帧的平均图像的处理部。例如，平均图像创建部152按照各个像素对处理帧的各图像值进行加法运算。而且，平均图像创建部152通过利用处理帧的个数来除加法运算得到的每个像素的像素值来创建平均图像。平均图像创建部152根据各处理帧创建平均图像的处理不局限于上述的方法，也可以使用任意一种公知技术。平均图像创建部152将平均图像以及各处理帧的信息向处理图像创建部153输出。

处理图像创建部153对于各处理帧，分别生成处理帧与平均图像的差值图像。另外，处理图像创建部153根据各差值图像，生成二值图像。以下，对于处理图像创建部153生成差值图像的处理和生成二值图像的处理进行说明。

对于处理图像创建部153生成差值图像的处理进行说明。例如，差值图像创建部153通过从处理帧的各像素的像素值减去平均图像的各像素的像素值来生成差值图像。处理图像创建部153对于所有的处理帧生成差值图像。

对于处理图像创建部153生成二值图像的处理进行说明。处理图像创建部153对差值图像进行RGB(Red Green Blue)分解。处理图像创建部153在进行了RGB分解后，在对于差值图像的各像素，R的值、G的值、B的值分别超过规定阈值的情况下，将对应的像素的像素值设定为“1”，将其他像素的像素值设定为“0”，从而生成二值图像。处理图像创建部153对于各差值图像，生成二值图像。处理图像创建部153向检测部154输出二值图像的信息。

例如，处理图像创建部153也可以创建RGB值的直方图，并分别将超过80％的值作为与R的值、G的值、B的值比较的阈值。

存在由于车辆灯光或户外光线的影响，处理帧的图像成为带红色的图像的情况。为了与此对应，如上述那样，通过进行RGB分解来形成二值图像，从而检测对象的检测精度提高。

此外，处理图像创建部153也可以限定生成二值图像的处理范围。图4是用于对处理范围的一个例子进行说明的图。例如，在图像数据20中，区域21a、21b因为车辆移动，而差值变大。因此，将区域21a、21b从检测对象排除。代替此，通过使包含车辆行驶的车道22的规定区域成为处理范围23，从而检测对象的检测精度提高。例如，处理图像创建部153对于处理范围23生成二值图像，对于除此以外的区域，跳过二值图像的生成，从而能够减少处理负荷，并且防止检测对象的误检测。处理图像创建部153可以使用任意公知技术进行自身车道的检测。

检测部154是根据二值图像来检测在动态图像数据所包含的各帧之间像素值变化的区域的处理部。检测部154执行标记处理和角判定处理。

对于检测部154所执行的标记处理进行说明。检测部154扫描二值图像，执行将像素值连续且成为“1”的各像素连结起来的标记处理。在以下的说明中，将通过标记处理连结起来的区域记载为候补区域。检测部154在检测出候补区域后执行面积检查、填充率检查、纵横比检查，排除不符合检测对象的候补区域。

对于检测部154所执行的面积检查进行说明。检测部154在候补区域的面积是预先设定的规定面积以上的情况下，留下该候补区域。与此相对，检测部154在候补区域的面积不满预先设定的规定面积的情况下，排除该候补区域。

对于检测部154所执行的填充率检查进行说明。图5是用于对填充率检查进行说明的图。在图5所示的例中，在处理范围23存在有候补区域30。检测部154设定候补区域30的外接矩形40。检测部154计算候补区域30的面积相对于外接矩形40的面积的比例作为填充率。检测部154在填充率是规定填充率以上的情况下，留下该候补区域30。与此相对，检测部154在填充率不满规定填充率的情况下，排除该候补区域。

对于检测部154所执行的纵横比检查进行说明。检测部154与图5相同地设定相对于候补区域的外接矩形。检测部154对于外接矩形计算纵横比。检测部154在相对于外接矩形横宽的纵宽比率、或者相对于外接矩形纵宽的横宽比率不满规定比率的情况下，留下该候补区域30。

与此相对，检测部154在相对于外接矩形横宽的纵宽比率、或者相对于外接矩形纵宽的横宽比率是规定比率以上的情况下，排除该候补区域。相对于外接矩形横宽的纵宽比率、或者相对于外接矩形纵宽的横宽比率是规定比率以上的情况下，候补区域与一般的横过马路者的形状相比较，示出极端的纵长或者横长的情况，所以难以认为候补区域是检测对象。

接下来，检测部154对于根据二值图像检测出的候补区域进行面积检查、填充率检查、纵横比检查，对于未被除掉的候补区域的信息，执行角判定。

对于检测部154所执行的角判定的处理进行说明。图6A是用于对角判定的处理进行说明的图。在图6A中，候补区域31是在上述标记处理中检测出的候补区域，与未被面积检查、填充率检查、纵横比检查除掉的候补区域对应。另外，外接矩形41是候补区域31的外接矩形。

检测部154计算包含外接矩形41内的各角41a、41b、41c、41d的候补区域31以外的角区域面积。角区域能够指由构成外接矩形的边以及构成候补区域的边围起的多边形。在图6A所示的例中，检测部154计算角区域42a、42b、42c、42d的面积。检测部154基于各角区域的大小关系排除候补区域。在以下的说明中，对于候补区域的排除条件1～3进行说明。此外，在下述的说明中，将角区域42a、42c记载为对角角。另外，将角区域42b、42d记载为逆对角角。

对于排除条件1进行说明。检测部154在对角角的面积是规定面积以上的情况下，排除该候补区域。

对于排除条件2进行说明。检测部154在对角角的至少一方的面积是规定的面积以上，并且逆对角角的面积不满规定面积的情况下，排除该候补区域。

对于排除条件3进行说明。检测部154在对角角的面积是规定面积以上，并且对角角的三角形角度是规定三角形角度以上，并且逆对角角的面积不满规定面积的情况下，排除该候补区域。

此外，排除条件1～3中使用的阈值也可以根据外接矩形41的面积的大小变更。例如，若将外接矩形41的面积设为S，则通过S÷6计算阈值。此外，在阈值的值低于40像素的情况下，将阈值设为40。

对于三角形角度的计算方法进行说明。图6B是用于对三角形角度的计算方法进行说明的图。这里对于计算角区域42c的三角形角度的情况进行说明。将三角形BCD所包含的像素的像素值设定为1，将三角形ABC所包围的像素的像素值设定为0。而且，将矩形ABCD所包含的像素中的像素值为1的面积除以矩形ABCD，来计算角区域42c的三角形角度。

这里对于符合排除条件的候补区域的一个例子以及不符合排除条件的候补区域的一个例子进行说明。图7是表示符合排除条件的候补区域的一个例子的图。如图7所示，自身车道内的喷图等包含有很多直线分量，是几何图形。若这样的喷图被作为候补区域44提取，则与排除条件1～3的任意一个对应，被排除。

图8是表示符合排除条件的候补区域的一个例子的图。如图8所示，横过马路者等不包含有多余的直线分量，不会成为几何形状。若这样的横过马路者等被作为候补区域45提取，则不与排除条件1～3对应，不被排除。

检测部154将未被上述排除条件1～3排除的候补区域的信息向确定部155输出。如上所述，检测部154从处理图像创建部153获取二值图像后，执行标记处理、角判定处理，将未被排除掉的各候补区域的信息向确定部155输出。此外，各候补区域为与检测源的帧编号的信息、位置坐标建立关联的区域。

确定部155是从检测部154获取候补区域的信息，并确定包含检测对象的帧的处理部。确定部155根据候补区域的信息，判定连续的帧编号的各候补区域是否分别重叠。确定部155在连续的帧编号的各候补区域分别重叠一部分的情况下，将各候补区域判定为是检测对象。

图9是用于对确定部的处理进行说明的图。将图9的候补区域45a的帧编号设为N，候补区域45b的帧编号设为N+1，候补区域45c的帧编号设为N+2。例如，确定部155在候补区域45a和候补区域45b重叠的面积是规定面积以上，候补区域45b和候补区域45c重叠的面积是规定面积以上的情况下，判定候补区域45a、45b、45c是检测对象。

与此相对，确定部155在候补区域45a和候补区域45b重叠的面积不满规定面积，或者候补区域45b和候补区域45c重叠的面积不满规定面积的情况下，将候补区域45a、45b、45c判定为不是检测对象。

确定部155输出判定为是检测对象的各候补区域的帧编号。例如，确定部155既可以向显示部130输出帧编号，也可以经由通信部110向其他装置通知帧编号。

接下来，对于本实施例2所涉及的图像处理装置100的处理步骤进行说明。图10是表示本实施例2所涉及的图像处理装置的处理步骤的流程图。例如，图10所示的流程图以接受了处理执行命令这一情况为契机被执行。图像处理装置100既可以从输入部120接受处理命令，也可以经由通信部110从其他装置接受。

如图10所示，图像处理装置100提取处理帧(步骤S101)，生成平均图像(步骤S102)。图像处理装置100生成平均图像与处理帧n的图像的差值图像(步骤S103)。

图像处理装置100对差值图像进行RGB分解，判定RGB值的阈值(步骤S104)。图像处理装置100对于差值图像，将RGB值为阈值以上的像素设定为1，将除此以外的像素设定为0，从而生成二值图像(步骤S105)。

图像处理装置100执行标记处理(步骤S106)，执行角判定处理(步骤S107)。图像处理装置100判定是否对所有的处理帧都进行了处理(步骤S108)。图像处理装置100在未对所有的处理帧进行处理的情况下(步骤S108，否)，选择下一帧(步骤S109)，移至步骤S103。

另一方面，图像处理装置100在对所有的处理帧都进行了处理的情况下(步骤S108，是)，确定检测对象(步骤S110)，确定包含检测对象的帧(步骤S111)。

接下来，对于本实施例2所涉及的图像处理装置200的效果进行说明。本实施例2的图像处理装置200检测在动态图像数据所包含的各帧之间像素值变化的区域，基于检测出的区域相对于区域的外接矩形的填充率，确定包含检测对象的帧。例如，车辆内的喷图往往在图像上作为接近矩形的形状的区域出现，与此相对，成为检测对象的横过马路者或自行车等为不定形。因此，通过利用相对于外接矩形的填充率，能够准确地检测检测对象。

另外，图像处理装置200基于根据外接矩形和候补区域形成的多个角区域的大小关系，确定包含检测对象的帧。路面的喷图往往在图像上作为接近矩形的形状的区域出现，与此相对，横过马路者等检测对象是不定形。因此，通过利用由外接矩形和候补区域形成的角的大小关系，能够区别路面的喷图和横过马路者等检测对象。

另外，图像处理装置200进一步利用外接矩形的纵横比来确定包含检测对象的帧。在相对于外接矩形横宽的纵宽比率、或者相对于外接矩形纵宽的横宽比率是规定比率以上的情况下，候补区域与一般的横过马路者的形状比较，示出极端的纵长或者横长的情况，难以认为候补区域是检测对象。因此，通过进一步利用外接矩形的纵横比，能够更准确地区别路面的喷图和横断者等检测对象。

另外，图像处理装置200使用速度减速的帧来检测候补区域。这是因为在速度增加的情况下，应该减速的原因已被解决，所以在速度增加的时刻的帧，检测对象不被反映的可能性较高。通过利用减速的期间的帧，能够减少不必要的检测处理。

另外，图像处理装置200从包含自身车道的规定范围检测候补区域。因此，通过仅使存在横过马路者等检测对象的可能性较高的区域成为检测对象，能够减少整体的计算量。

接下来，对执行实现与上述实施例所示的图像处理装置相同的功能的图像处理程序的计算机的一个例子进行说明。图11是表示执行图像处理程序的计算机的一个例子的图。

如图11所示，计算机200具有执行各种运算处理的CPU201、接受来自用户的数据输入的输入装置202、以及显示器203。另外，计算机200具有从存储介质读取程序等的读取装置204、以及经由网络在与其他计算机之间进行数据收发的接口装置205。另外，计算机200具有临时存储各种信息的RAM206、以及硬盘装置207。而且，各装置201～207与总线208连接。

硬盘装置207例如具有检测程序207a、确定程序207b。CPU201读出各程序207a、207b并在RAM206展开。

检测程序207a作为检测处理206a发挥作用。确定程序207b作为确定处理206b发挥作用。

例如，检测处理206a与检测部11、154等对应。确定处理206b与确定部12、155等对应。

此外，对于各程序207a、207b，也可以不必从最初存储于硬盘装置207。例如，也可以使各程序预先存储于插入于计算机200的软盘(FD)、CD－ROM、DVD磁盘、光磁盘、IC卡等“可移动的物理介质”。然后，使计算机200从这些可移动的物理介质读出各程序207a、207b并执行。

附图标记说明

10...图像处理装置；11...检测部；12...确定部。

Claims (7)

1.一种图像处理装置，其特征在于，具有：

检测部，其检测在动态图像数据所包含的各帧之间像素值变化的区域；以及

确定部，其基于由所述检测部检测出的所述区域相对于所述区域的外接矩形的填充率，来确定包含检测对象的帧。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述确定部基于根据所述外接矩形和所述区域而形成的多个角区域的大小关系，来确定包含检测对象的帧。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述确定部还利用所述外接矩形的纵横比，来确定包含检测对象的帧。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述动态图像数据与速度数据建立关联，所述检测部使用动态图像数据所包含的各帧中速度减速期间的帧，来检测所述区域。

5.根据权利要求4所述的图像处理装置，其特征在于，

所述检测部从包含自身车道的规定范围，检测所述区域。

6.一种图像处理方法，由计算机执行，其特征在于，执行如下的各个处理：

检测在动态图像数据所包含的各帧之间像素值变化的区域；和

基于检测出的所述区域相对于所述区域的外接矩形的填充率，来确定包含检测对象的帧。

7.一种图像处理程序，其特征在于，使计算机执行如下各处理：

检测在动态图像数据所包含的各帧之间像素值变化的区域；和

基于检测出的所述区域相对于所述区域的外接矩形的填充率，来确定包含检测对象的帧。