CN108319931A - 一种图像处理方法、装置及终端 - Google Patents

一种图像处理方法、装置及终端 Download PDF

Info

Publication number
CN108319931A
CN108319931A CN201810201752.2A CN201810201752A CN108319931A CN 108319931 A CN108319931 A CN 108319931A CN 201810201752 A CN201810201752 A CN 201810201752A CN 108319931 A CN108319931 A CN 108319931A
Authority
CN
China
Prior art keywords
pixel
road surface
point
column
row
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810201752.2A
Other languages
English (en)
Other versions
CN108319931B (zh
Inventor
曲磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hisense Group Co Ltd
Original Assignee
Hisense Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hisense Group Co Ltd filed Critical Hisense Group Co Ltd
Priority to CN201810201752.2A priority Critical patent/CN108319931B/zh
Publication of CN108319931A publication Critical patent/CN108319931A/zh
Application granted granted Critical
Publication of CN108319931B publication Critical patent/CN108319931B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种图像处理方法、装置及终端,属于汽车辅助驾驶技术领域。该方法包括:获取待检测的视差图像对应的V视差图,对V视差图中的每列像素点进行统计,并根据统计结果确定每列的类别属性;基于每列的类别属性,按照预设规则从对应像素点中选取路面候选点,并基于选取的路面候选点确定并删除视差图像中对障碍物的检测造成干扰的点。其中,每列的类别属性可以用于指示对应列的像素点中是否存在路面标识线或障碍物对应的点,也即,每列的类别属性实际上可以用于指示该V视差图中路面与障碍物对应的视差点的分布规律,这样,根据该类别属性从每列像素点中选取路面候选点,选取得到的路面候选点将更加贴合路面分布规律。

Description

一种图像处理方法、装置及终端
技术领域
本发明涉及汽车辅助驾驶技术领域,特别涉及一种图像处理方法、装置及终端。
背景技术
随着智能化的不断发展,汽车的辅助驾驶技术已成为汽车厂商竞相追逐的技术热点。在当前已有的高级驾驶辅助系统中,可以采用双目摄像头采集路况图像,并通过立体匹配算法对采集到的路况图像进行处理,从而得到路况图像对应的视差图像。之后,可以在该视差图像中检测前方障碍物,以保证汽车的安全驾驶。其中,为了保证障碍物检测的准确性,在视差图像中确定前方障碍物之前,可以先对视差图像进行处理,以剔除该视差图像中用于指示路面标识物的路面标识线所对应的点,从而减少路面标识线对前方障碍物检测的干扰。
相关技术中,对视差图像进行处理的具体过程为:根据视差图像计算得到对应的V视差图。在V视差图中选取满足预定形态学条件的像素点,并通过直线拟合算法对选取的像素点进行拟合,得到第一直线,其中,预定形态学条件是指以待判定的像素点为中心的预设大小的正方形区域的对角线上的像素点的灰度值均大于预设阈值。之后,选取距离第一直线预设距离阈值的像素点,并利用最小二乘法对选取的像素点进行拟合,得到第二直线,将该第二直线确定为视差图像中的路面标识线在V视差图中对应的直线,之后,可以根据该第二直线返回视差图像中删除相应地像素点,从而完成对该视差图像的处理。
当通过上述方法对视差图像进行处理时,在选取用于拟合第一直线的像素点时,仅仅是根据像素点的灰度值进行了选取,但是,根据像素点的灰度值并不能准确的判定像素点是否为路面对应的像素点,因此,基于选取的像素点拟合得到的第一直线很可能存在较大偏差,而以第一直线为基准拟合得到的第二直线也将存在较大偏差的,在此基础上,将第二直线作为处理视差图像的依据进行相应像素点的删除时,则可能会误删或漏删路面标识线所对应的点。
发明内容
为了解决相关技术中在对视差图像进行处理时确定的路面对应的点容易存在较大偏差,从而造成对视差图像中的视差点误删或漏删的问题,本发明实施例提供了一种图像处理方法、装置及终端。所述技术方案如下:
第一方面,提供了一种图像处理方法,所述方法包括:
获取待处理的视差图像对应的V视差图;
对所述V视差图中的每列像素点进行统计分析,并根据统计分析结果确定每列的类别属性,所述类别属性用于指示对应列的像素点中是否存在路面标识线或障碍物对应的点;
基于每列的类别属性,按照预设规则从对应列的像素点中选取路面候选点,并基于选取的路面候选点确定并删除所述视差图像中对障碍物的检测造成干扰的点。
可选地,所述对所述V视差图中的每列像素点进行统计分析,并根据统计分析结果确定每列的类别属性,包括:
统计所述V视差图中每列像素点中像素值不为0的像素点的个数,得到第一数值;
确定所述V视差图中每列像素点中像素值不为0的像素点中纵坐标最大的点,得到所述V视差图中每列像素点中的最高点,确定所述V视差图中每列像素点中像素值不为0的像素点中纵坐标最小的点,得到所述V视差图中每列像素点中的最低点;
确定当前时刻之前确定得到的路面标识线在所述V视差图中对应的直线,基于确定的直线确定所述V视差图中每列像素点中的参考路面点;
基于所述V视差图中每列像素点对应的第一数值、每列像素点中的最高点和最低点,以及每列像素点中的参考路面点,确定所述V视差图中每列的类别属性。
可选地,所述基于所述V视差图中每列像素点对应的第一数值、每列像素点中的最高点和最低点,以及每列像素点中的参考路面点,确定所述V视差图中每列的类别属性,包括:
将所述V视差图中的任一列记为A列,当所述A列像素点对应的第一数值不为0时,确定所述A列像素点中的最高点和最低点之间的高度差;
当所述A列像素点中的最高点和最低点之间的高度差小于预设障碍物高度阈值,且所述A列像素点中的最高点与所述A列像素点中的参考路面点之间的高度差以及所述A列像素点中的最低点与所述A列像素点中的参考路面点之间的高度差均小于所述地面波动阈值时,确定所述A列的类别属性为第一类别属性,所述第一类别属性用于指示所述A列像素点中存在路面标识线对应的点。
可选地,所述基于每列的类别属性,按照预设规则从对应列的像素点中选取路面候选点,包括:
当所述A列的类别属性为所述第一类别属性时,将所述A列像素点确定为路面候选点;
相应地,所述基于选取的路面候选点确定并删除所述视差图像中对障碍物的检测造成干扰的点,包括:
将所述路面候选点在所述视差图像中对应的点确定为所述视差图像中对障碍物的检测造成干扰的点,并进行删除。
可选地,所述确定所述A列像素点中的最高点和最低点之间的高度差之后,还包括:
当所述A列像素点中的最高点和最低点之间的高度差不小于所述预设障碍物高度阈值时,确定所述A列的类别属性为第二类别属性,所述第二类别属性用于指示所述A列像素点中存在障碍物对应的点。
可选地,所述基于每列的类别属性,按照预设规则从对应列的像素点中选取路面候选点,包括:
当所述A列的类别属性为所述第二类别属性时,将所述A列像素点中与所述A列像素点的参考路面点之间的差值的绝对值小于所述地面波动阈值的像素点确定为所述路面候选点;
相应地,所述基于选取的路面候选点确定并删除所述视差图像中对障碍物的检测造成干扰的点,包括:
将所述路面候选点在所述视差图像中对应的点确定为所述视差图像中对障碍物的检测造成干扰的点,并进行删除。
可选地,所述方法还包括:
当所述A列像素点中的最高点和最低点之间的高度差小于预设障碍物高度阈值,且所述A列像素点中的最高点与所述A列像素点中的参考路面点之间的高度差不小于所述地面波动阈值,则确定所述A列的类别属性为第三类别属性,所述第三类别属性用于指示所述A列像素点中可能存在障碍物对应的点;
当所述A列像素点中的最高点和最低点之间的高度差小于预设障碍物高度阈值,且所述A列像素点中的最高点与所述A列像素点中的参考路面点之间的高度差小于所述地面波动阈值,且所述A列像素点中的最低点与所述A列像素点中的参考路面点之间的高度差不小于所述地面波动阈值时,确定所述A列的类别属性为第四类别属性,所述第四类别属性用于指示所述A列像素点中可能存在路面标识线对应的点。
可选地,所述基于每列的类别属性,按照预设规则从对应列的像素点中选取路面候选点,包括:
当所述A列的类别属性为所述第三类别属性或所述第四类别属性时,将所述A列像素点中与所述A列像素点中的参考路面点之间的差值的绝对值小于所述地面波动阈值的像素点确定为所述路面候选点;
相应地,所述基于选取的路面候选点确定并删除所述视差图像中对障碍物的检测造成干扰的点,包括:
判断所述A列像素点中除所述路面候选点之外剩余的像素值不为0的像素点的数量是否小于预设数值;
当所述A列像素点中除所述路面候选点之外剩余的像素值不为0的像素点的数量小于所述预设数值时,将所述A列像素点中除所述路面候选点之外剩余的像素值不为0的像素点在所述视差图像中对应的点,以及所述路面候选点在所述视差图像中对应的点确定为所述视差图像中对障碍物的检测造成干扰的点,并进行删除。
可选地,所述基于选取的路面候选点确定并删除所述视差图像中对障碍物的检测造成干扰的点之前,还包括:
基于所述路面候选点在所述V视差图中确定路面标识线,并对所述路面标识线进行存储。
第二方面,提供了一种图像处理装置,所述装置包括:
获取模块,用于获取待处理的视差图像对应的V视差图;
分析模块,用于对所述V视差图中的每列像素点进行统计分析,并根据统计分析结果确定每列的类别属性,所述类别属性用于指示对应列的像素点中是否存在路面标识线或障碍物对应的点;
选取模块,用于基于每列的类别属性,按照预设规则从对应列的像素点中选取路面候选点;
删除模块,用于基于选取的路面候选点确定并删除所述视差图像中对障碍物的检测造成干扰的点。
可选地,所述分析模块包括:
统计子模块,用于统计所述V视差图中每列像素点中像素值不为0的像素点的个数,得到第一数值;
第一确定子模块,用于确定所述V视差图中每列像素点中像素值不为0的像素点中纵坐标最大的点,得到所述V视差图中每列像素点中的最高点,确定所述V视差图中每列像素点中像素值不为0的像素点中纵坐标最小的点,得到所述V视差图中每列像素点中的最低点;
第二确定子模块,用于确定当前时刻之前确定得到的路面标识线在所述V视差图中对应的直线,基于确定的直线确定所述V视差图中每列像素点中的参考路面点;
第三确定子模块,用于基于所述V视差图中每列像素点对应的第一数值、每列像素点中的最高点和最低点,以及每列像素点中的参考路面点,确定所述V视差图中每列的类别属性。
可选地,所述第三确定子模块用于:
将所述V视差图中的任一列记为A列,当所述A列像素点对应的第一数值不为0时,确定所述A列像素点中的最高点和最低点之间的高度差;
当所述A列像素点中的最高点和最低点之间的高度差小于预设障碍物高度阈值,且所述A列像素点中的最高点与所述A列像素点中的参考路面点之间的高度差以及所述A列像素点中的最低点与所述A列像素点中的参考路面点之间的高度差均小于所述地面波动阈值时,确定所述A列的类别属性为第一类别属性,所述第一类别属性用于指示所述A列像素点中存在路面标识线对应的点。
可选地,所述选取模块用于:
当所述A列的类别属性为所述第一类别属性时,将所述A列像素点确定为路面候选点;
相应地,所述删除模块用于:
将所述路面候选点在所述视差图像中对应的点确定为所述视差图像中对障碍物的检测造成干扰的点,并进行删除。
可选地,所述第三确定子模块还用于:
当所述A列像素点中的最高点和最低点之间的高度差不小于所述预设障碍物高度阈值时,确定所述A列的类别属性为第二类别属性,所述第二类别属性用于指示所述A列像素点中存在障碍物对应的点。
可选地,所述选取模块用于:
当所述A列的类别属性为所述第二类别属性时,将所述A列像素点中与所述A列像素点的参考路面点之间的差值的绝对值小于所述地面波动阈值的像素点确定为所述路面候选点;
相应地,所述删除模块用于:
将所述路面候选点在所述视差图像中对应的点确定为所述视差图像中对障碍物的检测造成干扰的点,并进行删除。
可选地,所述第三确定子模块还用于:
当所述A列像素点中的最高点和最低点之间的高度差小于预设障碍物高度阈值,且所述A列像素点中的最高点与所述A列像素点中的参考路面点之间的高度差不小于所述地面波动阈值,则确定所述A列的类别属性为第三类别属性,所述第三类别属性用于指示所述A列像素点中可能存在障碍物对应的点;
当所述A列像素点中的最高点和最低点之间的高度差小于预设障碍物高度阈值,且所述A列像素点中的最高点与所述A列像素点中的参考路面点之间的高度差小于所述地面波动阈值,且所述A列像素点中的最低点与所述A列像素点中的参考路面点之间的高度差不小于所述地面波动阈值时,确定所述A列的类别属性为第四类别属性,所述第四类别属性用于指示所述A列像素点中可能存在路面标识线对应的点。
可选地,所述选取模块用于:
当所述A列的类别属性为所述第三类别属性或所述第四类别属性时,将所述A列像素点中与所述A列像素点的参考路面点之间的差值的绝对值小于所述地面波动阈值的像素点确定为所述路面候选点;
相应地,所述删除模块用于:
判断所述A列像素点中除所述路面候选点之外剩余的像素值不为0的像素点的数量是否小于预设数值;
当所述A列像素点中除所述路面候选点之外剩余的像素值不为0的像素点的数量小于所述预设数值时,将所述A列像素点中除所述路面候选点之外剩余的像素值不为0的像素点在所述视差图像中对应的点,以及所述路面候选点在所述视差图像中对应的点确定为所述视差图像中对障碍物的检测造成干扰的点,并进行删除。
可选地,所述装置还包括:
存储模块,用于基于所述路面候选点在所述V视差图中确定路面标识线,并对所述路面标识线进行存储。
第三方面,提供一种图像处理终端,所述终端包括:
处理器;
摄像头组件,用于采集图像,所述图像能够被所述处理器处理;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为上述第一方面所述的任一项方法的步骤。
第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质上存储有指令,所述指令被处理器执行时实现上述第一方面所述的任一项方法的步骤。
第五方面,提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面所述的图像处理方法。
本发明实施例提供的技术方案带来的有益效果是:获取待检测的视差图像对应的V视差图,对该V视差图中的每列像素点进行统计,并根据统计结果确定每列的类别属性,其中,该类别属性用于指示对应列的像素点中是否存在路面标识线或障碍物对应的点;基于每列的类别属性从对应像素点中选取路面候选点,并基于选取的路面候选点确定并删除视差图像中对障碍物的检测造成干扰的点。
由此可见,在本发明实施例中,可以通过对V视差图中的每列像素点进行统计分析来确定每列的类别属性,而每列的类别属性可以用于指示对应列的像素点中是否存在路面标识线或障碍物对应的点,而通过确定V视差图中每列像素点的类别属性实际上就确定了该V视差图中路面与障碍物对应的视差点的分布规律,这样,根据该类别属性从每列像素点中选取路面候选点,选取得到的路面候选点将更加贴合路面分布规律,进而确定的视差图像中的视差点也将更符合实际路面情况,在此基础上,对视差点进行删除可以有效的避免相关技术中对路面点误删或漏删的情况发生,从而准确的去除视差图像中对前方障碍物检测存在干扰的点。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种图像处理方法的系统架构图;
图2是本发明实施例提供的一种图像处理方法的流程图;
图3A是本发明实施例提供的一种图像处理方法的流程图;
图3B是本发明实施例提供的一种根据统计分析结果确定每列像素点的类别属性的流程图;
图4A是本发明实施例提供的一种图像处理装置的框图;
图4B是本发明实施例提供的一种分析模块的框图;
图5是本发明实施例提供的一种图像处理终端的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
在对本发明实施例进行详细的解释说明之前,先对本发明实施例的应用场景予以介绍。
高级驾驶辅助系统是一种通过图像处理和计算机视觉技术来处理雷达、传感器或者是摄像头采集到的路况图像,根据路况图像对前方行人、车辆做出预测,并在存在潜在危险的情况下对驾驶员进行预警或者是控制车辆紧急制动的系统。在高级驾驶辅助系统中,对前方障碍物的准确检测是进行有效预警的关键,而准确的从路况图像中提取路面,以去除路面对障碍物检测的干扰是保障障碍物检测准确性的先决条件。当前,通过对雷达采集到的路况图像进行处理以检测障碍物的方法由于受到雷达成本较高,检测范围较小的限制,并没有得到广泛的应用,而随着摄像头技术和计算机视觉技术的发展,采用双目摄像头采集路况图像,并通过计算机视觉技术处理图像来检测障碍物的方法则取得了较好的检测效果。本发明实施例提供的图像处理方法即可以应用于根据双目摄像头采集的路况图像检测障碍物的过程中,并且,该图像处理方法主要用于在确定障碍物之前对视差图像进行处理,以确定并删除视差图像中路面对应的视差点,从而去除路面对障碍物检测的干扰。
接下来对本发明实施例涉及的系统架构进行说明。
图1是本发明实施例提供的一种路面检测方法的系统架构图。如图1所示,该系统中包括汽车101、双目摄像头102和终端103。其中,双目摄像头102搭载在汽车101上,且双目摄像头102可以和终端103进行通信。
其中,双目摄像头102可以搭载在汽车101的前方且位于汽车101的纵轴线上。如图1中箭头所指位置。并且,将双目摄像头102搭载在汽车101上之后,可以对双目摄像头102进行标定。在汽车101行驶的过程中,双目摄像头102可以采集路况图像。
当双目摄像头102采集得到路况图像之后,可以将该路况图像发送至终端103,终端103可以对该路况图像进行处理,得到视差图像,之后,终端可以通过下述实施例中介绍的图像处理方法对该视差图像进行处理,从而将该视差图像中对前方障碍检测造成干扰的视差点进行删除。
需要说明的是,在本发明实施例中,终端103可以是汽车101上安装的车载终端,在这种情况下,双目摄像头102可以通过蓝牙、无线网络或者是有线网络与该终端103进行通信。
可选地,终端103和双目摄像头102可以是集成在一起的设备,也即是,终端103可以是集成有双目摄像头和图像处理功能芯片的终端。
可选地,终端103也可以是同时与多个汽车搭载的双目摄像头进行通信的终端。也即是,该终端103可以为专门用于接收多个汽车的双目摄像头返回的路况图像,并对路况图像进行分析的终端。
接下来对本发明实施例提供的图像处理方法的具体实现方式进行介绍。
图2是本发明实施例提供的一种图像处理方法,该方法可以用于图1所示的系统架构中的终端,该终端可以是车载终端,且该终端可以与车载双目摄像头进行通信。或者,该终端可以是同时集成有双目摄像头和图像处理功能的设备,如图2所示,该方法包括以下步骤:
步骤201:获取待处理的视差图像对应的V视差图。
其中,待处理的视差图像是对双目摄像头拍摄得到的路况图像进行处理后得到的视差图像。通过该视差图像,可以计算得到该视差图像对应的V视差图。
步骤202:对V视差图中的每列像素点进行统计分析,并根据统计分析结果确定每列的类别属性,类别属性用于指示对应列的像素点中是否存在路面标识线或障碍物对应的点。
在本发明实施例中,终端可以对V视差图中的每列像素点的个数、最高点、最低点等进行统计,以确定每列像素点的类别属性。
其中,路面标识线是指路面标识物在视差图像或V视差图中对应的直线。类别属性可以用于指示对应列的像素点中是否存在路面标识线或障碍物对应的点,也即,通过确定每列的类别属性可以确定出V视差图中路面和障碍物对应的点的分布情况,这样,后续根据该类别属性从每列像素点中选取路面候选点,选取得到的路面候选点将更加贴合路面分布规律。
需要说明的是,在本发明实施例中,类型属性主要可以包括第一类别属性、第二类别属性、第三类别属性和第四类别属性。其中,第一类别属性用于指示对应列像素点中存在路面标识线对应的点。第二类别属性用于指示对应列像素点中存在障碍物对应的点。第三类别属性用于指示对应列像素点中可能存在障碍物对应的点。第四类别属性用于指示对应列像素点中可能存在路面标识线对应的点。
步骤203:基于每列的类别属性,按照预设规则从对应列的像素点中选取路面候选点,并基于选取的路面候选点确定并删除视差图像中对障碍物的检测造成干扰的点。
当确定每列的类别属性之后,终端可以根据每列的类别属性来判定每列像素点中是否存在路面标识线或障碍物对应的点,进而从中选取路面候选点,这样,根据选取的路面候选点确定并删除在视差图像中对应的点,也即删除了视差图像中的路面对应的视差点,去除了路面对应的视差点对障碍物检测的干扰。
在本发明实施例中,终端可以通过对V视差图中的每列像素点进行统计分析来确定每列的类别属性,而每列的类别属性可以用于指示对应列的像素点中是否存在路面标识线或障碍物对应的点,也即,每列的类别属性实际上可以用于指示该V视差图中路面与障碍物对应的视差点的分布规律,这样,根据该类别属性从每列像素点中选取路面候选点,选取得到的路面候选点将更加贴合路面分布规律,进而基于该路面候选点确定的视差图像中的视差点也将更符合实际路面情况,在此基础上,对视差点进行删除可以有效的避免相关技术中对路面点误删或漏删的情况发生,从而准确的去除视差图像中对前方障碍物检测存在干扰的点。
参见图3A,提供了一种图像处理方法,该方法可以用于图1所示的系统架构中的终端,该终端可以是车载终端,且该终端可以与车载双目摄像头进行通信。或者,该终端可以是同时集成有双目摄像头和图像处理功能的设备,如图3A所示,该方法包括以下步骤:
步骤301:获取待处理的视差图像对应的V视差图。
通常,双目摄像头包括两个平行等位的摄像头,可以分别称为左摄像头和右摄像头,该双目摄像头可以搭载在汽车前端的正中央,也可以搭载在汽车车身两侧。汽车在行驶过程中,该双目摄像头可以通过左摄像头和右摄像头同时采集图像。其中,左摄像头采集的图像可以称为左图像,右摄像头采集的图像可以称为右图像。并且,可以将左图像确定为基准图像,将右图像确定为比较图像。通过该基准图像和比较图像,采用立体匹配算法可以计算得到基准图像对应的视差图像。终端可以在该视差图像中检测障碍物,因此,该视差图像也即本发明实施例中待处理的视差图像。
当获取到待处理的视差图像之后,终端可以计算该视差图像对应的V视差图。其中,为了提高障碍物检测的精度,可以在该视差图像中设置感兴趣区域,将该感兴趣区域作为该视差图像中待处理的区域。之后,终端可以根据该感兴趣区域生成对应的V视差图。
可选地,通常情况下,路面均是不平的,当路面存在坡度时,视差图像中的两条路面标识线在V视差图像中往往对应的不是一条直线,而有可能会对应斜率相同或不同的两条直线,并且,这两条直线的距离非常近,基于此,为了更好的去除视差图像中所有路面标识线对应的视差点,终端可以通过垂直于视差图像的横轴的直线将视差图像划分为多个子视差图,进而分别计算得到多个子视差图对应的V视差图。
基于上述描述,终端可以通过该视差图像计算得到一幅V视差图,也可以根据该视差图像划分得到多个子视差图,进而计算得到多个子视差图对应的多个V视差图。当终端计算得到一个V视差图时,终端可以通过下述步骤302-305对该V视差图进行处理,进而根据该V视差图返回视差图像中进行相应点的删除。如果终端计算得到多个V视差图,那么,对于该多个V视差图中的每个V视差图,终端均可以通过下述步骤302-305对每个V视差图进行处理,进而根据每个V视差图对视差图像相应地视差点进行删除。也就是说,无论终端计算得到几个V视差图,对于任一V视差图,均可以执行下述步骤302-305,这样,实际上终端可以基于每个V视差图对视差图像进行一次处理。
步骤302:对V视差图中的每列像素点进行统计分析,并根据统计分析结果确定每列的类别属性,类别属性用于指示对应列的像素点中是否存在路面标识线或障碍物对应的点。
当获取到待处理的视差图像对应的V视差图之后,终端可以对V视差图中的每列像素点进行统计分析,并根据统计分析结果确定每列的类别属性。
具体的,终端可以统计V视差图中每列像素点中像素值不为0的像素点的个数,得到第一数值;确定V视差图中每列像素点中像素值不为0的像素点中纵坐标最大的点,得到V视差图中每列像素点中的最高点,确定V视差图中每列像素点中像素值不为0的像素点中纵坐标最小的点,得到V视差图中每列像素点中的最低点;确定当前时刻之前确定得到的路面标识线在V视差图中对应的直线,基于确定的直线确定V视差图中每列像素点中的参考路面点;基于V视差图中每列像素点对应的第一数值、每列像素点中的最高点和最低点,以及每列像素点中的参考路面点,确定V视差图中每列的类别属性。
其中,根据V视差图的计算方法可知,V视差图的纵坐标与视差图像的纵坐标是一致的,也就是说,视差图像中有多少行像素点,那么,V视差图中就相应地有多少行像素点。这样,对于V视差图的每列包括的像素点的总数量即等于视差图像中像素点的行数。另外,任一列像素点中像素值为0的点代表在视差图像中该像素点所在的行对应的行中,视差值为该列所对应的视差值的点的个数为0,基于此,V视差图中这些像素值为0的点既不是路面对应的点,也不是障碍物对应的点,因此,在分析V视差图中的每列像素点时,可以将这些像素值为0的点排除,而只分析像素值不为0的点。基于此,终端可以统计V视差图的每列包括的所有像素点中像素值不为0的像素点,得到第一数值。
在对每列像素点中像素值不为0的像素点进行统计后,终端可以从这些像素值不为0的像素点中查找纵坐标最大的点以及纵坐标最小的点,从而得到每列像素点中的最高点和最低点。
除此之外,通常双目摄像头均是按照一定周期进行路况图像采集的,并且在采集到路况图像之后可以立即将该路况图像发送至终端,终端及时对该路况图像进行处理,从而实现对障碍物和路面的实时检测。换句话说,在车辆的行驶过程中,终端会对实时的对图像进行处理,这样,当终端在当前时刻对V视差图进行处理时,终端可以获取当前时刻之前的图像处理结果。其中,当前时刻之前可以为当前时刻之前最近一次,也可以为当前时刻之前的其他时刻,该图像处理结果可以包括终端在当前时刻之前通过确定的路面候选点在V视差图中拟合得到的用于指示路面标识线的直线。之后,终端可以基于获取的直线确定该直线在当前的V视差图中对应的直线,也即,终端可以根据当前时刻之前确定的路面标识线确定一条直线作为当前时刻V视差图中的参考路面标识线,而该参考路面标识线在V视差图中所经过的像素点则是该像素点所在列的参考路面点。
需要说明的是,通常由于双目摄像头采集图像的频率较高,且采集的图像的尺寸是相同的,因此,相同物体在当前时刻之前最近一次处理的图像中的像素点坐标和在当前时刻正在处理的图像中的像素点坐标相差比较小。基于此,终端可以根据当前时刻之前最近一次确定的路面标识线在当前时刻之前的V视差图中的位置,作为该路面标识线在当前时刻的V视差图中的位置,从而确定得到该路面标识线在该V视差图中对应的直线。
当确定了V视差图中每列像素点中的路面参考点之后,终端可以根据前述统计分析得到的第一数值、每列像素点中的最高点、最低点以及每列像素点中的参考路面点,确定V视差图中每列的类别属性。可选地,终端还可以创建该V视差图对应的信息记录表,其中,该V视差图中的每一列对应信息记录表中的一个记录单元,该记录单元中可以存储有对应列的统计分析结果,也即,存储对应列的第一数值、最高点、最低点和参考路面点。
接下来,本发明实施例将以V视差图中的任一列为例来说明终端确定每列的类别属性的具体实现过程,其中,将该列记为A,如图3B所示,该实现过程可以包括以下步骤:
3021:对于V视差图中的任一列A,当A列像素点对应的第一数值不为0时,确定A列像素点中的最高点和最低点之间的高度差。
其中,当A列像素点对应的第一数值不为0时,说明A列像素点中有可能存在路面标识线或者障碍物对应的点,在这种情况下,终端可以进一步的确定A列像素点中最高点和最低点之间的高度差。其中,该高度差为A列像素点中最高点的纵坐标和最低点的纵坐标的差。
3022:判断A列像素点中的最高点和最低点之间的高度差是否小于预设障碍物高度阈值。
当确定A列像素点中的最高点和最低点之间的高度差之后,终端可以进一步的判断该高度差是否小于预设障碍物高度阈值。当该高度差小于预设障碍物高度阈值时,终端可以执行步骤3024,当该高度差不小于预设障碍物高度阈值时,终端则可以执行步骤3023。
其中,该预设障碍物高度阈值是根据预先设置的障碍物距离路面的最低高度换算到图像坐标系中得到的高度阈值。在实际应用中,预先设置的障碍物距离路面的最低高度可以是车辆底盘与路面之间的高度,并且,考虑到检测误差等因素的影响,为了能够更准确的确定出所有的路面候选点,可以相应地在障碍物距离路面的最低高度的基础上将预设障碍物高度阈值设置的较大一些。
需要说明的是,在一种可能的实现方式中,预设障碍物高度阈值可以是以参考路面点为中间值,通过最大值和最小值表示的一个范围,例如,假设参考路面点的纵坐标为y1,那么,预设障碍物高度阈值可以表示为(y1-a,y1+a),在这种情况下,终端在判断最高点和最低点之间的高度差是否小于预设障碍物高度阈值时,也可以判断最高点的纵坐标是否小于y1+a,以及最低点的纵坐标是否小于y1-a,若最高点的纵坐标小于y1+a,最低点的纵坐标小于y1-a,那么,则可以确定A列像素点中的最高点和最低点之间的高度差小于预设障碍物高度阈值;若最高点的纵坐标小于y1+a,最低点的纵坐标不小于y1-a,或者,若最高点的纵坐标不小于y1+a,最低点的纵坐标小于y1-a,则可以进一步的判断最高点与最低点之间的差是否小于2a,若小于,则可以确定A列像素点中的最高点和最低点之间的高度差小于预设障碍物高度阈值;对于其他情况,则可以确定A列像素点中的最高点和最低点之间的高度差不小于预设障碍物高度阈值。
3023:当A列像素点中的最高点和最低点之间的高度差不小于预设障碍物高度阈值时,确定A列的类别属性为第二类别属性,第二类别属性用于指示A列像素点中存在障碍物对应的点。
由于预设障碍物高度阈值是根据障碍物距离地面的最低高度进行设置的,并且,该高度阈值大于实际中的最低高度,因此,当通过步骤3022确定A列像素点中的最高点和最低点之间的高度差不小于预设障碍物高度阈值时,则说明A列像素点中的部分像素点已经位于障碍物的高度范围之内,在这种情况下,终端可以确定A列像素点中必定存在障碍物对应的点,因此,可以将A列的类别属性确定为第二类别属性。
3024:当A列像素点中的最高点和最低点之间的高度差小于预设障碍物高度阈值时,判断A列像素点中的最高点与参考路面点之间的高度差以及A列像素点中的最低点与参考路面点之间的高度差是否均小于地面波动阈值。
其中,通过步骤3022判断A列像素点中的最高点和最低点之间的高度差是否小于预设障碍物高度阈值之后,如果小于,则说明A列像素点中,像素值不为0的点整体的分布范围未超出预设障碍物高度阈值。在这种情况下,如果最高点和最低点与参考路面点的距离足够近,则可以说明A列像素点中必定存在路面标识线对应的点。基于此,终端在确定A列像素点中的最高点和最低点之间的高度差小于预设障碍物高度阈值时,可以进一步的判断最高点和参考路面点之间的高度差以及最低点与参考路面点之间的高度差是否均小于地面波动阈值。可选的,该地面波动阈值是预先设置的路面局部高低不平时路面的最高点和最地点之间的差值的一半。
若A列像素点中的最高点与参考路面点之间的高度差以及最低点与参考路面点之间的高度差均小于地面波动阈值,则终端可以执行步骤3025,若二者不是均小于地面波动阈值,那么,有可能是最高点与路面参考点之间的高度差不小于地面波动阈值,也可能是最高点与参考路面点之间的高度差小于地面波动阈值,但是最低点与参考路面点之间的高度差不小于地面波动阈值,如果为第一种情况,则终端可以执行步骤3026,若为第二种情况,则终端可以执行步骤3027。
3025:当A列像素点中的最高点与参考路面点之间的高度差以及A列像素点中的最低点与参考路面点之间的高度差均小于地面波动阈值时,确定A列的类别属性为第一类别属性,第一类别属性用于指示A列像素点中存在路面标识线对应的点。
当通过步骤3024确定A列像素点中的最高点与参考路面点以及最低点与参考路面点之间的高度差均小于地面波动阈值时,则说明A列像素点中的最高点和最低点距离参考地面点均较近,进一步的,由于A列像素点中像素值不为0的像素点全部都位于最高点和最低点之间,因此,也就说明A列中所有的像素点均位于参考路面点附近允许的波动范围之内,在这种情况下,则可以确定A列必定存在路面标识线对应的点,因此,终端可以将A列的类别属性确定为第一类别属性。
3026:当A列像素点中的最高点与参考路面点之间的高度差不小于地面波动阈值时,确定A列的类别属性为第三类别属性,第三类别属性用于指示A列像素点中可能存在障碍物对应的点。
当通过步骤3024确定A列像素点中的最高点与参考路面点之间的高度差不小于地面波动阈值时,结合前述已经确定最高点与最低点之间的差值小于预设障碍物高度阈值,因此,该最高点此时有可能在障碍物高度范围之内,在这种情况下,A列像素点中将存在障碍物对应的点,当然,该最高点也有可能不在障碍物高度范围之内,在这种情况下,A列像素点中将不存在障碍物对应的点。综上可知,当A列像素点中的最高点与参考路面点之间的高度差不小于地面波动阈值时,该A列像素点中可能存在障碍物对应的点,也可能不存在,因此,终端可以将A列的类别属性确定为第三类别属性,该第三类别属性即用于指示A列像素点中可能存在障碍物对应的点。
3027:当A列像素点中的最高点与参考路面点之间的高度差小于地面波动阈值,且A列像素点中的最低点与参考路面点之间的高度差不小于地面波动阈值时,确定A列的类别属性为第四类别属性,第四类别属性用于指示A列像素点中可能存在路面标识线对应的点。
当通过步骤3024确定A列像素点中的最高点与参考路面点之间的高度差小于地面波动阈值,且A列像素点中的最低点与参考路面点之间的高度差不小于地面波动阈值时,则说明A列像素点中的最高点距离地面较近,但是最低点距离地面较远,在这种情况下,有可能最高点和最低点之间的所有像素点均是路面标识线对应的点,只是因为参考地面点存在一定的偏差才导致最低点与参考路面点之间的高度差超出了地面波动阈值,或者,也有可能最高点和最低点之间的所有像素点均不是路面标识线对应的点,或者,有可能最高点与最低点之间仅有部分像素点是路面标识线对应的点,而剩余的像素点有可能是误差点,也有可能是其他的像素点。综上可知,当A列像素点中的最高点与参考路面点之间的高度差小于地面波动阈值,且A列像素点中的最低点与参考路面点之间的高度差不小于地面波动阈值时,该A列像素点中可能全部或者部分的像素点为路面标识线对应的点,也可能不存在路面标识线对应的点,因此,终端可以将A列的类别属性确定为第四类别属性,该第四类别属性即可以用于指示A列像素点中可能存在路面标识线对应的点。
步骤303:基于每列的类别属性,按照预设规则从对应列的像素点中选取路面候选点。
当确定每列的类别属性之后,终端可以基于每列的类别属性,按照预设规则从对应列的像素点中选取路面候选点。其中,根据类别属性的不同,终端可以按照不同的规则选择对应列中像素点作为路面候选点。接下来将仍以V视差图中的任一列A为例来说明基于类别属性选取路面候选点的具体实现过程。
当A列的类别属性为第一类别属性时,由于该第一类别属性就是用于指示A列中的全部像素点均为路面标识线对应的点,因此,终端可以直接将A列中的全部像素点均确定为路面候选点。
当A列的类别属性为第二类别属性时,该第二类别属性用于指示A列像素点中必定存在障碍物对应的点,并且,考虑到障碍物的底边缘一般均位于地面上,其对应的视差与路面的视差非常接近,因此,障碍物中位于地面上的底边缘的点实际上也可以用于拟合地面,因此,终端可以将障碍物底边缘对应的像素点也作为路面候选点。具体的,障碍物底边缘对应的点与路面的距离可能非常小甚至为0,也就是说,障碍物底边缘对应的点必定在地面波动范围之内,因此,终端可以通过地面波动阈值从A列像素点中选出一部分点作为路面候选点。具体的,终端可以将A列像素点中与参考路面点之间的差值的绝对值小于地面波动阈值的像素点均确定为路面候选点。
当A列的类别属性为第三类别属性时,该第三类别属性用于指示A列像素点中可能存在障碍物对应的点,在这种情况下,考虑到A列像素点中可能存在障碍物,而且如果存在障碍物,位于障碍物底边缘的点也可以作为路面候选点,因此,终端同样可以利用地面波动阈值作为约束,从A列像素点中选取距离地面较近的点作为路面候选点。具体的,终端可以将A列像素点中与参考路面点之间的差值的绝对值小于地面波动阈值的像素点确定为路面候选点。
当A列的类别属性为第四类别属性时,该第四类别属性用于指示A列像素点中可能存在路面标识线对应的点,在这种情况下,考虑到A列像素点中可能存在路面标识线对应的点,且如果存在路面标识线对应的点,那么,这些点必然位于参考路面点附近允许的地面波动范围之内,因此,终端可以将A列像素点中与参考路面点之间的差值的绝对值小于地面波动阈值的像素点确定为路面候选点。
步骤304:基于路面候选点在V视差图中确定路面标识线,并对路面标识线进行存储。
当基于每列的类别属性从每列像素点中选取出路面候选点之后,终端可以通过最小二乘法或霍夫变换等直线拟合算法对选取得到的所有路面候选点进行直线拟合,从而得到路面标识线。
可选地,当终端确定路面标识线之后,终端还可以将该路面标识线在V视差图中的位置进行存储,以便终端在对下一帧图像进行处理时,以该路面标识线确定参考路面点。
步骤305:基于选取的路面候选点确定并删除视差图像中对障碍物的检测造成干扰的点。
在一种可能的实现方式中,当终端选取路面候选点之后,终端可以将选取的路面候选点在视差图像中对应的点确定为对障碍物的检测造成干扰的点,并对这些点进行删除,以此来去除这些点对障碍物检测的干扰。
具体的,终端可以以V视差图中的列为单位,根据每列中的路面候选点,逐一返回到视差图像中确定对应的视差点,之后,终端可以将确定的视差图像中的视差点进行删除,与此同时,终端还可以将V视差图中每列的路面候选点也进行相应的删除。当对每列像素点中的路面候选点进行删除之后,终端还可以进一步的根据每列的类别属性对每列中剩余的像素值不为0的像素点进行处理。接下来,将仍以V视差图中的任一列A为例进行解释说明。
当A列的类别属性为第一类别属性时,A列中的所有像素点则均为路面候选点,也即是,终端在对每列像素点中的路面候选点进行删除后,对于类别属性的第一类别属性的任一列A,A列中的全部像素值不为0的点均被删除,这样,A列中将没有剩余的像素点。因此,对于类别属性为第一类别属性的列,在终端将该列中的路面候选点进行删除之后,将不存在剩余的像素点,因此,对于该列的处理将结束。
当A列的类别属性为第二类别属性、第三类别属性或第四类别属性时,终端将A列像素点中的路面候选点进行删除之后,将还会存在剩余的像素点,在这种情况下,终端可以进一步的判断A列像素点中像素值不为0的像素点的数量是否小于预设数值,若小于预设数值,则将剩余的像素点均确定为误差波动点。在这种情况下,终端可以将剩余的像素点以及其在视差图像中对应的视差点均进行删除。
在另一种可能的实现方式中,当终端基于路面候选点在V视差图中确定路面标识线之后,终端可以用该路面标识线去更新在上一帧图像中最近一次确定的路面标识线,并通过该路面标识线重新确定参考路面点,之后,终端可以重新确定每列像素点的类别属性,并根据每列像素点的类别属性重新确定路面候选点。当重新确定路面候选点之后,终端可以将重新确定的路面候选点以及其在视差图像中对应的点进行删除,并参考上述实现方式中对剩余点的处理方法对每列像素点中剩余的像素点进行删除。
在本发明实施例中,终端可以获取待检测的视差图像对应的V视差图,对该V视差图中的每列像素点进行统计,并根据统计结果确定每列像素点的类别属性,其中,该类别属性用于指示对应列的像素点中是否存在路面标识线或障碍物对应的点;基于每列像素点的类别属性从对应像素点中选取路面候选点,并基于选取的路面候选点确定并删除视差图像中对前方障碍物的检测造成干扰的点。由此可见,在本发明实施例中,可以通过对V视差图中的每列像素点进行统计分析来确定每列像素点的类别属性,而通过确定V视差图中每列像素点的类别属性实际上就确定了该V视差图中路面与障碍物对应的视差点的分布规律,这样,根据该类别属性从每列像素点中选取路面候选点,选取得到的路面候选点将更加贴合路面分布规律,进而基于该路面候选点确定的视差图像中的视差点也将更符合实际路面情况,在此基础上,对视差点进行删除可以有效的避免相关技术中对路面点误删或漏删的情况发生,从而准确的去除视差图像中对前方障碍物检测存在干扰的点。
接下来对本发明实施例提供的图像处理装置进行介绍。
图4A是本发明实施例提供的一种图像处理装置400,参见图4A,该装置400包括:
获取模块401,用于获取待处理的视差图像对应的V视差图;
分析模块402,用于对V视差图中的每列像素点进行统计分析,并根据统计分析结果确定每列的类别属性,类别属性用于指示对应列的像素点中是否存在路面标识线或障碍物对应的点;
选取模块403,用于基于每列的类别属性,按照预设规则从对应列的像素点中选取路面候选点;
删除模块404,用于基于选取的路面候选点确定并删除视差图像中对障碍物的检测造成干扰的点。
可选地,参见图4B,分析模块402包括:
统计子模块4021,用于统计V视差图中每列像素点中像素值不为0的像素点的个数,得到第一数值;
第一确定子模块4022,用于确定V视差图中每列像素点中像素值不为0的像素点中纵坐标最大的点,得到V视差图中每列像素点中的最高点,确定V视差图中每列像素点中像素值不为0的像素点中纵坐标最小的点,得到V视差图中每列像素点中的最低点;
第二确定子模块4023,用于确定当前时刻之前确定得到的路面标识线在V视差图中对应的直线,基于确定的直线确定V视差图中每列像素点中的参考路面点;
第三确定子模块4024,用于基于V视差图中每列像素点对应的第一数值、每列像素点中的最高点和最低点,以及每列像素点中的参考路面点,确定V视差图中每列的类别属性。
可选地,第三确定子模块4024用于:
将V视差图中的任一列记为A列,当A列像素点对应的第一数值不为0时,确定A列像素点中的最高点和最低点之间的高度差;
当A列像素点中的最高点和最低点之间的高度差小于预设障碍物高度阈值,且A列像素点中的最高点与A列像素点中的参考路面点之间的高度差以及A列像素点中的最低点与A列像素点中的参考路面点之间的高度差均小于地面波动阈值时,确定A列的类别属性为第一类别属性,第一类别属性用于指示A列像素点中存在路面标识线对应的点。
可选地,选取模块403用于:
当A列的类别属性为第一类别属性时,将A列像素点确定为路面候选点;
相应地,删除模块404用于:
将路面候选点在视差图像中对应的点确定为视差图像中对障碍物的检测造成干扰的点,并进行删除。
可选地,第三确定子模块4024还用于:
当A列像素点中的最高点和最低点之间的高度差不小于预设障碍物高度阈值时,确定A列的类别属性为第二类别属性,第二类别属性用于指示A列像素点中存在障碍物对应的点。
可选地,选取模块403用于:
当A列的类别属性为第二类别属性时,将A列像素点中与A列像素点的参考路面点之间的差值的绝对值小于地面波动阈值的像素点确定为路面候选点;
相应地,删除模块404用于:
将路面候选点在视差图像中对应的点确定为视差图像中对障碍物的检测造成干扰的点,并进行删除。
可选地,第三确定子模块4024还用于:
当A列像素点中的最高点与A列像素点中的参考路面点之间的高度差不小于地面波动阈值,则确定A列的类别属性为第三类别属性,第三类别属性用于指示A列像素点中可能存在障碍物对应的点;
当A列像素点中的最高点与A列像素点中的参考路面点之间的高度差小于地面波动阈值,且A列像素点中的最低点与A列像素点中的参考路面点之间的高度差不小于地面波动阈值时,确定A列的类别属性为第四类别属性,第四类别属性用于指示A列像素点中可能存在路面标识线对应的点。
可选地,选取模块403用于:
当A列的类别属性为第三类别属性或第四类别属性时,将A列像素点中与A列像素点中的参考路面点之间的差值的绝对值小于地面波动阈值的像素点确定为路面候选点;
相应地,删除模块404用于:
判断A列像素点中除路面候选点之外剩余的像素值不为0的像素点的数量是否小于预设数值;
当A列像素点中除路面候选点之外剩余的像素值不为0的像素点的数量小于预设数值时,将A列像素点中除路面候选点之外剩余的像素值不为0的像素点在视差图像中对应的点,以及路面候选点在视差图像中对应的点确定为视差图像中对障碍物的检测造成干扰的点,并进行删除。
可选地,该装置还包括:
存储模块,用于基于路面候选点在V视差图中确定路面标识线,并对路面标识线进行存储。
在本发明实施例中,终端可以通过对V视差图中的每列像素点进行统计分析来确定每列的类别属性,而每列的类别属性可以用于指示对应列的像素点中是否存在路面标识线或障碍物对应的点,也即,每列的类别属性实际上可以用于指示该V视差图中路面与障碍物对应的视差点的分布规律,这样,根据该类别属性从每列像素点中选取路面候选点,选取得到的路面候选点将更加贴合路面分布规律,进而基于该路面候选点确定的视差图像中的视差点也将更符合实际路面情况,在此基础上,对视差点进行删除可以有效的避免相关技术中对路面点误删或漏删的情况发生,从而准确的去除视差图像中对前方障碍物检测存在干扰的点。
需要说明的是:上述实施例提供的图像处理装置在进行图像处理时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本实施例提供了一种图像处理终端500,该图像处理终端500可以用于执行上述实施例中提供的图像处理方法。该图像处理终端500可以是便携式移动终端,比如:智能手机、平板电脑和笔记本电脑或台式电脑,该图像处理终端500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
参见图5,通常,该图像处理终端500包括:处理器501和存储器502。
处理器501是该图像处理终端500的控制中心,利用各种接口和线路连接整个该图像处理终端的各个部分,通过运行或执行存储在存储器502内的软件程序和/或模块,以及调用存储在存储器502内的数据,执行图像处理终端500的各种功能和处理数据,从而对该图像处理终端进行整体监控。可选的,处理器501可包括一个或多个处理核心;可选的,处理器501可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器501中。
存储器502可用于存储软件程序以及模块,处理器501通过运行存储在存储器502的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器502可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据图像处理终端500的使用所创建的数据(比如采集到的图像、计算得到的视差图像或者处理得到的灰度图像等)等。此外,存储器502可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器502还可以包括存储器控制器,以提供处理器501对存储器502的访问。
在一些实施例中,终端500还可选包括有:外围设备接口503和至少一个外围设备。处理器501、存储器502和外围设备接口503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口503相连。具体地,外围设备包括:射频电路504、触摸显示屏505、摄像头506、音频电路507、定位组件508和电源509中的至少一种。
其中,摄像头组件506用于采集图像或视频。可选地,摄像头组件506可以包括至少两个摄像头。在一些实施例中,至少两个摄像头可以分别为双目摄像头中的左右摄像头。在一些实施例中,摄像头组件506还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
尽管未示出,该图像处理终端500还可以包括各种传感器等,在此不再赘述。具体在本实施例中,该图像处理终端还包括有一个或者一个以上的程序,其中一个或者一个以上程序存储于存储器中,且经配置由一个或者一个以上处理器执行。所述一个或者一个以上程序包含用于执行上述实施例中提供的图像处理方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器502,上述指令可由该图像处理终端500的处理器501执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由该图像处理终端的处理器执行时,使得该图像处理终端能够执行上述实施例中提供的图像处理方法。
需要说明的是,上述实施例提供的图像处理装置可以包括前述实施例的图像处理装置,上述实施例提供的图像处理装置与前述实施例的图像处理装置以及图像处理方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像处理方法,其特征在于,所述方法包括:
获取待处理的视差图像对应的V视差图;
对所述V视差图中的每列像素点进行统计分析,并根据统计分析结果确定每列的类别属性,所述类别属性用于指示对应列的像素点中是否存在路面标识线或障碍物对应的点;
基于每列的类别属性,按照预设规则从对应列的像素点中选取路面候选点,并基于选取的路面候选点确定并删除所述视差图像中对障碍物的检测造成干扰的点。
2.根据权利要求1所述的方法,其特征在于,所述对所述V视差图中的每列像素点进行统计分析,并根据统计分析结果确定每列的类别属性,包括:
统计所述V视差图中每列像素点中像素值不为0的像素点的个数,得到第一数值;
确定所述V视差图中每列像素点中像素值不为0的像素点中纵坐标最大的点,得到所述V视差图中每列像素点中的最高点,确定所述V视差图中每列像素点中像素值不为0的像素点中纵坐标最小的点,得到所述V视差图中每列像素点中的最低点;
确定当前时刻之前确定得到的路面标识线在所述V视差图中对应的直线,基于确定的直线确定所述V视差图中每列像素点中的参考路面点;
基于所述V视差图中每列像素点对应的第一数值、每列像素点中的最高点和最低点,以及每列像素点中的参考路面点,确定所述V视差图中每列的类别属性。
3.根据权利要求2所述的方法,其特征在于,所述基于所述V视差图中每列像素点对应的第一数值、每列像素点中的最高点和最低点,以及每列像素点中的参考路面点,确定所述V视差图中每列的类别属性,包括:
将所述V视差图中的任一列记为A列,当所述A列像素点对应的第一数值不为0时,确定所述A列像素点中的最高点和最低点之间的高度差;
当所述A列像素点中的最高点和最低点之间的高度差小于预设障碍物高度阈值,且所述A列像素点中的最高点与所述A列像素点中的参考路面点之间的高度差以及所述A列像素点中的最低点与所述A列像素点中的参考路面点之间的高度差均小于所述地面波动阈值时,确定所述A列的类别属性为第一类别属性,所述第一类别属性用于指示所述A列像素点中存在路面标识线对应的点。
4.根据权利要求3所述的方法,其特征在于,所述基于每列的类别属性,按照预设规则从对应列的像素点中选取路面候选点,包括:
当所述A列的类别属性为所述第一类别属性时,将所述A列像素点确定为路面候选点;
相应地,所述基于选取的路面候选点确定并删除所述视差图像中对障碍物的检测造成干扰的点,包括:
将所述路面候选点在所述视差图像中对应的点确定为所述视差图像中对障碍物的检测造成干扰的点,并进行删除。
5.根据权利要求3所述的方法,其特征在于,所述确定所述A列像素点中的最高点和最低点之间的高度差之后,还包括:
当所述A列像素点中的最高点和最低点之间的高度差不小于所述预设障碍物高度阈值时,确定所述A列的类别属性为第二类别属性,所述第二类别属性用于指示所述A列像素点中存在障碍物对应的点。
6.根据权利要求5所述的方法,其特征在于,所述基于每列的类别属性,按照预设规则从对应列的像素点中选取路面候选点,包括:
当所述A列的类别属性为所述第二类别属性时,将所述A列像素点中与所述A列像素点的参考路面点之间的差值的绝对值小于所述地面波动阈值的像素点确定为所述路面候选点;
相应地,所述基于选取的路面候选点确定并删除所述视差图像中对障碍物的检测造成干扰的点,包括:
将所述路面候选点在所述视差图像中对应的点确定为所述视差图像中对障碍物的检测造成干扰的点,并进行删除。
7.根据权利要求3所述的方法,其特征在于,所述方法还包括:
当所述A列像素点中的最高点和最低点之间的高度差小于预设障碍物高度阈值,且所述A列像素点中的最高点与所述A列像素点中的参考路面点之间的高度差不小于所述地面波动阈值时,确定所述A列的类别属性为第三类别属性,所述第三类别属性用于指示所述A列像素点中可能存在障碍物对应的点;
当所述A列像素点中的最高点和最低点之间的高度差小于预设障碍物高度阈值,且所述A列像素点中的最高点与所述A列像素点中的参考路面点之间的高度差小于所述地面波动阈值,且所述A列像素点中的最低点与所述A列像素点中的参考路面点之间的高度差不小于所述地面波动阈值时,确定所述A列的类别属性为第四类别属性,所述第四类别属性用于指示所述A列像素点中可能存在路面标识线对应的点。
8.根据权利要求7所述的方法,其特征在于,所述基于每列的类别属性,按照预设规则从对应列的像素点中选取路面候选点,包括:
当所述A列的类别属性为所述第三类别属性或所述第四类别属性时,将所述A列像素点中与所述A列像素点中的参考路面点之间的差值的绝对值小于所述地面波动阈值的像素点确定为所述路面候选点;
相应地,所述基于选取的路面候选点确定并删除所述视差图像中对障碍物的检测造成干扰的点,包括:
判断所述A列像素点中除所述路面候选点之外剩余的像素值不为0的像素点的数量是否小于预设数值;
当所述A列像素点中除所述路面候选点之外剩余的像素值不为0的像素点的数量小于所述预设数值时,将所述A列像素点中除所述路面候选点之外剩余的像素值不为0的像素点在所述视差图像中对应的点,以及所述路面候选点在所述视差图像中对应的点确定为所述视差图像中对障碍物的检测造成干扰的点,并进行删除。
9.一种图像处理装置,其特征在于,所述装置包括:
获取模块,用于获取待处理的视差图像对应的V视差图;
分析模块,用于对所述V视差图中的每列像素点进行统计分析,并根据统计分析结果确定每列的类别属性,所述类别属性用于指示对应列的像素点中是否存在路面标识线或障碍物对应的点;
选取模块,用于基于每列的类别属性,按照预设规则从对应列的像素点中选取路面候选点;
删除模块,用于基于选取的路面候选点确定并删除所述视差图像中对障碍物的检测造成干扰的点。
10.一种图像处理终端,其特征在于,所述终端包括:
处理器;
摄像头组件,用于采集图像,所述图像能够被所述处理器处理;
用于存储所述处理器可执行指令的存储器;
其中,所述处理器被配置为权利要求1-8所述的任一项方法的步骤。
CN201810201752.2A 2018-03-12 2018-03-12 一种图像处理方法、装置及终端 Active CN108319931B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810201752.2A CN108319931B (zh) 2018-03-12 2018-03-12 一种图像处理方法、装置及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810201752.2A CN108319931B (zh) 2018-03-12 2018-03-12 一种图像处理方法、装置及终端

Publications (2)

Publication Number Publication Date
CN108319931A true CN108319931A (zh) 2018-07-24
CN108319931B CN108319931B (zh) 2020-11-06

Family

ID=62901680

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810201752.2A Active CN108319931B (zh) 2018-03-12 2018-03-12 一种图像处理方法、装置及终端

Country Status (1)

Country Link
CN (1) CN108319931B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909569A (zh) * 2018-09-17 2020-03-24 深圳市优必选科技有限公司 路况信息识别方法及终端设备
CN111724431A (zh) * 2019-03-22 2020-09-29 北京地平线机器人技术研发有限公司 视差图的获得方法、装置和电子设备
CN113124636A (zh) * 2019-12-31 2021-07-16 海信集团有限公司 冰箱
WO2022166606A1 (zh) * 2021-02-07 2022-08-11 华为技术有限公司 一种目标检测方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103177236A (zh) * 2011-12-22 2013-06-26 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置
US9373043B2 (en) * 2011-12-09 2016-06-21 Ricoh Company, Ltd. Method and apparatus for detecting road partition
CN105740802A (zh) * 2016-01-28 2016-07-06 北京中科慧眼科技有限公司 基于视差图的障碍物检测方法和装置及汽车驾驶辅助系统
JP6131704B2 (ja) * 2012-05-11 2017-05-24 株式会社リコー 連続型道路分割体の検知方法及び連続型道路分割体の検知装置
CN107909036A (zh) * 2017-11-16 2018-04-13 海信集团有限公司 一种基于视差图的道路检测方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9373043B2 (en) * 2011-12-09 2016-06-21 Ricoh Company, Ltd. Method and apparatus for detecting road partition
CN103177236A (zh) * 2011-12-22 2013-06-26 株式会社理光 道路区域检测方法和装置、分道线检测方法和装置
JP6131704B2 (ja) * 2012-05-11 2017-05-24 株式会社リコー 連続型道路分割体の検知方法及び連続型道路分割体の検知装置
CN105740802A (zh) * 2016-01-28 2016-07-06 北京中科慧眼科技有限公司 基于视差图的障碍物检测方法和装置及汽车驾驶辅助系统
CN107909036A (zh) * 2017-11-16 2018-04-13 海信集团有限公司 一种基于视差图的道路检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
IMAD BENACER.ET AL: ""A Novel Stereovision Algorithm for Obstacles Detection Based on U-V-Disparity Approach"", 《IEEE INTERNATIONAL SYSPOSIUM ON CIRCUITS AND SYSTEMS》 *
林川等: ""基于V-视差的障碍物检测改进方法"", 《科学技术与工程》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110909569A (zh) * 2018-09-17 2020-03-24 深圳市优必选科技有限公司 路况信息识别方法及终端设备
CN110909569B (zh) * 2018-09-17 2022-09-23 深圳市优必选科技有限公司 路况信息识别方法及终端设备
CN111724431A (zh) * 2019-03-22 2020-09-29 北京地平线机器人技术研发有限公司 视差图的获得方法、装置和电子设备
CN111724431B (zh) * 2019-03-22 2023-08-08 北京地平线机器人技术研发有限公司 视差图的获得方法、装置和电子设备
CN113124636A (zh) * 2019-12-31 2021-07-16 海信集团有限公司 冰箱
CN113124636B (zh) * 2019-12-31 2022-05-24 海信集团有限公司 冰箱
WO2022166606A1 (zh) * 2021-02-07 2022-08-11 华为技术有限公司 一种目标检测方法及装置

Also Published As

Publication number Publication date
CN108319931B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN108319931A (zh) 一种图像处理方法、装置及终端
CN116912793A (zh) 一种路面识别方法和装置
CN110728650B (zh) 一种基于智能终端的井盖凹陷检测方法及相关设备
CN109918977B (zh) 确定空闲车位的方法、装置及设备
WO2008130219A1 (en) Method of and apparatus for producing road information
CN108229406A (zh) 一种车道线检测方法、装置及终端
CN110610137B (zh) 检测车辆行驶状态的方法、装置以及电子设备、存储介质
CN108596899A (zh) 道路平坦性检测方法、装置及设备
CN108197590B (zh) 一种路面检测方法、装置、终端及存储介质
CN111243003B (zh) 车载双目摄像机及其检测道路限高杆的方法、装置
CN112598668B (zh) 基于三维图像的缺陷识别方法、装置及电子设备
KR20190036897A (ko) 타이어의 마모도 측정 장치, 방법 및 컴퓨터 판독 가능한 기록매체
CN108230680B (zh) 一种车辆行为信息获取方法、装置及终端
CN111325088B (zh) 信息处理系统、记录介质以及信息处理方法
CN108981729A (zh) 车辆定位方法和装置
CN114724104B (zh) 一种视认距离检测的方法、装置、电子设备、系统及介质
CN107958222A (zh) 一种路面检测方法、装置及终端
CN116229446A (zh) 路面文字识别的处理方法、装置及介质
JP2005084012A (ja) 肌形状計測方法及び肌形状計測装置
CN114187585A (zh) 一种针对遮挡牌照车辆的智能识别方法和系统
CN109740524B (zh) 单目视觉的车辆监测方法及装置
CN114897686A (zh) 车辆图像的拼接方法、装置、计算机设备和存储介质
CN113869407A (zh) 一种基于单目视觉的车长测量方法和装置
CN109344677B (zh) 识别立体物的方法、装置、车辆和存储介质
CN108416305B (zh) 连续型道路分割物的位姿估计方法、装置及终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant