CN108122237A - 一种基于超像素生成的行车环境图像分割方法与装置 - Google Patents

一种基于超像素生成的行车环境图像分割方法与装置 Download PDF

Info

Publication number
CN108122237A
CN108122237A CN201711414100.9A CN201711414100A CN108122237A CN 108122237 A CN108122237 A CN 108122237A CN 201711414100 A CN201711414100 A CN 201711414100A CN 108122237 A CN108122237 A CN 108122237A
Authority
CN
China
Prior art keywords
pixel
environment image
generation
result
cluster
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711414100.9A
Other languages
English (en)
Inventor
王力
崔峰
孟然
朱海涛
姜安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhong Ke Hui Yan Technology Ltd
Beijing Smarter Eye Technology Co Ltd
Original Assignee
Beijing Zhong Ke Hui Yan Technology Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhong Ke Hui Yan Technology Ltd filed Critical Beijing Zhong Ke Hui Yan Technology Ltd
Priority to CN201711414100.9A priority Critical patent/CN108122237A/zh
Publication of CN108122237A publication Critical patent/CN108122237A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于超像素生成的行车环境图像分割方法与装置,用于对行车过程中采集到的复杂的周遭环境进行有效的图像分割,该基于超像素生成的行车环境图像分割方法包括:对行车环境图像进行超像素生成,得到一生成结果;对所述生成结果进行聚类处理并得到聚类结果;对所述聚类结果进行区域划分并获取所述行车环境图像中的驾驶区域。本发明基于超像素生成,对行车过程中采集到的复杂的周遭环境进行有效的图像分割,形成有语义的区域划分。对应对复杂多变的交通环境,判断当前驾驶情况的安全程度,以及辅助驾驶员了解行驶状况,有极大的帮助。

Description

一种基于超像素生成的行车环境图像分割方法与装置
技术领域
本发明涉及数字图像处理技术领域,尤其涉及一种基于超像素生成的行车环境图像分割方法与装置。
背景技术
近年来,随着我国公路交通运输网络的完善、物流事业的蓬勃发展、以及人民生活水平的提高,人们会越来越倾向于选择车辆出行或代步,致使越来越多的车辆行驶在道路上。由于在行车过程中,驾驶员会产生疲劳,道路路面环境会不断变化,以及光照强弱变化、阴天、雾霾等天气因素带来的影响,给车辆的安全行驶带来极大的威胁,极端条件下还可能会导致安全事故,造成生命和财产的损失。为解决这一困扰汽车安全行驶的问题,汽车安全辅助驾驶系统应运而生。
汽车安全辅助驾驶系统是一种能在行车过程中主动帮助驾驶员排除潜在危险要素的辅助设备,它能使驾驶员提前感知到对车辆可能造成危害的车辆或行人并提前预警,帮助驾驶员做出有利于安全行车的决策,从而提高驾驶安全性,有效杜绝交通事故的产生。
在汽车安全辅助驾驶系统中,随着图像处理技术和计算机视觉发展,对图像的理解要求越来越高。愈来愈多的技术指向了对一幅图像场景的语义分割。图像分割主要应用在机器人、智能驾驶等领域。
签于此,特提成本发明。
发明内容
本发明的主要目的在于公开一种基于超像素生成的行车环境图像分割方法与装置,用于解决对行车过程中采集到的复杂的周遭环境进行有效的图像分割问题。
为达上述目的,根据本发明的一个方面,公开一种基于超像素生成的行车环境图像分割方法,并采用如下技术方案:
一种基于超像素生成的行车环境图像分割方法包括:对行车环境图像进行超像素生成,得到一生成结果;对所述生成结果进行聚类处理并得到聚类结果;对所述聚类结果进行区域划分并获取所述行车环境图像中的驾驶区域。
进一步地,所述对行车环境图像进行超像素生成,得到一生成结果包括:构建所述行车环境图像顶点和边的抽象模型;依据像素点之间的关系计算所述行车环境图像上像素级别的相似程度;根据像素点之间的相似程度,进行超像素生成,并筛选掉小于预设阈值的超像素,得到所述生成结果。
进一步地,所述构建所述行车环境图像顶点和边的抽象模型包括:将所述行车环境图像中的像素点抽象为图论中点的概念,并将相邻像素点之间的连接抽象成边。
进一步地,所述对所述生成结果进行聚类处理并得到聚类结果包括;根据所述生成结果计算区块之间的各类特征以及相似程度;根据所述各类特征以及所述相似度程度对所述区块进行合并。
进一步地,在所述根据所述各类特征以及所述相似度程度对所述区块进行合并之后,所述行车环境图像分割方法还包括:根据预设聚类完成标准判断所述聚类是否完成,并得到一判断结果;在所述判断结果为没有完成聚类时,返回执行所述根据所述生成结果计算区块之间的各类特征以及相似程度;在所述判断结果为完成聚类时,根据所述聚类结果进行划分所述驾驶区域。
根据本发明的另外一个方面,提供一种基于超像素生成的行车环境图像分割装置,并采用如下技术方案:
一种基于超像素生成的行车环境图像分割装置,包括:生成模块,用于对行车环境图像进行超像素生成,得到一生成结果;聚类模块,用于对所述生成结果进行聚类处理并得到聚类结果;第一划分模块,用于对所述聚类结果进行区域划分并获取所述行车环境图像中的驾驶区域。
进一步地,所述生成模块包括:构建模块,用于构建所述行车环境图像顶点和边的抽象模型;第一计算模块,用于依据像素点之间的关系计算所述行车环境图像上像素级别的相似程度;生成子模块,用于根据像素点之间的相似程度,进行超像素生成,并筛选掉小于预设阈值的超像素,得到所述生成结果。
进一步地,所述构建模块包括:抽象模块,用于将所述行车环境图像中的像素点抽象为图论中点的概念,并将相邻像素点之间的连接抽象成边。
进一步地,所述聚类模块包括;第二计算模块,用于根据所述生成结果计算区块之间的各类特征以及相似程度;合并模块,用于根据所述各类特征以及所述相似度程度对所述区块进行合并。
进一步地,所述的行车环境图像分割装置还包括:判断模块,用于根据预设聚类完成标准判断所述聚类是否完成,并得到一判断结果;返回执行模块,用于在所述判断结果为没有完成聚类时,返回执行所述根据所述生成结果计算区块之间的各类特征以及相似程度;第二划分模块,用于在所述判断结果为完成聚类时,根据所述聚类结果进行划分所述驾驶区域。
本发明的主要目的,基于超像素生成的行车环境图像分割方法,提供一种理解驾驶环境,以解决辅助驾驶中环境判断的问题,具体是通过对行车环境图像基于超像素生成,对行车过程中采集到的复杂的周遭环境进行有效的图像分割,形成有语义的区域划分。对应对复杂多变的交通环境,判断当前驾驶情况的安全程度,以及辅助驾驶员了解行驶状况,有极大的帮助。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本发明实施例所述的基于超像素生成的行车环境图像分割方法流程图;
图2为本发明实施例所述一副原始行车环境图像的示意图;
图3-1为本发明实施例所述的对行车环境图像经50次迭代超像素生成图后对应的黑白图;
图3-2为本发明实施例所述的对行车环境图像经300次迭代超像素生成图后对应的黑白图;
图3-3为本发明实施例所述的对行车环境图像经1000次迭代超像素生成图后对应的黑白图;
图4-1为本发明实施例所述的对超像素图片进行第一次聚类的示意图;
图4-2为本发明实施例所述的对超像素图片进行第二次聚类的示意图;
图4-3为本发明实施例所述的对超像素图片进行聚类完成并进行驾驶区域划分的示意图;
图5本发明实施例所述的基于超像素生成的行车环境图像分割方法具体流程示意图;
图6为本发明实施例所述的基于超像素生成的行车环境图像分割示意图。
具体实施方式
以下结合附图对本发明的实施例进行详细说明,但是本发明可以由权利要求限定和覆盖的多种不同方式实施。
实施例一
图1为本发明实施例一所述的基于超像素生成的行车环境图像分割方法流程图。
参见图1所示,一种基于超像素生成的行车环境图像分割方法包括:
S101:对行车环境图像进行超像素生成,得到一生成结果;
S103:对所述生成结果进行聚类处理并得到聚类结果;
S105:对所述聚类结果进行区域划分并获取所述行车环境图像中的驾驶区域。
首先,超像素是指将原本像素级别的图像,划分为区域级别的图像。在示意图上是对区块(region)进行随机着色,看作是对原始信息的基本抽象,如图2和图3-1所示,其中,图2为本发明实施例所述一副原始行车环境图像的示意图,图3-1为本发明实施例所述的对行车环境图像进行超像素生成后的超像素图像对应的黑白图,具体可参见图2至图3-1所示。具体到本实施例,在步骤S101中,则将图2所示的原始行车环境图像进行超像素生成,在步骤S103中,对所述生成结果进行聚类处理并得到聚类结果。具体而言是对步骤S101中获取的超像素图像进行聚类处理,先根据超像素点之间的距离特征生成像素区块,提取获取的区块的各类特征,,然后根据区块的连接关系以及区块之间的特征相似度进行聚类,得到聚类结果,完成聚类。在步骤S105中,对步骤S103中的聚类结果进行区域划分并获取所述行车环境图像中的驾驶区域,从而实现对驾驶环境的划分。
在本实施例的上述技术方案中,通过对行车环境图像基于超像素生成,对行车过程中采集到的复杂的周遭环境进行有效的图像分割,从而实现驾驶环境的划分。这对于应对复杂多变的交通环境,判断当前驾驶情况的安全程度,以及辅助驾驶员了解行驶状况,有极大的帮助。
优选地,所述对行车环境图像进行超像素生成,得到一生成结果包括:构建所述行车环境图像顶点和边的抽象模型;依据像素点之间的关系计算所述行车环境图像上像素级别的相似程度;根据像素点之间的相似程度,进行超像素生成,并筛选掉小于预设阈值的超像素,得到所述生成结果。
具体的,图3-1,图3-2,图3-3是对行车环境图像进行分割之后,生成的超像素图片,在超像素图像生成时,需要不断迭代进行像素级别的合并。图3-1,图3-2,图3-3分别为50次、300次、1000次迭代后生成的示意图。
优选地,所述构建所述行车环境图像顶点和边的抽象模型包括:将所述行车环境图像中的像素点抽象为图论中点的概念,并将相邻像素点之间的连接抽象成边。
优选地,所述对所述生成结果进行聚类处理并得到聚类结果包括;根据所述生成结果计算区块之间的各类特征以及相似程度;根据所述各类特征以及所述相似度程度对所述区块进行合并。
作为优选的实施方式,首先对上述获取的超像素根据区块特征距离进行划分,所述图像区块的特征是指通过计算图像的某个指标,例如灰度直方图、局部二值特征、区块大小等等,旨在反映图像的特征,比如明暗特征、纹理特征、区块大小特征等等。因此,本实施例的区块特征选取区块大小为特征,提取超像素图像的区块,进一步地,根据区块间的所述相似度程度对所述区块进行合并,即本发明中的聚类,具体参见图4-1、图4-2所示,图4-1与图4-2是对超像素图片中的区块进行聚类的图片,其中图4-1是第一次聚类,图4-2是第二次聚类,且在图4-3中,即为聚类完成示意图,并在聚类完成的基础上,进行了所述驾驶区域的划分。
图5本发明实施例所述的基于超像素生成的行车环境图像分割方法具体流程示意图。
参见图5所示,一种基于超像素生成的行车环境图像分割方法具体可包括如下步骤:
步骤1:开始;
步骤2:基于顶点和边的像素级抽象;
步骤3:计算像素之间的相似度并合;
步骤4:计算区块之间的各类特征;
步骤5:计算区块之间的相似程度;
步骤6:对区块合并;
步骤7:判断是否达到聚类要求,若是,执行步骤8,若否,返回执行步骤4;
步骤8:聚类完毕;
步骤9:划分驾驶区域;
步骤10:结束。
在上述技术方案中,步骤2至步骤3,是对原行车环境图像进行超像素生成,得到超像素图片,步骤6中的对区块合并,即为进行聚类。
在所述根据所述各类特征以及所述相似度程度对所述区块进行合并之后,所述行车环境图像分割方法还包括:根据预设聚类完成标准判断所述聚类是否完成,并得到一判断结果;在所述判断结果为没有完成聚类时,返回执行所述根据所述生成结果计算区块之间的各类特征以及相似程度;在所述判断结果为完成聚类时,根据所述聚类结果进行划分所述驾驶区域。
图6为本发明实施例所述的基于超像素生成的行车环境图像分割示意图。
参见图6所示,本发明提供的一种基于超像素生成的行车环境图像分割装置包括:生成模块60,用于对行车环境图像进行超像素生成,得到一生成结果;聚类模块62,用于对所述生成结果进行聚类处理并得到聚类结果;第一划分模块64,用于对所述聚类结果进行区域划分并获取所述行车环境图像中的驾驶区域。
优选地,所述生成模块60包括:构建模块(图中未示),用于构建所述行车环境图像顶点和边的抽象模型;第一计算模块(图中未示),用于依据像素点之间的关系计算所述行车环境图像上像素级别的相似程度;生成子模块(图中未示),用于根据像素点之间的相似程度,进行超像素生成,并筛选掉小于预设阈值的超像素,得到所述生成结果。
优选地,所述构建模块包括:抽象模块(图中未示),用于将所述行车环境图像中的像素点抽象为图论中点的概念,并将相邻像素点之间的连接抽象成边。
优选地,所述聚类模块62包括;第二计算模块(图中未示),用于根据所述生成结果计算区块之间的各类特征以及相似程度;合并模块(图中未示),用于根据所述各类特征以及所述相似度程度对所述区块进行合并。
优选地,所述的行车环境图像分割装置还包括:判断模块(图中未示),用于根据预设聚类完成标准判断所述聚类是否完成,并得到一判断结果;返回执行模块(图中未示),用于在所述判断结果为没有完成聚类时,返回执行所述根据所述生成结果计算区块之间的各类特征以及相似程度;第二划分模块(图中未示),用于在所述判断结果为完成聚类时,根据所述聚类结果进行划分所述驾驶区域。
本发明基于超像素生成的行车环境图像分割方法,提供一种理解驾驶环境,以解决辅助驾驶中环境判断的问题,具体是通过对行车环境图像基于超像素生成,对行车过程中采集到的复杂的周遭环境进行有效的图像分割,形成有语义的区域划分。对应对复杂多变的交通环境,判断当前驾驶情况的安全程度,以及辅助驾驶员了解行驶状况,有极大的帮助。
以上只通过说明的方式描述了本发明的某些示范性实施例,毋庸置疑,对于本领域的普通技术人员,在不偏离本发明的精神和范围的情况下,可以用各种不同的方式对所描述的实施例进行修正。因此,上述附图和描述在本质上是说明性的,不应理解为对本发明权利要求保护范围的限制。

Claims (10)

1.一种基于超像素生成的行车环境图像分割方法,其特征在于,包括:
对行车环境图像进行超像素生成,得到一生成结果;
对所述生成结果进行聚类处理并得到聚类结果;
对所述聚类结果进行区域划分并获取所述行车环境图像中的驾驶区域。
2.如权利要求1所述的行车环境图像分割方法,其特征在于,所述对行车环境图像进行超像素生成,得到一生成结果包括:
构建所述行车环境图像顶点和边的抽象模型;
依据像素点之间的关系计算所述行车环境图像上像素级别的相似程度;
根据像素点之间的相似程度,进行超像素生成,并筛选掉小于预设阈值的超像素,得到所述生成结果。
3.如权利要求2所述的行车环境图像分割方法,其特征在于,所述构建所述行车环境图像顶点和边的抽象模型包括:
将所述行车环境图像中的像素点抽象为图论中点的概念,并将相邻像素点之间的连接抽象成边。
4.如权利要求2所述的行车环境图像分割方法,其特征在于,所述对所述生成结果进行聚类处理并得到聚类结果包括;
根据所述生成结果计算区块之间的各类特征以及相似程度;
根据所述各类特征以及所述相似度程度对所述区块进行合并。
5.如权利要求4所述的行车环境图像分割方法,其特征在于,在所述根据所述各类特征以及所述相似度程度对所述区块进行合并之后,所述行车环境图像分割方法还包括:
根据预设聚类完成标准判断所述聚类是否完成,并得到一判断结果;
在所述判断结果为没有完成聚类时,返回执行所述根据所述生成结果计算区块之间的各类特征以及相似程度;
在所述判断结果为完成聚类时,根据所述聚类结果进行划分所述驾驶区域。
6.一种基于超像素生成的行车环境图像分割装置,其特征在于,包括:
生成模块,用于对行车环境图像进行超像素生成,得到一生成结果;
聚类模块,用于对所述生成结果进行聚类处理并得到聚类结果;
第一划分模块,用于对所述聚类结果进行区域划分并获取所述行车环境图像中的驾驶区域。
7.如权利要求6所述的行车环境图像分割装置,其特征在于,所述生成模块包括:
构建模块,用于构建所述行车环境图像顶点和边的抽象模型;
第一计算模块,用于依据像素点之间的关系计算所述行车环境图像上像素级别的相似程度;
生成子模块,用于根据像素点之间的相似程度,进行超像素生成,并筛选掉小于预设阈值的超像素,得到所述生成结果。
8.如权利要求7所述的行车环境图像分割装置,其特征在于,所述构建模块包括:
抽象模块,用于将所述行车环境图像中的像素点抽象为图论中点的概念,并将相邻像素点之间的连接抽象成边。
9.如权利要求7所述的行车环境图像分割装置,其特征在于,所述聚类模块包括;
第二计算模块,用于根据所述生成结果计算区块之间的各类特征以及相似程度;
合并模块,用于根据所述各类特征以及所述相似度程度对所述区块进行合并。
10.如权利要求9所述的行车环境图像分割装置,其特征在于,还包括:
判断模块,用于根据预设聚类完成标准判断所述聚类是否完成,并得到一判断结果;
返回执行模块,用于在所述判断结果为没有完成聚类时,返回执行所述根据所述生成结果计算区块之间的各类特征以及相似程度;
第二划分模块,用于在所述判断结果为完成聚类时,根据所述聚类结果进行划分所述驾驶区域。
CN201711414100.9A 2017-12-25 2017-12-25 一种基于超像素生成的行车环境图像分割方法与装置 Pending CN108122237A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711414100.9A CN108122237A (zh) 2017-12-25 2017-12-25 一种基于超像素生成的行车环境图像分割方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711414100.9A CN108122237A (zh) 2017-12-25 2017-12-25 一种基于超像素生成的行车环境图像分割方法与装置

Publications (1)

Publication Number Publication Date
CN108122237A true CN108122237A (zh) 2018-06-05

Family

ID=62231482

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711414100.9A Pending CN108122237A (zh) 2017-12-25 2017-12-25 一种基于超像素生成的行车环境图像分割方法与装置

Country Status (1)

Country Link
CN (1) CN108122237A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103353987A (zh) * 2013-06-14 2013-10-16 山东大学 一种基于模糊理论的超像素分割方法
CN103413120A (zh) * 2013-07-25 2013-11-27 华南农业大学 基于物体整体性和局部性识别的跟踪方法
CN103824079A (zh) * 2014-02-08 2014-05-28 重庆市国土资源和房屋勘测规划院 基于多层次模式子块划分的图像分类方法
CN105118049A (zh) * 2015-07-22 2015-12-02 东南大学 一种基于超像素聚类的图像分割方法
CN106446914A (zh) * 2016-09-28 2017-02-22 天津工业大学 基于超像素和卷积神经网络的道路检测

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103353987A (zh) * 2013-06-14 2013-10-16 山东大学 一种基于模糊理论的超像素分割方法
CN103413120A (zh) * 2013-07-25 2013-11-27 华南农业大学 基于物体整体性和局部性识别的跟踪方法
CN103824079A (zh) * 2014-02-08 2014-05-28 重庆市国土资源和房屋勘测规划院 基于多层次模式子块划分的图像分类方法
CN105118049A (zh) * 2015-07-22 2015-12-02 东南大学 一种基于超像素聚类的图像分割方法
CN106446914A (zh) * 2016-09-28 2017-02-22 天津工业大学 基于超像素和卷积神经网络的道路检测

Similar Documents

Publication Publication Date Title
CN110956094B (zh) 一种基于非对称双流网络的rgb-d多模态融合人员检测方法
CN102708356B (zh) 一种基于复杂背景下的车牌自动定位和识别方法
CN111104903B (zh) 一种深度感知交通场景多目标检测方法和系统
CN110321877B (zh) 一种三目后视镜和三目视觉安全驾驶方法和系统
CN110390314B (zh) 一种视觉感知方法及设备
CN104915642B (zh) 前方车辆测距方法及装置
CN109543672B (zh) 基于稠密特征金字塔网络的物体检测方法
Xie et al. A binocular vision application in IoT: Realtime trustworthy road condition detection system in passable area
CN115376082B (zh) 一种融合传统特征提取与深度神经网络的车道线检测方法
Rateke et al. Passive vision region-based road detection: A literature review
CN110276378A (zh) 基于无人驾驶技术对实例分割的改进方法
GB2624812A (en) Multi-task panoptic driving perception method and system based on improved YOLOv5
WO2024051296A1 (zh) 一种复杂天气下障碍物检测方法及装置
CN102999890A (zh) 基于环境因素的图像光线强度动态校正方法
CN116935361A (zh) 一种基于深度学习的驾驶员分心行为检测方法
CN114973199A (zh) 一种基于卷积神经网络的轨道交通列车障碍物检测方法
De Carvalho et al. Rethinking panoptic segmentation in remote sensing: A hybrid approach using semantic segmentation and non-learning methods
Cheng et al. Semantic segmentation of road profiles for efficient sensing in autonomous driving
CN113269119B (zh) 一种夜间车辆检测方法及装置
CN103661102A (zh) 一种实时提示车辆周边路人的方法及装置
CN109816003A (zh) 一种基于改进hog-lbp特征的智能车辆前方多目标分类方法
CN113297878B (zh) 道路交叉口识别方法、装置、计算机设备和存储介质
CN117523612A (zh) 一种基于Yolov5网络的密集行人检测方法
CN108122237A (zh) 一种基于超像素生成的行车环境图像分割方法与装置
CN106094969A (zh) 一种光伏发电系统最大功率点追踪的图像辅助诊断技术

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination