CN108229274A - 多层神经网络模型训练、道路特征识别的方法和装置 - Google Patents

多层神经网络模型训练、道路特征识别的方法和装置 Download PDF

Info

Publication number
CN108229274A
CN108229274A CN201710113166.8A CN201710113166A CN108229274A CN 108229274 A CN108229274 A CN 108229274A CN 201710113166 A CN201710113166 A CN 201710113166A CN 108229274 A CN108229274 A CN 108229274A
Authority
CN
China
Prior art keywords
road
remote sensing
sensing images
pixel
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710113166.8A
Other languages
English (en)
Other versions
CN108229274B (zh
Inventor
石建萍
吴冲若
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201710113166.8A priority Critical patent/CN108229274B/zh
Publication of CN108229274A publication Critical patent/CN108229274A/zh
Application granted granted Critical
Publication of CN108229274B publication Critical patent/CN108229274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/182Network patterns, e.g. roads or rivers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了多层神经网络模型训练、道路特征识别的方法和装置以及电子设备。方法的一具体实施方式包括:确定遥感图像训练样本集包括的遥感图像的道路标注数据中属于道路的像素以及遥感图像中道路的宽度值;根据道路的宽度值对遥感图像中属于道路的像素进行响应加权处理,获得更新后遥感图像训练样本集,属于道路的像素的不同响应权重表示在神经网络训练过程中像素的特征被学习的不同概率;基于更新后的遥感图像训练样本集训练用于识别遥感图像中的道路特征的多层神经网络模型。该实施方式能够训练用于识别遥感图像中的道路特征的多层神经网络模型,并采用该多层神经网络模型识别待检测的遥感图像中的道路特征,然后生成道路图。

Description

多层神经网络模型训练、道路特征识别的方法和装置
技术领域
本申请涉及计算机技术领域,具体涉及遥感技术领域,尤其涉及多层神经网络模型训练、道路特征识别的方法和装置。
背景技术
地图的更新,尤其是路网的更新在经济建设、军事、抗震救灾等领域具有重大意义。从卫星或航拍的遥感影像中提取道路具有效率高、速度快,覆盖广等优点。传统的方法通常利用人工从遥感影像中提取道路。
发明内容
本申请的目的在于提出一种改进的多层神经网络模型训练、道路特征识别的技术方案。
第一方面,本申请提供了一种多层神经网络模型训练方法,该方法包括:确定遥感图像训练样本集包括的遥感图像的道路标注数据中属于道路的像素以及遥感图像中道路的宽度值;根据道路的宽度值对遥感图像中属于道路的像素进行响应加权处理,获得更新后遥感图像训练样本集,属于道路的像素的不同响应权重表示在神经网络训练过程中像素的特征被学习的不同概率;基于更新后的遥感图像训练样本集训练用于识别遥感图像中的道路特征的多层神经网络模型。
在一些实施例中,根据道路的宽度值对遥感图像中属于道路的像素进行响应加权处理,包括:根据道路的宽度值将遥感图像中属于道路的像素的响应权重调整为其与道路的宽度值负相关。
在一些实施例中,根据道路的宽度值将遥感图像中属于道路的像素的响应权重调整为其与道路的宽度值负相关,包括:将遥感图像中属于道路的像素的响应权重调整为其与道路的宽度值线性负相关;或将遥感图像中属于道路的像素的响应权重调整为其与道路的宽度值之间非线性负相关。
在一些实施例中,方法还包括:将遥感图像中属于道路的像素的响应权重调整为大于遥感图像中不属于道路的像素的响应权重。
在一些实施例中,方法还包括:根据遥感图像中各像素的响应权重和预定的响应权重阈值,分别确定遥感图像中各像素是否属于道路。
在一些实施例中,方法还包括:根据遥感图像的分辨率确定响应权重阈值。
在一些实施例中,基于更新后的遥感图像训练样本集训练用于识别遥感图像中的道路特征的多层神经网络模型,包括对多层神经网络模型执行多次训练过程直至训练结果满足预定的训练完成条件,其中,每次训练过程包括:将更新后的遥感图像训练样本集包括的至少部分遥感图像输入多层神经网络模型;经多层神经网络模型提取输入的遥感图像的道路特征;至少根据提取的道路特征和输入的遥感图像的道路标注数据的差异,确定道路特征提取的损失值;根据损失值调整多层神经网络模型的网络参数。
在一些实施例中,至少根据提取的道路特征和输入的遥感图像的道路标注数据的差异,确定道路特征提取的损失值,包括:根据提取的道路特征和输入的遥感图像的道路标注数据的差异、以及输入的遥感图像中各像素的响应权重,确定道路特征提取的损失值。
在一些实施例中,多层神经网络模型包括:卷积神经网络。
第二方面,本申请提供了一种道路特征识别方法,该方法包括:获取待检测的遥感图像;基于如第一方面任一实施例中的多层神经网络模型提取待检测的遥感图像的道路特征。
在一些实施例中,该方法还包括:根据提取的道路特征生成道路图。
第三方面,本申请提供了一种多层神经网络模型训练装置,该装置包括:确定单元,用于确定遥感图像训练样本集包括的遥感图像的道路标注数据中属于道路的像素以及遥感图像中道路的宽度值;加权单元,用于根据道路的宽度值对遥感图像中属于道路的像素进行响应加权处理,获得更新后遥感图像训练样本集,属于道路的像素的不同响应权重表示在神经网络训练过程中像素的特征被学习的不同概率;训练单元,用于基于更新后的遥感图像训练样本集训练用于识别遥感图像中的道路特征的多层神经网络模型。
在一些实施例中,加权单元进一步用于:根据道路的宽度值将遥感图像中属于道路的像素的响应权重调整为其与道路的宽度值负相关。
在一些实施例中,加权单元进一步用于:将遥感图像中属于道路的像素的响应权重调整为其与道路的宽度值线性负相关;或将遥感图像中属于道路的像素的响应权重调整为其与道路的宽度值之间非线性负相关。
在一些实施例中,加权单元进一步用于:将遥感图像中属于道路的像素的响应权重调整为大于遥感图像中不属于道路的像素的响应权重。
在一些实施例中,装置还包括:阈值确定单元,用于根据遥感图像中各像素的响应权重和预定的响应权重阈值,分别确定遥感图像中各像素是否属于道路。
在一些实施例中,阈值确定单元进一步用于:根据遥感图像的分辨率确定响应权重阈值。
在一些实施例中,训练单元进一步用于:基于更新后的遥感图像训练样本集训练用于识别遥感图像中的道路特征的多层神经网络模型,包括对多层神经网络模型执行多次训练过程直至训练结果满足预定的训练完成条件,其中,每次训练过程包括:将更新后的遥感图像训练样本集包括的至少部分遥感图像输入多层神经网络模型;经多层神经网络模型提取输入的遥感图像的道路特征;至少根据提取的道路特征和输入的遥感图像的道路标注数据的差异,确定道路特征提取的损失值;根据损失值调整多层神经网络模型的网络参数。
在一些实施例中,训练单元进一步用于:根据提取的道路特征和输入的遥感图像的道路标注数据的差异、以及输入的遥感图像中各像素的响应权重,确定道路特征提取的损失值。
在一些实施例中,多层神经网络模型包括:卷积神经网络。
第四方面,本申请提供了一种道路特征识别装置,该装置包括:获取单元,用于获取待检测的遥感图像;提取单元,用于基于如第一方面任一实施例中的多层神经网络模型提取待检测的遥感图像的道路特征。
在一些实施例中,该装置还包括:生成单元,用于根据提取的道路特征生成道路图。
第五方面,本申请提供了一种电子设备,包括:存储器,存储可执行指令;一个或多个处理器,与存储器通信以执行可执行指令从而完成以下操作:确定遥感图像训练样本集包括的遥感图像的道路标注数据中属于道路的像素以及遥感图像中道路的宽度值;根据道路的宽度值对遥感图像中属于道路的像素进行响应加权处理,获得更新后遥感图像训练样本集,属于道路的像素的不同响应权重表示在神经网络训练过程中像素的特征被学习的不同概率;基于更新后的遥感图像训练样本集训练用于识别遥感图像中的道路特征的多层神经网络模型。
本申请提供的多层神经网络模型训练、道路特征识别的方法和装置,通过对遥感图像训练样本集中包括的遥感图像的道路标注数据中属于道路的像素进行响应加权处理,使属于道路的像素的响应权重大于属于其它类别物体的像素,使用加权后的遥感图像训练样本集训练多层神经网络模型,使得该多层神经网络模型对道路的学习增强,防止道路像素点过少而丢失信息,从而提高道路图生成准确性。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构图;
图2是根据本申请的多层神经网络模型训练方法的一个实施例的流程图;
图3是根据本申请的道路特征识别方法的一个实施例的流程图;
图4a、4b和4c是根据本申请的道路特征识别方法的应用场景的示意图;
图5a和5b是根据本申请的多层神经网络模型训练方法的道路宽度到权重的转换关系的示意图;
图6是根据本申请的多层神经网络模型训练装置的一个实施例的结构示意图;
图7是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的多层神经网络模型训练、道路特征识别的方法和装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101(航拍飞机)、终端设备102(人造卫星),网络103和电子设备104。网络103用以在终端设备101、102和电子设备104之间提供通信链路的介质。网络103可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102通过网络103与电子设备104交互,以接收或发送消息等。终端设备101、102是用来搭载传感器的运载工具,常用的有气球、飞机和人造卫星等,从远距离获取目标物体的电磁波特性,通过该信息的传输、贮存、卫星、修正、识别目标物体,最终实现其功能(定时、定位、定性、定量)。传感器是用来探测目标物电磁波特性的仪器设备,常用的有照相机、扫描仪和成像雷达等。
电子设备可以对接收到的遥感图像等数据进行分析等处理,并将处理结果(例如道路图)输出。
需要说明的是,本申请实施例提供的技术方案中,对遥感图像的获取方式并不限定,上图1仅为一种可选的实现方式,除此之外,还可通过第三方或其他平台离线获取所需的遥感图像,等等。
在获得遥感图像之后,可通过电子设备进行多层神经网络模型训练、道路特征识别的方法的执行,所述电子设备可包括服务器、PC机、移动终端、车载终端等设备。一种可选的实施方式中,多层神经网络模型训练方法可在服务器或者由多台服务器组成的服务器集群上进行,训练好的多层神经网络模型可运行在服务器、PC机、移动终端、车载终端等各种类型的电子设备上进行道路特征识别和/或道路图生成处理。继续参考图2,示出了根据本申请的多层神经网络模型训练方法的一个实施例的流程200。所述的多层神经网络模型训练方法,包括以下步骤:
步骤201,确定遥感图像训练样本集包括的遥感图像的道路标注数据中属于道路的像素以及遥感图像中道路的宽度值。
在本实施例中,多层神经网络模型训练方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式从用户利用其进行遥感图像采集的终端设备接收遥感图像训练样本集,或者从其他设备获得遥感图像训练样本集。遥感图像训练样本集中已经包括道路标注数据,该标注数据可由人工进行标注,也可由机器进行标注。通过道路标注数据可以确定出遥感图像中属于道路的像素。可将遥感图像分类标注(例如属于道路的像素标注为1,不属于道路的部分标注为0,这里只需要将图像中的像素分为两类,这样0和1的做法是比较常用)。通过道路标注数据可以确定出遥感图像中各条道路的宽度值,例如,一条道路由10*1000个像素点构成则道路宽度为10像素。
步骤202,根据道路的宽度值对遥感图像中属于道路的像素进行响应加权处理,获得更新后遥感图像训练样本集。
在本实施例中,将步骤201中接收到的遥感图像中属于道路的像素标注不同响应权重。属于道路的像素的不同响应权重表示在神经网络训练过程中像素的特征被学习的不同概率。例如,如果遥感图像中背景的响应权重为1,则可将除道路外的其它物体的每一个像素(相当于属于背景部分的像素)的响应权重值设置1,即平等地对待背景中的这些所有像素。将遥感图像中属于道路的像素(相当于属于前景部分的像素)进行响应加权处理,使得属于道路的像素的权重大于其它属于背景部分的像素,使得在神经网络训练过程中属于道路的像素的特征被学习到的概率,大于属于背景部分的像素的特征被学习到的概率。而对于不同宽度的道路的像素的权重可以不同,使得对不同宽度的道路的像素赋予不同的被学习概率。
步骤203,基于更新后的遥感图像训练样本集训练用于识别遥感图像中的道路特征的多层神经网络模型基于更新后的遥感图像训练样本集训练用于识别遥感图像中的道路特征的多层神经网络模型。
在本实施例中,基于步骤202更新后的遥感图像训练样本集训练用于识别遥感图像中的道路特征的多层神经网络模型。并且可以根据训练过程中对样本图像的解译效果继续执行步骤202,重新对所述遥感图像中属于道路的像素进行响应加权处理,即,重新调整道路的像素的响应权重,以实现更好的解译效果,从而训练出不同宽度道路解译效果更好的多层神经网络模型。
传统方法从遥感图像中提取道路信息时,采用人工的方式费时费力。虽然基于深度学习技术可实现全自动的遥感图像道路提取,大幅提高路网更新的速度。但是,在道路提取的应用中,道路的种类及宽度千差万别,应用在非遥感图像领域的传统的深度学习技术不能很好的适应遥感图像道路复杂的情况。
例如,真实场景的遥感图片中,除较宽的高速公路外,也有不少较窄的小路,例如田间小道、社区道路、临时道路或者沙漠中的道路等。传统的深度学习网络每一个像素的权重值默认为1,即平等地对待所有像素。这种方法无法将属于道路的像素和不属于道路的像素进行区分和识别,特别是对于窄路,由于像素较少,导致深度学习网络对这些像素提取的可供学习的特征较少,使得这些窄路的输出结果较差。而本申请的上述实施例提供的方法通过采用多层神经网络模型并改变遥感图像中道路的像素的权重,虽然窄路的像素少,但由于响应权重高,虽然宽路的响应权重低一些,但是由于宽路的特征多,因此能保证宽路和窄道路的识别效果都很好,不会导致宽路的识别效果下降。由此在分辨率较低的情况下仍能准确地识别出遥感图像中的道路。
在本实施例的一些可选的实现方式中,根据道路的宽度值对遥感图像中属于道路的像素进行响应加权处理,包括:根据道路的宽度值将遥感图像中属于道路的像素的响应权重调整为其与道路的宽度值负相关。即,道路越窄则像素的响应权重越高。例如,路宽为10的道路的像素的响应权重可设置为2,路宽为15的道路的像素的响应权重可设置为1.5。这样可以使得在多层神经网络模型训练过程中,窄路的像素不会消失,保留窄路信息,还能够提高多层神经网络模型对窄路的响应程度,并且更多的学习窄路的特征,提高整个多层神经网络模型识别道路的能力。
在本实施例的一些可选的实现方式中,根据道路的宽度值将遥感图像中属于道路的像素的响应权重调整为其与道路的宽度值负相关,包括:将遥感图像中属于道路的像素的响应权重调整为其与道路的宽度值线性负相关;或将遥感图像中属于道路的像素的响应权重调整为其与道路的宽度值之间非线性负相关。例如,如图5a和图5b所示,图5a采用了线性转换,路宽越小,则响应权重越大。图5b采用非线性转换,路宽越小,则响应权重的值增大趋势越大。
在本实施例的一些可选的实现方式中,该方法还包括:将遥感图像中属于道路的像素的响应权重调整为大于遥感图像中不属于道路的像素的响应权重。例如,将遥感图像中的道路作为前景,将非道路作为背景,将前景的像素的响应权重设置为大于背景的像素的响应权重。例如,可以将背景的像素的响应权重设置为1,将前景的像素的响应权重设置为2。这样可以更加容易地区分出道路和非道路。
在本实施例的一些可选的实现方式中,该方法还包括:根据遥感图像中各像素的响应权重和预定的响应权重阈值,分别确定遥感图像中各像素是否属于道路。预定的响应权重阈值可以是背景的响应权重。例如,如果预定的响应权重阈值为1,则可确定出响应权重大于1的各像素属于道路。这样可以提高道路识别的准确度。
在本实施例的一些可选的实现方式中,该方法还包括:根据遥感图像的分辨率确定响应权重阈值。例如,根据实际经验,在遥感图像的分辨率为0.6米的情况,将响应权重阈值设置为1,在遥感图像的分辨率为0.8米的情况,将响应权重阈值设置为0.8。该优选实现方式可达到较高的窄路识别效率。有针对性的设置像素的响应权重,可以减少标注量,提高训练速度。
在本实施例的一些可选的实现方式中,基于更新后的遥感图像训练样本集训练用于识别遥感图像中的道路特征的多层神经网络模型,包括对多层神经网络模型执行多次训练过程直至训练结果满足预定的训练完成条件。训练完成条件可包括但不限于以下至少一项:训练多层神经网络模型的训练次数达到预设的训练次数阈值;相邻两次训练中,多层神经网络模型的输出之间的损失值处于预设的容差范围之内。多层神经网络的一种可选的训练过程包括:将更新后的遥感图像训练样本集包括的至少部分遥感图像输入多层神经网络模型;经多层神经网络模型提取输入的遥感图像的道路特征;至少根据提取的道路特征和输入的遥感图像的道路标注数据的差异,确定道路特征提取的损失值;根据损失值调整多层神经网络模型的网络参数。多层神经网络模型例如可以是深度神经网络、卷积神经网络等。该多层神经网络模型用于识别遥感图像中的道路特征,其中,该道路特征可包括道路的颜色、纹理、高度、温度、阴影、方向变化等特征。在开始训练前,所有的多层神经网络核参数都应该用一些不同的小随机数进行初始化。“小随机数”用来保证网络不会因核参数值过大而进入饱和状态,从而导致训练失败;“不同”用来保证网络可以正常地学习。实际上,如果用相同的数去初始化核参数,则网络无能力学习。通过把网络训练出来的结果和真实类标进行比对,修正误差。通过调整核参数使误差最小化来不断优化核参数。
在本实施例的一些可选的实现方式中,至少根据提取的道路特征和输入的遥感图像的道路标注数据的差异,确定道路特征提取的损失值,包括:根据提取的道路特征和输入的遥感图像的道路标注数据的差异、以及输入的遥感图像中各像素的响应权重,确定道路特征提取的损失值。根据遥感图像中属于道路的像素的响应权重修正多层神经网络模型的损失函数层中的前向传播算法中的像素的损失值和后向传播值。例如采用公式1将前向传播算法中的像素的损失值修正为损失值与道路的像素的响应权重的乘积:
lossnew=weight*lossold (公式1)
其中,lossnew为前向传播算法中的像素修正后的损失值,weight为像素的响应权重,lossold为前向传播算法中的像素修正前的损失值。
采用公式2将多层神经网络模型的损失函数层中的后向传播算法中的像素的后向传播值修改为后向传播值与道路的像素的权重的乘积:
bottom_diffnew=weight*bottom_diffold (公式2)
其中,bottom_diffnew为后向传播算法中的像素修正后的后向传播值,weight为像素的响应权重,bottom_diffold后向传播算法中的像素修正前的后向传播值。
计算多层神经网络的像素损失值时采用前向传播(forward propagation)算法和后向传播(Back propagation)算法来保证参数学习的正确性,对损失层中的前向传播公式和后向传播公式进行修正,其它层的前向传播公式和后向传播公式保持不变。在前向传播阶段,信息从输入层经过逐级的变换,传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中,网络执行的是计算(实际上就是输入与每层的权值矩阵相点乘,得到最后的输出结果)。在后向传播阶段,计算实际输出与相应的理想输出的差,然后按极小化误差的方法反向传播调整权矩阵。在计算的过程中为了降低计算量,可以计所有像素的损失值进行归一化,例如,将每个像素的损失值都除以最小的像素的损失值进行归一化。该实现方式降低了计算量从而提高了窄路识别速度。损失值是用来估量模型的预测值与真实值的不一致程度,损失值越小,模型的鲁棒性就越好。使用修正后的损失值可以保证训练的准确性。
在本实施例的一些可选的实现方式中,多层神经网络模型包括:卷积神经网络(Convolutional Neural Networks,CNN)。卷积神经网络是一种人工神经网络。卷积神经网络是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。一般地,CNN的基本结构包括两层,其一为特征提取层,每个神经元的输入与前一层的局部接受域相连,并提取该局部的特征。一旦该局部特征被提取后,它与其它特征间的位置关系也随之确定下来;其二是计算层,网络的每个计算层由多个特征映射层组成,每个特征映射层是一个平面,平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数,使得特征映射具有位移不变性。此外,由于一个映射面上的神经元共享权值,因而减少了网络自由参数的个数。卷积神经网络中的每一个特征提取层都紧跟着一个用来求局部平均与二次提取的计算层,这种特有的两次特征提取结构减小了特征分辨率。它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网络通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。深度学习的实质,是通过构建具有很多隐层的机器学习模型和海量的训练数据,来学习更有用的特征,从而融合后提升分类或预测的准确性。与人工规则构造特征的方法相比,利用大数据来学习特征,更能够刻画数据的丰富内在信息。
进一步参考图3,其示出了道路特征识别方法的一个实施例的流程300。该道路特征识别方法的流程300,包括以下步骤:
步骤301,确定遥感图像训练样本集包括的遥感图像的道路标注数据中属于道路的像素以及遥感图像中道路的宽度值。
步骤302,根据道路的宽度值对遥感图像中属于道路的像素进行响应加权处理,获得更新后遥感图像训练样本集。
步骤303,基于更新后的遥感图像训练样本集训练用于识别遥感图像中的道路特征的多层神经网络模型。
步骤301-303与步骤201-203基本相同,因此不再赘述。
步骤304,获取待检测的遥感图像,基于多层神经网络模型提取待检测的遥感图像的道路特征。
在本实施例中,该多层神经网络模型用于提取待检测的遥感图像的道路特征。待检测的遥感图像中包括未标注出道路信息的像素。将该待检测的遥感图像输入多层神经网络模型,可以提取出待检测的遥感图像中道路的特征,可以得到像素属于道路的概率,或者像素的所属的类别信息。并不会丢失道路的像素,还增强了窄路的显示效果。
步骤305,根据提取的道路特征生成道路图。
在本实施例中,基于步骤304提取的道路特征可以生成道路图。像素权重越大的像素在道路图中显示的颜色越深。
本申请的上述实施例提供的方法基于多层神经网络模型提取待检测的遥感图像的道路特征,能够准确、快速地识别出遥感图像中的道路信息并生成道路图。
继续参见图4a-4c,图4a-4c是根据本实施例的多层神经网络模型训练方法的应用场景的一个示意图。在图4a的应用场景中,用户将左图所示的沙漠的遥感图像输入到预先训练的多层神经网络模型中,根据该模型输出的道路信息绘制出右图所示的沙漠中的道路图,从右图中可以清楚地看到沙漠的遥感图像中存在的窄路。在图4b的应用场景中,用户将左图所示的城市市区的遥感图像输入到预先训练的多层神经网络模型中,根据该模型输出的道路信息绘制出右图所示的城市市区中的道路图,从右图中可以清楚地看到城市市区中存在的窄路。在图4c的应用场景中,用户将具有宽路和窄路的遥感图像输入到预先训练的多层神经网络模型中,根据该模型输出的道路信息绘制出道路图,可以从图4c看到窄路的颜色比宽路的深,并且不显示非道路信息。
进一步参考图6,作为对上述各图所示方法的实现,本申请提供了一种多层神经网络模型训练装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图6所示,本实施例所述的多层神经网络模型训练装置600包括:确定单元601、加权单元602和训练单元603。其中,确定单元601用于确定遥感图像训练样本集包括的遥感图像的道路标注数据中属于道路的像素以及所述遥感图像中道路的宽度值;加权单元602用于根据所述道路的宽度值对所述遥感图像中属于道路的像素进行响应加权处理,获得更新后遥感图像训练样本集,属于道路的像素的不同响应权重表示在神经网络训练过程中像素的特征被学习的不同概率;训练单元603用于基于所述更新后的遥感图像训练样本集训练用于识别遥感图像中的道路特征的多层神经网络模型。
在本实施例中,多层神经网络模型训练装置600的确定单元601、加权单元602和训练单元603的具体处理可以参考图2对应实施例中的步骤201、步骤202和步骤203。
在本实施例的一些可选的实现方式中,加权单元602进一步用于:根据道路的宽度值将遥感图像中属于道路的像素的响应权重调整为其与道路的宽度值负相关。
在本实施例的一些可选的实现方式中,加权单元602进一步用于:将遥感图像中属于道路的像素的响应权重调整为其与道路的宽度值线性负相关;或将遥感图像中属于道路的像素的响应权重调整为其与道路的宽度值之间非线性负相关。
在本实施例的一些可选的实现方式中,加权单元602进一步用于:将遥感图像中属于道路的像素的响应权重调整为大于遥感图像中不属于道路的像素的响应权重。
在本实施例的一些可选的实现方式中,装置600还包括:阈值确定单元,用于根据遥感图像中各像素的响应权重和预定的响应权重阈值,分别确定遥感图像中各像素是否属于道路。
在本实施例的一些可选的实现方式中,阈值确定单元进一步用于:根据遥感图像的分辨率确定响应权重阈值。
在本实施例的一些可选的实现方式中,训练单元603进一步用于:基于更新后的遥感图像训练样本集训练用于识别遥感图像中的道路特征的多层神经网络模型,包括对多层神经网络模型执行多次训练过程直至训练结果满足预定的训练完成条件,其中,每次训练过程包括:将更新后的遥感图像训练样本集包括的至少部分遥感图像输入多层神经网络模型;经多层神经网络模型提取输入的遥感图像的道路特征;至少根据提取的道路特征和输入的遥感图像的道路标注数据的差异,确定道路特征提取的损失值;根据损失值调整多层神经网络模型的网络参数。
在本实施例的一些可选的实现方式中,训练单元603进一步用于:根据提取的道路特征和输入的遥感图像的道路标注数据的差异、以及输入的遥感图像中各像素的响应权重,确定道路特征提取的损失值。
在本实施例的一些可选的实现方式中,多层神经网络模型包括:卷积神经网络。
本申请提供了一种道路特征识别装置的一个实施例,该装置实施例与图3所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
该道路特征识别装置,包括:获取单元,用于获取待检测的遥感图像;提取单元,用于基于多层神经网络模型提取待检测的遥感图像的道路特征。
在本实施例的一些可选的实现方式中,道路特征识别装置还包括:生成单元,用于根据提取的道路特征生成道路图。
本发明实施例还提供了一种电子设备,例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图7,其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备700的结构示意图:如图7所示,计算机系统700包括一个或多个处理器、通信部等,所述一个或多个处理器例如:一个或多个中央处理单元(CPU)701,和/或一个或多个图像处理器(GPU)713等,处理器可以根据存储在只读存储器(ROM)702中的可执行指令或者从存储部分708加载到随机访问存储器(RAM)703中的可执行指令而执行各种适当的动作和处理。通信部712可包括但不限于网卡,所述网卡可包括但不限于IB(Infiniband)网卡,
处理器可与只读存储器702和/或随机访问存储器703中通信以执行可执行指令,通过总线704与通信部712相连、并经通信部712与其他目标设备通信,从而完成本申请实施例提供的任一项方法对应的操作,例如,确定遥感图像训练样本集包括的遥感图像的道路标注数据中属于道路的像素以及遥感图像中道路的宽度值;根据道路的宽度值对遥感图像中属于道路的像素进行响应加权处理,获得更新后遥感图像训练样本集,属于道路的像素的不同响应权重表示在神经网络训练过程中像素的特征被学习的不同概率;基于更新后的遥感图像训练样本集训练用于识别遥感图像中的道路特征的多层神经网络模型。
此外,在RAM 703中,还可存储有装置操作所需的各种程序和数据。CPU701、ROM702以及RAM703通过总线704彼此相连。在有RAM703的情况下,ROM702为可选模块。RAM703存储可执行指令,或在运行时向ROM702中写入可执行指令,可执行指令使处理器701执行上述通信方法对应的操作。输入/输出(I/O)接口705也连接至总线704。通信部712可以集成设置,也可以设置为具有多个子模块(例如多个IB网卡),并在总线链接上。
以下部件连接至I/O接口705:包括键盘、鼠标等的输入部分706;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分707;包括硬盘等的存储部分708;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分709。通信部分709经由诸如因特网的网络执行通信处理。驱动器710也根据需要连接至I/O接口705。可拆卸介质711,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器710上,以便于从其上读出的计算机程序根据需要被安装入存储部分708。
需要说明的,如图7所示的架构仅为一种可选实现方式,在具体实践过程中,可根据实际需要对上述图7的部件数量和类型进行选择、删减、增加或替换;在不同功能部件设置上,也可采用分离设置或集成设置等实现方式,例如GPU和CPU可分离设置或者可将GPU集成在CPU上,通信部可分离设置,也可集成设置在CPU或GPU上,等等。这些可替换的实施方式均落入本发明公开的保护范围。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,计算机程序包含用于执行流程图所示的方法的程序代码,程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令,例如,确定遥感图像训练样本集包括的遥感图像的道路标注数据中属于道路的像素以及遥感图像中道路的宽度值;根据道路的宽度值对遥感图像中属于道路的像素进行响应加权处理,获得更新后遥感图像训练样本集,属于道路的像素的不同响应权重表示在神经网络训练过程中像素的特征被学习的不同概率;基于更新后的遥感图像训练样本集训练用于识别遥感图像中的道路特征的多层神经网络模型。在这样的实施例中,该计算机程序可以通过通信部分709从网络上被下载和安装,和/或从可拆卸介质711被安装。在该计算机程序被中央处理单元(CPU)701执行时,执行本申请的方法中限定的上述功能。
可能以许多方式来实现本发明的方法和装置、设备。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明,本发明的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本发明实施为记录在记录介质中的程序,这些程序包括用于实现根据本发明的方法的机器可读指令。因而,本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用,并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种多层神经网络模型训练方法,其特征在于,所述方法包括:
确定遥感图像训练样本集包括的遥感图像的道路标注数据中属于道路的像素以及所述遥感图像中道路的宽度值;
根据所述道路的宽度值对所述遥感图像中属于道路的像素进行响应加权处理,获得更新后遥感图像训练样本集,属于道路的像素的不同响应权重表示在神经网络训练过程中像素的特征被学习的不同概率;
基于所述更新后的遥感图像训练样本集训练用于识别遥感图像中的道路特征的多层神经网络模型。
2.根据权利要求1所述的方法,其特征在于,所述根据所述道路的宽度值对所述遥感图像中属于道路的像素进行响应加权处理,包括:
根据所述道路的宽度值将所述遥感图像中属于道路的像素的响应权重调整为其与所述道路的宽度值负相关。
3.根据权利要求2所述的方法,其特征在于,所述根据所述道路的宽度值将所述遥感图像中属于道路的像素的响应权重调整为其与所述道路的宽度值负相关,包括:
将所述遥感图像中属于道路的像素的响应权重调整为其与道路的宽度值线性负相关;或
将所述遥感图像中属于道路的像素的响应权重调整为其与道路的宽度值之间非线性负相关。
4.根据权利要求1-3任一所述的方法,其特征在于,所述方法还包括:
将所述遥感图像中属于道路的像素的响应权重调整为大于所述遥感图像中不属于道路的像素的响应权重。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
根据所述遥感图像中各像素的响应权重和预定的响应权重阈值,分别确定所述遥感图像中各像素是否属于道路。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
根据所述遥感图像的分辨率确定所述响应权重阈值。
7.一种道路特征识别方法,其特征在于,所述方法包括:
获取待检测的遥感图像;
基于如权利要求1-6任一项所述的多层神经网络模型提取所述待检测的遥感图像的道路特征。
8.一种多层神经网络模型训练装置,其特征在于,所述装置包括:
确定单元,用于确定遥感图像训练样本集包括的遥感图像的道路标注数据中属于道路的像素以及所述遥感图像中道路的宽度值;
加权单元,用于根据所述道路的宽度值对所述遥感图像中属于道路的像素进行响应加权处理,获得更新后遥感图像训练样本集,属于道路的像素的不同响应权重表示在神经网络训练过程中像素的特征被学习的不同概率;
训练单元,用于基于所述更新后的遥感图像训练样本集训练用于识别遥感图像中的道路特征的多层神经网络模型。
9.一种道路特征识别装置,其特征在于,所述装置包括:
获取单元,用于获取待检测的遥感图像;
提取单元,用于基于如权利要求1-6任一项所述的多层神经网络模型提取所述待检测的遥感图像的道路特征。
10.一种电子设备,其特征在于,包括:
存储器,存储可执行指令;
一个或多个处理器,与存储器通信以执行可执行指令从而完成以下操作:
确定遥感图像训练样本集包括的遥感图像的道路标注数据中属于道路的像素以及所述遥感图像中道路的宽度值;
根据所述道路的宽度值对所述遥感图像中属于道路的像素进行响应加权处理,获得更新后遥感图像训练样本集,属于道路的像素的不同响应权重表示在神经网络训练过程中像素的特征被学习的不同概率;
基于所述更新后的遥感图像训练样本集训练用于识别遥感图像中的道路特征的多层神经网络模型。
CN201710113166.8A 2017-02-28 2017-02-28 多层神经网络模型训练、道路特征识别的方法和装置 Active CN108229274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710113166.8A CN108229274B (zh) 2017-02-28 2017-02-28 多层神经网络模型训练、道路特征识别的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710113166.8A CN108229274B (zh) 2017-02-28 2017-02-28 多层神经网络模型训练、道路特征识别的方法和装置

Publications (2)

Publication Number Publication Date
CN108229274A true CN108229274A (zh) 2018-06-29
CN108229274B CN108229274B (zh) 2020-09-04

Family

ID=62657315

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710113166.8A Active CN108229274B (zh) 2017-02-28 2017-02-28 多层神经网络模型训练、道路特征识别的方法和装置

Country Status (1)

Country Link
CN (1) CN108229274B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344840A (zh) * 2018-08-07 2019-02-15 深圳市商汤科技有限公司 图像处理方法和装置、电子设备、存储介质、程序产品
CN111121797A (zh) * 2018-11-01 2020-05-08 百度在线网络技术(北京)有限公司 道路筛选方法、装置、服务器及存储介质
CN111369566A (zh) * 2018-12-25 2020-07-03 杭州海康威视数字技术股份有限公司 确定路面消隐点位置的方法、装置、设备及存储介质
CN113362420A (zh) * 2021-06-02 2021-09-07 北京百度网讯科技有限公司 道路标注生成方法、装置、设备以及存储介质
CN113642592A (zh) * 2020-04-27 2021-11-12 武汉Tcl集团工业研究院有限公司 一种训练模型的训练方法、场景识别方法、计算机设备
CN116385888A (zh) * 2023-06-06 2023-07-04 山东省国土空间数据和遥感技术研究院(山东省海域动态监视监测中心) 解译标志确定方法和装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091344A (zh) * 2014-07-22 2014-10-08 中国科学院自动化研究所 一种道路分割方法
CN104915636A (zh) * 2015-04-15 2015-09-16 北京工业大学 基于多级框架显著性特征的遥感影像道路识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104091344A (zh) * 2014-07-22 2014-10-08 中国科学院自动化研究所 一种道路分割方法
CN104915636A (zh) * 2015-04-15 2015-09-16 北京工业大学 基于多级框架显著性特征的遥感影像道路识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
E.SAHIN等: "Road extraction from satellite images by self-supervised classification and perceptual grouping", 《IMAGE AND SIGNAL PROCESSING FOR REMOTE SENSING》 *
柳强等: "基于BP神经网络模型的遥感图像道路分割处理方法研究", 《哈尔滨工程大学学报》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109344840A (zh) * 2018-08-07 2019-02-15 深圳市商汤科技有限公司 图像处理方法和装置、电子设备、存储介质、程序产品
CN109344840B (zh) * 2018-08-07 2022-04-01 深圳市商汤科技有限公司 图像处理方法和装置、电子设备、存储介质、程序产品
CN111121797A (zh) * 2018-11-01 2020-05-08 百度在线网络技术(北京)有限公司 道路筛选方法、装置、服务器及存储介质
CN111121797B (zh) * 2018-11-01 2021-11-12 百度在线网络技术(北京)有限公司 道路筛选方法、装置、服务器及存储介质
CN111369566A (zh) * 2018-12-25 2020-07-03 杭州海康威视数字技术股份有限公司 确定路面消隐点位置的方法、装置、设备及存储介质
CN111369566B (zh) * 2018-12-25 2023-12-05 杭州海康威视数字技术股份有限公司 确定路面消隐点位置的方法、装置、设备及存储介质
CN113642592A (zh) * 2020-04-27 2021-11-12 武汉Tcl集团工业研究院有限公司 一种训练模型的训练方法、场景识别方法、计算机设备
CN113362420A (zh) * 2021-06-02 2021-09-07 北京百度网讯科技有限公司 道路标注生成方法、装置、设备以及存储介质
CN113362420B (zh) * 2021-06-02 2023-08-29 北京百度网讯科技有限公司 道路标注生成方法、装置、设备以及存储介质
CN116385888A (zh) * 2023-06-06 2023-07-04 山东省国土空间数据和遥感技术研究院(山东省海域动态监视监测中心) 解译标志确定方法和装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN108229274B (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN108229274A (zh) 多层神经网络模型训练、道路特征识别的方法和装置
KR20210073569A (ko) 이미지 시맨틱 세그멘테이션 네트워크를 트레이닝하기 위한 방법, 장치, 디바이스 및 저장 매체
CN108171212A (zh) 用于检测目标的方法和装置
CN107330731B (zh) 一种识别广告位点击异常的方法和装置
CN110136162B (zh) 无人机视角遥感目标跟踪方法及装置
CN110222572A (zh) 跟踪方法、装置、电子设备及存储介质
CN110826581B (zh) 一种动物数量识别方法、装置、介质及电子设备
CN115457531A (zh) 用于识别文本的方法和装置
CN108229273B (zh) 多层神经网络模型训练、道路特征识别的方法和装置
CN109522807A (zh) 基于自生成特征的卫星影像识别系统、方法及电子设备
CN112115761A (zh) 自动驾驶汽车视觉感知系统漏洞检测的对抗样本生成方法
CN114842343A (zh) 一种基于ViT的航空图像识别方法
Yang et al. Toward country scale building detection with convolutional neural network using aerial images
CN115984930A (zh) 微表情识别方法、装置、微表情识别模型的训练方法
CN117036184A (zh) 图像合成方法、装置、电子设备及存储介质
CN113627433B (zh) 基于数据扰动的跨域自适应语义分割方法及装置
CN112308093B (zh) 基于图像识别的空气质量感知方法、模型训练方法及系统
CN108229467B (zh) 解译遥感图像的方法、装置和电子设备
Wu et al. Real-time vehicle color recognition based on yolo9000
CN111914809A (zh) 目标对象定位方法、图像处理方法、装置和计算机设备
CN110751163B (zh) 目标定位方法及其装置、计算机可读存储介质和电子设备
CN108229271A (zh) 解译遥感图像的方法、装置和电子设备
CN113033305B (zh) 活体检测方法、装置、终端设备和存储介质
CN110210574A (zh) 合成孔径雷达图像解译方法、目标识别装置及设备
CN115630361A (zh) 一种基于注意力蒸馏的联邦学习后门防御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant