CN108229467B - 解译遥感图像的方法、装置和电子设备 - Google Patents

解译遥感图像的方法、装置和电子设备 Download PDF

Info

Publication number
CN108229467B
CN108229467B CN201710050588.5A CN201710050588A CN108229467B CN 108229467 B CN108229467 B CN 108229467B CN 201710050588 A CN201710050588 A CN 201710050588A CN 108229467 B CN108229467 B CN 108229467B
Authority
CN
China
Prior art keywords
remote sensing
sensing image
interpreted
interpretation
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710050588.5A
Other languages
English (en)
Other versions
CN108229467A (zh
Inventor
石建萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201710050588.5A priority Critical patent/CN108229467B/zh
Publication of CN108229467A publication Critical patent/CN108229467A/zh
Application granted granted Critical
Publication of CN108229467B publication Critical patent/CN108229467B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了解译遥感图像的方法、装置和电子设备。该方法的具体实施方式包括:基于多层神经网络模型解译遥感图像样本集中的各遥感图像样本,得到解译遥感图像集;响应于解译遥感图像集的当前解译情况不满足解译完成条件,对解译遥感图像集中的至少部分解译遥感图像的至少部分解译结果进行修正;响应于多层神经网络模型的当前训练情况不满足训练完成条件,根据更新后的解译遥感图像集调整多层神经网络模型的网络参数;基于调整后的多层神经网络模型重复执行上述步骤,直至解译遥感图像集满足解译完成条件、且多层神经网络模型满足训练完成条件。该实施方式能够更方便地积累深度学习的训练数据,提高深度学习效果。

Description

解译遥感图像的方法、装置和电子设备
技术领域
本申请涉及计算机技术领域,具体涉及图像识别技术领域,尤其涉及解译遥感图像的方法、装置和电子设备。
背景技术
解译也称判读或判释,指从遥感图像获取信息的基本过程。即根据各专业(部门)的要求,运用解译标志和实践经验与知识,从遥感图像中识别目标,定性、定量地提取出目标的分布、结构、功能等有关信息,并把它们表示在地理底图上的过程。
目前,在图像识别领域中,解译出遥感图像中像素的类别信息通常涉及图像特征的提取,基于深度学习技术可实现全自动地提取图像特征以解译遥感图像中像素的类别信息。传统的图像解译方法首先使用遥感图像训练集来训练CNN(Conventional NeuralNetwork,卷积神经网络),然后使用CNN解译出遥感图像中像素的类别信息。
传统的遥感图像解译方法需要使用预先标定的一些属性(例如,图像标签等)来训练CNN。现有技术中,可通过人工手动标注的方式来进行图像的属性标注。
发明内容
本申请提出了一种改进的解译遥感图像的技术方案。
第一方面,本申请提供了一种解译遥感图像的方法,该方法包括:基于多层神经网络模型解译遥感图像样本集中的各遥感图像样本,得到解译遥感图像集;响应于解译遥感图像集的当前解译情况不满足解译完成条件,对解译遥感图像集中的至少部分解译遥感图像的至少部分解译结果进行修正,得到更新后的解译遥感图像集;响应于多层神经网络模型的当前训练情况不满足训练完成条件,根据更新后的解译遥感图像集调整多层神经网络模型的网络参数;基于网络参数调整后的多层神经网络模型重复执行上述步骤,直至解译遥感图像集的当前解译情况满足解译完成条件、且多层神经网络模型的当前训练情况满足训练完成条件。
在一些实施例中,基于多层神经网络模型解译遥感图像样本集中的各遥感图像样本,得到解译遥感图像集,包括:基于多层神经网络模型确定各遥感图像样本中每个像素所属的目标类别;对确定出目标类别的各像素进行标注,得到解译遥感图像集。
在一些实施例中,对确定出目标类别的各像素进行标注,包括:将确定出目标类别的各像素的颜色标注为与各目标类别一一对应的颜色。
在一些实施例中,解译完成条件,包括:解译遥感图像集中每个解译遥感图像的解译结果的正确率在预定容差范围内;和/或解译遥感图像集中解译结果的正确率大于预定阈值的解译遥感图像的数量,与解译遥感图像集中的全部解译遥感图像的数量之比,大于比例。
在一些实施例中,解译结果包括:解译遥感图像中的像素所属的目标类别。
在一些实施例中,训练完成条件,包括:多层神经网络模型的训练次数达到训练次数阈值。
在一些实施例中,对解译遥感图像集中的至少部分解译遥感图像的至少部分解译结果进行修正,包括:接收用于修正解译遥感图像集中的至少部分解译遥感图像的至少部分解译结果的修正数据;根据修正数据修正解译遥感图像集中,与修正数据对应的解译遥感图像的解译结果。
在一些实施例中,首次修正前的遥感图像样本集包括带有用于标注至少一部分像素所属的目标类别的标注信息的至少一张遥感图像样本;其中,首次修正前的遥感图像样本集中的至少一张遥感图像样本中,各像素所属的目标类别的数量小于预设的类别数目。
在一些实施例中,基于多层神经网络模型解译遥感图像样本集中的各遥感图像样本,得到解译遥感图像集,包括:基于多层神经网络模型解译各遥感图像样本中至少一部分像素所属的目标类别,得到解译遥感图像集。
在一些实施例中,对解译遥感图像集中的至少部分解译遥感图像的至少部分解译结果进行修正,得到更新后的解译遥感图像集,包括:使用修正后的解译遥感图像集中的解译遥感图像替换更新前的解译遥感图像集中与之对应的解译遥感图像,得到更新后的解译遥感图像集。
在一些实施例中,对解译遥感图像集中的至少部分解译遥感图像集的至少部分解译结果进行修正,得到更新后的解译遥感图像集,包括:将修正后的解译遥感图像添加到解译遥感图像集中,得到更新后的解译遥感图像集。
在一些实施例中,多层神经网络模型为卷积神经网络。
第二方面,本申请提供了一种解译遥感图像的装置,该装置包括:解译单元,用于基于多层神经网络模型解译遥感图像样本集中的各遥感图像样本,得到解译遥感图像集;修正单元,用于当解译遥感图像集的当前解译情况不满足解译完成条件时,对解译遥感图像集中的至少部分解译遥感图像的至少部分解译结果进行修正,得到更新后的解译遥感图像集;调整单元,用于当多层神经网络模型的当前训练情况不满足训练完成条件时,根据更新后的解译遥感图像集调整多层神经网络模型的网络参数;反馈单元,用于当解译遥感图像集的当前解译情况不满足解译完成条件时或当多层神经网络模型的当前训练情况不满足训练完成条件时,将更新后的遥感图像样本集和网络参数调整后的多层神经网络模型反馈给解译单元。
在一些实施例中,解译单元进一步用于:基于多层神经网络模型确定各遥感图像样本中每个像素所属的目标类别;对确定出目标类别的像素进行标注,得到解译遥感图像。
在一些实施例中,解译单元进一步用于:将确定出目标类别的各像素的颜色标注为与各目标类别一一对应的颜色。
在一些实施例中,解译完成条件,包括:解译遥感图像集中每个解译遥感图像的解译结果的正确率在预定容差范围内;和/或解译遥感图像集中解译结果的正确率大于预定阈值的解译遥感图像的数量,与解译遥感图像集中的全部解译遥感图像的数量之比,大于比例。
在一些实施例中,解译结果包括:解译遥感图像集中的遥感图像中的像素所属的目标类别。
在一些实施例中,训练完成条件,包括:多层神经网络模型的训练次数达到训练次数阈值。
在一些实施例中,修正单元进一步用于:接收用于修正解译遥感图像集中的至少部分解译遥感图像的至少部分解译结果的修正数据;根据修正数据修正解译遥感图像集中,与修正数据对应的解译遥感图像的解译结果。
在一些实施例中,首次修正前的遥感图像样本集包括带有用于标注至少一部分像素所属的目标类别的标注信息的至少一张遥感图像样本;其中,首次修正前的遥感图像样本集中的至少一张遥感图像样本中,各像素所属的目标类别的数量小于预设的类别数目。
在一些实施例中,解译单元进一步用于:基于多层神经网络模型解译各遥感图像样本中至少一部分像素所属的目标类别,得到解译遥感图像集。
在一些实施例中,反馈单元进一步用于:使用修正后的解译遥感图像集中的解译遥感图像替换更新前的解译遥感图像集中与之对应的解译遥感图像,得到更新后的解译遥感图像集。
在一些实施例中,反馈单元进一步用于:将修正后的解译遥感图像添加到解译遥感图像集中,得到更新后的解译遥感图像集。
在一些实施例中,多层神经网络模型为卷积神经网络。
第三方面,本申请提供了一种电子设备,包括:存储器,存储可执行指令;一个或多个处理器,与存储器通信以执行可执行指令从而完成以下操作:存储器,存储可执行指令;一个或多个处理器,与存储器通信以执行可执行指令从而完成以下操作:基于多层神经网络模型解译遥感图像样本集中的各遥感图像样本,得到解译遥感图像集;响应于解译遥感图像集的当前解译情况不满足解译完成条件,对解译遥感图像集中的至少部分解译遥感图像的至少部分解译结果进行修正,得到更新后的解译遥感图像集;响应于多层神经网络模型的当前训练情况不满足训练完成条件,根据更新后的解译遥感图像集调整多层神经网络模型的网络参数;基于网络参数调整后的多层神经网络模型重复执行上述步骤,直至解译遥感图像集的当前解译情况满足解译完成条件、且多层神经网络模型的当前训练情况满足训练完成条件。
本申请提供的解译遥感图像的方法、装置和电子设备,通过交互式的数据积累方式,能够更方便、高效地积累遥感图像的深度学习训练数据,大大降低人工标注的工作成本,同时保证较好的深度学习算法的效果。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请可以应用于其中的示例性系统架构图;
图2是根据本申请的解译遥感图像的方法的一个实施例的流程图;
图3是根据本申请的解译遥感图像的方法的应用场景的示意图;
图4是根据本申请的解译遥感图像的装置的一个实施例的结构示意图;
图5是适于用来实现本申请实施例的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的解译遥感图像的方法或解译遥感图像的装置的实施例的示例性系统架构100。
如图1所示,系统架构100可以包括终端设备101(例如,航拍飞机)、终端设备102(例如,人造卫星),网络103和服务器104。网络103用以在终端设备101、102和服务器104之间提供通信链路的介质。网络103可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102通过网络103与服务器104交互,以接收或发送消息等。终端设备101、102是用来搭载传感器的运载工具,常用的有气球、飞机和人造卫星等,从远距离获取目标物体的电磁波特性,通过该信息的传输、贮存、卫星、修正、识别目标物体,最终实现其功能(定时、定位、定性、定量)。传感器是用来探测目标物电磁波特性的仪器设备,常用的有照相机、扫描仪和成像雷达等。
服务器104可以是提供各种服务的服务器,例如从终端设备101、102上搭载的传感器获取遥感图像的后台图像处理服务器。后台图像处理服务器可以对接收到的遥感图像等数据进行分析等处理,并将处理结果(例如图像特征的解译结果)输出。
需要说明的是,本申请实施例所提供的解译遥感图像的方法一般由服务器104执行,相应地,解译遥感图像的装置一般设置于服务器104中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,示出了根据本申请的解译遥感图像的方法的一个实施例的流程200。该解译遥感图像的方法,包括以下步骤:
步骤201,基于多层神经网络模型解译遥感图像样本集中的各遥感图像样本,得到解译遥感图像集。
在本实施例中,解译遥感图像的方法运行于其上的电子设备(例如图1所示的服务器)可以通过多层神经网络模型解译遥感图像样本集中的各遥感图像样本。其中,多层神经网络模型例如可以是深度神经网络、卷积神经网络等。该多层神经网络模型用于提取遥感图像样本的特征。遥感图像样本集中的各遥感图像样本包括通过人工标注或第三方软件标注的图像特征的标注信息。图像特征例如可以是但不限于HOG(Histogram of OrientedGradient,方向梯度直方图)特征、通过CNN提取的特征或通过分类器得到的特征等。对遥感图像样本解译,即对遥感图像样本中未标注的像素进行标注。
步骤202,响应于解译遥感图像集的当前解译情况不满足解译完成条件,对解译遥感图像集中的至少部分解译遥感图像的至少部分解译结果进行修正,得到更新后的解译遥感图像集。
在本实施例中,解译遥感图像集的当前解译情况可能不满足解译完成条件,此时,需要对解译结果进行修正,使用修正后的解译遥感图像更新原解译遥感图像集。可以对解译遥感图像集中一部分或全部解译遥感图像的解译结果进行修正。例如,解译遥感图像集中有10张解译遥感图像,可以修正其中的3张遥感图像,也可以修正全部10张解译遥感图像。也可以对解译遥感图像集中任一张解译遥感图像的部分解译结果进行修正。例如,任一张解译遥感图像经解译后标注了1000个像素的类别信息,可以修正其中500个像素的类别信息。可以通过人工修正或第三方软件修正解译结果。人工修正时可筛选比较难且错误明显的遥感图像进行重新标注。例如,初始的多层神经网络模型对道路的解译效果好,但初始的多层神经网络模型对云和雪的解译效果不是很理想,因此在人工修正时主要关注云和雪即可,而无需重点对道路进行标注。由于已经由多层神经网络模型标注了部分像素,此时筛选的工作量和重新标注的工作量较第一次标注遥感图像样本都大大减少。
如果解译遥感图像集的当前解译情况满足解译完成条件,则可将该解译遥感图像集作为最终的输出结果。解译完成条件可以根据实际应用场景的需要来设置,例如,可以将其设置为解译结果正确率大于或等于某一预先设置的正确率阈值,例如,80%。解译完成条件设置得越严格则得到的解译效果越好,解译效果与训练次数正相关。例如,解译完成条件为正确率大于90%时比解译完成条件为正确率大于80%时需要进行更多次的训练才能达到。此外,还可以针对不同的图像特征设置不同的解译完成条件。
步骤203,响应于多层神经网络模型的当前训练情况不满足训练完成条件,根据更新后的解译遥感图像集调整多层神经网络模型的网络参数。
在本实施例中,初始的多层神经网络模型的解译效果未必理想,仍需要优化该多层神经网络模型。可根据步骤202更新后的解译遥感图像集训练多层神经网络模型,例如,调整多层神经网络模型的网络参数,例如,可以使用人工修正后的标注数据监督学习该多层神经网络模型。或者可以使用第三方修正后的标注数据无监督地学习该多层神经网络模型。可以边解译边对该多层神经网络模型进行训练,因此减少了训练时间,并减少了人力成本。
步骤204,基于网络参数调整后的多层神经网络模型重复执行上述步骤201~步骤203,直至解译遥感图像集的当前解译情况满足解译完成条件、且多层神经网络模型的当前训练情况满足训练完成条件。
在本实施例中,使用网络参数调整后的多层神经网络模型继续执行步骤201~步骤203,循环执行该边解译边训练的过程,直到解译遥感图像集的当前解译情况满足解译完成条件、且多层神经网络模型的当前训练情况满足训练完成条件。重复执行解译和训练过程,可以提高解译精度并且优化该多层神经网络模型。
现有技术中,手工标注需要消耗大量的人力,标定效率较低。同时,一些影像经常覆盖非常大的区域,导致完全标注的时间也很长。传统的完全标注的监督学习需要的人力资源较多。因此不适用于深度学习这类型需要大量数据驱动的学习方案。另一方面,标注数据不足也会同时制约深度学习的性能。
而本实施例提供的解译遥感图像的方法,通过循环交互标注的方式,可以快速地积累大量遥感解译中深度学习需要的训练样本数据。在后期标注时只需要对遥感图像样本进行修正,并利用修正后的解译遥感图像集训练多层神经网络模型,从而减轻了标注工作量,降低标注成本。同时深度学习网络也因为见到了更多的较难的样本,而可以快速学到一个很好的模型。
继续参见图3,图3是根据本实施例的解译遥感图像的方法的应用场景的一个示意图300。用户将只标注了“云”的遥感图像样本集301作为训练样本输入多层神经网络模型302,得到标注了“云”的解译遥感图像303。判断解译遥感图像303的标注准确率是否满足解译完成条件,若满足,则可以作为最后解译结果输出,若不满足则需要修正解译遥感图像303以更新遥感图像样本集301,并且判断多层神经网络模型302的训练情况是否满足训练完成条件,若不满足则调整网络参数,并使用调整后的网络参数305更新多层神经网络模型302。然后循环使用更新后的遥感图像样本集301和调整后的多层神经网络模型302执行上述过程直到解译遥感图像303的标注准确率满足解译完成条件。
在本实施例的一些可选的实现方式中,步骤201中基于多层神经网络模型解译遥感图像样本集中的各遥感图像样本,得到解译遥感图像集,包括:基于多层神经网络模型确定各所述遥感图像样本中每个像素所属的目标类别;对确定出目标类别的各像素进行标注,得到解译遥感图像集。该多层神经网络模型可以提取像素的特征,并与已知的至少一种目标类别的特征进行匹配。确定出匹配度大于阈值的像素的类别,然后进行标注以区别不同的类别。例如,将该多层神经网络模型解译出的类别为道路的像素标注为道路,将解译出类别为河流的像素标注为河流。标注后的遥感图像可用作训练样本训练多层神经网络模型。可以达到边解译边训练的目的。
在本实施例的一些可选的实现方式中,步骤201中对确定出目标类别的各像素进行标注,包括:将确定出目标类别的各像素的颜色标注为与各目标类别一一对应的颜色。可以用不同的颜色标注不同的类别,例如,用绿色标注草地,用蓝色标注河流。从而使得人工修正图像时能够更容易快速查找出标错的像素。
在本实施例的一些可选的实现方式中,步骤202中解译完成条件,包括:解译遥感图像集中每个解译遥感图像的解译结果的正确率在预定容差范围内;和/或解译遥感图像集中解译结果的正确率大于预定阈值的解译遥感图像的数量,与解译遥感图像集中的全部解译遥感图像的数量之比,大于比例。容差范围是指遥感图像的解译结果的正确率和人工标注的对比文件相比的差距范围。例如,如果解译遥感图像集中一张解译遥感图像的解译结果中80%像素解译正确,则可认为解译情况满足解译完成条件。或者如果解译遥感图像集中解译结果的正确率大于预定阈值80%的解译遥感图像的数量与解译遥感图像集中的全部解译遥感图像的数量之比超过50%,则可认为解译情况满足解译完成条件。解译条件设置的越严格则得到的解译结果越好,因此循环解译的次数也越多。可根据实际解译类型的需要设置解译完成条件以实现解译效率和解译效果的平衡。
在本实施例的一些可选的实现方式中,步骤202中解译结果包括:解译遥感图像中的像素所属的目标类别。可以解译出多种目标类别,例如,道路、河流、云、雪等。可利用识别出目标类别的像素绘制该目标类别的图像,例如,利用目标类别属于道路的像素绘制道路图。
在本实施例的一些可选的实现方式中,步骤203中训练完成条件,包括:多层神经网络模型的训练次数达到训练次数阈值。设置训练完成条件可避免出现无限循环地训练该多层神经网络模型的情况。每次根据人工修正后的解译遥感图像集中所有解译遥感图像调整多层神经网络模型称为一次训练。训练训练次数阈值设置的越大,则循环执行训练的次数越多,得到的多层神经网络模型的解译效果越好。
在本实施例的一些可选的实现方式中,步骤202中对解译遥感图像集中的至少部分解译遥感图像的至少部分解译结果进行修正,包括:接收用于修正解译遥感图像集中的至少部分解译遥感图像的至少部分解译结果的修正数据;根据修正数据修正解译遥感图像集中,与修正数据对应的解译遥感图像的解译结果。用户可检查解译遥感图像集中的解译遥感图像的解译结果是否需要修正。例如,用户发现多层神经网络模型误将多张遥感图像中某一张遥感图像的属于河流的部分像素解译成道路,则可对解译错误的像素进行修正。可使用修正后的数据调整多层神经网络模型的网络参数,从而实现有监督地学习。
在本实施例的一些可选的实现方式中,步骤202中首次修正前的遥感图像样本集包括带有用于标注至少一部分像素所属的目标类别的标注信息的至少一张遥感图像样本;其中,首次修正前的遥感图像样本集中的至少一张遥感图像样本中,各像素所属的目标类别的数量小于预设的类别数目。训练多层神经网络模型时需要预先标注好的样本。标注的信息越多,则多层神经网络模型收敛地越快,解译效果也更好。为了较准确的训练出初始解译模型,需要先标注比较简单且容易区分没有太大歧义的遥感图像。如云雪判别中全图只有云或者只有雪的案例。
在本实施例的一些可选的实现方式中,步骤201中基于多层神经网络模型解译遥感图像样本集中的各遥感图像样本,得到解译遥感图像集,包括:基于多层神经网络模型解译各遥感图像样本中至少一部分像素所属的目标类别,得到解译遥感图像集。可以事先人工标注遥感图像样本的一部分像素的目标类别,然后由多层神经网络模型解译出其余部分像素的目标类别。每次人工修正较少的像素所属的目标类别,大部分的标注工作由多层神经网络模型来做,可以提高标注效率并节约人力成本。
在本实施例的一些可选的实现方式中,步骤202中对解译遥感图像集中的至少部分解译遥感图像的至少部分解译结果进行修正,得到更新后的解译遥感图像集,包括:使用修正后的解译遥感图像集中的解译遥感图像替换更新前的解译遥感图像集中与之对应的解译遥感图像,得到更新后的解译遥感图像集。修正后的解译遥感图像的标注信息量要大于修正前的,从而能够更快地优化多层神经网络模型。在同一次训练中修正后的解译遥感图像与修正前的解译遥感图像相比新增的对图像特征的标注的数量可以小于解译前遥感图像的对图像特征的标注的数量。例如,初始遥感图像未标注出目标类别为云的像素,通过多层神经网络模型得到的解译遥感图像标注了大量像素点的目标类别为云,对解译遥感图像重新进行标注修正时只需要再标注少量像素点的目标类别为云。因此大大减少了选择遥感图像样本的工作量和标注图像特征的工作量。
在本实施例的一些可选的实现方式中,步骤202中对解译遥感图像集中的至少部分解译遥感图像集的至少部分解译结果进行修正,得到更新后的解译遥感图像集,包括:将修正后的解译遥感图像添加到解译遥感图像集中,得到更新后的解译遥感图像集。从而增加了训练样本的数量,有助于优化多层神经网络模型。
在本实施例的一些可选的实现方式中,步骤201中多层神经网络模型为卷积神经网络。卷积神经网络是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。它包括卷积层(convolutional layer)和池化层(pooling layer)。在开始训练卷积神经网络前,所有的卷积核参数都应该用一些不同的小随机数进行初始化。“小随机数”用来保证网络不会因卷积核参数值过大而进入饱和状态,从而导致训练失败;“不同”用来保证网络可以正常地学习。实际上,如果用相同的数去初始化卷积核参数,则网络无能力学习。通过把网络训练出来的结果和真实类别进行比对,修正误差。通过更新卷积核参数使误差最小化来不断优化卷积核参数。使用卷积神经网络模型能够更加快速准确地解译遥感图像,并且卷积神经网络模型的训练方法简单易行。
进一步参考图4,作为对上述各图所示方法的实现,本申请提供了一种解译遥感图像的装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图4所示,本实施例的解译遥感图像的装置400包括:解译单元401、修正单元402、调整单元403和反馈单元404。其中,解译单元401用于基于多层神经网络模型解译遥感图像样本集中的各遥感图像样本,得到解译遥感图像集;修正单元402用于当所述解译遥感图像集的当前解译情况不满足解译完成条件时,对所述解译遥感图像集中的至少部分解译遥感图像的至少部分解译结果进行修正,得到更新后的解译遥感图像集;调整单元403用于当所述多层神经网络模型的当前训练情况不满足训练完成条件时,根据所述更新后的解译遥感图像集调整所述多层神经网络模型的网络参数;反馈单元404用于当所述解译遥感图像集的当前解译情况不满足解译完成条件时或当所述多层神经网络模型的当前训练情况不满足训练完成条件时,将更新后的遥感图像样本集和网络参数调整后的多层神经网络模型反馈给所述解译单元。
在本实施例的一些可选的实现方式中,解译单元401进一步用于:基于多层神经网络模型确定各遥感图像样本中每个像素所属的目标类别;对确定出目标类别的像素进行标注,得到解译遥感图像。
在本实施例的一些可选的实现方式中,解译单元401进一步用于:将确定出目标类别的各像素的颜色标注为与各目标类别一一对应的颜色。
在本实施例的一些可选的实现方式中,解译完成条件,包括:解译遥感图像集中每个解译遥感图像的解译结果的正确率在预定容差范围内;和/或解译遥感图像集中解译结果的正确率大于预定阈值的解译遥感图像的数量,与解译遥感图像集中的全部解译遥感图像的数量之比,大于比例。
在本实施例的一些可选的实现方式中,解译结果包括:解译遥感图像集中的遥感图像中的像素所属的目标类别。
在本实施例的一些可选的实现方式中,训练完成条件,包括:多层神经网络模型的训练次数达到训练次数阈值。
在本实施例的一些可选的实现方式中,修正单元402进一步用于:接收用于修正解译遥感图像集中的至少部分解译遥感图像的至少部分解译结果的修正数据;根据修正数据修正解译遥感图像集中,与修正数据对应的解译遥感图像的解译结果。
在本实施例的一些可选的实现方式中,首次修正前的遥感图像样本集包括带有用于标注至少一部分像素所属的目标类别的标注信息的至少一张遥感图像样本;其中,首次修正前的遥感图像样本集中的至少一张遥感图像样本中,各像素所属的目标类别的数量小于预设的类别数目。
在本实施例的一些可选的实现方式中,解译单元401进一步用于:基于多层神经网络模型解译各遥感图像样本中至少一部分像素所属的目标类别,得到解译遥感图像集。
在本实施例的一些可选的实现方式中,反馈单元404进一步用于:使用修正后的解译遥感图像集中的解译遥感图像替换更新前的解译遥感图像集中与之对应的解译遥感图像,得到更新后的解译遥感图像集。
在本实施例的一些可选的实现方式中,反馈单元404进一步用于:将修正后的解译遥感图像添加到解译遥感图像集中,得到更新后的解译遥感图像集。
在本实施例的一些可选的实现方式中,多层神经网络模型为卷积神经网络。
本发明实施例还提供了一种电子设备,例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图5,其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备500的结构示意图:如图5所示,计算机系统500包括一个或多个处理器、通信部等,所述一个或多个处理器例如:一个或多个中央处理单元(CPU)501,和/或一个或多个图像处理器(GPU)513等,处理器可以根据存储在只读存储器(ROM)502中的可执行指令或者从存储部分508加载到随机访问存储器(RAM)503中的可执行指令而执行各种适当的动作和处理。通信部512可包括但不限于网卡,所述网卡可包括但不限于IB(Infiniband)网卡。
处理器可与只读存储器502和/或随机访问存储器503通信以执行可执行指令,通过总线504与通信部512相连、并经通信部512与其他目标设备通信,从而完成本申请实施例提供的任一项方法对应的操作,例如,基于多层神经网络模型解译遥感图像样本集中的各遥感图像样本,得到解译遥感图像集;响应于解译遥感图像集的当前解译情况不满足解译完成条件,对解译遥感图像集中的至少部分解译遥感图像的至少部分解译结果进行修正,得到更新后的解译遥感图像集;响应于多层神经网络模型的当前训练情况不满足训练完成条件,根据更新后的解译遥感图像集调整多层神经网络模型的网络参数;基于网络参数调整后的多层神经网络模型重复执行上述步骤,直至解译遥感图像集的当前解译情况满足解译完成条件、且多层神经网络模型的当前训练情况满足训练完成条件。
此外,在RAM 503中,还可存储有装置操作所需的各种程序和数据。CPU501、ROM502以及RAM503通过总线504彼此相连。在有RAM503的情况下,ROM502为可选模块。RAM503存储可执行指令,或在运行时向ROM502中写入可执行指令,可执行指令使处理器501执行上述通信方法对应的操作。输入/输出(I/O)接口505也连接至总线504。通信部512可以集成设置,也可以设置为具有多个子模块(例如多个IB网卡),并在总线链接上。
以下部件连接至I/O接口505:包括键盘、鼠标等的输入部分506;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507;包括硬盘等的存储部分508;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器510上,以便于从其上读出的计算机程序根据需要被安装入存储部分508。
需要说明的,如图5所示的架构仅为一种可选实现方式,在具体实践过程中,可根据实际需要对上述图5的部件数量和类型进行选择、删减、增加或替换;在不同功能部件设置上,也可采用分离设置或集成设置等实现方式,例如GPU和CPU可分离设置或者可将GPU集成在CPU上,通信部可分离设置,也可集成设置在CPU或GPU上,等等。这些可替换的实施方式均落入本发明公开的保护范围。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,计算机程序包含用于执行流程图所示的方法的程序代码,程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令,例如,基于多层神经网络模型解译遥感图像样本集中的各遥感图像样本,得到解译遥感图像集;响应于解译遥感图像集的当前解译情况不满足解译完成条件,对解译遥感图像集中的至少部分解译遥感图像的至少部分解译结果进行修正,得到更新后的解译遥感图像集;响应于多层神经网络模型的当前训练情况不满足训练完成条件,根据更新后的解译遥感图像集调整多层神经网络模型的网络参数;基于网络参数调整后的多层神经网络模型重复执行上述步骤,直至解译遥感图像集的当前解译情况满足解译完成条件、且多层神经网络模型的当前训练情况满足训练完成条件。在这样的实施例中,该计算机程序可以通过通信部分509从网络上被下载和安装,和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时,执行本申请的方法中限定的上述功能。
可能以许多方式来实现本发明的方法和装置、设备。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明,本发明的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本发明实施为记录在记录介质中的程序,这些程序包括用于实现根据本发明的方法的机器可读指令。因而,本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用,并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (23)

1.一种解译遥感图像的方法,其特征在于,所述方法包括:
基于多层神经网络模型解译遥感图像样本集中的各遥感图像样本,得到解译遥感图像集;
响应于所述解译遥感图像集的当前解译情况不满足解译完成条件,对所述解译遥感图像集中的至少部分解译遥感图像的至少部分解译结果进行修正,得到更新后的解译遥感图像集,其中,所述解译结果包括:所述解译遥感图像中的像素所属的目标类别,所述修正包括对解译结果错误的遥感图像进行重新标注;
响应于所述多层神经网络模型的当前训练情况不满足训练完成条件,根据所述更新后的解译遥感图像集调整所述多层神经网络模型的网络参数;
基于网络参数调整后的所述多层神经网络模型重复执行上述步骤,直至所述解译遥感图像集的当前解译情况满足所述解译完成条件、且所述多层神经网络模型的当前训练情况满足所述训练完成条件。
2.根据权利要求1所述的方法,其特征在于,所述基于多层神经网络模型解译遥感图像样本集中的各遥感图像样本,得到解译遥感图像集,包括:
基于多层神经网络模型确定各所述遥感图像样本中每个像素所属的目标类别;
对确定出目标类别的各像素进行标注,得到解译遥感图像集。
3.根据权利要求2所述的方法,其特征在于,所述对确定出目标类别的各像素进行标注,包括:
将确定出目标类别的各像素的颜色标注为与各所述目标类别一一对应的颜色。
4.根据权利要求1所述的方法,其特征在于,所述解译完成条件,包括:
所述解译遥感图像集中每个解译遥感图像的解译结果的正确率在预定容差范围内;和/或
所述解译遥感图像集中解译结果的正确率大于预定阈值的解译遥感图像的数量,与解译遥感图像集中的全部解译遥感图像的数量之比,大于比例。
5.根据权利要求1所述的方法,其特征在于,所述训练完成条件,包括:
所述多层神经网络模型的训练次数达到训练次数阈值。
6.根据权利要求1所述的方法,其特征在于,所述对所述解译遥感图像集中的至少部分解译遥感图像的至少部分解译结果进行修正,包括:
接收用于修正所述解译遥感图像集中的至少部分解译遥感图像的至少部分解译结果的修正数据;
根据所述修正数据修正所述解译遥感图像集中,与所述修正数据对应的解译遥感图像的解译结果。
7.根据权利要求1所述的方法,其特征在于,首次修正前的遥感图像样本集包括带有用于标注至少一部分像素所属的目标类别的标注信息的至少一张遥感图像样本;
其中,首次修正前的遥感图像样本集中的所述至少一张遥感图像样本中,各像素所属的目标类别的数量小于预设的类别数目。
8.根据权利要求1所述的方法,其特征在于,所述基于多层神经网络模型解译遥感图像样本集中的各遥感图像样本,得到解译遥感图像集,包括:
基于所述多层神经网络模型解译各所述遥感图像样本中至少一部分像素所属的目标类别,得到所述解译遥感图像集。
9.根据权利要求1所述的方法,其特征在于,所述对所述解译遥感图像集中的至少部分解译遥感图像的至少部分解译结果进行修正,得到更新后的解译遥感图像集,包括:
使用修正后的解译遥感图像集中的解译遥感图像替换更新前的解译遥感图像集中与之对应的解译遥感图像,得到更新后的解译遥感图像集。
10.根据权利要求1所述的方法,其特征在于,所述对所述解译遥感图像集中的至少部分解译遥感图像集的至少部分解译结果进行修正,得到更新后的解译遥感图像集,包括:
将修正后的解译遥感图像添加到所述解译遥感图像集中,得到更新后的解译遥感图像集。
11.根据权利要求1-10任一项所述的方法,其特征在于,所述多层神经网络模型为卷积神经网络。
12.一种解译遥感图像的装置,其特征在于,所述装置包括:
解译单元,用于基于多层神经网络模型解译遥感图像样本集中的各遥感图像样本,得到解译遥感图像集;
修正单元,用于当所述解译遥感图像集的当前解译情况不满足解译完成条件时,对所述解译遥感图像集中的至少部分解译遥感图像的至少部分解译结果进行修正,得到更新后的解译遥感图像集,其中,所述解译结果包括:所述解译遥感图像中的像素所属的目标类别,所述修正包括对解译结果错误的遥感图像进行重新标注;
调整单元,用于当所述多层神经网络模型的当前训练情况不满足训练完成条件时,根据所述更新后的解译遥感图像集调整所述多层神经网络模型的网络参数;
反馈单元,用于当所述解译遥感图像集的当前解译情况不满足解译完成条件时或当所述多层神经网络模型的当前训练情况不满足训练完成条件时,将更新后的遥感图像样本集和网络参数调整后的多层神经网络模型反馈给所述解译单元。
13.根据权利要求12所述的装置,其特征在于,所述解译单元进一步用于:
基于多层神经网络模型确定各所述遥感图像样本中每个像素所属的目标类别;
对确定出目标类别的像素进行标注,得到解译遥感图像。
14.根据权利要求13所述的装置,其特征在于,所述解译单元进一步用于:将确定出目标类别的各像素的颜色标注为与各所述目标类别一一对应的颜色。
15.根据权利要求12所述的装置,其特征在于,所述解译完成条件,包括:
所述解译遥感图像集中每个解译遥感图像的解译结果的正确率在预定容差范围内;和/或
所述解译遥感图像集中解译结果的正确率大于预定阈值的解译遥感图像的数量,与解译遥感图像集中的全部解译遥感图像的数量之比,大于比例。
16.根据权利要求12所述的装置,其特征在于,所述训练完成条件,包括:
所述多层神经网络模型的训练次数达到训练次数阈值。
17.根据权利要求12所述的装置,其特征在于,所述修正单元进一步用于:
接收用于修正所述解译遥感图像集中的至少部分解译遥感图像的至少部分解译结果的修正数据;
根据所述修正数据修正所述解译遥感图像集中,与所述修正数据对应的解译遥感图像的解译结果。
18.根据权利要求12所述的装置,其特征在于,首次修正前的遥感图像样本集包括带有用于标注至少一部分像素所属的目标类别的标注信息的至少一张遥感图像样本;
其中,首次修正前的遥感图像样本集中的所述至少一张遥感图像样本中,各像素所属的目标类别的数量小于预设的类别数目。
19.根据权利要求12所述的装置,其特征在于,所述解译单元进一步用于:
基于所述多层神经网络模型解译各所述遥感图像样本中至少一部分像素所属的目标类别,得到所述解译遥感图像集。
20.根据权利要求12所述的装置,其特征在于,所述反馈单元进一步用于:
使用修正后的解译遥感图像集中的解译遥感图像替换更新前的解译遥感图像集中与之对应的解译遥感图像,得到更新后的解译遥感图像集。
21.根据权利要求12所述的装置,其特征在于,所述反馈单元进一步用于:
将修正后的解译遥感图像添加到所述解译遥感图像集中,得到更新后的解译遥感图像集。
22.根据权利要求12-21任一项所述的装置,其特征在于,所述多层神经网络模型为卷积神经网络。
23.一种电子设备,其特征在于,包括:
存储器,存储可执行指令;
一个或多个处理器,与存储器通信以执行可执行指令从而完成以下操作:
基于多层神经网络模型解译遥感图像样本集中的各遥感图像样本,得到解译遥感图像集;
响应于所述解译遥感图像集的当前解译情况不满足解译完成条件,对所述解译遥感图像集中的至少部分解译遥感图像的至少部分解译结果进行修正,得到更新后的解译遥感图像集,其中,所述解译结果包括:所述解译遥感图像中的像素所属的目标类别,所述修正包括对解译结果错误的遥感图像进行重新标注;
响应于所述多层神经网络模型的当前训练情况不满足训练完成条件,根据所述更新后的解译遥感图像集调整所述多层神经网络模型的网络参数;
基于网络参数调整后的所述多层神经网络模型重复执行上述步骤,直至所述解译遥感图像集的当前解译情况满足所述解译完成条件、且所述多层神经网络模型的当前训练情况满足所述训练完成条件。
CN201710050588.5A 2017-01-23 2017-01-23 解译遥感图像的方法、装置和电子设备 Active CN108229467B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710050588.5A CN108229467B (zh) 2017-01-23 2017-01-23 解译遥感图像的方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710050588.5A CN108229467B (zh) 2017-01-23 2017-01-23 解译遥感图像的方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN108229467A CN108229467A (zh) 2018-06-29
CN108229467B true CN108229467B (zh) 2020-11-27

Family

ID=62657325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710050588.5A Active CN108229467B (zh) 2017-01-23 2017-01-23 解译遥感图像的方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN108229467B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325126B (zh) * 2020-02-12 2023-11-03 二十一世纪空间技术应用股份有限公司 遥感图像的解译方法及装置
CN113362287B (zh) * 2021-05-24 2022-02-01 江苏星月测绘科技股份有限公司 一种人机协同的遥感影像智能解译方法
CN116052018B (zh) * 2023-03-31 2023-10-27 北京数慧时空信息技术有限公司 基于终身学习的遥感影像解译方法
CN116385888A (zh) * 2023-06-06 2023-07-04 山东省国土空间数据和遥感技术研究院(山东省海域动态监视监测中心) 解译标志确定方法和装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023145A (zh) * 2016-05-06 2016-10-12 哈尔滨工程大学 基于超像素标注的遥感图像的分割与识别方法
US9495618B1 (en) * 2015-08-06 2016-11-15 Digitalglobe, Inc. Object detection with textural to spectral domain adaptation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9495618B1 (en) * 2015-08-06 2016-11-15 Digitalglobe, Inc. Object detection with textural to spectral domain adaptation
CN106023145A (zh) * 2016-05-06 2016-10-12 哈尔滨工程大学 基于超像素标注的遥感图像的分割与识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于BP神经网络的遥感影像分类;赵泉华等;《第九届东北三省测绘学术与信息交流会论文集》;20121026;第90-93页 *
多层感知神经网络在遥感影像解译中的应用;刘学工;《人民黄河》;20070131;第3-4、7页 *

Also Published As

Publication number Publication date
CN108229467A (zh) 2018-06-29

Similar Documents

Publication Publication Date Title
CN108229467B (zh) 解译遥感图像的方法、装置和电子设备
JP6771449B2 (ja) 航空画像からの自動物体検出のための方法およびシステム
WO2020258793A1 (zh) 目标检测及目标检测网络的训练
CN108171203B (zh) 用于识别车辆的方法和装置
EP3843036B1 (en) Sample labeling method and device, and damage category identification method and device
CN107918776B (zh) 一种基于机器视觉的用地规划方法、系统及电子设备
CN108229274B (zh) 多层神经网络模型训练、道路特征识别的方法和装置
CN108229675B (zh) 神经网络的训练方法、物体检测方法、装置和电子设备
JP2021532434A (ja) 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体
Alkhudaydi et al. An exploration of deep-learning based phenotypic analysis to detect spike regions in field conditions for UK bread wheat
CN112862093B (zh) 一种图神经网络训练方法及装置
CN111666855B (zh) 基于无人机的动物三维参数提取方法、系统及电子设备
CN112232384A (zh) 模型训练方法、图像特征提取方法、目标检测方法和装置
WO2022218396A1 (zh) 图像处理方法、装置和计算机可读存储介质
CN111709374A (zh) 鸟情检测方法、装置、计算机设备及存储介质
US20220114396A1 (en) Methods, apparatuses, electronic devices and storage media for controlling image acquisition
CN110826581A (zh) 一种动物数量识别方法、装置、介质及电子设备
CN108229271B (zh) 解译遥感图像的方法、装置和电子设备
WO2024020542A1 (en) Methods to estimate field-level carbon, water and nutrient implications for agriculture
CN108229517B (zh) 神经网络训练和高光谱图像解译方法、装置及电子设备
CN110210314B (zh) 人脸检测方法、装置、计算机设备及存储介质
CN116543386A (zh) 一种基于卷积神经网络的农业病虫害图像识别方法
CN113781478B (zh) 油罐图像检测方法、装置、电子设备和计算机可读介质
CN112215303B (zh) 一种基于自学属性的图像理解方法及系统
CN117710833A (zh) 基于云计算的测绘地理信息数据采集方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant