CN112884764A - 提取图像中地块的方法、装置、电子设备及存储介质 - Google Patents
提取图像中地块的方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112884764A CN112884764A CN202110314810.4A CN202110314810A CN112884764A CN 112884764 A CN112884764 A CN 112884764A CN 202110314810 A CN202110314810 A CN 202110314810A CN 112884764 A CN112884764 A CN 112884764A
- Authority
- CN
- China
- Prior art keywords
- image
- semantic
- land
- parcel
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000011218 segmentation Effects 0.000 claims abstract description 186
- 238000003708 edge detection Methods 0.000 claims abstract description 124
- 238000012545 processing Methods 0.000 claims abstract description 46
- 238000004590 computer program Methods 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims description 33
- 230000015654 memory Effects 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 10
- 238000013145 classification model Methods 0.000 description 9
- 238000005070 sampling Methods 0.000 description 8
- 241000209094 Oryza Species 0.000 description 6
- 235000007164 Oryza sativa Nutrition 0.000 description 6
- 238000012937 correction Methods 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000003062 neural network model Methods 0.000 description 6
- 235000009566 rice Nutrition 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 230000000644 propagated effect Effects 0.000 description 4
- 241000196324 Embryophyta Species 0.000 description 3
- 240000008042 Zea mays Species 0.000 description 3
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 3
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 235000005822 corn Nutrition 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 101100248200 Arabidopsis thaliana RGGB gene Proteins 0.000 description 1
- 229920000742 Cotton Polymers 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30184—Infrastructure
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本申请提供了一种提取图像中地块的方法、装置、电子设备、计算机可读存储介质及计算机程序产品;方法包括:对包含地块的待处理图像进行语义分割处理,得到相应的语义分割图像,语义分割图像包括地块对应的语义区域;对待处理图像中的地块进行边缘检测,得到地块的轮廓信息;基于地块的轮廓信息,对地块对应的语义区域进行切割处理,得到地块对应的语义切割区域;确定语义切割区域在语义分割图像中所处的区域位置;对待处理图像进行对应区域位置的图像提取,得到对应地块的地块图像。通过本申请,能够提取更为准确的地块图像。
Description
技术领域
本申请涉及图像处理技术,尤其涉及一种提取图像中地块的方法、装置、电子设备及存储介质。
背景技术
随着图像处理技术的不断发展,利用图像处理技术进行分析是研究应用领域的重点研究方向之一。
相关技术中,在进行地块的图像提取时,通常采用的方式是对图像进行特征提取,根据提取的图像特征来识别出符合特征的图像区域,以从中提取出地块。然而,实际场景下,地块之间往往分布紧凑,采用相关技术的提取方式却无法针对这一特点从图像中提取出准确的地块。
发明内容
本申请实施例提供一种提取图像中地块的方法、装置、电子设备、计算机可读存储介质及计算机程序产品,能够提取更为准确的地块图像。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种提取图像中地块的方法,包括:
对包含地块的待处理图像进行语义分割处理,得到相应的语义分割图像,所述语义分割图像包括所述地块对应的语义区域;
对所述待处理图像中的地块进行边缘检测,得到所述地块的轮廓信息;
基于所述地块的轮廓信息,对所述地块对应的语义区域进行切割处理,得到所述地块对应的语义切割区域;
确定所述语义切割区域在所述语义分割图像中所处的区域位置;
对所述待处理图像进行对应所述区域位置的图像提取,得到对应所述地块的地块图像。
本申请实施例提供一种提取图像中地块的装置,包括:
语义分割模块,用于对包含地块的待处理图像进行语义分割处理,得到相应的语义分割图像,所述语义分割图像包括所述地块对应的语义区域;
边缘检测模块,用于对所述待处理图像中的地块进行边缘检测,得到所述地块的轮廓信息;
语义切割模块,用于基于所述地块的轮廓信息,对所述地块对应的语义区域进行切割处理,得到所述地块对应的语义切割区域;
确定模块,用于确定所述语义切割区域在所述语义分割图像中所处的区域位置;
图像提取模块,用于对所述待处理图像进行对应所述区域位置的图像提取,得到对应所述地块的地块图像。
上述方案中,所述边缘检测模块,还用于通过边缘检测模型对所述待处理图像中的地块进行边缘检测,得到相应的边缘检测图像;确定所述地块对应的地块轮廓在所述边缘检测图像中的轮廓位置,并将所述轮廓位置作为所述轮廓信息。
上述方案中,所述图像中地块的装置,还包括:边缘检测模型训练模块,用于获取边缘检测图像样本,所述边缘检测图像样本携带轮廓标签,所述轮廓标签用于指示所述边缘检测图像样本中地块的轮廓信息;通过所述边缘检测模型,对所述边缘检测图像样本进行边缘检测,得到所述边缘检测图像样本中地块的预测轮廓信息;基于所述预测轮廓信息与所述轮廓标签之间的差异,更新所述边缘检测模型的模型参数。
上述方案中,所述语义切割模块,还用于基于所述地块的轮廓信息,确定所述地块在所述语义分割图像中所对应的轮廓区域;将所述轮廓区域从所述语义区域中进行去除,以实现对所述地块对应的语义区域进行切割处理。
上述方案中,所述语义分割图像为二值图像,所述语义分割图像中对应所述语义区域的像素值为第一像素值,所述语义分割图像中对应非语义区域的像素值为第二像素值;所述语义切割模块,还用于将所述轮廓区域对应的像素值赋值为所述第二像素值;确定所述语义区域中像素值为所述第二像素值的目标像素点;将所述目标像素点从所述语义区域中进行去除,以实现对所述地块对应的语义区域进行切割处理。
上述方案中,所述语义分割图像的尺寸与所述待处理图像的尺寸相同,所述图像中地块的装置,还包括:坐标系建立模块,用于在所述待处理图像内建立第一像素坐标系,并在所述语义分割图像内建立第二像素坐标系,所述第一像素坐标系与所述第二像素坐标系之间呈坐标映射关系;其中,所述第一像素坐标系及所述第二像素坐标系,用于实现对所述待处理图像进行对应所述区域位置的图像提取。
上述方案中,所述确定模块,还用于确定所述语义切割区域在所述第二像素坐标系中的像素坐标,将所述像素坐标作为所述语义切割区域在所述语义分割图像中所处的区域位置;所述对所述待处理图像进行对应所述区域位置的图像提取,包括:基于所述坐标映射关系,确定所述像素坐标从所述第二像素坐标系映射至所述第一像素坐标系的目标像素坐标;对所述待处理图像进行对应所述目标像素坐标的图像提取,以实现对所述待处理图像进行对应所述区域位置的图像提取。
上述方案中,所述语义分割处理为通过语义分割模型实现,所述图像中地块的装置,还包括:语义分割模型训练模块,用于构建样本图像对,所述样本图像对包括包含地块的样本原始图像、及与所述样本原始图像对应的样本语义分割图像;通过所述语义分割模型,对所述样本原始图像进行语义分割处理,得到相应的预测语义分割图像;基于所述预测语义分割图像与所述样本语义分割图像之间的差异,更新所述语义分割模型的模型参数。
上述方案中,所述语义切割区域包括多个分块区域,所述地块图像包括与各所述分块区域对应的分块图像,所述图像中地块的装置,还包括:分类模块,用于分别针对各所述分块图像执行以下处理:切割所述分块图像,得到多个子块图像;分别对各所述子块图像进行特征提取,得到相应的图像特征;基于所述图像特征对所述子块图像进行分类,得到各所述子块图像的分类结果,所述分类结果用于指示相应子块图像的地块类别;基于各所述子块图像的分类结果,确定所述分块图像对应的地块类别。
本申请实施例提供一种电子设备,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现本申请实施例提供的提取图像中地块的方法。
本申请实施例提供一种计算机可读存储介质,存储有可执行指令,用于引起处理器执行时,实现本申请实施例提供的提取图像中地块的方法。
本申请实施例提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现本申请实施例提供的提取图像中地块的方法。
本申请实施例具有以下有益效果:
与现有技术中采用特征提取的方式进行地块识别的方式相比,本申请实施例中,通过分别对包含地块的待处理图像进行语义分割及边缘检测,得到地块对应的语义区域及轮廓信息,并基于轮廓信息进一步对语义区域进行切割,得到切割后的语义切割区域,基于语义切割区域在语义分割图像中的区域位置,从待处理图像中提取对应区域位置的图像,得到地块的地块图像,从而能够有效区分出不同地块之间的边界,克服了现有技术所采用的地块提取方式提取的地块不够准确的缺陷,提高了地块提取的准确性。
附图说明
图1是本申请实施例提供的提取图像中地块的系统的一个可选的结构示意图;
图2是本申请实施例提供的电子设备的一个可选的结构示意图;
图3是本申请实施例提供的提取图像中地块的方法的一个可选的流程示意图;
图4A是本申请实施例提供的待处理图像的一个可选的示意图;
图4B是本申请实施例提供的语义分割图像的一个可选的示意图;
图4C是本申请实施例提供的边缘检测图像的一个可选的示意图;
图4D是本申请实施例提供的切割后的语义分割图像的一个可选的示意图;
图5是本申请实施例提供的提取图像中地块的方法的一个可选的流程示意图;
图6是本申请实施例提供的提取图像中地块的方法的一个可选的流程示意图;
图7A是本申请实施例提供的第一像素坐标系的一个可选的示意图;
图7B是本申请实施例提供的第二像素坐标系的一个可选的示意图;
图8是本申请实施例提供的基于一个植物分类模型进行分类处理的可选的示意图;
图9是本申请实施例提供的模型训练过程的一个可选的流程示意图;
图10是本申请实施例提供的提取图像中地块的方法的一个可选的流程示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集,但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集,并且可以在不冲突的情况下相互结合。
在以下的描述中,所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象,不代表针对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的,不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前,对本申请实施例中涉及的名词和术语进行说明,本申请实施例中涉及的名词和术语适用于如下的解释。
1)语义分割,是指针对图像将每个像素都标注上对应的类别,不区分个体。简单来说,就是将视觉输入的数据分为不同的语义可解释性类别。
2)边缘检测,目的是标识数字图像中亮度变化明显的点。图像属性中的显著变化通常反映了属性的重要事件和变化,包括:深度上的不连续、表面方向不连续、物质属性变化和场景照明变化。
本申请实施例提供一种提取图像中地块的方法、装置、电子设备、计算机可读存储介质及计算机程序产品,能够提取更为准确的地块图像。
首先对本申请实施例提供的提取图像中地块的系统进行说明,参见图1,图1是本申请实施例提供的提取图像中地块的系统100的一个可选的架构示意图,终端400通过网络300连接服务器200,网络300可以是广域网或者局域网,又或者是二者的组合,使用无线链路实现数据传输。在一些实施例中,终端400可以是笔记本电脑,平板电脑,台式计算机,智能手机,专用消息设备,便携式游戏设备,智能音箱,智能手表等,但并不局限于此。服务器200可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。网络300可以是广域网或者局域网,又或者是二者的组合。终端400以及服务器200可以通过有线或无线通信方式进行直接或间接地连接,本申请实施例中不做限制。
终端400,用于获取包含地块的待处理图像,并发送待处理图像至服务器200。
服务器200,用于对包含地块的待处理图像进行语义分割处理,得到相应的语义分割图像,所述语义分割图像包括所述地块对应的语义区域,对所述待处理图像中的地块进行边缘检测,得到所述地块的轮廓信息,基于所述地块的轮廓信息,对所述地块对应的语义区域进行切割处理,得到所述地块对应的语义切割区域,确定所述语义切割区域在所述语义分割图像中所处的区域位置,对所述待处理图像进行对应所述区域位置的图像提取,得到对应所述地块的地块图像并返回至终端400。
终端400,还用于接收并输出地块图像。
参见图2,图2是本申请实施例提供的电子设备500的一个可选的结构示意图,在实际应用中,电子设备500可以实施为图1中的终端400或服务器200,以电子设备为图1所示的服务器200为例,对实施本申请实施例的提取图像中地块的方法的电子设备进行说明。图2所示的电子设备500包括:至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。电子设备500中的各个组件通过总线系统540耦合在一起。可以理解,总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外,还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见,在图2中将各种总线都标为总线系统540。
处理器510可以是一种集成电路芯片,具有信号的处理能力,例如通用处理器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等,其中,通用处理器可以是微处理器或者任何常规的处理器等。
用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531,包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口530还包括一个或多个输入装置532,包括有助于用户输入的用户接口部件,比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器550可以是可移除的,不可移除的或其组合。示例性的硬件设备包括固态存储器,硬盘驱动器,光盘驱动器等。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。
存储器550包括易失性存储器或非易失性存储器,也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM,Read Only Memory),易失性存储器可以是随机存取存储器(RAM,Random Access Memory)。本申请实施例描述的存储器550旨在包括任意适合类型的存储器。
在一些实施例中,存储器550能够存储数据以支持各种操作,这些数据的示例包括程序、模块和数据结构或者其子集或超集,下面示例性说明。
操作系统551,包括用于处理各种基本系统服务和执行硬件相关任务的系统程序,例如框架层、核心库层、驱动层等,用于实现各种基础业务以及处理基于硬件的任务;
网络通信模块552,用于经由一个或多个(有线或无线)网络接口520到达其他计算设备,示例性的网络接口520包括:蓝牙、无线相容性认证(WiFi)、和通用串行总线(USB,Universal Serial Bus)等;
呈现模块553,用于经由一个或多个与用户接口530相关联的输出装置531(例如,显示屏、扬声器等)使得能够呈现信息(例如,用于操作外围设备和显示内容和信息的用户接口);
输入处理模块554,用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中,本申请实施例提供的提取图像中地块的装置可以采用软件方式实现,图2示出了存储在存储器550中的提取图像中地块的装置555,其可以是程序和插件等形式的软件,包括以下软件模块:语义分割模块5551、边缘检测模块5552、语义切割模块5553、确定模块5554和图像提取模块5555,这些模块是逻辑上的,因此根据所实现的功能可以进行任意的组合或进一步拆分。将在下文中说明各个模块的功能。
在另一些实施例中,本申请实施例提供的提取图像中地块的装置可以采用硬件方式实现,作为示例,本申请实施例提供的提取图像中地块的装置可以是采用硬件译码处理器形式的处理器,其被编程以执行本申请实施例提供的提取图像中地块的方法,例如,硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC,ApplicationSpecific Integrated Circuit)、DSP、可编程逻辑器件(PLD,Programmable LogicDevice)、复杂可编程逻辑器件(CPLD,Complex Programmable Logic Device)、现场可编程门阵列(FPGA,Field-Programmable Gate Array)或其他电子元件。
将结合本申请实施例提供的服务器的示例性应用和实施,说明本申请实施例提供的提取图像中地块的方法。参见图3,图3是本申请实施例提供的提取图像中地块的方法的一个可选的流程示意图,将结合图3示出的步骤进行说明。
步骤101,服务器对包含地块的待处理图像进行语义分割处理,得到相应的语义分割图像,所述语义分割图像包括所述地块对应的语义区域。
这里,待处理图像可以采用任意方式采集,例如可以面向县级、市级、省级甚至全国的区域,通过高分辨率的无人机定点航拍、卫星拍摄、或航空飞机航拍等方式进行采集,获取地面成像数据,然后通过辐射校正、几何校正、大气校正等过滤掉图像失真,转换为RGB图像,得到待处理图像。在一些实施例中,待处理图像也可以为RGGB图像等,本申请实施例不对待处理图像的图像格式作具体限定。其中,地块按类别划分可以包括但不限于林业地块、农作物地块、建筑地块等,本申请实施例不对地块的类别作具体限定。
示例性地,参见图4A,图4A是本申请实施例提供的待处理图像的一个可选的示意图,待处理图像中除了包含地块41以外,还可能包含其他图像内容,例如森林树木42、房屋建筑43等等。其中,图4A示出的地块41中包含左右相邻的两块子块,分别为不同类别的地块,例如可以分别种植有不同的农作物。
需要说明的是,待处理图像可以是预先采集后保存在图像库中,在需要对待处理图像进行地块的提取时,服务器从图像库中进行获取。在一些实施例中,待处理图像还可以是在采集得到后实时发送至服务器,以使服务器对待处理图像进行地块提取。
在实际实施时,服务器在获得待处理图像后,对待处理图像进行语义分割处理,得到相应的语义分割图像。其中,语义分割图像中包含地块对应的语义区域。需要说明的是,语义分割图像中还包括非地块对应的非语义区域。本申请实施例中,服务器在对RGB的待处理图像进行语义分割后,对待处理图像进行二值化处理,将语义区域和非语义区域进行区分。这里,服务器可以将语义区域的像素赋值为第一像素值,将非语义区域的像素值赋值为第二像素值。例如,第一像素值为1,第二像素值为0,可以将像素值为1的像素点对应为白色,将像素值为0的像素点对应为黑色。示例性地,参见图4B,图4B是本申请实施例提供的语义分割图像的一个可选的示意图,图示的白色区域即为地块对应的语义区域,黑色区域即为非地块对应的非语义区域。其中,图4B示出的语义区域44对应于图4A示出的地块41。
在一些实施例中,所述语义分割处理为通过语义分割模型实现。参见图5,图5是本申请实施例提供的提取图像中地块的方法的一个可选的流程示意图,基于图3,在步骤101之前,还可以执行:
步骤201,服务器构建样本图像对,所述样本图像对包括包含地块的样本原始图像、及与所述样本原始图像对应的样本语义分割图像。
在实际实施时,服务器获取地块的遥感图像,对该遥感图像进行预处理后得到样本原始图像。这里,预处理包括对遥感图像进行矫正、裁剪等。接着,针对样本原始图像,通过人工标注地块所在的区域,得到相应的样本语义分割图像。人工标注可以使用开源的标注软件,如labelme、ArcGIS等标注软件,利用上述标签对遥感图像进行分割处理,得到包括至少一个地块的样本语义分割图像。这里,为了区分相邻的不同地块,进行人工标注时可以对边界进行留白,或者对标注的每一块地块做形态学腐蚀操作。通过人工标注切割植物地块的方式,能够准确地分割出多个地块。
步骤202,通过所述语义分割模型,对所述样本原始图像进行语义分割处理,得到相应的预测语义分割图像。
这里,语义分割模型可以采用神经网络模型实现,例如U型卷积神经网络(U-Net,U-Network)、全卷积网络(FCN,Fully Convolutional Networks)、特征金字塔网络(FPN,feature pyramid networks)、用于图像分割的深度卷积编码器-解码器架构(SegNet,ADeep Convolutional Encoder-Decoder Architecture for Image Segmentation)及金字塔池化模型(PSPNet,Pyramid Scene Parseing Network)等等。在实际实施时,服务器将样本原始图像输入至语义分割模型中,通过语义分割模型对样本原始图像进行语义分割处理,得到预测的预测语义分割图像。需要说明的是,语义分割模型首先对样本原始图像进行图像编码,然后基于图像编码进行地块对应的语义区域的预测,得到地块对应的预测语义区域及非地块对应的预测非语义区域,由预测语义区域及预测非语义区域共同构成预测语义分割图像。
步骤203,基于所述预测语义分割图像与所述样本语义分割图像之间的差异,更新所述语义分割模型的模型参数。
在实际实施时,服务器通过计算语义分割模型对应的损失函数的值确定预测语义分割图像与样本语义分割图像之间的差异,当损失函数的值达到第一阈值时,基于损失函数确定相应的误差信号,将误差信号在语义分割模型中反向传播,并在传播的过程中更新语义分割模型的各个层的模型参数。
这里对反向传播进行说明,将训练样本输入到神经网络模型的输入层,经过隐藏层,最后达到输出层并输出结果,这是神经网络模型的前向传播过程,由于神经网络模型的输出结果与实际结果有误差,则计算输出结果与实际值之间的误差,并将该误差从输出层向隐藏层反向传播,直至传播到输入层,在反向传播的过程中,根据误差调整模型参数的值;不断迭代上述过程,直至收敛。以第一损失函数为例,服务器基于第一损失函数确定第一误差信号,第一误差信号从神经网络模型的输出层反向传播,逐层反向传播第一误差信号,在第一误差信号到达每一层时,结合传导的第一误差信号来求解梯度(也就是Loss函数对该层参数的偏导数),将该层的参数更新对应的梯度值。
步骤102,对所述待处理图像中的地块进行边缘检测,得到所述地块的轮廓信息。
在实际实施时,服务器对待处理图像中的地块进行边缘检测,得到待处理图像中地块的轮廓信息。本申请实施例中,服务器可以采用索贝尔(Sobel)算法、拉普拉斯(Laplacian)算法、坎尼(Canny)算法等实现边缘检测。本申请实施例中,服务器对待处理图像进行地块的边缘检测后,得到相应的边缘检测图像。在实际实施时,服务器通过边缘检测,识别出待处理图像中亮度变化的边缘,从而识别出分布紧凑的不同子块之间的边界。示例性地,参见图4C,图4C是本申请实施例提供的边缘检测图像的一个可选的示意图,图示的白色区域即为地块的地块轮廓。其中,图4C示出的地块轮廓45对应于图4A示出的地块41,由于地块41中包含有两块种植有不同农作物的子块,两个子块在图像亮度上存在较大区别,在实际实施时,服务器则可以通过边缘检测识别出图像中亮度发生变化的边界,从而识别出两个子块之间的边界,得到子块的准确的地块轮廓,以区分出分布紧凑的相邻子块。
本申请实施例中,轮廓信息可以为包含地块的地块轮廓的边缘检测图像。在一些实施例中,轮廓信息还可以为地块轮廓在待处理图像中的位置,在实际实施时,服务器可以在得到边缘检测图像后,从该边缘检测图像中提取出地块轮廓的轮廓位置,作为相应的轮廓信息。在一些实施例中,服务器还可以直接通过边缘检测从待处理图像中检测到地块对应的地块轮廓的轮廓位置,以获得地块的轮廓信息。
在一些实施例中,基于图3,步骤102还可以通过如下方式实现:服务器通过边缘检测模型对所述待处理图像中的地块进行边缘检测,得到相应的边缘检测图像;确定所述地块对应的地块轮廓在所述边缘检测图像中的轮廓位置,并将所述轮廓位置作为所述轮廓信息。
这里,边缘检测模型可以采用神经网络模型实现,例如整体嵌套的边缘检测(HED,holistically-nested edge detection)及U型卷积神经网络(U-Net,U-Network)等。在实际实施时,服务器对待处理图像针对地块进行边缘检测后,得到包含地块的轮廓信息的边缘检测图像。这里,轮廓信息可以为地块的地块轮廓在待处理图像中所处的轮廓位置。这里,轮廓位置可以用地块轮廓所覆盖的像素点的像素坐标进行表示。
在一些实施例中,参照图6,图6是本申请实施例提供的提取图像中地块的方法的一个可选的流程示意图,基于图3,在步骤102之前,还可以执行:
步骤301,服务器获取边缘检测图像样本,所述边缘检测图像样本携带轮廓标签,所述轮廓标签用于指示所述边缘检测图像样本中地块的轮廓信息。
需要说明的是,步骤301~步骤303可以在步骤101之后及步骤102之前执行,还可以在步骤101之前执行,图6示出的为在步骤101之前执行时的流程示意图。在实际实施时,服务器获取地块的遥感图像,然后对遥感图像进行预处理,通过人工标注地块的地块轮廓,得到携带轮廓标签的边缘检测图像样本。这里,人工标注也可以使用上述在对语义分割模型进行训练时所采用的开源的标注软件进行制作。本申请实施例中,轮廓标签为地块的地块边缘在边缘检测图像样本中的轮廓位置。在一些实施例中,可以通过地块边缘在边缘检测图像样本中的边缘区域所对应的像素点的像素坐标表示轮廓位置。
步骤302,通过所述边缘检测模型,对所述边缘检测图像样本进行边缘检测,得到所述边缘检测图像样本中地块的预测轮廓信息。
步骤303,基于所述预测轮廓信息与所述轮廓标签之间的差异,更新所述边缘检测模型的模型参数。
在实际实施时,服务器将边缘检测图像样本输入至边缘检测模型中,通过边缘检测模型对边缘检测图像样本进行边缘检测,得到预测轮廓信息。接着,服务器通过计算边缘检测模型对应的损失函数的值确定预测轮廓信息与轮廓标签之间的差异,并基于该差异更新边缘检测模型的模型参数。
在一些实施例中,服务器还可以构建目标样本图像对,目标样本图像对包括包含地块的样本原始图像、及与所述样本原始图像对应的样本边缘图像。服务器通过所述边缘检测模型,对所述样本原始图像进行边缘检测,得到相应的预测边缘图像,基于所述预测边缘图像与所述样本边缘图像之间的差异,更新所述边缘检测模型的模型参数。
步骤103,基于所述地块的轮廓信息,对所述地块对应的语义区域进行切割处理,得到所述地块对应的语义切割区域。
在实际实施时,服务器利用地块的轮廓信息,对语义区域进行切割。具体地,服务器可以利用轮廓信息,制作相应的图像蒙版,然后基于该图像蒙版,对语义分割图像进行蒙版处理,以通过轮廓信息对语义区域进行切割处理,得到相应的语义切割区域。
在一些实施例中,基于图3,步骤103还可以通过如下方式实现:
步骤201,服务器基于所述地块的轮廓信息,确定所述地块在所述语义分割图像中所对应的轮廓区域。
需要说明的是,轮廓区域为语义分割图像中与轮廓信息相对应的多个像素点所构成的区域。这里,轮廓信息为地块的地块轮廓,它可以通过像素坐标进行表示。本申请实施例中,语义分割图像与待处理图像的尺寸相同,这里的尺寸包括图像的宽度和高度。服务器对待处理图像进行边缘检测得到的地块的轮廓信息为地块的地块轮廓在待处理图像中的位置,在实际实施时,服务器基于轮廓信息,确定语义分割图像中对应该轮廓信息的图像区域为轮廓区域。示例性地,参见图4B及图4C,其中,图4B示出的白色区域即为对应待处理图像的轮廓区域,本申请实施例中,待处理图像、语义分割图像及轮廓检测图像的尺寸均相同,服务器将对应图4B示出的边缘检测图像中的轮廓区域,确定图4C示出的语义分割图像中的相同区域位置处的图像区域为语义分割图像的轮廓区域。
步骤202,将所述轮廓区域从所述语义区域中进行去除,以实现对所述地块对应的语义区域进行切割处理,得到所述地块对应的语义切割区域。
在实际实施时,服务器确定语义分割图像中的轮廓区域后,确定语义区域中被轮廓区域所覆盖的目标区域,将目标区域从语义区域中去除,从而实现对地块对应的语义区域进行切割处理,得到相应的语义切割区域。示例性地,参见图4D,图4D是本申请实施例提供的切割后的语义分割图像的一个可选的示意图,服务器在对图4C示出的语义分割图像进行切割处理后,得到的语义分割图像即如图4D所示,该图像中的白色区域即为本申请实施例的语义切割区域。其中,图4D示出的语义切割区域46对应于图4A示出的地块41,包括两个左右相邻的分块区域。这里,语义切割区域46为基于地块轮廓45,对语义区域44进行切割处理后得到,通过地块轮廓45将语义区域44切割成两个分块区域,从而准确识别出分布紧凑的相邻子块。
在一些实施例中,所述语义分割图像为二值图像,所述语义分割图像中对应所述语义区域的像素值为第一像素值,所述语义分割图像中对应非语义区域的像素值为第二像素值。步骤202还可以通过如下方式实现:服务器将所述轮廓区域对应的像素值赋值为所述第二像素值;确定所述语义区域中像素值为所述第二像素值的目标像素点;将所述目标像素点从所述语义区域中进行去除,以实现对所述地块对应的语义区域进行切割处理。
在实际实施时,服务器在对待处理图像进行语义分割后,得到二值化的语义分割图像。具体地,服务器对RGB格式的待处理图像进行语义分割,得到包含RGB三通道的语义分割图像,其中,语义分割图像包括地块对应的语义区域及非地块对应的非语义区域,接着,服务器将RGB语义分割图像进行二值化处理,得到二值化的语义分割图像。这里,服务器将语义区域的像素值赋值为第一像素值并将非语义区域赋值为第二像素值,然后,服务器确定语义区域中像素值为第二像素值的目标像素点,将目标像素点从语义区域中进行去除,得到语义切割区域。应当理解的是,语义切割区域中的像素点的像素值均为第一像素值,也即,语义分割图像中所有第一像素值的像素点所构成的区域即为语义切割区域。例如图4D示出的白色区域即为语义切割区域。
在一些实施例中,服务器还可以基于语义分割图像及边缘检测图像,生成相应的语义切割图像。具体地,服务器创建一张初始图像,并将初始图像中的所有像素点的像素值赋值为第二像素值,示例性地,若第二像素值对应的颜色为黑色,则该初始图像为一张全黑图。接着,服务器基于边缘检测图像,确定边缘检测图像中像素值为第一像素值的轮廓区域,并确定语义分割图像中像素值为第一像素值的语义区域,接着,服务器将语义区域及轮廓区域映射至同一图像空间内,确定语义区域与轮廓区域的重叠区域,将给重叠区域从语义区域中进行去除,得到语义切割区域,将初始图像中对应语义切割区域的像素点赋值为第一像素值,得到相应的语义切割图像。
步骤104,确定所述语义切割区域在所述语义分割图像中所处的区域位置。
在实际实施时,服务器确定语义切割区域在语义分割图像中的像素点集合,获取像素点集合中各像素点在语义分割图像中所处的位置,将像素点集合所对应的像素坐标集合作为语义切割区域的区域位置。
在一些实施例中,所述语义分割图像的尺寸与所述待处理图像的尺寸相同,基于图3,还可以执行:服务器在所述待处理图像内建立第一像素坐标系,并在所述语义分割图像内建立第二像素坐标系,所述第一像素坐标系与所述第二像素坐标系之间呈坐标映射关系;其中,所述第一像素坐标系及所述第二像素坐标系,用于实现对所述待处理图像进行对应所述区域位置的图像提取。
示例性地,参见图7A及图7B,图7A是本申请实施例提供的第一像素坐标系的一个可选的示意图,图7B是本申请实施例提供的第二像素坐标系的一个可选的示意图。这里,第一像素坐标系的坐标原点O为待处理图像的左下角顶点,x轴与待处理图像的宽平行,y轴与待处理图像的高平行。第二像素坐标系的坐标原点O’为待处理图像的左下角顶点,x’轴与待处理图像的宽平行,y’轴与待处理图像的高平行。这里,第一像素坐标系与第二像素坐标系对齐,也即是说,第一像素坐标系与第二像素坐标系的坐标映射关系为一一对应关系,在一些实施例中,还可以针对不同的坐标映射关系建立第一像素坐标系及第二像素坐标系。
步骤105,对所述待处理图像进行对应所述区域位置的图像提取,得到对应所述地块的地块图像。
在一些实施例中,步骤104还可以通过如下方式实现:服务器确定所述语义切割区域在所述第二像素坐标系中的像素坐标,将所述像素坐标作为所述语义切割区域在所述语义分割图像中所处的区域位置。相应的,步骤105还可以通过如下方式实现:服务器基于所述坐标映射关系,确定所述像素坐标从所述第二像素坐标系映射至所述第一像素坐标系的目标像素坐标;对所述待处理图像进行对应所述目标像素坐标的图像提取,以实现对所述待处理图像进行对应所述区域位置的图像提取。
在实际实施时,服务器获取语义切割区域在第二像素坐标系中的像素坐标,例如,确定语义切割区域中某一像素点的像素坐标为(x0,y0),则基于坐标映射关系,将其映射至第一像素坐标系中,得到目标像素坐标(x0’,y0’)。应当理解的是,若坐标映射关系为一一对应关系,则x0’=x0,y0’=y0。服务器获取语义切割区域中所有像素点的像素坐标并依次映射至第一像素坐标系中,得到语义切割区域对应于第一像素坐标系的目标像素坐标集合,服务器则基于目标像素坐标集合,从待处理图像中提取出与目标像素坐标集合对应的目标像素点集合,提取的目标像素点集合所构成的图像即为地块图像,至此,完成地块图像的提取。
本申请实施例中,通过分别对包含地块的待处理图像进行语义分割及边缘检测,得到地块对应的语义区域及轮廓信息,并基于轮廓信息进一步对语义区域进行切割,得到切割后的语义切割区域,基于语义切割区域在语义分割图像中的区域位置,从待处理图像中提取对应区域位置的图像,得到地块的地块图像,从而能够有效区分出不同地块之间的边界,提高了地块提取的准确性。
在一些实施例中,所述语义切割区域包括多个分块区域,所述地块图像包括与各所述分块区域对应的分块图像。基于图3,还可以执行:服务器分别针对各所述分块图像执行以下处理:切割所述分块图像,得到多个子块图像;分别对各所述子块图像进行特征提取,得到相应的图像特征;基于所述图像特征对所述子块图像进行分类,得到各所述子块图像的分类结果,所述分类结果用于指示相应子块图像的地块类别;基于各所述子块图像的分类结果,确定所述分块图像对应的地块类别。
参见图8,图8是本申请实施例提供的基于一个分类模型进行分类处理的可选的示意图。在实际实施时,服务器在分块图像中随机获取N个取样点,将固定尺寸size作为预设尺寸,以每个取样点为中心,向坐上偏移size/2,向右下偏移size/2,作为采样窗口,在地块级遥感图像中裁剪出一个size大小的图片作为一个子块图像,例如,可以选取25*25的采样窗口进行图像切割,依次对每个取样点以size大小的采样窗口裁剪size大小的图像,得到相应的一个分块图像对应的N个子块图像。需要说明的是,固定尺寸size的需要预先设定,根据大量实验数据和先验知识确定,一般要求盖住少量的地块轮廓,以使采样窗口尽可能的包裹整块地块。
在一些实施例中,使用农作物分类模型对子块图像进行特征提取处理,得到对应所述每个子块图像的图像特征;根据图像特征,对所述子块图像进行类别预测,将图像特征映射为对应多个候选农作物类别的概率,将超出概率阈值且概率值最大的的概率对应的农田植物类别,作为子块图像的分类结果,依次利用农作物分类模型对N个子块图像进行类别预测,得到N个分类结果。
需要说明的是,分类结果一般是取具有最大概率的类作为结果的,概率和加起来一般是100%。示例性的,若候选农作物的类别为“玉米”、“水稻”“其他”,对于一个地块,利用农作物分类模型分别对当前地块对应的N个子块图像进行特征提取和分类预测,得到预测类别为“玉米”的概率为20%,预测类别为“水稻”的概率为70%,预测类别为“其他”的概率为10%,由于预测类别为“水稻”的概率最大,可以判定,当前子块图像中的地块类别为“水稻”。
在一些实施例中,服务器统计N个分类结果中属于相同地块类别的数量,将数量最多的地块类别确定为N个子块图像对应的地块的分类结果,将该分类结果赋值给当前分块图像。
示例性的,对于一个分块图像,若切割了50个子块图像,利用农作物分类模型分别对分块图像进行特征提取和分类处理,得到了40个预测为“水稻”的分类结果,9个预测为“玉米”的分类结果,1个预测为“棉花”的分类结果,通过多数投票的方式,确定当前分块图像的分类结果为“水稻”。
本申请实施例中,针对地块级的分块图像,进行多点取样,以预设尺寸切割地块的图像,得到与分块图像对应的多个有效的子块图像,有效的提高了分块图像的精度,根据预训练的分类模型对多个子块图像进行类别预测得到多个相应的分类结果,并基于多数投票确定分块图像覆盖的地块类别,兼顾分类模型多次预测的效果,确定最优的识别结果,降低识别错误的概率,提高地块识别的准确率,从而提升地块分类的精度,提高地块识别的应用价值。
下面,将说明本申请实施例在一个实际的应用场景中的示例性应用。参见图9,图9是本申请实施例提供的分类模型的训练过程的一个可选的流程示意图,下面结合图9示出的步骤进行说明。
步骤901,服务器获取训练图像。
在实际实施时,服务器获取针对农田地块的遥感图像,并对遥感图像进行预处理,得到训练图像。具体地,首先通过高分辨率遥感卫星、无人机、航空飞机等获取地面成像数据,得到遥感图像,服务器在获取到该遥感图像后,通过辐射校正、几何校正、大气校正等过滤掉图像失真,并转换为RGB图像,通过图像裁剪将遥感图像裁剪为合适大小,得到相应的训练图像。
步骤902,获取农田地块标注。
这里,农田地块标注可以通过人工标注得到。具体地,服务器调用labelme等工具,标注人员则利用该工具在训练图像中标记出每一块农田区域,得到农田地块标注,用于后续的模型训练。这里,农田地块标注为农田地块的地块轮廓对应的轮廓线条。需要说明的是,服务器在得到农田地块标注后,还对训练图像中每个农田地块的标签构成的面进行腐蚀处理,以将标注重叠的边界分开,以用于后续的地块分割,避免不同的地块连接在一起。
步骤903,将农田地块标注转换为边缘二值图像。
步骤904,将农田地块标注转换为语义分割二值图像。
步骤905,训练边缘检测模型。
步骤906,训练语义分割模型。
在实际实施时,服务器将农田地块标注分别转化为边缘二值图像及语义分割二值图像,并基于训练图像及边缘二值图像,构建边缘检测模型的边缘训练图像对,对边缘检测模型进行训练,基于训练图像及语义分割二值图像,构建语义分割模型的语义训练图像对,对语义分割模型进行训练。这里,将边缘检测模型记为设为EdgeModel,将语义分割模型记为SegModel。
接下来,服务器利用训练好的边缘检测模型及语义分割模型,进行农田地块的提取。参见图10和图4A-4D,图10是本申请实施例提供的提取图像中地块的方法的一个可选的流程示意图,下面结合图10示出的步骤进行说明。
步骤1001,服务器获取待处理图像。
在实际实施时,服务器获取待处理的遥感图像,并对待处理的遥感图像进行预处理,得到相应的待处理图像。这里,对待处理的遥感图像的预处理过程参见上述对训练图像的预处理过程,这里不再进行赘述。
步骤1002,通过边缘检测模型,对待处理图像进行边缘检测,得到边缘检测图像。
步骤1003,通过语义分割模型,对待处理图像进行语义分割,得到语义分割图像。
接着,服务器将待处理图像分别输入至边缘检测模型及语义分割模型中,通过边缘检测模型对待处理图像进行边缘检测,得到边缘检测图像ResultA,并通过语义分割模型对待处理图像进行语义分割,得到语义分割图像ResultB。这里,步骤1002与步骤1003可以并行执行,也可以串行执行,当为串行执行时,步骤1002与步骤1003的执行先后顺序可以为任意顺序,本申请实施例不对二者的执行顺序作具体限定。需要说明的是,本申请实施例中,边缘检测模型输出的边缘检测图像及语义分割模型输出的语义分割图像均为二值图像,且边缘检测图像及语义分割图像的尺寸均与待处理图像的尺寸相同。这里,语义分割图像中与农田地块对应的农田语义区域的像素值为第一像素值,非农田语义区域的像素值为第二像素值,边缘检测图像中与农田地块的轮廓对应的轮廓区域的像素值为第一像素值,非轮廓区域的像素值为第二像素值。示例性地,第一像素值可以为1,第二像素值可以为0。
步骤1004,对边缘检测图像及语义分割图像进行融合处理,得到语义切割图像。
在实际实施时,服务器构建一张与待处理图像的尺寸相同的初始图像。这里,初始图像为二值图像,其中的像素点的像素值均为第二像素值。接着,服务器基于语义分割图像及边缘检测图像,确定在语义分割图像中像素值为第一像素值、且在边缘检测图像中像素值为第二像素值的目标区域,将初始图像中对应该目标区域的像素点的像素值赋值为第一像素值,生成相应语义切割图像。其中,语义切割图像包括第一像素值构成的语义切割区域及第二像素值构成的非语义切割区域。
步骤1005,基于语义切割图像,从待处理图像中提取农田地块图像。
在实际实施时,服务器基于语义切割图像中像素值为第一像素值的语义切割区域,从待处理图像中提取对应该语义切割区域的区域图像,提取得到的区域图像即为待处理图像中农田地块所对应的农田地块图像。
本申请实施例中,通过结合语义分割和边缘检测对待处理图像进行农田地块的提取,在语义分割得到农田地块对应的包含农田语义区域的语义分割图像的基础上,进一步基于边缘检测得到的农田地块的轮廓信息对农田语义区域进行切割,避免语义分割时由于农田地块的轮廓过于狭窄而导致将农田地块的轮廓划入了农田地块的语义区域,从而提高了提取的农田地块的准确度。
下面继续说明本申请实施例提供的提取图像中地块的装置555的实施为软件模块的示例性结构,在一些实施例中,如图2所示,存储在存储器540的提取图像中地块的装置555中的软件模块可以包括:
语义分割模块5551,用于对包含地块的待处理图像进行语义分割处理,得到相应的语义分割图像,所述语义分割图像包括所述地块对应的语义区域;
边缘检测模块5552,用于对所述待处理图像中的地块进行边缘检测,得到所述地块的轮廓信息;
语义切割模块5553,用于基于所述地块的轮廓信息,对所述地块对应的语义区域进行切割处理,得到所述地块对应的语义切割区域;
确定模块5554,用于确定所述语义切割区域在所述语义分割图像中所处的区域位置;
图像提取模块5555,用于对所述待处理图像进行对应所述区域位置的图像提取,得到对应所述地块的地块图像。
在一些实施例中,所述边缘检测模块5552,还用于通过边缘检测模型对所述待处理图像中的地块进行边缘检测,得到相应的边缘检测图像;确定所述地块对应的地块轮廓在所述边缘检测图像中的轮廓位置,并将所述轮廓位置作为所述轮廓信息。
在一些实施例中,所述图像中地块的装置,还包括:边缘检测模型训练模块,用于获取边缘检测图像样本,所述边缘检测图像样本携带轮廓标签,所述轮廓标签用于指示所述边缘检测图像样本中地块的轮廓信息;通过所述边缘检测模型,对所述边缘检测图像样本进行边缘检测,得到所述边缘检测图像样本中地块的预测轮廓信息;基于所述预测轮廓信息与所述轮廓标签之间的差异,更新所述边缘检测模型的模型参数。
在一些实施例中,所述语义切割模块5553,还用于基于所述地块的轮廓信息,确定所述地块在所述语义分割图像中所对应的轮廓区域;将所述轮廓区域从所述语义区域中进行去除,以实现对所述地块对应的语义区域进行切割处理。
在一些实施例中,所述语义分割图像为二值图像,所述语义分割图像中对应所述语义区域的像素值为第一像素值,所述语义分割图像中对应非语义区域的像素值为第二像素值;所述语义切割模块5553,还用于将所述轮廓区域对应的像素值赋值为所述第二像素值;确定所述语义区域中像素值为所述第二像素值的目标像素点;将所述目标像素点从所述语义区域中进行去除,以实现对所述地块对应的语义区域进行切割处理。
在一些实施例中,所述语义分割图像的尺寸与所述待处理图像的尺寸相同,所述图像中地块的装置,还包括:坐标系建立模块,用于在所述待处理图像内建立第一像素坐标系,并在所述语义分割图像内建立第二像素坐标系,所述第一像素坐标系与所述第二像素坐标系之间呈坐标映射关系;其中,所述第一像素坐标系及所述第二像素坐标系,用于实现对所述待处理图像进行对应所述区域位置的图像提取。
在一些实施例中,所述确定模块5554,还用于确定所述语义切割区域在所述第二像素坐标系中的像素坐标,将所述像素坐标作为所述语义切割区域在所述语义分割图像中所处的区域位置;所述对所述待处理图像进行对应所述区域位置的图像提取,包括:基于所述坐标映射关系,确定所述像素坐标从所述第二像素坐标系映射至所述第一像素坐标系的目标像素坐标;对所述待处理图像进行对应所述目标像素坐标的图像提取,以实现对所述待处理图像进行对应所述区域位置的图像提取。
在一些实施例中,所述语义分割处理为通过语义分割模型实现,所述图像中地块的装置,还包括:语义分割模型训练模块,用于构建样本图像对,所述样本图像对包括包含地块的样本原始图像、及与所述样本原始图像对应的样本语义分割图像;通过所述语义分割模型,对所述样本原始图像进行语义分割处理,得到相应的预测语义分割图像;基于所述预测语义分割图像与所述样本语义分割图像之间的差异,更新所述语义分割模型的模型参数。
在一些实施例中,所述语义切割区域包括多个分块区域,所述地块图像包括与各所述分块区域对应的分块图像,所述图像中地块的装置,还包括:分类模块,用于分别针对各所述分块图像执行以下处理:切割所述分块图像,得到多个子块图像;分别对各所述子块图像进行特征提取,得到相应的图像特征;基于所述图像特征对所述子块图像进行分类,得到各所述子块图像的分类结果,所述分类结果用于指示相应子块图像的地块类别;基于各所述子块图像的分类结果,确定所述分块图像对应的地块类别。
需要说明的是,本申请实施例装置的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果,因此不做赘述。
本申请实施例提供了一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现本申请实施例提供的提取图像中地块的方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质,其中存储有可执行指令,当可执行指令被处理器执行时,将引起处理器执行本申请实施例提供的方法,例如,如图3示出的提取图像中地块的方法。
在一些实施例中,计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器;也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中,可执行指令可以采用程序、软件、软件模块、脚本或代码的形式,按任意形式的编程语言(包括编译或解释语言,或者声明性或过程性语言)来编写,并且其可按任意形式部署,包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例,可执行指令可以但不一定对应于文件系统中的文件,可以可被存储在保存其它程序或数据的文件的一部分,例如,存储在超文本标记语言(HTML,Hyper TextMarkup Language)文档中的一个或多个脚本中,存储在专用于所讨论的程序的单个文件中,或者,存储在多个协同文件(例如,存储一个或多个模块、子程序或代码部分的文件)中。
作为示例,可执行指令可被部署为在一个计算设备上执行,或者在位于一个地点的多个计算设备上执行,又或者,在分布在多个地点且通过通信网络互连的多个计算设备上执行。
综上所述,通过本申请实施例,能够提取更为准确的地块图像。
以上所述,仅为本申请的实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等,均包含在本申请的保护范围之内。
Claims (13)
1.一种提取图像中地块的方法,其特征在于,包括:
对包含地块的待处理图像进行语义分割处理,得到相应的语义分割图像,所述语义分割图像包括所述地块对应的语义区域;
对所述待处理图像中的地块进行边缘检测,得到所述地块的轮廓信息;
基于所述地块的轮廓信息,对所述地块对应的语义区域进行切割处理,得到所述地块对应的语义切割区域;
确定所述语义切割区域在所述语义分割图像中所处的区域位置;
对所述待处理图像进行对应所述区域位置的图像提取,得到对应所述地块的地块图像。
2.根据权利要求1所述的方法,其特征在于,所述对所述待处理图像中的地块进行边缘检测,得到所述地块的轮廓信息,包括:
通过边缘检测模型对所述待处理图像中的地块进行边缘检测,得到相应的边缘检测图像;
确定所述地块对应的地块轮廓在所述边缘检测图像中的轮廓位置,并将所述轮廓位置作为所述轮廓信息。
3.根据权利要求2所述的方法,其特征在于,所述对所述待处理图像中的地块进行边缘检测之前,所述方法还包括:
获取边缘检测图像样本,所述边缘检测图像样本携带轮廓标签,所述轮廓标签用于指示所述边缘检测图像样本中地块的轮廓信息;
通过所述边缘检测模型,对所述边缘检测图像样本进行边缘检测,得到所述边缘检测图像样本中地块的预测轮廓信息;
基于所述预测轮廓信息与所述轮廓标签之间的差异,更新所述边缘检测模型的模型参数。
4.根据权利要求1所述的方法,其特征在于,所述基于所述地块的轮廓信息,对所述地块对应的语义区域进行切割处理,包括:
基于所述地块的轮廓信息,确定所述地块在所述语义分割图像中所对应的轮廓区域;
将所述轮廓区域从所述语义区域中进行去除,以实现对所述地块对应的语义区域进行切割处理。
5.根据权利要求4所述的方法,其特征在于,所述语义分割图像为二值图像,所述语义分割图像中对应所述语义区域的像素值为第一像素值,所述语义分割图像中对应非语义区域的像素值为第二像素值;
所述将所述轮廓区域从所述语义区域中进行去除,以实现对所述地块对应的语义区域进行切割处理,包括:
将所述轮廓区域对应的像素值赋值为所述第二像素值;
确定所述语义区域中像素值为所述第二像素值的目标像素点;
将所述目标像素点从所述语义区域中进行去除,以实现对所述地块对应的语义区域进行切割处理。
6.根据权利要求1所述的方法,其特征在于,所述语义分割图像的尺寸与所述待处理图像的尺寸相同,所述方法还包括:
在所述待处理图像内建立第一像素坐标系,并在所述语义分割图像内建立第二像素坐标系,所述第一像素坐标系与所述第二像素坐标系之间呈坐标映射关系;
其中,所述第一像素坐标系及所述第二像素坐标系,用于实现对所述待处理图像进行对应所述区域位置的图像提取。
7.根据权利要求6所述的方法,其特征在于,所述确定所述语义切割区域在所述语义分割图像中所处的区域位置,包括:
确定所述语义切割区域在所述第二像素坐标系中的像素坐标,将所述像素坐标作为所述语义切割区域在所述语义分割图像中所处的区域位置;
所述对所述待处理图像进行对应所述区域位置的图像提取,包括:
基于所述坐标映射关系,确定所述像素坐标从所述第二像素坐标系映射至所述第一像素坐标系的目标像素坐标;
对所述待处理图像进行对应所述目标像素坐标的图像提取,以实现对所述待处理图像进行对应所述区域位置的图像提取。
8.根据权利要求1所述的方法,其特征在于,所述语义分割处理为通过语义分割模型实现,所述对包含地块的待处理图像进行语义分割处理之前,所述方法还包括:
构建样本图像对,所述样本图像对包括包含地块的样本原始图像、及与所述样本原始图像对应的样本语义分割图像;
通过所述语义分割模型,对所述样本原始图像进行语义分割处理,得到相应的预测语义分割图像;
基于所述预测语义分割图像与所述样本语义分割图像之间的差异,更新所述语义分割模型的模型参数。
9.根据权利要求1所述的方法,其特征在于,所述语义切割区域包括多个分块区域,所述地块图像包括与各所述分块区域对应的分块图像,所述方法还包括:
分别针对各所述分块图像执行以下处理:
切割所述分块图像,得到多个子块图像;
分别对各所述子块图像进行特征提取,得到相应的图像特征;
基于所述图像特征对所述子块图像进行分类,得到各所述子块图像的分类结果,所述分类结果用于指示相应子块图像的地块类别;
基于各所述子块图像的分类结果,确定所述分块图像对应的地块类别。
10.一种提取图像中地块的装置,其特征在于,包括:
语义分割模块,用于对包含地块的待处理图像进行语义分割处理,得到相应的语义分割图像,所述语义分割图像包括所述地块对应的语义区域;
边缘检测模块,用于对所述待处理图像中的地块进行边缘检测,得到所述地块的轮廓信息;
语义切割模块,用于基于所述地块的轮廓信息,对所述地块对应的语义区域进行切割处理,得到所述地块对应的语义切割区域;
确定模块,用于确定所述语义切割区域在所述语义分割图像中所处的区域位置;
图像提取模块,用于对所述待处理图像进行对应所述区域位置的图像提取,得到对应所述地块的地块图像。
11.一种电子设备,其特征在于,包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现权利要求1至9任一项所述的提取图像中地块的方法。
12.一种计算机可读存储介质,其特征在于,存储有可执行指令,用于被处理器执行时,实现权利要求1至9任一项所述的提取图像中地块的方法。
13.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至9任一项所述的提取图像中地块的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110314810.4A CN112884764A (zh) | 2021-03-24 | 2021-03-24 | 提取图像中地块的方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110314810.4A CN112884764A (zh) | 2021-03-24 | 2021-03-24 | 提取图像中地块的方法、装置、电子设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112884764A true CN112884764A (zh) | 2021-06-01 |
Family
ID=76042212
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110314810.4A Pending CN112884764A (zh) | 2021-03-24 | 2021-03-24 | 提取图像中地块的方法、装置、电子设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112884764A (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113610764A (zh) * | 2021-07-12 | 2021-11-05 | 深圳市银星智能科技股份有限公司 | 地毯识别方法、装置、智能设备及存储介质 |
CN113610701A (zh) * | 2021-08-04 | 2021-11-05 | 同方鼎欣科技股份有限公司 | 图像分页转换方法、装置、计算机设备及可读存储介质 |
CN113674303A (zh) * | 2021-08-31 | 2021-11-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN113763396A (zh) * | 2021-09-02 | 2021-12-07 | 中国农业科学院农业信息研究所 | 一种基于深度学习的遥感图像地块提取方法及系统 |
CN113807293A (zh) * | 2021-09-24 | 2021-12-17 | 纵目科技(重庆)有限公司 | 减速带的检测方法、系统、设备及计算机可读存储介质 |
CN113888567A (zh) * | 2021-10-21 | 2022-01-04 | 中国科学院上海微系统与信息技术研究所 | 一种图像分割模型的训练方法、图像分割方法及装置 |
CN115410104A (zh) * | 2022-09-16 | 2022-11-29 | 湖南胜云光电科技有限公司 | 一种获取飞行器的图像采集点的数据处理系统 |
CN116630629A (zh) * | 2023-07-21 | 2023-08-22 | 深圳思谋信息科技有限公司 | 基于域适应的语义分割方法、装置、设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107067003A (zh) * | 2017-03-09 | 2017-08-18 | 百度在线网络技术(北京)有限公司 | 感兴趣区域边界的提取方法、装置、设备和计算机存储介质 |
CN109859209A (zh) * | 2019-01-08 | 2019-06-07 | 平安科技(深圳)有限公司 | 遥感影像分割方法、装置及存储介质、服务器 |
CN110570427A (zh) * | 2019-07-19 | 2019-12-13 | 武汉珈和科技有限公司 | 一种融合边缘检测的遥感影像语义分割方法及装置 |
CN111402264A (zh) * | 2020-03-11 | 2020-07-10 | 南京三百云信息科技有限公司 | 图像区域分割方法、装置及其模型训练方法及计算机设备 |
CN112084872A (zh) * | 2020-08-10 | 2020-12-15 | 浙江工业大学 | 一种融合语义分割与边缘的高分遥感目标精准检测方法 |
CN112418180A (zh) * | 2020-12-11 | 2021-02-26 | 深圳前海微众银行股份有限公司 | 表格数据提取方法、装置、设备及计算机存储介质 |
-
2021
- 2021-03-24 CN CN202110314810.4A patent/CN112884764A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107067003A (zh) * | 2017-03-09 | 2017-08-18 | 百度在线网络技术(北京)有限公司 | 感兴趣区域边界的提取方法、装置、设备和计算机存储介质 |
CN109859209A (zh) * | 2019-01-08 | 2019-06-07 | 平安科技(深圳)有限公司 | 遥感影像分割方法、装置及存储介质、服务器 |
CN110570427A (zh) * | 2019-07-19 | 2019-12-13 | 武汉珈和科技有限公司 | 一种融合边缘检测的遥感影像语义分割方法及装置 |
CN111402264A (zh) * | 2020-03-11 | 2020-07-10 | 南京三百云信息科技有限公司 | 图像区域分割方法、装置及其模型训练方法及计算机设备 |
CN112084872A (zh) * | 2020-08-10 | 2020-12-15 | 浙江工业大学 | 一种融合语义分割与边缘的高分遥感目标精准检测方法 |
CN112418180A (zh) * | 2020-12-11 | 2021-02-26 | 深圳前海微众银行股份有限公司 | 表格数据提取方法、装置、设备及计算机存储介质 |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113610764A (zh) * | 2021-07-12 | 2021-11-05 | 深圳市银星智能科技股份有限公司 | 地毯识别方法、装置、智能设备及存储介质 |
CN113610701B (zh) * | 2021-08-04 | 2023-12-26 | 同方鼎欣科技股份有限公司 | 图像分页转换方法、装置、计算机设备及可读存储介质 |
CN113610701A (zh) * | 2021-08-04 | 2021-11-05 | 同方鼎欣科技股份有限公司 | 图像分页转换方法、装置、计算机设备及可读存储介质 |
CN113674303A (zh) * | 2021-08-31 | 2021-11-19 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN113763396A (zh) * | 2021-09-02 | 2021-12-07 | 中国农业科学院农业信息研究所 | 一种基于深度学习的遥感图像地块提取方法及系统 |
CN113763396B (zh) * | 2021-09-02 | 2023-07-25 | 中国农业科学院农业信息研究所 | 一种基于深度学习的遥感图像地块提取方法及系统 |
CN113807293A (zh) * | 2021-09-24 | 2021-12-17 | 纵目科技(重庆)有限公司 | 减速带的检测方法、系统、设备及计算机可读存储介质 |
CN113807293B (zh) * | 2021-09-24 | 2024-02-09 | 纵目科技(重庆)有限公司 | 减速带的检测方法、系统、设备及计算机可读存储介质 |
CN113888567A (zh) * | 2021-10-21 | 2022-01-04 | 中国科学院上海微系统与信息技术研究所 | 一种图像分割模型的训练方法、图像分割方法及装置 |
CN113888567B (zh) * | 2021-10-21 | 2024-05-14 | 中国科学院上海微系统与信息技术研究所 | 一种图像分割模型的训练方法、图像分割方法及装置 |
CN115410104A (zh) * | 2022-09-16 | 2022-11-29 | 湖南胜云光电科技有限公司 | 一种获取飞行器的图像采集点的数据处理系统 |
CN116630629B (zh) * | 2023-07-21 | 2023-11-03 | 深圳思谋信息科技有限公司 | 基于域适应的语义分割方法、装置、设备及存储介质 |
CN116630629A (zh) * | 2023-07-21 | 2023-08-22 | 深圳思谋信息科技有限公司 | 基于域适应的语义分割方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112884764A (zh) | 提取图像中地块的方法、装置、电子设备及存储介质 | |
CN107067003B (zh) | 感兴趣区域边界的提取方法、装置、设备和计算机存储介质 | |
AU2015404580B2 (en) | Condition detection using image processing | |
WO2020238054A1 (zh) | Pdf文档中图表的定位方法、装置及计算机设备 | |
CN113095434B (zh) | 目标检测方法及装置、电子设备、存储介质 | |
CN113011350A (zh) | 一种地域图像的识别处理方法、装置及电子设备 | |
CN114758249B (zh) | 基于野外夜间环境的目标物监测方法、装置、设备及介质 | |
CN112348885A (zh) | 视觉特征库的构建方法、视觉定位方法、装置和存储介质 | |
CN111652266A (zh) | 用户界面组件的识别方法、装置、电子设备和存储介质 | |
CN113537070A (zh) | 一种检测方法、装置、电子设备及存储介质 | |
CN115170792A (zh) | 红外图像处理方法、装置及设备、存储介质 | |
CN114882316A (zh) | 目标检测模型训练方法、目标检测方法及装置 | |
CN110008923B (zh) | 图像处理方法和训练方法、以及装置、介质、计算设备 | |
CN111783561A (zh) | 审图结果修正方法、电子设备及相关产品 | |
CN116704542A (zh) | 图层分类方法、装置、设备及存储介质 | |
CN113033386B (zh) | 一种基于高分辨率遥感影像的输电线路通道隐患识别方法及系统 | |
CN113780469A (zh) | 图像识别模型的训练方法、介质、装置和计算设备 | |
CN114092938A (zh) | 图像的识别处理方法、装置、电子设备及存储介质 | |
WO2021179751A1 (zh) | 图像处理方法和系统 | |
CN112906648A (zh) | 一种地块中对象的分类方法、装置及电子设备 | |
CN114842482B (zh) | 一种图像分类方法、装置、设备和存储介质 | |
CN115565072A (zh) | 一种道路垃圾识别和定位方法、装置、电子设备及介质 | |
CN116246161A (zh) | 领域知识引导下的遥感图像目标精细类型识别方法及装置 | |
CN113658195B (zh) | 图像分割方法、装置及电子设备 | |
CN115546824A (zh) | 禁忌图片识别方法、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |