CN114708260A - 图像检测方法 - Google Patents
图像检测方法 Download PDFInfo
- Publication number
- CN114708260A CN114708260A CN202210596069.XA CN202210596069A CN114708260A CN 114708260 A CN114708260 A CN 114708260A CN 202210596069 A CN202210596069 A CN 202210596069A CN 114708260 A CN114708260 A CN 114708260A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- stage
- remote sensing
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 357
- 238000012545 processing Methods 0.000 claims abstract description 199
- 238000000034 method Methods 0.000 claims abstract description 97
- 230000008859 change Effects 0.000 claims abstract description 68
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 114
- 238000000605 extraction Methods 0.000 claims description 81
- 230000015654 memory Effects 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000012935 Averaging Methods 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 6
- 238000012549 training Methods 0.000 description 208
- 230000006870 function Effects 0.000 description 99
- 238000012216 screening Methods 0.000 description 18
- 238000005259 measurement Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 11
- 238000012360 testing method Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000001932 seasonal effect Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像检测方法。其中,该方法包括:获取第一期遥感图像和第二期遥感图像,其中,第一期遥感图像和第二期遥感图像为不同时间对同一个目标区域进行采集得到的图像;分别对第一期遥感图像和第二期遥感图像进行特征提取,得到第一期遥感图像对应的第一目标特征和第二期遥感图像对应的第二目标特征;对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果;基于目标处理结果确定目标区域的目标检测结果,其中,目标检测结果用于表征目标区域是否发生变化。本申请解决了相关技术中对遥感图像进行变化检测的效率较低的技术问题。
Description
技术领域
本申请涉及数据处理领域,具体而言,涉及一种图像检测方法。
背景技术
随着卫星和机载传感器的发展,遥感图像在城市规划等方面都得到了广泛的应用。基于深度学习的变化检测算法被广泛应用在遥感图像变化检测任务中,用于预测输入前后两期影像的变化区域。但是,由于遥感图像的数据量大,利用神经网络模型对遥感图像进行变化检测的检测时间较长,导致对遥感图像进行变化检测的效率较低。
发明内容
本申请实施例提供了一种图像检测方法,以至少解决相关技术中对遥感图像进行变化检测的效率较低的技术问题。
根据本申请实施例的一个方面,提供了一种图像检测方法,包括:获取第一期遥感图像和第二期遥感图像,其中,第一期遥感图像和第二期遥感图像为不同时间对同一个目标区域进行采集得到的图像;分别对第一期遥感图像和第二期遥感图像进行特征提取,得到第一期遥感图像对应的第一原始特征和第二期遥感图像对应的第二原始特征;对第一原始特征和第二原始特征中相同位置的特征进行处理,得到目标处理结果;基于目标处理结果确定目标区域的目标检测结果,其中,目标检测结果用于表征目标区域是否发生变化。
根据本申请实施例的另一方面,还提供了一种图像检测方法,包括:获取第一期建筑物图像和第二期建筑物图像,其中,第一期建筑物图像和第二期建筑物图像为不同时间对同一个目标建筑物进行采集得到的图像;分别对第一期建筑物图像和第二期建筑物图像进行特征提取,得到第一期建筑物图像对应的第一原始特征和第二期建筑物图像对应的第二原始特征;对第一原始特征和第二原始特征中相同位置的特征进行处理,得到目标处理结果;基于目标处理结果确定目标建筑物的目标检测结果,其中,目标检测结果用于表征目标建筑物是否发生变化。
根据本申请实施例的另一方面,还提供了一种图像检测方法,包括:获取第一水体图像和第二水体图像,其中,第一水体图像和第二水体图像为不同时间对同一个目标水体进行采集得到的图像;分别对第一水体图像和第二水体图像进行特征提取,得到第一水体图像对应的第一原始特征和第二水体图像对应的第二原始特征;对第一原始特征和第二原始特征中相同位置的特征进行处理,得到目标处理结果;基于目标处理结果确定目标水体的目标检测结果,其中,目标检测结果用于表征目标水体是否发生变化。
根据本申请实施例的另一方面,还提供了一种图像检测方法,包括:云服务器接收客户端上传的第一期遥感图像和第二期遥感图像,其中,第一期遥感图像和第二期遥感图像为不同时间对同一个目标区域进行采集得到的图像;云服务器分别对第一期遥感图像和第二期遥感图像进行特征提取,得到第一期遥感图像对应的第一原始特征和第二期遥感图像对应的第二原始特征;云服务器对第一原始特征和第二原始特征中相同位置的特征进行处理,得到目标处理结果;云服务器基于目标处理结果确定目标区域的目标检测结果,其中,目标检测结果用于表征目标区域是否发生变化;云服务器输出目标检测结果至客户端。
根据本申请实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的程序,其中,在程序运行时控制计算机可读存储介质所在设备执行上述的图像检测方法。
根据本申请实施例的另一方面,还提供了一种计算机终端,包括:存储器和处理器,处理器用于运行存储器中存储的程序,其中,程序运行时执行上述的图像检测方法。
在本申请实施例中,在获取到第一期遥感图像和第二期遥感图像之后,可以分别对第一期遥感图像和第二期遥感图像进行特征提取,得到第一期遥感图像对应的第一目标特征和第二期遥感图像对应的第二目标特征,进一步对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果,最后基于目标处理结果确定目标区域的目标检测结果,实现了遥感图像变化检测的目的。容易注意到的是,通过引入度量学习对第一原始特征和第二原始特征中相同位置的特征进行处理,并直接基于目标处理结果确定目标检测结果,无需通过神经网络模型基于遥感图像的图像特征两两组合进行变化检测,从而达到了提高变化检测效率的技术效果,进而解决了相关技术中对遥感图像进行变化检测的效率较低的技术问题。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是根据本申请实施例的一种用于实现图像检测方法的计算机终端(或移动设备)的硬件结构框图;
图2是根据本申请实施例的一种图像检测方法的流程图;
图3是根据本申请实施例的一种可选的交互界面的示意图;
图4是根据本申请实施例的一种可选的目标检测模型的预测过程的流程图;
图5是根据本申请实施例的一种可选的多期影像高效检测的流程图;
图6是根据本申请实施例的一种可选的两期影像中间特征融合的流程图;
图7是根据本申请实施例的一种可选的目标检测模型的训练过程的流程图;
图8是根据本申请实施例的另一种图像检测方法的流程图;
图9是根据本申请实施例的又一种图像检测方法的流程图;
图10是根据本申请实施例的再一种图像检测方法的流程图;
图11是根据本申请实施例的一种图像检测装置的示意图;
图12是根据本申请实施例的另一种图像检测装置的示意图;
图13是根据本申请实施例的又一种图像检测装置的示意图;
图14是根据本申请实施例的再一种图像检测装置的示意图;
图15是根据本申请实施例的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
遥感图像:可以是记录各种地物电磁波大小的图像,此处的地物可以是地块、农作物、气象、水体、建筑物等,在本申请实施例中,主要以建筑物和水体为例进行说明。
度量学习:可以学习一种度量空间,在该空间内两像素/物体越相似则距离越近,发生变化则距离越远。
目前变化检测算法通常采用孪生网络结构,并对两期影像的特征进行比对交互,输出不包含地物类别的变化区域。目前变化检测算法通常只处理前期遥感图像和后期遥感图像,模型训练时可以将两期遥感图像的特征融合并使用二分类器逐像素进行监督,模型测试时也是两期遥感图像输出来获得预测结果。对于训练过程,简单的二分类器难以学习到复杂的变化规则,而且,对于测试过程,由于需要两两组合的方式进行测试,在用户的遥感图像数量较多的情况下,测试效率较低。
为了解决上述问题,本申请通过在训练阶段引入度量学习代替二分类器,并且可以引入负样本挖掘机制,忽略简单的负样本。另外,在测试阶段不需要将多期遥感图像进行两两组合然后进行神经网络预测,可以直接提取每期遥感图像的特征后进行缓存,并利用两期遥感图像的度量学习得到目标检测结果。
实施例1
根据本申请实施例,提供了一种图像检测方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例一所提供的方法实施例可以在移动终端、计算机终端、服务器、云服务器或者类似的运算装置中执行。图1示出了一种用于实现图像检测方法的计算机终端(或移动设备)的硬件结构框图。如图1所示,计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b,……,102n来示出)处理器(处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置106。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本申请实施例中的图像检测方法对应的程序指令/数据存储装置,处理器通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的图像检测方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
在上述运行环境下,本申请提供了如图2所示的图像检测方法。图2是根据本申请实施例的一种图像检测方法的流程图。如图2所示,该方法包括如下步骤:
步骤S202,获取第一期遥感图像和第二期遥感图像,其中,第一期遥感图像和第二期遥感图像为不同时间对同一个目标区域进行采集得到的图像。
上述步骤中的第一期遥感图像和第二期遥感图像可以是通过卫星拍摄到的图像,也可以是通过无人机拍摄到的图像,但不仅限于此。第一期遥感图像和第二期遥感图像可以是不同时间对同一个目标区域进行拍摄得到的图像,也即,第一期遥感图像和第二期遥感图像中都包含同一个目标区域。其中,第一期遥感图像的采集时间早,可以称为前期影像;第二期遥感图像的采集时间晚,可以称为后期影像。需要说明的是,第一期遥感图像和第二期遥感图像的采集位置可以相同,也可以不同。为了提高图像识别的精确度,可以在不同时间点在同一采集位置采集得到第一期遥感图像和第二期遥感图像,但是并不限于此。另外,第一期遥感图像和第二期遥感图像可以进包含一张图像,也可以包含多张图像,具体可以根据检测需要进行确定,例如,如果检测要求是检测两个时间点的变化情况,则第一期遥感图像和第二期遥感图像可以是单张图像;如果检测要求是检测一段时间内的变化情况,则第一期遥感图像和第二期遥感图像可以包含多张图像。
上述的图像检测方法可以应用于检测地物覆盖类型变化的过程中,其中,地物覆盖类型变化包括动土、在建大棚,在建建筑,地膜,大棚,建筑,无作物耕地,有作物耕地,林地,水域,硬化空地,绿地,自然裸地,运动场等多种类型之间的互相转变。通过对第一期遥感图像和第二期遥感图像进行检测,可以检测到地物的覆盖类型是否发生改变。进一步地,还可以根据用户关注的类型变化来进行检测,若用户关注于耕地类型变为建大棚类型,则可以在耕地类型变为建大棚类型的情况下,提醒用户地物的覆盖类型发生改变。
在一种可选的实施例中,第一期遥感图像和第二期遥感图像可以由卫星或无人机拍摄,并通过网络传输给服务器,由服务器进行处理,同时,可以将第一期遥感图像和第二期遥感图像展示给用户查看,如图3所示,可以将第一期遥感图像展示在前期图像采集框中,可以将第二期遥感图像展示在后期图像采集框中。
在另一种可选的实施例中,第一期遥感图像和第二期遥感图像可以由卫星或无人机拍摄,并由用户主动上传至服务器,由服务器进行处理。如图3所示,用户可以通过点击交互界面中的“上传前期图像”按钮和“上传后期图像”按钮分别上传第一期遥感图像和第二期遥感图像,或者,可以通过将第一期遥感图像和第二期遥感图像分别拖入两个虚线框的方式完成将第一期遥感图像和第二期遥感图像,上传云服务器的目的,而且,用户上传的图像可以显示在前期图像采集框和后期图像采集框内,以便用户进行查看或者修改。
步骤S204,分别对第一期遥感图像和第二期遥感图像进行特征提取,得到第一期遥感图像对应的第一目标特征和第二期遥感图像对应的第二目标特征。
上述的步骤中的第一目标特征和第二目标特征之间是独立的,可以理解为对目标区域的颜色、纹理、光照等信息的紧致表达。
在一种可选的实施例中,如图4所示,在获取到前期影像和后期影像之后,可以通过目标检测模型对前期影像和后期影像分别进行特征提取,从而得到前期特征(即上述的第一目标特征)和后期特征(上述的第二目标特征)。其中,目标检测模型可以为目前所采用的基于孪生结构的变化检测网络,具体的,基于孪生结构的变化检测网络可以为efficientnet+cascade bifpn(通用二分类变化检测网络)的网络结构。
在另一种可选的实施例中,可以先搭建目标检测模型,采用efficient-b0(复合缩放网络)作为主干网络提取第一期遥感图像对应的特征和第二期遥感图像对应的特征,然后输入到cascade bifpn(级联特征层)结构中提取出高维特征,得到第一目标特征和第二目标特征,此时的第一目标特征和第二目标特征的分辨率为第一期遥感图像和第二期遥感图像的1/4。
需要说明的是,在第一期遥感图像和第二期遥感图像均包含多张图像的情况下,可以通过对多张图像的图像特征进行平均,作为第一目标特征或第二目标特征。
步骤S206,对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果。
上述步骤中的处理可以包括但不限于:相似度计算、距离计算和变化置信度计算等。可选地,在本申请实施例中,以相似度计算为例进行说明,目标处理结果可以通过如下方式得到:对第一目标特征和第二目标特征中相同位置的特征进行相似度计算,得到目标处理结果。
在一种可选的实施例中,如图4所示,可以对前期特征和后期特征逐像素进行归一化,得到特征A和特征B,然后根据余弦相似度计算公式得到第一期遥感图像和第二期遥感图像的相似度:
在一种可选的实施例中,可以对前期特征和后期特征逐像素进行归一化,得到特征A和特征B,然后根据欧式距离计算公式得到第一期遥感图像和第二期遥感图像的目标距离。
在一种可选的实施例中,可以对前期特征和后期特征逐像素进行归一化,得到特征A和特征B,然后根据置信度计算公式得到第一期遥感图像和第二期遥感图像的变化置信度。
步骤S208,基于目标处理结果确定目标区域的目标检测结果,其中,目标检测结果用于表征目标区域是否发生变化。
在一种可选的实施例中,通过第一目标特征和第二目标特征计算余弦相似度的数值范围是-1至1,与真值标注的范围的物理意义不同,因此,首先可以对相似度进行线性变换,得到目标检测结果的预测分数,该分数的取值在0-1之间,与真值标注数值范围相同。其中,预测分数越高,表示发生变化的置信度越高。线性变换公式如下:
在另一种可选的实施例中,通过第一目标特征和第二目标特征计算目标距离的数值范围与真值标注的范围的物理意义不同,因此,首先可以对目标距离进行转换,得到目标检测结果的预测分数,该分数的取值在0-1之间,与真值标注数值范围相同。
在又一种可选的实施例中,通过第一目标特征和第二目标特征计算变化置信度的数值范围与真值标注的范围的物理意义相同,因此,可以直接将变化置信度作为目标检测结果的预测分数。
需要说明的是,如图3所示,可以将目标检测结果展示在结果反馈区域中。如图4所示,在确定目标区域发生变化之后,可以输出不包含地物类比的变化区域,也即输出图斑。
在交通运输的应用场景中,第一期遥感图像可以为前期采集的不包含车辆的车位图像,第二期遥感图像可以为后期采集的包含车辆的车位图像,可以对第一期遥感图像和第二期遥感图像进行特征提取,得到第一目标特征和第二目标特征,进一步通过对第一目标特征和第二目标特征中相同位置的特征进行处理,确定目标区域的目标检测结果为目标区域发生变化,并输出车辆变化区域对应的图斑。
在农林应用场景中,第一期遥感图像可以为前期采集的无作物耕地场景,第二期遥感图像可以为后期采集的有作物耕地场景,可以对第一期遥感图像和第二期遥感图像进行特征提取,得到第一目标特征和第二目标特征,进一步通过对第一目标特征和第二目标特征中相同位置的特征进行处理,确定目标区域的目标检测结果为目标区域发生变化,并输出耕地发生变化的区域对应的图斑。
在城市规划应用场景中,第一期遥感图像可以为前期采集的在建建筑对应的建筑物图像,第二期遥感图像可以为后期采集的完工建筑对应的建筑物图像,可以对第一期遥感图像和第二期遥感图像进行特征提取,得到第一目标特征和第二目标特征,进一步通过对第一目标特征和第二目标特征中相同位置的特征进行处理,确定目标区域的目标检测结果为目标区域发生变化,并输出建筑变化区域对应的图斑。
在水利应用场景中,第一期遥感图像可以为丰水期采集的水体区域对应的水体图像,第二期遥感图像可以为枯水期采集的水体区域对应的水体图像,可以对第一期遥感图像和第二期遥感图像进行特征提取,得到第一目标特征和第二目标特征,进一步通过对第一目标特征和第二目标特征中相同位置的特征进行处理,确定目标区域的目标检测结果为目标区域发生变化,并输出建筑变化区域对应的图斑。
通过本申请上述实施例提供的方案,在获取到第一期遥感图像和第二期遥感图像之后,可以分别对第一期遥感图像和第二期遥感图像进行特征提取,得到第一期遥感图像对应的第一目标特征和第二期遥感图像对应的第二目标特征,进一步对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果,最后基于目标处理结果确定目标区域的目标检测结果,实现了遥感图像变化检测的目的。容易注意到的是,通过引入度量学习对第一目标特征和第二目标特征中相同位置的特征进行处理,并直接基于目标处理结果确定目标检测结果,无需通过神经网络模型基于遥感图像的图像特征两两组合进行变化检测,从而达到了提高变化检测效率的技术效果,进而解决了相关技术中对遥感图像进行变化检测的效率较低的技术问题。
在本申请上述实施例中,在第一期遥感图像包含多张第一图像,第二期遥感图像包含多张第二图像的情况下,分别对第一期遥感图像和第二期遥感图像进行特征提取,得到第一期遥感图像对应的第一目标特征和第二期遥感图像对应的第二目标特征包括:获取多张第一图像对应的多个第一特征,多张第二图像对应的多个第二特征,其中,多个第一特征通过分别对多张第一图像进行特征提取得到,多个第二特征通过分别对多张第二图像进行特征提取得到;基于多个第一特征确定第一目标特征,并基于多个第二特征确定第二目标特征。
上述步骤中的目标特征的确定方法可以包括但不限于:平均处理、加权处理、筛选最大或最小值处理等等。可选地,在本申请实施例中,以平均处理为例进行说明,第一目标结果和第二目标结果可以通过如下方式得到:对多个第一特征进行平均处理,得到第一目标特征;对多个第二特征进行平均处理,得到第二目标特征。
可选地,多个第一特征和多个第二特征可以提前存储在存储介质中,例如,磁盘、内存、缓存等,但不仅限于此。
在一种可选的实施例中,对于用户的遥感图像数量较多的场景,也即,第一期遥感图像和第二期遥感图像不止一张,可以采用如图5所示的方法进行处理。首先将所有期影像(包括多张第一图像和多张第二图像)进行特征提取,得到图像特征(包括多个第一特征和多个第二特征),并缓存在本地磁盘中,然后对于所有前期影像的特征(即多个第一特征)进行平均处理,得到第一目标特征(即前期平均特征),并且对所有后期影像的特征(即多个第二特征)进行平均处理,得到第二目标特征(即后期平均特征)。进一步地,通过计算余弦相似度并做线性变换即可得到最终的目标检测结果,也即,通过归一化相似度得到目标检测结果,并输出图斑。
需要说明的是,由于特征缓存是对所有期影像进行一次特征提取,后续处理是平均特征的矩阵乘法,该算法计算量有限,因此可以提升多期影像的检测效率。
在本申请上述实施例中,获取第一期遥感图像和第二期遥感图像包括:获取多张原始遥感图像,其中,多张原始遥感图像为不同时间对目标区域进行采集得到的图像;获取多张原始遥感图像对应的图像划分规则,其中,图像划分规则基于图像采集时间进行确定;基于图像划分规则对多张原始遥感图像进行划分,得到第一期遥感图像和第二期遥感图像。
上述步骤中的图像划分规则可以是根据用户需求进行图像划分的规则,该规则可以基于图像的采集时间进行设定。
在一种可选的实施例中,假设用户希望对第一季度与第二季度的目标区域的变化进行检测,则图像划分规则可以是将1-3月采集到的遥感图像作为上述的第一期遥感图像,并将4-6月采集到的遥感图像作为上述的第二期遥感图像。
需要说明的是,上述特征平均过程可以由用户自定义操作,例如,用户缺少2、5月的数据,则可以获取1、3月的遥感图像作为第一期遥感图像,并获取4、6月的遥感图像作为第二期遥感图像。
通过上述方案,通过对多期影像预先缓存特征,只需要组合特征求平均,并进行特征点乘运算,大大降低了多期影像的计算复杂度。
在本申请上述实施例中,在第一期遥感图像为单张图像,第二期遥感图像为单张图像的情况下,分别对第一期遥感图像和第二期遥感图像进行特征提取,得到第一期遥感图像对应的第一目标特征和第二期遥感图像对应的第二目标特征包括:分别对第一期遥感图像和第二期遥感图像中相同位置的特征进行特征提取,得到第一期遥感图像对应的第一原始特征和第二期遥感图像对应的第二原始特征;对第一原始特征和第二原始特征进行特征融合,得到合并特征;对合并特征进行拆分,得到第一目标特征和第二目标特征。
上述实施例中,第一期遥感图像和第二期遥感图像在特征提取时并未进行任何交互,为了提升检测准确率,在一种可选的实施例中,如图6所示,可以单独提取第一原始特征和第二原始特征,并将第一原始特征和第二原始特征进行特征融合(即特征交互),得到合并特征,也即,可以将第一原始特征M和第二原始特征N的特征通道进行叠加来行成合并特征,此时通道数为单期遥感图像的两倍,因此合并特征融合了第一期遥感图像和第二期遥感图像的信息。最后在合并特征经过若干层神经网络之后,对合并特征进行拆分,也即,通过对特征通道进行平均划分即可得到第一目标特征和第二原始特征(即前期特征和后期特征)。
通过上述方案,两个目标特征都受到了另一个目标特征的辅助,对于特征学习有帮助。需要说明的是,虽然上述方案可以提升检测准确率,但是在对多期影像进行预测时,无法预先提取单期影像特征并进行缓存,仍然需要采用两两组合的方式进行处理,因此,多期影像检测效率受限。
在本申请上述实施例中,该方法还包括:利用目标检测模型中的特征提取模块分别对第一期遥感图像和第二期遥感图像进行特征提取,得到第一目标特征和第二目标特征;利用目标检测模型中的度量模块对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果;利用目标检测模型中的结果输出模块基于目标处理结果确定目标区域的目标检测结果。
上述步骤中的特征提取模块可以是采用efficient net+cascade bifpn网络结构的模块,主要用于对第一期遥感图像和第二期遥感图像分别进行独立地特征提取。度量模块主要用于对第一目标特征和第二目标特征进行逐像素的处理,并确保处理结果的取值范围为0-1范围;结果输出模块主要用于基于处理结果确定目标检测结果,无需通过二分类器进行检测结果预测,而且,结果输出模块还可以输出图斑,该图斑可以包含发生变化的区域,但不仅能限于此。
在一种可选的实施例中,为了提升特征提取准确度,进而提升变化检测的准确率,可以通过预先训练好的目标检测模型对第一期遥感图像和第二期遥感图像进行处理,从而得到第一期遥感图像和第二期遥感图像中包含的目标区域的目标检测结果,其中,目标检测模型至少可以划分为输入模块、特征提取模块、度量模块和结果输出模块,通过输入模块可以分别输入第一期遥感图像和第二期遥感图像,进而通过特征提取模块对输入的单张图像进行特征提取,得到相应的目标特征,然后通过度量模块对第一期遥感图像对应的第一目标特征和第二期遥感图像对应的第二目标特征进行相似度计算,最后通过结果输出模块基于相似度直接确定目标检测结果,无需使用二分类器。
在本申请上述实施例中,该方法还包括:获取训练样本,其中,训练样本包括:第一训练图像和第二训练图像,以及第一训练图像和第二训练图像对应的预设检测结果;利用特征提取模块分别对第一训练图像和第二训练图像进行特征提取,得到第一训练特征和第二训练特征;利用度量模块对第一训练特征和第二训练特征中相同位置的特征进行处理,得到训练结果;利用结果输出模块基于训练结果确定第一训练图像和第二训练图像对应的训练检测结果;基于预设检测结果和训练检测结果构建目标检测模型的目标损失函数;基于目标损失函数对目标检测模型的模型参数进行调整。
上述步骤中的训练样本可以是从公开数据集或从互联网上获取到的图像,可选地,训练样本的数量可以是20000对,但不仅限于此。预设检测结果可以是训练样本上自带的标注真值,也可以是通过人工标注的方式所确定的标注真值,但不仅限于此。
需要说明的是,目标检测模型训练的过程中,可以将训练样本划分为20,000对前后期影像(即第一期遥感图像和第二期遥感图像)作为训练集,4,000对前后期影像作为测试集,训练样本的尺寸均为1024*1024。并且可以采用0.005的初始学习率,32的批大小,迭代500,000次,以便得到一个精确度较高的目标检测模型。而且可以采用交并比(IoU)作为精度评价指标,并采用20期影像(尺寸为1万x1万)的计算时间作为效率评价指标。
在一种可选的实施例中,如图7所示,目标检测模型的训练过程与预测过程类似,可以分别通过特征提取模块对第一训练图像(即前期影像)和第二训练图像(即后期影像)进行特征提取,得到第一训练特征(即前期特征)和第二训练特征(即后期特征),然后可以通过度量模块对第一训练特征和第二训练特征中相同位置的像素进行相似度计算,得到第一训练图像和第二训练图像的训练相似度(即归一化相似度),最后通过结果输出模块基于训练相似度确定第一训练图像和第二训练图像对应的训练检测结果。在得到训练检测结果之后,可以基于预设检测结果和训练检测结果构建目标检测模型的目标损失函数(即构建损失函数),进一步地,可以基于目标损失函数对目标检测模型的模型参数进行调整,其中,如果目标损失函数大于第一阈值,且迭代次数未达到第二阈值(例如,500000),则可以继续利用训练样本进行模型训练,也即调整模型参数的参数值;如果目标损失函数小于第一阈值,或迭代次数达到第二阈值,则确定训练结束,无需对模型参数进行调整,此时得到的模型即为训练好的目标检测模型。
可选地,可以基于预设检测结果和训练检测结果构建目标检测模型的目标损失函数,该步骤具体包括:基于对比损失函数对预设检测结果和训练检测结果进行处理,得到目标损失函数。
在一种可选的实施例中,可以将目标检测模型输出的预测结果与标签真值之间计算对比损失,其中,对比损失的物理意义为,两个像素差异越大(发生变化)则其特征空间距离越远。训练过程即根据标注真值,对两期影像的特征进行学习。具体公式如下:
在本申请上述实施例中,基于对比损失函数对预设检测结果和训练检测结果进行处理,得到目标损失函数包括:基于预设检测结果和训练检测结果,确定第一训练图像和第二训练图像中每个像素的像素损失函数;确定第一训练图像和第二训练图像中正样本像素和负样本像素,其中,正样本像素用于表征第一训练图像和第二训练图像中像素值发生变化的像素,负样本像素用于表征第一训练图像和第二训练图像中像素值未发生变化的像素;基于负样本像素的像素损失函数对负样本像素进行筛选,得到目标负样本像素;基于对比损失函数对目标负样本像素的像素损失函数和正样本像素的像素损失函数进行处理,得到目标损失函数。
可选地,可以通过如下方式对对负样本像素进行筛选,得到目标负样本像素:获取正样本像素的第一数量;基于第一数量,确定目标负样本像素的第二数量;基于第二数量和负样本像素的像素损失函数对负样本像素进行筛选,得到目标负样本像素。
目标损失函数的计算过程中,负样本(即未发生变化的图像)像素往往容易区分,因此,这些像素点对目标损失函数的意义较小,在一种可选的实施例中,为了进一步降低多期影像的计算复杂度,在计算负样本像素的像素损失函数的过程中,可以按照正样本和负样本的数量为1:3的比例选择像素损失函数最大的负样本,得到目标负向本像素,具体地筛选过程如下:首先可以对训练样本中所有正样本像素的数量进行统计,得到第一数量,进而按照上述的比例确定目标负样本像素的数量,即第二数量,最后可以将所有负样本像素按照像素损失函数从大到小的顺序排列,并按照第二数量从排序后的所有负样本像素中筛选出排序靠前的多个负样本像素,得到目标负样本像素。并且后续目标损失函数的计算过程中忽略其他负样本像素,也即,仅基于目标负样本像素的像素损失函数和正样本像素的像素损失函数求和计算目标损失函数。
在本申请上述实施例中,在获取第一期遥感图像和第二期遥感图像之后,该方法还包括:接收目标区域中选中的第一检测区域;分别对第一期遥感图像和第二期遥感图像中第一检测区域的图像进行特征提取,得到第一区域特征和第二区域特征;对第一区域特征和第二区域特征中相同位置的特征进行处理,得到第一处理结果;基于第一处理结果确定目标区域的第一检测结果;输出第一检测结果。
由于目标区域的范围可能较大,而且并不是所有区域都是用户希望重点检测的区域,在一种可选的实施例中,可以在客户端的交互界面中显示目标区域,并由用户在目标区域中选择需要进行变化检测的重点区域(即上述的第一检测区域)。在用户选择第一检测区域之后,可以直接两期遥感图像中用户选择的第一检测区域的图像进行特征提取,而不需要对整个遥感图像进行特征提取,从而进一步提升变化检测的检测效率。进一步基于提取得到的两个区域特征中相同位置的特征进行处理,例如逐像素计算相似度,得到第一处理结果,最后基于第一处理结果得到最终的变化检测结果(即上述的第一检测结果),并显示在交互界面中。
可选地,在输出第一检测结果之后,该方法还包括:接收对第一检测区域进行修改所得到的第二检测区域;分别对第一期遥感图像和第二期遥感图像中第二检测区域的图像进行特征提取,得到第三区域特征和第四区域特征;对第三区域特征和第四区域特征中相同位置的特征进行处理,得到第二处理结果;基于第二处理结果确定目标区域的第二检测结果;输出第二检测结果。
由于用户选择的重点区域可能出现错误,或者由于重点区域较小,导致变化检测的准确度较低。在一种可选的实施例中,用户查看到第一检测结果之后,如果该检测结果无法满足变化检测的精度需要,则可以考虑扩大第一检测区域的范围,或者修改成其他区域,从而得到第二检测区域。进一步采用上述方法进行二次结果反馈。
需要说明的是,在输出第一检测结果和第二检测结果的过程中,可以采用不同的显示方式对用户选择的第一检测区域和第二检测区域的检测结果,以及其他区域的检测结果进行标识,例如,不同区域的颜色、线条粗细、线条类型都均不同,从而用户可以快速注意到第一检测区域和第二检测区域的检测结果。
在本申请上述实施例中,在目标检测结果为目标区域发生变化的情况下,该方法还包括:确定目标区域发生变化的目标原因;基于目标原因生成提示信息;在目标区域的预设位置输出提示信息。
在一种可选的实施例中,为了方便用户确认目标区域出现变化的原因,可以在确定目标区域发生变化之后,对目标区域发生变化的原因进行分析,例如是天气变化、环境变化、社会变化等原因,并通过在目标区域旁边输出相应提示信息的方式,告知用户目标区域发生变化的具体原因。例如,对于目标建筑,可以从天气变化、建筑公司的资金人员变化、政府政策变化等角度进行原因提示;又例如,对于目标水体,可以从天气变化、日期变化、季节变化等角度进行原因提示。
本申请的效果可以通过以下实验进一步说明:
1)实验条件
本实验采用场景数据集,采用pytorch深度学习框架,GPU配置为NVIDIA TeslaV100。
2)实验内容
本实验数据源为20,000对训练数据,4,000对测试数据,图像尺寸均为1024*1024,用于训练和测试变化检测模型。采用交并比(IoU)作为精度评价指标,采用20期影像(尺寸为1万x1万)的计算时间作为效率评价指标。
3)对比方法
为了验证上述方法的可行性,可以对比传统分类器变化检测模型。
4)实验结果
具体结果如下表所示:
表1
方法 | IoU精度 | 检测效率 |
传统分类器方法 | 0.557 | 90分钟 |
上述方法 | 0.561 | 20分钟 |
由表1可见,上述方法能够在精度上小幅超过传统分类器方法,更重要的是,上述方法对于多期影像的检测效率高,对多期影像变化检测具有天然的优势。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
实施例2
根据本申请实施例,还提供了一种图像检测方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图8是根据本申请实施例的另一种图像检测方法的流程图,如图8所示,该方法包括如下步骤:
步骤S802,获取第一期建筑物图像和第二期建筑物图像,其中,第一期建筑物图像和第二期建筑物图像为不同时间对同一个目标建筑物进行采集得到的图像。
步骤S804,分别对第一期建筑物图像和第二期建筑物图像进行特征提取,得到第一期建筑物图像对应的第一目标特征和第二期建筑物图像对应的第二目标特征。
步骤S806,对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果。
可选地,对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果包括:对第一目标特征和第二目标特征中相同位置的特征进行相似度计算,得到目标处理结果。
步骤S808,基于目标处理结果确定目标建筑物的目标检测结果,其中,目标检测结果用于表征目标建筑物是否发生变化。
在本申请上述实施例中,在第一期建筑物图像包含多张第一图像,第二期建筑物图像包含多张第二图像的情况下,分别对第一期建筑物图像和第二期建筑物图像进行特征提取,得到第一期建筑物图像对应的第一目标特征和第二期建筑物图像对应的第二目标特征包括:获取多张第一图像对应的多个第一特征,多张第二图像对应的多个第二特征,其中,多个第一特征通过分别对多张第一图像进行特征提取得到,多个第二特征通过分别对多张第二图像进行特征提取得到;基于多个第一特征确定第一目标特征,并基于多个第二特征确定第二目标特征。
可选地,基于多个第一特征确定第一目标特征,并基于多个第二特征确定第二目标特征包括:对多个第一特征进行平均处理,得到第一目标特征;对多个第二特征进行平均处理,得到第二目标特征。
在本申请上述实施例中,获取第一期建筑物图像和第二期建筑物图像包括:获取多张原始建筑物图像,其中,多张原始建筑物图像为不同时间对目标建筑物进行采集得到的图像;获取多张原始建筑物图像对应的图像划分规则,其中,图像划分规则基于图像采集时间进行确定;基于图像划分规则对多张原始建筑物图像进行划分,得到第一期建筑物图像和第二期建筑物图像。
在本申请上述实施例中,在第一期遥感图像为单张图像,第二期遥感图像为单张图像的情况下,分别对第一期建筑物图像和第二期建筑物图像进行特征提取,得到第一期建筑物图像对应的第一目标特征和第二期建筑物图像对应的第二目标特征包括:分别对第一期建筑物图像和第二期建筑物图像进行特征提取,得到第一期建筑物图像对应的第一原始特征和第二期建筑物图像对应的第二原始特征;对第一原始特征和第二原始特征中相同位置的特征进行特征融合,得到合并特征;对合并特征进行拆分,得到第一目标特征和第二目标特征。
在本申请上述实施例中,该方法还包括:利用目标检测模型中的特征提取模块分别对第一期建筑物图像和第二期建筑物图像进行特征提取,得到第一目标特征和第二目标特征;利用目标检测模型中的度量模块对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果;利用目标检测模型中的结果输出模块基于目标处理结果确定目标建筑物的目标检测结果。
在本申请上述实施例中,该方法还包括:获取训练样本,其中,训练样本包括:第一训练图像和第二训练图像,以及第一训练图像和第二训练图像对应的预设检测结果;利用特征提取模块分别对第一训练图像和第二训练图像进行特征提取,得到第一训练特征和第二训练特征;利用度量模块对第一训练特征和第二训练特征中相同位置的特征进行处理,得到训练结果;利用结果输出模块基于训练结果确定第一训练图像和第二训练图像对应的训练检测结果;基于预设检测结果和训练检测结果构建目标检测模型的目标损失函数;基于目标损失函数对目标检测模型的模型参数进行调整。
可选地,可以基于预设检测结果和训练检测结果构建目标检测模型的目标损失函数,该步骤具体包括:基于对比损失函数对预设检测结果和训练检测结果进行处理,得到目标损失函数。
在本申请上述实施例中,基于对比损失函数对预设检测结果和训练检测结果进行处理,得到目标损失函数包括:基于预设检测结果和训练检测结果,确定第一训练图像和第二训练图像中每个像素的像素损失函数;确定第一训练图像和第二训练图像中正样本像素和负样本像素,其中,正样本像素用于表征第一训练图像和第二训练图像中像素值发生变化的像素,负样本像素用于表征第一训练图像和第二训练图像中像素值未发生变化的像素;基于负样本像素的像素损失函数对负样本像素进行筛选,得到目标负样本像素;基于对比损失函数对目标负样本像素的像素损失函数和正样本像素的像素损失函数进行处理,得到目标损失函数。
可选地,可以通过如下方式对对负样本像素进行筛选,得到目标负样本像素:获取正样本像素的第一数量;基于第一数量,确定目标负样本像素的第二数量;基于第二数量和负样本像素的像素损失函数对负样本像素进行筛选,得到目标负样本像素。
在本申请上述实施例中,在获取第一期建筑物图像和第二期建筑物图像之后,该方法还包括:接收目标建筑物中选中的第一检测建筑物;分别对第一期建筑物图像和第二期建筑物图像中第一检测建筑物的图像进行特征提取,得到第一建筑物特征和第二建筑物特征;对第一建筑物特征和第二建筑物特征中相同位置的特征进行处理,得到第一处理结果;基于第一处理结果确定目标建筑物的第一检测结果;输出第一检测结果。
可选地,在输出第一检测结果之后,该方法还包括:接收对第一检测建筑物进行修改所得到的第二检测建筑物;分别对第一期遥感图像和第二期遥感图像中第二检测建筑物的图像进行特征提取,得到第三建筑物特征和第四建筑物特征;对第三建筑物特征和第四建筑物特征中相同位置的特征进行处理,得到第二处理结果;基于第二处理结果确定目标建筑物的第二检测结果;输出第二检测结果。
在本申请上述实施例中,在目标检测结果为目标建筑物发生变化的情况下,该方法还包括:确定目标建筑物发生变化的目标原因;基于目标原因生成提示信息;在目标建筑物的预设位置输出提示信息。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
实施例3
根据本申请实施例,还提供了一种图像检测方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图9是根据本申请实施例的又一种图像检测方法的流程图,如图9所示,该方法可以包括如下步骤:
步骤S902,云服务器接收客户端上传的第一期遥感图像和第二期遥感图像,其中,第一期遥感图像和第二期遥感图像为不同时间对同一个目标区域进行采集得到的图像。
步骤S904,云服务器分别对第一期遥感图像和第二期遥感图像进行特征提取,得到第一期遥感图像对应的第一目标特征和第二期遥感图像对应的第二目标特征。
步骤S906,云服务器对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果。
步骤S908,云服务器基于目标处理结果确定目标区域的目标检测结果,其中,目标检测结果用于表征目标区域是否发生变化。
步骤S910,云服务器输出目标检测结果至客户端。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
实施例4
根据本申请实施例,还提供了一种图像检测方法,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图10是根据本申请实施例的再一种图像检测方法的流程图,如图10所示,该方法包括如下步骤:
步骤S1002,获取第一期水体图像和第二期水体图像,其中,第一期水体图像和第二期水体图像为不同时间对同一个目标水体进行采集得到的图像。
步骤S1004,分别对第一期水体图像和第二期水体图像进行特征提取,得到第一期水体图像对应的第一目标特征和第二期水体图像对应的第二目标特征。
步骤S1006,对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果。
可选地,对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果包括:对第一目标特征和第二目标特征中相同位置的特征进行相似度计算,得到目标处理结果。
步骤S1008,基于目标处理结果确定目标水体的目标检测结果,其中,目标检测结果用于表征目标水体是否发生变化。
在本申请上述实施例中,在第一期水体图像包含多张第一图像,第二期水体图像包含多张第二图像的情况下,分别对第一期水体图像和第二期水体图像进行特征提取,得到第一期水体图像对应的第一目标特征和第二期水体图像对应的第二目标特征包括:获取多张第一图像对应的多个第一特征,多张第二图像对应的多个第二特征,其中,多个第一特征通过分别对多张第一图像进行特征提取得到,多个第二特征通过分别对多张第二图像进行特征提取得到;基于多个第一特征确定第一目标特征,并基于多个第二特征确定第二目标特征。
可选地,基于多个第一特征确定第一目标特征,并基于多个第二特征确定第二目标特征包括:对多个第一特征进行平均处理,得到第一目标特征;对多个第二特征进行平均处理,得到第二目标特征。
在本申请上述实施例中,获取第一期水体图像和第二期水体图像包括:获取多张原始水体图像,其中,多张原始水体图像为不同时间对目标水体进行采集得到的图像;获取多张原始水体图像对应的图像划分规则,其中,图像划分规则基于图像采集时间进行确定;基于图像划分规则对多张原始水体图像进行划分,得到第一期水体图像和第二期水体图像。
在本申请上述实施例中,在第一期遥感图像为单张图像,第二期遥感图像为单张图像的情况下,分别对第一期水体图像和第二期水体图像进行特征提取,得到第一期水体图像对应的第一目标特征和第二期水体图像对应的第二目标特征包括:分别对第一期水体图像和第二期水体图像进行特征提取,得到第一期水体图像对应的第一原始特征和第二期水体图像对应的第二原始特征;对第一原始特征和第二原始特征中相同位置的特征进行特征融合,得到合并特征;对合并特征进行拆分,得到第一目标特征和第二目标特征。
在本申请上述实施例中,该方法还包括:利用目标检测模型中的特征提取模块分别对第一期水体图像和第二期水体图像进行特征提取,得到第一目标特征和第二目标特征;利用目标检测模型中的度量模块对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果;利用目标检测模型中的结果输出模块基于目标处理结果确定目标水体的目标检测结果。
在本申请上述实施例中,该方法还包括:获取训练样本,其中,训练样本包括:第一训练图像和第二训练图像,以及第一训练图像和第二训练图像对应的预设检测结果;利用特征提取模块分别对第一训练图像和第二训练图像进行特征提取,得到第一训练特征和第二训练特征;利用度量模块对第一训练特征和第二训练特征中相同位置的特征进行处理,得到训练结果;利用结果输出模块基于训练结果确定第一训练图像和第二训练图像对应的训练检测结果;基于预设检测结果和训练检测结果构建目标检测模型的目标损失函数;基于目标损失函数对目标检测模型的模型参数进行调整。
可选地,可以基于预设检测结果和训练检测结果构建目标检测模型的目标损失函数,该步骤具体包括:基于对比损失函数对预设检测结果和训练检测结果进行处理,得到目标损失函数。
在本申请上述实施例中,基于对比损失函数对预设检测结果和训练检测结果进行处理,得到目标损失函数包括:基于预设检测结果和训练检测结果,确定第一训练图像和第二训练图像中每个像素的像素损失函数;确定第一训练图像和第二训练图像中正样本像素和负样本像素,其中,正样本像素用于表征第一训练图像和第二训练图像中像素值发生变化的像素,负样本像素用于表征第一训练图像和第二训练图像中像素值未发生变化的像素;基于负样本像素的像素损失函数对负样本像素进行筛选,得到目标负样本像素;基于对比损失函数对目标负样本像素的像素损失函数和正样本像素的像素损失函数进行处理,得到目标损失函数。
可选地,可以通过如下方式对对负样本像素进行筛选,得到目标负样本像素:获取正样本像素的第一数量;基于第一数量,确定目标负样本像素的第二数量;基于第二数量和负样本像素的像素损失函数对负样本像素进行筛选,得到目标负样本像素。
在本申请上述实施例中,在获取第一期水体图像和第二期水体图像之后,该方法还包括:接收目标水体中选中的第一检测水体;分别对第一期水体图像和第二期水体图像中第一检测水体的图像进行特征提取,得到第一水体特征和第二水体特征;对第一水体特征和第二水体特征中相同位置的特征进行处理,得到第一处理结果;基于第一处理结果确定目标水体的第一检测结果;输出第一检测结果。
可选地,在输出第一检测结果之后,该方法还包括:接收对第一检测水体进行修改所得到的第二检测水体;分别对第一期遥感图像和第二期遥感图像中第二检测水体的图像进行特征提取,得到第三水体特征和第四水体特征;对第三水体特征和第四水体特征中相同位置的特征进行处理,得到第二处理结果;基于第二处理结果确定目标水体的第二检测结果;输出第二检测结果。
在本申请上述实施例中,在目标检测结果为目标水体发生变化的情况下,该方法还包括:确定目标水体发生变化的目标原因;基于目标原因生成提示信息;在目标水体的预设位置输出提示信息。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
实施例5
根据本申请实施例,还提供了一种用于实施上述图像检测方法的图像检测装置,如图11所示,该装置1100包括:图像获取模块1102、特征提取模块1104、特征处理模块1106和结果确定模块1108。
其中,图像获取模块1102用于获取第一期遥感图像和第二期遥感图像,其中,第一期遥感图像和第二期遥感图像为不同时间对同一个目标区域进行采集得到的图像;特征提取模块1104用于分别对第一期遥感图像和第二期遥感图像进行特征提取,得到第一期遥感图像对应的第一目标特征和第二期遥感图像对应的第二目标特征;特征处理模块1106用于对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果;结果确定模块1108用于基于目标处理结果确定目标区域的目标检测结果,其中,目标检测结果用于表征目标区域是否发生变化。
此处需要说明的是,上述图像获取模块1102、特征提取模块1104、特征处理模块1106和结果确定模块1108对应于实施例1中的步骤S202至步骤S208,四个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例一所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
可选地,特征处理模块还用于对第一目标特征和第二目标特征中相同位置的特征进行相似度计算,得到目标处理结果。
在本申请上述实施例中,在第一期遥感图像包含多张第一图像,第二期遥感图像包含多张第二图像的情况下,特征提取模块包括:特征获取单元、特征处理单元。
其中,特征获取单元用于获取多张第一图像对应的多个第一特征,多张第二图像对应的多个第二特征,其中,多个第一特征通过分别对多张第一图像进行特征提取得到,多个第二特征通过分别对多张第二图像进行特征提取得到;特征处理单元用于基于多个第一特征确定第一目标特征,并基于多个第二特征确定第二目标特征。
可选地,特征处理单元还用于对多个第一特征进行平均处理,得到第一目标特征;第二特征处理单元用于对多个第二特征进行平均处理,得到第二目标特征。
在本申请上述实施例中,图像获取模块包括:图像获取单元、规则获取单元和图像划分单元。
其中,图像获取单元用于获取多张原始遥感图像,其中,多张原始遥感图像为不同时间对目标区域进行采集得到的图像;规则获取单元用于获取多张原始遥感图像对应的图像划分规则,其中,图像划分规则基于图像采集时间进行确定;图像划分单元用于基于图像划分规则对多张原始遥感图像进行划分,得到第一期遥感图像和第二期遥感图像。
在本申请上述实施例中,在第一期遥感图像为单张图像,第二期遥感图像为单张图像的情况下,特征提取模块包括:特征提取单元、特征合并单元和特征拆分单元。
其中,特征提取单元用于分别对第一期遥感图像和第二期遥感图像进行特征提取,得到第一期遥感图像对应的第一原始特征和第二期遥感图像对应的第二原始特征;特征合并单元用于对第一原始特征和第二原始特征中相同位置的特征进行特征融合,得到合并特征;特征拆分单元用于对合并特征进行拆分,得到第一目标特征和第二目标特征。
在本申请上述实施例中,特征提取模块还用于利用目标检测模型中的特征提取模块分别对第一期遥感图像和第二期遥感图像进行特征提取,得到第一目标特征和第二目标特征;特征处理模块还用于利用目标检测模型中的度量模块对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果;结果确定模块还用于利用目标检测模型中的结果输出模块基于目标处理结果确定目标区域的目标检测结果。
在本申请上述实施例中,该装置还包括:函数构建模块和参数调整模块。
其中,图像获取模块还用于获取训练样本,其中,训练样本包括:第一训练图像和第二训练图像,以及第一训练图像和第二训练图像对应的预设检测结果;特征提取模块还用于利用特征提取模块分别对第一训练图像和第二训练图像进行特征提取,得到第一训练特征和第二训练特征;特征处理模块还用于利用度量模块对第一训练特征和第二训练特征中相同位置的特征进行处理,得到训练结果;结果确定模块还用于利用结果输出模块基于训练结果确定第一训练图像和第二训练图像对应的训练检测结果;函数构建模块用于基于预设检测结果和训练检测结果构建目标检测模型的目标损失函数;参数调整模块用于基于目标损失函数对目标检测模型的模型参数进行调整。
可选地,函数构建模块还用于基于对比损失函数对预设检测结果和训练检测结果进行处理,得到目标损失函数。
在本申请上述实施例中,函数构建模块包括:函数确定单元、样本确定单元、样本筛选单元和函数处理单元。
其中,函数确定单元用于基于预设检测结果和训练检测结果,确定第一训练图像和第二训练图像中每个像素的像素损失函数;样本确定单元用于确定第一训练图像和第二训练图像中正样本像素和负样本像素,其中,正样本像素用于表征第一训练图像和第二训练图像中像素值发生变化的像素,负样本像素用于表征第一训练图像和第二训练图像中像素值未发生变化的像素;样本筛选单元用于基于负样本像素的像素损失函数对负样本像素进行筛选,得到目标负样本像素;函数处理单元用于基于对比损失函数对目标负样本像素的像素损失函数和正样本像素的像素损失函数进行处理,得到目标损失函数。
可选地,样本筛选单元还用于获取正样本像素的第一数量;基于第一数量,确定目标负样本像素的第二数量;基于第二数量和负样本像素的像素损失函数对负样本像素进行筛选,得到目标负样本像素。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
实施例6
根据本申请实施例,还提供了一种用于实施上述图像检测方法的图像检测装置,如图12所示,该装置1200包括:图像获取模块1202、特征提取模块1204、特征处理模块1206和结果确定模块1208。
其中,图像获取模块1202用于获取第一期建筑物图像和第二期建筑物图像,其中,第一期建筑物图像和第二期建筑物图像为不同时间对同一个目标建筑物进行采集得到的图像;特征提取模块1204用于分别对第一期建筑物图像和第二期建筑物图像进行特征提取,得到第一期建筑物图像对应的第一目标特征和第二期建筑物图像对应的第二目标特征;特征处理模块1206用于对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果;结果确定模块1208用于基于相似度确定目标建筑物的目标检测结果,其中,目标检测结果用于表征目标建筑物是否发生变化。
此处需要说明的是,上述图像获取模块1202、特征提取模块1204、特征处理模块1206和结果确定模块1208对应于实施例2中的步骤S802至步骤S808,四个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例2所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例2提供的方案以及应用场景、实施过程相同,但不仅限于实施例2所提供的方案。
实施例7
根据本申请实施例,还提供了一种用于实施上述图像检测方法的图像检测装置,该装置部署于云服务器,如图13所示,该装置1300包括:图像接收模块1302、特征提取模块1304、特征处理模块1306、结果确定模块1308和结果输出模块1310。
其中,图像接收模块1302用于接收客户端上传的第一期遥感图像和第二期遥感图像,其中,第一期遥感图像和第二期遥感图像为不同时间对同一个目标区域进行采集得到的图像;特征提取模块1304用于分别对第一期遥感图像和第二期遥感图像进行特征提取,得到第一期遥感图像对应的第一原始特征和第二期遥感图像对应的第二原始特征;特征处理模块1306用于对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果;结果确定模块1308用于基于目标处理结果确定目标区域的目标检测结果,其中,目标检测结果用于表征目标区域是否发生变化;结果输出模块1310用于输出目标检测结果至客户端。
此处需要说明的是,上述图像接收模块1302、特征提取模块1304、特征处理模块1306、结果确定模块1308和结果输出模块1310对应于实施例3中的步骤S902至步骤S910,五个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例3所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例1提供的方案以及应用场景、实施过程相同,但不仅限于实施例1所提供的方案。
实施例8
根据本申请实施例,还提供了一种用于实施上述图像检测方法的图像检测装置,如图14所示,该装置1400包括:图像获取模块1402、特征提取模块1404、特征处理模块1406和结果确定模块1408。
其中,图像获取模块1402用于获取第一期建筑物图像和第二期建筑物图像,其中,第一期建筑物图像和第二期建筑物图像为不同时间对同一个目标建筑物进行采集得到的图像;特征提取模块1404用于分别对第一期建筑物图像和第二期建筑物图像进行特征提取,得到第一期建筑物图像对应的第一目标特征和第二期建筑物图像对应的第二目标特征;特征处理模块1406用于对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果;结果确定模块1408用于基于相似度确定目标建筑物的目标检测结果,其中,目标检测结果用于表征目标建筑物是否发生变化。
此处需要说明的是,上述图像获取模块1402、特征提取模块1404、特征处理模块1406和结果确定模块1408对应于实施例4中的步骤S1002至步骤S1008,四个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例4所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
需要说明的是,本申请上述实施例中涉及到的优选实施方案与实施例4提供的方案以及应用场景、实施过程相同,但不仅限于实施例4所提供的方案。
实施例9
本申请的实施例可以提供一种计算机终端,该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地,在本实施例中,上述计算机终端也可以替换为移动终端等终端设备。
可选地,在本实施例中,上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地,图15是根据本申请实施例的一种计算机终端的结构框图。如图15所示,该计算机终端A可以包括:一个或多个(图中仅示出一个)处理器1502、以及存储器1504。
其中,存储器可用于存储软件程序以及模块,如本申请实施例中的图像检测方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的图像检测方法。存储器可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至终端A。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取第一期遥感图像和第二期遥感图像,其中,第一期遥感图像和第二期遥感图像为不同时间对同一个目标区域进行采集得到的图像;分别对第一期遥感图像和第二期遥感图像进行特征提取,得到第一期遥感图像对应的第一目标特征和第二期遥感图像对应的第二目标特征;对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果;基于目标处理结果确定目标区域的目标检测结果,其中,目标检测结果用于表征目标区域是否发生变化。
可选的,上述处理器还可以执行如下步骤的程序代码:对第一目标特征和第二目标特征中相同位置的特征进行相似度计算,得到目标处理结果。
可选的,上述处理器还可以执行如下步骤的程序代码:在第一期遥感图像包含多张第一图像,第二期遥感图像包含多张第二图像的情况下,获取多张第一图像对应的多个第一特征,多张第二图像对应的多个第二特征,其中,多个第一特征通过分别对多张第一图像进行特征提取得到,多个第二特征通过分别对多张第二图像进行特征提取得到;基于多个第一特征确定第一目标特征,并基于多个第二特征确定第二目标特征。
可选的,上述处理器还可以执行如下步骤的程序代码:对多个第一特征进行平均处理,得到第一目标特征;对多个第二特征进行平均处理,得到第二目标特征。
可选的,上述处理器还可以执行如下步骤的程序代码:获取多张原始遥感图像,其中,多张原始遥感图像为不同时间对目标区域进行采集得到的图像;获取多张原始遥感图像对应的图像划分规则,其中,图像划分规则基于图像采集时间进行确定;基于图像划分规则对多张原始遥感图像进行划分,得到第一期遥感图像和第二期遥感图像。
可选的,上述处理器还可以执行如下步骤的程序代码:在第一期遥感图像为单张图像,第二期遥感图像为单张图像的情况下,分别对第一期遥感图像和第二期遥感图像进行特征提取,得到第一期遥感图像对应的第一原始特征和第二期遥感图像对应的第二原始特征;对第一原始特征和第二原始特征中相同位置的特征进行特征融合,得到合并特征;对合并特征进行拆分,得到第一目标特征和第二目标特征。
可选的,上述处理器还可以执行如下步骤的程序代码:利用目标检测模型中的特征提取模块分别对第一期遥感图像和第二期遥感图像进行特征提取,得到第一目标特征和第二目标特征;利用目标检测模型中的度量模块对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果;利用目标检测模型中的结果输出模块基于目标处理结果确定目标区域的目标检测结果。
可选的,上述处理器还可以执行如下步骤的程序代码:获取训练样本,其中,训练样本包括:第一训练图像和第二训练图像,以及第一训练图像和第二训练图像对应的预设检测结果;利用特征提取模块分别对第一训练图像和第二训练图像进行特征提取,得到第一训练特征和第二训练特征;利用度量模块对第一训练特征和第二训练特征中相同位置的特征进行处理,得到训练结果;利用结果输出模块基于训练结果确定第一训练图像和第二训练图像对应的训练检测结果;基于预设检测结果和训练检测结果构建目标检测模型的目标损失函数;基于目标损失函数对目标检测模型的模型参数进行调整。
可选的,上述处理器还可以执行如下步骤的程序代码:基于对比损失函数对预设检测结果和训练检测结果进行处理,得到目标损失函数。
可选的,上述处理器还可以执行如下步骤的程序代码:基于预设检测结果和训练检测结果,确定第一训练图像和第二训练图像中每个像素的像素损失函数;确定第一训练图像和第二训练图像中正样本像素和负样本像素,其中,正样本像素用于表征第一训练图像和第二训练图像中像素值发生变化的像素,负样本像素用于表征第一训练图像和第二训练图像中像素值未发生变化的像素;基于负样本像素的像素损失函数对负样本像素进行筛选,得到目标负样本像素;基于对比损失函数对目标负样本像素的像素损失函数和正样本像素的像素损失函数进行处理,得到目标损失函数。
可选的,上述处理器还可以执行如下步骤的程序代码:获取正样本像素的第一数量;基于第一数量,确定目标负样本像素的第二数量;基于第二数量和负样本像素的像素损失函数对负样本像素进行筛选,得到目标负样本像素。
可选的,上述处理器还可以执行如下步骤的程序代码:在获取第一期遥感图像和第二期遥感图像之后,接收目标区域中选中的第一检测区域;分别对第一期遥感图像和第二期遥感图像中第一检测区域的图像进行特征提取,得到第一区域特征和第二区域特征;对第一区域特征和第二区域特征中相同位置的特征进行处理,得到第一处理结果;基于第一处理结果确定目标区域的第一检测结果;输出第一检测结果。
可选的,上述处理器还可以执行如下步骤的程序代码:在输出第一检测结果之后,接收对第一检测区域进行修改所得到的第二检测区域;分别对第一期遥感图像和第二期遥感图像中第二检测区域的图像进行特征提取,得到第三区域特征和第四区域特征;对第三区域特征和第四区域特征中相同位置的特征进行处理,得到第二处理结果;基于第二处理结果确定目标区域的第二检测结果;输出第二检测结果。
可选的,上述处理器还可以执行如下步骤的程序代码:在目标检测结果为目标区域发生变化的情况下,确定目标区域发生变化的目标原因;基于目标原因生成提示信息;在目标区域的预设位置输出提示信息。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取第一期建筑物图像和第二期建筑物图像,其中,第一期建筑物图像和第二期建筑物图像为不同时间对同一个目标建筑物进行采集得到的图像;分别对第一期建筑物图像和第二期建筑物图像进行特征提取,得到第一期建筑物图像对应的第一目标特征和第二期建筑物图像对应的第二目标特征;对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果;基于目标处理结果确定目标建筑物的目标检测结果,其中,目标检测结果用于表征目标建筑物是否发生变化。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取第一水体图像和第二水体图像,其中,第一水体图像和第二水体图像为不同时间对同一个目标水体进行采集得到的图像;分别对第一水体图像和第二水体图像进行特征提取,得到第一水体图像对应的第一目标特征和第二水体图像对应的第二目标特征;对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果;基于目标处理结果确定目标水体的目标检测结果,其中,目标检测结果用于表征目标水体是否发生变化。
采用本申请实施例,提供了一种图像检测方案。通过引入度量学习对第一原始特征和第二原始特征中相同位置的特征进行处理,并直接基于目标处理结果确定目标检测结果,无需通过神经网络模型基于遥感图像的图像特征两两组合进行变化检测,从而达到了提高变化检测效率的技术效果,进而解决了相关技术中对遥感图像进行变化检测的效率较低的技术问题。
本领域普通技术人员可以理解,图15所示的结构仅为示意,计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(MobileInternet Devices,MID)、PAD等终端设备。图15其并不对上述电子装置的结构造成限定。例如,计算机终端A还可包括比图15中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图15所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
实施例10
本申请的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于保存上述实施例所提供的图像检测方法所执行的程序代码。
可选地,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取第一期遥感图像和第二期遥感图像,其中,第一期遥感图像和第二期遥感图像为不同时间对同一个目标区域进行采集得到的图像;分别对第一期遥感图像和第二期遥感图像进行特征提取,得到第一期遥感图像对应的第一目标特征和第二期遥感图像对应的第二目标特征;对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果;基于目标处理结果确定目标区域的目标检测结果,其中,目标检测结果用于表征目标区域是否发生变化。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:对第一目标特征和第二目标特征中相同位置的特征进行相似度计算,得到目标处理结果。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:在第一期遥感图像包含多张第一图像,第二期遥感图像包含多张第二图像的情况下,获取多张第一图像对应的多个第一特征,多张第二图像对应的多个第二特征,其中,多个第一特征通过分别对多张第一图像进行特征提取得到,多个第二特征通过分别对多张第二图像进行特征提取得到;基于多个第一特征确定第一目标特征,并基于多个第二特征确定第二目标特征。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:对多个第一特征进行平均处理,得到第一原始特征;对多个第二特征进行平均处理,得到第二原始特征。
可选的,上述存储介质还被设置为存储多个第一特征和多个第二特征。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:获取多张原始遥感图像,其中,多张原始遥感图像为不同时间对目标区域进行采集得到的图像;获取多张原始遥感图像对应的图像划分规则,其中,图像划分规则基于图像采集时间进行确定;基于图像划分规则对多张原始遥感图像进行划分,得到第一期遥感图像和第二期遥感图像。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:在第一期遥感图像为单张图像,第二期遥感图像为单张图像的情况下,分别对第一期遥感图像和第二期遥感图像进行特征提取,得到第一期遥感图像对应的第一原始特征和第二期遥感图像对应的第二原始特征;对第一原始特征和第二原始特征中相同位置的特征进行特征融合,得到合并特征;对合并特征进行拆分,得到第一原始特征和第二原始特征。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:利用目标检测模型中的特征提取模块分别对第一期遥感图像和第二期遥感图像进行特征提取,得到第一目标特征和第二目标特征;利用目标检测模型中的度量模块对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果;利用目标检测模型中的结果输出模块基于目标处理结果确定目标区域的目标检测结果。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:获取训练样本,其中,训练样本包括:第一训练图像和第二训练图像,以及第一训练图像和第二训练图像对应的预设检测结果;利用特征提取模块分别对第一训练图像和第二训练图像进行特征提取,得到第一训练特征和第二训练特征;利用度量模块对第一训练特征和第二训练特征中相同位置的特征进行处理,得到训练结果;利用结果输出模块基于训练结果确定第一训练图像和第二训练图像对应的训练检测结果;基于预设检测结果和训练检测结果构建目标检测模型的目标损失函数;基于目标损失函数对目标检测模型的模型参数进行调整。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:基于对比损失函数对预设检测结果和训练检测结果进行处理,得到目标损失函数。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:基于预设检测结果和训练检测结果,确定第一训练图像和第二训练图像中每个像素的像素损失函数;确定第一训练图像和第二训练图像中正样本像素和负样本像素,其中,正样本像素用于表征第一训练图像和第二训练图像中像素值发生变化的像素,负样本像素用于表征第一训练图像和第二训练图像中像素值未发生变化的像素;基于负样本像素的像素损失函数对负样本像素进行筛选,得到目标负样本像素;基于对比损失函数对目标负样本像素的像素损失函数和正样本像素的像素损失函数进行处理,得到目标损失函数。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:获取正样本像素的第一数量;基于第一数量,确定目标负样本像素的第二数量;基于第二数量和负样本像素的像素损失函数对负样本像素进行筛选,得到目标负样本像素。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:在获取第一期遥感图像和第二期遥感图像之后,接收目标区域中选中的第一检测区域;分别对第一期遥感图像和第二期遥感图像中第一检测区域的图像进行特征提取,得到第一区域特征和第二区域特征;对第一区域特征和第二区域特征中相同位置的特征进行处理,得到第一处理结果;基于第一处理结果确定目标区域的第一检测结果;输出第一检测结果。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:在输出第一检测结果之后,接收对第一检测区域进行修改所得到的第二检测区域;分别对第一期遥感图像和第二期遥感图像中第二检测区域的图像进行特征提取,得到第三区域特征和第四区域特征;对第三区域特征和第四区域特征中相同位置的特征进行处理,得到第二处理结果;基于第二处理结果确定目标区域的第二检测结果;输出第二检测结果。
可选的,上述存储介质还被设置为存储用于执行以下步骤的程序代码:在目标检测结果为目标区域发生变化的情况下,确定目标区域发生变化的目标原因;基于目标原因生成提示信息;在目标区域的预设位置输出提示信息。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取第一期建筑物图像和第二期建筑物图像,其中,第一期建筑物图像和第二期建筑物图像为不同时间对同一个目标建筑物进行采集得到的图像;分别对第一期建筑物图像和第二期建筑物图像进行特征提取,得到第一期建筑物图像对应的第一目标特征和第二期建筑物图像对应的第二目标特征;对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果;基于目标处理结果确定目标建筑物的目标检测结果,其中,目标检测结果用于表征目标建筑物是否发生变化。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取第一水体图像和第二水体图像,其中,第一水体图像和第二水体图像为不同时间对同一个目标水体进行采集得到的图像;分别对第一水体图像和第二水体图像进行特征提取,得到第一水体图像对应的第一目标特征和第二水体图像对应的第二目标特征;对第一目标特征和第二目标特征中相同位置的特征进行处理,得到目标处理结果;基于目标处理结果确定目标水体的目标检测结果,其中,目标检测结果用于表征目标水体是否发生变化。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
在本申请的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本申请的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本申请的保护范围。
Claims (14)
1.一种图像检测方法,其特征在于,包括:
获取第一期遥感图像和第二期遥感图像,其中,所述第一期遥感图像和所述第二期遥感图像为不同时间对同一个目标区域进行采集得到的图像;
分别对所述第一期遥感图像和所述第二期遥感图像进行特征提取,得到所述第一期遥感图像对应的第一目标特征和所述第二期遥感图像对应的第二目标特征;
对所述第一目标特征和所述第二目标特征中相同位置的特征进行处理,得到目标处理结果;
基于所述目标处理结果确定所述目标区域的目标检测结果,其中,所述目标检测结果用于表征所述目标区域是否发生变化。
2.根据权利要求1所述的方法,其特征在于,在所述第一期遥感图像包含多张第一图像,所述第二期遥感图像包含多张第二图像的情况下,分别对所述第一期遥感图像和所述第二期遥感图像进行特征提取,得到所述第一期遥感图像对应的第一目标特征和所述第二期遥感图像对应的第二目标特征包括:
获取所述多张第一图像对应的多个第一特征,所述多张第二图像对应的多个第二特征,其中,所述多个第一特征通过分别对所述多张第一图像进行特征提取得到,所述多个第二特征通过分别对所述多张第二图像进行特征提取得到;
基于所述多个第一特征确定所述第一目标特征,并基于所述多个第二特征确定所述第二目标特征。
3.根据权利要求2所述的方法,其特征在于,基于所述多个第一特征确定所述第一目标特征,并基于所述多个第二特征确定所述第二目标特征包括:
对所述多个第一特征进行平均处理,得到所述第一目标特征;
对所述多个第二特征进行平均处理,得到所述第二目标特征。
4.根据权利要求1所述的方法,其特征在于,在所述第一期遥感图像为单张图像,所述第二期遥感图像为单张图像的情况下,分别对所述第一期遥感图像和所述第二期遥感图像进行特征提取,得到所述第一期遥感图像对应的第一目标特征和所述第二期遥感图像对应的第二目标特征包括:
分别对所述第一期遥感图像和所述第二期遥感图像进行特征提取,得到所述第一期遥感图像对应的第一原始特征和所述第二期遥感图像对应的第二原始特征;
对所述第一原始特征和所述第二原始特征中相同位置的特征进行特征融合,得到合并特征;
对所述合并特征进行拆分,得到所述第一目标特征和所述第二目标特征。
5.根据权利要求1所述的方法,其特征在于,对所述第一目标特征和所述第二目标特征中相同位置的特征进行处理,得到目标处理结果包括:
对所述第一目标特征和所述第二目标特征中相同位置的特征进行相似度计算,得到所述目标处理结果。
6.根据权利要求1所述的方法,其特征在于,在获取第一期遥感图像和第二期遥感图像之后,所述方法还包括:
接收所述目标区域中选中的第一检测区域;
分别对所述第一期遥感图像和所述第二期遥感图像中所述第一检测区域的图像进行特征提取,得到第一区域特征和第二区域特征;
对所述第一区域特征和所述第二区域特征中相同位置的特征进行处理,得到第一处理结果;
基于所述第一处理结果确定所述目标区域的第一检测结果;
输出所述第一检测结果。
7.根据权利要求1所述的方法,其特征在于,在所述目标检测结果为所述目标区域发生变化的情况下,所述方法还包括:
确定所述目标区域发生变化的目标原因;
基于所述目标原因生成提示信息;
在所述目标区域的预设位置输出所述提示信息。
8.一种图像检测方法,其特征在于,包括:
获取第一期建筑物图像和第二期建筑物图像,其中,所述第一期建筑物图像和所述第二期建筑物图像为不同时间对同一个目标建筑物进行采集得到的图像;
分别对所述第一期建筑物图像和所述第二期建筑物图像进行特征提取,得到所述第一期建筑物图像对应的第一目标特征和所述第二期建筑物图像对应的第二目标特征;
对所述第一目标特征和所述第二目标特征中相同位置的特征进行处理,得到目标处理结果;
基于所述目标处理结果确定所述目标建筑物的目标检测结果,其中,所述目标检测结果用于表征所述目标建筑物是否发生变化。
9.根据权利要求8所述的方法,其特征在于,在所述第一期建筑物图像包含多张第一图像,所述第二期建筑物图像包含多张第二图像的情况下,分别对所述第一期建筑物图像和所述第二期建筑物图像进行特征提取,得到所述第一期建筑物图像对应的第一目标特征和所述第二期建筑物图像对应的第二目标特征包括:
获取所述多张第一图像对应的多个第一特征,所述多张第二图像对应的多个第二特征,其中,所述多个第一特征通过分别对所述多张第一图像进行特征提取得到,所述多个第二特征通过分别对所述多张第二图像进行特征提取得到;
对所述多个第一特征进行平均处理,得到所述第一目标特征;
对所述多个第二特征进行平均处理,得到所述第二目标特征。
10.根据权利要求8所述的方法,其特征在于,在所述第一期建筑物图像为单张图像,所述第二期建筑物图像为单张图像的情况下,分别对所述第一期建筑物图像和所述第二期建筑物图像进行特征提取,得到所述第一期建筑物图像对应的第一目标特征和所述第二期建筑物图像对应的第二目标特征包括:
分别对所述第一期建筑物图像和所述第二期建筑物图像进行特征提取,得到所述第一期建筑物图像对应的第一原始特征和所述第二期建筑物图像对应的第二原始特征;
对所述第一原始特征和所述第二原始特征中相同位置的特征进行特征融合,得到合并特征;
对所述合并特征进行拆分,得到所述第一目标特征和所述第二目标特征。
11.一种图像检测方法,其特征在于,包括:
获取第一期水体图像和第二期水体图像,其中,所述第一期水体图像和所述第二期水体图像为不同时间对同一个目标水体进行采集得到的图像;
分别对所述第一期水体图像和所述第二期水体图像进行特征提取,得到所述第一期水体图像对应的第一目标特征和所述第二期水体图像对应的第二目标特征;
对所述第一目标特征和所述第二目标特征中相同位置的特征进行处理,得到目标处理结果;
基于所述目标处理结果确定所述目标水体的目标检测结果,其中,所述目标检测结果用于表征所述目标水体是否发生变化。
12.一种图像检测方法,其特征在于,包括:
云服务器接收客户端上传的第一期遥感图像和第二期遥感图像,其中,所述第一期遥感图像和所述第二期遥感图像为不同时间对同一个目标区域进行采集得到的图像;
所述云服务器分别对所述第一期遥感图像和所述第二期遥感图像进行特征提取,得到所述第一期遥感图像对应的第一目标特征和所述第二期遥感图像对应的第二目标特征;
所述云服务器对所述第一目标特征和所述第二目标特征中相同位置的特征进行处理,得到目标处理结果;
所述云服务器基于所述目标处理结果确定所述目标区域的目标检测结果,其中,所述目标检测结果用于表征所述目标区域是否发生变化;
所述云服务器输出所述目标检测结果至所述客户端。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的程序,其中,在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至12中任意一项所述的图像检测方法。
14.一种计算机终端,其特征在于,包括:存储器和处理器,所述处理器用于运行所述存储器中存储的程序,其中,所述程序运行时执行权利要求1至12中任意一项所述的图像检测方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210596069.XA CN114708260A (zh) | 2022-05-30 | 2022-05-30 | 图像检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210596069.XA CN114708260A (zh) | 2022-05-30 | 2022-05-30 | 图像检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114708260A true CN114708260A (zh) | 2022-07-05 |
Family
ID=82175795
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210596069.XA Pending CN114708260A (zh) | 2022-05-30 | 2022-05-30 | 图像检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114708260A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117689658A (zh) * | 2024-02-02 | 2024-03-12 | 珠江水利委员会珠江水利科学研究院 | 遥感影像变化检测方法及装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110378224A (zh) * | 2019-06-14 | 2019-10-25 | 香港理工大学深圳研究院 | 一种地物变化的检测方法、检测系统及终端 |
CN110853026A (zh) * | 2019-11-16 | 2020-02-28 | 四创科技有限公司 | 一种融合深度学习与区域分割的遥感影像变化检测方法 |
CN112232249A (zh) * | 2020-10-22 | 2021-01-15 | 中国科学院空天信息创新研究院 | 一种基于深度特征的遥感图像变化检测方法及装置 |
CN113469072A (zh) * | 2021-07-06 | 2021-10-01 | 西安电子科技大学 | 基于GSoP和孪生融合网络的遥感图像变化检测方法及系统 |
CN114511500A (zh) * | 2021-12-28 | 2022-05-17 | 阿里巴巴(中国)有限公司 | 图像处理方法、存储介质以及计算机终端 |
-
2022
- 2022-05-30 CN CN202210596069.XA patent/CN114708260A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110378224A (zh) * | 2019-06-14 | 2019-10-25 | 香港理工大学深圳研究院 | 一种地物变化的检测方法、检测系统及终端 |
CN110853026A (zh) * | 2019-11-16 | 2020-02-28 | 四创科技有限公司 | 一种融合深度学习与区域分割的遥感影像变化检测方法 |
CN112232249A (zh) * | 2020-10-22 | 2021-01-15 | 中国科学院空天信息创新研究院 | 一种基于深度特征的遥感图像变化检测方法及装置 |
CN113469072A (zh) * | 2021-07-06 | 2021-10-01 | 西安电子科技大学 | 基于GSoP和孪生融合网络的遥感图像变化检测方法及系统 |
CN114511500A (zh) * | 2021-12-28 | 2022-05-17 | 阿里巴巴(中国)有限公司 | 图像处理方法、存储介质以及计算机终端 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117689658A (zh) * | 2024-02-02 | 2024-03-12 | 珠江水利委员会珠江水利科学研究院 | 遥感影像变化检测方法及装置 |
CN117689658B (zh) * | 2024-02-02 | 2024-05-10 | 珠江水利委员会珠江水利科学研究院 | 遥感影像变化检测方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108846835B (zh) | 基于深度可分离卷积网络的图像变化检测方法 | |
Wang et al. | Particle swarm optimization-based sub-pixel mapping for remote-sensing imagery | |
CN109472240B (zh) | 人脸识别多模型自适应特征融合增强方法和装置 | |
CN110781756A (zh) | 基于遥感图像的城市道路提取方法及装置 | |
CN108053410B (zh) | 运动目标分割方法及装置 | |
Bui et al. | Whale Optimization Algorithm and Adaptive Neuro-Fuzzy Inference System: a hybrid method for feature selection and land pattern classification | |
CN111291809A (zh) | 一种处理装置、方法及存储介质 | |
Carvajal et al. | Relationship between atmospheric corrections and training-site strategy with respect to accuracy of greenhouse detection process from very high resolution imagery | |
CN104063686A (zh) | 作物叶部病害图像交互式诊断系统与方法 | |
Wang et al. | Land cover change detection with a cross‐correlogram spectral matching algorithm | |
CN111860233A (zh) | 基于选择注意力网络的sar图像复杂建筑物提取方法及系统 | |
CN113469074A (zh) | 基于孪生注意力融合网络的遥感图像变化检测方法及系统 | |
CN114708260A (zh) | 图像检测方法 | |
CN114140637B (zh) | 图像分类方法、存储介质和电子设备 | |
Lessel et al. | Creating a basic customizable framework for crop detection using Landsat imagery | |
CN113971757A (zh) | 图像分类方法、计算机终端及存储介质 | |
CN114511500A (zh) | 图像处理方法、存储介质以及计算机终端 | |
Jiang et al. | Woodland cover change assessment using decision trees, support vector machines and artificial neural networks classification algorithms | |
CN113537248A (zh) | 图像识别方法和装置、电子设备和存储介质 | |
CN113723411A (zh) | 一种用于遥感图像语义分割的特征提取方法和分割系统 | |
CN111488887A (zh) | 基于人工智能的图像处理方法、装置 | |
Ebert-Uphoff et al. | Evaluation, tuning and interpretation of neural networks for meteorological applications | |
Wang et al. | Strawberry ripeness classification method in facility environment based on red color ratio of fruit rind | |
CN114359599A (zh) | 图像处理方法、存储介质及计算机终端 | |
CN110487787B (zh) | 一种元器件损耗检测方法、装置、存储介质及终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20220705 |
|
RJ01 | Rejection of invention patent application after publication |