CN117253155B - 一种基于深度学习的人类活动检测方法及系统 - Google Patents

一种基于深度学习的人类活动检测方法及系统 Download PDF

Info

Publication number
CN117253155B
CN117253155B CN202311531438.8A CN202311531438A CN117253155B CN 117253155 B CN117253155 B CN 117253155B CN 202311531438 A CN202311531438 A CN 202311531438A CN 117253155 B CN117253155 B CN 117253155B
Authority
CN
China
Prior art keywords
remote sensing
human activity
loss
generator
change pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311531438.8A
Other languages
English (en)
Other versions
CN117253155A (zh
Inventor
房磊
李浩吉
王国强
任世龙
姚智涛
吕光育
陈金月
辛鑫
宋晓萌
任鹏杰
陈竹敏
张庆竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202311531438.8A priority Critical patent/CN117253155B/zh
Publication of CN117253155A publication Critical patent/CN117253155A/zh
Application granted granted Critical
Publication of CN117253155B publication Critical patent/CN117253155B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及环境遥感检测技术领域，提供了一种基于深度学习的人类活动检测方法及系统。该方法包括，获取目标地区两幅不同时间的遥感图像；采用生成器，将预处理后目标地区两幅不同时间的遥感图像，转换为目标地区的变化图斑，再将所述变化图斑转换为双时相遥感影像瓦片；基于双时相遥感影像瓦片，采用分类模型，得到对应的土地覆被类型，并写入到变化图斑的矢量数据中；基于变化图斑的矢量数据，计算各种变化后土地覆被类型所对应的人类活动强度。本发明采用生成器和分类模型相结合的双模型，在检测人类活动引起地表变化区域的同时识别出人类活动类型，解决传统方法无法判断人类活动类型的问题。

Description

一种基于深度学习的人类活动检测方法及系统
技术领域
本发明涉及环境遥感检测技术领域，尤其涉及一种基于深度学习的人类活动检测方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
传统遥感人类活动检测手段主要依赖于图像处理、特征提取和分类等技术，通过利用卫星或航空遥感影像数据进行地物识别和分类，实现对人类活动的检测。可以概括为以下组：
1、基于代数运算的方法：通过对多时间数据执行代数操作或转换来获得变化图，例如图像差异，图像回归，图像比和改变向量分析（CVA），但这种方法高度依赖图像的质量，如果输入的影像存在较大的噪声或者光照不均匀，那么可能会影响到代数操作的精度和效果。
2、基于影像变换的方法：数据减少方法，例如主成分分析（PCA），穗帽（KT），多端元变化检测（MAD），Gramm-Schmidt（GS）和Chi-Square，用于抑制相关信息和突出显示多时间数据方差。但这种方法常基于数据的线性相关性、分布等假设等，如果这些假设与实际数据不符，则转换方法的效果可能会受到影响，并且可能导致结果的不准确性。另外，某些转换方法（如PCA）生成的新特征是原始特征的线性组合，使得模型的解释能力相对较弱，会限制进一步的分析和解释。
3、基于分类的方法：通过比较多个分类映射（即，分类后比较），或者使用训练分类器来直接对来自多个时段（即，多种分类或直接分类）直接对数据进行分类的更改。但这种方法通常只考虑了局部信息，而忽略了整个数据集的全局信息，导致在某些情况下难以捕捉到全局的变化模式，从而影响到分类的准确性。
4、高级模型：如Li-Strahler反射模型，光谱混合模型和生物物理学参数方法，用于将多个时期数据的光谱反射率值转换为物理基础的参数或分数以进行变化分析，这更直观，且具有物理意义。但这些模型的应用场景受限，通常只适用于特定类型的遥感或光学传感器数据，在应用模型之前，需要仔细评估数据的类型和特征，以确保模型的可行性和准确性。
总的来说，目前的遥感人类检测方法存在着耗费时间、对图像质量敏感、信息缺失、解释能力较弱等问题。虽然高级模型具有直观且具有物理意义的优点，但应用场景受限，需要仔细评估数据类型和特征。此外，目前方案只能识别出人类活动区域，无法准确判别活动类型，这限制了后续对数据的深入分析和理解。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种基于深度学习的人类活动检测方法及系统，本发明通过训练生成对抗网络（GAN）和残差网络（ResNet），利用双模型的联合驱动实现双时相遥感变化图斑的智能检测、边界提取以及类型识别等关键过程的一体化、自动化和智能化处理。本发明提出的技术可直接从双时相高分辨率遥感影像中获取人类活动类型分布图，并支持对变化斑块的面积、干扰强度进行参数化。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种基于深度学习的人类活动检测方法。
一种基于深度学习的人类活动检测方法，包括：
获取目标地区两幅不同时间的遥感图像；
采用生成器，将预处理后目标地区两幅不同时间的遥感图像，转换为目标地区的变化图斑，再将所述变化图斑转换为双时相遥感影像瓦片；
基于双时相遥感影像瓦片，采用分类模型，得到对应的土地覆被类型，并写入到变化图斑的矢量数据中；
基于变化图斑的矢量数据，计算各种变化后土地覆被类型所对应的人类活动强度。
进一步地，所述生成器包括编码器和解码器，所述编码器包括四个Conv-BatchNorm-RelU模块，用于多次对输入的预处理后目标地区两幅不同时间的遥感图像进行下采样，逐步提取目标地区两幅不同时间的遥感图像的特征图；所述解码器包括四个ConvTranspose-BatchNorm-RelU模块，用于将编码器输出的特征图进行多次上采样操作，逐步恢复与目标地区两幅不同时间的遥感图像相同尺寸的特征图。
进一步地，所述生成器在训练过程中，通过训练GAN网络得到。
进一步地，所述GAN网络还包括判别器，用于判断输入图像是真实标签还是生成器的输出。
进一步地，所述分类模型采用ResNet网络，并在ResNet网络中添加残差块，在ResNet网络前添加空间金字塔池化模块，所述残差块用于解决深层网络中的梯度消失和信息传递问题，所述空间金字塔池化模块用于接受不同尺寸的输入图像。
进一步地，所述各种变化后土地覆被类型所对应的人类活动强度为：特定人类活动类型的权重值与活动面积的乘积再除以人类活动总面积。
进一步地，所述预处理的过程包括：对目标地区两幅不同时间的遥感图像进行包括投影变换、重采样、影像裁切和瓦片生成处理。
本发明的第二个方面提供一种基于深度学习的人类活动检测系统。
一种基于深度学习的人类活动检测系统，包括：
数据获取模块，其被配置为：获取目标地区两幅不同时间的遥感图像；
图像转换模块，其被配置为：采用生成器，将预处理后目标地区两幅不同时间的遥感图像，转换为目标地区的变化图斑，再将所述变化图斑转换为双时相遥感影像瓦片；
分类模块，其被配置为：基于双时相遥感影像瓦片，采用分类模型，得到对应的土地覆被类型，并写入到变化图斑的矢量数据中；
活动检测模块，其被配置为：基于变化图斑的矢量数据，计算各种变化后土地覆被类型所对应的人类活动强度。
本发明的第三个方面提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的基于深度学习的人类活动检测方法中的步骤。
本发明的第四个方面提供一种计算机设备。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的基于深度学习的人类活动检测方法中的步骤。
与现有技术相比，本发明的有益效果是：
1、本发明引入生成对抗网络（GAN）和残差网络（ResNet）双模型，在检测人类活动引起地表变化区域的同时识别出人类活动类型，解决传统方法无法判断人类活动类型的问题。本发明设计的GAN可以通过生成合成图像从双时相影像中识别地物变化，从而高效地实现影像变化斑块的检测。本发明采用的ResNet网络则能够提取丰富的影像特征，结合变化斑块影像中的上下文信息和全局信息，通过智能匹配实现地物场景判别。本发明通过整合GAN和ResNet网络优势，可以获得更准确、全面的人类活动信息，解决了传统方法针对变化影像图斑缺乏解释性和准确定性的问题。
2、本发明能够利用易于获取的公开数据集进行训练，这些数据集具有丰富的样本数量和多样化的场景覆盖，从而使模型能够学习到更全面、更具代表性的特征表示，从而具备更好的泛化能力和适应性，解决了传统方法应用场景有限、泛化能力差的问题。
3、本发明利用地理信息系统（GIS）技术将变化检测和场景识别相结合，实现人类活动检测的一体化、自动化和智能化处理。解决了传统检测方法耗时长、依赖专家知识等问题。本发明通过将两个网络输出的结果进行融合和分析，可以实现更精确、可靠的人类活动检测。GIS技术可以帮助在地理空间上进行数据整合和可视化展示，为决策提供支持。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明示出的基于深度学习的人类活动检测方法的流程图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。
实施例一
如图1所示，本实施例提供了一种基于深度学习的人类活动检测方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。本实施例中，该方法包括以下步骤：
获取目标地区两幅不同时间的遥感图像；
采用生成器，将预处理后目标地区两幅不同时间的遥感图像，转换为目标地区的变化图斑，再将所述变化图斑转换为双时相遥感影像瓦片；
基于双时相遥感影像瓦片，采用分类模型，得到对应的土地覆被类型，并写入到变化图斑的矢量数据中；
基于变化图斑的矢量数据，计算各种变化后土地覆被类型所对应的人类活动强度。
下面对本实施例进行详细介绍：
（1）获取数据：本发明将首先收集目标地区两幅不同时间的高分辨率遥感影像（空间分辨率优于2米）。
（2）数据预处理：对获取的遥感影像进行时空一致性处理，通过投影变换、重采样、影像裁切、瓦片生成等自动化影像处理技术，获取监管目标影像库。
（2-1）投影变换：遥感影像通常以不同的投影方式存储，例如球面坐标（经纬度）或投影坐标（UTM）。为了统一坐标系统并保持空间一致性，可以通过投影变换将影像转换到特定的投影坐标系。常用的投影变换方法有平面直角坐标投影（Plate Carree），等经纬度投影（Equirectangular），兰勃托投影（Lambert），麦卡托投影（Mercator）等。其数学公式如下所示：
X = λ × cos(φ0)
Y = φ - φ0
式中，X和Y分别表示转换后的投影坐标，λ为经度，φ为纬度，φ0为中心纬度。
（2-2）重采样：遥感影像可能具有不同的分辨率（像素大小），为了保持一致性，需要对影像进行重采样。重采样可以根据目标分辨率对每个像素进行重新插值或采样。最常见的重采样方法是双线性插值。其数学公式如下：
I(x, y) = (1-Δx)(1-Δy)I(A) +Δx(1-Δy)I(B) +ΔxΔyI(C) + (1-Δx)ΔyI(D)
式中，I(x, y)表示原始像素点(x, y)周围的插值像素值，I(A)、I(B)、I(C)、I(D)为插值像素点的四个邻近像素值，Δx和Δy表示像素点的偏移量。
（2-3）影像裁切：通过影像裁切来获取检测区域。影像裁切一般基于地理坐标范围进行。计算公式如下：
StartRow = floor((Ymax - Y) / ΔY)
EndRow = floor((Ymax - Ymin) / ΔY)
StartCol = floor((X - Xmin) / ΔX)
EndCol = floor((Xmax - Xmin) / ΔX)
式中，StartRow和EndRow表示裁切后的行数范围，StartCol和EndCol表示裁切后的列数范围，(X, Y)为待裁切像素坐标，(Xmin, Ymin, Xmax, Ymax)为裁切范围的地理坐标。
（2-4）瓦片生成：针对大规模遥感影像，为了方便存储和处理，常常将其分割成小块瓦片。瓦片生成可以通过定义固定大小的瓦片区域，对原始影像进行切割。常用的瓦片生成公式如下：
NumRows = ceil((Ymax - Ymin) / ΔY)
NumCols = ceil((Xmax - Xmin) / ΔX)
其中，NumRows和NumCols分别表示瓦片生成后的行数和列数，(Xmin, Ymin,Xmax, Ymax)表示整幅影像的地理坐标范围，ΔX和ΔY表示每个瓦片的宽度和高度。
（3）模型训练：针对遥感变化检测和场景识别任务，可以使用公开的遥感变化检测数据集和场景识别数据集来分别训练GAN网络和ResNet网络。训练完成后，GAN的生成器可以接收输入的遥感影像对，而检测地表的变化并生成变化图以显示的变化区域。而ResNet网络可以接收场景图像，并根据人类活动的特征进行分类，实现对人类活动类型的识别。下面将详细介绍模型的训练过程。
（3-1）GAN网络的训练：
遥感变化检测旨在检测地表在不同时间点之间发生的变化。GAN由生成器和判别器两部分组成。生成器的作用是接受双时间图像并输出变化图斑。判别器的目的是判断输入图像是真实标签还是生成器的输出。为了训练GAN网络的生成器，可以使用具有高时空一致性的遥感影像对作为训练数据。生成器的目标是将输入的遥感影像对转换为变化图，强调地表的变化区域。训练GAN网络需要同时训练生成器和判别器，其各自损失函数可以定义如下所示：
Loss_G =λ_adv × Loss_Adversarial + λ_recon × Loss_Reconstruction
Loss_D = Loss_Real + Loss_Fake
式中，Loss_G表示生成器的损失，Loss_D表示判别器的损失。Loss_Adversarial表示生成器在对抗训练中的损失，Loss_Reconstruction表示生成器重建的误差，λ_adv和λ_recon是两者之间的权重。Loss_Real表示判别器对真实变化图像的预测误差，Loss_Fake表示判别器对生成器生成的假变化图像的预测误差。
（3-2）ResNet网络的训练：
场景识别任务旨在对给定的场景图像进行分类，例如识别人类活动的类型。ResNet是一种深度卷积神经网络结构，通过引入残差连接解决了深层网络中梯度消失和网络退化的问题。为了训练ResNet网络，可以使用包含人类活动的场景识别数据集。训练过程需要定义分类损失函数，并进行优化。本发明中，使用交叉熵损失函数来衡量分类任务的预测结果和真实标签之间的差异。损失函数可以定义如下：
Loss_Classification = -∑(y × log(p))
式中，y表示真实标签的one-hot编码，p表示模型的输出概率分布。
在具体实施过程中，还需要考虑数据增强、学习率调整、批量归一化等技术手段来进一步提升模型的性能和稳定性。此外，还可以采用适当的评估指标（例如准确率、召回率、F1值等）来评估模型在遥感变化检测和场景识别任务上的性能，具体指标如下：
准确率（Accuracy）：Accuracy = (TP + TN) / (TP + TN + FP + FN)
召回率（Recall）：Recall = TP / (TP + FN)
精确率（Precision）：Precision = TP / (TP + FP)
F1值（F1 Score）：F1 Score = 2 × (Precision × Recall) / (Precision +Recall)
式中，TP表示真正例（True Positive），即模型正确预测为正样本的数量；TN表示真负例（True Negative），即模型正确预测为负样本的数量；FP表示假正例（FalsePositive），即模型错误地预测为正样本的数量；FN表示假负例（False Negative），即模型错误地预测为负样本的数量。
（4）人类活动检测：将预处理后的目标区域影像库输入训练好的生成器中，得到检测区域的变化图斑。通过栅矢转换、面积筛选、矢量裁切等GIS手段获得变化图斑对应的双时相遥感影像瓦片。之后将瓦片输入ResNet网络识别对应的地物类型，最后将变化类型写入到变化图斑的矢量数据中。
（5）人类活动量化与表达：利用矢量计算来计算各种人类活动的面积以及土地覆盖类型的转移。在此过程中，可以为每种转移类型赋予不同的权重，并使用以下公式来计算各人类活动的强度：
活动强度 = (活动权重 × 活动面积) / 人类活动总面积
其中，活动权重表示特定人类活动类型的权重值，活动面积表示对应活动类型所涉及的面积，人类活动总面积表示所有人类活动类型的总面积。通过这个公式，可以计算每种人类活动的强度并进行比较，了解各个人类活动在总体中的相对重要性和影响程度。
下面是本发明的一种实施方式，本发明不仅仅有这一种实施方式，不应当理解为对本发明的限定，下面对此种实施方式进行说明：
（1）数据获取与预处理：首先收集目标地区两幅不同时间的空间分辨率0.5m的RGB遥感影像，并进行时空一致性处理，通过投影变换、重采样、影像裁切、瓦片生成等自动化影像处理技术，获取监管目标影像库。
（2）GAN训练：利用公开的遥感变化检测数据集（如CDD、DSIFN、SYSU等）训练GAN网络，要求F1分数不等低于0.9，用于检测研究区域的土地覆被变化。该网络使用Python中的Pytorch库进行搭建，由生成器和判别器两部分组成。生成器基于一个编码器-解码器网络，编码器设计为共享权值的双分支结构网络，将双时相图像分别输入到两个子网络来提取图像的共同特征，每个子网络由4个Conv-BatchNorm-RelU模块组成（由e1，e2，e3，e4表示），通过多次下采样操作来减少特征图的尺寸，并逐渐提取出图像的语义信息，同时在每一个Conv-BatchNorm-RelU模块后还添加了通道注意力模块（Channel Attention Module）以区分不同通道间的重要性，将两个子网络得到的特征图拼接后输入至解码器。解码器由4个ConvTranspose-BatchNorm-RelU模块组成（由d1，d2，d3，d4表示），它将编码器输出的特征图进行上采样操作，逐渐恢复到与原始输入图像相同的尺寸。同时网络还添加了跳跃连接（Skip Connections），按照e1-d4，e2-d3，e3-d2，e4-d1的对应关系将编码器中部分层的输出作为解码器中部分层的输入，实现特征的可重用性。生成器的作用是接受双时间图像并输出变化图斑。判别器设计为一个简单的卷积网络，目的是判断输入图像是真实标签还是生成器的输出。
（3）ResNet训练：利用公开的遥感场景识别数据集（如AID、RSCN7、SIRI-WHU等），选取农田、工业用地、居民区、裸地、水体和森林六种土地利用类型数据训练ResNet网络，要求F1分数不等低于0.9，用于识别变化斑块的类型。torchvision库集成了预训练过的ResNet34、ResNet50、ResNet101等多个网络，可供直接调用，本发明使用ResNet101网络。残差块是ResNet网络中的基本构建单元，用于解决梯度消失和模型退化问题，它的设计思想是通过跳跃连接（Skip Connections）在网络中引入了一条直接路径，使得信息可以绕过卷积层的非线性变换，直接传递到后续的卷积层中，避免了信息的丢失和衰减，在ResNet中，通常由多个残差块堆叠在一起，形成一个深层的网络。本发明在输入图像进入ResNet网络前还添加了空间金字塔池化（Space Pyramid Pooling）模块，将不同大小的输入图像处理为网络接受的尺寸，以提高模型对于不同分辨率、不同尺寸图像的处理能力，更好地适应各种输入图像的需求。
（4）人类活动检测：将目标区域影像库输入训练好的生成器中，得到检测区域的变化图斑，通过栅矢转换、面积筛选、矢量裁切等GIS手段获得变化图斑对应的双时相遥感影像瓦片。将瓦片输入ResNet网络识别对应的土地覆被类型，最后将变化类型写入到变化图斑的矢量数据中。
（5）人类活动量化与表达：利用矢量计算来计算各种土地覆被变化对应的人类活动的面积以及土地覆盖类型的转移。在此过程中，我们可以为每种转移类型赋予不同的权重，本发明根据变化后土地覆被类型制定的活动权重，如表1所示：
表1 变化后土地覆被类型与权重
使用以下公式来计算各人类活动的强度：
活动强度 = (活动权重 × 活动面积) / 人类活动总面积
其中，活动权重表示特定人类活动类型的权重值，活动面积表示对应活动类型所涉及的面积，人类活动总面积表示所有人类活动类型的总面积。通过这个公式，可以计算每种人类活动的强度并进行比较，了解各个人类活动在总体中的相对重要性和影响程度。
实施例二
本实施例提供了一种基于深度学习的人类活动检测系统。
一种基于深度学习的人类活动检测系统，包括：
数据获取模块，其被配置为：获取目标地区两幅不同时间的遥感图像；
图像转换模块，其被配置为：采用生成器，将预处理后目标地区两幅不同时间的遥感图像，转换为目标地区的变化图斑，再将所述变化图斑转换为双时相遥感影像瓦片；
分类模块，其被配置为：基于双时相遥感影像瓦片，采用分类模型，得到对应的土地覆被类型，并写入到变化图斑的矢量数据中；
活动检测模块，其被配置为：基于变化图斑的矢量数据，计算各种变化后土地覆被类型所对应的人类活动强度。
此处需要说明的是，上述数据获取模块、图像转换模块、分类模块和活动检测模块与实施例一中的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于深度学习的人类活动检测方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于深度学习的人类活动检测方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（Read-Only Memory，ROM）或随机存储记忆体（RandomAccessMemory，RAM）等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于深度学习的人类活动检测方法，其特征在于，包括：
获取目标地区两幅不同时间的遥感图像；
采用生成器，将预处理后目标地区两幅不同时间的遥感图像，转换为目标地区的变化图斑，再将所述变化图斑转换为双时相遥感影像瓦片；
基于双时相遥感影像瓦片，采用分类模型，得到对应的土地覆被类型，并写入到变化图斑的矢量数据中；
基于变化图斑的矢量数据，计算各种变化后土地覆被类型所对应的人类活动强度；
所述基于双时相遥感影像瓦片，采用分类模型，得到对应的土地覆被类型，并写入到变化图斑的矢量数据中；具体为：
将预处理后的目标区域影像库输入训练好的生成器中，得到检测区域的变化图斑；通过地理信息系统技术手段获得变化图斑对应的双时相遥感影像瓦片；将瓦片输入ResNet网络识别对应的地物类型，最后将变化类型写入到变化图斑的矢量数据中；
所述基于变化图斑的矢量数据，计算各种变化后土地覆被类型所对应的人类活动强度；具体为：
利用矢量计算来计算各种人类活动的面积以及土地覆盖类型的转移；为每种转移类型赋予不同的权重，并使用以下公式来计算各人类活动的强度：
活动强度=(活动权重×活动面积)/人类活动总面积
其中，活动权重表示特定人类活动类型的权重值，活动面积表示对应活动类型所涉及的面积，人类活动总面积表示所有人类活动类型的总面积；通过这个公式，可以计算每种人类活动的强度并进行比较，了解各个人类活动在总体中的相对重要性和影响程度；
所述生成器在训练过程中，通过训练GAN网络得到；
所述GAN网络由生成器和判别器两部分组成；生成器的作用是接受双时间图像并输出变化图斑；判别器的目的是判断输入图像是真实标签还是生成器的输出；为了训练GAN网络的生成器，可以使用具有高时空一致性的遥感影像对作为训练数据；生成器的目标是将输入的遥感影像对转换为变化图，强调地表的变化区域；训练GAN网络需要同时训练生成器和判别器，其各自损失函数可以定义如下所示：
Loss_G=λ_adv×Loss_Adversarial+λ_recon×Loss_Reconstruction
Loss_D=Loss_Real+Loss_Fake
式中，Loss_G表示生成器的损失，Loss_D表示判别器的损失；Loss_Adversarial表示生成器在对抗训练中的损失，Loss_Reconstruction表示生成器重建的误差，λ_adv和λ_recon是两者之间的权重；Loss_Real表示判别器对真实变化图像的预测误差，Loss_Fake表示判别器对生成器生成的假变化图像的预测误差；
场景识别任务旨在对给定的场景图像进行分类；训练所述ResNet网络，可以使用包含人类活动的场景识别数据集；使用交叉熵损失函数来衡量分类任务的预测结果和真实标签之间的差异；损失函数可以定义如下：
Loss_Classification=-∑(y×log(p))
式中，y表示真实标签的one-hot编码，p表示模型的输出概率分布。
2.根据权利要求1所述的基于深度学习的人类活动检测方法，其特征在于，所述生成器包括编码器和解码器，所述编码器包括四个Conv-BatchNorm-RelU模块，用于多次对输入的预处理后目标地区两幅不同时间的遥感图像进行下采样，逐步提取目标地区两幅不同时间的遥感图像的特征图；所述解码器包括四个ConvTranspose-BatchNorm-RelU模块，用于将编码器输出的特征图进行多次上采样操作，逐步恢复与目标地区两幅不同时间的遥感图像相同尺寸的特征图。
3.根据权利要求1所述的基于深度学习的人类活动检测方法，其特征在于，所述分类模型采用ResNet网络，并在ResNet网络中添加残差块，在ResNet网络前添加空间金字塔池化模块，所述残差块用于解决深层网络中的梯度消失和信息传递问题，所述空间金字塔池化模块用于接受不同尺寸的输入图像。
4.根据权利要求1所述的基于深度学习的人类活动检测方法，其特征在于，所述预处理的过程包括：对目标地区两幅不同时间的遥感图像进行包括投影变换、重采样、影像裁切和瓦片生成处理。
5.一种基于深度学习的人类活动检测系统，如权利要求1-4任一项所述的基于深度学习的人类活动检测方法，其特征在于，包括：
数据获取模块，其被配置为：获取目标地区两幅不同时间的遥感图像；
图像转换模块，其被配置为：采用生成器，将预处理后目标地区两幅不同时间的遥感图像，转换为目标地区的变化图斑，再将所述变化图斑转换为双时相遥感影像瓦片；
分类模块，其被配置为：基于双时相遥感影像瓦片，采用分类模型，得到对应的土地覆被类型，并写入到变化图斑的矢量数据中；
活动检测模块，其被配置为：基于变化图斑的矢量数据，计算各种变化后土地覆被类型所对应的人类活动强度。
6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的基于深度学习的人类活动检测方法中的步骤。
7.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4中任一项所述的基于深度学习的人类活动检测方法中的步骤。
CN202311531438.8A 2023-11-17 2023-11-17 一种基于深度学习的人类活动检测方法及系统 Active CN117253155B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311531438.8A CN117253155B (zh) 2023-11-17 2023-11-17 一种基于深度学习的人类活动检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311531438.8A CN117253155B (zh) 2023-11-17 2023-11-17 一种基于深度学习的人类活动检测方法及系统

Publications (2)

Publication Number Publication Date
CN117253155A CN117253155A (zh) 2023-12-19
CN117253155B true CN117253155B (zh) 2024-03-15

Family

ID=89129846

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311531438.8A Active CN117253155B (zh) 2023-11-17 2023-11-17 一种基于深度学习的人类活动检测方法及系统

Country Status (1)

Country Link
CN (1) CN117253155B (zh)

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145885A (zh) * 2018-10-11 2019-01-04 北京师范大学 一种大尺度农作物遥感分类方法及系统
CN110728658A (zh) * 2019-09-16 2020-01-24 武汉大学 一种基于深度学习的高分辨率遥感影像弱目标检测方法
CN111898507A (zh) * 2020-07-22 2020-11-06 武汉大学 一种预测无标签遥感影像地表覆盖类别的深度学习方法
CN112053359A (zh) * 2020-09-30 2020-12-08 中国科学院空天信息创新研究院 遥感图像变化检测方法、装置、电子设备及存储介质
CN112598200A (zh) * 2021-01-29 2021-04-02 中国科学院西北生态环境资源研究院 一种自然保护区未来人类活动情景的构建方法
CN112906822A (zh) * 2021-03-25 2021-06-04 生态环境部卫星环境应用中心 一种面向生态保护红线的人类活动识别融合方法及系统
CN112949549A (zh) * 2021-03-19 2021-06-11 中山大学 一种基于超分辨率的多分辨率遥感影像的变化检测方法
CN113361399A (zh) * 2021-06-04 2021-09-07 中国测绘科学研究院 一种基于多源遥感数据的鬼城现象识别分析方法
CN114612315A (zh) * 2022-01-06 2022-06-10 东南数字经济发展研究院 一种基于多任务学习的高分辨率影像缺失区域重建方法
CN115131616A (zh) * 2022-07-20 2022-09-30 中科三清科技有限公司 土地利用类型的分类方法、装置、设备及存储介质
WO2022252799A1 (zh) * 2021-06-04 2022-12-08 成都数之联科技股份有限公司 模型训练方法及林地变化检测方法及系统及装置及介质
CN116091497A (zh) * 2023-04-07 2023-05-09 航天宏图信息技术股份有限公司 遥感变化检测方法、装置、电子设备和存储介质
CN116310852A (zh) * 2022-09-08 2023-06-23 武汉大学 双时相遥感影像无监督分类与变化检测方法及系统
CN116341932A (zh) * 2023-05-31 2023-06-27 自然资源部第二海洋研究所 一种基于双遥感时序指数的潮滩变化监测方法及系统
CN116486255A (zh) * 2023-03-16 2023-07-25 福州大学 自注意力特征融合的高分辨率遥感影像语义变化检测方法
CN116895019A (zh) * 2023-07-17 2023-10-17 长光卫星技术股份有限公司 一种基于动态加权交叉熵损失的遥感图像变化检测方法及其检测系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210209424A1 (en) * 2020-01-06 2021-07-08 Quantela Inc Computer-based method and system for predicting and generating land use land cover (lulc) classification

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145885A (zh) * 2018-10-11 2019-01-04 北京师范大学 一种大尺度农作物遥感分类方法及系统
CN110728658A (zh) * 2019-09-16 2020-01-24 武汉大学 一种基于深度学习的高分辨率遥感影像弱目标检测方法
CN111898507A (zh) * 2020-07-22 2020-11-06 武汉大学 一种预测无标签遥感影像地表覆盖类别的深度学习方法
CN112053359A (zh) * 2020-09-30 2020-12-08 中国科学院空天信息创新研究院 遥感图像变化检测方法、装置、电子设备及存储介质
CN112598200A (zh) * 2021-01-29 2021-04-02 中国科学院西北生态环境资源研究院 一种自然保护区未来人类活动情景的构建方法
CN112949549A (zh) * 2021-03-19 2021-06-11 中山大学 一种基于超分辨率的多分辨率遥感影像的变化检测方法
CN112906822A (zh) * 2021-03-25 2021-06-04 生态环境部卫星环境应用中心 一种面向生态保护红线的人类活动识别融合方法及系统
WO2022252799A1 (zh) * 2021-06-04 2022-12-08 成都数之联科技股份有限公司 模型训练方法及林地变化检测方法及系统及装置及介质
CN113361399A (zh) * 2021-06-04 2021-09-07 中国测绘科学研究院 一种基于多源遥感数据的鬼城现象识别分析方法
CN114612315A (zh) * 2022-01-06 2022-06-10 东南数字经济发展研究院 一种基于多任务学习的高分辨率影像缺失区域重建方法
CN115131616A (zh) * 2022-07-20 2022-09-30 中科三清科技有限公司 土地利用类型的分类方法、装置、设备及存储介质
CN116310852A (zh) * 2022-09-08 2023-06-23 武汉大学 双时相遥感影像无监督分类与变化检测方法及系统
CN116486255A (zh) * 2023-03-16 2023-07-25 福州大学 自注意力特征融合的高分辨率遥感影像语义变化检测方法
CN116091497A (zh) * 2023-04-07 2023-05-09 航天宏图信息技术股份有限公司 遥感变化检测方法、装置、电子设备和存储介质
CN116341932A (zh) * 2023-05-31 2023-06-27 自然资源部第二海洋研究所 一种基于双遥感时序指数的潮滩变化监测方法及系统
CN116895019A (zh) * 2023-07-17 2023-10-17 长光卫星技术股份有限公司 一种基于动态加权交叉熵损失的遥感图像变化检测方法及其检测系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Hang Zhao等.GAN-GL: Generative Adversarial Networks for Glacial Lake Mapping .《Remote Sensing》.2021,第13卷(第22期),1-18. *
Jakaria Rabbi等.Small-Object Detection in Remote Sensing Images with End-to-End Edge-Enhanced GAN and Object Detector Network.《Remote Sensing》.2020,第12卷(第9期),1-25. *
Xikun Hu等.GAN-based SAR and optical image translation for wildfire impact assessment using multi-source remote sensing data.《Remote Sensing of Environment》.2023,第289卷1-13. *
俞宵.基于深度学习的高分辨率遥感图像变化检测方法研究.《中国优秀硕士学位论文全文数据库 工程科技II辑》.2022,第2022年卷(第3期),C028-264. *
马锐.基于生成对抗网络的SAR图像变化检测.《中国优秀硕士学位论文全文数据库 信息科技辑》.2022,第2022年卷(第4期),I136-864. *

Also Published As

Publication number Publication date
CN117253155A (zh) 2023-12-19

Similar Documents

Publication Publication Date Title
Li et al. TransUNetCD: A hybrid transformer network for change detection in optical remote-sensing images
CN112949549B (zh) 一种基于超分辨率的多分辨率遥感影像的变化检测方法
US11521379B1 (en) Method for flood disaster monitoring and disaster analysis based on vision transformer
CN111986099B (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及系统
Yuan et al. Fast hyperspectral anomaly detection via high-order 2-D crossing filter
US20190138849A1 (en) Rotation variant object detection in deep learning
CN111476159B (zh) 一种基于双角回归的检测模型训练、检测方法及装置
CN112115911A (zh) 一种基于深度学习的轻量型sar图像目标检测方法
Luotamo et al. Multiscale cloud detection in remote sensing images using a dual convolutional neural network
CN101561932A (zh) 一种动态复杂背景下的实时运动目标检测方法和装置
Wu et al. Local maximal homogeneous region search for SAR speckle reduction with sketch-based geometrical kernel function
CN111325184B (zh) 一种遥感影像智能解译与变化信息检测方法
CN110163294A (zh) 基于降维操作和卷积网络的遥感图像变化区域检测方法
CN116343103A (zh) 一种基于三维gis场景与视频融合的自然资源监管方法
Bähr Image segmentation for change detection in urban environments
Krylov et al. False discovery rate approach to unsupervised image change detection
Maruca et al. Area-based tests for association between spatial patterns
CN113628180A (zh) 一种基于语义分割网络的遥感建筑物检测方法及系统
CN117253155B (zh) 一种基于深度学习的人类活动检测方法及系统
Khoshboresh-Masouleh et al. Robust building footprint extraction from big multi-sensor data using deep competition network
CN113378642A (zh) 一种对农村违法占地建筑物进行检测的方法
Sakieh et al. An integrated spectral-textural approach for environmental change monitoring and assessment: analyzing the dynamics of green covers in a highly developing region
CN117076928A (zh) 一种桥梁健康状态监测方法、装置、系统及电子设备
CN110728311A (zh) 一种图像处理方法、装置和存储介质
CN115346115A (zh) 图像目标检测方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant