CN117557466A - 基于成像条件的光学遥感影像目标图像增强方法及装置 - Google Patents
基于成像条件的光学遥感影像目标图像增强方法及装置 Download PDFInfo
- Publication number
- CN117557466A CN117557466A CN202410038917.4A CN202410038917A CN117557466A CN 117557466 A CN117557466 A CN 117557466A CN 202410038917 A CN202410038917 A CN 202410038917A CN 117557466 A CN117557466 A CN 117557466A
- Authority
- CN
- China
- Prior art keywords
- image
- target
- shadow
- remote sensing
- optical remote
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 title claims abstract description 80
- 238000003384 imaging method Methods 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000004044 response Effects 0.000 claims abstract description 20
- 238000002372 labelling Methods 0.000 claims abstract description 15
- 230000004927 fusion Effects 0.000 claims description 29
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 238000001514 detection method Methods 0.000 abstract description 18
- 238000012545 processing Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004806 packaging method and process Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于成像条件的光学遥感影像目标图像增强方法及装置，涉及图像处理技术领域，用以解决光学遥感影像中目标检测时样本数量不足、成像条件和背景条件数据分布不均匀的技术问题。该方法包括：响应于获取光学遥感影像数据，分别对光学遥感影像数据中的阴影和目标进行标注，得到第一阴影特征点和第一目标特征点；根据第一阴影特征点生成目标在不同太阳角度下的阴影图像；根据第一目标特征点生成目标在不同卫星成像角度下的第一目标图像；响应于获取待融合的背景图像，将阴影图像和第一目标图像与背景图像进行融合，生成与背景图像对应的第二目标图像；更新第二目标图像中的标注信息，得到增强后的第二目标图像。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于成像条件的光学遥感影像目标图像增强方法及装置。
背景技术
近年来随着深度学习的快速发展，深度学习在目标检测领域取得了较大的突破。基于深度学习的目标检测方法具有检测精度高，泛化能力强等优点，逐渐成为遥感目标检测领域的热点，但是，由于不同成像条件下遥感影像获取目标呈现方式不同，且遥感数据的数据量不足，遥感影像中目标检测的研究仍然面临着较多的障碍。深度学习模型需要大量样本进行迭代和训练，但关注目标影像样本数量相对不足，获取大量样本需要消耗较高的成本。同时，随着卫星分辨率和机动能力提升，关注目标三维结构特征已不可忽略，不同成像条件下获取影像中的目标特征差异较大。此外，受卫星运行轨道和拍摄时间的约束，实际应用环境中往往只能获得几种特定成像条件下的遥感图像，导致采集的关注目标样本特征过于单一。训练数据数量少、特征分布不均匀的问题制约了现有检测识别模型对遥感影像中关注目标的提取效果。
数据增强方法通过增加样本的多样性能够解决这些问题，从而提高模型的提取能力和泛化性。传统的数据增强方法可以分为基于图像变换的方法和基于图像混合的方法。基于图像变换的数据增强方法较为常用，专利（CN201910854251.9，一种遥感图像地物识别方法、系统和计算机可读存储介质）使用随机裁剪、旋转、平移等多种基础变换操作对原始样本进行增强处理。这类方法在快速生成大量样本的同时能够较好地保留图像的语义信息，但只能实现对图像整体的变换，目标本体特征变化较小，目标与背景之间的相对关系无法改变，增加的信息量有限，会导致数据重复记忆。基于图像混合的数据增强方法能融合多个样本特征生成新数据，专利（CN202310718224.5，一种gamma-mosaic数据增强方法及系统），同时使用了mosaic数据增强方法（Bochkovskiy, Alexey, Wang, et al. YOLOv4:Optimal Speed and Accuracy of Object Detection[J]. ArXiv Preprint, 2020,arXiv.2004.10934.），和颜色变换增强方法对红外图像样本进行扩充。专利（CN202210849830.6，一种图像数据增强方法及系统）根据目标类别对前景物体与不同背景图像拼接得到了具有不同环境特性的数据增强图像，提高了对不同环境的泛化能力。但基于图像混合的增强方法可能会改变或抹除原始图像中目标的重要特征，从而影响图像原本的语义信息。同时现有的数据增强方法无法生成与原始图像成像条件不同的样本，无法增加目标特征的丰富度，对提升检测模型在实际检测任务中的性能帮助较小。
发明内容
鉴于上述问题，本发明提供了一种基于成像条件的光学遥感影像目标图像增强方法及装置。
根据本发明的第一个方面，提供了一种基于成像条件的光学遥感影像目标图像增强方法，包括：响应于获取光学遥感影像数据，分别对光学遥感影像数据中的阴影和目标进行标注，得到第一阴影特征点和第一目标特征点；根据第一阴影特征点生成目标在不同太阳角度下的阴影图像；根据第一目标特征点生成目标在不同卫星成像角度下的第一目标图像；响应于获取待融合的背景图像，将阴影图像和第一目标图像与背景图像进行融合，生成与背景图像对应的第二目标图像；更新第二目标图像中的标注信息，得到增强后的第二目标图像。
根据本发明的实施例，根据第一阴影特征点生成目标在不同太阳角度下的阴影图像，包括：获取光学遥感影像数据中的太阳角度信息；获取第一阴影特征点的第一图像坐标；根据太阳角度信息和第一图像坐标，计算每个第一阴影特征点对应的第一目标特征点的三维坐标；基于三维坐标，生成目标在不同太阳角度下的阴影图像。
根据本发明的实施例，基于三维坐标，生成目标在不同太阳角度下的阴影图像，包括：响应于设定待生成阴影图像的太阳角度信息，根据三维坐标，计算在设定的太阳角度信息下第一阴影特征点的坐标，得到第二阴影特征点；建立第一阴影特征点和第二阴影特征点之间的第一对应关系；根据第一阴影特征点将光学遥感影像数据中的阴影区域划分为多个阴影特征面；根据第一对应关系，对多个阴影特征面进行逐一变换，得到待生成阴影图像中对应的多个阴影特征面；拼接待生成阴影图像中的多个阴影特征面，生成阴影图像。
根据本发明的实施例，根据第一目标特征点生成目标在不同卫星成像角度下的第一目标图像，包括：获取光学遥感影像数据中的卫星角度信息；获取第一目标特征点的第二图像坐标；根据卫星角度信息和第二图像坐标，计算每个第一目标特征点对应的三维特征点坐标；基于三维特征点坐标，生成目标在不同卫星成像角度下的第一目标图像。
根据本发明的实施例，基于三维特征点坐标，生成目标在不同卫星成像角度下的第一目标图像，包括：响应于设定待生成第一目标图像的卫星成像角度，根据三维特征点坐标，计算三维特征点坐标在设定的卫星成像角度下对应的坐标，得到第二目标特征点；建立第一目标特征点和第二目标特征点之间的第二对应关系；根据第一目标特征点将光学遥感影像数据中的目标区域划分为多个目标特征面；根据第二对应关系，对多个目标特征面进行逐一变换，得到待生成第一目标图像中对应的多个目标特征面；拼接待生成第一目标图像中的多个目标特征面，生成第一目标图像。
根据本发明的实施例，响应于获取待融合的背景图像，将阴影图像和第一目标图像与背景图像进行融合，生成与背景图像对应的第二目标图像，包括：确定待融合的背景图像；根据阴影图像和第一目标图像，生成前景图像；融合前景图像和背景图像，生成第二目标图像。
根据本发明的实施例，融合前景图像和背景图像，生成第二目标图像，包括：使用基于图像修复的方法将前景图像与背景图像进行融合，生成第一融合图像；使用泊松融合算法将前景图像与背景图像进行融合，生成第二融合图像；将第一融合图像与第二融合图像进行融合，生成第二目标图像。
根据本发明的实施例，将第一融合图像与第二融合图像进行融合，生成第二目标图像，包括：确定第一融合图像和第二融合图像的融合参数；根据融合参数，对第一融合图像和第二融合图像进行融合，生成第二目标图像。
根据本发明的实施例，融合参数的计算方式为：
其中，表示融合参数，/>表示第一融合图像，/>表示第二融合图像，表示背景图像，/>表示图像/>和/>之间的相似度。
本发明的第二方面提供了一种基于成像条件的光学遥感影像目标图像增强装置，包括：标注模块，用于响应于获取光学遥感影像数据，分别对光学遥感影像数据中的阴影和目标进行标注，得到第一阴影特征点和第一目标特征点；第一生成模块，用于根据第一阴影特征点生成目标在不同太阳角度下的阴影图像；第二生成模块，用于根据第一目标特征点生成目标在不同卫星成像角度下的第一目标图像；第三生成模块，用于响应于获取待融合的背景图像，将阴影图像和第一目标图像与背景图像进行融合，生成与背景图像对应的第二目标图像；更新模块，用于更新第二目标图像中的标注信息，得到增强后的第二目标图像。
根据本发明提供的基于成像条件的光学遥感影像目标图像增强方法及装置，至少具有以下有益效果：
根据本发明提供的基于成像条件的光学遥感影像目标图像增强方法及装置，通过太阳角度计算阴影位置生成指定光照角度下的阴影图像；利用光学卫星摄影几何模型计算图像中目标特征点位置，根据目标特征点生成指定成像角度下的目标图像，在指定的背景图像下融合阴影图像和目标图像，得到最终的增强图像，解决了光学遥感影像中目标检测时样本数量不足、成像条件和背景条件数据分布不均匀的问题。
根据本发明提供的基于成像条件的光学遥感影像目标图像增强方法及装置，通过边缘修复算法和泊松融合算法融合前景图像与背景图像；通过计算图像直方图特征和相似度自适应地计算得到融合参数，对两种融合算法进行自适应融合生成最终图像，可基于有限成像条件下样本数据生成多种太阳照射角、卫星视角及背景条件下的目标样本数据，用于目标检测、识别等提取模型的训练，提高模型提取性能与泛化能力。
根据光学遥感图像的成像原理和遥感图像中目标的结构特征，利用原始图像生成指定光照角度、成像角度和成像背景等成像条件下与真实图像相似的遥感目标图像，可以更好的模拟真实场景获的影像中目标的成像形式。
在现有数据的基础上快速生成大量不同成像条件下的遥感图像，增加了数据集中类真实获取样本特征的丰富度，降低了采集和标注数据的成本，尤其是降低了多成像条件拍摄影像要求，为检测模型提供大量的训练数据，从而提高检测模型的检测性能和鲁棒性。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述内容以及其他目的、特征和优点将更为清楚，在附图中：
图1示意性示出了根据本发明实施例的基于成像条件的光学遥感影像目标图像增强方法的流程图；
图2示意性示出了根据本发明实施例的基于成像条件的光学遥感影像目标图像增强方法的原理图；
图3示意性示出了根据本发明实施例的基于成像条件的光学遥感影像目标图像增强装置的结构框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接或可以互相通讯；可以是直接连接，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
在本发明的描述中，需要理解的是，术语“纵向”、“长度”、“周向”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的子系统或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
贯穿附图，相同的元素由相同或相近的附图标记来表示。可能导致本发明的理解造成混淆时，将省略常规结构或构造。并且图中各部件的形状、尺寸、位置关系不反映真实大小、比例和实际位置关系。
类似地，为了精简本发明并帮助理解各个发明方面中的一个或多个，在上面对本发明示例性实施例的描述中，本发明的各个特征有时被一起分到单个实施例、图或者对其描述中。参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或者多个实施例或示例中以合适的方式结合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。因此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个、三个等，除非另有明确具体的限定。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等）。
在本发明的技术方案中，所涉及的数据（如包括但不限于用户个人信息）的收集、存储、使用、加工、传输、提供、公开和应用等处理，均符合相关法律法规的规定，采取了必要保密措施，且不违背公序良俗。
本发明实施例提供了一种基于成像条件的光学遥感影像目标图像增强方法，包括：响应于获取光学遥感影像数据，分别对光学遥感影像数据中的阴影和目标进行标注，得到第一阴影特征点和第一目标特征点；根据第一阴影特征点生成目标在不同太阳角度下的阴影图像；根据第一目标特征点生成目标在不同卫星成像角度下的第一目标图像；响应于获取待融合的背景图像，将阴影图像和第一目标图像与背景图像进行融合，生成与背景图像对应的第二目标图像；更新第二目标图像中的标注信息，得到增强后的第二目标图像。该方法通过太阳角度计算阴影位置生成指定光照角度下的阴影图像；利用光学卫星摄影几何模型计算图像中目标特征点位置，根据目标特征点生成指定成像角度下的目标图像，在指定的背景图像下融合阴影图像和目标图像，得到最终的增强图像，解决了光学遥感影像中目标检测时样本数量不足、成像条件和背景条件数据分布不均匀的问题。
图1示意性示出了根据本发明实施例的基于成像条件的光学遥感影像目标图像增强方法的流程图。
如图1所示，本实施例的基于成像条件的光学遥感影像目标图像增强方法包括操作S1~操作S5。
在操作S1，响应于获取光学遥感影像数据，分别对光学遥感影像数据中的阴影和目标进行标注，得到第一阴影特征点和第一目标特征点。
在本实施例中，预先获取光学遥感影像数据，然后分别对光学遥感影像数据中的阴影和目标进行标注，得到第一阴影特征点和第一目标特征点。
在操作S2，根据第一阴影特征点生成目标在不同太阳角度下的阴影图像。
根据本发明的实施例，操作S2进一步可以包括操作S200~操作S203：
在操作S200，获取光学遥感影像数据中的太阳角度信息。
在本实施例中，从光学遥感影像数据中读取太阳角度信息，该太阳角度信息例如可以为太阳高度角和太阳方位角。
在操作S201，获取第一阴影特征点的第一图像坐标。
在本实施例中，从对应的标注文件中读取第一阴影特征点的图像坐标信息。
在操作S202，根据太阳角度信息和第一图像坐标，计算每个第一阴影特征点对应的第一目标特征点的三维坐标。
在本实施例中，根据阴影生成原理，太阳角度改变时阴影的几何特征也会发生变化，基于目标在某一太阳角度下的阴影位置样本，可以计算每个阴影特征点对应的目标特征点的三维坐标，太阳光照的方向向量可由太阳高度角/>和方位角/>表示为：
根据目标三维结构信息可以得到目标关键点在太阳光下的投影，即第一目标特征点与该点通过太阳投影生成的第一阴影特征点的关系为：
其中，表示在太阳光照方向向量/>在/>方向上的单位向量，/>表示阴影特征点的数量。
对所有标注的第一阴影特征点计算得到对应的第一目标特征点。
在操作S203，基于三维坐标，生成目标在不同太阳角度下的阴影图像。
根据本发明的实施例，操作S203进一步可以包括操作S204~操作S208：
在操作S204，响应于设定待生成阴影图像的太阳角度信息，根据三维坐标，计算在设定的太阳角度信息下第一阴影特征点的坐标，得到第二阴影特征点。
在本实施例中，设定待生成阴影图像的太阳角度，计算第一目标特征点在设定的太阳角度下第一阴影特征点的坐标，得到新图像中阴影的特征点，即第二阴影特征点。
在操作S205，建立第一阴影特征点和第二阴影特征点之间的第一对应关系。
在本实施例中，将同一目标特征点在光学遥感影像数据和待生成阴影图像中生成的阴影特征点建立对应关系。
设置待生成阴影图像的太阳高度角和方位角分别为和/>，使太阳光照方向向量计算公式得到新条件下的太阳方向向量/>，使用第一阴影特征点与第一目标特征点的关系公式，对每个目标特征点/>计算在太阳高度角/>和方位角/>下的对应的阴影特征点坐标/>，对同一目标特征点生成的阴影特征点建立对应关系，即目标特征点/>在原始图像(光学遥感影像数据)中对应的阴影特征点对应待生成图像中的阴影特征点/>。
在操作S206，根据第一阴影特征点将光学遥感影像数据中的阴影区域划分为多个阴影特征面。
在本实施例中，目标的阴影根据太阳角度的不同由目标本体不同的特征面投影产生，阴影整体可划分为属于不同特征面投影的阴影区域。将阴影区域依据阴影特征点按照三点构面规则划分为不同阴影特征面，具体如下：
（1）假设原始图像中共有个阴影特征点/>，任意选取特征点/>作为第一个顶点，从其余/>个特征点中选择距离点/>最近的点/>作为第二个顶点，将/>和/>的连线作为基线。
（2）选择距离基线最近且不在基线所在的直线上的点作为第三个顶点，点/>、和/>构成特征面/>。
（3）将特征面的两条新边/>和/>作为新的基线。
（4）重复步骤（2）、（3）直到所有基线处理完毕，得到个阴影特征面/>。
在操作S207，根据第一对应关系，对多个阴影特征面进行逐一变换，得到待生成阴影图像中对应的多个阴影特征面。
在本实施例中，假设原阴影特征面，由阴影特征点/>，/>，组成，其中/>，根据第一对应关系，则阴影特征面/>在待生成图像中对应阴影特征面/>，由原始图像中的阴影特征点/>在待生成图像中对应的阴影特征点/>，/>，/>组成，计算出原阴影特征面/>到新阴影特征面/>之间的仿射变换矩阵/>：
新阴影特征面中的像素点/>在原阴影特征面/>中对应点的坐标为：
像素点处的像素值/>即可由该点最相邻的整数坐标点/>，，/>和/>处的像素值计算得到：
其中，表示对/>进行向下取整操作，原始图像中/>点处的像素值/>即为新阴影特征面中/>点处的像素值。
使用该像素值计算公式计算出新阴影特征面中所有点的像素值，完成生成新阴影特征面/>。对所有阴影特征面/>进行变换得到对应的新阴影特征面。
在操作S208，拼接待生成阴影图像中的多个阴影特征面，生成阴影图像。
在本实施例中，将所有新生成的阴影特征面进行拼接得到变换后的阴影图像，即：
在操作S3，根据第一目标特征点生成目标在不同卫星成像角度下的第一目标图像。
根据本发明的实施例，操作S3进一步可以包括操作S300~操作S303：
在操作S300，获取光学遥感影像数据中的卫星角度信息。
在本实施例中，从光学遥感影像数据中读取卫星角度信息，该卫星角度信息例如可以为卫星高度角和卫星方位角。
在操作S301，获取第一目标特征点的第二图像坐标。
在本实施例中，从对应的标注文件中读取第一目标特征点的图像坐标信息。
在操作S302，根据卫星角度信息和第二图像坐标，计算每个第一目标特征点对应的三维特征点坐标。
在本实施例中，根据光学卫星成像公式，图像坐标与物体三维坐标之间的关系可表示为：
其中，表示/>的旋转矩阵，/>表示/>的平移矢量，/>表示传感器焦距，和/>表示水平方向和垂直方向的空间分辨率。
目标位置保持固定时，改变成像角度图像中目标的特征也会发生改变。在已知目标对象在特定成像角度下的图像特征时，可以计算出在其他角度下的特征。在获取光学遥感图像时可以得到原始图像成像时的卫星高度角和卫星方位角/>，代入图像坐标与物体三维坐标的关系公式后得到图像坐标/>与卫星高度角和方位角角度/>，/>的关系：
其中，表示图像的中心坐标。
对标注得到目标的关键特征点，利用图像坐标与卫星角度的关系公式计算得到该目标特征点对应的目标三维特征点/>，计算所有目标特征点对应的三维特征点/>。
在操作S303，基于三维特征点坐标，生成目标在不同卫星成像角度下的第一目标图像。
根据本发明的实施例，操作S303进一步可以包括操作S304~操作S308：
在操作S304，响应于设定待生成第一目标图像的卫星成像角度，根据三维特征点坐标，计算三维特征点坐标在设定的卫星成像角度下对应的坐标，得到第二目标特征点。
在本实施例中，设定待生成第一目标图像的卫星成像角度，计算得到的三维特征点在指定成像角度下对应的图像坐标，得到目标在新图像中的特征点，即第二目标特征点。
在操作S305，建立第一目标特征点和第二目标特征点之间的第二对应关系。
在本实施例中，将同一三维特征点在光学遥感影像数据和待生成第一目标图像中的图像特征点建立对应关系。
设置待生成第一目标图像的卫星高度角与卫星方位角分别为和/>，使用图像坐标与卫星角度的关系公式对每个三维特征点/>计算在卫星高度角/>和方位角/>下的对应的图像特征点坐标/>，对同一三维特征点在原始图像和待生成图像中的目标特征点建立对应关系，即三维特征点/>在原始图像中对应的目标特征点/>对应待生成图像中的目标特征点/>。
在操作S306，根据第一目标特征点将光学遥感影像数据中的目标区域划分为多个目标特征面。
在本实施例中，将目标区域依据目标特征点按照三点构面规则划分为不同目标特征面，具体步骤与操作S206相同，这里不在一一赘述。
在操作S307，根据第二对应关系，对多个目标特征面进行逐一变换，得到待生成第一目标图像中对应的多个目标特征面。
在本实施例中，根据第二对应关系，对所有目标特征面进行逐一变换，得到待生成第一目标图像中对应的多个目标特征面，具体步骤与操作S207相同，这里不在一一赘述。
在操作S308，拼接待生成第一目标图像中的多个目标特征面，生成第一目标图像。
在本实施例中，将所有新生成的目标特征面进行拼接得到变换后的第一目标图像，具体步骤与操作S208相同，这里不在一一赘述。
在操作S4，响应于获取待融合的背景图像，将阴影图像和第一目标图像与背景图像进行融合，生成与背景图像对应的第二目标图像。
根据本发明的实施例，操作S4进一步可以包括操作S400~操作S402：
在操作S400，确定待融合的背景图像。
在本实施例中，选择待融合的背景图像，根据变换后的阴影特征面和目标特征面确定前景图像中的待融合区域。
在操作S401，根据阴影图像和第一目标图像，生成前景图像。
在本实施例中，将变换后生成的第一目标图像和阴影图像记为前景图像。假设变换后的阴影特征面和目标特征面分别为/>和/>，则前景图像中目标和阴影的待融合区域/>为：
/>
在操作S402，融合前景图像和背景图像，生成第二目标图像。
根据本发明的实施例，操作S402进一步可以包括操作S403~操作S405：
在操作S403，使用基于图像修复的方法将前景图像与背景图像进行融合，生成第一融合图像。
在本实施例中，使用基于图像修复的方法将前景图像与背景图像进行融合，将前景图像中待融合区域粘贴至背景图像中，对粘贴边缘区域使用图像修复算法进行处理，具体如下：
将背景图像中对应区域的像素替换为前景图像/>中目标和阴影所在区域/>的像素，得到图像/>，即：
计算得到图像的粘贴边缘区域/>：
其中，函数表示对图像/>进行进行膨胀操作，函数表示对图像/>进行进行腐蚀操作，/>和/>分别表示膨胀操作和腐蚀操作的卷积核。
对图像中的区域/>使用图像修复算法进行修复得到第一融合图像：
在操作S404，使用泊松融合算法将前景图像与背景图像进行融合，生成第二融合图像。
在本实施例中，使用泊松融合算法将前景图像与背景图像进行融合，生成第二融合图像，具体如下：
（1）图像在处的梯度计算公式为：
利用梯度公式计算得到前景图像与背景图像/>的梯度场/>和/>，将前景图像中待融合区域/>处的梯度替换背景图像中对应区域的梯度得到融合后图像的梯度场/>：/>
（2）对融合后图像的梯度场求偏导得到图像的散度场/>：
（3）泊松融合后的图像可表示为：
其中，为背景图像/>中对应位置的像素值，/>为待融合区域/>处的像素值。
根据背景图像的像素值和融合后图像在区域/>处的散度场建立方程：
求解以上方程得到待融合区域的像素值，即可得到泊松融合后的图像，即第二融合图像/>。
在操作S405，将第一融合图像与第二融合图像进行融合，生成第二目标图像。
根据本发明的实施例，操作S405进一步可以包括操作S406~操作S407：
在操作S406，确定第一融合图像和第二融合图像的融合参数。
在本实施例中，计算第一融合图像和第二融合图像/>的融合参数，融合参数的计算方式为：/>
其中，表示融合参数，/>表示第一融合图像，/>表示第二融合图像，表示背景图像，/>表示图像/>和/>之间的相似度。
相似度计算公式为：
其中，和/>分别为图像/>和/>的/>维颜色直方图特征。
在操作S407，根据融合参数，对第一融合图像和第二融合图像进行融合，生成第二目标图像。
在本实施例中，根据融合参数，对第一融合图像/>和第二融合图像/>进行融合，生成第二目标图像/>：
在操作S5，更新第二目标图像中的标注信息，得到增强后的第二目标图像。
在本实施例中，根据变换后目标与阴影的特征点坐标，计算目标标注框位置并更新标注文件，完成数据增强过程。
图2示意性示出了根据本发明实施例的基于成像条件的光学遥感影像目标图像增强方法的原理图。
如图2所示，根据本发明提供的基于成像条件的光学遥感影像目标图像增强方法，通过太阳角度计算阴影位置生成指定光照角度下的阴影图像；利用光学卫星摄影几何模型计算图像中目标特征点位置，根据目标特征点生成指定成像角度下的目标图像，在指定的背景图像下融合阴影图像和目标图像，得到最终的增强图像，解决了光学遥感影像中目标检测时样本数量不足、成像条件和背景条件数据分布不均匀的问题。
图3示意性示出了根据本发明实施例的基于成像条件的光学遥感影像目标图像增强装置的结构框图。
如图3所示，该实施例的基于成像条件的光学遥感影像目标图像增强装置包括：标注模块301、第一生成模块302、第二生成模块303、第三生成模块304和更新模块305。
标注模块301用于响应于获取光学遥感影像数据，分别对光学遥感影像数据中的阴影和目标进行标注，得到第一阴影特征点和第一目标特征点。
第一生成模块302用于根据第一阴影特征点生成目标在不同太阳角度下的阴影图像。
第二生成模块303用于根据第一目标特征点生成目标在不同卫星成像角度下的第一目标图像。
第三生成模块304用于响应于获取待融合的背景图像，将阴影图像和第一目标图像与背景图像进行融合，生成与背景图像对应的第二目标图像。
更新模块305用于更新第二目标图像中的标注信息，得到增强后的第二目标图像。
根据本发明的实施例，标注模块301、第一生成模块302、第二生成模块303、第三生成模块304和更新模块305中的任意多个模块可以合并在一个模块中实现，或者其中的任意一个模块可以被拆分成多个模块。或者，这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合，并在一个模块中实现。根据本发明的实施例，标注模块301、第一生成模块302、第二生成模块303、第三生成模块304和更新模块305中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上系统、基板上的系统、封装上的系统、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，标注模块301、第一生成模块302、第二生成模块303、第三生成模块304和更新模块305中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
根据本发明提供的基于成像条件的光学遥感影像目标图像增强装置，通过太阳角度计算阴影位置生成指定光照角度下的阴影图像；利用光学卫星摄影几何模型计算图像中目标特征点位置，根据目标特征点生成指定成像角度下的目标图像，在指定的背景图像下融合阴影图像和目标图像，得到最终的增强图像，解决了光学遥感影像中目标检测时样本数量不足、成像条件和背景条件数据分布不均匀的问题。
需要说明的是，本发明的实施例中基于成像条件的光学遥感影像目标图像增强装置与本发明的实施例中基于成像条件的光学遥感影像目标图像增强方法部分是相对应的，其具体实施细节及带来的技术效果也是相同的，在此不再赘述。
本领域技术人员可以理解，本发明的各个实施例中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。
以上对本发明的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本发明的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。不脱离本发明的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本发明的范围之内。
Claims (10)
1.一种基于成像条件的光学遥感影像目标图像增强方法，其特征在于，包括：
响应于获取光学遥感影像数据，分别对所述光学遥感影像数据中的阴影和目标进行标注，得到第一阴影特征点和第一目标特征点；
根据所述第一阴影特征点生成所述目标在不同太阳角度下的阴影图像；
根据所述第一目标特征点生成所述目标在不同卫星成像角度下的第一目标图像；
响应于获取待融合的背景图像，将所述阴影图像和所述第一目标图像与所述背景图像进行融合，生成与所述背景图像对应的第二目标图像；
更新所述第二目标图像中的标注信息，得到增强后的第二目标图像。
2.根据权利要求1所述的基于成像条件的光学遥感影像目标图像增强方法，其特征在于，所述根据所述第一阴影特征点生成所述目标在不同太阳角度下的阴影图像，包括：
获取所述光学遥感影像数据中的太阳角度信息；
获取所述第一阴影特征点的第一图像坐标；
根据所述太阳角度信息和所述第一图像坐标，计算每个第一阴影特征点对应的所述第一目标特征点的三维坐标；
基于所述三维坐标，生成所述目标在不同太阳角度下的阴影图像。
3.根据权利要求2所述的基于成像条件的光学遥感影像目标图像增强方法，其特征在于，所述基于所述三维坐标，生成所述目标在不同太阳角度下的阴影图像，包括：
响应于设定待生成阴影图像的太阳角度信息，根据所述三维坐标，计算在设定的太阳角度信息下所述第一阴影特征点的坐标，得到第二阴影特征点；
建立所述第一阴影特征点和所述第二阴影特征点之间的第一对应关系；
根据所述第一阴影特征点将所述光学遥感影像数据中的阴影区域划分为多个阴影特征面；
根据所述第一对应关系，对所述多个阴影特征面进行逐一变换，得到待生成阴影图像中对应的多个阴影特征面；
拼接待生成阴影图像中的多个阴影特征面，生成阴影图像。
4.根据权利要求1所述的基于成像条件的光学遥感影像目标图像增强方法，其特征在于，所述根据所述第一目标特征点生成所述目标在不同卫星成像角度下的第一目标图像，包括：
获取所述光学遥感影像数据中的卫星角度信息；
获取所述第一目标特征点的第二图像坐标；
根据所述卫星角度信息和所述第二图像坐标，计算每个第一目标特征点对应的三维特征点坐标；
基于所述三维特征点坐标，生成所述目标在不同卫星成像角度下的第一目标图像。
5.根据权利要求4所述的基于成像条件的光学遥感影像目标图像增强方法，其特征在于，所述基于所述三维特征点坐标，生成所述目标在不同卫星成像角度下的第一目标图像，包括：
响应于设定待生成第一目标图像的卫星成像角度，根据所述三维特征点坐标，计算所述三维特征点坐标在设定的卫星成像角度下对应的坐标，得到第二目标特征点；
建立所述第一目标特征点和所述第二目标特征点之间的第二对应关系；
根据所述第一目标特征点将所述光学遥感影像数据中的目标区域划分为多个目标特征面；
根据所述第二对应关系，对所述多个目标特征面进行逐一变换，得到待生成第一目标图像中对应的多个目标特征面；
拼接待生成第一目标图像中的多个目标特征面，生成第一目标图像。
6.根据权利要求1所述的基于成像条件的光学遥感影像目标图像增强方法，其特征在于，所述响应于获取待融合的背景图像，将所述阴影图像和所述第一目标图像与所述背景图像进行融合，生成与所述背景图像对应的第二目标图像，包括：
确定待融合的背景图像；
根据所述阴影图像和所述第一目标图像，生成前景图像；
融合所述前景图像和所述背景图像，生成第二目标图像。
7.根据权利要求6所述的基于成像条件的光学遥感影像目标图像增强方法，其特征在于，所述融合所述前景图像和所述背景图像，生成第二目标图像，包括：
使用基于图像修复的方法将所述前景图像与所述背景图像进行融合，生成第一融合图像；
使用泊松融合算法将所述前景图像与所述背景图像进行融合，生成第二融合图像；
将所述第一融合图像与所述第二融合图像进行融合，生成第二目标图像。
8.根据权利要求7所述的基于成像条件的光学遥感影像目标图像增强方法，其特征在于，所述将所述第一融合图像与所述第二融合图像进行融合，生成第二目标图像，包括：
确定所述第一融合图像和所述第二融合图像的融合参数；
根据所述融合参数，对所述第一融合图像和所述第二融合图像进行融合，生成第二目标图像。
9.根据权利要求8所述的基于成像条件的光学遥感影像目标图像增强方法，其特征在于，所述融合参数的计算方式为：
；
其中，表示融合参数，/>表示第一融合图像，/>表示第二融合图像，表示背景图像，/>表示图像/>和/>之间的相似度。
10.一种基于成像条件的光学遥感影像目标图像增强装置，其特征在于，包括：
标注模块，用于响应于获取光学遥感影像数据，分别对所述光学遥感影像数据中的阴影和目标进行标注，得到第一阴影特征点和第一目标特征点；
第一生成模块，用于根据所述第一阴影特征点生成所述目标在不同太阳角度下的阴影图像；
第二生成模块，用于根据所述第一目标特征点生成所述目标在不同卫星成像角度下的第一目标图像；
第三生成模块，用于响应于获取待融合的背景图像，将所述阴影图像和所述第一目标图像与所述背景图像进行融合，生成与所述背景图像对应的第二目标图像；
更新模块，用于更新所述第二目标图像中的标注信息，得到增强后的第二目标图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410038917.4A CN117557466B (zh) | 2024-01-11 | 2024-01-11 | 基于成像条件的光学遥感影像目标图像增强方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410038917.4A CN117557466B (zh) | 2024-01-11 | 2024-01-11 | 基于成像条件的光学遥感影像目标图像增强方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117557466A true CN117557466A (zh) | 2024-02-13 |
| CN117557466B CN117557466B (zh) | 2024-04-09 |
Family
ID=89823554
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410038917.4A Active CN117557466B (zh) | 2024-01-11 | 2024-01-11 | 基于成像条件的光学遥感影像目标图像增强方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117557466B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117953470A (zh) * | 2024-03-26 | 2024-04-30 | 杭州感想科技有限公司 | 全景拼接相机的高速公路事件识别方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105976345A (zh) * | 2016-04-27 | 2016-09-28 | 北京航空航天大学 | 一种可见光遥感图像合成方法 |
| CN111915642A (zh) * | 2020-09-14 | 2020-11-10 | 北京百度网讯科技有限公司 | 图像样本的生成方法、装置、设备和可读存储介质 |
| CN112419472A (zh) * | 2019-08-23 | 2021-02-26 | 南京理工大学 | 一种基于虚拟阴影图的增强现实实时阴影生成方法 |
| CN114581795A (zh) * | 2022-05-06 | 2022-06-03 | 天津航天中为数据系统科技有限公司 | 基于深度学习的杆塔绝缘子检测方法 |
| CN115115903A (zh) * | 2022-06-01 | 2022-09-27 | 长沙光宙科技有限公司 | 一种样本数据生成方法、装置及存储介质 |
| CN115410096A (zh) * | 2022-11-03 | 2022-11-29 | 成都国星宇航科技股份有限公司 | 卫星遥感影像多尺度融合变化检测方法、介质及电子装置 |
| CN116342377A (zh) * | 2023-03-28 | 2023-06-27 | 中国人民解放军军事科学院系统工程研究院 | 一种降质场景下伪装目标图像自适应生成方法与系统 |
-
2024
- 2024-01-11 CN CN202410038917.4A patent/CN117557466B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105976345A (zh) * | 2016-04-27 | 2016-09-28 | 北京航空航天大学 | 一种可见光遥感图像合成方法 |
| CN112419472A (zh) * | 2019-08-23 | 2021-02-26 | 南京理工大学 | 一种基于虚拟阴影图的增强现实实时阴影生成方法 |
| CN111915642A (zh) * | 2020-09-14 | 2020-11-10 | 北京百度网讯科技有限公司 | 图像样本的生成方法、装置、设备和可读存储介质 |
| CN114581795A (zh) * | 2022-05-06 | 2022-06-03 | 天津航天中为数据系统科技有限公司 | 基于深度学习的杆塔绝缘子检测方法 |
| CN115115903A (zh) * | 2022-06-01 | 2022-09-27 | 长沙光宙科技有限公司 | 一种样本数据生成方法、装置及存储介质 |
| CN115410096A (zh) * | 2022-11-03 | 2022-11-29 | 成都国星宇航科技股份有限公司 | 卫星遥感影像多尺度融合变化检测方法、介质及电子装置 |
| CN116342377A (zh) * | 2023-03-28 | 2023-06-27 | 中国人民解放军军事科学院系统工程研究院 | 一种降质场景下伪装目标图像自适应生成方法与系统 |
Non-Patent Citations (2)
| Title |
|---|
| FENG WANG: "高分辨率光学和 SAR 图像配准的全局到局部算法", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》, vol. 61, 29 August 2023 (2023-08-29), pages 1 - 20 * |
| 徐籴: "建筑物遥感图像的标识扩充和基座定位方法", 《中国优秀硕士学位论文全文数据库（工程科技Ⅱ辑）》, no. 01, 15 January 2022 (2022-01-15), pages 028 - 195 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117953470A (zh) * | 2024-03-26 | 2024-04-30 | 杭州感想科技有限公司 | 全景拼接相机的高速公路事件识别方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117557466B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110842940A (zh) | 一种建筑测量机器人多传感器融合三维建模方法及系统 | |
| Zhang et al. | A UAV-based panoramic oblique photogrammetry (POP) approach using spherical projection | |
| JP5778237B2 (ja) | ポイントクラウド内の埋め戻しポイント | |
| JP4685313B2 (ja) | 任意の局面の受動的な体積画像の処理方法 | |
| CN117557466B (zh) | 基于成像条件的光学遥感影像目标图像增强方法及装置 | |
| CN113052109A (zh) | 一种3d目标检测系统及其3d目标检测方法 | |
| Zhu et al. | Leveraging photogrammetric mesh models for aerial-ground feature point matching toward integrated 3D reconstruction | |
| CN109631911B (zh) | 一种基于深度学习目标识别算法的卫星姿态转动信息确定方法 | |
| CN104424630A (zh) | 三维重建方法及装置、移动终端 | |
| CN109035327B (zh) | 基于深度学习的全景相机姿态估计方法 | |
| MX2013003853A (es) | Modelado tridimensional rápido. | |
| CN102509304A (zh) | 基于智能优化的摄像机标定方法 | |
| CN110276791B (zh) | 一种参数可配置的深度相机仿真方法 | |
| WO2021004416A1 (zh) | 一种基于视觉信标建立信标地图的方法、装置 | |
| Guo et al. | Matching vehicles under large pose transformations using approximate 3d models and piecewise mrf model | |
| CN110532865B (zh) | 基于可见光与激光融合的航天器结构识别方法 | |
| CN109741241A (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
| CN111815765A (zh) | 一种基于异构数据融合的图像三维重建方法 | |
| CN109636852A (zh) | 一种单目slam初始化方法 | |
| Byrne et al. | Maximizing feature detection in aerial unmanned aerial vehicle datasets | |
| WO2020208976A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| CN114298151A (zh) | 一种基于点云数据与图像数据融合的3d目标检测方法 | |
| Cui et al. | ACLC: Automatic Calibration for non-repetitive scanning LiDAR-Camera system based on point cloud noise optimization | |
| CN113763438A (zh) | 一种点云配准方法、装置、设备及存储介质 | |
| Deng et al. | Automatic true orthophoto generation based on three-dimensional building model using multiview urban aerial images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |