CN112509129A - 一种基于改进gan网络的空间视场图像生成方法 - Google Patents

一种基于改进gan网络的空间视场图像生成方法 Download PDF

Info

Publication number
CN112509129A
CN112509129A CN202011517733.4A CN202011517733A CN112509129A CN 112509129 A CN112509129 A CN 112509129A CN 202011517733 A CN202011517733 A CN 202011517733A CN 112509129 A CN112509129 A CN 112509129A
Authority
CN
China
Prior art keywords
sample
training
image
dimensional
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011517733.4A
Other languages
English (en)
Other versions
CN112509129B (zh
Inventor
朱锦雷
张传锋
井焜
朱爱红
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Synthesis Electronic Technology Co Ltd
Original Assignee
Synthesis Electronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Synthesis Electronic Technology Co Ltd filed Critical Synthesis Electronic Technology Co Ltd
Priority to CN202011517733.4A priority Critical patent/CN112509129B/zh
Publication of CN112509129A publication Critical patent/CN112509129A/zh
Application granted granted Critical
Publication of CN112509129B publication Critical patent/CN112509129B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation

Abstract

本发明公开一种基于改进GAN网络的空间视场图像生成方法，本方法将重叠面积大于阈值的样本划分为一组，从不同组中分别抽取数据加入训练集与验证集，根据样本参数即三维位置（x,y,z）、视角（yaw，pitch，roll）和焦距（f），训练集向验证集指定样本几何投射，得到该样本的投射训练集，GAN网络以投射训练集训练生成模型，以其对应的验证集样本训练判别模型。本方法是一个不经过三维空间建模的视场图像生成方法，即输入其它参数的二维图像序列，得到一个新参数条件下的二维视场图像，中间没有三维空间建模过程。

Description

一种基于改进GAN网络的空间视场图像生成方法
技术领域
本发明涉及一种基于改进GAN网络的空间视场图像生成方法，属于机器学习与图像处理领域。
背景技术
生成式对抗网络（GAN, Generative Adversarial Networks ）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生相当好的输出。近年来，GAN网络经常用于生成新图片，也可用于空间信息的生成，如将多角度二维图像变换为三维空间图像。
目前空间图像生成存在三个方面需要改进：一是，在训练模型时，需要先用专业设备采集空间数据进行三维建模，要求数据覆盖性完整，才能生成好的三维空间模型，进而基于三维空间模型生成某一位置与方向（观察者视角）的二维视场图像，没有采用二维图像序列向特定视场直接计算的方法获得；二是，在已知相机参数时，传统的计算机图像学经典方法可以进行二维图像投射，但投射后的目标视场图像可能不完整或者有较配准偏差，GAN网络在处理这一类问题时具有显著优势；三是，当可供选择的样本比较多时，采用基于已知样本序列，采用迭代方式生成目标视频图像，使图像变得更加清晰，如何通过记忆方式增强生成图像是一大技术难题。
发明内容
本发明要解决的技术问题是提供一种基于改进GAN网络的空间视场图像生成方法，从其他参数的二维图像序列得到一个新参数条件下的二维视场图像，中间没有三维空间建模过程。
为了解决所述技术问题，本发明采用的技术方案是：一种基于改进GAN网络的空间视场图像生成方法，包括以下步骤：
S01）、输入不同地点、不同视角采集的二维样本图像，并对二维样本图像进行标注，样本标注参数包括图像三维坐标（x,y,z）、视角（yaw,pich,roll）和焦距f，其中yaw表示偏航角，pitch表示俯仰角，roll表示翻滚角；
S02）、根据样本标注参数与空间几何投射方法，计算出从不同角度、不通过位置拍摄的图像是否存在同一物理目标，抽取重叠面积大于指定阈值的样本图像标记为重叠组；
S03）、从每个重叠组的样本中抽取部分数据加入训练集，其余加入验证集，其中训练集用于GAN网络中的生成模型，验证集用于GAN网络中的判别模型；
S04）、重叠组中的训练集向验证集指定样本几何投射，得到该样本的投射训练集；
S05）、基于投射训练集的训练过程，训练包括两个阶段，第一阶段基于验证集指定样本的投射训练集训练生成网络模型，第二阶段基于验证集指定样本的投射训练集和生成网络模型图像训练判别网络模型；其中，生成网络模型的编码模块与解码模块之间植入记忆单元，使生成网络模型具有记忆功能；
S06）、指定观察参数预测视场图像，如果想得到某一视场二维图像，输入待获取二维图像的三维坐标（x,y,z）、视角（yaw,pich,roll）和焦距f，抽取与该视场重叠的原始样本图像，并完成相应空间几何投射，投射图像序列依次输入生成网络模型，从而得到该视场的二维图像。
进一步的，验证集指定样本的投射训练集为正样本，生成网络模型图像为负样本。
进一步的，记忆单元为GRU或者LSTM单元；同一组训练样本输入训练时，在初始状态，记忆单元首先按投射面积大小作为贡献能力降序排列，先后输入至GAN网络编码模块；生成场景图像与真实场景图像经由判别模型时，计算出相似度，把相似度作为样本组中各样本的贡献能力，重新降序排列，以调整输入顺序。
本发明的有益效果：本发明将重叠面积大于阈值的样本划分为一组，从不同组中分别抽取数据加入训练集与验证集，根据样本参数即三维位置（x, y, z）、视角（yaw，pitch，roll）和焦距（f），训练集向验证集指定样本几何投射，得到该样本的投射训练集，GAN网络以投射训练集训练生成模型，以其对应的验证集样本训练判别模型。
生成网络模型具有记忆功能，即在编码模块与解码模块之间植入GRU/LSTM等类似单元，投射训练集序列输入时，可以不断生成增强后的视场图像。其特征在于，其记忆能力还体现在，同一组训练样本输入训练时，在初始状态，首先按投射面积大小作为贡献能力降序排列，先后输入至GAN网络编码模块；生成场景图像与真实场景图像经由判别模型时，会计算出相似度（属于GAN网络常识内容），把相似度作为样本组中各样本的贡献能力，重新降序排列，以调整输入顺序。
本方法是一个不经过三维空间建模的视场图像生成方法，即输入其它参数的二维图像序列，得到一个新参数条件下的二维视场图像，中间没有三维空间建模过程。
具体实施方式
下面结合具体实施例对本发明组进一步的说明。
实施例1
本实施例公开一种基于改进GAN网络的空间视场图像生成方法，包括以下步骤：
S01）、输入不同地点、不同视角采集的二维样本图像，并对二维样本图像进行标注，样本标注参数包括图像三维坐标（x,y,z）、视角（yaw,pich,roll）和焦距f，其中yaw表示偏航角，pitch表示俯仰角，roll表示翻滚角；图像三维坐标（x,y,z）、视角（yaw,pich,roll）通过在摄像机上增加相应的传感器实现；
S02）、根据样本标注参数与空间几何投射方法，计算出从不同角度、不通过位置拍摄的图像是否存在同一物理目标，抽取重叠面积大于指定阈值的样本图像标记为重叠组；
S03）、从每个重叠组的样本中抽取部分数据加入训练集，其余加入验证集，其中训练集用于GAN网络中的生成模型，验证集用于GAN网络中的判别模型；
S04）、重叠组中的训练集向验证集指定样本几何投射，得到该样本的投射训练集；
S05）、基于投射训练集的训练过程，训练包括两个阶段，第一阶段基于验证集指定样本的投射训练集训练生成网络模型，第二阶段基于验证集指定样本的投射训练集和生成网络模型图像训练判别网络模型；其中，生成网络模型的编码模块与解码模块之间植入记忆单元，使生成网络模型具有记忆功能；
S06）、指定观察参数预测视场图像，如果想得到某一视场二维图像，输入待获取二维图像的三维坐标（x,y,z）、视角（yaw,pich,roll）和焦距f，抽取与该视场重叠的原始样本图像，并完成相应空间几何投射，投射图像序列依次输入生成网络模型，从而得到该视场的二维图像。
本实施例中，验证集指定样本的投射训练集为正样本，生成网络模型图像为负样本。
本实施例中，记忆单元为GRU或者LSTM单元。投射训练集序列输入时，可以不断生成增强后的视场图像。其记忆能力还体现在，同一组训练样本输入训练时，在初始状态，首先按投射面积大小作为贡献能力降序排列，先后输入至GAN网络编码模块；生成场景图像与真实场景图像经由判别模型时，会计算出相似度（属于GAN网络常识内容），把相似度作为样本组中各样本的贡献能力，重新降序排列，以调整输入顺序。
该方法主要用于基于改进GAN网络的空间三维影像视图生成，可用于视觉目标空间位置估计、人物导览导航等领域。该方法本质上是，采用创新的GAN网络结构，训练样本包括随意抓拍的系列二维图片，以及各二维图片对应的三维视角，输入改进后的GAN网络进行训练形成模型，预测时随意输入生成器几张周围图片即可自动合成出三维空间的二维视图。
以上描述的仅是本发明的基本原理和优选实施例，本领域技术人员根据本发明做出的改进和替换，属于本发明的保护范围。

Claims (3)

1.一种基于改进GAN网络的空间视场图像生成方法，其特征在于：包括以下步骤：
S01）、输入不同地点、不同视角采集的二维样本图像，并对二维样本图像进行标注，样本标注参数包括图像三维坐标（x,y,z）、视角（yaw,pich,roll）和焦距f，其中yaw表示偏航角，pitch表示俯仰角，roll表示翻滚角；
S02）、根据样本标注参数与空间几何投射方法，计算出从不同角度、不通过位置拍摄的图像是否存在同一物理目标，若存在同一物理目标，抽取重叠面积大于指定阈值的样本图像标记为重叠组；
S03）、从每个重叠组的样本中抽取部分数据加入训练集，其余加入验证集，其中训练集用于GAN网络中的生成模型，验证集用于GAN网络中的判别模型；
S04）、重叠组中的训练集向验证集指定样本几何投射，得到该样本的投射训练集；
S05）、基于投射训练集的训练过程，训练包括两个阶段，第一阶段基于验证集指定样本的投射训练集训练生成网络模型，第二阶段基于验证集指定样本的投射训练集和生成网络模型图像训练判别网络模型；其中，生成网络模型的编码模块与解码模块之间植入记忆单元，使生成网络模型具有记忆功能；
S06）、指定观察参数预测视场图像，如果想得到某一视场二维图像，输入待获取二维图像的三维坐标（x,y,z）、视角（yaw,pich,roll）和焦距f，抽取与该视场重叠的原始样本图像，并完成相应空间几何投射，投射图像序列依次输入生成网络模型，从而得到该视场的二维图像。
2.根据权利要求1所述的基于改进GAN网络的空间视场图像生成方法，其特征在于：验证集指定样本的投射训练集为正样本，生成网络模型图像为负样本。
3.根据权利要求1所述的基于改进GAN网络的空间视场图像生成方法，其特征在于：记忆单元为GRU或者LSTM单元；同一组训练样本输入训练时，在初始状态，记忆单元首先按投射面积大小作为贡献能力降序排列，先后输入至GAN网络编码模块；生成场景图像与真实场景图像经由判别模型时，计算出相似度，把相似度作为样本组中各样本的贡献能力，重新降序排列，以调整输入顺序。
CN202011517733.4A 2020-12-21 2020-12-21 一种基于改进gan网络的空间视场图像生成方法 Active CN112509129B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011517733.4A CN112509129B (zh) 2020-12-21 2020-12-21 一种基于改进gan网络的空间视场图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011517733.4A CN112509129B (zh) 2020-12-21 2020-12-21 一种基于改进gan网络的空间视场图像生成方法

Publications (2)

Publication Number Publication Date
CN112509129A true CN112509129A (zh) 2021-03-16
CN112509129B CN112509129B (zh) 2022-12-30

Family

ID=74922766

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011517733.4A Active CN112509129B (zh) 2020-12-21 2020-12-21 一种基于改进gan网络的空间视场图像生成方法

Country Status (1)

Country Link
CN (1) CN112509129B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114264298A (zh) * 2021-12-30 2022-04-01 神思电子技术股份有限公司 一种室内地图的导航路径生成方法、设备及介质
US20220358265A1 (en) * 2021-05-04 2022-11-10 X Development Llc Realistic plant growth modeling

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009093587A1 (ja) * 2008-01-21 2009-07-30 Pasco Corporation オルソフォト画像の生成方法、および撮影装置
JP2013206034A (ja) * 2012-03-28 2013-10-07 Fujitsu Ltd 情報処理装置、画像処理方法およびプログラム
JP2013210990A (ja) * 2012-02-29 2013-10-10 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
WO2014171418A1 (ja) * 2013-04-19 2014-10-23 凸版印刷株式会社 ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
WO2016037486A1 (zh) * 2014-09-10 2016-03-17 深圳大学 人体三维成像方法及系统
JP2018055506A (ja) * 2016-09-29 2018-04-05 株式会社カブク 情報処理装置、情報処理方法及びプログラム
CN107945282A (zh) * 2017-12-05 2018-04-20 洛阳中科信息产业研究院(中科院计算技术研究所洛阳分所) 基于对抗网络的快速多视角三维合成和展示方法及装置
CN108052512A (zh) * 2017-11-03 2018-05-18 同济大学 一种基于深度注意力机制的图像描述生成方法
WO2018170366A1 (en) * 2017-03-16 2018-09-20 The Johns Hopkins University Geometric calibration for cone beam ct using line fiducials
JP2018195309A (ja) * 2017-05-17 2018-12-06 富士通株式会社 顔認識のための画像処理装置の訓練方法及び訓練装置
CN110263192A (zh) * 2019-06-06 2019-09-20 西安交通大学 一种基于条件生成对抗网络的磨粒形貌数据库创建方法
WO2019184124A1 (zh) * 2018-03-30 2019-10-03 平安科技（深圳）有限公司 风控模型训练方法、风险识别方法、装置、设备及介质
CN110546687A (zh) * 2018-04-06 2019-12-06 株式会社恩博迪 图像处理装置及二维图像生成用程序
CN110706328A (zh) * 2019-08-21 2020-01-17 重庆特斯联智慧科技股份有限公司 一种基于gan网络的三维场景虚拟生成方法和系统
US20200301924A1 (en) * 2019-03-20 2020-09-24 Guangdong University Of Technology Method for constructing sql statement based on actor-critic network

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009093587A1 (ja) * 2008-01-21 2009-07-30 Pasco Corporation オルソフォト画像の生成方法、および撮影装置
JP2013210990A (ja) * 2012-02-29 2013-10-10 Jvc Kenwood Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2013206034A (ja) * 2012-03-28 2013-10-07 Fujitsu Ltd 情報処理装置、画像処理方法およびプログラム
WO2014171418A1 (ja) * 2013-04-19 2014-10-23 凸版印刷株式会社 ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
WO2016037486A1 (zh) * 2014-09-10 2016-03-17 深圳大学 人体三维成像方法及系统
JP2018055506A (ja) * 2016-09-29 2018-04-05 株式会社カブク 情報処理装置、情報処理方法及びプログラム
WO2018170366A1 (en) * 2017-03-16 2018-09-20 The Johns Hopkins University Geometric calibration for cone beam ct using line fiducials
JP2018195309A (ja) * 2017-05-17 2018-12-06 富士通株式会社 顔認識のための画像処理装置の訓練方法及び訓練装置
CN108052512A (zh) * 2017-11-03 2018-05-18 同济大学 一种基于深度注意力机制的图像描述生成方法
CN107945282A (zh) * 2017-12-05 2018-04-20 洛阳中科信息产业研究院(中科院计算技术研究所洛阳分所) 基于对抗网络的快速多视角三维合成和展示方法及装置
WO2019184124A1 (zh) * 2018-03-30 2019-10-03 平安科技（深圳）有限公司 风控模型训练方法、风险识别方法、装置、设备及介质
CN110546687A (zh) * 2018-04-06 2019-12-06 株式会社恩博迪 图像处理装置及二维图像生成用程序
US20200301924A1 (en) * 2019-03-20 2020-09-24 Guangdong University Of Technology Method for constructing sql statement based on actor-critic network
CN110263192A (zh) * 2019-06-06 2019-09-20 西安交通大学 一种基于条件生成对抗网络的磨粒形貌数据库创建方法
CN110706328A (zh) * 2019-08-21 2020-01-17 重庆特斯联智慧科技股份有限公司 一种基于gan网络的三维场景虚拟生成方法和系统

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
HEQING ZOU 等: ""Edge-Gan edge conditioned multi-view face image generation"", 《2020 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING（ICIP）》 *
KULKARNI GIRISH: ""Baby talk:Understanding and generating simple image descriptions"", 《IEEE TRANSACTION ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
叶晨等: "生成式对抗网络的应用综述", 《同济大学学报(自然科学版)》 *
孔德江等: "时空嵌入式生成对抗网络的地点预测方法", 《模式识别与人工智能》 *
张广翩等: "基于二维点云图的三维人体建模方法", 《计算机工程与应用》 *
戴凤智等: "基于深度学习的视频跟踪研究进展综述", 《计算机工程与应用》 *
秦月红等: "基于生成对抗网络的跨视角步态特征提取", 《计算机系统应用》 *
缪永伟等: "基于单幅图像成像一致性的组合式建筑交互建模", 《计算机辅助设计与图形学学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220358265A1 (en) * 2021-05-04 2022-11-10 X Development Llc Realistic plant growth modeling
CN114264298A (zh) * 2021-12-30 2022-04-01 神思电子技术股份有限公司 一种室内地图的导航路径生成方法、设备及介质
CN114264298B (zh) * 2021-12-30 2024-02-20 神思电子技术股份有限公司 一种室内地图的导航路径生成方法、设备及介质

Also Published As

Publication number Publication date
CN112509129B (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
Lee et al. Context-aware synthesis and placement of object instances
CN110781838B (zh) 一种复杂场景下行人的多模态轨迹预测方法
US11151734B2 (en) Method and system for generating synthetic point cloud data using a generative model
Dawar et al. Data augmentation in deep learning-based fusion of depth and inertial sensing for action recognition
Cao et al. 3D aided duet GANs for multi-view face image synthesis
CN109214366A (zh) 局部目标重识别方法、装置及系统
CN112418074A (zh) 一种基于自注意力的耦合姿态人脸识别方法
US20100259538A1 (en) Apparatus and method for generating facial animation
CN112509129B (zh) 一种基于改进gan网络的空间视场图像生成方法
CN112364757A (zh) 一种基于时空注意力机制的人体动作识别方法
CN111639580B (zh) 一种结合特征分离模型和视角转换模型的步态识别方法
Chen et al. Silhouette-based object phenotype recognition using 3D shape priors
CN112801945A (zh) 基于双重注意力机制特征提取的深度高斯混合模型颅骨配准方法
CN111340785A (zh) 模型训练方法、产品表面缺陷检测方法和存储介质
CN116097307A (zh) 图像的处理方法及相关设备
CN110851627B (zh) 一种用于描述全日面图像中太阳黑子群的方法
CN113065506B (zh) 一种人体姿态识别方法及系统
Zhou et al. PersDet: Monocular 3D Detection in Perspective Bird's-Eye-View
CN101661625B (zh) 基于一幅标准图像生成各视角下样本图像的方法
CN114626476A (zh) 基于Transformer与部件特征融合的鸟类细粒度图像识别方法及装置
CN112990154B (zh) 一种数据处理方法、计算机设备以及可读存储介质
Chu et al. Semi-supervised 3d human pose estimation by jointly considering temporal and multiview information
Lin 3D object detection and 6D pose estimation using RGB-D images and mask R-CNN
CN115471863A (zh) 三维姿态的获取方法、模型训练方法和相关设备
Yellapantula Synthesizing realistic data for vision based drone-to-drone detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant