CN109712246B - 一种基于生成对抗网络技术的增强现实图像上色方法 - Google Patents

一种基于生成对抗网络技术的增强现实图像上色方法 Download PDF

Info

Publication number
CN109712246B
CN109712246B CN201811487025.3A CN201811487025A CN109712246B CN 109712246 B CN109712246 B CN 109712246B CN 201811487025 A CN201811487025 A CN 201811487025A CN 109712246 B CN109712246 B CN 109712246B
Authority
CN
China
Prior art keywords
model
dimensional virtual
coloring
virtual model
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811487025.3A
Other languages
English (en)
Other versions
CN109712246A (zh
Inventor
吕李娜
刘镇
周骆
王启亮
夏炎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu University of Science and Technology
Original Assignee
Jiangsu University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu University of Science and Technology filed Critical Jiangsu University of Science and Technology
Priority to CN201811487025.3A priority Critical patent/CN109712246B/zh
Publication of CN109712246A publication Critical patent/CN109712246A/zh
Application granted granted Critical
Publication of CN109712246B publication Critical patent/CN109712246B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明公开说明了一种基于生成对抗网络技术的增强现实图像上色方法。该方法包括：采集实时视频；扫描数字化标识物；通过增强现实程序识别标识物；标识物与三维虚拟物体进行匹配；根据标识物位置调整三维虚拟模型的位置；匹配预训练上色模型库；虚拟物体与视频流背景融合；虚拟物体上色入视频流。本发明具备上色的速度和平滑性两个效果，使上色后的增强现实目标物体在平移和缩放中也能保证色彩的完整性；使用的方法上色的时间是毫秒级的，可以实现快速上色；使用虚拟物体与视频流背景融合的方法能够实现跟踪定位物体，从而达到实时上色。

Description

一种基于生成对抗网络技术的增强现实图像上色方法
技术领域
本发明属于计算机数字图像技术领域，涉及一种基于生成对抗网络技术的增强现实图像上色方法。
背景技术
在增强现实的显示软件中，常用的上色方式有两种，一种是微软的SurfaceView上色，另外一种是OpenGL上色。其中微软的SurfaceView使用的是微软的应用程序编程接口，对上色的功能支持的比较完善，上色后能够达到很好平滑效果。但是当在所需要上色的增强现实物体在背景中连续的移动、缩放时，由于SurfaceView上色的速度跟不上几何空间变换的速度。会导致卡顿的现象，影响用户的体验。特别是在进行全局的移动、缩放时，需要遍历每一个图片，每张图逐个进行上色更新在SurfaceView的视图上，整个上色速度会随着图像个数的增多而变慢，画面也会越来越卡顿。而OpenGL上色速度非常快，广泛的应用于游戏和一些动画效果的应用场景中。甚至可以达到毫秒级别的。特别是对于图片的上色，图片纹理数据会被存储在显存中，进行OpenGL上色时OpenGL几乎不耗时间。所以OpenGL不会有卡顿的现象出现。但是OpenGL对于线条没有圆滑的效果。在线条很粗的时候上色的边缘有色斑。现有技术中如果只用单一的上色方式很难达到生产和应用的要求。近些年深度学习越来越受到企业和研发人员的重视。其中衍生出来的生成对抗网络能够利用生成网络和对抗网络进行博弈完成一些上色的任务。生产对抗网络的上色也有它的局限性。需要大量的模型预训练时间。
发明内容
本发明的目的在于提供一种基于生成对抗网络技术的增强现实图像上色方法。具备上色的速度和平滑性两个效果。使上色后的增强现实目标物体在平移和缩放中也能保证色彩的完整性。
为了实现上述的目的，本发明提供一种基于生成对抗网络技术的增强现实图像上色方法，包括如下步骤：
1、使用视频采集设备采集实时1920×1080的视频，风景、室内；
2、使用视频识别软件对视频中标识物进行扫描数字化，提取标识物相应的顶点坐标；
3、通过增强现实的程序识别标识物，初次确定三维虚拟模型的顶点坐标；
4、标识物和三维虚拟模型进行位置匹配，判断位置是否有误差；
5、根据标识物位置再次调整三维虚拟模型的位置，直到误差精确到0.001；
6、将该三维虚拟模型匹配到预训练模型库，若模型库中存在该模型，则直接调用，否则将直接上色，可以实现快速上色的要求；
7、使用轮廓法将三维虚拟模型与视频背景融合，确定三维模型与视频背景同步，以达到实时上色的目的；
8、视频中三维虚拟模型完成上色。
进一步，步骤6所述的匹配预训练上色模型库的实现方法，包括步骤是：
(1)在OpenGL中输入需要上色的三维虚拟模型顶点坐标；
(2)将三维虚拟模型(顶点坐标)放到三维场景核实的位置；
(3)设置摄像头的角度和视角，选取多个位置，对应调整摄像头视角得到清晰的画面；
(4)设置光照位置、颜色；光照位置有两种，一种是离场景无限远的方向光源，认为方向光源所发出的光投射到物体表面是平行的，即太阳光，另一种是物体附近的光源，即台灯等；光源的颜色使用GL_AMBIENT、GL_DIFFUSE、GL_SPECULAR；
(5)设置三维模型的颜色参数采用RGB色彩模式，有16777216种像素颜色，标准范围是0.0-1.0；
(6)将上色后的三维虚拟模型输入生成对抗网络模型，通过生成对抗网络中生成网络与判别网络分别生成的图像对抗，最终得出最为逼真的三维虚拟模型；
(7)将通过判别网络的三维虚拟模型存储至预训练模型库，以备调用，加快上色速度。
本发明提供的一种预训练上色模型库，使用的是基于深度学习的生成对抗网络实现。
进一步，步骤6所述的本文发明提供一种基于生成对抗网络模型训练上色的方法。
进一步，步骤6所述的虚拟物体与视频流背景融合的方法，包括步骤是：
(1)使用增强现实软件识别程序识别出视频中背景物体轮廓；
(2)使用增强现实软件检测提取视频中背景物体位置坐标；
(3)以该位置坐标为参考点将三维虚拟模型叠加显示在视频中背景物体上，只要增强现实软件识别出背景，便可以调整运动，实时绘出三维虚拟模型。
本文发明具有的特点和有益效果是：
1、本文发明中的方法使用的方法上色的时间是毫秒级的，可以实现快速上色。
2、本文发明中的方法使用虚拟物体与视频流背景融合的方法能够实现跟踪定位物体，从而达到实时上色。
3、本文发明中的方法中使用了生成对抗网络预训练上色模型。相比手工特征上色能够更加快调用。
附图说明
图1是本文发明所述的一种基于生成对抗网络技术的增强现实图像上色方法的流程图。
图2是本文发明所述的一种预训练上色模型库实现方法的流程图。
图3是本文发明所述的一种基于生成对抗网络模型训练上色的流程图。
图4是本文发明所述的一种虚拟物体与视频流背景融合的方法的流程图。
具体实施方式
下面结合附图对本发明的内容作进一步的详细介绍。
图1是文发明所述的一种基于生成对抗网络技术的增强现实图像上色方法的流程图。本发明提供的上色方法包括如下步骤：
S101，使用视频采集设备采集实时1920×1080的视频，如室内场景；
S102，使用视频识别软件对视频中标识物进行扫描数字化(标识物家具、墙体、家电等)，提取标识物相应的顶点坐标(x1,y1,z1)；
S103，通过增强现实的程序识别标识物，初次确定三维虚拟模型的顶点坐标(x2,y2,z2)；
S104，标识物和三维虚拟模型进行位置匹配，判断位置是否有误差；
S105，根据标识物位置再次调整三维虚拟模型的位置，直到误差精确到0.001；
S106，将该三维虚拟模型匹配到预训练模型库，若模型库中存在该模型，则直接调用，否则将直接上色，可以实现快速上色的要求；
S107，使用轮廓法将三维虚拟模型与视频背景融合，确定三维模型与视频背景同步，以达到实时上色的目的；
S108，视频中三维虚拟模型完成上色。
本发明提供的上色方法，使用预训练的方式加快上色的速度，相较于把纹理存储在显存中的调用方式，匹配预训练库可以快速调用已经存在的模型。
图2是本发明所述的一种预训练上色模型库实现方法的流程图。本发明提供的预训练上色模型库实现方法，包括如下步骤：
S201，在OpenGL中输入需要上色的三维虚拟模型顶点坐标(x,y,z)；
S202，将三维虚拟模型(顶点坐标)放到三维场景核实的位置；
S203，设置摄像头的角度和视角，选取多个位置，对应调整摄像头视角得到清晰的画面；为了得到多视角的画面，上下左右每个面上至少获取10张以上；
S204，设置光照位置、颜色；光照位置有两种，一种是离场景无限远的方向光源，认为方向光源所发出的光投射到物体表面是平行的，即太阳光，另一种是物体附近的光源，即台灯等；光源的颜色使用GL_AMBIENT、GL_DIFFUSE、GL_SPECULAR；在训练时，每次采用一种光源与一种颜色搭配；
S205，设置三维虚拟模型的颜色参数，采用RGB色彩模式，有16777216种像素颜色，标准范围是0.0-1.0；
S206，将上色后的三维虚拟模型输入生成对抗网络模型，通过生成对抗网络中生成网络与判别网络分别生成的图像对抗，最终得出最为逼真的三维虚拟模型；
S207，将通过判别网络的三维虚拟模型存储至预训练模型库，以备调用，加快上色速度。
本发明提供的一种预训练上色模型库，使用的是基于深度学习的生成对抗网络实现。
图3是本发明所述的一种基于生成对抗网络模型训练上色的流程图。其中生成对抗网络预训练，包括如下步骤：
S301，首先输入上色后的三维虚拟模型，为原图，用作参考；
S302，存储至判别网络模型库，并提取出上色模型的颜色参数，采用RGB色彩模式，有16777216种像素颜色，标准范围是0.0-1.0；
S303，生成网络与判别网络分别生成的图像每对抗一次，则输出单个三维虚拟模型；
S304，生成对抗网络会自动计算出生成的单个三维虚拟模型与原图之间颜色参数的相似值；
S305，比较该相似值，如果大于等于预设的阈值，则判定生成上色的三维模型接近真实的模型。相似值如果小于预设的阈值，则判定生成网络上色的三维模型非真实的模型。重复S303，S304步骤直到判别网络给出生成后的上色模型为真实；
S306，输出通过S305步骤的三维虚拟模型，存入模型库。
本发明提供的上色方法，能够跟踪目标实时融合与场景。
图4是本发明所述的一种虚拟物体与视频流背景融合的方法的流程图。其融合的方法包括如下步骤：
S401，使用增强现实软件识别程序识别出视频中背景物体轮廓；
S402，使用增强现实软件检测提取视频中背景物体位置坐标；
S403，以该位置坐标为参考点将三维虚拟模型叠加显示在视频中背景物体上，只要增强现实软件识别出背景，便可以调整运动，实时绘出三维虚拟模型。

Claims (2)

1.一种基于生成对抗网络技术的增强现实图像上色方法，其特征在于，包括如下步骤：
步骤1、使用视频采集设备采集实时1920×1080的视频；
步骤2、使用视频识别软件对视频中标识物进行扫描数字化，提取标识物相应的顶点坐标；
步骤3、通过增强现实的程序识别标识物，初次确定三维虚拟模型的顶点坐标；
步骤4、标识物和三维虚拟模型进行位置匹配，判断位置是否有误差；
步骤5、根据标识物位置再次调整三维虚拟模型的位置，直到误差精确到0.001；
步骤6、将三维虚拟模型匹配到预训练模型库，若模型库中存在该三维虚拟模型，则直接调用，否则将直接上色；所述的将三维虚拟模型匹配到预训练模型库的方法和步骤是：
(1)在OpenGL中输入需要上色的三维虚拟模型顶点坐标；
(2)将三维虚拟模型即顶点坐标放到三维场景合适的位置；
(3)设置摄像头的角度和视角，选取多个位置，对应调整摄像头视角得到清晰的画面；
(4)设置光照位置、颜色；光照位置有两种，一种是离场景无限远的方向光源，认为方向光源所发出的光投射到物体表面是平行的，即太阳光，另一种是物体附近的光源，即台灯光源的颜色使用GL_AMBIENT、GL_DIFFUSE、GL_SPECULAR；
(5)设置三维虚拟模型的颜色参数，采用RGB色彩模式，有16777216种像素颜色，标准范围是0.0-1.0；
(6)将上色后的三维虚拟模型输入生成对抗网络模型，通过生成对抗网络中生成网络与判别网络分别生成的图像对抗，最终得出最为逼真的三维虚拟模型；
(7)将通过判别网络的三维虚拟模型存储至预训练模型库，以备调用，加快上色速度；
步骤7、使用轮廓法将三维虚拟模型与视频背景融合，确定三维虚拟模型与视频背景同步，以达到实时上色的目的；所述的三维虚拟模型与视频流背景融合的方法和步骤是：
a)使用增强现实软件识别程序识别出视频中背景物体轮廓；
b)使用增强现实软件检测提取视频中背景物体位置坐标；
c)以该位置坐标为参考点将三维虚拟模型叠加显示在视频中背景物体上，只要增强现实软件识别出背景，便能够调整运动，实时绘出三维虚拟模型。
2.如权利要求1所述的基于生成对抗网络技术的增强现实图像上色方法，其特征在于，步骤(6)中所述的将上色后的模型输入生成对抗网络模型的方法和步骤是：
(1)首先输入上色后的三维模型，为原图，用作参考；
(2)存储至判别网络模型库，并提取出上色模型的颜色参数，采用RGB色彩模式，有16777216种像素颜色，标准范围是0.0-1.0；
(3)生成网络与判别网络分别生成的图像每对抗一次，则输出单个三维虚拟模型；
(4)生成对抗网络会自动计算出生成的单个三维虚拟模型与原图之间颜色参数的相似值；
(5)比较相似值，当大于等于预设的阈值，则判定生成上色的三维模型接近真实的模型；
当小于预设的阈值，则判定生成网络上色的三维模型为非真实的模型；
(6)输出通过判别网络的三维虚拟模型，存入模型库。
CN201811487025.3A 2018-12-06 2018-12-06 一种基于生成对抗网络技术的增强现实图像上色方法 Active CN109712246B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811487025.3A CN109712246B (zh) 2018-12-06 2018-12-06 一种基于生成对抗网络技术的增强现实图像上色方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811487025.3A CN109712246B (zh) 2018-12-06 2018-12-06 一种基于生成对抗网络技术的增强现实图像上色方法

Publications (2)

Publication Number Publication Date
CN109712246A CN109712246A (zh) 2019-05-03
CN109712246B true CN109712246B (zh) 2023-07-25

Family

ID=66254658

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811487025.3A Active CN109712246B (zh) 2018-12-06 2018-12-06 一种基于生成对抗网络技术的增强现实图像上色方法

Country Status (1)

Country Link
CN (1) CN109712246B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222757A (zh) * 2019-05-31 2019-09-10 华北电力大学（保定） 基于生成对抗网络的绝缘子图像样本扩充方法、系统
CN113192211B (zh) * 2021-03-23 2023-04-07 北京师范大学 一种基于3d模型的唐三彩虚拟上色系统及方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489214A (zh) * 2013-09-10 2014-01-01 北京邮电大学 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法
CN103500465A (zh) * 2013-09-13 2014-01-08 西安工程大学 基于增强现实技术的古代文物场景快速渲染方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489214A (zh) * 2013-09-10 2014-01-01 北京邮电大学 增强现实系统中基于虚拟模型预处理的虚实遮挡处理方法
CN103500465A (zh) * 2013-09-13 2014-01-08 西安工程大学 基于增强现实技术的古代文物场景快速渲染方法

Also Published As

Publication number Publication date
CN109712246A (zh) 2019-05-03

Similar Documents

Publication Publication Date Title
Kaskman et al. Homebreweddb: Rgb-d dataset for 6d pose estimation of 3d objects
Hold-Geoffroy et al. A perceptual measure for deep single image camera calibration
CN112509151B (zh) 一种教学场景中虚拟对象的真实感生成方法
JP5784356B2 (ja) 多関節オブジェクトモデルのポーズを推定するためのコンピュータ実行方法、仮想画像をレンダリングするためのコンピュータ実行方法、およびソース画像セグメントのセグメント化を決定するためのコンピュータ実行方法
US8624962B2 (en) Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images
US20050018045A1 (en) Video processing
US11488348B1 (en) Computing virtual screen imagery based on a stage environment, camera position, and/or camera settings
CN104952063A (zh) 用于在真实环境的视图中表示虚拟对象的方法和系统
JP2004537082A (ja) 仮想現実環境における実時間バーチャル・ビューポイント
CN108364292B (zh) 一种基于多幅视角图像的光照估计方法
JP2011215968A (ja) プログラム、情報記憶媒体及び物体認識システム
CN109712246B (zh) 一种基于生成对抗网络技术的增强现实图像上色方法
JP2023546739A (ja) シーンの３次元モデルを生成するための方法、装置、およびシステム
CN111383343B (zh) 一种面向家装设计的基于生成对抗网络技术的增强现实图像渲染上色方法
Wei et al. Simulating shadow interactions for outdoor augmented reality with RGBD data
CN111145341A (zh) 一种基于单光源的虚实融合光照一致性绘制方法
Knecht et al. Interactive BRDF estimation for mixed-reality applications
Farbiz et al. Live three-dimensional content for augmented reality
Schwandt et al. Glossy reflections for mixed reality environments on mobile devices
Lee et al. Estimation of illuminants for plausible lighting in augmented reality
US20230013009A1 (en) Computing illumination of an elongated shape having a noncircular cross section
CN112462948B (zh) 一种基于深度相机偏离用户手势控制的标定方法和装置
Rajan et al. A realistic video avatar system for networked virtual environments
Bach et al. Vision-based hand representation and intuitive virtual object manipulation in mixed reality
CN101499176B (zh) 一种视频游戏接口方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant