CN112215966A - 一种虚拟图像与现实的用户照片合影方法 - Google Patents
一种虚拟图像与现实的用户照片合影方法 Download PDFInfo
- Publication number
- CN112215966A CN112215966A CN202011090570.6A CN202011090570A CN112215966A CN 112215966 A CN112215966 A CN 112215966A CN 202011090570 A CN202011090570 A CN 202011090570A CN 112215966 A CN112215966 A CN 112215966A
- Authority
- CN
- China
- Prior art keywords
- scene
- image
- model
- picture
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000013507 mapping Methods 0.000 claims abstract description 14
- 239000003086 colorant Substances 0.000 claims abstract description 7
- 230000003190 augmentative effect Effects 0.000 claims abstract description 5
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 239000003973 paint Substances 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 4
- 238000010422 painting Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 231100000289 photo-effect Toxicity 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种虚拟图像与现实的用户照片合影方法，所述合影方法包括以下步骤：S1：AR Core预设3D模型方案库和场景数据库，并构建3D模型方案库和场景数据库之间的映射关系；S2：摄像机打开，增强现实扫描功能将反复尝试识别源中的图像，图片被识别；S3：从场景数据库中选择适合文件名的场景；S4：创建出3D模型场景；S5：识别图画卡上涂刷颜色，通过紫外线映射的技术3D图形进行映射，获取对应的纹理色彩图像，本发明通过AR Core扫描图片并生成对应的场景和3D模型，将3D模型进行二维透视，可固定在一个平面上，使用者可使用画笔工具去涂色绘画，从而改变虚拟人物的色彩，从而解决了二维涂色不精准和透视错误的问题，使得合影效果更加出众。
Description
技术领域
本发明涉及一种合影方法，特别涉及一种虚拟图像与现实的用户照片合影方法，属于图片处理技术领域。
背景技术
随着现在各类社交软件的开发和人们社交范围的扩大，照片拍摄的需求被急速放大，人们喜欢与各种现实场景进行合照，但是，有些场景中，需要对照片进行修改，比如尺寸和颜色，在对图片机械能颜色更改时，一般通过软件直接进行二维涂刷后在上色，存在涂色不精准和透视错误的问题，与虚拟图像进行合影时，对虚拟图像进行修改时也存在同样的问题。
发明内容
本发明的目的在于提供一种虚拟图像与现实的用户照片合影方法，以解决上述背景技术中提出的有些场景中，需要对照片进行修改，比如尺寸和颜色，在对图片机械能颜色更改时，一般通过软件直接进行二维涂刷后在上色，存在涂色不精准和透视错误的问题的问题。
为实现上述目的，本发明提供如下技术方案：一种虚拟图像与现实的用户照片合影方法，所述合影方法包括：
AR Core预设3D模型方案库和场景数据库，并构建3D模型方案库和场景数据库之间的映射关系；
摄像机打开，增强现实扫描功能将反复尝试识别源中的图像直到图片被识别；
在文本的关联数组中查找，从场景数据库中选择适合文件名的场景；
AR Core从3D模型方案库中调取出对应的3D场景，创建出3D模型场景；
识别图画卡上涂刷颜色，通过紫外线映射的技术3D图形进行映射，获取对应的纹理色彩图像；
由OpenCV进行投射反转处理，形成适合放在3D模型场景中的平面纹理；
OpenCV将平面纹理填充到3D模型场景中的各个部位，形成新的3D模型场景，通过AR Core导出该3D模型场景下的各个角度的二维虚拟图像，该图像导入相机的虚拟图像库中，拍照时调取图像，进行合影。
其中，所述场景构建是指从设备存储介质中加载三维模型，并上传到图形处理器进行转换，显示在屏幕上，通过场景转换和场景填充手段进行处理。
其中，所述识别图画卡中有多个识别区域，且多个识别区域等距设置，识别区域的边侧设有边角识别框。
其中，所述投射反转处理为获取视角转换和匹配视角。
其中，所述获取平面纹理的过程为：从相机馈送复制图像；裁剪图像；执行透视校正。
其中，所述图片识别具体为：
一旦图片在相机框架中占25％，其中图片被识别后生成的值是表示图像文件名的文本，允许确定哪个图像已被识别。
其中，若没有发现场景，说明被识别的图片没有场景，需在场景数据库中进行场景构建，并重新进行扫描，直到找到一个场景。
其中，所述获取对应的纹理色彩图像包括：
手机捕获功能通过使用“识别涂画卡”的四个角来实现，并在相机源中显示，捕获相机图像的四个角并将这四个角用于数学矩阵中。
一种虚拟图像用可读存储介质，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行上述方法。
与现有技术相比，本发明的有益效果是：
本发明通过AR Core扫描图片并生成对应的场景和3D模型，将3D模型进行二维透视，可固定在一个平面上，使用者可使用画笔工具去涂色绘画，从而改变虚拟人物的色彩，从而解决了二维涂色不精准和透视错误的问题，使得合影效果更加出众。
附图说明
图1为本发明的方法流程结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1，本发明提供了一种虚拟图像与现实的用户照片合影方法的技术方案：本发明提供了一种虚拟图像与现实的用户照片合影方法的技术方案：一种虚拟图像与现实的用户照片合影方法，合影方法包括以下步骤：
S1：AR Core预设3D模型方案库和场景数据库，并构建3D模型方案库和场景数据库之间的映射关系；
S2：摄像机打开，增强现实扫描功能将反复尝试识别源中的图像，图片被识别；
S3：在文本的关联数组中查找，从场景数据库中选择适合文件名的场景；
S4：AR Core从3D模型方案库中调取出对应的3D场景，创建出3D模型场景；
S5：识别图画卡上涂刷颜色，通过紫外线映射的技术3D图形进行映射，获取对应的纹理色彩图像；
S6：由OpenCV进行投射反转处理，形成适合放在3D模型场景中的平面纹理；
S7：OpenCV将平面纹理填充到3D模型场景中的各个部位，形成新的3D模型场景，通过AR Core导出该3D模型场景下的各个角度的二维虚拟图像，该图像导入相机的虚拟图像库中，拍照时，调取图像，进行合影。
步骤3中，场景构建是指从设备存储介质中加载三维模型，并上传到图形处理器进行转换，显示在屏幕上，通过场景转换和场景填充手段进行处理。
步骤5中，识别图画卡中有多个识别区域，且多个识别区域等距设置，识别区域的边侧设有边角识别框。
步骤6中，投射反转处理具体作用为：
获取视角转换和匹配视角。
步骤6中，获取平面纹理的过程为：
第一步，从相机馈送复制图像；
第二步，裁剪图像；
第三步，执行透视校正。
步骤2中，图片识别具体为：
无论相机中的方向如何，一旦图片在相机框架中占25％，其中图片被识别后生成的值是表示图像文件名的文本，允许确定哪个图像已被识别。
步骤3中，如果没有发现场景，这意味着被识别的图片没有场景，可在场景数据库中进行场景构建，在重新进行扫描，直到找到一个场景。
步骤5中，获取对应的纹理色彩图像的具体方式为：
手机捕获功能通过使用“识别涂画卡”的四个角来实现，可从相机源中显示，捕获相机图像的四个角然后将这四个角用于数学矩阵中。
一种虚拟图像用可读存储介质，其存储有计算机程序指令，当计算机程序指令被计算机执行时，使计算机执行上述方法。
实施例一，具体使用前，通过移动终端在AR Core中预设3D模型方案库和场景数据库，并构建3D模型方案库和场景数据库之间的映射关系，使用时保持摄像机保持打开，增强现实扫描功能将反复尝试识别源中的图像，直到图像被识别，无论相机中的方向如何，一旦图片在相机框架中占25％，图片将被识别，其中图片被识别后生成的值是表示图像文件名的文本，允许我们确定哪个图像已被识别；
实施例二，对创建出3D模型场景进行涂色如下，拿出识别图画卡，识别图画卡中有多个识别区域，且多个识别区域等距设置，识别区域的边侧设有边角识别框，在识别图画卡上的识别区域涂刷想要的颜色，手机捕获功能通过使用“识别涂画卡”的四个角来实现，可从相机源中显示，捕获相机图像的四个角然后将这四个角用于数学矩阵中，通过紫外线映射的技术3D图形进行映射，获取对应的纹理色彩图像。
实施例三，本发明提供一种虚拟图像可读存储介质，其上存储有能够实现本说明书上述方法的应用程序，当计算机程序指令被计算机执行时，使计算机执行如上的方法。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。
应用程序可以采用一个或多个可读和介质的任意组合，可读介质可以是可读信号介质或者可读存储介质，可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码，这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合，可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序，以上可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。
在本发明的描述中，需要理解的是，指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
在本发明中，除非另有明确的规定和限定，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
Claims (9)
1.一种虚拟图像与现实的用户照片合影方法，其特征在于，所述合影方法包括：
AR Core预设3D模型方案库和场景数据库，并构建3D模型方案库和场景数据库之间的映射关系；
摄像机打开，增强现实扫描功能将反复尝试识别源中的图像直到图片被识别；
在文本的关联数组中查找，从场景数据库中选择适合文件名的场景；
AR Core从3D模型方案库中调取出对应的3D场景，创建出3D模型场景；
识别图画卡上涂刷颜色，通过紫外线映射的技术3D图形进行映射，获取对应的纹理色彩图像；
由OpenCV进行投射反转处理，形成适合放在3D模型场景中的平面纹理；
OpenCV将平面纹理填充到3D模型场景中的各个部位，形成新的3D模型场景，通过ARCore导出该3D模型场景下的各个角度的二维虚拟图像，该图像导入相机的虚拟图像库中，拍照时调取图像，进行合影。
2.根据权利要求1所述的一种虚拟图像与现实的用户照片合影方法，其特征在于：所述场景构建是指从设备存储介质中加载三维模型，并上传到图形处理器进行转换，显示在屏幕上，通过场景转换和场景填充手段进行处理。
3.根据权利要求1所述的一种虚拟图像与现实的用户照片合影方法，其特征在于：所述识别图画卡中有多个识别区域，且多个识别区域等距设置，识别区域的边侧设有边角识别框。
4.根据权利要求1所述的一种虚拟图像与现实的用户照片合影方法，其特征在于：所述投射反转处理为获取视角转换和匹配视角。
5.根据权利要求1所述的一种虚拟图像与现实的用户照片合影方法，其特征在于：所述获取平面纹理的过程为：从相机馈送复制图像；裁剪图像；执行透视校正。
6.根据权利要求1所述的一种虚拟图像与现实的用户照片合影方法，其特征在于：所述图片识别具体为：
一旦图片在相机框架中占25％，其中图片被识别后生成的值是表示图像文件名的文本，允许确定哪个图像已被识别。
7.根据权利要求1所述的一种虚拟图像与现实的用户照片合影方法，其特征在于：若没有发现场景，说明被识别的图片没有场景，需在场景数据库中进行场景构建，并重新进行扫描，直到找到一个场景。
8.根据权利要求1所述的一种虚拟图像与现实的用户照片合影方法，其特征在于：所述获取对应的纹理色彩图像包括：
手机捕获功能通过使用“识别涂画卡”的四个角来实现，并在相机源中显示，捕获相机图像的四个角并将这四个角用于数学矩阵中。
9.一种虚拟图像用可读存储介质，其特征在于，其存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行根据权利要求1至8中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011090570.6A CN112215966A (zh) | 2020-10-13 | 2020-10-13 | 一种虚拟图像与现实的用户照片合影方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011090570.6A CN112215966A (zh) | 2020-10-13 | 2020-10-13 | 一种虚拟图像与现实的用户照片合影方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112215966A true CN112215966A (zh) | 2021-01-12 |
Family
ID=74053813
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011090570.6A Pending CN112215966A (zh) | 2020-10-13 | 2020-10-13 | 一种虚拟图像与现实的用户照片合影方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112215966A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114461064A (zh) * | 2022-01-21 | 2022-05-10 | 北京字跳网络技术有限公司 | 虚拟现实交互方法、装置、设备和存储介质 |
-
2020
- 2020-10-13 CN CN202011090570.6A patent/CN112215966A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114461064A (zh) * | 2022-01-21 | 2022-05-10 | 北京字跳网络技术有限公司 | 虚拟现实交互方法、装置、设备和存储介质 |
| CN114461064B (zh) * | 2022-01-21 | 2023-09-15 | 北京字跳网络技术有限公司 | 虚拟现实交互方法、装置、设备和存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107993216B (zh) | 一种图像融合方法及其设备、存储介质、终端 | |
| CN112241933B (zh) | 人脸图像处理方法、装置、存储介质及电子设备 | |
| CN110012209B (zh) | 全景图像生成方法、装置、存储介质及电子设备 | |
| CN111008985B (zh) | 全景图拼缝检测方法、装置、可读存储介质及电子设备 | |
| WO2019011091A1 (zh) | 拍照提醒方法、装置、终端和计算机存储介质 | |
| CN106233329A (zh) | 3d拉东图像的产生和使用 | |
| CN110853068B (zh) | 图片处理方法、装置、电子设备及可读存储介质 | |
| CN109474780A (zh) | 一种用于图像处理的方法和装置 | |
| CN114581611B (zh) | 虚拟场景构建方法以及装置 | |
| CN112434546A (zh) | 人脸活体检测方法及装置、设备、存储介质 | |
| CN109215069A (zh) | 目标物信息获取方法及装置 | |
| CN112541484B (zh) | 人脸抠图方法、系统、电子装置及存储介质 | |
| CN110493512B (zh) | 摄影构图方法、装置、摄影设备、电子装置及存储介质 | |
| CN111353965B (zh) | 图像修复方法、装置、终端及存储介质 | |
| CN109726613B (zh) | 一种用于检测的方法和装置 | |
| CN112532881A (zh) | 图像处理方法、装置和电子设备 | |
| CN114004890B (zh) | 姿态确定方法、装置、电子设备和存储介质 | |
| CN110267079B (zh) | 待播放视频中人脸的替换方法和装置 | |
| CN112215966A (zh) | 一种虚拟图像与现实的用户照片合影方法 | |
| CN110852132B (zh) | 一种二维码空间位置确认方法及装置 | |
| CN112381749A (zh) | 一种图像处理方法、图像处理装置和电子设备 | |
| WO2021035674A1 (zh) | 一种图像生成方法、设备、可移动平台及存储介质 | |
| CN111833456A (zh) | 图像处理方法、装置、设备及计算机可读存储介质 | |
| CN108270973B (zh) | 一种拍照处理方法、移动终端及计算机可读存储介质 | |
| CN115016688A (zh) | 虚拟信息显示方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20210112 |
|
| WD01 | Invention patent application deemed withdrawn after publication |