CN108492381A - 一种将实物颜色转换成3d模型贴图的方法及系统 - Google Patents

一种将实物颜色转换成3d模型贴图的方法及系统 Download PDF

Info

Publication number
CN108492381A
CN108492381A CN201810289184.6A CN201810289184A CN108492381A CN 108492381 A CN108492381 A CN 108492381A CN 201810289184 A CN201810289184 A CN 201810289184A CN 108492381 A CN108492381 A CN 108492381A
Authority
CN
China
Prior art keywords
screen
converted
color
coordinates
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810289184.6A
Other languages
English (en)
Inventor
罗龙
黄福利
钟金顺
Original Assignee
Guangzhou Ying Xin Education Technology Co Ltd
Three League Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Ying Xin Education Technology Co Ltd, Three League Polytron Technologies Inc filed Critical Guangzhou Ying Xin Education Technology Co Ltd
Priority to CN201810289184.6A priority Critical patent/CN108492381A/zh
Publication of CN108492381A publication Critical patent/CN108492381A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明公开了一种将实物颜色转换成3D模型贴图的方法，包括：将UV坐标导入Unity3D平台；实时采集目标景物的屏幕图像；获取屏幕图像并判断屏幕图像是否获取成功；若获取不成功，则调整采集位置；若获取成功，则通过滤罩遮挡保留需要的目标图像，根据UV坐标将目标图像转化为纹理并赋予3D模型对象。本发明还公开了一种将实物颜色转换成3D模型贴图的系统。采用本发明，可结合AR增强现实技术，将现实生活中的色彩信息赋予虚拟物体。

Description

一种将实物颜色转换成3D模型贴图的方法及系统
技术领域
本发明涉及图像处理技术领域，尤其涉及一种将实物颜色转换成3D模型贴图的方法及一种将实物颜色转换成3D模型贴图的系统。
背景技术
增强现实(Augmented Reality，简称AR)，是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。
AR技术向人类提供了一种在一般情况下不同于人类可以感知的信息。是将原本在现实世界中的一定的时间、空间范围内中极其难以体验到的一些实体信息(比如视觉信息，声音信息，味道信息，触觉信息，等等)，通过数字科学技术模拟仿真后(数字CG模型等等)再叠加到现实世界上被人类感官所感知，从而达到超越现实的一种感官体验。人类最后所感知到的是一个包括虚拟世界和真实世界共同存在的情景环境。用户用一种显示设备，将现实环境与虚拟对象融为一体，并体验到一个感官效果真实的新环境，其具有虚实结合，实时交互的新的特点。
近年来，伴随着AR技术的日趋成熟，国际众多知名公司纷纷试水：苹果、谷歌、微软、英特尔等众多高科技公司相继涌入AR领域，在智能显示技术、三维注册技术、人机交互技术不断发展的今天，引领了AR发展的潮流，形成了一个兼容并蓄的AR生态圈。
AR技术的认可推广，在一定程度上构建了我国AR行业的发展基础，依赖AR技术衍生的产品层出不穷，我国AR行业迎来了发展的春天。
AR增强现实开发公司表示，AR增强现实技术是科技的发展趋势，同样也代表了人们对未来便捷生活的憧憬，带来的跃然屏幕之上的全新交互体验，让人们未来生活的每一刻，惊艳绽放。
Unity3D是由Unity Technologies开发的一个让玩家轻松创建诸如三维视频游戏、建筑可视化、实时三维动画等类型互动内容的多平台的综合型游戏开发工具，是一个全面整合的专业游戏引擎。
Unity3D之截图技术方法使用Application类下的CaptureScreenshot方法实现，此方法截取的是某一帧时整个游戏的画面(即全屏截图)，但是，此方法不能针对某一个相机(camera)的画面进行截图，同时，对局部画面截图，实现起来不方便，效率也低，不建议在项目中使用。
因此，研发一种新技术以实现局部画面的截图以突破技术摄像机拍照的局限，将虚拟物体模型与真实环境相结合已成为亟待解决的问题。
发明内容
本发明所要解决的技术问题在于，提供一种将实物颜色转换成3D模型贴图的方法及系统，可结合AR增强现实技术，将现实生活中的色彩信息赋予虚拟物体。
为了解决上述技术问题，本发明提供了一种将实物颜色转换成3D模型贴图的方法，包括：将UV坐标导入Unity3D平台；实时采集目标景物的屏幕图像；获取屏幕图像并判断屏幕图像是否获取成功；若获取不成功，则调整采集位置；若获取成功，则通过滤罩遮挡保留需要的目标图像，根据UV坐标将目标图像转化为纹理并赋予3D模型对象。
作为上述方案的改进，所述获取屏幕图像的方法包括：通过GrabPass通道获取屏幕图像的纹理；通过GrabPass通道获取屏幕的宽高比例；通过shader计算屏幕的UV坐标。
作为上述方案的改进，所述通过shader计算屏幕的UV坐标的方法包括：根据透视除法变换到(0，1)的viewport坐标；分别乘以屏幕宽高，得到真实屏幕的像素坐标。
作为上述方案的改进，透视除法中的透视变换矩阵P的计算如下：
其中，n为近截面距离，f为远截面距离，2r为宽度，2t为高度。
作为上述方案的改进，所述根据UV坐标将目标图像转化为纹理并赋予3D模型对象的方法包括：将目标图像转化为纹理进行存储；当targetTexture＝null时，将将目标图像渲染至屏幕上。
相应地，本发明还提供了一种将实物颜色转换成3D模型贴图的系统，包括：导入模块，用于将UV坐标导入Unity3D平台；采集模块，用于实时采集目标景物的屏幕图像；处理模块，用于获取屏幕图像并判断屏幕图像是否获取成功；调整模块，用于获取不成功时，调整采集位置；贴图模块，用于获取成功时，通过滤罩遮挡保留需要的目标图像，根据UV坐标将目标图像转化为纹理并赋予3D模型对象。
作为上述方案的改进，所述处理模块包括：纹理获取单元，用于通过GrabPass通道获取屏幕图像的纹理；屏幕获取单元，用于通过GrabPass通道获取屏幕的宽高比例；坐标计算单元，用于通过shader计算屏幕的UV坐标；判断单元，用于判断屏幕图像是否获取成功。
作为上述方案的改进，所述坐标计算单元包括：第一计算单元，用于根据透视除法变换到(0，1)的viewport坐标；第二计算单元，用于分别乘以屏幕宽高，得到真实屏幕的像素坐标。
作为上述方案的改进，所述第一计算单元的透视除法中的透视变换矩阵P的计算如下：
其中，n为近截面距离，f为远截面距离，2r为宽度，2t为高度。
作为上述方案的改进，所述贴图模块包括：遮挡单元，用于通过滤罩遮挡保留需要的目标图像；存储单元，用于将目标图像转化为纹理进行存储；渲染单元，用于当targetTexture＝null时，将将目标图像渲染至屏幕上。：
实施本发明，具有如下有益效果：
本发明采用虚拟模型与现实图像结合的AR增强现实技术，从现实中的物体(如涂色绘本)上读取颜色，利用摄像机拍摄功能和自有研发的算法局部取色，转化成纹理贴图，赋予给虚拟物体；将现实生活中的色彩信息赋予虚拟物体的技术实现，让人们有个前所未有的魔幻体验。具体地，本发明具有以下有益效果：
(1)对应局部截图优化代码，提升效率同时解决现有技术摄像机拍照的局限，实现了普通手机局部拍照取色的技术突破；
(2)将扫描图通过算法转为贴图，这张贴图作为模型的UV，然后贴到虚拟模型上就可以实现了；
(3)建立了虚拟物体模型与真实环境的关系为目的，可让真实环境的色彩赋予给虚拟物体的技术。
附图说明
图1是本发明将实物颜色转换成3D模型贴图的方法的流程图；
图2是本发明中将模型展开到平面的示意图；
图3是本发明中实时采集目标景物的屏幕图像的示意图；
图4是本发明将实物颜色转换成3D模型贴图的系统的结构示意图；
图5是本发明中处理模块的结构示意图；
图6是本发明中坐标计算单元的结构示意图；
图7是本发明中贴图模块的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。仅此声明，本发明在文中出现或即将出现的上、下、左、右、前、后、内、外等方位用词，仅以本发明的附图为基准，其并不是对本发明的具体限定。
参见图1，图1显示了本发明将实物颜色转换成3D模型贴图的方法的流程图，其包括：
S101，将UV坐标导入Unity3D平台；
本发明可通过3Dmax等软件，将UV坐标导入Unity3D平台。
如图2所示，模型在制作贴图的时候都需要将模型展开到平面，在平面上模型每个顶点所对应的坐标就是纹理坐标了；而纹理贴图就是给这个平面上完颜色画完画所生成的图片。
S102，实时采集目标景物的屏幕图像；
如图3所示，被摄景物通过摄像头中的镜头，将景物的光学图像(反射光线)投射到传感器(Sensor)上，由传感器将光学图像信号转换成电信号，电信号经过一定的变换和处理后，再通过专用的接口(如今一般都是用MIPI接口，5M以下一般2lane，8M以上一般用4lane)被送到手机主板中的ISP进行处理，最终转换成手机屏幕上能够看到的图像，当拍照的时候，可以把照片经过一定的格式存储(一般JPG)在存储系统上。
S103，获取屏幕图像并判断屏幕图像是否获取成功；
需要说明的是，照片传递给shader的变量有3个：CameraImage的图片作为主纹理进行采样；_MATRIX_MVP矩阵作为ImageTarget的变换矩阵；图片和屏幕的宽高比关系进行校正。
具体地，所述获取屏幕图像的方法包括：
(1)通过GrabPass通道获取屏幕图像的纹理。Shader提供了GrabPass通道直接能够获取屏幕图像，存在_GrabTexture里，这样就不用从CameraImageAccess()中传递过来了。同时CameraImageAccess()函数中使用的Image类获取摄像机图像，不能应用于手机平台；而直接使用GrabPass通道后，可应用于手机平台，因此问题直接解决。
(2)通过GrabPass通道获取屏幕的宽高比例。通过GrabPass获取并进行采样的就是屏幕图像，而不是CameraImage，因此不需要对宽高比进行比例变换了，宽高比例关系也不需要从CameraImageAccess()中传递。
(3)通过shader计算屏幕的UV坐标。模型顶点UV坐标通过_MATRIX_MVP矩阵变换，不需要自己写语句变换到(0，1)范围，可直接采用shader自带的ComputeGrabScreenPos()函数，且包含了硬件平台的区别(比如纹理是否上下颠倒等)。
需要说明的是，ComputeScreenPos()和ComputeGrabScreenPos()的原理：这两个函数的输入参数是“模型顶点本地坐标经MVP矩阵变换后的坐标”pos，返回值是一个二维的窗口坐标o，这个窗口并非最终的屏幕，但是经过适当的变换则映射到最终的屏幕。
进一步，所述通过shader计算屏幕的UV坐标的方法包括：
(1)根据透视除法变换到(0，1)的viewport坐标；透视除法变换到(0,1)的viewport坐标，从函数源码的实际计算过程来看，不考虑offset的情况下，在外部计算o.x/o.w＝(pos.x+pos.w)/2pos.w得到的就是一个点在x方向上的比例。
(2)分别乘以屏幕宽高，得到真实屏幕的像素坐标。考虑offset的变换，在外部计算o.x/o.w＝(pos.x/2+pos.w/2*(1+1/w))/pos.w，再乘以屏幕宽度w，则得到的是一个点在x方向上的像素坐标+0.5，这不是进行多余两边裁剪的变换，而仅仅是往右往上分别偏移0.5个像素。最终这说明，MVP矩阵的变换一开始对应的就是屏幕坐标，而不是clip space，在进行P矩阵变换时，摄像机自动获取了屏幕空间。
具体地，透视除法中的透视变换矩阵P的计算如下：
其中，n为近截面距离，f为远截面距离，2r为宽度，2t为高度(或者是n、f、FOV、aspect ratio)。但在摄像机的Inspector面板里能找到其它三个参数，却找不到aspectratio的参数。实际上摄像机的aspect ratio大小是根据渲染对象的aspect ratio自动调整的，是通过camera.pixelWidth和camera.pixelHeight计算得到的。渲染对象可以是RenderTexture，也可以是屏幕。因此在C#程序中调用物理摄像头拍照，得到的图像是用的物理摄像头的aspect ratio；而将拍照内容渲染到屏幕上时，用的是屏幕的aspect ratio值。这样就解释了通过MVP矩阵变换后的坐标直接对应的是屏幕坐标。而物理相机是渲染到RenderTexture的图片中了，所以最终图片的分辨率是物理相机的分辨率。
S104，若获取不成功，则调整采集位置；
S105，若获取成功，则通过滤罩遮挡保留需要的目标图像，根据UV坐标将目标图像转化为纹理并赋予3D模型对象。
具体地，所述根据UV坐标将目标图像转化为纹理并赋予3D模型对象的方法包括：
(1)将目标图像转化为纹理进行存储；
(2)当targetTexture＝null时，将将目标图像渲染至屏幕上。
需要说明的是，通过Camera.targetTexture：(仅Unity专业版)一般情况下camera都直接渲染到screen，但在渲染到screen之前也可以把camera渲染到一个texture里存储。当targetTexture＝null时，camera再渲染到screen。配合使用的几个函数为：
(1)、OnPreCull()：Culling(消隐)决定哪些物体对相机来说是可见的，OnPreCull就在这个过程之前调用。注意：脚本被附加到camera上并且使能的时候，函数才起作用。
(2)、OnPreRender()：在camera开始渲染场景的第一帧之前调用(在OnPreCull之后)。
(3)、OnPostRender()：在camera渲染完场景后调用。
由上可知，本发明将3D模型的UV坐标展开，展开时按照图像的规范制作，导出.fbx文件到unity引擎，.fbx的模型文件会自带UV坐标到引擎内；将用于屏幕截屏形成纹理对应的坐标标识数据把截屏图作为纹理根据UV坐标计算赋给模型对象，从而实现了将实物颜色转换成3D模型贴图的目的。
参见图4，图4显示了本发明将实物颜色转换成3D模型贴图的系统100的结构示意图，其包括：
导入模块1，用于将UV坐标导入Unity3D平台；模型在制作贴图的时候都需要将模型展开到平面，在平面上模型每个顶点所对应的坐标就是纹理坐标了；而纹理贴图就是给这个平面上完颜色画完画所生成的图片。
采集模块2，用于实时采集目标景物的屏幕图像；被摄景物通过摄像头中的镜头，将景物的光学图像(反射光线)投射到传感器(Sensor)上，由传感器将光学图像信号转换成电信号，电信号经过一定的变换和处理后，再通过专用的接口(如今一般都是用MIPI接口，5M以下一般2lane，8M以上一般用4lane)被送到手机主板中的ISP进行处理，最终转换成手机屏幕上能够看到的图像，当拍照的时候，可以把照片经过一定的格式存储(一般JPG)在存储系统上。
处理模块3，用于获取屏幕图像并判断屏幕图像是否获取成功；
调整模块4，用于获取不成功时，调整采集位置；
贴图模块5，用于获取成功时，通过滤罩遮挡保留需要的目标图像，根据UV坐标将目标图像转化为纹理并赋予3D模型对象。
如图5所示，所述处理模块3包括：
纹理获取单元31，用于通过GrabPass通道获取屏幕图像的纹理；Shader提供了GrabPass通道直接能够获取屏幕图像，存在_GrabTexture里，这样就不用从CameraImageAccess()中传递过来了。同时CameraImageAccess()函数中使用的Image类获取摄像机图像，不能应用于手机平台；而直接使用GrabPass通道后，可应用于手机平台，因此问题直接解决。
屏幕获取单元32，用于通过GrabPass通道获取屏幕的宽高比例；通过GrabPass获取并进行采样的就是屏幕图像，而不是CameraImage，因此不需要对宽高比进行比例变换了，宽高比例关系也不需要从CameraImageAccess()中传递。
坐标计算单元33，用于通过shader计算屏幕的UV坐标；模型顶点UV坐标通过_MATRIX_MVP矩阵变换，不需要自己写语句变换到(0，1)范围，可直接采用shader自带的ComputeGrabScreenPos()函数，且包含了硬件平台的区别(比如纹理是否上下颠倒等)。
判断单元34，用于判断屏幕图像是否获取成功。
如图6所示，所述坐标计算单元33包括：
第一计算单元331，用于根据透视除法变换到(0，1)的viewport坐标；透视除法变换到(0,1)的viewport坐标，从函数源码的实际计算过程来看，不考虑offset的情况下，在外部计算o.x/o.w＝(pos.x+pos.w)/2pos.w得到的就是一个点在x方向上的比例。
第二计算单元332，用于分别乘以屏幕宽高，得到真实屏幕的像素坐标。考虑offset的变换，在外部计算o.x/o.w＝(pos.x/2+pos.w/2*(1+1/w))/pos.w，再乘以屏幕宽度w，则得到的是一个点在x方向上的像素坐标+0.5，这不是进行多余两边裁剪的变换，而仅仅是往右往上分别偏移0.5个像素。最终这说明，MVP矩阵的变换一开始对应的就是屏幕坐标，而不是clip space，在进行P矩阵变换时，摄像机自动获取了屏幕空间。
具体地，所述第一计算单元的透视除法中的透视变换矩阵P的计算如下：
其中，n为近截面距离，f为远截面距离，2r为宽度，2t为高度(或者是n、f、FOV、aspect ratio)。但在摄像机的Inspector面板里能找到其它三个参数，却找不到aspectratio的参数。实际上摄像机的aspect ratio大小是根据渲染对象的aspect ratio自动调整的，是通过camera.pixelWidth和camera.pixelHeight计算得到的。渲染对象可以是RenderTexture，也可以是屏幕。因此在C#程序中调用物理摄像头拍照，得到的图像是用的物理摄像头的aspect ratio；而将拍照内容渲染到屏幕上时，用的是屏幕的aspect ratio值。这样就解释了通过MVP矩阵变换后的坐标直接对应的是屏幕坐标。而物理相机是渲染到RenderTexture的图片中了，所以最终图片的分辨率是物理相机的分辨率。
如图7所示，所述贴图模块5包括：
遮挡单元51，用于通过滤罩遮挡保留需要的目标图像；
存储单元52，用于将目标图像转化为纹理进行存储；
渲染单元53，用于当targetTexture＝null时，将将目标图像渲染至屏幕上。
需要说明的是，通过Camera.targetTexture：(仅Unity专业版)一般情况下camera都直接渲染到screen，但在渲染到screen之前也可以把camera渲染到一个texture里存储。
由上可知，本发明采用虚拟模型与现实图像结合的AR增强现实技术，从现实中的物体(如涂色绘本)上读取颜色，利用摄像机拍摄功能和自有研发的算法局部取色，转化成纹理贴图，赋予给虚拟物体；将现实生活中的色彩信息赋予虚拟物体的技术实现，让人们有个前所未有的魔幻体验。具体地，本发明具有以下有益效果：
(1)对应局部截图优化代码，提升效率同时解决现有技术摄像机拍照的局限，实现了普通手机局部拍照取色的技术突破；
(2)将扫描图通过算法转为贴图，这张贴图作为模型的UV，然后贴到虚拟模型上就可以实现了；
(3)建立了虚拟物体模型与真实环境的关系为目的，可让真实环境的色彩赋予给虚拟物体的技术。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种将实物颜色转换成3D模型贴图的方法，其特征在于，包括：
将UV坐标导入Unity3D平台；
实时采集目标景物的屏幕图像；
获取屏幕图像并判断屏幕图像是否获取成功；
若获取不成功，则调整采集位置；
若获取成功，则通过滤罩遮挡保留需要的目标图像，根据UV坐标将目标图像转化为纹理并赋予3D模型对象。
2.如权利要求1所述的将实物颜色转换成3D模型贴图的方法，其特征在于，所述获取屏幕图像的方法包括：
通过GrabPass通道获取屏幕图像的纹理；
通过GrabPass通道获取屏幕的宽高比例；
通过shader计算屏幕的UV坐标。
3.如权利要求2所述的将实物颜色转换成3D模型贴图的方法，其特征在于，所述通过shader计算屏幕的UV坐标的方法包括：
根据透视除法变换到(0，1)的viewport坐标；
分别乘以屏幕宽高，得到真实屏幕的像素坐标。
4.如权利要求3所述的将实物颜色转换成3D模型贴图的方法，其特征在于，透视除法中的透视变换矩阵P的计算如下：
其中，n为近截面距离，f为远截面距离，2r为宽度，2t为高度。
5.如权利要求1所述的将实物颜色转换成3D模型贴图的方法，其特征在于，所述根据UV坐标将目标图像转化为纹理并赋予3D模型对象的方法包括：
将目标图像转化为纹理进行存储；
当targetTexture＝null时，将将目标图像渲染至屏幕上。
6.一种将实物颜色转换成3D模型贴图的系统，其特征在于，包括：
导入模块，用于将UV坐标导入Unity3D平台；
采集模块，用于实时采集目标景物的屏幕图像；
处理模块，用于获取屏幕图像并判断屏幕图像是否获取成功；
调整模块，用于获取不成功时，调整采集位置；
贴图模块，用于获取成功时，通过滤罩遮挡保留需要的目标图像，根据UV坐标将目标图像转化为纹理并赋予3D模型对象。
7.如权利要求6所述的将实物颜色转换成3D模型贴图的系统，其特征在于，所述处理模块包括：
纹理获取单元，用于通过GrabPass通道获取屏幕图像的纹理；
屏幕获取单元，用于通过GrabPass通道获取屏幕的宽高比例；
坐标计算单元，用于通过shader计算屏幕的UV坐标；
判断单元，用于判断屏幕图像是否获取成功。
8.如权利要求7所述的将实物颜色转换成3D模型贴图的系统，其特征在于，所述坐标计算单元包括：
第一计算单元，用于根据透视除法变换到(0，1)的viewport坐标；
第二计算单元，用于分别乘以屏幕宽高，得到真实屏幕的像素坐标。
9.如权利要求8所述的将实物颜色转换成3D模型贴图的系统，其特征在于，所述第一计算单元的透视除法中的透视变换矩阵P的计算如下：
其中，n为近截面距离，f为远截面距离，2r为宽度，2t为高度。
10.如权利要求6所述的将实物颜色转换成3D模型贴图的系统，其特征在于，所述贴图模块包括：
遮挡单元，用于通过滤罩遮挡保留需要的目标图像；
存储单元，用于将目标图像转化为纹理进行存储；
渲染单元，用于当targetTexture＝null时，将将目标图像渲染至屏幕上。
CN201810289184.6A 2018-03-30 2018-03-30 一种将实物颜色转换成3d模型贴图的方法及系统 Pending CN108492381A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810289184.6A CN108492381A (zh) 2018-03-30 2018-03-30 一种将实物颜色转换成3d模型贴图的方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810289184.6A CN108492381A (zh) 2018-03-30 2018-03-30 一种将实物颜色转换成3d模型贴图的方法及系统

Publications (1)

Publication Number Publication Date
CN108492381A true CN108492381A (zh) 2018-09-04

Family

ID=63317793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810289184.6A Pending CN108492381A (zh) 2018-03-30 2018-03-30 一种将实物颜色转换成3d模型贴图的方法及系统

Country Status (1)

Country Link
CN (1) CN108492381A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671147A (zh) * 2018-12-27 2019-04-23 网易（杭州）网络有限公司 基于三维模型的纹理贴图生成方法及装置
CN109741420A (zh) * 2018-12-29 2019-05-10 北京金山安全软件有限公司 一种区域填充方法、装置、电子设备及存储介质
TWI740275B (zh) * 2019-11-19 2021-09-21 國立臺北大學 擴增實境物件顯示裝置及擴增實境物件顯示方法
CN115272060A (zh) * 2022-08-12 2022-11-01 北京字跳网络技术有限公司 转场特效图的生成方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103337093A (zh) * 2013-06-07 2013-10-02 国家电网公司 一种基于Unity3D着色器实现三维机房实时温场效果的方法
CN106373187A (zh) * 2016-06-28 2017-02-01 上海交通大学 基于ar的二维图像转换至三维场景的实现方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103337093A (zh) * 2013-06-07 2013-10-02 国家电网公司 一种基于Unity3D着色器实现三维机房实时温场效果的方法
CN106373187A (zh) * 2016-06-28 2017-02-01 上海交通大学 基于ar的二维图像转换至三维场景的实现方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GAUSH: "《colAR mix解析(续)---作者：小山一览》", 9 December 2015 *
牟奇春等: "基于AR技术的"涂涂乐"儿童教育产品制作", 《电脑与信息技术》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109671147A (zh) * 2018-12-27 2019-04-23 网易（杭州）网络有限公司 基于三维模型的纹理贴图生成方法及装置
CN109671147B (zh) * 2018-12-27 2023-09-26 网易（杭州）网络有限公司 基于三维模型的纹理贴图生成方法及装置
CN109741420A (zh) * 2018-12-29 2019-05-10 北京金山安全软件有限公司 一种区域填充方法、装置、电子设备及存储介质
CN109741420B (zh) * 2018-12-29 2023-06-27 北京金山安全软件有限公司 一种区域填充方法、装置、电子设备及存储介质
TWI740275B (zh) * 2019-11-19 2021-09-21 國立臺北大學 擴增實境物件顯示裝置及擴增實境物件顯示方法
CN115272060A (zh) * 2022-08-12 2022-11-01 北京字跳网络技术有限公司 转场特效图的生成方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
EP3057066B1 (en) Generation of three-dimensional imagery from a two-dimensional image using a depth map
US20080246757A1 (en) 3D Image Generation and Display System
JP7007348B2 (ja) 画像処理装置
CN101422035B (zh) 光源推定装置、光源推定系统与光源推定方法以及图像高分辨率化装置与图像高分辨率化方法
US6717586B2 (en) Apparatus, method, program code, and storage medium for image processing
RU2586566C1 (ru) Способ отображения объекта
CN108492381A (zh) 一种将实物颜色转换成3d模型贴图的方法及系统
CN108475327A (zh) 三维采集与渲染
US11488348B1 (en) Computing virtual screen imagery based on a stage environment, camera position, and/or camera settings
CN101189643A (zh) 3d图像生成和显示系统
JP2006053694A (ja) 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体
JP2000503177A (ja) ２次元映像（ｍｏｔｉｏｎ ｐｉｃｔｕｒｅ）を３次元映像に変換する方法及び装置
CN109478344A (zh) 用于合成图像的方法和设备
CN107862718B (zh) 4d全息视频捕捉方法
US8619071B2 (en) Image view synthesis using a three-dimensional reference model
CN109791704B (zh) 用于自由运行fvv应用的基于多层uv映射的纹理渲染方法、系统和装置
CN107005689B (zh) 数字视频渲染
WO2023207452A1 (zh) 基于虚拟现实的视频生成方法、装置、设备及介质
CA2540538C (en) Stereoscopic imaging
KR20080034419A (ko) 3ｄ 영상 생성 및 디스플레이 시스템
Franke et al. Enhancing realism of mixed reality applications through real-time depth-imaging devices in x3d
CA3155612A1 (en) Method and system for providing at least a portion of content having six degrees of freedom motion
CN108540790A (zh) 一种用于移动终端的立体图像获取方法、装置及移动终端
JP4006105B2 (ja) 画像処理装置およびその方法
WO2022191070A1 (ja) ３ｄオブジェクトのストリーミング方法、装置、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20191009

Address after: 510000 room 2418, floor 24, no.102-2, Xianlie Middle Road, Yuexiu District, Guangzhou City, Guangdong Province

Applicant after: Guangzhou Ying Xin Education Technology Co., Ltd.

Address before: Room 206, room 1, No. 20, Taihe Gang Road, Yuexiu District, Guangzhou, Guangdong

Applicant before: Three league Polytron Technologies Inc

Applicant before: Guangzhou Ying Xin Education Technology Co., Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180904