CN107484428B - 用于显示对象的方法 - Google Patents

用于显示对象的方法 Download PDF

Info

Publication number
CN107484428B
CN107484428B CN201680018299.0A CN201680018299A CN107484428B CN 107484428 B CN107484428 B CN 107484428B CN 201680018299 A CN201680018299 A CN 201680018299A CN 107484428 B CN107484428 B CN 107484428B
Authority
CN
China
Prior art keywords
model
image
coordinates
texture
acquired image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201680018299.0A
Other languages
English (en)
Other versions
CN107484428A (zh
Inventor
维塔利·塔利耶维奇·埃弗亚诺夫
安德烈·瓦勒耶维奇·柯米萨罗夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Devar Entertainment Ltd
Original Assignee
"laboratory 24" Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by "laboratory 24" Co ltd filed Critical "laboratory 24" Co ltd
Publication of CN107484428A publication Critical patent/CN107484428A/zh
Application granted granted Critical
Publication of CN107484428B publication Critical patent/CN107484428B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G06T7/42—Analysis of texture based on statistical description of texture using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Probability & Statistics with Applications (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及用于处理和生成图像数据的技术以及用于可视化三维（3D）图像的技术。技术结果使在可视图像上描绘对象的照片图像或视频图像的真实纹理成为可能。根据所要求保护的方法，生成3D模型，产生对象的照片图像或视频图像，可视化3D模型，3D模型连同参考图案以及纹理化部分的坐标一起被存储在显示设备的存储器中，该纹理化部分的坐标对应于3D模型的多边形，产生对象的照片图像或视频图像的至少一个帧，基于参考图案识别帧中的对象，如果存在多于一个帧，从图像质量的角度从帧中作出选择，生成将照片图像坐标转换成专用坐标的矩阵，通过使用坐标变换矩阵和数据内插来生成图像感应区域的纹理给3D模型的元素着上照片图像的相应元素的颜色，然后，指定3D模型的纹理。

Description

用于显示对象的方法
技术领域
本发明涉及图像数据的处理和生成、图像及其纹理的分析以及3D（三维）图像的呈现，包括3D图像的纹理显示。
背景技术
最相近的技术本质是以实时尺度生成纹理的方式，包括以下步骤：获取观察者的位置；计算视场；确定用于可视化所要求的分辨率；获取主题对象的位置地图；获取主题对象的参数；形成主题对象掩模；从主题对象接收影像数据；制备主题对象的主题纹理；用掩模对主题对象进行纹理化；把纹理化的主体对象放置在纹理图上；获取3D对象的图像的位置地图；获取3D对象参数；确定对象的类型；形成3D对象模型；获取3D对象的纹理；对3D对象进行纹理化；对3D对象进行呈现；形成3D对象的图像的掩模；形成3D对象的点元素图像或助记图像；形成3D对象的点元素图像掩模或助记图像掩模；将3D对象图像放置在纹理图上，以及进行可视化（见RU 2295772 C1, cl. G06T 11/60）。
已知方法能够被实施，用于地形的形貌图像的可视化，已知方法使用主题对象的参数数据以构成它们的图像的纹理。
已知方法的缺点在于有条件的纹理的有界集为每个特定对象而被提前限定。已知方法不提供输出图像的对象表面的真实图片的传送。
发明内容
在此获得的技术结果在于提供显示输出图像的能力，该输出图像具有照片或视频图像的真实纹理，通过消除对存储对象的参考纹理的数据库的需要来简化实施方案，使在2D对象上不可视的3D模型区域纹理化。
所述结果由根据选项1的显示对象的方法来实现，该方法包括：形成3D模型，获取对象的照片或视频图像，可视化3D模型，将3D模型连同参考图像和纹理化片段的坐标一起存储在显示设备的存储器中，该纹理化片段的坐标对应于3D模型的多边形；基于参考图像接收对象的至少一个图像或图像视频帧，基于参考图像在帧上识别对象，如果有多于一个帧，则基于图像质量进行选择，形成变换矩阵，该变换矩阵适于将照片图像的坐标转换成它自己的坐标，通过形成正在被扫描的图像区域的纹理来给3D模型的元素绘制上相应的照片元素的颜色，进一步使用坐标变换矩阵和内插数据，然后设置3D模型的纹理，使得相应的多边形根据在纹理化阶段确定的坐标而被相应的纹理区域所覆盖，不存在于对象的照片图像上的3D模型的至少一些部分根据预先确定的顺序被纹理化，其中对象是二维的或被感知为二维图像， 相对于该二维图像的至少部分形成3D模型，使用增强现实工具和/或计算机视觉算法在视频流上将3D模型可视化。
此外，形成由多边形表示的3D模型；
形成坐标变换矩阵，以将照片图像坐标转换成它自己的坐标，即笛卡尔（Decart）坐标，该笛卡尔坐标以坐标轴的正交性为特征；
其中，不存在于对象的图像上的3D模型的片段是图像细节的背面的部分；
其中，根据预先确定的顺序对3D模型进行的纹理化包括生成纹理坐标，使得模型的背面的区域与正面的相应片段在纹理上具有相同的坐标；
其中，不存在于对象的图像上的3D模型的片段基于图像可视部分的数据外推而被纹理化；
其中，3D模型是动画式的；
其中，被感知为二维图像的对象是在曲面上被执行的图形图像。
技术结果提供在输出图像上显示对象照片或视频图像的真实纹理的能力，为儿童提供在绘图程序中的训练能力，通过消除对存储对象的参考纹理数据库的需要来简化实施方案，使在2D对象上不可视的3D模型纹理化，以及通过为未经训练的用户提供将通常技术用于绘制3D模型的可能来简化使用纹理化过程。
根据选项2来显示对象以实现所述结果，包括：形成3D模型，获取对象的照片或者视频图像，将3D模型连同参考图像和纹理化片段的坐标一起保存在显示设备的存储器中，该纹理化片段的坐标对应于3D模型的范围，获取对象的至少一个图像或视频图像帧，根据参考图像在帧上识别对象，如果有多于一个帧，则根据图像质量来进行选择，形成坐标变换矩阵，该坐标变换矩阵适用于将照片图像坐标转换成自己的图像坐标，使用坐标变换矩阵在预先确定的影像图像点进行颜色扫描，在此基础上通过确定3D模型材料的颜色来给3D模型的元素绘制上相应的照片元素，然后将颜色分配至相应的3D模型材料，从对象的照片图像消失的3D模型的至少一些部分根据预先确定的顺序而被纹理化。对象是二维的或被感知为二维图像，则相对于该二维图像的至少部分来形成3D模型，使用增强现实工具和/或计算机视觉算法在系列视频帧上呈现3D模型。
此外，形成由多边形表示的3D模型；
形成变换矩阵，该变换矩阵用于将照片图像的坐标转换成它自己的坐标，即笛卡尔（Decart）坐标，该笛卡尔坐标以坐标轴的正交性为特征；
其中，不存在于对象的图像上的3D模型的片段是图像细节的背面的部分；
其中，根据预先确定的顺序对3D模型进行纹理化意为以这样的方式生成纹理坐标，该方式为模型的背面的区域与正面的相应片段在纹理上具有相同的坐标；
其中，不存在于对象的图像上的3D模型的片段基于图像的可视部分的数据外推而被纹理化；
其中，3D模型是动画式的；
其中，被感知为二维图像的对象是在曲面上执行的图形图像。
附图说明
图1描绘基于PC的显示设备和远程服务器的框图，远程服务器用于存储参考图像和在示例2中描述的3D模型。
图2示出原始对象的图像，该原始对象的图像为上色前的二维图形图像，对应于对象的参考图像。
图3是绘制好的原始图形图像，以及在显示设备的屏幕上呈现、在图片的屏幕上可视化的3D模型。
图4 是显示设备的计算辅助工具的框图。
以下附图标记被用于附图中：1-视频摄像机或相机，2-计算机辅助工具，3-服务器，4-监视器，5-因特网，6-输入初始数据：3D模型、纹理坐标、参考图像、视频流，7-视频流分析，8-验证视频流包含参考图像的条件，9-帧分析，10-验证成帧条件，11-生成考虑到坐标变换矩阵的照片图像，12-在分配的片段中纹理扫描-纹理化片段，13-进入视频摄像机，检查在视频图像上的对象的识别条件，14-输出至监视器，在视频上可视化3D模型，15-程序结束，16-打印机，17-原始对象-二维图形图像，18-用户绘制的二维图形图像，19-显示设备（智能手机），20-在监视器显示设备上可视化的3D模型，21-可视化的3D模型背景部件。
具体实施方式
显示对象的方法，该对象包括根据选项1的二维图像，该方法包括按顺序进行以下操作：形成对象的参考图像并将该对象的参考图像存储在显示设备的存储器中，该对象的参考图像具有纹理化区域且由3D模型多边形表示，其中所述多边形的坐标对应于纹理化区域的坐标；接收对象的至少一个图像帧或视频帧；基于参考图像，在照片图像上识别对象；选择满足图像质量要求（如清晰度、细节、信噪比等）的帧；形成坐标变换矩阵，该坐标变换矩阵用于将照片图像的坐标转换成它自己的坐标，其系统正交地指向坐标轴；通过使用坐标变换矩阵和数据内插来形成图像扫描区域的图像纹理，给3D模型元素绘制上相应照片元素的颜色；接着用扫描区域的获取的图像来替换3D模型结构，使得相应的多边形根据在纹理化阶段预先形成的坐标而被各自的纹理化区域所覆盖。然后，呈现3D模型可视化。同时，3D模型的至少一些部分（如图案的背面的部分）根据预先确定的顺序被绘制，并且相对于该二维图像的至少部分形成3D模型，例如，相对于最重要的聚合多个图像。
识别之后，从扫描数据的角度，在捕捉到的帧中选择具有最多信息的帧。这样的帧能够是具有最清晰图像、最多细节等的帧。使用增强现实和/或计算机视觉算法在视频（视频流）上实现3D模型的可视化。
根据预先确定的顺序绘制3D模型包括以这样的方式生成纹理坐标，该方式为模型的背面的区域与正面的相应片段在纹理上具有相同的坐标；或者基于图像的可视部分的数据外推来对模型的背面的片段进行上色。
3D模型是动画式的。
根据选项1的显示对象的方法如下工作。用于显示的对象是图形的二维对象，如图画、图表、示意图、地图等等。该方法假设，通过显示设备的计算装置，在照片图像上识别图形对象的过程，该显示设备配置有录像机、相机或其他扫描设备，以及监视器。这样的设备能够是移动电话、智能手机、平板电脑、个人电脑等。
二维对象的圆（即标记）事先被创建，且与由多边形表示的、曲线相关（plot-related）的3D模型以及参考图像并置。每个二维图像与一个参考图像和一个3D模型关联，该一个参考图像和一个3D模型被存储在显示设备的存储器中。参考图像被用于对象的识别以及坐标变换矩阵的形成。3D模型被绘制后，该3D模型在特定的背景上被可视化，该特定的背景能够是视频摄像机输出时形成的视频流，或者是为对象拍照后接收到的照片图像，或者是其他背景。
3D模型的形成包括生成纹理坐标的过程。
通过将对象的照片图像与其参考图像比较来进行识别，其参考图像也被存储在显示设备的存储器中。当照片图像的相关系数的阈值以及其中一个参考图像的相关系数的阈值溢出时，认为图像被识别，或者使用其它已知的识别算法。
对象摄入能够在角度和距离的特定范围内进行，这样在照片图像上识别对象之后，形成照片图像坐标和自己的坐标的相关矩阵（即坐标变换矩阵），该相关矩阵以坐标轴正交性为特征。
纹理化、并置至相应的3D模型多边形的片段的坐标被储存在显示对象的设备的存储器中。
识别对象后，基于坐标变换矩阵的值和数据内插来形成图像扫描区域的纹理。然后，3D纹理图案被分配至被扫描区域的获取的图像，使得相应的范围根据在纹理化阶段预先形成的坐标而被相应的纹理区域所覆盖。
3D模型的纹理化假设将纹理分配至一个或多个3D模型材料。3D模型的材料包括根据被普遍接受的公约而被识别的信息集合，该信息集合与显示模型的碎片的方式有关且被分配至该模型。3D模型的材料可包括纹理、颜色等。
3D模型的纹理化过程还包括将颜色转移至在2D图形图像上不可视的3D模型的部分，例如，这样的“不可视”部分能够是图像元素的背面、其侧视图、俯视图或仰视图。将这样的“不可视”部分的颜色转移至3D模型的多边形，例如，基于在两侧的3D模型的对称构造化，或者给“不可视”区域绘制上更深的色调，或者基于其他算法（包括使用外推方法）。
3D模型纹理化后，即创建3D模型的纹理坐标后，3D模型立刻或者在用户的指令下被显示在显示设备的监视屏上。
输出图像包括视频图像，在该视频图像处，模型（包括动画模型）被画在背景上，该背景例如是从视频摄像机接收到的视频（视频流），使得其真实存在的设计被创建。
因此，显示对象的方法允许用户将纹理应用于虚拟对象，该纹理以照相机或视频摄像机的方式从真实空间中扫描得到。在可视化的过程中，用户被给予在空间中控制模型的机会，即旋转、移动、缩放等，包括通过移动显示设备的输入设备，或者通过在视频摄像机的焦距中使用手势。
显示设备的计算装置基于处理器而被制成，并且含有用于存储处理器的操作程序和必要数据的存储器，该必要数据包括参考图像和3D模型。
显示对象的方法，该对象是根据选项2的二维图像，该方法包括按顺序进行以下操作：形成对象的参考图像并将对象的参考图像存储在设备的存储器中，该对象的参考图像具有被纹理化的区域和由多边形表示的3D模型，其中所述多边形的坐标对应于被纹理化的区域的坐标；接收对象的至少一个图像帧或视频图像；基于参考图像在所述照片图像上识别对象；选择满足图像质量要求（如清晰度、细节、信噪比等）的帧；形成矩阵，该矩阵用于将照片图像的坐标转换成它自己的坐标，其中坐标轴正交；使用坐标变换矩阵在预先确定的影像图像点进行颜色扫描，基于该颜色扫描，通过确定3D模型的色材的颜色来给3D模型元素绘制上相应的照片元素的颜色；且然后将颜色分配至相应的3D模型材料。然后实施3D模型可视化。
同时，根据预先确定的顺序绘制3D模型的至少一些片段（如图片背面的片段），并且相对于该二维图像的至少部分形成3D模型，例如，相对于最重要的聚合多个图像。
识别之后，从扫描的角度，在捕捉到的帧中选择具有最多信息的帧。这样的帧能够是具有最清晰图像、最多细节的帧。
使用增强现实和/或计算机视觉算法在视频（视频流）上进行3D模型的可视化。
根据预先确定的顺序实施绘制3D模型，并作为以这样的方式生成纹理坐标，该方式为模型的背面的区域与正面的相应片段在纹理上具有相同的坐标，或者基于可视图像部分的数据外推对模型的背面的片段进行上色。
3D模型被实施为动画式的。
显示根据选项2的对象的方法如下工作。用于显示的对象是图形的二维对象，如图画、图表、示意图、地图等。该方法假设，通过显示设备的计算装置，在照片图像上识别图形对象的过程，该显示设备配置有录像机、相机或其他扫描设备，以及配置有监视器。这样的设备能够是移动电话、智能手机、平板电脑、个人电脑等。
以二维图像的形式的对象的圆（即标记）事先被创建，且与相应的三维模型（3D模型）以及参考图像并置，该三维模型由多边形表示。每个二维图像与一个参考图像和一个3D模型关联，该一个参考图像和一个3D模型被储存在显示设备的存储器中。参考图像被用于识别对象和形成坐标变换矩阵。绘制后，3D模型在特定的背景上被可视化，该特定的背景能够是在摄像机输出时形成的视频流，或者是为对象拍照后接收到的照片图像，或者是不同的背景。
3D模型的形成包括生成纹理坐标的过程。通过将对象的照片图像与其参考图像比较来进行识别，该参考图像也被存储在显示设备的存储器中，其中，当照片的照片图像相关系数的阈值以及其中一个参考图像的相关系数的阈值溢出时，应该认为照片图像被识别，或者使用其它已知的识别算法。
对象摄入能够在角度和距离的特定范围内进行，从而在照片图像上识别对象之后，形成照片图像坐标和自身坐标的比率矩阵（即坐标变换矩阵），该比率矩阵以坐标轴正交性为特征。
纹理化片段的坐标被存储在用于该对象的显示设备的存储器中，相应的3D模型范围被映射至该纹理化片段。
识别对象后，基于坐标变换矩阵的值和数据内插形成图像扫描区域的纹理。然后，特定区域的颜色在照片图像上被识别，而且由于这些片段和3D模型范围之间的刚性连接，3D模型的表面颜色的结构变得与被感应的对象的颜色相适应，所以未使用纹理而直接分配至模型的片段的材料被直接绘制出来。
3D模型纹理化包括将纹理分配至一个或多个3D模型材料。3D模型的材料包括根据普遍被接受的公约而被识别的信息集合，该被识别的信息集合与显示模型的碎片的方式有关且被分配至该模型。3D模型的材料可包括纹理、颜色等。
3D模型纹理化的过程包括将颜色转移至在2D图形图像上不可视的3D模型的部分，例如，这样的“不可视”部分能够是图像元素的背面、其侧视图、俯视图或仰视图。将给“不可视”部分所上的颜色转移到3D模型的范围，例如基于从两侧的3D模型的对称构造化，或者给“不可视”部分绘制上更深的色调，或者基于其他算法，包括使用外推方法。
3D模型纹理化后，即创建3D模型的纹理坐标后，3D模型立刻或者在用户的指令下被显示在显示设备的监视屏上。
输出图像为视频图像，在该视频图像上，模型（包括动画模型）被画在背景上（如从视频摄像机接收到的视频（视频流）），使得其真实存在的设计被创建。
因此，显示对象的方法允许用户将纹理应用于虚拟对象，该纹理以照相机或视频摄像机的方式从真实空间中被感应到。
在可视化的过程中，用户被给予在空间中控制模型（即旋转、移动、缩放等）的机会，包括通过移动显示设备的输入设备，或者通过在视频摄像机的焦距中使用手势。
用于实施根据选项1或2任一的方法的显示设备的计算装置为基于处理器的，并且含有用于存储处理器操作程序和必要数据的存储器，该必要数据包括参考图像和3D模型。
处理器操作程序的框图在图4示出并包括以下主要元素。存储于存储器中、用于程序的初始数据6包括预先形成的3D模型、纹理坐标、对象的参考图像以及在视频摄像机输出时形成的视频流。这里使用的术语“视频流”等同于术语“视频系列”。程序分析视频流，以便选择符合图像清晰度、成帧（framing）、曝光、焦距等要求的帧或多个帧。帧被分类和分析，直至符合特定要求的帧被找到，该分析在两个阶段中顺序地进行。首先，7、8：从视频序列中选择包含将要被显示的对象的帧，在该帧上对象被识别，然后9、10：从所选的帧组中选择符合精度和框架要求的帧。
接着，形成坐标变换矩阵11，将照片图像帧的坐标应用于对象的严格正视图的笛卡尔坐标。扫描在指定的纹理化区域中的纹理坐标。将材料分配至3D模型纹理坐标12。为了在帧中是否存在对象，分析来自摄像机输出的视频流，如果存在，该模型在视频流（视频序列）上被可视化，该视频流从摄像机输出中获得。
一旦不再在视频帧上识别对象，程序就被终止。
可选地，除了终止程序，能够进行以下操作：返回程序的开始，或者将设备切换到短暂待机模式以等待识别的事实，或者通知用户对象图像获取丢失，或者其他操作。
实施例1
对象包括来自儿童的轮廓着色图的显影组的图画，该图画为简笔画（图2），该简笔画包括画在标准图纸上的矩形轮廓线，具有用于着色的绘画元素。每张图画包括一个或多个主要元素和次要背景元素，作为准则，该一个或多个主要元素位于纸张的中心部位，次要背景元素位于边缘。
每一张图画与预先创建的参考图像、对象的颜色检测区域的坐标以及具有选择的范围的动画3D模型关联，该动画3D模型通过多边形对应于这些区域。3D模型反应图画的主要元素的立体视觉，该立体视觉与图像中的这些元素的坐标相关联。
显示设备为智能手机，该智能手机配备有视频摄像机、带有相应软件的计算装置、监视器等。
轮廓图画被用户着色后，智能手机被放置，使得整张图片适于帧，给图片拍照或录像。智能手机使用计算装置直接在所选的帧上识别图像，也就是说智能手机找到对应于图像的、预先创建的3D模型，并选择具有最多信息的帧，如果重复多次，也会形成在照片图像上图像元素的坐标矩阵，该坐标矩阵对应于在笛卡尔体系中它自己的坐标。结果，绘制好的图画的颜色识别区域的坐标与在照片图像上相应片段的坐标匹配。
在照片图像上扫描绘制好的区域的颜色，经过必要的分析后，匹配和颜色校正将片段的着色转移至相应的3D模型多边形，也就是说，获取的颜色被直接分配至模型材料。
下一步是3D模型的可视化（图3），该3D模型显示在背景上，通过图片的次要元素在照片图像上形成，或者通过智能手机的捕捉装置获取的视频序列形成。该3D模型能够被制成可移动的，并具有没有在图中显示的额外元素。
呈现的3D模型是互动的，能回应用户的操作。
实施例2
显示设备包括个人电脑和远程服务器，该个人电脑已经连接网络摄像头和监视器（图1）。监视器或显示器可以是任何可视化设备，包括投影仪或全息图形成设备。对象的参考图像和3D模型被存储在远程服务器上，在显示图形二维对象期间该远程服务器被访问。
在识别过程中的计算通过个人电脑的方式进行，在个人电脑的帮助下，3D模型的材料还被着色和呈现。
电脑通过因特网或其它网络（包括本地网络）被连接至服务器。
映射过程如下进行。用户通过因特网访问相应的网站，该网站包含用于打印和后续着色的主题图集。该网站被提供有合适的界面，该界面用于访问参考图像并储存这些图像和对应于图集中的图案的3D模型。
用户在打印机的帮助下在他的端口打印所选的图集，并给他喜欢的图画着色。用户还能够以不同的方式获取打印好的图画，例如通过时事通讯。进一步，在网站的界面中，用户以这样的方法指导网络摄像头，该方式为绘制好的图片的主要部分被包含在帧内。执行程序的合适指令的用户的电脑访问远程服务器，该用户的电脑从远程服务器中接收用于识别的图画的参考图像。图案的识别完成后，通过个人电脑的方式生成坐标变换矩阵，所述程序供给要被感应的图案的已绘制区域的颜色，以及供给要被分配的相应3D模型材料的颜色。
纹理化的3D模型的图像在视频序列的背景上被输出至监视器，该视频序列从网络摄像头输出中获取。显示对象的方法能够通过使用标准设备和部件而被实施，该标准设备和部件包括基于计算机的装置和它们之间的通信装置，该基于计算机的装置为基于处理器、照相机和/或视频摄像机、监视器或其它可视化设备。
因此，根据选项1或2任一的显示对象的方法提供在输出图像上显示照片或视频图像的真实纹理的能力，为儿童提供在绘图程序上的训练能力，通过消除存储任何参考对象纹理的基础的需要来简化实施方案，提供将2D对象上不可视的3D模型的区域纹理化的能力。该方法还通过为未经训练的用户提供将常见的技术应用于绘制3D模型的能力来简化纹理化过程的使用。

Claims (14)

1.一种用于在计算装置上显示虚拟对象的方法，该计算装置包括存储器、照相机和显示器，所述存储器适于存储至少一个参考图像和至少一个3D模型，所述方法包括：
初始形成参考图像，将该参考图像存储在存储器中，该参考图像具有纹理化区域，
初始形成3D模型，该3D模型与参考图像关联，将该3D模型存储在存储器中，
从照相机获取图像，
基于参考图像在获取的图像上识别虚拟对象，
形成转换矩阵，该转换矩阵用于将获取的图像的坐标与3D模型的坐标并置，
将获取的图像的纹理化片段的坐标并置至3D模型的相应片段，
通过使用转换矩阵来确认获取的图像的相应片段的颜色，形成获取的图像的相应片段的纹理，
使用获取的图像的相应片段的颜色和纹理绘制3D模型的片段，以及
使用增强现实工具和/或计算机视觉算法在视频流上显示3D模型。
2.根据权利要求1所述的方法，其中3D模型由多边形表示；以及
转换矩阵适于将获取的图像的纹理化片段的坐标与3D模型的相应多边形的坐标并置。
3.根据权利要求1所述的方法，还包括步骤：
通过转换矩阵的内插数据来形成在获取的图像上不可视的3D模型的部分；
根据确定的坐标，用相应片段的纹理覆盖3D模型的相应多边形来将纹理应用至3D模型，其中在获取的图像上不可视的3D模型的至少一些部分根据预先确定的顺序被绘制。
4.根据权利要求3所述的方法，其中在接收的图像上不可视的3D模型的部分表示虚拟对象的背面；和/或
其中在对象的接收的图像上不可视的3D模型的部分，基于可视的接收的图像的部分的外推而被纹理化。
5.根据权利要求1所述的方法，其中转换矩阵适于将照片图像坐标转换成3D模型的笛卡尔坐标，所述坐标以坐标轴的正交性为特征。
6.根据权利要求1所述的方法，其中3D模型是动画式的；和/或
其中虚拟对象是在曲面上制成的图形图像。
7.根据权利要求1所述的方法，其中获取的图像包括视频帧，该视频帧基于视频帧图像的质量从视频流中被选取。
8.一种适于显示虚拟对象的计算装置，所述计算装置包括存储器、照相机和显示器，所述存储器适于存储至少一个参考图像和至少一个3D模型，其中每个参考图像与3D模型关联，所述计算装置适于：
初始形成参考图像，将该参考图像存储在存储器中，该参考图像具有纹理化区域，
初始形成3D模型，该3D模型与参考图像关联，将该3D模型存储在存储器中，
从照相机中获取图像，
基于参考图像在获取的图像上识别虚拟对象，
形成转换矩阵，该转换矩阵用于将获取的图像的坐标与3D模型的坐标并置，
将获取的图像的纹理化片段的坐标并置至3D模型的相应片段，
通过使用转换矩阵来确认获取的图像的相应片段的颜色，形成获取的图像的相应片段的纹理，
使用获取的图像的相应片段的颜色和纹理绘制3D模型的片段，以及
使用增强现实工具和/或计算机视觉算法在视频流上显示3D模型。
9.根据权利要求8所述的计算装置，其中3D模型由多边形表示；以及
其中转换矩阵适于将获取的图像的纹理化片段的坐标与3D模型的相应多边形的坐标并置。
10.根据权利要求8所述的计算装置，还适于：
通过转换矩阵的内插数据来形成在获取的图像上不可视的3D模型的部分；
根据确定的坐标，用相应片段的纹理覆盖3D模型的相应多边形来将纹理应用至3D模型，其中在获取的图像上不可视的3D模型的至少一些部分根据预先确定的顺序被绘制。
11.根据权利要求10所述的计算装置，其中在接收的图像上不可视的3D模型的部分表示虚拟对象的背面；以及
其中在对象的接收的图像上不可视的3D模型的部分，基于可视的接收的图像的部分的外推而被纹理化。
12.根据权利要求8所述的计算装置，其中转换矩阵适于将照片图像坐标转换成3D模型的笛卡尔坐标，所述坐标以坐标轴的正交性为特征。
13.根据权利要求8所述的计算装置，其中3D模型是动画式的；以及其中虚拟对象是在曲面上执行的图形图像。
14.根据权利要求8所述的计算装置，其中获取的图像包括视频帧，该视频帧基于视频帧图像的质量从视频流中被选取。
CN201680018299.0A 2015-03-25 2016-02-25 用于显示对象的方法 Expired - Fee Related CN107484428B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
RU2015111132 2015-03-25
RU2015111132/08A RU2586566C1 (ru) 2015-03-25 2015-03-25 Способ отображения объекта
PCT/RU2016/000104 WO2016153388A1 (ru) 2015-03-25 2016-02-25 Способ отображения объекта

Publications (2)

Publication Number Publication Date
CN107484428A CN107484428A (zh) 2017-12-15
CN107484428B true CN107484428B (zh) 2021-10-29

Family

ID=56115496

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680018299.0A Expired - Fee Related CN107484428B (zh) 2015-03-25 2016-02-25 用于显示对象的方法

Country Status (6)

Country Link
US (1) US20180012394A1 (zh)
EP (1) EP3276578A4 (zh)
KR (1) KR102120046B1 (zh)
CN (1) CN107484428B (zh)
RU (1) RU2586566C1 (zh)
WO (1) WO2016153388A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10397555B2 (en) * 2017-08-25 2019-08-27 Fourth Wave Llc Dynamic image generation system
CA3086117A1 (en) * 2017-12-22 2019-06-27 Sr Labs S.R.L. Mapping method and system for mapping a real environment
US11282543B2 (en) * 2018-03-09 2022-03-22 Apple Inc. Real-time face and object manipulation
CN109191369B (zh) * 2018-08-06 2023-05-05 三星电子（中国）研发中心 2d图片集转3d模型的方法、存储介质和装置
CN109274952A (zh) * 2018-09-30 2019-01-25 Oppo广东移动通信有限公司 一种数据处理方法、mec服务器、终端设备
CN109446929A (zh) * 2018-10-11 2019-03-08 浙江清华长三角研究院 一种基于增强现实技术的简笔画识别系统
US11068325B2 (en) * 2019-04-03 2021-07-20 Dreamworks Animation Llc Extensible command pattern
US10891766B1 (en) 2019-09-04 2021-01-12 Google Llc Artistic representation of digital data
JP7079287B2 (ja) * 2019-11-07 2022-06-01 株式会社スクウェア・エニックス 鑑賞システム、モデル構成装置、制御方法、プログラム及び記録媒体
CN111182367A (zh) * 2019-12-30 2020-05-19 苏宁云计算有限公司 一种视频的生成方法、装置及计算机系统
CN111640179B (zh) * 2020-06-26 2023-09-01 百度在线网络技术（北京）有限公司 宠物模型的显示方法、装置、设备以及存储介质
CN111882642B (zh) * 2020-07-28 2023-11-21 Oppo广东移动通信有限公司 三维模型的纹理填充方法及装置
CN113033426B (zh) * 2021-03-30 2024-03-01 北京车和家信息技术有限公司 动态对象标注方法、装置、设备和存储介质
WO2023136366A1 (ko) * 2022-01-11 2023-07-20 엘지전자 주식회사 증강현실 서비스를 제공하는 장치 및 방법
CN114071067B (zh) * 2022-01-13 2022-03-29 深圳市黑金工业制造有限公司 一种远程会议系统和远程会议中的实物展示方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887589A (zh) * 2010-06-13 2010-11-17 东南大学 一种基于立体视觉的实拍低纹理图像重建方法
CN104268922A (zh) * 2014-09-03 2015-01-07 广州博冠信息科技有限公司 一种图像渲染方法及图像渲染装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999015945A2 (en) * 1997-09-23 1999-04-01 Enroute, Inc. Generating three-dimensional models of objects defined by two-dimensional image data
RU2216781C2 (ru) * 2001-06-29 2003-11-20 Самсунг Электроникс Ко., Лтд Основанные на изображениях способ представления и визуализации трехмерного объекта и способ представления и визуализации анимированного объекта
WO2006011153A2 (en) * 2004-07-30 2006-02-02 Extreme Reality Ltd. A system and method for 3d space-dimension based image processing
US7542034B2 (en) * 2004-09-23 2009-06-02 Conversion Works, Inc. System and method for processing video images
US7415152B2 (en) * 2005-04-29 2008-08-19 Microsoft Corporation Method and system for constructing a 3D representation of a face from a 2D representation
RU2295772C1 (ru) * 2005-09-26 2007-03-20 Пензенский государственный университет (ПГУ) Способ генерирования текстуры в реальном масштабе времени и устройство для его реализации
EP1983425A4 (en) * 2006-02-01 2009-03-18 Fujitsu Ltd OBJECTRELATION DISPLAY PROGRAM AND OBJECTRELATION DISPLAY PROCEDURE
KR100914845B1 (ko) * 2007-12-15 2009-09-02 한국전자통신연구원 다시점 영상 정보를 이용한 물체의 삼차원 형상복원 방법및 장치
US8644551B2 (en) * 2009-10-15 2014-02-04 Flyby Media, Inc. Systems and methods for tracking natural planar shapes for augmented reality applications
RU2453922C2 (ru) * 2010-02-12 2012-06-20 Георгий Русланович Вяхирев Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции (варианты)
US9542773B2 (en) * 2013-05-23 2017-01-10 Google Inc. Systems and methods for generating three-dimensional models using sensed position data
US9652895B2 (en) * 2014-03-06 2017-05-16 Disney Enterprises, Inc. Augmented reality image transformation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101887589A (zh) * 2010-06-13 2010-11-17 东南大学 一种基于立体视觉的实拍低纹理图像重建方法
CN104268922A (zh) * 2014-09-03 2015-01-07 广州博冠信息科技有限公司 一种图像渲染方法及图像渲染装置

Also Published As

Publication number Publication date
EP3276578A1 (en) 2018-01-31
WO2016153388A1 (ru) 2016-09-29
EP3276578A4 (en) 2018-11-21
CN107484428A (zh) 2017-12-15
RU2586566C1 (ru) 2016-06-10
KR102120046B1 (ko) 2020-06-08
KR20170134513A (ko) 2017-12-06
US20180012394A1 (en) 2018-01-11

Similar Documents

Publication Publication Date Title
CN107484428B (zh) 用于显示对象的方法
JP6425780B1 (ja) 画像処理システム、画像処理装置、画像処理方法及びプログラム
US10255482B2 (en) Interactive display for facial skin monitoring
WO2019035155A1 (ja) 画像処理システム、画像処理方法、及びプログラム
CN109978984A (zh) 人脸三维重建方法及终端设备
EP3533218B1 (en) Simulating depth of field
CN106797458A (zh) 真实对象的虚拟改变
WO2023066120A1 (zh) 图像处理方法、装置、电子设备及存储介质
CN111742352B (zh) 对三维对象进行建模的方法和电子设备
US11080920B2 (en) Method of displaying an object
RU2735066C1 (ru) Способ отображения широкоформатного объекта дополненной реальности
JP7476511B2 (ja) 画像処理システム、画像処理方法及びプログラム
WO2023151271A1 (zh) 模型展示方法、装置、电子设备及存储介质
JP2002083286A (ja) アバタ生成方法、装置及びそのプログラムを記録した記録媒体
CN115345927A (zh) 展品导览方法及相关装置、移动终端和存储介质
US11120606B1 (en) Systems and methods for image texture uniformization for multiview object capture
CN114066715A (zh) 图像风格迁移方法、装置、电子设备以及存储介质
CN108109195A (zh) 一种用于展示文物缺损部件的方法、装置及系统
CN117315154A (zh) 一种可量化的人脸模型重建方法及系统
CN117557722A (zh) 3d模型的重建方法、装置、增强实现设备及存储介质
CN114581608A (zh) 基于云平台的三维模型智能构建系统及方法
CN116503578A (zh) 虚拟物体的生成方法、电子设备和计算机可读存储介质
JP2023153534A (ja) 画像処理装置、画像処理方法、およびプログラム
CN115375832A (zh) 三维人脸重建方法、电子设备、存储介质及程序产品
CN117078827A (zh) 一种纹理贴图的生成方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20220412

Address after: Cyprus Nicosia

Patentee after: DEVAR ENTERTAINMENT Ltd.

Address before: Russian Federation

Patentee before: LIMITED LIABILITY COMPANY "LABORATORY 24"

TR01 Transfer of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211029

CF01 Termination of patent right due to non-payment of annual fee