CN108369749A - 对用于形成增强现实环境的装置进行控制的方法 - Google Patents

对用于形成增强现实环境的装置进行控制的方法 Download PDF

Info

Publication number
CN108369749A
CN108369749A CN201680070830.9A CN201680070830A CN108369749A CN 108369749 A CN108369749 A CN 108369749A CN 201680070830 A CN201680070830 A CN 201680070830A CN 108369749 A CN108369749 A CN 108369749A
Authority
CN
China
Prior art keywords
models
image
color
user apparatus
texture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680070830.9A
Other languages
English (en)
Other versions
CN108369749B (zh
Inventor
维塔利·维塔利耶维奇·艾维瑞亚诺夫
安德烈·瓦勒耶维奇·科米萨罗夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dewar Entertainment Co Ltd
Original Assignee
Dewar Entertainment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dewar Entertainment Co Ltd filed Critical Dewar Entertainment Co Ltd
Publication of CN108369749A publication Critical patent/CN108369749A/zh
Application granted granted Critical
Publication of CN108369749B publication Critical patent/CN108369749B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/06009—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking
    • G06K19/06037—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code with optically detectable marking multi-dimensional coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/1417—2D bar codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/144—Image acquisition using a slot moved over the image; using discrete sensing elements at predetermined points; using automatic curve following means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Architecture (AREA)
  • Evolutionary Computation (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Nonlinear Science (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及处理和生成图像数据、包括纹理分析的图像分析以及显示3D图像的领域。一种控制用于生成增强现实的装置的方法包括：从用户装置传感器接收与对象相关的数据，识别对象并生成虚拟对象，其中，预先验证标识了包含对象的图形集合的激活码的真实性，以对象的图片或视频图像的至少一帧的形式获得与对象相关的数据，通过与存储在用户装置的存储器中的图像进行比较在图片或视频图像的帧上标识出对象，以3D模型的形式生成虚拟对象，在所接收到的图片或视频图像的帧的顶部利用用户装置的显示器来实时再现虚拟对象的图像，其中与生成3D模型相关的对象是在分配了激活码的集合中包含的图形上绘制的至少一项的二维图像。

Description

对用于形成增强现实环境的装置进行控制的方法
技术领域
本发明涉及处理和生成图像数据、包括纹理的图像分析以及3D图像可视化。
背景技术
最接近技术本质的原型是计算机实现的方法，其包括：使用用户装置接收位于用户附近的物理对象的传感数据，所述数据由与用户装置相关联的传感器生成；识别对象；响应于对象识别，生成与物理对象具有预定关系的虚拟对象；以及根据前述预定关系，将虚拟对象发送到与用户装置相关联的显示器以呈现给用户(参见RU 2013154098A，分类号G06F15/16)。
可以使用已知方法来创建与真实物理对象相关的虚拟对象。
已知方法的缺点是由于使用传感器获得数据而仅检测到对传感器的影响，因此不能创建关于远程对象的增强现实环境。
已知方法的另一缺点是由于除了由传感器生成的数据之外缺少关于对象的其他数据，因此不能提供识别其特征相似的对象的高可靠性。
已知解决方案的另一缺点是它没有公开虚拟对象形成的细节。根据虚拟对象正被发送到与用户装置相关联的显示器的指示，可以得出的结论是：虚拟对象是远程生成的，这意味着在传送大量数据的通信速度方面，对于与远程生成模块(或装置)的通信有着高要求。
另外，已知方法的使用不能提供依据用户的特质(例如，根据专业或年龄标准)来区分对内容的访问的能力。
发明内容
本文提出的技术目标是提供创建关于物理对象(包括使用物理对象的照片或视频图像的远程对象)的增强现实环境的能力，同时通过使用与特定对象相关联的唯一激活码来提高识别其特征相似的对象的可靠性，通过减少对通信模块的要求来简化实施，以及提供以某种标准限制用户对增强现实环境的形成进行访问的能力。
上述结果通过使用用户装置形成增强现实环境的方法来实现，所述方法包括：从用户装置的传感器获得与对象相关联的数据；识别对象并生成虚拟对象；对激活码进行验证，所述激活码标识了包含多个对象的图片集合；以包含对象的至少一个照片或视频图像帧的形式获得与对象相关联的数据；通过与存储在用户设备的存储器中的图像进行比较来对图片或视频帧进行对象识别；生成虚拟对象作为在接收到的照片或视频图像的帧上在用户装置的屏幕上实时显示的3D模型，其中，与3D模型的形成相关的对象是在关联于激活码的组合的图片集合中所描绘的至少一个对象的二维图像。
另外，
-激活码可以是包含字母和/或数字的序列的码字；
-激活码可以是可用照片或摄像机扫描的二维图像；
-如果接收到的照片或视频图像多于一帧，则根据可接受的图像质量从中对其进行选择；
-响应于对象识别，形成与对象相关的3D模型上下文；
-形成彩色3D模型，同时形成使图像的坐标变换为其自己的矩阵，即以轴的正交性为特征的笛卡尔坐标，通过使用坐标变换矩阵形成扫描的图像区域的纹理并内插数据，随后将纹理分配给3D模型，来以照片图像的相应元素的颜色对3D模型的元素进行绘制，从而相应的多边形根据在先前步骤中确定的纹理坐标而被纹理的相应部分覆盖；
-形成彩色3D模型，同时形成使图像的坐标变换为其自己的矩阵，即以轴的正交性为特征的笛卡尔坐标，使用坐标变换矩阵在照片图像的预定点通过基于颜色读取来确定3D模型的材料的颜色，而以相应的照片元素的颜色对3D模型的元素进行着色，然后将颜色分配给3D模型的相应材料；
-形成彩色3D模型，同时形成使图像的坐标变换为其自己的矩阵，即以轴的正交性为特征的笛卡尔坐标，通过使用坐标变换矩阵创建包括照片部分的纹理而以相应的照片元素的颜色对3D模型的元素进行着色，所述照片部分填充有在照片图像的预定点拍摄的纯色；
-通过用相邻像素的颜色绘制为了3D模型而创建的纹理上的以前已知的区域，以去除将在所得图像上进行绘制的对象的轮廓；
-阴影图也应用于为3D模型而创建的纹理。
使用附图解释了使用用户装置形成增强现实环境的方法，其中，图1示出了使用用户装置形成增强现实环境的示例，图2是增强现实环境形成模块的框图，图3是用于控制用户装置计算模块的处理器的算法。
在附图中做出以下指定：
1、来自图片集合的图片；2、创建增强现实环境相关的对象；3、用户装置(移动装置)；4、摄像机或相机；5、显示器；6、输入模块；7、与服务器通信的模块；8、用于识别激活码的模块；9、用于验证激活码的模块；10、用于识别对象的模块；11、用于生成3D模型的模块；12、存储模块；13、声音输出模块；14、用于生成最终图像的信号的模块；15、获取激活码数据；16、激活码的初步验证；17、将激活码传输到服务器且接收验证结果；18、对服务器上的激活码的验证结果进行评估；19、开始形成增强现实环境；20、从照相机或摄像机的输出接收图像信号；21、在图像上识别对象；22、生成用于显示的最终图像信号；23、包括激活码验证模块的服务器；24、因特网；25、用户装置的计算模块。
用于控制适于形成增强现实环境的装置的方法使用用户装置和激活服务器来提供增强现实环境的形成，所述方法包括以下步骤：与创建增强现实环境相关的对象是由图片(图1)表示的至少一个对象的二维图像。图片被组合成由若干图片组成的集合，该集合设置有激活码，激活码是包含字母和/或数字的序列的码字，或者是可以用照相机或摄像机扫描的二维图像。验证激活码的真实性，所述代码标识了包含要显示为3D模型的对象的图片集合。在验证结果成功的情况下，激活码开始渲染3D空间模型的过程，在该过程中，通过用户装置的照相机或摄像机获取对象的至少一个照片或视频图像帧。基于存储在包括增强现实形成模块的用户装置的存储器中的参考图像，在帧上识别对象，然后形成与对象具有语义连接的3D模型，通过显示模块在接收到的照片或视频图像的帧上实时再现其图像。在这种情况下，获取对象的照片或视频图像的至少一帧，其中如果获得照片或视频图像的多于一个的帧，则基于图片质量来选择帧。
形成彩色3D模型，其中用三种方法中的一种来执行着色。第一着色方法包括：形成用于使照片图像的坐标变换成其自己的变换矩阵，即以轴的正交性为特征的笛卡尔坐标，并且通过使用坐标变换矩阵来形成读取区域的图像的纹理并内插数据，随后分配给3D纹理模型，来将3D模型的元素着色为相应的照片图像元素的颜色，从而通过在纹理化阶段预先形成纹理坐标，相应的多边形被纹理的相应部分覆盖。
第二着色方法包括：形成用于使照片图像的坐标变换成其自己的变换矩阵，即以轴的正交性为特征的笛卡尔坐标，使用坐标变换矩阵在照片图像的预定点基于颜色读取来确定3D模型材料的颜色，然后将颜色分配给3D模型的相应材料，来以相应的照片元素的颜色对3D模型的元素进行着色。
第三着色方法包括：形成用于使照片图像的坐标转换成其自己的矩阵，即以轴的正交性为特征的笛卡尔坐标，通过使用坐标变换矩阵创建由照片部分组成的纹理来以相应的照片元素的颜色对3D模型的元素进行着色，所述照片部分填充有在照片图像的预定点拍摄的纯色。
在为3D模型而生成的纹理上，通过用相邻像素的颜色进行填充来绘制预定的区域，以去除正在所得图像上进行绘制的对象的轮廓，并且还将环境光遮蔽图(ambientocclusion map)应用于为3D模型所创建的纹理。
如下使用了利用用户装置形成增强现实环境的方法。
增强现实效果是使用用户装置并且还使用向用户装置提供适当的接口的服务器硬件来创建的，用户装置是包括内置照相机或摄像机、计算模块、存储模块、用于显示图像的输入和显示模块的移动装置。移动装置被配置为使用因特网与服务器交换信号，并且设置有适当的无线通信模块。
与形成增强现实的效果相关的对象是二维图像，通常是图片集合(或一组图片)。为每个这样的图片来创建空间3D模型。所述3D模型可以以静态图像或视频序列(例如，动画图像)的形式显示在显示器上。
特定数量的图片(例如数量为20个)被组合成与激活码相关联的集合。激活码是码字或其他二维图像，其能够使用内置的照相机或摄像机进行扫描、打印在特殊区域上(例如封面上)，从而在打开图像集合之前其保持隐藏状态。
码字是包含由已知字体中的一种字体形成的字母和/或数字的字母数字序列。
激活码在批量模式下提前生成：数据包中有至少1000个单元。在批量形成期间，检查激活码与以前生成的激活码有关的唯一性。所形成的批量存储在激活服务器上，以提供用于处理激活码的接口。
因此，激活码对应于一组特定的对象，并且激活码的唯一性使得可以将其用作附加特征，该附加特征对其参数接近的对象集合进行划分，例如，其允许通过汽车的品牌分开同一类型的汽车的图片。
管理增强现实装置的过程主要涉及使用在激活服务器上实现的接口对与所使用的图片集合对应的激活码进行验证。为此，使用信息输入模块将码字输入到移动管理程序的初始页面之一的相应字段中，或者使用内置在用户装置中的摄像机或照相机读取激活码图像，然后识别其组成符号，并在由用户装置的计算模块进行初步检查之后，将其发送到服务器以获得激活形成增强现实环境的过程的准许。在测试结果为肯定的情况下，服务器对于形成增强现实环境的过程生成激活命令并将其发送到用户装置。
以这种方式激活的用户装置控制程序生成来自照相机或摄像机的输出的信号处理命令，借此，通过将用户装置的所述照相机或摄像机指向集合中的其中一张图片来捕捉对象的图像。利用相应图形的图像获得至少一帧，借助于计算模块在该帧上识别与该图片对应的对象。
使用存储在计算工具的存储器中的预先创建的图像进行识别。
来自照相机或摄像机输出的信号被应用于显示器的输入模块以显示所捕获的图像。
如果接收到的照片或视频图像多于一帧，则基于图像质量进行选择。
接下来，使用用户装置的计算模块，形成与所识别的对象对应的3D模型。
3D模型的图像以彩色呈现，而元素以包括以下选项的任何可接受的方式进行着色。用于着色的初始数据如下：
-包括多边形组的模型，其中将材料分配给所述组，
-一次或两次展开(unwrap)(纹理坐标)，
-标记图像，
-额外的照度、凸现(relief)等的图。
第一方法包括：形成将照片图像的坐标转换成其自己的矩阵，即以轴的正交性为特征的笛卡尔坐标，通过使用坐标变换矩阵来形成图像读取区域的纹理并内插数据，随后将纹理分配给3D模型，来将3D模型多边形(元素)着色为相应照片或视频元素的颜色，从而相应的多边形被在纹理化阶段预先形成的纹理的相应部分覆盖，
在下文中，“材料”被分配给一组模型多边形并且具有多种设置。可以简单地通过指示颜色或通过分配纹理(图片+其沿模型扫描的坐标)来设置颜色。“纹理”是用于/计划用作3D模型的“颜色”的任何数字图像。“纹理的坐标”是指将3D模型多边形映射到纹理的区域的数据。纹理的一部分可以对应于若干多边形。纹理坐标的另一个名称是扫描或缠绕(wrap)/展开(unwrap)。
因此，第一方法的着色包括：获取图像帧，使用由识别模块提供的标记坐标来恢复“正交”标记图像，使用预先制作的正交展开将其叠加在模型上作为纹理。
第二方法包括：形成用于使照片图像的坐标转换成其自己的变换矩阵，即以轴的正交性为特征的笛卡尔坐标，使用坐标变换矩阵在预定的图像点基于颜色读取来确定3D模型材料的颜色，以将3D模型的元素着色成相应照片元素的颜色，然后将颜色分配给相应的3D模型材料。
因此，第二着色方法包括：获取图像帧，使用由识别模块提供的标记坐标读取帧中的给定点处的颜色，然后使用预先制作的正交扫描将其应用于模型作为纹理，将这些颜色分配给模型材料。标记上的点与某个模型区域预先对齐。
或者，基于预先创建的遮罩生成新的纹理。相应颜色的遮罩以给定的顺序叠加在新的纹理上，形成“正常”的展开的图像，并且进一步在所得纹理上应用附加的照度/阴影图等。
第三方法包括：形成用于使照片图像的坐标转换成其自己的变换矩阵，即以轴的正交性为特征的笛卡尔坐标，通过使用坐标变换矩阵在照片图像的预定点创建由照片片段组成的纹理，来将3D模型的元素着色为相应照片元素的颜色。
因此，第三着色方法包括：获取图像帧，使用由识别模块提供的标记坐标来恢复“正交的”标记图像，使用整个图像的逐个元素的转移从标记生成“正常”展开的新纹理。通过关联两个展开的坐标(常规和平面)来进行转移。模型中的每个多边形都存在于两个展开中，由此使这些区域关联，然后在必要时将其他光线/阴影图等应用于所得的纹理。
在任一种方法中，另外可以通过用相邻像素的颜色替代特定像素的颜色来使用标记线的“擦除”。即，为了去除将在所创建的3D纹理模型上绘制的对象的轮廓，将预先建立的区域着色为相邻像素的颜色。
另外的纹理元素也被应用于为3D模型创建的纹理，特别是应用环境光遮蔽图。
接下来，生成最终图像信号，其中，3D模型图像被叠加在来自照相机或摄像机的输出的图像上并且被馈送到显示器输入，从而3D模型图像在实时图像、所拍摄的照片或摄像机上再现。
用于使用用户装置形成增强现实环境的方法是使用照相机或摄像机来实现的，这使得可以近距离地或远程地关于对象的视场中的任何对象形成增强现实环境。
用于使用用户装置形成增强现实环境的方法预先假定该过程的初步激活，激活码可以用作包含对象的详细的图形集合，从而有助于从存储器中仅选择用于对象识别的特定类别的图像，这提高了对象的正确识别的可靠性。
参与该方法实施的服务器用于验证激活码的有效性，因此与服务器的通信通道不需要使用强大且高速的通信设施，这简化了方法的硬件实施。
另外，由于激活码的验证，使用用户装置形成增强现实环境的方法允许将其限制为不能访问该方法的用户。这种限制的标准例如可以是用户的年龄，从而对这样的用户限制由该实施提供的内容。限制标准的另一示例可以是用户的影响允许他访问机密信息的程度的专业地位。限制可以由其他标准决定。
适于形成增强现实(图2)的装置包括用户装置，优选地为移动装置，其包括：连接到存储模块的输入/输出端的计算模块；照相机或摄像机；显示器；信息输入模块；音频输出模块；用于在Wi-Fi标准或GPRS标准或LTE等的框架内与作为无线数据传输节点的服务器进行通信的模块、用于与服务器通信的装置；配备有用于检查激活码的有效性的验证模块的激活服务器；用于存储激活码并通过因特网与用户装置连接的存储模块。计算模块包括用于识别激活码的模块、用于检查激活码的模块、对象识别模块、用于形成3D模型的模块、存储模块以及用于生成所得图像的信号的模块。
计算模块采取以下操作程序(图3)。
开始时，获取激活码数据，该激活码数据由用户使用输入模块或通过将照相机或摄像机指向其图像来手动输入。输入工具能够是控制按钮、触摸键盘的按钮、语音输入节点或照相机或摄像机。
然后，通过长度、和/或奇偶性和/或可允许的符号等与有效值进行比较，根据形式特征来验证激活码。
在本地检查之后，激活码数据由通信模块发送到服务器。服务器通过将代码与在其存储器中存储的代码进行比较来检查代码的有效性。
从服务器接收到验证结果之后，使用服务器命令来激活或解锁管理增强现实环境形成的过程。如果测试结果为否定的，则过程结束。
如果测试结果是肯定的，则开始形成增强现实环境的过程。
从由用户指向包括对象的图片的照相机或摄像机的输出来获得图像。
计算模块访问存储器，以通过将捕获对象与存储的对象图像进行比较来以定位和识别捕获图像上的对象。
一旦识别出对象，创建与所识别的对象相关联的3D模型。
在增强现实环境的形成的最后阶段，生成最终图像信号的输出。
除非明确指出，否则本发明的所描述的实施例以及在这些实施例中阐述的组件、数字表达式和数值的布置不限制本发明的范围。
示例
增强现实形成模块包括用户装置，用户装置包括移动通信装置和激活服务器本身，移动通信装置配备有内置摄像机、计算模块、存储模块、触摸按钮形式的输入模块、集成显示器和经由因特网与服务器通信的通信模块。
与正在形成增强现实相关的对象是印刷在收集于预先密封的相册中的纸张上的图片，在相册的封面的内部印有码字。
用户通过解封相册来访问所述相册的码字。通过启动移动通信装置中的相应的应用，用户在应用的对应字段中输入码字，码字以信号的形式被馈送到计算模块的输入端，其中，对形式特征进行检查，然后通过通信的方式将码字发送到服务器，以验证与存储在服务器上的码字之一的符合性。服务器计算模块使用在激活服务器上实现的接口来检查用户输入的码字的真实性。
在测试结果为否定的情况下，增强现实创建媒体的工作结束，并且相应的应用保持锁定。
在服务器检查的结果为肯定的情况下，生成信号以允许用户装置创建增强现实环境，该增强现实环境经由因特网发送到移动通信模块，因此解锁相应的应用。
在获得形成增强现实效果的能力之后，用户将移动通信装置的摄像机引导至相册图片中的一个，使得照相机能够捕获对象的图像，以及通过计算模块对其进行检测和识别。在这种情况下，计算模块访问移动装置的存储器，其中存储了包含在相册中的对象的图像。关于所识别的对象，形成空间模型并将其作为相应的视频序列在显示器上显示在所捕获的图像上。
音频输出模块用于再现与3D模型的再现图像相关联的声音效果。
可以使用标准组件和包括独立模块(诸如照相机、显示器、处理器等)的电子组件基座来实现用于使用用户装置生成增强现实环境的方法。
因此，使用用户装置形成增强现实环境的方法允许通过使用物理对象的照片或视频图像来创建关于对象(包括远程对象)的增强现实环境，通过使用与特定对象相关联的唯一激活码来提供识别其特征接近的对象的提高的可靠性，通过减少通信的要求而简化了实施，并且为特定用户提供限制访问形成增强现实环境的能力。

Claims (10)

1.一种使用用户装置生成增强现实环境的方法，所述方法包括：
从用户装置传感器获取与对象相关联的数据，
识别所述对象并生成虚拟对象，
其特征在于，
其对标识了包含对象的图片集合的激活码进行验证，为此，将所述激活码发送到服务器，其中，在测试结果为肯定的情况下，生成用以形成增强现实环境的激活命令并将其传输到所述用户装置，以所述对象的至少一个照片或视频图像帧的形式获取与所述对象相关联的数据，通过与存储在所述用户装置的存储器中的图像进行匹配来对所述照片或视频图像帧执行对象识别，将所述虚拟对象生成为3D模型，通过所述用户装置的显示模块在所获取的照片或视频图像的帧上实时地再现所述3D模型的图像，同时与形成所述3D模型有关的对象是在所述图片中表示的至少一个对象的二维图像，所述图片被组合成与所述激活码相关联的集合。
2.根据权利要求1所述的方法，其中，所述激活码是包含字母和/或数字的序列的码字。
3.根据权利要求1所述的方法，其中，所述激活码是能够使用照相机或摄像机扫描的二维图像。
4.根据权利要求1所述的方法，其中，在获取的照片或视频图像存在多于一帧的情况下，基于可接受的图像质量进行帧选择。
5.根据权利要求1所述的方法，其中，响应于所述对象识别而生成的所述3D模型是与所述对象相关的上下文。
6.根据权利要求1所述的方法，其中，所述3D模型形成为彩色，所述方法还包括：形成使图像的坐标变换为其自己的矩阵，即以轴的正交性为特征的笛卡尔坐标，以如下方式对所述3D模型的多边形进行着色：通过使用所述变换矩阵形成所扫描的区域的纹理并且进行内插数据且随后将纹理分配给所述3D模型，来使所述3D模型的多边形的颜色对应于相应的照片元素的颜色，从而基于在纹理化阶段预先形成的坐标，相应的多边形被相应的纹理覆盖。
7.根据权利要求1所述的方法，其中，所述3D模型形成为彩色，所述方法还包括：形成使图像的坐标变换为其自己的矩阵，即以轴的正交性为特征的笛卡尔坐标，以如下方式对所述3D模型的多边形进行着色：使用坐标变换矩阵在所述照片图像的预定点基于颜色读取来确定所述3D模型的材料的颜色，然后将所述颜色分配给所述3D模型的相应的材料，来使所述3D模型的多边形的颜色对应于相应的照片元素的颜色。
8.根据权利要求1所述的方法，其中，所述3D模型形成为彩色，所述方法还包括：形成使图像的坐标变换为其自己的矩阵，即以轴的正交性为特征的笛卡尔坐标，以如下方式对所述3D模型的多边形进行着色：通过使用坐标变换矩阵创建由照片图像的区域以及以在所述照片图像的预定点拍摄到的纯色所填充的区域所组成的纹理，来使所述3D模型的多边形的颜色对应于相应的照片元素的颜色。
9.根据权利要求1至8中的任一项所述的方法，其中，当为所述3D模型创建所述纹理时，通过利用相邻像素的颜色进行填充来绘制预定的区域，以去除在所得的绘画中绘制的对象的轮廓。
10.根据权利要求1至8中的任一项所述的方法，其中，还将阴影图应用于为所述3D模型创建的所述纹理。
CN201680070830.9A 2015-12-02 2016-11-27 对用于形成增强现实环境的装置进行控制的方法 Active CN108369749B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
RU2015151481A RU2606874C1 (ru) 2015-12-02 2015-12-02 Способ управления устройством формирования среды дополненной реальности
RU2015151481 2015-12-02
PCT/RU2016/050075 WO2017095273A1 (ru) 2015-12-02 2016-11-27 Способ управления устройством формирования среды дополненной реальности

Publications (2)

Publication Number Publication Date
CN108369749A true CN108369749A (zh) 2018-08-03
CN108369749B CN108369749B (zh) 2022-03-29

Family

ID=58452426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680070830.9A Active CN108369749B (zh) 2015-12-02 2016-11-27 对用于形成增强现实环境的装置进行控制的方法

Country Status (6)

Country Link
US (1) US10706627B2 (zh)
EP (1) EP3385914A4 (zh)
KR (1) KR102545296B1 (zh)
CN (1) CN108369749B (zh)
RU (1) RU2606874C1 (zh)
WO (1) WO2017095273A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111147747A (zh) * 2019-12-30 2020-05-12 深圳市优必选科技股份有限公司 一种识别互补组件的方法及图像处理设备
CN113129814A (zh) * 2021-04-23 2021-07-16 浙江博采传媒有限公司 应用于led环屏虚拟制片的校色方法及系统
CN113570729A (zh) * 2021-07-28 2021-10-29 上海哔哩哔哩科技有限公司 标记生成方法及装置、对象展示方法及装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2667602C2 (ru) * 2017-03-15 2018-09-21 Общество с ограниченной ответственностью "АВИАРЕАЛ" Способ формирования изображения дополненной реальности, обеспечивающий совпадение визуальных характеристик реальных и виртуальных объектов
CN108182730B (zh) * 2018-01-12 2022-08-12 北京小米移动软件有限公司 虚实对象合成方法及装置
US10565764B2 (en) * 2018-04-09 2020-02-18 At&T Intellectual Property I, L.P. Collaborative augmented reality system
KR101949103B1 (ko) 2018-10-10 2019-05-21 (주)셀빅 오프라인 스케치 콘텐츠의 3d 동적 활성화 방법 및 3d 동적 활성화 시스템
CN111429585A (zh) * 2020-03-30 2020-07-17 北京字节跳动网络技术有限公司 图像生成方法、装置、电子设备及计算机可读存储介质
CN112053370A (zh) * 2020-09-09 2020-12-08 脸萌有限公司 基于增强现实的显示方法、设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101101505A (zh) * 2006-07-07 2008-01-09 华为技术有限公司 一种实现三维增强现实的方法及系统
CN101689306A (zh) * 2007-02-16 2010-03-31 高通股份有限公司 有效的二维及三维图形处理
US7716064B2 (en) * 1999-12-22 2010-05-11 Eastman Kodak Company Method of permitting group access to electronically stored images and transaction card used in the method
CN102142151A (zh) * 2010-01-29 2011-08-03 株式会社泛泰 用于提供增强现实的终端和方法
CN102375972A (zh) * 2010-08-23 2012-03-14 谢铮 一种分布式的基于可移动设备的增强现实平台
CN102843347A (zh) * 2011-06-24 2012-12-26 中兴通讯股份有限公司 实现移动增强现实业务的系统及方法、终端及服务器
US20130125027A1 (en) * 2011-05-06 2013-05-16 Magic Leap, Inc. Massive simultaneous remote digital presence world
CN103229197A (zh) * 2010-11-18 2013-07-31 （株）此后 使用信息识别手段的综合管线管理系统和方法
CN103761460A (zh) * 2013-12-18 2014-04-30 微软公司 显示设备上的用户认证
CN103971079A (zh) * 2013-01-28 2014-08-06 腾讯科技（深圳）有限公司 一种二维码的增强现实实现方法和装置
CN104915579A (zh) * 2015-05-06 2015-09-16 腾讯科技（深圳）有限公司 一种信息处理方法和装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6571024B1 (en) * 1999-06-18 2003-05-27 Sarnoff Corporation Method and apparatus for multi-view three dimensional estimation
US8114172B2 (en) * 2004-07-30 2012-02-14 Extreme Reality Ltd. System and method for 3D space-dimension based image processing
RU2295772C1 (ru) * 2005-09-26 2007-03-20 Пензенский государственный университет (ПГУ) Способ генерирования текстуры в реальном масштабе времени и устройство для его реализации
EP2174301A4 (en) * 2007-06-29 2011-11-16 Three Pixels Wide Pty Ltd METHOD AND SYSTEM FOR GENERATING A 3D MODEL FROM PICTURES
EP2073175A1 (fr) * 2007-12-17 2009-06-24 Gemalto SA Support d'identification sécurisé et procédé de sécurisation d'un tel support
RU2433487C2 (ru) * 2009-08-04 2011-11-10 Леонид Михайлович Файнштейн Способ проецирования изображения на поверхности реальных объектов
US9124881B2 (en) * 2010-12-03 2015-09-01 Fly's Eye Imaging LLC Method of displaying an enhanced three-dimensional images
KR101984915B1 (ko) * 2012-12-03 2019-09-03 삼성전자주식회사 증강 현실 컨텐츠 운용 방법 및 이를 지원하는 단말기와 시스템
KR101525115B1 (ko) * 2012-12-21 2015-06-02 이기호 이미지 인식을 이용한 스마트 보안인증 시스템 및 그 방법
US10607230B2 (en) * 2016-12-02 2020-03-31 Bank Of America Corporation Augmented reality dynamic authentication for electronic transactions

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7716064B2 (en) * 1999-12-22 2010-05-11 Eastman Kodak Company Method of permitting group access to electronically stored images and transaction card used in the method
CN101101505A (zh) * 2006-07-07 2008-01-09 华为技术有限公司 一种实现三维增强现实的方法及系统
CN101689306A (zh) * 2007-02-16 2010-03-31 高通股份有限公司 有效的二维及三维图形处理
CN102142151A (zh) * 2010-01-29 2011-08-03 株式会社泛泰 用于提供增强现实的终端和方法
CN102375972A (zh) * 2010-08-23 2012-03-14 谢铮 一种分布式的基于可移动设备的增强现实平台
CN103229197A (zh) * 2010-11-18 2013-07-31 （株）此后 使用信息识别手段的综合管线管理系统和方法
US20130125027A1 (en) * 2011-05-06 2013-05-16 Magic Leap, Inc. Massive simultaneous remote digital presence world
CN102843347A (zh) * 2011-06-24 2012-12-26 中兴通讯股份有限公司 实现移动增强现实业务的系统及方法、终端及服务器
CN103971079A (zh) * 2013-01-28 2014-08-06 腾讯科技（深圳）有限公司 一种二维码的增强现实实现方法和装置
CN103761460A (zh) * 2013-12-18 2014-04-30 微软公司 显示设备上的用户认证
CN104915579A (zh) * 2015-05-06 2015-09-16 腾讯科技（深圳）有限公司 一种信息处理方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
中国国际科技促进会: "《迈向世界的中国科技 下》", 31 July 2010 *
李结等: "《中文版PhotoshopCS6艺术设计实训案例教程》", 31 January 2014 *
电脑报: "《WINDOWS XP/VISTA双系统安装与维护》", 30 September 2007, 云南人民电子音像出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111147747A (zh) * 2019-12-30 2020-05-12 深圳市优必选科技股份有限公司 一种识别互补组件的方法及图像处理设备
CN111147747B (zh) * 2019-12-30 2021-07-27 深圳市优必选科技股份有限公司 一种识别互补组件的方法及图像处理设备
CN113129814A (zh) * 2021-04-23 2021-07-16 浙江博采传媒有限公司 应用于led环屏虚拟制片的校色方法及系统
CN113570729A (zh) * 2021-07-28 2021-10-29 上海哔哩哔哩科技有限公司 标记生成方法及装置、对象展示方法及装置
CN113570729B (zh) * 2021-07-28 2024-03-15 上海哔哩哔哩科技有限公司 标记生成方法及装置、对象展示方法及装置

Also Published As

Publication number Publication date
US20180322703A1 (en) 2018-11-08
KR20180088886A (ko) 2018-08-07
US10706627B2 (en) 2020-07-07
CN108369749B (zh) 2022-03-29
EP3385914A4 (en) 2019-08-14
WO2017095273A1 (ru) 2017-06-08
EP3385914A1 (en) 2018-10-10
KR102545296B1 (ko) 2023-06-20
RU2606874C1 (ru) 2017-01-10

Similar Documents

Publication Publication Date Title
CN108369749A (zh) 对用于形成增强现实环境的装置进行控制的方法
US20180114363A1 (en) Augmented scanning of 3d models
US7034821B2 (en) Three-dimensional computer modelling
JP5289586B2 (ja) 動的なイメージコラージュ
US8866841B1 (en) Method and apparatus to deliver imagery with embedded data
JP2022542573A (ja) 衣服の３次元モデルデータを生成するための方法およびコンピュータプログラム製品
CN107484428A (zh) 用于显示对象的方法
CN103873768B (zh) 3d数码形象输出装置及方法
US20130335437A1 (en) Methods and systems for simulating areas of texture of physical product on electronic display
CN112598627A (zh) 检测图像缺陷的方法、系统、电子设备及介质
JP2023033496A (ja) 情報処理装置、情報処理プログラム及び情報処理方法
CN106447756A (zh) 用于生成用户定制的计算机生成动画的方法和系统
JP2002298122A (ja) 情報公開システム
CN111968729A (zh) 一种医学信息标注方法、系统、智能终端及存储介质
US10650569B2 (en) Browser-based texture map generation and application
US9105110B2 (en) Method of simulating an imaging effect on a digital image using a computing device
CN108765574A (zh) 3d场景拟真方法及系统和计算机可读存储介质
JP2010231347A (ja) 画像生成方法及びその装置
JP4078926B2 (ja) 画像生成方法及びその装置
JP4958868B2 (ja) 文書特徴量抽出装置及び方法
US20170228915A1 (en) Generation Of A Personalised Animated Film
CN108665434A (zh) 图像合成方法及装置
TWI828575B (zh) 環景佈景生成系統及其控制方法
JP6030472B2 (ja) はがき印刷装置およびプログラム
CN111127569B (zh) 一种图像转换显示方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant