CN112581418B - 基于增强现实的虚拟内容识别与展示方法及系统 - Google Patents

基于增强现实的虚拟内容识别与展示方法及系统 Download PDF

Info

Publication number
CN112581418B
CN112581418B CN202011523421.4A CN202011523421A CN112581418B CN 112581418 B CN112581418 B CN 112581418B CN 202011523421 A CN202011523421 A CN 202011523421A CN 112581418 B CN112581418 B CN 112581418B
Authority
CN
China
Prior art keywords
virtual content
virtual
coordinate system
template
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011523421.4A
Other languages
English (en)
Other versions
CN112581418A (zh
Inventor
李小波
甘健
蔡小禹
马伟振
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oriental Dream Virtual Reality Technology Co ltd
Original Assignee
Oriental Dream Virtual Reality Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oriental Dream Virtual Reality Technology Co ltd filed Critical Oriental Dream Virtual Reality Technology Co ltd
Priority to CN202011523421.4A priority Critical patent/CN112581418B/zh
Publication of CN112581418A publication Critical patent/CN112581418A/zh
Application granted granted Critical
Publication of CN112581418B publication Critical patent/CN112581418B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/546—Message passing systems or structures, e.g. queues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供一种基于增强现实的虚拟内容识别与展示方法及系统，该方法包括如下步骤：为预先制定具有标识信息的模板建立模板坐标系；将模板从模板坐标系映射到屏幕坐标系；识别模板的标识信息，获取虚拟内容的ID和虚拟内容在屏幕坐标系中的位置坐标，并将虚拟内容的ID按照识别的顺序存入系统队列；根据系统队列中的ID顺序，依次获取增强现实数据库中的虚拟内容；以视频形式在所述屏幕坐标系中的位置坐标处展示相应的虚拟内容。本申请识别单个模板时会呈现单个虚拟内容的展示，识别多个模板时会同时呈现多个虚拟内容的展示，根据模板的不同识别顺序展现不同的识别内容，避免用户体验单一枯燥。

Description

基于增强现实的虚拟内容识别与展示方法及系统
技术领域
本申请涉及增强现实技术领域，尤其涉及一种基于增强现实的虚拟内容识别与展示方法及系统。
背景技术
AR增强现实技术是通过计算机把虚拟内容带入到现实世界里，通过听、看、摸、闻虚拟信息，来增强对现实世界的感知，实现了从“人去适应机器”到技术“以人为本”的转变。
在实现增强技术的过程中，需要对真实的场景和信息进行分析，生成虚拟事物信息，第一步是通过摄像机获取真实场景的视频流，然后转化为数字图像，再通过图像处理技术，辨识出预先设置的标志物。在增强现实的技术中，用户体验到内容过于单一。
发明内容
本申请的目的在于提供一种基于增强现实的虚拟内容识别与展示方法及系统，避免用户使用单一的体验过于枯燥，在同时展示多个虚拟内容的时候，会有不同的效果产生。
为达到上述目的，本申请提供一种基于增强现实的虚拟内容识别与展示方法，该方法包括如下步骤：为预先制定具有标识信息的模板建立模板坐标系；将模板从模板坐标系映射到屏幕坐标系；识别模板的标识信息，获取虚拟内容的ID和虚拟内容在屏幕坐标系中的位置坐标，并将虚拟内容的ID按照识别的顺序存入系统队列；根据系统队列中的ID顺序，依次获取增强现实数据库中的虚拟内容；以视频形式在所述屏幕坐标系中的位置坐标处展示相应的虚拟内容。
如上的，其中，所述的基于增强现实的虚拟内容识别与展示方法，还包括：获取两个虚拟内容叠加后的第一叠加图像；计算第一叠加图像的融合度；获取融合度低于预设阈值的两个虚拟内容的第一叠加图像，对获取融合度低于预设阈值的两个虚拟内容的第一叠加图像的融合边缘进行优化处理。
如上的，其中，所述的基于增强现实的虚拟内容识别与展示方法，还包括：获取单个虚拟内容与虚拟环境场景叠加后的第二叠加图像；计算第二叠加图像的融合度；获取融合度低于预设阈值的第二叠加图像，对获取融合度低于预设阈值的第二叠加图像的融合边缘进行优化处理。
如上的，其中，将模板从模板坐标系映射到屏幕坐标系的方法包括如下步骤：预先获取摄像机与模板之间的平移数据和旋转数据；根据获取的平移数据和旋转数据，将模板坐标系旋转平移到摄像机坐标系；将模板从摄像机坐标系映射到屏幕坐标系。
如上的，其中，获取待识别的多个模板；通过多个图形识别系统依次识别多个模板的标识信息；根据识别的标识信息，获取虚拟内容的ID和虚拟内容在屏幕坐标系中的位置坐标；将获取虚拟内容的ID按照获取的顺序，依次存入系统队列中进行存储。
如上的，其中，预先配置增强现实数据库；根据系统队列中的ID顺序，依次获取增强现实数据库中的虚拟内容。
如上的，其中，以视频形式在所述屏幕坐标系中的位置坐标处展示相应的虚拟内容的方法包括：在屏幕坐标系中形成虚拟环境场景；加载虚拟内容至虚拟环境场景中对应的位置坐标处；在虚拟环境场景中以视频形式显示虚拟内容。
如上的，其中，模板具有图像、二维码或条形码。
本申请还一种基于增强现实的虚拟内容识别与展示系统，该系统包括：坐标系建立模块，用于为预先制定具有标识信息的模板建立模板坐标系；坐标系转换模块，用于将模板从模板坐标系映射到屏幕坐标系；识别获取模块，用于识别模板的标识信息，获取虚拟内容的ID和虚拟内容在屏幕坐标系中的位置坐标，并将虚拟内容的ID按照识别的顺序存入系统队列；虚拟内容获取模块，用于根据系统队列中的ID顺序，依次获取增强现实数据库中的虚拟内容；展示模块，用于以视频形式在所述屏幕坐标系中的位置坐标处展示相应的虚拟内容。
如上的，其中，基于增强现实的虚拟内容识别与展示系统还包括：叠加图像获取模块，用于获取两个虚拟内容叠加后的第一叠加图像；计算模块，用于计算第一叠加图像的融合度；优化处理模块，用于获取融合度低于预设阈值的两个虚拟内容的第一叠加图像，对获取融合度低于预设阈值的两个虚拟内容的第一叠加图像的融合边缘进行优化处理。
本申请实现的有益效果如下：
(1)本申请识别单个模板时会呈现单个虚拟内容的展示，识别多个模板时会同时呈现多个虚拟内容的展示，根据模板的不同识别顺序展现不同的识别内容，避免用户体验单一枯燥。
(2)本申请通过增强现实的多个内容同时识别的技术，以及通过收集不同的信息展示不同的影像，用户识别的内容不同，展示的影像内容也足够丰富，不再单一。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域技术人员来讲，还可以根据这些附图获得其他的附图。
图1为本申请实施例的一种基于增强现实的虚拟内容识别与展示方法的流程图。
图2为本申请实施例的对第一叠加图像进行优化处理的方法流程图。
图3为本申请实施例的对第二叠加图像进行优化处理的方法流程图。
图4为本申请实施例的将模板从模板坐标系映射到屏幕坐标系的方法流程图。
图5为本申请实施例的将虚拟内容的ID按照识别的顺序存入系统队列的方法流程图。
图6为本申请实施例的一种基于增强现实的虚拟内容识别与展示系统的结构示意图。
附图标记：10-坐标系建立模块；20-坐标系转换模块；30-识别获取模块；40-虚拟内容获取模块；50-叠加图像获取模块；60-计算模块；70-优化处理模块；80-展示模块；100-虚拟内容识别与展示系统。
具体实施方式
下面结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一
如图1所示，本申请提供一种基于增强现实的虚拟内容识别与展示方法，该方法包括如下步骤：
S1，为预先制定具有标识信息的模板建立模板坐标系。
模板是具有固定特征的一些模板，模板是具有图像、二维码、条形码等标识信息的卡片。
通过摄像头对模板(Maker)进行识别和位置制定，然后将该模板中心为原点的坐标系作为模板坐标系(Marker Coordinates)，模板的横向为X轴，纵向为Y轴，垂直于模板方向为Z轴。
S2，将模板从模板坐标系映射到屏幕坐标系。
如图4所示，步骤S2包括如下子步骤：
步骤S210，预先获取摄像机与模板之间的平移数据和旋转数据。
步骤S220，根据获取的平移数据和旋转数据，将模板坐标系旋转平移到摄像机坐标系(Camera Coordinates)。
平移数据为空间中x、y、z方向上的距离。旋转数据为空间中的x、y、z方向的角度。
步骤S230，将模板从摄像机坐标系映射到屏幕坐标系。
S3，识别模板的标识信息，获取虚拟内容的ID(标签)和虚拟内容在屏幕坐标系中的位置坐标，并将虚拟内容的ID按照识别的顺序存入系统队列。
其中，标识信息中包括虚拟内容的ID(标签)和虚拟内容在模板坐标系中的位置坐标。通过将模板坐标系转换为屏幕坐标系，从而根据模板坐标系中的位置坐标获得屏幕坐标系中位置坐标。
如图5所示，步骤S3包括如下步骤：
步骤S310，获取待识别的多个模板。
步骤S320，通过多个图形识别系统依次识别多个模板的标识信息。
步骤S330，根据识别的标识信息，获取虚拟内容的ID和虚拟内容在屏幕坐标系中的位置坐标。
步骤S340，将获取虚拟内容的ID按照获取的顺序，依次存入系统队列中进行存储。
增加多个图形识别系统，保证视频可以添加多个虚拟内容。
S4，根据系统队列中的ID顺序，依次获取增强现实数据库中的虚拟内容。
虚拟内容包含有图形、动画、模型和音频等形式。虚拟内容可以包括基于用户或其他生活实体在增强现实环境中描绘的用户或其他生活实体的增强渲染。
步骤S4包括如下子步骤：
步骤S410，预先配置增强现实数据库。
增强现实数据库中包括虚拟内容、虚拟内容的ID(标签)和位置坐标和用于识别虚拟内容的标识信息。
步骤S420,根据系统队列中的ID顺序，依次获取增强现实数据库中的虚拟内容。
S5，以视频形式在所述屏幕坐标系中的位置坐标处展示相应的虚拟内容。
通过手机或者计算机在所述屏幕坐标系中的位置坐标处呈现虚拟内容的视频效果。
步骤S5中包括：
步骤S510，在屏幕坐标系中形成虚拟环境场景。
根据本发明的一个具体实施例，虚拟环境场景为扫描模板周围环境获得的。
根据本发明的另一个具体实施例，虚拟环境场景为预先设定的。
步骤S520，加载虚拟内容至虚拟环境场景中对应的位置坐标处。
步骤S530，在虚拟环境场景中以视频形式显示虚拟内容。
如图2所示，根据本发明的一个具体实施例，步骤S4和步骤S5之间还包括如下步骤：
S6，获取两个虚拟内容叠加后的第一叠加图像。
具体的，获取系统队列中相邻ID顺序的两个虚拟内容叠加后的第一叠加图像。
S7，计算第一叠加图像的融合度。
其中，计算第一叠加图像帧融合度的公式如下：
其中，S表示叠加图像帧的融合度；表示第一虚拟内容的像素平均值；/>表示第二虚拟内容的像素平均值；Q1表示预设的第一权重；Q2表示预设的第二权重；Q3表示预设的第三权重；Q1、Q2、Q3之和为1；i表示第一虚拟内容中与第二虚拟内容相邻的第i个颜色区域；n表示第一虚拟内容中与第二虚拟内容相邻的颜色区域的总数；j表示第二虚拟内容中与第一虚拟内容相邻的第j个颜色区域；m表示第二虚拟内容中与第一虚拟内容相邻的颜色区域的总数；Di表示第i个颜色区域的面积；Dj表示第j个颜色区域的面积；Fi表示第i个颜色区域的亮度值；Fj表示第j个颜色区域的亮度值；sqrt表示求平方根函数；IE12表示第一虚拟内容与第二虚拟内容的叠加图像的联合信息值；J1表示第一虚拟内容的图像的信息熵；J2表示第二虚拟内容的图像的信息熵。
其中，第一虚拟内容与第二虚拟内容的叠加图像的联合信息值IE12的计算公式为：
其中，α表示灰度值；L表示第一虚拟内容与第二虚拟内容的叠加图像的像素点的最大灰度值；Pα表示第一虚拟内容与第二虚拟内容的叠加图像的灰度值为α的像素点出现的概率；log()表示函数；PAα表示第一虚拟内容的图像中灰度值为α的像素点出现的概率；PBα表示第二虚拟内容的图像中灰度值为α的像素点出现的概率。
S8，获取融合度低于预设阈值的两个虚拟内容的第一叠加图像，对获取融合度低于预设阈值的两个虚拟内容的第一叠加图像的融合边缘进行优化处理，以对优化处理后的两个虚拟内容进行视频展示。
步骤S8包括如下子步骤：
S810，获取融合度低于预设阈值的两个虚拟内容的第一叠加图像。
S820，按照预设的宽度范围，采用边缘检测算子提取第一叠加图像的融合边缘图像。
S830，对提取的融合边缘图像进行平滑滤波处理。
S840，平滑滤波处理，对融合边缘图像羽化处理。
根据本发明的另一个具体实施例，基于增强现实的虚拟内容识别与展示方法包括：
如图3所示，根据本发明的另一个具体实施例，步骤S4和步骤S5之间还包括如下步骤：
步骤T1，获取单个虚拟内容与虚拟环境场景叠加后的第二叠加图像。
步骤T2，计算第二叠加图像的融合度。
第二叠加图像的融合度的计算方法与第一叠加图像的融合度的计算方法相同。
步骤T3，获取融合度低于预设阈值的第二叠加图像，对获取融合度低于预设阈值的第二叠加图像的融合边缘进行优化处理，以对优化处理后的虚拟内容进行展示。
实施例二
如图6所示，本申请还提供一种基于增强现实的虚拟内容识别与展示系统100，该系统包括：
坐标系建立模块10，用于为预先制定具有标识信息的模板建立模板坐标系。
坐标系转换模块20，用于将模板从模板坐标系映射到屏幕坐标系。
识别获取模块30，用于识别模板的标识信息，获取虚拟内容的ID和虚拟内容在屏幕坐标系中的位置坐标，并将虚拟内容的ID按照识别的顺序存入系统队列。
虚拟内容获取模块40，用于根据系统队列中的ID顺序，依次获取增强现实数据库中的虚拟内容。
展示模块80，用于以视频形式在所述屏幕坐标系中的位置坐标处展示相应的虚拟内容。
叠加图像获取模块50，用于获取两个虚拟内容叠加后的第一叠加图像。
计算模块60，用于计算第一叠加图像的融合度。
其中，计算第一叠加图像帧融合度的公式如下：
其中，S表示叠加图像帧的融合度；表示第一虚拟内容的像素平均值；/>表示第二虚拟内容的像素平均值；Q1表示预设的第一权重；Q2表示预设的第二权重；Q3表示预设的第三权重；Q1、Q2、Q3之和为1；i表示第一虚拟内容中与第二虚拟内容相邻的第i个颜色区域；n表示第一虚拟内容中与第二虚拟内容相邻的颜色区域的总数；j表示第二虚拟内容中与第一虚拟内容相邻的第j个颜色区域；m表示第二虚拟内容中与第一虚拟内容相邻的颜色区域的总数；Di表示第i个颜色区域的面积；Dj表示第j个颜色区域的面积；Fi表示第i个颜色区域的亮度值；Fj表示第j个颜色区域的亮度值；sqrt表示求平方根函数；IE12表示第一虚拟内容与第二虚拟内容的叠加图像的联合信息值；J1表示第一虚拟内容的图像的信息熵；J2表示第二虚拟内容的图像的信息熵。
其中，第一虚拟内容与第二虚拟内容的叠加图像的联合信息值IE12的计算公式为：
其中，α表示灰度值；L表示第一虚拟内容与第二虚拟内容的叠加图像的像素点的最大灰度值；Pα表示第一虚拟内容与第二虚拟内容的叠加图像的灰度值为α的像素点出现的概率；log()表示函数；PAα表示第一虚拟内容的图像中灰度值为α的像素点出现的概率；PBα表示第二虚拟内容的图像中灰度值为α的像素点出现的概率。
优化处理模块70，用于获取融合度低于预设阈值的两个虚拟内容的第一叠加图像，对获取融合度低于预设阈值的两个虚拟内容的第一叠加图像的融合边缘进行优化处理。
叠加图像获取模块50，还用于获取单个虚拟内容与虚拟环境场景叠加后的第二叠加图像；
计算模块60，还用于计算第二叠加图像的融合度；
优化处理模块70，还用于获取融合度低于预设阈值的第二叠加图像，对获取融合度低于预设阈值的第二叠加图像的融合边缘进行优化处理。
本申请实现的有益效果如下：
(1)本申请识别单个模板时会呈现单个虚拟内容的展示，识别多个模板时会同时呈现多个虚拟内容的展示，根据模板的不同识别顺序展现不同的识别内容，避免用户体验单一枯燥。
(2)本申请通过增强现实的多个内容同时识别的技术，以及通过收集不同的信息展示不同的影像，用户识别的内容不同，展示的影像内容也足够丰富，不再单一。
上所述仅为本发明的实施方式而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理的内所做的任何修改、等同替换、改进等，均应包括在本发明的权利要求范围之内。

Claims (8)

1.一种基于增强现实的虚拟内容识别与展示方法，其特征在于，该方法包括如下步骤：
为预先制定具有标识信息的模板建立模板坐标系；
将模板从模板坐标系映射到屏幕坐标系；
识别模板的标识信息，获取虚拟内容的ID和虚拟内容在屏幕坐标系中的位置坐标，并将虚拟内容的ID按照识别的顺序存入系统队列；
根据系统队列中的ID顺序，依次获取增强现实数据库中的虚拟内容；
以视频形式在所述屏幕坐标系中的位置坐标处展示相应的虚拟内容；
该方法还包括：获取两个虚拟内容叠加后的第一叠加图像；
计算第一叠加图像的融合度；
获取融合度低于预设阈值的两个虚拟内容的第一叠加图像，对获取融合度低于预设阈值的两个虚拟内容的第一叠加图像的融合边缘进行优化处理；
其中，计算第一叠加图像帧融合度的公式如下：
其中，S表示叠加图像帧的融合度；表示第一虚拟内容的像素平均值；/>表示第二虚拟内容的像素平均值；Q1表示预设的第一权重；Q2表示预设的第二权重；Q3表示预设的第三权重；Q1、Q2、Q3之和为1；i表示第一虚拟内容中与第二虚拟内容相邻的第i个颜色区域；n表示第一虚拟内容中与第二虚拟内容相邻的颜色区域的总数；j表示第二虚拟内容中与第一虚拟内容相邻的第j个颜色区域；m表示第二虚拟内容中与第一虚拟内容相邻的颜色区域的总数；Mi表示第i个颜色区域的面积；Mj表示第j个颜色区域的面积；Fi表示第i个颜色区域的亮度值；Fj表示第j个颜色区域的亮度值；sqrt表示求平方根函数；IE12表示第一虚拟内容与第二虚拟内容的叠加图像的联合信息值；J1表示第一虚拟内容的图像的信息熵；J2表示第二虚拟内容的图像的信息熵。
2.根据权利要求1所述的基于增强现实的虚拟内容识别与展示方法，其特征在于，还包括：
获取单个虚拟内容与虚拟环境场景叠加后的第二叠加图像；
计算第二叠加图像的融合度；
获取融合度低于预设阈值的第二叠加图像，对获取融合度低于预设阈值的第二叠加图像的融合边缘进行优化处理。
3.根据权利要求1所述的基于增强现实的虚拟内容识别与展示方法，其特征在于，将模板从模板坐标系映射到屏幕坐标系的方法包括如下步骤：
预先获取摄像机与模板之间的平移数据和旋转数据；
根据获取的平移数据和旋转数据，将模板坐标系旋转平移到摄像机坐标系；
将模板从摄像机坐标系映射到屏幕坐标系。
4.根据权利要求1所述的基于增强现实的虚拟内容识别与展示方法，其特征在于，
获取待识别的多个模板；
通过多个图形识别系统依次识别多个模板的标识信息；
根据识别的标识信息，获取虚拟内容的ID和虚拟内容在屏幕坐标系中的位置坐标；
将获取虚拟内容的ID按照获取的顺序，依次存入系统队列中进行存储。
5.根据权利要求1所述的基于增强现实的虚拟内容识别与展示方法，其特征在于，
预先配置增强现实数据库；
根据系统队列中的ID顺序，依次获取增强现实数据库中的虚拟内容。
6.根据权利要求1所述的基于增强现实的虚拟内容识别与展示方法，其特征在于，
以视频形式在所述屏幕坐标系中的位置坐标处展示相应的虚拟内容的方法包括：
在屏幕坐标系中形成虚拟环境场景；
加载虚拟内容至虚拟环境场景中对应的位置坐标处；
在虚拟环境场景中以视频形式显示虚拟内容。
7.根据权利要求1所述的基于增强现实的虚拟内容识别与展示方法，其特征在于，模板具有图像、二维码或条形码。
8.一种基于增强现实的虚拟内容识别与展示系统，其特征在于，该系统包括：
坐标系建立模块，用于为预先制定具有标识信息的模板建立模板坐标系；
坐标系转换模块，用于将模板从模板坐标系映射到屏幕坐标系；
识别获取模块，用于识别模板的标识信息，获取虚拟内容的ID和虚拟内容在屏幕坐标系中的位置坐标，并将虚拟内容的ID按照识别的顺序存入系统队列；
虚拟内容获取模块，用于根据系统队列中的ID顺序，依次获取增强现实数据库中的虚拟内容；
展示模块，用于以视频形式在所述屏幕坐标系中的位置坐标处展示相应的虚拟内容；
该系统还包括：
叠加图像获取模块，用于获取两个虚拟内容叠加后的第一叠加图像；
计算模块，用于计算第一叠加图像的融合度；
优化处理模块，用于获取融合度低于预设阈值的两个虚拟内容的第一叠加图像，对获取融合度低于预设阈值的两个虚拟内容的第一叠加图像的融合边缘进行优化处理；
其中，计算第一叠加图像帧融合度的公式如下：
其中，S表示叠加图像帧的融合度；表示第一虚拟内容的像素平均值；/>表示第二虚拟内容的像素平均值；Q1表示预设的第一权重；Q2表示预设的第二权重；Q3表示预设的第三权重；Q1、Q2、Q3之和为1；i表示第一虚拟内容中与第二虚拟内容相邻的第i个颜色区域；n表示第一虚拟内容中与第二虚拟内容相邻的颜色区域的总数；j表示第二虚拟内容中与第一虚拟内容相邻的第j个颜色区域；m表示第二虚拟内容中与第一虚拟内容相邻的颜色区域的总数；Mi表示第i个颜色区域的面积；Mj表示第j个颜色区域的面积；Fi表示第i个颜色区域的亮度值；Fj表示第j个颜色区域的亮度值；sqrt表示求平方根函数；IE12表示第一虚拟内容与第二虚拟内容的叠加图像的联合信息值；J1表示第一虚拟内容的图像的信息熵；J2表示第二虚拟内容的图像的信息熵。
CN202011523421.4A 2020-12-21 2020-12-21 基于增强现实的虚拟内容识别与展示方法及系统 Active CN112581418B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011523421.4A CN112581418B (zh) 2020-12-21 2020-12-21 基于增强现实的虚拟内容识别与展示方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011523421.4A CN112581418B (zh) 2020-12-21 2020-12-21 基于增强现实的虚拟内容识别与展示方法及系统

Publications (2)

Publication Number Publication Date
CN112581418A CN112581418A (zh) 2021-03-30
CN112581418B true CN112581418B (zh) 2024-02-20

Family

ID=75136509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011523421.4A Active CN112581418B (zh) 2020-12-21 2020-12-21 基于增强现实的虚拟内容识别与展示方法及系统

Country Status (1)

Country Link
CN (1) CN112581418B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866096A (zh) * 2010-05-04 2010-10-20 北京航空航天大学 一种基于模糊控制的多投影仪图像拼接自动边缘融合方法
CN102902710A (zh) * 2012-08-08 2013-01-30 成都理想境界科技有限公司 基于条形码的增强现实方法、系统及移动终端
CN103985108A (zh) * 2014-06-03 2014-08-13 北京航空航天大学 一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法
CN107194866A (zh) * 2017-04-29 2017-09-22 天津大学 减少拼接图像错位的图像融合方法
WO2018017904A1 (en) * 2016-07-21 2018-01-25 Flir Systems Ab Fused image optimization systems and methods
CN108335280A (zh) * 2018-01-02 2018-07-27 沈阳东软医疗系统有限公司 一种图像优化显示方法和装置
CN108536282A (zh) * 2018-03-02 2018-09-14 上海易武数码科技有限公司 一种基于多用户条形码动作捕捉的增强现实互动方法及装置
CN111311528A (zh) * 2020-01-22 2020-06-19 广州虎牙科技有限公司 图像融合优化方法、装置、设备和介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866096A (zh) * 2010-05-04 2010-10-20 北京航空航天大学 一种基于模糊控制的多投影仪图像拼接自动边缘融合方法
CN102902710A (zh) * 2012-08-08 2013-01-30 成都理想境界科技有限公司 基于条形码的增强现实方法、系统及移动终端
CN103985108A (zh) * 2014-06-03 2014-08-13 北京航空航天大学 一种利用边界检测和多尺度形态学清晰度度量的多聚焦图像融合方法
WO2018017904A1 (en) * 2016-07-21 2018-01-25 Flir Systems Ab Fused image optimization systems and methods
CN107194866A (zh) * 2017-04-29 2017-09-22 天津大学 减少拼接图像错位的图像融合方法
CN108335280A (zh) * 2018-01-02 2018-07-27 沈阳东软医疗系统有限公司 一种图像优化显示方法和装置
CN108536282A (zh) * 2018-03-02 2018-09-14 上海易武数码科技有限公司 一种基于多用户条形码动作捕捉的增强现实互动方法及装置
CN111311528A (zh) * 2020-01-22 2020-06-19 广州虎牙科技有限公司 图像融合优化方法、装置、设备和介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Contourlet变换与粒子群优化相耦合的遥感图像融合方法;谷志鹏 等;《计算机科学》;正文全文 *
基于ARToolKit的二维码多标识增强现实系统;葛良水;胡少华;商莹;;机械设计与制造工程(第06期);正文全文 *
移动增强现实技术在油田培训中的应用研究;贾欣欣;《中国优秀硕士学位论文全文数据库 (工程科技Ⅰ辑)》;正文第12-17、9-10、31-34、20-21、23-27、41-42页 *
贾欣欣.移动增强现实技术在油田培训中的应用研究.《中国优秀硕士学位论文全文数据库 (工程科技Ⅰ辑)》.2018,正文第12-17、9-10、31-34、20-21、23-27、41-42页. *

Also Published As

Publication number Publication date
CN112581418A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
US20190333478A1 (en) Adaptive fiducials for image match recognition and tracking
CN107484428B (zh) 用于显示对象的方法
US20140210857A1 (en) Realization method and device for two-dimensional code augmented reality
KR101623041B1 (ko) 혼합 공간에 공존하는 마커들을 관리하는 마커 관리 시스템과 그 방법, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
CN112954292B (zh) 一种基于增强现实的数字博物馆导览系统和方法
CN108108748A (zh) 一种信息处理方法及电子设备
CN105701828B (zh) 一种图像处理方法和装置
CA2898668A1 (en) Realization method and device for two-dimensional code augmented reality
CN104618803A (zh) 信息推送方法、装置、终端及服务器
CN106157363A (zh) 一种基于增强现实的拍照方法、装置和移动终端
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
US11900552B2 (en) System and method for generating virtual pseudo 3D outputs from images
CN109886223B (zh) 人脸识别方法、底库录入方法、装置及电子设备
CN110598139A (zh) 基于5G云计算的Web浏览器增强现实实时定位的方法
Santos et al. Hybrid approach using sensors, GPS and vision based tracking to improve the registration in mobile augmented reality applications
CN107871338B (zh) 基于场景装饰的实时交互渲染方法
CN113486941B (zh) 直播图像的训练样本生成方法、模型训练方法及电子设备
CN110267079B (zh) 待播放视频中人脸的替换方法和装置
CN114359051A (zh) 图像处理方法及装置和系统、存储介质
CN114066790A (zh) 图像生成模型的训练方法、图像生成方法、装置和设备
CN113867875A (zh) 标记对象的编辑及显示方法、装置、设备、存储介质
CN112581418B (zh) 基于增强现实的虚拟内容识别与展示方法及系统
WO2023236815A1 (zh) 三维模型传输方法及其装置、存储介质、程序产品
US20230089845A1 (en) Visual Localization Method and Apparatus
US20210176375A1 (en) Information processing device, information processing system, information processing method and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant