CN109035419A - 一种基于ar技术的社交方法和系统 - Google Patents
一种基于ar技术的社交方法和系统 Download PDFInfo
- Publication number
- CN109035419A CN109035419A CN201810883309.8A CN201810883309A CN109035419A CN 109035419 A CN109035419 A CN 109035419A CN 201810883309 A CN201810883309 A CN 201810883309A CN 109035419 A CN109035419 A CN 109035419A
- Authority
- CN
- China
- Prior art keywords
- pixel
- information
- image information
- cube
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000005516 engineering process Methods 0.000 title claims abstract description 30
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000000694 effects Effects 0.000 claims description 19
- 230000000875 corresponding effect Effects 0.000 claims description 13
- 230000009467 reduction Effects 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 7
- 238000012790 confirmation Methods 0.000 claims description 6
- 230000002596 correlated effect Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 6
- 230000004927 fusion Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 35
- 230000002708 enhancing effect Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 239000011800 void material Substances 0.000 description 2
- 230000004888 barrier function Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
一种基于AR技术的社交方法和系统，包括步骤：获取显示面前方的影像信息；对影像信息进行预处理，根据预处理后的特征信息匹配云平台数据库中的虚拟影像信息，对预处理后的特征信息与匹配成功的虚拟影像信息进行编码、传输，把预处理后的特征信息和虚拟影像信息分别解码后叠加显示。本发明实现了预处理后的特征信息与虚拟影像信息的匹配，提高了匹配的准确率以及识别速度，增强了虚拟现实的逼真程度，从而改善用户体验。
Description
技术领域
本发明涉及计算机视觉技术领域，具体地涉及一种基于AR技术的社交方法和系统。
背景技术
目前，随着电子技术的快速发展，增强现实(AR)通过实时计算摄像头的位置和角度，并加上相应图像和视频等虚拟信息达到与现实世界进行融合的场景效果，是近年来计算机视觉与人机交互领域备受关注的热点。
现有技术中，虽然存在基于AR技术实现社交的方法，如公布号为CN107040890的公开的基于AR技术的社交方法、系统及空间位置信息计算方法，但是其只是提高了定位精度；实现虚拟信息与现实信息的高度融合匹配是实现增强现实的关键。而现有技术中鲜有对虚拟信息和现实信息进行匹配的技术，如何能够让AR更加智能化，人性化，提高其运行效率，增强用户舒适度成为新的研究课题，但是现有AR技术信息匹配准确性以及效率较低；且主要是针对视频影像的处理，没有涉及语音效果的匹配，因此，一种能够增加AR智能化程度的增强显示匹配技术成为了改进AR效果的迫切需求，从而改善用户的体验。
发明内容
为解决上述技术问题，本发明提供一种基于AR技术的社交方法和系统，本发明的基于AR技术的社交方法显著了提高虚拟信息与现实信息融合效率，且在准确率方面大大增强，增强用户体验；一种基于AR技术的社交方法，其特征在于，包括步骤：获取显示面前方的影像信息；对影像信息进行预处理，根据预处理后的特征信息匹配云平台数据库中的虚拟影像信息，对预处理后的特征信息与匹配成功的虚拟影像信息进行编码、传输，把预处理后的特征信息和虚拟影像信息分别解码后叠加显示；所述影像信息包括视频信息、语音信息、方位信息，视频信息、语音信息由显示面上的视频采集组件获取，方位信息由GPS或基站进行定位；匹配包括如下步骤：获取的影像信息经过预处理后的信息包括像素点信息、以及像素点对应的方位信息，形成三维立方体特征值，立方体中的每个位置加入一个权值，来表示该位置像素点的作用大小，搜寻立方体每移动一次，就形成一个新的加权模板，加权模板的大小和形状与搜寻立方体一致，加权模板中相应位置的权值由该位置像素点到中心像素点的空间距离和与中心像素的相关程度确定，相关程度由距离函数Fd和相似度函数Fs表示，其中，Fd(i,j)＝Fd(dEU(i,j))，Fs(i,j)＝Fs(dRV(gi,gj))，dEU(i,j)是像素i和像素j之间的欧几里得距离，dRV(gi,gj)是像素i和像素j之间相异度测量 距离函数Fd是各向同性的高斯函数的一个应用，其中，kd是标准常量，σd是高斯核的标准误差，像素i和像素j的距离越远，距离函数的值越小，同样地，相似性函数Fs也是一个高斯型函数，ks是标准常量，σs是高斯核的标准误差，r(gi,gj)是相关系数，r(gi,gj)的值与像素i、像素j两者之间的相似度正相关，k是一个常量，用它来保证高斯型过滤核中分散的离散变量的值相加结果为1，参数α和β用来平衡距离函数和相似性函数的作用，它们的取值在0到1之间，取0则代表没有作用，取1则代表作用很大；若像素点i为类心点，像素点j为待分类体素点，则两点之间的加权RV计算WRV(i,j)＝RV(XFi,YFj)，X是n×p的矩阵，由以类心i为中心的立方体包含的像素点集组成，Y是n×q的矩阵，由以像素点j为中心的立方体包含的像素点集组成，Fi是p×p的矩阵，Fj是q×q的矩阵。
优选地，所述显示面为手机屏幕或电脑显示屏。
优选地，还包括声控系统，对语音预处理时根据距离和/或遮挡因素进行分贝调节输出，以逼真真实环境。
优选地，在步骤获取显示面前方的影像信息之前还包括型号判断模块，型号判断模块根判断确认CPU型号、屏幕版本、系统版本、操作系统，根据不同的机型型号以采集不同分辨率的影像信息。
优选地，所述预处理包括对图像信息的滤波去噪，特征提取；以及对图像像素、语音信息方位信息的确定。
优选地，所述编码包括：视频编码、音频编码、分辨率控制、帧率控制；所述传输过程包括流接受、流处理、流分类；所述解码包括音频同步，降噪、回声控制。
本发明还包括一种基于AR技术的社交系统，一种基于AR技术的社交系统，包括影像获取模块：获取显示面前方的影像信息，所述显示面为手机显示屏或电脑显示屏；预处理模块：对影像信息进行预处理，还包括声控系统，对语音预处理时根据距离和/或遮挡因素进行分贝调节输出，以逼真真实环境；匹配模块：根据预处理后的特征信息匹配云平台数据库中的虚拟影像信息，对预处理后的特征信息与匹配成功的虚拟影像信息进行编码、传输；融合模块：把预处理后的特征信息和虚拟影像信息分别解码后叠加显示；所述影像信息包括视频信息、语音信息、方位信息，视频信息、语音信息由显示面上的视频采集组件获取，方位信息由GPS或基站进行定位；所述匹配模块还包括：获取的影像信息经过预处理后的信息包括像素点信息、以及像素点对应的方位信息，形成三维立方体特征值，立方体中的每个位置加入一个权值，来表示该位置像素点的作用大小，搜寻立方体每移动一次，就形成一个新的加权模板，加权模板的大小和形状与搜寻立方体一致，加权模板中相应位置的权值由该位置像素点到中心像素点的空间距离和与中心像素的相关程度确定，相关程度由距离函数Fd和相似度函数Fs表示，其中，Fd(i,j)＝Fd(dEU(i,j))，Fs(i,j)＝Fs(dRV(gi,gj))，dEU(i,j)是像素i和像素j之间的欧几里得距离，dRV(gi,gj)是像素i和像素j之间相异度测量距离函数Fd是各向同性的高斯函数的一个应用，，其中，kd是标准常量，σd是高斯核的标准误差，像素i和像素j的距离越远，距离函数的值越小，同样地，相似性函数Fs也是一个高斯型函数，ks是标准常量，σs是高斯核的标准误差，r(gi,gj)是相关系数，r(gi,gj)的值与像素i、像素j两者之间的相似度正相关，k是一个常量，用它来保证高斯型过滤核中分散的离散变量的值相加结果为1，参数α和β用来平衡距离函数和相似性函数的作用，它们的取值在0到1之间，取0则代表没有作用，取1则代表作用很大；若像素点i为类心点，像素点j为待分类体素点，则两点之间的加权RV计算WRV(i,j)＝RV(XFi,YFj)，X是n×p的矩阵，由以类心i为中心的立方体包含的像素点集组成，Y是n×q的矩阵，由以像素点j为中心的立方体包含的像素点集组成，Fi是p×p的矩阵，Fj是q×q的矩阵，p＝q＝27。
优选地，在步骤获取显示面前方的影像信息之前还包括型号判断模块，型号判断模块根判断确认CPU型号、屏幕版本、系统版本、操作系统，根据不同的机型型号以采集不同分辨率的影像信息。
优选地，所述预处理包括对图像信息的滤波去噪，特征提取；以及对图像像素、语音信息方位信息的确定。
优选地，所述编码包括：视频编码、音频编码、分辨率控制、帧率控制；所述传输过程包括流接受、流处理、流分类；所述解码包括音频同步，降噪、回声控制。
与现有技术相比，本发明的技术方案具有以下有益效果：
解决了传统技术中AR技术虚拟影像信息与现实信息匹配准确性以及效率较低的问题；且解决了现有技术中AR主要是针对视频影像的处理，没有涉及语音效果的匹配，因此，一种能够增加AR智能化程度的增强显示匹配技术成为了改进AR效果的迫切需求，从而改善用户的体验。
附图说明
图1是本发明一种基于AR技术的社交系统图；
图2是本发明的海量数据云平台数据库架构图。
具体实施方式
本领域技术人员理解，如背景技术所言，传统的AR技术虚拟信息与现实信息融合效率较低，且在准确率方面大大较差，用户体验比较差，因此，需要设计一款能够大大增强融合效率以及提高准确率的AR系统及方法。为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
实施例1：
图1示出了本申请的一种基于AR技术的社交系统系统图，在一些实施例中，例如QQ视频，语音视频过程中，通常视频背景信息为自己房间或工作室或者室外一些常驻地，通过图像、视频等采集将这些信息整合，形成云平台数据库，云平台数据库根据采集的信息或者百度街景、谷歌街景信息进行加工，形成三维立体增强现实数据库，再进行视频式，会自动匹配背景信息与现实信息进行虚拟现实，达到身临其境的效果，具体实施中，一种基于AR技术的社交方法，包括步骤：获取显示面前方的影像信息；对影像信息进行预处理，根据预处理后的特征信息匹配云平台数据库中的虚拟影像信息，对预处理后的特征信息与匹配成功的虚拟影像信息进行编码、传输，把预处理后的特征信息和虚拟影像信息分别解码后叠加显示；所述影像信息包括视频信息、语音信息、方位信息，视频信息、语音信息由显示面上的视频采集组件获取，方位信息由GPS或基站进行定位；匹配包括如下步骤：获取的影像信息经过预处理后的信息包括像素点信息、以及像素点对应的方位信息，形成三维立方体特征值，立方体中的每个位置加入一个权值，来表示该位置像素点的作用大小，搜寻立方体每移动一次，就形成一个新的加权模板，加权模板的大小和形状与搜寻立方体一致，加权模板中相应位置的权值由该位置像素点到中心像素点的空间距离和与中心像素的相关程度确定，相关程度由距离函数Fd和相似度函数Fs表示，其中，Fd(i,j)＝Fd(dEU(i,j))，Fs(i,j)＝Fs(dRV(gi,gj))，dEU(i,j)是像素i和像素j之间的欧几里得距离，dRV(gi,gj)是像素i和像素j之间相异度测量距离函数Fd是各向同性的高斯函数的一个应用，，其中，kd是标准常量，σd是高斯核的标准误差，像素i和像素j的距离越远，距离函数的值越小，同样地，相似性函数Fs也是一个高斯型函数，ks是标准常量，σs是高斯核的标准误差，r(gi,gj)是相关系数，r(gi,gj)的值与像素i、像素j两者之间的相似度正相关，k是一个常量，用它来保证高斯型过滤核中分散的离散变量的值相加结果为1，参数α和β用来平衡距离函数和相似性函数的作用，它们的取值在0到1之间，取0则代表没有作用，取1则代表作用很大；若像素点i为类心点，像素点j为待分类体素点，则两点之间的加权RV计算WRV(i,j)＝RV(XFi,YFj)，X是n×p的矩阵，由以类心i为中心的立方体包含的像素点集组成，Y是n×q的矩阵，由以像素点j为中心的立方体包含的像素点集组成，Fi是p×p的矩阵，Fj是q×q的矩阵，在一些实施例中，设置p＝q＝27。
实施例二：
在本实施例中对以上发明进行详细说明，其中，所述显示面优选的是，为手机屏幕或电脑显示屏，在一些实施例中显示面也可以为投影面，但不限于上述显示面，包括一切呈现光源的面。
在一些实施例中，还包括声控系统，对语音预处理时根据距离和/或遮挡因素进行分贝调节输出，以逼真真实环境，其中，还包括遮挡判断模块，根据遮挡类型进行分贝选择，当是全遮挡时，则分别调节至最小加权项，当是半遮挡时，分别调节至中间加权项，当没有遮挡时则进行正常分贝播放。
在一些实施例中，在步骤获取显示面前方的影像信息之前还包括型号判断模块，型号判断模块根判断确认CPU型号、屏幕版本、系统版本、操作系统，根据不同的机型型号以采集不同分辨率的影像信息，在信号判断前还包括类型判断部分，例如，手机，ipad，电脑等不同类型的电子器件则采用不同的AR显示效果。
在一些实施例中，所述预处理包括对图像信息的滤波去噪，特征提取；以及对图像像素、语音信息方位信息的确定，其中，滤波去噪采用频域去噪方式，将图像信息经过傅立叶变换到频域，在频域中选择合适频段进行滤波；语音信息方位信息确定包括将与音数据映到三维图像数据中，根据语音数据在三维图像中的位置，判断是否有遮挡，以及进行分贝选择。
其中，所述编码包括：视频编码、音频编码、分辨率控制、帧率控制；所述传输过程包括流接受、流处理、流分类；所述解码包括音频同步，降噪、回声控制。
实施例三：
与以上方法实施例相对应，本发明还包括一种基于AR技术的社交系统，一种基于AR技术的社交系统，包括影像获取模块：获取显示面前方的影像信息，所述显示面为手机显示屏或电脑显示屏；预处理模块：对影像信息进行预处理，还包括声控系统，对语音预处理时根据距离和/或遮挡因素进行分贝调节输出，以逼真真实环境；匹配模块：根据预处理后的特征信息匹配云平台数据库中的虚拟影像信息，对预处理后的特征信息与匹配成功的虚拟影像信息进行编码、传输；融合模块：把预处理后的特征信息和虚拟影像信息分别解码后叠加显示；所述影像信息包括视频信息、语音信息、方位信息，视频信息、语音信息由显示面上的视频采集组件获取，方位信息由GPS或基站进行定位；所述匹配模块还包括：获取的影像信息经过预处理后的信息包括像素点信息、以及像素点对应的方位信息，形成三维立方体特征值，立方体中的每个位置加入一个权值，来表示该位置像素点的作用大小，搜寻立方体每移动一次，就形成一个新的加权模板，加权模板的大小和形状与搜寻立方体一致，加权模板中相应位置的权值由该位置像素点到中心像素点的空间距离和与中心像素的相关程度确定，相关程度由距离函数Fd和相似度函数Fs表示，其中，Fd(i,j)＝Fd(dEU(i,j))，Fs(i,j)＝Fs(dRV(gi,gj))，dEU(i,j)是像素i和像素j之间的欧几里得距离，dRV(gi,gj)是像素i和像素j之间相异度测量，g表示像素的i的相异度， 距离函数Fd是各向同性的高斯函数的一个应用，其中，kd是标准常量，σd是高斯核的标准误差，像素i和像素j的距离越远，距离函数的值越小，同样地，相似性函数Fs也是一个高斯型函数，ks是标准常量，σs是高斯核的标准误差，r(gi,gj)是相关系数，r(gi,gj)的值与像素i、像素j两者之间的相似度正相关，k是一个常量，用它来保证高斯型过滤核中分散的离散变量的值相加结果为1，参数α和β用来平衡距离函数和相似性函数的作用，它们的取值在0到1之间，取0则代表没有作用，取1则代表作用很大；若像素点i为类心点，像素点j为待分类体素点，则两点之间的加权RV计算WRV(i,j)＝RV(XFi,YFj)，X是n×p的矩阵，由以类心i为中心的立方体包含的像素点集组成，Y是n×q的矩阵，由以像素点j为中心的立方体包含的像素点集组成，Fi是p×p的矩阵，Fj是q×q的矩阵，p＝q＝27。
实施例四：
在一些实施例中，当遮挡消失或者用户不在相机感知区域时，根据不同时刻图像的位置计算搜算框，并提取搜索框中的图像，计算映射中心线，映射到搜索框的工作空间，计算中心线与搜索框的交点，将交点定位关节点，并在彩色空间中更新，重新扩大搜索框的大小，进一步在三维立体空间中进行搜索。
其中，在步骤获取显示面前方的影像信息之前还包括型号判断模块，型号判断模块判断确认CPU型号、屏幕版本、系统版本、操作系统，根据不同的机型型号以采集不同分辨率的影像信息。
在一些实施例中，所述预处理包括对图像信息的滤波去噪，特征提取；以及对图像像素、语音信息方位信息的确定。
在一些实施例中，所述编码包括：视频编码、音频编码、分辨率控制、帧率控制；所述传输过程包括流接受、流处理、流分类；所述解码包括音频同步，降噪、回声控制。
本发明的基于AR技术的社交方法和系统，解决了传统技术中AR技术虚拟影像信息与现实信息匹配准确性以及效率较低的问题；且解决了现有技术中AR主要是针对视频影像的处理，没有涉及语音效果的匹配，因此，一种能够增加AR智能化程度的增强显示匹配技术成为了改进AR效果的迫切需求，从而改善用户的体验。
本领域技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品，因此本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (10)
1.一种基于AR技术的社交方法，其特征在于，包括步骤：获取显示面前方的影像信息；对影像信息进行预处理，根据预处理后的特征信息匹配云平台数据库中的虚拟影像信息，对预处理后的特征信息与匹配成功的虚拟影像信息进行编码、传输，把预处理后的特征信息和虚拟影像信息分别解码后叠加显示；所述影像信息包括视频信息、语音信息、方位信息，视频信息、语音信息由显示面上的视频采集组件获取，方位信息由GPS或基站进行定位；匹配包括如下步骤：获取的影像信息经过预处理后的信息包括像素点信息、以及像素点对应的方位信息，形成三维立方体特征值，立方体中的每个位置加入一个权值，来表示该位置像素点的作用大小，搜寻立方体每移动一次，就形成一个新的加权模板，加权模板的大小和形状与搜寻立方体一致，加权模板中相应位置的权值由该位置像素点到中心像素点的空间距离和与中心像素的相关程度确定，相关程度由距离函数Fd和相似度函数Fs表示，其中，Fd(i,j)＝Fd(dEU(i,j))，Fs(i,j)＝Fs(dRV(gi,gj))，dEU(i,j)是像素i和像素j之间的欧几里得距离，dRV(gi,gj)是像素i和像素j之间相异度测量 距离函数Fd是各向同性的高斯函数的一个应用，其中，kd是标准常量，σd是高斯核的标准误差，像素i和像素j的距离越远，距离函数的值越小，同样地，相似性函数Fs也是一个高斯型函数，ks是标准常量，σs是高斯核的标准误差，r(gi,gj)是相关系数，r(gi,gj)的值与像素i、像素j两者之间的相似度正相关，k是一个常量，用它来保证高斯型过滤核中分散的离散变量的值相加结果为1，参数α和β用来平衡距离函数和相似性函数的作用，它们的取值在0到1之间，取0则代表没有作用，取1则代表作用很大；若像素点i为类心点，像素点j为待分类体素点，则两点之间的加权RV计算WRV(i,j)＝RV(XFi,YFj)，X是n×p的矩阵，由以类心i为中心的立方体包含的像素点集组成，Y是n×q的矩阵，由以像素点j为中心的立方体包含的像素点集组成，Fi是p×p的矩阵，Fj是q×q的矩阵。
2.根据权利要求1所述的一种基于AR技术的社交方法，其特征在于，所述显示面为手机屏幕或电脑显示屏。
3.根据权利要求2所述的一种基于AR技术的社交方法，其特征在于，还包括声控系统，对语音预处理时根据距离和/或遮挡因素进行分贝调节输出，以逼真真实环境。
4.根据权利要求1所述的一种基于AR技术的社交方法，其特征在于，在步骤获取显示面前方的影像信息之前还包括型号判断模块，型号判断模块判断确认CPU型号、屏幕版本、系统版本、操作系统，根据不同的机型型号以采集不同分辨率的影像信息。
5.根据权利要求1所述的一种基于AR技术的社交方法，其特征在于，所述预处理包括对图像信息的滤波去噪，特征提取；以及对图像像素、语音信息方位信息的确定。
6.根据权利要求1所述的一种基于AR技术的社交方法，其特征在于，所述编码包括：视频编码、音频编码、分辨率控制、帧率控制；所述传输过程包括流接受、流处理、流分类；所述解码包括音频同步，降噪、回声控制。
7.一种基于AR技术的社交系统，其特征在于，包括影像获取模块：获取显示面前方的影像信息，所述显示面为手机显示屏或电脑显示屏；预处理模块：对影像信息进行预处理，还包括声控系统，对语音预处理时根据距离和/或遮挡因素进行分贝调节输出，以逼真真实环境；匹配模块：根据预处理后的特征信息匹配云平台数据库中的虚拟影像信息，对预处理后的特征信息与匹配成功的虚拟影像信息进行编码、传输；融合模块：把预处理后的特征信息和虚拟影像信息分别解码后叠加显示；所述影像信息包括视频信息、语音信息、方位信息，视频信息、语音信息由显示面上的视频采集组件获取，方位信息由GPS或基站进行定位；所述匹配模块还包括：获取的影像信息经过预处理后的信息包括像素点信息、以及像素点对应的方位信息，形成三维立方体特征值，立方体中的每个位置加入一个权值，来表示该位置像素点的作用大小，搜寻立方体每移动一次，就形成一个新的加权模板，加权模板的大小和形状与搜寻立方体一致，加权模板中相应位置的权值由该位置像素点到中心像素点的空间距离和与中心像素的相关程度确定，相关程度由距离函数Fd和相似度函数Fs表示，其中，Fd(i,j)＝Fd(dEU(i,j))，Fs(i,j)＝Fs(dRV(gi,gj))，dEU(i,j)是像素i和像素j之间的欧几里得距离，dRV(gi,gj)是像素i和像素j之间相异度测量 距离函数Fd是各向同性的高斯函数的一个应用，其中，Kd是标准常量，σd是高斯核的标准误差，像素i和像素j的距离越远，距离函数的值越小，同样地，相似性函数Fs也是一个高斯型函数，ks是标准常量，σs是高斯核的标准误差，r(gi,gj)是相关系数，r(gi,gj)的值与像素i、像素j两者之间的相似度正相关，k是一个常量，用它来保证高斯型过滤核中分散的离散变量的值相加结果为1，参数α和β用来平衡距离函数和相似性函数的作用，它们的取值在0到1之间，取0则代表没有作用，取1则代表作用很大；若像素点i为类心点，像素点j为待分类体素点，则两点之间的加权RV计算WRV(i,j)＝RV(XFi,YFj)，X是n×p的矩阵，由以类心i为中心的立方体包含的像素点集组成，Y是n×q的矩阵，由以像素点j为中心的立方体包含的像素点集组成，Fi是p×p的矩阵，Fj是q×q的矩阵。
8.根据权利要求7所述的一种基于AR技术的社交系统，其特征在于，在步骤获取显示面前方的影像信息之前还包括型号判断模块，型号判断模块判断确认CPU型号、屏幕版本、系统版本、操作系统，根据不同的机型型号以采集不同分辨率的影像信息。
9.根据权利要求7-8任一项所述的一种基于AR技术的社交系统，其特征在于，所述预处理包括对图像信息的滤波去噪，特征提取；以及对图像像素、语音信息方位信息的确定。
10.根据权利要求7-9任一项所述的一种基于AR技术的社交系统，其特征在于，所述编码包括：视频编码、音频编码、分辨率控制、帧率控制；所述传输过程包括流接受、流处理、流分类；所述解码包括音频同步，降噪、回声控制。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810883309.8A CN109035419A (zh) | 2018-08-06 | 2018-08-06 | 一种基于ar技术的社交方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810883309.8A CN109035419A (zh) | 2018-08-06 | 2018-08-06 | 一种基于ar技术的社交方法和系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109035419A true CN109035419A (zh) | 2018-12-18 |
Family
ID=64649577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810883309.8A Pending CN109035419A (zh) | 2018-08-06 | 2018-08-06 | 一种基于ar技术的社交方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109035419A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112731894A (zh) * | 2021-02-02 | 2021-04-30 | 深圳华龙讯达信息技术股份有限公司 | 一种基于数字孪生技术的包装机智能控制系统及方法 |
| CN113923501A (zh) * | 2021-10-09 | 2022-01-11 | 深圳市中渤光电有限公司 | 基于vr虚拟现实的led屏全景显示方法及系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101799876A (zh) * | 2010-04-20 | 2010-08-11 | 王巍 | 一种视音频智能分析管控系统 |
| CN102306290A (zh) * | 2011-10-14 | 2012-01-04 | 刘伟华 | 一种基于视频的人脸跟踪识别技术 |
| WO2013177586A1 (en) * | 2012-05-25 | 2013-11-28 | The Johns Hopkins University | An integrated real-time tracking system for normal and anomaly tracking and the methods therefor |
| CN106558318A (zh) * | 2015-09-24 | 2017-04-05 | 阿里巴巴集团控股有限公司 | 音频识别方法和系统 |
| CN107025685A (zh) * | 2017-04-11 | 2017-08-08 | 南京林业大学 | 拓扑感知下的机载建筑屋顶点云建模方法 |
| US9934590B1 (en) * | 2015-06-25 | 2018-04-03 | The United States Of America As Represented By The Secretary Of The Air Force | Tchebichef moment shape descriptor for partial point cloud characterization |
-
2018
- 2018-08-06 CN CN201810883309.8A patent/CN109035419A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101799876A (zh) * | 2010-04-20 | 2010-08-11 | 王巍 | 一种视音频智能分析管控系统 |
| CN102306290A (zh) * | 2011-10-14 | 2012-01-04 | 刘伟华 | 一种基于视频的人脸跟踪识别技术 |
| WO2013177586A1 (en) * | 2012-05-25 | 2013-11-28 | The Johns Hopkins University | An integrated real-time tracking system for normal and anomaly tracking and the methods therefor |
| US9934590B1 (en) * | 2015-06-25 | 2018-04-03 | The United States Of America As Represented By The Secretary Of The Air Force | Tchebichef moment shape descriptor for partial point cloud characterization |
| CN106558318A (zh) * | 2015-09-24 | 2017-04-05 | 阿里巴巴集团控股有限公司 | 音频识别方法和系统 |
| CN107025685A (zh) * | 2017-04-11 | 2017-08-08 | 南京林业大学 | 拓扑感知下的机载建筑屋顶点云建模方法 |
Non-Patent Citations (1)
| Title |
|---|
| HUI ZHANG 等: "A weighted-RV method to detect fine-scale functional connectivity during resting state", 《NEUROIMAGE》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112731894A (zh) * | 2021-02-02 | 2021-04-30 | 深圳华龙讯达信息技术股份有限公司 | 一种基于数字孪生技术的包装机智能控制系统及方法 |
| CN113923501A (zh) * | 2021-10-09 | 2022-01-11 | 深圳市中渤光电有限公司 | 基于vr虚拟现实的led屏全景显示方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI708152B (zh) | 圖像處理方法、裝置及儲存介質 | |
| CN103472909B (zh) | 用于头戴式、增强现实显示器的逼真遮挡 | |
| CN104317391B (zh) | 一种基于立体视觉的三维手掌姿态识别交互方法和系统 | |
| Liu et al. | Real-time robust vision-based hand gesture recognition using stereo images | |
| JP2022500790A (ja) | 顔モデルの生成方法、装置、電子機器及びコンピュータ可読記憶媒体 | |
| CN114981844A (zh) | 3d身体模型生成 | |
| CN104346612B (zh) | 信息处理装置和显示方法 | |
| CN118140253A (zh) | 基于镜的增强现实体验 | |
| CN108958460A (zh) | 基于虚拟现实的楼盘沙盘展示方法及系统 | |
| CN107105333A (zh) | 一种基于视线追踪技术的vr视频直播交互方法与装置 | |
| CN101308571A (zh) | 一种利用主动网格与人脸识别结合生成新人脸的方法 | |
| US11908083B2 (en) | Deforming custom mesh based on body mesh | |
| US11636662B2 (en) | Body normal network light and rendering control | |
| KR20230098244A (ko) | 적응형 골격 관절 원활화 | |
| CN115956255A (zh) | 使用广角成像设备的3d重建 | |
| CN102761768A (zh) | 一种实现立体成像的方法及装置 | |
| WO2014100447A1 (en) | Generating panorama images based on attention information | |
| CN115769260A (zh) | 基于光度测量的3d对象建模 | |
| CN109035419A (zh) | 一种基于ar技术的社交方法和系统 | |
| CN115690382A (zh) | 深度学习模型的训练方法、生成全景图的方法和装置 | |
| KR20230027237A (ko) | 2d 이미지들로부터의 3d 객체 모델 재구성 | |
| CN117043829A (zh) | 实时的真实尺寸眼戴装置 | |
| CN118435243A (zh) | 实时上身服装交换 | |
| WO2014100449A1 (en) | Capturing photos without a camera | |
| KR20240128015A (ko) | 실시간 의복 교환 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181218 |