CN110598139A - 基于5G云计算的Web浏览器增强现实实时定位的方法 - Google Patents

Abstract

本发明公开了一种基于5G云计算的Web浏览器增强现实实时定位的方法，采用摄像头数据采集，通过数据标与时间同步信息，获得原始数据压缩、数据上传；根据ORB图像特征点提取最佳的一组特征因子以及相应的查询集、训练集；计算单应矩阵H，根据透视变换获取特征图角点，进行角点检测；计算一个稀疏特征的光流，再次根据透视投影建立相机运动轨迹位置变换；将获取的相机的坐标与相机渲染矩阵回传浏览器，根据回传信息变换虚拟场景的世界坐标信息，融合真实环境信息。本发明可以突破浏览器端增强现实在硬件设备计算能力普遍不足的情况下，利用5G的低延时和高带宽的特性，实现浏览器端高帧率、实时位置定位的增强现实。

Description

基于5G云计算的Web浏览器增强现实实时定位的方法

技术领域

本发明涉及虚拟与现实融合领域，更为具体地，涉及一种基于5G云计算的Web浏览器AR实时定位的方法。

背景技术

在信息快速流通的时代，5G在逐步的进入到人们的生活中，由Android，iOS原生平台转向H5已经然成为趋势，在2008年谷歌Android手机G1诞生时，Wikitude公司便在该款手机平台上通过一款旅游辅助手机软件Wikitude AR Travel Guide将增强现实技术(Augmented Reality，简称AR)应用体验带给用户，而现在科技进步的时代，增强现实技术在工业领域得到逐步巩固，此技术可以让用户在浏览移动互联网时体验到增强现实技术，用户可以通过本地浏览器访问互联网就可以看到相应的手机相机视角，以此带给用户真实的观感，在Web端增强现实技术的发展前景是巨大的。

由于增强现实技术可以将计算机信息带入到用户的真实世界中，通过听、看、摸、闻等虚拟信息，来增强对现实世界的感知，所以增强现实技术被广泛的应用于购物、建筑、旅游、教育、医疗保健等领域。增强现实的算法复杂、计算量大、可以利用CPU的多核并发计算解决计算不足的问题，然而要让增强现实在Web这种沙盒模式单线程的执行却存在着很大的困难。

目前常见的浏览器端增强现实实现方案是采用非自然图作为识别物的识别方案，即事先做好类似于二维码的黑边图作为识别Marker。这种方案虽然能在移动浏览器端以较高帧率实时运行，当极其不易于推广。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于5G云计算的Web浏览器增强现实实时定位的方法，可以突破浏览器端增强现实在硬件设备计算能力普遍不足的情况下，利用5G的低延时和高带宽的特性，实现浏览器端高帧率、实时位置定位的增强现实。

本发明的目的是通过以下技术方案来实现的：

一种基于5G云计算的Web浏览器增强现实实时定位的方法，包括以下步骤：

(一)摄像头数据采集，通过数据标与时间同步信息，获得原始数据压缩、数据上传；

(二)ORB图像特征点提取，通过brute-force算法匹配，匹配相同特征向量，并通过特征距离提取最佳的一组特征因子以及相应的查询集、训练集；

(三)根据步骤(二)的结果，计算单应矩阵H，并细化匹配结果，根据透视变换获取特征图角点，进行角点检测；

(四)计算一个稀疏特征的光流，使用金字塔中的迭代Lucas Kanade方法，再次根据透视投影建立相机运动轨迹位置变换；

(五)将步骤(四)获取的相机的坐标与相机渲染矩阵回传浏览器，根据回传信息变换虚拟场景的世界坐标信息，融合真实环境信息。

进一步的，所述步骤(三)中采用角点检测算法如下：

(1)对图像的全部像素分别采用垂直与水平差分算子进行滤波求得Hx、Hy,可求得Hx^2、HxHy、HxHy、Hy^2四个元素组成的2x2的矩阵；

(2)将(1)中得到的结果矩阵进行高斯平滑滤波，可计算得出矩阵G；

(3)设矩阵G的行列式的值为X1、X2，根据X1>＝X2并且X2>＝RX2max(X2max为图像所有像素点中较小特征中的最大值)来得出该像素为最强角点；

(4)假设Kc与Kd的阈值，然后将提取的相邻特征点的距离和所有特征点数目进行向量约束。

进一步的，所述步骤(四)中采用光流跟踪算法如下：

(a)设像素点A的位移向量为M,设像素点A的第一帧的坐标位置PA1＝[px，py]^T，则像素点A的第二帧的位置为PA2＝PA1+M＝[px+Mx Py+My]^T,其中M即表示像素点A的光流，设Sx，Sy是两个整数，设定M是最小化差异E的向量，定义如下：

(b)E(M)即在像素点A周围取一个邻域，大小设为(2Sx+1)*(2Sy+1)，将第一帧与第二帧进行位移M的所有像素点运算查分后求平方，再求和，即可计算出M。

进一步的，包括客户端数据提取，所述客户端数据提取包括以下步骤：

(1)基于H5的navigator以及MediaRecorder API、FileReader以及Blob来获取摄像机画面数据；

(2)将步骤一获取的视频流数据赋值给H5的Video标签的Video.srcObject属性，将视频流数据渲染于手机屏幕；

(3)客户端通过Canvas标签中的Context2d.drawImage方法获取Video每帧数据信息并将每帧数据存入在发送队列中；

(4)通过WebSocket内置send方法将队列中的数据分包循环发送到服务端；

(5)通过WebSocket内置onmessage监听方法接收服务器发送的消息并按需处理接收数据。

进一步的，还包括服务端实现，所述服务端实现包括以下步骤：

(1)服务端获取客户端的帧数据,将客户端的帧数据通过WebSocket协议进行解码，然后传递给算法处理程序；

(2)提取图像帧灰度图，通过ORB算法匹配出特征点；

(3)通过角点提取算法提取出角点，根据光流算法、跟踪流程，计算出相机的位姿矩阵；

(4)将位姿矩阵数据回传客户端，客户端通过相机标定参数设置相机的投影矩阵，然后通过每帧回传的位姿矩阵设置相机的坐标与旋转。

本发明的有益效果是：

(1)本发明祛除了图像数据本地化处理过多消耗本地资源的影响，减轻长时间复杂计算，这样，直接的减轻移动浏览器增强现实实时定位、渲染的负担。

(2)本发明通过远程高性能处理，加快定位数据的初始化过程，极大的减少了用户在程序启动阶段的初始化等待时长。

(3)本发明移除了本地特帧码，以及本地算法内存数据，让有限的浏览器WebView内存可以存储用于渲染的更精细的模型数据。

(4)本发明可以突破浏览器端增强现实在硬件设备计算能力普遍不足的情况下，利用5G的低延时和高带宽的特性，实现浏览器端高帧率、实时位置定位的增强现实。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明的步骤流程示意图；

图2为本发明客户端提取数据的步骤流程图；

图3为本发明服务端实现的步骤流程图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。本说明书(包括任何附加权利要求、摘要和附图)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在对实施例进行描述之前，需要对一些必要的术语进行解释。例如：

若本申请中出现使用“第一”、“第二”等术语来描述各种元件，但是这些元件不应当由这些术语所限制。这些术语仅用来区分一个元件和另一个元件。因此，下文所讨论的“第一”元件也可以被称为“第二”元件而不偏离本发明的教导。应当理解的是，若提及一元件“连接”或者“联接”到另一元件时，其可以直接地连接或直接地联接到另一元件或者也可以存在中间元件。相反地，当提及一元件“直接地连接”或“直接地联接”到另一元件时，则不存在中间元件。

在本申请中出现的各种术语仅仅用于描述具体的实施方式的目的而无意作为对本发明的限定，除非上下文另外清楚地指出，否则单数形式意图也包括复数形式。

当在本说明书中使用术语“包括”和/或“包括有”时，这些术语指明了所述特征、整体、步骤、操作、元件和/或部件的存在，但是也不排除一个以上其他特征、整体、步骤、操作、元件、部件和/或其群组的存在和/或附加。

如图1所示，一种基于5G云计算的Web浏览器增强现实实时定位的方法，包括以下步骤：

(一)摄像头数据采集，通过数据标与时间同步信息，获得原始数据压缩、数据上传；

(二)ORB图像特征点提取，通过brute-force算法匹配，匹配相同特征向量，并通过特征距离提取最佳的一组特征因子以及相应的查询集、训练集；

(三)根据步骤(二)的结果，计算单应矩阵H，并细化匹配结果，根据透视变换获取特征图角点，进行角点检测；

(四)计算一个稀疏特征的光流，使用金字塔中的迭代Lucas Kanade方法，再次根据透视投影建立相机运动轨迹位置变换；

(五)将步骤(四)获取的相机的坐标与相机渲染矩阵回传浏览器，根据回传信息变换虚拟场景的世界坐标信息，融合真实环境信息。

进一步的，所述步骤(三)中采用角点检测算法如下：

(1)对图像的全部像素分别采用垂直与水平差分算子进行滤波求得Hx、Hy,可求得Hx^2、HxHy、HxHy、Hy^2四个元素组成的2x2的矩阵；

(2)将(1)中得到的结果矩阵进行高斯平滑滤波，可计算得出矩阵G；

(3)设矩阵G的行列式的值为X1、X2，根据X1>＝X2并且X2>＝RX2max(X2max为图像所有像素点中较小特征中的最大值)来得出该像素为最强角点；

(4)假设Kc与Kd的阈值，然后将提取的相邻特征点的距离和所有特征点数目进行向量约束。

进一步的，所述步骤(四)中采用光流跟踪算法如下：

(a)设像素点A的位移向量为M,设像素点A的第一帧的坐标位置PA1＝[px，py]^T，则像素点A的第二帧的位置为PA2＝PA1+M＝[px+Mx Py+My]^T,其中M即表示像素点A的光流，设Sx，Sy是两个整数，设定M是最小化差异E的向量，定义如下：

(b)E(M)即在像素点A周围取一个邻域，大小设为(2Sx+1)*(2Sy+1)，将第一帧与第二帧进行位移M的所有像素点运算查分后求平方，再求和，即可计算出M。

实施例1

本领域技术人员可将本发明作为一种基于5G云计算的Web浏览器增强现实实时定位的方法进行实施，包括以下步骤：

(一)摄像头数据采集，通过数据标与时间同步信息，获得原始数据压缩、数据上传；

(二)ORB图像特征点提取，通过brute-force算法匹配，匹配相同特征向量，并通过特征距离提取最佳的一组特征因子以及相应的查询集、训练集；

(三)根据步骤(二)的结果，计算单应矩阵H，并细化匹配结果，根据透视变换获取特征图角点，进行角点检测，采用角点检测算法如下：

(1)对图像的全部像素分别采用垂直与水平差分算子进行滤波求得Hx、Hy,可求得Hx^2、HxHy、HxHy、Hy^2四个元素组成的2x2的矩阵；

(2)将(1)中得到的结果矩阵进行高斯平滑滤波，可计算得出矩阵G；

(3)设矩阵G的行列式的值为X1、X2，根据X1>＝X2并且X2>＝RX2max(X2max为图像所有像素点中较小特征中的最大值)来得出该像素为最强角点；

(4)假设Kc与Kd的阈值，然后将提取的相邻特征点的距离和所有特征点数目进行向量约束；

(四)计算一个稀疏特征的光流，使用金字塔中的迭代Lucas Kanade方法，再次根据透视投影建立相机运动轨迹位置变换，采用光流跟踪算法如下：

(a)设像素点A的位移向量为M,设像素点A的第一帧的坐标位置PA1＝[px，py]^T，则像素点A的第二帧的位置为PA2＝PA1+M＝[px+Mx Py+My]^T,其中M即表示像素点A的光流，设Sx，Sy是两个整数，设定M是最小化差异E的向量，定义如下：

(b)E(M)即在像素点A周围取一个邻域，大小设为(2Sx+1)*(2Sy+1)，将第一帧与第二帧进行位移M的所有像素点运算查分后求平方，再求和，即可计算出M；

(五)将步骤(四)获取的相机的坐标与相机渲染矩阵回传浏览器，根据回传信息变换虚拟场景的世界坐标信息，融合真实环境信息。

本实施例中通过客户端进行数据提取，通过服务端进行实现。

如图2所示，客户端数据提取包括以下步骤：

(1)基于H5的navigator以及MediaRecorder API、FileReader以及Blob来获取摄像机画面数据；

(2)将步骤一获取的视频流数据赋值给H5的Video标签的Video.srcObject属性，将视频流数据渲染于手机屏幕；

(3)客户端通过Canvas标签中的Context2d.drawImage方法获取Video每帧数据信息并将每帧数据存入在发送队列中；

(4)通过WebSocket内置send方法将队列中的数据分包循环发送到服务端；

(5)通过WebSocket内置onmessage监听方法接收服务器发送的消息并按需处理接收数据。

本实施例移除了本地特帧码，以及本地算法内存数据，让有限的浏览器WebView内存可以存储用于渲染的更精细的模型数据。

如图3所示，服务端实现包括以下步骤：

(1)服务端获取客户端的帧数据,将客户端的帧数据通过WebSocket协议进行解码，然后传递给算法处理程序，这里为了服务端的性能，所有数据均采用数据地址传值的方式；

(2)提取图像帧灰度图，通过ORB算法匹配出特征点；

(3)通过角点提取算法提取出角点，根据光流算法、跟踪流程，计算出相机的位姿矩阵；

(4)将位姿矩阵数据回传客户端，客户端通过相机标定参数设置相机的投影矩阵，然后通过每帧回传的位姿矩阵设置相机的坐标与旋转。

本发明采用服务端实现，祛除了图像数据本地化处理过多消耗本地资源的影响，减轻长时间复杂计算，这样，直接的减轻移动浏览器增强现实实时定位、渲染的负担；通过远程高性能处理，加快定位数据的初始化过程，极大的减少了用户在程序启动阶段的初始化等待时长。本发明可以突破浏览器端增强现实在硬件设备计算能力普遍不足的情况下，利用5G的低延时和高带宽的特性，实现浏览器端高帧率、实时位置定位的增强现实。

在本实施例中的其余技术特征，本领域技术人员均可以根据实际情况进行灵活选用以满足不同的具体实际需求。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的组成，结构或部件，均在本发明的权利要求书请求保护的技术方案限定技术保护范围之内。

在本发明的描述中，除非另有明确的规定和限定，术语“设置”、“安装”、“相连”、“连接”均是广义含义，本领域技术人员应作广义理解。例如，可以是固定连接，也可以是活动连接，或整体地连接，或局部地连接，可以是机械连接，也可以是电性连接，可以是直接相连，也可以是通过中间媒介间接连接，还可以是两个元件内部的连通等，对于本领域的技术人员来说，可以根据具体情况理解上述术语在本发明中的具体含义，即，文字语言的表达与实际技术的实施可以灵活对应，本发明的说明书的文字语言(包括附图)的表达不构成对权利要求的任何单一的限制性解释。

本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。在以上描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的技术，例如具体的施工细节，作业条件和其他的技术条件等。

Claims (5)

1.一种基于5G云计算的Web浏览器增强现实实时定位的方法，其特征在于，包括以下步骤：

(一)摄像头数据采集，通过数据标与时间同步信息，获得原始数据压缩、数据上传；

(二)ORB图像特征点提取，通过brute-force算法匹配，匹配相同特征向量，并通过特征距离提取最佳的一组特征因子以及相应的查询集、训练集；

(三)根据步骤(二)的结果，计算单应矩阵H，并细化匹配结果，根据透视变换获取特征图角点，进行角点检测；

(四)计算一个稀疏特征的光流，使用金字塔中的迭代Lucas Kanade方法，再次根据透视投影建立相机运动轨迹位置变换；

(五)将步骤(四)获取的相机的坐标与相机渲染矩阵回传浏览器，根据回传信息变换虚拟场景的世界坐标信息，融合真实环境信息。

2.根据权利要求1所述的基于5G云计算的Web浏览器增强现实实时定位的方法，其特征在于，所述步骤(三)中采用角点检测算法如下：

(1)对图像的全部像素分别采用垂直与水平差分算子进行滤波求得Hx、Hy,可求得Hx^2、HxHy、HxHy、Hy^2四个元素组成的2x2的矩阵；

(2)将(1)中得到的结果矩阵进行高斯平滑滤波，可计算得出矩阵G；

(3)设矩阵G的行列式的值为X1、X2，根据X1>＝X2并且X2>＝RX2max(X2max为图像所有像素点中较小特征中的最大值)来得出该像素为最强角点；

(4)假设Kc与Kd的阈值，然后将提取的相邻特征点的距离和所有特征点数目进行向量约束。

3.根据权利要求1所述的基于5G云计算的Web浏览器增强现实实时定位的方法，其特征在于，所述步骤(四)中采用光流跟踪算法如下：

(a)设像素点A的位移向量为M,设像素点A的第一帧的坐标位置PA1＝[px，py]^T，则像素点A的第二帧的位置为PA2＝PA1+M＝[px+Mx Py+My]^T,其中M即表示像素点A的光流，设Sx，Sy是两个整数，设定M是最小化差异E的向量，定义如下：

(b)E(M)即在像素点A周围取一个邻域，大小设为(2Sx+1)*(2Sy+1)，将第一帧与第二帧进行位移M的所有像素点运算查分后求平方，再求和，即可计算出M。

4.根据权利要求1所述的基于5G云计算的Web浏览器增强现实实时定位的方法，其特征在于，包括客户端数据提取，所述客户端数据提取包括以下步骤：

(1)基于H5的navigator以及MediaRecorder API、FileReader以及Blob来获取摄像机画面数据；

(2)将步骤一获取的视频流数据赋值给H5的Video标签的Video.srcObject属性，将视频流数据渲染于手机屏幕；

(3)客户端通过Canvas标签中的Context2d.drawImage方法获取Video每帧数据信息并将每帧数据存入在发送队列中；

(4)通过WebSocket内置send方法将队列中的数据分包循环发送到服务端；

(5)通过WebSocket内置onmessage监听方法接收服务器发送的消息并按需处理接收数据。

5.根据权利要求1所述的基于5G云计算的Web浏览器增强现实实时定位的方法，其特征在于，还包括服务端实现，所述服务端实现包括以下步骤：

(1)服务端获取客户端的帧数据,将客户端的帧数据通过WebSocket协议进行解码，然后传递给算法处理程序；

(2)提取图像帧灰度图，通过ORB算法匹配出特征点；

(3)通过角点提取算法提取出角点，根据光流算法、跟踪流程，计算出相机的位姿矩阵；

(4)将位姿矩阵数据回传客户端，客户端通过相机标定参数设置相机的投影矩阵，然后通过每帧回传的位姿矩阵设置相机的坐标与旋转。