CN106683195B

CN106683195B - 一种基于室内定位的ar场景渲染方法

Info

Publication number: CN106683195B
Application number: CN201611256173.5A
Authority: CN
Inventors: 李娜
Original assignee: Shanghai Wangluo Electronic Science & Technology Co ltd
Current assignee: Shanghai Wangluo Electronic Science & Technology Co ltd
Priority date: 2016-12-30
Filing date: 2016-12-30
Publication date: 2021-03-09
Anticipated expiration: 2036-12-30
Also published as: CN106683195A

Abstract

本发明涉及增强现实技术领域，提供了一种基于室内定位的AR场景渲染方法，包括建立包含有特征点信息的室内场景图片数据库的步骤；确定与即时预览图像相对应的最匹配室内场景图片的步骤；计算即时预览图像与最匹配室内场景图片的偏差的步骤；调整最匹配室内场景图并显示在AR场景中，实现室内AR场景的渲染和生成的步骤。本发明的有益效果为：基于室内定位技术，突破图像获取和识别的速度缓慢的局限，规避室内AR场景渲染不稳定、不准确的缺陷，真正建立完善的室内AR场景生成方法，实现图像获取速度快、识别率高、准确性强、场景渲染真的高效模式。

Description

一种基于室内定位的AR场景渲染方法

技术领域

本发明涉及增强现实技术领域，特别涉及一种基于室内定位的AR场景渲染方法。

背景技术

近年来，随着国家经济的快速发展，科技技术的不断进步，社会信息化和数字化水平的逐步提升，在可穿戴设备兴起的推动下，各类AR（增强现实，Augmented Reality）设备层出不穷。伴随着设备的移动化和图像处理技术的不断突破，结合人工智能和云计算的不断深入，AR在移动设备上的应用也越来越丰富多样，AR技术在旅游、游戏、社交娱乐、医疗卫生、军事和文化等领域已有着很好的应用。

增强现实是在虚拟现实技术基础上发展起来的新兴计算机应用和人机交互技术，其融合了计算机视觉、图像学、图像处理、多传感器和显示技术。增强现实技术实现了将计算机生成的虚拟物体准确地叠加到真实场景，成功地构建真实与虚拟场景无缝融合，从而达到对真实场景的增强，拓展和增强用户对周围世界的感知。由于智能终端计算能力及云计算能力的增强、移动电子商务、真实场景体验、信息搜索推送、定位信息服务的需求使得增强现实有着巨大的市场价值，增强现实得到移动互联网、各大高校以及研究院的进一步深入拓展与研究。

目前，有提出利用增强现实技术来实现商品信息的获取方法，在一定程度上能够给用户商品三维图像信息的体验，了解商品的具体形态，但是标识信息为二维码，只能应用于特定的商品，信息的获取也需进行近距离扫描完成；支付宝平台推出AR红包，基于位置信息服务和增强现实技术，将原有的单纯线上沟通，变成线上线下的互动，增加了趣味性和互动性，但是位置信息服务是基于室外定位方式，在室内的定位效果不是很理想，存在一定的局限性，真实场景与虚拟照片的匹配方法也没有做进一步的创新，图像匹配的效率和效果还可以进一步的提升。

发明内容

本发明的目的就是克服现有技术的不足，提供了一种基于室内定位的AR场景渲染方法，借助室内定位、人工智能、云计算、图像处理和图像识别等技术，实现室内场景区域的框定，照片信息数据库的快速构建，AR场景渲染时图像的高效提取和识别，达到真实场景的AR生成，增强用户的现实场景及时化、精确化和真实化体验。

本发明一种基于室内定位的AR场景渲染方法，包括如下步骤：

步骤一、对室内场景进行分区域拍照，生成记录有拍摄位置、拍摄方向、拍摄角度信息的室内场景图片；对所述室内场景图片进行特征点信息提取，建立包含有特征点信息的室内场景图片数据库；

步骤二、利用移动设备的摄像头获取其当前所在室内位置、角度、方向信息的同时抓取即时预览图像，将所述预览图像与步骤一中所述的室内场景图片数据库进行匹配，确定最匹配室内场景图片；

步骤三、计算所述预览图像相对于所述最匹配室内场景图片的偏差，所述偏差包括所述预览图像相对于所述最匹配室内场景图片的旋转角度；

步骤四、计算所述最匹配室内场景图片在AR场景中的对应位置，调取相应的AR场景渲染素材；根据步骤三中的所述偏差调整最匹配室内场景图，将调整后的最匹配室内场景图显示在AR场景中，所述调整后的最匹配室内场景图与现实场景中的真实位置相对应，实现室内AR场景的渲染和生成。

进一步的，步骤一中拍摄位置为拍摄点的三轴坐标，坐标原点根据需求确定；拍摄方向为相机中心线在水平面上的投影线与正北方向的夹角；拍摄角度为相机中心线与水平面之间的夹角。

进一步的，步骤一中拍摄位置的确定采用蓝牙-定位信标的室内定位技术；所述包含有特征点信息的室内场景图片数据库上传到服务器或云端。

进一步的，步骤二中的移动设备包括游戏机设备、医疗设备。

进一步的，步骤二中所述预览图像与所述室内场景图片数据库进行匹配，确定最匹配室内场景图片的具体方法包括：

步骤2.1 根据所述移动设备摄像头当前所在的室内位置、角度、方向信息，从所述室内场景图片数据库筛选出备选图片组；

步骤2.2 对所述预览图像进行特征点提取，与所述备选图片组进行特征点信息识别比对，确定最匹配室内场景图片。

进一步的，步骤2.1中，所述备选图片组中的每张图片的拍摄位置满足如下条件：

1）所述移动设备摄像头的位置与备选图片拍摄位置的距离小于设定阈值A；

2）移动设备摄像头的方向与备选照片的拍摄方向偏差小于设定阈值B；

3）备选照片的尺寸在扇形区域的部分大于设定阈值C，所述扇形区域由移动设备摄像头的可视角度、位置、方向所确定。

进一步的，所述设定阈值A为0.2m-20m，所述设定阈值B为15⁰-25⁰，所述设定阈值C为80-90%。-

进一步的，步骤2.2中，最匹配室内场景图片为从所述备选图片组中选取的，与所述预览图像特征点比对具有最多共同特征点的备选图片。

本发明的有益效果为：室内场景图片数据库中的图片自带定位、角度、方向信息，筛选备选照片组时大大缩小了搜索范围，极大提高了获取备选图片组的效率、准确性和稳定性；根据图片特征点信息快速选定最匹配室内场景图片及与预览图像的偏差，调整偏差最终实现室内AR场景的渲染和生成，给予用户最快捷、真实、稳定的交互实景体验；本方法基于室内定位技术，突破图像获取和识别的速度缓慢的局限，规避室内AR场景渲染不稳定、不准确的缺陷，真正建立完善的室内AR场景生成方法，实现图像获取速度快、识别率高、准确性强、场景渲染真的高效模式。

附图说明

图1所示为本发明实施例中建立室内场景图片数据库的流程示意图。

图2所示为本发明实施例一种基于室内定位的AR场景渲染方法的具体流程示意图。

具体实施方式

下文将结合具体附图详细描述本发明具体实施例。应当注意的是，下述实施例中描述的技术特征或者技术特征的组合不应当被认为是孤立的，它们可以被相互组合从而达到更好的技术效果。在下述实施例的附图中，各附图所出现的相同标号代表相同的特征或者部件，可应用于不同实施例中。

本发明实施例一种基于室内定位的AR场景渲染方法，包括如下步骤：

步骤一中拍摄位置为拍摄点的三轴坐标，坐标原点根据需求确定；拍摄方向为相机中心线在水平面上的投影线与正北方向的夹角；拍摄角度为相机中心线与水平面之间的夹角。

步骤一中拍摄位置的确定可采用蓝牙-定位信标的室内定位技术；也可以采用其他已知的室内定位技术；所述包含有特征点信息的室内场景图片数据库上传存储到服务器或云端，当需要下载时，可直接从云端或服务器下载。

步骤二中的移动设备包括游戏机设备、医疗设备。

步骤二中所述预览图像与所述室内场景图片数据库进行匹配，确定最匹配室内场景图片的具体方法包括：

步骤2.1 根据所述移动设备摄像头当前所在的室内位置、角度、方向信息，从所述室内场景图片数据库筛选出备选图片组；所述备选图片组中的每张图片的拍摄位置满足如下条件（优选的，满足以下条件的所有室内场景图片均应该包括在备选图片组中）：

3）备选照片的尺寸在扇形区域的部分大于设定阈值C，所述扇形区域由移动设备摄像头的可视角度、位置、方向所确定。所述设定阈值A为0.2m-20m，所述设定阈值B为15⁰-25⁰，所述设定阈值C为80-90%。具体阈值A、B、C根据具体需求的不同在上述范围内加以确定。

步骤2.2 对所述预览图像进行特征点提取，与所述备选图片组进行特征点信息识别比对，确定最匹配室内场景图片；最匹配室内场景图片为从所述备选图片组中选取的，与所述预览图像特征点比对具有最多共同特征点的备选图片。

图1为本发明中建立室内场景图片数据库的一种具体流程（但不限于该流程），对室内区域进行相机拍照，结合室内蓝牙定位信标和相机本身的可视角度、方向信息，生成带有位置、可视角度、方向信息的照片。对生成的照片进行图像处理，设定图片深度，框定和裁剪所需要的照片格式，保存图像信息上传至云端或服务器，形成数据库。对云端或者服务器端的照片进行特征化处理，标定每张照片特征点信息，从而构建室内场景区域照片信息数据库。依托蓝牙室内定位等技术，照片信息特征更加丰富，加以特征点的标定和处理，为后期的室内AR场景的图像的提取和识别提供更加稳定、可靠、准确和快速的途径。

图2示出了本发明场景渲染方法的一种具体流程（但不限于该流程），在完成室内场景照片信息数据库构建的基础上，当进入室内，打开游戏或者医疗等移动设备的摄像头，获取当前位置、可视角度和方向信息，通过判断与数据库中图片的信息是否一致，从服务器上抽取备选图片组。由于图片本身带有定位信息和角度与方向信息，以及特征化处理时设置一定的冗余度，抽取图片时依据相关信息，缩小了搜索范围，获取偏离位置接近的图片，从而大大提高了获取图片的效率，保障了备选照片的准确性和稳定性，在此基础上，从数据库下载备选图片特征信息，在打开移动设备摄像头获取当前位置、可视角度和方向的同时，会抓取当前摄像头图像预览信息，对获取的预览图像进行特征化处理，处理完成后与之前下载好的备选图片特征信息进行识别比对，筛选出最匹配室内场景图片，图像识别比对成功后，计算得到原图片在AR场景中的真实位置，调取AR场景渲染素材，反向推算出照片旋转或者偏移的角度，结合额外的信息叠加，自动调整到现实场景中的真实位置显示，从而实现室内AR场景的渲染和生成，给予用户最快捷、真实、稳定的交互实景体验。

本文虽然已经给出了本发明的几个实施例，但是本领域的技术人员应当理解，在不脱离本发明精神的情况下，可以对本文的实施例进行改变。上述实施例只是示例性的，不应以本文的实施例作为本发明权利范围的限定。

Claims

1.一种基于室内定位的AR场景渲染方法，其特征在于，包括如下步骤：

步骤一、对室内场景进行分区域拍照，生成记录有拍摄位置、拍摄方向、拍摄角度信息的室内场景图片；对所述室内场景图片进行特征点信息提取，建立包含有特征点信息的室内场景图片数据库；拍摄位置的确定采用蓝牙-定位信标的室内定位技术；

步骤四、计算所述最匹配室内场景图片在AR场景中的对应位置，调取相应的AR场景渲染素材；根据步骤三中的所述偏差调整最匹配室内场景图，将调整后的最匹配室内场景图显示在AR场景中，所述调整后的最匹配室内场景图与现实场景中的真实位置相对应，实现室内AR场景的渲染和生成；

其中，步骤二中所述预览图像与所述室内场景图片数据库进行匹配，确定最匹配室内场景图片的具体方法包括：

步骤2.1根据所述移动设备摄像头当前所在的室内位置、角度、方向信息，从所述室内场景图片数据库筛选出备选图片组；

步骤2.2对所述预览图像进行特征点提取，与所述备选图片组进行特征点信息识别比对，确定最匹配室内场景图片；

步骤2.1中，所述备选图片组中的每张图片的拍摄位置满足如下条件：

1)所述移动设备摄像头的位置与备选图片拍摄位置的距离小于设定阈值A；

2)所述移动设备摄像头的方向与备选照片的拍摄方向偏差小于设定阈值B；

3)备选照片的尺寸在扇形区域的部分大于设定阈值C，所述扇形区域为所述移动设备摄像头的可视角度、位置、方向所确定的可拍摄区域；

所述设定阈值A为0.2m-20m，所述设定阈值B为15⁰-25⁰，所述设定阈值C为80-90％。

2.如权利要求1所述的AR场景渲染方法，其特征在于，步骤一中拍摄位置为拍摄点的三轴坐标，坐标原点根据需求确定；拍摄方向为相机中心线在水平面上的投影线与正北方向的夹角；拍摄角度为相机中心线与水平面之间的夹角。

3.如权利要求1所述的AR场景渲染方法，其特征在于，步骤一中所述包含有特征点信息的室内场景图片数据库上传到服务器或云端。

4.如权利要求1-3任一项所述的AR场景渲染方法，其特征在于，步骤二中的移动设备包括游戏机设备、医疗设备。

5.如权利要求1所述的AR场景渲染方法，其特征在于，步骤2.2中，最匹配室内场景图片为从所述备选图片组中选取的，与所述预览图像特征点比对具有最多共同特征点的备选图片。