CN113066193B - 一种用于在实景三维地图上增强现实的方法 - Google Patents
一种用于在实景三维地图上增强现实的方法 Download PDFInfo
- Publication number
- CN113066193B CN113066193B CN202110345471.6A CN202110345471A CN113066193B CN 113066193 B CN113066193 B CN 113066193B CN 202110345471 A CN202110345471 A CN 202110345471A CN 113066193 B CN113066193 B CN 113066193B
- Authority
- CN
- China
- Prior art keywords
- target
- live
- action
- information
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Abstract
本发明涉及一种用于在实景三维地图上增强现实的方法，包括响应用户的指令发起利用头戴显示设备对AR场景中未标定的目标进行标定，并将标定内容增加到AR场景中的过程。本发明的方法能够将未标定目标的信息标定在AR场景中，并能将所标定的目标信息反馈到服务器，以供服务器对实景三维地图中目标进行标定，使实景三维地图的检索更为便利。
Description
技术领域
本发明涉及增强现实技术领域，具体涉及一种用于在实景三维地图上增强现实的方法。
背景技术
增强现实技术是一种将虚拟图像投影到现实世界以增强用户感知效果的技术，其在多个领域有重要应用。
在增强现实技术中，基于地理信息导航和广告载入的应用已非常广泛。在基于地理信息导航的应用中，主要是对已标定地理目标的信息进行导航以及显示。AR场景中实际已标定的目标往往非常有限，在数量上远远低于通常的二维地图数据库。这是因为用于AR显示中的目标信息标定与用于二维地图坐标中的目标信息标定有着本质区别，后者实际上是对二维地图上的图像本身进行标定，通常只需要根据目标图像的位置输入简单信息即可，用户操作非常简单。而前者实际上是对用户实际看到的实际目标图像进行编辑标定，一方面，用户与目标通常不可避免地保持一定距离，由此导致用户的地理坐标与待标定目标的地理坐标存在差异，这一问题在远距离标定目标时显得尤为突出；另一方面，很多时候用户仅仅是从远处看到了一个目标，该目标对用户来说属于未知目标，在仅仅出于兴趣去了解未知目标是何种目标时，通过调用多种地图和其它信息等常规方式用户在知晓该目标为何种目标后，即便用户希望对该目标进行信息标定，也不具有将目标信息标示在AR场景中的便捷能力。
发明内容
针对现有技术的不足，本发明提供一种增强现实的方法，其用于增强现实技术，可以实现普通用户对AR场景中未标定目标的信息标定。
本发明的目的是采用下述技术方案实现的：
一种用于在实景三维地图上增强现实的方法，包括响应用户的指令发起利用头戴显示设备对AR场景中未标定的待标定目标进行标定，并将标定内容增加到AR场景中的过程；具体包括以下步骤：
(101)确定用户当前的坐标、用户相对待标定目标的垂直倾角和水平方位角；
(102)识别待标定目标的边界，并测量待标定目标与用户之间的距离；
(103)根据步骤(101)、(102)中测量到的数据进行计算，获得待标定目标的大致坐标区域；
(104)用户通过语音给出目标描述并将所述目标描述和所述大致坐标区域一起形成筛选条件，并将该筛选条件提供给网络服务器，网络服务器根据该筛选条件访问实景三维地图库，并筛选出供选择的包含地理坐标信息的多个可能的实景三维地图图像，以及将该多个可能的实景三维图像显示到所述头戴显示设备的显示器中；
(105)用户利用头戴显示设备中的眼球跟踪设备和语音指令来共同完成对多张可能的实景三维地图图像中最准确图像的确认，同时获得该最准确图像所对应的目标实景三维地理坐标，并通过图片智能切分结合语音指令来对该最准确图像进行处理和确认，进而获得该最准确图像中仅包括目标的图片部分，将该图片部分以及上述目标实景三维地理坐标传送给网络服务器进行信息检索，获得该目标的详细信息，从该详细信息中智能识别出至少包含该目标的类型和名称的信息，并由用户结合实景三维照片进行确认；
(106)在AR场景中，将至少包含该目标的类型和名称的信息标定在处于所述标定目标的边界内的目标上，并将包含目标的类型、名称、该图片部分以及目标实景三维地理坐标的信息发送给服务器，进而服务器在实景三维地图中对这些信息进行标注。
其中，头戴显示设备包括电子罗盘、倾角传感器和测距设备，所述电子罗盘用来测量水平方向角，所述倾角传感器用来测量用户看向待标定目标的垂直倾角，所述测距设备为激光测量仪或者图像测距仪。
其中，所述从该详细信息中智能识别出至少包含该目标的类型和名称的信息，包括识别该图片部分中的文字和/或数字。
其中，根据实景三维图像所代表的地理坐标、目标周围参照物的尺寸、实景三维图像的观看角度，来对目标实景三维地理坐标进行修正。还可以，例如根据实景三维图片拍摄时拍摄者的地理坐标、目标周围参照物的尺寸、实景三维照片的拍摄角度，来对目标实景三维坐标进行修正。
其中，所述头戴显示设备上设置有第一摄像机和第二摄像机，其中第一摄像机为眼球跟踪设备，第二摄像机为场景摄像机，其中第一摄像机具体为该眼球跟踪设备，第二摄像机的整个大视场中具有一个小视场，小视场的成像质量高于整个大视场；第二摄像机根据第一摄像机追踪到的人眼运动信息判断人眼的关注区域，进而将所述待标定目标处于该小视场内以记录该待标定目标更清晰的像。
其中，该目标的类型为学校、商场、商店、电影院、公司、大厦、公园、场馆或饭店。
其中，与最接近的现有技术相比，本发明具有的有益效果至少包括：
(1)能够将未标定目标的信息标定在AR场景中，并能将所标定的目标信息反馈到服务器，以供服务器对实景三维地图中目标进行标定使实景三维地图的检索更为便利；
(2)标定方法便捷，用户易于操作；
(3)便于扩大已有AR场景的标定内容，利于AR技术的广泛推广。
附图说明
图1示出了实施本发明的用于增强现实的方法；
图2示出了实施本发明的用于增强现实的方法的设备的示意性结构框图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步的详细说明。
图1示出了实施本发明的用于在实景三维地图上增强现实的方法，包括响应用户的指令发起利用头戴显示设备对AR场景中未标定的待标定目标进行标定，并将标定内容增加到AR场景中的过程；具体包括以下步骤：
(101)确定用户当前的坐标、用户相对待标定目标的垂直倾角和水平方位角；
(102)识别待标定目标的边界，并测量待标定目标与用户之间的距离；
(103)根据步骤(101)、(102)中测量到的数据进行计算，获得待标定目标的大致坐标区域；
(104)用户通过语音给出目标描述并将所述目标描述和所述大致坐标区域一起形成筛选条件，并将该筛选条件提供给网络服务器，网络服务器根据该筛选条件访问实景三维地图库，并筛选出供选择的包含地理坐标信息的多个可能的实景三维地图图像，以及将该多个可能的实景三维图像显示到所述头戴显示设备的显示器中；所述语音描述为分类描述，例如商店、塔、树、山头等。
(105)用户利用头戴显示设备中的眼球跟踪设备和语音指令来共同完成对多张可能的实景三维地图图像中最准确图像的确认，同时获得该最准确图像所对应的目标实景三维地理坐标，并通过图片智能切分结合语音指令来对该最准确图像进行处理和确认，进而获得该最准确图像中仅包括目标的图片部分，将该图片部分以及上述目标实景三维地理坐标传送给网络服务器进行信息检索，获得该目标的详细信息，从该详细信息中智能识别出至少包含该目标的类型和名称的信息，并由用户结合实景三维照片进行确认；其中，眼球跟踪设备可以追踪人眼观察到的实景三维图片，语音指令可通过头戴显示设备显示向用户的提问以及用户回答该提问来完成；
(106)在AR场景中，将至少包含该目标的类型和名称的信息标定在处于所述标定目标的边界内的目标上，并将包含目标的类型、名称、该图片部分以及目标实景三维地理坐标的信息发送给服务器，进而服务器在实景三维地图中对这些信息进行标注。
其中，头戴显示设备包括电子罗盘、倾角传感器和测距设备，所述电子罗盘用来测量水平方向角，所述倾角传感器用来测量用户看向待标定目标的垂直倾角，所述测距设备为激光测量仪或者图像测距仪。
其中，所述从该详细信息中智能识别出至少包含该目标的类型和名称的信息的步骤，包括识别该图片部分中的文字和/或数字。很多时候，该文字本身直接反映其名称以及类型。
其中，根据实景三维图像拍摄时拍摄者的地理坐标、目标周围参照物的尺寸、实景三维图像的拍摄角度，对目标实景三维地理坐标进行修正。其中，拍摄角度可以通过实景三维照片相机的参数、图片边缘的变形等来获得，目标周围的参照物可以为行人、垃圾桶、邮筒等了。利用坐标修正的方法，对于用户、实景三维拍摄者拍摄到较大目标，和/或实景三维拍摄者距离目标较远时的优点显得更为突出。
其中，所述头戴显示设备上设置有第一摄像机和第二摄像机，其中第一摄像机为眼球跟踪设备，第二摄像机为场景摄像机，其中第一摄像机具体为该眼球跟踪设备，第二摄像机的整个大视场中具有一个小视场，小视场的成像质量高于整个大视场；第二摄像机根据第一摄像机追踪到的人眼运动信息判断人眼的关注区域，进而将所述待标定目标处于该小视场内以记录该待标定目标更清晰的像。
其中，该目标的类型为学校、商场、商店、电影院、公司、大厦、公园、场馆或饭店等。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将对结合本发明实施例中的附图，对实施本发明的用于增强现实的方法的设备结构进行描述，显然，图2所描述的设备仅仅是设备的一种，而非对设备的限定，更非对本发明方法的必需限制。
图2示出了实施本发明的用于在实景三维地图上增强现实的方法的设备结构，其主要包括头戴显示设备和网络服务器2，头戴显示设备包括电子罗盘1，第一摄像机3、第二摄像机4、语音输入设备5、通信模块6、倾角传感器7、测距设备8，其中，电子罗盘1用来测量水平方向角，所述倾角传感器7可为加速度计，用来测量用户看向待标定目标的垂直倾角，所述测距设备8为激光测量仪或者图像测距仪；通信模块6用于与周围的通信网络进行通信，以及与网络服务器2的数据进行交互，以及通过GPS模块或者北斗等卫星系统来获得用户所处的地理坐标，所述地理坐标包括经纬度以及海拔高度。本领域技术人员应当理解，可以采用已有设备或其组合来实现本发明的方法。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。
Claims (5)
1.一种用于在实景三维地图上增强现实的方法，包括响应用户的指令发起利用头戴显示设备对AR场景中未标定的待标定目标进行标定，并将标定内容增加到AR场景中的过程；具体包括以下步骤：
(1)确定用户当前的坐标、用户相对待标定目标的垂直倾角和水平方位角；
(2)识别待标定目标的边界，并测量待标定目标与用户之间的距离；
(3)根据步骤(1)、(2)中测量到的数据进行计算，获得待标定目标的大致坐标区域；
其特征在于，还包括：
(4)用户通过语音给出目标描述并将所述目标描述和所述大致坐标区域一起形成筛选条件，并将该筛选条件提供给网络服务器，网络服务器根据该筛选条件访问实景三维地图库，并筛选出供选择的包含地理坐标信息的多个可能的实景三维地图图像，以及将该多个可能的实景三维图像显示到所述头戴显示设备的显示器中；
(5)用户利用头戴显示设备中的眼球跟踪设备和语音指令来共同完成对多张可能的实景三维地图图像中最准确图像的确认，同时获得该最准确图像所对应的目标实景三维地理坐标，并通过图片智能切分结合语音指令来对该最准确图像进行处理和确认，进而获得该最准确图像中仅包括目标的图片部分，将该图片部分以及上述目标实景三维地理坐标传送给网络服务器进行信息检索，获得该目标的详细信息，从该详细信息中智能识别出至少包含该目标的类型和名称的信息，并由用户结合实景三维照片进行确认；
(6)在AR场景中，将至少包含该目标的类型和名称的信息标定在处于所述标定目标的边界内的目标上，并将包含目标的类型、名称、该图片部分以及目标实景三维地理坐标的信息发送给服务器，进而服务器在实景三维地图中对这些信息进行标注；
所述头戴显示设备上设置有第一摄像机和第二摄像机，其中第一摄像机具体为该眼球跟踪设备，第二摄像机为场景摄像机，第二摄像机的整个大视场中具有一个小视场，小视场的成像质量高于整个大视场；第二摄像机根据第一摄像机追踪到的人眼运动信息判断人眼的关注区域，进而将所述待标定目标处于该小视场内以记录该待标定目标更清晰的像；
语音给出的目标描述为分类描述。
2.根据权利要求1所述的用于在实景三维地图上增强现实的方法，其特征在于，头戴显示设备包括电子罗盘、倾角传感器和测距设备，电子罗盘用来测量水平方向角，倾角传感器用来测量用户看向待标定目标的垂直倾角，测距设备为激光测量仪或者图像测距仪。
3.根据权利要求1所述的用于在实景三维地图上增强现实的方法，其特征在于，所述从该详细信息中智能识别出至少包含该目标的类型和名称的信息的步骤，包括识别该图片部分中的文字和/或数字。
4.根据权利要求1所述的用于在实景三维地图上增强现实的方法，其特征在于，根据实景三维图像所代表的地理坐标、目标周围参照物的尺寸、实景三维图像的观看角度，来对目标实景三维地理坐标进行修正。
5.根据权利要求1所述的用于在实景三维地图上增强现实的方法，其特征在于，该目标的类型为学校、商场、商店、电影院、公司、大厦、公园或饭店。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110345471.6A CN113066193B (zh) | 2021-03-31 | 2021-03-31 | 一种用于在实景三维地图上增强现实的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110345471.6A CN113066193B (zh) | 2021-03-31 | 2021-03-31 | 一种用于在实景三维地图上增强现实的方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113066193A CN113066193A (zh) | 2021-07-02 |
| CN113066193B true CN113066193B (zh) | 2021-11-05 |
Family
ID=76565153
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110345471.6A Active CN113066193B (zh) | 2021-03-31 | 2021-03-31 | 一种用于在实景三维地图上增强现实的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113066193B (zh) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102123194A (zh) * | 2010-10-15 | 2011-07-13 | 张哲颖 | 利用增强实景技术优化移动导航和人机交互功能的方法 |
| CN109298780A (zh) * | 2018-08-24 | 2019-02-01 | 百度在线网络技术（北京）有限公司 | 基于ar的信息处理方法、装置、ar设备及存储介质 |
| CN109683701A (zh) * | 2017-10-18 | 2019-04-26 | 深圳市掌网科技股份有限公司 | 基于视线跟踪的增强现实交互方法和装置 |
| CN110968235A (zh) * | 2018-09-28 | 2020-04-07 | 上海寒武纪信息科技有限公司 | 信号处理装置及相关产品 |
| CN111128131A (zh) * | 2019-12-17 | 2020-05-08 | 北京声智科技有限公司 | 语音识别方法、装置、电子设备及计算机可读存储介质 |
| CN111368101A (zh) * | 2020-03-05 | 2020-07-03 | 腾讯科技（深圳）有限公司 | 多媒体资源信息的展示方法、装置、设备以及存储介质 |
| CN111447404A (zh) * | 2019-01-16 | 2020-07-24 | 杭州海康威视数字技术股份有限公司 | 一种摄像机 |
| CN111551188A (zh) * | 2020-06-07 | 2020-08-18 | 上海商汤智能科技有限公司 | 一种导航路线生成的方法及装置 |
| CN112365530A (zh) * | 2020-11-04 | 2021-02-12 | Oppo广东移动通信有限公司 | 增强现实处理方法及装置、存储介质和电子设备 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106446284A (zh) * | 2016-10-28 | 2017-02-22 | 努比亚技术有限公司 | 地图加载装置及方法 |
| CN110293965B (zh) * | 2019-06-28 | 2020-09-29 | 北京地平线机器人技术研发有限公司 | 泊车方法和控制装置、车载设备及计算机可读介质 |
-
2021
- 2021-03-31 CN CN202110345471.6A patent/CN113066193B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102123194A (zh) * | 2010-10-15 | 2011-07-13 | 张哲颖 | 利用增强实景技术优化移动导航和人机交互功能的方法 |
| CN109683701A (zh) * | 2017-10-18 | 2019-04-26 | 深圳市掌网科技股份有限公司 | 基于视线跟踪的增强现实交互方法和装置 |
| CN109298780A (zh) * | 2018-08-24 | 2019-02-01 | 百度在线网络技术（北京）有限公司 | 基于ar的信息处理方法、装置、ar设备及存储介质 |
| CN110968235A (zh) * | 2018-09-28 | 2020-04-07 | 上海寒武纪信息科技有限公司 | 信号处理装置及相关产品 |
| CN111447404A (zh) * | 2019-01-16 | 2020-07-24 | 杭州海康威视数字技术股份有限公司 | 一种摄像机 |
| CN111128131A (zh) * | 2019-12-17 | 2020-05-08 | 北京声智科技有限公司 | 语音识别方法、装置、电子设备及计算机可读存储介质 |
| CN111368101A (zh) * | 2020-03-05 | 2020-07-03 | 腾讯科技（深圳）有限公司 | 多媒体资源信息的展示方法、装置、设备以及存储介质 |
| CN111551188A (zh) * | 2020-06-07 | 2020-08-18 | 上海商汤智能科技有限公司 | 一种导航路线生成的方法及装置 |
| CN112365530A (zh) * | 2020-11-04 | 2021-02-12 | Oppo广东移动通信有限公司 | 增强现实处理方法及装置、存储介质和电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113066193A (zh) | 2021-07-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11423586B2 (en) | Augmented reality vision system for tracking and geolocating objects of interest | |
| EP2207113B1 (en) | Automated annotation of a view | |
| US10134196B2 (en) | Mobile augmented reality system | |
| US8103126B2 (en) | Information presentation apparatus, information presentation method, imaging apparatus, and computer program | |
| US20130342713A1 (en) | Cloud service based intelligent photographic method, device and mobile terminal | |
| US20070098238A1 (en) | Imaging methods, imaging systems, and articles of manufacture | |
| US20070070233A1 (en) | System and method for correlating captured images with their site locations on maps | |
| CA2727687C (en) | Spatial predictive approximation and radial convolution | |
| JP2013507677A (ja) | 実環境視像における仮想情報の表示方法 | |
| CN108337664B (zh) | 基于地理位置的旅游景区增强现实互动导览系统及方法 | |
| KR20050078136A (ko) | 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템 | |
| JP4969053B2 (ja) | 携帯端末装置及び表示方法 | |
| CN103826201A (zh) | 一种基于地理位置的虚拟交互方法及其系统 | |
| US20230020667A1 (en) | Machine Vision Determination of Location Based on Recognized Surface Features and Use Thereof to Support Augmented Reality | |
| KR20110070210A (ko) | 위치 감지 센서와 방향 감지 센서를 이용하여 증강현실 서비스를 제공하기 위한 이동단말기 및 방법 | |
| KR20180126408A (ko) | 사용자 단말의 위치를 판단하는 방법 | |
| CN109034214B (zh) | 用于生成标记的方法和装置 | |
| CN113066193B (zh) | 一种用于在实景三维地图上增强现实的方法 | |
| CN109033164A (zh) | 一种全景地图数据采集系统及其移动采集终端 | |
| JP2013037606A (ja) | 情報端末、情報提供システム及び情報提供方法 | |
| US20230237796A1 (en) | Geo-spatial context for full-motion video | |
| CN113709331B (zh) | 一种数字天文成像方法及终端设备上的图像信号处理器 | |
| JP6771117B1 (ja) | 情報提供サーバ、情報提供方法、及びプログラム | |
| JP2002344792A (ja) | 情報伝送システム | |
| EP3913586A1 (en) | A method for digital astro-imaging and an image signal processor in a terminal device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: 22 / F, building 683, zone 2, No. 5, Zhongguancun South Street, Haidian District, Beijing 100086 Patentee after: Terry digital technology (Beijing) Co.,Ltd. Address before: 100089 22 / F, building 683, zone 2, 5 Zhongguancun South Street, Haidian District, Beijing Patentee before: Terra-IT Technology (Beijing) Co.,Ltd. |
|
| CP03 | Change of name, title or address |