CN112527116A - 一种基于ar技术的大屏幕地图展示系统 - Google Patents

Abstract

本发明适用于计算机领域，提供了一种基于AR技术的大屏幕地图展示系统，包括：显示装置、AR穿戴设备，以及与显示装置、AR穿戴设备通信连接的控制系统；显示装置的屏幕为地图展示界面；AR穿戴设备，用于获取用户实时面部动态信息，并输出至控制系统；控制系统根据用户实时面部动态信息确定是否输出目标内容；若确定输出目标内容，则在地图展示界面和/或者AR穿戴设备上输出目标内容，并根据用户实时面部动态信息调整目标内容的展示方式；通过AR穿戴设备来采集用户实时面部动态信息，并据此触发大屏幕进行目标内容的展示和展示状态调控，对于用户无法直接接触或者无法接触到全屏的大屏幕而言，操控方式更加直观、简单，极大地便利了用户操作。

Description

一种基于AR技术的大屏幕地图展示系统

技术领域

本发明属于计算机领域，尤其涉及一种基于AR技术的大屏幕地图展示系统。

背景技术

电子地图是地图制作和应用的一个系统，是由电子计算机控制所生成的地图，是基于数字制图技术的屏幕地图，是可视化的实地图。在城市公共管理、地理监测等领域，通过大屏幕展示地图以供管理人员、专业人员进行分析是比较常见的做法。

但是目前，因为大屏幕一般尺寸都非常大，有的和展示厅的墙面相当，对大屏幕上的地图进行控制基本上是在终端上实现的，工作人员无法直接地和大屏幕进行交互，操作非常不便。

发明内容

本发明实施例提供一种基于AR技术的大屏幕地图展示系统，旨在解决目前对大屏幕上的地图进行控制基本上是在终端上实现的，工作人员无法直接地和大屏幕进行交互，操作非常不便的问题。

本发明实施例是这样实现的，一种基于AR技术的大屏幕地图展示系统，所述系统包括：

显示装置、AR穿戴设备，以及与所述显示装置、AR穿戴设备通信连接的控制系统；

所述显示装置的屏幕为地图展示界面；

所述AR穿戴设备，用于获取用户实时面部动态信息，并输出至所述控制系统；

所述控制系统根据所述用户实时面部动态信息确定是否输出目标内容；若确定输出所述目标内容，则在所述地图展示界面和/或者所述AR穿戴设备上输出所述目标内容，并根据用户实时面部动态信息调整所述目标内容的展示方式。

本发明提供的基于AR技术的大屏幕地图展示系统，通过AR穿戴设备来采集用户实时面部动态信息，并依据用户实时面部动态信息来触发大屏幕进行目标内容的展示和展示状态调控，对于用户无法直接接触或者无法接触到全屏的大屏幕而言，操控方式更加直观、简单，极大地便利了用户操作。

附图说明

图1是本发明实施例提供的一种基于AR技术的大屏幕地图展示系统的模块图；

图2是本发明实施例提供的一种计算机设备的模块示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx脚本称为第二xx脚本，且类似地，可将第二xx脚本称为第一xx脚本。

本发明实施例提供了一种基于AR技术的大屏幕地图展示系统，通过AR（AugmentedReality，增强现实）穿戴设备来采集用户实时面部动态信息，并依据用户实时面部动态信息来触发

大屏幕进行目标内容的展示和展示状态调控，对于用户无法直接接触或者无法接触到全屏的大屏幕而言，操控方式更加直观、简单，极大地便利了用户操作。

作为本发明的一个实施例，图1是一种基于AR技术的大屏幕地图展示系统的模块图，为了便于说明，图中仅示出与本发明实施例相关的内容，详述如下。

一种基于AR技术的大屏幕地图展示系统包括：

显示装置110、AR穿戴设备130，以及与所述显示装置110、AR穿戴设备130通信连接的控制系统120；

所述显示装置110的屏幕为地图展示界面；

所述AR穿戴设备130，用于获取用户实时面部动态信息，并输出至所述控制系统120；

所述控制系统120根据所述用户实时面部动态信息确定是否输出目标内容；若确定输出所述目标内容，则在所述地图展示界面和/或者所述AR穿戴设备上输出所述目标内容，并根据用户实时面部动态信息调整所述目标内容的展示方式。

本实施例中的大屏幕地图展示系统一般应用于大中型显示设备/系统中，也就是说，显示装置110为具有大屏幕的显示器件，在本申请的优选应用场景中，显示装置110的屏幕（长宽）尺寸大于2m*1.5m，因为屏幕小点话，若使用本申请的方案成本会偏高，即本实施例的方案在该大屏幕的应用场景下的应用价值大，可以极大便利用户操作。

在本实施例中，所述AR穿戴设备130上设置有第一用户面部动态采集装置，所述第一用户面部动态采集装置用于：

采集用户面部视频；

从所述用户面部视频中获取所述用户实时面部动态信息。

在本实施例的一种情况中，AR穿戴设备130主要包括头戴式显示器、跟踪系统，以及信息处理模块。其中，本实施例中的头戴式显示器为光学透视式头戴显示器，即用户可以透过该头戴式显示器来观看大屏幕上的地图内容，同时可以通过头戴式显示器显示目标内容。

在本实施例的一种情况中，跟踪系统中包含有第一用户面部动态采集装置，该第一用户面部动态采集装置可以是一些列微摄像头，这些微摄像头用于实时地采集用户实时面部动态信息；此外，跟踪系统中还包括：

场景采集装置，用于采集真实世界的环境数据（一般为真实世界的视频），主要用于确定显示装置110的位置，以将虚拟场景的内容（上述目标内容）显示于与显示装置110的屏幕重合的位置或者显示于显示装置110周边的设定区域；

头部跟踪装置（该模块可以包含于第一用户面部动态采集装置，也可以是另外独立设置的模块），通过一些列传感器、检测装置检测用户头部/面部的位置、朝向等状态，为虚拟场景内容（例如上述的目标内容）的显示提供位置参数。

在一个实施例中，信息处理模块用于处理头部跟踪装置提供的位置参数以及虚拟场景内容（该内容可以从控制系统120获取，也可以由信息处理模块生成，其生成方式可以参见控制系统120的处理方式）。

在本实施例中，控制系统120系统一般包括相关的显示驱动装置、核心处理器，以及用于对接外部数据的网络模块。其中，控制系统120可以是一种计算机设备，该计算机设备可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN等基础云计算服务的云服务器。在本实施例中，系统通过调用图像采集的相关控件，以控制图像采集装置/设备（如第一、第二用户面部动态采集装置）采集用户面部视频，系统基于图像、视频追踪技术，从用户面部视频中获取符合设定的用户实时面部动态信息。

在一个实施例中，所述基于AR技术的大屏幕地图展示系统还包括第二用户面部动态采集装置，该第二用户面部动态采集装置可以是图像采集装置/设备（比如摄像机），以及对该用户实时面部动态信息进行追踪、分析的处理装置，该处理装置可以是上述控制系统中的核心处理器，也可以是另外设置的分立模块。在一种情况中，第二用户面部动态采集装置中的图像采集装置/设备一般要设置多个，其数量和布置范围根据需要检测的范围和精度而设定，可以在显示装置周围环布，或者设置于用户操控区域对用户进行实时监测；必要的时候，还可以设置若干用于监测用户面部位置信息的传感器，例如红外线检测装置（可以进行远程检测，结合图像识别软件还可以检测面部朝向）。

在一个实施例中，所述用户实时面部动态信息为任意一项或多项以下内容：用户面部与地图展示界面的相对位置、用户眼球动态、用户面部/眼球停留时间；所述用户面与地图展示界面的相对位置包括：用户面部与所述地图展示界面的距离、用户面部相对于地图展示界面的朝向。

在一个实施例中，所述用户面部/眼球停留时间是指用户不间断注视所述地图展示界面的姿态的持续时间；具体的，一般用户面部/眼球停留时间的长短，可以表明用户对所注视区域内容的关注程度，基于此来设置一些地图内容的触发事件是比较可靠的。

在一个实施例中， 所述控制系统根据预设的信息处理模型确定与所述用户实时面部动态信息相关联的目标内容；其中，所述预设的信息处理模型中包含有预设的面部动态信息与待输出内容的关联关系；当所述用户实时面部动态信息输入所述预设的信息处理模型后，基于所述关联关系，获取对应的待输出内容；将所述对应的待输出内容确定为所述目标内容。

在本实施例的一种情况中，信息处理模型是一系列公式集合，按照实际需要封装成具备数据输入、处理、输出的模块，该模块可以是软件模块，也可以是硬件模块，也可以是软硬件相结合的模块。

在本实施例的另一种情况中，预设的信息处理模型是一数据库，该数据库中包含有预设的面部动态信息与待输出内容，以及这些面部动态信息与待输出内容之间的关联关系，其中，该预设的面部动态信息包括：用户面部与地图展示界面的相对位置、用户眼球动态、用户面部/眼球停留时间；其中，所述用户面与地图展示界面的相对位置包括：用户面部与所述地图展示界面的距离、用户面部相对于地图展示界面的朝向；所述用户面部/眼球停留时间是指用户不间断注视所述地图展示界面的姿态的持续时间。

在本实施例中，当系统采集并识别到用户实时面部动态信息后，将其输入该预设的信息处理模型，该预设的信息处理模型以用户实时面部动态信息作为关键信息在数据库中进行搜索，若搜索到相匹配的面部动态信息，则获取相关联的待输出内容，将该待输出内容作为目标内容。

在一个优选实施例中，为了便于用户操作，可以基于用户眼球动态来实现相关的操作；基于此，该预设的信息处理模型还进一步执行如下步骤：

若用户针对所述地图展示界面上的目标区域的面部/眼球停留时间超过设定阈值，则以所述目标区域的地图放大内容、具体地理位置、地理风貌描述、人文风情信息、政策信息、旅游信息、购物导航信息，或根据设定规则所形成的内容中的任意一项或者多项确定为所述目标内容。

在本实施例中，设定了一种内容输出的触发条件，其中，据设定规则所形成的内容实际上是指跟用户所注视的目标区域有关联的任何信息，具体可以根据该大屏幕的应用环境以及实际需求而预先设定，并在达到本实施例的触发条件时被触发，例如该目标内容可以是搜索框（例如百度、谷歌搜索框）、指定软件的接口/入口、数据库、特定文件/照片/视频等。

在本实施例的一种情况中，目标内容为目标区域的地图放大内容，该情况是将用户所注视的地图局部进行放大展示，从而便于用户的观察。

在本实施例的一种情况中，具体地理位置即用户所注视区域的具体地址、经纬度、坐标等。

在本实施例的一种情况中，地理风貌描述是指用户所注视区域的地质特征的介绍以及科考内容等。

在本实施例的一种情况中，人文风情信息、政策信息、旅游信息、购物导航信息等可以以图文形式展现，也可以是程序（可以是内置模块；也可以是外部程序，例如淘宝、微博等）界面中的内容。

上述内容可以在符合条件的情况下被触发，并向用户输出，使用方便，特别是在大屏幕的应用场景中，用户无法直接接触大屏幕的所有区域，通过用户面部动态识别来实现相关操控，大大方便了用户的使用和操作。

可以理解的，上述实施例中通过用户针对地图展示界面上的目标区域的面部/眼球停留时间来触发内容的生成和输出；实际还可以通过其他方式触发，比如用户面部与地图展示界面的相对位置、用户眼球动态等均可以作为触发的条件。

在一个实施例中，上述具体地理位置、地理风貌描述、人文风情信息、政策信息、旅游信息、购物导航信息等信息，可以预先存储在本地数据库中，如上述预设的信息处理模型中的数据库；在另一种情况中，这些信息还可以通过联网，实时搜索得到；具体的，系统预存一些基本信息，以及搜索条件，当目标内容的输出条件被触发时，系统根据该基本信息和搜索条件形成待搜索关键字，调用搜索程序进行搜索，并将搜索到的内容作为目标内容进行输出。例如，基本信息为地理位置信息，当用户注视的地理位置为深圳福田区莲花山时，并且预先设定的搜索内容为旅游信息时，则系统自动通过搜索功能（如百度搜索框/插件）搜索深圳福田区莲花山与旅游相关的内容，并作为目标内容输出。

在一个实施例中，所述在地图展示界面和/或者所述AR穿戴设备上输出所述目标内容，包括：直接在所述地图展示界面和/或者所述AR穿戴设备上浮现所述目标内容；或者以弹出组件在所述地图展示界面和/或者所述AR穿戴设备上展示所述目标内容。

在本实施例中，当目标内容通过AR穿戴设备显示时，该目标内容的成像位置可以不固定，但是在一种优选方案中，该目标内容的成像位置位于地图展示界面的范围内，或者在该地图展示界面周边的设定距离的区域内，进一步的，还可以从该目标内容的原始触发区域（即因被用户注视而触发目标内容生成的区域）通过引线或者指引符号指向该目标内容的成像位置。

在一种情况中，所述弹出组件为：网页、消息框或者浮窗。

在本实施例的一种情况中，当用户通过用户实时面部动态信息触发并生成了目标内容后，还可以进一步通过后续的用户实时面部动态信息来控制目标内容的展示方式。

具体的，所述根据用户实时面部动态信息调整所述目标内容的展示方式，包括：

根据用户面部与所述地图展示界面的距离及其变化，放大或缩小所述目标内容；

根据用户面部相对于地图展示界面的朝向及其变化，调整目标内容的焦点区域的展示内容，或者对所述目标内容进行翻页或者内容滚动；

根据用户的眼球动态，调整所述显示内容的显示色调或者显示亮度。

上述调整方式均是根据用户在关注地图展示界面时的面部实时动态（表情或姿态）来调整目标内容的展示，目的都是为了便于用户对大屏幕显示屏的地图显示内容的操作。

在一个实施例中，用户在实际操作过程中，通常会涉及较多的数据，当这些数据均显示在屏幕上时，往往会使相关内容相互混叠，变得杂乱无章，对此，本申请的系统还包括：

当所述用户实时面部动态信息触发多组目标内容时，生成多组对应的便签按钮，多组所述便签按钮按多组所述目标内容的触发顺序，依序排布于所述地图展示界面和/或者AR穿戴设备上的指定区域。

这样，用户便可以通过便签选择位于显示界面和/或者AR穿戴设备最顶层的目标内容，所谓最顶层是指地图展示界面和/或者AR穿戴设备上显示优先级最高的层级，其不会被其他内容所遮挡；当目标内容的数量进一步增多的时候，还可以将便签进行分组，并将各分组的便签以菜单的形式进行收纳。

用户可后续可以通过触发标签的形式来选择在顶层显示的目标内容，触发的方式可以通过手势触发、或者通过用户实时面部动态信息触发，还可以通过语音触发，具体不限制。

本发明提供的基于AR技术的大屏幕地图展示系统，通过AR穿戴设备来采集用户实时面部动态信息，并依据用户实时面部动态信息来触发大屏幕进行目标内容的展示和展示状态调控，对于用户无法直接接触或者无法接触到全屏的大屏幕而言，操控方式更加直观、简单，极大地便利了用户操作。

图2示出了一个实施例计算机设备的内部结构图；该计算机设备具体可以是本发明上面实施例中的控制系统120。

该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、输入装置和显示屏。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作系统，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器实现本发明的基于AR技术的大屏幕地图展示系统的数据处理。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行本发明的基于AR技术的大屏幕地图展示系统的数据处理。计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图2中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种基于AR技术的大屏幕地图展示系统，其特征在于，所述系统包括：

显示装置、AR穿戴设备，以及与所述显示装置、AR穿戴设备通信连接的控制系统；

所述显示装置的屏幕为地图展示界面；

所述AR穿戴设备，用于获取用户实时面部动态信息，并输出至所述控制系统；

所述控制系统根据所述用户实时面部动态信息确定是否输出目标内容；若确定输出所述目标内容，则在所述地图展示界面和/或者所述AR穿戴设备上输出所述目标内容，并根据用户实时面部动态信息调整所述目标内容的展示方式。

2.如权利要求1所述的基于AR技术的大屏幕地图展示系统，其特征在于，所述AR穿戴设备上设置有第一用户面部动态采集装置，所述第一用户面部动态采集装置用于：

采集用户面部视频；

从所述用户面部视频中获取所述用户实时面部动态信息；

其中，所述用户实时面部动态信息为任意一项或多项以下内容：用户面部与地图展示界面的相对位置、用户眼球动态、用户面部/眼球停留时间；

所述用户面与地图展示界面的相对位置包括：用户面部与所述地图展示界面的距离、用户面部相对于地图展示界面的朝向；

所述用户面部/眼球停留时间是指用户不间断注视所述地图展示界面的姿态的持续时间。

3.如权利要求2所述的基于AR技术的大屏幕地图展示系统，其特征在于，所述控制系统根据所述用户实时面部动态信息确定是否输出目标内容，具体为：

所述控制系统根据预设的信息处理模型确定与所述用户实时面部动态信息相关联的目标内容；其中，所述预设的信息处理模型中包含有预设的面部动态信息与待输出内容的关联关系；当所述用户实时面部动态信息输入所述预设的信息处理模型后，基于所述关联关系，获取对应的待输出内容；将所述对应的待输出内容确定为所述目标内容。

4.如权利要求3所述的基于AR技术的大屏幕地图展示系统，其特征在于，所述控制系统根据预设的信息处理模型确定与所述用户实时面部动态信息相关联的目标内容，包括：

若用户针对所述地图展示界面上的目标区域的面部/眼球停留时间超过设定阈值，则以所述目标区域的地图放大内容、具体地理位置、地理风貌描述、人文风情信息、政策信息、旅游信息、购物导航信息，或根据设定规则所形成的内容中的任意一项或者多项确定为所述目标内容。

5.如权利要求3所述的基于AR技术的大屏幕地图展示系统，其特征在于，所述在所述地图展示界面和/或者所述AR穿戴设备上输出所述目标内容，包括：

直接在所述地图展示界面和/或者所述AR穿戴设备上浮现所述目标内容；或者

以弹出组件在所述地图展示界面和/或者所述AR穿戴设备上展示所述目标内容。

6.如权利要求5所述的基于AR技术的大屏幕地图展示系统，其特征在于，所述弹出组件为：网页、消息框或者浮窗。

7.如权利要求5所述的基于AR技术的大屏幕地图展示系统，其特征在于，所述根据用户实时面部动态信息调整所述目标内容的展示方式，包括：

根据用户面部与所述地图展示界面的距离及其变化，放大或缩小所述目标内容；

根据用户面部相对于地图展示界面的朝向及其变化，调整目标内容的焦点区域的展示内容，或者对所述目标内容进行翻页或者内容滚动；

根据用户的眼球动态，调整所述显示内容的显示色调或者显示亮度。

8.如权利要求7所述的基于AR技术的大屏幕地图展示系统，所述基于AR技术的大屏幕地图展示系统还包括第二用户面部动态采集装置，用于单独或者配合所述第一用户面部动态采集装置采集所述用户实时面部动态信息。

Images