CN111316333B - 一种信息提示方法及电子设备 - Google Patents

一种信息提示方法及电子设备 Download PDF

Info

Publication number
CN111316333B
CN111316333B CN201880072213.1A CN201880072213A CN111316333B CN 111316333 B CN111316333 B CN 111316333B CN 201880072213 A CN201880072213 A CN 201880072213A CN 111316333 B CN111316333 B CN 111316333B
Authority
CN
China
Prior art keywords
electronic equipment
electronic device
real scene
scene image
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880072213.1A
Other languages
English (en)
Other versions
CN111316333A (zh
Inventor
邱泽令
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN111316333A publication Critical patent/CN111316333A/zh
Application granted granted Critical
Publication of CN111316333B publication Critical patent/CN111316333B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004—Annotating, labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种信息提示方法及电子设备，该方法包括：当电子设备运行实景导航功能时，电子设备对用户周围环境进行图像采集，生成真实场景图像，并从电子地图中获取兴趣点的信息，电子设备对真实场景图像进行识别，确定出目标物体，电子设备根据兴趣点的信息、电子设备的位置信息，确定目标物体的标签和标签在真实场景图像中的显示位置，电子设备显示包括标签和真实场景图像的界面，其中，标签叠加显示在真实场景图像的所述显示位置，这样，可以使得电子设备的计算工作量变小，节省功耗。

Description

一种信息提示方法及电子设备
技术领域
本申请涉及终端技术领域，尤其涉及一种信息提示方法及电子设备。
背景技术
增强现实(augmented reality，AR)是以真实世界中的物体为目标，结合图像、位置等计算能力，将真实世界与虚拟世界集成起来的新技术。目前，随着一些公司陆续推出AR开发工具，并加大AR领域的投入，使该技术的热度持续火热。实景导航是增强现实的主要应用之一，例如，最近公布的Google Map(谷歌地图)中的AR实景导航功能，该功能将AR技术引入到步行导航功能上，引起业内广泛关注。
在实际应用中，AR实景导航功能的应用主要体现在两个场景：(1)有线路的导航场景，也就是用户有明确目标地址，并可能按导航线路或者线路标签的提示前行；(2)无线路的浏览场景，也就是用户无明确目标，但会参考AR实景导航功能中所提供的建筑信息或商店信息。
现有技术中，AR实景导航这一功能所提供的建筑信息或商店信息通常是通过光学字符识别技术从现场采集的图像中提取文本得到的，因电子设备在现场采集的图像的同时还需要实时分析出文本内容，所以电子设备的计算量比较大，导致电子设备的功耗较大。
发明内容
本申请提供一种信息提示方法及电子设备，用以在电子设备实现计算量较小的实景导航功能。
第一方面，本申请实施例提供了一种信息提示方法，所述方法适用于具有导航功能的电子设备，该方法包括：当电子设备运行实景导航功能时，电子设备对用户周围环境进行图像采集，生成真实场景图像，并从电子地图中获取兴趣点的信息，接着，电子设备对真实场景图像进行识别，确定出目标物体，然后电子设备根据所述兴趣点的信息、所述电子设备的位置信息，确定所述目标物体的标签和所述标签在所述真实场景图像中的显示位置，最终电子设备显示包括所述标签和所述真实场景图像的界面，其中，所述标签叠加显示在所述真实场景图像的所述显示位置。
本申请实施例中，电子设备对周围的环境中的物体进行图像采集后，可以仅识别图像中的典型建筑物，例如墙壁、天花板、地板，建筑物轮廓，店铺所在楼层，楼层间隔等，不需要再对已获取的很多图像中物体的名称进行识别，例如不需要识别店铺的名称，所以可以大大地减小电子设备的计算量，节省电子设备的功耗。
在一种可能的设计中，电子设备可以根据电子设备的拍摄方向和电子设备的位置信息，从电子地图中获取设定区域中的兴趣点的信息，其中，设定区域包括所述电子设备的位置信息，所述兴趣点的信息包括兴趣点的名称和兴趣点的坐标。然后电子设备确定所述真实场景图像中的目标物体与所述电子设备的第一相对位置关系，以及根据所述兴趣点的坐标和所述电子设备的位置信息，确定所述兴趣点与所述用户的第二相对位置关系，然后电子设备根据所述第一相对位置关系和所述第二相对位置关系，确定与所述目标物体匹配的目标兴趣点，最终电子设备根据所述目标兴趣点的信息，生成所述目标物体的标签。可见，通过上述方法，电子设备可以从兴趣点获取目标物体的名称等信息，所以电子设备不需要再对已获取的很多图像中物体的名称进行识别，电子设备的计算量减小。
在一种可能的设计中，电子设备根据目标兴趣点的坐标，确定目标物体的坐标；然后电子设备根据目标物体的坐标和电子设备的位置信息，确定目标物体的标签在真实场景图像中的中心坐标，最终电子设备根据中心坐标，确定标签在真实场景图像中的显示位置。
本申请实施例中，电子设备通过确定标签的中心坐标，将标签显示在真实场景图像的对应位置，因标签可以包括店铺名称等信息，所以可以比较清晰地向用户提供准确地信息。
在一种可能的设计中，电子设备的显示位置在目标物体的墙面的中间偏上位置，且显示位置不在所述真实场景图像的以下任意一个特征的显示区域中：天空、天花板、道路、地面、楼梯、楼梯间隔。这样做的好处是，标签显示的位置更为友好人性化，为用户提供更好的使用体验。
在一种可能的设计中，当所述电子设备确定电子设备的位置信息属于室外时，所述电子设备从所述真实场景图像识别的特征包括以下任意一个或任意组合：墙壁、道路、天空、建筑物轮廓，并根据识别的特征，确定出目标物体；当所述电子设备确定电子设备的位置信息属于室内时，所述电子设备从所述真实场景图像识别的特征包括以下任意一个或任意组合：天花板、地面、道路、楼梯、楼梯间隔、店铺墙壁，并根据识别的特征，确定出目标物体。
也就是说，本申请实施例中电子设备会根据室内外的不同，针对性地识别相应的特征，这样可以使得不同场景所识别出来的目标物体更为准确。
在一种可能的设计中，当电子设备根据所述电子设备的环境光传感器采集的信息，确定所述电子设备周围环境的亮度改变时，电子设备根据当前所述环境光传感器采集的信息，对所述标签的显示参数进行调整，所述显示参数包括以下任意一个或任意组合：字体颜色、背景的透明度。或者，在一种可能的设计中，当所述电子设备根据确定所述真实场景图像的背景亮度发生改变时，所述电子设备根据当前所述真实场景图像的背景亮度，对所述标签的显示参数进行调整，所述显示参数包括以下任意一个或任意组合：字体颜色、背景的透明度。这样可以避免出现标签显示不清晰的问题，即使电子设备处于运动过程中，或者在不同的时间段，电子设备所拍摄的真实场景图像也会因图像的背景环境的变化而变化，提高了用户的使用体验。
在一种可能的设计中，电子设备根据所述电子设备的定位结果，确定所述电子设备从室外进入到室内时，电子设备将标签的显示风格自动从室外标签显示风格自动切换至室内标签显示风格；或者，电子设备根据所述电子设备的定位结果，确定电子设备从室内进入到室外时，电子设备将标签的显示风格自动从室内标签显示风格自动切换至室外标签显示风格。
其中，所述室外标签显示风格包括以下任意一个或任意组合：标签的内容包括所述目标物体的名称和所述目标物体与所述电子设备的距离，标签在所述真实场景图像中排列疏松，且排列方式不规则；室内标签显示风格包括以下任意一个或任意组合：标签的内容包括所述目标物体的名称和所述目标物体与所述电子设备的距离，以及所述目标物体所在的楼层，标签在所述真实场景图像中排列紧凑，且按照所述目标物体所在的楼层层级排列。
这样，在实景导航模式下，电子设备无需用户手动选择，即可自适应显示室内外场景以及典型场景标签，使得该实景导航功能更为智能化，提高了用户的使用体验。
第二方面，本申请实施例提供一种电子设备，包括处理器、存储器、显示器和摄像头。其中，存储器用于存储一个或多个计算机程序；当存储器存储的一个或多个计算机程序被处理器执行时，使得电子设备能够实现第一方面的任意一种可能的设计的方法。
第三方面，本申请实施例还提供了一种电子设备，所述电子设备包括执行第一方面或者第一方面的任意一种可能的设计的方法的模块/单元。这些模块/单元可以通过硬件实现，也可以通过硬件执行相应的软件实现。
第四方面，本申请实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，当计算机程序在电子设备上运行时，使得所述电子设备执行任意一种可能的设计的方法。
第五方面，本申请实施例还提供一种包含计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行任意一种可能的设计的方法。
本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。
附图说明
图1为本申请实施例提供的一种通信场景示意图；
图2为本申请实施例提供的一种电子设备结构示意图；
图3为本申请实施例提供的一种安卓操作系统的架构示意图；
图4为本申请实施例提供的一种信息提示方法示意图；
图5和图6为本申请实施例提供的一种应用场景界面示意图；
图7为本申请实施例提供的一种空间位置关系示意图；
图8a为本申请实施例提供的一种立体空间位置关系示意图；
图8b为本申请实施例提供的一种显示屏坐标系示意图；
图8c和图8d为本申请实施例提供的一种标签的横纵坐标投影示意图；
图9为现有技术提供的一种室外场景界面示意图；
图10为本申请实施例提供的一种室外场景界面示意图；
图11为本申请实施例提供的一种室内场景界面示意图；
图12为本申请实施例提供的另一种室外场景界面示意图；
图13为本申请实施例提供的装置结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
本申请实施例提供的信息提示方法可以应用于如图1所示的通信场景，电子设备100和服务器200，电子设备100从服务器200获取电子地图的兴趣点的信息，然后计算出真实场景图像中的物体的标签以及在真实场景图像中的显示位置。
其中，电子设备和服务器之间通过通信网络互联，该通信网络可以是局域网，也可以是通过中继(relay)设备转接的广域网。当该通信网络为局域网时，示例性的，该通信网络可以是wifi热点网络、wifi P2P网络、蓝牙网络、zigbee网络或近场通信(near fieldcommunication，NFC)网络等近距离通信网络。当该通信网络为广域网时，示例性的，该通信网络可以是第三代通信技术(3rd-generation wireless telephone technology，3G)网络、第四代通信技术(the 4th generation mobile communication technology，4G)网络、第五代通信技术(5th-generation mobile communication technology，5G)网络、未来演进的公共陆地网络(public land mobile network，PLMN)或因特网等。
在本申请一些实施例中，图1所示的电子设备100可以是具有导航功能和图像采集功能的便携式电子设备，诸如手机、平板电脑、具备无线通讯功能的可穿戴设备(如虚拟现实眼镜)等。便携式电子设备的示例性实施例包括但不限于搭载
Figure GPA0000288254410000061
或者其他操作系统的便携式电子设备。上述便携式电子设备也可以是其他便携式电子设备，诸如具有触敏表面(例如触控面板)的膝上型计算机(laptop)等。还应当理解的是，在本申请其他一些实施例中，上述电子设备100也可以不是便携式电子设备，而是具有触敏表面(例如触控面板)的台式计算机。
示例性地，如图2所示，下面以电子设备100为例对实施例进行具体说明。
电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，USB接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及SIM卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L等。
可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)、调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(Neural-network Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。其中，应用处理器主要用于当检测到用户开启实景导航功能的操作时，启动摄像头，图形处理器用于对摄像头采集的真实场景图像进行识别。
其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。电子设备100的无线通信功能可以通过天线模块1，天线模块2通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将蜂窝网天线复用为无线局域网分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(Low Noise Amplifier，LNA)等。调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wireless local area networks，WLAN)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near fieldcommunication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code division multipleaccess，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(longterm evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigationsatellite system，GLONASS)，北斗卫星导航系统(beidou navigation satellitesystem，BDS)，准天顶卫星系统(quasi-zenith satellite system，QZSS))和/或星基增强系统(satellite based augmentation systems，SBAS)。
电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示标签和真实场景图像叠加形成的虚拟现实图像，视频等。显示屏194包括显示面板。显示面板可以采用LCD(liquid crystal display，液晶显示屏)，OLED(organic light-emitting diode，有机发光二极管)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏，N为大于1的正整数。
电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：MPEG1，MPEG2，MPEG3，MPEG4等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码(例如，导航应用，或导航应用可调用的其他算法或应用等)，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如百度地图，高德地图等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如照片等)等。此外，存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universalflash storage，UFS)等。
电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐，或收听免提通话。
受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。
麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。耳机接口170D用于连接有线耳机。耳机接口可以是USB接口，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellulartelecommunications industry association of the USA，CTIA)标准接口。
压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。
距离传感器180F，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测电子设备100是否在口袋里，以防误触。
触摸传感器180K，也称“触控面板”。可设置于显示屏194。用于检测作用于其上或附近的触摸操作。可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型，并通过显示屏194提供相应的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于电子设备100的表面，与显示屏194所处的位置不同。
按键190包括开机键，音量键等。按键可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
SIM卡接口195用于连接用户标识模块(subscriber identity module，SIM)。SIM卡可以通过插入SIM卡接口，或从SIM卡接口拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持NanoSIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用eSIM，即：嵌入式SIM卡。eSIM卡可以嵌在电子设备100中，不能和电子设备100分离。
电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本发明实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。
图3是本发明实施例的电子设备100中的软件结构框图。
操作系统是Android系统，分层架构将Android系统分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。
应用程序层可以包括一系列应用程序包。
如图3所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图3所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括标签和真实场景图像叠加形成的显示界面，可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。
表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如：MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。
三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
以下实施例均可以在具有上述硬件结构的电子设备100中实现。以下实施例中以电子设备100为电子设备为例，对本申请实施例提供的信息提示方法进行说明。该方法主要包括：电子设备对用户周围的环境中的物体进行图像采集，生成真实场景图像，然后电子设备进一步获取电子地图中的兴趣点的信息，生成真实场景图像中的各个物体的标签，最终在真实场景图像中叠加显示各个物体的标签。因电子地图中的兴趣点的信息中包括兴趣点的坐标和名称等信息，而且电子设备的位置信息可以通过定位得到，所以电子设备可以确定出各个物体的标签以及标签在真实场景图像中的显示位置，这样电子设备对周围的环境中的物体进行图像采集后，可以仅识别图像中的典型建筑物，例如墙壁、天花板、地板，建筑物轮廓，店铺所在楼层，楼层间隔等，不需要再对已获取的很多图像中物体的名称进行识别，例如不需要识别店铺的名称，所以可以大大地减小电子设备的计算量，节省电子设备的功耗。
具体的，结合图2所述电子设备的结构，在本申请如下实施例中，对信息提示方法的具体过程进行详细阐述，参阅图4所示，该方法的具体流程可以包括：
步骤201，当电子设备的触摸面板检测到用户打开导航应用的AR实景导航模式的操作时，触摸面板检测到用户的操作，并通知电子设备的处理器，电子设备的处理器指示摄像头开启，摄像头对用户周围环境进行图像采集，生成至少一张真实场景图像由显示屏进行显示。
其中，真实场景图像可以是相机直接拍摄生成的图像，也可以是对相机所拍摄的图像进行真实加强处理或其他处理后的能表现用户周围环境的图像，本发明实施例对此不作限定。
步骤202，电子设备中的定位模块对电子设备所在的位置进行定位，生成电子设备的位置信息。
可以理解的是，该定位模块具体可以是全球定位系统(global positioningsystem，GPS)、北斗卫星导航系统等定位系统的接收器。
需要说明的是，该步骤与步骤201并没有严格地先后执行顺序，可以先执行步骤201，再执行步骤202，也可以先执行步骤202，再执行步骤201，或者两个步骤同时执行。
步骤203，电子设备的应用处理器根据电子设备的位置信息，获取设定区域的电子地图中的兴趣点的信息，其中，设定区域包含电子设备所在的位置。
步骤204，电子设备的图形处理器对已生成的真实场景图像进行识别，确定出目标物体，并将识别出来的目标物体的特征发送给应用处理器，应用处理器将兴趣点的信息与目标物体进行匹配，根据匹配结果生成目标物体的标签。
步骤205，电子设备的应用处理器根据电子设备的位置信息和标签的坐标信息，确定标签在真实场景图像中的显示位置。
步骤206，电子设备的应用处理器根据该显示位置，将标签与真实场景图像进行叠加，并将叠加后的图形发送给显示屏，显示屏显示叠加后的虚拟现实图像。
具体而言，电子设备获取设定区域的电子地图中的兴趣点的信息的方式有两种，一种方式是：当电子设备检测到用户打开了导航应用，这时电子设备就可以与该导航应用的应用服务器建立网络连接，当用户输入兴趣点类型或者兴趣点名称，电子设备可以从该应用服务器下载设定区域的电子地图的兴趣点的信息至电子设备；另一种方式是：电子设备也可以在下载安装导航应用时就同时将电子地图的兴趣点的信息下载到电子设备，这样，在执行步骤203时，当用户输入兴趣点类型或者兴趣点名称，可以直接从电子设备中的数据库获取兴趣点的信息。考虑到电子地图中的建筑物名称、店铺名称等会经常发生变化，所以本申请优先选用前一种方式获取兴趣点的信息。另外，设定区域一般根据经验值确定，如果电子设备在室外，设定区域最远会是两百米，如果电子设备在室内，设定区域最远会是30米。
另外，需要说明的是，兴趣点的信息是地理信息系统中的概念，一般包含兴趣点的名称、兴趣点的坐标、兴趣点的类型等信息，通常由采集人员预先收集并保存在数据系统中。例如兴趣点的类型可以是餐馆、理发店、咖啡厅，餐馆这一类型对应的兴趣点的名称可以是肯德基、麦当劳、川湘菜馆等。兴趣点的坐标指的是兴趣点在地图中的经纬度坐标，例如肯德基这一店铺在地图上的经纬度坐标。步骤203中，电子设备所获取的兴趣点的信息可以是通过对用户输入的关键词筛选得到的，也可以是根据电子设备默认设置的兴趣点类型筛选得到的。例如，电子设备默认设置银行和餐饮类型的兴趣点需要在步行导航中显示，那么电子设备从设定区域的电子地图中筛选出银行和餐饮类型的兴趣点的信息。
针对图4所示的步骤，本申请实施例进一步结合图5和图6所示的场景进行说明，如图5所示，电子设备检测到用户作用于百度地图这一应用图标的操作，参见图5a，响应于这一操作，电子设备显示电子地图界面，如图5b所示。进一步地，参见图6，当电子设备检测到用户作用于路线这一控件的操作，响应于这一操作，电子设备显示导航路径图，如图6b所示，当电子设备检测到用户作用于AR实景导航线这一控件的操作，响应于这一操作，电子设备打开摄像头采集周围环境图像，显示如图6b所示的界面图。
因电子设备所拍摄的真实场景图像是设定区域中的区域，所以电子设备对真实场景图像进行识别所确定出目标物体也是设定区域中的物体。因此，电子设备根据电子设备的位置信息以及兴趣点的信息中的坐标，可以确定出真实场景图像的各个物体的标签，其中，标签可以包括物体的名称，以及物体与电子设备之间的直线距离等。举个例子来说，电子设备拍摄的真实场景图像是某一大学校园内的部分场景，电子设备对真实场景图像进行识别，确定出来的目标物体是大学校园内的三个建筑楼。进一步地电子设备根据电子设备的位置信息，以及真实场景图像中的各个物体与电子设备的空间相对位置关系，以及已获取的兴趣点的信息中的坐标信息，可以匹配出这些建筑分别对应的兴趣点的名称。例如目标物体的名称分别是教学楼、图书馆、食堂。具体来说，如果电子设备通过识别真实场景图像，确定目标物体与电子设备的空间位置关系分别是一个建筑在电子设备左前方，一个建筑在电子设备正对面，一个建筑在电子设备右前方。电子设备根据电子设备的位置信息和兴趣点的信息中的坐标信息，确定兴趣点与电子设备的相对位置关系分别是一个图书馆这一兴趣点在电子设备左前方，教学楼这一兴趣点在电子设备正对面，食堂这一兴趣点在电子设备右前方。二者匹配之后，就可以确定出电子设备左前方的建筑是图书馆，正对面的建筑是教学楼，右前方的建筑是食堂。假设目标物体与电子设备的空间位置关系分别是一个建筑在电子设备左前方，两个建筑均在电子设备正对面，这时方位不同，且电子设备识别真实场景图像的物体时，可以识别出电子设备正对面的这两个建筑与电子设备之间的距离不同，因此电子设备根据电子设备的位置信息和兴趣点的信息中的坐标信息，可以确定出电子设备左前方的建筑是图书馆，正对面的建筑较劲的是教学楼，稍远的建筑是食堂。
在一些实施例中，电子设备还可以进一步根据电子设备的位置信息和目标物体所对应的兴趣点的坐标，计算出电子设备与该目标物体之间的直线距离，这样，电子设备最终生成的目标物体的标签可以不仅包括目标物体的名称，还可以包括距离信息。例如，电子设备生成的图书馆的标签可以是：图书馆、与电子设备距离50米。再者，包含目标物体的标签的显示形状可以是矩形框、圆形框等，矩形框或者圆形框显示有距离信息和目标物体的名称。本申请对标签的显示形状不做限定。
在一些实施例中，电子设备在识别真实场景图像中包含的物体之后，还可以进一步根据电子设备的位置信息和目标物体所对应的兴趣点的坐标，计算各目标物体在空间中的相对于电子设备的方位角度。这样，电子设备最终生成的目标物体的标签可以不仅包括目标物体的名称，还可以包括方位角度。其中立体空间中存在东南西北和上下等维度的方位角，平面空间则存在东南西北等维度的方位角。
如图7所示，针对平面空间，电子设备的相机的左右可视角度一般在90度左右，左右可视角度范围内的物体可能在电子设备的不同的方位，例如左前方、右前方、正前方。所以电子设备生成的图书馆的标签可以是：图书馆、在电子设备的西南方向。
如图8所示，针对立体空间，当定义电子设备处于球心位置，上下可视角度和左右可视角度一般均在90度左右，空间位置上存在东南西北和上下六个维度，在上下可视角度范围内不同的高度可能存在不同层级的物体，例如图8中有一楼、二楼和地下一楼这三层高度。假设电子设备当前在商场内，那么电子设备生成的店铺标签可以是：肯德基，在二楼的南侧。
值得说明的是，在本申请实施例中，电子设备对真实场景图像中的物体进行识别，主要是对真实场景图像中的物体的特征进行提取，例如针对室外场景，电子设备提取的典型特征有墙壁、道路、天空、建筑物轮廓等特征；针对室内场景，电子设备提取的典型特征有天花板、地面、道路、楼梯、楼梯间隔、店铺墙壁等特征。本申请实施例中并不需要对真实场景图像中的建筑物名称或者商铺名称进行识别，例如，电子设备只需要识别出教学楼、图书馆、食堂的建筑轮廓，并不需要识别出图书馆这一建筑上的建筑名称，以及不需要识别教学楼这一建筑上的建筑名称等。之所以电子设备不通过图像识别确定建筑名称或者商铺名称等信息，是因为如果在侧对真实场景图像进行文字识别，需要电子设备进行大量的计算，比较消耗计算资源。假设在云端服务器侧对真实场景图像进行文字识别，也需要电子设备将真实场景图像上传至云端服务器，不仅消耗数据流量，也会因二者的交互传输产生网络时延，导致用户体验不佳。
也就是说，电子设备仅对真实场景图像中的典型特征进行识别，并结合从应用服务器获取的兴趣点的信息，生成真实场景图像中的各个物体的标签。进一步地，电子设备再确定各个物体的标签在真实场景图像中的显示位置。
在一些实施例中，采集获得的真实场景图像是二维平面图像，所以对应的是平面坐标系，单位可以是米，而电子地图是椭球面坐标系，单位是经纬度。电子设备在计算标签的显示位置时，需要将兴趣点的信息的经纬度坐标转换为平面坐标系的平面坐标。其中，现有技术中有多种将经纬度坐标和平面坐标互转的工具，例如可以利用arcgis工具实现经纬度和平面坐标互转。
需要说明的是，电子设备将经纬度坐标和平面坐标互转的基本原理是：电子设备根据电子设备的位置信息和标签中的坐标信息，以电子设备的显示屏中某一坐标为投屏原点，再结合电子设备的方向角和倾斜角，以及电子设备的显示屏的宽度和高度、摄像头的取景角度，和摄像头相关偏移量等，按照投影公式计算出目标物体的标签在电子设备的显示位置的中心点坐标，即中心点的横坐标和中心点的纵坐标。
一般地，参见图8b所示，电子设备的显示屏的坐标系的一种定义方式是：竖屏时，左上角就是原点，坐标为(0，0)，以原点往右坐标为正，往下坐标为正值，垂直于显示屏，摄像头的拍摄方向为正。因此当显示屏转为横屏时，可以看成水平方向就是X轴，上下方向就是Y轴，垂直于XY平面的是Z轴。投屏原点的横坐标是是显示屏的X轴中心点坐标，纵坐标是为显示屏的Y轴偏下的坐标，投屏原点的坐标信息是预先定义的已知数据。
结合图8c来说，针对中心点的横坐标计算：已知竖屏时，电子设备的显示屏的左上角和右上角的X坐标，摄像头的取景角度α已知，假设是60度，目标物体P‘、焦点O以及摄像头的取景范围的左上角的P1形成的夹角β即为目标物体与电子设备之间的方向角，电子设备根据上述参数，可以计算得到目标物体P‘在显示屏上投屏点p″的横坐标，见公式一。
Figure GPA0000288254410000141
其中，p″X为目标物体P‘在显示屏上投屏点p″的横坐标，β为方向角，α为摄像头的取景角度，C1x为电子设备的显示屏的左上角的X坐标，C2x为电子设备的显示屏的右上角的X坐标。
针对中心点的纵坐标计算：已知竖屏时，电子设备的显示屏的左上角的坐标和投屏原点的纵坐标y0，根据标签的坐标和电子设备的位置信息可以计算出目标物体与电子设备之间的距离D，另外电子设备可以拍摄的最远距离Dmax已知，所以可以计算出目标物体在显示屏上的投影点p″的纵坐标，见公式二。
Figure GPA0000288254410000151
其中，p“y为目标物体P‘在显示屏上投屏点p″的纵坐标，D为目标物体和移动终端之间的距离，Dmax为移动终端的最远拍摄距离，y为电子设备的显示屏的左上角的y坐标，y0为电子设备的投屏原点的纵坐标。
除此之外，电子设备还可能在拍摄时向前或者向后倾斜，所以在计算纵坐标时还可能考虑显示屏的倾斜角度等。
可选地，电子设备还可以进一步根据投屏原点的纵坐标，反向估算投屏原点与电子设备当前位置的距离，然后根据这一距离调整目标物体的标签中的坐标和电子设备的位置对应的坐标之间的距离，得到优化后的中心点的纵坐标。
考虑到电子设备按照上述方法计算得到的目标物体的标签的显示位置仍可能存在显示位置不够合理，例如，如图9所示，现有技术中，手机所拍摄的真实场景图像中A公司的标签显示在天空中，标签的显示位置与标签标识的目标物体有较大的偏移，不方便用户查找目标物体。为了改善这一问题，本申请进一步结合对真实场景图像的识别结果，对按照上述计算方法所计算得到的中心点的坐标进行进一步调整。具体来说，针对电子设备在室外场景拍摄得到的真实场景图像，电子设备通过对室外道路、地面、天空等典型特征的识别，判断中心点的坐标是否在在这些典型特征所在的区域，若在，则结合A公司这栋建筑所在区域对中心坐标进行调整，将目标物体的标签的调整到一个相对更合理的高度位置，例如，如图10所示，将A公司的标签调整至A公司大楼外墙上。
再比如，针对电子设备在室内场景拍摄得到的真实场景图像，电子设备通过对室内道路、天花板、墙壁、楼层间隔等典型特征的识别，得到室内垂直面(比如墙壁、货架等)的位置，然后判断中心点的坐标是否在室内垂直面内，如果是，则不对中心点的坐标进行调整；如果不在，则需要对中心点的坐标进行调整，即将中心点的坐标到垂直面内。一般地，电子设备会结合预设的规则，对中心点的坐标进行调整，一般调整至所述目标物体的墙面的中间偏上位置，比如店名一般显示在店铺外墙面的2/3或3/4处，商品一般显示在货架上面，所以电子设备先估算目标物体的标签的显示位置在垂直面的显示高度。然后根据估算出来的显示高度，再结合目标物体的标签的最大限制，将目标物体的标签的调整到垂直面的一个相对更合理的高度位置。
通过以上方式，可见，本申请实施例通过一种粗粒度的场景识别，再结合从电子地图所获取的兴趣点的信息，就可以实现将目标物体的标签准确显示在真实场景图像中，在实现实景导航功能的同时减少了电子设备的计算量。
在本申请实施例中，电子设备可以定位得到电子设备所在的位置信息，所以电子设备可以进一步根据电子设备的位置信息确定电子设备当前是处于室内场景还是室外场景。电子设备除了根据不同场景对真实场景图像中的物体的特征进行不同特征的提取，还可以在电子设备从室外场景切换到室内场景时，实时地对当前真实场景图像中的物体的特征进行相应特征的提取，或者在电子设备从室内场景切换到室外场景时，实时地对当前真实场景图像中的物体的特征进行相应特征的提取。
举例来说，电子设备在定位得到电子设备所在的位置为室外场景时，电子设备当前对真实场景图像所提取的典型特征有墙壁、道路、天空、建筑物轮廓等特征；当电子设备切换到室内场景时，电子设备当前对真实场景图像所提取的典型特征有天花板、地面、道路、楼梯、楼梯间隔、店铺墙壁等特征。
例如，当电子设备当前在室外进行步行导航时，电子设备可以通过GPS、WIFI热点等信息确定电子设备当前的位置为室外场景，电子设备对摄像头所采集的真实场景图像进行图像识别时，提取的典型特征有墙壁、道路、天空、建筑物轮廓等特征，如图10所示，移动电子设备识别出来的物体有大楼、草地、道路、广场等建筑信息，继而电子设备根据当前电子设备的位置，获取电子地图中的兴趣点的信息，从而生成一个A公司大楼以及时尚设计广场的标签，并将标签显示在图像的相应位置。可见，当电子设备处于室外场景时，图像中标签比较松散。
进一步的，电子设备根据所述电子设备的定位结果，确定所述电子设备从室外进入到室内时，所述电子设备将标签的显示风格自动从室外标签显示风格自动切换至室内标签显示风格；或者，电子设备根据所述电子设备的定位结果，确定电子设备从室内进入到室外时，电子设备将标签的显示风格自动从室内标签显示风格自动切换至室外标签显示风格。中，室外标签显示风格包括以下任意一个或任意组合：标签的内容包括所述目标物体的名称和所述目标物体与所述电子设备的距离，标签在所述真实场景图像中排列疏松，且排列方式不规则；室内标签显示风格包括以下任意一个或任意组合：标签的内容包括所述目标物体的名称和所述目标物体与所述电子设备的距离，以及所述目标物体所在的楼层，标签在所述真实场景图像中排列紧凑，且按照所述目标物体所在的楼层层级排列。
例如，当电子设备从室外步行导航进入一个商场的内部时，电子设备当前对真实场景图像所提取的典型特征有天花板、地面、道路、楼梯、楼梯间隔、店铺墙壁等特征。如图11所示，电子设备识别出来的物体有天花板、地面、道路、楼梯、楼层间隔，以及店铺的墙面等特征。继而电子设备根据当前电子设备的位置，获取电子地图中的各个店铺的信息，从而生成各个店铺的标签，其中标签中除了包括店铺名称、距离，还包括楼层信息。例如标签是店铺A，F1---10米，代表该店铺的名称是店铺A，在一楼，距离用户10米。电子设备将标签以矩形框地形式显示在店铺的墙面上。可见，当电子设备处于室内场景时，与室外场景相比，标签的数目会增多，并按照楼层层级排列，而且标签中会包含楼层信息。
另外，当电子设备处于运动过程中，或者在不同的时间段，手机所拍摄的真实场景图像会因图像的背景环境的变化，出现标签显示不清晰的问题。例如，图12中，图12a是现有技术在下午光线不充足的情况下，标签与真实场景图像叠加显示的效果，从图12a可见，小木屋旅馆这一标签并不容易被用户分辨出。为此，本申请实施例提供的信息提示方法还可以根据环境光传感器采集的信息，对生成的标签的显示参数进行调整，例如调整标签中字体透明度、字体颜色、标签背景的透明度，最终使得标签所显示的内容更为清晰。例如，如图12b所示，当移动电子设备拍摄小木屋的真实场景图像时，环境光传感器检测到当前光线不足，所以电子设备降低小木屋旅馆这一标签的背景的透明度，使电子设备可以更清楚地获取标签内容。
补充来说，当标签与真实场景图像叠加显示之后出现标签不清晰时，电子设备也可以对真实场景图像中的背景颜色进行调整，使得电子设备可以更清楚地获取标签内容。
值得说明的是，本申请实施例所提供的信息提示方法不仅适用于步行导航场景，也适用于骑行或者驾车行驶等场景中。另外在导航时，电子设备在显示由标签与真实场景图像叠加显示的虚拟现实图像的同时，手机可以实时播报电子设备的左方、右方、左前、右前等各个方位的物体标签，例如，室外导航过程中，手机输出的语音提示信息可以为：左方500米是一家幼儿园，右方100米是喷泉广场，正前方50米是学习用品店。或者，在室内导航过程中，手机输出的语音提示信息可以为：一楼左侧前方10米处有女装阿依莲，一楼右侧前方20米处有女装only店。其中，手机输出的语音语言也可以是英语、普通话、粤语等，即手机根据电子设备设置的语言进行播报。
可见，本申请实施例中，电子设备通过结合电子地图中的兴趣点的信息，对电子设备所采集的真实场景图像中的物体进行文本识别，生成标签，另外，电子设备根据兴趣点的信息中的坐标信息以及电子设备的位置信息，可以计算出图像中各个物体的标签的显示位置，继而将标签与真实场景图像叠加显示，这样做可以使得电子设备的计算工作量变小，节省功耗，另外，标签内容可以根据室内外场景进行变化，且标签的背景透明度和标签的字体也可以根据真实场景的光线明暗程度进行调整，提高了叠加显示所生成的虚拟现实图像中标签的清晰度。
本申请实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，当计算机程序在电子设备上运行时，使得所述电子设备执行上述通信方法任意一种可能的实现。
本申请实施例还提供一种包含计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行上述通信方法任意一种可能的实现。
在本申请的一些实施例中，本申请实施例公开了一种装置，如图13所示，该装置用于实现以上各个方法实施例中记载的方法，其包括：处理模块1101、显示模块1102。处理模块1101用于支持电子设备执行图4中的步骤201至205，处理模块1101还用于支持电子设备执行图4中的电子设备根据显示位置，将标签与真实场景图像进行叠加，显示模块1002用于支持电子设备执行图4中的步骤206。图13中的显示模块1102可以通过显示屏194来实现，处理模块1101可以通过处理器110来实现。该装置可以在安卓操作系统的应用框架层实现，应用框架层可以提供接口供地图类应用调用。上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请实施例的具体实施方式，但本申请实施例的保护范围并不局限于此，任何在本申请实施例揭露的技术范围内的变化或替换，都应涵盖在本申请实施例的保护范围之内。因此，本申请实施例的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1.一种信息提示方法，其特征在于，包括：
当电子设备运行实景导航功能时，所述电子设备对用户周围环境进行图像采集，生成真实场景图像，根据所述电子设备的拍摄方向和所述电子设备的位置信息，从电子地图中获取设定区域中的兴趣点的信息，所述设定区域包括所述电子设备的位置信息，所述兴趣点的信息包括兴趣点的名称和兴趣点的坐标；
所述电子设备对所述真实场景图像进行识别，确定出目标物体；
所述电子设备确定所述真实场景图像中的目标物体与所述电子设备的第一相对位置关系，根据所述兴趣点的坐标和所述电子设备的位置信息，确定所述兴趣点与所述用户的第二相对位置关系，根据所述第一相对位置关系和所述第二相对位置关系，确定与所述目标物体匹配的目标兴趣点，根据所述目标兴趣点的信息，生成所述目标物体的标签，所述标签包括所述目标物体的名称；
所述电子设备根据所述兴趣点的信息、所述电子设备的位置信息，确定所述标签在所述真实场景图像中的显示位置；
所述电子设备显示包括所述标签和所述真实场景图像的界面，其中，所述标签叠加显示在所述真实场景图像的所述显示位置。
2.如权利要求1所述的方法，其特征在于，所述电子设备根据所述兴趣点的信息、所述电子设备的位置信息，确定所述标签在所述真实场景图像中的显示位置，包括：
所述电子设备根据所述目标兴趣点的坐标，确定所述目标物体的坐标；
所述电子设备根据所述目标物体的坐标和所述电子设备的位置信息，确定所述目标物体的标签在所述真实场景图像中的中心坐标；
所述电子设备根据所述中心坐标，确定所述标签在所述真实场景图像中的显示位置。
3.如权利要求1或2所述的方法，其特征在于，所述显示位置在所述目标物体的墙面的中间偏上位置，或者货架上，所述显示位置不在所述真实场景图像的以下任意一个特征的显示区域中：天空、天花板、道路、地面、楼梯、楼梯间隔。
4.如权利要求1或2所述的方法，其特征在于，所述电子设备对所述真实场景图像进行识别，确定出目标物体，包括：
所述电子设备根据所述电子设备的位置信息，确定所述电子设备所处的环境；
所述电子设备从所述真实场景图像中对所处的环境中的典型特征进行识别，确定出所述目标物体。
5.如权利要求1所述的方法，其特征在于，所述电子设备对所述真实场景图像进行识别，确定出目标物体，包括：
当所述电子设备确定所述电子设备的位置信息属于室外时，所述电子设备从所述真实场景图像识别的特征包括以下任意一个或任意组合：墙壁、道路、天空、建筑物轮廓，并根据识别的特征，确定出目标物体；
当所述电子设备确定所述电子设备的位置信息属于室内时，所述电子设备从所述真实场景图像识别的特征包括以下任意一个或任意组合：天花板、地面、道路、楼梯、楼梯间隔、店铺墙壁，并根据识别的特征，确定出目标物体。
6.如权利要求1至5任一项所述的方法，其特征在于，还包括：
当所述电子设备根据所述电子设备的环境光传感器采集的信息，确定所述电子设备周围环境的亮度改变时，所述电子设备根据当前所述环境光传感器采集的信息，对所述标签的显示参数进行调整，所述显示参数包括以下任意一个或任意组合：字体颜色、背景的透明度。
7.如权利要求1至5任一项所述的方法，其特征在于，还包括：
当所述电子设备根据确定所述真实场景图像的背景亮度发生改变时，所述电子设备根据当前所述真实场景图像的背景亮度，对所述标签的显示参数进行调整，所述显示参数包括以下任意一个或任意组合：字体颜色、背景的透明度。
8.如权利要求1至5任一项所述的方法，其特征在于，还包括：
所述电子设备根据所述电子设备的定位结果，确定所述电子设备从室外进入到室内时，所述电子设备将标签的显示风格自动从室外标签显示风格自动切换至室内标签显示风格；
或者，所述电子设备根据所述电子设备的定位结果，确定所述电子设备从室内进入到室外时，所述电子设备将标签的显示风格自动从室内标签显示风格自动切换至室外标签显示风格；
其中，所述室外标签显示风格包括以下任意一个或任意组合：标签的内容包括所述目标物体的名称和所述目标物体与所述电子设备的距离，标签在所述真实场景图像中排列疏松，且排列方式不规则；
所述室内标签显示风格包括以下任意一个或任意组合：标签的内容包括所述目标物体的名称和所述目标物体与所述电子设备的距离，以及所述目标物体所在的楼层，标签在所述真实场景图像中排列紧凑，且按照所述目标物体所在的楼层层级排列。
9.一种电子设备，其特征在于，包括处理器、存储器、显示器和摄像头；
所述存储器用于存储一个或多个计算机程序；
当所述处理器运行实景导航功能时，所述摄像头对用户周围环境进行图像采集，生成真实场景图像；根据所述电子设备的拍摄方向和所述电子设备的位置信息，从电子地图中获取设定区域中的兴趣点的信息，所述设定区域包括所述电子设备的位置信息，所述兴趣点的信息包括兴趣点的名称和兴趣点的坐标；
所述处理器从电子地图中获取兴趣点的信息，并对所述真实场景图像进行识别，确定出目标物体；
所述处理器确定所述真实场景图像中的目标物体与所述电子设备的第一相对位置关系,根据所述兴趣点的坐标和所述电子设备的位置信息，确定所述兴趣点与所述用户的第二相对位置关系,根据所述第一相对位置关系和所述第二相对位置关系，确定与所述目标物体匹配的目标兴趣点,根据所述目标兴趣点的信息，生成所述目标物体的标签，根据所述兴趣点的信息、所述电子设备的位置信息，确定所述标签在所述真实场景图像中的显示位置；其中，所述标签包括所述目标物体的名称；
所述显示器显示包括所述标签和所述真实场景图像的界面，其中，所述标签叠加显示在所述真实场景图像的所述显示位置。
10.如权利要求9所述的电子设备，其特征在于，所述处理器还用于：
根据所述目标兴趣点的坐标，确定所述目标物体的坐标；
根据所述目标物体的坐标和所述电子设备的位置信息，确定所述目标物体的标签在所述真实场景图像中的中心坐标；
根据所述中心坐标，确定所述标签在所述真实场景图像中的显示位置。
11.如权利要求9或10所述的电子设备，其特征在于，所述显示位置在所述目标物体的墙面的中间偏上位置，或者货架上，所述显示位置不在所述真实场景图像的以下任意一个特征的显示区域中：天空、天花板、道路、地面、楼梯、楼梯间隔。
12.如权利要求9所述的电子设备，其特征在于，所述处理器具体用于：
根据所述电子设备的位置信息，确定所述电子设备所处的环境；
从所述真实场景图像中对所处的环境中的典型特征进行识别，确定出所述目标物体。
13.如权利要求9所述的电子设备，其特征在于，所述处理器具体用于：
当确定所述电子设备的位置信息属于室外时，从所述真实场景图像识别的特征包括以下任意一个或任意组合：墙壁、道路、天空、建筑物轮廓，并根据识别的特征，确定出目标物体；
当确定所述电子设备的位置信息属于室内时，从所述真实场景图像识别的特征包括以下任意一个或任意组合：天花板、地面、道路、楼梯、楼梯间隔、店铺墙壁，并根据识别的特征，确定出目标物体。
14.如权利要求9至13任一项所述的电子设备，其特征在于，所述电子设备还包括环境光传感器，所述处理器还用于：
当所述处理器根据所述环境光传感器采集的信息，确定所述电子设备周围环境的亮度改变时，根据当前所述环境光传感器采集的信息，对所述标签的显示参数进行调整，所述显示参数包括以下任意一个或任意组合：字体颜色、背景的透明度。
15.如权利要求9至13任一项所述的电子设备，其特征在于，所述处理器还用于：
当根据确定所述真实场景图像的背景亮度发生改变时，根据当前所述真实场景图像的背景亮度，对所述标签的显示参数进行调整，所述显示参数包括以下任意一个或任意组合：字体颜色、背景的透明度。
16.如权利要求9至13任一项所述的电子设备，其特征在于，所述处理器还用于：
根据所述电子设备的定位结果，确定所述电子设备从室外进入到室内时，将标签的显示风格自动从室外标签显示风格自动切换至室内标签显示风格；
或者，根据所述电子设备的定位结果，确定所述电子设备从室内进入到室外时，将标签的显示风格自动从室内标签显示风格自动切换至室外标签显示风格；
其中，所述室外标签显示风格包括以下任意一个或任意组合：标签的内容包括所述目标物体的名称和所述目标物体与所述电子设备的距离，标签在所述真实场景图像中排列疏松，且排列方式不规则；
所述室内标签显示风格包括以下任意一个或任意组合：标签的内容包括所述目标物体的名称和所述目标物体与所述电子设备的距离，以及所述目标物体所在的楼层，标签在所述真实场景图像中排列紧凑，且按照所述目标物体所在的楼层层级排列。
17.一种计算机存储介质，其特征在于，所述计算机可读存储介质包括计算机程序，当计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求1至8任一所述的方法。
CN201880072213.1A 2018-09-30 2018-09-30 一种信息提示方法及电子设备 Active CN111316333B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/109159 WO2020062267A1 (zh) 2018-09-30 2018-09-30 一种信息提示方法及电子设备

Publications (2)

Publication Number Publication Date
CN111316333A CN111316333A (zh) 2020-06-19
CN111316333B true CN111316333B (zh) 2023-03-24

Family

ID=69949254

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880072213.1A Active CN111316333B (zh) 2018-09-30 2018-09-30 一种信息提示方法及电子设备

Country Status (4)

Country Link
US (1) US11892299B2 (zh)
EP (1) EP3848909A4 (zh)
CN (1) CN111316333B (zh)
WO (1) WO2020062267A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020196385A1 (ja) * 2019-03-25 2020-10-01 富士フイルム株式会社 画像処理装置、画像処理方法及びプログラム、撮影装置
CN111696216B (zh) * 2020-06-16 2023-10-03 浙江大华技术股份有限公司 三维增强现实全景融合方法及系统
CN111862339A (zh) * 2020-06-30 2020-10-30 北京市商汤科技开发有限公司 虚拟标签展示方法、装置、设备及计算机可读存储介质
CN111833456A (zh) * 2020-06-30 2020-10-27 北京市商汤科技开发有限公司 图像处理方法、装置、设备及计算机可读存储介质
CN113869087A (zh) * 2020-06-30 2021-12-31 华为技术有限公司 识别物体的卫生状况方法及相关电子设备
CN115914461B (zh) * 2020-09-03 2023-09-29 华为技术有限公司 位置关系识别方法和电子设备
CN112083845B (zh) * 2020-09-09 2022-04-26 北京百度网讯科技有限公司 气泡控件处理方法及装置
CN112565597A (zh) * 2020-11-26 2021-03-26 深圳市艾酷通信软件有限公司 显示方法和装置
CN112584045B (zh) * 2020-12-07 2022-07-12 Oppo广东移动通信有限公司 一种定位显示方法、终端和计算机可读存储介质
CN112525185B (zh) * 2020-12-11 2022-10-28 杭州灵伴科技有限公司 基于定位的ar导览方法及ar头戴式显示装置
EP4016111A1 (en) * 2020-12-16 2022-06-22 Trimble Inc. Methods for geospatial positioning and portable positioning devices thereof
CN112988301B (zh) * 2021-03-18 2023-01-20 上海万科投资管理有限公司 一种基于交叉关联的信息显示方法及系统
CN112907757A (zh) * 2021-04-08 2021-06-04 深圳市慧鲤科技有限公司 一种导航提示方法、装置、电子设备及存储介质
CN113590880A (zh) * 2021-08-05 2021-11-02 广东电网有限责任公司 一种消防救援的定位方法、装置、计算机设备和存储介质
CN113705447A (zh) * 2021-08-27 2021-11-26 深圳市商汤科技有限公司 画面显示方法及装置、电子设备和存储介质
CN113759910B (zh) * 2021-09-03 2024-06-07 上海擎朗智能科技有限公司 一种建图的方法、装置、电子设备及存储介质
CN113901343A (zh) 2021-09-30 2022-01-07 北京百度网讯科技有限公司 目标物体的可视角确定方法、装置及电子设备
CN115423948B (zh) * 2022-11-04 2023-02-21 江西省映尚科技有限公司 Vr图像的处理方法、系统及可读存储介质
CN118154858B (zh) * 2024-05-13 2024-07-26 齐鲁空天信息研究院 基于数字实景模型的兴趣点提取方法、装置、介质及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103971589A (zh) * 2013-01-28 2014-08-06 腾讯科技（深圳）有限公司 将地图的兴趣点信息添加于街景图像中的处理方法及装置
CN104995665A (zh) * 2012-12-21 2015-10-21 Metaio有限公司 用于在真实环境中表示虚拟信息的方法
CN107918955A (zh) * 2017-11-15 2018-04-17 百度在线网络技术（北京）有限公司 增强现实方法和装置
CN108564662A (zh) * 2018-03-26 2018-09-21 湖北大学 一种远距离场景下进行增强现实数字文化内容显示的方法及装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7043474B2 (en) * 2002-04-15 2006-05-09 International Business Machines Corporation System and method for measuring image similarity based on semantic meaning
US8437368B2 (en) * 2003-06-04 2013-05-07 Nokia Corporation System and method for handing over a call from a packet-switched network to a circuit-switched network
US7594194B2 (en) * 2003-09-24 2009-09-22 Nokia Corporation Portrayal of navigation objects
US7519573B2 (en) * 2004-08-23 2009-04-14 Fuji Xerox Co., Ltd. System and method for clipping, repurposing, and augmenting document content
US7613638B2 (en) * 2005-01-25 2009-11-03 Siemens Corporate Research, Inc. Automated systems and methods to support electronic business transactions for spare parts
US7728869B2 (en) 2005-06-14 2010-06-01 Lg Electronics Inc. Matching camera-photographed image with map data in portable terminal and travel route guidance method
US8533761B1 (en) * 2007-04-30 2013-09-10 Google Inc. Aggregating media information
KR101330805B1 (ko) * 2010-08-18 2013-11-18 주식회사 팬택 증강 현실 제공 장치 및 방법
JP6345381B2 (ja) 2012-07-04 2018-06-20 アルパイン株式会社 拡張現実システム
CN104102678B (zh) 2013-04-15 2018-06-05 腾讯科技（深圳）有限公司 增强现实的实现方法以及实现装置
AU2013401486A1 (en) 2013-09-24 2016-04-14 Metaio Gmbh Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
WO2015182290A1 (ja) 2014-05-28 2015-12-03 株式会社Ｓｃｒｅｅｎホールディングス 経路案内装置、経路案内方法、および経路案内プログラム
CN104359487B (zh) 2014-11-13 2017-06-23 沈阳美行科技有限公司 一种实景导航系统
US9329762B1 (en) * 2015-06-02 2016-05-03 Interactive Memories, Inc. Methods and systems for reversing editing operations in media-rich projects
CN105091895A (zh) * 2015-07-21 2015-11-25 寅家电子科技（上海）有限公司 关注点提示系统及方法
CN105976636B (zh) * 2016-05-31 2020-01-31 上海美迪索科电子科技有限公司 一种利用增强现实技术的停车场寻车系统及其寻车方法
CN107247510A (zh) * 2017-04-27 2017-10-13 成都理想境界科技有限公司 一种基于增强现实的社交方法、终端、服务器和系统
CN108168557A (zh) * 2017-12-19 2018-06-15 广州市动景计算机科技有限公司 导航方法、装置、移动终端及服务器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104995665A (zh) * 2012-12-21 2015-10-21 Metaio有限公司 用于在真实环境中表示虚拟信息的方法
CN103971589A (zh) * 2013-01-28 2014-08-06 腾讯科技（深圳）有限公司 将地图的兴趣点信息添加于街景图像中的处理方法及装置
CN107918955A (zh) * 2017-11-15 2018-04-17 百度在线网络技术（北京）有限公司 增强现实方法和装置
CN108564662A (zh) * 2018-03-26 2018-09-21 湖北大学 一种远距离场景下进行增强现实数字文化内容显示的方法及装置

Also Published As

Publication number Publication date
EP3848909A4 (en) 2021-12-29
EP3848909A1 (en) 2021-07-14
US11892299B2 (en) 2024-02-06
US20210397839A1 (en) 2021-12-23
CN111316333A (zh) 2020-06-19
WO2020062267A1 (zh) 2020-04-02

Similar Documents

Publication Publication Date Title
CN111316333B (zh) 一种信息提示方法及电子设备
CN109814766B (zh) 一种应用显示方法及电子设备
CN115866121B (zh) 应用界面交互方法、电子设备和计算机可读存储介质
CN111182145A (zh) 显示方法及相关产品
CN113691842B (zh) 一种跨设备的内容投射方法及电子设备
CN111983559A (zh) 室内定位导航方法及装置
CN114513847B (zh) 定位方法、装置、系统、电子设备及存储介质
CN116156417A (zh) 一种设备定位方法及其相关设备
US20230368417A1 (en) Pose determining method and related device
CN114466308A (zh) 一种定位方法和电子设备
CN113313966A (zh) 一种位姿确定方法以及相关设备
CN115032640B (zh) 手势识别方法和终端设备
WO2022143310A1 (zh) 一种双路投屏的方法及电子设备
CN114338642B (zh) 一种文件传输方法和电子设备
CN116561085A (zh) 图片分享方法和电子设备
WO2024114785A1 (zh) 一种图像处理方法、电子设备及系统
US12056412B2 (en) Image display method and electronic device
CN112783993B (zh) 基于数字地图的多个授权空间的内容同步方法
WO2023024873A1 (zh) 一种显示方法、电子设备及系统
US20240201932A1 (en) Display method, electronic device, and system
CN116939303A (zh) 一种视频生成方法、系统及电子设备
CN117762279A (zh) 控制方法、电子设备、存储介质及程序产品
CN118264784A (zh) 一种用于增强现实协同的系统及方法
CN114968145A (zh) 一种内容存储的方法、电子设备和系统
CN116761277A (zh) 一种设备连接方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant