CN113692604A - 用于使用增强现实来显示周围信息的方法和装置 - Google Patents

用于使用增强现实来显示周围信息的方法和装置 Download PDF

Info

Publication number
CN113692604A
CN113692604A CN202080028264.1A CN202080028264A CN113692604A CN 113692604 A CN113692604 A CN 113692604A CN 202080028264 A CN202080028264 A CN 202080028264A CN 113692604 A CN113692604 A CN 113692604A
Authority
CN
China
Prior art keywords
poi
information
electronic device
pois
focus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080028264.1A
Other languages
English (en)
Inventor
刘镇宇
高祥赫
李承炫
金东勋
孙柱荣
D.李
李庸求
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113692604A publication Critical patent/CN113692604A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0251Targeted advertisements
    • G06Q30/0261Targeted advertisements based on user location
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3679Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20092Interactive image processing based on input by user
    • G06T2207/20101Interactive definition of point of interest, landmark or seed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/004Annotating, labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)

Abstract

一种使用增强现实来显示附近兴趣点(POI)的方法及其电子装置。一种电子装置的操作方法,包括:获取预览视频;获取所述电子装置的位置信息;获取关于位于附近的至少一个POI的信息;在所述至少一个POI当中选择焦点POI;确定针对一般POI要向用户提供的第一信息;确定针对所述焦点POI要向所述用户提供的包括比所述第一信息更多的信息的第二信息;确定屏幕上的其中要显示关于所述至少一个POI的信息的预览视频的位置;以及在屏幕的提供所述至少一个POI的全部或一些的所确定预览视频的位置上,显示所述第一信息或所述第二信息。

Description

用于使用增强现实来显示周围信息的方法和装置
技术领域
各个实施例涉及用于使用增强现实来显示附近兴趣点(POI)的方法和装置。
背景技术
随着智能手机与互联网交互,数据变得可自由使用,用户往往会立即获得必要的信息。例如,用户经常通过使用智能手机来搜索关于附近餐馆的信息或兴趣相关信息。在这种情况下,各种地图应用用于包括在地图上显示由用户搜索的信息的功能。
在地图应用中,用户的当前位置和搜索到的位置或地点可一起显示,并且可取决于要搜索的地点的属性而通过不同图标显示。然而,地图应用仍然局限于简单地显示基于搜索词而搜索的位置,因此还有进一步改进的空间。
上述信息作为背景信息呈现仅用于帮助理解本公开。对于上述任何内容是否可用做本公开的现有技术,尚未进行任何确定,也未做出任何断言。
发明内容
技术方案
传统地图应用可以通过在地图上显示附近地点的位置来帮助用户导航到期望的地点。然而,为了仅通过地图上的位置到达期望的地点,查看周围环境(诸如道路、建筑物等)以找到方向不方便。
本公开一方面提供一种方法和装置,用于在搜索附近位置时,通过通知当前位置参考的方向和相机预览屏幕以及兴趣点(POI)的位置信息来帮助用户容易地到达期望的地点。
本公开另一方面提供一种方法和装置,用于允许用户通过提供与对应地点相关联的信息(诸如,除了POI的简单位置之外,还有在对应地点提供的优惠券)来检查各种信息。
本公开又另一方面提供一种方法和装置,用于通过示出与其它信息不同的可以更有效地用于用户的信息来增加可读性。
本公开所追求的技术主题可以不限于上述技术主题,并且通过以下描述,本公开领域的技术人员可以清楚地理解未提及的其它技术主题。
根据本公开一方面,一种电子装置包括:通信模块,被配置为执行与外部装置的通信;相机模块,被配置为拍摄视频;至少一个处理器,被配置为可操作地连接到所述通信模块和所述相机模块;以及至少一个存储器,被配置为可操作地连接到所述至少一个处理器,其中,所述至少一个存储器存储指令,所述指令在被执行时用于使所述至少一个处理器:通过控制所述相机模块获取由所述相机模块拍摄的预览视频,获取所述电子装置的位置信息,基于所述位置信息获取关于位于附近的至少一个兴趣点(POI)的信息,基于关于至少一个POI的信息,在所述至少一个POI当中选择焦点POI,确定针对一般POI要向用户提供的第一信息,所述一般POI包括所述至少一个POI当中除所选择的焦点POI之外的其余POI,确定针对所述焦点POI要向所述用户提供的第二信息,其中所述第二信息包括比所述第一信息更多的信息,确定在屏幕上提供所述预览视频的位置,其中在所述预览视频中将显示关于所述至少一个POI的信息,以及显示以在提供所述至少一个POI的全部或一些的所确定预览视频的屏幕的位置上,提供所述第一信息或所述第二信息。
根据本公开另一方面,一种电子装置的操作方法包括:获取由相机模块拍摄的预览视频;获取所述电子装置的位置信息;基于所述位置信息获取关于位于附近的至少一个POI的信息;基于关于至少一个POI的信息,在所述至少一个POI当中选择焦点POI;确定针对一般POI要向用户提供的第一信息,所述一般POI包括所述至少一个POI当中除所选择的焦点POI之外的其余POI;确定针对所述焦点POI要向所述用户提供的包括比所述第一信息更多的信息的第二信息;确定在提供所述预览视频的屏幕上的位置,其中在所述预览视频中将显示关于所述至少一个POI的信息,以及显示以在提供所述至少一个POI的全部或一些的所确定预览视频的屏幕的位置上,提供所述第一信息或所述第二信息。
根据本公开另一方面,一种电子装置的操作方法包括:向内容提供商(CP)服务器发送所述电子装置的位置信息;从CP服务器获取关于位于附近的至少一个POI的信息;基于所述电子装置的所述位置信息,根据距所述电子装置的距离来布置所述至少一个POI;基于所述电子装置的位置和所述电子装置的预览视频拍摄方向,配置所述至少一个POI中的每个POI的显示位置;当所述显示位置是配置的焦点区域内的焦点POI时,配置与所述焦点POI有关的要显示的信息,并在显示所述预览视频的屏幕上的配置的显示位置处显示包括配置的信息的UI;以及当所述显示位置是配置的焦点区域之外的一般POI时,获取所述一般POI的类别信息,并在显示所述预览视频的屏幕上的配置的显示位置处显示与所述类别信息对应的图标。
除了通过固定地图图像获得关于地点的信息的方法之外,根据各个实施例的方法及其电子装置可以在用户拍摄的屏幕上向用户提供位置信息,从而提供更容易找到的位置信息。
根据各个实施例的方法及其电子装置可以除简单位置之外还提供与对应地点有关的信息,从而允许用户检查各种信息。
根据各个实施例的方法及其电子装置可以以比其它信息更详细的方式显示可以更有效地用于用户的信息,从而增加用户的可读性。
通过本公开可以获得的效果不限于上述效果,本领域技术人员可以通过以下描述清楚地理解未提及的其它效果。
在进行以下的详细描述之前,阐述本专利文件全文中使用的某些词语和短语的定义可以是有利的:术语“包括”和“包含”及其派生物,是指包括但不限于;术语“或”是包含性的,意思是和/或;短语“与…相关联”和“与其相关联”及其派生物可以意味着包括、被包括在内、与…互连、包含、被包含在内、连接到或与…相连、耦接到或与…耦接、可与…通信、与…合作、交织、并置、接近于、绑定到或与…绑定、具有、具有…的属性等;术语“控制器”是指控制至少一个操作的任何装置、系统或其部分,这样的装置可以以硬件、固件或软件或其中的至少两个的某个组合来实施。应当注意,与任何特定控制器相关联的功能可以是集中式的或分布式的,本地的或远程的。
此外,以下描述的各种功能可由一个或多个计算机程序实施或支持,每个计算机程序由计算机可读程序代码形成并体现在计算机可读介质中。术语“应用”和“程序”是指一个或多个计算机程序、软件组件、指令集、过程、函数、对象、类、实例、相关数据或其适于在适当的计算机可读程序代码中进行实施的部分。短语“计算机可读程序代码”包括任何类型的计算机代码,包括源代码、目标代码和可执行代码。短语“计算机可读介质”包括能够被计算机访问的任何类型的介质,诸如只读存储器(ROM)、随机存取存储器(RAM)、硬盘驱动器、光盘(CD)、数字视频盘(DVD)或任何其它类型的存储器。“非暂时性”计算机可读介质不包括传输暂时性电信号或其它信号的有线、无线、光学或其它通信链路。非暂时性计算机可读介质包括可持续性存储数据的介质和可存储并随后覆写数据的介质,诸如可重写光盘或可擦除存储器装置。
贯穿本专利文件,提供了对于某些词和短语的定义,本领域普通技术人员应当理解,在许多情况下(如果不是大多数情况),这样的定义适用于如此定义的词和短语的先前以及未来使用。
附图说明
从下列结合附图进行的描述,本公开某些实施例的上述和其它方面、特征和优点将更加清楚,在附图中:
图1是示出根据各个实施例的网络环境中的电子装置的框图;
图2是示出根据各个实施例的相机模块的框图;
图3是示出根据各个实施例的电子装置的功能性配置的示例的图;
图4是示出根据各个实施例的在电子装置的屏幕上指定的焦点区域的示例的图;
图5是示出根据各个实施例的在电子装置的显示屏幕上显示POI信息的示例的图;
图6是示出根据各个实施例的在电子装置的显示屏幕上显示详细POI信息的示例的图;
图7是示出根据各个实施例的在电子装置的显示屏幕上显示POI信息的另一示例的图;
图8是示出在显示屏幕上显示根据各个实施例的电子装置的周围信息的操作的流程图;
图9是示出在显示屏幕上显示根据各个实施例的电子装置的周围信息的操作的另一示例的流程图;和
图10是示出根据各个实施例的考虑到POI组在显示屏幕上显示电子装置的周围信息的操作的示例的流程图。
关于对附图的描述,相同或相似附图标记可以用于相同或相似的部件。
具体实施方式
在本专利文件中,以下讨论的图1至10以及用于描述本公开的原理的各个实施例仅通过示例的方式,而不应当以任何方式解释为限制本公开的范围。本领域技术人员将理解,本公开的原理可以在任何适当布置的系统或装置中实现。
以下,将参照附图来详细描述各个实施例。
图1是示出根据各种实施例的网络环境100中的电子装置101的框图。参照图1,网络环境100中的电子装置101可经由第一网络198(例如,短距离无线通信网络)与电子装置102进行通信,或者经由第二网络199(例如,长距离无线通信网络)与电子装置104或服务器108进行通信。根据实施例,电子装置101可经由服务器108与电子装置104进行通信。根据实施例,电子装置101可包括处理器120、存储器130、输入装置150、声音输出装置155、显示装置160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、用户识别模块(SIM)196或天线模块197。在一些实施例中,可从电子装置101中省略所述部件中的至少一个(例如,显示装置160或相机模块180),或者可将一个或更多个其它部件添加到电子装置101中。在一些实施例中,可将所述部件中的一些部件实现为单个集成电路。例如,可将传感器模块176(例如,指纹传感器、虹膜传感器、或照度传感器)实现为嵌入在显示装置160(例如,显示器)中。
处理器120可运行例如软件(例如,程序140)来控制电子装置101的与处理器120连接的至少一个其它部件(例如,硬件部件或软件部件),并可执行各种数据处理或计算。根据一个实施例,作为所述数据处理或计算的至少部分,处理器120可将从另一部件(例如,传感器模块176或通信模块190)接收到的命令或数据加载到易失性存储器132中,对存储在易失性存储器132中的命令或数据进行处理,并将结果数据存储在非易失性存储器134中。根据实施例,处理器120可包括主处理器121(例如,中央处理器(CPU)或应用处理器(AP))以及与主处理器121在操作上独立的或者相结合的辅助处理器123(例如,图形处理单元(GPU)、图像信号处理器(ISP)、传感器中枢处理器或通信处理器(CP))。另外地或者可选择地,辅助处理器123可被适配为比主处理器121耗电更少,或者被适配为具体用于指定的功能。可将辅助处理器123实现为与主处理器121分离,或者实现为主处理器121的部分。
在主处理器121处于未激活(例如,睡眠)状态时,辅助处理器123可控制与电子装置101(而非主处理器121)的部件之中的至少一个部件(例如,显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些,或者在主处理器121处于激活状态(例如,运行应用)时,辅助处理器123可与主处理器121一起来控制与电子装置101的部件之中的至少一个部件(例如,显示装置160、传感器模块176或通信模块190)相关的功能或状态中的至少一些。根据实施例,可将辅助处理器123(例如,图像信号处理器或通信处理器)实现为在功能上与辅助处理器123相关的另一部件(例如,相机模块180或通信模块190)的部分。
存储器130可存储由电子装置101的至少一个部件(例如,处理器120或传感器模块176)使用的各种数据。所述各种数据可包括例如软件(例如,程序140)以及针对与其相关的命令的输入数据或输出数据。存储器130可包括易失性存储器132或非易失性存储器134。
可将程序140作为软件存储在存储器130中,并且程序140可包括例如操作系统(OS)142、中间件144或应用146。
输入装置150可从电子装置101的外部(例如,用户)接收将由电子装置101的其它部件(例如,处理器120)使用的命令或数据。输入装置150可包括例如麦克风、鼠标、键盘或数字笔(例如,手写笔)。
声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可包括例如扬声器或接收器。扬声器可用于诸如播放多媒体或播放唱片的通用目的,接收器可用于呼入呼叫。根据实施例,可将接收器实现为与扬声器分离,或实现为扬声器的部分。
显示装置160可向电子装置101的外部(例如,用户)视觉地提供信息。显示装置160可包括例如显示器、全息装置或投影仪以及用于控制显示器、全息装置和投影仪中的相应一个的控制电路。根据实施例,显示装置160可包括被适配为检测触摸的触摸电路或被适配为测量由触摸引起的力的强度的传感器电路(例如,压力传感器)。
音频模块170可将声音转换为电信号,反之亦可。根据实施例,音频模块170可经由输入装置150获得声音,或者经由声音输出装置155或与电子装置101直接(例如,有线地)连接或无线连接的外部电子装置(例如,电子装置102)的耳机输出声音。
传感器模块176可检测电子装置101的操作状态(例如,功率或温度)或电子装置101外部的环境状态(例如,用户的状态),然后产生与检测到的状态相应的电信号或数据值。根据实施例,传感器模块176可包括例如手势传感器、陀螺仪传感器、大气压力传感器、磁性传感器、加速度传感器、握持传感器、接近传感器、颜色传感器、红外(IR)传感器、生物特征传感器、温度传感器、湿度传感器或照度传感器。
接口177可支持将用来使电子装置101与外部电子装置(例如,电子装置102)直接(例如,有线地)或无线连接的一个或更多个特定协议。根据实施例,接口177可包括例如高清晰度多媒体接口(HDMI)、通用串行总线(USB)接口、安全数字(SD)卡接口或音频接口。
连接端178可包括连接器,其中,电子装置101可经由所述连接器与外部电子装置(例如,电子装置102)物理连接。根据实施例,连接端178可包括例如HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如,耳机连接器)。
触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激(例如,振动或运动)或电刺激。根据实施例,触觉模块179可包括例如电机、压电元件或电刺激器。
相机模块180可拍摄(capture)静止图像或运动图像。根据实施例,相机模块180可包括一个或更多个透镜、图像传感器、图像信号处理器或闪光灯。
电力管理模块188可管理对电子装置101的供电。根据实施例,可将电力管理模块188实现为例如电力管理集成电路(PMIC)的至少部分。
电池189可对电子装置101的至少一个部件供电。根据实施例,电池189可包括例如不可再充电的原电池、可再充电的蓄电池、或燃料电池。
通信模块190可支持在电子装置101与外部电子装置(例如,电子装置102、电子装置104或服务器108)之间建立直接(例如,有线)通信信道或无线通信信道,并经由建立的通信信道执行通信。通信模块190可包括能够与处理器120(例如,应用处理器(AP))独立操作的一个或更多个通信处理器,并支持直接(例如,有线)通信或无线通信。根据实施例,通信模块190可包括无线通信模块192(例如,蜂窝通信模块、短距离无线通信模块或全球导航卫星系统(GNSS)通信模块)或有线通信模块194(例如,局域网(LAN)通信模块或电力线通信(PLC)模块)。这些通信模块中的相应一个可经由第一网络198(例如,短距离通信网络,诸如蓝牙、无线保真(Wi-Fi)直连或红外数据协会(IrDA))或第二网络199(例如,长距离通信网络,诸如蜂窝网络、互联网、或计算机网络(例如,LAN或广域网(WAN)))与外部电子装置进行通信。可将这些各种类型的通信模块实现为单个部件(例如,单个芯片),或可将这些各种类型的通信模块实现为彼此分离的多个部件(例如,多个芯片)。无线通信模块192可使用存储在用户识别模块196中的用户信息(例如,国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电子装置101。
天线模块197可将信号或电力发送到电子装置101的外部(例如,外部电子装置)或者从电子装置101的外部(例如,外部电子装置)接收信号或电力。根据实施例,天线模块197可包括天线,所述天线包括辐射元件,所述辐射元件由形成在基底(例如,PCB)中或形成在基底上的导电材料或导电图案构成。根据实施例,天线模块197可包括多个天线。在这种情况下,可由例如通信模块190(例如,无线通信模块192)从所述多个天线中选择适合于在通信网络(诸如第一网络198或第二网络199)中使用的通信方案的至少一个天线。随后可经由所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据实施例,除了辐射元件之外的另外的组件(例如,射频集成电路(RFIC))可附加地形成为天线模块197的一部分。
上述部件中的至少一些可经由外设间通信方案(例如,总线、通用输入输出(GPIO)、串行外设接口(SPI)或移动工业处理器接口(MIPI))相互连接并在它们之间通信地传送信号(例如,命令或数据)。
根据实施例,可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电子装置101相同类型的装置,或者是与电子装置101不同类型的装置。根据实施例,将在电子装置101运行的全部操作或一些操作可在外部电子装置102、外部电子装置104或服务器108中的一个或更多个运行。例如,如果电子装置101应该自动执行功能或服务或者应该响应于来自用户或另一装置的请求执行功能或服务,则电子装置101可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分,而不是运行所述功能或服务,或者电子装置101除了运行所述功能或服务以外,还可请求所述一个或更多个外部电子装置执行所述功能或服务中的至少部分。接收到所述请求的所述一个或更多个外部电子装置可执行所述功能或服务中的所请求的所述至少部分,或者执行与所述请求相关的另外功能或另外服务,并将执行的结果传送到电子装置101。电子装置101可在对所述结果进行进一步处理的情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的至少部分答复。为此,可使用例如云计算技术、分布式计算技术或客户机-服务器计算技术。
图2是示出根据各个实施例的相机模块180的框图200。参考图2,相机模块180可以包括透镜组件210、闪光灯220、图像传感器230、图像稳定器240、存储器250(例如,缓冲存储器)或图像信号处理器260。透镜组件210可收集从作为图像拍摄目标的对象发射的光。透镜组件210可包括一个或多个透镜。根据实施例,相机模块180可包括多个透镜组件210。在这种情况下,相机模块180可以是例如双相机、360度相机或球形相机。多个透镜组件210具有相同的透镜属性(例如,视角、焦距、自动焦点、f数或光学变焦),或者至少一个透镜组件可以具有至少一个不同于其它透镜组件的其它透镜属性。透镜组件210可包括例如广角透镜或长焦透镜。闪光灯220可以发射用于增强从对象发射的光的光源。闪光灯220可包括一个或多个发光二极管(例如,红绿蓝(RGB)LED、白色LED、红外LED或紫外线LED)或氙灯。
图像传感器230可通过将从对象通过透镜组件210发送的光转换为电信号来获取与对象对应的图像。根据实施例,图像传感器230可包括在具有不同属性的图像传感器(例如,RGB传感器、黑白(BW)传感器、IR传感器或UV传感器)中选择的一个图像传感器、具有相同属性的多个图像传感器或具有不同属性的多个图像传感器。在图像传感器230中包括的每个图像传感器可被实现为例如电荷耦接器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。
响应于相机模块180或包括其的电子装置101的移动,图像稳定器240可将在透镜组件210或图像传感器230中包括的至少一个透镜沿特定方向移动,或可将其控制(例如,调整读出定时)以便至少部分地补偿由相对于拍摄图像的移动而引起的负面影响(例如,图像抖动)。根据实施例,图像稳定器240可被实现为例如光学图像稳定器,并且可使用布置在相机模块180内部或外部的陀螺仪传感器(未示出)或加速度传感器(未示出)来检测上述移动。
存储器250可至少暂时存储通过图像传感器230获取的图像的至少一部分以用于下一个图像处理任务。例如,如果根据快门的图像获取被延迟,或者如果以高速获取多个图像,则获取的原始图像(例如,高分辨率图像)可以存储在存储器250中,并且与原始图像对应的复制图像(例如,低分辨率图像)可通过显示装置160来预览。此后,如果满足指定条件(例如,用户输入或系统命令),则在存储器250中存储的原始图像的至少一部分可通过例如图像信号处理器260来获取或处理。根据实施例,存储器250可被配置为存储器130的至少一部分,或可被配置为独立于存储器130运行的单独存储器。
图像信号处理器260可以对通过图像传感器230获取的图像或在存储器250中存储的图像执行图像处理(例如,深度图(depth map)生成、三维(3D)建模、全景生成、特征点提取、图像合成或图像补偿{例如,降噪、分辨率调整、亮度调整、模糊、锐化、或柔化})。另外或可选地,图像信号处理器260可对相机模块180中包括的组件中的至少一个(例如,图像传感器230)执行控制(例如,曝光时间控制或读出定时控制)。由图像信号处理器260处理的图像可再次存储在存储器250中以供进一步处理,或者可以发送到相机模块180的外部组件(例如,存储器130、显示装置160、电子装置102、电子装置104、或服务器108)。根据实施例,图像信号处理器260可以被配置为处理器120的至少一部分,或者可被配置为独立于处理器120运行的单独处理器。当配置为单独处理器时,由图像信号处理器260处理的图像可由处理器120按原样处理,或可经受附加图像处理,然后可通过显示装置160显示。
根据实施例,电子装置101可包括两个或多个相机模块180,每个模块具有不同的属性或功能。在这种情况下,例如,至少一个相机模块180可是广角相机或前置相机,且至少一个其它相机模块可是长焦相机或后置相机。
本公开中提出的用于使用增强现实来显示周围信息的设备或方法,可以在用户使用相机拍摄周围环境的情况下获取关于散布在用户周围的相对于当前位置的兴趣点(POI)的信息,并且可以使用增强现实技术,将获取信息与由相机拍摄并且在显示器上显示的预览图像或屏幕一起示出。
以下将首先定义描述所需的基本术语。
兴趣点:指对用户有用或用户可能感兴趣的地点。在下文中,可以将其称为POI。
内容提供商服务器:它存储所有POI的列表和关于每个POI的信息,并可以通过基于用户位置的请求来提供用户位置周围的POI的列表和相关信息。在下文中,可以将其称为内容提供商(CP)服务器。
POI相关信息:它包括描述POI的信息,这些信息对用户有用或可以使用户更感兴趣。它可以包括POI的相关图像、名称(企业名称)、位置、类别、地址、电话号码等,并且在某些情况下可以另外包括广告或事件相关信息。POI相关图像可以是可以表示对应POI的图像,并且可以包括企业名称或包括代表性产品的图像。类别可以指示POI所属的企业的类型。类别可以由内容提供商预先确定,并且可以预先确定每个POI属于哪个类别。例如,每个POI的类别可以针对每个企业类型(诸如咖啡馆、餐厅、电影院、酒店等)来确定,或者可以进一步细分为西餐厅、韩国餐厅、快餐店等。
图3是示出根据各个实施例的电子装置300的功能性配置的示例的图。图3简要地示出了可以用于实现本公开中提出的方法的功能性配置。在实施例中,图3的电子装置300可以是图1的电子装置101。
参考图3,电子装置300可以包括处理器310、存储器320、显示器330、传感器模块340、通信模块360和/或GPS模块370。然而,电子装置300不限于此。可以省略上述组件中的至少一个,或者可以将一个或多个其它组件添加到电子装置300。
相机模块350可以拍摄当前位置的附近。相机模块350的特定组件可以是图2中所示的相机模块180。由相机模块350拍摄的图像或视频可以在显示器330上显示。
传感器模块340可包括地磁传感器、加速度传感器(例如,加速计)、陀螺仪传感器(例如,陀螺仪)或六轴传感器中的至少一个。传感器模块340可基于使用所包括的传感器获得的信息来检测其中电子装置300的相机模块350拍摄的方向。检测到的方向可用于处理器310选择要在显示器330上显示的周围信息。传感器模块340可对应于图1的传感器模块176或其一部分。
通信模块360可在电子装置300和外部电子装置(例如,图1的服务器108)之间建立通信链路,并可通过所建立的通信链路来执行通信。例如,通信模块360可以使用诸如蓝牙、BLE、Wi-Fi、NFC或LTE的通信方法向其它电子装置发送控制命令或数据,并从其它电子装置接收控制命令或数据。
GPS模块370可以生成通过检测电子装置300的当前位置而获得的位置信息。GPS模块370可以接收来自GPS卫星的信号以生成关于电子装置300的当前位置的信息,例如,包括纬度/经度的位置信息。
通信模块360可以基于处理器310的控制向外部电子装置发送信息或从外部电子装置接收信息。例如,通信模块360可以将GPS模块370生成的位置信息和传感器模块340获得的方向信息发送到外部电子装置(例如,图1的服务器108),并且可以从外部电子装置获取周围信息。
显示器330可以显示信息以向用户提供该信息。显示器330可对应于图1的显示装置160。显示器330可以以增强现实(AR)的形式在屏幕上显示由电子装置300的相机模块350拍摄的预览视频和周围信息。
处理器310可以控制电子装置300的整体操作。处理器310可以有机地耦接到其它组件(例如,存储器320、显示器330、传感器模块340、相机模块350、通信模块360和GPS模块370)以控制其它组件正确操作,可以为其它组件提供数据,并且可以从其它组件获取和处理数据。处理器310可以在软件中实现,可以在诸如芯片、电路等的硬件中实现,或者可以在软件和硬件的集合中实现。处理器310可以是多个处理器中的一个或集合。
存储器320可以指一个或多个存储器组。存储器320可以基于与处理器310的信令来执行存储器320中存储的指令。存储器320可以存储从其它组件(例如,处理器120、传感器模块340、通信模块360和显示器330)接收到或由其它组件生成的数据和/或命令。
根据各个实施例,当用户希望通过开始拍摄或执行相关应用来获取关于周围信息的信息时,处理器310可使用GPS模块370来获取用户或电子装置300的当前位置信息,并且可使用通信模块360将所获取的位置信息发送到外部电子装置(例如,图1的服务器108)。处理器310可从外部电子装置接收用户或电子装置300的位置周围的兴趣点(POI)信息。处理器310可以使用接收到的POI信息,基于电子装置300的当前位置来计算和布置(arrange)到每个POI的距离和方向。处理器310可基于布置的结果,确定在屏幕上要显示哪个POI以及要在屏幕的哪个区域显示对应的POI。处理器310可以将POI区分为一般POI和焦点POI,可在屏幕上显示关于焦点POI的更详细信息,并且可以使用图标显示一般POI以向用户提供信息。此外,焦点POI可显示在显示器330的屏幕上指定的焦点区域中。根据另一实施例,除了一般POI和焦点POI之外,处理器310还可区分广告POI。广告POI可是应广告商的请求,在POI信息中包括广告或事件信息的POI。关于广告POI,除通过一般POI或焦点POI显示的信息外,处理器310还可另外在屏幕上显示广告或事件信息。
根据各个实施例,处理器310可使用GPS模块370来获取电子装置300的当前位置。处理器310可以向内容提供商(CP)服务器(例如,图1的服务器108)请求在距离电子装置300的当前位置的预定距离内的POI列表数据。CP服务器可以存储要提供给用户的POI信息。根据实施例,处理器310可以使用通信模块360将电子装置300的当前位置发送到CP服务器以向CP服务器请求POI列表数据。响应于所发送的位置信息,处理器310可以通过通信模块360从CP服务器接收POI列表数据。从CP服务器接收到的POI列表数据中包括的信息可以包括指示每个POI的位置的纬度/经度信息、名称信息、包括代表性图像的图像信息、联系人信息、类别信息和其它文本信息。
根据各个实施例,处理器310可基于从CP服务器发送的POI列表的位置信息,计算每个POI相对于电子装置300的当前位置的距离和方向,并且可以按照与电子装置300的当前位置的距离的顺序来布置POI。根据实施例,处理器310可以使用在从CP服务器接收到的POI信息中包括的纬度/经度来计算电子装置300的当前位置的计算距离、角度等以及纬度/经度。处理器310可以使用计算的结果,布置电子装置300和相应POI之间的相对位置值。
根据各个实施例,处理器310可在屏幕上以AI的形式,显示关于周围POI的信息以及作为由相机模块350拍摄的结果的预览屏幕。然而,由于诸如周围信息量、显示器的尺寸、相机模块350中相机的视角等条件,用于显示多个POI的位置可能重叠,使得可能难以在显示器330的一个屏幕上显示所有重叠的POI,因此处理器310可以考虑诸如相机视角、显示尺寸、用户界面(UI)等条件,预测其中要显示所有POI的位置,并可生成一组重叠的POI。POI组可以指基于特定标准绑定的POI的簇。特别地,在其中POI之间的距离短的情况下,由于归因于显示器330的屏幕的空间限制而难以在屏幕上区分和显示多个POI,因此处理器310可以将多个POI成组到(group)单个POI组中以显示POI组。根据实施例,处理器310可以通过将具有使用POI之间的距离、POI的方向等获得的类似数值的POI分组到POI组来定义POI组。处理器310可基于一个代表性POI来显示POI组,且可允许用户通过使用代表性POI作为接口来访问在对应POI组中包括的另一POI的信息。处理器310可基于从CP服务器接收到的信息来确定代表性POI,或者可基于用户的使用习惯和偏好来确定代表性POI。根据实施例,处理器310可确定在在POI组中包括的POI当中最接近电子装置300的当前位置的POI作为代表性POI。根据另一实施例,处理器310可基于从CP服务器接收到的POI信息,确定具有最高级别(grade)的POI作为代表性POI。根据另一实施例,当用户偏好餐厅类别时,处理器310可将在对应类别中包括的POI确定为代表性POI。处理器310可确定用于在屏幕上显示每个POI组的代表性信息和显示位置,其中每个POI组基于预定标准生成。
根据各个实施例,处理器310可以在屏幕上显示由相机模块350拍摄的预览视频,并且可以在显示的预览视频上方,以AI的形式在屏幕上显示上述各个POI组。为了在屏幕上显示每个POI组,处理器310可以使用传感器模块340来实时获取其中电子装置300的相机或相机模块350拍摄的方向,并且可以考虑到每个POI组的位置和方向以及相机的视角来显示POI组的信息。在这种情况下,在显示器330的屏幕上显示的信息可以是表示每个POI组的信息,并且可以使用与用户的附加接口来确认另一重叠POI的信息。例如,处理器310可以在屏幕上显示与代表性POI有关的UI,并且对应的UI可以用作接口,以便用户获取在相同POI组中包括的另一POI的信息。根据实施例,当检测到用户的左/右滚动操作时,处理器310可以在显示器330的屏幕上显示在相同POI组中包括的其它POI的信息。
根据各个实施例,处理器310可以将其中相机模块350拍摄的方向的POI信息与由相机模块350拍摄的视频一起显示在屏幕上,从而将其同时提供给用户。因此,响应于其中随着电子装置300向用户的左侧或右侧旋转而改变相机模块350的方向,处理器310可以确认与该方向对应的POI,以在屏幕上将其显示。
如上所述,当处理器310在显示器330的屏幕上显示周围信息时,在显示每个POI组的UI区域和要提供的数据量之间可以存在权衡关系。为了向用户提供大量数据,可以增加UI区域,并且当UI区域减少时,可以提供有限的信息。因此,在本公开中,可以定义焦点POI,使得可以在焦点区域中提供关于被确定为对用户重要的POI组的更详细信息。
图4是示出根据各个实施例在电子装置300的屏幕上指定的焦点区域410的示例的图400。
根据各个实施例,处理器310可以将显示器330的屏幕的部分区域指定为焦点区域410。根据实施例,参考图4,如图4的虚线框所示,显示器330的屏幕的下中心部分可以被指定为焦点区域410。处理器310可以通过使用电子装置300的位置、相机模块350的拍摄方向、POI的距离和角度等,确定要在焦点区域410中显示的焦点POI或焦点POI组。响应于通过用户的操纵在电子装置300的位置和/或拍摄方向上的改变,可以改变要在焦点区域中显示的焦点POI或焦点POI组。处理器310可以使不能在焦点区域中显示的一般POI或POI组使用简单UI 421到427提供最小信息,并且可以使可以在焦点区域中显示的焦点POI组通过扩展UI区域430向用户提供更多信息。
根据实施例,处理器310可使用指示对应的POI或POI组的类别的图标421、423、425和427来显示一般POI或一般POI组。在实施例中,图标421可是通过塑造刀叉来表示西餐厅而获得的图标并指示西餐厅类别,图标425可以是通过共享投影仪而获得的图标并指示电影院类别,并且图标427可以是通过塑造咖啡杯而获得的图标并指示咖啡馆类别。根据另一实施例,处理器310可显示UI,该UI包括关于焦点POI或焦点POI组的对应POI或POI组的图像、名称等。结果,关于焦点POI或焦点POI组,可在显示器330的屏幕上显示包括比一般POI或一般POI组的信息更多信息的UI 430,并可向用户提供所显示的UI 430。当在显示器330的屏幕上显示POI组时,处理器310可显示与关于一般POI组的代表性POI的类别对应的图标,并可显示关于焦点POI组的对应POI组的代表性POI的图像、名称等。
根据各个实施例,处理器310可以分离广告POI以除一般POI的图标之外还显示广告或事件信息,或者可以允许广告或事件信息被附加包括在焦点POI的UI中以显示对应的信息。此外,当广告POI包括在POI组中时,广告POI可以优先于其它POI被确定为代表性POI。
根据各个实施例,处理器310可以通过改变电子装置300的位置和/或拍摄方向,将焦点POI转换为一般POI,以及将一般POI转换为焦点POI。为了在屏幕上显示这种改变,处理器310可以将UI从表示焦点POI的UI逐渐改变为表示一般POI的UI,或者相反,可以将UI从表示一般POI的UI逐渐改变为表示焦点POI的UI。
图5是示出根据各个实施例的在电子装置300的显示器330的屏幕上显示POI信息的示例的图500。
图6是示出根据各个实施例的在电子装置300的显示器330的屏幕上显示详细POI信息的示例的图600。
参考根据实施例的图5,处理器310可以在显示器330的屏幕上显示包括POI信息的UI以及由相机模块350拍摄的预览视频501。UI 531和532可以包括关于焦点POI的信息,并且处理器310可以显示诸如代表性图像、名称、距离、星级以及与POI相关的评级的信息。特别地,UI 531和532可以显示在显示器330的屏幕的焦点区域510中。另一方面,UI 521、523和525可以显示一般POI的信息,并且处理器310可以使用指示对应POI的类别的图标来显示对应信息,对于每个类别,图标可以是不同的图标。根据实施例,广告POI可以显示在屏幕上,并且在广告POI的情况下,广告信息和/或事件信息可以包括在屏幕上显示的信息中。
当用户触摸在显示器330的屏幕上显示的UI时,不管POI是一般POI、焦点POI还是广告POI,如图6所示,处理器310都可在屏幕上显示UI 610,其包括与被触摸的UI的对应POI有关的详细信息。UI 610可向用户显示与从CP服务器接收到的POI有关的各种信息,并在UI610上显示的详细信息可通过超链接等连接到单独的应用以提供附加服务。例如,UI 610可显示代表性图像、姓名、星级、评级、距离、地址、联系人等,且当按下在UI 610上显示的联系人时,可执行呼叫方应用(呼叫)以提供电话呼叫服务。当用户触摸代表性图像或名称时,可执行互联网应用以显示对应POI的网站。当用户触摸地址或“获取方向”时,可提供服务以及地图相关应用以提供前往对应地点的详细指南。此外,当用户所触摸的POI是其中将多个POI组成组的POI组而不是单个POI时,处理器310可在显示器330的屏幕上显示单独的UI620,以指示单独的UI 620是POI组,并向用户提供与在POI组中包括的POI的数量有关的信息。在这种情况下,处理器310可响应于用户的左/右扫描操作,在显示器330的屏幕上提供除当前显示的POI外的另一POI的信息。
图7是示出根据各个实施例的在电子装置300的显示器330的屏幕上显示POI信息的另一示例的图。
参考图7,在用户使用实现本公开方法的应用的情况下,处理器310可在显示器330的屏幕上显示POI信息以及由相机模块350拍摄的预览,且在一般POI的情况下,可使用指示每个POI的类别的图标721、723、725、727来显示POI信息。根据实施例,图标721和图标727可用于指示对应的POI是餐厅类别,并且图标725可用于指示对应的POI是可进行会议的地点的类别。根据实施例,处理器310可根据与电子装置300的当前位置的距离来改变图标的尺寸,使得可使用具有相对大尺寸的图标727显示接近的POI,并且可使用具有相对小尺寸的图标723来显示远处的POI。根据实施例,处理器310可提供反映用户偏好的图标。处理器310可使用如图标727中所示的心形来显示具有高的用户偏好的POI。对于特定图标,当存在诸如触摸之类的用户操作时,可如图6中所示地提供与图标对应的POI的详细信息。在焦点POI的情况下,处理器310可在显示器330的屏幕上显示提供诸如POI的名称、星级和评级等附加信息以及对应图像的UI 731和733。即使在在焦点POI的情况下,当与电子装置300的距离较短时,处理器310可使用相对大的UI 731显示焦点POI,并且当其距离较大时,处理器310可使用相对小的UI 733显示焦点POI。根据另一实施例,处理器可以将与其具有相对远距离的POI显示为位于屏幕的下部,并且可将与电子装置300具有相对长距离的POI显示为位于屏幕的上部。根据实施例,处理器310可提供反映用户偏好的UI,并且可使用如UI 731中所示的心形来显示具有高的用户偏好的POI。此外,在广告POI的情况下,处理器310可在显示器330的屏幕上显示UI(未示出),该UI除了诸如POI的名称、星级、评级等信息以及对应图像之外,还提供诸如广告信息或事件信息的信息。根据实施例,可比一般POI和焦点POI更显著地显示广告POI,使得用户可更清楚地了解广告POI。根据实施例,广告POI可包括在一般POI中,或者可包括在焦点POI中。
根据各个实施例,处理器310可将相机模块350生成的预览屏幕的特定区域配置为焦点区域,并且可将焦点区域中存在的POI配置为焦点POI。当处理器310比较电子装置300和POI之间的位置、方向信息、路况、路况等时,处理器310可以将用户更容易到达的地点配置为焦点区域,并且可以将在对应焦点区域中存在的POI配置为焦点POI,从而提供了相对丰富的信息。
根据各个实施例,处理器310可基于各种标准来选择焦点POI。根据实施例,如上所述,处理器310可选择容易到达的焦点区域内的所有POI作为焦点POI。在另一实施例中,处理器310可基于其中相机模块350拍摄的方向、相机的视角、电子装置300的当前位置与POI之间的距离等来选择焦点POI。因此,可在基于相机模块350拍摄的方向和周围POI之间的视角确定的预览屏幕中包括实际位置,使得具有预定值内距离的POI可被选择为焦点POI。根据另一实施例,处理器310可选择用户先前已访问的POI或对其用户先前已搜索过信息的POI作为焦点POI。在另一实施例中,处理器310可基于用户的过去使用历史、行为等来选择焦点POI。在另一实施例中,处理器310可基于由用户预设的偏好来选择焦点POI。例如,在餐厅具有用户的最高偏好的情况下,处理器310可选择餐厅相关的POI作为焦点POI。在另一实施例中,处理器310可基于上述各个选择条件的组合来选择焦点POI。
根据各个实施例,对于在焦点POI中包括的POI,处理器310可以基于过去的使用历史、行为等来改变为每个POI提供的信息的级别。
根据各个实施例,当用户改变电子装置300的位置时,处理器310用于新(newly)改变与所有POI的距离和角度,并且相应地可以更新焦点POI的选择,并且可以添加、删除或改变POI组。此外,即使当用户改变其中相机模块350拍摄的方向时,处理器310也可能需要更新焦点POI的选择。根据实施例,当其中相机模块350拍摄的方向被改变时,处理器310可以在显示器330的屏幕上显示在先前选择的焦点POI当中的由相机模块350当前拍摄并显示的预览视频中包括的焦点POI,而不选择新的焦点POI。
根据各个实施例,处理器310可以通过根据电子装置300的位置的改变程度,从CP服务器接收新的POI信息来新选择焦点POI,并且可以在显示器330的屏幕上显示所选择的焦点POI。
根据本公开,通过处理器310的上述操作,可以在用户拍摄的视频上呈现位置信息,而不是通过固定地图图像来提供关于地点的信息,使得更容易找到位置信息,并且,除了简单的位置之外,还可以向用户提供与对应地点有关的各种信息。
根据各个实施例,电子装置(例如,图1的电子装置101或图3的电子装置300)可包括:通信模块,被配置为执行与外部装置的通信;相机模块,被配置为拍摄视频;至少一个处理器,被配置为可操作地连接到通信模块和相机模块;以及至少一个存储器,其被配置为可操作地连接到该至少一个处理器,其中该至少一个存储器指令,所述指令在被执行时用于使该至少一个处理器通过控制该相机模块来获取由该相机模块拍摄的预览视频,获取该电子装置的位置信息,基于该位置信息获取关于位于附近的至少一个兴趣点(POI)的信息,基于关于至少一个POI的信息在该至少一个POI当中选择焦点POI,确定针对一般POI要提供给用户的第一信息,该一般POI包括该至少一个POI当中的除了所选焦点POI之外的其余POI,确定针对焦点POI要提供给用户的第二信息,其中第二信息包括比第一信息多的信息,确定在屏幕上提供预览视频的位置,其中在该预览视频中将显示关于至少一个POI的信息,并显示以在屏幕上提供该至少一个POI中的全部或一些的所确定预览视频的位置处提供第一信息或第二信息。
根据各个实施例,所述指令可以使该至少一个处理器在该至少一个POI当中选择在关于该至少一个POI的信息中包括广告和/或事件信息的POI作为广告POI,确定要向用户提供的该广告POI的第三信息,其中,第三信息包括广告和/或事件信息,并显示以在屏幕上为该广告POI提供所确定的预览视频的位置处提供第三信息。
根据各个实施例,所述指令可以使该至少一个处理器基于该相机模块拍摄该预览视频的方向和该相机模块的视角,在该至少一个POI当中选择要在提供预览视频的屏幕上显示的一些POI,并显示以在屏幕上提供所选择的一些POI中的每个POI的所确定预览视频的位置处提供第一信息或第二信息。
根据各个实施例,所述指令可以使该至少一个处理器配置与焦点POI对应的条件,并选择其中关于该至少一个POI的信息满足与焦点POI对应的条件的POI作为焦点POI。
根据各个实施例,所述指令可以使该至少一个处理器将预览视频中的部分区域配置为焦点区域,并将其实际位置被包括在该焦点区域中的POI配置为与焦点POI对应的条件。
根据各个实施例,所述指令可以使该至少一个处理器基于该电子装置的位置信息和在关于该至少一个POI的信息中包括的每个POI的位置信息,将该电子装置与每个POI之间的距离确定为与焦点POI对应的条件,以及配置POI,在该POI中该电子装置和该POI之间的距离在基于该电子装置和每个POI之间所确定距离的预定值内。
根据各个实施例,所述指令可使该至少一个处理器基于用户偏好来将具有高偏好的POI配置为与焦点POI对应的条件,该用户偏好基于用户行为来配置,该具有高偏好的POI包括用户先前已访问的POI或对其用户先前已搜索关于其信息的POI。
根据各个实施例,所述指令可使该至少一个处理器将屏幕上提供预览视频的部分指定为焦点区域,并显示以提供针对该焦点区域内的焦点POI的第二信息。
根据各个实施例,所述指令可以使该至少一个处理器基于包括在关于至少一个POI的信息中的每个POI的位置信息或将要在其上显示关于至少一个POI的信息的屏幕上的位置,将彼此之间的距离在预定距离内的POI配置为POI组,从POI组内的POI当中选择代表性POI,并显示以向代表POI组的代表性POI的屏幕上的位置提供关于代表性POI的信息。
根据各个实施例,所述指令可以使该至少一个处理器将第一信息确定为所述POI的类别,将第二信息确定为包括POI相关图像、名称和距所述电子装置的当前位置的距离中的至少一个,显示与类别对应的图标以提供第一信息,并显示包括第二信息的用户界面(UI)以提供第二信息。
在下文中,将描述在电子装置300中以增强现实的形式来在相机预览视频上提供周围信息的方法。
图8是示出在显示屏幕上显示根据各个实施例的电子装置的周围信息的操作的流程图800。图8中所示的流程图800的操作对象可以理解为电子装置(例如,图1的电子装置101或图3的电子装置300)或电子装置的处理器(例如,图1的处理器120或图3的处理器310)。
根据各个实施例,在操作801中,电子装置101或300可以获取周围POI信息。为了获取周围POI信息,当用户开始使用相机模块350进行拍摄或通过执行相关应用获取关于周围位置的信息时,电子装置101或300可使用GPS模块370获取电子装置101或300的当前位置信息。当前位置可以以纬度和经度显示。电子装置101或300可基于其当前位置获取周围POI信息。在实施例中,电子装置101或300可通过应用,在存储器130或320中存储的POI当中选择距电子装置101或103的当前位置预定距离内的POI,从而获取周围POI信息。根据另一实施例,电子装置101或300可将其当前位置发送到CP服务器(例如,图1的服务器108),并且可从CP服务器接收基于当前位置而提取的周围POI信息,从而获取周围POI信息。在这种情况下,CP服务器可提供距电子装置101和300的当前位置预定距离内的POI的信息。POI信息可以包含指示每个POI的位置的纬度和经度信息、名称、包含代表性图像的图像信息、联系人信息、类别信息、其它文本信息等。
根据各个实施例,在操作803中,电子装置101或300可基于所获取的周围POI信息来选择焦点POI。此外,电子装置101或300还可选择广告POI。焦点POI可以是被确定为用户比一般POI更感兴趣的POI。广告POI可以是包含广告和/或事件信息的POI。根据一实施例,电子装置101或300可基于所获取的POI信息,选择包含广告和/或事件信息的POI作为广告POI。广告POI可被选择为区别于一般POI或焦点POI,但是可以是一般POI或焦点POI和广告POI。
根据各个实施例,电子装置101或300可基于各种标准来选择焦点POI。根据实施例,电子装置101或300可在用户可容易接近的地点附近配置焦点区域,并且可选择焦点区域中的所有POI作为焦点POI。在另一实施例中,电子装置101或300可基于其中相机模块350拍摄的方向、到POI的距离、相机的视角等来选择焦点POI。在另一实施例中,电子装置101或300可选择用户先前已访问的POI或对其用户先前已搜索过信息的POI作为焦点POI。根据另一实施例,电子装置101或300可基于用户的过去使用历史、行为等来选择焦点POI。根据另一实施例,电子装置101或300可基于用户预设的偏好来选择焦点POI。例如,在餐厅具有用户的最高偏好的情况下,电子装置101或300可选择餐厅相关POI作为焦点POI。在另一实施例中,电子装置101或300可基于上述各个选择条件的组合来选择焦点POI。
根据各个实施例,电子装置101或300可以根据上述条件来布置所获得的用于选择焦点POI的周围POI。在一个实施例中,当根据距离选择焦点POI时,可以基于周围POI的位置信息来获得电子装置101或300的当前位置与每个POI之间的距离,可以根据距离来布置周围POI,并且可以选择预定距离内的周围POI作为焦点POI。
根据各个实施例,当电子装置101或300的位置改变时,电子装置101或300可以新选择焦点POI。根据实施例,当电子装置101或300的位置改变时,可以新计算和获取到每个POI的距离和角度。因此,由于可以改变与焦点POI对应的POI,因此可以新选择与焦点POI对应的POI。
根据各个实施例,当电子装置101或300的拍摄方向被改变时,可以新选择焦点POI。当电子装置101或300的拍摄方向被改变时,可以改变通过拍摄在预览屏幕上显示的POI。因此,可以在包括在当前预览屏幕中的POI当中新选择焦点POI。当电子装置101或300的拍摄方向被改变时,特定POI可以从焦点POI改变为一般POI,或者从一般POI改变为焦点POI。
根据各个实施例,在操作805中,电子装置101或300可以配置要在显示器(例如,图1的显示装置160或图3的显示器330)的屏幕上显示的每个POI的显示位置和信息。在实施例中,每个POI的显示位置可以是与由相机模块350拍摄并显示在屏幕上的预览视频中的实际位置对应的位置。根据另一实施例,其上显示预览视频的屏幕的部分区域可以被配置为焦点区域,焦点POI可以显示在焦点区域中,并且一般POI可以显示在焦点区域外。此外,电子装置101或300可以对于靠近电子装置101或300的当前位置的POI,将显示位置配置为更靠近屏幕底部,并且可以对于远离电子装置101或300的当前位置的POI,将显示位置配置为偏向屏幕顶部。
根据各个实施例,电子装置101或300可配置针对一般POI和焦点POI提供的不同信息。根据实施例,电子装置101或300可使用对应POI的类别来配置针对一般POI提供的信息。另一方面,与一般POI相比,电子装置101或300可配置针对焦点POI提供更多信息。根据实施例,电子装置101或300可将焦点POI配置为提供相关图像、名称、距离、星级和评级中的至少一个的信息。此外,根据另一实施例,电子装置101或300可基于过去的使用历史、行为等,甚至对于焦点POI,不同地配置针对每个焦点POI提供的信息。
根据各个实施例,多个POI的显示位置可以归因于诸如周围POI信息的量、显示屏幕的尺寸、相机的视角等条件而重叠,使得难以在一个屏幕上同时显示所有重叠POI。因此,电子装置101或300可以考虑诸如相机的视角、显示器的尺寸、用户界面(UI)等条件,如上所述配置所有周围POI的显示位置,并且可以将其显示位置重叠的POI成组以生成POI组。POI组可以指通过特定标准绑定的POI簇。特别地,在其中POI之间的距离较短的情况下,由于归因于显示器的屏幕的空间限制而难以在屏幕上区分和显示多个POI,因此电子装置101或300可以将多个POI成组到单个POI组中以显示该POI组。根据实施例,电子装置101或300可以通过将具有使用POI之间的距离、角度等而获得的类似数值的POI成组到POI组来定义POI组。电子装置101或300可以基于一个代表性POI来配置POI组的显示位置,并且可以允许用户通过使用代表性POI作为接口来访问该POI组中包括的其它POI的信息。电子装置101或300可以基于在操作801中获取的POI信息来确定代表性POI,或者可以基于用户的使用习惯、偏好等来确定代表性POI。根据实施例,电子装置101或300可以将最靠近电子装置300的当前位置的POI确定为在POI组中包括的POI当中的代表性POI。根据另一实施例,电子装置101或300可以基于所获取的周围POI信息,将具有最高评级的POI确定为代表性POI。在另一实施例中,当用户偏好餐厅类别时,电子装置101或300可以将该类别中包括的POI确定为代表性POI。电子装置101或300可以配置基于预定标准而生成的每个POI组的代表性信息和用于在屏幕上显示每个POI组的显示位置,作为代表性POI的信息和显示位置。
根据各个实施例,在操作807中,电子装置101或300可以在屏幕上显示POI信息以及由相机模块350拍摄的预览视频。根据实施例,电子装置101或300可以在预览视频上一并显示在操作805中配置的每个POI或POI组的显示位置和信息。根据实施例,在一般POI的情况下,电子装置101或300可以通过在操作805中确定的显示位置处显示与POI的类别对应的图标来显示POI信息。此外,在焦点POI的情况下,电子装置101或300可以显示UI,该UI包括在操作805中确定的显示位置处配置的信息(例如,图像、名称、位置、星级和评级中的至少一个)。根据另一实施例,在一般POI组的情况下,电子装置101或300可以在操作805中针对代表性POI确定的显示位置处显示与代表性POI的类别对应的图标。此外,在焦点POI组的情况下,电子装置101或330可以在操作805中针对代表性POI确定的显示位置处显示包括被配置用于代表性POI的信息的UI。在焦点POI或焦点POI组的情况下,显示位置可以在屏幕的焦点区域内。此外,在广告POI的情况下,电子装置101或300可以显示包括在操作805中确定的显示位置处配置的信息的UI。广告POI的配置信息可以必须包括广告和/或事件信息。
根据各个实施例,电子装置101或300可以在屏幕上显示包括与代表性POI有关的信息的UI,并且可以通过与用户的附加接口来提供在相同POI组中包括的其它POI的信息。根据实施例,当电子装置101或300检测到用户的左/右滚动操作时,电子装置101或300可以在显示器330的屏幕上显示相同POI组中的其它POI的信息。
根据各个实施例,电子装置101或300可以不同地配置针对每个POI或POI组显示的UI的尺寸。根据实施例,电子装置101或300可以根据距电子装置101或300的当前位置的距离来改变图标或UI的尺寸,电子装置101或300可以显示对应的信息。电子装置101或300可以使用具有相对大尺寸的图标或UI来显示附近的POI,并且可以使用具有相对小尺寸的图标或UI来显示远处的POI。
根据各个实施例,电子装置101或300可以逐渐改变UI,以指示根据拍摄方向的改变而从一般POI改变为焦点POI的POI或从焦点POI改变到一般POI的POI被改变。在实施例中,当发生从一般POI到焦点POI的改变时,图标可以改变为包括对应POI的信息的UI,同时逐渐扩展。在另一实施例中,当发生从焦点POI到一般POI的改变时,包括对应POI的信息的UI可以最终改变为图标,同时逐渐收缩。
图9是示出在显示屏幕上显示根据各个实施例的电子装置的周围信息的操作的另一示例的流程图900。图9所示的流程图900的操作对象可以理解为电子装置(例如,图1的电子装置101或图3的电子装置300)或电子装置的处理器(例如,图1的处理器120或图3的处理器310)。
根据各个实施例,在操作901中,电子装置可以将其当前位置发送到CP服务器(例如,图1的服务器108)。当用户希望通过开始拍摄或驱动在电子装置中提供的应用来获取关于附近位置的信息时,电子装置可以使用GPS模块(例如,图3的GPS模块370)获取其当前位置,并且可以将所获取的当前位置发送到CP服务器。
根据各个实施例,在操作903中,电子装置可以从CP服务器接收周围POI信息。周围POI可以指距电子装置的当前位置的预定距离内的POI。在实施例中,可以在CP服务器中配置预定距离。在另一实施例中,可以在电子装置中配置预定距离。当向CP服务器发送当前位置时,电子装置可以一并发送预先配置的预定距离。在这种情况下,可以通过接收来自用户的输入来配置预定距离。
根据各个实施例,在操作905中,可以基于电子装置的当前位置来布置从CP服务器接收到的周围POI。电子装置可以基于从CP服务器接收到的相对于电子装置的当前位置的POI列表的位置信息来获取每个POI的距离和方向,并且可以按照距离的顺序来布置各个POI。
根据各个实施例,在操作907中,电子装置可以基于电子装置的当前位置、其中拍摄预览视频的方向以及获取的每个POI的距离和方向来配置每个POI的显示位置。在实施例中,电子装置可以配置实际位置被包括在预览视频中的POI的显示位置。电子装置可以通过比较其中拍摄预览视频的方向和POI的获取方向,在预览视频中不配置其中实际位置不包括在预览视频中的一些POI的显示位置。
根据各个实施例,在操作909中,电子装置可以确定每个POI的显示位置是否在焦点区域内。
根据实施例,焦点区域可以由电子装置任意指定,或者可以基于用户输入指定。在图4的实施例中,屏幕的中心下部可以被指定为焦点区域。电子装置可以将POI区分为焦点POI和一般POI。此外,可以区分广告POI。焦点POI可以是用户确定为比一般POI更感兴趣的POI。广告POI可以是包括广告和/或事件信息的POI。因此,电子装置可以选择包括广告和/或事件信息的POI作为广告POI。可以提供用于选择焦点POI的各种条件。焦点POI可以在屏幕的指定焦点区域内配置显示位置。
根据各个实施例,如果POI的显示位置在基于操作909中所确定的焦点区域内,则在操作911中,可以配置要显示的与对应的POI有关的信息。在一个实施例中,该对应的POI可被配置为用于显示POI相关图像、距离、名称、星级和评级中的至少一个的信息,但不限于此。如果该对应的POI包括广告和/或事件信息(即,广告POI),则该广告和/或事件信息可以被配置为需要显示的信息。在操作913中,包括在操作911中配置的要显示的信息的UI,可以在由相机拍摄的预览屏幕上显示在操作907中所确定显示位置处。
根据各个实施例,如果基于操作909中的确定,POI的显示位置在焦点区域之外,则在操作915中,可以获取POI的类别,并且在操作917中,与在操作915中获取的POI的类别相对应的图标可以显示在由相机拍摄的预览屏幕上在操作907中确定的显示位置。
当通过上述操作911至917显示电子装置的POI信息时,电子装置应当考虑相机(例如,图3的相机模块350)的拍摄方向和当前拍摄的相机的视角。在实施例中,在操作905中,每个POI的方向可以以绝对朝向指示。关于电子装置的当前位置,在正北侧上存在的POI的方向可配置为0度,在正东侧上的POI的方向可以配置为90度,在正南侧上的POI的方向可以配置为180度,并且在正西侧上的POI的方向可以被配置为270度。此外,如果相机的拍摄方向在正南侧并且相机的视角是60度,则其方向在150度到210度之间的POI可以被定位并显示在由相机拍摄的预览视频中。由于其它POI方向在预览视频之外,因此具有其它POI方向的POI可能不会被显示在屏幕上。
图10是示出根据各个实施例的考虑POI组在显示屏幕上显示电子装置的周围信息的操作的示例的流程图1000。图10中所示的流程图1000的操作对象可以理解为电子装置(例如,图1的电子装置101或图3的电子装置300)或电子装置的处理器(例如,图1的处理器120或图3的处理器310)。
在图10的流程图中,操作901至917可以以和图9的流程图描述相同的方式操作,但是在操作907之后,可以添加生成POI组的操作。
POI组可以指通过特定标准绑定的POI簇。在实施例中,在属于焦点POI的POI当中,在屏幕上具有几乎相同的显示位置的POI可以被配置为一个POI组。特别地,在其中POI之间的距离短的情况下,由于归因于屏幕空间限制而难以在屏幕上区分和显示许多POI,因此可以将许多POI分组到单个POI组中以显示该POI组。在实施例中,具有类似值的POI可以使用POI之间的距离和方向分簇到POI组中。当根据操作911至917显示POI组时,可以基于代表性POI而在屏幕上显示POI组。
根据各个实施例,在操作1001中,电子装置可确定是否可生成POI组。在一个实施例中,可通过配置POI组生成条件并确定是否存在满足生成条件的POI来确定是否可以生成POI组。例如,POI之间2m距离内的POI可以生成为POI组。在另一实施例中,同一建筑物中的POI可生成为POI组。
如果不能生成POI组,则可以立即执行操作909。如果可以生成POI组,则在操作1003中,可以通过将满足上述条件的POI组成组来生成POI组。
根据各个实施例,在操作1005中,可以选择每个POI组的代表性POI。可以基于在POI组中包括的每一条POI信息或基于用户的使用习惯和偏好来确定代表性POI。根据实施例,电子装置可以选择最接近其当前位置的POI作为代表性POI。根据另一实施例,电子装置可以将具有最高偏好的类别的POI当中具有最高评级的POI配置为代表性POI。
此外,可以基于POI组的代表性POI的信息来执行操作909到917。
根据各个实施例,在图10的操作909中,电子装置可以确定每个POI组的代表性POI的显示位置是否在焦点区域内。
根据各个实施例,如果基于操作909的确定,POI组的代表性POI的显示位置在焦点区域内,则在操作911中,可以配置要显示的与代表性POI有关的信息。在实施例中,代表性POI相关图像、距离、名称、星级和评级中的至少一个可以被配置为要显示的信息,但不限于此。在操作913中,在由相机拍摄的预览屏幕上,在操作907中所确定的代表性POI的显示位置处可以显示UI,该UI包括关于操作911中配置的代表性POI要显示的信息。
根据各个实施例,如果基于操作909中的确定,代表性POI的显示位置在焦点区域之外,则在操作915中,可以获取对应的代表性POI的类别,并且在操作917中,与在操作915中获取的POI的类别对应的图标,位于由相机拍摄的预览屏幕上在操作907中确定的代表性POI的显示位置。
根据本公开的各个实施例,通过使用上述方法或用于实现上述方法的应用,可以提供位置信息,以使得通过在由用户拍摄的屏幕上显示地点信息来更容易地找到位置信息。此外,根据该方法,通过除了简单位置之外还提供与对应位置有关的信息,当用户想要在各个地点中选择一个时,可以提供用于选择的附加信息。
根据各个实施例,电子装置(例如,图1的电子装置101或图3的电子装置300)的操作方法可以包括:获取由相机模块(例如,图3的相机模块350)拍摄的预览视频;获取电子装置的位置信息;基于位置信息获取关于位于附近的至少一个POI的信息;基于关于至少一个POI的信息在至少一个POI当中选择焦点POI;确定针对一般POI的要提供给用户的第一信息,一般POI包括至少一个POI中除所选择的焦点POI之外的其余POI;确定针对焦点POI要向所述用户提供的包括比第一信息更多信息的第二信息;确定在提供预览视频的屏幕上的位置,其中在预览视频中要显示关于至少一个POI的信息;以及显示以在提供至少一个POI的全部或一些的所确定预览视频的屏幕的位置上,提供第一信息或第二信息。
根据各个实施例,该方法还可以包括:在至少一个POI当中选择关于至少一个POI的信息中包括广告和/或事件信息的POI作为广告POI;确定针对广告POI要向所述用户提供的第三信息,其中第三信息所述广告和/或事件信息;以及显示以在屏幕上针对广告POI提供所确定预览视频的位置上提供第三信息。
根据各个实施例,显示以提供第一信息或第二信息可包括:基于相机模块拍摄预览视频的方向和相机模块的视角,在至少一个POI当中选择要在提供预览视频的屏幕上显示的一些POI;以及显示以在提供所选择的一些POI中的每个POI的所确定预览视频的屏幕的位置上提供第一信息或第二信息。
根据各个实施例,在至少一个POI当中选择焦点POI可以包括:将预览视频中的部分区域配置为焦点区域;以及将其实际位置包括在焦点区域中的POI配置为焦点POI。
根据各个实施例,在至少一个POI当中选择焦点POI可以包括:基于电子装置的位置信息和在关于至少一个POI的信息中包括的每个POI的位置信息来确定电子装置和每个POI之间的距离;以及基于电子装置和每个POI之间的所确定距离,选择其中电子装置和POI之间的距离在预定值内的POI作为焦点POI。
根据各个实施例,确定屏幕上的位置可以包括:指定屏幕上提供预览视频的部分作为焦点区域;以及使用提供其中将显示关于焦点POI的信息的预览视频的屏幕上的位置来确定所指定的焦点区域内的位置。
根据各个实施例,该方法还可以包括:基于在关于至少一个POI的信息中包括的每个POI的位置信息或将要显示关于至少一个POI的信息的屏幕上的位置,将彼此之间的距离在预定距离内的POI配置为POI组;以及在POI组内的POI当中选择代表性POI,其中,显示以提供第一信息或第二信息包括,显示以将关于代表性POI的信息提供到在提供代表POI组的代表性POI的所确定预览视频的屏幕上的位置。
根据各个实施例,第一信息可是POI的类别,并且第二信息可包括与POI有关的图像、名称和距电子装置的当前位置的距离中至少一个,以及显示以提供第一信息或第二信息可包括显示与类别对应的图标作为用于提供第一信息的显示;以及显示包括第二信息的UI作为用于提供第二信息的显示。
根据各个实施例,电子装置(例如,图1的电子装置101或图3的电子装置300)的操作方法可以包括:向CP服务器(例如,图1的服务器108)发送电子装置的位置信息;从CP服务器获取关于位于附近的至少一个POI的信息;基于电子装置的位置信息,根据距电子装置的距离来布置至少一个POI;基于电子装置的位置和电子装置的预览视频拍摄方向,配置至少一个POI中的每个POI的显示位置;当显示位置是配置的焦点区域内的焦点POI时,配置与所述焦点POI有关的要显示的信息,并在显示预览视频的屏幕上的配置的显示位置处显示包括配置的信息的UI;以及当显示位置是配置的焦点区域之外的一般POI时,获取一般POI的类别信息,并在显示预览视频的屏幕上的配置的显示位置处显示与类别信息对应的图标。
根据各个实施例,该方法还可以包括:确定是否可以生成包括在预览视频屏幕上被显示为一个显示的至少一个POI的POI组;以及当可以生成POI组时,生成POI组并选择每个POI组的代表性POI,其中,显示包括被配置的信息的UI包括在显示预览视频的屏幕上的代表性POI的配置的显示位置处显示包括代表性POI的配置信息的UI,并且显示与类别对应的图标包括在显示预览视频的屏幕上的代表性POI的配置的显示位置处显示与代表性POI的类别对应的图标。
根据各种实施例的电子装置可以是各种类型的电子装置之一。电子装置可包括例如便携式通信装置(例如,智能电话)、计算机装置、便携式多媒体装置、便携式医疗装置、相机、可穿戴装置或家用电器。根据本公开的实施例,电子装置不限于以上所述的那些电子装置。
应该理解的是,本公开的各种实施例以及其中使用的术语并不意图将在此阐述的技术特征限制于具体实施例,而是包括针对相应实施例的各种改变、等同形式或替换形式。对于附图的描述,相似的参考标号可用来指代相似或相关的元件。将理解的是,与术语相应的单数形式的名词可包括一个或更多个事物,除非相关上下文另有明确指示。如这里所使用的,诸如“A或B”、“A和B中的至少一个”、“A或B中的至少一个”、“A、B或C”、“A、B和C中的至少一个”以及“A、B或C中的至少一个”的短语中的每一个短语可包括在与所述多个短语中的相应一个短语中一起列举出的项的任意一项或所有可能组合。如这里所使用的,诸如“第1”和“第2”或者“第一”和“第二”的术语可用于将相应部件与另一部件进行简单区分,并且不在其它方面(例如,重要性或顺序)限制所述部件。将理解的是,在使用了术语“可操作地”或“通信地”的情况下或者在不使用术语“可操作地”或“通信地”的情况下,如果一元件(例如,第一元件)被称为“与另一元件(例如,第二元件)结合”、“结合到另一元件(例如,第二元件)”、“与另一元件(例如,第二元件)连接”或“连接到另一元件(例如,第二元件)”,则意味着所述一元件可与所述另一元件直接(例如,有线地)连接、与所述另一元件无线连接、或经由第三元件与所述另一元件连接。
如这里所使用的,术语“模块”可包括以硬件、软件或固件实现的单元,并可与其他术语(例如,“逻辑”、“逻辑块”、“部分”或“电路”)可互换地使用。模块可以是被适配为执行一个或更多个功能的单个集成部件或者是该单个集成部件的最小单元或部分。例如,根据实施例,可以以专用集成电路(ASIC)的形式来实现模块。
可将在此阐述的各种实施例实现为包括存储在存储介质(例如,内部存储器136或外部存储器138)中的可由机器(例如,电子装置101)读取的一个或更多个指令的软件(例如,程序140)。例如,在处理器的控制下,所述机器(例如,电子装置101)的处理器(例如,处理器120)可在使用或无需使用一个或更多个其它部件的情况下调用存储在存储介质中的所述一个或更多个指令中的至少一个指令并运行所述至少一个指令。这使得所述机器能够操作用于根据所调用的至少一个指令执行至少一个功能。所述一个或更多个指令可包括由编译器产生的代码或能够由解释器运行的代码。可以以非暂时性存储介质的形式来提供机器可读存储介质。其中,术语“非暂时性”仅意味着所述存储介质是有形装置,并且不包括信号(例如,电磁波),但是该术语并不在数据被半永久性地存储在存储介质中与数据被临时存储在存储介质中之间进行区分。
根据实施例,可在计算机程序产品中包括和提供根据本公开的各种实施例的方法。计算机程序产品可作为产品在销售者和购买者之间进行交易。可以以机器可读存储介质(例如,紧凑盘只读存储器(CD-ROM))的形式来发布计算机程序产品,或者可经由应用商店(例如,Play StoreTM)在线发布(例如,下载或上传)计算机程序产品,或者可直接在两个用户装置(例如,智能电话)之间分发(例如,下载或上传)计算机程序产品。如果是在线发布的,则计算机程序产品中的至少部分可以是临时产生的,或者可将计算机程序产品中的至少部分至少临时存储在机器可读存储介质(诸如制造商的服务器、应用商店的服务器或转发服务器的存储器)中。
根据各种实施例,上述部件中的每个部件(例如,模块或程序)可包括单个实体或多个实体。根据各种实施例,可省略上述部件中的一个或更多个部件,或者可添加一个或更多个其它部件。可选择地或者另外地,可将多个部件(例如,模块或程序)集成为单个部件。在这种情况下,根据各种实施例,该集成部件可仍旧按照与所述多个部件中的相应一个部件在集成之前执行一个或更多个功能相同或相似的方式,执行所述多个部件中的每一个部件的所述一个或更多个功能。根据各种实施例,由模块、程序或另一部件所执行的操作可顺序地、并行地、重复地或以启发式方式来执行,或者所述操作中的一个或更多个操作可按照不同的顺序来运行或被省略,或者可添加一个或更多个其它操作。
尽管已利用各个实施例描述了本公开,但是可以向本领域技术人员建议各种改变和修改。本公开旨在涵盖落入所附权利要求书范围内的这样的改变和修改。

Claims (15)

1.一种电子装置,包括:
通信模块,被配置为执行与外部装置的通信;
相机模块,被配置为拍摄静止图像和视频;
至少一个处理器,被配置为可操作地连接到所述通信模块和所述相机模块;和
至少一个存储器,被配置为可操作地连接到所述至少一个处理器,
其中,所述至少一个存储器存储指令,所述指令在被执行时,用于使所述至少一个处理器:
通过控制所述相机模块获取由所述相机模块拍摄的预览视频,
获取所述电子装置的位置信息,
基于所述位置信息获取关于位于附近的至少一个兴趣点(POI)的信息,
基于关于所述至少一个POI的信息,在所述至少一个POI当中选择焦点POI,
确定针对所述至少一个POI当中的一般POI要向用户提供的第一信息,所述一般POI包括除所选择的焦点POI之外的其余POI,
确定针对所述焦点POI要向用户提供的第二信息,其中,所述第二信息包含比所述第一信息多的信息,
确定屏幕上要显示在其中提供关于所述至少一个POI的信息的预览视频的位置,以及
在屏幕上所确定的提供所述至少一个POI的全部或一些的所确定预览视频的位置上,显示所述第一信息或所述第二信息。
2.如权利要求1所述的电子装置,其中,所述指令还使所述至少一个处理器:
在所述至少一个POI当中选择在关于所述至少一个POI的信息中包含广告和/或事件信息的POI作为广告POI;
确定针对所述广告POI要向用户提供的第三信息,其中,所述第三信息包含所述广告和/或事件信息;以及
针对所述广告POI在提供所确定预览视频的所述屏幕上的位置上显示所述第三信息。
3.如权利要求1所述的电子装置,其中,所述指令还使所述至少一个处理器:
基于其中所述相机模块拍摄所述预览视频的方向和所述相机模块的视角,在所述至少一个POI当中选择要在提供所述预览视频的屏幕上显示的一些POI;以及
在提供所选择的一些POI中的每个POI的所确定预览视频的屏幕的位置上显示所述第一信息或所述第二信息。
4.如权利要求1所述的电子装置,其中,所述指令还使所述至少一个处理器:
配置与所述焦点POI对应的条件;以及
选择其中关于所述至少一个POI的信息满足与所述焦点POI对应的条件的POI作为所述焦点POI。
5.如权利要求4所述的电子装置,其中,所述指令还使所述至少一个处理器:
将所述预览视频中的部分区域配置为焦点区域;以及
将其实际位置包括在所述焦点区域中的POI配置为与所述焦点POI对应的所述条件。
6.如权利要求4所述的电子装置,其中,所述指令还使所述至少一个处理器:
基于所述电子装置的所述位置信息和在关于所述至少一个POI的信息中包括的每个POI的位置信息,将所述电子装置和每个POI之间的距离确定为与所述焦点POI对应的所述条件;以及
配置其中所述电子装置和POI之间的距离在基于所述电子装置和每个POI之间所确定距离的预定值内的POI。
7.如权利要求4所述的电子装置,其中,所述指令还使所述至少一个处理器:基于根据用户行为配置的用户偏好来将具有高偏好的POI配置为与所述焦点POI对应的所述条件,所述具有高偏好的POI包括用户先前已访问的POI或对其用户先前已搜索过信息的POI。
8.如权利要求1所述的电子装置,其中,所述指令还使所述至少一个处理器:
将提供所述预览视频的所述屏幕上的部分指定为焦点区域;以及
显示以在所述焦点区域内提供针对所述焦点POI的所述第二信息。
9.如权利要求1所述的电子装置,其中,所述指令还使所述至少一个处理器:
基于在关于所述至少一个POI的信息中包括的每个POI的位置信息或在将显示关于所述至少一个POI的信息的屏幕上的位置,将其在彼此之间的距离在预定距离内的POI配置为POI组;
在所述POI组内的POI当中选择代表性POI;以及
将关于所述代表性POI的信息显示到屏幕上代表所述POI组的所述代表性POI的位置。
10.如权利要求1所述的电子装置,其中,所述指令还使所述至少一个处理器:
确定所述第一信息为所述POI的类别;
确定所述第二信息包括POI相关的图像、名称或距所述电子装置的当前位置的距离中的至少一个;
显示与所述类别对应的图标以提供所述第一信息;以及
显示包括所述第二信息的用户界面(UI)以提供所述第二信息。
11.一种电子装置的操作方法,包括:
获取由相机模块拍摄的预览视频;
获取所述电子装置的位置信息;
基于所述位置信息获取关于位于附近的至少一个POI的信息;
基于关于至少一个POI的信息,在所述至少一个POI当中选择焦点POI;
确定针对所述至少一个POI当中的一般POI要向用户提供的第一信息,所述一般POI包括除所选择的焦点POI之外的其余POI;
确定针对所述焦点POI要向所述用户提供的包括比所述第一信息多的信息的第二信息;
确定要显示预览视频的屏幕上的位置,其中在所述预览视频中提供关于所述至少一个POI的信息;以及
在提供所述至少一个POI的全部或一些的所确定预览视频的屏幕的所确定位置上,显示所述第一信息或所述第二信息。
12.如权利要求11所述的操作方法,还包括:
在所述至少一个POI当中选择在关于所述至少一个POI的信息中包含广告和/或事件信息的POI作为广告POI;
针对所述广告POI确定要向所述用户提供的第三信息,其中,所述第三信息包括所述广告和/或事件信息;以及
在针对所述广告POI提供所确定预览视频的所述屏幕上的位置上显示所述第三信息。
13.如权利要求11所述的操作方法,其中,显示以提供所述第一信息或所述第二信息包括:
基于所述相机模块拍摄所述预览视频的方向和所述相机模块的视角,在所述至少一个POI当中选择要在提供所述预览视频的屏幕上显示的一些POI;以及
在提供所选择的一些POI中的每个POI的所确定预览视频的屏幕的位置上显示所述第一信息或所述第二信息。
14.一种包括屏幕的电子装置的操作方法,包括:
向内容提供商(CP)服务器发送所述电子装置的位置信息;
从CP服务器获取关于位于附近的至少一个POI的信息;
基于所述电子装置的所述位置信息,根据距所述电子装置的距离来布置所述至少一个POI;
基于所述电子装置的位置和所述电子装置的预览视频拍摄方向,配置所述至少一个POI中的每个POI的显示位置;
当所述显示位置是配置的焦点区域内的焦点POI时,配置与所述焦点POI有关的要显示的信息,并在显示所述预览视频的屏幕上的配置的显示位置处显示包括配置的信息的UI;以及
当所述显示位置是配置的焦点区域之外的一般POI时,获取所述一般POI的类别信息,并在显示所述预览视频的屏幕上的配置的显示位置处显示与所述类别信息对应的图标。
15.如权利要求14所述的操作方法,还包括:
确定是否可以生成包括在所述预览视频上被显示为一个显示的至少一个POI的POI组;以及
当确定可以生成所述POI组时,生成所述POI组;以及
选择每个POI组的代表性POI。
CN202080028264.1A 2019-02-19 2020-02-17 用于使用增强现实来显示周围信息的方法和装置 Pending CN113692604A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2019-0019172 2019-02-19
KR1020190019172A KR102627612B1 (ko) 2019-02-19 2019-02-19 증강현실을 이용한 주변 정보 표시 방법 및 그 전자 장치
PCT/KR2020/002246 WO2020171513A1 (en) 2019-02-19 2020-02-17 Method and apparatus for displaying surrounding information using augmented reality

Publications (1)

Publication Number Publication Date
CN113692604A true CN113692604A (zh) 2021-11-23

Family

ID=72043195

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080028264.1A Pending CN113692604A (zh) 2019-02-19 2020-02-17 用于使用增强现实来显示周围信息的方法和装置

Country Status (5)

Country Link
US (2) US11592311B2 (zh)
EP (1) EP3912140A4 (zh)
KR (1) KR102627612B1 (zh)
CN (1) CN113692604A (zh)
WO (1) WO2020171513A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024067073A1 (zh) * 2022-09-28 2024-04-04 华为技术有限公司 一种图片拍摄与分享方法及电子设备

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102418992B1 (ko) * 2017-11-23 2022-07-11 삼성전자주식회사 전자 장치 및 전자 장치의 증강 현실 서비스 제공 방법
KR102627612B1 (ko) * 2019-02-19 2024-01-22 삼성전자주식회사 증강현실을 이용한 주변 정보 표시 방법 및 그 전자 장치
US11263787B2 (en) * 2020-03-05 2022-03-01 Rivian Ip Holdings, Llc Augmented reality detection for locating autonomous vehicles
US20220101565A1 (en) * 2020-09-30 2022-03-31 Snap Inc. Augmented reality content generators for identifying destination geolocations and planning travel
KR20220110967A (ko) * 2021-02-01 2022-08-09 현대자동차주식회사 사용자 단말 및 그 제어 방법
KR20220132863A (ko) 2021-03-24 2022-10-04 현대자동차주식회사 모바일 장치 및 차량
KR102433948B1 (ko) * 2021-07-20 2022-08-19 주식회사 제이어스 증강현실 기반의 마케팅 시스템
US11789685B1 (en) * 2022-08-29 2023-10-17 International Business Machines Corporation Training and using a machine learning module to determine locales and augmented reality representations of information on locales to render in an augmented reality display

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101205485B1 (ko) * 2005-01-13 2012-11-28 엘지전자 주식회사 Poi 서비스 장치 및 방법
WO2011013910A2 (ko) 2009-07-30 2011-02-03 에스케이텔레콤 주식회사 증강 현실을 제공하는 방법과 그를 위한 서버 및 휴대용 단말기
DE102009037835B4 (de) * 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
KR101648339B1 (ko) * 2009-09-24 2016-08-17 삼성전자주식회사 휴대용 단말기에서 영상인식 및 센서를 이용한 서비스 제공 방법 및 장치
US20110279446A1 (en) * 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for rendering a perspective view of objects and content related thereto for location-based services on mobile device
KR101658087B1 (ko) 2010-07-02 2016-09-21 엘지전자 주식회사 이동단말기 및 그의 증강현실을 이용한 정보 표시 방법
JP5405412B2 (ja) 2010-08-11 2014-02-05 株式会社Nttドコモ オブジェクト表示装置及びオブジェクト表示方法
KR101659089B1 (ko) 2010-08-11 2016-09-22 주식회사 엘지유플러스 위치 정보를 이용한 증강 현실 장치
KR101329882B1 (ko) 2010-08-12 2013-11-15 주식회사 팬택 Ar 정보창 표시를 위한 사용자 장치 및 그 방법
US9710554B2 (en) 2010-09-23 2017-07-18 Nokia Technologies Oy Methods, apparatuses and computer program products for grouping content in augmented reality
KR101324336B1 (ko) 2010-12-28 2013-10-31 주식회사 팬택 증강 현실 제공 단말기
US20130328926A1 (en) 2012-06-08 2013-12-12 Samsung Electronics Co., Ltd Augmented reality arrangement of nearby location information
US9870642B2 (en) 2012-08-10 2018-01-16 Here Global B.V. Method and apparatus for layout for augmented reality view
CN104102678B (zh) * 2013-04-15 2018-06-05 腾讯科技(深圳)有限公司 增强现实的实现方法以及实现装置
KR101810189B1 (ko) * 2017-01-11 2018-01-18 네이버 주식회사 사용자 리뷰 제공 방법, 장치 및 컴퓨터 프로그램
KR101921743B1 (ko) 2017-05-23 2019-02-13 부동산일일사 주식회사 부동산 증강 현실 서비스 제공 장치 및 제공 방법
TWI677841B (zh) * 2018-05-11 2019-11-21 開曼群島商粉迷科技股份有限公司 在贊助下的興趣點媒體內容管理方法與系統
KR102627612B1 (ko) * 2019-02-19 2024-01-22 삼성전자주식회사 증강현실을 이용한 주변 정보 표시 방법 및 그 전자 장치
IT201900005806A1 (it) * 2019-04-15 2020-10-15 Pikkart Srl Metodo per realizzare realta' aumentata

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024067073A1 (zh) * 2022-09-28 2024-04-04 华为技术有限公司 一种图片拍摄与分享方法及电子设备

Also Published As

Publication number Publication date
WO2020171513A1 (en) 2020-08-27
US20230160716A1 (en) 2023-05-25
KR20200101034A (ko) 2020-08-27
EP3912140A4 (en) 2022-03-23
KR102627612B1 (ko) 2024-01-22
US20200264007A1 (en) 2020-08-20
EP3912140A1 (en) 2021-11-24
US11592311B2 (en) 2023-02-28

Similar Documents

Publication Publication Date Title
US11592311B2 (en) Method and apparatus for displaying surrounding information using augmented reality
CN110581948B (zh) 提供质量定制图像的电子装置及其控制方法、服务器
CN108415705B (zh) 网页生成方法、装置、存储介质及设备
CN111052727A (zh) 用于根据使用图像获得的深度信息的属性结合图像存储深度信息的电子装置及其控制方法
CN114422701A (zh) 用于控制相机的方法及其电子设备
US11625066B2 (en) Foldable electronic device and photographing method using multiple cameras in foldable electronic device
US20220076469A1 (en) Information display device and information display program
KR20190019606A (ko) 심도 맵을 이용하여 객체를 합성하기 위한 장치 및 그에 관한 방법
CN112400346A (zh) 采集其它设备的位置信息的服务器设备和方法
KR102501713B1 (ko) 영상 표시 방법 및 그 전자장치
CN113647092A (zh) 向应用提供与图像相关联的内容的电子装置和方法
US11238622B2 (en) Method of providing augmented reality contents and electronic device therefor
KR20200113522A (ko) 제스처 입력에 따라 기능을 실행하는 전자 장치 및 이의 동작 방법
US11467673B2 (en) Method for controlling camera and electronic device therefor
CN113269877A (zh) 获取房间布局平面图的方法和电子设备
US20220094845A1 (en) Electronic device and method for recommending image capturing place
CN111522483A (zh) 多媒体数据分享方法、装置、电子设备及存储介质
KR20200093760A (ko) 복수의 렌즈를 구비하는 전자 장치 및 그 제어 방법
US11341595B2 (en) Electronic device for providing image related to inputted information, and operating method therefor
US11153018B2 (en) Electronic device and method for controlling electronic device
US20240171854A1 (en) Electronic device, method, and computer-readable storage media for identifying visual object corresponding to code information using a plurality of cameras
KR20210098239A (ko) 콘텐츠를 형성하기 위한 전자 장치 및 그의 동작 방법
KR20230073869A (ko) 인터랙션을 지원하는 사용자 인터페이스를 제공하는 방법 및 이를 수행하는 전자 장치
JP2021060738A (ja) プログラム、画像処理システム、通信端末
KR20210108263A (ko) 사진에서 피사체와 배경을 분리하는 전자 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination