CN110476189A - 用于在电子装置中提供增强现实功能的方法和设备 - Google Patents

用于在电子装置中提供增强现实功能的方法和设备 Download PDF

Info

Publication number
CN110476189A
CN110476189A CN201880022450.7A CN201880022450A CN110476189A CN 110476189 A CN110476189 A CN 110476189A CN 201880022450 A CN201880022450 A CN 201880022450A CN 110476189 A CN110476189 A CN 110476189A
Authority
CN
China
Prior art keywords
content
card
electronic device
various embodiments
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880022450.7A
Other languages
English (en)
Other versions
CN110476189B (zh
Inventor
崔娜理
崔珍昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110476189A publication Critical patent/CN110476189A/zh
Application granted granted Critical
Publication of CN110476189B publication Critical patent/CN110476189B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G01C21/3682—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities output of POI information on a road map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3667—Display of a road map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种用于在电子装置中提供增强现实(AR)功能的方法和设备，其中，该增强现实(AR)功能将覆盖在真实图像或背景(例如，现实世界)上的虚拟信息对象显示为一个图像。所述电子装置包括：相机、用于显示AR屏幕的显示器、以及功能性地连接到相机模块和显示器的至少一个处理器。所述至少一个处理器被配置为：实现AR功能，根据用户的观看方向上的设置标准来确定多个内容，将所述多个内容分组到至少一组，基于分组结果来产生与所述多个内容相应的组卡以及与单个内容相应的单卡，并且在AR屏幕上显示映射到真实对象的组卡和单卡。

Description

用于在电子装置中提供增强现实功能的方法和设备
技术领域
本公开涉及一种用于在电子装置中提供增强现实(AR)功能的方法和设备，其中，所述增强现实(AR)功能将覆盖在真实图像或背景(例如，现实世界)上的虚拟信息对象显示为一个图像。
背景技术
最近，随着数字技术的发展，各种类型的电子装置(诸如，移动通信终端、智能电话、平板个人计算机(PC)、笔记本电脑、个人数字助理(PDA)、可穿戴装置、数码相机和PC)已被广泛使用。
近年来，不仅对电子装置中的呼叫功能和多媒体播放功能(例如，音乐播放和视频播放)的研究和开发以及使用一直在增加，对电子装置中的增强现实(AR)功能的研究和开发以及使用也一直在增加。AR是一种用于显示与相关虚拟信息(例如，文本、图像等)组合的真实对象(例如，真实环境)的技术。与仅处理虚拟空间和虚拟对象的虚拟现实(VR)不同，AR在真实环境中的对象上提供相关虚拟对象，从而向用户提供难以单独从真实环境得到的附加信息。
以上信息仅作为背景信息被提供以用于帮助理解本公开。至于以上信息中的任何信息是否可作为针对本公开的现有技术适用，并未作出确定，并且也未作出任何声明。
发明内容
技术问题
然而，随着增强现实(AR)中提供的真实对象的数量和提供与真实对象有关的信息的信息卡(或窗口)的数量的增加，由相关技术的电子装置提供的AR功能在有限的屏幕上有效地呈现真实对象和信息卡方面受到限制。例如，真实对象上的大量信息卡可能使得难以识别真实对象。此外，由于大量信息卡相互重叠并且不规则地显示在具有有限大小的屏幕上，因此用户可能难以获得相关信息。因此，越来越多的用户需要启用AR功能的直观使用。
本公开的各方面旨在至少解决上述问题和/或缺点，并至少提供下述优点。因此，本公开的一方面在于提供一种用于在电子装置中提供AR功能的方法和设备，其中，所述AR功能将覆盖在真实图像或背景(例如，现实世界)上的虚拟信息对象显示为一个图像。
本公开的另一方面在于提供一种用于在AR中直观且简单地为用户布置和提供信息卡的方法和设备。
本公开的另一方面在于提供一种用于在AR中对用户的观看方向(或观看角度)上的同一行(例如，z轴)上的内容进行分组并使用分组的内容之中的位于最短距离处的内容的信息卡来配置AR屏幕的方法和设备。
本公开的另一方面在于提供一种用于在AR中导航到分组的内容(例如，同一行上的多条内容)或者用于在AR中根据最上面的信息卡上的用户交互来提供详细信息的方法和设备。
根据本公开的一方面，提供了一种电子装置。所述电子装置包括：相机、用于显示AR屏幕的显示器、以及功能性地连接到相机和显示器的至少一个处理器，其中，所述至少一个处理器被配置为：实现AR功能，根据用户的观看方向上的设置标准来确定多个内容，将所述多个内容分组到至少一组，基于分组结果产生与所述多个内容相应的组卡和与单个内容相应的单卡，并且在AR屏幕上显示映射到真实对象的组卡和单卡。
根据本公开的另一方面，提供了一种电子装置的操作方法。所述操作方法包括：实现AR功能，根据用户的观看方向上的设置标准来确定多个内容，将所述多个内容分组到至少一组，基于分组结果产生与所述多个内容相应的组卡和与单个内容相应的单卡，并且在AR屏幕上显示映射到真实对象的组卡和单卡。
根据本公开的另一方面，提供了一种计算机可读记录介质，其中，所述计算机可读记录介质记录用于处理器实现所述方法的程序。
根据各种实施例的电子装置以及电子装置的操作方法可改善电子装置的AR功能。根据各种实施例，根据方向对映射到AR中的同一方向(或角度)的多个内容进行分组，从而提供信息卡。根据各种实施例，映射到真实对象的信息卡根据设置标准被分组并被有效地布置在电子装置的有限屏幕上，从而提高了用户的可读性或可见性。根据各种实施例，根据各种实施例的电子装置可改善电子装置的可用性、便利性、直观性或利用率。
从下面结合附图公开本公开的各种实施例的详细描述，本公开的其他方面、优点和显著特征对于本领域中的技术人员将变得清楚。
附图说明
从下面结合附图进行的描述，本公开的特定实施例的以上和其他方面、特征和优点将更加清楚，其中：
图1示出包括根据本公开的各种实施例的电子装置的网络环境；
图2是根据本公开的各种实施例的电子装置的框图；
图3是根据本公开的各种实施例的程序模块的框图；
图4示出根据本公开的各种实施例的电子装置中的功能处理模块的示例；
图5示出根据本公开的各种实施例的由电子装置提供的用户界面(UI)的示例；
图6示出根据本公开的各种实施例的信息卡的示例；
图7是示出根据本公开的各种实施例的电子装置的操作方法的流程图；
图8是示出根据本公开的各种实施例的电子装置的操作方法的流程图；
图9是示出根据本公开的各种实施例的电子装置的操作方法的流程图；
图10是示出根据本公开的各种实施例的电子装置的操作方法的流程图；
图11示出根据本公开的各种实施例的由电子装置提供的UI的示例；
图12是示出根据本公开的各种实施例的电子装置的操作方法的流程图；
图13是示出根据本公开的各种实施例的电子装置的操作方法的流程图；
图14示出根据本公开的各种实施例的由电子装置提供的UI的示例；
图15示出根据本公开的各种示例性实施例的由电子装置提供的UI的示例；
图16是示出根据本公开的各种实施例的电子装置的操作方法的流程图。
在整个附图中，应注意：相同的参考标号用于表示相同或相似的元件、特征和结构。
具体实施方式
提供参照附图的以下描述以帮助全面理解由权利要求和它们的等同物限定的本公开的各种实施例。所述描述包括各种具体的细节以帮助理解，但这些细节将被视为仅是示例性的。因此，本领域中的普通技术人员将认识到：在不脱离本公开的范围和精神的情况下，可进行对这里描述的各种实施例的各种改变和修改。此外，为了清楚和简洁，公知的功能和结构的描述可被省略。
在下面的描述和权利要求中使用的术语和词语不限于书面意思，而是仅由发明者使用以使本公开能够被清楚和一致地理解。因此，对于本领域中的技术人员应清楚的是：提供本公开的各种实施例的以下描述仅是为了说明目的，而不是为了限制由权利要求和它们的等同物限定的本公开的目的。
应理解：除非上下文清楚地另有表示，否则单数形式包括复数指示物。因此，例如，对“组件表面”的引用包括对一个或更多个这样的表面的引用。
在下文中，参照附图在下面提及本文档的各种实施例。实施例和在此使用的术语不旨在将本文档中提到的技术限制为特定实施例形式，并且应该被解释为包括相应实施例的各种改变、实施例的等同物和/或实施例的替代物。在附图中，相同的参考标记可表示相同的组成元件。除非在上下文中清楚地另有表示，否则单数形式的表达可包括复数形式的表达。在本文档中，表达“A或B”，“A和/或B中的至少一个”等可包括一起列举的词的所有可用组合。表达“第1”、“第2”、“第一”、“第二”等可修饰相应的组成元件而不管顺序和/或重要性如何，并且仅用于将一个组成元件与另一组成元件区分开并且不限制相应的组成元件。当提到任意(例如，第一)组成元件“(可操作地或通信地)与另一(例如，第二)组成元件耦接”/“耦接到另一(例如，第二)组成元件”或“连接到”另一(例如，第二)组成元件时，所述任意组成元件可被直接耦接到另一组成元件，或者通过另外的组成元件(例如，第三组成元件)被耦接。
在本文档中使用的表达“被配置(或设置)为～”可根据情况以硬件或软件方式与例如“适合于～”、“具有～的能力”、“被设计用于～”、“适于～”、“被用于～”或“能够～”可交换地使用。在任何情况下，表达“被配置为～的装置”可表示该装置与其他装置或组件一起“能够～”。例如，惯用语“被配置为(或设置为)执行A、B和C的处理器”可表示用于执行相应操作的专用处理器(例如，嵌入式处理器)、或能够通过执行存储在存储器装置中的一个或更多个软件程序来执行相应操作的通用处理器(例如，中央处理器(CPU)或者应用处理器(AP))。
根据本文档的各种实施例的电子装置可例如包括以下项中的至少一项：智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、便携式数字助理(PDA)、便携式多媒体播放器(PMP)、运动图像专家组阶段1或阶段2(MPEG-1或MPEG-2)音频层-3(MP3)播放器、医疗装置、相机或可穿戴装置。可穿戴装置可包括以下项中的至少一项：附件类型(例如，手表、戒指、手镯、脚链、项链、眼镜、隐形眼镜或头戴式装置(HMD))、织物或衣物集成类型(例如，电子服装)、人体安装类型(例如，皮肤垫或纹身)或生物植入类型(例如，可植入电路)。根据特定实施例，电子装置可例如包括以下项中的至少一项：电视机(TV)、数字通用盘(DVD)播放器、音频系统、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全控制面板、媒体盒子(例如，Samsung HomeSyncTM、Apple TVTM或Google TVTM)、游戏机(例如，XboxTM或PlayStationTM)、电子词典、电子锁定系统、摄录机或电子相框。
在另一实施例中，电子装置可包括以下项中的至少一项：各种医疗装置(例如，各种便携式医疗测量装置(例如，血糖传感器、心率传感器、血压监护仪、体温计等)、磁共振血管造影(MRA)、磁共振成像(MRI)、计算机断层扫描(CT)、成像设备、超声仪器等)、导航装置、全球导航卫星系统(GNSS)、事件数据记录器(EDR)、飞行数据记录器(FDR)、汽车信息娱乐装置、用于船舶的电子设备(例如，船用导航装置、陀螺罗盘等)、航空电子装置、安全装置、汽车头部单元、工业或家庭机器人、无人机、金融机构的自动柜员机(ATM)、商店的销售点(POS)、物联网(IoT)装置(例如，电灯泡、各种传感器、喷洒装置、火灾报警器、恒温器、路灯、烤箱、健身器、热水箱、加热器、热水器等)。
根据特定实施例，电子装置可包括以下项中的至少一项：家具、建筑物/结构或汽车的一部分、电子板、电子签名接收装置、投影仪或各种计量装置(例如，自来水、电、燃气、无线电波计量装置等)。在各种实施例中，电子装置可以是柔性的、或者是上述各种装置中的两个或更多个的组合。根据本文档的实施例的电子装置不受限于上述装置。在本文档中，术语“用户”可表示使用电子装置的人或可指使用电子装置的装置(例如，人工智能电子装置)。
图1示出包括根据本公开的各种实施例的电子装置的网络环境。
图1示出根据本公开的各种实施例的在网络环境100中的电子装置101。电子装置101可包括总线110、处理器120(包括处理电路的处理器)、存储器130、输入/输出接口150、显示器160和通信接口170。在一些实施例中，可省略组件中的至少一个组件，或者电子装置101还可包括另外的组件。
总线110可包括将组件110至170相互连接并且在组件之间递送通信(例如，控制消息或数据)的电路。
处理器120可包括中央处理器(CPU)、应用处理器(AP)和通信处理器(CP)中的一个或更多个。处理器120可控制例如电子装置101的至少一个不同组件，并且/或者可执行与控制和/或通信或数据处理相关联的操作。将参照以下附图详细描述根据各种实施例的处理器120的处理(或控制)操作。
存储器130可包括易失性存储器和/或非易失性存储器。存储器130可存储例如与电子装置101的至少一个不同组件相关联的命令或数据。根据一个实施例，存储器130可存储软件和/或程序140。程序140可包括：例如，内核141、中间件143、应用编程接口(API)145和/或应用(或“app”)147。内核141、中间件143和API 145中的至少一部分可被称为操作系统(OS)。
存储器130可存储由处理器120执行的一个或更多个程序，并且可起临时存储输入/输出数据的作用。输入/输出数据可包括：例如，视频、图像(例如，照片)、振动模式、或音频文件。根据各种实施例，存储器130可用于存储获得的数据，其中，实时获得的数据可被存储在临时存储装置(例如，缓存)中，确定要被存储的数据可被存储在长期存储装置中。存储器130可包括记录用于处理器120实现根据各种实施例的方法的程序的计算机可读记录介质。
内核141可控制或管理用于执行在其他程序(例如，中间件143、API 145或应用147)中实现的操作或功能的系统资源(例如，总线110、处理器120、存储器130等)。此外，内核141可提供允许中间件143、API 145或应用147访问电子装置101的独立组件从而控制或管理系统资源的接口。
中间件143可作为转发器，使得例如API 145或应用147与内核141通信以交换数据。此外，中间件143可根据从应用147接收的一个或更多个操作请求的优先级来处理所述一个或更多个操作请求。例如，中间件143可将用于使用电子装置101的系统资源(例如，总线110、处理器120、存储器130等)的优先级分配给至少一个应用147，并且可处理所述一个或更多个操作请求。
API 145是应用147用于控制从内核141或中间件143提供的功能的接口，并且可包括例如用于文件控制、窗口控制、图像处理或字符控制的至少一个接口或函数(例如，指令)。
输入/输出接口150可将例如从用户或外部装置输入的命令或数据递送到电子装置101的不同组件，或者可将从电子装置101的不同组件接收的命令或数据输出给用户或外部装置。例如，输入/输出接口150可包括有线/无线头戴式耳机端口、外部充电器端口、有线/无线数据端口、存储卡端口、音频输入/输出端口、视频输入/输出端口、或耳机端口。
显示器160可包括例如液晶显示器(LCD)、发光二极管(LED)显示器、有机LED(OLED)显示器、有源矩阵OLED(AMOLED)显示器、塑料OLED(POLED)、微机电系统(MEMS)显示器、或电子纸显示器。显示器160可向用户显示例如各种类型的内容(例如，文本、图像、视频、图标和/或符号等)。显示器160可包括触摸屏，并且可接收使用例如电子笔或用户的身体部位输入的触摸、手势、接近、或悬停。
显示器160可向用户显示例如可视化输出。可视化输出可以以文本、图形、视频或它们的组合的形式存在。显示器160可显示(输出)在电子装置101中处理的各种信息。例如，显示器160可显示与电子装置101的使用相关联的用户界面(UI)或图形用户界面(GUI)。根据各种实施例，显示器160可显示与由电子装置101执行的操作(例如，内容显示操作、增强现实(AR)屏幕显示操作、或信息卡输出操作)相关联的各种UI(或GUI)。
在各种实施例中，显示器160可包括平面显示器或曲面显示器(或可弯曲显示器)，其中，所述曲面显示器(或可弯曲显示器)由于像纸一样的薄而柔软的基板而可在没有损坏的情况下被弯曲、折弯或卷曲。曲面显示器可被紧固到壳体(或边框或主体)上并且可保持弯曲形状。在各种实施例中，电子装置101可被配置为可自由弯曲和伸直的显示装置，诸如包括曲面显示器的柔性显示器。
在各种实施例中，显示器160可因为将液晶封装在LCD显示器、LED显示器、OLED显示器或AMOLED显示器中的玻璃基板被塑料膜替换而具有弯曲和伸直的柔性。在各种实施例中，显示器160可延伸到电子装置101的至少一侧(例如，左侧、右侧、上侧和下侧中的至少一侧)，使得曲面显示器可被紧固在壳体的一侧，以可操作的曲率半径(例如，5厘米、1厘米、7.5毫米、5毫米或4毫米)弯曲。
通信接口170可在例如电子装置101和外部装置(例如，第一外部电子装置102、第二外部电子装置104、或服务器106)之间建立通信。例如，通信接口170可经由无线通信或有线通信连接到网络162，以便与外部装置通信。
无线通信可包括使用例如以下项中的至少一项的蜂窝通信：长期演进(LTE)、LTE高级(LTE-A)、码分多址(CDMA)、宽带CDMA(WCDMA)、通用移动电信系统(UMTS)、无线宽带(WiBro)和全球移动通信系统(GSM)。
根据一个实施例，无线通信可包括图1中示出的元素164，其中，所述元素164是例如无线保真(Wi-Fi)、光保真(Li-Fi)、无线千兆联盟(WiGig)、蓝牙、蓝牙低功耗(BLE)、ZigBee、近场通信(NFC)、磁安全传输(MST)、射频(RF)和体域网(BAN)中的至少一种。
根据一个实施例，无线通信可包括全球导航卫星系统(GNSS)。GNSS可以是例如全球定位系统(GPS)、GNSS、北斗导航卫星系统(下文称为“北斗”)、或作为欧洲全球卫星导航系统的伽利略。在本文档中，“GPS”可在下文中与“GNSS”可互换地使用。
有线通信可包括例如通用串行总线(USB)、高清晰度多媒体接口(HDMI)、推荐标准232(RS-232)、电力线通信(PLC)和普通老式电话服务(POTS)中的至少一个。
网络162可包括电信网络，其中，电信网络可以是例如计算机网络(例如，局域网(LAN)或广域网(WAN)))、互联网和电话网络中的至少一个。
第一外部电子装置102和第二外部电子装置104中的每一个可以是类型与电子装置101的类型相同或不同的装置。根据各种实施例，在电子装置101中执行的所有操作或一些操作可以在一个电子装置或多个外部装置(例如，电子装置102、电子装置104或服务器106)中执行。
根据一个实施例，当电子装置101需要自动或响应于请求执行功能或服务时，电子装置101可请求另一电子装置(例如，电子装置102或电子装置104或服务器106)执行与所述功能或服务相关联的至少一些功能，而不是独立地执行所述功能或服务，或者除了独立地执行所述功能或服务之外，还请求另一电子装置(例如，电子装置102或电子装置104或服务器106)执行与所述功能或服务相关联的至少一些功能。所述另一电子装置(例如，电子装置102或电子装置104或服务器106)可执行所请求的功能或附加功能，并且可将执行结果发送到电子装置101。电子装置101可使用该相同接收结果提供所请求的功能或服务，或者在对所述结果进行另外处理之后提供所请求的功能或服务。为此，可使用云计算、分布式计算或客户端-服务器计算技术。
服务器106可包括例如以下服务器中的至少一种服务器：集成服务器、提供商服务器(或无线运营商服务器)、内容服务器、互联网服务器、云服务器、网络服务器、位置信息提供服务器、信息搜索服务器、安全服务器和认证服务器。
图2是根据本公开的各种实施例的电子装置的框图。
电子装置201可包括例如图1中示出的电子装置101的全部或一部分。电子装置201可包括一个或更多个处理器(例如，AP)210、通信模块220、用户识别模块(SIM)224、存储器230、传感器模块240、输入装置250、显示器260、接口270、音频模块280、相机模块291、电源管理模块295、电池296、指示器297和电机298(例如，振动电机)。
在各种实施例中，由于图2中示出的组件应该被解释为基本元件，因此电子装置201可使用比图2中示出的组件更多的组件或更少的组件来实现。例如，根据各种实施例的电子装置201可根据其类型而不包括一些组件。根据各种实施例，电子装置201的上述组件可被安装在电子装置201的壳体(或边框或主体)上，或者可被形成在电子装置201的外部。
处理器210可运行例如OS或应用以控制连接到处理器210的多个硬件或软件组件，并且可执行各种数据处理和操作。处理器210可被配置为例如片上系统(SoC)。根据一个实施例，处理器210还可包括图形处理单元(GPU)和/或图像信号处理器(ISP)。
处理器210可包括图2中示出的组件中的至少一些(例如，蜂窝模块221)。处理器210可将从其他组件(例如，非易失性存储器)中的至少一个接收到的命令或数据加载到易失性存储器中，以对所述命令或数据进行处理，并且可将结果数据存储到非易失性存储器中。
在各种实施例中，处理器210可包括一个或更多个处理器。例如，处理器210可包括CP、AP、接口(例如，通用输入/输出(GPIO))、或内部存储器，其中，CP、AP、接口(例如，通用输入/输出(GPIO))、或内部存储器可作为分离的组件被提供、或者可被集成在一个或更多个集成电路上。根据一个实施例，AP可执行各种软件程序以执行电子装置201的不同功能，CP可执行用于语音通信和数据通信的处理和控制。处理器210可用来执行存储在存储器230中的特定软件模块(例如，指令集)，并且用来执行与所述模块相应的各种特定功能。
在各种实施例中，处理器210可控制电子装置201的整体操作。在各种实施例中，处理器210可控制音频模块280、接口270、显示器260、相机模块291、通信模块220、电源管理模块295、传感器模块240、或电机298的硬件模块的操作。根据各种实施例，处理器210可被电连接到电子装置201的显示器260、存储器230、和/或相机模块291。
根据各种实施例，处理器210可处理与以下操作相关联的操作：在AR中对用户的观看方向上(或从用户的观看角度)的同一行(或同一方向或同一角度)上的多个内容进行分组并将分组的内容显示为直观的组卡。根据各种实施例，处理器210可处理与以下操作相关联的操作：基于用户的观看方向上的同一行上的多个内容的重叠程度(或内容是否重叠)来对同一行上的内容中的至少一些内容进行分组，并且将分组的内容和未分组的内容布置并显示为直观的组卡和单卡。
将参照以下附图详细描述根据各种实施例的处理器210的处理(或控制)操作。
通信模块220可具有与例如图1中示出的通信接口170的配置相同或类似的配置。通信模块220可包括例如蜂窝模块221、Wi-Fi模块223、蓝牙模块225、GNSS模块227、NFC模块228和RF模块229。尽管未示出，但是通信模块220还可包括例如WiGig模块(未示出)。根据一个实施例，Wi-Fi模块223和WiGig模块(未示出)可被集成为单个芯片。
蜂窝模块221可通过通信网络提供例如语音电话、视频电话、文本消息服务、或互联网服务。根据一个实施例，蜂窝模块221可使用用户识别模块(SIM，例如，SIM卡)224来在通信网络中执行电子装置201的识别和认证。根据一个实施例，蜂窝模块221可执行由处理器210提供的功能中的至少一些功能。根据一个实施例，蜂窝模块221可包括CP。根据一个实施例，蜂窝模块221、Wi-Fi模块223、蓝牙模块225、GNSS模块227和NFC模块228中的至少一些(例如，两个或更多个)可被包括在一个集成芯片(IC)或IC封装中。
RF模块229可发送和接收例如通信信号(例如，RF信号)。RF模块227可包括例如收发器、功率放大器(amp)模块(PAM)、频率滤波器、低噪放大器(LNA)、天线等。根据另一实施例，蜂窝模块221、Wi-Fi模块223、蓝牙模块225、GNSS模块227和NFC模块228中的至少一个可通过单独的RF模块发送和接收RF信号。
Wi-Fi模块223可以是用于与外部装置(例如，另一电子装置102或服务器106)形成无线互联网连接和无线LAN链路的模块。Wi-Fi模块223可被安装在电子装置201的内部或外部。Wi-Fi、WiGig、WiBro、全球微波接入互操作性(WiMax)、高速下行分组接入(HSDPA)、或毫米波(mmWave)可被用作无线互联网技术。Wi-Fi模块223可被直接连接到电子装置201，或者可通过网络(例如，网络162，例如，无线互联网络)与连接到电子装置201的外部装置(例如，另一电子装置104)交互，从而将电子装置201的各种数据发送到外部或从外部接收数据。Wi-Fi模块223可始终保持开启，或者可根据电子装置的配置或用户输入而被开启/关闭。
蓝牙模块225和NFC模块228可以是例如用于执行短程通信的短程通信模块。蓝牙、BLE、射频识别(RFID)、红外通信(IrDA)、超宽带(UWB)、ZigBee或NFC可被用作短距离通信技术。短程通信模块可通过网络(例如，短程通信网络)与连接到电子装置201的外部装置(例如，另一电子装置102)交互，从而将电子装置201的各种数据发送到外部或从外部接收数据。短程通信模块(例如，蓝牙模块225和NFC模块228)可始终保持开启，或者可根据电子装置的配置或用户输入而被开启/关闭。
SIM224可包括例如包括SIM或嵌入式SIM的卡，并且可包括唯一识别信息(例如，集成电路卡识别码(ICCID))或用户信息(例如，国际移动用户识别码(IMSI))。
存储器230(例如，存储器130)可包括例如内部存储器232或外部存储器234。内部存储器232可包括例如以下项中的至少一项：易失性存储器(例如，动态随机存取存储器(DRAM)、同步RAM(SRAM)、同步DRAM(SDRAM)等)和非易失性存储器(例如，一次性可编程只读存储器(OTPROM)、可编程ROM(PROM)、可擦除PROM(EPROM)、电EPROM(EEPROM)、掩模ROM、闪存ROM、闪速存储器、硬盘驱动器或固态驱动器(SSD))。外部存储器234可包括闪存驱动器，例如，紧凑型闪存(CF)、安全数字(SD)、Micro-SD、Mini-SD、极速数字(xD)、多媒体卡(MMC)、记忆棒等。外部存储器234可通过各种接口中的任意接口功能性地或物理地连接到电子装置201。
在各种实施例中，存储器230可存储与以下操作相关联的一个或更多个程序、数据、或指令：对用户的观看方向上(从用户的观看角度)的同一行(或同一方向或同一角度)上的多个内容进行分组。根据各种实施例，存储器230可存储与处理器210将分组的内容显示为组卡的操作相关联的一个或更多个程序、数据、或指令。根据各种实施例，存储器230可存储与以下操作相关联的一个或更多个程序、数据、或指令：处理器210基于用户的观看方向上的同一行上的多个内容的重叠程度(或内容是否重叠)来对同一行上的内容中的至少一些内容进行分组并且将分组的内容和未分组的内容分别布置并显示为组卡和单卡。
根据各种实施例，存储器230可存储由电子装置201获得的与AR功能相关联的第一信息和与AR功能的操作相关联的第二信息。根据一个实施例，第一信息是与真实对象相关联的信息，包括各种信息，例如，建筑物名称、电话号码、地址、统一资源定位符(URL)、距用户的距离、地图、评价和类别。根据一个实施例，第二信息可包括配置信息，诸如进行分组的配置标准和关于与AR功能的操作有关的用户交互方法的信息。
存储器230可包括扩展存储器(例如，外部存储器234)或内部存储器(例如，内部存储器232)。电子装置201可与在互联网上执行存储器230的存储功能的网络存储器相联合地操作。
存储器230可存储一个或更多个软件(或软件模块)。例如，软件组件可以是OS软件模块、通信软件模块、图形软件模块、UI软件模块、运动图像专家组(MPEG)模块、相机软件模块或一个或更多个应用软件模块。作为软件组件的模块也可以以一组指令来表达，因此也被称为指令集。模块也可被称为程序。在本公开的各种实施例中，存储器230可包括除了上述模块之外的附加模块(指令)。根据需要，一些模块(指令)可能不被使用。
OS软件模块可包括用于控制整个系统操作的各种软件组件。整个系统操作的控制可指例如存储器管理和控制、存储硬件(装置)控制和管理、或电源控制和管理。此外，OS软件模块还可用于促进各种硬件(装置)和软件组件(模块)之间的通信。
通信软件模块可经由通信模块220或接口270进行与另一电子装置(诸如可穿戴装置、智能电话、计算机、服务器、或手持终端)的通信。通信软件模块可按照与通信模式相应的协议结构来配置。
图形软件模块可包括用于在显示器260上提供和显示图形的各种软件组件。在各种实施例中，术语“图形”可被包含性地用于指文本、网页、图标、数字图像、视频和动画。
UI软件模块可包括与UI有关的各种软件组件。例如，UI软件模块可包括关于UI的状态如何改变或者UI的状态在什么条件下改变等的信息。
MPEG模块可包括能够进行与数字内容(例如，视频或音频内容)有关的处理和功能(例如，内容的创建、回放、分发和传输)的软件组件。
相机软件模块可包括能够进行与相机有关的处理和功能的相机相关软件组件。
应用模块可包括网络浏览器(其中，网络浏览器包括渲染引擎)、电子邮件、IM、文字处理、键盘模拟、地址簿、触摸手势列表、小部件、数字版权管理(DRM)、虹膜扫描、上下文识别、语音识别、位置-确定功能、基于位置的服务等。根据各种实施例，应用模块可包括健康护理应用(例如，用于测量运动或血糖)或提供环境信息的应用(例如，用于提供大气压力、湿度或温度数据)。根据各种实施例，应用模块可包括根据设置标准在AR中布置和提供信息卡的一个或更多个应用(例如，AR应用)。
传感器模块240可测量例如物理量或可检测电子装置201的操作状态，并且将测量到的或检测到的信息转换为电信号。例如，传感器模块240可包括例如以下传感器中的至少一个传感器：手势传感器240A、陀螺仪传感器240B、大气压力传感器240C、磁传感器240D、加速度传感器240E、抓握传感器240F、接近传感器240G、颜色传感器240H(例如，红绿蓝(RGB)传感器)、生物特征传感器(医用传感器)240I、温度/湿度传感器240J、照度传感器240K和紫外(UV)传感器240M。
另外地或可选地，传感器模块240可包括例如电子鼻传感器、肌电图(EMG)传感器、脑电图(EEG)传感器、心电图(ECG)传感器、红外(IR)传感器、虹膜扫描传感器和/或指纹扫描传感器。传感器模块240还可包括用于控制属于传感器模块240的至少一个或更多个传感器的控制电路。在一个实施例中，电子装置201还可包括被配置作为处理器210的一部分的处理器或独立于处理器210的处理器(例如，低功率处理器、微控制单元(MCU)、或微处理器单元(MPU))，以控制传感器模块240，从而在处理器210处于睡眠状态时控制传感器模块240。
输入装置250可包括：例如，触摸面板252、(数字)笔传感器254、键256、或超声输入装置258。
触摸面板252可以是例如静电类型、压敏类型、红外类型和超声类型中的至少一种。此外，触摸面板252还可包括控制电路。触摸面板252还可包括用于向用户提供触觉反应的触觉层。
(数字)笔传感器254可以是例如触摸面板的一部分，或者可包括单独的识别片。键256可包括例如物理按钮、光学键或键盘。超声输入装置258可通过麦克风288检测在输入工具中产生的超声波，并且可识别与检测到的超声波相应的数据。根据各种实施例，输入装置250可包括电子笔。根据各种实施例，输入装置250可被配置为接收压力触摸输入。
显示器260(例如，显示器160)可包括面板262、全息装置264、投影仪266、和/或用于控制这些组件的控制电路。
面板262可被配置为例如柔性的、透明的或可穿戴的。面板262可与触摸面板252被形成在一个或更多个模块中。根据一个实施例，面板262可包括用于测量用户的触摸压力的强度的压力传感器(或力传感器)。压力传感器可与触摸面板252形成为一体，或者可被设置为与触摸面板252分离的一个或更多个传感器。
面板262可位于显示器260中，并且可感测与显示器260的表面接触或接近的用户输入。用户输入可包括基于单点触摸、多点触摸、悬停和空中手势中的至少一个而做出的触摸输入或接近输入。在各种实施例中，面板262可接收用于开始与电子装置201的使用相关联的操作的用户输入，并且可基于用户输入产生输入信号。
面板262可被配置为将施加到显示器260的特定部分的压力或在显示器260的特定部分中发生的电容变化转换成电输入信号。面板262可检测输入工具(例如，用户的手指或电子笔)与显示器260的表面接触或接近的位置和面积。此外，面板262可被配置为甚至检测在根据所应用的触摸方法输入触摸时所施加的压力(例如，压力触摸)。
全息装置264可使用光干涉在空中显示三维图像。投影仪266可将光投影到屏幕上以便显示图像。屏幕可被布置在例如电子装置201的内部或外部。
接口270可包括例如HDMI 272、USB 274、光学接口276、或D超小型(D-sub)接口278。接口270可被包括在例如图1中示出的通信接口170中。另外地或可选地，接口270可包括例如移动高清链接(MHL)接口、SD卡/MMC接口、或红外数据协会(IrDA)接口。
接口270可从另一电子装置接收数据或者可接收电力，并且可将数据或电力发送到电子装置201中的各个组件。接口270可允许电子装置201中的数据被发送到另一电子装置。例如，接口270可包括有线/无线头戴式耳机端口、外部充电器端口、有线/无线数据端口、存储卡端口、音频输入/输出端口、视频输入/输出端口、或耳机端口。
音频模块280可双向地转换例如声音和电信号。音频模块280的至少一些组件可被包括在例如图1中示出的输入/输出接口150中。
音频模块280可对例如通过扬声器282、接收器284、耳机286、或麦克风288输入或输出的声音信息进行处理。音频模块280可用于将从处理器210输入的音频信号发送到输出装置(例如，扬声器282、接收器284或耳机286)并且将从输入装置(例如，麦克风288)输入的音频信号(诸如语音)发送到处理器210。音频模块280可将语音/声音数据转换为可听的声音，并且可在处理器210的控制下通过输出装置输出可听的声音。此外，音频模块280可将从输入装置接收的音频信号(诸如语音)转换为数字信号，并且可将数字信号发送到处理器210。
扬声器282或接收器284可输出从通信模块220接收的或存储在存储器230中的音频数据。扬声器282或接收器284可输出与在电子装置201中执行的各种操作(功能)相关联的声音信号。麦克风288可接收外部声音信号并将声音信号处理成电子音频数据。麦克风288可用用于消除在接收外部声音信号期间产生的噪声的各种降噪算法实现。麦克风288可负责音频流(诸如语音命令)的输入。
相机模块291是拍摄例如静止图像和视频的装置。根据一个实施例，相机模块291可包括一个或更多个图像传感器(例如，前置传感器或后置传感器)、镜头、ISP、或闪光灯(例如，LED、氙灯等)。
根据各种实施例，相机模块291是用于支持电子装置201的拍摄功能的配置。相机模块291可在处理器210的控制下拍摄任何对象，并且可将捕获的数据(例如，图像)发送到显示器260和处理器210。根据各种实施例，相机模块291可拍摄对象以捕获实际图像(例如，真实对象)，并且可将捕获的实际图像发送到显示器260，以便在显示器260上显示AR屏幕。
根据各种实施例，相机模块291可包括例如用于获得颜色信息的第一相机(例如，颜色(RGB)相机)和用于获得深度信息(例如，关于对象的位置信息或距离信息)的第二相机(例如，红外(IR)相机)。根据一个实施例，第一相机可以是设置在电子装置201的正面的前置相机。根据各种实施例，前置相机可由第二相机替换，并且第一相机可不被设置在电子装置201的正面。根据各种实施例，第一相机可与第二相机一起被布置在电子装置201的正面。根据一个实施例，第一相机可以是设置在电子装置201的背面的后置相机。根据一个实施例，第一相机可被配置为包括分别设置在电子装置201的正面和背面的前置相机和后置相机二者。
相机模块291可包括图像传感器。图像传感器可被配置为电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)。
电源管理模块295可管理例如电子装置201的电力。根据一个实施例，电源管理模块295可包括电源管理集成电路(PMIC)、充电器IC、或电池或电量计(或电池量表)。
PMIC可具有有线充电方法和/或无线充电方法。无线充电方法可包括例如磁共振方法、磁感应方法或电磁波方法。PMIC还可包括用于无线充电的附加电路，诸如线圈回路、谐振电路或整流器。电量计可测量例如电池296的剩余电量、充电电压、电流或温度。电池296可包括例如可再充电电池和/或太阳能电池。
指示器297可显示电子装置201或电子装置201的组件(例如，处理器210)的特定状态(例如，可以是启动状态、消息状态、或充电状态)。
电机298(例如，振动电机)可将电信号转换成机械振动，并且可产生振动或触觉效果。根据各种实施例，电子装置201可包括电机驱动控制器(未示出)，电机298可在电机驱动控制器的控制下被驱动。根据一个实施例，处理器210可将与振动产生有关的信号应用于电机驱动控制器，电机驱动控制器可将与从处理器210接收的信号相应的电机驱动信号输出到电机298。电机298可由从电机驱动控制器接收的电机驱动信号驱动以产生振动。
在各种实施例中，电子装置201可包括产生振动的各种振动产生装置(或模块)，诸如电机298。振动产生装置可包括例如电机298、振动器、致动器或触觉产生装置。在各种实施例中，电子装置201可使用一个或更多个振动产生装置执行与振动创建和产生有关的各种操作。
根据各种实施例，电子装置201可包括能够根据例如数字多媒体广播(DMB)、数字视频广播(DVB)或mediaFLOTM标准来处理媒体数据的移动TV支持装置(例如，GPU)。
本文档中提到的每个元件可包括一个或更多个组件，并且可根据电子装置的类型而由不同的术语指定。在各种实施例中，电子装置(例如，电子装置101或201)可被配置为使得一些元件被省略，附加元件被进一步包括，或者一些元件被组合成可执行与相应元件在组合之前的功能相同的功能的一个实体。
图3是根据本公开的实施例的程序模块的框图。
参照图3，程序模块310(例如，程序140)可包括用于控制与电子装置(例如，电子装置101)有关的资源的操作系统(OS)和/或在OS上驱动的各种应用(例如，应用程序147)。OS可例如包括AndroidTM、iOSTM、WindowsTM、SymbianTM、TizenTM或BadaTM。参照图3，程序模块310可包括内核320(例如，内核141)、中间件330(例如，中间件143)、API 360(例如，API 145)和/或应用370(例如，应用程序147)。程序模块310中的至少一部分可被预加载在电子装置上，或者可从外部电子装置(例如，电子装置102、电子装置104、服务器106等)被下载。
内核320可例如包括系统资源管理器321和/或装置驱动器323。系统资源管理器321可执行系统资源的控制、系统资源的分配、系统资源的恢复等。根据实施例，系统资源管理器321可包括进程管理单元、存储器管理单元、或文件系统管理单元。装置驱动器323可例如包括显示器驱动器、相机驱动器、蓝牙驱动器、共享存储器驱动器、USB驱动器、键盘驱动器、Wi-Fi驱动器、音频驱动器或进程间通信(IPC)驱动器。
中间件330可例如提供应用370共同需要的功能，或可通过API 360向应用370提供各种功能以便应用370可使用电子装置中的受限制的系统资源。根据实施例，中间件330可包括以下项中的至少一项：运行时库335、应用管理器341、窗口管理器342、多媒体管理器343、资源管理器344、电源管理器345、数据库管理器346、包管理器347、连接管理器348、通知管理器349、位置管理器350、图形管理器351或安全管理器352。
运行时库335可例如包括库模块，其中，编译器使用所述库模块在应用370正被执行时通过编程语言添加新功能。运行时库335可执行输入输出管理、存储器管理、或算术功能处理。
应用管理器341可例如管理应用370的生命周期。窗口管理器342可管理由屏幕使用的图形用户界面(GUI)资源。多媒体管理器343可检测用于播放媒体文件所需的格式，并可通过使用适合于相应的格式的编解码器来执行对媒体文件的编码或解码。资源管理器344可管理应用370的源代码、或存储器的空间。电源管理器345可例如管理电池容量或电源，并且提供电子装置的操作所需的电力信息。根据实施例，电源管理器345可与基本输入/输出系统(BIOS)交互工作。数据库管理器346可例如创建、搜索或改变将由应用370使用的数据库。包管理器347可管理以包文件的形式分发的应用的安装或更新。
连接管理器348可例如管理无线连接性。通知管理器349可例如向用户提供诸如到达消息、约会、接近通知等的事件。位置管理器350可例如管理关于电子装置的位置信息。图形管理器351可例如管理将向用户提供的图形效果，或者管理与此有关的用户界面(UI)。安全管理器352可例如提供系统安全或用户认证。
根据实施例，中间件330可包括用于管理电子装置的语音电话功能或视频电话功能的电话管理器、或者能够形成上述组成元件的功能的组合的中间件模块。根据实施例，中间件330可提供基于OS类型专用的模块。中间件330可动态地删除一些现有组成元件或添加新组成元件。API 360是例如API编程函数的集合，并且可被提供为具有根据OS的另一结构。例如，Android或iOS可通过平台提供一个API集，Tizen可通过平台提供两个或更多个API集。
应用370可包括例如：主页371、拨号器372、短消息服务(SMS)/多媒体消息服务(MMS)373、即时消息(IM)374、浏览器375、相机376、闹钟377、地址簿378、语音拨号379、电子邮件380、日历381、媒体播放器382、相册383和时钟384。根据各种实施例，应用370可包括健康护理应用(例如，用于测量运动或血糖)或提供环境信息的应用(例如，用于提供大气压力、湿度或温度数据)。根据一个实施例，应用370可包括根据设置标准在AR中布置和提供信息卡的应用。
根据实施例，应用370可包括可支持在电子装置与外部电子装置之间进行信息交换的信息交换应用。信息交换应用可例如包括：用于将特定信息转发到外部电子装置的通知转发应用、或用于管理外部电子装置的装置管理应用。例如，通知转发应用可将由电子装置的另一应用生成的通知信息转发到外部电子装置、或者从外部电子装置接收通知信息以将接收到的通知信息提供给用户。装置管理应用可例如安装、删除或更新与电子装置通信的外部电子装置的功能(例如，开启/关闭外部电子装置本身(或一些组成组件)或调节显示器的亮度(或分辨率))或在外部电子装置中运行的应用。
根据实施例，应用370可包括根据外部电子装置的属性指定的应用(例如，移动医疗装置的健康护理应用)。根据实施例，应用370可包括从外部电子装置接收的应用。程序模块310中的至少一部分可通过软件、固件、硬件(例如，处理器210)或软件、固件、硬件中的至少两个或更多个的组合来实现，并且可包括用于执行一个或更多个功能的模块、程序、例程、指令集合、或处理。
本文档中使用的术语“模块”可包括由硬件、软件或固件组成的单元，并且例如可与术语“逻辑”、“逻辑块”、“组件”、“电路”等互换使用。“模块”可以是整体配置的组件或执行一个或更多个功能的最小单元或其一部分。“模块”可被机械地或电子地实现，并且例如“模块”可包括已知的或未来将被开发的用于执行一些操作的专用集成电路(ASIC)芯片、现场可编程门阵列(FPGA)、或可编程逻辑装置。
根据各种实施例的装置(例如，装置的模块或功能)或方法(例如，操作)中的至少一些可被配置为以程序模块的形式存储在计算机可读存储介质(例如，图1的存储器130或图2的存储器230)中的指令。当所述指令被处理器(例如，图1的处理器120或图2的处理器210)执行时，处理器可执行与所述指令相应的功能。
计算机可读记录介质可包括硬盘、软盘、磁介质(例如，磁带)、光学记录介质(例如，致密盘ROM(CD-ROM)、数字通用盘(DVD)和磁光介质(例如，软光盘))、内部存储器等。指令可包括由编译器产生的代码或可由解释器执行的代码。根据各种实施例的模块或程序模块可包括上述组件中的至少一个或更多个，可省略一些组件，或者可进一步包括其他组件。
根据各种实施例，记录介质可包括记录用于处理器120或处理器210实现将被描述的各种方法的程序的计算机可读记录介质。
由根据各种实施例的模块、程序或其他组件执行的操作可被顺序地、并行地、重复地或启发式地执行，至少一些操作可以以不同的顺序被执行或者可被省略，或者可添加其他操作。
图4示出根据本公开的各种实施例的电子装置中的功能处理模块的示例。
图4示出功能处理模块400的示例，其中，该功能处理模块400涉及根据设置标准布置与映射到真实对象的内容有关的信息卡，并且涉及当在根据各种实施例的电子装置(例如，图1的电子装置101或图2的电子装置201)中实现AR功能时提供布置的信息卡。在各种实施例中，功能处理模块400可作为硬件模块或软件模块包括在处理器(例如，图1的处理器120或图2的处理器210，下文统称为处理器210)中。
参照图4，根据各种实施例的用于处理与AR功能相关联的操作的功能处理模块400可包括：功能执行模块410、内容获得模块420、分组处理模块430、UI显示模块440和交互处理模块450。
功能执行模块410可包括基于来自用户的执行AR应用的请求实现AR功能的模块。根据各种实施例，功能执行模块410可基于由内容获得模块420获得的详细信息中的至少一些信息在所有方向(例如，360度)之中确定用户当前正在观看的观看方向(或电子装置的朝向，例如，所有方向之中的特定角度(例如，15度))。根据一个实施例，功能执行模块410可感测(或检测)关于电子装置的当前位置的信息以及相机(例如，图2的相机模块291)当前正在观看的方向。根据各种实施例，功能执行模块410可例如使用GPS方法和/或基于位置的服务(LBS)方法来感测电子装置的当前位置，并且可使用数字罗盘感测方向。在各种实施例中，感测结果可被用来获得关于与真实对象相应的内容的详细信息。
内容获得模块420可包括当AR应用被执行时获得真实对象(例如，实际图像)、位置信息、传感器信息、与和在电子装置的当前位置设置的半径(例如，100米、200米、300米或500米)和类别相应的真实对象相关的内容、以及关于所述内容的详细信息的模块。在各种实施例中，详细信息可以是与真实对象相关联的信息，包括各种信息，例如，建筑物名称、电话号码、地址、URL、距用户的距离、地图、评价和类别。
分组处理模块430可包括根据设置标准对映射到AR中的真实对象的信息卡进行分组的模块。分组处理模块430可基于由内容获得模块420获得的详细信息中的至少一些信息对内容进行分组，并且可产生与分组的内容相应的分组卡。根据一个实施例，分组处理模块430可处理与以下操作相关联的操作：在AR中对用户的观看方向上(或从用户的观看角度)上的同一行(或同一方向或同一角度)上的多个内容进行分组并将分组的内容产生为组卡。根据一个实施例，分组处理模块430可处理与以下操作相关联的操作：基于用户的观看方向上的同一行上的多个内容的重叠程度(或在同一行上的内容是否重叠)来对同一行上的内容中的至少一些内容进行分组并且将分组的内容和未分组的内容产生为组卡和单卡。
UI显示模块440可包括根据各种实施例的配置并提供基于AR的UI的模块。根据一个实施例，UI显示模块440可配置在AR中显示实际图像的UI，并且包括用于在实际图像上提供关于真实对象的相关信息的信息卡。UI显示模块440可配置包括全向对象(omnidirectional object)的UI，其中，该全向对象提供与任意方向(例如，360度)上的指定半径和指定类别内的真实对象相关的内容分布(或密度)。将参照以下附图详细描述根据各种实施例的UI的示例。
交互处理模块450可包括处理与关于AR功能的操作的各种交互相关联的操作的模块。根据一个实施例，交互处理模块450可检测使用信息卡或全向对象的用户交互或者检测基于电子装置的位置变化的交互，并且可基于检测到的交互来处理相关操作(或功能)。将参照以下附图详细描述根据各种实施例的交互的示例和基于交互的操作的示例。
根据各种实施例，当用户执行应用(例如，AR应用)时，电子装置(例如，功能处理模块400)可通过相机(例如，图2的相机模块291)获得现实世界中的实际图像(例如，真实对象)，可经由位置信息接收器(例如，图2的GNSS模块277)获得关于电子装置的当前位置的位置信息(例如，纬度/经度信息)，可通过至少一个传感器获得包括关于斜率/梯度/重力的信息的传感器信息，并且可临时存储获得的信息。
在各种实施例中，电子装置可基于获得的位置信息来获得关于位于距电子装置的位置指定半径(例如，100米、200米、300米或500米)内的区域或建筑物(例如，真实对象)的详细信息。根据一个实施例，电子装置可将获得的位置信息发送到外部装置(例如，图1的服务器106或位置信息系统)，并且可从外部装置接收关于位于距电子装置的位置指定半径内的真实对象的详细信息。在各种实施例中，详细信息可以是与真实对象相关联的信息，包括各种信息，例如，建筑物的名称、电话号码、地址、URL、距用户的距离、地图、评价和类别。
在各种实施例中，电子装置可基于获得的详细信息产生信息卡，并且可通过AR应用在实时屏幕上显示产生的信息卡。根据各种实施例，电子装置可实时地连续获得详细信息(例如，经由与位置信息系统的实时数据通信)，因此可基于用户移动在屏幕上顺序地提供关于区域和其周围环境的详细信息。
图5示出根据本公开的各种实施例的由电子装置提供的UI的示例。图6示出根据本公开的各种实施例的信息卡的示例。
参照图5，根据各种实施例的基于AR的UI包括用于在AR中显示实际图像(例如，真实对象)的AR屏幕510、以特定级别的透明度覆盖在AR屏幕510上并提供与选项选择/设置有关的对象的菜单区域520、提供关于真实对象的相关信息的信息卡530、信息卡540和信息卡550、以及提供与位于任意方向(例如，360度)上的指定半径内的真实对象有关的内容分布(或密度)的全向对象560。
根据各种实施例，AR屏幕510可以是经由相机捕获的实时预览图像。
根据各种实施例，菜单区域520包括用于设置用于信息提供的类别的第一对象521、用于设置信息提供范围(或半径)的第二对象522以及用于在实时视图模式和列表视图模式之间切换的第三对象523。用户可基于菜单区域520中显示的对象(例如，第一对象521、第二对象522或第三对象523)改变类别(例如，全部、餐馆或地标)、半径(例如，100米、200米、300米、或500米)和视图模式(例如，实时视图或列表视图)中的至少一个设置。
根据各种实施例，信息卡530、信息卡540和信息卡550可以以设置的形式(例如，矩形形式或圆形形式)呈现迷你窗口(或虚拟对象)，以基于电子装置的当前位置显示关于设置半径内的与设置类别相应的真实对象的至少一些信息。在各种实施例中，如上所述，可基于响应于AR应用的执行而获得的至少一些详细信息来配置信息卡530、信息卡540和信息卡550。例如，信息卡530、信息卡540和信息卡550可被产生为包括针对真实对象获得的至少一些详细信息。根据各种实施例，电子装置可产生与在观看方向(或观看角度)上设置的半径内的真实对象相应的卡。根据各种实施例，电子装置可产生与在任意方向(或360度)上设置的半径内的真实对象相应的卡。
根据各种实施例，信息卡530、信息卡540和信息卡550可被分成关于与真实对象相应的单个内容的第一卡530或540(例如，单卡)和关于与真实对象相应的多个内容的第二卡(例如，组卡或多卡)。
根据各种实施例，电子装置可对位于用户的观看方向上的同一行(或直线)上的多个内容(例如，关于各个真实对象的详细信息)进行分组。在各种实施例中，同一行(或直线)可表示基于在电子装置的显示器上显示的AR屏幕510的虚拟z轴。根据一个实施例，如图5中的元素571、572和573所指示的，可基于多个虚拟z轴来分析内容是否位于同一行。
根据各种实施例，基于显示器上显示的AR屏幕510，z轴571、572和573可根据设置标准沿着水平轴(x轴)被分成多个部分。例如，电子装置可基于显示器上显示的AR屏幕510上的z轴571、572和573(或z轴部分)来划分关于真实对象的内容，并且可基于z轴571、572和573中的每一个来对内容进行分组。在各种实施例中，可针对每个z轴创建多个组。将参照以下附图详细描述根据各种实施例的对内容进行分组的操作的示例。
根据各种实施例，电子装置可针对基于分组的结果而划分产生的每个虚拟z轴配置并提供与第一卡530和540或第二卡550相应的信息卡。
根据各种实施例，当多个内容被分组时，电子装置可产生关于属于一组的各个内容的多个卡551、552和553，并且可以以单个组的形式将所产生的卡551、552和553提供为第二卡550。根据各种实施例，电子装置可提供特定类型的第二卡550以便用户可识别出位于同一方向(或同一角度)上的多个内容被提供为单个组。例如，在各种实施例中，和根据设置标准而可重叠的多个内容相应的第二卡550(例如，组卡)可与和单个内容相应的不重叠的第一卡530或540分离(区分开)。例如，第二卡550(例如，组卡)可具有与第一卡530或540(例如，单卡)的形式不同的形式。图6中示出了根据各种实施例的提供第二卡550的示例。
参照图6，第二卡550(或组卡)可以以各种形式被配置(例如，图6中示出的示例(A)、示例(B)、示例(C)和示例(D))，并且可根据电子装置的配置而由用户进行改变。
根据实施例，示例(A)(示出为图6中的对象[A])示出以一组的形式提供分别与多个内容相应的单卡611和612。根据一个实施例，电子装置可在组卡的单卡611和612之中的顶部的显示关于与最短距离有关的内容的单卡(例如，卡611)。在各种实施例中，示例(A)可以是以组类型提供组卡的示例。
根据实施例，示例(B)(示出为图6中的对象[B])示出组卡550以单卡的形式提供，并且在卡的一个区域中提供指示该卡包括多个内容的徽章对象620。根据一个实施例，徽章对象620可基于各种图标来提供，并且可包括关于分组的内容的数量的信息(例如，数字5)。在各种实施例中，示例(B)可以是以徽章类型提供组卡的示例。
示例(C)和(D)(分别示出为图6中的对象[C]和[D])示出组卡550以单个形式(如单卡)提供，并且不同的效果被应用以指示该卡包括多个内容。例如，在示例(C)中，卡被提供有与单卡的边界有区别的边界630(例如，粗体边界、不同颜色的边界、明亮边界等)。在示例D中，特殊效果630(例如，卡亮度变化、卡颜色变化、突出显示等)被应用于卡以将其与单卡区分开。在各种实施例中，示例(C)和(D)可以是以突出显示类型(例如，图6中的对象[D]中的突出显示640)提供组卡的示例。
在各种示例性实施例中，组卡不限于图6的示例(A)、示例(B)、示例(C)和示例(D)，而是可使用用于区分组卡的各种方法来配置。
根据各种实施例，可根据与组卡或单卡有关的用户交互(例如，触摸)切换到详细信息页面。根据各种实施例，可基于与组卡有关的用户交互(例如，诸如滑动、轻弹或拖动的触摸手势)切换到与组卡中的卡(或内容)有关的功能(例如，导航)。根据一个实施例，电子装置可根据用户的触摸手势(例如，向左或向右滑动)按顺序或以相反顺序切换图5的组卡550中的卡551、卡552和卡553。电子装置可基于这种切换在顶部显示切换的卡(例如，卡552)。
返回参照图5，在各种实施例中，电子装置可产生并提供关于未分组的内容(例如，不与同一行上的其他内容重叠的内容)中的每个内容的第一卡530或540。
在各种实施例中，图5的元素590可以是表示内容或卡的类别(或属性)的信息对象。例如，信息对象590可被设置在卡的一个区域(例如，图像区域)中，并且可基于设置的文本、图像或图标来表示类别(或属性)。
根据各种实施例，电子装置可在真实对象上显示布置有第一卡530和540以及第二卡550的AR屏幕510。根据一个实施例，电子装置可在真实对象上显示与同一行上的多个内容相应的一个组卡550以及与各个未分组的内容相应的至少一个单卡530或540。
在各种实施例中，考虑到相应内容的位置(或距用户的距离)，每张卡可以显示在相应的位置。根据一个实施例，根据距用户的距离，关于靠近用户的内容的卡可被布置在AR屏幕510的下部区域以使得内容看起来近，并且关于远离用户的内容的卡片可被布置在AR屏幕510的上部区域以使得内容看起来远。例如，关于更靠近用户的内容的卡可被布置在AR屏幕510的下部区域，并且关于更远离用户的内容的卡可被布置在AR屏幕510的上部区域。
在各种实施例中，考虑到与另一z轴上的卡重叠的程度，每个卡可被显示在z轴上的不同位置。根据一个实施例，当中间卡和右卡在AR屏幕510上至少部分地彼此重叠时，电子装置可确定重叠程度(例如，重叠范围)。当电子装置确定难以识别重叠的卡中的信息时(例如，当卡以设置的程度或更大的程度重叠时)，电子装置可沿一方向(例如，向上、向下、向右、向左或对角地)移动任意一个卡，以使得卡在AR屏幕520上不重叠。
在各种实施例中，可基于被布置在组卡的顶部的卡的位置或一组内容中的与最短距离有关的内容来确定AR屏幕510上组卡被布置的位置。
根据各种实施例，可提供卡530、卡540和卡550，以便区分用户偏好的内容(或与地标有关的内容)。根据一个实施例，如元素540所指示的，卡可被突出显示。根据各种实施例，卡530、卡540和卡550可被配置在AR屏幕510中映射到与内容相应的真实对象的位置。根据一个实施例，与特定真实对象(例如，百货公司大楼)的内容有关的卡可在AR屏幕510上被提供，被映射(例如，组合或结合)到真实对象(例如，百货公司大楼)。
根据各种实施例，UI还可包括提供与在任意方向(例如，360度)上的设置半径内的真实对象有关的内容分布(或密度)的全向对象560。在各种实施例中，如图5所示，全向对象560可以以指定级别的透明度被覆盖(或浮动)在AR屏幕510上的特定区域(例如，右下区域)上。
在各种实施例中，全向对象560可提供用于指示用户在任意方向(例如，360度)上的观看方向(例如，观看角度)的方向对象570。方向对象570可在全向对象560中被提供以便将观看方向与任意方向区分开特定角度(例如，15度)。
在各种实施例中，全向对象560可包括针对关于基于电子装置的当前位置设置的半径内的与设置类别相应的真实对象的密度、朝向和/或距离的一般信息的信息对象(例如，点图标)。例如，假设检索并提供了三十(30)个内容，三十(30)个信息对象580可在全向对象560中被提供，并且可在全向对象560中相应于其方向和位置来分布。根据各种实施例，在方向对象570中显示的信息对象580可对应于与观看方向相应的内容。根据各种实施例，在方向对象570中显示的信息对象580的数量和位置可对应于与在AR屏幕510上显示的卡相关联的片段内容的数量和位置。
如上所述，根据各种实施例的电子装置可包括：相机模块(例如，图2的相机模块291)；用于显示AR屏幕的显示器(例如，图1的显示器160或图2的显示器260)；和功能性地连接到相机模块291和显示器160或260的处理器(例如，图1的处理器120或图2的处理器210)，其中，处理器120或处理器210可被配置为：实现AR功能；根据用户的观看方向上的设置标准来确定多个内容；将所述多个内容分组为至少一组；基于分组结果产生与多个内容相应的组卡和与单个内容相应的单卡；并在AR屏幕上显示映射到真实对象的组卡和单卡。
根据各种实施例，所述设置标准可包括与观看方向上的同一方向、同一行或同一角度有关的标准。
根据各种实施例，所述设置标准可基于观看方向上的至少一个z轴来设置。
根据各种实施例，处理器可以被配置为：响应于AR功能的实现，获得与真实对象有关的详细信息；基于详细信息中的至少一些信息，基于观看方向上的设置标准来确定多个内容；根据所述设置标准，当存在多个内容时，对所述多个内容进行分组并产生与分组的内容相应的组卡；根据所述设置标准，当存在单个内容时，产生与所述单个内容相应的单卡。
根据各种实施例，处理器可被配置为产生以下类型之中的任意一种类型的组卡：将与属于多个内容的各个内容相应的多个信息卡显示为一个组的组类型、包括指示关于分组的内容的数量的信息的徽章对象的徽章类型、和基于用于区分组卡与单卡的效果显示组卡的突出显示类型。
根据各种实施例，处理器可被配置为对与观看方向上的设置标准相应的所有多个内容进行分组。
根据各种实施例，处理器可被配置为基于与观看方向上的设置标准相应的多个内容的重叠程度，对与所述设置标准相应的多个内容中的至少一些内容进行分组。
根据各种实施例，处理器可被配置为：基于组卡上的第一用户交互显示与分组的多个内容相关联的详细页面；并基于组卡上的第二用户交互切换到按组卡显示的信息卡并显示所述信息卡。
根据各种实施例，处理器可被配置为基于与电子装置的状态变化有关的交互来显示用户位置地图。
根据各种实施例，地图可以是通过基于用户位置捕获特定范围并通过将所述范围提供为图像而获得的地图。
在下文中，将参照附图描述根据本公开的各种实施例的操作方法。然而，应该注意，本公开的各种实施例不受以下细节的限制或约束，因此，本公开可基于以下描述被应用于各种实施例。在下面将描述的本公开的各种实施例中，将通过示例的方式示出硬件方法。然而，本公开的各种实施例涵盖使用硬件和软件两者的技术，因此不应被解释为排除基于软件的方法。
图7是示出根据本公开的各种实施例的电子装置的操作方法的流程图。
参照图7，在操作701，电子装置(例如，图1的电子装置101或图2的电子装置201)的处理器(例如，包括处理电路的一个或更多个处理器，例如，图1的处理器120或图2的处理器210，下文统称为处理器210)可实现AR功能。根据一个实施例，处理器210可基于来自用户的执行AR应用的请求来处理AR功能的实现。
在操作703中，处理器210可确定观看方向(或观看角度)。根据一个实施例，如上所述，当执行了AR应用时，处理器210可获得真实对象(例如，实际图像)、位置信息、传感器信息和关于从电子装置的当前位置设置的半径(例如，100米、200米、300米或500米)内的真实对象的详细信息。处理器210可基于获得的详细信息中的至少一些信息在所有方向(例如，360度)之中确定用户当前正在观看的观看方向(或电子装置的朝向，例如，所有方向之中的特定角度(例如，15度))。
在操作705中，处理器210可对位于确定的观看方向上的同一行(或直线)上的内容(例如，关于各个真实对象的详细信息)进行分组。在各种实施例中，同一行(或直线)可基于在电子装置的显示器上显示的屏幕来表示z轴。在各种实施例中，基于显示器上显示的屏幕，可根据设置标准将z轴沿水平轴(x轴)划分为多个部分。例如，处理器210可基于显示在显示器上的屏幕上的z轴来划分关于真实对象的内容，并且可基于每个z轴(例如，每个z轴部分)对内容进行分组。例如，可针对每个z轴创建多个组。
在操作707中，处理器210可产生卡(或窗口)。在各种实施例中，卡可以是提供与AR中提供的真实对象相关联的信息的信息卡。根据一个实施例，信息卡可被产生为包括针对真实对象获得的详细信息中的至少一部分信息。根据各种实施例，处理器210可产生与基于观看方向(或任意方向)设置的半径内的真实对象相应的卡。根据各种实施例，对于分组的内容，处理器210可产生关于组中的各个内容的多个卡，或者可产生特定形式的单卡，使得用户可识别出在单组中提供了多个内容。根据各种实施例，对于未分组的内容，处理器210可针对每个内容产生卡。
在操作709中，处理器210可在显示器上显示AR屏幕，其中，在该AR屏幕上卡被布置在真实对象上。根据一个实施例，处理器210可使与同一行上的多个内容相应的卡重叠以作为组卡(或多卡)在真实对象上被提供，并且可以在顶部显示关于与最短距离有关的内容的卡。根据一个实施例，处理器210可在真实对象上显示与同一行上的多个内容相应的单组卡。根据各种实施例，处理器210可基于距离在AR屏幕上显示与一组分组的内容相应的至少一个第一卡(例如，组卡)和与各个未分组的内容相应的至少一个第二卡(例如，单卡)。根据各种实施例，当显示包括卡的AR屏幕时，处理器210可提供包括不同组件的设置的UI(例如，图5中所示的UI)。
图8是示出根据本公开的各种实施例的电子装置的操作方法的流程图。
图8示出根据本公开的各种实施例的基于内容是否重叠来产生卡的示例。
在操作801中，电子装置的处理器210可识别与观看方向相应的内容。
在操作803中，处理器210可确定内容是否重叠。根据一个实施例，处理器210可确定在操作801中识别的内容之中是否存在位于同一行(或直线)上的内容(例如，关于各个真实对象的详细信息)。
在操作805中，处理器210可产生与重叠的内容相关联的分组信息和与未重叠的内容相关联的个体信息。根据一个实施例，处理器210可在观看方向上的与真实对象的至少一部分相应的多个内容之中基于多个设置的z轴来区分内容。处理器210可基于z轴内容将至少一个第一z轴(在所述至少一个第一z轴上内容重叠(例如，多个内容位于同一行的状态))与至少一个第二z轴(在所述至少一个第二z轴上内容不重叠(例如，一个内容位于一行))区分开。处理器210可通过对所述至少一个第一z轴上的内容进行分组来产生用于产生组卡的分组信息，并且可产生用于产生关于所述至少一个第二z轴上的内容的至少一个单卡的个体信息。
在操作807中，处理器210可基于所产生的信息产生与内容相关联的单卡和组卡中的至少一个。根据一个实施例，处理器210可基于分组信息产生组卡，并且可基于个体信息产生单卡。根据一个实施例，处理器210可基于该信息(例如，分组信息或个体信息)确定关于产生的组卡和/或单卡在AR屏幕上的布置(例如，基于真实对象的位置的卡显示位置)的信息。根据各种实施例，当产生分组信息或个体信息时，处理器210可基于内容确定用户偏好(或地标)，并且可在分组信息或个体信息中包括偏好信息。
图9是示出根据本公开的各种实施例的电子装置的操作方法的流程图。
图9示出根据本公开的各种实施例的同一行上的多个内容被分组并在AR屏幕上的组卡中被提供的示例。
在操作901中，电子装置的处理器210可确定与全向内容相关联的信息。根据各种实施例，如上所述，当执行了AR应用时，处理器210可获得真实对象(例如，实际图像)、位置信息、传感器信息和关于在电子装置的当前位置设置的半径(例如，100米、200米、300米或500米)和类别中的真实对象的详细信息。处理器210可确定获得的至少一条详细信息。
在操作903中，处理器210可基于z轴识别内容。根据一个实施例，处理器210可确定位于观看方向上的同一行(或直线)上的内容(例如，关于各个真实对象的详细信息)。在各种实施例中，同一行(或直线)可基于在电子装置的显示器上显示的AR屏幕来表示z轴。根据一个实施例，处理器210可在观看方向上的与真实对象的至少一部分相应的多个内容之中基于z轴来确定内容。
在操作905中，处理器210可确定是否存在包括多个内容的z轴。根据一个实施例，处理器210可将至少一个第一z轴(在所述至少一个第一z轴上存在多个内容(例如，同一行上的多个内容))与至少一个第二z轴(在所述至少一个第二z轴上存在单个内容(例如，一行上的一个内容))区分开。
当在操作905中确定不存在包括多个内容的z轴时(操作905中的否)，在操作907中，处理器210可基于单卡处理卡的显示。根据一个实施例，对于未分组的内容，处理器210可针对每个内容产生一个卡。
当在操作905中确定存在包括多个内容的z轴时(操作905中的是)，在操作909中，处理器210可对z轴上的多个内容进行分组。根据一个实施例，处理器210可按照多个内容所在的至少一个z轴中的每一个对内容进行分组。
在操作911中，处理器210可基于组卡和单卡来处理卡的显示。根据一个实施例，处理器210可产生与未分组的内容相应的单卡和与分组的内容相应的组卡。根据各种实施例，当不存在未分组的内容时，处理器120可基于组卡处理卡的显示。根据各种实施例，当存在多个内容所位于的多个z轴时，处理器210可针对所述多个z轴中的每一个z轴产生单独的组卡。
图10是示出根据本公开的各种实施例的电子装置的操作方法的流程图。
图10示出根据各种实施例的示例，其中，在示例中，根据内容是否重叠来从AR屏幕上的同一行上的多个内容之中确定要分组的内容，通过仅对同一行上的多个内容之中的与可重叠的卡相应的至少一些内容进行分组来产生组卡，产生与未重叠的卡相应的单卡，并且即使在同一行上也可将组卡和单卡一起提供。
在操作1001中，电子装置的处理器210可确定与全向内容相关联的信息。根据各种实施例，如上所述，当执行了AR应用时，处理器210可获得真实对象、位置信息、传感器信息和关于在电子装置的当前位置设置的半径和类别中的真实对象的详细信息。
在操作1003中，处理器210可基于观看方向上的z轴识别内容。根据一个实施例，处理器210可确定位于观看方向上的同一行上的内容(例如，关于各个真实对象的详细信息)。在各种实施例中，所述同一行(或直线)可基于在电子装置的显示器上显示的AR屏幕来表示z轴。根据一个实施例，处理器210可在观看方向上的与真实对象的至少一部分相应的多个内容之中基于z轴来确定内容。
在操作1005中，处理器210可确定是否存在包括多个内容的z轴。根据一个实施例，处理器210可确定存在多个内容(例如，同一行上的多个内容)的至少一个z轴。
当在操作1005中确定不存在包括多个内容的z轴时(操作1005中的否)，处理器210可执行与单卡的产生有关的操作而不执行分组操作。
当在操作1005中确定存在包括多个内容的z轴时(操作1005中的是)，在操作1007中处理器210可在所述多个内容之中确定要分组的内容。根据一个实施例，处理器210可在关于包括多个内容的z轴上的多个内容之中区分与可重叠的卡相应的至少一些内容。在各种实施例中，处理器210可使用获得的详细信息(例如，距离、位置等)来确定内容是否重叠。根据一个实施例，处理器210可确定z轴上的多个内容之中是否存在不重叠的内容。当存在不重叠的内容时，处理器210可以基于排除不重叠的内容以外的重叠的内容来执行至少一个分组操作。
在操作1009中，处理器210可基于确定的要分组的内容对内容进行分组。根据各种实施例，处理器210可仅对z轴上的多个内容之中的要分组的内容进行分组，并且可根据要分组的内容的重叠来执行多个分组操作，其示例在图11中示出。
图11示出根据本公开的各种实施例的由电子装置提供的UI的示例。
参照图11，根据各种实施例的基于AR的UI可包括以上参照图5描述的元素，并且将省略其详细描述。
如图11所示，根据各种实施例，位于同一行(例如，z轴1110)上的多个内容之中的与可重叠的卡相应的至少一些内容可被分类为要分组的内容，并且可在组卡1120中被提供。根据各种实施例，位于同一行(例如，z轴1110)上的多个内容之中的与不重叠的卡相应的内容可在单卡1130中被提供。
根据各种实施例，基于要分组的内容是否重叠，多个组卡也可在同一行(例如，z轴1110)上被提供。例如，当多个内容在图11中的单卡1130的位置处重叠时，组卡可代替单卡1130被提供。在这种情况下，第一组卡1120和第二组卡(未示出)可在AR屏幕的z轴1110上被提供。
如上所述，根据各种实施例，当在观看方向上的同一行上存在多个内容时，可根据电子装置的配置提供各种分组方法。根据一个实施例，使用第一分组方法，同一行上的所有多个内容可被分组并在组卡中被提供。根据一个实施例，使用第二分组方法，同一行上的多个内容之中的仅重叠的内容可被分组并在至少一个组卡中被提供，并且同一行上的多个内容之中的不重叠的内容可在单卡中被提供。
图12是示出根据本公开的各种实施例的电子装置的操作方法的流程图。
图12示出根据本公开的各种实施例的提供基于AR的UI的操作的示例。
在操作1201中，电子装置的处理器210可实现AR功能。根据一个实施例，处理器210可基于来自用户的执行AR应用的请求来处理AR功能的实现。
在操作1203中，处理器210可获得全向内容。根据一个实施例，当执行了AR应用时，处理器210可获得真实对象(例如，实际图像)、位置信息、传感器信息和关于在电子装置的当前位置设置的半径(例如，100米、200米、300米或500米)和类别中的真实对象的详细信息。处理器210可基于获得的详细信息中的至少一些信息来识别全向(例如，360度)内容(例如，在任意方向上设置的半径和类别中的内容)。
在操作1205中，处理器210可确定与观看方向相应的内容。根据各种实施例，处理器210可基于获得的详细信息中的至少一些信息在全向(例如，360度)内容之中确定(提取)与用户当前正在观看的观看方向(或者电子装置的朝向，例如，所有方向之中的特定角度(例如，15度))相应的内容。
在操作1207中，处理器210可对在观看方向上重叠的内容(例如，同一行上的多个内容)进行分组。根据一个实施例，如上所述，处理器210可使用第一分组方法对位于针对z轴的同一行上的多个内容进行分组，或者可使用第二分组方法对所述多个内容进行分组。
在操作1209中，处理器210可产生与对应于观看方向的内容相关联的卡。根据一个实施例，处理器210可划分分组的内容和未分组的内容，并且可产生至少一个组卡和至少一个单卡。
在操作1211中，处理器210可产生与全向内容相应的全向对象。根据各种实施例，处理器210可基于获得的详细信息中的至少一些信息(例如，位置、距离或方向)产生提供全向内容(例如，在任意方向上设置的类别和半径中的内容)的内容分布(或密度)的全向对象(例如，图5的全向对象560)。在各种实施例中，可在操作1203之后或与操作1203并行地执行产生全向对象的操作。
在操作1213中，处理器210可在AR屏幕上的真实对象上显示卡和全向对象。根据各种实施例，处理器210可显示映射到真实对象的卡，其中，可通过应用设置的特殊效果以区别的方式提供与用户偏好的内容相应的卡。
图13是示出根据本公开的各种实施例的电子装置的操作方法的流程图。
图13示出根据本公开的各种实施例的产生与内容相应的卡、根据卡是否重叠来对卡进行分组以及提供组卡的示例。
在操作1301中，电子装置的处理器210可实现AR功能。根据一个实施例，处理器210可基于来自用户的执行AR应用的请求来处理AR功能的实现。
在操作1303中，处理器210可获得全向内容。根据一个实施例，当执行了AR应用时，处理器210可获得真实对象(例如，实际图像)、位置信息、传感器信息和关于在电子装置的当前位置处设置的半径和类别中的真实对象的详细信息。处理器210可基于获得的详细信息中的至少一些信息来识别全向(例如，360度)内容(例如，在任意方向上设置的半径和类别中的内容)。
在操作1305中，处理器210可产生关于全向内容的卡。根据一个实施例，处理器210可产生与全向内容相应的单独的卡(或卡信息)，并且可存储(例如，临时存储)并管理所述卡。
在操作1307中，处理器210可提取与观看方向相应的卡。根据一个实施例，处理器210可确定观看方向，并且可从分别与全向内容相应的卡提取与观看方向相应的至少一个卡。在各种实施例中，处理器210可基于获得的详细信息中的至少一些信息(例如，位置、距离或方向)来提取与观看方向相应的卡。
在操作1309中，处理器210可确定提取的卡中的重叠的卡。根据各种实施例，处理器210可识别具有至少一部分与对应于观看方向的卡中的至少一个不同的卡重叠的卡。根据各种实施例，处理器210可被配置为仅识别以设置的重叠程度或更大的重叠程度重叠的卡。
在操作1311中，处理器210可对重叠的卡进行分组。例如，处理器210可对基于操作1309中的确定结果提取的至少两个或更多个卡进行分组以产生组卡。
在操作1313中，处理器210可显示卡。根据一个实施例，处理器210可处理未分组的单卡和被分组以在显示器上的AR屏幕上显示的组卡。
图14示出根据本公开的各种实施例的由电子装置提供的UI的示例。
图14示出根据本公开的各种实施例的用于基于组卡上的用户交互提供与组卡的各个内容(或各个卡)有关的详细信息的UI(下文中，详细信息UI或详细信息显示屏幕)的示例。
如图14所示，详细信息UI可包括第一信息区域1401、第二信息区域1403和第三信息区域1405，并且可包括用于实现与AR功能相关联的另一功能(例如，地图、共享和搜索功能)或和与AR功能相关联的另一功能(例如，地图、共享和搜索功能)交互工作的功能菜单1460、1470和1480。
在各种实施例中，如上面参考图5所描述的，可例如通过特定卡(例如，组卡或单卡)上的用户交互(例如，触摸)来提供详细信息UI。根据一个实施例，当电子装置感测到单卡上的用户交互时，电子装置可显示包括关于所述单卡的相应内容的详细信息的UI。根据一个实施例，当电子装置感测到组卡上的用户交互时，电子装置可显示包括与组卡的最上面的卡的相应内容相关的详细信息的UI，其中，该UI还可包括用于导航到另一个被分组的卡的内容的切换对象(例如，图14的元素1400)。
在各种实施例中，第一信息区域1401可表示显示与用户选择的卡的内容有关的多媒体对象(例如，图像或视频)的图像区域。第二信息区域1403可表示用于提供被选择的卡(或内容)的标题、类别或地址信息的区域。第三信息区域1405可表示用于提供关于被选择的卡(或内容)的联系号码(例如，电话号码)或URL的信息的区域。
根据各种实施例，用户可经由第一信息区域1401使用用户交互(例如，触摸)在第一信息区域1401中播放多媒体对象。根据各种实施例，用户可经由第二信息区域1403使用用户交互(例如，触摸)基于用户的当前位置显示地图信息(例如，地图)。
根据各种实施例，用户可经由第三信息区域1405使用用户交互(例如，触摸)来执行呼叫功能或主页访问功能。根据一个实施例，电子装置可响应于检测到对第三信息区域1405中的电话号码的选择来开启(运行)呼叫拨号器。根据一个实施例，电子装置可响应于检测到对第三信息区域1405中的URL的选择而开启(运行)浏览器。
在各种实施例中，功能菜单可被包括在第三信息区域1405中。在各种实施例中，功能菜单可包括例如：用于基于用户的当前位置显示地图信息(例如，地图)的地图菜单1460、用于支持与另一电子装置(或用户)共享当前显示在详细信息UI上的内容的共享菜单1470、和用于支持与当前显示在详细信息UI上的内容有关的信息搜索(例如，互联网搜索)的搜索菜单1480。
在各种实施例中，图14的元素1450可以是表示内容或卡的类别(或属性)的信息对象。例如，信息对象1450可在详细信息UI的一个区域中(例如，在图像区域的左上方)被提供。在各种实施例中，信息对象1450可基于设置的文本、图像或图标来表示类别(或属性)。
根据各种实施例，当根据组卡上的用户交互来运行详细信息UI时，详细信息UI可包括用于导航到另一个被分组的卡的内容的切换对象1400，在分别显示为图14中的对象[A]和[B]的示例(A)和(B)中示出。根据一个实施例，示例(A)中的详细信息UI可以是与组卡的第一卡(例如，最上面的卡)相关联的UI。根据一个实施例，示例(B)中的详细信息UI可以是与第一卡之前或之后的第二卡(例如，最上面的卡下方的卡)相关联的UI。
根据各种实施例，可提供用于切换到与第一卡和第二卡有关的详细信息的切换对象1400。切换对象1400可以包括：用于切换到组卡之前的卡上的详细信息的第一对象1410和1430、和用于切换到组卡之后的卡上的详细信息的第二对象1420。根据各种实施例，当在当前卡之前或之后没有卡时，可将切换对象1400的第一对象或第二对象处理为暗淡(例如，半透明或阴影)，从而向用户指示不存在在前的卡或后续的卡。例如，示例(A)中示出的第一对象1410因为没有在前的卡而被处理为暗淡，并且示例(B)中示出的第一对象1430被正常指示，表示存在在前卡。根据一个实施例，当示例(A)通过用户在示例(A)中选择第二对象1420(或使用第一信息区域1401的用户交互(例如，触摸手势))而切换到示例(B)时，示例(A)中的第一对象1410可被改变为示例(B)中的第一对象1430。
根据各种实施例，可基于切换对象1400或基于用户的触摸手势(例如，滑动、轻弹或拖动)来执行多条详细信息之间的切换。
图15示出根据本公开的各种实施例的由电子装置提供的UI的示例。
图15示出根据本公开的各种实施例的基于用户交互在AR屏幕1410和1420上提供用户位置地图的示例。
如分别显示为图15中的对象[A]和[B]的示例(A)和(B)中所示，包括用户位置信息和周围信息的地图可通过AR屏幕1410和1420上的弹出窗口1450被提供。在各种实施例中，可通过从用户的位置捕获整个地图的特定范围并将所述范围作为图像提供来获得示例(A)和(B)中显示的地图。
图15的示例(A)示出根据如上参照图5描述的全向对象560上的用户交互来提供地图的示例。根据一个实施例，用户可触摸全向对象560，并且电子装置可响应于经由全向对象560检测到用户交互，基于AR屏幕1410上的指定透明度级别以覆盖形式提供地图。
根据各种实施例，可在用户正在观看AR屏幕1410的状态(例如，电子装置正在从正面拍摄现实世界的状态)下输入全向对象560上的用户交互。因此，在各种实施例中，当显示地图时，可在保持AR屏幕1410的状态(例如，当前状态包括包含实际图像、卡、全向对象等的所有元素)的同时在最上层提供地图。然而，本公开不限于前述配置，并且可在AR屏幕1410上仅保持一些元素(例如，实际图像)的同时在最上层中提供地图。
图15的示例(B)示出根据电子装置的状态变化(例如，位置变化)引起的交互来提供地图的示例。根据一个实施例，如图5所示，用户可改变电子装置的状态，以便在用户正在观看AR屏幕510的状态(例如，电子装置正从正面拍摄现实世界的状态)下调用用户位置地图(或基于用户位置的地图)。根据一个实施例，如图15的示例(B)中所示，用户可做出向下倾斜电子装置的动作(例如，使电子装置倾斜以便与地面水平并向下拍摄现实世界)。例如，如在AR屏幕1420中那样，电子装置可拍摄在用户脚的水平处地面。根据各种实施例，响应于检测到状态变化，电子装置可在AR屏幕1420上基于指定透明度级别以覆盖形式提供地图。
根据各种实施例，由于状态变化引起的交互可基于用户调整电子装置以面向地面的状态来操作。因此，在用户位置(例如，在脚处)可能没有内容或没有预期的内容。因此，在各种实施例中，当显示地图时，可在仅显示AR屏幕1420的实际图像的组件的同时在最上层中提供地图。根据一个实施例，示例(B)中示出的AR屏幕1420可与由相机捕获的预览屏幕相应。根据各种示例性实施例，当在示例(B)的状态下检测到返回到原始状态的状态变化时，电子装置可在显示地图之前显示原始AR屏幕510。
根据各种实施例，用户可基于用于改变电子装置的状态的手势(例如，向下看、向上看等)显示地图或者可返回到并显示包括所有组件的AR屏幕。
图16是示出根据本公开的各种实施例的电子装置的操作方法的流程图。
图16示出根据本公开各种实施例的根据电子装置的状态变化(或位置变化)引起的交互在AR屏幕上提供用户位置地图的示例。根据各种实施例，电子装置可预先配置用于在AR功能实现的情况下调用并显示用户位置地图的第一交互(或关于用户动作(例如，移动)的信息)、以及用于取消显示地图并用于返回到原始状态(例如，AR功能实现的状态)的第二交互。在各种实施例中，第一交互可以是例如与电子装置的前后(或者来回)倾斜相应的向下看手势，并且第二交互可以是例如与电子装置的前后(或者来回)倾斜相应的向上看手势。
在操作1601中，电子装置的处理器210可显示UI。根据一个实施例，处理器210可执行AR应用并且可基于获得的详细信息显示如图5所示的UI(下文中，“第一UI”)。
在操作1603中，处理器210可确定电子装置是否具有与向下看位置(例如，第一位置)相应的状态变化。根据一个实施例，处理器210可监视电子装置的位置并且可基于关于电子装置的位置信息的变化(例如，俯仰、滚动、偏航等)来确定状态变化(例如，电子装置的位置)。
当在操作1603中未检测到电子装置向下看的状态时(操作1603中的否)，处理器210可返回到操作1601并且可执行操作1601和后续操作。
当在操作1603中检测到电子装置向下看的状态时(操作1603中的是)，处理器210可在操作1605中在UI上显示用户位置地图。根据一个实施例，处理器210可基于如上面在图15的示例(B)中所示的UI(下文中称为“第二UI”)显示地图。
在操作1607中，处理器210可确定电子装置是否具有与向上看位置(例如，第二位置)相应的状态变化。根据一个实施例，处理器210可在显示地图的状态(例如，第一位置状态)下监视电子装置的位置(例如，状态变化)。
当在操作1607中未检测到电子装置向上看的状态时(操作1607中的否)，例如，当确定电子装置向下看并保持第一位置时，处理器210可返回到操作1605并且可执行操作1605和后续操作。
当在操作1607中检测到电子装置向上看的状态时(操作1607中的是)，处理器210可在操作1609中显示UI。根据一个实施例，当检测到从向下看位置(第一位置)到向上看位置(第二位置)的状态变化时，处理器210可基于检测结果在操作1601中显示与不包括地图的第一UI相应的UI。例如，处理器210可提供从第二UI切换到的第一UI。
如上所述，根据各种实施例的电子装置的操作方法可包括：实现AR功能；根据用户的观看方向上的设置标准来确定多个内容；将所述多个内容分组为至少一组；基于分组结果产生与多个内容相应的组卡和与单个内容相应的单卡；并在AR屏幕上显示映射到真实对象的组卡和单卡。
根据各种实施例，所述设置标准可包括与观看方向上的同一方向、同一行或同一角度有关的标准。
根据各种实施例，所述设置标准可基于观看方向上的至少一个z轴来设置。
根据各种实施例，产生卡的步骤可包括：响应于AR功能的实现，获得与真实对象有关的详细信息；基于详细信息中的至少一些信息，基于观看方向上的设置标准来确定多个内容；根据所述设置标准，当存在多个内容时，对多个内容进行分组并产生与分组的内容相应的组卡；根据所述设置标准，当存在单个内容时，产生与单个内容相应的单卡。
根据各种实施例，产生组卡的步骤可包括：产生以下类型中的任意一种类型的组卡：将与属于多个内容的各个内容相应的多个信息卡显示为一组的组类型、包括指示关于分组的内容的数量的信息的徽章对象的徽章类型、和基于用于区分组卡与单卡的效果来显示组卡的突出显示类型。
根据各种实施例，分组的步骤可包括对与观看方向上的设置标准相应的所有多个内容进行分组。
根据各种实施例，分组的步骤可包括基于与观看方向上的设置标准相应的所述多个内容的重叠程度，对与所述设置标准相应的所述多个内容之中的至少一些内容进行分组。
根据各种实施例，该方法还可包括：基于组卡上的第一用户交互来显示与分组的多个内容相关联的细节页面；并基于组卡上的第二用户交互来切换到按组卡显示的信息卡并显示该信息卡。
根据各种实施例，该方法还可包括基于与电子装置的状态变化有关的交互来显示用户位置地图。
根据各种实施例，所述地图可以是通过基于用户位置捕获特定范围并将所述范围作为图像提供而获得的地图。
尽管已参照本公开的各种实施例示出并描述了本公开，但本领域中的技术人员将明白：在不脱离由所附权利要求和它们的等同物限定的本公开的精神和范围的情况下，可对其进行形式和细节上的各种改变。

Claims (15)

1.一种电子装置，包括：
相机；
显示器，用于显示增强现实AR屏幕；和
至少一个处理器，功能性地连接到相机模块和显示器，
其中，所述至少一个处理器被配置为：
实现AR功能，
根据用户的观看方向上的设置标准来确定多个内容，
将所述多个内容分组到至少一组，
基于分组结果，产生与所述多个内容相应的组卡和与单个内容相应的单卡，并且
在AR屏幕上显示映射到真实对象的组卡和单卡。
2.根据权利要求1所述的电子装置，其中，所述设置标准包括与所述观看方向上的同一方向、同一行或同一角度有关的标准。
3.根据权利要求1所述的电子装置，其中，所述至少一个处理器还被配置为：
响应于AR功能的实现，获得与真实对象有关的详细信息；
基于所述详细信息中的至少一些信息，基于所述观看方向上的所述设置标准来确定多个内容；
根据所述设置标准，当存在多个内容时，对所述多个内容进行分组并产生与分组的内容相应的组卡；
根据所述设置标准，当存在单个内容时，产生与所述单个内容相应的单卡。
4.根据权利要求3所述的电子装置，其中，所述至少一个处理器还被配置为产生以下类型中的任意一种类型的组卡：
组类型，将与属于多个内容的各个内容相应的多个信息卡显示为一组，
徽章类型，包括指示关于分组的内容的数量的信息的徽章对象，以及
突出显示类型，基于用于区分组卡与单卡的效果来显示组卡。
5.根据权利要求1所述的电子装置，其中，所述至少一个处理器还被配置为：基于与所述观看方向上的所述设置标准相应的所述多个内容的重叠程度，对与所述设置标准相应的所述多个内容中的至少一些内容进行分组。
6.根据权利要求1所述的电子装置，其中，所述至少一个处理器还被配置为：
基于组卡上的第一用户交互，显示与分组的多个内容相关联的细节页面；并且
基于组卡上的第二用户交互，切换到按组卡显示的信息卡并显示所述信息卡。
7.根据权利要求1所述的电子装置，其中，所述至少一个处理器还被配置为基于与电子装置的状态变化有关的交互来显示用户位置地图。
8.一种电子装置的操作方法，所述方法包括：
实现增强现实AR功能并显示AR屏幕；
根据用户的观看方向上的设置标准来确定多个内容；
将所述多个内容分组为至少一组；
基于分组结果产生与所述多个内容相应的组卡和与单个内容相应的单卡；并且
在AR屏幕上显示映射到真实对象的组卡和单卡。
9.根据权利要求8所述的方法，其中，所述设置标准包括与所述观看方向上的同一方向、同一行或同一角度有关的标准。
10.根据权利要求8所述的方法，其中，产生组卡的步骤包括：
响应于AR功能的实现，获得与真实对象相关的详细信息；
基于所述详细信息中的至少一些信息，基于所述观看方向上的所述设置标准来确定多个内容；
根据所述设置标准，当存在多个内容时，对所述多个内容进行分组并产生与分组的内容相应的组卡；并且
根据所述设置标准，当存在单个内容时，产生与所述单个内容相应的单卡。
11.根据权利要求10所述的方法，其中，产生组卡的步骤还包括：
产生以下类型中的任意一种类型的组卡：
组类型，将与属于多个内容的各个内容相应的多个信息卡显示为一组，
徽章类型，包括指示关于分组的内容的数量的信息的徽章对象，以及
突出显示类型，基于用于区分组卡与单卡的效果来显示组卡。
12.根据权利要求8所述的方法，其中，对所述多个内容进行分组的步骤包括：基于与所述观看方向上的所述设置标准相应的所述多个内容的重叠程度，对与所述设置标准相应的所述多个内容中的至少一些内容进行分组。
13.根据权利要求8所述的方法，还包括：
基于组卡上的第一用户交互，显示与分组的多个内容相关联的细节页面；并且
基于组卡上的第二用户交互，切换到按组卡显示的信息卡并显示所述信息卡。
14.根据权利要求8所述的方法，还包括：
基于与电子装置的状态变化有关的交互来显示用户位置地图。
15.根据权利要求8所述的方法，
其中，组卡或单卡中的至少一个被叠置在由电子装置的相机正拍摄或查看的图像上，并且
其中，所述图像显示在电子装置的显示器上。
CN201880022450.7A 2017-03-27 2018-03-27 用于在电子装置中提供增强现实功能的方法和设备 Active CN110476189B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2017-0038505 2017-03-27
KR1020170038505A KR102330829B1 (ko) 2017-03-27 2017-03-27 전자 장치에서 증강현실 기능 제공 방법 및 장치
PCT/KR2018/003586 WO2018182279A1 (en) 2017-03-27 2018-03-27 Method and apparatus for providing augmented reality function in electronic device

Publications (2)

Publication Number Publication Date
CN110476189A true CN110476189A (zh) 2019-11-19
CN110476189B CN110476189B (zh) 2023-08-18

Family

ID=63582342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880022450.7A Active CN110476189B (zh) 2017-03-27 2018-03-27 用于在电子装置中提供增强现实功能的方法和设备

Country Status (5)

Country Link
US (1) US10502580B2 (zh)
EP (1) EP3586316B1 (zh)
KR (1) KR102330829B1 (zh)
CN (1) CN110476189B (zh)
WO (1) WO2018182279A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
US20190311525A1 (en) * 2018-04-05 2019-10-10 Lumini Corporation Augmented reality object cluster rendering and aggregation
CN112513713B (zh) * 2018-07-23 2022-07-15 奇跃公司 用于地图构建的系统和方法
KR102162873B1 (ko) 2018-10-16 2020-10-07 주식회사 하이쓰리디 현실 공간에 가상의 객체를 설치하는 증강 현실을 제공하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR102543695B1 (ko) 2019-01-18 2023-06-16 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
KR102204435B1 (ko) 2019-01-22 2021-01-18 주식회사 하이쓰리디 무인항공기를 이용한 증강현실을 제공하기 위한 장치, 이를 위한 방법 및 이 방법이 기록된 기록매체
KR102178383B1 (ko) * 2019-03-07 2020-11-12 (주)테슬라시스템 드론 동영상에 lod 기반 증강현실 부가정보를 합성하여 재생하는 방법
JP7286760B2 (ja) * 2019-04-09 2023-06-05 マクセル株式会社 ヘッドマウント情報処理装置
US10984242B1 (en) * 2019-09-05 2021-04-20 Facebook Technologies, Llc Virtual proximity compass for navigating artificial reality environments
KR20210083574A (ko) * 2019-12-27 2021-07-07 (주) 아키드로우 가상 공간 인테리어를 이용한 인터페이스 제공 방법 및 그 장치
KR102384468B1 (ko) * 2020-01-22 2022-04-11 사회복지법인 삼성생명공익재단 소아용 채혈 압박 장치
US11579847B2 (en) * 2020-06-10 2023-02-14 Snap Inc. Software development kit engagement monitor
KR20220062938A (ko) * 2020-11-09 2022-05-17 삼성전자주식회사 가상현실 서비스를 제공하는 전자 장치 및 방법
KR20220110967A (ko) * 2021-02-01 2022-08-09 현대자동차주식회사 사용자 단말 및 그 제어 방법
CN113591030B (zh) * 2021-08-17 2024-01-30 东北大学 基于多gpu的重力梯度数据灵敏度矩阵压缩及调用方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110161875A1 (en) * 2009-12-29 2011-06-30 Nokia Corporation Method and apparatus for decluttering a mapping display
CN102469373A (zh) * 2010-11-15 2012-05-23 Lg电子株式会社 图像显示装置及其操作方法
US20120223966A1 (en) * 2010-12-28 2012-09-06 Pantech Co., Ltd. Terminal to provide augmented reality
CN103853913A (zh) * 2012-12-03 2014-06-11 三星电子株式会社 操作增强现实内容的方法及支持该方法的装置和系统
US20150049080A1 (en) * 2011-09-26 2015-02-19 Nokia Corporation Method and Apparatus for Rendering Items in a User Interface
US20160049013A1 (en) * 2014-08-18 2016-02-18 Martin Tosas Bautista Systems and Methods for Managing Augmented Reality Overlay Pollution

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8711176B2 (en) * 2008-05-22 2014-04-29 Yahoo! Inc. Virtual billboards
KR100985737B1 (ko) * 2010-02-05 2010-10-06 (주)올라웍스 단말 장치의 시야에 포함되는 객체에 대한 정보를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US9488488B2 (en) * 2010-02-12 2016-11-08 Apple Inc. Augmented reality maps
KR101329882B1 (ko) * 2010-08-12 2013-11-15 주식회사 팬택 Ａｒ 정보창 표시를 위한 사용자 장치 및 그 방법
US9710554B2 (en) 2010-09-23 2017-07-18 Nokia Technologies Oy Methods, apparatuses and computer program products for grouping content in augmented reality
US8723888B2 (en) * 2010-10-29 2014-05-13 Core Wireless Licensing, S.a.r.l. Method and apparatus for determining location offset information
KR101350033B1 (ko) * 2010-12-13 2014-01-14 주식회사 팬택 증강 현실 제공 단말기 및 방법
KR101330808B1 (ko) * 2011-01-27 2013-11-18 주식회사 팬택 증강 현실 편집 장치
US9495783B1 (en) 2012-07-25 2016-11-15 Sri International Augmented reality vision system for tracking and geolocating objects of interest
EP2888634A4 (en) * 2012-08-27 2016-04-06 Empire Technology Dev Llc DISPLAY OF THE GEOGRAPHICAL ORIGIN OF A DIGITALLY COMMUNICATED COMMUNICATION
US9367961B2 (en) * 2013-04-15 2016-06-14 Tencent Technology (Shenzhen) Company Limited Method, device and storage medium for implementing augmented reality
KR101515484B1 (ko) * 2013-05-31 2015-04-29 전자부품연구원 증강현실정보 제공 장치 및 그 방법
KR20150087985A (ko) * 2014-01-23 2015-07-31 한국전자통신연구원 안전운행정보 표출 장치 및 그 방법
KR20160001178A (ko) * 2014-06-26 2016-01-06 엘지전자 주식회사 글래스 타입 단말기 및 이의 제어방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110161875A1 (en) * 2009-12-29 2011-06-30 Nokia Corporation Method and apparatus for decluttering a mapping display
CN102469373A (zh) * 2010-11-15 2012-05-23 Lg电子株式会社 图像显示装置及其操作方法
US20120223966A1 (en) * 2010-12-28 2012-09-06 Pantech Co., Ltd. Terminal to provide augmented reality
US20150049080A1 (en) * 2011-09-26 2015-02-19 Nokia Corporation Method and Apparatus for Rendering Items in a User Interface
CN103853913A (zh) * 2012-12-03 2014-06-11 三星电子株式会社 操作增强现实内容的方法及支持该方法的装置和系统
US20160049013A1 (en) * 2014-08-18 2016-02-18 Martin Tosas Bautista Systems and Methods for Managing Augmented Reality Overlay Pollution

Also Published As

Publication number Publication date
EP3586316B1 (en) 2023-07-19
CN110476189B (zh) 2023-08-18
EP3586316C0 (en) 2023-07-19
WO2018182279A1 (en) 2018-10-04
EP3586316A1 (en) 2020-01-01
US10502580B2 (en) 2019-12-10
KR102330829B1 (ko) 2021-11-24
US20180274936A1 (en) 2018-09-27
EP3586316A4 (en) 2020-03-04
KR20180109229A (ko) 2018-10-08

Similar Documents

Publication Publication Date Title
CN110476189A (zh) 用于在电子装置中提供增强现实功能的方法和设备
US10834814B2 (en) Foldable electronic device and control method thereof
KR102491287B1 (ko) 전자 장치
US10289376B2 (en) Method for displaying virtual object in plural electronic devices and electronic device supporting the method
US10929005B2 (en) Electronic device, wearable device, and method of controlling displayed object in electronic device
EP3018561B1 (en) Virtual environment for sharing information
KR102360453B1 (ko) 카메라 설정 방법 및 장치
US20160349936A1 (en) Method for outputting screen and electronic device supporting the same
CN108076217A (zh) 用于显示使用图标的应用的执行屏幕的电子装置和方法
CN105607696A (zh) 控制屏幕的方法以及用于处理该方法的电子设备
CN107016950A (zh) 用于操作电子设备的方法和支持该方法的电子设备
CN107924314A (zh) 用于执行应用的设备和方法
CN107665485A (zh) 用于显示图形对象的电子装置和计算机可读记录介质
KR102343990B1 (ko) 디스플레이의 서로 다른 영역을 독립적으로 제어하는 전자 장치 및 방법
CN107037966A (zh) 感测输入的压力的电子设备和用于操作电子设备的方法
CN107835969A (zh) 对电子设备的触摸感测模块进行控制的方法、电子设备、对设置在电子设备中的触摸感测模块进行操作的方法以及触摸感测模块
CN106250738A (zh) 用于执行个人认证的电子装置及其方法
CN109416616A (zh) 电子装置及其操作方法
CN108462818A (zh) 电子设备及用于在该电子设备中显示360度图像的方法
CN110050279A (zh) 用于感测指纹的电子设备和方法
CN108427533A (zh) 电子设备及用于确定电子设备的环境的方法
CN110221761A (zh) 显示方法及终端设备
CN105446611A (zh) 用于对触摸输入进行处理的装置及其方法
CN108475162A (zh) 用于显示用户界面的方法和用于支持该方法的电子装置
CN109952556A (zh) 控制使用触摸屏的电子装置上的应用的运行的方法及其电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant