CN105190704A - 用于提供包括增强现实信息的内容的方法和装置 - Google Patents

用于提供包括增强现实信息的内容的方法和装置 Download PDF

Info

Publication number
CN105190704A
CN105190704A CN201480026236.0A CN201480026236A CN105190704A CN 105190704 A CN105190704 A CN 105190704A CN 201480026236 A CN201480026236 A CN 201480026236A CN 105190704 A CN105190704 A CN 105190704A
Authority
CN
China
Prior art keywords
augmented reality
information
content
control module
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480026236.0A
Other languages
English (en)
Other versions
CN105190704B (zh
Inventor
郑镇会
孙泰焕
李公旭
李骏镐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN105190704A publication Critical patent/CN105190704A/zh
Application granted granted Critical
Publication of CN105190704B publication Critical patent/CN105190704B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

提供了增强现实内容提供方法和装置。所述方法和装置包括通过将增强现实信息融合到图像上并更新图像上的增强现实信息来生成增强现实内容。根据本公开的用于提供包括增强现实信息的内容的方法包括：显示通过摄像机输入的预览图像和应用到所述预览图像上的增强现实信息；响应于增强现实内容创建请求，捕获预览图像作为图像；以及通过将所述图像与所述增强现实信息进行组合来生成增强现实内容。

Description

用于提供包括增强现实信息的内容的方法和装置
技术领域
本公开涉及用于提供包括增强现实信息的内容的方法和装置。更具体地，本公开涉及用于通过将增强现实信息融合到图像上并更新图像上的增强现实信息来生成增强现实内容的增强现实内容提供方法和装置。
背景技术
随着智能技术的出现，便携式设备已经朝向整合不同且复杂的功能演进。近来，已经针对用三维(3D)虚拟信息来丰富通过摄像机观看的真实环境的增强现实(AR)进行了研究。
当前的AR技术无非用于将虚拟信息覆盖到通过摄像机输入的预览图像上。因此，需要更积极地管理并提供AR信息的方法，以满足用户对于移动终端的增强功能的需要。
以上信息仅被呈现为背景信息，以用于辅助对本公开的理解。至于任何上述内容是否可用作关于本公开的现有技术未做出确定，也未做出断言。
发明内容
技术问题
本公开的方面要解决至少上述问题和/或缺点，并提供至少以下优点。因此，本公开的方面旨在提供一种用于提供通过将通过摄像机输入的图像与增强现实(AR)信息融合而丰富了的内容的方法和装置。
本公开的另一方面旨在提供一种用于提供用增强现实信息丰富了的内容的方法和装置，其中所述增强现实信息与图像相关联地存储并周期性地被更新。
本公开的另一方面旨在提供一种提供增强现实丰富的内容的方法和装置，其中增强现实丰富的内容是通过响应于图像显示请求在图像上覆盖增强现实信息生成的。
问题的解决方案
根据本公开的一方面，提供了一种用于提供包括增强现实信息的内容的方法。所述方法包括：显示通过摄像机输入的预览图像和应用到所述预览图像上的增强现实信息；响应于增强现实内容创建请求，捕获预览图像作为图像；以及通过将所述图像与所述增强现实信息进行组合来生成增强现实内容。
根据本公开的另一方面，提供了一种提供包括增强现实信息的内容的装置。所述装置包括：摄像机单元，被配置为捕获图像；显示单元，被配置为显示通过摄像机单元捕获的预览图像和应用到所述预览图像上的增强现实信息；以及控制单元，被配置为响应于增强现实内容创建请求来捕获预览图像作为图像；并通过将所述图像与增强现实信息进行组合来生成增强现实内容。
根据本公开的另一方面，提供了一种用于提供增强现实信息的服务器。服务器包括：通信单元，被配置为与电子设备进行通信，以及控制单元，被配置为接收针对与通过电子设备捕获的预览图像相关联的增强现实信息的请求，并发送与通过电子设备捕获的预览图像相关联的增强现实信息。
根据以下详细描述，本公开的其他方面、优点和突出特征对于本领域技术人员将显而易见，以下详细描述结合附图公开了本公开的各实施例。
发明的有益效果
本公开的AR内容提供方法和装置在通过持续地更新AR内容来丰富用户与便携式设备之间的交互方面是有利的。
附图说明
根据结合附图给出的以下说明，本公开的特定实施例的以上及其他方面、特征和优点将更加显而易见，在附图中：
图1是示出了根据本公开的实施例的移动终端的配置的框图；
图2是示出了根据本公开的实施例创建增强现实(AR)内容的过程的流程图；
图3是示出了根据本公开的实施例通过将AR信息组合到预览图像上来创建AR内容的过程的流程图；
图4是示出了根据本公开的实施例通过摄像机单元(例如图1的摄像机单元)拍摄的图像的屏幕显示的图；
图5是示出了根据本公开的实施例通过将AR信息融合到预览图像上而生成的最终图像的屏幕显示的图；
图6是示出了根据本公开的实施例基于预览图像创建AR内容的过程的流程图；
图7是示出了根据本公开的实施例在创建AR内容中所使用的模版的图；
图8是示出了根据本公开的实施例的AR内容提供方法的AR内容更新过程的流程图；
图9是示出了根据本公开的实施例的AR内容提供方法的AR内容更新过程的流程图；
图10是示出了根据本公开的实施例的AR内容提供方法的内容显示过程的流程图；
图11是示出了根据本公开的实施例用缩略图形式示出AR内容列表的屏幕显示的图；
图12是示出了根据本公开的实施例通过将AR信息与图像进行组合来创建AR内容的原理的图；
图13是示出了根据本公开的实施例具有进度条的AR内容的屏幕显示的图；
图14是示出了根据本公开的实施例在更新之前的AR内容的旧版本的屏幕显示的图；
图15是示出了根据本公开的实施例显示可用于AR内容的AR信息列表的屏幕显示的图；
图16是示出了根据本公开的实施例向其添加了补充AR信息的AR内容的屏幕显示的图。
贯穿附图，应当注意的是，类似的附图标记用于描绘相同或类似的元素、特征和结构。
具体实施方式
提供参照所附附图的以下描述，以辅助对由权利要求和它们的等价形式所限定的本公开的各实施例的全面理解。以下描述包括各具体细节，以辅助理解，但是这些具体细节被认为是仅是示例性的。因此，本领域普通技术人员将认识到可以在不偏离本公开的精神和范围的情况下做出对本文所描述的各实施例的各种改变和修改。此外，为了清楚和简明，可以省略对已知功能和结构的描述。
以下说明书和权利要求中所使用的术语和词语不限于字面含义，而是仅由发明人用于实现对本公开的清楚和一致的理解。因此，本领域技术人员将显而易见的是，提供对本公开的各实施例的以下描述，仅用于说明的目的而不用于限制由所附权利要求和它们的等价形式所限定的本公开。
将理解的是，除非上下文另外清楚地指示，否则单数形式”一(a)”、“一个(an)”和“该”包括复数形式。因此，例如对“组件表面”的引用包括对一个或更多个这种表面的引用。
本公开的各实施例涉及控制提供增强现实(AR)内容的移动终端。
根据本公开的各实施例，电子设备可以包括通信功能。例如，电子设备可以是智能电话、平板个人计算机(PC)、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本PC、个人数字助理(PDA)、便携式多媒体播放器(PMP)、mp3播放器、移动医疗设备、相机、可穿戴设备(例如，头戴式设备(HMD)、电子服饰、电子手环、电子项链、电子配饰、电子纹身、智能手表)等。
根据本公开的各实施例，电子设备可以是具有通信功能的智能家电。智能家电可以是例如电视、数字视频盘(DVD)播放器、音响、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、烘干机、空气净化器、机顶盒、TV盒(例如，SamsungHomeSyncTM、AppleTVTM、或GoogleTVTM)、游戏机、电子词典、电子钥匙、便携式摄像机、电子相框等。
根据本公开的各实施例，电子设备可以是医疗设备(例如，磁共振血管造影术(MRA)设备、磁共振成像(MRI)设备、计算断层扫描(CT)设备、成像设备或超声设备等)、导航设备、全球定位系统(GPS)接收机、行车数据记录仪(EDR)、飞行数据记录仪(FDR)、汽车信息娱乐设备、船用电子设备(例如船用导航设备、陀螺仪或罗盘)、航空电子设备、安保设备、工业或家用机器人等。
根据本公开的各实施例，电子设备可以是包括通信功能的家具、建筑物/结构的一部分、电子板、电子签名接收设备、投影仪、各种测量设备(例如用于水表、电表、气表、或电磁波测量设备)等。
根据本公开的各实施例，电子设备可以是上述设备的任意组合。此外，本领域普通技术人员将显而易见的是，根据本公开的各实施例的电子设备不限于上述设备。
本文所使用的术语仅用于描述特定实施例，而不旨在限制本公开。除非另外定义，否则本文所使用的所有术语具有与由本公开所属的领域的技术人员普遍理解的含义相同的含义，并且不应当被理解具有排他的广泛含义也不应当被理解为具有排他的收缩含义。如果本文所使用的技术术语是错误的(其无法准确地表达本公开的技术思想)，则应当用允许本领域技术人员适当理解的技术术语来替换该技术术语。本文所使用的一般术语应当根据字典中或上下文中的定义来解释，并且不应当被解释为排他的收缩含义。
如本文所使用的，除非上下文另外清楚地指示，否则单数形式的“一(a)”、“一个(an)”和“该”旨在也包括复数形式。还将理解的是，当在本文中使用时，术语“包括”、“包含”、“具有”和/或“含有”指示所陈述的特征、整数、步骤、操作、元素和/或组件的存在，但是不排除一个或更多个其他特征、步骤、操作、元素、组件和/或其群组的存在或添加。
下文将参照附图具体描述根据本公开的各实施例。
图1是示出了根据本公开的实施例的移动终端的配置的框图。
根据本公开的各实施例，移动终端100可以是电子设备。
参照图1，移动终端100包括通信单元110、输入单元120、摄像机单元130、传感器单元140、控制单元150、存储单元160和显示单元170。
通信单元110负责与外界进行数据通信。通信单元110可以包括用于对发射信号进行上变频并放大的发射机和用于对接收信号进行低噪声放大和下变频的接收机。
根据本公开的各实施例，通信单元110可以与服务器交换AR信息。通信单元110可以向服务器发送AR信息请求或更新后的AR信息请求。通信单元110还可以从服务器接收AR信息或更新推送。
如果检测到用户输入，则输入单元120生成到控制单元130的与用户输入相对应的输入信号。可以用按钮、梭动盘(jogdial)、滚轮、触摸传感器、电磁传感器、接近传感器、IR传感器等中的至少一个来实现输入单元120，以检测用人体的一部分、笔等做出的用户输入。
可以用输入板来实现输入单元120。可以用输入板上安装的多个传感器来实现输入单元120。还可以用以薄膜或面板的形式在输入板的表面上层压的触摸传感器来实现输入单元120。可以使用利用电磁传感器的电磁共振(EMR)或电磁干扰(EMI)类型输入板来实现输入单元120。可以用至少一个分层传感器的形式实现输入单元120，至少一个分层传感器用于使用多个传感器来检测任意输入。
可以用在显示单元150的屏幕表面上分层的输入屏幕的形式来实现输入单元120。例如，输入单元120可以包括具有触摸传感器的输入板和与显示单元150组合的触摸屏面板(TSP)。
根据本公开的各实施例，输入单元120可以检测AR内容生成请求、编辑请求(例如，添加AR信息的请求、删除AR信息的请求等)、AR内容显示请求等。
摄像机单元130可以构建(frame)包括至少一个对象的图像，并向控制单元150发送从图像转换得到的数据信号。控制单元150可以基于从摄像机单元130接收的数据信号来识别图像中的特定对象，或控制显示单元170在预览中显示图像。如果检测到拍摄请求，则控制单元150可以将图像处理成图片。控制单元150可以临时地或半永久地在存储单元160中存储图片。
传感器单元140可以包括用于检测移动终端100的当前状态的多个传感器。例如，传感器单元140可以检测与移动终端100有关的上下文信息。传感器单元140生成到控制单元150的与移动终端的当前状态相对应的控制信号。
根据本公开的各实施例，传感器单元140包括全球定位系统(GPS)传感器141、重力传感器142、陀螺仪传感器143等。
GPS传感器141生成移动终端100的位置信息。例如，GPS传感器141基于通过通信单元110从GPS卫星接收到的GPS信号来生成移动终端100的位置信息。GPS传感器141可以基于从GPS卫星接收到的GPS信号通过三角测量来确定移动终端100的纬度、经度和高度。
重力传感器142检测重力。重力传感器能够基于检测到的重力和加速度方向来确定移动终端100的倾斜，并基于移动终端周围的电磁场来确定移动终端100的方位。重力传感器142与电磁传感器类似之处在于基于电磁来检测方位。
陀螺仪传感器143可以测量移动终端100的旋转角度，并可以基于三维参考轴来检测旋转的角度。例如，陀螺仪传感器可以检测以移动终端100为中心的x、y和z轴上的旋转角度(例如俯仰、滚动、偏航等)。
控制单元150可以控制通信单元110向服务器发送通过传感器单元140获取的信息，以用于生成AR信息。
控制单元150可以控制移动终端100的组件。例如，控制单元150可以控制移动终端100的组件，以生成并管理AR内容。
根据本公开的各实施例，控制单元150可以将通过摄像机单元130输入的预览图像处理成为图片，并且可以通过将该图片与AR信息融合来生成AR内容。
控制单元150可以响应于AR内容显示请求和来自服务器的更新推送来向服务器请求(更新后的)AR信息，并用接收到的AR信息来更新AR内容。
根据本公开的各实施例，控制单元150可以响应于在特定时间的选择输入来控制显示单元170显示AR内容并用新更新的版本来更新AR内容。
以下参照附图更详细地描述控制单元150的操作。
存储单元160可以存储在移动终端100中使用的程序和/或命令。控制单元150可以执行存储单元160中所存储的程序和/或命令。
存储单元160可以包括闪存卡、硬盘、微型多媒体卡(例如SD和XD卡)、随机存取存储器(RAM)、静态RAM(SRAM)、只读存储器(ROM)、电可擦除可编程ROM(EEPROM)、可编程ROM(PROM)、磁性存储器、磁盘、光盘等中的至少一个。
根据本公开的各实施例，存储单元160可以存储至少一个AR内容项。存储单元160还可以存储关于AR内容创建/更新时间的信息。
显示单元170可以显示(输出)在移动终端100中处理的信息。例如显示单元170可以显示与当前在用户界面(UI)上运行的应用、程序或服务相对应的信息。
可以用以下各项之一来实现显示单元170：液晶显示器(LCD)、薄膜晶体管LCD(TFTLCD)、有机发光二极管(OLED)、柔性显示器、3D显示器等。
可以用具有触摸传感器和/或电磁传感器的分层结构的触摸屏的形式来实现显示单元170，作为输入单元120的一部分。根据本公开的各实施例，具有触摸屏的显示单元170可以用于输入功能。
根据本公开的各实施例，显示单元170可以在控制单元150的控制下显示AR内容列表和/或AR内容。
尽管用特定组件示出了图1，但是根据本公开的各实施例，移动终端100还可以用或不用以上组件和其等价形式中的至少一个来实现。
图2是示出了根据本公开的实施例创建AR内容的过程的流程图。
参照图2，在操作210，控制单元150可以检查到移动终端100处于空闲状态。
在空闲状态中，控制单元150可以控制移动终端100。在空闲状态中，控制单元150可以执行应用、程序、服务等。
在操作220，控制单元150可以确定是否检测到AR信息请求。例如，在空闲状态中，控制单元150监视以确定是否检测到AR信息请求。
根据本公开的各实施例，控制单元150可以确定用户是否通过输入单元120来输入AR信息请求。根据本公开的各实施例，控制单元150可以通过通信单元110来接收与AR信息请求相对应的数据。根据本公开的各实施例，控制单元150可以确定是否通过程序、服务、应用等来生成任意AR请求信息。
根据本公开的各实施例，AR信息请求可以是用于执行摄像机应用、AR应用等的请求。可以在存储单元160中存储或可以通过通信单元110下载应用。
如果控制单元150在操作220确定未检测到AR信息请求，则控制单元150可以返回操作210。例如，如果控制单元150确定没有检测到AR信息请求，则控制单元150可以控制移动终端100保持在空闲状态中。
如果控制单元150在操作220确定检测到AR信息请求，则控制单元150可以进行至操作230，在操作230，控制单元150将AR信息融合到预览图像上，来显示AR图像。
根据本公开的各实施例，控制单元150可以响应于AR信息请求的检测来激活摄像机单元130。根据本公开的各实施例，控制单元150可以控制显示单元170来显示通过将AR信息融合到通过摄像机单元130输入的图像上而生成的AR图像。
图3是示出了根据本公开的实施例通过将AR信息组合到预览图像上来创建AR内容的过程的流程图。
参照图3，在操作231，控制单元150可以通过摄像机单元130来收集图像。例如，在操作231，控制单元150可以接收通过摄像机单元130输入(例如，捕获)的图像。
控制单元150可以向摄像机单元130发送控制信号以拍摄图像。摄像机单元130可以响应于控制信号来驱动摄像机，并可以向控制单元150发送包括至少一个对象的图像。通过摄像机单元130捕获的图像可以包括至少一个对象。
图4是示出了根据本公开的实施例通过摄像机单元(例如图1的摄像机单元)来拍摄的图像的屏幕显示的图。
参照图4，图像包括人10和多个建筑20和30作为对象。
在操作232，控制单元150可以获取AR相关信息。
根据本公开的各实施例，控制单元150可以收集AR相关信息作为对于获取AR信息必要的信息。
根据本公开的各实施例，控制单元150可以识别通过摄像机单元130输入的图像中的至少一个对象，并可以处理该对象作为AR相关信息。根据本公开的各实施例，控制单元150可以使用面部识别算法、特征提取算法、颜色检测算法、轮廓提取算法等来提取对象。控制单元150可以将对象识别为提供AR信息的目标。可以基于由用户输入或从服务器接收并然后在存储单元160中存储的数据来处理作为提供AR信息的目标的对象的有关信息。
根据本公开的各实施例，作为提供AR信息的目标的对象可以是以下任何一项：文本、人、建筑、自然对象、条形码、QR码、书籍、电影海报等。
参照图4的屏幕显示，控制单元150可以识别人10及建筑20和30作为AR信息提供对象，并且可以生成关于人10和建筑20和30中的至少一个的AR相关信息。
例如，控制单元150可以通过传感器单元140来收集关于终端的状态信息并根据状态信息获取AR相关信息。控制单元150可以使用多个传感器来获取位置信息、纬度/经度信息和倾斜/重力方向信息。
根据本公开的各实施例，通过控制单元150获取的AR相关信息不限于上述信息。
在操作233，控制单元150可以向服务器发送AR信息请求。
控制单元150可以控制通信单元110向提供AR信息的服务器发送AR信息请求。AR信息请求可以包括通过控制单元150获取的AR相关信息，例如从图像提取出的对象信息、GPS信息、倾斜/重力方向信息等。
作为示例，参照图4，控制单元150可以向服务器发送关于在图像中识别出的人10和建筑20和30的至少一个的信息。控制单元150可以向服务器发送移动终端100的GPS信息、倾斜/重力方向信息等。
在操作234，控制单元从服务器接收AR信息。
控制单元150可以响应于通过通信单元110的AR信息请求接收AR信息。例如，控制单元150可以响应于通过控制单元150传送的AR信息请求来接收通过服务器发送的AR信息。
根据本公开的各实施例，服务器可以与AR信息提供服务器相对应，所述AR信息提供服务器存储与AR相关信息相对应的AR信息。
如果从移动终端100接收到AR相关信息，则服务器对AR相关信息进行分析。作为示例，参照图4的屏幕显示，服务器可以分析关于人10和建筑20和30中的至少一项的信息、移动终端100的GPS信息、倾斜/重力方向信息等。服务器可以根据分析结果来将通过控制单元150识别出的人10识别为布拉德皮特。服务器还可以分别将通过控制单元150识别出的建筑20和30识别为市政厅和X-市场。
服务器可以基于分析结果来提取与AR相关信息相对应的AR信息。AR信息可以包括与作为提供AR信息的目标的对象相关的文本、图像、应用信息、网页等。
参照图4的屏幕显示，服务器可以提取关于布拉德皮特的脸书网页的信息作为与人10相对应的AR信息。服务器还可以提取市政厅的文本信息作为关于建筑20的信息。服务器还可以提取包括X-市场的折扣信息的文本作为关于建筑30的信息。
如果在操作234从服务器接收到到AR信息，则在操作235控制单元150可以进行控制以显示通过摄像机单元130输入的预览图像。
控制单元150可以将图像数据处理成为在大小和分辨率方面适合显示单元170的预览图像。
在操作236，控制单元150可以将AR信息融合到预览图像上。
控制单元150可以将从服务器接收的AR信息融合到预览图像上。
在操作237，控制单元150可以控制显示单元170来显示融合后的图像。
控制单元150可以控制显示单元170来显示通过将AR信息融合到预览图像上所生成的最终图像。
图5是示出了根据本公开的实施例通过将AR信息融合到预览图像上而生成的最终图像的屏幕显示的图。
参照图5，控制单元150可以通过将与人10相对应的AR信息11、与建筑20相对应的AR信息21和与建筑30相对应的AR信息31融合到图4的预览图像输入上来生成图5的最终AR图像。
返回图2，在显示通过将AR信息融合到预览图像上所生成的AR图像之后，在操作240，控制单元150可以监视以确定是否检测到AR内容创建请求。
控制单元150可以确定是否由用户输入或通过应用、程序、服务等生成了AR内容创建请求。
根据本公开的各实施例，AR内容创建请求可以是通过用户界面做出的选择、创建请求、保存请求等。AR内容创建请求还可以是摄像机应用的图像捕获请求。
如果控制单元150在操作240确定未检测到AR内容创建请求，则控制单元150可以返回操作230，在操作230，控制单元150可以控制显示单元170来实时地显示通过将AR信息融合到通过摄像机单元130输入的预览图像上而生成的AR图像。
如果控制单元150在操作240确定检测到AR内容创建请求，则控制单元150可以进行至操作250，在操作250，控制单元150创建并存储AR内容。
根据本公开的各实施例，AR内容表示由被显示为预览图像的图像和包括在图像中的虚拟信息所组成的内容。可以根据用户请求或虚拟现实信息提供者的意图来更新包括在AR内容中的虚拟信息。
根据本公开的各实施例，AR内容可以包括图像、上下文、模板、信息等。
图像可以是通过摄像机130输入的可见数据(例如，预览图像)。
上下文可以是要通过AR服务提供给用户的信息的内容。上下文可以包括关于以下至少一项的信息：文本、图像、应用、与文本相关联的网页、人、建筑、书籍、电影、音乐、地点、条形码、QR码等。AR信息可以包括与作为提供AR信息的目标的对象的数量同样多的多个上下文。
模版可以包括关于要与AR信息一起显示的图像(例如通过摄像机120输入的图像)上的位置的信息。模板可以包括关于在其处融合文本的显示区域的信息(例如，关于控制的信息)。控制可以包括框架图像、背景图像、区域大小信息等。作为关于控制的信息的模板可以包括与控制相对应的控制类型、实例、位置和上下文ID。
控制单元150可以生成上述AR内容。
图6是示出了根据本公开的实施例基于预览图像创建AR内容的过程的流程图。
参照图6，在操作251，控制单元150可以捕获预览图像。
在检测到AR内容创建请求时，控制单元150可以通过处理通过摄像机单元120输入的图像(例如预览图像)来生成图片。控制单元150可以临时地或半永久地在存储单元160中存储图片。
如图4的屏幕显示所示，控制单元150可以通过处理通过摄像机120输入的图像来生成图片。
在操作252，控制单元150可以提取模板和上下文。
控制单元150可以提取与预览图像相对应的模板和上下文。控制单元150可以基于与预览图像相对应获取的AR信息来提取模板和上下文。模板可以用表格的形式包括与相应AR信息相对应的控制标识符、控制类型、控制显示位置的坐标、与相应控件相对应的上下文标识符等。上下文还可以用表格的形式包括上下文标识符、上下文类型、上下文描述符(关于相应AR信息的数据)、图像存储路径、上下文显示控制标识符等。
控制单元150还可以提取获取模板和上下文的时间或获取AR信息的时间。在AR信息具有时间戳的情况下，控制单元150可以提取与AR信息相对应的时间戳。时间戳可以与服务器已经创建了AR信息的时间相对应。
如图5的屏幕显示所示，控制单元150可以提取包括虚拟现实信息和作为用于呈现来自AR图像的虚拟现实信息的控件的文本气泡11、21和31的模板。可以通过表1例示的表格的形式来表达模板。
表1
[表1]
控制ID 控制类型 控制位置 上下文ID
11 气泡 (10，5) 11
21 气泡 (3，13) 21
31 气泡 (12，10) 31
参照图5的屏幕显示，控制单元150可以从图5的屏幕显示的图像中提取与人相对应的文本信息、人的脸书应用信息、建筑信息、与建筑相关联的销售信息等。可以用如图2例示的表格形式来表达图5的屏幕显示的图像的上下文。
表2
[表2]
上下文ID 上下文类型 上下文实质 控制ID
11 应用 脸书_布拉德皮特 11
21 位置 市政厅 21
31 文本 X-市场 5％折扣
图7是示出了根据本公开的实施例在创建AR内容中所使用的模版的图。
参照图7，模板可以包括虚拟现实信息和作为用于呈现来自如图5的屏幕显示所示的AR图像的虚拟现实信息的控件的文本气泡11、21和31。
在操作253，控制单元150可以通过将图像、模板和上下文相关联来创建AR内容。
控制单元150可以通过将模板和上下文与图像相关联来生成AR内容。控制单元150可以用AR内容的形式与关于模板和上下文的信息相关联地存储图像数据。
控制单元150可以记录与AR内容相关的时间信息。时间信息可以与接收和/或构成AR内容模板和上下文的时间或创建AR内容的时间相对应。控制单元150可以记录关于多个AR内容的信息，以按时间顺序存储AR内容并管理AR内容的历史。
控制单元150可以临时地或半永久地在存储单元160中存储生成的AR内容。控制单元150还可以向AR内容服务器发送关于AR内容的信息，该AR内容服务器管理关于移动终端100的AR内容的信息。
根据本公开的各实施例，控制单元250可以控制显示单元170来显示如图5所示的AR内容。
以下详细地描述根据本公开的各实施例更新所生成的AR内容的过程。
图8是示出了根据本公开的实施例的AR内容提供方法的AR内容更新过程的流程图。
参照图8，在操作310，控制单元150可以确定是否从服务器接收到更新推送。
服务器可以根据AR信息提供者的策略来提供针对AR内容的AR信息更新推送服务。在这种情况下，服务器可以存储并管理关于在移动终端100中存储的AR内容的信息。如果更新了特定AR信息，则服务器可以使用与AR信息相对应的AR内容来向移动终端100发送推送通知，以通知关于AR信息的更新。
参照图5的屏幕显示，如果改变了X-市场的销售信息，则服务器可以向存储包括X-市场的销售信息的AR内容的移动终端100发送推送通知，以通知X-市场的AR信息的更新。参照图5的屏幕显示，如果在布拉德皮特的脸书页面上贴出了新文本，则服务器可以向存储包括布拉德皮特的脸书信息的AR内容的移动终端100发送推送通知。
控制单元150可以确定是否通过通信单元110接收到了更新推送。
如果控制单元150在操作310确定未从服务器接收到更新推送，则控制单元150可以结束AR内容更新过程。
如果控制单元150在操作310确定从服务器接收到了更新推送，则控制单元150可以进行至操作320，在操作320，控制单元150可以向服务器发送更新后的AR信息请求。
控制单元150可以控制通信单元110来向AR信息提供服务器发送AR信息请求。AR信息请求可以包括关于从服务器接收到的更新推送的信息、AR内容信息和要更新的关于AR信息的信息。
参照图5的屏幕显示，如果接收到了通知X-市场的销售信息的改变的更新推送，则控制单元150可以向服务器发送更新后的AR信息请求。
在操作330，控制单元150可以从服务器接收更新后的AR信息。
如果从移动终端100接收到了AR相关信息，则服务器150可以响应于该请求来检索并向移动终端100发送更新后的AR信息。控制单元150可以通过通信单元110来从服务器接收更新后的AR信息。
参照图5的屏幕显示，控制单元150可以接收关于包括X-市场的改变后的销售信息的文本的信息和/或关于布拉德皮特的更新后的脸书页面的信息。
如果从服务器接收到了AR信息，则在操作340，控制单元150可以基于接收到的AR信息来更新AR内容。
根据本公开的各实施例，控制单元150可以从接收到的AR信息中提取模板和上下文。控制单元150还可以加载与AR信息相对应的AR内容，并针对接收到的模板和上下文来改变构成AR内容的模板和上下文，以更新AR内容。
根据本公开的各实施例，控制单元150可以基于接收到的AR信息来生成新的AR内容，以更新AR内容。具体地，控制单元150可以从AR内容提取图像，并从AR信息提取模板和上下文。控制单元150可以基于提取出的图像、模板和上下文来生成更新后的AR内容。
参照图5的屏幕显示，控制单元150可以用更新后的脸书页面信息来更新AR内容的关于人10的上下文。控制单元150还可以用更新后的销售信息来更新关于建筑20的上下文。
根据本公开的各实施例，在更新AR内容的情况下，控制单元150即使在更新之后可以保留旧的模板、上下文、AR内容等，而不是删除旧的模板、上下文、AR内容等。例如，控制单元150可以基于更新后的AR信息来生成AR内容，并存储AR内容。控制单元150还可以记录AR内容的创建时间和更新时间。基于更新后的AR信息创建的内容可以被处理作为相应AR内容的更新后的版本。通过存储反复更新后的AR内容连同更新时间信息，控制单元150能够管理AR内容的更新历史。
当更新AR内容时，控制单元150可以对更新的数量计数，并存储并管理更新计数和更新时间。
上述AR内容更新过程可以被称为基于下载的更新过程。
图9是示出了根据本公开的实施例的AR内容提供方法的AR内容更新过程的流程图。
参照图9，在操作410，控制单元150可以监视以确定是否检测到了AR内容显示请求。
可以在以下AR内容显示过程的描述中阐明AR内容显示请求。
如果控制单元150在操作410确定没有检测到AR内容显示请求，则控制单元150可以结束AR内容提供方法。
如果控制单元150在操作410确定检测到了AR内容显示请求，则控制单元150可以进行至操作420，在操作420，控制单元150可以向服务器发送更新后的AR信息请求。
控制单元150可以控制通信单元110在检测到AR内容显示请求时，向服务器发送针对更新后的AR内容的信息的请求。AR信息请求可以包括AR内容信息和作为更新目标的关于AR信息的信息。
如果检测到了与如图5的屏幕显示所示的AR内容相对应的AR内容显示请求，则控制单元150可以向服务器发送包括关于相应AR内容的信息的更新后的AR信息请求。
在操作430，控制单元150可以从服务器接收更新后的AR信息。
如果从移动终端100接收到了AR内容信息，则服务器可以搜索与请求相对应的更新后的AR信息，并向移动终端100发送更新后的AR信息。如果在接收到更新后的AR信息请求之前已经更新了AR信息若干次，则服务器可以与更新后的AR信息一起向移动终端100发送关于更新的数量和更新时间的信息。
参照图5的屏幕显示，移动终端100可以接收包括X-市场的改变后的销售信息的文本和/或关于布拉德皮特的更新后的脸书页面的信息。
如果在操作430从服务器接收到了AR信息，则在操作440，控制单元150可以更新AR内容。
控制单元150可以从接收到的AR信息中提取模板和上下文。控制单元150可以加载与AR信息相对应的AR内容，并用接收到的模板和上下文来更新构成AR内容的模板和上下文。根据本公开的各实施例，可以如图9所示来执行AR内容更新过程。这时，控制单元150可以记录并管理关于更新的数量和更新时间的信息。
参照图5的屏幕显示，控制单元140可以将AR内容的人10的上下文改变成更新后的脸书页面信息。控制单元140还可以将建筑20的上下文改变为更新后的销售信息。
在更新AR内容的情况下，控制单元150可以即使在更新之后保留旧的模板、上下文、AR内容等，而不是删除旧的模板、上下文和AR内容。控制单元150可以记录AR内容的重复更新，以管理AR内容的更新历史。这时，控制单元150可以记录AR内容的更新时间。
在操作450，控制单元150可以显示AR内容。
控制单元150可以响应于AR内容显示请求来控制显示单元170显示AR内容。以下详细描述AR内容显示过程。
上述AR内容更新过程可以被称为基于流的更新过程。
以下详细描述显示用以上方法生成并更新的AR内容的过程。
图10是示出了根据本公开的实施例的AR内容提供方法的内容显示过程的流程图。
参照图10，在操作510，控制单元150可以显示AR内容的列表。
控制单元可以检测针对显示AR内容列表的请求。列表显示请求可以与AR内容查看器应用或图像查看应用的执行相对应。
图11是示出了根据本公开的实施例用缩略图形式示出AR内容的屏幕显示的图。
参照图11，如果检测到了列表显示请求，则控制单元150可以显示在存储单元160中所存储的AR内容的列表。控制单元150可以提取构成AR内容的图像，以生成要显示的列表。控制单元150可以仅提取构成AR内容的图像，以生成要显示的列表。控制单元150可以用图11所示的缩略图的形式生成列表。
根据本公开的各实施例，控制单元150可以显示更新后的关于AR内容列表的信息。如果已经在显示AR内容列表之前根据图8或9的过程更新了AR内容，则控制单元150可以存储关于内容的更新的数量和更新时间的信息。控制单元150可以显示关于AR内容的更新信息以及AR内容列表。如图11的屏幕显示所示，控制单元150可以如附图标记40所示在列表的相应项上呈现AR内容的更新数量。
在操作520，控制单元150可以监视以确定是否检测到了AR内容显示请求。
可以响应于用触摸手势、接近手势、悬停手势等向列表上的特定AR内容项做出的输入来生成AR内容显示请求。
如果控制单元150在操作520确定未检测到AR内容显示请求，则控制单元150可以返回操作510。
如果控制单元150在操作520确定检测到了AR内容显示请求，则控制单元150可以进行至操作530，在操作530，控制单元150可以显示AR内容。
控制单元150可以响应于请求来控制显示单元170显示AR内容。控制单元150可以向构成AR内容的图像布置模板。
图12是示出了根据本公开的实施例通过将AR信息与图像进行组合来创建AR内容的原理的图。
参照图12，控制单元150可以响应于显示请求来加载AR内容的图像50。然后，控制单元150可以向图像50应用AR内容的模板60。通过应用模板60，在图像50上确定AR信息的位置和区域(例如，区域的形状、框架、大小等)。
控制单元150还可以加载与模板50相对应的AR内容的上下文70。控制单元150可以将加载的上下文与相应模板60进行组合，以生成要显示的最终图像。
如图13中所示，显示了通过将图像、模板和上下文进行组合所获取的最终图像。
图13是示出了根据本公开的实施例具有进度条的AR内容的屏幕显示的图。
参照图13，控制单元150可以控制显示单元170显示进度条70以及AR内容。进度条70可以指示AR内容的显示时间的进度。进度条70可以用预定的比例来显示当前任务的进度。
进度条70可以由滚轮、时间轴、时间标度等组成。图13示出了用滚动条形式设计的进度条。
在被显示之前已经更新了AR内容多于一次的情况下，控制单元150可以显示与特定时间相对应的AR内容。例如，控制单元150可以控制显示单元150来显示在最近的时间更新的AR内容。控制单元150还可以控制以在进度条70上显示指示符71，以指示已经对AR内容进行更新的时间。
参照图13的屏幕显示，控制单元150可以显示第一次更新的AR内容。在这种情况下，控制单元150可以在进度条上的第一时间放置指示符71。
控制单元150还可以控制显示单元170以与AR内容一起显示用于编辑/删除/管理AR内容的用户界面。
如果在显示AR内容的状态下选择了特定信息对象，则控制单元可以显示所选信息对象的详细信息。例如，控制单元150可以控制以显示与所选的信息对象相对应的网站或应用。
在操作540，控制单元150可以监视以确定是否检测到了特定时间AR内容显示请求。
当在显示时间之前已经更新了所显示的AR内容的情况下，用户可能想要在更新之前检查AR内容。因此，用户可以请求在特定时间显示AR内容。
根据本公开的各实施例，可以通过进度条70输入特定时间AR内容显示请求。例如，用户可以沿进度条70滑动指示符至向特定时间点，以请求在相应时间点显示AR内容。
图14是示出了根据本公开的实施例在更新之前的AR内容的旧版本的屏幕显示的图。
参照图14的屏幕显示，可以通过将指示符71放置在进度条70上的第二时间点来输入特定时间AR内容显示请求。
在检测到请求时，控制单元150可以检查与请求相对应的特定时间点上的信息。
如果控制单元150在操作540确定没有检测到特定时间AR内容显示请求，则控制单元可以进行至操作560。
如果控制单元150在操作540确定检测到了特定时间AR内容显示请求(例如如果检测到了更新历史请求)，则控制单元150可以进行至操作550，在操作550，控制单元可以在与请求相对应的时间点显示AR内容。
在根据图9或10的过程来更新AR内容的情况下，控制单元150可以即使在更新之后也不删除旧的AR内容。例如，控制单元150可以将更新后的AR内容存储为相应AR内容的更新后的版本。
控制单元150可以在与更新后的历史请求相对应的时间点搜索更新后的版本。如果不存在与相应时间精确地匹配的更新版本，则控制单元150可以搜索在离相应时间点最近的时间点更新的AR内容的更新版本。
控制单元150可以控制显示单元170显示找到的AR内容。具体地，如图12中所示，控制单元150可以加载与相应时间点相匹配的AR内容的图像。控制单元150可以向加载的图像应用包括在相应时间点的AR内容中的模板和上下文，以生成要显示的最终图像。控制单元150可以控制显示单元170来显示最终图像。
如图13的屏幕显示中所示，控制单元150可以加载与第二时间点相对应的AR内容。控制单元150还可以控制显示单元170显示与第二时间点相匹配的AR内容。如在图14的屏幕显示中所示，与第二时间点匹配的AR内容可以包括不同于与第一时间点相匹配的AR内容的上下文的上下文。
在操作560，控制单元150可以监视以确定是否检测到了AR信息添加请求。
可以通过选择与添加请求相对应的用户界面、菜单或图标来生成AR信息添加请求。还可以通过选择要在其上添加AR信息的特定对象来生成AR信息添加请求。
如果控制单元150在操作560确定未检测到AR信息添加请求，则控制单元150可以进行至操作580。
如果控制单元150在操作560确定检测到了AR信息添加请求，则控制单元150可以进行至操作570，在操作570，控制单元150可以添加与请求相对应的AR信息。
图15是示出了根据本公开的实施例显示可用于AR内容的AR信息列表的屏幕显示的图。
参照图15，控制单元150可以响应于AR信息添加请求来显示可添加的AR信息的列表。如图15中所示，AR信息列表可以包括天气、交通、环境、图像中的对象的信息等的信息项。控制单元150可以从列表接收对用户打算添加的AR信息的选择。
控制单元150可以获取与用户的请求相对应的AR信息。控制单元150可以向服务器请求相应信息，或从存储单元160检索信息。
图16是示出了根据本公开的实施例向其添加补充AR信息的AR内容的屏幕显示的图。
参照图16，控制单元150可以向AR内容的模板和/或上下文添加所获取的AR信息。图16示出了根据本公开的实施例向其添加关于天气的AR信息的屏幕显示。
在操作580，控制单元150可以监视以确定是否检测到了结束请求。
如果控制单元150在操作580确定未检测到结束请求，则控制单元可以返回操作530。
如果控制单元150在操作580确定检测到了结束请求，则控制单元150可以结束AR内容显示过程，并可以显示AR内容列表、主屏幕、待机屏幕、背景屏幕等。
如上所述，本公开的AR内容提供方法和装置在通过持续地更新AR内容来丰富用户与便携式设备之间的交互方面是有利的。
将理解的是，能够用硬件、软件或硬件和软件组合的形式来实现根据权利要求和说明书中的描述的本公开的各实施例。
可以在非瞬时性计算机可读存储介质中存储任意这种软件。非瞬时性计算机可读存储介质存储一个或多个程序(软件模块)来，所述一个或多个程序包括指令，所述指令当由电子设备中的一个或更多个处理器执行时，使得电子设备执行本公开的方法。
可以用无论是否可擦写或可重写的易失性或非易失性存储器(例如像只读存储器(ROM)的存储设备)的形式，或用例如随机存取存储器(RAM)、存储芯片、设备或集成电路等的存储器的形式或在光学或磁性可读介质(诸如，压缩光盘(CD)、数字多功能光盘(DVD)、磁盘或磁带等)上存储任意这种软件。将理解的是，存储设备和存储介质是适合存储包括当执行时实现本公开的各实施例的指令的程序或多个程序的非瞬时性机器可读存储器的各实施例。因此，各实施例提供了包括用于实现如本说明书的任一权利要求所述的装置或方法的代码的程序、以及存储这种程序的非瞬时性机器可读存储器。
尽管已经参照本公开的各实施例示出并描述了本公开，但是本领域技术人员将理解可以在不偏离由所附的权利要求和它们的等价形式所限定的本公开的精神和范围的情况下，在本公开中做出形式和细节的各种改变。

Claims (15)

1.一种用于提供包括增强现实信息的内容的方法，所述方法包括：
显示通过摄像机输入的预览图像和应用到所述预览图像上的增强现实信息；
响应于增强现实内容创建请求，捕获所述预览图像作为图像；以及
通过将所述图像与所述增强现实信息进行组合来生成增强现实内容。
2.根据权利要求1所述的方法，其中，生成增强现实内容包括：
提取所述增强现实信息的模板和上下文；以及
通过将所述图像与所述模板和所述上下文进行组合来生成所述增强现实内容。
3.根据权利要求2所述的方法，其中，所述模板包括关于所述增强现实信息的呈现位置的信息，以及
所述上下文与关于所述增强现实信息的内容的信息相对应，所述关于所述增强现实信息的内容的信息包括图像信息、网页信息和应用信息中的至少一个。
4.根据权利要求1所述的方法，还包括：
当针对所述增强现实内容发生更新事件时，获取更新后的增强现实信息；以及
基于所获取的增强现实信息来更新所述增强现实内容。
5.根据权利要求1所述的方法，还包括：
接收针对增强现实内容显示的请求；
响应于所述增强现实内容显示请求，将所述增强现实信息组合到所述图像上；以及
显示组合后的增强现实内容和图像。
6.根据权利要求2所述的方法，还包括：
接收针对增强现实内容显示的请求；
响应于所述增强现实内容显示请求，将所述增强现实信息组合到所述图像上；以及
显示组合后的增强现实内容和图像。
7.根据权利要求1所述的方法，还包括：
显示具有至少一个增强现实内容的列表以及关于所述至少一个增强现实内容的更新信息。
8.根据权利要求1所述的方法，还包括：
当检测到增强现实信息添加请求时，提取与所述增强现实信息添加请求相对应的增强现实信息的模板和上下文；以及
基于所述模板和所述上下文来重新配置与所述增强现实信息添加请求相对应的增强现实内容。
9.一种提供包括增强现实信息的内容的装置，所述装置包括：
摄像机单元，被配置为捕获图像；
显示单元，被配置为显示通过所述摄像机单元捕获的预览图像和应用到所述预览图像上的增强现实信息；以及
控制单元，被配置为响应于增强现实内容创建请求来捕获所述预览图像作为图像；并通过将所述图像与所述增强现实信息进行组合来生成增强现实内容。
10.根据权利要求9所述的装置，其中，所述控制单元还被配置为：提取所述增强现实信息的模板和上下文，并通过将所述图像与所述模板和所述上下文进行组合来生成所述增强现实内容。
11.根据权利要求9所述的装置，还包括：
通信单元，被配置为与服务器进行通信，
其中所述控制单元还被配置为：在接收到通知所述增强现实信息的更新的更新推送时，控制所述通信单元向服务器请求更新后的增强现实信息，并基于从所述服务器接收的更新后的增强现实信息来更新所述增强现实内容。
12.根据权利要求9所述的装置，还包括：
通信单元，被配置为与服务器进行通信，
其中所述控制单元还被配置为：响应于增强现实内容显示请求，控制所述通信单元向服务器请求更新后的增强现实信息，并基于从所述服务器接收的更新后的增强现实信息来更新所述增强现实内容。
13.根据权利要求9所述的装置，其中，所述控制单元还被配置为：当针对所述增强现实内容发生更新事件时，获取更新后的增强现实信息并基于更新后的增强现实信息以及关于时间点的信息来生成所述增强现实内容的更新后的版本，所述时间点是生成所述更新后的版本的时间点。
14.根据权利要求10所述的装置，其中，所述控制单元还被配置为：响应于增强现实内容显示请求，将所述模板和上下文组合到所述图像上，并控制所述显示单元显示组合结果。
15.根据权利要求9所述的装置，其中，所述控制单元还被配置为：当检测到增强现实信息添加请求时，基于与所述增强现实信息添加请求相对应的增强现实信息来提取模板和上下文，以及基于所述模板和所述上下文来重新配置与所述增强现实信息添加请求相对应的增强现实内容。
CN201480026236.0A 2013-05-09 2014-05-07 用于提供包括增强现实信息的内容的方法和装置 Active CN105190704B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020130052208A KR102077305B1 (ko) 2013-05-09 2013-05-09 증강 현실 정보를 포함하는 콘텐츠 제공 방법 및 장치
KR10-2013-0052208 2013-05-09
PCT/KR2014/004029 WO2014182052A1 (en) 2013-05-09 2014-05-07 Method and apparatus for providing contents including augmented reality information

Publications (2)

Publication Number Publication Date
CN105190704A true CN105190704A (zh) 2015-12-23
CN105190704B CN105190704B (zh) 2018-12-07

Family

ID=51864471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480026236.0A Active CN105190704B (zh) 2013-05-09 2014-05-07 用于提供包括增强现实信息的内容的方法和装置

Country Status (5)

Country Link
US (1) US9710970B2 (zh)
EP (1) EP2994885A4 (zh)
KR (1) KR102077305B1 (zh)
CN (1) CN105190704B (zh)
WO (1) WO2014182052A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106101575A (zh) * 2016-06-28 2016-11-09 广东欧珀移动通信有限公司 一种增强现实照片的生成方法、装置及移动终端
CN106203287A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 一种图像增强现实的处理方法、装置和移动终端
CN106203289A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 一种目标增强现实内容的获取方法、装置和移动终端
CN106204425A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 一种呈现增强现实内容的方法、装置及移动终端
CN106250187A (zh) * 2016-07-29 2016-12-21 宇龙计算机通信科技(深圳)有限公司 一种增强现实ar的信息处理方法、装置及系统
CN108319875A (zh) * 2017-01-16 2018-07-24 欧姆龙株式会社 传感器支援系统、终端、传感器以及传感器支援方法
CN108390900A (zh) * 2016-11-30 2018-08-10 上海仙剑文化传媒股份有限公司 Ar图书数据下载管理方法、ar图书数据的智能化管控方法
CN108983971A (zh) * 2018-06-29 2018-12-11 北京小米智能科技有限公司 基于增强现实的标记方法及装置
CN109478091A (zh) * 2016-07-12 2019-03-15 富士胶片株式会社 图像显示系统、以及头戴式显示器的控制装置及其工作方法和工作程序
CN109656364A (zh) * 2018-08-15 2019-04-19 亮风台（上海）信息科技有限公司 一种用于在用户设备上呈现增强现实内容的方法与设备
CN110476178A (zh) * 2017-03-30 2019-11-19 韩国斯诺有限公司 物品的推荐信息的提供方法及装置
CN111788611A (zh) * 2017-12-22 2020-10-16 奇跃公司 密集3d重建数据的缓存和更新
CN112330707A (zh) * 2020-11-17 2021-02-05 武汉联影医疗科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN112714304A (zh) * 2020-12-25 2021-04-27 新华邦(山东)智能工程有限公司 基于增强现实的大屏显示方法及装置

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9589000B2 (en) * 2012-08-30 2017-03-07 Atheer, Inc. Method and apparatus for content association and history tracking in virtual and augmented reality
EP2818985B1 (en) * 2013-06-28 2021-05-12 Nokia Technologies Oy A hovering input field
WO2015046636A1 (ko) * 2013-09-24 2015-04-02 엘지전자 주식회사 이동 단말기 및 이의 제어방법
KR102276847B1 (ko) * 2014-09-23 2021-07-14 삼성전자주식회사 가상 오브젝트 제공 방법 및 그 전자 장치
WO2016168788A2 (en) 2015-04-17 2016-10-20 Tulip Interfaces, Inc. Containerized communications gateway
KR20160128119A (ko) * 2015-04-28 2016-11-07 엘지전자 주식회사 이동 단말기 및 이의 제어방법
US11252399B2 (en) * 2015-05-28 2022-02-15 Microsoft Technology Licensing, Llc Determining inter-pupillary distance
KR102299262B1 (ko) 2015-06-23 2021-09-07 삼성전자주식회사 단말기에서 부가 컨텐츠를 제공하는 방법 및 이를 이용하는 단말기
US9973819B1 (en) 2015-06-26 2018-05-15 Amazon Technologies, Inc. Live video stream with interactive shopping interface
US10021458B1 (en) 2015-06-26 2018-07-10 Amazon Technologies, Inc. Electronic commerce functionality in video overlays
US9883249B2 (en) * 2015-06-26 2018-01-30 Amazon Technologies, Inc. Broadcaster tools for interactive shopping interfaces
US10067656B2 (en) * 2015-07-01 2018-09-04 Samsung Electronics Co., Ltd. Method and apparatus for context based application grouping in virtual reality
JP6789624B2 (ja) * 2015-11-20 2020-11-25 キヤノン株式会社 情報処理装置、情報処理方法
US10068376B2 (en) * 2016-01-11 2018-09-04 Microsoft Technology Licensing, Llc Updating mixed reality thumbnails
CN106981000B (zh) * 2016-10-13 2020-06-09 阿里巴巴集团控股有限公司 基于增强现实的多人线下交互、点餐方法及系统
CN108282449B (zh) * 2017-01-06 2020-10-09 华为技术有限公司 一种应用于虚拟现实技术的流媒体的传输方法和客户端
US11030808B2 (en) * 2017-10-20 2021-06-08 Ptc Inc. Generating time-delayed augmented reality content
US10572716B2 (en) 2017-10-20 2020-02-25 Ptc Inc. Processing uncertain content in a computer graphics system
US10127290B1 (en) * 2017-07-19 2018-11-13 Facebook, Inc. Systems and methods for distributing augmented-reality effects
US10586360B2 (en) 2017-11-21 2020-03-10 International Business Machines Corporation Changing view order of augmented reality objects based on user gaze
US11282133B2 (en) 2017-11-21 2022-03-22 International Business Machines Corporation Augmented reality product comparison
US10565761B2 (en) 2017-12-07 2020-02-18 Wayfair Llc Augmented reality z-stack prioritization
KR102345333B1 (ko) * 2017-12-28 2021-12-29 엘에스일렉트릭(주) 증강 현실 제공 시스템 및 방법
KR102347586B1 (ko) * 2017-12-28 2022-01-07 엘에스일렉트릭(주) 증강 현실 제공 방법
KR102268797B1 (ko) * 2017-12-28 2021-06-23 엘에스일렉트릭(주) 증강 현실 제공 시스템 및 방법
KR102263468B1 (ko) * 2017-12-28 2021-06-09 엘에스일렉트릭(주) 증강 현실 제공 시스템 및 방법
KR102264754B1 (ko) * 2017-12-29 2021-06-11 엘에스일렉트릭(주) 증강 현실 제공 시스템 및 방법
KR102338627B1 (ko) * 2017-12-29 2021-12-10 엘에스일렉트릭(주) 증강 현실 제공 시스템 및 방법
KR102268798B1 (ko) * 2017-12-29 2021-06-23 엘에스일렉트릭(주) 증강 현실 제공 시스템 및 방법
DE102018109756A1 (de) * 2018-04-24 2019-10-24 Innogy Innovation Gmbh Verfahren zur Bestimmung von Augmentierungsinformationen für ein Bild
US10692293B2 (en) 2018-09-12 2020-06-23 Google Llc Loading indicator in augmented reality environment
KR102205875B1 (ko) * 2019-08-09 2021-01-21 주식회사 인스에듀테인먼트 증강현실 콘텐츠의 통합 실행이 가능한 증강현실 콘텐츠 구동 장치
KR102252159B1 (ko) * 2019-08-27 2021-05-14 (주)네오위즈랩 증강현실 포토카드를 제공하는 시스템, 서버, 방법 및 그 기록매체
US11385856B2 (en) * 2020-10-23 2022-07-12 Streem, Llc Synchronizing positioning systems and content sharing between multiple devices
KR20220114336A (ko) * 2021-02-08 2022-08-17 현대자동차주식회사 사용자 단말 및 그 제어 방법
EP4342196A1 (en) * 2021-05-19 2024-03-27 Snap, Inc. Beacons for localization and content delivery to wearable devices
WO2023090565A1 (ko) * 2021-11-22 2023-05-25 주식회사 미니레코드 플랫폼 앨범 서비스 제공 방법 및 장치
KR102471180B1 (ko) * 2021-11-23 2022-11-28 이은령 증강현실 콘텐츠 서비스를 제공하는 시스템 및 서비스 제공 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090289955A1 (en) * 2008-05-22 2009-11-26 Yahoo! Inc. Reality overlay device
CN102436663A (zh) * 2010-08-12 2012-05-02 株式会社泛泰 用于对增强现实进行选择性过滤的用户设备、服务器和方法
CN102495959A (zh) * 2011-12-05 2012-06-13 无锡智感星际科技有限公司 一种基于位置映射的增强现实平台系统及应用方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7657916B2 (en) * 2000-07-31 2010-02-02 Cisco Technology, Inc. Digital subscriber television networks with local physical storage devices and virtual storage
US8180396B2 (en) 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
KR101062961B1 (ko) 2009-01-07 2011-09-06 광주과학기술원 증강현실 컨텐츠 저작 시스템과 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
KR101722550B1 (ko) * 2010-07-23 2017-04-03 삼성전자주식회사 휴대용 단말에서 증강현실 컨텐츠 제작과 재생 방법 및 장치
KR101049090B1 (ko) * 2010-09-17 2011-07-15 성준형 증강 현실 마커 및 증강 현실을 이용한 콘텐츠 유통 방법
KR101719264B1 (ko) 2010-12-23 2017-03-23 한국전자통신연구원 방송 기반 증강 현실 콘텐츠 제공 시스템 및 그 제공 방법
US9035940B2 (en) * 2011-03-08 2015-05-19 Nokia Corporation Apparatus and associated methods
KR101056418B1 (ko) * 2011-03-31 2011-08-11 주식회사 맥스트 모바일 센서를 이용한 증강 현실 콘텐츠 추적 장치 및 방법
KR20130000160A (ko) * 2011-06-22 2013-01-02 광주과학기술원 사용자 적응형 증강현실 이동통신 장치와 서버 및 그 방법
US20150040074A1 (en) * 2011-08-18 2015-02-05 Layar B.V. Methods and systems for enabling creation of augmented reality content
KR20130022434A (ko) 2011-08-22 2013-03-07 (주)아이디피쉬 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법
WO2013044983A1 (en) * 2011-09-30 2013-04-04 Layar B.V. Feedback to user for indicating augmentability of an image
US20130178257A1 (en) * 2012-01-06 2013-07-11 Augaroo, Inc. System and method for interacting with virtual objects in augmented realities

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090289955A1 (en) * 2008-05-22 2009-11-26 Yahoo! Inc. Reality overlay device
CN102436663A (zh) * 2010-08-12 2012-05-02 株式会社泛泰 用于对增强现实进行选择性过滤的用户设备、服务器和方法
CN102495959A (zh) * 2011-12-05 2012-06-13 无锡智感星际科技有限公司 一种基于位置映射的增强现实平台系统及应用方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106203287A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 一种图像增强现实的处理方法、装置和移动终端
CN106203289A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 一种目标增强现实内容的获取方法、装置和移动终端
CN106204425A (zh) * 2016-06-28 2016-12-07 广东欧珀移动通信有限公司 一种呈现增强现实内容的方法、装置及移动终端
CN106101575A (zh) * 2016-06-28 2016-11-09 广东欧珀移动通信有限公司 一种增强现实照片的生成方法、装置及移动终端
CN106204425B (zh) * 2016-06-28 2020-02-14 Oppo广东移动通信有限公司 一种呈现增强现实内容的方法、装置及移动终端
CN109478091A (zh) * 2016-07-12 2019-03-15 富士胶片株式会社 图像显示系统、以及头戴式显示器的控制装置及其工作方法和工作程序
CN106250187A (zh) * 2016-07-29 2016-12-21 宇龙计算机通信科技(深圳)有限公司 一种增强现实ar的信息处理方法、装置及系统
WO2018018698A1 (zh) * 2016-07-29 2018-02-01 宇龙计算机通信科技(深圳)有限公司 一种增强现实ar的信息处理方法、装置及系统
CN108390900A (zh) * 2016-11-30 2018-08-10 上海仙剑文化传媒股份有限公司 Ar图书数据下载管理方法、ar图书数据的智能化管控方法
CN108319875A (zh) * 2017-01-16 2018-07-24 欧姆龙株式会社 传感器支援系统、终端、传感器以及传感器支援方法
CN108319875B (zh) * 2017-01-16 2021-07-16 欧姆龙株式会社 传感器支援系统、终端、传感器以及传感器支援方法
CN110476178A (zh) * 2017-03-30 2019-11-19 韩国斯诺有限公司 物品的推荐信息的提供方法及装置
CN111788611A (zh) * 2017-12-22 2020-10-16 奇跃公司 密集3d重建数据的缓存和更新
CN111788611B (zh) * 2017-12-22 2021-12-03 奇跃公司 密集3d重建数据的缓存和更新
CN108983971A (zh) * 2018-06-29 2018-12-11 北京小米智能科技有限公司 基于增强现实的标记方法及装置
CN109656364A (zh) * 2018-08-15 2019-04-19 亮风台（上海）信息科技有限公司 一种用于在用户设备上呈现增强现实内容的方法与设备
CN112330707A (zh) * 2020-11-17 2021-02-05 武汉联影医疗科技有限公司 图像处理方法、装置、计算机设备和存储介质
CN112714304A (zh) * 2020-12-25 2021-04-27 新华邦(山东)智能工程有限公司 基于增强现实的大屏显示方法及装置

Also Published As

Publication number Publication date
EP2994885A4 (en) 2016-10-05
KR20140133640A (ko) 2014-11-20
EP2994885A1 (en) 2016-03-16
WO2014182052A1 (en) 2014-11-13
US9710970B2 (en) 2017-07-18
CN105190704B (zh) 2018-12-07
US20140333667A1 (en) 2014-11-13
KR102077305B1 (ko) 2020-02-14

Similar Documents

Publication Publication Date Title
CN105190704A (zh) 用于提供包括增强现实信息的内容的方法和装置
US10055894B2 (en) Markerless superimposition of content in augmented reality systems
CN109952610B (zh) 图像修改器的选择性识别和排序
US11763530B2 (en) Content association and history tracking in virtual and augmented realities
US9633479B2 (en) Time constrained augmented reality
CN104081317B (zh) 信息处理设备和信息处理方法
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN107665485B (zh) 用于显示图形对象的电子装置和计算机可读记录介质
KR20230095895A (ko) 메타 데이터를 처리하기 위한 장치 및 방법
US20150070347A1 (en) Computer-vision based augmented reality system
US10147399B1 (en) Adaptive fiducials for image match recognition and tracking
US10607409B2 (en) Synthetic geotagging for computer-generated images
JP2013080326A (ja) 画像処理装置、画像処理方法及びプログラム
KR20150131358A (ko) 컨텐츠 생성 툴
US11567638B2 (en) Method, system, and non-transitory computer-readable record medium for providing reputation badge for video chat
US20140232748A1 (en) Device, method and computer readable recording medium for operating the same
US11568631B2 (en) Method, system, and non-transitory computer readable record medium for extracting and providing text color and background color in image
CN112868023A (zh) 增强现实系统和方法
CN106536004A (zh) 增强的游戏平台
US20210208773A1 (en) Display apparatus and controlling method thereof
KR102154204B1 (ko) 전자장치 및 전자장치의 광고데이터 제공방법
US11562538B2 (en) Method and system for providing a user interface for a 3D environment
US10055395B2 (en) Method for editing object with motion input and electronic device thereof
US20170083952A1 (en) System and method of markerless injection of 3d ads in ar and user interaction
KR20140001152A (ko) 증강현실 기반의 실시간 관심 컨텍스트 등록 시스템 및 그 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant