CN103227848A - 用于针对便携式终端提供增强现实服务的设备和方法 - Google Patents

用于针对便携式终端提供增强现实服务的设备和方法 Download PDF

Info

Publication number
CN103227848A
CN103227848A CN2012104791864A CN201210479186A CN103227848A CN 103227848 A CN103227848 A CN 103227848A CN 2012104791864 A CN2012104791864 A CN 2012104791864A CN 201210479186 A CN201210479186 A CN 201210479186A CN 103227848 A CN103227848 A CN 103227848A
Authority
CN
China
Prior art keywords
augmented reality
mark
information
portable terminal
guide scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012104791864A
Other languages
English (en)
Other versions
CN103227848B (zh
Inventor
李公旭
李骏镐
慎大揆
李银姝
黄暹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103227848A publication Critical patent/CN103227848A/zh
Application granted granted Critical
Publication of CN103227848B publication Critical patent/CN103227848B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B1/00Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40Circuits
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Telephone Function (AREA)

Abstract

提供了一种用于在便携式终端中提供增强现实服务的设备和方法。一种在便携式终端中提供增强现实服务的方法包括:使用周围信息产生增强现实服务场景;根据所述增强现实服务场景识别可辨认的至少一个标记;产生考虑到所述至少一个可辨认标记的指南场景;以及将所述指南场景添加到所述增强现实服务场景的一部分,并显示添加得到的场景。

Description

用于针对便携式终端提供增强现实服务的设备和方法
技术领域
本公开涉及一种用于针对便携式终端提供增强现实服务的设备和方法。
背景技术
增强现实(augmented reality)表示一种技术,用于将虚拟对象与服务终端在现实空间中辨认的真实信息相结合并显示结合结果。这里,真实信息包括服务终端的环境图像或视频、环境声音、位置信息等。
服务终端可以根据从现实空间提供的真实信息和来自标记的虚拟信息之间的匹配或不匹配,来提供增强现实服务。例如,当服务终端从周围环境获取的真实信息与标记匹配时,服务终端产生(produce)或再现(reproduce)与真实信息相匹配的标记的补充信息。这里,标记表示针对增强现实服务的补充信息映射到的对象信息。
如上所述,优势在于服务终端能够通过增强现实服务提供多种类型的补充信息。
然而会出现以下问题:当服务终端未能准确地辨认增强现实服务的标记时,用户在使用增强现实服务时会经历多次尝试和错误。
发明内容
为了解决上述现有技术的缺陷,本公开的主要目的在于提供一种用于针对便携式终端提供增强现实服务的设备和方法。
本公开的另一方面在于提供一种用于针对便携式终端向用户提供增强现实服务的标记信息的设备和方法。
本公开的另一方面在于提供一种用于针对便携式终端提供增强现实服务的指南场景的设备和方法。
本公开的另一方面在于提供一种用于在便携式终端中提供增强现实服务的指南场景的设备和方法,所述指南场景包括标记。
本公开的另一方面在于提供一种用于在便携式终端中设置增强现实服务的补充信息的视见区(view port)的设备和方法。
本公开的另一方面在于提供一种用于在便携式终端中根据预设视见区信息来显示增强现实服务的补充信息的设备和方法。
通过提供一种用于在便携式终端中提供增强现实服务的设备和方法来实现上述方面。
根据本公开的一个方面,提供了一种用于在便携式终端中提供增强现实服务的方法。所述方法包括:使用周围信息产生增强现实服务场景;根据所述增强现实服务场景识别可辨认的至少一个标记;根据至少一个辨认的标记产生指南场景;以及将所述指南场景添加到所述增强现实服务场景的一部分上,并显示得到的场景。
此外,所述方法还包括:如果辨认出与指南场景中包括的标记相匹配的增强现实服务场景,则识别标记的增强现实补充信息;以及如果已经设置了针对增强现实补充信息的视见区,则根据视见区设置信息在屏幕上显示增强现实补充信息。
根据本公开的另一方面,提供了一种用于针对便携式终端提供增强现实服务的设备。所述设备包括控制器和显示单元。控制器使用周围信息产生增强现实服务场景,根据所述增强现实服务场景来确定至少一个辨认的标记,并产生考虑到所述至少一个可辨认标记的指南场景。显示单元将所述指南场景添加到所述增强现实服务场景的一部分上,并显示添加得到的场景。
此外,如果辨认出通过显示单元与标记相匹配的增强现实服务场景,则所述控制器进行控制以识别标记的增强现实补充信息;以及如果已经设置了针对增强现实补充信息的视见区,则所述控制器进行控制以根据视见区设置信息在屏幕上显示增强现实补充信息。
根据本公开的另一方面,提供了一种在移动终端中提供增强现实服务的方法。所述方法包括步骤:使用周围信息产生增强现实服务场景;根据所述增强现实服务场景确定至少一个标记;识别指南场景产生信息;根据指南场景产生信息来产生包括至少一个辨认的标记的指南场景;将所述指南场景添加到所述增强现实服务场景的一部分上,并显示添加得到的场景,其中,所述周围信息包括周围图像、周围声音、移动终端的运动信息和移动终端的位置信息中的至少一个,指南场景产生信息包括指南场景的尺寸、指南场景的透明度和指南场景的颜色中的至少一个。
根据本公开的另一方面,提供了一种用于提供增强现实服务的移动终端。所述移动终端包括:用于使用周围信息产生增强现实服务场景的装置;用于根据所述增强现实服务场景确定至少一个标记的装置;用于根据至少一个辨认的标记产生指南场景的装置;用于将所述指南场景添加到所述增强现实服务场景的一部分上的装置;以及用于显示添加得到的场景的装置。
在进行以下的“具体实施方式”之前,有利的是描述贯穿本专利文献使用的特定词汇和短语的定义:术语“包括”和“包含”及其派生物表示包括但不局限于此;术语“或”是包括性的,意味着和/或;短语“与……相关联”以及“与其相关联”及其派生物可以表示包括、被包括在其中、互联、包含、被包含在其中、连接到或与……相连、耦合到或与……耦合、与……可通信、与……协作、交织、并置、与……相邻、被绑定到或与……绑定、具有、具有……的特性等;术语“控制器”表示控制至少一个操作的任意设备、系统或其一部分,这种设备可以以硬件、固件或软件或其中至少两个的某种组合来实现。应当注意,可以本地或远程地集中或分布与任意特定控制器相关联的功能性。贯穿本专利文献提供用于特定词汇和短语的定义,本领域普通技术人员能够理解,在许多而非大多数示例中,这种定义应用于现有技术以及如此定义的词汇和短语的未来使用。
附图说明
未来更完整地理解本公开及其优点,现在参考结合附图的以下描述,在图中,类似数字表示类似部件,其中:
图1是示出了根据本公开一个实施例的便携式终端的结构的方框图;
图2是示出了根据本公开示例性实施例的针对便携式终端显示指南场景的过程的流程图;
图3是示出了根据本公开另一示例性实施例的针对便携式终端显示指南场景的过程的流程图;
图4是示出了根据本公开示例性实施例的针对便携式终端产生指南场景的过程的流程图;
图5是示出了根据本公开示例性实施例的针对便携式终端通过指南场景提供增强现实补充信息的过程的流程图;
图6是示出了根据本公开示例性实施例的针对便携式终端提供增强现实补充信息的过程的流程图;
图7是示出了根据本公开示例性实施例的针对便携式终端提供增强现实补充信息的过程的流程图;以及
图8是示出了根据本公开示例性实施例的产生指南场景的图。
具体实施方式
以下描述的图1到图8以及本专利文献中用于描述本公开原理的各种实施例仅作为演示,而不应被认为是以任何方式来限制本公开的范围。本领域技术人员可以理解可以在任意适当设置的便携式电子设备中实现本公开的原理。下文将参考附图来描述本公开的优选实施例。在以下描述中,由于不必要的细节会模糊本发明,将不再详细描述公知的功能或结构。此外,取决于用户和操作员的意愿或实践,考虑到本公开中的功能定义的以下所述术语可以是不同的。因此,贯穿说明书应当根据公开来定义术语。
本公开描述了一种用于在便携式终端中提供增强现实服务的技术。在以下描述中,便携式终端可以是任意适当的电子设备,例如提供增强现实服务的移动通信终端、便携式数字助理(PDA)、膝上型计算机、智能电话、上网本或笔记本电脑、移动互联网设备(MID)、超级移动个人计算机(UMPC)、台式PC等。在以下描述中,假定便携式终端使用通过摄像机获取的视觉信息来提供增强现实服务。
图1是示出了根据本公开的便携式终端的结构的方框图。便携式终端包括控制器100、存储单元110、显示单元120、输入单元130、音频处理器140、通信单元150以及摄像机单元160。
控制器100控制便携式终端的整体操作。控制器100将虚拟对象与从摄像机单元160提供的图像或视频相结合以提供增强现实服务。例如,控制器100使用增强现实产生信息来产生增强现实服务场景,增强现实产生信息包括从摄像机单元160提供的图像或视频。之后,当标记与增强现实服务场景相匹配时,控制器100进行控制以产生或再现与增强现实服务场景相匹配的标记的增强现实补充信息。如果已经设置了针对增强现实补充信息的视见区,控制器100进行控制以便根据视见区设置信息输出增强现实补充信息。这里,标记表示用于增强现实服务的补充信息映射到的对象信息。视见区设置信息包括用于产生或再现增强现实补充信息的信息。增强现实补充信息包括针对增强现实补充信息的输出角度、输出尺寸、输出颜色、产生或再现起始位置和产生或再现速度中的至少一个。
此外,当提供增强现实服务时,控制器100进行控制以将指南产生器102处产生的指南场景与增强显示服务场景一起输出。例如,控制器100进行控制以将增强现实服务的指南场景与增强现实服务场景一起提供,如图2和图3所示。
此外,当便携式终端的用户已经选择了显示在指南场景上的标记时,控制器100进行控制,以产生或再现由用户选择的标记的增强现实补充信息。如果已经设置了用于增强现实补充信息的视见区,则控制器100进行控制以根据视见区设置信息来产生或再现增强现实补充信息。
指南产生器102产生包括辨认的对象在内的指南场景,其中所述对象是在控制器100中针对增强现实服务被辨认的。例如,指南产生器102根据控制器100中收集以提供增强现实服务的增强现实产生信息来收集用于增强现实服务的标记。之后,指南产生器102产生指南场景以包括在控制器100中辨认出的所有标记。作为另一示例,指南产生器102可以产生指南场景以包括在控制器100中辨认出的标记之中预设数目的标记。
存储单元110可以包括程序存储单元和数据存储单元。程序存储单元存储用于控制便携式终端的操作的程序。数据存储单元存储在程序执行期间产生的数据。例如,存储单元110存储用于增强现实服务的至少一个标记。
显示单元120根据控制器100的控制操作显示便携式终端的状态信息、用户输入的字符、运动画面、静止画面等。例如,如图8所示,显示单元120根据控制器100的控制操作显示增强现实服务场景800和在指南产生器102中产生的指南场景810。作为另一示例,显示单元120根据控制器100的控制操作显示针对增强现实补充信息的产生或再现场景。如果已经设置了针对增强现实补充信息的视见区,则显示单元120根据视见区设置信息来显示针对增强现实补充信息的产生或再现场景。
此外,显示单元120可以包括触摸屏和触摸输入单元,用于向控制器100提供通过触摸板感测到的触摸信息。
输入单元130向控制器100提供用户输入的数据。例如,输入单元130仅包括用于控制便携式终端的控制按钮。作为另一示例,输入单元130可以包括用于从用户接收输入数据的小键盘。
音频处理器140控制音频信号的输入/输出。例如,音频处理器140将从控制器100提供的音频信号通过扬声器发送出去,并将从麦克风发送的音频信号提供给控制器100。
通信单元150处理经由天线发射/接收的信号,用于语音和数据通信。
摄像机单元160将捕获目标的图像数据转换为数字数据,并将从数字数据获取的静止画面提供给控制器100。
如上所述,指南产生器102可以产生指南场景,所述指南场景包括在控制器100中可辨认的标记之中预设数目的标记。例如,指南产生器102产生指南场景,所述指南场景包括在控制器100中辨认的标记之中具有高辨认概率的至少一个标记。这里,可以根据便携式终端和标记之间的距离以及标记的辨认次数中的至少一个,来确定标记的辨认概率。
下文描述一种用于在便携式终端中提高指南场景的方法。
图2示出了根据本公开示例性实施例的在便携式终端中显示指南场景的过程。在步骤201,便携式终端确定是否提供增强现实服务。例如,便携式终端根据用户的操控来确定是否执行增强现实应用。
当在步骤201确定不提供增强现实服务时,便携式终端终止本公开的算法。
备选地,如果在步骤201确定提供增强现实服务,便携式终端进行步骤203并收集增强现实产生信息。例如,便携式终端收集增强现实产生信息,例如周围图像或视频、周围声音、便携式终端的运动信息以及便携式终端的位置信息等。
在收集增强现实产生信息之后,便携式终端进行步骤205并使用增强现实产生信息来产生增强现实服务场景,以便针对增强现实服务向用户提供增强现实服务场景。
接下来,便携式终端进行步骤207并确定是否提供指南信息。例如,便携式终端确定是否已经设置了指南信息提供菜单。这里,指南信息表示以下服务:在便携式终端中向便携式终端的用户提供可辨认标记,以便用户能够容易地辨认增强现实补充信息。
当在步骤207确定提供指南信息时,便携式终端进行步骤209并确定至少一个辨认的标记。例如,便携式终端根据正在运行的增强现实应用来确定便携式终端中的至少一个辨认标记。作为另一示例,便携式终端可以考虑到增强现实构建信息来确定便携式终端中的至少一个可辨认标记。
在确定可辨认标记之后,便携式终端进行步骤211并产生包括至少一个辨认标记在内的指南场景。例如,便携式终端产生指南场景以包括所有可辨认标记。作为另一示例,便携式终端可以构建指南场景以包括可辨认标记中预设数目的标记。在示例性实施例中,便携式终端可以考虑到标记的辨认概率来选择要添加到指南场景的标记。这里,可以考虑到便携式终端和标记之间的距离以及标记的辨认次数中的至少一个来确定标记的辨认概率。
在产生指南场景之后,便携式终端进行步骤213并在显示单元120上一起显示在步骤211产生的指南场景和在步骤205产生的增强现实服务场景。例如,如图8所示,便携式终端将指南场景810与增强现实服务场景800一起显示。
备选地,如果在步骤207确定不提供指南信息,便携式终端进行步骤215并在显示单元120上显示在步骤205构建的增强现实服务场景。
接下来,便携式终端终止本公开的算法。图3示出了根据本公开另一示例性实施例的在便携式终端中显示指南场景的过程。在步骤301,便携式终端确定是否提供增强现实服务。例如,便携式终端根据用户的操控来确定是否执行增强现实应用。
如果在步骤301确定不提供增强现实服务,则便携式终端终止本公开的算法。
备选地,当在步骤301确定提供增强现实服务时,便携式终端进行步骤303并收集增强现实产生信息。例如,便携式终端收集增强现实构建信息,例如周围图像或视频、周围声音、便携式终端的运动信息以及便携式终端的位置信息等。
在收集增强现实构建信息之后,便携式终端进行步骤305并使用增强现实产生信息来产生增强现实服务场景,以便针对增强现实服务向用户提供增强现实服务场景。
接下来,在产生增强现实服务场景之后,便携式终端进行步骤307并在显示器120上显示增强现实服务场景。
之后,便携式终端进行步骤309并确定是否提供指南信息。例如,便携式终端确定是否已经设置了指南信息提供菜单。
如果在步骤309确定不提供指南信息,便携式终端终止本公开的算法。
如果在步骤309确定提供指南信息,便携式终端进行步骤311并确定一个或多个可辨认标记的数目。例如,便携式终端根据实际增强现实应用来确定便携式终端中的至少一个可辨认标记。作为另一示例,便携式终端可以根据增强现实产生信息来确定便携式终端中的至少一个可辨认标记。
在确定可辨认标记的数目之后,便携式终端进行步骤313并产生包括便携式终端辨认的标记在内的指南场景。例如,便携式终端产生指南场景以包括所有辨认的标记。作为另一示例,便携式终端可以产生指南场景以包括辨认的标记中预设数目的标记。在示例性实施例中,便携式终端根据标记的辨认概率来选择要添加到指南场景的标记。这里,可以考虑到便携式终端和标记之间的距离以及标记的辨认次数中的至少一个来确定标记的辨认概率。
在产生指南场景之后,便携式终端进行步骤315并将在步骤313中产生的指南场景添加到在步骤307中显示在显示单元120上的增强显示场景。例如,如图8所示,便携式终端将指南场景810添加到在显示单元120上显示的增强现实服务场景800。
接下来,便携式终端终止本公开的算法。
在前述示例性实施例中,便携式终端在显示单元120上与增强现实服务场景一起显示指南场景。在产生或再现与增强现实服务场景匹配的标记的增强现实补充信息的情况下,便携式终端不显示指南场景。然后,如果增强现实补充信息的产生或再现(reproduce)结束,则便携式终端再次显示指南场景。作为另一示例,当产生或再现增强现实补充信息时,便携式终端可以连续地显示包括其他标记的指南场景。
如上所述,如图2或图3所示,如果提供指南信息,便携式终端将指南场景添加到增强现实服务场景中并显示结果场景。在示例性实施例中,便携式终端可以如图4所示产生指南场景。
图4示出了根据本发明示例性实施例的在便携式终端中产生指南场景的过程。在以下描述中,假定便携式终端在图3的步骤313中产生指南场景。
在图3的步骤313确定可辨认标记之后,便携式终端进行步骤401并识别可辨认标记的数目。例如,便携式终端确定可辨认标记的数目是否是1。
如果在步骤401确定可辨认标记的数目是1,则便携式终端跳到步骤405并识别指南场景产生信息。例如,便携式终端识别存储在存储单元110中的指南场景产生信息。作为另一示例,便携式终端可以根据周围信息来确定指南场景产生信息,所述周围信息包括便携式终端的环境亮度、便携式终端的运动等。这里,指南场景构建信息包括指南场景的尺寸、指南场景的透明度和指南场景的颜色中的至少一个。
备选地,如果在步骤401确定存在多个可辨认标记,则便携式终端进行步骤403并选择可辨认标记中要包括在指南场景中的至少一个标记。例如,便携式终端选择可辨认标记中具有高辨认概率的至少一个标记。这里,可以根据便携式终端和标记之间的距离以及标记的辨认次数中的至少一个来确定标记的辨认概率。
接下来,便携式终端进行步骤405并识别指南场景产生信息。这里,指南场景产生信息包括指南场景的尺寸和指南场景的透明度和指南场景的颜色中的至少一个。
在识别指南场景构建信息之后,便携式终端进行步骤407并根据指南场景产生信息来产生包括至少一个标记的指南场景。
接下来,便携式终端进行图3的步骤315并将指南场景添加到显示单元120上显示的增强现实服务场景。
在前述示例性实施例中,当存在多个可辨认标记时,便携式终端在可辨认标记之中选择要包括在指南场景中的至少一个标记。
在另一示例实施例中,便携式终端可以产生指南场景以包括所有可辨认标记。
如上所述,便携式终端提供包括至少一个标记的指南场景以便帮助便携式终端的用户辨认至少一个标记的增强现实补充信息。在示例性实施例中,如以下图5所示,便携式终端可以使用指南场景来提供增强现实补充信息。
图5示出了根据本公开示例性实施例的针对便携式终端通过指南场景提供增强现实补充信息的过程。在步骤501,便携式终端在显示单元120上显示指南场景。例如,如图2所示,便携式终端在显示单元120上一起显示指南场景和增强现实服务场景。作为另一示例,便携式终端可以将指南场景添加到显示单元120上显示的增强现实服务场景并显示结果场景,如图3所示。
接下来,便携式终端进行步骤503并确定用户是否选择了指南场景上显示的标记。
如果在步骤503确定用户没有选择在指南场景上显示的标记,便携式终端返回步骤501并在显示单元120上显示指南场景。
备选地,如果在步骤503确定用户选择了指南场景上显示的标记,则便携式终端进行步骤505并考虑到用户选择的标记改变增强现实服务场景。例如,便携式终端改变增强现实服务场景以与用户选择的标记相匹配。
之后,便携式终端进行步骤507并产生或再现在步骤503选择的标记的增强现实补充信息。
接下来,便携式终端终止本公开的算法。
在上述示例性实施例中,当用户选择在指南场景上显示的标记时,便携式终端改变增强现实服务场景以与用户选择的标记相匹配。
在另一示例性实施例中,当用户选择在指南场景上显示的标记时,便携式终端可以产生或再现所选标记的增强现实补充信息,而不是改变增强现实服务场景。
下面描述在便携式终端中产生或再现增强现实补充信息的方法。图6示出了根据本公开示例性实施例的在便携式终端中提供增强现实补充信息的过程。在步骤601,便携式终端确定是否提供增强现实服务。例如,便携式终端根据用户的操控来确定是否执行增强现实应用。
如果在步骤601确定不提供增强现实服务,则便携式终端终止本公开的算法。
备选地,如果在步骤601确定提供增强现实服务,便携式终端进行步骤603并收集增强现实产生信息。例如,便携式终端收集增强现实产生信息,例如周围图像或视频、周围声音、便携式终端的运动信息以及便携式终端的位置信息等。
在收集增强现实产生信息之后,便携式终端进行步骤605并使用增强现实产生信息来产生增强现实服务场景以便针对增强现实服务向用户提供增强现实服务场景,并在显示单元120上显示增强现实服务场景。在示例性实施例中,便携式终端能够将包括可辨认标记的指南场景与增强现实服务场景一起显示,如图2或图3所示。
接下来,便携式终端进行步骤607并确定是否辨认出与标记相匹配的增强现实服务场景。
如果在步骤607确定辨认出与标记相匹配的增强现实服务场景,则便携式终端进行步骤609并确定是否已经针对与步骤607辨认的增强现实服务场景相匹配的标记的增强现实补充信息设置了视见区。
如果在步骤609确定已经设置了针对标记的增强现实补充信息的视见区,则便携式终端进行步骤611并识别针对与步骤607辨认的增强现实服务场景相匹配的标记的增强现实补充信息的视见区设置信息。这里,视见区设置信息包括增强现实补充信息输出处的增强现实补充信息的输出角度、输出尺寸、输出颜色、产生或再现起始位置、和产生或再现速度等。
在识别了视见区设置信息之后,便携式终端进行步骤613并根据视见区设置信息产生或再现与步骤607辨认的增强现实服务场景场景相匹配的标记的增强现实补充信息。例如,当增强现实补充信息是3维(3D)图像时,便携式终端根据包括在视见区设置信息中的输出角度和输出尺寸来产生增强现实补充信息。
接下来,便携式终端进行步骤615并确定是否发生视见区设置事件。例如,便携式终端确定便携式终端的用户是否已经针对在步骤613产生或再现的增强现实补充信息选择了用于设置视见区的视见区设置菜单。
如果在步骤615确定还没有发生视见区设置事件,则便携式终端返回步骤613并根据在步骤611识别的视见区设置信息来产生或再现增强现实补充信息。
备选地,如果在步骤615确定已经发生视见区设置事件,则便携式终端进行步骤S617并再次设置针对增强现实补充信息的视见区设置信息。例如,当发生视见区设置事件时,便携式终端在显示单元120上显示视见区调整界面。之后,便携式终端存储通过视见区调整界面从用户提供的视见区设置信息。在示例性实施例中,根据通过视见区调整界面从用户提供的视见区设置信息,便携式终端改变在步骤613显示的增强现实补充信息的显示场景。
在另一实施例中,当在步骤S609确定还没有设置针对标记的增强现实补充信息的视见区时,便携式终端进行步骤619并产生或再现与在步骤607辨认的增强现实服务场景相匹配的标记的增强现实补充信息。例如,便携式终端根据便携式终端的状态信息显示增强现实补充信息。
接下来,便携式终端进行步骤621并确定是否发生视见区设置事件。例如,便携式终端确定便携式终端的用户是否已经针对在步骤619产生的增强现实补充信息选择了用于设置视见区的视见区设置菜单。
当在步骤621确定还没有发生视见区设置事件时,则便携式终端返回步骤619并产生与在步骤607辨认出的增强现实服务场景相匹配的增强现实补充信息。
备选地,如果在步骤621确定已经发生视见区设置事件,则便携式终端进行步骤S623并设置针对增强现实补充信息的视见区设置信息。例如,当发生视见区设置事件时,便携式终端在显示单元120上显示视见区调整界面。然后,便携式终端存储通过视见区调整界面从用户提供的视见区设置信息。在示例性实施例中,根据通过视见区调整界面从用户提供的视见区设置信息,便携式终端改变在步骤619显示的增强现实补充信息的显示场景。
接下来,便携式终端终止本发明的算法。在前述示例性实施例中,便携式终端在增强现实补充信息产生或再现期间设置视见区。此外,便携式终端可以根据在增强现实服务之前已经设置的视见区设置信息来产生或再现增强现实补充信息。
图7示出了根据本公开另一示例性实施例的针对便携式终端提供增强现实补充信息的过程。在步骤701,便携式终端确定是否提供增强现实服务。例如,便携式终端根据用户的操控来确定是否执行增强现实应用。
如果在步骤701确定不提供增强现实服务,则便携式终端终止本公开的算法。当在步骤701确定提供增强现实服务时,便携式终端进行步骤703并收集增强现实产生信息。例如,便携式终端收集增强现实产生信息,例如周围图像或视频、周围声音、便携式终端的运动信息以及便携式终端的位置信息等。
在收集增强现实产生信息之后,便携式终端进行步骤705并使用增强现实产生信息来构建增强现实服务场景以便针对增强现实服务向用户提供增强现实服务场景,并在显示单元120上显示增强现实服务场景。在示例性实施例中,便携式终端能够将包括可辨认标记的指南场景与增强现实服务场景一起显示,如图2或图3所示。
接下来,便携式终端进行步骤707并确定是否辨认出与标记相匹配的增强现实服务场景。如果在步骤707确定还没有辨认出与标记相匹配的增强现实服务场景,则便携式终端进行步骤709并确定是否已经设置了针对标记的增强现实补充信息的视见区。
如果在步骤709确定已经设置了针对标记的增强现实补充信息的视见区,则便携式终端进行步骤711并识别预设的视见区设置信息。这里,视见区设置信息包括增强现实补充信息输出处的针对增强现实补充信息的输出角度、输出尺寸、输出颜色、产生或再现起始位置、和产生或再现速度等。
在识别了视见区设置信息之后,便携式终端进行步骤713并根据视见区设置信息产生或再现与步骤707辨认的增强现实服务场景场景相匹配的标记的增强现实补充信息。例如,当增强现实补充信息是3D图像时,便携式终端根据包括在视见区设置信息中的输出角度和输出尺寸来产生或再现增强现实补充信息。接下来,便携式终端总之本发明的算法。
如上所述,本发明的示例性实施例的优点在于,通过在提供增强现实服务的便携式终端中提供包括用于增强现实服务的标记在内的指南场景,便携式终端的用户能够容易地产生或再现针对增强现实服务的补充信息。
此外,本发明的典型实施例的优点在于,通过在提供增强现实服务的便携式终端中根据视见区设置信息来产生或再现针对增强现实服务的辨认的补充信息,便携式终端的用户能够越来越多地使用增强现实服务。
可以理解,能够以硬件、软件或是硬件与软件的结合来实现根据权利要求书和说明书中的描述的本发明的实施例。
可以将任意这种软件存储在计算机可读介质中。计算机可读介质存储一个或更多程序(软件模块),所述一个或更多程序包括指令,当电子设备中的一个或更多处理器执行执行所述指令时,使得电子设备能够执行本发明的方法。
可以按照易失性或非易失性存储器的形式来存储任意这种软件,例如,类似ROM的存储器件,无论可擦写或可重写,或按照存储器形式来存储任意这种软件,例如RAM、存储器芯片、器件或集成电路,或将任意这种软件存储在光或磁可读介质上,例如CD、DVD、磁盘或磁带等。可以理解,存储器件和存储介质是机器可读存储器的实施例,所述机器可读实施例适于存储包括指令的一个或更多程序,当执行所述指令时,能够实现本发明的实施例。
因此,实施例提供了包括代码的程序和存储这种程序的机器可读存储器,所述代码用于实现根据本说明书的任一权利要求的设备或方法。此外,可以经由任意介质来电传递这种程序,例如有线或无线通信连接承载的通信信号,实施例包括这些示例。
尽管已经参考特定优选实施例示出并描述了本发明,本领域技术人员可以理解在不脱离由所附权利要求限定的本发明的精神和范围的前提下,可以在形式和细节方面进行各种改变。

Claims (21)

1.一种在便携式终端中提供增强现实服务的方法,所述方法包括步骤:
使用周围信息产生增强现实服务场景;
根据所述增强现实服务场景确定至少一个标记;
根据至少一个辨认的标记产生指南场景;
将所述指南场景添加到所述增强现实服务场景的一部分上,并显示添加得到的场景。
2.根据权利要求1所述的方法,其中,所述周围信息包括周围图像、周围声音、便携式终端的运动信息和便携式终端的位置信息中的至少一个。
3.根据权利要求1所述的方法,其中,产生指南场景包括:产生包括至少一个辨认的标记的指南场景。
4.根据权利要求1所述的方法,其中,产生指南场景包括步骤:
根据标记的辨认概率,选择辨认的标记中的至少一个标记;并且
产生包括所选的至少一个标记的指南场景,
其中,根据便携式终端和标记之间的距离以及标记的辨认次数中的至少一个来确定标记的辨认概率。
5.根据权利要求1所述的方法,其中,产生指南场景包括步骤:
识别指南场景产生信息;并且
根据指南场景产生信息来产生包括所述至少一个标记的指南场景,
其中,指南场景产生信息包括指南场景的尺寸、指南场景的透明度和指南场景的颜色中的至少一个。
6.根据权利要求5所述的方法,其中,识别指南场景产生信息包括:根据便携式终端的环境亮度和便携式终端的运动中的至少一个来确定指南场景产生信息。
7.根据权利要求1所述的方法,还包括:如果选择了在指南场景上显示的标记,则产生标记的增强现实补充信息。
8.根据权利要求1所述的方法,还包括:
如果辨认出与指南场景中包括的标记相匹配的增强现实服务场景,则识别标记的增强现实补充信息;并且
如果已经设置了针对增强现实补充信息的视见区设置信息,则根据视见区设置信息在屏幕上显示增强现实补充信息,
其中,视见区设置信息包括针对增强现实补充信息的输出角度、输出尺寸、输出颜色、产生或再现起始位置、和产生或再现速度中的至少一个。
9.根据权利要求8所述的方法,还包括步骤:
确定在屏幕上显示增强现实补充信息之后是否发生视见区设置事件;
当已经发生视见区设置事件时,接收视见区设置值;并且
根据视见区设置值改变增强现实补充信息的显示场景。
10.根据权利要求9所述的方法,还包括存储视见区设置值的步骤。
11.一种便携式终端,包括:
控制器,配置为使用周围信息产生增强现实服务场景,根据所述增强现实服务场景确定至少一个标记,根据至少一个辨认的标记产生指南场景,以及将指南场景添加到增强现实服务场景的一部分上;以及
显示单元,配置为显示添加得到的场景。
12.根据权利要求11所述的终端,其中,控制器配置为:使用周围信息来产生增强现实服务场景,所述周围信息包括周围图像、周围声音、便携式终端的运动信息和便携式终端的位置信息中的至少一个。
13.根据权利要求11所述的终端,其中,控制器配置为:产生包括至少一个辨认的标记的指南场景。
14.根据权利要求11所述的终端,其中,控制器配置为:根据标记的辨认概率选择可辨认标记中的至少一个标记;并且产生包括所选的至少一个标记的指南场景,
其中,根据便携式终端和标记之间的距离以及标记的辨认次数中的至少一个来确定标记的辨认概率。
15.根据权利要求11所述的终端,其中,控制器配置为:根据指南场景构建信息来产生包括所述至少一个标记的指南场景,
其中,指南场景产生信息包括指南场景的尺寸、指南场景的透明度和指南场景的颜色中的至少一个。
16.根据权利要求15所述的终端,其中,控制器配置为:根据便携式终端的环境亮度和便携式终端的运动中的至少一个来确定指南场景构建信息。
17.根据权利要求11所述的终端,其中,控制器配置为:当选择了在指南场景上显示的标记时,产生标记的增强现实补充信息。
18.根据权利要求11所述的终端,其中,控制器配置为:如果辨认出通过显示单元与标记相匹配的增强现实服务场景,则进行控制以识别标记的增强现实补充信息;并且如果已经设置了针对增强现实补充信息的视见区设置信息,则根据视见区设置信息在屏幕上显示增强现实补充信息,
其中,视见区设置信息包括针对增强现实补充信息的输出角度、输出尺寸、输出颜色、产生或再现起始位置、和产生或再现速度中的至少一个。
19.根据权利要求18所述的终端,其中,控制器配置为:如果发生针对显示在显示单元上的增强现实补充信息的视见区设置事件,则根据通过输入单元输入的视见区设置值来改变显示在显示单元上的增强现实补充信息的显示。
20.根据权利要求19所述的终端,控制器配置为:在存储单元中存储视见区设置值。
21.一种在移动终端中提供增强现实服务的方法,所述方法包括步骤:
使用周围信息产生增强现实服务场景,其中所述周围信息包括周围图像、周围声音、移动终端的运动信息和移动终端的位置信息中的至少一个;
根据所述增强现实服务场景确定至少一个标记;
识别指南场景产生信息;
根据指南场景产生信息来产生包括至少一个辨认的标记的指南场景;
将所述指南场景添加到所述增强现实服务场景的一部分上,并显示添加得到的场景,
其中,指南场景产生信息包括指南场景的尺寸、指南场景的透明度和指南场景的颜色中的至少一个。
CN201210479186.4A 2011-11-22 2012-11-22 用于针对便携式终端提供增强现实服务的设备和方法 Expired - Fee Related CN103227848B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0122176 2011-11-22
KR1020110122176A KR20130056529A (ko) 2011-11-22 2011-11-22 휴대용 단말기에서 증강현실 서비스를 제공하기 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
CN103227848A true CN103227848A (zh) 2013-07-31
CN103227848B CN103227848B (zh) 2017-03-01

Family

ID=47665793

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210479186.4A Expired - Fee Related CN103227848B (zh) 2011-11-22 2012-11-22 用于针对便携式终端提供增强现实服务的设备和方法

Country Status (7)

Country Link
US (1) US20130127907A1 (zh)
EP (1) EP2597623A3 (zh)
JP (1) JP2013109768A (zh)
KR (1) KR20130056529A (zh)
CN (1) CN103227848B (zh)
AU (1) AU2012258336B2 (zh)
WO (1) WO2013077643A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106030664A (zh) * 2014-02-18 2016-10-12 索尼公司 用于在电子显示器上叠加图像的透明度确定
CN109074204A (zh) * 2016-07-22 2018-12-21 惠普发展公司,有限责任合伙企业 补充信息的显示
CN111133479A (zh) * 2017-09-22 2020-05-08 三星电子株式会社 提供增强现实服务的方法和设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103760972B (zh) * 2013-12-18 2017-03-01 微软技术许可有限责任公司 跨平台的增强现实体验
JP6146869B2 (ja) * 2014-03-19 2017-06-14 Kddi株式会社 撮影動画像に指示画像を同期して重畳する映像指示表示方法、システム、端末、及びプログラム
CN103942049B (zh) 2014-04-14 2018-09-07 百度在线网络技术(北京)有限公司 增强现实的实现方法、客户端装置和服务器
KR102223308B1 (ko) 2014-05-29 2021-03-08 삼성전자 주식회사 영상처리 방법 및 이를 구현한 전자 장치
KR102178892B1 (ko) 2014-09-15 2020-11-13 삼성전자주식회사 정보 제공 방법 및 그 전자 장치
KR102276847B1 (ko) 2014-09-23 2021-07-14 삼성전자주식회사 가상 오브젝트 제공 방법 및 그 전자 장치
JP6424601B2 (ja) * 2014-12-10 2018-11-21 富士通株式会社 表示制御方法、情報処理プログラム、及び情報処理装置
US10841557B2 (en) * 2016-05-12 2020-11-17 Samsung Electronics Co., Ltd. Content navigation
US10489651B2 (en) 2017-04-14 2019-11-26 Microsoft Technology Licensing, Llc Identifying a position of a marker in an environment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090289956A1 (en) * 2008-05-22 2009-11-26 Yahoo! Inc. Virtual billboards
CN101833896A (zh) * 2010-04-23 2010-09-15 西安电子科技大学 基于增强现实的地理信息指引方法与系统
US20110115816A1 (en) * 2009-11-16 2011-05-19 Alliance For Sustainable Energy, Llc. Augmented reality building operations tool
US20110164163A1 (en) * 2010-01-05 2011-07-07 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
JP3406965B2 (ja) * 2000-11-24 2003-05-19 キヤノン株式会社 複合現実感提示装置及びその制御方法
JP2006145988A (ja) * 2004-11-22 2006-06-08 Olympus Corp 情報重畳表示装置及び情報重畳表示システム
JP5517397B2 (ja) * 2006-08-11 2014-06-11 キヤノン株式会社 画像処理方法、画像処理装置
KR101397214B1 (ko) * 2007-06-05 2014-05-20 삼성전자주식회사 증강 현실 기술을 이용하여 가상 객체를 생성하기 위한시스템 및 방법
WO2010073616A1 (ja) * 2008-12-25 2010-07-01 パナソニック株式会社 情報表示装置および情報表示方法
JP4834116B2 (ja) * 2009-01-22 2011-12-14 株式会社コナミデジタルエンタテインメント 拡張現実表示装置、拡張現実表示方法、ならびに、プログラム
US8078152B2 (en) * 2009-08-13 2011-12-13 Palo Alto Research Center Incorporated Venue inference using data sensed by mobile devices
KR101082285B1 (ko) * 2010-01-29 2011-11-09 주식회사 팬택 증강 현실 제공 단말기 및 방법
KR101730881B1 (ko) * 2010-04-21 2017-04-27 엘지전자 주식회사 증강 원격제어장치 및 그 동작 방법
JP5512378B2 (ja) * 2010-04-28 2014-06-04 株式会社Nttドコモ オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
KR101108542B1 (ko) * 2010-05-12 2012-01-30 고려대학교 산학협력단 위치기반 증강현실을 이용하는 이동통신 단말기 및 이의 제어방법
JP4696184B1 (ja) * 2010-06-02 2011-06-08 任天堂株式会社 画像表示システム、画像表示装置および画像表示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090289956A1 (en) * 2008-05-22 2009-11-26 Yahoo! Inc. Virtual billboards
US20110115816A1 (en) * 2009-11-16 2011-05-19 Alliance For Sustainable Energy, Llc. Augmented reality building operations tool
US20110164163A1 (en) * 2010-01-05 2011-07-07 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
CN101833896A (zh) * 2010-04-23 2010-09-15 西安电子科技大学 基于增强现实的地理信息指引方法与系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106030664A (zh) * 2014-02-18 2016-10-12 索尼公司 用于在电子显示器上叠加图像的透明度确定
CN106030664B (zh) * 2014-02-18 2020-01-07 索尼公司 在电子显示器上叠加两个图像的方法和计算装置
CN109074204A (zh) * 2016-07-22 2018-12-21 惠普发展公司,有限责任合伙企业 补充信息的显示
CN109074204B (zh) * 2016-07-22 2022-08-12 惠普发展公司,有限责任合伙企业 补充信息的显示
CN111133479A (zh) * 2017-09-22 2020-05-08 三星电子株式会社 提供增强现实服务的方法和设备
CN111133479B (zh) * 2017-09-22 2024-01-26 三星电子株式会社 提供增强现实服务的方法和设备

Also Published As

Publication number Publication date
EP2597623A2 (en) 2013-05-29
EP2597623A3 (en) 2014-07-02
CN103227848B (zh) 2017-03-01
AU2012258336B2 (en) 2016-02-04
AU2012258336A1 (en) 2013-06-06
KR20130056529A (ko) 2013-05-30
US20130127907A1 (en) 2013-05-23
JP2013109768A (ja) 2013-06-06
WO2013077643A1 (en) 2013-05-30

Similar Documents

Publication Publication Date Title
CN103227848A (zh) 用于针对便携式终端提供增强现实服务的设备和方法
KR101938667B1 (ko) 휴대 전자장치 및 그 제어 방법
CN108415705B (zh) 网页生成方法、装置、存储介质及设备
CN103207728B (zh) 提供增强现实的方法和支持该方法的终端
CN106445156A (zh) 一种基于虚拟现实的智能家居控制的方法、装置以及终端
CN111476911A (zh) 虚拟影像实现方法、装置、存储介质与终端设备
KR102071576B1 (ko) 콘텐트 재생 방법 및 이를 위한 단말
WO2018142756A1 (ja) 情報処理装置及び情報処理方法
KR20150017131A (ko) 모바일 단말기 및 그의 제어 방법
KR20120004023A (ko) 휴대용 단말기에서 증강 현실 기법을 이용한 악기 연주를 제공하기 위한 장치 및 방법
US9076345B2 (en) Apparatus and method for tutoring in convergence space of real and virtual environment
CN105681894A (zh) 显示视频文件的装置及方法
KR101458521B1 (ko) 증강현실 콘텐츠 재생 시스템
CN112822529A (zh) 电子设备及其控制方法
KR101679791B1 (ko) 모바일 장치를 이용한 전광판 구동시스템 및 방법
CN105683959A (zh) 信息处理设备、信息处理方法及信息处理系统
KR20200144702A (ko) 증강 현실 미디어 콘텐츠의 적응적 스트리밍 시스템 및 적응적 스트리밍 방법
CN107680038A (zh) 一种图片处理方法、介质和相关装置
CN115696020A (zh) 跨设备的拍摄方法、相关装置及系统
EP3842907B1 (en) Mobile device and control method for mobile device
KR101631754B1 (ko) 이동 단말기
CN113655933A (zh) 文本标注方法及装置、存储介质及电子设备
KR20170056833A (ko) 이동단말기
KR20200137594A (ko) 모바일 장치 및 모바일 장치의 제어 방법
KR102603972B1 (ko) Web ar 기반 비즈니스 정보를 제공하는 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170301

Termination date: 20181122

CF01 Termination of patent right due to non-payment of annual fee