CN105493004A - 便携式设备及其控制方法 - Google Patents

便携式设备及其控制方法 Download PDF

Info

Publication number
CN105493004A
CN105493004A CN201480048368.3A CN201480048368A CN105493004A CN 105493004 A CN105493004 A CN 105493004A CN 201480048368 A CN201480048368 A CN 201480048368A CN 105493004 A CN105493004 A CN 105493004A
Authority
CN
China
Prior art keywords
virtual image
translational speed
tagged object
portable set
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480048368.3A
Other languages
English (en)
Other versions
CN105493004B (zh
Inventor
李度泳
金容信
朴孝琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN105493004A publication Critical patent/CN105493004A/zh
Application granted granted Critical
Publication of CN105493004B publication Critical patent/CN105493004B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/17—Image acquisition using hand-held instruments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G09G2340/145—Solving problems related to the presentation of information to be displayed related to small screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Abstract

公开一种便携式设备。根据一个实施例的便携式设备包括：相机单元，该相机单元被配置为捕获在便携式设备前面的图像；显示单元，该显示单元被配置为显示虚拟图像，和处理器，该处理器被配置为控制相机单元和显示单元，该处理器进一步被配置为从图像检测标记对象，当检测到标记对象时，基于标记对象的位置显示对应于标记对象的虚拟图像，检测图像中标记对象的位置变化，当检测到位置变化时，根据位置变化移动虚拟图像，以及获得虚拟图像的第一移动速度，或者标记对象的第二移动速度，当第一移动速度或者第二移动速度比第一参考速度快时，将第一移动速度降低为小于第一参考速度。

Description

便携式设备及其控制方法
技术领域
本说明书涉及便携式设备，尤其是，涉及通过显示真实对象的虚拟图像提供增强现实(AR)服务的便携式设备及其控制方法。
背景技术
作为已经开发的技术，便携式设备将其自身改变为能够对用户提供各种服务的智能设备。近来，便携式设备被作为提供增强现实(AR)服务的设备使用，增强现实(AR)服务对应于以混合两个图像的方式一起示出真实图像和虚拟图像的服务。
便携式设备使用对应于从附近图像检测的真实对象的虚拟图像以重叠到真实对象的方式被显示的方法提供AR服务。
发明内容
技术问题
在以前面提到的显示方法提供AR服务的情况下，如果真实对象快速移动，则虚拟图像同样快速移动。因此，对于用户来说观察虚拟图像或者获得包括在虚拟图像中的信息是困难的。
技术方案
据此，本说明书针对一种装置和方法，其基本上消除了一个或多个由于现有技术的限制和缺点而导致的问题。
在提供AR服务时，本说明书的目的是提供一种根据是否虚拟图像移动和虚拟图像的移动速度改变显示虚拟图像方法的便携式设备及其控制方法。
在下面的描述中将在某种程度上阐述本发明的额外的优点、目的和特征，在参阅以下内容时或者可以从本发明的实践中获悉，本发明的额外的优点、目的和特征在某种程度上对于那些本领域普通的技术人员将变得显而易见。通过尤其在著述的说明书和此处的权利要求以及附图中指出的结构，可以实现和获得本发明的目的和其他的优点。
为了实现这些目的和其他的优点，并且按照本发明的目的，如在此处体现和广泛地描述的，根据一个实施例的便携式设备，包括：相机单元，该相机单元被配置为捕获在便携式设备前面的图像；显示单元，该显示单元被配置为显示虚拟图像；和处理器，该处理器被配置为控制相机单元和显示单元，该处理器进一步被配置为从图像检测标记对象，当检测到标记对象时，基于标记对象的位置显示对应于标记对象的虚拟图像，检测标记对象的位置变化，当检测到位置变化时，根据位置变化移动虚拟图像，并且获得虚拟图像的第一移动速度，或者标记对象的第二移动速度，当第一移动速度或者第二移动速度比第一参考速度快时，将第一移动速度降低为小于第一参考速度。
为了实现这些目的和其他的优点，和按照本发明的目的，如在此处体现和广泛地描述的，一种控制便携式设备的方法，包括步骤：捕获在便携式设备前面的图像，从图像检测标记对象，当检测到标记对象时，获得有关对应于标记对象的虚拟图像的信息，并且基于标记对象的位置显示虚拟图像，检测标记对象的位置变化，当检测到位置变化时，根据位置变化移动虚拟图像，并且获得虚拟图像的移动速度或者标记对象的移动速度，以及当虚拟图像的移动速度或者标记对象的移动速度比第一参考速度快时，将虚拟图像的移动速度降低为小于第一参考速度。
有益效果
根据本说明书，根据一个实施例的便携式设备可以提供使用方便的AR服务。更具体地说，在提供AR服务中，不管标记对象的移动速度如何，便携式设备可以以按照标记对象的位置变化控制虚拟图像移动的移动速度的方式提供由用户可读的虚拟图像。并且，在控制虚拟图像的移动速度的情况下，便携式设备可以进一步以改变显示虚拟图像方法的方式增强虚拟图像的可读性。并且，便携式设备可以确定是否虚拟图像根据检测的虚拟图像的移动速度，或者标记对象的大小被连续地显示，然后可以停止显示不必要的虚拟图像，从而降低便携式设备的功耗。
应该明白，上文的概述和下面的本说明书的详细说明是示范性和说明性的，并且意欲对需要保护本发明提供进一步的解释。
附图说明
附图被包括以提供对本发明进一步的理解，并且被包含进和构成本申请书的一部分，其图示本发明的实施例，并且与说明书一起用作解释本发明的原理。在附图中：
图1是根据一个实施例的便携式设备的框图；
图2是根据一个实施例捕获在设备前面的图像和显示虚拟图像的便携式设备的图；
图3是根据一个实施例显示多个检测的标记图像的虚拟图像的便携式设备的图；
图4是根据一个实施例检测标记对象的位置变化情形的图；
图5是按照一个实施例按照虚拟图像的移动速度显示虚拟图像的便携式设备的示意图；
图6是根据一个实施例，按照检测标记对象的持续时间或者检测标记对象的大小显示虚拟图像的便携式设备的图；
图7是根据一个实施例在降低虚拟图像的移动速度的情况下，以变化的显示方法显示虚拟图像的便携式设备的图；
图8是根据一个实施例控制便携式设备方法的流程图；
图9是根据一个不同的实施例控制便携式设备方法的流程图。
具体实施方式
虽然考虑到功能在本说明书中使用的术语是从目前和广泛地使用的常规的术语中选择出来的，但它们可以按照从事于相应的领域的技术人员的意图、定制、新技术出现等等改变。有时，某些术语可以由申请人任意地选择。在这种情况下，任意地选择的术语的含义将在本说明书的详细说明的相应部分中描述。因此，在本说明书中使用的术语需要基于相应的术语的实质上的含义和在本说明书中公开的整个内容解释，而不是被解释为该术语的简单名称。
另外，虽然实施例已经参考附图和在图上书写的内容被具体地描述，但权利要求书的范围可以不受限或者不局限于实施例。
本说明书涉及便携式设备。在本说明书中，便携式设备对应于便携式电子设备，并且可以指能够捕获在该设备前面的图像、从捕获的图像检测标记对象以及显示与检测的标记对象相关的虚拟图像的电子设备。例如，便携式设备可以对应于诸如智能电话、智能PAD、个人数字助理(PDA)、平板PC、智能表、头戴式显示器(HMD)等等这样不同的电子设备。
在本说明书中，标记对象可以指包括指示是否相关的虚拟图像存在，或者是否虚拟图像被显示的标记的对象。在这种情况下，该标记可以对应于约定的图案，或者在任意对象的表面上配备的代码形式。或者，该标记可以对应于任意对象本身。这些类型的所有光学标识符可以被称作标记。并且，在本说明书中，虚拟图像对应于由文字和图形组成的图像，并且指示被配置为向用户提供与标记对象相关的增强现实信息的图像。例如，如果标记对象对应于公共汽车，则该虚拟图像可以对应于被配置为提供诸如有关公共汽车线路、分配间隔或者下一个公共汽车的位置的信息这样的增强现实信息的图像。
图1是根据一个实施例的便携式设备的框图。
参考图1，便携式设备100包括相机单元110、显示单元130、传感器单元150和处理器170。
相机单元110可以捕获在设备前面的图像。更具体地说，相机单元110在视角内捕获在设备前面的图像，并且可以将捕获的图像传送给处理器170。在这种情况下，视角指示能够经由相机的镜头拍摄图像的角度。在这种情况下，捕获的图像可以对应于图片、视频、静止画面的形式。并且，捕获的图像可以包括至少一个标记对象。
显示单元130可以显示虚拟图像。更具体地说，显示单元130可以基于处理器170的控制命令显示虚拟图像。
显示单元130可以配备有不透明或者透明的显示面板。在这种情况下，透明的显示面板可以包括半透明的显示面板。例如，不透明的显示面板可以对应于液晶显示器(LCD)、等离子显示板(PDP)、发光二极管显示器(LED)、有机发光二极管显示器(PLED)等等。例如，透明的显示面板可以对应于光学透明的显示面板。
传感器单元150感测用户输入或者使用安装在该设备中的至少一个感测装置感测设备的环境，并且可以将感测的结果传送到处理器。至少一个感测装置可以包括诸如重力传感器、地磁传感器、运动传感器、陀螺仪传感器、加速度传感器、红外传感器、俯仰(倾斜)传感器、亮度传感器、高度传感器、嗅觉传感器、温度传感器、深度传感器、压力传感器、弯曲传感器、音频传感器、视频传感器、GPS(全球定位系统)传感器、触摸传感器等等这样的感测装置。前面提到的传感器可以包括在作为单独单元的设备中，或者可以以合并为至少一个单元的方式被包括在设备中。
存储单元可以存储诸如视频、音频、图片、应用等等这样的不同的数字数据。存储单元可以安装在便携式设备100的内部或者外部。例如，内部存储单元可以安装在使用存储装置，诸如，闪存、硬盘驱动器(HDD)、固态驱动器(SSD)的便携式设备的内部。作为不同的示例，外部存储单元可以安装在使用表示为云的互联网上的服务器的便携式设备100的外部。使用云的外部存储单元可以以集成数据与虚拟技术的方式提供存在于物理上相互不同的位置上的数据。
通信单元可以使用各种协议以执行通信的方式与外部收发数据。通信单元通过有线或者无线接入外部网络，并且可以通过网络收发数字/模拟数据。
处理器170执行各种应用，并且可以处理设备内部的数据。并且，处理器170控制前面提到的便携式设备100单元中的每一个，并且可以控制单元之间的数据发送/接收。
本说明书的处理器从捕获的图像检测标记对象，并且可以基于标记对象的位置显示对应于检测的标记对象的虚拟图像。并且，该处理器检测标记对象的位置变化，根据位置变化移动虚拟图像，并且可以获得虚拟图像的第一移动速度。并且，当第一移动速度比第一参考速度快时，该处理器可以减慢第一移动速度以使第一移动速度小于第一参考速度。有关处理器的详细解释将在以下的描述中参考每个附图描述。
首先，图1是根据一个实施例的便携式设备100的框图。以单独的方式表示的块指示逻辑上区分的设备的单元。因此，前面提到的设备的单元可以根据设备的设计配备有单个芯片或者多个芯片。并且，在图1中描述的便携式设备100仅仅是一个实施例。包括在图1中的所有单元对执行本说明书的实施例来说不都是必需的。在以下的描述中，详细解释本说明书的实施例需要的单元以及单元的操作。
图2是根据一个实施例捕获在便携式设备前面的图像和显示虚拟图像的便携式设备的图。
图2a是包括配备有不透明的显示面板的显示单元的便携式设备的实施例，而图2b是包括配备有透明的显示面板的显示单元的便携式设备的实施例。
参考图2a和图2b，便携式设备100可以使用相机单元在视角10区域内捕获设备前面的图像20。在这种情况下，相机单元可以连续地或者以特定的时间间隔捕获设备前面的图像20。例如，相机单元连续地捕获设备前面的图像20，并且可以将视频形式的捕获的图像20传送到处理器。作为不同的示例，该相机单元以特定的时间间隔捕获设备前面的图像20，并且可以将静止画面形式的捕获的图像20传送到处理器。
并且，便携式设备100可以使用处理器检测标记对象30。例如，处理器从相机单元捕获的捕获的图像20检测标记对象30，或者可以从对应于在显示单元中显示的图像20的数据中检测标记对象30。在这种情况下，处理器可以以应用预存检测算法的方式检测标记对象30。
并且，便携式设备100可以使用处理器获得有关与标记对象30相关的虚拟图像40的信息(在下文中也称作虚拟图像信息)。例如，处理器直接从内部存储单元获得虚拟图像信息，或者可以经由通信单元从外部存储单元获得虚拟图像信息。在这种情况下，外部存储单元可以以集成虚拟图像信息与虚拟化技术的方式，经由有线/无线通信网络将存在于物理上相互不同的位置中的虚拟图像信息提供给便携式设备。
在这种情况下，虚拟图像信息可以包括与标记对象相关的增强现实信息、有关显示模式(显示模式信息)的信息、有关图形用户界面格式(图形用户界面格式信息)的信息的至少一个。
在这种情况下，显示模式是确定包括在显示对象中的增强现实信息量的模式。显示模式可以划分为常规显示模式和简单显示模式。常规显示模式是被配置为在显示对象中包括在虚拟图像信息中包含的所有增强现实信息的显示模式。简单显示模式是被配置为在显示对象中仅包括在虚拟图像信息中包含的增强现实信息之中选择的增强现实信息的显示模式。
在这种情况下，图形用户界面格式指在显示单元中显示虚拟图像的用户界面格式。根据一个实施例的图形用户界面格式可以包括虚拟图像的显示位置、显示大小、显示形状、虚拟图像的显示颜色或者显示透明度中的至少一个。
并且，便携式设备100可以使用处理器基于标记对象30的位置显示虚拟图像40。例如，如在图2a中描述的，该处理器可以在对应于虚拟图像的标记对象30的顶端中显示虚拟图像40。作为不同的示例，处理器可以在诸如对应于虚拟图像40的标记对象30的下面、左侧、右侧等等这样的不同的位置中显示虚拟图像40。作为进一步不同的示例，该处理器可以以将对应于虚拟图像的标记对象30与虚拟图像40重叠的方式显示虚拟图像40。
如在图2a中描述的，在配备有不透明面板的显示单元130的情况下，便携式设备100可以一起显示捕获的图像20和虚拟图像40。如在图2b中描述的，在配备有透明的显示面板的显示单元的情况下，便携式设备100可以无需显示捕获的图像20，以虚拟图像40重叠用户看到的真实环境的方式显示虚拟图像40。
图3是根据一个实施例显示多个检测的标记图像的虚拟图像的便携式设备的图。
更具体地说，图3a是显示全部多个检测的标记对象的虚拟图像的便携式设备的实施例，图3b是显示在多个检测的标记对象之中选择的标记对象的虚拟图像的便携式设备的实施例，而图3c是显示在多个检测的标记对象之中位于用户注视处的标记对象的虚拟图像着便携式设备的实施例。
在图3a至图3c中，由于基于标记对象的位置获得虚拟图像信息和显示虚拟图像的详细内容与在图2中先前提及的内容相同，因此详细内容被省略。
首先，参考图3a，当检测到多个标记对象(30-1、30-2、30-3和30-4)时，该便携式设备可以获得与多个标记对象(30-1、30-2、30-3和30-4)的每一个相关的虚拟图像信息。该便携式设备可以使用获得的虚拟图像信息，基于相应的标记对象(30-1、30-2、30-3和30-4)的位置显示虚拟图像(40-1、40-2、40-3和40-4)的每一个。
参考图3b，当检测到多个标记对象(30-1、30-2、30-3和30-4)时，该便携式设备按照预先确定的选择条件选择多个标记对象(30-1、30-2、30-3和30-4)之中特定标记对象(30-1和30-2)，并且可以获得与选择的特定标记对象(30-1和30-2)相关的虚拟图像信息。在这种情况下，选择条件是选择显示相关的虚拟图像的特定标记对象的条件。选择条件可以包括有关标记对象的属性和类型的信息。选择条件可以是基于用户输入配置的条件。并且，选择条件可以对应于预先在便携式设备中存储的条件。
例如，如在图3b中描述的，如果标记对象的可移动性被配置为选择条件，则该便携式设备在多个标记对象(30-1、30-2、30-3和30-4)之中选择具有可移动性的特定标记对象(30-1和30-2)，并且可以获得与选择的特定标记对象(30-1和30-2)相关的虚拟图像信息。并且，该便携式设备可以使用获得的虚拟图像信息，基于相应的特定标记对象(30-1和30-2)的位置显示虚拟图像(40-1和40-2)的每一个。
参考图3c，在检测到多个标记对象(30-1、30-2、30-3和30-4)的情况下，该便携式设备使用传感器单元150感测用户注视，并且可以检测用户注视的注视位置，并且可以基于该注视位置从多个标记对象(30-1、30-2、30-3和30-4)中选择至少一个标记对象。
例如，如在图3c中描述的，该便携式设备可以从多个检测的标记对象(30-1、30-2、30-3和30-4)中选择放置在感测的注视位置或者放置在邻近感测的注视位置的区域上的一个标记对象(30-1)。并且，该便携式设备获得有关选择标记对象(30-1)的虚拟图像信息，并且可以使用获得的虚拟图像信息，基于选择标记对象(30-1)的位置显示虚拟图像(40-1)。
作为不同的示例，该便携式设备可以从多个检测的标记对象(30-1、30-2、30-3和30-4)中选择放置在离感测的注视位置预先确定的距离内的多个标记对象(30-1和30-3)。并且，该便携式设备获得有关选择的标记对象(30-1和30-3)的虚拟图像信息，并且可以使用获得的虚拟图像信息，基于选择的标记对象(30-1和30-3)的位置显示虚拟图像(40-1和40-3)的每一个。
图4是根据一个实施例检测标记对象的位置变化的情形的图。由于便携式设备和标记对象之间的标记对象的绝对位置变化或者相对位置变化，因此可能出现标记的位置变化。
图4a是标记对象的绝对位置变化的实施例，而图4b是标记对象的相对位置变化的实施例。在这种情况下，该处理器可以以应用预存检测算法或者跟踪算法的方式检测标记对象30的位置变化。并且，该便携式设备可以使用传感器单元感测标记对象的位置和方向。该便携式设备可以使用感测的结果确定是否位置变化对应于绝对位置变化或者相对位置变化，并且可以执行对应于每种情形的数据处理。
参考图4a，由于标记对象30正在移动，并且该便携式设备100处于静止，因此便携式设备100可以检测标记对象30的绝对位置变化。
例如，便携式设备100可以使用处理器从由相机单元捕获的图像中检测标记对象30的绝对位置变化。作为不同的示例，便携式设备100可以使用处理器从对应于在显示单元130中显示的图像的数据中检测标记对象30的绝对位置变化。在这种情况下，标记对象30可以对应于诸如公共汽车、地铁等等这样的可移动的对象。
参考图4b，由于标记对象30处于静止，并且便携式设备100正在移动，便携式设备100可以检测标记对象30的相对位置变化。
例如，便携式设备100可以使用处理器从由相机单元捕获的图像中检测标记对象30的相对位置变化。作为不同的示例，该便携式设备可以使用处理器从对应于在显示单元130中显示的图像的数据中检测标记对象30的相对位置变化。在这种情况下，标记对象30可以对应于固定在GPS上的诸如建筑物、公共汽车站信息板等等这样的对象。
在这种情况下，便携式设备100可以基于携带该设备的用户或者佩带该设备的用户移动。并且，该便携式设备可以基于诸如携带该设备的用户或者佩带该设备的用户乘坐的公共汽车等等这样的交通工具的运动移动。
如在先前的描述中提及的，当检测到标记对象30的位置变化时，便携式设备100根据标记对象30的位置变化移动虚拟图像40，并且可以使用处理器获得虚拟图像40的移动速度(也称作第一移动速度)。在这种情况下，处理器可以从在显示单元130中显示的图像中获得虚拟图像40的移动速度。
并且，处理器可以进一步获得标记对象30的移动速度(也称作第二移动速度)。在这种情况下，处理器可以从由相机单元捕获的图像或者在显示单元130中显示的图像中获得标记对象30的移动速度。在这种情况下，只有当检测到标记对象30的绝对位置变化时，处理器可以获得标记对象30的移动速度。
并且，当检测到标记对象的位置变化时，处理器可以进一步获得虚拟图像的加速度(也称作第一移动加速度)，或者标记对象的加速度(也称作第二移动加速度)。
图5是根据一个实施例按照虚拟图像的移动速度显示虚拟图像的便携式设备的图。图5示出在每个时间(t1、t2、t3和t4)在显示单元中显示的虚拟图像，并且在时间(t1、t2、t3和t4)的每个之间的间隔彼此相同。
图5a是当虚拟图像的移动速度比第一参考速度慢时，显示虚拟图像的便携式设备的实施例，图5b是当虚拟图像的移动速度比第一参考速度快并且比第二参考速度慢时，显示虚拟图像的便携式设备的实施例，图5c是当虚拟图像的移动速度比第二参考速度快时，显示虚拟图像的便携式设备的实施例，而图5d是当虚拟图像的移动速度比第一参考速度快，但是虚拟图像的加速度是负加速度时，显示虚拟图像的便携式设备的实施例。
参考图5a，在每个时间(t1、t2和t3)上虚拟图像40的移动速度比第一参考速度慢。在这种情况下，该便携式设备根据标记对象30的位置变化移动虚拟图像40。该便携式设备可以在邻近标记对象30的位置中连续地显示虚拟图像40。
在这种情况下，第一参考速度是预先确定的速度，并且指示读取移动虚拟图像所需要的最小速度。尤其是，如果虚拟图像40的移动速度比第一参考速度慢，则用户可以充分地读取该虚拟图像40。但是，如果虚拟图像40的移动速度比第一参考速度快，用户无法充分地读取该虚拟图像40。
第一参考速度可以基于显示区和虚拟图像的大小比、包括在虚拟图像中的增强现实信息的量或者显示单元的分辨率中的至少一个被配置。例如，与显示单元的大小相比，显示区的大小越大，包括在虚拟图像中增强现实信息的量越少，并且显示单元的分辨率越高，第一参考速度值增加越大。第一参考速度可以根据用户配置被设置为不同的值，并且可以以各种方法设置。
参考图5b，在每个时间(t1、t2和t3)上虚拟图像40的移动速度比第一参考速度快，并且比第二参考速度慢。在这种情况下，该便携式设备可以将虚拟图像40的移动速度降低为小于第一参考速度。并且，当虚拟图像40的移动速度被降低为小于第一参考速度时，该便携式设备改变图形用户界面格式，并且可以按照变化的图形用户界面显示虚拟图像。关于这些，将在图7中详细描述。
在这种情况下，第二参考速度是预先确定的速度，并且指示读取移动虚拟图像40所需要的最大速度。尤其是，如果虚拟图像40的移动速度比第二参考速度快，则对于用户来说充分地读取该虚拟图像40是不可能或者不必要的。因此，该便携式设备可以停止显示虚拟图像40。第二参考速度比第一参考速度快。
第二参考速度可以基于显示区和虚拟图像的大小比、包括在虚拟图像中的增强现实信息的量或者显示单元的分辨率中的至少一个被配置。例如，与显示单元的大小相比，显示区的大小越大，包括在虚拟图像中增强现实信息的量越少，并且显示单元的分辨率越高，第二参考速度值增加越大。第二参考速度可以根据用户配置被设置为不同的值，并且可以以各种方法设置。
参考图5c，在每个时间(t1、t2和t3)上虚拟图像40的移动速度比第二参考速度快。在这种情况下，对于用户来说充分地读取虚拟图像40是不可能或者不必要的。因此，该便携式设备可以停止显示虚拟图像40。在这种情况下，该便携式设备可以以逐渐淡出虚拟图像方式停止显示虚拟图像。
图5a至图5c描述虚拟图像的移动速度是恒定速度的情形，本说明书可以不受限于此。虚拟图像40的移动速度可以连续地变化。因此，该便携式设备可以实时获得虚拟图像40的移动速度，并且可以根据移动速度实时执行前面提到的数据处理。并且，该便携式设备以预先确定的时间间隔获得虚拟图像40的移动速度，并且可以以预先确定的时间间隔根据该移动速度执行前面提到的数据处理。
虽然图5a至图5c基于虚拟图像40的移动速度解释，但如果获得标记对象30的移动速度，相同的解释可以同样适用。尤其是，如果标记对象30的移动速度比第一参考速度慢，则该便携式设备按照标记对象30的位置变化移动虚拟图像40，并且可以在邻近标记对象30的位置中连续地显示虚拟图像40。并且，如果标记对象30的移动速度比第一参考速度快并且比第二参考速度慢，则该便携式设备可以将虚拟图像40的移动速度降低为小于第一参考速度。并且，如果标记对象30的移动速度比第二参考速度快，则该便携式设备可以停止显示虚拟图像40。
参考图5d，在每个时间(t1和t2)虚拟图像40的移动速度比第一参考速度快，在时间(t2)虚拟图像40的移动加速度是负加速度，并且在每个时间(t3和t4)虚拟图像40的移动速度比第一参考速度慢。
如果虚拟图像40的移动速度比第一参考速度快，并且虚拟图像40的移动加速度是负加速度，如在时间(t2)上所示，则该便携式设备基于加速度的幅值确定是否虚拟图像的移动速度被降低为小于第一参考速度，并且可以根据确定的结果显示虚拟图像40。例如，当虚拟图像40的移动加速度是负加速度并大于预先确定的幅值时，由于虚拟图像的移动速度在短时间内将变得比第一参考速度慢，因此虽然在当前的定时点上虚拟图像40的移动速度比第一参考速度快，但该便携式设备可以不降低虚拟图像40的移动速度。
在这种情况下，预先确定的幅值可以基于显示区和虚拟图像的大小比、包括在虚拟图像中的增强现实信息的量或者显示单元的分辨率中的至少一个被配置。预先确定的大小可以根据用户配置被设置为不同的值，并且可以以各种方法设置。
与图5d不同，虚拟图像40的移动速度和虚拟图像40的移动加速度可以连续地变化。因此，该便携式设备实时获得虚拟图像40的移动速度和虚拟图像40的移动加速度，并且可以根据移动速度和移动加速度实时执行前面提到的数据处理。并且，该便携式设备以预先确定的时间间隔获得虚拟图像40的移动速度和虚拟图像40的移动加速度，并且可以以预先确定的时间间隔根据虚拟图像40的移动速度和虚拟图像40的移动加速度执行前面提到的数据处理。
虽然图5d基于虚拟图像40的移动速度和虚拟图像40的移动加速度解释，但如果获得标记对象30的移动速度和标记对象30的移动加速度，则相同的解释可以同样适用。尤其是，如果标记对象30的移动速度比第一参考速度快，并且标记对象30的移动加速度是负加速度，则该便携式设备基于加速度的幅值确定是否虚拟图像30的移动速度被降低为小于第一参考速度，并且可以根据确定的结果显示虚拟图像40。例如，如果标记对象30的移动加速度具有负加速度并大于预先确定的幅值，则由于虚拟图像的移动速度在短时间内将变得比第一参考速度慢，因此虽然在当前的定时点上虚拟图像40的移动速度比第一参考速度快，但该便携式设备可以不降低虚拟图像40的移动速度。
图6是根据一个实施例，按照检测标记对象的持续时间或者检测标记对象的大小显示虚拟图像的便携式设备的图。图6示出在每个时间(t1、t2和t3)在显示单元中显示的虚拟图像，并且在该时间的每个之间的间隔彼此相同。
图6a是当不再检测到标记对象，并且持续时间比预先确定的持续时间短时，显示虚拟图像的便携式设备的实施例，并且图6b是当大小小于预先确定的大小时，显示虚拟图像的便携式设备的实施例。
参考图6a，虽然在每个时间(t1、t2和t3)虚拟图像40的移动速度或者标记对象30的移动速度比第一参考速度慢，但是不再检测到标记对象，并且持续时间比预先确定的持续时间短。在这种情况下，在不再检测到标记对象之后，该便携式设备可以在预先确定的时段内进一步显示虚拟图像40。在这种情况下，该预先确定的时段可以根据用户配置被设置为不同的值，并且可以以各种方法设置。
根据一个实施例，在结束标记对象30的检测的时间(t2)(如同在时间(t3)上所示)之后，该便携式设备可以在预先确定的时段内在结束标记对象30的检测的位置中将虚拟图像40显示为静态。根据不同的实施例，该便携式设备改变图形用户界面，并且可以按照变化的图形用户界面显示虚拟图像40。关于这些，将在图7中详细描述。
在这种情况下，预先确定的持续时间指示充分地读取移动虚拟图像所需要的最小持续时间。尤其是，虽然虚拟图像40的移动速度比第一参考速度慢，但如果该持续时间比预先确定的持续时间短，则用户还是无法充分地读取该虚拟图像。
该预先确定的持续时间可以基于视角区和标记对象的大小比、包括在虚拟图像中的增强现实信息的量或者显示单元的分辨率中的至少一个被配置。例如，与视角单元的大小相比，视角区的大小越大，包括在虚拟图像中增强现实信息的量越少，并且显示单元的分辨率越高，预先确定的持续时间值增加越大。预先确定的持续时间可以根据用户配置被设置为不同的值，并且可以以各种方法设置。
参考图6b，虽然在每个时间(t1、t2、t3和t4)上虚拟图像40的移动速度或者标记图像30的移动速度比第一参考速度慢，但标记对象30的大小小于预先确定的大小。在这种情况下，该便携式设备可以停止显示虚拟图像40。
在这种情况下，预先确定的大小指示显示虚拟图像所需要的最小大小。尤其是，虽然虚拟图像40的移动速度比第一参考速度慢，但是如果标记对象30的大小小于预先确定的大小，则这可以对应于标记对象30远离用户视线的距离远到不必显示检测的标记对象30的虚拟图像40的情形。
预先确定的大小可以基于视角区和标记对象的大小比、包括在虚拟图像中的增强现实信息的量或者显示单元的分辨率中的至少一个被配置。例如，与视角单元的大小相比，视角区的大小越大，包括在虚拟图像中增强现实信息的量越少，并且显示单元的分辨率越高，预先确定的大小值增加越大。预先确定的大小可以根据用户配置被设置为不同的值，并且可以以各种方法设置。
虽然假设在图6a和图6b中虚拟图像40的移动速度或者标记对象30的移动速度比第一参考速度慢，但是在虚拟图像40的移动速度比第一参考速度快的情况下，相同的解释可以同样适用。
图7是根据一个实施例在降低虚拟图像的移动速度的情况下，以变化的显示方法显示虚拟图像的便携式设备的图。
参考图7a，当虚拟图像40的移动速度被降低为小于第一参考速度时，该便携式设备使用处理器获得对应于标记对象30的虚拟标记对象50。该便携式设备可以在显示单元130-1中与虚拟图像40一起显示获得的虚拟标记对象50。
在这种情况下，该便携式设备可以从内部存储单元或者外部存储单元获得虚拟标记对象50。在这种情况下，虚拟标记对象50指对应于标记对象30的虚拟对象。在这种情况下，虚拟标记对象的形状、颜色、透明度、位置等等可以根据诸如用户输入、预存方法等等这样的不同的方法不同地设置。
如在先前的描述中提及的，当便携式设备一起显示虚拟标记对象50与虚拟图像40时，虽然标记对象30偏离用户的视线，但该便携式设备可以通知用户对应于的虚拟图像40的标记对象30。
并且，该便携式设备可以进一步显示指示虚拟标记对象和相应的标记对象之间连接的指示符。
参考图7b，当虚拟图像40的移动速度被降低为小于第一参考速度时，该便携式设备可以使用处理器进一步在显示单元130-2中显示指示虚拟图像40和相应的标记对象30之间连接的指示符60。在这种情况下，该指示符的形状、颜色、透明度、位置等等可以根据诸如用户输入、预存方法等等这样的不同的方法不同地设置。
如上所述，在便携式设备进一步显示指示符60的情况下，虽然标记对象30的位置远离虚拟图像40的位置，但该便携式设备可以通知用户对应于虚拟图像40的标记对象30。
参考图7c，当虚拟图像40的移动速度被降低为小于第一参考速度时，该便携式设备可以使用处理器在显示单元130-3中以简单显示模式显示虚拟图像40。在这种情况下，如上所述，该简单显示模式是被配置为在显示对象中仅包括与在虚拟图像中包含的标记对象相关的增强现实信息之中选择的增强现实信息的一部分的显示模式。
在这种情况下，处理器可以根据预先确定的优先级选择仅在增强现实信息之中增强现实信息的一部分。例如，如果增强现实信息包括公共汽车线路、下一个公共汽车的位置、有关分配间隔的信息，并且优先级以公共汽车线路、下一个公共汽车的位置和分配间隔的顺序确定，该处理器可以以仅选择有关具有第一优先级的公共汽车线路和有关具有第二优先级的下一个公共汽车的位置的增强现实信息的方式显示增强现实信息。在这种情况下，优先级可以根据诸如用户输入、预先确定的方法等等这样的不同的方法不同地设置。
如上所述，在便携式设备显示包括较少增强现实信息量的虚拟图像的情况下，虽然虚拟图像的移动速度是快速的，但该便携式设备可以增强用户对于虚拟图像的可读性。
参考图7d，当移动速度被降低为小于第一参考速度时，处理器改变图形用户界面格式，并且可以在显示单元130-4中按照变化的图形用户界面格式显示虚拟图像40。虽然图7d描绘以改变虚拟图像的显示的颜色的图形用户界面格式的方式显示虚拟图像40的虚拟图像40，如上所述，该图形用户界面格式可以包括虚拟图像40的显示位置、显示大小、显示颜色或者透明度的配置值。在这种情况下，该图形用户界面格式可以根据诸如用户输入、预存的方法等等这样的不同的方法不同地设置。
在该便携式设备以改变图形用户界面格式的方式，通过降低虚拟图像的大小等等这样的方案显示虚拟图像的情况下，虽然虚拟图像的移动速度是快速的，但该便携式设备可以提高用户对于虚拟图像的可读性。
虽然图7描绘降低虚拟图像的移动速度情形的实施例，但本说明书可以不受其限制。在虚拟图像被显示为静态的情况下，相同的实施例可以同样适用。
图8是根据一个实施例控制便携式设备方法的流程图。
首先，该便携式设备可以捕获在设备前面的图像[S810]。如前面图2所述，该便携式设备经由相机单元捕获在视角内在设备前面的图像，并且可以将捕获的图像传送到处理器。在这种情况下，相机单元可以连续地或者以特定的时间间隔捕获在设备前面的图像。
并且，该便携式设备可以从捕获的图像检测标记对象[S820]。
如前面图2所述，该便携式设备可以从由相机单元捕获的图像检测标记对象。并且，该便携式设备可以从对应于在显示单元中显示的图像的数据中检测标记对象。
并且，在检测到标记对象的情况下，该便携式设备获得有关与标记对象相关的虚拟图像的虚拟图像信息，并且可以基于标记对象的位置显示虚拟图像[S830]。
如前面图2所述，该便携式设备可以从内部存储单元或者外部存储单元获得虚拟图像信息。在这种情况下，该虚拟图像信息可以包括与标记对象相关的增强现实信息、有关显示模式的信息，或者有关图形用户界面格式信息中的至少一个。详细的内容被在先前的描述中描述。如前面图3所述，该便携式设备获得选择的标记对象或者放置在用户的注视位置上的特定标记对象的虚拟图像，并且可以仅显示对应于特定标记对象的虚拟图像。
并且，该便携式设备可以从捕获的图像中检测标记对象的位置变化[S840]。如前面图4所述，该便携式设备可以从由相机单元捕获的图像，或者对应于在显示单元中显示的图像的数据中检测设备和标记对象之间的标记对象的绝对位置变化或者相对位置变化。并且，该便携式设备使用传感器单元感测标记对象的位置和方向。该便携式设备可以使用感测的结果以区分标记对象的绝对位置变化与标记对象的相对位置变化的方式判断，并且可以执行对应于每个情形的数据处理。
并且，当检测到标记对象的位置变化时，该便携式设备根据位置变化移动虚拟图像，并且可以获得虚拟图像的移动速度[S850]。
如前面图5所述，该便携式设备根据标记对象的位置变化移动虚拟图像，并且可以在邻近标记对象的位置中连续地显示虚拟图像。并且，该便携式设备可以进一步获得标记对象的移动速度。另外，该便携式设备可以进一步获得虚拟图像的加速度和标记对象的加速度。
并且，该便携式设备100确定是否虚拟图像的移动速度比第一参考速度快[S860]。
如前面图5所述，该便携式设备可以确定是否虚拟图像的移动速度比第二参考速度快。并且，该便携式设备可以确定是否标记对象的移动速度比第一参考速度或者第二参考速度快。在这种情况下，第一参考速度是预先确定的速度。第一参考速度指示读取移动虚拟图像所需要的最小速度。第二参考速度是预先确定的速度。第二参考速度指示读取移动虚拟图像40所需要的最大速度。第二参考速度比第一参考速度快。详细的内容在先前的描述中描述。
并且，当虚拟图像的移动速度比第一参考速度快时，该便携式设备100可以将虚拟图像的移动速度降低为小于第一参考速度。
关于这些，其与在图6中描述的内容是相同的。如前面图7所述，当虚拟图像的移动速度被降低时，该便携式设备可以进一步显示虚拟标记对象或者指示符。并且，当虚拟图像的移动速度被降低时，该便携式设备可以改变显示模式或者图形用户界面格式，并且按照变化的显示模式或者变化的图形用户界面格式显示虚拟图像。通过使用前面提到的显示方法，可以提高用户对于虚拟图像的可读性。
图9是根据不同的实施例控制便携式设备方法的流程图。
首先，该便携式设备可以捕获在设备前面的图像[S910]。并且，该便携式设备可以从捕获的图像检测标记对象[S920]。并且，在检测到标记对象的情况下，该便携式设备获得有关与标记对象相关的虚拟图像的虚拟图像信息，并且可以基于标记对象的位置显示虚拟图像[S930]。并且，该便携式设备可以从捕获的图像中检测标记对象的位置变化[S940]。由于其与在图8中先前提及的S810至S840的内容相同，因此有关S910至S940的解释被省略。
并且，当检测到标记对象的位置变化时，该便携式设备根据位置变化移动虚拟图像，并且可以获得虚拟图像的移动速度或者标记对象的移动速度[S950]。尤其是，如前面图5所述，该便携式设备根据标记对象的位置变化移动虚拟图像，并且可以在邻近标记对象的位置中连续地显示虚拟图像。并且，该便携式设备可以获得虚拟图像的移动速度或者标记对象的移动速度。另外，该便携式设备可以进一步获得虚拟图像的加速度或者标记对象的加速度。
并且，便携式设备100可以确定是否虚拟图像的移动速度或者标记对象的移动速度比第一参考速度快[S960]。另外，如前面图5所述，该便携式设备可以确定是否虚拟图像的移动速度或者标记对象的移动速度比第二参考速度快。在这种情况下，第一参考速度是预先确定的速度。第一参考速度指示读取移动虚拟图像所需要的最小速度。第二参考速度是预先确定的速度。第二参考速度指示读取移动虚拟图像40所需要的最大速度。详细的内容在先前的描述中描述。
并且，当虚拟图像的移动速度或者标记对象的移动速度比第一参考速度快时，该便携式设备可以将虚拟图像的移动速度降低为小于第一参考速度[S970]。关于这些，其与在图8中描述的内容是相同的。
另外，为了解释清楚，每个图以分解的方式解释。但是，有可能通过合并在该图的每个中描述的实施例设计新的实施例以实现新的实施例。并且，根据本领域技术人员的需要，设计由计算机可读的记录介质(其已经记录用于执行先前解释的实施例的程序)也属于权利的范围。
根据本说明书的便携式设备及其控制方法可以不必限制性地适用于前面提到的实施例的组成和方法。前面提到的实施例可以以有选择地合并整个实施例或者一部分实施例的方式被配置以实现各种改进。
同时，根据本说明书的便携式设备及其控制方法可以在由安装在网络设备中的处理器可读的记录介质中以由处理器可读的代码实现。由处理器可读的记录介质可以包括用于存储能够由处理器读取的数据的各种记录设备。由处理器可读的记录介质的示例可以包括ROM、RAM、磁带、软盘、光学数据存储设备等等。并且，还包括以载波，诸如经由互联网等等传输的形式实现。由处理器可读的记录介质被分配到由网络连接的计算机系统，并且由处理器可读的代码可以以分布的方式存储和执行。
虽然本说明书已经在此处参考优选实施例及其图被描述和图示，但本说明书可以不局限于前面提到的实施例，并且对于本领域技术人员来说显而易见的是，在不脱离本说明书的精神和范围的情况下，可以在其中进行各种修改和变化。因此，本说明书意欲覆盖落入所附的权利要求及其等效物范围内的本发明的修改和变化。
并且，本说明书解释装置发明和方法发明两者，如有必要，有关本发明两者的解释可以补充地适用。
发明模式
已经在实施本发明的最好的模式中描述了各种实施例。
对于那些本领域技术人员来说显而易见的是，在不脱离本发明的精神或者范围的情况下，可以在本发明中进行各种修改和变化。因此，本发明意欲覆盖本发明的修改和变化，只要它们落入所附的权利要求及其等效物范围之内。
工业实用性
如上所述，本发明完全地或者部分地适用于电子设备。

Claims (20)

1.一种便携式设备，包括：
相机单元，所述相机单元被配置为捕获在便携式设备前面的图像；
显示单元，所述显示单元被配置为显示虚拟图像；和
处理器，所述处理器被配置为控制所述相机单元和所述显示单元，所述处理器被进一步配置为：
从所述图像检测标记对象，
当检测到所述标记对象时，基于所述标记对象的位置显示对应于所述标记对象的虚拟图像，
检测所述标记对象的位置变化，
当检测到所述位置变化时，根据所述位置变化移动所述虚拟图像，
获得所述虚拟图像的第一移动速度或者所述标记对象的第二移动速度，以及
当所述第一移动速度或者所述第二移动速度比第一参考速度更快时，将所述第一移动速度降低为小于所述第一参考速度。
2.根据权利要求1所述的便携式设备，其中，所述处理器被进一步配置为：当所述第一移动速度或者所述第二移动速度比第二参考速度更快时，停止显示所述虚拟图像，
其中所述第二参考速度比所述第一参考速度更快。
3.根据权利要求1所述的便携式设备，其中，所述处理器被进一步配置为：当所述第一移动速度被降低并且小于所述第一参考速度时，与所述虚拟图像一起显示对应于所述标记对象的虚拟对象。
4.根据权利要求1所述的便携式设备，其中，所述处理器被进一步配置为：当所述第一移动速度被降低并且小于所述第一参考速度时，另外显示指示所述虚拟图像和所述标记对象之间连接的指示符。
5.根据权利要求1所述的便携式设备，其中，有关所述虚拟图像的信息包括与所述标记对象相关的增强现实信息、显示模式信息和图形用户界面格式信息中的至少一个。
6.根据权利要求1所述的便携式设备，其中，所述处理器被进一步配置为：当所述第一移动速度被降低并且小于所述第一参考速度时，以简单显示模式显示所述虚拟图像。
7.根据权利要求6所述的便携式设备，其中，所述简单显示模式对应于仅显示在所述虚拟图像中包含的增强现实信息中的选择的增强现实信息的显示模式。
8.根据权利要求1所述的便携式设备，其中，所述处理器被进一步配置为：
当检测到所述位置变化时，获得有关检测到所述标记对象的持续时间的信息，以及
当不再检测到所述标记对象并且所述持续时间比预先确定的持续时间短时，在预先确定的时段内显示所述虚拟图像。
9.根据权利要求8所述的便携式设备，其中，所述处理器被进一步配置为在最后检测到所述标记对象的位置将所述虚拟图像显示为静止状态。
10.根据权利要求1所述的便携式设备，其中，所述处理器被进一步配置为：
当检测到所述位置变化时，获得有关被检测到的所述标记对象的大小的信息，以及
当所述大小小于预先确定的大小时，停止显示所述虚拟图像。
11.根据权利要求1所述的便携式设备，进一步包括传感器单元，所述传感器单元被配置为感测用户注视并且将感测的结果传送到所述处理器，
其中，所述处理器被进一步配置为：
当检测到多个标记对象时，检测所述用户的注视的注视位置，并且
基于所述注视位置从所述多个标记对象中选择至少一个标记对象。
12.根据权利要求11所述的便携式设备，其中，所述处理器被进一步配置为选择至少一个标记对象，所述至少一个标记对象位于距所述注视位置预先确定的距离内。
13.根据权利要求1所述的便携式设备，其中，所述处理器被进一步配置为：
当所述第一移动速度被降低并且小于所述第一参考速度时，改变图形用户界面格式，并且
根据变化的图形用户界面格式显示所述虚拟图像。
14.根据权利要求13所述的便携式设备，其中，所述图形用户界面格式包括所述虚拟图像的显示位置、显示大小、显示形状、显示颜色或者显示透明度中的至少一个。
15.根据权利要求1所述的便携式设备，其中，所述便携式设备包括头戴式显示器(HMD)。
16.根据权利要求15所述的便携式设备，其中，所述显示单元由光学透视的显示面板组成。
17.根据权利要求1所述的便携式设备，其中，当所述第一移动速度或者所述第二移动速度比所述第一参考速度快时，所述处理器被进一步配置为：
获得所述虚拟图像的加速度或者所述标记对象的加速度，以及
基于获得的加速度确定是否所述第一移动速度被降低并小于所述第一参考速度。
18.根据权利要求17所述的便携式设备，其中，所述处理器被进一步配置为：当所述获得的加速度是大于预先确定的幅值的负加速度时，不将所述第一移动速度降低为小于所述第一参考速度。
19.一种控制便携式设备的方法，包括步骤：
捕获在便携式设备前面的图像；
从所述图像检测标记对象；
当检测到所述标记对象时，获得有关对应于所述标记对象的虚拟图像的信息，并且基于所述标记对象的位置显示所述虚拟图像；
检测所述标记对象的位置变化；
当检测到所述位置变化时，根据所述位置变化移动所述虚拟图像，并且获得所述虚拟图像的移动速度或者所述标记对象的移动速度；以及
当所述虚拟图像的移动速度或者所述标记对象的移动速度比第一参考速度更快时，将所述虚拟图像的移动速度降低为小于所述第一参考速度。
20.根据权利要求19所述的方法，当所述虚拟图像的移动速度或者所述标记对象的移动速度比第二参考速度更快时，进一步包括停止显示所述虚拟图像的步骤，
其中所述第二参考速度比所述第一参考速度更快。
CN201480048368.3A 2013-09-02 2014-01-16 便携式设备及其控制方法 Expired - Fee Related CN105493004B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2013-0105125 2013-09-02
KR1020130105125A KR102161510B1 (ko) 2013-09-02 2013-09-02 포터블 디바이스 및 그 제어 방법
US14/142,445 2013-12-27
US14/142,445 US8817047B1 (en) 2013-09-02 2013-12-27 Portable device and method of controlling therefor
PCT/KR2014/000478 WO2015030321A1 (en) 2013-09-02 2014-01-16 Portable device and method of controlling therefor

Publications (2)

Publication Number Publication Date
CN105493004A true CN105493004A (zh) 2016-04-13
CN105493004B CN105493004B (zh) 2018-08-31

Family

ID=51358566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480048368.3A Expired - Fee Related CN105493004B (zh) 2013-09-02 2014-01-16 便携式设备及其控制方法

Country Status (5)

Country Link
US (1) US8817047B1 (zh)
EP (1) EP3042266B1 (zh)
KR (1) KR102161510B1 (zh)
CN (1) CN105493004B (zh)
WO (1) WO2015030321A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107656609A (zh) * 2016-07-25 2018-02-02 富士施乐株式会社 测色系统、图像生成设备和图像生成方法
CN111258520A (zh) * 2018-12-03 2020-06-09 广东虚拟现实科技有限公司 显示方法、装置、终端设备及存储介质

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6303550B2 (ja) * 2014-02-03 2018-04-04 ブラザー工業株式会社 表示プログラムおよび表示装置
DE102014210481A1 (de) * 2014-06-03 2015-12-03 Siemens Aktiengesellschaft Informationsanzeige zu durch Fenster sichtbaren, bewegten Objekten
DE102014009699B4 (de) * 2014-06-26 2022-05-19 Audi Ag Verfahren zum Betreiben einer Anzeigeeinrichtung und System mit einer Anzeigeeinrichtung
US9563983B2 (en) * 2015-03-04 2017-02-07 International Business Machines Corporation Filtering information within augmented reality overlays
US9557951B2 (en) * 2015-03-04 2017-01-31 International Business Machines Corporation Filtering information within augmented reality overlays
JP6421670B2 (ja) * 2015-03-26 2018-11-14 富士通株式会社 表示制御方法、表示制御プログラム、及び情報処理装置
JP6481456B2 (ja) * 2015-03-26 2019-03-13 富士通株式会社 表示制御方法、表示制御プログラム、及び情報処理装置
US9865091B2 (en) * 2015-09-02 2018-01-09 Microsoft Technology Licensing, Llc Localizing devices in augmented reality environment
CN105657825B (zh) * 2015-12-29 2020-06-05 歌尔科技有限公司 一种定位方法、移动终端、云服务器及定位系统
US9996978B2 (en) 2016-02-08 2018-06-12 Disney Enterprises, Inc. System and method of simulating first-person control of remote-controlled vehicles
US9922465B2 (en) 2016-05-17 2018-03-20 Disney Enterprises, Inc. Systems and methods for changing a perceived speed of motion associated with a user
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
KR102000960B1 (ko) * 2017-03-20 2019-07-18 ㈜라이커스게임 벡터를 이용한 증강 현실 영상 구현 방법
WO2018174499A2 (ko) * 2017-03-20 2018-09-27 주식회사 라이커스게임 가상 마커 및 벡터를 이용한 증강 현실 영상 구현 방법
NO343601B1 (en) * 2018-02-02 2019-04-08 Kitron Asa Method and system for augmented reality assembly guidance
KR102147929B1 (ko) * 2018-07-09 2020-08-25 재단법인대구경북과학기술원 식별 타겟, 이를 포함하는 웨어러블 구조물 및 이를 이용한 오브젝트 식별 시스템
EP3846161A4 (en) * 2018-08-29 2021-10-20 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
WO2021040106A1 (ko) * 2019-08-30 2021-03-04 엘지전자 주식회사 Ar 장치 및 그 제어 방법
KR102314894B1 (ko) * 2019-12-18 2021-10-19 주식회사 인터포 증강현실을 이용한 가상객체 관리 방법, 증강현실을 이용한 행사 관리 방법 및 모바일 단말
US11295135B2 (en) * 2020-05-29 2022-04-05 Corning Research & Development Corporation Asset tracking of communication equipment via mixed reality based labeling
US11374808B2 (en) 2020-05-29 2022-06-28 Corning Research & Development Corporation Automated logging of patching operations via mixed reality based labeling

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090322671A1 (en) * 2008-06-04 2009-12-31 Cybernet Systems Corporation Touch screen augmented reality system and method
US20120019557A1 (en) * 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
US20120221669A1 (en) * 2009-11-12 2012-08-30 Fujitsu Limited Communication method for parallel computing, information processing apparatus and computer readable recording medium
WO2013003414A3 (en) * 2011-06-28 2013-02-28 Google Inc. Methods and systems for correlating head movement with items displayed on a user interface
US20130155307A1 (en) * 2010-01-05 2013-06-20 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
CN103201731A (zh) * 2010-12-02 2013-07-10 英派尔科技开发有限公司 增强现实系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPM701394A0 (en) 1994-07-22 1994-08-18 Monash University A graphical display system
US7463270B2 (en) * 2006-02-10 2008-12-09 Microsoft Corporation Physical-virtual interpolation
KR100912264B1 (ko) 2008-02-12 2009-08-17 광주과학기술원 사용자 반응형 증강 영상 생성 방법 및 시스템
KR101052805B1 (ko) * 2008-07-31 2011-07-29 (주)지아트 증강 현실 환경에서의 3차원 모델 객체 저작 방법 및 시스템
WO2010094065A1 (en) 2009-02-17 2010-08-26 Jumbuck Entertainment Limited Augmented reality system and method
AU2011220382A1 (en) 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US9134799B2 (en) * 2010-07-16 2015-09-15 Qualcomm Incorporated Interacting with a projected user interface using orientation sensors
JP5621421B2 (ja) * 2010-09-06 2014-11-12 ソニー株式会社 画像処理装置、プログラム及び画像処理方法
KR101126449B1 (ko) 2011-06-30 2012-03-29 양재일 증강 현실 서비스 시스템 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090322671A1 (en) * 2008-06-04 2009-12-31 Cybernet Systems Corporation Touch screen augmented reality system and method
US20120221669A1 (en) * 2009-11-12 2012-08-30 Fujitsu Limited Communication method for parallel computing, information processing apparatus and computer readable recording medium
US20130155307A1 (en) * 2010-01-05 2013-06-20 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US20120019557A1 (en) * 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
CN103201731A (zh) * 2010-12-02 2013-07-10 英派尔科技开发有限公司 增强现实系统
WO2013003414A3 (en) * 2011-06-28 2013-02-28 Google Inc. Methods and systems for correlating head movement with items displayed on a user interface

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107656609A (zh) * 2016-07-25 2018-02-02 富士施乐株式会社 测色系统、图像生成设备和图像生成方法
CN107656609B (zh) * 2016-07-25 2022-09-30 富士胶片商业创新有限公司 测色系统、图像生成设备和图像生成方法
CN111258520A (zh) * 2018-12-03 2020-06-09 广东虚拟现实科技有限公司 显示方法、装置、终端设备及存储介质
CN111258520B (zh) * 2018-12-03 2021-09-14 广东虚拟现实科技有限公司 显示方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
KR20150026375A (ko) 2015-03-11
KR102161510B1 (ko) 2020-10-05
US8817047B1 (en) 2014-08-26
EP3042266A1 (en) 2016-07-13
EP3042266A4 (en) 2017-03-22
EP3042266B1 (en) 2023-06-07
WO2015030321A1 (en) 2015-03-05
CN105493004B (zh) 2018-08-31

Similar Documents

Publication Publication Date Title
CN105493004A (zh) 便携式设备及其控制方法
US10217288B2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US9361733B2 (en) Portable device and method of controlling therefor
KR102165444B1 (ko) 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법
KR101793628B1 (ko) 투명 디스플레이 장치 및 그 디스플레이 방법
US8983539B1 (en) Smart watch, display device and method of controlling therefor
JP5205557B2 (ja) 端末の角度に応じて互いに異なる映像情報を提供するための方法、端末およびコンピュータ読取可能な記録媒体
US11636644B2 (en) Output of virtual content
US20140035877A1 (en) Using a display device with a transparent display to capture information concerning objectives in a screen of another display device
CN105452811A (zh) 用于显示地图的用户终端设备及其方法
US9214043B2 (en) Gesture based map annotation
CN104798362A (zh) 用户终端、外部装置、数据收发系统和数据收发方法
US8804026B1 (en) Mobile device and method for controlling the same
US8866953B2 (en) Mobile device and method for controlling the same
KR101747299B1 (ko) 데이터 객체 디스플레이 방법 및 장치와 컴퓨터로 읽을 수 있는 저장 매체
US9392045B2 (en) Remote graphics corresponding to region
CN110737417B (zh) 一种演示设备及其标注线的显示控制方法和装置
KR101971521B1 (ko) 투명 디스플레이 장치 및 그 디스플레이 방법
CN106547900A (zh) 一种地图渲染方法及终端
JP6686319B2 (ja) 画像投影装置及び画像表示システム
KR101896099B1 (ko) 투명 디스플레이 장치 및 그 디스플레이 방법
US20140035837A1 (en) Using a display device to capture information concerning objectives in a screen of another display device
CN115134458A (zh) 控制装置、显示系统、记录介质及控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180831

Termination date: 20210116