CN111133479B - 提供增强现实服务的方法和设备 - Google Patents

提供增强现实服务的方法和设备 Download PDF

Info

Publication number
CN111133479B
CN111133479B CN201880060834.8A CN201880060834A CN111133479B CN 111133479 B CN111133479 B CN 111133479B CN 201880060834 A CN201880060834 A CN 201880060834A CN 111133479 B CN111133479 B CN 111133479B
Authority
CN
China
Prior art keywords
scene
marker
recognized
mark
markers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880060834.8A
Other languages
English (en)
Other versions
CN111133479A (zh
Inventor
郑翰燮
文宣皓
柳星基
韩东铉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority claimed from PCT/KR2018/011287 external-priority patent/WO2019059725A1/en
Publication of CN111133479A publication Critical patent/CN111133479A/zh
Application granted granted Critical
Publication of CN111133479B publication Critical patent/CN111133479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/02—Recognising information on displays, dials, clocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Architecture (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种增强现实(AR)服务，其将用于由设备映射AR对象的多个标记聚类到至少一个组中，确定聚类的组的代表标记，以及当由设备辨认出的场景与代表标记相对应时，优先搜索包括在代表标记的聚类中的标记。还提供了一种AR服务，其基于在设备的屏幕上显示设备辨认出的场景时从用户接收的数据来生成AR对象，并且将辨认出的场景确定为AR对象的标记。还提供了一种AR服务，其基于预定参考对先前获得的多条内容进行聚类，并且基于聚类的多条内容生成AR对象。

Description

提供增强现实服务的方法和设备
技术领域
本公开涉及用于提供增强现实(AR)服务的方法和设备以及记录有用于执行提供AR服务的方法的程序的非暂时性计算机可读记录介质。
背景技术
通常，增强现实(AR)是为人与计算机之间的交互和通信提供了新的范例的技术领域。在此，AR是通过将用户的眼睛所看到的真实世界与具有附加信息并显示图像的虚拟世界重叠而生成的虚拟现实的一种。作为用虚拟世界补充真实世界的概念的AR使用由计算机图形创建的虚拟环境，但是可以与一般虚拟现实有所不同，因为AR基于真实环境。计算机图形用于提供实际环境所需的附加信息。也就是说，通过将三维虚拟图像与用户所看到的真实图像重叠来模糊真实环境与虚拟屏幕之间的划分。
在AR领域中，正在积极研究使用在从相机输入的图像上显示新附加信息(诸如虚拟图形图像)的方法将真实图像和虚拟图像相匹配所需的技术，从而可以将附加信息提供给用户。
发明内容
【技术问题】
在AR领域中，正在积极研究使用在从相机输入的图像上显示新附加信息(诸如虚拟图形图像)的方法将真实图像和虚拟图像相匹配所需的技术，从而可以将附加信息提供给用户。
【技术方案】
提供了一种增强现实(AR)服务，其将用于由设备映射AR对象的多个标记聚类到至少一个组中，确定聚类的组的代表标记，以及当由设备辨认出的场景与代表标记相对应时，优先搜索包括在代表标记的聚类中的标记。还提供了一种AR服务，其基于在设备的屏幕上显示设备辨认出的场景时从用户接收的数据来生成AR对象，并且将辨认出的场景确定为AR对象的标记。还提供了一种AR服务，其基于预定参考对先前获得的多条内容进行聚类，并且基于聚类的多条内容生成AR对象。
附图说明
通过以下结合附图的详细描述，本公开的特定实施例的上述和其他方面、特征和优点将变得更加明显，在附图中：
图1是示出根据实施例的由设备执行的提供增强现实(AR)服务的方法的示图；
图2是示出根据实施例的由设备执行的搜索与辨认出的场景相对应的标记的方法的流程图；
图3是示出根据实施例的由设备执行的搜索与辨认出的场景相对应的标记的方法的示图；
图4是示出根据另一实施例的由设备执行的搜索与辨认出的场景相对应的标记的方法的示图；
图5是示出根据实施例的由设备执行的改变场景中的标记的方法的流程图；
图6是示出根据实施例的由设备执行的改变场景中的标记的方法的示图；
图7是示出根据实施例的由设备执行的基于标记校正信息辨认标记并提供由用户生成的AR对象的方法的流程图；
图8是示出根据实施例的由设备执行的基于标记校正信息辨认标记并提供由用户生成的AR对象的方法的示图；
图9是示出根据实施例的由设备执行的提供关于与标记相对应的AR对象的信息的方法的流程图；
图10是示出根据实施例的由设备执行的提供关于与标记相对应的AR对象的信息的方法的示图；
图11是示出根据实施例的由设备执行的基于先前存储的内容生成AR对象和用于将AR对象映射到场景的标记的方法的流程图；
图12是示出根据实施例的由设备执行的基于先前存储的内容生成AR对象和用于将AR对象映射到场景的标记的方法的示图；
图13是示出根据实施例的由设备执行的基于用户输入生成标记和与标记相对应的AR对象的方法的示图；
图14是示出根据实施例的由设备执行的在移动时辨认标记的方法的示图；
图15是示出根据实施例的由设备执行的根据用户输入选择多个标记中的任何一个的方法的示图；
图16是示出根据实施例的由设备执行的向用户提供用于辨认标记的指导信息的方法的示图；
图17是示出根据实施例的由设备执行的将一个或多个AR对象映射到标记的方法的示图；以及
图18和图19是示出根据实施例的设备的框图。
具体实施方式
提供了用于在提供能够体验增强现实(AR)的AR服务时提供能够以各种方式生成和管理标记和AR对象的AR服务的方法和设备，AR服务能够通过显示重叠在设备识别的真实世界场景上的AR对象来允许用户体验AR。
还提供了一种用于提供AR服务的方法和设备，该AR服务能够在设备使用标记显示AR对象时通过标记的聚类来提高标记识别的效率。
还提供了一种用于提供AR服务的方法和设备，该AR服务能够通过在设备生成标记时另外提供设备和用户信息并识别标记是否包括在辨认出的场景中来提高标记识别的准确率。
另外的方面将在下面的描述中部分地阐述，并且部分地从描述中将是显而易见的。
根据本公开的一方面，一种提供增强现实(AR)服务的方法，所述方法包括：基于标记属性将多个标记聚类到至少一个组，所述标记是用于将AR对象映射到设备辨认出的场景的参考；确定多个聚类的标记中的任何一个作为所述至少一个组中的每一个的代表标记；当在所述至少一个组中的每一个的代表标记中识别出与所述设备辨认出的第一场景相对应的代表标记时，优先搜索所识别的代表标记的组中包括的标记，以对于在辨认出第一场景之后辨认出的第二场景识别标记；以及基于通过优先搜索识别的标记，在第二场景上重叠并显示映射到第二场景的AR对象。
所述多个标记可以包括设备辨认出的多个场景的每一个中包括的实际对象，以及其中所述标记属性包括以下各项中至少一个：实际对象的种类、所述设备辨认出包括实际对象的场景的时间、以及所述设备辨认出包括实际对象的场景的位置，其中所述显示包括：当标记被识别时，从先前存储的映射数据库提取与识别的标记相对应的AR对象。
所述确定可以包括基于用于选择多个聚类的标记中的任何一个的用户输入确定至少一个组中的每一个的代表标记。
第一场景和第二场景可以是在由设备执行的相机应用的预览模式下辨认出的图像。
所述方法还可以包括基于获得多条内容中的每一个的位置、获得多条内容中的每一个的时间、以及基于用户输入的预定参考中的至少一个，将所述设备先前获得的多条内容聚类到至少一个AR对象组；使用所述多条内容中的至少一个生成所述至少一个AR对象组中的每一个的标记；以及当所述设备辨认出的场景对应于生成的标记中的任何一个时，在与辨认出的场景相对应的标记上重叠并显示映射到标记的AR对象组中包括的内容，其中，所述多条内容包括图像、语音、音乐、手写信息、文本和运动图像中的至少一个。
所述方法还可以包括：当对于重叠并显示在所述设备辨认出的场景中的标记上的AR对象接收到预定类型的用户输入时，将AR对象与标记分离；以及基于接收的用户输入的位置，在所述设备辨认出的至少一个场景中的预定位置上重叠并显示分离的AR对象。
根据本公开的另一方面，提供一种增强现实(AR)服务的方法，该方法包括：在设备的屏幕上显示设备辨认出的第一场景的同时基于从用户接收的数据，生成AR对象；将第一场景确定为AR对象的标记；将标记校正信息映射到AR对象和标记并存储标记校正信息，其中，映射标记校正信息包括在第一场景被辨认时用户的位置和设备的方向中的至少一个；以及当在存储标记校正信息之后辨认出第二场景时，基于标记校正信息将第二场景与标记进行比较，以及当第二场景对应于标记时，在第二场景上重叠并显示AR对象。
从用户接收的数据可以包括经由输入设备接收的用户的手写数据、用户的语音数据、图像、音乐、文本和运动图像中的至少一个。
显示可以包括：基于包括在标记校正信息中的用户的位置和设备的方向来校正标记；以及将校正的场景与第二场景进行比较。
所述方法可以包括：将设备设置为预览模式，在预览模式下，基于在包括关于多个标记的信息的标记列表上接收的用户输入来选择多个标记中的任何一个时，辨认并显示场景；在设置为预览模式的设备的屏幕上显示选择的标记；以及在标记上重叠并显示映射到选择的标记的AR对象。
根据本公开的另一方面，一种设备包括：存储器，存储一个或多个指令；显示器；相机，被配置为辨认设备周围的场景；以及处理器，被配置为执行存储在存储器中的一个或多个指令，其中，当处理器执行一个或多个指令时，使设备执行至少一个操作以：基于标记属性将多个标记聚类到至少一个组，所述标记是用于将AR对象映射到设备辨认出的场景的参考；当在所述至少一个组中的每一个的代表标记中识别出与所述设备辨认出的第一场景相对应的代表标记时，确定多个聚类的标记中的任何一个作为所述至少一个组中的每一个的代表标记；优先搜索所识别的代表标记的组中包括的标记而不是其他标记，以对于在辨认出第一场景之后辨认出的第二场景识别标记；以及通过显示器，基于作为搜索的结果识别的标记，在第二场景上重叠并显示映射到第二场景的AR对象。
根据本公开的另一方面，一种设备包括：存储器，存储一个或多个指令；显示器；相机，被配置为辨认设备周围的场景；以及处理器，被配置为执行存储在存储器中的一个或多个指令，其中，当处理器执行一个或多个指令时，使设备执行至少一个操作以：在设备的屏幕上显示设备辨认出的第一场景的同时基于从用户接收的数据，生成AR对象；将第一场景确定为AR对象的标记；将标记校正信息映射到AR对象和标记并存储标记校正信息，其中，映射标记校正信息包括在第一场景被辨认时用户的位置和设备的方向中的至少一个；以及当在存储标记校正信息之后辨认出第二场景时，基于标记校正信息将第二场景与标记进行比较，以及当第二场景对应于标记时，在第二场景上重叠并显示AR对象。
现在将在更详细地描述各种示例实施例之前简要描述在本公开中使用的术语。
尽管已经以考虑到本公开中引用的功能当前使用的通用术语描述了本公开中使用的术语，但是它们旨在根据本领域技术人员的意图、先例或新技术的出现涵盖各种其他术语。因此，本公开中使用的术语不是基于术语的含义，不是基于简单术语的名称，而是基于整个公开内容而定义的。
包括诸如第一、第二等的序数的术语可以用来描述各种元件，但是这些元件不受术语的限制。这些术语用于将一个元件与另一个元件区分开的目的。例如，在不脱离本公开的范围的情况下，第一元件可以被称为第二元件，并且类似地，第二元件也可以被称为第一元件。术语“和/或”包括多个相关项目的任何组合或多个相关项目中的任何项目。
将理解，当在本文中使用时，术语“包括”和/或“包含”可以表示存在所述元件，但是不排除存在或添加一个或多个其他元件。本文使用的术语“单元”可以指软件和/或硬件，诸如但不限于现场可编程门阵列(FPGA)、专用集成电路(ASIC)等，并且“单元”可以执行特定功能。然而，“单元”可以不限于软件或硬件。“单元”可以被配置为存在于可寻址存储介质中，或者可以被配置为再现一个或多个处理器。因此，作为示例，“单元”可以包括各种元件，例如但不限于，软件元件、面向对象的软件元件、类元件、任务元件、处理、功能、属性、过程、子例程、程序代码段、驱动程序、固件、微代码、电路、数据、数据库、数据结构、表、数组、变量等。在“单元”和元件中提供的功能可以组合为较少数量的“单元”和元件，或者可以分为其他“单元”和元件。
现在将参考各种示例实施例，在附图中示出了其示例，其中，相似的附图标记始终表示相似的元件。对此，本示例实施例可以具有不同的形式，并且不应当限于在此阐述的描述。在以下描述中，为了清楚起见，可以省略与实施例无关的部分或元件。
图1是示出根据实施例的由设备100执行的用于提供增强现实(AR)服务的方法的示图。
参照图1，设备100可以通过在真实世界的场景上重叠并显示AR对象向用户提供AR服务。在本公开中，可以提供AR对象以给用户与真实世界一起的虚拟体验，并且可以以诸如图像、运动图像、语音、文本等的各种形式来提供AR对象。
另外，为了在辨认出的场景上重叠并显示AR对象，设备100可以使用标记来确定场景的显示AR对象的位置。根据实施例，设备100可以提取相对于标记的相对坐标以确定场景中显示AR对象的位置。然而，这仅是示例，并且由设备100执行的确定AR对象相对于标记的显示位置的方法不限于上述示例。
例如，在图1中，当识别到预定场景110时，设备100可以确定标记是否包括在场景110中。当使用在场景110中的标记识别预定照片115时，设备100可以确定映射到预定照片115的AR对象。在本实施例中，假定映射到照片115的AR对象是包括多个旅行照片的运动图像120。当识别出照片115时，设备100可以在场景110内相对于照片115的预定位置上显示包括多个旅行照片的运动图像120。
同时，为了更快地识别包括在辨认出的场景中的标记，根据实施例的设备100可以基于标记的属性将先前存储在设备100中的多个标记聚类并且存储到至少一个组中。当聚类的组用于识别场景中每个组的代表标记时，设备100可以增加与特定标记相对应的组中的标记的搜索排名，从而减少识别标记所花费的时间。稍后将参照图2至图4更详细地描述。
根据实施例的设备100可以改变标记的位置，以改变场景中显示AR对象的位置。例如，当在辨认出的场景中的标记的位置处接收到预定类型的用户输入时，设备100可以基于接收的用户输入来改变标记的位置。用户输入的示例可以包括触摸输入和拖动输入等，但这仅仅是示例，并且用户输入不限于以上示例。由设备100执行的用于改变场景中的标记的位置的方法将在后面参照图5和图6更详细地描述。
为了提高标记的识别率，根据实施例的设备100可以存储关于与生成标记时的设备100的位置、相机的方向等的信息作为标记校正信息。例如，当设备100使用辨认出的场景作为标记时，基于设备100的位置或相机的方向，尽管相同地点或对象，设备100也可能将场景识别为不同的场景。即使设备100的当前位置或相机的当前方向与生成标记时的设备100的位置或相机的方向不同，设备100也可以通过基于标记校正信息校正辨认出的场景来识别标记。稍后将参照图7和图8更详细地描述。
根据实施例的设备100可以提供AR预览模式，使得用户可以预先体验与标记相对应的AR对象。例如，当用户选择特定标记时，设备100可以在屏幕上显示特定标记，并且在场景上重叠并显示映射到特定标记的AR对象。设备100可以在屏幕上显示在显示辨认出的场景的AR预览模式下选择的特定标记，并且将AR对象与显示的特定标记重叠并显示，从而使得用户能够预先体验AR服务。下面将参照图9和图10更详细地描述。
根据实施例的设备100可以基于捕获多个图像的位置和时间将多个先前存储的图像聚类到多个组。设备100可以生成包括在多个组的每个组中的预定图像作为标记，并且当辨认出预定图像时，提供包括预定图像的组的图像作为AR对象。这仅是示例，并且设备100可以基于用户输入来选择被提供为AR对象的图像。稍后将在下面参照图11至图13更详细地描述。
图2是示出根据实施例的由设备执行的搜索与辨认出的场景相对应的标记的方法的流程图。
在操作S210中，设备可以基于标记属性将多个标记作为将AR对象映射到辨认出的场景的参考聚类到至少一个组。
根据实施例的设备可以使用标记来指定特定场景中将要显示AR对象的位置，以在特定场景上重叠并显示AR对象。设备可以预先生成并存储多个标记以指定在各个辨认出的场景中的每一个上显示至少一个AR对象的位置。
另外，当辨认出场景时，设备可以将多个先前生成的标记与辨认出的场景进行比较，以识别关于辨认出的场景的标记。例如，设备可以确定场景中包括的实际对象A是否对应于多个先前生成的标记中的任何一个。
设备可以基于标记属性将多个标记聚类到至少一个组，以减少用于识别与辨认出的场景相对应的标记所消耗的电力。标记属性可以包括生成标记的位置和时间以及用作标记的实际对象的种类中的至少一个。例如，设备可以根据对象的位置、时间和种类中的至少一个来聚类多个标记，诸如在地点X处生成的标记、在日期Y处生成的标记以及折纸图案的标记。然而，这仅是示例，并且标记属性不限于以上示例。
另外，设备可以在辨认出场景时根据情境信息确定对多个标记进行聚类时用作参考的属性。在此，情境信息可以包括设备的状态信息或设备的外围状态。例如，情境信息可以包括是否在设备中开启了GPS，设备辨认出的位置信息是否连续改变等。当GPS开启时，设备可以根据位置实时地对多个标记进行聚类。
根据另一实施例，设备可以基于用户选择将属性确定为用于聚类多个标记的参考。例如，当用户从作为用于聚类多个标记的参考的属性的、用作标记的实际对象的位置、时间和种类中选择时间时，设备可以基于时间对多个标记聚类。
在操作S220中，设备可以将多个聚类的标记中的任何一个确定为至少一个组中的每一个的代表标记。
例如，设备可以将作为聚类结果而生成的组1中包括的标记1、标记2和标记3中的一个确定为组1的代表标记。
同时，根据实施例的设备可以基于接收的用户输入来确定组的代表标记。然而，这仅是一个实施例，并且根据另一实施例，设备可以将组中包括的多个标记之中的首先生成的标记确定为代表标记。
在操作S230中，当在至少一个组的每一个的代表标记中识别出与设备辨认出的第一场景相对应的代表标记时，设备可以优先搜索所识别的代表标记的组中包括的标记，而不是(例如，代替)其他标记，以对于在辨认出第一场景之后辨认出的第二场景识别标记。
当辨认出第一场景时，设备可以将第一场景与作为聚类的结果的至少一个组中的每一个的代表标记进行比较。作为比较的结果，设备可以识别与包括在第一场景中的实际对象相对应的代表标记。当识别出代表标记时，设备可以对于在第一场景之后辨认出的另一场景，增加包括代表标记的组中包括的其他标记的搜索排名。
当识别出代表标记时，设备可以在识别另一个后续场景时搜索与代表标记相同的聚类中包括的其他标记，从而减少搜索标记所消耗的计算电力。
同时，根据实施例的代表标记可以是文本或数字形式的快速响应(QR)码。当代表标记被配置为QR码时，设备可以辨认出场景中包括的QR码，并且优先搜索包括辨认出的QR码的组中包括的标记。
在操作S240中，设备可以基于作为搜索结果而识别出的标记，在第二场景上重叠并显示映射到第二场景的AR对象。
当作为搜索包括代表标记的组中的其他标记的结果而识别出与第二场景相对应的标记时，设备可以确定映射到识别的标记的AR对象。例如，当识别出标记时，设备可以从先前存储的映射数据库中提取与识别的标记相对应的AR对象。映射数据库可以是存储关于与标记相对应的AR对象的信息的数据库。设备可以包括并管理映射数据库以提供AR服务。
此外，设备可以相对于识别的标记确定在第二场景上重叠并显示的AR对象的位置。例如，根据另一示例，设备可以在识别的标记上重叠并显示AR对象，或者可以相对于识别的标记在预定方向和距离上重叠并显示AR对象。
同时，根据另一实施例，设备可以参考操作S210至S240从外部服务器下载代表标记和AR对象，或者将设备确定的每个组的代表标记和AR对象上传到外部服务器。因此，设备可以使用从另一设备上传到外部服务器的代表标记和AR对象，或者将代表标记和AR对象提供给其他设备。
图3是示出根据实施例的由设备100执行的搜索与辨认出的场景相对应的标记的方法的示图。
参照图3，当辨认出第一场景310时，设备100可以确定在多个先前存储的代表标记中是否存在与第一场景310相对应的代表标记。在此，假设设备100基于标记属性在数据库320中存储关于作为对多个标记进行聚类的结果而生成的多个组330和340的信息。还假设设备100在AR模式下操作，在AR模式下，AR对象被重叠并显示在真实世界中的场景上。然而，这仅是示例，并且设备100不仅仅在AR模式下执行上述操作。
作为确定的结果，设备100可以确认第一场景310中包括的折纸书封面311对应于组1 330的代表标记a 331。当识别出与第一场景310相对应的代表标记a 331时，设备100可以对于在第一场景310之后可以被识别的另一场景增加组1 330中包括的其他标记的搜索排名。
例如，当辨认出折纸书封面311时，设备100可以估计折纸书内容将被辨认为场景。因此，设备100可以调整搜索排名，使得可以优先搜索组1330中包括的与折纸有关的标记。
因此，当辨认出第二场景350时，设备100可以优先搜索组1330中包括的标记，并且确定是否存在与第二场景350相对应的标记。当第二场景350中包括的鲸鱼折纸图案352被识别为组1330的标记1 332时，设备100可以获得作为映射到标记1 332的AR对象的海底图像360。设备100可以通过将获得的海底图像360重叠并显示在第二场景350上向用户提供AR服务。
图4是示出根据另一实施例的由设备100执行的搜索与辨认出的场景相对应的标记的方法的示图。
参照图4，当辨认出第一场景410时，设备100可以确定在多个先前存储的代表标记中是否存在与第一场景410相对应的代表标记。在此，假设设备100根据标记属性在数据库420中存储关于作为对多个标记进行聚类的结果而生成的多个组430和440的信息。
作为确定的结果，设备100可以确认第一场景410中包括的售票处411对应于组2440的代表标记b 441。组2 440可以是作为根据生成标记的位置对多个标记进行聚类的结果而生成的南山塔有关标记的组。当识别出与第一场景410相对应的代表标记b 441时，设备100可以对于在第一场景410之后可以被识别的另一场景增加组2 440中包括的其他标记的搜索排名。
例如，当辨认出南山塔的售票处411时，设备100可以估计稍后将辨认出南山塔的场景。因此，设备100可以调整搜索排名，使得可以优先搜索组2 440中包括的与南山塔有关的标记。
因此，当辨认出第二场景450时，设备100可以优先搜索组2440中包括的标记，并且确定是否存在与第二场景450相对应的标记。当第二场景450的南山塔452被识别为组2 440的标记n 442时，设备100可以获得烟花图像460，该烟花图像460是映射到标记n 442的AR对象。设备100可以通过将获得的烟花图像460重叠并显示在第二场景450上向用户提供AR服务。
图5是示出根据实施例的由设备执行的在场景中改变标记的方法的流程图。
在操作S510中，当对于在辨认出的场景中的至少一个标记中的每一个上重叠并显示的AR对象接收到预定类型的用户输入时，设备可以将AR对象与标记分离。
当在辨认出的场景中识别出至少一个标记时，根据实施例的设备可以在场景上重叠并且显示映射到识别出的至少一个标记中的每一个的AR对象。例如，设备可以在识别的标记上重叠并显示AR对象。然而，这仅是示例，并且显示AR对象的位置不限于标记的位置。根据另一个非限制性示例，可以将AR对象显示在相对于标记的预定坐标位置上。
同时，设备可以在显示AR对象的位置处接收预定类型的用户输入。例如，设备可以接收触摸AR对象超过阈值时间的长按触摸输入。当在AR对象上接收到用户输入时，设备可以确定用户希望移动AR对象。因此，设备可以将设备的模式设置为映射改变模式。
在操作S520中，设备可以基于接收的用户输入的位置确定在由设备辨认出的至少一个场景中显示分离的AR对象的位置。
设备可以基于接收的用户输入的位置来移动AR对象，使得用户可以在映射改变模式下更容易地改变AR对象的位置。在此，由于AR对象和标记是分离的，因此用户可能不需要保持固定姿势以允许设备辨认标记。因此，即使当在用户在拖动AR对象的同时改变设备或设备的相机的位置和方向并且未辨认出先前映射的标记时，场景和AR对象也可以重叠并显示在设备的屏幕上。
此外，即使当设备或设备的相机的位置或方向改变时，用户也可以容易地将AR对象移动到标记将被改变到的位置，而不必连续保持一个姿势来固定地显示辨认出的场景。
在操作S530中，设备可以在场景中释放用户输入的位置处设置AR对象的标记。
根据实施例的设备可以在映射改变模式下基于拖动AR对象的用户输入停止时的拖动输入的位置来生成新标记。例如，用户可以通过拖动输入将在位置(x1，y1)的标记上重叠并显示的AR对象移动到位置(x2，y2)，并且当拖动输入停止在位置(x2，y2)时，设备可以生成位于(x2，y2)的实际对象作为标记。
然而，这仅是示例，并且为改变映射信息而接收的用户输入的类型不限于上述示例。根据另一示例，当用户长按映射到辨认出的标记并被显示的AR对象，然后将AR对象拖出设备的屏幕时，设备可以取消该标记的注册。
图6是示出根据实施例的由设备100执行的改变场景610中的标记615的方法的示图。
参照图6，设备100可以在辨认出的场景610中识别标记615。当识别出标记615时，设备100可以获得映射到辨认出的场景610的AR对象620。因此，设备100可以在标记615上重叠并显示AR对象620。
根据实施例的设备100可以在显示AR对象620的状态下从用户接收对AR对象620的长按触摸输入630。当在AR对象620上接收到长按触摸输入630时，设备100可以将设备100的模式设置为映射改变模式。
在映射改变模式下，AR对象620可以基于用户输入的位置移动。例如，当在接收到长按触摸输入630之后连续接收到拖动输入时，AR对象620可以沿着接收到拖动输入640的位置移动。
同时，设备100可以基于在释放拖动输入640时的拖动输入的位置来确定新标记。例如，设备100可以确定第二帧618作为新标记，第二帧618是与拖动输入的释放位置相对应的实际对象。之后，当设备100提供AR服务并且辨认出第二帧618时，可以将AR对象620重叠并显示在与第二帧618相对应的位置上。
图7是示出根据实施例的由设备执行的基于标记校正信息辨认标记并提供由用户生成的AR对象的方法的流程图。
在操作S710中，当在设备的屏幕上显示辨认出的第一场景时，设备可以基于从用户接收的数据来生成AR对象。
当在屏幕上显示第一场景时，根据实施例的设备可以从用户接收手写数据、用户的语音数据、图像，音乐、文本和视频中的至少一个。然而，这仅是示例，并且可以从用户接收的数据不限于以上示例。
此外，设备可以将从用户接收的数据生成为关于第一场景的AR对象。
在操作S720中，设备可以将第一场景确定为AR对象的标记。
当基于从用户接收的数据生成AR对象时，设备可以将第一场景确定为AR对象的标记，以将AR对象映射到第一场景。然而，这仅是示例，并且可以将包括在第一场景中的实际对象确定为AR对象的标记。
在操作S730中，设备可以将包括辨认出第一场景时用户的位置和设备的方向中的至少一个的标记校正信息映射到AR对象和标记，并且存储映射的标记校正信息
根据实施例的设备可以获得关于在辨认出第一场景时用户的位置和设备的方向的信息等。当将第一场景用作标记时，由于可以基于用户的位置和设备的方向来获得不同的场景，因此即使设备辨认出与第一场景相同的对象，也可能难以识别出标记。因此，为了提高标记辨认率，设备可以获得关于在辨认出第一场景时用户的位置和设备的方向的信息等，作为标记校正信息。
在操作S740中，由于在存储标记校正信息之后辨认出第二场景，因此作为基于标记校正信息将第二场景与标记进行比较的结果，当第二场景对应于标记时，设备可以在第二场景上重叠并显示AR对象。
当将随后辨认出的第二场景与标记进行比较时，为了提高准确性，设备可以考虑在辨认用作标记的第一场景时用户的位置和设备的方向等，将第二场景与标记进行比较。
当比较的结果是第二场景对应于标记时，设备可以在第二场景上重叠并显示基于标记映射的AR对象。
图8是示出根据实施例的由设备100执行的基于标记校正信息辨认标记并提供由用户生成的AR对象822的方法的示图。
参照图8，设备100可以在屏幕上湖a的位置处显示沿b方向(例如，设备的取向方向)捕获的第一场景810。在此，假设设备100以预览模式操作，在预览模式下，在屏幕上显示设备100周围的辨认出的场景。
用户可以通过输入设备820在显示第一场景810的设备100的屏幕上输入手写数据。例如，用户可以使用诸如笔的输入设备820在设备100的屏幕上输入手写数据“2017年9月15日的Seokchon湖(Seokchon Lake on September 15,2017)”。设备100可以将从用户输入的手写数据生成为对于第一场景810的AR对象822。此外，设备100可以将第一场景810确定为对于AR对象822的标记。
同时，根据实施例的设备100可以获得在辨认出第一场景810时用户的位置和设备100的方向信息作为标记校正信息。例如，设备100可以获得在辨认出第一场景810时用户的位置是Seokchon湖和3点钟方向的信息作为标记校正信息。当用户触摸保存(例如，存储)按钮830时，设备100可以确定数据输入完成并且获得标记校正信息。此外，设备100可以将标记校正信息映射并存储到标记和AR对象822作为第一场景810。
当在存储标记校正信息之后辨认出第二场景840时，设备100可以将第一场景810和基于标记校正信息校正的第二场景840进行比较，并确定场景810和第二场景840是否是辨认相同对象的结果。例如，即使第二场景840是与Seokchon湖相同的场景，当设备100的方向与辨认第一场景810时的方向不同时，设备100也可能无法识别出第一场景810和第二场景840是辨认相同对象的结果。因此，设备100可以考虑在辨认第一场景810时设备100的方向来比较第二场景840和第一场景810。
当确定第一场景810和第二场景840是辨认相同对象的结果时，设备100可以在第二场景840上重叠并且显示基于用户的先前手写数据生成的AR对象822。
图9是示出根据实施例的由设备执行的提供关于与标记相对应的AR对象的信息的方法的流程图。
在操作S910中，设备可以基于用户输入来选择多个标记中的任何一个。
根据实施例的设备可以存储多个标记。多个标记中的每一个可以存储设备可以辨认出的场景中实际对象与AR对象之间的映射信息。
设备可以在屏幕上显示关于多个存储的标记的信息。例如，设备可以以列表形式在屏幕上显示表示多个标记中的每一个的缩略图。根据另一示例，设备可以在设备的屏幕上排列在生成标记时所设置的标记的名称。
用户可以从关于在屏幕上显示的多个标记的信息中选择用户想要检查的标记的信息。例如，用户可以通过触摸用户想要检查的标记的缩略图或标记的名称来选择多个标记中的任何一个。
在操作S920中，设备可以在切换到在屏幕上显示辨认出的场景的预览模式之后重叠并在屏幕上显示选择的标记。
当选择多个标记中的任何一个时，根据实施例的设备可以切换到预览模式以向用户提供与向用户提供实际AR服务的环境相同的环境。预览模式可以指示在屏幕上显示由设备辨认出的场景的模式。
当设备切换到预览模式时，选择的标记可能会重叠并显示在屏幕上显示的场景上。例如，当用户选择包括纽约旅行照片的帧作为标记时，在屏幕上显示辨认出的场景的情况下，设备可以在屏幕上重叠并显示包括纽约旅行照片的帧。
在操作S930中，设备可以在标记上重叠并且显示预定AR对象。
根据实施例的设备可以响应于用户请求而在标记上重叠并显示预定AR对象。在此，可以以各种形式接收用户请求。例如，当在显示标记的同时接收到用于拖动另外提供的设备的AR图像的用户输入时，由于设备的AR图像显示在屏幕上，因此设备可以在标记上重叠并显示AR对象。稍后将参照图10更详细地描述。
然而，这仅是示例，并且用户必须提供以在选择的标记上显示AR对象的用户输入的形式不限于上述形式。根据另一示例，在以预览模式中显示标记之后，用户可以触摸标记，使得在标记上重叠并显示AR对象。
图10是示出根据实施例的由设备100执行的提供关于与标记1015相对应的AR对象的信息的方法的示图。
参照图10，设备100可以在屏幕上显示列表1010，该列表1010显示多个标记的缩略图图像。设备100可以接收选择多个标记中的任何缩略图的用户输入。在本实施例中，假设基于用户输入选择多个标记当中的标记H1015。
当选择标记H1015时，设备100可以切换到预览模式。当切换到预览模式时，设备100可以实时显示设备100辨认的真实世界的场景1020。此外，设备100可以在预览模式中显示的场景1020上重叠并且显示选择的标记H1015。
同时，当选择的标记H1015被重叠并显示时，设备100可以在设备100的屏幕的一侧上显示设备100的AR图像1030的一部分。在本实施例中，当接收到用于拖动设备100的AR图像1030的用户输入时，设备100可以确定用户请求了与选择的标记H1015相对应的AR对象的指示。
当接收到用于拖动设备100的AR图像1030的一部分的用户输入时，设备100可以在预览模式下显示的场景102上对于标记H1015重叠并显示预定AR对象1040。
因此，用户可以在辨认实际场景之前预先确认与先前在设备100中生成的多个标记中的每一个相对应的AR对象。
图11是示出根据实施例的由设备执行的基于先前存储的内容生成AR对象和用于将AR对象映射到场景的标记的方法的流程图。
在操作S1110中，设备可以基于获得多条内容中的每一个的位置和时间以及通过用户输入设置的预定参考中的至少一个将多条内容聚类到至少一个组。在此，内容可以包括图像、语音、音乐、手写信息、文本和运动图像中的至少一个。
例如，设备可以将多个图像聚类到在位置A捕获的图像和在位置B捕获的图像，或者在周年纪念日捕获的图像或在特定日期捕获的图像。根据另一示例，设备可以基于用户设置的光学参考对多个图像进行聚类。然而，这仅是示例，并且作为聚类目标的内容不限于图像。根据另一示例，设备可以对语音、音乐，手写信息、文本和运动图像进行聚类，或者可以对两个或多个上述成分的组合的内容进行聚类。
在操作S1120中，设备可以生成作为聚类的结果而获得的至少一个组中的每一个的标记。
根据实施例的设备可以选择至少一个组中的每一个中包括的内容中的任何一个作为标记。例如，设备可以基于用户输入选择组中包括的内容中的任何一个作为标记。根据另一实施例的设备可以组合至少一个组中的每一个中包括的内容，以生成至少一个组中的每一个的标记。例如，设备可以组合组内的图像，使得该组中包括的所有图像都可以被包括在一个图像中。根据另一示例，设备可以不仅重叠并生成组中包括的内容，而且重叠并生成用户选择作为标记的可选对象。
在操作S1130中，当辨认出与生成的标记相对应的场景时，设备可以在标记上重叠并且显示映射到标记的组的内容。
根据实施例的设备可以在随后辨认出的场景中存在与标记相对应的场景时确定映射到标记的组。例如，当辨认出的场景包括作为标记之一的中国旅行照片时，设备可以确定映射到中国旅行照片的组。
设备可以在标记上重叠并显示确定的组中包括的另一张中国旅行照片。例如，设备可以以运动图像形式组合确定的组中包括的其他中国旅行照片，并且在标记上重叠并显示组合的中国旅行照片。
图12是示出根据实施例的由设备100执行的基于先前存储的内容生成AR对象和用于将AR对象映射到场景的标记的方法的示图。
参照图12，设备100可以根据获得图像的时间和位置中的至少一个，将先前存储在数据库1205中的多个图像聚类到多个组1210和1220。此外，设备100可以使用多个组1210和1220中包括的图像中的至少一个生成标记。例如，对于第一组1210中包括的图像，设备100可以将第一组1210中包括的第一图像1211确定为标记。在此，设备100可以任意地确定将要作为标记的图像，或者可以基于用户输入确定将要作为标记的图像。
当设备100辨认出场景时，设备100可以确定辨认出的场景是否对应于聚类的组1210和1220中的任何标记。当作为确定的结果，辨认出的场景对应于作为第一组1210的标记的第一图像1211时，对于作为第一图像1211的标记，设备100可以提供包括第一组1210中包括的图像的运动图像1230作为AR对象。因此，设备100可以在作为标记的第一图像1211上重叠并显示运动图像1230，运动图像1230包括第一组1210中包括的图像。
同时，图12示出基于作为内容的示例的图像生成AR对象的方法，但这仅仅是示例，并且内容不限于图像。
图13是示出根据实施例的由设备100执行的基于用户输入生成标记和与标记相对应的AR对象1340的方法的示图。
参照图13，设备100可以基于用户输入从多个先前存储的图像的列表1310选择将要用作标记的图像。例如，设备100可以从先前存储的图像的列表1310中选择生日贺卡照片1311作为标记。
此外，设备100可以提供用于编辑选择标记的用户界面(UI)1320。用户可以通过UI1320编辑被选为标记的生日贺卡照片1311的大小、颜色等。
在选择标记之后，设备100可以基于用户输入生成将被映射到标记的AR对象1340。设备100可以在屏幕上显示可以用作AR对象的多个图像的列表1330。设备100可以基于接收的用户输入从显示的列表1330选择第一图像1332、第二图像1334和第三图像1336。设备100可以将多个选择的图像1332、1334和1336存储为映射到生日贺卡照片1311的AR对象1340。
同时，设备100可以将生成的AR对象1340提供给另一设备。例如，用户可以将映射到生日贺卡照片1311的AR对象1340发送到生日是今天的另一个用户的设备，从而当生日贺卡照片1311被另一用户的设备辨认出时提供AR对象1340被重叠并显示在生日贺卡照片1311上的AR服务。设备100还可以使用NFC标签等将通过将AR对象1340映射到生日贺卡照片1311而生成的AR内容提供给位于预定距离范围内的另一设备，从而更容易地与另一设备共享AR内容。
根据另一实施例，设备100可以将作为将AR对象1340映射到生日贺卡照片1311的结果而生成的AR内容注册到外部服务器。例如，设备100可以将AR内容注册到其他用户可访问的云服务器或商店服务器。
设备100可以根据被定义为包括关于AR内容中包括的标记和AR对象1340的所有信息的文件格式来注册AR内容。例如，设备100可以根据定义生日贺卡照片1311的标识符和对于生日贺卡照片1311重叠并显示的AR对象1340的诸如纬度和经度的映射信息的文件格式来注册AR内容。
图14是示出根据实施例的由设备100执行的在移动时辨认标记的方法的示图。
参照图14，当捕获特定对象1402时，设备100可以确定特定对象1402是否是辨认出的场景1410中的标记。当确定特定对象1402对应于预定第一标记1412时，设备100可以在辨认出的场景1410上重叠并显示映射到第一标记1412的AR对象。
同时，当设备100基于用户的移动而移动时，设备100可以识别包括多个对象1402和1404的场景。设备100可以确定与多个对象1402和1404中的每一个相对应的标记是否存在，使得根据用户的移动而显示的AR对象改变。
当存在与多个对象1402和1404中的每一个相对应的标记时，设备100可以比较场景中包括的相应标记1414和1416的区域。当作为比较的结果，场景中包括的第二标记1416的区域大于场景中包括的第一标记1414的区域时，设备100可以在辨认出的场景上重叠并且显示映射到第二标记1416的AR对象。
图15是示出根据实施例的由设备100执行的根据用户输入选择多个标记1512、1514和1516中的任何一个的方法的示图。
参照图15，设备100可以辨认包括多个对象的场景。设备100可以确定辨认出的场景中包括的多个对象中的每一个是否是标记。
当存在分别对应于多个对象的第一标记1512、第二标记1514和第三标记1516时，根据实施例的设备100可以在标记1512、1514和1516周围显示识别标记，使得用户可以辨认出所有辨认出的标记1512、1514和1516。例如，设备100可以在第一标记1512，第二标记1514和第三标记1516的边缘上显示虚线标记。
用户可以通过识别标记辨认出场景中包括的多个标记1512、1514和1516，并且选择多个辨认出的标记1512、1514和1516中的任何一个。例如，用户可以触摸并选择多个标记1512、1514和1516中的第二标记1514。
此外，设备100可以在辨认出的场景1510上重叠并显示与用户选择的第二标记1514相对应的AR对象1520。
图16是示出根据实施例的由设备100执行的向用户提供用于辨认标记的指导信息1620的方法的示图。
参照图16，当注册标记时，设备100可以在当前辨认出的场景1610不满足标记注册条件的情况下向用户提供指导信息1620。例如，设备100可以显示包括请求用户倾斜设备100的文本的指导信息1620。在此，为了确定是否满足标记注册条件，设备100可以使用从在设备100中提供各种传感器(诸如照明，倾斜传感器等)获得的设备100的状态信息。
设备100可以根据指导信息1620改变设备100的倾斜度，并且当辨认出的场景1610满足标记注册条件时，可以将辨认出的场景1610中包括的对象注册为标记。而且，设备100可以在辨认出的场景1610上重叠并且显示映射到注册的标记的AR对象1630，使得用户可以预先检查AR对象1630。
图17是示出根据实施例的由设备100执行的将一个或多个AR对象1742、1744和1746映射到标记1710的方法的示图。
参照图17，设备100可以提供用于注册与标记1710相对应的AR对象的用户界面。例如，设备100可以在屏幕的一部分上显示指定标记1710。
设备100还可以在显示标记1710的部分的上部上显示AR对象编辑区域1720，该AR对象编辑区域1720显示注册为映射到当前标记1710的一个或多个AR对象1742、1744和1746。根据实施例的一个或多个AR对象1742、1744和1746可以包括各种类型的内容，诸如图像、运动图像、音乐和文本。
用户可以编辑在AR对象编辑区域1720上显示的一个或多个AR对象1742、1744和1746。在实施例中，用户可以触摸并拖动显示在AR对象编辑区域1720的一个或多个AR对象1742、1744和1746中的一个，从而改变一个或多个AR对象1742、1744和1746的输出顺序。例如，当用户拖动第一AR对象1742并改变第一AR对象1742和第二AR对象1744的位置时，可以在第一AR对象1742之前输出第二AR对象1744。因此，在作为运动图像的第二AR对象1744输出之后，可以输出作为图像的第一AR对象1742。
然而，这仅是示例，并且可以将在设备100的AR对象编辑区域1720显示的一个或多个AR对象1742、1744和1746中的至少一些设置为重叠并输出。例如，根据用户的设置，可以将作为音乐文件的第三AR对象1746重叠并且输出在第一AR对象1742和第二AR对象1744上。因此，在输出作为图像的第一AR对象1742和作为运动图像的第二AR对象1744时，第三AR对象1746可以作为背景音乐重叠并输出。
设备100还可以添加和注册除了当前映射到标记1710的一个或多个AR对象1742、1744和1746之外的AR对象。用户可以通过选择显示在设备100的屏幕上的添加按钮1730检查关于可以另外映射到标记1710的AR对象的信息。例如，当选择添加按钮1730时，设备100可以在屏幕上显示缩略图图像，诸如在相册应用中注册的图像或运动图像。然而，这仅是示例，并且当选择添加按钮1730时，设备100可以显示关于诸如音乐文件的另一内容的信息。
图18和图19是示出根据实施例的设备100的框图。
参照图18，根据实施例的设备100可以包括相机110、至少一个处理器(例如，包括处理电路)120、显示器130和存储器140。然而，所有示出的组件不是必不可少的组件。设备100可以由比图18所示的组件更多的组件来实现，设备100可以由比图18中所示的组件更少的组件来实现。
例如，参照图19，除了相机1911、处理器(例如，包括处理电路)1920、输出单元(例如，包括输出电路)1930和存储器1940之外，根据实施例的设备1900还可以包括输入单元(例如，包括输入电路)1950和通信器(例如，包括通信电路)1960。同时，在图19的设备1900中，相机1911、处理器1920、显示器1931和存储器1940可以分别对应于图18的相机110、处理器120、显示器130和存储器140。
在下文中，将按顺序描述组件。
音频/视频(A/V)输入单元1910可以包括用于输入音频信号或视频信号的各种A/V输入电路，并且可以包括例如但不限于相机1911、麦克风1912等。
相机1911可以在相机辨认范围内辨认真实世界的场景。辨认出的场景可以被捕获为图像。根据实施例的由相机1911捕获的图像可以由处理器120成像并且经由显示器1931显示和输出。
麦克风1912可以接收用户的话语语音。麦克风1912可以将接收的语音转换成电信号，并将电信号输出到处理器1920。
处理器1920可以包括各种处理电路，并且可以控制设备1900的整体操作。例如，处理器1920通常可以通过执行存储在存储器1940中的程序控制A/V输入单元1910、输出单元1930、输入单元1950和通信器1960。
根据实施例的处理器1920可以控制组件以执行以上参照图1至图17描述的设备100的功能，以提供AR服务。
例如，处理器1920可以根据标记属性将作为用于将AR对象映射到通过相机1911辨认出的场景的参考的多个标记聚类到至少一个组。此外，处理器1920可以将多个聚类的标记中的任何一个确定为至少一个组中的每一个的代表标记。当在至少一个组的每个组的代表标记中识别出与设备1900辨认的第一场景相对应的代表标记时，处理器1920可以优先搜索包括在识别的代表标记的组中的标记，而不是其他标记，以对于在辨认出第一场景之后辨认的第二场景识别标记。
根据另一个示例，处理器1920可以在设备1900的屏幕上显示由设备1900辨认出的第一场景的同时基于从用户接收的数据来生成AR对象。处理器1920可以将第一场景确定为AR对象的标记。另外，处理器1920可以将包括在辨认出第一场景时用户的位置和设备1900的方向中的至少一个的标记校正信息映射到AR对象和标记，并存储标记校正信息。当在存储标记校正信息之后辨认出第二场景时，作为基于标记校正信息将第二场景与标记进行比较的结果，当第二场景对应于标记时，处理器1920可以在第二个场景上重叠并显示AR对象。
输出单元1930可以包括各种输出电路并且以音频信号或视频信号的形式输出数据。输出单元1930可以包括各种输出电路，例如但不限于，显示器1931和音频输出单元(例如，包括音频输出电路)1932。
在本公开中，显示器1931可与屏幕互换使用，因为显示器1931显示辨认出的场景。
显示器1931可以显示并输出由设备1900处理的信息。例如，显示器1931可以在辨认出的场景上重叠并且显示AR对象。当显示器1931和触摸板具有层结构并且被配置为触摸屏时，显示器1931除了输出设备之外还可以用作输入设备。
音频输出单元1932可以包括各种音频输出电路，并且输出从通信器1960接收或存储在存储器1940中的音频数据。
可以根据功能将存储在存储器1940中的程序分类为多个模块，例如，UI模块1941和触摸屏模块1942。
UI模块1941可以为每个应用提供与设备1900同步的专用UI、GUI等。触摸屏模块1942可以检测用户在触摸屏上的触摸手势，并且可以将关于触摸手势的信息发送到处理器1920。根据一些实施例的触摸屏模块1942可以辨认并分析触摸代码。触摸屏模块1942可以被配置为包括控制器的单独的硬件。
存储器1940可以包括例如但不限于选自闪存、硬盘、多媒体卡类型存储器、卡类型存储器(诸如安全数字(SD)或xD图片(xD)卡存储器)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘、光盘等中的至少一种类型的存储介质。
输入单元1950可以包括供用户输入用于控制设备1500的数据的各种输入电路。例如，输入单元1950可以包括例如但不限于键盘、圆顶开关、触摸板(接触电容型、耐压型、红外线检测型、表面超声波传导型、积分张力测量型，压电效应型等)、拨轮、拨动开关等，但不限于此。
根据实施例，输入单元1950可以接收使用触摸板的请求切换到AR模式的用户输入。然而，这仅是示例，并且输入单元1950可以接收包括手写信息的用户输入。
通信器1960可以包括用于与外部服务器(例如，云服务器、内容提供服务器等)和其他外部设备进行通信的一个或多个组件。例如，通信器1960可以包括各种通信电路，例如但不限于，短距离无线通信器1961，移动通信器1962、广播接收器1963等中的一个或多个。
短距离无线通信器1961可以包括蓝牙通信器、低能耗蓝牙(BLE)通信器、近场通信器、WLAN(WiFi)通信器、Zigbee通信器、红外数据协会(IrDA)通信器、Wi-Fi Direct(WFD)通信器、超宽带(UWB)通信器、Ant+通信器等，但不限于此。
移动通信器1962通过移动通信网络向基站、外部终端和服务器中的至少一个发送无线电信号以及从基站、外部终端和服务器中的至少一个接收无线电信号。在此，根据内容发送和接收，无线电信号可以包括各种类型的数据。
广播接收器1963通过广播信道从外部接收广播信号和/或广播相关信息。根据实施例，设备1900可以不包括广播接收器1963。
根据实施例的方法可以被实现为可以由各种计算机装置执行并且被记录在非暂时性计算机可读记录介质上的计算机命令。非暂时性计算机可读记录介质可以包括程序命令、数据文件、数据结构和/或其任何组合。记录在计算机可读记录介质上的程序命令可以是出于本公开的目的而专门设计和构造的那些程序命令，或者是计算机软件领域的普通技术人员众所周知并且可用的那些程序命令。计算机可读记录介质的示例包括磁介质(诸如硬盘、软盘和磁带)，光学介质(诸如光盘只读存储器(CD-ROM)或数字多功能光盘(DVD))，磁光介质(诸如软盘)和专门配置为存储和执行程序命令的硬件设备(诸如ROM、RAM和闪存)。程序命令的示例包括可以由计算机使用解释器执行的高级编程语言，以及由编译器生成的机器语言代码。
本文描述的设备可以包括处理器，用于存储要由处理器执行的程序数据的存储器，诸如磁盘驱动器的永久性存储器，用于处理与外部设备的通信的通信端口，以及用户界面设备(包括触摸面板、键盘和按钮)。可以在非暂时性计算机可读介质(诸如只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储设备)上将实现为软件模块或算法的方法存储为可由处理器执行的程序命令或计算机可读代码。计算机可读记录介质也可以分布在网络耦合的计算机系统上，从而以分布式方式存储和执行计算机可读代码。介质可以由计算机读取，存储在存储器中并由处理器执行。
为了促进对本公开原理的理解，已经参考了附图中示出的实施例，并且已经使用特定语言来描述这些实施例。然而，该特定语言并不意图限制本公开的范围，并且应当理解本公开涵盖本领域的普通技术人员通常会想到的所有实施例。
可以根据功能块组件和各种处理步骤来描述本公开。可以通过被配置为执行指定功能的任何数量的硬件和/或软件组件来实现这样的功能块。例如，本公开可以采用各种集成电路组件，例如，存储器元件、处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其他控制设备的控制下执行各种功能。类似地，在使用软件编程或软件元件来实现本公开的元件的情况下，可以使用诸如C、C++、Java、汇编器等的任何编程或脚本语言来实现本公开，其中各种算法可以通过数据结构、对象、过程、例程或其他编程元件的任何一种组合来实现。功能方面可以以在一个或多个处理器上执行的算法来实现。此外，本公开可以采用任何数量的技术用于电子配置、信号处理和/或控制，数据处理等。词语“机制”和“元件”被广泛使用，并且不限于机械或物理实施例，而是可以包括与处理器等结合的软件例程。
本文中示出和描述的特定实现方式是本公开的说明性示例，并且不意在以任何方式限制本公开的范围。为了简洁，可以不详细描述电子设备、控制系统、软件开发和系统的其他功能方面(以及系统的各个操作组件的组件)。此外，在所呈现的各个附图中示出的连接线或连接器旨在表示各个元件之间的示例性功能关系和/或物理或逻辑耦合。应当注意，在实际设备中可能存在许多替代或附加的功能关系、物理连接或逻辑连接。此外，除非元件被特别描述为“必要”或“关键”，否则没有项目或组件对于本公开的实施是必不可少的。将认识到，本文所使用的术语“包括”、“包含”和“具有”被特别地理解为开放式技术术语。
在描述本公开的情境中(特别是在所附权利要求的情境中)术语“一”和“一个”以及“该”的使用应理解为涵盖单数和复数。此外，除非在此另外指出，否则本文中数值范围的列举仅旨在用作分别指代落入该范围内的每个单独值的速记方法，并且每个单独值都被并入说明书中，如同其在本文中被单独叙述一样。除非本文另外指出或与情境明显矛盾，否则本文描述的所有方法的步骤可以以任何合适的顺序执行。除非另外要求，否则本文提供的任何和所有示例或示例性语言(例如“诸如”)的使用仅旨在更好地阐明本公开，并且不对本公开的范围构成限制。在不脱离本公开的精神和范围的情况下，许多修改和改编对于本领域普通技术人员将是显而易见的。
应当理解，本文描述的各种示例实施例应仅在描述性意义上考虑，而不是出于限制的目的。每个实施例中的特征或方面的描述通常应被认为可用于其他实施例中的其他类似特征或方面。
尽管已经参照附图描述了一个或多个示例实施例，但是本领域普通技术人员将理解，可以在不脱离所附权利要求定义的精神和范围的情况下对形式和细节进行各种改变。

Claims (13)

1.一种提供增强现实AR服务的方法，所述方法包括：
基于标记属性将多个标记聚类到至少一个组，所述标记是用于将AR对象映射到设备辨认出的场景的参考；
确定所述至少一个组中的每一个中的多个聚类的标记中的一个作为该组的代表标记；
在至少一个代表标记当中，识别由所述设备辨认出的第一场景中的代表标记；
调整包括在所识别的代表标记的组中的标记的搜索排名，使得该标记的搜索排名增加；
基于调整后的搜索排名在第二场景中搜索标记；以及
响应于通过搜索的结果识别出第二场景中的标记，通过显示器在第二场景上重叠并显示映射到所识别的标记的AR对象。
2.根据权利要求1所述的方法，
其中，所述多个标记包括设备辨认出的多个场景的每一个中包括的实际对象，
其中，所述标记属性还包括以下各项中至少一个：实际对象的种类、所述设备辨认出包括实际对象的场景的时间、以及所述设备辨认出包括实际对象的场景的位置，以及
其中，所述显示包括：当标记被识别时，从先前存储的映射数据库提取与识别的标记相对应的AR对象。
3.根据权利要求1所述的方法，其中，所述确定包括基于用于选择多个聚类的标记中的任何一个的用户输入确定至少一个组中的每一个的代表标记。
4.根据权利要求1所述的方法，其中，第一场景和第二场景包括在由设备执行的相机应用的预览模式下辨认出的图像。
5.根据权利要求1所述的方法，还包括：
基于获得多条内容中的每一个的位置、获得多条内容中的每一个的时间、以及基于用户输入的预定参考中的至少一个，将所述设备先前获得的多条内容聚类到至少一个AR对象组；
使用所述多条内容中的至少一个生成所述至少一个AR对象组中的每一个的标记；以及
当所述设备辨认出的场景对应于生成的标记中的任何一个时，在与辨认出的场景相对应的标记上重叠并显示映射到标记的AR对象组中包括的内容，
其中，所述多条内容包括图像、语音、音乐、手写信息、文本和运动图像中的至少一个。
6.根据权利要求1所述的方法，还包括：
当对于重叠并显示在所述设备辨认出的场景中的标记上的AR对象接收到预定类型的用户输入时，将AR对象与标记分离；以及
基于接收的用户输入的位置，在所述设备辨认出的至少一个场景中的预定位置上重叠并显示分离的AR对象。
7.一种设备，包括：
存储器，存储一个或多个指令；
显示器；
相机，被配置为辨认设备周围的场景；以及
处理器，被配置为执行存储在存储器中的一个或多个指令，
其中，当执行一个或多个指令时，所述处理器使所述设备执行至少一个操作以：
基于标记属性将多个标记聚类到至少一个组，所述标记是用于将增强现实AR对象映射到设备辨认出的场景的参考；
确定所述至少一个组中的每一个中的多个聚类的标记中的一个作为该组的代表标记；
在至少一个代表标记当中，识别由所述设备辨认出的第一场景中的代表标记；
调整包括在所识别的代表标记的组中的标记的搜索排名，使得标记的搜索排名增加；
基于调整后的搜索排名在第二场景中搜索标记；以及
响应于通过搜索的结果识别出第二场景中的标记，通过显示器在第二场景上重叠并显示映射到所识别的标记的AR对象。
8.根据权利要求7所述的设备，
其中，多个标记包括所述设备辨认出的多个场景的每一个中包括的实际对象，
其中，所述标记属性还包括以下各项中至少一个：实际对象的种类、所述设备辨认出包括实际对象的场景的时间、以及所述设备辨认出包括实际对象的场景的位置，以及
其中，当执行一个或多个指令时，所述处理器还使所述设备执行至少一个操作以当标记被识别时从先前存储的映射数据库提取与识别的标记相对应的AR对象。
9.根据权利要求7所述的设备，其中，当执行一个或多个指令时，所述处理器还使所述设备执行至少一个操作以基于用于选择所述多个聚类的标记中的任何一个的用户输入确定所述至少一个组中的每一个的代表标记。
10.根据权利要求7所述的设备，第一场景和第二场景包括在由所述设备执行的相机应用的预览模式下辨认出的图像。
11.根据权利要求7所述的设备，当执行一个或多个指令时，所述处理器使设备执行至少一个操作以：
基于获得多条内容中的每一个的位置、获得所述多条内容中的每一个的时间、以及通过用户输入设置的预定参考中的至少一个，将所述设备先前获得的多条内容聚类到至少一个AR对象组；
使用所述多条内容中的至少一个生成所述至少一个AR对象组中的每一个的标记；以及
当所述设备辨认出的场景对应于生成的标记中的任何一个时，在与辨认出的场景相对应的标记上重叠并显示映射到标记的AR对象组中包括的内容，
其中，所述多条内容包括图像、语音、音乐、手写信息、文本和运动图像中的至少一个。
12.根据权利要求7所述的设备，当执行一个或多个指令时，所述处理器使设备执行至少一个操作以：
当对于重叠并显示在所述设备辨认出的场景中的标记上的AR对象接收到预定类型的用户输入时，将AR对象与标记分离；以及
基于接收的用户输入的位置，在设备辨认出的至少一个场景中的预定位置上重叠并显示分离的AR对象。
13.一种非暂时性计算机可读记录介质，其上记录有用于使用计算机执行权利要求1的方法的程序。
CN201880060834.8A 2017-09-22 2018-09-21 提供增强现实服务的方法和设备 Active CN111133479B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2017-0122807 2017-09-22
KR20170122807 2017-09-22
KR1020180007295A KR102428921B1 (ko) 2017-09-22 2018-01-19 Ar 서비스를 제공하는 방법 및 디바이스
KR10-2018-0007295 2018-01-19
PCT/KR2018/011287 WO2019059725A1 (en) 2017-09-22 2018-09-21 METHOD AND DEVICE FOR PROVIDING SERVICE OF INCREASED REALITY

Publications (2)

Publication Number Publication Date
CN111133479A CN111133479A (zh) 2020-05-08
CN111133479B true CN111133479B (zh) 2024-01-26

Family

ID=66104552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880060834.8A Active CN111133479B (zh) 2017-09-22 2018-09-21 提供增强现实服务的方法和设备

Country Status (3)

Country Link
EP (1) EP3646292B1 (zh)
KR (1) KR102428921B1 (zh)
CN (1) CN111133479B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102202625B1 (ko) * 2019-12-09 2021-01-13 엘아이지넥스원 주식회사 증강 현실 기반의 발사대 위험 지대 표시 방법 및 시스템
KR102320229B1 (ko) * 2020-05-13 2021-11-02 주식회사 인터포름 Hmd 장치로 인식되는 가상의 오브젝트 정보를 담고 있는 마커를 테이블 위의 디스플레이 장치에 표시할 수 있는 아동 교육을 위한 스마트 테이블 디바이스 및 이를 이용한 교육방법.
KR102393903B1 (ko) * 2020-11-09 2022-05-04 주식회사 나루스튜디오 Ar 전자 현미경 제공 단말, 방법 및 프로그램

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120038322A (ko) * 2010-10-13 2012-04-23 주식회사 팬택 마커 또는 마커리스를 융합하는 증강현실 장치 및 방법
CN103227848A (zh) * 2011-11-22 2013-07-31 三星电子株式会社 用于针对便携式终端提供增强现实服务的设备和方法
WO2013141562A1 (en) * 2012-03-23 2013-09-26 Samsung Electronics Co., Ltd. Method and apparatus for processing media file for augmented reality service
WO2015050288A1 (ko) * 2013-10-01 2015-04-09 목포대학교산학협력단 소셜 증강현실 서비스 시스템 및 방법
CN105830095A (zh) * 2016-03-21 2016-08-03 香港应用科技研究院有限公司 用于选择增强现实标记的评级和建议
CN107111740A (zh) * 2014-09-29 2017-08-29 索尼互动娱乐股份有限公司 用于使用增强现实和对象辨别来检索内容项并使之与真实世界对象相关联的方案

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4976756B2 (ja) * 2006-06-23 2012-07-18 キヤノン株式会社 情報処理方法および装置
US9710554B2 (en) * 2010-09-23 2017-07-18 Nokia Technologies Oy Methods, apparatuses and computer program products for grouping content in augmented reality
US9317835B2 (en) * 2011-03-08 2016-04-19 Bank Of America Corporation Populating budgets and/or wish lists using real-time video image analysis
JP6323040B2 (ja) * 2014-02-12 2018-05-16 株式会社リコー 画像処理装置、画像処理方法およびプログラム
US9892560B2 (en) * 2014-09-11 2018-02-13 Nant Holdings Ip, Llc Marker-based augmented reality authoring tools
US9407815B2 (en) * 2014-11-17 2016-08-02 International Business Machines Corporation Location aware photograph recommendation notification
US10026228B2 (en) * 2015-02-25 2018-07-17 Intel Corporation Scene modification for augmented reality using markers with parameters
US20170076428A1 (en) * 2015-09-14 2017-03-16 Canon Kabushiki Kaisha Information processing apparatus
KR101745636B1 (ko) * 2016-05-04 2017-06-20 주식회사 엠코코아 대표 마커를 이용하는 증강현실 시스템 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120038322A (ko) * 2010-10-13 2012-04-23 주식회사 팬택 마커 또는 마커리스를 융합하는 증강현실 장치 및 방법
CN103227848A (zh) * 2011-11-22 2013-07-31 三星电子株式会社 用于针对便携式终端提供增强现实服务的设备和方法
WO2013141562A1 (en) * 2012-03-23 2013-09-26 Samsung Electronics Co., Ltd. Method and apparatus for processing media file for augmented reality service
WO2015050288A1 (ko) * 2013-10-01 2015-04-09 목포대학교산학협력단 소셜 증강현실 서비스 시스템 및 방법
CN107111740A (zh) * 2014-09-29 2017-08-29 索尼互动娱乐股份有限公司 用于使用增强现实和对象辨别来检索内容项并使之与真实世界对象相关联的方案
CN105830095A (zh) * 2016-03-21 2016-08-03 香港应用科技研究院有限公司 用于选择增强现实标记的评级和建议

Also Published As

Publication number Publication date
EP3646292A1 (en) 2020-05-06
EP3646292A4 (en) 2020-07-22
KR20190034051A (ko) 2019-04-01
CN111133479A (zh) 2020-05-08
EP3646292B1 (en) 2023-07-26
EP3646292C0 (en) 2023-07-26
KR102428921B1 (ko) 2022-08-04

Similar Documents

Publication Publication Date Title
US10789473B2 (en) Method and device for providing augmented reality service
US11030813B2 (en) Video clip object tracking
AU2013300316B2 (en) Method and system for tagging information about image, apparatus and computer-readable recording medium thereof
WO2019095392A1 (zh) 根据背景图像动态显示图标的方法及装置
CN111133479B (zh) 提供增强现实服务的方法和设备
US20140253592A1 (en) Method for providing augmented reality, machine-readable storage medium, and portable terminal
US10650264B2 (en) Image recognition apparatus, processing method thereof, and program
US8615274B2 (en) Electronic device and controlling method thereof
CN102436663A (zh) 用于对增强现实进行选择性过滤的用户设备、服务器和方法
US20120038668A1 (en) Method for display information and mobile terminal using the same
US20130174090A1 (en) Contact searching method and apparatus, and applied mobile terminal
US20120133650A1 (en) Method and apparatus for providing dictionary function in portable terminal
KR20150046258A (ko) 가상 현실 어플리케이션
KR20140143505A (ko) 뷰 모드에서 정보 제공 방법 및 장치
KR20160062565A (ko) 디바이스 및 디바이스의 필기 컨텐트 제공 방법
CN104050226A (zh) 移动终端的应用信息处理方法和装置
CN112740179B (zh) 应用程序的启动方法和装置
KR20160035911A (ko) 이동단말기 및 그 제어방법
KR101746543B1 (ko) 이동 단말기 및 그 제어 방법
US10491742B2 (en) Mobile terminal and control method thereof
KR20150051655A (ko) 전자 기기 및 그 제어 방법
CN105049658A (zh) 用于管理数据的用户终端装置及其方法
KR101708303B1 (ko) 정보 전송 방법 및 이를 이용하는 이동 단말기
CN113362424A (zh) 图像合成、商品广告图像合成方法、设备及存储介质
US20210158595A1 (en) Information processing apparatus, information processing method, and information processing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant