CN103970409A - 产生增强现实内容的方法和使用所述增强现实内容的终端 - Google Patents
产生增强现实内容的方法和使用所述增强现实内容的终端 Download PDFInfo
- Publication number
- CN103970409A CN103970409A CN201410041446.9A CN201410041446A CN103970409A CN 103970409 A CN103970409 A CN 103970409A CN 201410041446 A CN201410041446 A CN 201410041446A CN 103970409 A CN103970409 A CN 103970409A
- Authority
- CN
- China
- Prior art keywords
- data
- book
- preview image
- augmented reality
- response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04B—TRANSMISSION
- H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
- H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
- H04B1/40—Circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Abstract
提供了一种产生增强现实内容的方法和使用所述增强现实内容的终端。用于产生增强现实内容的方法包括:接收用于基于电子书内容来产生增强现实内容的增强现实模式执行请求;响应于所述请求来激活相机以提供预览图像;将电子书的书数据加载到预览图像上;检测在增强现实模式下发生的事件;检索被预先映射到所述事件的反应数据;将所述反应数据加载到预览图像上。
Description
技术领域
本发明总体上涉及增强现实,并且具体地讲,涉及一种用于产生增强现实内容的方法和使用所述内容的终端,所述方法能够通过加载经由反映用户的运动、其他传感器值和通过解析电子书而获取的数据构造真实环境的预览图像,来提高用户参与和沉浸水平。
背景技术
数字技术的进步已经见证了能够通信和处理信息的各种类型的移动装置(诸如移动通信终端、个人数字助理(PDA)、电子记事本、智能电话和平板个人计算机(PC))的扩散。这种移动终端以用于诸如通讯、召开会议、组织、图片拍摄、日程安排、游戏、阅读和视频的任务的各种已知的应用为特色。
电子书是在文本和/图片中包含信息的已出版的实体书的数字版本。相比于平装书,电子书价格低廉,并可被部分购买。
电子书还能够存储在便携式装置中,从而让用户在做其他事情(诸如听音乐)时灵活地阅读电子书。
从出版商的角度看,电子书在以下方面有利:不涉及装订、分销和存储成本最低、电子书的内容可被容易更新。
最近,增强现实正在用数字动画丰富电子书,以使用户使用智能装置享受实体书的现实。
增强现实的书是新概念电子书。当启用增强现实的电子装置接近实体书时,增强现实动画被播放。也就是说,增强现实的书是用以3维(3D)图形和视频实现的补充信息增强书的内容的新技术。
由于各种2维(2D)和3D图形和多媒体内容被添加到电子书的页面,因此电子书的内容丰富并变得更生动。
虽然具有3D图形的电子书是已知的,但是缺乏用于允许用户的参与和与电子书的交互以及用于满足各种用户需求的技术。
也就是说,由于一个装置不能反映每个用户的行为和环境变化,因此在本领域中需要手动操作,诸如触摸手势。
发明内容
本发明提供一种用于增强现实内容产生的方法和使用所述增强现实内容的移动终端,所述方法能够通过将经由预览图像获取的用户的运动或基于通过各种传感器获取的传感器而提取的反应数据以及通过解析电子书而获取的默认数据加载到预览图像上,来提高用户的参与水平和沉浸水平。
根据本发明的一方面,增强现实内容产生方法包括:接收用于基于电子书内容来产生增强现实内容的增强现实模式执行请求;响应于所述请求来激活相机以提供预览图像;将电子书的书数据加载到预览图像上;检测在增强现实模式下发生的事件;检索被预先映射到所述事件的反应数据;将所述反应数据加载到预览图像上。
根据本发明的另一方面,被构造为产生增强现实内容的移动终端包括:显示单元,被构造为在增强现实模式下显示从电子书的执行屏幕转换的预览图像,并呈现电子书的书数据和根据事件而检索到的反应数据;存储单元,被构造为存储书数据、反应数据和书数据和反应数据被加载的预览图像;控制单元,被构造为激活相机以获取预览图像,获得在增强现实模式下用户的运动或传感器值,基于用户的运动或传感器值检索反应数据,并加载书数据和反应数据以产生增强现实内容。
附图说明
当结合附图进行描述时,通过以下详细描述,本发明的以上和其他方面、特征和优点将会更加明显,其中:
图1示出根据本发明的实施例的移动终端的构造;
图2示出根据本发明的实施例的增强现实(AR)识别跟踪引擎模块的构造;
图3示出根据本发明的实施例的移动终端的AR内容产生方法;
图4示出根据本发明的实施例的用于解释AR内容产生方法的屏幕显示;
图5示出根据本发明的实施例的用于解释在AR内容产生方法中加载AR内容的过程的屏幕显示。
具体实施方式
参照附图详细描述本发明的实施例。相同的参考标号被用于在整个附图中始终指示相同或相似部件。为了清楚和简明,可省略在本领域中已知的结构或处理的详细描述。
根据本发明的实施例的移动终端的构造及其控制方法不限于以下描述。在不脱离本发明的范围的情况下,可做出各种修改。以硬件方式来进行以下描述。然而,本发明包括使用硬件和软件两者的技术。
在本发明的实施例中,移动终端可以是任意一种公知的信息通信和多媒体装置,包括平板PC、移动通信终端、移动电话、个人数字助理(PDA)、智能电话、国际移动通信2000(IMT-2000)终端、码分多址(CDMA)终端、宽带码分多址(WCDMA)终端、全球移动通信系统(GSM)终端、通用分组无线业务(GPRS)终端、增强数据GSM环境(EDGE)终端、通用移动通信业务(UMTS)终端、数字广播终端和异步传输模式(ATM)终端。
图1示出根据本发明的实施例的移动终端的构造。
如图1所示,移动终端100包括无线电通信单元105、控制单元200、存储单元120、触摸屏130、传感器单元140、音频处理单元160、按键输入单元150、触控笔180和相机单元190。
无线电通信单元105负责与基站或其他装置进行无线电通信。无线电通信单元105可以是射频(RF)通信单元,射频(RF)通信单元包括用于对发送信号进行上变频和放大的发送器(未示出)和用于对接收到的信号进行低噪声放大和下变频的接收器(未示出)。无线电通信单元105包括调制器(未示出)和解调器(未示出)。调制器对发送信号进行调制并将调制后的信号输出到发送器,解调器对由接收器接收到的信号进行解调。调制器/解调器可以是长期演进(LTE)、宽带码分多址(WCDMA)、全球移动通信系统(GSM)、Wi-Fi和WIBRO。无线电通信单元105能够连接到公共无线电通信网络和/或互联网,以执行与另一终端的无线电通信。无线电通信单元105可被设置有用于与LTE演进节点B(eNB)进行通信的LTE通信模块以及Wi-Fi通信模块。
存储单元120是控制单元200的存储装置。存储单元120可以是硬盘、随机存取存储器(RAM)、只读存储器(ROM)或闪存。存储单元120可存储在移动终端100的内部产生的数据以及通过无线电通信单元105或外部装置连接接口(未示出)从外部装置(例如,服务器、桌上型PC和平板PC)接收到的数据。
存储单元120存储启动程序和用于管理移动终端100的操作系统(OS)。
存储单元120存储嵌入式应用和第三方应用。嵌入式应用被安装在移动终端中,并包括例如web浏览器、电子邮件应用和即时消息应用。第三方应用包括能够从网上市场下载并安装在移动终端100中的多种多样的应用。第三方应用可被容易地安装和控制。当移动终端100通电时,启动程序被加载到控制单元200的主存储装置(例如,RAM)上。启动程序将OS加载到主存储装置上以操作移动终端100。OS将应用加载到主存储装置上。
触摸屏130包括触摸面板132和显示面板134。触摸面板132可以以附加型被放置在显示面板134的表面上,或者可以以on-cell型或in-cell型被插入到显示面板134中。
触摸面板132响应于在其上做出的用户的手势来产生模拟信号(例如,触摸事件),并将模拟信号转换为被发送到控制单元200的数字信号。
控制单元200基于来自触摸面板132的信号来检测用户手势。控制单元200响应于可被分类为触摸和触摸手势的用户手势来控制组件。
触摸手势包括“轻击”、“拖动”和“轻弹”。也就是说,触摸指示在触摸屏上接触的状态,触摸手势指示触摸状态的任何改变。
触摸面板132可以是包括用于检测手部手势的手触摸面板和用于检测笔手势的笔触摸面板的集成触摸面板。手部触摸面板被实现为电容型。手触摸面板可被实现为电阻型、红外型或微波型。
手触摸面板能够检测由物体(例如,能够影响电容量的导电材料物体)做出的触摸事件以及由用户的手部手势做出的触摸事件。笔触摸面板可被实现为电磁感应型。在此情况下,笔触摸面板检测由被制造来形成磁场的触控笔180做出的触摸事件。
在控制单元200的控制下,显示面板134将从控制单元200输入的视频数据转换为用于显示的模拟信号。显示面板134显示各种屏幕,诸如锁定、主页、环境配置和应用(App)执行屏幕和键区。
如果检测到用于屏幕解锁的用户手势,则控制单元200可将锁屏改变为主页屏幕或app执行屏幕。
主页屏幕可包括多个页面。用户可选择所述页面中的一个,以便选择的页面被呈现。所述页面包括至少一个应用执行屏幕(可选地,执行图像和执行视图)。所述页面包括表示应用的至少一个图标(例如,环境设置、浏览器、电话和消息)。
所述页面还包括至少一个应用执行屏幕(可选地,执行图像、执行视图)、至少一个图标和空页面。如果用户选择了(例如,触摸了)图标,则控制单元200执行相应应用,并控制显示面板134显示执行屏幕。
显示面板134在背景上显示以上屏幕中的一个(主页屏幕页面)并在前景上显示另一个(例如,键区),使得主屏幕页面和键区重叠。显示面板134还可在控制单元200的控制下显示多个屏幕而彼此不重叠。例如,显示面板134可在第一屏幕区域上显示多个屏幕中的一个并在第二屏幕区域上显示另一个。
可用液晶显示器(LCD)、有机发光二极管(OLED)和有源矩阵OLED(AMOLED)中的一个来实现显示面板134。
在本文中的实施例中,显示面板134可显示电子书中的至少一个页面、在AR模式下执行的预览图像、被加载到预览图像上的电子书的默认数据以及用户的运动,其中,通过预览图像或者基于预览图像上的由传感器单元140检测到的传感器值而提取的反应数据检测到所述用户的运动。
音频处理单元160与扬声器(SPK)和麦克风(MIC)连接,以执行语音识别、语音记录、数字记录和用于电话功能的音频信号输入/输出。
音频处理单元从控制单元200接收数字音频信号,将数字音频信号转换为模拟音频信号,对模拟音频信号进行放大,并通过SPK输出音频信号。音频处理单元160将通过MIC输入的模拟音频信号转换为数字音频信号,并将数字音频信号输出到控制单元200。
扬声器转换从音频处理单元160接收到的音频信号,以按可听声波的形式输出音频信号。MIC将来自其他声源的语音和声波转换为音频信号。在处于AR模式下,扬声器可输出从电子书的文本数据转换的语音数据。
传感器单元140可包括例如速度传感器、加速度传感器、高度传感器、温度传感器、陀螺仪传感器和罗盘传感器。传感器单元140检测物理量(诸如速度、加速度、高度、温度、陀螺仪和罗盘)的改变,并能够在AR模式下检测外部环境的改变的变化,使用检测到的变化来产生传感器值,并将传感器值发送到控制单元200。
键输入单元150包括用于接收字母数字信息输入的多个键(按钮)和用于构造和执行各种功能的功能键。这些功能键包括例如菜单键、屏幕开/关键、电源开/关键和音量控制键。
键输入单元150将与移动终端100的用户配置和功能控制相关联的键信号产生给控制单元200。
键信号包括例如电源开/关信号、音量控制信号和屏幕开/关信号。控制单元200响应于这种键信号来控制组件。键输入单元150的键(按钮)被称为硬键,而呈现在触摸屏130上的键(按钮)被称为软键。
控制单元200控制移动终端100的全部操作以及在终端100的内部组件中的信号流,处理数据,并控制电池向组件的电力供应。控制单元200包括用于存储应用和操作系统(OS)的主存储装置、用于临时存储将被写入存储单元120的数据和从存储单元120读取的数据的高速缓冲存储器、中央处理单元(CPU)和图形处理单元(GPU)。OS提供硬件和程序之间的接口,并管理计算资源(诸如CPU、图形处理单元(GPU)、主存储装置和辅助存储装置)。
也就是说,OS操作移动终端100,调度任务并控制CPU和GPU操作。OS负责控制应用程序的执行并管理数据和文件。
如本领域中公知的,CPU是计算机系统的用于执行数据运算和比较并解释和执行命令的核心控制单元。GPU是用于代替CPU对图形数据执行运算和比较并解释和执行与图形数据相关的命令的图形控制单元。CPU和GPU中的每个都可被制造为两个或更多个独立核(例如,四核)的封装件。CPU和GPU可集成为片上系统(SoC)。CPU和GPU也可以是多层封装件。CPU和GPU的结构可被称为应用处理器(AP)。
在本发明的实施例中,控制单元200包括管理器模块210、电子书内容获取模块114、AR识别跟踪引擎模块230和数据加载模块118。
管理器模块210监视以检测当电子书的页面被显示在显示面板134上时或当电子书被执行时的用户的AR模式执行请求。在检测到AR模式执行请求时,管理器模块210执行与AR模式执行请求相关的至少一个模块。
当检测到用户的AR模式执行请求时,管理器模块210执行电子书数据获取模块220、AR识别跟踪引擎模块230、数据加载模块240和相机单元190。用户可使用在触摸屏130上以文本“AR”的形式呈现的软键、硬键或手势来输入AR模式执行请求。
电子书数据获取模块220由管理器模块210激活,并解析已经执行或正在执行的电子书中的至少一个页面。通过电子书解析,至少一种预先存储的书数据被映射到相应页面,并且提取的数据被显示在显示面板134上。
所述书数据包括与相应的电子书库相关联的文本数据、图像数据、2D图形数据、3D图形数据、视频数据、音频数据和振动数据中的至少一种。
如图2中所示,AR识别跟踪引擎模块230包括预览图像获取器232、默认数据提取器234、特定事件检测器236和反应数据提取器238。
预览图像获取器232将来自相机单元190的预览图像输出到显示面板134。预览图像通过相机单元190的图像传感器被得到并被显示在显示面板134上。
默认数据提取器234从由电子书数据获取模块220获取的数据中提取将在AR模式下输出到预览图像上的数据。
例如,由于AR模式将当前的实际用户环境的预览图像用为背景,因此除了默认的背景图像之外,在电子书的图像数据中仅可提取特征图像。
默认数据提取器234能够一起提取音频数据和预览图像。随着电子书的执行而显示的文本数据可在AR模式下被转换为语音(文本到语音)。
上述默认数据是示例,并且可根据用户的配置或电子书设计者的配置用各种数据来替代。
特定事件检测器236检测在通过在AR模式下执行的相机单元190获取的预览图像中的用户的运动。用户的运动表示通过相机单元190检测到的物体或用户的移动,或者特定事件检测器236能够检测到的用户或对象的位置、角度和方向中的改变。例如,没有运动的周围环境图像不被检测为用户的运动。
特定事件检测器236能够将在相同坐标区域处发生的用户的运动检测为预览图像中的默认数据。
特定事件检测器236接收通过传感器单元140的各种传感器(诸如加速度传感器、重力传感器、罗盘传感器、陀螺仪传感器、温度传感器和运动识别传感器)获取的传感器值中的至少一个。运动识别传感器检测物体的运动或位置,并且可被实现为与例如电磁传感器、加速度传感器、高度计或陀螺仪传感器封装在一个芯片中的集成传感器。
在实施例中,如果用户按与水平线的角度倾斜了移动终端,则传感器单元140检测斜率,并将与所述斜率相应的传感器值产生给特定事件检测器236。
在另一实施例中,如果用户对MIC吹气,则传感器单元140检测到用户的呼吸,并将传感器值产生给特定事件检测器236。
反应数据提取器238可从元数据表提取映射到用户运动和/或由特定事件检测器236提供的传感器值的反应数据。
元数据表可存储根据与默认数据的坐标区域相应地产生的特定事件而被输出到预览图像的反应数据。反应数据是根据特定事件加载到预览图像上的新数据,并且可以是从预览图像上的默认数据改变的数据或者替换预览图像上的默认数据的数据。
元数据表还可包括被预定根据在除了相同坐标区域以外的坐标区域处产生的特定事件被加载到预览图像上的作为默认数据的反应数据。反应数据可被加载到相同坐标区域上作为默认数据,或者被加载为其他坐标区域上。
数据加载模块240将反应数据加载到输出默认数据的预览图像上以便被显示在显示面板134上。数据加载模块240可加载响应于特定事件而从默认数据改变的反应数据,或可加载用于替换预览图像上的默认数据的反应数据。
虽然难以列举可融合的所有的功能组件,但是移动终端100还可包括全球定位系统(GPS)模块、近场通信(NFC)模块和振动电机。GPS模块可用来定位移动终端漫游的区域。振动电机可用来向用户告警特定情况的开始和结束。移动终端100可被实现为具有或不具有上述和其他组件中的任意一种。
图3示出根据本发明的实施例的移动终端的AR内容产生方法。
在步骤301,控制单元200响应于用户请求来执行电子书功能,并显示由用户选择的原始数据。控制单元200可在移动终端100的显示面板134上显示电子书中的至少一个页面。
控制单元200监视以检测用户请求,并且如果检测到用户请求,则在步骤303确定用户请求是否是AR模式请求。如上所述,在AR模式下,与电子书相关的默认数据被加载到真实环境的预览图像上,并且反应数据响应于特定事件的发生被加载到具有默认数据的预览图像上,以便产生AR内容。用户可使用移动终端的按钮或基于触摸的输入界面来输入AR模式请求。
如果用户请求不是AR模式请求,则在步骤305控制单元200执行与用户请求相应的功能。例如,控制单元200可响应于用户请求显示电子书执行屏幕并结束电子书。
如果用户请求是AR模式请求,则在步骤307控制单元200执行相机单元190并从电子书提取默认数据。
在AR模式下控制单元200提取作为默认数据将被显示在显示面板134上的数据,其中,所述默认数据为预先映射到电子书的文本、图像、2D图形、3D图形、视频、音频和振动数据中的至少一种。
当AR模式将当前的真实用户环境的预览图像用作背景时,除了在AR模式下的电子书的基本背景屏幕图像以外,控制单元200能够提取上述数据中的至少一种。电子书的文本数据可被转换为音频数据(文本到语音)。
默认数据可由电子书设计者预先存储。
在步骤309,控制单元200将默认数据加载到预览图像上。控制单元200可通过预览图像识别真实环境中的物体、背景和人,检测构成真实环境的组件的坐标,并基于所述检测结果来配置参考坐标平面以输出默认数据和反应数据。也就是说,控制单元200可基于配置的参考坐标平面将默认数据加载到预览图像上。
在步骤311,控制单元200确定特定事件是否发生。例如,控制单元200可将两个事件检测为特定事件。
所述事件之一可以是通过预览图像检测到的用户的运动。用户的运动表示通过相机单元190检测到的用户或物体的移动,或者控制单元200能够检测的用户或物体的位置、角度和方向的改变。例如,不具有运动的周围环境图像不被检测为用户的运动。
控制单元200可通过预览图像检测在与默认数据相应的坐标区域上发生的用户的运动。
另一事件可由传感器单元140检测。例如,由上述传感器中的至少一个检测的在移动终端中发生的改变可被视为特定事件。
如果没有检测到特定事件,则控制单元220返回步骤309以继续将默认数据加载到预览图像上。
如果特定事件被检测到,则在步骤313,控制单元200响应于检测到特定事件来提取反应数据。控制单元200可检索被预先映射到用户运动和/或从特定事件提取的传感器值的反应数据。反应数据可被存储为被映射到相应的用户运动和传感器值。
例如,可以以输出形式从默认数据来改变反应数据,或者反应数据可替换默认数据,以在预览图像上示出默认数据的改变。除默认数据之外,反应数据还可被重新加载到预览图像上。
反应数据可在相同坐标区域被加载为默认数据,或者在与默认数据相邻的预定坐标区域被加载到预览图像上。
反应数据可由电子书设计者或移动终端设计者来构造并被存储在元数据表中。
控制单元200可将反应数据加载到示出默认数据的预览图像上。也就是说,控制单元200将反应数据与默认数据一起加载到预览图像上以显示具有默认数据的预览图像,并且反应数据被显示在显示面板134上。
通过将响应于特定事件所提取的反应数据加载到已经加载了电子书的默认数据的预览图像上而产生的数据被称为AR内容。
在步骤317,控制单元200确定AR模式终止请求是否被检测到,并且如果AR模式终止请求被检测到,则在步骤319控制单元200结束AR模式。控制单元200可停用相机190,并将在先前步骤中所产生的AR内容存储在存储单元120中。如果在步骤317没有检测到AR模式终止请求,则所述方法进行到步骤318以执行相应功能。
AR内容由加载到在用户执行AR模式时的真实环境图像的预览图像上的电子书的默认数据和反应数据构成。因此,与传统的电子书相比,AR内容在允许其他用户的参与方面是全新的,并且是逼真的。
如以上所描述的,本发明的AR内容产生系统和方法能够将真实环境的预览图像以及根据通过移动终端的各种传感器获得的传感器值而检索的反应数据和通过解析电子书而获得的数据一起输出,以便为用户提供更生动和更逼真的电子书AR内容。
本发明的AR内容产生系统和方法响应于通过预览图像检测到的用户的运动来提取反应数据,并将所述反应数据加载到真实环境的预览图像上,以便实现用户参与和动态AR内容,从而提高用户在电子书中的沉浸感。
图4示出根据本发明的实施例的用于解释AR内容产生方法的屏幕显示。
如图4中所示,执行屏幕示出在移动终端中执行的电子书的原始数据(如显示器401中所示)。
执行屏幕示出电子书的页面之一。详细地讲,电子书页面示出了刷牙动作,所述电子书页面包括口腔环境图像410和特定文本数据435。口腔环境图像410包括细菌人物图像420。
呈现出电子书的原始数据的执行屏幕可提供用于将模式切换到AR模式的软键“AR”,如图4的410中所示。如果用户使用AR键请求执行AR模式,则控制单元200将模式切换到具有如图4的显示器402中所示的AR模式执行屏幕的AR模式。
显示器402中所示的AR模式执行屏幕将通过相机单元415输入的用户的实际客厅图像430显示为预览图像。
在AR模式下,控制单元200可检查通过相机415输入的预览图像上的坐标,并识别物体、人和背景。假设儿童、客厅地板、书架、沙发和玩具被区别地检测出。
在电子书的多个数据中,细菌人物图像数据420可被显示在如图4的显示器402中所示的执行屏幕上,并且电子书的文本数据“请战胜细菌”可被转换为将通过SPK被输出的语音数据。
细菌人物图像420可以是预先构造为在显示器401的执行屏幕期间当模式被切换到AR模式时被加载到预览图像上的默认数据。可将细菌人物图像420构造为被呈现于在预览图像中被检测到的人的坐标区域。
通过相机415输入的预览图像也可根据在AR模式下的移动终端的位置的改变而改变。这表示预览图像是被实时拍摄的环境的实时图像。
虽然预览图像改变,但是控制单元200可用预览图像上的坐标来区分人、物体和背景,并且默认数据可根据检测到的坐标被显示在新的坐标区域。
例如,如果在客厅被拍摄为如显示器402中所示的预览的状态下移动终端移动到卧室,则卧室图像450被显示在如图4的显示器403中所示的执行屏幕上。细菌图像420可被加载在人的特定坐标区域。
如果在人的特定坐标区域440检测到刷牙运动445,则控制单元200可将被预先映射到刷牙运动445的新的反应数据460加载到预览图像上。新的人物460可以是具有预定逃走动作的细菌人物图像460。图4的显示器403中的刷牙运动是用户的运动。
图5示出根据本发明的实施例的用于解释在AR内容产生方法中加载AR内容的过程的屏幕显示。
如图5中所示,显示器501的执行屏幕显示由移动终端执行的电子书的原始数据。例如,显示器501的执行屏幕包括作为背景的天空图像510、蒲公英图像520和作为电子数据的一部分的文本数据525。
如显示器501中所示的显示电子书的原始数据的执行屏幕可提供能够切换到AR模式的标志“AR”511。如果用户选择标志511,则电子书的模式被切换到如显示器502的执行屏幕中所示的AR模式。
如显示器502中所示的AR模式执行屏幕示出了通过相机415被生动地输入为预览图像530的用户的房间的图像。
控制单元200检查被识别为平面的区域的坐标,并将蒲公英图像520作为默认数据加载到平面坐标区域上。这种执行也可由控制单元200预先配置。
执行屏幕503示出了蒲公英图像520被加载到桌子的坐标区域540上的预览图像,其中,控制单元220将桌子的坐标区域540部分地识别为平面。
当蒲公英图像520被加载时,文本数据“温暖的春风轻轻地在阳光下的田地上吹过”被转换为将通过SPK输出的语音数据。
如果用户对着移动终端的吹气传感器526吹气,则吹气传感器526将与吹的气相应的传感器值产生给控制单元200,使得控制单元200基于传感器值检索反应数据550,并将反应数据550加载到预览图像上,如显示器503的执行屏幕中所示。
例如,控制单元200检索花瓣在风中旋转的图像数据550,并将所述图像数据加载到蒲公英图像520的坐标区域周围和/或加载到蒲公英图像520的相同坐标区域上,其中,图像数据550被预先映射到来自映射表的传感器值。
如上所述,本发明的AR内容产生方法和移动终端能够显示真实环境的预览图像连同根据通过移动终端的各种传感器获取的传感器值而检索到的反应数据,以及通过解析电子书而获取的数据,从而提供更生动的电子书内容和更逼真的AR内容。
此外,根据本发明的AR内容产生方法和移动终端能够响应于通过预览图像检索到的用户的运动来检索反应数据,并将所述反应数据加载到真实环境的预览图像上,从而实现用户参与和动态AR内容,并提高电子书阅读者的沉浸水平。
以上描述的根据本发明的实施例的移动终端的AR内容产生方法和设备可以以计算机可执行程序命令的形式来实现,并被存储在计算机可读存储介质中。计算机可读存储介质可以以单独形式或组合形式来存储程序命令、数据文件和数据结构。记录在存储介质中的程序命令可被设计并被实现用于本发明的各种实施例,或可被计算机软件领域的技术人员使用。计算机可读存储介质包括磁介质(诸如软盘和磁带)、包括高密度盘(CD)ROM和数字视频盘(DVD)ROM的光学介质、磁光介质(诸如光磁盘)和被设计用于存储和执行程序命令的硬件装置(诸如ROM、RAM和闪存)。程序命令包括可由计算机使用解释器来执行的语言代码以及由编译器创建的机器语言代码。可使用用于执行本发明的各种实施例的一个或更多个软件模块来实现上述硬件装置。
虽然已经使用特定术语描述了本发明的优选实施例,但是说明书和附图将被认为是说明性的而不是限制性的,以帮助理解本发明。可在不脱离由权利要求限定的本发明的精神和范围的情况下,在本文中做出形式和细节上的各种改变。
Claims (15)
1.一种增强现实内容产生方法,包括:
接收用于基于电子书内容来产生增强现实内容的增强现实模式执行请求;
响应于所述请求执行相机,并提供预览图像;
将电子书的书数据加载到预览图像上;
检测在增强现实模式下发生的事件;
提取被预先映射到所述事件的反应数据;
将提取的反应数据加载到预览图像上。
2.如权利要求1所述的方法,还包括:在增强现实模式下从电子书的书数据中提取将被呈现在预览图像上的默认数据。
3.如权利要求1所述的方法,还包括:
存储被加载了反应数据和书数据的预览图像;
识别被提供为预览图像的真实环境的物体、人和背景;
确定在预览图像上的物体、人和背景的坐标,
其中,在与书数据相同的坐标区域处或在与书数据相邻的另一坐标区域处加载反应数据,
其中,书数据被加载到通过对预览图像的坐标检测而被识别为平面的参考坐标的区域上。
4.如权利要求1所述的方法,其中,检测所述事件的步骤包括以下步骤中的至少一个:
检测预览图像中的用户的运动;
检测通过移动终端的传感器单元获得的传感器值。
5.如权利要求4所述的方法,其中,传感器单元包括加速度传感器、重力传感器、罗盘传感器、陀螺仪传感器、温度传感器和运动传感器中的至少一个,
其中,反应数据包括从预览图像上的默认数据改变的数据或者替换预览图像上的默认数据的数据。
6.如权利要求4所述的方法,还包括:将被映射到用户的运动和传感器值的反应数据存储在映射表中。
7.如权利要求1所述的方法,其中,除了基本的背景图像数据以外,电子书的书数据包括人物图像数据、音频数据、振动数据、视频数据、2维(2D)图形数据和3D图形数据中的至少一个。
8.如权利要求1所述的方法,其中,加载电子书的书数据的步骤包括:
将电子书的文本数据转换为语音数据;
输出所述语音数据。
9.一种被构造为产生增强现实内容的移动终端,所述终端包括:
显示单元,被构造为在增强现实模式下显示从电子书的执行屏幕转换的预览图像,并呈现电子书的书数据和根据事件检索的反应数据;
存储单元,被构造为存储书数据、反应数据以及书数据和预览图像被加载的预览图像;
控制单元,被构造为激活相机以获取预览图像,获得在增强现实模式下的用户的运动或传感器值,基于用户的运动或传感器值来检索反应数据,并加载书数据和反应数据以产生增强现实内容。
10.如权利要求9所述的终端,其中,控制单元包括:
电子书数据获取模块,解析电子书中的至少一个页面以提取书数据,并将书数据发送到显示单元;
预览图像获取器,从相机获取预览图像;
默认数据提取器,在增强现实模式下从书数据提取默认数据以输出到预览图像上;
特定事件检测器,在增强现实模式下检测用户的运动或获取传感器值;
反应数据提取器,提取被预先映射到用户的运动或传感器值的反应数据;
管理器模块,响应于增强现实模式执行请求来激活预览图像获取器、默认数据提取器、特定事件检测器和反应数据提取器。
11.如权利要求9所述的终端,其中,控制单元识别被提供为预览图像的真实环境的物体、人和背景,并确定在预览图像上的物体、人和背景的坐标,其中,书数据被加载到通过对预览图像的坐标检测而被识别为平面的参考坐标的区域上。
12.如权利要求11所述的终端,其中,在与书数据相同的坐标区域处或在与书数据相邻的另一坐标区域处加载反应数据。
13.如权利要求9所述的终端,其中,控制单元将被映射到用户的运动和传感器值的反应数据存储在映射表中,将电子书的文本数据转换为语音数据,并输出所述语音数据。
14.如权利要求9所述的终端,其中,反应数据包括从预览图像上的默认数据改变的数据或者替换预览图像上的默认数据的数据。
15.如权利要求9所述的终端,其中,除了基本的背景图像数据以外,电子书的书数据包括人物图像数据、音频数据、振动数据、视频数据、2维(2D)图形数据和3D图形数据中的至少一个。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130009355A KR102056175B1 (ko) | 2013-01-28 | 2013-01-28 | 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치 |
KR10-2013-0009355 | 2013-01-28 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103970409A true CN103970409A (zh) | 2014-08-06 |
CN103970409B CN103970409B (zh) | 2019-04-26 |
Family
ID=50115677
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410041446.9A Expired - Fee Related CN103970409B (zh) | 2013-01-28 | 2014-01-28 | 产生增强现实内容的方法和使用所述增强现实内容的终端 |
Country Status (4)
Country | Link |
---|---|
US (1) | US10386918B2 (zh) |
EP (1) | EP2759909B1 (zh) |
KR (1) | KR102056175B1 (zh) |
CN (1) | CN103970409B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105608934A (zh) * | 2015-12-21 | 2016-05-25 | 大连新锐天地传媒有限公司 | Ar儿童故事早教舞台剧系统 |
CN106227481A (zh) * | 2016-07-22 | 2016-12-14 | 北京奇虎科技有限公司 | 阅读文章时显示ar影像的方法和终端 |
CN106406542A (zh) * | 2016-11-04 | 2017-02-15 | 杭州阿优智能科技有限公司 | 一种增强现实内容的产生方法、系统以及设备 |
CN107422946A (zh) * | 2017-07-21 | 2017-12-01 | 广州阿里巴巴文学信息技术有限公司 | 电子书显示方法、装置及终端设备 |
CN107852488A (zh) * | 2015-05-22 | 2018-03-27 | 三星电子株式会社 | 用于通过hmd设备显示虚拟图像的系统和方法 |
CN108027694A (zh) * | 2015-09-04 | 2018-05-11 | 史克威尔·艾尼克斯有限公司 | 程序、记录介质、内容提供装置以及控制方法 |
CN108230428A (zh) * | 2017-12-29 | 2018-06-29 | 掌阅科技股份有限公司 | 基于增强现实的电子书呈现方法、电子设备及存储介质 |
CN108984075A (zh) * | 2017-05-31 | 2018-12-11 | 华为技术有限公司 | 显示模式切换方法、装置及终端 |
US10169921B2 (en) | 2016-08-03 | 2019-01-01 | Wipro Limited | Systems and methods for augmented reality aware contents |
CN110688003A (zh) * | 2019-09-09 | 2020-01-14 | 华南师范大学 | 基于增强现实的电子绘本系统、显示方法、装置和介质 |
CN111344775A (zh) * | 2017-10-06 | 2020-06-26 | S·拉德 | 增强现实系统和套件 |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9761059B2 (en) | 2014-01-03 | 2017-09-12 | Intel Corporation | Dynamic augmentation of a physical scene |
KR102223308B1 (ko) * | 2014-05-29 | 2021-03-08 | 삼성전자 주식회사 | 영상처리 방법 및 이를 구현한 전자 장치 |
US10270985B2 (en) * | 2014-09-03 | 2019-04-23 | Intel Corporation | Augmentation of textual content with a digital scene |
KR102252448B1 (ko) | 2014-09-12 | 2021-05-14 | 삼성전자주식회사 | 제어 방법 및 그 방법을 처리하는 전자장치 |
US11205075B2 (en) * | 2018-01-10 | 2021-12-21 | Quantum Interface, Llc | Interfaces, systems and apparatuses for constructing 3D AR environment overlays, and methods for making and using same |
KR20160045441A (ko) * | 2014-10-17 | 2016-04-27 | 삼성전자주식회사 | 동영상 재생 방법 및 장치 |
US9754419B2 (en) | 2014-11-16 | 2017-09-05 | Eonite Perception Inc. | Systems and methods for augmented reality preparation, processing, and application |
US10055892B2 (en) | 2014-11-16 | 2018-08-21 | Eonite Perception Inc. | Active region determination for head mounted displays |
US9916002B2 (en) | 2014-11-16 | 2018-03-13 | Eonite Perception Inc. | Social applications for augmented reality technologies |
KR20160062770A (ko) * | 2014-11-25 | 2016-06-03 | 전자부품연구원 | 증강현실 컨텐츠 매시업 서비스 방법 및 이를 적용한 모바일 장치 |
US10067775B2 (en) * | 2015-02-19 | 2018-09-04 | Disney Enterprises, Inc. | Guided authoring of interactive content |
KR20160123622A (ko) * | 2015-04-16 | 2016-10-26 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어방법 |
CA2984147C (en) | 2015-05-14 | 2022-02-08 | Magic Leap, Inc. | Privacy-sensitive consumer cameras coupled to augmented reality systems |
CN105912129A (zh) * | 2016-04-29 | 2016-08-31 | 乐视控股(北京)有限公司 | 室温控制方法、设备及系统 |
US10748339B2 (en) | 2016-06-03 | 2020-08-18 | A Big Chunk Of Mud Llc | System and method for implementing computer-simulated reality interactions between users and publications |
US11017712B2 (en) | 2016-08-12 | 2021-05-25 | Intel Corporation | Optimized display image rendering |
US9928660B1 (en) | 2016-09-12 | 2018-03-27 | Intel Corporation | Hybrid rendering for a wearable display attached to a tethered computer |
KR20180047973A (ko) | 2016-11-02 | 2018-05-10 | 엘지전자 주식회사 | 단말기 및 그 제어 방법 |
US10332292B1 (en) * | 2017-01-17 | 2019-06-25 | Zoox, Inc. | Vision augmentation for supplementing a person's view |
CA3057564C (en) | 2017-03-22 | 2023-10-31 | A Big Chunk Of Mud Llc | Convertible satchel with integrated head-mounted display |
CN108984076A (zh) * | 2017-06-01 | 2018-12-11 | 中兴通讯股份有限公司 | 一种显示方法及装置 |
US10430016B2 (en) * | 2017-12-22 | 2019-10-01 | Snap Inc. | Augmented reality user interface control |
US10872471B1 (en) * | 2018-09-14 | 2020-12-22 | Bryan Stamp | Augmented reality story-telling system |
CN109712013A (zh) * | 2018-11-16 | 2019-05-03 | 北京达佳互联信息技术有限公司 | 页面交互方法和装置 |
KR102240351B1 (ko) * | 2019-03-07 | 2021-04-14 | 주식회사 엘지유플러스 | 증강 현실 콘텐츠 표시를 위한 장치 및 그 제어방법 |
US11699353B2 (en) | 2019-07-10 | 2023-07-11 | Tomestic Fund L.L.C. | System and method of enhancement of physical, audio, and electronic media |
WO2022154847A1 (en) | 2021-01-12 | 2022-07-21 | Emed Labs, Llc | Health testing and diagnostics platform |
US11615888B2 (en) | 2021-03-23 | 2023-03-28 | Emed Labs, Llc | Remote diagnostic testing and treatment |
US11929168B2 (en) | 2021-05-24 | 2024-03-12 | Emed Labs, Llc | Systems, devices, and methods for diagnostic aid kit apparatus |
US11369454B1 (en) | 2021-05-24 | 2022-06-28 | Emed Labs, Llc | Systems, devices, and methods for diagnostic aid kit apparatus |
GB2623461A (en) | 2021-06-22 | 2024-04-17 | Emed Labs Llc | Systems, methods, and devices for non-human readable diagnostic tests |
CN115942022A (zh) * | 2021-08-27 | 2023-04-07 | 中移(苏州)软件技术有限公司 | 信息预览方法、相关设备及存储介质 |
US11861801B2 (en) * | 2021-12-30 | 2024-01-02 | Snap Inc. | Enhanced reading with AR glasses |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007111148A (ja) * | 2005-10-19 | 2007-05-10 | Pentax Corp | 内視鏡用高周波切開具 |
US20100141784A1 (en) * | 2008-12-05 | 2010-06-10 | Yoo Kyung-Hee | Mobile terminal and control method thereof |
US20110191710A1 (en) * | 2010-01-29 | 2011-08-04 | Samsung Electronics Co., Ltd. | E-book device and method for providing information regarding to reading detail |
US20120122570A1 (en) * | 2010-11-16 | 2012-05-17 | David Michael Baronoff | Augmented reality gaming experience |
CN102763342A (zh) * | 2009-12-21 | 2012-10-31 | 三星电子株式会社 | 根据基于图像感测模块的用户交互进行外部输出的移动装置及相关控制方法 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8358320B2 (en) * | 2007-11-02 | 2013-01-22 | National University Of Singapore | Interactive transcription system and method |
US8423730B2 (en) * | 2010-07-27 | 2013-04-16 | Qualcomm Innovation Center, Inc. | Method and apparatus for supporting diverse memory access schemes |
US9069760B2 (en) | 2010-08-24 | 2015-06-30 | Lg Electronics Inc. | Mobile terminal and controlling method thereof |
KR101660505B1 (ko) | 2011-03-08 | 2016-10-10 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
KR101495190B1 (ko) | 2011-03-25 | 2015-02-24 | 엘지전자 주식회사 | 영상표시장치 및 그 영상표시장치의 동작 방법 |
WO2012147702A1 (ja) * | 2011-04-28 | 2012-11-01 | シャープ株式会社 | ヘッドマウントディスプレイ |
JP5786463B2 (ja) | 2011-06-01 | 2015-09-30 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP5583087B2 (ja) | 2011-08-04 | 2014-09-03 | 株式会社東芝 | 画像処理装置、方法、及びプログラム |
US20140002443A1 (en) * | 2012-06-29 | 2014-01-02 | Blackboard Inc. | Augmented reality interface |
US20140020102A1 (en) * | 2012-07-16 | 2014-01-16 | Infosys Limited | Integrated network architecture |
US20140063056A1 (en) * | 2012-08-29 | 2014-03-06 | Koskar Inc. | Apparatus, system and method for virtually fitting wearable items |
US9137461B2 (en) * | 2012-11-30 | 2015-09-15 | Disney Enterprises, Inc. | Real-time camera view through drawn region for image capture |
US20140201023A1 (en) * | 2013-01-11 | 2014-07-17 | Xiaofan Tang | System and Method for Virtual Fitting and Consumer Interaction |
-
2013
- 2013-01-28 KR KR1020130009355A patent/KR102056175B1/ko active IP Right Grant
-
2014
- 2014-01-28 CN CN201410041446.9A patent/CN103970409B/zh not_active Expired - Fee Related
- 2014-01-28 US US14/166,321 patent/US10386918B2/en not_active Expired - Fee Related
- 2014-01-28 EP EP14152801.8A patent/EP2759909B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007111148A (ja) * | 2005-10-19 | 2007-05-10 | Pentax Corp | 内視鏡用高周波切開具 |
US20100141784A1 (en) * | 2008-12-05 | 2010-06-10 | Yoo Kyung-Hee | Mobile terminal and control method thereof |
CN102763342A (zh) * | 2009-12-21 | 2012-10-31 | 三星电子株式会社 | 根据基于图像感测模块的用户交互进行外部输出的移动装置及相关控制方法 |
US20110191710A1 (en) * | 2010-01-29 | 2011-08-04 | Samsung Electronics Co., Ltd. | E-book device and method for providing information regarding to reading detail |
US20120122570A1 (en) * | 2010-11-16 | 2012-05-17 | David Michael Baronoff | Augmented reality gaming experience |
Cited By (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11386600B2 (en) | 2015-05-22 | 2022-07-12 | Samsung Electronics Co., Ltd. | System and method for displaying virtual image through HMD device |
CN107852488A (zh) * | 2015-05-22 | 2018-03-27 | 三星电子株式会社 | 用于通过hmd设备显示虚拟图像的系统和方法 |
CN107852488B (zh) * | 2015-05-22 | 2021-03-30 | 三星电子株式会社 | 用于通过hmd设备显示虚拟图像的系统和方法 |
US10521941B2 (en) | 2015-05-22 | 2019-12-31 | Samsung Electronics Co., Ltd. | System and method for displaying virtual image through HMD device |
CN108027694B (zh) * | 2015-09-04 | 2021-12-28 | 史克威尔·艾尼克斯有限公司 | 记录介质、内容提供装置以及控制方法 |
CN108027694A (zh) * | 2015-09-04 | 2018-05-11 | 史克威尔·艾尼克斯有限公司 | 程序、记录介质、内容提供装置以及控制方法 |
CN105608934A (zh) * | 2015-12-21 | 2016-05-25 | 大连新锐天地传媒有限公司 | Ar儿童故事早教舞台剧系统 |
CN106227481A (zh) * | 2016-07-22 | 2016-12-14 | 北京奇虎科技有限公司 | 阅读文章时显示ar影像的方法和终端 |
US10169921B2 (en) | 2016-08-03 | 2019-01-01 | Wipro Limited | Systems and methods for augmented reality aware contents |
CN106406542A (zh) * | 2016-11-04 | 2017-02-15 | 杭州阿优智能科技有限公司 | 一种增强现实内容的产生方法、系统以及设备 |
CN108984075A (zh) * | 2017-05-31 | 2018-12-11 | 华为技术有限公司 | 显示模式切换方法、装置及终端 |
CN108984075B (zh) * | 2017-05-31 | 2021-09-07 | 华为技术有限公司 | 显示模式切换方法、装置及终端 |
CN107422946A (zh) * | 2017-07-21 | 2017-12-01 | 广州阿里巴巴文学信息技术有限公司 | 电子书显示方法、装置及终端设备 |
CN111344775A (zh) * | 2017-10-06 | 2020-06-26 | S·拉德 | 增强现实系统和套件 |
CN108230428B (zh) * | 2017-12-29 | 2019-02-01 | 掌阅科技股份有限公司 | 基于增强现实的电子书呈现方法、电子设备及存储介质 |
CN108230428A (zh) * | 2017-12-29 | 2018-06-29 | 掌阅科技股份有限公司 | 基于增强现实的电子书呈现方法、电子设备及存储介质 |
CN110688003A (zh) * | 2019-09-09 | 2020-01-14 | 华南师范大学 | 基于增强现实的电子绘本系统、显示方法、装置和介质 |
Also Published As
Publication number | Publication date |
---|---|
KR102056175B1 (ko) | 2020-01-23 |
EP2759909B1 (en) | 2019-06-12 |
US20140210710A1 (en) | 2014-07-31 |
KR20140097657A (ko) | 2014-08-07 |
EP2759909A3 (en) | 2017-04-19 |
CN103970409B (zh) | 2019-04-26 |
US10386918B2 (en) | 2019-08-20 |
EP2759909A2 (en) | 2014-07-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103970409A (zh) | 产生增强现实内容的方法和使用所述增强现实内容的终端 | |
US11422627B2 (en) | Apparatus and method for providing haptic feedback to input unit | |
CN104685470B (zh) | 用于从模板生成用户界面的设备和方法 | |
CN105283840B (zh) | 用于同步两个或更多个显示器的设备、方法和图形用户界面 | |
KR102220267B1 (ko) | 전자문서를 공유하는 방법 및 이를 위한 장치들 | |
EP2787506B1 (en) | Electronic device and method of displaying playlist thereof | |
US20140101617A1 (en) | Method and apparatus for generating task recommendation icon in a mobile device | |
CN107077292A (zh) | 剪贴信息提供方法和装置 | |
CN103914280B (zh) | 用于使用图像识别布置图像的方法和设备 | |
CN104102410B (zh) | 用于显示便携式终端装置的屏幕的方法和设备 | |
CN106843711A (zh) | 用于基于触摸输入的强度来处理触摸输入的设备和方法 | |
CN103544143A (zh) | 用于推荐文本的方法和设备 | |
KR20140133991A (ko) | 파일 관리와 표시 방법 및 장치 | |
CN105765520A (zh) | 用于提供锁定屏幕的设备和方法 | |
CN110740262A (zh) | 背景音乐的添加方法、装置及电子设备 | |
CN104111794A (zh) | 用于提供与设备状态相应的改变的快捷图标的方法和设备 | |
CN107967055A (zh) | 一种人机交互方法、终端及计算机可读介质 | |
CN105426035A (zh) | 用于提供信息的方法和电子装置 | |
KR20130115016A (ko) | 단말기에서 전자책과 연관된 피드백 제공 방법 및 장치 | |
KR102204141B1 (ko) | 태스크를 리마인드하는 전자 장치 및 그 제어 방법 | |
EP2741208A1 (en) | Method for providing application information and mobile terminal thereof | |
US10409478B2 (en) | Method, apparatus, and recording medium for scrapping content | |
CN105446523A (zh) | 用于在电子设备中输入对象的方法和装置 | |
CN103984433A (zh) | 用于控制触摸键操作的方法和设备 | |
KR102208361B1 (ko) | 키워드 검색 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190426 Termination date: 20210128 |