CN104349154B - 眼镜式终端的信息提供设备和信息提供方法 - Google Patents

眼镜式终端的信息提供设备和信息提供方法 Download PDF

Info

Publication number
CN104349154B
CN104349154B CN201410392286.2A CN201410392286A CN104349154B CN 104349154 B CN104349154 B CN 104349154B CN 201410392286 A CN201410392286 A CN 201410392286A CN 104349154 B CN104349154 B CN 104349154B
Authority
CN
China
Prior art keywords
information
identification
image
stored
controller
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410392286.2A
Other languages
English (en)
Other versions
CN104349154A (zh
Inventor
金善亮
林真成
元钟弼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN104349154A publication Critical patent/CN104349154A/zh
Application granted granted Critical
Publication of CN104349154B publication Critical patent/CN104349154B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02Viewing or reading apparatus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/17Image acquisition using hand-held instruments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Abstract

本发明涉及眼镜式终端的信息提供设备和信息提供方法。提供一种用于眼镜式终端的信息提供设备,包括:相机;和控制器,该控制器被配置为从通过相机捕获到的图像中检测第一对象,识别在检测到的第一对象上指示的信息,在从检测到第一对象的时间点开始的预定的第一时间内从通过相机捕获到的图像识别与所识别的信息相关联的第二对象,并且将所识别的第二对象和所识别的信息一起存储在存储单元中。

Description

眼镜式终端的信息提供设备和信息提供方法
技术领域
本公开涉及一种用于眼镜式终端的信息提供设备和在眼镜式终端中使用的信息提供方法。
背景技术
随着信息时代的技术进步,特别强调实现增强现实屏幕的显示设备的重要性。头戴式显示器是这样的设备的一个示例。主要以护目镜或者头盔的形式的头戴式显示器,是在每个眼睛的前面具有小的光学显示器的显示设备。头戴式显示器已经被开发以实现虚拟现实。通常,可佩戴的眼镜式终端具有在两只眼睛的前面接近安装的小型液晶显示器,并且具有反映被投射的图像的性能。当前,朝着对于在空间开发、核反应堆、军事机构中使用和在商业和计算机游戏中使用的可佩戴的眼镜式终端的发展已经进行了研究。
发明内容
因此,详细描述的一个方面是提供一种用于眼镜式终端的信息提供设备。
详细描述的另一方面是用于在眼镜式终端中使用的信息提供方法。
为了实现这些和其它的优点并且根据本说明书的用途,如在此具体化和广泛地描述的,提供一种用于眼镜式终端的信息提供设备和用于在眼镜式终端中使用的信息提供方法。
根据本发明的一个方面,提供一种用于眼镜式终端的信息提供设备,包括:相机;和控制器,该控制器被配置为从通过相机捕获到的图像中检测第一对象,识别在检测到的第一对象上指示的信息,在从检测到第一对象的时间点开始的预定的第一时间内,从通过相机捕获到的图像识别与识别的信息相关联的第二对象,并且将识别的第二对象与识别的信息一起存储在存储单元中。
在信息提供设备中,当眼镜式终端处于对象识别模式中时,控制器可以以相机实时拍摄图像的方式控制相机。
在信息提供设备中,第一对象可以是名片、建筑物、以及产品中的任意一个。
在信息提供设备中,当通过相机识别被事先注册的对象时控制器可以自动地激活对象识别模式,当通过日程管理程序搜寻日程并且作为搜寻日程的结果,发现在经过预定的时间之后预定的日程将会出现时可以激活对象识别模式,当预定的语音被识别时可以自动地激活对象识别模式,或者当从显示单元上的菜单中选择对象识别模式时可以激活对象识别模式。
在信息提供设备中,控制器可以将识别的信息与事先存储在存储单元中的对象列表进行比较,并且当作为比较的结果,在事先存储的对象列表中不存在识别的信息时,控制器可以将识别的信息附加到事先存储的对象列表。
在信息提供设备中,当作为比较的结果,在事先存储的对象列表中存在识别的信息时,控制器可以自动地删除识别的信息,并且同时,可以在显示单元上显示警告用户在事先存储的对象列表上存在识别的信息的警告信息。
在信息提供设备中,与识别的信息一起,控制器可以在存储单元中存储关于在第一对象上指示的信息被识别的日期的信息和关于在第一对象上指示的信息被识别的地点的信息。
在信息提供设备中,与识别的信息一起,控制器可以在存储单元中存储关于在第一对象上指示的信息被识别的日期的信息和关于在第一对象上指示的信息被识别的地点的信息,以及在从检测到第一对象的时间点到存储第一对象的时间点的时段期间产生的语音。
在信息提供设备中,控制器可以在从检测到第一对象的时间点开始的预定的第一时间内从通过相机捕获的图像识别第二对象,并且当被识别的第二对象是一个时,可以存储该一个第二对象和识别的信息作为对象信息。
在信息提供设备中,当在从检测到第一对象的时间点开始的预定的第一时间内从通过相机捕获的图像识别多个第二对象时,与识别的信息一起,控制器可以在存储单元中存储从该多个第二对象当中选择的任意一个对象。
在信息提供设备中,当在从检测到第一对象的时间点开始的预定的第一时间内从通过相机捕获的图像中没有检测到第二对象时,控制器可以生成指示用户拍摄与识别的信息相对应的第二对象的指令信息,并且在显示单元上显示生成的指令信息。
在信息提供设备中,控制器可以在指令信息被显示在显示单元上的时间点开始的预定的第二时间内自动地拍摄摄影主题,并且可以在预定的第二时间内从拍摄的摄影主题识别第二对象。
为了实现这些和其它的优点并且根据本说明书的用途,如在此具体化和广泛地描述的,提供一种用于在眼镜式终端中使用的信息提供方法,包括:从通过相机捕获的图像检测第一对象;识别在检测到的第一对象上指示的信息;在检测到第一对象的时间点开始的预定的第一时间内,从通过相机捕获的图像识别与识别的信息相对应的第二对象;以及将识别的第二对象和识别的信息一起存储在存储单元中。
根据在下文中给出的详细描述,本申请的进一步范围将变得显然。然而,应理解的是,仅通过说明给出指示本公开的优选实施例的特定示例和详细描述,因为对本领域的技术人员来说本公开的精神和范围内的各种变化和修改将变得显然。
附图说明
被包括以提供本公开的进一步理解并且被包含到本申请中且组成本申请的一部分的附图,图示示例性实施例并且连同描述一起用以解释本公开的原理。
在附图中:
图1是图示根据在本说明书中公开的本发明的一个实施例的可佩戴的眼镜式终端的框图;
图2A和图2B是均示意性地图示其中根据本发明的可佩戴的眼镜式终端操作的通信系统的图;
图3图示可佩戴的眼镜式终端100的图;
图4是图示根据本发明的第一实施例的用于在眼镜式终端中使用的信息提供方法的流程图;
图5是图示根据本发明的第一实施例的名片检测过程的图;
图6是图示根据本发明的第一实施例的识别对象的过程的图;
图7是图示根据本发明的第一实施例的识别面部的过程的图;
图8是图示根据本发明的第一实施例存储的被存储的名片的图;
图9是根据本发明的第二实施例的用于在眼镜式终端中使用的信息提供方法;
图10是图示根据本发明的第二实施例的选择面部的过程的图;
图11是根据本发明的第三实施例的用于在眼镜式终端中使用的信息提供方法;以及
图12是图示根据本发明的第三实施例的指令信息的图。
具体实施方式
参考附图,现在将详细地描述示例性实施例。为了参考附图简要地描述,相同或者等效的组件将会提供有相同的附图标记,并且其描述将不会被重复。被用于在下面的描述中公开的组成元件的后缀“模块”和“单元”仅旨在用于本说明书的简单描述,并且后缀本身没有给予任何特定的意义或者功能。在描述本发明中,如果对于相关的已知功能或者构造的详细解释被认为没有必要地转移本公开的主旨,则省略这样的解释,但是本领域的技术人员将会理解。附图被用于帮助容易地理解本发明的技术思想,并且应理解本公开的思想不受附图限制。
图1是图示根据一个实施例的可佩戴的眼镜式终端100的框图。
可佩戴的眼镜式终端100可以包括组件,诸如无线通信单元110、音频/视频(A/V)输入单元120、用户输入单元130、感测单元140、输出单元150、存储器160、接口单元170、控制器180、电源190等等。图1示出具有各种组件的可佩戴的眼镜式终端100,但是理解的是,不要求实现所有的示出的组件。可以可替换地实现更多或者更少的组件。
在下文中,将会依次描述每个组件110至190。
无线通信单元110通常可以包括一个或者多个模块,其允许可佩戴的眼镜式终端100和无线通信系统之间或者可佩戴的眼镜式终端100和可佩戴的眼镜式终端100位于的网络之间的无线通信。例如,无线通信单元110可以包括广播接收模块111、移动通信模块112、无线互联网模块113、短程通信模块114、位置信息模块115等等中的至少一个。
广播接收模块111经由广播信道接收来自外部广播管理实体的广播信号和/或广播相关信息。
广播信道可以包括卫星信道和地面信道。广播管理实体可以指示生成和发送广播信号和/或广播相关信息的服务器或者接收预生成的广播信号和/或广播相关信息并且将它们发送到移动终端的服务器。除了别的之外,广播信号可以被实现为TV广播信号、无线电广播信号以及数据广播信号。广播信号可以进一步包括与TV或者无线电广播信号组合的数据广播信号。
广播相关信息的示例可以包括与广播频道、广播节目、广播服务提供商等等相关联的信息。广播相关信息可以经由移动通信网络来提供,并且由移动通信模块112接收。
可以按照各种形式来实现广播相关信息。例如,广播相关信息可以包括数字多媒体广播(DMB)的电子节目指南(EPG)和数字视频广播-手持(DVB-H)的电子服务指南(ESG)等等。
广播接收模块111可以被配置成接收从各种类型的广播系统发送的数字广播信号。这样的广播系统包括数字多媒体广播-地面(DMB-T)、数字多媒体广播-卫星(DMB-S)、仅媒体前向链路(MediaFLO)、数字视频广播-手持(DVB-H)、综合业务数字广播-地面(ISDB-T)等等。广播接收模块111可以被配置为适合发送广播信号的每一种广播系统以及数字广播系统。
经由广播接收模块111接收到的广播信号和/或广播相关信息可以被存储在诸如存储器160的适当的设备中。
移动通信模块112接收来自移动通信网络上的网络实体(例如,基站、外部移动终端、服务器等等)中的至少一个的无线信号/将无线信号发送到移动通信网络上的网络实体(例如,基站、外部移动终端、服务器等等)中的至少一个。在此,无线信号可以包括音频呼叫信号、视频(电话)呼叫信号,或者根据文本/多媒体消息的传输/接收的各种格式的数据。
移动通信模块112可以实现视频呼叫模式和语音呼叫模式。视频呼叫模式指示在观看被叫方的图像的情况下进行呼叫的状态。语音呼叫模式指示在没有观看被叫方的图像的情况下呼叫的状态。无线通信模块112可以发送和接收语音和图像中的至少一个,以便实现视频呼叫模式和语音呼叫模式。
无线互联网模块113支持用于移动终端的无线互联网接入。此模块可以被内部地或者外部地耦合到可佩戴的眼镜式终端100。此无线互联网接入的示例可以包括无线LAN(WLAN)(Wi-Fi)、无线宽带(Wibro)、全球微波接入互操作(Wimax)、高速下行链路分组接入(HSDPA)等等。
短程通信模块114表示用于短程通信的模块。用于实现此模块的适当的技术可以包括蓝牙TM、射频识别(RFID)、红外数据协会(IrDA)、超宽带(UWB)、紫蜂TM、近场通信(NFC)等等。
位置信息模块115表示用于检测或者计算可佩戴的眼镜式终端的位置的模块。位置信息模块115的示例可以包括全球定位系统(GPS)模块或者无线保真(WiFi)模块。
继续参考图1,A/V输入单元120被配置为将音频或者视频信号输入提供给移动终端。A/V输入单元120可以包括相机121和麦克风122。相机121在视频呼叫模式或者拍摄模式下接收并且处理通过图像传感器获得的视频或者静止图片的图像帧。被处理的图像帧可以被显示在显示单元151上。
通过相机121处理的图像帧可以被存储在存储器160中或者经由无线通信单元110被发送到外部。而且,可以从通过相机121获取的图像帧计算用户的位置信息等等。根据移动终端的配置可以提供两个或者更多个相机121。
当移动终端处于特定模式,诸如电话呼叫模式、记录模式、语音识别模式等等时,麦克风122可以接收外部音频信号。该音频信号被处理为数字数据。在电话呼叫模式的情况下,处理的数字数据被转换为可经由移动通信模块112发送到移动通信基站的格式用于输出。麦克风122可以包括相配的噪声消除算法以消除在接收外部音频信号的过程中产生的噪声。
用户输入单元130可以生成用户输入的输入数据以控制移动终端的操作。用户输入单元130可以包括键盘、薄膜开关、触摸板(例如,静压/电容)、滚动轮、滚动开关等等。
感测单元140提供移动终端的各个方面的状态测量。例如,感测单元140可以检测移动终端的打开/闭合状态、可佩戴的眼镜式终端100的位置的变化、与可佩戴的眼镜式终端100的用户接触的存在或不存在、可佩戴的眼镜式终端100的位置、可佩戴的眼镜式终端100的加速/减速等等,以便产生用于控制可佩戴的眼镜式终端100的操作的感测信号。例如,关于滑动型可佩戴的眼镜式终端,感测单元140可以感测可佩戴的眼镜式终端的滑动部分是否被打开或者闭合。其它的示例包括感测功能,诸如感测单元140感测由电源190提供的电力的存在或不存在、接口单元170和外部设备之间的耦合或者其它连接的存在或不存在。
输出单元150被配置为输出音频信号、视频信号或者报警信号。输出单元150可以包括显示单元151、音频输出模块153、报警单元154以及触觉模块155。
显示单元151可以输出在可佩戴的眼镜式终端100中处理的信息。例如,当在电话呼叫模式下操作移动终端时,显示单元151将会提供包括与呼叫相关联的信息的用户界面(UI)或者图形用户界面(GUI)。作为另一示例,如果移动终端是处于视频呼叫模式或者拍摄模式,那么显示单元151可以附加地或者替换地显示拍摄的和/或接收到的图像、UI或者GUI。
例如,使用液晶显示器(LCD)、薄膜晶体管液晶显示器(TFT-LCD)、有机发光二极管(OLED)、柔性显示器、三维(3D)显示器、电子墨水显示器等等中的至少一个可以实现显示单元151。
这些显示器151中的一些可以被实现为透过其能够看到外部的透明型或者透光型,这被称为“透明显示器”。透明显示器的典型示例可以包括透明OLED(TOLED)等等。
显示单元151也可以被实现成用于显示立体图像的立体显示单元152。
在此,立体图像可以是三维(3D)立体图像,并且3D立体图像是一种图像,指的是使得观众感到在监视器或者屏幕上的对象的渐进深度和逼真度与现实空间相同的图像。通过使用双目差异来实现3D立体图像。双目差异指的是由两眼的位置形成的差异。当两眼观看不同的2D图像时,图像通过视网膜向大脑传送并且在大脑中组合以提供深度的感知和真实感觉。
立体显示单元152可以采用立体显示方案,诸如立体方案(眼镜方案)、自动立体方案(无眼镜方案)、投影方案(全息方案)等。通常用于家庭电视接收器等的立体方案包括惠斯通(Wheatstone)立体方案等。
自动立体方案例如包括视差屏障方案、双凸透镜方案、集成成像方案、可切换方案等。投影方案包括反射全息方案、透射全息方案等。
通常,3D立体图像由左图像(左眼图像)和右图像(右眼图像)组成。根据左和右图像如何被组合为3D立体图像,将3D立体成像方法划分为:上下方法,其中,在一个帧中上下地布置左和右图像;L至R(左至右,并排)方法,其中,在一个帧中左右地布置左和右图像;棋盘方法,其中,以拼贴的形式布置左和右图像的分片;隔行方法,其中,通过行和列交错地布置左和右图像;以及,时间顺序(或逐帧)方法,其中,按照时间交错地显示左和右图像。
而且,对于3D缩略图图像,左图像缩略图和右图像缩略图分别从原始图像帧的左图像和右图像生成,并且然后被组合以生成单个3D缩略图图像。通常,缩略图指的是缩小的图像或缩小的静止图像。显示由此生成的左图像缩略图和右图像缩略图,在其间的水平距离差是对应于在屏幕上的左图像和右图像之间视差的深度,提供了立体空间感觉。
如所图示的,通过立体处理单元(未示出)在立体显示单元152上显示用于实现3D立体图像所需要的左图像和右图像。立体处理单元可以接收3D图像并且提取左图像和右图像,或者可以接收2D图像并且将其改变为左图像和右图像。
在此,如果显示单元151和触摸灵敏传感器(被称为触摸传感器)其间具有分层的结构(被称为“触摸屏”),则显示单元151可以被用作输入设备和输出设备。触摸传感器可以被实现成触摸膜、触摸片、触摸板等等。
触摸传感器可以被配置为将施加给显示器151的特定部分的压力,或者从显示器151的特定部分出现的电容的变化转换为电输入信号。而且,触摸传感器可以被配置为不仅感测被触摸的位置和被触摸的区域,而且感测触摸压力。在此,触摸对象是将触摸输入施加在触摸传感器上的对象。触摸对象的示例可以包括手指、触摸笔、尖笔、指示器等等。
当通过触摸传感器感测触摸输入时,相对应的信号被发送到触摸控制器。触摸控制器处理接收到的信号,并且然后将相对应的数据发送到控制器180。因此,控制器180可以感测已经触摸了显示单元151的哪个区域。
仍然参考图1,接近传感器141可以被布置在由触摸屏覆盖的或者在触摸屏附近的可佩戴的眼镜式终端100的内部区域。可以提供接近传感器141作为感测单元140的一个示例。接近传感器141指示在没有机械接触的情况下,通过使用电磁场或者红外线,感测靠近要感测表面的对象或者布置在要感测表面附近的对象的存在或不存在的传感器。接近传感器141具有比接触传感器更长的寿命和更强的实用性。
接近传感器141可以包括透射型光电传感器、直接反射型光电传感器、镜反射型光电传感器、高频振荡接近传感器、电容型接近传感器、磁型接近传感器、红外线接近传感器等等。当触摸屏被实现为电容型时,通过电磁场的变化来感测指针接近触摸屏。在这种情况下,触摸屏(触摸传感器)也可以被分类成接近传感器。
在下文中,为了简要描述,指针被定位为接近触摸屏而没有接触的状态将会被称为“接近触摸”,而指针实际上接触触摸屏的状态将会被称为“接触触摸”。对于与触摸屏上的指针的接近触摸相对应的位置,这样的位置对应于在指针的接触触摸之后指针垂直于触摸屏面向的位置。
接近传感器141感测接近触摸和接近触摸样式(例如,距离、方向、速度、时间、位置、移动状态等等)。与感测的接近触摸和感测的接近触摸样式有关的信息可以被输出到触摸屏。
当将触摸传感器以分层方式叠加在立体显示单元152上时(在下文中,称为“立体触摸屏”),或者当组合立体显示单元152和感测触摸操作的3D传感器时,立体显示单元152也可以被用作3D输入设备。
作为3D传感器的示例,感测单元140可以包括接近传感器141、立体触摸感测单元142、超声感测单元143和相机感测单元144。
接近传感器141检测在没有机械接触的情况下通过使用电磁力或红外线而施加触摸的感测对象(例如,用户的手指或尖笔)和检测表面之间的距离。通过使用该距离,终端识别已经触摸了立体图像的哪个部分。具体地说,当触摸屏是静电触摸屏时,基于根据感测对象的接近的电场的改变来检测感测对象的接近程度,并且通过使用接近程度来识别对于3D图像的触摸。
立体触摸感测单元142被配置成检测向触摸屏施加的触摸的强度或持续时间。例如,立体触摸感测单元142可以感测触摸压力。当压力强时,可以将触摸视为相对于位于朝着终端的内部远离触摸屏的对象的触摸。
超声感测单元143被配置成通过使用超声波来识别感测对象的位置信息。
例如,超声感测单元143可以包括光学传感器和多个超声传感器。光学传感器被配置成感测光并且超声传感器可以被配置成感测超声波。因为光远比超声波快,所以光到达光学传感器的时间远比超声波到达超声传感器的时间短。因此,可以基于作为参考信号的光,通过使用从超声波到达的时间差来计算波生成源的位置。
相机感测单元144包括相机121、光电传感器和激光传感器中的至少一个。
例如,相机121和激光传感器可以被组合以检测感测对象相对于3D立体图像的触摸。当由激光传感器检测到的距离信息被添加到通过相机捕获的2D图像时,能够获得3D信息。
在另一个示例中,可以在显示设备上层叠光电传感器。该光电传感器被配置成扫描与触摸屏接近的感测对象的移动。详细地,光电传感器包括在行和列处的光电二极管和晶体管,以通过使用根据所施加的光的量改变的电信号来扫描在光电传感器上装载的内容。即,光电传感器根据光的变化来计算感测对象的坐标,由此获得感测对象的位置信息。
音频输出模块153可以在呼叫信号接收模式、呼叫模式、记录模式、语音识别模式、广播接收模式等中将从无线通信单元110接收到的或存储在存储器160中的音频数据转换和输出为声音。而且,音频输出模块153可以提供与由可佩戴的眼镜式终端100执行的特定功能相关的可听输出(例如,呼叫信号接收声音、消息接收声音等)。音频输出模块153可以包括扬声器、蜂鸣器等等。
报警单元154输出用于通知关于可佩戴的眼镜式终端100的事件发生的信号。在移动终端中产生的事件可以包括呼叫信号接收、消息接收、按键信号输入、触摸输入等等。除了视频或者音频信号之外,报警单元154可以以不同的方式输出信号,例如,使用振动通知关于事件的发生。也可以经由音频输出模块153输出视频或者音频信号,因此显示单元151和音频输出模块153可以被分类为报警单元154的部分。
触觉模块155产生用户能够感觉的各种触觉效果。通过触觉模块155产生的触觉效果的代表性示例包括振动。能够控制触觉模块155的强度和样式。例如,不同的振动可以被组合以被输出或者被顺序地输出。
除了振动之外,触觉模块155可以生成各种其他触觉效果,诸如通过相对于接触皮肤垂直移动的针布置、通过注入孔或吸收孔的空气的喷射力或吸收力、在皮肤上的接触、电极的接触、静电力等的刺激的效果、通过使用能够吸收或生成热量的元件再现冷和热感觉的效果。
触觉模块155可以被实现成允许用户通过诸如用户的手指或手臂的肌肉感觉来感觉触觉效果,并且通过直接接触来传送触觉效果。可以根据可佩戴的眼镜式终端100的配置来提供两个或更多个触觉模块155。
存储器160可以存储用于处理和控制由控制器180执行的操作的软件程序,或者可以暂时存储被输入或输出的数据(例如,电话簿、消息、静止图像、视频等)。另外,存储器160可以存储关于当触摸被输入到触摸屏时输出的各种样式的振动和音频信号的数据。
存储器160可以包括至少一种类型的存储介质,包括闪速存储器、硬盘、微型多媒体卡、卡型存储器(例如,SD或XD存储器等)、随机存取存储器(RAM)、静态随机存取存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁存储器、磁盘和光盘。而且,可以与网络存储设备相关地操作可佩戴的眼镜式终端100,该网络存储设备在互联网上执行存储器160的存储功能。
接口单元170用作与和可佩戴的眼镜式终端100连接的每一个外部设备的接口。例如,外部设备可以向外部设备发送数据,接收和发送到可佩戴的眼镜式终端100的每个元件的电力,或向外部设备发送可佩戴的眼镜式终端100的内部数据。例如,接口单元170可以包括有线或无线头戴受话器端口、外部电源端口、有线或无线数据端口、存储卡端口、用于连接具有标识模块的设备的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等。
标识模块可以是存储用于验证使用可佩戴的眼镜式终端100的权限的各种信息的芯片,并且可以包括用户标识模块(UIM)、订户标识模块(SIM)和通用订户标识模块(USIM)等。另外,具有标识模块的设备(下文中称为“标识设备”)可以采取智能卡的形式。因此,标识设备可以经由端口单元170与终端100连接。
当可佩戴的眼镜式终端100与外部托架连接时,接口单元170可以用作用于允许来自托架的电力通过其被供应到可佩戴的眼镜式终端100的通道,或可以用作用于允许用户从托架输入的各种命令信号通过其被传送到移动终端的通道。从托架输入的各种命令信号或电力可以操作为用于识别移动终端被正确地安装在托架上的信号。
控制器180通常控制移动终端100的整体操作。例如,控制器180执行与语音呼叫、数据通信和视频呼叫等相关联的控制和处理。控制器180可以包括用于再现多媒体数据的多媒体模块181。多媒体模块181可以被配置在控制器180内或可以被配置成与控制器180分离。
控制器180可以执行样式识别处理,以分别将在触摸屏上执行的手写输入或绘图输入识别为字符或图像。
而且,当移动终端的状态满足预设条件时控制器180可以执行锁定状态以限制用户输入用于应用的控制命令。而且,控制器180可以在移动终端的锁定状态下基于在显示单元151上感测到的触摸输入控制在锁定状态下被显示的锁定屏幕。
电源单元190接收外部电力或内部电力,并且在控制器180的控制下提供用于操作相应的元件和组件所需的适当电力。
可以使用例如软件、硬件或其任何组合来在计算机可读介质或者其类似的介质中实现在此所述的各个实施例。
对于硬件实施方式,可以通过使用以下中的至少一种来实现在此描述的实施例:专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理器件(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计用来执行在此描述的功能的电子单元。在一些情况下,这样的实施例也可以由控制器180本身实现。
对于软件实施方式,可以通过单独的软件模块来实现诸如在此所述的过程或功能的实施例。每一个软件模块可以执行在此所述的一个或多个功能或操作。
可以通过以任何适当的编程语言编写的软件应用来实现软件代码。软件代码可以存储在存储器160中并由控制器180执行。
在下文中,将会描述通过根据本公开的可佩戴的眼镜式终端100可操作的通信系统。
图2A和图2B是图示利用根据本公开的可佩戴的眼镜式终端100可操作的通信系统的概念图。
首先,参考图2A,这样的通信系统利用不同的空中接口和/或物理层。例如,通信系统所利用的这样的空中接口的示例包括:频分多址(FDMA)、时分多址(TDMA)、码分多址(CDMA)、通用移动电信系统(UMTS)、UMTS的长期演进(LTE)、全球移动通信系统(GSM)等。
仅通过非限制性示例,进一步的描述将会与CDMA通信系统有关,但是这样的教导同等地应用于包括CDMA无线通信系统的其它系统类型。
参考图2A,示出CDMA无线通信系统,其具有多个移动终端100、多个基站(BS)270、基站控制器(BSC)275、以及移动交换中心(MSC)280。MSC 280可以被配置成与常规的公共交换电话网络(PSTN)290对接。并且MSC 280也可以被配置成与BSC 275对接。BSC 275经由回程线路被耦合到基站270。可以根据包括例如E1/T1、ATM、IP、PPP、帧中继、HDSL、ADSL、或者xDSL的数个已知的接口中的任何一个来配置回程线路。因此,系统中能够包括多个BSC275,如在图2A中图示的。
每个基站270可以包括一个或者多个扇区,每个扇区具有全向天线或者在放射状地远离基站270的特定方向中指向的天线。可替选地,每个扇区可以包括两个或者更多个不同的天线。每个基站270可以被配置成支持多种频率分配,每个频率分配具有特定的频谱(例如,1.25MHz、5 MHz等等)。
扇区和频率分配的交叉可以被称为CDMA信道。基站270也可以被称为基站收发器子系统(BTS)。在一些情况下,术语“基站”可以用于总体指代BSC 275,以及一个或多个基站270。基站也可以被表示为“小区站点”。可替选地,给定基站270的单个扇区可以被称为小区站点。
如在图2A中所示的,广播发送器(BT)295将广播信号发送到在系统内操作的移动终端100。广播接收模块111(图1)通常被配置在可佩戴的眼镜式终端100内部以接收由BT295发送的广播信号。
图2A进一步描述数个全球定位系统(GPS)卫星300。这样的卫星300便于定位多个移动终端100中的至少一个的位置。在图2A中描述了两个卫星,但是可以通过比两个卫星更多或者更少数目的卫星来获得有用的位置信息。GPS模块115(图1)通常被配置成与卫星300协作以获得想要的位置信息。要理解的是,可以可替选地实现其他类型的位置检测技术(即,除了或者替代GPS定位技术可以使用的定位技术)。必要时,GPS卫星300中的至少一个可以被可替选地或者另外配置成提供卫星DMB传输。
在无线通信系统的典型操作期间,基站270可以从各种移动终端100接收反向链路信号的集合。移动终端100进行呼叫、发消息,并且执行其它的通信。在基站270内处理通过给定的基站270接收到的每个反向链路信号。得到的数据被转发给相关联的BSC 275。BSC275提供呼叫资源分配和移动性管理功能,包括基站270之间的软切换的编排。BSC 275也可以将接收到的数据路由给MSC 280,然后MSC 280提供用于对接PSTN 290的附加的路由服务。类似地,PSTN 290与MSC280对接,并且MSC 280与BSC 275对接,BSC 275继而控制基站270以将前向链路信号的集合发送到移动终端100。
在下文中,将会参考2B描述用于使用无线保真(WiFi)定位系统(WPS)获取移动终端的位置信息的方法。
WiFi定位系统(WPS)300指的是使用WiFi基于无线局域网(WLAN)的位置确定技术,作为用于使用可佩戴的眼镜式终端100中提供的WiFi模块和用于向WiFi模块发送并且从WiFi模块接收的无线接入点320跟踪可佩戴的眼镜式终端100的位置的技术。
WiFi定位系统300可以包括WiFi位置确定服务器310、可佩戴的眼镜式终端100、被连接到可佩戴的眼镜式终端100的无线接入点(AP)320、以及存储有任何无线AP信息的数据库330。
基于可佩戴的眼镜式终端100的位置信息请求消息(或者信号),WiFi位置确定服务器310提取被连接到可佩戴的眼镜式终端100的无线AP 320的信息。无线AP 320的信息可以通过可佩戴的眼镜式终端100被发送到WiFi位置确定服务器310或者从无线AP 320被发送到WiFi位置确定服务器310。
基于可佩戴的眼镜式终端100的位置信息请求消息提取的无线AP的信息可以是MAC地址、SSID、RSSI、信道信息、隐私、网络类型、信号强度以及噪声强度中的至少一个。
WiFi位置确定服务器310接收被连接到如上所述的可佩戴的眼镜式终端100的无线AP 320的信息,并且将接收到的无线AP 320信息与包含在预先建立的数据库320中的信息进行比较以提取(或者分析)可佩戴的眼镜式终端100的位置信息。
另一方面,参考图2B,作为示例,被连接到可佩戴的眼镜式终端100的无线AP被图示为第一、第二、以及第三无线AP 320。然而,根据其中可佩戴的眼镜式终端100位于的无线通信环境,可以以各种形式改变被连接到可佩戴的眼镜式终端100的无线AP的数目。当可佩戴的眼镜式终端100被连接到无线AP中的至少一个时,WiFi定位系统300能够跟踪可佩戴的眼镜式终端100的位置。
接下来,更加详细地考虑到存储有无线AP信息的数据库330,被布置在不同位置处的任何无线AP的各种信息可以被存储在数据库330中。
被存储在数据库330中的任何无线AP的信息可以是诸如MAC地址、SSID、RSSI、信道信息、隐私、网络类型、纬度和经度坐标、无线AP位于的建筑物、楼层、详细室内位置信息(GPS坐标可用)、AP拥有者地址、电话号码等等的信息。
以这样的方式,任何无线AP信息和与任何无线AP相对应的位置信息可以被一起存储在数据库330中,并且因此WiFi位置确定服务器310可以从数据库330检索与被连接到可佩戴的眼镜式终端100的无线AP 320的信息相对应的无线AP信息,以提取被匹配到搜索到的无线AP的位置信息,从而提取可佩戴的眼镜式终端100的位置信息。
下面在布置和配置方面描述在图1中图示的根据本发明的一个实施例的可佩戴的眼镜式终端100的组成元件,或者可佩戴的眼镜式终端100的组成元件。
图3是图示根据本发明的可佩戴的眼镜式终端100的图。
参考图3,根据图3的可佩戴的眼镜式终端100包括主体310、显示单元151、以及控制器180。
另外,根据本发明的可佩戴的眼镜式终端100可以进一步包括用户输入单元、语音识别单元、以及运动检测单元。
根据本发明的可佩戴的眼镜式终端100被实现为头戴式显示器。作为具体的实施例,可佩戴的眼镜式终端100可以被实现为智能眼镜。
以其可安装在头上这样的方式形成主体310。例如,主体310被实现为智能眼镜的框架和眼镜腿。
与主体310相耦合的显示单元151分别被布置在对应于两只眼睛的位置中。另外,显示单元151具有光学透明性,并且可视信息被输出到显示单元151。
可视信息意指从可佩戴的眼镜式终端100产生或者从外部设备输入的虚拟对象。例如,虚拟对象意指应用、与应用相对应的图标、内容、或者诸如语音通信呼叫模式的用户界面(UI)。虚拟对象通过控制器180产生或者从诸如智能电话的移动终端输入。在这一点上,因为显示单元151具有光学透明性,所以用户能够通过显示单元151观察外部环境。
另外,作为一个实施例,通过显示单元151可以观察外部环境,并且同时,关于组成外部环境的任意的外部对象的信息可以被输出到显示单元151。例如,外部对象是名片、人类、或者与其能够相互通信的外部设备。
如上所述,控制器180控制可佩戴的眼镜式终端100。具体地,控制器180将关于在无线通信单元110中检测到的外部设备的信息输出到显示单元151。
例如,控制器180识别检测到的外部设备的位置。在这一点上,控制器180确定是否利用用户的视线定位检测到的外部设备,并且基于此确定的结果,确定是否输出关于检测到的外部设备的信息。
另外,控制器180被安装在可佩戴的眼镜式终端100的主体310上或者控制器180和主体310被一体化地形成为一件。根据另一实施例的控制器180可以被布置为与主体310分离。
相机121被布置在左右显示单元151中的至少一个的前侧上。可替选地,相机121被布置在框架310中的一个或者两个上并且拍摄在佩戴者的视线外的对象。
用户输入单元130被实现为提供在框架310中的一个或者两个上的单独的触摸面板。可替选地,用户输入单元130可以被实现为物理键。例如,以被提供在框架310中的一个上的方式实现电源的开/关开关。
根据另一实施例的用户输入130可以被实现为被连接到主体310的单独的外部设备。因此,用户能够将特定命令输入到单独的外部设备。可替选地,显示单元151被实现为触摸屏,并且从而用户能够将控制命令直接地输入到显示单元151。
根据另一实施例的用户输入单元130可以被实现为识别语音命令的模块。因此,用户能够将特定的语音命令输入到主体310。
另一方面,根据可佩戴的眼镜式终端的一个实施例的智能眼镜被引入市场。被实现为可佩戴的设备的智能眼镜方便地执行在现有的移动终端上执行的功能。
伴随着通过显示单元151观察到的外部环境输出的可视信息被一起显示在智能眼镜的显示单元151上(这被称为增强现实)。因此,用户能够更加容易地掌握关于组成外部环境的任意对象的信息。
另外,智能眼镜与其它的智能眼镜或者与可与其通信的外部设备执行无线通信。在这一点上,与外部设备有关的信息被输出到显示单元151。
图4是图示根据本发明的第一实施例的用于在眼镜式终端中使用的信息提供方法的流程图。
首先,控制器180确定是否激活对象识别模块(例如,其中名片、建筑物、事物(产品)等等的模式)(S11)。例如,当通过相机121识别事先注册的用户(用户自己)的名片时,控制器180自动地激活对象识别模块(例如,名片模式)。控制器180通过日程管理程序定期地搜寻日程。当作为搜寻日程的结果,发现在经过预定的时间(例如,10至20分钟)之后(例如,在约会之前的20分钟)预定的日程将会出现时,则控制器180可以自动地激活对象识别模式。当识别预定的语音(例如,“名片识别”、“建筑物识别”、“产品识别”等等)时,控制器180可以激活对象识别模式。当用户从显示单元151上的菜单选择对象识别模式时,控制器180可以激活对象识别模式。
当对象识别模式被激活时,控制器180以相机121实时拍摄摄影主题的方式控制相机121,并且从被拍摄的摄影主题检测预定的对象(S12)。例如,当名片模式被激活时,控制器180从通过相机121实时捕获的图像中通过对象识别程序实时检测对象(例如,名片)。控制器180可以基于在通过相机121实时捕获的图像内的被确定的名片和文本(例如,姓名、电话号码、地址等等)的类型来识别名片。另一方面,当在预定的时间(例如,10至20秒钟)内从摄影主题的捕获图像没有检测到名片时,控制器180可以终止名片模式并且同时在显示单元151上显示指示没有检测到名片的信息。
根据本发明的实施例的用于眼镜式终端的信息提供装置,和用于在眼镜式终端中使用的信息提供方法不仅能够检测名片,而且能够检测包括信息的诸如建筑物和产品(事物)的各种对象。
图5是图示根据本发明的第一实施例的名片检测过程的图。
如在图5中所图示,用户在社交聚会的会议上从某人A接收名片5-1。在这一点上,当名片模式被激活时,控制器180通过相机121实时检测他的/她的名片5-1。
图6是图示根据本发明的第一实施例的识别对象(例如,名片)的过程的图。
如在图6中所图示,当通过相机121检测名片5-1时,控制器180识别在检测到的名片(对象)5-1上描述的信息(S13),并且在预定的时间内(例如,3秒钟)在显示单元151上显示被识别的信息(名片信息、或者对象信息)。用户可以改变预定的时间(例如,3秒钟)。
当对象识别模式被激活时,控制器180可以在显示单元151上显示指示对象识别模式被激活的信息(例如,图标、图像等等)6-2。当对象识别模式被激活时,通过弹出窗口(语音、光学信号等等),控制器180警告用户指示对象识别模式被激活的信息。
当通过相机121检测到对象(例如,名片、建筑物、产品等等)5-1时,控制器180将在从检测到对象(名片、建筑物、产品等等)5-1的开始时间点开始的预定的时间(例如,10秒钟)内通过相机121捕获到的图像存储在存储单元(存储器)160中(S14)。当通过相机121检测对象(例如,名片、建筑物、产品等等)5-1时,控制器180可以将在检测到对象(名片、建筑物、产品等等)5-1的开始时间点之前的10秒钟(预定的时间),和在检测到对象(名片、建筑物、产品等等)5-1的开始时间点之后的10秒钟(预定的时间)内通过相机121捕获到的图像存储在存储单元(存储器)160中。用户可以改变预定的时间(例如,10秒钟)。
在预定的时间(例如,3至5秒钟)控制器180在显示单元151上显示识别的信息6-1,并且然后将识别的信息存储在存储单元(存储器)160中。
控制器180将识别的信息6-1与事先存储在存储单元(存储器)160中的名片列表进行比较,并且当作为比较的结果,在事先存储的名片列表上不存在识别的信息6-1时,可以将识别的信息6-1附加到存储单元(存储器)160中的名片列表。另一方面,控制器180可以将识别的信息6-1与事先存储在存储单元(存储器)160中的名片列表进行比较,并且当作为比较的结果,在事先存储的名片列表上存在识别的信息6-1时,可以自动地删除识别的信息6-1并且同时在显示单元151上显示警告用户在事先存储的名片列表中存在识别的信息6-1的警告信息。
当将识别的信息(名片)6-1存储在存储单元(存储器)160中时,控制器180可以将关于识别名片6-1的日期的信息和识别名片6-1的地点的信息一起存储在存储单元160中。当将识别的信息(名片)6-1与关于识别名片6-1的日期的信息和关于识别名片6-1的地点的信息一起存储在存储单元(存储器)160中时,控制器180可以在存储单元160中存储在从检测到名片6-1的时间点到存储名片6-1的时间点的时段期间产生的语音(例如,用户的语音或者某人A的语音)。例如,与识别的信息6-1一起,控制器180可以在存储单元160中存储在从检测到对象(例如,名片、建筑物、产品等等)的时间点到存储对象的时间点的时间段通过相机捕获的运动图像和/或通过麦克风122接收到的语音和被识别的信息6-1。
控制器180在从检测到名片6-1的时间点开始的预定时间(例如,10秒钟)内通过面部识别程序从存储在存储单元(存储器)160中的图像识别某人A的面部,并且将识别的面部与识别的信息(名片)一起存储在存储单元160中(S16)。
图7是图示根据本发明的第一实施例的识别面部的过程的图。
如在图7中所图示,控制器180在检测到名片6-1的时间点开始的预定时间(例如,10秒钟)内通过面部识别程序从存储在存储单元(存储器)160中的图像识别某人A的面部,并且将识别的面部7-1与识别的信息(名片)6-1一起存储在存储单元160中。例如,当在从检测到名片6-1的时间点开始的预定时间(例如,10秒钟)内通过面部识别程序从存储在存储单元(存储器)160中的图像识别一个面部时,控制器180将这样的面部识别为某人A的面部,并且将识别的面部7-1与识别的信息(名片)6-1一起存储在存储单元160中。
在将识别的面部7-1存储在存储单元160中之后,与识别的信息(名片)6-1一起,控制器180可以在显示单元151上显示警告用户识别的名片6-1和识别的某人A的面部7-1被存储。
图8是图示根据本发明的第一实施例的存储的被存储的名片的图。
如在图8中所示,在将识别的面部7-1存储在存储单元160中之后,与识别的信息(名片)6-1一起,在预定的时间(例如,3秒钟)内控制器180可以在显示单元151上显示警告用户识别的名片6-1和识别的某人A的面部7-1被存储的信息。用户可以改变预定的时间(例如,3秒钟)。
控制器180不仅可以检测并且识别名片,而且可以检测和识别其中的每一个包括信息的各种对象,诸如建筑物和产品(事物)。例如,当对象识别模式被激活时,控制器180以相机121实时拍摄摄影主题的方式控制相机121,并且从捕获到的摄影主题的图像检测建筑物的图像并且存储检测到的建筑物的图像。因此,控制器180可以检测信息(例如,与建筑物相对应的标识牌信息(例如,建筑物的名称)、与建筑物相对应的电话号码等等),并且可以存储检测到的信息。当对象识别模式被激活时,控制器180以相机121实时拍摄摄影主题的方式控制相机121,并且从捕获到的摄影主题的图像检测产品(事物)的图像,并且存储检测到的建筑物的图像。因此,控制器180可以检测在产品上指示的信息(例如,在产品上指示的条形码、在产品上指示的制造商、在产品上指示的价格等等),并且可以存储检测到的信息。
因此,根据本发明的第一实施例的用于眼镜式终端的信息提供设备,和用于在眼镜式终端中使用的信息提供方法不仅能够容易地激活对象识别模式,而且能够容易地、快速地注册(存储)对象和与对象相对应的信息。
图9是根据本发明的第二实施例的用于在眼镜式终端中使用的信息提供方法。
首先,控制器180确定是否激活对象识别模式(例如,名片模式)(S21)。例如,当通过相机121识别事先注册的用户(用户自己)的名片时,控制器180自动地激活名片模式。控制器180通过日程管理程序定期地搜寻日程。当作为搜寻的结果,发现在经过预定的时间(例如,10至20分钟)之后(例如,在约会之前的20分钟)预定的日程将会出现时,控制器180可以自动地激活名片模式。当识别预定的语音(例如,“名片”、“商业识别”等等)时,控制器180可以激活名片模式。当用户从显示单元151上的菜单选择名片模式时,控制器180可以激活名片模式。
当名片模式被激活时,控制器180以相机121实时拍摄摄影主题的方式控制相机121并且从拍摄的摄影主题检测名片。例如,当名片模式被激活时,控制器180通过对象识别程序从通过相机121实时捕获的图像实时检测名片。控制器180可以基于在通过相机121实时捕获到的图像内的被预定的名片和文本的类型(例如,姓名、电话号码、地址等等)识别名片。
当通过相机121检测名片时,控制器180识别在检测到的名片上描述的信息(名片信息)(S22),并且在预定的时间(例如,3秒钟)内在显示单元151上显示识别的信息(名片信息)。用户可以改变预定的时间(例如,3秒钟)。例如,控制器180将识别的名片信息6-1与事先存储在存储单元(存储器)160中的名片列表进行比较,并且当作为比较的结果,在事先存储的名片上不存在识别的名片信息6-1时,可以将识别的名片信息6-1附加到存储单元(存储器)160中的名片列表。另一方面,控制器180可以将识别的名片信息6-1与事先存储在存储单元(存储器)160中的名片列表进行比较,并且当作为比较的结果,在事先存储的名片列表上存在识别的名片信息6-1时,可以自动地删除识别的名片信息6-1并且同时可以在显示单元151上显示警告用户在事先存储的名片列表上存在识别的名片信息6-1的警告信息。
当将识别的名片信息6-1存储在存储单元(存储器)160中时,控制器180可以将关于识别名片信息6-1的日期的信息和识别名片信息6-1的地点的信息一起存储在存储单元160中。当将识别的名片信息6-1与关于识别名片信息6-1的日期的信息和关于识别名片信息6-1的地点的信息一起存储在存储单元(存储器)160中时,控制器180可以在存储单元160中存储在从检测到名片信息6-1的时间点到存储名片信息6-1的时间点的时段期间产生的语音。
当通过相机121检测名片时,控制器180将在从检测到名片的开始时间点开始的预定时间(例如,10秒钟)内通过相机121捕获到的图像存储在存储单元(存储器)160中(S23)。当通过相机121检测名片时,控制器180可以在存储单元(存储器)160中存储在检测到名片的开始时间点之前的10秒钟(预定时间)内,和在检测到名片的开始时间点之后的10秒钟(预定时间)内通过相机121捕获到的图像。
在从检测到名片6-1的时间点开始的预定时间(例如,10秒钟)内,控制器180通过面部识别程序从存储在存储单元(存储器)160中的图像识别与名片(例如,第一对象,诸如名片、建筑物、产品等等)相关联的面部(例如,与诸如名片、建筑物、产品等等的第一对象相关联的第二对象)(S24)。
控制器180确定是否识别的面部的数目是两个或者更多个(S25)。例如,在从检测到名片6-1的时间点开始的预定时间(例如,10秒钟)内,控制器180确定是否从存储在存储单元(存储器)160中的图像识别的面部的数目是1或者2或者更大。
当识别的面部的数目是2或者更大时,控制器180在显示单元151上显示两个或者更多个面部,并且当用户从显示的两个或者更多个面部当中选择任意一个显示的面部(S26)时,将所选择的面部和识别的名片信息6-1一起存储在存储单元160中(S27)。
图10是图示根据本发明的第二实施例的选择面部的过程的图。
如在图10中所图示,当识别的面部的数目是2或者更大时,控制器180在显示单元151上显示两个或者更多个面部7-1(A)和10-1(B),并且当用户从显示的两个或者更多个面部7-1(A)和10-1(B)中选择面部7-1(A)时,将所选择的面部(例如,面部7-1(A))与识别的名片信息6-1一起存储在存储单元160中。
当在从检测到名片6-1的时间点开始的预定时间(例如,10秒钟)内通过面部识别程序从存储在存储单元(存储器)160中的图像识别一张脸时,控制器180将一个这样的脸识别为某人A的脸,并且识别的脸7-1与识别的信息(名片)6-1一起存储在存储单元160中(S28)。
当多个识别的名片和多个识别的脸存在时,控制器180在显示单元151上显示多条识别的名片信息和多个识别的脸中的任意一个,并且当从多个识别的脸当中选择任意一个识别的脸时,将所选择的脸和识别的名片信息中的任意一条作为一个名片存储在存储单元160中。当多个识别的名片和多个识别的脸存在时,控制器180在显示单元151上显示多个识别的脸和多条识别的名片信息中的任意一个,并且当从多个识别的名片信息当中选择任意一条识别的名片信息时,将所选择的名片信息和任意一个识别的脸作为一个名片存储在存储单元160中。
当在从检测到名片的时间点开始的预定时间内在存储在存储单元(存储器)160中的图像中存在多张脸时,根据第二实施例的用于眼镜式终端的信息提供设备和信息提供方法能够快速地、容易地选择和注册与名片信息相对应的脸。
图11是根据本发明的第三实施例的用于在眼镜式终端中使用的信息提供方法。
首先,控制器180确定是否激活名片(S31)。例如,当通过相机121识别事先注册的用户(用户自己)的名片时,控制器180自动地激活名片模式。控制器180通过日程管理程序定期地搜寻日程。当作为搜寻日程的结果,发现在经过预定的时间(例如,10至20分钟)之后(例如,在约好之前的20分钟)预定的日程将会出现时,控制器180可以自动地激活名片模式。当识别预定的语音(例如,“名片”、“商业识别”等等)时,控制器180可以激活名片模式。当用户从显示单元151上的菜单中选择名片模式时,控制器180可以激活名片模式。
当名片模式被激活时,控制器180以相机121实时拍摄摄影主题的方式控制相机121并且从拍摄的摄影主题检测名片。例如,当名片模式被激活时,控制器180通过对象识别程序从通过相机121实时捕获的图像中实时检测名片。控制器180可以基于在通过相机121实时捕获的图像内的被预先确定的名片的类型和文本(例如,姓名、电话号码、地址等等)识别名片。
当通过相机121检测名片时,控制器180识别在检测到的名片上描述的信息(名片信息)(S32),并且在预定的时间(例如,3秒钟)内在显示单元151上显示识别的信息(名片信息)6-1。用户可以改变预定的时间(例如,3秒钟)。例如,控制器180将识别的名片信息6-1与事先存储在存储单元(存储器)160中的名片列表进行比较,并且当作为比较的结果,在事先存储的名片列表上不存在识别的名片信息6-1时,可以将识别的名片信息6-1附加到存储单元(存储器)160中的名片列表。另一方面,控制器180可以将识别的名片信息6-1与事先存储在存储单元(存储器)160中的名片列表进行比较,并且当作为比较的结果,在事先存储的名片列表上存在识别的名片信息6-1时,可以自动地删除识别的名片信息6-1并且同时在显示单元151上显示警告用户在事先存储的名片列表上存在识别的名片信息6-1的警告信息。
当将识别的名片信息6-1存储在存储单元(存储器)160中时,控制器180可以将关于识别名片信息6-1的日期的信息和识别名片信息6-1的地点的信息一起存储在存储单元160中。当在存储单元(存储器)160中存储识别的名片信息6-1时,与关于识别名片信息6-1的日期的信息和关于识别名片信息6-1的地点的信息一起,控制器180可以在存储单元160中存储在从检测到名片信息6-1的时间点到存储名片信息6-1的时间点的时段期间产生的语音。
当通过相机121检测名片时,控制器180将在从检测到名片的开始时间点开始的预定时间(例如,10秒钟)内通过相机121捕获到的图像存储在存储单元(存储器)160中(S33)。当通过相机121检测名片时,控制器180可以在存储单元(存储器)160中存储在检测到名片的开始时间点之前的10秒钟(预定时间)内,和在检测名片的开始时间点之后的10秒钟(预定时间)内通过相机121捕获到的图像。用户可以改变预定的时间(例如,10秒钟)。
例如,在从检测到名片6-1的时间点开始的预定时间(例如,10秒钟)内控制器180通过面部识别程序从存储在存储单元(存储器)160中的图像识别脸。
当从存储在存储单元(存储器)160中的图像识别面部时,控制器180将识别的脸7-1与识别的名片信息6-1一起存储在存储单元160中(S35)。
例如,当在从检测到名片6-1的时间点开始的预定时间(例如,10秒钟)内从存储在存储单元(存储器)160中的图像没有识别脸时,控制器180输出指示用户拍摄与识别的名片信息相对应的脸的指令信息(S36)。例如,当在检测到名片6-1的时间点开始的预定时间(例如,10秒钟)内从存储在存储单元(存储器)160中的图像没有识别脸时,控制器180生成指示用户拍摄与识别的名片信息相对应的脸的指令信息(例如“再一次看名片的拥有者”),并且在显示单元151上显示生成的指令信息。当在从检测到名片6-1的时间点开始的预定时间(例如,10秒钟)内从存储在存储单元(存储器)160中的图像中没有识别面部时(当面部识别失败时),控制器180可以生成指示用户拍摄与识别的名片信息相对应的面部的指令信息(例如“再一次看名片的拥有者”)并且可以通过音频输出模块152以语音格式输出生成的指令信息。
图12是图示根据本发明的第三实施例的指令信息的图。
如在图12中所图示,当在从检测到名片6-1的时间点开始的预定时间(例如,10秒钟)内从存储在存储单元(存储器)160中的图像中没有识别面部时(当面部识别失败时),控制器180生成指示用户再次拍摄与识别的名片信息相对应的面部的指令信息(例如“再一次看名片的拥有者”12-1)并且在显示单元151上显示生成的指令信息12-1。
控制器180以从指令信息12-1被显示在显示单元151上的时间点开始的预定时间(例如,3至5秒钟)内相机121自动地拍摄摄影主题的方式控制相机121,并且从被拍摄的摄影主题中识别面部12-2(S37)。然后控制器180在显示单元151上显示识别的面部12-2并且将识别的面部12-2与识别的名片信息6-1一起存储在存储单元160中。当接收到预定的语音、与显示在显示单元151上的相对应的指令信息12-1或者特定的按钮被按下时,控制器180可以在从接收到预定的语音或者特定的按钮被按下的时间点开始的预定时间(例如,3至5秒钟)内拍摄摄影主题,并且可以从被拍摄的摄影主题识别面部12-2。
当从根据指令信息12-1拍摄的摄影主题没有识别面部时,控制器180可以停用名片模式,并且同时,可以在显示单元151上显示指示面部没有被识别的警告信息。
因此,根据本发明的第三实施例的用于眼镜式终端的信息提供设备和信息提供方法能够通过指示用户再次拍摄与名片信息相对应的面部来注册(保存)名片信息和与名片信息相对应的面部。
如上所述,根据本发明的实施例的用于眼镜式终端的信息提供设备,和用于在眼镜式终端中使用的信息提供方法不仅能够容易地、快速地激活名片模式,而且能够容易地、快速地注册(存储)某人的所期待的名片和所期待的面部。
当在从检测到名片的时间点开始的预定时间内存储在存储单元(存储器)160中的图像中存在多个面部时,根据实施例的信息提供设备和信息提供方法能够快速地、容易地选择和注册与名片信息相对应的面部。
根据本发明的实施例的用于眼镜式终端的信息提供设备和信息提供方法能够通过指示用户再次拍摄与名片信息相对应的面部来注册(存储)名片信息和与名片信息相对应的面部。
另外,根据本说明书中公开的一个实施例,可以通过在存储程序的介质中存储为处理器可读代码来实现在上面描述的方法。ROM、RAM、CD-ROM、磁带、软盘、光数据存储设备等等是计算机可读介质的示例,并且可以以载波(例如,通过互联网的传输)的形式实现计算机可读介质。
前述的实施例和优点仅是示例性的并且没有被认为是限制本公开。本教导能够被容易地应用于其他类型的装置。此描述旨在是说明性的,并且没有限制权利要求的范围。对本领域的技术人员来说,许多替选、修改、以及变化将是显然的。可以以各种方式来组合在此描述的实施例的特征、结构、方法和其他特性以获得附加的和/或可替选的示例性实施例。
因为在没有脱离其特征的情况下可以以多种方式来实现本特征,因此也应理解的是,上述实施例不受前述的描述的任何详情的限制,除非另外明文规定,而是应该在所附的权利要求中定义的其范围内广泛地解释,并且因此所有落入在权利要求的边界和范围内、或者这样的边界和范围的等同物内的变化和修改旨在被所附的权利要求包含。

Claims (20)

1.一种眼镜式终端,包括:
主体,所述主体具有可安装在用户的头部的框架;
相机,所述相机被排列在所述框架上;
存储器;
显示单元,所述显示单元被布置在所述框架上;以及
控制器,所述控制器被配置为:
使所述相机捕获图像;
在所述图像中检测第一对象;
识别包括有所述第一对象的信息;
从检测到所述第一对象的时间中的开始点开始的预先确定的时间期间捕获的图像中检测第二对象;
当检测到所述第二对象时,将识别的信息和所述第二对象存储在所述存储器中,以及
其中,所述第二对象与所存储的识别的信息相关联,以及
其中,如果识别的面部的数目是两个或者更多个,则所述控制器控制所述显示单元显示两个或更多个面部用于接收选择,并且控制所述存储器与所述识别的信息一起存储所选择的面部,
其中,所述控制器进一步被配置为:
当没有检测到所述第二对象时,在所述显示单元上显示要输出的指令信息,所述指令信息指示拍摄与所述识别的信息相对应的所述第二对象;
使得所述相机从所述指令信息被显示在所述显示单元上的时间点开始的预定时间捕获图像;
在所述显示单元上显示从所述捕获图像检测到的所述第二对象;以及
存储所述识别的信息和所述第二对象。
2.根据权利要求1所述的眼镜式终端,其中,所述控制器进一步被配置为当所述终端处于对象识别模式时使所述相机重复捕获图像并且在所述图像中检测所述第一对象,其中所述图像是重复捕获的图像中的一个。
3.根据权利要求2所述的眼镜式终端,其中,所述第一对象是名片、建筑物、或者产品。
4.根据权利要求2所述的眼镜式终端,进一步包括显示器,其中,所述控制器进一步被配置为:当
在经由所述相机捕获的图像中识别到注册的对象;
即将到来的事件被安排为在阈值时间段内出现;
识别到语音命令;或者
从显示在所述显示器上的菜单中选择用于所述对象识别模式的菜单选项时,
激活所述对象识别模式。
5.根据权利要求3所述的眼镜式终端,其中,所述控制器进一步被配置为当所述识别的信息尚未存储在对象列表中时,将所述识别的信息存储在所述存储器中存储的所述对象列表中。
6.根据权利要求3所述的眼镜式终端,进一步包括显示器,其中,所述控制器进一步被配置为:
当所述识别的信息已经被存储在对象列表中时丢弃所述识别的信息;并且
使所述显示器显示指示所述识别的信息已经被存储在所述对象列表中的警告。
7.根据权利要求1所述的眼镜式终端,其中,所述控制器进一步被配置为存储分别与何时捕获第一图像和在何处捕获所述第一图像有关的日期信息和位置信息,其中所存储的日期信息和所存储的位置信息与所存储的图像和所存储的所述识别的信息相关联。
8.根据权利要求7所述的眼镜式终端,进一步包括麦克风,其中,所述控制器进一步被配置为存储在所述第一图像被捕获之后并且直到所述识别的信息被存储时通过所述麦克风捕获的音频信息。
9.根据权利要求1所述的眼镜式终端,其中:
所捕获的第一图像进一步包括至少第三对象;并且
从所捕获的第一图像选择所述第一对象以存储包括所述第一对象的所述识别的信息。
10.根据权利要求1所述的眼镜式终端,其中:
所捕获的至少第二图像进一步包括与所述识别的信息相关联的至少第三对象;并且
从要被存储的所捕获的至少第二图像中选择所述第二对象。
11.根据权利要求1所述的眼镜式终端,进一步包括显示器,其中,所述控制器进一步被配置为当在较早捕获的至少第二图像中没有检测到所述第二对象时使所述显示器显示警告以重新捕获包括所述第二对象的所述至少第二图像。
12.根据权利要求11所述的眼镜式终端,其中,所述控制器进一步被配置为在所述警告被显示之后激活所述相机以重复捕获至少第二图像。
13.一种用于控制具有显示单元的眼镜式终端的方法,所述方法包括:
经由所述眼镜式终端的相机捕获第一图像,所述第一图像包括第一对象;
识别包括有所述第一对象的信息;
从检测到所述第一对象的时间中的开始点开始的预先确定的时间期间捕获的图像中检测第二对象;
当检测到所述第二对象时,将识别的信息和所述第二对象存储在存储器中,并且其中,所述第二对象与所存储的识别的信息相关联,
当没有检测到所述第二对象时,显示要输出的指令信息,所述指令信息指示拍摄与所述识别的信息相对应的所述第二对象;
从所述指令信息被显示的时间点开始的预定时间捕获图像;
在所述显示单元上显示从所述捕获图像检测到的所述第二对象;以及
存储所述识别的信息和所述第二对象,并且
其中,如果识别的面部的数目是两个或者更多个,则显示两个或更多个面部用于接收选择,并且与所述识别的信息一起存储所选择的面部。
14.根据权利要求13所述的方法,进一步包括:
当所述终端是处于对象识别模式时,激活所述相机以重复捕获图像;和
响应于下述激活所述对象识别模式:
在经由所述相机捕获的图像中识别注册的对象;
识别语音命令;或者
响应于接收到对显示的菜单的选择来选择用于所述对象识别模式的菜单选项。
15.根据权利要求13所述的方法,进一步包括:当所述识别的信息尚未存储在对象列表中时,将所述识别的信息存储在被存储在所述存储器中的所述对象列表中。
16.根据权利要求13所述的方法,进一步包括:存储分别与何时捕获所述第一图像和在何处捕获所述第一图像有关的日期信息和位置信息,其中,所存储的日期信息和所存储的位置信息与所存储的图像和所存储的所述识别的信息相关联。
17.根据权利要求13所述的方法,进一步包括:存储在所述第一图像被捕获之后并且直到所述识别的信息被存储时通过所述眼镜式终端的麦克风捕获的音频信息。
18.根据权利要求13所述的方法,其中,所捕获的第一图像进一步包括至少第三对象;并且
从所捕获的第一图像选择所述第一对象以存储包括有所述第一对象的所述识别的信息。
19.根据权利要求13所述的方法,其中,所捕获到的至少第二图像进一步包括与所述识别的信息相关联的至少第三对象;所述方法进一步包括接收从要被存储的所捕获的至少第二图像中选择所述第二对象的输入。
20.根据权利要求13所述的方法,进一步包括:
当在较早捕获的至少第二图像中没有检测到所述第二对象时,显示警告以重新捕获包括所述第二对象的所述至少第二图像;和
在所述警告被显示之后激活所述相机以重复捕获所述至少第二图像。
CN201410392286.2A 2013-08-09 2014-08-11 眼镜式终端的信息提供设备和信息提供方法 Expired - Fee Related CN104349154B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2013-0094949 2013-08-09
KR1020130094949A KR20150018264A (ko) 2013-08-09 2013-08-09 안경형 단말기의 정보 제공 장치 및 그 방법

Publications (2)

Publication Number Publication Date
CN104349154A CN104349154A (zh) 2015-02-11
CN104349154B true CN104349154B (zh) 2017-11-14

Family

ID=51454511

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410392286.2A Expired - Fee Related CN104349154B (zh) 2013-08-09 2014-08-11 眼镜式终端的信息提供设备和信息提供方法

Country Status (4)

Country Link
US (1) US9761050B2 (zh)
EP (1) EP2835764A3 (zh)
KR (1) KR20150018264A (zh)
CN (1) CN104349154B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015207181A (ja) * 2014-04-22 2015-11-19 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP6418820B2 (ja) * 2014-07-07 2018-11-07 キヤノン株式会社 情報処理装置、表示制御方法、及びコンピュータプログラム
US10261579B2 (en) * 2014-09-01 2019-04-16 Samsung Electronics Co., Ltd. Head-mounted display apparatus
WO2016182090A1 (ko) * 2015-05-08 2016-11-17 엘지전자 주식회사 안경형 단말기 및 이의 제어방법
WO2017001146A1 (en) * 2015-06-29 2017-01-05 Essilor International (Compagnie Générale d'Optique) A scene image analysis module
CN105741715A (zh) * 2015-12-30 2016-07-06 南京奥拓电子科技有限公司 一种广告机人机互动方法
KR101885741B1 (ko) * 2016-02-02 2018-08-06 주식회사 얍컴퍼니 시각적 콘텐츠의 객체 인식 장치 및 방법
CN105791305B (zh) * 2016-03-31 2019-03-29 努比亚技术有限公司 一种数据处理方法及设备
TWI614729B (zh) * 2016-05-18 2018-02-11 華冠通訊股份有限公司 虛擬實境顯示裝置的威脅警示系統及其威脅警示方法
US10547776B2 (en) 2016-09-23 2020-01-28 Apple Inc. Devices, methods, and graphical user interfaces for capturing and recording media in multiple modes
CN107508989B (zh) * 2017-08-25 2020-08-11 北京小米移动软件有限公司 信息记录的方法、装置及系统
KR102490630B1 (ko) * 2017-12-26 2023-01-20 엘지디스플레이 주식회사 접안 렌즈를 포함하는 디스플레이 장치
KR102166359B1 (ko) * 2018-08-30 2020-10-15 한국전자통신연구원 스마트 글래스 및 이의 선별적 시각 인지대상 트래킹 방법
US11250456B2 (en) * 2018-10-10 2022-02-15 Adroit Worldwide Media, Inc. Systems, method and apparatus for automated inventory interaction
CN112946885A (zh) * 2019-12-10 2021-06-11 财团法人金属工业研究发展中心 近眼显示与取像头戴装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013507A (zh) * 2006-01-30 2007-08-08 日本电气株式会社 三维处理装置、信息终端、计算机程序和三维处理方法
CN102172014A (zh) * 2009-11-13 2011-08-31 日本胜利株式会社 影像处理装置及影像处理方法
CN102238282A (zh) * 2010-05-06 2011-11-09 Lg电子株式会社 能够提供多层游戏的移动终端及其操作方法
CN102446007A (zh) * 2010-09-07 2012-05-09 索尼公司 信息处理设备、程序和控制方法
CN102457617A (zh) * 2010-10-18 2012-05-16 Lg电子株式会社 移动终端以及在其中管理对象相关信息的方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100689419B1 (ko) * 2004-05-28 2007-03-08 삼성전자주식회사 카메라를 구비한 이동 단말에서 촬영 이미지 합성 장치 및방법
US20080029608A1 (en) * 2006-03-13 2008-02-07 Patent Navigation Inc. Biometric session activation and control for a transaction card
DE202008002980U1 (de) * 2008-03-03 2008-09-18 Linguatec Sprachtechnologien Gmbh System zur Datenkorrelation und Mobilendgerät dafür
JP4875117B2 (ja) 2009-03-13 2012-02-15 株式会社東芝 画像処理装置
US20130169536A1 (en) 2011-02-17 2013-07-04 Orcam Technologies Ltd. Control of a wearable device
US8724853B2 (en) * 2011-07-18 2014-05-13 Google Inc. Identifying a target object using optical occlusion
US8581738B2 (en) * 2011-08-25 2013-11-12 Sartorius Stedim Biotech Gmbh Assembling method, monitoring method, and augmented reality system used for indicating correct connection of parts
WO2013049248A2 (en) 2011-09-26 2013-04-04 Osterhout Group, Inc. Video display modification based on sensor input for a see-through near-to-eye display

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013507A (zh) * 2006-01-30 2007-08-08 日本电气株式会社 三维处理装置、信息终端、计算机程序和三维处理方法
CN102172014A (zh) * 2009-11-13 2011-08-31 日本胜利株式会社 影像处理装置及影像处理方法
CN102238282A (zh) * 2010-05-06 2011-11-09 Lg电子株式会社 能够提供多层游戏的移动终端及其操作方法
CN102446007A (zh) * 2010-09-07 2012-05-09 索尼公司 信息处理设备、程序和控制方法
CN102457617A (zh) * 2010-10-18 2012-05-16 Lg电子株式会社 移动终端以及在其中管理对象相关信息的方法

Also Published As

Publication number Publication date
US9761050B2 (en) 2017-09-12
CN104349154A (zh) 2015-02-11
KR20150018264A (ko) 2015-02-23
EP2835764A3 (en) 2015-02-25
EP2835764A2 (en) 2015-02-11
US20150042543A1 (en) 2015-02-12

Similar Documents

Publication Publication Date Title
CN104349154B (zh) 眼镜式终端的信息提供设备和信息提供方法
CN104823434B (zh) 移动终端及其控制方法
US11095808B2 (en) Terminal and method for controlling the same
CN104427372B (zh) 可佩戴的手表式终端和装备有可佩戴的手表式终端的系统
CN104469132B (zh) 移动终端和该移动终端的控制方法
CN104281402B (zh) 移动终端及其控制方法
CN104423878B (zh) 显示装置以及控制该显示装置的方法
US10318007B2 (en) Head mounted display device for multi-tasking and method for controlling same
CN104423580B (zh) 可穿戴的眼镜型终端及其控制方法、具有该终端的系统
CN104049740B (zh) 移动终端及其控制方法
CN104052866B (zh) 移动终端和控制移动终端的方法
EP3096506A2 (en) Watch-type mobile terminal and method of controlling therefor
CN104301709B (zh) 眼镜型便携式设备及其信息投影面搜索方法
CN106303406A (zh) 移动终端
EP2866131A1 (en) Mobile terminal and method of controlling the same
CN104423573A (zh) 显示装置及其操作方法
US20190043038A1 (en) Mobile device and control method therefor
CN105359084B (zh) 显示装置及其控制方法
KR102135365B1 (ko) 안경형 단말기 및 안경형 단말기와 사이니지를 포함하는 시스템
CN104298573B (zh) 移动终端及其控制方法
EP2757490A1 (en) Mobile Terminal and Control Method Thereof
US10764528B2 (en) Mobile terminal and control method thereof
KR20150085401A (ko) 안경형 단말기 및 안경형 단말기와 사이니지를 포함하는 시스템
KR101638922B1 (ko) 이동단말기 및 그 제어방법
CN105264873B (zh) 终端及其控制方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20171114

Termination date: 20200811

CF01 Termination of patent right due to non-payment of annual fee