CN111837377A - 移动终端及其制造方法 - Google Patents

移动终端及其制造方法 Download PDF

Info

Publication number
CN111837377A
CN111837377A CN201980004738.6A CN201980004738A CN111837377A CN 111837377 A CN111837377 A CN 111837377A CN 201980004738 A CN201980004738 A CN 201980004738A CN 111837377 A CN111837377 A CN 111837377A
Authority
CN
China
Prior art keywords
information
mobile terminal
position information
communication
stored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980004738.6A
Other languages
English (en)
Other versions
CN111837377B (zh
Inventor
姜在龙
甘旻更
金锺设
沈杳燮
吴炫周
张普美
赵在矶
千东气
许慈喜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN111837377A publication Critical patent/CN111837377A/zh
Application granted granted Critical
Publication of CN111837377B publication Critical patent/CN111837377B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/903Querying
    • G06F16/9032Query formulation
    • G06F16/90332Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2457Query processing with adaptation to user needs
    • G06F16/24575Query processing with adaptation to user needs using context
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/587Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/907Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/909Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
    • H04W4/185Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals by embedding added-value information into content, e.g. geo-tagging
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34Microprocessors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/36Memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/38Displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/10Details of telephonic subscriber devices including a GPS signal receiver

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computing Systems (AREA)
  • Remote Sensing (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供一种移动终端,其特征在于,包括:用于接收移动终端的位置信息的GPS、与外部设备进行无线通信的无线通信部、与外部设备发生通信事件时存储所述通信信息的控制部;发生所述通信事件时,所述控制部将从所述GPS接收到的位置信息和所述通信信息匹配并存储;从用户接收到为了检索通信信息而输入的检索词时,所述控制部利用与已存储的通信信息匹配的位置信息和所述检索词,输出已存储的通信信息中与所述检索词对应的至少一个信息。

Description

移动终端及其制造方法
技术领域
本发明涉及包括人工智能部的移动终端及其控制方法。
背景技术
人工智能(artificial intelligence)是指,研究使计算机进行人类靠智能能做到的思考、学习、自我启发等的方法的计算机工学和信息技术的一个领域,意味着计算机能模仿人类的智能行动。
并且,人工智能不是独立存在的,而是与计算机科学的其他领域直接或者间接地牵涉很多关联。尤其现代,试图在信息技术的各个领域引入人工智能要素以解决该领域的问题的动向很活跃。
另外,以前利用人工智能认知用户所处的情况,将用户期待的信息按期待的形式提供的情境认知(Context Awareness)技术的研究很活跃。
随着所述情境认知技术的发达,同时对发挥适合于用户所处情况的功能的移动终端的需求正在增加。
发明内容
发明所要解决的问题
本发明的目的是解决所述问题和其他问题。另一个目的在于,能够利用位置相关关键词检索已存储的通信信息。
本发明的又另一个目的在于,能够同时利用位置相关关键词和时间相关关键词,检索已存储的通信信息。
解决问题的技术方案
为了达到如上所述的目的,本发明提供一种移动终端,其特征在于,包括:用于接收移动终端的位置信息的GPS、用于与外部设备进行无线通信的无线通信部以及与外部设备发生通信事件时存储所述通信信息的控制部;发生所述通信事件时,所述控制部将从所述GPS接收到的位置信息和所述通信信息匹配并存储;从用户接收为了检索通信信息而输入的检索词时,利用与已存储的通信信息匹配的位置信息和所述检索词,输出已存储的通信信息中与所述检索词对应的至少一个信息。
在一个实施例中,所述控制部从所述检索词中提取位置信息相关关键词,比较提取的关键词和与已存储的通信信息匹配的位置信息,输出所述已存储的通信信息中与所述检索词对应的至少一个信息。
在一个实施例中,与所述通信信息匹配的位置信息满足已设定的条件时,所述控制部将所述位置信息的代表名称和所述位置信息匹配并存储。
在一个实施例中,所述提取的关键词与已存储的代表名称中的任一个代表名称相同时,所述控制部将所述提取的关键词变换为与所述任一个代表名称对应的位置信息,比较变换的位置信息和与已存储的通信信息匹配的位置信息,输出所述已存储的通信信息中与所述检索词对应的至少一个信息。
在一个实施例中,在已设定的时间范围内,对同一个位置信息收集规定次数以上的信息时,所述控制部判断为满足所述已设定的条件,将所述位置信息的代表名称和所述位置信息匹配并存储。
在一个实施例中,所述控制部从所述通信信息中提取位置信息,将所述提取的位置信息与所述通信信息匹配并存储。
在一个实施例中,所述已存储的通信信息中至少一部分信息与多个位置信息匹配。
在一个实施例中,所述控制部从所述检索词中提取位置信息相关关键词,提取的关键词和所述多个位置信息中任一个位置信息相同时,输出与所述多个位置信息对应的通信信息。
在一个实施例中,所述控制部从所述检索词中分别提取位置信息相关关键词和时间信息相关关键词,输出所述已存储的通信信息中与所述已提取的关键词分别对应的信息。
在一个实施例中,所述控制部比较所述提取的位置信息相关关键词和与已存储的通信信息匹配的位置信息,提取所述已存储的通信信息的一部分通信信息,输出所述已提取的通信信息中与所述提取的时间相关关键词对应的信息。
在一个实施例中,满足已设定的条件时,所述控制部判断为从用户接收到检索词的输入,利用与已存储的通信信息匹配的位置信息和所述检索词,输出已存储的通信信息中与所述检索词对应的至少一个信息。
在一个实施例中,所述已设定的条件是运行特定应用程序的条件。
在一个实施例中,满足所述已设定的条件时,所述控制部从GPS收集位置信息,比较已收集的位置信息和与已存储的通信信息匹配的位置信息,输出已存储的通信信息中与所述已收集的位置信息对应的至少一个信息。
在一个实施例中,满足所述已设定的条件时,所述控制部收集当前时间信息,输出已存储的通信信息中与所述收集的位置信息对应的至少一个信息。
另外,本发明提供一种移动终端的控制方法。具体地,本发明的控制方法包括:与外部设备发生通信事件时,存储所述通信信息的步骤;发生所述通信事件发生时,从GPS收集所述移动终端的位置信息的步骤;将从所述GPS接收到的位置信息和所述通信信息匹配并存储的步骤;从用户接收到为了检索通信信息而输入的检索词时,利用与已存储的通信信息匹配的位置信息和所述检索词,输出已存储的通信信息中与所述检索词对应的至少一个信息的步骤。
发明效果
根据本发明,将用户能直观地想到的场所和时间作为检索词,能够检索用户的历史通话记录或者文本信息的接收/发送记录。
并且,根据本发明,因为同时存储发生通信事件时收集的位置信息和所述通信信息,所以能够提高随后存储的通信信息的利用性。
附图说明
图1a是说明本发明相关的移动终端的方框图。
图1b和1c是从不同方向看本发明相关的移动终端的一实施例的概念图。
图2是表示将通信信息和通信事件相关信息与其他信息匹配并存储的方法的概念图。
图3是表示在本发明一实施例的移动终端中检索通信信息和事件相关信息的状态的方框图。
图4是表示利用检索词包含的时间信息检索已存储的数据的一实施例的顺序图。
图5和图6是表示利用检索词包含的位置信息或者时间信息检索已存储的数据的一实施例的概念图。
图7是表示本发明的移动终端中提取与检索词包含的位置信息相关的关键词的一实施例的概念图。
图8是表示利用时间信息和位置信息检索已拍摄的图像的一实施例的概念图。
图9是表示没有用户的检索请求的情况下,也根据用户终端的使用模式检索特定信息后给用户提供的一实施例的概念图。
图10是表示利用已存储的文本信息给用户提供提醒的一实施例的顺序图。
图11a和11b是表示利用已存储的文本信息给用户提供提醒的一实施例的顺序图。
图12a和12b是表示两种以上的人工智能代理程序联动的状态的概念图。
图13是表示通过图像显示装置中设置的人工智能代理程序接收检索命令的输入并在移动终端进行检索的一实施例的概念图。
图14是表示通过移动终端中设置的人工智能代理程序接收检索命令的输入并在图像显示装置显示检索结果的一实施例的概念图。
具体实施方式
以下,参照附图详细说明本说明书中公开的实施例,与附图序号无关地,对于相同或者相似的构成要素赋予了相同的附图标记,省略对其的重复说明。在以下的说明中使用的构成要素的接尾词“模块”和“部”只是考虑便于撰写说明书而赋予或者混用的,其本身不能区别不同的意思或者不同的作用。并且,在说明本说明书中公开的实施例时,判断为对相关的公知技术的具体说明使本说明书中公开的实施例的要点变得模糊时,省略对其的详细说明。另外,应理解为附图只是用于容易理解本说明书中公开的实施例,并不限定本说明书中公开的技术性思想,包含在本发明的思想和技术范围内进行的所有变更、等同物和代替物。
包含第一、第二之类的序数的术语可以在说明多种构成要素时使用,但是,所述构成要素不会被所述术语限定。所述术语只是以将一个构成要素与其他构成要素进行区别为目的而使用。
当记载为某一构成要素“连结”或“连接”于其他构成要素时,可以直接连结或连接于其他构成要素,但也应理解为中间可以存在其他构成要素。相反,当记载为某一构成要素“直接连结”或“直接连接”于其他构成要素时,应理解为中间没有其他构成要素。
就单数的含义而言,在文章中没有明显的其他含义时包括多个的含义。
本申请中,“包括”或者“具有”等术语是指定说明书中记载的特征、数字、步骤、动作、构成要素、部件或者这些的组合的存在,应理解为不排除一个或者其以上的其他特征或者数字、步骤、动作、构成要素、部件或者这些的组合的存在或者追加的可能性。
本说明书中说明的移动终端包括:手机、智能手机(smart phone)、笔记本电脑(laptop computer)、数字广播用终端、PDA(personal digital assistants)、PMP(portable multimedia player)、导航仪、平板个人计算机(slate PC)、平板电脑(tabletPC)、超级笔记本(ultrabook)、可穿戴设备(wearable device,例如:智能手表(smartwatch)、智能眼镜(smart glass)、HMD(head mounted display))等。
然而,只要是本技术领域的技术人员就容易知道本说明书的实施例中的构成,除适用于移动终端的可能性之外,也可以适用于数字电视、台式电脑、数字标牌等固定终端。
参照图1a至图1c,图1a是说明本发明相关的移动终端的方框图,图1b和1c是表示从不同方向看本发明相关的移动终端的一实施例的概念图。
所述移动终端100可以包括无线通信部110、输入部120、人工智能部130、检测部140、输出部150、接口部160、存储部170、控制部180和供电部190等。图1a所示的构成要素不是实现移动终端的必要要素,本说明书中说明的移动终端可以具有比上面列举的构成要素更多或者更少的构成要素。
更具体地,所述构成要素中无线通信部110可以包括:能实现移动终端100和无线通信系统之间、移动终端100和其他移动终端100之间,或者移动终端100和外部服务器之间的无线通信的一个以上的模块。并且,所述无线通信部110可以包括将移动终端100连接于一个以上的网络的一个以上的模块。
这样的无线通信部110可以包括:广播接收模块111、移动通信模块112、无线网络模块113、近距离通信模块114、位置信息模块115中的至少一种。
输入部120可以包括:用于输入图像信号的摄像头121或者图像输入部、用于输入音频的麦克风(microphone)122或者音频输入部、用于从用户接收信息的输入的用户输入部123(例如触摸按键(touch key)、机械按键(mechanical key)等)。从输入部120收集的语音数据或者图像数据被分析之后可以处理为用户的控制命令。
人工智能部130起到基于人工智能技术处理信息的作用,可以包括进行学习信息、推论信息、感知信息、处理自然语言中的至少一种的一个以上的模块。
人工智能部130利用机器学习(machine running)技术,可以进行将移动终端内存储的信息、移动终端周边的环境信息、存储于可通信的外部存储部的信息等庞大的信息量(大数据(big data))学习、推论、处理中的至少一种。并且,人工智能部130利用通过所述机器学习学习到的信息,预测(或者推论)移动终端可执行的至少一种动作,并能够控制移动终端进行所述至少一种预测的动作中实现性最高的动作。
机器学习技术是根据至少一种算法,收集和学习大规模的信息,基于学习到的信息判断和预测信息的技术。学习信息是掌握信息的特征、规则、判断基准等,对信息与信息之间的关系进行定量化,利用定量化的模式预测新数据的动作。
这些机器学习技术使用的算法可以是基于统计学的算法,例如:使用树的结构作为预测模型的决策树(decision tree)、模仿生物神经网络结构和功能的人工神经网络(neural network)、基于生物进化算法的遗传编程(genetic programming)、将观测到的例子按照群集的部分集合进行分配的聚类(Clustering)、通过随机数将函数值作为概率计算的蒙特卡洛法(Monter carlo method)等。
作为机器学习技术的一个领域,深度学习技术是利用人工神经网络算法,对信息进行学习、判断、处理中的至少一种的技术。人工神经网络可以具有连接层和层之间并传递层和层之间的数据的结构。这样的深度学习技术利用最适合于并行计算的GPU(graphicprocessing unit)并通过人工神经网络可以学习庞大的信息量。
另外,人工智能部130为了收集可以适用机器学习技术的庞大的信息量,可以收集(感知、监控、提取、检测、接收)从移动终端的构成要素输入或者输出的信号、数据、信息等。并且,人工智能部130还可以收集(感知、监控、提取、检测、接收)通过通信连接的外部存储部(例如云服务器(cloud server))中存储的数据、信息等。更具体地,信息的收集可以理解为是包括通过传感器感知信息、提取存储部170中存储的信息、通过通信从外部存储部接收信息的动作的术语。
人工智能部130通过检测部140可以感知移动终端中的信息、围绕移动终端的周边环境信息和用户信息。并且,人工智能部130通过无线通信部110可以接收广播信号和/或广播相关信息、无线信号、无线数据等。并且,人工智能部130从输入部接收图像信息(或者信号)、音频信息(或者信号)、数据或者用户输入的信息。
这样的人工智能部130可以在后台实时收集庞大的信息量,学习这些信息,并将以适当的形式加工的信息(例如:知识图谱、指令政策、个性化数据库、对话引擎等)存储于存储部170。
另外,人工智能部130根据利用机器学习技术学习的信息,预测到移动终端的动作时,为了执行这些预测到的动作,向控制部180传递用于控制移动终端的构成要素,或者用于执行预测到的动作的控制命令。控制部180可以根据控制命令控制移动终端执行预测到的动作。
另外,执行特定动作时,人工智能部130通过机器学习技术分析表示特定动作的执行的历时信息,根据这些分析信息可以进行对已学习的信息的更新。由此,人工智能部130可以提高预测信息的准确度。
另外,本说明书中,人工智能部130和控制部180可以理解为是同一个构成要素。此时,在本说明书说明的控制部180中进行的功能也可以表现为在人工智能部130进行,控制部180可以命名为人工智能部130,或者相反,人工智能部130命名为控制部180也无妨。
与此不同,本说明书中,人工智能部130和控制部180可以理解为不同的构成要素。此时,人工智能部130和控制部180通过互相交换数据,在移动终端进行各种控制。控制部180根据从人工智能部130导出的结果,在移动终端进行至少一个功能,或者可以控制移动终端的至少一个构成要素。进一步,人工智能部130也可以在控制部180的控制下进行动作。
检测部140可以包括用于检测移动终端中的信息、围绕移动终端的周边环境信息和用户信息中的至少一种的一个以上的传感器。例如,检测部140可以包括:近距离传感器(proximity sensor)141、照度传感器(illumination sensor)142、触摸传感器(touchsensor)、加速度传感器(acceleration sensor)、磁传感器(magnetic sensor)、重力传感器(G-sensor)、陀螺仪(gyroscope sensor)、运动传感器(motion sensor)、RGB传感器、红外线传感器(IR传感器(infrared sensor))、手指扫描传感器(finger scan sensor)、超音波传感器(ultrasonic sensor)、光传感器(optical sensor,例如摄像头121)、麦克风122(microphone)、电池量表(battery gauge)、环境传感器(例如:气压计、湿度计、温度计、辐射探测传感器、热感应传感器、气体感应传感器等)、化学传感器(例如:电子鼻、保健传感器、生物传感器等)中至少一种。并且,本说明书中记载的移动终端可以组合利用从这些传感器中的至少两个以上的传感器检测到的信息。
输出部150用于产生视觉、听觉或者触觉等相关的输出,可以包括:显示部151、音频输出部152、触觉模块153、光输出部154中的至少一种。显示部151与触摸传感器可以构成为相互层叠结构或者一体型来实现触摸屏。这样的触摸屏起到在移动终端100和用户之间提供输入接口的用户输入部123功能的同时,可以在移动终端100和用户之间提供输出接口。
接口部160起到移动终端100和与之连接的各种外部设备之间的通道作用。这些接口部160可以包括:有线/无线耳麦端口(headset port)、外部充电器端口(port)、有线/无线数据端口(port)、存储部(memory)端口、连接具有识别模块的装置的端口(port)、音频I/O(Input/Output)端口(port)、视频I/O(Input/Output)端口(port)、耳机端口(earphoneport)中至少一种。在移动终端100中,随着外部设备与所述接口部160连接,可以进行与连接的外部设备相关的适当的控制。
另外,存储部170存储支持移动终端100的各种功能的数据。存储部170可以存储移动终端100中驱动的多个应用程序(application program或者APP(application))、用于移动终端100的动作的数据、各种指令、用于人工智能部130的动作的数据(例如用于机器学习的至少一种算法信息等)。这些应用程序中至少一部分可以通过无线通信从外部服务器下载。并且,这些应用程序中至少一部分为了移动终端100的基本功能(例如接电话/打电话功能、接收/发送短信功能)可以从出厂时就安装在移动终端100中。另外,应用程序存储于存储部170并设置在移动终端100上,被控制部180驱动而进行所述移动终端的动作(或者功能)。
控制部180除所述应用程序相关的动作之外,通常控制移动终端100的全部动作。控制部180可以通过处理经由上面提及的构成要素输入或者输出的信号、数据、信息等,或者驱动存储部170中存储的应用程序,来提供或者处理对用户合适的信息或者功能。
并且,控制部180为了驱动存储部170中存储的应用程序,可以控制如图1a所示的构成要素中的至少一部分。进一步,控制部180为了驱动所述应用程序,可以使移动终端100包括的构成要素中的至少两个以上组合动作。
供电部190在控制部180的控制下,接收外部电源、内部电源的施加,向移动终端100包括的各个构成要素供电。这样的供电部190可以包括电池,所述电池可以是内置型电池或者可更换电池。
所述各个构成要素中的至少一部分,为了实现以下说明的各个实施例的移动终端的动作、控制或者控制方法,可以互相协同动作。并且,所述移动终端的动作、控制或者控制方法,可以利用所述存储部170中存储的至少一种应用程序的驱动在移动终端实现。
以下,说明通过在上面介绍的移动终端100实现的各个实施例之前,先参照图1a更详细地说明上面列举的构成要素。
首先,说明无线通信部110。无线通信部110的广播接收模块111通过广播频道从外部的广播管理服务器接收广播信号和/或广播相关的信息。所述广播频道可以包括卫星频道、地面频道。为了对至少两个广播频道同时接收广播或者切换广播频道,可以在所述移动终端100提供两个以上的所述广播接收模块。
移动通信模块112在根据用于移动通信的技术标准或者通信方式(例如:GSM(Global System for Mobile Communication)、CDMA(Code Division Multi Access)、CDMA2000(Code Division Multi Access 2000)、EV-DO(Enhanced Voice-Data Optimizedor Enhanced Voice-Data Only)、WCDMA(Wideband CDMA)、HSDPA(High Speed DownlinkPacket access)、HSUPA(High Speed Uplink Packet Access)、LTE(Long TermEvolution)、LTE-A(Long Term Evolution-Advanced)等)构建的移动通信网中,与基站、外部的终端、服务器中的至少一种发送/接收无线信号。
所述无线信号可以包括发送/接收语音呼叫信号、视频通话呼叫信号或者文本/多媒体信息相关的各种形式的数据。
无线网络模块113是指用于连接无线网络的模块,可以内置或者外置在移动终端100。无线网络模块113在基于无线网络技术的通信网络中发送/接收无线信号。
无线网络技术例如有:WLAN(Wireless LAN)、Wi-Fi(Wireless Fidelity)、Wi-Fi(Wireless Fidelity)Direct、DLNA(Digital Living Network Alliance)、WiBro(Wireless Broadband)、WiMAX(Worldwide Interoperability for Microwave Access)、HSDPA(High Speed Downlink Packet Access)、HSUPA(High Speed Uplink PacketAccess)、LTE(Long Term Evolution)、LTE-A(LTE-advanced)等,所述无线网络模块113可以在包括上面没有列举的网络技术的范围内,利用至少一种无线网络技术发送/接收数据。
从利用WiBro、HSDPA、HSUPA、GSM、CDMA、WCDMA、LTE、LTE-A等的无线网络连接,通过移动通信网络来实现的观点来看,通过所述移动通信网络进行无线网络连接的所述无线网络模块113可以理解为是所述移动通信模块112的一种。
近距离通信模块114用于近距离通信(Short rang communication),可以利用蓝牙(BluetoothTM)、RFID(Radio Frequency IDentification)、红外线通信(Infrared DataAssociation;IrDA)、UWB(Ultra-WideBand)、ZigBee、NFC(Near Field Communication)、Wi-Fi(Wireless-Fidelity)、Wi-Fi Direct、Wireless USB(Wireless Universal SerialBus)技术中的至少一种支持近距离通信。这样的近距离通信模块114可以通过近距离无线通信网络(Wireless Universal Serial Bus)支持移动终端100和无线通信系统之间、移动终端100和其他移动终端100之间,或者移动终端100和设置其他移动终端100(或者外部服务器)的网络之间的无线通信。所述近距离无线通信网络可以是近距离无线个人通信网络(Wireless Personal Area Networks)。
在此,其他移动终端100可以是与本发明的移动终端100互相交换数据(或者可以联动)的可穿戴设备(wearable device,例如智能手表(smartwatch)、智能眼镜(smartglass)、HMD(head mounted display))。近距离通信模块114能感知(或者识别)在移动终端100周边与所述移动终端100可以通信的可穿戴设备。进一步,所述感知的可穿戴设备是通过认证而可以与本发明的移动终端100通信的装置时,控制部180可以将移动终端100中处理的数据中的至少一部分通过所述近距离通信模块114向可穿戴设备传送。因此,可穿戴设备的用户可以通过可穿戴设备利用移动终端100中处理的数据。例如,据此移动终端100接到电话时,用户可以通过可穿戴设备进行通话,或者移动终端100收到短信时,可以通过可穿戴设备确认所述收到的短信。
位置信息模块115是用于获得移动终端的位置(或者当前位置)的模块,其典型的例子有GPS(Global Positioning System)模块,或者Wi-Fi(Wireless-Fidelity)模块。例如,移动终端利用GPS模块时,可以通过从GPS卫星发送的信号可以获得移动终端的位置。作为其他例子,移动终端利用Wi-Fi模块时,可以根据与Wi-Fi模块发送或者接收无线信号的无线AP(Wireless Access Point)的信息获得移动终端的位置。根据需要,位置信息模块115为了得到移动终端的位置相关的数据,可以置换或者附加地执行无线通信部110的其他模块中的任意功能。位置信息模块115是为了获得移动终端的位置(或者当前位置)而利用的模块,不限定于直接计算或者获得移动终端位置的模块。
其次,输入部120用于输入图像信息(或者信号)、音频信息(或者信号)或者用户输入的信息,为了输入图像信息,移动终端100可以具有一个或者多个摄像头121。摄像头121处理视频通话模式或者摄影模式中通过图像传感器得到的静态图像或者动态图像等的图像帧。通过处理的图像帧可以在显示部151显示或者在存储部170中存储。另外,移动终端100具有的多个摄像头121可以以矩阵结构配置,通过配置成矩阵结构的摄像头121,可以向移动终端100输入具有各种角度或者焦点的多个图像信息。另外,多个摄像头121可以配置为立体结构,以获得实现立体图像的左图像和右图像。
麦克风122将外部音频信号处理为电子音频数据。通过处理的音频数据可以根据在移动终端100进行中的功能(或者运行中的应用程序)以各种形式利用。另外,在麦克风122可以设置去除各种噪声的算法,用于去除在接收外部音频信号的过程中产生的噪声(noise)。
用户输入部123用于接收用户输入的信息,通过用户输入部123输入信息时,控制部180可以控制移动终端100使其进行与输入的信息对应的动作。这样的用户输入部123可以包括机械式(mechanical)输入手段(或者机械按键,例如位于移动终端100的正面、背面或者侧面的按键,锅仔片(dome switch)、转轮(jog wheel)、轻摇开关(jog switch)等)和触摸式输入手段。作为一例,触摸式输入手段可以由通过软件处理在触摸屏显示的虚拟键(virtual key)、软键(soft key)或者可视键(visual key)来实现,或者由在所述触摸屏之外的部分配置的触摸按键(touch key)来实现。另外,所述虚拟键或者可视键可以具有各种形式的同时,能够在触摸屏显示,例如由图表(graphic)、文本(text)、图标(icon)、视频(video)或者这些的组合来实现。
另外,检测部140检测移动终端中的信息、围绕移动终端的周边环境的信息和用户信息中的至少一种,并产生与此对应的感知信号。控制器180基于这些感知信号控制移动终端100的驱动或者动作,或者进行移动终端100中安装的应用程序相关的数据处理、功能或者动作。下面,更详细地说明可以包括在检测部140的各种传感器中的典型的传感器。
首先,近距离传感器141是指,利用电磁场的力或者红外线等,在没有机械性接触的情况下检测有没有与规定检测表面接近的物体,或者附近有没有存在物体的传感器。这些近距离传感器141可以设置在上述的被触摸屏覆盖的移动终端内部区域,或者所述触摸屏的附近。
近距离传感器141例如有:透射型光电传感器、直接反射型光电传感器、镜反射型光电传感器、高频振荡型近距离传感器、静电容量型近距离传感器、磁性近距离传感器、红外线近距离传感器等。触摸屏为静电式触摸屏时,近距离传感器141根据导电性物体的靠近而产生的电场的变化来检测所述物体的靠近。此时触摸屏(或者触摸传感器)本身可以是近距离传感器的一种。
另外,为了便于说明,将物体靠近但不触摸触摸屏而被识别为所述物体位于所述触摸屏上方的行为命名为“近距离触摸(proximity touch)”,将所述物体实际接触所述触摸屏的行为命名为“接触触摸(contact touch)”。物体与所述触摸屏近距离触摸的位置是指,所述物体近距离触摸时,所述物体相对所述触摸屏垂直对应的位置。所述近距离传感器141可以感知近距离触摸、近距离触摸模式(例如:近距离触摸距离、近距离触摸方向、近距离触摸速度、近距离触摸时间、近距离触摸位置、近距离触摸移动状态等)。另外,如上所述,控制部180处理与通过近距离传感器141感知的近距离触摸动作和近距离触摸模式相应的数据(或者信息),进一步,可以在触摸屏上输出与已处理的数据对应的视觉性信息。进一步,控制部180根据对触摸屏的同一位置的触摸是近距离触摸还是接触触摸来控制移动终端100,使其进行不同的动作或者数据(或者信息)。
触摸式传感器利用电阻膜方式、静电容量方式、红外线方式、超音波方式、磁场方式等各种触摸方式中的至少一种,感知对触摸屏(或者显示部151)施加的触摸(或者触摸输入)。
作为一实施例,触摸传感器可以将对触摸屏的特定部位施加的压力或者在特定部位产生的静电容量等的变化变换为电信号输入。另外,触摸传感器可以检测对触摸屏施加触摸的触摸对象体在触摸传感器上触摸的位置、面积、触摸时的压力、触摸时的静电容量等。在此,触摸对象体是对所述触摸传感器施加触摸的物体,例如手指、触摸笔或者铁笔(Stylus pen)、光标等。
如上所述,对触摸传感器进行触摸输入时,与其对应的信号或者多个信号被发送到触摸控制器。触摸控制器处理这些信号之后,将对应的数据传送到控制部180。由此,控制部180可以确认显示部151的哪个区域被触摸等。在此,触摸控制器可以是除控制部180之外另行设置的构成要素,也可以是控制部180本身。
另外,控制部180可以根据触摸触摸屏(或者除触摸屏之外具有的触摸按键)的触摸对象体的种类执行不同的控制,或者执行相同的控制。根据触摸对象体的种类要执行不同的控制还是执行相同的控制,可以根据移动终端100的当前动作状态或者运行中的应用程序来决定。
另外,在上面说明的触摸传感器和近距离传感器可以独立或者组合起来检测对触摸屏的短(轻触)触摸(short touch)、长触摸(long touch)、多点触摸(multi touch)、拖拽触摸(drag touch)、轻弹触摸(flick touch)、镶嵌触摸(pinch-in touch)、尖灭触摸(pinch-out touch)、滑动触摸(swype)、悬停(hovering)触摸等各种方式的触摸。
超声波传感器利用超声波识别感知对象的位置信息。另外,控制部180可以通过光传感器和多个超音波传感器感知的信息计算出波产生源的位置。波产生源的位置的计算可以利用光比超声波传播速度更快的性质,即光到达光传感器的时间比超声波到达超声波传感器的时间更快的特性。更具体地,以光为基准信号,利用光到达的时间与超声波到达的时间差计算出波产生源的位置。
另外,从输入部120的构成来看,摄像头121包括摄像传感器(例如CCD、CMOS等)、光传感器(或者图像传感器)和激光传感器中的至少一种。
摄像头121和激光传感器互相结合可以感知对三维立体图像的感知对象的触摸。光传感器可以与显示元件层叠,这种光传感器可以扫描靠近触摸屏的感知对象的移动。更具体地,光传感器在行/列安装光电二极管(Photo Diode)和TR(Transistor),并根据因对光电二极管施加的光量而变化的电信号,扫描光传感器上放置的内容物。即,光传感器进行与光的变化量对应的感知对象的坐标计算,并通过这种计算获得感知对象的位置信息。
显示部151显示(输出)移动终端100中处理的信息。例如,显示部151可以显示移动终端100中驱动的应用程序的运行画面信息,或者这些运行画面信息相关的UI(UserInterface)、GUI(Graphic User Interface)信息。
并且,所述显示部151可以由显示立体图像的立体显示部构成。
所述立体显示部可以采用立体方式(眼镜方式)、自动立体方式(无眼镜方式)、投影方式(全息方式)等三维显示方式。
音频输出部152在呼叫信号接收模式、通话模式或者录音模式、语音识别模式、广播接收模式等中,从无线通信部110接收音频数据,或者输出存储部170中存储的音频数据。音频输出部152还可以输出移动终端100中进行的功能(例如:呼叫信号接收音、短信接收音等)相关的音频信号。这样的音频输出部152可以包括接收器(receiver)、扬声器(speaker)、蜂鸣器(buzzer)等。
触觉模块153(haptic module)产生用户能感觉到的各种触觉效果。触觉模块153所产生的触觉效果的典型例子可以是振动。在触觉模块153产生的振动强度和模式等可以通过用户的选择或者控制部的设定来控制。例如,所述触觉模块153将不同的振动可以合成输出或者也可以按顺序输出。
触觉模块153除振动之外还可以产生各种触觉效果:对接触皮肤表面垂直运动的销钉排列、通过喷气口或者吸口的空气的喷射力或者吸力、对皮肤表面的摩擦、电极(electrode)的接触、静电力等的刺激效果,利用吸热或者散热元件再现冷热感的效果等。
触觉模块153可以不仅通过直接接触来传递触觉效果,也可以通过用户手指或者手臂等的筋感觉来感觉到触觉效果。触觉模块153可以根据移动终端100的构成方式具有两个以上。
光输出部154利用移动终端100的光源发出的光,输出用于通知事件发生的信号。在移动终端100发生的事件的例子有:接收短信、接收呼叫信号、未接来电、闹铃、通知日程、接收电子邮件、通过应用程序接收的信息等。
光输出部154输出的信号通过移动终端向正面或者背发出的单色或者多色光来实现。所述信号输出可以通过移动终端感知到用户确认事件而终止。
接口部160起到移动终端100和与之连接的所有外部设备之间的通道作用。接口部160从外部设备接收数据或者接收供电之后,将其传送到移动终端100内部的各个构成要素,或者使移动终端100内部的数据传送到外部设备。接口部160可以包括例如:有线/无线耳麦端口(port)、外部充电器端口(port)、有线/无线数据端口(port)、存储部(memorycard)端口(port)、具有识别模块装置的端口(port)、音频I/O(Input/Output)端口(port)、视频I/O(Input/Output)端口(port)、耳机端口(port)等。
另外,识别模块是存储用于认证移动终端100的使用权限的各种信息的芯片,其包括:用户识别模块(user identify module;UIM)、用户身份识别模块(subscriberidentity module;SIM)、全球用户身份识别模块(universal subscriber identitymodule;USIM)等。具有识别模块的装置(以下,简称“识别装置”)可以以智能卡(smartcard)形式制成。因此识别装置可以通过所述接口部160与终端100连接。
另外,移动终端100与外部支架(external cradle)连接时,所述接口部160成为从所述支架向所述移动终端100供电的通道,或者也可以成为用户从所述支架输入的各种命令信号向所述移动终端100传送的通道。从所述支架输入的各种命令信号或者所述供电可以作为确认所述移动终端100正确地安装在所述支架的信号而动作。
存储部170可以存储用于控制部180的动作的程序,还可以临时存储输输入/输出的数据(例如:电话簿、短信、静态图像、动态图像等)。所述存储部170可以存储在所述触摸屏输入触摸时所输出的各种模式的振动和音频相关的数据。
存储部170可以包括:闪存类型(flash memory type)、硬盘类型(hard disktype)、SSD类型(Solid State Disk type)、SDD类型(Silicon Disk Drive type)、多媒体卡微型(multimedia card micro type)、卡类型的内存(例如SD或者XD内存)、随机存取存储器(random access memory;RAM)、SRAM(static random access memory)、只读存储器(read-only memory;ROM)、EEPROM(electrically erasable programmable read-onlymemory)、PROM(programmable read-only memory)、磁存储器、磁盘和光盘中至少一种类型的存储媒介。移动终端100可以与在互联网(internet)执行所述存储部170的存储功能的网页存储(web storage)联动而进行动作。
如上所述,控制部180控制与应用程序相关的动作,通常控制移动终端100的整体动作。例如,如果所述移动终端的状态满足已设定的条件时,控制部180可以执行或者解除用户对应用程序输入控制命令的锁定状态。
另外,控制部180可以执行与语音通话、数据通信、视频通话等相关的控制和处理,或者可以执行将在触摸屏进行的笔记输入或者绘画输入分别以文字和图像来识别的模式识别处理。进一步,控制部180为了将下面说明的各种实施例在本发明的移动终端100上实现,可以单个控制或者多个组合控制上面说明的构成要素意。
供电部190通过控制部180的控制接收外部电源、内部电源的施加,提供各个构成要素的动作所需的电源。供电部190可以包括电池,电池可以是可充电的内置型电池,为了充电等,可以可拆卸地结合在终端的主体。
并且,供电部190可以具有连接端口,连接端口是为了充电电池而与供电的外部充电器电连接的接口部160的一个例子。
在另一个例子中,供电部190可以不利用所述连接端口,而通过无线方式充电电池。在这种情况下,供电部190可以从外部的无线电力传输装置利用以磁感应现象为基础的感应耦合(Inductive Coupling)方式以及以磁共振现象为基础的磁共振耦合(MagneticResonance Coupling)方式中的一种以上的方式接收电力。
另外,以下的各种实施例可以利用例如软件、硬件或者它们的组合,在计算机或者用与该计算机类似的装置可读的记录媒体中实现。
参照图1b和图1c,公开的移动终端100具有杆形状的终端主体。需要说明的是,本发明并不限于此,终端主体可以采用手表型、夹子型、眼镜型、或者两个以上的主体可以相对移动地结合的折叠型、翻盖型、滑盖型、摇摆型、旋转型等各种结构。与移动终端的特定类型相关的结构,或者对移动终端的特定类型的说明可以适用于其他类型的移动终端。
在此,终端主体可以理解为是将移动终端100看作为至少一个集合体的概念。
移动终端100包括构成外观的壳体(例如框架、外壳、盖子等)。如图所示,移动终端100可以包括前壳体101和后壳体102。通过前壳体101和后壳体102结合形成的内部空间配置有各种电子部件。在前壳体101和后壳体102之间可以追加配置至少一个中间壳体。
终端主体的正面配置显示部151来输出信息。如图所示,显示部151的视窗151a安装在前壳体101,与前壳体101一起形成终端主体的正面。
根据情况,在后壳体102也可以安装电子部件。在后壳体102上可以安装的电子部件有可拆卸的电池、识别模块、存储部等。此时,在后壳体102可拆卸地结合有用于覆盖已安装的电子部件的后盖103。因此,后盖103从后壳体102分离时,在后壳体102安装的电子部件向外部露出。
如图所示,如果后盖103与后壳体102结合,后壳体102的部分侧面可以露出。根据情况,进行所述结合时,后壳体102可以被后盖103完全盖住。另外,在后盖103可以具有使摄像头121b或者音频输出部152b向外部露出的开口部。
这些壳体101、102、103可以通过射出合成树脂而形成,或者由金属例如不锈钢(STS)、铝(Al)、钛(Ti)等形成。
移动终端100与用多个壳体提供收纳各种电子部件的内部空间的上述例子不同,可以用一个壳体提供所述内部空间。在这种情况下,提供合成树脂或者金属从侧面向背面连续而构成一体型主体的移动终端100。
另外,移动终端100可以具有防水部(未图示)用于防止向终端主体的内部渗水。例如,防水部可以包括防水部件,该防水部件设置在视窗151a和前壳体101之间、前壳体101和后壳体102之间,或者后壳体102和后盖103之间,以在它们结合时对内部空间进行密封。
移动终端100可以具有显示部151、第一和第二音频输出部152a、152b、近距离传感器141、照光传感器142、光输出部154、第一和第二摄像头121a、121b、第一和第二操作单元123a、123b、麦克风122、接口部160等。
在以下,作为一例说明如图1b和图1c所示的移动终端100:在终端主体的正面设置有显示部151、第一音频输出部152a、近距离传感器141、照光传感器142、光输出部154、第一摄像头121a和第一操作单元123a,在终端主体的侧面设置有第二操作单元123b、麦克风122和接口部160,在终端主体的背面设置有第二音频输出部152b和第二摄像头121b。
需要说明的是,这些构成并不限于这样的配置。这些构成根据需要可以被排除或者替代,或者配置在其他面。例如,在终端主体的正面可以不具有第一操作单元123a,第二音频输出部152b可以设置在终端主体的侧面而不是设置在终端主体的背面。
显示部151显示(输出)移动终端100中处理的信息。例如,显示部151可以显示移动终端100中驱动的应用程序的运行画面信息,或者根据这些运行画面信息的UI(UserInterface)、GUI(Graphic User Interface)信息。
显示部151包括:液晶显示部(liquid crystal display,LCD)、薄膜晶体管液晶显示部(thin film transistor-liquid crystal display,TFT LCD)、有机发光二极管(organic light-emitting diode,OLED)、柔性显示部(flexible display)、三维显示部(3D display)、电子墨显示部(e-ink display)中的至少一种。
另外,显示部151根据移动终端100的实现方式可以存在两个以上。在这种情况下,在移动终端100,多个显示部可以在一个面上互相间隔配置或者一体配置,或者在不同的面上分别配置。
显示部151包括感知对显示部151的触摸的触摸传感器,以使通过触摸方式接收控制命令的输入。利用该触摸传感器,对触摸显示部151进行触摸时,触摸传感器感知所述触摸,控制部180据此产生对应所述触摸的控制命令。利用触摸方式输入的内容可以是文字或数字,或者在各种模式下的指示或者指定的菜单等。
另外,触摸传感器可以构成为具有触摸图案的薄膜型,配置在视窗151a和视窗151a的背面上的显示屏(未图示)之间,或者也可以是在视窗151a的背面直接图案化的金属线。或者,触摸传感器可以与显示部形成为一体。例如,触摸传感器可以配置在显示部的基板上或者在显示部的内部。
这样,显示部151可以与触摸传感器一起形成触摸屏,在这种情况下,触摸屏可以起到用户输入部123(参照图1a)的功能。根据情况,触摸屏可以取代第一操作单元123a的至少一部分功能。
第一音频输出部152a可以体现为将通话音传递到用户耳朵的接收器(receiver),第二音频输出部152b可以体现为输出各种闹铃或者多媒体的再生音的扬声器(loudspeaker)形式。
在显示部151的视窗151a形成有播放第一音频输出部152a产生的音频的音频孔。需要说明的是,本发明并不限于此,所述音频可以通过构造物之间的组装缝隙(例如视窗151a和前壳体101之间的缝隙)播放。这种情况下,外观上看不到为了输出音频而独立形成的孔或者被隐藏,使得移动终端100的外观更加简单。
发生事件时,光输出部154输出通知这些信息的光。所述事件的例子有:接收短信、接收呼叫信号、未接来电、闹铃、通知日程、接收电子邮件、通过应用程序接收信息等。感知用户对事件的确认时,控制部180控制光输出部154使其停止发光。
第一摄像头121a处理在拍摄模式或者视频通话模式中通过图像传感器获得的静态图像或动态图像的图像帧。处理的图像帧可以在显示部151显示,可以在存储部170存储。
第一和第二操作单元123a、123b是被操作而接收指令的输入的用户输入部123的一个例子,该指令用于控制移动终端100的动作,也可以统称为操作部(manipulatingportion)。第一和第二操作单元123a、123b可以采用触摸、按压、滚动等只要用户一边感受到触觉一边操作的任何触觉方式(tactile manner)。另外,第一和第二操作单元123a、123b也可以采用通过近距离触摸(proximity touch)、悬停(hovering)等用户没有感觉到触觉的情况下操作的方式。
在附图中示出了第一操作单元123a为触摸按键(touch key)的例子,但本发明并不限于此。例如,第一操作单元123a可以是机械按键(mechanical key),或者触摸按键和机械按键的组合。
利用第一和第二操作单元123a、123b输入的内容可以设定为各种各样。例如,第一操作单元123a可以接收菜单、本位键、取消、检索等命令的输入,第二操作单元123b可以接收调整从第一或者第二音频输出部152a、152b输出的声音大小、向显示部151的触摸识别模式切换等命令。
作为用户输入部123的另一例子,在终端主体的背面可以具有背面输入部(未图示)。这样的背面输入部被操作而接收用于控制移动终端100动作的命令的输入,输入的内容可以设定为各种各样。例如,可以接收电源的接通/关闭、开始、结束、滚动等命令,从第一和第二音频输出部152a、152b输出的声音大小的调整,向显示部151的触摸识别模式的切换等命令的输入。背面输入部可以是触摸输入、按压输入或者它们组合的输入。
背面输入部在终端主体的厚度方向上与正面的显示部151重叠配置。作为一例,后面输入部可以配置在终端主体的背面上端部,使得用户用单手握住终端主体时可以使用食指便于操作。但是,本发明并不限于此,背面输入部的位置可以变更。
这样,在终端主体的背面具有背面输入部时,可以实现利用该背面输入部的新颖的用户接口。另外,之前说明的触摸屏或者背部输入部代替终端主体的正面具有的第一操作单元123a的至少一部分功能,因此在终端主体的正面未配置第一操作单元123a时,显示部151形成为更大的画面。
另外,在移动终端100可以具有识别用户指纹的指纹识别传感器,控制部180将通过指纹识别传感器感知的指纹信息作为认证手段来利用。所述指纹识别传感器可以内置于显示部151或者用户输入部123。
麦克风122接收用户的声音、其他声音等的输入。麦克风122可以设置在多个部位,接收立体声音的输入。
接口部160成为将移动终端100与外部设备连接的通道。例如,接口部160可以是与其他(例如耳机、外置扬声器)连接的连接端子、用于近距离通信的端口(例如:红外线端口(IrDA Port)、蓝牙端口(Bluetooth Port)、无线局域网端口(Wireless LAN Port)等)或者用于向移动终端100供电的供电端子中的至少一种。这样的接口部160可以是用于收容SIM(Subscriber IdentificationModule)或者UIM(User Identity Module)、用于存储信息的存储部等外置型卡的插座形式。
在终端的背面可以配置有第二摄像头121b。此时,第二摄像头121b具有与第一摄像头121a实际相反的拍摄方向。
第二摄像头121b可以包括沿至少一条线排列的多个镜头。多个镜头可以以矩阵(matrix)形状排列。这样的摄像头可以命名为“矩阵摄像头”。第二摄像头121b以矩阵摄像头构成时,利用多个镜头以各种方式拍摄图像,可以获得更优质的图像。
闪光灯124可以靠近第二摄像头121b配置。用第二摄像头121b拍摄被摄物体时,闪光灯124向被摄物体照射光线。
在终端主体可以追加配置第二音频输出部152b。第二音频输出部152b与第一音频输出部152a一起实现立体声功能,通话时也为了实现免提电话模式而使用。
在终端主体可以具有至少一个无线通信用天线。天线可以在终端主体内置或者在壳体形成。例如,形成广播接收模块111(参照图1a)的一部分的天线可以从终端主体引出。或者,天线形成为薄膜型,附着在后盖103的内侧面,也可以包括导电性材质的壳体起到天线功能。
在终端主体具有用于向移动终端100供电的供电部190(参照图1a)。供电部190内置在终端主体,或者包括在终端主体的外部可拆卸地构成的电池191。
电池191可以通过与接口部160连接的电源电缆接收供电。另外,电池191也可以通过无线充电器无线充电。所述无线充电可以通过磁感应方式或者共振方式(磁共振方式)实现。
另外,在本图中示出了后盖103与后壳体102结合以覆盖电池191来限制电池191的脱离,并保护电池191不受外部冲击和异物侵入。电池191在终端主体上可拆卸地设置时,后盖103可拆卸地结合在后壳体102。
在移动终端100可以追加设置保护外观且辅助或者扩展移动终端100的功能的装饰件。作为这种装饰件的一个例子,可以列举覆盖或者收容移动终端100的至少一面的盖子或者小袋。盖子或者小袋与显示部151联动而扩展移动终端100的功能。作为装饰件的另一个例子,列举辅助或者扩展对触摸屏的触摸输入的触摸笔。
如果利用如上所述的移动终端所包含的无线通信部110、输入部120、输出部150,可以与外部设备进行各种方式的通信。输入部120从用户接收通信信息。无线通信部110将通过输入部120输入的信息发送到外部设备,接收来自外部设备的通信信息。输出部150输出从外部设备接收的通信信息。
本说明书中,通信信息被定义为在移动终端和外部终端之间,为了进行通信而接收/发送的所有形式的信息。在此,通信信息可以有多种形式。例如,通信信息是语音信息、图像信息和文本信息中的至少一种,但不限于此。通信信息的形式随着通信方式的不同会有所不同。具体地,通信方式是利用听觉式手段的方式时,通信信息就是语音信息,而通信方式是利用视觉式手段的方式时,通信信息是图像信息和文本信息中的至少一种。
另一方面,在本说明书中,通话中的终端之间接收/发送的信号也定义为通信信息。
另外,通信信息根据其形式可以使用不同的输入手段输入。例如,声语音信息、图像信息和文本信息分别通过麦克风122、摄像头121和触摸屏151输入。具体地,语音信息可以通过麦克风122输入,图像信息可以通过摄像头121输入,文本信息可以通过触摸屏151输入。
另外,通信信息根据其信息的形式使用不同的输出手段输出。例如,语音信息可以通过扬声器输出,图像信息和文本信息可以通过触摸屏151输出。
如上所述,移动终端可以根据通信方式利用相同的输入和输出手段。在此,通信方式由发生通信事件的主体来决定。
本说明书中的通信事件定义为,利用移动终端发起通信的起点的事件,或者接收通信信息的事件自身。
以通信事件成为通信的起点为例,通信事件可以是从外部设备接收为呼叫连接的呼叫信号的事件。此时,通信信息仅在用户对通信事件提出请求时才能收到。例如,从外部设备接收呼叫信号时,移动终端仅在用户请求连接时才能接收语音信息。
另外,以通信事件是接收通信信息的事件本身为例,通信事件可以是从外部设备接收图像信息或者文本信息的事件。
通信信息的形式根据发生通信事件的外部设备发送的形式而决定。
如果发生通信事件,所述通信信息可以存储在已设定的存储部中。在此,所述通信信息不仅包括与外部终端之间接收/发送的信息本身之外,还意味着为了区分特定通信事件和其他通信事件而定义特定通信事件其本身的信息。例如,所述通信信息可以包括通信事件的发生时间、通信信息的种类、通信信息的存储位置(Location ID)、外部终端信息等,但不限于此。
本发明为了便于对所述通信信息进行检索而提出。
为此,在本发明中,将所述通信信息相互匹配并保存。以下,具体说明所述通信信息和通信事件的存储方法。
图2是表示将通信信息和通信事件相关信息与其他信息匹配并存储的方法的概念图。
参照图2,在移动终端发生通信事件210时,通信信息存储在已设定的存储部220中。在此,可以根据所述通信事件的种类,通信信息存储在不同的数据库。
在存储部中每次存储新信息时,控制部180对其进行监控230、240,将所述新信息与从移动终端可收集的其他信息匹配并存储。具体地,每次发生通信事件时,控制部180通过内置在移动终端的GPS收集移动终端的当前的位置信息260。不仅如此,控制部从通信信息中提取位置信息。如上所述收集到的位置信息和提取到的位置信息(以下,简称“位置信息”)与所述通信信息相关的信息中的至少一种匹配并存储。在此,所述位置信息存储在其他数据库250中。也就是说,所述位置信息不一定要与所述通信信息一起存储在同一个数据库中。本说明书中,存储所述位置信息的数据库称为位置信息数据库。
控制部180可以一同存储所述位置信息和通信信息的存储位置(Location ID)。由此,通过所述位置信息可以达到与所述位置信息匹配的通信信息。
另外,控制部180优先将发生通信事件时收集到的移动终端的位置信息与通信信息匹配,只有在所述通信信息中提取位置相关信息时,才可以将提取的位置信息与所述通信信息匹配。从所述通信信息中提取位置相关信息时,所述通信信息可以与多个位置信息匹配。
另外,控制部与通信事件的发生对应地每次收集移动终端的位置信息时,可以对收集到的位置信息与已存储的位置信息进行比较。此时,收集到的位置信息满足已设定的条件时,控制部赋予代表收集到的位置信息的代表名称之后,将所述名称与收集到的位置信息匹配并存储。
具体地说明所述已设定的条件。控制部比较所述收集到的位置信息与已存储的位置信息,并在已存储的位置信息中发现与所述收集到的位置信息相同的位置信息时,判断是否有与所述相同位置信息匹配的代表名称,如果判断为有与所述相同位置信息匹配的代表名称,则将所述代表名称与所述收集到的位置信息匹配并存储。
如果没有与所述相同的位置信息匹配的代表名称,并且与所述收集到的位置信息相同的位置信息检索到已设定次数以上,所述控制部根据所述已设定次数以上检索到的位置信息被收集的时间形成代表名称。例如,如果所述已设定次数以上检索到的位置信息是主要在晚上时间和早晨时间检索到的位置信息,控制部将已设定次数以上检索到的位置信息的代表名称设定为“家”。此时,与所述已设定次数以上检索到的位置信息匹配相同的代表名称。
另外,不限于所述通信事件,每当在所述移动终端中发生新的事件时,所述控制部可以将与所述事件相关的信息与位置信息匹配并存储。
在此,所述事件可以包括运行应用程序、拍摄照片、存储新数据等。例如,控制部可以根据用户的请求启动摄像头拍摄图像,并存储拍摄到的图像。此时,控制部可以将所述存储的图像和位置信息匹配并存储。
在其他例子中,控制部可以从用户接收日程信息的输入并存储在存储部中。此时,控制部可以将所述存储的日程信息和位置信息匹配并存储。
如上所述,根据本发明的移动终端,每当发生通信事件时将通信信息与位置信息匹配并存储,每当发生新事件时,将所述事件相关的信息与位置信息匹配并存储。
之后,用户施加检索通信信息的请求时,控制部利用从用户施加的检索词检索已保存的信息。
以下,具体地说明响应用户的检索请求,检索通信信息和事件相关的信息的实施例。
图3是表示在本发明一实施例的移动终端中检索通信信息和事件相关信息的状态的方框图。
参照图3,在移动终端可以设置有多个应用程序310。通过所述应用程序可以发生事件或者通信事件。
例如,本发明的移动终端可以通过短信应用程序与其他终端接收/发送文本信息。在这种情况下,接收/发送的文本信息被存储。
在另一个例子中,本发明的移动终端可以通过图像拍摄应用程序启动摄像头并存储通过摄像头接收的图像。
如上所述,在移动终端运行应用程序,并存储应用程序的运行结果的信息。此外,如上所述,所述应用程序的运行结果的信息与位置信息匹配并存储。
另外,在移动终端可以设置有为了检索通信信息和事件相的信息而输入检索词的应用程序320。图3仅公开了用于接收通过用户的说话输入的关键词的应用程序,但不限于用户的语音输入,可以通过文本输入、图像输入等可以检索通信信息和事件相关信息。
如果通过用于输入检索词的应用程序320输入检索词,控制部180将检索词向单独的API330传递,并从所述检索词中提取至少一个关键词340。之后,控制部180在数据库350中检索并输出与所述关键词对应的信息。控制部180不仅利用图3所示的数据库350,而且还利用所述位置信息数据库检索通信信息和事件相关信息。
首先,说明控制部仅在图3所示的数据库350检索与关键词对应的信息的实施例。
图4是表示利用检索词中存在的时间信息检索已存储数据的一实施例的顺序图,图5和图6是表示利用检索词中存在的位置信息或者时间信息检索已存储数据的一实施例的概念图。
参照图4,如果用户输入检索词S110,控制部180判断所述检索词中是否存在表示时间信息的关键词S120。如果所述关键词中存在表示时间信息的关键词,控制部180提取所述关键词之后,在所述数据库350中检索并输出与所述关键词对应的信息。
在此,表示所述时间信息的关键词可以是表示绝对时间点的日期、时间等,或者表示相对时间点的术语。例如,表示所述时间信息的关键词可以是“昨天”、“上周”等以当前时间点为基准的时间信息。
如果表示所述时间信息的关键词是表示相对时间点的术语,控制部180以当前时间为基准,将表示所述时间信息的关键词变换成其他时间信息。
在一实施例中,参照图5,用户输入“上周麻谷洞快递”510时,控制部180从所述检索词中提取表示时间信息的关键词“上周”。所述控制部将所述提取的关键词以当前时间为基准变换成其他时间信息520。之后,控制部180在所述数据库350中检索包含所述已变换的时间信息的信息。
另外,控制部180在所述检索结果中检索包括所述检索词中包含的其他关键词(“快递”)的信息。之后,控制部180输出最终检索结果570。
参照图6,用户可以输入用于检索与其他终端的通话记录的检索词。在一实施例中,如果用户输入检索词“去年妈妈”,控制部180从所述检索词中提取与时间信息相关的“去年”并提取剩下的关键词“妈妈”。之后,控制部180以当前时间为基准,将“去年”变换为其他时间信息。控制部180从所述数据库350中检索与变换的时间信息对应的信息。之后,控制部180在所述检索结果中检索并输出包含“妈妈”的信息。
如上所述,本发明可以组合与检索词中包含的时间信息相关关键词和其他关键词,在数据库中检索用户所需的信息。
以下,说明在本发明的移动终端中,利用与检索词中包含的位置信息相关的关键词,检索用户所需的信息的实施例。
图7是表示本发明的移动终端中提取与检索词中包含的位置信息相关的关键词的一实施例的概念图。
控制部180从用户输入的检索词中提取与位置信息相关的关键词。在此,所述关键词可以是地址、坐标、地名、建筑物名称等。但是,所述关键词并不限于此。在一实施例中,控制部180将所述检索词与已存储的多个代表名称进行比较,从所述检索词中提取关键词。例如,所述检索词中包含“家”这一词时,所述控制部180将“家”的词作为关键词提取。
控制部180在所述检索词中提取与位置信息相关的关键词后,在位置信息数据库中检索与所述提取到的关键词相同的位置信息。
在此,控制部180在所述位置信息数据库中,不仅检索与所述关键词相同的位置信息,将所述关键词变换一次之后,还检索与变换的数据相同的位置信息。例如,所述提取的关键词为已存储的多个代表名称中的一个代表名称时,控制部180可以将所述代表名称变换为与所述代表名称对应的地址、坐标、地名、建筑物名称中的任一个名称之后,检索变换后的数据是否在所述位置信息数据库中存在。
另外,所述关键词中包含与位置信息相关的多个关键词时,控制部180可以只将所述多个关键词中的一部分利用于数据库检索。在一实施例中,与检索词中包含的某一关键词对应的位置相当于与另一关键词对应的位置的下位概念时,控制部180只将所述另一关键词利用于数据库检索。
例如参照图7,作为检索词施加“首尔市江西区麻谷洞猫”410时,控制部180在所述检索词中提取与位置信息相关的关键词“首尔市”、“江西区”、“麻谷洞”450。在此过程中,为了提取检索词,可以利用各种算法。作为一例,为了提取检索词,可以利用Aho Corasick算法440。
在此,由于所述“江西区”是所述“首尔市”的下位概念地址,“麻谷洞”是所述“首尔市”和“江西区”的下位概念地址,因此控制部180在位置信息数据库中检索是否存在与“麻谷洞”对应的位置信息。
再参照图5,控制部180提取检索词中包含的时间信息相关关键词、位置信息相关关键词和剩余的关键词,并对所有提取到的关键词进行组合,检索用户所需的信息。
参照图5,如果用户输入“上周麻谷洞快递”510,控制部180从所述检索词中提取表示时间信息的关键词“上周”。所述控制部将所述提取到的关键词以当前时间为基准变换为其他时间信息520。
另外,控制部在所述检索词中提取“麻谷洞”之后,在位置信息数据库中检索包含“麻谷洞”的位置信息。之后,控制部180在所述数据库350中检索包括与所述检索到的位置信息一起存储的地点标识(Location ID)和所述变换的时间信息的数据550。
之后,控制部180在包括与所述检索到的位置信息一起存储的地点标识(LocationID)和所述变换的时间信息的数据中检索包含“快递”的数据560。
最后,控制部180输出最终检索到的数据570。由此,本发明可以组合检索词中包含的各种关键词准确地检索到用户所需信息。
再参照图6,用户可以输入用于检索与其他终端的通话记录的检索词。在一实施例中,用户输入关键词“济州岛妈妈”时,控制部180从所述检索词中提取与位置信息相关的“济州岛”,并提取剩下的关键词“妈妈”。之后,控制部180在位置信息数据库中检索包含“济州岛”的位置信息。之后,控制部180在所述数据库350中检索并输出包括与所述检索到的位置信息一同存储的地点标识(Location ID)和“妈妈”的数据。
另外,所述检索方法并不限于通信信息,可以应用于所有与事件相关的信息。
图8是表示利用时间信息和位置信息检索已拍摄的图像的一实施例的概念图。
具体地,所述检索方法可以应用于检索已拍摄并存储的图像。利用移动终端所具有的摄像头拍摄图像并存储在数据库350时,控制部18一同存储拍摄到的图像、拍摄时间和拍摄场所。控制部180可以在检索中利用与所述拍摄到的图像一同存储的拍摄时间和拍摄场所。
例如参照图8,在图库应用程序中用户输入检索词“去年济州岛”时,控制部180在所述检索词中提取表示时间信息的关键词“去年”,并提取表示位置信息的关键词“济州岛”。
之后,所述控制部将所述提取到的关键词“去年”以当前时间为基准变换为其他时间信息。并且,控制部在位置信息数据库中检索包含“济州岛”的位置信息。之后,控制部180在所述数据库350中检索包括与所述检索到的位置信息一起存储的地点标识(LocationID)和所述变换的时间信息的数据。之后,控制部180输出检索到的数据。
另外,控制部180将定义所述图像类型的类别数据和所述拍摄到的图像一同存储。在此,所述类别数据可以通过已设定的算法形成。如果所述类别数据的形成需要很长时间,所述类别数据并不需要在拍摄后立即形成。在一实施例中,所述类别数据可以在已设定时间内统一形成之后并存储。
如上所述,如果在移动终端发生特定事件,本发明一同存储与所述事件相关的信息和追加的信息,使得以后进行的数据检索变得容易。
并且,本发明在没有用户的检索请求的情况下,根据用户的终端使用模式检索特定信息之后给用户提供。
图9是表示在没有用户的检索请求的情况下,根据用户终端使用模式检索特定信息之后给用户提供的一实施例的概念图。
具体而言,如果满足已设定的条件,控制部180在所述数据库350检索并输出信息。在此,所述已设定的条件可以是运行特定应用程序的条件。在这种情况下,所述控制部180检索的数据库的种类可以根据所运行的应用程序的种类不同而不同。
在一实施例中,用户每次运行通话应用程序时,所述控制部180在所述数据库350中检索打电话次数最多的联系人。
另外,控制部180在满足已设定的条件而检索所述数据库350时,可以将时间信息和位置信息中的至少一个信息应用于检索。具体地,控制部180在满足已设定的条件而检索所述数据库350时,在检索中应用满足所述已设定条件的时间点上的当前时间,或者满足所述已设定的条件时,在检索中应用从GPS收集的当前位置信息。
例如,用户运行通话应用程序时,所述控制部180检索包括以当前时间为基准规定时间范围内的时间信息的通话记录。之后,控制部180可以按照所述检索结果中检索到的次数多的顺序显示相应的联系人。由此,本发明可以提供在特定时间段用户以较高的频率通话的联系人。
进一步,控制部180在以运行所述通话应用程序的时间点为基准的特定时间内有拒绝通话的联系人时,可以将拒绝通话的联系人显示为推荐联系人。
在其他例子中,用户运行通话应用程序时,所述控制部180通过GPS接收移动终端的当前位置信息,并利用所述位置信息,在位置信息数据库中检索到与所述位置信息相同的位置信息。之后,控制部180利用与检索到的位置信息一起存储的地点标识(LocationID),输出与所述检索到的位置信息匹配的通话记录。进一步,控制部180在与所述检索到的位置信息匹配的通话记录中,按照通话频率较高的顺序显示相应的联系人。由此,移动终端位于特定位置时,本发明可以提供在特定场所以较高频率通话的联系人。
参照图9,如果用户运行通话应用程序,所述通话应用程序的运行画面中的一区域610可以显示推荐联系人。如果用户在所述一区域610施加触摸,所述控制部180检索到的推荐联系人620均显示。另外,如图9c所示,如果用户触摸所述一区域610,显示与所述推荐联系人的通话记录。
另外,本发明通过周期性地检索已存储的通信信息来向用户提供提醒。
图10是表示利用已存储的文本信息向用户提供提醒的一实施例的顺序图,图11a和11b是表示利用已存储的文本信息向用户提供提醒的一实施例的概念图。
参照图10,控制部180从外部终端接收文本信息S210时,将收到的文本信息存储在已设定的数据库中。因此,在所述已设定的数据库中存储多个文本信息。
之后,控制部180收集接收的文本信息S230,并提取关键词。控制部180利用提取的关键词,判断该文本信息是不是需要提醒的文本信息S240。
本发明在数据库350中存储的文本信息中提取特定关键词,并利用所述特定关键词判断所述已存储的文本信息的种类。
例如,控制部180从所述文本信息中提取特定关键词,所述文本信息可以是有有效期限的优惠券或者预约文本信息。控制部180提取文本信息中包含的优惠券或者与预约相关的关键词并分析文本信息。在一实施中,控制部提取文本信息中包含的“预约完毕”、“预约号码”、“预约日期”等关键词,分析所述文本信息是不是需要提醒的文本信息。
控制部180将需要提醒的文本信息存储在另行设置的数据库S250。控制部180在存储所述需要提醒的文本信息时,一同存储提醒预约日期。
之后,控制部180在每天的指定时间判断是否有需要提醒的文本信息S260,如果有需要提醒的文本信息,就输出提醒信息S270。
另外,如果在输出所述提醒信息的状态下日期有变更S310,控制部180停止所述提醒信息的输出S320,分析已存储的数据库并输出新的提醒信息。
参照图11a,控制部180从文本信息中提取“预约完毕”这一关键词,判断所述文本信息是预约文本信息。之后,控制部180从所述文本信息中提取时间信息,并在与提取的时间信息对应的时间到来之前输出提醒信息。
并且,参照图11b,控制部180从文本信息中提取“优惠券号码”这一关键词,判断所述文本信息是优惠券文本信息。之后,控制部180从所述文本信息中提取时间信息,并在与提取的时间信息对应的时间到来之前输出提醒信息。
如上所述,本发明分析已接收的文字信息并向用户提供提醒。
在以下说明用户输入用于检索数据库的检索词的方法。所述检索词可以通过移动终端具有的人工智能代理程序输入。以下,具体说明人工智能代理程序。
图12a和12b是表示联动两种以上的人工智能代理程序的状态的概念图。
代理程序(agent)是为了特定目的而代替用户执行工作的自律性程序。在此,代理程序不是独立存在的概念,可以理解为设置在移动终端上的软件。但是,不限于此,所述代理也可以是由移动终端、与移动终端能够无线通信的服务器等构成的系统。代理程序通过移动终端100包括的构成要素与用户和外部环境进行互动。
具体地,代理程序是通过移动终端100中包括的构成要素,从用户接收命令信息,并根据命令信息来决定要执行的特定控制。之后,代理程序通过移动终端100中包括的构成要素接收执行所述特定控制所需的信息。
在本说明书中,为了特定代理程序将要执行的控制而从用户接收的信息定义为命令信息。所述命令信息可以用各种手段输入,根据输入的手段可以形成为不同的形式。例如,命令信息可以利用语音输入手段、图像输入手段和文本输入手段中至少一种手段进行输入。
根据输入命令信息的手段,代理程序可以分为基于语音识别的代理程序、基于文本的代理程序等。
例如,基于语音识别的代理程序通过移动终端100中包括的麦克风122接收由语音信息构成的命令信息,并执行与接收的语音信息相关的控制。
在其他例子中,基于文本的代理程序通过触摸屏151从用户接收文本形式的命令信息,并执行与接收的文本相关的控制。
另外,命令信息可以包含各种信息。例如,命令信息可以包括在移动终端中可以操作的功能种类、运行功能的开始/结束时间点、运行功能的开始/结束条件等。
另外,在本说明书中说明的人工智能代理程序利用在控制部180和学习数据部130中存储的数据分析命令信息的含义。具体地,命令信息由自然语言组成时,人工智能代理程序利用控制部180的自然语言处理功能,分析用户意图的作业是什么。即,人工智能代理程序从自然语言组成的命令信息中提取移动终端中可以操作的功能种类、运行功能的开始/结束时间点、运行功能的开始/结束条件等,并进行与之相应的控制。
与此同时,人工智能代理程序利用通过所述机器学习技术学习到的信息,从所述命令信息预测(或者推论)可执行的移动终端的至少一个动作,并控制移动终端使其执行所述预测到的至少一个动作中实现性最高的动作。
为了便于说明,本说明书中说明人工智能代理程序用于控制移动终端的构成要素,但是,实际上人工智能代理程序是通过控制部180和学习数据部130中存储的数据来实现的,因此可以说明为控制部180利用学习数据部130中存储的数据控制移动终端的构成要素。即,本说明书中,利用人工智能代理程序的控制和控制部180利用学习数据部130中存储的数据的控制实质上相同。
另外,本发明的人工智能代理程序可以适用于各种代理程序。例如,本发明的人工智能代理程序可以分别适用于基于语音识别的代理程序和基于文本的代理程序。
另外,如在图1至图9中说明的那样,从用户接收检索词的输入,或者在满足已设定的条件时从已存储的数据库中进行满足条件的检索并输出检索结果的主体称为检索代理程序。
在移动终端机中可以包括多个不同的人工智能代理程序。多个人工智能代理程序中一部分可以是出厂时已设置的代理程序,剩下的一部分可以是由用户设置的代理程序。
从用户接收检索词和使用检索词进行检索可以分别利用不同的代理程序进行。以下,说明由不同的代理程序联动起来提供与用户输入的检索词对应的检索结果的方法。
首先,说明用户通过人工智能代理程序输入检索词的方法。虽然在以下说明的人工智能代理程序是基于语音识别的人工智能代理程序,但是,本发明并不限于基于语音识别的人工智能代理程序。
用户可以通过说出特定关键词来运行基于语音识别的代理程序。例如,用户说出叫醒(Wake up)信号(或启动语)时,人工智能代理程序就开始运行。
在此,移动终端为了从用户接收叫醒(Wake up)信号,可以始终将麦克风122保持在驱动状态,但是,移动终端直到接收叫醒(Wakeup)信号之前,不会根据已收到的语音信息进行任何控制。
如果收到叫醒(Wake up)信号,移动终端运行基于语音识别的代理程序,代替已显示中的画面而显示基于语音识别的代理程序的运行画面。已显示中的画面可以是移动终端的主画面,也可以是应用程序的运行画面。另外,基于语音识别的代理程序的运行画面中可以显示引导语音识别的启动与否的图形对象。
另外,移动终端收到叫醒(Wake up)信号时,可以显示基于语音识别的代理程序的运行画面,并启动语音识别。即,收到叫醒(Wake up)信号时,移动终端运行基于语音识别的代理程序,并立即将语音识别变换为启动状态。此时,可以显示引导语音识别启动与否的图形对象和引导语音识别已启动的提示。
另外,移动终端可以包括多个基于语音识别的代理程序。根据通过麦克风122接收的叫醒(wake up)信号的种类,被启动的人工智能代理程序的种类也会不同。之后,由用户输入的检索命令由启动的人工智能代理程序(以下,简称“第一人工智能代理程序”)执行。
在从用户接收检索命令时,基于语音识别的代理程序将语音信息形式的检索命令变换为文本,并从变换的文本中提取检索词。之后,提取的检索词向检索代理程序(以下,简称为“第二人工智能代理程序”)传递。
在此,根据所述基于语音识别的代理程序的种类,检索词的传递路径可以不同。例如参照图12a,第一人工智能代理程序710a从用户的检索命令中提取检索词并立即向第二人工智能代理程序720传送。之后,第二人工智能代理程序720通过所述图2至图9中说明的方法进行检索之后,将检索结果向第一人工智能代理程序710a传递。第一人工智能代理程序710a输出检索结果。即,所述检索结果可以在所述第一人工智能代理程序710a的运行画面中输出。
另外,根据人工智能代理程序的种类,有时存在不能与所述第二人工智能代理程序联动的情况。在一例中,第一人工智能代理程序是在移动终端出厂时设置的代理程序,而所述第二人工智能代理程序是通过用户设置的代理程序时,所述第一人工智能代理程序与所述第二人工智能代理之间的联动可能存在困难。在这种情况下,参照12b,所述第一人工智能代理程序710b将从用户的检索命令中提取的检索词向与所述第二人工智能代理程序720可以联动的特定应用程序730传递,所述特定应用程序730将所述提取的检索词向所述第二人工智能代理程序720传递。之后,所述第二人工智能代理程序720将检索结果向所述特定应用程序730传递,所述特定应用程序730将检索结果向所述第一人工智能代理程序710b传递。
在图12b说明的方式可以在不同的终端中分别设置的人工智能代理程序联动时可以使用。
图13a是表示通过在图像显示装置中设置的人工智能代理程序接收检索命令的输入,并在移动终端进行检索的一实施例的概念图,图13b是表示通过在移动终端中设置的人工智能代理接收检索命令的输入,并将检索结果显示在图像显示装置的一实施例的概念图。
参照图13a,用户可以通过图像显示装置施加检索命令。在图像显示装置中可以设置有所述人工智能代理程序,设置在图像显示装置的人工智能代理程序从用户接收检索命令的输入,并将语音信息形式的检索命令变换为文本之后提取检索词。提取的检索词传送到移动终端的特定应用程序,所述特定应用程序将所述检索词向移动终端中设置的检索代理程序传递。所述检索代理程序利用所述检索词进行检索,并将检索结果向所述特定应用程序传递。之后,所述特定应用程序将检索结果向图像显示装置传递。因此,移动终端的检索结果显示在图像显示装置。
另外,参照图13b,用户可以通过移动终端施加检索命令。在移动终端设置的人工智能代理程序从用户接收检索命令的输入,将语音信息形式的检索命令变换为文本之后提取检索词。提取的检索词向移动终端的特定应用程序传递,所述特定应用程序将所述检索词向移动终端中设置的检索代理程序传递。所述检索代理程序利用所述检索词进行检索,并将检索结果向所述特定应用程序传递。之后,所述特定应用程序将检索结果向所述图像显示装置传递。因此,移动终端的检索结果显示在图像显示装置。
如上所述,本发明在彼此不同的代理程序不能直接联动时,将特定应用程序作为媒介能够使彼此不同的代理程序联动。
前述的本发明可以通过在记录有程序的介质中的计算机可读的代码来实现。计算机可读介质可以包括存储计算机系统可读的数据的所有种类的记录装置。计算机可读介质例如包括:HDD(Hard Disk Drive)、SSD(Solid State Disk)、SDD(Silicon Disk Drive)、ROM、RAM、CD-ROM、磁带、软盘、光数据存储装置等,也包括以载波(例如通过网络传送)形式实现的介质。另外,所述计算机还可以包括终端的控制部180。因此,对于上述的详细说明,在所有方面不能做出限制性解释,应考虑为示例性的说明。本发明的范围应该通过对权利要求书的合理解释而确定,在本发明的等同范围内的所有变更应包括在本发明的范围。

Claims (15)

1.一种移动终端,其特征在于,包括:
GPS,构成为接收所述移动终端的位置信息;
无线通信部,构成为与外部设备进行无线通信;
控制部,与外部设备发生通信事件时,存储所述通信信息;
所述控制部,
在发生所述通信事件时,将从所述GPS接收到的位置信息和所述通信信息匹配并存储;
在从用户接收到为了检索通信信息而输入的检索词时,利用与已存储的通信信息匹配的位置信息和所述检索词,输出已存储的通信信息中与所述检索词对应的至少一个信息。
2.根据权利要求1所述的移动终端,其特征在于,
所述控制部,
从所述检索词中提取位置信息相关关键词,比较提取的关键词和与已存储的通信信息匹配的位置信息,输出已存储的所述通信信息中与所述检索词对应的至少一个信息。
3.根据权利要求2所述的移动终端,其特征在于,
所述控制部,
在与所述通信信息匹配的位置信息满足已设定的条件时,将所述位置信息的代表名称和所述位置信息匹配并存储。
4.根据权利要求3所述的移动终端,其特征在于,
所述控制部,
在提取的所述关键词与已存储的多个代表名称中的任一个代表名称相同时,将提取的所述关键词变换为与任一个所述代表名称对应的位置信息,比较变换的位置信息和与已存储的通信信息匹配的位置信息,输出已存储的所述通信信息中与所述检索词对应的至少一个信息。
5.根据权利要求3所述的移动终端,其特征在于,
所述控制部,
在已设定的时间范围内,对同一个位置信息收集规定次数以上时,判断为满足已设定的所述条件,将所述位置信息的代表名称和所述位置信息匹配并存储。
6.根据权利要求1所述的移动终端,其特征在于,
所述控制部,
从所述通信信息中提取位置信息,将提取的所述位置信息与所述通信信息匹配并存储。
7.根据权利要求6所述的移动终端,其特征在于,
已存储的所述通信信息中的至少一部分通信信息与多个位置信息匹配。
8.根据权利要求7所述的移动终端,其特征在于,
所述控制部,
从所述检索词中提取位置信息相关关键词,提取的关键词和多个所述位置信息中的任一个位置信息相同时,输出与多个所述位置信息对应的通信信息。
9.根据权利要求1所述的移动终端,其特征在于,
所述控制部,
从所述检索词中分别提取位置信息相关关键词和时间信息相关关键词,输出已存储的所述通信信息中与已提取的所述关键词分别对应的信息。
10.根据权利要求9所述的移动终端,其特征在于,
所述控制部,
比较提取的所述位置信息相关关键词和与已存储的通信信息匹配的位置信息,提取已存储的所述通信信息中的一部分通信信息;
输出已提取的所述通信信息中与已提取的所述时间相关关键词对应的信息。
11.根据权利要求1所述的移动终端,其特征在于,
所述控制部,
在满足已设定的条件时,判断为从用户接收到检索词的输入,利用与已存储的通信信息匹配的位置信息和所述检索词,输出已存储的通信信息中与所述检索词对应的至少一个信息。
12.根据权利要求11所述的移动终端,其特征在于,
已设定的所述条件是运行特定应用程序的条件。
13.根据权利要求12所述的移动终端,其特征在于,
所述控制部,
在满足已设定的所述条件时,从GPS收集位置信息,比较已收集的位置信息和与已存储的通信信息匹配的位置信息,输出已存储的通信信息中与已收集的所述位置信息对应的至少一个信息。
14.根据权利要求13所述的移动终端,其特征在于,
所述控制部,
在满足已设定的所述条件时,收集当前时间信息,输出已存储的通信信息中与已收集的所述位置信息对应的至少一个信息。
15.一种移动终端的控制方法,其中,包括:
与外部设备发生通信事件时,存储所述通信信息的步骤;
所述通信事件发生时,从GPS收集所述移动终端的位置信息的步骤;
将从所述GPS接收的位置信息和所述通信信息匹配并存储的步骤;
从用户接收到为了检索通信信息而输入的检索词时,利用与已存储的通信信息匹配的位置信息和所述检索词,输出已存储的通信信息中与所述检索词对应的至少一个信息的步骤。
CN201980004738.6A 2019-02-20 2019-06-04 移动终端及其控制方法 Active CN111837377B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962808255P 2019-02-20 2019-02-20
US62/808,255 2019-02-20
PCT/KR2019/006707 WO2020171299A1 (ko) 2019-02-20 2019-06-04 이동단말기 및 그 제어 방법

Publications (2)

Publication Number Publication Date
CN111837377A true CN111837377A (zh) 2020-10-27
CN111837377B CN111837377B (zh) 2023-11-24

Family

ID=72143690

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980004738.6A Active CN111837377B (zh) 2019-02-20 2019-06-04 移动终端及其控制方法

Country Status (5)

Country Link
US (1) US20200387515A1 (zh)
EP (1) EP3731509A4 (zh)
KR (2) KR102658400B1 (zh)
CN (1) CN111837377B (zh)
WO (2) WO2020171295A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022122777A (ja) * 2021-02-10 2022-08-23 トヨタ自動車株式会社 情報処理装置、情報処理方法、プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050095739A (ko) * 2004-03-27 2005-09-30 엘지전자 주식회사 카메라 기능을 가진 이동통신 단말기의 저장 영상 이름지정 방법
JP2011155617A (ja) * 2010-01-28 2011-08-11 Katoh Electrical Machinery Co Ltd 小型電子機器のアンテナ装置
CN104584010A (zh) * 2012-09-19 2015-04-29 苹果公司 基于语音的媒体搜索
KR20160139826A (ko) * 2015-05-28 2016-12-07 엘지디스플레이 주식회사 플렉서블 디스플레이

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030167167A1 (en) * 2002-02-26 2003-09-04 Li Gong Intelligent personal assistants
US7672931B2 (en) * 2005-06-30 2010-03-02 Microsoft Corporation Searching for content using voice search queries
GB0811196D0 (en) * 2008-06-18 2008-07-23 Skype Ltd Searching method and apparatus
US9959870B2 (en) * 2008-12-11 2018-05-01 Apple Inc. Speech recognition involving a mobile device
KR101578428B1 (ko) * 2009-07-06 2015-12-17 엘지전자 주식회사 이동단말기 및 그의 일상 로그 시각화 방법
US8577004B2 (en) * 2010-02-11 2013-11-05 Infineon Technologies Ag Predictive contact information representation
US8938220B2 (en) * 2012-07-03 2015-01-20 International Business Machines Corporation Automated selection and presentation of pertinent contacts
KR20140083569A (ko) * 2012-12-26 2014-07-04 주식회사 케이티 컨텐츠의 위치 데이터를 기초하여 동일한 위치 데이터를 가지는 하나 이상의 사진을 선택하는 서버 및 방법, 그리고 단말
US9361885B2 (en) * 2013-03-12 2016-06-07 Nuance Communications, Inc. Methods and apparatus for detecting a voice command
CN103699643A (zh) * 2013-12-25 2014-04-02 三星电子(中国)研发中心 移动终端中的事务记录实现方法及装置
KR20150111552A (ko) * 2014-03-25 2015-10-06 에스케이플래닛 주식회사 모바일 서비스 시스템, 그 시스템에서의 위치 기반 앨범 생성 방법 및 장치
KR20160094307A (ko) * 2015-01-30 2016-08-09 (주)티아이스퀘어 사진 관리 장치 및 방법
US20160335572A1 (en) * 2015-05-15 2016-11-17 Microsoft Technology Licensing, Llc Management of commitments and requests extracted from communications and content
KR20180106731A (ko) * 2017-03-21 2018-10-01 엘지전자 주식회사 인공지능 에이전트를 구비하는 이동 단말기
KR102423298B1 (ko) * 2017-03-28 2022-07-21 삼성전자주식회사 음성 인식 서비스 운용 방법, 이를 지원하는 전자 장치 및 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050095739A (ko) * 2004-03-27 2005-09-30 엘지전자 주식회사 카메라 기능을 가진 이동통신 단말기의 저장 영상 이름지정 방법
JP2011155617A (ja) * 2010-01-28 2011-08-11 Katoh Electrical Machinery Co Ltd 小型電子機器のアンテナ装置
CN104584010A (zh) * 2012-09-19 2015-04-29 苹果公司 基于语音的媒体搜索
KR20160139826A (ko) * 2015-05-28 2016-12-07 엘지디스플레이 주식회사 플렉서블 디스플레이

Also Published As

Publication number Publication date
EP3731509A4 (en) 2021-08-04
KR20210117361A (ko) 2021-09-29
KR102658400B1 (ko) 2024-04-17
EP3731509A1 (en) 2020-10-28
US20200387515A1 (en) 2020-12-10
CN111837377B (zh) 2023-11-24
WO2020171299A1 (ko) 2020-08-27
KR20210117360A (ko) 2021-09-29
WO2020171295A1 (ko) 2020-08-27

Similar Documents

Publication Publication Date Title
KR102384641B1 (ko) 다국어 처리를 수행하는 인공 지능 시스템의 제어 방법
US11164581B2 (en) Artificial intelligence device
CN109831549B (zh) 移动终端
US20200302313A1 (en) Artificial intelligence device
KR102353486B1 (ko) 이동 단말기 및 그 제어 방법
KR20160019760A (ko) 이동 단말기 및 그것의 제어방법
KR20150145400A (ko) 이동단말기 및 그 제어방법
US10397736B2 (en) Mobile terminal
KR20160097655A (ko) 이동 단말기 및 그 제어 방법
KR20180106731A (ko) 인공지능 에이전트를 구비하는 이동 단말기
CN111837377B (zh) 移动终端及其控制方法
KR102508151B1 (ko) 이동 단말기 및 그 제어 방법
US10931808B2 (en) Terminal
US11115597B2 (en) Mobile terminal having first and second AI agents interworking with a specific application on the mobile terminal to return search results
KR20190009202A (ko) 이동 단말기 및 그 제어 방법
KR20230124829A (ko) 스마트폰 애플리케이션 학습 방법
KR20160089782A (ko) 이동 단말기 및 그 제어 방법
KR20160068264A (ko) 이동 단말기 및 그 제어방법
KR102357929B1 (ko) 이동 단말기 및 그 제어 방법
KR102135258B1 (ko) 이동단말기 및 그 제어방법
KR20190112602A (ko) 이동 단말기
KR20160092583A (ko) 이동단말기 및 그 제어방법
KR20160142125A (ko) 이동 단말기 및 그 제어방법
KR20160041339A (ko) 이동 단말기 및 그 제어방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant