CN110942364A - 电子装置及其控制方法 - Google Patents

电子装置及其控制方法 Download PDF

Info

Publication number
CN110942364A
CN110942364A CN201910851075.3A CN201910851075A CN110942364A CN 110942364 A CN110942364 A CN 110942364A CN 201910851075 A CN201910851075 A CN 201910851075A CN 110942364 A CN110942364 A CN 110942364A
Authority
CN
China
Prior art keywords
application
information
electronic device
user
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910851075.3A
Other languages
English (en)
Inventor
崔松雅
夫暎钟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN110942364A publication Critical patent/CN110942364A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Signal Processing (AREA)
  • Finance (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

电子装置包括存储器和处理器，处理器用于识别与和输出屏幕的内容相关的关键词对应的类别，获取与所识别的类别对应的至少一个应用程序的使用历史，并且基于使用历史来提供用于引导用户选择至少一个应用程序中的一个应用程序以供电子装置运行的引导信息。

Description

电子装置及其控制方法
相关申请的交叉引用
本申请基于于2018年9月21日在韩国知识产权局提交的第10-2018-0113869号韩国专利申请，并根据35U.S.C.§119要求该韩国专利申请的优先权，该韩国专利申请的公开内容通过引用以其整体并入本文中。
技术领域
本公开涉及电子装置及其控制方法，并且更具体地，涉及用于接收用户语音的电子装置及其控制方法。
背景技术
电子技术的发展带动了多种类型的电子装置的开发和普及。
具体地，随着基于用户语音进行控制的多种类型的电子装置的开发，使得用户的直观操作变得可行，并且用户的便利性得以提高。
相关技术的电子装置的用于正确识别用户的语音命令并执行与语音命令对应的功能的语音识别性能不甚令人满意。
为了克服上述情况，一些电子装置显示代表性的话语示例，其引导用户的话语应该包括哪个词语以及用户的话语需要具有哪种句子形式。
代表性话语示例与当前情况或正在输出的内容无关，因此，存在诱导用户生成错误话语的问题。
因此，需要提供用于引导以使得用户可以更直观地理解并正确地说出话语的引导信息。
相关技术的电子装置仅提供用于通过语音命令控制电子装置本身的功能的引导信息。
电子装置需要通过语音命令向用户提供能够控制用户使用的外部电子装置的功能和电子装置本身的功能的引导信息。
发明内容
本公开的示例性实施方式克服了上述缺点以及上文没有描述的其他缺点。此外，本公开不必然克服上述缺点，并且实施方式可能不会克服上述任何问题。
本公开的目的在于，提供一种基于使用历史提供引导信息的电子装置及其控制方法。
根据实施方式，电子装置包括存储器以及处理器，处理器用于识别与和输出屏幕的内容相关的关键词对应的类别，基于与包括在存储器中的多个应用程序有关的信息来获取与所识别的类别对应的至少一个应用信息的使用历史，并且基于上述使用历史来提供用于引导用户选择至少一个应用程序中的一个以供电子装置运行的引导信息。
处理器可以基于至少一个应用程序中的每个的使用历史信息来识别与关键词有关的应用程序，并提供用于引导用户选择所识别的应用程序的引导信息。
处理器可以基于至少一个应用程序中的每个的使用次数和使用时间中的至少一项来识别应用程序，并且提供用于引导用户选择所识别的应用程序的引导信息。
处理器可以提供用于引导与关键词有关的所识别的应用程序的使用的引导信息。
处理器可以识别与所识别的类别对应的多个关键词，并且基于从用户的话语历史中识别的、包括多个关键词中的至少一个的话语信息，提供用于引导所识别的话语信息的使用的引导信息。
处理器可以基于针对根据所识别的话语信息而提供的响应信息的用户选择历史来提供用于引导话语信息的使用的引导信息，或者提供用于引导用户选择其他用户的话语信息的引导信息。
电子装置还可以包括通信接口，并且处理器可以通过通信接口从外部装置接收与多个应用程序有关的信息，并且基于被输入针对包括在引导信息中的应用程序的选择命令，向外部装置提供用于运行所选择的应用程序的控制命令。
处理器可以基于接收到与多个应用程序中的至少一个相关的用户语音，将用户语音存储为用于应用程序的使用历史信息。
引导信息可以是用于引导用户的语音命令的信息。
电子装置还可以包括显示器，并且处理器可以控制显示器以显示内容输出屏幕和引导信息。
电子装置还可以包括扬声器，并且处理器可以基于通过扬声器输出的声音来获取关键词。
根据实施方式，电子装置的控制方法包括：识别与和输出屏幕的内容相关的关键词对应的类别，基于与多个应用程序有关的信息来获取与所识别的类别对应的至少一个应用信息的使用历史，以及基于上述使用历史来提供用于引导用户选择至少一个应用程序中的一个以供电子装置运行的引导信息。
提供引导信息可以包括：基于至少一个应用程序中的每个的使用历史信息来识别与关键词有关的应用程序，并提供用于引导用户选择所识别的应用程序的引导信息。
提供引导信息可以包括：基于至少一个应用程序中的每个的使用次数和使用时间中的至少一项来识别应用程序，并且提供用于引导用户选择所识别的应用程序的引导信息。
提供引导信息可以包括：提供用于引导与关键词有关的所识别的应用程序的使用的引导信息。
该方法可以包括：识别与所识别的类别对应的多个关键词，以及基于从用户的话语历史中识别的、包括多个关键词中的至少一个的话语信息，提供用于引导所识别的话语信息的使用的引导信息。
该方法可以包括：基于针对根据所识别的话语信息而提供的响应信息的用户选择历史来提供用于引导话语信息的使用的引导信息，或者提供用于引导用户选择其他用户的话语信息的引导信息。
该方法可以包括从外部装置接收与多个应用程序有关的信息，并且基于针对包括在引导信息中的应用程序的选择命令被选择，向外部装置提供用于运行所选择的应用程序的控制命令。
该方法可以包括：基于接收到与多个应用程序中的至少一个相关的用户语音，将用户语音存储为用于应用程序的使用历史信息。
引导信息可以是用于引导用户的语音命令的信息。
根据各种实施方式，可以向用户提供与内容输出屏幕有关的引导信息，并且可以改善用户在控制电子装置或外部装置方面的便利性。
附图说明
通过以下结合附图的描述，本公开的某些实施方式的以上和其他方面、特征和有益效果将更加显而易见，在附图中：
图1是示出根据实施方式的电子装置的配置的框图；
图2是示出图1中所示的电子装置的详细配置的框图；
图3是用于描述根据实施方式的引导信息的视图；
图4是用于描述根据另一实施方式的引导信息的视图；
图5是用于描述根据实施方式的电子装置和外部装置的视图；
图6是用于描述根据实施方式的电子装置和外部装置的视图；
图7是用于描述根据另一实施方式的电子装置的视图；
图8是用于描述根据实施方式的服务器的视图；以及
图9是用于描述根据实施方式的电子装置的控制方法的流程图。
具体实施方式
在对本说明书中使用的术语进行简要描述之后，将详细描述本公开。
考虑到本公开中的功能，选择当前广泛使用的一般术语作为本公开的实施方式中使用的术语，但是可以根据本领域技术人员的意图或司法判例、新技术的出现等而改变。另外，在特定情况下，可能存在申请人任意选择的术语。在这种情况下，将在本公开的相应描述部分中详细提及这些术语的含义。因此，本公开的实施方式中使用的术语应基于贯穿本公开全文的术语的含义和内容进行限定，而非基于这些措辞的简单名称进行限定。
由于本公开可以进行不同的修改并且具有若干实施方式，因此将在附图中示出本公开的特定实施方式并且在详细描述中对这些特定实施方式进行详细描述。然而，应理解，在不背离本公开的范围和精神的情况下，本公开不限于特定示例性实施方式，而是包括所有修改、等同和替换。当确定对与本公开相关的已知技术的详细描述可能会使本公开的主旨模糊时，将省略该详细描述。
术语“第一”、“第二”等可以用于描述各种部件，但这些部件不应解释为受这些术语的限制。这些术语仅用于将一个部件与另一部件区分开。
除非上下文另有明确说明，否则单数形式旨在包括复数形式。还将理解的是，本说明书中使用的术语“包括”或“由......形成”指定本说明书中提到的特征、数值、步骤、操作、部件、部分或其组合的存在，但不排除一个或多个其他特征、数值、步骤、操作、部件、部分或其组合的存在或添加。
在本公开的示例性实施方式中，“模块”或“
Figure BDA0002196949070000051
器”可以执行至少一个功能或操作，并且可以通过硬件或软件来实施或者可以通过硬件和软件的组合来实施。此外，多个“模块”或多个“
Figure BDA0002196949070000052
器”可以集成在至少一个模块中，并且可以通过除了需要由特定硬件来实施的“模块”或“
Figure BDA0002196949070000053
器”之外的至少一个处理器(未示出)实施。
在下文中，将参考附图对本公开的实施方式进行详细描述，以使得本公开所属领域的技术人员可以容易地实践本公开。然而，本公开可以以多种不同的形式进行实施，并且不限于本文中所描述的实施方式。另外，在附图中，将省略与描述无关的部分以显而易见地描述本公开，并且在整个说明书中，类似的部分将由类似的附图标记表示。
图1是示出根据实施方式的电子装置100的配置的框图。
如图2所示，电子装置100可以实施为显示装置但不限于此，并且可以实施为输出内容的多种类型的电子装置100。例如，电子装置100可以实施为向显示装置提供内容的各种类型的源装置，例如蓝光播放器、数字通用光盘(DVD)播放器、流媒体内容输出装置、机顶盒等。电子装置100可以通过设置在电子装置100中的显示器输出内容，或者向另一电子装置提供内容。
电子装置100可以实施为具有显示功能的设备，诸如TV、智能手机、平板PC、便携式多媒体播放器(PMP)、个人数字助理(PDA)、笔记本计算机、智能手表、头戴式显示器(HMD)、近眼显示器(NED)等。电子装置100可以实施成包括提供显示功能的多种类型的显示器，诸如液晶显示器(LCD)、有机发光二极管(OLED)、硅上液晶(LCoS)、数字光处理(DLP)、微LED、量子点(QD)显示面板等。
电子装置100可以实施为多种类型的家用电器，例如扬声器、冰箱、空调、空气净化器、物联网等。
参考图1，电子装置100包括存储装置110和处理器120。
存储装置110存储用于驱动电子装置100的操作系统(O/S)软件模块以及诸如各种多媒体内容的各种数据。
处理器120可以利用处理数字图像信号的数字信号处理器(DSP)、微处理器和时间控制器(TCON)进行实施，但处理器120不限于此。处理器120可以包括中央处理单元(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器(AP)、通信处理器(CP)以及高级精简指令集计算(RISC)机器(ARM)处理器中的一种或多种，或者可以限定为相应的术语。处理器120可以以其中内置有处理算法的大规模集成(LSI)类型或片上系统(SoC)类型实施，或者以现场可编程门阵列(FPGA)类型进行实施。
具体地，处理器120可以获取与内容输出屏幕有关的关键词。例如，当电子装置100通过设置在电子装置100中的显示器输出内容时，处理器120可以从内容输出屏幕获取关键词。处理器120可以对内容输出屏幕进行分析以识别屏幕中的对象，并从识别的对象获取关键词。例如，处理器120可以使用公知的分析算法、对象识别算法等来识别屏幕中的对象。处理器120可以从所识别的对象获取关键词。
根据实施方式，处理器120可以将屏幕中包括的“建筑物”识别为对象，并获取建筑物的名称、建筑物所处地点的地点名称等作为关键词。例如，处理器120可以识别出屏幕中包括的“艾菲尔铁塔”，并获取“艾菲尔铁塔”、“法国”、“巴黎”等作为关键词。
实施方式不限于此，并且处理器120可以使用各种数据获取基于内容的关键词、基于内容输出屏幕的关键词等。例如，处理器120可以基于内容的元数据、指纹识别等来获取关键词。作为另一示例，处理器120可以基于包括在内容输出屏幕中的文本、徽标、图像等来获取关键词。例如，屏幕中包括的文本可以通过在内容输出屏幕上执行光学字符识别(OCR)而获取到，并且可以基于该文本获取到关键词。
作为另一示例，处理器120可以使用自动内容识别(ACR)基于内容输出屏幕获取关键词。例如，处理器120可以在屏幕上获取音频信号和视频信号中的至少一个，并且可以基于所获取的信号识别出包括在屏幕中的多个对象。然后，处理器120可以基于所识别的对象获取关键词。例如，处理器120可以使用ACR来识别包括在屏幕中的人、对象和地点中的至少一个，并且基于所识别的人、对象和地点中的至少一个来获取内容名称作为关键词。可以基于所识别的人来获取特定人的姓名作为关键词，或者可以基于所识别的对象获取特定对象的名称作为关键词。
作为另一示例，处理器120可基于内容的元数据、指纹识别等获取与内容相关的关键词。例如，处理器120可以基于内容的元数据等获取内容的标题、细节、生产者、生产日期、标识符、管理编号等，并且可以获取与内容相关的关键词。作为另一示例，处理器120可基于应用了指纹技术的自动内容识别(ACR)来基于内容的声音信号或视频信号的特征点获取与内容有关的关键词。
根据实施方式的处理器120可以识别出与获取的关键词对应的类别。根据一个实施方式，存储装置110可以包括多个类别，并且在多个类别中的每一个中均包括多个关键词。例如，存储装置110可以包括“旅行”类别和用于“旅行”类别的多个关键词，诸如“飞机”、“火车”、“酒店”、“住宿”、“徒步旅行”、“海滩”、“度假”、“欧洲”、“美国”、“自由行”、“海外旅行”、“国内旅行”等。另外，存储装置110可以包括各种类别以及用于每个类别的多个关键词。
同时，这仅是示例性的，并且不限于此。例如，电子装置100可以通过与服务器(未示出)通信来获取多个类别和与类别相对应的多个关键词。例如，处理器120可以基于内容输出屏幕获取关键词，并且与服务器通信以识别与关键词对应的类别。另外，处理器120可以将内容输出屏幕传输至服务器，并从服务器接收关键词和与关键词对应的类别。
根据实施方式的处理器120可以基于与存储在存储装置110中的多个应用程序有关的信息来获取与类别对应的至少一个应用程序的使用历史。这里，与应用程序有关的信息可以包括应用程序的类别、应用程序的使用历史等。例如，应用程序可以属于如在应用程序商店中分类的多个类别(诸如，“旅行和区域信息”、“照片”、“社交”、“生活方式”等)中的至少一个。与应用程序有关的信息可以包括应用程序的类别和应用程序的用户使用历史等。
处理器120可以基于至少一个应用程序中的每一个的使用历史信息来提供用于引导至少一个应用程序的使用的引导信息。例如，当所识别的类别是“食品”时，处理器120可以获取与“食品”对应的至少一个应用程序的使用历史。处理器120可以获取食谱应用程序的使用历史、食品配送应用程序的使用历史、卡路里计算应用程序的使用历史等，作为与“食品”类别对应的至少一个应用程序的使用历史。然后，可以基于所获取的使用历史来提供用于引导至少一个应用程序的使用的引导信息。例如，基于食谱应用程序的使用历史，可以提供用于引导“在食谱应用程序中找出面食(pasta)食谱”的引导信息。作为另一示例，可以基于配送应用程序的使用历史提供“在配送应用程序中订购最近订购过的披萨”作为引导信息。
根据实施方式的处理器120可以基于至少一个应用程序中的每一个的使用历史信息来识别与关键词相关的应用程序。作为示例，可以假设基于内容输出屏幕获取“披萨”作为关键词的情况。在这种情况下，处理器120可以将“配送”识别为与“披萨”对应的类别。作为与“配送”对应的至少一个应用程序的使用历史，处理器120可以获取披萨A配送应用程序的使用历史、披萨B配送应用程序的使用历史、汉堡C配送应用程序的使用历史等。处理器120可以基于所获取的至少一个应用程序使用历史之中的与关键词“披萨”相关的披萨A配送应用程序和披萨B配送应用程序的使用历史，提供用于引导披萨A配送应用程序和披萨B配送应用程序的使用的引导信息。例如，处理器120可以提供“在披萨A配送应用程序中订购最近订购过的披萨”、“检查披萨B配送应用程序中的披萨价格”等作为引导信息。因此，在与这些类别对应的多个应用程序中的每个的使用历史之中，可以识别出与关键词有关的应用程序，并且可以提供用于引导所识别的应用程序的使用的引导信息。
此外，根据一个实施方式的处理器120可以基于与所识别的类别对应的至少一个应用程序中的每一个的使用次数和使用时间中的至少一项来识别应用程序。例如，处理器120可以在与所识别的类别对应的多个应用程序之中识别出其使用次数等于或大于预定使用次数的应用程序，并且可以基于所识别的应用程序的使用历史来提供引导信息。另外，处理器120可以识别具有最多使用次数的应用程序、具有第二高使用次数的应用程序等，并且可以基于所识别的应用程序的使用历史来提供引导信息。
作为另一示例，处理器120可以在与所识别的类别对应的多个应用程序之中识别最近使用过的应用程序，并且基于所识别的应用程序的使用历史来提供引导信息。作为另一示例，处理器120可以在与所识别的类别对应的多个应用程序之中识别与最近使用过的应用程序的预定数量一样多的应用程序，并且基于所识别的应用程序的使用历史来提供引导信息。
作为又一示例，处理器120可以基于与所识别的类别对应的至少一个应用程序是否可用来识别应用程序。例如，在至少一个应用程序之中可以排除需要帐户登录的应用程序、需要更新的应用程序、需要额外结算(例如，APP内计费)的应用程序。处理器120可以基于在多个应用程序中被识别为可用的应用程序的使用历史来提供引导信息。
根据实施方式的处理器120可以提供用于引导针对关键词识别出的应用程序的使用的引导信息。例如，可以假设基于内容输出屏幕获取到“意大利”作为关键词的情况。在这种情况下，处理器120可以将“旅行”识别为与“意大利”对应的类别。处理器120可以获取机票预订应用程序的使用历史、酒店预订应用程序的使用历史、地图应用程序的使用历史等作为与“旅行”对应的至少一个应用程序的使用历史。然后，处理器120可以基于关键词和获取到的至少一个应用程序的使用历史信息，提供用于引导至少一个应用程序的使用的引导信息。例如，处理器120可以假设获取到“巴黎的五星级酒店的预订历史”和“伦敦艺术博物馆附近的酒店的预订历史”的情况。在这种情况下，处理器120可以基于关键词“意大利”和获取到的使用历史来提供“在酒店预订应用程序中预订意大利的五星级酒店”和“在酒店预订应用程序中预订意大利艺术博物馆附近的酒店”。即使在酒店预订应用程序中没有使用酒店预订的历史，处理器120也可以基于关键词和使用历史信息提供用于引导应用程序的使用的引导信息。
根据实施方式的处理器120可以基于内容输出屏幕获取关键词，并识别与关键词对应的类别。处理器120可以识别与该类别对应的多个关键词。根据实施方式，处理器120可以在用户的话语历史中识别出包括多个关键词中的至少一个关键词的话语信息。然后，处理器120可以提供用于引导所识别的话语信息的使用的引导信息。
例如，当识别出“足球”为关键词时，“体育”可以被识别为类别。处理器120可以将“棒球”、“足球”、“世界杯”、“奥林匹克”等识别为与“体育”对应的多个关键词。处理器120可以在用户的话语历史中识别出包括“棒球”、“足球”、“世界杯”、“奥林匹克”等的话语信息。
这里，用户的话语历史可以存储在电子装置100中。在一个示例中，处理器120可以在接收到用户语音命令时将用户语音命令存储为用户语音历史。作为另一示例，电子装置100可以从服务器接收用户的话语历史并将话语历史存储在存储装置110中。处理器120可以在用户的话语历史中识别出包括多个关键词中的至少一个的话语信息。这里，话语信息可以表示用户的语音命令。例如，当接收到与多个应用程序中的至少一个相关的用户语音时，处理器120可以将应用程序和用户语音等存储为话语历史。处理器120可以在话语历史中识别包括“棒球”、“足球”、“世界杯”和“奥林匹克”中的至少一个的话语历史。处理器120可以从所识别的话语历史获取应用程序和用户语音。这里，获取的应用程序和用户语音可以表示话语信息。处理器120可以提供用于引导所识别的话语信息的使用的引导信息。
例如，处理器120可以从用户话语历史获取“体育得分应用程序”作为应用程序并且获取“向我显示团队A的比赛结果”作为用户语音。处理器120可以基于“体育得分应用程序”和“向我显示团队A的比赛结果”提供“在体育得分应用程序中向我显示团队A的比赛结果”作为引导信息。例如，引导信息可以是引导用户的语音命令的信息。
根据实施方式，当输入针对引导信息的选择命令时，处理器120可以根据所选择的引导信息来运行应用程序。例如，当输入针对作为引导信息提供的“在食谱应用程序中寻找面食食谱”的选择命令时，处理器120可以运行食谱应用程序，并搜索面食食谱。根据实施方式，提供给用户的引导信息可以是用于引导用户的语音命令的信息。因此，选择命令可以是通过麦克风(未示出)输入的用户的语音命令。
根据实施方式的处理器120可以基于用户针对根据所识别的话语信息而提供的响应信息的选择历史，提供用于引导话语信息的使用的引导信息，或者提供用于引导其他用户的话语信息的使用的引导信息。这里，响应信息可以表示根据话语信息识别的应用程序和相应应用程序的操作。例如，可以基于用户的话语信息提供“在电影预订应用程序中预订动作电影”作为响应信息。然后，电子装置100可以识别出用户是否选择所提供的响应信息。例如，如果根据用户的话语信息提供的响应信息与用户话语具有高匹配率，则用户可选择所提供的响应信息。作为另一示例，如果根据用户话语信息提供的响应信息与用户话语具有较低的匹配率，则用户可不选择所提供的响应信息。电子装置100可以生成选择历史，其中已经累积并记录了用户的选择。
基于选择历史，如果用户的选择率等于或大于预定阈值，则电子装置100可以提供用于引导用户话语信息的使用的引导信息。作为另一示例，如果选择率小于预定阈值，则电子装置100可以提供用于引导其他用户的话语信息的使用的引导信息。例如，由于用户针对基于用户话语信息提供的响应信息的选择率低，所以可能不选择所提供的引导信息。因此，电子装置100可以基于其他用户的话语信息而不是该用户话语信息来提供引导信息。此外，例如，预定阈值可以是70％。然而，实施方式不限于此，并且可以根据用户的设置、制造商的目的等进行各种设置。
作为另一示例，无论选择率是否低于预定阈值，电子装置100均可以提供用于引导其他用户的话语信息的使用的引导信息。例如，电子装置100可以基于用户的话语信息和其他用户的话语信息来提供引导信息。
图2是示出图1中所示的电子装置的详细配置的框图。
参考图2，电子装置100包括存储装置110、处理器120、通信接口130、麦克风140、显示器150和扬声器160。将不再对图2中与图1的配置重复的配置进行进一步描述。
根据实施方式的处理器120可以包括中央处理单元(CPU)、存储用于控制电子装置100的控制程序的只读存储器(ROM或非易失性存储器)、随机存取存储器(RAM或易失性存储器)，其中，随机存取存储器用作用于存储从电子装置100的外部输入的数据的存储区域，或者用作与电子装置100执行的多种操作对应的存储区域。
处理器120使用存储在存储装置110中的各种程序来控制电子装置100的整体操作。
处理器120包括随机存取存储器(RAM)、只读存储器(ROM)、图形处理器、主CPU、第一接口至第n接口以及总线。这里，RAM、ROM、图形处理器、主CPU、第一接口至第n接口等可以经由总线互连。
ROM存储用于启动系统等的命令集。当输入开启命令并且提供电源时，主CPU根据存储在ROM中的指令将存储在存储装置110中的O/S复制到RAM，运行O/S来启动系统。当完成启动时，主CPU可以将存储在存储器中的各种程序复制到RAM、运行复制到RAM的程序并执行多种操作。
图形处理器使用运算器和渲染器生成包括诸如图标、图像、文本等多种对象的屏幕。运算器可以运算诸如坐标值、形状、大小、颜色等的属性值，以所述属性值根据屏幕的布局来显示每个对象。
主CPU访问存储装置110，并使用存储在存储装置110中的O/S执行启动。主CPU使用存储在存储装置110中的各种程序和内容数据等执行多种操作。
第一接口到第n接口连接到如上所述的多种元件。接口中的一个可以是通过网络连接到外部装置的网络接口。
这里，存储装置110可以实施为包括在处理器120中的诸如ROM、RAM等的内部存储器，或者与处理器120分开的存储器。在这种情况下，存储装置110可以根据数据存储用途实施为嵌入在电子装置100中的存储器类型，或者实施为可从电子装置100拆卸的存储器类型。例如，用于驱动电子装置100的数据可以存储到嵌入在电子装置100中的存储器中，并且用于扩展电子装置100的数据可以存储在可从电子装置100拆卸的存储器中。嵌入在电子装置100中的存储器可以实施为诸如非易失性存储器、易失性存储器、硬盘驱动器(HDD)或固态驱动器(SSD)等的格式，并且可从声学输出装置100拆卸的存储器可以实施为诸如存储卡(例如，微型安全数字(SD)卡、通用串行总线(USB)存储器等)、可连接到USB端口的外部存储器(例如，USB存储器)等的格式。
通信接口130是用于与外部装置通信的配置。具体地，通信接口130可以与其他外部装置通信。此时，外部装置可以是能够输出图像内容的电子装置。例如，如果外部装置是TV，则外部装置的类型是成像装置，并且TV上的输出数据信息可以包括但不限于TV的型号名称、TV的输出内容的音频特性以及TV的输出内容中的输出音频的频率特性。另外，除了能够输出图像内容的装置之外，与通信接口130进行通信的外部装置可以包括蓝牙扬声器、照明装置、智能清洁器、智能冰箱和物联网(IOT)家庭管理器等。
当与包括麦克风的外部装置通信时，通信接口130可以接收与由外部装置接收的说话者的语音信号有关的信息。在这种情况下，通信接口130可以接收用户通过外部装置输入的用户语音。这仅仅是示例性的，并且通信接口130可以通过BT模块接收信号。
通信接口130可以包括用于以下至少一种通信方法的通信模块，诸如无线保真(WI-FI)、蓝牙(BT)、近场通信(NFC)、全球定位系统(GPS)、通过载波监听多点接入/碰撞检测(CSMA/CD)的以太网或者蜂窝通信(例如，长期演进(LTE)、长期演进-高级(LTE-A)、码分多址(CDMA)、宽带码分多址(WCDMA)、通用移动电信系统(UMTS)、无线宽带互联网(Wibro)或全球移动通信系统(GSM)等)、有线/无线局域网(LAN)、广域网(WAN)、IEEE 1394、高清多媒体接口(HDMI)、通用串行总线(USB)、移动高清链路(MHL)、高级加密标准(AES)/欧洲广播联盟(EBU)、光纤和同轴电缆。
具体地，通信接口130可以从外部装置接收与多个应用程序有关的信息。例如，从外部装置接收的与多个应用程序有关的信息可以包括存储在外部装置中的多个应用程序中的每个的类别以及应用程序的使用历史等。作为另一示例，通信接口130可以通过服务器接收与存储在外部装置中的多个应用程序有关的信息。与存储在电子装置100和每个其他电子装置中的应用程序有关的信息可以传输给服务器。电子装置100可以从服务器接收与存储在电子装置100中的多个应用程序有关的信息以及与存储在其他电子装置中的多个应用程序有关的信息。例如，可以将用于用户以相同账户使用的多个电子装置的使用历史传输给服务器，并且电子装置100可以执行与服务器以及其他电子装置中的至少一个的通信，并接收与存储在其他电子装置中的多个应用程序有关的信息。
根据实施方式的通信接口130可以接收存储在外部装置中的用户话语历史。例如，可以将与存储在外部装置中的多个应用程序中的至少一个相关的用户语音存储为话语历史，并且通信接口130可以通过与外部装置通信来接收存储在外部装置中的话语历史。实施方式不限于此，并且通信接口130可以与服务器通信并且接收存储在多个其他电子装置中的每个中的用户话语历史。
根据实施方式的处理器120可以基于内容输出屏幕获取关键词，并识别与所获取的关键词对应的类别。处理器120可以基于通过通信接口130接收的与存储在外部装置中的多个应用程序有关的信息以及与存储在存储装置110中的多个应用程序有关的信息，获取与类别对应的至少一个应用程序的使用历史。然后，基于至少一个应用程序中的每一个的使用历史信息，可以提供用于引导应用程序的使用的引导信息。
当输入针对包括在引导信息中的应用程序的选择命令时，处理器120可以运行所选择的应用程序。具体地，当所选择的应用程序包括在存储于外部装置中的多个应用程序中时，可以通过通信接口130将用于运行所选择的应用程序的控制命令传输给外部装置。
根据实施方式的通信接口130可以向服务器传输与存储在电子装置100中的多个应用程序有关的信息、用于电子装置100的用户话语命令、话语命令等。
根据实施方式的通信接口130可以将用户语音传输给服务器。服务器可以将从电子装置100接收的用户语音转换成文本信息，并将文本信息传输给电子装置100。例如，服务器可以使用语音到文本(STT；speech to text)的算法将从电子装置100接收的用户语音转换成文本信息，但不限于此。电子装置100可以自身将用户语音转换成文本信息。
麦克风140可以接收用户话语语音。根据实施方式的电子装置100可以运行应用程序并根据通过麦克风140接收的用户语音执行操作。例如，当通过麦克风140接收到用于选择所提供的引导信息的用户语音命令时，处理器120可以运行包括在所选择的引导信息中的应用程序。根据实施方式，电子装置100可以通过麦克风140接收用户话语语音，并通过设置在电子装置100的远程控制装置(未示出)中的麦克风接收用户话语语音。作为另一示例，电子装置100可以通过通信接口130与用户终端装置(未示出)通信，并从用户终端装置接收用户话语语音。
例如，用户终端装置可以包括能够与电子装置100通信的应用程序。作为示例，用于控制电子装置100的远程控制应用程序可以安装在用户终端装置中。用户终端装置可以使用远程控制器应用程序将用户话语语音传输给电子装置100。这里，远程控制器应用程序可以包括用于引导对电子装置100的控制的用户接口(UI)。远程控制器应用程序可以预先安装在用户终端装置中，或者根据用户或制造商的选择等安装在用户终端装置中。
显示器150可以提供电子装置100所能够支持的各种内容屏幕。这里，内容屏幕可以包括诸如图像、移动图像、文本、音乐等的多种内容、应用程序运行屏幕、图形用户接口(GUI)屏幕等。
显示器可以实施为多种形状，例如液晶显示器(LCD)、有机发光二极管(OLED)、硅上液晶(LCoS)、数字光处理(DLP)、微型LED、量子点(QD)显示面板等，但不限于此。对于一些情况，显示器还可以实施为柔性显示器、透明显示器等。
根据实施方式，显示器不仅可以包括用于输出图像的显示面板，还可以包括容纳显示面板的边框。具体地，根据实施方式，边框可以包括用于感测用户交互的触摸传感器(未示出)。
具体地，根据实施方式的显示器150可以显示内容输出屏幕、引导信息等。
设置在电子装置100中的显示器150可以显示由图形处理器处理的多种屏幕。电子装置100可以包括显示器150作为元件，但是当将多种屏幕显示在外部装置中所包括的显示器上时，多种屏幕可以通过该接口显示在外部装置的显示器上。
扬声器160执行输出音频信号的功能。扬声器160可包括至少一个扬声器单元(或音频放大器)。具体地，根据实施方式的电子装置100可以通过扬声器160输出内容。处理器120可以基于通过扬声器160输出的声音来获取关键词。例如，处理器120可以通过对经由扬声器160输出的声音信号执行语音识别来获取关键词。例如，当从输出的声音信号获取到“西班牙”作为关键词时，处理器120可以获取与“西班牙”对应的“旅行”、“地理信息”等作为类别。处理器120可以获取与例如“旅行”的类别对应的至少一个应用程序的使用历史，并且基于使用历史信息通过扬声器160输出用于引导该应用程序的使用的引导信息。例如，当识别出机票预订应用程序并且在票务预订应用程序的使用历史中获取到“预订到巴塞罗那的票”时，处理器120可以通过扬声器160输出“我可以通过机票预订应用程序预订到巴塞罗那的机票吗？”作为引导信息。然后，当接收到用于选择引导信息的用户输入时，处理器120可以运行机票预订应用程序并执行到巴塞罗那的机票预订。这里，用户输入可以是经由麦克风140接收的语音命令。
远程控制信号接收器(未示出)是用于接收从远程控制器传输的远程控制信号的配置。远程控制信号接收器可以实施成包括用于接收红外(IR)信号的光接收器，或者可以以通过根据诸如远程控制以及蓝牙或Wi-Fi的无线通信协议执行通信来接收远程控制信号的形式进行实施。例如，远程控制信号接收器可以包括无线通信芯片。这里，无线通信芯片表示根据多种通信标准(例如，IEEE、Zigbee、第3代(3G)、第3代合作伙伴计划(3GPP)、长期演进(LTE)、Wi-Fi、蓝牙等)执行通信的芯片。根据实施方式的电子装置100可以通过远程控制信号接收器来接收通过设置在远程控制器中的麦克风输入的用户语音。
这里，远程控制信号接收器可以与远程控制器执行无线通信，并且可以从远程控制器接收用户语音、控制命令等。例如，电子装置100可以通过远程控制信号接收器来接收通过设置在远程控制器中的麦克风输入的用户话语语音。然而，实施方式不限于此。电子装置100可以通过远程控制信号接收器经由多种类型的通信方法与远程控制器通信，并且与远程控制器收发用户语音、控制命令、数据、多种类型的信号等。
根据一个实施方式的电子装置100包括接口(未示出)。接口可以通过与显示装置(未示出)执行有线/无线通信来发送内容和引导信息。例如，接口可以通过多种通信方法(例如，HDMI、数字视频接口(DVI)、显示端口(DP)、部件、有线以太网、WI-FI、蓝牙等)与显示装置进行通信。根据一个实施方式，作为源装置的电子装置100可以将内容和引导信息传输给显示装置。然而，实施方式不限于此，并且可以通过设置在电子装置100中的显示器150输出内容、引导信息等。
根据一个实施方式的接口是用于连接外部装置以输入和输出视频和音频的配置。具体地，输入和输出接口包括通用串行总线(USB)、高清多媒体接口(HDMI)、推荐标准232(RS-232)、普通老式手机服务(POTS)DVI、DP、雷电接口(Thunderbolt)等。HDMI是用于输出音频和视频的音频和视频(AV)装置的高性能数据传输接口。DP是能够实现超高分辨率屏幕(诸如，2560×1600或3840×2160、3D立体图像以及1920×1080全高清)并且还提供数字语音的接口。雷电接口是用于高速数据传输和连接的输入和输出接口，并且可以将PC、显示器和存储装置全部连接到单个端口中。
上述输入和输出终端仅是示例性的，并且输入和输出接口可以包括仅输出音频信号的端口或仅输出视频信号的端口。
图3是用于描述根据实施方式的引导信息的视图。
参考图3，电子装置100可以实施为显示装置，但不限于此。电子装置100可以连接到具有显示器的另一电子装置，并将内容和引导信息传输给另一电子装置。为了便于描述，将对电子装置100输出内容和引导信息的情况进行描述。
电子装置100可以基于内容输出屏幕10获取关键词。电子装置100可以通过对内容输出屏幕10使用图像分析算法、对象识别算法等来识别多个对象。例如，如图3所示，电子装置100可以对内容输出屏幕10使用对象识别算法来识别多个食品对象。基于多个识别出的食品对象，可以将“食品”识别为类别。作为另一示例，基于内容输出屏幕，可以将“中国食品”识别为关键词。作为又一示例，可以从多个对象之中获取根据预定条件的对象作为关键词。例如，当在多个对象之中具有最大尺寸的对象是“披萨”时，电子装置100可以基于内容输出屏幕10获取“披萨”作为关键词。作为另一示例，当识别出多个所识别的对象之中与“食品”对应的对象为最大时，电子装置100可以将“食品”识别为类别。
根据实施方式的电子装置100可以基于与多个应用程序有关的信息来获取与所识别的类别对应的至少一个应用程序的使用历史。例如，电子装置100可以包括与诸如游戏、体育、预订、配送等多种类别对应的多个应用程序，并且多个应用程序中的每个均可以被包括在至少一个类别中。电子装置100可以获取包括在所识别的类别中的至少一个应用程序的使用历史。例如，当所识别的类别是“食品”时，可以获取“配送应用程序”、“餐馆搜索应用程序”、“食谱应用程序”等的使用历史作为“食品”中包括的应用程序。
根据实施方式的电子装置100可以提供引导信息20，以基于多个应用程序中的每个的使用历史信息来引导多个相应应用程序的使用。这里，可以基于使用历史信息来获取引导信息20。例如，可以从“配送应用程序”的使用历史获取到“披萨订购历史”和“汉堡订购历史”，并且可以从“食谱应用程序”使用历史获取到“中国食品搜索历史”。电子装置100可以基于所获取的使用历史信息来显示用于引导多个应用程序(例如，“配送应用程序”和“食谱应用程序”)的使用的引导信息20。参考图3，引导信息20可以提供“通过配送App1订购披萨”、“通过配送App1订购汉堡”、“通过配送App2订购鸡肉”等。这里，引导信息20可以是用于引导用户的语音命令的信息。当用户通过设置在电子装置100中的麦克风140说出“通过配送App1订购披萨”时，电子装置100可以通过运行配送App1来订购披萨。作为另一示例，可以通过设置在远程控制器(未示出)中的麦克风来接收用户语音命令。作为又一示例，可以通过设置在与电子装置100通信的智能手机中的麦克风来接收用户的语音命令。
根据本公开的一个实施方式的电子装置100可以根据基于内容输出屏幕获取到的关键词(例如，中国菜肴)提供用于引导应用程序的使用的引导信息、识别包括关键词的类别以及提供用于引导与所识别的类别对应的应用程序的使用的引导信息。因此，即使当“中国菜肴”被获取为关键词时，电子装置100也可以基于诸如食谱应用程序、披萨配送应用程序等多种应用程序的使用历史信息来获取并提供引导信息。
图4是用于描述根据另一实施方式的引导信息的视图。
参考图4，电子装置100可以在内容输出屏幕10上识别出著名的建筑物(例如，艾菲尔铁塔)。然后，电子装置100可以根据所识别的对象、所识别的建筑物的名称来获取关键词。例如，电子装置100可以获取艾菲尔铁塔、巴黎等作为关键词。根据一个实施方式，电子装置100可以将内容输出屏幕10传输给服务器，并且从服务器接收对于内容输出屏幕的图像搜索、ACR、图像分析算法和对象识别算法的结果。电子装置100可以基于从服务器接收的运行结果获取关键词。然而，实施方式不限于此，并且电子装置100可以通过对内容输出屏幕10执行多种类型的图像分析算法来获取关键词。作为另一示例，电子装置100可以基于内容元数据、指纹识别、在内容输出屏幕10上执行的OCR等获取关键词。
电子装置100可以识别与所获取的关键词对应的类别，并获取与所识别的类别对应的至少一个应用程序的使用历史。参考图6，当获取艾菲尔铁塔、巴黎等作为关键词时，电子装置100可以将“旅行”类别识别为与关键词对应的类别。随后，电子装置100可以获取“旅行”类别中所包括的多个应用程序中的每一个的使用历史。例如，电子装置100可以获取“酒店预订应用程序使用历史”、“机票预订应用程序使用历史”、“巴黎地铁应用程序使用历史”等。电子装置100可识别出与关键词相关的应用程序，并提供用于引导所识别的应用程序的使用的引导信息20。例如，如果词语巴黎是关键词，则可以基于多个获取到的应用程序中的每一个的使用历史(即，“巴黎地铁应用程序使用历史”)来提供引导信息20。例如，电子装置100可以提供“告诉我到卢浮宫博物馆的地铁路线”作为引导信息20。根据实施方式，当通过用户语音命令接收到“告诉我到卢浮宫博物馆的地铁路线”时，电子装置100可以运行巴黎地铁应用程序，并且搜索并提供到卢浮宫博物馆的地铁路线。这仅仅是示例性的，并且如果用户语音命令与所提供的引导信息20不同，电子装置100也可以运行应用程序。例如，如果通过用户语音命令接收到与所提供的引导信息20不同的“告诉我到奥赛博物馆的地铁路线”，则电子装置100可以运行巴黎地铁应用程序，并搜索并提供到奥赛博物馆的地铁路线。
根据实施方式的电子装置100可以基于至少一个应用程序中的每个的使用次数以及使用时间中的至少一项来识别应用程序。例如，假设电子装置100通过预订应用程序获取预订App1、预订App2和预订App3中的每个的使用历史。电子装置100可以基于预订App1、预订App2和预订App3中的每个的使用次数和使用时间中的至少一项来识别出预订App1和预订App2。例如，使用次数可以呈预订App1和预订App2的递减顺序。在这种情况下，电子装置100可以提供用于引导所识别的应用程序(即，预订App1和预订App2)的使用的引导信息20。
根据实施方式的电子装置100可以提供用于引导与关键词相关的所识别应用程序的使用的引导信息20。例如，当基于“旅行”类别中的使用次数和使用时间中的至少一项来识别出酒店预订App1和机票预订App2时，电子装置100可以针对关键词“巴黎”提供用于引导酒店预订App1和机票预订App2的使用的引导信息20。如图4所示，“通过预订App1预订巴黎的住宿”和“通过预订App2预订到巴黎的机票”作为引导信息20。
如果与类别对应的多个应用程序中的每个的使用历史与关键词无关，则根据实施方式的电子装置100可以针对关键词提供用于引导应用程序的使用的引导信息。当在酒店预订App1使用历史中没有“巴黎住宿预订历史”时，电子装置100可以针对所识别的关键词“巴黎”提供“通过预订App1预订巴黎住宿”作为引导酒店预订App1的使用的引导信息20。
图5和图6是用于描述根据实施方式的电子装置和外部装置的视图。
根据实施方式的电子装置100可以与外部装置200通信。参考图5，电子装置100可以在内容输出屏幕10中获取“智能手机”作为关键词。然后，电子装置100可以将“智能手机”、“购物”等识别为与“智能手机”对应的类别。电子装置100可以获取与所识别的类别“智能手机”和“购物”对应的多个应用程序的使用历史。
这里，多个应用程序的使用历史可以存储在外部装置200中。电子装置100可以执行与外部装置200的通信并获取存储在外部装置200中的多个应用程序的使用历史。
例如，电子装置100可以获取与“购物”(其是所识别的类别)对应的购物App1、购物App2和购物App3中的每个的使用历史，并且购物App1、购物App2和购物App3可以是存储在外部装置200中的应用程序。
电子装置100可以基于至少一个应用程序中的每个的使用历史信息来提供用于引导至少一个应用程序的使用的引导信息20。例如，可以将“通过购物App1寻找蓝牙耳机”、“通过购物App2寻找智能手表”、“通过购物App3寻找智能手机壳”提供为引导信息20。这里，蓝牙耳机、智能手表和智能手机壳中的每个可以是包括在“购物”类别中的多个关键词的一部分。
同时，通过电子装置100将“智能手机”、“购物”等识别为与“智能手机”对应的类别仅仅是实施方式。例如，电子装置100可以与服务器通信并传输“智能手机”作为搜索词，并从服务器接收包括“智能手机”的上位概念，即类别。作为另一示例，电子装置100可以基于制造商在制造电子装置100时存储的数据库和由用户设置的数据库等获取与关键词对应的类别。
根据一个实施方式的电子装置100可以识别用户话语历史之中的包括多个关键词中的至少一个的话语信息。例如，可以识别包括“蓝牙耳机”、“智能手表”和“智能手机外壳”的用户话语，这些用户话语是与所获取的关键词“智能手机”在相同类别中的多个关键词的一部分。例如，电子装置100可以在用户话语历史之中识别包括“蓝牙耳机”的话语历史。然后，电子装置100可以识别与用户话语历史和相应的话语历史相关的应用程序。电子装置100可以识别出用户话语历史之一“寻找蓝牙耳机的最低价格”，并将“购物App1”识别为话语信息。电子装置100可以提供所识别的话语信息作为引导信息20。例如，电子装置100可以提供“通过购物App1寻找蓝牙耳机”和“通过购物App1寻找蓝牙耳机的最低价格”作为引导信息20。
根据一个实施方式，多个应用程序可以存储在与电子装置100通信的外部装置200中。电子装置100可以根据用户针对引导信息20的选择命令向外部装置200提供用于运行与所选择的引导信息20对应的应用程序的控制命令。例如，假设提供“利用购物App2寻找智能手表”作为引导信息20，并且根据用户的选择命令选择“利用购物App2寻找智能手表”。这里，如果购物应用程序App2是存储在外部装置200中的应用程序，则电子装置100可以响应于用户的选择命令，将用于运行购物应用程序App2的控制命令传输给外部装置200。
参考图6，引导信息20可以是用于引导用户的语音命令的信息。当根据通过电子装置100提供的引导信息20接收到用户的语音命令时，电子装置100可以根据用户的语音命令将用于运行所选择的应用程序的控制命令提供给外部装置200。
例如，电子装置100可以从外部装置200接收与多个应用程序有关的信息。然后，电子装置100可以从用于多个应用程序的信息获取到与所识别的类别(例如，“旅行”)对应的至少一个应用程序中的每个的使用历史信息。例如，电子装置100可以获取酒店预订App1的使用历史、票务预订App2的使用历史以及图库App的使用历史。电子装置100可以基于所获取的使用历史来提供用于引导应用程序的使用的引导信息20。同时，酒店预订App1、票务预订App2和图库App可以是存储在外部装置200中的应用程序。
当输入用于包括在引导信息20中的应用程序的选择命令时，电子装置100可以向外部装置200提供用于运行所选择的应用程序的控制命令。
例如，当用户选择命令是“预订到巴黎的票”时，电子装置100可以向外部装置200传输控制命令，以控制外部装置200运行预订App2来预订到巴黎的票。
图7是用于描述根据另一实施方式的电子装置的视图。
参考图7，电子装置可以不包括显示器150。例如，电子装置可以实施为设置有扬声器160的人工智能(AI)扬声器等。
电子装置100可以基于通过扬声器160输出的声音获取关键词。根据一个实施方式的电子装置100可以从输出预定时间的声音获取文字信息，并且从所获取的文字信息获取关键词。这里，预定时间可以根据用户的设置、制造商的目的等进行不同的设置。
电子装置100可以识别与所获取的关键词对应的类别，获取与所识别的类别对应的至少一个应用程序的使用历史，并且基于使用历史信息提供用于引导相应应用程序的使用的引导信息。
作为另一示例，电子装置100可以获取与所识别的类别对应的多个关键词。例如，可以获取与“食品”类别对应的“汉堡”、“披萨”等。然后，电子装置100可以识别出包括从用户话语历史获取到的“汉堡”和“披萨”的话语历史。另外，可以识别与所识别的类别对应的应用程序。例如，可以识别出与“食品”类别对应的“配送应用程序”、“食谱应用程序”等。电子装置100可以基于所识别的话语历史和应用程序来提供用于引导所识别的话语信息的使用的引导信息20。这里，话语信息可以表示所识别的用户的话语历史与所识别的应用程序之间的组合。例如，“通过配送App1订购披萨”和“通过配送App1订购汉堡”是根据用户话语历史和“配送应用程序”的组合提供为引导信息20的话语信息。
图8是用于描述根据实施方式的服务器的视图。
根据实施方式的电子装置100可以连接到显示装置，并将内容和引导信息20传输给显示装置。作为另一示例，电子装置100可以实施为具有显示器本身的显示装置100'。
根据实施方式的电子装置100可以将内容输出屏幕10传输给服务器300，并且从服务器300接收基于内容输出屏幕10的关键词，并接收与关键词对应的类别。
此外，当接收到与存储在电子装置100中的至少一个应用程序有关的用户语音时，电子装置100可以将用户语音存储为该应用程序的使用历史信息。这里，电子装置100可以将使用历史信息传输给服务器300。根据一个实施方式的服务器300可以存储从电子装置100传输的使用历史信息和从外部装置200传输的使用历史信息。
根据实施方式的电子装置100可以提供用于引导存储在外部装置200中的多个应用程序的使用的引导信息20。如果输入用于包括在引导信息中的应用程序的选择命令并且所选择的应用程序是存储在外部装置200中的多个应用程序中的任意一个时，电子装置100可以通过服务器300向外部装置200传输用于控制相应应用程序的运行的命令。例如，电子装置100可以向服务器300传输与选择命令对应的控制信号。服务器300可以向外部装置200传输控制信号。外部装置200可以根据从服务器300接收的控制信号来运行应用程序并执行操作。然而，这仅仅是示例性的，并且电子装置100和外部装置200可以执行通信，并收发控制命令、与多个应用程序中的每个有关的信息以及各种数据。
同时，根据实施方式的服务器300可以对从电子装置100接收的用户语音执行语音识别，并获取文本信息。然后，服务器300可以将所获取的文本信息传输给电子装置100。然而，这仅仅是示例性的，并且电子装置100本身可以对用户语音执行语音识别，并获取文本信息。
图9是用于描述根据实施方式的电子装置的控制方法的流程图。
在S910中，根据实施方式的电子装置的控制方法基于内容输出屏幕获取关键词。
然后，在S920中，识别与关键词对应的类别。
在S930中，基于与多个应用程序有关的信息来获取与所识别的类别对应的至少一个应用程序的使用历史。
在S940中，基于至少一个应用程序中的每个的使用历史信息，提供用于引导至少一个应用程序的使用的引导信息。
这里，提供引导信息的步骤S940可以包括：基于至少一个应用程序中的每个的使用历史信息来识别与关键词相关的应用程序的步骤，以及提供用于引导所识别的应用程序的使用的引导信息的步骤。
根据实施方式的提供引导信息的步骤S940可以包括：基于至少一个应用程序中的每个的使用次数和使用时间中的至少一个来识别应用程序，以及提供用于引导所识别的应用程序的使用的引导信息的步骤。
这里，提供引导信息的步骤S940可以针对关键词提供用于引导所识别的应用程序的使用的引导信息。
根据实施方式的控制方法可以包括以下步骤：识别与所识别的类别对应的多个关键词，并且基于包括多个关键词中的至少一个的话语信息(所述多个关键词为从用户话语历史中识别出的多个关键词)，提供用于引导所识别的话语信息的使用的引导信息。
这里，根据实施方式的控制方法可以包括：基于用户针对根据所识别的话语信息提供的响应信息的选择历史提供用于引导话语信息的引导信息，或者提供用于引导另一用户的话语信息的使用的引导信息。
根据实施方式的控制方法可以包括从外部装置接收与多个应用程序有关的信息，并且基于所输入的对包括在引导信息中的应用程序的选择命令，向外部装置提供运行所选择的应用程序的控制命令。
可以包括以下步骤：基于接收到的与多个应用程序中的至少一个相关的用户语音，将用户语音存储为用于应用程序的使用历史信息。
引导信息可以是用于引导用户的语音命令的信息。
同时，根据实施方式的控制方法可以包括：获取与内容输出屏幕相关的关键词的步骤S910、识别与关键词对应的类别的步骤S920、基于与多个应用程序有关的信息来获取与所识别的类别对应的至少一个应用程序的使用历史的步骤S930、以及基于至少一个应用程序中的每一个的使用历史信息来提供用于引导至少一个应用程序的使用的引导信息的步骤S940。当输入用于包括在引导信息中的应用程序的选择命令并且所选择的应用程序是包括在外部装置中的应用程序时，可以向外部装置提供用于运行所选择的应用程序的控制命令。
上文描述的各种实施方式可以实施在记录介质中，该记录介质可以通过使用软件、硬件或其组合由计算机或类似装置读取。在一些情况下，本文中描述的实施方式可以由处理器本身进行实施。根据软件实现方式，诸如本文中描述的过程和功能的实施方式可以实施在单独的软件模块中。软件模块中的每个均可以执行本文中描述的一个或多个功能和操作。
用于执行根据上述各种实施方式的处理操作的计算机指令可以存储在非暂时性计算机可读介质中。当存储在非暂时性计算机可读介质中的计算机指令通过处理器运行时，计算机指令可以允许特定装置执行根据上述实施方式的处理操作。
非暂时性计算机可记录介质不是被配置成暂时地存储数据的诸如寄存器、高速缓存或存储器的介质，而是被配置成半永久性地存储数据的设备可读介质。具体地，非暂时性设备可读介质可以是光盘(CD)、数字通用光盘(DVD)、硬盘、蓝光光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等。
本教导可以容易地应用于其他类型的设备。此外，实施方式的描述旨在是说明性的，而非对权利要求的范围进行限定，并且许多替代、修改和变化对本领域技术人员而言将是显而易见的。虽然已经参考附图描述了一个或多个实施方式，但是本领域普通技术人员将理解的是，在不背离由所附权利要求及其等同限定的精神和范围的情况下，可以在形式和细节上对其进行多种改变。

Claims (15)

1.电子装置，包括：
存储器；以及
处理器，配置成：
识别与关键词对应的类别，所述关键词与输出屏幕的内容对应，
基于与包括在所述存储器中的多个应用程序有关的信息，获取与所识别的类别对应的至少一个应用程序的使用历史，以及
基于所述使用历史，提供用于引导用户选择所述至少一个应用程序中的一个以供所述电子装置运行的引导信息。
2.根据权利要求1所述的电子装置，其中，所述处理器进一步配置成：
基于所述至少一个应用程序中的每个的使用历史信息，识别与所述关键词相关的应用程序，并提供用于引导所述用户选择所识别的应用程序作为所述至少一个应用程序的引导信息。
3.根据权利要求1所述的电子装置，其中，所述处理器进一步配置成：
基于所述至少一个应用程序中的每个的使用次数和使用时间中的至少一项来识别应用程序，并提供用于引导所述用户选择所识别的应用程序作为所述至少一个应用程序的引导信息。
4.根据权利要求3所述的电子装置，其中，所述处理器进一步配置成：提供用于引导与所述关键词有关的所识别的应用程序的使用的引导信息。
5.根据权利要求1所述的电子装置，其中，所述处理器进一步配置成：
识别与所识别的类别对应的多个关键词，以及
基于从用户的话语历史中识别的、包括所述多个关键词中的至少一个的话语信息，提供用于引导所识别的话语信息的使用的引导信息。
6.根据权利要求5所述的电子装置，其中，所述处理器配置成：
基于针对根据所识别的话语信息而提供的响应信息的用户选择历史来提供用于引导所述话语信息的使用的引导信息，或者提供用于引导所述用户选择其他用户的话语信息的引导信息。
7.根据权利要求1所述的电子装置，还包括：
通信接口，
其中，所述处理器进一步配置成：
通过所述通信接口从外部装置接收与所述多个应用程序有关的信息，以及
基于用于选择包括在所述引导信息中的应用程序的选择命令，向所述外部装置提供用于运行所选择的应用程序的控制命令。
8.根据权利要求1所述的电子装置，其中，所述处理器进一步配置成：
基于接收到与所述多个应用程序中的至少一个相关的用户语音，将所述用户语音存储为用于所述多个应用程序中的所述至少一个的使用历史信息。
9.根据权利要求1所述的电子装置，其中，所述引导信息是用于引导用户的语音命令的信息。
10.根据权利要求1所述的电子装置，还包括：
显示器，
其中，所述处理器进一步配置成：控制所述显示器以显示所述输出屏幕和所述引导信息。
11.根据权利要求1所述的电子装置，还包括：
扬声器，
其中，所述处理器进一步配置成：基于通过所述扬声器输出的声音来获取所述关键词。
12.电子装置的控制方法，所述方法包括：
识别与关键词对应的类别，所述关键词与输出屏幕的内容对应，
基于与多个应用程序有关的信息，获取与所识别的类别对应的至少一个应用程序的使用历史，以及
基于所述使用历史，提供用于引导用户选择所述至少一个应用程序中的一个以供所述电子装置运行的引导信息。
13.根据权利要求12所述的方法，其中，提供所述引导信息包括：
基于所述至少一个应用程序中的每个的使用历史信息，识别与所述关键词相关的应用程序，以及
提供用于引导所述用户选择所识别的应用程序作为所选择的至少一个应用程序的引导信息。
14.根据权利要求12所述的方法，其中，提供所述引导信息包括：
基于所述至少一个应用程序中的每个的使用次数和使用时间中的至少一项来识别应用程序，以及
提供用于引导所述用户选择所识别的应用程序的引导信息。
15.根据权利要求14所述的方法，其中，提供所述引导信息包括：
提供用于引导与所述关键词有关的所识别的应用程序的使用的引导信息。
CN201910851075.3A 2018-09-21 2019-09-10 电子装置及其控制方法 Pending CN110942364A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0113869 2018-09-21
KR1020180113869A KR102661340B1 (ko) 2018-09-21 2018-09-21 전자 장치 및 이의 제어 방법

Publications (1)

Publication Number Publication Date
CN110942364A true CN110942364A (zh) 2020-03-31

Family

ID=69883493

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910851075.3A Pending CN110942364A (zh) 2018-09-21 2019-09-10 电子装置及其控制方法

Country Status (5)

Country Link
US (1) US11468887B2 (zh)
EP (1) EP3811198A4 (zh)
KR (1) KR102661340B1 (zh)
CN (1) CN110942364A (zh)
WO (1) WO2020060070A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111813489A (zh) * 2020-08-11 2020-10-23 Oppo（重庆）智能科技有限公司 一种屏保显示方法、装置及计算机可读存储介质

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5638210B2 (ja) 2009-08-27 2014-12-10 京セラ株式会社 携帯電子機器
KR20130094577A (ko) * 2012-02-16 2013-08-26 삼성전자주식회사 어플리케이션을 실행하는 디스플레이 장치 및 그 방법
JP6223744B2 (ja) * 2013-08-19 2017-11-01 株式会社東芝 方法、電子機器およびプログラム
KR102180473B1 (ko) * 2013-11-05 2020-11-19 삼성전자주식회사 디스플레이 장치 및 그 디스플레이 장치의 제어 방법
KR102297519B1 (ko) 2014-02-25 2021-09-03 삼성전자주식회사 서버 및 이의 가이드 문장 생성 방법
EP3125134B1 (en) * 2014-03-28 2018-08-15 Panasonic Intellectual Property Management Co., Ltd. Speech retrieval device, speech retrieval method, and display device
KR102282487B1 (ko) * 2014-05-08 2021-07-26 삼성전자주식회사 애플리케이션 실행 장치 및 방법
KR102281178B1 (ko) 2014-07-09 2021-07-23 삼성전자주식회사 멀티-레벨 음성 인식 방법 및 장치
KR20160039830A (ko) 2014-10-02 2016-04-12 엘지전자 주식회사 멀티미디어 장치 및 그의 음성 가이드 제공방법
US10504509B2 (en) * 2015-05-27 2019-12-10 Google Llc Providing suggested voice-based action queries
KR101972740B1 (ko) 2015-09-01 2019-04-26 김세복 동기부여 알람 서비스 제공 방법
US10291565B2 (en) * 2016-05-17 2019-05-14 Google Llc Incorporating selectable application links into conversations with personal assistant modules
US10249300B2 (en) * 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
CN107871501A (zh) 2016-09-27 2018-04-03 Fmr有限责任公司 使用智能语音识别的自动化软件执行方法
US20180101855A1 (en) * 2016-10-12 2018-04-12 International Business Machines Corporation Automated reward mechanism for graphic content selection
US11205426B2 (en) 2017-02-27 2021-12-21 Sony Corporation Information processing device, information processing method, and program
KR101852905B1 (ko) * 2017-12-20 2018-06-20 삼성전자주식회사 앱 리스트 제공 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
WO2020060070A1 (en) 2020-03-26
US11468887B2 (en) 2022-10-11
EP3811198A1 (en) 2021-04-28
EP3811198A4 (en) 2021-08-25
US20200098364A1 (en) 2020-03-26
KR102661340B1 (ko) 2024-04-30
KR20200034275A (ko) 2020-03-31

Similar Documents

Publication Publication Date Title
US10387510B2 (en) Content search method and electronic device implementing same
KR102453833B1 (ko) 전자 장치 및 그 제어 방법
US10121449B2 (en) Method and apparatus for screen sharing
KR102207208B1 (ko) 음악 정보 시각화 방법 및 장치
US9582245B2 (en) Electronic device, server and control method thereof
US20170235435A1 (en) Electronic device and method of application data display therefor
US11099809B2 (en) Display apparatus and control method thereof
US9247199B2 (en) Method of providing information-of-users' interest when video call is made, and electronic apparatus thereof
KR102178892B1 (ko) 정보 제공 방법 및 그 전자 장치
US20150189362A1 (en) Display apparatus, server apparatus, display system including them, and method for providing content thereof
US20150067521A1 (en) Method and apparatus for presenting content using electronic devices
US20150130705A1 (en) Method for determining location of content and an electronic device
US20170249934A1 (en) Electronic device and method for operating the same
US10999501B2 (en) Electronic device and method for controlling display of panorama image
KR102614697B1 (ko) 디스플레이 장치 및 디스플레이 장치의 채널 정보 획득 방법
US9947137B2 (en) Method for effect display of electronic device, and electronic device thereof
US20170286058A1 (en) Multimedia data processing method of electronic device and electronic device thereof
US20150347377A1 (en) Method for processing contents and electronic device thereof
KR102013329B1 (ko) 광학식 문자 판독기를 이용한 데이터 처리 방법 및 장치
US9538248B2 (en) Method for sharing broadcast channel information and electronic device thereof
US20150178502A1 (en) Method of controlling message of electronic device and electronic device thereof
US10691717B2 (en) Method and apparatus for managing data
US11468887B2 (en) Electronic device and control method thereof
US11373634B2 (en) Electronic device for recognizing abbreviated content name and control method thereof
US20150052145A1 (en) Electronic device and method capable of searching application

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination