CN114424148B - 电子设备及其用于提供手册的方法 - Google Patents

电子设备及其用于提供手册的方法 Download PDF

Info

Publication number
CN114424148B
CN114424148B CN202080065430.5A CN202080065430A CN114424148B CN 114424148 B CN114424148 B CN 114424148B CN 202080065430 A CN202080065430 A CN 202080065430A CN 114424148 B CN114424148 B CN 114424148B
Authority
CN
China
Prior art keywords
manual
user
information
level
understanding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202080065430.5A
Other languages
English (en)
Other versions
CN114424148A (zh
Inventor
崔源宗
金秀必
朴艺苑
咸珍雅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190119099A external-priority patent/KR20210032259A/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN114424148A publication Critical patent/CN114424148A/zh
Application granted granted Critical
Publication of CN114424148B publication Critical patent/CN114424148B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/08—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations
    • G09B5/12—Electrically-operated educational appliances providing for individual presentation of information to a plurality of student stations different stations being capable of presenting different information simultaneously
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student
    • G09B7/04—Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student characterised by modifying the teaching programme in response to a wrong answer, e.g. repeating the question, supplying a further explanation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)

Abstract

提供了电子设备的用于提供手册的方法。该方法包括：向显示装置提供用于外部装置的多个手册中的一者；获得针对所提供的手册的用户响应；基于所获得的用户响应来确定对手册的理解水平；以及根据理解水平来用多个手册之中的另一手册替换所提供的手册。多个手册可以包括通用手册、详细手册和简单手册。

Description

电子设备及其用于提供手册的方法
技术领域
本公开涉及电子设备和用于提供手册的方法。更具体地，本公开涉及用于根据用户响应提供手册的电子设备及其用于提供手册的方法。
背景技术
电子技术的发展已经使得能够通过用户终端装置在任何时间向用户提供各种内容。用户终端装置可以接收或存储来自外部装置的各种类型的内容，诸如图像、语音和视频以及文本，并且可以将这些内容提供给用户。
特别地，近来，也将诸如用于向用户提供信息的说明或指南之类的内容提供为诸如图像、语音、视频等内容，以便于用户的理解，并且用户可以通过使用诸如图像、语音、视频等内容来更直观且容易地获得信息。
发明内容
技术问题
然而，由于单方面地向用户递送内容，也就是说，在没有考虑用户响应或用户对内容的理解水平的情况下向用户提供内容，因此用户可能会觉得不方便对所提供的内容进行导航(例如，转发、倒回、停止等)或者在所提供的内容不适合用户的情况下搜索其它内容。
上述信息仅作为背景信息呈现，以帮助理解本公开。对于上述任何内容是否可以作为本公开的现有技术应用，没有做出确定，也没有做出断言。
问题的解决方案
本公开的方面旨在至少解决上述问题和/或优点，并且至少提供下文所描述的优点。因此，本公开的一方面是提供一种用于确定用户对向用户提供的手册的理解水平并且基于所确定的理解水平来向用户提供合适的手册的电子设备及其用于提供手册的方法。
附加的方面将部分地在下面的描述中阐述，并且部分地将从描述中显而易见，或者可以通过对所提出的实施例的实践来获悉。
根据本公开的一方面，提供了一种电子设备的手册提供方法。该手册提供方法包括：向显示装置提供用于外部装置的多个手册中的一者；获得针对所提供的手册的用户响应；基于所获得的用户响应来确定对手册的理解水平；以及根据理解水平来用多个手册中的另一手册替换所提供的手册，其中多个手册包括通用手册、详细手册和简单手册。
根据本公开的另一方面，提供了一种电子设备。该电子设备包括：通信接口；存储器；以及处理器，该处理器配置为：控制通信接口向显示装置提供用于外部装置的多个手册中的一者，获得针对所提供的手册的用户响应，基于用户响应来确定对手册的理解水平，以及根据理解水平来用多个手册中的另一手册替换手册，并且多个手册包括通用手册、详细手册和简单手册。
通过以下结合附图披露本公开的各种实施例的详细描述，本公开的其它方面、优点和显著特征对于本领域技术人员将变得显而易见。
附图说明
通过以下结合附图的描述，本公开的某些实施例的上述和其它方面、特征和优点将变得更加显而易见，在附图中：
图1、图2、图3、图4、图5和图6是用于描述根据本公开的各种实施例的电子设备的用于提供手册的方法的流程图；
图7是用于描述根据本公开的实施例的用于根据用户的理解水平来提供内容的内容提供系统的视图；
图8是示出根据本公开的实施例的电子设备的配置的框图；
图9是示出根据本公开的实施例的电子设备的对话系统的框图；
图10是用于描述根据本公开的实施例的多个手册的视图；
图11是用于描述根据本公开的实施例的显示装置在与外部装置相关的多个子内容中选择要再现的子内容的视图；
图12是用于描述根据本公开的实施例的电子设备根据用户语音信息来确定理解水平的视图；
图13和图14是用于描述根据本公开的各种实施例的电子设备确定替换手册的再现起始点的视图；
图15、图16和图17是用于描述根据本公开的各种实施例的电子设备从显示装置接收手册传输命令的视图；
图18是根据本公开的实施例的包括电子设备的流程图；
图19是用于描述根据本公开的实施例的电子设备的视图；以及
图20是示出根据本公开的实施例的电子设备的框图。
在所有附图中，应当注意，相同的附图标记用于描绘相同或相似的元件、特征和结构。
用于实施本发明的最佳模式
-
具体实施方式
参考附图提供以下描述以帮助全面理解本公开的各种实施例，本公开如由权利要求和其等同物限定。以下描述包括有助于理解的各种具体细节，但这些应仅被视为是示例性的。因此，本领域的普通技术人员将认识到，在不脱离本公开的范围和精神的情况下，可以对本文中描述的各种实施例进行各种改变和修改。另外，为了清楚和简洁起见，可以省略对众所周知的功能和构造的描述。
在以下描述和权利要求中使用的术语和词语不限于书面含义，而是仅由发明人用来使得能够清楚和一致地理解本公开。因此，对于本领域的技术人员来说显而易见的是，提供本公开的各种实施例的以下描述仅出于说明目的，而不是出于限制如由所附权利要求和其等同物限定的本公开的目的。
应理解，除非上下文明确地另有说明，否则单数形式“一个”、“一种”以及“所述”包括复数指示物。因此，例如，对“部件表面”的引用包括对一个或更多此类表面的引用。
在本文档中，表述“具有”、“可以具有”、“包括”或“可以包括”可以用于表示特征(例如，数值、功能、操作)的存在，并且不排除附加特征的存在。
在本文档中，表述“A或B”、“A和/或B中的至少一者”以及“A和/或B中的一者或更多”等包括所列项目的所有可能组合。例如，“A或B”、“A和B中的至少一者”或“A或B中的至少一者”包括：(1)至少一个A；(2)至少一个B；(3)共同包括至少一个A和至少一个B。
诸如“第一”、“第二”等术语可以用于描述各种元件，但是元件可以不受这些术语的限制。这些术语是仅用于区分一个元件和另一元件的标记。
应理解，元件(例如，第一元件)与另一元件(例如，第二元件)“可操作地或通信地联接”/“可操作地或通信地联接”到另一元件(例如，第二元件)是：任何此种元件可以直接连接到另一元件或可以经由另一元件(例如，第三元件)被连接。另一方面，当元件(例如，第一元件)“直接连接”或“直接接入”到另一元件(例如，第二元件)时，应理解，在其它元件之间不存在其它元件(例如，第三元件)。
表述“配置为”可以与例如“适用于”、“具有……的能力”、“被设计为”、“适于”、“用来”或“能够”互换使用。表述“配置为”未必意指在硬件层面上的“被专门设计为”。相反，在一些情况下，“配置为……的装置”可以指示这种装置可以与另一装置或部分一起执行动作。例如，表述“配置为执行A、B和C的处理器”可以指示用于执行对应动作的专用处理器(例如，嵌入式处理器)或者可以通过执行存储在存储器装置中的一个或更多软件程序来执行对应动作的通用处理器(例如，中央处理单元(CPU)或应用处理器(AP))。
在本公开中，术语“用户”可以是指使用电子设备的人或使用电子设备的设备(例如，人工智能电子设备)。
在下文中，将参考附图更详细地描述实施例。
图1和图2是用于描述根据本公开的各种实施例的电子设备的用于提供手册的方法的流程图。
参考图1和图2，在操作S110和S210中，用于提供手册的方法可以向显示装置提供用于外部装置的通用手册、详细手册和简单手册。
在操作S120和S220中，可以获得对所提供手册的用户响应。用户响应指示查看或收听所提供手册的用户的反馈信息。用户响应可以包括针对所提供手册的用户的语音信息或图像信息。用户语音信息可以包括由收听或查看所提供手册的用户说出的语音信息，并且用户图像信息可以包括用户的面部表情信息或用户的手势信息(或姿势信息)，诸如收听或查看所提供手册的用户。
如果在操作S220-“否”中未获得用户响应，则在操作S230中，可以向用户终端装置请求用户响应信息。在这种情况下，在操作S240中，接收到用户响应请求信息的用户终端装置可以提供向用户请求用户响应的语音信息。用户终端装置可以是提供手册的显示装置，但这仅仅是示例性的。用户终端装置可以是电子设备，诸如蜂窝电话、智能电话、电视、监视器、空调、冰箱和洗衣机。例如，基于所接收的用户响应请求信息，用户终端装置可以向用户提供语音，诸如“您觉得手册怎么样？”、“您做得跟手册一样好吗？”。作为响应，用户终端装置可以从用户接收响应信息。例如，用户终端装置可以从用户获得语音信息“不，太难了”，或者捕获用户的面部表情或手势。接收到用户响应请求信息的用户终端装置可以捕获用户并且将所捕获的图像信息传输到电子设备。
当在操作S240-“是”中，电子设备获得用户响应信息时，在操作S250中，电子设备可以确定对基于所获得的用户响应提供的手册的理解水平。当在操作S240-“否”中，电子设备没有获得用户响应信息时，电子设备可以在操作S230中再次向用户终端装置请求用户响应信息。
然后，在操作S130和S250中，可以确定对基于用户响应提供的手册的理解水平。理解水平是指用户对于手册的理解程度，这指示用户认识并接受手册的内容的程度。理解水平指示认识到比向用户提供的手册的内容中所包含的信息更多还是更少的信息。理解水平可以划分为高水平、中性水平和低水平。
高水平意味着用户对手册的理解较高，并且指示用户被识别为认识到比在显示装置上显示的内容所包含的信息更多的信息。例如，如果向显示装置提供手册中的步骤A、B和C中的步骤A，则当接收到“我完成了步骤B”的用户响应时，用户的理解水平可以被确定为高水平。如果用户的理解水平是高水平，则向显示装置提供的手册可以用另一手册替换。此时，替换手册可以包括对向显示装置提供的手册信息进行概括的少量信息，并且用户可以在比先前提供的手册更快的时间内获得手册内容信息。
中性水平表示用户对手册的理解水平是中性的，并且指示在确定用户认识到与在显示装置上显示的内容中所包括的信息相对应的信息时的理解水平。例如，如果向显示装置提供手册中所包括的步骤A、B、C中的步骤A，并且接收到“我完成了步骤A”的用户响应，则用户的理解可以被确定为中性水平。如果用户的理解水平是中性水平，则向显示装置提供的手册可以继续提供给用户。
最后，低水平表示用户对手册的理解水平是低水平，并且指示在确定用户认识到比在显示装置上显示的内容中所包含的信息更少的信息时的用户理解。例如，如果向显示装置提供手册的步骤A、B和C中的步骤A，并且接收到“我不知道”的用户响应，则用户的理解水平可以被确定为低水平。如果用户的理解水平是低的，则向显示装置提供的手册可以用另一手册替换。在这种情况下，替换手册可以包括向显示装置提供的手册信息中的大量详细信息。
基于所获得的理解水平，在操作S260中，可以做出关于是否有必要替换手册的确定。具体地，如果所确定的理解是处于低水平或高水平，则可以确定有必要替换手册。另外，如果所确定的理解水平是中性水平，则可以提供与向显示装置提供的手册相同的手册，而无需替换手册。然而，这仅仅是示例性的，并且如果所确定的理解水平是中性水平，则可以确定有必要替换手册。
根据理解水平，在操作S140中，可以用通用手册、详细手册和简单手册中的一者来替换所提供手册。
根据所确定的理解水平，在操作S270中，可以选择通用手册、详细手册和简单手册作为替换手册。在传输替换手册之前，可以考虑向显示装置传输的手册来选择替换手册。将关于图4阐述具体的描述。
在操作S280中，控制方法可以确定所选手册的再现起始点。可以基于外部装置的状态信息来确定所选手册的再现起始点。将关于图6给出具体的描述。
如果向显示装置提供的内容是通用手册，并且理解水平被确定为高水平，则替换手册可以被确定为简单手册。相反，如果向显示装置提供的内容是通用手册，并且理解水平被确定为低水平，则替换手册可以被确定为详细手册。
在操作S290中，可以用所选手册来替换所提供手册。在这种情况下，可以将所选手册和关于再现起始点的信息传输到显示装置，以替换向显示装置提供的手册。具体地说，可以将与所选手册对应的地址信息和关于再现起始点的信息提供到显示装置，以替换所提供手册。
作为另一个实施例，所选手册可以通过流式传输来传输到显示装置。在这种情况下，所选手册的整个再现部分之中的、从再现起始点开始的数据可以流式传输到显示装置上。
图3是用于描述根据本公开的实施例的用于提供手册的方法的视图。具体地，图3是用于更详细地描述图2的S250的视图。
参考图3，当在操作S220中获得对所提供手册的用户响应之后，在操作S310中，可以获得用户响应中所包括的语音信息的语义信息和语音信息的高度信息。
通过使用所获得的语音信息的语义信息和高度信息，可以确定理解水平。
当在操作S320中确定用户语音信息的语义信息是积极的时，在操作S330中，可以确定理解水平是高水平。然而，如果在操作S320中确定用户语音信息的语义信息不是积极的，则在操作S340中，可以确定用户语音信息的语义信息是否对应于消极。
当在操作S340-“是”中确定用户语音的语义信息对应于消极时，在操作S350中，可以确定理解水平是低水平。相反，如果在操作S340-“否”中确定用户语音信息的语义信息不对应于消极，也就是说，用户语音信息的语义信息不对应于积极和消极，则可以基于用户语音信息的语音高度信息来确定理解水平。
当在操作S360中，用户语音信息的语音高度信息大于或等于预定的第一值时，可以确定理解水平是高水平。相反，当在操作S360中，关于用户语音信息的语音高度信息小于预定的第一值时，在操作S370中，可以确定出用户语音信息的语音高度信息小于预定的第二值。
当在操作S370中，用户语音信息的语音高度信息小于预定的第二值时，在操作S350中，可以确定理解水平是低水平。相反，当用户语音信息的语音高度信息大于或等于预定的第二值时，在操作S380中，可以确定理解水平是中性水平。
图4和图5是用于具体地描述根据本公开的各种实施例的图2的步骤S270的视图。当基于由图3的方法确定的理解水平确定出认为有必要替换向显示装置提供的手册时，附图描述了用于选择要替换的手册的方法。
参考图4，在操作S410中，用于提供手册的方法可以确定所确定的理解水平是否对应于高水平。当在操作S410-“是”中，所确定的理解水平对应于高水平时，在操作S420中，可以确定向显示装置提供的手册，也就是，在显示装置中再现的手册。
在操作S430中，可以确定向显示装置提供的手册是否对应于通用手册。当在操作S430-“是”中，向显示装置提供的手册对应于通用手册时，在操作S440中，可以选择简单手册作为替换手册。
如果向显示装置提供的手册不是通用手册，则在操作S450中，可以确定所提供手册是否对应于简单手册。如果向显示装置提供的手册对应于简单手册(即，如果手册的理解水平对应于高水平并且在显示装置上再现的手册对应于简单手册)，则在操作S450-“是”中已经提供的简单手册成为替换手册，并且可以不选择单独的手册。如果在操作S450-“否”中，所提供手册不对应于简单手册，则在操作S460中，可以确定所提供手册是否对应于详细手册。在这种情况下，如果在操作S460中，所提供手册对应于详细手册，则在操作S470中，可以选择通用手册或简单手册。
在操作S410中，如果理解水平不对应于高水平，则将参考图5描述操作。
参考图5，当理解水平不对应于高水平时，在操作S510中，可以确定理解水平是否对应于低水平。
当理解水平对应于低水平时，在操作S520中，可以确定向显示装置提供的手册。
在操作S530中，可以确定向显示装置提供的手册是否对应于通用手册。如果在操作S530-“是”中，向显示装置提供的手册对应于通用手册(即，当理解水平是低水平并且向显示装置提供的手册对应于通用手册时)，则在操作S540中，可以选择详细手册。如果在操作S530-“否”中，向显示装置提供的手册不是通用手册，则在操作S550中，可以确定向显示装置提供的手册是否是简单手册。如果在操作S550-“是”中，向显示装置提供的手册是简单手册(即，当理解水平是低水平并且向显示装置提供的手册是简单手册时)，则在操作S560中，可以选择通用手册或详细手册。如果在操作S550-“否”中，向显示装置提供的手册不是简单手册(即，如果向显示装置提供的手册是详细手册)，则已经提供的详细手册成为替换手册。因此，在操作S550中，已经提供的详细手册可以成为替换手册，而无需选择单独的手册。
图6是用于具体地描述根据本公开的实施例的图2的步骤S280的视图。
参考图6，在操作S610中，用于提供手册的方法可以包括确定外部装置的状态信息是否改变。为此目的，可以从外部装置接收外部装置的状态信息。外部装置是在手册中描述的电子设备，并且可以是手册的内容中包括的电子设备。
当在显示装置中显示对应于外部装置的手册时，外部装置可以确定外部装置的状态并且将外部装置的所确定的状态信息传输到电子设备。外部装置的状态信息是指供外部装置的部件(硬件)或软件执行外部装置的功能所必要的信息。例如，如果外部装置是空调，则是否接通电源、是否提供过滤器、通气孔状态信息、室外单元温度、与用户终端装置的配对等可以是空调的状态信息。
当在操作S610中，确定外部装置的状态信息在将手册传输到显示装置之后改变时，在操作S620中，可以将所选择的替换手册的多个部分之中的、与在显示装置中再现的部分的下一再现部分对应的再现部分确定为再现起始点。
另外，为了在显示装置上显示在显示装置中再现的部分的下一部分，将多个部分之中的、由显示装置再现的部分的下一部分设置为再现部分，并且可以将所设置的再现部分的再现起始点确定为替换手册的再现起始点。
如果在操作S610中确定外部装置的状态信息未改变，则在操作S630中，可以设置所选择的替换手册的多个部分之中的、与显示装置中的再现部分对应的再现起始点。外部装置的状态信息未改变意味着外部装置的状态未改变，以便对应于在显示装置中再现的部分。在这方面，可以将已经再现的部分设置为替换手册的再现部分，使得所选择的替换手册再次再现在显示装置中再现的部分，并且将所设置的再现部分的起始点设置为替换手册的起始点。
如上所述，需要与手册的在显示装置中再现的部分有关的信息来确定再现起始点，并且电子设备可以从显示装置接收与所再现手册的部分信息有关的信息。
图6示出了在图2的步骤S270之后(即，在基于理解水平选择通用手册、详细手册和简单手册中的一者之后)基于外部装置的状态信息来确定所选手册的再现点的方法。在一些情况下，可以在基于用户的理解水平来替换手册的步骤S270中确定替换手册的再现点。例如，如果已经在显示装置上显示的手册包括多个子内容，则选择替换手册的步骤可以是选择替换手册中包括的多个子内容中的一者的步骤。另外，由于替换手册中包括的多个子内容按顺序再现，因此选择替换手册中包括的多个子内容中的一者的步骤可以被认为是确定手册的再现点。
图7是用于描述根据本公开的实施例的用于根据用户的理解水平来提供手册的手册提供系统的视图。
参考图7，手册提供系统1000可以包括电子设备100、显示装置200和用户终端装置300。
电子设备100可以向显示装置200提供包括各种内容的手册。在本公开中，内容意指字符、数字、颜色、图画、声音、语音或它们的组合，并且意指提供为文本、图像、视频、语音或它们的组合的信息。
电子设备100可以将存储在电子设备100中的手册提供到显示装置200，并且可以将从外部装置(未示出)接收的手册提供到显示装置200。另外，尽管电子设备100可以直接向显示装置200传输手册，但电子设备100可以向显示装置200传输与手册被存储的位置对应的位置信息(例如，统一资源定位符(URL)信息)。
显示装置200可以将从电子设备100接收的手册提供给用户。
显示装置200可以是包括显示器的各种用户终端装置，并且可以是笔记本电脑、移动电话、智能电话、平板个人计算机(PC)、自助服务终端等以及电视(TV)和监视器。
用户终端装置300可以获得与由显示装置200提供的手册有关的、用户的语音信息或图像信息。用户的语音信息是与接收到由显示装置200提供的手册的用户产生的声音有关的信息，并且可以包括诸如叹气、欢呼、赞美的非言辞声音，以及诸如用户话语的言辞声音。另外，用户的图像信息可以包括用户的面部表情、手势或姿势。
用户终端装置300可以将所获得的用户的语音信息或图像信息传输到电子设备100。为此目的，用户终端装置300可以包括麦克风或相机。
参考图7，用户终端装置300被示出为扬声器，但不限于此，并且包括麦克风或相机的装置可以是图7的用户终端装置300。
电子设备100可以基于从用户终端装置300接收的用户的语音信息或图像信息来确定显示装置200提供的手册是否需要替换。
电子设备100可以从用户的语音信息或图像信息确定用户关于手册的理解水平，并且基于所确定的理解水平来确定是否替换对应的手册。基于用户的语音信息或图像信息，如果用户对手册的理解水平低于或高于预设范围，则电子设备100可以确定应替换向用户提供的手册。
当确定向用户提供的手册需要替换时，电子设备100可以基于所确定的理解水平来提供与向用户提供的手册不同的内容。
根据本公开的另一个实施例，显示装置200和用户终端装置300可以被实现为单个装置。显示装置200可以获得针对显示装置200提供的内容的用户的语音信息或图像信息，并且可以将该信息提供到电子设备100。在这种情况下，电子设备100可以从用于控制显示装置200的遥控器(未示出)以及从显示装置200接收用户语音信息。
电子设备100可以通过从显示装置200或用于控制显示装置的遥控器(未示出)接收的用户的语音信息或图像信息来确定显示装置200提供的内容是否适合于用户。
图8是示出根据本公开的实施例的电子设备100的配置的框图。
参考图8，电子设备100包括通信接口110、存储器120和处理器130。
通信接口110是供电子设备100与显示装置200和用户终端装置300通信的部件。通过通信接口110，电子设备100可以将内容或关于内容的信息提供到显示装置200，并且可以从用户终端装置300接收用户的语音信息或图像信息。
除了显示装置200和用户终端装置300之外，通信接口110还可以与另一外部装置(未示出)执行通信。通信接口110可以通过与外部装置(未示出)通信来接收外部装置(未示出)的状态信息。
通信接口110可以包括各种通信模块，诸如有线通信模块(未示出)、近场无线通信模块(未示出)、无线通信模块(未示出)等。
有线通信模块是用于根据诸如有线以太网的有线通信方法与外部装置(未示出)执行通信的模块。近场无线通信模块是用于通过诸如蓝牙(BT)、蓝牙低功耗(BLE)、ZigBee等近场通信方法与位于近距离的外部终端(未示出)执行通信的模块。无线通信模块是通过根据诸如无线保真(Wi-Fi)、电气与电子工程师协会(IEEE)等无线通信协议连接到外部网络来进行通信的模块。无线通信模块还可以包括移动通信模块，该移动通信模块根据诸如第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)、高级LTE(LTE-A)、第五代(5G)网络等的各种移动通信标准连接到移动通信网络以执行通信。
存储器120是用于存储用于操作电子设备100所必要的各种程序、数据等的部件。存储器120可以被实现为非易失性存储器、易失性存储器、闪存存储器、硬盘驱动器(HDD)、固态驱动器(SSD)等。存储器120由处理器130访问，并且可以由处理器130执行数据的读/写/修改/删除/更新。在本公开中，术语“存储器”可以包括存储器120、处理器130中的只读存储器(ROM)、随机存取存储器(RAM)或安装到电子设备100的存储卡(例如，微型安全数字(SD)卡和记忆棒)。
存储器120可以存储向显示装置200提供的各种内容和关于内容的信息。关于内容的信息可以包括内容的地址信息(内容存储在该处)、内容再现历史信息、内容部分信息等。
存储器120可以包括人工智能(AI)代理。AI代理是用于提供基于AI的服务(例如，语音识别服务、秘书服务、翻译服务、搜索服务等)的专用程序，并且可以由现有的通用处理器(例如，中央处理单元(CPU)或单独的仅AI处理器(例如，图形处理单元(GPU))执行。当AI代理由前述处理器执行时，AI代理可以分析用户的语音信息或图像信息、获得用户的情绪或理解水平，并且提供对所获得的情绪或理解水平的响应。
为此目的，存储器120可以包括用于通过与用户图像中包括的用户表情、态度程度等有关的信息来获得用户情绪的至少一个配置(或模块)。
存储器120可以包括构成对话系统的多个配置(或模块)。在此，对话系统是用于对用户的语音执行语音识别并提供对此的响应的程序。将参考图9进一步描述对话系统。
图9是示出根据本公开的实施例的电子设备的对话系统的框图。
参考图9，对话系统400是用于通过自然语言与用户执行对话的配置。根据实施例，对话系统400可以存储在电子设备100的存储器120中。然而，这仅仅是示例性的，并且对话系统400中包括的至少一个配置可以被包括在外部装置(例如，用户终端装置300、另一服务器(未示出))中。对话系统400的一些配置可以被包括在用户终端装置300中。
参考图9，对话系统400还可以包括自动语音识别(ASR)模块410、自然语言理解(NLU)模块420、对话管理器(DM)模块430、自然语言生成器(NLG)模块440以及文本到语音(TTS)模块450。对话系统400还可以包括知识库(未示出)。
ASR模块410可以将从用户终端装置300接收的用户输入转换为文本数据。例如，ASR模块410可以包括语音识别模块。语音识别模块可以包括声学模型和语言模型。例如，声学模型可以包括与语音相关的信息，并且语言模型可以包括与单元音素信息和单元音素信息的组合有关的信息。语音识别模块可以使用与语音相关的信息和关于单元音素信息的信息来将用户话语转换为文本数据。关于声学模型和语言模型的信息可以例如存储在自动语音识别数据库(ASRDB)中。
自然语言理解模块420可以通过执行句法分析或语义分析来识别用户的意图。语法分析可以按语法单元(例如，单词、短语、语素等)划分用户输入并掌握划分的单元具有哪些语法元素。可以使用语义匹配、规则匹配、公式匹配等来执行语义分析。因此，自然语言理解模块420可以获取用户输入的域或意图。
自然语言理解模块420可以使用划分为域和意图的匹配规则来确定用户意图和参数。例如，自然语言理解模块420可以包括一个域(例如，空调、电视等)，可以包括多个意图(例如，手册搜索、手册再现等)，并且一个意图可以包括多个参数(例如，搜索目标、再现装置等)。匹配规则可以存储于自然语言理解数据库(NLUDB)中。
自然语言理解模块420可以使用诸如词素或短语的语言特征(例如，语法元素)来掌握从用户输入提取的单词的含义，并且通过将所掌握的含义与域和意图进行匹配来确定用户意图。例如，自然语言理解模块420可以通过计算每个域和意图中包括多少个从用户输入提取的单词来确定用户意图。自然语言理解模块420可以使用成为理解意图的基础的单词来确定用户输入的参数。自然语言理解模块420可以使用存储有用于掌握用户输入的意图的语言特征的自然语言识别数据库(未示出)来确定用户的意图。
对话管理器模块430可以确定由自然语言理解模块420掌握的用户意图是否明确。例如，对话管理器模块430可以基于参数信息是否足够来确定用户的意图是否明确。对话管理器模块430可以确定由自然语言理解模块420掌握的参数是否足够确定用户对内容的理解水平。如果用户意图不明确，则对话管理器模块430可以执行反馈以向用户请求必要的信息。例如，对话管理器模块430可以执行反馈以请求关于用于掌握用户意图的参数的信息。另外，对话管理器模块430可以生成并输出消息，该消息用于检查包括由自然语言理解模块420改变的文本的用户查询。
对话管理器模块430可以包括内容提供者模块(未示出)。内容提供者模块可以基于由自然语言理解模块420掌握的参数和意图来确定理解水平，并且生成对应于所确定的理解水平的信息。
对话管理器模块430可以使用知识库(未示出)来提供针对用户语音的响应信息。知识库是以诸如资源描述框架(RDF)、网络本体语言(OWL)等的本体形式存储各种知识信息的数据库。
自然语言生成模块(NLG模块)440可以将指定信息改变为文本形式。改变为文本形式的信息可以是自然语言话语的形式。指定信息可以是例如关于附加输入的信息、用于指导完成对应于用户输入的动作的信息或用于指导用户的附加输入的信息(例如，针对用户输入的反馈信息)。改变为文本形式的信息可以在显示器(未示出)上显示或通过文本到语音(TTS)模块450改变为语音形式。
TTS模块450可以将文本格式的信息改变为语音格式信息。TTS模块450可以从自然语言生成模块440接收文本格式的信息，将文本格式的信息改变为语音格式的信息，并且通过扬声器来输出该信息。
自然语言理解模块420和对话管理器模块430可以被实现为一个模块。例如，自然语言理解模块420和对话管理器模块430可以被实现为一个模块，以确定用户的意图和参数并且获得与所确定的用户意图和参数对应的响应。
存储器120可以存储内容。内容可以包括用于外部装置(未示出)的多个手册。用于外部装置(未示出)的手册代表这样的内容，该内容包括供用户使用、维护、更新或维修外部装置(诸如外部装置(未示出)或者外部装置(未示出)中所包括的硬件、软件和系统)所必要的信息、使用方法、问题解决方法等。手册可以以文本、图像或语音的形式提供，并且可以以将文本、图像和语音中的一些组合的形式提供。
用于外部装置(未示出)的多个手册可以包括通用手册、详细手册和简单手册。存储器120可以包括对应于通用手册的详细手册和简单手册。
图10是用于描述根据本公开的实施例的多个手册的视图。
参考图10，公开了简单手册1010、通用手册1020和详细手册1030。
在通用手册1020可以包括对应于使用、维护、更新或维修外部装置(未示出)所必要的多个步骤(步骤1、步骤2和步骤3)的内容的情况下，简单手册1010和详细手册1030可以包括对应于通用手册1020中包括的多个步骤的内容。
对于简单手册1010中包括的多个步骤(步骤1、步骤2和步骤3)中的至少一者，简单手册1010可以包括比通用手册1020更少量的声音信息、文本信息和图像信息。对于详细手册1030中包括的多个步骤(步骤1、步骤2和步骤3)中的至少一者，详细手册1030可以包括比通用手册1020更大量的声音信息、文本信息和图像信息。
因此，简单手册1010中包括的多个步骤(步骤1、步骤2和步骤3)中的至少一者的播放时间可以比通用手册1020的对应步骤的再现时间短。另外，详细手册1030中包括的多个步骤(步骤1、步骤2和步骤3)中的至少一者的再现时间可以比通用手册1020的对应步骤的再现时间短。
简单手册1010或详细手册1030包括通用手册1020的多个步骤，并且因此简单手册1010或详细手册1030可以包括对应于通用手册1020中的特定点1011的点1011和1013。此时，简单手册1010的特定点1011的再现时间可以比通用手册1020的特定点1012的再现时间快，并且详细手册1030的特定点1013的再现时间可以比通用手册1020的特定点1012的再现时间晚。
详细手册1030可以是包括在除了通用手册1020外的角度捕获的图像的手册。例如，详细手册可以包括在外部装置的各种角度(诸如在外部装置(未示出)的背部、侧面、顶部、底部等)捕获的图像。另外，详细手册1030可以是包括将通用手册1020中所包括的图像放大的图像。
与通用手册1020相比，详细手册1030可以向用户提供更多的信息、各种信息(例如，处于另一角度的图像)、详细信息(例如，放大的图像)。
通用手册1020、简单手册1010和详细手册1030并不始终存储在存储器120中。通用手册1020、简单手册1010和详细手册1030存储在诸如内容服务器(未示出)的外部电子设备中，并且存储在外部电子设备中的通用手册1020、简单手册1010和详细手册1030的地址信息可以存储在存储器120中。
返回参考图8，处理器130可以电连接到存储器120，以控制电子设备100的整体操作和功能。例如，处理器130可以驱动操作系统或应用程序以控制连接到处理器130的硬件或软件部件，并且可以执行各种数据处理和操作。处理器130还可以将从其它部件中的至少一者接收的命令或数据加载到易失性存储器中并在易失性存储器进行处理，并且将各种数据存储在非易失性存储器中。
为此目的，处理器130可以执行存储在用于执行操作的专用处理器(例如，嵌入式处理器)或存储器装置中的一个或更多软件程序，并且可以被实现为能够执行对应操作的通用处理器(例如，中央处理单元(CPU)或应用处理器)。
为了控制电子设备100的操作和功能，处理器130可以包括理解确定模块(或配置)131、手册确定模块(或配置)132和手册再现点确定模块(或配置)133。尽管理解确定模块131、手册确定模块132和手册再现点确定模块133可以各自是单独的配置，但这些模块(或配置)中的至少两者可以组合成单个模块(或配置)。
处理器130可以控制通信接口110将内容提供到显示装置200。
处理器130可以控制通信接口110将用于外部装置的多个手册之一提供到显示装置200。多个手册可以包括通用手册、详细手册和简单手册。
处理器130可以获得对所提供手册的用户响应。处理器130可以与用户终端装置300或显示装置200通信以接收对手册的用户响应。用户响应可以包括用户的语音信息或图像信息。用户语音信息可以包括对应于用户话语的语音信息，并且用户图像信息可以包括用户的面部表情信息或用户的态度信息等。
处理器130可以基于所获得的用户响应来确定用户对手册的理解。理解水平指示用户对内容的理解程度，并且根据理解程度，理解水平可以划分为高水平、中性水平和低水平。应理解，这仅仅是示例性的，并且可以根据用户的设置或系统而划分为各种步骤。下面将参考图12更详细地描述基于用户响应来确定理解水平。
处理器130可以使用外部装置的状态信息来确定对手册的理解水平。外部装置代表手册中包括的外部设备，并且更具体地，外部装置可以是手册中包括的内容中描述的电子设备。外部装置的状态信息指示当手册显示在显示装置200上时与外部装置的状态相关的信息。外部装置的状态信息是指执行外部装置的功能所必要的、外部装置的部件(硬件)或软件的状态信息。例如，当外部装置是空调时，是否接通电源、是否提供过滤器、通气孔状态信息、室外温度信息、与用户终端装置的配对等可以是空调的状态信息。
为此目的，处理器130可以从外部装置(未示出)接收外部装置的状态信息。外部装置的状态信息可以在外部装置处生成，并且处理器130可以向外部装置(未示出)请求外部装置的状态信息。然而，这仅仅是一个实施例，并且外部装置(未示出)可以周期性地将外部装置的状态信息传输到电子设备100。根据本公开的另一个实施例，如果处理器130向显示装置200提供手册，则处理器130可以向提供到显示装置200的手册中包括的外部装置请求外部装置的状态信息，并且从处理器130接收到对状态信息的请求的外部装置(未示出)可以生成外部装置的状态信息并且将该信息传输到处理器130。
处理器130可以从作为手册的主体的外部装置接收外部装置的状态信息，以便确定理解水平。例如，当手册与空调相关时，处理器130可以接收空调的状态信息。
处理器130可以基于所接收的外部装置的状态信息来确定理解水平。例如，如果外部装置的状态信息在向显示装置200提供手册之后的预定时间段内未改变，则处理器130可以将理解水平确定为低水平。另外，如果外部装置的状态信息在向显示装置200提供手册之后的预定时间内改变，则外部装置的状态的理解水平可以根据外部装置的状态的改变程度而被确定为中性水平或高水平。
对此，处理器130可以基于所确定的理解水平来确定是否有必要用另一手册来替换向显示装置200提供的手册。例如，当理解水平被确定为低水平或高水平时，处理器130可以确定有必要替换手册。
处理器130可以通过使用手册确定模块132来确定要替换的手册(在下文中，称为替换手册)。具体地说，处理器130可以基于向显示装置200提供的手册和用户对所提供手册的理解水平来确定替换手册。在这种情况下，替换手册可以是通用手册、详细手册和简单手册中的一者。
如果用户的理解水平是高水平并且由显示装置200再现的手册不是简单手册，则处理器130可以将比显示装置200提供的手册包括更短再现时间或更少信息量的信息的手册确定为替换手册。例如，如果用户的理解水平是高水平并且显示装置上再现的手册是通用手册，则处理器130可以将简单手册确定为替换手册。另外，如果用户的理解水平是高水平并且显示装置上再现的手册是详细手册，则处理器130可以将通用手册或手册确定为替换手册。
如果用户的理解水平是低水平并且向显示装置200提供的手册是详细手册，则处理器130可以将比当前显示装置200提供的手册包括更多再现时间或更大信息量的手册确定为替换手册。例如，如果用户的理解水平是低水平并且显示装置上再现的手册是通用手册，则处理器130可以将详细手册确定为替换手册。另外，如果用户的理解水平是低水平并且显示装置上再现的手册是简单手册，则处理器130可以将通用手册或详细手册确定为替换手册。
处理器130可以确定所确定的替换手册的再现部分或再现起始点。处理器130可以使用手册再现点确定模块133。
处理器130可以基于针对用户语音信息的语音识别结果来确定替换手册的再现起始点。如果用户响应中包括的语音信息包括外部装置的状态信息，则处理器130可以基于用户语音信息的识别结果来确定外部装置的状态信息，并且可以将替换手册的再现部分中的对应于外部装置的状态信息的部分的下一部分确定为再现起始点。例如，如果用户说出“我移除了空调过滤器”，则处理器130可以基于用户语音识别的结果来确定外部装置的状态信息是处于空调过滤器已被移除的状态。另外，处理器130可以将对应于空调过滤器移除步骤的部分的下一部分确定为再现起始点。对此，存储器120可以存储手册中包括的每个部分的次数信息、对应于每个部分的外部装置的状态信息等。
在本公开的另一个实施例中，处理器130可以基于根据针对用户语音信息的语音识别结果获得的理解水平来确定替换手册的再现起始点。当用户的理解水平是低水平时，处理器130可以将对应于显示装置200的最后再现部分的部分设置为替换手册的再现部分，并且将所设置的再现部分的起始点确定为替换手册的再现起始点。如果用户的理解水平是中性水平或高水平，则处理器130可以将对应于显示装置200中的最后再现部分的部分设置为替换手册的再现部分，并且将所设置的再现部分的起始点确定为替换手册的再现起始点。
处理器130可以基于从外部装置所接收的状态信息来确定替换的再现起始点。
如果确定外部装置的状态信息在接收到外部装置的状态信息并且将手册传输到显示装置200之后改变，则处理器130可以将替换手册的多个部分中的对应于显示装置再现的部分的下一部分的部分设置为再现部分。另外，处理器130可以将所设置的再现部分的再现起始点确定为替换手册的再现起始点。因此，显示装置200可以将先前再现的部分的下一再现部分提供给用户。
可以确定出外部装置的状态信息在手册被传输到显示装置200之后未改变。外部装置的状态信息未改变意味着外部装置的状态未改变从而对应于显示装置中再现的部分，并且因此，显示装置200需要再次再现手册中先前再现的部分。因此，如果确定手册被传输到显示装置200并且外部装置的状态信息未改变，则处理器130可以将替换手册的多个部分之中的、与显示装置再现的部分对应的部分设置为再现部分。另外，处理器130可以将所设置的再现部分的再现起始点确定为替换手册的再现起始点。
因此，当基于外部装置的状态信息来确定再现起始点时，由于关于显示装置中再现的手册的部分的信息是必要的，因此电子设备100可以从显示装置接收关于再现的手册的部分信息的信息。
处理器130可以基于内容再现历史信息来确定替换手册中的再现起始点。例如，处理器130可以跳过包括再现超过预定次数的信息的部分，并且考虑到用户的内容再现历史信息来确定替换手册的再现起始点。
处理器130可以将关于再现起始点和替换手册的信息传输到显示装置200，并且替换向显示装置200提供的手册。处理器130可以将对应于替换手册的地址信息和关于再现起始点的信息提供到显示装置200，并且替换所提供手册。
在本公开的另一个实施例中，处理器130可以以流式传输方式将手册传输到显示装置200。在这种情况下，处理器130可以将替换手册的整个再现部分中的从所确定的再现起始点开始的数据流式传输到显示装置200。
已经描述了包括多个步骤(步骤1、步骤2和步骤3)的简单手册1010、通用手册1020和详细手册1030被存储在存储器120中，但不限于此。
通用手册、详细手册和简单手册中的每一者可以划分成按顺序再现的多个子内容，并且存储器120可以存储多个子内容。
图11是用于描述根据本公开的实施例的显示装置在与外部装置相关的多个子内容之中选择要再现的子内容的视图。
参考图11，假设使用、维护、更新或维修外部装置需要多个步骤(步骤1、步骤2、……、步骤N)。在这种情况下，通用手册、详细手册和简单手册可以根据多个步骤单独地存储在存储器120中。例如，在存储器120中，简单手册可以根据多个步骤划分为子内容1111、1112和1113并可以被存储，通用手册可以根据多个步骤划分为子内容1121、1122和1123并可以被存储，并且详细手册可以根据多个步骤划分为子内容1131、1132和1133并被存储。
处理器130可以将存储在存储器120中的多个子内容1111、1112、1113、1121、1122、1123、1131、1132和1133中的一者传输到显示装置200。
当所传输的子内容在显示装置中再现时，或在所传输的子内容被再现之后，处理器130可以从用户终端装置300接收针对所再现的子内容的用户响应。
如上文在图8中所述，处理器130可以基于所接收的用户响应来确定用户对所再现的子内容的理解水平，并且可以基于理解水平来确定替换手册。例如，如果向显示装置200提供的内容是通用手册并且理解水平被确定为高水平，则处理器130可以将替换手册确定为简单手册。相反，如果向显示装置200提供的内容是通用手册并且理解水平被确定为低水平，则处理器130可以将替换手册确定为详细手册。
处理器130可以基于向显示装置200提供的子内容和所确定的理解水平来选择多个子内容1111、1112、1113、1121、1122、1123、1131、1132和1133中的一者。
当理解水平为高时，处理器130可以选择替换手册的多个子内容之中的、与向显示装置200提供的子内容的下一步骤对应的子内容，并且当理解水平是低水平时，选择替换手册的多个子内容之中的、与向显示装置200提供的子内容的步骤对应的子内容。例如，如果向显示装置200提供步骤1的子内容1121，并且对子内容1121的理解水平被确定为高，则处理器130可以选择简单手册的多个子内容1111、1112和1113中的对应于步骤2的内容1112，该步骤2是步骤1的下一步骤。相反，如果确定对子内容1121的理解水平为低，则处理器130可以选择详细手册的多个子内容1131、1132和1133中的对应于步骤1的内容1131。
处理器130可以将所选择的子内容提供到显示装置200。
根据图8和图11的描述，电子设备100可以反映用户对向显示装置200提供的手册的理解水平并且向用户提供新手册，并且用户可以接收对应于用户对所提供手册的理解水平的新手册。
图12是用于描述根据本公开的实施例的电子设备根据用户语音信息来确定理解水平的视图。
参考图12，处理器130可以接收用户语音信息作为对所提供的内容的用户响应。处理器130可以从所接收的用户语音信息获得情绪参数。
情绪参数是代表用户的预定义情绪(例如，积极、消极、高兴、兴奋、喜悦、放松、平静、镇静、恼火、愤怒、伤心、暴怒、无聊等)的变量，并且可以基于用户语音的语义信息或高度信息来获得。情绪参数的类型可以由用户或系统预先设置。
可以通过将语音信息输入到深度学习神经网络模型来获得情绪参数。处理器130可以通过将用户语音信息输入到诸如深度神经网络(DNN)、卷积神经网络(CNN)、递归神经网络(RNN)等的深度学习神经网络模型来获得用户语音的情绪参数。
参考图12，可以在二维空间中定义用户语音的情绪参数，该二维空间包括对应于用户语音的含义的第一轴线1210和对应于用户语音的高度的第二轴线1220。
处理器130可以使用用户语音信息来确定用户语音的高度。具体地说，处理器130可以通过分析所接收的用户语音信息的频率(或振动次数)来确定用户语音的高度。
处理器130可以将用户语音信息输入到深度学习神经网络模型并且确定用户语音信息中包括的用户话语的含义是积极的、中性的还是消极的。
处理器130可以使用从用户语音信息获得的、用户语音的语义信息和用户语音的高度信息来获得用户语音的情绪参数。
例如，当用户语音的含义是积极的并且用户语音的高度大于或等于第一预定值时，处理器130可以获得“兴奋”作为情绪参数的值。如果用户语音的含义是消极的并且用户语音的高度小于第二预定值时，处理器130可以获得“伤心”作为情绪参数的值。
处理器130可以基于所获得的情绪参数来确定对手册的理解水平。例如，当情绪参数具有预定的第一值(例如，积极、喜悦、兴奋等)时，处理器130可以确定理解水平是高水平。另外，当情绪参数具有预设的第二值(例如，消极、愤怒、伤心等)时，处理器130可以确定理解水平是低水平。另外，当情绪参数具有预定的第三值或者值不是预定的第一值和第二值时，处理器130可以确定理解水平是中性水平。
尽管情绪参数在图12中被描述为通过用户语音信息的语义信息和高度信息来获得，但不限于此。情绪参数可以通过用户语音信息的语义信息和高度信息中的一者来获得。例如，通过仅使用用户语音信息的语义信息，处理器130可以在语义信息是“积极的”时确定理解水平是高水平，在语义信息是“中性的”时确定理解水平是中性水平，并且在语义信息是“消极的”时确定理解水平是低水平。
处理器130可以使用通过用户语音信息获得的情绪参数来确定针对手册的理解水平，基于所确定的理解水平来确定替换手册，并且确定所确定的替换手册的再现起始点。
图13和图14是用于描述根据本公开的各种实施例的电子设备确定替换手册的再现起始点的视图。
图13是用于描述根据本公开的实施例的电子设备使用外部装置的状态信息来确定替换手册的再现起始点的视图。
参考图13，由处理器130确定的替换手册可以包括对应于多个步骤的至少一个框。尽管图13为方便起见示出了对应于每个步骤的一个框，但每个步骤可以包括至少一个框。例如，与空调过滤器清洁方法相关的手册可以包括对应于指导步骤的至少一个框1310、对应于在空调的显示器上显示“过滤器清洁”警告的步骤的至少一个框1320、对应于过滤器分离步骤的至少一个框1330、对应于过滤器清洁步骤的至少一个框1340、以及对应于过滤器干燥步骤的至少一个框1350。
另外，如上文在图8中所述，存储器120可以存储关于对应于手册中包括的多个步骤的多个部分的信息。例如，在存储器120中，关于与空调过滤器清洁方法相关的手册，可以存储关于每个部分的信息(即，手册的每个部分包括指导、显示过滤器清洁警告、过滤器分离、过滤器清洁和过滤器干燥)以及关于每个部分的再现点的信息等。
处理器130可以从对应于手册的外部装置接收外部装置的状态信息，并且确定外部装置的状态。
处理器130可以基于关于存储在存储器120中的替换手册的多个部分的信息来确定替换手册中包括的多个部分(或步骤)之中的、包括外部装置的状态的部分。例如，处理器130可以接收空调1300的过滤器1301已从空调1300移除的状态信息，并且可以基于关于替换手册的多个部分的信息来确定替换手册中包括的多个步骤之中的、包括空调的过滤器被移除的状态的部分是包括框1330的部分。
处理器130可以将与所确定的外部装置的状态对应的部分的下一部分确定为替换手册的再现起始点。也就是说，处理器130可以将包括框1340的部分(其是包括框1330的部分的下一部分)确定为替换手册的再现起始点。
处理器130可以将关于替换手册的再现起始点的信息和替换手册传输到显示装置200，并且显示装置200可以基于所接收的再现起始点信息来再现替换手册。根据图13的实施例，显示装置可以从包括框1340的部分(其是再现起始点)起再现手册，而跳过替换手册的多个部分之中的、包括框1310、1320和1330的部分。
图14是用于描述根据本公开的实施例的电子设备基于手册的再现历史来确定手册的再现起始点的视图。
参考图14，类似于图13，由处理器130确定的替换手册可以包括多个步骤，并且包括对应于多个步骤中的每一者的至少一个框。
存储器120可以存储关于与手册中包括的多个步骤对应的多个部分的信息。关于多个部分的信息可以包括与多个部分的再现次数相关的信息。
手册中包括的步骤可以相同，即使手册不同也是如此。例如，“与空调的语音识别设置方法相关的手册”和“与用于设置电视的语音识别的方法”是不同的手册，但这两个手册都可以包括“使用遥控器的配对步骤”。在这种情况下，关于存储在存储器120中的手册的每个部分的再现次数的信息可以包括通过另一手册再现的次数。手册中包括的部分的再现次数可以独立于手册的再现次数进行计算和存储。例如，即使存储了与空调的语音识别设置方法相关的手册已经再现一次，与用于设置空调的语音识别的方法相关的手册中包括的对应于“使用遥控器的配对步骤”的部分仍可以被存储为再现三次。
处理器130可以基于存储在存储器120中的手册的每个部分的再现次数来确定替换手册。当手册的每个部分的再现次数大于或等于预设值时，处理器130可以针对再现次数大于或等于预设值的部分将手册替换为简单手册并且将其提供到显示装置200。
例如，可以假设与空调的语音识别设置方法相关的手册被划分为启动指导部分1410、用于设置与遥控器的配对的部分1420、用于按压遥控器中的语音识别按钮的部分1430，并且部分1420已经再现了预定次数或更多。
在显示装置200中，在再现与部分1410对应的部分并且根据理解水平选择替换手册的状态下，处理器130可以确定手册的多个部分1410、1420和1430之中的、已经再现了大于或等于预定次数的部分1420。另外，处理器130可以将所确定的部分的下一部分设置为替换手册的起始部分，并且将所设置的起始部分的起始点确定为替换手册的再现起始点。
参考图8至图14，已经描述了电子设备100基于从用户终端装置300接收的用户响应信息来向显示装置200提供手册，但不必一定限于此。具体地，根据另一个实施例，电子设备100可以从显示装置200接收手册请求命令，并且根据所接收的手册请求命令将手册传输到显示装置200。
图15、图16和图17是用于描述根据本公开的各种实施例的电子设备从显示装置200接收手册传输命令的视图。图15是用于描述根据本公开的实施例的在电子设备100与显示装置200之间的手册传输过程的流程图。
参考图15，在操作S1510中，处理器130可以生成向显示装置200提供的手册的图形用户界面(GUI)信息。处理器130可以通过使用关于存储在存储器120中的手册的每个部分的信息来生成与手册对应的GUI信息。GUI信息可以包括GUI中包括的图像信息、文本信息、显示GUI的位置信息、用GUI显示的手册的次数信息、与GUI对应的手册信息等。
在操作S1520中，处理器130可以将所生成的GUI信息和内容传输到显示装置200，并且在操作S1530中，显示装置200可以使用所接收的GUI信息与内容一起显示与GUI信息对应的GUI。显示装置200可以使用所接收的GUI信息中的图像信息和文本信息来生成与GUI信息对应的GUI，并且可以考虑到关于显示GUI的位置的信息和手册的次数信息等来与手册一起显示GUI。
在操作S1540中，显示装置200可以从用户10接收用户选择GUI的输入。用户10可以通过对显示器的触摸输入来选择GUI，或者可以通过单独的输入接口(诸如按钮)来选择GUI。用户10还可以通过用于显示装置200的遥控器(未示出)的输入接口来选择GUI。
在操作S1550中，显示装置200在接收到用于选择GUI的用户输入时可以请求与通过用户输入选择的GUI对应的手册。显示装置200可以将与GUI信息中包括的GUI对应的、关于手册的信息传输到电子设备100。
在操作S1560中，处理器130可以响应于从显示装置200接收的请求命令来搜索与GUI对应的手册，并且在操作S1570中，将手册传输到显示装置200。基于从显示装置200接收到与GUI对应的手册信息，处理器130可以搜索与GUI对应的手册并且将搜索到的手册传输到显示装置200。
在操作S1580中，显示装置200可以再现所接收的手册。
GUI可以对应于多种手册。GUI可以对应于通用手册、详细手册和简单手册的特定部分，但可以对应于其中手册的特定区域被放大的放大手册或手册的特定区域被缩小的缩小手册。
图16和图17是用于描述根据本公开的各种实施例的电子设备传输与在显示装置上显示的GUI对应的手册的视图。
参考图16，如果确定与空调的语音识别方法相关联的手册被划分为包括框1610的第一部分、包括框1620的第二部分和包括框1630的第三部分，并且存在针对第二部分配对的配对细节图像，则处理器130可以生成请求与第二部分相关的配对细节图像的GUI信息，并且将GUI信息传输到显示装置200。
如果显示装置200接收到用于基于GUI信息来选择在显示装置200上显示的GUI1621的用户输入，则处理器130可以从显示装置200接收与GUI对应的手册请求命令，并且将与第二部分相关联的配对细节图像提供到显示装置200。
在这种情况下，替代包括框1620的第二部分，显示装置200也可以再现与所选择的GUI对应的手册1600。
参考图17，处理器130可以生成对应于与手册的特定部分相对应的放大图像的GUI信息，诸如标记空调的按钮和其它特征的框1710，并且将GUI信息传输到显示装置200。参考图17，尽管示出了与放大图像对应的GUI，但GUI未必限于此，并且GUI可以是与缩小图像再现对应的GUI、与另一视图的图像再现对应的GUI等。
当确定存在相对于手册中包括的框1710的放大图像时，处理器130可以生成用于请求框1710的放大图像的GUI信息，并且将该信息传输到显示装置200。
当显示装置200接收到选择与针对放大图像的请求对应的GUI 1711的用户输入时，显示装置200可以将对应于所选择的GUI的放大图像请求命令传输到电子设备100，并且处理器130可以将根据所接收的请求命令所得的手册传输到显示装置200。
这仅仅是示例性的，并且如果显示装置200选择与放大图像对应的GUI，则显示装置200可以将在显示装置200显示的手册放大并显示，如在框1720中所示。显示装置200可以不从电子设备100接收与GUI对应的手册，但可以放大所提供手册并且提供该手册。
图18是根据本公开的实施例的包括电子设备的流程图。具体地，图18是用于描述电子设备传输显示装置200的手册的流程图。
参考图18，在操作S1810中，用户终端装置300可以从用户10接收用户语音信息。用户语音信息可以包括与外部装置500相关的用户语音信息。
在操作S1820中，用户终端装置300可以将所接收的用户语音信息传输到电子设备100。在这种情况下，在操作S1830中，处理器130可以使用预先存储在存储器120中的对话系统对用户语音执行语音识别。处理器130可以获得与用户语音信息相关的外部装置信息作为对用户的语音的语音识别结果，并且在操作S1840中，可以基于与所获得的外部装置相关的信息来确定外部装置。
在操作S1850中，处理器130可以向所确定的外部装置500请求外部装置500的使用历史信息，并且在操作S1860中，从外部装置500接收外部装置500的使用历史信息。
在操作S1870中，处理器130可以基于所接收的使用历史信息来选择与外部装置500相关的多个手册中的一者。所选择的手册可以与用户语音信息相关。
例如，如果用户说“机器人清洁器的吸取力较弱”，则处理器130可以确定用户话语与机器人清洁器相关联并且从机器人清洁器接收机器人清洁器的使用历史信息。处理器130可以基于所接收的、机器人清洁器的使用历史信息来选择与机器人清洁器的过滤器替换方法相关联的手册。
在操作S1880中，处理器130可以将所选手册传输到显示装置200，并且在操作S1890中，显示装置200可以再现所接收的手册。
图19是用于描述根据本公开的实施例的电子设备的视图。
参考图19，电子设备100可以直接向用户提供手册。电子设备100可以直接接收在再现手册时说出的用户语音。
在接收到用户语音后，电子设备100可以预先处理用户语音并且将该语音转换为用户语音信号。
电子设备100可以包括对话系统400以对语音信号执行语音识别、使用对话系统中包括的自动语音识别模块来将用户语音转换为文本、使用自然语言理解模块来分析用户语音的含义，并且获得基于用户语音的高度信息和语义信息提供的用户对手册的理解水平。
电子设备100可以考虑到正在再现的手册的类型和用户理解水平来选择替换手册，在存储器120中搜索所选择的替换手册，或者向诸如内容服务器的外部装置(未示出)请求替换手册。
电子设备100可以考虑到用户语音信息、替换手册的再现历史信息、外部装置的状态信息等来确定替换手册的再现点并且再现替换手册的与所确定的再现点对应的部分。
电子设备100可以被实现为各种类型的电子设备。例如，电子设备100可以被实现为例如智能电话、平板PC、移动电话、视频电话、电子书阅读器、台式PC、膝上型PC、上网本计算机、工作站、服务器、个人数字助理(PDA)、便携式多媒体播放器(PMP)、MP3播放器、医疗装置、相机或可穿戴式装置。
图20是示出根据本公开的实施例的电子设备的框图。
参考图20，电子设备100可以包括通信接口110、存储器120、输入接口140、显示器150、扬声器160、相机170和处理器130。将不再进一步阐述与图2共用的通信接口110、存储器120和处理器130的描述。
输入接口140可以接收用户输入以控制电子设备100。输入接口140可以接收针对再现的内容的语音信息，或者接收用于选择在显示器中显示的GUI的用户输入。如图20所示，输入接口140可以包括用于接收用户语音的输入的麦克风141、用于接收使用用户的手或手写笔的用户触摸的触摸面板142以及用于接收用户操纵的按钮143等。然而，如图20所示的输入接口140的示例仅仅是示例，并且另一输入接口(例如，键盘、鼠标、运动输入器等)可以被实施。
显示器150是用于显示图像的配置，并且可以被实现为例如液晶显示器(LCD)并且对于一些情况被实现为阴极射线管(CRT)、等离子体显示面板(PDP)、有机发光二极管(OLED)和透明OLED(TOLED)。
显示器150可以根据处理器130的控制来输出各种信息。显示器150可以显示与外部装置相关的多个手册中的一者。另外，显示器150可以生成与手册相关的GUI。显示器150可以连同触摸面板142一起被实现为触摸屏。
扬声器160是用于不仅输出经处理(如解码、放大和噪声过滤)的各种音频数据而且输出各种通知声音或语音消息的配置。扬声器160可以将对用户查询的响应输出为自然语言格式的语音消息。用于输出音频的配置可以被实现为扬声器，但这是示例并且可以被实现为用于输出音频数据的输出终端。
相机170配置为拍摄图像。相机170可以安装在显示器150的顶部、底部或者左侧和右侧，使得查看显示器150上显示的屏幕的用户可以被拍照。另外，相机170可以另外地安装在前表面、后表面、左侧表面或右侧表面中的至少一者上，以便拍摄用户的态度、操作等。
用于根据上述各种实施例在电子设备100中执行处理操作的计算机指令可以存储在非暂时性计算机程序产品中。存储在这个非暂时性计算机程序产品中的计算机指令在被上述特定装置的处理器执行时可以致使该装置根据上述各种示例实施例在电子设备100中执行处理操作。
非暂时性计算机程序产品是指半永久性地存储数据而非在很短时间内存储数据的产品，诸如寄存器、高速缓存器、存储器等，并且由设备执行。上述各种应用或程序可以存储在非暂时性计算机程序产品中，例如，光盘(CD)、数字多功能盘(DVD)、硬盘、蓝光光盘、通用串行总线(USB)、存储卡、只读存储器(ROM)等，并且可以提供所述应用或程序。
虽然已经参考本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以在其中对形式和细节进行各种改变。

Claims (15)

1.一种电子设备的用于提供手册的方法，所述方法包括：
向显示装置提供用于外部装置的多个手册中的一者，其中所述多个手册包括通用手册、详细手册和简单手册；
获得针对所提供的手册的、包括用户语音信息的用户响应，其中所述用户语音信息包括在收听或查看所提供的手册时发出的语音信息；
基于所获得的用户响应，确定对所提供的手册的理解水平，其中所述理解水平：基于所述用户语音信息的语音高度大于或等于预定第一值而为高水平，基于所述用户语音信息的语音高度小于预定第二值而为低水平，以及基于所述用户语音信息的语音高度大于或等于所述预定第二值而为中性水平；以及
根据所述理解水平，用所述多个手册之中的替换手册替换所提供的手册，
其中，用所述替换手册替换所提供的手册包括：
当所述理解水平是所述低水平且所述手册对应于所述通用手册时，用所述详细手册替换所述手册，以及
当所述理解水平是所述低水平且所述手册对应于所述简单手册时，用所述通用手册或所述详细手册替换所述手册。
2.根据权利要求1所述的方法，
其中，所述通用手册、所述详细手册和所述简单手册被划分为按顺序再现的多个子内容，以及
其中，替换所提供的手册包括：
基于所述理解水平在所述替换手册中所包括的多个子内容之中选择要再现的子内容，并且将所述子内容提供到所述显示装置。
3.根据权利要求1所述的方法，其中，确定所述理解水平包括：
从所述外部装置接收所述外部装置的状态信息；以及
基于所接收的、所述外部装置的状态信息确定对所述手册的理解水平。
4.根据权利要求1所述的方法，其中，确定所述理解水平还包括：
从所述用户响应中所包括的所述用户语音信息获得情绪参数；以及
进一步基于所述情绪参数确定所述理解水平。
5.根据权利要求1所述的方法，还包括：
基于所述用户响应中所包括的所述用户语音信息的识别结果来确定所述替换手册中的再现起始点。
6.一种电子设备，包括：
通信接口；
存储器；以及
处理器，配置为：
控制所述通信接口向显示装置提供用于外部装置的多个手册中的一者，其中所述多个手册包括通用手册、详细手册和简单手册，
获得针对所提供的手册的、包括用户语音信息的用户响应，其中所述用户语音信息包括在收听或查看所提供的手册时发出的语音信息，
基于所述用户响应来确定对所述手册的理解水平，其中所述理解水平：基于所述用户语音信息的语音高度大于或等于预定第一值而为高水平，基于所述用户语音信息的语音高度小于预定第二值而为低水平，以及基于所述用户语音信息的语音高度大于或等于所述预定第二值而为中性水平，
根据所述理解水平用所述多个手册之中的替换手册替换所述手册，
当所述理解水平是所述低水平且所述手册对应于所述通用手册时，用所述详细手册替换所述手册，以及
当所述理解水平是所述低水平且所述手册对应于所述简单手册时，用所述通用手册或所述详细手册替换所述手册。
7.根据权利要求6所述的电子设备，
其中，所述通用手册、所述详细手册和所述简单手册被划分为按顺序再现的多个子内容，
其中，所述处理器还配置为：
基于所述理解水平在所述替换手册中所包括的多个子内容之中选择要再现的子内容，以及
将所述子内容提供到所述显示装置。
8.根据权利要求6所述的电子设备，其中，所述处理器还配置为：
从所述外部装置接收所述外部装置的状态信息，以及
基于所接收的、所述外部装置的状态信息来确定对所述手册的理解水平。
9.根据权利要求6所述的电子设备，其中，所述处理器还配置为：
从所述用户响应中所包括的所述用户语音信息获得情绪参数，以及
基于所述情绪参数来确定所述理解水平。
10.根据权利要求9所述的电子设备，其中，所述处理器还配置为：通过将所述用户语音信息输入到深度学习神经网络模型来获得所述情绪参数。
11.根据权利要求6所述的电子设备，其中，所述处理器还配置为：基于所述用户响应中所包括的所述用户语音信息的识别结果来确定所述替换手册中的再现起始点。
12.根据权利要求11所述的电子设备，其中，所述处理器还配置为：将所述替换手册的整个再现部分之中的、从所确定的再现起始点开始的数据流式传输到所述显示装置。
13.根据权利要求11所述的电子设备，其中，所述处理器还配置为：通过向所述显示装置提供与所述替换手册对应的地址信息和关于所述再现起始点的信息来替换所提供的手册。
14.根据权利要求6所述的电子设备，其中，所述处理器还配置为：基于预先存储的再现历史信息来确定所述替换手册中的再现起始点。
15.根据权利要求6所述的电子设备，其中，所述处理器还配置为：接收所述外部装置的状态信息并且基于所述状态信息来确定所述替换手册中的再现起始点。
CN202080065430.5A 2019-09-16 2020-01-28 电子设备及其用于提供手册的方法 Active CN114424148B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2019-0113790 2019-09-16
KR20190113790 2019-09-16
KR1020190119099A KR20210032259A (ko) 2019-09-16 2019-09-26 전자 장치 및 이의 매뉴얼 제공 방법
KR10-2019-0119099 2019-09-26
PCT/KR2020/001278 WO2021054544A1 (en) 2019-09-16 2020-01-28 Electronic apparatus and method for providing manual thereof

Publications (2)

Publication Number Publication Date
CN114424148A CN114424148A (zh) 2022-04-29
CN114424148B true CN114424148B (zh) 2024-03-08

Family

ID=74868474

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080065430.5A Active CN114424148B (zh) 2019-09-16 2020-01-28 电子设备及其用于提供手册的方法

Country Status (4)

Country Link
US (1) US11150923B2 (zh)
EP (1) EP3983875B1 (zh)
CN (1) CN114424148B (zh)
WO (1) WO2021054544A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI739286B (zh) * 2020-01-21 2021-09-11 國立臺灣師範大學 互動學習系統

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105607887A (zh) * 2014-11-17 2016-05-25 三星电子株式会社 语音识别系统、服务器、显示装置及其控制方法
CN105940394A (zh) * 2014-02-18 2016-09-14 三星电子株式会社 交互服务器及用于控制服务器的方法

Family Cites Families (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4955066A (en) * 1989-10-13 1990-09-04 Microsoft Corporation Compressing and decompressing text files
US20120233631A1 (en) * 1991-12-02 2012-09-13 Geshwind David M Processes and systems for creating and delivering granular idiomorphic media suitable for interstitial channels
US6021403A (en) * 1996-07-19 2000-02-01 Microsoft Corporation Intelligent user assistance facility
US6020886A (en) * 1996-09-04 2000-02-01 International Business Machines Corporation Method and apparatus for generating animated help demonstrations
US6452607B1 (en) * 1998-02-04 2002-09-17 Hewlett-Packard Company Context sensitive user interface help feature
US6842877B2 (en) * 1998-12-18 2005-01-11 Tangis Corporation Contextual responses based on automated learning techniques
US6651053B1 (en) * 1999-02-01 2003-11-18 Barpoint.Com, Inc. Interactive system for investigating products on a network
JP4521071B2 (ja) * 1999-03-15 2010-08-11 富士フイルム株式会社 構図補助機能付きディジタル・スチル・カメラおよびその動作制御方法
US6657643B1 (en) * 1999-04-20 2003-12-02 Microsoft Corporation Modulating the behavior of an animated character to reflect beliefs inferred about a user's desire for automated services
WO2000068830A2 (en) * 1999-05-07 2000-11-16 Argo Interactive Limited Modifying a data file representing a document within a linked hierarchy of documents
KR100371406B1 (ko) 2000-04-19 2003-02-05 윤봉수 도움말 제공 방법
JP4683253B2 (ja) 2000-07-14 2011-05-18 ソニー株式会社 Ａｖ信号処理装置および方法、プログラム、並びに記録媒体
US6633741B1 (en) * 2000-07-19 2003-10-14 John G. Posa Recap, summary, and auxiliary information generation for electronic books
US6690390B1 (en) * 2000-10-24 2004-02-10 National Instruments Corporation Interactive on-line help for completing a task
JP2002268888A (ja) 2001-03-14 2002-09-20 Sharp Corp ソフトウェアのインストール方法
US7024658B1 (en) * 2001-09-28 2006-04-04 Adobe Systems Incorporated Extensible help facility for a computer software application
EP1300773A1 (en) * 2001-10-02 2003-04-09 Sun Microsystems, Inc. Information service using a thesaurus
US20040130572A1 (en) * 2003-01-07 2004-07-08 Aravind Bala Active content wizard: execution of tasks and structured content
US7890336B2 (en) 2003-01-13 2011-02-15 Northwestern University Interactive task-sensitive assistant
US20040145601A1 (en) * 2003-01-29 2004-07-29 International Business Machines Corporation Method and a device for providing additional functionality to a separate application
CN100543728C (zh) * 2003-04-17 2009-09-23 诺基亚公司 使用浏览器上载文件
US7720680B2 (en) * 2004-06-17 2010-05-18 Robert Bosch Gmbh Interactive manual, system and method for vehicles and other complex equipment
JP2004355080A (ja) 2003-05-27 2004-12-16 Matsushita Electric Ind Co Ltd 機器管理装置及び機器管理方法
EP1639439A2 (en) * 2003-06-13 2006-03-29 The University Of Lancaster User interface
US7519604B2 (en) * 2003-08-29 2009-04-14 Nokia Corporation Troubleshooting engine and method for using same
US20050138559A1 (en) * 2003-12-19 2005-06-23 International Business Machines Corporation Method, system and computer program for providing interactive assistance in a computer application program
US20050153688A1 (en) * 2004-01-12 2005-07-14 International Business Machines Corporation Displaying help resources associated with prioritized help messages
US20060041926A1 (en) 2004-04-30 2006-02-23 Vulcan Inc. Voice control of multimedia content
JP2005341182A (ja) 2004-05-26 2005-12-08 Matsushita Electric Works Ltd 料理レシピ編集提示システム
US7346846B2 (en) * 2004-05-28 2008-03-18 Microsoft Corporation Strategies for providing just-in-time user assistance
US9098826B2 (en) * 2004-09-30 2015-08-04 The Invention Science Fund I, Llc Enhanced user assistance
RU2004133946A (ru) * 2004-11-23 2006-05-10 Самсунг Электроникс Ко., Лтд. (KR) Способ формирования адаптивной контекстной справки
US20060184880A1 (en) * 2005-02-17 2006-08-17 Microsoft Corporation Discoverability of tasks using active content wizards and help files - the what can I do now? feature
US8386931B2 (en) * 2005-04-15 2013-02-26 Microsoft Corporation Method and apparatus for providing process guidance
US20070061722A1 (en) * 2005-09-13 2007-03-15 International Business Machines Corporation Transparency learning aide skin for GUI-based applications
US20070203891A1 (en) * 2006-02-28 2007-08-30 Microsoft Corporation Providing and using search index enabling searching based on a targeted content of documents
US8607149B2 (en) * 2006-03-23 2013-12-10 International Business Machines Corporation Highlighting related user interface controls
WO2007149220A2 (en) * 2006-06-16 2007-12-27 Understanding Corporation, Inc. Methods, systems, and computer program products for adjusting readability of reading material to a target readability level
WO2007148493A1 (ja) * 2006-06-23 2007-12-27 Panasonic Corporation 感情認識装置
US20120101888A1 (en) * 2006-06-30 2012-04-26 Reagan Inventions, Llc System and method for obtaining content related to an article of commerce
US8645816B1 (en) * 2006-08-08 2014-02-04 Emc Corporation Customizing user documentation
KR101304461B1 (ko) * 2006-12-04 2013-09-04 삼성전자주식회사 제스처 기반 사용자 인터페이스 방법 및 장치
DE112007003024B4 (de) 2006-12-28 2013-09-12 Mitsubishi Electric Corp. Fahrzeugmontierte Spracherkennungsvorrichtung
US9311528B2 (en) * 2007-01-03 2016-04-12 Apple Inc. Gesture learning
US20090055386A1 (en) * 2007-08-24 2009-02-26 Boss Gregory J System and Method for Enhanced In-Document Searching for Text Applications in a Data Processing System
US9733811B2 (en) * 2008-12-19 2017-08-15 Tinder, Inc. Matching process system and method
WO2009086121A1 (en) * 2007-12-19 2009-07-09 Match.Com, Lp Matching process system and method
US8196042B2 (en) * 2008-01-21 2012-06-05 Microsoft Corporation Self-revelation aids for interfaces
US8786675B2 (en) * 2008-01-23 2014-07-22 Michael F. Deering Systems using eye mounted displays
US7868750B2 (en) * 2008-02-06 2011-01-11 Ford Global Technologies, Llc System and method for controlling a safety restraint status based on driver status
JP4889664B2 (ja) * 2008-02-12 2012-03-07 コニカミノルタビジネステクノロジーズ株式会社 マニュアル提供方法、周辺装置、および制御用プログラム
US9053088B2 (en) * 2008-03-31 2015-06-09 Qualcomm Incorporated Displaying mnemonic abbreviations for commands
US8219115B1 (en) * 2008-05-12 2012-07-10 Google Inc. Location based reminders
CN102177750A (zh) * 2008-10-09 2011-09-07 犹他大学研究基金会 用于防止驾驶时使用手机的系统和方法
US8655340B2 (en) * 2008-10-14 2014-02-18 At&T Intellectual Property I, L.P. Method, apparatus, and computer program product for wireless customer services
US20100174599A1 (en) * 2009-01-05 2010-07-08 Apple Inc. System and method for providing content associated with a product or service
US20100180200A1 (en) * 2009-01-12 2010-07-15 Thierry Donneau-Golencer Electronic assistant
US8418085B2 (en) * 2009-05-29 2013-04-09 Microsoft Corporation Gesture coach
US8761821B2 (en) * 2009-07-21 2014-06-24 Katasi Llc Method and system for controlling a mobile communication device in a moving vehicle
US10387175B2 (en) * 2009-10-23 2019-08-20 Autodesk, Inc. Method and system for providing software application end-users with contextual access to text and video instructional information
US20110125734A1 (en) * 2009-11-23 2011-05-26 International Business Machines Corporation Questions and answers generation
JP5131286B2 (ja) * 2010-01-04 2013-01-30 株式会社ニコン 画像処理装置及び画像処理プログラム
US20120249797A1 (en) * 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US8566360B2 (en) * 2010-05-28 2013-10-22 Drexel University System and method for automatically generating systematic reviews of a scientific field
US8434001B2 (en) * 2010-06-03 2013-04-30 Rhonda Enterprises, Llc Systems and methods for presenting a content summary of a media item to a user based on a position within the media item
US8689126B2 (en) * 2010-06-24 2014-04-01 Adobe Systems Incorporated Displaying graphical indications to indicate dependencies between scripts
US7992773B1 (en) * 2010-09-15 2011-08-09 Reagan Inventions, Llc System and method for presenting information about an object on a portable electronic device
US9524279B2 (en) * 2010-10-28 2016-12-20 Microsoft Technology Licensing, Llc Help document animated visualization
US20120117470A1 (en) * 2010-11-10 2012-05-10 Microsoft Corporation Learning Tool for a Ribbon-Shaped User Interface
US10073927B2 (en) * 2010-11-16 2018-09-11 Microsoft Technology Licensing, Llc Registration for system level search user interface
US8566718B1 (en) * 2010-12-10 2013-10-22 Google Inc. Live demonstration of computing device applications
KR20120068253A (ko) * 2010-12-17 2012-06-27 삼성전자주식회사 사용자 인터페이스의 반응 제공 방법 및 장치
US8990689B2 (en) * 2011-02-03 2015-03-24 Sony Corporation Training for substituting touch gestures for GUI or hardware keys to control audio video play
US9602453B2 (en) * 2011-02-10 2017-03-21 International Business Machines Corporation Smart attachment to electronic messages
US8630822B2 (en) * 2011-02-11 2014-01-14 International Business Machines Corporation Data center design tool
WO2012155079A2 (en) 2011-05-12 2012-11-15 Johnson Controls Technology Company Adaptive voice recognition systems and methods
US20130054501A1 (en) * 2011-08-22 2013-02-28 Kenneth Martin Lassesen Optimizing selection and ordering of items displayed
US20130091409A1 (en) * 2011-10-07 2013-04-11 Agile Insights, Llc Method and system for dynamic assembly of multimedia presentation threads
US10165107B2 (en) * 2011-10-11 2018-12-25 Samsung Electronics Co., Ltd. Apparatus and method for safe conveyance of notifications and/or alerts to a mobile terminal
JP2013161446A (ja) 2012-02-08 2013-08-19 Funai Electric Co Ltd 情報端末装置
US20140006944A1 (en) * 2012-07-02 2014-01-02 Microsoft Corporation Visual UI Guide Triggered by User Actions
US9349100B2 (en) * 2012-08-30 2016-05-24 International Business Machines Corporation Method for providing a prompt for real-time cognitive assistance
US20140075304A1 (en) * 2012-09-07 2014-03-13 International Business Machines Corporation Annotation of user interface documents according to related documentation
US20140075312A1 (en) * 2012-09-12 2014-03-13 International Business Machines Corporation Considering user needs when presenting context-sensitive information
US20140075363A1 (en) * 2012-09-13 2014-03-13 International Business Machines Corporation Context Aware Non-Linear Task Bar Orientation
US9085303B2 (en) 2012-11-15 2015-07-21 Sri International Vehicle personal assistant
WO2015027079A1 (en) * 2013-08-21 2015-02-26 Quantum Applied Science And Research, Inc. System and method for improving student learning by monitoring student cognitive state
BR112017003946B1 (pt) * 2014-10-24 2022-11-01 Telefonaktiebolaget Lm Ericsson (Publ) Método e dispositivo de computação para ajudar um usuário particular a utilizar uma interface de usuário, e, meio não-transitório legível por máquina
US9720914B2 (en) * 2014-10-24 2017-08-01 Microsoft Technology Licensing, Llc Navigational aid for electronic books and documents
KR20160058438A (ko) 2014-11-17 2016-05-25 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20170014353A (ko) 2015-07-29 2017-02-08 삼성전자주식회사 음성 기반의 화면 내비게이션 장치 및 방법
US11420114B2 (en) * 2015-09-30 2022-08-23 Sony Interactive Entertainment LLC Systems and methods for enabling time-shifted coaching for cloud gaming systems
TWI585555B (zh) * 2015-11-06 2017-06-01 Princo Corp Watch, wear device, emergency method and quick dial law
US10078218B2 (en) * 2016-01-01 2018-09-18 Oculus Vr, Llc Non-overlapped stereo imaging for virtual reality headset tracking
US20170315825A1 (en) * 2016-05-02 2017-11-02 John C. Gordon Presenting Contextual Content Based On Detected User Confusion
US10325519B2 (en) * 2016-11-30 2019-06-18 Nissan North America, Inc. Vehicle tutorial system and method for sending vehicle tutorial to tutorial manager device
KR101889279B1 (ko) 2017-01-16 2018-08-21 주식회사 케이티 음성 명령에 기반하여 서비스를 제공하는 시스템 및 방법
US10970334B2 (en) 2017-07-24 2021-04-06 International Business Machines Corporation Navigating video scenes using cognitive insights
US20190043500A1 (en) 2017-08-03 2019-02-07 Nowsportz Llc Voice based realtime event logging
US20200152304A1 (en) * 2018-11-14 2020-05-14 Kintsugi Mindful Wellness, Inc. Systems And Methods For Intelligent Voice-Based Journaling And Therapies
US11164473B2 (en) * 2019-02-18 2021-11-02 International Business Machines Corporation Generating probing questions to test attention to automated educational materials

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105940394A (zh) * 2014-02-18 2016-09-14 三星电子株式会社 交互服务器及用于控制服务器的方法
CN105607887A (zh) * 2014-11-17 2016-05-25 三星电子株式会社 语音识别系统、服务器、显示装置及其控制方法

Also Published As

Publication number Publication date
US11150923B2 (en) 2021-10-19
EP3983875B1 (en) 2023-05-17
WO2021054544A1 (en) 2021-03-25
EP3983875A1 (en) 2022-04-20
EP3983875A4 (en) 2022-07-27
US20210081164A1 (en) 2021-03-18
CN114424148A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN106658129B (zh) 基于情绪的终端控制方法、装置及终端
KR102429436B1 (ko) 사용자의 입력 입력에 기초하여 타겟 디바이스를 결정하고, 타겟 디바이스를 제어하는 서버 및 그 동작 방법
US9953648B2 (en) Electronic device and method for controlling the same
JP6351528B2 (ja) 行動制御システム及びプログラム
EP3190512B1 (en) Display device and operating method therefor
JP6044553B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2019050019A (ja) 提案される音声ベースのアクションクエリの提供
KR20140089861A (ko) 디스플레이 장치 및 그의 제어 방법
KR102484257B1 (ko) 전자 장치, 그의 문서 표시 방법 및 비일시적 컴퓨터 판독가능 기록매체
KR20140089863A (ko) 디스플레이 장치, 및 이의 제어 방법, 그리고 음성 인식 시스템의 디스플레이 장치 제어 방법
EP3916538B1 (en) Creating a cinematic storytelling experience using network-addressable devices
CN108882101B (zh) 一种智能音箱的播放控制方法、装置、设备及存储介质
US20140019141A1 (en) Method for providing contents information and broadcast receiving apparatus
JP7347217B2 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
CN111556999B (zh) 通过即时提供实质性回答以提供自然语言对话的方法、计算机装置及计算机可读存储介质
KR102135077B1 (ko) 인공지능 스피커를 이용한 실시간 이야깃거리 제공 시스템
CN114424148B (zh) 电子设备及其用于提供手册的方法
US11587571B2 (en) Electronic apparatus and control method thereof
CN112165627A (zh) 信息处理方法、装置、存储介质、终端及系统
KR20210066651A (ko) 전자 장치 및 이의 제어 방법
KR20210032259A (ko) 전자 장치 및 이의 매뉴얼 제공 방법
JP2019144817A (ja) 映像出力装置、映像出力方法および映像出力プログラム
US11978458B2 (en) Electronic apparatus and method for recognizing speech thereof
WO2023019517A1 (zh) 推荐指令的方法及其装置
KR20160022326A (ko) 디스플레이 장치 및 그의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant