CN112927570A - 交互方法、装置、计算机设备及计算机可读存储介质 - Google Patents

Abstract

本申请实施例公开一种交互方法、装置、计算机设备及计算机可读存储介质。该交互方法的一具体实施方式包括：获取输出内容中的第一信息；获取与所述第一信息相关的第二信息；在至少一个终端设备展示所述第二信息。该实施方式通过获取并展示与第一信息相关的第二信息，可实现通过第二信息辅助用户对第一信息的获取及理解，例如帮助听讲人对演讲内容中的复杂信息的理解，帮助听讲人进一步理解演讲人的意图，接收演讲人表达信息的作用。

Description

交互方法、装置、计算机设备及计算机可读存储介质

技术领域

本申请涉及互联网技术领域。更具体地，涉及一种交互方法、装置、计算机设备及计算机可读存储介质。

背景技术

以触屏式液晶显示器(LCD+touch)架构构建的电子白板，由于其细腻的显示效果，较好的图形记录功能，多样的人机交互方式等优势，用途十分广泛。

但是，在使用电子白板的许多场景中，依然存在着很多问题，例如，在利用电子白板进行教学和课件展示过程中，由于老师思路跳跃大、内容多等原因或者由于学生知识结构、语言听力、部分缺席等造成信息接收困难，或者老师需要应对听众的多方面信息需求导致课件或讲课内容冗长混乱。因此，需要提供一种方案在不影响老师正常发表的同时能够向学生提供分类的信息辅助，以达到提高效果的作用。

发明内容

本申请的目的在于提供一种交互方法、装置、计算机设备及计算机可读存储介质，以解决现有技术存在的问题中的至少一个。

为达到上述目的，本申请采用下述技术方案：

本申请第一方面提供了一种交互方法，包括：

获取输出内容中的第一信息；

获取与所述第一信息相关的第二信息；

在至少一个终端设备展示所述第二信息。

本申请第一方面提供的交互方法，通过获取并展示与第一信息相关的第二信息，可实现通过第二信息辅助用户对第一信息的获取及理解，例如帮助学生对课件内容中的复杂信息的理解，帮助学生进一步理解老师的意图，接收老师表达信息的作用。

在一个可能的实现方式中，所述在至少一个终端设备展示所述第二信息包括：在第一终端设备和/或至少一个第二终端设备展示所述第二信息。

此实现方式，通过在一个或多个终端设备展示第二信息，丰富了第二信息的展示形式，使得该交互方法的使用场景更灵活。

在一种可能的实现方式中，所述获取输出内容中的第一信息包括：获取第一终端设备的显示内容中的第一信息、获取第一终端设备播放的音频中的第一信息、获取用户语音中的第一信息中的至少之一。

此实现方式中，可通过在第一终端设备的显示内容中获取第一信息、在第一终端设备播放的音频中获取第一信息、在用户语音中获取第一信息，获取第一信息的方式多样化。

在一种可能的实现方式中，所述获取第一终端设备的显示内容中的第一信息包括：根据预存的第一信息内容，识别得到第一终端设备的显示内容中的第一信息，或，响应于对所述显示内容的显示区域的第一操作，获取第一终端设备的显示内容中的第一信息；

所述获取第一终端设备播放的音频中的第一信息包括：根据预存的第一信息内容，识别得到第一终端设备播放的音频中的第一信息；

所述获取用户语音中的第一信息包括：根据预存的第一信息内容，识别得到用户语音中的第一信息。

此实现方式，既可通过自动识别来获取第一信息也可通过自主操作来获取第一信息，实现了获取方式的可控性。

在一种可能的实现方式中，所述获取与所述第一信息相关的第二信息包括：通过进行互联网搜索和/或在预存有信息关联关系的数据库中进行搜索，获取与所述第一信息相关的第二信息。

此实现方式，通过互联网搜索和/或在预存有信息关联关系的数据库中进行搜索，得到第二信息，获取方式灵活、方便、容易实现。

在一种可能的实现方式中，所述第二信息包括多种类型的第二信息，所述在至少一个第二终端设备展示所述第二信息包括：根据对使用第二终端设备的用户的身份认证结果，在第二终端设备展示相应类型的第二信息。

此实现方式，通过对使用者身份的认证，相应的展示第二信息，为使用者提供了个性化的信息以及较佳的信息接收效果。

在一种可能的实现方式中，所述第二信息包括多种类型的第二信息，所述在至少一个第二终端设备展示所述第二信息包括：展示选择控件，响应于对所述选择控件的第二操作，展示相应类型的第二信息。

此实现方式，通过对展示控件的选择操作，展示相应的第二信息，可实现使用者自主对第二信息的内容进行选择，为使用者提供了个性化的信息以及较佳的信息接收效果。

在一种可能的实现方式中，在获取第一终端设备的显示内容中的第一信息的情况下，所述在第一终端设备展示所述第二信息包括：在第一终端设备的对应所述第一信息显示位置的显示区域展示所述第二信息。

此实现方式，通过直接在第一终端设备显示第一信息显示位置的显示区域展示第二信息，简洁、直观的展示了第二信息。

在一种可能的实现方式中，所述第一终端设备为电子白板设备。

本申请的第二方面提供一种交互装置，该交互装置包括：

第一获取模块，用于获取输出内容中的第一信息；

第二获取模块，用于获取与所述第一信息相关的第二信息；

展示模块，用于在至少一个终端设备展示所述第二信息。

本申请第二方面提供的交互装置，通过获取并展示与第一信息相关的第二信息，可实现通过第二信息辅助用户对第一信息的获取及理解，例如帮助学生对课件内容中的复杂信息的理解，帮助学生进一步理解老师的意图，接收老师表达信息的作用。

本申请的第三方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请第一方面提供的交互方法。

本申请的第四方面提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现本申请第一方面提供的交互方法。

本申请的有益效果如下：

本申请提供的技术方案，通过获取并展示与第一信息相关的第二信息，可实现通过第二信息辅助用户对第一信息的获取及理解，例如帮助学生对课件内容中的复杂信息的理解，帮助学生进一步理解老师的意图，接收老师表达信息的作用。。

附图说明

下面结合附图对本申请的具体实施方式作进一步详细的说明。

图1示出本申请的实施例提供的交互装置的结构示意图。

图2示出本申请的实施例提供的交互装置示意图。

图3示出本申请的实施例提供的仅有电子白板的交互装置的结构示意图。

图4示出本申请的实施例提供的交互方法的流程图。

图5示出实现本申请实施例提供的装置的计算机系统的结构示意图。

具体实施方式

为了更清楚地说明本申请，下面结合实施例和附图对本申请做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本申请的保护范围。

交互式电子白板可以与电脑进行信息通讯，将电子白板连接到计算机，并利用投影机将计算机上的内容投影到电子白板屏幕上，在专门的应用程序的支持下，可以构造一个大屏幕、交互式的协作会议或教学环境，由于其细腻的显示效果，较好的图形记录功能，多样的人机交互方式等优势，用途十分广泛。

尽管如此，在使用电子白板的许多场景中，依然存在着很多问题。例如，在教学场景中，由于老师思路跳跃大、内容多等原因或者由于学生的知识结构、语言听力、部分缺席等造成信息接收困难，或者老师需要应对学生的多方面信息需求导致演讲内容冗长混乱。

为解决以上问题，本申请的一个实施例提供了一种交互系统，以解决上述教学场景中出现的系列问题，如图1所示，该交互系统包括电子白板和至少一个个人终端设备。

其中，电子白板包括有第一获取模块及第二获取模块，第一获取模块用于获取输出内容中的特定信息；第二获取模块用于获取与特定信息相关的辅助信息。

特定信息为老师在讲课过程中通过电子白板显示的内容中的信息，或者是通过电子白板音频功能播放的音频内容，也可以是老师实时的讲演语音内容等；对于音频内容或语音内容可通过在电子白板中设置麦克风进行声音拾取；辅助信息为与特定信息相关联的对特定信息进行补充、解释、翻译的信息。

举例而言，老师在给学生上课时，特定信息为电子白板当前展示的课件内容中的关键信息或者说关键知识点，辅助信息为特定信息涉及的辅助知识点，例如，辅助信息为关键知识点相应的原理描述/公式/数学上的函数处理/相应的语言翻译/字幕等等。

容易理解的是，不论特定信息是电子白板显示的图文内容还是电子白板播放的音频内容或者演讲人的讲演内容，并不需要对所有出现的特定信息均生成辅助信息进行说明解释，例如，特定信息为常识性知识或无用话术，则不生成辅助信息。

在一些实施例中，可根据预存的特定信息内容识别得到电子白板显示内容中的特定信息，例如，通过文字识别预存的文字信息、通过图识别预存的图像公式等。

在一个具体示例中，当电子白板显示到预存的文字时，自动触发第二获取模块获取与电子白板当前显示的特定信息相对应的辅助信息。

该辅助信息可以通过检索网站、检索电子白板自身存储或者演讲人事先预存在电子白板中的资料内容等方式进行获取。

需要说明的是，对于预存的图像公式等信息，也可使用OCR(文字识别)技术获取图像或公式中的文字信息后再进行对辅助信息的获取。

另外，也可响应于对显示内容的显示区域的第一操作，获取电子白板显示内容中的特定信息；

在一个具体示例中，老师可通过手指或者其他有触控功能的教杆等以敲击电子白板的方式触发来获取辅助信息。

需要说明的是，在该示例中，为防止误触，可通过软件约定动作进行标识，例如，连续敲击电子白板、对显示内容进行画圈、用激光笔照射等，对于可实现的获取电子白板显示内容中的特定信息的具体动作，在此不做具体限定。

需要说明的是，当需要关闭辅助信息时，可以约定另一个动作实现，例如连续划线、反向画圈、不同颜色的激光等。

对于特定信息为音频信息或语音信息而言，可根据预存的特定信息内容，识别得到电子白板播放的音频中的特定信息；根据预存的特定信息内容，识别得到演讲人语音中的特定信息。

在一个具体示例中，当设置在电子白板中的麦克风拾取到预存的声音信息时，则触发第二获取模块获取辅助信息。

除了直接通过语音触发第二获取模块获取辅助信息之外，也可通过将拾取到的语音转化为文字后，对文字进行识别触发第二获取模块获取辅助信息；具体地，可采用自动语音识别技术(Automatic Speech Recognition，ASR)将将麦克风实时采集到语音信息转化为文字信息，当出现与预存的文字信息相匹配时，则触发第二获取模块获取辅助信息。

个人终端设备用于将第二获取模块获取的辅助信息进行显示。

需要说明的是，该个人终端设备可以是硬件，也可以是软件。当个人终端设备为硬件时，可以是具有显示屏并且支持数据交互的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

个人终端设备可以通过有线或者无线的方式(例如WIFI，蓝牙，光线、网线，蜂窝数据及HDMI等)与电子白板进行数据交互，电子白板获取到辅助信息后发送至各个独立的个人终端，方便听众对演讲内容进行更好的理解。

由于各学生自身的知识储备或认知等存在差异，对于同一信息，有些学生已熟知，而有些学生却需要辅助信息进行解释说明，则可针对不同的学生推荐或展示不同的辅助信息。因此，在一些实施例中，如图2所示，辅助信息包括多种类型的辅助信息，其中，在个人终端设备展示辅助信息包括：根据对使用个人终端设备的学生的身份认证结果，在第二终端设备展示相应类型的辅助信息。

举例而言，在教室座位对应的每一个个人终端设备都有其身份密匙(例如蓝牙)，在座位相对固定的情况下，每个密匙对应每个学生，或者各学生通过账户密码/指纹/声纹等个人信息识别等方式进行登录，基于不同的学生，进而进行展示相应类型的辅助信息。

在一个具体示例中，可通过每个学生的学号判断该学生是必修还是选修，若学生为必修，则判定该学生具备专业知识，通过第二获取模块获取的辅助信息为专业模式的信息，若学生为选修，则判定该学生不具备专业知识，通过第二获取模块获取的辅助信息为非专业模式的信息。

需要说明的是，专业模式下的辅助信息较非专业模式下的辅助信息更简单、直白。例如：

给必修课学生展示的辅助信息为：

ASR:Automatic Speech Recognition；

NLP:Natural Language Processing；

TTS:Text To Speech；

DM：Dialog Management；

给必修课学生展示的辅助信息为：

ASR:自动语音识别技术(Automatic Speech Recognition)是一种将人的语音转换为文本的技术；

NLP:NLP(Natural Language Processing)是人工智能(AI)的一个子领域。自然语言理解就是希望机器像人一样，具备正常人的语言理解能力；

TTS:TTS是Text To Speech的缩写，即“从文本到语音”，是人机对话的一部分，让机器能够说话。

DM：对话管理(Dialog Management)控制着人机对话的过程，DM根据对话历史信息，决定此刻对用户的反应。最常见的应用还是任务驱动的多轮对话，用户带着明确的目的如订餐、订票等，用户需求比较复杂，有很多限制条件，可能需要分多轮进行陈述，一方面，用户在对话过程中可以不断修改或完善自己的需求，另一方面，当用户的陈述的需求不够具体或明确的时候，机器也可以通过询问、澄清或确认来帮助用户找到满意的结果。

容易理解的是，对于非必修课学生而言，也存在着知识储备或认知的差异，其中，部分学生由于理解性强或刚好了解老师讲解的内容，并不需要太繁琐的辅助信息的解释，因此，在一些实施例中，个人终端设备包括展示选择控件，通过学生对选择控件的操作，展示相应的辅助信息。

具体地，在个人终端设备上显示辅助信息时，相应的显示选择控件，例如，“专业模式”和“非专业模式”按钮，学生可自主选择专业模式或非专业模式，另外，也可通过学生对显示的第二信息的了解程度，自动切换专业模式和非专业模式，例如，当检测到学生在较短时间内对非专业模式下显示的辅助信息进行关闭或切换等操作时，判断该学生具备专业知识的能力，自动将对该学生展示的辅助信息切换至专业模式。

需要说明的是，对于非必须使用个人终端的场景(例如，进行公司会议等)，也可在电子白板的显示区域直接对辅助信息进行展示，如图3所示，图3示出交互装置仅包括电子白板的示意图，其中，对应特定信息的辅助信息可直接展示在特定信息的右侧，方便听讲人理解。

需要说明的是，本实施例提供的交互系统并不仅限于在教学场景中使用，也可应用在其他场景，例如，大型协作会议等。

本申请的另一个实施例提供一种交互方法，如图4所示，该交互方法包括：

S10、获取输出内容中的第一信息；

需要说明的是，第一信息为电子白板的显示内容中的第一信息、电子白板播放的音频中的第一信息、演讲人语音中的第一信息中的至少一个。

具体地，对于电子白板的显示内容中的第一信息，可根据预存的第一信息内容，识别得到电子白板的显示内容中的第一信息或响应于对显示内容的显示区域的相应操作，获取电子白板的显示内容中的第一信息；对于电子白板播放的音频中的第一信息，可根据预存的第一信息内容，通过语音识别得到电子白板播放的音频中的第一信息；对于演讲人语音中的第一信息，可根据子白板的显示内容中的第一信息；对于电子白板播放的音频中的第一信息，可根据预存的第一信息内容，通过语音识别得到演讲人语音中的第一信息。

S20、获取与所述第一信息相关的第二信息；

具体地，可通过进行互联网搜索和/或在预存有信息关联关系的数据库中进行搜索，获取与第一信息相关的第二信息。

S30、在至少一个终端设备展示所述第二信息。

需要说明的是，可直接在电子白板的显示区域展示第二信息，也可借助其他具有显示功能的个人终端(例如，手机，电脑等)设备展示第二信息。

需要说明的是，本实施例提供的交互方法与上述交互系统的原理及工作流程相似，相关之处可以参照上述说明，在此不再赘述。

如图5所示，适于用来实现上述实施例提供的交互系统中的电子白板的计算机系统，包括中央处理模块(CPU)，其可以根据存储在只读存储器(ROM)中的程序或者从存储部分加载到随机访问存储器(RAM)中的程序而执行各种适当的动作和处理。在RAM中，还存储有计算机系统操作所需的各种程序和数据。CPU、ROM以及RAM通过总线被此相连。输入/输入(I/O)接口也连接至总线。

以下部件连接至I/O接口:包括键盘、鼠标等的输入部分；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分；包括硬盘等的存储部分；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分。通信部分经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至I/O接口。可拆卸介质，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器上，以便于从其上读出的计算机程序根据需要被安装入存储部分。

特别地，根据本实施例，上文流程图描述的过程可以被实现为计算机软件程序。例如，本实施例包括一种计算机程序产品，其包括有形地包含在计算机可读介质上的计算机程序，上述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。

附图中的流程图和示意图，图示了本实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或示意图中的每个方框可以代表一个模块、程序段或代码的一部分，上述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，示意图和/或流程图中的每个方框、以及示意和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器，包括第一获取模块、第二获取模块和展示模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。例如，第二获取模块还可以被描述为“检索模块”。

作为另一方面，本实施例还提供了一种非易失性计算机存储介质，该非易失性计算机存储介质可以是上述实施例中上述装置中所包含的非易失性计算机存储介质，也可以是单独存在，未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序，当上述一个或者多个程序被一个设备执行时，使得上述设备：可以获取输出内容中的特定信息；获取与特定信息相关的辅助信息；对辅助信息进行展示。

在本申请的描述中，需要说明的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。

还需要说明的是，在本申请的描述中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。显然，本申请的上述实施例仅仅是为清楚地说明本申请所作的举例，而并非是对本申请的实施方式的限定，对于本领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本申请的技术方案所引伸出的显而易见的变化或变动仍处于本申请的保护范围之列。

Claims (12)

1.一种交互方法，其特征在于，包括：

获取输出内容中的第一信息；

获取与所述第一信息相关的第二信息；

在至少一个终端设备展示所述第二信息。

2.根据权利要求1所述的方法，其特征在于，所述在至少一个终端设备展示所述第二信息包括：在第一终端设备和/或至少一个第二终端设备展示所述第二信息。

3.根据权利要求2所述的方法，其特征在于，所述获取输出内容中的第一信息包括：获取第一终端设备的显示内容中的第一信息、获取第一终端设备播放的音频中的第一信息、获取用户语音中的第一信息中的至少之一。

4.根据权利要求3所述的方法，其特征在于，

所述获取第一终端设备的显示内容中的第一信息包括：根据预存的第一信息内容，识别得到第一终端设备的显示内容中的第一信息，或，响应于对所述显示内容的显示区域的第一操作，获取第一终端设备的显示内容中的第一信息；

所述获取第一终端设备播放的音频中的第一信息包括：根据预存的第一信息内容，识别得到第一终端设备播放的音频中的第一信息；

所述获取用户语音中的第一信息包括：根据预存的第一信息内容，识别得到用户语音中的第一信息。

5.根据权利要求1所述的方法，其特征在于，所述获取与所述第一信息相关的第二信息包括：通过进行互联网搜索和/或在预存有信息关联关系的数据库中进行搜索，获取与所述第一信息相关的第二信息。

6.根据权利要求2所述的方法，其特征在于，所述第二信息包括多种类型的第二信息，所述在至少一个第二终端设备展示所述第二信息包括：根据对使用第二终端设备的用户的身份认证结果，在第二终端设备展示相应类型的第二信息。

7.根据权利要求2所述的方法，其特征在于，所述第二信息包括多种类型的第二信息，所述在至少一个第二终端设备展示所述第二信息包括：展示选择控件，响应于对所述选择控件的第二操作，展示相应类型的第二信息。

8.根据权利要求4所述的方法，其特征在于，在获取第一终端设备的显示内容中的第一信息的情况下，所述在第一终端设备展示所述第二信息包括：在第一终端设备的对应所述第一信息显示位置的显示区域展示所述第二信息。

9.根据权利要求2所述的方法，其特征在于，所述第一终端设备为电子白板设备。

10.一种执行如权利要求1-9中任一项所述方法的交互装置，其特征在于，包括：

第一获取模块，用于获取输出内容中的第一信息；

第二获取模块，用于获取与所述第一信息相关的第二信息；

展示模块，用于在至少一个终端设备展示所述第二信息。

11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-9中任一项所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一项所述的方法。

Images