CN117999557A - 电子装置及其控制方法 - Google Patents

电子装置及其控制方法 Download PDF

Info

Publication number
CN117999557A
CN117999557A CN202280063548.3A CN202280063548A CN117999557A CN 117999557 A CN117999557 A CN 117999557A CN 202280063548 A CN202280063548 A CN 202280063548A CN 117999557 A CN117999557 A CN 117999557A
Authority
CN
China
Prior art keywords
texts
event information
acquiring
text
additional information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280063548.3A
Other languages
English (en)
Inventor
崔馨铎
高炫睦
金纹助
柳成瀚
廓世珍
洛伊斯·拉武鲁
申益熙
梁海薰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN117999557A publication Critical patent/CN117999557A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/046—Interoperability with other network applications or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/148—Segmentation of character regions
    • G06V30/153—Segmentation of character regions using recognition of characters or words

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了一种电子装置和用于控制该装置的方法。所述电子装置包括显示器；存储器，存储至少一个指令；以及处理器，被配置为执行所述至少一个指令以：提取在消息应用的聊天窗口上显示的多个文本并收集所述多个文本，将收集的所述多个文本输入到训练的第一神经网络模型中并按顺序排列所述多个文本，将按顺序排列的所述多个文本输入到训练的第二神经网络模型中并识别用于从所述多个文本获取事件信息的附加信息是否必要，以及基于识别结果从所述多个文本获取事件信息。

Description

电子装置及其控制方法
技术领域
本公开涉及一种电子装置，并且更具体地，涉及一种基于包括在消息应用中的文本提取事件信息并向用户提供与事件信息对应的服务的电子装置，以及一种用于控制电子装置的方法。
背景技术
电子装置(诸如智能电话)可从通过消息应用(或信使应用、聊天应用)输入的文本(包括图像和表情符号)中提取事件信息，并且提供与提取的事件信息对应的服务(例如，日程管理服务、预订服务、购物服务等)。
然而，在由第三方提供的消息应用(例如，KakaoTalkTM、LineTM、WhatsAppTM等)的情况下，不能在平台(例如，操作系统(OS))端访问存储在应用中的信息，因此需要提取和管理关于在消息应用的聊天窗口屏幕上显示的文本的信息。
这里，在通过用户交互移动聊天窗口屏幕或移动到新的聊天窗口屏幕的情况下，出现从平台提取的文本的顺序混乱的问题。例如，如图1所示，当显示器正在显示第一屏幕10时，可根据包括在第一屏幕10中的顺序来提取文本。也就是说，在显示第一屏幕10时，平台可按照文本1至文本5的顺序提取文本，如图1中的左下端20所示。然而，如果由用户输入将聊天窗口屏幕滚动到向下方向的交互，则显示器可显示第二屏幕11，在第二屏幕11中新包括作为显示在第一屏幕10上的文本1至文本5的先前文本的文本-2至文本0。当显示器正在显示第二屏幕11时，平台可新提取文本0至文本-2。也就是说，当显示第二屏幕11时，平台可按照文本4、文本5、文本0、文本-1和文本-2的顺序提取文本，如图1中下端的中间部分21所示。此外，如果由用户输入将聊天窗口屏幕滚动到向上方向的交互，则显示器可显示第三屏幕12，在第三屏幕12中新包括作为显示在第二屏幕11上的文本-2至文本2的后续文本的文本3和文本4。当显示器正在显示第三屏幕12时，平台可新提取文本3和文本4。也就是说，当显示第三屏幕12时，平台可按照文本0、文本-1、文本-2、文本3和文本4的顺序提取文本，如图1中的右下端22所示。如图1所示，在提取的文本的顺序根据用户交互被改变的情况下，可能发生不能提取有意义的事件信息或提取不正确的事件信息的问题。
另外，在由平台提取的当前显示的聊天窗口屏幕上的文本是对话的一部分的情况下，难以提取有意义的事件信息，因此存在不能提供平滑服务的限制。
发明内容
技术问题
本公开被设计用于解决上述问题，并且本公开的目的是提供一种电子装置及其控制方法，该电子装置排列从消息应用的聊天窗口屏幕提取的多个文本的顺序，识别用于从多个排列的文本生成事件信息的附加信息是否必要，并且基于识别结果获取事件信息。
技术解决方案
根据本公开的一个方面，一种电子装置包括：显示器；存储器，存储至少一个指令；以及处理器，被配置为执行所述至少一个指令以：提取在消息应用的聊天窗口上显示的多个文本并收集所述多个文本，将收集的所述多个文本输入到训练的第一神经网络模型中并按顺序排列所述多个文本，将按顺序排列的所述多个文本输入到训练的第二神经网络模型中并识别用于从所述多个文本获取事件信息的附加信息是否必要，以及基于识别结果从所述多个文本获取事件信息。
所述处理器还可被配置为执行所述至少一个指令以：基于识别出用于从所述多个文本获取事件信息的附加信息不必要，通过仅使用获取的所述多个文本来获取事件信息。
所述处理器还可被配置为执行所述至少一个指令以：基于识别出用于从所述多个文本获取事件信息的附加信息是必要的，将所述多个文本输入到训练的第三神经网络模型中并获取用于获取附加信息的多个候选文本，选择所述多个候选文本中的至少一个，以及通过使用所述多个文本和选择的至少一个候选文本来获取事件信息。
所述处理器还可被配置为执行所述至少一个指令以：基于识别出用于从所述多个文本获取事件信息的附加信息是必要的，识别在所述多个文本之前或之后存在附加信息的方向，并且控制所述显示器提供用于向识别的方向滚动的UI。
所述处理器还可被配置为执行所述至少一个指令以：基于检测到基于所述UI的滚动交互，根据滚动交互滚动聊天窗口屏幕，并且通过使用所述多个文本和滚动屏幕上显示的文本来获取事件信息。
所述处理器还可被配置为执行所述至少一个指令以：基于识别出用于从多个文本获取事件信息的附加信息是必要的，生成用于获取附加信息的查询文本，获取针对查询文本的回复文本，以及通过使用所述多个文本和回复文本来获取事件信息。
第一神经网络模型可包括句子次序预测模型或句子顺序预测模型中的至少一个，其中，句子次序预测模型输入所述多个文本中的两个文本并确定所述两个文本之间的次序关系，句子顺序预测模型输入所述多个文本并确定所述多个文本之间的顺序。
所述处理器还可被配置为执行所述至少一个指令以：捕获消息应用的聊天窗口，以及对捕获的聊天窗口图像执行光学字符识别(OCR)并提取在聊天窗口上显示的多个文本。
所述处理器还可被配置为执行所述至少一个指令以：从所述多个文本获取与事件信息对应的概要句子，并且控制所述显示器提供包括获取的概要句子的通知消息。
根据本公开的一个方面，一种用于控制电子装置的方法，所述方法包括：提取在消息应用的聊天窗口上显示的多个文本并收集所述多个文本；将收集的所述多个文本输入到训练的第一神经网络模型中，并按顺序排列所述多个文本；将按顺序排列的所述多个文本输入到训练的第二神经网络模型中，并识别用于从所述多个文本获取事件信息的附加信息是否必要；以及基于识别结果从所述多个文本获取事件信息。
获取事件信息可包括：基于识别出用于从所述多个文本获取事件信息的附加信息不必要，通过仅使用获取的所述多个文本来获取事件信息。
获取事件信息可包括：基于识别出用于从所述多个文本获取事件信息的附加信息是必要的，将所述多个文本输入到训练的第三神经网络模型中并获取用于获取附加信息的多个候选文本；选择所述多个候选文本中的至少一个；以及通过使用所述多个文本和选择的至少一个候选文本来获取事件信息。
获取事件信息可包括：基于识别出用于从所述多个文本获取事件信息的附加信息是必要的，识别在所述多个文本之前或之后存在附加信息的方向；以及提供用于向识别的方向滚动的UI。
获取事件信息可包括：基于检测到基于UI的滚动交互，根据滚动交互滚动聊天窗口屏幕；以及通过使用所述多个文本和在滚动屏幕上显示的文本来获取事件信息。
获取事件信息可包括：基于识别出用于从多个文本获取事件信息的附加信息是必要的，生成用于获取附加信息的查询文本；获取针对查询文本的回复文本；以及通过使用所述多个文本和回复文本来获取所述事件信息。
第一神经网络模型可包括：句子次序预测模型或者句子顺序预测模型中的至少一个，句子次序预测模型输入所述多个文本中的两个文本并确定所述两个文本之间的次序关系，句子顺序预测模型输入所述多个文本并确定所述多个文本之间的顺序。
提取所述多个文本可包括：捕获消息应用的聊天窗口；以及对捕获的聊天窗口图像执行光学字符识别(OCR)并提取显示在聊天窗口上的多个文本。
所述方法还可包括：从所述多个文本获取与事件信息对应的概要句子；以及提供包括获取的概要句子的通知消息。
有利效果
根据如上所述的本公开的实施例，电子装置可通过使用包括在消息应用的聊天窗口屏幕中的多个文本来提供有意义的事件信息。
附图说明
图1是用于示出现有技术中平台提取文本的顺序的图；
图2是示出根据本公开的实施例的电子装置的配置的框图；
图3是示出根据本公开的实施例的基于在消息应用屏幕上显示的多个文本提供事件信息的特征的框图；
图4a和图4b是用于示出根据本公开的实施例的句子次序预测模型的图；
图5a和图5b是用于示出根据本公开的实施例的句子完成预测模型的图；
图6是用于示出根据本公开的实施例的用于基于多个候选文本获取完成的对话的方法的流程图；
图7a是用于示出根据本公开的另一实施例的用于通过使用滚动UI来获取完成的对话的方法的流程图；
图7b是用于示出根据本公开的另一实施例的滚动UI的图；
图8a是用于示出根据本公开的另一实施例的用于基于针对查询文本的回复文本获取完成的对话的方法的流程图；
图8b是用于示出根据本公开的另一实施例的包括查询文本的UI的图；
图9是示出根据本公开的实施例的获取事件信息的特征的框图；
图10是示出根据本公开的实施例的包括事件信息的UI的图；以及
图11是用于示出根据本公开的实施例的用于控制电子装置的方法的流程图。
具体实施方式
可对本公开的实施例进行各种修改，并且可存在各种类型的实施例。因此，将在附图中示出具体实施例，并且将在具体实施方式中详细描述实施例。然而，应当注意，各种实施例不是用于将本公开的范围限制于特定实施例，而是它们应当被解释为包括本公开的实施例的各种修改、等同物和/或替代方案。此外，关于附图的详细描述，相似的组件可由相似的参考标号表示。
此外，在描述本公开时，在确定相关已知功能或特征的详细说明可能不必要地混淆本公开的主旨的情况下，将省略详细说明。
另外，下面描述的实施例可以以各种不同的形式进行修改，并且本公开的技术构思的范围不限于下面的实施例。相反，提供这些实施例是为了使本公开更充分和完整，并且向本领域技术人员充分传达本公开的技术构思。
此外，本公开中使用的术语仅被用于说明具体实施例，并不旨在限制本公开的范围。此外，单数表达包括复数表达，除非在上下文中明显不同地定义。
另外，在本公开中，诸如“具有”、“可具有”、“包括”和“可包括”的表达表示这样的特性(例如，诸如数字、功能、操作和组件的元素)的存在，并且不排除附加特性的存在。
此外，在本公开中，表达“A或B”、“A和/或B中的至少一个”或“A和/或B中的一个或多个”等可包括所列项目的所有可能组合。例如，“A或B”、“A和B中的至少一个”或“A或B中的至少一个”可指以下所有情况：(1)包括至少一个A，(2)包括至少一个B，或(3)包括至少一个A和至少一个B。
此外，本公开中使用的表达“第一”、“第二”等可描述各种元件，而不管任何顺序和/或重要程度。此外，这样的表达仅被用于将一个元件与另一个元件区分开，并且不旨在限制这些元件。
另外，本公开中一个元件(例如：第一元件)“与另一元件(例如：第二元件)(可操作地或通信地)耦接/耦接到另一元件(例如：第二元件)”或“连接到另一元件(例如：第二元件)”的描述应被解释为包括一个元件直接被耦接到另一元件的情况以及一个元件通过又一元件(例如：第三元件)被耦接到另一元件的情况。
相反，一个元件(例如，第一元件)“直接耦接”或“直接连接”到另一元件(例如，第二元件)的描述可被解释为意指在一个元件与另一元件之间不存在又一元件(例如，第三元件)。
此外，取决于情况，本公开中使用的表达“被配置为”可与诸如“适合于”、“具有……的能力”、“被设计为”、“适于”、“被制造为”和“能够”的其他表达互换使用。另外，术语“被配置为”不一定意指装置在硬件方面被“专门设计为”。
相反，在一些情况下，表达“被配置为……的装置”可意指该装置“能够”与另一装置或组件一起执行操作。例如，短语“被配置(或设置)为执行A、B和C的处理器”可意指用于执行相应操作的专用处理器(例如：嵌入式处理器)，或者可通过执行存储在存储器装置中的一个或多个软件程序来执行相应操作的通用处理器(例如：CPU或应用处理器)。
此外，在本公开的实施例中，“模块”或“部件”可执行至少一个功能或操作，并且可实现为硬件或软件，或者实现为硬件和软件的组合。此外，多个“模块”或“部件”可被集成到至少一个模块中并且被实现为至少一个处理器，不包括需要被实现为特定硬件的“模块”或“部件”。
另外，示意性地示出了附图中的各种元件和区域。因此，本公开的技术构思不受附图中所示的相对尺寸或间隔的限制。
在下文中，将参考附图详细描述本公开的实施例，使得本公开所属领域的普通技术人员可容易地执行本公开。
图2是示出根据本公开的实施例的电子装置的配置的框图。如图2所示，电子装置100可包括显示器110、扬声器120、通信接口130、存储器140、输入接口150、传感器160和处理器170。这里，电子装置100可被实现为智能电话。另外，根据本公开的电子装置100不限于特定类型的装置，而是可被实现为各种类型的电子装置100，诸如平板PC和数码相机等。
显示器110可显示从各种源提供的图像。具体地，显示器110可显示消息应用的聊天窗口屏幕。此外，显示器110可显示用于引导聊天窗口屏幕上的滚动的UI、包括事件信息的UI等。
另外，显示器110可被实现为液晶显示器(LCD)面板、有机发光二极管(OLED)等。此外，取决于情况，显示器110可被实现为柔性显示器、透明显示器等。然而，根据本公开的显示器110不限于特定类型。
扬声器120可输出语音消息。具体地，在从外部终端接收到消息的情况下，扬声器120可以以语音消息的形式提供消息，用于引导消息的接收。这里，扬声器120可被包括在电子装置100内部，但是这仅仅是示例，并且扬声器120可与电子装置100电连接，并且可位于外部。
通信接口130可包括电路，并且执行与外部装置的通信。具体地，处理器170可从通过通信接口130连接的外部装置接收各种数据或信息，并且还可将各种数据或信息发送到外部装置。
通信接口130可包括Wi-Fi模块、蓝牙模块、无线通信模块或NFC模块中的至少一个。具体地，Wi-Fi模块和蓝牙模块可分别通过使用Wi-Fi方法和蓝牙方法来执行通信。在使用Wi-Fi模块或蓝牙模块的情况下，首先发送和接收各种类型的连接信息(诸如SSID)，并且通过使用该信息来执行通信的连接，并且此后可发送和接收各种类型的信息。
此外，无线通信模块可根据各种通信标准(诸如IEEE、Zigbee、第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)和第五代(5G))来执行通信。此外，NFC模块可使用各种RF-ID频带(诸如135kHz、13.56MHz、433MHz、860-960MHz和2.45GHz)中的13.56MHz频带通过近场通信(NFC)方法执行通信。
具体地，在根据本公开的各种实施例中，通信接口130可从外部装置接收各种类型的信息，诸如与各种神经网络模型相关的数据等。此外，通信接口130可从外部装置接收消息，并将消息发送到外部装置。
存储器140可存储用于控制电子装置100的至少一个指令。具体地，存储器140可存储用于排列提取的文本的顺序并通过使用排列的文本来获取事件信息的模块所需的数据以执行各种操作。用于排列提取的文本的顺序并通过使用排列的文本来获取事件信息的模块可包括数据收集模块315、对话构成模块325、句子次序预测模块330、句子顺序预测模块340、对话完成预测模块350、对话完成模块360、事件信息获取模块370、信息提取模块910、推荐确定模块920等。此外，存储器140可存储神经网络模型，该神经网络模型是用于排列提取的文本的顺序并通过使用排列的文本来获取事件信息的多个语言模型。
另外，存储器140可包括即使停止电源也可保持存储的信息的非易失性存储器，以及需要恒定电源以保持存储的信息的易失性存储器。用于排列提取的文本的顺序并通过使用排列的文本来获取事件信息的数据可被存储在非易失性存储器中。此外，用于排列提取的文本的顺序并通过使用排列的文本来获取事件信息的多个神经网络模型可被存储在非易失性存储器中。
除了上述之外，存储器140可包括数据收集DB 320和对话DB 365，数据收集DB 320存储关于从数据收集模块315提取的文本的信息，对话DB 365存储从对话构成模块325获取的完成的对话。
输入接口150可包括电路，并且处理器170可通过输入接口150接收用于控制电子装置100的操作的用户指令的输入。具体地，可以以包括在显示器110中作为触摸屏的形式实现输入接口150，但是这仅仅是示例，并且输入接口150可被构造为诸如按钮、麦克风和遥控信号接收器(未示出)等的组件。
具体地，在根据本公开的各种实施例中，输入接口150可接收各种用户指令的输入，诸如用于在聊天窗口屏幕上输入消息的用户指令、用于滚动聊天窗口屏幕的用户指令、用于输入回复文本的用户指令、以及用于登记事件信息的用户指令等。
传感器160可获取与电子装置100相关的各种信息。具体地，传感器160可包括能够获取电子装置100的位置信息的GPS，并且还可包括各种传感器，诸如用于获取使用电子装置100的用户的生物信息的生物传感器(例如，心率传感器、PPG传感器等)、用于检测电子装置100的移动的移动传感器等。此外，传感器160可包括用于获取图像的图像传感器、红外传感器等。
处理器170可与存储器140电连接，并且控制电子装置100的整体功能和操作。
如果输入用于执行消息应用的用户指令(或用于获取事件信息的用户指令等)，则处理器170可加载用于排列存储在非易失性存储器中的提取文本的顺序，并通过使用排列的文本来获取事件信息的模块的数据，以在易失性存储器上执行各种操作。此外，处理器170可加载用于排列提取的文本的顺序，并通过使用排列的文本来获取事件信息的多个神经网络模型在易失性存储器上。处理器170可基于加载在易失性存储器上的数据通过各种模块和神经网络模型来执行各种操作。这里，加载意指调用存储在非易失性存储器中的数据以使得处理器170可访问易失性存储器并存储数据的操作。
具体地，处理器170可提取在消息应用的聊天窗口上输出的多个文本并收集文本，将收集的多个文本输入到训练的第一神经网络模型中并按顺序排列多个文本，将按顺序排列的多个文本输入到训练的第二神经网络模型中并识别用于从多个文本获取事件信息的附加信息是否必要，并且基于识别结果从多个文本获取事件信息。
具体地，处理器170可被提供来自消息应用的聊天窗口上显示的多个文本，或者通过OCR识别来提取包括在消息应用的聊天窗口中的多个文本。这里，文本可包括句子、单词、短语、音节等。
处理器170可将收集的多个文本输入到训练的第一神经网络模型中并按顺序排列多个文本。这里，第一神经网络模型可包括句子次序预测模型或者句子顺序预测模型中的至少一个，其中，句子次序预测模型输入多个文本中的两个文本并确定两个文本之间的次序关系，句子顺序预测模型输入多个文本并确定多个文本之间的顺序。
处理器170可将按顺序排列的多个文本输入到训练的第二神经网络模型(例如，对话完成预测模型)中，并且识别用于从多个文本获取事件信息的附加信息是否必要。这里，处理器170可通过第二神经网络模型识别在多个文本之前或之后是否需要附加信息。
如果识别出用于从多个文本获取事件信息的附加信息不必要，则处理器170可通过仅使用获取的多个文本来获取事件信息。这里，事件信息是用于执行在电子装置100内的平台、应用或第三方中提供的服务的信息，并且它可以是与日程管理服务、购物服务、预订服务等相关的信息。
如果识别出用于从多个文本获取事件信息的附加信息是必要的，则处理器170可通过完成对话来获取用于获取事件信息的附加信息。
作为示例，处理器170可将多个文本输入到训练的第三神经网络模型(例如，候选文本生成模型)中，并获取用于获取附加信息的多个候选文本。然后，处理器170可选择多个候选文本中的至少一个。这里，处理器170可在多个候选文本中选择具有最高概率的候选文本，但是这仅仅是示例，并且处理器170可通过用户选择在多个候选文本中选择一个候选文本。处理器170可通过使用多个文本和选择的至少一个候选文本来获取事件信息。
作为另一示例，处理器170可基于由对话完成预测模型输出的信息来识别在多个文本之前或之后存在附加信息的方向，并且控制显示器110提供用于向识别的方向滚动的UI。然后，如果检测到基于UI的滚动交互，则处理器170可控制显示器110根据滚动交互滚动聊天窗口屏幕，并且通过使用多个文本和在滚动屏幕上显示的文本来获取事件信息。
作为又一示例，处理器170可将多个文本输入到第四神经网络模型(例如，查询文本生成模型)中，并且生成用于获取附加信息的查询文本，获取针对查询文本的回复文本，并通过使用多个文本和回复文本来获取事件信息。
然后，处理器170可基于获取的事件信息提供各种服务。例如，处理器170可基于事件信息在日历应用中登记日程，在购物应用中执行购物，并且在预订应用中执行预订。
此外，处理器170可从多个文本获取与事件信息对应的概要句子，并且控制显示器110提供包括获取的概要句子的通知消息。
在下文中，将参照图3描述用于通过使用处理器170中包括的各种模块来提取文本、排列提取的文本的顺序、以及通过排列的文本来获取事件信息的方法。
消息应用305可存储与从外部装置接收或由用户输入的对话相关的数据。这里，消息应用305可根据用户输入提供与将在显示器110上被显示的对话相关的数据。与对话相关的数据不仅可包括文本，还可包括表情符号、图像等。
平台310可提取与显示器110上显示的消息应用305的聊天窗口屏幕内的对话相关的数据。作为示例，当与对话相关的数据被显示在显示器110上时，平台310可通过消息应用305获取与显示器110上显示的对话相关的数据。作为另一示例，平台310可捕获包括与对话相关的数据的消息应用的聊天窗口屏幕，对捕获的聊天窗口屏幕执行光学字符识别(OCR)，并且提取在聊天窗口上显示的多个文本。
数据收集模块315可获取与从平台310提取的对话相关的数据。这里，数据收集模块315可将获取的与对话相关的数据中的多个文本存储在数据收集DB 320中。然后，数据收集模块315可将获取的文本提供给对话构成模块325。
对话构成模块325可按顺序排列多个文本，确定对话是否完成以确定附加信息是否必要，并生成完成的对话。
具体地，对话构成模块325可通过使用句子次序预测模块330和句子顺序预测模块340来按顺序排列多个文本。
对话构成模块325可将两个文本输入到句子次序预测模块330中。句子次序预测模块330可将两个文本输入到句子次序预测模型335中，并确定两个文本的次序。这里，句子次序预测模块330可在改变它们的顺序的同时将两个文本输入到句子次序预测模型335中。例如，句子次序预测模块330可从对话构成模块325获取两个文本(“我完成了高中”、“然后，我进入了大学”)。句子次序预测模块330可按照“我完成了高中”、“然后，我进入了大学”的顺序将两个文本410输入到句子次序预测模型335中，并且获取两个句子的顺序可能是正确的第一概率420，如图4a所示。此外，句子次序预测模块330可改变两个文本的顺序，并以“然后，我进入了大学”、“我完成了高中”的顺序将两个文本430输入到句子次序预测模型335中，并获取两个句子的顺序可能是正确的第二概率440，如图4b所示。然后，句子次序预测模块330可比较第一概率420和第二概率440并确定两个句子的顺序。例如，如果第一概率420高于第二概率440，则句子次序预测模块330可确定两个文本的顺序是“我完成了高中”、“然后，我进入了大学”。
此外，对话构成模块325可将三个或更多个文本输入到句子顺序预测模块340中。句子顺序预测模块340可将三个或更多个文本输入到句子顺序预测模型345中并预测三个或更多个文本的顺序。这里，句子顺序预测模型345可以是训练为预测多个文本之间的关系、确定多个文本的顺序并排列多个文本的神经网络模型。
另外，在本公开的实施例中，描述了对话构成模块325使用句子次序预测模块330和句子顺序预测模块340两者来提高确定文本顺序的准确性。然而，这仅仅是示例，并且句子次序预测模块330或句子顺序预测模块340中的仅一个可被用于提高处理速度。在仅使用句子次序预测模块330的情况下，对话构建模块325可将多个文本以每两个配对，并将文本输入到句子次序预测模块330中并确定配对的两个文本的次序，并基于多个配对文本的次序按顺序排列多个文本。
对话构成模块325可通过使用对话完成预测模块350来确定按顺序排列的多个文本是否是完成的对话。这里，完成的对话是可从中获取事件信息的对话，并且对于未完成的对话，用于获取事件信息的附加信息可能是必要的。
对话构成模块325可将多个排列的文本输入到对话完成预测模块350中。对话完成预测模块350可通过使用对话完成预测模型355来确定在多个排列文本之前或之后是否存在附加信息。这里，对话完成预测模块350可将多个文本和假想的先前文本输入到对话完成预测模型355中，并确定在多个文本之前是否存在附加信息，并且将多个文本和假想的后续文本输入到对话完成预测模型355中，并确定在多个文本之后是否存在附加信息。这里，假想的先前文本或假想的后续文本可以是空白句子。
例如，如图5a所示，对话完成预测模块350可将由多个文本和假想的先前文本组成的第一对话510输入到对话完成预测模型355中，并获取在多个文本之前可能存在附加信息的第三概率520。此外，如图5b所示，对话完成预测模块350可将由多个文本和假想的后续文本组成的第二对话530输入到对话完成预测模型355中，并获取在多个文本之后可能存在附加信息的第四概率540。
对话完成预测模块350可基于第三概率520和第四概率540获取关于对话是否完成的信息(即，附加信息是否必要)以及关于附加信息存在的位置的信息。具体地，对话完成预测模块350可确定第三概率520和第四概率540是否超过阈值。例如，在第三概率520和第四概率540小于或等于阈值的情况下，对话完成预测模块350可将多个文本确定为完成的对话。然而，在第三概率520或第四概率540中的至少一个超过阈值的情况下，对话完成预测模块350可将多个文本确定为未完成的对话。这里，在第三概率520超过阈值的情况下，对话完成预测模块350可确定在多个文本之前存在附加信息，并且在第四概率540超过阈值的情况下，对话完成预测模块350可确定在多个文本之后存在附加信息。具体地，在图5a和图5b中的实施例的情况下，如果第三概率520小于或等于阈值并且第四概率540超过阈值，则对话完成预测模块350可确定在多个文本之后存在附加信息。
如果由对话完成预测模块350确定多个文本是完成的对话，则用于获取事件信息的附加信息不必要，因此对话构成模块325可将完成的对话输出到对话DB 365和事件信息获取模块370。
如果由对话完成预测模块350确定多个文本是未完成的对话，则对话构成模块325可将多个排列的文本输入到对话完成模块360中，以获取用于获取事件信息的附加信息。
对话完成模块360可获取用于获取事件信息的附加信息，并且获取完成的对话。将参照图6至图8b描述用于对话完成模块360获取附加信息并获取完成的对话的方法。
图6是用于示出根据本公开的实施例的用于基于多个候选文本获取完成的对话的方法的流程图。
在操作S610中，对话完成模块360可从对话构成模块325获取多个文本，并将多个文本输入到候选文本生成模型中。这里，候选文本生成模型可以是训练为预测多个文本之前或之后的文本并生成多个候选文本的神经网络模型。
在操作S620中，对话完成模块360可通过候选文本生成模型生成多个候选文本。例如，对话完成模块360可将如图5b所示的多个文本输入到候选文本生成模型中，并生成候选文本，诸如“在江南站见面怎么样？”、“我将去你的办公室”、“任何地方”等。这里，候选文本生成模型可能已经基于用户历史被训练以生成候选文本。
在操作S630中，对话完成模块360可选择多个候选文本中的至少一个。作为示例，对话完成模块360可将多个候选文本输入到选择模型中，并且在多个候选文本中选择具有最高概率的文本。作为另一示例，对话完成模块360可在显示器110上显示多个候选文本，并且根据用户输入在多个候选文本中选择至少一个候选文本。例如，对话完成模块360可选择具有最高概率或由用户选择的“在江南站见面怎么样？”。
在操作S640中，对话完成模块360可通过使用多个文本和选择的至少一个候选文本来获取完成的对话。对话完成模块360可将完成的对话输出到对话构成模块325。
图7a是用于示出根据本公开的另一实施例的用于通过使用滚动UI来获取完成的对话的方法的流程图。
在操作S710中，对话完成模块360可从对话构成模块325获取多个文本。这里，对话完成模块360不仅可获取多个文本，还可获取关于在多个文本之前或之后是否存在附加信息的信息。
在操作S720中，对话完成模块360可基于关于在多个文本之前或之后是否存在附加信息的信息来识别包括附加信息的方向。
在操作S730中，对话完成模块360可提供用于滚动到识别的方向的UI。具体地，如果识别出在多个文本的先前方向上包括附加信息，则对话完成模块360可提供用于在聊天窗口屏幕上滚动到向上方向的UI，并且如果识别出在多个文本的后续方向上包括附加信息，则对话完成模块360可提供用于在聊天窗口屏幕上朝向下方向滚动的UI。例如，如果确定在多个文本的后续方向上包括附加信息，则对话完成模块360可控制显示器110提供包括指示滚动到聊天窗口屏幕上的向下方向的指示符和引导消息的UI 760，如图7b所示。
在操作S740中，处理器170可根据滚动交互来滚动聊天窗口屏幕。这里，当屏幕被滚动时，对话构成模块325可如上所述在滚动的聊天窗口屏幕内提取附加文本，并通过句子次序预测模块330和句子顺序预测模块340按顺序排列多个文本和附加文本，并通过对话完成预测模块350确定多个文本和附加文本是否是完成的对话。
在操作S750中，对话完成模块360可通过使用多个文本和在滚动屏幕上显示的文本来获取完成的对话。这里，对话完成模块360可将完成的对话输出到对话构成模块325。
图8a是用于示出根据本公开的另一实施例的用于基于针对查询文本的回复文本来获取完成的对话的方法的流程图。
在操作S810中，对话完成模块360可从对话构成模块325获取多个文本，并将多个文本输入到查询文本生成模型中。这里，查询文本生成模型可以是训练为生成用于获取在多个文本之前或之后的附加信息的查询的神经网络模型。
在操作S820中，对话完成模块360可通过查询文本生成模型生成查询文本。例如，对话完成模块360可将如图5b所示的多个文本输入到查询文本生成模型中，并生成查询文本，诸如“这个星期四，我将在哪里与简见面？”。
在操作S830中，对话完成模块360可获取针对查询文本的回复文本。具体地，对话完成模块360可控制显示器110提供包括如图8b所示的查询文本的UI 850，并且获取针对查询文本的回复文本。这里，回复文本可通过用户的触摸输入来被获取，但是这仅仅是示例，并且回复文本可通过语音输入来被获取。此外，查询文本可以以语音消息而不是UI 850的形式被提供。例如，对话完成模块360可通过触摸输入或语音输入来获取作为“江南站”的回复文本。
在操作S840中，对话完成模块360可通过使用多个文本和回复文本来获取完成的对话。对话完成模块360可将完成的对话输出到对话构成模块325。
对话完成模块360可将通过使用如图6至图8b中的方法获取的完成的对话输出到对话DB 365和事件信息获取模块370。
存储在对话DB 365中的完成的对话可被用于训练各种神经网络模型或用于随后获取用户历史信息。
事件信息获取模块370可从对话构成模块325获取完成的对话。这里，事件信息获取模块370可从完成的对话获取用于提供各种服务的事件信息。
将参照图9描述用于事件信息获取模块370获取事件信息并提供服务的方法。首先，事件信息获取模块370可将完成的对话输出到信息提取模块910。信息提取模块910可将完成的对话输入到信息提取模型915中并提取事件信息。例如，信息提取模块910可将完成的对话输入到信息提取模型915中，并且获取包括时间信息、位置信息、日程内容信息等的用于执行日程管理服务的事件信息。此外，信息提取模块910可将完成的对话输入到信息提取模型915中，并获取完成的对话的概要句子。这里，获取的概要句子可被包括在用于执行服务的通知消息中并提供给用户。
推荐确定模块920可确定是否向用户推荐与获取的事件信息对应的服务。具体地，推荐确定模块920可将获取的事件信息输入到推荐模型925中，并且获取关于是否向用户推荐与事件信息对应的服务的概率值，并且根据概率值是否超过阈值来确定是否向用户推荐与获取的事件信息对应的服务。
事件信息获取模块370可基于推荐确定模块920的确定结果向平台310或另一应用请求与事件信息对应的服务。作为示例，平台310可控制显示器110提供通知消息，该通知消息询问用户关于是否执行与从完成的对话获取的事件信息对应的服务。例如，如图10所示，平台310可控制显示器110在聊天窗口屏幕上显示用于执行日程管理服务的通知消息1010，该日程管理服务是从事件信息获取的服务。作为另一示例，日历应用可将从事件信息获取的日程登记在日历中。
另外，在前述实施例中，描述了通知消息1010被显示在聊天窗口屏幕上，但是这仅仅是示例，并且消息可通过不同的方法(例如，提供多个通知消息的通知UI屏幕、屏幕上部的通知窗口等)被提供给用户。
然而，如图10中所述的日程管理服务仅仅是示例，并且可通过事件信息提供诸如购物服务、预订服务等的各种服务。
图11是用于示出根据本公开的实施例的用于控制电子装置的方法的流程图。
在操作S1110中，电子装置100提取在消息应用的聊天窗口上显示的多个文本并收集文本。这里，电子装置100可在应用端提取多个文本，但这仅仅是示例，并且电子装置100可捕获聊天窗口屏幕，并对捕获的图像执行OCR，并提取多个文本。
在操作S1120中，电子装置100将收集的多个文本输入到训练的第一神经网络模型中，并按顺序排列多个文本。这里，第一神经网络模型可包括句子次序预测模型和句子顺序预测模型中的至少一个，其中，句子次序预测模型输入多个文本中的两个文本并确定两个文本之间的次序关系，句子顺序预测模型输入多个文本并确定多个文本之间的顺序。
在操作S1130中，电子装置100将按顺序排列的多个文本输入到训练的第二神经网络模型中，并且识别用于从多个文本获取事件信息的附加信息是否必要。
在操作S1140中，电子装置100基于识别结果从多个文本获取事件信息。具体地，如果识别出用于从多个文本获取事件信息的附加信息不必要，则电子装置100可将获取的多个文本确定为完成的对话，并且通过仅使用多个文本来获取事件信息。然而，如果识别出用于从多个文本获取事件信息的附加信息是必要的，则电子装置100可通过各种方法获取附加信息并获取完成的对话。作为示例，电子装置100可将多个文本输入到训练的第三神经网络模型中并获取用于获取附加信息的多个候选文本，选择多个候选文本中的至少一个候选文本，并通过使用多个文本和选择的至少一个候选文本来获取事件信息。作为另一示例，电子装置100可识别在多个文本之前或之后存在附加信息的方向，提供用于滚动到识别的方向的UI，基于UI根据滚动交互滚动聊天窗口屏幕，并且通过使用多个文本和滚动屏幕上显示的文本来获取事件信息。作为又一示例，电子装置100可生成用于获取附加信息的查询文本，获取针对查询文本的回复文本，并且通过使用多个文本和回复文本来获取事件信息。
然后，电子装置100可通过使用事件信息来提供各种服务。例如，电子装置100可通过事件信息提供日程管理服务、购物服务、预订服务等。此外，电子装置100可从多个文本获取与事件信息对应的概要句子，并且提供用于执行与事件信息对应的服务的通知消息。这里，通知消息可包括概要句子。
另外，可通过存储器和处理器来执行与如上所述的神经网络模型相关的功能。处理器可由一个或多个处理器组成。这里，一个或多个处理器可以是诸如CPU、AP等的通用处理器、诸如GPU、VPU等的图形专用处理器、或诸如NPU的人工智能专用处理器。一个或多个处理器执行控制以根据存储在非易失性存储器或易失性存储器中的预定义操作规则或人工智能模型来处理输入数据。预定义的操作规则或人工智能模型的特征在于其是通过学习得到的。
这里，通过学习得到意指将学习算法应用于多个学习数据，并且得到具有期望特性的预定义操作规则或人工智能模型。这种学习可在根据本公开执行人工智能的装置本身中被执行，或者通过单独的服务器/系统被执行。
人工智能模型可由多个神经网络层组成。每层具有多个权重值，并且通过前一层的操作结果与多个权重值之间的操作来执行层的操作。作为神经网络的示例，存在卷积神经网络(CNN)、深度神经网络(DNN)、递归神经网络(RNN)、受限玻尔兹曼机(RBM)、深度信念网络(DBN)、双向递归深度神经网络(BRDNN)、生成对抗网络(GAN)和深度Q网络等，但是本公开中的神经网络不限于排除指定情况的上述示例。
学习算法是通过使用多个学习数据来训练特定主体装置(例如，机器人)并由此使特定主体装置自己做出决定或做出预测的方法。作为学习算法的示例，存在监督学习、无监督学习、半监督学习或强化学习，但是本公开中的学习算法不限于排除指定情况的上述示例。
另外，由机器可读的存储介质可以以非暂时性存储介质的形式被提供。这里，术语“非暂时性”仅意指装置是有形装置，并且不包括信号(例如：电波)，并且该术语不区分数据被半永久地存储在存储介质中的情况和数据被临时存储的情况。例如，“非暂时性存储介质”可包括临时存储数据的缓冲器。
根据实施例，可在被包括在计算机程序产品中的同时提供根据本公开中描述的各种实施例的方法。计算机程序产品是指一种产品，并且它可在卖方与买方之间交易。计算机程序产品可以以由机器可读的存储介质(例如：光盘只读存储器(CD-ROM))的形式被分发，或者可直接在两个用户装置(例如：智能电话)之间被分发，并且通过应用商店(例如：PlayStoreTM)在线被分发(例如：下载或上传)。在在线分发的情况下，计算机程序产品(例如：可下载app)的至少一部分可至少临时地被存储在机器可读存储介质中，诸如制造商的服务器、应用商店的服务器和中继服务器的存储器，或者可临时被生成。
此外，根据本公开的上述各种实施例的组件中的每个(例如，模块或程序)可由单个实体或多个实体组成，并且可省略上述子组件中的一些子组件，或者可在各种实施例中进一步包括不同的子组件。可选地或另外地，一些组件(例如：模块或程序)可被集成到一个实体中以执行在集成之前由每个组件执行的相同或相似的功能。
另外，根据各种实施例，由模块、程序或另一组件执行的操作可顺序地、并行地、重复地或以启发式方式被执行，或者至少一些操作可以以不同的顺序被执行、省略，或者不同的操作可被添加。
另外，本公开中使用的术语“部件”或“模块”可包括由硬件、软件或固件组成的单元，并且可与例如诸如逻辑、逻辑块、组件或电路之类的术语互换使用。另外，“部件”或“模块”可以是构成集成体的组件或者执行一个或多个功能的其最小单元或一部分。例如，模块可由专用集成电路(ASIC)组成。
此外，本公开的各种实施例可被实现为包括存储在机器可读存储介质中的指令的软件，所述指令可由机器(例如：计算机)读取。机器是指调用存储在存储介质中的指令，并且可根据所调用的指令进行操作的装置，并且装置可包括根据前述实施例的电子装置(例如，电子装置100)。
在指令由处理器执行的情况下，处理器可通过其自身或者通过使用在其控制下的其他组件来执行与指令对应的功能。指令可包括由编译器或解释器生成或执行的代码。
此外，虽然已经示出和描述了本公开的优选实施例，但是本公开不限于上述具体实施例，并且显而易见的是，在不脱离由所附权利要求要求保护的本公开的主旨的情况下，本公开所属技术领域的普通技术人员可进行各种修改。此外，旨在这些修改不独立于本公开的技术构思或前景来被解释。

Claims (15)

1.一种电子装置，包括：
显示器；
存储器，存储至少一个指令；以及
处理器，被配置为执行所述至少一个指令以：
提取在消息应用的聊天窗口上显示的多个文本并收集所述多个文本，
将收集的所述多个文本输入到训练的第一神经网络模型中并按顺序排列所述多个文本，
将按顺序排列的所述多个文本输入到训练的第二神经网络模型中，并识别用于从所述多个文本获取事件信息的附加信息是否必要，以及
基于识别结果从所述多个文本获取事件信息。
2.根据权利要求1所述的电子装置，
其中，所述处理器还被配置为执行所述至少一个指令以：
基于识别出用于从所述多个文本获取事件信息的附加信息不必要，通过仅使用获取的所述多个文本来获取事件信息。
3.根据权利要求1所述的电子装置，
其中，所述处理器还被配置为执行所述至少一个指令以：
基于识别出用于从所述多个文本获取事件信息的附加信息是必要的，将所述多个文本输入到训练的第三神经网络模型中并获取用于获取附加信息的多个候选文本，
选择所述多个候选文本中的至少一个，以及
通过使用所述多个文本和选择的至少一个候选文本来获取事件信息。
4.根据权利要求1所述的电子装置，
其中，所述处理器还被配置为执行所述至少一个指令以：
基于识别出用于从所述多个文本获取事件信息的附加信息是必要的，识别在所述多个文本之前或之后存在附加信息的方向，以及
控制所述显示器以提供用于向识别的方向滚动的UI。
5.根据权利要求4所述的电子装置，
其中，所述处理器还被配置为执行所述至少一个指令以：
基于检测到基于所述UI的滚动交互，根据滚动交互滚动聊天窗口屏幕，以及
通过使用所述多个文本和在滚动屏幕上显示的文本来获取事件信息。
6.根据权利要求1所述的电子装置，
其中，所述处理器还被配置为执行所述至少一个指令以：
基于识别出用于从所述多个文本获取事件信息的附加信息是必要的，生成用于获取附加信息的查询文本，
获取针对查询文本的回复文本，以及
通过使用所述多个文本和回复文本来获取事件信息。
7.根据权利要求1所述的电子装置，
其中，第一神经网络模型包括：
句子次序预测模型或者句子顺序预测模型中的至少一个，其中，句子次序预测模型输入所述多个文本中的两个文本并确定所述两个文本之间的次序关系，句子顺序预测模型输入所述多个文本并确定所述多个文本之间的顺序。
8.根据权利要求1所述的电子装置，
其中，所述处理器还被配置为执行所述至少一个指令以：
捕获消息应用的聊天窗口，以及
对捕获的聊天窗口图像执行光学字符识别OCR并提取在聊天窗口上显示的多个文本。
9.根据权利要求1所述的电子装置，
其中，所述处理器还被配置为执行所述至少一个指令以：
从所述多个文本获取与事件信息对应的概要句子，以及
控制所述显示器以提供包括获取的概要句子的通知消息。
10.一种用于控制电子装置的方法，所述方法包括：
提取在消息应用的聊天窗口上显示的多个文本并收集所述多个文本；
将收集的所述多个文本输入到训练的第一神经网络模型中并按顺序排列所述多个文本；
将按顺序排列的所述多个文本输入到训练的第二神经网络模型中，并识别用于从所述多个文本获取事件信息的附加信息是否必要；以及
基于识别结果从所述多个文本获取事件信息。
11.根据权利要求10所述的方法，其中，所述获取包括：
基于识别出用于从所述多个文本获取事件信息的附加信息不必要，通过仅使用获取的所述多个文本来获取事件信息。
12.根据权利要求10所述的方法，其中，所述获取包括：
基于识别出用于从所述多个文本获取事件信息的附加信息是必要的，将所述多个文本输入到训练的第三神经网络模型中并获取用于获取附加信息的多个候选文本；
选择所述多个候选文本中的至少一个；以及
通过使用所述多个文本和选择的至少一个候选文本来获取事件信息。
13.根据权利要求10所述的方法，其中，所述获取包括：
基于识别出用于从所述多个文本获取事件信息的附加信息是必要的，识别在所述多个文本之前或之后存在附加信息的方向；以及
提供用于向识别的方向滚动的UI。
14.根据权利要求13所述的方法，其中，所述获取包括：
基于检测到基于所述UI的滚动交互，根据滚动交互滚动聊天窗口屏幕；以及
通过使用所述多个文本和在滚动屏幕上显示的文本来获取事件信息。
15.根据权利要求10所述的方法，其中，所述获取包括：
基于识别出用于从所述多个文本获取事件信息的附加信息是必要的，生成用于获取附加信息的查询文本；
获取针对查询文本的回复文本；以及
通过使用所述多个文本和回复文本来获取事件信息。
CN202280063548.3A 2021-10-08 2022-09-27 电子装置及其控制方法 Pending CN117999557A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2021-0134051 2021-10-08
KR1020210134051A KR20230050807A (ko) 2021-10-08 2021-10-08 전자 장치 및 이의 제어 방법
PCT/KR2022/014458 WO2023058982A1 (ko) 2021-10-08 2022-09-27 전자 장치 및 이의 제어 방법

Publications (1)

Publication Number Publication Date
CN117999557A true CN117999557A (zh) 2024-05-07

Family

ID=85804475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280063548.3A Pending CN117999557A (zh) 2021-10-08 2022-09-27 电子装置及其控制方法

Country Status (5)

Country Link
US (1) US11880654B2 (zh)
EP (1) EP4336401A1 (zh)
KR (1) KR20230050807A (zh)
CN (1) CN117999557A (zh)
WO (1) WO2023058982A1 (zh)

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3400176A (en) 1965-11-15 1968-09-03 Procter & Gamble Propanepolyphosphonate compounds
US11049349B2 (en) 2004-06-01 2021-06-29 Daniel William Onischuk Computerized voting system
US8157205B2 (en) 2006-03-04 2012-04-17 Mcwhirk Bruce Kimberly Multibody aircrane
KR101718770B1 (ko) * 2010-12-17 2017-03-22 삼성전자주식회사 이동 통신 단말기의 메시지 표시 방법 및 장치
US10984337B2 (en) * 2012-02-29 2021-04-20 Microsoft Technology Licensing, Llc Context-based search query formation
KR101451612B1 (ko) * 2013-05-06 2014-10-16 에스케이플래닛 주식회사 메시지 서비스 시스템, 메시지 서비스를 위한 장치 및 방법
US20150007059A1 (en) * 2013-06-30 2015-01-01 Zeta Project Swiss GmbH User interface with scrolling for multimodal communication framework
KR20150011879A (ko) 2013-07-23 2015-02-03 삼성전자주식회사 휴대 단말기에서 일정을 등록하는 방법 및 장치
US20150033178A1 (en) * 2013-07-27 2015-01-29 Zeta Projects Swiss GmbH User Interface With Pictograms for Multimodal Communication Framework
KR102103809B1 (ko) 2013-09-12 2020-04-24 삼성전자주식회사 메시지의 정렬 방법 및 이를 지원하는 장치
US9372851B2 (en) * 2014-04-01 2016-06-21 Microsoft Technology Licensing, Llc Creating a calendar event using context
US10565219B2 (en) * 2014-05-30 2020-02-18 Apple Inc. Techniques for automatically generating a suggested contact based on a received message
US10579212B2 (en) * 2014-05-30 2020-03-03 Apple Inc. Structured suggestions
US10200824B2 (en) * 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10097973B2 (en) * 2015-05-27 2018-10-09 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
WO2017090954A1 (en) 2015-11-24 2017-06-01 Samsung Electronics Co., Ltd. Electronic device and operating method thereof
KR20170060567A (ko) * 2015-11-24 2017-06-01 삼성전자주식회사 전자 장치 및 그 제어 방법
US20170200128A1 (en) * 2016-01-07 2017-07-13 Facebook, Inc. Creating digital events utilizing natural language processing
US9870345B2 (en) * 2016-05-12 2018-01-16 Google Llc Textual message ordering based on message content
KR101889280B1 (ko) * 2017-01-16 2018-08-21 주식회사 케이티 음성 명령에 기반하여 서비스를 제공하는 서버 및 단말
KR101889279B1 (ko) 2017-01-16 2018-08-21 주식회사 케이티 음성 명령에 기반하여 서비스를 제공하는 시스템 및 방법
CN110633330B (zh) * 2018-06-01 2022-02-22 北京百度网讯科技有限公司 事件发现方法、装置、设备及存储介质
KR20200002141A (ko) 2018-06-29 2020-01-08 김종진 이미지 기반의 언어학습 콘텐츠 제공 방법 및 이의 시스템
US20200320159A1 (en) 2019-03-22 2020-10-08 Robert R. Matthews Magnetic-enthalpy symbol H gasiform species dilute, or solution a heater fluid dynamic mechanic class system transfer the integral sub-plasma thermal cycle state of matter dilute, or solution containing the greater amount of solute synthesis extraction the solution pipeline standard a heater fluid.
KR20190096304A (ko) 2019-07-29 2019-08-19 엘지전자 주식회사 대화 내용에 대한 요약문 생성 장치 및 방법
KR102208387B1 (ko) 2020-03-10 2021-01-28 주식회사 엘솔루 음성 대화 재구성 방법 및 장치
CN111985467B (zh) 2020-08-20 2024-03-29 厦门美图之家科技有限公司 聊天记录截图处理方法、装置、计算机设备和存储介质
KR20220055977A (ko) * 2020-10-27 2022-05-04 삼성전자주식회사 전자 장치 및 그 제어 방법
US20230063713A1 (en) * 2021-08-31 2023-03-02 Paypal, Inc. Sentence level dialogue summaries using unsupervised machine learning for keyword selection and scoring

Also Published As

Publication number Publication date
US20230259545A1 (en) 2023-08-17
KR20230050807A (ko) 2023-04-17
US11880654B2 (en) 2024-01-23
EP4336401A1 (en) 2024-03-13
WO2023058982A1 (ko) 2023-04-13

Similar Documents

Publication Publication Date Title
CN108121490B (zh) 用于处理多模式输入的电子装置、方法和服务器
US11200395B2 (en) Graphic code recognition method and apparatus, terminal, and storage medium
US10547729B2 (en) Electronic device and method of executing function of electronic device
US20190266999A1 (en) Empathetic personal virtual digital assistant
US11238871B2 (en) Electronic device and control method thereof
EP3133532A1 (en) Method and device for training classifier and recognizing a type of information
EP3523710B1 (en) Apparatus and method for providing a sentence based on user input
KR102228455B1 (ko) 대화의 소재를 제공하는 장치, 서버 및 방법
US11042703B2 (en) Method and device for generating natural language expression by using framework
KR102383791B1 (ko) 전자 장치에서의 개인 비서 서비스 제공
US11475218B2 (en) Apparatus and method for providing sentence based on user input
CN110462647B (zh) 电子设备及执行电子设备的功能的方法
KR102304701B1 (ko) 사용자의 음성 입력에 대한 답변을 제공하는 방법 및 장치
US11816609B2 (en) Intelligent task completion detection at a computing device
US20210303997A1 (en) Method and apparatus for training a classification neural network, text classification method and apparatuses, and device
EP3588258A1 (en) Electronic device and screen control method for processing user input by using same
CN110046571B (zh) 用于识别年龄的方法和装置
CN110008926B (zh) 用于识别年龄的方法和装置
US20210264905A1 (en) Electronic device and control method therefor
US20220309231A1 (en) Electronic device for generating summary information of conversation text and operating method thereof
CN111435411B (zh) 命名体类型识别方法和装置以及电子设备
CN111400443A (zh) 信息处理方法、装置及存储介质
CN117999557A (zh) 电子装置及其控制方法
CN110888539B (zh) 输入法中的人名推荐方法、装置、设备及存储介质
CN112737919A (zh) 即时消息的发送方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination