CN117121441A - 使用基于图像的有噪声内容的电子消息传送方法 - Google Patents

使用基于图像的有噪声内容的电子消息传送方法 Download PDF

Info

Publication number
CN117121441A
CN117121441A CN202280025991.1A CN202280025991A CN117121441A CN 117121441 A CN117121441 A CN 117121441A CN 202280025991 A CN202280025991 A CN 202280025991A CN 117121441 A CN117121441 A CN 117121441A
Authority
CN
China
Prior art keywords
image
noisy
message
intent
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280025991.1A
Other languages
English (en)
Inventor
U·K·汉斯曼
V·埃坎巴拉姆
S·N·马瓦尼亚
T·库斯穆尔
T·斯托伯
S·蒙达尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN117121441A publication Critical patent/CN117121441A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/04—Real-time or near real-time messaging, e.g. instant messaging [IM]
    • H04L51/043—Real-time or near real-time messaging, e.g. instant messaging [IM] using or handling presence information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/06—Message adaptation to terminal or network requirements
    • H04L51/066—Format adaptation, e.g. format conversion or compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G06F21/84—Protecting input, output or interconnection devices output devices, e.g. displays or monitors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/212—Monitoring or handling of messages using filtering or selective blocking

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

一种包括接收电子通信系统的电子消息的方法。可以生成基于图像的有噪声内容。基于图像的有噪声内容不同于所接收的电子消息的内容，并且与所接收的消息的消息意图相关。电子通信系统可以被配置用于向接收者提供基于图像的有噪声内容而不是所接收的电子消息，或者除了基于图像的有噪声内容之外还向接收者提供所接收的电子消息。

Description

使用基于图像的有噪声内容的电子消息传送方法
背景技术
本发明涉及数字计算机系统领域，更具体地，涉及一种电子消息传送(messaging)方法。
目前，用户或系统的自动训练或测试是通过预定义的一组问题和回答完成的。然而，在现实世界中，信息并不总是以简单和结构化的方式被提供。但是包含许多模糊性、噪声或者可能只包含所需信息的子集或甚至太多。
发明内容
各种实施例提供了如独立权利要求的主题所描述的方法、计算机系统和计算机程序产品。从属权利要求中描述了有利的实施例。如果本发明的实施例不相互排斥，则它们可以彼此自由组合。
在一方面，本发明涉及一种用于电子消息传送的计算机实现的方法，包括：
接收电子通信系统的电子消息，消息是针对接收者确定的；
确定所接收的电子消息的消息意图；
生成基于图像的有噪声内容，基于图像的有噪声内容不同于所接收的电子消息的内容，并且与消息意图相关；
控制电子通信系统以向接收者提供基于图像的有噪声内容而不是所接收的电子消息，或者除了基于图像的有噪声内容之外还向接收者提供所接收的电子消息。
在另一方面，本发明涉及一种包括计算机可读储存介质的计算机程序产品，计算机可读储存介质具有包含在其中的计算机可读程序代码，计算机可读程序代码被配置用于实现根据前述实施例的方法的所有步骤。
在另一方面，本发明涉及一种计算机系统，计算机系统被配置用于：
接收电子消息；
确定所接收的电子消息的消息意图；
生成基于图像的有噪声内容，基于图像的有噪声内容不同于所接收的电子消息的内容，并且与消息意图相关；
控制电子通信系统以提供基于图像的有噪声内容而不是所接收的电子消息，或者除了基于图像的有噪声内容之外还提供所生成的电子消息。
附图说明
以下参考附图仅通过示例的方式更详细地解释本发明的实施例，附图中：
图1A示出根据本主题的示例的计算机系统。
图1B描绘了显示聊天会话的副本(transcript)的窗口。
图2是根据本主题的示例的方法的流程图。
图3是根据本主题的示例的方法的流程图。
图4是根据本主题的示例的方法的流程图。
图5是示出了根据本主题的用于链接文本和图像嵌入空间的方法的图。
图6是示出了根据本主题的用于测试倾斜嵌入空间的方法的图。
图7是示出了根据本主题的用于生成图像的方法的图。
图8表示适合于实现本公开中所涉及的方法步骤的至少一部分的通用计算机化系统。
具体实施方式
本发明的各种实施例的描述将出于说明的目的而呈现，但是并不旨在是详尽的或限于所公开的实施例。在不脱离所描述的实施例的范围的情况下，许多修改和变化对于本领域普通技术人员来说是显而易见的。本文使用的术语被选择来最好地解释实施例的原理、实际应用或对在市场上发现的技术的技术改进，或者使得其他本领域普通技术人员能够理解本文所公开的实施例。
消息传送可以是诸如电子邮件、SMS和应用内聊天的通过各种数字信道发送的书面通信。消息传送可以是有利的，因为它可以在正确的时间提供相关信息。具体地，利用正确的信息和频率执行的消息传送可以增加电子通信系统的性能。然而，由于用来创建这些记录的平台、设备和系统的激增，管理电子消息可能是具有挑战性的。本主题可以是有利的，因为它可以提供用于控制和管理电子消息的通信的系统化方式。这可能是特别有利的，因为在一些机构中，文本和聊天/即时消息的使用对于完成机构的任务可能是关键的。
电子消息可以通过例如读取对话日志来接收，以便生成用于消息传送会话的消息。在另一示例中，电子消息可以通过例如在正在进行的消息传送会话期间截取它来接收。所截取的电子消息可例如在消息传送会话期间被提供。消息传送会话可以涉及以实时格式或非实时格式交换包括文本、多媒体和/或语音的电子消息。实时格式可以涉及即时消息传送或聊天，并且非实时格式可以涉及电子邮件、发布到动态论坛或馈送等。消息传送会话可以根据使用情况与上下文相关联。例如，可以在聊天机器人代理(chatbot agent)和用户之间执行消息传送会话，以用于由聊天机器人代理训练或测试用户。在这种情况下，电子消息可以是问题和回答。在另一示例中，消息传送会话可以经由在多个用户的相应的移动客户端设备上提供的移动消息传送应用在多个用户之间执行。在另一示例中，消息传送会话可以包括群组聊天，相应的用户经由群组聊天共享和讨论包括视频或其他类型的多媒体的各种主题。术语“聊天机器人”或“聊天代理”是被设计用于经由听觉的或文本的方法模拟与一个或多个人类用户的对话的计算机程序，主要用于参与闲聊或用于训练。这种模拟的目标可以是欺骗终端用户，令其认为程序的输出是由人产生的。
对所截取/接收的电子消息进行处理，以便生成基于图像的有噪声内容。基于图像的有噪声内容可以是内容。该内容被命名为基于图像的有噪声内容，因为它涉及图像，并且具有只与消息意图相关的意图。例如，该内容可包含一个或多个图像和/或使用一个或多个图像来生成。可以生成基于图像的有噪声内容，使得其意图是消息意图的子集，其中，该子集通过从消息意图中排除重要意图来获得，或者通过从消息意图中选择不重要的意图来获得。消息意图可以基于它们的重要性被排序。消息意图例如可以基于知识图的中心性指数被排序，使得子集包括K个不太重要的消息意图，其中K≥1。在另一示例中，消息意图可以基于用户输入被排序，例如，可以提示用户提供消息意图的排序，并且可以接收该排序。
例如，基于图像的有噪声内容可以包括可以用于增强例如聊天代理和用户之间的训练会话的现有的通信流的一个或多个图像。在训练用例的情况下，可以生成基于图像的有噪声内容，以通过提供不完整的信息、添加令人困惑的意图以添加歧义、和/或向所截取/接收的电子消息添加误导意图来增加预定义的问题的难度等级。具体地，本主题例如可以被采用以测试/辅导将最终为产品提供售后支持、顾客服务的受训者，或高级医学学生以应用医学知识和解决虚拟患者病例。在后一种情况下，基于图像的有噪声内容可以是令人分心的医学诊断、故障测试结果、患者图像/照片等的形式。由于最后的交互可以是两个人类代理(消费者-客户服务代理、医生-患者)之间的对话，所以聊天代理可以是可模拟这种人类对白的对话聊天机器人。在一示例中，基于图像的有噪声内容可以包括基于从聊天机器人的对话设置识别的上下文的有噪声多模式对话话语。多模式可以指跨文本和图像两者引入不一致性。
在根据数据访问规则不应该提供敏感信息的通信系统的情况下，所截取/接收的电子消息可以被处理以识别不满足数据访问规则的意图，以便屏蔽或移除。所生成的基于图像的有噪声内容可以包括所接收的电子消息的未屏蔽信息。这可以实现数据的安全通信。
根据一个实施例，该方法进一步包括：确定电子消息的域，确定所确定的域的一个或多个文本消息的集合和一个或多个图像的集合，其中生成基于图像的有噪声内容包括下列任何一个：
从文本消息的集合生成一个或多个有噪声图像，其中基于图像的有噪声内容是有噪声图像，
从图像的集合中提取有噪声文本，其中基于图像的有噪声内容是有噪声文本，以及
从图像的集合和文本消息的集合生成有噪声的多模式内容，其中基于图像的有噪声内容是有噪声的多模式内容。
域可以表示属于世界的一部分的概念或类别，诸如生物学或政治。域通常对术语的特定于域的定义进行建模。例如，域可以指医疗保健、广告、商业、医学、化学、物理、计算机科学、油气或运输。例如，电子消息的域可以使用自然语言处理技术来确定。文本消息的集合和图像的集合例如可以从文本的和图像对话话语的历史中获得。获得与所接收的电子消息相同的域的更多文本和图像可以使得能够更好地理解和处理电子消息的消息意图之间的差异。从文本消息的集合中生成图像可以使用如以下实施例所描述的嵌入空间来执行。
根据一个实施例，基于图像的有噪声内容的生成包括：确定用于表示电子消息和图像的联合嵌入空间，在嵌入空间中表示文本消息和预定义的图像的集合，基于嵌入空间中的图像的集合的表示与文本消息的表示之间的表示的相似性对图像的集合进行排序，以及基于该排序选择图像的集合的子集。图像的子集可以是有噪声图像，因为它们可以具有与文本消息的意图不相似、但是仍然与文本消息的消息意图相关的意图。在嵌入空间中表示的文本消息可以是所接收的电子消息。在另一示例中，文本消息可以是与电子消息相似的消息，例如，文本消息具有等于或小于电子消息的消息意图的多个意图。在另一示例中，文本消息可以是先前实施例的文本消息的集合中的一个。图像的集合例如可以是屏幕截图。屏幕截图例如可以是在软件开发的连续阶段或在监视设备的阶段等取得的用户界面的屏幕截图。
根据一个实施例，图像的子集是第二k个排序的图像，其中k是可配置参数的值。例如，图像的集合是10个图像，并且k＝3，图像的子集可以包括排序第7、第6和第5的图像。
根据一个实施例，该方法进一步包括根据有噪声内容的期望噪声等级来配置参数k的值。噪声例如可以是基于用户的噪声或基于问题的噪声。基于用户的噪声例如可以基于用户的属性(诸如年龄等)来确定。例如，可以提供专家用户的噪声等级高于正常用户的噪声等级，例如，通过增加参数k的值。基于问题的噪声的等级例如可以通过添加更令人困惑的意图或移除更重要的意图而改变。可以控制噪声等级，使得例如所生成的多模式噪声与情况上下文相关。例如，噪声太大的数据可能会令受训者困惑；然而，不相关的噪声可能对训练来说是没有用的。由此，根据该实施例，可以引入噪声，使得多模式对话话语捕获文本内容和图像内容之间的不一致性。根据该实施例，还可以引入噪声，使得多模式对话话语以图像/文本或两者的形式捕获不完整的信息。例如，取决于自动生成的文本话语和/或图像话语，以及受训者如何处理先前的有噪声信息，聊天机器人可以动态地引入多模式噪声。这可以改进用户参与度。
根据一个实施例，根据Siamese神经网络架构使用铰链损失以对准图像和文本来学习联合嵌入。Siamese神经网络可以产生嵌入，使得距离表示所表示的对象的语义相似性。
根据一个实施例，生成基于图像的有噪声内容包括：使用知识图确定消息意图的相关意图，知识图包括表示意图的实体，以及从预定义的图像的集合中提取与相关意图相关联但是不与消息意图相关联的图像的子集，其中，基于图像的有噪声内容是图像的子集。
图像的集合可以由知识图中的节点表示。知识图可以表示一个或多个域本体。例如，知识图可以表示软件和/或硬件漏洞修复的域。在这种情况下，知识图的节点例如可以表示意图、图像和解决方案。意图例如可以表示特定的软件问题，例如，意图可以是指示由于计算机发热和计算病毒的存在分别引起的问题的#发热(#heating)或#病毒(#virus)。解决方案与知识图的意图中定义的问题相关联，例如，与意图#病毒相关联的解决方案可以是#安装_防病毒(#install_antivirus)。图像可表示堆栈轨迹、错误日志、函数调用或命令输出。图中的图像例如可以是描述与一个意图相关的问题的日志的屏幕截图，例如，#fan_noise图像可以与意图#发热相关联。本主题可以是有利的，因为它可以利用知识图用于准确地生成图像。
然而，知识图的域可以足够宽使得其覆盖若干主题。遵循漏洞问题的示例，若干主题可以被覆盖在知识图中，例如，操作系统问题可以覆盖一个主题，显示可以覆盖另一主题等。这可以通过对知识图进行聚类来解决。知识图可以被聚类，从而产生多个聚类。聚类例如可以由知识图的子图来表示，其中聚类的数据表示特定主题。聚类可以包括子聚类，其中子聚类可表示通常出现的意图、通常同时出现的意图、通常建议的解决方案、不推荐的或错误的解决方案等。例如可以确定相关的意图，使得它们属于相同的聚类。
知识图可以是图。图可以指数据值被储存为节点和边上的属性的属性图。属性图可以由图形数据库管理系统或其他数据库系统管理和处理，其他数据库系统提供将属性图转换成例如关系表以供储存并在读取或查询时将关系表转换回属性图的包装层。该图例如可以是有向图。该图可以是节点(也称为顶点)和边的集合。图的边连接图的任何两个节点。边可以由节点的有序对(v1，v2)表示，并且可以从节点v1朝向节点v2遍历边。图的节点可以表示实体。实体可以指问题、解决方案等。实体(和对应的节点)可以具有可以被分配值的一个或多个实体特性或属性。例如，解决方案的实体特性可以包括指示解决方案是通常建议的解决方案还是不推荐的解决方案等的特性。表示节点的特性值是由节点表示的实体的实体特性的值。可以给边分配一个或多个边特性值，该一个或多个边特性值至少表明连接至边的两个节点之间的关系。表示边的特性值是边特性的值。该关系例如可以包括根据特定层级的继承(例如，父和子)关系和/或关联关系。例如，节点v1与v2之间的继承关系可以被称为v1与v2之间的“是-关系”，例如，“v2是v1的父”。节点v1与v2之间的关联关系可以被称为v1与v2之间的“具有-关系”，例如，“v2具有与v1的关系”意味着v1是v2的一部分或是v2的组成或与v2相关联。
根据一个实施例，该方法进一步包括：使用电子消息确定消息传送会话的上下文，消息传送会话的上下文由知识图的至少一个子图定义，使用子图将相关意图确定为属于所确定的上下文且不同于消息意图的意图。名为“相关意图”的意图可以被用于添加歧义或插入令人困惑的信息。换言之，所生成的图像的内容可以提供不完整的信息、模糊或令人困惑的信息。
消息传送会话的上下文可以是消息传送会话的主题。消息传送会话的主题可以通过分析电子消息的内容来确定。该分析例如可以使用数据挖掘技术来执行。知识图的子图可以包括可以被认为共享电子消息的主题的意图。子图的意图可以包括所截取的电子消息的消息意图。子图可以有利地被使用，因为其可以实现基于子图的意图的重要性(例如，使用中心性)对子图的意图进行排序。
根据一个实施例，从电子通信系统的聊天应用截取电子消息。聊天应用被配置用于在消息传送会话期间模拟与用户的对话。该方法包括：在消息传送会话的特定时间点截取聊天应用的电子消息。
聊天应用(例如，聊天机器人)可以用于经由文本或文本到语音进行在线聊天对话。例如，聊天应用可以用于通过向用户提问题来测试或训练用户。用户可以提供对问题的回答。电子消息例如可以包括问题的文本。该实施例可以是有利的，因为它可以控制需要根据本主题来修改或适配的电子消息(例如，问题)的时间。
生成新的/经修改的问题的时间点例如可以被预定义或动态地确定。例如，可以基于用户输入动态地定义时间点。这例如可以使得能够使用与用户进行的对话/训练的操作的不同模式。例如，可以使用简化的或困难的训练模式。简化的训练模式可仅考虑修改问题的一小部分(例如，在对话的开始时)，而困难的操作模式可改变更多数量的问题(例如，在对话的不同阶段)。
可以通过改变所截取的电子消息的意图来确定或生成图像。可以通过移除所截取的电子消息的意图以便提供不完整的信息、通过添加令人困惑的意图以添加歧义、和/或通过向所截取的电子消息添加误导意图来执行改变。
根据一个实施例，电子通信系统是被配置用于在聊天客户端之间分发消息的聊天服务器。例如，在分发电子消息之前，根据本主题对其进行截取和处理。
根据一个实施例，从目的地为第二聊天客户端的第一聊天客户端接收电子消息，该方法进一步包括：检测所接收的电子消息中的敏感信息，其中，所确定的图像的有噪声内容包括非敏感信息，其中，提供所确定的图像而不是所接收的电子消息。敏感信息例如可以包括诸如全名等的私人信息。
根据一个实施例，该方法进一步包括：提供表示计算机相关的漏洞修复的域的知识图，该知识图包括表示问题和解决方案的实体，其中，消息意图表示计算机相关的技术问题，并且与知识图中的一组解决方案相关联，图像的确定包括使用知识图确定消息意图的相关意图，相关意图与不同于该一组解决方案的解决方案相关联，以及从预定义的图像的集合中提取与相关意图相关联并且不与消息意图相关联的图像的子集。
根据一个实施例，该方法进一步包括使用先前数据通信的通信副本和/或日志来创建知识图，根据知识图的一个或多个图属性对知识图的意图进行聚类。图属性包括以下任何一种：图的每个节点的中心性指数和每个节点到图的其他节点的距离。
图1A是根据本主题的示例的计算机系统100的图。计算机系统100包括代理计算机105。代理计算机105可以是电子通信系统。计算机系统100包括电子通信控制器101。电子通信控制器101连接到聊天链接103，以在对话或聊天会话期间接收在用户102和代理计算机105之间发送的每个连续的消息。链接103可以将代理计算机105连接到用户102的远程用户计算机或者可以是到代理计算机105的显示设备的链接。链接103可以通过互联网或其他数据信道建立。链接103可以使得对话或聊天能够包括在用户102和代理计算机105之间交换的文本消息流。
用户102的连续消息在代理计算机105的分析单元106处被接收。分析单元106执行分析消息的功能，以便确定作为聊天对象的用户102与代理计算机105的问题或询问。如果消息为文本形式，则分析单元106具有文本分析能力，以便实施该功能。分析单元106的功能可以是用于识别用户102响应于代理计算机105的问题而提供的特定响应的过程的一部分。
代理计算机105包括从分析单元106接收输入的问题构建器116。问题构建器116使用这些输入(例如，以及聊天机器人)来构建或构造请求或问题，其中请求是与问题相关联的目标的陈述，并且用户102需要提供对问题的解决方案。问题构建器116还可以在不从分析单元接收任何输入的情况下生成请求，例如以便发起与用户102的对话。由问题构建器116生成的消息和/或从用户102接收的消息可以被截取或者作为输入经由链接103提供给电子通信控制器101。根据本主题，电子通信控制器101可以使用知识图118和/或图像的集合120作为用于修改所截取的消息的信息源。
用户102和代理计算机105之间交换的消息可以显示在窗口130上，如图1B所示。如果用户102与代理计算机105有直接接触，则窗口130可以被显示在代理计算机105的用户界面上，或者可以被显示在用户102的远程用户计算机上。
图1B示出了用户102和代理计算机105之间的聊天消息的时间线视图的示例。示出聊天会话的副本的窗口130包括用于显示消息的第一显示区域131和用于显示聊天消息的时间戳的第二显示区域133。这些消息与它们各自的时间戳对准。在图1B所示的示例中，代理计算机105可以提供消息135.1至135.n给用户102，其中每个消息可以是问题。在一个示例中，问题可以由与问题的项目相关的图像补充。在另一示例中，问题可以被提供为图像。用户102可以提供对应的响应消息136.1至136.n。
尽管作为单独的组件被示出，但是在另一示例中，电子通信控制器101可以是代理计算机105的一部分。
图2是根据本主题的示例的方法的流程图。出于解释的目的，图2中描述的方法可以在图1A中说明的系统中被实现，但不限于此实施方式。图2的方法例如可以由电子通信控制器101执行。
电子消息可以在步骤201中被接收或识别，电子消息由电子通信系统105提供给例如用户或接收者。可以从对话的日志文件中读取电子消息或者可以由电子通信控制器101截取电子消息。电子消息例如可以是从发送计算机发送到为电子通信系统105的接收计算机的消息。电子消息可以例如是来自电子通信系统105的传出消息。在这种情况下，电子通信控制器101可以被配置用于在从电子通信系统105发送电子消息之前截取电子消息。如果电子消息是到电子通信系统105的传入消息，则电子通信控制器101可以被配置用于在向电子通信系统101的接收应用提供所接收的电子消息之前截取所接收的电子消息。在另一示例中，电子消息可以是由电子通信系统105的应用产生并在电子通信系统105的界面上显示的消息。在这种情况下，电子通信控制器101可以被配置用于在显示电子消息之前截取电子消息。电子通信控制器101可以是电子通信系统105的一部分或者可以不是电子通信系统105的一部分。
电子消息可以是任何类型的电子通信数据结构。电子消息例如可以是电子邮件、即时消息、音频消息或文本消息。电子消息可以是对话的消息。电子消息可以是对话的聊天消息之一。对话可以是在聊天代理与一个或多个用户之间发送的一系列消息。电子消息可以例如是对话的第一聊天消息或者对话的随机选择的电子消息。在另一示例中，电子消息可以是对话的所选择的聊天消息。该选择可以基于选择标准来执行。选择标准例如可以要求在用户正确回答之后接收要修改的消息。
可以在步骤203中确定所接收或截取的电子消息的意图。所确定的意图可以被命名为消息意图。消息意图可以例如指聊天机器人代理在提供问题或评论时想到的目标。意图分类可以是文本与特定的目的或目标的自动关联。消息意图可以例如由分类器确定。分类器可以分析文本片段并将它们分类成诸如计算病毒、发热等意图。意图分类器例如可以使用机器学习算法，机器学习算法可以将单词或表达与特定的意图相关联。
在步骤205中，可以生成基于图像的有噪声内容。基于图像的有噪声内容包括不同于所接收的电子消息的内容的有噪声内容。尽管与所接收的电子消息的内容不同，但是基于图像的有噪声内容与消息意图相关。基于图像的有噪声内容例如可以是一个或多个图像。在另一示例中，基于图像的有噪声内容可以包括从一个或多个图像获得的文本。
例如，可以使用变分自动编码器(VAE)来生成基于图像的有噪声内容。为此，先前使用的文本消息的数据库可以被用于识别具有与所接收的电子消息相同的域、但是具有不同于所接收的电子消息的消息意图的意图的文本消息。那些所识别的文本消息可以被用于向VAE提供输入，以便生成一个或多个图像。
可以在步骤207中提供所生成的基于图像的有噪声内容。在一个示例中，可以提供所生成的基于图像的有噪声内容而不是所截取的电子消息。例如如果所截取的电子消息将被显示在计算机的界面上，则可以显示所生成的基于图像的有噪声内容来代替它。在另一示例中，除了所截取的电子消息之外，也可以提供所生成的基于图像的有噪声内容。例如如果所截取的电子消息将被显示在计算机的界面上，则可以在显示所截取的电子消息之前或之后(在聊天流程中)显示所生成的基于图像的有噪声内容。这可以使得能够在下一话语中呈现电子消息的文本以及任何所生成的模糊图像。
在提供所生成的基于图像的有噪声内容之后，可以确定用户是否已经将所生成的内容识别为噪声。如果用户没有将其识别为噪声，则电子通信控制器101可以根据容易的操作模式停止提供进一步的有噪声内容。在另一示例中，电子通信控制器可以短暂地停留以查看用户是否可以根据困难的操作模式最终识别对话中的噪声。
图3为根据本主题示例的用于生成图像的方法的流程图。为了说明的目的，在图3A中描述的方法可以在图1A中示出的系统中被实现，但不限于该实施方式。图3的方法例如可以由电子通信控制器101执行。
可以在步骤301中确定消息意图的相关意图。例如，知识图可以用于发现与消息意图相关的一组意图。
在步骤303中，可以从知识库中提取与相关意图相关联但是不与消息意图相关联的图像。所提取的图像例如可以是步骤205中所确定的基于图像的有噪声内容。例如，可以提取用存在于相关集合Y中、但不存在于图像集合X中的意图标记的图像。这些图像对应于不存在于所截取的电子消息中但是与它们相关的意图。这些图像可引入模糊性。
图4是根据本主题的示例的方法的流程图。为了解释的目的，在图4中描述的方法可以在图1A中示出的系统中实现，但不限于该实现。图4的方法例如可以由电子通信控制器101执行。图4的方法提供步骤205的进一步细节。即，图4的方法可以在步骤205中被用于确定基于图像的有噪声内容。
在步骤401中，可以确定联合嵌入空间。联合嵌入空间可以表示电子消息和图像。
在步骤403中，可以在嵌入空间中表示(在步骤201中所接收的)电子消息和预定义的图像的集合。
在步骤405中，可以基于嵌入空间中图像的集合的表示与电子消息的表示之间的相似性来对图像的集合进行排序。
在步骤407中，可以基于排序来选择图像的集合的子集。图4的方法例如可以使得能够使用联合嵌入来通过与文本的相似性对所有图像进行排序。在该排序中的前k个图像与文本直接相关。为了引入歧义，我们挑选接下来的k个图像——这些在某种程度上是相关的，但是在文本t的上下文中不是完全有用的，并且将导致歧义。k的值可以被微调。
图5是示出根据本主题的用于链接文本和图像嵌入空间的方法的图。Siamese网络500可以被训练用于识别图像和文本关系。图像使用基于CNN的编码器来分析，而文本描述使用基于BERT的变换器来分析。根据Siamese神经网络架构，使用铰链损失以对准图像和文本来学习联合嵌入。根据标记数据的集合训练Siamese网络500。标记数据的集合包括条目。每个条目包括由图像(例如，屏幕截图)、相关问题文本或随机问题文本和标签组成的三元组。如果问题文本不是随机1，则标记可以被设置为1，否则标记可以是0。
图6是示出了根据本主题的用于测试倾斜嵌入空间的方法的图。可以在嵌入空间中表示(606)对话的一个或多个先前的消息601。另外，可以在联合嵌入空间中表示(607)一个当前消息604和相关联的所生成的图像605。可以确定两个表示之间的相似性608，并且可以相应地评估损失函数(609)。基于所确定的损失，可以确定所生成的图像是否改进了训练(610)。
图7是示出根据本发明主题的用于生成基于图像的有噪声内容的方法的图。图7的方法提供了用于生成基于图像的有噪声内容的替代方法。
可以提供输入700。输入700最初旨在被提供给用户，使得用户可以回答或提供对输入的反馈。输入700例如可以指示SME创建的虚拟客户抱怨。该输入例如可以包括与抱怨相关的电子消息T0和图像I0。例如，图像I0可以是终端日志的屏幕截图，并且电子消息T0可以是关于日志中列出的问题的问题。本方法可以使得能够改变输入(例如，使问题/抱怨更加困难)，以使得更好地测试用户。
可以在步骤701中执行对电子消息T0的文本分析。可以执行文本分析以便确定电子消息T0的意图和关系。文本分析例如可以使用文本对话话语的历史720来执行。可以在步骤702中执行图像I0的图像分析。可以执行图像分析以便确定图像I0的意图和关系。图像分析例如可以使用图像对话话语的历史720来执行。步骤701和702可以提供输入的输入意图，并且可以例如基于输入意图的重要性进一步提供输入意图的排序。在步骤704，可以使用所确定的意图和知识图来识别抱怨的可能的解决方案。
步骤705至706提供了基于步骤701至704的结果来生成基于图像的有噪声内容的第一方法。步骤705至709提供了基于步骤701至704的结果来生成基于图像的有噪声内容的第二方法。步骤711提供了基于步骤701至704的结果来生成基于图像的有噪声内容的第三方法。步骤712提供了基于步骤701至704的结果来生成基于图像的有噪声内容的第四方法。步骤713提供了基于步骤701至704的结果来生成基于图像的有噪声内容的第五方法。
第一方法可以使得能够改变输入以便在输入中引入不完整性。为此，可以在步骤705中识别可以从输入中丢弃的输入意图的意图。为此，可以基于输入的域和上下文并且还基于图像元数据在步骤706中执行对图像对话话语的图像分析。例如，可以使用知识图以发现将要从输入中丢弃的那些意图，例如，使用图像对话话语，可以确定输入的哪些意图比输入的其他意图更重要。那些重要的意图可以是将要丢弃的意图，例如，如果输入具有10个意图，那么可以从输入中丢弃表示10个意图中的一个或两个意图的内容，使得结果/剩余的输入可以作为不完整的输入被提供给用户。存在不同的场景来利用那些被识别为将要丢弃的意图。在第一场景中，可以使用图像I0的内容来生成新的文本消息，并且图像分析的结果(例如，新的文本消息)可以包括图像I0的内容，但排除表示将要丢弃意图的内容。在第二场景中，可以使用输入文本T0的内容和对文本的对话话语执行的文本分析的结果(步骤708)生成新的图像。文本分析(708)可以使得能够使用知识图识别输入文本T0的作为有噪声意图(例如，不重要意图)的意图。新的图像可包含表示那些有噪声意图的输入文本T0的内容。在第三场景中，可以使用图像I0和文本T0的内容来生成新的文本消息和新的图像。新的文本和/或新的图像可以只包括表示不重要意图的内容。该新的图像和/或新的文本消息可以代替输入而作为不完整的输入提供给用户。
第二方法可以使得能够使用VAE生成有噪声图像。为此，输入图像I0以及所识别的将要丢弃的意图可以作为输入提供给VAE，以便在步骤707中生成有噪声图像。例如，VAE将取得图像I0以及通过从图像I0中识别需要被丢弃的意图而提取的上下文信息。该有噪声图像可以与输入一起提供，或者可以代替输入被提供给用户。
第三方法可以使得能够向用户提供误导信息。为此，可以在步骤711中使用VAE以基于与文本的对话话语相关联的文本元数据在输入的图像中插入噪声。VAE将取得图像I0以及通过从文本消息T0中识别需要作为噪声被添加的意图而提取的上下文信息。
第四方法可以使得能够向用户提供误导信息。为此，在步骤712中，可以基于与图像对话话语相关联的图像元数据将误导片段插入到输入的文本消息T0中。
第五方法可以使得能够在步骤713中通过使用文本和图像对话话语的文本和图像元数据在输入中引入不一致性。例如，新的图像和新的文本消息可以从输入图像I0和文本消息T0中生成。
所以，第一、第二、第三、第四和第五方法中的任何一个都使得能够在步骤714向用户提供有噪声对话话语715。
图8表示适合于实现本公开中所涉及的方法步骤的至少一部分的通用计算机化系统900。
应当理解，本文描述的方法至少部分是非交互的，并且通过诸如服务器或嵌入式系统的计算机化系统的方式自动化。然而，在示例性实施例中，本文描述的方法可以在(部分)交互系统中实现。这些方法可以进一步在软件912、922(包括固件922)、硬件(处理器)905或其组合中实现。在示例性实施例中，本文描述的方法在软件中实现为可执行程序，并且由专用或通用数字计算机(诸如个人计算机、工作站、小型计算机或大型计算机)执行。最通用的系统900因而包括通用计算机901。
在示例性实施例中，就硬件架构而言，如图8所示，计算机901包括处理器905、耦合至存储器控制器915的存储器(主存储器)910、以及经由本地输入/输出控制器935通信地耦合的一个或多个输入和/或输出(I/O)设备(或外围设备)10、945。输入/输出控制器935可以是(但不限于)一个或多个总线或其他有线或无线连接，如在本领域中已知的。输入/输出控制器935可具有附加的元件(为简单起见被省略)，诸如控制器、缓冲器(高速缓冲存储器)、驱动器、中继器和接收器，以实现通信。进一步，本地接口可以包括地址、控制和/或数据连接，以实现上面提及的组件中的适当通信。如本文所描述的，I/O设备10、945一般可以包括本领域已知的任何通用密码卡或智能卡。
处理器905是用于执行软件(具体地，储存在存储器910中的软件)的硬件设备。处理器905可以是任何定制或商业可获得的处理器、中央处理单元(CPU)、与计算机901相关联的若干处理器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片组的形式)、或一般用于执行软件指令的任何设备。
存储器910可以包括易失性存储器元件(例如，随机存取存储器(RAM，诸如DRAM、SRAM、SDRAM等))和非易失性存储器元件(例如，ROM、可擦可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、可编程只读存储器(PROM))中的任何一个或其组合。注意，存储器910可具有分布式架构，其中各种组件彼此远离定位，但可由处理器905存取。
存储器910中的软件可以包括一个或多个单独的程序，每个程序包括用于实现逻辑功能(尤其是在本发明的实施例中涉及的功能)的可执行指令的有序列表。在图8的示例中，存储器910中的软件包括指令912，例如管理诸如数据库管理系统的数据库的指令。
存储器910中的软件通常还应包括适合的操作系统(OS)911。OS 911实质上控制其他计算机程序(诸如，用于实现本文所描述的方法的可能的软件912)的执行。
本文描述的方法可以是源程序912、可执行程序912(目标代码)、脚本或包括要执行的指令集912的任何其他实体的形式。当是源程序时，则程序需要经由编译器、汇编器、解释器等进行翻译，该编译器、汇编器、解释器等可以被包括在或者可以不被包括在存储器910内，以便结合OS 911恰当地操作。此外，该方法可以被写为具有数据和方法类的面向对象的编程语言，或者具有例程、子例程和/或函数的过程编程语言。
在示例性实施例中，常规键盘950和鼠标955可以耦合到输入/输出控制器935。其他输出装置(诸如I/O设备945)可以包括输入设备，例如但不限于打印机、扫描仪、麦克风等。最后，I/O设备10、945可以进一步包括传送输入和输出两者的设备，例如但不限于，网络接口卡(NIC)或调制器/解调器(用于访问其他文件、设备、系统、或网络)、射频(RF)或其他收发器、电话接口、网桥、路由器等。I/O设备10、945可以是本领域中已知的任何通用密码卡或智能卡。系统900可以进一步包含耦合到显示器930的显示器控制器925。在示例性实施例中，系统900可以进一步包括用于耦合到网络965的网络接口。网络965可以是用于经由宽带连接在计算机901与任何外部服务器、客户端等之间通信的基于IP的网络。网络965在计算机901与外部系统30之间发送和接收数据，该数据可以被涉及来执行本文所讨论的方法的部分或全部步骤。在示例性实施例中，网络965可以是由服务提供商管理的受管理IP网络。网络965可以以无线方式实现，例如使用无线协议和技术(诸如WiFi、WiMax等)。网络965还可以是分组交换网络，诸如局域网、广域网、城域网、互联网网络或其他相似类型的网络环境。网络965可以是固定无线网络、无线局域网W(LAN)、无线广域网(WWAN)、个人区域网(PAN)、虚拟专用网(VPN)、内联网或其他适合的网络系统，并且包括用于接收和发送信号的装备。
如果计算机901是PC、工作站、智能设备等，则存储器910中的软件可以进一步包括基本输入输出系统(BIOS)922。BIOS是在启动时初始化和测试硬件、启动OS 911和支持硬件设备中的数据传输的基本软件例程的集合。BIOS存储在ROM中，使得当计算机901被激活时可以执行BIOS。
当计算机901运行时，处理器905被配置用于执行储存在存储器910内的软件912，将数据传送至存储器910和从存储器910传送数据，并且一般依据软件控制计算机901的操作。本文所描述的方法和OS 911全部或部分地(但通常为后者)由处理器905读取，可能在处理器905内缓冲，并且然后被执行。
当在本文描述的系统和方法在软件912中被实现时，如图8所示，该方法可以被储存在任何计算机可读介质(诸如器存储920)上，用于由任何计算机相关系统或方法使用或结合任何计算机相关系统或方法使用。储存器920可以包括磁盘储存器，诸如HD储存器。
本主题可以包括以下条款。
条款1.一种用于电子消息传送的计算机实现的方法：
接收电子通信系统的电子消息，消息是针对接收者确定的；
确定所接收的电子消息的消息意图；
生成基于图像的有噪声内容，基于图像的有噪声内容不同于所接收的电子消息的内容，并且与消息意图相关；
控制电子通信系统以向接收者提供基于图像的有噪声内容而不是所接收的电子消息，或者除了基于图像的有噪声内容之外还向接收者提供所接收的电子消息。
条款2.根据条款1的方法，进一步包括：确定电子消息的域；确定所确定的域的一个或多个文本消息的集合和一个或多个图像的集合；其中生成基于图像的有噪声内容包括以下任何一个：
从文本消息的集合生成一个或多个有噪声图像，其中基于图像的有噪声内容是有噪声图像，
从图像的集合中提取有噪声文本，其中基于图像的有噪声内容是有噪声文本，以及
从图像的集合和文本消息的集合生成有噪声的多模式内容，其中基于图像的有噪声内容是有噪声的多模式内容。
条款3.根据条款2的方法，其中，确定图像的集合和文本消息的集合，使得它们的意图与消息意图的一部分相关。
条款4.根据前述条款1至3中任一项的方法，其中，生成基于图像的有噪声内容包括：
确定用于表示电子消息和图像的联合嵌入空间；
在嵌入空间中表示文本消息和预定义的图像的集合，文本消息是电子消息或具有作为消息意图的至少一部分的意图的另一消息；
基于嵌入空间中图像的集合的表示与文本消息的表示之间的相似性对图像的集合进行排序；
基于排序选择图像的集合中的一个或多个有噪声图像的子集，其中基于图像的有噪声内容包括有噪声图像。
条款5.根据条款4的方法，其中，有噪声图像的子集是第二k个排序的图像，其中，k是可配置参数的值。
条款6.根据条款5的方法，进一步包括根据有噪声内容的期望噪声等级配置参数k的值。
条款7.根据前述条款4至6中任一项的方法，其中，根据Siamese神经网络架构使用铰链损失以对准图像和文本来学习联合嵌入。
条款8.根据前述条款1至3中任一项的方法，其中，生成基于图像的有噪声内容包括：
使用知识图确定消息意图的相关意图，知识图包括表示意图的实体；
从预定义的图像的集合中提取与相关意图相关联但是不与消息意图相关联的图像的子集，其中，基于图像的有噪声内容包括图像的子集。
条款9.根据条款8的方法，方法进一步包括：使用电子消息确定消息传送会话的上下文，消息传送会话的上下文由知识图的至少的一个子图定义；使用子图将相关意图确定为属于所确定的上下文并且与消息意图相关联的意图。
条款10.根据前述条款1至3中任一项的方法，其中，生成基于图像的有噪声内容包括：使用知识图确定消息意图的相关意图，知识图包括表示意图的实体；使用相关实体上的变分自动编码器生成图像，其中，基于图像的有噪声内容包括所生成的图像。
条款11.根据前述条款1至10中任一项的方法，其中，从电子通信系统的聊天应用截取电子消息。聊天应用被配置用于在消息传送会话期间模拟与用户的对话，接收包括：在消息传送会话的预定义时间点截取聊天应用的消息。
条款12.根据前述条款1至11中任一项的方法，其中，电子通信系统是被配置用于在聊天客户端之间分发消息的聊天服务器。
条款13.根据条款12的方法，其中，从目的地为第二聊天客户端的第一聊天客户端接收电子消息，该方法进一步包括：检测所接收的电子消息中的敏感信息，其中，所确定的图像的有噪声内容包括非敏感信息，其中，提供所确定的图像，而不是所接收的电子消息。
条款14.根据前述条款1至13中任一项的方法，进一步包括：提供表示计算机相关的漏洞修复的域的知识图，该知识图包括表示问题和解决方案的实体；其中，消息意图表示计算机相关的技术问题，并且与知识图中的一组解决方案相关联；图像的确定包括使用知识图确定消息意图的相关意图，相关意图与不同于该一组解决方案的解决方案相关联；从预定义的图像的集合中提取与相关意图相关联并且不与消息意图相关联的图像的子集。
条款15.根据条款14的方法，进一步包括：使用先前数据通信的通信副本和/或日志来创建知识图；根据知识图的一个或多个图属性对知识图的意图进行聚类，图属性包括以下任何一种：图的每个节点的中心性指数和每个节点到图的其他节点的距离。
本发明可以是在任何可能的技术细节集成等级上的系统、方法和/或计算机程序产品。计算机程序产品可以包括在其上具有用于使处理器实施本发明的各方面的计算机可读程序指令的计算机可读储存介质(或多个介质)。
计算机可读储存介质可以是可以保留和储存供指令执行设备使用的指令的有形设备。计算机可读储存介质可以是，例如但不限于，电子储存设备、磁储存设备、光储存设备、电磁储存设备、半导体储存设备、或者上述的任意适合的组合。计算机可读储存介质的更具体示例的非穷尽列表包括以下：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)、记忆棒、软盘、诸如穿孔卡之类的机械编码设备或具有记录在其上的指令的槽中的凸出结构、以及上述的任何适合的组合。如本文所使用的计算机可读储存介质不应被解释为暂时性信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤电缆的光脉冲)或通过导线传输的电信号。
本文所描述的计算机可读程序指令可以经由网络(例如，互联网、局域网、广域网和/或无线网络)从计算机可读储存介质下载到相应的计算/处理设备，或者下载到外部计算机或外部储存设备。网络可以包括铜传输电缆、光传输纤维、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口接收来自网络的计算机可读程序指令，并且转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读储存介质中。
用于实施本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据、或以一种或多种程序设计语言的任何组合编写的源代码或目标代码中任意一个，这些程序设计语言包括面向对象的程序设计语言(诸如Smalltalk、C++等)和过程式程序设计语言(诸如“C”程序设计语言或相似的程序设计语言)。计算机可读程序指令可以完全地在用户计算机上被执行、部分在用户计算机上被执行、作为独立的软件包被执行、部分地在用户计算机上并且部分的在远程计算机上被执行或者完全地在远程计算机或服务器上被执行。在后一种场景中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接至用户计算机，或者可以(例如，使用互联网服务提供商通过互联网)连接至外部计算机。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来使电子电路个性化来执行计算机可读程序指令，以便执行本发明的各方面。
下面将参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个框以及流程图和/或框图中各框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以被提供给计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图中的一个或多个框中指定的功能/动作的手段。这些计算机可读程序指令也可以被储存在计算机可读储存介质中，这些指令可以指导计算机、可编程数据处理装置、和/或其他设备以特定的方式工作，使得具有指令储存在其中的计算机可读储存介质包括制造品，该制造品包括实现流程图和/或框图中的一个或多个框中指定的功能/动作的方面的指令。
计算机可读程序指令也可以被加载到计算机、其他可编程数据处理装置、或其他设备上，以使一系列操作步骤在计算机、其他可编程装置或其他设备上被执行，以产生计算机实现的处理，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图中的一个或多个框中规定的功能/动作。
附图中的流程图和框图示出了根据本发明的不同实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。对此，流程图或框图中的每个框可以表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方式中，框中标注的功能可以不按图中标注的顺序发生。例如，连续示出的两个框实际上可以作为一个步骤完成，同时、基本上同时、以部分或完全时间上重叠的方式执行，或者框有时可以以相反的顺序执行，取决于所涉及的功能。也要注意的是，框图和/或流程图中的每个框、以及框图和/或流程图中的框的组合，可以用执行指定的功能或动作或实施专用硬件与计算机指令的组合的基于硬件的专用系统来实现。

Claims (20)

1.一种用于电子消息传送的计算机实现方法，包括：
接收电子通信系统的电子消息，所述消息是针对接收者确定的；
确定所接收的电子消息的消息意图；
生成基于图像的有噪声内容，所述基于图像的有噪声内容不同于所述所接收的电子消息的内容，并且与所述消息意图相关；以及
控制所述电子通信系统向所述接收者提供所述基于图像的有噪声内容而不是所述所接收的电子消息，或者除了所述基于图像的有噪声内容之外还向所述接收者提供所述所接收的电子消息。
2.根据权利要求1所述的方法，进一步包括：
确定所述电子消息的域；以及
确定所确定的域的一个或多个文本消息的集合和一个或多个图像的集合；
其中生成所述基于图像的有噪声内容包括以下任何一个：
从所述文本消息的集合生成一个或多个有噪声图像，其中所述基于图像的有噪声内容是所述有噪声图像；
从所述图像的集合中提取有噪声文本，其中所述基于图像的有噪声内容是所述有噪声文本；以及
从所述图像的集合和所述文本消息的集合生成有噪声的多模式内容，其中所述基于图像的有噪声内容是所述有噪声的多模式内容。
3.根据权利要求2所述的方法，其中，确定所述图像的集合和文本消息的集合，使得它们的意图与所述消息意图的一部分相关。
4.根据权利要求1所述的方法，其中，生成所述基于图像的有噪声内容包括：
确定用于表示电子消息和图像的联合嵌入空间；
在所述嵌入空间中表示文本消息和预定义的图像的集合，所述文本消息是所述电子消息或具有作为所述消息意图的至少一部分的意图的另一消息；
基于所述嵌入空间中所述图像的集合的表示与所述文本消息的表示之间的相似性对所述图像的集合进行排序；以及
基于所述排序选择所述图像的集合中的一个或多个有噪声图像的子集，其中所述基于图像的有噪声内容包括所述有噪声图像。
5.根据权利要求4所述的方法，其中，所述有噪声图像的子集是第二k个排序的图像，其中，k是可配置参数的值。
6.根据权利要求5所述的方法，进一步包括根据所述有噪声内容的期望噪声等级来配置所述参数k的所述值。
7.根据权利要求4所述的方法，其中，根据Siamese神经网络架构使用铰链损失以对准图像和文本来学习所述联合嵌入。
8.根据权利要求1所述的方法，其中，生成所述基于图像的有噪声内容包括：
使用知识图确定所述消息意图的相关意图，所述知识图包括表示意图的实体；以及
从预定义的图像的集合中提取与所述相关意图相关联但是不与所述消息意图相关联的图像的子集，其中，所述基于图像的有噪声内容包括所述图像的子集。
9.根据权利要求8所述的方法，所述方法进一步包括：
使用所述电子消息确定消息传送会话的上下文，所述消息传送会话的所述上下文由所述知识图的至少一个子图定义；以及
使用所述子图将所述相关意图确定为属于所确定的上下文并且与所述消息意图相关联的意图。
10.根据权利要求1所述的方法，其中生成所述基于图像的有噪声内容包括：
使用知识图确定所述消息意图的相关意图，所述知识图包括表示意图的实体；以及
使用所述相关实体上的变分自动编码器生成所述图像，其中，所述基于图像的有噪声内容包括所述所生成的图像。
11.根据权利要求1所述的方法，其中，从所述电子通信系统的聊天应用截取所述电子消息，所述聊天应用被配置用于在消息传送会话期间模拟与用户的对话，所述接收包括：在所述消息传送会话的预定义时间点截取所述聊天应用的消息。
12.根据权利要求1所述的方法，其中，所述电子通信系统是被配置用于在聊天客户端之间分发消息的聊天服务器。
13.根据权利要求12所述的方法，其中，从目的地为第二聊天客户端的第一聊天客户端接收所述电子消息，所述方法进一步包括：检测所接收的电子消息中的敏感信息，其中，所述所确定的图像的所述有噪声内容包括非敏感信息，其中，提供所述所确定的图像，而不是所述所接收的电子消息。
14.根据权利要求1所述的方法，进一步包括：
提供表示计算机相关的漏洞修复的域的知识图，所述知识图包括表示问题和解决方案的实体；其中，所述消息意图表示与计算机相关的技术问题，并且与所述知识图中的一组解决方案相关联；
所述图像的所述确定包括：
使用所述知识图确定所述消息意图的相关意图，所述相关意图与不同于所述一组解决方案的解决方案相关联；以及
从预定义的图像的集合中提取与所述相关意图相关联但是不与所述消息意图相关联的图像的子集。
15.根据权利要求14所述的方法，进一步包括：
使用先前数据通信的通信副本和/或日志来创建所述知识图；以及
根据所述知识图的一个或多个图属性对所述知识图的意图进行聚类，所述图属性包括以下任何一种：所述图的每个节点的中心性指数和每个节点到所述图的其他节点的距离。
16.一种计算机程序产品，包括一个或多个计算机可读储存介质，所述一个或多个计算机可读储存介质具有包含在其上的计算机可读程序指令，所述计算机可读程序指令用于由一个或多个计算机的一个或多个处理器执行，所述计算机可读程序指令包括用于以下操作的指令：
由所述一个或多个处理器接收电子通信系统的电子消息，所述消息是针对接收者确定的；
由所述一个或多个处理器确定所接收的电子消息的消息意图；
由所述一个或多个处理器生成基于图像的有噪声内容，所述基于图像的有噪声内容不同于所述所接收的电子消息的内容，并且与所述消息意图相关；以及
由所述一个或多个处理器控制所述电子通信系统向所述接收者提供所述基于图像的有噪声内容而不是所述所接收的电子消息，或者除了所述基于图像的有噪声内容之外还向所述接收者提供所述所接收的电子消息。
17.根据权利要求16所述的计算机程序产品，所述程序指令进一步包括用于以下操作的指令：
由所述一个或多个处理器确定所述电子消息的域；
由所述一个或多个处理器确定所确定的域的一个或多个文本消息的集合和一个或多个图像的集合；以及
其中生成所述基于图像的有噪声内容包括以下任何一种：
从所述文本消息的集合生成一个或多个有噪声图像，其中所述基于图像的有噪声内容是所述有噪声图像；
从所述图像的集合中提取有噪声文本，其中所述基于图像的有噪声内容是所述有噪声文本；以及
从所述图像的集合和所述文本消息的集合生成有噪声的多模式内容，其中所述基于图像的有噪声内容是所述有噪声的多模式内容。
18.根据权利要求17所述的计算机程序产品，其中，确定所述图像的集合和文本消息的集合，使得它们的意图与所述消息意图的一部分相关。
19.一种计算机系统，包括一个或多个处理器和储存由所述一个或多个处理器执行的程序指令的一个或多个有形储存介质，所述程序指令包括用于以下操作的指令：
接收电子消息；
确定所接收的电子消息的消息意图；
生成基于图像的有噪声内容，所述基于图像的有噪声内容不同于所述所接收的电子消息的内容，并且与所述消息意图相关；以及
控制所述电子通信系统提供所述基于图像的有噪声内容而不是所述所接收的电子消息，或者除了所述基于图像的有噪声内容之外还提供所生成的电子消息。
20.根据权利要求19所述的计算机系统，所述程序指令进一步包括用于以下操作的指令：
由所述一个或多个处理器确定所述电子消息的域；以及
由所述一个或多个处理器确定所确定的域的一个或多个文本消息的集合和一个或多个图像的集合；
其中生成所述基于图像的有噪声内容包括以下任何一种：
从所述文本消息的集合生成一个或多个有噪声图像，其中所述基于图像的有噪声内容是所述有噪声图像；
从所述图像的集合中提取有噪声文本，其中所述基于图像的有噪声内容是所述有噪声文本；以及
从所述图像的集合和所述文本消息的集合生成有噪声的多模式内容，其中所述基于图像的有噪声内容是所述有噪声的多模式内容。
CN202280025991.1A 2021-03-30 2022-03-08 使用基于图像的有噪声内容的电子消息传送方法 Pending CN117121441A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/301,244 US11533279B2 (en) 2021-03-30 2021-03-30 Method for electronic messaging using image based noisy content
US17/301,244 2021-03-30
PCT/CN2022/079742 WO2022206307A1 (en) 2021-03-30 2022-03-08 Method for electronic messaging using image based noisy content

Publications (1)

Publication Number Publication Date
CN117121441A true CN117121441A (zh) 2023-11-24

Family

ID=83449251

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280025991.1A Pending CN117121441A (zh) 2021-03-30 2022-03-08 使用基于图像的有噪声内容的电子消息传送方法

Country Status (5)

Country Link
US (1) US11533279B2 (zh)
JP (1) JP2024514471A (zh)
CN (1) CN117121441A (zh)
DE (1) DE112022001088T5 (zh)
WO (1) WO2022206307A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11683283B2 (en) 2021-03-30 2023-06-20 International Business Machines Corporation Method for electronic messaging

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004049306A1 (en) 2002-11-22 2004-06-10 Roy Rosser Autonomous response engine
US8630961B2 (en) 2009-01-08 2014-01-14 Mycybertwin Group Pty Ltd Chatbots
US8818926B2 (en) 2009-09-29 2014-08-26 Richard Scot Wallace Method for personalizing chat bots
US20110125734A1 (en) 2009-11-23 2011-05-26 International Business Machines Corporation Questions and answers generation
US10026400B2 (en) 2013-06-27 2018-07-17 Google Llc Generating dialog recommendations for chat information systems based on user interaction and environmental data
US9674125B2 (en) * 2013-12-13 2017-06-06 Google Technology Holdings LLC Method and system for achieving communications in a manner accounting for one or more user preferences or contexts
EP3195307B1 (en) 2014-09-14 2020-01-29 Google LLC Platform for creating customizable dialog system engines
US10482184B2 (en) 2015-03-08 2019-11-19 Google Llc Context-based natural language processing
DE112016004863T5 (de) 2015-10-21 2018-07-19 Google Llc Parametersammlung und automatische Dialogerzeugung in Dialogsystemen
US10354543B2 (en) 2015-12-17 2019-07-16 International Business Machines Corporation Implementing assessments by correlating browsing patterns
US9919217B2 (en) 2016-03-08 2018-03-20 Electronic Arts Inc. Dynamic difficulty adjustment
US9978367B2 (en) 2016-03-16 2018-05-22 Google Llc Determining dialog states for language models
WO2017212459A1 (en) * 2016-06-09 2017-12-14 Sentient Technologies (Barbados) Limited Content embedding using deep metric learning algorithms
US10642887B2 (en) * 2016-12-27 2020-05-05 Adobe Inc. Multi-modal image ranking using neural networks
US10986061B2 (en) 2017-01-16 2021-04-20 Ercan TURFAN Knowledge-based structured communication system
US11113800B2 (en) * 2017-01-18 2021-09-07 Nvidia Corporation Filtering image data using a neural network
US11190464B2 (en) 2017-10-05 2021-11-30 International Business Machines Corporation Customer care training using chatbots
EP3679472A4 (en) 2017-10-13 2021-04-07 Microsoft Technology Licensing, LLC PROVIDING A RESPONSE IN A SESSION
US11704501B2 (en) 2017-11-24 2023-07-18 Microsoft Technology Licensing, Llc Providing a response in a session
EP3714380A4 (en) 2017-11-24 2021-06-02 Microsoft Technology Licensing, LLC PROVIDING A SUMMARY OF A MULTIMEDIA DOCUMENT IN A SESSION
US11380213B2 (en) 2018-02-15 2022-07-05 International Business Machines Corporation Customer care training with situational feedback generation
WO2019177585A1 (en) 2018-03-13 2019-09-19 Rovi Guides, Inc. Systems and methods for displaying a notification at an area on a display screen that is within a line of sight of a subset of audience members to whom the notification pertains
CN109033223B (zh) 2018-06-29 2021-09-07 北京百度网讯科技有限公司 用于跨类型对话的方法、装置、设备以及计算机可读存储介质
US11257496B2 (en) 2018-09-26 2022-02-22 [24]7.ai, Inc. Method and apparatus for facilitating persona-based agent interactions with online visitors
US11282405B2 (en) 2018-10-04 2022-03-22 Ttec Holdings, Inc. Intelligent systems based training of customer service agents
US11727245B2 (en) * 2019-01-15 2023-08-15 Fmr Llc Automated masking of confidential information in unstructured computer text using artificial intelligence
CN110110062B (zh) 2019-04-30 2020-08-11 贝壳找房(北京)科技有限公司 机器智能问答方法、装置与电子设备
US10897444B2 (en) 2019-05-07 2021-01-19 Verizon Media Inc. Automatic electronic message filtering method and apparatus
US10679133B1 (en) * 2019-06-07 2020-06-09 Peritus.AI, Inc. Constructing and utilizing a knowledge graph for information technology infrastructure
US11373093B2 (en) * 2019-06-26 2022-06-28 International Business Machines Corporation Detecting and purifying adversarial inputs in deep learning computing systems
CN110602311B (zh) 2019-08-21 2020-12-08 深圳市天彦通信股份有限公司 消息显示方法及相关产品
EP3798917A1 (en) * 2019-09-24 2021-03-31 Naver Corporation Generative adversarial network (gan) for generating images
CN112241468A (zh) 2020-07-23 2021-01-19 哈尔滨工业大学（深圳） 一种基于多头目自注意力机制的跨模态视频检索方法、系统及存储介质

Also Published As

Publication number Publication date
JP2024514471A (ja) 2024-04-02
DE112022001088T5 (de) 2023-12-14
WO2022206307A1 (en) 2022-10-06
US11533279B2 (en) 2022-12-20
US20220321508A1 (en) 2022-10-06

Similar Documents

Publication Publication Date Title
US10834026B2 (en) Artificial intelligence assisted service provisioning and modification for delivering message-based services
US11106877B2 (en) Dynamic text generation for social media posts
US10616148B2 (en) Progressively extending conversation scope in multi-user messaging platform
US11190464B2 (en) Customer care training using chatbots
US10129193B2 (en) Identifying relevant content contained in message streams that appear to be irrelevant
JP5913754B2 (ja) オンライン・システム内のユーザ行動に関するカスタマイズされた予測器
US20170193083A1 (en) Identifying message content related to an event utilizing natural language processing and performing an action pertaining to the event
US9871758B2 (en) User recommendations in a social media network
US11683283B2 (en) Method for electronic messaging
US20190251859A1 (en) Customer care training with situational feedback generation
US20200092588A1 (en) Control of content broadcasting
US10318639B2 (en) Intelligent action recommendation
TWI814394B (zh) 電子系統、電腦實施方法及電腦程式產品
US11861463B2 (en) Identifying related messages in a natural language interaction
US20190188623A1 (en) Cognitive and dynamic business process generation
US20220329556A1 (en) Detect and alert user when sending message to incorrect recipient or sending inappropriate content to a recipient
CN117121441A (zh) 使用基于图像的有噪声内容的电子消息传送方法
US11165725B1 (en) Messaging in a real-time chat discourse based on emotive cues
US11783224B2 (en) Trait-modeled chatbots
US20170024462A1 (en) Associating a text message containing an answer with a text message containing a question
US11194876B2 (en) Assisting users to interact with message threads on social media
US20210065573A1 (en) Answer validation and education within artificial intelligence (ai) systems
US10778791B2 (en) Cognitive insight into user activity interacting with a social system
US20240086639A1 (en) Automatically locating responses to previously asked questions in a live chat transcript using artificial intelligence (ai)
US20240095446A1 (en) Artificial intelligence (ai) and natural language processing (nlp) for improved question/answer sessions in teleconferences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination