CN114373186A

CN114373186A - 一种社交软件信息交互方法、装置和介质

Info

Publication number: CN114373186A
Application number: CN202210027914.1A
Authority: CN
Inventors: 张昀
Original assignee: Beijing New Intelligence Network Technology Co ltd
Current assignee: Beijing New Intelligence Network Technology Co ltd
Priority date: 2022-01-11
Filing date: 2022-01-11
Publication date: 2022-04-19

Abstract

本发明公开了一种社交软件信息交互方法、装置和介质。社交软件信息交互方法包括：获取社交软件至少一个目标区域对应的截图；将截图拆分为图像小块，并按照时间顺序排列图像小块，其中，图像小块为目标区域中包含不同信息的独立区域；对按照时间顺序排列的图像小块进行去重处理；对去重处理后的图像小块进行内容识别，并根据识别的内容，进行信息交互。如此，可以根据截图的内容提取社交软件中的信息，以在不需要API接口的情况下实现客服系统的功能，成本较低，便于推广。

Description

一种社交软件信息交互方法、装置和介质

技术领域

本发明涉及信息交互技术领域，具体涉及一种社交软件信息交互方法、装置和介质。

背景技术

客户服务是目前在线商业的基本组成部分之一。但是大家普遍遇到一个问题，就是现在人力成本相当高，雇佣客服人员和客户沟通的代价很大。

为了解决这个问题，现在很流行基于人工智能的“自动客户服务系统”。自动客服系统，就是使用人工智能技术来自动分析客户的要求，然后对于某些要求进行自动回复。

但是，自动客户服务系统有个严重问题，就是如何让客户安装这个系统。现在的实际情况是一些社交软件，例如微信，被广泛地用于和客户的沟通。客户更愿意使用这些社交软件进行沟通，而不愿意使用第3方的客户服务软件。

不管是网页模式的客户服务软件，还是小程序方式的客户服务软件，还是App模式的客户服务软件，说服客户使用的成本都很高。对于那些快速小额服务的情况(例如电商)，让客户安装并使用独立的自动客户服务系统基本是不可能的。

很自然的，有些企业就想到，把客户服务系统放到微信这样的社交软件中执行。但是由于有很多人滥用这个技术，很快引发了社交软件开发商的关注，导致微信这样的社交软件，把所有的自动化API的接口全部关闭了，而能够做很多手脚的微信网页版也被禁止了。

现在微信已经没有任何有效的API，能够进行自动的接收和发送消息。而接收和发送消息这样的基本操作都不能用软件操作，建立在此之上的自动客户服务系统，也就完全失去了根基。

为了解决上述没有有效的API无法接受和发送消息的问题，现提供一种不需API的情况下进行信息交互的技术方案。

发明内容

为此，本发明提供一种社交软件信息交互方法、装置和介质，以解决现有技术中的上述问题。

为了实现上述目的，本发明提供如下技术方案：

根据本发明的第一方面，一种社交软件信息交互方法，包括：

获取社交软件至少一个目标区域对应的截图；

将所述截图拆分为图像小块，并按照时间顺序排列所述图像小块，其中，所述图像小块为所述目标区域中包含不同信息的独立区域；

对按照时间顺序排列的所述图像小块进行去重处理；

对去重处理后的所述图像小块进行内容识别，并根据识别的内容，进行信息交互。

进一步地，所述对去重处理后的所述图像小块进行内容识别，包括：

根据所述图像小块中信息的类别，对所述图像小块进行拆分，以得到图像子块；

对所述图像子块进行内容识别，以获得待回复的消息。

进一步地，所述根据识别的内容，进行信息交互，包括：

根据待回复的消息，确定待发送的内容；

通过所述社交软件，将所述待发送的内容发送至所述待回复的消息的发送方。

进一步地，所述获取社交软件至少一个目标区域对应的截图，包括：

S1.将所述社交软件上的卷滚条滑动至预设的截屏起点；

S2.确定所述卷滚条对应的最大卷滚范围；

S3.对所述目标区域进行截屏后，使所述卷滚条移动预设距离；

S4.重复执行步骤S3，直至所述卷滚条的累计移动距离达到所述最大滚卷范围；

S5.确定对所述目标区域进行截屏得到的所有图像，为所述目标区域对应的截图。

进一步地，在所述获取社交软件至少一个目标区域对应的截图之前，还包括：

固定所述社交软件的窗口在屏幕上的尺寸和位置。

进一步地，在所述固定所述社交软件的窗口在屏幕上的尺寸和位置之前，还包括：

固定所述社交软件的窗口中目标区域的位置和尺寸。

进一步地，所述对按照时间顺序排列的所述图像小块进行去重处理，包括：

对于在排列顺序上相邻的两个所述图像小块，若确定两个所述图像小块相同，则删除两个所述图像小块中的之一。

根据本发明的第二方面，一种社交软件信息交互装置，包括：

获取模块，被配置为获取社交软件至少一个目标区域对应的截图；

截图拆分模块，被配置为将所述截图拆分为图像小块，并按照时间顺序排列所述图像小块，其中，所述图像小块为所述目标区域中包含不同信息的独立区域；

去重模块，被配置为对按照时间顺序排列的所述图像小块进行去重处理；

后处理模块，被配置为对去重处理后的所述图像小块进行内容识别，并根据识别的内容，进行消息回复。

进一步地，所述去重模块被配置为通过以下方式对去重处理后的所述图像小块进行内容识别：

对所述图像子块进行内容识别，以获得待回复的消息。

进一步地，所述去重模块被配置为通过以下方式根据识别的内容，进行信息交互：

根据待回复的消息，确定待发送的内容；

进一步地，所述获取模块被配置为通过以下方式获取社交软件至少一个目标区域对应的截图：

S1.将所述社交软件上的卷滚条滑动至预设的截屏起点；

S2.确定所述卷滚条对应的最大卷滚范围；

进一步地，所述装置还包括：

第一固定模块，被配置为在获取社交软件至少一个目标区域对应的截图之前，固定所述社交软件的窗口在屏幕上的尺寸和位置。

进一步地，所述装置还包括：

第二固定模块，被配置为在固定所述社交软件的窗口在屏幕上的尺寸和位置之前，固定所述社交软件的窗口中目标区域的位置和尺寸。

可选地，所述去重模块被配置为通过以下方式对按照时间顺序排列的所述图像小块进行去重处理：

根据本发明的第三方面，一种社交软件信息交互装置，包括：

存储器，其上存储有计算机程序；

处理器，该程序被处理器执行时能实现本发明第一方面所提供的社交软件信息交互方法的步骤。

根据本发明的第四方面，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时能实现本发明第一方面所提供的社交软件信息交互方法的步骤。

通过本发明的技术方案，通过获取社交软件不同目标区域对应的截图，并根据根据截图得到的、经过去重处理的图像小块进行内容识别，并根据识别的内容进行消息回复，可以在不需要API接口的情况下实现消息的自动收发，方便快捷。同时由于本方案中是根据社交软件的截图进行信息收发，因此配置简单，成本较低，便于普及。同时，本发明还具备以下优点：

1.对任何社交软件都可以实现自动化，而无需依赖于社交软件自身提供的API。

2.基于对社交软件的屏幕显示内容进行观察、认知和理解，结合robotjs这样的屏幕操作库，能够很方便实现社交软件的自动消息接收，消息发送之类的基础功能，在此基础上可以实现业务流程自动化，或者人工智能的客户服务系统。

3.能完全用程序实现社交软件的所有功能，只要真人能够使用的功能，使用本发明的方法都能实现程序化。

4.整个流程完全是在客户端实现，没有使用任何额外的协议，因此不会对服务器产生副作用。

5.整个流程是模拟人类的肉眼识别和手工操作的，不管是服务器还是社交软件另一端的客户，都不太容易分辨出是真人还是软件在执行交互，从而有效地降低了和机器交流的不适感。

6.整个流程是模拟真人操作的，不容易出现大量快速发送垃圾消息的情况，一定程度上避免了对流程自动化的滥用。

7.纯软件的解决方案，不需要机械手之类的昂贵硬件，成本低廉。

8.整个流程是建立在人工登录之后的软件界面之上，不需要自动登录操作，有效地避免了社交软件账号密码泄露的问题。

附图说明

为了更清楚地说明本发明的实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是示例性的，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图引伸获得其它的实施附图。

本说明书所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。

图1为本发明一些实施例提供的一种社交软件信息交互方法的流程图。

图2为本发明一些实施例提供的一种社交软件信息交互方法的应用场景图。

图3为本发明一些实施例提供的一种社交软件信息交互方法的应用场景图。

图4为本发明一些实施例提供的一种社交软件信息交互方法的应用场景图。

图5为本发明一些实施例提供的一种社交软件信息交互方法的应用场景图。

图6为本发明一些实施例提供的一种社交软件信息交互方法的应用场景图。

图7为本发明一些实施例提供的一种社交软件信息交互方法的应用场景图。

图8本发明一些实施例提供的一种社交软件信息交互装置的框图。

具体实施方式

以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，本发明第一方面提供了一种社交软件信息交互方法，该方法可以包括步骤S11至步骤S14。

在步骤S11中，获取社交软件至少一个目标区域对应的截图。

参照图2，图2中的301可以是桌面，302可以是社交软件的界面，304可以是社交软件的目标区域。通过划分目标区域，可以提取社交软件不同的信息。

例如，参照图3，以微信应用场景为例，目标区域可以包括联系人区域401和消息区域402。

在步骤S12中，针对每一截图，将截图拆分为至少一个图像小块，并按照时间顺序排列图像小块，其中，图像小块为目标区域中包含不同信息的独立区域。

例如，可以通过以下方式拆分图像小块：

以像素行为单位，从上向下扫描图像的像素值，在像素行的背景颜色不相同的情况下，记录该像素行为图像小块的开始像素行；随后继续向下扫描，直至像素行的背景颜色相同，确定该像素行为图像小块的结束像素行。如此，可以确定开始像素行和结束像素行之间的图像区域为一个图像小块。以此循环，可以拆分多个图像小块。

参照图2、图3、图4和图5，图2中的303可以是图像小块。图4中的601可以是针对图3中的目标区域401划分出的多个图像小块，图5中的62可以是针对图3中的目标区域402划分出的多个图像小块。

在步骤S13中，对按照时间顺序排列的图像小块进行去重处理；

如果有多个截图的话，不可避免地会出现“重复信息”的问题。例如，进行了第1次屏幕截图，得到了10个图像小块。之后用户又发了1条消息，然后进行了第2次屏幕截图，又得到了10个图像小块。这时候，两次的图像小块，只有1个是新的，其他9个图像小块，都是重复的。

大量的重复信息，会造成对信息理解的误判，例如要设计智能回复的时候，看到用户输入某个问题，就进行一个回复。如果有重复信息，那么会误以为用户在反复输入某个问题，从而错误地反复回复。

因此在步骤S13中，可以使用图像处理技术来去掉重复的图像小块。之所以采取图像处理技术来去掉重复，而不是采取人工智能技术来去掉重复，是因为去掉重复这种事情，图像处理技术就完全能够很好地处理，不需要采取资源消耗很大的人工智能技术。

例如，上述对按照时间顺序排列的图像小块进行去重处理，可以包括：对于在排列顺序上相邻的两个图像小块，若确定两个图像小块相同，则删除两个图像小块中的之一。

例如，可以从第二个图像小块开始，若确定该图像小块与排列顺序上相邻的上一个图像小块相同，则删除该图像小块，最后对第三个图像小块执行相同步骤，直至对最后一个图像小块执行完上述步骤。

在步骤S14中，对去重处理后的图像小块进行内容识别，并根据识别的内容，进行消息回复。

通过获取社交软件不同目标区域对应的截图，并根据根据截图得到的、经过去重处理的图像小块进行内容识别，并根据识别的内容进行消息回复，可以在不需要API接口的情况下实现消息的自动收发，方便快捷。同时由于本方案中是根据社交软件的截图进行信息收发，因此配置简单，成本较低，便于普及。

例如，可以截取联系人区域的截图，以得到每个联系人对应的图像小块。随后可以对图像小块进行细化和拆分，以获得联系人对应的新消息通知图像子块。随后可以根据图像算法对背景颜色进行识别，以确定是否有新消息通知。如此，可以实现自动识别是否有新消息通知。

在确定有新消息通知的情况下，可以使用桌面自动化库，模拟单击该联系人，通过设置卷滚条向下滚动，可以使微信的消息显示区域定位在新消息的位置，随后可以执行上述步骤步骤S11至步骤S14，以能通过图像识别获得待回复的消息，并根据识别的待回复消息，进行消息回复。

如此，可以实现消息的自动回复。

示例性地，对去重处理后的图像小块进行内容识别，可以包括：

根据图像小块中信息的类别，对图像小块进行拆分，以得到图像子块；以及对图像子块进行内容识别，以获得待回复的消息。

示例性地，根据识别的内容，进行信息交互，可以包括：

根据待回复的消息，确定待发送的内容。例如，可以通过预设的语料库、以及待回复的消息，确定待发送的内容。

通过社交软件，将待发送的内容发送至待回复的消息的发送方。

参照图6，在对图像小块901进行拆分后，可以得到图像子块902；在对图像小块903进行拆分后，可以得到图像子块904。可以理解，每个图像子块中包括一个信息，通过对图像子块进行内容识别，就可以得到图像子块的信息。汇总图像小块下所有图像子块的信息，就可以得到图像小块的信息。

参照图7，对图像子块进行内容识别，可以是：

1001是联系人接收到新消息通知标识，识别背景颜色为红色即可。1002是联系人姓名和最新消息日期，使用人工智能识别其中的文字内容即可。1003是微信自动生成的消息日期，使用人工智能识别其中的文字内容即可。1004是文字消息，识别背景颜色为绿色可以判断它是文字消息，然后用人工智能可以识别其中的文字内容。1005是文件消息，识别其尺寸即可。1006是视频消息，图像模式识别其中间的白色播放按钮即可。

1007是微信的图像消息，图像消息是特征不太明显的一个消息。这个可以有两种识别方式，第一种就是其他消息都不是的消息，就可以认为是图像消息；第2种就是获取其颜色直方图，和其他消息类型的颜色直方图差别较大的，就是图像消息。

就具体实现细节而言，颜色识别是成熟的技术，只需要探测背景，然后读取颜色值即可。尺寸识别更简单，读取图像尺寸即可。图像模式识别和直方图识别可以使用OpenCV的库函数。人工智能识别，可以自己做训练集。在另一种可能的实施方式中，也可以直接调用做好的人工智能API，例如Google、Microsoft以及一些国内企业都有人工智能文字识别的API可以直接调用，例如Google的人工智能文字识别，能做到屏幕文字100％识别率。

示例性地，获取社交软件至少一个目标区域对应的截图，可以包括：

S1.将社交软件上的卷滚条滑动至预设的截屏起点；

S2.确定卷滚条对应的最大卷滚范围；

S3.对目标区域进行截屏后，使卷滚条移动预设距离；

S4.重复执行步骤S3，直至卷滚条的累计移动距离达到最大滚卷范围；

S5.确定对目标区域进行截屏得到的所有图像，为目标区域对应的截图。

参照图3，对于联系人区域401，这个固定的截屏起点可以是卷滚条移动到最顶端；对于消息区域402，这个固定的截屏起点可以是卷滚条移动到最底端，也可以是提示新消息的起点位置。卷滚条移动到最顶端或者最底端的代码都是简单的方法，例如方法之一就是设置特别大的向上或者向下卷滚偏移量就可以实现。而如果进入提示新消息的起点位置就更简单，只要单击联系人，就自动定位到新消息的起点位置。

最大卷滚范围决定每次截屏获得的内容的数量多少。不同的功能区域，这个最大卷滚范围不一样。通常可以设置为常见情况下获取基本足够信息的范围。例如，联系人区域设置最大卷滚范围为10个联系人即可，而消息显示区域，获取2屏消息即可。

最大卷滚范围设置得太小，就会导致需要高频率地截图；最大卷滚范围设置得太大，又会导致较多内容被重复截取，降低处理速度。因此，设置合适的最大卷滚范围还是比较重要的。

示例性地，在获取社交软件至少一个目标区域对应的截图之前，该方法还可以包括：固定社交软件的的窗口在屏幕上尺寸和位置。

这个步骤很容易实现，Windows提供了标准的API来做到这一点。尽管可以将社交软件窗口设置为全屏，但是本发明的实施例中推荐设置为固定的尺寸，这样不需要针对屏幕分辨率进行折算。折算就可能带来误差，会降低后面程序的计算精度。

示例性地，在固定社交软件的窗口在屏幕上的尺寸和位置之前，该方法还包括：固定社交软件的窗口中目标区域的位置和尺寸。

例如微信，其内部功能区域的尺寸和位置，本身就是固定的。另一些社交软件，例如Telegram，其内部功能区域的尺寸和位置，是可以调整的。内部功能区域的尺寸和位置尺寸不固定的，需要通过某种设置规则(例如将内部窗口分割线拖动到某个拖不动的位置)，来固定内部功能区域的尺寸和位置。

通过固定社交软件目标区域的位置和尺寸，便于后续进行重复截图操作。

本发明实施例提供的社交软件信息交互方法，可以实现：

参照图8，基于同一发明构思，本发明还提供一种社交软件信息交互装置500，包括：

获取模块501，被配置为获取社交软件至少一个目标区域对应的截图；

截图拆分模块502，被配置为将截图拆分为图像小块，并按照时间顺序排列图像小块，其中，图像小块为目标区域中包含不同信息的独立区域；

去重模块503，被配置为对按照时间顺序排列的图像小块进行去重处理；

后处理模块504，被配置为对去重处理后的图像小块进行内容识别，并根据识别的内容，进行消息回复。

进一步地，去重模块503被配置为通过以下方式对去重处理后的图像小块进行内容识别：

根据图像小块中信息的类别，对图像小块进行拆分，以得到图像子块；

对图像子块进行内容识别，以获得待回复的消息。

进一步地，去重模块503被配置为通过以下方式根据识别的内容，进行信息交互：

根据待回复的消息，确定待发送的内容；

进一步地，获取模块501被配置为通过以下方式获取社交软件至少一个目标区域对应的截图：

S1.将社交软件上的卷滚条滑动至预设的截屏起点；

S2.确定卷滚条对应的最大卷滚范围；

S3.对目标区域进行截屏后，使卷滚条移动预设距离；

进一步地，装置还包括：

第一固定模块，被配置为在获取社交软件至少一个目标区域对应的截图之前，固定社交软件的窗口在屏幕上的尺寸和位置。

进一步地，装置还包括：

第二固定模块，被配置为在固定社交软件的窗口在屏幕上的尺寸和位置之前，固定社交软件的窗口中目标区域的位置和尺寸。

可选地，去重模块被配置为通过以下方式对按照时间顺序排列的图像小块进行去重处理：

对于在排列顺序上相邻的两个图像小块，若确定两个图像小块相同，则删除两个图像小块中的之一。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

存储器，其上存储有计算机程序；

处理器，该程序被处理器执行时能实现本发明第一方面所提供的方法的步骤。

根据本发明的第四方面，一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时能实现本发明第一方面所提供的方法的步骤。

虽然，上文中已经用一般性说明及具体实施例对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。

Claims

1.一种社交软件信息交互方法，其特征在于，包括：

获取社交软件至少一个目标区域对应的截图；

对按照时间顺序排列的所述图像小块进行去重处理；

对去重处理后的所述图像小块进行内容识别，并根据识别的内容，进行消息回复。

2.根据权利要求1所述的社交软件信息交互方法，其特征在于，所述对去重处理后的所述图像小块进行内容识别，包括：

对所述图像子块进行内容识别，以获得待回复的消息。

3.根据权利要求2所述的社交软件信息交互方法，其特征在于，所述根据识别的内容，进行信息交互，包括：

根据待回复的消息，确定待发送的内容；

4.根据权利要求1所述的社交软件信息交互方法，其特征在于，所述获取社交软件至少一个目标区域对应的截图，包括：

S1.将所述社交软件上的卷滚条滑动至预设的截屏起点；

S2.确定所述卷滚条对应的最大卷滚范围；

5.根据权利要求1至4中任一项所述的社交软件信息交互方法，其特征在于，在所述获取社交软件至少一个目标区域对应的截图之前，还包括：

固定所述社交软件的窗口在屏幕上的尺寸和位置。

6.根据权利要求5所述的社交软件信息交互方法，其特征在于，在所述固定所述社交软件的窗口在屏幕上的尺寸和位置之前，还包括：

固定所述社交软件的窗口中目标区域的位置和尺寸。

7.根据权利要求1至4中任一项所述的社交软件信息交互方法，其特征在于，所述对按照时间顺序排列的所述图像小块进行去重处理，包括：

8.一种社交软件信息交互装置，其特征在于，包括：

9.一种社交软件信息交互装置，其特征在于，包括：

存储器，其上存储有计算机程序；

处理器，该程序被处理器执行时能实现如权利要求1至7中任一项所述社交软件信息交互方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时能实现如权利要求1至7中任一项所述社交软件信息交互方法的步骤。