CN110865753B - 应用消息的通知方法及装置 - Google Patents

Abstract

本说明书实施例提供一种应用消息的通知方法及装置。其中该通知方法的执行主体为终端设备，该方法包括：首先，响应于接收到应用消息的通知请求，对所述终端设备中显示的界面进行截取，得到若干截屏图片；接着，将若干截屏图片分别输入第一区域预测模型中，得到对应的若干第一显示区域；所述第一区域预测模型基于多张带标注的样本截屏图片而预先训练，所述标注对应于样本截屏图片中不包含重要内容的区域；然后，基于所述若干第一显示区域，确定目标显示区域，用于显示针对所述应用消息的通知内容。

Description

应用消息的通知方法及装置

技术领域

本说明书实施例涉及计算机技术领域，具体地，涉及一种应用消息的通知方法及装置。

背景技术

目前主流的操作系统，如苹果iOS、安卓、阿里云OS等，都预置有一些针对应用消息的通知方式，如基于桌面图标以角标形式进行通知，在显示界面中以横幅的形式进行通知等等。

然而，目前的通知方式比较固定、单一，无法满足用户多方面的需求。比如说，在用户操作移动设备的过程中，针对应用消息的通知内容会对屏幕中原本显示的内容造成遮挡，容易干扰用户操作，影响用户体验。

因此，需要一种更加合理的消息通知方式，能够满足用户多方面的需求，包括降低对用户的干扰，从而充分提高用户体验。

发明内容

本说明书一个或多个实施例提供一种应用消息的通知方法，结合图像处理技术和人工智能技术，快速分析终端设备所处环境，然后给出合理的通知方式，帮助用户在享受终端流畅操作的同时，不遗漏任何一条的应用消息。

根据第一方面，提供一种应用消息的通知方法，所述方法的执行主体为终端设备，所述方法包括：响应于接收到应用消息的通知请求，对所述终端设备中显示的界面进行截取，得到若干截屏图片；将所述若干截屏图片分别输入第一区域预测模型中，得到对应的若干第一显示区域；所述第一区域预测模型基于多张带标注的样本截屏图片而预先训练，所述标注对应于样本截屏图片中不包含重要内容的区域；基于所述若干第一显示区域，确定目标显示区域，用于显示针对所述应用消息的通知内容。

在一个实施例中，响应于接收到应用消息的通知请求，对所述终端设备中显示的界面进行截取，得到若干截屏图片，包括：响应于接收到所述通知请求，检测所述终端设备的屏幕是否处于解锁状态；在处于解锁状态的情况下，对所述显示的界面进行截取，得到所述若干截屏图片。

在一个实施例中，将所述若干截屏图片分别输入第一区域预测模型中，得到对应的若干第一显示区域，包括：分别对所述若干截屏图片进行颜色特征和/或纹理特征的提取，得到对应的若干图片特征向量；将所述若干图片特征向量分别输入所述第一区域预测模型中，得到所述若干第一显示区域。

在一个实施例中，其中对所述终端设备中显示的界面进行截取，得到若干截屏图片，包括：对预定时长内显示的界面进行连续截取，得到多张截屏图片。其中将所述若干截屏图片分别输入第一区域预测模型中，得到对应的若干第一显示区域，包括：将所述多张截屏图片分别输入所述第一区域预测模型中，得到对应的多个第一显示区域。其中基于所述若干第一显示区域，确定目标显示区域，包括：将所述多个第一显示区域作为区域序列，输入预先训练的第二区域预测模型中，得到所述目标显示区域。

进一步地，在一个具体的实施例中，所述第二区域预测模型基于以下步骤而预先训练：获取多个训练样本，其中每个训练样本中包括对应的历史区域序列和标注有历史目标显示区域的标注截屏图片；其中所述历史区域序列包括将多张历史截屏图片分别输入所述第一区域预测模型而得到的多个区域，所述多张历史截屏图片是在所述标注截屏图片的截取时刻之前的所述预定时长内截取的图片；利用所述多个训练样本，训练所述第二区域预测模型。

在一个实施例中，在接收到应用消息的通知请求之后，所述方法还包括：获取预定类型的特征信息，所述预定类型包括以下中的一种或多种：所述终端设备的设备信息，所述显示的界面所属应用的应用信息，在预定历史时段内操作所述终端设备产生的操作行为数据；

将所述特征信息输入预先训练的时长预测模型中，得到针对所述应用消息的通知时长。

进一步地，在一个具体的实施例中，在确定目标显示区域，以及，得到针对所述应用消息的通知时长之后，所述方法还包括：将所述目标显示区域和通知时长，共同输入预先训练的样式预测模型中，得到针对所述应用消息的通知样式。

在一个更具体的实施例中，所述通知样式属于以下中的一种：弹幕样式、消息条数简易样式、横幅样式、横屏字幕样式、横屏对联样式。

在一个实施例中，在确定目标显示区域之后，所述方法还包括：将所述目标显示区域输入预先训练的字体颜色预测模型中，得到用于显示所述通知内容的字体颜色。

在一个实施例中，在确定目标显示区域之后，所述方法还包括：将所述目标显示区域输入预先训练的多任务模型中，得到用于显示所述通知内容的字体颜色、背景颜色和背景透明度。

在一个实施例中，在确定目标显示区域之后，所述方法还包括：在所述目标显示区域中显示所述通知内容，用于通知用户已接收到所述应用消息。

根据第二方面，提供一种应用消息的通知装置，所述装置集成于终端设备，所述装置包括：截屏单元，配置为响应于接收到应用消息的通知请求，对所述终端设备中显示的界面进行截取，得到若干截屏图片；区域预测单元，配置为将所述若干截屏图片分别输入第一区域预测模型中，得到对应的若干第一显示区域；所述第一区域预测模型基于多张带标注的样本截屏图片而预先训练，所述标注对应于样本截屏图片中不包含重要内容的区域；目标区域确定单元，配置为基于所述若干第一显示区域，确定目标显示区域，用于显示针对所述应用消息的通知内容。

根据第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面所描述的方法。

根据第四方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面所描述的方法。

采用本说明书实施例披露的上述方法及装置，可以使得消息通知方式契合终端设备所处的环境，从而使用户在不遗漏任何一条消息的情况下，不被干扰，享有使用终端的流畅体验。

附图说明

为了更清楚地说明本说明书披露的多个实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书披露的多个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1示出根据一个实施例的消息通知的决策流程示意图；

图2示出根据另一个实施例的消息通知的决策流程示意图；

图3示出根据一个实施例的应用消息的通知方法流程示意图；

图4示出根据一个例子的弹幕样式的通知示意图；

图5示出根据一个例子的消息条数简易样式的通知示意图；

图6示出根据一个例子的横幅样式的通知示意图；

图7示出根据一个例子的横屏字幕样式的通知示意图；

图8示出根据一个例子的横屏对联样式的通知示意图；

图9示出根据一个例子的消息通知示意图；

图10示出根据另一个例子的消息通知示意图；

图11示出根据一个实施例的消息通知方法流程框图；

图12示出根据一个实施例的应用消息的通知装置结构图。

具体实施方式

下面结合附图，对本说明书披露的多个实施例进行描述。

如前所述，目前针对应用消息的通知方式比较固定，无法满足用户多方面的需求。具体而言，各大操作系统中预置的通知方式，通常是在屏幕的某一固定位置(如，屏幕顶部或屏幕中央)对通知内容进行显示，这很可能对用户造成干扰。举例来说，若用户正在查看一张图片，而此时显示的消息通知遮挡了图片中的关键内容，这将导致用户体验下降。又比如说，若用户正通过界面中显示的按钮进行操作，而此时显示的消息通知遮挡了界面中显示的按钮，导致用户对消息通知误点击而跳转至其他界面，并且，无法继续之前的操作，这将严重影响用户体验。

基于此，本说明书实施例提供一种应用消息的通知方法，结合图像处理技术和人工智能AI技术，快速分析用户终端(即用户使用的终端设备)所处环境，然后给出合理的通知方式，帮助用户在享受终端流畅操作的同时，不遗漏任何一条重要的应用消息。

具体地，图1示出根据一个实施例的消息通知的决策流程示意图。在一个实施例中，参见图1，在需要通知用户已接收到某条应用消息的情况下，可以对终端设备(以下或简称终端)进行截屏操作，得到截屏图片110。可以理解，其中截屏图片反映界面中的显示内容。接着，利用预先训练的第一区域模型120识别截屏图片中不包括重要内容的第一目标区域130，作为目标显示区域，再在目标显示区域中显示针对上述某条应用消息的通知内容140。如此，可以降低消息通知对用户的干扰。

进一步地，发明人还考虑到，在用户使用移动终端的过程中，终端界面的内容往往是动态变化的。具体而言，用户在进行界面操作时，界面内容会基于终端接收到的操作指令而变化。比如说，用户在浏览网站时，会通过上滑或下滑操作，查看网页内容的不同部分。另外，用户在查看视频图片等影响资料时，即使不进行界面操作，界面中播放的内容也会不断发生变化。比如说，用户在追剧时，终端中播放的视频帧是不断变化的。

基于此，在本说明书实施例提供的一种应用消息的通知方法中，还可以通过快速分析用户终端所处环境来预测下一时刻可能的环境，然后给出更加合理的通知方式。

具体地，图2示出根据另一个实施例的消息通知的决策流程示意图。在一个实施例中，参见图2，在需要通知用户已接收到某条应用消息的情况下，可以在预定时长(如1s)内对终端设备进行连续截屏操作，得到预定数量(如3张)的多张截屏图片，例如包括图片211、图片212和图片213。接着，利用预先训练的第一区域模型120分别识别多张截屏图片中不包括重要内容的多个第一显示区域，例如包括区域231、区域232和区域233。再将多个第一显示区域作为区域序列输入预先训练的第二区域显示模型240中，得到目标显示区域250，并在其中显示通知内容260。如此，可以更加有效地降低消息通知对用户的干扰。

由上可知，在本说明书实施例提供的一种应用消息的通知方法中，通过对终端界面进行截图操作，得到若干截屏图片，再采用图像处理技术和AI技术对若干截屏图片进行处理，可以预测出不包含重要界面内容的目标显示区域，用于显示针对应用消息的通知内容，进而有效降低对用户的干扰，保证用户对终端使用的流畅度，同时不会遗漏任何一条应用消息。

下面结合实施例，描述上述方法的具体实施步骤。

具体地，图3示出根据一个实施例的应用消息的通知方法流程示意图，所述方法的执行主体可以为终端设备，包括手机、可穿戴设备、平板、电脑等等。更具体地，所述执行主体可以为终端设备的操作系统(operating system，简称OS)或系统插件等。如图3所示，所述方法包括以下步骤：

步骤S310，响应于接收到应用消息的通知请求，对所述终端设备中显示的界面进行截取，得到若干截屏图片；步骤S320，将所述若干截屏图片分别输入预先训练的第一区域预测模型中，得到对应的若干第一显示区域；步骤S330，基于所述若干第一显示区域，确定目标显示区域，用于显示针对所述应用消息的通知内容。

以上步骤具体如下：

首先，在步骤S310，响应于接收到应用消息的通知请求，对所述终端设备中显示的界面进行截取，得到若干截屏图片。

需要理解，对于安装在终端设备上的多个应用，通常，当其中某个应用从对应的应用服务器接收到应用消息时，在判断出需要对该应用消息进行通知的情况下，通常会向终端设备的OS发送针对该应用消息的通知请求，在OS判断出该某个应用具有通知权限(一般由用户预先设置)的情况下，对该应用消息进行通知。比如说，当钉钉APP从应用服务器接收到其他钉钉用户发送给当前用户的会话消息时，在判断出终端设备的界面并非与该会话消息对应的会话界面，则向OS发送针对该会话消息的通知请求，以使终端设备对该会话消息进行通知。如此，终端设备可以接收到针对应用消息的通知请求。

基于此，在本步骤中，响应于接收到应用消息的通知请求，对终端设备中显示的界面进行截取，得到若干截屏图片。此外，考虑到若终端处于锁屏状态，意味着用户当前并未使用该终端，因此消息通知并不会干扰到用户对终端的操作，可以使用已有的通知方式进行消息通知。而在终端屏幕处于解锁的状态下，用户很可能正在使用该终端，此时可知采用本说明书提供的方法确定消息通知方式。

具体地，在一个实施例中，响应于接收到所述通知请求，检测所述终端设备的屏幕是否处于解锁状态。进一步地，在一个具体的实施例中，在处于解锁状态的情况下，对所述显示的界面进行截取，得到所述若干截屏图片。在另一个具体的实施例中，在处于锁定状态的情况下，按照已有的通知方式进行消息通知。

另一方面，对于若干截屏图片的具体数量，可以是一个预定值。在一个实施例中，本步骤中可以包括：对所述终端设备中显示的界面进行截取，得到1张截屏图片，也就是预定值为1。在另一个实施例中，本步骤中可以包括：对预定时长内显示的界面进行截取，得到多张截屏图片，其中多张截屏图片的数量对应于上述预定值。在一个具体的实施例中，还可以在所述预定时长(如3S)内，按照预定时间间隔(如1S)对显示的界面进行截取，得到多张(如4张)截屏图片。

另外，对于若干截屏图片的具体数量，还可以基于预先设定的应用类别与截屏图片数量之间的映射关系而确定。在一个具体的实施例中，其中应用类别可以包括电子书类、办公类、社交类、视频类等，其中第一个类别对应的图片数量可以为1张，后三个类别对应的图片数量可以为3张。基于此，在一个实施例中，响应于接收到应用消息的通知请求，确定终端设备中显示的界面所属应用的应用类别，再基于上述应用类别与截屏图片数量之间的映射关系，确定此时需要截取的图片数量，再对终端显示的界面进行截屏，得到该图片数量的截屏图片。

以上，可以得到若干截屏图片。接着在步骤S320，将所述若干截屏图片分别输入预先训练的第一区域预测模型中，得到对应的若干第一显示区域。

在一个实施例中，上述第一区域预测模型可以基于目标检测算法、目标实例分割算法或目标关键点检测算法。在一个具体的实施例中，可以基于以下算法中的一种或几种：R-CNN、SPP-NET、Faster-RCNN、R-FCN和Mask R-CNN。

在一个实施例中，上述第一区域预测模型基于多张带标注的样本截屏图片而预先训练，所述标注对应于样本截屏图片中不包含重要内容的区域。需要说明的是，其中标注具体可以为样本截屏图片中的标注框，标注框内的区域为上述不包含重要内容的区域。其中重要内容因样本截屏图片的不同而不同，由标注人员按照一些约定标准进行判断，比如说，重要内容可以包括人物、文字和操作按钮等，标注框不可以在屏幕的正中央，每张图片的标注框只能有一个等等。如此，可以得到预先训练得到的第一区域预测模型。

在一个实施例中，本步骤可以包括：分别对所述若干截屏图片进行颜色特征和/或纹理特征的提取，得到对应的若干图片特征向量；再将所述若干图片特征向量分别输入所述第一区域预测模型中，得到所述若干第一显示区域。

在一个具体的实施例中，其中颜色特征可以包括HSV(或称HSB)特征。HSV是由A.R.Smith在1978年创建的一种颜色空间，包括色调(Hue)，饱和度(Saturation)和亮度(Value或Brightness)等颜色的直观特性，也称六角椎体模型(Hexcone Model)。在一个具体的实施例中，其中颜色特征可以包括RGB特征。RGB是一种空间颜色模型，是通过对红(Red)、绿(Green)和蓝(Blue)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色。在一个具体的实施例中，其中纹理特征可以包括HOG特征。方向梯度直方图(Histogram of Oriented Gradient，简称HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子，其通过计算和统计图像局部区域的梯度方向直方图来构成特征。

在一个实施例中，本步骤可以包括：将截取得到的一张截屏图片输入第一区域预测模型中，得到对应的第一显示区域。在另一个实施例中，本步骤可以包括：将截取得到的多种截屏图片输入第一区域预测模型中，得到对应的多个第一显示区域。

以上，利用预先训练得到的第一区域预测模型，可以识别出若干截屏图片对应的若干第一显示区域。然后，在步骤S330，基于所述若干第一显示区域，确定目标显示区域，用于显示针对所述应用消息的通知内容。

在一个实施例中，上述若干第一显示区域具体为一个第一显示区域，由此可以将该一个第一显示区域直接作为上述目标显示区域。

在一个实施例中，上述若干第一显示区域具体为多个第一显示区域，由此可以将多个第一显示区域作为区域序列，输入预先训练的第二区域预测模型中，得到所述目标显示区域。在一个具体的实施例中，其中多个第一显示区域基于对应的截取时刻而顺序排列，进而组成上述区域序列。

在一个具体的实施例中，其中第二区域预测模型基于以下步骤而预先训练：首先，获取多个训练样本，其中每个训练样本中包括对应的历史区域序列和标注有历史目标显示区域的标注截屏图片；其中历史区域序列包括将多张历史截屏图片分别输入所述第一区域预测模型而得到的多个区域，所述多张历史截屏图片是在所述标注截屏图片的截取时刻之前的上述预定时长内截取的图片。然后，利用所述多个训练样本，训练所述第二区域预测模型。利用如此训练得到的第二区域预测模型，可以根据终端所处环境预测下一阶段所处环境时适合显示通知内容的目标显示区域。

可选地，还可以从若干第一显示区域中随机选取某个第一显示区域作为上述目标显示区域。

以上可以确定出目标显示区域。进一步地，在一个实施例中，还可以基于预先设定的黑名单策略，对目标显示区域进行过滤。在目标显示区域落入黑名单的情况下，使用预设的兜底显示区域(例如屏幕顶部区域)对该目标显示区域进行更新。而在目标显示区域未落入黑名单的情况下，仍使用该目标显示区域显示通知内容。

在一个具体地实施例中，上述黑名单策略可以包括：不允许目标显示区域位于屏幕的正中央。在一个例子中，可以预先设定屏幕的中央区域，当目标显示区域与该中央区域的交叠面积和中央区域的面积之间的比值大于预定阈值，则判定目标显示区域在屏幕的正中央，进而用兜底显示区域对该目标显示区域进行更新。

在另一个具体的实施例中，上述黑名单策略可以包括：不允许目标显示区域位于用户频繁操作的区域。在一个例子中，可以采集用户在预定历史时段内的操作行为数据，用于确定用户的操作区域，再判定目标显示区域是否位于用户的操作区域。在一个具体的例子中，可以采集用户在最近5min内的操作数据，包括这5min内操作时对屏幕的触点，以及每个触点的点触次数或触压时长，将点触次数大于预定次数阈值(如3次)和触压时长超过预定时长阈值(如4s)的触点，作为频繁触点，再确定出覆盖频繁触点的最小区域作为频繁操作区域。进一步地，在目标显示区域与频繁操作区域存在交叠的情况下，判定目标显示区域位于用户频繁操作的区域，进而用兜底显示区域对该目标显示区域进行更新。

以上，可以确定出目标显示区域，用于显示针对应用消息的通知内容。可以理解，对通知内容的显示，不仅涉及到该通知内容在屏幕中的显示位置，还涉及到通知内容的显示时长(或称通知时长、停留时长)，通知内容的字体、字号、字体颜色、背景色、背景色透明度、字体透明度等内容。在一个实施例中，可以预先设定上述除显示位置以外的其他内容，由此按照预先设定的其他内容和目标显示区域对通知内容进行展示。在另一个实施例中，还可以对其他内容中的某些内容进行选择性确定。

在一个具体的实施例中，还可以确定上述针对通知内容的通知时长。

在一个更具体的实施例中，在上述接收到应用消息的通知请求之后，所述方法还可以包括：首先，获取预定类型的特征信息，其中预定类型包括以下中的一种或几种：所述终端设备的设备信息，所述显示的界面所属应用的应用信息，以及，在预定历史时段内操作所述终端设备产生的操作行为数据；再将所述特征信息输入预先训练的时长预测模型中，得到针对所述应用消息的通知时长。

在一个例子中，其中设备信息可以包括终端设备的屏幕分辨率、CPU信息、屏幕尺寸和硬件基础信息等。在一个例子中，其中应用信息可以包括应用类别，具体如社交类、浏览器类、电子书类、游戏类或视频类等。此外需要说明，对操作行为数据的描述可以参见前述实施例中的相关描述，不作赘述。

另一方面，在一个例子中，其中时长预测模型可以采用逻辑回归(LogisticRegression，简称LR)算法，随机森林(Random Forest)算法、梯度提升决策树(GradientBoosting Descision Tree，简称GBDT)算法和XGBOOST算法等。此外，时长预测模型的使用和训练过程类似，故在此不对时长预测模型的训练进行赘述。

由此，可以将采集的特征信息输入预先训练的时长预测模型中，得到针对所述应用消息的通知时长。

在另一个更具体的实施例中，可以预先建立应用类别(指终端显示界面所属应用的应用类别)和通知时长的映射关系，由此，再基于采集的应用类别，确定对应的通知时长。在一个例子中，假定该映射关系包括：浏览器类和电子书类对应的通知时长为2s、社交类对应的通知时长为1.5S、游戏类和视频类对应的通知时长为1S。基于此，假定采集到的终端显示界面所述应用的类别为社交类(如钉钉)，则将对应的通知时长确定为1.5s。如此，可以采集终端显示界面对应的应用类别，再基于预先建立的映射关系，确定对应的通知时长。

以上，对通知时长的确定方式进行介绍。进一步地，还可以基于上述确定的目标显示区域和通知时长，确定针对应用消息的通知样式。其中通知样式属于备选的多种通知样式中的一种。下面先对备选的多种通知样式进行介绍。在一个具体的实施例中，通知样式对应的设计元素，可以包括通知内容的通知事项(如应用消息的消息条数或消息内容)、文字方向、字体(如宋体或微软雅黑)、字号、字数阈值(如10或20)和动态效果(如从右往左移动、从上向下移动等)。基于此，备选的多种通知样式可以由工作人员预先设计。在一个具体的实施例中，备选的多种通知样式可以包括：弹幕样式、消息条数简易样式、横幅样式、横屏字幕样式、横屏对联样式。下面再结合图4至图8对这些通知样式进行描述，需要理解，图4至图8中示出的通知内容仅用于示意通知样式，其中通知内容的显示位置并不是唯一固定的，而是取决于前述确定出的目标显示区域。

具体地，图4示出根据一个例子的弹幕样式的通知示意图，参见图4，弹幕样式下的通知内容410是会从右向左移动的。图5示出根据一个例子的消息条数简易样式的通知示意图，参见图5，简易样式下的通知内容510可以包括需要通知的新消息条数。图6示出根据一个例子的横幅样式的通知示意图，参见图6，横幅样式下的通知内容610可以从屏幕的任一一侧(如上侧或下侧或左侧或右侧)滑入目标显示区域中。图7示出根据一个例子的横屏字幕样式的通知示意图，参见图7，横屏字幕样式下的通知内容710可以像普通的视频字幕，出现之后静止、停留一定时长。图8示出根据一个例子的横屏对联样式的通知示意图，参见图8，其中通知内容810可以在目标显示区域中进行单侧显示，此外，当通知内容820的字数超过单侧显示的字符数阈值(如10)，可以在目标显示区域关于横屏下的竖直轴830而对称的显示区域，进行通知内容820中剩余部分的显示。

以上对备选的多种通知样式进行介绍。基于此，针对具体的应用消息，具体采用多种通知样式中的哪种，可以利用预先训练的样式预测模型进行预测。在一个具体的实施例中，可以将上述目标显示区域和通知时长，共同输入样式预测模型中，得到针对所述应用消息的通知样式。在一个更具体的实施例中，其中样式预测模型基于分类算法，具体包括支持向量机SVM算法、决策树算法、贝叶斯分类算法等等。在一个更具体的实施例中，其中样式预测模型可以基于以下步骤而预先训练：首先，获取多个标注样本，在一个例子中，可以获取多个标注样本，其中每个标注样本可以包括对应的目标显示区域和通知样式标签，可以理解，其中通知样式标签对应上述备选的多种通知样式中的某一种；接着，利用多个标注样本训练样式预测模型。

以上，可以确定针对应用消息的通知样式。在一个具体的实施例中，字体颜色属于通知样式的设计元素之一，也就是说，上述通知样式的确定意味着字体颜色随之确定。在另一个具体的实施例中，字体颜色不属于通知样式的设计元素，此时，还可以另外再对字体颜色进行确定。

在一个更具体的实施例中，在上述步骤S330之后，所述方法还可以包括：将所述目标显示区域输入预先训练的字体颜色预测模型中，得到用于显示所述通知内容的字体颜色。在一个例子中，其中字体颜色预测模型可以采用LR算法、随机森林算法等。在另一个更具体的实施例中，在上述步骤S330之后，所述方法还可以包括：先获取目标显示区域的颜色特征，再利用哈希算法计算该颜色特征的哈希值，基于预先计算的多个备选字体颜色所对应的多个哈希值，从多个哈希值中选取与该颜色特征的哈希值不相同的哈希值，并将此哈希值对应的备选字体颜色确定为通知内容的字体颜色。如此，可以使得确定的用于显示通知内容的字体颜色与目标显示区域中原屏幕内容的颜色不同或反差较大，便于用户对通知内容的查看。

另外，对于通知内容的背景颜色和背景透明度，在一个具体的实施例中，可以默认设置成无背景。在另一个具体的实施例中，背景颜色和背景透明度两者可以属于通知样式的设计元素之一，也就是说，上述通知样式的确定意味着两者随之确定。在又一个具体的实施例中，两者不属于通知样式的设计元素，此时，还可以另外再对两者进行确定。需要理解，从视觉效果上来看，字体颜色、背景颜色和背景透明度三者通常是具有关联关系的，基于此，可以利用多任务模型，对这三者同时进行确定。

在一个更具体的实施例中，在上述步骤S330之后，所述方法还可以包括：将目标显示区域输入预先训练的多任务模型中，得到用于显示通知内容的字体颜色、背景颜色和背景透明度。在一个例子中，其中多任务模型可以采用分类算法，具体包括支持向量机SVM算法、决策树算法、贝叶斯分类算法等。在一个例子中，多任务模型可以包括针对三个不同分类任务的分类模型，具体可以包括用于预测字体颜色的第一分类模型，用于预测背景颜色的第二分类模型和用于预测背景透明度的第三分类模型。需要说明的是，针对多任务模型的使用过程和训练过程类似，在此不作赘述。

根据一个具体的例子，在上述确定出的通知样式为弹幕样式、消息条数简易样式和横幅样式中的一个的情况下，可以采用上述多任务模型确定字体颜色、背景颜色和背景透明度。而在上述确定出的通知样式为横屏字幕样式，横屏对联样式的情况下，可以默认通知内容中无背景，并且，采用上述字体颜色预测模型确定字体颜色。

由上可知，通过步骤S310-步骤S330，可以确定出目标显示区域，用于展示针对应用消息的通知内容。此外，还可以确定出以下中的一种或多种：针对通知内容的通知时长、通知样式、字体颜色、背景颜色和背景透明度。这些确定出的内容，均可以用于对通知内容的展示。进一步地，在一个实施例中，在确定以上内容后，所述方法还可以包括：在目标显示区域中显示针对应用消息的通知内容，用于通知用户已接收到该应用消息。在一个例子中，如图9所示，其中示出在目标显示区域中，以横屏字幕样式显示的通知内容，即钉钉消息：会议10:30开始，并且通知时长可以为1.5s。

此外需要说明的是，通常，每接收到一条应用消息，就会触发一次消息通知方式的决策。比如说，上午10:00接收到应用消息A，则执行上述一次上述方法，确定针对该应用消息A的消息通知方式A。之后，下午1:00接收到应用消息B，则再次执行上述方法，确定针对该应用消息B的消息通知方式B。但是，在连续接收到多条应用消息的情况下，通常只会在预定的时间窗口(如3S或5S等)内进行一次决策，然后在该时间窗口内接收到的应用消息都采用该一次决策所确定的消息通知方式。在一个实施例中，假定在第一时刻接收到针对第一应用消息的通知请求，此时，会触发执行上述方法以得到第一目标显示区域，接着在时间窗口内又接收到针对N(N是正整数，如N＝1或5)条应用消息的通知请求，那么，将不会对这N条应用消息另外进行消息通知方式的决策，而是直接利用针对第一应用消息确定出的第一目标显示区域进行消息通知。在一个例子中，假定针对第一应用消息确定出的通知样式是消息条数简易样式，那么会基于在时间窗口内接收到的消息，对通知内容中的消息条数进行累加显示。在一个具体的例子中，如图10所示，在预定时间窗口(如5S)内，通知内容中包括的消息条数由1变化至2再变化为3。

综上，采用本说明书实施例披露的应用消息的通知方法，可以使得消息通知方式契合终端设备所处的环境，从而使用户在不遗漏任何一条消息的情况下，不被干扰，享有使用终端的流畅体验。

下面再结合一个具体的实施例，对本说明书披露的消息通知方法进行介绍。具体地，图11示出根据一个实施例的消息通知方法流程框图，所述方法的执行主体可以为终端设备。如图11所示，所述方法流程可以包括以下步骤：

步骤S1101，接收到应用消息的通知请求。

步骤S1102，检测终端设备是否处于解锁状态。在检测到处于未解锁状态的情况下，在步骤S1103，采用预置的锁屏消息通知方式进行消息通知。

在检测到处于解锁状态的情况下，一方面，执行步骤S1104-步骤S1106。

具体地，在步骤S1104，对预定时长(如2S)内终端设备中显示的界面进行连续截取，得到预定数量(如4张)的多张截屏图片。

步骤S1105，将多张截屏图片分别输入第一区域预测模型中，得到对应的多个第一显示区域。

步骤S1106，将多个第一显示区域作为区域序列输入第二区域预测模型中，得到目标显示区域，用于显示针对应用消息的通知内容。

另一方面，执行步骤S1107和步骤S1108。

具体地，在步骤S1107，获取预定类型的特征信息，其中预定类型包括以下中的一种或多种：所述终端设备的设备信息，所述显示的界面所属应用的应用信息，在预定历史时段内操作所述终端设备产生的操作行为数据。

在步骤S1108，将获取的特征信息输入预先训练的时长预测模型中，得到针对通知内容的停留时长。

在步骤S1106，以及步骤S1108之后，执行以下步骤：

步骤S1109，将目标显示区域和停留时长输入预先训练的样式预测模型中，得到针对通知内容的通知样式，其中通知样式属于以下中的一种：弹幕样式、消息条数简易样式、横幅样式、字幕样式和横屏对联样式。

步骤S1110，判断通知样式是否属于第一样式集合，第一样式集合中包括弹幕样式、消息条数简易样式和横幅样式。

进一步地，一方面，在属于第一样式集合的情况下，执行步骤S1111，将目标显示区域输入预先训练的多分类任务模型中，得到字体颜色、背景颜色和背景亮度。在步骤S1112，基于确定出的目标显示区域、通知样式、字体颜色、背景颜色和背景亮度展示针对应用消息的通知内容。

另一方面，在不属于第一样式集合的情况下，执行步骤S1113，将目标显示区域输入字体颜色预测模型中，得到字体颜色。在步骤S1114，基于确定出的目标显示区域、通知样式和字体颜色，并且，以无展示背景的方式，展示针对应用消息的通知内容。

综上，采用本说明书实施例披露的应用消息的通知方法，可以使得消息通知方式契合终端设备所处的环境，从而使用户在不遗漏任何一条消息的情况下，不被干扰，享有使用终端的流畅体验。

与上述方法相对应的，本说明书实施例还披露一种通知装置。具体地，图12示出根据一个实施例的应用消息的通知装置结构图，所述装置集成于终端设备。如图12所示，所述装置1200可以包括：

截屏单元1210，配置为响应于接收到应用消息的通知请求，对所述终端设备中显示的界面进行截取，得到若干截屏图片。区域预测单元1220，配置为将所述若干截屏图片分别输入第一区域预测模型中，得到对应的若干第一显示区域；所述第一区域预测模型基于多张带标注的样本截屏图片而预先训练，所述标注对应于样本截屏图片中不包含重要内容的区域。目标区域确定单元1230，配置为基于所述若干第一显示区域，确定目标显示区域，用于显示针对所述应用消息的通知内容。

在一个实施例中，所述截屏单元1210具体配置为：响应于接收到所述通知请求，检测所述终端设备的屏幕是否处于解锁状态；在处于解锁状态的情况下，对所述显示的界面进行截取，得到所述若干截屏图片。

在一个实施例中，所述区域预测单元1220具体配置为：分别对所述若干截屏图片进行颜色特征和/或纹理特征的提取，得到对应的若干图片特征向量；将所述若干图片特征向量分别输入所述第一区域预测模型中，得到所述若干第一显示区域。

在一个实施例中，其中所述截屏单元1210具体配置为：对预定时长内显示的界面进行连续截取，得到多张截屏图片。其中所述区域预测单元1220具体配置为：将所述多张截屏图片分别输入所述第一区域预测模型中，得到对应的多个第一显示区域；其中目标区域确定单元1230具体配置为：将所述多个第一显示区域作为区域序列，输入预先训练的第二区域预测模型中，得到所述目标显示区域。

进一步地，在一个实施例中，所述第二区域预测模型基于训练单元而预先训练，所述训练单元配置为：获取多个训练样本，其中每个训练样本中包括对应的历史区域序列和标注有历史目标显示区域的标注截屏图片；其中所述历史区域序列包括将多张历史截屏图片分别输入所述第一区域预测模型而得到的多个区域，所述多张历史截屏图片是在所述标注截屏图片的截取时刻之前的所述预定时长内截取的图片。利用所述多个训练样本，训练所述第二区域预测模型。

在一个实施例中，所述装置1200还包括：特征信息获取单元1240，配置为获取预定类型的特征信息，所述预定类型包括以下中的一种或多种：所述终端设备的设备信息，所述显示的界面所属应用的应用信息，在预定历史时段内操作所述终端设备产生的操作行为数据；时长预测单元1250，配置为将所述特征信息输入预先训练的时长预测模型中，得到针对所述应用消息的通知时长。

在一个实施例中，所述装置1200还包括：样式预测单元1260，配置为将所述目标显示区域和通知时长，共同输入预先训练的样式预测模型中，得到针对所述应用消息的通知样式。

在一个实施例中，所述通知样式属于以下中的一种：弹幕样式、消息条数简易样式、横幅样式、横屏字幕样式、横屏对联样式。

在一个实施例中，所述装置1200还包括：字体颜色预测单元1270，配置为将所述目标显示区域输入预先训练的字体颜色预测模型中，得到用于显示所述通知内容的字体颜色。

在一个实施例中，所述装置1200还包括：多任务预测单元1280，配置为将所述目标显示区域输入预先训练的多任务模型中，得到用于显示所述通知内容的字体颜色、背景颜色和背景透明度。

在一个实施例中，所述装置1200还包括：显示单元1290，配置为在所述目标显示区域中显示所述通知内容，用于通知用户已接收到所述应用消息。

综上，采用本说明书实施例披露的应用消息的通知装置，可以使得消息通知方式契合终端设备所处的环境，从而使用户在不遗漏任何一条消息的情况下，不被干扰，享有使用终端的流畅体验。

如上，根据又一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图3或图11所描述的方法。

根据又一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图3或图11所描述的方法。

本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书披露的多个实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。

以上所述的具体实施方式，对本说明书披露的多个实施例的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书披露的多个实施例的具体实施方式而已，并不用于限定本说明书披露的多个实施例的保护范围，凡在本说明书披露的多个实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书披露的多个实施例的保护范围之内。

Claims (22)

1.一种应用消息的通知方法，所述方法的执行主体为终端设备，所述方法包括：

响应于接收到应用消息的通知请求，对所述终端设备中显示的界面进行截取，得到若干截屏图片；

将所述若干截屏图片分别输入第一区域预测模型中，得到对应的若干第一显示区域；所述第一区域预测模型基于多张带标注的样本截屏图片而预先训练，所述标注对应于样本截屏图片中不包含重要内容的区域；

基于所述若干第一显示区域，确定目标显示区域，用于显示针对所述应用消息的通知内容；

其中对所述终端设备中显示的界面进行截取，得到若干截屏图片，包括：

对预定时长内显示的界面进行连续截取，得到多张截屏图片；

其中将所述若干截屏图片分别输入第一区域预测模型中，得到对应的若干第一显示区域，包括：

将所述多张截屏图片分别输入所述第一区域预测模型中，得到对应的多个第一显示区域；

其中基于所述若干第一显示区域，确定目标显示区域，包括：

将所述多个第一显示区域作为区域序列，输入预先训练的第二区域预测模型中，得到所述目标显示区域。

2.根据权利要求1所述的方法，其中，响应于接收到应用消息的通知请求，对所述终端设备中显示的界面进行截取，得到若干截屏图片，包括：

响应于接收到所述通知请求，检测所述终端设备的屏幕是否处于解锁状态；

在处于解锁状态的情况下，对所述显示的界面进行截取，得到所述若干截屏图片。

3.根据权利要求1所述的方法，其中，将所述若干截屏图片分别输入第一区域预测模型中，得到对应的若干第一显示区域，包括：

分别对所述若干截屏图片进行颜色特征和/或纹理特征的提取，得到对应的若干图片特征向量；

将所述若干图片特征向量分别输入所述第一区域预测模型中，得到所述若干第一显示区域。

4.根据权利要求1中所述的方法，其中，所述第二区域预测模型基于以下步骤而预先训练：

获取多个训练样本，其中每个训练样本中包括对应的历史区域序列和标注有历史目标显示区域的标注截屏图片；其中所述历史区域序列包括将多张历史截屏图片分别输入所述第一区域预测模型而得到的多个区域，所述多张历史截屏图片是在所述标注截屏图片的截取时刻之前的所述预定时长内截取的图片；

利用所述多个训练样本，训练所述第二区域预测模型。

5.根据权利要求1所述的方法，其中，在接收到应用消息的通知请求之后，所述方法还包括：

获取预定类型的特征信息，所述预定类型包括以下中的一种或多种：所述终端设备的设备信息，所述显示的界面所属应用的应用信息，在预定历史时段内操作所述终端设备产生的操作行为数据；

将所述特征信息输入预先训练的时长预测模型中，得到针对所述应用消息的通知时长。

6.根据权利要求5所述的方法，其中，在确定目标显示区域，以及，得到针对所述应用消息的通知时长之后，所述方法还包括：

将所述目标显示区域和通知时长，共同输入预先训练的样式预测模型中，得到针对所述应用消息的通知样式。

7.根据权利要求6所述的方法，其中，所述通知样式属于以下中的一种：弹幕样式、消息条数简易样式、横幅样式、横屏字幕样式、横屏对联样式。

8.根据权利要求1、5-7中任一项所述的方法，其中，在确定目标显示区域之后，所述方法还包括：

将所述目标显示区域输入预先训练的字体颜色预测模型中，得到用于显示所述通知内容的字体颜色。

9.根据权利要求1、5-7中任一项所述的方法，其中，在确定目标显示区域之后，所述方法还包括：

将所述目标显示区域输入预先训练的多任务模型中，得到用于显示所述通知内容的字体颜色、背景颜色和背景透明度。

10.根据权利要求1所述的方法，其中，在确定目标显示区域之后，所述方法还包括：

在所述目标显示区域中显示所述通知内容，用于通知用户已接收到所述应用消息。

11.一种应用消息的通知装置，所述装置集成于终端设备，所述装置包括：

截屏单元，配置为响应于接收到应用消息的通知请求，对所述终端设备中显示的界面进行截取，得到若干截屏图片；

区域预测单元，配置为将所述若干截屏图片分别输入第一区域预测模型中，得到对应的若干第一显示区域；所述第一区域预测模型基于多张带标注的样本截屏图片而预先训练，所述标注对应于样本截屏图片中不包含重要内容的区域；

目标区域确定单元，配置为基于所述若干第一显示区域，确定目标显示区域，用于显示针对所述应用消息的通知内容；

其中所述截屏单元具体配置为：

对预定时长内显示的界面进行连续截取，得到多张截屏图片；

其中所述区域预测单元具体配置为：

将所述多张截屏图片分别输入所述第一区域预测模型中，得到对应的多个第一显示区域；

其中目标区域确定单元具体配置为：

将所述多个第一显示区域作为区域序列，输入预先训练的第二区域预测模型中，得到所述目标显示区域。

12.根据权利要求11所述的装置，其中，所述截屏单元具体配置为：

响应于接收到所述通知请求，检测所述终端设备的屏幕是否处于解锁状态；

在处于解锁状态的情况下，对所述显示的界面进行截取，得到所述若干截屏图片。

13.根据权利要求11所述的装置，其中，所述区域预测单元具体配置为：

分别对所述若干截屏图片进行颜色特征和/或纹理特征的提取，得到对应的若干图片特征向量；

将所述若干图片特征向量分别输入所述第一区域预测模型中，得到所述若干第一显示区域。

14.根据权利要求11中所述的装置，其中，所述第二区域预测模型基于训练单元而预先训练，所述训练单元配置为：

获取多个训练样本，其中每个训练样本中包括对应的历史区域序列和标注有历史目标显示区域的标注截屏图片；其中所述历史区域序列包括将多张历史截屏图片分别输入所述第一区域预测模型而得到的多个区域，所述多张历史截屏图片是在所述标注截屏图片的截取时刻之前的所述预定时长内截取的图片；

利用所述多个训练样本，训练所述第二区域预测模型。

15.根据权利要求11所述的装置，其中，所述装置还包括：

特征信息获取单元，配置为获取预定类型的特征信息，所述预定类型包括以下中的一种或多种：所述终端设备的设备信息，所述显示的界面所属应用的应用信息，在预定历史时段内操作所述终端设备产生的操作行为数据；

时长预测单元，配置为将所述特征信息输入预先训练的时长预测模型中，得到针对所述应用消息的通知时长。

16.根据权利要求15所述的装置，其中，所述装置还包括：

样式预测单元，配置为将所述目标显示区域和通知时长，共同输入预先训练的样式预测模型中，得到针对所述应用消息的通知样式。

17.根据权利要求16所述的装置，其中，所述通知样式属于以下中的一种：弹幕样式、消息条数简易样式、横幅样式、横屏字幕样式、横屏对联样式。

18.根据权利要求11、15-17中任一项所述的装置，其中，所述装置还包括：

字体颜色预测单元，配置为将所述目标显示区域输入预先训练的字体颜色预测模型中，得到用于显示所述通知内容的字体颜色。

19.根据权利要求11、15-17中任一项所述的装置，其中，所述装置还包括：

多任务预测单元，配置为将所述目标显示区域输入预先训练的多任务模型中，得到用于显示所述通知内容的字体颜色、背景颜色和背景透明度。

20.根据权利要求11所述的装置，其中，所述装置还包括：

显示单元，配置为在所述目标显示区域中显示所述通知内容，用于通知用户已接收到所述应用消息。

21.一种计算机可读存储介质，其上存储有计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-10中任一项的所述的方法。

22.一种计算设备，包括存储器和处理器，其中，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-10中任一项所述的方法。

Images