CN112261431A

CN112261431A - 图像处理方法、装置及电子设备

Info

Publication number: CN112261431A
Application number: CN202011131662.4A
Authority: CN
Inventors: 谢庆地; 费薇; 张晓平
Original assignee: Lenovo Beijing Ltd
Current assignee: Lenovo Beijing Ltd
Priority date: 2020-10-21
Filing date: 2020-10-21
Publication date: 2021-01-22
Anticipated expiration: 2040-10-21
Also published as: CN112261431B

Abstract

本申请提供了一种图像处理方法、装置及电子设备，该方法包括：获得第一终端侧的第一图像；确定第二终端侧的用户最近一次视线偏离的起始时刻，起始时刻为至少基于当前时刻之前第二终端侧的至少一帧图像，确定出的第二终端侧的用户的视线最近一次偏离第二终端的显示屏的起始时刻；获得第一终端从起始时刻开始向第二终端传输的至少一帧第一历史图像，第一历史图像为第一终端侧在第一图像之前获得的图像；基于至少一帧第一历史图像，确定第一图像中属于起始时刻之后新增的字符集；控制第二终端输出标示有字符集的第一图像。本申请的方案可以减少由于用户视线偏离显示屏而无法及时定位出在线交互对象最新传输的字符内容的情况。

Description

图像处理方法、装置及电子设备

技术领域

本申请涉及图像处理技术领域，更具体地说，涉及一种图像处理方法、装置及电子设备。

背景技术

交互系统，也称在线交互系统，可以实现不同用户通过网络实现多媒体数据的共享，如，在线交互系统所能实现的在线交互可以包括在线会议、在线课堂或者其他类型的在线直播等。如，老师与学生可以基于在线交互系统实现在线课程的讲解与交流。

在一些在线交互场景中，用户可能需要手写一些内容，并通过在线交互系统将包含该用户手写的内容的视频图像传输给在线交互的其他用户。在此基础上，在线交互系统的其他用户便可以基于该在线交互系统看到用户当前手写的内容。

但是，很多情况下用户需要在较大范围区域内不断变化书写的位置，在该种情况下，如果在线交互系统的其他用户由于记录笔记等原因而没有及时查看在线交互系统传输的视频，则很可能无法准确确定出该视频图像中哪部分是该用户最新手写的内容。如，以在线课堂为例，在老师通过在线课堂向学生直播课程的过程中，老师不同时刻可能会在黑板的不同区域写板书，如果板书内容较多且老师写板书的区域不连续，那么学生由于记笔记或者走神等原因导致学生无法及时定位到老师刚刚写完的板书内容。

发明内容

本申请提供了一种图像处理方法、装置及电子设备。

其中，一种图像处理方法，包括：

获得第一终端侧的第一图像，所述第一终端通过交互系统与第二终端建立有通讯连接；

确定所述第二终端侧的用户最近一次视线偏离的起始时刻，所述起始时刻为至少基于当前时刻之前所述第二终端侧的至少一帧图像，确定出的所述第二终端侧的用户的视线最近一次偏离所述第二终端的显示屏的起始时刻；

获得所述第一终端从所述起始时刻开始向所述第二终端传输的至少一帧第一历史图像，所述第一历史图像为所述第一终端侧在所述第一图像之前获得的图像；

基于所述至少一帧第一历史图像，确定所述第一图像中属于所述起始时刻之后新增的字符集；

控制所述第二终端输出标示有所述字符集的所述第一图像。

在一种可能的实现方式中，所述确定所述第二终端侧的用户最近一次视线偏离的起始时刻，包括：

确定所述第二终端侧的用户最近一次视线偏离的目标时间段，所述目标时间段为至少基于当前时刻之前所述第二终端侧的至少一帧图像，确定出的所述第二终端侧的用户的视线最近一次偏离所述第二终端的显示屏的连续时间段；

获得所述目标时间段的起始时刻和最后时刻；

所述获得所述第一终端从所述起始时刻开始向所述第二终端传输的至少一帧第一历史图像，包括：

如所述目标时间段的最后时刻距离当前时刻的时长小于时长阈值，获得所述第一终端从所述起始时刻开始向所述第二终端传输的至少一帧第一历史图像。

在又一种可能的实现方式中，还包括：

获得所述第二终端侧的第二图像；

如基于所述第二图像确定出所述第二终端侧的用户的视线偏离所述第二终端的显示屏，将获得所述第二图像的时刻标记为视线偏离的时刻；

所述确定所述第二终端侧的用户最近一次视线偏离的起始时刻，包括：

基于已标记的视线偏离的时刻，确定所述第二终端侧的用户最近一次视线偏离的起始时刻。

在又一种可能的实现方式中，所述控制所述第二终端输出标示有所述字符集的所述第一图像，包括：

向所述第二终端传输所述第一图像，并指示所述第二终端标示出所述第一图像中的所述字符集，以使得所述第二终端输出标示有所述字符集的第一图像。

将所述第一图像处理为目标图像，所述目标图像中所述字符集采用设定格式效果标示；

控制所述第二终端输出所述目标图像。

在又一种可能的实现方式中，所述将所述第一图像处理为目标图像，包括：

在所述第一图像上构建透明图层，并基于所述第一图像中所述字符集中字符的目标坐标位置，在所述透明图层中所述字符的目标坐标位置处构建具有设定格式效果的所述字符，得到由所述第一图像和处理后的透明图层组成的目标图像。

在又一种可能的实现方式中，所述确定所述第二终端侧的用户最近一次视线偏离的起始时刻，包括：

如所述第一图像中存在设定类型的字符展示对象，则确定所述第二终端侧的用户最近一次视线偏离的起始时刻；

所述基于所述至少一帧第一历史图像，确定所述第一图像中属于所述起始时刻之后新增的字符集，包括：

基于所述至少一帧第一历史图像中所述字符展示对象内的字符，确定所述第一图像的所述字符展示对象内属于所述起始时刻之后新增的字符集。

其中，一种图像处理装置，包括：

第一图像获得单元，用于获得第一终端侧的第一图像，所述第一终端通过交互系统与第二终端建立有通讯连接；

时刻确定单元，用于确定所述第二终端侧的用户最近一次视线偏离的起始时刻，所述起始时刻为至少基于当前时刻之前所述第二终端侧的至少一帧图像，确定出的所述第二终端侧的用户的视线最近一次偏离所述第二终端的显示屏的起始时刻；

第二图像获得单元，用于获得所述第一终端从所述起始时刻开始向所述第二终端传输的至少一帧第一历史图像，所述第一历史图像为所述第一终端侧在所述第一图像之前获得的图像；

字符确定单元，用于基于所述至少一帧第一历史图像，确定所述第一图像中属于所述起始时刻之后新增的字符集；

标示控制单元，用于控制所述第二终端输出标示有所述字符集的所述第一图像。

在一种可能的实现方式中，所述时刻确定单元，包括：

时间段确定子单元，用于确定所述第二终端侧的用户最近一次视线偏离的目标时间段，所述目标时间段为至少基于当前时刻之前所述第二终端侧的至少一帧图像，确定出的所述第二终端侧的用户的视线最近一次偏离所述第二终端的显示屏的连续时间段；

时刻确定子单元，用于获得所述目标时间段的起始时刻和最后时刻；

所述第二图像获得单元具体为，用于如所述目标时间段的最后时刻距离当前时刻的时长小于时长阈值，获得所述第一终端从所述起始时刻开始向所述第二终端传输的至少一帧第一历史图像。

其中，一种电子设备，包括：处理器和存储器；

其中，所述处理器用于执行如上任一项所述的图像处理方法；

所述存储器用于存储所述处理器执行操作所需的程序。

通过以上方案可知，在第一终端在向第二终端发送第一终端获得的第一图像之前，会确定第二终端侧的用户最近一次视线偏离的起始时刻，并确定该第一图像中属于该起始时刻之后新增的字符集。在此基础上，第一终端通过控制第二终端输出标示有该字符集的第一图像，因此，即使第二终端侧的用户存在视线偏离，该用户也可以根据该第一图像中标示出的字符集可以准确并快速的确定新增的内容。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请的方案所适用的在线交互系统的一种组成结构示意图；

图2为本申请提供的图像处理方法一个实施例的流程示意图；

图3为本申请提供的图像处理方法又一个实施例的流程示意图；

图4为本申请提供的图像处理方法又一个实施例的流程示意图；

图5为本申请的图像处理方法在一种应用场景中的实现流程示意图；

图6为本申请的图像处理装置一个实施例的组成结构示意图；

图7为本申请提供的电子设备一个实施例的组成架构示意图。

说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等(如果存在)是用于区别类似的部分，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示的以外的顺序实施。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的方案适用于基于交互系统实现不同终端之间持续交互图像的场景。

其中，交互系统可以为在线会议系统，还可以为在线课堂系统等实现智能教育的在线教育系统，还可以是涉及到多人交互的直播系统等。

本申请的方案可以应用于交互系统的任意一侧的终端，通过本申请的方案可以实现：在终端的用户与其他终端的用户在线交互过程中，即使该终端的用户由于走神或者离开终端等原因导致用户视线未注视终端的显示屏，也可以在用户视线重新注视终端的显示屏后，使得该用户可以及时确定其他终端最新手写或者输入的新增内容。

为了便于理解，下面先以交互系统的一种情况为例，对本申请所适用的场景进行介绍，如图1所示，其示出了本申请在线交互系统的一种组成结构示意图。

在图1中是以交互系统为直播课堂为例进行说明。

由图1可知，在图1中可以包括：在线课堂系统101、至少一个老师的第一客户端102和至少一个学生的第二客户端102。

其中，在线课堂系统101可以包括至少一台用于实现在线课堂的服务器1011，如，在线课堂系统可以包括多个服务器构成的服务器集群或者云平台等等。

其中，第一客户端和第二客户端均与在线课堂系统建立有通信连接，以使得第一客户端和第二客户端接入在线课堂系统。在此基础上，老师可以通过第一客户端向在线课堂系统传输需要直播的教学视频，而在线课堂系统会将教学视频分发给各个学生的第一客户端，从而实现了线上直播形式的网络课堂。

可以理解的是，第一客户端通过在线课堂系统传输的教学视频至少可以包括老师讲授的课程内容的图像。如，该图像中可以包括老师在黑板或者白板上书写的课程讲解内容。

当然，教学视频还可以包括老师教授的课程的语音等信息中的一种或者多种。

可以理解的是，在基于在线课堂系统进行课程学习的过程中，学生侧的第二客户端也可以将学生的包含音频和/或视频的多媒体数据发送给老师侧的第一客户端，以使得老师可以通过第一客户端获得各个学生的课程学习状态，或者是，通过学生的语音获知学生所存在的问题等。

需要说明的是，图1是以在线课堂这一在线交互场景为例进行说明。但是对于其他在线交互场景也类似，如，对于在线视频会议，同样需要多个用户通过客户端与在线视频会议系统的服务器建立通过连接，以使得参与会议的不同用户的客户端可以通过在线视频会议传输用户侧书写或者输入的内容等的图像。当然，对于基于其他交互系统的在线交互场景也类似，在此不再赘述。

下面结合流程图对本申请的图像处理方法进行介绍。

如图2所示，其示出了本申请一种图像处理方法一个实施例的流程示意图，本实施例的流程示意图可以应用于第一终端，其中，该第一终端可以通过交互系统与第二终端建立有通讯连接。如，该第一终端可以为图1中在线课堂的第一客户端所在的终端。又如，该第一终端可以为在线视频会议中任意一个终端。

本实施例的方法可以包括：

S201，获得第一终端侧的第一图像。

其中，第一图像为第一终端通过其图像采集单元采集到的图像。

可以理解的是，在第一终端与第二终端通过交互系统建立有通讯连接的情况下，第一终端侧获得的第一图像为需要传递给第二终端的图像。

在本申请中，该交互系统为基于网络能够实现多个用户之间同步共享该多个用户的多媒体数据的平台。如交互系统可以为前面提到的直播平台或者在线课堂的在线课堂系统等。

可以理解的是，在本申请中该第一图像可以包括至少一个字符。如，在直线课堂中，第一图像可以包括老师侧在黑板上输入的字符等讲解内容，或者通过电脑输入并投影的字符等内容。又如，对于在线会议场景，可以包括会议的内容分享者手写的文字内容或者展现的包含文字内容的PPT的图像等。

S202，确定第二终端侧的用户最近一次视线偏离的起始时刻。

其中，起始时刻为至少基于当前时刻之前第二终端侧的至少一帧图像，确定出的第二终端侧的用户的视线最近一次偏离第二终端的显示屏的起始时刻。

其中，第二终端侧的用户的视线偏离是指用户的视线离开第二电子设备的显示屏上。如，由于用户低头记笔记、离开第二终端或者用户转头等导致用户的视线离开该第二终端侧的显示屏，使得用户无法通过第二终端及时查看到第一终端侧发送的图像中的内容。

可以理解的是，在第一终端与第二终端通过在线系统建立通讯连接的情况下，在第一终端侧可以将第一终端采集到的图像传输给第二终端，同时，第二终端侧可以将第二终端采集到的图像传输给第一终端。基于此，第一终端可以获得第二终端侧的图像，而第二终端侧的图像可以包含该第二终端侧的用户的用户图像，因此，通过分析第二终端侧的图像可以识别出该第二终端侧的用户的视线情况。

如，如果基于第二终端侧的图像分析出用户视线未处于显示屏上，则说明该图像对应的采集时刻用户的视线偏离第二终端侧的显示屏。

可以理解的是，用户的视线离开第二电子设备可能会持续一段时间，为了能够确定出用户从哪个时刻开始未能通过第二终端观看到第一终端侧传输的图像，则需要基于第二终端侧的图像分析出用户最近一次视线偏离的开始时刻，即此处的起始时刻。

需要说明的是，本申请中该第一终端可以通过交互系统与一个或者多个第二终端建立通讯连接，但是针对每个第二终端，该第一终端所进行的处理过程均相似，对此不加限制。

S203，获得第一终端从该起始时刻开始向该第二终端传输的至少一帧第一历史图像。

其中，第一历史图像为第一终端侧在第一图像之前获得的图像。

可以理解的是，第一终端从该起始时刻开始向第二终端传输的第一历史图像可以认为是第二终端侧从该起始时刻开始输出的至少一帧第一历史图像。由于第二终端侧的用户从该起始时刻开始存在视线偏离该第二终端的显示屏，因此，该至少一帧第一历史图像属于第二终端侧的用户由于视线偏离而未观看到的图像。

S204，基于该至少一帧第一历史图像，确定第一图像中属于起始时刻之后新增的字符集。

其中，该字符集中包含第一图像中属于起始时刻之后新增的字符，也即第一图像中相对该至少一帧第一历史图像新增的字符。

如，可以结合图像识别或者字符识别等技术，通过比对至少一帧第一历史图像和该第一图像，可以确定出第一图像存在而该至少第一帧历史图像中不存在的字符，得到该字符集。

可以理解的是，如果第一图像中存在属于该起始时刻之后新增的字符，则该字符集包括至少一个字符；如果第一图像中不存在该起始时刻之后新增的字符，那么该字符集可以为空集。

如，以在线课堂为例，如果在线课堂中老师在通过各学生的第二终端传输的图像确认学生大都在记笔记，而老师可能会等待一段时间，在等待的一段时间内老师可能并未手写新的内容，该种情况下，对于任意一个第二终端，第一图像中都不存在新增的字符；当然，如果某些学生记笔记的过程中，老师仍在持续书写教案等内容，则针对这些学生的第二终端而言，该第二图像中存在新增的字符。

S205，控制第二终端输出标示有字符集的第一图像。

可以理解的是，通过在第一图像中标示出字符集可以使得第二终端的用户直观看到在其视线离开显示屏的时间内未及时观看到的字符。

在一种可能的实现方式中，第一终端可以向第二终端传输该第一图像，并指示该第二终端标示出该第一图像中的字符集，以使得第二终端输出标示有字符集的第一图像。

例如，第一终端在向第二终端传输该第一图像时，可以向第二终端传输该字符集内的字符在第一图像中的位置坐标，在此基础上，第二终端可以按照字符集中字符的位置坐标，在第一图像的相应位置进行标示。

在又一种可能的情况中，第一终端还可以将该第一图像处理为目标图像，该目标图像与第一图像的区别仅在于：该目标图像中该字符集采用设定格式效果标示。在此基础上，第一终端可以控制第二终端输出目标图像。

其中，将第一图像处理为目标图像的方式也可以有多种可能。如，可以是在第一图像上构建透明图层，并基于该第一图像中字符集中字符的目标坐标位置，在该透明图层中该字符的目标坐标位置处构建具有设定格式效果的该字符，得到由该第一图像和处理后的透明图层组成的目标图像。

其中，将该目标坐标位置处构建具有设定格式效果的字符集可以是仅仅在该目标位置处添加设定格式效果，以使得透明层的该目标坐标位置处呈现具有该格式效果的字符；还可以是在该目标位置处添加具有该设定格式效果的字符，使得具有设定格式效果的字符遮挡第一图像中该字符，最终使得目标图像中字符呈现具有设定格式效果。

当然，除了在第一图像中添加透明层之外，也可以直接在第一图像中对字符集内的字符进行颜色标注等效果设定，对此不加限制。

可见，本申请中，在第一终端在向第二终端发送第一终端获得的第一图像之前，会确定第二终端侧的用户最近一次视线偏离的起始时刻，并确定该第一图像中属于该起始时刻之后新增的字符集。在此基础上，第一终端通过控制第二终端输出标示有该字符集的第一图像，从而使得第二终端侧的用户根据该第一图像中标示出的字符集可以准确并快速的确定新增的字符内容，减少由于用户视线偏离第二终端的显示屏而无法及时确定第一终端最新传输的字符内容的情况。

可以理解的是，在本申请实施例中，确定该第二终端侧的用户最近一次视线偏离的起始时刻方式可以有多种。为了便于理解，下面以一种情况为例说明，如图3所示，其示出了本申请的图像处理方法又一个实施例的流程示意图，本实施例的方法可以应用于第一终端，该第一终端通过交互系统与至少一个第二终端建立有通讯连接，本实施例的方法包括：

S301，获得第二终端侧的第二图像。

第二终端侧的图像为第二终端侧采集到的图像。本实施例中，为了便于与第一终端侧的第一图像区分，将第二终端侧的图像称为第二图像。

其中，在第一终端与第二终端建立有通讯连接的情况下，第一终端和第二终端之间会相互传输图像，因此，第一终端会持续接收第二终端传输的第二图像。

S302，如基于该第二图像确定出第二终端侧的用户的视线偏离该第二终端的显示屏，将获得该第二图像的时刻标记为视线偏离的时刻。

如前面所述，可以通过对第二图像进行图像分析，分析第二终端侧的用户是否视线偏离该第二终端。如，如果第二图像中包含用户低头，或者用户的眼睛偏向一边等图像内容，均可以说明该用户的视线偏离该第二终端的显示屏。

可以理解的是，如果第二图像携带有该第二图像的采集时刻，可以将该第二图像的采集时刻确定为获得该第二图像的时刻。如果第二图像未携带有该第二图像的采集时刻，由于第一终端从第二终端获得该第二图像的时刻与第二终端采集该第二图像的时刻之间的时间间隔较小，因此，可以认为第一终端获得第二图像的时刻为第一终端的采集时刻，也即次数获得第二终端的时刻。

将获得第二图像的时刻标记为视线偏离时刻可以是采用视线偏离记录表记录记录获得该第二图像的时刻。当然，还可以有其他标记视线偏离时刻的方式，对此不加限制。

可以理解的是，在第一终端与第二终端建立有通讯连接的情况下，以上步骤S301和S302可以被多次执行。

需要说明的是，获得第二终端侧的第二图像之后，可以是每帧第二图像均分析用户的视线情况，以确定是否存在用户的视线偏离显示屏的情况；也可以是每隔设定帧对获得的第二图像采样一次，对采样的第二图像分析用户的视线情况。

S303，获得第一终端侧的第一图像。

以上步骤S301和S303的顺序并不限于图3所示，在实际应用中，第一终端侧和第二终端侧需要相互传输各自的图像，且每个终端向对端传输的图像与对端侧是否传输图像没有直接关系。

S304，基于已标记的视线偏离的时刻，确定第二终端侧的用户最近一次视线偏离的起始时刻。

在一种可能的情况中，根据已标记的视线偏离时刻可以确定出第二终端侧存在视线偏离的各个时间区间，因此，可以获得最近一次视线偏离的时间区间的起始时刻。

可以理解的是，如果标记的相邻两个视线偏离的时刻之间的时间间隔较大，则说明这两个视线偏离的时刻之间，第二终端的用户的视线已经重新注视了该显示屏，在该种情况下，这两个视线偏离的时刻分别属于两个视线偏离的时间区间。

在又一种可能的情况中，第一终端也可以仅仅保存第二终端的用户最近一次视线偏离相关时刻。在该种情况下，可以直接查询出该最近一次视线偏离的起始时刻。

如，第一终端在获得已标记的视线偏离的时刻之后，如果当前获得该视线偏离的时刻与最近一次保存的视线偏离的时刻之间的时长超过设定时长，则可以删除该最近一次保存的视线偏离的时刻以及最近一次保存的视线偏离的时刻之前标记的时刻。其中，当前获得的该视线偏离的时刻与最近一次保存的视线偏离的时刻之间的时长超过设定时长，则说明当前获得该视线偏离的时刻与该最近一次保存的视线偏离的时刻属于用户两段不同的视线偏移时间段，在此基础上，删除最近一次保存的视线偏离的时刻及之前标记的时刻，可以实现仅保留最近一次视线偏离对应时间段内的各个时刻。

S305，获得第一终端从该起始时刻开始向该第二终端传输的至少一帧第一历史图像。

S306，基于该至少一帧第一历史图像，确定第一图像中属于起始时刻之后新增的字符集。

S307，控制第二终端输出标示有字符集的第一图像。

以上步骤S305、S306和S307可以参见前面实施例的相关介绍，在此不再赘述。

如图4所示，其示出了本申请一种图像处理方法又一个实施例的流程示意图，本实施例的方法可以包括：

S401，获得第一终端侧的第一图像。

S402，确定该第二终端侧的用户最近一次视线偏离的目标时间段。

其中，目标时间段为至少基于当前时刻之前该第二终端侧的至少一帧图像，确定出的该第二终端侧的用户的视线最近一次偏离该第二终端的显示屏的连续时间段。

其中，该目标时间段的确定可以与前面确定最近一次视线偏离的过程相似，如可以基于已标记的视线偏离的时刻，确定第二终端的该用户最近一次视线偏离的目标时间段。

S403，获得该目标时间段的起始时刻和最后时刻。

S404，如该目标时间段的最后时刻距离当前时刻的时长小于时长阈值，获得该第一终端从该起始时刻开始向第二终端传输的至少一帧第一历史图像。

可以理解的是，在该目标时间段内该第二终端侧的用户的视线一直偏离该第二终端的显示屏。在该目标时间段之后用户的视线可能已经注视该第二终端的显示屏，而如果在用户的视线已经注视第二终端的显示屏一段时间后，仍持续在第二终端输出的第一图像中标示出第一图像中从该起始时刻开始新增的字符段，则可能会导致第一图像中标示的字符的内容较多，影响到用户正常观看该第一图像。基于此，本申请在分析第一图像中新增的字符集之后，还会判断该目标时间段的最后时刻距离当前时刻的时长是否小于时长阈值。

其中，如果目标时间段的最后时刻距离当前时刻的时长小于时长阈值，则说明该第二终端的用户的视线仍偏离该第二终端的显示屏，或者是，第二终端的用户视线重新开始注视该第二终端的显示屏的时间较短。在该种情况下，用户希望及时了解到由于自己视线偏离而错过的字符内容。

类似的，如果目标时间段的最后时刻距离当前时刻的时长不小于时长阈值，则说明用户的视线已经重新注释该第二终端的显示屏较长时间。在该种情况中，用户基于该第一图像中已标示出的新增字符，可以了解到自己在视线偏离显示屏的时间段内错过的字符内容，同时，在用户视线重新注释显示屏一段时间后也已经不需要关注第一终端最新传输的字符内容。针对该种情况无需分析第一图像中新增字符并标注。

S405，基于该至少一帧第一历史图像，确定第一图像中属于起始时刻之后新增的字符集。

S406，控制第二终端输出标示有字符集的第一图像。

该步骤S405和S406可以参见前面实施例的相关介绍，在此不再赘述。

在本实施例中，仅在第二终端侧的用户最近一次视线偏离的目标时间段的最后时刻距离当前时刻的时长小于时长阈值的情况下，才会确定待传输给第二终端的第一图像中新增的字符内容，这样既可以有效减少用户无法及时定位该用户视线偏离时间段内新增的字符内容；又可以在用户视线重新注释显示屏一段时间后，减少由于第一图像中大量标示新增字符而影响到用户观看第一图像的观看质量的情况。

在本申请以上实施例中，考虑到有些交互系统中的用户仅仅关系特定的字符展示对象内的字符，而对其他地方的字符变化并不关心，因此，本申请还可以在第一终端获得第一图像之后，分析该第一图像中是否存在设定雷子能够的字符展示对象。

其中，该字符展示对象为用于展示字符的工具，且该字符展示对象可以呈现用户手写的内容或者展现用户通过设备投放的内容。通过该字符展示对象可以为交互系统的用户提供更为清晰的内容讲解。如，该字符展示对象可以教师授课所需的黑板或者白板等；该字符展示对象还可以为在线会议中会议参与者讲解内容所需白板或者内容显示屏等。

相应的，如果该第一图像中存在设定类型的字符展示对象，才会确定第二终端侧的用户最近一次视线偏离的起始时刻。

在以上基础上，在确定第一图像中新增的字符集具体可以为：基于该至少一帧第一历史图像中该字符展示对象内的字符，确定该第一图像的字符展示对象内属于该起始时刻之后新增的字符集。

可见，在第一图像中存在字符展示对象的情况下，仅确定第一图像中字符展示对象内属于第二终端侧的用户最近一次视线偏离后新增的字符集，可以实现仅仅向第二终端侧的用户提示该用户未观看到的该字符展示对象内字符集，可以减少误判，可以为在线课堂以及在线会议等场景中的用户提供更精准的提示。

为了便于理解本申请的方案，下面以交互系统为直播课堂(或者说在线课堂)这一应用场景为例说明。在该应用场景中，以老师侧的终端为第一终端，学生侧的终端为第二终端，并以学生需要关注老师侧在黑板上书写的字符为例。

如图5所示，其示出了本申请的图像处理方法在直播课堂这一场景中的应用示意图。

S501，老师侧的第一终端获得老师侧的第一图像。

S502，老师侧的第一终端获得学生侧的第二终端传输的第二图像。

S503，如第一终端基于该第二图像确定出该学生的视线偏离该第二终端的显示屏，将获得该第二图像的时刻标记为学生出现视线偏离的时刻。

可以理解的是，步骤S502和S503的顺序可以与步骤S501的先后顺序并不限定。

S504，如果该第一图像中存在黑板的图像，该第一终端基于已标记的该学生出现视线偏离的时刻，确定该学生最近一次视线偏离第二终端的显示屏的目标时间段，得到该目标时间段的起始时刻和最后时刻。

S505，如该目标时间段的最后时刻距离当前时刻的时长小于时长阈值，第一终端获得该第一终端从该起始时刻开始向第二终端传输的至少一帧第一历史图像。

S506，第一终端基于该至少一帧第一历史图像中黑板内的字符，确定该第一图像中黑板内属于该起始时刻之后新增的字符集。

S507，第二终端生成标示有字符集的第一图像，并发送给该第二终端。

可见，在图5的实施例中，在学生出现视线偏离该学生侧的第二终端的情况下，由于老师侧的第一终端会确定出该学生出现视线偏离的时间段，并在第一终端采集到的第一图像中标示出该时间段内黑板中新增的字符集，这样学生基于标示出的字符集，可以很快确定老师在黑板中最新书写的内容。

对应本申请的一种图像处理方法，本申请还提供了一种图像处理装置。

如图6所示，其示出了本申请一种图像处理装置一个实施例的组成结构示意图，本实施例的装置可以包括：

第一图像获得单元601，用于获得第一终端侧的第一图像，所述第一终端通过交互系统与第二终端建立有通讯连接；

时刻确定单元602，用于确定所述第二终端侧的用户最近一次视线偏离的起始时刻，所述起始时刻为至少基于当前时刻之前所述第二终端侧的至少一帧图像，确定出的所述第二终端侧的用户的视线最近一次偏离所述第二终端的显示屏的起始时刻；

第二图像获得单元603，用于获得所述第一终端从所述起始时刻开始向所述第二终端传输的至少一帧第一历史图像，所述第一历史图像为所述第一终端侧在所述第一图像之前获得的图像；

字符确定单元604，用于基于所述至少一帧第一历史图像，确定所述第一图像中属于所述起始时刻之后新增的字符集；

标示控制单元605，用于控制所述第二终端输出标示有所述字符集的所述第一图像。

在一种可能的实现方式中，该时刻确定单元可以包括：

在又一种可能的实现方式中，该装置还包括：

第三图像获得单元，用于获得所述第二终端侧的第二图像；

时刻标记单元，用于如基于所述第二图像确定出所述第二终端侧的用户的视线偏离所述第二终端的显示屏，将获得所述第二图像的时刻标记为视线偏离的时刻；

该时刻确定单元，具体为用于基于已标记的视线偏离的时刻，确定所述第二终端侧的用户最近一次视线偏离的起始时刻。

在又一种可能的实现方式中，标示控制单元，包括：

第一标示控制单元，用于向所述第二终端传输所述第一图像，并指示所述第二终端标示出所述第一图像中的所述字符集，以使得所述第二终端输出标示有所述字符集的第一图像。

在又一种可能的实现方式中，该标示控制单元，包括：

图像处理单元，用于将所述第一图像处理为目标图像，所述目标图像中所述字符集采用设定格式效果标示；

第二标示控制单元，用于控制所述第二终端输出所述目标图像。

可选的，该图像处理单元，包括：

图层叠加单元，用于在所述第一图像上构建透明图层，并基于所述第一图像中所述字符集中字符的目标坐标位置，在所述透明图层中所述字符的目标坐标位置处构建具有设定格式效果的所述字符，得到由所述第一图像和处理后的透明图层组成的目标图像。

在又一种可能的实现方式中，时刻确定单元，具体为，用于如所述第一图像中存在设定类型的字符展示对象，则确定所述第二终端侧的用户最近一次视线偏离的起始时刻；

相应的，该字符确定单元具体为，用于基于所述至少一帧第一历史图像中所述字符展示对象内的字符，确定所述第一图像的所述字符展示对象内属于所述起始时刻之后新增的字符集。

又一方面，本申请还提供了一种电子设备，该电子设备可以为前面提到的第一终端。该电子设备手机或者个人计算机等。

如图7所示，其示出了本申请一种电子设备的组成结构示意图，本实施例的电子设备至少包括处理器701和存储器702。

其中，该处理器701用于执行如上任意一个实施例中第一终端侧的操作，以通过处理执行以上实施例中的图像处理方法；

该存储器702用于存储该处理器执行操作所需的程序。

在本申请中，该电子设备还可以包括通信接口703，该通信接口用于接收第二终端传输的第二图像，以及将电子设备侧的第一图像传输给第二终端等。

该电子设备还包括显示单元704。该显示单元可以为各种类型的显示屏等，显示单元、处理器、存储器和通信接口之间可以通过通信总线705相连。

当然，图7仅仅是的示意图，在实际应用中，该电子设备还可能会包括显示器、输入单元等等器件，对此不加限制。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。同时，本说明书中各实施例中记载的特征可以相互替换或者组合，使本领域专业技术人员能够实现或使用本申请。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种图像处理方法，包括：

控制所述第二终端输出标示有所述字符集的所述第一图像。

2.根据权利要求1所述的方法，所述确定所述第二终端侧的用户最近一次视线偏离的起始时刻，包括：

获得所述目标时间段的起始时刻和最后时刻；

3.根据权利要求1所述的方法，还包括：

获得所述第二终端侧的第二图像；

4.根据权利要求1所述的方法，所述控制所述第二终端输出标示有所述字符集的所述第一图像，包括：

5.根据权利要求1所述的方法，所述控制所述第二终端输出标示有所述字符集的所述第一图像，包括：

控制所述第二终端输出所述目标图像。

6.根据权利要求5所述的方法，所述将所述第一图像处理为目标图像，包括：

7.根据权利要求1所述的方法，所述确定所述第二终端侧的用户最近一次视线偏离的起始时刻，包括：

8.一种图像处理装置，包括：

9.根据权利要求8所述的装置，所述时刻确定单元，包括：

10.一种电子设备，包括：处理器和存储器；

其中，所述处理器用于执行如上权利要求1至7任一项所述的图像处理方法；

所述存储器用于存储所述处理器执行操作所需的程序。