CN110149553B - 图像的处理方法和装置、存储介质及电子装置 - Google Patents

Abstract

本发明公开了一种图像的处理方法和装置、存储介质及电子装置。其中，该方法包括：获取对第一场景中的对象进行拍摄得到的目标视频，其中，第一场景中的对象包括棋盘和放置在棋盘上的棋子；从目标视频中确定出待处理的第一图像与第二图像，并获取第一图像与第二图像之间的第一状态相似度，其中，第一图像在目标视频中出现的时间早于第二图像；根据第一状态相似度确定第二图像所呈现的棋盘上的棋子的状态；在棋盘上的棋子的状态指示存在变化的目标棋子的情况下，将第二图像发送至服务器，其中，服务器用于记录棋子在棋盘上移动的过程。本发明解决了逐帧上传导致的记谱延时高的技术问题。

Description

图像的处理方法和装置、存储介质及电子装置

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种图像的处理方法和装置、存储介质及电子装置。

背景技术

在现有技术中，为了对棋类比赛进行直播，往往需要通过对选手比赛的棋盘进行拍摄，并通过通信设备将拍摄出的视频发送给服务器，使服务器对视频进行处理，模拟出用于直播的模拟棋盘。

但是，通信设备需要将逐帧的图像文件发送至服务器，由于通信设备单次请求与服务器通信耗时较长，记谱延时将不断增加。同时，由于选手下棋过程中棋盘图像会不断变化，落子时会有区域被遮挡，使得服务器无法单纯使用棋类的落子规则做出落子推断，需要服务器对每一帧的图像进行复杂的处理，导致服务器对单帧图像的处理时长较长，会进一步增加服务器对棋谱的记谱延时。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种图像的处理方法和装置、存储介质及电子装置，以至少解决逐帧上传导致的记谱延时高的技术问题。

根据本发明实施例的一个方面，提供了一种图像的处理方法，包括：获取对第一场景中的对象进行拍摄得到的目标视频，其中，第一场景中的对象包括棋盘和放置在棋盘上的棋子；从目标视频中确定出待处理的第一图像与第二图像，并获取第一图像与第二图像之间的第一状态相似度，其中，第一图像在目标视频中出现的时间早于第二图像；根据第一状态相似度确定第二图像所呈现的棋盘上的棋子的状态；在棋盘上的棋子的状态指示存在变化的目标棋子的情况下，将第二图像发送至服务器，其中，服务器用于记录棋子在棋盘上移动的过程。

根据本发明实施例的另一方面，还提供了一种图像的处理装置，包括：第一获取模块，用于获取对第一场景中的对象进行拍摄得到的目标视频，其中，第一场景中的对象包括棋盘和放置在棋盘上的棋子；第二获取模块，用于从目标视频中确定出待处理的第一图像与第二图像，并获取第一图像与第二图像之间的第一状态相似度，其中，第一图像在目标视频中出现的时间早于第二图像；第一确定模块，用于根据第一状态相似度确定第二图像所呈现的棋盘上的棋子的状态；发送模块，用于在棋盘上的棋子的状态指示存在变化的目标棋子的情况下，将第二图像发送至服务器，其中，服务器用于记录棋子在棋盘上移动的过程。

根据本发明实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述图像的处理方法。

根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的图像的处理方法。

在本发明实施例中，采用对目视频中的第一图像与第二图像之间的第一状态相似度，确定第二图像所呈现的棋盘上的棋子的状态，在棋盘上的棋子的状态指示存在变化的目标棋子的情况下，通过仅将指示存在变化的目标棋子的第二图像发送至服务器，减少所需发送给服务器的图像的数量，且所发送的图像中存在变化的目标棋子，便于服务器处理，达到了降低通信延时的目的，从而实现了降低服务器记谱延时的技术效果，进而解决了逐帧上传导致的记谱延时高的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的图像的处理方法的应用环境的示意图；

图2是根据本发明实施例的一种可选的图像的处理方法的流程示意图；

图3A是根据本发明实施例的一种可选的图像的处理方法中棋盘的示意图之一；

图3B是根据本发明实施例的一种可选的图像的处理方法中棋盘的示意图之二；

图4A是根据本发明实施例的一种可选的图像的处理方法中棋盘的示意图之三；

图4B是根据本发明实施例的一种可选的图像的处理方法中棋盘的示意图之四；

图5A是根据本发明实施例的一种可选的图像的处理方法中棋盘的示意图之五；

图5B是根据本发明实施例的一种可选的图像的处理方法中棋盘的示意图之六；

图6是根据本发明实施例的另一种可选的图像的处理方法的流程示意图；

图7是根据本发明实施例的又一种可选的图像的处理方法的流程示意图；

图8是根据本发明实施例的终端与服务器的交互示意图；

图9是根据本发明实施例的一种可选的终端的结构示意图；

图10是根据本发明实施例的一种可选的服务器的结构示意图；

图11是根据本发明实施例的一种可选的电子装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例的一个方面，提供了一种图像的处理方法，可选地，作为一种可选的实施方式，上述图像的处理方法可以但不限于应用于如图1所示的由服务器120和计算机设备102所构成的硬件环境中。这里的计算机设备102可以是一种终端。计算机设备102通过处理器104可以执行步骤S108，获取对第一场景中的对象进行拍摄得到的目标视频，其中，第一场景中的对象包括棋盘和放置在棋盘上的棋子；这里，计算机设备102可以通过存储器106对获取的目标视频及后续处理数据进行存储和读取。计算机设备102还可以执行步骤S110，从目标视频中确定出待处理的第一图像与第二图像，并获取第一图像与第二图像之间的第一状态相似度，其中，第一图像在目标视频中出现的时间早于第二图像；S112，根据第一状态相似度确定第二图像所呈现的棋盘上的棋子的状态。计算机设备102还可以在棋盘上的棋子的状态指示存在变化的目标棋子的情况下，执行步骤S114-S116，通过网络118将第二图像发送至服务器120，这里的服务器120用于记录棋子在棋盘上移动的过程。

可选地，上述计算机设备102可以但不限于为可以计算数据的终端，如移动终端(例如手机、平板电脑)、笔记本电脑、PC机等终端上，上述网络可以包括但不限于无线网络或有线网络。其中，该无线网络包括：蓝牙、WIFI及其他实现无线通信的网络。上述有线网络可以包括但不限于：广域网、城域网、局域网。上述服务器120可以包括但不限于任何可以进行计算的硬件设备。

此外，在本实施例中，上述图像的处理方法还可以但不限于应用于处理能力较强大的独立的处理设备中，而无需进行数据交互。例如，该处理设备可以但不限于为处理能力较强大的终端设备，即，上述获取、处理、输出等操作集成在一个独立的处理设备中。上述仅是一种示例，本实施例中对此不作任何限定。

可选地，作为一种可选的实施方式，如图2所示，上述图像的处理方法包括：

步骤S202，获取对第一场景中的对象进行拍摄得到的目标视频，其中，第一场景中的对象包括棋盘和放置在棋盘上的棋子；

这里，第一场景可以是终端对现场的棋类对局进行拍摄的实时场景，也可以是虚拟场景，例如可以是移动终端上安装的棋类游戏的虚拟对局场景。还可以是显示屏幕上播放的棋类对局的画面。可以理解的是，对于现场的实时场景，目标视频文件可以是对现实场景进行实时拍摄得到的。对于虚拟场景，目标视频文件可以是安装棋类游戏的终端通过录屏得到的，当然也可以是对显示屏上显示的对局画面进行拍摄得到的。当然，对于目标视频文件可以是上述实时拍摄或录制得到的，也可以是保存在本地的视频文件，对此，本发明并不作限定。可以理解的是，在本发明实施例中的棋类游戏可以是围棋、五子棋、象棋等。

可以理解的是，为了避免棋盘外的物体的对后续图像的处理造成干扰，在本发明实施例中，目标视频可以是进行预处理后的视频。通过预处理使得在目标视频中确定出的图像中的棋盘均为固定长宽的棋盘，从而便于后续仅对棋盘内的是否存在变化的棋子进行确定。这里的预处理可以包括：通过三维透视算法对原始视频中棋盘的转换为固定长宽的矩形棋盘。例如，当使用摄像头对棋盘进行拍摄时，可以在摄像头图像中标记棋盘四角所在位置，标记位置后使用三维透视算法将摄像头中的棋盘矫正为固定长宽的矩形棋盘图像。

步骤S204，从目标视频中确定出待处理的第一图像与第二图像，并获取第一图像与第二图像之间的第一状态相似度，其中，第一图像在目标视频中出现的时间早于第二图像；

这里的第一图像可以是选取目标视频中出现时间早于第二图像第一时长的图像，例如当对第二图像进行处理判断其是否需要发生给服务器时，可以根据第二图像在目标视频中的目标时刻前第一时长所对应的图像确定为第一图像。第一时长的设置便于根据第一图像和第二图像之间的相似度确定第二图像所呈现的棋盘上的棋子的状态。这里，第一时长可以根据第一场景中的对象的类型确定，例如对于围棋类游戏，第一时长可以选为1秒左右。

步骤S206，根据第一状态相似度确定第二图像所呈现的棋盘上的棋子的状态；

步骤S208，在棋盘上的棋子的状态指示存在变化的目标棋子的情况下，将第二图像发送至服务器，其中，服务器用于记录棋子在棋盘上移动的过程。

在本发明实施例中，采用对目视频中的第一图像与第二图像之间的第一状态相似度，确定第二图像所呈现的棋盘上的棋子的状态，在棋盘上的棋子的状态指示存在变化的目标棋子的情况下，通过仅将指示存在变化的目标棋子的第二图像发送至服务器，减少所需发送给服务器的图像的数量，且所发送的图像中存在变化的目标棋子，便于服务器处理，达到了降低通信延时的目的，进而降低服务器记谱延时。

可选的，获取第一图像与第二图像之间的第一状态相似度包括：对比第一图像的画面和第二图像的画面，得到第一图像相似度；获取参考相似度与第一图像相似度之间的差值，作为第一状态相似度，其中，参考相似度为目标视频中第三图像和第四图像二者之间的第二图像相似度，第三图像和第四图像是目标视频开始播放的目标时间段内的图像。

这里，图像相似度是对比两幅图像的画面的相似度。可以理解的是，由于从目标视频中确定的第一图像和第二图像中可能不仅包括棋盘，还可能包括棋盘周围的环境。为了减少周围环境的影响，根据预处理后的目标视频中标记的棋盘四角的位置，确定棋盘区域，对比第一图像中棋盘区域内的画面和第二图像中棋盘区域内的画面，得到第一图像相似度。

可以理解的是，由于第一图像和第二图像是目标视频中选取的图像，图像会受到视频噪点的影响，且拍摄目标视频时，不可避免的会受到光照环境的影响，在不同光照环境和距离下，相同的棋局计算获得的第一图像相似度也不同。且同一个图像相似度，在较好的环境下可以代表棋盘上的棋子发生了变化，而在较差的环境下则表示棋盘仍处于稳定状态，棋子并未发现变化。为了能够在不同环境下准确判断棋盘上棋子的状态，在本发明实施例中，通过参考相似度与第一图像相似度的差值确定的状态相似度确定图像所呈现的棋盘上的棋子的状态。

对于参考相似度计算中的目标时间段，可选为目标视频中第一个棋子落下的时间点之前，可以在目标视频初始的时间段内确定出多个图像相似度，将多个图像相似度中的最大值确定为参考相似度，这里的时间段可选为5秒及以上。由于通常情况下棋盘不会在一段时间中始终处于不稳定状态，可以认为其中的最大值一定代表了当前环境下棋盘稳定时的相似度。

可以理解的是，通过差值的计算是为了减少环境因素的影响。故而第一状态相似度也可以是第一图像相似度与参考相似度的差值，当然后续根据第一状态相似度确定第二图像所呈现的棋盘上的棋子的状态的步骤中，需要对阈值的设定进行适应性的调整。

可选的，根据第一状态相似度确定第二图像所呈现的棋盘上的棋子的状态包括：获取与目标视频对应的变化标识，其中，变化标识包括：用于表示棋盘上的棋子处于第一移动状态的第一标识和用于表示棋盘上的棋子处于第二移动状态的第二标识，其中，第二移动状态下棋盘上的棋子移动速度大于第一移动状态下棋盘上的棋子的移动速度；在第一状态相似度小于或等于第一阈值、且变化标识为第一标识的情况下，确定棋盘上的棋子的状态为变化状态，其中，变化状态用于指示棋盘上存在目标棋子；在第一状态相似度大于或等于第二阈值、且变化标识为第二标识的情况下，确定棋盘上的棋子的状态为变化状态。

可选的，在获取与目标视频对应的变化标识之前，方法还包括：检测目标视频是否配置有变化标识；在检测到目标视频未配置变化标识的情况下，确定目标视频中的第五图像与第六图像之间的第二状态相似度，其中，第五图像在目标视频中出现的时间早于第六图像；在第二状态相似度大于第一阈值且小于或等于第二阈值的情况下，生成第一标识；在第二状态相似度大于第二阈值的情况下，生成第二标识。

这里，第一标识表示棋手正在以较慢的速度落子，棋盘上的棋子处于移动较慢的状态，第二标识表示棋手正在以较快的速度落子，棋盘上的棋子处于移动较快的状态。下面参考图3A至图5B进行举例说明。可以理解的是，参考相似度由于是棋盘稳定时的图像相似度，参考相似度的值是较高的，这里以参考相似度为90％、第一阈值为0.3，第二阈值为0.5进行举例。

以图3A至图3B以及图5A至图5B为一组落子动作对第一标识的生成和第二图像的上传进行举例说明。这里，图3A为第五图像，图3B为第六图像，图5A为第一图像，图5B为第二图像。当棋手正在以较慢的速度落子时，图3B中由于落子动作的出现，棋局会发生变化，假设此时的第五图像和第六图像之间的图像相似度为0.45，则第二状态相似度为0.45，此时第二状态相似度位于第一阈值和第二阈值之间，生成第一标识，表示当前棋手落子速度较慢。由于此时棋手正在落子中，可以不上传图像，待棋局稳定后再将稳定后的落子图像上传。参见图3A至图3B，假设此时的第一图像相似度为0.6，则第一状态相似度为0.3，等于第一阈值，且此时具有第一标识。则标识棋手落子完成，棋局稳定，将第二图像图5B上传。通过第一标识指示当前处于缓慢落子的状态，仅将落子后棋局稳定的图像上传，可以减少图像上传数据，还便于服务器进行图像处理。

以图4A至图4B以及图5A至图5B为一组落子动作对第二标识的生成和第二图像的上传进行举例说明。这里，图4A为第五图像，图4B为第六图像，图5A为第一图像，图5B为第二图像。参见图4A至图4B，当棋手正在以较快的速度落子时，假设此时的第五图像和第六图像之间的图像相似度为0.2，则第二状态相似度为0.7，此时第二状态相似度大于第二阈值，生成第二标识，表示当前棋手落子速度较快。此时若仍等待棋局稳定再上传图像，则可能遗漏关键图像，故而当第二状态相似度大于第二阈值则将第二图像上传。

可选的，在确定棋盘上的棋子的状态为变化状态之后，还包括：在变化标识为第一标识、且第一状态相似度小于第一阈值的情况下，将第二图像发送至服务器后删除第一标识；在变化标识为第二标识、且第一状态相似度大于第一阈值且小于第二阈值的情况下，将第二标识转换为第一标识；在变化标识为第二标识、且第一状态相似度小于第一阈值的情况下，删除第二标识。

这里，在变化标识为第一标识，且第一状态相似度小于第一阈值的情况下，由于已经将落子后的第二图像发送至服务器，故后续再次确定状态相似度小于第一阈值时，表示当前图像未发生变化，故在第二图像发送后将第一标识删除。在变化标识为第二标识，且第一状态相似度位于第一阈值和第二阈值之间时，表示当前棋手落子的速度变慢，不再需要将图像全部上传，则将第二标识转换为第一标识，从而减少图像的上传数量。

可选的，在棋盘上的棋子的状态指示存在变化的目标棋子的情况下，将第二图像发送至服务器包括：在棋盘上的棋子的状态指示存在变化的目标棋子的情况下，将第二图像添加至图像传送序列中；将图像传送序列中的图像传送至服务器，其中，传送图像序列中的图像按照在目标视频中的时间顺序排列。这里由于服务器是根据接收到的图像进行处理，若图像顺序发送错误则会导致服务器记谱错误，故而在本发明实施例中，将第二图像添加至图像传送序列中，按时间顺序向服务器发送图像。可以理解的是，还可以向服务器发送数据包，该数据包中携带有第二图像和第二图像的时间信息，从而便于服务器根据第二图像的时间信息进行记谱。

可选的，将图像传送序列中的图像传送至服务器包括：在图像传送序列中图像的数量小于第一数量的情况下，将图像序列中图像按顺序依次传送至服务器；在图像传送序列中的图像的数量大于或等于第一数量的情况下，将图像传送序列中前N个图像封装为图像数据包，将图像数据包发送至服务器。这里，当图像传送序列中的图像数据大于或等于第一数量，则表示当前待传送的图像较多，可将顺序排列的前N个图像封装在图像数据包中发送给服务器，从而降低与服务器之间的通信延时，进而降低服务器记谱延时。

可选的，从目标视频中确定出待处理的第一图像与第二图像包括：从目标视频中选取第一帧图像和第二帧图像，第一帧图像在目标视频中出现的时间早于第二帧图像；将第一帧图像确定为第一图像；将第二帧图像确定为第二图像。

这里，对于待处理的第一图像和第二图像可以是目标视频中选取的图像帧。当然，由于对于围棋等棋类游戏，由于棋盘上的变化都是局部落子的变化，故而为了提高处理的速度，进一步降低延时。在本发明另一可选实施例中，从目标视频中确定出待处理的第一图像与第二图像包括：从目标视频中选取第一帧图像和第二帧图像，第一帧图像在目标视频中出现的时间早于第二帧图像；对第一帧图像进行分块处理，得到第一分块图像序列，对第二帧图像进行分块处理，得到第二分块图像序列；将第一分块图像序列中的第i个分块图像作为第一图像，将第二分块图像序列中的第i个分块图像作为第二图像。

这里的第一图像和第二图像是对图像帧进行分块处理后的分块图像，可以理解的是，由于需要根据第一图像和第二图像之间的第一状态相似度确定棋盘上棋子的状态，故而第一图像和第二图像应当是棋盘上相同位置处的分块图像。可以理解的是，在进行分块处理时，可以将分块后的分块图像按顺序进行排列，得到图像序列，则可根据序列中的位置确定第一图像和第二图像是否表示棋盘上相同的位置。当然，还可以对分块处理后的分块图像按位置进行标号，确定第一帧图像中的第一位置处的分块图像为第一图像，确定第二帧图像中的第一位置处的分块图像为第二图像，其中第一图像和第二图像的位置标号相同。

对于分块处理，考虑到分块后可能有的棋子恰好只有一部分落在某一块中，这可能导致后续的围棋棋子检测模块检测不到这种棋子，分块图像的大小应比棋盘图像的三分之一稍大，由于不同样式的棋子与棋盘的相对大小是差不多的，同时对于围棋等棋子来说小部分的缺失对后续服务器的棋子识别影响很小，使用图像分块可以使用一个统一的分割线就应对不同的使用场景，当然也可以根据识别出的棋盘的面积，确定分块的大小以及分割线。

下面对终端将第二图像发送至服务器后，服务器对第二图像的处理进行说明。可以理解的是，上述步骤中的执行主体均为终端。下述方法中将第二图像发送至服务器后，由服务器作为执行主体进行图像处理。当然可以理解的是，对于具备处理能力的终端而言，下述由服务器执行的图像处理方法也可以由终端自身进行处理，对此，本发明并不作出限定。

可选的，在将第二图像发送至服务器的步骤之后，如图6所示，方法还包括：

步骤S602，服务器通过物体检测模型对接收到的第二图像进行识别处理，获得第一识别结果，其中第一识别结果包括第二图像所呈现的棋盘上的棋子的位置和类型，物体检测模型用于对图像中所呈现的棋子的位置和类型进行识别；

这里的物体检测模型是利用多个棋盘样本进行训练，所得到的用于对棋盘上的棋子进行识别模型，物体检测模型可以根据输入的图像，输出图像中的棋盘上的棋子的位置和棋子的类型。对于围棋，这里的棋子类型包括黑子、白子。

可以理解的是，对于输出的棋子的位置可以是棋子在棋盘上的坐标，从而可以根据棋子在棋盘上的坐标和棋子的类型，在模拟棋盘上生成模拟棋子。

步骤S604，服务器根据第二图像所呈现的棋盘上的棋子的位置和类型，对根据第一场景中的对象生成的模拟对象进行更新，得到更新后的模拟对象，其中，模拟对象包括模拟棋盘和模拟棋子；

这里，当服务器首次接收到待处理的图像时，根据待处理的图像生成模拟棋盘。后续接收到图像时，通过识别出当前图像所呈现的棋子的位置和类型，通过将当前图像所呈现的棋子的位置和类型与模拟棋盘上的棋子的位置和类型进行对比，可以确定是否存在新增加的棋子，以及新增加的棋子的位置和类型，从而对模拟棋盘进行更新。

步骤S606，服务器根据更新后的模拟对象生成视频文件。

这里，在本发明实施例中，服务器可以将生成的视频文件通过直播平台进行播放，从而实现对现场的围棋对局进行直播。

下面以围棋为例，对模拟棋盘的更新进行说明。

可选的，服务器根据第二图像所呈现的棋盘上的棋子的位置和类型，对根据第一场景中的对象生成的模拟对象进行更新，得到更新后的模拟对象包括：在根据第二图像所呈现的棋盘上的棋子确定出当前增加的棋子的数量等于2个的情况下，服务器根据当前增加的棋子的类型和当前的落子顺序，确定模拟棋盘上的增加的棋子的更新顺序。

这里，当前的落子顺序是可以根据当前的棋类游戏的规则和模拟棋盘确定。例如对于围棋而言，是黑子和白子依次落子，故而根据模拟棋盘上的第一子的类型，可以确定后续每一步中的落子顺序。所以在棋盘上证据的棋子的数据为2个的情况下，可以根据当前的落子顺序，确定棋盘上棋子的变化的顺序。例如，当前模拟棋盘上的增加了一黑一白2个棋子，且当前落子顺序表示当前为黑子落子，则可以确定黑子的落子早于白子。

可选的，在服务器根据第二图像所呈现的棋盘上的棋子的位置和类型，对根据第一场景中的对象生成的模拟对象进行更新之后，方法还包括：在根据第二图像所呈现的棋盘上的棋子确定出当前增加的棋子的数量等于3个的情况下，服务器根据当前增加的棋子的类型和当前的落子顺序，获得第一待确定更新顺序和第二待确定更新顺序；将第一待确定更新顺序和第二待确定更新顺序分别输入至胜率判断模型，获得第一待确定更新顺序所对应的第一胜率和第二待确定更新顺序所对应的第二胜率；在第一胜率大于第二胜率中的情况下，将第一待确定更新顺序确定为模拟棋盘上的增加的棋子的更新顺序；在第一胜率小于第二胜率中的情况下，将第二待确定更新顺序确定为模拟棋盘上的增加的棋子的更新顺序。

这里，对于增加了三子，仅根据落子的顺序无法判断落子的先后，可以通过胜率判断模型解决。胜率判断模型能够根据一个给定的局面对胜率进行评估。对于围棋而言，错误的落子顺序会明显降低选手的胜率。比较两种落子顺序下选手的胜率情况，胜率较高的落子顺序更有可能是真实的落子顺序。

可选的，在服务器根据更新后的模拟对象生成视频文件之前，方法还包括：服务器将更新后的模拟对象放入缓存校对区；服务器通过物体检测模型对在第二图像后接收到的目标图像进行识别处理，获得第二识别结果，其中第二识别结果包括目标图像所呈现的棋盘上的棋子的位置和类型；服务器在第二识别结果指示的棋盘上未出现第一棋子的情况下，将缓存校对区内存储的更新后的模拟对象删除，其中第一棋子为第一识别结果所指示的棋盘上的棋子；服务器在第二识别结果指示的棋盘上出现第一棋子和第二棋子，且第二棋子不符合当前的落子顺序的情况下，将缓存校对区内存储的更新后的模拟对象删除，其中，第二棋子为第二识别结果所指示的棋盘上出现的除第一棋子中的任一个棋子之外的棋子；服务器在第二识别结果指示的棋盘上出现第一棋子和第二棋子，且第二棋子符合当前的落子顺序的情况下，确定利用更新后的模拟对象生成视频文件。

可选的，将缓存校对区内存储的更新后的模拟对象删除的步骤之后，方法还包括：服务器在第二识别结果指示的棋盘上未出现第一棋子、且出现的第二棋子不符合当前的落子顺序的情况下，将第一更新结果放入缓存校对区，其中，第一更新结果为根据第二识别结果所呈现的棋盘上的棋子的位置和类型，对根据模拟对象进行更新得到的结果；服务器在第二识别结果指示的棋盘上出现第一棋子和第二棋子，且第二棋子符合当前的落子顺序的情况下，将第二更新结果放入缓存校对区，其中，第二更新结果为根据第二识别结果所呈现的棋盘上的棋子的位置和类型，对根据更新后的模拟对象进行更新得到的结果。

这里，由于围棋棋子的外形特征比较简单和常见，物体检测模型容易将人的衣服、饰品误判断为落子。另外，有时选手会将棋子悬在空中或落子后再缓慢推动棋子，对于这些情况，落子推断模块无法根据围棋规则剔除这些误判断的落子。因此，为了保证记谱的准确，不能直接将落子推断模块的结果作为最终结果，而需要将该结果暂存在缓存校对区中，与下一次请求的局面做校对。校对规则如下：若缓存校对区中的落子在下次请求的局面中消失，且没有新增棋子，则说明该落子是误检测，删除该落子。若缓存校对区中的落子在下次请求的局面中消失，且有相同颜色的新增棋子，则说明棋子被选手拖动，删除原落子，将新增棋子放入缓存校对区。若缓存校对区中的落子未消失，且有新的落子，则说明缓存校对区中的落子是正确的，确定利用更新后的模拟对象生成视频文件，同时将新的落子，也就是第二更新结果放入缓存校对区。

下面结合图7对本发明实施例的图像处理方法进行举例说明。这里终端中安装有客户端，终端通过该客户端可以执行上述方法。

终端可以通过摄像头对现场的棋类对局进行拍摄。并获得视频文件。

步骤S702，终端对视频文件中的逐帧图像进行预处理，预处理包括棋盘四角的定位和棋盘矫正，将棋盘矫正为固定长宽的矩形棋盘。

步骤S704，图像分块，计算状态相似度判断是否需要上传。终端对帧图像进行分块处理，并计算待处理的分块图像的状态相似度，并根据状态相似度判断该分块图像是否需要上传。

步骤S706，终端合并请求，将多个待上传的分块图像打包图像数据包发送给服务器。

步骤S708，服务器利用物体检测模型，对接收到的分块图像进行处理，更新棋子的位置和类型；

当图像中出现多个棋子时，执行步骤S710，服务器推断落子位置和顺序。

步骤S712，缓存校对区校对。为了避免误检测，服务器将更新的棋子的位置和类型放入缓存校对区，进行校对。

步骤S714，服务器对模型进行训练。这里，由于存在误检测的棋子。可以将错误的结果作为训练样本对物体检测模型进行再次训练，从而提高物体检测模型检测的准确度。

步骤S716，更新模拟棋盘。这里，可以理解的是，可以由服务器根据更新的棋子的位置和类型，更新模拟棋盘。也可以是服务器将更新的棋子的位置和类型发送给终端，由终端更新模型棋盘。这里，更新后的模拟棋盘可以用于线上直播，也可以用于棋谱归档等。

下面结合图8对终端82和服务器84之间的处理交互进行说明。

S802，终端82获取对第一场景中的对象进行拍摄得到的目标视频；可以理解的是，目标视频可以是由终端82拍摄获得的；

S804，终端82从目标视频中确定出待处理的第一图像与第二图像，并获取第一图像与第二图像之间的第一状态相似度，根据第一状态相似度确定第二图像所呈现的棋盘上的棋子的状态；

S806，终端82在棋盘上的棋子的状态指示存在变化的目标棋子的情况下，将第二图像发送至服务器84；

S808，服务器84通过物体检测模型对接收到的第二图像进行识别处理，获得第一识别结果；根据第二图像所呈现的棋盘上的棋子的位置和类型，对根据第一场景中的对象生成的模拟对象进行更新，得到更新后的模拟对象，根据更新后的模拟对象生成视频文件。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

根据本发明实施例的另一个方面，还提供了一种用于实施上述图像的处理方法的图像的处理系统。该系统包括：终端和服务器，如图9所示，终端包括：

第一获取模块902，用于获取对第一场景中的对象进行拍摄得到的目标视频，其中，第一场景中的对象包括棋盘和放置在棋盘上的棋子；

这里，第一场景可以是终端对现场的棋类对局进行拍摄的实时场景，也可以是虚拟场景，例如可以是移动终端上安装的棋类游戏的虚拟对局场景。还可以是显示屏幕上播放的棋类对局的画面。可以理解的是，对于现场的实时场景，目标视频文件可以是对现实场景进行实时拍摄得到的。对于虚拟场景，目标视频文件可以是安装棋类游戏的终端通过录屏得到的，当然也可以是对显示屏上显示的对局画面进行拍摄得到的。当然，对于目标视频文件可以是上述实时拍摄或录制得到的，也可以是保存在本地的视频文件，对此，本发明并不作限定。可以理解的是，在本发明实施例中的棋类游戏可以是围棋、五子棋、象棋等。

可以理解的是，为了避免棋盘外的物体的对后续图像的处理造成干扰，在本发明实施例中，目标视频可以是进行预处理后的视频。通过预处理使得在目标视频中确定出的图像中的棋盘均为固定长宽的棋盘，从而便于后续仅对棋盘内的是否存在变化的棋子进行确定。这里的预处理可以包括：通过三维透视算法对原始视频中棋盘的转换为固定长宽的矩形棋盘。例如，当使用摄像头对棋盘进行拍摄时，可以在摄像头图像中标记棋盘四角所在位置，标记位置后使用三维透视算法将摄像头中的棋盘矫正为固定长宽的矩形棋盘图像。

第二获取模块904，用于从目标视频中确定出待处理的第一图像与第二图像，并获取第一图像与第二图像之间的第一状态相似度，其中，第一图像在目标视频中出现的时间早于第二图像；

这里的第一图像可以是选取目标视频中出现时间早于第二图像第一时长的图像，例如当对第二图像进行处理判断其是否需要发生给服务器时，可以根据第二图像在目标视频中的目标时刻前第一时长所对应的图像确定为第一图像。第一时长的设置便于根据第一图像和第二图像之间的相似度确定第二图像所呈现的棋盘上的棋子的状态。这里，第一时长可以根据第一场景中的对象的类型确定，例如对于围棋类游戏，第一时长可以选为1秒左右。

第一确定模块906，用于根据第一状态相似度确定第二图像所呈现的棋盘上的棋子的状态；

发送模块908，用于在棋盘上的棋子的状态指示存在变化的目标棋子的情况下，将第二图像发送至服务器，其中，服务器用于记录棋子在棋盘上移动的过程。

在本发明实施例中，采用对目视频中的第一图像与第二图像之间的第一状态相似度，确定第二图像所呈现的棋盘上的棋子的状态，在棋盘上的棋子的状态指示存在变化的目标棋子的情况下，通过仅将指示存在变化的目标棋子的第二图像发送至服务器，减少所需发送给服务器的图像的数量，且所发送的图像中存在变化的目标棋子，便于服务器处理，达到了降低通信延时的目的，进而降低服务器记谱延时。

可选的，第二获取模块包括：对比单元，用于对比第一图像的画面和第二图像的画面，得到第一图像相似度；第一确定单元，用于获取参考相似度与第一图像相似度之间的差值，作为第一状态相似度，其中，参考相似度为目标视频中第三图像和第四图像二者之间的第二图像相似度，第三图像和第四图像是目标视频开始播放的目标时间段内的图像。

这里，图像相似度是对比两幅图像的画面的相似度。可以理解的是，由于从目标视频中确定的第一图像和第二图像中可能不仅包括棋盘，还可能包括棋盘周围的环境。为了减少周围环境的影响，根据预处理后的目标视频中标记的棋盘四角的位置，确定棋盘区域，对比第一图像中棋盘区域内的画面和第二图像中棋盘区域内的画面，得到第一图像相似度。

可以理解的是，由于第一图像和第二图像是目标视频中选取的图像，图像会受到视频噪点的影响，且拍摄目标视频时，不可避免的会受到光照环境的影响，在不同光照环境和距离下，相同的棋局计算获得的第一图像相似度也不同。且同一个图像相似度，在较好的环境下可以代表棋盘上的棋子发生了变化，而在较差的环境下则表示棋盘仍处于稳定状态，棋子并未发现变化。为了能够在不同环境下准确判断棋盘上棋子的状态，在本发明实施例中，通过参考相似度与第一图像相似度的差值确定的状态相似度确定图像所呈现的棋盘上的棋子的状态。

对于参考相似度计算中的目标时间段，可选为目标视频中第一个棋子落下的时间点之前，可以在目标视频初始的时间段内确定出多个图像相似度，将多个图像相似度中的最大值确定为参考相似度，这里的时间段可选为5秒及以上。由于通常情况下棋盘不会在一段时间中始终处于不稳定状态，可以认为其中的最大值一定代表了当前环境下棋盘稳定时的相似度。

可以理解的是，通过差值的计算是为了减少环境因素的影响。故而第一状态相似度也可以是第一图像相似度与参考相似度的差值，当然后续根据第一状态相似度确定第二图像所呈现的棋盘上的棋子的状态的步骤中，需要对阈值的设定进行适应性的调整。

可选的，第一确定模块包括：第一获取单元，用于获取与目标视频对应的变化标识，其中，变化标识包括：用于表示棋盘上的棋子处于第一移动状态的第一标识和用于表示棋盘上的棋子处于第二移动状态的第二标识，其中，第二移动状态下棋盘上的棋子移动速度大于第一移动状态下棋盘上的棋子的移动速度；第二确定单元，用于在第一状态相似度小于或等于第一阈值、且变化标识为第一标识的情况下，确定棋盘上的棋子的状态为变化状态，其中，变化状态用于指示棋盘上存在目标棋子；第三确定单元，用于在第一状态相似度大于或等于第二阈值、且变化标识为第二标识的情况下，确定棋盘上的棋子的状态为变化状态。

可选的，终端还包括：检查模块，用于检测目标视频是否配置有变化标识；第二确定模块，用于在检测到目标视频未配置变化标识的情况下，确定目标视频中的第五图像与第六图像之间的第二状态相似度，其中，第五图像在目标视频中出现的时间早于第六图像；第一生产模块，用于在第二状态相似度大于第一阈值且小于或等于第二阈值的情况下，生成第一标识；第二生产模块，用于在第二状态相似度大于第二阈值的情况下，生成第二标识。

这里，第一标识表示棋手正在以较慢的速度落子，棋盘上的棋子处于移动较慢的状态，第二标识表示棋手正在以较快的速度落子，棋盘上的棋子处于移动较快的状态。

可选的，终端还包括：第一删除模块，用于在变化标识为第一标识、且第一状态相似度小于第一阈值的情况下，将第二图像发送至服务器后删除第一标识；转换模块，用于在变化标识为第二标识、且第一状态相似度大于第一阈值且小于第二阈值的情况下，将第二标识转换为第一标识；第二删除模块，用于在变化标识为第二标识、且第一状态相似度小于第一阈值的情况下，删除第二标识。

这里，在变化标识为第一标识，且第一状态相似度小于第一阈值的情况下，由于已经将落子后的第二图像发送至服务器，故后续再次确定状态相似度小于第一阈值时，表示当前图像未发生变化，故在第二图像发送后将第一标识删除。在变化标识为第二标识，且第一状态相似度位于第一阈值和第二阈值之间时，表示当前棋手落子的速度变慢，不再需要将图像全部上传，则将第二标识转换为第一标识，从而减少图像的上传数量。

可选的，发送模块包括：添加单元，用于在棋盘上的棋子的状态指示存在变化的目标棋子的情况下，将第二图像添加至图像传送序列中；发送单元，用于将图像传送序列中的图像传送至服务器，其中，传送图像序列中的图像按照在目标视频中的时间顺序排列。

这里由于服务器是根据接收到的图像进行处理，若图像顺序发送错误则会导致服务器记谱错误，故而在本发明实施例中，将第二图像添加至图像传送序列中，按时间顺序向服务器发送图像。可以理解的是，还可以向服务器发送数据包，该数据包中携带有第二图像和第二图像的时间信息，从而便于服务器根据第二图像的时间信息进行记谱。

可选的，发送单元具体用于：在图像传送序列中图像的数量小于第一数量的情况下，将图像序列中图像按顺序依次传送至服务器；在图像传送序列中的图像的数量大于或等于第一数量的情况下，将图像传送序列中前N个图像封装为图像数据包，将图像数据包发送至服务器。

这里，当图像传送序列中的图像数据大于或等于第一数量，则表示当前待传送的图像较多，可将顺序排列的前N个图像封装在图像数据包中发送给服务器，从而降低与服务器之间的通信延时，进而降低服务器记谱延时。

可选的，发送单元包括：第一选取单元，用于从目标视频中选取第一帧图像和第二帧图像，第一帧图像在目标视频中出现的时间早于第二帧图像；第四确定单元，用于将第一帧图像确定为第一图像；第五确定单元，用于将第二帧图像确定为第二图像。

这里，对于待处理的第一图像和第二图像可以是目标视频中选取的图像帧。当然，由于对于围棋等棋类游戏，由于棋盘上的变化都是局部落子的变化，故而为了提高处理的速度，进一步降低延时。在本发明另一可选实施例中，发送单元包括：第二选取单元，用于从目标视频中选取第一帧图像和第二帧图像，第一帧图像在目标视频中出现的时间早于第二帧图像；第一分块处理单元，用于对第一帧图像进行分块处理，得到第一分块图像序列，对第二帧图像进行分块处理，得到第二分块图像序列；第二分块处理单元，用于将第一分块图像序列中的第i个分块图像作为第一图像，将第二分块图像序列中的第i个分块图像作为第二图像。

这里的第一图像和第二图像是对图像帧进行分块处理后的分块图像，可以理解的是，由于需要根据第一图像和第二图像之间的第一状态相似度确定棋盘上棋子的状态，故而第一图像和第二图像应当是棋盘上相同位置处的分块图像。可以理解的是，在进行分块处理时，可以将分块后的分块图像按顺序进行排列，得到图像序列，则可根据序列中的位置确定第一图像和第二图像是否表示棋盘上相同的位置。当然，还可以对分块处理后的分块图像按位置进行标号，确定第一帧图像中的第一位置处的分块图像为第一图像，确定第二帧图像中的第一位置处的分块图像为第二图像，其中第一图像和第二图像的位置标号相同。

对于分块处理，考虑到分块后可能有的棋子恰好只有一部分落在某一块中，这可能导致后续的围棋棋子检测模块检测不到这种棋子，分块图像的大小应比棋盘图像的三分之一稍大，由于不同样式的棋子与棋盘的相对大小是差不多的，同时对于围棋等棋子来说小部分的缺失对后续服务器的棋子识别影响很小，使用图像分块可以使用一个统一的分割线就应对不同的使用场景，当然也可以根据识别出的棋盘的面积，确定分块的大小以及分割线。

可选的，如图10所示，服务器可以包括：识别模块1002，用于通过物体检测模型对接收到的第二图像进行识别处理，获得第一识别结果，其中第一识别结果包括第二图像所呈现的棋盘上的棋子的位置和类型，物体检测模型用于对图像中所呈现的棋子的位置和类型进行识别；更新模块1004，用于根据第二图像所呈现的棋盘上的棋子的位置和类型，对根据第一场景中的对象生成的模拟对象进行更新，得到更新后的模拟对象，其中，模拟对象包括模拟棋盘和模拟棋子；生成模块1006，用于根据更新后的模拟对象生成视频文件。

这里的物体检测模型是利用多个棋盘样本进行训练，所得到的用于对棋盘上的棋子进行识别模型，物体检测模型可以根据输入的图像，输出图像中的棋盘上的棋子的位置和棋子的类型。对于围棋，这里的棋子类型包括黑子、白子。可以理解的是，对于输出的棋子的位置可以是棋子在棋盘上的坐标，从而可以根据棋子在棋盘上的坐标和棋子的类型，在模拟棋盘上生成模拟棋子。这里，当服务器首次接收到待处理的图像时，根据待处理的图像生成模拟棋盘。后续接收到图像时，通过识别出当前图像所呈现的棋子的位置和类型，通过将当前图像所呈现的棋子的位置和类型与模拟棋盘上的棋子的位置和类型进行对比，可以确定是否存在新增加的棋子，以及新增加的棋子的位置和类型，从而对模拟棋盘进行更新。在本发明实施例中，服务器可以将生成的视频文件通过直播平台进行播放，从而实现对现场的围棋对局进行直播。

可选的，更新模块包括：更新单元，用于在根据第二图像所呈现的棋盘上的棋子确定出当前增加的棋子的数量等于2个的情况下，根据当前增加的棋子的类型和当前的落子顺序，确定模拟棋盘上的增加的棋子的更新顺序。

这里，当前的落子顺序是可以根据当前的棋类游戏的规则和模拟棋盘确定。例如对于围棋而言，是黑子和白子依次落子，故而根据模拟棋盘上的第一子的类型，可以确定后续每一步中的落子顺序。所以在棋盘上证据的棋子的数据为2个的情况下，可以根据当前的落子顺序，确定棋盘上棋子的变化的顺序。

可选的，服务器还包括：第二获取单元，用于在根据第二图像所呈现的棋盘上的棋子确定出当前增加的棋子的数量等于3个的情况下，根据当前增加的棋子的类型和当前的落子顺序，获得第一待确定更新顺序和第二待确定更新顺序；第三获取单元，用于将第一待确定更新顺序和第二待确定更新顺序分别输入至胜率判断模型，获得第一待确定更新顺序所对应的第一胜率和第二待确定更新顺序所对应的第二胜率；第六确定单元，用于在第一胜率大于第二胜率中的情况下，将第一待确定更新顺序确定为模拟棋盘上的增加的棋子的更新顺序；第七确定单元，用于在第一胜率小于第二胜率中的情况下，将第二待确定更新顺序确定为模拟棋盘上的增加的棋子的更新顺序。

这里，对于增加了三子，仅根据落子的顺序无法判断落子的先后，可以通过胜率判断模型解决。胜率判断模型能够根据一个给定的局面对胜率进行评估。对于围棋而言，错误的落子顺序会明显降低选手的胜率。比较两种落子顺序下选手的胜率情况，胜率较高的落子顺序更有可能是真实的落子顺序。

可选的，服务器还包括：第一校对模块，用于将更新后的模拟对象放入缓存校对区；第四获取单元，用于通过物体检测模型对在第二图像后接收到的目标图像进行识别处理，获得第二识别结果，其中第二识别结果包括目标图像所呈现的棋盘上的棋子的位置和类型；第一删除单元，用于在第二识别结果指示的棋盘上未出现第一棋子的情况下，将缓存校对区内存储的更新后的模拟对象删除，其中第一棋子为第一识别结果所指示的棋盘上的棋子；第二删除单元，用于在第二识别结果指示的棋盘上出现第一棋子和第二棋子，且第二棋子不符合当前的落子顺序的情况下，将缓存校对区内存储的更新后的模拟对象删除，其中，第二棋子为第二识别结果所指示的棋盘上出现的除第一棋子中的任一个棋子之外的棋子；第八确定单元，用于在第二识别结果指示的棋盘上出现第一棋子和第二棋子，且第二棋子符合当前的落子顺序的情况下，确定利用更新后的模拟对象生成视频文件。

可选的，服务器还包括：第二校对模块，用于在第二识别结果指示的棋盘上未出现第一棋子、且出现的第二棋子不符合当前的落子顺序的情况下，将第一更新结果放入缓存校对区，其中，第一更新结果为根据第二识别结果所呈现的棋盘上的棋子的位置和类型，对根据模拟对象进行更新得到的结果；第三校对模块，用于服务器在第二识别结果指示的棋盘上出现第一棋子和第二棋子，且第二棋子符合当前的落子顺序的情况下，将第二更新结果放入缓存校对区，其中，第二更新结果为根据第二识别结果所呈现的棋盘上的棋子的位置和类型，对根据更新后的模拟对象进行更新得到的结果。

这里，由于围棋棋子的外形特征比较简单和常见，物体检测模型容易将人的衣服、饰品误判断为落子。另外，有时选手会将棋子悬在空中或落子后再缓慢推动棋子，对于这些情况，落子推断模块无法根据围棋规则剔除这些误判断的落子。因此，为了保证记谱的准确，不能直接将落子推断模块的结果作为最终结果，而需要将该结果暂存在缓存校对区中，与下一次请求的局面做校对。校对规则如下：若缓存校对区中的落子在下次请求的局面中消失，且没有新增棋子，则说明该落子是误检测，删除该落子。若缓存校对区中的落子在下次请求的局面中消失，且有相同颜色的新增棋子，则说明棋子被选手拖动，删除原落子，将新增棋子放入缓存校对区。若缓存校对区中的落子未消失，且有新的落子，则说明缓存校对区中的落子是正确的，确定利用更新后的模拟对象生成视频文件，同时将新的落子，也就是第二更新结果放入缓存校对区。

根据本发明的实施例的又一方面，还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取对第一场景中的对象进行拍摄得到的目标视频，其中，第一场景中的对象包括棋盘和放置在棋盘上的棋子；

S2，从目标视频中确定出待处理的第一图像与第二图像，并获取第一图像与第二图像之间的第一状态相似度，其中，第一图像在目标视频中出现的时间早于第二图像；

S3，根据第一状态相似度确定第二图像所呈现的棋盘上的棋子的状态；

S4，在棋盘上的棋子的状态指示存在变化的目标棋子的情况下，将第二图像发送至服务器，其中，服务器用于记录棋子在棋盘上移动的过程。

可选地，在本实施例中，上述存储介质还可以被设置为存储用于执行以下步骤的计算机程序：

S1，通过物体检测模型对接收到的第二图像进行识别处理，获得第一识别结果，其中第一识别结果包括第二图像所呈现的棋盘上的棋子的位置和类型，物体检测模型用于对图像中所呈现的棋子的位置和类型进行识别；

S2，根据第二图像所呈现的棋盘上的棋子的位置和类型，对根据第一场景中的对象生成的模拟对象进行更新，得到更新后的模拟对象，其中，模拟对象包括模拟棋盘和模拟棋子；

S3，根据更新后的模拟对象生成视频文件。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

根据本发明实施例的又一个方面，还提供了一种用于实施上述图像的处理方法的电子装置，如图11所示，该电子装置包括存储器1102和处理器1104，该存储器1102中存储有计算机程序，该处理器1104被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取对第一场景中的对象进行拍摄得到的目标视频，其中，第一场景中的对象包括棋盘和放置在棋盘上的棋子；

S2，从目标视频中确定出待处理的第一图像与第二图像，并获取第一图像与第二图像之间的第一状态相似度，其中，第一图像在目标视频中出现的时间早于第二图像；

S3，根据第一状态相似度确定第二图像所呈现的棋盘上的棋子的状态；

S4，在棋盘上的棋子的状态指示存在变化的目标棋子的情况下，将第二图像发送至服务器，其中，服务器用于记录棋子在棋盘上移动的过程。

可选地，在本实施例中，上述处理器还可以被设置为通过计算机程序执行以下步骤：

S1，通过物体检测模型对接收到的第二图像进行识别处理，获得第一识别结果，其中第一识别结果包括第二图像所呈现的棋盘上的棋子的位置和类型，物体检测模型用于对图像中所呈现的棋子的位置和类型进行识别；

S2，根据第二图像所呈现的棋盘上的棋子的位置和类型，对根据第一场景中的对象生成的模拟对象进行更新，得到更新后的模拟对象，其中，模拟对象包括模拟棋盘和模拟棋子；

S3，根据更新后的模拟对象生成视频文件。

可选地，本领域普通技术人员可以理解，图11所示的结构仅为示意，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。图11其并不对上述电子装置的结构造成限定。例如，电子装置还可包括比图11中所示更多或者更少的组件(如网络接口等)，或者具有与图11所示不同的配置。

其中，存储器1102可用于存储软件程序以及模块，如本发明实施例中的方法和装置对应的程序指令/模块，处理器1104通过运行存储在存储器1102内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器1102可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器1102可进一步包括相对于处理器1104远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。作为一种示例，此外，还可以包括但不限于上述终端中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置1106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置1106包括一个网络适配器(Network Interface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置1106为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子装置还包括：显示器1108，可以用于显示服务器生成的视频文件；和连接总线1110，用于连接上述电子装置中的各个模块部件。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (28)

1.一种图像的处理方法，其特征在于，包括：

获取对第一场景中的对象进行拍摄得到的目标视频，其中，所述第一场景中的对象包括棋盘和放置在所述棋盘上的棋子；

从所述目标视频中确定出待处理的第一图像与第二图像，并获取所述第一图像与所述第二图像之间的第一状态相似度，其中，所述第一图像在所述目标视频中出现的时间早于所述第二图像；

根据所述第一状态相似度确定所述第二图像所呈现的所述棋盘上的棋子的状态；其中，所述根据所述第一状态相似度确定所述第二图像所呈现的所述棋盘上的棋子的状态包括：获取与所述目标视频对应的变化标识，其中，所述变化标识包括：用于表示所述棋盘上的棋子处于第一移动状态的第一标识和用于表示所述棋盘上的棋子处于第二移动状态的第二标识，其中，所述第二移动状态下所述棋盘上的棋子移动速度大于所述第一移动状态下所述棋盘上的棋子的移动速度；在所述第一状态相似度小于或等于第一阈值、且所述变化标识为第一标识的情况下，确定所述棋盘上的棋子的状态为变化状态，其中，所述变化状态用于指示所述棋盘上存在目标棋子；在所述第一状态相似度大于或等于第二阈值、且所述变化标识为第二标识的情况下，确定所述棋盘上的棋子的状态为所述变化状态；

在所述棋盘上的棋子的状态指示存在变化的所述目标棋子的情况下，将所述第二图像发送至服务器，其中，所述服务器用于记录所述棋子在所述棋盘上移动的过程。

2.根据权利要求1所述的方法，其特征在于，所述获取所述第一图像与所述第二图像之间的第一状态相似度包括：

对比所述第一图像的画面和所述第二图像的画面，得到第一图像相似度；

获取参考相似度与所述第一图像相似度之间的差值，作为所述第一状态相似度，其中，所述参考相似度为所述目标视频中第三图像和第四图像二者之间的第二图像相似度，所述第三图像和所述第四图像是所述目标视频开始播放的目标时间段内的图像。

3.根据权利要求1所述的方法，其特征在于，在所述获取与所述目标视频对应的变化标识之前，所述方法还包括：

检测所述目标视频是否配置有所述变化标识；

在检测到所述目标视频未配置所述变化标识的情况下，确定所述目标视频中的第五图像与第六图像之间的第二状态相似度，其中，所述第五图像在所述目标视频中出现的时间早于所述第六图像；

在所述第二状态相似度大于所述第一阈值且小于或等于所述第二阈值的情况下，生成所述第一标识；

在所述第二状态相似度大于所述第二阈值的情况下，生成所述第二标识。

4.根据权利要求1所述的方法，其特征在于，在所述确定所述棋盘上的棋子的状态为变化状态之后，还包括：

在所述变化标识为所述第一标识、且所述第一状态相似度小于所述第一阈值的情况下，将所述第二图像发送至所述服务器后删除所述第一标识；

在所述变化标识为所述第二标识、且所述第一状态相似度大于所述第一阈值且小于所述第二阈值的情况下，将所述第二标识转换为所述第一标识；

在所述变化标识为所述第二标识、且所述第一状态相似度小于所述第一阈值的情况下，删除所述第二标识。

5.根据权利要求1所述的方法，其特征在于，在所述棋盘上的棋子的状态指示存在变化的目标棋子的情况下，将所述第二图像发送至服务器包括：

在所述棋盘上的棋子的状态指示存在变化的目标棋子的情况下，将所述第二图像添加至图像传送序列中；

将所述图像传送序列中的图像传送至所述服务器，其中，所述图像传送序列中的图像按照在所述目标视频中的时间顺序排列。

6.根据权利要求5所述的方法，其特征在于，将所述图像传送序列中的图像传送至所述服务器包括：

在所述图像传送序列中图像的数量小于第一数量的情况下，将所述图像序列中图像按顺序依次传送至所述服务器；

在所述图像传送序列中的图像的数量大于或等于所述第一数量的情况下，将所述图像传送序列中前N个图像封装为图像数据包，将所述图像数据包发送至所述服务器。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述从所述目标视频中确定出待处理的第一图像与第二图像包括：

所述从所述目标视频中选取第一帧图像和第二帧图像，所述第一帧图像在所述目标视频中出现的时间早于所述第二帧图像；

将所述第一帧图像确定为所述第一图像；

将所述第二帧图像确定为所述第二图像。

8.根据权利要求1至6任一项所述的方法，其特征在于，所述从所述目标视频中确定出待处理的第一图像与第二图像包括：

所述从所述目标视频中选取第一帧图像和第二帧图像，所述第一帧图像在所述目标视频中出现的时间早于所述第二帧图像；

对所述第一帧图像进行分块处理，得到第一分块图像序列，对所述第二帧图像进行分块处理，得到第二分块图像序列；

将所述第一分块图像序列中的第i个分块图像作为所述第一图像，将所述第二分块图像序列中的第i个分块图像作为所述第二图像。

9.根据权利要求1至6任一项所述的方法，其特征在于，在将所述第二图像发送至服务器的步骤之后，所述方法还包括：

所述服务器通过物体检测模型对接收到的所述第二图像进行识别处理，获得第一识别结果，其中所述第一识别结果包括所述第二图像所呈现的所述棋盘上的棋子的位置和类型，所述物体检测模型用于对图像中所呈现的棋子的位置和类型进行识别；

所述服务器根据所述第二图像所呈现的所述棋盘上的棋子的位置和类型，对根据所述第一场景中的对象生成的模拟对象进行更新，得到更新后的模拟对象，其中，所述模拟对象包括模拟棋盘和模拟棋子；

所述服务器根据所述更新后的模拟对象生成视频文件。

10.根据权利要求9所述的方法，其特征在于，所述服务器根据所述第二图像所呈现的所述棋盘上的棋子的位置和类型，对根据所述第一场景中的对象生成的模拟对象进行更新，得到更新后的模拟对象包括：

在根据所述第二图像所呈现的所述棋盘上的棋子确定出当前增加的棋子的数量等于2个的情况下，所述服务器根据所述当前增加的棋子的类型和当前的落子顺序，确定所述模拟棋盘上的增加的棋子的更新顺序。

11.根据权利要求10所述的方法，其特征在于，在所述服务器根据所述第二图像所呈现的所述棋盘上的棋子的位置和类型，对根据所述第一场景中的对象生成的模拟对象进行更新之后，所述方法还包括：

在根据所述第二图像所呈现的所述棋盘上的棋子确定出当前增加的棋子的数量等于3个的情况下，所述服务器根据所述当前增加的棋子的类型和当前的落子顺序，获得第一待确定更新顺序和第二待确定更新顺序；

将所述第一待确定更新顺序和所述第二待确定更新顺序分别输入至胜率判断模型，获得第一待确定更新顺序所对应的第一胜率和所述第二待确定更新顺序所对应的第二胜率；

在所述第一胜率大于所述第二胜率中的情况下，将所述第一待确定更新顺序确定为所述模拟棋盘上的增加的棋子的更新顺序；

在所述第一胜率小于所述第二胜率中的情况下，将所述第二待确定更新顺序确定为所述模拟棋盘上的增加的棋子的更新顺序。

12.根据权利要求9所述的方法，其特征在于，在所述服务器根据所述更新后的模拟对象生成视频文件之前，所述方法还包括：

所述服务器将所述更新后的模拟对象放入缓存校对区；

所述服务器通过所述物体检测模型对在所述第二图像后接收到的目标图像进行识别处理，获得第二识别结果，其中所述第二识别结果包括所述目标图像所呈现的所述棋盘上的棋子的位置和类型；

所述服务器在所述第二识别结果指示的棋盘上未出现第一棋子的情况下，将所述缓存校对区内存储的所述更新后的模拟对象删除，其中所述第一棋子为所述第一识别结果所指示的棋盘上的棋子；

所述服务器在所述第二识别结果指示的棋盘上出现所述第一棋子和第二棋子，且所述第二棋子不符合当前的落子顺序的情况下，将所述缓存校对区内存储的所述更新后的模拟对象删除，其中，所述第二棋子为所述第二识别结果所指示的棋盘上出现的除所述第一棋子中的任一个棋子之外的棋子；

所述服务器在所述第二识别结果指示的棋盘上出现所述第一棋子和所述第二棋子，且所述第二棋子符合所述当前的落子顺序的情况下，确定利用所述更新后的模拟对象生成所述视频文件。

13.根据权利要求12所述的方法，其特征在于，将所述缓存校对区内存储的所述更新后的模拟对象删除的步骤之后，所述方法还包括：

所述服务器在所述第二识别结果指示的棋盘上未出现所述第一棋子、且出现的所述第二棋子不符合当前的落子顺序的情况下，将第一更新结果放入缓存校对区，其中，所述第一更新结果为根据所述第二识别结果所呈现的所述棋盘上的棋子的位置和类型，对根据所述模拟对象进行更新得到的结果；

所述服务器在所述第二识别结果指示的棋盘上出现所述第一棋子和所述第二棋子，且所述第二棋子符合所述当前的落子顺序的情况下，将第二更新结果放入缓存校对区，其中，所述第二更新结果为根据所述第二识别结果所呈现的所述棋盘上的棋子的位置和类型，对根据所述更新后的模拟对象进行更新得到的结果。

14.一种图像的处理系统，包括终端和服务器，其特征在于，所述终端包括：

第一获取模块，用于获取对第一场景中的对象进行拍摄得到的目标视频，其中，所述第一场景中的对象包括棋盘和放置在所述棋盘上的棋子；

第二获取模块，用于从所述目标视频中确定出待处理的第一图像与第二图像，并获取所述第一图像与所述第二图像之间的第一状态相似度，其中，所述第一图像在所述目标视频中出现的时间早于所述第二图像；

第一确定模块，用于根据所述第一状态相似度确定所述第二图像所呈现的所述棋盘上的棋子的状态；

发送模块，用于在所述棋盘上的棋子的状态指示存在变化的目标棋子的情况下，将所述第二图像发送至服务器，其中，所述服务器用于记录所述棋子在所述棋盘上移动的过程；

其中，所述第一确定模块包括：第一获取单元，用于获取与所述目标视频对应的变化标识，其中，所述变化标识包括：用于表示所述棋盘上的棋子处于第一移动状态的第一标识和用于表示所述棋盘上的棋子处于第二移动状态的第二标识，其中，所述第二移动状态下所述棋盘上的棋子移动速度大于所述第一移动状态下所述棋盘上的棋子的移动速度；第二确定单元，用于在所述第一状态相似度小于或等于第一阈值、且所述变化标识为第一标识的情况下，确定所述棋盘上的棋子的状态为变化状态，其中，所述变化状态用于指示所述棋盘上存在所述目标棋子；第三确定单元，用于在所述第一状态相似度大于或等于第二阈值、且所述变化标识为第二标识的情况下，确定所述棋盘上的棋子的状态为所述变化状态。

15.根据权利要求14所述的系统，其特征在于，所述第二获取模块包括：

对比单元，用于对比所述第一图像的画面和所述第二图像的画面，得到第一图像相似度；

第一确定单元，用于获取参考相似度与所述第一图像相似度之间的差值，作为所述第一状态相似度，其中，所述参考相似度为所述目标视频中第三图像和第四图像二者之间的第二图像相似度，所述第三图像和所述第四图像是所述目标视频开始播放的目标时间段内的图像。

16.根据权利要求14所述的系统，其特征在于，所述终端还包括：

检查模块，用于检测所述目标视频是否配置有所述变化标识；

第二确定模块，用于在检测到所述目标视频未配置所述变化标识的情况下，确定所述目标视频中的第五图像与第六图像之间的第二状态相似度，其中，所述第五图像在所述目标视频中出现的时间早于所述第六图像；

第一生产模块，用于在所述第二状态相似度大于所述第一阈值且小于或等于所述第二阈值的情况下，生成所述第一标识；

第二生产模块，用于在所述第二状态相似度大于所述第二阈值的情况下，生成所述第二标识。

17.根据权利要求14所述的系统，其特征在于，所述终端还包括：

第一删除模块，用于在所述变化标识为所述第一标识、且所述第一状态相似度小于所述第一阈值的情况下，将所述第二图像发送至所述服务器后删除所述第一标识；

转换模块，用于在所述变化标识为所述第二标识、且所述第一状态相似度大于所述第一阈值且小于所述第二阈值的情况下，将所述第二标识转换为所述第一标识；

第二删除模块，用于在所述变化标识为所述第二标识、且所述第一状态相似度小于所述第一阈值的情况下，删除所述第二标识。

18.根据权利要求14所述的系统，其特征在于，所述发送模块包括：

添加单元，用于在所述棋盘上的棋子的状态指示存在变化的目标棋子的情况下，将所述第二图像添加至图像传送序列中；

发送单元，用于将所述图像传送序列中的图像传送至所述服务器，其中，所述图像传送序列中的图像按照在所述目标视频中的时间顺序排列。

19.根据权利要求18所述的系统，其特征在于，所述发送单元具体用于：在所述图像传送序列中图像的数量小于第一数量的情况下，将所述图像序列中图像按顺序依次传送至所述服务器；在所述图像传送序列中的图像的数量大于或等于所述第一数量的情况下，将所述图像传送序列中前N个图像封装为图像数据包，将所述图像数据包发送至所述服务器。

20.根据权利要求14至19任一项所述的系统，其特征在于，所述发送单元包括：

第一选取单元，用于所述从所述目标视频中选取第一帧图像和第二帧图像，所述第一帧图像在所述目标视频中出现的时间早于所述第二帧图像；

第四确定单元，用于将所述第一帧图像确定为所述第一图像；

第五确定单元，用于将所述第二帧图像确定为所述第二图像。

21.根据权利要求14至19任一项所述的系统，其特征在于，所述发送单元包括：

第二选取单元，用于所述从所述目标视频中选取第一帧图像和第二帧图像，所述第一帧图像在所述目标视频中出现的时间早于所述第二帧图像；

第一分块处理单元，用于对所述第一帧图像进行分块处理，得到第一分块图像序列，对所述第二帧图像进行分块处理，得到第二分块图像序列；

第二分块处理单元，用于将所述第一分块图像序列中的第i个分块图像作为所述第一图像，将所述第二分块图像序列中的第i个分块图像作为所述第二图像。

22.根据权利要求14至19任一项所述的系统，其特征在于，所述服务器包括：

识别模块，用于通过物体检测模型对接收到的所述第二图像进行识别处理，获得第一识别结果，其中所述第一识别结果包括所述第二图像所呈现的所述棋盘上的棋子的位置和类型，所述物体检测模型用于对图像中所呈现的棋子的位置和类型进行识别；

更新模块，用于根据所述第二图像所呈现的所述棋盘上的棋子的位置和类型，对根据所述第一场景中的对象生成的模拟对象进行更新，得到更新后的模拟对象，其中，所述模拟对象包括模拟棋盘和模拟棋子；

生成模块，用于根据所述更新后的模拟对象生成视频文件。

23.根据权利要求22所述的系统，其特征在于，所述更新模块包括：

更新单元，用于在根据所述第二图像所呈现的所述棋盘上的棋子确定出当前增加的棋子的数量等于2个的情况下，根据所述当前增加的棋子的类型和当前的落子顺序，确定所述模拟棋盘上的增加的棋子的更新顺序。

24.根据权利要求23所述的系统，其特征在于，所述服务器还包括：

第二获取单元，用于在根据所述第二图像所呈现的所述棋盘上的棋子确定出当前增加的棋子的数量等于3个的情况下，根据所述当前增加的棋子的类型和当前的落子顺序，获得第一待确定更新顺序和第二待确定更新顺序；

第三获取单元，用于将所述第一待确定更新顺序和所述第二待确定更新顺序分别输入至胜率判断模型，获得第一待确定更新顺序所对应的第一胜率和所述第二待确定更新顺序所对应的第二胜率；

第六确定单元，用于在所述第一胜率大于所述第二胜率中的情况下，将所述第一待确定更新顺序确定为所述模拟棋盘上的增加的棋子的更新顺序；

第七确定单元，用于在所述第一胜率小于所述第二胜率中的情况下，将所述第二待确定更新顺序确定为所述模拟棋盘上的增加的棋子的更新顺序。

25.根据权利要求22所述的系统，其特征在于，所述服务器还包括：

第一校对模块，用于将所述更新后的模拟对象放入缓存校对区；

第四获取单元，用于通过所述物体检测模型对在所述第二图像后接收到的目标图像进行识别处理，获得第二识别结果，其中所述第二识别结果包括所述目标图像所呈现的所述棋盘上的棋子的位置和类型；

第一删除单元，用于在所述第二识别结果指示的棋盘上未出现第一棋子的情况下，将所述缓存校对区内存储的所述更新后的模拟对象删除，其中所述第一棋子为所述第一识别结果所指示的棋盘上的棋子；

第二删除单元，用于在所述第二识别结果指示的棋盘上出现所述第一棋子和第二棋子，且所述第二棋子不符合当前的落子顺序的情况下，将所述缓存校对区内存储的所述更新后的模拟对象删除，其中，所述第二棋子为所述第二识别结果所指示的棋盘上出现的除所述第一棋子中的任一个棋子之外的棋子；

第八确定单元，用于在所述第二识别结果指示的棋盘上出现所述第一棋子和所述第二棋子，且所述第二棋子符合所述当前的落子顺序的情况下，确定利用所述更新后的模拟对象生成所述视频文件。

26.根据权利要求25所述的系统，其特征在于，所述服务器还包括：

第二校对模块，用于在所述第二识别结果指示的棋盘上未出现所述第一棋子、且出现的所述第二棋子不符合当前的落子顺序的情况下，将第一更新结果放入缓存校对区，其中，所述第一更新结果为根据所述第二识别结果所呈现的所述棋盘上的棋子的位置和类型，对根据所述模拟对象进行更新得到的结果；

第三校对模块，用于所述服务器在所述第二识别结果指示的棋盘上出现所述第一棋子和所述第二棋子，且所述第二棋子符合所述当前的落子顺序的情况下，将第二更新结果放入缓存校对区，其中，所述第二更新结果为根据所述第二识别结果所呈现的所述棋盘上的棋子的位置和类型，对根据所述更新后的模拟对象进行更新得到的结果。

27.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序被处理器运行时执行上述权利要求1至13任一项中所述图像的处理的方法。

28.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至13任一项中所述图像的处理的方法。

Images