CN114926345A - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种图像处理方法、装置、电子设备及存储介质，该方法包括：获取对文本内容进行连续扫描后得到的多帧待处理图像；针对所述多帧待处理图像中的每帧待处理图像，基于所述待处理图像中各像素点的像素点信息，从所述各像素点中筛选出所述待处理图像中待识别对象对应的关键点；获取所述关键点对应目标区域范围内的多组像素点对，并基于所述多组像素点对得到所述关键点对应的关键点特征信息；基于所述多帧待处理图像中关键点对应的关键点特征信息，对所述多帧待处理图像进行拼接，生成拼接图像。

Description

一种图像处理方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机视觉技术领域，具体而言，涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

随着信息技术的发展和多语言沟通的需要，扫读笔被应用于多个领域，比如，教育领域、社交领域等。扫读笔可以通过移动过程中的不断采图及拼接来完成后续文字内容的识别。但是，由于扫读笔在使用过程中受到扫描角度、移动速度等因素的干扰，而影响图像拼接效果及最终的文字内容识别结果。

发明内容

有鉴于此，本公开至少提供一种图像处理方法、装置、电子设备及存储介质。

第一方面，本公开提供了一种图像处理方法，包括：

获取对文本内容进行连续扫描后得到的多帧待处理图像；

针对所述多帧待处理图像中的每帧待处理图像，基于所述待处理图像中各像素点的像素点信息，从所述各像素点中筛选出所述待处理图像中待识别对象对应的关键点；

获取所述关键点对应目标区域范围内的多组像素点对，并基于所述多组像素点对得到所述关键点对应的关键点特征信息；

基于所述多帧待处理图像中每个所述关键点对应的关键点特征信息，对所述多帧待处理图像进行拼接，生成拼接图像。

上述方法中，针对多帧待处理图像中的每帧待处理图像，通过基于待处理图像中每个像素点的像素信息，从各像素点中筛选出待处理图像中待识别对象对应的关键点；比如，在待识别对象包括汉字，该关键点可以为汉字边界上对应的像素点，或者可以为汉字边界周围的空白区域对应的像素点。再可以获取关键点对应目标区域范围内的多组像素点对，并可以基于多组像素点对得到关键点对应的关键点特征信息；由于关键点可以为待识别对象边界上对应的像素点，或者待识别对象边界周围的空白区域对应的像素点，该关键点的特征信息较丰富，利用各帧待处理图像中每个关键点对应的关键点特征信息，能够较准确的对多帧待处理图像进行拼接，降低待处理图像中除待识别对象边界周围的空白区域之外的其他空白区域的干扰，缓解了相关技术中利用稀疏光流或图像块的匹配方式进行拼接时造成的拼接效果较差的问题，使得拼接较准确，生成的拼接图像的效果较好。

第二方面，本公开提供了一种图像处理装置，包括：

获取模块，用于获取对任一文本内容进行连续扫描后得到的多帧待处理图像；

筛选模块，用于针对所述多帧待处理图像中的每帧待处理图像，基于所述待处理图像中各像素点的像素点信息，从所述各像素点中筛选出所述待处理图像中待识别对象对应的关键点；

第一确定模块，用于获取所述关键点对应目标区域范围内的多组像素点对，并基于所述多组像素点对得到所述关键点对应的关键点特征信息；

第一生成模块，用于基于所述多帧待处理图像中每个所述关键点对应的关键点特征信息，对所述多帧待处理图像进行拼接，生成拼接图像。

第三方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的图像处理方法的步骤。

第四方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的图像处理方法的步骤。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种图像处理方法的流程示意图；

图2示出了本公开实施例所提供的一种图像处理方法中，获取的多帧待处理图像的示意图；

图3示出了本公开实施例所提供的一种图像处理方法中，待识别对象对应的关键点的示意图；

图4示出了本公开实施例所提供的一种图像处理方法中，各个关键点对应的多组像素点对的位置信息的示意图；

图5示出了本公开实施例所提供的一种图像处理方法中，拼接图像的示意图；

图6示出了本公开实施例所提供的一种图像处理方法中，目标信息的示意图；

图7示出了本公开实施例所提供的一种图像处理方法中，目标图像的示意图；

图8示出了本公开实施例所提供的一种图像处理装置的架构示意图；

图9示出了本公开实施例所提供的一种电子设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

扫读笔主要对扫描得到的多帧图像中的内容进行识别并播放。其中，在扫读笔获取多帧图像之后，需要将扫读笔扫描到的多帧图像进行拼接，得到拼接图像，以便基于拼接图像进行图像内容识别。图像的拼接具体是指将扫描过程中产生的多帧图像进行去重、对齐和拼接，从而构建完整的图像。但是，由于扫描的角度、扫读笔的移动速度等原因，使得很难从硬件的标定角度来将多帧图像进行对齐拼接，得到拼接图像。

相关技术中，可以通过视觉图像的配准来实现图像拼接。一种方式中，可以使用光流法对多帧图像中的特征点进行匹配跟踪，确定移动向量，根据移动向量实现图像的配准，完成多帧图像的拼接。另一种方式中，可以基于图像块匹配的方式，计算图像对之间的移动向量，再根据移动向量实现图像的配准，完成多帧图像的拼接。

但是，上述基于稀疏光流和图像块的匹配方式，通过将图像分成多块进行图像匹配。考虑到扫描内容的尺寸不同，当扫描较小的单行文字时，比如扫描内容为单行六号文字，除了图像中心少量区域为文字区域外，其他大部分区域为空白区域，而空白图像块的匹配容易出现错误，造成图像配准的精度降低，进而使得拼接图像的效果较差。并且，即使图像配准正确，若扫描过程中出现手抖或者晃动，拼接图像中的文字可能存在弯曲的问题。

同时，由于扫读笔的摄像头比较小巧灵活以及扫描的角度多样性，摄像头拍摄的文字很容易出现倾斜，即文字并非位于图像的水平位置。当扫描速度较快时，前后帧扫描图像移动向量较大，即使将图像配准也无法进行拼接。如果增加额外的文字角度判断算法，精度差而且增加额外耗时与功耗，难以达到较好的拼接效果。

为了缓解上述问题，本公开实施例提出一种图像处理方法、装置、电子设备及存储介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种图像处理方法进行详细介绍。本公开实施例所提供的图像处理方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备比如可以为手机、扫描笔、点读笔等设备。在一些可能的实现方式中，该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

参见图1所示，为本公开实施例所提供的图像处理方法的流程示意图，该方法包括S101至S104，具体的：

S101，获取对文本内容进行连续扫描后得到的多帧待处理图像。

S102，针对多帧待处理图像中的每帧待处理图像，基于待处理图像中各像素点的像素点信息，从各像素点中筛选出待处理图像中待识别对象对应的关键点。

S103，获取关键点对应目标区域范围内的多组像素点对，并基于多组像素点对得到关键点对应的关键点特征信息。

S104，基于多帧待处理图像中关键点对应的关键点特征信息，对多帧待处理图像进行拼接，生成拼接图像。

上述方法中，针对多帧待处理图像中的每帧待处理图像，通过基于待处理图像中每个像素点的像素信息，从各像素点中筛选出待处理图像中待识别对象对应的关键点；比如，在待识别对象包括汉字，该关键点可以为汉字边界上对应的像素点，或者可以为汉字边界周围的空白区域对应的像素点。再可以获取关键点对应目标区域范围内的多组像素点对，并可以基于多组像素点对得到关键点对应的关键点特征信息；由于关键点可以为待识别对象边界上对应的像素点，或者待识别对象边界周围的空白区域对应的像素点，该关键点的特征信息较丰富，利用各帧待处理图像中每个关键点对应的关键点特征信息，能够较准确的对多帧待处理图像进行拼接，降低待处理图像中除待识别对象边界周围的空白区域之外的其他空白区域的干扰，缓解了相关技术中利用稀疏光流或图像块的匹配方式进行拼接时造成的拼接效果较差的问题，使得拼接较准确，生成的拼接图像的效果较好。

下述对S101至S104进行具体说明。

针对S101、获取对文本内容进行连续扫描后得到的多帧待处理图像：

该文本内容可以包括但不限于：不同语种的文字，数字，数学符号等，不同语种的文字可以包括汉字、英文字母等；多帧待处理图像可以通过扫读笔、点读笔等扫描设备对文本内容连续扫描获得，且可以根据扫描设备上摄像头的尺寸预先设定采集图像的尺寸；同时，多帧待处理图像的顺序根据扫描设备扫描的时间顺序相匹配。一般的，该扫描设备上摄像头的帧率较高，比如，120FPS，即每秒可以传输120帧图像，因此，相邻两帧待处理图像之间存在重叠区域，参见图2所示的5帧图像，每相邻两帧会存在部分区域重叠。

针对S102、针对多帧待处理图像中的每帧待处理图像，基于待处理图像中各像素点的像素点信息，从各像素点中筛选出待处理图像中待识别对象对应的关键点：

在获取到多帧待处理图像之后，针对多帧待处理图像中的每帧待处理图像，可以利用特征提取算法，比如，surf算法、fast算法等，从待处理图像包括的各像素点中筛选出该待处理图像中待识别对象对应的关键点。其中，待识别对象可以为待处理图像中包括的任一对象，比如，文字、字符、图画等；参见图3所示，以待识别对象包括汉字为例，该关键点可以为汉字边界上对应的像素点，即颜色较深的像素点，比如关键点2、关键点4，或者可以为汉字边界周围的空白区域对应的像素点，即颜色较浅的像素点，则为空白区域对应的像素点，比如关键1、关键点3。

具体的，可以基于待处理图像中各像素点的像素信息，从各像素点中筛选出待处理图像中待识别对象对应的关键点；该关键点可以为待识别对象边界上对应的像素点，或者可以为待识别对象边界周围的空白区域对应的像素点。

一种可能的实施方式中，S102的基于待处理图像中各像素点的像素点信息，从各像素点中筛选出待处理图像中待识别对象对应的关键点，包括：

步骤A1，将待处理图像至少部分像素点中的每个像素点作为候选关键像素点，确定候选关键像素点对应的邻域边界上的每个边界像素点的像素信息与候选关键像素点的像素信息之间的像素差值。

步骤A2，将像素差值大于差值阈值的边界像素点，确定为候选边界像素点。

步骤A3，在邻域边界上连续出现的候选边界像素点的数量大于预设数量的情况下，将候选关键像素点确定为待识别对象对应的关键点。

实施时，将待处理图像至少部分像素点中的每个像素点作为候选关键像素点，可以先确定候选关键像素点对应的邻域，其中，候选关键像素点对应的邻域半径可以根据获取的待处理图像进行确定，待处理图像的尺寸较小，邻域半径可以较小；比如，待处理图像的图像分辨率为80×80，邻域半径可以为15个像素；待处理图像的图像分辨率为128×128，邻域半径可以为30个像素；等等；再可以确定候选关键像素点对应的邻域边界上的每个边界像素点的像素信息与候选关键像素点的像素信息之间的像素差值。进而，可以将像素差值大于差值阈值的边界像素点，确定为候选边界像素点；其中，差值阈值可以根据实际情况进行确定。

在邻域边界上连续出现的候选边界像素点的数量大于预设数量的情况下，确定该候选关键点为待识别对象对应的关键点，并将候选关键点在待处理图像上的像素位置，确定为关键点对应的关键点位置信息；在邻域边界上连续出现的候选边界像素点的数量均小于或等于预设数量的情况下，确定该候选关键点不属于关键点；其中，预设数量可以根据边界像素点的数量进行确定，边界像素点的数量与预设数量正相关，即边界像素点的数量越多，预设数量越多；比如，边界像素点的数量为30，预设数量可以为18；边界像素点的数量为20，预设数量可以为10等等；关键点对应的关键点位置信息包括用于反映该关键点在待处理图像中位置的信息，比如，该关键点在待处理图像上的横纵坐标等。

示例性的，该候选关键点对应的边界像素点的数量为20个，预设数量为12；像素差值大于差值阈值的候选边界像素点的数量为16个，其中，有12个连续候选边界像素点，则可以确定该候选关键点为待识别对象对应的关键点。

这里，可以先将待处理图像至少部分像素点中的每个像个像素点作为候选关键点，再可以基于候选关键点对应的邻域边界上的各个边界像素点的像素信息和该候选关键点的像素信息，较准确的确定关键点和关键点位置信息，以便后续能够利用关键点的关键特征信息进行图像拼接。

针对S103、获取关键点对应目标区域范围内的多组像素点对，并基于多组像素点对得到关键点对应的关键点特征信息：

在确定各帧待处理图像中待识别对象对应的关键点之后，可以利用特征提取子描述算法，比如，brief算法、star算法等，生成关键点对应的二值化描述，即关键特征信息。

具体的，可以先获取关键点对应的目标区域范围内的多组像素点对，并可以基于所多组像素点对得到关键点对应的关键点特征信息；关键点特征信息包括关键点对应的目标区域范围内的多组像素点对的像素偏差信息；其中，像素点对的数量可以预先进行设置，关键点特征信息的精准度和像素点对的数量呈正比，比如，像素点对的数量设置的越多，关键点特征信息的精准度越高。

实施时，关键点对应的目标区域的形状可以为规则形状，也可以为不规则形状；若目标区域的形状为规则形状，目标区域可以为圆形区域、正方形区域等；同时关键点在对应的目标区域范围内所处的位置可以为中心位置，也可以为其他位置，比如目标区域为正方形区域，关键点可以位于正方形区域的任一顶点位置；具体可以根据实际需求进行确定；但要保证各个关键点对应的目标区域范围一致，各个关键点在对应的目标区域范围内的位置信息一致。

以目标区域范围包括圆形区域为例，获取关键点对应目标区域范围内的多组像素点对，并基于多组像素点对得到关键点对应的关键点特征信息，包括：

步骤B1，确定以关键点为中心、以预设长度为半径的目标区域范围。

步骤B2，在目标区域范围内，确定关键点对应的多组像素点对。

步骤B3，针对多组像素点对中的每组像素点对，确定像素点对中第一像素点的像素信息与第二像素点的像素信息之间的像素偏差信息。

步骤B4，基于得到的分别与多组像素点对对应的像素偏差信息，生成关键点对应的关键点特征信息。

实施时，在目标区域范围包括圆形区域的情况下，首先确定以关键点为中心、以预设长度为半径的目标区域范围；其中，预设长度可以根据实际情况进行确定，比如，可以为12像素、20像素等。再可以在目标区域范围内，确定关键点对应的多组像素点对；像素点对的数量可以根据实际情况预先进行设置，比如，预设像素点对的数量为10对，可以在目标区域范围内，随机选取20个像素点，像素点1至像素点20，再可以根据选取顺序，组成10组像素点对，即像素点1与像素点2、像素点3与像素点4、像素点5与像素点6、…、像素点19与像素点20。

进而，针对多组像素点对中的每组像素点对，可以确定像素点对中第一像素点的像素信息与第二像素点的像素信息之间的像素偏差信息；其中，像素点对中第一像素点和第二像素点可以随机确定。

比如，若第一像素点的像素信息大于第二像素点的像素信息，则第一像素点与第二像素点之间的像素偏差信息为1；若第一像素点的像素信息小于第二像素点的像素信息，则第一像素点与第二像素点之间的像素偏差信息为0。当然，在赋值时也可以采用相反的机制，即若第一像素点的像素信息大于第二像素点的像素信息，则第一像素点与第二像素点之间的像素偏差信息为0；若第一像素点的像素信息小于第二像素点的像素信息，则第一像素点与第二像素点之间的像素偏差信息为1。针对上述两种实现方式，若第一像素点的像素信息等于第二像素点的像素信息，则第一像素点与第二像素点之间的像素偏差信息可以为1，也可以为0。

以上述第一种赋值机制、存在10组像素点对为例(即包括了像素点1至像素点20)，像素点1的像素信息为198、像素点2的像素信息为150，则像素点1和像素点2之间的像素偏差信息可以为1(198>150)；像素点3的像素信息为28、像素点4的像素信息为88，像素点3和像素点4之间的像素偏差信息可以为0(28<88)；像素点5的像素信息为200、像素点6的像素信息为200，像素点5和像素点6之间的像素偏差信息可以为1；……；像素点19的像素信息为100、像素点20的像素信息为120，像素点19和像素点20之间的像素偏差信息可以为0(100<120)；可以基于得到的分别与多组像素点对对应的像素偏差信息，生成关键点对应的关键点特征信息，比如，关键点特征信息可以表示为1011101000。

考虑到后续会基于关键点对应的关键点特征信息，确定关键点匹配对，为了保障关键点匹配对的准确度，结合图4所示，在各个关键点对应的目标区域范围内，确定该关键点对应的多组像素点对时，可以以各个关键点对应的目标区域范围的中心点为原点建立一个坐标系，对于每个目标区域范围，确定位于位置信息为(-5，6)的像素点为像素点a，位于位置信息为(5，2)的像素点为像素点b，位于位置信息为(4，7)的像素点为像素点c，位于位置信息为(-2，-5)的像素点为像素点d，位于位置信息为(-6，-1)的像素点为像素点e，位于位置信息为(5，3)的像素点为像素点f；则像素点a与像素点b构成像素点对1，像素点c与像素点d构成像素点对2，像素点e与像素点f构成像素点对3。可见，虽然各像素点可以是随机生成的，但对于同一处理任务的不同目标区域范围而言，所包括的各像素点的相对位置关系是一致的，即在任意一个目标区域范围内，都存在像素点a至像素点f，而不同目标区域范围内的同一像素点在所属目标区域范围内所处的位置是相同的。由于针对不同关键点得到像素点对的过程中，采用的实现逻辑是相同的，故得到的各关键点特征信息也是基于同一考量维度得到的，这样后续再根据关键点对应的关键点特征信息，确定关键点匹配对时，可以使得到的结果具有更高的准确度。

具体实施时，在目标区域的形状为其他规则形状的情况下，比如，目标区域可以为正方形区域、矩形区域等。在目标区域为正方形区域时，则可以确定以关键点为任一顶点、以预设长度为边长的正方形区域为目标区域范围；或者，可以确定以关键点为中心点(即正方形区域中两条对角线的相交点)、以预设长度为对角线长度的正方形区域为目标区域范围；后续生成关键点对应的关键点特征信息的过程可以参考步骤B2至步骤B4的过程，这里不再进行赘述。

这里，在以关键点为中心、以预设长度为半径的目标区域范围内确定多个像素点对，并利用像素点对中第一像素点和第二像素点之间的像素偏差信息，确定关键点对应的关键点特征信息，即关键点特征信息包括关键点周围的多个像素点对的像素偏差信息，利用关键点周围的像素点的像素分布情况较准确的表征该关键点的特征；以便后续能够利用关键点特征信息，较准确的对多帧待处理图像进行拼接。

针对S104、基于多帧待处理图像中关键点对应的关键点特征信息，对多帧待处理图像进行拼接，生成拼接图像：

由于关键点对应的关键点特征信息为基于该关键点对应的目标区域范围内的多个像素点对的像素偏差信息确定的，因此，若相邻待处理图像中待处理图像1中的关键点1对应的关键点特征信息为1011101011，待处理图像2中的关键点2对应的关键点特征信息为1011101000，待处理图像2中的关键点3对应的关键点特征信息为1011100010；关键点1对应的关键点特征信息与关键点2对应的关键点特征信息之间的差值为3(1011101011-1011101000)，关键点1对应的关键点特征信息与关键点3对应的关键点特征信息之间的差值为9(1011101011-1011100010)，则由于关键点1与关键点2的关键点特征信息之间的偏差较小，表示关键点1对应的目标区域范围内的特征分布、与关键点2对应的目标区域范围内的特征分布较相似，关键点1和关键点2对应同一待识别对象的可能性较高，即可以确定关键点1对应的关键点特征信息和关键点2对应的关键点特征信息指示的待识别对象的相似度较高；相反，关键点1对应的关键点特征信息和关键点3对应的关键点特征信息指示的待识别对象的相似度较低。

故可以基于相邻待处理图像中每个关键点对应的关键点特征信息，对图像进行拼接，即可以确定相邻待处理图像对应的重叠区域，进而可以对各帧待处理图像进行去重、拼接，生成拼接图像。

考虑到扫描过程可能出现倾斜扫描的情况，导致生成的拼接图像中的待识别对象存在未对齐的情况，因此，还可以基于相邻待处理图像中每个关键点的关键点位置信息，将相邻待处理图像进行矫正对齐，再将矫正后待处理图像进行配准，并确定相邻待处理图像对应的重叠区域，进而可以对各帧待处理图像进行去重、拼接，生成拼接图像。

一种可能的实施方式中，基于多帧待处理图像中关键点对应的关键点特征信息，对多帧待处理图像进行拼接，生成拼接图像，包括：

步骤C1，针对多帧待处理对象中的每组相邻待处理图像，基于相邻待处理图像中第一待处理图像的各个关键点对应的关键点特征信息、和第二待处理图像的各个关键点对应的关键点特征信息，确定相邻待处理图像对应的重叠区域信息。

步骤C2，基于得到的重叠区域信息，对多帧待处理图像进行拼接，生成拼接图像。

由于关键点对应的关键点特征信息为基于该关键点对应的目标区域范围内的多个像素点对的像素偏差信息确定的，若两个关键点分别对应的关键点特征信息之间的相似度较高，则两个关键点对应的目标区域范围内的待识别对象相同的可能性较大。因此，针对多帧待处理对象中的每组相邻待处理图像，可以基于相邻待处理图像中第一待处理图像的各个关键点对应的关键点特征信息、和第二待处理图像的各个关键点对应的关键点特征信息，确定相邻待处理图像对应的重叠区域信息。

再可以先选取用于拼接的重叠区域；比如，用于进行拼接的重叠区域可以选取第一待处理图像对应的重叠区域信息指示的图像区域；或者，可以选取第二待处理图像中对应的重叠区域信息指示的图像区域；再或者，可以将第一待处理图像对应的重叠区域信息指示的图像区域视为第一图像区域，将第二待处理图像中对应的重叠区域信息指示的图像区域视为第二图像区域，将第一图像区域与第二图像区域相同位置(即同一相对位置)的像素点的像素点信息求平均，可以得到重叠区域中各个位置对应的均值，即可以得到重叠区域；进而，可以基于多组相邻待处理图像对应的重叠区域信息，对多帧待处理图像进行拼接，生成拼接图像，参见图5所示。

这里，基于每组相邻待处理图像中第一待处理图像的各个关键点对应的关键点特征信息、和第二待处理图像的各个关键点对应的关键点特征信息，能够较准确的确定每组相邻待处理图像对应的重叠区域信息，缓解了不存在待识别对象的空白区域对图像配准的干扰，提高了待处理图像配准的精准度，再基于多组相邻待处理图像对应的重叠区域信息，较精准的对多帧待处理图像进行拼接，使得生成的拼接图像较准确。

一种可能的实施方式中，基于相邻待处理图像中第一待处理图像的各个关键点对应的关键点特征信息、和第二待处理图像的各个关键点对应的关键点特征信息，确定相邻待处理图像对应的重叠区域信息，包括：

步骤D1，基于第一待处理图像的各个关键点对应的关键点特征信息、和第二待处理图像的各个关键点对应的关键点特征信息，确定相邻待处理图像对应的关键点匹配对；其中，关键点匹配对中包括第一待处理图像上的第一关键点和第二待处理图像上的第二关键点。

步骤D2，基于相邻待处理图像对应的关键点匹配对中第一关键点的关键点位置信息、和第二关键点的关键点位置信息，确定相邻待处理图像对应的重叠区域信息。

由于关键点对应的关键点特征信息为基于该关键点对应的目标区域范围内的多个像素点对的像素偏差信息确定的，若两个关键点对应的目标区域范围内的待识别对象一致，则两个关键点分别对应的关键点特征信息之间的相似度较高。因此，可以基于第一待处理图像的各个关键点对应的关键点特征信息、和第二待处理图像的各个关键点对应的关键点特征信息，确定相邻待处理图像对应的关键点匹配对；其中，关键点匹配对中包括第一待处理图像上的第一关键点和第二待处理图像上的第二关键点。

比如，可以针对第一待处理图像中的每个关键点1，从第二待处理图像包括的多个关键点2中，确定与关键点1的关键点特征相似的关键点2，该关键点1与确定的关键点2构成一个关键点匹配对。若第二待处理图像包括的多个关键点2中，不存在与关键点1的关键点特征相似的关键点2，则确定该关键点1不存在匹配的关键点2。

或者，也可以针对第二待处理图像中的每个关键点2，从第一待处理图像包括的多个关键点1中，确定与关键点2的关键点特征相似的关键点1，该关键点2与确定的关键点1构成一个关键点匹配对。

进而可以基于相邻待处理图像对应的关键点匹配对中第一关键点的关键点位置信息、和第二关键点的关键点位置信息，确定相邻待处理图像对应的重叠区域信息。比如，可以将关键点匹配对对应的区域，确定为重叠区域。

这里，若两个关键点对应的目标区域范围内的待识别对象一致，则两个关键点分别对应的关键点特征信息之间的相似度较高，故基于第一待处理图像的各个关键点对应的关键点特征信息、和第二待处理图像的各个关键点对应的关键点特征信息，能够较精准的确定相邻待处理图像对应的关键点匹配对；再基于相邻待处理图像对应的关键点匹配对中第一关键点的关键点位置信息、和第二关键点的关键点位置信息，较准确的确定相邻待处理图像对应的重叠区域信息。

一种可能的实施方式中，步骤D1，基于第一待处理图像的各个关键点对应的关键点特征信息、和第二待处理图像的各个关键点对应的关键点特征信息，确定相邻待处理图像对应的关键点匹配对，包括：

步骤D11，针对第一待处理图像的每个关键点，基于关键点对应的关键点特征信息、和第二待处理图像的各个关键点对应的关键点特征信息，确定关键点与第二待处理图像的每个关键点之间的相似度信息。

步骤D12，基于第一待处理图像的各个关键点分别与第二待处理图像的每个关键点之间的相似度信息，确定相邻待处理图像对应的关键点匹配对。

实施时，针对第一待处理图像的每个关键点，可以基于关键点对应的关键点特征信息、和第二待处理图像的各个关键点对应的关键点特征信息，确定关键点与第二待处理图像的每个关键点之间的相似度信息。

比如，可以将两个关键点分别对应的关键点特征信息之间的汉明距离，确定为两个关键点之间的相似度信息；或者，还可以确定两个关键点分别对应的关键点特征信息之间的特征信息差值，将该特征信息差值确定为两个关键点之间的相似度信息；其中，两个关键点之间的相似度信息越小，两个关键点之间的相似度越高。

进而，针对第一待处理图像的关键点1，可以基于第一待处理图像的关键点1分别与第二待处理图像的各个关键点2之间的相似度信息，确定该关键点1匹配的关键点2。在该关键点1存在匹配的关键点2时，该关键点1和关键点2构成一个关键点匹配对。进而可以得到相邻待处理图像对应的关键点匹配对。

示例性的，针对第一待处理图像的关键点1，可以将最小相似度信息对应的关键点2确定为与该关键点1相匹配的关键点。或者，还可以在最小相似度信息小于预先设置的阈值的情况下，将最小相似度信息对应的关键点2确定为与该关键点1相匹配的关键点；在最小相似度信息大于或等于预先设置的阈值的情况下，确定该关键点2与该关键点1不能构成关键点匹配对。

示例性的，若第一待处理图像中的关键点0对应的关键点特征信息为1011010，第二待处理图像中有关键点1至关键点5，关键点1的关键点特征信息为1000110，关键点2的关键点特征信息为1010110，关键点3的关键点特征信息为1100100，关键点4的关键点特征信息为0110101，关键点5的关键点特征信息为0110110；则关键点0对应的关键点特征信息和关键点1对应的关键点特征信息之间的汉明距离为5，即关键点0和关键点1之间的相似度信息为5；关键点0和关键点2之间的相似度信息为2；关键点0和关键点3之间的相似度信息为5，关键点0和关键点4之间的相似度信息为6，关键点0和关键点5之间的相似度信息为4；可以确定第一待处理图像中的关键点0和第二待处理图像中的关键点2之间的相似度较高，即第一待处理图像中的关键点0和第二待处理图像中的关键点2构成关键点匹配对。

这里，利用两个关键点对应的关键点特征信息之间的汉明距离、或特征信息差值，可以较灵活的确定第一待处理图像的各个关键点分别与第二待处理图像的每个关键点之间的相似度信息；并可以基于第一待处理图像的各个关键点分别与第二待处理图像的每个关键点之间的相似度信息，较准确的确定相邻待处理图像对应的关键点匹配对，以便后续可以根据相邻待处理图像对应的关键点匹配对中关键点对应的关键点位置信息，确定相邻待处理图像对应的重叠区域信息。

一种可能的实施方式中，步骤D12，基于第一待处理图像的各个关键点分别与第二待处理图像的每个关键点之间的相似度信息，确定相邻待处理图像对应的关键点匹配对，包括：

步骤D121，针对第一待处理图像中的每个待处理关键点，按照从小到大的顺序，从待处理关键点与第二待处理图像的各个关键点之间的相似度信息中，确定第一相似度信息和第二相似度信息；其中，第一相似度信息小于第二相似度信息。

步骤D122，基于第二相似度信息，确定待处理关键点对应的相似度阈值。

步骤D123，在第一相似度信息小于相似度阈值的情况下，确定第二待处理图像中第一相似度信息对应的关键点、与待处理关键点构成关键点匹配对。

实施时，可以针对第一待处理图像中的每个待处理关键点，按照从小到大的顺序，从待处理关键点与第二待处理图像的各个关键点之间的相似度信息中，确定第一相似度信息和第二相似度信息；其中，第一相似度信息小于第二相似度信息。

第一相似度信息为顺序序列中的第一个相似度信息，即最小相似度信息；该第二相似度信息为顺序序列中的第二个相似度信息，即次小相似度信息。再可以基于第二相似度信息，确定待处理关键点对应的相似度阈值；示例性的，可以将第二相似度信息与预设系数的积，确定为待处理关键点对应的相似度阈值；其中，预设系数可以根据实际需求进行确定，比如，可以为0.7、0.8等。

在第一相似度信息小于相似度阈值的情况下，可以确定第二待处理图像中第一相似度信息对应的关键点、与待处理关键点构成关键点匹配对；在第一相似度信息大于或等于相似度阈值的情况下，可以确定第二待处理图像中各个关键点、与待处理关键点不满足构成关键点匹配对的条件，即该待处理关键点不能构成关键点匹配对。

示例性的，若第二待处理图像有关键点1至关键点5，第一待处理图像中待处理关键点为关键点0，关键点0和关键点1之间的相似度信息1为5；关键点0和关键点2之间的相似度信息2为2；关键点0和关键点3之间的相似度信息3为5，关键点0和关键点4之间的相似度信息4为6，关键点0和关键点5之间的相似度信息5为4；按照从小到大的顺序，确定第一相似度信息为相似度信息2，第二相似度信息为相似度信息5；若预设系数为0.8，则相似度阈值为3.2(0.8×4)，可以确定第二待处理图像中相似度信息2对应的关键点2、与关键点0构成关键点匹配对。

这里，基于第一待处理图像中的每个待处理关键点对应的第二相似度信息，能够较灵活和较准确的确定该待处理关键点对应的相似度阈值；在该待处理关键点对应的第一相似度信息小于相似度阈值的情况下，确定第二待处理图像中第一相似度信息对应的关键点、与待处理关键点构成的关键点相似度较高，能够组成关键点匹配对，关键点匹配对的确定较准确。

一种可能的实施方式中，步骤D2，基于相邻待处理图像对应的关键点匹配对中第一关键点的关键点位置信息、和第二关键点的关键点位置信息，确定相邻待处理图像对应的重叠区域信息，包括：

步骤D21，针对相邻待处理图像中每个关键点匹配对，基于关键点匹配对中的第一关键点的关键点位置信息和第二关键点的关键点位置信息，确定关键点匹配对对应的中间移动向量。

步骤D22，基于各个关键点匹配对分别对应的中间移动向量，确定相邻待处理图像对应的移动向量。

步骤D23，基于相邻待处理图像对应的移动向量，确定相邻待处理图像中第一待处理图像与第二待处理图像之间的移动距离。

步骤D24，基于相邻待处理图像中第一待处理图像与第二待处理图像之间的移动距离，确定相邻待处理图像对应的重叠区域信息。

实施时，针对相邻待处理图像中每个关键点匹配对，可以基于关键点匹配对中的第一关键点的关键点位置信息和第二关键点的关键点位置信息，确定关键点匹配对对应的中间移动向量；比如，第一关键点的关键点位置信息为(x1，y1)，第二关键点的关键点位置信息为(x2，y2)，则关键点匹配对对应的中间移动向量(x2-x1，y2-y1)；再可以基于各个关键点匹配对分别对应的中间移动向量，确定相邻待处理图像对应的移动向量；比如，可以将各个关键点匹配对分别对应的中间移动向量的平均值，确定为相邻待处理图像对应的移动向量；或者，还可以将各个关键点匹配对分别对应的中间移动向量的中位数，确定为相邻待处理图像对应的移动向量等等。

再可以基于相邻待处理图像对应的移动向量d(x，y)，确定相邻待处理图像中第一待处理图像与第二待处理图像之间的移动距离，比如可以根据公式：

确定移动距离；进而，可以基于相邻待处理图像中第一待处理图像与第二待处理图像之间的移动距离，确定相邻待处理图像对应的重叠区域信息；示例性的，可以将第一待处理图像与第二待处理图像之间的移动距离、与相邻待处理图像之间的相隔距离的差值，确定为相邻待处理图像对应的重叠区域信息的宽度；将预设的图像尺寸的高度确定为相邻待处理图像对应的重叠区域信息的高度。

这里，在确定相邻待处理图像中每个关键点匹配对对应的中间移动向量之后，可以基于各个关键点匹配对分别对应的中间移动向量，较准确的确定的相邻待处理图像对应的移动向量；并基于相邻待处理图像对应的移动向量，确定相邻待处理图像中第一待处理图像与第二待处理图像之间的移动距离；使得基于相邻待处理图像中第一待处理图像与第二待处理图像之间的移动距离，确定的相邻待处理图像对应的重叠区域信息较准确，以便后续基于多组相邻待处理图像对应的重叠区域信息，生成的拼接图像的拼接效果较好。

一种可能的实施方式中，在基于各个关键点匹配对分别对应的中间移动向量，确定相邻待处理图像对应的移动向量之后，还包括：

步骤E1，基于相邻待处理图像对应的移动向量，生成多帧待处理图像对应的待识别对象的旋转角度。

步骤E2，基于旋转角度和设置的旋转基准方向，生成多帧待处理图像对应的旋转矩阵。

步骤E3，利用旋转矩阵，对相邻待处理图像中第一待处理图像与第二待处理图像进行矫正处理，生成矫正后第一待处理图像和矫正后第二待处理图像；以及利用旋转矩阵，对相邻待处理图像对应的移动向量进行矫正处理，生成矫正后移动向量。

基于相邻待处理图像对应的移动向量，确定相邻待处理图像中第一待处理图像与第二待处理图像之间的移动距离，以及基于相邻待处理图像中第一待处理图像与第二待处理图像之间的移动距离，确定相邻待处理图像对应的重叠区域信息，包括：

步骤E4，基于相邻待处理图像对应的矫正后移动向量，确定相邻待处理图像中矫正后第一待处理图像与矫正后第二待处理图像之间的移动距离。

步骤E5，基于相邻待处理图像中矫正后第一待处理图像与矫正后第二待处理图像之间的移动距离，确定相邻待处理图像对应的重叠区域信息。

实施时，可以基于相邻待处理图像对应的移动向量，生成多帧待处理图像对应的待识别对象的旋转角度；具体的，可以利用三角函数生成旋转角度；比如，移动向量为d(x，y)，则旋转角度θ可以为arctan(y/x)；再可以基于旋转角度θ和设置的旋转基准方向(比如，水平方向)，生成多帧待处理图像对应的旋转矩阵；比如，旋转矩阵可以为如下所示：

进而，可以利用旋转矩阵，对相邻待处理图像中第一待处理图像与第二待处理图像进行矫正处理，生成矫正后第一待处理图像和矫正后第二待处理图像。具体的，可以将第一待处理图像和第二待处理图像中的各个像素点的像素位置信息与旋转矩阵进行乘积运算，得到矫正后像素点位置信息；各个矫正后像素点位置信息可以构成矫正后第一待处理图像和矫正后第二待处理图像。以及可以将旋转矩阵和各组相邻待处理图像对应的移动向量进行乘积运算，得到矫正后移动向量。

实施时，可以基于相邻待处理图像对应的矫正后移动向量，确定相邻待处理图像中矫正后第一待处理图像与矫正后第二待处理图像之间的移动距离；以及基于相邻待处理图像中矫正后第一待处理图像与矫正后第二待处理图像之间的移动距离，确定相邻待处理图像对应的重叠区域信息。具体过程可以参见上述步骤D23和步骤D24，这里不再进行赘述。

考虑到扫描过程由于扫描设备的抖动造成出现倾斜扫描的情况，导致扫描图像中待识别对应弯曲，以及第一待处理图像与第二待处理图像中的重叠区域包括的待识别对象存在未对齐的情况，为了缓解上述情况，可以基于相邻待处理图像对应的移动向量，较准确的生成多帧待处理图像对应的待识别对象的旋转角度；并基于旋转角度和设置的旋转基准方向，生成多帧待处理图像对应的旋转矩阵；进而，可以利用旋转矩阵，对相邻待处理图像中第一待处理图像与第二待处理图像进行矫正处理，生成矫正后第一待处理图像和矫正后第二待处理图像；以及利用旋转矩阵，对相邻待处理图像对应的移动向量进行矫正处理，生成矫正后移动向量；后续能够基于相邻待处理图像对应的矫正后移动向量，确定相邻待处理图像对应的重叠区域信息，再利用该重叠区域信息对多帧矫正后待处理图像进行拼接，使得生成的拼接图像中的待识别对象较容易识别。

考虑到用户在使用扫描设备扫描文本内容时会出现晃动的情况，使得拼接图像中的待识别对象依然会出现清晰等问题，故可以对拼接图像中的待识别对象进行检测并调整。同时，扫描过程中会获取到多行文本内容，但在多行文本内容中位于中心行的文本内容为扫描设备当前的扫描内容，即位于拼接图像的中间高度对应的图像区域，故可以从拼接图像中截取到目标图像。

一种可能的实施方式中，在生成拼接图像之后，还包括：

步骤F1，对拼接图像进行对象检测，得到拼接图像中至少一个待识别对象对应的检测框信息。

步骤F2，基于拼接图像中至少一个待识别对象对应的检测框信息，从拼接图像中确定包括目标信息的目标图像；其中，目标信息包括与连续扫描轨迹匹配的多个待识别对象。

实施时，在获得拼接图像之后，可以利用对象检测算法(比如，CTPN算法、EAST算法等)，对拼接图像进行对象检测，得到拼接图像中至少一个待识别对象对应的检测框信息；其中，检测框的宽度可以预先进行设置，即得到的待识别对象对应的检测框的宽度一致，待识别对象对应的检测框的高度为对象检测算法检测得到的。再可以基于拼接图像中至少一个待识别对象对应的检测框信息，从拼接图像中确定包括目标信息的目标图像；该目标信息包括与连续扫描轨迹匹配的多个待识别对象，参见图6所示，检测框内的多个待识别对象为目标信息。

这里，通过对拼接图像进行对象检测，可以得到拼接图像中至少一个待识别对象对应的检测框信息，并可以基于拼接图像中至少一个待识别对象对应的检测框信息，较准确的从拼接图像中确定包括目标信息的目标图像。

一种可能的实施方式中，步骤F2，基于拼接图像中至少一个待识别对象对应的检测框信息，从拼接图像中确定包括目标信息的目标图像，包括：

步骤F21，基于拼接图像中至少一个待识别对象对应的检测框信息，确定位于每个竖直区间内的至少一个待识别对象；

步骤F22，基于各个竖直区间对应的区间范围，确定目标竖直区间；其中，位于目标竖直区间内的至少一个待识别对象为目标信息；

步骤F23，基于目标竖直区间内至少一个待识别对象对应的检测框信息，从拼接图像中获取目标图像。

实施时，可以基于拼接图像中至少一个待识别对象对应的检测框信息，确定位于每个竖直区间内的至少一个待识别对象，即确定位于同一行的至少一个待识别对象；比如，检测框信息指示的纵坐标在区间0至-18像素内的为第一行，检测框信息指示的纵坐标在区间-20至-38像素内的为第二行，检测框信息指示的纵坐标在区间-40至-58像素内的为第三行；再可以基于各个竖直区间对应的区间范围，确定目标竖直区间，即确定竖直区间对应的区间范围居中的为目标竖直区间，则目标竖直区间为-20至-38像素；其中，位于目标竖直区间内的至少一个待识别对象为目标信息；进而，可以基于目标竖直区间内至少一个待识别对象对应的检测框信息，从拼接图像中获取目标图像。

具体实施时，步骤F23，基于目标竖直区间内至少一个待识别对象对应的检测框信息，从拼接图像中获取目标图像，包括：

步骤F231，基于目标竖直区间内至少一个待识别对象对应的检测框信息，确定目标竖直区间内检测框的平均高度；

步骤F232，基于平均高度，对目标竖直区间内至少一个待识别对象对应的检测框信息进行调整，生成调整后检测框信息；

步骤F233，基于调整后检测框信息，从拼接图像中截取至少一个待识别对象对应的局部图像；

步骤F234，基于至少一个待识别对象对应的局部图像，拼接生成目标图像。

实施时，可以基于目标竖直区间内至少一个待识别对象对应的检测框信息，确定目标竖直区间内检测框的平均高度；并可以基于平均高度，对目标竖直区间内至少一个待识别对象对应的检测框信息进行调整，生成调整后检测框信息；即调整后的检测框的尺寸相同；比如，可以将高度小于平均高度的检测框扩大，得到调整后检测框和调整后检测框信息；将高度大于平均高度的检测框缩小，得到调整后检测框和调整后检测框信息。

再可以基于调整后检测框信息，从拼接图像中截取至少一个待识别对象对应的局部图像；即可以从拼接图像中将调整后检测框信息指示的图像区域截取，得到至少一个待识别对象对应的局部图像；进而，可以将至少一个待识别对象对应的局部图像进行拼接，生成目标图像，参见图7所示。

或者，还可以先基于目标竖直区间对应的区间范围，从拼接图像中获取初始目标图像；比如，目标竖直区间为-20至-38像素，则从拼接图像中获取位于-20至-38像素的图像区域作为初始目标图像；再可以基于目标竖直区间内多个待识别对象对应的检测框信息，对初始目标图像中多个待识别对象的位置进行调整，生成位于同一水平位置的多个调整后待识别对象、和包括多个调整后待识别对象的调整后图像；进而，可以将包括多个调整后待识别对象的调整后图像，确定为目标图像。

上述方法中，通过调整目标竖直区间内至少一个待识别对象对应的检测框信息，使得调整后检测框的高度一致，并基于调整后检测框信息，从拼接图像中截取至少一个待识别对象对应的局部图像，使得获取的每个待识别对象对应的局部图像的尺寸相同；进而，将至少一个待识别对象对应的局部图像进行拼接，生成的目标图像，该目标图像中的目标信息较清晰、显示较平滑、容易识别，缓解了扫描过程中摄像头拍摄的待识别对象出现倾斜的问题，提高了目标图像的展示效果。

这里，在得到拼接图像之后，基于拼接图像中至少一个待识别对象对应的检测框信息，确定位于每个竖直区间内的至少一个待识别对象；并基于各个竖直区间对应的区间范围，确定区间范围居中的目标竖直区间，该目标竖直区间为当前扫描过程对应的扫描区间；进而，可以基于目标竖直区间内至少一个待识别对象对应的检测框信息，较精准的从拼接图像中获取目标图像。

一种可能的实施方式中，在从拼接图像中确定包括目标信息的目标图像之后，还包括：利用文字识别算法，对目标图像中的目标信息进行识别，确定目标图像包括的文字信息。

通过如下至少一种方式，输出文字信息：

第一方式，利用语音播放设备播放文字信息，和/或，通过显示设备展示文字信息。

第二方式，对文字信息进行语种转换，得到转换后文字信息，并利用语音播放设备播放转换后文字信息，和/或，通过显示设备展示转换后文字信息。

实施时，在从拼接图像中确定包括目标信息的目标图像之后，可以利用文字识别算法(Optical Character Recognition，OCR)，对目标图像中的目标信息进行识别，确定目标图像包括的文字信息；并可以利用语音播放设备播放该文字信息；或者可以通过显示设备展示文字信息；或者可以通过显示设备展示文字信息，同时利用语音播放设备播放该文字信息。

还可以对文字信息进行语种转换，得到转换后文字信息，比如，汉字转换成英语单词，英语单词转换成法语单词等，再可以利用语音播放设备播放转换后文字信息，和/或，通过显示设备展示转换后文字信息。

再可以先利用语音播放设备播放该文字信息；并对文字信息进行语种转换，得到转换后文字信息，以及利用语音播放设备播放转换后文字信息。

这里，由于上述任一实施方式获得的目标图像中的目标信息较清晰和较准确，故利用文字识别算法，对目标图像中的目标信息进行识别，可以较简单、准确的识别目标图像包括的文字信息。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于相同的构思，本公开实施例还提供了一种图像处理装置，参见图8所示，为本公开实施例提供的图像处理装置的架构示意图，包括获取模块801、筛选模块802、第一确定模块803、第一生成模块804，具体的：

获取模块801，用于获取对文本内容进行连续扫描后得到的多帧待处理图像；

筛选模块802，用于针对所述多帧待处理图像中的每帧待处理图像，基于所述待处理图像中各像素点的像素点信息，从所述各像素点中筛选出所述待处理图像中待识别对象对应的关键点位置信息；

第一确定模块803，用于获取所述关键点对应目标区域范围内的多组像素点对，并基于所述多组像素点对得到所述关键点对应的关键点特征信息；

第一生成模块804，用于基于各帧所述待处理图像中每个所述关键点对应的关键点特征信息，对所述多帧待处理图像进行拼接，生成拼接图像。

一种可能的实施方式中，所述筛选模块802，在基于所述待处理图像中各像素点的像素点信息，从所述各像素点中筛选出所述待处理图像中待识别对象对应的关键时，用于：

将所述待处理图像至少部分像素点中的每个像素点作为候选关键像素点，确定所述候选关键像素点对应的邻域边界上的每个边界像素点的像素信息与所述候选关键像素点的像素信息之间的像素差值；

将所述像素差值大于差值阈值的边界像素点，确定为候选边界像素点；

在所述邻域边界上连续出现的候选边界像素点的数量大于预设数量的情况下，将所述候选关键像素点确定为所述待识别对象对应的关键点。

一种可能的实施方式中，在所述目标区域范围包括圆形区域的情况下，所述第一确定模块803，在获取所述关键点对应目标区域范围内的多组像素点对，并基于所述多组像素点对得到所述关键点对应的关键点特征信息时，用于：

确定以所述关键点为中心、以预设长度为半径的目标区域范围；

在所述目标区域范围内，确定所述关键点对应的多组像素点对；

针对所述多组像素点对中的每组像素点对，确定所述像素点对中第一像素点的像素信息与第二像素点的像素信息之间的像素偏差信息；

基于得到的分别与所述多组像素点对对应的像素偏差信息，生成所述关键点对应的关键点特征信息。

一种可能的实施方式中，所述第一生成模块804，在基于所述多帧待处理图像中每个所述关键点对应的关键点特征信息，对所述多帧待处理图像进行拼接，生成拼接图像时，用于：

针对所述多帧待处理图像中的每组相邻待处理图像，基于所述相邻待处理图像中第一待处理图像的各个关键点对应的所述关键点特征信息、和第二待处理图像的各个关键点对应的所述关键点特征信息，确定所述相邻待处理图像对应的重叠区域信息；

基于得到的所述重叠区域信息，对所述多帧待处理图像进行拼接，生成拼接图像。

一种可能的实施方式中，所述第一生成模块804，在基于所述相邻待处理图像中第一待处理图像的各个关键点对应的所述关键点特征信息、和第二待处理图像的各个关键点对应的所述关键点特征信息，确定所述任一相邻待处理图像对应的重叠区域信息时，用于：

基于所述第一待处理图像的各个关键点对应的所述关键点特征信息、和所述第二待处理图像的各个关键点对应的所述关键点特征信息，确定所述相邻待处理图像对应的关键点匹配对；其中，所述关键点匹配对中包括所述第一待处理图像上的第一关键点和所述第二待处理图像上的第二关键点；

基于所述相邻待处理图像对应的关键点匹配对中所述第一关键点的关键点位置信息、和所述第二关键点的关键点位置信息，确定所述相邻待处理图像对应的重叠区域信息。

一种可能的实施方式中，所述第一生成模块804，在基于所述第一待处理图像的各个关键点对应的所述关键点特征信息、和所述第二待处理图像的各个关键点对应的所述关键点特征信息，确定所述相邻待处理图像对应的关键点匹配对时，用于：

针对所述第一待处理图像的每个关键点，基于所述关键点对应的所述关键点特征信息、和所述第二待处理图像的各个关键点对应的所述关键点特征信息，确定所述关键点与所述第二待处理图像的每个关键点之间的相似度信息；

基于所述第一待处理图像的各个所述关键点分别与所述第二待处理图像的每个关键点之间的相似度信息，确定所述相邻待处理图像对应的关键点匹配对。

一种可能的实施方式中，所述第一生成模块804，在基于所述第一待处理图像的各个所述关键点分别与所述第二待处理图像的每个关键点之间的相似度信息，确定所述相邻待处理图像对应的关键点匹配对时，用于：

针对所述第一待处理图像中的每个待处理关键点，按照从小到大的顺序，从所述待处理关键点与所述第二待处理图像的各个关键点之间的相似度信息中，确定第一相似度信息和第二相似度信息；其中，第一相似度信息小于第二相似度信息；

基于所述第二相似度信息，确定所述待处理关键点对应的相似度阈值；

在所述第一相似度信息小于所述相似度阈值的情况下，确定所述第二待处理图像中所述第一相似度信息对应的关键点、与所述待处理关键点构成关键点匹配对。

一种可能的实施方式中，所述第一生成模块804，在基于所述相邻待处理图像对应的关键点匹配对中所述第一关键点的关键点位置信息、和所述第二关键点的关键点位置信息，确定所述相邻待处理图像对应的重叠区域信息时，用于：

针对所述相邻待处理图像中每个所述关键点匹配对，基于所述关键点匹配对中的所述第一关键点的关键点位置信息和所述第二关键点的关键点位置信息，确定所述关键点匹配对对应的中间移动向量；

基于各个所述关键点匹配对分别对应的所述中间移动向量，确定所述相邻待处理图像对应的移动向量；

基于所述相邻待处理图像对应的移动向量，确定所述相邻待处理图像中所述第一待处理图像与所述第二待处理图像之间的移动距离；

基于所述相邻待处理图像中所述第一待处理图像与所述第二待处理图像之间的移动距离，确定所述相邻待处理图像对应的重叠区域信息。

一种可能的实施方式中，所述装置还包括：第二生成模块805，所述第二生成模块805，在基于各个所述关键点匹配对分别对应的所述中间移动向量，确定所述相邻待处理图像对应的移动向量之后，用于：

基于所述相邻待处理图像对应的移动向量，生成所述多帧待处理图像对应的所述待识别对象的旋转角度；

基于所述旋转角度和设置的旋转基准方向，生成所述多帧待处理图像对应的旋转矩阵；

利用所述旋转矩阵，对所述相邻待处理图像中所述第一待处理图像与所述第二待处理图像进行矫正处理，生成矫正后第一待处理图像和矫正后第二待处理图像；以及

利用所述旋转矩阵，对所述相邻待处理图像对应的移动向量进行矫正处理，生成矫正后移动向量；

所述第一生成模块804，在基于所述相邻待处理图像对应的移动向量，确定所述相邻待处理图像中所述第一待处理图像与所述第二待处理图像之间的移动距离，以及基于所述相邻待处理图像中所述第一待处理图像与所述第二待处理图像之间的移动距离，确定所述相邻待处理图像对应的重叠区域信息时，用于：

基于所述相邻待处理图像对应的所述矫正后移动向量，确定所述相邻待处理图像中所述矫正后第一待处理图像与所述矫正后第二待处理图像之间的移动距离；

基于所述相邻待处理图像中所述矫正后第一待处理图像与所述矫正后第二待处理图像之间的移动距离，确定所述相邻待处理图像对应的重叠区域信息。

一种可能的实施方式中，所述装置还包括：第二确定模块806，所述第二确定模块806，在所述生成拼接图像之后，用于：

对所述拼接图像进行对象检测，得到所述拼接图像中至少一个所述待识别对象对应的检测框信息；

基于所述拼接图像中至少一个所述待识别对象对应的检测框信息，从所述拼接图像中确定包括目标信息的目标图像；其中，所述目标信息包括与连续扫描轨迹匹配的多个待识别对象。

一种可能的实施方式中，所述第二确定模块806，在基于所述拼接图像中至少一个所述待识别对象对应的检测框信息，从所述拼接图像中确定包括目标信息的目标图像时，用于：

基于所述拼接图像中至少一个所述待识别对象对应的检测框信息，确定位于每个竖直区间内的至少一个所述待识别对象；

基于各个竖直区间对应的区间范围，确定目标竖直区间；其中，位于所述目标竖直区间内的所述至少一个待识别对象为所述目标信息；

基于所述目标竖直区间内至少一个待识别对象对应的检测框信息，从所述拼接图像中获取所述目标图像。

一种可能的实施方式中，所述第二确定模块806，在基于所述目标竖直区间内至少一个待识别对象对应的检测框信息，从所述拼接图像中获取所述目标图像时，用于：

基于所述目标竖直区间内所述至少一个待识别对象对应的检测框信息，确定所述目标竖直区间内检测框的平均高度；

基于所述平均高度，对所述目标竖直区间内所述至少一个待识别对象对应的检测框信息进行调整，生成调整后检测框信息；

基于所述调整后检测框信息，从所述拼接图像中截取所述至少一个待识别对象对应的局部图像；

基于所述至少一个待识别对象对应的局部图像，拼接生成所述目标图像。

一种可能的实施方式中，所述装置还包括：识别模块807，所述识别模块807，在所述从所述拼接图像中确定包括目标信息的目标图像之后，用于：

利用文字识别算法，对所述目标图像中的目标信息进行识别，确定所述目标图像包括的文字信息；

通过如下至少一种方式，输出所述文字信息：

利用语音播放设备播放所述文字信息，和/或，通过显示设备展示所述文字信息；

对所述文字信息进行语种转换，得到转换后文字信息，并利用语音播放设备播放所述转换后文字信息，和/或，通过所述显示设备展示所述转换后文字信息。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

基于同一技术构思，本公开实施例还提供了一种电子设备。参照图9所示，为本公开实施例提供的电子设备900的结构示意图，包括处理器901、存储器902、和总线903。其中，存储器902用于存储执行指令，包括内存9021和外部存储器9022；这里的内存9021也称内存储器，用于暂时存放处理器901中的运算数据，以及与硬盘等外部存储器9022交换的数据，处理器901通过内存9021与外部存储器9022进行数据交换，当电子设备900运行时，处理器901与存储器902之间通过总线903通信，使得处理器901在执行以下指令：

获取对文本内容进行连续扫描后得到的多帧待处理图像；

针对所述多帧待处理图像中的每帧待处理图像，基于所述待处理图像中各像素点的像素点信息，从所述各像素点中筛选出所述待处理图像中待识别对象对应的关键点；

获取所述关键点对应目标区域范围内的多组像素点对，并基于所述多组像素点对得到所述关键点对应的关键点特征信息；

基于所述多帧待处理图像中关键点对应的关键点特征信息，对所述多帧待处理图像进行拼接，生成拼接图像。

其中，处理器901的具体处理流程可以参照上述方法实施例的记载，这里不再赘述。

此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。

其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。

Claims (16)

1.一种图像处理方法，其特征在于，包括：

获取对文本内容进行连续扫描后得到的多帧待处理图像；

针对所述多帧待处理图像中的每帧待处理图像，基于所述待处理图像中各像素点的像素点信息，从所述各像素点中筛选出所述待处理图像中待识别对象对应的关键点；

获取所述关键点对应目标区域范围内的多组像素点对，并基于所述多组像素点对得到所述关键点对应的关键点特征信息；

基于所述多帧待处理图像中关键点对应的关键点特征信息，对所述多帧待处理图像进行拼接，生成拼接图像。

2.根据权利要求1所述的方法，其特征在于，所述基于所述待处理图像中各像素点的像素点信息，从所述各像素点中筛选出所述待处理图像中待识别对象对应的关键点，包括：

将所述待处理图像至少部分像素点中的每个像素点作为候选关键像素点，确定所述候选关键像素点对应的邻域边界上的每个边界像素点的像素信息与所述候选关键像素点的像素信息之间的像素差值；

将所述像素差值大于差值阈值的边界像素点，确定为候选边界像素点；

在所述邻域边界上连续出现的候选边界像素点的数量大于预设数量的情况下，将所述候选关键像素点确定为所述待识别对象对应的关键点。

3.根据权利要求1或2所述的方法，其特征在于，在所述目标区域范围包括圆形区域的情况下，所述获取所述关键点对应目标区域范围内的多组像素点对，并基于所述多组像素点对得到所述关键点对应的关键点特征信息，包括：

确定以所述关键点为中心、以预设长度为半径的目标区域范围；

在所述目标区域范围内，确定所述关键点对应的多组像素点对；

针对所述多组像素点对中的每组像素点对，确定所述像素点对中第一像素点的像素信息与第二像素点的像素信息之间的像素偏差信息；

基于得到的分别与所述多组像素点对对应的像素偏差信息，生成所述关键点对应的关键点特征信息。

4.根据权利要求1至3任一所述的方法，其特征在于，所述基于所述多帧待处理图像中关键点对应的关键点特征信息，对所述多帧待处理图像进行拼接，生成拼接图像，包括：

针对所述多帧待处理图像中的每组相邻待处理图像，基于所述相邻待处理图像中第一待处理图像的各个关键点对应的所述关键点特征信息、和第二待处理图像的各个关键点对应的所述关键点特征信息，确定所述相邻待处理图像对应的重叠区域信息；

基于得到的所述重叠区域信息，对所述多帧待处理图像进行拼接，生成拼接图像。

5.根据权利要求4所述的方法，其特征在于，所述基于所述相邻待处理图像中第一待处理图像的各个关键点对应的所述关键点特征信息、和第二待处理图像的各个关键点对应的所述关键点特征信息，确定所述相邻待处理图像对应的重叠区域信息，包括：

基于所述第一待处理图像的各个关键点对应的所述关键点特征信息、和所述第二待处理图像的各个关键点对应的所述关键点特征信息，确定所述相邻待处理图像对应的关键点匹配对；其中，所述关键点匹配对中包括所述第一待处理图像上的第一关键点和所述第二待处理图像上的第二关键点；

基于所述相邻待处理图像对应的关键点匹配对中所述第一关键点的关键点位置信息、和所述第二关键点的关键点位置信息，确定所述相邻待处理图像对应的重叠区域信息。

6.根据权利要求5所述的方法，其特征在于，所述基于所述第一待处理图像的各个关键点对应的所述关键点特征信息、和所述第二待处理图像的各个关键点对应的所述关键点特征信息，确定所述相邻待处理图像对应的关键点匹配对，包括：

针对所述第一待处理图像的每个关键点，基于所述关键点对应的所述关键点特征信息、和所述第二待处理图像的各个关键点对应的所述关键点特征信息，确定所述关键点与所述第二待处理图像的每个关键点之间的相似度信息；

基于所述第一待处理图像的各个所述关键点分别与所述第二待处理图像的每个关键点之间的相似度信息，确定所述相邻待处理图像对应的关键点匹配对。

7.根据权利要求6所述的方法，其特征在于，所述基于所述第一待处理图像的各个所述关键点分别与所述第二待处理图像的每个关键点之间的相似度信息，确定所述相邻待处理图像对应的关键点匹配对，包括：

针对所述第一待处理图像中的每个待处理关键点，按照从小到大的顺序，从所述待处理关键点与所述第二待处理图像的各个关键点之间的相似度信息中，确定第一相似度信息和第二相似度信息；其中，第一相似度信息小于第二相似度信息；

基于所述第二相似度信息，确定所述待处理关键点对应的相似度阈值；

在所述第一相似度信息小于所述相似度阈值的情况下，确定所述第二待处理图像中所述第一相似度信息对应的关键点、与所述待处理关键点构成关键点匹配对。

8.根据权利要求5至7任一所述的方法，其特征在于，所述基于所述相邻待处理图像对应的关键点匹配对中所述第一关键点的关键点位置信息、和所述第二关键点的关键点位置信息，确定所述相邻待处理图像对应的重叠区域信息，包括：

针对所述相邻待处理图像中每个所述关键点匹配对，基于所述关键点匹配对中的所述第一关键点的关键点位置信息和所述第二关键点的关键点位置信息，确定所述关键点匹配对对应的中间移动向量；

基于各个所述关键点匹配对分别对应的所述中间移动向量，确定所述相邻待处理图像对应的移动向量；

基于所述相邻待处理图像对应的移动向量，确定所述相邻待处理图像中所述第一待处理图像与所述第二待处理图像之间的移动距离；

基于所述相邻待处理图像中所述第一待处理图像与所述第二待处理图像之间的移动距离，确定所述相邻待处理图像对应的重叠区域信息。

9.根据权利要求8所述的方法，其特征在于，在基于各个所述关键点匹配对分别对应的所述中间移动向量，确定所述相邻待处理图像对应的移动向量之后，还包括：

基于所述相邻待处理图像对应的移动向量，生成所述多帧待处理图像对应的所述待识别对象的旋转角度；

基于所述旋转角度和设置的旋转基准方向，生成所述多帧待处理图像对应的旋转矩阵；

利用所述旋转矩阵，对所述相邻待处理图像中所述第一待处理图像与所述第二待处理图像进行矫正处理，生成矫正后第一待处理图像和矫正后第二待处理图像；以及

利用所述旋转矩阵，对所述相邻待处理图像对应的移动向量进行矫正处理，生成矫正后移动向量；

所述基于所述相邻待处理图像对应的移动向量，确定所述相邻待处理图像中所述第一待处理图像与所述第二待处理图像之间的移动距离，以及基于所述相邻待处理图像中所述第一待处理图像与所述第二待处理图像之间的移动距离，确定所述相邻待处理图像对应的重叠区域信息，包括：

基于所述相邻待处理图像对应的所述矫正后移动向量，确定所述相邻待处理图像中所述矫正后第一待处理图像与所述矫正后第二待处理图像之间的移动距离；

基于所述相邻待处理图像中所述矫正后第一待处理图像与所述矫正后第二待处理图像之间的移动距离，确定所述相邻待处理图像对应的重叠区域信息。

10.根据权利要求1至9任一所述的方法，其特征在于，在所述生成拼接图像之后，还包括：

对所述拼接图像进行对象检测，得到所述拼接图像中至少一个所述待识别对象对应的检测框信息；

基于所述拼接图像中至少一个所述待识别对象对应的检测框信息，从所述拼接图像中确定包括目标信息的目标图像；其中，所述目标信息包括与连续扫描轨迹匹配的多个待识别对象。

11.根据权利要求10所述的方法，其特征在于，所述基于所述拼接图像中至少一个所述待识别对象对应的检测框信息，从所述拼接图像中确定包括目标信息的目标图像，包括：

基于所述拼接图像中至少一个所述待识别对象对应的检测框信息，确定位于每个竖直区间内的至少一个所述待识别对象；

基于各个竖直区间对应的区间范围，确定目标竖直区间；其中，位于所述目标竖直区间内的所述至少一个待识别对象为所述目标信息；

基于所述目标竖直区间内至少一个待识别对象对应的检测框信息，从所述拼接图像中获取所述目标图像。

12.根据权利要求11所述的方法，其特征在于，所述基于所述目标竖直区间内至少一个待识别对象对应的检测框信息，从所述拼接图像中获取所述目标图像，包括：

基于所述目标竖直区间内所述至少一个待识别对象对应的检测框信息，确定所述目标竖直区间内检测框的平均高度；

基于所述平均高度，对所述目标竖直区间内所述至少一个待识别对象对应的检测框信息进行调整，生成调整后检测框信息；

基于所述调整后检测框信息，从所述拼接图像中截取所述至少一个待识别对象对应的局部图像；

基于所述至少一个待识别对象对应的局部图像，拼接生成所述目标图像。

13.根据权利要求10至12任一所述的方法，其特征在于，在所述从所述拼接图像中确定包括目标信息的目标图像之后，还包括：

利用文字识别算法，对所述目标图像中的目标信息进行识别，确定所述目标图像包括的文字信息；

通过如下至少一种方式，输出所述文字信息：

利用语音播放设备播放所述文字信息，和/或，通过显示设备展示所述文字信息；

对所述文字信息进行语种转换，得到转换后文字信息，并利用语音播放设备播放所述转换后文字信息，和/或，通过所述显示设备展示所述转换后文字信息。

14.一种图像处理装置，其特征在于，包括：

获取模块，用于获取对文本内容进行连续扫描后得到的多帧待处理图像；

筛选模块，用于针对所述多帧待处理图像中的每帧待处理图像，基于所述待处理图像中各像素点的像素点信息，从所述各像素点中筛选出所述待处理图像中待识别对象对应的关键点；

第一确定模块，用于获取所述关键点对应目标区域范围内的多组像素点对，并基于所述多组像素点对得到所述关键点对应的关键点特征信息；

第一生成模块，用于基于所述多帧待处理图像中关键点对应的关键点特征信息，对所述多帧待处理图像进行拼接，生成拼接图像。

15.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至13任一所述的图像处理方法的步骤。

16.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至13任一所述的图像处理方法的步骤。

Images