CN111680628B

CN111680628B - 文字框融合方法、装置、设备以及存储介质

Info

Publication number: CN111680628B
Application number: CN202010518207.3A
Authority: CN
Inventors: 黄聚; 李煜林; 黄相凯; 李乔伊; 秦铎浩; 钦夏孟; 刘明浩; 韩钧宇
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2020-06-09
Filing date: 2020-06-09
Publication date: 2023-04-28
Anticipated expiration: 2040-06-09
Also published as: CN111680628A

Abstract

本申请实施例公开了文字框融合方法、装置、设备以及存储介质，涉及深度学习、文字检测技术领域。该方法的一具体实施方式包括：获取待融合文字候选框；计算待融合文字候选框的特征点与四角点的归一化距离，作为待融合文字候选框的初始化权重；基于待融合文字候选框的初始化权重融合待融合文字候选框，得到融合文字候选框。该实施方式采用特征点与四角点的归一化距离作为权重，以融合文字候选框，能够为每个角点分配不同的权重值，显著提升了对长文字行的融合效果。

Description

文字框融合方法、装置、设备以及存储介质

技术领域

本申请实施例涉及计算机技术领域，具体涉及深度学习、文字检测技术领域。

背景技术

随着OCR(Optical Character Recognition，光学字符识别)技术的快速发展，使用OCR技术来进行文字图片的智能分析越来越多。采用OCR技术可以对文字图片进行文字框检测、文字识别等等，这些能力可以极大地方便各类涉及对文字图片进行录入、审核等的工作人员，极大地提升各类业务流程的智能化。然而，由于文字图片板式复杂多样，且经常存在大量长文字行，导致文字框检测效果并不理想。

发明内容

本申请实施例提出了文字框融合方法、装置、设备以及存储介质。

第一方面，本申请实施例提出了一种文字框融合方法，包括：获取待融合文字候选框；计算待融合文字候选框的特征点与四角点的归一化距离，作为待融合文字候选框的初始化权重；基于待融合文字候选框的初始化权重融合待融合文字候选框，得到融合文字候选框。

第二方面，本申请实施例提出了一种文字框融合装置，包括：获取模块，被配置成获取待融合文字候选框；计算模块，被配置成计算待融合文字候选框的特征点与四角点的归一化距离，作为待融合文字候选框的初始化权重；融合模块，被配置成基于待融合文字候选框的初始化权重融合待融合文字候选框，得到融合文字候选框。

第三方面，本申请实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法。

第四方面，本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法。

第五方面，本申请实施例提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现根据如第一方面中任一实现方式描述的方法。

本申请实施例提供的文字框融合方法、装置、设备以及存储介质，首先获取待融合文字候选框；然后计算待融合文字候选框的特征点与四角点的归一化距离，作为待融合文字候选框的初始化权重；最后基于待融合文字候选框的初始化权重融合待融合文字候选框，得到融合文字候选框。采用特征点与四角点的归一化距离作为权重，以融合文字候选框，能够为每个角点分配不同的权重值，显著改善了对长文字行的融合效果。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本申请的限定。其中：

图1是本申请可以应用于其中的示例性系统架构；

图2是根据本申请的文字框融合方法的一个实施例的流程图；

图3是文字候选框的示意图；

图4是根据本申请的文字框融合方法的又一个实施例的流程图；

图5是可以实现本申请实施例的文字框融合方法一个应用场景的流程图；

图6是根据本申请的文字框融合装置的一个实施例的结构示意图；

图7是用来实现本申请实施例的文字框融合方法的电子设备的框图。

具体实施方式

以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的文字框融合方法或文字框融合装置的实施例的示例性系统架构100。

如图1所示，系统架构100中可以包括终端设备101、网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101通过网络102与服务器103交互，以接收或发送消息等。终端设备101上可以安装有各种客户端应用，例如文字识别应用等等。

终端设备101可以是硬件，也可以是软件。当终端设备101为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。当终端设备101为软件时，可以安装在上述电子设备中。其可以实现成多个软件或软件模块，也可以实现成单个软件或软件模块。在此不做具体限定。

服务器103可以提供各种服务。例如，服务器103可以对从终端设备101获取到的文字图片等数据进行分析等处理，并将处理结果(例如文字识别结果)反馈给终端设备101。

需要说明的是，服务器103可以是硬件，也可以是软件。当服务器103为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器103为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。

需要说明的是，本申请实施例所提供的文字框融合方法一般由服务器103执行，相应地，文字框融合装置一般设置于服务器103中。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。在服务器103中存储有文字图片的情况下，系统架构100可以不设置终端设备101和网络102。此外，在终端设备101具备处理能力的情况下，本申请实施例所提供的文字框融合方法也可以由终端设备101执行，相应地，文字框融合装置也可以设置于终端设备101中。此时，系统架构100可以不设置网络102和服务器103。

继续参考图2，其示出了根据本申请的文字框融合方法的一个实施例的流程200。该文字框融合方法包括以下步骤：

步骤201，获取待融合文字候选框。

在本实施例中，文字框融合方法的执行主体(例如图1所示的服务器103)可以获取待融合文字候选框。其中，待融合文字候选框可以是存在一定区域重合的至少两个文字候选框。通常，待融合文字候选框的数目可以是两个。

通常，上述执行主体可以利用文字框检测模型对文字图片进行检测。对于文字图片上的每个像素点，文字框检测模型不仅可以预测该像素点对应的特征点，还可以预测该像素点对应的四角点。其中，文字图片可以是对纸质文字文档进行拍摄所得到的图片。例如，票据是一种重要的结构化信息的文本载体，对票据进行拍摄能够得到票据图片。特征点可以表示对应的像素点是文字的概率。四角点可以是对应的像素点回归的四个点。以四角点为顶点的框就是文字候选框。

为了便于理解，图3示出了文字候选框的示意图。其中，点E是一个特征点，点A、B、C、D是一组四角点。以A、B、C、D为顶点的框就是一个文字候选框。此外，图3中还示出了以特征点E到四角点A、B、C、D的连线。

步骤202，计算待融合文字候选框的特征点与四角点的归一化距离，作为待融合文字候选框的初始化权重。

在本实施例中，上述执行主体可以计算待融合文字候选框的特征点与四角点的归一化距离，作为待融合文字候选框的初始化权重。其中，由于特征点到每个角点的归一化距离可以不同，因此初始化权重可以包括为四角点分配的四个不同的权重值。

通常，上述执行主体可以首先计算标准距离，然后利用标准距离对特征点与四角点的距离归一化，即可得到特征点与四角点的归一化距离。其中，待融合文字候选框的对角线的平均值可以作为标准距离。采用对角线的平均值作为标准距离，能够去除个别角点偏差过大导致整体距离产生较大误差。

步骤203，基于待融合文字候选框的初始化权重融合待融合文字候选框，得到融合文字候选框。

在本实施例中，上述执行主体可以基于待融合文字候选框的初始化权重融合待融合文字候选框，得到融合文字候选框。

通常，上述执行主体不仅可以基于待融合文字候选框的初始化权重融合待融合文字候选框的四角点，得到融合文字候选框的四角点，还可以融合待融合文字候选框的初始化权重，得到融合文字候选框的权重。

本申请实施例提供的文字框融合方法，首先获取待融合文字候选框；然后计算待融合文字候选框的特征点与四角点的归一化距离，作为待融合文字候选框的初始化权重；最后基于待融合文字候选框的初始化权重融合待融合文字候选框，得到融合文字候选框。采用特征点与四角点的归一化距离作为权重，以融合文字候选框，能够为每个角点分配不同的权重值，显著改善了对长文字行的融合效果。

进一步参考图4，其示出了根据本申请的文字框融合方法的又一个实施例的流程400。该文字框融合方法包括以下步骤：

步骤401，检测文字图片上的文字候选框集合。

在本实施例中，文字框融合方法的执行主体(例如图1所示的服务器103)可以获取文字图片，以及检测文字图片上的文字候选框集合。由于文字图片上包括多个像素点，一个像素点可以对应一个文字候选框，所有像素点对应的文字候选框即可组成文字候选框集合。

步骤402，从文字候选框集合中选取文字候选框。

在本实施例中，上述执行主体可以从文字候选框集合中选取文字候选框。例如，从文字候选框集合中随机选取一个文字候选框。又例如，先对文字候选框集合中的各个文字候选框按照置信度排序，再按照排序顺序选取一个文字候选框。本申请实施例对选取文字候选框的方式不进行限定。

步骤403，计算所选取的文字候选框与文字候选框集合中的其他文字候选框的交并比。

在本实施例中，上述执行主体可以计算所选取的文字候选框与文字候选框集合中的其他文字候选框的交并比。这里，其他文字候选框可以是文字候选框集合中除所选取的文字候选框之外的文字候选框。

步骤404，确定交并比是否大于预设交并比阈值。

在本实施例中，上述执行主体可以将所选取的文字候选框与其他文字候选框的交并比(IoU)与预设交并比阈值进行比较。若不大于预设交并比阈值，说明这两个文字候选框的区域重合度不高，属于不同的文字行。此时，返回执行步骤403，计算所选取的文字候选框与下一个其他文字候选框的交并比。若大于预设交并比阈值，说明这两个文字候选框的区域重合度高，属于同一的文字行。此时，继续执行步骤405。

步骤405，将所选取的文字候选框与交并比对应的其他文字候选框作为待融合文字候选框。

在本实施例中，若所选取的文字候选框与其他文字候选框的交并比大于预设交并比阈值，上述执行主体可以将所选取的文字候选框与交并比对应的其他文字候选框作为待融合文字候选框。

步骤406，计算待融合文字候选框的特征点与四角点的归一化距离，作为待融合文字候选框的初始化权重。

首先，通过如下公式能够计算标准距离D_std：

其中，p_m1、p_m2、p_m3、p_m4是第m个待融合文字候选框的四角点，L2(p_m1,p_m3)是以p_m1、p_m3为顶点的对角线，L2(p_m2,p_m4)是以p_m2、p_m4为顶点的对角线。

其次，通过如下公式能够计算文字候选框的初始化权重w_mi：

其中，p_m是第m个待融合文字候选框的特征点，p_mi是第m个待融合文字候选框的第i个角点，w_mi是为p_mi分配的初始化权重，L2(p_mi,p_m)是p_m到p_mi的连线。

步骤407，基于待融合文字候选框的初始化权重融合待融合文字候选框，得到融合文字候选框。

在融合四角点时，上述执行主体可以首先计算各个待融合文字候选框的四角点与初始化权重的平方的乘积；然后计算各个乘积的和与各个待融合文字候选框的初始化权重的和的比值，得到融合文字候选框的四角点。这里，采用初始化权重的平方，能够弱化低置信度权重，强化高置信度权重。融合四角点公式如下：

其中，P_mi是融合文字候选框的第i个角点，p_ni是第n个待融合文字候选框的第i个角点，w_ni是为p_ni分配的初始化权重，其计算方式可以参考w_mi，这里不再赘述。

在融合权重时，上述执行主体可以首先计算各个待融合文字候选框的最小初始化权重的平方与初始化权重的平方和的比值，作为权重变化量；然后计算各个待融合文字候选框的最大初始化权重与权重变化量的和，作为融合文字候选框的权重。将最小初始化权重经过加权计算叠加到最大初始化权重，使得融合文字候选框的权重比各个待融合文字候选框的初始化权重都更大。融合权重公式如下：

W_mi＝max(w_mi,w_ni)+ΔW i∈[1,4]；

其中，W_mi是为融合文字候选框的第i个角点分配的权重，ΔW为权重变化量。

步骤408，确定文字候选框集合中是否存在与融合文字候选框的交并比大于预设交并比阈值的其他文字候选框。

在本实施例中，上述执行主体可以继续计算融合文字候选框与文字候选框集合中的其他文字候选框的交并比。这里，其他文字候选框可以是文字候选框集合中除已进行融合的文字候选框之外的文字候选框。

随后，上述执行主体可以将融合文字候选框与其他文字候选框的交并比与预设交并比阈值进行比较。若不大于预设交并比阈值，说明这两个文字候选框的区域重合度不高，属于不同的文字行。此时，继续计算融合文字候选框与下一个其他文字候选框的交并比，直至遍历结束，文字候选框集合中不存在与融合文字候选框的交并比大于预设交并比阈值的其他文字候选框，执行步骤410。若大于预设交并比阈值，说明这两个文字候选框的区域重合度高，属于同一的文字行。此时，说明文字候选框集合中存在与融合文字候选框的交并比大于预设交并比阈值的其他文字候选框，继续执行步骤409。

步骤409，将融合文字候选框与交并比对应的其他文字候选框作为待融合文字候选框。

在本实施例中，若存在与融合文字候选框的交并比大于预设交并比阈值的其他文字候选框，上述执行主体可以将融合文字候选框与交并比对应的其他文字候选框作为待融合文字候选框，以及返回执行步骤406。

步骤410，将融合文字候选框确定为最终文字框。

在本实施例中，若不存在与融合文字候选框的交并比大于预设交并比阈值的其他文字候选框，说明遍历结束。此时的融合文字候选框即为最终文字框。此外，对最终文字框进行识别，能够得到文字识别结果。

从图4中可以看出，与图2对应的实施例相比，本实施例中的文字框融合方法的流程400增加了选取待融合文字候选框的步骤和遍历融合的步骤。由此，在本实施例描述的方案中，将文字候选框融合应用到文字框检测中，能够引入更多的预测信息。同时，通过计算交并比确定是否进行融合，使得进行融合的文字候选框具有一定的区域重合度，从而确保融合的文字候选框属于同一文字行。此外，通过遍历融合，能够使属于同一文字行的文字候选框均进行融合，从而提升融合效果。另外，对遍历结束得到的最终文字框进行识别，进而有效提升对文字图片的端到端识别率。

为了便于理解，下面提供可以实现本申请实施例的文字框融合方法的场景图。如图5所示，该应用场景以医院票据为例，包括如下步骤：

步骤501，获取对医院票据进行拍摄所得到的票据图片。

步骤502，将票据图片输入至文字框检测模型，输出文字候选框集合。

步骤503，从文字候选框集合中选取一个文字候选框，以及计算其与另一个文字候选框的交并比。其中，选取的文字候选框可以例如是票据图片上的名称行的一个文字候选框。

步骤504，若交并比大于0.8，则分别计算这两个文字候选框的特征点与四角点的归一化距离，作为初始化权重。

步骤505，基于初始化权重融合四角点和权重，得到融合文字候选框。

步骤506，基于融合文字候选框继续遍历文字候选框集合，直至遍历融合结束，得到最终文字框。

步骤507，对最终文字框进行识别，得到文字识别结果。其中，一个最终文字框的文字识别结果可以例如是“**市**医院住院病人费用清单”。

进一步参考图6，作为对上述各图所示方法的实现，本申请提供了一种文字框融合装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。

如图6所示，本实施例的文字框融合装置600可以包括：获取模块601、计算模块602和融合模块603。其中，获取模块601，被配置成获取待融合文字候选框；计算模块602，被配置成计算待融合文字候选框的特征点与四角点的归一化距离，作为待融合文字候选框的初始化权重；融合模块603，被配置成基于待融合文字候选框的初始化权重融合待融合文字候选框，得到融合文字候选框。

在本实施例中，文字框融合装置600中：获取模块601、计算模块602和融合模块603的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-203的相关说明，在此不再赘述。

在本实施例的一些可选的实现方式中，计算模块602进一步被配置成：计算待融合文字候选框的对角线的平均值，作为标准距离；计算特征点与四角点的距离和标准距离的比值，作为待融合文字候选框的初始化权重。

在本实施例的一些可选的实现方式中，融合模块603包括：特征点融合子模块(图中未示出)，被配置成基于待融合文字候选框的初始化权重融合待融合文字候选框的四角点，得到融合文字候选框的四角点；权重融合子模块(图中未示出)，被配置成融合待融合文字候选框的初始化权重，得到融合文字候选框的权重。

在本实施例的一些可选的实现方式中，待融合文字候选框的数目是两个；以及特征点融合子模块进一步被配置成：计算各个待融合文字候选框的四角点与初始化权重的平方的乘积；计算各个乘积的和与各个待融合文字候选框的初始化权重的和的比值，得到融合文字候选框的四角点。

在本实施例的一些可选的实现方式中，权重融合子模块进一步被配置成：计算各个待融合文字候选框的最小初始化权重的平方与初始化权重的平方和的比值，作为权重变化量；计算各个待融合文字候选框的最大初始化权重与权重变化量的和，作为融合文字候选框的权重。

在本实施例的一些可选的实现方式中，获取模块601进一步被配置成：检测文字图片上的文字候选框集合；从文字候选框集合中选取文字候选框；计算所选取的文字候选框与文字候选框集合中的其他文字候选框的交并比；若交并比大于预设交并比阈值，将所选取的文字候选框与交并比对应的其他文字候选框作为待融合文字候选框。

在本实施例的一些可选的实现方式中，文字框融合装置600还包括：继续融合模块(图中未示出)，被配置成若文字候选框集合中存在与融合文字候选框的交并比大于预设交并比阈值的其他文字候选框，将融合文字候选框与交并比对应的其他文字候选框作为待融合文字候选框，以及继续进行文字候选框融合；确定模块(图中未示出)，被配置成若文字候选框集合中不存在与融合文字候选框的交并比大于预设交并比阈值的其他文字候选框，将融合文字候选框确定为最终文字框。

根据本申请的实施例，本申请还提供了一种电子设备和一种可读存储介质。

如图7所示，是根据本申请实施例文字框融合方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。

如图7所示，该电子设备包括：一个或多个处理器701、存储器702，以及用于连接各部件的接口，包括高速接口和低速接口。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理，包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如，耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中，若需要，可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样，可以连接多个电子设备，各个设备提供部分必要的操作(例如，作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图7中以一个处理器701为例。

存储器702即为本申请所提供的非瞬时计算机可读存储介质。其中，所述存储器存储有可由至少一个处理器执行的指令，以使所述至少一个处理器执行本申请所提供的文字框融合方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的文字框融合方法。

存储器702作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的文字框融合方法对应的程序指令/模块(例如，附图6所示的获取模块601、计算模块602和融合模块603)。处理器701通过运行存储在存储器702中的非瞬时软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例中的文字框融合方法。

存储器702可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据文字框融合方法的电子设备的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非瞬时存储器，例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中，存储器702可选包括相对于处理器701远程设置的存储器，这些远程存储器可以通过网络连接至文字框融合方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

文字框融合方法的电子设备还可以包括：输入装置703和输出装置704。处理器701、存储器702、输入装置703和输出装置704可以通过总线或者其他方式连接，图7中以通过总线连接为例。

输入装置703可接收输入的数字或字符信息，以及产生与文字框融合方法的电子设备的用户设置以及功能控制有关的键信号输入，例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置704可以包括显示设备、辅助照明装置(例如，LED)和触觉反馈装置(例如，振动电机)等。该显示设备可以包括但不限于，液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中，显示设备可以是触摸屏。

此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令，并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。

根据本申请的技术方案，首先获取待融合文字候选框；然后计算待融合文字候选框的特征点与四角点的归一化距离，作为待融合文字候选框的初始化权重；最后基于待融合文字候选框的初始化权重融合待融合文字候选框，得到融合文字候选框。采用特征点与四角点的归一化距离作为权重，以融合文字候选框，能够为每个角点分配不同的权重值，显著改善了对长文字行的融合效果。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本申请公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本申请保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等，均应包含在本申请保护范围之内。

Claims

1.一种文字框融合方法，包括：

获取待融合文字候选框；

计算所述待融合文字候选框的特征点与四角点的归一化距离，作为所述待融合文字候选框的初始化权重；

基于所述待融合文字候选框的初始化权重融合所述待融合文字候选框，得到融合文字候选框；

其中，所述获取待融合文字候选框，包括：

检测文字图片上的文字候选框集合；

从所述文字候选框集合中选取文字候选框；

计算所选取的文字候选框与所述文字候选框集合中的其他文字候选框的交并比；

若所述交并比大于预设交并比阈值，将所选取的文字候选框与所述交并比对应的其他文字候选框作为待融合文字候选框。

2.根据权利要求1所述的方法，其中，所述计算所述待融合文字候选框的特征点与四角点的归一化距离，作为所述待融合文字候选框的初始化权重，包括：

计算所述待融合文字候选框的对角线的平均值，作为标准距离；

计算所述特征点与所述四角点的距离和所述标准距离的比值，作为所述待融合文字候选框的初始化权重。

3.根据权利要求1所述的方法，其中，所述基于所述待融合文字候选框的初始化权重融合所述待融合文字候选框，得到融合文字候选框，包括：

基于所述待融合文字候选框的初始化权重融合所述待融合文字候选框的四角点，得到所述融合文字候选框的四角点；

融合所述待融合文字候选框的初始化权重，得到所述融合文字候选框的权重。

4.根据权利要求3所述的方法，其中，所述待融合文字候选框的数目是两个；以及

所述基于所述待融合文字候选框的初始化权重融合所述待融合文字候选框的四角点，得到所述融合文字候选框的四角点，包括：

计算各个待融合文字候选框的四角点与初始化权重的平方的乘积；

计算各个乘积的和与所述各个待融合文字候选框的初始化权重的和的比值，得到所述融合文字候选框的四角点。

5.根据权利要求4所述的方法，其中，所述融合所述待融合文字候选框的初始化权重，得到所述融合文字候选框的权重，包括：

计算各个待融合文字候选框的最小初始化权重的平方与初始化权重的平方和的比值，作为权重变化量；

计算各个待融合文字候选框的最大初始化权重与所述权重变化量的和，作为所述融合文字候选框的权重。

6.根据权利要求1所述的方法，其中，所述方法还包括：

若所述文字候选框集合中存在与所述融合文字候选框的交并比大于所述预设交并比阈值的其他文字候选框，将所述融合文字候选框与所述交并比对应的其他文字候选框作为待融合文字候选框，以及继续进行文字候选框融合；

若所述文字候选框集合中不存在与所述融合文字候选框的交并比大于所述预设交并比阈值的其他文字候选框，将所述融合文字候选框确定为最终文字框。

7.一种文字框融合装置，包括：

获取模块，被配置成获取待融合文字候选框；

计算模块，被配置成计算所述待融合文字候选框的特征点与四角点的归一化距离，作为所述待融合文字候选框的初始化权重；

融合模块，被配置成基于所述待融合文字候选框的初始化权重融合所述待融合文字候选框，得到融合文字候选框；

其中，所述获取模块进一步被配置成：

检测文字图片上的文字候选框集合；

从所述文字候选框集合中选取文字候选框；

8.根据权利要求7所述的装置，其中，所述计算模块进一步被配置成：

9.根据权利要求7所述的装置，其中，所述融合模块包括：

特征点融合子模块，被配置成基于所述待融合文字候选框的初始化权重融合所述待融合文字候选框的四角点，得到所述融合文字候选框的四角点；

权重融合子模块，被配置成融合所述待融合文字候选框的初始化权重，得到所述融合文字候选框的权重。

10.根据权利要求9所述的装置，其中，所述待融合文字候选框的数目是两个；以及

所述特征点融合子模块进一步被配置成：

11.根据权利要求10所述的装置，其中，所述权重融合子模块进一步被配置成：

12.根据权利要求7所述的装置，其中，所述装置还包括：

继续融合模块，被配置成若所述文字候选框集合中存在与所述融合文字候选框的交并比大于所述预设交并比阈值的其他文字候选框，将所述融合文字候选框与所述交并比对应的其他文字候选框作为待融合文字候选框，以及继续进行文字候选框融合；

确定模块，被配置成若所述文字候选框集合中不存在与所述融合文字候选框的交并比大于所述预设交并比阈值的其他文字候选框，将所述融合文字候选框确定为最终文字框。

13.一种电子设备，包括：

一个或多个处理器；

存储装置，其上存储有一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6中任一所述的方法。

14.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述的方法。