CN112685584A - 图像内容标注方法和装置 - Google Patents

Abstract

本申请提供一种图像内容标注方法和装置，前述方法包括：分割待处理图像，得到多个包含单一字符的待识别子区域；对各个所述待识别子区域进行识别，得到识别字符；根据所述待识别子区域的排序顺序，组合所述识别字符而得到字符串；根据预先确定的处理规则处理所述字符串，得到标注内容。采用本申请提供的图像内容标注方法能够实现自动化的标注，并且这种标注基于规则组合字符串，使得标注过程按照特定的方式进行，在字符串具有与规则匹配的特征的情况下，采用本申请实施例提供的方法能够具有较高的标准准确度，继而实现了自动化标注和标注准确度的提高。

Description

图像内容标注方法和装置

技术领域

本申请涉及图像处理技术领域，具体涉及一种图像内容标注方法和装置。

背景技术

图像处理技术领域中，有获取图像内的内容信息，并根据内容信息进行相关识别模型训练、或者内容提取的需求。为了实现亲属需求，需要对图像中的字符信息进行数据标注。

为了确保识别出的内容信息和图像欲表达的信息一致，避免因为机器识别造成的内容错误问题，目前并没有采用图像OCR识别的方法对图像内容进行标注，而是采用人工处理的方法，由标注人员人工按照操作顺序为各个字符设置选框，再采用手动录入标注内容的方法。但是这样的标注方法效率十分低下，操作也较为繁琐。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供一种图像内容标注方法和装置。

一方面，本申请提供一种图像内容标注方法，包括：

分割待处理图像，得到多个包含单一字符的待识别子区域；

对各个所述待识别子区域进行识别，得到识别字符；

根据所述待识别子区域的排序顺序，组合所述识别字符而得到字符串；

根据预先确定的处理规则处理所述字符串，得到标注内容。

可选地，分割待处理图像，得到多个包含单一字符的待识别子区域，包括：

根据对所述待处理图像的选取操作，确定选择区域；

分割所述选择区域，得到多个包含单一字符的待识别子区域。

可选地，根据所述待识别子区域的排序顺序，组合所述识别字符而得到字符串，包括：

根据所述选取操作，确定所述待识别子区域的排序顺序；

根据所述排序顺序，组合所述识别字符而得到所述字符串。

可选地，根据所述待识别子区域的排序，组合所述识别字符而得到字符串，包括：

根据各个所述待识别子区域的位置，对所述待识别子区域进行聚类划分；

组合每个所述聚类中所述待识别子区域对应的识别字符，得到对应各个所述聚类的所述字符串。

可选地，所述处理规则包括正则表达式；

根据预先确定的处理规则处理所述字符串，得到标注内容，包括：

S1：初始化i=1，j=1；

S2：判断所述字符串中的第i个识别字符是否与所述正则表表达式的第j个字符类型匹配；

S3:如果匹配，使得i=i+1，返回执行S2；

如果不匹配，组合与第j个类型匹配的连续识别字符形成所述标注内容，以及使得j=j+1，返回执行S2。

可选地，所述方法还包括：

根据组成所述标注内容的所述识别字符，组合对应的所述待识别子区域，形成标注区域；

在所述待处理图像中示出所述标注区域，以及建立所述标注区域与对应所述标注内容的关联关系。

可选地，所述方法还包括：

显示与所述标注区域对应的标注内容；

在接收到修改指令的情况下，根据所述修改指令修改所述标注区域和/或所述标注内容。

另一方面，本申请提供一种图像内容标注装置，包括：

分割单元，用于分割待处理图像，得到多个包含单一字符的待识别子区域；

字符识别单元，用于对各个所述待识别子区域进行识别，得到识别字符；

字符串组合单元，用于根据所述待识别子区域的排序顺序，组合所述识别字符而得到字符串；

标注内容确定单元，用于根据预先确定的处理规则处理所述字符串，得到标注内容。

可选地，所述分割单元包括：

选取子单元，用于根据对所述待处理图像的选取操作，确定选择区域；

分割子单元，用于分割所述选择区域，得到多个包含单一字符的待识别子区域。

可选地，所述字符串组合单元包括：

排序确定子单元，用于根据所述选取操作，确定所述待识别子区域的排序顺序；

字符串组合子单元，用于根据所述排序顺序，组合所述识别字符而得到所述字符串。

可选地，所述字符串组合单元还包括：

聚类子单元，用于根据各个所述待识别子区域的位置，对所述待识别子区域进行聚类划分；

所述字符串组合子单元，组合每个所述聚类中所述待识别子区域对应的识别字符，得到对应各个所述聚类的所述字符串。

可选地，所述处理规包括正则表达式；

所述标注内容确定单元确定所述标注内容的步骤包括：

S1：初始化i=1，j=1；

S2：判断所述字符串中的第i个识别字符是否与所述正则表表达式的第j个字符类型匹配；

S3:如果匹配，使得i=i+1，返回执行S2；

如果不匹配，组合与第j个类型匹配的连续识别字符形成所述标注内容，以及使得j=j+1，返回执行S2。

可选地，所述装置还包括：标注区域确定单元，用于根据组成所述标注内容的所述识别字符，组合对应的所述待识别子区域，形成标注区域；

标注关联单元，用于在所述待处理图像中示出所述标注区域，以及建立所述标注区域与对应所述标注内容的关联关系。

可选地，所述装置还包括：显示单元，用于显示与所述标注区域对应的标注内容；

修改单元，用于在接收到修改指令的情况下，根据所述修改指令修改所述标注区域和/或所述标注内容。

采用本申请提供的图像内容标注方法和装置，能够实现自动化的标注，并且这种标注基于规则组合字符串，使得标注过程按照特定的方式进行，在字符串具有与规则匹配的特征的情况下，采用本申请实施例提供的方法能够具有较高的标准准确度，继而实现了自动化标注和标注准确度的提高。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图；

图1是本申请实施例提供的图像内容标注方法流程图；

图2是本申请一个实施例中预先确定的处理规则处理字符串而得到标注内容的流程图；

图3是本申请实施例提供的图像内容标注装置的结构示意图；

图4是本申请实施例提供的电子设备的结构示意图；

其中：11-分割单元，12-字符识别单元，13-字符串组合单元，14-标注内容确定单元；15-标注区域确定单元，16-标注关联单元，17-显示单元，18-修改单元；21-处理器，22-存储器，23-通信接口，24-总线系统。

具体实施方式

为了能够更清楚地理解本申请的上述目的、特征和优点，下面将对本申请的方案进行进一步描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本申请，但本申请还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本申请的一部分实施例，而不是全部的实施例。

本申请实施例提供一种图像内容的标注方法，在对图像中文字内容以最小字符为单元识别后，根据预定的处理规则组合最小字符，形成标注内容。

图1是本申请实施例提供的图像内容标注方法流程图。如图1所示，本申请实施例提供的图像内容标注方法，包括步骤S101-S104。

S101：分割待处理图像，得到多个包含单一字符的待识别子区域。

本申请实施例中，待处理图像是包含字符的图像。在获取到待处理图像后，利用可能的图像处理方法对待处理图像中内容的识别，以确定其中包含单一字符的待识别子区域。

在本申请实施例的一个应用中，可以采用边缘识别的方法，根据可能的字符特征确定可能为表示一个字符的边缘的区域，并基于可能表示单一字符的边缘确定对应的待识别子区域。根据实际经验可知，为了能够清晰表现字符，图像中字符边缘一般会有较大的反差（例如常规应用中，多采用黑色字体和白色背景，以形成很大反差），并且相邻的字符之间有一定的距离，因此可以通过反差确定字符，并通过字符之间的隔离关系确定包含单一字符的待识别子区域。

在本申请实施例的另一应用中，也可以采用已经实用的深度学习模型对待分割图像进行处理，以通过模型识别方法确定能够包含单一字符的最小外接矩形区域，并将最小外接矩形区域作为待识别子区域。

本申请实施例中，如果采用矩形区域框选包括单一字符的待识别区域（例如在采用深度学习模型对待分割图像进行处理的情况下），可以采用矩形区域的四个顶点的坐标确定最小外接矩形。

在本申请实施例的一些应用中，为了避免影响原始数据，可以将待处理图像复制到一画布上形成拷贝图像，再对拷贝图像按照步骤S101进行处理。例如，在一个应用中，可以采用Canvas投影技术，将待处理图像投影到画布上，在画布上处理待识别图像；采用Canvas投影技术将待处理图像拷贝到画布上，可以利用Canvas技术方便地获取图像的局部内容。在具体实施时，根据待处理图像的尺寸和画布的尺寸，还可以确定缩放比，以使得待处理图像内容完全展示在画布上，并尽可能地以合理的大小展示待处理图像中的内容。

在本申请实施例的一些应用中，可能仅具有获取待处理图像中部分区域中字符信息的需求。例如，在一些待处理图像中，大部分区域内容仅是表示风景或者人物画像，仅有部分内容表征字符信息；为了能够提高处理效率，快速地提取中包含单一字符的待识别子区域，可以提供一图像内容选取工具，以执行步骤S1011-S1012的操作。

S1011：根据对待处理图像的选取操作，确定选择区域。

S1012：分割选择区域，得到多个包含单一字符的待识子区域。

在确定包含单一字符的待识别子区域后，可以对待识别子区域进行后续操作。

S102：对各个待识别子区域进行识别，得到识别字符。

本申请实施例具体实施中，对待识别子区域进行识别，得到识别字符，是采用光学字符识别（Optical Character Recognition，OCR）处理待识别子区域，继而得到各个待识别子区域对应的识别字符。本申请实施例中并不对具体采用的光学字符识别技术具体实现过程进行限定，相关内容可以参照已有的技术文献和/或公开的商用化产品。

S103：根据待识别子区域的排序顺序，组合识别字符而得到字符串。

在已经确定各个待识别子区域对应的识别字符后，步骤S103是将识别字符进行排序组合，而形成字符串。应当注意的是，组合识别字符并不是随意的组合，而是需要根据待识别子区域的排序顺序进行组合。

待识别子区域的排序顺序可以是根据各个待识别子区域的特征坐标和预先选定的规则确定。例如，如果图像中的识别字符是采用了常规的排版方法进行排版（也就是确定采用从左向右、再从上到下的方式）进行排版，则可以确定排序规则为从左向右、再从上到下，随后各个待识别子区域的特征坐标进行按照前述规则排序。

在待识别子区域为诸如矩形区域等规则区域的情况下，可以采用待识别子区域的一个顶点或者中心点坐标作为待识别子区域的特征坐标；在待识别子区域为非规则区域的情况下，则可以采用诸如待识别子区域的最左上角点的坐标作为特征坐标。

在本申请实施例采用S1011对待处理图像进行选取操作，而确定选择区域的情况下，可以根据选取操作的操作动作确定待识别子区域的排序顺序。具体应用中，选取操作多是先确定初始角点，再以初始角点作为出发点形成一矩形区域，并且形成矩形区域时需要先确定上下滑动还是左右滑动。如果此选取操作确定顺序和用户想确定的识别字符组合顺序关联，则可以根据用户确定的选取操作顺序，确定排序规则。

在具体实施中，可以提示用户按照图像中的字符表达顺序进行选取操作，以确定随后对识别字符的排序规则；此时用户可以根据查看图像确定的内容，确定选取操作的具体动作，以实现排序规则的确定。

S104：根据预先确定的处理规则处理字符串，得到标注内容。

本申请实施例中，预先确定的处理规则是用户确定，用于对字符串中的识别字符进行组合、划分的规则。

实际应用中，处理规则可以采用正则表达式的方式体现。正则表达式(regularexpression)描述了一种字符串匹配的模式（pattern），可以实现检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等功能。在一个具体应用中，正则表达式为([\d]+)([\-][\+] [\×]) [\÷]) ([\d]+)(\=)，其用于标识匹配规则为第一个数字与第二个数字采用加减乘除四则运算中的之一得到一个结果。

本申请实施例中，根据预先确定的处理规则处理字符串，得到标注内容，可能包括如下情况：（1）将多个识别字符组合形成一个单词；（2）将多个识别字符组合形成为一个句子或者一段公式。具体应用中，出现哪种情况需要根据识别字符的类型以及预先设定的处理规则确定。例如：如果字符串是数字和运算符号的组合的情况下，采用前文表述的正则表达式，得到的标注内容为数字和运算符合组合形成的公式；如果字符串中国的字符为汉字字符的情况下，并且正则表达式为[\u4e00-\u9fa5]（请注意，\u4e00-\u9fa5是判定某一字符是否为中文字符的条件），则可以将字符串识别为一段语句。

根据前文，采用本申请实施例提供的图像内容标注方法，对待识别图像中的字符以最小区域划分而确定单个识别字符形成字符串后，再利用预先处理规则处理字符串，按照预先设定的规则组合字符串形成标注方法，能够实现自动化的标注，并且这种标注基于规则组合字符串，使得标注过程按照特定的方式进行，在字符串具有与规则匹配的特征的情况下，采用本申请实施例提供的方法能够具有较高的标准准确度，继而实现了自动化标注和标注准确度的提高。

图2是本申请一个实施例中预先确定的处理规则处理字符串而得到标注内容的流程图。如图2所示，根据本申请实施例中一个应用中，步骤S104可以按照下述步骤S1041-S1046执行。

S1041：初始化i=1，j=1。

本申请实施例中，i的最大数值根据字符串的识别字符数量确定，例如：如果一个字符串包括20个识别字符，则设置i的最大数值为20，在i=21后，跳出操作步骤；j的最大数值根据处理规则确定，在处理规则为正则表达式的情况下，j的最大数值为正则表达式中的需要匹配的字符类型的数量。例如在正则表达式为前述的([\d]+)([\-][\+] [\×]) [\÷]) ([\d]+)(\=)的情况下，j=4（分别对应([\d]+)、([\-][\+] [\×]) [\÷])、([\d]+)和(\=)）。

S1042：判断字符串中的第i个识别字符是否与正则表表达式的第j个字符类型匹配；如果匹配，执行S1043；如果不匹配，执行S1044。

S1043：使得i=i+1；执行S1042。

S1044：组合与第j个类型匹配的连续识别字符形成标注内容；执行S1045。

S1045:使得j=j+1；判断j是否大于第一设定数值；若否，返回执行S1042，若是，执行S1046。

第一设定数值是前文中确定的j的最大数值，也就是正则表达式中的需要匹配的字符类型的数量。

S1046：执行结束。

采用前述方案可能有两种结果：（1）字符串按照处理规则后，形成标注内容。（2）字符串中至少部分识别字符没有按照处理规则处理，也就是字符串和处理规则并不匹配。

以下对步骤S1011-S1046进行举例说明。

假设本申请实施例中步骤S103中确定的字符串为{3，2，-，7，=}，对应的匹配规则为([\d]+)([\-][\+] [\×]) [\÷]) ([\d]+)(\=)。

初始化i=1，j=1后，对应的识别字符为“3”，对应的字符类型为([\d]+)，确定二者匹配，后续执行S1043并返回执行S1042，此时i=2，j=1。

当i=2，j=1对应的识别字符为“3”，对应的字符类型为([\d]+)，则确定二者匹配，后续执行S1043并返回执行S1042，此时i=3，j=1。

当i=3 ，j=1时，对应的识别字符为“-”，对应的字符类型为([\d]+)二者并不匹配，执行S1044和S1045，组合3和2为标注内容32，并使得j=2，并重新返回S1042，此时i=3，j=2。

当i=3，j=2时，对应的识别字符为“-”，对应的字符类型为([\-][\+] [\×]) [\÷])，二者匹配，后续执行S1043并返回执行S1042，此时i=3，j=2。

当i=3，j=2时，对应的识别字符为“3”，对应的字符类型为([\-][\+] [\×]) [\÷])，二者并不匹配，执行S1044和S1045，得到标注内容“-”返回执行S1042；此时i=4，j=3。

当i=4，j=3是，对应的识别字符为“7”，对应的字符类型为([\d]+)，二者匹配，后续执行S1043并返回执行S1042；此时i=5，j=3.

当i=5，j=3时，对应的识别字符为“=”，对应的字符类型为([\d]+)，二者不匹配，后续执行S1044和S1045得到标注内容“7”，以及使得j=4，返回执行S1042。此时i=5，j=4。

当i=5，j=4时，对应的识别字符为“=”，对应的字符类型为(\=)此时二者匹配，后续执行S1043并返回执行S1042，因为i=6为空，对应的字符类型为(\=)，此时得的标准内容“=”，并使得j=5，因为j大于4，此时执行值S1046结束。

采用前述方案，得到的标注内容分别为“32”、“-”、“7”和“=”。

前文举例中，处理规则仅包括一个正则表达式。在其他具体应用中，处理规则可能包括多个正则表达式，以实现与多个处理规则的匹配，并得到对应标注内容；应当注意的是，本申请实施例中一个字符串可能与多个正则表达式匹配，此时可以生成多个可能的标注内容，由用户选择其中一个作为最后确定的标注内容。

本申请实施例实际应用中，待处理图像中可能包括多个内容并没有直接相关性的字符图像区域，此时并不能将所有待识别区域子区域对应的识别字符组成字符串，并再处理得到标注内容。为了解决此问题，本申请实施例中步骤S103可以细化为步骤S1031和S1032。

S1031：根据各个待识别子区域的位置，对待识别子区域进行聚类划分。

聚类划分的依据可以是预先设定的距离尺寸，也可以是采用已有聚类识别算法具体的计算确定（例如K均值聚类算法、基于密度的聚类算法），并申请实施例并不限定。

S1032：组合每个聚类中待识别子区域对应的识别字符，得到对应各个聚类的字符串。

步骤S1032具体实施例中，也需要根据前文中确定的识别顺序，确定如何对每个聚类中待识别子区域对应的待识别。

本申请实施例中提供的图像内容标注方法，除了包括前述的步骤S101-S104外，还可以包括步骤S105和S106。

S105：根据组成标注内容的识别字符，组合对应的待识别子区域，形成标注区域。

步骤S105具体实施中可能有几种情况：（1）待识别子区域可能并不邻接，此时可能需要根据各个待识别子区域的边界确定标注区域的外周，并利用外周圈起内部区域而形成标注区域。（2）待识别子区域临近连接，此时可以直接将各个待识别子区域组合而形成标注区域。应当注意的是，不管是前述何种情况，不同的标注区域不能重叠，以避免出现识别和匹配错误。

S106：在待处理图像中示出标注区域，以及建立标注区域与对应标注内容的关联关系。

本申请实施例中，在待处理图像中示出标注区域，是以前述步骤S105确定的边界将标注区域标识出来。具体应用中，可以采用的标注方法为通过边界标注的方法，通过添加蒙版的标注方法示出标注区域。

在本申请实施例的一个具体应用中，采用了边界标注方法。并且，标注边界的颜色根据处理规则中不同字符类型做了划分，以快速表示出各种类型的标注内容。

本申请实施例中，建立标注区域和对应标注内容的关联关系，可以是将各个标注区域编号，并将标注内容和对应的编号建立关联关系。在一个应用中，还可以在待处理图像上增加蒙版，并在蒙版上显示标注内容。另外，还可以将对应的字符类型与标注区域建立关联关系。

实际应用中，因为OCR识别问题、规则匹配问题，有些标注内容并不准确。为此，本申请实施例中，本申请实施例提供的图像内容标注方法还可以包括步骤S107和S108。

S107：显示与标注区域对应的标注内容。

S108：在接收到修改指令的情况下，根据修改指令修改标注区域和/或标注内容。

本申请实施例中，为用户提供对显示标注内容的修改权限。当用户点击某一标注内容后可以出发对某一标注内容的修改，在接收到用户收到的修改指令后，即可以根据修改指令对标注内容进行修改。具体的修改操作可能包括：（1）修改某本标注内容；（2）修改某些标注区域；（3）同时修改标注内容和标注区域。

本申请实施例提及了处理规则，实际应用中，处理规则可以由用户根据需要处理的待识别图像内容确定。具体的，可以为用户提供一处理规则的创建接口，由用户基于待识别图像内容通过创建接口输入处理规则。

除了提供前述的图形内容标注方法外，本申请实施例还提供一种与前述图像内容标注方法具有相同发明构思的图像内容标注装置。

图3是本申请实施例提供的图像内容标注装置的结构示意图。如图3所示，本申请实施例提供的图像内容标注装置包括分割单元11、字符识别单元12、字符串组合单元13和标注内容确定单元14。

分割单元11用于分割待处理图像，得到多个包含单一字符的待识别子区域。

在本申请实施例的一个应用中，分割单元11可以采用边缘识别的方法，根据可能的字符特征确定可能为表示一个字符的边缘的区域，并基于可能表示单一字符的边缘确定对应的待识别子区域。

在本申请实施例的另一应用中，分割单元11也可以采用已经实用的深度学习模型对待分割图像进行处理，以通过模型识别方法确定能够包含单一字符的最小外接矩形区域，并将最小外接矩形区域作为待识别子区域。

在本申请实施例的一些应用中，为了避免影响原始数据，分割单元11可以将待处理图像复制到一画布上形成拷贝图像，再对拷贝图像按照步骤S101进行处理。例如，在一个应用中，可以采用Canvas投影技术，将待处理图像投影到画布上，在画布上处理待识别图像；采用Canvas投影技术将待处理图像拷贝到画布上，可以利用Canvas技术方便地获取图像的局部内容。

在具体应用中，如果仅需要对待处理图像中的部分内容提取字符，分割单元11可以包括选取子单元和分割子单元。选取子单元用于根据对待处理图像的选取操作，确定选择区域；分割子单元用于分割选择区域，得到多个包含单一字符的待识别子区域。

字符识别单元12用于对各个待识别子区域进行识别，得到识别字符。

字符识别单元12对待识别子区域进行识别，得到识别字符，是采用光学字符识别（Optical Character Recognition，OCR）处理待识别子区域，继而得到各个待识别子区域对应的识别字符。本申请实施例不对具体采用的光学字符识别方法做限定。

字符串组合单元13用于根据待识别子区域的排序顺序，组合识别字符而得到字符串。

待识别子区域的排序顺序可以是根据各个待识别子区域的特征坐标和预先选定的规则确定。例如，如果图像中的识别字符是采用了常规的排版方法进行排版（也就是确定采用从左向右、再从上到下的方式）进行排版，则可以确定排序规则为从左向右、再从上到下，随后各个待识别子区域的特征坐标进行按照前述规则排序。

在待识别子区域为诸如矩形区域等规则区域的情况下，可以采用待识别子区域的一个顶点或者中心点坐标作为待识别子区域的特征坐标；在待识别子区域为非规则区域的情况下，则可以采用诸如待识别子区域的最左上角点的坐标作为特征坐标。

本申请实施例中，如果分割单元11包括分割子单元获取用户输入的选取操作，字符串组合单元13包括排序子单元和字符串组合子单元。

其中排序子单元用于根据选取操作，确定待识别子区域的排序顺序；字符串组合子单元用于根据排序顺序，组合识别字符而得到字符串

具体应用中，选取操作多是先确定初始角点，再以初始角点作为出发点形成一矩形区域，并且形成矩形区域时需要先确定上下滑动还是左右滑动。如果此选取操作确定顺序和用户想确定的识别字符组合顺序关联，则可以根据用户确定的选取操作顺序，确定排序规则。

在具体实施中，可以提示用户按照图像中的字符表达顺序进行选取操作，以确定随后对识别字符的排序规则；此时用户可以根据查看图像确定的内容，确定选取操作的具体动作，以实现排序规则的确定。

标注内容确定单元14用于根据预先确定的处理规则处理字符串，得到标注内容。

采用本申请实施例提供的图像内容标注装置，对待识别图像中的字符以最小区域划分而确定单个识别字符形成字符串后，再利用预先处理规则处理字符串，按照预先设定的规则组合字符串形成标注方法，能够实现自动化的标注，并且这种标注基于规则组合字符串，使得标注过程按照特定的方式进行，在字符串具有与规则匹配的特征的情况下，采用本申请实施例提供的方法能够具有较高的标准准确度，继而实现了自动化标注和标注准确度的提高。

在本申请实施例一些应用中，待处理图像中可能包括多个内容并没有直接相关性的字符图像区域，此时并不能将所有待识别区域子区域对应的识别字符组成字符串，并再处理得到标注内容。为了解决此问题，字符串自核单元还可以包括聚类子单元，聚类子单元于根据各个待识别子区域的位置，对待识别子区域进行聚类划分。在具有聚类子单元的情况下，字符串组合子单元组合每个聚类中待识别子区域对应的识别字符，得到对应各个聚类的字符串。

本申请实施例中，处理规则包括正则表达式。标注内容确定单元14确定标注内容的步骤包括：S1：初始化i=1，j=1；S2：判断字符串中的第i个识别字符是否与正则表表达式的第j个字符类型匹配；S3:如果匹配，使得i=i+1，返回执行S2；如果不匹配，组合与第j个类型匹配的连续识别字符形成标注内容，以及使得j=j+1，返回执行S2。

本申请实施例一些应用中，图像内容标注装置还可以包括标注区域确定单元15和标注关联单元16。标注区域确定单元15用于根据组成标注内容的识别字符，组合对应的待识别子区域，形成标注区域；标注关联单元16用于在待处理图像中示出标注区域，以及建立标注区域与对应标注内容的关联关系

具体应用中，可以采用的标注方法为通过边界标注的方法，通过添加蒙版的标注方法示出标注区域。

在本申请实施例的一个具体应用中，采用了边界标注方法。并且，标注边界的颜色根据处理规则中不同字符类型做了划分，以快速表示出各种类型的标注内容。

本申请实施例中，建立标注区域和对应标注内容的关联关系，可以是将各个标注区域编号，并将标注内容和对应的编号建立关联关系。在一个应用中，还可以在待处理图像上增加蒙版，并在蒙版上显示标注内容。另外，还可以将对应的字符类型与标注区域建立关联关系。

在本申请实施例的一个应用中，图形内容标注装置还可以包括显示单元17和修改单元18。显示单元17用于显示与标注区域对应的标注内容；修改单元18用于在接收到修改指令的情况下，根据修改指令修改标注区域和/或标注内容。

基于前述的发明构思，本申请还提供一种电子设备。图4是本申请实施例提供的电子设备的结构示意图。如图4所示，第一服务器包括至少一个处理器21、至少一个存储器22和至少一个通信接口23。通信接口23，用于与外部设备之间的信息传输。

第一服务器中的各个组件通过总线系统24耦合在一起。可理解地，总线系统24用于实现这些组件之间的连接通信。总线系统24除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但为了清楚说明起见，在图4中将各种总线都标为总线系统24。

可以理解，本实施例中的存储器22可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。在一些实施方式中，存储器22存储了如下的元素，可执行单元或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。

其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础任务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器（MediaPlayer）、浏览器（Browser）等，用于实现各种应用任务。实现本公开实施例提供的图像内容标注方法的程序可以包含在应用程序中。

在本公开实施例中，处理器21通过调用存储器22存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器21用于执行本公开实施例提供的图像内容标注方法的各个步骤。

本公开实施例提供的图像内容标注方法可以应用于处理器21中，或者由处理器21实现。处理器21可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器21中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器21可以是通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列（Field Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本公开实施例提供的图像内容标注方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件单元组合执行完成。软件单元可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器22，处理器21读取存储器22中的信息，结合其硬件完成方法的步骤。

本公开实施例还提出一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储程序或指令，程序或指令使计算机执行图像内容标注方法的步骤各实施例的步骤，为避免重复描述，在此不再赘述。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (14)

1.一种图像内容标注方法，其特征在于，包括：

分割待处理图像，得到多个包含单一字符的待识别子区域；

对各个所述待识别子区域进行识别，得到识别字符；

根据所述待识别子区域的排序顺序，组合所述识别字符而得到字符串；

根据预先确定的处理规则处理所述字符串，得到标注内容；

所述处理规则包括正则表达式；

根据预先确定的处理规则处理所述字符串，得到标注内容，包括：

S1：初始化i=1，j=1；

S2：判断所述字符串中的第i个识别字符是否与所述正则表表达式的第j个字符类型匹配；

S3:如果匹配，使得i=i+1，返回执行S2；

如果不匹配，组合与第j个类型匹配的连续识别字符形成所述标注内容，以及使得j=j+1，返回执行S2。

2.根据权利要求1所述图像内容标注方法，其特征在于，分割待处理图像，得到多个包含单一字符的待识别子区域，包括：

根据对所述待处理图像的选取操作，确定选择区域；

分割所述选择区域，得到多个包含单一字符的待识别子区域。

3.根据权利要求2所述的图像内容标注方法，其特征在于，根据所述待识别子区域的排序顺序，组合所述识别字符而得到字符串，包括：

根据所述选取操作，确定所述待识别子区域的排序顺序；

根据所述排序顺序，组合所述识别字符而得到所述字符串。

4.根据权利要求1-3任一项所述图像内容标注方法，其特征在于，根据所述待识别子区域的排序，组合所述识别字符而得到字符串，包括：

根据各个所述待识别子区域的位置，对所述识别子区域进行聚类划分；

组合每个所述聚类中所述待识别子区域对应的识别字符，得到对应各个所述聚类的所述字符串。

5.根据权利要求1-3任一项所述的图像内容标注方法，其特征在于，还包括：

根据组成所述标注内容的所述识别字符，组合对应的所述待识别子区域，形成标注区域；

在所述待处理图像中示出所述标注区域，以及建立所述标注区域与对应所述标注内容的关联关系。

6.根据权利要求5所述的图像内容标注方法，其特征在于，还包括：

显示与所述标注区域对应的标注内容；

在接收到修改指令的情况下，根据所述修改指令修改所述标注区域和/或所述标注内容。

7.一种图像内容标注装置，其特征在于，包括：

分割单元，用于分割待处理图像，得到多个包含单一字符的待识别子区域；

字符识别单元，用于对各个所述待识别子区域进行识别，得到识别字符；

字符串组合单元，用于根据所述待识别子区域的排序顺序，组合所述识别字符而得到字符串；

标注内容确定单元，用于根据预先确定的处理规则处理所述字符串，得到标注内容；

所述处理规包括正则表达式；

所述标注内容确定单元确定所述标注内容的步骤包括：

S1：初始化i=1，j=1；

S2：判断所述字符串中的第i个识别字符是否与所述正则表表达式的第j个字符类型匹配；

S3:如果匹配，使得i=i+1，返回执行S2；

如果不匹配，组合与第j个类型匹配的连续识别字符形成所述标注内容，以及使得j=j+1，返回执行S2。

8.根据权利要求7所述图像内容标注装置，其特征在于，所述分割单元包括：

选取子单元，用于根据对所述待处理图像的选取操作，确定选择区域；

分割子单元，用于分割所述选择区域，得到多个包含单一字符的待识别子区域。

9.根据权利要求8所述图像内容标注装置，其特征在于，所述字符串组合单元包括：

排序确定子单元，用于根据所述选取操作，确定所述待识别子区域的排序顺序；

字符串组合子单元，用于根据所述排序顺序，组合所述识别字符而得到所述字符串。

10.根据权利要求7-19任一项所述图像内容标注装置，其特征在于，所述字符串组合单元还包括：

聚类子单元，用于根据各个所述待识别子区域的位置，对所述待识别子区域进行聚类划分；

所述字符串组合子单元，组合每个所述聚类中所述待识别子区域对应的识别字符，得到对应各个所述聚类的所述字符串。

11.根据权利要求8-10任一项所述图像内容标注装置，其特征在于，还包括：

标注区域确定单元，用于根据组成所述标注内容的所述识别字符，组合对应的所述待识别子区域，形成标注区域；

标注关联单元，用于在所述待处理图像中示出所述标注区域，以及建立所述标注区域与对应所述标注内容的关联关系。

12.根据权利要求11所述图像内容标注装置，其特征在于，还包括：

显示单元，用于显示与所述标注区域对应的标注内容；

修改单元，用于在接收到修改指令的情况下，根据所述修改指令修改所述标注区域和/或所述标注内容。

13.一种电子设备，其特征在于，包括处理器和存储器；

所述处理器通过调用所述存储器存储的程序或指令，用于执行如权利要求1至6任一项所述图像内容标注方法的步骤。

14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储程序或指令，所述程序或指令使计算机执行如权利要求1至6任一项所述图像内容标注方法的步骤。

Images