CN102208039B - 一种多语言混合手写文本行的识别方法及装置 - Google Patents

Abstract

本发明公开了一种多语言混合的手写文本行的识别方法及装置，属于输入法技术领域。该方法包括：根据获得的手写文本行的笔迹数据，将手写文本行分割成多个笔画几何块；分别提取每个笔画几何块的特征，根据提取的特征识别所述笔画几何块的语言类别；将相邻的具有相同语言类别的笔画几何块进行合并，得到该语言类别的笔画语言块；分别采用相应的语言类别的字符串识别核心识别所述笔画语言块，获得各笔画语言块的识别结果；合并各笔画语言块的识别结果，得到该手写文本行的识别结果。通过该方法，使得用户在进行多语言手写文本行输入时，不必要预先指定手写文本行的语言类别，方便了用户进行手写文本输入，同时有效地提高了手写输入的速度。

Description

一种多语言混合手写文本行的识别方法及装置

技术领域

本发明属于输入法技术领域，涉及一种多语言混合手写文本行的识别方法，特别是涉及一种多语言混合手写文本行的识别方法及装置。

背景技术

随着移动终端和触控技术的发展，手写技术以其方便、快速的优势得到了更加广泛的应用。对手写文本的识别也逐步从单个字符的识别发展到文本行的识别，中文和英文两种语言类别的文本行识别是目前应用最多的。

现有的大部分手写文本行识别技术中，通常只支持单一语言的手写文本行识别，当需要识别不同语言的手写文本行时，通过在一个终端上加载相应的识别语言包来实现特定语言的手写文本行输入。该方法无法在同一个终端上同时加载多种语言包，无法识别多种语言的手写文本行，当需要识别其他语言的手写文本行时，需要首先卸载当前识别语言包，然后，再安装另一种识别语言包，使用起来非常不方便。

一种改进的手写文本行识别技术的应用是同时加载多个识别语言包，进行手写文本行识别之前，首先指定手写文本行的语言类别，在用户完成文本行的输入后，只能按照指定的语言类别对输入的文本行进行识别。这种应用，要求使用者在每次输入不同语言类别的文本行之前，首先设置识别的文本行的语言类别，用户使用起来非常不方便，也影响输入的速度。

出现上述问题的原因是：目前的手写识别技术还无法准确的识别一行不同语言混合输入的文本，如既包括中文输入又包括英文输入的中英文混合的手写文本行。

发明内容

本发明的目的在于提供一种多语言混合手写文本行的识别方法及装置，能够自动识别多种语言混合的手写文本行，在进行手写文本行识别之前，不需要用户手动设置手写文本行的识别范围，方便用户进行多语言的文本行输入，也提高了输入的速度。

本发明提供了如下方案：

一种多语言混合手写文本行的识别方法，包括：根据获得的手写文本行的笔迹数据，将手写文本行分割成多个笔画几何块；分别提取每个笔画几何块的特征，根据提取的笔画几何块的特征识别所述笔画几何块的语言类别；将相邻的具有相同语言类别的笔画几何块进行合并，得到该语言类别的笔画语言块；分别采用相应的语言类别的字符串识别核心识别所述笔画语言块，获得各笔画语言块的识别结果；合并各笔画语言块的识别结果，得到该手写文本行的识别结果。

其中，所述将手写文本行分割成多个笔画几何块，包括：

从手写文本行的笔迹数据中提取所有笔画，并将每个笔画初始化为相应的笔画块；通过合并水平投影重叠的笔画块，将多个笔画块合并成至少一个笔画几何块。所述笔迹数据包括手写文本行中构成笔画的笔迹点坐标和笔画结束标志，所述笔画几何块包括至少一个笔画。

所述通过合并水平投影重叠的笔画块，将多个笔画块合并成至少一个笔画几何块，包括：

a、依序取两个相邻的笔画块；

b、判断所述两个相邻的笔画块的水平投影是否重叠，如果重叠，将所述两个相邻的笔画块合并为合并笔画块；

c、依序取与所述合并笔画块相邻的笔画块，并判断所述合并笔画块和该相邻的笔画块的水平投影是否重叠，如果重叠，将所述合并笔画块和该相邻的笔画块合并为另一合并笔画块，转至d；否则，所述合并笔画块形成一个笔画几何块，转至a，直至所有笔画块合并完成；

d、重复c，直至所有笔画块合并完成。

其中，所述合并笔画块为包括至少两个笔画的笔画块。

所述相邻笔画块指笔画书写顺序相邻的笔画块。

所述笔画几何块的特征包括：第一预设语言的字符识别可信度、笔迹长度、笔迹方向和笔画重叠度。所述根据提取的特征识别所述笔画几何块的语言类别，包括：计算笔画几何块的第一预设语言的可信度，当所述预设语言的可信度大于设定阈值时，识别该笔画几何块的语言类别为第一预设语言。

所述第i个笔画几何块的预设语言的可信度P(B_i)通过公式 $P\left(B_i\right)=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\ω}\left(k\right)\×\mathrm{\δ}(X\left(I\left(k\right)\right),T\left(k\right))$ 计算得到，

其中， $\mathrm{\δ}(X\left(I\left(k\right)\right),T\left(k\right))=\left\{\begin{array}{cc}1& X\left(I\left(k\right)\right)>T\left(k\right)\\ 0& X\left(I\left(k\right)\right)\≤T\left(k\right)\end{array}\right.,$ I(k)表示通过N轮迭代训练笔画语言块分类器过程中第k轮迭代选中的特征维数，T(k)表示第k轮迭代选中的阈值；所述ω(k)表示第k轮迭代的权重。

所述分别采用相应的语言类别的字符串识别核心识别所述笔画语言块，获得各笔画语言块的识别结果，包括：判断当前笔画语言块的语言类别是否为第一预设语言，若是，采用第一预设语言的字符串识别核心识别当前笔画语言块；否则，采用第二预设语言的字符串识别核心识别当前笔画语言块，得到当前笔画语言块的识别结果；取另一个笔画语言块，直至所有笔画语言块识别完毕，所述识别结果包括候选字符串及该候选字符串的候选得分。

所述合并各笔画语言块的识别结果，得到手写文本行的识别结果，包括：

将每个笔画语言块的识别候选字符串按照候选得分由大到小的顺序进行排列，得分最高的识别候选字符串作为第一识别候选；分别提取每个笔画语言块的第一识别候选，按照笔画语言块在手写文本行中的排列顺序合并提取的第一识别候选，得到混合手写文本行的识别结果。

所述语言类别包括：中文、西文，所述第一预设语言为中文。

本发明还公开了一种多语言混合手写文本行的识别装置，包括：

分割单元，用于根据获得的手写文本行的笔迹数据，将手写文本行分割成多个笔画几何块；

语言类别识别单元，用于分别提取每个笔画几何块的特征，根据提取的笔画几何块的特征识别所述笔画几何块的语言类别；

笔画几何块合并单元，用于将相邻的具有相同语言类别的笔画几何块进行合并，得到该语言类别的笔画语言块；

笔画语言块识别单元，分别采用相应的语言类别的字符串识别核心识别所述笔画语言块，获得各笔画语言块的识别结果；

合并单元，用于合并各笔画语言块的识别结果，得到该手写文本行的识别结果。

根据本发明提供的具体实施例，本发明具有以下技术效果：

本发明实施例通过先将手写文本行分割成多个笔画几何块；然后分别提取每个笔画几何块的特征，根据提取的特征计算所述笔画几何块的预设语言的可信度，并判断笔画几何块的语言类别，然后将相邻的同种语言的笔画几何块合并成笔画语言块；最后根据该手写文本行中各笔画语言块的语言类别，使用相应的现有手写字符串识别核心识别所述笔画语言块，得到笔画语言块的识别结果，进而得到手写文本行的识别结果，使得用户在进行多语言的手写文本行输入时，不必要预先指定手写文本行的语言类别，方便了用户进行手写文本输入，同时有效地提高了手写输入的速度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例的部分附图，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的中英文混合手写文本行识别方法的流程图；

图2是本发明实施例手写中英文混合的文本行示意图；

图3是本发明实施例笔画几何块中的笔画示意图；

图4是本发明实施例手写文本行中的笔画形成笔画块的示意图；

图5是图4所示的笔画几何块对应的语言种类示意图；

图6是图5所示的笔画几何块合并成的笔画语言块示意图；

图7是图6所示的笔画语言块的识别结果示意图；

图8是本发明实施例提供的装置的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

本发明的方法适用于任何二维坐标系，本实施例中仅以常见的如图4所示的坐标系为例。

参见图1，本发明实施例提供的识别多语言混合的手写文本行的方法包括以下步骤：

步骤10：根据获得的手写文本行的笔迹数据，将手写文本行分割成多个笔画几何块；

在手写识别技术中，可以通过手写板或平板电脑等任何支持手写输入功能的设备获得手写文本行的笔迹，如何获得手写文本行的笔迹数据已经为本领域的技术人员所熟知，在此不再赘述。手写文本行的笔迹数据由多个笔画的笔迹数据和文本行结束标志组成，每个笔画的笔迹数据包括构成笔画的笔迹点坐标和笔画结束标志。本实施例中假设文本行结束标志为(-1，-1)，笔画结束标志为(-1，0)，手写文本行的笔迹数据表示为{(x₁₁，y₁₁)，(x₁₂，y₁₂)，...，(-1，0)，...，(x_n1，y_n1)，(x_n2，y_n2)，...，(-1，0)，(-1，-1)}，其中n为大于1的正整数，以上笔迹数据表示手写文本行由n个笔画组成，(x_n1，y_n1)表示第n个笔画的第一个笔迹点的坐标。

在本步骤中，手写输入如图2所示的中英文混合的文本行，当然也可以输入中文和俄文混合文本行等中文和西文的混合文本行，其中西文包括：英文、法文、俄文等字母类语言文字，或者其它方块字和西文混合的文本行，如日文汉字和英文混合的文本行等，本实施例仅以中英文混合的文本行为例。首先从手写文本行的笔迹数据中提取所有笔画，并将每个笔画初始化为一个相应的笔画块。此处的每个笔画块中包含一个笔画。如图3所示，通过在笔画四周分别沿水平方向和垂直方向绘制线条形成一个四边形区域，该四边形区域包括：上边框、下边框、左边框和右边框。所述上边框、下边框、左边框和右边框叫做笔画块的边框，根据构成笔画块的笔画笔迹点的坐标数据得到。在如图4所示的坐标系中，各边框通过以下方式获得：上边框通过沿笔画块中的笔画笔迹点中位于最顶侧(纵坐标最大)的笔迹点沿水平方向绘制线条形成；下边框通过沿笔画块中的笔画笔迹点中位于最底侧(纵坐标最小)的笔迹点沿水平方向绘制线条形成；左边框通过沿笔画块中的笔画笔迹点中位于最左侧(横坐标最小)的笔迹点沿垂直方向绘制线条形成；右边框通过沿笔画块中的笔画笔迹点中位于最右侧(横坐标最大)的笔迹点沿垂直方向绘制线条形成。以图2中的手写文本行为例，按照上述方法获得的前十个笔画对应的笔画块，如图3所示，分别为：S₁、S₂、S₃、S₄、S₅、S₆、S₇、S₈、S₉、S₁₀。同理可分别获得图2所示的手写文本行中的所有笔画块S_i(1≤i≤n，其中n为手写文本行中所有笔画数)。

然后，通过合并水平投影重叠的笔画块，将多个笔画块合并成至少一个笔画几何块。水平投影指水平方向的一条线段，通过在笔画块的右边框在水平方向的投影点和左边框在水平方向上的投影点之间连接线段得到，也可以通过笔画块包括的笔画的所有笔迹点分别向水平方向投影得到。上述步骤中获得的笔画块B_i是由所有字符的笔画组成的。根据多数人的书写习惯，通常在手写输入文本行的过程中字符之间在水平方向上的投影是没有重叠的，而同一个字符内的笔画在水平方向上的投影是有重叠的，通过判断笔画块在水平方向上的投影是否有重叠部分，将水平投影重叠的笔画块合并成一个包括至少两个笔画的合并笔画块，将水平投影与其他笔画块的水平投影没有重叠的笔画块作为一个笔画几何块，可以将多个笔画块合并成至少一个笔画几何块，一个笔画几何块中包括一个或多个笔画，经合并获得的笔画几何块代表一个独立字符的可能性非常大。

经合并获得的笔画几何块中的笔画同样可以确定一个四边形区域，该四边形区域包括：上边框、下边框、左边框和右边框。所述上边框、下边框、左边框和右边框叫做笔画几何块的边框，根据构成笔画几何块的笔画笔迹点的坐标数据得到。笔画几何块的边框形成方法与笔画块的形成方法相同，各边框通过以下方式获得：上边框通过沿笔画几何块中的笔画笔迹点中位于最顶侧(纵坐标最大)的笔迹点沿水平方向绘制线条形成；下边框通过沿笔画几何块中的笔画笔迹点中位于最底侧(纵坐标最小)的笔迹点沿水平方向绘制线条形成；左边框通过沿笔画几何块中的笔画笔迹点中位于最左侧(横坐标最小)的笔迹点沿垂直方向绘制线条形成；右边框通过沿笔画几何块中的笔画笔迹点中位于最右侧(横坐标最大)的笔迹点沿垂直方向绘制线条形成。当然，如果字符之间有连接，可能将多个字符分割到一个笔画几何块中。

合并水平投影重叠的笔画块时，首先需要获得两个相邻的笔画块，分别设为第一笔画块和第二笔画块，在判断两个相邻的笔画块的水平投影重叠是否重叠时，若第一笔画块的左边框在第二笔画块的右边框的左侧且第一笔画块的右边框在第二笔画块的左边框的右侧，则该两个笔画块的水平投影重叠。

具体实施时，分为以下步骤：

步骤a、依序取两个相邻的笔画块。

按照笔画将文本行进行切分后，得到对应于每个笔画的笔画块，所述笔画块按照笔画的书写顺序排列。依序取两个相邻的笔画块，包括第一笔画块为S_i和第二笔画块为S_i+1。

步骤b、判断所述两个相邻的笔画块的水平投影是否重叠，如果重叠，将所述两个相邻的笔画块合并为合并笔画块。

如果第一笔画块S_i的左边框在第二笔画块S_i+1的右边框的左侧且第一笔画块S_i的右边框在第二笔画块S_i+1的左边框的右侧，则该两个笔画块的水平投影重叠，将这两个笔画块合并为一个合并笔画块S′_k，所述合并笔画块包括至少两个笔画。否则，第一笔画块S_i形成一个笔画几何块B_m，其中m≥1。

步骤c、依序取与所述合并笔画块相邻的笔画块，并判断所述合并笔画块和该相邻的笔画块的水平投影是否重叠，如果重叠，将所述合并笔画块和该相邻的笔画块合并为另一合并笔画块，重复步骤c；否则，所述合并笔画块形成一个笔画几何块，转至步骤a，直至所有笔画块合并完成。

取与合并笔画块S′_k中的笔画相邻的下一笔画对应的笔画块S_i+2，如果合并笔画块S′_k的左边框在笔画块S_i+2的右边框的左侧且合并笔画块S′_k的右边框在笔画块S_i+2的左边框的右侧，则该两个笔画块的水平投影重叠，将这两个笔画块合并为另一合并笔画块S′_k+1，转至步骤d；否则，将当前获得的合并笔画块S′_k作为一个笔画几何块B_m，其中m≥1，转至步骤a，以笔画几何块B_m中的笔画为参考，依序取下两个相邻的笔画对应的笔画块，继续合并剩余的笔画块。

步骤d、重复步骤c，直至所有笔画块合并完成。

重复步骤c，取与合并笔画块S′_k+1中的笔画相邻的下一笔画对应的笔画块S_i+3，进一步合并剩余的笔画块。依此类推，直到所有的笔画块合并完成，最后即得到多个笔画几何块B_m。

图2所示的手写文本行的分割结果分别如图4所示。图2的手写文本行经过合并获得的5个笔画几何块B₁、B₂、...、B_m，即m＝5，如图4所示。

步骤20：分别提取每个笔画几何块的特征，根据提取的笔画几何块的特征识别所述笔画几何块的语言类别。

本发明中语言类别包括：中文、英文，第一预设语言为中文。本发明适用于任何方块文字语言和西文的混合输入，包括：中文和英文、中文和俄文、日文和英文等。如手写中文和英文混合文本行、手写韩文和英文混合文本行。对于不同的方块文字语言和西文文字语言的混合手写文本行进行识别时需要使用该方块文字语言作为第一预设语言，使用方块文字语言的单字符识别核心获得第一预设语言的字符识别可信度。

本例中以手写中文和英文混合文本行为例对本方法进行说明，其中，第一预设语言为中文，第一预设语言的可信度为中文的可信度。所述中文的可信度是根据笔画几何块的特征计算得到的值，指笔画几何块是中文几何块的可能性，其取值为大于等于0且小于等于1的数。中文的可信度为1，说明笔画几何块为中文，中文的可信度为0说明笔画几何块为英文。

笔画几何块的特征有很多，本方法实施例提取的笔画几何块的特征包括：中文字符识别可信度、笔迹长度、笔迹方向和笔画重叠度。根据手写文本行的所有笔画几何块的特征，可以获得手写文本行语言类别。以下详细说明笔划几何块的每个特征及其获得方式。

笔画几何块的一个特征是笔画几何块的中文字符识别可信度，中文字符识别可信度是指中文单字符识别核心识别该字符或笔画块或笔画几何块的识别结果候选字符为中文的可能性，其取值为大于等于0且小于等于1的数。中文字符识别可信度为1说明识别结果候选字符为中文，中文字符识别可信度为0说明识别结果候选字符为英文。中文字符识别可信度的获得步骤为：首先分别将每个笔画几何块作为一个字符，采用中文字符识别技术对所有笔画几何块进行识别，获得每个笔画几何块的识别结果，所述识别结果包括：多个识别身份候选字符及每个身份候选字符的中文字符识别可信度，所述识别身份候选字符按照其对应的中文字符识别可信度降序排列；然后分别遍历每个笔画几何块的识别结果中的识别身份候选字符，找到第一个中文字符(即中文字符识别可信度最大的字符)，其对应的中文字符识别可信度即为该几何块的中文字符识别可信度，如果没有找到中文字符，该笔画几何块的中文字符识别可信度为0。通过上述步骤，将中文字符识别可信度作为该笔画几何块的第一个特征x₁(B_i)。

设笔画几何块B_i中有n(B_i)个笔画，第k个笔画A_i，k中有n(A_i，k)个点，其中第m个点用(x_i，k，m，y_i，k，m)表示。W(B_i)为笔画几何块B_i的宽度，等于笔画几何块右边框在水平方向(即横轴上)的投影点的横坐标和笔画几何块左边框在水平方向(即横轴上)的投影点的横坐标之差。笔画几何块的第二个特征是笔迹长度，笔画中笔迹点的长度通过公式 $L\left(A_{i,k}\right)=\underset{m=2}{\overset{n\left(A_{i,k}\right)}{\mathrm{\Σ}}}\left(\right|x_{i,k,m}-x_{i,k,m-1}|+|y_{i,k,m}-y_{i,k,m-1}\left|\right)$ 获得，笔画几何块的笔迹点长度通过公式 $L\left(B_i\right)=\underset{k=1}{\overset{n\left(B_i\right)}{\mathrm{\Σ}}}L\left(A_{i,k}\right)$ 获得，最后得到笔画几何块的笔迹长度特征x₂(B_i)＝L(B_i)/W(B_i)；

笔画几何块的第三个特征x₃(B_i)是笔迹方向，首先计算笔迹点(x_i，k，m，y_i，k，m)的方向θ(x_i，k，m，y_i，k，m)＝arctan((y_i，k，m-y_i，k，m-1)/(x_i，k，m-x_i，k，m-1))，其中(x_i，k，m-1，y_i，k，m-1)为(x_i，k，m，y_i，k，m)的上一个笔迹点；然后计算笔迹点的方向变化Δ(x_i，k，m，y_i，k，m)＝|θ(x_i，k，m，y_i，k，m)-θ(x_i，k，m-1，y_i，k，m-1)|；最后得到笔画几何块的笔迹方向特征 $x_3\left(B_i\right)=\left(\underset{k=1}{\overset{n\left(B_i\right)}{\mathrm{\Σ}}}\underset{m=2}{\overset{n\left(A_{i,k}\right)}{\mathrm{\Σ}}}\mathrm{\Δ}(x_{i,k,m},y_{i,k,m})\right)/W\left(B_i\right);$

笔画几何块的第四个特征x₄(B_i)是笔画重叠度，其计算公式为： $x_4\left(B_i\right)=\left(\underset{k=1}{\overset{n\left(B_i\right)}{\mathrm{\Σ}}}W\left(A_{i,k}\right)\right)/W\left(B_i\right),$ 其中W(A_i，k)为笔画几何块B_i中第k个笔画的宽度，等于该笔画在水平方向(即横轴上)的投影线段长度。

通过以上所述方法提取到笔画几何块的特征后，根据所述笔画几何块的特征计算所述笔画几何块的中文可信度，即识别笔画几何块的语言类别。

对于笔画几何块B_i，其四个特征为X(B_i)＝(x₁(B_i)，x₂(B_i)，x₃(B_i)，x₄(B_i))^T，通过adboost算法训练笔画语言块分类器，通过N次迭代可以得到笔画语言块分类器。在所述N次迭代过程中，可以得到第k轮迭代选中的特征维数、阈值和权重分别为I(k)，T(k)，ω(k)，则笔画几何块的中文可信度 $P\left(B_i\right)=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\ω}\left(k\right)\×\mathrm{\δ}(X\left(I\left(k\right)\right),T\left(k\right)),$ 其中 $\mathrm{\δ}(X\left(I\left(k\right)\right),T\left(k\right))=\left\{\begin{array}{cc}1& X\left(I\left(k\right)\right)>T\left(k\right)\\ 0& X\left(I\left(k\right)\right)\≤T\left(k\right)\end{array}\right.,$ 若P(B_i)大于设定阈值T即可认为笔画几何块B_i为中文几何块。上述阈值T可以为0.6或0.5等，是根据手写文本行训练结果设置的常量。图5为图4所示的笔画几何块的语言类别的识别结果。

步骤30：将相邻的具有相同语言类别的笔画几何块进行合并，得到该语言类别的笔画语言块。

在完成笔画几何块的语言类别识别后，合并相邻的具有同种语言类别的笔画几何块形成笔画语言块，合并形成的笔画语言块的语言类别与组成该笔画语言块的笔画几何块的语言类别相同。如图5和图6所示，图5中的第二个和第三个笔画几何块的语言类别为英文，将这两个笔画几何块合并为一个笔画语言块，获得的笔画语言块的语言类别为英文；图5中的第四个、第五个笔画几何块的语言类别为中文，将这两个笔画几何块合并为一个笔画语言块，该笔画语言块的语言类别为中文，图6所示的笔画语言块即为图5所示的笔画几何块的合并结果。

步骤40：分别对各笔画语言块采用相应的语言类别的字符串识别核心进行识别，获得各笔画语言块的识别结果。

取一个笔画语言块，判断当前笔画语言块的语言类别是否为第一预设语言，若是，采用第一预设语言的字符串识别核心识别当前笔画语言块；否则，采用第二预设语言的字符串识别核心识别当前笔画语言块，得到当前笔画语言块的识别结果；取下一个笔画语言块，直至所有笔画语言块识别完毕。所述识别结果包括候选字符串及该候选字符串的候选得分。如图6中第一个笔画语言块的语言类别为中文，则使用中文字符串识别核心对其识别得到第一个笔画几何块的识别结果为“拿”；第二个笔画语言块的语言类别为英文，则使用英文字符串识别核心对其识别得到第二个笔画语言块的识别结果为“keyboard”；依次识别每一个笔画语言块，获得所有笔画语言块的识别结果。

步骤50：合并各笔画语言块的识别结果，得到手写文本行的识别结果。

将每个笔画语言块的识别候选字符串按照候选得分由大到小的顺序进行排列，得分最高的识别候选字符串作为第一识别候选。分别提取每个笔画语言块的第一识别候选，按照笔画语言块在手写文本行中的排列顺序合并提取的第一识别候选，得到混合手写文本行的识别结果。图7为图5所示的手写文本行的识别候选结果。

本发明实施例通过先将手写文本行分割成多个笔画几何块；然后分别提取每个笔画几何块的特征，根据提取的特征计算所述笔画几何块的预设语言可信度，根据笔画几何块的预设语言可信度识别笔画几何块的语言类别；再根据笔画几何块的语言类别合并相邻的具有相同语言类别的笔画几何块得到笔画语言块；最后使用相应语言的现有手写字符串识别技术识别笔画语言块，得到笔画语言块的识别结果；根据所有的笔画语言块的识别结果得到混合手写文本行的识别结果，使得用户在进行多语言的手写文本行输入时，不必要预先指定手写文本行的语言类别，方便了用户进行手写文本输入，同时有效地提高了手写输入的速度。

与本发明实施例提供的识别手写文本行语言类别的方法相对应，本发明实施例还提供了一种多语言混合的手写文本行识别的装置，参见图8，该装置包括以下单元：

分割单元81，用于根据获得的手写文本行的笔迹数据，将手写文本行分割成多个笔画几何块，具体分割方法同上述方法中的步骤10；

语言类别识别单元82，用于分别提取每个笔画几何块的特征，根据提取的笔画几何块的特征识别所述笔画几何块的语言类别；

笔画几何块合并单元83，用于将相邻的具有相同语言类别的笔画几何块进行合并，得到该语言类别的笔画语言块；

笔画语言块识别单元84，分别采用相应的语言类别的字符串识别核心识别所述笔画语言块，获得各笔画语言块的识别结果；

合并单元85，用于合并各笔画语言块的识别结果，得到该手写文本行的识别结果。

所述分割单元81进一步包括：

笔画提取子单元，用于从手写文本行的笔迹数据中提取多个笔画，并将每个笔画初始化为一个相应的笔画块，所述笔迹数据包括构成笔画的笔迹点坐标和笔画结束标志。

笔画块合并子单元，用于通过合并水平投影重叠的笔画块，将多个笔画块合并成至少一个笔画几何块，具体方法同本发明方法实施例提供的方法步骤一中的步骤a至d；

所述语言类别识别单元82提取的笔画几何块的特征包括：预设语言的字符识别可信度、笔迹长度、笔迹方向和笔画重叠度。根据提取的所述笔画几何块的上述特征，计算该笔画几何块的预设语言的可信度。当所述预设语言的可信度大于设定阈值时，所述笔画几何块的语言类别为预设语言。

本发明一种识别多语言混合的手写文本行的装置通过先将手写文本行分割成多个笔画几何块；然后分别提取每个笔画几何块的特征，根据提取的特征计算所述笔画几何块的预设语言可信度，根据预设语言可信度判断笔画几何块的语言类别；再根据笔画几何块的语言类别，合并相邻的同种语言的笔画几何块得到笔画语言块；最后根据该笔画语言块的语言类别使用相应语言的现有手写字符串识别技术对其进行识别，得到各笔画语言块的识别结果，进而得到手写文本行的识别结果，使得用户在进行多语言的手写文本行输入时，不必要预先指定手写文本行的语言类别，方便了用户进行手写文本输入，同时有效地提高了手写输入的速度。

以上对本发明所提供的一种多语言混合的手写文本行的识别方法及装置，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种多语言混合手写文本行的识别方法，其特征在于，包括：

根据获得的手写文本行的笔迹数据，将手写文本行分割成多个笔画几何块；

分别提取每个笔画几何块的特征，根据提取的笔划几何块特征识别所述笔画几何块的语言类别；所述根据提取的笔画几何块特征识别所述笔画几何块的语言类别，包括：计算笔画几何块的第一预设语言的可信度，当所述预设语言的可信度大于设定阈值时，识别该笔画几何块的语言类别为第一预设语言；

将相邻的具有相同语言类别的笔画几何块进行合并，得到该语言类别的笔画语言块；

分别采用相应的语言类别的字符串识别核心识别所述笔画语言块，获得各笔画语言块的识别结果；

合并各笔画语言块的识别结果，得到该手写文本行的识别结果。

2.根据权利要求1所述的方法，其特征在于，所述将手写文本行分割成多个笔画几何块，包括：

从手写文本行的笔迹数据中提取所有笔画，并将每个笔画初始化为相应的笔画块；

通过合并水平投影重叠的笔画块，将多个笔画块合并成至少一个笔画几何块；

其中，所述笔迹数据包括手写文本行中构成笔画的笔迹点坐标和笔画结束标志，所述笔画几何块包括至少一个笔画。

3.根据权利要求2所述的方法，其特征在于，所述通过合并水平投影重叠的笔画块，将多个笔画块合并成至少一个笔画几何块，包括：

a、依序取两个相邻的笔画块；

b、判断所述两个相邻的笔画块的水平投影是否重叠，如果重叠，将所述两个相邻的笔画块合并为合并笔画块；

c、依序取与所述合并笔画块相邻的笔画块，并判断所述合并笔画块和该相邻的笔画块的水平投影是否重叠，如果重叠，将所述合并笔画块和该相邻的笔画块合并为另一合并笔画块，转至d；否则，所述合并笔画块形成一个笔画几何块，转至a，直至所有笔画块合并完成；

d、重复c，直至所有笔画块合并完成，

其中，所述合并笔画块为包括至少两个笔画的笔画块。

4.根据权利要求3所述的方法，其特征在于，所述相邻笔画块指笔画书写顺序相邻的笔画块。

5.根据权利要求4所述的方法，其特征在于，所述笔画几何块的特征包括：第一预设语言的字符识别可信度、笔迹长度、笔迹方向和笔画重叠度。

6.根据权利要求1所述的方法，其特征在于，第i个笔画几何块的预设语言的可信度P(B_i)通过公式 $P\left(B_i\right)=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{\ω}\left(k\right)\×\mathrm{\δ}(X\left(I\left(k\right)\right),T\left(k\right))$ 计算得到，

其中， $\mathrm{\δ}(X\left(I\left(k\right)\right),T\left(k\right))=\left\{\begin{array}{cc}1& X\left(I\left(k\right)\right)>T\left(k\right)\\ 0& X\left(I\left(k\right)\right)\≤T\left(k\right)\end{array}\right.,$ I(k)表示通过N轮迭代训练笔画语言块分类器过程中第k轮迭代选中的特征维数，T(k)表示第k轮迭代选中的阈值；所述ω(k)表示第k轮迭代的权重。

7.根据权利要求1所述的方法，其特征在于，所述分别采用相应的语言类别的字符串识别核心识别所述笔画语言块，获得各笔画语言块的识别结果，包括：

判断当前笔画语言块的语言类别是否为第一预设语言，若是，采用第一预设语言的字符串识别核心识别当前笔画语言块；否则，采用第二预设语言的字符串识别核心识别当前笔画语言块，得到当前笔画语言块的识别结果；取另一个笔画语言块，直至所有笔画语言块识别完毕，所述识别结果包括候选字符串及该候选字符串的候选得分。

8.根据权利要求7所述的方法，其特征在于，所述合并各笔画语言块的识别结果，得到手写文本行的识别结果，包括：

将每个笔画语言块的识别候选字符串按照候选得分由大到小的顺序进行排列，得分最高的识别候选字符串作为第一识别候选；分别提取每个笔画语言块的第一识别候选，按照笔画语言块在手写文本行中的排列顺序合并提取的第一识别候选，得到混合手写文本行的识别结果。

9.根据权利要求1或8所述的方法，其特征在于，所述语言类别包括:中文、西文，所述第一预设语言为中文。

10.一种多语言混合手写文本行的识别装置，其特征在于，包括：

分割单元，用于根据获得的手写文本行的笔迹数据，将手写文本行分割成多个笔画几何块；

语言类别识别单元，用于分别提取每个笔画几何块的特征，根据提取的笔画几何块的特征识别所述笔画几何块的语言类别；所述根据提取的笔画几何块特征识别所述笔画几何块的语言类别，包括：计算笔画几何块的第一预设语言的可信度，当所述预设语言的可信度大于设定阈值时，识别该笔画几何块的语言类别为第一预设语言；

笔画几何块合并单元，用于将相邻的具有相同语言类别的笔画几何块进行合并，得到该语言类别的笔画语言块；

笔画语言块识别单元，分别采用相应的语言类别的字符串识别核心识别所述笔画语言块，获得各笔画语言块的识别结果；

合并单元，用于合并各笔画语言块的识别结果，得到该手写文本行的识别结果。

Images