CN110767292A - 病理编号识别方法、信息识别方法、装置及信息识别系统 - Google Patents

Abstract

本公开提供了一种病理编号识别方法、装置、信息识别方法、装置及信息识别系统，涉及人工智能领域。该方法包括：获取包含标签的病理玻片图像，其中所述标签包括病理编号；对所述病理玻片图像中的所有对象进行边缘检测，根据检测结果确定与所述标签对应的轮廓；根据所述轮廓的位置信息对所述标签进行修正，以获取与所述标签对应的目标图像；提取所述目标图像中的病理编号区域，并对所述病理编号区域中的病理编号进行识别，以获取所述病理编号。本公开能够提高信息识别的效率和信息识别结果的精准度，进一步减少了人工成本。

Description

病理编号识别方法、信息识别方法、装置及信息识别系统

技术领域

本公开涉及人工智能技术领域，具体而言，涉及一种病理编号识别方法、病理编号识别装置、信息识别方法、信息识别装置及信息识别系统。

背景技术

随着计算机技术的变革以及算法的提升，人工智能成为各国的战略性发展方向。人工智能被广泛应用在各个领域，如金融领域、医学领域、勘测领域，等等。

在医学领域，随着人工智能辅助诊断的普及，就诊的效率越来越高，并且疾病分析和诊疗方案的制定也较之前的人工方式更快更精准了。虽然对病理图像的分析越来越快、越精准了，但是在分析完后，还需要人工提取病理图像对应的病理编号并将其输入系统，以与分析结果进行对应存储，这就加大了医生的工作量，降低了诊断效率。

鉴于此，本领域亟需开发一种新的信息识别方法及病理编号识别方法。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的实施例提供了一种病理编号识别方法、病理编号识别装置、信息识别方法、信息识别装置及信息识别系统，进而至少在一定程度上可以避免人工提取病理编号及其它文本信息，提高了信息识别的效率和精准度。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开实施例的一个方面，提供了一种病理编号识别方法，包括：获取包含标签的病理玻片图像，其中所述标签包括病理编号；对所述病理玻片图像中的对象进行边缘检测，根据检测结果确定与所述标签对应的轮廓；根据所述轮廓的位置信息对所述标签进行修正，以获取与所述标签对应的目标图像；提取所述目标图像中的病理编号区域，并对所述病理编号区域中的病理编号进行识别，以获取所述病理编号。

在本公开的一些实施例中，基于前述方案，所述对所述病理玻片图像中的所有对象进行边缘检测，包括：根据预设转换规则将所述病理玻片图像转换为灰度图像；对所述灰度图像进行第一平滑处理，以获取第一图像；对所述第一图像进行第二平滑处理，并计算平滑处理后的所述第一图像中各像素的梯度强度和方向；基于各所述像素的梯度强度和方向确定真实边缘像素，并根据所述真实边缘像素确定与所述对象对应的轮廓。

在本公开的一些实施例中，基于前述方案，所述提取所述目标图像中的病理编号区域，包括：根据预设模板对所述目标图像进行版面分析，以获取所述病理编号区域。

在本公开的一些实施例中，基于前述方案，在对所述病理编号区域中的病理编号进行识别之前，所述方法还包括：将所述病理编号区域中的所有像素进行二值化处理；对二值化处理后的所述病理编号区域进行腐蚀和膨胀处理，以去除所述病理编号区域中的噪点。

在本公开的一些实施例中，基于前述方案，所述方法还包括：根据匹配规则纠正所述病理编号中的错误字符。

根据本公开实施例的一个方面，提供了一种病理编号识别装置，包括：第一获取模块，用于获取包含标签的病理玻片图像，其中所述标签包括病理编号；第一检测模块，用于对所述病理玻片图像中的所有对象进行边缘检测，根据检测结果确定与所述标签对应的轮廓；第二修正模块，用于根据所述轮廓的位置信息对所述标签进行修正，以获取与所述标签对应的目标图像；第一识别模块，用于提取所述目标图像中的病理编号区域，并对所述病理编号区域中的病理编号进行识别，以获取所述病理编号。

在本公开的一些实施例中，基于前述方案，所述第一检测模块配置为：根据预设转换规则将所述病理玻片图像转换为灰度图像；对所述灰度图像进行第一平滑处理，以获取第一平滑图像；对所述第一平滑图像进行第二平滑处理，并计算平滑处理后的所述第一平滑图像中各像素的梯度强度和方向；基于各所述像素的梯度强度和方向确定真实边缘像素，并根据所述真实边缘像素确定与所述对象对应的轮廓。

在本公开的一些实施例中，基于前述方案，所述第一检测模块包括：面积计算单元，用于获取所述病理玻片图像中所有的闭合轮廓，并计算所述闭合轮廓的面积；多边形拟合单元，用于根据所述面积由大到小对所述闭合轮廓进行多边形拟合，以确定与所述闭合轮廓对应的多边形；匹配单元，用于在所述闭合轮廓中存在具有目标多边形的目标闭合轮廓时，将所述目标闭合轮廓作为所述标签对应的轮廓。

在本公开的一些实施例中，所述目标多边形包括多个第一角点；基于前述方案，所述第一修正模块包括：边长计算单元，用于将各所述第一角点按照预设规则进行排序，并根据相邻的所述第一角点的位置信息计算所述目标多边形的各边长度；修正单元，用于根据所述各边长度确定修正长度，并根据所述修正长度对所述目标多边形进行修正，以获取与所述标签对应的修正多边形；变换单元，用于根据所述修正多边形中第二角点的位置信息和所述第一角点的位置信息对所述目标闭合轮廓中的图像进行变换，以获取所述目标图像。

在本公开的一些实施例中，所述目标多边形包括横向的第一边和第三边及纵向的第二边和第四边；基于前述方案，所述修正单元配置为：将所述第一边的长度和所述第三边的长度中最大的长度作为修正轮廓长度，将所述第二边的长度和所述第四边的长度中最大的长度作为修正轮廓高度；根据所述修正轮廓长度和所述修正轮廓高度对所述目标多边形进行修正，以获取所述修正多边形。

在本公开的一些实施例中，基于前述方案，所述变换单元配置为：根据所述修正多边形中第二角点的位置信息和所述第一角点的位置信息确定变换矩阵；将所述目标闭合轮廓中的图像所对应的像素矩阵与所述变换矩阵相乘，以获取所述目标图像。

在本公开的一些实施例中，基于前述方案，所述第一识别模块包括：第一识别单元，用于采用文本识别模型对所述病理编号区域中的病理编号进行识别，以获取所述病理编号。

在本公开的一些实施例中，所述文本识别模型包括卷积神经网络子模型和与所述卷积神经网络子模型连接的循环神经网络子模型；基于前述方案，所述第一识别单元配置为：通过所述卷积神经网络子模型对所述病理编号区域进行特征提取，以获取与所述病理编号区域中的病理编号对应的特征向量序列；通过所述循环神经网络子模型对所述特征向量序列进行特征提取，以获得所述病理编号。

在本公开的一些实施例中，基于前述方案，所述病理编号识别装置还包括：二值化处理模块，用于将所述病理编号区域中的所有像素进行二值化处理；形态学处理模块，用于对二值化处理后的所述病理编号区域进行腐蚀和膨胀处理，以去除所述病理编号区域中的噪点。

在本公开的一些实施例中，基于前述方案，所述病理编号识别装置还包括：纠错模块，用于根据匹配规则纠正所述病理编号中的错误字符。

根据本公开实施例的一个方面，提供了一种信息识别方法，包括：获取包含目标对象的原始图像，其中所述目标对象包括文本信息；对所述原始图像中的所有对象进行边缘检测，根据检测结果确定与所述目标对象对应的轮廓；根据所述轮廓的位置信息对所述目标对象进行修正，以获取与所述目标对象对应的目标图像；提取所述目标图像中的待识别文本区域，并对所述待识别文本区域中的文本进行识别，以获取所述文本信息。

在本公开的一些实施例中，基于前述方案，所述根据检测结果确定与所述目标对象对应的轮廓信息，包括：获取所述原始图像中所有的闭合轮廓，并计算所述闭合轮廓的面积；根据所述面积由大到小对所述闭合轮廓进行多边形拟合，以确定与所述闭合轮廓对应的多边形；在所述闭合轮廓中存在具有目标多边形的目标闭合轮廓时，将所述目标闭合轮廓作为所述目标对象对应的轮廓。

在本公开的一些实施例中，基于前述方案，所述目标多边形包括多个第一角点；所述根据所述轮廓的位置信息对所述目标对象进行修正，以获取与所述目标对象对应的目标图像，包括：将各所述第一角点按照预设规则进行排序，并根据相邻的所述第一角点的位置信息计算所述目标多边形的各边长度；根据所述各边长度确定修正长度，并根据所述修正长度对所述目标多边形进行修正，以获取与所述目标对象对应的修正多边形；根据所述修正多边形中第二角点的位置信息和所述第一角点的位置信息对所述目标闭合轮廓中的图像进行变换，以获取所述目标图像。

在本公开的一些实施例中，基于前述方案，所述目标多边形包括横向的第一边和第三边及纵向的第二边和第四边；所述根据所述各边长度确定修正长度，并根据所述修正长度对所述目标多边形进行修正，以获取与所述目标对象对应的修正多边形，包括：将所述第一边的长度和所述第三边的长度中最大的长度作为修正轮廓长度，将所述第二边的长度和所述第四边的长度中最大的长度作为修正轮廓高度；根据所述修正轮廓长度和所述修正轮廓高度对所述目标多边形进行修正，以获取所述修正多边形。

在本公开的一些实施例中，基于前述方案，所述根据所述修正多边形中第二角点的位置信息和所述第一角点的位置信息对所述目标闭合轮廓中的图像进行变换，以获取所述目标图像，包括：根据所述修正多边形中第二角点的位置信息和所述第一角点的位置信息确定变换矩阵；将所述目标闭合轮廓中的图像所对应的像素矩阵与所述变换矩阵相乘，以获取所述目标图像。

在本公开的一些实施例中，基于前述方案，所述对所述待识别文本区域中的文本进行识别，以获取所述文本信息，包括：采用文本识别模型对所述待识别文本区域中的文本进行识别，以获取所述文本信息。

在本公开的一些实施例中，基于前述方案，所述文本识别模型包括卷积神经网络子模型和与所述卷积神经网络子模型连接的循环神经网络子模型；所述采用文本识别模型对所述待识别文本区域中的文本进行识别，以获取所述文本信息，包括：通过所述卷积神经网络子模型对所述待识别文本区域进行特征提取，以获取与所述待识别文本区域中的文本对应的特征向量序列；通过所述循环神经网络子模型对所述特征向量序列进行特征提取，以获得所述文本信息。

在本公开的一些实施例中，基于前述方案，所述方法还包括：根据匹配规则纠正所述文本信息中的错误字符。

根据本公开实施例的一个方面，提供了一种信息识别装置，包括：第二获取模块，用于获取包含目标对象的原始图像，其中所述目标对象包括文本信息；第二检测模块，用于对所述原始图像中的所有对象进行边缘检测，根据检测结果确定与所述目标对象对应的轮廓；第二修正模块，用于根据所述轮廓的位置信息对所述目标对象进行修正，以获取与所述目标对象对应的目标图像；第二识别模块，用于提取所述目标图像中的待识别文本区域，并对所述待识别文本区域中的文本进行识别，以获取所述文本信息。

在本公开的一些实施例中，基于前述方案，所述第二检测模块配置为：根据预设转换规则将所述原始图像转换为灰度图像；对所述灰度图像进行第一平滑处理，以获取第一图像；对所述第一图像进行第二平滑处理，并计算平滑处理后的所述第一图像中各像素的梯度强度和方向；基于各所述像素的梯度强度和方向确定真实边缘像素，并根据所述真实边缘像素确定与所述对象对应的轮廓。

在本公开的一些实施例中，基于前述方案，所述第二检测模块包括：面积计算单元，用于获取所述原始图像中所有的闭合轮廓，并计算所述闭合轮廓的面积；多边形拟合单元，用于根据所述面积由大到小对所述闭合轮廓进行多边形拟合，以确定与所述闭合轮廓对应的多边形；匹配单元，用于在所述闭合轮廓中存在具有目标多边形的目标闭合轮廓时，将所述目标闭合轮廓作为所述目标对象对应的轮廓。

在本公开的一些实施例中，所述目标多边形包括多个第一角点；基于前述方案，所述第二修正模块包括：边长计算单元，用于将各所述第一角点按照预设规则进行排序，并根据相邻的所述第一角点的位置信息计算所述目标多边形的各边长度；修正单元，用于根据所述各边长度确定修正长度，并根据所述修正长度对所述目标多边形进行修正，以获取与所述目标对象对应的修正多边形；变换单元，用于根据所述修正多边形中第二角点的位置信息和所述第一角点的位置信息对所述目标闭合轮廓中的图像进行变换，以获取所述目标图像。

在本公开的一些实施例中，所述目标多边形包括横向的第一边和第三边及纵向的第二边和第四边；基于前述方案，所述修正单元配置为：将所述第一边的长度和所述第三边的长度中最大的长度作为修正轮廓长度，将所述第二边的长度和所述第四边的长度中最大的长度作为修正轮廓高度；根据所述修正轮廓长度和所述修正轮廓高度对所述目标多边形进行修正，以获取所述修正多边形。

在本公开的一些实施例中，基于前述方案，所述变换单元配置为：根据所述修正多边形中第二角点的位置信息和所述第一角点的位置信息确定变换矩阵；将所述目标闭合轮廓中的图像所对应的像素矩阵与所述变换矩阵相乘，以获取所述目标图像。

在本公开的一些实施例中，基于前述方案，所述第二识别模块包括：第一识别单元，用于采用文本识别模型对所述待识别文本区域中的文本进行识别，以获取所述文本信息。

在本公开的一些实施例中，所述文本识别模型包括卷积神经网络子模型和与所述卷积神经网络子模型连接的循环神经网络子模型；基于前述方案，所述第一识别单元配置为：通过所述卷积神经网络子模型对所述待识别文本区域进行特征提取，以获取与所述待识别文本区域中的文本对应的特征向量序列；通过所述循环神经网络子模型对所述特征向量序列进行特征提取，以获得所述文本信息。

在本公开的一些实施例中，基于前述方案，所述信息识别装置还包括：二值化处理模块，用于将所述待识别文本区域中的所有像素进行二值化处理；形态学处理模块，用于对二值化处理后的所述待识别文本区域进行腐蚀和膨胀处理，以去除所述待识别文本区域中的噪点。

在本公开的一些实施例中，基于前述方案，所述信息识别装置还包括：纠错模块，用于根据匹配规则纠正所述文本信息中的错误字符。

根据本公开实施例的一个方面，提供了一种信息识别系统，包括：图像采集装置，用于采集图像信号以生成包含目标对象的原始图像，其中所述目标对象包括文本信息；信息识别装置，与所述图像采集装置连接，用于接收所述原始图像，并且所述信息识别装置包括一个或多个处理器及存储装置，其中，所述存储装置用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器对所述原始图像执行如上述实施例中所述的信息识别方法或病理编号识别方法；显示装置，与所述信息识别装置连接，用于接收所述信息识别装置输出的信息识别结果，并将所述信息识别结果显示于所述显示装置的显示屏幕上。

在本公开的一些实施例中，基于前述方案，所述图像采集装置为拍照显微镜，所述拍照显微镜包括：显微镜，用于观察放置于所述显微镜的载物台上的病理玻片，所述病理玻片包含含有病理编号的标签；微型摄像器，所述微型摄像器包括支架和摄像头，所述摄像头通过所述支架固定于所述载物台的侧边、所述显微镜目镜的侧边或所述显微镜所在的支撑面上，并且所述摄像头垂直朝向所述载物台，用于拍摄所述病理玻片中包含所述标签的区域以生成病理玻片图像。

在本公开的一些实施例所提供的技术方案中，首先通过对病理玻片图像中的所有对象进行边缘检测以获取标签对应的轮廓；接着根据轮廓的位置信息对标签进行修正以获取与标签对应的目标图像；然后提取目标图像中的病理编号区域，并对其中的病理编号进行识别以获取对应的病理编号。本公开的技术方案能够避免人工识别病理编号并手动输入信息，提高了病理编号识别的效率和精准度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的技术方案的示例性系统架构的示意图；

图2示意性示出了根据本公开的一个实施例的病理编号识别方法的流程示意图；

图3A-3C示意性示出了根据本公开的一个实施例的拍照显微镜的结构示意图；

图4示意性示出了根据本公开的一个实施例的对病理玻片图像中的对象进行边缘检测的流程示意图；

图5示意性示出了根据本公开的一个实施例的对标签进行修正的流程示意图；

图6示意性示出了根据本公开的一个实施例的文本识别模型的结构示意图；

图7示意性示出了根据本公开的一个实施例的病理编号区域预处理的流程示意图；

图8示意性示出了根据本公开的一个实施例的H&E染色玻片中病理编号识别的流程示意图；

图9示意性示出了根据本公开的一个实施例的信息识别方法的流程示意图；

图10示意性示出了根据本公开的一个实施例的病理编号识别装置的框图；

图11示意性示出了根据本公开的一个实施例的信息识别装置的框图；

图12示意性示出了根据本公开的一个实施例的信息识别系统的框图；

图13示出了适于用来实现本公开实施例的信息识别装置的计算机系统的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。

图1示出了可以应用本公开实施例的技术方案的示例性系统架构的示意图。

如图1所示，系统架构100可以包括终端设备101、网络102和服务器103。网络102用以在终端设备101和服务器103之间提供通信链路的介质。网络102可以包括各种连接类型，例如有线通信链路、无线通信链路等等。

应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实际需要，可以具有任意数目的终端设备、网络和服务器。比如服务器103可以是多个服务器组成的服务器集群等。终端设备101可以是诸如摄像机、照相机、智能手机等带有成像单元的拍摄装置，通过终端设备101可以获取包含目标对象的原始图像。

在本公开的一个实施例中，终端设备101获取包含标签的病理玻片图像后，可以通过网络102向服务器103发送该病理玻片图像，当服务器103获取病理玻片图像后，可以对病理玻片图像中的所有对象进行边缘检测，通过对边缘检测形成的闭合轮廓进行多边形拟合以获取与包含病理编号的标签对应的轮廓；接着根据轮廓中的角点信息可以对标签进行修正，以获取与标签对应的目标图像；最后从目标图像中提取病理编号区域，并对其中的病理编号进行识别，以获取病理编号。在获取病理编号后，可以通过相应的接口将病理编号发送至相关数据系统中进行存储，进一步地，还可以根据病理编号在数据系统中进行匹配，获取其它相关信息。本公开实施例的技术方案能够避免人工提取病理玻片图像中的病理编号，并手动输入病理编号，提高了病理编号识别的效率和精准度，进一步减少了人工成本。

需要说明的是，本公开实施例所提供的病理编号识别方法、信息识别方法一般由服务器执行，相应地，病理编号识别装置、信息识别装置一般设置于服务器中。但是，在本公开的其它实施例中，也可以由终端设备执行本公开实施例所提供的病理编号识别方法、信息识别方法。

在本领域的相关技术中，病理科医生每天需要筛查数百张病理玻片，并对每一张病理玻片做出准确的病理诊断，工作量极大。在使用显微镜看片的时候，医生在镜下观察病理活检玻片，得出病理诊断，记录病理报告。医生如遇疑难案例，则需在院内系统查阅患者临床资料，包括血常规、肿瘤标志物检测和基因检测记录等，综合多方面信息进行判断。在此过程中，医生查阅患者临床资料，均需在不同介质上手动输入当前病理玻片的病理编号，这不仅降低医生的看片效率，还有可能导致医生在切换不同任务中分散注意力，影响诊断准确度。目前对病理编号的识别都是采用人工输入编号，具体步骤如下：

(1)病理医生将患者活检病理片子放于显微镜下，通过移动显微镜视野、转换倍镜，观察玻片不同位置；

(2)如遇疑难案例，医生需在院内系统输入病理号，查询该患者的临床信息、血常规和其它诊断信息，并结合AI算法辅诊信息，综合判断患者的疾病类型，在纸质病历上写出病理诊断；

(3)医生反馈AI算法预测结果和记录使用信息，需要手动输入当前玻片的病理号,或者通过条形码读码器，扫码输入病理号；

(4)文员根据病理医生的看片记录，在院内系统手动输入病理号，并生成对应患者的病理报告。

相应地，相关技术存在以下缺点：

(1)加大了病理医生的工作量，医生需要手动逐字输入病理号或扫码获取病理号，造成了时间精力的浪费。实际操作中，医生往往不愿耽误正常诊断时间，因而放弃输入病理号，这就造成对于AI算法具有重要意义的错误案例得不到有效的记录，进而无法追踪到对应的玻片进一步采集电子全扫描图片进行细致优化，从而影响模型对重要错误案例的迭代更新。

(2)医生手动扫码并不能有效降低医生工作量，另外有的病理玻片未印有条形码，或者即使印有条形码，但其内含的信息与实际病理号并无一一对应关系，这就造成了扫码无法记录有效病理号相关信息的问题。

(3)患者的临床信息，如病历、主诉、血常规、肿瘤标志物和影像报告等，对于AI预测算法和分类算法具有重要的指导作用。而目前仅仅靠显微镜，只能获得医生当前视野下病理图片的信息，无法结合院内系统中的关键信息辅助AI算法。

(4)医生在病历上手写的报告，需由文员进行人眼识别病理号，再在院内系统手工录入对应的病理报告。

鉴于相关技术中存在的问题，本公开实施例提供了一种病理编号识别方法和信息识别方法，该病理编号识别方法及信息识别方法是基于机器学习实现的，机器学习属于人工智能的一种，人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本公开实施例提供的方案涉及人工智能的图像识别技术，具体通过如下实施例进行说明：

本公开实施例首先提供了一种病理编号识别方法，该病理编号识别方法可以由服务器来执行，该服务器可以是图1中所示的服务器103。图2示出了病理编号识别方法的流程示意图，如图2所示，病理编号识别方法至少包括步骤S210-S240，具体地：

在步骤S210中，获取包含标签的病理玻片图像，其中标签包括病理编号。

在本公开的一个实施例中，可以通过终端设备101对病理玻片进行拍摄，以获取包含标签的病理玻片图像，其中该终端设备101具体可以是安装有微型摄像器的拍照显微镜，图3A-3C示出了拍照显微镜的结构示意图，如图3A所示，在显微镜301的载物台的侧边安装有微型摄像器302(如虚线框所示)，该微型摄像器包括支架和摄像头，该支架可以是3D打印的支架，也可以是一体成型的支架，当然也可以是通过其它方式形成的支架，本公开实施例对此不做具体限定，摄像头可以通过支架固定于载物台的任意一侧，例如可以是在左侧，如图3B所示，这样可以避免影响医生对显微镜倍镜的调整和对载物台病理玻片的移动；另外摄像头的最优焦距在3～10cm，保证可以清晰地拍摄载物台上的病理玻片中的病理编号，可拍摄范围覆盖病理玻片在载物台上移动时白色文本区域可到达的所有位置，如图3C所示，在病理玻片的左侧粘贴有病理编号标签，该标签包含病理编号S181XXX、条形码和其它标识信息，摄像头拍摄得到的病理玻片图像至少包含标签图像。在本公开的实施例中，微型摄像器可以通过USB线接入台式机的主机，由主机中运行的代码控制，每隔一定时间段采集一次图片进行分析，例如可以设定为间隔2s采集一次图像。值得注意的是，微型摄像器302也可以设置在载物台以外的位置，例如固定于显微镜的目镜的侧边，或独立放置于显微镜301所在的支撑面上，只要保证微型摄像器302的摄像头垂直朝向载物台，可以拍摄到病理玻片上的标签即可，另外摄像头可以是任意的可摄录影像装置，本公开实施例对此不做具体限定。

在本公开的一个实施例中，病理玻片图像还可以是通过扫描设备对病理玻片进行扫描获取的图像，可以是通过其它带有摄像单元的终端设备101对病理玻片进行拍摄获取的图像，也可以是预先存储的图像，本公开实施例对病理玻片图像的获取方式不做具体限定。

在本公开的一个实施例中，病理玻片可以是H&E染色玻片等免疫组化病理玻片，也可以是其它贴有ID信息的待观察玻片，本公开实施例对玻片的具体类型不做具体限定。

在步骤S220中，对病理玻片图像中的所有对象进行边缘检测，根据检测结果确定与标签对应的轮廓。

在本公开的一个实施例中，病理玻片图像中除了包含标签外，还可能包含组织样本图像，因此在进行边缘检测时，可以对病理玻片图像中的所有对象进行检测，再根据检测结果确定与标签对应的轮廓。

在本公开的一个实施例中，图4示出了对病理玻片图像中的所有对象进行边缘检测的流程示意图，如图4所示，边缘检测的流程至少包括步骤S401-S404，具体为：

在步骤S401中，根据预设转换规则将病理玻片图像转换为灰度图像。

在本公开的一个实施例中，原始的病理玻片图像通常为彩色图像，每个像素中包含多个通道的像素值，为了减少数据量并提高边缘检测的准确率，在进行边缘检测之前可以根据预设转换规则对病理玻片图像的格式进行转换，将病理玻片图像转换为灰度图像，该预设转换规则具体地可以是浮点算法、整数算法、平均值算法等等，本公开实施例中的预设转换规则包括但不限于上述算法。

在步骤S402中，对灰度图像进行第一平滑处理，以获取第一平滑图像。

在本公开的一个实施例中，获取灰度图像后，可以对该灰度图像进行第一平滑处理，以去除灰度图像中的噪声，获取与灰度图像对应的第一平滑图像。在对灰度图像进行第一平滑处理时，可以根据正态分布、预设的模糊半径及正态分布参数确定第一权重矩阵，然后根据该第一权重矩阵对灰度图像中的每一个像素进行处理，以获取平滑后的像素值，进而能够获取第一平滑图像。

在步骤S403中，对第一平滑图像进行第二平滑处理，并计算平滑处理后的第一平滑图像中各像素的梯度强度和方向。

在本公开的一个实施例中，在获取第一平滑图像后，可以对第一平滑图像中的所有对象进行边缘检测，具体地，可以先对第一平滑图像进行第二平滑处理，以去除第一平滑图像中的噪声，该第二平滑处理与第一平滑处理的方法相同，所采用的参数可以相同也可以不同，本公开实施例对此不做具体限定；第二平滑处理后可以根据梯度算子计算图像中各像素的梯度强度和方向，并基于各像素的梯度强度和方向进行边缘检测。

在步骤S404中，基于各像素的梯度强度和方向确定真实边缘像素，并根据真实边缘像素确定与对象对应的轮廓。

在本公开的一个实施例中，在确定梯度边缘后，可以采用非最大值抑制对梯度边缘进行细化处理，通过细化处理能够包括梯度变化中最锐利的位置；接着可以通过一个高阀值和一个低阀值对细化处理后的图像进行过滤，通过滤除噪声引起的小的梯度值，以保留大的梯度值，该保留的大梯度值对应的像素即为真实边缘像素，根据真实边缘像素即可确定与病理玻片图像中的对象对应的轮廓。

从图3C可知，标签具有规则的轮廓，如矩形或正方形，而组织样本具有不规则的轮廓，因此在获得所有边缘信息后，可以根据边缘信息所组成的闭合轮廓的形状确定标签对应的轮廓。

在本公开的一个实施例中，由于根据真实边缘像素确定的轮廓通常为由曲线组成的不规则形状，因此为了准确获取标签对应的闭合轮廓，可以对每个闭合轮廓进行多边形拟合，并根据拟合得到的多边形确定与标签对应的目标闭合轮廓。具体地，可以计算每个闭合轮廓的面积，再根据面积由大到小对各个闭合轮廓进行多边形拟合，直至获取与标签的形状、大小相似或相同的多边形，那么该多边形对应的轮廓即为标签对应的目标闭合轮廓。例如病理玻片上的标签为矩形的标签，为了获取其中的病理编号，可以在对病理玻片图像进行边缘检测后，通过多边形拟合判断是否存在矩形的边缘，如果存在则说明该边缘为标签的边缘。

在步骤S230中，根据轮廓的位置信息对标签进行修正，以获取与标签对应的目标图像。

在本公开的一个实施例中，病理玻片中的标签具有规则的轮廓，但是根据边缘检测结果形成的轮廓与实际轮廓之间通常会有些许偏差，例如实际轮廓是矩形，但是检测得到的轮廓中上底和下底不平行、侧边和底边不垂直，等等，因此需要根据边缘检测获得的标签所对应的轮廓位置信息对标签进行修正以获取与标签对应的目标图像，该修正包括对轮廓的修正和对轮廓中图像的修正，图5示出了对标签进行修正的流程示意图，如图5所示，对标签进行修正的流程至少包括步骤S501-S503，具体地：

在步骤S501中，将各个第一角点按照预设规则进行排序，并根据相邻的第一角点的位置信息计算目标多边形的各边长度。

在本公开的一个实施例中，为了便于观察和计算，可以对多个第一角点按照预设规则进行排序，例如可以按照顺时针方向、逆时针方向对多个第一角点进行编号。举例而言，当目标多边形为四边形时，存在四个第一角点，那么可以将左上角的第一角点编号为一号角点，沿顺时针方向将右上角、右下角和左下角的第一角点编号为二号角点、三号角点和四号角点。在确定了多个第一角点的排序后，可以根据相邻两个第一角点的位置信息计算目标多边形各边的长度，继续以目标多边形为四边形为例，根据一号角度和二号角点的位置信息可以确定四边形上底的长度，根据二号角点和三号角点的位置信息可以确定四边形右侧边的长度，根据三号角点和四号角点的位置信息可以确定四边形下底的长度，同时根据四号角点和一号角点的位置信息可以确定四边形左侧边的长度。

在步骤S502中，根据各边长度确定修正长度，并根据修正长度对目标多边形进行修正，以获取与标签对应的修正多边形。

在本公开的一个实施例中，通常包含文本信息的标签都具有规则的形状，例如都是矩形、正方形或平行四边形等等，相应地，标签对应的目标多边形包括横向的第一边和第三边(即步骤S501中的上底和下底)及纵向的第二边和第四边(即步骤S501中的右侧边和左侧边)，在确定修正长度是，可以将第一边的长度和第三边的长度中最大的长度作为修正轮廓长度，将第二边的长度和第四边的长度中最大的长度作为修正轮廓高度，进而根据修正轮廓长度和修正轮廓高度对目标多边形进行修正，以获取修正多边形，该修正多边形相比于目标多边形更规则，更便于提取其中的文本信息。

在步骤S503中，根据修正多边形中第二角点的位置信息和第一角点的位置信息对目标闭合轮廓中的图像进行变换，以获取目标图像。

在本公开的一个实施例中，在获取修正多边形后，可以根据修正多边形对目标闭合轮廓中的图像进行修正，具体地可以根据修正多边形中的第二角点的位置信息和第一角点的位置信息确定一变换矩阵，由于修正多边形是基于目标多边形中第一角点的位置信息进行的修正，主要的变化是角点的位置，因此可以根据修正前的角点位置和修正后的角点位置确定变换矩阵，并根据变换矩阵对目标闭合轮廓中的图像进行修正，以获得与标签对应的目标图像。根据变换矩阵对目标闭合轮廓中的图像进行修正，具体地可以将目标闭合轮廓中的图像所对应的像素矩阵与该变换矩阵相乘，以获取变换后的像素矩阵，该变换后的像素矩阵和修正多边形即组成与目标对象对应的目标图像。

在步骤S240中，提取目标图像中的病理编号区域，并对病理编号区域中的病理编号进行识别，以获取病理编号。

在本公开的一个实施例中，在得到修正后的目标图像后，可以对其中的病理编号区域进行检测和识别，以获取病理编号。由于标签的版面布局是已知的，并且版式较为简单，因此可以采用版面分析的方式检测得到病理编号区域，一方面能够提高存储空间的利用率、提高检测效率和识别精准度，另一方面能够近乎实时的进行文本检测，提高了用户体验。

在本公开的一个实施例中，不同医院具有不同的病理编号布局，如果对同一家医院的病理玻片进行文本检测，则可以根据该医院的病理玻片中的标签样本制作模板，例如标签中哪些位置坐标对应的对象为病理编号，哪些位置坐标对应的对象为条形码等等，在确定模板后，就可以根据该模型直接获取目标图像中的病理编号区域。如果病理编号识别是针对多个不同医院中的病理玻片进行识别，则可以根据多个不同医院的玻片标签的版面总结得出模板，例如每家医院的玻片标签中都有条形码，部分医院的病理编号位于条形码上方，部分医院的病理编号位于条形码下方，那么可以在文本检测时，首先检测目标图像中的条形码，然后在提取条形码上方或下方包含病理编号的区域即可。

在本公开的一个实施例中，获取病理编号区域后，可以对病理编号区域中的病理编号进行识别，以获取病理编号。在提取到病理编号区域后，还可以根据实际需要对病理编号区域进行倾斜纠正、移除阴影、多行分割、文字书写方向判断和水平投影等辅助操作，以去除病理编号区域中的噪声。

在本公开的一个实施例中，获取病理编号区域后，可以将病理编号区域输入至文本识别模型，通过文本识别模型对病理编号区域中的病理编号进行识别，以获取病理编号。在本公开的实施例中，文本识别模型包括卷积神经网络子模型和与卷积神经网络子模型连接的循环神经网络子模型，首先将病理编号区域输入至卷积神经网络子模型，通过卷积神经网络子模型对病理编号区域中的各个字符进行特征提取，以获得与病理编号区域中的病理编号对应的特征向量序列；接着将该特征向量序列输入至循环神经网络子模型，通过该循环神经网络子模型基于上下文对病理编号区域中的病理编号进行预测，以输出病理编号。通过该文本识别模型提取病理编号能够提高病理编号的精准度。

在本公开的一个实施例中，卷积神经网络子模型包括多个卷积层、位于卷积层之间的池化层和批量归一化层，循环神经网络包括多层双向循环神经网络，进一步地还可以包括翻译层。

图6示出了一种文本识别模型的结构示意图，如图6所示，文本识别模型600包括卷积神经网络子模型600-a和循环神经网络子模型600-b，其中卷积神经网络子模型600-a包括卷积层601、池化层602、卷积层603、池化层604、卷积层605、卷积层606、池化层607、卷积层608、批量归一化层609、卷积层610、批量归一化层611、池化层612和卷积层613；循环神经网络子模型600-b包括BiLSTM层614、615和616。

值得说明的是，图6所示的文本识别模型中的卷积层、池化层、批量归一化层及BiLSTM层的数量可以根据实际需要变化，本公开实施例对此不做具体限定；另外还可以仅采用BiLSTM或者其它循环神经网络模型对病理编号区域进行文字识别。由于循环神经网络具有很强的捕获序列内上下文信息的能力，因此采用文本识别模型可以对文本进行整行识别，并且具有较高的准确度。

在本公开的一个实施例中，也可以在采用文本识别模型对病理编号区域进行识别之前，对病理编号区域进行预处理，以使病理编号的轮廓更光滑、各个字符相对独立、且不存在毛刺，图7示出了病理编号区域预处理的流程示意图，如图7所示，病理编号区域预处理的流程至少包括步骤S701-S702，具体地：

在步骤S701中，将病理编号区域中的所有像素进行二值化处理。

在本公开的一个实施例中，可以将字符对应的像素用1表示，将背景对应的像素用0表示，当然也可以用1表示字符对应的像素，用0表示背景对应的像素。

在步骤S702中，对二值化处理后的病理编号区域进行腐蚀和膨胀处理，以去除病理编号区域中的噪点。

在本公开的一个实施例中，通过对二值化处理后的病理编号区域进行先腐蚀后膨胀的形态学处理，能够使病理编号的轮廓变得光滑，还能使狭窄的连接断开和消除细毛刺，突出病理编号，进一步提高文本识别模型的识别精度。

在本公开的一个实施例中，在对病理编号预处理之后，可以将处理后的病理编号输入至文本识别模型进行特征提取，以获取病理编号。由于文本识别模型可能将相近的字符作为最终结果输出，导致获得的病理编号存在错误，例如当前医院所有病理编号的首字母均为“S”，但是因为印刷的问题，可能被错误的识别为“s”或者“5”，因此在获取病理编号后需要对其进行检查纠错，具体地，可以通过规则匹配、字典匹配或语言模型进行纠错，以输出正确的病理编号。例如预先存储了规则“所有信息的起始字母都是O”，那么在文本识别模型输出的病理编号为“0”或“o”的情况下，可以根据该规则，将“0”或“o”更正为“O”；或是在字典中存储有名词“贴片”，但是文本识别模型输出的文本信息为“贴卡”，那么进行字典匹配后就可以确定“卡”字是错误的，进而可以将“贴卡”更正为“贴片”；另外在对语言模型进行训练时，可以根据大量的样本集对其进行训练，该样本集中包括正确的字符及对应的错误字符，完成训练后，该语言模型接收到文本识别模型输出的病理编号后可以对其进行分析，判断是否存在错误字符，如果存在则用正确字符进行替换，以完成后处理纠错。当然还存在其它的后处理纠错方法，本公开实施例在此不再赘述。

进一步地，还可以通过解码API对检测得到的条形码进行解码，以获取条形码信息。另外，为了根据病理编号获取该病理编号对应的其它诊断信息，可以在log日志平台记录病理编号和读片时间等信息，为AI辅助诊断获取实时病理编号关联院内信息和及时记录医生反馈追踪案例奠定了技术基础，大大节省了医生的时间和精力，为AI辅助诊断的广泛应用提供了便利条件。

以H&E染色玻片中的病理编号的识别为例，图8示出了H&E染色玻片中病理编号识别的流程示意图，如图8所示，在步骤S801中，拍摄包含病理编号的标签图像；通过集成于显微镜或独立于显微镜的微型摄像器对H&E染色玻片中的包含病理编号的标签进行拍照，以获取包含病理编号的标签图像；在步骤S802中，对标签图像中的对象进行边缘检测；通过将标签图像转换为灰度图像，并进行平滑处理和边缘检测，以获取标签图像中所有对象的边缘轮廓；在步骤S803中，标签轮廓提取；根据所有边缘轮廓中的闭合轮廓进行多边形拟合，判断是否存在与标签对应的闭合轮廓，如果有，则将该闭合轮廓确定为标签所在的区域；在步骤S804中，对标签轮廓进行修正；由于标签的轮廓不一定是规则的，所以可以根据轮廓初始角点进行仿射变换，构造新的角点，并根据初始角点和新的角点的关系对标签中的图像进行修正，以获取目标图像；在步骤S805中，对目标图像进行版面分析，以获取病理编号区域；在步骤S806中，对病理编号区域进行二值化处理和形态学处理；通过二值化处理和形态学处理能够突出病理编号；在步骤S807中，通过文本识别模型对病理编号区域中的病理编号进行识别；在步骤S808中，对识别结果进行后处理纠错；通过后处理纠错能够提高病理编号的识别精准度。

本公开实施例还提出了一种信息识别方法，该信息识别方法可以应用于金融领域、服务领域等等，以下对本公开实施例的技术方案的实现细节进行详细阐述：

图9示意性示出了根据本公开的一个实施例的信息识别方法的流程图，该信息识别方法可以由服务器来执行，该服务器可以是图1中所示的服务器103。参照图9所示，该信息识别方法至少包括步骤S910至步骤S940，详细介绍如下：

在步骤S910中，获取包含目标对象的原始图像，其中目标对象包括文本信息。

在本公开的一个实施例中，通过终端设备101可以获取原始图像，该原始图像可以是通过终端设备101对包含目标对象的物体进行拍摄，并通过其中的成像单元根据捕捉到的图像信号成像形成的；也可以是通过终端设备101从网络上下载得到的包含目标对象的图像；当然也可以是终端设备101本地保存的包含目标对象的图像，等等，其中该目标对象包括文本信息，并且文本信息包括数字、字母、汉字、符号等元素中的一个或多个，本公开实施例对此不作具体限定。在获取终端设备101发送的原始图像后，可以将该原始图像输入至图像检测模型，以对原始图像中的对象进行边缘检测，进而获取目标对象对应的轮廓。该原始图像可以是任意的图像，例如可以是宣传海报图像，其中的宣传语所在的区域就是目标对象，通过对目标对象进行检测，并从目标对象中提取文本区域，进而对文本区域中的文本进行识别以获取与宣传语对应的文本信息；当然该原始图像还可以是其它类型的图像，例如包装盒图像等等。

在步骤S920中，对原始图像中的所有对象进行边缘检测，根据检测结果确定与目标对象对应的轮廓。

在本公开的一个实施例中，在接收到原始图像后，可以对原始图像中的所有对象进行边缘检测，并根据检测结果确定与目标对象对应的轮廓，通过提取目标对象对应的轮廓并进行文字识别，能够减少数据处理量并避免目标对象外的对象的干扰，提高文字识别的效率和精准度。对原始图像中的所有对象进行边缘检测的流程与图4所示的对病理玻片图像中的所有对象进行边缘检测的流程类似，首先根据预设转换规则将原始图像转换为灰度图像；接着对灰度图像进行第一平滑处理，以获取第一图像；然后对第一图像进行第二平滑处理，并计算平滑处理后的第一图像中各像素的梯度强度和方向；最后基于各像素的梯度强度和方向确定真实边缘像素，并根据真实边缘像素确定与对象对应的轮廓。其中各步骤具体地实施细节与图4所示的细节类似，本公开实施例在此不再赘述。

在本公开的一个实施例中，确定原始图像中的对象对应的轮廓后，可以从中确定与目标对象对应的轮廓，并根据与目标对象对应的轮廓确定与目标对象对应的目标图像。通常包含文本信息的对象具有闭合轮廓，而根据真实边缘像素确定的轮廓通常为由曲线组成的不规则形状，因此为了准确获取目标对象对应的闭合轮廓，可以对每个闭合轮廓进行多边形拟合，并根据拟合得到的多边形确定与目标对象对应的目标闭合轮廓。确定目标对象对应的目标闭合轮廓的方法与确定标签对应的目标闭合轮廓的方法相同，本公开实施例在此不再赘述。

在步骤S930中，根据轮廓的位置信息对目标对象进行修正，以获取与目标对象对应的目标图像。

在本公开的一个实施例中，由于根据曲线轮廓拟合出来的多边形不一定是规则的多边形，因此需要根据与目标闭合轮廓对应的目标多边形中的多个第一角点对目标对象进行修正，将其轮廓转换为具有规则形状的轮廓。对目标对象进行修正的流程与图5所示的修正流程相同，本公开实施例在此不再赘述。

在步骤S940中，提取目标图像中的待识别文本区域，并对待识别文本区域中的文本进行识别，以获取文本信息。

在本公开的一个实施例中，在确定目标图像后，可以通过文字检测的方法从该目标图像中提取待识别文本区域，具体地，可以采用自然场景文本检测深度学习模型对目标图像进行检测，以获取待识别文本区域，其中自然场景文本检测深度学习模型可以是CTPN、EAST、PixelLink等模型，通过自然场景文本检测深度学习模型对目标图像进行识别，捕获目标图像中所有的潜在文本行所在区域，并将每行文本区域从目标图像中剪裁出来，以形成待识别文本区域。在提取到待识别文本区域后，还可以根据实际需要对待识别文本区域进行倾斜纠正、移除阴影、多行分割、文字书写方向判断和水平投影等辅助操作，以去除待识别文本区域中的噪声。

在本公开的一个实施例中，获取待识别文本区域后，可以将待识别文本区域输入至文本识别模型，通过文本识别模型对待识别文本区域中的文字进行识别，以获取文本信息。在本公开的实施例中，文本识别模型的结构与图6所示的文本识别模型的结构相同，可以将待识别文本区域输入至卷积神经网络子模型600-a，通过卷积神经网络子模型600-a对待识别文本区域中的各个字符进行特征提取，以获得与待识别文本区域中的文本信息对应的特征向量序列；接着将该特征向量序列输入至循环神经网络子模型600-b，通过该循环神经网络子模型600-b基于上下文对待识别文本区域中的文本信息进行预测，以输出相应地文本信息。通过该文本识别模型提取文本信息能够提高文本信息的精准度。

在本公开的一个实施例中，在对目标图像中的文本区域进行检测时，还可以采用版面分析的方法进行检测，该检测方法适用于具有相对固定的版面布局的图像，根据版面布局模板可以方便快捷的获取目标图像中的待识别文本区域。

进一步地，为了提高文本识别模型的识别精准度，可以在对待识别文本区域进行文字识别之前，对待识别文本区域进行预处理。该预处理的方法与图7所示的预处理方法类似，本公开实施例在此不再赘述。

在本公开的一个实施例中，还可以先获取电子全扫描图片，该电子全扫描图片即为与目标对象对应的目标图像；接着通过文本检测模型和文本识别模型对目标图像进行特征提取，以获取其中的文本信息。相应地，当目标图像为包含病理编号的图像时，可以通过版面分析和文本识别模型对病理编号进行识别和提取，并在命名时针对性地保存，从而大幅节约了人工看玻片输入文件名的工作量，提升了扫描玻片的效率，节省了人力成本。

本公开实施例中的信息识别方法能够基于边缘检测、边缘修正和文本识别模型自动检测和识别目标对象中的文本信息，提高了文本识别的效率和精准度，减少了人工成本。同时，本公开实施例中的病理编号识别方法，一方面能够自动获取玻片信息，不需要医生进行额外的输入操作，提高了识别效率和精准度；另一方面可以实时获取病理编号，为后续AI算法实时关联院内系统临床信息，辅助决策提供重要前提条件；再一方面可以自动读取病理编号并记录读片时间，避免了人工生成报告，并且为分析医生操作、阅片难度和使用日志提供了必要数据。

以下介绍本公开的装置实施例，可以用于执行本公开上述实施例中的信息识别方法。对于本公开装置实施例中未披露的细节，请参照本公开上述的信息识别方法的实施例。

图10示意性示出了根据本公开的一个实施例的病理编号识别装置的框图。

参照图10所示，根据本公开的一个实施例的病理编号识别装置1000，包括：第一获取模块1001、第一检测模块1002、第一修正模块1003和第一识别模块1004。

其中，第一获取模块1001，用于获取包含标签的病理玻片图像，其中所述标签包括病理编号；第一检测模块1002，用于对所述病理玻片图像中的所有对象进行边缘检测，根据检测结果确定与所述标签对应的轮廓；第二修正模块1003，用于根据所述轮廓的位置信息对所述标签进行修正，以获取与所述标签对应的目标图像；第一识别模块1004，用于提取所述目标图像中的病理编号区域，并对所述病理编号区域中的病理编号进行识别，以获取所述病理编号。

在本公开的一个实施例中，所述第一检测模块1002配置为：根据预设转换规则将所述病理玻片图像转换为灰度图像；对所述灰度图像进行第一平滑处理，以获取第一平滑图像；对所述第一平滑图像进行第二平滑处理，并计算平滑处理后的所述第一平滑图像中各像素的梯度强度和方向；基于各所述像素的梯度强度和方向确定真实边缘像素，并根据所述真实边缘像素确定与所述对象对应的轮廓。

在本公开的一个实施例中，所述第一检测模块1002包括：面积计算单元，用于获取所述病理玻片图像中所有的闭合轮廓，并计算所述闭合轮廓的面积；多边形拟合单元，用于根据所述面积由大到小对所述闭合轮廓进行多边形拟合，以确定与所述闭合轮廓对应的多边形；匹配单元，用于在所述闭合轮廓中存在具有目标多边形的目标闭合轮廓时，将所述目标闭合轮廓作为所述标签对应的轮廓。

在本公开的一个实施例中，所述目标多边形包括多个第一角点；所述第一修正模块1003包括：边长计算单元，用于将各所述第一角点按照预设规则进行排序，并根据相邻的所述第一角点的位置信息计算所述目标多边形的各边长度；修正单元，用于根据所述各边长度确定修正长度，并根据所述修正长度对所述目标多边形进行修正，以获取与所述目标对象对应的修正多边形；变换单元，用于根据所述修正多边形中第二角点的位置信息和所述第一角点的位置信息对所述目标闭合轮廓中的图像进行变换，以获取所述目标图像。

在本公开的一个实施例中，所述目标多边形包括横向的第一边和第三边及纵向的第二边和第四边；所述修正单元配置为：将所述第一边的长度和所述第三边的长度中最大的长度作为修正轮廓长度，将所述第二边的长度和所述第四边的长度中最大的长度作为修正轮廓高度；根据所述修正轮廓长度和所述修正轮廓高度对所述目标多边形进行修正，以获取所述修正多边形。

在本公开的一个实施例中，所述变换单元配置为：根据所述修正多边形中第二角点的位置信息和所述第一角点的位置信息确定变换矩阵；将所述目标闭合轮廓中的图像所对应的像素矩阵与所述变换矩阵相乘，以获取所述目标图像。

在本公开的一个实施例中，所述第一识别模块1004包括：第一识别单元，用于采用文本识别模型对所述病理编号区域中的病理编号进行识别，以获取所述病理编号。

在本公开的一个实施例中，所述文本识别模型包括卷积神经网络子模型和与所述卷积神经网络子模型连接的循环神经网络子模型；所述第一识别单元配置为：通过所述卷积神经网络子模型对所述病理编号区域进行特征提取，以获取与所述病理编号区域中的病理编号对应的特征向量序列；通过所述循环神经网络子模型对所述特征向量序列进行特征提取，以获得所述病理编号。

在本公开的一个实施例中，所述病理编号识别装置1000还包括：二值化处理模块，用于将所述病理编号区域中的所有像素进行二值化处理；形态学处理模块，用于对二值化处理后的所述病理编号区域进行腐蚀和膨胀处理，以去除所述病理编号区域中的噪点。

在本公开的一个实施例中，所述病理编号识别装置1000还包括：纠错模块，用于根据匹配规则纠正所述病理编号中的错误字符。

图11示意性示出了根据本公开的一个实施例的信息识别装置的框图。

参照图11所示，根据本公开的一个实施例的信息识别装置1100，包括：第二获取模块1101、第二检测模块1102、第二修正模块1103和第二识别模块1104。

其中，第二获取模块1101，用于获取包含目标对象的原始图像，其中所述目标对象包括文本信息；第二检测模块1102，用于对所述原始图像中的所有对象进行边缘检测，根据检测结果确定与所述目标对象对应的轮廓；第二修正模块1103，用于根据所述轮廓的位置信息对所述目标对象进行修正，以获取与所述目标对象对应的目标图像；第二识别模块1104，用于提取所述目标图像中的待识别文本区域，并对所述待识别文本区域中的文本进行识别，以获取所述文本信息。

上述信息识别装置中各模块的具体细节已经在对应的信息识别方法中进行了详细的描述，并且与病理编号识别装置中各模块的具体细节相似，因此此处不再赘述。

本公开实施例还提供了一种信息识别系统，图12示出了信息识别系统的结构示意图，如图12所示，信息识别系统1200包括：图像采集装置1201、信息识别装置1202和显示装置1203，具体地：

图像采集装置1201，用于采集图像信号以生成包含目标对象的原始图像，其中所述目标对象包括文本信息；信息识别装置1202，与所述图像采集装置1201连接，用于接收所述原始图像，并且所述信息识别装置包括一个或多个处理器及存储装置，其中，所述存储装置用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器对所述原始图像执行如上述实施例所述的信息识别方法或病理编号识别方法；显示装置1203，与所述信息识别装置1202连接，用于接收所述信息识别装置输出的信息识别结果，并将所述信息识别结果显示于所述显示装置的显示屏幕上。

该信息识别系统可用于对任意类型的输入图像中的文本信息进行识别，例如当信息识别系统用于识别病理玻片中的病理编号时，该图像采集装置1201可以是拍照显微镜，其包括显微镜和微型摄像器，其中显微镜用于观察放置于载物台上的病理玻片，该病理玻片包含含有病理编号的标签；微型摄像器包括支架和摄像头，摄像头通过支架固定于载物台的侧边、显微镜目镜的侧边或显微镜所在的支撑面上，并且摄像头垂直朝向载物台，用于拍摄病理玻片中包含标签的区域以生成病理玻片图像。进一步地，微型摄像器可以将拍摄获得的包含标签的原始图像发送至信息识别装置，通过信息识别装置根据本公开实施例所述的病理编号识别方法对该原始图像中的病理编号进行检测和识别，以输出病理编号，医生根据该病理编号可以获取院内系统中与该病理编号对应的所有信息，并根据该些信息进行疾病诊断和制作报告。

图13示出了适于用来实现本公开实施例的信息识别装置1202的计算机系统的结构示意图。

需要说明的是，图13示出的信息识别装置1202的计算机系统1300仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图13所示，计算机系统1300包括中央处理单元(Central Processing Unit，CPU)1301，其可以根据存储在只读存储器(Read-Only Memory，ROM)1302中的程序或者从存储部分1308加载到随机访问存储器(Random Access Memory，RAM)1303中的程序而执行各种适当的动作和处理，实现上述实施例中所述的图像标注方法。在RAM 1303中，还存储有系统操作所需的各种程序和数据。CPU 1301、ROM 1302以及RAM1303通过总线1304彼此相连。输入/输出(Input/Output，I/O)接口1305也连接至总线1304。

以下部件连接至I/O接口1305：包括键盘、鼠标等的输入部分1306；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1307；包括硬盘等的存储部分1308；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1309。通信部分1309经由诸如因特网的网络执行通信处理。驱动器1310也根据需要连接至I/O接口1305。可拆卸介质1311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1310上，以便于从其上读出的计算机程序根据需要被安装入存储部分1308。

特别地，根据本公开的实施例，下文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1309从网络上被下载和安装，和/或从可拆卸介质1311被安装。在该计算机程序被中央处理单元(CPU)1301执行时，执行本公开的系统中限定的各种功能。

需要说明的是，本公开实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

作为另一方面，本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的图像处理装置中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施方式的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (15)

1.一种病理编号识别方法，其特征在于，包括：

获取包含标签的病理玻片图像，其中所述标签包括病理编号；

对所述病理玻片图像中的所有对象进行边缘检测，根据检测结果确定与所述标签对应的轮廓；

根据所述轮廓的位置信息对所述标签进行修正，以获取与所述标签对应的目标图像；

提取所述目标图像中的病理编号区域，并对所述病理编号区域中的病理编号进行识别，以获取所述病理编号。

2.根据权利要求1所述的病理编号识别方法，其特征在于，所述根据检测结果确定与所述标签对应的轮廓信息，包括：

获取所述病理玻片图像中所有的闭合轮廓，并计算所述闭合轮廓的面积；

根据所述面积由大到小对所述闭合轮廓进行多边形拟合，以确定与所述闭合轮廓对应的多边形；

在所述闭合轮廓中存在具有目标多边形的目标闭合轮廓时，将所述目标闭合轮廓作为所述标签对应的轮廓。

3.根据权利要求2所述的病理编号识别方法，其特征在于，所述目标多边形包括多个第一角点；

所述根据所述轮廓的位置信息对所述标签进行修正，以获取与所述标签对应的目标图像，包括：

将各所述第一角点按照预设规则进行排序，并根据相邻的所述第一角点的位置信息计算所述目标多边形的各边长度；

根据所述各边长度确定修正长度，并根据所述修正长度对所述目标多边形进行修正，以获取与所述目标对象对应的修正多边形；

根据所述修正多边形中第二角点的位置信息和所述第一角点的位置信息对所述目标闭合轮廓中的图像进行变换，以获取所述目标图像。

4.根据权利要求3所述的病理编号识别方法，所述目标多边形包括横向的第一边和第三边及纵向的第二边和第四边；

所述根据所述各边长度确定修正长度，并根据所述修正长度对所述目标多边形进行修正，以获取与所述标签对应的修正多边形，包括：

将所述第一边的长度和所述第三边的长度中最大的长度作为修正轮廓长度，将所述第二边的长度和所述第四边的长度中最大的长度作为修正轮廓高度；

根据所述修正轮廓长度和所述修正轮廓高度对所述目标多边形进行修正，以获取所述修正多边形。

5.根据权利要求3所述的病理编号识别方法，所述根据所述修正多边形中第二角点的位置信息和所述第一角点的位置信息对所述目标闭合轮廓中的图像进行变换，以获取所述目标图像，包括：

根据所述修正多边形中第二角点的位置信息和所述第一角点的位置信息确定变换矩阵；

将所述目标闭合轮廓中的图像所对应的像素矩阵与所述变换矩阵相乘，以获取所述目标图像。

6.根据权利要求1所述的病理编号识别方法，所述对所述病理编号区域中的病理编号进行识别，以获取所述病理编号，包括：

采用文本识别模型对所述病理编号区域中的病理编号进行识别，以获取所述病理编号。

7.根据权利要求6所述的病理编号识别方法，所述文本识别模型包括卷积神经网络子模型和与所述卷积神经网络子模型连接的循环神经网络子模型；

所述采用文本识别模型对所述病理编号区域中的病理编号进行识别，以获取所述病理编号，包括：

通过所述卷积神经网络子模型对所述病理编号区域进行特征提取，以获取与所述病理编号区域中的病理编号对应的特征向量序列；

通过所述循环神经网络子模型对所述特征向量序列进行特征提取，以获得所述病理编号。

8.一种信息识别方法，其特征在于，包括：

获取包含目标对象的原始图像，其中所述目标对象包括文本信息；

对所述原始图像中的所有对象进行边缘检测，根据检测结果确定与所述目标对象对应的轮廓；

根据所述轮廓的位置信息对所述目标对象进行修正，以获取与所述目标对象对应的目标图像；

提取所述目标图像中的待识别文本区域，并对所述待识别文本区域中的文本进行识别，以获取所述文本信息。

9.根据权利要求8所述的信息识别方法，其特征在于，所述对所述原始图像中的所有对象进行边缘检测，包括：

根据预设转换规则将所述原始图像转换为灰度图像；

对所述灰度图像进行第一平滑处理，以获取第一图像；

对所述第一图像进行第二平滑处理，并计算平滑处理后的所述第一图像中各像素的梯度强度和方向；

基于各所述像素的梯度强度和方向确定真实边缘像素，并根据所述真实边缘像素确定与所述对象对应的轮廓。

10.根据权利要求8所述的信息识别方法，所述提取所述目标图像中的待识别文本区域，包括：

根据预设模板对所述目标图像进行版面分析，以获取所述待识别文本区域。

11.根据权利要求8所述的信息识别方法，在对所述待识别文本区域中的文本进行识别之前，所述方法还包括：

将所述待识别文本区域中的所有像素进行二值化处理；

对二值化处理后的所述待识别文本区域进行腐蚀和膨胀处理，以去除所述待识别文本区域中的噪点。

12.一种病理编号识别装置，其特征在于，包括：

第一获取模块，用于获取包含标签的病理玻片图像，其中所述标签包括病理编号；

第一检测模块，用于对所述病理玻片图像中的所有对象进行边缘检测，根据检测结果确定与所述标签对应的轮廓；

第一修正模块，用于根据所述轮廓的位置信息对所述标签进行修正，以获取与所述标签对应的目标图像；

第一识别模块，用于提取所述目标图像中的病理编号区域，并对所述病理编号区域中的病理编号进行识别，以获取所述病理编号。

13.一种信息识别装置，其特征在于，包括：

第二获取模块，用于获取包含目标对象的原始图像，其中所述目标对象包括文本信息；

第二检测模块，用于对所述原始图像中的所有对象进行边缘检测，根据检测结果确定与所述目标对象对应的轮廓；

第二修正模块，用于根据所述轮廓的位置信息对所述目标对象进行修正，以获取与所述目标对象对应的目标图像；

第二识别模块，用于提取所述目标图像中的待识别文本区域，并对所述待识别文本区域中的文本进行识别，以获取所述文本信息。

14.一种信息识别系统，其特征在于，包括：

图像采集装置，用于采集图像信号以生成包含目标对象的原始图像，其中所述目标对象包括文本信息；

信息识别装置，与所述图像采集装置连接，用于接收所述原始图像，并且所述信息识别装置包括一个或多个处理器及存储装置，其中，所述存储装置用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器对所述原始图像执行如权利要求1至7中任一项所述的病理编号识别方法或权利要求8至11中任一项所述的信息识别方法；

显示装置，与所述信息识别装置连接，用于接收所述信息识别装置输出的信息识别结果，并将所述信息识别结果显示于所述显示装置的显示屏幕上。

15.根据权利要求14所述的信息识别系统，其特征在于，所述图像采集装置为拍照显微镜，所述拍照显微镜包括：

显微镜，用于观察放置于所述显微镜的载物台上的病理玻片，所述病理玻片包含含有病理编号的标签；

微型摄像器，所述微型摄像器包括支架和摄像头，所述摄像头通过所述支架固定于所述载物台的侧边、所述显微镜目镜的侧边或所述显微镜所在的支撑面上，并且所述摄像头垂直朝向所述载物台，用于拍摄所述病理玻片中包含所述标签的区域以生成病理玻片图像。

Images