CN113723466B - 文本相似度量化方法、设备及系统 - Google Patents
文本相似度量化方法、设备及系统 Download PDFInfo
- Publication number
- CN113723466B CN113723466B CN202110891281.4A CN202110891281A CN113723466B CN 113723466 B CN113723466 B CN 113723466B CN 202110891281 A CN202110891281 A CN 202110891281A CN 113723466 B CN113723466 B CN 113723466B
- Authority
- CN
- China
- Prior art keywords
- edit
- similarity
- historical
- text string
- pairs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000011002 quantification Methods 0.000 title abstract description 17
- 238000012015 optical character recognition Methods 0.000 claims abstract description 106
- 238000004590 computer program Methods 0.000 claims abstract description 28
- 238000012937 correction Methods 0.000 claims abstract description 19
- 238000013139 quantization Methods 0.000 claims description 73
- 238000004364 calculation method Methods 0.000 claims description 34
- 230000004044 response Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 17
- 230000003287 optical effect Effects 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004900 laundering Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012954 risk control Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/196—Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
- G06V30/1983—Syntactic or structural pattern recognition, e.g. symbolic string recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
- G06F16/24558—Binary matching operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/12—Detection or correction of errors, e.g. by rescanning the pattern
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Character Discrimination (AREA)
Abstract
本发明提供了文本相似度量化方法、设备及系统。该设备包括:处理器;包括计算机程序代码的存储器。存储器和计算机程序代码与处理器一起促使该设备:获得用编辑文本字符串更正光学字符识别(OCR)文本字符串的多个最短操作路径,其中,每个最短操作路径包括一个或多个编辑对,每个编辑对表示在用所述编辑文本字符串进行更正期间对所述OCR文本字符串中的字符可执行的操作;确定多个相似度得分,每个相似度得分对应所述多个最短操作路径之一,其中每个相似度得分是通过对每个最短操作路径中的一个或多个编辑对的历史相似度得分进行求和来确定的;选择所述多个相似度得分中最小相似度得分来量化所述OCR文本字符串与所述编辑文本字符串之间的文本相似度。
Description
技术领域
本发明通常涉及文本相似度量化方法、设备及系统。
背景技术
光学字符识别(通常缩写为OCR)是一种识别图像或物理文档中的文本并将识别出的文本转换为机器编码文本的技术。机器编码文本通常被称为OCR文本。
eKYC(electronic-Know Your Customer,电子了解您的客户)是一种数字尽职调查过程,由企业执行以验证其客户的身份并评估在业务关系上是否存在非法意图(例如洗钱)的潜在风险。
当执行eKYC时,OCR可用于识别例如身份证、护照等官方身份(ID)文件中的文本内容(例如,姓名、地址、身份证号等)。通常,在用户界面上显示OCR文本,以用于用户进行确认或编辑。如果用户使用编辑文本来更正OCR文本,则出于风险控制考虑,有必要先验证编辑文本是否合理,再接受更正。因此,评估OCR文本与用户编辑文本之间的相似度以验证编辑文本是否合理变得有用。
目前,编辑距离(Edit Distance)技术和杰卡德距离(Jaccard Distance)技术用于评估两个文本字符串之间的相似度。然而,编辑距离技术基于将一个文本字符串转换为另一个文本字符串所需的最少操作次数来评估相似度,但是忽略了两个文本字符串之间的视觉相似度;另一方面,杰卡德距离技术忽略了视觉相似度和两个文本字符串中字符的顺序。
下表1中显示了如何根据编辑距离技术评估2个文本字符串之间的相似度的示例。
如表1所示,在编辑距离技术中,编辑距离用于指示将文本字符串A转换为文本字符串B所需的最少操作次数。在示例1中,需要一次操作:用字母“O”替换数字“0”,以将“B0B”转换为“BOB”。在示例2中,需要一次操作:用数字“1”替换字母“B”,以将“BOB”转换为“1OB”。示例1和示例2中的编辑距离相同,即每个编辑距离等于1。这样,在编辑距离技术中,“B0B”和“BOB”之间的相似度以及“BOB”和“1OB”之间的相似度被认为是相同的。这样的相似度评估仅考虑最少操作次数,而忽略了每次操作中的字符对之间的视觉相似度,不正确地将“0”和“O”与“B”和“1”视为相同。
因此,存在提供如下方法和设备的需求,该方法和设备不仅评估将一个文本字符串转换为另一文本字符串所需的最少操作次数,而且还评估两个文本字符串之间的相关性,即这些操作在这两个文本字符串之间发生的可能性,从而提供改进文本相似度评估的整体综合机制。
借助于改进的文本相似度评估机制,本发明中的方法和设备不仅用于评估(即确定“是否相似”)两个文本字符串之间的文本相似度,还用于量化(即确定“有多相似”)这两个文本字符串之间的文本相似度,从而便于eKYC系统以及其他任何采用OCR技术的电子系统以更高的准确性和可靠性来对OCR文本的手动更正进行自动验证。
发明内容
在一个实施例中,提供文本相似度量化设备,该设备包括:处理器;以及包括计算机程序代码的存储器。该存储器和该计算机程序代码被配置为与所述处理器一起促使所述设备:将编辑对收集到历史数据库中;计算所述历史数据库中所述编辑对的频率;确定所述历史数据库中所述编辑对的历史相似度得分,其中当确定所述历史相似度得分时,所述设备被促使:对所述历史数据库中的每个所述编辑对执行log(频率)计算;根据以下公式将所述log(频率)计算归一化到0.0到1.0的范围:得分(p)=1.0–(log(p)–最小得分)/(最大得分–最小得分),其中p表示每个所述编辑对,log(p)表示log(p的频率)计算,最大得分表示log(p的频率)计算的最大得分,且最小得分表示log(p的频率)计算的最小得分。其中,所述设备进一步被促使:获得用编辑文本字符串更正光学字符识别(OCR)文本字符串的多个最短操作路径,其中,所述多个最短操作路径中的每一个包括一个或多个编辑对,所述一个或多个编辑对中的每一个编辑对表示在用所述编辑文本字符串进行更正期间对所述OCR文本字符串中的字符可执行的操作;确定多个相似度得分,所述多个相似度得分中的每个所述相似度得分对应所述多个最短操作路径之一,其中所述多个相似度得分中的每个所述相似度得分是通过对所述多个最短操作路径中的每个最短操作路径中的一个或多个编辑对的历史相似度得分进行求和来确定的,其中从所述历史数据库取得所述一个或多个编辑对的所述历史相似度得分;选择所述多个相似度得分中最小相似度得分来量化所述OCR文本字符串与所述编辑文本字符串之间的文本相似度。
在另一实施例中,提供量化文本相似度的计算机实现方法,包括:将编辑对收集到历史数据库中;计算所述历史数据库中所述编辑对的频率;确定所述历史数据库中所述编辑对的历史相似度得分,其中,计算历史相似度得分包括:对所述历史数据库中的每个编辑对执行log(频率)计算;根据以下公式将所述log(频率)计算归一化到0.0到1.0的范围:得分(p)=1.0–(log(p)–最小得分)/(最大得分–最小得分),其中p表示每个所述编辑对,log(p)表示log(p的频率)计算,最大得分表示log(p的频率)计算的最大得分,且最小得分表示log(p的频率)计算的最小得分,其中,该方法还包括:获得用编辑文本字符串更正光学字符识别(OCR)文本字符串的多个最短操作路径,其中,所述多个最短操作路径中的每一个包括一个或多个编辑对,所述一个或多个编辑对中的每一个表示在用所述编辑文本字符串进行更正期间对所述OCR文本字符串中的字符可执行的操作;确定所述多个最短操作路径的多个相似度得分,其中所述多个相似度得分中的每个所述相似度得分是通过对所述多个最短操作路径中的每个最短操作路径中的一个或多个编辑对的历史相似度得分进行求和来确定的,其中从所述历史数据库取得所述一个或多个编辑对的所述历史相似度得分;选择所述多个相似度得分中最小相似度得分来量化所述OCR文本字符串与所述编辑文本字符串之间的文本相似度。
在又一实施例中,提供文本相似度量化系统,包括:用于从数字图像中捕获OCR文本字符串的OCR设备;用于捕获用户编辑字符串的输入设备;用于对文本相似度进行量化的文本相似度量化设备,其中,所述文本相似度量化设备包括历史相似度得分确定设备,其中,所述文本相似度量化设备被配置为:将编辑对收集到历史数据库中;计算所述历史数据库中编辑对的频率;通过所述历史相似度得分确定设备,确定所述历史数据库中所述编辑对的历史相似度得分,其中,所述历史相似度得分确定设备被促使:对所述历史数据库中的每个所述编辑对执行log(频率)计算;根据以下公式将所述log(频率)计算归一化到0.0到1.0的范围:得分(p)=1.0–(log(p)–最小得分)/(最大得分–最小得分),其中p表示每个所述编辑对,log(p)表示log(p的频率)计算,最大得分表示log(p的频率)计算的最大得分,且最小得分表示log(p的频率)计算的最小得分,其中,所述文本相似度量化设备,进一步被配置为:获得用编辑文本字符串更正光学字符识别(OCR)文本字符串的多个最短操作路径,其中,所述多个最短操作路径中的每一个包括一个或多个编辑对,所述一个或多个编辑对中的每一个表示在用所述编辑文本字符串进行更正期间对所述OCR文本字符串中的字符可执行的操作;确定所述多个最短操作路径的多个相似度得分,其中所述多个相似度得分中的每个所述相似度得分是通过对所述多个最短操作路径中的每个最短操作路径中的一个或多个编辑对的历史相似度得分进行求和来确定的,其中从所述历史数据库取得所述一个或多个编辑对的所述历史相似度得分;选择所述多个相似度得分中最小相似度得分来量化所述OCR文本字符串与所述编辑文本字符串之间的文本相似度;以及输出设备,被配置为输出文本相似度量化结果。
附图说明
仅以示例的方式提供实施例,根据以下文字描述并结合附图,本领域的普通技术人员将更好地理解、更加清楚这些实施例:
图1是根据实施例的文本相似度量化设备的示意图。
图2是根据实施例的文本相似度量化系统的示意图。
图3是例示根据实施例的文本相似度量化方法的流程图。
图4示出描绘将OCR文本字符串更正为编辑文本字符串的最短操作路径计算的实施例的矩阵图。所描绘的示例基于编辑距离技术。
图5示出根据本发明实施方式描绘的表格图,在该表格图中描绘有实施例502和实施例504,其中实施例502获得如图4所示的用于将OCR文本字符串更正为编辑文本字符串的多个最短操作路径,实施例504确定该多个最短操作路径的多个相似度得分。
图6是示出根据实施例的编辑对的历史相似度得分的表格图。
图7是例示根据另一实施例的文本相似度量化方法的流程图。
图8示出了计算机系统的框图,该计算机系统适合用作图1所示的示例设备以及图2所示的示例系统中的设备,该计算机系统执行根据图3至图7所示实施例的文本相似度量化方法的至少一些步骤。
技术人员将理解,仅出于简洁清楚的目的而示出图中各要素,并不一定按比例绘制。例如,图示、框图或流程图中的部分要素,可以相对其他要素被放大尺寸,以帮助增进对本实施例的理解。
具体实施方式
将参考附图、仅以示例的方式来描述实施例。附图中相同的附图标记和字符表示相同的要素或等同要素。
按照对计算机存储器内数据进行运算的算法和功能或符号表示的方式,来明确地或隐含地呈现以下部分描述。这些算法描述和功能或符号表示是数据处理领域的技术人员用来向本领域其他技术人员最有效地传达其工作实质的手段。这里,算法通常被认为是导致期望结果的自相容的顺序步骤。这些步骤是需要对物理量进行物理处理的步骤,例如能够存储、传输、组合、比较和以其他方式处理的电、磁或光信号。
除非另有特别说明,并且从以下内容显现,否则可以理解,在整个说明书中,利用诸如“获取”、“表示”、“确定”、“选择”、“取得”、“计算”、“收集”、“执行”、“归一化”、“添加”、“更新”、“更正”、“维持”、“输出”、“捕获”、“接收”等术语所进行的讨论,是指计算机系统或类似电子设备的操作和过程,通过该操作或过程,将呈现为该计算机系统内物理量的数据,处理和转换为类似地呈现为该计算机系统、或其他信息存储、传输或显示设备内物理量的其他数据。
本说明书还公开了用于执行所述方法的操作的装置。该装置可以被专门构造用于所需目的,或者可以包括计算机或由存储在计算机中的计算机程序选择性地激活或重新配置的其他设备。本文提出的算法和显示与任何特定计算机或其他装置没有固有的关联。可以根据本文的教导利用程序来使用各种机器。在一种可选实施方式中,可以适当构造用于执行所需方法步骤的更专业的装置。将在下面的描述中示出适用于执行本文所述的各种方法/过程的计算机的结构。在本说明书中,术语“设备”和“模块”可互换地用于指代执行所述方法的操作的装置。
另外,本说明书还隐含地公开了计算机程序,因为对于本领域技术人员而言,本文所述方法的各个步骤显然可以通过计算机代码来实现。该计算机程序不旨在限于任何特定的编程语言及其实现。可以理解,各种编程语言及其编码可以用于实现本文所包含的本发明的教导。此外,该计算机程序并不旨在限于任何特定的控制流。计算机程序还有许多其他变体,这些变体可以使用不同的控制流而不会背离本发明的主旨或范围。
此外,计算机程序的一个或多个步骤可以并行而不是顺序地执行。该计算机程序可以存储在任何计算机可读介质上。该计算机可读介质可以包括诸如磁盘或光盘、存储芯片的存储设备,或适合于与计算机交互的其他存储设备。该计算机可读介质还可以包括诸如在因特网系统中例示的硬连线介质,或者诸如在GSM移动电话系统中例示的无线介质。当在这样的计算机上加载并执行该计算机程序时,有效地产生了实现优选方法的步骤的装置。
本发明的实施例提供了一种通过数据来驱动的方法,该方法利用从历史数据中获得的操作的频率,来更好地评估和量化(quantify)两个文本字符串之间的文本相似度。
这些操作包括插入操作、删除操作和/或替换操作,可对第一文本字符串中的字符执行这些操作,从而利用第二文本字符串来更正第一文本字符串。字符包括数字、字母、符号等。在OCR环境中,第一文本字符串包括从图像或物理文档的文本内容中识别出的OCR文本字符串。OCR文本字符串可以是姓名、地址、出生日期、身份证号等。第二文本字符串包括用户尝试用来更正OCR文本字符串的用户编辑字符串。
在本发明的各种实施例中,“编辑对”用于表示上述操作。例如,编辑对(“”,“a”)表示插入字符“a”的操作;编辑对(“a”,“”)表示删除字符“a”的操作;编辑对(“a”,“b”)表示用字符“b”替换字符“a”的操作。
图1示出根据本发明实施例的文本相似度量化设备100的示意图。设备100至少包括处理器模块102和存储器模块104。处理器模块102和存储器模块104是互连的。存储器模块104包括计算机程序代码(图1中未示出)。存储器模块104和计算机程序代码被配置为与处理器模块102一起促使设备100执行本发明所描述的文本相似度量化步骤。下面将参考图3描述这些步骤的细节,图3描绘了例示根据实施例的文本相似度量化方法300的流程图。
在一个实施例中,文本相似度量化设备100可以被实现为如图2所示的用于量化文本相似度的示例性系统200中的文本相似度量化模块206。
如图2所示,除了文本相似度量化模块206之外,系统200还可以包括OCR模块202、输入模块204、历史数据库208、历史相似度得分确定模块214和输出模块216。
OCR模块202可以包括获取模块和图像转换模块,两者均未在图2中示出。获取模块可以是光学扫描仪的形式,其被配置为获得物理文档的数字图像。图像转换模块可以被配置为与合适的OCR软件一起将物理文档的数字图像的至少部分文本内容转换为相应的机器可读文本(或代码)。在本发明中,机器可读文本(或代码)可互换地被称为OCR文本字符串。以这种方式,OCR模块202捕获到OCR文本字符串。
输入模块204可以包括键盘、鼠标、手写笔、语音识别用户界面等,用以捕获来自用户的输入。当OCR文本字符串被显示给输出模块216以供用户确认或编辑时,用户可以使用输入模块204来确认OCR文本字符串。如果用户使用输入模块204以利用编辑文本字符串更正OCR文本字符串,则编辑文本字符串可以被输入模块204捕获。
在一些实施例中,当编辑文本字符串被输入模块204捕获时,该系统可以指示(为简单起见,在图2中未示出)OCR模块202和输入模块204分别将OCR文本字符串和编辑文本字符串传输到文本相似度量化模块206。
文本相似度量化模块206可以接收(218)来自OCR模块202的OCR文本字符串,并且接收(220)来自输入模块204的编辑文本字符串,然后根据本发明的方法对OCR文本字符串和编辑文本字符串之间的文本相似度进行量化。当根据本发明的方法对OCR文本字符串和编辑文本字符串之间的文本相似度进行量化时,文本相似度量化模块206可以与历史数据库208通信(222),以取得量化文本相似度所需的某些编辑对的历史相似度得分。
在图3至图6中描绘了文本相似度量化模块206量化OCR文本字符串和编辑文本字符串之间的文本相似度的方法的示例。如图3所示,当量化OCR文本字符串和编辑文本字符串之间的文本相似度时,文本相似度量化模块206被配置为执行至少以下步骤:
步骤302:获得用编辑文本字符串更正OCR文本字符串的多个最短操作路径,其中,多个最短操作路径中的每一个包括一个或多个编辑对,一个或多个编辑对中的每一个表示在用编辑文本字符串进行更正期间,对OCR文本字符串中的字符可执行的操作;
步骤304:确定多个相似度得分,每个相似度得分对应多个最短操作路径之一,其中,每个相似度得分是通过对每个最短操作路径中的一个或多个编辑对的历史相似度得分进行求和来确定的;和
步骤306:选择多个相似度得分中的最小相似度得分来量化OCR文本字符串与编辑文本字符串之间的文本相似度。
在下面的段落中,将参考图3、图4和图5描述上述步骤的细节。
再次参考图2,历史数据库208可以包括存储编辑对的编辑对数据库210和存储编辑对(被存储在编辑对数据库210中)的历史相似度得分的历史相似度得分数据库212。编辑对数据库210可以被配置为计算在特定时间段内编辑对被存储在编辑对数据库210中的频率。例如,根据实际需要,该特定时间段可以是一个月、六个月或任何其他时间段。
然后,可以将编辑对的频率从历史数据库208的编辑对数据库210传输(224)到历史相似度得分确定模块214。在接收到编辑对的频率时,历史相似度得分确定模块214被配置为基于从历史数据库208的编辑对数据库210接收的编辑对的频率来确定编辑对的历史相似度得分。然后,将编辑对的历史相似度得分传输(226)到历史数据库208的历史相似度得分数据库212,并存储在历史相似度得分数据库212中。
然后,根据文本相似度量化,文本相似度量化模块206可以将文本相似度量化结果输出(228)到输出模块216。文本相似度量化结果可以包括指示接受或拒绝编辑文本字符串的系统通知消息,或指示用户账户存在潜在风险或锁定用户账户的系统警报。
如果接受编辑文本字符串,则文本相似度量化模块206可以将具有最小相似度得分的最短操作路径中的编辑对添加(230)到历史数据库208的编辑对数据库210中。响应于这些编辑对的添加,历史数据库208可以被配置为与历史相似度得分确定模块214交互以更新历史数据库208中的编辑对的历史相似度得分。
在一些可选实施例中,历史相似度得分确定模块214可以被实现为包括在历史数据库208内的模块。
在一些可选实施例中,历史数据库208和/或历史相似度得分确定模块214可以被实现为包括在文本相似度量化模块206内的模块。
在一些可选实施例中,编辑对数据库210和历史相似度得分数据库212可以被实现为历史数据库208中的一个数据库,该数据库同时存储编辑对及其对应的历史相似度得分。
如上所述,图3描绘了例示根据实施例的文本相似度量化方法300的流程图。
在步骤302,设备100或文本相似度量化模块206获得用编辑文本字符串更正OCR文本字符串的多个最短操作路径。多个最短操作路径中的每一个包括一个或多个编辑对。一个或多个编辑对中的每一个表示在用编辑文本字符串进行更正期间,对OCR文本字符串中的字符可执行的操作。
可以各种方式获得多个最短操作路径。在一个实施例中,可以通过执行编辑距离计算来获得用编辑文本字符串更正OCR文本字符串的多个最短操作路径。在该实施例中,在用编辑文本字符串进行更正期间,对OCR文本字符串中的字符可执行的操作可以是插入操作、删除操作或替换操作中之一。对于本领域技术人员而言,可以理解的是,其他技术也可以用于获得多个最短操作路径。例如,可以定义更多的操作,例如交换两个相邻字符的操作,将文本字符串“AB”转换为另一文本字符串“BA”视为一个操作。
在本实施例中,利用编辑距离技术推导出OCR文本字符串和编辑文本字符串之间的编辑距离,从而获得多个最短操作路径。
基于编辑距离技术,针对两个文本字符串:长度为N的字符串X和长度为M的字符串Y,字符串X的前i个字符和字符串Y的前j个字符之间的编辑距离被定义为D(i,j),以及字符串X和字符串Y之间的编辑距离被定义为D(N,M)。
初始化D(i,0)=i和D(0,j)=j,
对于每个i=1…N和每个j=1…M,
D(i,j)可以基于以下式(1)得出:
基于式(1),可以相应地得出字符串X和字符串Y之间的编辑距离D(N,M)。图4示出矩阵图400的实施例,该矩阵图400基于式(1)推导出OCR文本字符串402(即“Azaha”)与编辑文本字符串404(即“Aziz”)之间的编辑距离。该实施例中的示例文本字符串与用户名有关。本领域技术人员可以理解,OCR文本字符串和编辑文本字符串也可以与地址、身份证号、出生日期等相关。
如矩阵图400的单元格406所示,OCR文本字符串402(即“Azaha”)与编辑文本字符串404(即“Aziz”)之间的编辑距离是3。这意味着用“Aziz”更正“Azaha”所需的最少操作次数为3次。
在步骤302,基于编辑距离3,设备100或文本相似度量化模块206获得在3个操作步骤内即可将“Azaha”转换为“Aziz”的所有可能路径。这些可能路径被认为是多个最短操作路径。
在图5的表格图500中示出了获得最短操作路径的步骤304的实施例。如子表502所示,设备100或文本相似度量化模块206获得用编辑文本字符串404(即“Aziz”)更正OCR文本字符串402(即“Azaha”)的三个最短操作路径。三个最短操作路径包括:最短操作路径1、最短操作路径2和最短操作路径3。
如子表502所示,最短操作路径1包括三个操作,即用字符“i”替代字符“a”的操作1、用字符“z”替代字符“h”的操作2和删除字符“a”的操作3。最短操作路径1中的操作1、2、3分别表示为编辑对(“a”,“i”)、(“h”,“z”)和(“a”,“”)。
最短操作路径2包括三个操作,即删除字符“a”的操作1、用字符“i”替代字符“h”的操作2和用字符“z”替代字符“a”的操作3。最短操作路径2中的操作1、2、3分别表示为编辑对(“a”,“”)、(“h”,“i”)和(“a”,“z”)。
最短操作路径3包括三个操作,即用字符“i”替代字符“a”的操作1、删除字符“h”的操作2和用字符“z”替代字符“a”的操作3。最短操作路径3中的操作1、2、3分别表示为编辑对(“a”,“i”)、(“h”,“”)和(“a”,“z”)。
如以上实施例所示,三个最短操作路径中的每一个包括三个编辑对。每个编辑对表示在通过编辑文本字符串404(即“Aziz”)更正期间,对OCR文本字符串402中字符(即“Azaha”)可执行的操作。
对于本领域技术人员而言,最短操作路径的数量和最短操作路径中包括的编辑对的数量可因文本字符串的长度和/或所需的操作次数而改变。例如,当用编辑文本字符串“BOB”更正OCR文本字符串“B0B”时,编辑距离为1,这意味着仅需要执行一次操作。在这样的示例中,设备100或文本相似度量化模块206可以获得用编辑文本字符串“BOB”更正OCR文本字符串“B0B”的仅一条最短操作路径。这一条最短操作路径包括对OCR文本字符串“B0B”中字符可执行的一次操作,即用字符“O”替代字符“0”。该操作用编辑对(“0”,“O”)表示。
在步骤304,设备100或文本相似度量化模块206确定多个最短操作路径的多个相似度得分。多个相似度得分中的每一个对应于步骤302中确定的多个最短操作路径之一。通过对多个最短操作路径中每一个最短操作路径中一个或多个编辑对的历史相似度得分进行求和来确定多个相似度得分中的每一个相似度得分。
在图5的子表504中描绘了步骤304的实施例。如子表504所示,设备100或文本相似度量化模块206确定分别与三个最短操作路径相对应的三个相似度得分。即,确定最短操作路径1、最短操作路径2和最短操作路径3中每一个的相似度得分。在本实施例中,设备100或文本相似度量化模块206通过对每个最短操作路径中编辑对的历史相似度得分进行求和来确定这三个相似度得分中的每一个相似度得分。
例如,对于最短操作路径1,设备100或文本相似度量化模块206通过将对应的编辑对(“a”,“i”)、(“h”,“z”)和(“a”,“”)的历史相似度得分相加来确定相似度得分。
对于最短操作路径2,设备100或文本相似度量化模块206通过将对应的编辑对(“a”,“”)、(“h”,“i”)和(“a”,“z”)的历史相似度得分相加来确定相似度得分。
对于最短操作路径3,设备100或文本相似度量化模块206通过将对应的编辑对(“a”,“i”)、(“h”,“”)和(“a”,“z”)的历史相似度得分相加来确定相似度得分。
在一个示例中,当在步骤304对编辑对的历史相似度得分求和时,设备100或文本相似度量化模块206可以如图2所示,从历史数据库208中取得(222)编辑对的历史相似度得分。
在另一示例中,当在步骤304对编辑对的历史相似度得分求和时,设备100或文本相似度量化模块206可以从历史数据库中取得编辑对的历史相似度得分。历史数据库可以被实现为包括在设备100内的存储器模块104或文本相似度量化模块206。
在又一个示例中,历史数据库208可以被实现为包括在设备100或文本相似度量化模块206内的模块。在该示例中,当在步骤304对编辑对的历史相似度得分求和时,设备100或文本相似度量化模块206可以从自身包含的模块中取得编辑对的历史相似度得分。
在一些实施例中,编辑对的历史相似度得分的准备可以由历史数据库208、存储器模块104、或设备100或文本相似度量化模块206所包括的其他模块来进行。
历史数据库208、存储器模块104、或设备100或文本相似度量化模块206所包括的其他模块,可以包括如图2所示的编辑对数据库210和历史相似度得分数据库212。在准备历史相似度得分的实施例中,历史数据库208、存储器模块104、或设备100或文本相似度量化模块206所包括的其他模块被配置为收集用户在预定的时间段尝试的所有种类的编辑对。例如,响应于接收到由OCR设备/模块捕获的数字图像的OCR文本字符串和接收到由输入设备/模块捕获的对应于OCR文本字符串的编辑文本字符串,设备100或文本相似度量化模块206可以收集所有种类的编辑对。这些编辑对各自的相似度得分可以被初始化为等于值1.0,并且这些编辑对被存储到编辑对数据库210中。
根据实际需要,预定的时间段可以是一个月、六个月或任何其他时间。可以计算在预定的时间段内编辑对被存储到编辑对数据库210中的频率。编辑对存储得越频繁,该编辑对表示的操作发生的次数就越多,该编辑对表示的操作再次发生的可能性就越大。在这方面,利用编辑对被存储到编辑对数据库210中的频率,来确定存储在历史数据库208、存储器模块104、或设备100或文本相似度量化模块206中包含的其他模块的编辑对数据库210中的编辑对的历史相似度得分。
在一些实施例中,可以将编辑对的频率提供给历史相似度得分确定模块214,用于确定存储在历史数据库208、存储器模块104、或设备100或文本相似度量化模块206中包含的其他模块的编辑对数据库210中的编辑对的历史相似度得分。历史相似度得分确定模块214可以是如图2所示的独立模块,其可与历史数据库208、存储器模块104、或设备100或文本相似度量化模块206包括的其他模块通信。在一种可选实施方式中,历史相似度得分确定模块214可以被实现为包括在历史数据库208、存储器模块104、或设备100或文本相似度量化模块206包括的其他模块内的模块。
在一些实施例中,历史相似度得分确定模块214可以被配置为对历史数据库208、存储器模块104、或设备100或文本相似度量化模块206包括的其他模块的编辑对数据库210中的每个编辑对计算log(频率)。然后,可以由历史相似度得分确定模块214将编辑对数据库210中的编辑对的log(频率)计算结果归一化为0.0至1.0的范围。归一化的log(频率)计算结果被认为是历史数据库208、存储器模块104、或设备100或文本相似度量化模块206包括的其他模块的编辑对数据库210中的编辑对的历史相似度得分。在一些实施例中,编辑对的历史相似度得分可以从历史相似度得分确定模块214传输到历史数据库208、存储器模块104、或设备100或文本相似度量化模块206包括的其他模块中的历史相似度得分数据库212,并存储在历史相似度得分数据库212中。在一些实施例中,相似度得分确定模块214和历史相似度得分数据库212可以被实现为单个模块。
在实施例中,log(频率)计算可以分为两个步骤。首先,对于每个编辑对p,计算p的频率的对数,即log(p的频率)。随后,对于从log(p的频率)计算得出的每个得分,将得分归一化为0.0到1.0的范围,这意味着log(p的频率)计算的最大得分被映射为0.0,并且log(p的频率)计算的最小得分被映射为1.0。以这种方式,例如,根据以下式(2),确定每个编辑对的历史相似度得分:
得分(p)=1.0-(log(p)–最小得分)/(最大得分–最小得分)式(2)
对于本领域技术人员来说,可以根据本发明以其他方式确定编辑对的历史相似度得分,例如,无需log(频率)计算。
在图6的表格图600中示出了实施例,以例示存储在历史数据库208、存储器模块104、或设备100或文本相似度量化模块206包括的其他模块中的编辑对的历史相似度得分。
在表格图600所示的实施例中,最短操作路径1、最短操作路径2和最短操作路径3中每个编辑对可具有对应的历史相似度得分。例如,编辑对(“a”,“”)、(“a”,“i”)、(“a”,“z”)、(“h”,“”)、(“h”,“i”)和(“h”,“z”)的历史相似度得分分别为0.6、0.5、0.4、0.6、0.4和0.8。历史相似度得分越小,由编辑对表示的操作发生的次数就越多,并且由编辑对表示的操作再次发生的可能性和合理性就越大。
如果找不到特定编辑对的历史相似度得分,则可能意味着该特定编辑对表示的操作从未在用户进行即时尝试之前发生。在这方面,历史数据库208、存储器模块104、或设备100或文本相似度量化模块206包括的其他模块可以将值1.0返回给设备100或文本相似度量化模块206作为该特定编辑对的历史相似度得分。
基于表格图600的示例并且根据图5的子表504中所示的实施例,可以将最短操作路径1的相似度得分确定为0.5+0.8+0.6等于1.9。可以将最短操作路径2的相似度得分确定为0.6+0.4+0.4等于1.4。类似地,可以将最短操作路径3的相似度得分确定为0.5+0.6+0.4等于1.5。
表格图600可以包括其他编辑对的历史相似度得分。为了简单起见,这些历史相似度得分未在图6中显示。
本领域技术人员可以理解,编辑对的历史相似度得分可以其他格式存储在历史数据库208、存储器模块104、或设备100或文本相似度量化模块206包括的其他模块中。
在步骤306,设备100或文本相似度量化模块206选择针对多个最短操作路径确定的多个相似度得分中的最小相似度得分。所选的最小相似度得分用于量化OCR文本字符串和编辑文本字符串之间的文本相似度。
在一些示例中,如果多个相似度得分中的最小相似度得分低于预定阈值,则设备100或文本相似度量化模块206可以用编辑文本字符串更正OCR文本字符串。预定阈值可以通过不同应用的某些要求来确定。例如,我们可以将预定阈值设置为本实施例中所例示的1.5,或设置为0.5,设置为0.5时意味着要求操作总次数足够小并且操作的频率高。
在实施例中,对于如图5的子表504所示的、确定出的三个最短操作路径的三个相似度得分1.9、1.4和1.5,设备100或文本相似度量化模块206可以在这三个相似度得分中选择最小相似度得分1.4作为OCR文本字符串402(即“Azaha”)和编辑文本字符串404(即“Aziz”)之间的文本相似度量化结果。如果预定阈值为1.5,则本实施例中的文本相似度量化结果低于预定阈值,因此设备100或文本相似度量化模块206可以用编辑文本字符串“Aziz”更正OCR文本字符串“Azaha”。
在该实施例中,设备100或文本相似度量化模块206还可以将具有最小相似度得分的最短操作路径中的编辑对,即具有最小相似度得分1.4的最短操作路径2中的编辑对(“a”,“”)、(“h”,“i”)和(“a”,“z”),添加到历史数据库208、存储器模块104、或设备100或文本相似度量化模块206包括的其它模块中的编辑对数据库210内。另外,设备100或文本相似度量化模块206可以更新历史数据库中的编辑对的历史相似度得分。历史数据库中编辑对的历史相似度得分的更新包括以下一个或多个步骤:
-计算历史数据库208、存储器模块104、或设备100或文本相似度量化模块206包括的其它模块中的编辑对数据库210内与具有最小相似度得分的最短操作路径中的编辑对相对应的编辑对的频率;和
-通过以下步骤确定历史数据库208、存储器模块104、或设备100或文本相似度量化模块206包括的其它模块中的编辑对数据库210内与具有最小相似度得分的最短操作路径中的编辑对相对应的编辑对的历史相似度得分:对历史数据库208、存储器模块104或设备100、或文本相似度量化模块206包括的其它模块中与具有最小相似度得分的最短操作路径中的编辑对相对应的每个编辑对进行log(频率)计算,并将log(频率)计算结果归一化到0.0到1.0的范围。
例如,在本实施例中,设备100或文本相似度量化模块206可以将具有最小相似度得分1.4的最短操作路径2中的编辑对(“a”,“”)、(“h”,“i”)和(“a”,“z”)添加到历史数据库208、存储器模块104、或设备100或文本相似度量化模块206包括的其它模块中的编辑对数据库210内,并用以下步骤更新历史数据库208、存储器模块104、或设备100或文本相似度量化模块206包括的其它模块中的编辑对数据库210内的编辑对(“a”,“”)、(“h”,“i”)和(“a”,“z”)的历史相似度得分:计算编辑对(“a”,“”)、(“h”,“i”)和(“a”,“z”)的频率并通过对编辑对(“a”,“”)、(“h”,“i”)和(“a”,“z”)中的每个编辑对进行log(频率)计算,并将log(频率)计算结果归一化到0.0到1.0的范围来确定编辑对(“a”,“”)、(“h”,“i”)和(“a”,“z”)的历史相似度得分。
在一些示例中,如果多个相似度得分中最小相似度得分高于预定阈值,则设备100或文本相似度量化模块206可以维持OCR文本字符串不变。
在一种可选实施方式中,设备100或文本相似度量化模块206可以确定文本相似度量化结果,并将文本相似度量化结果输出到输出模块216。文本相似度量化结果可以包括指示“接受”(如果多个相似度得分中最小相似度得分低于预定阈值)编辑文本字符串的系统通知消息或指示“拒绝”(如果多个相似度得分中最小相似度得分高于预定阈值)编辑文本字符串的系统通知消息,或指示用户账号存在潜在风险或锁定用户账户的系统警报。
图7是根据另一实施例示出的文本相似度量化方法700的流程图。
在步骤702,由历史数据库208、存储器模块104、或设备100或文本相似度量化模块206包括的其他模块将每个编辑对的相似度得分初始化为等于1.0。
在步骤704,将编辑对收集到历史数据库208、存储器模块104、或设备100或文本相似度量化模块206包括的其他模块中。
在步骤706,基于收集的数据计算历史数据库208、存储器模块104、或设备100或文本相似度量化模块206包括的其他模块中的编辑对的频率。
在步骤708,通过log(频率)计算,计算历史数据库208、存储器模块104、或设备100或文本相似度量化模块206包括的其他模块中的编辑对的历史相似度得分,并将计算出的历史相似度得分归一化到0.0到1.0的范围。
在步骤710,编辑对的相似度得分被更新为历史相似度得分。
在步骤712,当用户试图更正时,设备100或文本相似度量化模块206接收OCR文本字符串和编辑文本字符串,并通过编辑距离技术找到这两个文本字符串的所有最短操作路径。
在步骤714,设备100或文本相似度量化模块206通过将编辑对的历史相似度得分相加来计算最短操作路径的相似度得分,并选出所计算出的相似度得分中的最小相似度得分,来量化OCR文本字符串和编辑文本字符串之间的文本相似度。
在步骤716,设备100或文本相似度量化模块206通过比较最小相似度得分和预定阈值,决定接受用户的更正。
在步骤718,如果最小相似度得分低于预定阈值,则设备100或文本相似度量化模块206接受用户的更正。设备100或文本相似度量化模块206还将具有最小相似度得分的最短操作路径的编辑对添加到历史数据库208、存储器模块104、或设备100或文本相似度量化模块206包括的其他模块中。
图8示出了适合用作图1和图2所示设备100和文本相似度量化模块206、或图2所示的系统200的计算机系统的框图,该计算机系统执行根据图3至图7所示实施例的文本相似度量化方法的至少一些步骤。
仅通过示例的方式提供了对计算机系统/计算设备800的以下描述,而无意于限制本发明。
如图8所示,示例计算设备800包括用于执行软件例程的处理器804。尽管为了清楚起见示出了单个处理器,但是计算设备800也可以包括多处理器系统。处理器804连接到通信基础设施806,以与计算设备800的其他组件进行通信。通信基础设施806可以包括例如通信总线、交叉开关(cross-bar)或网络。
计算设备800还包括诸如随机存取存储器(RAM)之类的主存储器808和辅助存储器810。辅助存储器810可以包括例如硬盘驱动器812和/或可移动存储驱动器814,可移动存储驱动器814可以包括磁带驱动器、光盘驱动器等。可移动存储驱动器814以常规方式对可移动存储单元818进行读取和/或写入。可移动存储单元818可以包括被可移动存储驱动器814读取和写入的磁带、光盘等。相关领域技术人员可以理解,可移动存储单元818包括其中存储有计算机可执行程序代码指令和/或数据的计算机可读存储介质。
在一种可选实施方式中,辅助存储器810可以额外包括或选择性包括用于允许计算机程序或其他指令加载到计算设备800中的其他类似装置。这样的装置可以包括例如可移动存储单元822和接口820。可移动存储单元822和接口820的示例包括可移动存储芯片(例如EPROM或PROM)和相关联的插槽,以及其他可移动存储单元822和允许软件和数据从可移动存储单元822传输到计算机系统800的接口820。
计算设备800还包括至少一个通信接口824。通信接口824允许软件和数据经由通信路径826在计算设备800和外部设备之间传输。在各种实施例中,通信接口824允许数据在计算设备800和数据通信网络(诸如公共数据或私有数据通信网络)之间传输。通信接口824可用于在不同的计算设备800之间交换数据,这些计算设备800形成互连的计算机网络的一部分。通信接口824的示例可以包括调制解调器、网络接口(诸如以太网卡),通信端口、具有相关电路的天线等。通信接口824可以是有线的或者可以是无线的。软件和数据以信号的形式经由通信接口824传输,该信号可以是能够被通信接口824接收的电、电磁、光或其他信号。这些信号经由通信路径826被提供给通信接口。
在一种可选实施方式中,计算设备800进一步包括:显示器接口802,其执行用于将图像提供给关联的显示器830的操作;以及音频接口832,其执行用于经由关联的扬声器834播放音频内容的操作。
在本申请文件中,术语“计算机程序产品”部分程度上可以指代:可移动存储单元818、可移动存储单元822、安装在硬盘驱动器812中的硬盘,或通过通信路径826(无线链路或线缆)将软件传输到通信接口824的载波。计算机可读存储介质是指将记录的指令和/或数据提供给计算设备800以执行和/或处理的任何非暂时性有形存储介质。这种存储介质的示例包括软盘、磁带、CD-ROM、DVD、Blu-rayTM盘、硬盘驱动器、ROM或集成电路、USB存储器、磁光盘或诸如PCMCIA卡之类的计算机可读卡,这些部件无论是在计算设备800的内部还是外部均可。瞬态或非有形计算机可读传输介质也可以参与向计算设备800提供软件、应用程序、指令和/或数据。瞬态或非有形计算机可读传输介质的示例包括无线电或红外传输信道以及与其他计算机或网络设备的网络连接,以及包括电子邮件传输和在网站等上记录的信息的因特网或内部网。
计算机程序(也称为计算机程序代码)存储在主存储器808和/或辅助存储器810中。也可以经由通信接口824来接收计算机程序。此类计算机程序在被执行时使计算设备800能够实现本文所提供实施例中的一个或多个特征。在各种实施例中,计算机程序在被执行时使处理器804能够实现上述实施例的特征。因此,这样的计算机程序可以代表计算机系统800的控制器。
软件可以存储在计算机程序产品中,并使用可移动存储驱动器814、硬盘驱动器812或接口820加载到计算设备800中。在一种可选实施方式中,可以通过通信路径826将计算机程序产品下载到计算机系统800。该软件在由处理器804执行时使计算设备800执行本文描述的实施例的功能。
应该理解,图8的实施例仅以示例的方式给出。因此,在一些实施例中,可以省略计算设备800的一个或多个特征。而且,在一些实施例中,计算设备800的一个或多个特征可以被组合在一起。另外,在一些实施例中,计算设备800的一个或多个特征可以被分成一个或多个组成部分。
在一个实施例中,提供了一种文本相似度量化设备。该设备包括处理器(例如处理器804)和包括计算机程序代码的存储器(例如辅助存储器810)。存储器和计算机程序代码被配置为与处理器一起使设备至少:获得用编辑文本字符串更正光学字符识别(OCR)文本字符串的多个最短操作路径,其中,所述多个最短操作路径中的每一个包括一个或多个编辑对,所述一个或多个编辑对中的每一个表示在用所述编辑文本字符串进行更正期间对所述OCR文本字符串中的字符可执行的操作;确定所述多个最短操作路径的多个相似度得分,其中所述多个相似度得分中的每个所述相似度得分是通过对所述多个最短操作路径中的每个最短操作路径中的一个或多个编辑对的历史相似度得分进行求和来确定的;并选择所述多个相似度得分中最小相似度得分来量化所述OCR文本字符串和所述编辑文本字符串之间的文本相似度。
本说明书中描述的技术产生一种或多种技术效果。具体地,本发明不仅评估将一个文本字符串转换为另一文本字符串所需的最少操作次数,而且还量化了两个文本字符串之间的相关性,即,这些操作在两个文本字符串之间发生的可能性。具体地,本发明利用编辑对的频率来确定编辑对的历史相似度得分,并且认为编辑对被存储得越频繁,该编辑对表示的操作发生的次数越多,并且该编辑对表示的操作再次发生的可能性就越大。在这方面,在本发明中考虑了字符对之间的历史改变的频率来量化相同的字符对之间的未来改变。即,在本实施例中,使用编辑对的历史频率来对它们各自的视觉相似度进行建模,这使得对OCR文本的手动更正的自动验证的准确度令人满意。
本领域技术人员可以理解,在不背离本发明主旨或范围的前提下,如具体实施方式所例示,可以对本发明进行多种变化和/或修改。因此,本发明的实施例在各方面仅为说明性的,而非意图限制本发明。
Claims (12)
1.一种文本相似度量化设备,所述设备包括:
处理器;以及
包括计算机程序代码的存储器;
所述存储器和所述计算机程序代码被配置为,与所述处理器一起使得所述设备:
获得用编辑文本字符串更正光学字符识别OCR文本字符串的多个最短操作路径,其中,所述多个最短操作路径中的每一个最短操作路径包括一个或多个编辑对,所述一个或多个编辑对中的每一个编辑对表示在用所述编辑文本字符串进行更正期间对所述OCR文本字符串中的字符可执行的操作;
确定多个相似度得分,所述多个相似度得分中的每个相似度得分对应所述多个最短操作路径之一,其中所述多个相似度得分中的每个相似度得分是通过对所述多个最短操作路径中的每个最短操作路径中的所述一个或多个编辑对的历史相似度得分进行求和来确定的;以及
选择所述多个相似度得分中最小相似度得分来量化所述OCR文本字符串与所述编辑文本字符串之间的文本相似度;
所述设备进一步被使得:
将编辑对收集到历史数据库中;
计算在预定的时间段内所述编辑对被存储到所述历史数据库中的频率,作为所述历史数据库中所述编辑对的频率;以及
确定所述历史数据库中所述编辑对的历史相似度得分,其中,当确定所述历史相似度得分时,所述设备被使得:
对所述历史数据库中的每个所述编辑对的频率执行log计算;以及
将所述log计算归一化到0.0到1.0的范围:
其中从所述历史数据库中取得所述一个或多个编辑对的所述历史相似度得分;将具有最小相似度得分的最短操作路径中的编辑对添加到所述历史数据库中;以及
更新所述历史数据库中所述编辑对的历史相似度得分,其中,当更新所述历史相似度得分时,所述设备被使得:
计算所述历史数据库中与具有最小相似度得分的最短操作路径中的编辑对对应的编辑对的频率;以及
通过以下步骤确定所述历史数据库中与具有最小相似度得分的最短操作路径中的编辑对对应的编辑对的历史相似度得分:
对所述历史数据库中与具有最小相似度得分的最短操作路径中的编辑对对应的每个所述编辑对的频率执行log计算;以及
将所述log计算归一化到0.0到1.0的范围。
2.根据权利要求1所述的设备,其中,当获得所述多个最短操作路径时,所述设备被使得:
执行编辑距离计算,以利用所述编辑文本字符串更正所述OCR文本字符串,其中在用所述编辑文本字符串进行更正期间对所述OCR文本字符串中的字符可执行的操作是插入操作、删除操作或替换操作中之一。
3.根据权利要求1所述的设备,其中,所述设备进一步被使得:
如果所述多个相似度得分中的最小相似度得分低于预定阈值,则用所述编辑文本字符串更正所述OCR文本字符串。
4.根据权利要求1所述的设备,其中,所述设备进一步被使得:
如果所述多个相似度得分中的最小相似度得分高于预定阈值,则维持所述OCR文本字符串。
5.根据权利要求1所述的设备,其中,所述设备进一步被使得:
扫描数字图像以捕获所述OCR文本字符串,以及
捕获所述编辑文本字符串。
6.一种量化文本相似度的计算机实现方法,包括:
获得用编辑文本字符串更正光学字符识别OCR文本字符串的多个最短操作路径,其中,所述多个最短操作路径中的每一个最短操作路径包括一个或多个编辑对,所述一个或多个编辑对中的每一个编辑对表示在用所述编辑文本字符串进行更正期间对所述OCR文本字符串中的字符可执行的操作;
确定所述多个最短操作路径的多个相似度得分,其中所述多个相似度得分中的每个相似度得分是通过对所述多个最短操作路径中的每个最短操作路径中的所述一个或多个编辑对的历史相似度得分进行求和来确定的;以及
选择所述多个相似度得分中最小相似度得分来量化所述OCR文本字符串与所述编辑文本字符串之间的文本相似度;
将编辑对收集到历史数据库中;
计算在预定的时间段内所述编辑对被存储到所述历史数据库中的频率,作为所述历史数据库中所述编辑对的频率;以及
确定所述历史数据库中所述编辑对的历史相似度得分,其中,计算所述历史相似度得分包括:
对所述历史数据库中的每个所述编辑对的频率执行log计算;以及
将所述log计算归一化到0.0到1.0的范围:
其中,从所述历史数据库中取得所述一个或多个编辑对的所述历史相似度得分;
将具有最小相似度得分的最短操作路径中的编辑对添加到所述历史数据库中;以及
更新所述历史数据库中所述编辑对的历史相似度得分,其中,更新所述历史相似度得分包括:
计算所述历史数据库中与具有最小相似度得分的最短操作路径中的编辑对对应的编辑对的频率;以及
通过以下步骤确定所述历史数据库中与具有最小相似度得分的最短操作路径中的编辑对对应的编辑对的历史相似度得分:
对所述历史数据库中与具有最小相似度得分的最短操作路径中的编辑对对应的每个所述编辑对的频率执行log计算;以及
将所述log计算归一化到0.0到1.0的范围。
7.根据权利要求6所述的方法,其中,获得所述多个最短操作路径的步骤包括:
执行编辑距离计算,以利用所述编辑文本字符串更正所述OCR文本字符串,其中在用所述编辑文本字符串进行更正期间对所述OCR文本字符串中的字符可执行的操作是插入操作、删除操作或替换操作中之一。
8.根据权利要求6所述的方法,还包括:
如果所述相似度得分中的最小相似度得分低于预定阈值,则用所述编辑文本字符串更正所述OCR文本字符串。
9.根据权利要求6所述的方法,还包括:
如果所述多个相似度得分中的最小相似度得分高于预定阈值,则维持所述OCR文本字符串。
10.根据权利要求6所述的方法,还包括:
扫描数字图像以捕获所述OCR文本字符串,以及
捕获所述编辑文本字符串。
11.一种文本相似度量化系统,包括:
OCR设备,被配置为从数字图像中捕获OCR文本字符串;
输入设备,被配置为捕获用户编辑字符串;
用于对文本相似度进行量化的文本相似度量化设备,其中,所述文本相似度量化设备包括历史相似度得分确定设备,其中,所述文本相似度量化设备被配置为:
获得用编辑文本字符串更正光学字符识别OCR文本字符串的多个最短操作路径,其中,所述多个最短操作路径中的每一个最短操作路径包括一个或多个编辑对,所述一个或多个编辑对中的每一个编辑对表示在用所述编辑文本字符串进行更正期间对所述OCR文本字符串中的字符可执行的操作;
确定所述多个最短操作路径的多个相似度得分,其中所述多个相似度得分中的每个相似度得分是通过对所述多个最短操作路径中的每个最短操作路径中的所述一个或多个编辑对的历史相似度得分进行求和来确定的;以及
选择所述多个相似度得分中最小相似度得分来量化所述OCR文本字符串与所述编辑文本字符串之间的文本相似度;
将编辑对收集到历史数据库中;
计算在预定的时间段内所述编辑对被存储到所述历史数据库中的频率,作为所述历史数据库中所述编辑对的频率;以及
确定所述历史数据库中所述编辑对的历史相似度得分,其中,计算所述历史相似度得分包括:
对所述历史数据库中的每个所述编辑对的频率执行log计算;以及
将所述log计算归一化到0.0到1.0的范围:
其中,从所述历史数据库中取得所述一个或多个编辑对的所述历史相似度得分;
将具有最小相似度得分的最短操作路径中的编辑对添加到所述历史数据库中;以及
更新所述历史数据库中所述编辑对的历史相似度得分,其中,更新所述历史相似度得分包括:
计算所述历史数据库中与具有最小相似度得分的最短操作路径中的编辑对对应的编辑对的频率;以及
通过以下步骤确定所述历史数据库中与具有最小相似度得分的最短操作路径中的编辑对对应的编辑对的历史相似度得分:
对所述历史数据库中与具有最小相似度得分的最短操作路径中的编辑对对应的每个所述编辑对的频率执行log计算;以及
将所述log计算归一化到0.0到1.0的范围;以及
输出设备,被配置为输出文本相似度量化结果。
12.根据权利要求11所述的系统,其特征在于,所述文本相似度量化设备被使得:
响应于捕获到数字图像中的OCR文本字符串且捕获到与所述OCR文本字符串对应的编辑文本字符串,收集所述编辑对。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110891281.4A CN113723466B (zh) | 2019-05-21 | 2020-04-17 | 文本相似度量化方法、设备及系统 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SG10201904554T | 2019-05-21 | ||
SG10201904554TA SG10201904554TA (en) | 2019-05-21 | 2019-05-21 | Methods and devices for quantifying text similarity |
CN202110891281.4A CN113723466B (zh) | 2019-05-21 | 2020-04-17 | 文本相似度量化方法、设备及系统 |
CN202010313564.6A CN111985519B (zh) | 2019-05-21 | 2020-04-17 | 文本相似度量化方法、设备及系统 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010313564.6A Division CN111985519B (zh) | 2019-05-21 | 2020-04-17 | 文本相似度量化方法、设备及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113723466A CN113723466A (zh) | 2021-11-30 |
CN113723466B true CN113723466B (zh) | 2024-03-08 |
Family
ID=68062733
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110891281.4A Active CN113723466B (zh) | 2019-05-21 | 2020-04-17 | 文本相似度量化方法、设备及系统 |
CN202010313564.6A Active CN111985519B (zh) | 2019-05-21 | 2020-04-17 | 文本相似度量化方法、设备及系统 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010313564.6A Active CN111985519B (zh) | 2019-05-21 | 2020-04-17 | 文本相似度量化方法、设备及系统 |
Country Status (5)
Country | Link |
---|---|
US (2) | US10929710B2 (zh) |
CN (2) | CN113723466B (zh) |
MY (1) | MY189246A (zh) |
PH (1) | PH12019000463B1 (zh) |
SG (1) | SG10201904554TA (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022137634A (ja) * | 2021-03-09 | 2022-09-22 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN118211588B (zh) * | 2024-05-20 | 2024-08-13 | 品茗科技股份有限公司 | 文本数据相似度确定方法和系统 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102193993A (zh) * | 2011-04-20 | 2011-09-21 | 北京百度网讯科技有限公司 | 用于确定字符串信息间相似度信息的方法、装置和设备 |
CN103699233A (zh) * | 2013-12-20 | 2014-04-02 | 百度在线网络技术(北京)有限公司 | 字符串输入方法和输入装置 |
CN105183732A (zh) * | 2014-06-04 | 2015-12-23 | 广州市动景计算机科技有限公司 | 网页的处理方法及装置 |
CN105446957A (zh) * | 2015-12-03 | 2016-03-30 | 小米科技有限责任公司 | 相似性确定方法、装置及终端 |
CN105678244A (zh) * | 2015-12-31 | 2016-06-15 | 北京理工大学 | 一种基于改进编辑距离的近似视频检索方法 |
CN106033416A (zh) * | 2015-03-09 | 2016-10-19 | 阿里巴巴集团控股有限公司 | 一种字符串处理方法及装置 |
CN106250364A (zh) * | 2016-07-20 | 2016-12-21 | 科大讯飞股份有限公司 | 一种文本修正方法及装置 |
CN106997335A (zh) * | 2016-01-26 | 2017-08-01 | 阿里巴巴集团控股有限公司 | 相同字符串的判定方法及装置 |
US9727804B1 (en) * | 2005-04-15 | 2017-08-08 | Matrox Electronic Systems, Ltd. | Method of correcting strings |
CN107220639A (zh) * | 2017-04-14 | 2017-09-29 | 北京捷通华声科技股份有限公司 | Ocr识别结果的纠正方法和装置 |
CN108256587A (zh) * | 2018-02-05 | 2018-07-06 | 武汉斗鱼网络科技有限公司 | 一种字符串相似度的确定方法、装置、计算机及存储介质 |
CN109388252A (zh) * | 2017-08-14 | 2019-02-26 | 北京搜狗科技发展有限公司 | 一种输入方法及装置 |
CN109710929A (zh) * | 2018-12-18 | 2019-05-03 | 金蝶软件(中国)有限公司 | 一种语音识别文本的校正方法、装置、计算机设备和存储介质 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040181527A1 (en) * | 2003-03-11 | 2004-09-16 | Lockheed Martin Corporation | Robust system for interactively learning a string similarity measurement |
US8150161B2 (en) | 2008-09-22 | 2012-04-03 | Intuit Inc. | Technique for correcting character-recognition errors |
CN102722556B (zh) * | 2012-05-29 | 2014-10-22 | 清华大学 | 一种基于相似性度量的模型比对方法 |
US8655075B2 (en) | 2012-07-05 | 2014-02-18 | Sureprep, Llc | Optical character recognition verification and correction system |
US9384423B2 (en) * | 2013-05-28 | 2016-07-05 | Xerox Corporation | System and method for OCR output verification |
US9747273B2 (en) * | 2014-08-19 | 2017-08-29 | International Business Machines Corporation | String comparison results for character strings using frequency data |
US20170046668A1 (en) | 2015-08-16 | 2017-02-16 | Google Inc. | Comparing An Extracted User Name with Stored User Data |
CN107203567A (zh) * | 2016-03-18 | 2017-09-26 | 伊姆西公司 | 用于搜索字串的方法和设备 |
JP7189125B2 (ja) * | 2016-08-09 | 2022-12-13 | リップコード インコーポレイテッド | 電子記録のタグ付けのためのシステム及び方法 |
US10643183B2 (en) * | 2016-10-18 | 2020-05-05 | Google Llc | Search engine |
US10757218B2 (en) * | 2017-03-29 | 2020-08-25 | Alibaba Group Holding Limited | Method and apparatus for generating push notifications |
WO2019009916A1 (en) * | 2017-07-07 | 2019-01-10 | Hewlett-Packard Development Company, L.P. | ALIGNMENTS OF IMAGES THROUGH OPTICAL RECOGNITION OF CHARACTERS |
CN107909054B (zh) * | 2017-11-30 | 2021-05-04 | 任艳 | 图片文本的相似度评价方法及装置 |
-
2019
- 2019-05-21 SG SG10201904554TA patent/SG10201904554TA/en unknown
- 2019-11-29 MY MYPI2019007088A patent/MY189246A/en unknown
- 2019-12-05 PH PH12019000463A patent/PH12019000463B1/en unknown
-
2020
- 2020-02-14 US US16/791,858 patent/US10929710B2/en active Active
- 2020-04-17 CN CN202110891281.4A patent/CN113723466B/zh active Active
- 2020-04-17 CN CN202010313564.6A patent/CN111985519B/zh active Active
-
2021
- 2021-02-22 US US17/181,839 patent/US11210553B2/en active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9727804B1 (en) * | 2005-04-15 | 2017-08-08 | Matrox Electronic Systems, Ltd. | Method of correcting strings |
CN102193993A (zh) * | 2011-04-20 | 2011-09-21 | 北京百度网讯科技有限公司 | 用于确定字符串信息间相似度信息的方法、装置和设备 |
CN103699233A (zh) * | 2013-12-20 | 2014-04-02 | 百度在线网络技术(北京)有限公司 | 字符串输入方法和输入装置 |
CN105183732A (zh) * | 2014-06-04 | 2015-12-23 | 广州市动景计算机科技有限公司 | 网页的处理方法及装置 |
CN106033416A (zh) * | 2015-03-09 | 2016-10-19 | 阿里巴巴集团控股有限公司 | 一种字符串处理方法及装置 |
CN105446957A (zh) * | 2015-12-03 | 2016-03-30 | 小米科技有限责任公司 | 相似性确定方法、装置及终端 |
CN105678244A (zh) * | 2015-12-31 | 2016-06-15 | 北京理工大学 | 一种基于改进编辑距离的近似视频检索方法 |
CN106997335A (zh) * | 2016-01-26 | 2017-08-01 | 阿里巴巴集团控股有限公司 | 相同字符串的判定方法及装置 |
CN106250364A (zh) * | 2016-07-20 | 2016-12-21 | 科大讯飞股份有限公司 | 一种文本修正方法及装置 |
CN107220639A (zh) * | 2017-04-14 | 2017-09-29 | 北京捷通华声科技股份有限公司 | Ocr识别结果的纠正方法和装置 |
CN109388252A (zh) * | 2017-08-14 | 2019-02-26 | 北京搜狗科技发展有限公司 | 一种输入方法及装置 |
CN108256587A (zh) * | 2018-02-05 | 2018-07-06 | 武汉斗鱼网络科技有限公司 | 一种字符串相似度的确定方法、装置、计算机及存储介质 |
CN109710929A (zh) * | 2018-12-18 | 2019-05-03 | 金蝶软件(中国)有限公司 | 一种语音识别文本的校正方法、装置、计算机设备和存储介质 |
Non-Patent Citations (1)
Title |
---|
基于最优路径策略方法快速计算字符串编辑距离;王远超 等;成都信息工程学院学报(第06期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
US20200372293A1 (en) | 2020-11-26 |
US10929710B2 (en) | 2021-02-23 |
CN111985519B (zh) | 2021-07-27 |
CN113723466A (zh) | 2021-11-30 |
CN111985519A (zh) | 2020-11-24 |
US20210174136A1 (en) | 2021-06-10 |
SG10201904554TA (en) | 2019-09-27 |
PH12019000463A1 (en) | 2020-12-02 |
MY189246A (en) | 2022-01-31 |
PH12019000463B1 (en) | 2020-12-02 |
US11210553B2 (en) | 2021-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11816078B2 (en) | Automatic entity resolution with rules detection and generation system | |
CN114821622B (zh) | 文本抽取方法、文本抽取模型训练方法、装置及设备 | |
CN109522304B (zh) | 异常对象识别方法及装置、存储介质 | |
CN110472675B (zh) | 图像分类方法、图像分类装置、存储介质与电子设备 | |
CN108229287B (zh) | 图像识别方法和装置、电子设备和计算机存储介质 | |
CN112016553A (zh) | 光学字符识别(ocr)系统、自动ocr更正系统、方法 | |
CN111046879A (zh) | 证件图像分类方法、装置、计算机设备及可读存储介质 | |
CN111178147B (zh) | 屏幕破碎分级方法、装置、设备及计算机可读存储介质 | |
CN113723466B (zh) | 文本相似度量化方法、设备及系统 | |
CN113450147B (zh) | 基于决策树的产品匹配方法、装置、设备及存储介质 | |
CN109214501B (zh) | 用于识别信息的方法和装置 | |
US20200210459A1 (en) | Method and apparatus for classifying samples | |
CN113792659B (zh) | 文档识别方法、装置及电子设备 | |
CN114329034A (zh) | 基于细粒度语义特征差异的图像文本匹配判别方法及系统 | |
CN113988223A (zh) | 证件图像识别方法、装置、计算机设备及存储介质 | |
CN116665228B (zh) | 图像处理方法及装置 | |
CN111507850A (zh) | 核保方法及相关装置、设备 | |
CN116630749A (zh) | 工业设备故障检测方法、装置、设备以及存储介质 | |
CN113128278A (zh) | 一种图像识别方法及装置 | |
CN116977692A (zh) | 一种数据处理方法、设备以及计算机可读存储介质 | |
CN113743129B (zh) | 基于神经网络的信息推送方法、系统、设备及介质 | |
CN113936286A (zh) | 图像文本识别方法、装置、计算机设备及存储介质 | |
CN112784015A (zh) | 信息识别方法和装置、设备、介质和程序 | |
CN115205952B (zh) | 一种基于深度学习的线上学习图像采集方法及系统 | |
CN116204795A (zh) | 对象识别方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240930 Address after: Guohao Times City # 20-01, 128 Meizhi Road, Singapore Patentee after: Ant Shield Co.,Ltd. Country or region after: Singapore Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands Patentee before: Innovative advanced technology Co.,Ltd. Country or region before: Cayman Islands |