CN104134057B - 来自出版物的经ocr处理的文本和对应图像在客户端设备上的选择性显示 - Google Patents

来自出版物的经ocr处理的文本和对应图像在客户端设备上的选择性显示 Download PDF

Info

Publication number
CN104134057B
CN104134057B CN201410345954.6A CN201410345954A CN104134057B CN 104134057 B CN104134057 B CN 104134057B CN 201410345954 A CN201410345954 A CN 201410345954A CN 104134057 B CN104134057 B CN 104134057B
Authority
CN
China
Prior art keywords
text
text fragments
document
described image
image fragment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410345954.6A
Other languages
English (en)
Other versions
CN104134057A (zh
Inventor
V·兰纳卡
A·波帕特
F·豪根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN104134057A publication Critical patent/CN104134057A/zh
Application granted granted Critical
Publication of CN104134057B publication Critical patent/CN104134057B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/22—Character recognition characterised by the type of writing
    • G06V30/224—Character recognition characterised by the type of writing of printed characters having additional code marks or containing code marks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/12—Detection or correction of errors, e.g. by rescanning the pattern
    • G06V30/127—Detection or correction of errors, e.g. by rescanning the pattern with the intervention of an operator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Character Discrimination (AREA)
  • Character Input (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Document Processing Apparatus (AREA)

Abstract

使用光学字符识别(OCR)处理从出版物的源图像提取文本。生成包括所提取文本的文本片段的文档。该文档包括对与所显示文档的用户交互进行响应的控制模块。响应于用户对所显示文本片段的选择，从源图像中获取对应的包括该文本的图像片段，并将绘制该图像片段以取代所选择的文本片段。用户可以再次将显示切换回文本片段。可以利用指示其质量的垃圾得分来标记每个文本片段。如果文本片段的垃圾得分超过阈值的值，则可以自动地代之以显示对应的图像片段。

Description

来自出版物的经OCR处理的文本和对应图像在客户端设备上 的选择性显示
本申请是申请日为2010年1月25日、申请号为201080005734.9、发明名称为“来自出版物的经OCR处理的文本和对应图像在客户端设备上的选择性显示”的中国发明专利申请的分案申请。
技术领域
本公开总体上地涉及光学字符识别(OCR)领域，特别是涉及显示使用OCR提取的文本以及显示从中提取该文本的原始图像。
背景技术
随着越来越多的印刷文档被扫描并使用光学字符识别(OCR)技术被转换至可编辑文本，人们越来越多地使用计算机阅读此类文档。当在计算机屏幕上阅读文档时，用户通常更偏爱经OCR处理的版本而不是图像版本。与文档图像相比，经OCR处理的文本大小较小，并且由此可以更有效地通过计算机网络传输。经过OCR处理的文本还是可编辑的(例如，支持拷贝和粘贴)和可搜索的，并且可以被清晰地(例如，使用本地可用的字体)且灵活地(例如，使用调整适合于计算机屏幕的布局)显示，这提供了更好的阅读体验。上述优点尤其有益于那些偏爱在他们的移动设备(诸如，移动电话和音乐播放器)上阅读的用户。
然而，在OCR处理的文本中经常存在错误。此类错误可能是由于文档中瑕疵、在扫描处理期间引入的赝像以及OCR引擎的缺点。这些错误可以干扰使用和享受经OCR处理的文本，并削弱此类文本的优势。由此，需要一种方式来实现使用经OCR处理的文本的益处，同时将由OCR处理引入的错误的影响最小化。
发明内容
本公开的实施方式包括用于显示使用OCR从图形中提取的文本的方法(以及相应的系统和计算机程序产品)。
在一个方面，针对经OCR处理的文本片段的集合而生成经OCR处理的文档。文档中的每个文本片段利用唯一地标识矩形图像片段的信息来标记，该矩形图像片段包括来自原始文档的图像序列中的原始文本图像中的文本片段。该文档还包括响应于用户选择而使得读者能够在经OCR处理的文本和相应图像片段之间切换文本片段的显示的程序代码。
在另一方面，针对每个文本片段计算垃圾得分。经OCR处理的文档中的每个文本片段利用其垃圾得分来标记。当加载经OCR处理的文档时，嵌入的程序代码将每个文本片段的垃圾得分与阈值的值相比较。如果文本片段的垃圾得分低于该阈值，则程序代码显示文本片段。否则，程序代码显示图像片段以取代文本片段。用户可以通过选择文本片段而切换显示。
本公开的实施方式还包括一种用于显示文档的计算机实现的方法，该方法包括：接收包括响应于对图像片段执行光学字符识别(OCR)处理而生成的至少一个文本片段的文档，其中文本片段与质量度量关联；将文本片段的质量度量与质量阈值比较；以及响应于质量度量不满足质量阈值，在客户端设备的显示器上显示文本片段经由OCR从其生成的图像片段而不显示文本片段。
本公开的实施方式还包括一种用于显示文档的装置，该装置包括：用于接收包括响应于对图像片段执行光学字符识别(OCR)处理而生成的至少一个文本片段的文档的装置，其中文本片段与质量度量关联；用于将文本片段的质量度量与质量阈值比较的装置；以及用于响应于质量度量不满足质量阈值、在客户端设备的显示器上显示文本片段经由OCR从其生成的图像片段而不显示文本片段的装置。
本公开的实施方式还包括一种用于显示出版物的系统，该系统包括：一个或多个计算机处理器；以及一个或多个计算机处理器；以及非瞬态计算机可读存储介质，该非瞬态计算机可读存储介质编码有适于在一个或多个计算机处理器上执行的计算机程序代码，该计算机程序代码用于：接收包括响应于对图像片段执行光学字符识别(OCR)处理而生成的至少一个文本片段的文档，其中文本片段与质量度量关联；将文本片段的质量度量与质量阈值比较；以及响应于质量度量不满足质量阈值，在客户端设备的显示器上显示文本片段经由OCR从其生成的图像片段而不显示文本片段。
在说明书中描述的特征和优点并非是全面包括的，尤其是，参考附图、说明书和权利要求书，许多附加特征和优点对于本领域普通技术人员是易见的。此外，应当注意，说明书中使用的语言是出于易读性和指示性目的而选择，而并非选择用于描绘和限制所公开的主题。
附图说明
图1是根据本公开一个实施方式的计算环境的高层次框图；
图2是例示出根据本公开一个实施方式的用于在图1中示出的计算环境中使用的计算机的示例的高层次框图；
图3是例示出根据本公开一个实施方式的在文档服务系统内的模块的高层次框图；
图4是例示出根据本公开一个实施方式的文档服务系统的操作的流程图；
图5是例示出根据本公开一个实施方式的由文档服务系统生成的控制模块的操作的流程图；
图6A至6C是例示出根据本公开一个实施方式的由文档服务系统生成的阅读web页面的用户体验的截屏。
具体实施方式
在此描述的计算环境使得经过OCR处理的文档的读者能够方便地在经过OCR处理的文本片段和包括该文本片段的源图像的片段之间切换显示。
附图以及下文的描述仅通过例示的方式描述了特定实施方式。从下文的描述中，本领域技术人员将易于认识到，在不脱离在此描述的原理的情况下，可以使用在此例示的结构和方法的备选实施方式。现在将详细参考若干实施方式，该实施方式的示例在附图中例示出。应当注意，在任何可行处，类似或者相似的参考标号可以在附图中使用，并且可以指示类似或者相似的功能。
系统环境
图1是例示出根据本公开一个实施方式的计算环境100的高层次框图，该计算环境100用于将印刷出版物转换至经过OCR处理的文本、并如所期望地允许读者查看经OCR处理的文本和相应的源图像。如所示出的，计算环境100包括扫描仪110、OCR引擎120、文档服务系统130和客户端设备140。仅示出了各实体中的一个以便使得当前的描述简化和清晰。在计算环境100中还可以存在其他实体。在某些实施方式中，OCR引擎120和文档服务系统130结合为单一实体。
扫描仪110是硬件设备，配置用于光学地扫描印刷的出版物(例如，书本、报纸)并将该印刷的出版物转换成数字文本图像。扫描仪110的输出被馈送至OCR引擎120中。
OCR引擎120是硬件设备和/或软件程序，配置用于将源图像转换(或转化)为可编辑文本(下文中称为经OCR处理的文本)。OCR引擎120使用计算机算法处理源图像并生成相应的经OCR处理的文本。
此外，OCR引擎120生成并输出描述包含在源图像中经OCR处理的文本的图像片段的位置信息。例如，对于每个文本片段(例如，段落、栏目、标题)，OCR引擎120提供描述包围盒的值集合，该 包围盒唯一地指定包含文本片段的源图像的片段。描述包围盒的值包括在x轴和y轴上的矩形的左上角的二维坐标以及该矩形的宽度和高度。由此，该包围盒将源图像的区域唯一地标识为对应于文本片段的图像片段。在其他实施方式中，包围盒可以使用矩形以外的其他形状指定。
OCR引擎120还可以生成测量经OCR处理的文本质量的置信度级别。此外，OCR引擎120可以生成诸如格式信息(例如，字体、字体大小、样式)的其他信息。OCR引擎120的示例包括ABBYY FineReader OCR、ADOBE Acrobat Capture和MICROSOFT Office DocumentImaging。OCR引擎120的输出被馈送至文档服务系统130。
文档服务系统130是配置用于向用户提供印刷出版物的电子呈现的计算机系统。文档服务系统130存储从OCR引擎120接收的信息，该信息包括经OCR处理的文本、源图像、将经OCR处理的文本片段关联于源图像片段的位置信息以及置信度级别。在一个实施方式中，文档服务系统130使用所接收的信息，针对经OCR处理的文本的每个文本片段计算用于测量其整体质量的“垃圾得分”。此外，文档服务系统130包括可以由客户端设备140执行的控制模块132。控制模块132允许客户端设备140的用户选择性地切换文本片段和相应图像片段的显示，由此允许查看经OCR处理的文本或者从中生成该文本的印刷出版物的源图像的部分。
在一个实施方式中，文档服务系统130向用户提供web站点以使用客户端设备140如同web页面那样阅读经OCR处理的印刷出版物。一旦从客户端设备接收到印刷出版物特定部分的请求，则文档服务系统130生成包含该出版物的所请求部分的文档(例如，web页面)。在一个实施方式中，文档包括出版物的所请求部分(例如，书本的章节的文本)内的文本片段。此外，文档包括：将文本片段与对应的图像片段相关联的位置信息，以及该文本片段的垃圾得分。文档还包括控制模块132。文档服务系统130向请求客户端设备140提供所生成的文档。
客户端设备140是计算机系统，配置用于从文档服务系统130请求文档，以及作为响应而显示所接收的文档。此功能可以由诸如在客户端设备140上执行的web浏览器(例如，Microsoft Internet ExplorerTM、Mozilla FirefoxTM和Apple SafariTM)的阅读应用142提供。阅读应用142执行从文档服务系统130接收的文档中所包括的控制模块132，该控制模块132转而允许用户在文本片段的显示和对应图像片段的显示之间切换文档的部分。
扫描仪110与OCR引擎120可通信地连接；OCR引擎120与文档服务系统130可通信地连接；并且文档服务系统130与客户端设备140可通信地连接。连接中的任一项可以通过有线网络或无线网络进行。网络示例包括因特网、内联网、WiFi网络、WiMAX网络、移动电话网络或者其结合。
计算机架构
使用一个或者多个计算机来实现在图1示出的实体。图2是例示出示例计算机200的高层次框图。计算机200包括耦合至芯片集204的至少一个处理器202。芯片集204包括存储器控制器集线器220和输入/输出(I/O)控制器集线器222。存储器206和图形适配器212耦合至存储器控制器集线器220，并且显示器218耦合至图形适配器212。存储设备208、键盘210、指点设备214、网络适配器216耦合至I/O控制器集线器222。计算机200的其他实施方式具有不同的架构。
存储设备208是诸如硬件驱动、光盘只读存储器(CD-ROM)、DVD或者固态存储器设备的计算机可读存储介质。存储器206保持由处理器202使用的指令和数据。指点设备214是鼠标、轨迹球或者其他类型的指示设备，并与键盘210结合使用以向计算机系统200输入数据。图形适配器212在显示器218上显示图像和其他信息。网络适配器212将计算机系统200耦合至一个或者多个计算机网络。
计算机200适用于执行用于提供在此描述的功能的计算机程序 模块。如在此使用的，术语“模块”指代用于提供特定功能的计算机程序逻辑。因而，模块可以被实现为硬件、固件和/或软件。在一个实施方式中，程序模块存储在存储设备208上，被加载到存储器206中并且由处理器202执行。
由图1的实体使用的计算机200的类型可以取决于由该实体所需要的实施方式和所需的处理能力而有所变化。例如，文档服务系统130可以包括多个在一起工作的刀片服务器以提供在此描述的功能。作为另一示例，客户端设备140可以包括具有有限处理能力的移动电话。计算机200可以不具有在此描述的某些组件，诸如键盘210、图形适配器212和显示器218。
文档服务系统的示例性架构概览
图3是例示出根据一个实施方式的在文档服务系统130内的模块的详细视图的高层次框图。文档服务系统130的某些实施方式具有不同于在此所述的模块和/或具有其他模块。类似地，功能可以按照不同于在此描述的方式，根据其他实施方式而在模块之间分布。如所例示出的，文档服务系统130包括文本评估引擎310、代码生成模块320、文本生成模块330、输入/输出管理模块(在此称为I/O模块)340和数据存储350。
文本评估引擎310基于由OCR引擎120提供的信息而生成文本片段的垃圾得分。垃圾得分是测量文本片段的整体质量的数字值。在一个实施方式中，垃圾得分在0和100的范围之间，其中0指示高文本质量，而100指示低文本质量。
为了生成垃圾得分，文本评估引擎310的一个实施方式针对在文本片段中的每个字符而生成语言条件性字符概率的集合。每个语言条件性字符概率指示在文本片段中位于前部的字符和字符集合与语言模型相一致的程度。位于前部的字符集合通常限于较小数量(例如，4-8个字符)，使得基于该模型赋予复合词和其他联合词中的字符以强概率值。语言条件性字符概率可以与文本质量的其他指示符 (例如，由OCR引擎120提供的置信度水平)相结合，以针对文本片段中的每个字符生成文本质量得分。此类值的计算允许文本质量的位置特定的分析。
文本评估引擎310结合与文本片段中的字符相关联的文本质量得分的集合，以生成表征文本片段的质量的垃圾得分。文本评估引擎310可以将与文本片段中的字符相关联的文本质量得分求平均，以生成垃圾得分。
代码生成模块320生成或者以其他方式提供控制文档在客户端设备140上的显示的控制模块132。在一个实施方式中，使用浏览器可执行代码(使用诸如JAVASCRIPT、JAVA或者Perl的编程语言)来实现控制模块132。代码生成模块320可以包括或者与诸如GoogleWeb工具集的应用通信，和/或提供允许开发者开发控制模块132的集成开发环境(IDE)。取决于实施方式，代码生成模块320可以存储控制模块132的预创建的实例，该控制模块132可以包括在向客户端设备140提供的文档中，或者在从文档服务系统130请求文档的客户端设备140时，可以实时地形成控制模块132。
文本生成模块330生成向请求客户端设备140提供出版物的部分的文档。在一个实施方式中，所生成的文档是使用超文本标记语言(HTML)形成的web页面。其他的实施方式生成非web页面的文档，诸如便携文档格式(PDF)文档和/或使用HTML以外的语言形成的web页面。
为了生成文档，文本生成模块330标识由客户端设备140请求的出版物和部分，并且从数据存储350获取构成该部分的文本片段。文本生成模块330生成具有文本片段的文档，另外还利用将文本片段与来自源图像的相应图像片段进行相关的位置信息来标记该文档中的每个文本片段。文本生成模块330还利用其相关联的垃圾得分来标记每个文本片段。此外，文本生成模块330在文档中嵌入由代码生成模块320提供的控制模块132。文本生成模块330可以在当经OCR处理的文本变为可用时生成文档。备选的是，文本生成模块330 可以按需(例如，基于来自客户端设备140的请求)动态地生成文档。
I/O模块340管理文档服务系统130的输入和输出。例如，I/O模块340把从OCR引擎120接收的数据存储在数据存储350中，并且激活文本评估引擎310以生成相应的垃圾得分。作为另一示例，I/O模块340从客户端设备140接收请求，并激活生成模块330以作为响应而提供所请求的文档。如果文档服务系统接收针对图像片段的请求，则I/O模块340从数据存储350获取图像片段，并将其提供给客户端设备140。在一个实施方式中，I/O模块340在向客户端设备140返回图像片段之前处理该图像片段。例如，I/O模块340可以基于显示文档的客户端设备140的屏幕分辨率，调整图像片段的大小和/或分辨率。
数据存储350存储由文档服务系统130使用的数据。此类数据的示例包括经OCR处理的文本和相关联的信息(例如，垃圾得分、位置信息)、源图像以及所生成的文档。数据存储350可以是关系数据库或者任何其他类型的数据库。
文档和控制模块
根据一个实施方式，文档服务系统130利用嵌入式控制模块132来生成文档。文档包括利用用于标识相应图像片段的信息而被标记的文本片段。还使用设计用于模拟源图像中的原始文本的格式信息来标记文本片段。此类格式信息可以包括字体、字体大小和样式(例如，斜体、粗体、带下划线)。
控制模块132的一个实施方式包括处理与文档相关的事件的事件处理机。例如，响应于文档被加载到客户端设备140处的web浏览器(on-load事件)，控制模块132使用HTML文本标记来生成所包括的文本片段的显示。作为另一示例，响应于对文本片段的用户选择，控制模块132在文本片段和对应的图像片段之间切换显示。
在一个实施方式中，当web页面由web浏览器加载时，嵌入式 控制模块将每个文本片段的垃圾得分与阈值进行比较，以确定文本片段是否具有足够的质量以用于显示。如果垃圾得分等于或者低于该阈值，则控制模块使用诸如以下HTML代码来显示文本片段：
<pid＝′pageID.40.paraID.1.box.103.454.696.70.garbage.40′><i>Thecourtyard of the Sheriff&#39；s house.A chapel.A shed in which is ablacksmith&#39；s forge with fire.A prison near which is an anvil，before whichWill Scarlet is at work making a sword.</i></p>
上述HTML代码包括以斜体样式显示如下文字：“The courtyard of the Sheriff’s house.A chapel.A shed in which is a blacksmith’s forge with fire.A prisonnear which is an anvil，before which Will Scarlet is at work making a sword.”使用如下信息“id＝′pageID.40.paraID.1.box.103.454.696.70.garbage.40′”来标记该段落，这指示对应的图像片段定位于页面40(pageID.40)，第1段(paraID.1)，图像片段的左上角位于(103，454)，该图像片段高度为696像素而长度为70像素，并且相关联的垃圾得分是40(garbage.40)。
如果垃圾得分超过阈值，则控制模块132自动地获取图像片段，并使用诸如以下HTML代码来显示图像片段而不是文本片段：
<p id＝′pageID.40.paraID.1.box.103.454.696.70.garbage.40′><img src＝″image？bookID＝0123&pageID＝40&paraID＝1&x＝103&y＝454&h＝696&w＝70″display＝″100％″></p>
上述HTML代码获取包含与上述段落相同的文本的图像片段，并且在文本片段处显示图像片段。应当注意，bookID可以由文本生成模块330硬编码到文档中。阈值的值可以由用户设置或者在文档中预置。
用户还可以指定文档是显示文本片段还是图像片段。例如，用 户可以使用键盘或者指示设备来激活文本片段，或者在触敏屏上标记文本片段。响应于用户选择，控制模块132动态地在文本片段和对应的图像片段之间切换显示。当显示从文本片段切换至图像片段时，控制模块132利用唯一地标识图像片段(例如，页面号、段号、包围盒)的信息，从文档服务系统130请求图像片段，向web页面中插入图像片段的图像标记，并且向向用户绘制该图像片段以取代经OCR处理的文本。即使文本片段没有被显示，其也被存储于本地变量中，使得当用户切换回来时可以容易地显示对应对文本。
通常，当显示图像片段时，控制模块132配置为100％地显示，这指示图像将被重置尺寸为充满屏幕的整个宽度。然而，当文本片段(例如，简短表达或者诸如“第一章”的标题行)是非常短(例如，小于一行的50％)时，控制模块可以配置用于以与屏幕宽度类似的比例显示图像。
文档服务系统方法论概览
图4是根据本发明一个实施方式的用于文档服务系统130交互式地向由用户向客户端设备140提供文档以用于查看的方法400的流程图。其他实施方式可以以不同的顺序执行方法400的步骤。并且，其他实施方式可以包括在此描述的之外的不同步骤和/或附加步骤。文档服务系统130可以并发地和/或并行地执行方法400的步骤的多个实例。
初始地，文档服务系统130从OCR引擎120接收经OCR处理的文本、源图像和相关联的信息(例如，位置信息、置信度水平)(410)。文档服务系统130(例如，通过文本评估引擎310)计算每个经OCR处理的文本片段的垃圾得分(420)，并且(例如，通过代码生成模块320)生成将被包括在文档中的控制模块132(430)。
文档服务系统130从客户端设备140接收针对出版物的一部分(例如，书中的章节)的请求(440)，从数据存储350获取构成所请求部分的文本片段，并生成诸如包括文本片段的web页面的文档 (450)。利用包括位置信息和垃圾得分的相关属性来标记文本片段。所生成的文档还包括控制模块132。文档服务系统130向请求所生成的文档的客户端设备140发送该文档。
如上所述，用户可以与文档交互以查看图像片段而非对应的文本片段。当在客户端设备140处执行的控制模块132接收到显示图像片段的请求时，该控制模块132向文档服务系统130传输具有唯一地标识该图像片段的图像请求。文档服务系统130接收图像请求(470)，获取所请求的图像片段(480)，并将该图像片段传输给客户端设备140以用于显示(490)。该图像请求可以提供附加信息，诸如显示文档的屏幕的分辨率。在向客户端设备140传输经处理的图像片段用于显示(490)之前，文档服务系统130可以基于此类信息处理该图像片段(例如，重设大小、调整分辨率)。
针对控制模块的方法论概览
图5是根据一个实施方式例示出在文档中包括的控制模块132的操作500的流程图。当文档由应用来显示时，通过客户端设备140处的阅读应用142(例如，web浏览器)来执行控制模块132。在备选实施方式中，控制模块132的功能通过阅读应用142自身来提供(例如，通过插件小应用提供)。因而，控制模块132不需要被包括在由文档服务系统130向客户端设备140发送的文档中。
如所示出的，当加载文档时，控制模块132生成文档的显示(510)。如上所述，控制模块132将每个文本片段的垃圾得分与阈值的值进行比较，以确定是显示文本片段还是显示对应的图像片段。
控制模块132监视并且检测用户对所显示片段的选择(520)。控制模块132确定所选择的片段当前被显示为文本片段还是图像片段。如果所显示的片段是文本片段，则控制模块132请求对应的图像片段(540)，接收所请求的图像片段(550)，并且显示所接收的图像片段以取代文本片段(560)。否则，控制模块132以文本片段替换用于图像片段的图像标记(570)。在一个实施方式中，控制 模块132在文档中本地存储未显示的文本片段(例如，在本地JavaScript变量中)，使得在当用户将显示切换回到文本时不需要从文档服务系统130请求和获取文本片段。在显示切换之后，控制模块132恢复监视用户选择。
示例
图6A至图6C是根据本公开的一个实施方式示出了与文档交互的用户体验截屏。在此示例中，文档是web页面。如图6A所示，用户使用APPLE iPHONE客户端获取针对标题为“AChristmas Carol：Being a Ghost of Christmas Past”的经OCR处理的图书而生成的web页面。该web页面包括图书的第120-130页。
用户期望查看段落610的图像片段，并点击该段落的显示。如图6B所示，作为响应，控制模块132利用间隙(interstitial)图像620替换段落610的文本片段。间隙图像620示出文本“Loading original book image...(点击该图像以返回先前视图)”。间隙图像620被设计用于帮助用户理解动作，以及提供如何返回的清晰引导。例如，如果客户端设备140的网络连接情况差，则可能会花费一段时间来加载包含段落610的原始图像片段。用户可以点击间隙图像620来取消动作，并恢复查看文本片段。间隙图像620还有助于减小所感知到的加载时间。
如图6C所示，当获取图像片段630时，控制模块132切换到图像片段630以替换文本片段。用户继而可以再次点击以返回如图6A所示的文本片段。
上述说明的某些部分以算法过程或操作的形式描述了实施方式。这些算法描述和表示通常由数据处理技术领域的技术人员使用，以向本领域其他技术人员有效地传递他们工作的实质。尽管这些操作以功能、计算或者逻辑方式描述，然而应当理解为可以由包括由处理器或者等效电子电路执行的指令、微代码等的计算机程序执行。而且，还证明了将这些功能操作的布置称为模块有时候是方便的。 所描述的操作和他们相关联的模块也可以嵌入到软件、固件、硬件、或者任何他们的结合中。
如在此使用的，对于“一个实施方式”或者“一种实施方式”的任何引用意味着，与实施方式结合描述的特定元素、特征、结构或者特性被包括在至少一个实施方式中。在说明书中不同位置处出现的术语“在一个实施方式中”不必全指代相同的实施方式。
可以使用表述“耦合”和“连接”及其变型来描述某些实施方式。应当理解，这些术语并不旨在作为彼此的同义词。例如，可以使用术语“连接”来描述某些实施方式，以指示两个或者更多元件物理地或者电气地彼此直接接触。在另一示例中，可以使用术语“耦合”来描述某些实施方式，以指示两个或者更多元件物理地或电气地直接接触。然而，术语“耦合”还可以表示两个或者更多元件不是彼此直接地接触，而是彼此协作或者交互。实施方式不限于此内容。
如在此使用的，术语“包括”、“包括了”、“包含”、“包含了”、“具有”、“具有了”或者其任何其他变形旨在覆盖非排他性的包括。例如，包括一系列元件的处理、方法、物品或者装置不必仅限于那些元件，而是可以包括没有明确列出其他元件的或者对于此类过程、方法、物品或者装置固有的其他元件。此外，除非相反地明确阐明，“或者”是指包含式的或者，而不是排他式的或者。例如，在符合以下任一项时满足条件A或B：A为真(或者存在)并且B为假(或者不存在)、A为假(或者不存在)并且B为真(或者存在)、以及A和B两者均为真(或者存在)。
此外，可以使用“一”或者“一种”来描述在此的实施方式的元件或者组件。这仅仅是出于方便并且为了给出了本公开的概括含义而使用。此描述将被解读为包括一个或者至少一个，并且除非很明显不是这样，否则该单数还可以包括复数。
在阅读本公开时，本领域技术人员应当理解仍然有用于显示经OCR处理的文本的系统和过程的其他备选结构性和功能性设计。因而，尽管已经例示出和描述了特定实施方式和应用，应当理解，本 发明不限于在此公开的精确构成和组件，并且在不脱离所附权利要求书定义的精神和范围的情况下，可以针对在此公开的方法和装置的布置、操作和细节做出对本领域技术人员易见的各种修改、改变和变形。

Claims (20)

1.一种用于显示文档的计算机实现的方法，所述方法包括：
接收包括响应于对图像片段执行光学字符识别(OCR)处理而生成的至少一个文本片段的文档，其中所述文本片段与质量度量关联；
将所述文本片段的所述质量度量与质量阈值比较；以及
响应于所述质量度量不满足所述质量阈值，在客户端设备的显示器上显示所述文本片段经由OCR从其生成的所述图像片段而不显示所述文本片段。
2.根据权利要求1所述的方法，进一步包括：
响应于所述质量度量满足所述质量阈值，在所述客户端设备的所述显示器上显示所述文本片段。
3.根据权利要求2所述的方法，其中所述文本片段响应于用户对所述文本片段的选择而被所述图像片段替换。
4.根据权利要求1所述的方法，进一步包括：
响应于用户对所述图像片段的选择，在所述客户端设备的所述显示器上用所述文本片段替换所述图像片段。
5.根据权利要求1所述的方法，其中所述文档包括将所述文本片段与所述图像片段进行相关的位置信息，其中显示所述图像片段进一步包括：
标识所述文本片段在所述文档中的所述位置信息；以及
传输针对所述图像片段的请求，所述请求包括所标识的所述位置信息。
6.根据权利要求5所述的方法，其中针对所述图像片段的所述请求被传输至远程服务器，并且所述图像片段从所述远程服务器被获取。
7.根据权利要求5所述的方法，其中所述位置信息描述源图像中的包括所述文本片段中所包含的文本的区域。
8.一种用于显示文档的装置，所述装置包括：
用于接收包括响应于对图像片段执行光学字符识别(OCR)处理而生成的至少一个文本片段的文档的装置，其中所述文本片段与质量度量关联；
用于将所述文本片段的所述质量度量与质量阈值比较的装置；以及
用于响应于所述质量度量不满足所述质量阈值、在客户端设备的显示器上显示所述文本片段经由OCR从其生成的所述图像片段而不显示所述文本片段的装置。
9.根据权利要求8所述的装置，进一步包括：
用于响应于所述质量度量满足所述质量阈值、在所述客户端设备的所述显示器上显示所述文本片段的装置。
10.根据权利要求9所述的装置，其中所述文本片段响应于用户对所述文本片段的选择而被所述图像片段替换。
11.根据权利要求8所述的装置，进一步包括：
用于响应于用户对所述图像片段的选择、在所述客户端设备的所述显示器上用所述文本片段替换所述图像片段的装置。
12.根据权利要求8所述的装置，其中所述文档包括将所述文本片段与所述图像片段进行相关的位置信息，并且进一步包括：
用于标识所述文本片段在所述文档中的所述位置信息的装置；以及
用于传输针对所述图像片段的请求的装置，所述请求包括所标识的所述位置信息。
13.根据权利要求12所述的装置，其中针对所述图像片段的所述请求被传输至远程服务器，并且所述图像片段从所述远程服务器被获取。
14.根据权利要求12所述的装置，其中所述位置信息描述源图像中的包括所述文本片段中所包含的文本的区域。
15.一种用于显示出版物的系统，所述系统包括：
一个或多个计算机处理器；以及
非瞬态计算机可读存储介质，所述非瞬态计算机可读存储介质编码有适于在所述一个或多个计算机处理器上执行的计算机程序代码，所述计算机程序代码用于：
接收包括响应于对图像片段执行光学字符识别(OCR)处理而生成的至少一个文本片段的文档，其中所述文本片段与质量度量关联；
将所述文本片段的所述质量度量与质量阈值比较；以及
响应于所述质量度量不满足所述质量阈值，在客户端设备的显示器上显示所述文本片段经由OCR从其生成的所述图像片段而不显示所述文本片段。
16.根据权利要求15所述的系统，进一步包括：
响应于所述质量度量满足所述质量阈值，在所述客户端设备的所述显示器上显示所述文本片段。
17.根据权利要求16所述的系统，其中所述文本片段响应于用户对所述文本片段的选择而被所述图像片段替换。
18.根据权利要求15所述的系统，进一步包括：
响应于用户对所述图像片段的选择，在所述客户端设备的所述显示器上用所述文本片段替换所述图像片段。
19.根据权利要求15所述的系统，其中所述文档包括将所述文本片段与所述图像片段进行相关的位置信息，其中显示所述图像片段进一步包括：
标识所述文本片段在所述文档中的所述位置信息；以及
传输针对所述图像片段的请求，所述请求包括所标识的所述位置信息。
20.根据权利要求19所述的系统，其中所述位置信息描述源图像中的包括所述文本片段中所包含的文本的区域。
CN201410345954.6A 2009-01-28 2010-01-25 来自出版物的经ocr处理的文本和对应图像在客户端设备上的选择性显示 Active CN104134057B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US14790109P 2009-01-28 2009-01-28
US61/147,901 2009-01-28
US12/366,547 2009-02-05
US12/366,547 US8373724B2 (en) 2009-01-28 2009-02-05 Selective display of OCR'ed text and corresponding images from publications on a client device
CN201080005734.9A CN102301380B (zh) 2009-01-28 2010-01-25 来自出版物的经ocr处理的文本和对应图像在客户端设备上的选择性显示

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201080005734.9A Division CN102301380B (zh) 2009-01-28 2010-01-25 来自出版物的经ocr处理的文本和对应图像在客户端设备上的选择性显示

Publications (2)

Publication Number Publication Date
CN104134057A CN104134057A (zh) 2014-11-05
CN104134057B true CN104134057B (zh) 2018-02-13

Family

ID=42353827

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201080005734.9A Active CN102301380B (zh) 2009-01-28 2010-01-25 来自出版物的经ocr处理的文本和对应图像在客户端设备上的选择性显示
CN201410345954.6A Active CN104134057B (zh) 2009-01-28 2010-01-25 来自出版物的经ocr处理的文本和对应图像在客户端设备上的选择性显示

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201080005734.9A Active CN102301380B (zh) 2009-01-28 2010-01-25 来自出版物的经ocr处理的文本和对应图像在客户端设备上的选择性显示

Country Status (5)

Country Link
US (4) US8373724B2 (zh)
JP (2) JP5324669B2 (zh)
KR (1) KR101315472B1 (zh)
CN (2) CN102301380B (zh)
WO (1) WO2010088182A1 (zh)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8373724B2 (en) * 2009-01-28 2013-02-12 Google Inc. Selective display of OCR'ed text and corresponding images from publications on a client device
US8442813B1 (en) 2009-02-05 2013-05-14 Google Inc. Methods and systems for assessing the quality of automatically generated text
US20120050819A1 (en) * 2010-08-30 2012-03-01 Jiang Hong Approach For Processing Scanned Document Data
US20120050818A1 (en) * 2010-08-31 2012-03-01 Kaoru Watanabe Sending scanned document data through a network to a mobile device
US9083826B2 (en) * 2010-08-31 2015-07-14 Ricoh Company, Ltd. Tracking the processing of electronic document data by network services using trace
US8515930B2 (en) 2010-08-31 2013-08-20 Ricoh Company, Ltd. Merging a scanned document with an existing document on a server
US20120159376A1 (en) * 2010-12-15 2012-06-21 Microsoft Corporation Editing data records associated with static images
TW201310355A (zh) * 2011-08-19 2013-03-01 Newsoft Technology Corp 經由資訊及指令關聯影像來瀏覽或執行指令的方法及其程式產品
US9069374B2 (en) * 2012-01-04 2015-06-30 International Business Machines Corporation Web video occlusion: a method for rendering the videos watched over multiple windows
US10332213B2 (en) 2012-03-01 2019-06-25 Ricoh Company, Ltd. Expense report system with receipt image processing by delegates
US9659327B2 (en) * 2012-03-01 2017-05-23 Ricoh Company, Ltd. Expense report system with receipt image processing
US9245296B2 (en) 2012-03-01 2016-01-26 Ricoh Company Ltd. Expense report system with receipt image processing
JP5983184B2 (ja) * 2012-08-24 2016-08-31 ブラザー工業株式会社 画像処理システム、画像処理方法、画像処理装置、および画像処理プログラム
US9519641B2 (en) * 2012-09-18 2016-12-13 Abbyy Development Llc Photography recognition translation
KR20140081470A (ko) * 2012-12-21 2014-07-01 삼성전자주식회사 문자 확대 표시 방법, 상기 방법이 적용되는 장치, 및 상기 방법을 수행하는 프로그램을 저장하는 컴퓨터로 읽을 수 있는 저장 매체
WO2014154457A1 (en) * 2013-03-29 2014-10-02 Alcatel Lucent Systems and methods for context based scanning
JP6525523B2 (ja) * 2013-07-31 2019-06-05 キヤノン株式会社 情報処理装置、制御方法およびプログラム
US9275554B2 (en) 2013-09-24 2016-03-01 Jimmy M Sauz Device, system, and method for enhanced memorization of a document
US10755590B2 (en) 2015-06-18 2020-08-25 The Joan and Irwin Jacobs Technion-Cornell Institute Method and system for automatically providing graphical user interfaces for computational algorithms described in printed publications
US9971573B2 (en) 2015-06-18 2018-05-15 The Joan and Irwin Jacobs Technion-Cornell Institute Computing platform and method thereof for searching, executing, and evaluating computational algorithms
US9864734B2 (en) * 2015-08-12 2018-01-09 International Business Machines Corporation Clickable links within live collaborative web meetings
US10044751B2 (en) * 2015-12-28 2018-08-07 Arbor Networks, Inc. Using recurrent neural networks to defeat DNS denial of service attacks
US9501696B1 (en) 2016-02-09 2016-11-22 William Cabán System and method for metadata extraction, mapping and execution
US10607101B1 (en) 2016-12-14 2020-03-31 Revenue Management Solutions, Llc System and method for patterned artifact removal for bitonal images
CN108628814A (zh) * 2017-03-20 2018-10-09 珠海金山办公软件有限公司 一种快速插入识别文字的方法及装置
JP6946690B2 (ja) * 2017-03-24 2021-10-06 カシオ計算機株式会社 表示装置、表示方法及びプログラム
WO2019022725A1 (en) * 2017-07-25 2019-01-31 Hewlett-Packard Development Company, L.P. DETERMINATIONS OF SHARED CHARACTER RECOGNITION
JP6891073B2 (ja) * 2017-08-22 2021-06-18 キヤノン株式会社 スキャン画像にファイル名等を設定するための装置、その制御方法及びプログラム
CN109981421B (zh) * 2017-12-27 2022-02-01 九阳股份有限公司 一种智能设备配网方法和装置
GB201804383D0 (en) 2018-03-19 2018-05-02 Microsoft Technology Licensing Llc Multi-endpoint mixed reality meetings
CN110969056B (zh) * 2018-09-29 2023-08-08 杭州海康威视数字技术股份有限公司 文档图像的文档版面分析方法、装置及存储介质
CN111475999B (zh) * 2019-01-22 2023-04-14 阿里巴巴集团控股有限公司 错误提示的生成方法、装置
CN110377885B (zh) * 2019-06-14 2023-09-26 北京百度网讯科技有限公司 转换pdf文件的方法、装置、设备和计算机存储介质
US11403162B2 (en) * 2019-10-17 2022-08-02 Dell Products L.P. System and method for transferring diagnostic data via a framebuffer
US11205084B2 (en) * 2020-02-17 2021-12-21 Wipro Limited Method and system for evaluating an image quality for optical character recognition (OCR)
US11436713B2 (en) 2020-02-19 2022-09-06 International Business Machines Corporation Application error analysis from screenshot
CN112131841A (zh) * 2020-08-27 2020-12-25 北京云动智效网络科技有限公司 一种文档质量评估方法及系统
CN115016710B (zh) * 2021-11-12 2023-06-16 荣耀终端有限公司 应用程序推荐方法
CN117217876B (zh) * 2023-11-08 2024-03-26 深圳市明心数智科技有限公司 基于ocr技术的订单预处理方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5889897A (en) * 1997-04-08 1999-03-30 International Patent Holdings Ltd. Methodology for OCR error checking through text image regeneration
CN1848109A (zh) * 2005-04-13 2006-10-18 摩托罗拉公司 用于编辑光学字符识别结果的方法和系统
CN1916941A (zh) * 2005-08-18 2007-02-21 北大方正集团有限公司 一种字符识别的后处理方法

Family Cites Families (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5675672A (en) * 1990-06-26 1997-10-07 Seiko Epson Corporation Two dimensional linker for character string data
JPH0581467A (ja) * 1991-08-29 1993-04-02 Canon Inc 画像処理方法及び装置
US5325297A (en) * 1992-06-25 1994-06-28 System Of Multiple-Colored Images For Internationally Listed Estates, Inc. Computer implemented method and system for storing and retrieving textual data and compressed image data
JPH07249098A (ja) * 1994-03-09 1995-09-26 Toshiba Corp 情報処理装置および情報処理方法
US5764799A (en) * 1995-06-26 1998-06-09 Research Foundation Of State Of State Of New York OCR method and apparatus using image equivalents
US6137906A (en) * 1997-06-27 2000-10-24 Kurzweil Educational Systems, Inc. Closest word algorithm
US6023534A (en) * 1997-08-04 2000-02-08 Xerox Corporation Method of extracting image data from an area generated with a halftone pattern
GB9809679D0 (en) * 1998-05-06 1998-07-01 Xerox Corp Portable text capturing method and device therefor
JP2000112955A (ja) * 1998-09-30 2000-04-21 Toshiba Corp 画像表示方法および画像ファイリング装置および記録媒体
US6278969B1 (en) 1999-08-18 2001-08-21 International Business Machines Corp. Method and system for improving machine translation accuracy using translation memory
US6587583B1 (en) * 1999-09-17 2003-07-01 Kurzweil Educational Systems, Inc. Compression/decompression algorithm for image documents having text, graphical and color content
GB2359953B (en) * 2000-03-03 2004-02-11 Hewlett Packard Co Improvements relating to image capture systems
US6738518B1 (en) * 2000-05-12 2004-05-18 Xerox Corporation Document image decoding using text line column-based heuristic scoring
US6678415B1 (en) * 2000-05-12 2004-01-13 Xerox Corporation Document image decoding using an integrated stochastic language model
JP4613397B2 (ja) * 2000-06-28 2011-01-19 コニカミノルタビジネステクノロジーズ株式会社 画像認識装置、画像認識方法および画像認識プログラムを記録したコンピュータ読取可能な記録媒体
JP2002049890A (ja) * 2000-08-01 2002-02-15 Minolta Co Ltd 画像認識装置、画像認識方法および画像認識プログラムを記録したコンピュータ読取可能な記録媒体
US20020102966A1 (en) * 2000-11-06 2002-08-01 Lev Tsvi H. Object identification method for portable devices
US6957384B2 (en) * 2000-12-27 2005-10-18 Tractmanager, Llc Document management system
JP4421134B2 (ja) * 2001-04-18 2010-02-24 富士通株式会社 文書画像検索装置
JP2002358481A (ja) * 2001-06-01 2002-12-13 Ricoh Elemex Corp 画像処理装置
US7171061B2 (en) 2002-07-12 2007-01-30 Xerox Corporation Systems and methods for triage of passages of text output from an OCR system
US8533270B2 (en) * 2003-06-23 2013-09-10 Microsoft Corporation Advanced spam detection techniques
US8301893B2 (en) * 2003-08-13 2012-10-30 Digimarc Corporation Detecting media areas likely of hosting watermarks
JP2005107684A (ja) * 2003-09-29 2005-04-21 Fuji Photo Film Co Ltd 画像処理方法及び画像入出力装置
KR20060095572A (ko) * 2003-10-27 2006-08-31 코닌클리케 필립스 일렉트로닉스 엔.브이. 검색 결과들의 스크린―식 제시
JP2005352735A (ja) * 2004-06-10 2005-12-22 Fuji Xerox Co Ltd 文書ファイル作成支援装置、文書ファイル作成支援方法及びそのプログラム
JP2006031299A (ja) * 2004-07-15 2006-02-02 Hitachi Ltd 文字認識方法、文字データの修正履歴処理方法およびシステム
US8712858B2 (en) * 2004-08-21 2014-04-29 Directworks, Inc. Supplier capability methods, systems, and apparatuses for extended commerce
US7639387B2 (en) * 2005-08-23 2009-12-29 Ricoh Co., Ltd. Authoring tools using a mixed media environment
US8156427B2 (en) * 2005-08-23 2012-04-10 Ricoh Co. Ltd. User interface for mixed media reality
US7669148B2 (en) * 2005-08-23 2010-02-23 Ricoh Co., Ltd. System and methods for portable device for mixed media system
US20060083431A1 (en) * 2004-10-20 2006-04-20 Bliss Harry M Electronic device and method for visual text interpretation
US7809722B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for enabling search and retrieval from image files based on recognized information
US7760917B2 (en) * 2005-05-09 2010-07-20 Like.Com Computer-implemented method for performing similarity searches
KR100714393B1 (ko) * 2005-09-16 2007-05-07 삼성전자주식회사 텍스트 추출 기능을 갖는 호스트 장치 및 그의 텍스트 추출방법
US7796837B2 (en) * 2005-09-22 2010-09-14 Google Inc. Processing an image map for display on computing device
US8849821B2 (en) * 2005-11-04 2014-09-30 Nokia Corporation Scalable visual search system simplifying access to network and device functionality
US7822596B2 (en) * 2005-12-05 2010-10-26 Microsoft Corporation Flexible display translation
KR20080002084A (ko) * 2006-06-30 2008-01-04 삼성전자주식회사 광학 문자 판독을 위한 시스템 및 광학 문자 판독방법
US7912700B2 (en) * 2007-02-08 2011-03-22 Microsoft Corporation Context based word prediction
US8763038B2 (en) * 2009-01-26 2014-06-24 Sony Corporation Capture of stylized TV table data via OCR
US20080267504A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search
CN101419661B (zh) * 2007-10-26 2011-08-24 国际商业机器公司 基于图像中的文本进行图像显示的方法和系统
US8331677B2 (en) * 2009-01-08 2012-12-11 Microsoft Corporation Combined image and text document
US8373724B2 (en) * 2009-01-28 2013-02-12 Google Inc. Selective display of OCR'ed text and corresponding images from publications on a client device
US8442813B1 (en) 2009-02-05 2013-05-14 Google Inc. Methods and systems for assessing the quality of automatically generated text
US8588528B2 (en) * 2009-06-23 2013-11-19 K-Nfb Reading Technology, Inc. Systems and methods for displaying scanned images with overlaid text
US20110128288A1 (en) * 2009-12-02 2011-06-02 David Petrou Region of Interest Selector for Visual Queries

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5889897A (en) * 1997-04-08 1999-03-30 International Patent Holdings Ltd. Methodology for OCR error checking through text image regeneration
CN1848109A (zh) * 2005-04-13 2006-10-18 摩托罗拉公司 用于编辑光学字符识别结果的方法和系统
CN1916941A (zh) * 2005-08-18 2007-02-21 北大方正集团有限公司 一种字符识别的后处理方法

Also Published As

Publication number Publication date
US20130002710A1 (en) 2013-01-03
US8482581B2 (en) 2013-07-09
CN104134057A (zh) 2014-11-05
JP2012516508A (ja) 2012-07-19
JP5324669B2 (ja) 2013-10-23
KR101315472B1 (ko) 2013-10-04
US20130265325A1 (en) 2013-10-10
WO2010088182A1 (en) 2010-08-05
US20140125693A1 (en) 2014-05-08
US9280952B2 (en) 2016-03-08
US20100188419A1 (en) 2010-07-29
CN102301380A (zh) 2011-12-28
KR20110124255A (ko) 2011-11-16
US8675012B2 (en) 2014-03-18
JP6254374B2 (ja) 2017-12-27
CN102301380B (zh) 2014-08-20
US8373724B2 (en) 2013-02-12
JP2014032665A (ja) 2014-02-20

Similar Documents

Publication Publication Date Title
CN104134057B (zh) 来自出版物的经ocr处理的文本和对应图像在客户端设备上的选择性显示
KR101033017B1 (ko) 변경 요청 폼 주석
JP4945813B2 (ja) 印刷構造化文書
WO2013012013A1 (ja) 電子透かし広告コンテンツサービスシステム
US11336788B2 (en) Information processing apparatus and non-transitory computer readable medium for combining written information with image of document
US11243670B2 (en) Information processing system, information processing apparatus, information processing method and non-transitory computer readable medium
US20160092101A1 (en) Arrangement drawing creation system, arrangement drawing creation apparatus, and non-transitory computer-readable storage medium having stored therein arrangement drawing creation program for creating arrangement drawing of apparatus
JP5589309B2 (ja) 表示制御装置、画像処理装置、及びプログラム
JP2002169637A (ja) ドキュメント表示態様変換装置、ドキュメント表示態様変換方法、記録媒体
US9442576B2 (en) Method and system for combining paper-driven and software-driven design processes
JP6727896B2 (ja) 医療帳票管理システム
US20240205348A1 (en) Display system, display method, and display program for displaying a cotent of electronic document
JP2015082725A (ja) 情報処理装置及びプログラム
CN103593377B (zh) 信息处理装置、内容项管理系统以及信息处理方法
US11588945B2 (en) Data input support apparatus that displays a window with an item value display area, an overview image display area, and an enlarged image display area
JP2010128759A (ja) 検査データ生成プログラム、検査データ生成装置及び印刷システム
US20230040442A1 (en) Method and system for classifying document images
JP2023031908A (ja) 画像処理装置、プログラム、画像処理方法
JP6549187B2 (ja) 用例データベース構築装置、及びプログラム
JP2023081564A (ja) 情報表現パターン生成装置および方法
JP2007011848A (ja) 診断システム、診断装置、診断方法、及び診断プログラム
JP2014238663A (ja) 情報処理システムおよびその制御方法、並びにプログラム
US20170318225A1 (en) Method and program for image-based status resolution services
JP2011029750A (ja) 入力シート情報管理システムおよび入力シート情報管理装置および入力シート情報管理プログラム
JP2012048372A (ja) 帳票管理装置、帳票画像修正方法及び帳票画像修正プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: Google limited liability company

Address before: American California

Patentee before: Google Inc.