CN100492349C - 以运动图像连续拍摄文档来产生电子文档的方法和设备 - Google Patents

Abstract

一种通过连续拍摄具有多页的文档作为运动图像来产生电子文档的方法包括：拍摄文档并产生运动图像数据；通过对运动图像数据执行运动估计来检测文档的一页的数据，对一页的数据执行文档识别，并且将一页的数据存储为文本数据；通过对运动图像数据执行运动估计来检测下一页的数据是否被输入，对下一页的数据执行文档识别，并且将下一页的数据存储为文本数据；以及将全部页存储为一个电子文档。因此，通过拍摄单一运动图像而不必须单独拍摄文档的每一页，具有多页的文档可被容易地转换为电子文档。

Description

以运动图像连续拍摄文档来产生电子文档的方法和设备

本申请要求于2004年7月12日提交到韩国知识产权局的第10-2004-0054078号韩国专利申请的优先权，该申请公开于此以资参考。

技术领域

符合本发明的设备和方法涉及通过以运动图像连续拍摄文档来产生电子文档，更具体地讲，涉及通过以运动图像连续拍摄具有多页的文档来产生电子文档。

背景技术

由于运动图像压缩技术、便携式装置制造技术和小型存储装置近来的发展，诸如数码摄像机或具有内建的数码相机的移动电话的可拍摄运动图像的便携式装置已被开发。由于这种装置易于携带，所以无论何时并且无论何地这种装置都可产生、编辑、并存储多媒体数据。

传统上，为了使用这种装置将打印的文档、书等转换为电子文档，使用扫描仪、数码相机等扫描文档或书，并且将扫描的数据输入到文档识别系统。其后，使用众多的文本识别算法识别输入的图像数据，并且将图像数据转换为文本数据。

图1是产生电子文档的传统系统的方框图。图像数据输入单元110接收将经由相机、扫描仪等被转换为电子文档的文档或书的图像数据。例如，输入图像数据可为位图格式。文本识别单元120使用众多文本识别算法识别图像数据，并且将图像数据转换为文本数据。生成的文本数据被存储在存储器130中。用户接口单元140接收用户的命令，并且将该命令发送到控制产生电子文档的系统的控制器150。显示单元160显示诸如文本识别的结果或处理用户命令的状态的信息。尽管图1中未示出，诸如用于通过编辑存储在存储器130中的文本数据来以期望的形式创建电子文档的编辑功能执行单元的其它单元可被包括在系统中。

图2是产生电子文档的传统方法的流程图。使用诸如相机或扫描仪的输入装置将将被制成电子文档的主题(例如，纸文档、书等)拍摄或扫描，其后将拍摄的或扫描的图像数据输入到系统(S210)。诸如输入开始命令的命令可经包括在用户接口单元140中的按钮、鼠标等而被输入。例如，通过按下相机的记录按钮或扫描仪的扫描开始按钮来创建图像数据。创建的图像数据被存储在存储器130中(S220)。其后，对存储的图像数据执行文本识别以将图像数据转换为文本数据(S230)。以这种方式产生的文本数据被存储在存储器130中。通过文本识别产生的文本数据被转换为具有由用户设置的预定格式的电子文档。电子文档也被存储在存储器130中。

然而，如果文档由几页而非仅一页构成，则上述处理对每一页重复并且为每页产生一个电子文件。其后，所有的电子文件被编辑在一起以构成一个电子文件。在此处理中，诸如拍摄的图像的中间处理结果或最终识别结果经由显示单元160而被显示。

由于图像处理和文本识别技术近来的发展，即使在有一些损坏的图像中，图像识别也有很高的成功率。然而，使用通过使用相机或扫描仪执行文本识别来产生电子文档的传统方法来处理具有多页的文档是不方便的。即，当在将被制成电子文档的文档中有多页时，图像输入和文本识别处理需要对每一页重复执行，并且需要其它处理。其它处理可包括分别存储输入图像数据和由文本识别创建的文本数据，其后在编辑处理中将图像数据和文本数据编辑为一个电子文档。因此，花费了大量时间和金钱。

发明内容

本发明提供一种用于通过使用可拍摄运动图像的各种数码拍摄装置(例如，摄像机、个人数字助理、移动电话、个人计算机摄像头等)连续地拍摄文档并对连续拍摄文档的结果执行文本识别来有效地将由多页构成的文档转换为电子文档从而创建电子文档的方法和设备。

根据本发明的一方面，提供一种产生电子文档的方法。该方法包括：拍摄文档并产生运动图像数据；通过对产生的运动图像数据执行运动估计来检测文档的一页的数据，对文档的一页的数据执行文档识别，并且将文档的一页的数据存储为文本数据；通过对运动图像数据执行运动估计来检测下一页的数据是否被输入，对下一页的数据执行文档识别，并且将下一页的数据存储为文本数据；以及将全部文本数据存储为一个电子文档。

检测一页的数据的步骤包括：对产生的运动图像数据执行运动估计；如果文档是双侧的，则检测一帧之内的页间的边界并且在将该帧分为两页之后将两页上的数据存储为图像数据；以及对图像数据执行文档识别并且存储识别的文本数据。

检测一页的数据的步骤可包括：确定是否由于在预定时段缺少运动从而当前帧的运动值的总值小于预定的第一临界值。如果当前帧的运动值的总值小于第一临界值，则从达到该点而被处理的多个帧中检测一帧作为文档的一页，对该一页执行文档识别，并且该一页被存储为文本数据。

检测下一页的数据是否被输入的步骤可包括：确定当由于对文档的翻页导致运动值增加时，当前帧的运动值的总值是否大于预定的第二临界值，以及下一页的开始点。而且，还可确定连续输入帧的运动值的总值是否小于第一临界值和下一页的数据是否被输入，并且如果下一页的数据被输入，则通过执行文档识别来将下一页的数据存储为文本数据。

根据本发明的另一方面，提供一种用于产生电子文档的设备。该设备包括：图像数据输入单元，其拍摄文档并产生运动图像数据；运动检测单元，其对产生的运动图像数据执行运动估计，并且检测运动；数据处理单元，其根据运动检测的结果区分文档的页，并且通过对页执行文档识别而将该页转换为文本数据。

该设备还包括：用户接口单元，其从用户接收命令并且设置用于文档识别的拍摄模式，设置与具有左侧和右侧的双侧文档或具有顶部和底部的双侧文档或单侧文档相应的模式，并且选择以其存储通过执行文档识别获得的文本数据的文件格式。

在再现预存储的运动图像的同时，用户接口单元可从用户接收命令用于文档识别，并且将该命令发送到数据处理单元，从而数据处理单元不考虑运动检测的结果而产生电子文档。

该设备还包括：显示单元，例如，其指示当前帧的图像是否被无错地存储、文档识别的结果、或偶发错误。

数据处理单元包括：图像处理器，其根据运动检测的结果选择一页的帧；双侧文档处理器，当文档为双侧文档时，其检测一帧内的页之间的边界，并且在将该帧分为两页之后将两页上的数据存储为图像数据；以及文档识别器，其对图像数据执行文档识别，并且将图像数据输出为文本数据。

附图说明

通过下面参照附图进行的对本发明示例性实施例的详细描述，本发明的上述和其他方面将会变得更加清楚，其中：

图1是产生电子文档传统系统的方框图；

图2是产生电子文档的传统方法的流程图；

图3是根据本发明示例性实施例的产生电子文档的设备的方框图；

图4是图3所示的用于产生电子文档的设备的详细方框图；以及

图5是根据本发明示例性实施例的产生电子文档的方法的流程图。

具体实施方式

现在，参照其中示出本发明的示例性实施例的附图来充分描述本发明。

根据本发明的产生电子文档的方法通过使用拍摄运动图像的数码拍摄装置连续拍摄文档来将具有多页的文档转换为一个相应的电子文档。可被转换为电子文档的文档的类型包括其中一次仅示出页的一侧的单侧文档、和其中一次示出左页和右页、或顶页和底页的类似于书的双侧文档。单侧和双侧文档都可被转换为电子文档。

图3是根据本发明示例性实施例的产生电子文档的设备的方框图。用于产生电子文档的设备包括图像数据输入单元310、运动检测单元320、数据处理单元330、存储器340、用户接口单元350、和显示单元360。

图像数据输入单元310拍摄文档，并且将其转换为数字运动图像数据，并且可为各种能够拍摄运动图像的数码拍摄装置的任一种。例如，数码拍摄装置包括数码摄像机、个人数字助理(PDA)、具有内置的数码相机的移动电话、个人计算机(PC)摄像头等。以这种方式拍摄的数字运动图像数据被输入到运动检测单元320。运动检测单元320检测屏幕中拍摄的运动。当拍摄一页时没有检测到运动，但是当翻页以拍摄下一页时，检测到屏幕上的运动。因此，运动检测单元320检测屏幕上的运动并且将一拍摄的页与下一页区分开。数据处理单元330通过双侧处理和文本识别处理将产生的运动图像数据转换为文本数据，其后创建预定形式的电子文档。双侧处理和文本识别处理将在下面描述。

存储器340临时存储运动图像数据或存储完整的电子文档。用户接口单元350接收用户的选择，例如拍摄开始/结束命令或规定单侧或双侧文档的拍摄的拍摄选择。其后，用户的选择被发送到数据处理单元330，并且满足用户的选择的电子文档被产生。显示单元360为用户提供关于图像的中间处理结果的信息、图像的文本识别结果、或电子文档处理结果。

图4是图3中所示的用于产生电子文档设备的详细方框图。诸如数码摄像机的拍摄运动图像的数码拍摄装置对输入图像执行压缩编码。执行这种压缩编码的编码单元420包括运动估计器421、运动补偿器422、转换器和量化器423、熵编码器424、和帧存储器425。编码单元420根据预定的压缩编码的方法编码输入的图像。预定的压缩编码的方法可为基于运动预测压缩编码运动图像的任一方法(例如，运动图像专家组(MPEG)方法和H.264方法)。而且，拍摄运动图像的数码拍摄装置可为能够拍摄运动图像的数码摄像机、PDA、PC摄像头、和移动电话中的任一个。

图像数据输入单元310经由拍摄运动图像的数码拍摄装置接收单侧或双侧文档。用户接口单元350接收用于文档识别的拍摄模式、用于单侧/双侧文档识别模式的选择、或拍摄开始/结束命令以从由多页构成的文档中创建电子文档。而且，可通过在再现存储在数码拍摄装置上的运动图像同时用户想要开始文档识别的点输入手动文档识别命令来由用户手动创建电子文档。经由用户接口单元350将手动文档识别命令发送到数据处理单元330。

编码单元420根据运动预测算法对从图像数据输入单元310接收的运动图像执行编码。在此处理中，运动估计器421从输入的运动图像计算运动信息，并且将该运动信息发送到图像处理器440。即，运动估计器421从参考帧内的预定搜索区域中找到当前帧的宏块的运动预测，并且计算与前一帧在运动中的差值。图像处理器440选择作为文档识别的对象的帧，并且基于从运动估计器421接收的运动信息将该帧处理为适于文档识别的图像。换言之，图像处理器440从运动估计器421接收指示直到当运动图像数据与一页相应时的运动信息，在同一页上在运动图像数据中选择最聚焦的帧，并且将该帧制成一个文档图像。即，图像处理器440将该帧转换为可对一页执行文本识别的形式。

当在双侧文档识别模式下时，双侧文档处理器450将一帧分为两帧。下面将参照图5来描述将该帧分为两帧的方法。文档识别器460从以这种方式创建的图像中提取诸如特征信息或图像信息的信息。例如，将被识别的文档可为文本文档、图画文档、或照片文档。当文档是文本文档时，文档识别器460对作为存储在存储器340中的文本识别的对象的运动图像执行文本识别，仅检测可识别的运动图像，并根据用户已经设置的文件格式将该结果存储在存储器340中，或将该结果记录在一个或多个外部存储装置中。在文档的拍摄结束之后，可经诸如串行通信端口或通用串行总线(USB)的外部接口、或经网络将拍摄的电子文档发送到设备之外。

当用户希望在执行文档识别同时存储输入的运动图像数据时，包括在编码单元420中的其它部件压缩输入的运动图像数据。显示单元360提供文档识别处理的结果。存储单元(例如，存储器340)临时存储文档的运动图像数据，或存储完整的电子文档。当输入的文档是地址列表或是外语时，存储的电子文档可被转换为地址列表或可被还可包括在该设备中的翻译单元(未示出)自动翻译。

图5是根据本发明示例性实施例的产生电子文档的方法的流程图。首先，产生电子文档的设备被初始化(S510)。即，用户首先经由用户接口单元350设置用于文档识别的拍摄模式，其后设置左侧和右侧或顶部和底部的文档、或单侧文档识别模式，并选择文档识别结果将以其存储的文件格式(例如，“pdf”、“txt”等)。因此，拍摄对象(例如，小说、电话薄、照片等)的准备被完成。

在准备被完成之后，经由用户接口单元350将拍摄开始命令发送到该设备，并且开始对对象的拍摄(S520)。即，例如，通过按下数码摄像机、PDA、或移动电话的拍摄按钮或另外激活例如PC摄像头的拍摄装置来将拍摄开始命令发送到该设备。

数据处理单元330确定用于产生电子文档的设备是否处于用于文档识别的拍摄模式(S530)。如果用于文档识别的拍摄模式在初始化(S510)期间被设置以创建电子文档，则用于识别文档的拍摄被执行，并且如果常规的运动图像拍摄模式被设置，则压缩的运动图像被产生并被存储为处于一般运动图像拍摄模式(S535)。

如果在用于文档识别的拍摄模式下，则通过在运动图像数据中的运动检测来检测一页(S540)。如果没有预定量时间的运动，则确定用于当前帧的运动的总值是否小于预定的第一临界值TH1。在当没有预定量时间的运动时确定是否当前帧的运动的总值小于第一预定临界值之后，检测运动以及时地存储到该点而被感知的多个帧中的一帧作为与该文档的一页相应的图像数据。更具体地讲，当文档的拍摄开始时，由运动估计器421对每一帧计算经由图像数据输入单元310输入的运动图像的运动值，其后当前帧的运动值被输入到图像处理器440。图像处理器440找到具有比预定的第一临界值TH1小的当前输入帧的运动值的总值的第一帧，并且执行选择的帧的文档识别所需的处理。文档识别可能需要的处理的例子是图像增强处理。第一临界值可通过实验而被设置为足够小的值。由于当识别文档时没有运动，所以第一临界值被设置为接近0。而且，计算运动值的总值所需的预定时段，即拍摄一页要多久被决定。

以这种方式处理的当前帧被存储为一页的图像(S550)。例如，经由液晶显示器(LCD)或发光二极管(LED)显示器构成的显示单元360通知用户一页的数据被无错地存储。由于用户被通知当前页被适当存储，所以用户可在保持在拍摄模式的同时继续拍摄下一页。

接下来，确定当前拍摄模式是否是双侧文档识别模式(S560)。如果处于双侧文档识别模式，则在当前帧的中心部分检测边界，其后将当前帧存储为分离的两页(S570)。更具体地讲，由图像处理器440存储的图像的边界被双侧文档处理器450检测。在由左侧和右侧构成的双侧文档的中心部分的垂直线上检测边界，并且在由顶部和底部构成的双侧文档的中心部分的水平线上检测边界。在检测的边界中，可在图像的中心部分区分双侧文档的侧的、比参考值长的垂直或水平边界候选者被选择。通过找到最长的垂直或水平边界候选者，在左侧和右侧或顶部和底部的页可被分开并单独存储。如果处于单侧文档识别模式，则双侧文档处理器450不工作，并且下一操作被发送到文档识别器460(S575)。

接下来，文档的文档识别和存储被执行(S580)。在文本文档的情况下执行的字符识别可通过众多字符识别算法的任一种执行。通过字符识别产生的文本数据被存储在存储单元中(即，存储器340)。其后，确定拍摄是否已经结束(S582)。如果确定拍摄还未结束，则拍摄下一页的开始点被检测(S585)。通过例子的方式，可以以下方式检测下一页的开始点。当翻页时，运动值增加。因此，确定用于当前帧的运动值的总值是否大于第二临界值TH2。还可通过实验决定第二临界值。第二临界值TH2大于第一临界值TH1。即，连续输入的帧的运动值被连续检查。如果运动值大于用于预定时段的第二临界值TH2，则确定这时是用户在翻页。如果下一页的开始点未被检测到，则处理返回操作S582。如果下一页的开始点被检测到，则确定是否从用户接收到拍摄结束命令(S590)。如果接收到拍摄结束命令，则拍摄结束。如果未接收到拍摄结束命令，则文档的下一页被连续拍摄并且继续文档识别。

产生电子文档的方法可被写为计算机程序。配置计算机程序的代码和代码段可由本发明所属的本领域计算机程序员容易地构造。而且，计算机程序被存储在计算机可读介质中，并且通过经由计算机读取并执行计算机程序来实现产生电子文档的方法。例如，计算机可读记录媒体包括磁记录媒体、光学数据存储媒体、和载波媒体。

根据用于产生电子文档的上述方法和设备，通过拍摄单一运动图像而不对单侧或双侧纸文档的每一页进行单独扫描或拍摄，单侧或双侧纸文档的多页可被容易地转换为电子文档。因此，例如，电话薄、地址薄等可被容易地输入并转换为电子文档。

而且，例如，可通过使用包括在传统运动图像编码单元中的运动估计器检测运动来更容易地执行将具有多页的文档转换为电子文档。而且，可通过文档识别将存储为文本数据的文档转换为地址列表。另外，通过文档识别翻译以外语写的文档并输出该文档，文档的形式或外语可被快速地转换或翻译。

尽管已参照本发明示例性实施例显示并描述了本发明，但是，本领域技术人员应该理解，在不脱离由所附权利要求限定的本发明的精神和范围的情况下，可以在形式上和细节上进行各种改变。

Claims (15)

1、一种产生电子文档的方法，该方法包括：

拍摄具有多页的文档并产生运动图像数据；

通过对该运动图像数据执行运动估计来检测文档的一页的数据，其中，确定是否由于在预定时段缺少运动从而当前帧的运动值的总值小于预定的第一临界值，并且如果运动值的总值小于第一临界值，则从达到该点而被处理的多个帧中检测一帧作为文档的一页，对该文档的一页的数据执行文档识别，并且将文档的一页的数据存储为第一文本数据；

通过对运动图像数据执行运动估计来检测下一页的数据是否被输入，并且如果下一页的数据被检测到，则对下一页的数据执行文档识别，并且将下一页的数据存储为第二文本数据，其中，在检测下一页的数据是否被输入的步骤中确定如果由于对文档的翻页导致运动值增加，则当前帧的运动值的总值是否大于预定的第二临界值，所述第二临界值大于第一临界值；以及确定文档的下一页的开始点；以及

将第一文本数据和第二文本数据存储为一个电子文档。

2、如权利要求1所述的方法，还包括，在拍摄该文档之前：

经由用户接口单元设置用于页文档识别的拍摄模式；

设置与具有左侧和右侧的双侧文档、具有顶部和底部的双侧文档、和单侧文档之一相应的模式；以及

选择文档在被转换为电子文档之后以其被存储的文件的格式。

3、如权利要求1所述的方法，其中，检测一页的数据和检测下一页的数据是否被输入的步骤包括，如果在预存储的运动图像被再现时用于用户选择的帧的文档识别的命令被输入，则对用户选择的帧执行文档识别并将帧存储为文本数据。

4、如权利要求1所述的方法，其中，检测一页的数据的步骤包括：

对运动图像数据执行运动估计；

如果文档是双侧的，则检测一帧之内的两页间的边界，将该帧分为两页，并且将两页上的数据存储为图像数据；以及

对图像数据执行文档识别并且将识别结果存储为文本数据。

5、如权利要求4所述的方法，其中，在检测两页之间的边界的步骤中，如果双侧文档具有左侧和右侧，则检测帧的中心部分的垂直线上的边界，并且如果双侧文档具有顶部和底部，则检测帧的中心部分的水平线上的边界；该帧被分为两页；以及两页上的数据被存储为图像数据。

6、如权利要求5所述的方法，其中，在检测两页之间的边界的步骤中，选择比参考值长的垂直边界和水平边界候选者之一，并且

其中，参考值在检测的边界区分在帧的中心部分上的两页，并且通过在边界候选者中找到具有最高值的边界来划分左页和右页或顶页和底页。

7、如权利要求1所述的方法，其中，在拍摄文档的步骤中，使用图像数据输入装置拍摄文档，并且从拍摄的文档产生运动图像数据。

8、如权利要求7所述的方法，其中，所述图像数据输入装置是相机、摄像机、个人数字助理、和个人计算机摄像头中的任一个。

9、如权利要求1所述的方法，还包括：经由显示单元通知用户当前帧的图像是否被无错地存储、文档识别的结果、和偶发错误中的至少一个。

10、如权利要求1所述的方法，其中，检测下一页的数据是否被输入的步骤还包括：

确定多个连续输入帧的运动值的总值是否小于第一临界值，所述第一临界值小于所述第二临界值；

检测下一页的数据是否被输入；以及

对下一页的数据执行文档识别来将下一页的数据存储为文本数据。

11、一种用于产生电子文档的设备，包括：

图像数据输入单元，其拍摄具有多页的文档并产生运动图像数据；

运动检测单元，其对运动图像数据执行运动估计以检测运动；

数据处理单元，其根据运动检测的结果区分文档的页，并且通过对页执行文档识别而将每一页转换为文本数据，数据处理单元包括：

图像处理器，其根据运动检测的结果选择一页的帧；

双侧文档处理器，如果文档为双侧文档，则其检测一帧内的两页之间的边界；将该帧分为两页；并且将两页上的数据存储为图像数据；以及

文档识别器，其对图像数据执行文档识别，并且将图像数据输出为文本数据，

其中，图像处理器确定是否由于在预定时段缺少运动从而当前帧的运动值的总值小于预定的第一临界值，并且在达到该点而被处理的多个帧中检测一帧作为该文档的一页，如果由于对文档翻页导致运动值增加，则图像处理器确定当前帧的运动值的总值是否大于预定的第二临界值，所述第二临界值大于第一临界值，并且检测下一页的开始点。

12、如权利要求11所述的设备，还包括：用户接口单元，其从用户接收命令并且设置用于文档识别的拍摄模式；设置与具有左侧和右侧的双侧文档、具有顶部和底部的双侧文档、或单侧文档中的一个相应的模式；以及选择以其存储通过执行文档识别获得的文本数据的文件格式。

13、如权利要求12所述的设备，其中，在再现预存储的运动图像的同时，用户接口单元从用户接收命令用于文档识别，并且将该命令发送到数据处理单元，并且数据处理单元不考虑运动检测的结果而从预存储的运动图像产生电子文档。

14、如权利要求11所述的设备，还包括：显示单元，例如，其指示当前帧的图像是否被无错地存储、文档识别的结果、或偶发错误中的至少一个。

15、如权利要求11所述的设备，其中，如果该文档是具有左侧和右侧的双侧文档，则双侧文档处理器检测该帧的中心部分的垂直线上的边界，或者如果该文档是具有底部和底部的双侧文档，则双侧文档处理器检测该帧的中心部分的水平线上的边界，并且将该帧存储为与两页中的每一页相应的分开的图像数据。

Images