CN109729231A - 一种文件扫描方法、装置及设备 - Google Patents

Abstract

一种文件扫描方法包括：通过摄像头获取待扫描内容的视频；计算视频中的每帧图像的光流，根据所计算的光流检测关键帧；对连续的两个关键帧进行特征匹配，根据特征匹配数删除重复的关键帧；对去重后的关键帧进行文档边缘检测，根据边缘检测结果生成扫描文件。根据扫描图像时停顿的特点，从而可以通过光流检测视频中的关键帧，并通过特征匹配点对关键帧进行去重，再进行边缘检测生成扫描文件，从而可以有效的通过拍摄视频扫描多页内容，操作方便而且不需要按键，有利于提高扫描图像质量。

Description

一种文件扫描方法、装置及设备

技术领域

本申请属于图像处理领域，尤其涉及一种文件扫描方法、装置及设备。

背景技术

为了将书籍、文件等资料电子化保存，通常会对文件或书籍进行扫描，生成特定格式的电子文件，比如PDF格式文件等。现有的扫描技术，包括市面上细弱流行的手机扫描应用，比如扫描全能王、扫描宝、officelens等，通过手机摄像头拍摄照片后生成扫描文件。

目前的手机扫描方案虽然可以方便实时操作，但是，如果需要扫描多页内容，比如书本时，则需要反复拍照，操作较为麻烦，而且会耗费较多时间。虽然有的扫描方案已经采取了连拍模式来提高生成速度，但是，进行拍摄的人手速过快或略有抖动，会使图像本身模糊、残缺或有畸变，不利于提高扫描文件的扫描质量。

发明内容

有鉴于此，本申请实施例提供了一种文件扫描方法、装置及设备，以解决现有技术中进行文件扫描时，操作较为麻烦，效率较低，或者扫描文件质量不高的问题。

本申请实施例的第一方面提供了一种文件扫描方法，包括：

通过摄像头获取待扫描内容的视频；

计算视频中的每帧图像的光流，根据所计算的光流检测关键帧；

对连续的两个关键帧进行特征匹配，根据特征匹配数删除重复的关键帧；

对去重后的关键帧进行文档边缘检测，根据边缘检测结果生成扫描文件。

结合第一方面，在第一方面的第一种可能实现方式中，所述计算视频中的每帧图像的光流，根据所计算的光流检测关键帧的步骤包括：

计算视频中的每帧图像的光流；

根据每帧图像的光流，确定相邻两帧图像的光流差；

若所述光流差小于预设的光流阈值，则将相邻两帧图像选为关键帧。

结合第一方面，在第一方面的第二种可能实现方式中，所述对连续的两个关键帧进行特征匹配，根据特征匹配数删除重复的关键帧的步骤包括：

对连续的两个关键帧进行特征匹配，确定特征的匹配点对数；

当匹配点对数大于预先设定的匹配阈值时，则认为两个关键帧重复，删除其中一个重复的关键帧。

结合第一方面，在第一方面的第三种可能实现方式中，在所述对去重后的关键帧进行文档边缘检测，根据边缘检测结果生成扫描文件的步骤之前，所述方法还包括：

比较所选出的图片页数是否目标页数相符；

如果不相符，则根据选出的图片页数与目标页数的差值，调整关键帧检测参数和/或调整关键帧特征匹配参数。

结合第一方面，在第一方面的第四种可能实现方式中，所述对去重后的关键帧进行文档边缘检测，根据边缘检测结果生成扫描文件的步骤包括：

检测去重后的关键帧的边缘，根据所述边缘绘制矩形框；

根据所述矩形框进行裁剪、变换大小和锐化，生成扫描文件。

结合第一方面，在第一方面的第五种可能实现方式中，所述计算视频中的每帧图像的光流，根据所计算的光流检测关键帧的步骤包括：

获取目标内容的纹理特征；

当所述纹理特征少于预定数量，则选择稠密光流算法计算光流，当所述纹理特征大于预定数量，则选择稀疏光流算法计算光流。

本申请实施例的第二方面提供了一种文件扫描装置，所述文件扫描装置包括：

视频获取单元，用于通过摄像头获取待扫描内容的视频；

关键帧检测单元，用于计算视频中的每帧图像的光流，根据所计算的光流检测关键帧；

去重单元，用于对连续的两个关键帧进行特征匹配，根据特征匹配数删除重复的关键帧；

边缘检测单元，用于对去重后的关键帧进行文档边缘检测，根据边缘检测结果生成扫描文件。

结合第二方面，在第二方面的第一种可能实现方式中，所述关键帧检测单元包括：

光流计算子单元，用于计算视频中的每帧图像的光流；

光流差计算子单元，用于根据每帧图像的光流，确定相邻两帧图像的光流差；

关键帧确定单元，用于若所述光流差小于预设的光流阈值，则将相邻两帧图像选为关键帧。

本申请实施例的第三方面提供了一种文件扫描设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述文件扫描方法的步骤。

本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述文件扫描方法的步骤。

本申请实施例与现有技术相比存在的有益效果是：在扫描包括多页内容的书页时，在录制视频过程中，用户一页一页的翻动书页时会小的停顿，通过计算每帧图像的光流可以有效的检测到处于停顿时，包括页面内容的关键帧，并通过比较所获取的连续的关键帧的特征匹配点数，去除重复的关键帧，可以有效的避免页面重复，根据去重后的关键帧进行边缘检测生成扫描文件，使得用户通过一边拍摄视频一边翻页即可快速的扫描多页内容，操作更加方便，而且拍摄过程不需要按键，可以有效的减少抖动，扫描图像质量更好。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种文件扫描方法的实现流程示意图；

图2是本申请实施例提供的一种检测关键帧方法的实现流程示意图；

图3是本申请实施例提供的一种关键帧去重方法的实现流程示意图；

图4是本申请实施例提供的一种关键文件扫描装置的结构示意图；

图5是本申请实施例提供的文件扫描设备的示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。

图1为本申请实施例提供的一种文件扫描方法的实现流程示意图，详述如下：

在步骤S101中，通过摄像头获取待扫描内容的视频；

具体的，本申请所述摄像头，可以为智能手机的摄像头，也可以为其它智能设备，比如笔记本、平板电脑或者其它专用的视频扫描设备等。在进行视频拍摄时，可以将所述摄像头固定，从而减少拍摄时所带来的晃动，使得摄像头与拍摄目标保持固定的距离，减少变焦次数，提高图像的清晰度。当固定好摄像头后，用户可以一页一页的翻动书页或者文件，在每翻页一次完成时，即书页放置平整后，可以稍作停顿，比如停顿一秒钟等，使得视频中能够拍摄到处于静止状态的页面内容。

本申请所述扫描内容，可以为连续的扫描页面，比如可以为扫描书本、多页文件等内容。

在步骤S102中，计算视频中的每帧图像的光流，根据所计算的光流检测关键帧；

在本申请中，为了对视频中的像素点进行有效的跟踪，在计算每帧图像的光流前，还可以确定当前视频拍摄的目标内容的纹理特征，如果纹理特征少于预定数量，则可以采用稠密光流算法计算光流，当所述纹理特征大于预定数量，则选择稀疏光流算法计算光流。从而可以对于少纹理的目标，比如人手，能够有效的进行跟踪，方便提取运动前景像素点。在采用稀疏光流算法计算时，需要在被跟踪前指定一组点，比如角点等。

所述检测关键帧的步骤，具体可以如图2所示，包括：

在步骤S201中，计算视频中的每帧图像的光流；

具体的，所述光流是指空间运动物体在观察成像平面上的像素运动的瞬时速度，在视频拍摄的图像序列中，像素在时间域上的变化以及相邻帧之间的相关性，确定上一帧跟当前帧之间的对应关系，从而计算出相邻帧之间物体的运动信息。在本申请中，摄像头一般是固定的，光流是由于场景中前景目标本身的移动产生。其计算方法可以包括基于区域或者基于特征的匹配方法，基于频域的方法或基于梯度的方法。

在步骤S202中，根据每帧图像的光流，确定相邻两帧图像的光流差；

在计算视频中的每帧图像的光流后，对于相邻的两帧图像的光流作差，可以计算相邻两帧图像的光流差。

在步骤S203中，若所述光流差小于预设的光流阈值，则将相邻两帧图像选为关键帧。

由于翻页至平整状态时，用户一般会稍有停顿，在此停顿期间所拍摄的画面中的前景图像是静止的，也即相邻两帧的光流差为较小值，如果拍摄画面绝对静止时，则相邻两帧的光流差为零。

通过设定光流阈值，如果拍摄的相邻两帧图像的光流差小于所述光流阈值，则表明当前图像中的物体处于静止状态，可将所述相邻的两帧图像选为关键帧。

在步骤S103中，对连续的两个关键帧进行特征匹配，根据特征匹配数删除重复的关键帧；

步骤S102通过光流计算方法，确定可能处于静止状态的关键帧，由于拍摄视频时，每秒会采集多帧图像，在用户翻页停顿的间隙，所采集的关键帧的数量也就比较多，为了对多个重复的关键帧进行去重操作，本步骤采用关键帧的特征进行匹配的方式，具体可以如图3所示，包括：

在步骤S301中，对连续的两个关键帧进行特征匹配，确定特征的匹配点对数；

对连续两个关键帧进行特征匹配，可以确定特征匹配点的对数。如果关键帧的内容不同，则匹配点的对数可能会较少，如果关键帧处于相同页面，则会有较多数量的匹配点。

在步骤S302中，当匹配点对数大于预先设定的匹配阈值时，则认为两个关键帧重复，删除其中一个重复的关键帧。

通过设定匹配阈值，如果匹配点的对数小于该匹配阈值时，则删除其中一个重复的关键帧。在删除重复的关键帧时，可以比较两个关键帧的图像质量，可以删除图像质量评分较低的图像。

通过匹配点的比较后，可以删除在翻页完成后的停顿时间所拍摄的重复的关键帧，从而可以有效的避免后续生成的扫描文件中出现重复内容的页面。

当然，作为本申请优选的一种实施方式中，还可以比较所选出的图片页数是否与目标页数相符，如果不相符，则根据选出的图片页数与目标页数的差值，调整关键帧检测参数和/或调整关键帧匹配参数。

其中，所述目标页数可以由用户根据实际扫描任务输入。当选出的图片页数少于目标页数时，则可能是关键帧没有被选上，则需要调整光流检测参数，比如调整光流阈值等，或者误删除了关键帧，则需要调整去重参数，比如调整匹配阈值等。

相应的，当选出的图片页数大于目标页数时，则可能是额外选出了错误的关键帧，则需要调整光流检测参数，比如调整光流阈值等，或者少删除了关键帧，则需要调整去重参数，比如调整匹配阈值等。

在步骤S104中，对去重后的关键帧进行文档边缘检测，根据边缘检测结果生成扫描文件。

对获取到的关键帧进行去重操作后，可以对去重后的关键帧进行滤波处理，去除图像中的噪声干扰，然后对图像的边缘进行检测，根据所检测到的边缘，绘制矩形框。当绘制的矩形框与图像中检测到的边缘不匹配时，则可以对图像进行形变处理，使得边缘检测后确定的页面匹配与矩形区域匹配。

得到矩形区域的图像后，可以裁剪出包括矩形区域的图像，对所述矩形区域的图像进一步的锐化处理，使得扫描的图像更加清晰。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

图4为本申请实施例提供的一种文件扫描装置的结构示意图，详述如下：

所述文件扫描装置包括：

视频获取单元401，用于通过摄像头获取待扫描内容的视频；

关键帧检测单元402，用于计算视频中的每帧图像的光流，根据所计算的光流检测关键帧；

去重单元403，用于对连续的两个关键帧进行特征匹配，根据特征匹配数删除重复的关键帧；

边缘检测单元404，用于对去重后的关键帧进行文档边缘检测，根据边缘检测结果生成扫描文件。

优选的，所述关键帧检测单元包括：

光流计算子单元，用于计算视频中的每帧图像的光流；

光流差计算子单元，用于根据每帧图像的光流，确定相邻两帧图像的光流差；

关键帧确定单元，用于若所述光流差小于预设的光流阈值，则将相邻两帧图像选为关键帧。

图4所述文件扫描装置，与图1所述文件扫描方法对应。

图5是本申请一实施例提供的文件扫描设备的示意图。如图5所示，该实施例的文件扫描设备5包括：处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52，例如文件扫描程序。所述处理器50执行所述计算机程序52时实现上述各个文件扫描方法实施例中的步骤。或者，所述处理器50执行所述计算机程序52时实现上述各装置实施例中各模块/单元的功能。

示例性的，所述计算机程序52可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器51中，并由所述处理器50执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序52在所述文件扫描设备5中的执行过程。例如，所述计算机程序52可以被分割成：

视频获取单元，用于通过摄像头获取待扫描内容的视频；

关键帧检测单元，用于计算视频中的每帧图像的光流，根据所计算的光流检测关键帧；

去重单元，用于对连续的两个关键帧进行特征匹配，根据特征匹配数删除重复的关键帧；

边缘检测单元，用于对去重后的关键帧进行文档边缘检测，根据边缘检测结果生成扫描文件。

所述文件扫描设备5可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述文件扫描设备可包括，但不仅限于，处理器50、存储器51。本领域技术人员可以理解，图5仅仅是文件扫描设备5的示例，并不构成对文件扫描设备5的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述文件扫描设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器50可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器51可以是所述文件扫描设备5的内部存储单元，例如文件扫描设备5的硬盘或内存。所述存储器51也可以是所述文件扫描设备5的外部存储设备，例如所述文件扫描设备5上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器51还可以既包括所述文件扫描设备5的内部存储单元也包括外部存储设备。所述存储器51用于存储所述计算机程序以及所述文件扫描设备所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种文件扫描方法，其特征在于，所述文件扫描方法包括：

通过摄像头获取待扫描内容的视频；

计算视频中的每帧图像的光流，根据所计算的光流检测关键帧；

对连续的两个关键帧进行特征匹配，根据特征匹配数删除重复的关键帧；

对去重后的关键帧进行文档边缘检测，根据边缘检测结果生成扫描文件。

2.根据权利要求1所述的文件扫描方法，其特征在于，所述计算视频中的每帧图像的光流，根据所计算的光流检测关键帧的步骤包括：

计算视频中的每帧图像的光流；

根据每帧图像的光流，确定相邻两帧图像的光流差；

若所述光流差小于预设的光流阈值，则将相邻两帧图像选为关键帧。

3.根据权利要求1所述的文件扫描方法，其特征在于，所述对连续的两个关键帧进行特征匹配，根据特征匹配数删除重复的关键帧的步骤包括：

对连续的两个关键帧进行特征匹配，确定特征的匹配点对数；

当匹配点对数大于预先设定的匹配阈值时，则认为两个关键帧重复，删除其中一个重复的关键帧。

4.根据权利要求1所述的文件扫描方法，其特征在于，在所述对去重后的关键帧进行文档边缘检测，根据边缘检测结果生成扫描文件的步骤之前，所述方法还包括：

比较所选出的图片页数是否目标页数相符；

如果不相符，则根据选出的图片页数与目标页数的差值，调整关键帧检测参数和/或调整关键帧特征匹配参数。

5.根据权利要求1所述的文件扫描方法，其特征在于，所述对去重后的关键帧进行文档边缘检测，根据边缘检测结果生成扫描文件的步骤包括：

检测去重后的关键帧的边缘，根据所述边缘绘制矩形框；

根据所述矩形框进行裁剪、变换大小和锐化，生成扫描文件。

6.根据权利要求1所述的文件扫描方法，其特征在于，所述计算视频中的每帧图像的光流，根据所计算的光流检测关键帧的步骤包括：

获取目标内容的纹理特征；

当所述纹理特征少于预定数量，则选择稠密光流算法计算光流，当所述纹理特征大于预定数量，则选择稀疏光流算法计算光流。

7.一种文件扫描装置，其特征在于，所述文件扫描装置包括：

视频获取单元，用于通过摄像头获取待扫描内容的视频；

关键帧检测单元，用于计算视频中的每帧图像的光流，根据所计算的光流检测关键帧；

去重单元，用于对连续的两个关键帧进行特征匹配，根据特征匹配数删除重复的关键帧；

边缘检测单元，用于对去重后的关键帧进行文档边缘检测，根据边缘检测结果生成扫描文件。

8.根据权利要求7所述的文件扫描装置，其特征在于，所述关键帧检测单元包括：

光流计算子单元，用于计算视频中的每帧图像的光流；

光流差计算子单元，用于根据每帧图像的光流，确定相邻两帧图像的光流差；

关键帧确定单元，用于若所述光流差小于预设的光流阈值，则将相邻两帧图像选为关键帧。

9.一种文件扫描设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述文件扫描方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述文件扫描方法的步骤。