CN107209935B - 用于测量移动文档图像质量的系统及方法 - Google Patents
用于测量移动文档图像质量的系统及方法 Download PDFInfo
- Publication number
- CN107209935B CN107209935B CN201580074728.1A CN201580074728A CN107209935B CN 107209935 B CN107209935 B CN 107209935B CN 201580074728 A CN201580074728 A CN 201580074728A CN 107209935 B CN107209935 B CN 107209935B
- Authority
- CN
- China
- Prior art keywords
- gray level
- level image
- image
- noise
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Facsimiles In General (AREA)
Abstract
本发明揭示一种用于检测捕获到的描绘硬拷贝文档的数字图像的质量的系统及方法。分析所述捕获到的数字图像以确定表示图像数据的质量等级的对应模糊、噪声、热点及不均匀照明度量。接着,组合所述模糊、噪声、热点与不均匀照明度量以为用户制定通过/警告/失败指示符,以响应于所述捕获到的数字图像质量。
Description
技术领域
本发明涉及数字成像领域,且更特定来说,涉及一种用于评估在移动装置或相机上捕获到的数字图像内的文档的质量的方法。
背景技术
数码相机提供优于用于捕获文档图像及其它图像的扫描仪的显著优点。数码相机通常比扫描仪更加便于携带,从而允许用户无论身在何处都能根据需要对文档进行成像,而不必将文档带到扫描仪。另外,因为扫描仪要求待被数字化的文档被放置在扫描仪台板上,所以数码相机能够捕获比扫描仪更多种多样的文档类型(例如,更大文档或安装于框架中的文档)的图像。然而,使用数码相机产生在使用扫描仪时不存在的困难。举例来说,在使用数码相机时照明条件变化,而扫描仪的照明条件通常可受控制。另外,使用数码相机可引入取决于各种因素(例如数码相机相对于文档的角度及距离、由数码相机使用的透镜及文档是定位在平坦表面上还是弯曲表面上)的几何失真。因为扫描仪通常在距平坦地固持在台板上的文档一定固定距离处利用移动扫描头,所以这些失真通常不会发生于扫描仪中。使用数码相机捕获文档的图像的另一困难是多种多样的不同可能背景形状、图案及颜色。
数码相机(特定来说,包含于移动电话、智能电话、平板计算机及其它移动装置中的数码相机)通常具有相对较小的预览显示器作为装置的部分。此较小屏幕使用户难以通过使用预览显示器评估捕获到的文档的质量。尽管许多智能电话中的装置显示器也用作捕获到的图像的预览或显示器屏幕,但这些屏幕可能对用户来说仍然太小而不能通过视觉检查确定文档的图像是否足以供进行所期望的后处理。
应用到扫描得到的文档的典型应用是使用光学字符辨识(OCR)以提取ASCII数据以供稍后使用,例如对文档编索引。模糊、噪声及不均匀照明将对OCR使用数码相机的文档捕获的能力具有负面影响。另一问题是:在使用数码相机捕获图像期间,闪光的使用可致使热点问题,其中捕获到的图像数据的部分归因于闪光而模糊不清。需要在捕获时测量及分析模糊、噪声、热点及不均匀照明使得可警示用户使用数码相机重新捕获文档的方法。
发明内容
本发明涉及一种用于测量捕获到的文档的数字图像的质量的系统及方法,且特定来说,涉及测量使用数码相机捕获到的文档的质量及在其不足以供进行所期望的进一步处理(例如OCR辨识)时产生重新捕获文档的图像的警示或指示。数码相机可包含于智能电话、平板计算机或其它便携式装置中。当包含于数字智能电话、平板计算机或其它便携式装置中时,所述系统及方法可经实施作为由装置执行的应用程序的部分。所述应用程序可经编程以控制相机的功能性。接着,所述应用可分析捕获到的任何图像,如下文更详细描述,且在捕获到的文档的图像不足以供进行所期望的稍后处理时警示用户。此相同功能性可被提供于对常规数码相机的编程内作为标准特征或可选择选项。替代地,可在通过网络云计算环境或从相机到与装置相关联的存储器的直接转移来接收图像的单独计算装置上完成处理及分析。
除了分析文档之外,本文描述的系统及方法可用于检测使用数码相机拍摄的常规照片中的相同类型的缺陷。可提供类似警示以建议用户重新拍摄照片。
使用数码相机或其它数字成像系统,捕获在背景上描绘硬拷贝文档的数字图像。所述数字图像可为彩色、黑色及白色或灰度。当捕获到彩色图像时,彩色数字图像可包含多个颜色通道的图像数据,分析所述图像数据以确定表示从图像数据提取信息的能力的量度的质量度量。接着,将多个颜色通道的图像数据转换成灰度等效物。当捕获到的图像是灰度或黑色及白色时,转换可能是不必要的,尽管也分析这些图像来确定质量度量。数码相机或包含数码相机的移动装置内的处理器进一步分析图像数据的模糊、噪声、不均匀照明及热点的度量以检测所描绘的硬拷贝文档的质量。在已确定度量之后,处理器将文档质量度量的指示存储于处理器可存取的存储器中。
由处理器分析质量测量以确保在捕获时获得可接着用于使用光学字符辨识提取信息的可用文档图像。
如果处理确定了图像的质量不够高,那么可向操作者提供指示应重新捕获文档的警示。可重复此过程直到获得经确定具有足够高的质量以对图像执行所期望的后捕获处理(例如OCR辨识)的文档的图像。
附图说明
图1是展示用于处理捕获到的数字图像的系统的组件的高级图。
图2是展示处理捕获到的数字图像及确定文档图像质量的方法的流程图。
图3是展示处理捕获到的数字图像及将其转换成经重新设定大小的灰度图像的方法的流程图。
图4描绘以图2的方法确定热点的存在的处理步骤的细节。
图5描绘以图2的方法确定噪声的存在的处理步骤的细节。
图6描绘以图2的方法确定模糊的存在的处理的细节。
图7描绘以图2的方法确定不均匀照明的存在的处理的细节。
图8描绘使用度量(热点、模糊、噪声及不均匀照明)创建停止/警告/前进指示器的额外处理步骤。
图9描绘以图2的方法用于计算热点度量的处理步骤。
图10描绘以图2的方法用于计算噪声度量的处理步骤。
图11描绘以图2的方法用于计算模糊度量的处理步骤。
图12描绘具有不均匀照明的图像的实例,且展示以图2的方法用于计算不均匀度量的处理步骤。
图13说明不均匀照明及通过将平均模糊图像平面的分数加到存储的灰度图像平面来创建剩余图像的实例。
具体实施方式
图1是展示用于捕获及处理图像的数码相机系统的组件的高级图。所述系统包含数据处理系统110、外围系统120、用户接口系统130及数据存储系统140。外围系统120、用户接口系统130及数据存储系统140以通信方式连接到数据处理系统110。这些系统可包含于数码相机或含有数码相机的移动装置(例如智能电话、平板计算机或PDA)内。替代地,可将来自数码相机的图像传输到单独系统以供处理。举例来说,数码相机可将图像传输到云计算网络上的服务器。所述服务器可处理所述图像,且将图像质量的确定传输回到数码相机。
数据处理系统110包含实施本发明的各种实施例的过程(其包含本文描述的实例过程)的一或多个数据处理装置。数据处理装置可为(例如)中央处理单元(“CPU”)、桌上型计算机、膝上型计算机、主机计算机、个人数字助理、智能电话、平板计算机、数码相机、蜂窝电话或用于处理数据、管理数据或处置数据的任何其它装置。处理器系统110还可包含用于将捕获到的文档的图像转换成文本的OCR引擎。
数据存储系统140包含经配置以存储信息(其包含由处理器执行的软件指令及捕获到的图像数据)的一或多个处理器可存取存储器。数据存储系统140可为分布式处理器可存取存储器系统,其包含经由多个计算机或装置以通信方式连接到数据处理系统110的多个处理器可存取存储器。另一方面,数据存储系统140无需是分布式处理器可存取存储器系统,且因此,其可包含定位于单个数据处理器或装置内的一或多个处理器可存取存储器。
处理器可存取存储器可为任何处理器可存取数据存储装置,无论是易失性的还是非易失性的、电子的、磁性的、光学的或其它,其包含但不限于寄存器、软盘、硬盘、光盘、DVD、快闪存储器、ROM及RAM。
系统组件可以实现数据在组件之间的传输(其包含可在其中传达数据的装置、数据处理器或程序之间的有线或无线传输)的任何方式以通信方式连接。此连接可包含单个数据处理器内装置或程序之间的连接、定位于不同数据处理器中的装置或程序之间的连接及根本未定位于数据处理器中的装置之间的连接。就此而言,尽管将数据存储系统140展示为与数据处理系统110分离,但数据存储系统140可完全或部分存储于数据处理系统110内。此外,就此而言,尽管将外围系统120及用户接口系统130展示为与数据处理系统110分离,但此类系统中的一者或两者可完全或部分存储于数据处理系统110内。
外围系统120可包含经配置以将数字内容记录提供到数据处理系统110的一或多个装置。举例来说,外围系统120可包含静态数码相机、数字摄像机、蜂窝电话或其它数据处理器。数据处理系统110在从外围系统120中的装置接收到数字内容记录之后可将此类数字内容记录存储于数据存储系统140中。外围系统120无需在包含数据处理系统110、用户接口系统130及数据存储系统140的数码相机装置外部。举例来说,外围系统可为智能电话内的相机组件或常规数码相机中的数字视频捕获组件。
用户接口系统130可包含触摸屏幕、触摸垫、按键、鼠标、键盘、另一计算机或任何装置或数据从其输入到数据处理系统110的装置的组合。就此而言,且如上所述,尽管将外围系统120展示为与用户接口系统130分离,但可包含外围系统120作为用户接口系统130的部分。用户接口系统130还可包含显示器装置、处理器可存取存储器或数据由数据处理系统110输出到其的任何装置或装置的组合。就此而言,如果用户接口系统130包含处理器可存取存储器,那么此存储器可为数据存储系统140的部分,尽管在图1中单独地展示了用户接口系统130及数据存储系统140。
如图2中所展示,使用数字成像系统(例如数码相机或照相电话)捕获200描绘包含文档的场景的数字图像。捕获到的文档的图像可为软拷贝媒体的适当硬拷贝上描绘的任何图像。举例来说,文档可为报告、信件、收据、发票、杂志、书籍、报纸、照片印制品、插图(例如,绘画)或电视或计算机显示器上显示的内容。文档可包含各种类型的内容,其包含文本、图形及摄影图像。多数文档将通常具有矩形边界,尽管所述边界可根据在捕获图像时数字成像系统的视角及文档的平整性而在几何结构上变形。
捕获到的数字图像200包含具有像素值的图像像素阵列。可由系统处理器分析205捕获到的数字图像200以确定其是否是具有多个颜色通道(例如,红色(R)、绿色(G)及蓝色(B)通道)的彩色图像。
将包含将彩色图像转换成灰度图像表示的数个预处理操作210应用到捕获到的数字图像200,以提供经处理的数字图像准备用于进一步处理。图3展示在图2中的分析步骤205的应用之后对接收到的捕获到的数字图像200(在RGB颜色空间中)执行的预处理操作210的实例,其描绘从RGB颜色空间转换成单个通道灰度的文档。预处理操作210可包含将数字图像重新设定大小成1024的最长边步骤305、高斯模糊步骤310、从颜色空间转换成灰度空间图像步骤315。当捕获到的图像已为灰度或黑色及白色时,此转换过程可能是不必要的。重新设定数字图像大小步骤305用于减小捕获到的数字图像200的大小以便减小存储器需求且提高剩余步骤的计算效率。在具有先进的处理器的系统中,如果处理及存储器组件足以处置完整大小的图像,那么此减小步骤可能是不必要的。经减小大小应足够大以实现文档边界的准确检测。举例来说,重新设定数字图像大小步骤305可减小捕获到的数字图像的大小,使得图像的最大尺寸是约1000像素(例如,1024像素)。替代地,图像可简单地按固定重新设定大小因数(例如,25%)重新设定大小。重新设定图像大小的方法通常涉及应用插值过程,例如双线性、双三次或最近邻插值。捕获到的数字图像200可任选地在应用插值过程之前使用适当抗混叠滤波器进行卷积以在重新设定大小过程期间减小混叠伪影(例如,“锯齿”)的形成。
颜色空间转换步骤315执行颜色空间转换以将图像数据转换成适当灰度空间315。举例来说,这可通过将图像数据转换成GRAY颜色空间(其是具有单个灰色(G)通道的颜色空间)来完成。“灰”色通道与图像的照度(或亮度)有关。使用GRAY颜色空间具有所期望的特性,即,通道与总体照度相关且不依赖于颜色信息。在完成RGB到灰度的转换315之后,拍摄317用于后续分析的所关注区域。所关注区域可为所关注中心区域、整个图像或待分析的图像的任何其它所期望部分。特定来说,可通过切掉图像的特定百分比的边缘获得所关注中心区域,借此减小将被处理的图像的高度及宽度。接着,在320处将所关注区域存储为灰度图像以供进一步处理。因为捕获到的文档很有可能接近捕获到的数字图像200的中心,所以接近图像的边缘的信息可能是不必要的,且通过丢弃此信息,处理将会更快。在丢弃来自文档的边缘的信息之前,处理器可能首先会执行检查以确定图像的边缘是否好像含有在如下文描述的后续处理中所关注的文本或其它特征。所存储的灰度图像320可为组成图像的二维像素的平面,其中每一像素具有与照度(或亮度)有关的值。
返回图2,在已将所关注区域存储为供步骤210中(如图3中详细描述)的后续处理使用的灰度图像320之后,接着,所述方法实施步骤以检查捕获到的图像中的某些缺陷。这些步骤包含热点确定220、噪声确定225、不均匀照明确定230及模糊确定235。
可执行热点确定220以检测图像中热点的存在。热点是图像中通常导致区域中的信息丢失的高级像素分组。如果在捕获到的文档中存在信息的丢失,那么对于OCR引擎,信息的提取变得不可能,且捕获到的图像可能不能用于提取文档的文本。
使用热点确定步骤220测量来自预处理210的存储的灰度图像320中是否存在热点。图4说明图2中的热点处理220中所涉及的步骤的详细表示。计算图像信息的若干统计数字以用于机器学习分类器中,其包含最小值、最大值、平均值及标准偏差。通过迭代地比较平面内每一像素的值,计算在组成灰度图像的像素405的平面中具有最小值的像素。首先,将所检查的第一像素的值存储为最小值。接着,系统迭代地检查系统内每个其它像素的值。如果所检查像素值小于当前存储的最小值,那么使用所述像素值取代存储的最小值。如下文所展示,确定图像中的最小像素值的过程可通过设置存储的无穷大的最小值开始。接着,将检查灰度图像中的第一像素,且因为其值可能一定小于无穷大,所以其值取代“无穷大”作为当前存储的最小值。接着,系统接着迭代地检查图像中每一像素的值,且比较其与当前存储的最小值。如果像素的值小于当前存储的最小值,那么其变成新的当前存储的最小值,在迭代过程中所有剩余像素都要与其作比较。在已检查过所有像素的值后,确定最后存储的最小值像素为图像的最小值。
最小值识别过程:
类似地,通过迭代地比较图像中每一像素的值计算平面410的最大值。如同最小值的确定,系统检查第一像素且将其值设置为当前存储的最大值。接着,检查第二像素,且比较第二像素与第一像素的值,且如果第二像素的值较大,那么第二像素值变成当前存储的最大值。如果第二像素值小于当前存储的最大值,那么存储的值不变,且再次比较所检查的下一像素与存储的第一像素的值。迭代地分析图像中的像素,且每当所检查的像素具有比存储的值更大的值时,就更新当前存储的最大值。如果像素的值大于当前存储的最大值,那么其变成新的当前存储的最大值,在迭代过程中所有剩余像素都要与其作比较。在已检查过所有像素的值后,确定最后存储的最大值像素为图像的最大值。
最大值识别过程:
通过对每一像素值进行求和计算平面415的平均值,且当已对所有像素值进行了求和时,将所得和除以整个图像中像素值的数目。所述结果是平面415的平均值。
平均值识别过程:
通过首先针对图像平面中的每一像素确定平面415的像素值与平均值之间的差值及对每一结果求平方计算平面420的标准偏差值。接着,确定计算出的差值的平均值的平方根,从而提供平面420的标准偏差值。
标准偏差识别过程:
返回参考图4,使用最小值、最大值、平均值及标准偏差通过应用机器学习树计算热点值。所述树是决策树,其是输入值与经由训练方法确定的预设值的一系列对比。训练程序可实施于程序中,例如Matlab、R统计程序或任何其它商业上开发的程序或开源程序。训练过程通过捕获已知含有模糊、热点、噪声及/或不均匀照明的一组图像开始。捕获不含有任何模糊、热点、噪声或不均匀照明的另一组图像。第一组被认为是失败组,且第二组被认为是成功组。然后,测量所有图像的模糊值、热点值、噪声值及/或不均匀照明值,且经由标注标记图像或在单独文件(例如不含有缺陷、模糊、热点、噪声及/或不均匀照明的电子表格)中标记图像。还基于缺陷的程度是否使图像不可用于进一步处理而使用通过值或失败值标记所有图像。
可使用分类及回归树(通常简称为CART)完成机器学习树的训练。除了通过/失败值外,通过呈现含有模糊值、热点值、噪声值或不均匀照明值的一系列图像及还呈现不含有任何问题的一系列图像,机器学习适当模式且产生用于对未知图像值进行分类的树。
图9含有具有热点900的图像的实例。已使用R统计建模程序确定了决策树,且以910表示所述树。如上文所指示,可使用其它程序(例如神经网络、支持向量机、S Plus或MatLab)建立决策树来检测热点。在决策树910中,首先做出关于图像中的最大像素值是否大于或等于经预先确定的阈值的确定。
如果图像中的最大值大于所述阈值,那么做出关于平均像素值是否大于或等于经预先确定的平均阈值的确定。如果平均像素值不大于或等于所述阈值,那么确定存在热点,且指示图像为“失败”。如果平均像素值大于或等于所述阈值,那么做出关于标准偏差是否大于或等于经预先确定的阈值的进一步确定。如果标准偏差大于或等于所述阈值,那么确定图像不含有热点,且指示“通过”。如果标准偏差不大于或等于所述阈值,那么确定存在热点,且指示“失败”。
当图像中的最大像素值小于阈值时,做出关于图像中的最小像素值是否大于或等于经预先确定的最小阈值的确定。如果最小像素值大于或等于所述阈值,那么确定图像不含有热点,且指示“通过”。如果最小像素值不大于或等于所述阈值,那么确定存在热点,且指示“失败”。当决策树910的输出是“通过”时,图像的热点条件被认为是真。当决策树910的输出是“失败”时,图像的热点条件被认为是假。如图4中所展示,如果热点决策树返回假430,那么热点旗标被存储为假440。如果热点决策树返回真435,那么热点旗标被存储为真440。
返回参考图2,可对存储的灰度图像320执行的另一处理步骤是确定噪声的存在225。图5说明在图2中确定噪声的存在225的处理步骤中的细节。如图5中所见,在505处将中值模糊应用到灰度图像平面,从而创建信号平面。可使用中值滤波器(例如3x3中值滤波器)应用此中值模糊。在步骤510处,从灰度图像平面减去信号平面,从而创建残余噪声平面。接着,在515处计算残余噪声平面中的噪声的百分位,例如90%。在步骤520处,确定灰度图像中信号的阈值百分位,且在525处,确定图像的信号值及噪声值。在526处,应用机器学习噪声树确定在图像中是否存在额外噪声。如果噪声值大于经预先确定的噪声阈值且信号值大于经预先确定的信号阈值,那么图像含有额外噪声。在527处,执行检查以确定图像是否含有噪声。如果确定存在噪声,那么在535处将噪声旗标设置为真。如果确定不存在模糊,那么在530处将噪声旗标设置为假。接着,在540处,存储被设置为真或假的噪声旗标。
图10说明含有噪声的文档的图像的实例,以及确定图像中的文档的区域是否具有噪声时涉及的决策树及处理。如图10中所见,文档1000的图像含有可被噪声遮蔽的部分。决策树可经实施以确定图像的区域是否包括了太多噪声。如1010中所见,决策树可包括噪声值及信号值的阈值电平,其中基于信号是高于还是低于阈值中的一者或两者而指定通过及失败区域。举例来说,可将噪声阈值设置为6.5且将信号阈值设置为132.5。具有低于132.5的阈值的信号值的文档图像可被认为是可接受的,无论噪声值为何。类似地,具有小于6.5的噪声值的文档图像可被认为是可接受的,无论信号值为何。然而,如1010中所展示,当文档图像具有高于信号阈值的信号值及高于噪声阈值的噪声级两者时,其落于决策树的“失败”区域内,且将文档图像指示为具有不可接受的噪声。
再次返回参考图2,还可对存储的灰度图像320执行模糊确定235。图6说明在图2中确定模糊的存在235的处理步骤中的细节。如图6中所见,在605处对存储的灰度图像320执行拉普拉斯滤波器。接着,在607处,系统计算灰度图像平面的特定阈值百分位直方图值。为了计算直方图,在组成图像的像素的所有列及行内迭代图像中的值。对于每一值,保留计数。当已检查过所有值且对其进行计数之后,生成直方图。特定阈值百分位是其中已对元素的总数目的百分比进行过计数的直方图值。举例来说,第90个百分位直方图值将是对90%像素进行计数的值。在步骤609及610处,计算灰度图像平面的最小值及最大值,如上文关于图4详细论述。在615及620处,使用与上文关于图4详细描述的相同的技术计算灰度图像平面的平均值及标准偏差值。在步骤625处,应用模糊学习树,其进行检查以观察计算得到的标准偏差是高于还是低于经预先确定的值。在图11中展示此学习树的细节,图11说明含有模糊1100的文档的图像的实例。在1110处应用学习树,系统进行检查以观察计算得到的标准偏差是高于还是低于经预先确定的值。如果标准偏差高于所述值,那么推测灰度图像清晰,且由决策树指示“通过”。然而,如果标准偏差低于经预先确定的值,那么推测图像为模糊,且由决策树指示“失败”。图11中的图形1120说明计算得到的高于及低于经预先确定的值的标准偏差的决策树的结果。返回参考图6,在步骤627处,系统确定灰度图像是否含有不可接受的模糊。此确定是基于来自决策树的用于将模糊旗标设置为“真”或“假”的“通过”或“失败”结果。如图2中所见,如果确定存在不可接受的模糊,那么在635处将模糊旗标设置为“真”。如果确定不存在不可接受的模糊,那么在630处将模糊旗标设置为“假”。接着,在640处存储被设置为“真”或“假”的模糊旗标。再次返回参考图2,还可对存储的灰度图像320执行不均匀照明确定230。图7说明在图2中确定不均匀照明的存在230的处理步骤中的细节。如图7中所见,在705处,将高斯模糊滤波器应用到灰度图像以创建模糊图像平面。在707及709处,使用上文在图4中描述的方法确定模糊图像平面的平均值及标准偏差。接着,在710处,将模糊平均图像平面的分数添加到存储的灰度图像平面320。为此,从平均值减去模糊图像,且获得结果的特定部分。接着,将此部分添加回到存储的灰度图像平面以形成所得图像平面。所述部分可为固定的(例如,0.75或75%),或可取决于被分析的特定图像的特性而变化。图13说明此过程的实例。接着,在715处存储从此加法所得的图像平面。在步骤720、725、730及735处使用上文关于图4描述的过程确定所得图像平面的最小值及最大值、平均值及标准偏差。在740处应用机器学习树。机器学习树进行检查以确定所得图像平面715的最大值是否大于经预先确定的值。如果最大值大于所述值,那么捕获到的图像被认为是具有不均匀照明。在图12中的1210处说明此机器学习树的实例。
图12还说明具有不均匀照明的文档1200的图像的实例。基于来自图7的学习树740的结果,在745处系统进行检查以观察在文档的图像中是否存在不均匀照明。如果确定不存在不均匀照明,那么在750处将不均匀照明旗标设置为“假”。然而,如果确定存在不均匀照明,那么在755处将不均匀照明旗标设置为“真”。接着,在760处存储所设置的不均匀照明旗标。
图8说明可在热点确定220、噪声确定225、不均匀照明确定230及模糊确定235之后执行的处理。如图8中所见,可将信号提供到符合标准交通灯表示的处理系统。如果模糊旗标被设置为真800,那么处理系统可将输出设置为失败805,且数码相机系统可向用户显示红色或停止指示器,从而建议用户应在离开之前重新拍摄图像。这是因为模糊被认为是光学字符辨识的失败模式操作。如果不均匀照明旗标是真810,那么输出被设置为警告,数码相机系统可将警告向用户显示为黄色指示器815。黄色指示器向用户提供其应检查捕获到的图像以确保其质量足以供进行所期望的后处理的信号,从而向用户给出重新拍摄图像可能是必要的通知。接下来,如果热点旗标被设置为真820,那么数码相机系统可向用户显示为黄色指示器815。接下来,如果噪声旗标被设置为真830,那么客户端应用可向用户显示为黄色指示器815。如果旗标(模糊、噪声、不均匀照明或热点)全都不是真,那么客户端应用可向用户显示绿色指示器840以向用户给出捕获到的图像对后处理来说是可接受的反馈。通过提供此反馈,系统允许使用数码相机或包含相机的移动装置作为常规便携式文档扫描仪。关于图像是否对后处理来说是可接受的、对后处理来说是不可接受的、或对后处理来说潜在地是不可接受的反馈可由视觉或听觉通知提供。举例来说,数码相机装置上的显示器可展示彩色编码通知(例如上文描述的红色、绿色及黄色,尽管可使用任何颜色),指示通过、失败或警告的图标或指示通过、失败或警告的文本。通知也可由可听音调或警示提供。举例来说,可使用不同音调或不同音调序列指示通过、失败或警告。
可使用计算机程序产品实施本文描述的方法。所述计算机程序产品可包含一或多个非暂时性、有形计算机可读存储媒体,例如:磁性存储媒体(例如磁盘(例如软盘)或磁带);光学存储媒体(例如光盘、光学磁带或机器可读条形码);固态电子存储装置(例如随机存取存储器(RAM)或只读存储器(ROM));或用于存储具有用于控制一或多个计算机实践根据本发明的方法的指令的计算机程序的任何其它物理装置或媒体。
Claims (22)
1.一种用于测量图像质量的系统,其包括:
数字成像系统,其经配置以捕获图像;
数据存储系统,其经配置以将所述捕获到的图像存储为灰度图像;
处理系统,其经配置以对所述存储的灰度图像进行存取,其中所述处理系统包含若干处理模块,其包含:
热点检测器,其经配置以检测所存储的灰度图像中热点的存在,且在检测到热点时将热点旗标设置为真;
噪声检测器,其经配置以检测所存储的灰度图像中噪声的存在,且在检测到噪声时将噪声旗标设置为真;
不均匀照明检测器,其用于检测所存储的灰度图像中不均匀照明的存在,且在检测到不均匀照明时将不均匀照明旗标设置为真;及
模糊检测器,其经配置以检测所存储的灰度图像中模糊的存在,且在检测到模糊时将模糊旗标设置为真;及
输出指示器,其经配置以在所述热点检测器、噪声检测器、不均匀照明检测器或模糊检测器将任何旗标设置为真时通知用户,其中所述输出指示器进一步经配置以指示以下各者中的至少一者:
在检测到不均匀照明时,指示警告状态;
在检测到热点时,指示警告状态;
在检测到噪声时,指示警告状态;及
在未检测到模糊、噪声、热点或不均匀照明时,指示通过状态。
2.根据权利要求1所述的系统,其中所捕获的图像进一步包括文本。
3.根据权利要求1所述的系统,其中所捕获的图像进一步包括彩色图像,且其中所述处理系统进一步经配置以将所述彩色图像转换成所述灰度图像。
4.根据权利要求1所述的系统,其中所述热点检测器经配置以:
确定所述存储的灰度图像中的像素的最小值;
确定所述存储的灰度图像中的所述像素的最大值;
确定所述存储的灰度图像的平均值;
确定所述存储的灰度图像的标准偏差;及
评估所述最大值、最小值、平均值及标准偏差以确定是否存在热点。
5.根据权利要求1所述的系统,其中所述噪声检测器经配置以:
将中值模糊应用到所述存储的灰度图像的图像平面以创建信号平面;
从所述图像平面减去信号平面以创建残余噪声平面;
确定所存储的灰度图像的信号及噪声值;及
确定在所存储的灰度图像中是否存在噪声。
6.根据权利要求5所述的系统,其中确定是否存在噪声包括:
确定所述信号值是否高于信号阈值;及
确定所述噪声值是否高于噪声阈值。
7.根据权利要求1所述的系统,其中所述不均匀照明检测器进一步经配置以:
创建模糊图像平面;
确定所述模糊图像平面的平均值;
确定所述模糊图像平面的标准偏差;
从所述模糊图像平面减去所述模糊图像平面的所述平均值,且经配置以将其结果的分数添加到所存储的灰度图像以创建计算得到的图像平面;
确定所述计算得到的图像平面的最大值;
确定所述计算得到的图像平面的最小值;
确定所述计算得到的图像平面的平均值;
确定所述计算得到的图像平面的标准偏差;及
确定所存储的灰度图像是否具有不均匀照明。
8.根据权利要求7所述的系统,其中确定所述存储的灰度图像是否具有不均匀照明图像包括:
确定所述计算得到的图像平面中的所述最大值是否大于阈值。
9.根据权利要求1所述的系统,其中所述模糊检测器经配置以:
计算所述存储的灰度图像的阈值百分位直方图值;
确定所述存储的灰度图像中的像素的最小值;
确定所述存储的灰度图像中的所述像素的最大值;
确定所述存储的灰度图像的平均值;
确定所述存储的灰度图像的标准偏差;及
确定所述存储的灰度图像是否模糊。
10.根据权利要求9所述的系统,其中确定所存储的灰度图像是否模糊包括:
评估所存储的灰度图像的所述标准偏差是否小于或等于阈值。
11.根据权利要求1所述的系统,其中所述输出指示器经配置以:
在所述模糊旗标被设置为真时,指示失败状态;
在所述不均匀照明旗标被设置为真时,指示警告状态;
在所述热点旗标被设置为真时,指示警告状态;
在所述噪声旗标被设置为真时,指示警告状态;及
在旗标都未被设置为真时,指示通过状态。
12.一种用于测量图像质量的方法,其包括:
使用数字成像系统捕获数字图像;
将所述捕获到的图像作为灰度图像存储于数据存储系统内;
使用处理系统对所述存储的灰度图像进行存取,其中所述处理系统:
检测所存储的灰度图像中热点的存在,且在检测到热点时将热点旗标设置为真;
检测所存储的灰度图像中噪声的存在,且在检测到噪声时将噪声旗标设置为真;
检测所存储的灰度图像中不均匀照明的存在,且在检测到不均匀照明时将不均匀照明旗标设置为真;
检测所存储的灰度图像中模糊的存在,且在检测到模糊时将模糊旗标设置为真;及
在所述热点、噪声、不均匀照明或模糊旗标都被设置为真时,使用输出指示器通知用户,其中使用输出指示器通知用户包括:
在检测到不均匀照明时,指示警告状态;
在检测到热点时,指示警告状态;
在检测到噪声时,指示警告状态;及
在未检测到模糊、噪声、热点或不均匀照明时,指示通过状态。
13.根据权利要求12所述的方法,其中所捕获的图像进一步包括文本。
14.根据权利要求12所述的方法,其中所捕获的图像进一步包括彩色图像,且其中使用处理系统将所述彩色图像转换成灰度图像。
15.根据权利要求12所述的方法,其中检测热点进一步包括:
确定所述存储的灰度图像中的像素的最小值;
确定所述存储的灰度图像中的像素的最大值;
确定所述存储的灰度图像的平均值;
确定所述存储的灰度图像的标准偏差;及
评估所述最大值、最小值、平均值及标准偏差以确定是否存在热点。
16.根据权利要求12所述的方法,其中检测噪声的存在进一步包括:
将中值模糊应用到所述存储的灰度图像的图像平面以创建信号平面;
从所述图像平面减去信号平面以创建残余噪声平面;
确定所存储的灰度图像的信号及噪声值;及
确定在所存储的灰度图像中是否存在噪声。
17.根据权利要求16所述的方法,其中确定是否存在噪声包括:
确定所述信号值是否高于信号阈值;及
确定所述噪声值是否高于噪声阈值。
18.根据权利要求12所述的方法,其中检测不均匀照明的存在进一步包括:
创建模糊图像平面;
确定所述模糊图像平面的平均值;
确定所述模糊图像平面的标准偏差;
从所述模糊图像平面减去所述模糊图像平面的所述平均值,及将其结果的分数添加到所存储的灰度图像以创建计算得到的图像平面;
确定所述计算得到的图像平面的最大值;
确定所述计算得到的图像平面的最小值;
确定所述计算得到的图像平面的平均值;
确定所述计算得到的图像平面的标准偏差;及
确定所存储的灰度图像是否具有不均匀照明。
19.根据权利要求18所述的方法,其中确定所述存储的灰度图像是否具有不均匀照明包括:
确定所述计算得到的图像平面中的所述最大值是否大于阈值。
20.根据权利要求12所述的方法,其中检测模糊的存在进一步包括:
计算所述存储的灰度图像的阈值百分位直方图值;
确定所述存储的灰度图像中的像素的最大值;
确定所述存储的灰度图像中的像素的最小值;
确定所述存储的灰度图像的平均值;
确定所述存储的灰度图像的标准偏差;及
确定所述存储的灰度图像是否模糊。
21.根据权利要求20所述的方法,其中确定所述存储的灰度图像是否模糊包括:
评估所述标准偏差是否小于或等于阈值。
22.根据权利要求12所述的方法,其中使用输出指示器通知用户包括:
在所述模糊旗标被设置为真时,指示失败状态;
在所述不均匀照明旗标被设置为真时,指示警告状态;
在所述热点旗标被设置为真时,指示警告状态;
在所述噪声旗标被设置为真时,指示警告状态;及
在旗标都未被设置为真时,指示通过状态。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/586,285 | 2014-12-30 | ||
US14/586,285 US9626582B2 (en) | 2014-12-30 | 2014-12-30 | System and method for measuring mobile document image quality |
PCT/US2015/067580 WO2016109381A1 (en) | 2014-12-30 | 2015-12-28 | System and method for measuring mobile document image quality |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107209935A CN107209935A (zh) | 2017-09-26 |
CN107209935B true CN107209935B (zh) | 2019-05-31 |
Family
ID=55637425
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580074728.1A Active CN107209935B (zh) | 2014-12-30 | 2015-12-28 | 用于测量移动文档图像质量的系统及方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9626582B2 (zh) |
EP (1) | EP3241182B1 (zh) |
CN (1) | CN107209935B (zh) |
BR (1) | BR112017014158A2 (zh) |
WO (1) | WO2016109381A1 (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104240277B (zh) * | 2013-06-24 | 2019-07-19 | 腾讯科技(深圳)有限公司 | 基于人脸检测的增强现实交互方法和系统 |
US9237847B2 (en) | 2014-02-11 | 2016-01-19 | Welch Allyn, Inc. | Ophthalmoscope device |
US9211064B2 (en) | 2014-02-11 | 2015-12-15 | Welch Allyn, Inc. | Fundus imaging system |
US11045088B2 (en) | 2015-02-27 | 2021-06-29 | Welch Allyn, Inc. | Through focus retinal image capturing |
US10799115B2 (en) | 2015-02-27 | 2020-10-13 | Welch Allyn, Inc. | Through focus retinal image capturing |
US10136804B2 (en) * | 2015-07-24 | 2018-11-27 | Welch Allyn, Inc. | Automatic fundus image capture system |
US10772495B2 (en) | 2015-11-02 | 2020-09-15 | Welch Allyn, Inc. | Retinal image capturing |
WO2017120217A1 (en) | 2016-01-07 | 2017-07-13 | Welch Allyn, Inc. | Infrared fundus imaging system |
US10530939B2 (en) * | 2016-03-04 | 2020-01-07 | Hewlett-Packard Development Company, L.P. | Correcting captured images using a reference image |
US10037459B2 (en) * | 2016-08-19 | 2018-07-31 | Sage Software, Inc. | Real-time font edge focus measurement for optical character recognition (OCR) |
US10602926B2 (en) | 2016-09-29 | 2020-03-31 | Welch Allyn, Inc. | Through focus retinal image capturing |
RU2634195C1 (ru) * | 2016-12-06 | 2017-10-24 | Общество с ограниченной ответственностью "Аби Девелопмент" | Способ и устройство для определения пригодности документа для оптического распознавания символов (ocr) |
DE102018201794B3 (de) * | 2018-02-06 | 2019-04-11 | Heidelberger Druckmaschinen Ag | Adaptive Bildglättung |
US11096574B2 (en) | 2018-05-24 | 2021-08-24 | Welch Allyn, Inc. | Retinal image capturing |
JP7122625B2 (ja) * | 2018-07-02 | 2022-08-22 | パナソニックIpマネジメント株式会社 | 学習データ収集装置、学習データ収集システム、及び学習データ収集方法 |
US10848664B2 (en) * | 2018-07-26 | 2020-11-24 | Sony Corporation | Image capture device and method for image score-based video quality enhancement |
US11216911B2 (en) * | 2019-10-31 | 2022-01-04 | Dell Products L.P. | Device manufacturing cycle time reduction using machine learning techniques |
CN112131841A (zh) * | 2020-08-27 | 2020-12-25 | 北京云动智效网络科技有限公司 | 一种文档质量评估方法及系统 |
WO2022086533A1 (en) * | 2020-10-22 | 2022-04-28 | Hewlett-Packard Development Company, L.P. | Mobile scanning device and method of scanning |
US11893784B2 (en) | 2021-05-14 | 2024-02-06 | Abbyy Development Inc. | Assessment of image quality for optical character recognition using machine learning |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101595494A (zh) * | 2006-12-13 | 2009-12-02 | 奥多比公司 | 用于彩色图像和灰度图像的鲁棒的特征提取 |
CN102349292A (zh) * | 2009-03-12 | 2012-02-08 | 高通股份有限公司 | 对图像中模糊的检测的响应 |
CN102576456A (zh) * | 2009-07-31 | 2012-07-11 | 伊斯曼柯达公司 | 使用范围信息的数字图像亮度调节 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9070192B1 (en) * | 2007-05-15 | 2015-06-30 | Vision Interface Technologies, LLC | Implementing rich color transition curve tracking for applications |
US8144986B2 (en) * | 2008-09-05 | 2012-03-27 | The Neat Company, Inc. | Method and apparatus for binarization threshold calculation |
RU2653461C2 (ru) | 2014-01-21 | 2018-05-08 | Общество с ограниченной ответственностью "Аби Девелопмент" | Обнаружение блика в кадре данных изображения |
-
2014
- 2014-12-30 US US14/586,285 patent/US9626582B2/en active Active
-
2015
- 2015-12-28 CN CN201580074728.1A patent/CN107209935B/zh active Active
- 2015-12-28 BR BR112017014158A patent/BR112017014158A2/pt not_active Application Discontinuation
- 2015-12-28 EP EP15848128.3A patent/EP3241182B1/en active Active
- 2015-12-28 WO PCT/US2015/067580 patent/WO2016109381A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101595494A (zh) * | 2006-12-13 | 2009-12-02 | 奥多比公司 | 用于彩色图像和灰度图像的鲁棒的特征提取 |
CN102349292A (zh) * | 2009-03-12 | 2012-02-08 | 高通股份有限公司 | 对图像中模糊的检测的响应 |
CN102576456A (zh) * | 2009-07-31 | 2012-07-11 | 伊斯曼柯达公司 | 使用范围信息的数字图像亮度调节 |
Also Published As
Publication number | Publication date |
---|---|
US9626582B2 (en) | 2017-04-18 |
CN107209935A (zh) | 2017-09-26 |
US20160188993A1 (en) | 2016-06-30 |
BR112017014158A2 (pt) | 2018-03-06 |
EP3241182B1 (en) | 2019-11-06 |
WO2016109381A1 (en) | 2016-07-07 |
EP3241182A1 (en) | 2017-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107209935B (zh) | 用于测量移动文档图像质量的系统及方法 | |
US9412030B2 (en) | Visualization of defects in a frame of image data | |
CN103975342B (zh) | 用于移动图像捕获和处理的系统和方法 | |
JP4351911B2 (ja) | デジタルスチルカメラにおける取り込み画像の写真品質を評価する方法及び装置 | |
US9811885B2 (en) | Detecting glare in a frame of image data | |
JP5546317B2 (ja) | 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム | |
JP5043755B2 (ja) | 樹脂材料検査装置およびプログラム | |
US8811751B1 (en) | Method and system for correcting projective distortions with elimination steps on multiple levels | |
US8897600B1 (en) | Method and system for determining vanishing point candidates for projective correction | |
US9679354B2 (en) | Duplicate check image resolution | |
JP2008523504A (ja) | ディジタル画像受容可能性自動判別 | |
US8503734B2 (en) | Detecting image detail level | |
US8913836B1 (en) | Method and system for correcting projective distortions using eigenpoints | |
van Zwanenberg et al. | Edge detection techniques for quantifying spatial imaging system performance and image quality | |
US20120275685A1 (en) | Dynamic print contrast signal determination for paper documents | |
US9094617B2 (en) | Methods and systems for real-time image-capture feedback | |
Haralick | Glossary and index to remotely sensed image pattern recognition concepts | |
CN111291778B (zh) | 深度分类模型的训练方法、曝光异常检测方法以及装置 | |
JP5887242B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2017521011A (ja) | シンボルの光学的検出方法 | |
WO2023034441A1 (en) | Imaging test strips | |
JP2007080136A (ja) | 画像内に表現された被写体の特定 | |
US20080199073A1 (en) | Red eye detection in digital images | |
Boiangiu et al. | Target Validation and Image Color Calibration | |
Fong et al. | Analysis and design of foreign objects automatic detecting system for scallion pancake production line |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |