CN105335953B - 提取图像的背景亮度图的装置和方法、去阴影装置和方法 - Google Patents

提取图像的背景亮度图的装置和方法、去阴影装置和方法 Download PDF

Info

Publication number
CN105335953B
CN105335953B CN201410320078.1A CN201410320078A CN105335953B CN 105335953 B CN105335953 B CN 105335953B CN 201410320078 A CN201410320078 A CN 201410320078A CN 105335953 B CN105335953 B CN 105335953B
Authority
CN
China
Prior art keywords
brightness
luminance
background
image
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410320078.1A
Other languages
English (en)
Other versions
CN105335953A (zh
Inventor
郑赟
范伟
孙俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN201410320078.1A priority Critical patent/CN105335953B/zh
Priority to US14/717,273 priority patent/US9204011B1/en
Priority to JP2015135640A priority patent/JP6592992B2/ja
Publication of CN105335953A publication Critical patent/CN105335953A/zh
Application granted granted Critical
Publication of CN105335953B publication Critical patent/CN105335953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/401—Compensating positionally unequal response of the pick-up or reproducing head
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本公开涉及一种用于提取图像的背景亮度图的装置和方法以及去除图像中的阴影的去阴影装置和方法，该装置包括：亮度提取单元，被配置为提取图像中各处的亮度值以获得亮度图；分离单元，被配置为基于亮度图将图像的背景和前景分离，以获得初始背景亮度图；顶部和底部亮度获取单元，被配置为提取初始背景亮度图的顶部亮度和底部亮度，并且在顶部亮度和/或底部亮度存在部分缺失的情况下，分别利用顶部亮度和/或底部亮度中的已有数据对缺失的部分进行补充以获得完整的顶部亮度和底部亮度；以及插值单元，被配置为基于顶部和底部亮度获取单元获得的完整的顶部亮度和底部亮度对整幅图像进行插值，以获得图像的背景亮度图。

Description

提取图像的背景亮度图的装置和方法、去阴影装置和方法
技术领域
本公开涉及图像处理领域，具体地涉及计算机视觉，更具体地，涉及一种用于提取图像的背景亮度图的装置和方法、自动去除图像中的阴影的去阴影装置和方法以及包括该去阴影装置的扫描仪或数码相机。
背景技术
目前，可以通过扫描仪或数码相机等设备获取待扫描对象比如纸质书籍或杂志的图像，从而将其数字化。但是，由于光线影响以及待扫描对象比如书籍的表面本身的弯曲，所获得的图像通常存在阴影，如图1所示。因此，为了改善成像效果，期望自动地去除这些阴影。
发明内容
在下文中给出了关于本发明的简要概述，以便提供关于本发明的某些方面的基本理解。应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图确定本发明的关键或重要部分，也不是意图限定本发明的范围。其目的仅仅是以简化的形式给出某些概念，以此作为稍后论述的更详细描述的前序。
根据本发明的一个方面，提供了一种用于提取图像的背景亮度图的装置，包括：亮度提取单元，被配置为提取图像中各处的亮度值以获得亮度图；分离单元，被配置为基于亮度图将图像的背景和前景分离，以获得初始背景亮度图；顶部和底部亮度获取单元，被配置为提取初始背景亮度图中的最上一行和最下一行的值分别作为顶部亮度和底部亮度，并且在顶部亮度和/或底部亮度存在部分缺失的情况下，分别利用顶部亮度和/或底部亮度中的已有数据对缺失的部分进行补充以获得完整的顶部亮度和底部亮度；以及插值单元，被配置为基于顶部和底部亮度获取单元获得的完整的顶部亮度和底部亮度对整幅图像进行插值，以获得图像的背景亮度图。
根据本发明的另一个方面，提供了一种去除图像中的阴影的去阴影装置，包括上述用于提取图像的背景亮度图的装置，该去阴影装置还包括消除单元，被配置为从亮度图中去除背景亮度图的影响。
根据本发明的另一个方面，还提供了一种用于提取图像的背景亮度图的方法，包括：提取图像中各处的亮度值以获得亮度图；基于亮度图将图像的背景和前景分离，以获得初始背景亮度图；提取初始背景亮度图中的最上一行和最下一行的值分别作为顶部亮度和底部亮度，并且在顶部亮度和/或底部亮度存在部分缺失的情况下，分别利用顶部亮度和/或底部亮度中的已有数据对缺失的部分进行补充以获得完整的顶部亮度和底部亮度；以及基于所获得的完整的顶部亮度和底部亮度对整幅图像进行插值，以获得图像的背景亮度图。
根据本发明的又一个方面，还提供一种去除图像中的阴影的去阴影方法，包括上述用于提取图像的背景亮度图的方法，该去阴影方法还包括从亮度图中去除背景亮度图的影响。
根据本发明的另一个方面，还提供了一种扫描仪和数码相机，包括上述去阴影装置。
依据本发明的其它方面，还提供了相应的计算机程序代码、计算机可读存储介质和计算机程序产品。
通过以下结合附图对本发明的优选实施例的详细说明，本发明的这些以及其他优点将更加明显。
附图说明
为了进一步阐述本发明的以上和其它优点和特征，下面结合附图对本发明的具体实施方式作进一步详细的说明。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分。具有相同的功能和结构的元件用相同的参考标号表示。应当理解，这些附图仅描述本发明的典型示例，而不应看作是对本发明的范围的限定。在附图中：
图1示出了具有阴影的图像的示例；
图2示出了根据本申请的一个实施例的用于提取图像的背景亮度图的装置的结构框图；
图3示出了根据本申请的一个实施例的分离单元的结构框图；
图4示出了根据本申请的一个实施例的背景部分提取模块的结构框图；
图5示出了图1中的图像对应的梯度图的示例；
图6示出了对图5进行二值化后获得的图的示例；
图7示出了对图6进行标记之后获得的图的示例；
图8示出了对图7进行填充之后获得的初始背景亮度图的示例；
图9示出了对缺失部分进行补充时使用的模型的示意图；
图10示出了最终获得的背景亮度图的示例；
图11示出了根据本申请的另一个实施例的用于提取图像的背景亮度图的装置的结构框图；
图12示出了根据本申请的一个实施例的去除图像中的阴影的去阴影装置的结构框图；
图13示出了图1去除阴影之后的图像的示例；
图14示出了根据本申请的实施例的用于提取图像的背景亮度图的方法和去除图像中的阴影的去阴影方法的流程图；
图15示出了图14中的步骤S12的子步骤的流程图；
图16示出了图15中的步骤S201的子步骤的流程图；以及
图17是其中可以实现根据本发明的实施例的方法和/或装置的通用个人计算机的示例性结构的框图。
具体实施方式
在下文中将结合附图对本发明的示范性实施例进行描述。为了清楚和简明起见，在说明书中并未描述实际实施方式的所有特征。然而，应该了解，在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定，以便实现开发人员的具体目标，例如，符合与系统及业务相关的那些限制条件，并且这些限制条件可能会随着实施方式的不同而有所改变。此外，还应该了解，虽然开发工作有可能是非常复杂和费时的，但对得益于本公开内容的本领域技术人员来说，这种开发工作仅仅是例行的任务。
在此，还需要说明的一点是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的设备结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
如上所述，期望提供一种装置和方法来实现对待扫描对象比如书籍成像获得的图像中的阴影的自动去除。为了解决该问题，关键在于准确地获得图像的背景亮度图，在版面复杂的情况下更是如此。
下面参照图2来描述根据本申请的一个实施例的用于提取图像的背景亮度图的装置100的结构，如图2所示，装置100包括：亮度提取单元101，被配置为提取图像中各处的亮度值以获得亮度图；分离单元102，被配置为基于亮度图将图像的背景和前景分离，以获得初始背景亮度图；顶部和底部亮度获取单元103，被配置为提取初始背景亮度图中的最上一行和最下一行的值分别作为顶部亮度和底部亮度，并且在顶部亮度和/或底部亮度存在部分缺失的情况下，分别利用顶部亮度和/或底部亮度中的已有数据对缺失的部分进行补充以获得完整的顶部亮度和底部亮度；以及插值单元104，被配置为基于顶部和底部亮度获取单元获得的完整的顶部亮度和底部亮度对整幅图像进行插值，以获得图像的背景亮度图。
为了获取图像的背景亮度图，装置100首先从图像中分离出背景，并且利用顶部亮度和底部亮度中的已有数据对缺失的部分进行补充，然后利用获得的完整的顶部亮度和底部亮度对整个图像进行插值。
这里所述的图像可以是彩色图像，也可以是灰度图像。图像的示例如图1所示。
亮度提取单元101可以针对各个像素提取其亮度值从而获得亮度图。作为一个示例，当图像为彩色图像时，亮度提取单元101可以将彩色图像转换到YUV彩色空间并将其中的Y图像作为亮度图。而当图像为灰度图像时，可以使用灰度值来作为亮度值。
然后，分离单元102基于亮度图根据图像的背景和前景在亮度方面的特征的不同来对二者进行分离，即利用了图像的内容信息。下面参照图3给出分离单元102的一个示例。如图3所示，分离单元102包括：背景部分提取模块201，被配置为提取亮度图中作为背景的部分；以及填充模块202，被配置为使用前景周围的背景部分的像素的值来对前景进行一定程度的填充，并将填充后获得的亮度图作为初始背景亮度图。
其中，设置填充模块202是为了去除前景中面积较小的区域，从而降低噪声。这里所述的填充可以是用背景部分的像素值来代替前景中的至少一部分像素的值，填充的程度、即每次填充的像素数量可以事先设定。
图4示出了根据本申请的一个实施例的背景部分提取模块201的结构框图。背景部分提取模块201包括：转换部2011，被配置为将亮度图转换为梯度图并进行二值化；以及标记部2012，被配置为将具有最大尺寸的白色的连通部件以及与其平均亮度差别在一定范围内的其他的白色连通部件标记为背景部分。
该背景部分提取模块201利用了背景变化较为缓慢而前景变化较为迅速的特征来提取背景部分。仍然以图1的图像为例，其亮度图经过转换部2011的处理之后的梯度图如图5所示，相应的二值化之后的图如图6所示，在图中，前景部分用黑色表示，背景部分用白色表示。为了便于描述，还在图5中将水平方向定义为x方向，垂直方向定义为y方向。
其中，梯度图像可以通过使用卷积模板卷积获得，卷积模板例如水平方向、即x方向为[-1,0,1]，垂直方向、即y方向为[-1,0,1]T。卷积后还可以将梯度图归一化，例如到[0,255]区间。此外，二值化的阈值可以通过计算梯度图直方图的90％分位获得，当然，也可以采用其他百分比，这里仅作为一个示例示出。
然后，标记部2012找到图6中面积最大的白色的连通部件并将其作为背景部分，同时还将与其平均亮度接近的其他的白色连通部件也标记为背景部分。这里所述的平均亮度接近可以指二者平均亮度之差在一定范围(比如60)内。此外，除了比较平均亮度值之外，还可以比较平均颜色、即平均的U和V值，换言之，将平均亮度和平均颜色接近的白色连通部件标记为背景部分。对图6进行标记之后的获得如图7所示的图，其中，白色部分为背景部分。
在一个实施例中，如果背景部分提取模块201提取的背景部分的平均亮度低于一定阈值(比如120)，则顶部和底部亮度获取单元103将顶部亮度和底部亮度均设置为亮度图中对应列的最大亮度值。在这种情况下，由于背景比较暗，因此可以不必考虑列方向上的背景亮度的变化。这里所述的列方向例如为图5和6中的垂直方向、即y方向。
此外，图8示出了使用填充模块202对图7中所示的图进行处理之后获得的初始背景亮度图。
可以看出，在该图中的顶部部分的右侧为前景而非背景，因此，当顶部和底部亮度获取单元103提取初始背景亮度图中的最上一行的值作为顶部亮度时，对应于这一部分的背景亮度值缺失，这一现象例如是由于复杂的版面安排所致。在这种情况下，顶部和底部亮度获取单元103利用已有的数据对该缺失的部分进行补充从而获得完整的顶部亮度。
同样，如果底部亮度存在部分缺失时，顶部和底部亮度获取单元103执行类似的处理，以获得完整的底部亮度。
其中，顶部和底部亮度获取单元103可以被配置为采用基于已有数据的多项式拟合来对顶部亮度和/或底部亮度中缺失的部分进行补充。
例如，可以构造n阶的多项式f(x)对已有数据进行拟合，如下式(1)所示，并且使用拟合出的f(x)来计算缺失部分的亮度值。
其中，x为距离左侧边界的距离，C表示顶部亮度中存在数据的部分，例如图8中顶部左起白色的部分，f(x)为用多项式表示的x处的估计背景亮度，Yx为从已有数据中获得的相应位置处的实际背景亮度值。图9示出了一种示意性的光线照射模型，其中z方向为垂直于xy平面(即桌面)的方向，弧线代表摊开的平放于桌面上的书籍沿垂直于桌面方向的剖面图，且光线从上方照射，在式(1)中，认为背景亮度值与x轴方向的位置有关。
通过使式(1)最小化，可以确定多项式f(x)，然后将f(x)应用于右侧的数据缺失的部分、即图8中右上侧黑色的部分，从而可以获得完整的顶部亮度。同样，如果在底部亮度中存在缺失部分，也可以使用式(1)进行类似的处理。
在一个实施例中，顶部和底部亮度获取单元103可以被配置为采用最小二乘法进行多项式拟合。当然，也可以使用其他已有的多项式拟合方法，而不限于此。
在另一个实施例中，顶部和底部亮度获取单元103还被配置为基于Lambertian反射模型来计算顶部亮度和/或底部亮度中缺失的部分的估算亮度并且将与该估算亮度相关的值作为已有数据的一部分，来对顶部亮度和/或底部亮度中缺失的部分进行补充。
具体地，顶部和底部亮度获取单元103可以使用下式(2)来进行多项式f(x)的拟合。
其中，式(2)中的第一个求和具有与式(1)相同的含义，第二个求和中L(x)表示基于Lambertian反射模型估算的缺失部分的背景亮度值，M表示顶部亮度或底部亮度中数据缺失的部分，例如图8中顶部右侧黑色的部分。λ表示加权系数，用来调节两部分分别所占的比例。
Lambertian反射模型可以如下表示，其中，I0表示光源的光照亮度，如图9所示，I0为高度H处的光照亮度，H为距放置书籍的桌面的高度，d为书籍的页面距桌面的高度，随着x方向的位置而变化，θ为页面的法向与z轴方向的夹角。
该反射模型只能粗略的估计背景亮度，但是由于光线不一定严格垂直，且高度d不一定准确，因此直接使用其计算背景亮度结果并不准确。在该实施例中，利用其计算结果作为已知数据的一部分对多项式f(x)进行拟合，从而利用了图像对应的书籍的3维形状信息，因此可以获得比仅使用式(1)进行拟合更为准确的结果。
此外，还可以将估算亮度沿与顶部和底部的边平行的方向的导数作为已知数据的一部分来进行多项式拟合，如下式(4)所示。
该式与式(3)相比，使用了L(x)的导数进行计算，这样减弱了d不准确的影响，可以获得更为准确的结果。
在其他实施例中，顶部和底部亮度获取单元103还可以被配置为采用基于已有数据的线性插值来对顶部亮度和/或底部亮度中缺失的部分进行补充。例如，可以采用与已有数据的最接近缺失部分的数据来进行线性插值。可以理解，还可以使用与至少部分已有数据完全相同的数据来补充缺失的部分。
可以看出，通过使用顶部和底部亮度获取单元103，即使在复杂版面导致顶部亮度和/或底部亮度不完整的情况下，也可以对缺失的部分进行补充，从而获得完整的顶部亮度和底部亮度数据，提高随后进行的插值的准确度。
插值单元104通过使用顶部亮度和底部亮度对整幅图像进行线性插值，例如，以图像的左上角作为坐标原点，采用图5所示的坐标轴设置的情况下，可以使用以下公式(5)获得各个位置处的背景亮度值BI。
BI(x,y)＝(y/S)*Itop,x+(1-y/S)*Ibottom,x (5)
其中，S为书籍的页面在y方向上的长度，Itop,x表示顶部亮度，Ibottom,x表示底部亮度。最终获得的背景亮度图例如如图10所示。
此外，在图像分辨率较高时，为了降低计算量、提高处理速度，还可以采用图11所示的根据本申请的一个实施例的用于提取背景亮度图的装置200，除了装置100所包括的各个部件，装置200还包括：下采样单元105，被配置为对亮度提取单元101获得的亮度图进行下采样；以及上采样单元106，被配置为对插值单元104获得的背景亮度图进行上采样。
具体地，下采样单元105可以将亮度图下采样到一定的像素范围内，例如使得亮度图的长边小于1000像素等，从而可以降低计算量，提高处理速度。在插值单元104获得背景亮度图之后，上采样单元106对该背景亮度图进行上采样。注意，上采样单元106可以将其上采样到图像原始尺寸，也可以上采样到其他尺寸，取决于背景亮度图的应用场合。
综上所述，采用上述装置100或200，可以准确地提取各种文档图像包括复杂排版的文档图像的背景亮度图。
图12示出了一种去除图像中的阴影的去阴影装置300，该装置300包括以上描述的用于提取图像的背景亮度图的装置100或200，还包括：消除单元301，被配置为从亮度图中去除背景亮度图的影响。
在一个实施例中，消除单元301被配置为将亮度图中的值与背景亮度图中的值相除，并且乘以预定系数以调节整体亮度。具体地，根据下式(6)进行去阴影操作。
Yout(x,y)＝ω*Y(x,y)/BI(x,y) (6)
其中，Yout(x,y)为最终获得的亮度图中的值，Y(x,y)为亮度提取单元101提取的亮度图中的值，BI(x,y)为通过装置100或200的处理获得的背景亮度图中的值，ω用于调节整体亮度，一般地，ω越大则整体图像越亮，否则越暗。
仍然以图1为例，经过装置300执行去阴影处理之后所获得的图像如图13所示，可以看出，已经去除了绝大部分的阴影，改善了用户的阅读体验。
此外，如果被处理的图像为彩色图像，还可以将Yout、U、V转换到原始RGB空间。
由于装置100或200准确地提取了图像的背景亮度图，因此上述装置300可以有效快速地去除图像中存在的阴影。装置300例如可以包含在或附接到扫描仪或数码相机中，用于对所获得的图像进行去阴影处理。此外，可以理解，包括装置300的扫描仪或数码相机也落入本申请的公开范围内。
以上结合附图描述了根据本发明的用于提取图像的背景亮度图的装置和用于去除图像中的阴影的去阴影装置的实施方式，在此过程中事实上也描述了一种用于提取图像的背景亮度图的方法和去除图像中的阴影的方法。下面对所述方法结合附图14-16予以简要描述，其中的细节可参见前文对相应装置的描述。
如图14所示，用于提取图像的背景亮度图的方法包括如下步骤：提取图像中各处的亮度值以获得亮度图(S11)；基于该亮度图将图像的背景和前景分离，以获得初始背景亮度图(S12)；提取初始背景亮度图中的最上一行和最下一行的值分别作为顶部亮度和底部亮度，并且在顶部亮度和/或底部亮度存在部分缺失的情况下，分别利用顶部亮度和/或底部亮度中的已有数据对缺失的部分进行补充以获得完整的顶部亮度和底部亮度(S13)；以及基于所获得的完整的顶部亮度和底部亮度对整幅图像进行插值，以获得图像的背景亮度图(S14)。
此外，如图14中的虚线框S15和S16所示，为了降低计算量和提高速度，上述方法还可以在步骤S11之后步骤S12之前包括步骤S15：对步骤S11中获得的亮度图进行下采样。相应地，在步骤S14之后执行步骤S16：对步骤S14中获得的背景亮度图进行上采样。
这里处理的图像可以是彩色图像，在这种情况下，在步骤S11中将彩色图像转换到YUV彩色空间并且将Y图像作为亮度图。也可以是灰度图像，在这种情况下，亮度值为灰度值。
在一个实施例中，如图15所示，步骤S12可以包括如下子步骤：提取亮度图中作为背景的部分(S201)；以及使用前景周围的背景部分的像素的值来对前景进行一定程度的填充，并将填充后获得的亮度图作为初始背景亮度图(S202)。
作为示例，如图16所示，步骤S201可以如下执行：将亮度图转换为梯度图(S2011)；进行二值化(S2012)；以及将具有最大尺寸的白色的连通部件以及与其平均亮度差别在一定范围内的其他的白色连通部件标记为背景部分(S2013)。
此外，在步骤S13中，可以采用基于已有数据的多项式拟合来对顶部亮度和/或底部亮度中缺失的部分进行补充。作为一个示例，可以采用最小二乘法来进行多项式拟合。
在一个实施例中，在步骤S13中，基于Lambertian反射模型来计算顶部亮度和/或底部亮度中缺失的部分的估算亮度并且将与该估算亮度相关的值作为已有数据的一部分，来对顶部亮度和/或底部亮度中缺失的部分进行补充。作为一个示例，与估算亮度相关的值可以为估算亮度本身，或者为估算亮度沿与顶部和底部的边平行的方向的导数。
此外，在步骤S13中，还可以采用基于已有数据的线性插值来对顶部亮度和/或底部亮度中缺失的部分进行补充。
另一方面，如果在步骤S201中提取的背景部分的平均亮度或平均亮度和平均颜色低于一定阈值，将在步骤S13中将顶部亮度和底部亮度均设置为亮度图中对应列的最大亮度值。在这种情况下，图像的每一列具有相同的背景亮度值，不必进行插值。
现在返回参照图14，还示出了一种去除图像中的阴影的去阴影方法，该去阴影方法除了包括以上参照图14描述的各个步骤之外，还包括用虚线框示出的步骤S21：从亮度图中去除背景亮度图的影响。
在一个实施例中，步骤S21包括将亮度图中的值与背景亮度图中的值相除，并且乘以预定系数以调节整体亮度。
通过使用该去阴影方法，由于准确地提取了图像的背景亮度图，因此可以快速有效地去除图像中的阴影。
上述装置中各个组成模块、单元可通过软件、固件、硬件或其组合的方式进行配置。配置可使用的具体手段或方式为本领域技术人员所熟知，在此不再赘述。在通过软件或固件实现的情况下，从存储介质或网络向具有专用硬件结构的计算机(例如图17所示的通用计算机1700)安装构成该软件的程序，该计算机在安装有各种程序时，能够执行各种功能等。
在图17中，中央处理单元(CPU)1701根据只读存储器(ROM)1702中存储的程序或从存储部分1708加载到随机存取存储器(RAM)1703的程序执行各种处理。在RAM1703中，也根据需要存储当CPU1701执行各种处理等等时所需的数据。CPU1701、ROM1702和RAM1703经由总线1704彼此连接。输入/输出接口1705也连接到总线1704。
下述部件连接到输入/输出接口1705：输入部分1706(包括键盘、鼠标等等)、输出部分1707(包括显示器，比如阴极射线管(CRT)、液晶显示器(LCD)等，和扬声器等)、存储部分1708(包括硬盘等)、通信部分1709(包括网络接口卡比如LAN卡、调制解调器等)。通信部分1709经由网络比如因特网执行通信处理。根据需要，驱动器1710也可连接到输入/输出接口1705。可拆卸介质1711比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器1710上，使得从中读出的计算机程序根据需要被安装到存储部分1708中。
在通过软件实现上述系列处理的情况下，从网络比如因特网或存储介质比如可拆卸介质1711安装构成软件的程序。
本领域的技术人员应当理解，这种存储介质不局限于图17所示的其中存储有程序、与设备相分离地分发以向用户提供程序的可拆卸介质1711。可拆卸介质1711的例子包含磁盘(包含软盘(注册商标))、光盘(包含光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光盘(包含迷你盘(MD)(注册商标))和半导体存储器。或者，存储介质可以是ROM1702、存储部分1708中包含的硬盘等等，其中存有程序，并且与包含它们的设备一起被分发给用户。
本发明还提出一种存储有机器可读取的指令代码的程序产品。所述指令代码由机器读取并执行时，可执行上述根据本发明实施例的方法。
相应地，用于承载上述存储有机器可读取的指令代码的程序产品的存储介质也包括在本发明的公开中。所述存储介质包括但不限于软盘、光盘、磁光盘、存储卡、存储棒等等。
最后，还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外，在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上虽然结合附图详细描述了本发明的实施例，但是应当明白，上面所描述的实施方式只是用于说明本发明，而并不构成对本发明的限制。对于本领域的技术人员来说，可以对上述实施方式作出各种修改和变更而没有背离本发明的实质和范围。因此，本发明的范围仅由所附的权利要求及其等效含义来限定。
通过上述的描述，本发明的实施例提供了以下的技术方案。
附记1.一种用于提取图像的背景亮度图的装置，包括：
亮度提取单元，被配置为提取所述图像中各处的亮度值以获得亮度图；
分离单元，被配置为基于所述亮度图将所述图像的背景和前景分离，以获得初始背景亮度图；
顶部和底部亮度获取单元，被配置为提取所述初始背景亮度图中的最上一行和最下一行的值分别作为顶部亮度和底部亮度，并且在所述顶部亮度和/或底部亮度存在部分缺失的情况下，分别利用所述顶部亮度和/或底部亮度中的已有数据对缺失的部分进行补充以获得完整的顶部亮度和底部亮度；以及
插值单元，被配置为基于所述顶部和底部亮度获取单元获得的完整的顶部亮度和底部亮度对整幅图像进行插值，以获得所述图像的背景亮度图。
附记2.根据附记1所述的装置，还包括：
下采样单元，被配置为对所述亮度提取单元获得的亮度图进行下采样；以及
上采样单元，被配置为对所述插值单元获得的所述背景亮度图进行上采样。
附记3.根据附记1或2所述的装置，其中，所述分离单元包括：
背景部分提取模块，被配置为提取所述亮度图中作为背景的部分；以及
填充模块，被配置为使用前景周围的背景部分的像素的值来对所述前景进行一定程度的填充，并将填充后获得的亮度图作为所述初始背景亮度图。
附记4.根据附记3所述的装置，其中，所述背景部分提取模块包括：
转换部，被配置为将所述亮度图转换为梯度图并进行二值化；以及
标记部，被配置为将具有最大尺寸的白色的连通部件以及与其平均亮度差别在一定范围内的其他的白色连通部件标记为背景部分。
附记5.根据附记1或2所述的装置，其中，所述顶部和底部亮度获取单元被配置为采用基于已有数据的多项式拟合来对所述顶部亮度和/或底部亮度中缺失的部分进行补充。
附记6.根据附记5所述的装置，其中，所述顶部和底部亮度获取单元还被配置为基于Lambertian反射模型来计算所述顶部亮度和/或底部亮度中缺失的部分的估算亮度并且将与该估算亮度相关的值作为已有数据的一部分，来对所述顶部亮度和/或底部亮度中缺失的部分进行补充。
附记7.根据附记6所述的装置，其中，与所述估算亮度相关的值为所述估算亮度沿与顶部和底部的边平行的方向的导数。
附记8.根据附记5所述的装置，其中所述顶部和底部亮度获取单元被配置为采用最小二乘法来进行多项式拟合。
附记9.根据附记1或2所述的装置，其中，所述顶部和底部亮度获取单元被配置为采用基于已有数据的线性插值来对所述顶部亮度和/或底部亮度中缺失的部分进行补充。
附记10.根据附记3所述的装置，其中，所述顶部和底部亮度获取单元还被配置为在所述背景部分提取模块提取的背景部分的平均亮度低于一定阈值的情况下，将所述顶部亮度和底部亮度均设置为所述亮度图中对应列的最大亮度值。
附记11.根据附记1或2所述的装置，其中，所述图像为彩色图像，所述亮度提取单元被配置为将所述彩色图像转换到YUV彩色空间并将所述Y图像作为所述亮度图。
附记12.根据附记1或2所述的装置，其中，所述图像为灰度图像且所述亮度值为灰度值。
附记13.一种去除图像中的阴影的去阴影装置，包括根据附记1至12中的任意一项所述的装置，所述去阴影装置还包括：
消除单元，被配置为从所述亮度图中去除所述背景亮度图的影响。
附记14.根据附记13所述的装置，其中，所述消除单元被配置为将所述亮度图中的值与所述背景亮度图中的值相除，并且乘以预定系数以调节整体亮度。
附记15.一种扫描仪或数码相机，包括根据附记13或14所述的去阴影装置。
附记16.一种用于提取图像的背景亮度图的方法，包括：
提取所述图像中各处的亮度值以获得亮度图；
基于所述亮度图将所述图像的背景和前景分离，以获得初始背景亮度图；
提取所述初始背景亮度图中的最上一行和最下一行的值分别作为顶部亮度和底部亮度，并且在所述顶部亮度和/或底部亮度存在部分缺失的情况下，分别利用所述顶部亮度和/或底部亮度中的已有数据对缺失的部分进行补充以获得完整的顶部亮度和底部亮度；以及
基于所获得的完整的顶部亮度和底部亮度对整幅图像进行插值，以获得所述图像的背景亮度图。
附记17.根据附记16所述的方法，其中，采用基于已有数据的多项式拟合来对所述顶部亮度和/或底部亮度中缺失的部分进行补充。
附记18.根据附记17所述的方法，其中，基于Lambertian反射模型来计算所述顶部亮度和/或底部亮度中缺失的部分的估算亮度并且将与该估算亮度相关的值作为已有数据的一部分，来对所述顶部亮度和/或底部亮度中缺失的部分进行补充。
附记19.根据附记18所述的方法，其中，与所述估算亮度相关的值为所述估算亮度沿与顶部和底部的边平行的方向的导数。
附记20.一种去除图像中的阴影的去阴影方法，包括根据附记16至19中的任意一项所述的方法，所述去阴影方法还包括：
从所述亮度图中去除所述背景亮度图的影响。

Claims (10)

1.一种用于提取图像的背景亮度图的装置，包括：
亮度提取单元，被配置为提取所述图像中各处的亮度值以获得亮度图；
分离单元，被配置为基于所述亮度图将所述图像的背景和前景分离，以获得初始背景亮度图；
顶部和底部亮度获取单元，被配置为提取所述初始背景亮度图中的最上一行和最下一行的值分别作为顶部亮度和底部亮度，并且在所述顶部亮度和/或底部亮度存在部分缺失的情况下，分别利用所述顶部亮度和/或底部亮度中的已有数据对缺失的部分进行补充以获得完整的顶部亮度和底部亮度；以及
插值单元，被配置为基于所述顶部和底部亮度获取单元获得的完整的顶部亮度和底部亮度对整幅图像进行插值，以获得所述图像的背景亮度图。
2.根据权利要求1所述的装置，还包括：
下采样单元，被配置为对所述亮度提取单元获得的亮度图进行下采样；以及
上采样单元，被配置为对所述插值单元获得的所述背景亮度图进行上采样。
3.根据权利要求1或2所述的装置，其中，所述分离单元包括：
背景部分提取模块，被配置为提取所述亮度图中作为背景的部分；以及
填充模块，被配置为使用前景周围的背景部分的像素的值来对所述前景进行一定程度的填充，并将填充后获得的亮度图作为所述初始背景亮度图。
4.根据权利要求3所述的装置，其中，所述背景部分提取模块包括：
转换部，被配置为将所述亮度图转换为梯度图并进行二值化；以及
标记部，被配置为将具有最大尺寸的白色的连通部件以及与其平均亮度差别在一定范围内的其他的白色连通部件标记为背景部分。
5.根据权利要求1或2所述的装置，其中，所述顶部和底部亮度获取单元被配置为采用基于已有数据的多项式拟合来对所述顶部亮度和/或底部亮度中缺失的部分进行补充。
6.根据权利要求5所述的装置，其中，所述顶部和底部亮度获取单元还被配置为基于Lambertian反射模型来计算所述顶部亮度和/或底部亮度中缺失的部分的估算亮度并且将与该估算亮度相关的值作为已有数据的一部分，来对所述顶部亮度和/或底部亮度中缺失的部分进行补充。
7.根据权利要求6所述的装置，其中，与所述估算亮度相关的值为所述估算亮度沿与顶部和底部的边平行的方向的导数。
8.根据权利要求3所述的装置，其中，所述顶部和底部亮度获取单元还被配置为在所述背景部分提取模块提取的背景部分的平均亮度低于一定阈值的情况下，将所述顶部亮度和底部亮度均设置为所述亮度图中对应列的最大亮度值。
9.一种去除图像中的阴影的去阴影装置，包括根据权利要求1至8中的任意一项所述的装置，所述去阴影装置还包括：
消除单元，被配置为从所述亮度图中去除所述背景亮度图的影响。
10.一种扫描仪或数码相机，包括根据权利要求9所述的去阴影装置。
CN201410320078.1A 2014-07-07 2014-07-07 提取图像的背景亮度图的装置和方法、去阴影装置和方法 Active CN105335953B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410320078.1A CN105335953B (zh) 2014-07-07 2014-07-07 提取图像的背景亮度图的装置和方法、去阴影装置和方法
US14/717,273 US9204011B1 (en) 2014-07-07 2015-05-20 Apparatus and method for extracting a background luminance map of an image, de-shading apparatus and method
JP2015135640A JP6592992B2 (ja) 2014-07-07 2015-07-06 画像の背景輝度画像の抽出装置及び方法、並びに影除去装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410320078.1A CN105335953B (zh) 2014-07-07 2014-07-07 提取图像的背景亮度图的装置和方法、去阴影装置和方法

Publications (2)

Publication Number Publication Date
CN105335953A CN105335953A (zh) 2016-02-17
CN105335953B true CN105335953B (zh) 2018-04-10

Family

ID=54609406

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410320078.1A Active CN105335953B (zh) 2014-07-07 2014-07-07 提取图像的背景亮度图的装置和方法、去阴影装置和方法

Country Status (3)

Country Link
US (1) US9204011B1 (zh)
JP (1) JP6592992B2 (zh)
CN (1) CN105335953B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106611406B (zh) * 2015-10-27 2019-08-16 富士通株式会社 图像校正方法和图像校正设备
CN106709904A (zh) * 2016-11-21 2017-05-24 天津大学 一种基于主动视觉的高值目标细微变化检测方法
US11069043B1 (en) * 2020-03-13 2021-07-20 Konica Minolta Business Solutions U.S.A., Inc. Background noise reduction using a variable range of color values dependent upon the initial background color distribution
JP2022088249A (ja) * 2020-12-02 2022-06-14 シャープ株式会社 画像処理装置、制御方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE1524494B2 (de) * 1965-06-07 1976-01-15 Recognition Equipment Inc., Dallas, Tex. (V.StA.) Verfahren zur erkennung von auf einem kontrastierenden hintergrund befindlichen zeichen
JP2008160250A (ja) * 2006-12-21 2008-07-10 Kyocera Mita Corp 画像処理装置および画像処理プログラム
CN101247468A (zh) * 2007-02-15 2008-08-20 北京思比科微电子技术有限公司 对图像亮度进行调整的方法和装置
CN102081793A (zh) * 2011-01-06 2011-06-01 西北工业大学 星空背景图像帧转移型CCD传感器Smear效应亮线消除方法
CN102289668A (zh) * 2011-09-07 2011-12-21 谭洪舟 基于像素邻域特征的自适应文字图像的二值化处理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4731865A (en) * 1986-03-27 1988-03-15 General Electric Company Digital image correction
JPH09200455A (ja) * 1996-01-19 1997-07-31 Minolta Co Ltd 読取り画像の濃度補正方法及び画像読取り装置
US6192163B1 (en) * 1996-10-29 2001-02-20 Seiko Epson Corporation Image processing method and image processing apparatus
US6621595B1 (en) * 2000-11-01 2003-09-16 Hewlett-Packard Development Company, L.P. System and method for enhancing scanned document images for color printing
JP4991411B2 (ja) * 2006-07-28 2012-08-01 キヤノン株式会社 画像処理方法
JP5182530B2 (ja) * 2007-07-03 2013-04-17 日本電気株式会社 画像補間方法、画像補間装置、及びプログラム
US8587834B2 (en) * 2009-01-15 2013-11-19 Kabushiki Kaisha Toshiba Shading correction apparatus in image scanning apparatus
JP5744510B2 (ja) * 2010-12-28 2015-07-08 キヤノン株式会社 画像処理方法
JP5865113B2 (ja) * 2012-02-20 2016-02-17 株式会社Pfu 画像処理装置、画像処理システム、画像処理方法及び画像処理プログラム
CN104700362A (zh) * 2013-12-06 2015-06-10 富士通株式会社 文档图像处理装置和方法
CN104851078A (zh) * 2014-02-14 2015-08-19 富士通株式会社 文档图像处理装置和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE1524494B2 (de) * 1965-06-07 1976-01-15 Recognition Equipment Inc., Dallas, Tex. (V.StA.) Verfahren zur erkennung von auf einem kontrastierenden hintergrund befindlichen zeichen
JP2008160250A (ja) * 2006-12-21 2008-07-10 Kyocera Mita Corp 画像処理装置および画像処理プログラム
CN101247468A (zh) * 2007-02-15 2008-08-20 北京思比科微电子技术有限公司 对图像亮度进行调整的方法和装置
CN102081793A (zh) * 2011-01-06 2011-06-01 西北工业大学 星空背景图像帧转移型CCD传感器Smear效应亮线消除方法
CN102289668A (zh) * 2011-09-07 2011-12-21 谭洪舟 基于像素邻域特征的自适应文字图像的二值化处理方法

Also Published As

Publication number Publication date
JP6592992B2 (ja) 2019-10-23
US9204011B1 (en) 2015-12-01
CN105335953A (zh) 2016-02-17
JP2016019287A (ja) 2016-02-01

Similar Documents

Publication Publication Date Title
US11244432B2 (en) Image filtering based on image gradients
EP2515273B1 (en) Multiple exposure high dynamic range image capture
CN105335953B (zh) 提取图像的背景亮度图的装置和方法、去阴影装置和方法
JP6100744B2 (ja) 自動修復を用いたカラー文書画像セグメンテーション及び二値化
US8837854B2 (en) Image processing method for boundary resolution enhancement
JP4443064B2 (ja) 局所的な色補正を実行する方法および装置
US20040207881A1 (en) Image processing method, image processing apparatus and image processing program
JPH10187966A (ja) 画像フィルタリング方法及びその装置
EP1751708B1 (en) Super-resolution image processing
KR20020018936A (ko) 왜곡 보정 방식
US8655100B2 (en) Correcting an artifact in an image
US9294655B2 (en) Apparatus for and method of processing document image
CN102142132A (zh) 基于模块的图像修复方法
CN107451973B (zh) 基于丰富边缘区域提取的运动模糊图像复原方法
CN106611406B (zh) 图像校正方法和图像校正设备
JP2021196451A (ja) 画像変換装置、画像変換方法及び画像変換用コンピュータプログラム
JP5158974B2 (ja) 注目領域抽出方法、プログラム、及び、画像評価装置
WO2022056875A1 (zh) 一种铭牌图像的分割方法、装置和计算机可读存储介质
CN117292159B (zh) 一种建筑模型招牌纹理自动优化方法和系统
WO2022056872A1 (zh) 一种铭牌图像的矫正方法、装置和计算机可读存储介质
Rank et al. Search Window Based Exemplar Approach for Image Inpainting
Das et al. Study and Analysis of Digital Image Enhancement
CN117079294A (zh) 一种电表断码屏标准模板生成方法、装置、设备及介质
CN114240766A (zh) 基于深度估计先验的快速图像去雾方法及电子设备
Marraco et al. The Quasi-Interactive Image Processing System of the La-Plata Observatory

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant