CN107211068B - 图像读取装置、图像读取方法及图像读取程序 - Google Patents
图像读取装置、图像读取方法及图像读取程序 Download PDFInfo
- Publication number
- CN107211068B CN107211068B CN201580075825.2A CN201580075825A CN107211068B CN 107211068 B CN107211068 B CN 107211068B CN 201580075825 A CN201580075825 A CN 201580075825A CN 107211068 B CN107211068 B CN 107211068B
- Authority
- CN
- China
- Prior art keywords
- image
- account ticket
- reading
- deflection
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 15
- 238000004364 calculation method Methods 0.000 claims abstract description 43
- 238000010008 shearing Methods 0.000 claims abstract description 20
- 230000007547 defect Effects 0.000 abstract description 10
- 238000005516 engineering process Methods 0.000 abstract description 7
- 238000001514 detection method Methods 0.000 abstract description 3
- 238000000605 extraction Methods 0.000 description 17
- 239000000284 extract Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 3
- 238000012015 optical character recognition Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3877—Image rotation
- H04N1/3878—Skew detection or correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
- G06V30/41—Analysis of document content
- G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00681—Detecting the presence, position or size of a sheet or correcting its position before scanning
- H04N1/00684—Object of the detection
- H04N1/00718—Skew
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00795—Reading arrangements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3872—Repositioning or masking
- H04N1/3873—Repositioning or masking defined only by a limited number of coordinate points or parameters, e.g. corners, centre; for trimming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0077—Types of the still picture apparatus
- H04N2201/0081—Image reader
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Artificial Intelligence (AREA)
- Character Input (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
- Facsimile Scanning Arrangements (AREA)
- Image Processing (AREA)
Abstract
提供了即使在账票不是矩形形状的情况下也能取得没有缺损的图像数据的技术。具有读取账票图像的读取部的图像读取装置具有:偏斜角度计算部,基于读取部读取到的图像的图像数据,计算用于修正账票的倾斜的偏斜角度;外接区域检测部,生成基于偏斜角度使图像旋转而成的第一偏斜修正后图像,通过扫描生成的第一偏斜修正后图像,从而检测第一偏斜修正后图像中含有的与账票图像外接的外接四边形;以及图像剪切部,基于外接四边形的四角点的坐标,从读取部读取到的图像中剪切出剪切后账票图像。
Description
技术领域
本发明涉及图像读取装置、图像读取方法及图像读取程序。
背景技术
OCR(Optical Character Reader,光学字符阅读器)或扫描仪等图像读取装置,在利用帐票的背景为黑色检测出帐票边缘后,检测出帐票的四角点,之后进行偏斜修正,提取出字符成分,取得字符识别结果或图像数据。
在利用上述技术检测出帐票的四角点从而取得帐票的图像数据的情况下,在帐票不是矩形形状的情况下,存在只能取得突出部分(例如,标签部分)的图像缺损的图像数据的问题。
日本特开2010-171492号公报(专利文献1)中公开了“一种对读取装置的原稿的读取图像进行处理的图像处理装置,具有:识别部,将原稿的读取图像识别为在帐票本体部的规定位置设置的标签部分突出的标签纸的图像;分离部,在标签纸的图像被识别部识别的情况下,从标签纸的图像中分离出标签部的图像;生成部,通过使由分离部分离的标签部的图像、和被分离了该标签部的图像的标签纸的帐票本体部的图像重叠,生成和该帐票本体部的图像具有相同图像尺寸的标签嵌入图像”的技术。
在先技术文献
专利文献
专利文献1:日本特开2010-171492号公报
在专利文献1公开的技术中,即使账票不是矩形形状,例如是标签账票,也能够取得标签部分(突出部分)没有缺损的图像数据。但是,在专利文献1公开的技术中,标签部分会与账票本体部的图像重叠。因此,在专利文献1公开的技术中,账票本体部的图像数据的一部分会缺损。
发明内容
本发明的目的在于提供即使账票不是矩形形状,也能够取得没有缺损的图像数据的技术。
如下简单说明本申请中公开的发明中具有代表性的发明的概要。
本发明的一实施方式的图像读取装置,其具有读取账票图像的读取部,且具有:偏斜角度计算部,基于所述读取部读取到的所述图像的图像数据,计算用于修正所述账票的倾斜的偏斜角度;外接区域检测部,生成基于所述偏斜角度使所述图像旋转而成的第一偏斜修正后图像,通过扫描生成的所述第一偏斜修正后图像,从而检测所述第一偏斜修正后图像中含有的与所述账票的所述图像外接的外接四边形;以及图像剪切部,基于所述外接四边形,从通过所述读取部读取到的所述图像中剪切出剪切后账票图像。
此外,本发明的一实施方式的图像读取方法,图像读取方法,其是具有读取账票图像的读取部的图像读取装置中的图像读取方法,且包括:偏斜角度计算步骤,偏斜角度计算部基于通过所述读取部读取到的所述图像的图像数据,计算用于修正所述账票的倾斜的偏斜角度;外接区域检测步骤,外接区域检测部生成基于所述偏斜角度使所述图像旋转而成的第一偏斜修正后图像,通过扫描生成的所述第一偏斜修正后图像,从而检测所述第一偏斜修正后图像中含有的与所述账票的所述图像外接的外接四边形;以及图像剪切步骤,图像剪切部基于所述外接四边形,从通过所述读取部读取到的所述图像中剪切出剪切后账票图像。
此外,本发明的一实施方式的图像读取程序,其是用于使具有读取账票图像的读取部的图像读取装置的计算机执行的图像读取程序,且使所述计算机执行:偏斜角度计算步骤,偏斜角度计算部基于通过所述读取部读取到的所述图像的图像数据,计算用于修正所述账票的倾斜的偏斜角度;外接区域检测步骤,外接区域检测部生成基于所述偏斜角度使所述图像旋转而成的第一偏斜修正后图像,通过扫描生成的所述第一偏斜修正后图像,从而检测所述第一偏斜修正后图像中含有的与所述账票的所述图像外接的外接四边形;以及图像剪切步骤,图像剪切部基于所述外接四边形,从通过所述读取部读取到的所述图像中剪切出剪切后账票图像。
发明效果
如下简单说明本申请中公开的发明中具有代表性的发明所得到的效果。
根据本发明的具有代表性的实施方式,即使在账票不是矩形形状的情况下,也能够取得没有缺损的图像数据。
附图说明
图1是示出本发明的一实施方式中的图像读取装置的构成例的概要的立体图。
图2是示出本发明的一实施方式中的图像读取装置的构成例的概要的框图。
图3是用于说明现有的图像读取装置中的读取方法的图,(a)是用于说明通过在纵方向及横方向上进行扫描从而提取账票的端点的处理的图,(b)是用于说明提取账票的四角点的坐标的处理的图。
图4的(a)~(c)是用于说明本发明的一实施方式中计算图像读取装置的偏斜角度的处理的图。
图5的(a)是示出本发明的一实施方式中由外接区域检测部生成的第一偏斜修正后图像的例子的图,(b)是示出本发明的一实施方式中图像剪切部基于外接四边形的四角点的坐标剪切出账票图像的例子的图。
图6是用于说明本发明的一实施方式中外接区域检测部基于第一偏斜修正后图像检测账票的外接区域的处理的图。
图7是用于说明本发明的一实施方式中外接区域检测部基于第一偏斜修正后图像检测账票的外接区域的处理的图。
图8是用于说明本发明的一实施方式中外接区域检测部基于第一偏斜修正后图像检测账票的外接区域的处理的图。
图9是示出本发明的一实施方式中的整体处理的概要的图。
具体实施方式
下面,参照附图对本发明的实施方式进行详细说明。此外,在用于说明实施方式的全部附图中,原则上对相同部分赋予相同符号,省略重复说明。
<构成例>
图1是示出本发明的一实施方式中的图像读取装置100的构成例的概要的立体图。图2是示出本发明的一实施方式中的图像读取装置100的构成例的概要的框图。
如图1所示,图像读取装置100具有:吸入口110,吸入账票(规定业务中使用的书面,例如发票或支票);以及排出口120,排出从吸入口110吸入的账票。
此外,图像读取装置100由规定的硬件及软件安装而成。例如,图像读取装置100由具有处理器和存储器等的计算机构成,由处理器执行的存储器上的程序使计算机作为图像读取装置100发挥功能。
从吸入口110吸入的账票由输送辊(未图示)移动到图像读取装置100的内部,在颜色为黑色的背景部分中载置。此外,账票在被载置在背景部分的状态下被读取图像。由此,由读取部130取得账票的图像数据。
被取得图像数据的账票由输送辊从排出口120输送到图像读取装置100外。从排出口120排出的账票在堆叠器121中堆积。
如图2所示,图像读取装置100具有读取部130、偏斜角度计算部140、外接区域检测部150、图像剪切部160和图像存储部170。
读取部130通过扫描(scan)颜色为黑色的背景部分中载置的账票读取账票图像。由此,读取部130取得账票的图像数据。
偏斜角度计算部140基于读取部130读取到的图像的图像数据,计算出表示账票的倾斜(相对于背景部分的水平方向的倾斜)程度的偏斜角度。偏斜角度计算部140将计算出的偏斜角度输入外接区域检测部150和图像剪切部160。
外接区域检测部150基于偏斜角度计算部140计算出的偏斜角度,生成使读取部130读取到的图像旋转(向正常方向修正)后的第一偏斜修正后图像(后述,图5的(a))。
此外,外接区域检测部150通过扫描生成的第一偏斜修正后图像,从而检测出第一偏斜修正后图像中包括的与账票图像外接的外接四边形。外接区域检测部150将检测出的外接四边形的四角点的坐标输入图像剪切部160。
图像剪切部160基于外接区域检测部150检测出的外接四边形的四角点的坐标,从读取部130读取的图像(账票图像)中剪切出账票图像(剪切后账票图像)。
此外,图像剪切部160生成使剪切出的账票图像(剪切后账票图像)基于偏斜角度计算部140输入的偏斜角度旋转后的第二偏斜修正后图像。此外,图像剪切部160将生成的第二偏斜修正后图像存储在图像存储部170。
图3的(a)和图3的(b)是用于说明现有的图像读取装置中的读取方法的图。图3(a)是用于说明通过在纵方向及横方向上进行扫描从而提取账票3000的端点的处理的图,图3的(b)是说明提取账票的四角点的坐标的处理的图。
如图3的(a)所示,现有的图像读取装置通过在纵方向上进行扫描,将纵方向上的各扫描线和账票的边缘的交点作为账票的端点提取。此外,图像读取装置通过在横方向上进行扫描,将横方向上的各扫描线和账票的边缘的交点作为账票的端点提取。
然后,如图3的(b)所示,图像读取装置根据提取的账票的各端点,通过最小二乘法提取四条端边。此外,将提取的四条端边的各交点作为账票的四角点(P0~P3)提取。之后,图像读取装置基于提取的四角点(P0~P3),进行账票图像的剪切,对剪切出的图像进行偏斜修正。
此处,在通过最小二乘法提取四条端边的情况下,即使直线P1—P3部分实际上包括标签,也会将不包括标签的边(直线P1—P3)作为端边提取。此外,在基于四条端边的各交点,即四角点剪切出账票图像的情况下,存在只能取得标签部分(突出部分)的图像缺损的图像数据的问题。
图4的(a)~(c)是用于说明本发明的一实施方式中计算图像读取装置100的偏斜角度的处理的图。
如图4的(a)所示,图像读取装置100的读取部130通过以规定间隔在横方向上扫描账票400,将横方向上的扫描线410和账票400的边缘的交点作为账票的端点提取。
具体地,读取部130将扫描的位置的颜色从背景颜色向账票颜色(背景颜色以外的颜色)变化的位置作为第一端点411提取,之后,将扫描的位置的颜色从账票颜色向背景颜色变化的位置作为第二端点412提取。读取部130以规定间隔在横方向上扫描账票400。因此,读取部130按扫描的位置提取第一端点411和第二端点412。
读取部130每当提取第一端点411和第二端点412,就将提取的第一端点411和第二端点412输入偏斜角度计算部140。
偏斜角度计算部140计算出连接上次输入的第一端点411的坐标和刚才输入的第一端点411的坐标的直线的角度。此外,偏斜角度计算部140计算出连接上次输入的第二端点412的坐标和刚才输入的第二端点412的坐标的直线的角度。此外,在计算出的角度在135°~225°(135°以上且225°以下)之外的情况下,偏斜角度计算部140通过在计算出的角度上加上90°、180°、270°中的任一值,将计算出的角度修正为属于135°~225°(图中的12~20)的范围内。此外,在计算出的角度加上90°、180°、270°中的任一值后也不属于135°~225°的范围内的情况下,偏斜角度计算部140也可丢弃计算出的角度。
如图4的(b)所示,图像读取装置100的读取部130通过以规定间隔在纵方向上扫描账票400,将纵方向上的扫描线420和账票400的边缘的交点作为账票400的端点提取。
具体地,读取部130将已扫描的位置的颜色从背景颜色向账票颜色(背景颜色以外的颜色)变化的位置作为第一端点411提取,然后,将扫描的位置的颜色从账票颜色向背景颜色变化的位置作为第二端点412提取。读取部130以规定间隔在纵方向上扫描账票400。因此,读取部130按扫描的位置提取第一端点411和第二端点412。
读取部130每当以规定间隔提取第一端点411和第二端点412,就将提取的第一端点411和第二端点412输入偏斜角度计算部140。
偏斜角度计算部140计算出连接上次输入的第一端点411的坐标和刚才输入的第一端点411的坐标的直线的角度。此外,偏斜角度计算部140计算出连接上次输入的第二端点412的坐标和刚才输入的第二端点412的坐标的直线的角度。此外,在计算出的角度在135°~225°(135°以上且225°以下)之外的情况下,偏斜角度计算部140通过在计算出的角度上加上90°、180°、270°中的任一值,将计算出的角度修正为属于135°~225°的范围内。此外,在计算出的角度加上90°、180°、270°中的任一值后也不属于135°~225°的范围内的情况下,偏斜角度计算部140也可丢弃计算出的角度。
如图4的(c)所示,偏斜角度计算部140按照角度对计算出的所有角度(修正的角度的情况下为修正后的角度)的数量进行统计。此外,作为统计的结果,偏斜角度计算部140将数量最大的角度作为偏斜角度计算出来。此外,偏斜角度计算部140将计算出的偏斜角度输入外接区域检测部150和图像剪切部160。
在图4的(c)所示的例子中,偏斜角度计算部140统计的角度为202°(图中的18)的值较多。因此,偏斜角度计算部140将202°作为偏斜角度计算出来。此外,偏斜角度计算部140也可将计算出的所有角度(修正的角度的情况下为修正后的角度)的平均值作为偏斜角度计算出来。此外,偏斜角度计算部140也可将计算出的所有角度(修正的角度的情况下为修正后的角度)的中央值作为偏斜角度计算出来。
外接区域检测部150使通过扫描读取的账票图像旋转从偏斜角度计算部140输入的偏斜角度,生成图5的(a)所示的第一偏斜修正后图像500。
此外,外接区域检测部150通过对生成的第一偏斜修正后图像500进行扫描,计算出第一偏斜修正后图像500中的外接区域的四角点501的坐标p0(xx0,yy0)、四角点502的坐标p1(xx1,yy1)、四角点503的坐标p2(xx2,yy2)、和四角点504的坐标p3(xx3,yy3)。关于外接区域检测部150计算第一偏斜修正后图像500中的外接区域的四角点501~504的坐标p0~p3的具体方法,后面使用图6~图8进行说明。
然后,如图5的(b)所示,图像剪切部160将计算出的第一偏斜修正后图像中的外接区域的四角点501~504的坐标p0(xx0,yy0)~p3(xx3,yy3)转换为账票图像中的外接区域的四角点的坐标p0(x0,y0)~p3(x3,y3)。
详细而言,图像剪切部160使用下面的式(1)和式(2),将坐标p0(xx0,yy0)转换为坐标p0(x0,y0)。
式(1):p0(x0)=X0+cosθ×xx0-sinθ×yy0
式(2):p0(y0)=Y0+cosθ×yy0+sinθ×xx0
此外,图像剪切部160使用下面的式(3)和式(4),将坐标p1(xx1,yy1)转换为坐标p1(x1,y1)。
式(3):p1(x1)=X0+cosθ×xx1-sinθ×yy1
式(4):p1(y1)=Y0+cosθ×yy1+sinθ×xx1
此外,图像剪切部160使用下面的式(5)和式(6),将坐标p12(xx2,yy2)转换为坐标p2(x2,y2)。
式(5):p2(x2)=X0+cosθ×xx2-sinθ×yy2
式(6):p2(y2)=Y0+cosθ×yy2+sinθ×xx2
此外,图像剪切部160使用下面的式(7)和式(8),将坐标p3(xx3,yy3)转换为坐标p3(x3,y3)。
式(7):p3(x3)=X0+cosθ×xx3-sinθ×yy3
式(8):p3(y3)=Y0+cosθ×yy3+sinθ×xx3
图像剪切部160基于转换后的账票图像中的外接区域的四角点的坐标p0(x0,y0)~p3(x3,y3)、和用于确定从账票图像中剪切出剪切后账票图像的范围的参数,从账票图像中剪切出剪切后账票图像。例如,根据参数,大于连接四角点的坐标p0(x0,y0)~p3(x3,y3)而形成的矩形的范围有可能被确定为剪切剪切后账票图像的范围。在这种情况下,以规定长度(例如15mm)包围连接四角点的坐标p0(x0,y0)~p3(x3,y3)而形成的矩形的外周,图像剪切部160在这一范围内从账票图像中剪切出剪切后账票图像。
账票剪切部160通过使剪切后账票图像旋转偏斜角度,生成第二偏斜修正后图像。此外,图像剪切部160将生成的第二偏斜修正后图像存储在图像存储部170。
下面,使用图6~图8,对计算第一偏斜修正后图像(前述图5的(a))中的外接区域的四角点501~504的坐标p0~p3的具体方法进行说明。
图6是用于说明本发明的一实施方式中外接区域检测部150在不会将横方向的水平线噪声601及纵方向的垂直线噪声602错误识别为账票的前提下检测账票的外接区域的处理的图。
外接区域检测部150通过在横方向(例如,从右方向向左方向,从左方向向右方向)上对通过旋转偏斜角度而进行偏斜修正的第一偏斜修正后图像500进行扫描,然后在纵方向(例如,从上方向向下方向,从下方向向上方向)上进行扫描,从而计算出第一偏斜修正后图像500中包括的账票图像的外接区域的四角点。由此,外接区域检测部150检测出第一偏斜修正后图像500中包括的账票图像的外接区域。
如图6所示,外接区域检测部150在横方向上扫描第一偏斜修正后图像。
每当在纵方向上延伸的扫描线620在横方向(从右方向向左方向)上扫描一行第一偏斜修正后图像,外接区域检测部150就计算出扫描的范围内包括的连续的账票颜色的像素数(以下有时称为连续账票像素数),并保持计算出的连续账票像素数。此外,外接区域检测部150每当计算出连续账票像素数,就会对最近的M(第二数值)次中计算出的连续账票像素数是否连续M次超出L(第一数值)进行判定。在计算出的连续账票像素数连续M(第二数值)次超出L(第一数值)的情况下,外接区域检测部150将连续账票像素数最初超出L时扫描线620扫描的位置(图中的X+2)作为账票的外接区域(账票和背景图像的边界)检测出来。
此外,通过增大L的数值,将横方向的水平线噪声601错误识别为账票的难度将增加。
此外,通过增大M的数值,将纵方向的垂直线噪声(超出L的数值的噪声)错误识别为账票的难度将增加。
通过根据上述方式检测出账票的外接区域(账票和背景图像的边界),能够增强对水平线噪声601及垂直线噪声602的耐受性。此外,即使账票的角为圆弧,也能够稳定地检测出账票的外接区域。
此外,如图7所示,在检测标签纸的账票的边缘的情况下,使L的数值小于标签的高度(纵方向上的长度)。由此,能够将标签和背景图像的边界作为账票的外接区域检测出来。此外,能够识别标签和账票。反之,通过使L的数值大于标签的高度,能够仅将除标签之外的账票部分作为外接区域检测出来。
下面,对于通过将账票的一部分(角部)向外侧弯折来检测角部突出的账票(以下有时称为突出账票)的边缘的处理,使用图8进行说明。
首先,每当纵方向的扫描线620从右方向向左方向扫描一行第一偏斜修正后图像,外接区域检测部150就计算出扫描的范围内包括的连续账票像素数,并保持计算出的连续账票像素数。此外,外接区域检测部150每当计算出连续账票像素数,就会对计算出的连续账票像素数是否超出L进行判定。此外,外接区域检测部150从超出L的位置(图中的X)向右方向(账票的外侧方向)对此前计算出的连续账票像素数进行追踪。此外,外接区域检测部150以连续账票像素数连续减少为前提进行追踪。此外,外接区域检测部150将连续账票像素数变为0之前的位置(图中的X+3)作为账票的外接区域(账票和背景图像的边界)检测出来。由此,对于突出账票,能够检测出包括突出的账票的一部分(角部)在内的外接区域。
<整体处理>
图9是示出本发明的一实施方式中的整体处理的概要的图。
首先,在S901中,读取部130为用于确定在纵方向上进行扫描的列的位置的X坐标设定初始值(例如0)。此外,读取部130为用于确定在横方向上进行扫描的行的位置的Y坐标设定初始值(例如0)。
然后,在S902中,读取部130通过在S901中设定的X坐标处纵方向扫描账票,将纵方向上的扫描线和账票的边缘的交点作为账票的端点提取,并将提取的端点的坐标输入偏斜角度计算部140。
详细而言,读取部130将扫描的位置的颜色从背景颜色向账票颜色(背景颜色以外的颜色)变化的位置作为第一端点提取,然后将扫描的位置的颜色从账票颜色向背景颜色变化的位置作为第二端点提取。此外,读取部130将提取的第一端点的坐标和第二端点的坐标输入偏斜角度计算部140。
然后,在S903中,读取部130确定接下来扫描的位置。具体地,读取部130在用于确定在纵方向上进行扫描的列的位置的X坐标上加上规定值(例如1)。
然后,在S904中,读取部130通过在S903中进行加法运算后的X坐标处纵方向扫描账票,将纵方向上的扫描线和账票的边缘的交点作为账票的端点提取,并将提取的端点的坐标输入偏斜角度计算部140。
详细而言,读取部130将扫描的位置的颜色从背景颜色向账票颜色(背景颜色以外的颜色)变化的位置作为第一端点提取,然后将扫描的位置的颜色从账票颜色向背景颜色变化的位置作为第二端点提取。此外,读取部130将提取的第一端点的坐标和第二端点的坐标输入偏斜角度计算部140。
然后,在S905中,偏斜角度计算部140计算连接上次输入的第一端点的坐标和刚才输入的第一端点的坐标的直线的角度。此外,偏斜角度计算部140计算出连接上次输入的第二端点的坐标和刚才输入的第二端点的坐标的直线的角度。
然后,在S906中,读取部130对所有纵方向上的扫描是否已完成进行判定。在读取部130判定所有纵方向上的扫描尚未完成的情况下(S906为否),返回到S903。另一方面,在读取部130判定所有纵方向上的扫描已完成的情况下(S906为是),前进到S907。
然后,在S907中,读取部130通过在S901中设定的Y坐标处横方向扫描账票,将横方向上的扫描线和账票的边缘的交点作为账票的端点提取,并将提取的端点的坐标输入偏斜角度计算部140。
详细而言,读取部130将扫描的位置的颜色从背景颜色向账票颜色(背景颜色以外的颜色)变化的位置作为第一端点提取,然后将扫描的位置的颜色从账票颜色向背景颜色变化的位置作为第二端点提取。此外,读取部130将提取的第一端点的坐标和第二端点的坐标输入偏斜角度计算部140。
然后,在S908中,读取部130确定接下来扫描的位置。具体地,读取部130为在横方向上进行扫描的Y坐标加上规定值(例如1)。
然后,在S909中,读取部130通过在S908中进行加法运算后的Y坐标处横方向扫描账票,将横方向上的扫描线和账票的边缘的交点作为账票的端点提取,并将提取的端点的坐标输入偏斜角度计算部140。
然后,在S910中,偏斜角度计算部140计算出连接上次输入的第一端点的坐标和刚才输入的第一端点的坐标的直线的角度。此外,偏斜角度计算部140计算连接上次输入的第二端点的坐标和刚才输入的第二端点的坐标的直线的角度。
然后,在S911中,读取部130对所有横方向上的扫描是否已完成进行判定。在读取部130判定所有横方向上的扫描尚未完成的情况下(S911为否),返回到S908。另一方面,在读取部130判定所有横方向上的扫描已完成的情况下(S911为是),前进到S912。
然后,在S912中,偏斜角度计算部140基于S905中计算出的所有角度及S910中计算出的所有角度,从而计算出偏斜角度。偏斜角度计算部140将计算出的偏斜角度输入外接区域检测部150。
然后,在S913中,外接区域检测部150通过使通过扫描读入的账票图像旋转S912中输入的偏斜角度,生成第一偏斜修正后图像。
然后,在S914中,外接区域检测部150通过扫描S913中生成的第一偏斜修正后图像,计算出第一偏斜修正后图像中的外接区域的四角点的坐标。外接区域检测部150将计算出的四角点的坐标输入图像剪切部160。
然后,在S915中,图像剪切部160将S914中计算出的第一偏斜修正后图像中的外接区域的四角点的坐标转换为账票图像中的外接区域的四角点的坐标。
然后,在S916中,图像剪切部160基于S915中转换后的账票图像中的外接区域的四角点的坐标、和用于确定对剪切后账票图像进行剪切的范围的参数,从账票图像中剪切出剪切后账票图像。
然后,在S917中,图像剪切部160通过使S916中剪切后的剪切后账票图像旋转S912中输入的偏斜角度,生成第二偏斜修正后图像,并将生成的第二偏斜修正后图像存储在图像存储部170。
<本实施方式的效果>
根据以上说明的本实施方式的图像读取装置100,通过图像剪切部160基于外接四边形的四角点的坐标,从读取部130读取的图像中剪切出所述账票图像,即使在账票不是矩形形状的情况下,也能够取得没有缺损的图像数据。此外,即使有突出的账票和没有突出的账票混合存在,也能够将其一并读取。此外,即使突出量和突出位置不确定,也能够稳定地取得没有缺损的图像数据。此外,能够取得矩形形状的图像的图像数据。
此外,外接区域检测部150每当扫描第一偏斜修正后图像,就会计算出扫描的范围内包括的连续的黑色以外的颜色的像素的像素数,在计算出的像素数连续第二数值次超出第一数值的情况下,通过将最初超出所述第一数值时扫描的位置作为外接四边形的边检测出来,能够在不将横方向的水平线噪声601及纵方向的垂直线噪声602错误识别为账票的前提下检测出账票的外接区域。
此外,通过使第一数值小于账票中包括的标签的纵方向上的像素数,能够识别标签和账票。
此外,外接区域检测部150每当扫描第一偏斜修正后图像,就会计算出扫描的范围内包括的连续的黑色以外的颜色的像素的像素数,在计算出的像素数超出第一数值的情况下,通过对此前计算出的像素数进行追踪,并将像素数变为0之前的位置作为外接四边形的边检测出来,能够没有缺损地取得突出账票的图像数据。
以上基于实施方式对本发明人提出的发明进行了详细说明,当然,本发明并不限于所述实施方式,在不脱离其主旨的范围内能够进行各种变更。
符号说明
100图像读取装置 130读取部
140偏斜角度计算部 150外接区域检测部
160图像剪切部 170图像存储部。
Claims (5)
1.一种图像读取装置,其具有通过扫描颜色为黑色的背景部分中载置的账票而读取所述账票的图像的读取部,其特征在于,具有:
偏斜角度计算部,基于包括所述读取部读取到的所述账票的图像的读取图像的图像数据,计算用于修正所述读取图像内的所述账票的图像的倾斜的偏斜角度;
外接区域检测部,生成基于所述偏斜角度使所述读取图像内的所述账票的图像旋转而成的第一偏斜修正后图像,通过扫描生成的所述第一偏斜修正后图像,从而检测所述第一偏斜修正后图像中含有的与所述账票的图像外接的外接四边形;以及
图像剪切部,基于所述外接四边形,从通过所述读取部读取到的所述读取图像中剪切出包括所述账票的图像的剪切后账票图像,
所述外接区域检测部每当扫描所述第一偏斜修正后图像时,计算已扫描的范围内含有的连续的黑色以外的颜色的像素的像素数,在计算出的所述像素数连续第二数值次超出第一数值的情况下,将最初超出所述第一数值时扫描的位置作为所述外接四边形的边进行检测,
所述第一数值小于所述账票中含有的标签的纵方向上的所述像素数。
2.根据权利要求1所述的图像读取装置,其特征在于,
所述图像剪切部生成基于所述偏斜角度使剪切出的所述剪切后账票图像旋转而成的第二偏斜修正后图像,并将生成的所述第二偏斜修正后图像存储于图像存储部。
3.根据权利要求1所述的图像读取装置,其特征在于,
所述外接区域检测部每当扫描所述第一偏斜修正后图像时,计算已扫描的范围内含有的连续的黑色以外的颜色的像素的所述像素数,在计算出的所述像素数超出所述第一数值的情况下,对此前计算出的所述像素数进行追踪,并将所述像素数变为0之前的位置作为所述外接四边形的边进行检测。
4.一种图像读取方法,其是具有通过扫描颜色为黑色的背景部分中载置的账票而读取所述账票的图像的读取部的图像读取装置中的图像读取方法,其特征在于,包括:
偏斜角度计算步骤,偏斜角度计算部基于包括通过所述读取部读取到的所述账票的图像的读取图像的图像数据,计算用于修正所述账票的的图像的倾斜的偏斜角度;
外接区域检测步骤,外接区域检测部生成基于所述偏斜角度使所述读取图像内的所述账票的图像旋转而成的第一偏斜修正后图像,通过扫描生成的所述第一偏斜修正后图像,从而检测所述第一偏斜修正后图像中含有的与所述账票的图像外接的外接四边形;以及
图像剪切步骤,图像剪切部基于所述外接四边形,从通过所述读取部读取到的所述读取图像中剪切出包括所述账票的图像的剪切后账票图像,
在所述外接区域检测步骤中,每当所述外接区域检测部扫描所述第一偏斜修正后图像时,计算已扫描的范围内含有的连续的黑色以外的颜色的像素的像素数,在计算出的所述像素数连续第二数值次超出第一数值的情况下,将最初超出所述第一数值时扫描的位置作为所述外接四边形的边进行检测,
所述第一数值小于所述账票中含有的标签的纵方向上的所述像素数。
5.一种存储介质,存储有图像读取程序,所述图像读取程序用于图像读取装置的计算机执行,所述图像读取装置具有通过扫描颜色为黑色的背景部分中载置的账票而读取所述账票的图像的读取部,其特征在于,所述图像读取程序使所述计算机执行:
偏斜角度计算步骤,偏斜角度计算部基于包括通过所述读取部读取到的所述账票的图像的读取图像的图像数据,计算用于修正所述账票的图像的倾斜的偏斜角度;
外接区域检测步骤,外接区域检测部生成基于所述偏斜角度使所述读取图像内的所述账票的图像旋转而成的第一偏斜修正后图像,通过扫描生成的所述第一偏斜修正后图像,从而检测所述第一偏斜修正后图像中含有的与所述账票的图像外接的外接四边形;以及
图像剪切步骤,图像剪切部基于所述外接四边形,从通过所述读取部读取到的所述读取图像中剪切出包括所述账票的图像的剪切后账票图像,
在所述外接区域检测步骤中,每当所述外接区域检测部扫描所述第一偏斜修正后图像时,计算已扫描的范围内含有的连续的黑色以外的颜色的像素的像素数,在计算出的所述像素数连续第二数值次超出第一数值的情况下,将最初超出所述第一数值时扫描的位置作为所述外接四边形的边进行检测,
所述第一数值小于所述账票中含有的标签的纵方向上的所述像素数。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2015/073813 WO2017033275A1 (ja) | 2015-08-25 | 2015-08-25 | 画像読取装置および画像読取方法ならびに画像読取プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107211068A CN107211068A (zh) | 2017-09-26 |
CN107211068B true CN107211068B (zh) | 2019-05-03 |
Family
ID=58099753
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201580075825.2A Active CN107211068B (zh) | 2015-08-25 | 2015-08-25 | 图像读取装置、图像读取方法及图像读取程序 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10091392B2 (zh) |
EP (1) | EP3258681B1 (zh) |
JP (1) | JP6383441B2 (zh) |
KR (1) | KR102001331B1 (zh) |
CN (1) | CN107211068B (zh) |
WO (1) | WO2017033275A1 (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6642833B2 (ja) * | 2016-10-28 | 2020-02-12 | 京セラドキュメントソリューションズ株式会社 | 画像処理装置 |
CN107918935B (zh) * | 2017-12-05 | 2022-03-08 | 深圳市北电仪表有限公司 | 嵌入式系统的图像匹配切割装置及切割方法 |
JP7196474B2 (ja) * | 2018-09-05 | 2022-12-27 | セイコーエプソン株式会社 | 読取り装置およびプログラム |
JP2020052916A (ja) * | 2018-09-28 | 2020-04-02 | 日本電産サンキョー株式会社 | 画像処理装置、イメージスキャナ、及び画像処理方法 |
CN109409366B (zh) * | 2018-10-30 | 2022-04-05 | 四川长虹电器股份有限公司 | 基于角点检测的畸变图像校正方法及装置 |
US11532145B2 (en) * | 2019-01-07 | 2022-12-20 | Microsoft Technology Licensing, Llc | Multi-region image scanning |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004274198A (ja) * | 2003-03-06 | 2004-09-30 | Seiko Epson Corp | 画像読み取り制御装置およびプログラム |
US7202975B2 (en) * | 1998-06-26 | 2007-04-10 | Sony Corporation | Printer having image correcting capability |
JP2007189577A (ja) * | 2006-01-16 | 2007-07-26 | Matsushita Electric Ind Co Ltd | コンピュータプログラム、画像入力装置、画像入力システムおよび画像入力方法 |
CN101625760A (zh) * | 2009-07-28 | 2010-01-13 | 谭洪舟 | 一种证件图像倾斜校正的办法 |
CN104284053A (zh) * | 2013-07-08 | 2015-01-14 | 富士施乐株式会社 | 倾斜角度校正装置、图像读取装置、图像形成装置及程序 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19858968A1 (de) * | 1998-01-14 | 1999-07-15 | Eastman Kodak Co | Verfahren und Vorrichtung zum Erkennen von Winkelabweichungen und dunklen Rändern bei einem Vorlagenbild in einem Hochleistungsscanner |
JP2000081964A (ja) * | 1998-06-26 | 2000-03-21 | Sony Corp | プリンタ装置 |
JP2003209680A (ja) * | 2002-01-15 | 2003-07-25 | Canon Inc | 画像処理装置 |
JP4864653B2 (ja) * | 2006-11-13 | 2012-02-01 | キヤノン電子株式会社 | 画像読取装置、画像読取方法及び該方法を実行するためのプログラム |
JP2008259172A (ja) * | 2007-03-15 | 2008-10-23 | Ricoh Co Ltd | 画像処理装置、画像処理方法およびプログラム |
JP5202037B2 (ja) * | 2008-02-29 | 2013-06-05 | キヤノン株式会社 | 特徴点位置決定方法及び装置 |
JP2010171492A (ja) | 2009-01-20 | 2010-08-05 | Konica Minolta Business Technologies Inc | 画像処理装置、画像処理方法、および画像処理プログラム |
US8989515B2 (en) * | 2012-01-12 | 2015-03-24 | Kofax, Inc. | Systems and methods for mobile image capture and processing |
-
2015
- 2015-08-25 EP EP15899908.6A patent/EP3258681B1/en active Active
- 2015-08-25 JP JP2016574303A patent/JP6383441B2/ja active Active
- 2015-08-25 KR KR1020177033847A patent/KR102001331B1/ko active IP Right Grant
- 2015-08-25 US US15/501,476 patent/US10091392B2/en active Active
- 2015-08-25 WO PCT/JP2015/073813 patent/WO2017033275A1/ja active Application Filing
- 2015-08-25 CN CN201580075825.2A patent/CN107211068B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7202975B2 (en) * | 1998-06-26 | 2007-04-10 | Sony Corporation | Printer having image correcting capability |
JP2004274198A (ja) * | 2003-03-06 | 2004-09-30 | Seiko Epson Corp | 画像読み取り制御装置およびプログラム |
JP2007189577A (ja) * | 2006-01-16 | 2007-07-26 | Matsushita Electric Ind Co Ltd | コンピュータプログラム、画像入力装置、画像入力システムおよび画像入力方法 |
CN101625760A (zh) * | 2009-07-28 | 2010-01-13 | 谭洪舟 | 一种证件图像倾斜校正的办法 |
CN104284053A (zh) * | 2013-07-08 | 2015-01-14 | 富士施乐株式会社 | 倾斜角度校正装置、图像读取装置、图像形成装置及程序 |
Also Published As
Publication number | Publication date |
---|---|
EP3258681B1 (en) | 2019-05-22 |
US10091392B2 (en) | 2018-10-02 |
KR102001331B1 (ko) | 2019-07-17 |
US20170237875A1 (en) | 2017-08-17 |
CN107211068A (zh) | 2017-09-26 |
EP3258681A1 (en) | 2017-12-20 |
KR20170140313A (ko) | 2017-12-20 |
WO2017033275A1 (ja) | 2017-03-02 |
JPWO2017033275A1 (ja) | 2017-08-31 |
EP3258681A4 (en) | 2018-03-28 |
JP6383441B2 (ja) | 2018-08-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107211068B (zh) | 图像读取装置、图像读取方法及图像读取程序 | |
US20070253040A1 (en) | Color scanning to enhance bitonal image | |
US8548246B2 (en) | Method and system for preprocessing an image for optical character recognition | |
US9008426B2 (en) | Generating an image presegmented into regions of interest and regions of no interest | |
CN105320933A (zh) | 电子文档生成系统以及电子文档生成装置 | |
US20130120806A1 (en) | Image processing apparatus, line detection method, and computer-readable, non-transitory medium | |
CN110598566A (zh) | 图像处理方法、装置、终端和计算机可读存储介质 | |
JP4420295B2 (ja) | 画像読取装置 | |
CN111027545A (zh) | 卡证图片标志检测方法、装置、计算机设备及存储介质 | |
JP6578858B2 (ja) | 情報処理装置及びプログラム | |
EP4099215A1 (en) | Computer vision method for detecting document regions that will be excluded from an embedding process and computer programs thereof | |
KR101903617B1 (ko) | 복수 개의 객체 이미지를 포함한 정적인 디지털 결합 이미지의 편집 방법 | |
CN112800824A (zh) | 扫描文件的处理方法、装置、设备及存储介质 | |
JP4208520B2 (ja) | 画像処理装置および画像処理方法、プログラムおよび記憶媒体 | |
JP6883199B2 (ja) | 画像処理装置、画像読み取り装置、および、プログラム | |
JP2009277001A (ja) | 画像処理装置 | |
EP3267360A1 (en) | Systems and methods for strike through detection | |
JP4116597B2 (ja) | バーコード認識装置、バーコード認識方法およびバーコード認識プログラム。 | |
JP2016191989A (ja) | プログラム及び管理装置 | |
JP2013157968A (ja) | 画像処理装置 | |
KR20070078509A (ko) | 지로 장표 수납기의 문자인식방법 | |
JP2006229685A (ja) | 帳票歪み判定装置 | |
CN107680046A (zh) | 影像矫正方法、装置、存储介质和计算机设备 | |
JP7043667B1 (ja) | 情報処理装置、プログラム、及び情報処理方法 | |
JP2010204806A (ja) | 情報処理装置、帳票処理システム、及び帳票処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |