CN111670458B - 读取系统 - Google Patents
读取系统 Download PDFInfo
- Publication number
- CN111670458B CN111670458B CN201880088163.6A CN201880088163A CN111670458B CN 111670458 B CN111670458 B CN 111670458B CN 201880088163 A CN201880088163 A CN 201880088163A CN 111670458 B CN111670458 B CN 111670458B
- Authority
- CN
- China
- Prior art keywords
- image
- candidate image
- reading system
- unit
- segment display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000605 extraction Methods 0.000 claims abstract description 48
- 239000000284 extract Substances 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 32
- 238000006243 chemical reaction Methods 0.000 claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 238000000034 method Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 13
- 238000013459 approach Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 description 24
- 238000011156 evaluation Methods 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 14
- 238000012986 modification Methods 0.000 description 14
- 230000004048 modification Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000012937 correction Methods 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/49—Analysis of texture based on structural texture description, e.g. using primitives or placement rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/02—Recognising information on displays, dials, clocks
Abstract
实施方式的读取系统具备提取部、判定部以及读取部。所述提取部从输入图像中提取拍摄有段式显示器的部分的候选图像。所述判定部计算从所述候选图像检测出的多条直线各自相对于基准线的角度,基于表示所述角度与所述直线的数量的关系的分布进行所述候选图像是否为段式显示器的图像的判定。所述读取部从被判定为段式显示器的图像的所述候选图像中,读取显示于段式显示器的数值。
Description
技术领域
本发明的实施方式涉及读取系统。
背景技术
存在读取显示于段式显示器(segment display)的数值的系统。在该系统中,希望数值的读取的精度较高。
现有技术文献
专利文献
专利文献1:日本特开2017-10170号公报
发明内容
发明要解决的课题
本发明要解决的课题在于,提供一种能够提高段式显示器的数值的读取精度的读取系统。
用来解决课题的手段
实施方式的读取系统具备提取部、判定部以及读取部。所述提取部从输入图像中提取拍摄有段式显示器的部分的候选图像。所述判定部计算从所述候选图像检测出的多条直线各自相对于基准线的角度,基于表示所述角度与所述直线的数量的关系的分布进行所述候选图像是否为段式显示器的图像的判定。所述读取部从被判定为段式显示器的图像的所述候选图像中,读取显示于段式显示器的数值。
附图说明
图1是表示实施方式的读取系统的构成的框图。
图2是表示实施方式的读取系统的动作的流程图。
图3是对实施方式的读取系统中的处理进行例示的图。
图4是表示实施方式的第一变形例的读取系统的构成的框图。
图5是表示实施方式的第二变形例的读取系统的构成的框图。
图6是表示实施方式的第三变形例的读取系统的构成的框图。
图7是表示用于实现实施方式的读取系统的硬件构成的框图。
具体实施方式
以下,参照附图对本发明的各实施方式进行说明。
在本申请说明书与各图中,对与已说明的要素相同的要素标注相同的附图标记并适当省略详细的说明。
图1是表示实施方式的读取系统的构成的框图。
实施方式的读取系统用于从包含段式显示器的图像中读取显示于段式显示器的数值。在本实施方式中,段式显示器是指,包含由多个段的显示构成的数字、文字等某种显示信息的显示器。
如图1所示,实施方式的读取系统1具备拍摄部11、提取部12、转换部13、判定部15、读取部16、以及存储部18。
拍摄部11拍摄段式显示器,取得静止的图像。拍摄部11将所取得的图像输出至提取部12。在由拍摄部11拍摄动态图像的情况下,从该动态图像截取静止图像并输出至提取部12。在所拍摄的图像中也可以映现段式显示器以外的图像。
提取部12从所输入的图像中提取段式显示器的图像的候选。这里,将由拍摄部11拍摄并输入至提取部12的图像称为输入图像。将输入图像的一部分、且成为段式显示器的候选的图像称为候选图像。候选图像是由提取部12判定为拍摄有段式显示器的输入图像的一部分。从提取部12输出的候选图像也可以是多个。
作为具体的一个例子,提取部12具有加工部12a、二值化部12b、轮廓提取部12c、第一选定部12d、四边形提取部12e、第二选定部12f。
加工部12a例如生成将输入图像转换为灰阶(grey scale)后的加工图像。加工部12a将加工图像输出至二值化部12b。此时,加工部12a例如也可以将使输入图像缩小为预先设定的尺寸的加工图像输出至二值化部12b。此时,加工部12a将未被缩小的原尺寸图像存储于存储部18中。
二值化部12b对所输入的加工图像进行二值化,生成由白色与黑色表示的二值图像。轮廓提取部12c在二值图像中,例如提取由白色表示的区域的轮廓。
第一选定部12d计算由轮廓包围的区域的面积。在提取了多个轮廓的情况下,计算各个区域的面积。第一选定部12d将所计算的各面积与规定的阈值进行比较,仅选定面积为阈值以上的区域。由此,将面积过小的区域从候选中排除。
四边形提取部12e对所选定的区域进行直线近似,提取四边形。例如,四边形提取部12e取得所提取的四边形的顶点的坐标。
第二选定部12f将所提取的四边形的区域与预先设定的条件进行比较,选定适合于条件的区域。作为条件,例如使用四边形的纵向尺寸与横向尺寸的比率在规定范围内、顶点的角度在规定范围内、四边形中的任一顶点均不在图像的外框附近(例如,距外框三个像素以内)等。第二选定部12f将所选定的四边形作为最终的候选图像输出至转换部13。
转换部13进行以下的第一处理以及第二处理。
在第一处理中,转换部13判定从提取部12输入的候选图像是否未变形。在判定为候选图像已变形的情况下,转换部13以使候选图像接近从正面拍摄到的图像的方式,对该变形进行校正。
在第二处理中,转换部13判定候选图像的尺寸是否与预先设定的规定尺寸一致。在候选图像的尺寸与规定尺寸不一致的情况下,转换部13以使候选图像的尺寸接近规定尺寸的方式,对候选图像进行校正。
转换部13例如通过对候选图像进行投影转换来校正变形以及尺寸。转换部13将校正后的候选图像输出至判定部15。在判定为候选图像未变形、且候选图像的尺寸与规定尺寸一致的情况下,转换部13将所输入的候选图像原样地输出至判定部15。
判定部15具有直线检测部15a、角度计算部15b、分布生成部15c、第一比较部15d、端点组检测部15e、评价部15f以及第二比较部15g。
直线检测部15a对进行了边缘检测的图像中所含的多条直线进行检测。例如,在直线的检测中,可检测线段的起点与终点。直线检测部15a将检测结果输出至角度计算部15b,并且存储于存储部18。直线检测部15b以规定的角度分辨率检测规定的长度以上的线段。
角度计算部15b计算各个直线相对于基准线的角度。角度计算部15b例如以图像底边(沿正横向延伸的直线)为基准线,计算该基准线与各个直线之间的角度。分布生成部15c基于计算结果,生成表示角度与直线的数量的关系的分布。
第一比较部15d将所生成的分布与预先设定的第一条件进行比较。第一条件例如为,在所生成的分布中,第一角度附近的直线的总数与相对于第一角度倾斜的第二角度附近的直线的总数之和为预先设定的值以上。
例如,第一角度为0度,第二角度为80度。“附近”例如以第一角度或者第二角度为中心,包含-10度以上且+10度以下的范围。在该情况下,第一比较部15d将分布中-10度以上且10度以下的范围中所含的直线的总数与70度以上且90度以下的范围中所含的直线的总数之和与预先设定的值进行比较。
例如,在图像中,将与横向平行的线的角度设为0度,将与纵向平行的线的角度设为90度。在读取对象的段式显示器为7段显示器的情况下,较多地检测出约0度的直线与约80度的直线。在读取对象的段式显示器为14段显示器或者16段显示器的情况下,较多地检测出约0度的直线、约45度的直线以及约80度的直线。
第一条件基于该特性而设定。在分布满足第一条件的情况下,候选图像包含段式显示器的可能性较高。
第一比较部15d在分布满足第一条件的情况下,将该判定结果输出至端点组检测部15e。在分布不满足第一条件的情况下,候选图像不包含段式显示器的可能性较高,因此例如结束处理。
当从第一比较部15d输入判定结果时,端点组检测部15e例如参照存储于存储部18的直线的检测结果。然后,端点组检测部15e根据直线的检测结果检测各直线的端点(起点以及终点)聚集而成的端点组。
端点组检测部15e例如将候选图像在横向以及纵向上以规定的间隔分割成多个区域(矩阵状),提取存在规定数以上的端点的区域作为端点组。在候选图像中包含段式显示器的情况下,可以从候选图像中检测出多个端点组。检测到这些端点组的位置与段的端部的位置对应。
例如,评价部15f针对各个端点组,计算从某个端点组朝向与其相邻的端点组的矢量。矢量例如通过求出用于使某个端点组与其它端点组重叠所需的移动量而获得。评价部15f计算相邻的矢量彼此的大小的比值以及矢量彼此之间的角度。评价部15f将这些评价值输出至第二比较部15g。
第二比较部15g对评价值与第二条件进行比较。第二条件例如包括与上述大小的比值相关的第一范围以及与上述角度相关的第二范围。在上述大小的比值处于第一范围、上述角度处于第二范围的情况下,第二比较部15g判定为候选图像是段式显示器的图像,并将候选图像输出至读取部16。
例如,一般的7段显示器在主视下包括沿纵向延伸的段(纵向段)和沿横向延伸的段(横向段)。典型地,纵向段彼此的长度的比值大致为1。横向段的长度相对于纵向段的长度的比值为1以下。纵向段与横向段之间的角度为大致80度或者大致100度。纵向段彼此之间的角度为180度。
由评价部15f计算的矢量彼此的大小的比值和纵向段彼此的长度的比值或者纵向段与横向段的长度的比值对应。由评价部15f计算的矢量彼此之间的角度和纵向段与横向段之间的角度或者纵向段彼此之间的角度对应。因而,通过将这些评价值分别与预先设定的第一范围以及第二范围进行比较,能够判定候选图像是否为段式显示器的图像。
在由评价部15f计算出多个大小的比值以及多个角度的情况下,第二比较部15g例如将各个大小的比值与第一范围进行比较,将各个角度与第二范围进行比较。
第二比较部15g例如检测所计算的大小的比值的全部的数量。第二比较部15g检测第一范围中所含的大小的比值的数量。然后,第二比较部15g计算第一范围中所含的大小的比值的数量相对于全部的数量的比例。
同样,第二比较部15g例如计算第二范围中所含的角度的数量相对于所计算的角度的全部的数量的比例。
在所计算的两个的比例分别为预先设定的阈值以上的情况下,第二比较部15g判定为候选图像是段式显示器的图像。
读取部16从所输入的候选图像中读取显示于段式显示器的数值。例如,读取部16通过从所输入的候选图像中截取数字,并检测点亮的段,来读取数值。读取部16例如使所读取的数值显示于监视器、或者将所读取的数值输出至数据库。
存储部18存储读取系统1的处理所需的信息、处理的过程中所生成的数据。例如,在存储部18中存储在进行判定时供比较的阈值、条件等。
参照图2以及图3,对实施方式的读取系统1的动作进行说明。
图2是表示实施方式的读取系统的动作的流程图。
图3是对实施方式的读取系统中的处理进行例示的图。
拍摄部11拍摄段式显示器,取得图像(图2的步骤S11)。加工部12a对输入图像进行加工(步骤S12a)。由此,生成将输入图像缩小并进行了灰阶化的加工图像、以及仅将输入图像进行了灰阶化的原尺寸图像。图3的(a)是加工图像的一个例子。二值化部12b对加工图像进行二值化,如图3的(b)所示那样,生成二值图像(步骤S12b)。轮廓提取部12c提取二值图像的轮廓(步骤S12c)。
第一选定部12d选定由轮廓包围的区域(步骤S12d)。由此,例如,如图3的(c)所示,选定由框A包围的区域。四边形提取部12e基于所选定的区域中的四边形的提取结果,从原尺寸图像中提取四边形(步骤S12e)。第二选定部12f选定所提取的四边形(步骤S12f),并作为候选图像而输出。图3的(d)示出了被作为候选图像而输出的四边形。如图3的(e)所示,转换部13转换候选图像,以对变形进行校正。转换部13例如通过对候选图像进行投影转换,来校正变形以及尺寸(步骤S13)。
如图3的(f)所示,直线检测部15a从候选图像中检测出多条直线SL(步骤S15a)。在图3的(f)之后,仅例示候选图像的一部分。角度计算部15b计算各个直线SL的角度(步骤S15b)。如图3的(g)所示,分布生成部15c生成表示角度θ与直线的数量N的关系的分布(步骤S15c)。
第一比较部15d判定分布是否满足第一条件(步骤S15d)。例如,第一比较部15d将0度附近的峰值与80度附近的峰值在它们中间的角度折回并使它们叠加。由此,生成图3的(g)的虚线所例示的分布。第一比较部15d计算该分布中-10度以上且10度以下的范围中所含的直线的数量N的总数,并与预先设定的值进行比较。
在满足第一条件的情况下(总数为该值以上的情况下),端点组检测部15e根据图3的(f)所示的直线的检测结果,如图3的(h)所示那样,检测端点组EG(步骤S15e)。评价部15f计算连结相邻的端点组彼此的矢量,并计算评价值(大小的比值以及角度)(步骤S15f)。
第二比较部15g判定评价值是否满足第二条件(步骤S15g)。在评价值满足第二条件的情况下,读取部16从候选图像中读取段式显示器的数值(步骤S16)。
判定部15判定是否不存在还未进行步骤S15a~S15g的其他候选图像(步骤S17)。在存在其他候选图像的情况下,对该候选图像进行步骤S15a。在不存在其他候选图像的情况下,结束处理。
对实施方式的效果进行说明。
在读取段式显示器时,如上述那样,从输入图像中提取成为拍摄有段式显示器的部分的候选的候选图像。以往,例如对所提取的候选图像适当进行变形等的校正,从候选图像中读取段式显示器的数值。
但是,在候选图像中,例如有时包含与段式显示器相似的显示器。在该情况下,存在读取其它显示器的数值作为段式显示器的数值而产生误检测的可能性。
实施方式的读取系统1为了抑制这样的误检测,针对候选图像,基于直线检测的结果以及端点组检测的结果,进行了候选图像是否包含段式显示器的判定。通过仅读取被判定为包含段式显示器的候选图像,能够降低误检测的可能性。
基于直线检测的结果以及端点组检测的结果的判定,利用了一般的段式显示器的特征(段的长度以及角度)。因此,读取系统1能够应用于多种段式显示器,能够更高精度地读取其数值。
在图1~图3所示的例子中,通过第一比较部15d与第二比较部15g这两个进行了判定,但在读取系统1中,也可以仅通过第一比较部15d以及第二比较部15g中的一方进行判定。即使在该情况下,由于也能够在进行基于读取部16的读取之前排除包含段式显示器的可能性较低的候选图像,因此能够提高段式显示器的数值的读取精度。为了进一步提高读取精度,优选设有第一比较部15d以及第二比较部15g这两方。
在图1所示的例子中,实施方式的读取系统1具备拍摄部11,但读取系统1也可以不具备拍摄部11。例如,也可以将由其他拍摄装置拍摄到的图像输入读取系统1,通过读取系统1从该输入图像中读取段式显示器的数值。
读取系统1也可以不具备转换部13,但为了提高读取的精度,优选具备转换部13。
例如,通过由转换部13对候选图像的变形进行校正,能够提高适合率的精度。由此,能够更准确地筛选拍摄有段式显示器的候选图像。
在图3中,示出了读取显示于7段显示器的数值的例子。但是,能够由实施方式的读取系统1读取的段式显示器并不限定于7段显示器。读取对象的段式显示器也可以是14段显示器或者16段显示器。
关于提取部12中的处理,若无法提取候选图像,则能够进行适当变更。例如,在输入图像的尺寸较小的情况下、或者输入图像被预先二值化的情况下等,不需要加工部12a或者二值化部12b。用于从输入图像中提取候选图像的处理也能够进行适当变更。关于这些变形例,以下进行说明。
(第一变形例)
图4是表示实施方式的第一变形例的读取系统的构成的框图。
在图1~图3的例子中,段式显示器的显示区域的框为四边形。因此,对应于该显示区域的形状,在提取部12设有四边形提取部12e。
在显示区域的框为圆形的情况下,如图4所示的读取系统2那样,在提取部12中,代替四边形提取部12e而设置椭圆提取部12g。椭圆提取部12g从由第一选定部12d选定的区域中提取椭圆。此时,椭圆提取部12g取得所提取的椭圆的坐标。椭圆提取部12g在原尺寸图像中,提取与上述坐标对应的椭圆的图像,并输出至第二选定部12f。
第二选定部12f将所输入的椭圆的图像与预先设定的条件进行比较,选定适合于条件的椭圆。作为条件,例如可使用椭圆的扁平率、亮度的分布等。第二选定部12f将所选定的椭圆的图像作为候选图像输出至转换部13。以后的处理与图1~图3中说明的例子相同。即,转换部13对候选图像的变形进行校正。然后,经由判定部15的判定,通过读取部16读取段式显示器的数值。
(第二变形例)
图5是表示实施方式的第二变形例的读取系统的构成的框图。
图5所示的读取系统3在与读取系统1的比较中,代替提取部12以及转换部13而具备提取部21。
在读取系统3中,在读取段式显示器的数值之前,通过拍摄部11仅对读取对象的段式显示器从正面拍摄。这里,将仅对段式显示器从正面拍摄到的图像称为模板图像。
提取部21具有特征量提取部21a、匹配部21b、转换部21c以及搜索部21d。
特征量提取部21a提取输入图像的特征量。特征量提取部21a参照存储于存储部18的模板图像,提取模板图像的特征量。或者,也可以预先通过特征量提取部21a提取模板图像的特征量并存储于存储部18。在该情况下,特征量提取部21a参照存储于存储部18的模板图像的特征量。特征量提取部21a将输入图像的特征量以及模板图像的特征量输出至匹配部21b。
匹配部21b计算用于将输入图像的特征量与模板图像的特征量匹配所需的输入图像的校正量。例如,匹配部21b计算用于使输入图像中已变形的段式显示器接近从正面拍摄到的图像所需的校正量。匹配部21b将所计算的校正量以及输入图像输出至转换部13。
在特征量彼此无法匹配的情况下,在输入图像中不包含段式显示器的可能性较高。因而,在该情况下,例如不计算校正量而结束处理。
转换部21c基于输入的校正量来转换输入图像。由此,在输入图像相对于模板图像已变形的情况下,可对该变形进行校正。
搜索部21d参照存储于存储部18的模板图像。然后,搜索部21d从输入图像中搜索与模板图像匹配的部分。搜索部21d将匹配的部分作为候选图像而输出至判定部15。
以后的判定部15以及读取部16中的处理与图1所示的读取系统1相同。
由特征量提取部21a进行的特征量的提取例如使用KAZE、AKAZE(AcceleratedKAZE,加速KAZE)、或者SIFT(Scale-invariant feature transform,尺度不变特征变换)等来进行。匹配部21b中的匹配例如使用KNN(K Nearest Neighbor,K最近邻)、或者FLANN(Fast Library for Approximate Nearest Neighbors,快速最近邻逼近搜索函数库)等来进行。由搜索部21d进行的搜索例如使用基于图像间的类似度的图案匹配来进行。
在本变形例的读取系统3中,进行使用了特征量的输入图像的转换以及使用了模板图像的匹配。即,由于对输入图像的整个区域进行转换,因此与读取系统1相比,在同一平面上存在多个段式显示器的情况下更有效。
(第三变形例)
图6是表示实施方式的第三变形例的读取系统的构成的框图。
图6所示的读取系统4在与读取系统1的比较中,代替提取部12以及转换部13而具备提取部31。提取部31具有学习部31a、输入部31b、检测部31c以及处理部31d。
在读取系统4中,使用神经网络,从输入图像中提取拍摄有段式显示器的候选图像。例如,在提取部31中事先输入教师数据,进行神经网络的学习。教师数据例如包括包含段式显示器的变形的图像、表示该图像中段式显示器的位置的数据、以及该图像的变形量。
学习部31a使神经网络学习,以在被输入图像数据时,使神经元(neuron)对拍摄有段式显示器的部分的数据反应(起火)、并且使与该图像的变形量对应的神经元反应。学习部31a将学习过的神经网络存储于存储部18。由学习部31a进行的上述学习可以由执行判定部15、读取部16的处理的处理装置进行,也可以使用与其不同的其它处理装置进行。在上述学习中,优选使用具有更高速的运算性能的处理装置。
之后,通过拍摄部11取得用于读取段式显示器的数值的图像,并将图像输入到提取部31。当被输入图像时,输入部31b参照存储于存储部18的学习完毕的神经网络。然后,输入部31b向该神经网络输入图像的数据。
在向神经网络输入图像数据的期间,若有神经元的反应,则检测部31c检测该反应。然后,检测部31c检测神经元反应的图像的坐标以及变形量,并输出至处理部31d。
处理部31d基于所输入的坐标,从输入图像中提取候选图像。处理部31d基于所输入的变形量,对候选图像的变形进行校正。处理部31d将校正后的候选图像输出至判定部15。
关于进行候选图像的提取和变形的校正的顺序,能够适当变更。例如,在处理部31d中,也可以在对输入图像的变形进行了校正之后,提取候选图像。
以后的判定部15以及读取部16中的处理与图1所示的读取系统1相同。
在本变形例的读取系统3中,使用神经网络来进行图像的截取、校正。因此,即使在段式显示器的显示区域与其外框的对比度(contrast ratio)不大、难以从二值化图像中提取轮廓的情况下,也能够更高精度地提取候选图像。因而,与读取系统1相比,能够更高精度地读取输入图像中的段式显示器的数值。
图7是表示用于实现实施方式的读取系统的硬件构成的框图。
例如,实施方式的读取系统由图7所示的读取装置5以及拍摄装置6构成。读取装置5例如是计算机,具有ROM(Read Only Memory,只读存储器)51、RAM(Random AccessMemory,随机存取存储器)52、CPU(Central Processing Unit,中央处理器)53、以及HDD(Hard Disk Drive,硬盘驱动器)54。
ROM51储存有控制计算机的动作的程序。在ROM51中,储存有用于使计算机作为上述实施方式中的提取部、转换部、判定部、读取部、搜索部等而发挥功能所需的程序。
RAM52作为供储存于ROM51的程序展开的存储区域而发挥功能。CPU53读入储存于ROM51的控制程序,并按照该控制程序控制计算机的动作。CPU53将通过计算机的动作而获得的各种数据在RAM52中展开。HDD54作为上述实施方式中的存储部18而发挥功能,存储读取所需的信息、读取的过程中所获得的信息。
在使用读取装置5来实现利用了神经网络的读取系统4的情况下,读取装置5也可以还具有GPU(Graphics Processing Unit,图形处理器)、专门用于神经网络的处理的专用芯片。读取装置5也可以代替HDD54而具有eMMC(embedded Multi Media Card,嵌入式多媒体存储卡),SSD(Solid State Drive,固态硬盘),SSHD(Solid State Hybrid Drive,固态混合硬盘)等。
拍摄装置6拍摄被摄体(段式显示器),将所取得的图像发送至读取装置5。拍摄装置6例如是相机。
输出装置7输出从读取装置5输出的数据(读取到的段式显示器的数值),以使用户能够识别。输出装置7例如是监视器、打印机、或者扬声器等。
读取装置5、拍摄装置6、以及输出装置7例如通过有线或者无线而相互连接。或者,它们也可以经由网络而相互连接。或者,也可以将读取装置5、拍摄装置6、以及输出装置7中的至少两个组装在一个装置中。例如,读取装置5也可以与拍摄装置6的图像处理部等一体地组装。
通过使用以上说明的实施方式的读取系统以及读取方法,能够更高精度地读取显示于段式显示器的数值。同样,通过使用用于使计算机作为读取系统而动作的程序,能够使计算机更高精度地读取显示于段式显示器的数值。
以上,对本发明的几个实施方式进行了例示,但这些实施方式是作为例子而提出的,并不意图限定发明的范围。这些新的实施方式能够以其他各种方式实施,在不脱离发明的主旨的范围内,能够进行各种省略、替换、变更等。这些实施方式及其变形例包含在发明的范围或主旨中,并且包含在权利要求书所记载的发明及其等效的范围中。上述的各实施方式能够相互组合来实施。
Claims (18)
1.一种读取系统,具备:
提取部,从输入图像中提取拍摄有段式显示器的部分的候选图像;
判定部,计算从所述候选图像检测出的多条直线各自相对于基准线的角度,按每个所述角度对所述直线的数量进行计数,在表示每个所述角度的所述直线的数量的分布中,计算规定的范围所含的所述角度的所述直线的数量的和,基于所述和是否为预先设定的值以上来进行所述候选图像是否为段式显示器的图像的判定;以及
读取部,从被判定为段式显示器的图像的所述候选图像中读取显示于段式显示器的数值。
2.如权利要求1所述的读取系统,其中,
在所述分布中以第一角度为中心的规定的范围内的所述直线的数量与以相对于所述第一角度倾斜的第二角度为中心的规定的范围内的所述直线的数量之和为预先设定的值以上的情况下,所述判定部判定为所述候选图像是段式显示器的图像。
3.如权利要求1所述的读取系统,其中,
所述判定部还执行如下步骤:
在所述候选图像中检测端点聚集而成的端点组;
计算连结相邻的端点组彼此的矢量;
除了所述分布之外,还基于相邻的矢量彼此的大小的比值以及相邻的矢量彼此之间的角度中的至少任一个来进行所述判定。
4.如权利要求3所述的读取系统,其中,
所述判定部在满足第一条件和第二条件的情况下,判定为所述候选图像是段式显示器的图像,所述第一条件为,在所述分布中以第一角度为中心的规定的范围内的所述直线的数量与以相对于所述第一角度倾斜的第二角度为中心的规定的范围内的所述直线的数量之和为预先设定的值以上,所述第二条件为,所述大小的比值处于预先设定的第一范围、并且所述角度处于预先设定的第二范围。
5.如权利要求1~4中任一项所述的读取系统,其中,
所述读取系统还具备转换部,该转换部进行如下处理:
第一处理,在所述候选图像已变形的情况下,以使所述候选图像接近从正面拍摄到的图像的方式进行转换;以及
第二处理,在所述候选图像的尺寸与预先设定的规定尺寸不同的情况下,以使所述候选图像的所述尺寸接近所述规定尺寸的方式进行校正,
所述判定部使用转换后的所述候选图像进行所述判定。
6.如权利要求1~4中任一项所述的读取系统,其中,
所述提取部执行如下步骤:
从所述输入图像中提取轮廓;
计算由所述轮廓包围的区域的面积;
在所述面积为预先设定的阈值以上的情况下,基于所述轮廓,从所述输入图像中提取规定的形状的图像;
将满足预先设定的条件的所述提取出的图像作为所述候选图像而输出。
7.如权利要求1~4中任一项所述的读取系统,其中,
所述提取部从所述输入图像中搜索与预先准备的、读取对象的段式显示器的模板图像匹配的部分,将匹配的所述部分作为候选图像而提取。
8.如权利要求7所述的读取系统,其中,
所述提取部执行如下步骤:
从所述输入图像中提取特征量;
以使提取出的所述特征量与所述模板图像的特征量匹配的方式,对所述输入图像进行校正;
从校正后的所述输入图像中,提取与所述模板图像匹配的所述候选图像。
9.如权利要求1~4中任一项所述的读取系统,其中,
所述提取部执行如下步骤:
将所述输入图像的数据输入至预先学习过的神经网络;
基于所述神经网络的输出结果,在所述输入图像中检测拍摄有段式显示器的所述部分,作为所述候选图像而提取。
10.如权利要求9所述的读取系统,其中,
所述提取部基于所述神经网络的所述输出结果,进一步对所述候选图像的变形进行校正。
11.一种读取系统,具备:
提取部,从输入图像中提取拍摄有段式显示器的部分的候选图像;
判定部,在所述候选图像中检测端点聚集而成的端点组,计算连结相邻的端点组彼此的矢量,计算相邻的矢量彼此的大小的比值以及相邻的矢量彼此之间的角度,基于所述比值以及所述角度是否满足预先设定的条件,来进行所述候选图像是否为段式显示器的图像的判定;以及
读取部,从被判定为段式显示器的图像的所述候选图像中读取显示于段式显示器的数值。
12.如权利要求11所述的读取系统,其中,
在所述大小的比值处于预先设定的第一范围、并且所述角度处于预先设定的第二范围的情况下,所述判定部判定为所述候选图像是段式显示器的图像。
13.如权利要求11或12所述的读取系统,其中,
所述读取系统还具备转换部,该转换部进行如下处理:
第一处理,在所述候选图像已变形的情况下,以使所述候选图像接近从正面拍摄到的图像的方式进行转换;以及
第二处理,在所述候选图像的尺寸与预先设定的规定尺寸不同的情况下,以使所述候选图像的所述尺寸接近所述规定尺寸的方式进行校正,
所述判定部使用转换后的所述候选图像进行所述判定。
14.如权利要求11或12所述的读取系统,其中,
所述提取部执行如下步骤:
从所述输入图像中提取轮廓;
计算由所述轮廓包围的区域的面积;
在所述面积为预先设定的阈值以上的情况下,基于所述轮廓,从所述输入图像中提取规定的形状的图像;
将满足预先设定的条件的所述提取出的图像作为所述候选图像而输出。
15.如权利要求11或12所述的读取系统,其中,
所述提取部从所述输入图像中搜索与预先准备的、读取对象的段式显示器的模板图像匹配的部分,将匹配的所述部分作为候选图像而提取。
16.如权利要求15所述的读取系统,其中,
所述提取部执行如下步骤:
从所述输入图像中提取特征量;
以使提取出的所述特征量与所述模板图像的特征量匹配的方式,对所述输入图像进行校正;
从校正后的所述输入图像中,提取与所述模板图像匹配的所述候选图像。
17.如权利要求11或12所述的读取系统,其中,
所述提取部执行如下步骤:
将所述输入图像的数据输入至预先学习过的神经网络;
基于所述神经网络的输出结果,在所述输入图像中检测拍摄有段式显示器的所述部分,作为所述候选图像而提取。
18.如权利要求17所述的读取系统,其中,
所述提取部基于所述神经网络的所述输出结果,进一步对所述候选图像的变形进行校正。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018026500A JP6542407B1 (ja) | 2018-02-16 | 2018-02-16 | 読取システム、読取方法、プログラム、及び記憶媒体 |
JP2018-026500 | 2018-02-16 | ||
PCT/JP2018/035362 WO2019159415A1 (ja) | 2018-02-16 | 2018-09-25 | 読取システム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111670458A CN111670458A (zh) | 2020-09-15 |
CN111670458B true CN111670458B (zh) | 2024-03-22 |
Family
ID=67212220
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880088163.6A Active CN111670458B (zh) | 2018-02-16 | 2018-09-25 | 读取系统 |
Country Status (4)
Country | Link |
---|---|
US (2) | US11301709B2 (zh) |
JP (1) | JP6542407B1 (zh) |
CN (1) | CN111670458B (zh) |
WO (1) | WO2019159415A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6868057B2 (ja) * | 2019-05-27 | 2021-05-12 | 株式会社東芝 | 読取システム、読取方法、プログラム、記憶媒体、及び移動体 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011175523A (ja) * | 2010-02-25 | 2011-09-08 | Nippon Syst Wear Kk | 計器読み取り装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体 |
CN102648622A (zh) * | 2009-10-28 | 2012-08-22 | 夏普株式会社 | 图像处理装置、图像处理方法、图像处理程序、记录有图像处理程序的记录介质 |
CN102665526A (zh) * | 2009-11-13 | 2012-09-12 | 奥林巴斯株式会社 | 图像处理装置、电子设备、内窥镜系统和程序 |
CN103079026A (zh) * | 2011-09-08 | 2013-05-01 | 株式会社Pfu | 图像处理装置、图像处理方法以及图像处理系统 |
CN103118647A (zh) * | 2010-09-22 | 2013-05-22 | 松下电器产业株式会社 | 运动支援系统 |
JP2017101700A (ja) * | 2015-11-30 | 2017-06-08 | 株式会社アンセイ | ケーブル装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0244487A (ja) * | 1988-08-05 | 1990-02-14 | Fujitsu Ltd | 光学文字読取装置の7b文字読取方式 |
JPH11316794A (ja) * | 1998-05-06 | 1999-11-16 | Aisin Aw Seimitsu Kk | セグメント情報読み取り判定方法 |
KR20070112454A (ko) * | 2005-02-15 | 2007-11-26 | 유겐카이샤 케이아이티이 이메지 테크놀로지즈 | 수기 문자 인식 방법, 수기 문자 인식 시스템, 수기 문자인식 프로그램, 및 기억 매체 |
US8611723B2 (en) * | 2006-09-06 | 2013-12-17 | James Andrew Aman | System for relating scoreboard information with event video |
JP5997808B1 (ja) * | 2015-06-18 | 2016-09-28 | 株式会社Pfu | 画像処理装置、日付識別装置、画像処理方法、および、プログラム |
US10613487B2 (en) | 2016-11-09 | 2020-04-07 | Kabushiki Kaisha Toshiba | Data collection system, processing system, and storage medium |
JP6505767B2 (ja) | 2016-11-09 | 2019-04-24 | 株式会社東芝 | データ収集システム、処理システム、プログラム、および記憶媒体 |
CN106874911A (zh) * | 2017-03-03 | 2017-06-20 | 沈阳工程学院 | 一种应用划分法得到的面积比例来进行印刷体数字识别的方法 |
-
2018
- 2018-02-16 JP JP2018026500A patent/JP6542407B1/ja active Active
- 2018-09-25 CN CN201880088163.6A patent/CN111670458B/zh active Active
- 2018-09-25 WO PCT/JP2018/035362 patent/WO2019159415A1/ja active Application Filing
-
2020
- 2020-07-07 US US16/922,097 patent/US11301709B2/en active Active
-
2022
- 2022-03-07 US US17/688,063 patent/US11915498B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102648622A (zh) * | 2009-10-28 | 2012-08-22 | 夏普株式会社 | 图像处理装置、图像处理方法、图像处理程序、记录有图像处理程序的记录介质 |
CN102665526A (zh) * | 2009-11-13 | 2012-09-12 | 奥林巴斯株式会社 | 图像处理装置、电子设备、内窥镜系统和程序 |
JP2011175523A (ja) * | 2010-02-25 | 2011-09-08 | Nippon Syst Wear Kk | 計器読み取り装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体 |
CN103118647A (zh) * | 2010-09-22 | 2013-05-22 | 松下电器产业株式会社 | 运动支援系统 |
CN103079026A (zh) * | 2011-09-08 | 2013-05-01 | 株式会社Pfu | 图像处理装置、图像处理方法以及图像处理系统 |
JP2017101700A (ja) * | 2015-11-30 | 2017-06-08 | 株式会社アンセイ | ケーブル装置 |
Also Published As
Publication number | Publication date |
---|---|
US11301709B2 (en) | 2022-04-12 |
JP6542407B1 (ja) | 2019-07-10 |
JP2019144704A (ja) | 2019-08-29 |
WO2019159415A1 (ja) | 2019-08-22 |
CN111670458A (zh) | 2020-09-15 |
US11915498B2 (en) | 2024-02-27 |
US20220189182A1 (en) | 2022-06-16 |
US20200334483A1 (en) | 2020-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6088792B2 (ja) | 画像検出装置及び制御プログラム並びに画像検出方法 | |
CN109409398B (zh) | 图像处理装置、图像处理方法以及存储介质 | |
US9294665B2 (en) | Feature extraction apparatus, feature extraction program, and image processing apparatus | |
US10679358B2 (en) | Learning image automatic sorting device, learning image automatic sorting method, and learning image automatic sorting program | |
US10339657B2 (en) | Character detection apparatus and method | |
US20100034465A1 (en) | Method and apparatus for calculating pixel features of image data | |
US11900664B2 (en) | Reading system, reading device, reading method, and storage medium | |
JP2007025902A (ja) | 画像処理装置、画像処理方法 | |
CN111670458B (zh) | 读取系统 | |
EP3955207A1 (en) | Object detection device | |
JP6591257B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6656453B2 (ja) | 読取システム、読取装置、プログラム、及び記憶媒体 | |
US20230410561A1 (en) | Method and apparatus for distinguishing different configuration states of an object based on an image representation of the object | |
JP6684947B2 (ja) | 読取システム、読取装置、プログラム、及び記憶媒体 | |
JP6175904B2 (ja) | 照合対象抽出システム、照合対象抽出方法、照合対象抽出プログラム | |
JP5337844B2 (ja) | 領域検出装置、領域検出方法及びプログラム | |
JP5653308B2 (ja) | 領域検出装置、領域検出方法及びプログラム | |
JP2009259190A (ja) | 文字認識プログラムおよび文字認識装置 | |
US11275963B2 (en) | Image identification apparatus, image identification method, and non-transitory computer-readable storage medium for storing image identification program | |
CN109117844B (zh) | 一种密码确定方法和装置 | |
JP2006323511A (ja) | 記号認識方法及び装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |