CN111656397B - 读取系统、读取方法以及存储介质 - Google Patents

读取系统、读取方法以及存储介质 Download PDF

Info

Publication number
CN111656397B
CN111656397B CN201880088145.8A CN201880088145A CN111656397B CN 111656397 B CN111656397 B CN 111656397B CN 201880088145 A CN201880088145 A CN 201880088145A CN 111656397 B CN111656397 B CN 111656397B
Authority
CN
China
Prior art keywords
image
candidate image
candidate
segment display
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880088145.8A
Other languages
English (en)
Other versions
CN111656397A (zh
Inventor
泷利和
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN111656397A publication Critical patent/CN111656397A/zh
Application granted granted Critical
Publication of CN111656397B publication Critical patent/CN111656397B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/146—Aligning or centring of the image pick-up or image-field
    • G06V30/147—Determination of region of interest
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G06V30/18019—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Character Input (AREA)

Abstract

实施方式的读取系统具备提取部、判定部以及读取部。提取部从输入图像中提取候选图像，所述候选图像成为拍摄有段式显示器的部分的候选。判定部使用候选图像与预先设定的掩模，计算适合率，所述适合率表示在候选图像中包含段式显示器的准确度，在适合率为预先设定的阈值以上的情况下，将候选图像判定为是段式显示器的图像。读取部从被判定为段式显示器的图像的候选图像中读取显示于段式显示器的数值。

Description

读取系统、读取方法以及存储介质
技术领域
本发明的实施方式涉及读取系统、读取方法以及存储介质。
背景技术
存在读取显示于段式显示器(segment display)的数值的系统。在该系统中，希望数值的读取的精度较高。
现有技术文献
专利文献
专利文献1：日本特开2008－243103号公报
发明内容
发明要解决的课题
本发明要解决的课题在于，提供一种能够提高段式显示器的数值的读取精度的读取系统、读取方法以及存储介质。
用来解决课题的手段
实施方式的读取系统具备提取部、判定部以及读取部。所述提取部从输入图像中提取候选图像，所述候选图像成为拍摄有段式显示器的部分的候选。所述判定部使用所述候选图像与预先设定的掩模，计算适合率，所述适合率表示在所述候选图像中包含段式显示器的准确度，在所述适合率为预先设定的阈值以上的情况下，将所述候选图像判定为是段式显示器的图像。所述读取部从被判定为段式显示器的图像的所述候选图像中，读取显示于段式显示器的数值。
附图说明
图1是表示实施方式的读取系统的构成的框图。
图2是表示实施方式的读取系统的动作的流程图。
图3是对实施方式的读取系统中的处理进行例示的图。
图4是表示实施方式的第一变形例的读取系统的构成的框图。
图5是表示实施方式的第二变形例的读取系统的构成的框图。
图6是表示实施方式的第三变形例的读取系统的构成的框图。
图7是表示用于实现实施方式的读取系统的硬件构成的框图。
具体实施方式
以下，参照附图对本发明的各实施方式进行说明。
在本申请说明书与各图中，对与已说明的要素相同的要素标注相同的附图标记并适当省略详细的说明。
图1是表示实施方式的读取系统的构成的框图。
实施方式的读取系统用于从包含段式显示器的图像中读取显示于段式显示器的数值。在本实施方式中，段式显示器是指，包含由多个段的显示构成的数字、文字等某种显示信息的显示器。
如图1所示，实施方式的读取系统1具备拍摄部11、提取部12、转换部13、截取部14、判定部15、读取部16、以及存储部18。
拍摄部11拍摄段式显示器，取得静止的图像。拍摄部11将所取得的图像输出至提取部12。在由拍摄部11拍摄动态图像的情况下，从该动态图像截取静止图像并输出至提取部12。在所拍摄的图像中也可以映现段式显示器以外的图像。
提取部12从所输入的图像中提取段式显示器的图像的候选。这里，将由拍摄部11拍摄并输入至提取部12的图像称为输入图像。将输入图像的一部分、且成为段式显示器的候选的图像称为候选图像。候选图像是由提取部12判定为拍摄有段式显示器的输入图像的一部分。从提取部12输出的候选图像也可以是多个。
作为具体的一个例子，提取部12具有加工部12a、二值化部12b、轮廓提取部12c、第一选定部12d、四边形提取部12e、第二选定部12f。
加工部12a例如生成将输入图像转换为灰度阶(grey scale)后的加工图像。加工部12a将加工图像输出至二值化部12b。此时，加工部12a例如也可以将使输入图像缩小为预先设定的尺寸的加工图像输出至二值化部12b。此时，加工部12a将未被缩小的原尺寸图像存储于存储部18中。
二值化部12b对所输入的加工图像进行二值化，生成由白色与黑色表示的二值图像。轮廓提取部12c在二值图像中，例如提取由白色表示的区域的轮廓。
第一选定部12d计算由轮廓包围的区域的面积。在提取了多个轮廓的情况下，计算各个区域的面积。第一选定部12d将所计算的各面积与规定的阈值进行比较，仅选定面积为阈值以上的区域。由此，将面积过小的区域从候选中排除。四边形提取部12e对所选定的区域进行直线近似，提取四边形。例如，四边形提取部12e取得所提取的四边形的顶点的坐标。
第二选定部12f将所提取的四边形的区域与预先设定的条件进行比较，选定适合于条件的区域。作为条件，例如使用四边形的纵向尺寸与横向尺寸的比率在规定范围内、顶点的角度在规定范围内、四边形中的任一顶点均不在图像的外框附近(例如，距外框三个像素以内)等。第二选定部12f将所选定的四边形作为最终的候选图像输出至转换部13。
转换部13进行以下的第一处理以及第二处理。
在第一处理中，转换部13判定从提取部12输入的候选图像是否未变形。在判定为候选图像已变形的情况下，转换部13以使候选图像接近从正面拍摄到的图像的方式，对该变形进行校正。
在第二处理中，转换部13判定候选图像的尺寸是否与预先设定的规定尺寸一致。在候选图像的尺寸与规定尺寸不一致的情况下，转换部13以使候选图像的尺寸接近规定尺寸的方式，对候选图像进行校正。
进行第一处理以及第二处理的顺序是任意的。或者，第一处理与第二处理也可以同时进行。转换部13例如通过对候选图像进行投影转换，来同时进行第一处理以及第二处理，对变形以及尺寸进行校正。转换部13将校正后的候选图像输出至截取部14。在判定为候选图像未变形、且候选图像的尺寸与规定尺寸一致的情况下，转换部13将所输入的候选图像原样地输出至截取部14。
截取部14参照存储部18。在存储部18中，存储有预先设定的掩模及其信息。在本实施方式中，掩模是与读取对象的段式显示器对应的图像。掩模成为读取对象的段式显示器时的参照信息。例如，将所有的段已点亮的状态的段式显示器的二值图像用作掩模。截取部14从存储部18取得掩模的纵向尺寸及横向尺寸、实际的段式显示器中的掩模的对应位置。截取部14基于这些信息，从所输入的候选图像中截取其一部分。截取部14将截取出的候选图像输出至判定部15。
判定部15参照存储部18，使用所输入的候选图像与掩模计算适合率。适合率是表示候选图像中包含段式显示器的准确度的值。例如，适合率越大，候选图像中包含段式显示器的可能性越高。
判定部15将适合率与预先设定的阈值进行比较。在适合率为阈值以上的情况下，判定部15判定为该候选图像是段式显示器的图像，并输出至读取部16。在存在多个候选图像的情况下，判定部15针对各个候选图像进行适合率的计算以及判定。
具体而言，判定部15具有二值化部15a、逻辑运算部15b、适合率计算部15c以及比较部15d。
二值化部15a对候选图像进行二值化。逻辑运算部15b计算二值图像与掩模的逻辑积。在根据逻辑积获得的处理图像中，仅将在掩模中用白色表示并且在二值图像中用白色表示的区域由白色表示。
适合率计算部15c计算二值图像相对于处理图像的一致率作为适合率。即，计算在二值图像中由白色表示的区域的面积A2相对于在处理图像中由白色表示的区域的面积A1(由白色表示的像素数)的比例(A2/A1)作为适合率。
比较部15d将适合率与阈值进行比较。在适合率为阈值以上的情况下，向读取部16输出候选图像。在适合率小于阈值的情况下，比较部15d判定为该候选图像不是段式显示器的图像，例如结束处理。
读取部16从所输入的候选图像中读取显示于段式显示器的数值。例如，读取部16通过从所输入的候选图像中截取数字，并检测点亮的段，来读取数值。读取部16例如使所读取的数值显示于监视器、或者将所读取的数值输出至数据库。
存储部18存储读取系统1的处理所需的信息、处理的过程中所生成的数据。例如，在存储部18中，除了上述掩模之外，还存储在进行判定时供比较的阈值等。
参照图2以及图3，对实施方式的读取系统1的动作进行说明。
图2是表示实施方式的读取系统的动作的流程图。
图3是对实施方式的读取系统中的处理进行例示的图。
拍摄部11拍摄段式显示器，取得图像(图2的步骤S11)。加工部12a对输入图像进行加工(步骤S12a)。由此，生成将输入图像缩小并进行了灰度化的加工图像、以及仅将输入图像进行了灰度化的原尺寸图像。图3的(a)是加工图像的一个例子。二值化部12b对加工图像进行二值化，如图3的(b)所示那样，生成二值图像(步骤S12b)。轮廓提取部12c提取二值图像的轮廓(步骤S12c)。
第一选定部12d选定由轮廓包围的区域(步骤S12d)。由此，例如，如图3的(c)所示，选定由框A包围的区域。四边形提取部12e基于所选定的区域中的四边形的提取结果，从原尺寸图像中提取四边形(步骤S12e)。第二选定部12f选定所提取的四边形(步骤S12f)，并作为候选图像而输出。图3的(d)示出了被作为候选图像而输出的四边形。
如图3的(e)所示，转换部13转换候选图像，以对变形以及大小进行校正。转换部13例如通过对候选图像进行投影转换，来校正变形以及尺寸(步骤S13)。图3的(h)表示掩模的例子。截取部14对应于掩模的尺寸来截取候选图像的一部分(步骤S14)。由此，可获得图3的(f)所示的图像。
如图3的(g)所示，二值化部15a对所截取的候选图像进行二值化(步骤S15a)。逻辑运算部15b计算二值图像与掩模的逻辑积(步骤S15b)。由此，可获得图3的(i)所示的图像。适合率计算部15c使用图3的(g)与图3的(i)的图像，计算适合率(步骤S15c)。比较部15d将适合率与预先设定的阈值进行比较(步骤S15d)。在适合率为阈值以上的情况下，读取部16从该候选图像中读取段式显示器的数值(步骤S16)。
判定部15判定是否不存在还未进行步骤S15a～S15d的其他候选图像(步骤S17)。在存在其他候选图像的情况下，对该候选图像进行步骤S15a。在不存在其他候选图像的情况下，结束处理。
对实施方式的效果进行说明。
在读取段式显示器时，如上述那样，从输入图像中提取成为拍摄有段式显示器的部分的候选的候选图像。以往，例如对所提取的候选图像适当进行变形等的校正，从候选图像中读取段式显示器的数值。
但是，在候选图像中，例如有时包含与段式显示器相似的显示器。在该情况下，存在读取其它显示器的数值作为段式显示器的数值而产生误检测的可能性。
实施方式的读取系统1为了抑制这样的误检测而具备判定部15。判定部15使用候选图像与预先设定的掩模，计算表示在候选图像中包含段式显示器的准确度的适合率。然后，在该适合率为预先设定的阈值以上的情况下，判定部15将候选图像判定为是段式显示器的图像。
通过进行这样的判定，能够仅对为段式显示器的可能性更高的候选图像进行读取。特别是，在本实施方式中，预先准备与读取对象的段式显示器对应的掩模，并使用该掩模进行候选图像的缩小范围(日文原文：絞り込み)。因此，即使在输入图像中包含与段式显示器相似的显示器、其它段式显示器的情况下，也能够更高精度地仅选定读取对象的段式显示器，能够大幅降低误检测的可能性。
在图1所示的例子中，实施方式的读取系统1具备拍摄部11，但读取系统1也可以不具备拍摄部11。例如，也可以将由其他拍摄装置拍摄到的图像输入读取系统1，通过读取系统1从该输入图像中读取段式显示器的数值。
读取系统1也可以不具备转换部13以及截取部14，但为了提高读取的精度，优选具备这些构成。
例如，通过由转换部13对候选图像的变形进行校正，能够提高适合率的精度。由此，能够更准确地筛选拍摄有段式显示器的候选图像。
通过利用截取部14使用掩模来截取候选图像的一部分，能够将读取对象以外的被摄体从候选图像中排除。由此，能够提高适合率的精度。
在上述的说明中，转换部13在第一处理中，在判定为候选图像已变形的情况下，对候选图像的变形进行了校正。代替该方法，转换部13也可以在第一处理中，在判定为候选图像已变形的情况下，对应于候选图像的变形而使掩模变形。在该情况下，在之后的由判定部15进行的处理中，也能够提高适合率的精度。
在图3中，示出了使用与7段显示器对应的掩模来读取显示于7段显示器的数值的例子。但是，能够由实施方式的读取系统1读取的段式显示器并不限定于7段显示器。读取对象的段式显示器也可以是14段显示器或者16段显示器。
作为掩模，使用多个段的至少一部分点亮的段式显示器的图像。更优选的是，将所有的段已点亮的段式显示器的二值图像用作掩模。由此，能够与读取对象的段式显示器的显示信息无关地，更高精度地选定拍摄有段式显示器的候选图像。
作为掩模，在使用所有的段已点亮的二值图像的情况下，段越增加，掩模中的白色区域的面积越增加。例如，在候选图像中含有较多噪声、由噪声产生的白色区域较多的情况下，尽管候选图像不包含段式显示器，也存在候选图像与掩模的适合率变高的可能性。因此，与适合率进行比较的阈值优选根据所读取的段式显示器中的段数来进行调整。
例如，在读取7段显示器的数值的情况下，通过将阈值设为0.6以上，能够更高精度地筛选出拍摄到7段显示器的候选图像。
若阈值较高，则即使在候选图像拍摄到7段显示器，判定为不是7段显示器的图像的可能性也升高。因此，阈值优选为0.8以下。
即，在读取7段显示器的数值的情况下，通过将阈值设为0.6以上且0.8以下，能够提高数值的读取的精度。
关于提取部12中的处理，若无法提取候选图像，则能够进行适当变更。例如，在输入图像的尺寸较小的情况下、或者输入图像被预先二值化的情况下等，不需要加工部12a或者二值化部12b。用于从输入图像中提取候选图像的处理也能够进行适当变更。关于这些变形例，以下进行说明。
(第一变形例)
图4是表示实施方式的第一变形例的读取系统的构成的框图。
在图1～图3的例子中，段式显示器的显示区域的框为四边形。因此，对应于该显示区域的形状，在提取部12设有四边形提取部12e。
在显示区域的框为圆形的情况下，如图4所示的读取系统2那样，在提取部12中，代替四边形提取部12e而设置椭圆提取部12g。椭圆提取部12g从由第一选定部12d选定的区域中提取椭圆。此时，椭圆提取部12g取得所提取的椭圆的坐标。椭圆提取部12g在原尺寸图像中提取与上述坐标对应的椭圆的图像，并输出至第二选定部12f。
第二选定部12f将所输入的椭圆的图像与预先设定的条件进行比较，选定适合于条件的椭圆。作为条件，例如可使用椭圆的扁平率、亮度的分布等。第二选定部12f将所选定的椭圆的图像作为候选图像输出至转换部13。以后的处理与图1～图3中说明的例子相同。即，转换部13对候选图像的变形进行校正，截取部14截取候选图像的一部分。然后，经由判定部15的判定，通过读取部16读取段式显示器的数值。
一般来说，段式显示器的数值在规定的方向上并列地排列。因而，即使在段式显示器的显示区域的框为圆或者椭圆的情况下，一般来说，显示于段式显示器的数值也收敛于四边形。即，即使在显示区域的框为圆或者椭圆的情况下，掩模的外形也被设定为四边形。通过使掩模的外形为四边形，能够提高显示数值的面积相对于掩模的整体面积的比例。其结果，能够降低候选图像中的噪声等对适合率造成的影响，能够提高适合率的精度。
(第二变形例)
图5是表示实施方式的第二变形例的读取系统的构成的框图。
图5所示的读取系统3在与读取系统1的比较中，代替提取部12、转换部13、以及截取部14而具备提取部21。
在读取系统3中，在读取段式显示器的数值之前，通过拍摄部11仅对读取对象的段式显示器从正面拍摄。这里，将仅对段式显示器从正面拍摄到的图像称为模板图像。
提取部21具有特征量提取部21a、匹配部21b、转换部21c以及搜索部21d。
特征量提取部21a提取输入图像的特征量。特征量提取部21a参照存储于存储部18的模板图像，提取模板图像的特征量。或者，也可以预先通过特征量提取部21a提取模板图像的特征量并存储于存储部18。在该情况下，特征量提取部21a参照存储于存储部18的模板图像的特征量。特征量提取部21a将输入图像的特征量以及模板图像的特征量输出至匹配部21b。
匹配部21b计算用于将输入图像的特征量与模板图像的特征量匹配所需的输入图像的校正量。例如，匹配部21b计算用于使输入图像中已变形的段式显示器接近从正面拍摄到的图像所需的校正量。匹配部21b将所计算的校正量以及输入图像输出至转换部13。
在特征量彼此无法匹配的情况下，在输入图像中不包含段式显示器的可能性较高。因而，在该情况下，例如不计算校正量而结束处理。
转换部21c基于输入的校正量来转换输入图像。由此，在输入图像相对于模板图像已变形的情况下，可对该变形进行校正。
搜索部21d参照存储于存储部18的模板图像。然后，搜索部21d从输入图像中搜索与模板图像匹配的部分。搜索部21d将匹配的部分作为候选图像而输出至判定部15。
以后的判定部15以及读取部16中的处理与图1所示的读取系统1相同。
由特征量提取部21a进行的特征量的提取例如使用KAZE、AKAZE(AcceleratedKAZE,加速KAZE)、或者SIFT(Scale-invariant feature transform，尺度不变特征变换)等来进行。匹配部21b中的匹配例如使用KNN(K Nearest Neighbor，K最近邻)、或者FLANN(Fast Library for Approximate Nearest Neighbors，快速最近邻逼近搜索函数库)等来进行。由搜索部21d进行的搜索例如使用基于图像间的类似度的图案匹配来进行。
例如，在某个平面上设有多个段式显示器，并对这些段式显示器进行了拍摄的情况下，在输入图像中，这些段式显示器同样地变形。在本变形例的读取系统3中，进行使用了特征量的输入图像的转换以及使用了模板图像的匹配。即，对输入图像的整个区域进行转换。因此，不需要针对各个候选图像对变形进行校正，在同一平面上存在多个段式显示器的情况下等，与读取系统1相比，能够使处理更高速化。
(第三变形例)
图6是表示实施方式的第三变形例的读取系统的构成的框图。
图6所示的读取系统4在与读取系统1的比较中，代替提取部12、转换部13、以及截取部14而具备提取部31。提取部31具有学习部31a、输入部31b、检测部31c以及处理部31d。
在读取系统4中，使用神经网络，从输入图像中提取拍摄有段式显示器的候选图像。例如，在提取部31中事先输入教师数据，进行神经网络的学习。教师数据例如包括包含段式显示器的变形的图像、表示在该图像中段式显示器的位置的数据、以及该图像的变形量。
学习部31a使神经网络学习，以在被输入图像数据时，使神经元(neuron)对拍摄有段式显示器的部分的数据反应(起火)、并且使与该图像的变形量对应的神经元反应。学习部31a将学习过的神经网络存储于存储部18。由学习部31a进行的上述学习可以由执行判定部15、读取部16的处理的处理装置进行，也可以使用与其不同的其它处理装置进行。在上述学习中，优选使用具有更高速的运算性能的处理装置。
之后，通过拍摄部11取得用于读取段式显示器的数值的图像，并将图像输入到提取部31。当被输入图像时，输入部31b参照存储于存储部18的学习完毕的神经网络。然后，输入部31b向该神经网络输入图像的数据。
在向神经网络输入图像数据的期间，若有神经元的反应，则检测部31c检测该反应。然后，检测部31c检测神经元反应的图像的坐标以及变形量，并输出至处理部31d。
处理部31d基于所输入的坐标，从输入图像中提取候选图像。处理部31d基于所输入的变形量，对候选图像的变形进行校正。处理部31d将校正后的候选图像输出至判定部15。
关于进行候选图像的提取和变形的校正的顺序，能够适当变更。例如，在处理部31d中，也可以在对输入图像的变形进行了校正之后，提取候选图像。
以后的判定部15以及读取部16中的处理与图1所示的读取系统1相同。
在本变形例的读取系统3中，使用神经网络来进行图像的截取、校正。因此，即使在段式显示器的显示区域与其外框的对比度(contrast ratio)不大、难以从二值化图像中提取轮廓的情况下，也能够更高精度地提取候选图像。因而，与读取系统1相比，能够更高精度地读取输入图像中的段式显示器的数值。
图7是表示用于实现实施方式的读取系统的硬件构成的框图。
例如，实施方式的读取系统由图7所示的读取装置5以及拍摄装置6构成。读取装置5例如是计算机，具有ROM(Read Only Memory，只读存储器)51、RAM(Random AccessMemory，随机存取存储器)52、CPU(Central Processing Unit，中央处理器)53、以及HDD(Hard Disk Drive，硬盘驱动器)54。
ROM51储存有控制计算机的动作的程序。在ROM51中，储存有用于使计算机作为上述实施方式中的提取部，转换部、截取部、判定部、读取部、搜索部等而发挥功能所需的程序。
RAM52作为供储存于ROM51的程序展开的存储区域而发挥功能。CPU53读入储存于ROM51的控制程序，并按照该控制程序控制计算机的动作。CPU53将通过计算机的动作而获得的各种数据在RAM52中展开。HDD54作为上述实施方式中的存储部18而发挥功能，存储读取所需的信息、读取的过程中所获得的信息。
在使用读取装置5来实现利用了神经网络的处理系统4的情况下，读取装置5也可以还具有GPU(Graphics Processing Unit，图形处理器)、专用于神经网络的处理的专用芯片。读取装置5也可以代替HDD54而具有eMMC(embedded Multi Media Card，嵌入式多媒体存储卡)，SSD(Solid State Drive，固态硬盘)，SSHD(Solid State Hybrid Drive，固态混合硬盘)等。
拍摄装置6拍摄被摄体(段式显示器)，将所取得的图像发送至读取装置5。拍摄装置6例如是相机。
输出装置7输出从读取装置5输出的数据(读取的段式显示器的数值)，以使用户能够识别。输出装置7例如是监视器、打印机、或者扬声器等。
读取装置5、拍摄装置6、以及输出装置7例如通过有线或者无线而相互连接。或者，它们也可以经由网络而相互连接。或者，也可以将读取装置5、拍摄装置6、以及输出装置7中的至少两个组装在一个装置中。例如，读取装置5也可以与拍摄装置6的图像处理部等一体地组装。
本发明的实施方式包括以下的程序。
一种程序，使计算机执行如下步骤：
从输入图像中提取候选图像，所述候选图像成为拍摄有段式显示器的部分的候选；
使用所述候选图像与预先设定的掩模，计算适合率，所述适合率表示在所述候选图像中包含段式显示器的准确度，在所述适合率为预先设定的阈值以上的情况下，将所述候选图像判定为是段式显示器的图像；
从被判定为段式显示器的图像的所述候选图像中读取显示于段式显示器的数值。
通过使用以上说明的实施方式的读取系统以及读取方法，能够更高精度地读取显示于段式显示器的数值。同样，通过使用用于使计算机作为读取系统而动作的程序，能够使计算机更高精度地读取显示于段式显示器的数值。
以上，对本发明的几个实施方式进行了例示，但这些实施方式是作为例子而提出的，并不意图限定发明的范围。这些新的实施方式能够以其他各种方式实施，在不脱离发明的主旨的范围内，能够进行各种省略、替换、变更等。这些实施方式及其变形例包含在发明的范围或主旨中，并且包含在权利要求书所记载的发明及其等效的范围中。上述的各实施方式能够相互组合来实施。

Claims (9)

1.一种读取系统，具备：
提取部，从输入图像中提取候选图像，所述候选图像成为拍摄有段式显示器的部分的候选；
判定部，使用所述候选图像与预先设定的掩模，计算适合率，所述适合率表示在所述候选图像中包含段式显示器的准确度，在所述适合率为预先设定的阈值以上的情况下，将所述候选图像判定为是段式显示器的图像；以及
读取部，从被判定为段式显示器的图像的所述候选图像中读取显示于段式显示器的数值，
所述提取部执行如下步骤：
从所述输入图像中提取轮廓；
计算由所述轮廓包围的区域的面积；
在所述面积为预先设定的阈值以上的情况下，基于所述轮廓，从所述输入图像中提取规定的形状的图像；
将满足预先设定的条件的所述提取出的图像作为所述候选图像而输出。
2.如权利要求1所述的读取系统，其中，
所述掩模是所有的段已点亮的段式显示器的图像。
3.如权利要求1或2所述的读取系统，其中，
所述读取系统还具备转换部，该转换部进行如下处理：
第一处理，在所述候选图像已变形的情况下，以使所述候选图像接近从正面拍摄到的图像的方式进行转换；以及
第二处理，在所述候选图像的尺寸与预先设定的规定尺寸不同的情况下，以使所述候选图像的所述尺寸接近所述规定尺寸的方式进行校正，
所述判定部使用转换后的所述候选图像与所述掩模计算所述适合率。
4.如权利要求1或2所述的读取系统，其中，
所述读取系统还具备转换部，该转换部进行如下处理：
第一处理，在所述候选图像已变形的情况下，对应于所述候选图像的变形而使所述掩模变形；以及
第二处理，在所述候选图像的尺寸与预先设定的规定尺寸不同的情况下，以使所述候选图像的所述尺寸接近所述规定尺寸的方式进行校正，
所述判定部使用转换后的所述候选图像与变形后的所述掩模计算所述适合率。
5.如权利要求1或2所述的读取系统，其中，
所述读取系统还具备截取部，该截取部基于所述掩模的大小以及形状，截取所述候选图像的一部分，
所述判定部使用截取出的所述候选图像计算所述适合率。
6.如权利要求1或2所述的读取系统，其中，
所述判定部执行如下步骤：
对所述候选图像进行二值化；
使二值化后的所述候选图像与所述掩模叠合并计算逻辑积；
将根据所述逻辑积获得的图像与所述候选图像的一致率作为所述适合率而计算。
7.如权利要求1或2所述的读取系统，其中，
所述掩模为7段显示器的二值图像，
所述阈值被设定为0.6以上。
8.一种读取方法，包括：
从输入图像中提取候选图像，所述候选图像成为拍摄有段式显示器的部分的候选；
使用所述候选图像与预先设定的掩模，计算适合率，所述适合率表示在所述候选图像中包含段式显示器的准确度，在所述适合率为预先设定的阈值以上的情况下，将所述候选图像判定为是段式显示器的图像；
从被判定为段式显示器的图像的所述候选图像中读取显示于段式显示器的数值，
从所述输入图像提取所述候选图像包括：
从所述输入图像中提取轮廓；
计算由所述轮廓包围的区域的面积；
在所述面积为预先设定的阈值以上的情况下，基于所述轮廓，从所述输入图像中提取规定的形状的图像；
将满足预先设定的条件的所述提取出的图像作为所述候选图像而输出。
9.一种存储介质，存储有使计算机执行如下步骤的程序，所述步骤包括：
从输入图像中提取候选图像，所述候选图像成为拍摄有段式显示器的部分的候选；
使用所述候选图像与预先设定的掩模，计算适合率，所述适合率表示在所述候选图像中包含段式显示器的准确度，在所述适合率为预先设定的阈值以上的情况下，将所述候选图像判定为是段式显示器的图像；
从被判定为段式显示器的图像的所述候选图像中读取显示于段式显示器的数值，
从所述输入图像提取所述候选图像包括：
从所述输入图像中提取轮廓；
计算由所述轮廓包围的区域的面积；
在所述面积为预先设定的阈值以上的情况下，基于所述轮廓，从所述输入图像中提取规定的形状的图像；
将满足预先设定的条件的所述提取出的图像作为所述候选图像而输出。
CN201880088145.8A 2018-02-16 2018-09-25 读取系统、读取方法以及存储介质 Active CN111656397B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018026476A JP6542406B1 (ja) 2018-02-16 2018-02-16 読取システム、読取方法、プログラム、及び記憶媒体
JP2018-026476 2018-02-16
PCT/JP2018/035334 WO2019159414A1 (ja) 2018-02-16 2018-09-25 読取システム、読取方法、及び記憶媒体

Publications (2)

Publication Number Publication Date
CN111656397A CN111656397A (zh) 2020-09-11
CN111656397B true CN111656397B (zh) 2023-11-03

Family

ID=67212229

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880088145.8A Active CN111656397B (zh) 2018-02-16 2018-09-25 读取系统、读取方法以及存储介质

Country Status (4)

Country Link
US (2) US11455787B2 (zh)
JP (1) JP6542406B1 (zh)
CN (1) CN111656397B (zh)
WO (1) WO2019159414A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6542406B1 (ja) * 2018-02-16 2019-07-10 株式会社東芝 読取システム、読取方法、プログラム、及び記憶媒体
JP6868057B2 (ja) * 2019-05-27 2021-05-12 株式会社東芝 読取システム、読取方法、プログラム、記憶媒体、及び移動体
JP7290498B2 (ja) * 2019-07-26 2023-06-13 株式会社ミツトヨ デジタル表示読取装置及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011175523A (ja) * 2010-02-25 2011-09-08 Nippon Syst Wear Kk 計器読み取り装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体
CN102665526A (zh) * 2009-11-13 2012-09-12 奥林巴斯株式会社 图像处理装置、电子设备、内窥镜系统和程序

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1074240A (ja) * 1996-08-30 1998-03-17 Fujitsu Ltd 文字位置検出方法
JPH11316794A (ja) * 1998-05-06 1999-11-16 Aisin Aw Seimitsu Kk セグメント情報読み取り判定方法
US7164431B1 (en) * 2001-05-08 2007-01-16 Pixelworks, Inc. System and method for mixing graphics and text in an on-screen display application
JP4670434B2 (ja) * 2005-03-31 2011-04-13 富士電機システムズ株式会社 メータの指示値読取システム
JP3998215B1 (ja) 2007-03-29 2007-10-24 国立大学法人山口大学 画像処理装置、画像処理方法及び画像処理プログラム
WO2013019790A2 (en) * 2011-08-01 2013-02-07 Greenwave Reality, Pte Ltd. Multiple and interchangeable meter reading probes
CN105283902B (zh) * 2013-06-17 2018-10-30 富士通株式会社 图像处理装置、图像处理方法、以及图像处理程序的存储介质
JP6336406B2 (ja) * 2015-03-11 2018-06-06 富士フイルム株式会社 画像合成装置，画像合成方法ならびに画像合成プログラムおよびそのプログラムを格納した記録媒体
JP5997808B1 (ja) 2015-06-18 2016-09-28 株式会社Pfu 画像処理装置、日付識別装置、画像処理方法、および、プログラム
US10302454B2 (en) * 2016-02-15 2019-05-28 Olea Networks, Inc. Retrofit device and method of retrofitting a flow meter
CN112198850A (zh) 2016-11-09 2021-01-08 株式会社东芝 数据收集系统、处理系统以及存储介质
US10775871B2 (en) 2016-11-10 2020-09-15 Apple Inc. Methods and apparatus for providing individualized power control for peripheral sub-systems
US10198671B1 (en) * 2016-11-10 2019-02-05 Snap Inc. Dense captioning with joint interference and visual context
WO2019023900A1 (zh) * 2017-07-31 2019-02-07 深圳联影医疗科技有限公司 在体数据中提取感兴趣区域的方法及系统
US10169679B1 (en) * 2017-10-13 2019-01-01 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using loss augmentation and testing method and testing device using the same
JP6542406B1 (ja) * 2018-02-16 2019-07-10 株式会社東芝 読取システム、読取方法、プログラム、及び記憶媒体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102665526A (zh) * 2009-11-13 2012-09-12 奥林巴斯株式会社 图像处理装置、电子设备、内窥镜系统和程序
JP2011175523A (ja) * 2010-02-25 2011-09-08 Nippon Syst Wear Kk 計器読み取り装置、方法、プログラム、および該ソフトウェアを格納したコンピュータ可読媒体

Also Published As

Publication number Publication date
JP2019144703A (ja) 2019-08-29
US11455787B2 (en) 2022-09-27
US11900664B2 (en) 2024-02-13
CN111656397A (zh) 2020-09-11
US20200342251A1 (en) 2020-10-29
WO2019159414A1 (ja) 2019-08-22
JP6542406B1 (ja) 2019-07-10
US20220398824A1 (en) 2022-12-15

Similar Documents

Publication Publication Date Title
US10769473B2 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
EP2743888B1 (en) Feature extraction device, feature extraction program, and image processing device
US10943141B2 (en) Object detection device and object detection method
US10679358B2 (en) Learning image automatic sorting device, learning image automatic sorting method, and learning image automatic sorting program
CN111656397B (zh) 读取系统、读取方法以及存储介质
US9047673B2 (en) Apparatus and method for extracting target, and recording medium storing program for performing the method
US10339657B2 (en) Character detection apparatus and method
US11341739B2 (en) Image processing device, image processing method, and program recording medium
US10460198B2 (en) Image processing system
JP2009134587A (ja) 画像処理装置
JP6110174B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
JP2018106618A (ja) 画像データ分類装置、オブジェクト検出装置及びこれらのプログラム
CN108960247B (zh) 图像显著性检测方法、装置以及电子设备
JP2019220014A (ja) 画像解析装置、画像解析方法及びプログラム
JP2007025902A (ja) 画像処理装置、画像処理方法
CN111670458B (zh) 读取系统
JP6656453B2 (ja) 読取システム、読取装置、プログラム、及び記憶媒体
US20230069608A1 (en) Object Tracking Apparatus and Method
CN113722692B (zh) 身份识别的装置及其方法
KR101937859B1 (ko) 360도 이미지에서의 공통 객체 탐색 시스템 및 방법
JP6684947B2 (ja) 読取システム、読取装置、プログラム、及び記憶媒体
KR20210096817A (ko) 얼굴 식별 방법, 및 이를 이용하는 장치 및 프로그램
JP2005339398A (ja) 特徴抽出装置、特徴抽出方法、および、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant