CN105431866A - 光学字符识别装置 - Google Patents

光学字符识别装置 Download PDF

Info

Publication number
CN105431866A
CN105431866A CN201480040348.1A CN201480040348A CN105431866A CN 105431866 A CN105431866 A CN 105431866A CN 201480040348 A CN201480040348 A CN 201480040348A CN 105431866 A CN105431866 A CN 105431866A
Authority
CN
China
Prior art keywords
character string
string candidate
candidate
date
character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480040348.1A
Other languages
English (en)
Inventor
张美�
中村圭吾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yuyama Manufacturing Co Ltd
Original Assignee
Yuyama Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yuyama Manufacturing Co Ltd filed Critical Yuyama Manufacturing Co Ltd
Publication of CN105431866A publication Critical patent/CN105431866A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G06V30/18019—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J2200/00—General characteristics or adaptations
    • A61J2200/70—Device provided with specific sensor or indicating means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J2205/00—General identification or selection means
    • A61J2205/30—Printed labels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61J—CONTAINERS SPECIALLY ADAPTED FOR MEDICAL OR PHARMACEUTICAL PURPOSES; DEVICES OR METHODS SPECIALLY ADAPTED FOR BRINGING PHARMACEUTICAL PRODUCTS INTO PARTICULAR PHYSICAL OR ADMINISTERING FORMS; DEVICES FOR ADMINISTERING FOOD OR MEDICINES ORALLY; BABY COMFORTERS; DEVICES FOR RECEIVING SPITTLE
    • A61J7/00—Devices for administering medicines orally, e.g. spoons; Pill counting devices; Arrangements for time indication or reminder for taking medicine
    • A61J7/0015—Devices specially adapted for taking medicines
    • A61J7/0046—Cups, bottles or bags
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Character Input (AREA)
  • Character Discrimination (AREA)
  • Image Analysis (AREA)
  • Medical Preparation Storing Or Oral Administration Devices (AREA)

Abstract

光学字符识别装置从输入图像中提取目标区域，其中目标区域包含被识别的对象。光学字符识别装置从包含于目标区域的对象中提取候选对象，其中候选对象包含至少一个字符串候选的对象。光学字符识别装置对候选对象进行标记，将在预先决定的方向上延伸而彼此靠近的多个对象提取为字符串候选，并判断字符串候选是否具有日期模式，在字符串候选具有日期模式时，将字符串候选识别为日期，其中日期模式包含表示年份的2位或4位数字、表示月份的1位或2位数字和预先决定的标点符号。

Description

光学字符识别装置
技术领域
本发明涉及以光学方式识别字符串的光学字符识别装置，尤其涉及用于识别表示日期的字符串的光学字符识别装置。本发明还涉及用于识别表示日期的字符串的光学字符识别方法、计算机程序和记录介质。
背景技术
对于以光学方式对打印在药品容器上的字符进行识别的装置存在着需求(参照专利文献1)。例如，在将一时运送到病房但结果未被使用的注射药等药品返还保存箱的情况下，为了在下次使用时能够迅速且准确地取出该药品，需要基于药品的种类、名称和使用期限等进行分类保存。若能够使用光学字符识别装置实现自动进行该分类的返还装置，则在操作的高效化和减少失误方面是较为有效的。并且，在使用这样的返还装置保存药品的情况下，由于药品的保存位置被记录下来，所以在下次使用时能够根据处方来自动地配发适当的药品。
现有技术文献
专利文献
专利文献1：日本专利第4857768号公报。
发明内容
发明要解决的技术问题
在利用光学字符识别装置以光学方式识别字符串的情况下，字符串的图像中包含的各种噪声可能会导致产生误识别。为了提高识别的精度，需要预先从图像中除去噪声。
本发明为了解决上述问题，提供一种能够以比现有技术高的精度对表示日期的字符串进行识别的光学字符识别装置、光学字符识别方法、计算机程序和记录介质。
解决问题的技术手段
根据本发明第一技术方案的光学字符识别装置，在以光学方式识别字符串的光学字符识别装置中，上述光学字符识别装置包括：
从输入图像中提取目标区域的第一处理单元，其中上述目标区域包含作为识别目标的对象；
从包含于上述目标区域的对象中提取候选对象的第二处理单元，其中上述候选对象包含至少一个字符串候选的对象；和
第三处理单元，对上述候选对象进行标记，将在预先决定的方向上延伸而彼此靠近的多个对象提取为上述字符串候选，并判断上述字符串候选是否具有日期模式，在上述字符串候选具有上述日期模式时，将上述字符串候选识别为日期，其中上述日期模式包含表示年份的2位或4位数字、表示月份的1位或2位数字和预先决定的标点符号。
根据本发明第二技术方案的光学字符识别装置，在第一技术方案的光学字符识别装置中，
上述第二处理单元检测包含在上述目标区域中的对象的轮廓和边缘，
将彼此具有重合的轮廓和边缘的对象提取为上述候选对象。
根据本发明第三技术方案的光学字符识别装置，在第二技术方案的光学字符识别装置中，
上述第二处理单元对上述目标区域应用索贝尔滤波器来检测第一边缘，
对上述第一边缘附近的区域应用坎尼滤波器来检测第二边缘，
将上述第二边缘作为包含在上述目标区域中的对象的边缘使用。
根据本发明第四技术方案的光学字符识别装置，在第一～第三之任一技术方案的光学字符识别装置中，
上述第三处理单元对上述字符串候选的对象进行标记来提取多个字符候选，
生成分别包围上述各字符候选的多个边界框，其中上述边界框分别呈矩形形状，具有与上述字符串候选延伸的方向平行的宽度和与上述字符串候选延伸的方向正交的高度，
对上述各边界框以该边界框的高度越低则越扩大该边界框的宽度的方式使各边界框变形，
将由于变形而连结的边界框中所包含的字符候选的组提取为新的字符串候选。
根据本发明第五技术方案的光学字符识别装置，在第一～第四之任一技术方案的光学字符识别装置中，
上述第三处理单元对上述字符串候选的对象进行标记来提取多个字符候选，
删除包含多于10个字符候选的字符串候选。
根据本发明第六技术方案的光学字符识别装置，在第一～第五之任一技术方案的光学字符识别装置中，
上述第三处理单元对上述字符串候选的对象进行标记来提取多个字符候选，
删除以下字符串候选，该字符串候选仅包含在与上述字符串候选延伸的方向正交的方向上包含2个以上对象的字符候选。
根据本发明第七技术方案的光学字符识别装置，在第一～第六之任一技术方案的光学字符识别装置中，
上述第三处理单元检测上述字符串候选的对象的轮廓和边缘，
删除上述边缘的像素与上述轮廓的像素一致的部分为上述边缘的像素的面积的60％以下的字符串候选。
根据本发明第八技术方案的光学字符识别装置，在第一～第七之任一技术方案的光学字符识别装置中，
上述第三处理单元在上述字符串候选包含明显不会被误认为数字的字母时，将上述字符串候选识别为不是日期。
根据本发明第九技术方案的光学字符识别装置，在第一～第八之任一技术方案的光学字符识别装置中，
上述第三处理单元在上述字符串候选包含表示月份的2个数字和跟在上述表示月份的2个数字之后的至少一个其它字符，并且上述表示月份的2个数字间的距离，大于上述表示月份的2个数字与其它字符之间的距离和其它字符间的距离的平均值时，除去上述表示月份的2个数字的个位的数字和上述其它字符。
根据本发明第十技术方案的光学字符识别装置，在第一～第九之任一技术方案的光学字符识别装置中，
上述输入图像是以可旋转的方式被保持的圆筒形容器的图像。
根据本发明第十一技术方案的光学字符识别装置，在第十技术方案的光学字符识别装置中，
上述第一处理单元从上述输入图像中提取包括在与上述圆筒形容器的旋转轴实质上正交的方向上延伸的边缘和亮度比预先决定的阈值高的部分的区域作为上述目标区域。
根据本发明第十二技术方案的光学字符识别装置，在第十或第十一技术方案的光学字符识别装置中，
上述光学字符识别装置获取一边使上述容器旋转一边拍摄而得到的分别表示上述容器的不同角度的多个输入图像，
上述第三处理单元在一个输入图像的字符串候选仅包含“1”作为表示月份的数字时，判断其它的输入图像的字符串候选是否仅包含“1”作为表示月份的数字。
根据本发明第十三技术方案的光学字符识别装置，在第十～第十二之任一技术方案的光学字符识别装置中，
上述光学字符识别装置包括：
摄像机；
以使上述圆筒形容器可绕上述容器的旋转轴旋转的方式保持上述容器的拍摄台；和
使上述容器在至少一个保存箱与上述拍摄台之间移动的移动装置，
上述容器上打印有表示上述容器中的药品的使用期限的日期的字符串。
根据本发明第十四技术方案的光学字符识别方法，
在以光学方式识别字符串的光学字符识别方法中，上述光学字符识别方法包括：
从输入图像中提取目标区域的第一步骤，其中上述目标区域包含作为识别目标的对象；
从包含于上述目标区域的对象中提取候选对象的第二步骤，其中上述候选对象包含至少一个字符串候选对象；和
第三步骤，对上述候选对象进行标记，将在预先决定的方向上延伸而彼此靠近的多个对象提取为上述字符串候选，并判断上述字符串候选是否具有日期模式，在上述字符串候选具有上述日期模式时，将上述字符串候选识别为日期，其中上述日期模式包含表示年份的2位或4位数字、表示月份的1位或2位数字和预先决定的标点符号。
根据本发明第十五技术方案的计算机程序，
在由计算机执行时以光学方式识别字符串的计算机程序中，上述计算机程序包括：
从输入图像中提取目标区域的第一步骤，其中上述目标区域包含作为识别目标的对象；
从包含于上述目标区域的对象中提取候选对象的第二步骤，其中上述候选对象包含至少一个字符串候选对象；和
第三步骤，对上述候选对象进行标记，将在预先决定的方向上延伸而彼此靠近的多个对象提取为上述字符串候选，并判断上述字符串候选是否具有日期模式，在上述字符串候选具有上述日期模式时，将上述字符串候选识别为日期，其中上述日期模式包含表示年份的2位或4位数字、表示月份的1位或2位数字和预先决定的标点符号。
根据本发明第十六技术方案的记录介质，
该记录介质可由计算机读取，存储有在由计算机执行时以光学方式识别字符串的计算机程序，在该记录介质中，上述计算机程序包括：
从输入图像中提取目标区域的第一步骤，其中上述目标区域包含作为识别目标的对象；
从包含于上述目标区域的对象中提取候选对象的第二步骤，其中上述候选对象包含至少一个字符串候选对象；和
第三步骤，对上述候选对象进行标记，将在预先决定的方向上延伸而彼此靠近的多个对象提取为上述字符串候选，并判断上述字符串候选是否具有日期模式，在上述字符串候选具有上述日期模式时，将上述字符串候选识别为日期，其中上述日期模式包含表示年份的2位或4位数字、表示月份的1位或2位数字和预先决定的标点符号。
根据本发明第十七技术方案的光学字符识别装置，在第一～第十三之任一技术方案的光学字符识别装置中，
上述光学字符识别装置获取一边使上述容器旋转一边拍摄而得到的分别表示上述容器的不同角度的多个输入图像，将上述多个输入图像连结。
发明效果
本发明的光学字符识别装置、光学字符识别方法、计算机程序和记录介质能够以比现有技术高的精度对表示日期的字符串进行识别。
附图说明
图1是表示本发明第一实施方式的光学字符识别装置的结构的框图。
图2是表示第一例的打印有字符串的容器13a的俯视图。
图3是表示第二例的打印有字符串的容器13b的俯视图。
图4是表示第三例的打印有字符串的容器13c的俯视图。
图5是表示第四例的打印有字符串的容器13d的俯视图。
图6是表示由图1的控制装置1执行的日期检测处理的流程图。
图7是表示图6的步骤S2中的目标区域提取处理之子流程的流程图。
图8是表示图6的步骤S4中的候选对象提取处理之子流程的流程图。
图9是表示图6的步骤S6中的OCR处理之子流程的流程图。
图10是表示图9的步骤S51、S53、S55、S57中的OCR子流程的第一部分的流程图。
图11是表示图9的步骤S51、S53、S55、S57中的OCR子流程的第二部分的流程图。
图12是表示图11的步骤S68中的边缘强度和区域亮度判定处理之子流程的流程图。
图13是表示图11的步骤S69中的平均高度判定处理之子流程的流程图。
图14是表示图11的步骤S72、S75中的日期模式判定处理之子流程的流程图。
图15是表示图7的步骤S21中提取出的图像中的高亮度部分之示例的图。
图16是表示图7的步骤S22中提取出的图像中的较长的纵向边缘之示例的图。
图17是将图15的高亮度部分与图16的较长的纵向边缘重叠而得的图。
图18是表示包含图15的高亮度部分和图16的较长的纵向边缘的目标区域21的图。
图19是表示图8的步骤S31中提取出的亮对象之示例的图。
图20是表示图8的步骤S33中提取出的暗对象之示例的图。
图21是表示图8的步骤S31中使用移动平均滤波器进行的亮对象的提取的图。
图22A是表示包含亮对象和暗对象的图像的图。
图22B是表示从图22A的图像提取亮对象的图。
图22C表示从图22A的图像提取暗对象的图。
图23是表示在图8的步骤S35中使用索贝尔滤波器提取出的图像中的边缘之示例的图。
图24是表示在图8的步骤S36中，将步骤S35中提取出的边缘以外的区域删除后的图像之示例的图。
图25是表示在图8的步骤S37中使用阈值为15的Canny滤波器提取出的图像中的边缘之示例的图。
图26是表示在图8的步骤S37中使用阈值为4的Canny滤波器提取出的图像中的边缘之示例的图。
图27是表示图8的步骤S38中提取出的作为亮对象的候选对象之示例的图。
图28是表示图8的步骤S39中提取出的作为暗对象的候选对象之示例的图。
图29A是表示对象之示例的图。
图29B是表示使用阈值200提取出的图29A的二值化图像的图。
图29C是表示图29B的轮廓的图。
图29D是表示使用阈值50提取出的图29A的边缘的图。
图29E是表示使用阈值200提取出的图29A的边缘的图。
图29F是表示字符的轮廓和边缘的图。
图30是表示图10的步骤S61中提取出的字符串候选之示例的图。
图31是表示图10的步骤S61中对字符串候选的提取的图。
图32是表示图10的步骤S62中提取出的字符候选和生成的边界框(boundingbox)之示例的图。
图33A是表示图10的步骤S61中提取出的字符串候选之示例的图。
图33B是表示图10的步骤S62中提取出的字符候选和生成的边界框42之示例的图。
图33C是表示图10的步骤S63中变形的边界框43之示例的图。
图33D是表示图10的步骤S64中提取出的新的字符串候选之示例的图。
图34A是表示图10的步骤S61中提取出的字符串候选之另一示例的图。
图34B是表示图10的步骤S62中提取出的字符候选和生成的边界框42之另一示例的图。
图35是表示图10的步骤S65、S66、S67中删除一部分字符串候选后的字符串候选之示例的图。
图36A是表示图10的步骤S64中提取出的字符串候选之示例的图。
图36B是表示图36A的字符串候选中包含的各字符候选的高度方向上的对象的个数的图。
图37A是表示图10的步骤S64中提取出的字符串候选之另一示例的图。
图37B是表示图37A的字符串候选中包含的各字符候选的高度方向上的对象的个数的图。
图38A是表示输入图像之示例的图。
图38B是表示从图38A的图像中提取出的作为亮对象的候选对象的图。
图38C是表示图38B的候选对象的轮廓的图。
图38D是表示从图38A的图像中提取出的边缘的图。
图39A是表示输入图像之示例的图。
图39B是表示从图39A的图像中提取出的作为暗对象的候选对象的图。
图39C是表示图39B的候选对象的轮廓的图。
图39D是表示从图39A的图像中提取出的边缘的图。
图40是表示用于说明图11的步骤S68中的边缘强度和区域亮度判定处理的输入图像之示例的图。
图41是表示图12的步骤S90中选择的字符串候选之示例的图。
图42是表示经图11的步骤S68中的边缘强度和区域亮度判定处理而被处理后的字符串候选之示例的图。
图43A是表示图13的步骤S101中选择的字符串候选之示例的图。
图43B是表示图13的步骤S104中提取出的新的字符串候选之示例的图。
图44是表示由本发明第二实施方式的光学字符识别装置的控制装置1执行的日期检测处理的流程图。
图45是表示由本发明第三实施方式的光学字符识别装置的控制装置1执行的日期检测处理的流程图。
图46是表示图45的步骤S15中的拼合图像的日期检测处理之子流程的流程图。
图47是表示由本发明第四实施方式的光学字符识别装置的控制装置1执行的日期检测处理的日期模式判定处理之子流程的流程图。
图48是表示包含日期字符串和其它字符的字符串候选之示例的图。
具体实施方式
第一实施方式.
图1是表示本发明第一实施方式的光学字符识别装置的结构的框图。图1的光学字符识别装置以光学方式对打印在圆筒形容器13的表面上的日期字符串进行识别。
图1的光学字符识别装置包括控制装置1、导轨2、移动装置3、摄像机4～6、照明装置7a、7b、以及辊8a、8b。至少2个的辊8a、8b以彼此平行的方式设置，并具有在控制装置1的控制下工作的驱动装置，从而将容器13保持为可旋转。光学字符识别装置还包括收容容器13的至少一个托盘(或保存箱)11、12。移动装置3在控制装置1的控制下使容器13在托盘11、12与辊8a、8b之间移动。摄像机4～6分别设置在托盘11、12和辊8a、8b之上，在容器13位于托盘11、12和辊8a、8b上时分别获取容器13的图像，将其发送给控制装置1。照明装置7a、7b对辊8a、8b上的容器13进行照明。辊8a、8b和照明装置7a、7b起到作为用于容器13的拍摄台的作用。光学字符识别装置也可以代替辊8a、8b而包括其它的保持圆筒形容器13并使该容器13能够绕其旋转轴旋转的机构。控制装置1对从摄像机5发送来的容器13的图像执行后文中参照图6～图14说明的日期检测处理，对打印在容器13表面的日期进行识别。移动装置3上也可以设置追加的摄像机。控制装置1也可以连结在按照从记录介质10读取的计算机程序而动作的外部的个人计算机(PC)9上。
容器13例如是药品容器(安瓿)，容器13上打印有表示容器13中药品的使用期限的日期的字符串。例如，在这样的容器13被从病房返还而置于托盘11上时，光学字符识别装置使用移动装置3将容器13从托盘11移动到辊8a、8b上，在辊8a、8b上以光学方式识别打印在容器13上的使用期限的日期。接着，光学字符识别装置根据识别出的日期决定是将容器保存还是废弃，使用移动装置3将容器13移动到与合适的保存箱或垃圾箱关联的其它托盘12上。
图2～图5表示打印在容器13上的字符串之示例。图2表示第一例的打印有字符串的容器13a的俯视图。图3表示第二例的打印有字符串的容器13b的俯视图。图4表示第三例的打印有字符串的容器13c的俯视图。图5表示第四例的打印有字符串的容器13d的俯视图。字符串可以打印在粘贴在容器上的标签上，也可以直接打印在容器上。并且，字符串的方向可以与圆筒形容器13的旋转轴平行，也可以与容器13的旋转轴正交，或者这些方向的字符串也可以同时存在。
控制装置1作为从输入图像中提取目标区域的第一处理单元动作，其中目标区域包含作为被识别体的对象。并且，控制装置1作为从包含于目标区域的对象中提取候选对象的第二处理单元动作，其中候选对象包含至少一个字符串候选的对象。另外，控制装置1作为第三处理单元动作，其对候选对象进行标记，将在预先决定的方向上延伸而彼此靠近的多个对象提取为字符串候选，并判断字符串候选是否具有日期模式，在字符串候选具有日期模式时，将字符串候选识别为日期，其中日期模式包含表示年份的2位或4位数字、表示月份的1位或2位数字和预先决定的标点符号(punctuationmark)。
以下参照图6～图14对由图1的控制装置1执行的日期检测处理进行说明。
图6是表示由图1的控制装置1执行的日期检测处理的流程图。控制装置1一边利用辊8a、8b使容器13按一定角度(例如15度)旋转，一边利用摄像机5对容器13进行拍摄，获取分别表示容器13的不同角度的多个图像(输入图像)。作为摄像机5，使用分辨率足够用于以光学方式识别打印在容器13上的字符串的摄像机。例如，容器13的直径为10～40mm，例如，使用以3840×2748的像素数(约1000万像素)对包含容器13在内的120×90mm的范围进行拍摄的黑白摄像机。该情况下，容器13上的1mm相当于32像素。在图6的步骤S1中，控制装置1获取容器13的多个图像中的一个。在步骤S2中，控制装置1执行目标区域提取处理。
图7是表示图6的步骤S2中的目标区域提取处理之子流程的流程图。
在图7的步骤S21中，控制装置1从通过步骤S1获得的图像中提取亮度比预先决定的阈值高的部分(例如包含照明光的反射的部分)。例如在像素的亮度于0～255内变化时，控制装置1例如提取亮度高于220的部分。图15是表示图7的步骤S21中提取出的图像中的高亮度部分之示例的图。此处，输入图像是图5的容器13d的图像。
接着，在图7的步骤S22中，控制装置1从通过步骤S1获得的图像中提取在与圆筒形容器13的旋转轴实质正交的方向上延伸的较长的边缘(纵向边缘)。容器13的背景中存在着辊8a、8b，不过，由于辊8a、8b以与容器13的旋转轴平行的方式延伸，所以通过提取纵向边缘能够消除辊8a、8b的影响。
在步骤S22中，为了提取边缘，使用下式所示的索贝尔(Sobel)滤波器。
[式1]
A = 1 0 - 1 2 0 - 2 1 0 - 1
通过索贝尔滤波器提取出的边缘之中的较短的边缘，例如小于55个像素长度的，被作为噪声删除。图16是表示图7的步骤S22中提取出的图像中的较长的纵向边缘之示例的图。图5的容器13d的旋转轴与图5的X轴平行，所以在步骤S22中，提取出在与图5的Y轴实质平行的方向上延伸的边缘。
在图7的步骤S23中，控制装置1提取包含高亮度部分和纵向边缘的矩形区域(宽w1×高h1)作为目标区域，并将目标区域外部的区域删除。图17是将图15的高亮度部分与图16的较长的纵向边缘重叠而得的图。图18是表示包含图15的高亮度部分和图16的较长的纵向边缘的目标区域21的图。可认为目标区域是包含作为被识别体的字符串对象的区域。
再次参照图6，在执行了步骤S2的目标区域提取处理后，在步骤S3中，控制装置1判断是否成功提取了目标区域，在“是”的情况下前进至步骤S4，在“否”的情况下前进至步骤S10。在步骤S4中，控制装置1执行候选对象提取处理。
图8是表示图6的步骤S4中的候选对象提取处理之子流程的流程图。
在图8的步骤S31中，控制装置1通过对目标区域的图像应用移动平均滤波器来提取比周围明亮的亮对象，将图像二值化。黑底白字的字符串被作为亮对象提取出来。由于照明因照射方式导致存在不均匀，所以仅通过单纯的二值化不能检测出对象。因而，采用使用了移动平均滤波器的二值化方法(动态阈值法)。图21表示图8的步骤S31中使用移动平均滤波器进行的亮对象的提取的图。根据图21所示的原理，控制装置1根据输入图像(此处为目标区域的图像)的亮度计算其局部平均亮度，将亮度比局部平均亮度加上规定的偏置而得到的亮度高的对象(即，具有比周围突出的明亮度的对象)，作为亮对象提取出来。为了计算局部平均亮度而参照的局部区域的尺寸，是基于目标区域的整体尺寸决定的。图19是表示图8的步骤S31中提取出的亮对象之示例的图。接着，在步骤S32中，控制装置1检测二值化后的亮对象的轮廓。
然后，在图8的步骤S33～S34中，对暗对象进行与步骤S31～S32中对亮对象进行的处理同样的处理。在步骤S33中，控制装置1通过对目标区域的图像应用移动平均滤波器来提取比周围昏暗的暗对象，将图像二值化。白底黑字的字符串被作为暗对象提取出来。图20是表示图8的步骤S33中提取出的暗对象之示例的图。在步骤S34中，控制装置1检测二值化后的暗对象的轮廓。
图22A是表示包含亮对象和暗对象的图像的图。图22B是表示从图22A的图像提取亮对象的图。图22C是表示从图22A的图像提取暗对象的图。一个字符串可以认为是亮对象和暗对象中的一者。由于在图8的步骤S31～S34中提取出了亮对象和暗对象双方，所以能够可靠地检测打印在容器13上的日期。
接着，在图8的步骤S35中，控制装置1使用下式所示的索贝尔滤波器提取目标区域的图像中的边缘。
[式2]
B = 1 2 0 - 2 - 1 4 8 0 - 8 - 4 6 12 0 - 12 - 6 4 8 0 - 8 - 4 1 2 0 - 2 - 1
[式3]
C = - 1 - 4 - 6 - 4 - 1 - 2 - 8 - 12 - 8 - 2 0 0 0 0 0 2 8 12 8 2 1 4 6 4 1
[式4]
D = b 2 + c 2 4
此处，b表示对一个像素应用了算子B的结果，c表示对同一个像素应用了算子C的结果。图23是表示在图8的步骤S35中使用索贝尔滤波器提取出的图像中的边缘之示例的图。
接着，在图8的步骤S36中，控制装置1从目标区域的图像中删除通过步骤S35提取出的边缘以外的区域。图24是表示在图8的步骤S36中，将步骤S35中提取出的边缘以外的区域删除后的图像之示例的图。接着，在图8的步骤S37中，控制装置1对进行了步骤S36的删除之后的图像应用Canny(坎尼)滤波器，提取图像中的边缘。
Canny边缘检测方法包括以下三个步骤。作为第一步骤，针对图像计算下式所示的梯度的大小(幅值)g(x，y)和梯度的方向d(x，y)。
[式5]
g ( x , y ) = f x ( x , y ) 2 + f y ( x , y ) 2
[式6]
d ( x , y ) = tan - 1 ( f y ( x , y ) f x ( x , y ) )
此处，fx(x，y)表示标准差为σ的高斯函数的x方向上的一阶微分与像素值函数的卷积，fy(x，y)表示同一高斯函数的y方向上的一阶微分与像素值函数的卷积。
作为Canny边缘检测方法的第二步骤，通过求取梯度的大小g(x，y)的最大值来检测边缘。此时，使用关注像素的周围8个像素在梯度的方向d(x，y)上进行插补，推定插补后的梯度的大小，并对这些推定值进行比较，判断关注像素的梯度的大小g(x，y)是否具有真正的最大值。
作为Canny边缘检测方法的第三步骤，设定高阈值Th_H和低阈值Th_L，进行存在滞后的阈值判断。在梯度的大小g(x，y)大于高阈值Th_H时，判断为该像素是边缘。在梯度的大小g(x，y)小于低阈值Th_L时，判断为该像素不是边缘。在梯度的大小g(x，y)位于高阈值Th_H与低阈值Th_L之间时，仅在该像素与被检测为边缘的像素邻接的情况下，判断为是边缘。
在本申请公开的示例中，步骤S37中使用的Canny滤波器中，高斯函数的标准差σ＝1.4，高阈值Th_H＝10，低阈值Th_L＝5。阈值可取的值的范围为0～255。
在图8的步骤S40中，为了供紧跟其后的步骤S38、S39、以及后述的图10的步骤S67这两者中使用，使用2种Canny滤波器提取2种边缘。图25表示在图8的步骤S37中使用阈值为15的Canny滤波器提取出的图像中的边缘之示例的图。图26表示在图8的步骤S37中使用阈值为4的Canny滤波器提取出的图像中的边缘之示例的图。本申请公开的示例中，步骤S38、S39中使用了图26的边缘，图10的步骤S67使用了图25的边缘。
若使用索贝尔滤波器提取边缘，则虽然速度快但提取出的边缘的宽度较粗。而若使用Canny滤波器提取边缘，则虽然速度慢但能够提取出详细的边缘。而本实施方式中，暂且先使用索贝尔滤波器提取边缘(步骤S35)，将提取出的边缘以外的区域删除(步骤S36)，再仅对使用索贝尔滤波器提取出的边缘附近的区域应用Canny滤波器提取边缘(步骤S37)，将该边缘作为包含在目标区域中的对象的边缘使用。这样，通过组合索贝尔滤波器和Canny滤波器，与仅使用Canny滤波器的情况相比，边缘的提取约加速10倍。
接着，在图8的步骤S38中，控制装置1将具有轮廓和边缘的亮对象中的轮廓与边缘彼此重合、实质上一致的亮对象提取为候选对象。图27表示图8的步骤S38中提取出的作为亮对象的候选对象之示例的图。接着，在图8的步骤S39中，控制装置1将具有轮廓和边缘的暗对象中的轮廓与边缘彼此重合、实质上一致的暗对象提取为候选对象。图28表示图8的步骤S39中提取出的作为暗对象的候选对象之示例的图。
图29A是表示对象之示例的图。图29B是表示使用阈值200提取出的图29A的二值化图像的图。图29C是表示图29B的轮廓的图。图29D是表示使用阈值50提取出的图29A的边缘的图。图29E是表示使用阈值200提取出的图29A的边缘的图。图29F是表示字符的轮廓和边缘的图。图29A的对象中，例如在像素的亮度于0～255内变化时，包括亮度为0的部分、亮度为128的部分和亮度为255的部分。图29A的对象的轮廓是作为其二值化图像(图29B)的轮廓获得的(图29C)。图29A的对象的边缘作为亮度急剧变化的部分获得，通过使用不同的阈值而提取出不同的边缘(图29D、图29E)。如图29C～图29E所示，一般来说，对象的轮廓与边缘并不一定一致。不过，字符对象通常具有封闭的边缘，所以可以认为对象的轮廓与边缘是一致的。因而，通过提取具有实质上一致的轮廓与边缘的对象，能够提取出字符对象。边缘与轮廓不一致的对象作为噪声被删除。
然后，在图6的步骤S5中，控制装置1判断是否成功提取了候选对象，在“是”时前进至步骤S6，在“否”时前进至步骤S10。在步骤S6中，控制装置1执行OCR处理。
图9是表示图6的步骤S6中的OCR处理之子流程的流程图。由于作为被识别体的字符串是亮对象还是暗对象是未知的，并且作为被识别体的字符串是与图5的X轴平行地延伸还是与Y轴平行地延伸也是未知的，所以针对它们的所有组合执行图10和图11的OCR子流程。当假定识别装置的字符串为亮对象时，使用图8的步骤S38中提取出的作为亮对象的候选对象。当假定识别装置的字符串为暗对象时，使用图8的步骤S39中提取出的作为暗对象的候选对象。当假定识别装置的字符串与X轴平行地延伸时，原样地使用目标区域的图像。当假定识别装置的字符串与Y轴平行地延伸时，将目标区域的图像旋转90度后使用。
在图9的步骤S51中，控制装置1假定识别装置的字符串是与X轴平行地延伸的亮对象，执行OCR子流程。在步骤S52中，控制装置1判断OCR是否成功，在“是”时前进至图6的步骤S7，在“否”时前进至步骤S53。在步骤S53中，控制装置1假定识别装置的字符串是与Y轴平行地延伸的亮对象，执行OCR子流程。在步骤S54中，控制装置1判断OCR是否成功，在“是”时前进至图6的步骤S7，在“否”时前进至步骤S55。在步骤S55中，控制装置1假定识别装置的字符串是与X轴平行地延伸的暗对象，执行OCR子流程。在步骤S56中，控制装置1判断OCR是否成功，在“是”时前进至图6的步骤S7，在“否”时前进至步骤S57。在步骤S57中，控制装置1假定识别装置的字符串是与Y轴平行地延伸的暗对象，执行OCR子流程，之后前进至图6的步骤S7。
图10是表示图9的步骤S51、S53、S55、S57中的OCR子流程的第一部分的流程图。图11是表示图9的步骤S51、S53、S55、S57中的OCR子流程的第二部分的流程图。
在图10的步骤S61中，控制装置1对候选对象进行标记，将在预先决定的方向上延伸而彼此靠近的多个对象提取为字符串候选。图30是表示图10的步骤S61中提取出的字符串候选之示例的图。图31是表示图10的步骤S61中对字符串候选的提取的图。在图31中，用于提取字符串候选的字符串候选蒙版31例如宽w2＝75像素，高h2＝3像素。当配置于某位置的字符串候选蒙版31包含哪怕候选对象的1个像素时，也判断为字符串候选蒙版31内的区域是字符串候选的一部分。使字符串候选蒙版31在整个目标区域扫描，对一个一个的连结起来的字符串候选赋予标记。
在步骤S61中对候选对象进行标记而提取字符串候选时，存在将靠近的多个字符串作为一个字符串候选提取的可能。因而，暂且先将字符串候选分离为字符候选，基于各字符候选的特征量(宽度和高度)将具有类似特征量的字符候选重新结合为字符串候选。在图10的步骤S62中，控制装置1对各字符串候选中的对象进行标记，提取包含在该字符串候选中的多个字符候选，生成各字符候选的边界框。各边界框分别呈矩形形状，具有与字符串候选延伸的方向平行的宽度和与字符串候选延伸的方向正交的高度，是将各字符候选分别包围的最小外切矩形。在步骤S63中，控制装置1对于各边界框基于其宽度和高度以该边界框的高度越低则越扩大该边界框的宽度的方式使各边界框变形。在步骤S64中，控制装置1将由于变形而连结起来的边界框中所包含的字符候选的组提取为新的字符串候选。图32表示图10的步骤S62中提取出的字符候选和生成的边界框之示例的图。
图33A是表示图10的步骤S61中提取出的字符串候选之示例的图。图33B是表示图10的步骤S62中提取出的字符候选和生成的边界框42之示例的图。图33C是表示图10的步骤S63中变形的边界框43之示例的图。图33D是表示图10的步骤S64中提取出的新的字符串候选之示例的图。图33A的字符串候选包含2个字符串“2012.1”和“abc”，但却被提取为一个字符串候选。图33A中为了说明而表示了字符串候选的边界框41。接着，如图33B所示，对图33A的字符串候选中的对象进行标记，提取包含在该字符串候选中的多个字符候选，生成各字符候选的边界框42。各字符候选的边界框42具有宽度w3和高度h3。然后，如图33C所示，对各边界框基于其宽度和高度使其变形。变形后的边界框43的宽度w3'和高度h3'根据下式获得。
[式7]
w 3 ′ = min ( ( W + H ) × H h 3 × 1.1 , W × 3.2 )
[式8]
h3′＝h3
此处，W是各字符候选的边界框42的宽度的最大值，H是各字符候选的边界框42的高度的最大值。
如图33C所示，各字符候选的边界框以高度h3越小则越扩大宽度w3的方式变形。从而，“.”与“1”的距离虽然比“1”与“a”的距离大，但变形后的边界框43中，“.”与“1”连结，“1”与“a”分离。如图33D所示，将由于变形而连结起来的边界框中所包含的字符候选的组提取为新的字符串候选。图33D中为了说明而表示了新的字符串候选的边界框41a、41b。
图34A是表示图10的步骤S61中提取出的字符串候选之另一示例的图。图34B是表示图10的步骤S62中提取出的字符候选和生成的边界框42之另一示例的图。在步骤S64中，在没有发生由于变形而连结起来的边界框中所包含的字符候选的组被提取为新的字符串候选的情况下，图34A的字符串候选中包含的对象被作为噪声删除。
接着，在步骤S65～S67中，为了防止误识别，将明显不是日期字符串的字符串候选删除。
在图10的步骤S65中，控制装置1删除包含多于10个字符候选的字符串候选。这是考虑到日期字符串至多只包含10个以下字符。从而，包含多于10个字符候选的字符串候选被作为噪声删除。
然后，在步骤S66中控制装置1删除仅包含在高度方向上含有2个以上对象的字符候选的字符串候选。此处，在各字符候选中，将包含在该字符候选中的对象在高度方向上连结，对连结后的对象的个数进行计数。数字“0”～“9”是单个的连结起来的对象。从而，如果字符串候选是日期，则包含在该字符串候选中的所有字符候选在高度方向上应该只包含一个对象。不过，考虑到虽然是日期字符串但因为噪声等原因导致高度方向上包含2个以上对象的字符候选的存在的可能(存在多余的对象的情况，连结起来的对象被切断的情况等)，将仅包含在高度方向上含有2个以上对象的字符候选的字符串候选作为噪声删除。图36A是表示图10的步骤S64中提取出的字符串候选之示例的图。图36B是表示图36A的字符串候选中包含的各字符候选的高度方向上的对象的个数的图。在图36B的字符候选51之上，表示各字符候选的高度方向上的对象的个数。
图37A是表示图10的步骤S64中提取出的字符串候选之另一示例的图。图37B是表示图37A的字符串候选中包含的各字符候选的高度方向上的对象的个数的图。图37A和图37B表示虽然字符串在纵向上延伸但误将其作为横向上延伸的字符串处理的例子。如图37B所示，由于各字符候选的高度方向上的对象的个数全部为2个以上，所以图37A和图37B的字符串候选被作为噪声删除。
接着，在步骤S67中，控制装置1删除各对象中的边缘的像素与轮廓的像素一致的部分为边缘的像素的面积(像素数)的60％以下的字符串候选。在从某个区域提取出作为亮对象和作为暗对象的候选对象时，仅它们中的一者包含正确的字符串候选。通常认为，在正确提取出的候选对象中，其边缘的像素与轮廓的像素实质上是一致的。而从另一者的候选对象中提取出的字符串候选作为噪声被删除。作为对象的边缘，使用图8的步骤S37中提取出的边缘。图38A是表示输入图像之示例的图。图38B是表示从图38A的图像中提取出的作为亮对象的候选对象的图。图38C是表示图38B的候选对象的轮廓的图。图38D是表示从图38A的图像中提取出的边缘的图。图39A是表示输入图像之示例的图。图39B是表示从图39A的图像中提取出的作为暗对象的候选对象的图。图39C是表示图39B的候选对象的轮廓的图。图39D是表示从图39A的图像中提取出的边缘的图。图38A和图39A的输入图像包含暗对象。从而，虽然图39C的轮廓与图39D的边缘实质上一致，但图38C的轮廓与图38D不一致。
图35是表示图10的步骤S65、S66、S67中删除一部分字符串候选后的字符串候选之示例的图。与图30相比可知，噪声被削减。
接着，在图11的步骤S68中，控制装置1执行边缘强度和区域亮度判定处理。
图12是表示图11的步骤S68中的边缘强度和区域亮度判定处理之子流程的流程图。
在图12的步骤S90中，控制装置1选择一个字符串候选。在步骤S91中，控制装置1提取字符候选的区域的轮廓使其膨胀。此处，通过对字符候选的区域的轮廓的像素附加一个像素来使其膨胀。在步骤S92中，控制装置1对经步骤S91膨胀了的轮廓应用Canny滤波器，检测字符串候选的区域的边缘。此处使用的Canny滤波器中，高斯函数的标准差σ＝1，高阈值Th_H＝30，低阈值Th_L＝10。
在步骤S93中，控制装置1计算字符串候选的区域的边缘强度的平均值edge_M和偏差edge_D。基于边缘强度的平均值edge_M和偏差edge_D，使用下式计算边缘强度的基准范围的下限edge_L和上限edge_H。
[式9]
edge_L＝edge_M-min(15，edge_D)×1.2
[式10]
edge_H＝edge_M+edge_D×2
接着，在步骤S94中，控制装置1计算字符串候选的区域的亮度的平均值I_M和偏差I_D。基于亮度的平均值I_M和偏差I_D，使用下式计算亮度的基准范围的下限I_L和上限I_H。
[式11]
I_L＝I_M-min(l5，I_D)×1.2
[式12]
I_H＝I_M+I_D×2
在步骤S95中，控制装置1选择所选中的字符串候选中的一个字符候选。在步骤S96中，控制装置1计算所选中的字符候选的区域的边缘强度的平均值。在步骤S97中，控制装置1计算所选中的字符候选的区域的亮度的平均值。在步骤S98中，在所选中的字符候选具有基准范围外的边缘强度和亮度的情况下，控制装置1将该字符候选删除。详细而言，对于具有小于下限edge_L的边缘强度或大于上限edge_H的边缘强度的字符候选，将其作为噪声删除。并且，对于具有小于下限I_L的亮度或大于上限I_H的亮度的字符候选，将其作为噪声删除。
然后，在步骤S99中，控制装置1判断是否存在未处理的字符候选，在“是”时前进至步骤S95，在“否”时前进至步骤S100。在步骤S100中，控制装置1判断是否存在未处理的字符串候选，在“是”时前进至步骤S90，在“否”时前进至图11的步骤S69。
图40是表示用于说明图11的步骤S68中的边缘强度和区域亮度判定处理的输入图像之示例的图。图41是表示图12的步骤S90中选择的字符串候选之示例的图。图42是表示经图11的步骤S68中的边缘强度和区域亮度判定处理而被处理后的字符串候选之示例的图。根据图40～图42可知，基于边缘强度和区域亮度，噪声被削减。
在图11的步骤S69中，控制装置1执行平均高度判定处理。
图13是表示图11的步骤S69中的平均高度判定处理之子流程的流程图。在步骤S101中，控制装置1选择一个字符串候选。在步骤S102中，控制装置1将各字符候选中包含的对象在高度方向上连结。为了在高度方向上将对象连结，在高度方向上进行闭运算处理(即，先进行区域的膨胀处理，再接着进行腐蚀处理)。在步骤S103中，控制装置1计算各字符候选的高度的平均值和偏差，决定高度的基准范围。为了决定高度的基准范围，也可以代替计算平均值和偏差，而是计算字符串候选中的各对象的高度的中值(中间值)。该情况下，例如可以使用5像素以上、高度的中值的1.1倍以下的范围为基准范围。在步骤S104中，控制装置1删除不具有规定范围的高度的字符候选，从原本的字符串候选中提取因字符候选的删除而分离出的新的字符串候选。图43A是表示图13的步骤S101中选择的字符串候选之示例的图。图43B是表示图13的步骤S104中提取出的新的字符串候选之示例的图。字符候选42a被作为噪声删除，提取出新的字符串候选41c、41d。然后，在图13的步骤S105中，控制装置1判断是否存在未处理的字符串候选，在“是”时前进至步骤S101，在“否”时前进至图11的步骤S70。
在图11的步骤S70中，控制装置1判断字符串候选的个数是否为0，在“是”时前进至图9的步骤S52、S54、S56或图6的步骤S7，在“否”时前进至步骤S71。在步骤S71中，控制装置1选择一个字符串候选。在步骤S72中，控制装置1执行日期模式判定处理。
图14是表示图11的步骤S72、S75中的日期模式判定处理之子流程的流程图。
控制装置1在内部保存有包括多个日期模式的表，其中日期模式包含表示年份的2位或4位数字、表示月份的1位或2位数字和预先决定的标点符号。以“2012年7月”为例，日期例如具有以下模式。
[表1]
各日期模式用于确定数字和标点符号是怎样排列的。
在图14的步骤S111中，控制装置1对字符串候选进行字母数字用OCR。在步骤S112中，控制装置1选择保存在内部的表中的日期模式中的一个日期模式。控制装置1在之后的步骤中判断步骤S111中识别出的字符串是否符合步骤S112中选择的日期模式。在步骤S113中，控制装置1判断字符串是否符合日期模式，在“是”时前进至步骤S114，在“否”时前进至步骤S115。在步骤S114中，控制装置1判断字符串是否包含“明显不会被误认为数字的字母”，在“是”时前进至步骤S115，在“否”时前进至步骤S117。“明显不会被误认为数字的字母”例如包括“O”、“o”、“C”、“c”、“U”、“u”、“Z”、“z”、“n”、“L”、“l”、“I”、“J”、“D”。在字符串包含“明显不会被误认为数字的字母”时，将字符串识别为不是日期。在步骤S115中，控制装置1判断是否已使用了所有的日期模式，在“是”时前进至图11的步骤S73(或步骤S76)，在“否”时返回步骤S112，选择其它的日期模式。在步骤S117中，控制装置1判断字符串中的字符的高度是否一定，在“是”时前进至步骤S116，在“否”时返回步骤S113。在步骤S116中，控制装置1判断字符串是否包含字母，在“是”时前进至步骤S117，在“否”时前进至步骤S118。在步骤S117中，控制装置1对字符串候选进行数字用OCR，即使字符串候选包含字母也将其识别为数字。
在步骤S117之后也可以进行倾斜校正。通过进行倾斜校正能够准确无误地识别包含“1”的字符串。
在图14的步骤S118中，控制装置1判断字符串是否为日期，在“是”时前进至图11的步骤S73(或步骤S76)，在“否”时返回步骤S113。
在图11的步骤S73中，控制装置1判断是否成功进行了日期模式的判定，在“是”时前进至图9的步骤S52、S54、S56或图6的步骤S7，在“否”时前进至步骤S74。在步骤S74中，控制装置1使字符串候选旋转180度。在步骤S75中，控制装置1对旋转了180度的字符串候选执行与上述内容相同的日期模式判定处理。在步骤S76中，控制装置1判断是否成功进行了日期模式的判定，在“是”时前进至图9的步骤S52、S54、S56或图6的步骤S7，在“否”时前进至步骤S77。在步骤S77中，控制装置1判断是否存在未处理的字符串候选，在“是”时返回步骤S71，在“否”时前进至图9的步骤S52、S54、S56或图6的步骤S7。
在图6的步骤S7中，控制装置1判断OCR是否成功，即是否成功提取了表示使用期限的日期的字符串，在“是”时前进至步骤S8，在“否”时前进至步骤S10。在识别出月份为“1”的情况下，存在实际上是“10”～“12”但由于容器13的角度等导致误识别为“1”的可能。在之后的步骤中，在一个输入图像的字符串候选仅包含“1”作为表示月份的数字时，判断其它的输入图像的字符串候选是否仅包含“1”作为表示月份的数字。在步骤S8中，控制装置1判断月份是否为“1”，在“是”时前进至步骤S9，在“否”时前进至步骤S12。在步骤S9中，控制装置1判断相同日期是否检测出2次，在“是”时前进至步骤S12，在“否”时前进至步骤S10。在步骤S10中，控制装置1判断是否已使容器13旋转1周，在“是”时前进至步骤S13，在“否”时前进至步骤S11。在步骤S11中，控制装置1使容器13旋转。例如，在使容器13按15度旋转的情况下，能够获得共计24个输入图像。另外，为了即使在容器13的直径不同的情况下也按一定的角度获取图像，也可以使容器13旋转2周来检测直径，边按一定的时间间隔获取容器13的图像，边根据其直径以不同的速度使容器13旋转。在步骤S12中，控制装置1输出日期。在步骤S13中，控制装置1输出错误。
如上述说明，根据本实施方式的光学字符识别装置，通过在以光学方式对字符串进行识别之前，预先除去包含在字符串的图像中的各种噪声，能够以比现有技术高的精度对表示日期的字符串进行识别。
输入图像不限于圆筒形容器的图像，也可以是其它图像(平坦的物体的图像，或任意的图像数据)。
在控制装置1与外部的PC9连结时，图6～图14的日期检测处理中，至少一部分可以由PC9执行。
也可以按以上说明实施对表示日期的字符串进行识别的光学字符识别方法。并且，这样的光学字符识别方法在通过计算机执行时也可以作为用于以光学方式对字符串进行识别的计算机程序来实施。并且，这样的计算机程序也可以存储在计算机可读取的记录介质中。例如，在图1的记录介质10中存储这样的计算机程序，PC9在从记录介质10中读取了计算机程序时，按照该计算机程序实施光学字符识别方法。
第二实施方式.
对于第一实施方式的光学字符识别装置而言，如果日期包含预先决定的标点符号，并且以采用普通字体的字符打印，则能够以比现有技术高的精度对表示日期的字符串进行识别。然而，为了识别包含特殊标点符号的日期(例如“2015/5”、“20155”)，以采用特殊字体(例如由彼此分离的多个点构成)的字符打印的日期等(以下称为特殊模式)，需要放宽图6～图14的日期检测处理中的各种判断的条件(阈值等)，提取大量的字符串候选。若放宽日期检测处理中的判断的条件，则噪声增多，执行日期检测处理所需的时间变长，所以为了抑制执行时间增大，期待能够识别特殊模式的日期。
图44是表示由本发明第二实施方式的光学字符识别装置的控制装置1执行的日期检测处理的流程图。图44的步骤S1～S12与图6的步骤S1～S12相同。图44的日期检测处理中，代替图1的步骤S13，包含步骤S14这一特殊模式日期检测处理。在步骤S14的特殊模式日期检测处理中，设定比图44的步骤S2、S4和S6中所用的条件放宽了的判断的条件(阈值等)，执行图6的日期检测处理。打印有特殊模式的日期的容器的种类和数量较少，大部分容器上打印的日期能够通过执行设定了一定程度上受限的条件的日期检测处理来识别。
根据图44的日期检测处理，仅在执行了图44的步骤S1～S11但无法识别出日期字符串时，执行步骤S14的特殊模式日期检测处理，所以能够抑制执行时间的增大，同时识别出特殊模式的日期。
第三实施方式.
根据第一实施方式的光学字符识别装置，由于获取的是分别表示容器13的不同角度的多个图像(输入图像)，所以在日期字符串与圆筒形容器的旋转轴正交时(图3和图4)，日期的整体可能没有出现在一个图像中。在日期字符串跨圆筒形容器的侧面的半周以上时，无法获取包含日期的整体的图像。
图45是表示由本发明第三实施方式的光学字符识别装置的控制装置1执行的日期检测处理的流程图。图45的步骤S1～S12与图6的步骤S1～S12相同。图45的日期检测处理中，代替图1的步骤S13，包含步骤S15这一拼合图像日期检测处理。图46是表示图45的步骤S15中的拼合图像的日期检测处理之子流程的流程图。如上所述，控制装置1一边利用辊8a、8b使容器13按一定角度旋转，一边利用摄像机5对容器13进行拍摄，获取分别表示容器13的不同角度的多个图像。在图46的步骤S1A中，控制装置1将包含容器13的彼此邻接的部分的多个图像连结而生成一个拼合图像。详细而言，控制装置1通过在彼此邻接的2个图像中识别类似的对象而将这2个图像连结。拼合图像是将容器的侧面展开的平面图像。对于容器13中的弯曲成曲面的部分，控制装置1以容器13的宽度为圆柱的直径，使用投影变换将其校正为平面。图46的步骤S2～S9、S12和S13与图6的步骤S2～S9、S12和S13相同。
由于拼合图像的生成需要一定程度的时间，所以控制装置1也可以在执行图45的步骤S15之前预先生成拼合图像。
当前，为了生成圆筒形物体的侧面的图像，已经有线性摄像机。不过，为了使用线性摄像机，除了线性摄像机自身的成本之外，还有设置用于使物体高精度旋转的机构的成本。由于药品容器具有各种形状和尺寸，所以为了利用线性摄像机进行拍摄，用于使容器以足够高精度旋转的成本非常高。而根据图45的日期检测处理，通过将由通常的摄像机拍摄的多个图像连结而生成拼合图像，能够抑制成本增大。
根据图45的日期检测处理，仅在执行了图45的步骤S1～S11但无法识别出日期字符串时，执行步骤S15的拼合图像日期检测处理，所以能够抑制执行时间的增大，同时识别出没有出现在一个图像中的日期。
第四实施方式
在紧接着日期字符串之后(右侧)存在其它字符(“O”、“J”、“Z”等)时，其它字符可能会被误识别为日期的一部分。因而，需要从字符串候选中除去这样的不是日期的一部分的其它字符。
图47是表示由本发明第四实施方式的光学字符识别装置的控制装置1执行的日期检测处理的日期模式判定处理之子流程的流程图。图47的日期模式判定处理中，在图11的步骤S72和S75中执行的、图14的步骤S113和S114之间，包含追加的步骤S121和S122。在图47的步骤S121中，控制装置1在符合日期模式的字符串的表示月份的数字为“10”、“11”、“12”中之任一时，基于以下说明的基准，判断日期之后是否有其它字符，在“是”时前进至步骤S122，在“否”时前进至步骤S114。
图48是表示包含日期字符串和其它字符的字符串候选之示例的图。日期“2016.1”之后存在其它字符“CJ932”。若将“C”误识别为“0”，则符合日期模式的字符串将被误识别为“2016.10”。控制装置1在检测出日期字符串“2016.10”时，判断其最后的“0”实际上是否是日期的一部分。
图48的字符间的距离D1～D10以像素数为单位例如可表示如下。
[表2]
为了判断“2016.10”的最后的“0”是否为日期的一部分，首先，可考虑对日期的字符间的距离D1～D6进行比较的情况。该情况下，最后的“1”与“0”的距离(“1”与“C”的距离)D6与“.”与“1”的距离D5为相同程度，所以无法判断为“2016.10”最后的“0”不是日期的一部分。
而本实施方式中，为了判断“2016.10”的最后的“0”是否为日期的一部分，对距离D6与“2016.10”之后的字符间的距离D7～D10的平均值进行比较。在距离D6比距离D7～D10的平均值大时，控制装置1判断为“2016.10”的最后的“0”不是日期的一部分，在步骤S122中除去字符“CJ932”。而在距离D6为距离D7～D10的平均值以下时，控制装置1判断为“2016.10”的最后的“0”是日期的一部分。由此，即使在紧接着日期字符串之后存在其它字符，也能够以高精度识别表示日期的字符串。
如以上说明，控制装置1在字符串候选包含表示月份的2个数字和跟在表示月份的2个数字之后的至少一个其它字符，并且表示月份的2个数字间的距离大于表示月份的2个数字与其它字符之间的距离和其它字符间的距离的平均值时(步骤S121)，除去表示月份的2个数字的个位的数字和其它字符(步骤S122)。
工业利用性
本发明的光学字符识别装置、光学字符识别方法、计算机程序和记录介质能够以比现有技术高的精度对表示日期的字符串进行识别。
附图标记说明
1…控制装置
2…导轨
3…移动装置
4～6…摄像机
7a、7b…照明装置
8a、8b…辊
9…个人计算机(PC)
10…记录介质
11、12…托盘
13、13a～13d…容器
21…目标区域
22…经修剪的目标区域
31…字符串候选蒙版
41…字符串候选的边界框
41a、41b…新的字符串候选的边界框
42、42a…字符候选的边界框
43…变形后的字符候选的边界框
51…字符候选

Claims (16)

1.一种以光学方式识别字符串的光学字符识别装置，其特征在于，包括：
从输入图像中提取目标区域的第一处理单元，其中所述目标区域包含作为识别目标的对象；
从包含于所述目标区域的对象中提取候选对象的第二处理单元，其中所述候选对象包含至少一个字符串候选对象；和
第三处理单元，对所述候选对象进行标记，将在预先决定的方向上延伸而彼此靠近的多个对象提取为所述字符串候选，并判断所述字符串候选是否具有日期模式，在所述字符串候选具有所述日期模式时，将所述字符串候选识别为日期，其中所述日期模式包含表示年份的2位或4位数字、表示月份的1位或2位数字和预先决定的标点符号。
2.如权利要求1所述的光学字符识别装置，其特征在于：
所述第二处理单元检测包含在所述目标区域中的对象的轮廓和边缘，
将具有彼此重合的轮廓和边缘的对象提取为所述候选对象。
3.如权利要求2所述的光学字符识别装置，其特征在于：
所述第二处理单元对所述目标区域应用索贝尔滤波器来检测第一边缘，
对所述第一边缘附近的区域应用坎尼滤波器来检测第二边缘，
将所述第二边缘作为包含在所述目标区域中的对象的边缘使用。
4.如权利要求1～3中任一项所述的光学字符识别装置，其特征在于：
所述第三处理单元对所述字符串候选对象进行标记来提取多个字符候选，
生成分别包围所述各字符候选的多个边界框，该多个边界框分别呈矩形形状，具有与所述字符串候选延伸的方向平行的宽度和与所述字符串候选延伸的方向正交的高度，
以所述边界框的高度越低则越扩大该边界框的宽度的方式使所述各边界框变形，
将由于变形而连结的边界框中所包含的字符候选的组提取为新的字符串候选。
5.如权利要求1～4中任一项所述的光学字符识别装置，其特征在于：
所述第三处理单元对所述字符串候选对象进行标记来提取多个字符候选，
删除包含多于10个字符候选的字符串候选。
6.如权利要求1～5中任一项所述的光学字符识别装置，其特征在于：
所述第三处理单元对所述字符串候选对象进行标记来提取多个字符候选，
删除以下字符串候选，该字符串候选仅包含在与所述字符串候选延伸的方向正交的方向上包含2个以上对象的字符候选。
7.如权利要求1～6中任一项所述的光学字符识别装置，其特征在于：
所述第三处理单元检测所述字符串候选对象的轮廓和边缘，
删除所述边缘的像素与所述轮廓的像素一致的部分为所述边缘的像素的面积的60％以下的字符串候选。
8.如权利要求1～7中任一项所述的光学字符识别装置，其特征在于：
所述第三处理单元在所述字符串候选包含明显不会被误认为数字的字母时，将所述字符串候选识别为不是日期。
9.如权利要求1～8中任一项所述的光学字符识别装置，其特征在于：
所述第三处理单元在所述字符串候选包含表示月份的2个数字和跟在所述表示月份的2个数字之后的至少一个其它字符，并且所述表示月份的2个数字间的距离大于所述表示月份的2个数字与其它字符之间的距离和所述其它字符间的距离的平均值时，除去所述表示月份的2个数字的个位的数字和所述其它字符。
10.如权利要求1～9中任一项所述的光学字符识别装置，其特征在于：
所述输入图像是以可旋转的方式被保持的圆筒形容器的图像。
11.如权利要求10所述的光学字符识别装置，其特征在于：
所述第一处理单元从所述输入图像中提取包括在与所述圆筒形容器的旋转轴实质上正交的方向上延伸的边缘和亮度比预先决定的阈值高的部分的区域作为所述目标区域。
12.如权利要求10或11所述的光学字符识别装置，其特征在于：
所述光学字符识别装置获取一边使所述容器旋转一边拍摄而得到的分别表示所述容器的不同角度的多个输入图像，
所述第三处理单元在一个输入图像的字符串候选仅包含“1”作为表示月份的数字时，判断其它的输入图像的字符串候选是否仅包含“1”作为表示月份的数字。
13.如权利要求10～12中任一项所述的光学字符识别装置，其特征在于，包括：
摄像机；
将所述圆筒形容器以可绕所述容器的旋转轴旋转的方式保持的拍摄台；和
使所述容器在至少一个保存箱与所述拍摄台之间移动的移动装置，
所述容器上打印有表示所述容器中的药品的使用期限的日期的字符串。
14.一种以光学方式识别字符串的光学字符识别方法，其特征在于，包括：
从输入图像中提取目标区域的第一步骤，其中所述目标区域包含作为识别目标的对象；
从包含于所述目标区域的对象中提取候选对象的第二步骤，其中所述候选对象包含至少一个字符串候选对象；和
第三步骤，对所述候选对象进行标记，将在预先决定的方向上延伸而彼此靠近的多个对象提取为所述字符串候选，并判断所述字符串候选是否具有日期模式，在所述字符串候选具有所述日期模式时，将所述字符串候选识别为日期，其中所述日期模式包含表示年份的2位或4位数字、表示月份的1位或2位数字和预先决定的标点符号。
15.一种在由计算机执行时以光学方式识别字符串的计算机程序，其特征在于：
所述计算机程序包括：
从输入图像中提取目标区域的第一步骤，其中所述目标区域包含作为识别目标的对象；
从包含于所述目标区域的对象中提取候选对象的第二步骤，其中所述候选对象包含至少一个字符串候选对象；和
第三步骤，对所述候选对象进行标记，将在预先决定的方向上延伸而彼此靠近的多个对象提取为所述字符串候选，并判断所述字符串候选是否具有日期模式，在所述字符串候选具有所述日期模式时，将所述字符串候选识别为日期，其中所述日期模式包含表示年份的2位或4位数字、表示月份的1位或2位数字和预先决定的标点符号。
16.一种可由计算机读取的记录介质，该记录介质中存储有在由计算机执行时以光学方式识别字符串的计算机程序，所述记录介质的特征在于：
所述计算机程序包括：
从输入图像中提取目标区域的第一步骤，其中所述目标区域包含作为识别目标的对象；
从包含于所述目标区域的对象中提取候选对象的第二步骤，其中所述候选对象包含至少一个字符串候选对象；和
第三步骤，对所述候选对象进行标记，将在预先决定的方向上延伸而彼此靠近的多个对象提取为所述字符串候选，并判断所述字符串候选是否具有日期模式，在所述字符串候选具有所述日期模式时，将所述字符串候选识别为日期，其中所述日期模式包含表示年份的2位或4位数字、表示月份的1位或2位数字和预先决定的标点符号。
CN201480040348.1A 2013-07-16 2014-07-14 光学字符识别装置 Pending CN105431866A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013147546 2013-07-16
JP2013-147546 2013-07-16
PCT/JP2014/068725 WO2015008732A1 (ja) 2013-07-16 2014-07-14 光学文字認識装置

Publications (1)

Publication Number Publication Date
CN105431866A true CN105431866A (zh) 2016-03-23

Family

ID=52346186

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480040348.1A Pending CN105431866A (zh) 2013-07-16 2014-07-14 光学字符识别装置

Country Status (4)

Country Link
JP (1) JP6344389B2 (zh)
CN (1) CN105431866A (zh)
TW (1) TWI608422B (zh)
WO (1) WO2015008732A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407976A (zh) * 2016-08-30 2017-02-15 百度在线网络技术（北京）有限公司 图像字符识别模型生成和竖列字符图像识别方法和装置
CN108427952A (zh) * 2017-02-14 2018-08-21 株式会社Pfu 日期识别装置、日期识别方法及计算机可读存储介质
CN109214381A (zh) * 2017-07-03 2019-01-15 发那科株式会社 数控程序转换装置
CN109285300A (zh) * 2017-07-20 2019-01-29 东芝泰格有限公司 商品数据处理装置及商品数据处理方法、终端设备
CN110490192A (zh) * 2019-07-16 2019-11-22 广东工业大学 一种商品生产日期标签检测方法及系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106156767A (zh) * 2016-03-02 2016-11-23 平安科技（深圳）有限公司 行驶证有效期自动提取方法、服务器及终端
CN110414496B (zh) * 2018-04-26 2022-05-27 百度在线网络技术（北京）有限公司 相似字识别方法、装置、计算机设备及存储介质
TWI685796B (zh) * 2018-05-31 2020-02-21 國立中興大學 智慧型文字圖形識別方法
TWI797531B (zh) * 2020-12-31 2023-04-01 國立臺北科技大學 藥庫管理系統

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515323A (zh) * 2008-02-19 2009-08-26 富士通株式会社 字符识别装置和字符识别方法
CN101968865A (zh) * 2010-11-17 2011-02-09 上海合合信息科技发展有限公司 在电子日历中添加提醒事件的方法
CN103154974A (zh) * 2011-03-07 2013-06-12 株式会社Ntt都科摩 字符识别装置、字符识别方法、字符识别系统以及字符识别程序

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5405015A (en) * 1993-08-11 1995-04-11 Videojet Systems International, Inc. System and method for seeking and presenting an area for reading with a vision system
JP3890840B2 (ja) * 1999-12-22 2007-03-07 富士通株式会社 画像処理装置、画像処理方法、及び画像処理プログラムを記録した、コンピュータ読み取り可能な記録媒体
JP2004178044A (ja) * 2002-11-25 2004-06-24 Mitsubishi Electric Corp 属性抽出方法及びその装置及び属性抽出プログラム
TW200641708A (en) * 2005-05-25 2006-12-01 Systex Corp Fast inquiry system and method for merchandise data
WO2009129423A2 (en) * 2008-04-16 2009-10-22 Wyckoff, Richard, Darrell Handheld multimedia receiving and sending devices
JP5291387B2 (ja) * 2008-06-02 2013-09-18 三菱重工業株式会社 ナンバー認識装置およびナンバー認識方法
JP4268218B1 (ja) * 2008-11-13 2009-05-27 オオクマ電子株式会社 注射液用空容器の情報読取装置
US8577145B2 (en) * 2009-12-19 2013-11-05 Pcas Patient Care Automation Services Inc. Automated dispensary for identifying embossed characters and package labeling
JP5197729B2 (ja) * 2010-12-24 2013-05-15 独立行政法人国立高等専門学校機構 ピッキングシステムおよびピッキング方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515323A (zh) * 2008-02-19 2009-08-26 富士通株式会社 字符识别装置和字符识别方法
CN101968865A (zh) * 2010-11-17 2011-02-09 上海合合信息科技发展有限公司 在电子日历中添加提醒事件的方法
CN103154974A (zh) * 2011-03-07 2013-06-12 株式会社Ntt都科摩 字符识别装置、字符识别方法、字符识别系统以及字符识别程序

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407976A (zh) * 2016-08-30 2017-02-15 百度在线网络技术（北京）有限公司 图像字符识别模型生成和竖列字符图像识别方法和装置
CN106407976B (zh) * 2016-08-30 2019-11-05 百度在线网络技术（北京）有限公司 图像字符识别模型生成和竖列字符图像识别方法和装置
CN108427952A (zh) * 2017-02-14 2018-08-21 株式会社Pfu 日期识别装置、日期识别方法及计算机可读存储介质
CN109214381A (zh) * 2017-07-03 2019-01-15 发那科株式会社 数控程序转换装置
CN109285300A (zh) * 2017-07-20 2019-01-29 东芝泰格有限公司 商品数据处理装置及商品数据处理方法、终端设备
US10956729B2 (en) 2017-07-20 2021-03-23 Toshiba Tec Kabushiki Kaisha Data processing apparatus and method, and non-transitory computer readable medium
CN110490192A (zh) * 2019-07-16 2019-11-22 广东工业大学 一种商品生产日期标签检测方法及系统

Also Published As

Publication number Publication date
JP6344389B2 (ja) 2018-06-20
JPWO2015008732A1 (ja) 2017-03-02
TW201506800A (zh) 2015-02-16
WO2015008732A1 (ja) 2015-01-22
TWI608422B (zh) 2017-12-11

Similar Documents

Publication Publication Date Title
CN105431866A (zh) 光学字符识别装置
US10817741B2 (en) Word segmentation system, method and device
US6778703B1 (en) Form recognition using reference areas
JP5500480B2 (ja) 帳票認識装置及び帳票認識方法
Yao et al. A shape and image merging technique to solve jigsaw puzzles
Lazzara et al. Efficient multiscale Sauvola’s binarization
US11977534B2 (en) Automated document processing for detecting, extracting, and analyzing tables and tabular data
Palacios et al. A system for processing handwritten bank checks automatically
US9014479B2 (en) Method and system for text-image orientation
US20090218404A1 (en) Camera based code reading
US10380416B2 (en) Date identifying apparatus, date identifying method, and computer-readable recording medium
EP1758048A2 (en) Character recognition apparatus and character recognition method
KR101732359B1 (ko) 이미지 내의 텍스트를 검출하는 방법 및 장치
Fateh et al. Persian printed text line detection based on font size
Karrach et al. Recognition of data matrix codes in images and their applications in production processes
US10217020B1 (en) Method and system for identifying multiple strings in an image based upon positions of model strings relative to one another
Lee et al. Deep learning-based digitalization of a part catalog book to generate part specification by a neutral reference data dictionary
Banerjee et al. A robust approach to extraction of texts from camera captured images
Yu et al. Convolutional neural networks for figure extraction in historical technical documents
CN113312937A (zh) 条形码识别方法及装置、存储介质、计算机设备
JP6118646B2 (ja) 帳票処理装置、帳票処理方法、帳票処理プログラム
JP2017173925A (ja) 光学文字認識装置
JP2010039624A (ja) 色彩認識方法及びプログラム
JP3022459B2 (ja) 帳票識別登録装置
Valy Document image analysis and text recognition on Khmer historical manuscripts.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20160323