CN104820836A

CN104820836A - 识别装置和识别方法

Info

Publication number: CN104820836A
Application number: CN201510235903.2A
Authority: CN
Inventors: 宫本正树
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2010-09-17
Filing date: 2011-09-16
Publication date: 2015-08-05
Anticipated expiration: 2031-09-16
Also published as: CN104820836B; JP5083395B2; CN102542272B; CN102542272A; JP2012064110A; US20120070086A1

Abstract

本发明提供一种识别装置和识别方法。该识别装置具有提取单元，其从以在拍摄范围内至少包含两种以上应该识别的对象物的方式拍摄而得的图像中提取应该识别的对象物；以及存储单元，其将在提取所述应该识别的对象物时成功识别的应该识别的对象物和此时没有识别完的应该识别的对象物以能够识别的方式进行存储，在识别完所述没有识别完的应该识别的对象物的种类时，所述存储单元对该应该识别的对象物对应种类信息地进行存储。

Description

识别装置和识别方法

本申请是申请号为201110285152.7、发明名称为“信息读取装置”的专利申请的分案申请。

技术领域

本发明涉及从图像读取信息的信息读取装置。

背景技术

一般，例如在管理在书库等中保管的多数商品的入库出库或盘货等的情况下，使用条形码阅读器读取附加在商品上的条形码，由此进行出入库管理或盘货管理等。此时，定期进行在库盘货作业，对照列表内容和收纳商品，并且逐一进行确认需要较多的时间和劳力。因此，公开了如下的物品管理系统：为了高效率地进行这样的确认作业，从在书库等中保管的多数的物品中连续读取条形码，由此进行出入库或盘货等管理(请参照日本特开2000-289810号公报)。

上述的技术是比较预先登录的物品序号和从在保管库中实际存储的物品读取的条形码(物品序号)，将新读入的物品数据作为移动数据登录。但是，在从所保管的多个物品连续读取作为读取对象的条形码时，存在重复读入条形码或漏读的情形。

本发明的一实施方式的课题是即使将多个读取对象进行统一读取处理，也能够实现适当的读取。

本发明提供一种从图像读取数据的信息读取装置，其具有：取得包含多个读取对象的全体图像的取得单元；为了确定包含在所述全体图像中的读取对象，进行通过对该全体图像进行图案分析来针对每个读取对象分别提取其特定图案的处理的第一处理单元；

进行通过对由所述第一处理单元提取的各特定图案进行分析，针对每个读取对象读取信息、分别进行识别的处理的第二处理单元；以及

根据所述第一以及第二处理单元中的至少其任意一组的处理结果，对在所述全体图像中包含的每个读取对象分别附加到当前时刻为止的处理状态的附加单元。

根据本发明的实施方式，即使将多个读取对象进行统一读取处理，也能够实现适当的读取处理，富有实用性。

附图说明

参照附图记述了实现本发明的各种特征的全体结构。与附图关联的记述只例示了本发明的实施方式，并不限制发明的范围。

图1是表示信息读取装置的基本的构成要素的框图。

图2是例示了将通过摄像部8对堆积如山的多个货物全体进行高清晰度摄像而得的摄像图像作为全体图像来显示的状态的图。

图3是例示了通过对图2的全体图像进行图案分析，作为读取对象(条形码、标识语)提取出的各种特定图案的图。

图4是表示对于在图3所示的全体图像内存在的各个读取对象(特定图案)分别执行读取处理(识别处理)后的管理表存储部M2的内容的图。

图5是用于说明表示全体图像内的各特定图案的位置的平面坐标系的图。

图6是表示统一读取在全体图像内存在的全部的读取对象后并进行识别的识别处理(读取处理)的流程图。

图7是与图6的动作连续的流程图。

图8是与图7的动作连续的流程图。

图9是与图8的动作连续的流程图。

图10是将在全体图像中无法提取特定图案的非提取区域分割为多个块后的状态的图。

图11是表示将全体图像内的非提取区域分割为多个块后的管理表存储部M2的内容的图。

图12是例示了通过对n倍放大摄影图像进行图案分析来提取的特定图案的组的图。

图13是表示从n倍放大摄影图像提取特定图案后的管理表存储部M2的内容的图。

图14是表示从n×2倍放大摄影图像提取特定图案后的管理表存储部M2的内容的图。

图15是表示管理表存储部M2的最终处理内容的图。

图16是表示重叠显示最终读取结果的全体图像的内容的图。

图17是表示在第二实施方式中，在每一预定的定时依次拍摄在高速道路上行驶的视野内的汽车全体的各全体图像的图。

图18是表示作为第二实施方式中的读取处理，为了监视在高速道路上行驶的汽车而从车牌读取登录号码时的读取处理(高速道路监视处理)的流程图。

图19是详述了摄影/读取(图18的步骤B4)的流程图。

具体实施方式

(实施方式1)

以下，参照图1～图16说明本发明的第一实施方式。

图1是表示信息读取装置的基本的构成要素的框图。

信息读取装置具有可摄影高清晰图像的摄像功能，例如，对在仓库等中堆积如山的多种货物(商品)全体进行高分辨率摄影并将其摄影图像作为全体图像来取得，通过图案分析来提取作为该全体图像内存在的全部读取对象(例如，一维条形码、二维条形码、标识语、OCR文字等)的特定图案(条形码等的图像部分)，通过解析各个该特定图案(读取对象)来统一读取在全体图像内存在的全部的读取图像。然后，该信息读取装置是例如为了面对货物(商品)的堆积场所(仓库等保管场所)从正面对货物进行摄影，而在仓库等的预定地方固定地设置的固定式的信息读取装置(货物监视装置)。

控制部1通过来自电源部(例如，工频电源、二次电池等)2的电力供给来动作，根据存储部3内的各种程序来控制该固定式信息读取装置的全体动作，因此，在该控制部1设置有未图示的CPU(中央运算处理装置)或存储器。存储部3是例如具有ROM、闪速存储器等的结构，具有：存储有用于按照图6～图9中所示的动作顺序来实现本实施方式的程序或各种应用程序的程序存储部M1、存储条形码等的读取结果的管理表存储部M2、存储摄影图像的图像存储部M3以及信息识别用的词典存储部M4。

RAM4是暂时存储标记信息、图像信息等为了该固定式信息读取装置动作而必要的各种信息的工作区域。显示部5使用例如高清晰液晶显示器、有机EL(Electro Luminescence)显示器、电泳型显示器(电子纸)中的任意一个，是作为从信息读取装置的本体分离、以软线连接或通信连接的外部显示器的显示装置，但也可以设在信息读取装置的本体内。该显示部5是高清晰地显示读取结果等的显示部，通过在该显示部5的表面层叠配设用于检测手指的接触的透明的触摸板，例如构成静电容量方式的触摸屏(触摸画面)。

操作部6是从信息读取装置的本体分离、以软线连接或通信连接的外部键盘，但也可以设置在信息读取装置的本体内。该操作部6省略了图示，但可以作为按压按钮形式的各种键，具有电源键、数字键、文字键、各种功能键，控制部1作为根据来自操作部6的输入操作信号的处理例如进行盘货管理、出入库检查产品、出入库管理等各种业务处理。

通信部7经由无线LAN(局域网)或因特网等广域通信网进行数据收发，在与经由广域通信网连接的外部存储装置(省略图示)之间上传数据，或者下载数据。摄像部8构成搭载有10倍光学变焦的高倍率变焦镜头的可高分辨率摄像的数码摄像机，在读取附在各商品上的条形码时使用。该摄像部8被设置在信息读取装置的本体侧，虽然省略图示，但除了C-MOS、CCD摄像元件等区域图像传感器之外，还具有测距传感器、光量传感器、模拟处理电路、信号处理电路、压缩伸展电路等，调整控制光学变焦(zoom)、或者对自动调焦时的驱动控制、光阀驱动控制、曝光、白平衡等进行控制。此外，摄像部具有能够切换望远/广角的两焦点式镜头或变焦镜头，进行望远/广角摄影。此外，摄像部8具有能够自动以及手动地向上下左右自由地变更摄影方向的摄影方向变更功能。

图2是例示了作为全体图像来显示通过摄像部8来高分辨率摄像了堆积如山的多个货物全体的摄影图像的状态的图。

在该全体图像内包含印刷或附加在各货物(图2中的矩形的区域)的表面的条形码等读取对象的图像部分，控制部1通过对该全体图像进行图案分析，确定在该全体图像内存在的数据的集合部分为读取对象的区域，执行分别提取其特定图案(条形码、标识语、OCR文字等的图像部分)的图案提取处理。另外，数据的集合部分是综合判断数据的集合密度、集合面积、集合形状等而确定的区域，将该区域作为表示读取对象的图像部分的特定图像提取出来。

图3是例示了通过对图2的全体图像进行图案分析，作为读取对象提取出的各特定图案的图。

图中，序号“100”是用于识别包含条形码等读取对象的全体图像的识别序号。此外，序号“101”～“116”是特定图案识别序号。即、针对在全体图像内存在的每个读取对象提取了其特定图案时，为了识别提取出的各个特定图案而依次分配的识别序号(一连串No.)，在图示的例中是例示了从全体图像提取了合计16个特定图案“101”～“116”的状态的情形。

在此，简单说明本实施方式中的读取处理的概要。

首先，在本实施方式中，在通过摄像部8进行摄影而取得包含条形码等读取对象的全体图像后，依次解析如上述那样提取出的各个特定图案，由此进行统一读取并识别位于全体图像内的全部的读取对象的识别处理(读取处理)。在该识别处理中，确定读取对象的种类，并且与信息识别用词典存储部M4的内容进行对照来识别条形码等信息。

此时，根据上述的提取特定图案的处理结果或识别信息的处理结果，对于每个读取对象附加到当前时刻为止的处理状况。在此，作为处理状况，例如是从全体图像提取特定图案并能够正常地识别信息的状态(读取结束状态)，或者无法从全体图像提取特定图案的状态(非提取状态)，或者能从全体图像提取特定图案、但无法正常地识别信息的状态(读取错误状态)等，是每个读取对象的处理状态。

然后，在本实施方式中，根据各个有问题的识别结果，按照以下的顺序(a)～(f)进行各种处理。首先，(a)、在能够提取特定图案，但无法对其正常地识别时，变更摄影方向，使摄像部8对准其读取对象后，以n倍(例如两倍)变焦对产生该不良的部位(在该情况下相当于该特定图案的读取对象)进行摄影。(b)、对这样以n倍变焦进行摄像而得的放大图像进行识别处理。(c)、结果，在无法正常识别的情况下，在进行了通过对该放大图像进行图案分析，提取特定图案的处理后，对于该提取出的特定图案进一步进行识别处理。

(d)、在即使这样对放大图像进行解析也无法正常识别的情况下，进一步提高变焦倍率，对产生该不良的部位以n×2倍的变焦进行摄影。(e)、然后，在进行通过对该n×2倍变焦的放大图像进行图案分析，来提取特定图案的处理后，对提取出的特定图案进一步进行识别处理。

(f)、即使这样以n×2倍变焦进行摄像也无法正常识别的情况下，(不能读取)为了委托给用户进行判断，而与读取对象相对应地进行分别保存以n倍变焦摄像而得的放大图像以及以n×2倍变焦摄影而得的放大图像的处理。

另外，上述的处理顺序(a)～(f)表示能够提取特定图案，但对于该特定图案进行识别处理的结果，无法正常识别的情形的步骤，但并不限于此，例如在为了应对条形码等印刷薄、不鲜明的情形而无法提取特定图案的情况下也同样进行除了上述(b)以外的其他(a)、(c)～(f)的处理。作为在这样的处理顺序下的处理状况，与每个读取对象对应地在管理表存储部M2内附加(存储)“完成”等，此外在所显示的全体图像上作为针对各读取对象的处理状况，例如附加显示(重叠显示)了“完成标志”等(参照后述的图16)。

图4是表示针对在图3中所示的全体图像内存在的各个读取对象(特定图案)分别执行读取处理(识别处理)后的管理表存储部M2的内容的图。

管理表存储部M2对于每个读取对象(特定图案)存储管理其读取信息，具有“No.”、“状态”、“左上坐标”、“左下坐标”、“种类”、“读取识别内容”、“图像识别信息”各项目。如图3所示，“No.”是识别提取出的各个特定图案的识别序号(例如“101”～“116”)。“状态”表示读取对象(特定图案)的到当前时刻为止的处理状况，图4中所示的“完成”表示能够从全体图像提取特定图案并正常地识别的状态(读取完成状态)，“错误”表示能从全体图像提取特定图案，但不能正常识别信息的状态(读取错误状态)。

“左上坐标”、“右下坐标”是用于确定从全体图像中提取出的特定图案(矩形区域)的位置以及大小的矩形区域指定信息，通过2点坐标(矩形区域的左上坐标以及右下坐标)来表示该区域的位置以及大小。此时，当在图5所示的平面坐标系中将全体图像的横方向作为Z轴方向，将纵方向作为Y轴方向时，例如以识别序号“101”所示的图案区域以“左上坐标”为(27、1)来表示，以“右上坐标”为(31、2)来表示。另外，识别序号“102”表示的图案区域以“左上坐标”(31、4)、“右下坐标”(34、7)来表示。此外，实际的坐标值是象素单位，所以例如成为10ⁿ倍的值。在此，10ⁿ是图5所示的一个方格单位(平面坐标系的一坐标)的象素数。

“种类”表示读取对象(特定图案)的种类，在图4的例中，是存储有“标识语等特定图案”、“二维条形码”、“一维条形码”的情形。“读取识别内容”是针对每个读取对象通过其识别处理来读取出的信息。这样管理表存储部M2成为针对位于全体图像内的每个读取对象，将其识别结果(读取结果)和到当前时刻位置的处理状况对应起来存储的结构。“图像识别信息”是用于识别在图像存储部M3中存储的图像的信息，例如由摄像日期时间、摄像场所、图像No.等构成，通过该“图像识别信息”来将管理标存储部M2的内容和图像存储部M3的内容对应起来。

然后，参照图6～图9中所示的流程图来说明在第一实施方式中的固定式信息读取装置的动作概要。在此，以可读取的程序代码的形式存储在这些流程图中记述的各功能，逐次执行按照该程序代码的动作。此外，也能够逐次执行按照从网络等传送介质传送来的上述的程序代码的动作。除了存储介质之外，还可以利用经由传送介质从外部供给的程序/数据执行本实施方式特有的动作。关于上述这些，在后述的其他实施方式中也相同。

图6～图9是表示统一读取在全体图像内存在的全部读取对象后并进行识别的识别处理(读取处理)的流程图。

首先，当控制部1起动摄像部8，以高分辨率摄影了在仓库等中堆积如山的多个货物全体(图6的步骤A1)时，从该摄像部8取得其摄影图像作为全体图像，生成其“图像识别信息”与全体图像一起存储在图像存储部M3中(步骤A2)，此外，如图2所示，还在显示部5的全部区域中监视器显示全体图像(步骤A3)。

在该状态中，控制部1进行通过对该全体图像进行图案分析来确定在该全体图像内存在的全部读取对象、并分别提取该特定图案的图案提取处理(步骤A4)。然后，对于提取出的每个特定图案生成其“No.”、“左上坐标”、“右下坐标”，并与上述的全体图像的“图像识别信息”一起存储在管理表存储部M2(步骤A5)。此时，在图2的例中，如图3所示，分别提取No.“101”～“116”的特定图案，作为与该图案相关的信息在管理表存储部M2中存储“No.”、“左上坐标”、“右下坐标”，此外，还存储识别全体图像的“图像识别信息”。

然后，参照管理表存储部M2，按该“No.”的从小到大的顺序指定特定图案(步骤A6)，并读取与该指定的特定图案对应的“左上坐标”以及“右下坐标”，对通过该二点坐标确定的图像部分进行解析来确定其种类(一维条形码、二维条形码、标识语等种类)，除此之外还进行通过对照信息识别用词典存储部M4的内容和特定图案来读取并识别信息的识别处理(步骤A7)。结果，检查是否能够正常地识别了信息(步骤A8)，在能够正常地识别的情况下(在步骤A8：是)，将识别对象的种类和其识别结果存储为对应的管理表存储部M2的行的“种类”、“读取识别内容”的条目(entry)(步骤A9)。然后，在该指定的全体图像的图像部分重叠显示“完成”标志(步骤A10)，并在对应的管理表存储部M2的行的“状态”中存储“完成”标志(步骤A11)，由此明示能够正常地识别信息的状态(读取完成状态)。

此外，对该特定图案进行识别处理的结果，在无法正常地识别信息的情况下(在步骤A8：否)，在指定的全体图像上的图像部分重叠显示“错误”标志(步骤A12)，并且在对应的管理表存储部M2的行的“状态”里将“错误”作为条目来存储(步骤A13)，由此，明示不能正常地识别信息的状态(读取错误状态)。另外，在即使不能正常地识别信息，也能判别读取对象的种类的情况下，可以将该读取对象的种类存储为与指定No.对应的管理表存储部M2的行的“种类”的条目。

由此，当一个特定图案数量的处理结束时，检查是否指定完了全部的特定图案(步骤A14)，直到指定完全部的特定图案为止回到步骤A6，指定下一个特定图案。由此，管理表存储部M2的内容在全部的特定图案结束处理的阶段变成如图4所示。在此，在处理完全部的特定图案的情况下(在步骤A14：是)，转移到图7的步骤A15，在将在全体图像中没有作为特定图案被提取出的区域(非提取区域)以预定的大小分割为多个块后，对于每个该分割块生成其“No.”、“左上坐标”、“右下坐标”，而且将其“状态”作为“非提取”在管理表存储部M2中存储管理。此时，在将非提取区域分割为多个块时，将非提取区域以与已经作为特定图案提取出的各区域(块)相同的大小分割为多个块。

图10表示将非提取区域分割为多个块后的状态。此时，如上所述，以通过全体图像的图案分析提取出的各特定图案的大小或排列状态成为相同地、按照其大小或排列状态将非提取区域分割为多个块。图中，识别序号“120”～“151”是用于识别通过非提取区域的分割而新分配的各个块的识别序号。

图11表示将全体图像内的非提取区域分割为多个块之后的管理表存储部M2的内容，在这次新生成的各块中，在“No.”中存储识别序号“120”～“151”，作为其“状态”存储“非提取”，作为其“左上坐标”以及“右下坐标”存储表示其位置以及大小的坐标数据。

然后，参照管理表存储部M2，按“No.”从小到大的顺序指定块(步骤A16)，读取其“状态”，判别“结束”、“非提取”、“错误”中的任意一个(步骤A17)。现在，首先指定了No.“101”，但该指定No.的“状态”为“完成”，所以从管理表存储部M2作为读取信息来读取与该指定No.对应的“种类”、“读取识别内容”，并转交给业务应用程序(例如盘货管理用的应用程序)(步骤A18)。然后，检查是否指定完全部“No.”(步骤A19)，到指定完全部“No.”为止回到上述步骤A16，指定下一个块后判别其“状态”的内容，如果是“完成”，则以下重复上述的动作。

此外，如果指定No.的“状态”为“错误”(步骤A16)，则起动摄像部8，并且变更摄像部8的方向并瞄准与其指定块对应的实际的读取对象的位置后进行n倍(例如光学2倍)变焦的摄像(步骤A20)。另外，此时，将与该指定No.对应的“左上坐标”以及“右下坐标”作为在全体图像上的块的位置，根据到摄影了全体图像时的到货物(被拍摄物)的距离和上述的块的位置，求出摄影方向的变更量并向该摄像方向调整方向。然后，进行如下的识别处理：对通过该n倍变焦摄像而得的图像(放大图像)进行解析，由此确定读取对象的种类，读取并识别信息(步骤A21)。

结果，在能够正常地识别的情况下(在步骤A22：是)，将种类和其识别结果存储在对应的管理表存储部M2内的“种类”、“读取识别内容”中(步骤A23)。然后，在指定的全体图像上的图像部分(特定图案部分)上重叠显示“完成”标志，并且将与指定No.对应的管理表存储部M2内的“状态”从“错误”改写成“完成”而存储(步骤A24)。此后，移动到上述的步骤A18，将与指定No.对应的“种类”、“读取识别内容”作为读取信息来从管理表存储部M2读出，并转交给业务应用程序。

现在，假设指定了“状态”为“错误”的No.“110”的块(步骤A17)，对与其相对应的实际的读取对象瞄准摄像部8再次进行n倍变焦摄影后(步骤A20)，进行针对该摄影图像的识别处理(步骤A21)，但此时，因为在指定块内包含两个条形码，所以判别为无法正常地识别(在步骤A22为否)。结果，移动到图8的步骤A27，对于n倍变焦的摄影图像(放大图像)进行图案分析，进行将在该放大图像内存在的全部读取对象作为特定图案来分别提取的图案提取处理。

图12是例示了通过对n倍放大摄影图像进行图案分析提取出的特定图案的图。图13是表示从n倍放大摄影图像提取出特定图案后的管理表存储部M2的内容的图。如果现在对n倍放大摄影图像进行图案分析的结果是不能提取特定图案(在图8的步骤A28为否)，则移动到后述图9的流程，但在能够提取特定图案时(在步骤A28为是)，针对提取出的该每一特定图案生成其“No.”、“左上坐标”、“右下坐标”，并在管理表存储部M2中存储管理(步骤A29)。

在此，在图12的中央的例中，对于由指定No.“110”表示的块进行图案分析的结果，判明为包含有两个一维条形码时，与该两个条形码对应地分别提取特定图案。然后，如图13所示，在管理表存储部M2中与该两个特定图案对应地新分配识别序号“163”、“164”并存储在“No.”中，除此之外还存储在它们的“左上坐标”以及“右下坐标”。然后，为了从本次提取出的特定图案中指定其中的一个图案而指定No.“163”后，进行针对它的特定图案的识别处理(步骤A30)。

结果，在能够正常识别的情况下(在步骤A31为是)，与上述的图7的步骤A23、A24同样地将其种类和识别结果存储在管理表存储部M2中(步骤A32)，重叠显示表示能够以n倍变焦摄影来识别的情况的“n倍：完成”标志，或者将“状态”从“错误”改写存储为“完成”(步骤A33)。然后，检查在本次提取处的特定图案中是否存在未指定的图案(步骤A34)，当前No.“164”的图形为未指定(在步骤A34为YES)，因此，回到上述的步骤A30，指定一个该未指定No.的图案。

此外，在识别处理的结果是无法正常识别的情况下(在步骤A31中为否)，在指定的全体图像上的图像部分(特定图案部分)重叠显示“错误”标志，并且在对应的管理表存储部M2内的行的“状态”中存储“错误”(步骤A35)。然后，移动到检查是有无未指定的特定图案的步骤A34，但是，当现在已经指定完全部时(在步骤A34中为否)，则检查有无“状态”的错误(步骤A36)。在此，只要有一个“错误”(在步骤A36中为是)，就移到后述的图9的流程，但如果一个“错误”都没有(在步骤A36中为否)，则移动到图7的步骤A18，将本次的读取信息转交给业务应用程序。

在图12的例中，在指定特定图案“110”的“状态”为“错误”的情况下，执行图7的步骤A21以后。此外，在步骤A16指定了“状态”为“错误”的特定图案“114”的情况下(图7的步骤A17)，执行图7的步骤A20以后。即、在使摄像部8瞄准该读取对象以n倍变焦再次进行摄像后(步骤A20)，进行识别处理(步骤A21)，但是，因为在此也被判别为无法正常识别(在步骤A22中为否)，所以移到图8的步骤A27，对n倍焦距的摄影图像(放大图像)进行图案分析分别提取特定图案。由此，在能够提取特定图案的情况下(在步骤A28中为是)，对于提取出的每个该图案生成“No.”、“左上坐标”、“右下坐标”，并在管理表存储部M2中存储管理(步骤A29)。

在此，在图12的下部分的例中，对指定No.“114”的块进行图案分析的结果，判明为含有三个一维条形码的情况下，与该三个条形码对应地分别提取特定图案。然后，如图13所示，与该三个特定图案相对应地重新分配识别序号“165”、“166”、“167”，并存储在“No.”，除此之外将它们的“左上坐标”以及“右下坐标”存储在管理表存储部M2中。另外，识别处理的结果(步骤A30)，在能够正常识别特定图案的情况下(在步骤A31中为是)，重叠显示“n倍：完成”标志，或者将其“状态”从“错误”改写为“完成”，同时将其读取信息存储在管理表存储部M2中(步骤A32、A33)。图13是能够正常地识别No.“165”、“166”、“167”的全部特定图案的情形。

另外，如上所述，在图12、图13的例中，在从指定No.“110”的块中提取了两个特定图案时，此外，在从指定No.“114”的块提取了三个特定图案时，表示能够正常地进行对提取出的全部特定图案的识别时的状态，但是，即使在对其中的一个(例如No.“164”、No.“165”)无法正常地识别的情况下，移动到图9的流程。在如上所述那样在指定块的“状态”为“错误”的情况下，无法从放大图像提取特定图案时执行该图9的流程(在步骤A28中为否)，此外，即使能够提取特定图案，也在其中至少一个识别结果为“错误”时执行(在步骤A36中为是)。

首先，在图9的流程中，对与指定特定图案对应的读取对象瞄准摄像部8，而且以n×2倍的变焦进行摄影后(步骤A37)，以下基本上进行与上述的图8的步骤A27～A36相同的动作(步骤A38～A47)。在此，与图8的步骤A27～A36不同的地方是进行识别处理的结果，在能够正常识别的情况下(在步骤A42中为是)，重叠显示表示能够以n×2倍变焦摄像进行识别的“n×2倍：完成”标志(步骤A44)，此外，在无法正常识别时(在步骤A42中为否)，重叠显示表示无法处理的“NG”标志，并且将其“状态”改写为表示无法处理的“NG”(步骤A46)、代替判断“错误”的有无而判断“NG”的有无(步骤A47)。

此外，在这样对以n×2倍变焦摄影而得的放大图像进行图案分析，也无法提取特定图案的情况下(在步骤A39中为否)，移动到图7的步骤A19，判别是否指定完全部块。此外，如果没有“NG”(在步骤A47中为否)，则移动到图7的步骤A18，将该读取信息转交给业务应用程序。此外，如果有“NG”(在步骤A47中为是)，则移动到下一个步骤A48，与上述的n倍放大图像以及n×2倍放大图像对应地生成其“图像识别信息”，将各放大图像与“图像识别信息”一起保存在图像存储部M3中，并且与成为“NG”的特定图案的条目相对应(关联起来)地将生成的各“图像识别信息”存储在管理表存储部M2中。此后，移动到图7的步骤A18，除去NG，将正常读取的部分的读取信息转交给业务应用程序。

另一方面，如果指定块的“状态”为“非提取”(图7的步骤A16)，则起动摄像部8，并且变更摄像部8的方向瞄准与该指定块对应的实际读取对象的位置后，进行n倍(例如光学2倍)变焦的摄影(步骤A25)。此后，移动到图8的流程。此时，图10中所示的非提取块No.“120”、“121”、“123”是印刷薄在最初的图案分析中无法提取其图案的情形，但对通过本次的n倍变焦的摄影图像进行图案分析，由此如图12所示，表示能从非提取块No.“120”提取特定图案(No.“160”)，此外，能从非提取块No.“121”提取特定图案(No.“161”)，还能从非提取块No.“123”提取特定图案(No.“162”)的情形。

此时是在解析了该No.“160”、No.“162”的结果，能够根据该特定图案正常地识别信息的情形。即、是能够根据No.“160”的特定图案识别“标识语”的情形，是能够根据No.“162”的特定图案识别“OCR文字”的情形，但是，因为在No.“161”的特定图案中包含有三个一维条形码，所以即使对该特定图案进行解析，也无法根据该特定图案正常地识别信息的情形。

如果这样以n倍变焦摄影也无法正常识别时(在图8的步骤A31中为否)，则该“状态”成为“错误”(步骤A35)，因此，从步骤A36移动到图9的流程，再对以n×2倍变焦摄影而得的放大图像，通过步骤A37、A38进行图案分析的结果(步骤A39)，如图12所示，判明为含有三个一维条形码的情况下，与该三个条形码对应地分别提取特定图案。图14是表示通过对n×2倍放大摄影图像进行图案分析提取出特定图案后的管理表存储部M2的内容的图，在该图示的例中，与该三个特定图案对应地新分配了识别序号“168”、“169”、“170”并存储在“No.”中，除此之外存储它们的“左上坐标”以及“右下坐标”(步骤A40)。然后，在步骤A41中对No.“168”、“169”、“170”的特定图案进行其识别处理。此外，在图14的上部的例中表示对于No.“168”、“170”能够正常识别，但对于No.“169”无法正常识别的情形。

当指定完全部“No.”(特定图案、块)时，管理表存储部M2的最终处理内容成为如图15所示，只有No.“169”的“状态”成为“NG”，其他成为“完成”。图16表示重叠显示最终的读取结果的全体图像的显示内容。这样，当指定完全部“No.”时，在图7的步骤A19检测该情形并移动到步骤A26，将重叠显示了完成标志或NG标志的状态的全体图像作为最终状态的全体图像，保存在图像存储部M3中后结束图6～图9的流程。

如以上在所述的实施方式中，控制部1进行如下处理：对包含读取对象(例如条形码)的全体图像进行图案分析，针对每一读取对象分别提取其特定图案，除此之外，进行通过对提取出的各特定图案进行解析，针对每一读取对象分别进行识别信息(例如条形码信息)的处理，根据其任意一个的处理结果，对于在全体图像中包含的每个读取对象分别附加到当前时刻为止的处理状况，由此即使对多个读取对象进行统一读取处理，也能够防止重复读取或漏读取，能够实现适当的读取，使本实施方式的信息处理富有实用性。

附随与全体图像上的各读取对象对应的图像部分显示了到当前时刻为止的处理状况，因此，对用户来说能够掌握当前的处理状况。此时，即使在读取作业中也能够显示全体图像，因此能够实时掌握当前的处理状况。

因为对把处理状况附随在读取对象的图像部分上进行显示的状态的全体图像进行保存，所以对于用户来说能够随时自由地掌握处理状况。

因为在管理表存储部M2中存储表示当前的处理状况的“状态”，所以能够例如按处理状态类别累计读取处理的结果，或者作为报告来输出。

因为通过摄影来取得包含多个读取对象的全体图像，所以在该情况下能够容易获得全体图像。

在无法提取特定图案的情况下或者无法正常识别信息的情况下，以预定的倍率(n倍)对其部分进行放大摄影后，对于该放大摄影而得的放大图像进行特定图案的提取处理或识别处理，因此，例如在条形码等的印刷薄不鲜明的情况下或包含有多个读取对象的情况下，也可以通过放大摄像后的再处理来提高能够正常识别的可能性。

在无法提取特定图案的情况下或者无法正常识别信息的情况下，以预定的倍率(n倍)对其部分进行放大摄影后，对于该放大摄影的放大图像进行识别处理，所以例如即使在条形码等的印刷过小的情况下，也可以通过放大摄影后的再处理来提高能够正常地识别的可能性。

将无法提取特定图案的非提取区域分割为预定大小的块，并且针对每一该块，将相当于该块的部位以预定的倍率进行放大摄影后，对于该放大摄影而得的放大图像进行特定图案的提取处理或识别处理，所以例如即使是对于条形码等的印刷薄不鲜明而无法提取特定图案的区域，也可以通过放大摄像后的再处理来提高能够正常地识别的可能性。

将无法提取特定图案的非提取区域分割给每个预定大小的块时，根据已提取完的特定图案的大小进行分割，所以例如有与已提取完的特定图案相同方式的特定图案也存在于非提取区域内的可能性，所以通过根据已提取玩的特定图案的大小来分割块，能够提高其提取的可能性。

在通过预定的倍率(n倍)的放大摄影后的再处理也无法正常识别的情况下，将该部分以比预定的倍率(n倍)高的高倍率(n×2倍)再次放大摄影后进行特定图案的提取处理或识别处理，所以能够进一步提高正常识别的可能性。

对以预定的倍率(n倍)进行放大摄像而得的放大图像、以比预定的倍率高的倍率(n×2倍)进行放大摄影而得的放大图像进行保存，所以对于用户来说能够参照放大图像研究无法正常识别的原因等。

另外，在上述的实施方式中，识别处理的结果，能够正常识别的情况下，重叠显示完成标志，但是，为了在开始读取处理之前表示全体是未处理区域，例如在全体图像的全域中重叠显示浅灰色的阴影，在能够正常识别的情况下，可以去除在该识别位置中显示的重叠显示，由此在全体图像上显示正常识别结束的情形。在该情况下，也具有与上述的实施方式相同的效果，此外，还可以明确处理状况。而且，关于表示处理状况的显示，代替结束标志而采用重叠显示插入了“×”的图形等任意形式。

在上述的实施方式中，作为读取对象，例示了一维条形码、二维条形码、标识语、OCR文字等，但作为读取对象可以是印刷文字或手写文字、标记图(mark sheet)、图像(例如捆包箱、书、颜色)等。

上述的实施方式的信息读取装置具有可摄影高清晰图像的摄像功能，对在仓库等中堆积如山的多个货物全体进行高分辨率摄影，取得其摄影图像作为全体图像，但也可以实现通过通信手段或经由外部记录介质等从外部事先取得全体图像。

上述的实施方式的信息读取装置表示例如为了面对货物的堆积场所从正面对货物进行摄影而固定地设置在预定地方的固定式的信息读取装置，但也可以是便携式的便携终端、OCR(光学式文字读取装置)等。

(第二实施方式)

以下参照图17～图19说明该发明的第二实施方式。

另外，在上述的第一实施方式中，统一读取作为包含对在仓库等中堆积如山的多个货物全体进行摄影而得的摄影图像(全体图像)内的读取对象的条形码、标识语等，但是在该第二实施方式中，监视行驶在高速道路上的汽车，因此取得在每一预定的定时依次对行驶中的视野内的汽车全体进行摄影而得摄影图像作为全体图像，根据作为在每一该预定的定时的各全体图像中包含的读取对象的汽车的车牌统一读取登录号码。在此，在两个实施方式中基本上或对于名称相同的部分附加显示同一符号，省略其说明，并且以下以第二实施方式的特征部分为中心来进行说明。

第二实施方式的信息读取装置是使可从高速道路的一侧全车线上方，向行驶而来的视野内的汽车全体进行摄影而固定设置的固定式的信息读取装置。并且，该信息读取装置对一侧全车线进行高分辨率摄影，取得其摄影图像作为全体图像，并且通过图案分析来提取作为在全体图像内存在的全部的读取对象(汽车的车牌)的特定图案，通过对该各个特定图案进行解析，并根据在全体图像内存在的全部读取对象统一读取登录号码。

图17是表示在每一预定的定时依次摄影了行驶在高速公路上的视野内的汽车全体的各全体图像的图。

图17(1)表示在09点37分46秒85摄影的全体图像，图17(2)表示(1)的摄影时刻的0.5秒后摄影的全体图像，图17(3)表示再经过0.5秒后摄影的全体图像。此时，图17(1)在从三台汽车的车牌读取登录号码的状态下，所摄影的全体图像被存储在图像存储部M3中，所读取的登录号码存储在管理表存储部M2中。

关于图17(2)，从新出现的两台汽车读出登录号码，并在从上次已读取完的一台汽车重复读取其登录号码的状态下，将其全体图像存储在图像存储部M3中，将新出现的两台的登录号码存储在管理表存储部M2中，对于在上次和本次读取时重复读取的登录号码，为了防止其重复存储而删除本次在管理表存储部M2中存储的其登录号码。图17(3)从再次新出现的两台汽车读取登录号码，并在从上次已读取完的一台汽车重复读取其登录号码的状态下，此时也同样地将其全体图像存储在图像存储部M3中，将新出现的两台的登录号码存储在管理表存储部M2中。此时，为了避免上一次和本次读取时重复读取的登录号码的重复存储，删除在本次存储在管理表存储部M2中的其登录号码。

图18是表示作为第二实施方式中的读取处理，为了监视行驶在高速道路上的汽车而从车牌读取登录号码时的读取处理(高速道路监视处理)的流程图，随着投入电源而开始执行。

首先，控制部1应答电源投入，开始该读取处理(高速道路监视处理)，取得通过摄像部8从上方对高速道路的一侧全车线进行高分辨率摄影而得到摄影图像(贯穿(through)图像)作为监视用(步骤B1)。然后，到经过一定时间(例如0.5秒)为止成为待机状态(步骤B2)，当经过一定时间时(在步骤B2中为是)，对该摄影图像进行解析，检查在摄影图像内是否存在任何移动的物体(被拍下的物体)(步骤B3)，在摄影图像内拍摄有移动的物体时(在步骤B3中为是)，进行摄影/读取处理(步骤B4)。

图19是详述了摄影/读取处理(图18的步骤B4)的流程图。

首先，控制部1作为全体图像来取得通过摄像部8从上方对高速道路的侧面全车线进行高分辨率摄影而得的摄影图像(步骤C1)，生成其“图像识别信息”与全体图像一起存储在图像存储部M3中，并且在显示部5中对全体图像进行监视器显示(步骤C2)，通过图案分析来提取作为在该全体图像内存在的全部的读取对象(车牌)的特定图案(步骤C3)。然后，对提取出的各个读取对象(车牌)依次瞄准摄像部8，对每个车牌以n倍(10倍)变焦分别进行放大摄影(步骤C4)。例如，在图17(1)的情况下，对具有登录号码“A12－34”、“B56－78”、“C90－12”的车牌分别进行放大摄影。

然后，进行如下的识别处理(读取处理)：通过依次指定从全体图像中提取出的各个特定图像并对其进行解析，从特定图案读取登录号码并进行识别(步骤C5)。现在，指定登录号码“A12－34”的车牌进行其读取处理的结果，能够正常识别时(在步骤C6中为是)，在与该指定牌对应的全体图像上的该号码的图像部分重叠显示“完成”标志(步骤C7)，并且作为与该指定牌对应的读取信息，生成“No.”、“状态”、“种类”、“读取识别内容”、“图像识别信息”并存储在管理表存储部M2中(步骤C8)。

在此，在“图像识别序号”中，存储有上述的全体图像的“图像识别信息”，据此将图像存储部M3内的全体图像和管理表存储部M2内的读取信息对应起来(关联起来)。此外，在“状态”中存储有表示能够正常识别的状态(读取结束状态)的“完成”，在“种类”中存储有地名、车辆种类等，在“读取识别内容”中存储有登录号码。

由此，当针对一个特定图案的识别处理结束时，检查是否针对全部的特定图案的识别处理已结束(步骤C9),到结束全部处理为止移动到上述的步骤C5，指定下一个车牌，例如指定“B56－78”并对其进行识别处理。现在，对该指定号码“B56－78”进行其识别处理的结果，在无法正常识别的情况下(在步骤C6中为否)，进行如下的识别处理：取得以n倍变焦对该车牌进行放大摄影而得的放大图像(步骤C10)，通过对该放大图像进行解析来读取并识别登录号码(步骤C11)，检查是否能够正常地识别(步骤C12)。

在此，在对放大图像进行解析的结果，能够正常地识别时(在步骤C12中为是)，移动到上述的步骤C7。此外，对放大图像进行解析无法正常地识别时(在步骤C12中为否)，将以n倍变焦进行放大摄影而得的放大图像与“图像识别信息”一起存储在图像存储部M3中(步骤C13)，此外，在全体图像上的该号码的图像部分重叠显示表示无法读取的“NG”标志(步骤C14)。

然后，对于指定牌生成“No.”、“状态”、“图像识别序号”，并存储在管理表存储部M2中，但此时在“状态”中存储表示无法读取的“NG”(步骤C15)。此后，移动到上述的步骤C9，重复上述的动作到全部的处理结束为止。由此，在图17(1)中所示的全体图像的情况下，正常地读取三台汽车的登录号码并存储在管理表存储部M2中。

由此，当针对一个全体图像的读取处理结束时(图18的步骤B4)，比较在本次读取的管理表存储部M2的内容和过去预定的时间内(例如过去一分钟以内)读取的管理表存储部M2的内容，检查是否存储有相同的登录号码(步骤B5)。现在，在图17(1)的例中，判断为是电源投入后的最初的读取开始时，并没有存储同一序号(在步骤B5中为否)，因此以没有指示监视的结束为条件(在步骤B7中为否)，移动到上述的步骤B2。另外，在用户操作或经过一定时间后指示监视的结束。

在此，摄影了在图17(2)中所示的全体图像进行了其读取时，新出现的两台登录号码“D34－56”、“E79－90”被存储在管理表存储部M2中，但一台的登录号码“C90－12”与上次存储的登录号码相同，所以通过删除本次存储的该登录号码来排出重复存储(步骤B5、B6)。同样，在下一个定时里，摄影了在图17(3)中所示的全体图像，并进行了其读取处理的情况下，新出现的两台登录号码“F9－87”、“G65－43”被存储在管理表存储部M2中，但是排除与在上一次的图17(2)的定时里存储的登录号码相同的号码“D34－56”的重复存储(步骤B5、B6)、

如以上所述，在第二实施方式中，逐次取得在每一预定的定时里摄影的全体图像，在对于每个全体图像分别识别读取对象的信息中包含有相同信息的情况下，抑制相同信息的重复存储，但即使从在每一预定的定时里摄影的各全体图像中统一读取全部的读取对象的情况下，也能够有效地防止相同信息的重复存储，可以进行适当的读取。

另外，在上述的第二实施方式中，表示了为了监视行驶在高速道路上的汽车而从车牌读取登录号码时的读取处理，但在本实施方式中也能够应用到为了监视通过流水线作业完成产品的作业工序而读取产品序号、标识语的印刷状态等的处理等中。此外，在上述的第二实施方式中，作为预定的定时表示了0.5秒，但该值可以是任意值，可以是0.5秒、1秒、0.5秒、1秒、等。

此外，在上述的第二实施方式中也表示了固定设置的固定式的信息读取装置，但是，本实施方式也可以应用到便携式的信息读取装置中。此时，即使作业者在货物的放置场所等移动，并在每一预定的定时里进行摄影，并重复摄影了相同地方，也能够防止相同读取对象的重复存储。因此，作业者在货物放置场所等移动并且进行依次摄影的情况下，可以不用严密的决定摄影场所，能够高效率地进行全体作业。

此外，在上述的各实施方式中所示的信息读取装置可以按功能被分离成多个机箱，而并不限于单一机箱。此外，在上述的流程图中记述的各步骤并不限于时序序列的处理，可以并列处理多个步骤，或者个别独立地处理。

Claims

1.一种识别装置，其特征在于，

具有：

提取单元，其从以在拍摄范围内至少包含两种以上应该识别的对象物的方式拍摄而得的图像中提取应该识别的对象物；以及

存储单元，其将提取所述应该识别的对象物时成功识别的应该识别的对象物和此时没有识别完的应该识别的对象物以能够识别的方式进行存储，

在识别完所述没有识别完的应该识别的对象物的种类时，所述存储单元对该应该识别的对象物对应种类信息地进行存储。

2.根据权利要求1所述的识别装置，其特征在于，

还具备显示单元，该显示单元将所述成功识别的应该识别的对象物和所述没有识别完的应该识别的对象物以能够识别的方式进行显示。

3.根据权利要求2所述的识别装置，其特征在于，

所述显示单元在将所述成功识别的应该识别的对象物和所述没有识别完的应该识别的对象物以能够识别的方式进行显示时，将通过所述提取单元提取出的应该识别的对象物与所述拍摄范围中的坐标上的位置对应地进行显示。

4.一种识别方法，其特征在于，

包含：

从以在拍摄范围内至少包含两种以上应该识别的对象物的方式拍摄而得的图像中提取应该识别的对象物的提取步骤；以及

将在提取所述应该识别的对象物时成功识别的应该识别的对象物和此时没有识别完的应该识别的对象物以能够识别的方式在存储单元中进行存储的步骤，

在识别完所述没有识别完的应该识别的对象物时，所述存储单元对该应该识别的对象物对应种类信息地进行存储。