CN101689328A - 图案识别设备、图案识别方法、图像处理设备、以及图像处理方法 - Google Patents

Abstract

本发明的任务是即使当存在其中表示同一对象的字符图案的位置和大小彼此不同的多个图像时，它们能够被视为表示同一对象的字符图案。通过图像输入部件(101)输入诸如拍摄地点和时间的图像和图像的补充信息并且将其存储在图像数据存储部件(102)中。通过字符识别部件(103)执行图像中的字符识别，并且将识别结果存储在字符识别结果存储部件(104)中。分析部件(106)基于在指定部件(105)中输入的分析条件，从图像、补充信息、以及字符识别结果中提取与对象有关的对象字符信息，由此分析对象，并且将分析结果输出至结果输出部件(107)。因此，能够通过分析表示同一对象的字符图案中的变化分析对象中的变化。

Description

图案识别设备、图案识别方法、图像处理设备、以及图像处理方法

技术领域

[0001]本发明涉及一种图案识别技术，该图案识别技术用于基于记录了可能改变的对象的多个图像，使用被同时记录的字符信息分析被记录的对象中的变化。

背景技术

[0002]在过去已经提出用于通过处理输入图像识别被包括在图像中的各种图案的技术。例如，专利文献1示出了通过处理其中包括地图的内容的图像识别地图上的字符串或者通过图案识别识别被插入在运动图像的预定位置处的具有固定大小的字符串信息。

[0003]例如，在专利文献1中公布的已知的图案识别设备中，根据被包括在图像中的字符图案的大小或者位置和字符识别的候选字符代码的匹配度将字符图案划分为多个组，并且使用被包括在组中的所有字符确定与字符图案相对应的字符代码

[0004]图28是在专利文献1中公布的已知的图案识别方法中的控制的详细情况的流程图。在图28中所示的控制中，在字符候选获取处理(S1至S6)中，从图像中提取字符图案并且获取相应的候选字符代码和它的可靠性。在分组处理(S3)中，通过字符图案的分组生成字符组。在匹配的字符组检测处理(S6)中，通过在字符组的每一组之间进行被包括在图像中所包括的生成的字符组中的获取的候选字符代码的匹配来检测匹配的字符组。在字符代码确定处理(S7至S9)中，计数与被包括在检测到的匹配的字符组中的每个候选字符代码相对应的可靠性，并且基于计数的可靠性确定与被包括在字符组中的字符图案相对应的字符代码。

[0005]另外，存在已知的图像处理设备，该图像处理设备考虑字符读取误差执行是否读取的字符匹配的确定和是否对象的形状匹配的确定(例如，参考专利文献2)。图29是示出在专利文献2中公布的已知图像处理设备的示意性构造的框图。在附图中，通过相机10拍摄的图像在ADC 12中被数字地转换并且然后被存储在图像存储器14中。最新的图像数据始终保持在图像存储器14中。二值化电路16二值化图像存储器14的数据，牌照(plate)分割部件18分割牌照图像，字符分割部件20分割牌照图像中的字符图像，字符识别部件22执行字符识别处理，并且结果被存储在存储器38中。

[0006]另一方面，主要计算部件30计算牌照位置，坐标计算部件32计算检测到边缘的坐标，边缘检测部件34生成边缘图像，矩阵生成部件36根据指定的坐标处的边缘的存在生成形状确定矩阵，并且结果被存储在存储器40中。确定部件42通过将获得的车号与最后的结果进行比较来确定对象是否是相同的并且控制车号的输出。

现有技术文献

专利文献

[0007][专利文献1]JP-A-9-81689

[专利文献2]JP-A-7-272189

发明内容

本发明要解决的问题

[0008]然而，在上述已知的图案识别技术中，当由于移动、大小改变等等导致对象改变时即使与同一对象有关的字符串不能被视为与同一对象相关联。

[0009]在已知技术中，根据图像中的字符的大小或位置将字符图案划分为多个组，并且使用被包括在组中的所有字符确定与字符图案相对应的字符代码。因此，例如，即使在其拍摄时间不同的多个图像中存在表示同一对象的字符图案的情况下，如果它们存在于在每个图像中对象的大小或者位置改变的状态下，那么它们被识别为表示在每个图像中是独立的对象的字符图案。为此，不能够使字符图案与用于多个图像的对象相关联。

[0010]例如，在基于通过使用相机拍摄在道路上移动的各种汽车获得的运动图像自动地监测汽车的情况下，如果每辆汽车能够与诸如被显示在每辆汽车的牌照上的数字的字符串，或者诸如被显示在汽车的车体上的广告的字符串的内容相匹配，则能够跟踪每辆汽车。然而，由于对象和表示对象的字符串图案的位置和大小随着每辆汽车的移动等等在每个图像中改变，所以在已知技术中字符串图案在每个图像中被视为独立的。因此，例如，关于诸如移动的汽车的对象，不能够通过使它们相互关联来管理随着时间状态改变的特定的汽车或者被显示在牌照上的数字等等。

[0011]另外，在上述已知图像处理设备中，对象限于被提供有牌照的汽车。因此，存在下述问题，即，仅能够在相机被安装在诸如道路或者停车场的特定地方，从而可以看见整个牌照的情况下使用，并且不能在其它情况下使用。

[0012]鉴于上述情况已经提出本发明，并且本发明的目的是提供图案识别设备和图案识别方法，该设备和方法即使当存在其中表示同一对象的字符图案的大小或者位置彼此不同的多个图像时，也能够将它们视为表示同一对象的字符串。此外，本发明的另一个目的是提供图像处理设备和图像处理方法，该设备和方法能够选择性地记录具有重要信息的图像而没有将对象限制为牌照。

用于解决问题的措施

[0013]本发明提供图案识别设备，其包括：图像输入部件，该图像输入部件输入其中可能包括要被识别的对象的图像，和与该图像有关的补充信息；图像数据存储部件，该图像数据存储部件存储在图像输入部件中输入的图像和补充信息；字符识别部件，该字符识别部件识别被包括在图像输入部件中输入的图像中的字符；字符识别结果存储部件，该字符识别结果存储部件存储在字符识别部件中识别的字符识别结果；指定部件，该指定部件输入对象的分析条件；分析部件，该分析部件基于在指定部件中输入的分析条件，通过从被存储在图像数据存储部件中的图像和补充信息、以及被存储在字符识别结果存储部件中的字符识别结果提取与对象有关的对象字符信息，来分析对象；以及结果输出部件，该结果输出部件输出在分析部件中分析的结果。

[0014]根据此构造，基于预定的输入分析条件，通过从被存储的图像和补充信息以及被存储的字符识别结果提取与对象有关的对象字符信息来分析对象。因此，例如，即使在表示同一对象的字符图案的大小或者位置彼此不同的状态下存在多个图像，也能够共同地处理在多个图像中表示同一对象的字符图案。因此，例如，能够通过使用字符识别结果分析字符图案中的改变(移动等等)分析由字符图案表示的对象中的变化。

作为补充信息，假定使用诸如拍摄图像的相机的拍摄时间或者安装位置的信息。即，例如，在处理在同一地点拍摄并且其拍摄时间稍微不同的多个图像的情况下，同一对象(汽车等等)可能被包括在这些图像中。然而，存在高可能性的是，对象的位置、大小等等和表示图像中的对象的字符图案(例如，汽车的牌照上的显示数字)将会在每个图像中偏离，并且将会存在它们完全相等的一些情况。然而，如果考虑拍摄地点是否相同，拍摄时间中的不同等等处理多个图像，那么能够识别对象和表示对象的字符图案中的变化(移动等等)。因此，由于出现在多个图像中的同一对象和表示同一对象的字符图案能够被视为共同的元素，因此也能够检测对象和表示对象的字符图案中的改变的情况。

[0015]本发明包括图案识别设备，其中字符识别部件获取包括与字符图案相对应的候选字符代码、关于字符识别的评估值、以及字符的位置和大小的信息作为识别结果，并且分析部件使用候选字符代码、评估值、以及字符的位置和大小进行分析。

[0016]根据此构造，当分析部件执行分析时使用是字符识别结果的候选字符代码和评估值，以及字符的位置和大小。例如，即使在由于对象中的改变导致字符图案稍微彼此不同的状态下在多个图像中出现表示对象的字符图案，字符图案也能够被容易地视为那些表示共同的对象的字符图案。

例如，在字符识别很难的情况下，提取多个候选字符代码作为用于一个字符图案的识别结果。然而，通过参考表示每个提取的候选字符的可靠性等等的评估值能够从多个候选字符中选择一个合适的字符。另外，能够通过考虑在多个图像中检测到的字符图案的大小或者位置的相似度区别每个图像中的字符图案是否是表示共同的对象的字符。

[0017]本发明包括图案识别设备，其中图像输入部件输入至少包括关于相应的图像的拍摄时间和拍摄位置的信息作为补充信息，并且分析部件使用图像的拍摄位置和拍摄时间进行分析。

[0018]根据此构造，当分析部件进行分析时使用被包括作为要被处理的图像的补充信息的关于拍摄位置和拍摄时间的信息。因此，容易确定出现在多个图像中的对象和表示该对象的字符图案是否是同一对象。例如，在对象和表示对象的字符图案出现在在同一地点拍摄并且其拍摄时间非常接近的两个图像中的情况下，能够根据拍摄时间等等的相似度确定多个图像中的对象和字符图案是否是同一对象。

[0019]本发明包括图案识别设备，其中图像输入部件输入至少包括关于相应图像的拍摄位置和拍摄时间的信息作为补充信息，并且字符识别部件获取包括与字符图案相对应的候选字符代码、关于字符识别的评估值、以及字符的位置和大小的信息作为识别结果，并且分析部件使用图像的拍摄位置和拍摄时间、候选字符代码和评估值、字符的位置和大小、多个图像之间的字符图像的相似度、以及图像的颜色信息来执行分析。

[0020]根据此构造，当分析部件执行分析时使用关于被包括作为要被处理的图像的补充信息的拍摄位置和拍摄时间、被获得作为字符识别结果的评估值和字符代码、字符的位置和大小、多个图像之间的字符图像的相似度、以及图像的颜色信息的信息。因此，容易确定出现在多个图像中的对象和表示对象的字符图案是否是同一对象。

例如，在对象和表示对象的字符图案出现在在同一地点拍摄并且其拍摄时间非常接近的两个图像中的情况下，能够根据拍摄时间等等的相似度确定多个图像中的字符图案和对象是否是同一对象。另外，通过使用被获得作为每个字符图案的字符识别结果的字符代码和评估值和字符的位置和大小确定字符图案的相似度，能够确定多个图像中的字符图案是否表示共同的对象。另外，通过使用多个图像之间的字符图像的相似度和颜色信息容易确定多个图像中的字符图案是否表示共同的对象。

[0021]本发明提供一种图案识别方法，其包括：图像输入步骤，该图像输入步骤输入其中可能包括要被识别的对象的图像，和与该图像有关的补充信息；图像数据存储步骤，该图像数据存储步骤存储在图像输入步骤中输入的图像和补充信息；字符识别步骤，该字符识别步骤识别被包括在图像输入步骤中输入的图像中的字符；字符识别结果存储步骤，该字符识别结果存储步骤存储在字符识别步骤中识别的字符识别结果；指定步骤，该指定步骤输入对象的分析条件；分析步骤，该分析步骤基于在指定步骤中输入的分析条件，通过从在图像数据存储步骤中存储的图像和补充信息、以及在字符识别结果存储步骤中存储的字符识别结果提取与对象有关的对象字符信息，来分析对象；以及结果输出步骤，该结果输出步骤输出在分析步骤中分析的结果。

[0022]根据此方法，基于预定的输入分析条件，通过从存储的图像和补充信息以及存储的字符识别结果提取与对象有关的对象字符信息来分析对象。因此，例如，即使在表示同一对象的字符图案的大小或者位置彼此不同的状态下存在多个图像，也能够共同地处理关于多个图像的表示同一对象的字符图案。因此，例如，能够通过使用字符识别结果分析字符图案中的变化(移动等等)来分析由字符图案表示的对象中的变化。

[0023]本发明包括图案识别方法，其中在字符识别步骤中，获取包括与字符图案相对应的候选字符代码、关于字符识别的评估值、以及字符的位置和大小的信息作为识别结果，并且在分析步骤中，使用候选字符代码、评估值、以及字符的位置和大小执行分析。

[0024]根据此方法，当在分析步骤中执行分析时使用是字符识别结果的候选字符代码和评估值，以及字符的位置和大小。例如，即使在由于对象中的变化导致字符图案稍微彼此不同的状态下在多个图像中出现表示对象的字符图案，字符图案也能够容易地被视为表示共同对象的字符图案。

[0025]本发明包括图案识别方法，其中在图像输入步骤中，输入至少包括关于相应的图像的拍摄时间和拍摄位置的信息作为补充信息，并且在分析步骤中，使用图像的拍摄位置和拍摄时间执行分析。

[0026]根据此方法，当分析步骤中执行分析时使用关于被包括作为要被处理的图像的补充信息的拍摄位置和拍摄时间的信息。因此，容易确定出现在多个图像中的对象和表示对象的字符图案是否是同一对象。

[0027]本发明包括图案识别方法，其中在图像输入步骤中，输入至少包括关于相应的图像的拍摄位置和拍摄时间的信息作为补充信息，在字符识别步骤中，获取包括与字符图案相对应的候选字符代码、关于字符识别的评估值、以及字符的位置和大小的信息作为识别结果，并且在分析步骤中，使用图像的拍摄位置和拍摄时间、候选字符代码和评估值、字符的位置和大小、多个图像之间的字符图像的相似度、以及图像的颜色信息执行分析。

[0028]根据此方法，当在分析步骤中执行分析时使用关于被包括作为要被处理的图像的补充信息的拍摄位置和拍摄时间、被获得作为字符识别结果的评估值和字符代码、字符的位置和大小、多个图像之间的字符图像的相似度、以及图像的颜色信息的信息。因此，容易确定出现在多个图像中的对象和表示对象的字符图案是否是同一对象。

[0029]本发明提供一种使计算机执行如上所述的图案识别方法中的任何一个的每个步骤的程序。

[0030]本发明提供了一种其中记录程序的计算机可读存储介质。

[0031]本发明的图像处理设备包括：图像输入装置，该图像输入装置用于连续地输入图像和与图像有关的补充信息；图像暂时存储装置，该图像暂时存储装置用于暂时地存储在图像输入装置中输入的图像；字符提取装置，该字符提取装置用于从被存储在图像暂时存储装置中的图像中提取字符；字符识别装置，该字符识别装置用于识别在字符提取装置中提取的字符从而获得用于识别的字符的候选字符中的一个或者多个和每个评估值作为识别结果；识别结果存储装置，该识别结果存储装置用于存储在字符识别装置中获得的识别结果；识别结果评估装置，该识别结果评估装置用于基于被存储在识别结果存储装置中的识别结果确定是否输出被存储在图像暂时存储装置中的图像；以及图像输出控制装置，该图像输出控制装置用于将在识别结果评估装置中被确定为输出的图像与图像的补充信息以及识别结果一起输出并且图像暂时存储装置暂时地存储多个图像以及其补充信息，识别结果存储装置存储被存储在图像暂时存储装置中的多个图像的字符的识别结果，识别结果评估装置检查被存储在图像暂时存储装置中的多个图像的字符的识别结果并且当同一字符串被包括在多个图像的识别结果中时选择具有对于识别结果来说的最好的评估值的图像，并且图像输出控制装置将在识别结果评估装置中选择的图像与图像的识别结果和补充信息一起输出。

[0032]根据此构造，当识别结果评估装置确定识别结果的同一性时，因为不仅通过单独的识别结果而且还通过候选字符的组合进行确定所以能够防止由于识别误差导致同一对象被确定为不是同一对象。因此，由于除了字符识别结果之外的特征不需要用于对象的同一性的确定，所以能够在从图像输入装置中输入的大量图像当中选择具有重要信息的图像，而没有将对象限制为牌照。另外，由于仅根据对象的字符确定对象的同一性，所以对象的照片的方向和大小对其没有影响。因此，甚至在来自于不同的图像输入装置的图像之间，也能够确定对象的同一性。

[0033]在上述构造中，识别结果评估装置检查被存储在图像暂时存储装置中的多个图像的字符的识别结果，并且当即使字符被包括在一个图像中的情况下对于所有字符的识别结果来说评估值不好时，向图像输出控制装置通知该效果，并且图像输出控制装置将从识别结果评估装置通知的图像与该图像的补充信息和识别结果一起输出。

[0034]根据此构造，输出即使能够识别字符但是不能获得具有好的评估值的识别结果的具有不好图像质量的图像。因此，通过高功能PC或者识别软件还能够重新处理具有不好的图像质量的图像。

[0035]在上述构造中，图像处理设备进一步包括多相机识别结果协作装置，该多相机识别结果协作装置用于存储用于获得识别结果的是通过网络连接的另外的图像处理设备的输出的图像的补充信息和图像中的字符的识别结果。识别结果评估装置检查被存储在识别结果存储装置中的识别结果和被存储在多相机识别结果协作装置中的识别结果，并且当同一字符串被包括在图像的补充信息和识别结果中并且识别结果的评估值满足预定的条件时通知图像输出控制装置没有输出图像；并且当被包括在被存储在识别结果存储装置中的识别结果中的字符串没有被包括在被存储在多相机识别结果协作装置中的识别结果中时或者当即使被包括在被存储在识别结果存储装置中的识别结果中的字符串被包括在被存储在多相机识别结果协作装置中的识别结果中，识别结果的评估值和图像的补充信息不满足预定条件时通知图像输出控制装置输出图像，并且当从识别结果评估装置通知图像输出控制装置输出图像时图像输出控制装置将图像、图像的补充信息、以及识别结果输出至网络。

[0036]根据此构造，当被包括在被存储在识别结果存储装置中的识别结果中的字符串没有被包括在被存储在多相机识别结果协作装置中的识别结果中时或者当即使被包括在被存储在识别结果存储装置中的识别结果中的字符串被包括在被存储在多相机识别结果协作装置中的识别结果中，识别结果的评估值和图像的补充信息不满足预定条件时，图像和图像的补充信息和识别结果能够被记录在可连接至网络的外部图像存储介质中。另外，被连接至网络的另外的图像处理设备可以获取图像的识别结果和补充信息并且将它们记录在自己的多相机识别结果协作装置中。

[0037]根据本发明的图像处理方法包括：图像输入处理，该图像输入处理连续地输入图像和与图像有关的补充信息；图像暂时存储处理，该图像暂时存储处理暂时地存储在图像输入处理中输入的图像；字符提取处理，该字符提取处理从在图像暂时存储处理中存储的图像中提取字符；字符识别处理，该字符识别处理识别在字符提取处理中提取的字符从而获得用于被识别的字符的候选字符的一个或者多个和每个评估值作为识别结果；识别结果存储处理，该识别结果存储处理存储在字符识别处理中获得的识别结果；识别结果评估处理，该识别结果评估处理基于在识别结果存储处理中存储的识别结果确定是否输出在图像暂时存储处理中存储的图像；以及图像输出控制处理，该图像输出控制处理将在识别结果评估处理中被确定为输出的图像与图像的补充信息以及识别结果一起输出，并且在图像暂时存储处理中，暂时地存储多个图像以及其补充信息，在识别结果存储处理中，存储在图像暂时存储处理中存储的多个图像的字符的识别结果，在识别结果评估处理中，检查在图像暂时存储处理中存储的多个图像的字符的识别结果并且当同一字符串被包括在多个图像的识别结果中时选择具有对于识别结果来说的最好的评估值的图像，并且在图像输出控制处理中，将在识别结果评估处理中选择的图像与图像的识别结果和补充信息一起输出。

[0038]根据此方法，当在识别结果评估处理中确定识别结果的同一性时，因为不仅通过单独的识别结果而且通过候选字符的组合来进行确定所以能够防止由于识别误差导致同一对象被确定为不是同一对象。因此，由于除了字符识别结果之外的特征不需要被用于对象的同一性的确定，所以在图像输入处理中输入的大量图像当中能够选择具有重要信息的图像而没有将对象限制为牌照。另外，由于仅根据对象的字符确定对象的同一性，所以对象的照片的方向和大小对其没有影响。因此，甚至在来自于不同的图像输入处理的图像之间，也能够确定对象的同一性。

[0039]根据本发明的图像处理程序包括：图像输入步骤，该图像输入步骤连续地输入图像和与图像有关的补充信息；图像暂时存储步骤，该图像暂时存储步骤用于暂时地存储在图像输入步骤中输入的图像；字符提取步骤，该字符提取步骤用于从在图像暂时存储步骤中存储的图像中提取字符；字符识别步骤，该字符识别步骤用于识别在字符提取步骤中提取的字符从而获得用于识别的字符的候选字符中的一个或者多个和每个评估值作为识别结果；识别结果存储步骤，该识别结果存储步骤用于存储在字符识别步骤中获得的识别结果；识别结果评估步骤，该识别结果评估步骤用于基于在识别结果存储步骤中存储的识别结果确定是否输出在图像暂时存储步骤中存储的图像；以及图像输出控制步骤，该图像输出控制步骤用于将在识别结果评估步骤中被确定为输出的图像与图像的补充信息以及识别结果一起输出，并且在图像暂时存储步骤中，暂时地存储多个图像以及其补充信息，在识别结果存储步骤中，存储在图像暂时存储步骤中存储的多个图像的字符的识别结果，在识别结果评估步骤中，检查在图像暂时存储步骤中存储的多个图像的字符的识别结果并且当同一字符串被包括在多个图像的识别结果中时选择具有对于识别结果来说的最好的评估值的图像，并且在图像输出控制步骤中，将在识别结果评估步骤中选择的图像与图像的识别结果和补充信息一起输出，并且计算机执行这些步骤中的每一个。

[0040]根据此程序，当在识别结果评估步骤中确定识别结果的同一性时，因为不仅通过单独的识别结果而且通过候选字符的组合进行确定所以能够防止由于识别误差导致将同一对象确定为不是同一对象。因此，由于除了字符识别结果之外的特征不需要被用于对象的同一性的确定，所以能够在图像输入步骤中输入的大量图像当中选择具有重要信息的图像，而没有将对象限定为牌照。另外，由于仅根据对象的字符确定对象的同一性，所以对象的照片的方向和大小对其没有影响。因此，甚至在来自于不同的图像输入步骤的图像之间，也能够确定对象的同一性。

[0041]根据本发明的存储介质在其中记录图像处理程序。

[0042]根据此存储介质，能够获得与上述图像处理程序中相同的效果。

本发明的优势

[0043]根据本发明，能够提供图案识别设备和图案识别方法，该设备和方法能够即使当存在其中表示同一对象的字符图案的大小或者位置不同的图像存在时，将它们视为表示同一对象的字符图案。此外，根据本发明，能够提供图像处理设备和图像处理方法，该设备和方法能够选择性地记录具有重要信息的图像，而没有将对象限制为牌照。

附图说明

[0044]图1是示出根据本发明的实施例的图案识别设备的构造的框图。

图2是示出根据第一实施例的在一个与图案识别设备有关的拍摄地点拍摄的图像序列的示例的示意图。

图3是示出根据第一实施例的图像序列的补充信息的构造的示例的示意图。

图4是示出根据第一实施例的图像序列的字符识别结果的信息的构造的示例的示意图。

图5是示出本实施例的图案识别设备中的图案识别处理的过程的概述的流程图。

图6是示出当根据第一实施例的图案识别设备中指定汽车号码时分析部件的控制过程的概述的流程图。

图7是示出为是第一实施例中的对象的字符串记录的处理结果的信息的构造的示意图。

图8是示出用于确定在本实施例中使用的对象的字符串的移动方向的标准的示意图。

图9是示出在与根据第二实施例的图案识别设备有关的三个拍摄地点拍摄的图像序列的示例的示意图。

图10是示出根据第二实施例的图像序列的补充信息的构造的示例的示意图。

图11是示出根据第二实施例的图像序列的字符识别结果的信息的构造的示例的示意图。

图12是示出当在第二实施例的图案识别设备中已经指定对象时分析部件的控制过程的概述的流程图。

图13是示出为是第二实施例中的对象的字符串记录的处理结果的信息的构造的示意图。

图14是示出根据本发明的第三实施例的图像处理设备的示意构造的框图。

图15是示出图14的图像处理设备的操作的流程图。

图16是用于解释在图14的图像处理设备中的一个拍摄地点拍摄的图像序列的视图。

图17是用于解释在图14的图像处理设备的图像数据暂时存储部件中记录的补充信息和图像的视图。

图18是用于解释在图14的图像处理设备中的字符识别处理的视图。

图19是用于解释在图14的图像处理设备中的字符识别处理的视图。

图20是示出图14的图像处理设备的字符区域提取部件的处理的流程图。

图21是用于解释被保持在图14的图像处理设备的识别结果存储部件中的识别结果的视图。

图22是用于解释被保持在图14的图像处理设备的识别结果存储部件中的识别结果的视图。

图23是示出图14的图像处理设备的识别结果评估部件的处理的流程图。

图24是示出图23中的步骤S710的详细处理的流程图。

图25是用于解释被存储在图14的图像处理设备的多相机识别结果协作部件中的数据的视图。

图26是示出其中通过网络连接并且使用多个图14的图像处理设备的第一构造的框图。

图27是示出其中通过网络连接并且使用多个图14的图像处理设备的第二构造的框图。

图28是示出在已知图案识别方法中的控制的细节的流程图。

图29是示出已知图像处理设备的示意构造的框图。

具体实施方式

[0045](第一实施例)

图1是示出根据本发明的实施例的图案识别设备的构造的框图。本实施例的图案识别设备包括图像输入部件101、图像数据存储部件102、字符识别部件103、字符识别结果存储部件104、指定部件105、分析部件106、以及结果输出部件107。

[0046]具体地，例如，假定图案识别设备被用于识别出现在图2中所示的图像中的识别对象(在本示例中在道路上行驶的汽车)。图2是示出在与根据第一实施例的图案识别设备有关的一个拍摄地点拍摄的图像序列的示例的示意图。

[0047]对于其中可能包括对象的图像，图像输入部件101输入图像和被添加的补充信息。补充信息包括关于图像的拍摄时间和拍摄位置的信息。例如，可以使用以预定的时间间隔在事先固定的拍摄位置定期地拍摄静止图像的相机形成图像输入部件101。图像数据存储部件102存储在图像输入部件101中输入的补充信息和图像。

[0048]在图2中所示的示例中，假定从图像输入部件101顺序地输入在一个拍摄地点(Pa)在不同的时间点按顺序拍摄的多个图像(Pa1)、(Pa2)、(Pa3)、......。另外，在图2中所示的示例中，包括移动的汽车的图案出现在是静止图像的图像(Pa1)、(Pa2)、以及(Pa3)中的每一个中。

[0049]图3是示出根据第一实施例的图像序列的补充信息的构造的示例的示意图。在图3中，示出当图像输入部件101输入图2中所示的图像序列时被存储在图像数据存储部件102中的与每个图像相对应的补偿信息和图像的具体示例。

[0050]在图3中所示的示例中，对于多个图像(Pa1)、(Pa2)、以及(Pa3)中的每一个不仅包括图像而且包括表示拍摄位置(地点)和拍摄时间(时间)的补充信息。补充信息的拍摄位置(地点)的内容示出图3中所示的所有多个图像(Pa1)、(Pa2)、以及(Pa3)是在同一拍摄位置(地点)拍摄的图像。另外，补充信息的拍摄时间(时间)的内容示出图3中所示的多个图像(Pa1)、(Pa2)、以及(Pa3)是在稍微地移位的时间拍摄的图像。

[0051]字符识别部件103识别被记录在图像输入部件101中输入的图像中的字符图案并且为每个字符图案获取表示一个或者多个相对应的候选字符的候选字符代码、每个候选字符的评估值(等价于字符识别结果的可靠性等等的值)、以及包括图像中的字符的位置坐标和大小的识别结果。字符识别结果存储部件104存储在字符识别部件103中识别的字符识别结果。

[0052]图4是示出根据第一实施例的图像序列的字符识别结果的信息的构造的示例的示意图。在图4中，示出当图像输入部件101输入图3中所示的补充信息和图像时在字符识别部件103中识别的并且存储在字符识别结果存储部件104中的字符识别结果的具体示例。

[0053]图4中所示的示例中，对于在图2中示出的多个图像(Pa1)、(Pa2)、以及(Pa3)中的每一个，为每个字符图案存储用于区别每个字符图案的信息(104a)、一个或者多个候选字符代码(104b)、每个候选字符的评估值(104c)、以及关于字符图案的起点和终点的位置坐标(104d)的信息。

[0054]例如，当字符识别部件103识别在是出现在图2中所示的图像(Pa1)中的对象的(汽车A)的牌照上示出的数字的每个字符图案时，“1”、“2”、“3”、以及“4”的候选字符被分别检测为与图像(Pa1)相对应的字符图案(C7)、(C8)、(C9)、以及(C10)，并且关于位置坐标的信息和每个候选的评估值被存储在如图4中所示的字符识别结果存储部件104中。另外，由于被包括作为每个字符图案的位置坐标的起点和终点的坐标，所以还可以检测字符图案的大小。

[0055]指定部件105输入对象的分析条件。例如，作为特定的分析条件，假定用于描述识别对象的字符串(例如，牌照上的数字)被指定。分析部件106基于在指定部件105中输入的分析条件，通过从被存储在图像数据存储部件102中的图像和补充信息、以及被存储在字符识别结果存储部件104中的字符识别结果提取使用字符代码和评估值、字符的位置和大小、图像的拍摄位置和拍摄时间、以及颜色信息的与对象有关的对象字符信息，来分析对象。

[0056]结果输出部件107输出在分析部件106中分析的结果。

[0057]接下来，将会描述本实施例的图案识别设备的操作。图5是示出本实施例的图案识别设备中的图案识别处理过程的概述的流程图。图案识别设备的处理操作是根据本发明的图案识别方法的实施例。

[0058]在图像输入步骤S101中，对于其中可能包括对象的图像，图像输入部件101输入图像和与该图像有关并且包括图像的拍摄时间和拍摄位置的补充信息，并且处理前进至S102。

[0059]在图像数据存储步骤S102中，在图像输入步骤S101中输入的图像和补充信息被存储在图像数据存储部件102中，并且处理前进至S103。

[0060]在字符识别步骤S103中，字符识别部件103识别在图像输入步骤S101中输入的图像中记录的字符并且获取包括候选字符代码、评估值、以及字符的位置和大小的识别结果，并且处理前进至S104。

[0061]在字符识别结果存储步骤S104中，在字符识别步骤S103中识别的字符识别结果被存储在字符识别结果存储部件104中，并且处理前进至S105。

[0062]在指定步骤S105中，在指定部件105中输入对象的分析条件，并且处理前进至S106。

[0063]在分析步骤S106中，分析部件106基于在指定步骤S105中输入的分析条件，从在图像数据存储步骤S102中存储的图像和补充信息以及在字符识别对象结果存储步骤S104中存储的字符识别结果提取使用字符代码和评估值、字符的位置和大小、图像的拍摄时间和拍摄位置、以及颜色信息的与对象有关的对象字符信息，来分析对象，并且处理前进至S107。

[0064]在结果输出步骤S107中，结果输出部件107输出在分析步骤S106中分析的结果。

[0065]在下文中，将会描述本实施例的图案识别设备的操作的特定示例。在这里，将会在处理图2中所示的图像序列(Pa1)、(Pa2)、(Pa3)、......从而分析出现在这些图像中的对象(汽车A)的情况下描述处理。

[0066]在被输入在图像输入部件101并且存储在图像数据存储部件102中的每个图像中，关于拍摄地点和拍摄时间(时间)的信息被记录为如图3中所示的补充信息。

[0067]此外，如图4中所示，在字符识别部件103中识别的并且存储在字符识别结果存储部件104中的字符识别结果的信息中，为要被处理的对象的每个图像(Pa1、Pa2、Pa3)中的每个字符图案包括候选字符代码(104b)、每个候选的评估值(104c)、以及字符图案的起点和终点的位置坐标(104d)。

[0068]在处理图2中所示的图像序列(Pa1)、(Pa2)、(Pa3)、......的情况下，为了指定哪个对象变成识别对象(汽车A)，例如，通过管理者的输入操作可以将(汽车A的)汽车号码“1234”输入至指定部件105，并且可以从指定部件105指定汽车号码“1234”作为对象的分析条件(指定的字符串)。在图6中示意性地示出当给定此种指定时分析部件106的控制的细节。

[0069]图6是示出当第一实施例的图案识别设备中指定汽车号码时分析部件的控制过程的概述的流程图。在下文中，将会描述分析部件106中的控制处理的细节。

[0070]在S601中，分析部件106确定满足特定标准的字符串“1234”，少于50的评估值，是否存在于参考字符识别结果存储部件104的内容(参考图4)的图像(Pa1)的字符识别结果的候选字符代码中。如果存在，则处理前进至S602。如果不存在，则处理前进至S603。

[0071]分析部件106基于被包括在图4中所示的内容中的图像(Pa1)执行图6中所示的处理，并且能够获得图7中所示的结果(区域104e至104h中的每一个的记录的内容)。图7是示出为是第一实施例中的对象的字符串记录的处理结果的信息的构造的示意图。图4中所示的区域104a至104d的内容和图7中所示的区域104a至104d的内容表示相同的内容。

[0072]如图7中所示，在字符串“1234”已经被指定为分析条件的情况下，当在S601中处理图像(Pa1)时能够检测由四个字符串(C3)、(C4)、(C5)、以及(C6)的组构造的一个字符串(L1)。因此，处理前进至S602。

[0073]在S602中，作为与图像(Pa1)的字符串(L1)相对应的检测信息，拍摄时间(104f)、字符图像组(104g)、以及字符串坐标(104h)被存储在与相应的字符串(L1)相匹配的区域(104e)中，如图7中所示。在这里，能够从图像数据存储部件102的内容中获取拍摄时间(104f)的信息。在被记录在字符识别结果存储部件104中的每个字符图案的信息(104a)当中，字符图像组(104g)的信息被记录为表达指定的字符串(L1)的字符的元素的组合。即，表达“1234”的字符串(L1)被记录在区域104g中作为图7中所示的字符图案(C3)、(C4)、(C5)、以及(C6)的组合。另外，字符串(L1)的字符串坐标(104h)被记录在区域104h中作为从与字符图案(C3)至(C6)相对应的坐标(104d的内容)计算的整个字符串的起点和终点的坐标。

[0074]在S603中，确定是否已经为所有的图像执行了处理。如果还没有完成，那么处理前进至S601。如果已经完成，那么处理前进至S604。

[0075]通过S602的处理，结果被记录在图7中所示的区域104e、104f、104g、以及104h中的每一个中。在图7中所示的示例中，假定其中能够检测到两个字符串(L1)和(L2)的情况。即，从图像(Pa1)检测与指定的字符串“1234”相对应的字符串(L1)作为已经处理图像(Pa1)的结果并且从图像(Pa2)检测与指定的字符串“1234”相对应的字符串(L2)作为已经处理图像(Pa2)的结果，并且这些被存储在区域104e至104h中。

[0076]在S604中，使用检测到的字符串(L1，L2)中的每一个的字符串坐标(104h的内容)和拍摄时间(104f的内容)，分析部件106基于图8中所示的标准确定字符串的移动方向。图8是示出用于确定是在本实施例中使用的对象的字符串的移动方向的标准的示意图。

[0077]由于当图7中所示的字符识别结果被处理时(L1)和(L2)被检测为与同一字符串“1234”相对应的字符串，所以能够确定字符串(L1)和字符串(L2)是否表示同一对象(汽车A)。另外，当它们表示同一对象(汽车A)时，能够检测这些字符串(L1)和(L2)的移动方向。

[0078]即，由于从在相同的拍摄位置拍摄的多个图像(Pa1)和(Pa2)提取字符串(L1)和(L2)，所以字符串的内容与被指定的内容“1234”相同。另外，由于图像(Pa1)和(Pa2)之间的拍摄时间的差小，因此能够确定这些是表示同一对象(汽车A)的字符串。

[0079]另外，基于图8中所示的标准通过处理字符串(L1)和(L2)的信息(图7中所示的区域104e至104h的内容)能够确定关于字符串(L1)和(L2)的移动(等效于对象的移动)的情况。

[0080]在图8中所示的标准中，描述了六种标准，“向左移动”、“向右移动”、“向下移动”、“向上移动”、“向前移动”、以及“向后移动”。由于拍摄时间中的差异，图7中的字符串(L1)和(L2)分别等于图8中所示的(La)和(Lb)。即，从其拍摄时间相对较早的图像检测到的字符串对应于图8中的字符串(La)，并且从拍摄时间相对较晚的图像检测到的字符串对应于图8中的字符串(Lb)。图8中所示的每个参数的意义如下所示：

LaYs：字符串(La)的图案的起点Y坐标位置

LaYe：字符串(La)的图案的终点Y坐标位置

LaXs：字符串(La)的图案的起点X坐标位置

LaXe：字符串(La)的图案的终点X坐标位置

LbYs：字符串(Lb)的图案的起点Y坐标位置

LbYe：字符串(Lb)的图案的终点Y坐标位置

LbXs：字符串(Lb)的图案的起点X坐标位置

LbXe：字符串(Lb)的图案的终点X坐标位置

[0081]如图8中所示，起点表示图像中的图案的左上端坐标，并且终点表示右下端坐标。

[0082]例如，作为分析部件106为是图7中所示的区域104e至104h的内容的字符串(L1)和(L2)检查与图8中所示的标准的一致性(compatibility)的结果，向下移动的条件被满足。即，由于满足(LbYs＜LaYs)、(LbYe＜LaYe)、(LbXs≌LaXs)以及(LbXe＝LaXe)的所有条件，因此能够确定等于指定的字符串“1234”的字符串(L1)和(L2)正在向下移动。因此，能够分析对象(汽车A)正在向下移动。

[0083]如上所述，通过使用表示对象的字符的大小或者位置能够分析诸如向上、向下、向左、向右、向前、向后、以及出现和消失的对象的移动状态。

[0084](第二实施例)

接下来，示出通过处理在多个地点拍摄的图像执行图案识别的示例作为第二实施例。在上述第一实施例中，假定其中如图2中所示地处理在同一地点拍摄的多个图像(Pa1)、(Pa1)、以及(Pa3)的情况。替代地，还能够如下面的第二实施例一样，通过处理在多个地点(Pb)、(Pc)、以及(Pd)拍摄的图像执行图案识别。

[0085]图9是示出在与第二实施例的图案识别设备有关的三个拍摄地点拍摄的图像序列的示例的示意图。在这里，假定三个拍摄地点(Pb)、(Pc)、以及(Pd)是在同一高速公路上并且回程车道按照拍摄地点(Pb)、(Pc)、以及(Pd)的顺序出现。在下文中，将会描述其中分析在图9的图像序列中拍摄的对象(汽车B)的情况。图案识别设备的构造与图1中所示的相同，并且在这里将会省略其解释。

[0086]图10是示出根据第二实施例的图像序列的补充信息的构造的示例的示意图。在图10中，示出当图像输入部件101输入图9中所示的图像序列时被存储在图像数据存储部件102中的与每个图像相对应的补充信息和图像的具体示例。在本示例中，离开拍摄地点的起点的距离(离开特定起点的距离)和拍摄时间被记录在补充信息中。

[0087]图11是示出根据第二实施例的图像序列的字符识别结果的信息的构造的示例的示意图。在图11中，示出当图像输入部件101输入图10中所示的图像和补充信息时在字符识别部件103中识别的并且存储在字符识别结果存储部件104中的字符识别结果的特定示例。在这样的情况下，为每个图像中的所有字符记录了用于区别每个字符图案的信息(104a)、每个候选的候选字符代码(104b)、每个候选的评估值(104c)、以及字符的起点和终点的位置坐标(104d)。

[0088]在本示例中，假定操作图案识别设备的管理者能够通过操作指定部件105指定出现在特定图像中的对象和拍摄地点。在图12中示意地示出当执行这样的指定时分析部件106的控制的细节。

[0089]图12是示出当在第二实施例的图案识别设备中已经指定对象时分析部件的控制过程的概述的流程图。在这里，将描述当管理者通过使用指定部件105指定出现在拍摄地点(Pc)的图像序列的图像(Pc2)中的对象(图9的汽车B)时分析部件106中的控制处理的详细情况。

[0090]在S611中，提取分析条件。例如，由管理者指定的图像(Pc2)的拍摄时间10:00(参考图10)；满足特定标准的字符串“5673”和“5678”，所述特定标准中在被包括在由管理者指定的对象的相邻区域的字符识别结果(图11的一些内容)的候选字符代码(104b的内容)当中评估值(104c的内容)小于50，与字符串“5673”相对应的字符图像组(C21、C22、C23、C24)，与字符串“5678”相对应的字符图像组(C21、C22、C23、C24)；以及是在与字符串“5678”相对应的字符位置周围的背景颜色的<红色>和是在与字符串“5673”相对应的字符位置周围的背景颜色的<红色>变成分析条件。

[0091]在S612中，确定它是否是要从拍摄时间条件和地点的位置之间的关系确定的图像。如果是对象图像，那么处理前进至S613。如果不是对象图像，那么处理前进至S617。具体地，考虑下述事实，即在道路的每条车道中事先设置汽车的移动方向和多个拍摄地点之间的移动所花费的时间(50km的移动花费30分钟)，拍摄地点(Pb)处的对象仅限于比图像(Pc2)的拍摄时间早30分钟拍摄的图像(Pb1)之前拍摄的图像(参考图10)。另外，拍摄地点(Pc)处的对象是在图像(Pc2)的前和后拍摄的图像。考虑拍摄地点之间的移动花费的时间，拍摄地点(Pd)处的对象仅限于图像(Pd3)之后拍摄的图像。

[0092]分析部件106基于图10中所示的信息(图像数据存储部件102的内容)和图11中所示的信息(字符识别结果存储部件104的内容)执行图12的步骤S613至S616中所示的处理，并且能够获得图13中所示的结果(区域104e至104j中的每一个的记录的内容)。图13是示出为是第二实施例中的对象的字符串记录的处理结果的信息的构造的示意图。另外，图11中所示的区域104a至104d的内容与图13中所示的区域104a至104d的内容是相同的。

[0093]在S613中，分析部件106确定满足其中评估值少于50的特定标准的字符串“5673”和“5678”是否存在于用于顺序地输入的图像的字符识别结果的候选字符代码中。如果存在，则处理前进至S614。如果不存在，则处理前进至S617。

[0094]如图13中所示，从图像(Pb1)检测要被检查的字符串“5678”作为字符串(L11)，它是四个字符图案(C11)、(C12)、(C13)、以及(C14)的组，并且从图像(Pc2)检测要被检查的字符串“5678”作为字符串(L12)，它是四个字符图案(C21)、(C22)、(C23)、以及(C24)的组。

[0095]另外，从图像(Pc2)检测要被检查的字符串“5673”作为字符串(L21)，它是四个字符图案(C21)、(C22)、(C23)、以及(C24)的组，并且从图像(Pd3)检测要被检查的字符串“5673”作为字符串(L22)，它是四个字符图案(C31)、(C32)、(C33)、以及(C34)的组。

[0096]在S614中，为检测到的字符串(L11)、(L12)、(L21)、以及(L22)的字符图像组计算与字符串“5678”相对应的字符图像组(C21、C22、C23、C24)和与字符串“5673”相对应的字符图像组(C21、C22、C23、C24)之间的相似度。如果相似度满足特定标准，那么处理前进至S615。如果不满足特定标准，那么处理前进至S617。以与计算字符识别部件103中的字符识别的评估值的方法相同的方法计算相似度。在图13中所示的示例中，相似度满足用于字符串(L11)、(L12)、(L21)、以及(L22)的标准。因此，处理前进至S615。

[0097]在S615中，对于顺序地输入的字符串，从图像中检测相应的字符位置周围的背景颜色。如果它是相似的颜色，那么处理前进至S616。如果它不是相似的颜色，那么处理前进至S617。

[0098]例如，对于字符串“5678”的字符串(L11)和(L12)，从图像中检测到的背景颜色是红色的。因此，在图13中所示的区域104j中它们被记录为<红色>。因此，当相互比较字符串(L11)和(L12)时，确定这些是相似的颜色，并且处理前进至S616。

[0099]另一方面，在图13的区域104j中字符串“5673”的字符串(L21)被记录为<红色>，并且在区域104j中字符串(L22)被记录为<白色>。因此，当相互比较字符串(L21)和(L22)时，确定这两个背景不是相似的颜色，并且处理前进至S617。

[0100]通过如上所述地比较字符串的图像的背景颜色，例如，当要被识别的对象是汽车时，即使存在具有相似的车号(牌照的显示内容)的多辆汽车，通过汽车车体的颜色的差异容易进行区别。

[0101]在S616中，对于在S612至S615中最终考虑为有效信息(由于与被指定的对象的关联性高所以相互类似)的多个字符串(L11)和(L12)，关于离开起点的距离、拍摄时间、字符图像组、字符串坐标、以及背景颜色的信息被记录。

[0102]例如，由于确定被记录在图13中所示的区域104e中的表示字符串“5678”的字符串(L11)和(L12)的关联性高，因此在S616中关于被记录在区域104f、104g、104h、104i、以及104j中的离开起点的距离、拍摄时间、字符图像组、字符串坐标、以及背景颜色的信息被记录为有效信息。

[0103]另一方面，由于确定由于诸如背景颜色的差异的影响导致被记录在图13中所示的区域104e中的表示字符串“5673”的字符串(L21)和(L22)的关联性低，因此这些不被记录为有效信息。

[0104]在S617中，确定是否已经为所有的图像执行了处理。如果还没有完成，那么处理前进至S612。如果已经完成，那么处理前进至S618。

[0105]在S618中，对于分析条件的每个字符串，从离开起点的距离、拍摄时间、以及每个检测到的字符串(L)的字符串坐标确定字符串的移动状态并且将结果设置为对象的移动状态。

[0106]例如，当基于图13中所示的有效字符串(L11)和(L12)的信息(等于区域104e、104f、104g、104h、104i、以及104j的内容)的信息分析对象(例如，图9中所示的汽车B)时，能够分析对象(汽车B)在时间9:30经过拍摄地点(Pb)的超车道(从区域104i的位置坐标看出)，在时间10:00经过拍摄地点(Pc)的行驶道，并且还没有抵达拍摄地点(Pd)。

[0107]如上所述，通过使用除了表示诸如汽车的对象的字符(车号、广告显示等等)的大小、位置、或者内容之外的图像的拍摄位置和拍摄时间、字符图像的相似度、或者颜色信息，在更大的范围内能够正确地并且详细地分析对象的移动状态。

[0108]另外，尽管假定同时与对象一起拍摄并且表示对象的图案是本实施例中的字符串，但是还可以使用具有与诸如标志或者标记的字符相同的特征的图案。如果它们不是同一标准那么不限制每个处理中的各种条件。

[0109]另外，诸如图像输入部件、图像数据存储部件、字符识别部件、字符识别结果存储部件、以及分析部件的图1中所示的每个功能块可以通常被实现为是集成电路的LSI。电路集成的技术不限于LSI。它们中的每一个可以被单独地制造为一个芯片，或者它们可以被制造为一个芯片以便于包括一些或者所有的部件。在这样的情况下，可以通过基于LSI中的硬件电路的操作或者处理器上的预定的软件程序的操作的处理实现每个功能。

[0110]另外，可以在计算机可执行的程序中描述图5、图6、以及图12中所示的功能的处理步骤，或者可以通过程序的执行实现每个功能。另外，可以通过从适当的记录介质(例如，CD-ROM或者DVD盘)将程序读取到计算机中来执行。

[0111]如上所述，根据本实施例，即使在位置或者大小相互不同的状态下表示同一对象的字符图案出现在多个图像中的情况下，共同的字符图案可以被视为表示同一对象的图案。因此，通过分析表示同一对象的字符图案中的变化，能够分析由字符图案表示的对象中的变化。例如，本实施例可以应用于由监控相机等等拍摄的图像的分析器、广范围监视系统等等。

[0112](第三实施例)

图14是示出根据本发明的第三实施例的图像处理设备的示意性构造的框图。在附图中，本实施例的图像处理设备包括图像数据暂时存储部件211、二值化部件212、字符区域提取区域213、字符识别部件214、识别结果存储部件215、多相机识别结果协作部件216、识别结果评估部件217、以及图像输出控制部件218。通过网络202将图像处理设备201、外部图像存储介质203、以及监视中心204相互连接。另外，图像处理设备201不仅可以是一个装置而且可以是两个或者更多装置。另外，外部图像存储介质203不仅可以是一个装置而且可以是两个或者更多装置。在这样的情况下，不言而喻的是，通过网络202连接多个图像处理设备201和多个外部图像存储介质203。图像输入部件210将与图像有关并且包括图像的拍摄时间和拍摄位置的补充信息和图像连续地输入至图像处理设备201。

[0113]在图像处理设备201中，图像数据暂时存储部件211按事先确定的次数存储包括从图像输入部件210输入的图像的拍摄时间和拍摄位置的补充信息和图像。二值化部件212二值化被存储在图像数据暂时存储部件211中的图像并且将被二值化的图像传送到字符区域提取部件203。字符区域提取部件213从被二值化的图像提取字符区域并且将提取的字符区域的个别字符的坐标传送到字符识别部件214。字符识别部件214基于二值图像和字符坐标识别图像中的字符。字符识别部件214通过字符识别处理获得包括候选字符代码、评估值、以及字符坐标的识别结果。识别结果存储部件215保持在字符识别部件214中获得的识别结果。识别结果存储部件215保持多个识别结果。多相机识别结果协作部件216保持在通过网络202连接的其它图像处理设备201中获得的识别结果和多个补充信息。

[0114]基于被保持在识别结果存储部件215中并且在相应的图像处理设备201中获得的识别结果，和被保持在多相机识别结果协作部件216中并且在其它图像处理设备201中的每一个中获得的识别结果，识别结果评估部件217确定被保持在图像数据暂时存储部件211中的图像是否要被记录在外部图像存储介质203中。当识别结果评估部件217确定要记录被保持在图像数据暂时存储部件211中的图像时，图像输出控制部件218将被保持在图像数据暂时存储部件211中的图像和与该图像有关的补充信息，以及被保持在识别结果存储部件215中的相应图像的识别结果记录在外部图像存储介质203中。

[0115]图15是示出具有上述构造的图像处理设备201的操作的流程图。在该附图中，连续地输入图像和包括图像的拍摄位置和拍摄时间的补充信息(步骤S110)。然后，在图像输入步骤S110中输入的补充信息和图像被暂时地存储(步骤S111)。然后，被暂时地存储的图像被二值化(步骤S112)。然后，从二值化的图像中提取字符区域，并且获取提取的字符区域的个别字符的坐标(步骤S113)。然后，基于二值图像和字符坐标识别图像中的字符(步骤S114)。通过字符识别处理获取包括候选字符代码、评估值、以及字符坐标的识别结果。

[0116]然后，保持在字符识别的步骤中获得的识别结果(步骤S115)。在这里，还保持了多个过去的识别结果。然后，保持在通过网络202连接的其它图像处理设备201中获得的识别结果和多个补充信息(步骤S116)。然后，基于在识别结果存储的步骤中保持的和在相应的图像处理设备201中获得的识别结果，和在多相机识别结果协作的步骤中保持的并且在多个其它的图像处理设备201中获得的识别结果，确定在图像暂时存储的步骤中保持的图像要被记录在外部图像存储介质203中(步骤S117)。然后，当确定在识别结果评估步骤中要记录图像时，在图像暂时存储的步骤中保持的补充信息和图像以及在识别结果存储的步骤中保持的图像的识别结果被记录在外部图像存储介质203中(步骤S118)。当上述处理步骤完成时，从图像输入的步骤S110开始再次重复处理。

[0117]接下来，将会详细地描述本实施例的图像处理设备201的操作。图16是在一个拍摄地点(Pa)拍摄的图像序列的说明图。将会描述在图像输入部件210中按顺序输入图像(Pa0)、(Pa1)、(Pa2)、......的情况作为示例。图17是被存储在图像数据暂时存储部件211中的补充信息和图像的说明图。以事先设置的次数记录从图像输入部件210输入的拍摄时间和拍摄地点以及图像。当新记录图像时删除最旧的数据。图17示出在当最新的图像(Pa2)已经被记录时的时间点的图像数据暂时存储部件211的内容。

[0118]图18和图19是被记录在图像数据暂时存储部件211中的最新的图像(Pa2)的识别处理的说明图。图18中的(a)是图像数据暂时存储部件211中的最新的图像(Pa2)。图18中的(b)是当通过二值化部件212二值化图18的(a)时获得的图像。图18中的(c)示出通过字符区域提取部件113提取的字符区域(A2)和字符区域(A2)中的字符。图19中的(d)是提取的字符区域(A2)的放大图。图19中的(e)示出在字符区域提取部件213中提取的字符坐标数据。图19中的(f)示出在字符识别部件114中输出的字符识别结果。

[0119]当来自于图像输入部件210的最新的图像(Pa2)(图18中的(a))被记录在图像数据暂时存储部件211中时，二值化部件212执行二值化处理以创建二值图像(图18中的(b))。然后，字符区域提取部件213从二值图像(图18中的(b))提取字符区域和单个的字符坐标。

[0120]图20是示出字符区域提取部件213的处理的概述的流程图。在该附图中，字符区域提取部件213从由二值化部件212创建的二值图像提取黑色像素连接的区域(步骤S501)。然后，收集提取的黑色像素连接的区域当中的彼此靠近的区域以划分为组(步骤S502)。然后，为每个组计算组中的黑色像素连接的区域的平均大小(步骤S503)，并且检测在组中是否存在与平均大小很大地不同的黑色像素连接的区域(步骤S504)。然后，确定组中的所有黑色像素连接的区域的大小是否均匀(步骤S505)。当确定它们均匀时，确定该组是字符区域，根据每个黑色像素连接的区域计算字符坐标，并且基于用于每个字符串的计算的字符坐标集体地记录字符(步骤S506)。另一方面，确定包括非均匀的黑色像素连接的区域的组不是字符区域。为所有的组执行步骤S503至S506的步骤的处理。

[0121]在如上所述的字符区域提取部件213中获取的字符坐标(图19的(e))被传送到字符识别部件214，并且字符识别部件214基于字符坐标执行字符识别。通过此字符识别，能够获得图19中的(f)的识别结果。另外，字符识别处理是通常花费时间进行处理的处理，并且根据要被识别的字符的数目处理时间变得较长。在(大约60个字符)的数字和日本平假名被设置为要被识别的对象的情况下，要求的处理时间是仅数字(十个字符)被设置为要被识别的对象的情况的数倍。当存在3000或者更多的日本汉字字符被设置为要被识别的对象时，要求的处理时间是仅数字的情况中的100倍或者更多。在这里，假定图像输入部件210中的图像输入间隔短，要被识别的字符的类型限于数字。然而，当与识别处理时间相比较图像输入部件210中的图像输入间隔充分地较长时，甚至日本平假名和日本汉字字符可以被设置为要被识别的对象。

[0122]图21和图22是被保持在识别结果存储部件215中的识别结果的说明图。在这些附图中，保持被记录在图像数据暂时存储部件211中的多个图像的识别结果(候选字符代码、评估值、字符坐标)。评估值是表示获得作为识别结果的候选字符代码的可能性的值。在本实施例中，评估值表示0至100的值，并且它意味着数字越小，候选字符的可能性越大。当新记录识别结果时，删除最旧的数据。图21示出在当图像(Pa2)的识别结果(R2)被记录时的时间点的识别结果存储部件215的内容，并且图22示出在当从图像输入部件210输入下一个图像并且图像(Pa3)是最新的图像时的时间点的识别结果存储部件215的内容。由于在图像(Pa3)中没有包括字符，所以识别结果是空的。

[0123]识别结果评估部件217基于识别结果存储部件215的内容选择被记录在外部图像存储介质203中的图像。在下文中，将会使用识别结果存储部件215的内容是像图22的一样的情况作为示例描述识别结果评估部件217的处理。

[0124]图23是示出识别结果评估部件217的处理的概述的流程图。当新的识别结果被记录在识别结果存储部件215中时识别结果评估部件217执行图23中所示的一系列处理。在此附图中，检测第二最新的图像(图22的情况中的(Pa2))中的字符串(步骤S701)。然后，确定是否已经检测到字符串(步骤S702)。当不能检测到字符串时，识别结果评估部件217的处理结束。当能够检测到字符串(字符串(L2)和(L3))时，检测到有效候选字符串(步骤S703)。在这里，其评估值小于50的字符代码的序列被确定为有效候选字符串。在图22的情况下，检测到用于字符串(L2)的有效候选字符串是“888”并且用于字符串(L3)的候选字符串是“1234”、“1284”、“·234”、以及“·284”四个。

[0125]然后，确定是否存在检测到的有效候选字符串(步骤S704)。当不能检测到有效候选字符串时，向图像输出控制部件218通知第二最新的图像(步骤S705)。这是因为对其即使通过检测字符也不能获得具有满意的评估值的识别结果的图像被认为具有不好的图像质量并且当它被记录在外部图像存储介质203中时能够通过具有监视中心204的更高功能的识别软件或者PC对其进行重新处理。

[0126]另一方面，当能够检测到检测有效候选字符串时，检查在最新的图像的识别结果中是否存在注意的候选字符串作为候选字符串(步骤S707)，并且在步骤S708中确定结果。当在最新的图像的识别结果中存在注意的候选字符串作为候选字符串时，对于注意的字符串的处理结束，并且处理前进至下一个字符串的处理。当在最新的图像的识别结果中不存在注意的候选字符串作为候选字符串时，在步骤S710中确定是否存在下一个候选字符串。如果仍然存在要被检查的候选字符串，那么处理返回步骤S703。当已经检查所有的候选字符串时，能够断定在最新的图像中不包括注意的字符串。因此，能够看到，具有注意的字符串的图像依赖于第二最新的图像。因此，返回到过去以为注意的字符串查找具有最好状态的图像，并且通知图像输出控制部件218(步骤S709)。

[0127]此外，尽管字符的第一候选字符代码的评估值的平均值在这里被用作候选字符串的评估值，但是也可以添加字符大小等等的均匀性。现在，当注意用于字符串(L2)的有效候选字符串“888”时，第二最新的图像(Pa2)中的评估值变成27((20+22+40)/3≌27)。由于在最新的图像(Pa3)中不存在有效候选字符串“888”，所以对于有效候选字符串“888”执行步骤S709的处理。

[0128]当注意字符串(L3)时，最新的图像(Pa3)中不存在所有有效候选字符串“1234”、“1284”、“·234”、以及“·284”中的任何一个，类似于字符串(L2)的有效候选字符串“888”执行步骤S709的处理。由于检测到的字符串是上面的，所以识别结果评估部件217的一次处理结束。

[0129]图24是图23中所示的步骤S709的处理的示意图。在此附图中，检查在第二最新的图像之前的注意的图像中是否存在注意的字符串的候选字符串(步骤S801至S804)。当找到其中没有任何候选字符串存在的图像时或者当先前的识别结果没有被存储在识别结果存储部件215中时，能够指定其中存在注意的字符串的最旧的图像。然后，计算其中存在任何候选字符串的每个图像中的候选字符串的评估值并且选择具有最好的评估值的图像(步骤S805)。

[0130]在图22的情况下，其中存在字符串(L2)的图像只是(Pa2)。因此，用于字符串(L2)的每个图像中的评估值是图像(Pa2)→候选字符串“888”→评估值27，并且为字符串(L2)选择评估值27的图像(Pa2)。

[0131]另一方面，其中存在字符串(L3)的图像是(Pa1)和(Pa2)。因此，用于字符串(L3)的每个图像中的评估值如下所示。

图像(Pa1)→候选字符串“1234”→评估值28((25+20+35+30)/4≌28)

图像(Pa1)→候选字符串“1284”→评估值29((25+20+40+30)/4≌29)

图像(Pa2)→候选字符串“1234”→评估值9((5+5+15+10)/4≌9)**

图像(Pa2)→候选字符串“1284”→评估值15((5+5+40+10)/4≌15)

图像(Pa2)→候选字符串“·234”→评估值15((30+5+15+10)/4≌15)

图像(Pa2)→候选字符串“·284”→评估值21((30+5+40+10)/4≌21)

关于字符串(L3)，选择具有评估值9的图像(Pa2)。

[0132]图25是被存储在多相机识别结果协作部件216中的数据的说明图。在此附图中，在存在通过网络202连接的其它图像处理设备201的情况下，当其它的图像处理设备201将图像记录在外部图像存储介质203中时向通过网络202连接的所有图像处理设备201通知图像的识别结果和补充信息。通知的补充信息和识别结果被存储在每个图像处理设备201的多相机识别结果协作部件216中。

[0133]在图24的步骤S806中，检查在其它图像识别设备201中获得并且被保持在多相机识别结果协作部件216中的识别结果中是否存在候选字符串中的任何一个作为有效候选字符串。在步骤S807中确定是否存在结果。当在其它图像识别设备201中获得的识别结果中存在候选字符串中的任何一个作为有效候选字符串时，在步骤S805中获得的评估值与在步骤S806中获得的评估值进行比较。如果在步骤S805中获得的评估值较好，那么向图像输出控制部件218通知该图像。如果在步骤S806中获得评估值较好，那么不进行任何操作。

[0134]在图25的情况下，获得图像(Pc1)→候选字符串“888”→评估值30((20+30+40/3＝30))，图像(Pc1)→候选字符串“1234”→评估值20((5+20+25+30)/4＝20))。由于它们中的所有比在步骤S805中获得的评估值差，所以向图像输出控制部件218通知在步骤S805中获得的图像(Pa2)→候选字符串“888”→评估值27和图像(Pa2)→候选字符串“1234”→评估值9。

[0135]此外，当选择在步骤S806中获得的其它图像处理设备201的识别结果时，没有仅利用评估值执行确定而是可以添加时间限制或者在同一字符串区域的所有字符串中候选字符串应相等的限制以便于避免识别结果的意外匹配。

[0136]图像输出控制部件218为从识别结果评估部件217通知的图像从图像数据暂时存储部件211读取补充信息和图像并且从识别结果存储部件215读取识别结果并且通过网络202将它们记录在外部图像存储介质203中。另外，从识别结果评估部件217通知的图像不必须为一个。另外，当以复数指定时，可以指定同一图像。然而，在图像输出控制部件218中解决(resolve)重复并且同一图像仅被记录一次。另外，为被记录一次的图像设置存储部件211的记录完成标志。

[0137]图像输出控制部件218将图像、补充信息、以及识别结果记录在外部图像存储介质203中并且向通过网络202连接的所有图像处理设备201通知补充信息和识别结果。通知的补充信息和识别结果被存储在每个图像处理设备201中的多相机识别结果协作部件216中。

[0138]图26是示出其中通过网络202连接多个图像处理设备201的第一构造的框图。在此构造中，通过将在其它图像处理设备201中获得识别结果保持在每个图像处理设备201中提供的多相机识别结果协作部件216中，能够防止当通过多个相机拍摄同一对象时图像被重复地记录在外部图像存储介质203中。

[0139]图27是示出其中通过网络202连接多个图像处理设备201的第二构造的框图。在此构造中，在每个图像处理设备201中没有提供多相机识别结果协作部件216，但是为多个图像处理设备201提供单个多相机识别结果协作部件216。而且在此构造中，通过将在其它图像处理设备201中获得的识别结果保持在多相机识别结果协作部件216中，能够防止当通过多个相机拍摄同一对象时图像被重复地记录在外部图像存储介质203中。

[0140]另外，由于表示图像的内容的识别结果被给予被记录在外部图像存储介质203中的图像，所以使用监视中心204的PC等等搜索外部图像存储介质203中的图像变得容易。另外，由于给出字符区域坐标和字符坐标，所以当通过监视中心204的PC等等重新处理外部图像存储介质203中的图像时可以只处理特定的区域。因此，能够实现处理效率中的显著的改进。

[0141]因此，根据本实施例的图像处理设备201，多个图像和补充信息被存储在图像数据暂时存储部件211中，字符识别部件214执行图像中的字符识别，与被保持在图像数据暂时存储部件211中的多个图像相对应的识别结果被保持在识别结果存储部件215中，识别结果评估部件217检测图像内容中的变化的时序，并且只有当在图像内容中存在变化时图像数据暂时存储部件211的图像被记录在外部图像存储介质203中。因此，由于能够为佩戴名片的人的图像或者其中整个牌照始终没有出现的图像检测图像内容中的变化，所以能够有效地使用外部图像存储介质203。

[0142]另外，由于能够检测图像内容中的变化而没有限于牌照图像，因此容易安装相机。另外，由于图像输入部件210可以是可移动的相机，所以能够使用少量的相机监视大的范围。由于能够选择并且记录从图像输入部件210输入的大量图像当中具有重要信息的图像，所以能够有效地使用外部图像存储介质203。另外，在通过网络202连接的多个相机的构造中，当通过多个相机拍摄同一对象时还能够确定同一性。因此，能够防止图像被重复地记录在外部图像存储介质203中。另外，由于当将图像记录在外部图像存储介质203中时给出表示图像的内容的识别结果，因此使用监视中心的PC等等从大量的存储的图像搜索特定的图像变得容易。另外，字符区域坐标和字符坐标被包括在给出的识别结果中。因此，能够改进处理精确度并且当通过监视中心的PC等等执行被记录在外部图像存储介质203中的图像的第二处理时能够通过使用在被给予图像的识别结果中包括的字符坐标和字符区域坐标仅重新处理字符区域实现处理效率中的显著的改进。

[0143]此外，在本实施例中，当将信息记录在外部图像存储介质203中时图像和它的补充信息以及识别结果被记录在一起。然而，在没有必要记录图像的情况下，只要评估值足够好可以仅记录除了图像之外的补充信息和识别结果。这样，能够进一步减少外部图像存储介质203的使用的量。

[0144]另外，尽管在本实施例中与对象同时拍摄的并且表示对象的图案被设置为字符串，但是也可以使用具有与诸如标志、标记、或者面部的字符相同的特征的图案。如果它们是同一标准那么不限制每个处理中的各种条件和阈值。另外，诸如图像输入部件210、图像数据暂时存储部件211、二值化部件212、字符区域提取部件213、字符识别部件214、识别结果存储部件215、多相机识别结果协作部件216、识别结果评估部件217、以及图像输出控制部件218的每个功能块可以通常被实现为是集成电路的LSI。电路集成的技术不限于LSI。它们中的每一个可以单独地制造成一个芯片，或者它们可以被制造成一个芯片以便于包括一些或者所有的部件。

[0145]另外，在本实施例中，可以在计算机可执行的程序中描述上述每个操作中的每个处理步骤。

[0146]已经参考特定的实施例详细地解释了本发明。然而，对本领域的技术人员来说显然的是，在不脱离本发明的精神和范围的情况下能够应用各种变化和修改。

[0147]本申请是基于并且要求2008年6月11日递交的日本专利申请No.2008-152749和2008年7月11日提交的No.2008-181733的优先权益，并且其内容在这里通过引用整体并入。

工业实用性

[0148]本发明具有下述效果，即使当存在具有表示同一对象的字符图案的不同位置或者大小的多个图像时，它们也能够被视为表示同一对象的字符图案。因此，例如，本发明用作下述图案识别设备和图案识别方法，该设备和方法用于例如与基于通过拍摄在道路上移动的各种车辆获得的运动图像自动地监视车辆的情况一样，基于其中记录了可能改变的对象的多个图像使用同时记录的字符信息分析记录的对象的变化。另外，本发明具有下述效果，即对象不限于牌照并且能够选择性地记录具有重要信息的图像。因此，本发明可以应用于监视系统等等。

参考数字和标记的描述

[0149]101：图像输入部件

102：图像数据存储部件

103：字符识别部件

104：字符识别结果存储部件

105：指定部件

106：分析部件

107：结果输出部件

201：图像处理设备

202：网络

203：外部图像存储介质

204：监视中心

210：图像输入部件

211：图像数据暂时存储部件

212：二值化部件

213：字符区域提取部件

214：字符识别部件

215：识别结果存储部件

216：多相机识别结果协作部件

217：识别结果评估部件

218：图像输出控制部件

Claims (16)

1.一种图案识别设备，包括：

图像输入部件，所述图像输入部件输入其中可能包括要被识别的对象的图像，和与所述图像有关的补充信息；

图像数据存储部件，所述图像数据存储部件存储在所述图像输入部件中输入的所述图像和所述补充信息；

字符识别部件，所述字符识别部件识别被包括在所述图像输入部件中输入的所述图像中的字符；

字符识别结果存储部件，所述字符识别结果存储部件存储在所述字符识别部件中识别的字符识别结果；

指定部件，所述指定部件输入对象的分析条件；

分析部件，所述分析部件基于在所述指定部件中输入的所述分析条件，通过从被存储在所述图像数据存储部件中的所述图像和所述补充信息、以及被存储在所述字符识别结果存储部件中的所述字符识别结果提取与所述对象有关的对象字符信息，来分析对象；以及

结果输出部件，所述结果输出部件输出在所述分析部件中分析的结果。

2.根据权利要求1所述的图案识别设备，

其中所述字符识别部件获取包括与字符图案相对应的候选字符代码、关于字符识别的评估值、以及字符的位置和大小的信息作为识别结果，并且

所述分析部件使用所述候选字符代码、所述评估值、以及所述字符的位置和大小执行分析。

3.根据权利要求1所述的图案识别设备，

其中所述图像输入部件输入至少包括关于相应的图像的拍摄位置和拍摄时间的信息作为所述补充信息，并且

所述分析部件使用所述图像的拍摄位置和拍摄时间执行分析。

4.根据权利要求1所述的图案识别设备，

其中所述图像输入部件输入至少包括关于所述相应图像的拍摄位置和拍摄时间的信息作为所述补充信息，并且

所述字符识别部件获取包括与字符图案相对应的所述候选字符代码、关于字符识别的评估值、以及字符的位置和大小的信息作为识别结果，并且

所述分析部件使用所述图像的拍摄位置和拍摄时间、所述候选字符代码和所述评估值、所述字符的位置和大小、多个图像之间的字符图像的相似度、以及图像的颜色信息执行分析。

5.一种图案识别方法，包括：

图像输入步骤，所述图像输入步骤输入其中可能包括要被识别的对象的图像，和与所述图像有关的补充信息；

图像数据存储步骤，所述图像数据存储步骤存储在所述图像输入步骤中输入的所述图像和所述补充信息；

字符识别步骤，所述字符识别步骤识别被包括在所述图像输入步骤中输入的所述图像中的字符；

字符识别结果存储步骤，所述字符识别结果存储步骤存储在所述字符识别步骤中识别的字符识别结果；

指定步骤，所述指定步骤输入对象的分析条件；

分析步骤，所述分析步骤基于在所述指定步骤中输入的所述分析条件，通过从在所述图像数据存储步骤中存储的所述图像和所述补充信息、以及在所述字符识别结果存储步骤中存储的字符识别结果提取与所述对象有关的对象字符信息，来分析对象；以及

结果输出步骤，所述结果输出步骤输出在所述分析步骤中分析的结果。

6.根据权利要求5所述的图案识别方法，

其中在所述字符识别步骤中，获取包括与字符图案相对应的候选字符代码、关于字符识别的评估值、以及字符的位置和大小的信息作为识别结果，并且

在所述分析步骤中，使用所述候选字符代码、所述评估值、以及所述字符的位置和大小执行分析。

7.根据权利要求5所述的图案识别方法，

其中在所述图像输入步骤中，输入至少包括关于相应的图像的拍摄位置和拍摄时间的信息作为所述补充信息，并且

在所述分析步骤中，使用所述图像的拍摄位置和拍摄时间执行分析。

8.根据权利要求5所述的图案识别方法，

其中在所述图像输入步骤中，输入至少包括关于相应图像的拍摄位置和拍摄时间的信息作为所述补充信息，

在所述字符识别步骤中，获取包括与字符图案相对应的候选字符代码、关于字符识别的评估值、以及字符的位置和大小的信息作为识别结果，并且

在所述分析步骤中，使用所述图像的拍摄位置和拍摄时间、所述候选字符代码和所述评估值、所述字符的位置和大小、多个图像之间的字符图像的相似度、以及图像的颜色信息执行分析。

9.一种使计算机执行根据权利要求5-8中的任何一项所述的图案识别方法的每个步骤的程序。

10.一种计算机可读存储介质，其中记录根据权利要求9所述的程序。

11.一种图像处理设备，包括：

图像输入装置，所述图像输入装置用于连续地输入图像和与所述图像有关的补充信息；

图像暂时存储装置，所述图像暂时存储装置用于暂时地存储在所述图像输入装置中输入的所述图像；

字符提取装置，所述字符提取装置用于从存储在所述图像暂时存储装置中的所述图像中提取字符；

字符识别装置，所述字符识别装置用于识别在所述字符提取装置中提取的所述字符从而获得用于识别的字符的候选字符中的一个或者多个和每个评估值作为识别结果；

识别结果存储装置，所述识别结果存储装置用于存储在所述字符识别装置中获得的所述识别结果；

识别结果评估装置，所述识别结果评估装置用于基于存储在所述识别结果存储装置中的所述识别结果确定是否输出被存储在所述图像暂时存储装置中的所述图像；以及

图像输出控制装置，所述图像输出控制装置用于将在所述识别结果评估装置中被确定为输出的图像与所述图像的所述补充信息以及所述识别结果一起输出，

其中所述图像暂时存储装置暂时地存储多个图像以及其补充信息，

所述识别结果存储装置存储被存储在所述图像暂时存储装置中的所述多个图像的字符的识别结果，

所述识别结果评估装置检查被存储在所述图像暂时存储装置中的所述多个图像的字符的识别结果并且当同一字符串被包括在所述多个图像的所述识别结果中时选择具有用于所述识别结果的最好的评估值的图像，并且

所述图像输出控制装置将在所述识别结果评估装置中选择的所述图像与所述图像的识别结果和补充信息一起输出。

12.根据权利要求11所述的图像处理设备，

其中所述识别结果评估装置检查被存储在所述图像暂时存储装置中的所述多个图像的字符的识别结果，并且当即使字符被包括在一个图像中但是对于所有字符的识别结果来说评估值不好时，向所述图像输出控制装置通知该效果，并且

所述图像输出控制装置将从所述识别结果评估装置通知的所述图像与所述图像的补充信息和识别结果一起输出。

13.根据权利要求11或者12所述的图像处理设备，进一步包括：

多相机识别结果协作装置，所述多相机识别结果协作装置用于存储用于获得识别结果的图像的补充信息和图像中的字符的识别结果，它们是通过网络连接的另外的图像处理设备的输出，

其中所述识别结果评估装置检查被存储在所述识别结果存储装置中的识别结果和被存储在所述多相机识别结果协作装置中的识别结果，并且当同一字符串被包括在所述图像的补充信息和所述识别结果中并且所述识别结果的评估值满足预定的条件时通知所述图像输出控制装置没有输出图像；并且当被包括在被存储在所述识别结果存储装置中的所述识别结果中的字符串没有被包括在被存储在所述多相机识别结果协作装置中的所述识别结果中时或者当即使被包括在被存储在所述识别结果存储装置中的所述识别结果中的字符串被包括在被存储在所述多相机识别结果协作装置中的所述识别结果中，但是所述识别结果的评估值和所述图像的补充信息不满足所述预定条件时通知所述图像输出控制装置输出图像，并且

当从所述识别结果评估装置通知输出所述图像时，所述图像输出控制装置将所述图像、所述图像的补充信息、以及所述识别结果输出至所述网络。

14.一种图像处理方法，包括：

图像输入处理，所述图像输入处理用于连续地输入图像和与所述图像有关的补充信息；

图像暂时存储处理，所述图像暂时存储处理用于暂时地存储在所述图像输入处理中输入的所述图像；

字符提取处理，所述字符提取处理用于从在所述图像暂时存储处理中存储的所述图像中提取字符；

字符识别处理，所述字符识别处理用于识别在所述字符提取处理中提取的所述字符从而获得用于识别的字符的候选字符中的一个或者多个和每个评估值作为识别结果；

识别结果存储处理，所述识别结果存储处理用于存储在所述字符识别处理中获得的识别结果；

识别结果评估处理，所述识别结果评估处理用于基于在所述识别结果存储处理中存储的识别结果确定是否输出在所述图像暂时存储处理中存储的图像；以及

图像输出控制处理，所述图像输出控制处理用于将在所述识别结果评估处理中被确定为输出的所述图像与所述图像的补充信息以及识别结果一起输出，

其中在所述图像暂时存储处理中，暂时地存储多个图像以及其补充信息，

在所述识别结果存储处理中，存储在所述图像暂时存储处理中存储的所述多个图像的字符的识别结果，

在所述识别结果评估处理中，检查在所述图像暂时存储处理中存储的所述多个图像的所述字符的识别结果并且当同一字符串被包括在所述多个图像的所述识别结果中时选择具有用于所述识别结果的最好的评估值的图像，并且

在所述图像输出控制处理中，将在所述识别结果评估护理中选择的所述图像与所述图像的识别结果和补充信息一起输出。

15.一种使计算机执行下述步骤的图像处理程序：

图像输入步骤，所述图像输入步骤用于连续地输入图像和与所述图像有关的补充信息；

图像暂时存储步骤，所述图像暂时存储步骤用于暂时地存储在所述图像输入步骤中输入的图像；

字符提取步骤，所述字符提取步骤用于从在所述图像暂时存储步骤中存储的所述图像中提取字符；

字符识别步骤，所述字符识别步骤用于识别在所述字符提取步骤中提取的字符从而获得用于识别的字符的候选字符中的一个或者多个和每个评估值作为识别结果；

识别结果存储步骤，所述识别结果存储步骤用于存储在所述字符识别步骤中获得的所述识别结果；

识别结果评估步骤，所述识别结果评估步骤用于基于在所述识别结果存储步骤中存储的所述识别结果确定是否输出在所述图像暂时存储步骤中存储的所述图像；以及

图像输出控制步骤，所述图像输出控制步骤用于将在所述识别结果评估步骤中被确定为输出的所述图像与所述图像的补充信息和识别结果一起输出，

其中在所述图像暂时存储步骤中，暂时地存储多个图像以及其补充信息，

在所述识别结果存储步骤中，存储在所述图像暂时存储步骤中存储的所述多个图像的字符的识别结果，

在所述识别结果评估步骤中，检查在所述图像暂时存储步骤中存储的所述多个图像的字符的识别结果并且当同一字符串被包括在所述多个图像的识别结果中时选择具有用于所述识别结果的最好的评估值的图像，并且

在所述图像输出控制步骤中，将在所述识别结果评估步骤中选择的所述图像与所述图像的识别结果和补充信息一起输出。

16.一种存储介质，其中记录根据权利要求15所述的图像处理程序。

Images