CN111488771B - Ocr挂接方法、装置与设备 - Google Patents

Abstract

本发明提供一种OCR挂接方法、装置与设备，其中，该方法包括：获取从预定拍摄轨迹的各张图像中识别出的所有OCR文本；基于相似度算法建立各OCR文本与对应的目标兴趣点POI的关联关系；根据相邻图像间OCR文本之间的位置关系和/或已建立的关联关系中各POI之间的位置关系，优化已建立的关联关系。本发明实施例提供的OCR挂接方法，从单体和全局两个层面上实现了OCR文本的挂接，相比目前的只从单体层面实现OCR挂接的技术，可以有效的提高OCR挂接结果的准确性。

Description

OCR挂接方法、装置与设备

技术领域

本发明涉及数据处理技术领域，尤其涉及一种光学字符识别(Optical CharacterRecognition，OCR)挂接方法、装置与设备。

背景技术

电子地图可以为人们提供导航和路径规划等服务，已日趋成为人们日常生活中必不可少的应用软件之一。兴趣点(Point of Interest，POI)是电子地图基础数据的一类，包括名称、地址和坐标等属性信息，其可以是建筑物、商铺、停车场和公交站等，用户可以通过电子地图查找这些POI，从而为出行提供帮助。

目前，通过拍摄方式采集POI信息，是电子地图服务商采集POI信息的主要方式之一。对于拍摄到的图像，一般是通过OCR技术对图像中的文字进行识别，得到OCR文本；在得到OCR文本后，再通过OCR挂接方法建立OCR文本和对应POI的关联关系，然后再进一步实施后续的POI坐标优化和更新等一系列工作。

现有技术中，比较常用的OCR挂接方法是计算识别出的OCR文本与POI的相似度，如果两者相似度达到预设阈值，则建立该OCR文本与POI的关联关系。但是，这种方法得到的挂接结果，即建立的OCR文本与POI的关联关系不够准确。

发明内容

有鉴于此，本发明提供一种OCR挂接方法、装置与设备，用于提高挂接结果的准确性。

为了实现上述目的，第一方面，本发明实施例提供一种OCR挂接方法，包括：

获取从预定拍摄轨迹的各张图像中识别出的所有OCR文本，其中，预定拍摄轨迹中包含沿预定道路连续拍摄的多张图像；

基于相似度算法建立各OCR文本与对应的目标兴趣点POI的关联关系；

根据相邻图像间OCR文本之间的位置关系和/或已建立的关联关系中各POI之间的位置关系，优化已建立的关联关系，其中，相邻图像为拍摄轨迹中拍摄时间相邻的两张图像。

本发明实施例提供的OCR挂接方法，通过获取从预定拍摄轨迹的各张图像中识别出的所有OCR文本，在基于相似度算法建立各OCR文本与对应的POI的关联关系后，再根据相邻图像间OCR文本之间的位置关系和/或已建立的关联关系中各POI之间的位置关系，优化已建立的关联关系，从单体和全局两个层面上实现了OCR文本的挂接，相比目前的只从单体层面实现OCR挂接的技术，可以有效的提高OCR挂接结果的准确性。

作为本发明实施例一种可选的实施方式，基于相似度算法建立各OCR文本与对应的目标兴趣点POI的关联关系，包括：

从所有OCR文本中选择一个OCR文本作为当前OCR文本，对当前OCR文本执行挂接操作，挂接操作包括：

获得与当前OCR文本相关的至少一个POI；

采用相似度算法计算当前OCR文本与至少一个POI中各个POI的挂接置信度；

根据计算出的各个挂接置信度确定当前OCR文本的目标POI，并建立当前OCR文本与当前OCR文本的目标POI的关联关系；

从所有OCR文本中选择下一个OCR文本作为当前OCR文本，返回执行挂接操作，直至对所有OCR文本都执行完挂接操作，得到各OCR文本与对应的目标POI的关联关系。

通过从与当前OCR文本相关的多个POI中选择出目标POI建立关联关系，可以提高建立的关联关系，即挂接结果的准确性。

作为本发明实施例一种可选的实施方式，获得与当前OCR文本相关的至少一个POI，包括：

确定当前OCR文本所属图像的拍摄位置周边预设范围内的所有POI；

根据各POI与拍摄位置之间的位置关系，剔除所有POI中位置关系不符合预设条件的POI，得到至少一个POI。

通过剔除所有POI中位置关系不符合预设条件的POI，可以减少待处理的POI，提高挂接效率。

作为本发明实施例一种可选的实施方式，采用相似度算法计算当前OCR文本与至少一个POI中各个POI的挂接置信度，包括：

从至少一个POI中选择一个POI作为当前POI，对POI执行置信度确定操作，置信度确定操作包括：

采用多种相似度算法分别计算当前OCR文本与当前POI的相似度，并根据计算出的各个相似度确定当前OCR文本与当前POI的挂接置信度；

从至少一个POI中选择下一个POI作为当前POI，返回执行置信度确定操作，直至对至少一个POI中的每个POI都执行完置信度确定操作，得到当前OCR文本与至少一个POI中各个POI的挂接置信度。

通过采用多种相似度算法计算当前OCR文本与当前POI的相似度，再根据计算出的各个相似度确定当前OCR文本与当前POI的挂接置信度，可以提高挂接置信度计算结果的准确性，进而可以提高挂接结果的准确性。

作为本发明实施例一种可选的实施方式，多种相似度算法包括：

至少一种文本相似度算法和至少一种基于机器学习的相似度算法。

作为本发明实施例一种可选的实施方式，根据计算出的各个挂接置信度确定当前OCR文本的目标POI，包括：

根据计算出的各个挂接置信度确定当前OCR文本的候选POI挂接列表，当前OCR文本与候选POI挂接列表中的POI的挂接置信度大于预设阈值；

从候选POI挂接列表中确定出当前OCR文本的目标POI，其中，候选POI挂接列表中目标POI与当前OCR文本的挂接置信度最高。

通过先根据预设阈值确定候选POI挂接列表，再从候选POI挂接列表中确定出目标POI，可以保证目标POI的可靠性，进而可以提高挂接结果的准确性。

作为本发明实施例一种可选的实施方式，根据相邻图像间OCR文本之间的位置关系，优化已建立的关联关系，包括：

对拍摄轨迹中的相邻图像中位置相关的OCR文本进行拼接处理，形成新的OCR文本；

建立新的OCR文本与对应的目标POI的关联关系。

通过对OCR文本进行拼接形成新的OCR文本，建立新的OCR文本与对应的目标POI的关联关系，可以提高挂接结果的全面性。

作为本发明实施例一种可选的实施方式，对拍摄轨迹中的相邻图像中位置相关的OCR文本进行拼接处理，包括：

确定相邻图像的相邻的边缘区域上是否存在位置相对的OCR文本；

当拍摄时间相邻的两张图像的相邻的边缘区域上存在位置相对的OCR文本时，将位于边缘区域上的位置相对的OCR文本确定为位置相关的OCR文本；

对位置相关的OCR文本进行拼接处理。

作为本发明实施例一种可选的实施方式，根据已建立的关联关系中各POI之间的位置关系，优化已建立的关联关系，包括：

从预定拍摄轨迹的各个图像中选择一张图像作为当前图像，对当前图像执行离群检测操作，离群检测操作包括：

根据已建立的关联关系确定第一POI集合，第一POI集合中包括与当前图像中的OCR文本已建立关联关系的所有POI；

根据第一POI集合中各POI的位置信息，检测第一POI集合中的离群点；

从已建立的关联关系中删除第一POI集合中离群点对应的关联关系；

从各个图像中选择下一个图像作为当前图像，返回执行离群检测操作，直至对每个图像都执行完离群检测操作。

通过对每个图像中已挂接上的POI形成的第一POI集合进行离群检测，可以去除掉与第一POI集合中其他POI差异较大的POI对应的关联关系，从而可以提高挂接结果的准确性。

作为本发明实施例一种可选的实施方式，根据已建立的关联关系中各POI之间的位置关系，优化已建立的关联关系，包括：

根据已建立的关联关系确定第二POI集合，第二POI集合中包括与预定拍摄轨迹的各个图像中的OCR文本已建立关联关系的所有POI；

根据第二POI集合中各POI的位置信息，检测第二POI集合中的离群点；

从已建立的关联关系中删除第二POI集合中离群点对应的关联关系。

通过对整个拍摄轨迹中已挂接上的POI形成的第二POI集合进行离群检测，可以去除掉与第二POI集合中其他POI差异较大的POI对应的关联关系，从而可以提高挂接结果的准确性。

第二方面，本发明实施例提供一种OCR挂接装置，包括：

获取模块，用于获取从预定拍摄轨迹的各张图像中识别出的所有OCR文本，其中，预定拍摄轨迹中包含沿预定道路连续拍摄的多张图像；

挂接模块，用于基于相似度算法建立各OCR文本与对应的目标兴趣点POI的关联关系；

优化模块，用于根据相邻图像间OCR文本之间的位置关系和/或已建立的关联关系中各POI之间的位置关系，优化已建立的关联关系，其中，相邻图像为拍摄轨迹中拍摄时间相邻的两张图像。

作为本发明实施例一种可选的实施方式，挂接模块具体用于：

从所有OCR文本中选择一个OCR文本作为当前OCR文本，对当前OCR文本执行挂接操作，挂接操作包括：

获得与当前OCR文本相关的至少一个POI；

采用相似度算法计算当前OCR文本与至少一个POI中各个POI的挂接置信度；

根据计算出的各个挂接置信度确定当前OCR文本的目标POI，并建立当前OCR文本与当前OCR文本的目标POI的关联关系；

从所有OCR文本中选择下一个OCR文本作为当前OCR文本，返回执行挂接操作，直至对所有OCR文本都执行完挂接操作，得到各OCR文本与对应的目标POI的关联关系。

作为本发明实施例一种可选的实施方式，挂接模块具体用于：

确定当前OCR文本所属图像的拍摄位置周边预设范围内的所有POI；

根据各POI与拍摄位置之间的位置关系，剔除所有POI中位置关系不符合预设条件的POI，得到至少一个POI。

作为本发明实施例一种可选的实施方式，挂接模块具体用于：

从至少一个POI中选择一个POI作为当前POI，对POI执行置信度确定操作，置信度确定操作包括：

采用多种相似度算法分别计算当前OCR文本与当前POI的相似度，并根据计算出的各个相似度确定当前OCR文本与当前POI的挂接置信度；

从至少一个POI中选择下一个POI作为当前POI，返回执行置信度确定操作，直至对至少一个POI中的每个POI都执行完置信度确定操作，得到当前OCR文本与至少一个POI中各个POI的挂接置信度。

作为本发明实施例一种可选的实施方式，多种相似度算法包括：

至少一种文本相似度算法和至少一种基于机器学习的相似度算法。

作为本发明实施例一种可选的实施方式，挂接模块具体用于：

根据计算出的各个挂接置信度确定当前OCR文本的候选POI挂接列表，当前OCR文本与候选POI挂接列表中的POI的挂接置信度大于预设阈值；

从候选POI挂接列表中确定出当前OCR文本的目标POI，其中，候选POI挂接列表中目标POI与当前OCR文本的挂接置信度最高。

作为本发明实施例一种可选的实施方式，优化模块具体用于：

对拍摄轨迹中的相邻图像中位置相关的OCR文本进行拼接处理，形成新的OCR文本；

通过挂接模块建立新的OCR文本与对应的目标POI的关联关系。

作为本发明实施例一种可选的实施方式，优化模块具体用于：

确定相邻图像的相邻的边缘区域上是否存在位置相对的OCR文本；

当拍摄时间相邻的两张图像的相邻的边缘区域上存在位置相对的OCR文本时，将位于边缘区域上的位置相对的OCR文本确定为位置相关的OCR文本；

对位置相关的OCR文本进行拼接处理。

作为本发明实施例一种可选的实施方式，优化模块具体用于：

从预定拍摄轨迹的各个图像中选择一张图像作为当前图像，对当前图像执行离群检测操作，离群检测操作包括：

根据已建立的关联关系确定第一POI集合，第一POI集合中包括与当前图像中的OCR文本已建立关联关系的所有POI；

根据第一POI集合中各POI的位置信息，检测第一POI集合中的离群点；

从已建立的关联关系中删除第一POI集合中离群点对应的关联关系；

从各个图像中选择下一个图像作为当前图像，返回执行离群检测操作，直至对每个图像都执行完离群检测操作。

作为本发明实施例一种可选的实施方式，优化模块具体用于：

根据已建立的关联关系确定第二POI集合，第二POI集合中包括与预定拍摄轨迹的各个图像中的OCR文本已建立关联关系的所有POI；

根据第二POI集合中各POI的位置信息，检测第二POI集合中的离群点；

从已建立的关联关系中删除第二POI集合中离群点对应的关联关系。

上述第二方面以及上述第二方面的各可能的实施方式所提供的装置，其有益效果可以参见上述第一方面和第一方面的各可能的实施方式所带来的有益效果，在此不再赘述。

第三方面，本发明实施例提供一种OCR挂接设备，包括：存储器和处理器，存储器用于存储计算机程序；处理器用于在调用计算机程序时执行上述第一方面或第一方面的任一实施方式所述的方法。

上述第三方面以及上述第三方面的各可能的实施方式所提供的OCR挂接设备，其有益效果可以参见上述第一方面和第一方面的各可能的实施方式所带来的有益效果，在此不再赘述。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面或第一方面的任一实施方式所述的方法。

上述第四方面以及上述第四方面的各可能的实施方式所提供的计算机可读存储介质，其有益效果可以参见上述第一方面和第一方面的各可能的实施方式所带来的有益效果，在此不再赘述。

附图说明

图1为本发明实施例提供的OCR挂接方法的流程示意图；

图2为本发明实施例提供的挂接操作的方法流程示意图；

图3为本发明实施例提供的OCR挂接装置的结构示意图；

图4为本发明实施例提供的OCR挂接设备的结构示意图。

具体实施方式

针对目前的OCR挂接方法的挂接结果不够准确的技术问题，本发明实施例提供一种OCR挂接方法，主要是通过对于从预定拍摄轨迹的各张图像中识别出的所有OCR文本，在基于相似度算法建立各OCR文本与对应的POI的关联关系后，再根据相邻图像间OCR文本之间的位置关系和/或已建立的关联关系中各POI之间的位置关系，优化已建立的关联关系，从单体和全局两个层面实现OCR挂接，来提高OCR挂接结果的准确性。

下面结合附图，对本发明的实施例进行描述。

图1为本发明实施例提供的OCR挂接方法的流程示意图，如图1所示，本发明实施例提供的方法可以包括如下步骤：

S101、获取从预定拍摄轨迹的各张图像中识别出的所有OCR文本。

其中，预定拍摄轨迹中包含沿预定道路连续拍摄的多张图像，该预定道路可以是电子地图中的任意一条道路。

具体的，对于电子地图中的某条道路，可以预先通过采集车沿该道路进行街景采集，得到与该道路对应的街景采集数据，然后将该道路的街景采集数据存储在POI数据库中。其中，在具体采集时，可以每隔预设距离(例如1米)采集一个点(即拍摄一张图像)，对该道路连续采集的点则形成一条拍摄轨迹；在存储时，可以将该条拍摄轨迹内采集的图像，即该道路对应的采集图像按顺序存储起来，例如：建立该道路的采集数据文件夹，该文件夹中存储该道路对应的拍摄轨迹中包含的所有图像，并按照采集时间对每张图像标号，按标号顺序存储各张图像；对于每张图像，可以记录该图像的位置信息(如：经纬度坐标)、采集时间、拍摄朝向角和方向等信息。

在采集到图像之后，可以采用OCR识别算法识别出每张图像中的OCR文本，将识别出的OCR文本一并存储在POI数据库中，在具体存储时也可以按照一定的顺序存储各个OCR文本，例如：对于每张图像中识别出的OCR文本，按照识别出的先后时间顺序存储各个OCR文本。其中，识别算法可以采用现有的相关算法，例如：先对图片进行预处理，该预处理过程通常包含：灰度化、二值化、降噪、倾斜矫正、文字切分等子步骤；然后采用模型匹配或训练分类模型识别图片中的文字，再对文字进行校正等后处理。具体的POI数据库建立过程和OCR文本识别过程，本实施例都不做特别限定。

本实施例中，在进行OCR挂接时，可以从电子地图中选取一条道路(即预定道路)，从预先建立的POI数据库中获取所需的数据，例如：与该条道路相关的OCR文本，也就是从预定拍摄轨迹的各张图像中识别出的所有OCR文本，其中，该预定拍摄轨迹为该预定道路对应的拍摄轨迹。

S102、基于相似度算法建立各OCR文本与对应的POI的关联关系。

具体的，在获取到OCR文本后，遍历各个OCR文本，对遍历到的每个OCR文本，基于相似度算法建立该OCR文本与对应的POI的关联关系，即对每个OCR文本进行OCR挂接。

在具体实现时，可以从所有OCR文本中选择一个OCR文本作为当前OCR文本，对当前OCR文本执行挂接操作，其中，图2为本发明实施例提供的挂接操作的方法流程示意图，如图2所示，挂接操作可以包括如下步骤：

S201、获得与当前OCR文本相关的至少一个POI。

具体的，可以根据已有的电子地图数据库确定当前OCR文本所属图像的拍摄位置周边预设范围内的所有POI，得到与当前OCR文本相关的POI。

其中，电子地图数据库中包含POI的名称和位置信息(例如：经纬度坐标)等相关信息，在获取当前OCR文本相关的POI时，可以根据当前OCR文本所属图像的拍摄位置(例如：经纬度坐标)，查找电子地图数据库，找出坐标位于该拍摄位置周边预设范围内的所有POI，例如：在以该拍摄位置为圆心，半径为100米的圆形区域内查找所有的POI，得到与当前OCR文本相关的POI。

本实施例中，在首次得到某张图像的拍摄位置周边预设范围内的所有POI后，可以将得到的POI存储起来，在后续处理该张图像中的其他OCR文本时，可以直接调取存储的POI，得到与其他OCR文本相关的POI。

考虑到拍摄的图像有一定的视野范围，上述位于拍摄位置周边预设范围内的所有POI中会存在位于该视野范围外的一些POI，这些POI与该当前OCR文本的位置相关性比较低，在挂接时可以无需考虑这些POI。因此，为了提高挂接效率，本实施例中，在确定当前OCR文本所属图像的拍摄位置周边预设范围内的所有POI后，可以根据各POI与拍摄位置之间的位置关系，剔除所有POI中位置关系不符合预设条件的POI，得到与当前OCR文本相关的至少一个POI，即剔除位置不合理的POI，以减少待处理的POI，提高挂接效率。

具体的，可以采用现有的空间检测策略确定预设条件，剔除位置关系不符合预设条件的POI，其中，空间检测策略可以包括跨路检测策略和拍摄朝向检测策略等，在剔除POI时，可以采用至少一种空间检测策略剔除位置关系不符合预设条件的POI。下面举例说明跨路检测策略和拍摄朝向检测策略。

在跨路检测策略中，可以根据当前OCR文本所属图像的拍摄方向，剔除道路对面的POI，其中，道路对面的POI相对于该图像拍摄位置的方向与该图像的拍摄方向相反。例如：南北向道路，从南向北靠右行驶采集图像，则朝向东边拍摄路东边的街景，即图像的拍摄方向朝东，则可以根据POI与拍摄位置之间的位置关系，将位于拍摄位置西边的POI剔除。

在拍摄朝向检测策略中，可以根据当前OCR文本所属图像的拍摄朝向角，剔除方位角与拍摄朝向角所形成的夹角过大的POI。例如：以正北方向为基准，图像的拍摄朝向角为a(即图像的拍摄朝向与正北方向之间的夹角)，POI的方位角为b(即POI与该图像的拍摄位置的连线与正北方向之间的夹角)，两者形成的夹角则为b-a的绝对值；在剔除时，例如可以将夹角大于90°的POI剔除，当然，此处只是举例说明，其并非用于限定本发明。

需要说明的是，上述只是对两种空间检测策略进行简要说明，详细的实现方法可以参见现有的相关技术，本实施例对此不做特别限定，另外，空间检测策略还可以包含其他与道路的空间检测相关的策略，本实施例对此也不做特别限定。

S202、采用相似度算法计算当前OCR文本与至少一个POI中各个POI的挂接置信度。

具体的，在获得与当前OCR文本相关的至少一个POI后，可以遍历各个POI，计算当前OCR文本与每个POI的挂接置信度。

在具体计算时，可以采用常规的挂接置信度计算方法实现，即对于某个OCR文本，采用一种相似度算法计算该当前OCR文本与每个POI的挂接置信度。

考虑到常规的挂接置信度计算方法准确性不够高，为了提高挂接结果的准确性，本实施例中，可以遍历与当前OCR文本相关的至少一个POI，对于遍历到的每个POI，从多个维度计算OCR文本与该POI的相似度，综合各个相似度得到当前OCR文本与该POI的挂接置信度。

在具体实现时，可以从上述至少一个POI中选择一个POI作为当前POI，对POI执行置信度确定操作，其中，置信度确定操作包括：采用多种相似度算法分别计算当前OCR文本与当前POI的相似度，并根据计算出的各个相似度确定当前OCR文本与当前POI的挂接置信度；然后从至少一个POI中选择下一个POI作为当前POI，返回执行置信度确定操作，直至对至少一个POI中的每个POI都执行完置信度确定操作，得到当前OCR文本与至少一个POI中各个POI的挂接置信度。

本实施例中，多种相似度算法可以包括：至少一种文本相似度算法和至少一种基于机器学习的相似度算法。

其中，文本相似度算法包括TF-IDF相似度算法和核心词相似度算法等，在计算当前OCR文本与当前POI的相似度时，可以采用一种或多种文本相似度算法计算当前OCR文本与当前POI的名称的相似度。

基于机器学习的相似度算法是通过预先建立的机器学习模型预测当前OCR文本与当前POI的相似度。在建立机器学习模型时，与常规的机器学习模型建立过程一致，先获取训练数据，其中，训练数据中包含样本OCR文本的特征信息(可以包括名称和坐标)和样本POI的特征信息(可以包括名称和坐标)，以及样本OCR文本与样本POI的挂接置信度；然后选择一种机器学习算法，将这些训练数据输入该算法进行训练，得到训练后的机器学习模型；之后就可以通过训练后的机器学习模型对待预测的当前OCR文本与当前POI进行预测，得到当前OCR文本与当前POI的挂接置信度。

其中，对于机器学习算法，目前常用的有回归算法、神经网络算法、决策树算法、贝叶斯分类算法、聚类算法和支持向量机算法等其他机器学习算法。本发明实施例中，可以任意选择一种或多种算法建立一个或多个机器学习模型，采用建立的一个或多个机器学习模型预测当前OCR文本与当前POI的相似度。

在通过多种相似度算法计算出当前OCR文本与当前POI的相似度后，可以将计算出的各个相似度进行融合，得到当前OCR文本与当前POI的挂接置信度，例如：可以将各个相似度的平均值作为当前OCR文本与当前POI的挂接置信度，当然，也可以采用其他方式计算挂接置信度，本实施例对此不做特别限定。

S203、根据计算出的各个挂接置信度确定当前OCR文本的目标POI，并建立当前OCR文本与当前OCR文本的目标POI的关联关系。

在计算出当前OCR文本与各个POI的挂接置信度后，可以根据各挂接置信度从各个POI中选择符合条件的最优的POI建立关联关系。

具体实现时，可以选择挂接置信度最高的POI建立关联关系，该方式较为简单；考虑到有可能计算出的各个挂接置信度都比较低，若建立关联关系，结果会不太准确，因此，为了提高挂接结果的准确性，本实施例中，也可以先根据计算出的各个挂接置信度确定当前OCR文本的候选POI挂接列表，其中，当前OCR文本与候选POI挂接列表中的POI的挂接置信度大于预设阈值；然后从候选POI挂接列表中确定出当前OCR文本的目标POI，其中，候选POI挂接列表中目标POI与当前OCR文本的挂接置信度最高。也就是从满足预设阈值的挂接置信度中选取数值最高的挂接置信度对应的POI，建立关联关系，以提高挂接结果的准确性。其中，预设阈值可以根据需要设定，本实施例对此不做特别限定。

S204、从所有OCR文本中选择下一个OCR文本作为当前OCR文本，返回执行挂接操作，直至对所有OCR文本都执行完挂接操作，得到各OCR文本与对应的目标POI的关联关系。

具体的，在对当前OCR文本执行完挂接操作后，继续遍历下一个OCR文本，对下一个OCR文本执行上述挂接操作，直至对所有OCR文本都执行完挂接操作。

在遍历的过程中，可以按顺序遍历各个OCR文本，例如：按上述POI数据库中图像的存储顺序遍历各个图像，对遍历到的图像，按OCR文本的存储顺序遍历该图像中的各个OCR文本。

S103、根据相邻图像间OCR文本之间的位置关系和/或已建立的关联关系中各POI之间的位置关系，优化已建立的关联关系。

其中，相邻图像为拍摄轨迹中拍摄时间相邻的两张图像。

本实施例中，从单体(即单个OCR文本)角度建立好各个OCR文本与对应的POI的关联关系后，再从全局角度根据OCR文本间的位置关系和/或已建立的关联关系中各POI之间的位置关系，对已建立的关联关系进行优化。

具体的，在采集图像的过程中，有些POI的名称可能被拆分成两部分，分别位于相邻图像中，这样会识别出两个信息不全的OCR文本，在执行挂接操作时很可能挂接不上对应的POI(即无法与对应的POI建立关联关系)，因此，为了提高挂接结果的全面性，本实施例中，考虑相邻图像间OCR文本的相关性，根据相邻图像间OCR文本之间的位置关系，对已建立的关联关系进行优化。

具体实现时，可以对拍摄轨迹中的相邻图像中位置相关的OCR文本进行拼接处理，形成新的OCR文本；然后建立新的OCR文本与对应的目标POI的关联关系。

其中，在拼接时，可以遍历各图像，确定相邻图像的相邻的边缘区域上是否存在位置相对的OCR文本；当拍摄时间相邻的两张图像的相邻的边缘区域上存在位置相对的OCR文本时，将位于边缘区域上的位置相对的OCR文本确定为位置相关的OCR文本；然后对位置相关的OCR文本进行拼接处理。

具体的，在识别OCR文本时，会同时识别出OCR文本在图像中的位置，该位置例如可以通过OCR文本外接矩形框四角的像素坐标标识。在进行拼接时，对于遍历到的图像，可以根据OCR文本在图像中的位置判断是否有OCR文本位于该图像上与下一张图像相邻的边缘区域，如果有，则可以判断下一张图像上与该图像相邻的边缘区域是否也存在OCR文本；如果也存在，则可以根据OCR文本在图像中的位置判断两张图像中位于边缘区域上的OCR文本是否位置相对，然后对位置相对的OCR文本进行拼接处理，即将位置相对的OCR文本拼接在一起形成新的OCR文本。若相邻图像的边缘上均存在多个OCR文本，则可以分别对位置相对的OCR文本进行拼接处理。

需要说明的是，上述只是举例说明拼接过程，其并非用于限定本发明，具体也可以采用其他方式实现，本实施例对此不做特别限定。

在拼接完成后，就可以对拼接后形成的新的OCR文本进行前述的挂接操作，建立新的OCR文本与对应的目标POI的关联关系，此时可以将POI数据库中新的OCR文本对应的拼接前的OCR文本删除掉。其中，对于新的OCR文本，可以从与其相关的相邻图像中选择任意一张图像，将其作为该选择出的图像中的OCR文本。

为了便于理解，下面举例说明通过上述优化过程。例如：某个POI的名称为“黑马图文广告”，相邻的两张图像中，一张图像中拍摄到了“黑马”，另一张图像中拍摄到了“图文广告”，则会识别出两个OCR文本：“黑马”和“图文广告”，由于信息不全，两个OCR文本一般都挂接不上该POI。通过上述优化过程，可以确定出两个OCR文本位于两张图像的相邻的边缘区域上且位置相对，然后可以将两个OCR文本拼接在一起形成完整的新的OCR文本“黑马图文广告”，建立该新的OCR文本与该POI的关联关系。

为了提高挂接结果的准确性，本实施例中，根据已建立的关联关系中各POI之间的位置关系，对已建立的关联关系进行优化。其中，已建立的关联关系可以包括上述拼接后形成的新的OCR文本所建立的关联关系。

具体的，可以遍历拍摄轨迹中的每张图像，对于遍历到的每张图像，对与该图像中的OCR文本已建立关联关系的POI进行离群检测，剔除与其他POI差异较大的POI对应的关联关系。

具体实现时，可以从预定拍摄轨迹的各个图像中选择一张图像作为当前图像，对当前图像执行离群检测操作，其中，离群检测操作包括：根据已建立的关联关系确定第一POI集合；根据第一POI集合中各POI的位置信息，检测第一POI集合中的离群点；从已建立的关联关系中删除第一POI集合中离群点对应的关联关系；从各个图像中选择下一个图像作为当前图像，返回执行离群检测操作，直至对每个图像都执行完离群检测操作。

其中，第一POI集合中包括与当前图像中的OCR文本已建立关联关系的所有POI，例如：当前图像中的OCR文本有M个，其中N(N≤M)个OCR文本已建立关联关系，则与当前图像中的OCR文本已建立关联关系的所有POI即为对应的与该N个OCR文本已建立关联关系的POI。

本实施例中，检测离群点时，可以采用现有的相关离群点检测方法实现，例如：基于统计的离群点检测方法、基于邻近性的离群点检测方法、基于聚类的离群点检测方法和基于分类的离群点检测方法等。在遍历时，也可以按照图像在POI数据库中的存储顺序遍历，具体遍历方式本实施例不做特别限定。

上述是针对单张图像进行离群检测，为了进一步提高挂接结果的准确性，本实施例中，还可以针对整条拍摄进行离群检测。

具体实现时，可以根据已建立的关联关系确定第二POI集合；然后根据第二POI集合中各POI的位置信息，检测第二POI集合中的离群点；再从已建立的关联关系中删除第二POI集合中离群点对应的关联关系。

其中，第二POI集合中包括与预定拍摄轨迹的各个图像中的OCR文本已建立关联关系的所有POI，即第二POI集合为上述拍摄轨迹中各个图像的第一POI集合所形成的集合。

在检测第二POI集合中的离群点时，具体的离群点检测方法与上述离群点检测方法类似，此处不再赘述。

本实施例提供的OCR挂接方法，通过获取从预定拍摄轨迹的各张图像中识别出的所有OCR文本，在基于相似度算法建立各OCR文本与对应的POI的关联关系后，再根据相邻图像间OCR文本之间的位置关系和/或已建立的关联关系中各POI之间的位置关系，优化已建立的关联关系，从单体和全局两个层面上实现了OCR文本的挂接，相比目前的只从单体层面实现OCR挂接的技术，可以有效的提高OCR挂接结果的准确性。

基于同一发明构思，作为对上述方法的实现，本发明实施例提供了一种OCR挂接装置，该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。

图3为本发明实施例提供的OCR挂接装置的结构示意图，如图3所示，本实施例提供的装置包括：

获取模块110，用于获取从预定拍摄轨迹的各张图像中识别出的所有OCR文本，其中，预定拍摄轨迹中包含沿预定道路连续拍摄的多张图像；

挂接模块120，用于基于相似度算法建立各OCR文本与对应的目标兴趣点POI的关联关系；

优化模块130，用于根据相邻图像间OCR文本之间的位置关系和/或已建立的关联关系中各POI之间的位置关系，优化已建立的关联关系，其中，相邻图像为拍摄轨迹中拍摄时间相邻的两张图像。

作为本发明实施例一种可选的实施方式，挂接模块120具体用于：

从所有OCR文本中选择一个OCR文本作为当前OCR文本，对当前OCR文本执行挂接操作，挂接操作包括：

获得与当前OCR文本相关的至少一个POI；

采用相似度算法计算当前OCR文本与至少一个POI中各个POI的挂接置信度；

根据计算出的各个挂接置信度确定当前OCR文本的目标POI，并建立当前OCR文本与当前OCR文本的目标POI的关联关系；

从所有OCR文本中选择下一个OCR文本作为当前OCR文本，返回执行挂接操作，直至对所有OCR文本都执行完挂接操作，得到各OCR文本与对应的目标POI的关联关系。

进一步的，作为本发明实施例一种具体的实施方式，挂接模块120具体用于：

确定当前OCR文本所属图像的拍摄位置周边预设范围内的所有POI；

根据各POI与拍摄位置之间的位置关系，剔除所有POI中位置关系不符合预设条件的POI，得到至少一个POI。

作为本发明实施例另一种具体的实施方式，挂接模块120具体用于：

从至少一个POI中选择一个POI作为当前POI，对POI执行置信度确定操作，置信度确定操作包括：

采用多种相似度算法分别计算当前OCR文本与当前POI的相似度，并根据计算出的各个相似度确定当前OCR文本与当前POI的挂接置信度；

从至少一个POI中选择下一个POI作为当前POI，返回执行置信度确定操作，直至对至少一个POI中的每个POI都执行完置信度确定操作，得到当前OCR文本与至少一个POI中各个POI的挂接置信度。

其中，多种相似度算法可以包括：至少一种文本相似度算法和至少一种基于机器学习的相似度算法。

作为本发明实施例又一种具体的实施方式，挂接模块120具体用于：

根据计算出的各个挂接置信度确定当前OCR文本的候选POI挂接列表，当前OCR文本与候选POI挂接列表中的POI的挂接置信度大于预设阈值；

从候选POI挂接列表中确定出当前OCR文本的目标POI，其中，候选POI挂接列表中目标POI与当前OCR文本的挂接置信度最高。

作为本发明实施例一种可选的实施方式，优化模块130具体用于：

对拍摄轨迹中的相邻图像中位置相关的OCR文本进行拼接处理，形成新的OCR文本；

通过挂接模块120建立新的OCR文本与对应的目标POI的关联关系。

进一步的，作为一种可选的实现方式，优化模块130具体用于：

确定相邻图像的相邻的边缘区域上是否存在位置相对的OCR文本；

当拍摄时间相邻的两张图像的相邻的边缘区域上存在位置相对的OCR文本时，将位于边缘区域上的位置相对的OCR文本确定为位置相关的OCR文本；

对位置相关的OCR文本进行拼接处理。

作为本发明实施例另一种可选的实施方式，优化模块130具体用于：

从预定拍摄轨迹的各个图像中选择一张图像作为当前图像，对当前图像执行离群检测操作，离群检测操作包括：

根据已建立的关联关系确定第一POI集合，第一POI集合中包括与当前图像中的OCR文本已建立关联关系的所有POI；

根据第一POI集合中各POI的位置信息，检测第一POI集合中的离群点；

从已建立的关联关系中删除第一POI集合中离群点对应的关联关系；

从各个图像中选择下一个图像作为当前图像，返回执行离群检测操作，直至对每个图像都执行完离群检测操作。

作为本发明实施例又一种可选的实施方式，优化模块130具体用于：

根据已建立的关联关系确定第二POI集合，第二POI集合中包括与预定拍摄轨迹的各个图像中的OCR文本已建立关联关系的所有POI；

根据第二POI集合中各POI的位置信息，检测第二POI集合中的离群点；

从已建立的关联关系中删除第二POI集合中离群点对应的关联关系。

本实施例提供的装置可以执行上述方法实施例，其实现原理与技术效果类似，此处不再赘述。

基于同一发明构思，本发明实施例还提供了一种OCR挂接设备。图4为本发明实施例提供的OCR挂接设备的结构示意图，如图4所示，本实施例提供的OCR挂接设备包括：存储器210和处理器220，存储器210用于存储计算机程序；处理器220用于在调用计算机程序时执行上述方法实施例所述的方法。

本实施例提供的OCR挂接设备可以执行上述方法实施例，其实现原理与技术效果类似，此处不再赘述。

本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例所述的方法。

本领域技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。

处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (16)

1.一种OCR挂接方法，其特征在于，包括：

获取从预定拍摄轨迹的各张图像中识别出的所有OCR文本，其中，所述预定拍摄轨迹中包含沿预定道路连续拍摄的多张图像；

基于相似度算法建立各OCR文本与对应的目标兴趣点POI的关联关系；

根据相邻图像间OCR文本之间的位置关系和/或已建立的关联关系中各POI之间的位置关系，优化已建立的关联关系，其中，所述相邻图像为所述拍摄轨迹中拍摄时间相邻的两张图像；

所述根据相邻图像间OCR文本之间的位置关系，优化已建立的关联关系，包括：

对所述拍摄轨迹中的相邻图像中位置相关的OCR文本进行拼接处理，形成新的OCR文本；

建立所述新的OCR文本与对应的目标POI的关联关系；

或，根据已建立的关联关系中各POI之间的位置关系，优化已建立的关联关系，包括：

从所述预定拍摄轨迹的各个图像中选择一张图像作为当前图像，对所述当前图像执行离群检测操作，所述离群检测操作包括：

根据所述已建立的关联关系确定第一POI集合，所述第一POI集合中包括与所述当前图像中的OCR文本已建立关联关系的所有POI；

根据所述第一POI集合中各POI的位置信息，检测所述第一POI集合中的离群点；

从所述已建立的关联关系中删除所述第一POI集合中离群点对应的关联关系；

从所述各个图像中选择下一个图像作为当前图像，返回执行所述离群检测操作，直至对每个图像都执行完所述离群检测操作；

或，根据已建立的关联关系中各POI之间的位置关系，优化已建立的关联关系，包括：

根据所述已建立的关联关系确定第二POI集合，所述第二POI集合中包括与所述预定拍摄轨迹的各个图像中的OCR文本已建立关联关系的所有POI；

根据所述第二POI集合中各POI的位置信息，检测所述第二POI集合中的离群点；

从所述已建立的关联关系中删除所述第二POI集合中离群点对应的关联关系。

2.根据权利要求1所述的方法，其特征在于，所述基于相似度算法建立各OCR文本与对应的目标兴趣点POI的关联关系，包括：

从所述所有OCR文本中选择一个OCR文本作为当前OCR文本，对所述当前OCR文本执行挂接操作，所述挂接操作包括：

获得与所述当前OCR文本相关的至少一个POI；

采用相似度算法计算所述当前OCR文本与所述至少一个POI中各个POI的挂接置信度；

根据计算出的各个挂接置信度确定所述当前OCR文本的目标POI，并建立所述当前OCR文本与所述当前OCR文本的目标POI的关联关系；

从所述所有OCR文本中选择下一个OCR文本作为当前OCR文本，返回执行所述挂接操作，直至对所述所有OCR文本都执行完所述挂接操作，得到各OCR文本与对应的目标POI的关联关系。

3.根据权利要求2所述的方法，其特征在于，所述获得与所述当前OCR文本相关的至少一个POI，包括：

确定所述当前OCR文本所属图像的拍摄位置周边预设范围内的所有POI；

根据各所述POI与所述拍摄位置之间的位置关系，剔除所述所有POI中位置关系不符合预设条件的POI，得到所述至少一个POI。

4.根据权利要求2所述的方法，其特征在于，所述采用相似度算法计算所述当前OCR文本与所述至少一个POI中各个POI的挂接置信度，包括：

从所述至少一个POI中选择一个POI作为当前POI，对所述POI执行置信度确定操作，所述置信度确定操作包括：

采用多种相似度算法分别计算所述当前OCR文本与所述当前POI的相似度，并根据计算出的各个相似度确定所述当前OCR文本与所述当前POI的挂接置信度；

从所述至少一个POI中选择下一个POI作为当前POI，返回执行所述置信度确定操作，直至对所述至少一个POI中的每个POI都执行完所述置信度确定操作，得到当前OCR文本与所述至少一个POI中各个POI的挂接置信度。

5.根据权利要求4所述的方法，其特征在于，所述多种相似度算法包括：

至少一种文本相似度算法和至少一种基于机器学习的相似度算法。

6.根据权利要求2所述的方法，其特征在于，所述根据计算出的各个挂接置信度确定所述当前OCR文本的目标POI，包括：

根据计算出的各个挂接置信度确定所述当前OCR文本的候选POI挂接列表，所述当前OCR文本与所述候选POI挂接列表中的POI的挂接置信度大于预设阈值；

从所述候选POI挂接列表中确定出所述当前OCR文本的目标POI，其中，所述候选POI挂接列表中所述目标POI与所述当前OCR文本的挂接置信度最高。

7.根据权利要求1所述的方法，其特征在于，所述对所述拍摄轨迹中的相邻图像中位置相关的OCR文本进行拼接处理，包括：

确定相邻图像的相邻的边缘区域上是否存在位置相对的OCR文本；

当拍摄时间相邻的两张图像的相邻的边缘区域上存在位置相对的OCR文本时，将位于边缘区域上的所述位置相对的OCR文本确定为所述位置相关的OCR文本；

对所述位置相关的OCR文本进行拼接处理。

8.一种OCR挂接装置，其特征在于，包括：

获取模块，用于获取从预定拍摄轨迹的各张图像中识别出的所有OCR文本，其中，所述预定拍摄轨迹中包含沿预定道路连续拍摄的多张图像；

挂接模块，用于基于相似度算法建立各OCR文本与对应的目标兴趣点POI的关联关系；

优化模块，用于根据相邻图像间OCR文本之间的位置关系和/或已建立的关联关系中各POI之间的位置关系，优化已建立的关联关系，其中，所述相邻图像为所述拍摄轨迹中拍摄时间相邻的两张图像；

优化模块，还用于对所述拍摄轨迹中的相邻图像中位置相关的OCR文本进行拼接处理，形成新的OCR文本；建立所述新的OCR文本与对应的目标POI的关联关系，或，从所述预定拍摄轨迹的各个图像中选择一张图像作为当前图像，对所述当前图像执行离群检测操作，所述离群检测操作包括：根据所述已建立的关联关系确定第一POI集合，所述第一POI集合中包括与所述当前图像中的OCR文本已建立关联关系的所有POI；根据所述第一POI集合中各POI的位置信息，检测所述第一POI集合中的离群点；从所述已建立的关联关系中删除所述第一POI集合中离群点对应的关联关系；从所述各个图像中选择下一个图像作为当前图像，返回执行所述离群检测操作，直至对每个图像都执行完所述离群检测操作；或，根据所述已建立的关联关系确定第二POI集合，所述第二POI集合中包括与所述预定拍摄轨迹的各个图像中的OCR文本已建立关联关系的所有POI；根据所述第二POI集合中各POI的位置信息，检测所述第二POI集合中的离群点；从所述已建立的关联关系中删除所述第二POI集合中离群点对应的关联关系。

9.根据权利要求8所述的装置，其特征在于，所述挂接模块具体用于：

从所述所有OCR文本中选择一个OCR文本作为当前OCR文本，对所述当前OCR文本执行挂接操作，所述挂接操作包括：

获得与所述当前OCR文本相关的至少一个POI；

采用相似度算法计算所述当前OCR文本与所述至少一个POI中各个POI的挂接置信度；

根据计算出的各个挂接置信度确定所述当前OCR文本的目标POI，并建立所述当前OCR文本与所述当前OCR文本的目标POI的关联关系；

从所述所有OCR文本中选择下一个OCR文本作为当前OCR文本，返回执行所述挂接操作，直至对所述所有OCR文本都执行完所述挂接操作，得到各OCR文本与对应的目标POI的关联关系。

10.根据权利要求9所述的装置，其特征在于，所述挂接模块具体用于：

确定所述当前OCR文本所属图像的拍摄位置周边预设范围内的所有POI；

根据各所述POI与所述拍摄位置之间的位置关系，剔除所述所有POI中位置关系不符合预设条件的POI，得到所述至少一个POI。

11.根据权利要求9所述的装置，其特征在于，所述挂接模块具体用于：

从所述至少一个POI中选择一个POI作为当前POI，对所述POI执行置信度确定操作，所述置信度确定操作包括：

采用多种相似度算法分别计算所述当前OCR文本与所述当前POI的相似度，并根据计算出的各个相似度确定所述当前OCR文本与所述当前POI的挂接置信度；

从所述至少一个POI中选择下一个POI作为当前POI，返回执行所述置信度确定操作，直至对所述至少一个POI中的每个POI都执行完所述置信度确定操作，得到当前OCR文本与所述至少一个POI中各个POI的挂接置信度。

12.根据权利要求11所述的装置，其特征在于，所述多种相似度算法包括：

至少一种文本相似度算法和至少一种基于机器学习的相似度算法。

13.根据权利要求9所述的装置，其特征在于，所述挂接模块具体用于：

根据计算出的各个挂接置信度确定所述当前OCR文本的候选POI挂接列表，所述当前OCR文本与所述候选POI挂接列表中的POI的挂接置信度大于预设阈值；

从所述候选POI挂接列表中确定出所述当前OCR文本的目标POI，其中，所述候选POI挂接列表中所述目标POI与所述当前OCR文本的挂接置信度最高。

14.根据权利要求8所述的装置，其特征在于，所述优化模块具体用于：

确定相邻图像的相邻的边缘区域上是否存在位置相对的OCR文本；

当拍摄时间相邻的两张图像的相邻的边缘区域上存在位置相对的OCR文本时，将位于边缘区域上的所述位置相对的OCR文本确定为所述位置相关的OCR文本；

对所述位置相关的OCR文本进行拼接处理。

15.一种OCR挂接设备，其特征在于，包括：存储器和处理器，所述存储器用于存储计算机程序；所述处理器用于在调用所述计算机程序时执行如权利要求1-7任一项所述的方法。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的方法。

Images