CN111738127B - 实体书就位检测方法、装置、电子设备和存储介质 - Google Patents

实体书就位检测方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN111738127B
CN111738127B CN202010554010.5A CN202010554010A CN111738127B CN 111738127 B CN111738127 B CN 111738127B CN 202010554010 A CN202010554010 A CN 202010554010A CN 111738127 B CN111738127 B CN 111738127B
Authority
CN
China
Prior art keywords
detected
mark
communication
matching
place
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010554010.5A
Other languages
English (en)
Other versions
CN111738127A (zh
Inventor
汤琦璇
王晓斐
王忍宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Toycloud Technology Co Ltd
Original Assignee
Anhui Toycloud Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Toycloud Technology Co Ltd filed Critical Anhui Toycloud Technology Co Ltd
Priority to CN202010554010.5A priority Critical patent/CN111738127B/zh
Publication of CN111738127A publication Critical patent/CN111738127A/zh
Application granted granted Critical
Publication of CN111738127B publication Critical patent/CN111738127B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种实体书就位检测方法、装置、电子设备和存储介质，其中方法包括：确定就位检测区域的当前图像；对所述当前图像进行图像分割和连通域搜索，得到所述当前图像中的待检测连通区域集合；将所述就位检测区域在无实体书覆盖状态下的参考标志物中的标志连通区域集合，与所述待检测连通区域集合进行匹配，得到所述就位检测区域的实体书就位状态。本发明实施例提供的实体书就位检测方法、装置、电子设备和存储介质，对当前图像进行过图像分割和连通域搜索，得到待检测连通区域集合，并将其与参考标志物的标志连通区域集合进行匹配，得到实体书就位状态，在保证实体书就位检测的准确性的同时降低了检测方法的复杂性。

Description

实体书就位检测方法、装置、电子设备和存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种实体书就位检测方法、装置、电子设备和存储介质。
背景技术
近年来，随着阅读市场的快速扩张，绘本阅读机器人等实体书辅助阅读设备不断涌现。实体书辅助阅读设备在进行辅助阅读之前，需要判断当前实体书是否已经就位，从而决定下一步是否进行实体书检索识别。
目前的实体书就位检测方法通常包括：用户手动干预，利用硬件辅助机构感知实体书的就位状态，或是直接进行实体书检索，并根据检索结果判定当前的实体书就位状态。然而，用户手动干预的方式操作并不便利，利用硬件辅助结构的就位状态感知方法额外增加了硬件成本，而实体书检索的方式则增加了大量不必要的检索服务请求，算法耗时长且服务器处理压力较大。
发明内容
本发明实施例提供一种实体书就位检测方法、装置、电子设备和存储介质，用以解决现有技术存在的问题。
第一方面，本发明实施例提供一种实体书就位检测方法，包括：
确定就位检测区域的当前图像；
对所述当前图像进行图像分割和连通域搜索，得到所述当前图像中的待检测连通区域集合；
将所述就位检测区域在无实体书覆盖状态下的参考标志物中的标志连通区域集合，与所述待检测连通区域集合进行匹配，得到所述就位检测区域的实体书就位状态。
可选地，所述将所述就位检测区域在无实体书覆盖状态下的参考标志物中的标志连通区域集合，与所述待检测连通区域集合进行匹配，得到所述就位检测区域的实体书就位状态，具体包括：
将所述标志连通区域集合与所述待检测连通区域集合进行统计特征匹配和/或图像特征匹配，得到所述就位检测区域的实体书就位状态。
可选地，所述将所述标志连通区域集合与所述待检测连通区域集合进行统计特征匹配和图像特征匹配，得到所述就位检测区域的实体书就位状态，具体包括：
将所述标志连通区域集合与所述待检测连通区域集合进行统计特征匹配，得到统计特征匹配结果；
若所述统计特征匹配结果为不匹配，则确定所述实体书就位状态为已就位；
否则将所述标志连通区域集合与所述待检测连通区域集合进行图像特征匹配，得到图像特征匹配结果；
基于所述图像特征匹配结果确定所述实体书就位状态。
可选地，所述统计特征包括所述待检测连通区域集合中待检测连通区域的数量，和/或所述待检测连通区域集合的外接边框的边框信息。
可选地，所述将所述标志连通区域集合与所述待检测连通区域集合进行图像特征匹配，具体包括：
将所述标志连通区域集合中每一标志连通区域的外轮廓，与所述待检测连通区域集合中每一待检测连通区域的外轮廓进行匹配；
和/或，将所述标志连通区域集合的标志特征点，与所述待检测连通区域集合的待检测特征点进行匹配。
可选地，所述将所述标志连通区域集合中每一标志连通区域的外轮廓，与所述待检测连通区域集合中每一待检测连通区域的外轮廓进行匹配，具体包括：
基于任一待检测连通区域的外轮廓中相邻点之间的方位关系，确定所述任一待检测连通区域的外轮廓的轮廓编码；
将每一标志连通域的外轮廓的轮廓编码，与每一待检测连通区域的外轮廓的轮廓编码进行匹配；
其中，任一标志连通域的外轮廓的轮廓编码是基于所述任一标志连通区域的外轮廓中相邻点之间的方位关系确定得到的。
可选地，所述将所述标志连通区域集合的标志特征点，与所述待检测连通区域集合的待检测特征点进行匹配，具体包括：
基于所述标志连通区域集合的任一标志特征点的水平位置比值和垂直位置比值，确定所述任一标志特征点对应于所述待检测连通区域集合的待检测特征点；
将任一标志特征点及其对应的待检测特征点进行匹配；
其中，任一标志特征点的水平位置比值为所述任一标志特征点到所述标志连通区域集合的外接边框的垂直边框的距离与所述标志连通区域集合的外接边框的水平边框长度的比值；
任一标志特征点的垂直位置比值为所述任一标志特征点到所述标志连通区域集合的外接边框的水平边框的距离与所述标志连通区域集合的外接边框的垂直边框长度的比值。
可选地，所述将任一标志特征点及其对应的待检测特征点进行匹配，之后还包括：
若所述任一标志特征点及其对应的待检测特征点不匹配，则将所述任一标志特征点与所述对应的待检测特征点的相邻点进行匹配。
可选地，所述对所述当前图像进行图像分割和连通域搜索，具体包括：
对所述当前图像进行图像分割，得到已分割图像；
基于所述已分割图像的每一像素点，构建像素点数组；对所述像素点数组中的像素点进行连通域搜索，并将搜索过的像素点从所述像素点数组中删除。
第二方面，本发明实施例提供一种实体书就位检测装置，包括：
图像确定单元，用于确定就位检测区域的当前图像；
连通区域确定单元，用于对所述当前图像进行图像分割和连通域搜索，得到所述当前图像中的待检测连通区域集合；
就位状态确定单元，用于将所述就位检测区域在无实体书覆盖状态下的参考标志物中的标志连通区域集合，与所述待检测连通区域集合进行匹配，得到所述就位检测区域的实体书就位状态。
第三方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑命令，以执行如第一方面所提供的方法的步骤。
第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
本发明实施例提供的实体书就位检测方法、装置、电子设备和存储介质，对当前图像进行过图像分割和连通域搜索，得到待检测连通区域集合，并将其与参考标志物的标志连通区域集合进行匹配，得到实体书就位状态，在保证实体书就位检测的准确性的同时降低了检测方法的复杂性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的实体书就位检测方法的流程示意图；
图2为本发明实施例提供的就位检测区域的示意图；
图3为本发明实施例提供的实体书已就位状态下的示意图；
图4为本发明实施例提供的连通区域集合匹配方法的流程示意图；
图5为本发明实施例提供的外轮廓编码的示意图；
图6为本发明实施例提供的特征点匹配方法的流程示意图；
图7为本发明又一实施例提供的实体书就位检测方法的流程示意图；
图8为本发明实施例提供的实体书就位检测装置的结构示意图；
图9为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
近年来，由于人们逐渐重视阅读水平的提升，绘本阅读机器人等实体书辅助阅读设备不断涌现。在进行辅助阅读之前，实体书辅助阅读设备需要判断当前实体书是否已经就位，从而决定下一步是否进行实体书检索识别。
目前的实体书就位检测方法通常包括三种，即用户手动干预，利用硬件辅助机构感知实体书的就位状态，以及直接进行实体书检索，并根据检索结果判定当前的实体书就位状态。然而，用户手动干预的方式需要用户使用时先在设备的选择列表中选择需要阅读的实体书，或是通过特定按键触发告知设备当前实体书已经就位并等待识别，操作不便，且在用户需要更换实体书时需要进行重复设定，过程繁琐；利用硬件辅助结构的就位状态感知方法需要在设备上安装感知机构，例如弹片和压力传感器，额外增加了硬件成本；而实体书检索的方式直接对摄像头捕获的图像进行识别和检索，若检索失败则表明当前实体书未就位，这种方式会增加大量不必要的检索服务请求，算法耗时长且服务器处理压力较大。
对此，本发明实施例提供了一种实体书就位检测方法。图1为本发明实施例提供的实体书就位检测方法的流程示意图，如图1所示，该方法包括：
步骤110，确定就位检测区域的当前图像。
具体地，就位检测区域为实体书辅助阅读设备用于放置实体书的面板上印刷有参考标志物的固定区域。图2为本发明实施例提供的就位检测区域的示意图，如图2所示，就位检测区域为面板上的固定区域A，且其中印刷有参考标志物“ABCD”，区域B为摄像头的成像区域。另外，针对于摄像头的成像区域比就位检测区域更大的情况，可以将摄像头当前捕获的图像进行裁切，得到就位检测区域的当前图像。
步骤120，对当前图像进行图像分割和连通域搜索，得到当前图像中的待检测连通区域集合。
具体地，对当前图像进行图像分割，区分出当前图像中的前景像素和背景像素。由于图像分割时对光照亮度不敏感，因此利用图像分割方法可以很好的滤除光照亮度带来的不利影响。即使不同时刻捕获的图像的光照亮度相差很大，也不会影响后续的实体书就位检测的准确性，因此可以省略亮度检测和亮度校正的环节，降低了检测方法的复杂度和运算量并提升了实体书就位检测的速度。可选地，可以基于现有的图像分割算法对当前图像进行图像分割，例如最大类间方差(OTSU)算法，本发明实施例对此不作具体限定。为了提高图像分割的准确性，还可以在图像分割之前对当前图像进行预处理，例如图像滤波和图像增强等，本发明实施例对此不作具体限定。
对当前图像进行图像分割后，利用连通域搜索方法获取当前图像中的连通区域，即待检测连通区域。当前图像中的所有待检测连通区域组成待检测连通区域集合。在进行连通域搜索时，可以按四邻域连通规则或者八邻域连通规则进行搜索，本发明实施例对此不作具体限定。可选地，为了尽可能从多个方位表征图像的区域特征，提高连通域搜索的准确性，可以选择按八邻域连通规则搜索连通区域。
步骤130，将就位检测区域在无实体书覆盖状态下的参考标志物中的标志连通区域集合，与待检测连通区域集合进行匹配，得到就位检测区域的实体书就位状态。
具体地，当无实体书覆盖时，即就位检测区域的实体书就位状态为未就位，此时当前图像中包含就位检测区域中的参考标志物。而当用户将实体书放置于实体书辅助阅读设备的面板上等待识别时，即实体书就位状态为已就位，此时就位检测区域中的参考标志物被实体书遮盖，从而使得摄像头捕获的图像发生变化，当前图像中将不再包含该参考标志物。图3为本发明实施例提供的实体书已就位状态下的示意图，如图3所示，其中实线区域C代表放置在辅助阅读设备面板上的实体书，可见，就位检测区域A中的参考标志物被实体书遮盖，摄像头拍摄的图像中将不会出现参考标志物。
因此，为了判断就位检测区域当前的实体书就位状态，可以将参考标志物中的标志连通区域集合，与当前图像中的待检测连通区域集合进行匹配。其中，标志连通区域集合中包含有参考标志物中所有的标志连通区域。若匹配成功，即当前图像中包含有参考标志物，表明就位检测区域当前的实体书就位状态为未就位，否则，表明就位检测区域当前的实体书就位状态为已就位。由于仅需要对标志连通区域集合与待检测连通区域集合进行匹配，根据匹配结果即可得知当前的实体书就位状态，在保证实体书就位检测的准确性的同时降低了检测方法的复杂性。
本发明实施例提供的方法，对当前图像进行过图像分割和连通域搜索，得到待检测连通区域集合，并将其与参考标志物的标志连通区域集合进行匹配，得到实体书就位状态，在保证实体书就位检测的准确性的同时降低了检测方法的复杂性。
基于上述实施例，步骤130具体包括：
将标志连通区域集合与待检测连通区域集合进行统计特征匹配和/或图像特征匹配，得到就位检测区域的实体书就位状态。
具体地，将标志连通区域集合与待检测连通区域集合进行匹配，其实质是判断标志连通区域集合与待检测连通区域集合是否一致。在判断标志连通区域集合与待检测连通区域集合是否一致时，可以从两个不同方向来进行判断：从粗略匹配的角度出发，判断标志连通区域集合的统计特征与待检测连通区域集合的统计特征是否匹配；从精细匹配的角度出发，判断标志连通区域集合的图像特征与待检测连通区域集合的图像特征是否匹配。其中，统计特征可以用来描述标志连通区域集合或待检测连通区域集合在数值方面的特性，例如包含的连通区域数量，各连通区域的尺寸或尺寸比例，或者所有连通区域构成的整体的尺寸或尺寸比例等。
在对标志连通区域集合的统计特征与待检测连通区域集合的统计特征进行匹配时，统计特征的获取较简单，复杂度低且运算量小，且实质上匹配的是数值，匹配效率较高，因此能够加快整个检测方法的运行速度。然而，统计特征匹配属于粗略匹配，仅能确定与参考标志物中的标志连通区域集合差异较大的待检测连通区域集合。为了提高匹配的准确性，也可以对标志连通区域集合的图像特征与待检测连通区域集合的图像特征进行匹配，利用图像特征匹配分辨出与标志连通区域集合差异较小却并不一致的待检测连通区域集合。但是，图像特征匹配属于精细匹配，其复杂度和运算量相较于统计特征匹配略高。因此，还可以既进行统计特征匹配，又进行图像特征匹配，使得两种匹配方式可以优势互补，在保证特征匹配准确性的同时，尽量减小检测方法的复杂度和运算量，提升检测方法的运行速度。
另外，为了提高统计特征匹配的容错性，可以基于标志连通区域集合的统计特征设定一个阈值范围，若待检测连通区域集合的统计特征超出了这一阈值范围，则表明待检测连通区域集合与标志连通区域集合不匹配。
基于上述任一实施例，图4为本发明实施例提供的连通区域集合匹配方法的流程示意图，如图4所示，将标志连通区域集合与待检测连通区域集合进行统计特征匹配和图像特征匹配，得到就位检测区域的实体书就位状态，具体包括：
步骤131，将标志连通区域集合与待检测连通区域集合进行统计特征匹配，得到统计特征匹配结果；
步骤132，若统计特征匹配结果为不匹配，则确定实体书就位状态为已就位；
步骤133，否则将标志连通区域集合与待检测连通区域集合进行图像特征匹配，得到图像特征匹配结果；
步骤134，基于图像特征匹配结果确定实体书就位状态。
具体地，首先将标志连通区域集合与待检测连通区域集合进行统计特征匹配，得到统计特征匹配结果。其中，统计特征匹配结果用于表明标志连通区域集合的统计特征与待检测连通区域集合的统计特征是否匹配。由于实体书已就位时，参考标志物会被实体书遮盖，此时待检测连通区域集合的统计特征会与参考标志物的标志连通区域集合差异很大。因此，若统计特征匹配结果为不匹配，即可表明当前参考标志物已被遮盖，实体书就位状态为已就位，无需再执行后续步骤。
由于统计特征匹配为粗略匹配，其仅能确定与标志连通区域集合差异较大的待检测连通区域集合，因此，若统计特征匹配结果为匹配，也不能说明当前图像中包含参考标志物，需要进行更精细的匹配。故需要在此基础上，将标志连通区域集合与待检测连通区域集合进行图像特征匹配，得到图像特征匹配结果。其中，图像特征匹配结果用于表明标志连通区域集合的图像特征与待检测连通区域集合的图像特征是否匹配。然后，基于图像特征匹配结果确定实体书就位状态。具体而言，若图像特征匹配结果为匹配，则确定实体书就位状态为未就位，否则确定实体书就位状态为已就位。
本发明实施例提供的方法，首先将标志连通区域集合与待检测连通区域集合进行统计特征匹配，可以迅速确定与标志连通区域集合差异很大的待检测连通区域集合，从而确定实体书就位状态为已就位，减小了检测方法的复杂度和运算量，提升了检测方法的运行速度。若统计特征匹配结果为匹配，则将标志连通区域集合与待检测连通区域集合进行图像特征匹配，保证了就位检测的准确性。
基于上述任一实施例，统计特征包括待检测连通区域集合中待检测连通区域的数量，和/或待检测连通区域集合的外接边框的边框信息。
具体地，由于参考标志物是统一绘制于各个辅助阅读设备的面板上的，因此参考标志物中的标志连通区域集合中标志连通区域的数量是固定的，且不会随摄像头的角度或位置以及环境光照的变化而发生改变。当实体书就位时，参考标志物会被完全遮盖，此时当前图像中的待检测连通区域集合中待检测连通区域的数量会与标志连通区域集合中标志连通区域的数量相差较大。因此，可以将待检测连通区域集合中待检测连通区域的数量作为待检测连通区域集合的统计特征，以供进行统计特征匹配。
除此之外，参考标志物中的标志连通区域集合的外接边框的边框信息也是固定的。此处，边框信息可以包括外接边框的尺寸和/或外接边框的宽高比。其中，外接边框的宽高比不会随着摄像头的角度和位置变化发生明显改变。当实体书就位时，当前图像中的待检测连通区域集合的外接边框的边框信息也会与标志连通区域集合的外接边框的边框信息相差较大。因此，还可以将待检测连通区域集合的外接边框的边框信息作为待检测连通区域集合的统计特征，以供进行统计特征匹配。为了提高统计特征匹配的精确性，也可以将待检测连通区域集合中待检测连通区域的数量，以及待检测连通区域集合的外接边框的边框信息均作为待检测连通区域集合的统计特征。可选地，还可以先基于其中一种统计特征进行统计特征匹配，在匹配结果为匹配的情况下，再基于另一种统计特征进行统计特征匹配。
本发明实施例提供的方法，将待检测连通区域集合中待检测连通区域的数量，和/或待检测连通区域集合的外接边框的边框信息作为统计特征，提高了实体书就位检测方法对于摄像头的方位角度以及参考标志物的位置偏差的兼容性和鲁棒性。
基于上述任一实施例，考虑到各个辅助阅读设备上参考标志物的印刷位置和水平角度可能不一致，导致参考标志物出现旋转倾斜。在实体书未就位时，当前图像中包含的可能是旋转倾斜的参考标志物。因此，为了正确获取待检测连通区域集合的外接边框的边框信息以及待检测连通区域集合的图像特征，可以对当前图像进行倾斜检测。
倾斜检测时，可以首先确定每一待检测连通区域的质心。对于任一待检测连通区域，该待检测连通区域的质心的横纵坐标需要满足，在该待检测连通区域中，各像素点与质心的横坐标差值与该像素点像素值的乘积之和为0，且各像素点与质心的纵坐标差值与该像素点像素值的乘积之和为0，即满足以下条件：
对上式进行求解，可以计算得到该待检测连通区域的质心的横纵坐标：
其中，i为该待检测连通区域中像素点的横坐标，j为该待检测连通区域中像素点的纵坐标，p(i，j)为像素点(i，j)的像素值，top、bottom、left和right分别为该待检测连通区域的所有像素点中最小的纵坐标、最大的纵坐标、最小的横坐标和最大的横坐标，x和y分别为质心的横坐标和纵坐标。
对于标准无倾斜的参考标志物，其标志连通区域的质心坐标连线与图像水平线所成角度是固定的，该连线的斜率也是固定的。为了不受限于某种具体的标志物图像，可以取标准无倾斜的参考标志物中最左侧标志连通域质心与最右侧标志连通域质心之间的连线，将该连线与图像水平线之间的夹角记为标准角度θ0，该连线的斜率记为标准斜率k0。同样地，计算当前图像中，最左侧待检测连通域质心与最右侧待检测连通域质心的连线，与图像水平线之间的夹角θ，以及该连线的斜率k。若k＝k0，且θ＝θ0，则当前图像未发生倾斜，否则基于θ和θ0计算当前图像的倾斜角度，并将当前图像进行倾斜校正。
若对当前图像进行了倾斜校正，则需要更新待检测连通区域集合中每一待检测连通区域的像素点坐标。基于待检测连通区域集合中每一待检测连通区域的像素点坐标，可以确定待检测连通区域集合的外接边框。可选地，可以遍历每一待检测连通区域的像素点，确定最小的横坐标L、最大的横坐标R、最小的纵坐标T，以及最大的纵坐标B，即可得到一个四元组(L,R,T,B)。基于该四元组，即可确定待检测连通区域集合的外接边框。其中，该外接边框的宽w和高h分别为：
w＝R-L+1
h＝R-L+1
基于上述任一实施例，将标志连通区域集合与待检测连通区域集合进行图像特征匹配，具体包括：
步骤1301，将标志连通区域集合中每一标志连通区域的外轮廓，与待检测连通区域集合中每一待检测连通区域的外轮廓进行匹配；
和/或，步骤1302，将标志连通区域集合的标志特征点，与待检测连通区域集合的待检测特征点进行匹配。
具体地，由于连通区域的外轮廓表征了该连通区域的边缘信息和形状信息，将标志连通区域集合中每一标志连通区域的外轮廓，与待检测连通区域集合中每一待检测连通区域的外轮廓进行轮廓匹配，可以准确地判断得知待检测连通区域集合是否与标志连通区域集合一致，进而得到实体书就位状态。若标志连通区域集合中每一标志连通区域都有相匹配的待检测连通区域，则说明当前图像中存在与参考标志物轮廓相似的目标，其图像特征匹配结果为匹配；若每一标志连通区域均没有相匹配的待检测连通区域，则说明参考标志物被完全遮盖，其图像特征匹配结果为不匹配。另外，若只有部分标志连通区域存在相匹配的待检测连通区域，说明参考标志物被部分遮盖，未达到最佳识别位置，其图像特征匹配结果也为匹配。
除此之外，图像特征点由于能够反映图像本质特征、标识图像中的目标物体，因此能够有效提高图像匹配的精确度。为了确保匹配的精确度，以保证实体书就位检测的准确性，还可以将标志连通区域集合的标志特征点，与待检测连通区域集合的待检测特征点进行匹配。其中，标志特征点为标志连通区域集合的特征点，待检测特征点为待检测连通区域集合的特征点。可选地，还可以既将标志连通区域集合中每一标志连通区域的外轮廓，与待检测连通区域集合中每一待检测连通区域的外轮廓进行匹配，又将标志连通区域集合的标志特征点，与待检测连通区域集合的待检测特征点进行匹配，两种不同的图像特征匹配方式可以互相补充，进一步提高匹配的精确度。
需要说明的是，可以仅执行步骤1301，也可以仅执行步骤1302，还可以既执行步骤1301又执行步骤1302，本发明实施例对此不作具体限定。可选地，还可以先执行步骤1301，在得到的匹配结果为匹配的情况下，再执行步骤1302；或者先执行步骤1302，在得到的匹配结果为匹配的情况下，再执行步骤1301。
本发明实施例提供的方法，将标志连通区域集合中每一标志连通区域的外轮廓，与待检测连通区域集合中每一待检测连通区域的外轮廓进行匹配，和/或，将标志连通区域集合的标志特征点，与待检测连通区域集合的待检测特征点进行匹配，提高了实体书就位检测方法的精确度，以及对于摄像头的方位角度以及参考标志物的位置偏差的兼容性和鲁棒性。
基于上述任一实施例，步骤1301具体包括：
步骤1301-1，基于任一待检测连通区域的外轮廓中相邻点之间的方位关系，确定该待检测连通区域的外轮廓的轮廓编码。
具体地，对于任一待检测连通区域的外轮廓，可以依据各个像素点及其相邻点之间的方位关系，对其进行编码。此处，外轮廓的编码方式应当与步骤120中连通域搜索的规则，即四邻域连通或八邻域连通保持一致。图5为本发明实施例提供的外轮廓编码的示意图。若利用八邻域连通的编码方式进行编码，对于像素点x，其各方位上的相邻点的编码如图5左侧所示，其中像素点x右侧的像素点编号为0，然后逆时针方向依次为其他相邻点编号1～7。需要说明的是，也可以顺时针方向依次为其他相邻点编号，本发明实施例对此不作具体限定。通过编号可以表示其相邻点相对于像素点x的方位关系。在此基础上，为了对该待检测连通区域外轮廓进行编码，将外轮廓中任一点作为起始点，根据上述编码规则，以顺时针方向或逆时针方向对下一个相邻点进行编码，然后重复上述步骤直至编码完外轮廓的所有像素点。对如图5右侧所示的外轮廓进行编码，并以最上方的像素点y作为起始点，得到的轮廓编码为77553221。
可选地，为了保证轮廓编码不随着起始点的变化而变化，还可进一步将得到的轮廓编码进行差分处理，即，将当前位置的编码减去前一位置的编码，得到的差值作为当前位置的编码，对于首个位置，则将末尾位置的编号减去首个位置的编号，得到的差值作为首个位置的编码。需要说明的是，若得到的差值为负数，则将该差值加8作为该位置最后的编码。例如，对轮廓编码77553221进行差分处理，得到的编码为20606707。
步骤1301-2，将每一标志连通域的外轮廓的轮廓编码，与每一待检测连通区域的外轮廓的轮廓编码进行匹配；
其中，任一标志连通域的外轮廓的轮廓编码是基于该标志连通区域的外轮廓中相邻点之间的方位关系确定得到的。
具体地，任一标志连通域的外轮廓的轮廓编码是基于该标志连通区域的外轮廓中相邻点之间的方位关系确定得到的，其编码方法与待检测连通区域的外轮廓的编码方式相同，在此不再赘述。在获得每一待检测连通区域的外轮廓的轮廓编码后，将每一标志连通域的外轮廓的轮廓编码，与每一待检测连通区域的外轮廓的轮廓编码进行匹配，以判断待检测连通区域集合是否与标志连通区域集合一致。
考虑到进行匹配的标志连通域外轮廓的轮廓编码与待检测连通区域外轮廓的轮廓编码长度不相同，为了对两个长度不相同的编码序列进行匹配，可以利用DTW(DynamicTime Warping，动态时间归整)算法进行轮廓编码的匹配。其中，DTW是语音识别领域中的进行孤立词识别的算法，本发明实施例将其引入到图像外轮廓的匹配中，使用DTW算法计算两个轮廓编码的DTW距离来表示两个外轮廓的相似度。
对于两个轮廓编码Q＝{q1，q2，...，qm}、C＝{c1，C2，...，cn}，其中Q的长度为m，C的长度为n，基于上述两个轮廓编码构建一个维度为m×n的矩阵P，其中矩阵元素P(i,j)是qi和cj的欧式里德距离。在以P(1,1)为起点、P(m,n)为终点的路径中搜索矩阵元素之和最小的路径，该路径对应的矩阵元素之和即为DTW距离。若该DTW距离小于预设阈值，即可以认为两个轮廓编码是匹配的。
本发明实施例提供的方法，利用外轮廓中相邻点之间的方位关系对待检测连通区域的外轮廓进行编码，并将编码得到的每一待检测连通区域外轮廓的轮廓编码与每一标志连通域外轮廓的轮廓编码进行匹配，减少了轮廓匹配的复杂度和运算量。
在现有的特征点匹配算法中，一类是通过ORB(Oriented FAST and RotatedBRIEF)、SIFT(Scale-Invariant Feature Transform)和SURF(Speeded Up RobustFeatures)等特征提取算法，提取关键点的特征再进行匹配，另一类是通过比较图像中同一绝对位置的像素值，确定相同位置的像素值是否一样来判定图像中像素特征的一致性。然而，第一类算法的复杂度高，运算量大，不适合用于平台资源有限的嵌入式平台，而第二类算法仅通过绝对位置来判断像素一致性，其兼容性较差，即使扩大到比较八邻域内的像素值，仍然有很大的局限性。
对此，基于上述任一实施例，图6为本发明实施例提供的特征点匹配方法的流程示意图，如图6所示，步骤1302具体包括：
步骤1302-1，基于标志连通区域集合的任一标志特征点的水平位置比值和垂直位置比值，确定该标志特征点对应于待检测连通区域集合的待检测特征点；
步骤1302-2，将任一标志特征点及其对应的待检测特征点进行匹配；
其中，任一标志特征点的水平位置比值为该标志特征点到标志连通区域集合的外接边框的垂直边框的距离与标志连通区域集合的外接边框的水平边框长度的比值；
任一标志特征点的垂直位置比值为该标志特征点到标志连通区域集合的外接边框的水平边框的距离与标志连通区域集合的外接边框的垂直边框长度的比值。
具体地，为了将标志连通区域集合的特征点和待检测连通区域集合的特征点进行匹配，需要首先基于标志连通区域集合的特征点的位置，选定待检测连通区域集合的特征点。其中，标志连通区域集合的特征点是预先根据标志连通区域集合中各标志连通区域的形状设定的。对于标志连通区域集合的任一特征点，获取该特征点的水平位置比值和垂直位置比值，并基于水平位置比值和垂直位置比值，按照等比例的原则，在待检测连通区域集合的对应位置处确定待检测特征点。其中，任一标志特征点的水平位置比值为该标志特征点到标志连通区域集合的外接边框的垂直边框的距离与标志连通区域集合的外接边框的水平边框长度的比值，该标志特征点的垂直位置比值为该标志特征点到标志连通区域集合的外接边框的水平边框的距离与标志连通区域集合的外接边框的垂直边框长度的比值。
基于该标志特征点的水平位置比值和垂直位置比值，按照相同的比值，在待检测连通区域集合的外接边框内部选定对应位置的像素点，作为该标志特征点对应的待检测特征点。例如，将标志连通区域集合的外接边框表示为(L，R，T，B)，其中，L为该外接边框的左边框横坐标，R为该外接边框的右边框横坐标，T为该外接边框的上边框纵坐标，B为该外接边框的下边框纵坐标；该标志特征点的横纵坐标分别为x和y。该标志特征点的水平位置比值为或/>垂直位置比值为/>或/>那么，该标志特征点对应的待检测特征点的横纵坐标xt和yt的水平位置比值和垂直位置比值应当与该标志特征点的水平位置比值和垂直位置比值相同，即满足：
对上式求解可得待检测特征点的横纵坐标xt和yt：
或/>/>
或/>
选定每一标志特征点对应的待检测特征点后，将每一标志特征点及其对应的待检测特征点进行特征点匹配。若任一标志特征点及其对应的待检测特征点的像素值相同，即表明该标志特征点及其对应的待检测特征点相匹配；否则，认为该标志特征点及其对应的待检测特征点不匹配。若每一标志特征点均与其对应的待检测特征点相匹配，则认为待检测连通区域集合与标志连通区域集合是一致的，即实体书就位状态为未就位，否则认为待检测连通区域集合与标志连通区域集合不一致，即实体书就位状态为已就位。
本发明实施例提供的方法，利用标志特征点的水平位置比值和垂直位置比值，确定该标志特征点对应于待检测连通区域集合的待检测特征点，从而进行特征点的匹配，保证了特征点匹配的准确性，同时降低了特征点匹配的复杂度和运算量。
基于所述任一实施例，步骤1302-2之后还包括：
若所述任一标志特征点及其对应的待检测特征点不匹配，则将所述任一标志特征点与所述对应的待检测特征点的相邻点进行匹配。
具体地，为了提高特征点匹配对位置偏移的鲁棒性，在任一标志特征点及其对应的待检测特征点不匹配时，还需将该标志特征点与其对应的待检测特征点的相邻点进行匹配。若该标志特征点的像素值与待检测特征点的任一相邻点的像素值相同，也可以表明该标志特征点及其对应的待检测特征点相匹配，否则，可以认为该标志特征点及其对应的待检测特征点不匹配。
现有的连通域搜索方式，每开始搜索一个连通区域时，均从图像的左上角开始遍历，依次查找每个像素点直到找到未被访问的像素点，再进行连通区域的判断，导致有大量的重复遍历操作，效率欠佳。
对此，基于上述任一实施例，步骤120具体包括：
对当前图像进行图像分割，得到已分割图像；基于已分割图像的每一像素点，构建像素点数组；对像素点数组中的像素点进行连通域搜索，并将搜索过的像素点从像素点数组中删除。
具体地，在对当前图像进行分割后，可以得到能够区分背景像素和前景像素的已分割图像。在已分割图像的基础上，进行连通域搜索。但是，在开始连通域搜索之前，会先基于已分割图像的每一像素点，构建像素点数组。其中，像素点数组用来保存已分割图像中未被访问的像素点。构建像素点数组时，可以从已分割图像左上角开始逐行存储所有像素点的信息，即像素点数组的首元素为已分割图像的左上角像素点，尾元素为已分割图像的右下角像素点。实际进行连通域搜索时，仅在像素点数组的像素点中进行查找，且每个搜索过的像素点均会从像素点数组中删除。
可选地，从像素点数组的首元素开始访问，若该像素点的像素值为255，即该像素点是前景像素点，则认为其属于当前连通区域的点。再以该点为中心访问其相邻点，例如其四邻域或者八邻域中的相邻点。若其相邻点满足既在像素点数组中又属于前景像素点的条件，则继续搜索该相邻点的四邻域相邻点或八邻域相邻点，直至搜索到的相邻点均不满足上述既在像素点数组中又属于前景像素点的条件，即已获得当前连通区域完整的像素点点集，便可结束当前连通区域的搜索，开始下一连通区域的搜索。搜索过程中，每个被访问过的像素点均需要从像素点数组中删除，始终保持像素点数组中的像素点均为未被访问过的像素点，搜索像素点时均从像素点数组中寻找像素点，以大幅减少遍历次数。若当前连通区域搜索完成后，当前连通区域的像素点数量小于预设阈值，表明该连通区域过小，可将其视为噪点或干扰忽略。当像素点数组为空时，表示遍历结束，可以结束连通域搜索，得到待检测连通区域集合。
本发明实施例提供的方法，对像素点数组中的像素点进行连通域搜索，并将搜索过的像素点从像素点数组中删除，大幅减少了连通域搜索过程中的遍历次数，提高了连通域搜索的效率。
基于上述任一实施例，图7为本发明又一实施例提供的实体书就位检测方法的流程示意图，如图7所示，该方法包括：
首先，获取就位检测区域的图像，并对其进行图像滤波和图像增强，得到就位检测区域的当前图像，再对当前图像进行图像分割以及连通域搜索，得到当前图像中的待检测连通区域集合；
然后，判断待检测连通区域集合中待检测连通区域的数量n是否满足n>maxN或n<minN，其中maxN为基于标志连通区域集合的标志连通区域数量设定的连通区域数量最大值，minN为设定的连通区域数量最小值。
若n满足上述条件，则认为标志连通区域集合与待检测连通区域集合差异很大，即当前的实体书就位状态为已就位，可以进入后续的识别检索环节；否则，对当前图像进行图像倾斜检测，若当前图像发生倾斜，则对其进行倾斜校正，并更新待检测连通区域集合，否则不必对其进行处理。
然后，获取待检测连通区域集合的外接边框，并计算该外接边框的宽高比scale。若scale满足scale>maxScale或scale<minScale，其中maxScale为基于标志连通区域集合的外接边框设定的宽高比最大值，minScale为设定的外接边框宽高比最小值，则可认为待检测连通区域集合的外接边框比例与标志连通区域集合的外接边框比例不一致，说明在当前图像中没有检测到参考标志物，即当前的实体书就位状态为已就位。
否则，将标志连通区域集合中每一标志连通区域外轮廓的轮廓编码，与待检测连通区域集合中每一待检测连通区域外轮廓的轮廓编码进行匹配。若匹配结果表明标志连通区域集合与待检测连通区域集合的轮廓不匹配，可以认为在当前图像中没有检测到参考标志物，即当前的实体书就位状态为已就位。
否则，将标志连通区域集合的标志特征点，与待检测连通区域集合的待检测特征点进行匹配，若匹配结果表明标志连通区域集合的标志特征点与待检测连通区域集合的待检测特征点匹配，则可以认为当前图像中存在参考标志物，当前的实体书就位状态为未就位，继续下一帧的实体书就位检测。否则，确定当前的实体书就位状态为已就位。
基于所述任一实施例，图8为本发明实施例提供的实体书就位检测装置的结构示意图，如图8所示，该装置包括图像确定单元810、连通区域确定单元820和就位状态确定单元830。
其中，图像确定单元810用于确定就位检测区域的当前图像；
连通区域确定单元820用于对当前图像进行图像分割和连通域搜索，得到当前图像中的待检测连通区域集合；
就位状态确定单元830用于将就位检测区域在无实体书覆盖状态下的参考标志物中的标志连通区域集合，与待检测连通区域集合进行匹配，得到就位检测区域的实体书就位状态。
本发明实施例提供的装置，对当前图像进行过图像分割和连通域搜索，得到待检测连通区域集合，并将其与参考标志物的标志连通区域集合进行匹配，得到实体书就位状态，在保证实体书就位检测的准确性的同时降低了检测方法的复杂性。
基于所述任一实施例，就位状态确定单元830具体用于：
将标志连通区域集合与待检测连通区域集合进行统计特征匹配和/或图像特征匹配，得到就位检测区域的实体书就位状态。
基于上述任一实施例，就位状态确定单元830具体用于：
将标志连通区域集合与待检测连通区域集合进行统计特征匹配，得到统计特征匹配结果；
若统计特征匹配结果为不匹配，则确定实体书就位状态为已就位；
否则将标志连通区域集合与待检测连通区域集合进行图像特征匹配，得到图像特征匹配结果；
基于图像特征匹配结果确定实体书就位状态。
本发明实施例提供的装置，首先将标志连通区域集合与待检测连通区域集合进行统计特征匹配，可以迅速确定与标志连通区域集合差异很大的待检测连通区域集合，从而确定实体书就位状态为已就位，减小了检测方法的复杂度和运算量，提升了检测方法的运行速度。若统计特征匹配结果为匹配，则将标志连通区域集合与待检测连通区域集合进行图像特征匹配，保证了就位检测的准确性。
基于上述任一实施例，统计特征包括待检测连通区域集合中待检测连通区域的数量，和/或待检测连通区域集合的外接边框的边框信息。
本发明实施例提供的装置，将待检测连通区域集合中待检测连通区域的数量，和/或待检测连通区域集合的外接边框的边框信息作为统计特征，提高了实体书就位检测方法对于摄像头的方位角度以及参考标志物的位置偏差的兼容性和鲁棒性。
基于上述任一实施例，将标志连通区域集合与待检测连通区域集合进行图像特征匹配，具体包括：
将标志连通区域集合中每一标志连通区域的外轮廓，与待检测连通区域集合中每一待检测连通区域的外轮廓进行匹配；
将标志连通区域集合的标志特征点，与待检测连通区域集合的待检测特征点进行匹配。
本发明实施例提供的装置，将标志连通区域集合中每一标志连通区域的外轮廓，与待检测连通区域集合中每一待检测连通区域的外轮廓进行匹配，和/或，将标志连通区域集合的标志特征点，与待检测连通区域集合的待检测特征点进行匹配，提高了实体书就位检测方法的精确度，以及对于摄像头的方位角度以及参考标志物的位置偏差的兼容性和鲁棒性。
基于上述任一实施例，将标志连通区域集合中每一标志连通区域的外轮廓，与待检测连通区域集合中每一待检测连通区域的外轮廓进行匹配，具体包括：
基于任一待检测连通区域的外轮廓中相邻点之间的方位关系，确定该待检测连通区域的外轮廓的轮廓编码；
将每一标志连通域的外轮廓的轮廓编码，与每一待检测连通区域的外轮廓的轮廓编码进行匹配。
本发明实施例提供的装置，利用外轮廓中相邻点之间的方位关系对待检测连通区域的外轮廓进行编码，并将编码得到的每一待检测连通区域外轮廓的轮廓编码与每一标志连通域外轮廓的轮廓编码进行匹配，减少了轮廓匹配的复杂度和运算量。
基于上述任一实施例，将标志连通区域集合的标志特征点，与待检测连通区域集合的待检测特征点进行匹配，具体包括：
基于标志连通区域集合的任一标志特征点的水平位置比值和垂直位置比值，确定该标志特征点对应于待检测连通区域集合的待检测特征点；
将任一标志特征点及其对应的待检测特征点进行匹配；
其中，任一标志特征点的水平位置比值为该标志特征点到标志连通区域集合的外接边框的垂直边框的距离与标志连通区域集合的外接边框的水平边框长度的比值；
任一标志特征点的垂直位置比值为该标志特征点到标志连通区域集合的外接边框的水平边框的距离与标志连通区域集合的外接边框的垂直边框长度的比值。
本发明实施例提供的装置，利用标志特征点的水平位置比值和垂直位置比值，确定该标志特征点对应于待检测连通区域集合的待检测特征点，从而进行特征点的匹配，保证了特征点匹配的准确性，同时降低了特征点匹配的复杂度和运算量。
基于所述任一实施例，在将任一标志特征点及其对应的待检测特征点进行匹配之后还包括：
若该标志特征点及其对应的待检测特征点不匹配，则将该标志特征点与对应的待检测特征点的相邻点进行匹配。
基于所述任一实施例，连通区域确定单元820具体用于：
对当前图像进行图像分割，得到已分割图像；
基于已分割图像的每一像素点，构建像素点数组；对像素点数组中的像素点进行连通域搜索，并将搜索过的像素点从像素点数组中删除。
本发明实施例提供的装置，对像素点数组中的像素点进行连通域搜索，并将搜索过的像素点从像素点数组中删除，大幅减少了连通域搜索过程中的遍历次数，提高了连通域搜索的效率。
图9为本发明实施例提供的电子设备的结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑命令，以执行如下方法：确定就位检测区域的当前图像；对所述当前图像进行图像分割和连通域搜索，得到所述当前图像中的待检测连通区域集合；将所述就位检测区域在无实体书覆盖状态下的参考标志物中的标志连通区域集合，与所述待检测连通区域集合进行匹配，得到所述就位检测区域的实体书就位状态。
此外，上述的存储器930中的逻辑命令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的方法，例如包括：确定就位检测区域的当前图像；对所述当前图像进行图像分割和连通域搜索，得到所述当前图像中的待检测连通区域集合；将所述就位检测区域在无实体书覆盖状态下的参考标志物中的标志连通区域集合，与所述待检测连通区域集合进行匹配，得到所述就位检测区域的实体书就位状态。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干命令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种实体书就位检测方法，其特征在于，包括：
确定就位检测区域的当前图像，所述就位检测区域为用于放置实体书的面板上包含有参考标志物的固定区域；
对所述当前图像进行图像分割和连通域搜索，得到所述当前图像中的待检测连通区域集合；
将所述就位检测区域在无实体书覆盖状态下的参考标志物中的标志连通区域集合，与所述待检测连通区域集合进行匹配，得到所述就位检测区域的实体书就位状态；
所述将所述就位检测区域在无实体书覆盖状态下的参考标志物中的标志连通区域集合，与所述待检测连通区域集合进行匹配，得到所述就位检测区域的实体书就位状态，具体包括：
将所述标志连通区域集合与所述待检测连通区域集合进行统计特征匹配和图像特征匹配，得到所述就位检测区域的实体书就位状态；若标志连通区域集合中每一标志连通区域都有相匹配的待检测连通区域，则图像特征匹配结果为匹配；若每一标志连通区域均没有相匹配的待检测连通区域，则图像特征匹配结果为不匹配；若只有部分标志连通区域存在相匹配的待检测连通区域，则图像特征匹配结果为匹配。
2.根据权利要求1所述的实体书就位检测方法，其特征在于，所述将所述标志连通区域集合与所述待检测连通区域集合进行统计特征匹配和图像特征匹配，得到所述就位检测区域的实体书就位状态，具体包括：
将所述标志连通区域集合与所述待检测连通区域集合进行统计特征匹配，得到统计特征匹配结果；
若所述统计特征匹配结果为不匹配，则确定所述实体书就位状态为已就位；
否则将所述标志连通区域集合与所述待检测连通区域集合进行图像特征匹配，得到图像特征匹配结果；
基于所述图像特征匹配结果确定所述实体书就位状态。
3.根据权利要求1所述的实体书就位检测方法，其特征在于，所述统计特征包括所述待检测连通区域集合中待检测连通区域的数量，和/或所述待检测连通区域集合的外接边框的边框信息。
4.根据权利要求2所述的实体书就位检测方法，其特征在于，所述将所述标志连通区域集合与所述待检测连通区域集合进行图像特征匹配，具体包括：
将所述标志连通区域集合中每一标志连通区域的外轮廓，与所述待检测连通区域集合中每一待检测连通区域的外轮廓进行匹配；
和/或，将所述标志连通区域集合的标志特征点，与所述待检测连通区域集合的待检测特征点进行匹配。
5.根据权利要求4所述的实体书就位检测方法，其特征在于，所述将所述标志连通区域集合中每一标志连通区域的外轮廓，与所述待检测连通区域集合中每一待检测连通区域的外轮廓进行匹配，具体包括：
基于任一待检测连通区域的外轮廓中相邻点之间的方位关系，确定所述任一待检测连通区域的外轮廓的轮廓编码；
将每一标志连通域的外轮廓的轮廓编码，与每一待检测连通区域的外轮廓的轮廓编码进行匹配；
其中，任一标志连通域的外轮廓的轮廓编码是基于所述任一标志连通区域的外轮廓中相邻点之间的方位关系确定得到的。
6.根据权利要求4所述的实体书就位检测方法，其特征在于，所述将所述标志连通区域集合的标志特征点，与所述待检测连通区域集合的待检测特征点进行匹配，具体包括：
基于所述标志连通区域集合的任一标志特征点的水平位置比值和垂直位置比值，确定所述任一标志特征点对应于所述待检测连通区域集合的待检测特征点；
将任一标志特征点及其对应的待检测特征点进行匹配；
其中，任一标志特征点的水平位置比值为所述任一标志特征点到所述标志连通区域集合的外接边框的垂直边框的距离与所述标志连通区域集合的外接边框的水平边框长度的比值；
任一标志特征点的垂直位置比值为所述任一标志特征点到所述标志连通区域集合的外接边框的水平边框的距离与所述标志连通区域集合的外接边框的垂直边框长度的比值。
7.根据权利要求6所述的实体书就位检测方法，其特征在于，所述将任一标志特征点及其对应的待检测特征点进行匹配，之后还包括：
若所述任一标志特征点及其对应的待检测特征点不匹配，则将所述任一标志特征点与所述对应的待检测特征点的相邻点进行匹配。
8.根据权利要求1-2任一项所述的实体书就位检测方法，其特征在于，所述对所述当前图像进行图像分割和连通域搜索，具体包括：
对所述当前图像进行图像分割，得到已分割图像；
基于所述已分割图像的每一像素点，构建像素点数组；对所述像素点数组中的像素点进行连通域搜索，并将搜索过的像素点从所述像素点数组中删除。
9.一种实体书就位检测装置，其特征在于，包括：
图像确定单元，用于确定就位检测区域的当前图像，所述就位检测区域为用于放置实体书的面板上包含有参考标志物的固定区域；
连通区域确定单元，用于对所述当前图像进行图像分割和连通域搜索，得到所述当前图像中的待检测连通区域集合；
就位状态确定单元，用于将所述就位检测区域在无实体书覆盖状态下的参考标志物中的标志连通区域集合，与所述待检测连通区域集合进行匹配，得到所述就位检测区域的实体书就位状态；
所述就位状态确定单元，具体用于：
将所述标志连通区域集合与所述待检测连通区域集合进行统计特征匹配和图像特征匹配，得到所述就位检测区域的实体书就位状态;若标志连通区域集合中每一标志连通区域都有相匹配的待检测连通区域，则图像特征匹配结果为匹配；若每一标志连通区域均没有相匹配的待检测连通区域，则图像特征匹配结果为不匹配；若只有部分标志连通区域存在相匹配的待检测连通区域，则图像特征匹配结果为匹配。
10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8中任一项所述的实体书就位检测方法的步骤。
11.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至8中任一项所述的实体书就位检测方法的步骤。
CN202010554010.5A 2020-06-17 2020-06-17 实体书就位检测方法、装置、电子设备和存储介质 Active CN111738127B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010554010.5A CN111738127B (zh) 2020-06-17 2020-06-17 实体书就位检测方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010554010.5A CN111738127B (zh) 2020-06-17 2020-06-17 实体书就位检测方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN111738127A CN111738127A (zh) 2020-10-02
CN111738127B true CN111738127B (zh) 2023-08-25

Family

ID=72649578

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010554010.5A Active CN111738127B (zh) 2020-06-17 2020-06-17 实体书就位检测方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN111738127B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366374A (zh) * 2013-07-12 2013-10-23 重庆大学 基于图像匹配的消防通道障碍物检测方法
CN104318206A (zh) * 2014-09-30 2015-01-28 东软集团股份有限公司 一种障碍物检测方法和装置
CN105303189A (zh) * 2014-07-29 2016-02-03 阿里巴巴集团控股有限公司 一种用于检测预定区域中特定标识图像的方法及装置
CN107895138A (zh) * 2017-10-13 2018-04-10 西安艾润物联网技术服务有限责任公司 空间障碍物检测方法、装置及计算机可读存储介质
CN108460385A (zh) * 2018-03-02 2018-08-28 山东超越数控电子股份有限公司 一种文本图像分割方法与装置
CN108460388A (zh) * 2018-01-18 2018-08-28 深圳市易成自动驾驶技术有限公司 定位标志的检测方法、装置及计算机可读存储介质
CN109034002A (zh) * 2018-07-04 2018-12-18 安徽淘云科技有限公司 实体书检测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103366374A (zh) * 2013-07-12 2013-10-23 重庆大学 基于图像匹配的消防通道障碍物检测方法
CN105303189A (zh) * 2014-07-29 2016-02-03 阿里巴巴集团控股有限公司 一种用于检测预定区域中特定标识图像的方法及装置
CN104318206A (zh) * 2014-09-30 2015-01-28 东软集团股份有限公司 一种障碍物检测方法和装置
CN107895138A (zh) * 2017-10-13 2018-04-10 西安艾润物联网技术服务有限责任公司 空间障碍物检测方法、装置及计算机可读存储介质
CN108460388A (zh) * 2018-01-18 2018-08-28 深圳市易成自动驾驶技术有限公司 定位标志的检测方法、装置及计算机可读存储介质
CN108460385A (zh) * 2018-03-02 2018-08-28 山东超越数控电子股份有限公司 一种文本图像分割方法与装置
CN109034002A (zh) * 2018-07-04 2018-12-18 安徽淘云科技有限公司 实体书检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高宏伟.《电子封装工艺与装备技术基础研究》.西安电子科技大学出版社,2017,第256-257页. *

Also Published As

Publication number Publication date
CN111738127A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN108596197B (zh) 一种印章匹配方法及装置
CN103699905B (zh) 一种车牌定位方法及装置
CN110363202B (zh) 指针式仪表数值读取方法及计算机终端
CN108830279B (zh) 一种图像特征提取与匹配方法
US20090169066A1 (en) Multidirectonal face detection method
CN105184225B (zh) 一种多国纸币图像识别方法和装置
EP2613294A1 (en) System and method for synthesizing portrait sketch from photo
CN115457565A (zh) 一种ocr文字识别方法、电子设备及存储介质
CN106991419A (zh) 基于轮胎内壁随机纹理的防伪方法
CN110443242B (zh) 读数框检测方法、目标识别模型训练方法及相关装置
CN111626295A (zh) 车牌检测模型的训练方法和装置
CN107808165B (zh) 一种基于susan角点检测的红外图像匹配方法
CN109784328B (zh) 定位条码的方法、终端及计算机可读存储介质
CN114970590A (zh) 一种条码的检测方法
CN112699704B (zh) 一种条形码的检测方法、装置、设备、存储装置
CN108694411B (zh) 一种识别相似图像的方法
CN111738127B (zh) 实体书就位检测方法、装置、电子设备和存储介质
Nibouche et al. Rotation invariant matching of partial shoeprints
CN114882492B (zh) 一种车牌识别方法、装置、终端及计算机可读存储介质
CN114445814B (zh) 一种字符区域提取方法、计算机可读存储介质
CN116415210A (zh) 图像侵权检测方法、装置及存储介质
CN113537158B (zh) 一种图像目标检测方法、装置、设备及存储介质
CN110942073A (zh) 一种集装箱拖车编号识别方法、装置和计算机设备
CN113095102B (zh) 一种条形码区域的定位方法
CN117501326A (zh) 图像处理方法及装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 230031 China (Anhui) pilot Free Trade Zone, Hefei, Anhui province 6 / F and 23 / F, scientific research building, building 2, zone a, China sound Valley, No. 3333 Xiyou Road, high tech Zone, Hefei

Applicant after: Anhui taoyun Technology Co.,Ltd.

Address before: 230031 9th floor, building 1, tianyuandike science and Technology Park, 66 Qianshui East Road, high tech Zone, Hefei City, Anhui Province

Applicant before: ANHUI TAOYUN TECHNOLOGY Co.,Ltd.

GR01 Patent grant
GR01 Patent grant