CN110765926A - 图画书识别方法、装置、电子设备和存储介质 - Google Patents

图画书识别方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN110765926A
CN110765926A CN201911000160.5A CN201911000160A CN110765926A CN 110765926 A CN110765926 A CN 110765926A CN 201911000160 A CN201911000160 A CN 201911000160A CN 110765926 A CN110765926 A CN 110765926A
Authority
CN
China
Prior art keywords
color
picture book
depth
book
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911000160.5A
Other languages
English (en)
Other versions
CN110765926B (zh
Inventor
朱铭德
周志敏
丛林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yixian Advanced Technology Co Ltd
Original Assignee
Hangzhou Yixian Advanced Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yixian Advanced Technology Co Ltd filed Critical Hangzhou Yixian Advanced Technology Co Ltd
Priority to CN201911000160.5A priority Critical patent/CN110765926B/zh
Publication of CN110765926A publication Critical patent/CN110765926A/zh
Application granted granted Critical
Publication of CN110765926B publication Critical patent/CN110765926B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本申请提供一种图画书识别方法、装置、电子设备和存储介质，涉及图像识别技术领域。本申请预先通过深度摄像头采集的设定区域的支撑物深度图确定彩色摄像头至图画书支撑物之间的距离，在进行图画书识别时，先根据彩色摄像头至图画书支撑物之间的距离，将彩色摄像头采集的设定区域的彩色图调整至设定尺度，再利用调整至设定尺度的彩色图与预存的图画书模板进行匹配，确定与彩色图中的图画书区域相匹配的目标模板。该方法不需要将彩色图缩放到多个不同的尺度分别与预存的图画书模板进行匹配，可以大幅度地提升图画书的识别效率。

Description

图画书识别方法、装置、电子设备和存储介质
技术领域
本申请涉及图像识别技术领域，特别涉及一种图画书识别方法、装置、电子设备和存储介质。
背景技术
图画书是一种以图画为主体讲述故事或科普知识的图书，包括图画读物、图画故事、连环画、绘本等。目前，大部分图画书以儿童为主要受众，以适合儿童阅读的内容为取向，图画书可以帮助孩子了解世界，学习知识，更重要的是可以帮助孩子培养对于阅读的爱好和兴趣。
以绘本为例，为了帮助儿童阅读绘本，可以对绘本进行识别，通过音频等形式播放绘本内容。目前，绘本识别方法主要有使用点读笔对绘本进行识别或通过图像识别技术对绘本进行识别。使用点读笔对绘本进行识别时，一般通过笔尖的光电识别器来识别绘本中隐藏的二维点读码，然后根据点读码获取对应的音频进行播放，该方式只适用于有点读码的绘本，通常点读笔和绘本配套使用。
通过图像识别技术对绘本进行识别的应用场景更广泛，不需要预先对绘本进行特殊处理。采用现有的图像识别方法对绘本进行识别时，由于每次进行识别时，绘本与摄像头之间的距离可能不同，导致摄像头采集的图像中绘本的尺度不同，在将摄像头采集的图像中的绘本与预存的绘本库中的绘本模板进行匹配识别时，需要反复进行多个不同尺度的匹配操作，因此识别效率很低。
发明内容
本申请实施例提供一种图画书识别方法、装置、电子设备和存储介质，用以解决现有技术中图画书的识别效率低的问题。
第一方面，本申请实施例提供了一种图画书识别方法，包括：
根据彩色摄像头至图画书支撑物之间的距离，将彩色摄像头采集的设定区域的彩色图调整至设定尺度；其中，所述彩色摄像头至图画书支撑物之间的距离是根据与所述彩色摄像头对应设置的深度摄像头采集的所述设定区域的支撑物深度图确定的；
确定与调整至设定尺度的彩色图中的图画书区域相匹配的目标模板。
本申请实施例提供的图画书识别方法，预先通过深度摄像头采集的设定区域的支撑物深度图确定彩色摄像头至图画书支撑物之间的距离，在进行图画书识别时，先根据彩色摄像头至图画书支撑物之间的距离，将彩色摄像头采集的设定区域的彩色图调整至设定尺度，再利用调整至设定尺度的彩色图与预存的图画书模板进行匹配，确定与彩色图中的图画书区域相匹配的目标模板。该方法不需要将彩色图缩放到多个不同的尺度分别与预存的图画书模板进行匹配，可以大幅度地提升图画书的识别效率。
在一种可能的实现方式中，所述确定与调整至设定尺度的彩色图中的图画书区域相匹配的目标模板，包括：
提取所述彩色图的图画书区域的特征点和每个特征点的特征向量；
对于预存的任意一个图画书模板，根据所述图画书模板中每个特征点的特征向量和所述彩色图的图画书区域的每个特征点的特征向量，确定所述图画书模板与所述彩色图的图画书区域的匹配点对集合，所述匹配点对集合中包括由图画书模板的特征点与所述彩色图中相匹配的特征点组成的匹配点对；
根据从所述匹配点对集合中获取的预设数量的匹配点对，确定表征所述彩色图对应的彩色坐标系与所述图画书模板之间的坐标映射关系；
根据所述彩色坐标系与所述图画书模板之间的坐标映射关系，对所述图画书模板与所述彩色图进行特征点的几何验证；
若所述图画书模板通过几何验证，则将所述图画书模板确定为目标模板。
在一种可能的实现方式中，所述确定与调整至设定尺度的彩色图中的图画书区域相匹配的目标模板之后，所述方法还包括：
确定所述彩色图中的图画书在所述彩色坐标系中的位置；
将所述图画书在所述彩色坐标系中的位置转换成投影模块对应的投影坐标系中的投影位置；
根据所述投影位置将所述图画书和/或所述目标模板对应的动画投影到对应位置。
在一种可能的实现方式中，所述确定所述彩色图中的图画书在所述彩色摄像头对应的彩色坐标系中的位置，包括：
根据所述目标模板和所述彩色坐标系与所述图画书模板之间的坐标映射关系，确定所述彩色图中的图画书在所述彩色坐标系中的位置。
在一种可能的实现方式中，所述将所述图画书在所述彩色坐标系中的位置转换成投影模块对应的投影坐标系中的投影位置，包括：
根据预存的彩色坐标系与所述深度摄像头对应的深度坐标系之间的坐标映射关系，将所述图画书的像素点在所述彩色坐标系中的位置坐标转换为在所述深度坐标系中的位置坐标；
根据所述深度摄像头采集的深度图确定像素点在所述深度坐标系中的位置坐标对应的深度值；
根据预存的深度坐标系与所述投影坐标系之间的坐标映射关系，将所述像素点在所述深度坐标系中的位置坐标和深度值转换成所述投影坐标系中的投影坐标。
在一种可能的实现方式中，所述彩色摄像头至图画书支撑物之间的距离通过如下步骤确定：
获取所述深度摄像头采集的所述设定区域的支撑物深度图；
根据所述支撑物深度图确定所述深度摄像头至图画书支撑物之间的距离；
根据所述深度摄像头至图画书支撑物之间的距离以及预存的所述深度摄像头与所述彩色摄像头之间的位置关系，确定所述彩色摄像头至图画书支撑物之间的距离。
上述方法中，根据深度摄像头采集的设定区域的支撑物深度图，可以确定深度摄像头至图画书支撑物之间的距离。通过预存的深度摄像头与所述彩色摄像头之间的位置关系，根据深度摄像头至图画书支撑物之间的距离，确定彩色摄像头至图画书支撑物之间的距离。彩色摄像头至图画书支撑物之间的距离不同，所采集的彩色图的尺度也不同。该方法通过设置深度摄像头，可以确定彩色摄像头至图画书支撑物之间的距离，有助于实现将任意距离对应的不同尺度的彩色图快速调整至统一的设定尺度。
在一种可能的实现方式中，所述将彩色摄像头采集的设定区域的彩色图调整至设定尺度，包括：
在确定图画书区域不存在干扰物后，将彩色摄像头采集的设定区域的彩色图调整至设定尺度。
在一种可能的实现方式中，所述方法还包括：
若监测到移动图画书的动作且所述移动图画书的动作完成，通过将所述目标模板与所述彩色摄像头采集的当前帧彩色图确定图画书是否被移动；
若确定图画书被移动，则重新确定所述当前帧彩色图中的图画书在所述彩色摄像头对应的彩色坐标系中的位置。
在一种可能的实现方式中通过下列过程判断是否监测到移动图画书的动作：
若所述深度摄像头采集的当前帧深度图中的图画书区域存在干扰物，则确定所述当前帧深度图中像素点深度值位于第一设定区间内的第一前景区域；所述当前帧深度图中的图画书区域是将所述当前帧深度图与所述支撑物深度图进行像素点深度值比对得到的；
若所述第一前景区域的面积大于或等于第一设定面积，则确定监测到移动图画书的动作；
确定监测到移动图画书的动作之后，通过下列过程判断移动图画书的动作是否完成：
若所述深度摄像头采集的当前帧深度图中的图画书区域不存在干扰物，则确定移动图画书的动作完成。
上述方法中，通过深度摄像头采集的深度图，可以准确判断是否发生移动图画书的动作，以及移动图画书的动作是否完成。
在一种可能的实现方式中，所述方法还包括：
若监测到移动图画书的动作，判断是否发生翻书动作；
若发生翻书动作并且所述翻书动作完成，根据所述彩色摄像头采集的当前帧彩色图确定与所述当前帧彩色图中的图画书区域相匹配的目标模板。
在一种可能的实现方式中，所述若监测到移动图画书的动作，判断是否发生翻书动作，包括：
若监测到移动图画书的动作，确定所述当前帧深度图中像素点深度值位于第二设定区间内的第二前景区域；
若所述第二前景区域的面积大于或等于第二设定面积，则确定监测到翻书动作；
确定监测到翻书动作之后，通过下列过程判断翻书动作是否完成：
若深度摄像头采集的当前帧深度图中的图画书区域不存在干扰物，则确定翻书动作完成。
上述方法中，通过深度摄像头采集的设定区域的深度图，可以准确判断是否发生翻书动作，以及翻书动作是否完成。
在一种可能的实现方式中，通过下列过程判断图画书区域是否存在干扰物：
在当前帧深度图的图画书区域内进行轮廓提取；
若提取的轮廓中至少一个轮廓与图画书区域边缘的连接区段的长度大于或等于设定阈值，则确定所述图画书区域存在干扰物；
否则，确定所述图画书区域不存在干扰物。
上述方法中，通过深度摄像头采集的设定区域的深度图，可以快速确定图画书区域是否存在干扰物。
第二方面，本申请实施例提供了一种图画书识别装置，包括：
尺度调整单元，用于根据彩色摄像头至图画书支撑物之间的距离，将彩色摄像头采集的设定区域的彩色图调整至设定尺度；其中，所述彩色摄像头至图画书支撑物之间的距离是根据与所述彩色摄像头对应设置的深度摄像头采集的所述设定区域的支撑物深度图确定的；
图像识别单元，用于确定与调整至设定尺度的彩色图中的图画书区域相匹配的目标模板。
在一种可能的实现方式中，所述图像识别单元，还用于：提取所述彩色图的图画书区域的特征点和每个特征点的特征向量；
对于预存的任意一个图画书模板，根据所述图画书模板中每个特征点的特征向量和所述彩色图的图画书区域的每个特征点的特征向量，确定所述图画书模板与所述彩色图的图画书区域的匹配点对集合，所述匹配点对集合中包括由图画书模板的特征点与所述彩色图中相匹配的特征点组成的匹配点对；
根据从所述匹配点对集合中获取的预设数量的匹配点对，确定表征所述彩色图对应的彩色坐标系与所述图画书模板之间的坐标映射关系；
根据所述彩色坐标系与所述图画书模板之间的坐标映射关系，对所述图画书模板与所述彩色图进行特征点的几何验证；
若所述图画书模板通过几何验证，则将所述图画书模板确定为目标模板。
在一种可能的实现方式中，所述装置还包括定位及投影单元，用于：
确定所述彩色图中的图画书在所述彩色坐标系中的位置；
将所述图画书在所述彩色坐标系中的位置转换成投影模块对应的投影坐标系中的投影位置；
根据所述投影位置将所述图画书和/或所述目标模板对应的动画投影到对应位置。
在一种可能的实现方式中，所述定位及投影单元，还用于：
根据所述目标模板和所述彩色坐标系与所述图画书模板之间的坐标映射关系，确定所述彩色图中的图画书在所述彩色坐标系中的位置。
在一种可能的实现方式中，所述定位及投影单元，还用于：
根据预存的彩色坐标系与所述深度摄像头对应的深度坐标系之间的坐标映射关系，将所述图画书的像素点在所述彩色坐标系中的位置坐标转换为在所述深度坐标系中的位置坐标；
根据所述深度摄像头采集的深度图确定像素点在所述深度坐标系中的位置坐标对应的深度值；
根据预存的深度坐标系与所述投影坐标系之间的坐标映射关系，将所述像素点在所述深度坐标系中的位置坐标和深度值转换成所述投影坐标系中的投影坐标。
在一种可能的实现方式中，所述装置还包括距离确定单元，用于：
获取所述深度摄像头采集的所述设定区域的支撑物深度图；
根据所述支撑物深度图确定所述深度摄像头至图画书支撑物之间的距离；
根据所述深度摄像头至图画书支撑物之间的距离以及预存的所述深度摄像头与所述彩色摄像头之间的位置关系，确定所述彩色摄像头至图画书支撑物之间的距离。
在一种可能的实现方式中，所述尺度调整单元，还用于：
在确定图画书区域不存在干扰物后，将彩色摄像头采集的设定区域的彩色图调整至设定尺度。
在一种可能的实现方式中，所述定位及投影单元，还用于：
若监测到移动图画书的动作且所述移动图画书的动作完成，通过将所述目标模板与所述彩色摄像头采集的当前帧彩色图确定图画书是否被移动；
若确定图画书被移动，则重新确定所述当前帧彩色图中的图画书在所述彩色摄像头对应的彩色坐标系中的位置。
在一种可能的实现方式中，所述装置还包括监测单元，用于通过下列过程判断是否监测到移动图画书的动作：
若所述深度摄像头采集的当前帧深度图中的图画书区域存在干扰物，则确定所述当前帧深度图中像素点深度值位于第一设定区间内的第一前景区域；所述当前帧深度图中的图画书区域是将所述当前帧深度图与所述支撑物深度图进行像素点深度值比对得到的；
若所述第一前景区域的面积大于或等于第一设定面积，则确定监测到移动图画书的动作；
确定监测到移动图画书的动作之后，通过下列过程判断移动图画书的动作是否完成：
若所述深度摄像头采集的当前帧深度图中的图画书区域不存在干扰物，则确定移动图画书的动作完成。
在一种可能的实现方式中，所述监测单元，还用于：
若监测到移动图画书的动作，判断是否发生翻书动作；
若发生翻书动作，检测翻书动作是否完成。
在一种可能的实现方式中，所述监测单元，还用于：
若监测到移动图画书的动作，确定所述当前帧深度图中像素点深度值位于第二设定区间内的第二前景区域；
若所述第二前景区域的面积大于或等于第二设定面积，则确定监测到翻书动作；
确定监测到翻书动作之后，通过下列过程判断翻书动作是否完成：
若深度摄像头采集的当前帧深度图中的图画书区域不存在干扰物，则确定翻书动作完成。
在一种可能的实现方式中，所述监测单元，还用于：
在当前帧深度图的图画书区域内进行轮廓提取；
若提取的轮廓中至少一个轮廓与图画书区域边缘的连接区段的长度大于或等于设定阈值，则确定所述图画书区域存在干扰物；
否则，确定所述图画书区域不存在干扰物。
第三方面，本申请实施例提供了一种电子设备，包括：
处理器，与所述处理器连接的彩色摄像头和深度摄像头，以及用于存储所述处理器可执行指令的存储器；
其中，所述彩色摄像头用于采集设定区域的彩色图，所述深度摄像头用于采集设定区域的深度图；
所述处理器被配置为执行所述指令，以执行如下步骤：
根据彩色摄像头至图画书支撑物之间的距离，将彩色摄像头采集的设定区域的彩色图调整至设定尺度；其中，所述彩色摄像头至图画书支撑物之间的距离是根据与所述彩色摄像头对应设置的深度摄像头采集的所述设定区域的支撑物深度图确定的；
确定与调整至设定尺度的彩色图中的图画书区域相匹配的目标模板。
在一种可能的实现方式中，所述处理器具体执行：
提取所述彩色图的图画书区域的特征点和每个特征点的特征向量；
对于预存的任意一个图画书模板，根据所述图画书模板中每个特征点的特征向量和所述彩色图的图画书区域的每个特征点的特征向量，确定所述图画书模板与所述彩色图的图画书区域的匹配点对集合，所述匹配点对集合中包括由图画书模板的特征点与所述彩色图中相匹配的特征点组成的匹配点对；
根据从所述匹配点对集合中获取的预设数量的匹配点对，确定表征所述彩色图对应的彩色坐标系与所述图画书模板之间的坐标映射关系；
根据所述彩色坐标系与所述图画书模板之间的坐标映射关系，对所述图画书模板与所述彩色图进行特征点的几何验证；
若所述图画书模板通过几何验证，则将所述图画书模板确定为目标模板。
在一种可能的实现方式中，所述处理器还执行：
确定所述彩色图中的图画书在所述彩色坐标系中的位置；
将所述图画书在所述彩色坐标系中的位置转换成投影模块对应的投影坐标系中的投影位置；
根据所述投影位置将所述图画书和/或所述目标模板对应的动画投影到对应位置。
在一种可能的实现方式中，所述处理器具体执行：
根据所述目标模板和所述彩色坐标系与所述图画书模板之间的坐标映射关系，确定所述彩色图中的图画书在所述彩色坐标系中的位置。
在一种可能的实现方式中，所述处理器具体执行：
根据预存的彩色坐标系与所述深度摄像头对应的深度坐标系之间的坐标映射关系，将所述图画书的像素点在所述彩色坐标系中的位置坐标转换为在所述深度坐标系中的位置坐标；
根据所述深度摄像头采集的深度图确定像素点在所述深度坐标系中的位置坐标对应的深度值；
根据预存的深度坐标系与所述投影坐标系之间的坐标映射关系，将所述像素点在所述深度坐标系中的位置坐标和深度值转换成所述投影坐标系中的投影坐标。
在一种可能的实现方式中，所述处理器还执行：
获取所述深度摄像头采集的所述设定区域的支撑物深度图；
根据所述支撑物深度图确定所述深度摄像头至图画书支撑物之间的距离；
根据所述深度摄像头至图画书支撑物之间的距离以及预存的所述深度摄像头与所述彩色摄像头之间的位置关系，确定所述彩色摄像头至图画书支撑物之间的距离。
在一种可能的实现方式中，所述处理器具体执行：
在确定图画书区域不存在干扰物后，将彩色摄像头采集的设定区域的彩色图调整至设定尺度。
在一种可能的实现方式中，所述处理器还执行：
若监测到移动图画书的动作且所述移动图画书的动作完成，通过将所述目标模板与所述彩色摄像头采集的当前帧彩色图确定图画书是否被移动；
若确定图画书被移动，则重新确定所述当前帧彩色图中的图画书在所述彩色摄像头对应的彩色坐标系中的位置。
在一种可能的实现方式中，所述处理器还执行：
若所述深度摄像头采集的当前帧深度图中的图画书区域存在干扰物，则确定所述当前帧深度图中像素点深度值位于第一设定区间内的第一前景区域；所述当前帧深度图中的图画书区域是将所述当前帧深度图与所述支撑物深度图进行像素点深度值比对得到的；
若所述第一前景区域的面积大于或等于第一设定面积，则确定监测到移动图画书的动作；
确定监测到移动图画书的动作之后，所述处理器还执行：
若所述深度摄像头采集的当前帧深度图中的图画书区域不存在干扰物，则确定移动图画书的动作完成。
在一种可能的实现方式中，所述处理器还执行：
若监测到移动图画书的动作，判断是否发生翻书动作；
若发生翻书动作并且所述翻书动作完成，根据所述彩色摄像头采集的当前帧彩色图确定与所述当前帧彩色图中的图画书区域相匹配的目标模板。
在一种可能的实现方式中，所述处理器还执行：
若监测到移动图画书的动作，确定所述当前帧深度图中像素点深度值位于第二设定区间内的第二前景区域；
若所述第二前景区域的面积大于或等于第二设定面积，则确定监测到翻书动作；
确定监测到翻书动作之后，所述处理器还执行：
若深度摄像头采集的当前帧深度图中的图画书区域不存在干扰物，则确定翻书动作完成。
在一种可能的实现方式中，所述处理器还执行：
在当前帧深度图的图画书区域内进行轮廓提取；
若提取的轮廓中至少一个轮廓与图画书区域边缘的连接区段的长度大于或等于设定阈值，则确定所述图画书区域存在干扰物；
否则，确定所述图画书区域不存在干扰物。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现上述第一方面中任意一种图画书识别方法。
第二方面至第四方面中任意一种实现方式所带来的技术效果可参见第一方面中对应的实现方式所带来的技术效果，此处不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种图画书识别方法的流程示意图；
图2为本申请实施例提供的一种确定图画书区域是否存在干扰物的流程示意图；
图3为本申请实施例提供的一种监测移动图画书的动作的流程示意图；
图4为本申请实施例提供的一种监测翻书动作的流程示意图；
图5为本申请实施例提供的另一种图画书识别方法的流程示意图；
图6为本申请实施例提供的一种发生翻书动作的画面示意图；
图7为本申请实施例提供的一种图画书识别装置的结构框图；
图8为本申请实施例提供的另一种图画书识别装置的结构框图；
图9为本申请实施例提供的另一种图画书识别装置的结构框图；
图10为本申请实施例提供的一种电子设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部份实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
本申请实施例中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应当理解为，这些类似的对象在适当情况下可以互换。
下面结合附图及具体实施例对本申请作进一步详细的说明。
为了解决现有技术中采用图像识别方法对图画书进行识别时，需要将摄像头采集的彩色图与预存的图画书模板进行多个不同尺度的反复匹配操作，因而识别效率低的问题，本申请实施例提供一种图画书识别方法、装置、电子设备和存储介质，以辅助进行图画书的展示。其中，电子设备可以包括彩色摄像头和深度摄像头，彩色摄像头可以采集进入其视野范围内的物体的彩色图像，深度摄像头可以采集进入其视野范围内的物体的深度图像，该深度图像包括物体的三维数据或称为点云数据。本申请实施例提供的图画书识别方法，先将彩色摄像头采集的设定区域的彩色图调整至设定尺度，再利用调整至设定尺度的彩色图与预存的图画书模板进行匹配，确定与彩色图中的图画书区域相匹配的目标模板，而不需要将彩色图缩放到多个不同的尺度分别与预存的图画书模板进行匹配，可以大幅度地提升图画书的识别效率。
图1示出了本申请实施例提供的一种图画书识别方法的流程示意图。如图1所示，该方法包括如下步骤：
步骤S101，根据彩色摄像头至图画书支撑物之间的距离，将彩色摄像头采集的设定区域的彩色图调整至设定尺度。
其中，彩色摄像头至图画书支撑物之间的距离是根据与彩色摄像头对应设置的深度摄像头采集的设定区域的支撑物深度图确定的。
示例性地，图画书支撑物可以是讲桌的桌面，设置有彩色摄像头和深度摄像头的电子设备可以吊挂在讲桌的上方，彩色摄像头和深度摄像头可以具有完全相同的视野范围或部分重叠的视野范围。上述设定区域位于彩色摄像头和深度摄像头的视野范围内，设定区域可以包括所述讲桌的桌面或讲桌桌面的一部分。
在讲桌的上方安装好电子设备后，可以先获取一张深度摄像头采集的设定区域的深度图，该深度图中可以不包含图画书，只包含讲桌的桌面，故称为支撑物深度图。根据支撑物深度图可以确定深度摄像头至图画书支撑物之间的距离。
在一些实施例中，获取深度摄像头采集的所述设定区域的支撑物深度图之后，可以采用如下方法根据支撑物深度图确定深度摄像头至图画书支撑物之间的距离：通常，深度图可以体现被拍摄物体的深度数据，或称为点云数据。假设深度摄像头拍摄的支撑物深度图是讲桌的桌面的深度图，支撑物深度图中的每个像素点的深度数据代表了讲桌的桌面上对应的点至深度摄像头所在平面的距离。获取支撑物深度图中每个像素点的点云数据，利用最小二乘法拟合获取的点云数据，得到支撑物拟合平面，确定深度摄像头所在平面与支撑物拟合平面的距离，作为深度摄像头与图画书支撑物之间的距离。为了使计算的结果更准确，在进行计算之前，可以先剔除噪点，即去除深度数据与周围其它像素点的深度数据相差较大的像素点，然后根据剩余的像素点的深度数据计算平均深度值。
由于在电子设备的制造过程中，已经确定彩色摄像头与深度摄像头之间的位置关系，可以将彩色摄像头与深度摄像头之间的位置关系预先存储在电子设备中，根据确定的深度摄像头至图画书支撑物之间的距离以及预存的深度摄像头与彩色摄像头之间的位置关系，可以确定彩色摄像头至图画书支撑物之间的距离。
例如，根据支撑物深度图，计算得到深度摄像头至图画书支撑物之间的距离为d1，根据预存的深度摄像头与彩色摄像头之间的位置关系，得到在支撑物拟合平面的法向方向，深度摄像头与彩色摄像头之间的高度差为d2，其中，d2可以为正数，也可以为负数，则可以确定彩色摄像头至图画书支撑物之间的距离d＝d1+d2。
在一些实施例中，可以预先确定并保存彩色摄像头至图画书支撑物之间的距离与图片缩放比例之间的对应关系，根据彩色摄像头至图画书支撑物之间的距离，确定对应的缩放比例，根据确定的缩放比例将彩色摄像头采集的设定区域的彩色图调整至设定尺度。
在另一些实施例中，可以预先确定并保存彩色摄像头至图画书支撑物之间的距离与图片宽度之间的线性关系参数，根据彩色摄像头至图画书支撑物之间的距离和预存的线性关系参数，确定对应的缩放比例，根据确定的缩放比例将彩色摄像头采集的设定区域的彩色图调整至设定尺度。
步骤S102，确定与调整至设定尺度的彩色图中的图画书区域相匹配的目标模板。
预先在电子设备中保存若干个图画书模板，例如，图画书模板可以包括多本图画书的每个页面对应的图像的特征点和描述子，其中，特征点又可以称为关键点、兴趣点，指在图像中突出且具有代表意义的一些点。描述子可以理解为用于描述特征点的特征的信息，包括特征点的位置信息等，描述子也可以称为特征向量。
确定调整至设定尺度的彩色图中的图画书区域，在预存的图画书模板中查找与彩色图中的图画书区域相匹配的目标模板，可以先检测图画书区域的图像中特征点并获取每个特征点的描述子，然后利用提取的特征与预存的图画书模板的特征进行匹配，挑选特征最相近的图画书模板作为目标模板。
可以采用如下特征提取算法中的任意一种检测图画书区域的图像中特征点并获取每个特征点的描述子：ORB特征提取算法、SURF特征提取算法、SIFT特征提取算法、AKAZE特征提取算法、DELF特征提取算法等，其中，ORB特征提取算法的效率最高、DELF特征提取算法的效果较好，但需要一定量的预训练数据，SIFT特征提取算法效果很好但效率较低，AKAZE特征提取算法较为均衡。
在一种实施例中，将图画书区域的图像中特征点和描述子与预存的图画书模板的特征点和描述子进行比对，计算相似度值，将相似度值大于设定阈值的图画书模板确定为与调整至设定尺度的彩色图中的图画书区域相匹配的目标模板。
在另一种实施例中，获取彩色图的图画书区域的特征点和每个特征点的描述子之后，可以采用如下方法确定目标模板：对于预存的任意一个图画书模板，根据该图画书模板中每个特征点的描述子和彩色图的图画书区域的每个特征点的描述子，确定该图画书模板与该彩色图的图画书区域的匹配点对集合，所述匹配点对集合中包括由图画书模板的特征点与彩色图中相匹配的特征点组成的匹配点对；根据从匹配点对集合中获取的预设数量的匹配点对，确定表征彩色图对应的彩色坐标系与图画书模板之间的坐标映射关系；根据彩色坐标系与所述图画书模板之间的坐标映射关系，对图画书模板与彩色图进行特征点的几何验证；若图画书模板通过几何验证，则将图画书模板确定为目标模板。
例如，从预存的图画书模板中选取任意一个图画书模板P，针对彩色图的图画书区域的每个特征点，分别计算该特征点的描述子与图画书模板P的每个特征点的描述子之间的相似度，若最小相似度满足预设条件，则将该最小相似度对应的彩色图的特征点i和图画书模板P的特征点j构成一个匹配点对(i，j)，并添加到图画书模板P对应的匹配点对集合中。若图画书模板P对应的点对集合中的点对数量小于设定的数量阈值，则确定图画书模板P与彩色图中的图画书区域不匹配，并按照图画书模板P的匹配方法对预存的下一图画书模板进行匹配。若图画书模板P对应的匹配点对集合中的点对数量大于或等于设定的数量阈值，从图画书模板P对应的匹配点对集合中获取预设数量个点对，根据预设数量个点对，确定表征彩色图对应的彩色坐标系和图画书模板P之间的坐标映射关系的单应矩阵(Homography)。其中，单应矩阵用于表征两个平面之间的坐标映射关系，实际的自由度为8，至少4对匹配点对就能求解两个平面之间的对应关系。所以，具体实施时，可以通过至少四个匹配点对确定一个单应矩阵，上述预设数量的最小取值为4。计算单应矩阵的具体过程为现有技术，在此不再赘述。
针对图画书模板P对应的匹配点对集合中的每个匹配点对(i，j)，根据单应矩阵，确定彩色图中的特征点i在图画书模板P中的期望坐标，并计算特征点i的期望坐标和特征点j在图画书模板P中的坐标之间的距离值；若距离值小于误差阈值的匹配点对的数量达到设定数量，则确定图画书模板P通过几何验证，将图画书模板P确定为目标模板。
在一些实施例中，确定与调整至设定尺度的彩色图中的图画书区域相匹配的目标模板之后，可以播放目标模板对应的音频。
在另一些实施例中，确定与调整至设定尺度的彩色图中的图画书区域相匹配的目标模板之后，还可以确定彩色图中的图画书在彩色坐标系中的位置；将图画书在彩色坐标系中的位置转换成投影模块对应的投影坐标系中的投影位置；根据投影位置将图画书或者目标模板对应的动画投影到对应位置，也可以根据投影位置将图画书和目标模板对应的动画投影到对应位置，例如，将目标模板对应的动画投影到图画书的周围。具体地，可以根据目标模板和彩色坐标系与图画书模板之间的坐标映射关系，确定彩色图中的图画书在彩色坐标系中的位置。譬如，图画书在彩色坐标系中的位置可以通过目标模板的四个角点(图画书的四个角的顶点)的坐标来表示。根据表征目标模板和彩色坐标系与图画书模板之间的坐标映射关系的单应矩阵和预存的目标模板的长度和宽度，可以确定目标模板的四个角点在彩色图对应的彩色坐标系中的位置坐标，即确定彩色图中的图画书在彩色坐标系中的位置。
以右下角的角点为例，该角点在彩色坐标系中的位置坐标可以表示为：
(xcol，ycol)T＝(x1/z1，y1/z1)T。
其中，(x1，y1，z1)T＝H*(width，height，1)T；H为上文中确定的单应矩阵，width为图画书模板的宽度，height为图画书模板的高度。
计算目标模板的其他三个角点在彩色坐标系中对应的位置坐标的方式类似，不再赘述。
确定彩色图中的图画书在彩色坐标系中的位置之后，可以根据预存的彩色坐标系与深度摄像头对应的深度坐标系之间的坐标映射关系，将图画书的像素点在彩色坐标系中的位置坐标转换为在深度坐标系中的位置坐标；根据深度摄像头采集的深度图确定像素点在深度坐标系中的位置坐标对应的深度值；根据预存的深度坐标系与投影坐标系之间的坐标映射关系，将像素点在深度坐标系中的位置坐标和深度值转换成投影坐标系中的投影坐标，进而确定图画书对应的投影位置。
例如，可以根据彩色图中图画书的四个角点的位置确定投影坐标系中图画书对应的投影位置。以彩色图中的任意一个像素点为例，设该像素点在彩色坐标系中的坐标为(xcol,ycol)，根据预存的彩色坐标系与所述深度摄像头对应的深度坐标系之间的坐标映射关系，将图画书的像素点在彩色坐标系中的位置坐标转换为在深度坐标系中的位置坐标(xpixel,ypixel)，根据深度摄像头采集的深度图确定像素点在深度坐标系中的位置坐标对应的深度值ddep。如果该深度坐标对应的像素点的深度值为0，说明深度图中的该像素点为噪音，可以在该像素点附近寻找深度值ddep。利用深度摄像头的内参将像素点(xpixel,ypixel,ddep)表示为真实空间坐标系中的坐标(xdep,ydep,zdep)。其中，真实空间坐标系为以深度摄像头为原点，单位为m或mm的坐标系。根据预存的真实空间坐标系和投影模块对应的投影坐标系之间的坐标映射关系DepToPro，可以确定该像素点在投影坐标系中的位置坐标，可以通过如下公式表示。
(xpro，ypro，，zpro)T＝DepToPro*(xdep，ydep，，zdep)T
利用标定的投影模块的内参和畸变参数，可以根据该像素点在投影坐标系中的位置坐标(xpro,ypro,zpro)确定该像素点在投影平面上的位置坐标(m,n)，该位置坐标即为该像素点在投影坐标系中的投影坐标。
依照上述方法可以确定其他所需像素点在投影坐标系中的投影坐标，进而确定图画书在投影坐标系中的投影位置，根据投影位置将图画书或目标模板对应的动画投影到对应位置。
本申请实施例提供的图画书识别方法，预先通过深度摄像头采集的设定区域的支撑物深度图确定彩色摄像头至图画书支撑物之间的距离，在进行图画书识别时，先根据彩色摄像头至图画书支撑物之间的距离，将彩色摄像头采集的设定区域的彩色图调整至设定尺度，再利用调整至设定尺度的彩色图与预存的图画书模板进行匹配，确定与彩色图中的图画书区域相匹配的目标模板。该方法不需要将彩色图缩放到多个不同的尺度分别与预存的图画书模板进行匹配，可以大幅度地提升图画书的识别效率。
在一种可选的实施例中，为了节约计算资源，可以先确定是否满足识别条件，该识别条件可以是：图画书区域不存在干扰物。在确定满足识别条件之后，再按照上述方法将彩色摄像头采集的设定区域的彩色图调整至设定尺度。
在展示图画书的过程中，深度摄像头和彩色摄像头一直处于工作状态，会一直通过深度摄像头采集深度图，并通过彩色摄像头采集彩色图。可以根据深度摄像头采集的深度图确定图画书区域是否存在干扰物。
考虑到在图画书展示过程中，用户可能会用手接触图画书，以实现翻页或移动图画书。在翻页或移动图画书过程中，用户的手部会遮挡在图画书的上方，形成对图画书识别的干扰。图画书区域存在的主要干扰物为手部，而手部的高度高于图画书的高度，手部与深度摄像头的距离小于图画书与深度摄像头的距离，因此，可以通过深度图中像素点的深度数据确定出手部的轮廓。并且，在深度图中，手部和手臂的轮廓会由图画书区域内部延伸至图画书区域外部，在图画书区域边缘必定会存在一定长度的连接区段。因此，如果深度图中的某个轮廓与图画书区域边缘的连接区段的长度达到设定长度，说明用户的手部正遮挡在图画书的上方，此时，视为图画书区域存在干扰物。如果深度图中不存在与图画书区域边缘相连接的轮廓，或者与所有轮廓与图画书区域边缘的连接区段的长度均小于设定长度，此时，认为图画书区域不存在干扰物。
可选地，可以采用图2所示的方法判断图画书区域是否存在干扰物，该方法包括如下步骤：
步骤S201，在当前帧深度图的图画书区域内进行轮廓提取。
当前帧深度图的图画书区域可以是将当前帧深度图与支撑物深度图进行像素点深度值比对得到的。例如，将当前帧深度图与支撑物深度图中相互对应的各个像素点的深度值作差，将差值大于设定值的像素点构成的区域作为图画书区域。
在当前帧深度图的图画书区域进行轮廓提取，得到轮廓集合{contour1,contour2,……contourn}。
步骤S202，在提取的轮廓集合中，判断是否所有轮廓与图画书区域边缘的连接区段的长度均小于设定阈值；若是，则确定图画书区域不存在干扰物；若否，则确定图画书区域存在干扰物。
可选地，在执行步骤S202之前，可以先判断轮廓集合中的每个轮廓的面积是否均大于设定的面积阈值。对于小于设定的面积阈值的轮廓，可以认为该轮廓不会构成干扰，无需判断该轮廓是否为干扰物，可以从轮廓集合中剔除该轮廓，然后对轮廓集合中剩余的轮廓执行步骤S202。
在一种可选的实施例中，为了保证投影位置的准确，在图画书被移动之后，需要重新确定图画书的投影位置。具体地，若监测到移动图画书的动作且移动图画书的动作完成，可以通过将目标模板与彩色摄像头采集的当前帧彩色图进行特征点的几何验证来确定图画书是否被移动。若确定图画书被移动，则重新确定当前帧彩色图中的图画书在彩色摄像头对应的彩色坐标系中的位置。
具体地，可以通过图3所示的方法判断是否监测到移动图画书的动作，包括：
步骤S301，获取深度摄像头采集的设定区域的前帧深度图。
在实际应用过程中，可以将深度摄像头采集的任意一个当前帧深度图作为前帧深度图。
步骤S302，判断前帧深度图的图画书区域是否存在干扰物；若是，执行步骤S303；若否，返回执行步骤S301。其中，前帧深度图的图画书区域是将前帧深度图与支撑物深度图进行像素点深度值比对得到的。
具体地，可以采用图2所示的方法判断前帧深度图的图画书区域是否存在干扰物。
步骤S303，确定前帧深度图中像素点深度值位于第一设定区间内的第一前景区域。
其中，第一设定区间可以表示为[th1,th2]。示例性地，th1可以取值20mm，th2可以取值60mm。第一前景区域可以理解为用户手部所在的区域，第一设定区间大致为移动封面时手面的高度。
步骤S304，判断第一前景区域的面积是否小于第一设定面积；若是，返回执行步骤S301；若否，则确定监测到移动图画书的动作。
确定监测到移动图画书的动作之后，获取深度摄像头采集的设定区域的后帧深度图。由于深度摄像头一直在采集深度图，因此，获取前帧深度图之后，可以将深度摄像头采集的任意一个当前帧深度图作为后帧深度图。判断获取的后帧深度图的图画书区域是否存在干扰物，若存在干扰物，继续获取下一帧深度图，若不存在干扰物，则确定移动图画书的动作完成，认为图画书可能被移动。
确定移动图画书的动作完成之后，可以将目标模板对应的匹配点对集合每个匹配点对(i，j)，计算当前帧彩色图中的特征点i在目标模板中的期望坐标和特征点j在目标模板中的坐标之间的距离值，若距离值小于误差阈值的匹配点对的数量远小于设定数量，则确定图画书被移动。当确定图画书被移动时，需要重新确定当前帧彩色图中的图画书在彩色摄像头对应的彩色坐标系中的位置，将重新确定的位置转换成投影坐标系中的投影位置，根据新确定的投影位置进行投影。其中，当前帧彩色图中的图画书在彩色摄像头对应的彩色坐标系中的位置同样可以通过目标模板的四个角点的坐标来表示，具体定位过程可以参照上文中所记载的方法，在此不再赘述。
在展示图画书的过程中，为了避免一直对图画书进行识别，可以设置在用户翻页后再进行重新识别，以提高识别的效率和有效性。在一种可选的实施例中，若监测到移动图画书的动作，判断是否发生翻书动作，若发生翻书动作并且翻书动作完成，则根据彩色摄像头采集的当前帧彩色图确定与当前帧彩色图中的图画书区域相匹配的目标模板。
具体地，可以通过图4所示的方法判断是否监测到翻书动作，包括：
步骤S401，监测到移动图画书的动作。
步骤S402，获取深度摄像头采集的当前帧深度图。
若监测到移动图画书的动作，通过深度摄像头持续采集深度图，判断是否存在翻书动作。
步骤S403，确定当前帧深度图中像素点深度值位于第二设定区间内的第二前景区域。
其中，第二设定区间可以表示为[th3,th4]。示例性地，th3可以取值20mm，th4可以取值100mm。当存在翻书动作时，第二前景区域可以包括用户的手部和被用户翻起的图画书的页面部分，如图6所示。
步骤S404，判断第二前景区域的面积是否小于第二设定面积，若是，执行步骤S405；若否，则确定监测到翻书动作。
步骤S405，判断移动图画书的动作是否完成；若否，返回执行步骤S401，若是，则移动图画书后续步骤处理。
若第二前景区域的面积小于第二设定面积，则认为根据当前帧深度图未监测到翻书动作，在确定移动图画书的动作完成之前，可以通过深度摄像头采集下一帧深度图，继续判断是否存在翻书动作，直至移动图画书的动作结束，若一直没有监测到翻书动作，则按照移动图画书的后续步骤判断图画书是否被移动。
确定监测到翻书动作之后，获取深度摄像头采集的设定区域的后帧深度图。判断后帧深度图的图画书区域是否存在干扰物；若后帧深度图的图画书区域存在干扰物，说明翻书动作尚未完成，继续获取下一帧深度图。若后帧深度图的图画书区域不存在干扰物，则确定翻书动作完成，可以进行重新识别。根据彩色摄像头至图画书支撑物之间的距离，将彩色摄像头采集的当前帧彩色图调整至设定尺度，确定与调整至设定尺度的彩色图中的图画书区域相匹配的目标模板。
上述方法可以高效对翻页动作及移动图画书的动作进行判断，存在翻页动作且翻页动作完成之后再重新识别，存在移动图画书的动作且移动图画书完成之后再重新定位，不需要在展示图画书过程中一直进行识别，可以极大地节约计算资源，并提升响应时间。
由于现有的绘本识别技术往往只关注于绘本的图像特征，并没有考虑绘本展示过程中翻页、移动情况的处理，因而绘本识别的效率很低，本申请实施例通过参考深度摄像头采集的深度图，不仅解决了多尺度变换的问题，而且解决了图画书识别中翻页、移动图画书等动作的判断，同时可以加速绘本的识别以及提升识别的效果。
为了更有利于理解本申请，以下结合一个具体应用实例说明本申请实施例提供的图画书识别方法的执行过程。在该应用实例中，采用本申请实施例提供的图画书识别方法对绘本进行识别，然后利用AR(Augmented Reality，增强现实)投影技术将绘本对应的动画投影至投影平面，并播放绘本对应的音频，以帮助幼儿更好地阅读绘本的内容，达到绘声绘色的效果。
其中，AR投影技术是一种实时地计算拍摄影像的位置及角度并加上相应动画视频或3D模型的技术，该技术的目标是在屏幕上把虚拟画面展现在现实世界并进行互动。目前，AR投影技术已经被广泛应用于电子设备中，例如，使用IOS系统的电子设备可采用ARKit功能实现AR显示，使用Android系统的电子设备可采用AR Core实现AR显示。
在该应用实例中，对绘本进行识别和展示之前，首先要将绘本模板载入电子设备，例如，可以通过网络下载绘本模板，也可以将保存在可移动性存储介质中的绘本模板复制到电子设备中。还要将彩色摄像头、深度摄像头和投影模块的标定文件，标定文件中可以包括彩色摄像头和深度摄像头之间的位置关系、彩色摄像头、深度摄像头和投影模块等各个硬件的内参以及各自坐标系之间的坐标映射关系等各类标定参数。例如，可以参考“张正友标定法”获取上述各标定参数。
标定文件中还可以包括彩色摄像头至图画书支撑物之间的距离与图片宽度之间的线性关系参数，该线性关系参数可以通过如下步骤获得：
步骤A，对于得到的任意一本绘本，测量绘本书的真实宽度尺寸w0；
步骤B，在n个不同的挂高下，获取彩色摄像头采集的彩色图中绘本书的像素宽度尺寸；其中，挂高指彩色摄像头至图画书支撑物之间的距离；
步骤C，采用最小二乘法拟合绘本书的像素宽度尺寸与挂高的线性关系；即将获取的n个挂高和绘本书的像素宽度尺寸分别代入公式width＝a*height+b，得到其中的参数a和b；公式中的width为绘本书的像素宽度尺寸，height为挂高；
步骤D，选取一个最常用的标准挂高h0，将线性关系参数a,b,h0和参数w0记录到标定文件中。
在载入绘本模板时，还可以将绘本模板缩放至书宽尺寸为w1(ah0+b)/w0，其中，w1为绘本模板的初始书宽尺寸。
仍然假设图画书支撑物为讲桌的桌面，将电子设备吊挂在讲桌的上方，在将绘本放置到讲桌上之前，获取深度摄像头采集的一帧支撑物深度图，根据该支撑物深度图，通过如下步骤确定彩色摄像头的挂高，并构建支撑物背景图：
步骤a，利用最小二乘法拟合支撑物深度图中各个像素点的点云数据，得到初始拟合平面；
步骤b，剔除支撑物深度图中与初始拟合平面的距离超过设定距离thre1的像素点；这些像素点可能是噪点，例如遮挡物、手等；
步骤c，利用最小二乘法拟合支撑物深度图中剩余的像素点的点云数据，得到支撑物拟合平面；
步骤d，确定深度摄像头所在的原点与支撑物拟合平面的距离，即深度摄像头与支撑物拟合平面之间的距离；
步骤e，根据深度摄像头与支撑物拟合平面之间的距离，确定彩色摄像头与支撑物拟合平面之间的距离，即彩色摄像头的挂高h；
步骤f，将步骤c中支撑物深度图内剩余的各个像素点的像素值赋值为预设的背景像素值，将被剔除的各个像素点的像素值赋值为0；
步骤g，根据步骤c中支撑物深度图内剩余的各个像素点的点云数据，按行利用最小二乘法拟合行之间的梯度变化大小；
步骤h，将像素值为0的各个像素点的像素值赋值为：最近有值像素+梯度*行距，至此，得到支撑物背景图。
完成上述准备工作后，将绘本放置在讲桌上，然后可以参照图5所示的方法进行绘本识别和展示。如图5所示，该应用实例的图画书识别方法包括如下步骤：
步骤S501，接收彩色摄像头采集的彩色图和深度摄像头采集的深度图。
可以控制彩色摄像头和深度摄像头同时采集图像，即同时获取彩色图和深度图。
步骤S502，判断是否已有识别结果；若是，执行步骤S508，若否，执行步骤S503。
该步骤中的识别结果指已经确定出与彩色图中的图画书区域相匹配的目标模板。一般在初次识别时，不存在识别结果，执行下述步骤S503。
步骤S503，确定深度图中的图画书区域。
将当前获取的深度图与支撑物深度图进行像素点深度值比对，选取深度值之差超过设定值thre2的像素点，将选取的像素点组成的图形区域作为图画书区域。thre2可以在10mm～40mm之间取值，例如，thre2可以取值为25mm。图画书周围的区域作为背景区域。
步骤S504，判断图画书区域是否存在干扰物；若是，返回执行步骤S501；若否，执行步骤S505。
可以参照图2所示的方法判断图画书区域是否存在干扰物，在此不再赘述。如果图画书区域存在干扰物，不适合进行绘本识别，返回执行步骤S501；如果图画书区域不存在干扰物，可以进行绘本识别，执行步骤S505。由于干扰物会遮挡绘本，可能会导致后续步骤中的绘本定位不准确。判断图画书区域是否存在干扰物，可以避免绘本位置姿态定位不准确或不稳定。
步骤S505，根据彩色摄像头的挂高，将彩色摄像头采集的彩色图调整至设定尺度。
根据初始时确定的彩色摄像头的挂高h，结合预存的标定文件中的线性关系参数，确定彩色图的缩放比例为(ah0+b)/(a*h+b)，按照确定的缩放比例将彩色图调整至设定尺度。
步骤S506，确定与调整至设定尺度的彩色图中的图画书区域相匹配的目标模板，并记录识别结果。
可选地，在执行步骤S506之前，可以先对图画书区域进行去噪，可以利用深度图对图画书区域进行去噪，去除图画书区域与背景区域深度值之差小于设定值thre2的像素点，这些像素点可能是桌面花纹噪点或投影噪点。进行去噪处理后，可以减少彩色图内非绘本噪声和投影的干扰，减少后续识别步骤中的计算量，还可以提升识别结果的精度和识别率。
确定彩色图中与深度图相对应的图画书区域，获取用于与图画书区域进行匹配的绘本模板的候选项序列。
在一些实施例中，获取图画书区域的图像中特征点和每个特征点的描述子之后，可以采用VLAD或FV算法对特征点和描述子进行编码，得到编码向量，将得到的编码向量与每个绘本模板的编码进行比对，得到多个相似度值，根据相似度值从大到小的顺序将绘本模板进行排序，构成候选项序列。
在另一些实施例中，获取图画书区域的图像中特征点和每个特征点的描述子之后，选取预存的任意一个绘本模板，计算图画书区域的图像的特征点的描述子与绘本模板中对应的特征点的描述子之间的距离，距离小于设定阈值的特征点视为匹配点对。统计图画书区域的图像与预存的每个绘本模板的匹配点对的数量，根据匹配点对的数量从多到少的顺序将绘本模板进行排序，构成候选项序列。
在另一些实施例中，还可以对预存的绘本模板进行随机排序，构成候选项序列。
在一种实施例中，按顺序从候选项序列中取出一个绘本模板，将彩色图中的图画书区域的特征点和描述子与绘本模板进行匹配，例如，可以统计彩色图中的图画书区域与预存的绘本模板的匹配点对的数量，若匹配点对的数量达到设定阈值，则认为匹配成功，将该绘本模板作为目标模板，并将目标模板作为识别结果。
在另一种实施例中，按顺序从候选项序列中取出一个绘本模板，将彩色图中的图画书区域的特征点和描述子与绘本模板进行比对，得到m对对应的特征点对，根据对应的特征点对，确定表征彩色图与绘本模板之间的坐标映射关系的单应矩阵。针对m对对应的特征点对中每个点对(i，j)，根据所述单应性矩阵，确定彩色图中的特征点i在绘本模板中的期望坐标，并计算特征点i的期望坐标和特征点j在绘本模板中的坐标之间的距离值，若小于误差阈值的距离值的数量大于设定阈值，则确定绘本模板通过几何验证，将该绘本模板确定为目标模板，并记录识别结果。
步骤S507，确定彩色图中的图画书在彩色坐标系中的位置。
具体地，可以根据目标模板和彩色坐标系与图画书模板之间的坐标映射关系，确定彩色图中的图画书在彩色坐标系中的位置。譬如，图画书在彩色坐标系中的位置可以通过目标模板的四个角点的坐标来表示。根据表征目标模板和彩色坐标系与图画书模板之间的坐标映射关系的单应矩阵和预存的目标模板的长度和宽度，可以确定目标模板的四个角点在彩色图对应的彩色坐标系中的位置坐标，即确定彩色图中的图画书在彩色坐标系中的位置。详细过程已在上文中记载，在此不再赘述。
步骤S508，将图画书在彩色坐标系中的位置转换成投影模块对应的投影坐标系中的投影位置。
确定彩色图中的图画书在彩色坐标系中的位置之后，可以根据预存的彩色坐标系与深度摄像头对应的深度坐标系之间的坐标映射关系，将图画书的像素点在彩色坐标系中的位置坐标转换为在深度坐标系中的位置坐标；根据深度摄像头采集的深度图确定像素点在深度坐标系中的位置坐标对应的深度值；根据预存的深度坐标系与投影坐标系之间的坐标映射关系，将像素点在深度坐标系中的位置坐标和深度值转换成投影坐标系中的投影坐标，进而确定图画书对应的投影位置。
步骤S509，根据投影位置将图画书或目标模板对应的动画投影到对应位置。
电子设备中预存有各个绘本模板对应的动画投影，在对绘本内容进行展示时，可以将彩色图中的图画书投影至投影平面的对应位置，并将目标模板对应的动画投影至投影平面。例如，可以将目标模板对应的动画投影在图画书投影画面的周围。在一些实施例中，电子设备中还可以预存各个绘本模板对应的音频，在对绘本内容进行展示时，还可以同时播放目标模板对应的音频。
可选地，当绘本有足够的厚度时，在进行投影之前，还可以辅助修正绘本角点的定位结果，小幅度地修正绘本的四个角点在彩色图对应的彩色坐标系中的坐标。如利用单应性矩阵确定绘本模板的四个角点在彩色图中的位置信息，将深度图中的图画书区域的轮廓转化至彩色坐标系，距离四个角点最近的四个轮廓点为利用深度图中的绘本的四个角点，如果角点与对应的轮廓点之间的距离超过设定值，保存彩色坐标系中的四个角点的位置信息不变，防止校正错误。否则，将彩色坐标系中的四个角点修正至四个轮廓点的位置，从而将四个角点“拉”到绘本的边缘位置，使得识别结果更准确。
步骤S510，判断是否存在移动图画书的动作；若是，执行步骤S511，若否，返回执行步骤S501。
具体地，可以参照图3所示的方法确定是否存在移动图画书的动作，在此不再赘述。如果未检测到移动图画书的动作，则不需要进行重新识别或重新定位，从而节约计算资源。
步骤S511，判断是否存在翻书动作；若否，执行步骤S512，若是，执行步骤S515。
具体地，在监测到移动图画书的动作之后，可以确定当前帧深度图中像素点深度值位于第二设定区间内的第二前景区域，若第二前景区域的面积大于或等于第二设定面积，则确定监测到翻书动作。
步骤S512，判断移动图画书的动作是否完成；若是，执行步骤S513，若否，返回执行步骤S511。
S513，判断图画书是否被移动；若是，执行步骤S514；若否，返回执行步骤S501。
可以通过将识别结果中的目标模板与彩色摄像头采集的当前帧彩色图进行特征点的几何验证来确定图画书是否被移动。几何验证的具体过程可以参照上文中的记载，在此不再赘述。
步骤S514，重新确定当前帧彩色图中的图画书在彩色坐标系中的位置。
当确定图画书被移动时，需要重新确定当前帧彩色图中的图画书在彩色摄像头对应的彩色坐标系中的位置，将重新确定的位置转换成投影坐标系中的投影位置，根据新确定的投影位置进行投影。其中，当前帧彩色图中的图画书在彩色摄像头对应的彩色坐标系中的位置同样可以通过目标模板的四个角点的坐标来表示。
步骤S515，判断翻书动作是否完成；若是，执行步骤S516；若否，重复执行步骤S515。
步骤S516，清空识别结果。
若翻书动作完成，则清空识别结果。重新获取彩色图和深度图，根据彩色摄像头的挂高，将获取的当前帧彩色图调整至设定尺度，确定与调整至设定尺度的彩色图中的图画书区域相匹配的目标模板，并记录识别结果。
本申请实施例提供的图画书识别方法，利用深度摄像头确定彩色摄像头至图画书支撑物之间的距离，先根据彩色摄像头至图画书支撑物之间的距离，将彩色摄像头采集的设定区域的彩色图调整至设定尺度，再进行匹配，解决了现有技术需要将彩色图缩放到多个不同的尺度分别与预存的图画书模板进行匹配的问题，减少了计算量，节约了存储空间。同时，将彩色图调整至与绘本模板相对应的设定尺度再进行匹配，识别效果与金字塔采样等多尺度方法相比结果更准确。另外，利用深度摄像头进行翻页判断以及是否移动绘本的判断，计算量很小，耗时很少，仅需要毫秒即可完成翻页的判断和绘本是否移动绘本的判断，极大地节约了耗时。该方法利用深度摄像头采集的深度图，可以让绘本识别占用系统资源更少，识别效果更好。
与上述图画书识别方法基于相同的发明构思，本申请还提供了一种图画书识别装置。如图7所示，该装置还包括：
尺度调整单元71，用于根据彩色摄像头至图画书支撑物之间的距离，将彩色摄像头采集的设定区域的彩色图调整至设定尺度；其中，所述彩色摄像头至图画书支撑物之间的距离是根据与所述彩色摄像头对应设置的深度摄像头采集的所述设定区域的支撑物深度图确定的；
图像识别单元72，用于确定与调整至设定尺度的彩色图中的图画书区域相匹配的目标模板。
在一种可能的实现方式中，图像识别单元72还可以用于：提取所述彩色图的图画书区域的特征点和每个特征点的特征向量；
对于预存的任意一个图画书模板，根据所述图画书模板中每个特征点的特征向量和所述彩色图的图画书区域的每个特征点的特征向量，确定所述图画书模板与所述彩色图的图画书区域的匹配点对集合，所述匹配点对集合中包括由图画书模板的特征点与所述彩色图中相匹配的特征点组成的匹配点对；
根据从所述匹配点对集合中获取的预设数量的匹配点对，确定表征所述彩色图对应的彩色坐标系与所述图画书模板之间的坐标映射关系；
根据所述彩色坐标系与所述图画书模板之间的坐标映射关系，对所述图画书模板与所述彩色图进行特征点的几何验证；
若所述图画书模板通过几何验证，则将所述图画书模板确定为目标模板。
在一种可能的实现方式中，如图8所示，所述图画书识别装置还可以包括定位及投影单元81，用于：
确定所述彩色图中的图画书在所述彩色坐标系中的位置；
将所述图画书在所述彩色坐标系中的位置转换成投影模块对应的投影坐标系中的投影位置；
根据所述投影位置将所述图画书和/或所述目标模板对应的动画投影到对应位置。
在一种可能的实现方式中，所述定位及投影单元81，还可以用于：
根据所述目标模板和所述彩色坐标系与所述图画书模板之间的坐标映射关系，确定所述彩色图中的图画书在所述彩色坐标系中的位置。
在一种可能的实现方式中，所述定位及投影单元81，还可以用于：
根据预存的彩色坐标系与所述深度摄像头对应的深度坐标系之间的坐标映射关系，将所述图画书的像素点在所述彩色坐标系中的位置坐标转换为在所述深度坐标系中的位置坐标；
根据所述深度摄像头采集的深度图确定像素点在所述深度坐标系中的位置坐标对应的深度值；
根据预存的深度坐标系与所述投影坐标系之间的坐标映射关系，将所述像素点在所述深度坐标系中的位置坐标和深度值转换成所述投影坐标系中的投影坐标。
在一种可能的实现方式中，如图9所示，所述图画书识别装置还包括距离确定单元91，用于：
获取所述深度摄像头采集的所述设定区域的支撑物深度图；
根据所述支撑物深度图确定所述深度摄像头至图画书支撑物之间的距离；
根据所述深度摄像头至图画书支撑物之间的距离以及预存的所述深度摄像头与所述彩色摄像头之间的位置关系，确定所述彩色摄像头至图画书支撑物之间的距离。
在一种可能的实现方式中，所述尺度调整单元71，还可以用于：
在确定图画书区域不存在干扰物后，将彩色摄像头采集的设定区域的彩色图调整至设定尺度。
在一种可能的实现方式中，所述定位及投影单元81，还可以用于：
若监测到移动图画书的动作且所述移动图画书的动作完成，通过将所述目标模板与所述彩色摄像头采集的当前帧彩色图确定图画书是否被移动；
若确定图画书被移动，则重新确定所述当前帧彩色图中的图画书在所述彩色摄像头对应的彩色坐标系中的位置。
在一种可能的实现方式中，所述装置还包括监测单元92，用于通过下列过程判断是否监测到移动图画书的动作：
若所述深度摄像头采集的当前帧深度图中的图画书区域存在干扰物，则确定所述当前帧深度图中像素点深度值位于第一设定区间内的第一前景区域；所述当前帧深度图中的图画书区域是将所述当前帧深度图与所述支撑物深度图进行像素点深度值比对得到的；
若所述第一前景区域的面积大于或等于第一设定面积，则确定监测到移动图画书的动作；
确定监测到移动图画书的动作之后，通过下列过程判断移动图画书的动作是否完成：
若所述深度摄像头采集的当前帧深度图中的图画书区域不存在干扰物，则确定移动图画书的动作完成。
在一种可能的实现方式中，所述监测单元92，还可以用于：
若监测到移动图画书的动作，判断是否发生翻书动作；
若发生翻书动作，检测翻书动作是否完成。
在一种可能的实现方式中，所述监测单元92，还可以用于：
若监测到移动图画书的动作，确定所述当前帧深度图中像素点深度值位于第二设定区间内的第二前景区域；
若所述第二前景区域的面积大于或等于第二设定面积，则确定监测到翻书动作；
确定监测到翻书动作之后，通过下列过程判断翻书动作是否完成：
若深度摄像头采集的当前帧深度图中的图画书区域不存在干扰物，则确定翻书动作完成。
在一种可能的实现方式中，所述监测单元92，还可以用于：
在当前帧深度图的图画书区域内进行轮廓提取；
若提取的轮廓中至少一个轮廓与图画书区域边缘的连接区段的长度大于或等于设定阈值，则确定所述图画书区域存在干扰物；
否则，确定所述图画书区域不存在干扰物。
本申请实施例提供的图画书识别装置，预先通过深度摄像头采集的设定区域的支撑物深度图确定彩色摄像头至图画书支撑物之间的距离，在进行图画书识别时，先根据彩色摄像头至图画书支撑物之间的距离，将彩色摄像头采集的设定区域的彩色图调整至设定尺度，再利用调整至设定尺度的彩色图与预存的图画书模板进行匹配，确定与彩色图中的图画书区域相匹配的目标模板。该方法不需要将彩色图缩放到多个不同的尺度分别与预存的图画书模板进行匹配，可以大幅度地提升图画书的识别效率。
与上述图画书识别方法基于相同的发明构思，本申请实施例还提供了一种电子设备。如图10所示，该电子设备可以包括：彩色摄像头1001、深度摄像头1002、处理器1003、存储器1004、输入模块1005、投影模块1006、通信接口1007、电源1008等部件。本领域技术人员可以理解，图10中示出的终端设备的结构并不构成对终端设备的限定，本申请实施例提供的终端设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图10对所述终端的各个构成部件进行具体的介绍：
彩色摄像头1001又可以称为RGB摄像头，用于采集设定区域内的彩色图，处理器1003基于彩色摄像头1001采集的彩色图进行图画书识别。
深度摄像头1002用于采集设定区域内的深度图，所述深度图指物体距离深度摄像头平面的真实距离构成的图像。利用深度摄像头1002采集的深度图，可以辅助进行图画书识别，并判断是否存在翻书动作或移动图画书的动作。常见的深度摄像头1002的成像原理包括飞行时间(TOF,Time of Flight)、结构光、双目成像等等。
投影模块1006可以是投影光机或AR投影设备，AR投影设备通过传感器感知用户和物体，使投影光机在识别出的物体或特定位置播放动画/图片/声音，达到增强现实的目的。投影模块1006可以将图画书对应的动画投影到投影幕布上。
通信接口1007用于与其他设备实现通信连接，包括物理连接和无线连接。可选的，所述通信接口1007可以与所述其他设备的通信接口通过电缆连接，实现所述电子设备和其他设备之间的数据传输。通信接口1007还可以包括RF(Radio Frequency，射频)模块或WiFi(Wireless Fidelity，无线保真)模块等，用于通过网络与服务器或其它设备连接，下载绘本模板等数据。通常，所述RF模块包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。
此外，RF模块还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System of Mobilecommunication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code DivisionMultiple Access，WCDMA)、长期演进(Long Term Evolution，LTE)、电子邮件、短消息服务(Short Messaging Service，SMS)等。
WiFi模块属于短距离无线传输技术，所述电子设备通过WiFi模块可以连接接入点(Access Point，AP)，从而实现数据网络的访问。所述WiFi模块可用于通信过程中，数据的接收和发送，也可以通过WiFi模块接收服务器发送的绘本模板等数据。
可以理解的是，通信接口1007中还可以包括存在上述部件中的至少一个或者其他用于实现通信的通信模块(如蓝牙模块)，以进行数据传输。
所述输入单元1005可以是设置在电子设备上的控制按键或遥控器，用于接收用户输入的与功能控制有关的信号输入。
可选的，输入单元1005还可以包括触控面板以及其他输入设备。其中，所述触控面板，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在所述触控面板上或在所述触控面板附近的操作)，并根据预先设定的程式实现相应的操作等。可选的，所述触控面板可以包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给所述处理器1003，并能接收所述处理器1003发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现所述触控面板。
所述电子设备还包括用于给各个部件供电的电源1008(比如电池)。可选的，所述电源1008可以通过电源管理系统与所述处理器1003逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗等功能。
存储器1004可以是易失性存储器(volatile memory)，例如随机存取存储器(random-access memory，RAM)；，也可以是非易失性存储器(non-volatile memory)，例如只读存储器，快闪存储器(flash memory)，硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)、或者存储器1301是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1004可以是上述存储器的组合。存储器1004是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1004，用于存储处理器1003执行的计算机程序。
处理器1003，可以包括一个或多个中央处理单元(central processing unit，CPU)，图形处理单元(Graphics Processing Unit，GPU)或者为数字处理单元等等。其中，图形处理单元可以用于对图形进行处理，如对图画书进行识别等。处理器1003还可以用于调用所述存储器1004中存储的计算机程序并实现本申请实施例所记载的上述任意一种图画书识别方法。
本申请实施例提供的电子设备，通过深度摄像头采集的设定区域的支撑物深度图确定彩色摄像头至图画书支撑物之间的距离，在进行图画书识别时，先根据彩色摄像头至图画书支撑物之间的距离，将彩色摄像头采集的设定区域的彩色图调整至设定尺度，再利用调整至设定尺度的彩色图与预存的图画书模板进行匹配，确定与彩色图中的图画书区域相匹配的目标模板。该方法不需要将彩色图缩放到多个不同的尺度分别与预存的图画书模板进行匹配，可以大幅度地提升图画书的识别效率。
本申请实施例还提供了一种计算机存储介质，所述计算机存储介质中存储有计算机可执行指令，所述计算机可执行指令用于实现本申请实施例所记载的上述任意一种图画书识别方法。
在一些可能的实施方式中，本申请提供的方法的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在计算机设备上运行时，所述程序代码用于使所述计算机设备执行本说明书上述描述的根据本申请各种示例性实施方式的方法中的步骤，例如，所述计算机设备可以执行本申请实施例所记载的任意一种图画书识别方法。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种图画书识别方法，其特征在于，包括：
根据彩色摄像头至图画书支撑物之间的距离，将彩色摄像头采集的设定区域的彩色图调整至设定尺度；其中，所述彩色摄像头至图画书支撑物之间的距离是根据与所述彩色摄像头对应设置的深度摄像头采集的所述设定区域的支撑物深度图确定的；
确定与调整至设定尺度的彩色图中的图画书区域相匹配的目标模板。
2.根据权利要求1所述的方法，其特征在于，所述确定与调整至设定尺度的彩色图中的图画书区域相匹配的目标模板，包括：
提取所述彩色图的图画书区域的特征点和每个特征点的特征向量；
对于预存的任意一个图画书模板，根据所述图画书模板中每个特征点的特征向量和所述彩色图的图画书区域的每个特征点的特征向量，确定所述图画书模板与所述彩色图的图画书区域的匹配点对集合，所述匹配点对集合中包括由图画书模板的特征点与所述彩色图中相匹配的特征点组成的匹配点对；
根据从所述匹配点对集合中获取的预设数量的匹配点对，确定表征所述彩色图对应的彩色坐标系与所述图画书模板之间的坐标映射关系；
根据所述彩色坐标系与所述图画书模板之间的坐标映射关系，对所述图画书模板与所述彩色图进行特征点的几何验证；
若所述图画书模板通过几何验证，则将所述图画书模板确定为目标模板。
3.根据权利要求2所述的方法，其特征在于，所述确定与调整至设定尺度的彩色图中的图画书区域相匹配的目标模板之后，所述方法还包括：
确定所述彩色图中的图画书在所述彩色坐标系中的位置；
将所述图画书在所述彩色坐标系中的位置转换成投影模块对应的投影坐标系中的投影位置；
根据所述投影位置将所述图画书和/或所述目标模板对应的动画投影到对应位置。
4.根据权利要求3所述的方法，其特征在于，所述确定所述彩色图中的图画书在所述彩色摄像头对应的彩色坐标系中的位置，包括：
根据所述目标模板和所述彩色坐标系与所述图画书模板之间的坐标映射关系，确定所述彩色图中的图画书在所述彩色坐标系中的位置。
5.根据权利要求3所述的方法，其特征在于，所述将所述图画书在所述彩色坐标系中的位置转换成投影模块对应的投影坐标系中的投影位置，包括：
根据预存的彩色坐标系与所述深度摄像头对应的深度坐标系之间的坐标映射关系，将所述图画书的像素点在所述彩色坐标系中的位置坐标转换为在所述深度坐标系中的位置坐标；
根据所述深度摄像头采集的深度图确定像素点在所述深度坐标系中的位置坐标对应的深度值；
根据预存的深度坐标系与所述投影坐标系之间的坐标映射关系，将所述像素点在所述深度坐标系中的位置坐标和深度值转换成所述投影坐标系中的投影坐标。
6.根据权利要求1所述的方法，其特征在于，所述彩色摄像头至图画书支撑物之间的距离通过如下步骤确定：
获取所述深度摄像头采集的所述设定区域的支撑物深度图；
根据所述支撑物深度图确定所述深度摄像头至图画书支撑物之间的距离；
根据所述深度摄像头至图画书支撑物之间的距离以及预存的所述深度摄像头与所述彩色摄像头之间的位置关系，确定所述彩色摄像头至图画书支撑物之间的距离。
7.根据权利要求1所述的方法，其特征在于，所述将彩色摄像头采集的设定区域的彩色图调整至设定尺度，包括：
在确定图画书区域不存在干扰物后，将彩色摄像头采集的设定区域的彩色图调整至设定尺度。
8.根据权利要求3所述的方法，其特征在于，所述方法还包括：
若监测到移动图画书的动作且所述移动图画书的动作完成，通过将所述目标模板与所述彩色摄像头采集的当前帧彩色图进行特征点的几何验证来确定图画书是否被移动；
若确定图画书被移动，则重新确定所述当前帧彩色图中的图画书在所述彩色摄像头对应的彩色坐标系中的位置。
9.根据权利要求8所述的方法，其特征在于，通过下列过程判断是否监测到移动图画书的动作：
若所述深度摄像头采集的当前帧深度图中的图画书区域存在干扰物，则确定所述当前帧深度图中像素点深度值位于第一设定区间内的第一前景区域；所述当前帧深度图中的图画书区域是将所述当前帧深度图与所述支撑物深度图进行像素点深度值比对得到的；
若所述第一前景区域的面积大于或等于第一设定面积，则确定监测到移动图画书的动作；
确定监测到移动图画书的动作之后，通过下列过程判断移动图画书的动作是否完成：
若所述深度摄像头采集的当前帧深度图中的图画书区域不存在干扰物，则确定移动图画书的动作完成。
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若监测到移动图画书的动作，判断是否发生翻书动作；
若发生翻书动作并且所述翻书动作完成，根据所述彩色摄像头采集的当前帧彩色图确定与所述当前帧彩色图中的图画书区域相匹配的目标模板。
11.根据权利要求10所述的方法，其特征在于，所述若监测到移动图画书的动作，判断是否发生翻书动作，包括：
若监测到移动图画书的动作，确定当前帧深度图中像素点深度值位于第二设定区间内的第二前景区域；
若所述第二前景区域的面积大于或等于第二设定面积，则确定监测到翻书动作；
确定监测到翻书动作之后，通过下列过程判断翻书动作是否完成：
若深度摄像头采集的当前帧深度图中的图画书区域不存在干扰物，则确定翻书动作完成。
12.根据权利要求7、9、11中任一项所述的方法，其特征在于，通过下列过程判断图画书区域是否存在干扰物：
在当前帧深度图的图画书区域内进行轮廓提取；
若提取的轮廓中至少一个轮廓与图画书区域边缘的连接区段的长度大于或等于设定阈值，则确定所述图画书区域存在干扰物；
否则，确定所述图画书区域不存在干扰物。
13.一种图画书识别装置，其特征在于，包括：
尺度调整单元，用于根据彩色摄像头至图画书支撑物之间的距离，将彩色摄像头采集的设定区域的彩色图调整至设定尺度；其中，所述彩色摄像头至图画书支撑物之间的距离是根据与所述彩色摄像头对应设置的深度摄像头采集的所述设定区域的支撑物深度图确定的；
图像识别单元，用于确定与调整至设定尺度的彩色图中的图画书区域相匹配的目标模板。
14.一种电子设备，其特征在于，包括：
处理器，与所述处理器连接的彩色摄像头和深度摄像头，以及用于存储所述处理器可执行指令的存储器；
其中，所述彩色摄像头用于采集设定区域的彩色图，所述深度摄像头用于采集设定区域的深度图；
所述处理器被配置为执行所述指令，以实现如权利要求1～12中任一项所述的图画书识别方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时，实现如权利要求1～12中任一项所述的图画书识别方法。
CN201911000160.5A 2019-10-21 2019-10-21 图画书识别方法、装置、电子设备和存储介质 Active CN110765926B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911000160.5A CN110765926B (zh) 2019-10-21 2019-10-21 图画书识别方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911000160.5A CN110765926B (zh) 2019-10-21 2019-10-21 图画书识别方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN110765926A true CN110765926A (zh) 2020-02-07
CN110765926B CN110765926B (zh) 2023-05-09

Family

ID=69331484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911000160.5A Active CN110765926B (zh) 2019-10-21 2019-10-21 图画书识别方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN110765926B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401266A (zh) * 2020-03-19 2020-07-10 杭州易现先进科技有限公司 绘本角点定位的方法、设备、计算机设备和可读存储介质
CN113609365A (zh) * 2021-08-11 2021-11-05 陕西中医药大学 一种中医古籍数据收集整理系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130202161A1 (en) * 2012-02-05 2013-08-08 Primesense Ltd. Enhanced face detection using depth information
CN104166841A (zh) * 2014-07-24 2014-11-26 浙江大学 一种视频监控网络中指定行人或车辆的快速检测识别方法
US20170103733A1 (en) * 2015-10-08 2017-04-13 Xiaomi Inc. Method and device for adjusting and displaying image
CN107784321A (zh) * 2017-09-28 2018-03-09 深圳市奇米教育科技有限公司 数字绘本快速识别方法、系统及计算机可读存储介质
US20180260479A1 (en) * 2017-03-09 2018-09-13 Beijing Ling Technology Co.,Ltd. Method, apparatus, system and electronic device for picture book recognition
CN109583389A (zh) * 2018-12-03 2019-04-05 易视腾科技股份有限公司 绘本识别方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130202161A1 (en) * 2012-02-05 2013-08-08 Primesense Ltd. Enhanced face detection using depth information
CN104166841A (zh) * 2014-07-24 2014-11-26 浙江大学 一种视频监控网络中指定行人或车辆的快速检测识别方法
US20170103733A1 (en) * 2015-10-08 2017-04-13 Xiaomi Inc. Method and device for adjusting and displaying image
US20180260479A1 (en) * 2017-03-09 2018-09-13 Beijing Ling Technology Co.,Ltd. Method, apparatus, system and electronic device for picture book recognition
CN107784321A (zh) * 2017-09-28 2018-03-09 深圳市奇米教育科技有限公司 数字绘本快速识别方法、系统及计算机可读存储介质
CN109583389A (zh) * 2018-12-03 2019-04-05 易视腾科技股份有限公司 绘本识别方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111401266A (zh) * 2020-03-19 2020-07-10 杭州易现先进科技有限公司 绘本角点定位的方法、设备、计算机设备和可读存储介质
CN111401266B (zh) * 2020-03-19 2023-11-03 杭州易现先进科技有限公司 绘本角点定位的方法、设备、计算机设备和可读存储介质
CN113609365A (zh) * 2021-08-11 2021-11-05 陕西中医药大学 一种中医古籍数据收集整理系统

Also Published As

Publication number Publication date
CN110765926B (zh) 2023-05-09

Similar Documents

Publication Publication Date Title
US10043308B2 (en) Image processing method and apparatus for three-dimensional reconstruction
CN110276317B (zh) 一种物体尺寸检测方法、物体尺寸检测装置及移动终端
CN109934065B (zh) 一种用于手势识别的方法和装置
CN108381549B (zh) 一种双目视觉引导机器人快速抓取方法、装置及存储介质
CN108876804B (zh) 抠像模型训练和图像抠像方法、装置和系统及存储介质
US11176355B2 (en) Facial image processing method and apparatus, electronic device and computer readable storage medium
EP2903256B1 (en) Image processing device, image processing method and program
CN114186632B (zh) 关键点检测模型的训练方法、装置、设备、存储介质
CN104781849A (zh) 单眼视觉同时定位与建图(slam)的快速初始化
CN104156998A (zh) 一种基于图片虚拟内容融合真实场景的实现方法及系统
CN110648363A (zh) 相机姿态确定方法、装置、存储介质及电子设备
WO2022174594A1 (zh) 基于多相机的裸手追踪显示方法、装置及系统
CN110832542B (zh) 识别处理设备、识别处理方法和程序
CN106778587B (zh) 基于无人机影像的飞行状态检测方法及装置
CN110765926B (zh) 图画书识别方法、装置、电子设备和存储介质
CN112633084A (zh) 人脸框确定方法、装置、终端设备及存储介质
CN111199169A (zh) 图像处理方法和装置
CN108960012B (zh) 特征点检测方法、装置及电子设备
WO2020001016A1 (zh) 运动图像生成方法、装置、电子设备及计算机可读存储介质
CN111354029A (zh) 手势深度确定方法、装置、设备及存储介质
CN112197708B (zh) 测量方法及装置、电子设备及存储介质
CN106406507B (zh) 图像处理方法以及电子设备
CN110084187B (zh) 基于计算机视觉的位置识别方法、装置、设备及存储介质
WO2023005139A1 (zh) 线条绘制方法、装置、电子设备及计算机可读存储介质
CN111258413A (zh) 虚拟对象的控制方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant