CN112711965B - 一种绘本识别方法、装置及设备 - Google Patents

一种绘本识别方法、装置及设备 Download PDF

Info

Publication number
CN112711965B
CN112711965B CN201911018353.3A CN201911018353A CN112711965B CN 112711965 B CN112711965 B CN 112711965B CN 201911018353 A CN201911018353 A CN 201911018353A CN 112711965 B CN112711965 B CN 112711965B
Authority
CN
China
Prior art keywords
identified
camera
side length
parameters
book
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911018353.3A
Other languages
English (en)
Other versions
CN112711965A (zh
Inventor
李扬
顾景
王玥
刘傲
程骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Ubtech Technology Co ltd
Original Assignee
Shenzhen Ubtech Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Ubtech Technology Co ltd filed Critical Shenzhen Ubtech Technology Co ltd
Priority to CN201911018353.3A priority Critical patent/CN112711965B/zh
Priority to US16/726,833 priority patent/US11074450B2/en
Publication of CN112711965A publication Critical patent/CN112711965A/zh
Application granted granted Critical
Publication of CN112711965B publication Critical patent/CN112711965B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种绘本识别方法包括：根据摄像机所采集的图像和摄像机内参数，确定待识别绘本的几何参数；将所述待识别绘本的几何参数，与目标绘本的几何参数进行匹配；如果所述待识别绘本的几何参数与所述目标绘本的几参数不匹配，则所述目标绘本识别无效。通过几何参数的匹配进一步对目标绘本进行筛选，从而能够减少误识别，有利于提高绘本识别的精度。

Description

一种绘本识别方法、装置及设备
技术领域
本申请属于人工智能领域，尤其涉及一种绘本的识别方法、装置及设备。
背景技术
绘本是一种以绘画为主，并附有少量文字的书籍。在目前的儿童教育机器人产品中，通过增加绘本阅读功能，可以有效的解决父母无时间陪伴儿童阅读的痛点，逐渐成为高端的陪伴机器人的重要配置。比如，具有单一伴读功能的的伴读器产品，也在近两年深受教育市场的欢迎与关注。
伴读产品在实现伴读功能时，通常是由伴读产品采集绘本图像，通过图像检索匹配的方式，识别当前的绘本所对应的页面。通过图像的相似度进行识别的过程中，可能会出现绘本内容的误识别，不利于保证绘本识别的准确率。
发明内容
有鉴于此，本申请实施例提供了一种绘本识别方法、装置及设备，以解决现有技术中通过图像的相似度进行识别的过程中，可能会出现绘本内容的误识别，不利于保证绘本识别的准确率的问题。
本申请实施例的第一方面提供了一种绘本识别方法，所述绘本识别方法包括：
根据摄像机所采集的图像和摄像机内参数，确定待识别绘本的几何参数；
将所述待识别绘本的几何参数，与目标绘本的几何参数进行匹配；
如果所述待识别绘本的几何参数与所述目标绘本的几参数不匹配，则所述目标绘本识别无效。
结合第一方面，在第一方面的第一种可能实现方式中，所述根据摄像机所采集的图像和摄像机内参数，确定待识别绘本的几何参数的步骤包括：
根据所采集的图像和所述摄像机内参数，确定所述待识别绘本的边长，并根据所识别的边长确定所述待识别绘本的边长比；
根据所采集的图像和所述摄像机内参数，确定所述待识别绘本所包括的角度。
结合第一方面，在第一方面的第二种可能实现方式中，所述根据所采集的图像和所述摄像机内参数，确定所述待识别绘本的边长的步骤包括：
根据公式计算待识别绘本的边长，其中，A，B分别为绘本中的两个相邻的顶点，d(A,B)表示顶点A和B之间的距离，<A,B>表示A，B两点的内积，/>(a,b)为所采集的图像上与所述(A,B)对应的两个点，R＝[r1,r2,r3]旋转矩阵，a′＝K-1a，b′＝K-1b，K为相机内参数。
结合第一方面的第一种可能实现方式，在第一方面的第三种可能实现方式中，所述根据所采集的图像和所述摄像机内参数，确定所述待识别绘本所包括的角度的步骤包括：
根据所采集的图像和所述摄像机内参数，确定包括待确定角度所对应的三角形的边长；
根据所计算的三角形的边长，通过余弦定理的计算方式确定所述角度。
结合第一方面的第一种可能实现方式，在第一方面的第四种可能实现方式中，所述待识别绘本所包括的角度，包括待识别绘本的页面角度和/或页面内容中的线条所构成的角度。
结合第一方面的第一种可能实现方式，在第一方面的第五种可能实现方式中，所述绘本的边长比为绘本相邻两边的边长比。
结合第一方面，在第一方面的第六种可能实现方式中，所述方法还包括：
当所述待识别绘本的几何参数与所述目标绘本的几参数匹配时，获取待识别绘本中的页面图像，与目标绘本的页面图像的相似度；
当所述相似度大于预定阈值，则所述待识别绘本与所述目标绘本匹配成功。
本申请实施例的第二方面提供了一种绘本识别装置，所述绘本识别装置包括：
几何参数确定单元，用于根据摄像机所采集的图像和摄像机内参数，确定待识别绘本的几何参数；
几何参数匹配单元，用于将所述待识别绘本的几何参数，与目标绘本的几何参数进行匹配；
绘本无效识别单元，用于如果所述待识别绘本的几何参数与所述目标绘本的几参数不匹配，则所述目标绘本识别无效。
本申请实施例的第三方面提供了一种绘本识别设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面任一项所述绘本识别方法的步骤。
本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项所述绘本识别方法的步骤。
本申请实施例与现有技术相比存在的有益效果是：本申请在进行绘本识别时，通过引入摄像机内参数，对采集的图像进行计算分析，确定待识别绘本的几何参数，将所述待识别绘本的几何参数与目标绘本的几何参数进行匹配，如果匹配失败，则确定所述待识别绘本与所述目标绘本匹配失败，通过几何参数的匹配进一步对目标绘本进行筛选，从而能够减少误识别，有利于提高绘本识别的精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种绘本识别方法的实现流程示意图；
图2是本申请实施例提供的待识别绘本与目标绘本的示意图；
图3是本申请实施例提供的一种绘本识别装置的示意图；
图4是本申请实施例提供的绘本识别设备的示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
图1为本申请实施例提供的一种绘本识别方法的实现流程示意图，详述如下：
在步骤S101中，根据摄像机所采集的图像和摄像机内参数，确定待识别绘本的几何参数；
具体的，所述摄像机内参数，可以包括相机的焦距、像素大小等。在所述相机生产完成后即可确定，在使用过程中一般不会发生改变。因此，对于同一摄像机，所采集的多个不同图像中，摄像机的内参数保持不变。因而，在计算过程中，可以根据其它参数的变化，来确定所确定的几何参数的改变因素。
本申请所述待识别绘本的几何参数，可以包括待识别绘本的边长比，和/或，待识别绘本所包括的角度。其中，所述待识别绘本的边长比，可以为待识别绘本所对应的多边形的各边的比。比如，待识别绘本对应的多边形为长方形时，所对应的边长比可以为长宽之比。对于其它多边形的绘本，则可以选择更多的边长比的样式，比如选择其中任意两条不相等的边长所对应的边长比。另外，可以不局限于绘本所对应的多边形，还可以对绘本内容所包括的线条进行计算，确定线条长度比作为边长比。
本申请所述待识别绘本的几何参数，可以包括待识别绘本所包括的角度。比如，所述角度可以为绘本所对应的多边形的角度。比如，绘本为长方形时，可以为长方形的四个角。如果为其它多边形，则可以为多边形所对应的各个角度。另外，对于绘本页面中包括的线条所构成的平角，或者页面中的线条与绘本的边所构成的夹角，均可以作为本申请所述几何参数中的角度。
在确定所述待识别绘本的几何参数，比如边长比或角度时，可以先确定待识别绘本中的线段的长度，根据所识别的线段的长度，进一步确定边长比，或者进一步确定角度。
首先，对待识别绘本中的线段的长度计算进行具体的说明如下：
在使用的过程中，由于不知道摄像机具体的摆放位置，所以无法事先计算出摄像机的外参数，不妨通过假设的方式，确定摄像机的中心到绘本平面的距离为b。
假设摄像机的中心位置为O，摄像机内参数为K，待识别绘本所在的平面记为∑平面；如图2所示，摄像机所采集的图像(图2左图)记为∑t平面，待识别绘本所扫描得到的图像(图2右图)记为∑m平面，从左边图到右边图的单应变换设为H:∑t→∑m(其中，相机内参数K为事先对摄像机标定得到，H为匹配过程中计算得到，而O和∑是未知的)。
过摄像机中心位置O作∑平面的垂线交平面∑于O'，以O'O为z轴建立坐标系(其中，x轴和y轴均在平面∑中，可以任意建立并不会影响平面∑的度量结构)。
此时，摄像机矩阵P可以表示为：P＝KR[I|-C]
其中R为旋转矩阵，I为单位矩阵，C＝[0,0,h]T为摄像机中心的坐标，K为摄像机内参数，通过H我们可以计算出的距离∑m平面无穷远的直线在∑t上的映射为：l＝HT*[0,0,1]T
而该映射这正好为平面∑的无穷远直线在所采集的图像上的投影，即平面∑的消失线。由于x轴和y轴均在∑平面上，故x方向和y方向的消失点都在直线l上，可以先计算x方向和y方向的消失点的坐标。
x方向的消失点坐标ux＝KR[I|-C]*[1,0,0,0]T＝K*r1
y方向的消失点坐标uy＝KR[I|-C]*[0,1,0,0]T＝K*r2
从而可以得到l＝(K*r1)×(K*r2)＝diag(f,f,f2)*(r1×r2)＝diag(f,f,f2)*r3
其中，旋转矩阵R＝[r1,r2,r3]，diag表示提取对角元素，f为摄像机焦距。
由上面的结果可解出
下面计算所采集的图像上的任意两点(点a和点b)反映射至平面∑上对应两点A和B之间的距离。其中，点a的坐标为(ax，ay)，点b的坐标为(bx，by)，
则其中A＝[xa,ya,0,1]T。
假设a′＝K-1a，则可以得到
同理可得
其中B＝[xb,yb,0,1]T，b′＝K-1b。
A与B的内积可以表示为：
其中，从而可以得到/>带入上式可得A与B的内积可以表示为：/>
通过内积公式，可以计算A与B之间的距离为：
计算待识别绘本的边长，其中，A，B分别为绘本中的两个相邻的顶点，d(A,B)表示顶点A和B之间的距离，<A,B>表示A，B两点的内积，/>(a,b)为所采集的图像上与所述(A,B)对应的两个点，R＝[r1,r2,r3]旋转矩阵，a′＝K-1a，b′＝K-1b，K为相机内参数。
由此可见，所计算得到的待识别绘本的边长比、角度与相机位置无关，即得到的边长比为固定值。
当A，B为待识别绘本中的边长中的两个端点时，根据相述公式即可计算待识别绘本的其中一个边长。根据同样的计算方式，可以计算另一边长，从而得到两个边的边长比。
通过上述方式可以计算任意边或线段的距离后，可以根据所确定的距离，结合余弦定理的方式，来确定任意夹角的角度，比如，可以计算得到三角形的三条边的长度后，根据余弦定理计算所述三角形中的任意一个角度。
在步骤S102中，将所述待识别绘本的几何参数，与目标绘本的几何参数进行匹配；
在本申请中，预先存储有多个目标绘本的几何参数。当通过步骤S101获得待识别的绘本的几何参数后，可以将待识别绘本的几何参数与目标绘本进行匹配，查找与待识别绘本匹配的目标绘本。
在步骤S103中，如果所述待识别绘本的几何参数与所述目标绘本的几参数不匹配，则所述目标绘本识别无效。
如果所述待识别绘本的几何参数与所述目标绘本的几何参数不匹配，比如边长比不匹配，或者角度不匹配，可以为待识别绘本的边长比与目标绘本的边长比的差值大于预定距离，或者待识别绘本的角度，与目标绘本对应的角度的差值大于预定角度。
另外，如果所述待识别绘本的几何参数与所述目标绘本的几何参数匹配，且待识别绘本的图像内容与目标绘本的图像内容的相似度大于预定值时，则可以确认所述待识别绘本与所述目标绘本匹配成功。
其中，所述待识别绘本的几何参数与所述目标绘本的几何参数匹配，可以为边长比匹配且角度匹配，可以为待识别绘本的边长比与目标绘本的边长比的差值小于预定距离，且待识别绘本的角度，与目标绘本对应的角度的差值小于预定角度。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图3为本申请实施例提供的一种绘本识别装置的结构示意图，详述如下：
所述绘本匹配装置包括：
几何参数确定单元301，用于根据摄像机所采集的图像和摄像机内参数，确定待识别绘本的几何参数；
几何参数匹配单元302，用于将所述待识别绘本的几何参数，与目标绘本的几何参数进行匹配；
绘本无效识别单元303，用于如果所述待识别绘本的几何参数与所述目标绘本的几参数不匹配，则所述目标绘本识别无效。
图3所述绘本识别装置，与图1所述的绘本识别方法对应。
图4是本申请一实施例提供的绘本识别设备的示意图。如图4所示，该实施例的绘本识别设备4包括：处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机程序42，例如绘本识别程序。所述处理器40执行所述计算机程序42时实现上述各个绘本识别方法实施例中的步骤。或者，所述处理器40执行所述计算机程序42时实现上述各装置实施例中各模块/单元的功能。
示例性的，所述计算机程序42可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器41中，并由所述处理器40执行，以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序42在所述绘本识别设备4中的执行过程。例如，所述计算机程序42可以被分割成：
几何参数确定单元，用于根据摄像机所采集的图像和摄像机内参数，确定待识别绘本的几何参数；
几何参数匹配单元，用于将所述待识别绘本的几何参数，与目标绘本的几何参数进行匹配；
绘本无效识别单元，用于如果所述待识别绘本的几何参数与所述目标绘本的几参数不匹配，则所述目标绘本识别无效。
所述绘本识别设备4可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述绘本识别设备可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是绘本识别设备4的示例，并不构成对绘本识别设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述绘本识别设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器41可以是所述绘本识别设备4的内部存储单元，例如绘本识别设备4的硬盘或内存。所述存储器41也可以是所述绘本识别设备4的外部存储设备，例如所述绘本识别设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(SecureDigital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器41还可以既包括所述绘本识别设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机程序以及所述绘本识别设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (7)

1.一种绘本识别方法，其特征在于，所述绘本识别方法包括：
根据摄像机所采集的图像和摄像机内参数，确定待识别绘本的几何参数；
将所述待识别绘本的几何参数，与目标绘本的几何参数进行匹配；
如果所述待识别绘本的几何参数与所述目标绘本的几参数不匹配，则所述目标绘本识别无效；
所述根据摄像机所采集的图像和摄像机内参数，确定待识别绘本的几何参数的步骤包括：
根据所采集的图像和所述摄像机内参数，确定所述待识别绘本的边长，并根据所识别的边长确定所述待识别绘本的边长比，所述边长比包括待识别绘本所对应的多边形的各边的比；
根据所采集的图像和所述摄像机内参数，确定所述待识别绘本所包括的角度，所述角度包括绘本外轮廓边长的夹角或绘本页面中线条与所属绘本边所构成的夹角或页面内容中的线条所构成的角度；
所述根据所采集的图像和所述摄像机内参数，确定所述待识别绘本的边长的步骤包括：
根据公式计算待识别绘本的边长，其中，A，B分别为绘本中的两个相邻的顶点，d(A,B)表示顶点A和B之间的距离，<A,B>表示A，B两点的内积，/>(a,b)为所采集的图像上与所述(A,B)对应的两个点，R＝[r1,r2,r3]旋转矩阵，a′＝K-1a，b′＝K-1b，K为相机内参数，C＝[0,0,h]T为摄像机中心的坐标。
2.根据权利要求1所述的绘本识别方法，其特征在于，所述根据所采集的图像和所述摄像机内参数，确定所述待识别绘本所包括的角度的步骤包括：
根据所采集的图像和所述摄像机内参数，确定包括待确定角度所对应的三角形的边长；
根据所计算的三角形的边长，通过余弦定理的计算方式确定所述角度。
3.根据权利要求1所述的绘本识别方法，其特征在于，所述绘本的边长比为绘本相邻两边的边长比。
4.根据权利要求1所述的绘本识别方法，其特征在于，所述方法还包括：
当所述待识别绘本的几何参数与所述目标绘本的几参数匹配时，获取待识别绘本中的页面图像，与目标绘本的页面图像的相似度；
当所述相似度大于预定阈值，则所述待识别绘本与所述目标绘本匹配成功。
5.一种绘本识别装置，其特征在于，所述绘本识别装置包括：
几何参数确定单元，用于根据摄像机所采集的图像和摄像机内参数，确定待识别绘本的几何参数；
几何参数匹配单元，用于将所述待识别绘本的几何参数，与目标绘本的几何参数进行匹配；
绘本无效识别单元，用于如果所述待识别绘本的几何参数与所述目标绘本的几参数不匹配，则所述目标绘本识别无效；
所述几何参数确定单元包括：
边长比确定子单元，用于根据所采集的图像和所述摄像机内参数，确定所述待识别绘本的边长，并根据所识别的边长确定所述待识别绘本的边长比，所述边长比包括待识别绘本所对应的多边形的各边的比；
角度确定子单元，用于根据所采集的图像和所述摄像机内参数，确定所述待识别绘本所包括的角度，所述角度包括绘本外轮廓边长的夹角或绘本页面中线条与所属绘本边所构成的夹角或页面内容中的线条所构成的角度；
所述边长比确定子单元包括：
边长计算模块，用于根据公式计算待识别绘本的边长，其中，A，B分别为绘本中的两个相邻的顶点，d(A,B)表示顶点A和B之间的距离，<A,B>表示A，B两点的内积，/> (a,b)为所采集的图像上与所述(A,B)对应的两个点，R＝[r1,r2,r3]旋转矩阵，a′＝K-1a，b′＝K-1b，K为相机内参数，C＝[0,0,h]T为摄像机中心的坐标。
6.一种绘本识别设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述绘本识别方法的步骤。
7.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述绘本识别方法的步骤。
CN201911018353.3A 2019-10-24 2019-10-24 一种绘本识别方法、装置及设备 Active CN112711965B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911018353.3A CN112711965B (zh) 2019-10-24 2019-10-24 一种绘本识别方法、装置及设备
US16/726,833 US11074450B2 (en) 2019-10-24 2019-12-25 Picture book identification method and apparatus and terminal device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911018353.3A CN112711965B (zh) 2019-10-24 2019-10-24 一种绘本识别方法、装置及设备

Publications (2)

Publication Number Publication Date
CN112711965A CN112711965A (zh) 2021-04-27
CN112711965B true CN112711965B (zh) 2023-12-05

Family

ID=75540232

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911018353.3A Active CN112711965B (zh) 2019-10-24 2019-10-24 一种绘本识别方法、装置及设备

Country Status (2)

Country Link
US (1) US11074450B2 (zh)
CN (1) CN112711965B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106257454A (zh) * 2015-06-17 2016-12-28 汤姆逊许可公司 用于在光场数据库中进行数据检索的方法和装置
CN107507469A (zh) * 2017-08-27 2017-12-22 广州慈华信息科技有限公司 一种双屏幕的儿童绘本电子阅读装置的实现方法
CN107977391A (zh) * 2017-03-09 2018-05-01 北京物灵智能科技有限公司 绘本识别方法、装置、系统及电子设备
CN109408017A (zh) * 2018-10-09 2019-03-01 东软集团股份有限公司 图像投射方法、装置、终端设备及计算机可读存储介质
CN109583389A (zh) * 2018-12-03 2019-04-05 易视腾科技股份有限公司 绘本识别方法及装置
CN110033023A (zh) * 2019-03-11 2019-07-19 北京光年无限科技有限公司 一种基于绘本识别的图像数据处理方法及系统
CN110058705A (zh) * 2019-04-28 2019-07-26 视辰信息科技(上海)有限公司 绘本辅助阅读方法、计算设备、点读侧设备与电子设备
CN110180186A (zh) * 2019-05-28 2019-08-30 北京奇思妙想信息技术有限公司 一种地形图转换方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106257454A (zh) * 2015-06-17 2016-12-28 汤姆逊许可公司 用于在光场数据库中进行数据检索的方法和装置
CN107977391A (zh) * 2017-03-09 2018-05-01 北京物灵智能科技有限公司 绘本识别方法、装置、系统及电子设备
CN107507469A (zh) * 2017-08-27 2017-12-22 广州慈华信息科技有限公司 一种双屏幕的儿童绘本电子阅读装置的实现方法
CN109408017A (zh) * 2018-10-09 2019-03-01 东软集团股份有限公司 图像投射方法、装置、终端设备及计算机可读存储介质
CN109583389A (zh) * 2018-12-03 2019-04-05 易视腾科技股份有限公司 绘本识别方法及装置
CN110033023A (zh) * 2019-03-11 2019-07-19 北京光年无限科技有限公司 一种基于绘本识别的图像数据处理方法及系统
CN110058705A (zh) * 2019-04-28 2019-07-26 视辰信息科技(上海)有限公司 绘本辅助阅读方法、计算设备、点读侧设备与电子设备
CN110180186A (zh) * 2019-05-28 2019-08-30 北京奇思妙想信息技术有限公司 一种地形图转换方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Nicholas Nelson.An Evaluation of Oracle's StillImage Plugin as a Platform for Dynamic Image Search.《Technical Library》.2015,第1-11页. *

Also Published As

Publication number Publication date
US11074450B2 (en) 2021-07-27
US20210124925A1 (en) 2021-04-29
CN112711965A (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
CN111310775B (zh) 数据训练方法、装置、终端设备及计算机可读存储介质
CN111815754B (zh) 一种三维信息确定方法、三维信息确定装置及终端设备
CN110136182B (zh) 激光点云与2d影像的配准方法、装置、设备和介质
CN109543489B (zh) 基于二维码的定位方法、装置和存储介质
CN111860489A (zh) 一种证件图像校正方法、装置、设备及存储介质
CN108090486B (zh) 一种台球比赛中的图像处理方法及装置
CN108182708B (zh) 一种双目相机的标定方法、标定装置及终端设备
CN110796095B (zh) 仪表模板建立方法、终端设备以及计算机存储介质
CN112085771B (zh) 图像配准方法、装置、终端设备及计算机可读存储介质
CN112686950B (zh) 位姿估计方法、装置、终端设备及计算机可读存储介质
CN112966725B (zh) 匹配模板图像的方法、装置及终端设备
CN109949306B (zh) 反射面角度偏差检测方法、终端设备及存储介质
CN112198878B (zh) 一种即时地图构建方法、装置、机器人及存储介质
CN112446918A (zh) 图像中目标物体定位方法、装置、计算机装置及存储介质
CN111161348B (zh) 一种基于单目相机的物体位姿估计方法、装置及设备
CN112215887A (zh) 一种位姿确定方法、装置、存储介质及移动机器人
CN112102378B (zh) 图像配准方法、装置、终端设备及计算机可读存储介质
CN112200004B (zh) 图像检测模型的训练方法、装置及终端设备
CN114066930A (zh) 一种平面目标跟踪方法、装置、终端设备及存储介质
CN112711965B (zh) 一种绘本识别方法、装置及设备
CN109816709B (zh) 基于单目摄像头的深度估计方法、装置及设备
CN108629219B (zh) 一种识别一维码的方法及装置
CN109286798B (zh) 一种投影屏幕的边框位置识别方法、系统及终端设备
CN111223139A (zh) 目标定位方法及终端设备
CN113658101B (zh) 图像中地标点检测方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant