CN111028290A - 一种用于绘本阅读机器人的图形处理方法及装置 - Google Patents

一种用于绘本阅读机器人的图形处理方法及装置 Download PDF

Info

Publication number
CN111028290A
CN111028290A CN201911173928.9A CN201911173928A CN111028290A CN 111028290 A CN111028290 A CN 111028290A CN 201911173928 A CN201911173928 A CN 201911173928A CN 111028290 A CN111028290 A CN 111028290A
Authority
CN
China
Prior art keywords
camera
picture book
image
distortion
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911173928.9A
Other languages
English (en)
Other versions
CN111028290B (zh
Inventor
陆羽皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Guangnian Wuxian Technology Co Ltd
Original Assignee
Beijing Guangnian Wuxian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Guangnian Wuxian Technology Co Ltd filed Critical Beijing Guangnian Wuxian Technology Co Ltd
Priority to CN201911173928.9A priority Critical patent/CN111028290B/zh
Publication of CN111028290A publication Critical patent/CN111028290A/zh
Application granted granted Critical
Publication of CN111028290B publication Critical patent/CN111028290B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

一种用于绘本阅读机器人的图形处理方法，其包括：获取原始绘本图像；利用预设维度转换映射图，根据原始绘本图像得到二维绘本图像，预设维度转换映射图能够根据摄像头外参矩阵和摄像头内参矩阵对原始绘本图像进行图像转换来得到二维绘本图像，从而将原始绘本图像中的三维空间坐标系下的齐次坐标转换为二维空间坐标；利用预设畸变映射图对二维绘本图像进行去畸变处理，得到对应于原始绘本图像的标准二维绘本图像。本方法能够满足不同绘本不同拍摄角度的使用要求，在实际使用过程中，用户并不需要像现有技术那样将绘本以特定的角度和位置放置在摄像头拍摄区域内，而是可以更为自由地来放置绘本，这样显然能够大大提高绘本阅读机器人的用户体验。

Description

一种用于绘本阅读机器人的图形处理方法及装置
技术领域
本发明涉及机器人技术领域，具体地说，涉及一种用于绘本阅读机器人的图形处理方法。
背景技术
随着人工智能的发展，越来越多的绘本阅读机器人推向市场。绘本阅读机器人能够通过识别卡片、书籍上的内容(例如识别绘本所所印刷的图片或是文字等)，来检索并输出与识别内容相关的信息，从而帮助用户提高自身的认知能力。
绘本阅读机器人将图像识别与印刷品检索技术相结合，使得智能机器人具有了与检索印刷品图片的相关信息的交互能力，不仅加强了智能机器人在图片识别与图片检索领域的应用，同时也扩展了智能机器人在教育市场的应用场景。
然而，现有的绘本机器人在应用过程中，对于所需要识别的绘本图片的位置要求较为严格。通常，只有当绘本图片按照特定的要求、特定的角度放置在特定的位置上时，绘本机器人才能够具有较好的识别效果，这显然影响了绘本机器人的推广与应用。
发明内容
为解决上述问题，本发明提供了一种用于绘本阅读机器人的图形处理方法，所述方法包括：
步骤一、获取原始绘本图像；
步骤二、利用预设维度转换映射图，根据所述原始绘本图像得到二维绘本图像，其中，所述预设维度转换映射图能够根据摄像头外参矩阵和摄像头内参矩阵对所述原始绘本图像进行图像转换来得到二维绘本图像，从而将所述原始绘本图像中的三维空间坐标系下的齐次坐标转换为二维空间坐标；
步骤三、利用预设畸变映射图对所述二维绘本图像进行去畸变处理，得到对应于所述原始绘本图像的标准二维绘本图像。
根据本发明的一个实施例，所述预设畸变映射图包括畸变参数，在所述步骤三中，利用所述畸变参数对所述二维绘本图像进行去畸变处理，以实现径向畸变修正和/或切向畸变修正。
根据本发明的一个实施例，基于第一组预设标定图像中像素点的三维空间坐标系下的齐次坐标和二维空间坐标，通过调整缩放值s、摄像头内参矩阵I、摄像头外参矩阵[r|t]和畸变参数dist，使得预设函数的取值趋近于零，从而得到摄像头内参矩阵I和畸变参数dist。
根据本发明的一个实施例，在获取所述第一组预设标定图像时，固定标定图案位置不变，通过移动摄像头从不同的角度进行拍摄，从而得到所述第一组预设标定图像。
根据本发明的一个实施例，根据摄像头高度和摄像头角度确定所述摄像头外参矩阵。
根据本发明的一个实施例，基于第二组预设标定图像中像素点的三维空间坐标系下的齐次坐标和二维空间坐标，根据所述摄像头内参矩阵I和畸变参数，确定所述摄像头高度和摄像头角度。
根据本发明的一个实施例，在所述步骤二中，还结合目标缩放比对所述原始绘本图像进行图像转换。
根据本发明的一个实施例，确定所述目标缩放比的步骤包括：
根据摄像头角度、摄像头高度和摄像头焦距确定缩放值；
根据所述缩放值和预设库图片尺寸确定所述目标缩放比。
本发明还提供了一种程序产品，所述程序产品存储有可执行如上任一项所述的方法步骤的程序代码。
本发明还提供了一种用于绘本阅读机器人的图形处理系统，所述系统装配有操作系统，所述操作系统能够装载并执行如上所述的程序产品。
本发明还提供了一种用于绘本阅读机器人的图形处理装置，所述装置包括：
绘本图像获取模块，其用于获取原始绘本图像；
维度转换模块，其与所述绘本图像获取模块连接，用于利用预设维度转换映射图，根据所述原始绘本图像得到二维绘本图像，其中，所述预设维度转换映射图能够根据摄像头外参矩阵和摄像头内参矩阵对所述原始绘本图像进行图像转换来得到二维绘本图像，从而将所述原始绘本图像中的三维空间坐标系下的齐次坐标转换为二维空间坐标；
去畸变模块，其与所述维度转换模块连接，用于利用预设畸变映射图对所述二维绘本图像进行去畸变处理，得到对应于所述原始绘本图像的标准二维绘本图像。
根据本发明的一个实施例，所述预设畸变映射图包括畸变参数，所述去畸变模块配置为利用所述畸变参数对所述二维绘本图像进行去畸变处理，以实现径向畸变修正和/或切向畸变修正。
根据本发明的一个实施例，所述装置还包括：
参数标定模块，其用于基于第一组预设标定图像中像素点的三维空间坐标系下的齐次坐标和二维空间坐标，通过调整缩放值s、摄像头内参矩阵I、摄像头外参矩阵[r|t]和畸变参数dist，使得预设函数的取值趋近于零，从而得到摄像头内参矩阵I和畸变参数dist。
根据本发明的一个实施例，在获取所述第一组预设标定图像时，固定标定图案位置不变，通过移动摄像头从不同的角度进行拍摄，从而得到所述第一组预设标定图像。
根据本发明的一个实施例，所述参数标定模块配置为根据摄像头高度和摄像头角度确定所述摄像头外参矩阵。
根据本发明的一个实施例，所述参数标定模块配置为基于第二组预设标定图像中像素点的三维空间坐标系下的齐次坐标和二维空间坐标，根据所述摄像头内参矩阵I和畸变参数，确定所述摄像头高度和摄像头角度。
根据本发明的一个实施例，所述维度转换模块配置为还结合目标缩放比对所述原始绘本图像进行图像转换。
根据本发明的一个实施例，确定所述目标缩放比的步骤包括：
根据摄像头角度、摄像头高度和摄像头焦距确定缩放值；
根据所述缩放值和预设库图片尺寸确定所述目标缩放比。
本发明还提供了一种绘本阅读机器人，所述绘本阅读机器人包括如上任一项所述的图形处理装置。
本方法能够满足不同绘本不同拍摄角度的使用要求，在实际使用过程中，用户并不需要像现有技术那样将绘本以特定的角度和位置放置在摄像头拍摄区域内，而是可以更为自由地来放置绘本，这样显然能够大大提高绘本阅读机器人的用户体验。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要的附图做简单的介绍：
图1是根据本发明一个实施例的用于绘本阅读机器人的图形处理方法的实现流程示意图；
图2是根据本发明一个实施例的绘本阅读机器人的应用场景示意图；
图3是根据本发明一个实施例的确定摄像头高度和摄像头角度的实现流程示意图；
图4是根据本发明一个实施例的小孔成像模型的示意图；
图5是根据本发明一个实施例的用于绘本阅读机器人的图形处理装置的结构示意图。
具体实施方式
以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
同时，在以下说明中，出于解释的目的而阐述了许多具体细节，以提供对本发明实施例的彻底理解。然而，对本领域的技术人员来说显而易见的是，本发明可以不用这里的具体细节或者所描述的特定方式来实施。
另外，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
图1示出了本发明所提供的用于绘本阅读机器人的图形处理方法的实现流程示意图。
如图1所示，本实施例所提供的用于绘本阅读机器人的图形处理方法首先会在步骤S101中获取原始绘本图像。
具体地，如图2所示，本实施例中，绘本阅读机器人优选地可以通过摄像头来对绘本进行摄影摄像，从而得到该绘本中相应绘本页的图像，这样也就得到了原始绘本图像。
在得到原始绘本图像后，该方法优选地会在步骤S102中利用预设维度转换映射图，根据原始绘本图像得到二维绘本图像。本实施例中，上述预设维度转换映射图能够根据摄像头外参矩阵和摄像头内参矩阵对原始绘本图像进行图像转换，以此来得到二维绘本图像，从而将原始绘本图像中的三维空间坐标系下的齐次坐标转换为二维空间坐标。
在得到二维绘本图像后，该方法优选地会在步骤S103中利用预设畸变映射图来对步骤S102中所得到的二维绘本图像进行去畸变处理，这样也就可以得到对应于原始绘本图像的标准二维绘本图像。
由此可见，对于本方法来说，无论绘本是以何种角度放置，本方法均能够通过对该绘本进行图像处理来得到标准二维绘本图像(例如以特定角度、特定缩放比例所呈现出的二维绘本图像)，从而方便后续对绘本内容进行识别。
本实施例中，该方法在在确定摄像头外参矩阵和摄像头内参矩阵时，优选地需要保证摄像头以符合要求的高度和/或角度来相对于放置绘本的平面或是桌面安装。
图3示出了本实施例中确定摄像头高度和摄像头角度的实现流程示意图。
如图3所示，本实施例中，该方法在确定摄像头高度和摄像头角度时，优选地首先会在步骤S301中根据查找到的视场角来进行摄像头的选型和安装。
具体地，本实施例中，该方法优选地可以根据用户所输入的候选摄像头安装角度和候选摄像头安装高度，结合上传图片尺寸来确定相应的视场角数据，随后再根据该视场角数据来进行摄像头选型和安装。
例如，本实施例中，上述上传图片尺寸优选地可以为(432，240)(对应的摄像头规格为16：9)或是(320，240)(对应的摄像头规格为4：3)。
当然，在本发明的其他实施例中，根据不同的实际需要，上述上传图片尺寸还可以为其他合理参数，本发明并不对此进行具体限定。
具体地，本实施例中，该方法优选地可以基于如下表所示的数据来根据视场角数据进行摄像头选型和安装。
表1
高度H0 角度A0 水平FOV 垂直FOV 对角FOV 像素焦距
70 30 105.99 89.41 117.55 121.24
70 35 102.6 86.22 114.69 128.18
70 40 98.83 82.4 111.15 137.07
70 45 94.27 77.88 106.82 148.49
100 30 85.46 69.43 98.21 173.21
100 35 82.29 66.48 95.05 183.12
100 40 78.51 63 91.21 195.81
100 45 74.05 58.99 86.63 212.13
130 30 70.79 56.11 83.22 225.17
130 35 67.81 53.5 80.07 238.05
130 40 64.3 50.48 76.31 254.55
130 45 60.24 47.03 71.9 275.77
160 30 60 46.83 71.64 277.13
160 35 57.28 44.55 68.64 292.99
160 40 54.11 41.92 65.11 313.3
160 45 50.48 38.94 61.02 339.41
190 30 51.86 40.07 62.58 329.09
190 35 49.39 38.06 59.78 347.92
190 40 46.54 35.75 56.52 372.04
190 45 43.3 33.16 52.78 403.05
220 30 45.55 34.96 55.39 381.05
220 35 43.32 33.17 52.8 402.86
220 40 40.75 31.13 49.81 430.78
220 45 37.85 28.84 46.4 466.69
250 30 40.56 30.98 49.58 433.01
250 35 38.53 29.38 47.2 457.79
250 40 36.2 27.55 44.45 489.53
250 45 33.58 25.5 41.33 530.33
需要指出的是，上述视场角优选地为去畸变后的广角。
在完成摄像头的初步安装后(即根据候选摄像头安装角度和候选摄像头安装高度进行安装)，该方法优选地会在步骤S302中获取第一组预设标定图像。
本实施例中，在获取上述第一组预设标定图像时，该方法优选地采用固定标定图案位置不变并通过移动摄像头从不同的角度进行拍摄的方式，来得到上述第一组预设标定图像。
例如，该方法可以将标定图案(例如标定板或是标定纸等)放置于桌面，随后移动摄像头来从尽可能多的角度来对上述标定图案进行拍摄，从而得到预设数量的标定图案(例如8张)，这样也就得到了所需要的第一组预设标定图案。
本实施例中，上述标定图案的尺寸优选地配置为与上传图片尺寸相等。在对标定图案进行拍摄时，优选地需要保证标定图案是平整地，并且标定图案的所有网格都应当出现在摄像头的视野中。同时，标定图案的边长优选地不小于摄像头视野的2/3。
需要指出的是，在本发明的不同实施例中，上述第一组预设标定图案中所包含的图片的数量可以根据实际需要配置为不同的合理值，同时对于标定图案的约束参数还可以为其他合理参数，本发明并不对此进行具体限定。
本实施例中，在得到上述第一组预设标定图案后，该方法优选地会在步骤S303中根据上述第一组预设标定图案来确定摄像头像素焦距。
具体地，本实施例中，该方法在步骤S303中优选地通过调整小孔成像模型的参数，来根据上述第一组预设标定图案确定摄像头的摄像头像素焦距。
图4示出了本实施例中小孔成像模型的示意图。如图4所示，基于小孔成像模型，在客观世界坐标系(例如绘图所在的三维空间坐标系)中的点利用外参矩阵和内参矩阵可以得到所对应的二维空间坐标系中的点，这样也就实现了将三维空间坐标系下的齐次坐标转换为二维空间坐标系下的坐标。
具体地，小孔成像模型可以表示为：
sm′＝I[R|t]M′ (1)
表达式(1)还可以写成：
Figure BDA0002289475270000071
其中，M′表示绘图所在的三维空间坐标系中的齐次坐标，m′表示对应的二维空间坐标系中的坐标，s表示目标缩放比，I表示摄像头内参矩阵。[R|t]表示摄像头外参矩阵，其能够表征表征出摄像头坐标系(即以摄像头镜头为原点的坐标系)与客观世界坐标系的关系。本实施例中，摄像头外参矩阵[R|t]优选地包括旋转矩阵R和位移向量t。
(X,Y,Z)表示三维空间坐标系中的齐次坐标，(u,v)表示二维空间坐标系中的坐标，fx和fy分别表示x方向和y方向上的像素焦距，cx和cy分别表示x方向和y方向上的投影中心，rij和ti均表示摄像头外参矩阵[R|t]中的元素。
本实施例中，对于第一组预设图像来说，图像中的像素在二维空间坐标系下的坐标(u,v)和对应的三维空间坐标系下的坐标(X,Y,Z)是已知的，本方法在步骤S303中本质上是在(u,v)和(X,Y,Z)已知的情况下，求解目标缩放比s、摄像头内参矩阵I、摄像头外参矩阵[R|t]以及畸变参数dist的最优解。具体地，该方法优选地可以通过改变目标缩放比s、摄像头内参矩阵I、摄像头外参矩阵[R|t]以及畸变参数dist的取值，使得函数undistort(m′,dist)-I[R|t]M′的取值尽可能接近于零向量，从而得到摄像头内参矩阵I和畸变参数dist。由于摄像头内参矩阵I包含有摄像头像素焦距信息，因此该方法在得到摄像头内参矩阵I的同时也就得到了摄像头像素焦距。
当然，在本发明的其他实施例中，根据实际需要，该方法还可以采用其他合理方式来获取摄像头内参矩阵、摄像头畸变参数和/或摄像头像素焦距，本发明并不对此进行具体限定。
再次如图3所示，本实施例中，该方法还可以在步骤S304中获取第二组预设标定图像，并在步骤S305中根据上述第二组预设标定图像来确定精确确定摄像头角度和摄像头高度。
本实施例中，在获取上述第二组预设标定图像时，该方法优选地采用固定摄像头并用尽可能多的角度移动标定板，以此来获取一定数量的有效标定图片。需要指出的是，上述第二组预设标定图像中所包含的有效标定图片的数量可以根据实际需要配置为不同的合理值，本发明并不对此进行具体限定。
例如，本实施例中，该方法根据上述第二组预设标定图像来确定精确确定摄像头角度和摄像头高度的过程可以视为在第二组预设标定图像所对应的三维空间坐标系下的齐次坐标和二维空间坐标以及摄像头内参矩阵I和畸变参数dist已知的情况下，通过cv2.solvePnP方法求解[R|t]/s。从旋转矩阵R中可以得到摄像头相对于桌面的角度，同时根据旋转矩阵R、位移向量t以及网格边长GL也就可以分析得到摄像头与桌面之间的距离。通过对多张图片所得到的结果进行均值计算，这样也就可以精确地确定出摄像头高度和摄像头角度。
本实施例中，如图3所示，在得到摄像头高度和摄像头角度后，该方法优选地还会在步骤S306中基于步骤S303中所确定出的摄像头像素焦距来判断步骤S305中所确定出的摄像头高度和摄像头角度是否符合要求。其中，如果步骤S305中所确定出的摄像头高度和摄像头角度不符合要求，那么该方法则会在步骤S307中调整摄像头角度和摄像头高度(例如可以自动调整或输出相应指示信号信号由用户进行调整)，并重新返回步骤S304，直至所确定出的摄像头高度和摄像头角度符合要求。
本实施例中，上述用于判断摄像头高度和摄像头角度是否符合要求的约束条件包括：
Figure BDA0002289475270000091
其中，fl表示像素焦距，zoom表示缩放值，H和A分别表示摄像头高度和摄像头角度。本实施例中，缩放值zoom的取值优选地配置为1.5像素/毫米。
本实施例中，由于摄像头外参矩阵[R|t]包括旋转矩阵R和位移向量t，而上述旋转和和位移是由摄像头的安装高度和安装角度所影响的，因此在已知摄像头高度和摄像头角度的情况下，该方法也就可以确定出摄像头外参矩阵[R|t]。
需要指出的是，本实施例中，该方法在步骤S102中，优选地基于小孔成像原理，根据摄像头外参矩阵[R|t]、摄像头内参矩阵I和目标缩放比s来对原始绘本图像进行图像转换以得到对应的二维绘本图像。
具体地，本实施例中，在确定目标缩放比时，该方法优选地首先会根据摄像头角度、摄像头高度和摄像头焦距确定缩放值，随后再根据上述缩放值和预设库图片尺寸确定所述目标缩放比。
例如，该方法可以根据如下表达式来计算上述目标缩放比s：
Figure BDA0002289475270000092
其中，zoom_ideal表示库图片尺寸，zoom表示缩放值。
在步骤S103中，该方法利用预设畸变映射图对步骤S102中所得到的二维绘本图像进行去畸变处理，从而得到对应于原始绘本图像的标准二维绘本图像。其中，上述预设畸变映射图包括畸变参数dist，该方法具体地是利用上述畸变参数dist对二维绘本图像进行去畸变处理，以实现径向畸变修正和/或切向畸变修正。
本实施例中，畸变参数dist的确定过程在上述确定摄像头内参矩阵I的过程中已经同时陈述，故在此不再对畸变参数dist的具体确定过程进行赘述。
例如，本实施例中，该方法可以根据如下表达式对二维绘本图像进行径向去畸变处理：
ucorrected＝u(1+k1r2+k2r4+k3r6) (5)
vcorrected＝v(1+k1r2+k2r4+k3r6) (6)
根据如下表达式对二维绘本图像进行切向去畸变处理：
ucorrected＝u+[2p1xy+p2(r2+2u2)] (7)
vcorrected＝v+[p1(r2+2v2)+2p2uv] (8)
dist＝[k1,k2,p1,p2,k3] (9)
其中，(ucorrected,vcorrected)和(u,v)分别表示去畸变后和去畸变前的二维空间坐标，k1、k2、k3、p1和p2均表示摄像头扭曲向量dist中的元素
从上述描述中可以看出，本方法能够满足不同绘本不同拍摄角度的使用要求，在实际使用过程中，用户并不需要像现有技术那样将绘本以特定的角度和位置放置在摄像头拍摄区域内，而是可以更为自由地来放置绘本，这样显然能够大大提高绘本阅读机器人的用户体验。
本发明还提供了一种程序产品以及用于绘本阅读机器人的图形处理系统，其中，该程序产品存储有可执行如上所述的用于绘本阅读机器人的图形处理方法的程序代码，而该图形处理系统则装配有操作系统，该操作系统能够装载并执行如上所述的程序产品。
本发明还提供了一种用于绘本阅读机器人的图形处理装置。如图5所示，本实施例中，该图形处理装置优选地包括：绘本图像获取模块501、维度转换模块502和去畸变模块503。其中，绘本图像获取模块501用于获取原始绘本图像，维度转换模块502与绘本图像获取模块连接，其能够利用预设维度转换映射图，根据原始绘本图像得到二维绘本图像。其中，上述预设维度转换映射图能够根据摄像头外参矩阵和摄像头内参矩阵对原始绘本图像进行图像转换来得到二维绘本图像，从而将原始绘本图像中的三维空间坐标系下的齐次坐标转换为二维空间坐标。
去畸变模块503与维度转换模块502连接，其能够利用预设畸变映射图对维度转换模块502所传输来的二维绘本图像进行去畸变处理，从而得到对应于原始绘本图像的标准二维绘本图像。
本实施例中，绘本图像获取模块501、维度转换模块502和去畸变模块503实现其各自功能的原理以及过程与上述步骤S101至步骤S103所描述的内容相对应，故在此不再对绘本图像获取模块501、维度转换模块502和去畸变模块503的具体内容进行赘述。
此外，本发明还提供了一种绘本阅读机器人，该绘本阅读机器人包括如上所述的图形处理装置。
应该理解的是，本发明所公开的实施例不限于这里所公开的特定结构或处理步骤，而应当延伸到相关领域的普通技术人员所理解的这些特征的等同替代。还应当理解的是，在此使用的术语仅用于描述特定实施例的目的，而并不意味着限制。
说明书中提到的“一个实施例”或“实施例”意指结合实施例描述的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，说明书通篇各个地方出现的短语“一个实施例”或“实施例”并不一定均指同一个实施例。
虽然上述示例用于说明本发明在一个或多个应用中的原理，但对于本领域的技术人员来说，在不背离本发明的原理和思想的情况下，明显可以在形式上、用法及实施的细节上作各种修改而不用付出创造性劳动。因此，本发明由所附的权利要求书来限定。

Claims (19)

1.一种用于绘本阅读机器人的图形处理方法，其特征在于，所述方法包括：
步骤一、获取原始绘本图像；
步骤二、利用预设维度转换映射图，根据所述原始绘本图像得到二维绘本图像，其中，所述预设维度转换映射图能够根据摄像头外参矩阵和摄像头内参矩阵对所述原始绘本图像进行图像转换来得到二维绘本图像，从而将所述原始绘本图像中的三维空间坐标系下的齐次坐标转换为二维空间坐标；
步骤三、利用预设畸变映射图对所述二维绘本图像进行去畸变处理，得到对应于所述原始绘本图像的标准二维绘本图像。
2.如权利要求1所述的方法，其特征在于，所述预设畸变映射图包括畸变参数，在所述步骤三中，利用所述畸变参数对所述二维绘本图像进行去畸变处理，以实现径向畸变修正和/或切向畸变修正。
3.如权利要求2所述的方法，其特征在于，基于第一组预设标定图像中像素点的三维空间坐标系下的齐次坐标和二维空间坐标，通过调整缩放值s、摄像头内参矩阵I、摄像头外参矩阵[r|t]和畸变参数dist，使得预设函数的取值趋近于零，从而得到摄像头内参矩阵I和畸变参数dist。
4.如权利要求3所述的方法，其特征在于，在获取所述第一组预设标定图像时，固定标定图案位置不变，通过移动摄像头从不同的角度进行拍摄，从而得到所述第一组预设标定图像。
5.如权利要求3或4所述的方法，其特征在于，根据摄像头高度和摄像头角度确定所述摄像头外参矩阵。
6.如权利要求5所述的方法，其特征在于，基于第二组预设标定图像中像素点的三维空间坐标系下的齐次坐标和二维空间坐标，根据所述摄像头内参矩阵I和畸变参数，确定所述摄像头高度和摄像头角度。
7.如权利要求1～6中任一项所述的方法，其特征在于，在所述步骤二中，还结合目标缩放比对所述原始绘本图像进行图像转换。
8.如权利要求7所述的方法，其特征在于，确定所述目标缩放比的步骤包括：
根据摄像头角度、摄像头高度和摄像头焦距确定缩放值；
根据所述缩放值和预设库图片尺寸确定所述目标缩放比。
9.一种程序产品，其特征在于，所述程序产品存储有可执行如权利要求1～8中任一项所述的方法步骤的程序代码。
10.一种用于绘本阅读机器人的图形处理系统，其特征在于，所述系统装配有操作系统，所述操作系统能够装载并执行如权利要求9所述的程序产品。
11.一种用于绘本阅读机器人的图形处理装置，其特征在于，所述装置包括：
绘本图像获取模块，其用于获取原始绘本图像；
维度转换模块，其与所述绘本图像获取模块连接，用于利用预设维度转换映射图，根据所述原始绘本图像得到二维绘本图像，其中，所述预设维度转换映射图能够根据摄像头外参矩阵和摄像头内参矩阵对所述原始绘本图像进行图像转换来得到二维绘本图像，从而将所述原始绘本图像中的三维空间坐标系下的齐次坐标转换为二维空间坐标；
去畸变模块，其与所述维度转换模块连接，用于利用预设畸变映射图对所述二维绘本图像进行去畸变处理，得到对应于所述原始绘本图像的标准二维绘本图像。
12.如权利要求11所述的装置，其特征在于，所述预设畸变映射图包括畸变参数，所述去畸变模块配置为利用所述畸变参数对所述二维绘本图像进行去畸变处理，以实现径向畸变修正和/或切向畸变修正。
13.如权利要求12所述的装置，其特征在于，所述装置还包括：
参数标定模块，其用于基于第一组预设标定图像中像素点的三维空间坐标系下的齐次坐标和二维空间坐标，通过调整缩放值s、摄像头内参矩阵I、摄像头外参矩阵[r|t]和畸变参数dist，使得预设函数的取值趋近于零，从而得到摄像头内参矩阵I和畸变参数dist。
14.如权利要求13所述的装置，其特征在于，在获取所述第一组预设标定图像时，固定标定图案位置不变，通过移动摄像头从不同的角度进行拍摄，从而得到所述第一组预设标定图像。
15.如权利要求13或14所述的装置，其特征在于，所述参数标定模块配置为根据摄像头高度和摄像头角度确定所述摄像头外参矩阵。
16.如权利要求15所述的装置，其特征在于，所述参数标定模块配置为基于第二组预设标定图像中像素点的三维空间坐标系下的齐次坐标和二维空间坐标，根据所述摄像头内参矩阵I和畸变参数，确定所述摄像头高度和摄像头角度。
17.如权利要求11～16中任一项所述的装置，其特征在于，所述维度转换模块配置为还结合目标缩放比对所述原始绘本图像进行图像转换。
18.如权利要求17所述的装置，其特征在于，确定所述目标缩放比的步骤包括：
根据摄像头角度、摄像头高度和摄像头焦距确定缩放值；
根据所述缩放值和预设库图片尺寸确定所述目标缩放比。
19.一种绘本阅读机器人，其特征在于，所述绘本阅读机器人包括如权利要求11～18中任一项所述的图形处理装置。
CN201911173928.9A 2019-11-26 2019-11-26 一种用于绘本阅读机器人的图形处理方法及装置 Active CN111028290B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911173928.9A CN111028290B (zh) 2019-11-26 2019-11-26 一种用于绘本阅读机器人的图形处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911173928.9A CN111028290B (zh) 2019-11-26 2019-11-26 一种用于绘本阅读机器人的图形处理方法及装置

Publications (2)

Publication Number Publication Date
CN111028290A true CN111028290A (zh) 2020-04-17
CN111028290B CN111028290B (zh) 2024-03-08

Family

ID=70206791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911173928.9A Active CN111028290B (zh) 2019-11-26 2019-11-26 一种用于绘本阅读机器人的图形处理方法及装置

Country Status (1)

Country Link
CN (1) CN111028290B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489114A (zh) * 2020-11-25 2021-03-12 深圳地平线机器人科技有限公司 图像转换方法、装置、计算机可读存储介质及电子设备

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592124A (zh) * 2011-01-13 2012-07-18 汉王科技股份有限公司 文本图像的几何校正方法、装置和双目立体视觉系统
WO2014034464A1 (ja) * 2012-08-31 2014-03-06 ソニー株式会社 データ処理装置、データ処理方法、送信装置および受信装置
CN106570938A (zh) * 2016-10-21 2017-04-19 哈尔滨工业大学深圳研究生院 基于opengl 的全景监控方法及系统
CN106873300A (zh) * 2016-12-30 2017-06-20 北京光年无限科技有限公司 面向智能机器人的虚拟空间投影方法和装置
CN107424126A (zh) * 2017-05-26 2017-12-01 广州视源电子科技股份有限公司 图像校正方法、装置、设备、系统及摄像设备和显示设备
CN107729881A (zh) * 2017-11-17 2018-02-23 成都伟嘉斯特科技有限公司 一种可语音互动的绘本阅读机器人
CN108388341A (zh) * 2018-02-11 2018-08-10 苏州笛卡测试技术有限公司 一种基于红外摄像机-可见光投影仪的人机交互系统及装置
CN108765532A (zh) * 2018-05-04 2018-11-06 北京物灵智能科技有限公司 儿童绘本模型建立方法、阅读机器人及存储设备
CN109241305A (zh) * 2018-08-23 2019-01-18 深圳市深晓科技有限公司 一种基于图像识别的绘本阅读方法及装置
CN109544484A (zh) * 2019-02-20 2019-03-29 上海赫千电子科技有限公司 一种图像校正方法和装置
CN109615664A (zh) * 2018-12-12 2019-04-12 亮风台（上海）信息科技有限公司 一种用于光学透视增强现实显示器的标定方法与设备
CN109727292A (zh) * 2018-12-29 2019-05-07 哈尔滨拓博科技有限公司 基于多摄像头-投影仪的互动投影系统及自动化标定方法
CN109857929A (zh) * 2018-12-29 2019-06-07 北京光年无限科技有限公司 一种用于智能机器人的人机交互方法及装置
CN109886372A (zh) * 2019-01-29 2019-06-14 深圳市象形字科技股份有限公司 一种基于图像识别与隐形红外油墨技术的绘本识别方法
CN109978958A (zh) * 2019-03-27 2019-07-05 哈尔滨拓博科技有限公司 一种互动投影系统标定误差补偿方法
CN110033023A (zh) * 2019-03-11 2019-07-19 北京光年无限科技有限公司 一种基于绘本识别的图像数据处理方法及系统
CN110058705A (zh) * 2019-04-28 2019-07-26 视辰信息科技(上海)有限公司 绘本辅助阅读方法、计算设备、点读侧设备与电子设备

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592124A (zh) * 2011-01-13 2012-07-18 汉王科技股份有限公司 文本图像的几何校正方法、装置和双目立体视觉系统
WO2014034464A1 (ja) * 2012-08-31 2014-03-06 ソニー株式会社 データ処理装置、データ処理方法、送信装置および受信装置
CN106570938A (zh) * 2016-10-21 2017-04-19 哈尔滨工业大学深圳研究生院 基于opengl 的全景监控方法及系统
CN106873300A (zh) * 2016-12-30 2017-06-20 北京光年无限科技有限公司 面向智能机器人的虚拟空间投影方法和装置
CN107424126A (zh) * 2017-05-26 2017-12-01 广州视源电子科技股份有限公司 图像校正方法、装置、设备、系统及摄像设备和显示设备
CN107729881A (zh) * 2017-11-17 2018-02-23 成都伟嘉斯特科技有限公司 一种可语音互动的绘本阅读机器人
CN108388341A (zh) * 2018-02-11 2018-08-10 苏州笛卡测试技术有限公司 一种基于红外摄像机-可见光投影仪的人机交互系统及装置
CN108765532A (zh) * 2018-05-04 2018-11-06 北京物灵智能科技有限公司 儿童绘本模型建立方法、阅读机器人及存储设备
CN109241305A (zh) * 2018-08-23 2019-01-18 深圳市深晓科技有限公司 一种基于图像识别的绘本阅读方法及装置
CN109615664A (zh) * 2018-12-12 2019-04-12 亮风台（上海）信息科技有限公司 一种用于光学透视增强现实显示器的标定方法与设备
CN109727292A (zh) * 2018-12-29 2019-05-07 哈尔滨拓博科技有限公司 基于多摄像头-投影仪的互动投影系统及自动化标定方法
CN109857929A (zh) * 2018-12-29 2019-06-07 北京光年无限科技有限公司 一种用于智能机器人的人机交互方法及装置
CN109886372A (zh) * 2019-01-29 2019-06-14 深圳市象形字科技股份有限公司 一种基于图像识别与隐形红外油墨技术的绘本识别方法
CN109544484A (zh) * 2019-02-20 2019-03-29 上海赫千电子科技有限公司 一种图像校正方法和装置
CN110033023A (zh) * 2019-03-11 2019-07-19 北京光年无限科技有限公司 一种基于绘本识别的图像数据处理方法及系统
CN109978958A (zh) * 2019-03-27 2019-07-05 哈尔滨拓博科技有限公司 一种互动投影系统标定误差补偿方法
CN110058705A (zh) * 2019-04-28 2019-07-26 视辰信息科技(上海)有限公司 绘本辅助阅读方法、计算设备、点读侧设备与电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李磊: "基于全景视觉自动泊车的停车位检测与识别方法", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 2019, pages 138 - 1883 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112489114A (zh) * 2020-11-25 2021-03-12 深圳地平线机器人科技有限公司 图像转换方法、装置、计算机可读存储介质及电子设备
CN112489114B (zh) * 2020-11-25 2024-05-10 深圳地平线机器人科技有限公司 图像转换方法、装置、计算机可读存储介质及电子设备

Also Published As

Publication number Publication date
CN111028290B (zh) 2024-03-08

Similar Documents

Publication Publication Date Title
JP5049798B2 (ja) グラウンドトルース・データからの合成画像及びビデオの生成
CN105005980B (zh) 图像处理方法及装置
CN110163211B (zh) 一种图像识别方法、装置和存储介质
CN109509146A (zh) 图像拼接方法及装置、存储介质
CN107749986B (zh) 教学视频生成方法、装置、存储介质和计算机设备
CN109005367B (zh) 一种高动态范围图像的生成方法、移动终端及存储介质
CN104994367A (zh) 一种图像矫正方法以及摄像头
CN110378250B (zh) 用于场景认知的神经网络的训练方法、装置及终端设备
CN110084765A (zh) 一种图像处理方法、图像处理装置及终端设备
CN109829421B (zh) 车辆检测的方法、装置及计算机可读存储介质
CN111028290A (zh) 一种用于绘本阅读机器人的图形处理方法及装置
CN112200230A (zh) 一种训练板的识别方法、装置及机器人
CN116934591A (zh) 多尺度特征提取的图像拼接方法、装置、设备及存储介质
CN116684647A (zh) 视频实时传输场景下的设备控制方法、系统及设备
CN112291445B (zh) 图像处理的方法、装置、设备和存储介质
CN111401365B (zh) Ocr图像自动生成方法及装置
CN112652056B (zh) 一种3d信息展示方法及装置
WO2020224423A1 (zh) 终端设备及其图像的变焦处理方法和装置
CN112529943A (zh) 一种物体检测方法、物体检测装置及智能设备
CN113724141A (zh) 一种图像校正方法、装置及电子设备
CN111583168A (zh) 图像合成方法、装置、计算机设备和存储介质
TWI708190B (zh) 圖像辨識方法、物體辨識模型的訓練系統與物體辨識模型的訓練方法
CN111314680B (zh) 实现投影画面叠加的方法、装置及投影系统
CN111179166B (zh) 图像处理方法、装置、设备及计算机可读存储介质
JP2012014430A (ja) 画像処理装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant