CN109920004A - 图像处理方法、装置、标定物组合、终端设备及标定系统 - Google Patents
图像处理方法、装置、标定物组合、终端设备及标定系统 Download PDFInfo
- Publication number
- CN109920004A CN109920004A CN201711321462.3A CN201711321462A CN109920004A CN 109920004 A CN109920004 A CN 109920004A CN 201711321462 A CN201711321462 A CN 201711321462A CN 109920004 A CN109920004 A CN 109920004A
- Authority
- CN
- China
- Prior art keywords
- calibration
- subgraph
- image
- characteristic point
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 10
- 238000000034 method Methods 0.000 claims description 26
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 241000208340 Araliaceae Species 0.000 description 4
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 4
- 235000003140 Panax quinquefolius Nutrition 0.000 description 4
- 230000000712 assembly Effects 0.000 description 4
- 238000000429 assembly Methods 0.000 description 4
- 235000008434 ginseng Nutrition 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种图像处理方法、装置、标定物组合、终端设备及标定系统，属于相机标定领域。具体地，所述方法包括：获取图像采集设备采集的至少一张标定物组合的标定图像，所述标定图像包括至少两个标定板对应的标定子图像；确定每张所述标定子图像对应的多个特征点；获取每个所述标定子图像的每个特征点在所述标定图像中的像素坐标以及在所对应的标定子图像中的空间坐标；根据每个所述标定子图像的每个所述特征点的像素坐标和空间坐标获取所述图像采集设备的参数。与现有技术相比，采集标定物组合的标定图像中存在至少两个标定图案的标定子图像，减少了针对单张标定图案的照片的标定而带来的高成本。
Description
技术领域
本发明涉及相机标定领域，更具体地，涉及一种图像处理方法、装置、标定物组合、终端设备及标定系统。
背景技术
相机标定是一种获取相机内参(焦距，光学中心，畸变参数等)以及相机外参(两相机或多相机之间的旋转平移关系)等相机参数的方法。现有技术中，常采用一张平面的标定图片(例如：棋盘格、原点图、二维码图等)在相机的视野内变换姿态和距离，以此完成相机的标定，即计算出相机内参和相机外参。一般来说，拍摄的标定图片张数需要在10～20张之间或者更多，整个校正图片需要都能够对相机可见，姿态和距离也要尽量多样化，以尽量覆盖相机的可视视野。因此这一过程一方面比较耗时，另一方面也要求用户清楚拍摄图片的位置和姿态的选取，从而才能得出比较好的校正结果出来。
发明内容
本发明实施例提出了一种信息更新方法、装置、服务器及可读存储介质，以改善上述问题。
第一方面，本发明实施例提供了一种图像处理方法，用于图像采集设备的参数的获取，所述图像采集设备的视野范围内设有标定物组合，所述标定物组合包括至少两个相邻的标定板，所述标定板上设有标定图案。所述方法包括：获取图像采集设备采集的至少一张标定物组合的标定图像，所述标定图像包括至少两个标定板对应的标定子图像；确定每张所述标定子图像对应的多个特征点；获取每个所述标定子图像的每个特征点在所述标定图像中的像素坐标以及在所对应的标定子图像中的空间坐标；根据每个所述标定子图像的每个所述特征点的像素坐标和空间坐标获取所述图像采集设备的参数。
进一步地，所述获取每个所述标定子图像的每个特征点在所对应的标定子图像中的空间坐标，包括：获取每张所述标定子图像的基准点；获取每张所述标定子图像中的每个特征点与该标定子图像的基准点之间的位置信息；根据每个所述特征点的位置信息获取每个所述特征点在所对应的标定子图像中的空间坐标。
进一步地，所述获取每张所述标定子图像的基准点，包括：获取多个所述标定子图像的区域汇集位置，所述区域汇集位置与至少两个所述标定子图像相邻；根据所述区域汇集位置，确定每个所述标定子图像对应的基准点。
进一步地，所述根据所述区域汇集处，确定每个所述标定子图像对应的基准点，包括：将所述标定子图像中的所有特征点中，与该标定子图像对应的区域汇集位置最近的特征点作为该标定子图像的基准点。
进一步地，所述标定图案包括背景以及按照特定规则分布于背景的标志点，每个所述标志点包括至少一个角点，所述确定每张所述标定子图像对应的多个特征点，包括：将所述标定子图像中的多个所述标志点的预设位置处的角点作为该标定子图像的特征点。
进一步地，所述获取每个所述标定子图像的每个特征点在所对应的标定子图像中的空间坐标，包括：获取所述标定图像中各个标定子图像之间的所有的汇集线，每个标定子图像至少对应一条汇集线；根据每个标定子图像的每个特征点与该标定子图像所对应的汇集线之间的距离，确定每个所述特征点在所对应的标定子图像中的空间坐标。
第二方面，本发明实施例还提供了一种图像处理装置，应用于图像采集设备的参数的获取，所述图像采集设备的视野范围内设有标定物组合，所述标定物组合包括至少两个相邻设置的标定板，所述标定板上设有标定图案。所述装置包括：第一获取单元、确定单元、第二获取单元和第三获取单元。第一获取单元，用于获取图像采集设备采集的至少一张标定物组合的标定图像，所述标定图像包括至少两个标定板对应的标定子图像。确定单元，用于确定每张所述标定子图像对应的多个特征点。第二获取单元，用于获取每个所述标定子图像的每个特征点在所述标定图像中的像素坐标以及在所对应的标定子图像中的空间坐标。第三获取单元，用于根据每个所述标定子图像的每个所述特征点的像素坐标和空间坐标获取所述图像采集设备的参数。
第三方面，本发明实施例还提供了一种标定物组合，应用于上述方法，所述标定物组合位于图像采集设备的视野范围内，包括至少两个相互连接的设置有标定图案的标定板。
第四方面，本发明实施例还提供了一种终端设备，包括存储器和处理器，所述存储器与所述处理器耦合；所述存储器存储指令，当所述指令由所述处理器执行时以使所述处理器执行以下操作：获取图像采集设备采集的至少一张标定物组合的标定图像，所述标定图像包括至少两个标定板对应的标定子图像；确定每张所述标定子图像对应的多个特征点；获取每个所述标定子图像的每个特征点在所述标定图像中的像素坐标以及在所对应的标定子图像中的空间坐标；根据每个所述标定子图像的每个所述特征点的像素坐标和空间坐标获取所述图像采集设备的参数。
第五方面，本发明实施例还提供了一种标定系统，包括标定物组合、图像采集设备和终端设备，所述标定物组合位于所述图像采集设备的视野内，包括至少两个相互连接的设置有标定图案的标定板；所述图像采集设备和终端设备连接。所述图像采集设备用于采集至少一张标定物组合的标定图像，所述标定图像包括至少两个标定板对应的标定子图像；所述终端设备用于获取图像采集设备采集的标定图像；确定每张所述标定子图像对应的多个特征点；获取每个所述标定子图像的每个特征点在所述标定图像中的像素坐标以及在所对应的标定子图像中的空间坐标；根据每个所述标定子图像的每个所述特征点的像素坐标和空间坐标获取所述图像采集设备的参数。
本发明实施例提供了一种图像处理方法、装置、标定物组合、终端设备及标定系统，通过将多个设置有标定图案的标定板组合在一起形成标定物组合，通过图像采集设备采集该标定物组合以获得标定图像，然后再确定标定图像中的每个标定子图像的多个特征点，根据该特征点的像素坐标和空间坐标而确定图像采集设备的参数。因此，与现有技术相比，采集标定物组合的标定图像中存在至少两个标定图案的标定子图像，减少了针对单张标定图案的照片的标定而带来的高成本。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例提供的标定系统的示意图；
图2示出了本发明第一实施例提供的标定板的结构示意图；
图3示出了本发明第二实施例提供的标定板的结构示意图；
图4示出了本发明第三实施例提供的标定板的结构示意图；
图5示出了本发明第四实施例提供的标定板的结构示意图；
图6示出了本发明第五实施例提供的标定板的结构示意图；
图7示出了本发明实施例提供的终端设备的模块框图；
图8示出了本发明实施例提供的图像处理方法的方法流程图；
图9示出了本发明实施例提供的标定图像的示意图；
图10示出了本发明另一实施例提供的标定图像的示意图
图11示出了本发明实施例提供的图像处理装置的模块框图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参阅图1，示出了本发明实施例提供的标定系统1。如图1所示，相机标定系统包括：标定物组合10、支架20、图像采集设备30和终端设备40。
标定物组合10由至少两个标定板组成，其中，标定板上设置有标定图案，标定图案包括背景以及按照特定规则分布于背景的标志点，背景以及标志点的颜色或亮度为成像设备可分辨的两种颜色或亮度。例如，背景为黑色，标志点为白色，或者，背景为白色，标志点为黑色。如图2所示的一种标定板的示意图，该标定板上的标定图案由成一定规律分布的多个黑色矩形图形组成，背景为白色，四个相邻的黑色矩形图形围成一个白色矩形图形。其中，黑色的矩形图形为标志点，白色的区域为背景。又如图3所示的另一种标定板的示意图，该标定板的标定图案由白色底色和多个圆形的黑色的图形组成，多个黑色的圆形图形之前按照一定的分布，其中，黑色的圆形图形为标志点，白色的区域为背景。再如图4所示的又一种标定板的示意图，该标定板上的标定图案由成一定规律分布的多个黑色的二维码图形组成，每个二维码的形状为矩形，其中，黑色的二维码图形为标志点，白色的区域为背景。
具体地，标定物组合10由至少两个标定板组成，如图5所示，由两个标定板组成的标定物组合。具体的两个标定板之间成一定的夹角，例如，两个标定板的设置有标定图案的表面互相垂直，且两个标定板的标定图案相对设置。而图1中所示的标定物组合10由三个标定板组成，三个标定板之间互成一定夹角，并且三个标定板互相连接，每个标定板的其中一个侧边连接另一个标定板，即每个标定板的相邻的两个边分别连接不同的标定板，三个标定板之间有共同交点。如图1所示，三个标定板的设置有标定图案的表面互相垂直，且三个标定板的标定图案相对设置。如图6所示，标定物组合10由四个标定板组成，四个标定板可以平放,没有角度，也可以互相成一定的角度。如图6中所示的XYZ坐标系，每个标定板为一个矩形板，以其中一个标定板的设置有标定图案的表面的长和宽做XY坐标轴，垂直XY平面的方向为Z轴，则每个标定板的角度都可以通过与XYZ坐标轴的夹角而表示。例如，图6轴的右上角的标定板，该标定板的设置有标定图案的表面与X轴成30度夹角。此外，标定物组合10还可以由五个、六个或者更多的标定板组成，在此不一一列举。
支架20用于安装标定物组合10，具体地，构成标定物组成10的每个标定板分别安装在支架20上，作为一种实施方式，每个标定板可活动的安装在支架20上，使得标定板可以调整角度。
图像采集设备30可以是能够在其视场内捕获物体的图像的任何装置。在一些实施例中，图像采集设备30可以设置在固定位置，例如，它可以放置在桌子或者或架子上。图像采集设备30可以被配置为在不同位置捕获其视野内的对象的图像。图像采集设备30可以包括图像传感器。图像传感器可以是CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)传感器，或者CCD(Charge-coupled Device，电荷耦合元件)传感器等等。
如图1所示，标定物组合10放置在图像采集设备30的视野内，图像采集设备30能够采集标定物组合10的标定图像。图像采集设备30可以与终端设备40耦合，图像采集设备30将采集的标定图像发送至终端设备40，图像采集设备30还可以从终端设备40接收设置用于捕获图像的参数的命令信号。其中用于捕获图像的示例性参数可以包括用于设置曝光时间、相机增益、孔径、图像分辨率/尺寸，视场(例如，放大和缩小)和/或图像的颜色空间(例如，Raw图,彩色或黑白色)和/或用于执行相机的其他类型的已知功能的参数。
终端设备40可以是计算设备，例如通用或笔记本计算机、移动设备、平板电脑、智能手机、可穿戴设备(如头戴显示设备)，游戏机或这些计算机和/或附属组件的任意组合。
终端设备40可以被配置为从系统的其他部件接收和处理数据/信号。例如，本发明中所公开的，终端设备40可以从图像采集设备30接收输入数据。终端设备40还可以将数据/信号发送到系统的其他组件，并且其他组件可以基于来自终端设备40的数据/信号来执行某些功能。
请参见图7，在一些实施例中，终端设备40可以包括处理器401，存储器402和通信接口403。
处理器401可以包括任何适当类型的通用或专用微处理器、数字信号处理器或微控制器。处理器401可以被配置为专用于图像采集设备标定的单独的处理器模块。或者，处理器可以被配置为用于执行与图像采集设备标定无关的其他功能的共享处理器模块。处理器401可以被配置为经由例如网络从系统的各种组件接收数据和/或信号。处理器401还可处理数据和/或信号以确定系统中的一个或多个操作条件。例如，处理器401可以从成像设备140接收图像并且确定图像是否包括识别图案，处理器401还可以确定包含在识别图案中的标志点。作为附加或替代，处理器401可以确定包括在识别图案中的标志点的大小和数量。处理器401还可以基于所确定的标志点的大小和/或所确定的标志点数量来确定跟踪目标。
存储器402可以包括提供用于存储处理器可能需要操作的任何类型的信息的任何适当类型的大容量存储器。存储器可以是易失性或非易失性、磁性、半导体、磁带、光学、可擦除、不可擦除或其他类型的存储设备或有形(即，非暂时性)计算机可读介质，包括但不限于ROM，闪速存储器，动态RAM和静态RAM。存储器402可以被配置为存储可以由处理器401执行的且在本发明中公开的方法的一个或多个计算机程序。例如，存储器402可以被配置为存储可由处理器401执行的程序。
存储器402还可以被配置为存储由处理器401使用的信息和数据。例如，存储器402可以被配置为存储包括识别图案和它们对应的参数的查找表。如果获知识别图案，处理器可以通过查询查找表来确定识别图案的身份。
通信接口403可以被配置为便于通过诸如网络的控制器和系统的其他组件之间的通信。例如，终端设备40可以经由通信接口从控制器接收输入数据/信号，以控制游戏中的角色。终端设备40还可以经由通信接口403将数据/信号传送到用于呈现游戏(图像，视频和/或声音信号)的其他显示器。
网络可以包括或部分包括本领域技术人员已知的各种网络或其他类型的通信连接中的任何一种或多种。网络可以包括网络连接，总线或其他类型的数据链路，例如本领域已知的硬线或其他连接。例如，网络可以包括互联网，内联网，局域网或其它无线或其他硬连线，或者其它连接方式(例如，蓝牙，WiFi，4G，LTE蜂窝数据网络等)，系统的组件通过网络实现通信。
请参阅图8，示出了一种图像处理方法，用于图像采集设备的标定。该方法应用于图1和图7所示的终端设备，以该终端设备作为执行主体，该方法包括如下步骤。
S801：获取图像采集设备采集的至少一张标定物组合的标定图像，所述标定图像包括至少两个标定板对应的标定子图像。
在对图像采集设备标定时，可以只采集一张标定图像，而具体地，采集标定图像的最少张数，由图像采集设备标定所需要的方程组以及标定物组合10所包含的标定图案的数量有关。例如，标定图像可以至少包括两个标定子图像，利用标定板之间相对真实的3D关系，可以尽可能少的拍摄标定图像的张数，最少可以是只有一张，而标定板最少可以是两个，即标定图像包括两个标定子图像。
需要说明的是，如果标定图像只包括两个标定板对应的标定子图像，则两个标定板在世界坐标系下的3D位置关系需要确定，并且在图像采集设备的标定过程中，两个标定板之间的位置需要采用治具固定，由此，才能够在仅拍摄一张图片的情况下，就能够完成图像采集设备的标定。
本发明实施例中，以图1所示的由三个标定图案组成的标定物组合为例，说明本方法的过程。
作为一种实施方式，可以在工作人员将标定物组合放置在图像采集设备的视野内之后，并调整好标定物组合中的每个标定板的角度和互相之间的位置关系之后，通过终端设备发送拍摄指令至图像采集设备。图像采集设备在获取到拍摄指令之后采集标定物组合的图像，从而获得标定图像，而标定图像包括位于图像采集设备的视野内的所有目标物的图像。其中，标定图像可以是包含标定物组合的完整的图像，也可以是标定物组合的部分图像；若标定图像为标定物组合的部分图像，则该部分图像需包含标定物组合中的每个标定板图像，本说明书中将所包含的每个标定板图像定义为标定子图像，每个标定图像有多个标定子图像构成，例如图9所示，该标定图像包括第一标定子图像101，第二标定子图像102和第三标定子图像103，图9所示的图像为图像采集设备拍摄图1中的标定组合物所采集的标定图像，而每个标定子图像则分别对应图1中的标定组合物不同标定板的标定图像。
S802：确定每个标定子图像对应的多个特征点。
如上述图2-6所示的标定板的示意图，该标定板上设置有标定图案，该标定图案包括按规则分布于背景上的标志点，标志点和背景的颜色不同，例如，该标志点为黑色，背景为白色，当然也可以是其他能够有较大色差的两种不同颜色。将标定子图像中标定图案内的标志点作为特征点，当然，也可也选择背景中的点作为标志点，每个标志点包括至少一个角点，例如，图2所示的棋盘格的图案，标志点为黑色的矩形图形，而背景也由于多个标志点的分布而形成多个白色的矩形图形，该图2中，可以将黑色的矩形图形，即标志点作为特征点，也可以将白色的矩形图形作为特征点。则图2中的标志点包括4个角点，以图2所示的视角方向中，标志点的4个角点分别位于该标识点的左上角、左下角、右上角和右下角。
本发明实施例中，标定图案为图2中所示的棋盘格图案，则标定子图像包括棋盘格图案的图像，将所述标定子图像中的多个所述标志点的图像的角点作为该标定子图像的特征点，即将棋盘格图案中的多个黑色的矩形图形的角点作为标定子图像的特征点。其中，角点即为两条线的交叉点，如图2中所述的黑色的矩形图形，两条边的交叉点即为角点，于本发明实施例中，将所述标定子图像中的多个所述标志点的预设位置处的角点作为该标定子图像的特征点，作为一种实施方式，可以选择每个矩形图形的左上角的交叉点为角点，即为特征点。
S803：获取每个所述标定子图像的每个特征点在所述标定图像中的像素坐标以及在所对应的标定子图像中的空间坐标。
其中，特征点在标定图像的像素坐标是指该特征点在标定图像中的位置，特征点在标定子图像中的空间坐标是指该特征点在对应标定板内的真实空间位置，由于空间坐标的坐标系是可以根据标定的实际情况进行设置，为便于计算简化，通常将标定子图像中的特征点空间坐标的Z轴的值指定为0。
每个标定子图像的特征点在标定图像中的像素坐标可以直接在图像采集设备对应拍摄的标定图片中获得，所述特征点在对应标定子图像中的空间坐标可以基于该标定子图像的基准点去推算出该特征点在该标定子图像中的对应位置关系而获得。需要说明的是，获取特征点在对应标定子图像中的空间坐标并不限定于上述基于基准点去确定特征点在对应标定子图像中的位置关系而获得,例如还可以根据各标定子图像之间的汇集线的方式去推算获得。如下将对基于基准点去确定特征点在对应标定子图像中的位置关系进行介绍。
获取每个标定子图像的基准点的方式为：获取所有标定子图像的区域汇集位置，以该区域汇集位置标定每个标定板对应的标定子图像的基准点。
具体地，可以确定标定图像中每个标定板的图像的轮廓线，获取所有轮廓线相交叉的部分，作为该区域汇集位置；对每个标定对应的标定子图像做特征提取，获取每个标定子图案中每个特征点在标定图像中的像素坐标，将每个标定图案对应的标定子图像中，距离该区域汇集位置最近的特征点作为该标定子图像的基准点。如图9所示，第一标定子图像101对应的第一基准点1011，第二标定子图像102对应的第二基准点1021，第三标定子图像103对应的第三基准点1031。
根据标定子图像的基准点，获取该标定子图像中，每个特征点相对该标定子图像基准点的位置信息，即可获得该特征点在该标定子图像对应的标定板中的位置信息，再依据标定板本身的尺寸大小进而获取该特征点在对应标定子图像中的空间坐标。其中，该位置信息为在基准点对应的子图像坐标系下的空间坐标。
具体地，每个标定自图像对应一个基准点，假设该基准点在对应的子图像坐标系下的空间坐标为原点(0,0,0)，由于标定子图像内的各个特征点与该标定子图像对应的基准点是共面的，所以，标定子图像内的各个特征点的某一个方向恒为0，例如，基准点的空间坐标(0,0,0)中的三个坐标分别为X、Y、Z轴，其中，Z轴与XOY平面垂直，X和Y的方向与标定板的长和宽对应，标定子图像内的各个特征点以及该标定子图像对应的基准点均位于XOY平面内，则标定子图像内的各个特征点的空间坐标为(X，Y，0)，需要确定X和Y的取值。
具体地，以图9所示的第一标定子图像101，获取第一标定子图像101中特征点1012相对第一基准点1011的位置信息为例。具体地，以第一基准点1011为原点，经过第一基准点1011建立包含X轴和Y轴的第一子图像坐标系，该第一子图像坐标系为三维坐标系，该第一标定子图像101上的Z轴的值均为0；其中，X轴与第一标定子图像的第一侧边平行，Y轴与第一标定子图像的第二侧边平行，从而建立第一标定子图像101对应的第一子图像坐标，其中，第一侧边为第一标定子图像101与第二标定子图像102相邻的侧边，第二侧边为第一标定子图像101与第三标定子图像103相邻的侧边，且第一侧边和第二侧边相互垂直。
获取第一标定子图像101中特征点1012在标定图像中的像素坐标值，所述像素坐标为二维坐标；根据第一标定子图像101的基准点1011，获取特征点1012相对第一基准点1011的位置信息，并依据第一标定子图像101对应的标定板的尺寸大小，能够获取特征点1012在第一标定子图像101对应的第一子图像坐标系的空间坐标值，所述空间坐标为三维坐标。
所述第一标定子图像101中的其他特征点的像素坐标值和空间坐标值，均可参照获取特征点1012的像素坐标值和空间坐标值的方式获得。
同理，第二标定子图像102和第三标定子图像103中的特征点的信息也可参照上述方式获得。
作为另一种实施方式，还可以根据以下方式获取每个所述标定子图像的每个特征点在所对应的标定子图像中的空间坐标：
获取所述标定图像中各个标定子图像之间的所有的汇集线，每个标定子图像至少对应一条汇集线；根据每个标定子图像的每个特征点与该标定子图像所对应的汇集线之间的距离，确定每个所述特征点在所对应的标定子图像中的空间坐标。
具体地，每个标定板有固定的形状，例如图10所示，每个标定板为长方形，即标定板的轮廓线包括标定板的长边和宽边。而各个标定板相邻时，标定板之间的汇集线包括长边与宽边，则在所有的汇集线中有两条汇集线是垂直的，选择其中互相垂直的两个汇集线做XOY平面，基于垂直与该XOY平面的垂线建立直角坐标系。在标定图像中能够获取XOY平面内，特征点与X轴和Y轴之间的距离，例如，图10中，第一标定子图像101对应的第一标定板的平面为XOY平面，竖直方向的为Y轴，另外一个为X轴，且XOY平面与实际世界坐标系下，也就是标定图像对应的世界坐标系下的X轴和Y轴平行。则特征点1012到Y轴之间包括7个黑色的标志点和6个白色的背景图形，根据预先测量的实际中每个标志点的大小和白色的背景图形的大小，就能够获取特征点1012到Y轴的距离，同理也能够获得特征点1012到X轴的距离，则特征点1012的在第一标定子图像中的空间坐标为(L1,L2,0)，其中，L1为特征点1012到X轴的距离，L2为特征点1012到Y轴。依照此方法，就能够获取第一标定子图像中的每个特征点的空间坐标。然后，按照此方法求出每个标定子图像中的特征点在该标定子图像中的空间坐标。
S804：根据每个所述标定子图像的每个所述特征点的像素坐标和空间坐标获取所述图像采集设备的参数。
具体地，本发明实施例采用如下公式(1),以获取所述图像采集设备的参数。
其中，上述(X,Y,Z)为特征点在对应标定子图像坐标系中的空间坐标，(u，v)为特征点在标定图像中的像素坐标。
是一个相机矩阵，或一个内在参数的矩阵，(cx，cy)为图像的中心点，(fx，fy)是以像素单位表示的焦距。因此，如果来自摄像机的图像按比例缩放，则所有这些参数都应该按相同的因子缩放(分别乘以/除)。
为外部参数的矩阵，其用于描述静态场景周围的相机运动。将上述公式做等同变换：
x′＝x/z
y′＝y/z
u＝fx*x′+cx
v＝fy*y′+cy
真实的镜头通常有一些失真，主要是径向失真和轻微的切向失真。所以，上面公式扩展为：
x′＝x/z
y′＝y/z
where r2＝x′2+y′2
u＝fx*x″+cx
v＝fy*y″+cy
k1、k2、k3、k4、k5、k6为径向失真系数，p1和p2为切向失真系数，在下面的函数中，系数被确定：
(k1，k2，p1，p2[，k3[，k4，k5，k6]])
在OpenCV软件中，使用calibrateCamera函数，基于上述公式以及通过上述得到的多个标定子图像中的多个特征点的像素坐标和空间坐标，求解出该相机的内参数和外参数。
因此，本申请与现有技术相比，所需要拍摄的图片张数大大减少，最少1张即可；大大减少校正图片采取的时间和设备要求。由于不要求标定图像中所有角点都要被采集到,理论上，标定图案可以在图像采集设备的视野内以任意姿态摆放,有助于优化得出图像采集设备的真实内参和外参。例如,现有技术中，采用单个标定板的方式对图像采集设备标定，而图像采集设备标定的准度取决于标定板覆盖图像的位置以及朝向,一般来说,覆盖图像的区域越多,朝向越丰富,越能反应图像采集设备的真实参数,标定的结果就越好。传统的单张要求全部角点都要在视野内的方式若想覆盖图片的左上角,基本上要校正图片的朝向和图片的两边呈水平的姿态,因为，如果只有一个标定板的话,由于又要求所有角点都可见,为了要覆盖角落区域,就需要相对比较水平的放置,要不然很容易某个标定板角落就看不到了。而这样，无法真实反映这个位置的大畸变的情况,从而无法得到真实的内参,外参信息也会有影响.
另外，可以进一步利用多个校正图片之间的真实3D关系。例如，图9中，组合里面3个校正板互相呈90°,类似于一个直角坐标系,可以很容易推测出校正板之间的3D关系从而利用起来用于标定。
请参阅图11，示出了本发明实施例提供的一种图像处理装置1000，应用于图像采集设备的参数的获取，具体应用于图1和图7所示的终端设备，该装置包括：第一获取单元1001、确定单元1002、第二获取单元1003和第三获取单元1004。
第一获取单元1001，用于获取图像采集设备采集的至少一张标定物组合的标定图像，所述标定图像包括至少两个标定板对应的标定子图像。
确定单元1002，用于确定每张所述标定子图像对应的多个特征点。
第二获取单元1003，用于获取每个所述标定子图像的每个特征点在所述标定图像中的像素坐标以及在所对应的标定子图像中的空间坐标。
第三获取单元1004，用于根据每个所述标定子图像的每个所述特征点的像素坐标和空间坐标获取所述图像采集设备的参数。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
综上所述，本发明实施例提供了一种图像处理方法、装置、标定物组合、终端设备及标定系统，通过将多个设置有标定图案的标定板组合在一起形成标定物组合，通过图像采集设备采集该标定物组合以获得标定图像，然后再确定标定图像中的每个标定子图像的多个特征点，根据该特征点的像素坐标和空间坐标而确定图像采集设备的参数。因此，与现有技术相比，采集标定物组合的标定图像中存在至少两个标定图案的标定子图像，减少了针对单张标定图案的照片的标定而带来的高成本。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (10)
1.一种图像处理方法，其特征在于，用于图像采集设备的参数的获取，所述图像采集设备的视野范围内设有标定物组合，所述标定物组合包括至少两个相邻设置的标定板，所述标定板上设有标定图案，所述方法包括：
获取图像采集设备采集的至少一张标定物组合的标定图像，所述标定图像包括至少两个标定板对应的标定子图像；
确定每张所述标定子图像对应的多个特征点；
获取每个所述标定子图像的每个特征点在所述标定图像中的像素坐标以及在所对应的标定子图像中的空间坐标；
根据每个所述标定子图像的每个所述特征点的像素坐标和空间坐标获取所述图像采集设备的参数。
2.根据权利要求1所述的方法，其特征在于，所述获取每个所述标定子图像的每个特征点在所对应的标定子图像中的空间坐标，包括：
获取每张所述标定子图像的基准点；
获取每张所述标定子图像中的每个特征点与该标定子图像的基准点之间的位置信息；
根据每个所述特征点的位置信息获取每个所述特征点在所对应的标定子图像中的空间坐标。
3.根据权利要求2所述的方法，其特征在于，所述获取每张所述标定子图像的基准点，包括：
获取多个所述标定子图像的区域汇集位置，所述区域汇集位置与至少两个所述标定子图像相邻；
根据所述区域汇集位置，确定每个所述标定子图像对应的基准点。
4.根据权利要求3所述的方法，其特征在于，所述根据所述区域汇集处，确定每个所述标定子图像对应的基准点，包括：
将所述标定子图像中的所有特征点中，与该标定子图像对应的区域汇集位置最近的特征点作为该标定子图像的基准点。
5.根据权利要求1所述的方法，其特征在于，所述标定图案包括背景以及按照特定规则分布于背景的标志点，每个所述标志点包括至少一个角点，所述确定每张所述标定子图像对应的多个特征点，包括：
将所述标定子图像中的多个所述标志点的预设位置处的角点作为该标定子图像的特征点。
6.根据权利要求1所述的方法，其特征在于，所述获取每个所述标定子图像的每个特征点在所对应的标定子图像中的空间坐标，包括：
获取所述标定图像中各个标定子图像之间的所有的汇集线，每个标定子图像至少对应一条汇集线；
根据每个标定子图像的每个特征点与该标定子图像所对应的汇集线之间的距离，确定每个所述特征点在所对应的标定子图像中的空间坐标。
7.一种图像处理装置，其特征在于，应用于图像采集设备的参数的获取，所述图像采集设备的视野范围内设有标定物组合，所述标定物组合包括至少两个相邻设置的标定板，所述标定板上设有标定图案，所述装置包括：
第一获取单元，用于获取图像采集设备采集的至少一张标定物组合的标定图像，所述标定图像包括至少两个标定板对应的标定子图像；
确定单元，用于确定每张所述标定子图像对应的多个特征点；
第二获取单元，用于获取每个所述标定子图像的每个特征点在所述标定图像中的像素坐标以及在所对应的标定子图像中的空间坐标；
第三获取单元，用于根据每个所述标定子图像的每个所述特征点的像素坐标和空间坐标获取所述图像采集设备的参数。
8.一种标定物组合，其特征在于，应用于如权利要求1-6任一项所述的方法，所述标定物组合位于图像采集设备的视野范围内，包括至少两个相互连接的设置有标定图案的标定板。
9.一种终端设备，其特征在于，包括存储器和处理器，所述存储器与所述处理器耦合；所述存储器存储指令，当所述指令由所述处理器执行时以使所述处理器执行以下操作：
获取图像采集设备采集的至少一张标定物组合的标定图像，所述标定图像包括至少两个标定板对应的标定子图像；
确定每张所述标定子图像对应的多个特征点；
获取每个所述标定子图像的每个特征点在所述标定图像中的像素坐标以及在所对应的标定子图像中的空间坐标；
根据每个所述标定子图像的每个所述特征点的像素坐标和空间坐标获取所述图像采集设备的参数。
10.一种标定系统，其特征在于，包括标定物组合、图像采集设备和终端设备，所述标定物组合位于所述图像采集设备的视野内，包括至少两个相互连接的设置有标定图案的标定板；所述图像采集设备和终端设备连接；
所述图像采集设备用于采集至少一张标定物组合的标定图像，所述标定图像包括至少两个标定板对应的标定子图像；
所述终端设备用于获取图像采集设备采集的标定图像；确定每张所述标定子图像对应的多个特征点；获取每个所述标定子图像的每个特征点在所述标定图像中的像素坐标以及在所对应的标定子图像中的空间坐标；根据每个所述标定子图像的每个所述特征点的像素坐标和空间坐标获取所述图像采集设备的参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711321462.3A CN109920004B (zh) | 2017-12-12 | 2017-12-12 | 图像处理方法、装置、标定物组合、终端设备及标定系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711321462.3A CN109920004B (zh) | 2017-12-12 | 2017-12-12 | 图像处理方法、装置、标定物组合、终端设备及标定系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109920004A true CN109920004A (zh) | 2019-06-21 |
| CN109920004B CN109920004B (zh) | 2023-12-19 |
Family
ID=66957904
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711321462.3A Active CN109920004B (zh) | 2017-12-12 | 2017-12-12 | 图像处理方法、装置、标定物组合、终端设备及标定系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109920004B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110378972A (zh) * | 2019-08-22 | 2019-10-25 | 北京双髻鲨科技有限公司 | 一种内参标定的方法、装置及设备 |
| CN110443853A (zh) * | 2019-07-19 | 2019-11-12 | 广东虚拟现实科技有限公司 | 基于双目摄像头的标定方法、装置、终端设备及存储介质 |
| CN112734857A (zh) * | 2021-01-08 | 2021-04-30 | 香港理工大学深圳研究院 | 相机内参和相机相对激光雷达外参的标定方法及电子设备 |
| CN112785650A (zh) * | 2019-11-11 | 2021-05-11 | 北京京邦达贸易有限公司 | 一种相机参数标定方法及装置 |
| CN113345026A (zh) * | 2021-05-13 | 2021-09-03 | 北京三快在线科技有限公司 | 一种相机参数的标定方法、装置、存储介质及电子设备 |
| JP2022514429A (ja) * | 2019-11-19 | 2022-02-10 | 浙江商▲湯▼科技▲開▼▲発▼有限公司 | 画像収集機器のキャリブレーション方法、装置、システム、機器及び記憶媒体 |
| CN116993835A (zh) * | 2023-07-31 | 2023-11-03 | 江阴极动智能科技有限公司 | 相机标定方法及相机标定装置、电子设备、存储介质 |
| CN117422776A (zh) * | 2023-12-14 | 2024-01-19 | 西北工业大学青岛研究院 | 一种非参数畸变模型的水下视觉相机标定装置及方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4958064A (en) * | 1989-01-30 | 1990-09-18 | Image Recognition Equipment Corporation | Bar code locator for video scanner/reader system |
| CN103679729A (zh) * | 2013-12-17 | 2014-03-26 | 中国人民解放军第二炮兵工程大学 | 基于彩色标定板的全自动摄像机参数标定方法 |
| US20150213589A1 (en) * | 2014-01-28 | 2015-07-30 | Altek Semiconductor Corp. | Image capturing device and method for calibrating image deformation thereof |
| CN105139393A (zh) * | 2015-08-19 | 2015-12-09 | 中国航空工业集团公司北京长城航空测控技术研究所 | 线阵相机内参数的标定方法 |
| CN106548477A (zh) * | 2017-01-24 | 2017-03-29 | 长沙全度影像科技有限公司 | 一种基于立体标定靶的多路鱼眼相机标定装置及方法 |
| CN106600648A (zh) * | 2016-12-06 | 2017-04-26 | 合肥工业大学 | 标定相机内参数和畸变系数的立体编码靶标及其标定方法 |
| CN106651859A (zh) * | 2017-01-24 | 2017-05-10 | 长沙全度影像科技有限公司 | 一种多路鱼眼相机标定装置及方法 |
| CN106709955A (zh) * | 2016-12-28 | 2017-05-24 | 天津众阳科技有限公司 | 基于双目立体视觉的空间坐标系标定系统和方法 |
-
2017
- 2017-12-12 CN CN201711321462.3A patent/CN109920004B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4958064A (en) * | 1989-01-30 | 1990-09-18 | Image Recognition Equipment Corporation | Bar code locator for video scanner/reader system |
| CN103679729A (zh) * | 2013-12-17 | 2014-03-26 | 中国人民解放军第二炮兵工程大学 | 基于彩色标定板的全自动摄像机参数标定方法 |
| US20150213589A1 (en) * | 2014-01-28 | 2015-07-30 | Altek Semiconductor Corp. | Image capturing device and method for calibrating image deformation thereof |
| CN105139393A (zh) * | 2015-08-19 | 2015-12-09 | 中国航空工业集团公司北京长城航空测控技术研究所 | 线阵相机内参数的标定方法 |
| CN106600648A (zh) * | 2016-12-06 | 2017-04-26 | 合肥工业大学 | 标定相机内参数和畸变系数的立体编码靶标及其标定方法 |
| CN106709955A (zh) * | 2016-12-28 | 2017-05-24 | 天津众阳科技有限公司 | 基于双目立体视觉的空间坐标系标定系统和方法 |
| CN106548477A (zh) * | 2017-01-24 | 2017-03-29 | 长沙全度影像科技有限公司 | 一种基于立体标定靶的多路鱼眼相机标定装置及方法 |
| CN106651859A (zh) * | 2017-01-24 | 2017-05-10 | 长沙全度影像科技有限公司 | 一种多路鱼眼相机标定装置及方法 |
Non-Patent Citations (2)
| Title |
|---|
| 黄任飞等: "一种摄像机自动标定方法的设计与实现", 《测试技术学报》 * |
| 黄任飞等: "一种摄像机自动标定方法的设计与实现", 《测试技术学报》, no. 02, 15 June 2004 (2004-06-15) * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110443853A (zh) * | 2019-07-19 | 2019-11-12 | 广东虚拟现实科技有限公司 | 基于双目摄像头的标定方法、装置、终端设备及存储介质 |
| CN110443853B (zh) * | 2019-07-19 | 2022-01-28 | 广东虚拟现实科技有限公司 | 基于双目摄像头的标定方法、装置、终端设备及存储介质 |
| CN110378972A (zh) * | 2019-08-22 | 2019-10-25 | 北京双髻鲨科技有限公司 | 一种内参标定的方法、装置及设备 |
| CN112785650A (zh) * | 2019-11-11 | 2021-05-11 | 北京京邦达贸易有限公司 | 一种相机参数标定方法及装置 |
| CN112785650B (zh) * | 2019-11-11 | 2024-01-12 | 北京京邦达贸易有限公司 | 一种相机参数标定方法及装置 |
| JP2022514429A (ja) * | 2019-11-19 | 2022-02-10 | 浙江商▲湯▼科技▲開▼▲発▼有限公司 | 画像収集機器のキャリブレーション方法、装置、システム、機器及び記憶媒体 |
| CN112734857A (zh) * | 2021-01-08 | 2021-04-30 | 香港理工大学深圳研究院 | 相机内参和相机相对激光雷达外参的标定方法及电子设备 |
| CN112734857B (zh) * | 2021-01-08 | 2021-11-02 | 香港理工大学深圳研究院 | 相机内参和相机相对激光雷达外参的标定方法及电子设备 |
| CN113345026A (zh) * | 2021-05-13 | 2021-09-03 | 北京三快在线科技有限公司 | 一种相机参数的标定方法、装置、存储介质及电子设备 |
| CN116993835A (zh) * | 2023-07-31 | 2023-11-03 | 江阴极动智能科技有限公司 | 相机标定方法及相机标定装置、电子设备、存储介质 |
| CN117422776A (zh) * | 2023-12-14 | 2024-01-19 | 西北工业大学青岛研究院 | 一种非参数畸变模型的水下视觉相机标定装置及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109920004B (zh) | 2023-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109920004A (zh) | 图像处理方法、装置、标定物组合、终端设备及标定系统 | |
| CN111095923B (zh) | 校准装置、校准系统和校准方法 | |
| CN110809786B (zh) | 校准装置、校准图表、图表图案生成装置和校准方法 | |
| CN105809701B (zh) | 全景视频姿态标定方法 | |
| KR101900873B1 (ko) | 안테나 엔지니어링 파라미터를 획득하는 방법, 장치 및 시스템 | |
| CN107886547B (zh) | 一种鱼眼相机标定方法及系统 | |
| WO2023045147A1 (zh) | 双目摄像机的标定方法、系统、电子设备和存储介质 | |
| TW201709718A (zh) | 在使用者裝置上顯示光場為基影像之方法及裝置，及對應之電腦程式產品 | |
| CN112686877B (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及系统 | |
| CN113841384B (zh) | 校准装置，用于校准的图表和校准方法 | |
| KR101521008B1 (ko) | 어안 렌즈를 사용하여 얻은 왜곡영상에 대한 보정방법 및 이를 구현하기 위한 영상 디스플레이 시스템 | |
| KR20160116075A (ko) | 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법 | |
| CN108805938B (zh) | 一种光学防抖模组的检测方法、移动终端及存储介质 | |
| CN106233722B (zh) | 多相机系统中的图像传感器的自动对准 | |
| CN104867113B (zh) | 图像透视畸变校正的方法及系统 | |
| CN103733617A (zh) | 用以捕获立体图像对的系统和方法 | |
| WO2023273108A1 (zh) | 单目测距方法、装置及智能装置 | |
| JP2009284188A (ja) | カラー撮像装置 | |
| CN113329179B (zh) | 拍摄对位方法、装置、设备及存储介质 | |
| US20240071016A1 (en) | Mixed reality system, program, mobile terminal device, and method | |
| CN109920003A (zh) | 相机标定检测方法、装置以及设备 | |
| CN108257186A (zh) | 标定图像的确定方法及装置、摄像机及存储介质 | |
| US20240202975A1 (en) | Data processing | |
| CN114549666A (zh) | 一种基于agv的环视图像拼接标定方法 | |
| JP2013171522A (ja) | Ａｒ技術を用いたコンピュータ・グラフィックス画像処理システム及び方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |