CN113066136B - 自动化标定方法、装置、电子设备及介质 - Google Patents

自动化标定方法、装置、电子设备及介质 Download PDF

Info

Publication number
CN113066136B
CN113066136B CN202110616764.3A CN202110616764A CN113066136B CN 113066136 B CN113066136 B CN 113066136B CN 202110616764 A CN202110616764 A CN 202110616764A CN 113066136 B CN113066136 B CN 113066136B
Authority
CN
China
Prior art keywords
sampling point
internal
parameters
sampling
external
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110616764.3A
Other languages
English (en)
Other versions
CN113066136A (zh
Inventor
王灿
丁丁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Lingxi Robot Intelligent Technology Co ltd
Original Assignee
Hangzhou Lingxi Robot Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Lingxi Robot Intelligent Technology Co ltd filed Critical Hangzhou Lingxi Robot Intelligent Technology Co ltd
Priority to CN202110616764.3A priority Critical patent/CN113066136B/zh
Publication of CN113066136A publication Critical patent/CN113066136A/zh
Application granted granted Critical
Publication of CN113066136B publication Critical patent/CN113066136B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开一种自动化标定方法、装置、电子设备及介质,用于解决相关技术中标定准确性不高的问题。相机与标定板中的一个安装于机械臂上并记为移动设备,另一个放置于工作区域,方法包括:接收触发信号,响应触发信号获取第一采样点组;查询参考内参和参考外参,第一采样点组内的各个第一采样点基于参考外参进行调整,将调整后的第一采样点组记为实际采样点组;控制相机配合拍摄标定板以得到第一图像,基于第一图像组计算内参、外参并分别记为第一内参、第一外参;判断第一内参与参考内参的对应参量之间的差值是否均未超过对应的预设值,若是,输出参考内参或第一内参,生成触发信号,若否,控制第一内参、第一外参代替参考内参、参考外参。

Description

自动化标定方法、装置、电子设备及介质
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种自动化标定方法、装置、电子设备及介质。
背景技术
在物流行业中,拆跺分拣包装箱需要耗费大量人力,人们一直尝试用机器人取代人进行这一繁重而又重复的工作。但是,由于机器人单纯进行重复的抓取动作之前,需要先对相机进行标定。
在相关技术中,在标定过程中,通常将标定板放置于工作区域内,然后控制相机移动到各个采样点进行采样,从而可以得到图像组,继而可以根据该图像组计算内参。但是,由于采样点组固定,且该采样点可能与相机型号并不适配,从而会导致计算得到的内参准确性低,即标定结果准确性低。
目前针对相关技术中标定准确性不高的问题,尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种自动化标定方法、装置、电子装置及介质,其提高了标定结果的准确性。
第一方面,本申请实施例提供了一种自动化标定方法,相机与标定板中的一个安装于机械臂上并记为移动设备,另一个放置于工作区域并记为静止设备,所述方法包括:
接收触发信号,响应所述触发信号获取第一采样点组;
查询参考内参和参考外参,所述第一采样点组内的各个第一采样点基于所述参考外参进行调整,并将调整后的第一采样点组记为实际采样点组;
在所述移动设备移动至任意实际采样点的情况下,控制所述相机配合拍摄所述标定板以得到第一图像,基于第一图像组计算内参、外参并分别记为第一内参、第一外参;
判断所述第一内参与所述参考内参的对应参量之间的差值是否均未超过对应的预设值,若是,则输出所述参考内参或所述第一内参,并生成触发信号,若否,则控制所述第一内参、第一外参分别代替所述参考内参、参考外参。
在其中一些实施例中,在所述移动设备为相机、所述静止设备为标定板的情况下,第一采样点基于所述参考外参进行调整以得到实际采样点包括:
利用调整公式组对所述第一采样点进行调整,所述调整公式组包括:
Figure 172512DEST_PATH_IMAGE001
Figure 230598DEST_PATH_IMAGE002
,其中,
Figure 462865DEST_PATH_IMAGE003
表示以地面为参考系所述实际采样点的位 姿,
Figure 389233DEST_PATH_IMAGE004
表示以所述相机为参考系所述标定板的目标位姿,
Figure 610130DEST_PATH_IMAGE005
表示以地面为参考系所述标 定板的原位姿,
Figure 167013DEST_PATH_IMAGE006
表示所述参考外参,
Figure 230784DEST_PATH_IMAGE007
表示以地面为参考系所述第一采样点的位姿。
在其中一些实施例中,在接收第一个触发信号之前,所述方法还包括:
接收第二信号,响应所述第二信号获取第二采样点组;
在所述移动设备移动至任意第二采样点的情况下,控制所述相机配合拍摄所述标定板以得到第二图像,基于第二图像组计算内参、外参并分别记为参考内参、参考外参。
在其中一些实施例中,在接收所述第二信号之前,所述方法还包括:
控制所述相机在光轴与标定板垂直的情况下拍摄所述标定板,得到参照图;
根据所述参照图确定所述静止设备的竖直中心线和所述移动设备的最低工作高度;
生成第二采样路径,各个第二采样点均自所述第二采样路径上选取,其中,所述第二采样路径在任意工作平面上的投影呈螺旋状,且自所述静止设备的竖直中心线向外扩展,各个所述第二采样点的高度分别高于所述移动设备的最低工作高度。
在其中一些实施例中,在得到任意第二图像的情况下,所述方法还包括:
判断在当前的第二图像中所述标定板的各个特征点是否完整,若否,则执行所述基于第二图像组计算内参,若是,则在第二图像总数符合预设数量的情况下执行所述基于第二图像组计算内参。
在其中一些实施例中,在判定在当前的第二图像中所述标定板的各个特征点不完整的情况下,所述方法还包括:
所述第二采样路径包括已移动路径和未移动路径,调整所述未移动路径使得调整后的未移动路径为圆台螺纹状,其轴线与所述标定板的竖直中心线重合、起点高度为当前的第二采样点的高度、开口朝向所述工作区域。
在其中一些实施例中,各个第一采样点均落于第一采样路径上,所述第一采样路径在任意工作平面上的投影呈螺旋状,且自所述静止设备的竖直中心线向外扩展,各个所述第一采样点的高度分别高于所述移动设备的最低工作高度;
各个第一采样点分别携带有采样序数,所述采样序数沿所述采样路径的延伸方向排列,且所述移动设备的移动路径基于所述采样序数依次经过各个第一采样点。
第二方面,本申请实施例提供了一种自动化标定装置,相机与标定板中的一个安装于机械臂上并记为移动设备,另一个放置于工作区域并记为静止设备,所述装置法包括:
触发模块,用于接收触发信号,响应所述触发信号获取第一采样点组;
查询模块,用于查询参考内参和参考外参,所述第一采样点组内的各个第一采样点基于所述参考外参进行调整,并将调整后的第一采样点组记为实际采样点组;
采样模块,用于在所述移动设备移动至任意实际采样点的情况下,控制所述相机配合拍摄所述标定板以得到第一图像,基于第一图像组计算内参、外参并分别记为第一内参、第一外参;
判断模块,用于判断所述第一内参与所述参考内参的对应参量之间的差值是否分别超过对应预设值,若是,则控制所述第一内参、第一外参分别代替所述参考内参、参考外参,并生成触发信号,若否,则输出所述参考内参或所述第一内参。
第三方面,本申请实施例提供了一种电子装置,其包括存储器和处理器,所处存储器中存储有计算机程序,所述处理器被设置为执行所述计算机程序时实现如上述第一方面所述的自动化标定方法。
第四方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的自动化标定方法。
相比于相关技术,本发明的有益效果在于:通过预设第一采样点组,则在每次迭代过程中对第一采样点组进行调整以得到实际采样点组,然后基于实际采样点组执行相应操作,以得到第一内参并进行比较,至第一内参与参考内参的之间的差别符合条件后停止迭代,从而可以输出准确性高的内参,即提高了标定结果的准确性;在相机型号不同的情况下,则其内参与外参也不同,但是通过结合外参进行迭代的方式使得与输出内参对应的实际采样点组与相机型号相适配,从而可以得到准确性高的内参,即提高了标定结果的准确性;通过该迭代的方式,则扩大了静止设备的可放置区域。
附图说明
此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1是本申请实施例所示自动化标定方法的流程图;
图2是本申请实施例所示初始步骤的流程图;
图3是本申请实施例所示静止设备为相机时第一采样点组的示意图;
图4是本申请实施例所示自动化标定装置的结构框图;
图5是本申请实施例所示电子设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行描述和说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。基于本申请提供的实施例,本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,还可以理解的是,虽然这种开发过程中所作出的努力可能是复杂并且冗长的,然而对于与本申请公开的内容相关的本领域的普通技术人员而言,在本申请揭露的技术内容的基础上进行的一些设计,制造或者生产等变更只是常规的技术手段,不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是,本申请所描述的实施例在不冲突的情况下,可以与其它实施例相结合。
本实施例提供了一种自动化标定方法,旨在解决相关技术中标定准确性不高的问题。
图1是本申请实施例所示自动化标定方法的流程图,参照图1所示,本方法包括步骤S101至步骤S106。在此提前说明的是,相机与标定板中的一个安装于机械臂上并记为移动设备,另一个放置于工作区域并记为静止设备。
步骤S101、接收触发信号,响应触发信号获取第一采样点组。在此值得说明的是,该触发信号由执行设备接收并由该执行设备响应。
步骤S102、查询参考内参和参考外参,第一采样点组内的各个第一采样点基于参考外参进行调整,并将调整后的第一采样点组记为实际采样点组。
步骤S103、在移动设备移动至任意实际采样点的情况下,控制相机配合拍摄标定板以得到第一图像,基于第一图像组计算内参、外参并分别记为第一内参、第一外参。
步骤S104、判断第一内参与参考内参的对应参量之间的差值是否均未超过对应的预设值,若是,则执行步骤S105;若否,则执行步骤S106。
步骤S105、输出参考内参或第一内参。
步骤S106、控制第一内参、第一外参分别代替参考内参、参考外参,并生成触发信号,然后继续执行步骤S101。在此以第一内参代替参考内参为例进行说明,删除参考内参,将该第一内参作为新的参考内参。在此值得说明的是,该删除仅是针对该方法而言的,其依然可以存储于执行设备内,但是不得以参考内参的名义。
值得说明的是,该方法的步骤可以是基于执行设备完成的。具体地,该执行设备可以为服务器、云服务器、用户端以及处理器等设备,但该执行设备不限于上述类型,但是与机械臂和相机通信连接。
综上,通过预设第一采样点组,则在每次迭代过程中对第一采样点组进行调整以得到实际采样点组,然后基于实际采样点组执行相应操作,以得到第一内参并进行比较,至第一内参与参考内参的之间的差别符合条件后停止迭代,从而可以输出准确性高的内参,即提高了标定结果的准确性;在相机型号不同的情况下,则其内参与外参也不同,但是通过结合外参进行迭代的方式使得与输出内参对应的实际采样点组与相机型号相适配,从而可以得到准确性高的内参,即提高了标定结果的准确性;通过该迭代的方式,则扩大了静止设备的可放置区域。
作为可选的实施例,由于在拆剁和码垛的过程中,相机通常安装于机械臂上,则该移动设备优选为相机,静止设备优选为标定板。可以理解,由于本方法扩大了可放置区域,则该工作区域的尺寸大于标定板的尺寸,优选地,该工作区域长为标定板长的1.3~2.5倍,该工作区域短为标定板短的1.3~2.5倍。其中,该机械臂优选为六轴机械臂,标定板可以是平面的,也可以是立体的,只要存在用于标定的栅格即可。
作为可选的实施例,对于步骤S101,只要有触发信号生成,则该执行设备便应当执行步骤S101以进行迭代。在此值得说明的是,第一个触发信号可以是人工主动触发生成的,也可以是基于相应程序被动触发生成的,具体在此不做限制。
该第一采样点组包括一个以上的第一采样点,且该第一采样点组具体不做限制,其可以由工作人员根据经验设置,也可以是与一相机适配。在此对第一采样点组与一相机适配的方式进行举例说明:将标定板放置于工作区域的中间位置,该中间位置的尺寸与标定板的尺寸相同;将该相机记为参照相机,该参照相机安装于机械臂上,其中,参照相机的型号、内参、外参、畸变参量等与标定相关的要素均已知晓;反向推导该参照相机可用的采样点,具体可以参考现有技术,并在其中选取部分采样点作为第一采样点,即得到了第一采样点组。
作为可选的实施例,对于步骤S102,该参考内参和参考外参的来源在此不做限定,但是应当被存储于执行设备内。可以理解,该实际采样点组包括一个以上的实际采样点,该实际采样点为经过了调整的第一采样点。
作为可选的实施例,对于步骤S103,第一图像的总数可以大于等于第一采样点的总数,例如:对于任意第一采样点,相机可以在多个角度拍摄标定板以得到多张第一图像;对于任意第一采样点,相机的拍摄角度也可以仅设置一个,则第一图像的总数等于第一采样点的总数。
在此值得说明的是,第一采样点和实际采样点均是移动设备的停留位置,而移动设备通常固定于机械臂的法兰上,因此,需要结合法兰与移动设备的位姿关系根据实际采样点确定法兰的停留点,即在法兰停留于该停留点的情况下,移动设备停留于对应的实际采样点处。
进一步地,移动设备的中心优选位于法兰的中心,例如:在移动设备为相机,则相机的光轴于法兰的中心线重合;在移动设备为标定板,则标定板的中中心线与法兰的光轴重合,以使得该停留点即为实际采样点。通过本技术方案,可以降低开发难度,并提高整体的处理效率。
作为可选的实施例,对于步骤S104,内参为一个矩阵,该矩阵具有多个参量,然后 对于参考内参和第一内参而言,对于同一位置的两个参量进行差值计算,该差值为绝对值。 在此可以进行举例说明,内参的形式可以为:
Figure 85476DEST_PATH_IMAGE008
,其中,参量可以包括
Figure 488776DEST_PATH_IMAGE009
Figure 278877DEST_PATH_IMAGE010
Figure 767628DEST_PATH_IMAGE011
Figure 911164DEST_PATH_IMAGE012
Figure 231287DEST_PATH_IMAGE013
,上述各个参量分别对应有预设值,其中,f 为像距,dX 、dY分别表 示X、Y方向上的一个像素在相机感光板上的物理长度(即一个像素在感光板上是多少毫 米),
Figure 395552DEST_PATH_IMAGE012
Figure 292970DEST_PATH_IMAGE013
分别表示相机感光板中心在像素坐标系下的坐标,
Figure 364831DEST_PATH_IMAGE014
表示感光板的横边和纵 边之间的角度。
作为可选的实施例,在移动设备为相机、静止设备为标定板的情况下,在步骤S102中,第一采样点基于参考外参进行调整以得到实际采样点的过程中可以包括以下步骤。
利用调整公式组对的第一采样点进行调整,调整公式组包括:
Figure 742723DEST_PATH_IMAGE015
Figure 749993DEST_PATH_IMAGE002
,其中,
Figure 213335DEST_PATH_IMAGE003
表示以地面为参考系实际采样点的位姿,
Figure 823308DEST_PATH_IMAGE016
表示以相机为参考 系标定板的目标位姿,
Figure 242657DEST_PATH_IMAGE005
表示以地面为参考系标定板的原位姿,
Figure 748725DEST_PATH_IMAGE006
表示参考外参,
Figure 496101DEST_PATH_IMAGE017
表示 以地面为参考系第一采样点的位姿,
Figure 785131DEST_PATH_IMAGE018
可以根据
Figure 872036DEST_PATH_IMAGE016
Figure 345742DEST_PATH_IMAGE005
得到。
通过本技术方案,可以明确第一采样点与实际采样点之间的关系,以确定移动设备的实际采样的位姿。可以理解,第一采样点的调整方式不限为上述方式,其也可以结合内参等进行调整,只要经过反复迭代后符合步骤S104的相关要求即可。
作为可选的实施例,在执行设备接收到第一触发信号之前,该方法还可以包括初始步骤,图2是本申请实施例所示初始步骤的流程图,该初始步骤可以包括步骤S201至步骤S203。
步骤S201、接收第二信号,响应第二信号获取第二采样点组。该第二采样点组应当包括多个第二采样点,在此值得说明的是,该第二采样点组的设置可以不具有规则。
步骤S202、在移动设备移动至任意第二采样点的情况下,控制相机配合拍摄标定板以得到第二图像。具体可以参照步骤S103的相关说明。
步骤S203、基于第二图像组计算内参、外参并分别记为参考内参、参考外参。具体可以参照步骤S103的相关说明。可以理解,该步骤S203在完成之后,该执行设备自动生成第一个触发信号,而第二个及其之后的触发信号均是基于步骤S106生成的。
本技术方案通过预设第二采样点,并结合第二采样点得到的第二图像以得到参考内参,该参考内参尽管准确性不高,但是相较于其他方式得到的内参,该参考内参的可信度较高,同时还为后续的步骤S105的迭代判断提供了一个初始的参考内参。
进一步地,为了便于理解第二采样点的分布,在此引入第二采样路径,第二采样点落于第二采样路径上,但该第二采样路径并不对第二采样点起到限制。第二采样路径在任意工作平面上的投影呈螺旋状,且自其轴线向外扩展,由此可知,该第二采样点可以分布于不同的工作平面上,具体不做限定,例如:可以在工作空间内取若干个高度层,在每个高度层的不同位置取第二采样点,移动设备可以在第二采样点以多种组态进行相机对标定板的拍摄;也可以在工作区域内的主要工作平面取较多的不同位置的第二采样点,在其他工作平面上取少量的不同位置的第二采样点,然后移动设备可以在第二采样点以多种组态进行相机对标定板的拍摄。当然,该第二路径也可以选择圆锥形螺线、二维螺线等形状。可以理解,在本方法中,为了提高内参计算的准确性,第二采样点优选分布在不同高度上,因此,该第二采样路径优选为圆锥形螺线。
进一步地,在接收第二信号之前,该方法还可以包括以下步骤。
控制相机在光轴与标定板垂直的情况下拍摄标定板,得到参照图。
根据参照图确定静止设备的竖直中心线和移动设备的最低工作高度。在静止设备为相机的情况下,该竖直中心线即为相机的光轴;在静止设备为标定板的情况下,则不作说明。该移动设备的最低工作高度为相机可以拍摄全貌的标定板时,相机与标定板之间的距离。
生成第二采样路径,各个第二采样点均自第二采样路径上选取,并控制第二采样路径的轴线与静止设备的竖直中心线重合,并使得各个第二采样点的高度分别高于移动设备的最低工作高度。因此,在任意工作平面上,第二采样路径投影不仅呈螺旋状,还自其轴线向外扩展。
通过本技术方案,通过对第二采样路径的调整,可以使得第二采样点与静止设备的放置情况相适配,即减少对静止设备放置的限制,扩大了可放置区域的面积。
进一步地,在接收第二信号之后,则执行步骤S201和步骤S202,在此值得说明的是,通常该第二采样点的数量固定,则在执行步骤S202的过程中,只要第二图像的数量达到预设数量,则可以执行步骤S203,该预设数量可以根据实际情况进行调整,具体在此不做限制。
但是,在此应当注意的是,各个第二图像应当是完整的,即不缺少特征点。因此,在初始步骤该包括以下步骤。
在生成任意的第二图像之后,判断在当前的第二图像中标定板的各个特征点是否完整,若否,则直接执行步骤S203,若是,则继续结合第二采样组进行采样,并在第二图像总数符合预设数量的情况下执行步骤S203。
由于第二采样路径应当逐渐朝向工作空间外扩展,因此一旦出现了特征点缺失的第二图像,则表示之后的第二图像均存在特征点缺失的情况,出于第二图像有效性考虑,则及时停止结合第二采样点组的第二图像采集。
但是,出于参考内参准确性的考虑,该第二图像的数量最好符合预设数量,因此,在出现了特征点缺失的第二图像之后,则可以对第二采样点组进行调整,以继续进行第二图像的采集,具体可以参考以下步骤:
第二采样路径包括已移动路径和未移动路径,调整未移动路径使得调整后的未移动路径为圆台螺纹状,其轴线与标定板的竖直中心线重合、起点高度为当前的第二采样点的高度、开口朝向工作区域。
相应地,执行设备应当自调整后的未移动路径上选取第二采样点,以代替原先在未移动路径上的第二采样点,且二者的数量应当适配。
当然调整后的未移动路径不限于圆台螺纹状,也可以在该工作平面上采用二维螺线,只要是朝向工作空间中心收拢即可。
作为可选的技术方案,图3是本申请实施例所示静止设备为相机时第一采样点组的示意图,各个第一采样点均落于第一采样路径上,第一采样路径在任意工作平面上的投影呈螺旋状,且自静止设备的竖直中心线向外扩展,各个第一采样点的高度分别高于移动设备的最低工作高度。
当然,该第一采样路可以为圆锥形螺线、二维螺线等形状,具体在此不做限制。当然,该第一采样路径也可以不具有规律,例如:可以在工作空间内取若干个高度层,在每个高度层的不同位置取第一采样点,移动设备可以在第一采样点以多种组态进行相机对标定板的拍摄;也可以在工作区域内的主要工作平面取较多的不同位置的第一采样点,在其他工作平面上取少量的不同位置的第一采样点,然后移动设备可以在第一采样点以多种组态进行相机对标定板的拍摄。
各个第一采样点分别携带有采样序数,采样序数沿采样路径的延伸方向排列,且移动设备的移动路径基于采样序数依次经过各个第一采样点。
本实施例还提供了一种自动化标定装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本申请实施例的自动化标定装置的结构框图,提前说明的是,相机与标定板中的一个安装于机械臂上并记为移动设备,另一个放置于工作区域并记为静止设备。如图4所示,该装置包括触发模块41、查询模块42、采样模块43、判断模块44。
触发模块41用于接收触发信号,响应触发信号获取第一采样点组。
查询模块42用于查询参考内参和参考外参,第一采样点组内的各个第一采样点基于参考外参进行调整,并将调整后的第一采样点组记为实际采样点组。
采样模块43用于在移动设备移动至任意实际采样点的情况下,控制相机配合拍摄标定板以得到第一图像,基于第一图像组计算内参、外参并分别记为第一内参、第一外参。
判断模块44用于用于判断所述第一内参与所述参考内参的对应参量之间的差值是否均未超过对应的预设值,若是,则输出所述参考内参或所述第一内参,并生成触发信号,若否,则控制所述第一内参、第一外参分别代替所述参考内参、参考外参。
需要说明的是,上述各个模块可以是功能模块也可以是程序模块,既可以通过软件来实现,也可以通过硬件来实现。对于通过硬件来实现的模块而言,上述各个模块可以位于同一处理器中;或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子设备,图5是本申请实施例所示电子设备的结构框图,参照图5所示,该电子设备包括存储器和处理器,该存储器中存储有计算机程序,该处理器被设置为运行计算机程序以执行实现上述实施例中的任意一种自动化标定方法,具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
可选地,上述电子设备还可以包括传输设备以及输入输出设备,其中,该传输设备和上述处理器连接,该输入输出设备和上述处理器连接。
另外,结合上述实施例中的自动化标定方法,本申请实施例五可提供一种存储介质来实现。该存储介质上存储有计算机程序;该计算机程序被处理器执行时实现上述实施例中的任意一种自动化标定方法,相机与标定板中的一个安装于机械臂上并记为移动设备,另一个放置于工作区域并记为静止设备,方法包括:
接收触发信号,响应触发信号获取第一采样点组;
查询参考内参和参考外参,第一采样点组内的各个第一采样点基于参考外参进行调整,并将调整后的第一采样点组记为实际采样点组;
在移动设备移动至任意实际采样点的情况下,控制相机配合拍摄标定板以得到第一图像,基于第一图像组计算内参、外参并分别记为第一内参、第一外参;
判断所述第一内参与所述参考内参的对应参量之间的差值是否均未超过对应的预设值,若是,则输出所述参考内参或所述第一内参,并生成触发信号,若否,则控制所述第一内参、第一外参分别代替所述参考内参、参考外参。
如图5所示,以一个处理器为例,电子设备中的处理器、存储器、输入装置和输出装置可以通过总线或其他方式连接,图5中以通过总线连接为例。
存储器作为一种计算机可读存储介质,可以包括高速随机存取存储器、非易失性存储器等,可用于存储操作系统、软件程序、计算机可执行程序和数据库,如本发明实施例一的自动化标定方法对应的程序指令/模块,还可以包括内存,可用于为操作系统和计算机程序提供运行环境。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。
处理器用于提供计算和控制能力,可以包括中央处理器(CPU),或者特定集成电路(Application Specific Integrated Circuit,简称为ASIC),或者可以被配置成实施本申请实施例的一个或多个集成电路。处理器通过运行存储在存储器中的计算机可执行程序、软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现实施例一的自动化标定方法。
该电子设备的输出装置可以是液晶显示屏或者电子墨水显示屏,该电子设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
该电子设备还可包括网络接口/通信接口,该电子设备的网络接口用于与外部的终端通过网络连接通信。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的电子设备的限定,具体的电子设备可以包括比图中更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,该计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)、DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
值得注意的是,在该自动化标定方法的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
除非另作定义,本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制,可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形,意图在于覆盖不排他的包含。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电气的连接,不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系,表示可以存在三种关系。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象,不代表针对对象的特定排序。
以上实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种自动化标定方法,其特征在于,相机与标定板中的一个安装于机械臂上并记为移动设备,另一个放置于工作区域并记为静止设备,所述方法包括:
接收触发信号,响应所述触发信号获取第一采样点组;
查询参考内参和参考外参,所述第一采样点组内的各个第一采样点基于所述参考外参进行调整,并将调整后的第一采样点组记为实际采样点组;
在所述移动设备移动至任意实际采样点的情况下,控制所述相机配合拍摄所述标定板以得到第一图像,基于第一图像组计算内参、外参并分别记为第一内参、第一外参;
判断所述第一内参与所述参考内参的对应参量之间的差值是否均未超过对应的预设值,若是,则输出所述参考内参或所述第一内参,并生成触发信号,若否,则控制所述第一内参、第一外参分别代替所述参考内参、参考外参;
在所述移动设备为相机、所述静止设备为标定板的情况下,第一采样点基于所述参考外参进行调整以得到实际采样点包括:
利用调整公式组对所述第一采样点进行调整,所述调整公式组包括:
Figure DEST_PATH_IMAGE002
Figure DEST_PATH_IMAGE004
,其中,
Figure DEST_PATH_IMAGE006
表示以地面为参考系所述实际采样点的位姿,
Figure DEST_PATH_IMAGE008
表示以所述相机为参考系所述标定板的目标位姿,
Figure DEST_PATH_IMAGE010
表示以地面为参考系所述标定板的原位姿,
Figure DEST_PATH_IMAGE012
表示所述参考外参,
Figure DEST_PATH_IMAGE014
表示以地面为参考系所述第一采样点的位姿,
Figure DEST_PATH_IMAGE016
可以根据
Figure 52227DEST_PATH_IMAGE008
Figure DEST_PATH_IMAGE017
得到。
2.根据权利要求1所述的方法,其特征在于,在接收第一个触发信号之前,所述方法还包括:
接收第二信号,响应所述第二信号获取第二采样点组;
在所述移动设备移动至任意第二采样点的情况下,控制所述相机配合拍摄所述标定板以得到第二图像,基于第二图像组计算内参、外参并分别记为参考内参、参考外参。
3.根据权利要求2所述的方法,其特征在于,在接收所述第二信号之前,所述方法还包括:
控制所述相机在光轴与标定板垂直的情况下拍摄所述标定板,得到参照图;
根据所述参照图确定所述静止设备的竖直中心线和所述移动设备的最低工作高度;
生成第二采样路径,各个第二采样点均自所述第二采样路径上选取,其中,所述第二采样路径在任意工作平面上的投影呈螺旋状,且自所述静止设备的竖直中心线向外扩展,各个所述第二采样点的高度分别高于所述移动设备的最低工作高度。
4.根据权利要求3所述的方法,其特征在于,在得到任意第二图像的情况下,所述方法还包括:
判断在当前的第二图像中所述标定板的各个特征点是否完整,若否,则执行所述基于第二图像组计算内参,若是,则在第二图像总数符合预设数量的情况下执行所述基于第二图像组计算内参。
5.根据权利要求4所述的方法,其特征在于,在判定在当前的第二图像中所述标定板的各个特征点不完整的情况下,所述方法还包括:
所述第二采样路径包括已移动路径和未移动路径,调整所述未移动路径使得调整后的未移动路径为圆台螺纹状,其轴线与所述标定板的竖直中心线重合、起点高度为当前的第二采样点的高度、开口朝向所述工作区域。
6.根据权利要求3所述的方法,其特征在于,各个第一采样点均落于第一采样路径上,所述第一采样路径在任意工作平面上的投影呈螺旋状,且自所述静止设备的竖直中心线向外扩展,各个所述第一采样点的高度分别高于所述移动设备的最低工作高度;
各个第一采样点分别携带有采样序数,所述采样序数沿所述采样路径的延伸方向排列,且所述移动设备的移动路径基于所述采样序数依次经过各个第一采样点。
7.一种自动化标定装置,其特征在于,相机与标定板中的一个安装于机械臂上并记为移动设备,另一个放置于工作区域并记为静止设备,所述装置包括:
触发模块,用于接收触发信号,响应所述触发信号获取第一采样点组;
查询模块,用于查询参考内参和参考外参,所述第一采样点组内的各个第一采样点基于所述参考外参进行调整,并将调整后的第一采样点组记为实际采样点组;
采样模块,用于在所述移动设备移动至任意实际采样点的情况下,控制所述相机配合拍摄所述标定板以得到第一图像,基于第一图像组计算内参、外参并分别记为第一内参、第一外参;
判断模块,用于判断所述第一内参与所述参考内参的对应参量之间的差值是否均未超过对应的预设值,若是,则输出所述参考内参或所述第一内参,并生成触发信号,若否,则控制所述第一内参、第一外参分别代替所述参考内参、参考外参;
在所述移动设备为相机、所述静止设备为标定板的情况下,第一采样点基于所述参考外参进行调整以得到实际采样点包括:
利用调整公式组对所述第一采样点进行调整,所述调整公式组包括:
Figure DEST_PATH_IMAGE018
Figure 890739DEST_PATH_IMAGE004
,其中,
Figure 857427DEST_PATH_IMAGE006
表示以地面为参考系所述实际采样点的位姿,
Figure DEST_PATH_IMAGE019
表示以所述相机为参考系所述标定板的目标位姿,
Figure 455899DEST_PATH_IMAGE010
表示以地面为参考系所述标定板的原位姿,
Figure 4692DEST_PATH_IMAGE012
表示所述参考外参,
Figure 295996DEST_PATH_IMAGE014
表示以地面为参考系所述第一采样点的位姿,
Figure 297450DEST_PATH_IMAGE016
可以根据
Figure DEST_PATH_IMAGE020
Figure 152142DEST_PATH_IMAGE017
得到。
8.一种电子设备,其包括存储器和处理器,其特征在于,所处存储器中存储有计算机程序,所述处理器被设置为执行所述计算机程序时实现权利要求1至6中任意一项所述的方法。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任意一项所述的方法。
CN202110616764.3A 2021-06-03 2021-06-03 自动化标定方法、装置、电子设备及介质 Active CN113066136B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110616764.3A CN113066136B (zh) 2021-06-03 2021-06-03 自动化标定方法、装置、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110616764.3A CN113066136B (zh) 2021-06-03 2021-06-03 自动化标定方法、装置、电子设备及介质

Publications (2)

Publication Number Publication Date
CN113066136A CN113066136A (zh) 2021-07-02
CN113066136B true CN113066136B (zh) 2021-09-10

Family

ID=76568569

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110616764.3A Active CN113066136B (zh) 2021-06-03 2021-06-03 自动化标定方法、装置、电子设备及介质

Country Status (1)

Country Link
CN (1) CN113066136B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6929123B2 (ja) * 2017-05-10 2021-09-01 日本放送協会 カメラ校正装置及びカメラ校正プログラム
CN110599541B (zh) * 2019-08-28 2022-03-11 贝壳技术有限公司 一种对多传感器进行标定的方法、装置和存储介质
CN112785650B (zh) * 2019-11-11 2024-01-12 北京京邦达贸易有限公司 一种相机参数标定方法及装置

Also Published As

Publication number Publication date
CN113066136A (zh) 2021-07-02

Similar Documents

Publication Publication Date Title
CN109285190B (zh) 对象定位方法、装置、电子设备和存储介质
JP6527178B2 (ja) 視覚センサのキャリブレーション装置、方法及びプログラム
CN109829953B (zh) 图像采集装置标定方法、装置、计算机设备和存储介质
KR20180120647A (ko) 가이드된 어셈블리 환경에서 머신비전 좌표공간과 함께 묶기 위한 시스템 및 방법
CN113601503B (zh) 手眼标定方法、装置、计算机设备和存储介质
CN112964196A (zh) 三维扫描方法、系统、电子装置和计算机设备
CN113021328A (zh) 一种手眼标定方法、装置、设备和介质
CN111438688B (zh) 机器人校正方法、装置、计算机设备及存储介质
CN111083376B (zh) 确定目标物安装位置的方法、系统、装置以及电子设备
CN113329179B (zh) 拍摄对位方法、装置、设备及存储介质
CN113524187B (zh) 一种工件抓取顺序的确定方法、装置、计算机设备及介质
CN109636783B (zh) 机器人臂长的确定方法、装置、计算机设备及存储介质
CN112991456A (zh) 拍摄定位方法、装置、计算机设备和存储介质
CN108340405B (zh) 一种机器人三维扫描系统及方法
CN113256735B (zh) 一种基于双目标定的相机标定方法和系统
CN113066136B (zh) 自动化标定方法、装置、电子设备及介质
JP2019109200A (ja) 校正用データ生成装置、校正用データ生成方法、キャリブレーションシステム、及び制御プログラム
CN112000109A (zh) 电力巡检机器人的位置校正方法、电力巡检机器人及介质
CN116817787A (zh) 三维扫描方法、三维扫描系统和电子装置
CN111353945A (zh) 鱼眼图像校正方法、装置及存储介质
CN114677429A (zh) 一种机械手的定位方法、装置、计算机设备和存储介质
CN114833825A (zh) 协作机器人控制方法、装置、计算机设备和存储介质
CN114049355B (zh) 一种散乱工件的识别标注方法、系统和装置
CN117291987B (zh) 余料切断位置识别方法、装置、计算机设备和存储介质
WO2022208963A1 (ja) ロボット制御用のキャリブレーション装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB03 Change of inventor or designer information

Inventor after: Wang Can

Inventor after: Ding Ding

Inventor after: Wang Lei

Inventor before: Wang Can

Inventor before: Ding Ding

CB03 Change of inventor or designer information