CN117115235A - 一种定位方法、装置及电子设备 - Google Patents
一种定位方法、装置及电子设备 Download PDFInfo
- Publication number
- CN117115235A CN117115235A CN202311044434.7A CN202311044434A CN117115235A CN 117115235 A CN117115235 A CN 117115235A CN 202311044434 A CN202311044434 A CN 202311044434A CN 117115235 A CN117115235 A CN 117115235A
- Authority
- CN
- China
- Prior art keywords
- target
- detected
- point
- mapping
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000013507 mapping Methods 0.000 claims abstract description 302
- 238000006243 chemical reaction Methods 0.000 claims abstract description 132
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 238000004590 computer program Methods 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 10
- 238000003860 storage Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 6
- 230000007547 defect Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 8
- 230000002159 abnormal effect Effects 0.000 description 6
- 239000003550 marker Substances 0.000 description 6
- 238000011960 computer-aided design Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000004904 shortening Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Geometry (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
本申请实施例提供了一种定位方法、装置及电子设备,涉及图像处理技术领域。获取图像采集设备所采集的关于待检测物体的待检测图像;对待检测图像进行对象检测,得到所检测到的目标对象的图像中心点;利用预设转换关系,将待检测物体的目标三维点集映射到待检测图像中;在目标三维点集映射得到的各个映射点中,确定图像中心点对应的初始映射点,并基于初始映射点,确定图像中心点对应的目标映射点;基于目标映射点,在待检测物体中,定位目标对象的目标中心点。与相关技术相比,应用本申请实施例提供的方案,可以提高定位效率。
Description
技术领域
本申请涉及图像处理技术领域,特别是涉及一种定位方法、装置及电子设备。
背景技术
在对待检测物体进行对象检测时,通常利用图像采集设备采集该待检测物体的待检测图像,之后,对待检测图像进行对象检测,以确定待检测物体上的缺陷、商标等目标对象在该待检测图像中的位置。然后,需要在世界坐标系找到与所检测到的目标对象的各个点一一对应的点,从而,在待检测物体上定位该目标对象。
在相关技术中,可以预先利用图像采集设备采集参考物体的参考图像,之后,利用数学模型计算出该参考图像的各个像素坐标与参考物体在世界坐标系中的各个空间坐标之间的映射关系。进而,可以将上述映射关系存储为坐标查找表(Look Up Table)。这样,在利用图像采集设备采集待检测图像后,可以首先判断相比于参考图像,该待检测图像是否存在异常。若待检测图像存在异常,需要获取图像采集设备的参数信息,并利用上述参数信息对上述坐标查找表进行重构,之后,利用重构后的坐标查找表,查找所检测到的在该待检测图像中像素坐标所对应的空间坐标。
示例性的,图1为利用图像采集设备所采集的参考图像计算得到的坐标查找表,在该坐标查找表中,像素坐标(X,Y)处存储有空间坐标(Xxy,Yxy,Zxy)。
然而,在相关技术中,在利用坐标查找表,在待检测对象上定位待检测图像上所检测到的目标对象时,由于对待检测图像进行异常判断以及利用图像采集设备的参数信息重构坐标查找表的过程,需要耗费较长时间,从而,导致定位效率较低。
发明内容
本申请实施例的目的在于提供一种定位方法、装置及电子设备,以提高定位效率。具体技术方案如下:
第一方面,本申请实施例提供了一种定位方法,所述方法包括:
获取图像采集设备所采集的关于待检测物体的待检测图像;
对所述待检测图像进行对象检测,得到所检测到的目标对象的图像中心点;
利用预设转换关系,将所述待检测物体的目标三维点集映射到所述待检测图像中;其中,所述预设转换关系包括:所述待检测物体对应的物理坐标系和所述图像采集设备对应的相机坐标系的第一转换关系、以及所述相机坐标系和所述待检测图像对应的图像坐标系的第二转换关系;
在所述目标三维点集映射得到的各个映射点中,确定所述图像中心点对应的初始映射点,并基于所述初始映射点,确定所述图像中心点对应的目标映射点;
基于所述目标映射点,在所述待检测物体中,定位所述目标对象的目标中心点。
可选的,一种具体实现方式中,在所述利用预设转换关系,将所述待检测物体的目标三维点集映射到所述待检测图像中之前,所述方法还包括:
获取所述待检测物体的基准三维点集;
基于所述基准三维点集,确定所述待检测物体的目标三维点集。
可选的,一种具体实现方式中,所述获取所述待检测物体的基准三维点集,包括:
对所述待检测物体的三维模型进行均匀采样,得到所述待检测物体的基准三维点集;
或者,
获取预设传感器所采集的所述待检测物体表面的三维点云,得到所述待检测物体的基准三维点集。
可选的,一种具体实现方式中,所述基于所述基准三维点集,确定所述待检测物体的目标三维点集,包括:
将所述基准三维点集,确定为所述待检测物体的目标三维点集;
或者,
按照预设间隔对所述基准三维点集进行下采样,得到所述待检测物体的目标三维点集。
可选的,一种具体实现方式中,所述基于所述初始映射点,确定所述图像中心点对应的目标映射点,包括:
将所述初始映射点确定为所述图像中心点对应的目标映射点;
所述基于所述目标映射点,在所述待检测物体中,定位所述目标对象的目标中心点,包括:
在所述目标三维点集中,确定所述目标映射点对应的目标三维点,并在所述待检测物体中,定位所述目标三维点所指示的目标点,得到所述目标对象的目标中心点。
可选的,一种具体实现方式中,所述目标三维点集为:按照预设间隔对所述基准三维点集进行下采样得到的三维点集;
所述方法还包括:
按照指定数据结构,对所述基准三维点集进行区域划分,得到多个子点集;
所述基于所述初始映射点,确定所述图像中心点对应的目标映射点,包括:
确定所述目标三维点集中,所述初始映射点所对应的初始三维点,并确定所述初始三维点所属的目标子点集;
利用所述预设转换关系,将所述目标子点集映射到所述待检测图像中,并在所述目标子点集映射得到的各个映射点中,确定所述图像中心点对应的目标映射点;
所述基于所述目标映射点,在所述待检测物体中,定位所述目标对象的目标中心点,包括:
在所述基准三维点集中,确定所述目标映射点对应的目标三维点,并在所述待检测物体中,定位所述目标三维点所指示的目标点,得到所述目标对象的目标中心点。
可选的,一种具体实现方式中,所述确定所述目标三维点集中,所述初始映射点所对应的初始三维点;
将所述目标三维点集中,所述初始映射点对应的且距离所述图像采集设备最近的三维点,确定为初始三维点。
可选的,一种具体实现方式中,所述在所述目标三维点集映射得到的各个映射点中,确定所述图像中心点对应的初始映射点,包括:
将所述目标三维点集映射得到的各个映射点中,与所述图像中心点之间的距离满足预设条件的映射点确定为所述图像中心点对应的初始映射点;其中,所述预设条件包括:等于指定距离、不大于预设距离以及距离最小中的任一项。
可选的,一种具体实现方式中,所述获取图像采集设备所采集的关于待检测物体的待检测图像,包括:
遍历各个预设采集角度,在遍历到每个预设采集角度时,获取图像采集设备在该预设采集角度所采集的关于待检测物体的待检测图像;
所述方法还包括:
在得到每个目标中心点时,判断是否遍历完全部预设采集角度;
如果未遍历完,则遍历下一预设采集角度,并返回所述在遍历到每个预设采集角度时,获取图像采集设备在该预设采集角度所采集的关于待检测物体的待检测图像的步骤。
可选的,一种具体实现方式中,所述图像采集设备安装在可移动装置的一端,所述可移动装置的另一端安装在固定基座上;所述第一转换关系包括:所述待检测物体对应的物理坐标系和所述固定基座对应的基座坐标系的第一子转换关系、所述基座坐标系和所述图像采集设备对应的相机坐标系的第二子转换关系。
第二方面,本申请实施例提供了一种定位装置,所述装置包括:
图像获取模块,用于获取图像采集设备所采集的关于待检测物体的待检测图像;
检测模块,用于对所述待检测图像进行对象检测,得到所检测到的目标对象的图像中心点;
映射模块,用于利用预设转换关系,将所述待检测物体的目标三维点集映射到所述待检测图像中;其中,所述预设转换关系包括:所述待检测物体对应的物理坐标系和所述图像采集设备对应的相机坐标系的第一转换关系、以及所述相机坐标系和所述待检测图像对应的图像坐标系的第二转换关系;
目标映射点确定模块,用于在所述目标三维点集映射得到的各个映射点中,确定所述图像中心点对应的初始映射点,并基于所述初始映射点,确定所述图像中心点对应的目标映射点;
定位模块,用于基于所述目标映射点,在所述待检测物体中,定位所述目标对象的目标中心点。
可选的,一种具体实现方式中,所述装置还包括:
基准三维点集确定模块,用于在所述利用预设转换关系,将所述待检测物体的目标三维点集映射到所述待检测图像中之前,获取所述待检测物体的基准三维点集;
目标三维点集确定模块,用于基于所述基准三维点集,确定所述待检测物体的目标三维点集。
可选的,一种具体实现方式中,所述基准三维点集确定模块,具体用于:
对所述待检测物体的三维模型进行均匀采样,得到所述待检测物体的基准三维点集;或者,获取预设传感器所采集的所述待检测物体表面的三维点云,得到所述待检测物体的基准三维点集。
可选的,一种具体实现方式中,所述目标三维点集确定模块,具体用于:
将所述基准三维点集,确定为所述待检测物体的目标三维点集;或者,按照预设间隔对所述基准三维点集进行下采样,得到所述待检测物体的目标三维点集。
可选的,一种具体实现方式中,所述目标映射点确定模块,具体用于:
将所述初始映射点确定为所述图像中心点对应的目标映射点;
所述定位模块,具体用于:
在所述目标三维点集中,确定所述目标映射点对应的目标三维点,并在所述待检测物体中,定位所述目标三维点所指示的目标点,得到所述目标对象的目标中心点。
可选的,一种具体实现方式中,所述目标三维点集为:按照预设间隔对所述基准三维点集进行下采样得到的三维点集;
所述装置还包括:
区域划分模块,用于按照指定数据结构,对所述基准三维点集进行区域划分,得到多个子点集;
所述目标映射点确定模块,包括:
初始三维点确定子模块,用于确定所述目标三维点集中,所述初始映射点所对应的初始三维点,并确定所述初始三维点所属的目标子点集;
目标映射点确定子模块,用于利用所述预设转换关系,将所述目标子点集映射到所述待检测图像中,并在所述目标子点集映射得到的各个映射点中,确定所述图像中心点对应的目标映射点;
所述定位模块,具体用于:
在所述基准三维点集中,确定所述目标映射点对应的目标三维点,并在所述待检测物体中,定位所述目标三维点所指示的目标点,得到所述目标对象的目标中心点。
可选的,一种具体实现方式中,所述初始三维点确定子模块,具体用于:
将所述目标三维点集中,所述初始映射点对应的且距离所述图像采集设备最近的三维点,确定为初始三维点。
可选的,一种具体实现方式中,所述目标映射点确定模块,包括:
将所述目标三维点集映射得到的各个映射点中,与所述图像中心点之间的距离满足预设条件的映射点确定为所述图像中心点对应的初始映射点;其中,所述预设条件包括:等于指定距离、不大于预设距离以及距离最小中的任一项。
可选的,一种具体实现方式中,所述图像获取模块,具体用于:
遍历各个预设采集角度,在遍历到每个预设采集角度时,获取图像采集设备在该预设采集角度所采集的关于待检测物体的待检测图像;
所述装置还包括:
判断模块,用于在得到每个目标中心点时,判断是否遍历完全部预设采集角度;如果未遍历完,则触发遍历模块;
所述触发遍历模块,用于遍历下一预设采集角度,并返回所述在遍历到每个预设采集角度时,获取图像采集设备在该预设采集角度所采集的关于待检测物体的待检测图像的步骤。
可选的,一种具体实现方式中,所述图像采集设备安装在可移动装置的一端,所述可移动装置的另一端安装在固定基座上;所述第一转换关系包括:所述待检测物体对应的物理坐标系和所述固定基座对应的基座坐标系的第一子转换关系、所述基座坐标系和所述图像采集设备对应的相机坐标系的第二子转换关系。
第三方面,本申请实施例提供了一种电子设备,包括:
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述任一方法实施例的步骤。
第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一方法实施例的步骤。
第五方面,本申请实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的定位方法。
本申请实施例有益效果:
以上可见,应用本申请实施例提供的方案,可以通过获取待检测物体的目标三维点集和待检测图像,并将上述目标三维点集映射到待检测图像上,来确定待检测物体中目标对象的图像中心点对应的目标映射点。之后,通过上述目标映射点,便可以在目标三维点集中,确定上述目标映射点对应的三维点,从而,在确定目标对象的图像中心点对应的三维点后,便可以将该三维点在待检测物体中的位置,作为目标对象的目标中心点的位置,从而,便可以实现定位目标对象的目标中心点的目的。与相关技术相比,对目标对象的目标中心点的定位是利用三维点集实现的,这样,由于无需利用坐标查找表对目标对象进行定位,从而,便无需对待检测图像进行异常判断以及利用图像采集设备的参数信息对坐标查找表进行重构,从而,可以缩短定位时间,提高定位效率。
此外,仅需获取待检测物体的目标三维点集和各个表面的待检测图像,便可以利用上述目标三维点集,在待检测物体的各个表面上对目标对象进行定位,从而,可以进一步提高定位效率。
当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的实施例。
图1为本申请实施例提供的一种坐标查找表的示意图;
图2(a)为本申请实施例提供的第三转换关系的示意图;
图2(b)为本申请实施例提供的图像采集设备的安装位置的示意图;
图2(c)为本申请实施例提供的图像采集设备与机械臂的位置关系的示意图;
图3为本申请实施例提供的一种定位方法的流程示意图;
图4为本申请实施例提供的另一种定位方法的流程示意图;
图5为本申请实施例提供的成像模型的示意图;
图6为本申请实施例提供的又一种定位方法的流程示意图;
图7为本申请实施例提供的又一种定位方法的流程示意图;
图8(a)-图8(b)分别为本申请实施例提供的具体实例的流程示意图;
图9为本申请实施例提供的一种定位装置的结构示意图;
图10为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员基于本申请所获得的所有其他实施例,都属于本申请保护的范围。
在相关技术中,在利用坐标查找表,在待检测对象上定位待检测图像上所检测到的目标对象时,由于对待检测图像进行异常判断以及利用图像采集设备的参数信息重构坐标查找表的过程,需要耗费较长时间,从而,导致定位效率较低。
为了解决上述技术问题,本申请实施例提供了一种定位方法。
其中,该方法适用于需要利用对物体上的目标对象进行定位的各类场景,例如,对工件上的缺陷进行定位;又例如,对商品外包装上的商品标识进行定位等。
并且,该方法的执行主体可以是具有数据处理功能的图像采集设备,还可以是与图像采集设备相通信的具备数据处理功能的各种电子设备,例如,手机、笔记本电脑、台式电脑等,此外,该电子设备可以是独立的电子设备,也可以是由多台电子设备构成的设备集群,以下简称电子设备。
基于此,本申请实施例不对该方法的应用场景和执行主体进行具体限定。
本申请实施例提供的一种定位方法可以包括如下步骤:
获取图像采集设备所采集的关于待检测物体的待检测图像;
对所述待检测图像进行对象检测,得到所检测到的目标对象的图像中心点;
利用预设转换关系,将所述待检测物体的目标三维点集映射到所述待检测图像中;其中,所述预设转换关系包括:所述待检测物体对应的物理坐标系和所述图像采集设备对应的相机坐标系的第一转换关系、以及所述相机坐标系和所述待检测图像对应的图像坐标系的第二转换关系;
在所述目标三维点集映射得到的各个映射点中,确定所述图像中心点对应的初始映射点,并基于所述初始映射点,确定所述图像中心点对应的目标映射点;
基于所述目标映射点,在所述待检测物体中,定位所述目标对象的目标中心点。
以上可见,应用本申请实施例提供的方案,可以通过获取待检测物体的目标三维点集和待检测图像,并将上述目标三维点集映射到待检测图像上,来确定待检测物体中目标对象的图像中心点对应的目标映射点。之后,通过上述目标映射点,便可以在目标三维点集中,确定上述目标映射点对应的三维点,从而,在确定目标对象的图像中心点对应的三维点后,便可以将该三维点在待检测物体中的位置,作为目标对象的目标中心点的位置,从而,便可以实现定位目标对象的目标中心点的目的。与相关技术相比,对目标对象的目标中心点的定位是利用三维点集实现的,这样,由于无需利用坐标查找表对目标对象进行定位,从而,便无需对待检测图像进行异常判断以及利用图像采集设备的参数信息对坐标查找表进行重构,从而,可以缩短定位时间,提高定位效率。
此外,仅需获取待检测物体的目标三维点集和各个表面的待检测图像,便可以利用上述目标三维点集,在待检测物体的各个表面上对目标对象进行定位,从而,可以进一步提高定位效率。
为了更好地理解本申请实施例提供的一种定位方法,首先对本申请实施例涉及到的相关概念进行解释。
由于目标对象在待检测物体上的具体位置是未知的,从而,在利用图像采集设备对待检测物体上的目标对象进行定位时,可以首先将待检测物体放置在一个固定位置上,进而,可以通过变换图像采集设备的采集角度,控制图像采集设备对该待检测物体的全部区域进行图像采集。
基于此,可以设置多个预设采集角度,之后,遍历每个预设采集角度,并在遍历到每个预设采集角度时,利用该图像采集设备在该预设采集角度采集待检测物体的待检测图像。
在利用图像采集设备所采集的待检测图像对该待检测物体上的目标对象进行定位时,可以确定待检测物体对应的物理坐标系和图像采集设备对应的相机坐标系的第一转换关系、以及相机坐标系和待检测图像对应的图像坐标系的第二转换关系。其中,待检测物体所对应的物理坐标系,即为待检测物体所对应的世界坐标系。
其中,上述第一转换关系和上述第二转换关系均可以通过相机标定实现。
所谓相机标定的目的是为了根据物体在图像坐标系中的坐标确定物体在世界坐标系中的坐标,从而根据关于物体的图像实现对物体的定位。
通常,相机标定可以分为相机内参标定和相机外参标定,相机内参用于表示相机坐标系和像素坐标系的转换关系,基于相机内参,可以根据物体在相机坐标系中的像素坐标确定物体在图像坐标系中的坐标;相机外参用于表示世界坐标系和相机坐标系的转换关系,基于相机外参,可以根据物体在世界坐标系中的坐标确定物体在相机坐标系中的坐标。
如图2(a)所示,是本申请实施例提供的一种世界坐标系、相机坐标系、像素坐标系和图像坐标系的示意图。在图2(a)中,OW-XWYWZW为世界坐标系,OC-XCYCZC为相机坐标系,uv为像素坐标系,o-xy为图像坐标系。其中,点P(XW,YW,ZW)为世界坐标系中的一点。点P在图像中的成像点p在像素坐标系中的坐标为(u,v),在图像坐标系中的坐标为(x,y)。
世界坐标系,是一个三维直角坐标系,以其为基准可以描述相机和物体(示例性的,物体可以为点P)的空间位置,它可以反映现实世界中的物体的位置。世界坐标系的原点可以根据实际情况来确定。
可选的,世界坐标系可以基于标定板来构建的,示例性的,该世界坐标系的原点可以为标定板的左上角特征点,世界坐标系的XW-YW平面可以与标定板平面重合,世界坐标系的ZW轴可以穿越标定板平面垂直向上。
相机坐标系,是一个三维直角坐标系,原点位于相机的镜头光心处,x、y轴分别与像面的两边平行,z轴为镜头光轴,与像平面垂直。其中,像面为相机成像的平面。
图像坐标系,是一个二维直角坐标系。由于像素坐标系不利于坐标变换,因此建立了图像坐标系,其坐标轴的单位与世界坐标系、相机坐标系中坐标轴的单位可以简单变换。图像坐标系的原点是相机光轴与像面的交点(或称为主点),即图像的中心点,x轴、y轴分别与像素坐标系的u轴、v轴平行。因此,像素坐标系和图像坐标系可以视为是平移关系,即可以通过平移就可得到,不同之处在于像素坐标系和图像坐标系的坐标轴的单位不同。
可选的,一种具体实现方式中,图像采集设备安装在可移动装置的一端,可移动装置的另一端安装在固定基座上;第一转换关系包括:待检测物体对应的物理坐标系和固定基座对应的基座坐标系的第一子转换关系、基座坐标系和图像采集设备对应的相机坐标系的第二子转换关系。
在本具体实现方式中,为了实现预设采集角度的切换,可以将图像采集设备安装在可移动装置的一端,并将可移动装置的另一端安装在固定基座上,这样,可以通过调节可移动装置,改变图像采集设备的采集角度。
其中,待检测物体所放置的固定位置与上述固定基座之间的位置关系可以是已知的,即待检测物体所放置的固定位置是一个预设位置;相应的,待检测物体所放置的固定位置与固定基座之间的位置关系也可以是未知的,即待检测物体所放置的固定位置是随机的。
示例性的,如图2(b)所示,上述图像采集设备可以是摄像机210,上述可移动装置可以是机械臂220,而上述固定基座可以是机械臂基座230。机械臂基座230固定放置在地面上,机械臂220一端安装在机械臂基座上,另一端安装有摄像机210。由于该机械臂220可以移动,例如,该机械臂可以进行抬起、放下、旋转等动作;从而,可以通过移动该机械臂220,调节安装在该机械臂220上的摄像机210的采集角度,这样,该摄像机210便可以从不同采集角度对放置在地面上的待检测物体进行图像采集,得到该待检测物体的多张待检测图像。
在利用该图像采集设备所采集的待检测图像对该待检测物体上的目标对象进行定位时,可以确定待检测物体对应的物理坐标系和图像采集设备对应的相机坐标系的第一转换关系、以及相机坐标系和待检测图像对应的图像坐标系的第二转换关系。
其中,上述第一转换关系可以包括待检测物体对应的物理坐标系和固定基座对应的基座坐标系的第一子转换关系、基座坐标系和图像采集设备对应的相机坐标系的第二子转换关系。
从而,为了利用待检测图像对目标对象进行定位,可以确定待检测物体对应的物理坐标系和固定基座对应的基座坐标系的第一子转换关系、基座坐标系和图像采集设备对应的相机坐标系的第二子转换关系、以及相机坐标系和待检测图像对应的图像坐标系的第二转换关系。
其中,上述第二转换关系的确定方式如前所述,此处不再赘述。
可选的,可以获取固定在指定位置的指定图像采集设备所采集的包括待检测对象和固定基座的基准图像,之后,基于上述基准图像,确定待检测物体对应的物理坐标系和固定基座对应的基座坐标系的第一子转换关系。
其中,上述指定位置为可以采集到待检测对象和上述固定基座的基准图像的位置,可以按照实际需要进行设定,在本具体实现方式中不对上述指定位置进行具体限定;并且,上述指定图像采集设备可以是3d(three dimension,三维)相机,也可以是其他相机,这都是合理的,在本申请实施例中不做具体限定。
在利用上述指定图像采集设备采集待检测对象和上述固定基座的基准图像前,可以在上述固定基座上设置可识别的第一标志物,并确定上述第一标志物在固定基座对应的基座坐标系下的第一坐标;在上述待检测物体上设置第二标志物,并确定上述第二标志物在物体坐标系上的第二坐标。之后,采集待检测对象和上述固定基座的基准图像,并在上述基准图像的图像坐标系中确定上述第一标志物的第三坐标和上述第二标志物的第四坐标。这样,利用上述第一坐标、上述第三坐标以及相机坐标系和图像坐标系的转换关系,可以标定上述指定图像采集设备所对应的相机坐标系和固定基座对应的基座坐标系的转换关系;而利用上述第二坐标、上述第四坐标以及相机坐标系和图像坐标系的转换关系,可以标定上述指定图像采集设备所对应的相机坐标系和待检测物体对应的物理坐标系的转换关系。
进而,基于上述指定图像采集设备所对应的相机坐标系和固定基座对应的基座坐标系的转换关系、以及上述指定图像采集设备所对应的相机坐标系和待检测物体对应的物理坐标系的转换关系,可以标定上述待检测物体对应的物理坐标系和固定基座对应的基座坐标系的第一子转换关系。
可选的,可以首先标定图像采集设备对应的相机坐标系与固定基座对应的基座坐标系的第二子转换关系;之后,可以标定上述图像采集设备的相机坐标系和上述待检测物体对应的物理坐标系之间的第一转换关系,进而,利用上述第二子转换关系,以及上述第一转换关系,标定上述待检测物体对应的物理坐标系和上述上述固定基座对应的基座坐标系之间的第一子转换关系。
其中,可选的,可以利用手眼标定法,确定上述基座坐标系和图像采集设备对应的相机坐标系的第二子转换关系。
通常,机械臂和图像采集设备间的位置关系包括:“眼在手上”和“眼在手外”。其中,“眼”指图像采集设备,“手”指机械臂。在本申请中,机械臂和图像采集设备的位置关系为“眼在手上”。
其中,如图2(c)所示,所谓“眼在手上”是指图像采集设备固定在机械臂末端上,并跟随机械臂末端移动,相机与机械臂末端的相对位置保持不变。
进而,可以根据图像采集设备、预设标定板和机械臂末端在固定基座上的相对位置,确定上述基座坐标系和图像采集设备对应的相机坐标系的第二子转换关系。
下面,结合附图,对本申请实施例提供的一种定位方法进行具体说明。
图3为本申请实施例提供的一种定位方法的流程示意图,如图3所示,该方法可以包括如下步骤S301-S305。
S301:获取图像采集设备所采集的关于待检测物体的待检测图像;
为了检测待检测物体上的目标对象,可以首先利用图像采集设备采集对该待检测物体进行图像采集,这样,便可以获取图像采集设备所采集的关于待检测物体的待检测图像。
其中,上述待检测物体上的目标对象可以是缺陷,例如,待检测物体为工件,可以识别工件上的缺陷;也可以是指定标识,例如,商品名称、生成日期、指定符号等,这都是合理的,在本申请实施例中不做具体限定。
示例性的,可以采集各个产品的待检测图像,并在各个待检测图像上检测产品上的生产批号。
可选的,在上述步骤S301之前,可以获取待检测物体对应的物理坐标系和图像采集设备对应的相机坐标系的第一转换关系、以及相机坐标系和待检测图像对应的图像坐标系的第二转换关系,作为预设转换关系。
其中,已在前文对上述第一转换关系和上述第二转换关系的确定方法进行了详细介绍,此处不再赘述。
可选的,一种具体实现方式中,图像采集设备安装在可移动装置的一端,可移动装置的另一端安装在固定基座上;第一转换关系包括:待检测物体对应的物理坐标系和固定基座对应的基座坐标系的第一子转换关系、基座坐标系和图像采集设备对应的相机坐标系的第二子转换关系。
在本具体实现方式中,为了便于变换图像采集设备的采集角度,可以将上述图像采集设备安装在可移动装置一端,而上述可移动装置的另一端安装在固定基座上。
这样,为了在待检测物体上定位上述目标对象,需要获取待检测物体对应的物理坐标系和图像采集设备对应的相机坐标系的第一转换关系,以及相机坐标系和待检测图像对应的图像坐标系的第二转换关系。
其中,上述第一转换关系可以包括:待检测物体对应的物理坐标系和固定基座对应的基座坐标系的第一子转换关系、基座坐标系和图像采集设备对应的相机坐标系的第二子转换关系。
为了在待检测物体定位上述目标对象,需要确定第一子转换关系、第二子转换关系和上述第二转换关系。而确定第一子转换关系、第二子转换关系和上述第二转换关系的具体实现方式,已在前文进行了说明,故此处不再赘述。
S302:对待检测图像进行对象检测,得到所检测到的目标对象的图像中心点;
在获取待检测图像后,可以对该待检测图像进行对象检测,从而,得到所检测到的目标对象的图像中心点。
其中,可以利用深度学习方法进行对象检测,也可以利用其他方法进行对象检测,这都是合理的,在本申请实施例中不做具体限定。
可选的,在利用目标检测方法框选出目标对象时,包围框的几何中心点即为目标对象的图像中心点。
S303:利用预设转换关系,将待检测物体的目标三维点集映射到待检测图像中;
其中,预设转换关系包括:待检测物体对应的物理坐标系图像采集设备对应的相机坐标系的第一转换关系、以及相机坐标系和待检测图像对应的图像坐标系的第二转换关系;
为了定位在待检测物体上定位上述图像中心点,可以首先确定待检测物体的目标三维点集,然后,在该目标三维点集中,确定该图像中心点所对应的三维点。进而,便可以利用该图像中心点所对应的三维点在待检测物体中所指示的目标点,作为该目标对象的目标中心点。
其中,可以利用该待检测物体的三维模型,确定该待检测物体的目标三维点集;也可以利用预设传感器,采集该待检测物体表面的三维点云,得到该待检测物体的目标三维点集,还可以利用其他方法,获取该待检测物体的目标三维点集,这都是合理的,在本申请实施例中不做具体限定。
并且,上述预设传感器可以是激光轮廓测量仪,也可以是激光雷达扫描仪,还可以是其他传感器,这都是合理的,在本申请实施例中不做具体限定。
需要说明的是,为了行文清晰,将在后续对目标三维点集的确定方式,以及上述步骤S303进行举例说明。
在确定上述待检测物体的目标三维点集后,可以利用上述预设转换关系,将该待检测对象的目标三维点集映射到待检测图像中,
如前所述,上述预设转换关系包括上述待检测物体对应的物理坐标系和图像采集设备对应的相机坐标系的第一转换关系、以及相机坐标系和待检测图像对应的图像坐标系的第二转换关系。
其中,可选的,可以首先利用上述待检测物体对应的物理坐标系和图像采集设备对应的相机坐标系的第一转换关系,将上述目标三维点集,由物理坐标系转换到图像采集设备对应的相机坐标系,得到该目标三维点集中的三维点在相机坐标系中的第一映射点;之后,可以利用上述相机坐标系和待检测图像对应的图像坐标系的第二转换关系,将上述第一映射点由上述相机坐标系,转换到图像坐标系中,得到该目标三维点集总的三维点在图像坐标系中的第二映射点,即得到目标三维点集映射在待检测图像中的各个映射点。
可选的,在图像采集设备安装在可移动装置的一端,可移动装置的另一端安装在固定基座上,即上述第一转换关系包括:待检测物体对应的物理坐标系和固定基座对应的基座坐标系的第一子转换关系、基座坐标系和图像采集设备对应的相机坐标系的第二子转换关系时,可以首先利用上述待检测物体对应的物理坐标系和固定基座对应的基座坐标系的第一子转换关系,将上述目标三维点集,由物体坐标系转换到固定基座对应的基座坐标系,得到该目标三维基准点集中的三维点在基座坐标系中的第三映射点;之后,可以利用上述基座坐标系和图像采集设备对应的相机坐标系的第二子转换关系,将上述第三映射点由上述基座坐标系转换到图像采集设备对应的相机坐标系,得到该目标三维基准点集中的三维点在相机坐标系中的第四映射点;接着,可以利用上述相机坐标系和待检测图像对应的图像坐标系的第二转换关系,将上述第四映射点由相机坐标系转换到待检测图像对应的图像坐标系,得到该目标三维基准点集中的三维点在相机坐标系中的第五映射点,即得到目标三维点集映射在待检测图像中的各个映射点。
S304:在目标三维点集映射得到的各个映射点中,确定图像中心点对应的初始映射点,并基于初始映射点,确定图像中心点对应的目标映射点;
在将上述目标三维点集映射到待检测图像中后,便可以在目标三维点集映射得到的各个映射点中,确定上述图像中心点对应的初始映射点,进而,便可以基于上述初始映射点,确定上述图像中心点的目标映射点。
其中,可选的,一种具体实现方式中,上述步骤S304,可以包括如下步骤11:
步骤11:将目标三维点集映射得到的各个映射点中,与图像中心点之间的距离满足预设条件的映射点确定为图像中心点对应的初始映射点;
其中,预设条件包括:等于指定距离、不大于预设距离以及距离最小中的任一项。
在本具体实现方式中,在将上述目标三维点集映射到待检测图像中后,可以将目标三维点集映射得到的各个映射点中,与上述图像中心点之间的距离满足预设条件的映射点,确定为上述图像中心点对应的初始映射点。
其中,上述预设条件可以包括:等于指定距离、不大于预设距离以及距离最小中的任一项;例如,当待检测物体为透明物体时,上述预设条件可以是等于指定距离,或者,不大于预设距离,而当待检测物体为非透明物体时,上述预设条件可以是距离最小。
当然,根据实际应用中的具体情况,上述预设条件还可以是其他条件,这都是合理的。
并且,上述指定距离和预设距离均可以按照实际需要进行设定,例如,指定距离可以是0.1厘米、0.01厘米等;而预设距离可以是0.005厘米、0.02厘米等;这都是合理的,在本申请实施例中不做具体限定。
可选的,在预设条件为等于指定距离时,可以将目标三维点集映射得到的各个映射点中,与图像中心点之间的距离等于指定距离的映射点确定为图像中心点对应的初始映射点;
可选的,在预设条件为不大于预设距离时,可以将目标三维点集映射得到的各个映射点中,与图像中心点之间的距离不大于预设距离的映射点确定为图像中心点对应的初始映射点;
可选的,在预设条件为距离最小时,可以将目标三维点集映射得到的各个映射点中,与图像中心点之间的距离最小的映射点确定为图像中心点对应的初始映射点。
可选的,可以将上述初始映射点,确定图像中心点对应的目标映射点。
S305:基于目标映射点,在待检测物体中,定位目标对象的目标中心点。
在确定上述图像中心点的目标映射点后,便可以在上述待检测物体中,确定上述目标对象的目标中心点的位置,即点位上述目标中心点。
可选的,一种具体实现方式中,如图4所示,上述步骤S305,可以包括如下步骤S3051:
S3051:在目标三维点集中,确定目标映射点对应的目标三维点,并在待检测物体中,定位目标三维点所指示的目标点,得到目标对象的目标中心点。
在本具体实现方式中,可以在上述目标三维点集中,确定上述目标映射点对应的目标三维点,之后,在待检测物体中,定位上述目标三维点所指示的目标点,从而,可以得到上述目标对象的目标中心点。
其中,在确定上述目标映射点对应的目标三维点时,可以将上述目标三维点对应的,且距离图像采集设备最近的三维点,作为目标三维点。
此外,由于在进行三维点映射时,多个三维点可以映射到待检测图像中的同一位置,即多个不同三维点的映射点可以是同一个映射点,从而,对目标三维点集进行映射所得到的一个映射点可以对应于目标三维点集中的多个三维点。
例如,图5为成像示意图,根据图5所示的,在采集待检测对象的待检测图像时,物理成像平面中的点P’可以是待检测物体上的点P2的成像点,然后,由于在对待检测物体的三维点集进行映射时,上述点P1与上述点P2的映射路径是相同的,从而,上述点P1与上述点P2均将映射到上述点P’处,即上述点P’可以做为上述点P1和上述点P2的映射点,映射点P’对应于待检测物体的目标三维点集中的点P1和点P2。
基于此,可选的,一种具体实现方式中,可以将目标三维点集中,目标映射点对应的且距离图像采集设备最近的三维点,确定为目标映射点对应的目标三维点。
在本具体实现方式中,可以将目标三维点集中,上述目标映射点对应的且距离图像采集设备最近的三维点,确定为上述目标映射点对应的目标三维点。
示例性的,如图5所示,由于点P2在相机坐标系中的Z坐标小于点P1在相机坐标系中的Z坐标,即上述点P2与上述相机之间的距离,小于上述点P1与上述相机之间的距离,从而,可以将上述点P2,作为上述映射点P’所对应的三维点。
由于上述目标三维点集是基于待检测物体得到的,从而,该目标三维点集中的每个三维点均可以指示待检测物体上的一个点;又因为上述目标三维点是目标对象的图像中心点所对应的三维点,从而,该目标三维点在待检测物体上所指示的目标点,即为该目标对象的图像中心点在待检测物体上所对应的点,即该目标对象的目标中心点。
以上可见,应用本申请实施例提供的方案,可以通过获取待检测物体的目标三维点集和待检测图像,并将上述目标三维点集映射到待检测图像上,来确定待检测物体中目标对象的图像中心点对应的目标映射点。之后,通过上述目标映射点,便可以在目标三维点集中,确定上述目标映射点对应的三维点,从而,在确定目标对象的图像中心点对应的三维点后,便可以将该三维点在待检测物体中的位置,作为目标对象的目标中心点的位置,从而,便可以实现定位目标对象的目标中心点的目的。与相关技术相比,对目标对象的目标中心点的定位是利用三维点集实现的,这样,由于无需利用坐标查找表对目标对象进行定位,从而,便无需对待检测图像进行异常判断以及利用图像采集设备的参数信息对坐标查找表进行重构,从而,可以缩短定位时间,提高定位效率。
此外,仅需获取待检测物体的目标三维点集和各个表面的待检测图像,便可以利用上述目标三维点集,在待检测物体的各个表面上对目标对象进行定位,从而,可以进一步提高定位效率。
下面,对目标三维点集的确定方式以及上述步骤S303进行举例说明。
可选的,一种具体实现方式中,在上述步骤S303,利用预设转换关系,将待检测物体的目标三维点集映射到待检测图像中之前,本申请实施例提供的一种定位方法,还可以包括如下步骤21-22:
步骤21:获取待检测物体的基准三维点集;
步骤22:基于基准三维点集,确定待检测物体的目标三维点集。
在本具体实现方式中,可以首先获取该待检测物体的基准三维点集,之后,利用上述待检测物体的基准三维点集,确定该待检测物体的目标三维点集。
其中,上述基准三维点集和目标三维点集的表现形式可以是体素,也可以是三维点云,还可以是其他形式,这都是合理的,在本申请实施例中不做具体限定。
其中,可选的,一种具体实现方式中,上述步骤21,可以包括如下步骤211:
步骤211:对待检测物体的三维模型进行均匀采样,得到待检测物体的基准三维点集。
在本具体实现方式中,可以首先获取待检测物体的三维模型,并对该三维模型进行均匀采样,从而,得到该待检测物体的基准三维点,这样,便可以利用上述基准三维点,确定该待检测物体的目标三维点。
其中,上述三维模型可以是CAD(Computer Aided Design,计算机辅助设计)模型,也可以是其他模型,这都是合理的,在本申请实施例中不做具体限定。
例如,可以对待检测物体的CAD模型进行均匀采样,得到该待检测物体的基准三维点集。
可选的,一种具体实现方式中,在上述步骤21,还可以包括如下步骤212:
步骤212:获取预设传感器所采集的待检测物体表面的三维点云,得到待检测物体的基准三维点集。
在本具体实现方式中,可以首先利用预设传感器,采集待检测物体的各个表面的三维点云,之后,获取上述预设传感器所采集的该待检测物体表面的三维点云,从而,得到该待检测物体的基准三维点。接着,便可以利用上述基准三维点,确定该待检测物体的目标三维点。
其中,上述预设传感器可以是激光轮廓测量仪,也可以是激光雷达扫描仪,还可以是其他传感器,这都是合理的,在本申请实施例中不做具体限定。
例如,可以利用激光轮廓测量仪采集该待检测物体表面的3d点云,从而,得到待检测物体的基准三维点集。
此外,上述步骤211和上述步骤212仅是对获取待检测物体的基准三维点集的方法的举例,当然,还可以利用其他方法获取待检测物体的基准三维点集,此处不再一一列举。
可选的,一种具体实现方式中,上述步骤22,可以包括如下步骤221:
步骤221:将基准三维点集,确定为待检测物体的目标三维点集;
在本具体实现方式中,在获取上述基准三维点集后,可以将上述基准三维点集,直接确定为待检测物体的目标三维点集。
由于对待检测物体的三维模型进行均匀采样所得到基准三维点集中所包括的三维点的数量较为庞大,利用上述基准三维点集,对上述目标对象的目标中心点进行点位,所需耗费的时间较长,定位效率较低。
基于此,可选的,一种具体实现方式中,上述步骤22,可以包括如下步骤222:
步骤222:按照预设间隔对基准三维点集进行下采样,得到待检测物体的目标三维点集。
在本具体实现方式中,为了提高定位效率,可以按照预设间隔,对上述基准三维点集进行下采样,这样,便可以得到下采样之后的待检测物体的目标三维点集。
其中,所谓下采样即是在初始样本序列中,每间隔几个样本进行一次取样,这样,便可以将取样得到的各个样本作为一个新样本序列,这样,上述新样本序列就是对初始样本序列进行下采样所得到的样本序列。
上述预设间隔可以按照实际需要进行设定,例如,20、100等,这都是合理的,在本申请实施例中不做具体限定。
此外,由于基准三维点集中三维点的数量和密度均大于对基准三维点集进行下采样所得到的三维点集中三维点的数量和密度,从而,可以按照点集中所包括的三维点的数量和密度,将基准三维点集,称为稠密三维点集,而将对基准三维点集进行降采样所得到的三维点集,称为稀疏三维点集。
可见,上述目标三维点集可以是基于待检测物体的三维模型确定的基准三维点集,也可以是对待检测物体的三维模型确定的基准三维点集进行下采样得到的三维点集;
其中,在上述目标三维点集是基准三维点集时,可以利用预设转换关系,将该基准三维点集映射到待检测图像中,并在该基准三维点集映射得到的各个映射点中,确定图像中心点对应的初始映射点;然后,可以将上述初始映射点,作为图像中心点对应的目标映射点;接着,可以在该基准三维点集中,确定上述目标映射点对应的目标三维点,并在待检测物体中,定位该目标三维点所指示的目标点,从而,得到目标对象的目标中心点。
由于该基准三维点集中的三维点的数量较多,密度较大,从而,所确定的目标三维点更贴近于上述目标对象的目标中心点,进而,利用该目标三维点集所定位的目标对象的目标中心点的准确度较高;
而在上述目标三维点集是对基准三维点集进行下采样得到的三维点集时,可以利用预设转换关系,将该三维点集映射到待检测图像中,并在该三维点集映射得到的各个映射点中,确定图像中心点对应的初始映射点;然后,可以将上述初始映射点,作为图像中心点对应的目标映射点;接着,可以在该三维点集中,确定上述目标映射点对应的目标三维点,并在待检测物体中,定位该目标三维点所指示的目标点,从而,得到目标对象的目标中心点。
由于该三维点集的三维点的数量较少,密度较小,进而,在利用该三维点集对目标对象的目标中心点进行定位时,所需进行的计算量较小,速度更快,效率较高。
在目标三维点集为按照预设间隔对基准三维点集进行下采样得到的三维点集时,由于目标三维点集的点集数量明显少于基于待检测物体的三维模型所得到的基准三维点集,从而,利用目标三维点集对待检测物体中的目标对象进行定位时,其定位准确性将小于利用基准三维点集对待检测物体中的目标对象进行定位的定位准确性,从而,为了提高定位准确性,可以基于上述图像中心点的初始映射点,在基准三维点集,确定图像中心点对应的目标映射点。
可选的,一种具体实现方式中,本申请实施例提供的一种定位方法,还可以包括如下步骤31:
步骤31:按照指定数据结构,对基准三维点集进行区域划分,得到多个子点集;
相应的,在本具体实现方式中,上述步骤S304,基于初始映射点,确定图像中心点对应的目标映射点,可以包括如下步骤32-33:
步骤32:确定目标三维点集中,初始映射点所对应的初始三维点,并确定初始三维点所属的目标子点集;
步骤33:利用预设转换关系,将目标子点集映射到待检测图像中,并在目标子点集映射得到的各个映射点中,确定图像中心点对应的目标映射点
相应的,在本具体实现方式中,上述步骤S305,可以包括如下步骤34:
步骤34:在基准三维点集中,确定目标映射点对应的目标三维点,并在待检测物体中,定位目标三维点所指示的目标点,得到目标对象的目标中心点。
在本具体实现方式中,由于下采样所得到的三维点集中的各个点与基准三维点集中的各个点具有对应关系,从而,在对基准三维点集进行下采样后,可以得到关于基准三维点集和下采样所得到的三维点集的对应关系。
其中,在按照预设间隔进行才采样时,所得到的每一个采样点和该预设间隔内的其他点具有对应关系。示例性的,预设间隔为20,在每20个三维点中采样一个三维点,从而,该采样点与该间隔内的其余19个三维点具有对应关系。
基于此,可以将上述对应关系,作为指定数据结构,并且,该指定数据结构可以为KD-Tree(k-dimensional树),也可以是八叉树,还可以是按照空间坐标分块存储索引的数据结构,这都是合理的,在本申请实施例中不做具体限定。
其中,所谓KD-Tree是一种k维数据空间的数据结构,主要应该于在多维空间关键数据的搜索,例如,进行近邻搜索与范围搜索。
可选的,上述步骤31:按照指定数据结构,对基准三维点集进行区域划分,得到多个子点集,可以是:利用上述基准三维点集构建KD-Tree。
这样,便可以按照上述指定数据结构,对上述基准三维点集进行区域划分,从而,得到关于该基准三维点集的多个子点集。
示例性的,可以上述预设间隔为20,可以按照上述预设间隔,将每20个三维点作为一个子点集。
从而,在确定上述初始映射点后,可以首先在目标三维点中,确定上述初始映射点所对应的初始三维点,进而,可以确定上述初始三维点在上述基准三维点集的各个子点集中所属的目标子点集。
其中,由于在进行三维点映射时,多个三维点可以映射到待检测图像中的同一位置,即多个三维点的映射点可以是相同的,从而,对目标三维点集进行映射所得到的一个映射点可以对应于目标三维点集中的多个三维点。
基于此,可选的,可以将目标三维点集中,初始映射点对应的且距离图像采集设备最近的三维点,确定为初始三维点。
这样,在确定上述初始映射点在目标基准点集中所对应的初始三维点后,可以确定是上述初始三维点在基准三维点集中所属的目标子点集。
可以认为上述初始映射点是距离图像中心点最近的映射点,进而,可以认为上述初始映射点所对应的初始三维点是目标三维点集中最靠近目标对象的目标中心点的三维点。然而,由于上述初始三维点对其在基准三维点集中所属的目标子点集进行下采样得到的,从而,可以认为上述目标子点集中的各个三维点均为靠近目标对象的目标中心点的三维点,并且,上述目标子点集中可能存在相比于上述初始三维点,更靠近目标对象的目标中心点的三维点。
基于此,可以利用上述预设转换关系,将上述目标子点集中的全部三维点均映射到上述待检测图像中,从而,在目标子点集映射所得到的各个映射点中,确定上述图像中心点对应的目标映射点,即将目标子点集映射所得到的各个映射点中,与上述图像中心点之间的距离满足预设条件的映射点,作为确定上述图像中心点对应的目标映射点。
其中,得到所得到的目标映射点,是将基准三维点集中的目标子点集中的各个三维点映射到待检测图像上得到的映射点,从而,可以在上述基准三维点集中,确定上述目标映射点所对应的目标三维点。之后,在待检测物体中,确定上述目标三维点所指示的目标点,从而,定位得到目标对象的目标中心点。
如前所述,如图6所示,本申请实施例所提供的一种定位方法,可以包括如下步骤S601-S607:
S601:获取图像采集设备所采集的关于待检测物体的待检测图像;
S602:对待检测图像进行对象检测,得到所检测到的目标对象的图像中心点;
S603:利用预设转换关系,将待检测物体的目标三维点集映射到待检测图像中;
其中,预设转换关系包括:待检测物体对应的物理坐标系和图像采集设备对应的相机坐标系的第一转换关系、以及相机坐标系和待检测图像对应的图像坐标系的第二转换关系;目标三维点集为:按照预设间隔对基准三维点集进行下采样得到的三维点集;
S604:按照指定数据结构,对基准三维点集进行区域划分,得到多个子点集;
S605:在目标三维点集映射得到的各个映射点中,确定图像中心点对应的初始映射点,并确定目标三维点集中,初始映射点所对应的初始三维点,并确定初始三维点所属的目标子点集;
S606:利用预设转换关系,将目标子点集映射到待检测图像中,并在目标子点集映射得到的各个映射点中,确定图像中心点对应的目标映射点;
S607:在基准三维点集中,确定目标映射点对应的目标三维点,并在待检测物体中,定位目标三维点所指示的目标点,得到目标对象的目标中心点。
其中,上述目标三维点集为按照预设间隔对基准三维点集进行下采样得到的三维点集;上述步骤S601-S603的具体实现方式与上述步骤S301-S303的具体实现方式相同,且上述步骤S604-S607的具体实现方式与上述步骤31-34的具体实现方式相同,故此处不再赘述。
在利用图像采集设备对待检测物体上的目标对象进行定位时,可以设置多个预设采集角度,从而,可以控制图像采集设备在各个预设采集角度,分别对该待检测对象进行图像采集。
可选的,一种具体实现方式中,如图7所示,上述步骤S301,获取图像采集设备所采集的关于待检测物体的待检测图像,可以包括如下步骤S3011:
S3011:遍历各个预设采集角度,在遍历到每个预设采集角度时,获取图像采集设备在该预设采集角度所采集的关于待检测物体的待检测图像;
本申请实施例提供的一种定位方法,还可以包括如下步骤S306-S307:
S306:在得到每个目标中心点时,判断是否遍历完全部预设采集角度;如果未遍历完,则执行步骤S307;
S307:遍历下一预设采集角度,并返回上述步骤S3011。
在本具体实现方式中,可以遍历各个预设采集角度,并在遍历到每个预设采集角度时,控制图像采集设备采集在该预设采集角度对待检测物体进行图像采集,进而,便可以获取图像采集设备在该预设采集角度所采集的待检测物体的待检测图像。
进而,在每得到一个中心点时,可以判断是否遍历完上述全部预设采集角度。进而,在未遍历完全部预设采集角度时,可以遍历下一预设采集角度,并在遍历到下一预设采集角度时,获取图像采集设备在该预设采集角度所采集的关于待检测物体的待检测图像;
而在遍历完全部预设采集角度时,便可以输出上述对待检测物体进行目标对象定位的定位结果。
可选的,在图像采集设备安装在可移动装置的一端,可移动装置的另一端安装在固定基座上时,上述遍历各个预设采集角度,可以是通过移动上述可移动装置实现的。
示例性的,在图像采集设备安装在机械臂的一端,机械臂安装在固定基座上时,可以通过移动上述机械臂,遍历各个预设采集角度。
可选的,在遍历完各个预设采集角度后,可以利用上述图像采集设备,继续采集下一个待检测物体的待检测图像。
示例性的,可以在各个待检测物体放置于传送带上,由该传送带依次传送到图像采集区域,并在该图像采集区域停留指定时长以供图像采集设备基于各个预设采集角度,采集该待检测物体的待检测图像。在该图像采集设备遍历各个预设采集角度后,可以将该待检测物体传送至下一区域,并将下一个待检测物体传送至该图像采集区域。
为了便于理解本申请实施例提供的一种定位方法,下面结合图8(a)-图8(b),进行说明。
可以利用如图8(a)所示的步骤S801-S811,定位待检测物体中的缺陷,其中,步骤S801-S811为:
S801:标定摄像机内参、摄像机与机械臂的外参;
S802:标定机械臂与待检测物体的转换关系;
S803:根据待检测物体的CAD模型建立初始三维点集;
S804:根据初始三维点集获得稀疏KD-Tree三维点集;
S805:摄像机抓取待检测物体图像;
S806:在图像上完成缺陷定位,在二维图像上得到缺陷中心点;
S807:缺陷中心点映射处理,获得相应的三维缺陷点;
S808:判断检测位置遍历完成;若是,则执行步骤S810,否则,执行步骤S809;
S809:移动至下一个检测位姿;
S810:判断待检测物体遍历完成;若是,结束,否则,执行步骤S811;
S811:更换待检测物体。
在利用摄像机采集待检测物体的待检测图像之前,可以首先将该摄像机安装在机械臂的一段,并将机械臂的另一端固定在机械臂基座上。接着,可以标定摄像机内参、摄像机与机械臂的外参,并标定机械臂与待检测物体的转换关系。
而在对待检测物体进行缺陷定位之前,可以首先根据待检测物体的CAD模型建立该待检测物体的初始三维点集,之后,对该初始三维点集进行下采样,得到该待检测物体的稀疏KD-Tree三维点集。
之后,可以利用移动上述机械臂,控制上述摄像机在每个预设检测位姿抓取待检测物体图像,并对该图像进行缺陷定位,从而,在二维图像上,确定该待检测物体的缺陷中心点。
接着,可以利用上述稀疏KD-Tree三维点集,对该缺陷中心点进行映射处理,获得上述缺陷中心点相应的三维缺陷点,这样,便可以利用该三维缺陷点,在待检测物体上,定位该缺陷中心点。
在得到该待检测图像所对应的缺陷中心点后,可以判断检测位置是否遍历完成;若否,则可以移动至下一个检测位姿;若是,则判断待检测物体是否遍历完成,进而,在各个待检测物体均已遍历完成时,可以结束定位;而在未遍历每个待检测物体时,则可以更换检测物体,并对下一个待检测物体进行缺陷定位。
其中,如图8(b)可以利用如下步骤S8071-S8075,确定缺陷中心点相应的三维缺陷点:
S8071:将稀疏KD-Tree三维点集映射至二维图像;
S8072:筛选出缺陷的最优三维点作为粗定位点;
S8073:在初始三维点集上查找粗定位点的k个三维近邻点;
S8074:将k个三维近邻点映射至图像;
S8075:从k个三维近邻点中筛选出最优点作为缺陷的目标三维点。
在对图像上进行缺陷定位,在二维图像上确定缺陷中心点后,可以将上述将稀疏KD-Tree三维点集映射至上述二维图像,之后,筛选出缺陷中心点的最优三维点作为粗定位点,即将与缺陷中心点之间的距离最小的映射点作为缺陷中心点的最优映射点,并将该最优映射点对应的最优三维点,作为缺陷中心点的粗定位点。
之后,在初始三维点集上通过近邻查找,查找到上述粗定位点的k个三维近邻点,并利用上述转换关系,将上述k个三维近邻点,映射至图像上,从而,在上述k个三维近邻点的映射点中,确定与缺陷中心点之间的距离最小的目标映射点,并将该目标映射点对应的且距离摄像机最近的三维近邻点,确定为缺陷中心点的目标三维点。
基于相同的发明构思,相应于上述本申请实施例提供的图3所示的一种定位方法,本申请实施例还提供了一种定位装置。
图9为本申请实施例提供的一种定位装置的结构示意图,如图9所示,该装置可以包括如下模块:
图像获取模块910,用于获取图像采集设备所采集的关于待检测物体的待检测图像;
检测模块920,用于对所述待检测图像进行对象检测,得到所检测到的目标对象的图像中心点;
映射模块930,用于利用预设转换关系,将所述待检测物体的目标三维点集映射到所述待检测图像中;其中,所述预设转换关系包括:所述待检测物体对应的物理坐标系和所述图像采集设备对应的相机坐标系的第一转换关系、以及所述相机坐标系和所述待检测图像对应的图像坐标系的第二转换关系;
目标映射点确定模块940,用于在所述目标三维点集映射得到的各个映射点中,确定所述图像中心点对应的初始映射点,并基于所述初始映射点,确定所述图像中心点对应的目标映射点;
定位模块950,用于基于所述目标映射点,在所述待检测物体中,定位所述目标对象的目标中心点。
以上可见,应用本申请实施例提供的方案,可以通过获取待检测物体的目标三维点集和待检测图像,并将上述目标三维点集映射到待检测图像上,来确定待检测物体中目标对象的图像中心点对应的目标映射点。之后,通过上述目标映射点,便可以在目标三维点集中,确定上述目标映射点对应的三维点,从而,在确定目标对象的图像中心点对应的三维点后,便可以将该三维点在待检测物体中的位置,作为目标对象的目标中心点的位置,从而,便可以实现定位目标对象的目标中心点的目的。与相关技术相比,对目标对象的目标中心点的定位是利用三维点集实现的,这样,由于无需利用坐标查找表对目标对象进行定位,从而,便无需对待检测图像进行异常判断以及利用图像采集设备的参数信息对坐标查找表进行重构,从而,可以缩短定位时间,提高定位效率。
此外,仅需获取待检测物体的目标三维点集和各个表面的待检测图像,便可以利用上述目标三维点集,在待检测物体的各个表面上对目标对象进行定位,从而,可以进一步提高定位效率。
可选的,一种具体实现方式中,所述装置还包括:
基准三维点集确定模块,用于在所述利用预设转换关系,将所述待检测物体的目标三维点集映射到所述待检测图像中之前,获取所述待检测物体的基准三维点集;
目标三维点集确定模块,用于基于所述基准三维点集,确定所述待检测物体的目标三维点集。
可选的,一种具体实现方式中,所述基准三维点集确定模块,具体用于:
对所述待检测物体的三维模型进行均匀采样,得到所述待检测物体的基准三维点集;或者,获取预设传感器所采集的所述待检测物体表面的三维点云,得到所述待检测物体的基准三维点集。
可选的,一种具体实现方式中,所述目标三维点集确定模块,具体用于:
将所述基准三维点集,确定为所述待检测物体的目标三维点集;
或者,
按照预设间隔对所述基准三维点集进行下采样,得到所述待检测物体的目标三维点集。
可选的,一种具体实现方式中,所述目标映射点确定模块940,具体用于:
将所述初始映射点确定为所述图像中心点对应的目标映射点;
所述定位模块950,具体用于:
在所述目标三维点集中,确定所述目标映射点对应的目标三维点,并在所述待检测物体中,定位所述目标三维点所指示的目标点,得到所述目标对象的目标中心点。
可选的,一种具体实现方式中,所述目标三维点集为:按照预设间隔对所述基准三维点集进行下采样得到的三维点集;
所述装置还包括:
区域划分模块,用于按照指定数据结构,对所述基准三维点集进行区域划分,得到多个子点集;
所述目标映射点确定模块940,包括:
初始三维点确定子模块,用于确定所述目标三维点集中,所述初始映射点所对应的初始三维点,并确定所述初始三维点所属的目标子点集;
目标映射点确定子模块,用于利用所述预设转换关系,将所述目标子点集映射到所述待检测图像中,并在所述目标子点集映射得到的各个映射点中,确定所述图像中心点对应的目标映射点;
所述定位模块950,具体用于:
在所述基准三维点集中,确定所述目标映射点对应的目标三维点,并在所述待检测物体中,定位所述目标三维点所指示的目标点,得到所述目标对象的目标中心点。
可选的,一种具体实现方式中,所述初始三维点确定子模块,具体用于:
将所述目标三维点集中,所述初始映射点对应的且距离所述图像采集设备最近的三维点,确定为初始三维点。
可选的,一种具体实现方式中,所述目标映射点确定模块940,包括:
将所述目标三维点集映射得到的各个映射点中,与所述图像中心点之间的距离满足预设条件的映射点确定为所述图像中心点对应的初始映射点;其中,所述预设条件包括:等于指定距离、不大于预设距离以及距离最小中的任一项。
可选的,一种具体实现方式中,所述图像获取模块910,具体用于:
遍历各个预设采集角度,在遍历到每个预设采集角度时,获取图像采集设备在该预设采集角度所采集的关于待检测物体的待检测图像;
所述装置还包括:
判断模块,用于在得到每个目标中心点时,判断是否遍历完全部预设采集角度;如果未遍历完,则触发遍历模块;
所述触发遍历模块,用于遍历下一预设采集角度,并返回所述在遍历到每个预设采集角度时,获取图像采集设备在该预设采集角度所采集的关于待检测物体的待检测图像的步骤。
可选的,一种具体实现方式中,所述图像采集设备安装在可移动装置的一端,所述可移动装置的另一端安装在固定基座上;所述第一转换关系包括:所述待检测物体对应的物理坐标系和所述固定基座对应的基座坐标系的第一子转换关系、所述基座坐标系和所述图像采集设备对应的相机坐标系的第二子转换关系。
本申请实施例还提供了一种电子设备,如图10所示,包括:
存储器1001,用于存放计算机程序;
处理器1002,用于执行存储器1001上所存放的程序时,实现上述本申请实施例提供的任一定位方法的步骤。
并且上述电子设备还可以包括通信总线和/或通信接口,处理器1002、通信接口、存储器1001通过通信总线完成相互间的通信。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
在本申请提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一定位方法的步骤。
在本申请提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一定位方法。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)等。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例、电子设备实施例、计算机可读存储介质实施例以及计算机程序产品实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
Claims (22)
1.一种定位方法,其特征在于,所述方法包括:
获取图像采集设备所采集的关于待检测物体的待检测图像;
对所述待检测图像进行对象检测,得到所检测到的目标对象的图像中心点;
利用预设转换关系,将所述待检测物体的目标三维点集映射到所述待检测图像中;其中,所述预设转换关系包括:所述待检测物体对应的物理坐标系和所述图像采集设备对应的相机坐标系的第一转换关系、以及所述相机坐标系和所述待检测图像对应的图像坐标系的第二转换关系;
在所述目标三维点集映射得到的各个映射点中,确定所述图像中心点对应的初始映射点,并基于所述初始映射点,确定所述图像中心点对应的目标映射点;
基于所述目标映射点,在所述待检测物体中,定位所述目标对象的目标中心点。
2.根据权利要求1所述的方法,其特征在于,在所述利用预设转换关系,将所述待检测物体的目标三维点集映射到所述待检测图像中之前,所述方法还包括:
获取所述待检测物体的基准三维点集;
基于所述基准三维点集,确定所述待检测物体的目标三维点集。
3.根据权利要求2所述的方法,其特征在于,所述获取所述待检测物体的基准三维点集,包括:
对所述待检测物体的三维模型进行均匀采样,得到所述待检测物体的基准三维点集;
或者,
获取预设传感器所采集的所述待检测物体表面的三维点云,得到所述待检测物体的基准三维点集。
4.根据权利要求2所述的方法,其特征在于,所述基于所述基准三维点集,确定所述待检测物体的目标三维点集,包括:
将所述基准三维点集,确定为所述待检测物体的目标三维点集;
或者,
按照预设间隔对所述基准三维点集进行下采样,得到所述待检测物体的目标三维点集。
5.根据权利要求4所述的方法,其特征在于,所述基于所述初始映射点,确定所述图像中心点对应的目标映射点,包括:
将所述初始映射点确定为所述图像中心点对应的目标映射点;
所述基于所述目标映射点,在所述待检测物体中,定位所述目标对象的目标中心点,包括:
在所述目标三维点集中,确定所述目标映射点对应的目标三维点,并在所述待检测物体中,定位所述目标三维点所指示的目标点,得到所述目标对象的目标中心点。
6.根据权利要求4所述的方法,其特征在于,所述目标三维点集为:按照预设间隔对所述基准三维点集进行下采样得到的三维点集;
所述方法还包括:
按照指定数据结构,对所述基准三维点集进行区域划分,得到多个子点集;
所述基于所述初始映射点,确定所述图像中心点对应的目标映射点,包括:
确定所述目标三维点集中,所述初始映射点所对应的初始三维点,并确定所述初始三维点所属的目标子点集;
利用所述预设转换关系,将所述目标子点集映射到所述待检测图像中,并在所述目标子点集映射得到的各个映射点中,确定所述图像中心点对应的目标映射点;
所述基于所述目标映射点,在所述待检测物体中,定位所述目标对象的目标中心点,包括:
在所述基准三维点集中,确定所述目标映射点对应的目标三维点,并在所述待检测物体中,定位所述目标三维点所指示的目标点,得到所述目标对象的目标中心点。
7.根据权利要求6所述的方法,其特征在于,所述确定所述目标三维点集中,所述初始映射点所对应的初始三维点;
将所述目标三维点集中,所述初始映射点对应的且距离所述图像采集设备最近的三维点,确定为初始三维点。
8.根据权利要求1-7任一所述的方法,其特征在于,所述在所述目标三维点集映射得到的各个映射点中,确定所述图像中心点对应的初始映射点,包括:
将所述目标三维点集映射得到的各个映射点中,与所述图像中心点之间的距离满足预设条件的映射点确定为所述图像中心点对应的初始映射点;其中,所述预设条件包括:等于指定距离、不大于预设距离以及距离最小中的任一项。
9.根据权利要求1所述的方法,其特征在于,所述获取图像采集设备所采集的关于待检测物体的待检测图像,包括:
遍历各个预设采集角度,在遍历到每个预设采集角度时,获取图像采集设备在该预设采集角度所采集的关于待检测物体的待检测图像;
所述方法还包括:
在得到每个目标中心点时,判断是否遍历完全部预设采集角度;
如果未遍历完,则遍历下一预设采集角度,并返回所述在遍历到每个预设采集角度时,获取图像采集设备在该预设采集角度所采集的关于待检测物体的待检测图像的步骤。
10.根据权利要求1所述的方法,其特征在于,所述图像采集设备安装在可移动装置的一端,所述可移动装置的另一端安装在固定基座上;所述第一转换关系包括:所述待检测物体对应的物理坐标系和所述固定基座对应的基座坐标系的第一子转换关系、所述基座坐标系和所述图像采集设备对应的相机坐标系的第二子转换关系。
11.一种定位装置,其特征在于,所述装置包括:
图像获取模块,用于获取图像采集设备所采集的关于待检测物体的待检测图像;
检测模块,用于对所述待检测图像进行对象检测,得到所检测到的目标对象的图像中心点;
映射模块,用于利用预设转换关系,将所述待检测物体的目标三维点集映射到所述待检测图像中;其中,所述预设转换关系包括:所述待检测物体对应的物理坐标系和所述图像采集设备对应的相机坐标系的第一转换关系、以及所述相机坐标系和所述待检测图像对应的图像坐标系的第二转换关系;
目标映射点确定模块,用于在所述目标三维点集映射得到的各个映射点中,确定所述图像中心点对应的初始映射点,并基于所述初始映射点,确定所述图像中心点对应的目标映射点;
定位模块,用于基于所述目标映射点,在所述待检测物体中,定位所述目标对象的目标中心点。
12.根据权利要求11所述的装置,其特征在于,所述装置还包括:
基准三维点集确定模块,用于在所述利用预设转换关系,将所述待检测物体的目标三维点集映射到所述待检测图像中之前,获取所述待检测物体的基准三维点集;
目标三维点集确定模块,用于基于所述基准三维点集,确定所述待检测物体的目标三维点集。
13.根据权利要求12所述的装置,其特征在于,所述基准三维点集确定模块,具体用于:
对所述待检测物体的三维模型进行均匀采样,得到所述待检测物体的基准三维点集;或者,获取预设传感器所采集的所述待检测物体表面的三维点云,得到所述待检测物体的基准三维点集。
14.根据权利要求12所述的装置,其特征在于,所述目标三维点集确定模块,具体用于:
将所述基准三维点集,确定为所述待检测物体的目标三维点集;或者,按照预设间隔对所述基准三维点集进行下采样,得到所述待检测物体的目标三维点集。
15.根据权利要求14所述的装置,其特征在于,所述目标映射点确定模块,具体用于:
将所述初始映射点确定为所述图像中心点对应的目标映射点;
所述定位模块,具体用于:
在所述目标三维点集中,确定所述目标映射点对应的目标三维点,并在所述待检测物体中,定位所述目标三维点所指示的目标点,得到所述目标对象的目标中心点。
16.根据权利要求14所述的装置,其特征在于,所述目标三维点集为:按照预设间隔对所述基准三维点集进行下采样得到的三维点集;
所述装置还包括:
区域划分模块,用于按照指定数据结构,对所述基准三维点集进行区域划分,得到多个子点集;
所述目标映射点确定模块,包括:
初始三维点确定子模块,用于确定所述目标三维点集中,所述初始映射点所对应的初始三维点,并确定所述初始三维点所属的目标子点集;
目标映射点确定子模块,用于利用所述预设转换关系,将所述目标子点集映射到所述待检测图像中,并在所述目标子点集映射得到的各个映射点中,确定所述图像中心点对应的目标映射点;
所述定位模块,具体用于:
在所述基准三维点集中,确定所述目标映射点对应的目标三维点,并在所述待检测物体中,定位所述目标三维点所指示的目标点,得到所述目标对象的目标中心点。
17.根据权利要求16所述的装置,其特征在于,所述初始三维点确定子模块,具体用于:
将所述目标三维点集中,所述初始映射点对应的且距离所述图像采集设备最近的三维点,确定为初始三维点。
18.根据权利要求11-17任一所述的装置,其特征在于,所述目标映射点确定模块,包括:
将所述目标三维点集映射得到的各个映射点中,与所述图像中心点之间的距离满足预设条件的映射点确定为所述图像中心点对应的初始映射点;其中,所述预设条件包括:等于指定距离、不大于预设距离以及距离最小中的任一项。
19.根据权利要求11所述的装置,其特征在于,所述图像获取模块,具体用于:
遍历各个预设采集角度,在遍历到每个预设采集角度时,获取图像采集设备在该预设采集角度所采集的关于待检测物体的待检测图像;
所述装置还包括:
判断模块,用于在得到每个目标中心点时,判断是否遍历完全部预设采集角度;如果未遍历完,则触发遍历模块;
所述触发遍历模块,用于遍历下一预设采集角度,并返回所述在遍历到每个预设采集角度时,获取图像采集设备在该预设采集角度所采集的关于待检测物体的待检测图像的步骤。
20.根据权利要求11所述的装置,其特征在于,所述图像采集设备安装在可移动装置的一端,所述可移动装置的另一端安装在固定基座上;所述第一转换关系包括:所述待检测物体对应的物理坐标系和所述固定基座对应的基座坐标系的第一子转换关系、所述基座坐标系和所述图像采集设备对应的相机坐标系的第二子转换关系。
21.一种电子设备,其特征在于,包括:
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-10任一所述的方法。
22.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-10任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311044434.7A CN117115235A (zh) | 2023-08-17 | 2023-08-17 | 一种定位方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311044434.7A CN117115235A (zh) | 2023-08-17 | 2023-08-17 | 一种定位方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117115235A true CN117115235A (zh) | 2023-11-24 |
Family
ID=88794098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311044434.7A Pending CN117115235A (zh) | 2023-08-17 | 2023-08-17 | 一种定位方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117115235A (zh) |
-
2023
- 2023-08-17 CN CN202311044434.7A patent/CN117115235A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102126724B1 (ko) | 포인트 클라우드 데이터를 복구하기 위한 방법 및 장치 | |
CN106683068B (zh) | 一种三维数字化图像采集方法 | |
CN111640158B (zh) | 基于对应掩模的端到端的摄像头与激光雷达外参标定方法 | |
CN110335301B (zh) | 一种基于激光雷达和结构光的三维扫描方法及装置 | |
CN107077735A (zh) | 三维对象识别 | |
WO2018201677A1 (zh) | 基于光束平差的远心镜头三维成像系统的标定方法及装置 | |
Yang et al. | Detection of morphology defects in pipeline based on 3D active stereo omnidirectional vision sensor | |
CN115330934A (zh) | 一种工件三维形状重建方法、系统、终端及介质 | |
Rak et al. | The use of low density high accuracy (LDHA) data for correction of high density low accuracy (HDLA) point cloud | |
CN113295142B (zh) | 一种基于faro扫描仪和点云的地形扫描分析方法和装置 | |
Hou et al. | 3D reconstruction and positioning of surface features based on a monocular camera and geometric constraints | |
Catalucci et al. | Smart optical coordinate and surface metrology | |
CN117115235A (zh) | 一种定位方法、装置及电子设备 | |
Yu et al. | Automatic crack detection and 3D reconstruction of structural appearance using underwater wall-climbing robot | |
CN112734712B (zh) | 一种船舶振动设备健康状态的成像检测方法及系统 | |
CN113446940A (zh) | 一种点云扫描方法、装置及设备 | |
CN112634439A (zh) | 一种3d信息展示方法及装置 | |
Carratù et al. | Vision-Based System for Measuring the Diameter of Wood Logs | |
Adil et al. | Investigation of stereo camera calibration based on Python | |
CN118518009B (zh) | 标定参数确定方法、校正方法、介质及设备 | |
CN118229772B (zh) | 基于图像处理的托盘位姿检测方法、系统、设备和介质 | |
Hu et al. | Minimal vision system for linear camera self-calibration and 3D reconstruction using translation platform | |
Morelli et al. | Orientation of Images with Low Contrast Textures and Transparent Objects | |
Luo et al. | Quality Detection Model for Automotive Dashboard Based on an Enhanced Visual Model | |
Chu et al. | Removing past data of dynamic objects using static Velodyne LiDAR sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |