CN114619443A - 机器人作业空间设定方法及机器人主动安全系统 - Google Patents
机器人作业空间设定方法及机器人主动安全系统 Download PDFInfo
- Publication number
- CN114619443A CN114619443A CN202011463347.1A CN202011463347A CN114619443A CN 114619443 A CN114619443 A CN 114619443A CN 202011463347 A CN202011463347 A CN 202011463347A CN 114619443 A CN114619443 A CN 114619443A
- Authority
- CN
- China
- Prior art keywords
- plane
- reference plane
- image
- points
- robot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000009466 transformation Effects 0.000 claims abstract description 41
- 230000004438 eyesight Effects 0.000 claims description 53
- 239000011159 matrix material Substances 0.000 claims description 16
- 238000005457 optimization Methods 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000009434 installation Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000011410 subtraction method Methods 0.000 claims 1
- 230000007246 mechanism Effects 0.000 description 8
- 239000000463 material Substances 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/06—Safety devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
Abstract
本公开提供一种机器人作业空间设定方法,其包括:在机器人作业空间内选择一个基平面参考平面和至少一个子平面参考平面;获得基平面参考平面以及所有子平面参考平面内的编码点的空间位置信息;根据基平面参考平面内的编码点的空间位置信息,获得基平面基准平面;以及根据每一个子平面参考平面内的编码点的空间位置信息获得每一个子平面基准平面;根据基平面参考平面内的编码点位置以及该编码点在图像中的像素位置,获得图像与基平面基准平面的投影变换关系;以及根据所述图像和基平面基准平面的投影变换关系,获得图像和每一个子平面基准平面之间的投影变换关系。本公开还提供一种机器人主动安全系统。
Description
技术领域
本公开涉及一种机器人安全监控领域,具体涉及一种机器人作业空间设定方法及基于视觉感知的机器人主动安全系统。
背景技术
机器人最早被用于工业生产中,工业机器人可以代替人类完成重复、复杂、危险的任务,具有很好的灵活性。工业机器人的投入使用使得劳动生产效率提高,促进了经济发展,同时机器人工作区域内的人员和设备的安全问题也逐渐显露出来。
目前,针对机器人安全系统方面的研究已经取得不错的进展,现有技术中的协作机器人在安全防护时,分为被动安全系统和主动安全系统。机器人主动安全系统相较于被动安全系统可以改变机器人的行为方式,提高安全系统的灵活性和实用性。
现有技术中存在使用深度相机进行安全区域的设定,但是通过该深度相机设定安全区域时,精度较低,往往存在误判的情形。
发明内容
为了解决上述技术问题之一,本公开提供了一种机器人作业空间设定方法及机器人主动安全系统
根据本公开的一个方面,提供了一种机器人作业空间设定方法,其包括:
在机器人作业空间内选择一个基平面参考平面和至少一个子平面参考平面,在所述基平面参考平面和各个子平面参考平面内均设置多个编码点;
获得基平面参考平面内的编码点的空间位置信息,以及获得所有子平面参考平面内的编码点的空间位置信息;
根据基平面参考平面内的编码点的空间位置信息,获得基平面基准平面;以及根据每一个子平面参考平面内的编码点的空间位置信息获得每一个子平面基准平面;
根据基平面参考平面内的编码点位置以及该编码点在图像中的像素位置,获得图像与基平面基准平面的投影变换关系;
获得基平面基准平面和每一个子平面基准平面之间的投影变换关系;以及
根据基平面基准平面和每一个子平面基准平面之间的投影变换关系,以及所述图像和基平面基准平面的投影变换关系,获得图像和每一个子平面基准平面之间的投影变换关系。
根据本公开的至少一个实施方式的机器人作业空间设定方法,获得基平面参考平面内的编码点的空间位置信息包括:通过多目视觉装置获得基平面参考平面内的编码点的空间位置信息;和/或,获得所有子平面参考平面内的编码点的空间位置信息包括:通过辅助视觉装置获得所有子平面参考平面内的编码点的空间位置信息。
根据本公开的至少一个实施方式的机器人作业空间设定方法,通过大视场柔性标定算法获得图像和基平面基准平面的投影变换关系。
根据本公开的至少一个实施方式的机器人作业空间设定方法,根据图像与基平面基准平面的投影变换关系,以及图像和每一个子平面基准平面的投影变换关系,获得机器人作业空间的平面划分模型;并且根据机器人作业空间的平面划分模型获得多目视觉装置所拍摄的图像的像素坐标与机器人作业空间的空间坐标的映射关系。
根据本公开的至少一个实施方式的机器人作业空间设定方法,通过大视场柔性标定算法获得图像和基平面基准平面的投影变换关系包括:
将基平面参考平面内的编码点在基平面参考平面内均匀布置;
利用多目视觉装置对基平面参考平面内的编码点进行多角度拍摄,获得多张包括基平面参考平面内的编码点的不同位姿的图像;
根据不同位姿的图像中的相同的编码点对应关系,获得不同位姿图像之间的姿态关系,并获得编码点的初始三维坐标;
构建基于逆向投影误差最小的非线性最小二乘优化模型,对该非线性最小二乘优化模型进行迭代优化,得到精确的多目视觉装置的相机内部参数以及编码点三维坐标;
根据多目视觉装置的相机的内部参数,以及相机之间的姿态关系,获得多目视觉装置与基平面参考平面内的编码点的旋转平移矩阵;
根据多目视觉装置与基平面参考平面内的编码点的旋转平移矩阵获得多目视觉装置所拍摄的图像与基平面基准平面之间的投影变换关系。
根据本公开的至少一个实施方式的机器人作业空间设定方法,利用多目视觉装置对编码点进行多角度拍摄时,多目视觉装置拍摄最后一帧图像的位置为多目视觉装置的安装位置。
根据本公开的另一方面,提供一种机器人主动安全系统,其包括摄像子系统、动态侵入物检测子系统和判断执行子系统;
所述摄像子系统包括多目视觉装置,用于获取机器人作业空间的图像;
所述动态侵入物检测子系统包括区域设定模块以及动态侵入物检测模块,所述区域设定模块用于设定机器人的作业空间,所述动态侵入物检测模块用于检测摄像子系统所获取的图像中的运动目标;其中,所述运动目标为设备、人员或其他侵入物;
当该运动目标为设备时,所述判断执行子系统判断所述设备的类型,当所述设备为所述机器人时,扩大机器人的危险区域和警告区域;当该运动目标为人员或其他侵入物时,所述判断执行子系统判别该人员或其他侵入物是否位于重合区域,若在非重合区域,则将人员或其他侵入物的二维位置信息直接与危险区域和警告区域进行比较;否则,获得运动目标的三维空间信息后,再进行安全判别。
根据本公开的至少一个实施方式的机器人主动安全系统,所述摄像子系统还包括图像拼接模块,所述图像拼接模块用于对相机所采集的图像进行拼接,形成一个完整的工作区域的图像;
其中,所述对相机所采集的图像进行拼接包括:
获得多目视觉装置的相机的内部参数、畸变参数和外部参数;通过相机的内部参数和畸变参数对图像进行畸变矫正;
对相机所拍摄的图像进行实例分割,以不同语义对象的区域质心作为路标点,将图像划分为不同区域;
以语义路标点与相邻区域的语义点像素距离作为像素空间拓扑信息生成语义拓扑向量,根据不同视角的图像的语义信息建立二维图像下的语义路标,将不同视角的图像抽象成语义路标点的集合;
对图像区域的特征点进行检测,并将特征点划分在不同语义区域内,在进行特征点匹配时,将特征点的描述子信息与语义区域信息进行结合,将错误匹配点进行滤除;
对图像中提取特征点以及语义拓扑点进行特征匹配;
通过RANSAC计算单应性矩阵H,即计算得到两幅图像的单应性矩阵,利用图像的变换关系将其中一个视图中的点变换到另一个视图中。
根据本公开的至少一个实施方式的机器人主动安全系统,当所述侵入物位于三个相机拍摄的图片和/或视频重合区域内,采用立体视觉实现三维目标检测。
根据本公开的至少一个实施方式的机器人主动安全系统,当所述侵入物位于三个相机拍摄的图片和/或视频非重合区域内,采用背景差分法进行目标检测。
附图说明
附图示出了本公开的示例性实施方式,并与其说明一起用于解释本公开的原理,其中包括了这些附图以提供对本公开的进一步理解,并且附图包括在本说明书中并构成本说明书的一部分。
图1是根据本公开的一个实施方式的机器人作业空间设定方法的流程示意图。
图2是根据本公开的一个实施方式的多目视觉装置的结构示意图。
图3是根据本公开的一个实施方式的多目视觉装置的结构示意图。
图中附图标记具体为:
1 底板
2 连接柱
3 上壳
4 调节机构
5 相机。
具体实施方式
下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是,此处所描述的具体实施方式仅用于解释相关内容,而非对本公开的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本公开相关的部分。
需要说明的是,在不冲突的情况下,本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开的技术方案。
除非另有说明,否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本公开的技术构思的一些方式的各种细节的示例性特征。因此,除非另有说明,否则在不脱离本公开的技术构思的情况下,各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。
在附图中使用交叉影线和/或阴影通常用于使相邻部件之间的边界变得清晰。如此,除非说明,否则交叉影线或阴影的存在与否均不传达或表示对部件的具体材料、材料性质、尺寸、比例、示出的部件之间的共性和/或部件的任何其它特性、属性、性质等的任何偏好或者要求。此外,在附图中,为了清楚和/或描述性的目的,可以夸大部件的尺寸和相对尺寸。当可以不同地实施示例性实施例时,可以以不同于所描述的顺序来执行具体的工艺顺序。例如,可以基本同时执行或者以与所描述的顺序相反的顺序执行两个连续描述的工艺。此外,同样的附图标记表示同样的部件。
当一个部件被称作“在”另一部件“上”或“之上”、“连接到”或“结合到”另一部件时,该部件可以直接在所述另一部件上、直接连接到或直接结合到所述另一部件,或者可以存在中间部件。然而,当部件被称作“直接在”另一部件“上”、“直接连接到”或“直接结合到”另一部件时,不存在中间部件。为此,术语“连接”可以指物理连接、电气连接等,并且具有或不具有中间部件。
为了描述性目的,本公开可使用诸如“在……之下”、“在……下方”、“在……下”、“下”、“在……上方”、“上”、“在……之上”、“较高的”和“侧(例如,如在“侧壁”中)”等的空间相对术语,从而来描述如附图中示出的一个部件与另一(其它)部件的关系。除了附图中描绘的方位之外,空间相对术语还意图包含设备在使用、操作和/或制造中的不同方位。例如,如果附图中的设备被翻转,则被描述为“在”其它部件或特征“下方”或“之下”的部件将随后被定位为“在”所述其它部件或特征“上方”。因此,示例性术语“在……下方”可以包含“上方”和“下方”两种方位。此外,设备可被另外定位(例如,旋转90度或者在其它方位处),如此,相应地解释这里使用的空间相对描述语。
这里使用的术语是为了描述具体实施例的目的,而不意图是限制性的。如这里所使用的,除非上下文另外清楚地指出,否则单数形式“一个(种、者)”和“所述(该)”也意图包括复数形式。此外,当在本说明书中使用术语“包含”和/或“包括”以及它们的变型时,说明存在所陈述的特征、整体、步骤、操作、部件、组件和/或它们的组,但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、部件、组件和/或它们的组。还要注意的是,如这里使用的,术语“基本上”、“大约”和其它类似的术语被用作近似术语而不用作程度术语,如此,它们被用来解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏差。
图1是根据本公开的一个实施方式的机器人作业空间设定方法的流程示意图。
如图1所述的机器人作业空间设定方法,其包括:
102、在机器人作业空间内选择一个基平面参考平面和至少一个子平面参考平面,在所述基平面参考平面和各个子平面参考平面内均设置多个编码点;
104、获得基平面参考平面内的编码点的空间位置信息,以及获得所有子平面参考平面内的编码点的空间位置信息;
106、根据基平面参考平面内的编码点的空间位置信息,获得基平面基准平面;以及根据每一个子平面参考平面内的编码点的空间位置信息获得每一个子平面基准平面;
108、根据基平面参考平面内的编码点位置以及该编码点在图像中的像素位置,获得图像与基平面基准平面的投影变换关系;
110、获得基平面基准平面和每一个子平面基准平面之间的投影变换关系;以及
112、根据基平面基准平面和每一个子平面基准平面之间的投影变换关系,以及所述图像和基平面基准平面的投影变换关系,获得图像和每一个子平面基准平面之间的投影变换关系。
本公开的机器人作业空间设定方法,能够对机器人作业空间进行精确划分,由此当目标进行机器人作业空间后,能够对目标的位置进行精确的三维定位;当本公开的机器人作业空间设定方法应用于机器人主动安全系统后,能提高机器人主动安全响应的精度。
作为一个示例,获得基平面参考平面内的编码点的空间位置信息包括:通过多目视觉装置获得基平面参考平面内的编码点的空间位置信息;和/或,获得所有子平面参考平面内的编码点的空间位置信息包括:通过辅助视觉装置获得所有子平面参考平面内的编码点的空间位置信息。
也就是说,在本公开的机器人主动安全系统中,包括多目视觉装置以及辅助视觉装置,所述多目视觉装置为安装在机器人作业空间上方或者斜上方的多目相机;所述辅助视觉装置相对的位置不固定,只要能获得子平面参考平面上的编码点的位置即可。
本公开中,在获得图像和基平面基准平面间的投影变换关系时,通过大视场柔性标定算法来获得,优选地,所述基平面参考平面为地面。
本公开中,所述机器人作业空间设定方法,还包括:根据图像与基平面基准平面的投影变换关系,以及图像和每一个子平面基准平面的投影变换关系,获得机器人作业空间的平面划分模型;并且根据机器人作业空间的平面划分模型获得多目视觉装置所拍摄的图像的像素坐标与机器人作业空间的空间坐标的映射关系。
由此,当机器人作业空间内出现动态侵入物时,能够通过多目视觉装置判断该动态侵入物在空间中的初步三维位置,根据该初步三维位置,从基平面基准平面和子平面基准平面中选择计算该动态侵入物的最终三维位置所使用的基准平面,并根据所选择的基准平面与图像的投影变换关系,获得动态侵入物的最终三维位置。
本公开中,通过大视场柔性标定算法获得图像和基平面基准平面的投影变换关系包括:
将基平面参考平面内的编码点在基平面参考平面内均匀布置;
利用多目视觉装置对基平面参考平面内的编码点进行多角度拍摄,获得多张包括基平面参考平面内的编码点的不同位姿的图像;
根据不同位姿的图像中的相同的编码点对应关系,获得不同位姿图像之间的姿态关系,并获得编码点的初始三维坐标;其中,所述姿态关系包括旋转矩阵R和平移矩阵t。
构建基于逆向投影误差最小的非线性最小二乘优化模型,对该非线性最小二乘优化模型进行迭代优化,得到精确的多目视觉装置的相机内部参数以及编码点三维坐标;
根据多目视觉装置的相机的内部参数,以及相机之间的姿态关系,获得多目视觉装置与基平面参考平面内的编码点的旋转平移矩阵;以及
根据多目视觉装置与基平面参考平面内的编码点的旋转平移矩阵获得多目视觉装置所拍摄的图像与基平面基准平面之间的投影变换关系。
本公开中,当获得基平面基准平面和每一个子平面基准平面之间的投影变换关系时,可以通过基平面基准平面和子平面基准平面的平面方程得到。
本公开中,根据基平面参考平面内的编码点的空间位置信息,获得基平面基准平面包括:
定义基平面基准平面的平面方程:
a0x+a1y+a2z+a3=0 (1)
其中,a0,a1,a2,a3为平面方程参数。
使n(n为自然数)个点云数据(在基平面参考平面布置的编码点)p(xi,yi,zi)到平面欧氏距离最小,优化函数与约束条件为:
将点云数据代入式(5),另:
则:AX=0 (6)
设定目标函数和约束条件,
将矩阵A做奇异值分解:
A=UDVT (7)
由此,当奇异值取最小值时,X为最优解,即:
VTX=[0 0 ... 1]T (8)
X=V[0 0 ... 1]T=(vn0,vn1,vn2) (9)
由此,得到基准面基准平面的方程为:
其中,v0即vn0;v1即vn1;v2即vn2。
本公开中,得到精确的多目视觉装置的相机内部参数具体包括:
另基准面基准平面中的:
令x、y平面分别与基准面基准平面相交,可求取基准面基准平面在点云坐标系下偏转角度,即为:
θx,θy为拟合平面坐标系xoy平面与世界坐标系xoy平面,分别在x轴,y轴的旋转角度。
故坐标转换矩阵为:
故编码点空间坐标点可通过下式转换至基准面基准平面内:
其中,pp在拟合平面坐标系下点的坐标;wp在世界坐标系下点的坐标。
本公开的多目视觉装置的相机模型为:
s·pp=A[R|t]·Wp (15)
其中,u、v为像素坐标系下坐标,fx,fy为x、y轴方向的焦距,cx,cy为像素中心点位置。rij为转换矩阵参数,i为小于等于3的自然数;j为小于等于4的自然数。
Xw,Yw,Zw为世界坐标系下的坐标。
将编码点分别在基准面基准平面坐标系以及图像坐标系坐标点Wp(x,y,z=0)、Op带入张正友标定算法求解,可得到相机内部参数。
本公开中,针对于图像中的某一像素点op(u,v),来获得其在基准面基准平面内的坐标点可以通过下述方式实现:
在基准面基准平面内,依据工作范围大小设定合适增量,均匀采样,采样点满足:
其中,Δx为x方向的增量,Δy为y方向增量。
将采样点进行重投影,生成图像与投影平面的稀疏变换表,并保存该稀疏变换表,即:
其中,u,v为像素点坐标;x,y,z为平面坐标系下三维坐标。
针对于图像中的某一点op(u,v),利用KNN算法在稀疏变换表B中搜索k邻近点,并将k个临近点的三维坐标点均值作为对应点即:
以pp(x,y,z)为原点分别往x、y方向进行稠密采样,减小增量Δx,按照上述步骤生成投影变换表B’,对pp(x,y,z)进行精定位,最终得到图像中的某一点op(u,v)的精确空间点坐标点pp(x,y,z)’。
图2和图3为本公开的机器人主动安全系统的多目视觉装置的结构示意图。
另一方面,本公开还提供一种机器人主动安全系统,其包括摄像子系统,如图2和图3所示,所述摄像子系统包括多目视觉装置,所述多目视觉装置包括:底板1,在所述底板1上开设有至少两个通孔;连接柱2,所述连接柱2的下端固定于所述底板1上;上壳3,固定于所述底板1上,并且所述连接柱2的上端穿过所述上壳3,位于所述上壳3的外部;相机调节机构4,所述相机调节机构4固定于所述底板1上,并位于所述底板1和上壳3所围合的空间内;以及相机5,所述相机5固定于所述相机调节机构4,并且所述相机5的镜头与所述通孔的位置对应。
其中,通过对相机调节机构4进行调节,可以实现相机位姿的变化,并且更进一步,可以实现对整个作业场景的监控。
同时,所述相机5的数量为三个,所述底板1上开设有三个通孔,所述三个通孔均匀分布在以所述底板1的中心线为圆心的一个圆周上,并且所述相机的镜头位于所述通孔的正上方;以使得光线穿过所述通孔进入所述相机的镜头。
所述相机调节机构4包括球铰座,固定于所述底板上;以及球铰,所述球铰的球头设置于所述球铰座内,所述球铰上固定有直线调节机构;其中,所述相机固定于所述直线调节机构上。
当本公开的机器人主动安全系统的多目视觉装置在使用时,可以通过调节所述球铰在球铰座中的位置,实现相机的姿态调节;当相机的姿态被确定后,可以通过调节该直线调节机构实现相机的取景范围的调节。
本公开中,所述相机为定焦摄像机,相机的安装方式可以采用广角扩展模式,所述广角扩展模式是指各个相机围绕一个公共轴心,形成不同的视角,同时保证相邻相机的拍摄视野有一定程度的重叠,从而使得机器人主动安全系统的多目视觉装置能够应对复杂工业环境中存在高动态、遮挡等问题。
所述相机的安装方式可以采用平行式模式,所述平行式模式指各个摄像机的光轴平行,相邻相机的拍摄视野重叠部分较大,相较于广角扩展模式,可进行较大区域范围内的多视点测量。
所述摄像子系统还包括图像拼接模块,所述图像拼接模块用于对相机所采集的图像进行拼接,形成一个完整的工作区域的图像。
所述对相机所采集的图像进行拼接具体包括:
获得多目视觉装置的相机的内部参数、畸变参数和外部参数;通过相机的内部参数和畸变参数对图像进行畸变矫正;
对相机所拍摄的图像进行实例分割,以不同语义对象的区域质心作为路标点,将图像划分为不同区域;
以语义路标点与相邻区域的语义点像素距离作为像素空间拓扑信息生成语义拓扑向量,根据不同视角的图像的语义信息建立二维图像下的语义路标,将不同视角的图像抽象成语义路标点的集合;
对图像区域的特征点进行检测,并将特征点划分在不同语义区域内,在进行特征点匹配时,将特征点的描述子信息与语义区域信息进行结合,将错误匹配点进行滤除;
对图像中提取特征点以及语义拓扑点进行特征匹配;
通过RANSAC计算单应性矩阵H,即计算得到两幅图像的单应性矩阵,利用图像的变换关系将其中一个视图中的点变换到另一个视图中。
选取多目视觉装置的中间相机的作为参照,其他两个相机采集到的图像通过求得的单应性矩阵投影到参考平面,在重合的区域中通过图像融合消除拼接缝,将拼接后的图像进行存储并显示。
所述机器人主动安全系统还包括动态侵入物检测子系统,所述动态侵入物检测子系统包括区域设定模块以及动态侵入物检测模块。
所述区域设定模块根据上述的机器人作业空间设定方法对机器人的作业空间进行设定,并把机器人的作业空间划分为危险区域和警告区域;即所述机器人的工作区域设置为危险区域,所述机器人的工作区域的周边区域设定为警告区域。
所述动态侵入物检测模块用于对机器人的工作区域内进入的侵入物进行识别,分析侵入物的异常行为;更优选地,当所述侵入物位于三个相机拍摄的图片和/或视频重合区域内,采用立体视觉实现三维目标检测;当所述侵入物位于三个相机拍摄的图片和/或视频非重合区域内,采用背景差分法进行目标检测。
本公开中,在非重合区域内对目标进行检测包括:获得相机所拍摄的图片的灰度图;向前读取前一时刻的视频序列的几帧图像,并计算该视频序列的图像的像素的平均值,得到均值背景模型;获得当前图像,将当前图像与均值背景模型做差值运算,得到差分图像;若差分图像中某一像素的值的绝对值高于阈值,则判定该像素属于运动对象,否则该像素属于背景图像。
然后对差分图像进行二值化处理得到目标的二值化图像,采用数组定位法确定运动目标的大小以及坐标信息;采用滤波算法对运动目标进行跟踪;将得到的目标的坐标信息与区域设定模块所设定的工作区域的空间信息进行判别,判断运动目标与所设定的工作区域之间的位置关系。
本公开中,在重合区域内对目标进行检测包括:获得相机所拍摄的图片的灰度图;向前读取前一时刻的视频序列的几帧图像,并计算该视频序列的图像的像素的平均值,得到均值背景模型;获得当前图像,将当前图像与均值背景模型做差值运算,得到差分图像;若差分图像中某一像素的值的绝对值高于阈值,则判定该像素属于运动对象,否则该像素属于背景图像。
然后对差分图像进行二值化处理得到目标的二值化图像,采用数组定位法确定运动目标的大小以及坐标信息。
获取运动目标后,将各视点图像进行目标分割,对分割后目标图像分别进行双目立体视觉重建,获取目标区域的点云信息(x,y,z);将不同视角下求取的点云进行特征点匹配融合,得到多视角下的目标区域整体点云信息,最后对点云信息进行Mesh网格重建,得到目标区域的重建模型,并得到目标区域的初步位置。
根据目标区域的初步位置,选择基平面基准平面或者子平面基准平面中接近所述目标区域的平面为位置计算平面,并由此获得目标区域的精确空间位置。
当获取该目标区域的精确空间位置时,基于该目标区域在图像中的像素点位置,获得该像素点位置所对应的位置计算平面中的三维坐标,由此得到目标区域的精确空间位置。
将检测到的运动目标的精确空间位置与区域设定模块设定的危险区域和警告区域进行比较,将入侵信息通过控制器传送给机器人。
具体地,所述动态侵入物检测子系统识别目标的种类,并对目标进行跟踪。优选地,当识别目标种类时,可以采用YOLOv3来实现目标的识别,具体地,可以将运动目标分为设备、人员以及其他侵入物。
当所述运动目标为设备时,所述判断执行子系统判断所述设备的类型,当所述设备为机器人本体时,扩大机器人的危险区域和警告区域;当该运动目标为非设备(例如为人员/其他侵入物)时,所述判断执行子系统判别该运动目标是否位于重合区域,若在非重合区域,则将运动目标的二维位置信息直接与区域设定模块设定的危险区域和警告区域进行比较;否则,获得运动目标的三维空间信息后,再进行安全判别。
其中,当运动目标处于危险区域时,机器人实现停机操作;处于警告区域时,机器人先进行减速操作,根据运动目标的运动轨迹恢复速度或减速至停机。
在本说明书的描述中,参考术语“一个实施例/方式”、“一些实施例/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例/方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例/方式或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例/方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例/方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例/方式或示例以及不同实施例/方式或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
本领域的技术人员应当理解,上述实施方式仅仅是为了清楚地说明本公开,而并非是对本公开的范围进行限定。对于所属领域的技术人员而言,在上述公开的基础上还可以做出其它变化或变型,并且这些变化或变型仍处于本公开的范围内。
Claims (10)
1.一种机器人作业空间设定方法,其特征在于,包括:
在机器人作业空间内选择一个基平面参考平面和至少一个子平面参考平面,在所述基平面参考平面和各个子平面参考平面内均设置多个编码点;
获得基平面参考平面内的编码点的空间位置信息,以及获得所有子平面参考平面内的编码点的空间位置信息;
根据基平面参考平面内的编码点的空间位置信息,获得基平面基准平面;以及根据每一个子平面参考平面内的编码点的空间位置信息获得每一个子平面基准平面;
根据基平面参考平面内的编码点位置以及该编码点在图像中的像素位置,获得图像与基平面基准平面的投影变换关系;
获得基平面基准平面和每一个子平面基准平面之间的投影变换关系;以及
根据基平面基准平面和每一个子平面基准平面之间的投影变换关系,以及所述图像和基平面基准平面的投影变换关系,获得图像和每一个子平面基准平面之间的投影变换关系。
2.根据权利要求1所述的机器人作业空间设定方法,其特征在于,获得基平面参考平面内的编码点的空间位置信息包括:通过多目视觉装置获得基平面参考平面内的编码点的空间位置信息;和/或,获得所有子平面参考平面内的编码点的空间位置信息包括:通过辅助视觉装置获得所有子平面参考平面内的编码点的空间位置信息。
3.根据权利要求2所述的机器人作业空间设定方法,其特征在于,通过大视场柔性标定算法获得图像和基平面基准平面的投影变换关系。
4.根据权利要求2所述的机器人作业空间设定方法,其特征在于,根据图像与基平面基准平面的投影变换关系,以及图像和每一个子平面基准平面的投影变换关系,获得机器人作业空间的平面划分模型;并且根据机器人作业空间的平面划分模型获得多目视觉装置所拍摄的图像的像素坐标与机器人作业空间的空间坐标的映射关系。
5.根据权利要求3所述的机器人作业空间设定方法,其特征在于,通过大视场柔性标定算法获得图像和基平面基准平面的投影变换关系包括:
将基平面参考平面内的编码点在基平面参考平面内均匀布置;
利用多目视觉装置对基平面参考平面内的编码点进行多角度拍摄,获得多张包括基平面参考平面内的编码点的不同位姿的图像;
根据不同位姿的图像中的相同的编码点对应关系,获得不同位姿图像之间的姿态关系,并获得编码点的初始三维坐标;
构建基于逆向投影误差最小的非线性最小二乘优化模型,对该非线性最小二乘优化模型进行迭代优化,得到精确的多目视觉装置的相机内部参数以及编码点三维坐标;
根据多目视觉装置的相机的内部参数,以及相机之间的姿态关系,获得多目视觉装置与基平面参考平面内的编码点的旋转平移矩阵;
根据多目视觉装置与基平面参考平面内的编码点的旋转平移矩阵获得多目视觉装置所拍摄的图像与基平面基准平面之间的投影变换关系。
6.根据权利要求5所述的机器人作业空间设定方法,其特征在于,利用多目视觉装置对编码点进行多角度拍摄时,多目视觉装置拍摄最后一帧图像的位置为多目视觉装置的安装位置。
7.一种机器人主动安全系统,其特征在于,包括摄像子系统、动态侵入物检测子系统和判断执行子系统;
所述摄像子系统包括多目视觉装置,用于获取机器人作业空间的图像;
所述动态侵入物检测子系统包括区域设定模块以及动态侵入物检测模块,所述区域设定模块用于设定机器人的作业空间,所述动态侵入物检测模块用于检测摄像子系统所获取的图像中的运动目标;其中,所述运动目标为设备、人员或其他侵入物;
当该运动目标为设备时,所述判断执行子系统判断所述设备的类型,当所述设备为所述机器人时,扩大机器人的危险区域和警告区域;当该运动目标为人员或其他侵入物时,所述判断执行子系统判别该人员或其他侵入物是否位于重合区域,若在非重合区域,则将人员或其他侵入物的二维位置信息直接与危险区域和警告区域进行比较;否则,获得运动目标的三维空间信息后,再进行安全判别。
8.根据权利要求7所述的机器人主动安全系统,其特征在于,所述摄像子系统还包括图像拼接模块,所述图像拼接模块用于对相机所采集的图像进行拼接,形成一个完整的工作区域的图像;
其中,所述对相机所采集的图像进行拼接包括:
获得多目视觉装置的相机的内部参数、畸变参数和外部参数;通过相机的内部参数和畸变参数对图像进行畸变矫正;
对相机所拍摄的图像进行实例分割,以不同语义对象的区域质心作为路标点,将图像划分为不同区域;
以语义路标点与相邻区域的语义点像素距离作为像素空间拓扑信息生成语义拓扑向量,根据不同视角的图像的语义信息建立二维图像下的语义路标,将不同视角的图像抽象成语义路标点的集合;
对图像区域的特征点进行检测,并将特征点划分在不同语义区域内,在进行特征点匹配时,将特征点的描述子信息与语义区域信息进行结合,将错误匹配点进行滤除;
对图像中提取特征点以及语义拓扑点进行特征匹配;
通过RANSAC计算单应性矩阵H,即计算得到两幅图像的单应性矩阵,利用图像的变换关系将其中一个视图中的点变换到另一个视图中。
9.根据权利要求8所述的机器人主动安全系统,其特征在于,当所述侵入物位于三个相机拍摄的图片和/或视频重合区域内,采用立体视觉实现三维目标检测。
10.根据权利要求9所述的机器人主动安全系统,其特征在于,当所述侵入物位于三个相机拍摄的图片和/或视频非重合区域内,采用背景差分法进行目标检测。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011463347.1A CN114619443B (zh) | 2020-12-14 | 2020-12-14 | 机器人主动安全系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011463347.1A CN114619443B (zh) | 2020-12-14 | 2020-12-14 | 机器人主动安全系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114619443A true CN114619443A (zh) | 2022-06-14 |
CN114619443B CN114619443B (zh) | 2023-07-21 |
Family
ID=81895246
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011463347.1A Active CN114619443B (zh) | 2020-12-14 | 2020-12-14 | 机器人主动安全系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114619443B (zh) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006000571A1 (en) * | 2004-06-24 | 2006-01-05 | Abb Ab | Industrial robot system with a portable operator control device |
CN101214851A (zh) * | 2008-01-10 | 2008-07-09 | 黄席樾 | 船舶行驶智能型全天候主动安全预警系统及其预警方法 |
EP2023160A1 (de) * | 2007-08-02 | 2009-02-11 | Sick Ag | Dreidimensionale Raumüberwachung mit Konfigurationsmodus zum Bestimmen der Schutzfelder |
CN103196370A (zh) * | 2013-04-01 | 2013-07-10 | 北京理工大学 | 一种导管接头空间位姿参数的测量方法和装置 |
JP2014059646A (ja) * | 2012-09-14 | 2014-04-03 | Toshiba Corp | 対象物検出装置、及び対象物検出方法 |
WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
WO2016157327A1 (ja) * | 2015-03-27 | 2016-10-06 | 日本電気株式会社 | 映像監視システム及び映像監視方法 |
US20180114072A1 (en) * | 2016-10-25 | 2018-04-26 | Vmaxx, Inc. | Vision Based Target Tracking Using Tracklets |
WO2018087546A1 (en) * | 2016-11-08 | 2018-05-17 | Dogtooth Technologies Limited | A robotic fruit picking system |
CN108537875A (zh) * | 2017-03-03 | 2018-09-14 | 株式会社基恩士 | 机器人仿真设备和机器人仿真方法 |
CN109640051A (zh) * | 2018-12-20 | 2019-04-16 | 长沙全度影像科技有限公司 | 一种大场景的分布式拼接监控系统 |
CN109727291A (zh) * | 2018-12-28 | 2019-05-07 | 北京航空航天大学 | 一种变焦距摄像机的高精度在线标定方法 |
CN111144291A (zh) * | 2019-12-25 | 2020-05-12 | 中铁信(北京)网络技术研究院有限公司 | 基于目标检测的视频监控区域人员入侵判别方法及装置 |
-
2020
- 2020-12-14 CN CN202011463347.1A patent/CN114619443B/zh active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2006000571A1 (en) * | 2004-06-24 | 2006-01-05 | Abb Ab | Industrial robot system with a portable operator control device |
EP2023160A1 (de) * | 2007-08-02 | 2009-02-11 | Sick Ag | Dreidimensionale Raumüberwachung mit Konfigurationsmodus zum Bestimmen der Schutzfelder |
CN101214851A (zh) * | 2008-01-10 | 2008-07-09 | 黄席樾 | 船舶行驶智能型全天候主动安全预警系统及其预警方法 |
JP2014059646A (ja) * | 2012-09-14 | 2014-04-03 | Toshiba Corp | 対象物検出装置、及び対象物検出方法 |
CN103196370A (zh) * | 2013-04-01 | 2013-07-10 | 北京理工大学 | 一种导管接头空间位姿参数的测量方法和装置 |
WO2015024407A1 (zh) * | 2013-08-19 | 2015-02-26 | 国家电网公司 | 基于电力机器人的双目视觉导航系统及方法 |
WO2016157327A1 (ja) * | 2015-03-27 | 2016-10-06 | 日本電気株式会社 | 映像監視システム及び映像監視方法 |
US20180114072A1 (en) * | 2016-10-25 | 2018-04-26 | Vmaxx, Inc. | Vision Based Target Tracking Using Tracklets |
WO2018087546A1 (en) * | 2016-11-08 | 2018-05-17 | Dogtooth Technologies Limited | A robotic fruit picking system |
CN108537875A (zh) * | 2017-03-03 | 2018-09-14 | 株式会社基恩士 | 机器人仿真设备和机器人仿真方法 |
CN109640051A (zh) * | 2018-12-20 | 2019-04-16 | 长沙全度影像科技有限公司 | 一种大场景的分布式拼接监控系统 |
CN109727291A (zh) * | 2018-12-28 | 2019-05-07 | 北京航空航天大学 | 一种变焦距摄像机的高精度在线标定方法 |
CN111144291A (zh) * | 2019-12-25 | 2020-05-12 | 中铁信(北京)网络技术研究院有限公司 | 基于目标检测的视频监控区域人员入侵判别方法及装置 |
Non-Patent Citations (1)
Title |
---|
郭红霞;任智君;: "考虑不同投资主体储能运行策略的主动配电网多目标规划", 智慧电力, no. 11 * |
Also Published As
Publication number | Publication date |
---|---|
CN114619443B (zh) | 2023-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110728715B (zh) | 一种智能巡检机器人摄像机角度自适应调整方法 | |
JP4825980B2 (ja) | 魚眼カメラの校正方法。 | |
CN110910453B (zh) | 基于无重叠视域多相机系统的车辆位姿估计方法及其系统 | |
CN110930508B (zh) | 二维光电视频与三维场景融合方法 | |
US8705846B2 (en) | Position measuring apparatus, position measuring method, image processing apparatus and image processing method | |
KR20170139548A (ko) | 이미지 라인들로부터의 카메라 외부 파라미터들 추정 | |
CN109345587B (zh) | 一种基于全景与单目视觉的混合视觉定位方法 | |
Tarhan et al. | A catadioptric and pan-tilt-zoom camera pair object tracking system for UAVs | |
CN112837207B (zh) | 全景深度测量方法、四目鱼眼相机及双目鱼眼相机 | |
CN104079916A (zh) | 一种全景三维视觉传感器及使用方法 | |
GB2561368B (en) | Methods and apparatuses for determining positions of multi-directional image capture apparatuses | |
CN112330747B (zh) | 基于无人机平台的多传感器联合探测和显示方法 | |
Nishimoto | Three dimensional measurement using fisheye stereo vision | |
CN114926552B (zh) | 一种基于无人机图像计算像素点高斯坐标方法及系统 | |
Lyons et al. | Evaluation of field of view width in stereo-vision-based visual homing | |
CN112488022B (zh) | 一种环视全景监控方法、装置及系统 | |
Schönbein et al. | Environmental Perception for Intelligent Vehicles Using Catadioptric Stereo Vision Systems. | |
WO2018110264A1 (ja) | 撮像装置、及び撮像方法 | |
CN114619443B (zh) | 机器人主动安全系统 | |
CN117109561A (zh) | 融合激光定位的远距二维码地图创建及定位方法、系统 | |
CN110415292A (zh) | 一种圆环标识的运动姿态视觉测量方法及其应用 | |
CN112381893B (zh) | 一种面向环形多相机系统的立体标定板标定方法 | |
Zhang et al. | Automatic Extrinsic Parameter Calibration for Camera-LiDAR Fusion using Spherical Target | |
CN113011212B (zh) | 图像识别方法、装置及车辆 | |
Aliakbarpour et al. | Human silhouette volume reconstruction using a gravity-based virtual camera network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |