CN112017237A - 一种基于视场拼接和三维重建的操作辅助装置及方法 - Google Patents
一种基于视场拼接和三维重建的操作辅助装置及方法 Download PDFInfo
- Publication number
- CN112017237A CN112017237A CN202010896848.2A CN202010896848A CN112017237A CN 112017237 A CN112017237 A CN 112017237A CN 202010896848 A CN202010896848 A CN 202010896848A CN 112017237 A CN112017237 A CN 112017237A
- Authority
- CN
- China
- Prior art keywords
- information
- dimensional
- dimensional reconstruction
- bounding box
- barrier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 238000001514 detection method Methods 0.000 claims abstract description 29
- 230000008569 process Effects 0.000 claims abstract description 17
- 230000004888 barrier function Effects 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 24
- 238000007781 pre-processing Methods 0.000 claims description 16
- 238000009434 installation Methods 0.000 claims description 13
- 238000000926 separation method Methods 0.000 claims description 12
- 230000010365 information processing Effects 0.000 claims description 7
- 230000009466 transformation Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 239000000284 extract Substances 0.000 claims description 3
- 230000007613 environmental effect Effects 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 10
- 238000010276 construction Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 12
- 230000036544 posture Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 description 1
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
- B25J9/1676—Avoiding collision or forbidden zones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/12—Bounding box
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/21—Collision detection, intersection
Abstract
本发明提出一种基于视场拼接和三维重建的操作辅助装置及方法，包括基于多传感器的信息处理系统及视场拼接、三维重建和避碰预警等模块。本发明利用多传感器视觉系统进行周围环境和障碍物图像信息的采集，通过视场拼接、三维重建和避碰预警等模块进行信息处理，实现模糊化三维重建、包围盒构建和碰撞检测功能，并在显示系统进行二维和三维显示，实时性好，更加直观、安全。
Description
技术领域
本发明属于计算机视觉及图像处理领域，特别涉及一种基于视场拼接和三维重建的操作辅助装置及方法。
背景技术
机械臂尤其是大型工程机械臂在操作过程中，由于机械臂臂展大、末端处视野不明确，使得机械臂操作性和安全性差，需要辅助人员在机械臂末端处进行实时观察、人工预警，不仅效率低下，且在空间狭小、不易人工观察的场所，机械臂容易与周围环境发生碰撞。
目前市面上还没有应用于大型工程机械臂操作的辅助设备，一些工程机械通过附加反射镜和摄像头对机械臂及周围环境的相对关系进行观察、指导操作人员进行操作，同时通过附加防碰撞传感器和基于力矩差、电流差、压力差等方法进行碰撞检测，保护机械臂及操作人员。但反射镜和摄像头仅能提供单一维度的图像信息，无法准确反映机械臂与周围环境的距离信息，且单一摄像头视场狭小受限、多个摄像头对安装位置要求较高，附加防碰撞传感器方法过于复杂、价格昂贵。且为碰撞后响应机制，无法在发生碰撞时提前或同步检测到这个碰撞，不能达到碰撞预警效果。
随着计算机视觉技术的发展，基于视觉分析的防碰撞系统越来越多的受到人们的重视，专利CN201570127U提出了一种基于视觉分析的碰撞预警装置，通过视觉传感器监控车辆前进方向的车辆，测算车速并结合本车相关状态进行碰撞预测。但是上述专利公开的碰撞预警装置不能直观的提供周围环境信息，不能为操作人员直观展示机械臂与周围环境的相对位置关系，无法满足机械臂的可视化辅助操作、碰撞预检测和空间位姿的实时显示需求。
发明内容
针对上述问题，本发明提出一种基于视场拼接和三维重建的操作辅助装置及方法，所述装置包括：
图像特征信息采集单元，用于采集图像特征信息；
图像特征信息处理单元，用于对所述图像特征信息依次进行预处理和模糊化三维重建，获得障碍物三维信息；
臂架、障碍物包围盒位姿信息确定单元，用于根据所述障碍物三维信息得到障碍物包围盒的位姿信息，根据机械臂控制系统和臂架尺寸得到臂架包围盒的位姿信息；
防碰撞检测单元，基于分离轴定理对臂架和障碍物包围盒信息进行防碰撞检测。
进一步的，所述图像特征信息处理单元可为微处理器，所述微处理器上集成有视场拼接、三维重建和避碰预警模块，所述图像特征信息处理单元用于为机械臂尤其是大型工程机械臂操作过程中提供多维度的辅助视角和碰撞预警。
进一步的，所述装置除为机械臂的操作提供多维度环境信息显示、碰撞检测预警外，经过调整后还适用于底盘车、工程机械等。
进一步的，所述装置还包括：
图像特征信息采集单元，用于采集各种工况下的周围环境和障碍物图像信息；
图像特征信息预处理单元，用于对图像特征信息进行预处理；
三维重建处理单元，用于将所述预处理后的图像信息进行模糊化三维重建处理；
臂架、障碍物包围盒位姿信息确定单元，用于得到固定基座和活动工况下全局坐标系下的障碍物包围盒的位姿信息和臂架包围盒的位姿信息；
显示单元，用于显示广域大视角的二维拼图以及障碍物以及臂架的三维包围盒信息，直观地显示多维度的环境信息；
防碰撞检测单元，基于分离轴定理对臂架和障碍物包围盒信息进行防碰撞检测。
进一步的，所述图像特征信息采集单元可为多传感器视觉系统，所述多传感器视觉系统包括双目相机和辅助标定装置，用于采集周围环境和障碍物的图像信息。
进一步的，所述图像特征信息预处理单元为视场拼接模块，用于对所述图像特征信息进行预处理；所述三维重建处理单元为三维重建模块，用于将所述预处理后的图像信息进行模糊化三维重建处理；所述防碰撞检测单元为避碰预警模块，基于分离轴定理对臂架和障碍物包围盒信息进行防碰撞检测。
本发明提供一种基于视场拼接和三维重建的操作辅助方法，所述方法包括以下步骤：
采集图像特征信息；
对所述图像特征信息依次进行预处理和模糊化三维重建，获得障碍物三维信息；
根据所述障碍物三维信息得到障碍物包围盒的位姿信息，根据机械臂控制系统和臂架尺寸得到臂架包围盒的位姿信息；
基于分离轴定理对臂架和障碍物包围盒位姿信息进行防碰撞检测。
本发明还提供一种基于视场拼接和三维重建的操作辅助方法，所述方法具体包括以下步骤：
步骤1)将多传感器视觉系统进行预先标定，标定完成后安装在固定基座或者机械臂的臂架上，采集各种工况下的周围环境和障碍物图像信息，作为基础图像特征信息；
步骤2)将所述图像特征信息实时发送给微处理器进行预处理，所述微处理器提取周围环境及障碍物的尺寸和相对于多传感器视觉系统的距离信息，同时视场拼接模块将采集到的二维图像进行仿射变换和拼接处理，得到广域大视角的二维拼图，并发送到显示系统；
步骤3)所述微处理器将预处理后的周围环境和障碍物的图像信息进行二维图像层面的目标检测和识别，三维重建模块进行模糊化三维重建处理，利用不同方位相机得到的两幅校正图像，找到图片的匹配点，根据三角测量原理恢复出障碍物三维信息；
步骤4)微处理器结合机械臂控制系统和臂架尺寸，获取固定基座全局坐标系下的机械臂臂架实时位姿信息，利用获得的所述障碍物三维信息，基于定向包围盒原理构建障碍物的最大包络包围盒，得到固定基座全局坐标系下的包围盒的位姿信息；
步骤5)在所述微处理器中建立机械臂各级臂架的最大包络包围盒，并将臂架和障碍物包围盒信息在所述显示系统实时更新显示，所述显示系统同时显示广域大视角的二维拼图以及障碍物以及臂架的三维包围盒信息，直观地显示多维度的环境信息；
步骤6)所述微处理器将机械臂臂架和障碍物包围盒信息发送到避碰预警模块，基于分离轴定理进行防碰撞检测，若检测到机械臂臂架包围盒和障碍物包围盒发生碰撞，预警系统则发出预警信号，同时所述微处理器发出减速或停止等相关控制信号、避免碰撞情况发生。
进一步的，所述步骤1)中对所述多传感器视觉系统预先标定具体包括以下过程：微处理器从多传感器视觉系统采集的图像信息中提取、计算标定物的尺寸和位置信息，通过与标定得到的实际信息对比，以及图像拼接效果和效率，对多传感器视觉系统中各相机布置位置和相关参数进行预先标定。
进一步的，所述步骤3)中所述模糊化三维重建具体包括以下过程：利用不同方位相机得到的两幅校正图像，找到图片的匹配点，根据三角测量原理恢复出障碍物的三维信息。
进一步的，所述模糊化三维重建中采用单阈值法对障碍物轮廓信息进行处理。
进一步的，所述方法可适用于多传感器视觉系统与机械臂基座安装位姿相对固定和相对活动两种工况，且所述步骤4)中在安装位姿相对固定工况下，仅需对所述障碍物三维信息进行一次处理。
本发明公开的基于视场拼接和三维重建的操作辅助装置及方法，包括基于多传感器的信息处理系统及视场拼接、三维重建和避碰预警等模块。本发明利用多传感器视觉系统进行周围环境和障碍物图像信息的采集，通过视场拼接、三维重建和避碰预警等模块进行信息处理，实现模糊化三维重建、包围盒构建和碰撞检测功能，并在显示系统进行二维和三维显示，实时性好，更加直观、安全。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本发明实施例中一种基于视场拼接和三维重建的机械臂操作辅助装置硬件连接原理示意图；
图2示出了本发明实施例中微处理器上的功能模块示意图；
图3示出了本发明实施例中一种基于视场拼接和三维重建的机械臂操作辅助方法数据流示意图；
图4是本发明的安装位姿相对固定工况下障碍物信息在基座标系和相机坐标系下的转换关系示意图；
图5是本发明的安装位姿相对活动工况下障碍物信息在基座标系和相机坐标系下的转换关系示意图；
图6是本发明的两包围盒在碰撞条件下和非碰撞条件下的空间相对位置和姿态关系示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出的一种基于视场拼接和三维重建的操作辅助装置及方法，通过结合机械臂控制系统和采集外部图像信息实时计算、碰撞检测和显示机械臂和外部环境间的位姿关系，实时性更好，操作过程更加直观、安全。
图1示出了本发明实施例中一种基于视场拼接和三维重建的机械臂操作辅助装置硬件连接原理示意图；图1中，信息处理装置包括微处理器、多传感器视觉系统、显示系统和预警系统，多传感器视觉系统、显示系统和预警等系统均与微处理器相连；图2示出了本发明实施例中微处理器上的功能模块示意图；图2中微处理器上集成有视场拼接模块、三维重建模块和避碰预警模块，微处理器通过与视场拼接模块、三维重建模块和避碰预警模块相集成，用于为机械臂尤其是大型工程机械臂操作过程中提供多维度的辅助视角和碰撞预警。微处理器将处理得到的多维度环境数据在显示系统上进行显示。
示例性的，多传感器的视觉系统，主要由双目相机和辅助标定装置组成，用于采集周围环境和障碍物的图像信息；微处理器，用于对图像信息进行图像处理、特征提取、视场拼接、三维模糊化重建和碰撞检测及预警处理。
图3示出了本发明实施例中一种基于视场拼接和三维重建的机械臂操作辅助方法数据流示意图；所述设计按照以下步骤进行数据处理：
步骤a)利用码盘和标记物对多传感器视觉系统进行预先标定；
多传感器视觉系统预先标定过程包括以下步骤：
步骤a1)多传感器视觉系统内部参数标定：标定的第一步需要分别获取不同位置相机的内外参数，之后通过立体标定对左右两幅图像进行立体校准和对齐，最后就是确定不同位置相机的相对位置关系，即中心距；
步骤a2)各处理模块相关参数标定：微处理器从多传感器视觉系统采集的图像信息中提取、计算标定物的尺寸和位置信息，通过与标定得到的实际信息对比，以及图像拼接效果和效率，对多传感器视觉系统中各处理模块相关参数进行预先标定；
步骤b)将标定完成后的多传感器视觉系统安装在固定基座或者机械臂臂架上，采集各种工况下的周围环境和障碍物图像信息，作为基础图像特征信息；
步骤c)将图像特征信息实时发送给微处理器进行预处理，包括提取周围环境及障碍物的尺寸和相对与多传感器视觉系统的距离信息，以及将采集到的二维图像进行仿射变换和拼接处理，得到广域大视角的二维拼图，并发送到显示系统；
步骤d)将预处理后的周围环境和障碍物的图像信息进行二维图像层面的目标检测和识别，然后进行模糊化三维重建处理，利用不同方位相机得到的两幅校正图像，找到图片的匹配点，根据三角测量原理恢复出障碍物的三维信息；
示例性的，模糊化三维重建仅需要对障碍物轮廓信息进行处理，采用单阈值法进行轮廓处理，只需用来检测图像中重要的、显著的线条、轮廓等，避免不必要图像元素的运算、极大地减小运算时间；
步骤e)微处理器通过结合机械臂控制系统和臂架尺寸，获取固定基座全局坐标系下的机械臂臂架实时位姿信息，利用获得障碍物的三维信息，基于定向包围盒原理构建障碍物的最大包络包围盒，得到固定基座全局坐标系下的障碍物包围盒的位姿信息；
根据多传感器视觉系统安装在固定基座和机械臂臂架等不同工况，包围盒信息提取步骤实施过程略有不同，设获得的相机坐标系下障碍物包围盒各顶点的位置Pc和姿态Rc，则不同工况下的实施步骤为：
在工位及障碍物位姿固定工况下，由于机械臂基座和障碍物均固定，多传感器视觉系统相对于基座的安装位置Pi1和姿态Ri1安装位姿相对固定，因为在全局坐标系下表示时其位置和姿态均不发生变化，因此在对障碍物信息进行一次处理后，即可得到障碍物在基座标系下表示的位置Pb1和姿态Rb1，转换关系为：
图4是本发明的安装位姿相对固定工况下障碍物信息在基座标系和相机坐标系下的转换关系示意图；
当多传感器视觉系统安装臂架上随动时，由于多传感器视觉系统相对于障碍物的位置和姿态信息一直发生变化，因此在进行上述处理后还需要接入机械臂控制系统，根据多传感器视觉系统在臂架上是安装位置Pi2和姿态Ri2以及机械臂当前位置Pr和姿态Rr信息，经过坐标装换后，得到障碍物在基座标系下表示的位置Pb2和姿态Rb2，转换关系为：
图5是本发明的安装位姿相对活动工况下障碍物信息在基座标系和相机坐标系下的转换关系示意图；
步骤f)结合机械臂控制系统和臂架尺寸，获取固定基座全局坐标系下的机械臂臂架实时位姿信息，在微处理器中建立机械臂各级臂架的最大包络包围盒，并将臂架和障碍物包围盒信息在显示系统实时更新显示；
示例性的，微处理器通过连接机械臂控制系统获取机械臂的数学模型和各级臂架关节的转角信息，然后通过计算、实时更新各级臂架最大包络包围盒的位置和姿态；在工位及障碍物位姿固定工况下，仅需对障碍物信息进行一次处理；显示模块采取分块显示方式，一侧实时更新显示拼接后广域大视角二维拼图，另一侧实时更新显示包围盒形式的障碍物模型和臂架关节模型；
步骤g)操作人员根据显示系统显示的多维度信息操作机械臂运动，机械臂接收运动指令后首先对其各级臂架的包围盒位姿信息进行更新；
步骤h)将更新后的机械臂臂架包围盒信息和障碍物包围盒信息发送到避碰模块，基于分离轴定理进行防碰撞检测，若检测到机械臂臂架包围盒和障碍物包围盒发生碰撞，预警系统则发出预警信号，同时微处理器发出减速或停止等相关控制信号、避免碰撞情况发生，同时等待新的运动指令的到来；若检测到不会发生碰撞，则机械臂执行运动指令，到达指定位姿后进行图像信息采集及处理，并在显示系统更新显示拼接后广域大视角二维拼图以及三维包围盒形式的障碍物模型和臂架关节模型，为操作人员提供多维度辅助视角，并等待下一次运动指令的到来；
示例性的，图6是本发明的两包围盒在碰撞条件下和非碰撞条件下的空间相对位置和姿态关系示意图，在利用分离周定理进行碰撞检测时，可根据机械臂实际结构和尺寸选取几个简单可测试的轴作为分析用轴，判断各臂架包围盒间的面-面碰撞、面-边碰撞、边-边碰撞等。
本发明公开的一种基于视场拼接和三维重建的操作辅助装置及方法，包括基于多传感器的信息处理系统及视场拼接、三维重建和避碰预警等模块。本发明利用多传感器视觉系统进行周围环境和障碍物图像信息的采集，通过视场拼接、三维重建和避碰预警等模块进行信息处理，实现模糊化三维重建、包围盒构建和碰撞检测功能，并在显示系统进行二维和三维显示，实时性好，更加直观、安全。
本发明提供的辅助系统所需设备简单，运算量小，能从多维度直观的表征机械臂与障碍物的相对位置信息，可适用于多传感器视觉系统安装在固定基座和机械臂臂架等不同工况，在扩大操作视野、提高操作安全性的同时能够提前预警，有效避免碰撞事故的发生，保证执行机构的安全；本发明还适用于底盘车、工程机械等。
尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (12)
1.一种基于视场拼接和三维重建的操作辅助装置，其特征在于，所述装置包括：
图像特征信息采集单元，用于采集图像特征信息；
图像特征信息处理单元，用于对所述图像特征信息依次进行预处理和模糊化三维重建，获得障碍物三维信息；
臂架、障碍物包围盒位姿信息确定单元，用于根据所述障碍物三维信息得到障碍物包围盒的位姿信息，根据机械臂控制系统和臂架尺寸得到臂架包围盒的位姿信息；
防碰撞检测单元，基于分离轴定理对臂架和障碍物包围盒信息进行防碰撞检测。
2.根据权利要求1所述的基于视场拼接和三维重建的操作辅助装置，其特征在于，所述图像特征信息处理单元可为微处理器，所述微处理器上集成有视场拼接、三维重建和避碰预警模块，所述图像特征信息处理单元用于为机械臂尤其是大型工程机械臂操作过程中提供多维度的辅助视角和碰撞预警。
3.根据权利要求1所述的基于视场拼接和三维重建的操作辅助装置，其特征在于，所述装置除为机械臂的操作提供多维度环境信息显示、碰撞检测预警外，经过调整后还适用于底盘车、工程机械。
4.根据权利要求1所述的基于视场拼接和三维重建的操作辅助装置，其特征在于，所述装置还包括：
图像特征信息采集单元，用于采集各种工况下的周围环境和障碍物图像信息；
图像特征信息预处理单元，用于对图像特征信息进行预处理；
三维重建处理单元，用于将所述预处理后的图像信息进行模糊化三维重建处理；
臂架、障碍物包围盒位姿信息确定单元，用于得到固定基座和活动工况下全局坐标系下的障碍物包围盒的位姿信息和臂架包围盒的位姿信息；
显示单元，用于显示广域大视角的二维拼图以及障碍物以及臂架的三维包围盒信息，直观地显示多维度的环境信息；
防碰撞检测单元，基于分离轴定理对臂架和障碍物包围盒信息进行防碰撞检测。
5.根据权利要求1或4所述的基于视场拼接和三维重建的操作辅助装置，其特征在于，所述图像特征信息采集单元可为多传感器视觉系统，所述多传感器视觉系统包括双目相机和辅助标定装置，用于采集周围环境和障碍物的图像信息。
6.根据权利要求4所述的基于视场拼接和三维重建的操作辅助装置，其特征在于，所述图像特征信息预处理单元为视场拼接模块，用于对所述图像特征信息进行预处理；所述三维重建处理单元为三维重建模块，用于将所述预处理后的图像信息进行模糊化三维重建处理；所述防碰撞检测单元为避碰预警模块，基于分离轴定理对臂架和障碍物包围盒信息进行防碰撞检测。
7.一种基于视场拼接和三维重建的操作辅助方法，其特征在于，所述方法包括以下步骤：
采集图像特征信息；
对所述图像特征信息依次进行预处理和模糊化三维重建，获得障碍物三维信息；
根据所述障碍物三维信息得到障碍物包围盒的位姿信息，根据机械臂控制系统和臂架尺寸得到臂架包围盒的位姿信息；
基于分离轴定理对臂架和障碍物包围盒位姿信息进行防碰撞检测。
8.一种基于视场拼接和三维重建的操作辅助方法，其特征在于，所述方法具体包括以下步骤：
步骤1)将多传感器视觉系统进行预先标定，标定完成后安装在固定基座或者机械臂的臂架上，采集各种工况下的周围环境和障碍物图像信息，作为基础图像特征信息；
步骤2)将所述图像特征信息实时发送给微处理器进行预处理，所述微处理器提取周围环境及障碍物的尺寸和相对于多传感器视觉系统的距离信息，同时视场拼接模块将采集到的二维图像进行仿射变换和拼接处理，得到广域大视角的二维拼图，并发送到显示系统；
步骤3)所述微处理器将预处理后的周围环境和障碍物的图像信息进行二维图像层面的目标检测和识别，三维重建模块进行模糊化三维重建处理，利用不同方位相机得到的两幅校正图像，找到图片的匹配点，根据三角测量原理恢复出障碍物三维信息；
步骤4)微处理器结合机械臂控制系统和臂架尺寸，获取固定基座全局坐标系下的机械臂臂架实时位姿信息，利用获得的所述障碍物三维信息，基于定向包围盒原理构建障碍物的最大包络包围盒，得到固定基座全局坐标系下的包围盒的位姿信息；
步骤5)在所述微处理器中建立机械臂各级臂架的最大包络包围盒，并将臂架和障碍物包围盒信息在所述显示系统实时更新显示，所述显示系统同时显示广域大视角的二维拼图以及障碍物以及臂架的三维包围盒信息，直观地显示多维度的环境信息；
步骤6)所述微处理器将机械臂臂架和障碍物包围盒信息发送到避碰预警模块，基于分离轴定理进行防碰撞检测，若检测到机械臂臂架包围盒和障碍物包围盒发生碰撞，预警系统则发出预警信号，同时所述微处理器发出减速或停止相关控制信号、避免碰撞情况发生。
9.根据权利要求8所述的基于视场拼接和三维重建的操作辅助方法，其特征在于，所述步骤1)中对所述多传感器视觉系统预先标定具体包括以下过程：微处理器从多传感器视觉系统采集的图像信息中提取、计算标定物的尺寸和位置信息，通过与标定得到的实际信息对比，以及图像拼接效果和效率，对多传感器视觉系统中各相机布置位置和相关参数进行预先标定。
10.根据权利要求8所述的基于视场拼接和三维重建的操作辅助方法，其特征在于，所述步骤3)中所述模糊化三维重建具体包括以下过程：利用不同方位相机得到的两幅校正图像，找到图片的匹配点，根据三角测量原理恢复出障碍物的三维信息。
11.根据权利要求10所述的基于视场拼接和三维重建的操作辅助方法，其特征在于，所述模糊化三维重建中采用单阈值法对障碍物轮廓信息进行处理。
12.根据权利要求8所述的基于视场拼接和三维重建的操作辅助方法，其特征在于，可适用于多传感器视觉系统与机械臂基座安装位姿相对固定和相对活动两种工况，且所述步骤4)中在安装位姿相对固定工况下，仅需对所述障碍物三维信息进行一次处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010896848.2A CN112017237B (zh) | 2020-08-31 | 2020-08-31 | 一种基于视场拼接和三维重建的操作辅助装置及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010896848.2A CN112017237B (zh) | 2020-08-31 | 2020-08-31 | 一种基于视场拼接和三维重建的操作辅助装置及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112017237A true CN112017237A (zh) | 2020-12-01 |
| CN112017237B CN112017237B (zh) | 2024-02-06 |
Family
ID=73503074
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010896848.2A Active CN112017237B (zh) | 2020-08-31 | 2020-08-31 | 一种基于视场拼接和三维重建的操作辅助装置及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112017237B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114211498A (zh) * | 2021-12-30 | 2022-03-22 | 中国煤炭科工集团太原研究院有限公司 | 基于方向包围盒的锚杆支护机器人碰撞检测方法及系统 |
Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8204623B1 (en) * | 2009-02-13 | 2012-06-19 | Hrl Laboratories, Llc | Planning approach for obstacle avoidance in complex environment using articulated redundant robot arm |
| CN102902269A (zh) * | 2012-09-21 | 2013-01-30 | 北京邮电大学 | 预选择最小距离指标冗余机器人动态避障方法 |
| CN104484648A (zh) * | 2014-11-27 | 2015-04-01 | 浙江工业大学 | 基于轮廓识别的机器人可变视角障碍物检测方法 |
| CN104850699A (zh) * | 2015-05-19 | 2015-08-19 | 天津市天锻压力机有限公司 | 冲压线搬运机器人防碰撞控制方法 |
| CN106441151A (zh) * | 2016-09-30 | 2017-02-22 | 中国科学院光电技术研究所 | 一种基于视觉和主动光学融合的三维目标欧式空间重建的测量系统 |
| CN107953334A (zh) * | 2017-12-25 | 2018-04-24 | 深圳禾思众成科技有限公司 | 一种基于a星算法的工业机械臂无碰撞路径规划方法 |
| CN108332755A (zh) * | 2018-02-08 | 2018-07-27 | 衢州职业技术学院 | 一种球形机器人视觉定位系统 |
| CN109910011A (zh) * | 2019-03-29 | 2019-06-21 | 齐鲁工业大学 | 一种基于多传感器的机械臂避障方法和机械臂 |
| CN110216674A (zh) * | 2019-06-20 | 2019-09-10 | 北京科技大学 | 一种冗余自由度机械臂视觉伺服避障系统 |
| CN110260866A (zh) * | 2019-07-19 | 2019-09-20 | 闪电(昆山)智能科技有限公司 | 一种基于视觉传感器的机器人定位与避障方法 |
| CN110253570A (zh) * | 2019-05-27 | 2019-09-20 | 浙江工业大学 | 基于视觉的工业机械臂人机安全系统 |
| CN110587600A (zh) * | 2019-08-20 | 2019-12-20 | 南京理工大学 | 基于点云的带电作业机器人自主路径规划方法 |
-
2020
- 2020-08-31 CN CN202010896848.2A patent/CN112017237B/zh active Active
Patent Citations (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8204623B1 (en) * | 2009-02-13 | 2012-06-19 | Hrl Laboratories, Llc | Planning approach for obstacle avoidance in complex environment using articulated redundant robot arm |
| CN102902269A (zh) * | 2012-09-21 | 2013-01-30 | 北京邮电大学 | 预选择最小距离指标冗余机器人动态避障方法 |
| CN104484648A (zh) * | 2014-11-27 | 2015-04-01 | 浙江工业大学 | 基于轮廓识别的机器人可变视角障碍物检测方法 |
| CN104850699A (zh) * | 2015-05-19 | 2015-08-19 | 天津市天锻压力机有限公司 | 冲压线搬运机器人防碰撞控制方法 |
| CN106441151A (zh) * | 2016-09-30 | 2017-02-22 | 中国科学院光电技术研究所 | 一种基于视觉和主动光学融合的三维目标欧式空间重建的测量系统 |
| CN107953334A (zh) * | 2017-12-25 | 2018-04-24 | 深圳禾思众成科技有限公司 | 一种基于a星算法的工业机械臂无碰撞路径规划方法 |
| CN108332755A (zh) * | 2018-02-08 | 2018-07-27 | 衢州职业技术学院 | 一种球形机器人视觉定位系统 |
| CN109910011A (zh) * | 2019-03-29 | 2019-06-21 | 齐鲁工业大学 | 一种基于多传感器的机械臂避障方法和机械臂 |
| CN110253570A (zh) * | 2019-05-27 | 2019-09-20 | 浙江工业大学 | 基于视觉的工业机械臂人机安全系统 |
| CN110216674A (zh) * | 2019-06-20 | 2019-09-10 | 北京科技大学 | 一种冗余自由度机械臂视觉伺服避障系统 |
| CN110260866A (zh) * | 2019-07-19 | 2019-09-20 | 闪电(昆山)智能科技有限公司 | 一种基于视觉传感器的机器人定位与避障方法 |
| CN110587600A (zh) * | 2019-08-20 | 2019-12-20 | 南京理工大学 | 基于点云的带电作业机器人自主路径规划方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114211498A (zh) * | 2021-12-30 | 2022-03-22 | 中国煤炭科工集团太原研究院有限公司 | 基于方向包围盒的锚杆支护机器人碰撞检测方法及系统 |
| CN114211498B (zh) * | 2021-12-30 | 2023-09-08 | 中国煤炭科工集团太原研究院有限公司 | 基于方向包围盒的锚杆支护机器人碰撞检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112017237B (zh) | 2024-02-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11034026B2 (en) | Utilizing optical data to dynamically control operation of a snake-arm robot | |
| CN110728715B (zh) | 一种智能巡检机器人摄像机角度自适应调整方法 | |
| JP2022039906A (ja) | マルチセンサによる複合キャリブレーション装置及び方法 | |
| JP5667638B2 (ja) | 作業機械の周辺監視装置 | |
| CN109297413B (zh) | 一种大型筒体结构视觉测量方法 | |
| JP2004198211A (ja) | 移動体周辺監視装置 | |
| JP2004198212A (ja) | 移動体周辺監視装置 | |
| EP2940422A1 (en) | Detection apparatus, detection method and manipulator | |
| EP3678096A1 (en) | Method for calculating a tow hitch position | |
| JPH06293236A (ja) | 走行環境監視装置 | |
| US10964059B2 (en) | Static camera calibration using motion of vehicle portion | |
| CN111968228B (zh) | 一种基于航空装配的增强现实自定位方法 | |
| JP2004120661A (ja) | 移動体周辺監視装置 | |
| CN112017237B (zh) | 一种基于视场拼接和三维重建的操作辅助装置及方法 | |
| CN102528811B (zh) | 托克马克腔内的机械臂定位与避障系统 | |
| JP2000293693A (ja) | 障害物検出方法および装置 | |
| CN111860270B (zh) | 一种基于鱼眼相机的障碍物检测方法及装置 | |
| CN117087543A (zh) | 一种井工矿作业车辆智能辅助驾驶系统 | |
| Awashima et al. | Visualization of obstacles on bird’s-eye view using depth sensor for remote controlled robot | |
| CN110378937B (zh) | 基于Kinect摄像头的工业机械臂人机安全距离检测方法 | |
| CN110490934A (zh) | 基于单目相机与机器人的混合机立式桨叶姿态检测方法 | |
| CN114299039B (zh) | 一种机器人及其碰撞检测装置和方法 | |
| CN113011212B (zh) | 图像识别方法、装置及车辆 | |
| JP2004120662A (ja) | 移動体周辺監視装置 | |
| JPH0795560A (ja) | 遠隔操作システムの画像計測方法及びその装置並びに距離計測方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhu Zhibin Inventor after: Tang Qiang Inventor after: Li Tengfei Inventor after: Zheng Xu Inventor after: Wang Hongwei Inventor after: Xi Ziyang Inventor before: Zhu Zhibin Inventor before: Li Tengfei Inventor before: Zheng Xu Inventor before: Wang Hongwei Inventor before: Tang Qiang Inventor before: Xi Ziyang |
|
| CB03 | Change of inventor or designer information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |