CN111798512B - 一种立体视觉系统工作空间和工作视角级联扩展方法 - Google Patents
一种立体视觉系统工作空间和工作视角级联扩展方法 Download PDFInfo
- Publication number
- CN111798512B CN111798512B CN202010487757.3A CN202010487757A CN111798512B CN 111798512 B CN111798512 B CN 111798512B CN 202010487757 A CN202010487757 A CN 202010487757A CN 111798512 B CN111798512 B CN 111798512B
- Authority
- CN
- China
- Prior art keywords
- stereoscopic vision
- vision system
- working
- coordinate system
- visual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
- G06T7/85—Stereo camera calibration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明公开了一种立体视觉系统工作空间和工作视角级联扩展方法,将多立体视觉系统中的一个立体视觉系统作为全局视觉系统固定不动,其他立体视觉系统可在工作过程中根据需要随意移动位置、调整视角,从而有效扩展立体视觉系统的工作空间与工作视角,提升立体视觉系统的灵活性。在全局立体视觉系统下看不到的待测量目标,可通过其他立体视觉系统实现待测量目标在全局坐标系下的间接定位,达到克服单个立体视觉系统视角受限和工作空间有限的目的,克服传统方案多立体视觉系统在工作过程中不能调整位姿的局限,使立体视觉系统的应用更加广泛。将本发明应用于手术室器械导航,具有成本低、工作空间灵活及定位精度高等优点。
Description
技术领域
本发明涉及立体视觉测量技术领域,尤其涉及通过多个立体视觉系统级联工作的方式,扩展立体视觉系统工作空间和工作视角的方法。
背景技术
立体视觉位姿测量系统,具有无接触测量目标位姿的能力,在医疗机器人辅助手术中多应用于对手术器械和目标的位姿测量与跟踪。然而,立体视觉存在工作空间有限、工作视角固定、工作距离与测量精度相互矛盾以及待跟踪手术器械容易被遮挡的缺点。
在实际工作场景中,需要预留较大的手术操作空间。为了避免干涉手术操作,要么需要移动立体视觉系统,要么需要立体视觉系统具有更大的工作空间和工作距离。然而,对单一立体视觉系统而言,增加工作空间和工作距离的代价是牺牲定位精度。
为了增加工作空间、扩展工作距离以及提高测量精度,目前主要有如下两种方式:(1)增加双目基线距离,提高摄像机分辨率,或者,缩短镜头焦距,扩大摄像机视野。缩短镜头焦距有助于增加视野,但会降低定位精度;增加双目基线距离有助于增加工作距离和提高工作精度,但会减少工作空间;提高摄像机分辨率,有助于提高精度,但会增加系统成本和降低图像处理速度;并且,无论采取上述何种措施,在工作过程中都必须保持视角固定,会存在视线受遮挡影响的问题。(2)利用多个立体视觉系统。通过在工作场景中布置多个立体视觉系统,并通过全局标定方法将所有立体视觉系统配准到同一个世界参考坐标系;由于存在多个立体视觉系统,每个系统可以有自己的工作空间和工作视角,因此可以起到拓展工作空间和弥补单一立体视觉系统视角有限的缺陷的作用;上述方法中立体视觉系统的布置会受到全局标定方法的限制,并且,在工作过程所有的立体视觉系统都必须保持固定,否则相对位姿关系会发生变化,系统将会失效。
发明内容
有鉴于此,本发明提供了一种立体视觉系统工作空间和工作视角级联扩展方法,用以有效扩展立体视觉系统的工作空间与工作视角。
本发明提供的一种立体视觉系统工作空间和工作视角级联扩展方法,包括如下步骤:
S1:选择N个立体视觉系统,以1号立体视觉系统作为主立体视觉系统,2号~N号立体视觉系统作为从立体视觉系统;以主立体视觉系统的视觉坐标系作为全局参考坐标系{W};其中,N为大于1的整数;
S2:在n号立体视觉系统的外表面上粘贴或印刷人工标记Markern,由人工标记Markern建立局部坐标系{Mn};其中,n=2,3,…N,不同的立体视觉系统对应的人工标记不同;
S4:将1号立体视觉系统与全局视觉系统支架固定连接,确定1号立体视觉系统的工作位置和视角方向后固定并保持工作过程中全程不变;
S5:将n号立体视觉系统与n号自锁牵引机械臂固定连接,通过力牵引随时调整n号立体视觉系统的工作位置和视角方向,使人工标记Markern在1号立体视觉系统的有效工作空间内可见,待测量目标P在n号立体视觉系统的有效工作空间内可见;
S6:利用1号立体视觉系统测量n号立体视觉系统上人工标记Markern建立的局部坐标系{Mn}的空间位姿,记为利用n号立体视觉系统测量待测量目标P在n号立体视觉系统的有效工作空间内的位姿,记为结合标定的人工标记Markern建立的局部坐标系{Mn}与n号立体视觉系统的视觉坐标系{Cn}的空间映射矩阵实现待测量目标P的位姿从n号立体视觉系统的视觉坐标系{Cn}到全局参考坐标系{W}的转换:
其中,表示待测量目标P在全局参考坐标系{W}下的坐标,表示待测量目标P在n号立体视觉系统的视觉坐标系{Cn}下的坐标;是P=[x y z]T的齐次坐标,(x,y,z)表示待测量目标P在三维空间坐标系中的坐标。
在一种可能的实现方式中,在本发明提供的上述立体视觉系统工作空间和工作视角级联扩展方法中,步骤S2中,人工标记Markern为具有至少三个非共线特征点的平面型标记。
本发明提供的上述立体视觉系统工作空间和工作视角级联扩展方法,将多立体视觉系统中的一个立体视觉系统作为全局视觉系统固定不动,其他立体视觉系统可在工作过程中根据需要随意移动位置、调整视角,从而有效扩展立体视觉系统的工作空间与工作视角,提升立体视觉系统的灵活性。在全局立体视觉系统下看不到的待测量目标,可通过其他立体视觉系统实现待测量目标在全局坐标系下的间接定位,达到克服单个立体视觉系统视角受限和工作空间有限的目的,克服传统方案多立体视觉系统在工作过程中不能调整位姿的局限,使立体视觉系统的应用更加广泛。将本发明应用于手术室器械导航,具有成本低、工作空间灵活及定位精度高等优点。
附图说明
图1为本发明实施例1提供的一种立体视觉系统工作空间和工作视角级联扩展方法中各视觉系统、粘贴标记及各坐标系示意图。
附图标记说明:1、1号立体视觉系统;2、2号立体视觉系统;3、三X组合Marker标记;4、全局视觉系统支架;5、自锁牵引机械臂。
具体实施方式
下面将结合本发明实施方式中的附图,对本发明实施方式中的技术方案进行清楚、完整的描述,显然,所描述的实施方式仅仅是作为例示,并非用于限制本发明。
本发明提供的一种立体视觉系统工作空间和工作视角级联扩展方法,包括如下步骤:
S1:选择N个立体视觉系统,以1号立体视觉系统作为主立体视觉系统,2号~N号立体视觉系统作为从立体视觉系统;以主立体视觉系统的视觉坐标系作为全局参考坐标系{W};其中,N为大于1的整数;
S2:在n号立体视觉系统的外表面上粘贴或印刷人工标记Markern,由人工标记Markern建立局部坐标系{Mn};其中,n=2,3,…N,不同的立体视觉系统对应的人工标记不同;
具体地,人工标记为平面人工标记,且具有唯一性,例如,对于任意两个人工标记Markeri和Markerj,其中,i=2,3,…N,j=2,3,…N,i≠j,应能进行本质的区分,以分别代表不同的立体视觉系统;
S4:将1号立体视觉系统与全局视觉系统支架固定连接,确定1号立体视觉系统的工作位置和视角方向后固定并保持工作过程全程不变;
具体地,全局视觉系统支架可以为三角架,或者,也可以为其他适合固定的支架,在此不做限定;
S5:将n号立体视觉系统与n号自锁牵引机械臂固定连接,通过力牵引随时调整n号立体视觉系统的工作位置和视角方向,使人工标记Markern在1号立体视觉系统的有效工作空间内可见,待测量目标P在n号立体视觉系统的有效工作空间内可见;
S6:利用1号立体视觉系统测量n号立体视觉系统上人工标记Markern建立的局部坐标系{Mn}的空间位姿,记为利用n号立体视觉系统测量待测量目标P在n号立体视觉系统的有效工作空间内的位姿,记为结合标定的人工标记Markern建立的局部坐标系{Mn}与n号立体视觉系统的视觉坐标系{Cn}的空间映射矩阵实现待测量目标P的位姿从n号立体视觉系统的视觉坐标系{Cn}到1号立体视觉系统的视觉坐标系即全局参考坐标系{W}的转换:
其中,表示待测量目标P在全局参考坐标系{W}下的坐标,表示待测量目标P在n号立体视觉系统的视觉坐标系{Cn}下的坐标;是P=[x y z]T的齐次坐标,(x,y,z)表示待测量目标P在三维空间坐标系中的坐标。
在具体实施时,在本发明提供的上述立体视觉系统工作空间和工作视角级联扩展方法中,步骤S2中,人工标记Markern可以为具有至少三个非共线特征点的平面型标记,例如,人工标记Markern可以为三X组合Marker标记,三X组合Marker标记由三个非共线的X角点按一定规则组合而成,便于视觉算法检测并建立局部坐标系。
下面通过一个具体的实施例对本发明提供的上述立体视觉系统工作空间和工作视角级联扩展方法的具体实施进行详细说明。
实施例1:
第一步,如图1所示,选择两个立体视觉系统,并分别编号为1号立体视觉系统1和2号立体视觉系统2。选择1号立体视觉系统1作为主立体视觉系统,2号立体视觉系统2作为从立体视觉系统。
具体地,如果两个立体视觉系统相同,则可以将任意一个立体视觉系统编号为1号,另一个立体视觉系统编号为2号;如果两个立体视觉系统不同,则选择性能最好或精度最高的立体视觉系统为1号,另一个立体视觉系统为2号。
第二步,在2号立体视觉系统2的外表面上印刷或粘贴三X组合Marker标记3,在如图1所示的2号立体视觉系统2中,建立三X组合Marker标记的局部坐标系OM-XMYMZM,并记为局部坐标系{M2}。
第三步,以2号立体视觉系统2的左眼摄像机坐标系O1-X1Y1Z1作为2号立体视觉系统的视觉坐标系,并记为{C2}。由于三X组合Marker标记与2号立体视觉系统2固定连接,因此,{M2}与{C2}之间存在固定的相对位姿关系,可以用空间映射矩阵描述,其中,可以通过标定的方法确定。
第四步,将1号立体视觉系统1与全局视觉系统支架4固定连接,选择合适的工作位置和视角方向后固定1号立体视觉系统1并保持工作过程中全程不变,将1号立体视觉系统1的左眼摄像机坐标系O0-X0Y0Z0作为全局参考坐标系,并记为{W}。
第五步,将2号立体视觉系统2与自锁牵引机械臂5固定连接,根据需要随时调整2号立体视觉系统2的工作位置和视角方向,使得2号立体视觉系统2上面的三X组合Marker标记在1号立体视觉系统1的有效工作空间内并可被检测到,待测量目标P在2号立体视觉系统2的有效工作空间内并可被检测到。
第六步,利用1号立体视觉系统1测量2号立体视觉系统2上三X组合Marker标记建立的局部坐标系的空间位姿,记为利用2号立体视觉系统2测量待测量目标P在2号立体视觉系统2的有效工作空间内的位姿,记为结合标定的2号立体视觉系统2的视觉坐标系{C2}与三X组合Marker标记建立的局部坐标系{M2}的空间映射矩阵实现待测量目标P的位姿从2号立体视觉系统2的视觉坐标系{C2}到1号立体视觉系统1的视觉坐标系即全局参考坐标系{W}的转换:
其中,表示待测量目标P在全局参考坐标系{W}下的坐标,表示待测量目标P在n号立体视觉系统的视觉坐标系{Cn}下的坐标;是P=[x y z]T的齐次坐标,(x,y,z)表示待测量目标P在三维空间坐标系中的坐标。
本发明提供的上述立体视觉系统工作空间和工作视角级联扩展方法,将多立体视觉系统中的一个立体视觉系统作为全局视觉系统固定不动,其他立体视觉系统可在工作过程中根据需要随意移动位置、调整视角,从而有效扩展立体视觉系统的工作空间与工作视角,提升立体视觉系统的灵活性。在全局立体视觉系统下看不到的待测量目标,可通过其他立体视觉系统实现待测量目标在全局坐标系下的间接定位,达到克服单个立体视觉系统视角受限和工作空间有限的目的,克服传统方案多立体视觉系统在工作过程中不能调整位姿的局限,使立体视觉系统的应用更加广泛。将本发明应用于手术室器械导航,具有成本低、工作空间灵活及定位精度高等优点。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (2)
1.一种立体视觉系统工作空间和工作视角级联扩展方法,其特征在于,包括如下步骤:
S1:选择N个立体视觉系统,以1号立体视觉系统作为主立体视觉系统,2号~N号立体视觉系统作为从立体视觉系统;以主立体视觉系统的视觉坐标系作为全局参考坐标系{W};其中,N为大于1的整数;
S2:在n号立体视觉系统的外表面上粘贴或印刷人工标记Markern,由人工标记Markern建立局部坐标系{Mn};其中,n=2,3,…N,不同的立体视觉系统对应的人工标记不同;
S4:将1号立体视觉系统与全局视觉系统支架固定连接,确定1号立体视觉系统的工作位置和视角方向后固定并保持工作过程中全程不变;
S5:将n号立体视觉系统与n号自锁牵引机械臂固定连接,通过力牵引随时调整n号立体视觉系统的工作位置和视角方向,使人工标记Markern在1号立体视觉系统的有效工作空间内可见,待测量目标P在n号立体视觉系统的有效工作空间内可见;
S6:利用1号立体视觉系统测量n号立体视觉系统上人工标记Markern建立的局部坐标系{Mn}的空间位姿,记为利用n号立体视觉系统测量待测量目标P在n号立体视觉系统的有效工作空间内的位姿,记为结合标定的人工标记Markern建立的局部坐标系{Mn}与n号立体视觉系统的视觉坐标系{Cn}的空间映射矩阵实现待测量目标P的位姿从n号立体视觉系统的视觉坐标系{Cn}到全局参考坐标系{W}的转换:
2.如权利要求1所述的立体视觉系统工作空间和工作视角级联扩展方法,其特征在于,步骤S2中,人工标记Markern为具有至少三个非共线特征点的平面型标记。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010487757.3A CN111798512B (zh) | 2020-06-02 | 2020-06-02 | 一种立体视觉系统工作空间和工作视角级联扩展方法 |
PCT/CN2021/072834 WO2021244038A1 (zh) | 2020-06-02 | 2021-01-20 | 一种立体视觉系统工作空间和工作视角级联扩展方法 |
US17/897,244 US20220405971A1 (en) | 2020-06-02 | 2022-08-29 | Cascading expansion method of working space and working visual angle of stereo vision system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010487757.3A CN111798512B (zh) | 2020-06-02 | 2020-06-02 | 一种立体视觉系统工作空间和工作视角级联扩展方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111798512A CN111798512A (zh) | 2020-10-20 |
CN111798512B true CN111798512B (zh) | 2021-10-26 |
Family
ID=72806316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010487757.3A Active CN111798512B (zh) | 2020-06-02 | 2020-06-02 | 一种立体视觉系统工作空间和工作视角级联扩展方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220405971A1 (zh) |
CN (1) | CN111798512B (zh) |
WO (1) | WO2021244038A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111798512B (zh) * | 2020-06-02 | 2021-10-26 | 北京航空航天大学 | 一种立体视觉系统工作空间和工作视角级联扩展方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109029257A (zh) * | 2018-07-12 | 2018-12-18 | 中国科学院自动化研究所 | 基于立体视觉和结构光视觉的大型工件位姿测量系统、方法 |
CN110109333A (zh) * | 2019-05-07 | 2019-08-09 | 北京航空航天大学 | 一种基于空间光调制器有效区域扩展的大视角全息显示系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100918480B1 (ko) * | 2007-09-03 | 2009-09-28 | 한국전자통신연구원 | 스테레오 비전 시스템 및 그 처리 방법 |
US9739595B2 (en) * | 2008-12-11 | 2017-08-22 | Automated Precision Inc. | Multi-dimensional measuring system with measuring instrument having 360° angular working range |
CN106204731A (zh) * | 2016-07-18 | 2016-12-07 | 华南理工大学 | 一种基于双目立体视觉系统的多视角三维重建方法 |
CN111798512B (zh) * | 2020-06-02 | 2021-10-26 | 北京航空航天大学 | 一种立体视觉系统工作空间和工作视角级联扩展方法 |
-
2020
- 2020-06-02 CN CN202010487757.3A patent/CN111798512B/zh active Active
-
2021
- 2021-01-20 WO PCT/CN2021/072834 patent/WO2021244038A1/zh active Application Filing
-
2022
- 2022-08-29 US US17/897,244 patent/US20220405971A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109029257A (zh) * | 2018-07-12 | 2018-12-18 | 中国科学院自动化研究所 | 基于立体视觉和结构光视觉的大型工件位姿测量系统、方法 |
CN110109333A (zh) * | 2019-05-07 | 2019-08-09 | 北京航空航天大学 | 一种基于空间光调制器有效区域扩展的大视角全息显示系统 |
Also Published As
Publication number | Publication date |
---|---|
US20220405971A1 (en) | 2022-12-22 |
CN111798512A (zh) | 2020-10-20 |
WO2021244038A1 (zh) | 2021-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6101455A (en) | Automatic calibration of cameras and structured light sources | |
CN107093195B (zh) | 一种激光测距与双目相机结合的标记点定位方法 | |
CN109242915A (zh) | 基于多面立体靶标的多相机系统标定方法 | |
US9418435B2 (en) | Three-dimensional measurement method | |
CN109238235B (zh) | 单目序列图像实现刚体位姿参数连续性测量方法 | |
CN108489398B (zh) | 一种广角场景下激光加单目视觉测量三维坐标的方法 | |
EP1942662A1 (en) | Automatic improvement of tracking data for intraoperative C-arm images in image guided surgery | |
CN110140023B (zh) | 标记器和使用了标记器的姿势推定方法及位置姿势推定方法 | |
Yu et al. | A calibration method based on virtual large planar target for cameras with large FOV | |
CN110646016B (zh) | 基于经纬仪与视觉辅助柔性基线分布式pos标校方法和装置 | |
CN110415286B (zh) | 一种多飞行时间深度相机系统的外参标定方法 | |
CN1561502A (zh) | 用于三维再现的捷联系统 | |
JPH11160021A (ja) | 広域3次元位置計測方法及び装置 | |
CN108022267A (zh) | 一种摄像机标定装置及标定方法 | |
KR20130121290A (ko) | 회전식 라인 카메라로 획득한 실내 전방위 영상의 지오레퍼런싱 방법 | |
CN111798512B (zh) | 一种立体视觉系统工作空间和工作视角级联扩展方法 | |
WO2005027739A1 (ja) | 距離画像計測機能を有する撮像装置及び内視鏡装置 | |
CN114926538A (zh) | 单目激光散斑投影系统的外参数标定方法和装置 | |
CN114219866A (zh) | 双目结构光三维重建方法、重建系统及重建设备 | |
CN111402315B (zh) | 一种自适应调整双目摄像机基线的三维距离测量方法 | |
CN109938841B (zh) | 一种基于多目相机坐标融合的手术器械导航系统 | |
WO2020113978A1 (zh) | 位于平面上的孔的中心位置的计算方法 | |
CN216116064U (zh) | 掘进机的位姿标定系统 | |
CN115375773A (zh) | 单目激光散斑投影系统的外参数标定方法和相关装置 | |
CN112562010B (zh) | 一种双远心镜头的简化成像模型及其标定方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |