CN112907455A - 几何相机校正系统及方法 - Google Patents
几何相机校正系统及方法 Download PDFInfo
- Publication number
- CN112907455A CN112907455A CN201911228040.0A CN201911228040A CN112907455A CN 112907455 A CN112907455 A CN 112907455A CN 201911228040 A CN201911228040 A CN 201911228040A CN 112907455 A CN112907455 A CN 112907455A
- Authority
- CN
- China
- Prior art keywords
- matrix
- dimensional
- camera
- image
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 239000011159 matrix material Substances 0.000 claims abstract description 49
- 238000013507 mapping Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种几何相机校正系统，包含外部叠代最近点装置，其根据相机坐标的第一三维点，借以调整初始外部矩阵，因而产生估算外部矩阵；及内部叠代最近点装置，其接收棋盘坐标的三维点，据以产生棋盘坐标的三维点与预设第二参考三维点之间的误差量。外部叠代最近点装置执行叠代最近点法，用以将相机坐标的三维点与预设第一参考三维点之间差值予以最小化。如果目前误差量不大于先前误差量，则输出目前内部矩阵作为更新内部矩阵。
Description
技术领域
本发明是有关一种机器视觉，特别是关于一种几何相机校正。
背景技术
几何相机校正(geometric camera calibration或resectioning)是一种估算相机模型(例如针孔相机模型)的参数的方法，用以近似相机或摄影机。此参数通常以相机矩阵(例如4x3矩阵)来表示，其包含代表相机于三维场景的位置的外部矩阵，以及代表相机的光学中心与焦距的内部矩阵。估算参数可适用于机器视觉，以提供基于影像的自动检测与分析，可应用于自动检测、程序控制及机器人引导。
传统相机校正方法通常遭受到相当的误差。因此，亟需提出一种新颖且减少误差的相机校正机制。
发明内容
鉴于上述，本发明实施例的目的之一在于提出一种估算相机模型参数的几何相机校正系统与方法，用以有效降低误差。
根据本发明实施例，几何相机校正系统包含外部叠代最近点装置及内部叠代最近点装置。外部叠代最近点装置根据相机坐标的第一三维点，借以调整初始外部矩阵，因而产生估算外部矩阵。内部叠代最近点装置接收棋盘坐标的三维点，据以产生棋盘坐标的三维点与预设第二参考三维点之间的误差量。外部叠代最近点装置执行叠代最近点法，用以将相机坐标的三维点与预设第一参考三维点之间差值予以最小化。如果目前误差量不大于先前误差量，则输出目前内部矩阵作为更新内部矩阵。
附图说明
图1显示本发明实施例的几何相机校正系统的方框图。
图2显示本发明实施例的几何相机校正方法的流程图。
【主要元件符号说明】
100：几何相机校正系统 100A：外部估算装置
100B：内部最佳化装置 10A：棋盘
10B：物件 11：三维相机
12：初始校正器 13：背景去除器
14：(第一)重投射器 15：外部叠代最近点装置
16：(第二)重投射器 17：映射装置
18：内部叠代最近点装置 19：决定装置
200：几何相机校正方法 21：提供三维相机
22：产生初始外部矩阵 23：产生前景影像
24：将三维点重投射至相机坐标
25：执行叠代最近点法以产生估算外部矩阵
26：将三维点重投射至相机坐标
27：产生棋盘坐标的三维点
28：执行叠代最近点法以产生误差量
29：决定目前误差量是否大于先前误差量
I1：第一影像
I2：第二影像
具体实施方式
图1显示本发明实施例的几何相机校正系统100的方框图，图2显示本发明实施例的几何相机校正方法200的流程图。几何相机校正系统(以下简称系统)100的方框与几何相机校正方法(以下简称方法)200的步骤，其实施可使用电子电路、电脑软件或其组合。例如，系统100与方法200的至少一部份可使用数字影像处理器来执行。在另一例子中，系统100与方法200的至少一部份可使用指令控制的电脑来实施。在一实施例中，系统100与方法200可应用于扩增实境(AR)装置。扩增实境装置的硬件元件主要包含处理器(例如影像处理器)、显示器(例如头戴式显示器)及感测器(例如色彩-深度相机，例如红绿蓝-深度相机，用以撷取红、绿、蓝及深度)。其中，感测器或相机撷取场景以产生影像图框(frame)，馈至处理器以执行系统100与方法200的操作，因而呈现扩增实境于显示器。
在本实施例中，系统100可包含外部估算装置100A，用以产生估算外部(参数)矩阵；及内部最佳化装置100B，用以产生更新内部(参数)矩阵。本说明书采用电脑或机器视觉领域的习惯用法，外部(参数)矩阵是包含外部参数，以代表相机于三维场景的位置与方位，内部(参数)矩阵是包含内部参数，以代表相机的光学中心与焦距。外部矩阵可用以将点从系统坐标转换为相机坐标，内部矩阵可用以将点从相机坐标映射至(相应于影像平面的)影像坐标。
系统100可包含至少一个三维相机11，用以撷取影像(步骤21)。其中，三维相机11可撷取不含物件10B的棋盘10A(其具预设图案)的第一影像I1及相关深度影像；及撷取含物件10B的棋盘10A的第二影像I2及相关深度影像。在本说明书中，三维相机(例如红绿蓝-深度相机)是指一种可撷取深度影像与色彩(例如红、绿、蓝)影像的相机。
在本实施例中，外部估算装置100A可包含初始校正器12，其接收第一影像I1(亦即不含物件10B的影像)，据以产生初始外部矩阵(步骤22)。初始校正器12还可产生(初始)内部矩阵。
本实施例的外部估算装置100A可包含背景去除器(background subtractor)13，其接收第一影像(及其深度图)与第二影像I2(及其深度图)，据以产生前景影像(其代表物件10B)，其包含相关深度图(步骤23)。背景去除器13可使用背景分割(segmentation)或背景去除技术。
本实施例的外部估算装置100A可包含(第一)重投射器(reprojector)14，其接收前景影像(及相关深度图)，根据(初始或目前)内部矩阵，用以将前景影像的三维点从影像坐标映射(或投射)至相机坐标，因而产生相机坐标的(第一)三维点(步骤24)。
根据本实施例的特征之一，外部估算装置100A可包含外部叠代最近点(iterativeclosest point,ICP)装置15，其根据(重投射器14的)相机坐标的三维点，借以调整(初始校正器12的)初始外部矩阵，因而产生估算外部矩阵(步骤25)。外部叠代最近点装置15可执行叠代最近点法，用以将相机坐标的三维点与预设第一参考(或黄金(golden))三维点之间差值予以最小化，其中初始外部矩阵可作为外部叠代最近点装置15于执行叠代最近点法时的初始解，用以产生估算外部矩阵，作为外部估算装置100A的输出。叠代最近点法的细节可参考以下文献：李施乐(Shile Li)等人提出的“使用强度辅助的叠代最近点法的快速视觉测距(Fast Visual Odometry Using Intensity-Assisted Iterative Closest Point)”，公开于2016年七月，刊登于电气及电子工程师学会的机器人学与自动化期刊(IEEE ROBOTICSAND AUTOMATION LETTERS)第1册第2号；克里斯琴·克尔(Christian Kerl)等人提出“红绿蓝-深度相机的密集视觉同步定位与地图构建(Dense Visual SLAM for RGB-DCameras)”，公开于2013年，刊登于智能机器人系统的国际会议公报(Proc.of theInt.Conf.on Intelligent Robot Systems (IROS))；卡里·普立(Kari Pulli)提出的“大数据集的多视配准(Multiview Registration for Large Data Sets)”，公开于1999年十月，刊登于三维数字影像与模型建立第二次国际会议(Second International Conferenceon 3D Digital Imaging and Modeling)；以及弗朗索瓦·帕莫洛(Francois Pomerleau)等人提出的“深度相机追踪：快速叠代最近点法的参数研究(Tracking a Depth Camera:Parameter Exploration for Fast ICP)”，公开于2011年九月，刊登于电气及电子工程师学会/日本机器人学会的智能机器人学与系统国际会议(IEEE/RSJ InternationalConference on Intelligent Robots and Systems)，其内容视为本说明书的一部份。
在本实施例中，内部最佳化装置100B可包含(第二)重投射器16(类似于第一重投射器14)，其接收(背景去除器13的)前景影像(及相关深度图)，根据目前内部矩阵，用以将前景影像的三维点从影像坐标映射(或投射)至相机坐标，因而产生相机坐标的(第二)三维点(步骤26)。
本实施例的内部最佳化装置100B可包含映射装置17，其接收(重投射器16的)相机坐标的三维点，将其映射至相关于棋盘10A的(三维)棋盘坐标，因而产生棋盘坐标的三维点(步骤27)。
本实施例的内部最佳化装置100B可包含内部叠代最近点装置18，其接收棋盘坐标的三维点，据以产生棋盘坐标的三维点与预设第二参考(或黄金(golden))三维点之间的误差量(步骤28)。其中，内部叠代最近点装置18可执行叠代最近点法以得到棋盘坐标的三维点与预设第二参考三维点之间的对应(correspondence)与转换(transformation)。在本实施例中，使用误差平方和(sum of squared differences)作为内部叠代最近点装置18于执行叠代最近点法时的成本函数(cost function)。
本实施例的内部最佳化装置100B可包含决定装置19，其接收(内部叠代最近点装置18的)误差量，据以决定(目前叠代最近点法的)目前误差量是否大于(先前叠代最近点法的)先前误差量(步骤29)。值得注意的是，决定装置19可实施于内部叠代最近点装置18内。如果决定装置19的结果是肯定的(亦即目前误差量>先前误差量)，则调整目前内部矩阵的内部参数，以产生调整内部矩阵，馈至重投射器16以再次执行。如果决定装置19的结果是否定的(亦即目前误差量<＝先前误差量)，则输出目前内部矩阵作为更新内部矩阵。
以上所述仅为本发明的较佳实施例而已，并非用以限定本发明的申请专利范围；凡其它未脱离发明所揭示的精神下所完成的等效改变或修饰，均应包含在申请专利范围内。
Claims (10)
1.一种几何相机校正系统，其特征在于包含：
外部叠代最近点装置，其根据相机坐标的第一三维点，借以调整初始外部矩阵，因而产生估算外部矩阵；及
内部叠代最近点装置，其接收棋盘坐标的三维点，据以产生该棋盘坐标的三维点与预设第二参考三维点之间的误差量；
其中该外部叠代最近点装置执行叠代最近点法，用以将该相机坐标的三维点与预设第一参考三维点之间差值予以最小化；及
其中如果目前误差量不大于先前误差量，则输出目前内部矩阵作为更新内部矩阵。
2.根据权利要求1所述的几何相机校正系统，其特征在于：其中该初始外部矩阵作为该外部叠代最近点装置于执行叠代最近点法时的初始解，用以产生该估算外部矩阵。
3.根据权利要求1所述的几何相机校正系统，其特征在于：更包含至少一个三维相机，用以撷取不含物件的棋盘的第一影像及相关深度影像，且撷取含该物件的棋盘的第二影像及相关深度影像。
4.根据权利要求3所述的几何相机校正系统，其特征在于更包含：
初始校正器，其根据该第一影像以产生该初始外部矩阵。
5.根据权利要求3所述的几何相机校正系统，其特征在于更包含：
背景去除器，其根据该第一影像及其深度图且根据该第二影像及其深度图，用以产生前景影像及相关深度图以代表该物件；及
第一重投射器，其根据初始内部矩阵，用以将该前景影像的三维点映射至相机坐标，因而产生该相机坐标的第一三维点。
6.根据权利要求5所述的几何相机校正系统，其特征在于更包含：
第二重投射器，其根据目前内部矩阵，用以将该前景影像的三维点映射至相机坐标，因而产生相机坐标的第二三维点；及
映射装置，其将该第二三维点从相机坐标映射至棋盘坐标，因而产生该棋盘坐标的三维点；
其中如果该目前误差量大于该先前误差量，则调整该目前内部矩阵的参数。
7.一种几何相机校正方法，其特征在于包含：
执行外部叠代最近点法，根据相机坐标的第一三维点，借以调整初始外部矩阵，因而产生估算外部矩阵；及
执行内部叠代最近点法，其接收棋盘坐标的三维点，据以产生该棋盘坐标的三维点与预设第二参考三维点之间的误差量；
其中该外部叠代最近点法将该相机坐标的三维点与预设第一参考三维点之间差值予以最小化；及
其中如果目前误差量不大于先前误差量，则输出目前内部矩阵作为更新内部矩阵。
8.根据权利要求7所述的几何相机校正方法，其特征在于：其中该初始外部矩阵作为该外部叠代最近点法的初始解，用以产生该估算外部矩阵。
9.根据权利要求7所述的几何相机校正方法，其特征在于：更包含提供至少一个三维相机，用以撷取不含物件的棋盘的第一影像及相关深度影像，且撷取含该物件的棋盘的第二影像及相关深度影像。
10.根据权利要求9所述的几何相机校正方法，其特征在于更包含：
根据该第一影像及其深度图且根据该第二影像及其深度图，用以产生前景影像及相关深度图以代表该物件；及
根据初始内部矩阵，用以将该前景影像的三维点第一次映射至相机坐标，因而产生该相机坐标的第一三维点。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911228040.0A CN112907455B (zh) | 2019-12-04 | 2019-12-04 | 几何相机校正系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911228040.0A CN112907455B (zh) | 2019-12-04 | 2019-12-04 | 几何相机校正系统及方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112907455A true CN112907455A (zh) | 2021-06-04 |
| CN112907455B CN112907455B (zh) | 2024-06-21 |
Family
ID=76110747
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911228040.0A Active CN112907455B (zh) | 2019-12-04 | 2019-12-04 | 几何相机校正系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112907455B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105046746A (zh) * | 2015-08-05 | 2015-11-11 | 西安新拓三维光测科技有限公司 | 一种数字散斑人体三维快速扫描方法 |
| US20160189358A1 (en) * | 2014-12-29 | 2016-06-30 | Dassault Systemes | Method for calibrating a depth camera |
| CN106022210A (zh) * | 2016-05-04 | 2016-10-12 | 成都指码科技有限公司 | 一种静脉轮廓三维点云匹配的身份识别方法及装置 |
| CN108288294A (zh) * | 2018-01-17 | 2018-07-17 | 视缘(上海)智能科技有限公司 | 一种3d相机群的外参标定方法 |
| CN108460779A (zh) * | 2018-02-12 | 2018-08-28 | 浙江大学 | 一种动态环境下的移动机器人图像视觉定位方法 |
| EP3415093A1 (en) * | 2017-06-15 | 2018-12-19 | Koninklijke Philips N.V. | An x-ray radiography apparatus |
| CN109087388A (zh) * | 2018-07-12 | 2018-12-25 | 南京邮电大学 | 基于深度传感器的物体三维建模方法 |
| WO2019092730A1 (en) * | 2017-11-13 | 2019-05-16 | Carmel Haifa University Economic Corporation Ltd. | Motion tracking with multiple 3d cameras |
-
2019
- 2019-12-04 CN CN201911228040.0A patent/CN112907455B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160189358A1 (en) * | 2014-12-29 | 2016-06-30 | Dassault Systemes | Method for calibrating a depth camera |
| CN105046746A (zh) * | 2015-08-05 | 2015-11-11 | 西安新拓三维光测科技有限公司 | 一种数字散斑人体三维快速扫描方法 |
| CN106022210A (zh) * | 2016-05-04 | 2016-10-12 | 成都指码科技有限公司 | 一种静脉轮廓三维点云匹配的身份识别方法及装置 |
| EP3415093A1 (en) * | 2017-06-15 | 2018-12-19 | Koninklijke Philips N.V. | An x-ray radiography apparatus |
| WO2019092730A1 (en) * | 2017-11-13 | 2019-05-16 | Carmel Haifa University Economic Corporation Ltd. | Motion tracking with multiple 3d cameras |
| CN108288294A (zh) * | 2018-01-17 | 2018-07-17 | 视缘(上海)智能科技有限公司 | 一种3d相机群的外参标定方法 |
| CN108460779A (zh) * | 2018-02-12 | 2018-08-28 | 浙江大学 | 一种动态环境下的移动机器人图像视觉定位方法 |
| CN109087388A (zh) * | 2018-07-12 | 2018-12-25 | 南京邮电大学 | 基于深度传感器的物体三维建模方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112907455B (zh) | 2024-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102458415B1 (ko) | 로봇 모션 용 비전 시스템의 자동 핸드-아이 캘리브레이션을 위한 시스템 및 방법 | |
| KR101590530B1 (ko) | 자동 장면 교정 | |
| JP6764533B2 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
| US10825249B2 (en) | Method and device for blurring a virtual object in a video | |
| US20120148145A1 (en) | System and method for finding correspondence between cameras in a three-dimensional vision system | |
| CN111524194B (zh) | 一种激光雷达和双目视觉相互融合的定位方法及终端 | |
| CN111612794A (zh) | 基于多2d视觉的零部件高精度三维位姿估计方法及系统 | |
| US10438412B2 (en) | Techniques to facilitate accurate real and virtual object positioning in displayed scenes | |
| US10755441B1 (en) | Geometric camera calibration system and method | |
| JP4132068B2 (ja) | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム | |
| WO2019228523A1 (zh) | 物体空间位置形态的确定方法、装置、存储介质及机器人 | |
| US20190080190A1 (en) | System and method of selecting a keyframe for iterative closest point | |
| WO2018209592A1 (zh) | 一种机器人的运动控制方法、机器人及控制器 | |
| JP6922348B2 (ja) | 情報処理装置、方法、及びプログラム | |
| CN112907455A (zh) | 几何相机校正系统及方法 | |
| TWI711010B (zh) | 幾何相機校正系統及方法 | |
| CN112767481B (zh) | 一种基于视觉边缘特征的高精度定位及建图方法 | |
| CN112422848B (zh) | 一种基于深度图和彩色图的视频拼接方法 | |
| US11080862B2 (en) | Reliability based keyframe switching system and method adaptable to ICP | |
| CN112767482A (zh) | 一种多传感器融合的室内外定位方法及系统 | |
| EP4379318A1 (en) | Information processing device, information processing method, imaging device, and information processing system | |
| TW201913044A (zh) | 適用於疊代最近點法以選擇關鍵圖框的系統與方法 | |
| Kaneda et al. | Automatic alignment method for projection mapping on planes with depth | |
| Hung et al. | When Should We Consider Lens Distortion in Camera Calibration. | |
| JP5554286B2 (ja) | 環境における３次元（３ｄ）オブジェクトの３ｄ姿勢を求めるための方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant |