CN107333028A - 摄像头校正方法以及使用该方法的装置 - Google Patents
摄像头校正方法以及使用该方法的装置 Download PDFInfo
- Publication number
- CN107333028A CN107333028A CN201710523671.XA CN201710523671A CN107333028A CN 107333028 A CN107333028 A CN 107333028A CN 201710523671 A CN201710523671 A CN 201710523671A CN 107333028 A CN107333028 A CN 107333028A
- Authority
- CN
- China
- Prior art keywords
- mrow
- mentioned
- msub
- mfrac
- angle point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 39
- 230000006870 function Effects 0.000 claims description 22
- 238000007476 Maximum Likelihood Methods 0.000 claims description 21
- 238000013507 mapping Methods 0.000 claims description 18
- 230000008030 elimination Effects 0.000 claims description 10
- 238000003379 elimination reaction Methods 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 17
- 235000013350 formula milk Nutrition 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 3
- 238000009499 grossing Methods 0.000 description 3
- 238000011282 treatment Methods 0.000 description 3
- 241000208340 Araliaceae Species 0.000 description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 description 2
- 239000000872 buffer Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 235000008434 ginseng Nutrition 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
摄像头校正方法以及使用该方法的装置。本发明的实施例提出一种由处理单元执行的摄像头校正方法。控制摄像头模块以获得包含失真的拍摄图像；基于拍摄图像的像素值决定拍摄图像的多个角点；利用角点的信息来确定相应于摄像头模块的最佳参数，其中，最佳参数是使能量函数最小时的一组参数；以及基于最佳参数校正摄像头模块的输出。
Description
技术领域
本发明涉及一种图像处理技术，特别是一种离线摄像头校正方法以及使用该方法的装置。
背景技术
在图像拍摄上，使用镜片可带来一些好处，例如，增加进光量，缩短曝光时间等，但也带来造成非线性的图像形变的缺点。非线性的图像失真通常包含径面失真(radialdistortion)以及切向失真(tangent distortion)。因此，需要一种离线摄像头校正以及使用该方法的装置，用以降低拍摄图像的失真。
发明内容
本发明的实施例提出一种由处理单元执行的摄像头校正方法。控制摄像头模块以获得包含失真的拍摄图像；基于拍摄图像的像素值决定拍摄图像的多个角点；利用角点的信息来确定相应于摄像头模块的最佳参数，其中，最佳参数是使能量函数最小时的一组参数；以及基于最佳参数校正摄像头模块的输出。
本发明的实施例提出一种离线摄像头校正装置，至少包含摄像头模块及处理单元。处理单元耦接于摄像头模块，控制摄像头模块以获得包含失真的拍摄图像；基于拍摄图像的像素值决定拍摄图像的多个角点；利用角点的信息来确定相应于摄像头模块的最佳参数，其中，最佳参数是使能量函数最小时的一组参数；以及基于最佳参数校正摄像头模块的输出。
附图说明
图1是依据本发明实施例的运算装置的系统架构图。
图2是依据本发明实施例的摄像头校正方法流程图。
图3是依据本发明实施例的校验板示意图。
图4是依据本发明实施例的拍摄图像示意图。
图5是依据本发明实施例的角点示意图。
图6是依据本发明实施例的参数决定的方法流程图。
图7是依据本发明实施例的决定极大似然点坐标的方法流程图。
图8是依据本发明实施例消除径面失真后的角点示意图。
图9是依据本发明实施例消除径面失真及切向失真后的角点示意图。
【符号说明】
110 处理单元；
130 图像缓存器；
150 易失性存储器；
160 非易失性存储装置；
170 摄像头模块控制器；
190 摄像头模块；
S210～S290 方法步骤；
30 校验板；
40 拍摄图像；
S611～S650 方法步骤；
S710～S790 方法步骤。
具体实施方式
以下说明为完成发明的较佳实现方式，其目的在于描述本发明的基本精神，但并不用以限定本发明。实际的发明内容必须参考之后的权利要求范围。
必须了解的是，使用于本说明书中的”包含”、”包括”等词，用以表示存在特定的技术特征、数值、方法步骤、作业处理、元件和/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件，或以上的任意组合。
在权利要求中使用如“第一”、“第二”、“第三”等词用来修饰权利要求中的元件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。
图1是依据本发明实施例的运算装置的系统架构图。此系统架构可实施于桌上型
计算机、笔记型计算机、平板计算机、手机、数字相机、数字录影机等，至少包含处理单元
110。处理单元110可使用多种方式实施，例如以专用硬件电路或通用硬件(例如，单一处理
器、具平行处理能力的多处理器、图形处理器或其他具运算能力的处理器)，并且在执行硬
件(hardware)、固件(firmware)或软件(software)指令时，提供之后所描述的功能。处理单
元110可整合于图像信号处理器(ISP，Image Signal Processor)中，并且可通过摄像头模
块控制器170控制摄像头模块190用以捕捉图像。摄像头模块190可包含图像传感器，例如，
互补式金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)、电荷耦合
元件(charge-coupled device，CCD)等传感器，用以感测由红、绿、蓝光强度所形成的图像，
以及包含读取电子电路，用以从图像传感器搜集感测到的数据。易失性存储器150，例如动
态随机随取存储器(DRAM，Dynamic Random Access Memory)，用以存储执行过程中需要的
数据，例如，变量、数据表(data tables)等。
图2是依据本发明实施例的图像校正方法流程图。此方法由处理单元110执行相关的硬件、固件或软件指令时实施。图3是依据本发明实施例的校验板示意图。为了校正摄像头模块190取得的图像，本发明实施例提供像西洋棋盘(chess board)一般的校验板(checkerboard)30。在一些实施例中，校验板的长度和/或宽度是可调整的。一般而言，校验板的大小以能铺满整个拍摄镜头为宜。在摄像头模块190出厂前，处理单元110驱动摄像头模块控制器170以控制摄像头模块190拍摄校验板30，使得摄像头模块190取得拍摄图像及存储拍摄图像至图像缓存器130(步骤S210)。图4是依据本发明实施例的拍摄图像示意图。然而，图像传感器感测穿透摄像头模块190中透镜的光线所产生的拍摄图像40。拍摄图像40是一幅包含失真(distortion)的校验板图像，失真包含径面失真及切向失真。径面失真肇因于摄像头模块190中镜片的形状，使得距离镜片中心越远的光线在通过镜片时弯折较大，越靠近镜片中心的光线则弯折越小。切向失真则由摄像头模块190的组装误差造成，主要是摄像头模块190中镜片及图像传感器没有平行设置。
为了校正摄像头的输出，处理单元110决定拍摄图像40的角点及一失真中心(步骤S230)，决定相应于摄像头模块190的最佳参数及(步骤S250)，应用最佳参数及及失真中心获得拍摄图像40中角点的消除径面失真及切向失真后的极大似然点坐标(步骤S270)，依据角点的极大似然点坐标获得拍摄图像40中除角点外的像素的极大似然点的坐标(步骤S280)以及根据上述计算结果产生及存储映射表至非易失性存储装置160(步骤S290)。
在步骤S230，角点为一个极值点，亦即在特定属性上特别突出的点。角点可为两条线的交叉处(例如图3中任意两条线的交叉点)，也可以是位于相邻的两个主要方向的不同事物上的点。当拍摄图像是通过拍摄一校验板而得时，角点为为二个边的交叉点(详见图4和图5的示例)。本领域技术人员可参考已知的算法决定拍摄图像40的角点(corners)及失真中心(xe，ye)。例如，Richard Hartley及Sing Bing Kang发表于2007年八月的学术期刊IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.29，No.8第1309至1321页的论文Parameter-Free Radial Distortion Correction with Center ofDistortion Estimation。图5是依据本发明实施例的角点示意图。
在步骤S250，处理单元110从多组参数中选择出一组，使用选择出的参数计算拍摄图像40中的所有角点以产生一能量函数。处理单元110再用多组参数中的其他组参数产生多个能量函数，当所有组的所对应的能量函数都计算完毕后，将使能量函数最小时所对应的那组参数作为最佳参数，最佳参数可表示为及详细计算过程描述如下：图6是依据本发明实施例的参数决定的方法流程图。此方法包含一个外循环(outer loop)(步骤S611至S615)及一个内循环(inner loop)(步骤S631至S637)。在外循环的每一回合中，处理单元110用以从m组参数选择出一组αj＝(cj，pj)T及βj＝(β1j，β2j，β3j)T，0≤j≤m-1(步骤S611)，其中，m组参数可以是根据经验值预设的。其中，第一参数α可用以模拟径面失真的曲面，而第二参数β可用以模拟光轴的方向。接着，处理单元110反复执行内循环，使用选择出的参数αj及βj计算相应于n个角点的消除径面失真后的坐标P’(步骤S631至步骤S637)。其中，处理单元110可采样图5中的n个角点，例如，可选图5中的一列(column)或/和一行(row)。内循环执行完后，处理单元110使用消除径面失真后的n个坐标P’计算相应参数αj及βj的能量函数，能量函数可表示消除拍摄图像40中径面失真的程度(步骤S613)。当所有组的第一参数α及第二参数β都处理完后(步骤S615中“是”的路径)，跳出外循环，并且将最小能量函数对应的参数当作最佳参数，最佳参数包括第一最佳参数及第二最佳参数及(步骤S650)。
在内循环的每一回合中，处理单元110选择图5中的第一(下一)角点Pi＝(xi，yi)，0≤i≤n-1(步骤S631)，将选择的参数αj及βj带入曲面方程式以计算角点Pi的深度值zi(步骤S633)，以及使用深度值zi及摄像头模块190与校验板30间的距离h计算消除径面失真后的坐标P’i(步骤S635)。当所有角点处理完后(步骤S637中“是”的路径)，跳出内循环。
在步骤S633，深度值zi可使用以下曲面方程式计算：
s.t.
其中，zi代表第i个角点的深度值，xi代表第i个角点的x-坐标值，yi代表第i个角点的y-坐标值，cj及pj代表第j个第一参数α，β1j、β2j及β3j代表第j个第二参数β。
在步骤S635，消除径面失真后的坐标P’i可使用以下公式计算：
其中，P’i代表第i个角点的消除径面失真后的坐标，h代表摄像头模块190与校验板30间的距离，xi代表第i个角点的x-坐标值，yi代表第i个角点的y-坐标值，zi代表第i个角点的深度值。
在步骤S613，相应参数αj及βj的能量函数Ej可使用以下公式计算：
消除径面失真后的中值角点的坐标可使用以下公式计算：
其中，h代表摄像头模块190与校验板30间的距离，xk代表第k个角点的x-坐标值，yk代表第k个角点的y-坐标值，zk代表第k个角点的深度值，xk-1代表第k-1个角点的x-坐标值，yk-1代表第k-1个角点的y-坐标值，zk-1代表第k-1个角点的深度值，xk+1代表第k+1个角点的x-坐标值，yk+1代表第k+1个角点的y-坐标值，以及zk+1代表第k+1个角点的深度值。其中，第k-1个、第k个及第k+1个角点的位置关系可为任意三个共线且相邻的角点，例如表格1中所示的四种情况。
表格1
当第k个角点为边缘角点时，即第k个旁边无第k-1个和/或第k+1个角点时，中值角点的坐标取值分别为：
在步骤S270，处理单元110执行步骤S250将最佳参数及带入曲面方程式以计算图5中相应于角点的消除径面失真后的坐标，接着，应用相邻角点间等距原则在图5中相应于角点的消除径面失真后的坐标，用以计算图5中相应于角点的消除径面失真及切向失真后的极大似然点坐标详细计算过程描述如下：图7是依据本发明实施例的决定极大似然点坐标的方法流程图。处理单元110取得最佳参数，最佳参数包括第一最佳参数及第二最佳参数其中，及(步骤S710)，反复执行一个循环，用以使用最佳参数及计算图5中相应于所有角点的消除径面失真后的最佳坐标P’u，v(步骤S731至S737)。在循环的每一回合中，处理单元110选择图5中的第一(下一)角点Pu，v＝(xu，v，yu，v)，0≤u≤U-1，0≤v≤V-1，U代表角点的行(rows)总数，V代表角点的列(columns)总数(步骤S731)，Pu，v代表第u行第v列角点，xu，v代表第u行第v列角点的x坐标值，以及yu，v代表第u行第v列角点的y坐标值。接着，处理单元110将最佳参数及带入曲面方程式计算角点Pu，v的最佳深度值zu，v(步骤S733)，以及使用最佳深度值zu，v及摄像头模块190与校验板30间的距离h计算消除径面失真后的最佳坐标P’u，v(步骤S735)。当所有角点处理完后(步骤S737中“是”的路径)，跳出循环。图8是依据本发明实施例消除径面失真后的角点示意图。
在步骤S733，角点Pu，v的最佳深度值zu，v可使用以下曲面方程式计算：
s.t.
其中，zu，v代表第u行第v列角点的深度值，xu，v代表第u行第v列角点的x-坐标值，yu，v代表第u行第v列角点的y-坐标值，以及最佳参数及其中，及
在步骤S735，消除径面失真后的最佳坐标P’u，v可使用以下公式计算：
其中，P’u，v代表第u行第v列角点的消除径面失真后的最佳坐标，h代表摄像头模块190与校验板30间的距离，xu，v代表第u行第v列角点的x-坐标值，yu，v代表第u行第v列角点的y-坐标值，以及zu，v代表第u行第v列角点的最佳深度值。
当检测到的角点消除径面失真后(亦即是取得图8的角点后)(步骤S737中“是”的路径)，处理单元110计算消除径面失真后的角点的列平均值及行平均值(步骤S750)，取得最接近失真中心(xe，ye)的二列的索引值index_x1及index_x2及最接近失真中心(xe，ye)的二行的索引值index_y1及index_y2，而失真中心(xe，ye)可由步骤S230计算而得(步骤S760)，依据失真中心(xe，ye)及相邻二列及二行的信息计算x轴的基础值xbase及步进值xstep以及y轴的基础值ybase及步进值ystep(步骤S770)，以及据以产生拍摄图像40中相应于所有角点的消除径面失真及切向失真后的极大似然点坐标(步骤S790)。图9是依据本发明实施例消除径面失真及切向失真后的角点示意图，需要注意的是，图9所示的角点示意图呈倾斜状，这是因为光轴没有垂直于校验板所致，当光轴垂直于校验板或几乎垂直于校验板时，图9所示的倾斜状况会消失或极不明显。
在步骤S750，消除径面失真后的角点的列平均值及行平均值可使用以下公式计算：
其中，U代表角点的行(rows)总数，V代表角点的列(columns)总数，x’u，v代表第u行第v列角点的消除径面失真后的x-坐标值，以及y’u，v代表第u行第v列角点的消除径面失真后的y-坐标值。
在步骤S760，索引值index_x1、index_x2、index_y1及index_y2可使用以下公式取得：
其中，xe代表失真中心的x-坐标值，ye代表失真中心的y-坐标值，U代表角点的行总数，V代表角点的列总数，代表第v列角点的消除径面失真后的x-坐标值的平均值，以及代表第u行角点的消除径面失真后的y-坐标值的平均值，代表第index_x1列角点的消除径面失真后的x-坐标值的平均值，代表第index_x2列角点的消除径面失真后的x-坐标值的平均值，代表第index_y1行角点的消除径面失真后的y-坐标值的平均值，以及代表第index_y2行角点的消除径面失真后的y-坐标值的平均值。
在步骤S770，计算x轴的基础值xbase及步进值xstep以及y轴的基础值ybase及步进值ystep，其中，x轴/y轴的基础值xbase/ybase是指二列/行的索引值的更接近失真中心的一列/行角点的消除径面失真后的x-坐标值/y-坐标值的平均值，xstep/ystep是指接近失真中心的二列/行的消除径面失真后的x-坐标值/y-坐标值间的差值。在一实施例中，x轴的基础值xbase及步进值xstep以及y轴的基础值ybase及步进值ystep可使用以下公式计算：
其中，代表第index_x1列角点的消除径面失真后的x-坐标值的平均值，代表第index_x2列角点的消除径面失真后的x-坐标值的平均值，代表第index_y1行角点的消除径面失真后的y-坐标值的平均值，以及代表第index_y2行角点的消除径面失真后的y-坐标值的平均值。
在步骤S790，拍摄图像40中相应于所有角点的消除径面失真及切向失真后的极大似然点坐标可使用以下公式计算：
其中，r和s的取值范围可表示为：
index_x1≤r≤V-1-index_x1，
index_y1≤s≤U-1-index_y1
其中，代表第(index_x1+r)列角点的消除径面失真及切向失真后的x-坐标值，代表第(index_y1+s)行角点的消除径面失真及切向失真后的y-坐标值，U代表角点的行总数，V代表角点的列总数。
在步骤S280，本领域技术人员可依据角点的极大似然点坐标使用已知算法(例如，插值法)计算图9中除角点外的像素的极大似然点的坐标。
在步骤S290，非易失性存储装置160可为快闪存储器或其他不会因断电而造成映射表消失的存储装置。映射表可包含多个存储格，存储格数量及位置相应于图像传感器阵列的图像传感器数量及位置。例如，图像传感器阵列包含mxn个图像传感器时，映射表包含mxn个存储格，m、n为大于0的整数，且m、n可为相同或不同整数。每一个存储格记录拍摄图像的像素的参考位置信息。假设存储格[i，j]记录[k，l]：详细来说，当存储格[i，j]为步骤S230中决定的角点，则[k，l]可包含于步骤S270计算出相应于此角点的消除径面失真及切向失真后的极大似然点坐标的信息。当存储格[i，j]不为步骤S230中决定的角点，则[k，l]可包含于步骤S280计算出相应于此像素的极大似然点坐标的信息。在一些实施例中，存储格[i，j]的存储信息可代表拍摄图像的像素[i，j]的参考位置为[k，l]，其中，i、k为介于0至m-1的任意整数，j、l为介于0至n-1的任意整数。在一些实施例中，存储格[i，j]的存储信息可代表拍摄图像的像素[i，j]的参考位置为[i+k，j+l]，其中，i为介于0至m-1的任意整数，k为任意整数(正整数，0或负整数)且i+k介于0至m-1之间，以及j为介于0至n-1的任意整数，l为任意整数且j+l介于0至n-1之间。在一些实施例中，为降低存储空间，映射表可只存储相应于步骤S230中决定的角点的消除径面失真及切向失真后的极大似然点坐标的信息。在一些实施例中，映射表可只存储相应于步骤S735中决定的角点的消除径面失真后的最佳坐标的信息。
摄像头模块190出厂后，处理单元110可从摄像头模块190取得原始图像，以及根据非易失性存储装置160中映射表的参考位置信息产生调整图像。在一个例子中，处理单元110可取得原始图像中像素[k，l]的值作为调整图像中像素[i，j]的值。在另一个例子中，处理单元110可取得原始图像中像素[i+k，j+l]的值作为调整图像中像素[i，j]的值。在更另一个例子中，处理单元110可使用平滑算法(smoothing algorithm)计算原始图像中像素[k，l]的值及邻近像素的值并将计算结果作为调整图像中像素[i，j]的值。在更另一个例子中，处理单元110可使用平滑算法计算原始图像中像素[i+k，j+l]的值及邻近像素的值并将计算结果作为调整图像中像素[i，j]的值。
从本发明的一个面向来说，处理单元110驱动摄像头模块控制器170以控制摄像头模块190拍摄校验板30，使得摄像头模块190取得包含失真的拍摄图像40；使用算法消除拍摄图像40的失真，用以产生相应于拍摄图像40的多个像素的参考位置信息；以及存储映射表至非易失性存储装置160。在替代性实施方式中，处理单元110可根据调整结果产生调整模型，其中包含多个数学公式或算法及其参数，用以降低原始图像中的失真。然而，在此须注意的是，当图像传感器阵列上成像的图像中包含的失真难以使用数学公式及其参数模拟时，产生的调整模型将无法有效地消除图像中包含的失真。不同于如上所述实施方式，本发明实施例的映射表包含多个存储格，而每一个存储格记录一个像素的参考位置信息，用以解决上述缺陷。
从本发明的另一个面向来说，处理单元110使用二个阶段进行校正：依据角点的信息决定摄像头模块190的最佳参数；及使用最佳参数及失真中心获得拍摄图像40中多个像素的消除失真后的极大似然点坐标。最后，处理单元110存储映射表至非易失性存储装置160，其中，映射表包含消除失真后的极大似然点坐标的信息。从本发明的更另一个面向来说，处理单元110以下列方式获得消除失真后的极大似然点坐标：使用最佳参数及失真中心获得拍摄图像中相应于角点的多个消除失真后的极大似然点坐标；以及依据角点的极大似然点坐标获得拍摄图像中除角点外的像素的极大似然点坐标。在一些替代性实施方式中，校正方法需要从不同角度拍摄校验板来产生多张图像，接着，依据多张图像的角点及失真中心信息产生调整模型，其中包含多个数学公式或算法及其参数。不同于如上所述实施方式，本发明实施例的二阶段校正只需要拍摄一次校验板30便可以获得拍摄图像40中所有像素的消除失真后的极大似然点坐标。
虽然图1中包含了以上描述的元件，但不排除在不违反发明的精神下，使用更多其他的附加元件，已达成更佳的技术效果。此外，虽然第2、7及8图的处理步骤采用特定的顺序来执行，但是在不违反发明精神的情况下，本领域技术人员可以在达到相同效果的前提下，修改这些步骤间的顺序，所以，本发明并不局限于仅使用如上所述的顺序。
虽然本发明使用以上实施例进行说明，但需要注意的是，这些描述并非用以限缩本发明。相反地，此发明涵盖了本领域技术人员显而易见的修改与相似设置。所以，权利要求书要求保护的范围须以最宽广的方式解释来包含所有显而易见的修改与相似设置。
Claims (20)
1.一种摄像头校正方法，由一处理单元执行，包含：
控制摄像头模块以获得拍摄图像，其中，上述拍摄图像包含失真；
基于上述拍摄图像的像素值决定上述拍摄图像的多个角点；
利用上述角点的信息来确定相应于上述摄像头模块的最佳参数，其中，上述最佳参数是使能量函数最小时的一组参数；以及
基于上述最佳参数校正上述摄像头模块的输出。
2.如权利要求1所述的摄像头校正方法，其中，上述最佳参数由能量函数来确定，上述能量函数是由上述角点的深度值及上述摄像头模块与校验板的距离来确定。
3.如权利要求1所述的摄像头校正方法，还包含：
提供多组参数；
产生相应于上述多组参数的多个能量函数；以及
利用上述最佳参数获得上述多个角点的消除上述失真后的最佳坐标，其中，上述失真包括径面失真。
4.如权利要求3所述的摄像头校正方法，其中，上述最佳坐标使用以下公式：
<mrow>
<msub>
<msup>
<mi>P</mi>
<mo>,</mo>
</msup>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mfrac>
<mi>h</mi>
<msub>
<mi>z</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
</mfrac>
<msub>
<mi>x</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
<mo>,</mo>
<mfrac>
<mi>h</mi>
<msub>
<mi>z</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
</mfrac>
<msub>
<mi>y</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中，P’u，v代表第u行第v列角点的消除径面失真后的最佳坐标，h代表上述摄像头模块与校验板间的距离，xu，v代表第u行第v列角点的x-坐标值，yu，v代表第u行第v列角点的y-坐标值，以及zu，v代表第u行第v列角点的最佳深度值。
5.如权利要求1所述的摄像头校正方法，其中，上述能量函数使用以下公式计算：
<mrow>
<msub>
<mi>E</mi>
<mi>j</mi>
</msub>
<mo>=</mo>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mover>
<mi>x</mi>
<mo>^</mo>
</mover>
<mi>k</mi>
</msub>
<mo>-</mo>
<mfrac>
<mi>h</mi>
<msub>
<mi>z</mi>
<mi>k</mi>
</msub>
</mfrac>
<msub>
<mi>x</mi>
<mi>k</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mover>
<mi>y</mi>
<mo>^</mo>
</mover>
<mi>k</mi>
</msub>
<mo>-</mo>
<mfrac>
<mi>h</mi>
<msub>
<mi>z</mi>
<mi>k</mi>
</msub>
</mfrac>
<msub>
<mi>y</mi>
<mi>k</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
<mrow>
<msub>
<mover>
<mi>x</mi>
<mo>^</mo>
</mover>
<mi>k</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mo>(</mo>
<mfrac>
<mi>h</mi>
<msub>
<mi>z</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
</mfrac>
<msub>
<mi>x</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>+</mo>
<mfrac>
<mi>h</mi>
<msub>
<mi>z</mi>
<mrow>
<mi>k</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
</mfrac>
<msub>
<mi>x</mi>
<mrow>
<mi>k</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</mfrac>
<mo>;</mo>
</mrow>
<mrow>
<msub>
<mover>
<mi>y</mi>
<mo>^</mo>
</mover>
<mi>k</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mo>(</mo>
<mfrac>
<mi>h</mi>
<msub>
<mi>z</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
</mfrac>
<msub>
<mi>y</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>+</mo>
<mfrac>
<mi>h</mi>
<msub>
<mi>z</mi>
<mrow>
<mi>k</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
</mfrac>
<msub>
<mi>y</mi>
<mrow>
<mi>k</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</mfrac>
<mo>,</mo>
</mrow>
h代表上述摄像头模块与校验板间的距离，xk代表上述第k个角点的x-坐标值，yk代表第k个角点的y-坐标值，zk代表第k个角点的深度值，xk-1代表第k-1个角点的x-坐标值，yk-1代表第k-1个角点的y-坐标值，zk-1代表第k-1个角点的深度值，xk+1代表第k+1个角点的x-坐标值，yk+1代表第k+1个角点的y-坐标值，以及zk+1代表第k+1个角点的深度值。
6.如权利要求1所述的摄像头校正方法，其中，上述最佳参数包含第一最佳参数及第二最佳参数，上述第一最佳参数模拟曲面，上述第二最佳参数模拟光轴的方向。
7.如权利要求1所述的摄像头校正方法，还包括：
基于上述最佳参数产生上述拍摄图像的多个角点的参考位置信息；
存储上述参考位置信息至映射表；以及
利用上述映射表校正上述摄像头模块的上述输出。
8.如权利要求1所述的摄像头校正方法，还包括：
基于上述最佳参数来产生上述拍摄图像除上述多个角点外的像素的参考位置信息；
存储上述角点的参考位置信息和角点外的像素的参考位置信息至映射表；以及
利用上述映射表校正上述摄像头模块的上述输出。
9.如权利要求1所述的摄像头校正方法，还包含：
利用上述最佳参数获得上述多个角点的消除径面失真后的最佳坐标；以及
基于上述最佳坐标及失真中心获得上述拍摄图像中多个角点的消除上述失真后的极大似然点坐标，其中，上述失真包括切向失真。
10.如权利要求9所述的摄像头校正方法，其中，上述极大似然点坐标是在上述最佳坐标的基础上，依据相邻角点间等距原则来确定。
11.如权利要求9所述的摄像头校正方法，还包括：
基于上述最佳坐标计算上述多个角点的多个列平均值和多个行平均值，用以确定与上述失真中心最接近的两行及两列的索引值；
基于上述索引值确定基础值及步进值；以及
利用上述基础值及上述步进值产生相应于上述角点消除上述切向失真后的极大似然点坐标。
12.如权利要求9所述的摄像头校正方法，还包括：
基于上述极大似然点坐标产生上述拍摄图像的多个角点的参考位置信息；
存储上述参考位置信息至映射表；以及
利用上述映射表校正上述摄像头模块的上述输出。
13.如权利要求9所述的摄像头校正方法，还包括：
基于上述极大似然点坐标来产生上述拍摄图像的除上述多个角点外的像素的参考位置信息；
存储上述角点的参考位置信息和上述角点外的像素的参考位置信息至映射表；以及
利用上述映射表校正上述摄像头模块的上述输出。
14.一种摄像头校正装置，包含：
摄像头模块；以及
处理单元，耦接至上述摄像头模块，控制摄像头模块以获得拍摄图像，其中，上述拍摄图像包含失真；基于上述拍摄图像的像素值决定上述拍摄图像的多个角点；利用上述角点的信息来确定相应于上述摄像头模块的最佳参数，其中，上述最佳参数是使能量函数最小时的一组参数；以及基于上述最佳参数校正上述摄像头模块的输出。
15.如权利要求14所述的摄像头校正装置，其中，上述最佳参数由能量函数来确定，上述能量函数是由上述角点的深度值及上述摄像头模块与校验板的距离来确定。
16.如权利要求14所述的摄像头校正装置，其中，上述处理单元提供多组参数；产生相应于上述多组参数的多个能量函数；以及利用上述最佳参数获得上述多个角点的消除上述失真后的最佳坐标，其中，上述失真包括径面失真。
17.如权利要求16所述的摄像头校正装置，其中，上述最佳坐标使用以下公式：
<mrow>
<msub>
<msup>
<mi>P</mi>
<mo>,</mo>
</msup>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
<mo>=</mo>
<mrow>
<mo>(</mo>
<mfrac>
<mi>h</mi>
<msub>
<mi>z</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
</mfrac>
<msub>
<mi>x</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
<mo>,</mo>
<mfrac>
<mi>h</mi>
<msub>
<mi>z</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
</mfrac>
<msub>
<mi>y</mi>
<mrow>
<mi>u</mi>
<mo>,</mo>
<mi>v</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>,</mo>
</mrow>
其中，P’u，v代表第u行第v列角点的消除径面失真后的最佳坐标，h代表上述摄像头模块与校验板间的距离，xu，v代表第u行第v列角点的x-坐标值，yu，v代表第u行第v列角点的y-坐标值，以及zu，v代表第u行第v列角点的最佳深度值。
18.如权利要求14所述的摄像头校正装置，其中，上述能量函数使用以下公式计算：
<mrow>
<msub>
<mi>E</mi>
<mi>j</mi>
</msub>
<mo>=</mo>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mrow>
<mi>n</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msubsup>
<mrow>
<mo>(</mo>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mover>
<mi>x</mi>
<mo>^</mo>
</mover>
<mi>k</mi>
</msub>
<mo>-</mo>
<mfrac>
<mi>h</mi>
<msub>
<mi>z</mi>
<mi>k</mi>
</msub>
</mfrac>
<msub>
<mi>x</mi>
<mi>k</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>+</mo>
<msup>
<mrow>
<mo>(</mo>
<mrow>
<msub>
<mover>
<mi>y</mi>
<mo>^</mo>
</mover>
<mi>k</mi>
</msub>
<mo>-</mo>
<mfrac>
<mi>h</mi>
<msub>
<mi>z</mi>
<mi>k</mi>
</msub>
</mfrac>
<msub>
<mi>y</mi>
<mi>k</mi>
</msub>
</mrow>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
<mo>)</mo>
</mrow>
<mo>;</mo>
</mrow>
<mrow>
<msub>
<mover>
<mi>x</mi>
<mo>^</mo>
</mover>
<mi>k</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mo>(</mo>
<mfrac>
<mi>h</mi>
<msub>
<mi>z</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
</mfrac>
<msub>
<mi>x</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>+</mo>
<mfrac>
<mi>h</mi>
<msub>
<mi>z</mi>
<mrow>
<mi>k</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
</mfrac>
<msub>
<mi>x</mi>
<mrow>
<mi>k</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</mfrac>
<mo>;</mo>
</mrow>
<mrow>
<msub>
<mover>
<mi>y</mi>
<mo>^</mo>
</mover>
<mi>k</mi>
</msub>
<mo>=</mo>
<mfrac>
<mrow>
<mo>(</mo>
<mfrac>
<mi>h</mi>
<msub>
<mi>z</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
</mfrac>
<msub>
<mi>y</mi>
<mrow>
<mi>k</mi>
<mo>+</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>+</mo>
<mfrac>
<mi>h</mi>
<msub>
<mi>z</mi>
<mrow>
<mi>k</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
</mfrac>
<msub>
<mi>y</mi>
<mrow>
<mi>k</mi>
<mo>-</mo>
<mn>1</mn>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mn>2</mn>
</mfrac>
<mo>,</mo>
</mrow>
h代表上述摄像头模块与校验板间的距离，xk代表上述第k个角点的x-坐标值，yk代表第k个角点的y-坐标值，zk代表第k个角点的深度值，xk-1代表第k-1个角点的x-坐标值，yk-1代表第k-1个角点的y-坐标值，zk-1代表第k-1个角点的深度值，xk+1代表第k+1个角点的x-坐标值，yk+1代表第k+1个角点的y-坐标值，以及zk+1代表第k+1个角点的深度值。
19.如权利要求14所述的摄像头校正装置，其中，上述最佳参数包含第一最佳参数及第二最佳参数，上述第一最佳参数模拟曲面，上述第二最佳参数模拟光轴的方向。
20.如权利要求14所述的摄像头校正装置，其中，上述处理单元基于上述最佳参数产生上述拍摄图像的多个角点的参考位置信息；存储上述参考位置信息至映射表；以及利用上述映射表校正上述摄像头模块的上述输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710523671.XA CN107333028B (zh) | 2017-06-30 | 2017-06-30 | 图像获取方法及其装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710523671.XA CN107333028B (zh) | 2017-06-30 | 2017-06-30 | 图像获取方法及其装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107333028A true CN107333028A (zh) | 2017-11-07 |
| CN107333028B CN107333028B (zh) | 2020-08-25 |
Family
ID=60198622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710523671.XA Active CN107333028B (zh) | 2017-06-30 | 2017-06-30 | 图像获取方法及其装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107333028B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1471055A (zh) * | 2002-07-02 | 2004-01-28 | ��ʿͨ��ʽ���� | 图像失真校正方法和设备 |
| CN101064780A (zh) * | 2006-04-30 | 2007-10-31 | 台湾新力国际股份有限公司 | 利用透镜失真校正的影像接合准确度改善方法及装置 |
| CN102750697A (zh) * | 2012-06-08 | 2012-10-24 | 华为技术有限公司 | 一种参数标定方法及装置 |
| CN104657940A (zh) * | 2013-11-22 | 2015-05-27 | 中兴通讯股份有限公司 | 畸变图像校正复原与分析报警的方法和装置 |
| US20150324985A1 (en) * | 2012-04-27 | 2015-11-12 | Adobe Systems Incorporated | Camera Calibration and Automatic Adjustment of Images |
| CN105844276A (zh) * | 2015-01-15 | 2016-08-10 | 北京三星通信技术研究有限公司 | 人脸姿态校正方法和装置 |
| CN106815820A (zh) * | 2017-01-24 | 2017-06-09 | 西安科技大学 | 一种红外图像条状噪声消除方法 |
-
2017
- 2017-06-30 CN CN201710523671.XA patent/CN107333028B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1471055A (zh) * | 2002-07-02 | 2004-01-28 | ��ʿͨ��ʽ���� | 图像失真校正方法和设备 |
| CN101064780A (zh) * | 2006-04-30 | 2007-10-31 | 台湾新力国际股份有限公司 | 利用透镜失真校正的影像接合准确度改善方法及装置 |
| US20150324985A1 (en) * | 2012-04-27 | 2015-11-12 | Adobe Systems Incorporated | Camera Calibration and Automatic Adjustment of Images |
| CN102750697A (zh) * | 2012-06-08 | 2012-10-24 | 华为技术有限公司 | 一种参数标定方法及装置 |
| CN104657940A (zh) * | 2013-11-22 | 2015-05-27 | 中兴通讯股份有限公司 | 畸变图像校正复原与分析报警的方法和装置 |
| CN105844276A (zh) * | 2015-01-15 | 2016-08-10 | 北京三星通信技术研究有限公司 | 人脸姿态校正方法和装置 |
| CN106815820A (zh) * | 2017-01-24 | 2017-06-09 | 西安科技大学 | 一种红外图像条状噪声消除方法 |
Non-Patent Citations (1)
| Title |
|---|
| 黄岩岩等: "鱼眼畸变棋盘格图像校正", 《计算机工程与应用》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107333028B (zh) | 2020-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021254110A1 (zh) | 图像处理方法、装置及设备、存储介质 | |
| WO2018196549A1 (en) | Dual-core focusing image sensor, focusing control method for the same, and electronic device | |
| US7391450B2 (en) | Techniques for modifying image field data | |
| US8306360B2 (en) | Device and method for obtaining clear image | |
| CN107317953A (zh) | 摄像头校正方法以及使用该方法的装置 | |
| US20150279056A1 (en) | High-quality post-rendering depth blur | |
| CN110930301B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| US20190096092A1 (en) | Method and device for calibration | |
| CN107689035A (zh) | 一种基于卷积神经网络的单应性矩阵确定方法及装置 | |
| CN113191954A (zh) | 一种基于双目相机的全景图像拼接方法 | |
| US20220270345A1 (en) | Subject detection method and apparatus, electronic device, and computer-readable storage medium | |
| CN112801870B (zh) | 一种基于网格优化的图像拼接方法，拼接系统及可读存储介质 | |
| CN104683779B (zh) | 自动白平衡补偿方法以及使用该方法的装置 | |
| JP2006279920A (ja) | 画像表示装置、画像表示装置の補正値作成方法、及び画像表示装置の補正値作成プログラム、及びこのプログラムが記録された記録媒体 | |
| CN109360144B (zh) | 一种基于手机平台的图像实时校正改进方法 | |
| CN107527336A (zh) | 镜头相对位置标定方法及装置 | |
| WO2023226218A1 (zh) | 轴对称光学成像并行仿真方法及装置 | |
| US20220375042A1 (en) | Defocus Blur Removal and Depth Estimation Using Dual-Pixel Image Data | |
| CN111325218B (zh) | 基于光场图像的Hog特征检测与匹配方法 | |
| CN107256563B (zh) | 基于差异液位图像序列的水下三维重建系统及其方法 | |
| CN112419424A (zh) | 一种枪球联动标定方法、装置及相关设备 | |
| WO2017215018A1 (zh) | 一种教育玩具套件及其凸面镜成像校正方法 | |
| CN107333028A (zh) | 摄像头校正方法以及使用该方法的装置 | |
| CN106803889A (zh) | 一种用于爆炸过程中的智能高速摄像方法及其装置 | |
| CN107527323A (zh) | 镜头畸变的标定方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20211129 Address after: Room 201, No. 2557, Jinke Road, pilot Free Trade Zone, Pudong New Area, Shanghai 201203 Patentee after: Gryfield Intelligent Technology Co.,Ltd. Address before: Room 301, 2537 Jinke Road, Zhangjiang hi tech park, Shanghai 201203 Patentee before: VIA ALLIANCE SEMICONDUCTOR Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| CP03 | Change of name, title or address |
Address after: 201203, 11th Floor, Building 3, No. 889 Bibo Road, China (Shanghai) Pilot Free Trade Zone, Shanghai Patentee after: Granfei Intelligent Technology Co.,Ltd. Country or region after: China Address before: Room 201, No. 2557, Jinke Road, pilot Free Trade Zone, Pudong New Area, Shanghai 201203 Patentee before: Gryfield Intelligent Technology Co.,Ltd. Country or region before: China |