CN107317953B - 图像获取方法及其装置 - Google Patents

图像获取方法及其装置 Download PDF

Info

Publication number
CN107317953B
CN107317953B CN201710524710.8A CN201710524710A CN107317953B CN 107317953 B CN107317953 B CN 107317953B CN 201710524710 A CN201710524710 A CN 201710524710A CN 107317953 B CN107317953 B CN 107317953B
Authority
CN
China
Prior art keywords
distortion
image
corner points
optimal
camera module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710524710.8A
Other languages
English (en)
Other versions
CN107317953A (zh
Inventor
王旭
杨飞菲
姜亚龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Glenfly Tech Co Ltd
Original Assignee
Shanghai Zhaoxin Integrated Circuit Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhaoxin Integrated Circuit Co Ltd filed Critical Shanghai Zhaoxin Integrated Circuit Co Ltd
Priority to CN201710524710.8A priority Critical patent/CN107317953B/zh
Publication of CN107317953A publication Critical patent/CN107317953A/zh
Priority to US15/810,765 priority patent/US10621752B2/en
Application granted granted Critical
Publication of CN107317953B publication Critical patent/CN107317953B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)

Abstract

一种图像获取方法及使用该方法的图像获取装置。本发明的实施例提出一种通过图像获取装置来获取图像的方法，是由处理单元执行的，通过校正摄像头模块来获取图像的方法。控制摄像头模块以获得包含失真的拍摄图像；基于拍摄图像的像素值决定拍摄图像的多个角点；依据角点的信息决定相应于摄像头模块的最佳参数；使用最佳参数及拍摄图像的失真中心获得拍摄图像中多个像素的消除失真后的极大似然点坐标；以及基于像素的消除失真后的极大似然点坐标校正摄像头模块的输出。

Description

图像获取方法及其装置
技术领域
本发明涉及一种图像处理技术，特别是一种离线摄像头校正方法以及使用该方法的装置。
背景技术
在图像拍摄上，使用镜片可带来一些好处，例如，增加进光量，缩短曝光时间等，但也带来造成非线性的图像形变的缺点。非线性的图像失真通常包含径向失真(radialdistortion)以及切向失真(tangent distortion)。因此，需要一种离线摄像头校正以及使用该方法的装置，用以降低拍摄图像的失真。
发明内容
本发明的实施例提出一种图像的获取方法，是由处理单元执行的，通过校正摄像头来获取图像的方法。控制摄像头模块以获得包含失真的拍摄图像；基于拍摄图像的像素值决定拍摄图像的多个角点；依据角点的信息决定相应于摄像头模块的最佳参数；使用最佳参数及拍摄图像的失真中心获得拍摄图像中多个像素的消除失真后的极大似然点坐标；以及基于像素的消除失真后的极大似然点坐标校正摄像头模块的输出。
本发明的实施例提出一种图像获取装置，该图像获取装置可以是一摄像头校正装置，至少包括摄像头模块及处理单元。处理单元耦接于摄像头模块，控制摄像头模块以获得包含失真的拍摄图像；基于拍摄图像的像素值决定拍摄图像的多个角点；依据角点的信息决定相应于摄像头模块的最佳参数；使用最佳参数及拍摄图像的失真中心获得拍摄图像中多个像素的消除失真后的极大似然点坐标；以及基于像素的消除失真后的极大似然点坐标校正摄像头模块的输出。
附图说明
图1是依据本发明实施例的运算装置的系统架构图。
图2是依据本发明实施例的摄像头校正方法流程图。
图3是依据本发明实施例的校验板示意图。
图4是依据本发明实施例的拍摄图像示意图。
图5是依据本发明实施例的角点示意图。
图6是依据本发明实施例的参数决定的方法流程图。
图7是依据本发明实施例的决定极大似然点坐标的方法流程图。
图8是依据本发明实施例消除径向失真后的角点示意图。
图9是依据本发明实施例消除径向失真及切向失真后的角点示意图。
【符号说明】
110 处理单元；
130 图像缓存器；
150 易失性存储器；
160 非易失性存储装置；
170 摄像头模块控制器；
190 摄像头模块；
S210～S290 方法步骤；
30 校验板；
40 拍摄图像；
S611～S650 方法步骤；
S710～S790 方法步骤。
具体实施方式
以下说明为完成发明的较佳实现方式，其目的在于描述本发明的基本精神，但并不用以限定本发明。实际的发明内容必须参考之后的权利要求范围。
必须了解的是，使用于本说明书中的”包含”、”包括”等词，用以表示存在特定的技术特征、数值、方法步骤、作业处理、元件和/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件，或以上的任意组合。
在权利要求中使用如“第一”、“第二”、“第三”等词用来修饰权利要求中的元件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。
图1是依据本发明实施例的运算装置的系统架构图。此系统架构可实施于桌上型计算机、笔记型计算机、平板计算机、手机、数字相机、数字录影机等，至少包含处理单元110。处理单元110可使用多种方式实施，例如以专用硬件电路或通用硬件(例如，单一处理器、具平行处理能力的多处理器、图形处理器或其他具运算能力的处理器)，并且在执行硬件(hardware)、韧体(firmware)或软件指令时，提供之后所描述的功能。处理单元110可整合于图像信号处理器(ISP，Image Signal Processor)中，并且可通过摄像头模块控制器170控制摄像头模块190用以捕捉图像。摄像头模块190可包含图像传感器，例如，互补式金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)、电荷耦合元件(charge-coupled device，CCD)等传感器，用以感测由红、绿、蓝光强度所形成的图像，以及包含读取电子电路，用以从图像传感器搜集感测到的数据。易失性存储器150，例如动态随机随取存储器(DRAM，Dynamic Random Access Memory)，用以存储执行过程中需要的数据，例如，变量、数据表(data tables)等。
图2是依据本发明实施例的图像校正方法流程图。此方法由处理单元110执行相关的硬件、韧体或软件指令时实施。图3是依据本发明实施例的校验板示意图。为了校正摄像头模块190取得的图像，本发明实施例提供像西洋棋盘(chess board)一般的校验板(checkerboard)30。在一些实施例中，校验板的长度和/或宽度是可调整的。一般而言，校验板的大小以能铺满整个拍摄镜头为宜。在摄像头模块190出厂前，处理单元110驱动摄像头模块控制器170以控制摄像头模块190拍摄校验板30，使得摄像头模块190取得拍摄图像及存储拍摄图像至图像缓存器130(步骤S210)。图4是依据本发明实施例的拍摄图像示意图。然而，图像传感器感测穿透摄像头模块190中透镜的光线所产生的拍摄图像40。拍摄图像40是一幅包含失真(distortion)的校验板图像，失真包含径向失真及切向失真。径向失真肇因于摄像头模块190中镜片的形状，使得距离镜片中心越远的光线在通过镜片时弯折较大，越靠近镜片中心的光线则弯折越小。切向失真则由摄像头模块190的组装误差造成，主要是摄像头模块190中镜片及图像传感器没有平行设置。
为了校正摄像头的输出，处理单元110决定拍摄图像40的角点及一失真中心(步骤S230)，决定相应于摄像头模块190的最佳参数
Figure GDA0002473422950000031
及
Figure GDA0002473422950000032
(步骤S250)，应用最佳参数
Figure GDA0002473422950000041
及
Figure GDA0002473422950000042
及失真中心获得拍摄图像40中角点的消除径向失真及切向失真后的极大似然点坐标
Figure GDA0002473422950000043
(步骤S270)，依据角点的极大似然点坐标
Figure GDA0002473422950000044
获得拍摄图像40中除角点外的像素的极大似然点的坐标(步骤S280)以及根据上述计算结果产生及存储映射表至非易失性存储装置160(步骤S290)。
在步骤S230，角点为一个极值点，亦即在特定属性上特别突出的点。角点可为两条线的交叉处(例如图3中任意两条线的交叉点)，也可以是位于相邻的两个主要方向的不同事物上的点。当拍摄图像是通过拍摄一校验板而得时，角点为为二个边的交叉点(详见图4和图5的示例)。本领域技术人员可参考已知的算法决定拍摄图像40的角点(corners)及失真中心(xe，ye)。例如，Richard Hartley及Sing Bing Kang发表于2007年八月的学术期刊IEEE Transactions on Pattern Analysis and Machine Intelligence，Vol.29，No.8第1309至1321页的论文Parameter-Free Radial Distortion Correction with Center ofDistortion Estimation。图5是依据本发明实施例的角点示意图。
在步骤S250，处理单元110从多组参数中选择出一组，使用选择出的参数计算拍摄图像40中的所有角点以产生一能量函数。处理单元110再用多组参数中的其他组参数产生多个能量函数，当所有组的所对应的能量函数都计算完毕后，将使能量函数最小时所对应的那组参数作为最佳参数，最佳参数可表示为
Figure GDA0002473422950000045
及
Figure GDA0002473422950000046
详细计算过程描述如下：图6是依据本发明实施例的参数决定的方法流程图。此方法包含一个外循环(outer loop)(步骤S611至S615)及一个内循环(inner loop)(步骤S631至S637)。在外循环的每一回合中，处理单元110用以从m组参数选择出一组αj＝(cj，pj)T及βj＝(β1j，β2j，β3j)T，0≤j≤m-1(步骤S611)，其中，m组参数可以是根据经验值预设的。其中，第一参数α可用以模拟径向失真的曲面，而第二参数β可用以模拟光轴的方向。接着，处理单元110反复执行内循环，使用选择出的参数αj及βj计算相应于n个角点的消除径向失真后的坐标P’(步骤S631至步骤S637)。其中，处理单元110可采样图5中的n个角点，例如，可选图5中的一列(column)或/和一行(row)。内循环执行完后，处理单元110使用消除径向失真后的n个坐标P’计算相应参数αj及βj的能量函数，能量函数可表示消除拍摄图像40中径向失真的程度(步骤S613)。当所有组的第一参数α及第二参数β都处理完后(步骤S615中“是”的路径)，跳出外循环，并且将最小能量函数对应的参数当作最佳参数，最佳参数包括第一最佳参数
Figure GDA0002473422950000049
及第二最佳参数
Figure GDA0002473422950000047
及
Figure GDA0002473422950000048
(步骤S650)。
在内循环的每一回合中，处理单元110选择图5中的第一(下一)角点Pi＝(xi，yi)，0≤i≤n-1(步骤S631)，将选择的参数αj及βj带入曲面方程式以计算角点Pi的深度值zi(步骤S633)，以及使用深度值zi及摄像头模块190与校验板30间的距离h计算消除径向失真后的坐标P’i(步骤S635)。当所有角点处理完后(步骤S637中“是”的路径)，跳出内循环。
在步骤S633，深度值zi可使用以下曲面方程式计算：
Figure GDA0002473422950000051
s.t.
Figure GDA0002473422950000052
Figure GDA0002473422950000053
其中，zi代表第i个角点的深度值，xi代表第i个角点的x-坐标值，yi代表第i个角点的y-坐标值，cj及pj代表第j个第一参数α，β1j、β2j及β3j代表第j个第二参数β。
在步骤S635，消除径向失真后的坐标P’i可使用以下公式计算：
Figure GDA0002473422950000054
其中，P’i代表第i个角点的消除径向失真后的坐标，h代表摄像头模块190与校验板30间的距离，xi代表第i个角点的x-坐标值，yi代表第i个角点的y-坐标值，zi代表第i个角点的深度值。
在步骤S613，相应参数αj及βj的能量函数Ej可使用以下公式计算：
Figure GDA0002473422950000055
消除径向失真后的中值角点的坐标
Figure GDA0002473422950000056
可使用以下公式计算：
Figure GDA0002473422950000057
Figure GDA0002473422950000058
其中，h代表摄像头模块190与校验板30间的距离，xk代表第k个角点的x-坐标值，yk代表第k个角点的y-坐标值，zk代表第k个角点的深度值，xk-1代表第k-1个角点的x-坐标值，yk-1代表第k-1个角点的y-坐标值，zk-1代表第k-1个角点的深度值，xk+1代表第k+1个角点的x-坐标值，yk+1代表第k+1个角点的y-坐标值，以及zk+1代表第k+1个角点的深度值。其中，第k-1个、第k个及第k+1个角点的位置关系可为任意三个共线且相邻的角点，例如表格1中所示的四种情况。
Figure GDA0002473422950000061
表格1
当第k个角点为边缘角点时，即第k个旁边无第k-1个和/或第k+1个角点时，中值角点的坐标
Figure GDA0002473422950000062
取值分别为：
Figure GDA0002473422950000063
Figure GDA0002473422950000064
在步骤S270，处理单元110执行步骤S250将最佳参数
Figure GDA0002473422950000065
及
Figure GDA0002473422950000066
带入曲面方程式以计算图5中相应于角点的消除径向失真后的坐标，接着，应用相邻角点间等距原则在图5中相应于角点的消除径向失真后的坐标，用以计算图5中相应于角点的消除径向失真及切向失真后的极大似然点坐标
Figure GDA0002473422950000067
详细计算过程描述如下：图7是依据本发明实施例的决定极大似然点坐标的方法流程图。处理单元110取得最佳参数，最佳参数包括第一最佳参数
Figure GDA0002473422950000068
及第二最佳参数
Figure GDA0002473422950000069
其中，
Figure GDA00024734229500000610
及
Figure GDA00024734229500000611
(步骤S710)，反复执行一个循环，用以使用最佳参数
Figure GDA00024734229500000612
及
Figure GDA00024734229500000613
计算图5中相应于所有角点的消除径向失真后的最佳坐标P’u，v(步骤S731至S737)。在循环的每一回合中，处理单元110选择图5中的第一(下一)角点Pu，v＝(xu，v，yu，v)，0≤u≤U-1，0≤v≤V-1，U代表角点的行(rows)总数，V代表角点的列(columns)总数(步骤S731)，Pu，v代表第u行第v列角点，xu，v代表第u行第v列角点的x坐标值，以及yu，v代表第u行第v列角点的y坐标值。接着，处理单元110将最佳参数
Figure GDA00024734229500000615
及
Figure GDA00024734229500000616
带入曲面方程式计算角点Pu，v的最佳深度值zu，v(步骤S733)，以及使用最佳深度值zu，v及摄像头模块190与校验板30间的距离h计算消除径向失真后的最佳坐标P’u，v(步骤S735)。当所有角点处理完后(步骤S737中“是”的路径)，跳出循环。图8是依据本发明实施例消除径向失真后的角点示意图。
在步骤S733，角点Pu，v的最佳深度值zu，v可使用以下曲面方程式计算：
Figure GDA00024734229500000614
s.t.
Figure GDA0002473422950000071
Figure GDA0002473422950000072
其中，zu，v代表第u行第v列角点的深度值，xu，v代表第u行第v列角点的x-坐标值，yu，v代表第u行第v列角点的y-坐标值，以及最佳参数
Figure GDA0002473422950000073
及
Figure GDA0002473422950000074
其中，
Figure GDA0002473422950000075
及
Figure GDA0002473422950000076
在步骤S735，消除径向失真后的最佳坐标P’u，v可使用以下公式计算：
Figure GDA0002473422950000077
其中，P’u，v代表第u行第v列角点的消除径向失真后的最佳坐标，h代表摄像头模块190与校验板30间的距离，xu，v代表第u行第v列角点的x-坐标值，yu，v代表第u行第v列角点的y-坐标值，以及zu，v代表第u行第v列角点的最佳深度值。
当检测到的角点消除径向失真后(亦即是取得图8的角点后)(步骤S737中“是”的路径)，处理单元110计算消除径向失真后的角点的列平均值
Figure GDA0002473422950000078
及行平均值
Figure GDA0002473422950000079
(步骤S750)，取得最接近失真中心(xe，ye)的二列的索引值index_x1及index_x2及最接近失真中心(xe，ye)的二行的索引值index_y1及index_y2，而失真中心(xe，ye)可由步骤S230计算而得(步骤S760)，依据失真中心(xe，ye)及相邻二列及二行的信息计算x轴的基础值xbase及步进值xstep以及y轴的基础值ybase及步进值ystep(步骤S770)，以及据以产生拍摄图像40中相应于所有角点的消除径向失真及切向失真后的极大似然点坐标
Figure GDA00024734229500000710
(步骤S790)。图9是依据本发明实施例消除径向失真及切向失真后的角点示意图，需要注意的是，图9所示的角点示意图呈倾斜状，这是因为光轴没有垂直于校验板所致，当光轴垂直于校验板或几乎垂直于校验板时，图9所示的倾斜状况会消失或极不明显。
在步骤S750，消除径向失真后的角点的列平均值
Figure GDA00024734229500000711
及行平均值
Figure GDA00024734229500000712
可使用以下公式计算：
Figure GDA00024734229500000713
Figure GDA00024734229500000714
其中，U代表角点的行(rows)总数，V代表角点的列(columns)总数，x’u，v代表第u行第v列角点的消除径向失真后的x-坐标值，以及y’u，v代表第u行第v列角点的消除径向失真后的y-坐标值。
在步骤S760，索引值index_x1、index_x2、index_y1及index_y2可使用以下公式取得：
Figure GDA0002473422950000081
0≤v≤V-1；
Figure GDA0002473422950000082
0≤v≤V-1，
Figure GDA0002473422950000083
Figure GDA0002473422950000084
0≤u≤U-1；
Figure GDA0002473422950000085
0≤u≤U-1，
Figure GDA0002473422950000086
其中，xe代表失真中心的x-坐标值，ye代表失真中心的y-坐标值，U代表角点的行总数，V代表角点的列总数，
Figure GDA0002473422950000087
代表第v列角点的消除径向失真后的x-坐标值的平均值，以及
Figure GDA0002473422950000088
代表第u行角点的消除径向失真后的y-坐标值的平均值，
Figure GDA0002473422950000089
代表第index_x1列角点的消除径向失真后的x-坐标值的平均值，
Figure GDA00024734229500000810
代表第index_x2列角点的消除径向失真后的x-坐标值的平均值，
Figure GDA00024734229500000811
代表第index_y1行角点的消除径向失真后的y-坐标值的平均值，以及
Figure GDA00024734229500000812
代表第index_y2行角点的消除径向失真后的y-坐标值的平均值。
在步骤S770，计算x轴的基础值xbase及步进值xstep以及y轴的基础值ybase及步进值ystep，其中，x轴/y轴的基础值xbase/ybase是指二列/行的索引值的更接近失真中心的一列/行角点的消除径向失真后的x-坐标值/y-坐标值的平均值，xstep/ystep是指接近失真中心的二列/行的消除径向失真后的x-坐标值/y-坐标值间的差值。在一实施例中，x轴的基础值xbase及步进值xstep以及y轴的基础值ybase及步进值ystep可使用以下公式计算：
Figure GDA00024734229500000813
Figure GDA00024734229500000814
Figure GDA00024734229500000815
Figure GDA00024734229500000816
其中，
Figure GDA00024734229500000817
代表第index_x1列角点的消除径向失真后的x-坐标值的平均值，
Figure GDA00024734229500000818
代表第index_x2列角点的消除径向失真后的x-坐标值的平均值，
Figure GDA00024734229500000819
代表第index_y1行角点的消除径向失真后的y-坐标值的平均值，以及
Figure GDA00024734229500000820
代表第index_y2行角点的消除径向失真后的y-坐标值的平均值。
在步骤S790，拍摄图像40中相应于所有角点的消除径向失真及切向失真后的极大似然点坐标
Figure GDA0002473422950000091
可使用以下公式计算：
Figure GDA0002473422950000092
ifindex_x1<index_x2；
Figure GDA0002473422950000093
ifindex_x1>index_x2；
Figure GDA0002473422950000094
ifindex_y1<index_y2；
Figure GDA0002473422950000095
ifindex_y1>index_y2，
其中，r和s的取值范围可表示为：
index_x1≤r≤V-1-index_x1，
index_y1≤s≤U-1-index_y1
其中，
Figure GDA0002473422950000096
代表第(index_x1+r)列角点的消除径向失真及切向失真后的x-坐标值，
Figure GDA0002473422950000097
代表第(index_y1+s)行角点的消除径向失真及切向失真后的y-坐标值，U代表角点的行总数，V代表角点的列总数。
在步骤S280，本领域技术人员可依据角点的极大似然点坐标
Figure GDA0002473422950000098
使用已知算法(例如，插值法)计算图9中除角点外的像素的极大似然点的坐标。
在步骤S290，非易失性存储装置160可为快闪存储器或其他不会因断电而造成映射表消失的存储装置。映射表可包含多个存储格，存储格数量及位置相应于图像传感器阵列的图像传感器数量及位置。例如，图像传感器阵列包含mxn个图像传感器时，映射表包含mxn个存储格，m、n为大于0的整数，且m、n可为相同或不同整数。每一个存储格记录拍摄图像的像素的参考位置信息。假设存储格[i，j]记录[k，l]：详细来说，当存储格[i，j]为步骤S230中决定的角点，则[k，l]可包含于步骤S270计算出相应于此角点的消除径向失真及切向失真后的极大似然点坐标的信息。当存储格[i，j]不为步骤S230中决定的角点，则[k，l]可包含于步骤S280计算出相应于此像素的极大似然点坐标的信息。在一些实施例中，存储格[i，j]的存储信息可代表拍摄图像的像素[i，j]的参考位置为[k，l]，其中，i、k为介于0至m-1的任意整数，j、l为介于0至n-1的任意整数。在一些实施例中，存储格[i，j]的存储信息可代表拍摄图像的像素[i，j]的参考位置为[i+k，j+l]，其中，i为介于0至m-1的任意整数，k为任意整数(正整数，0或负整数)且i+k介于0至m-1之间，以及j为介于0至n-1的任意整数，l为任意整数且j+l介于0至n-1之间。在一些实施例中，为降低存储空间，映射表可只存储相应于步骤S230中决定的角点的消除径向失真及切向失真后的极大似然点坐标的信息。在一些实施例中，，映射表可只存储相应于步骤S735中决定的角点的消除径向失真后的最佳坐标的信息。
摄像头模块190出厂后，处理单元110可从摄像头模块190取得原始图像，以及根据非易失性存储装置160中映射表的参考位置信息产生调整图像。在一个例子中，处理单元110可取得原始图像中像素[k，l]的值作为调整图像中像素[i，j]的值。在另一个例子中，处理单元110可取得原始图像中像素[i+k，j+l]的值作为调整图像中像素[i，j]的值。在更另一个例子中，处理单元110可使用平滑算法(smoothing algorithm)计算原始图像中像素[k，l]的值及邻近像素的值并将计算结果作为调整图像中像素[i，j]的值。在更另一个例子中，处理单元110可使用平滑算法计算原始图像中像素[i+k，j+l]的值及邻近像素的值并将计算结果作为调整图像中像素[i，j]的值。
从本发明的一个面向来说，处理单元110驱动摄像头模块控制器170以控制摄像头模块190拍摄校验板30，使得摄像头模块190取得包含失真的拍摄图像40；使用算法消除拍摄图像40的失真，用以产生相应于拍摄图像40的多个像素的参考位置信息；以及存储映射表至非易失性存储装置160。在替代性实施方式中，处理单元110可根据调整结果产生调整模型，其中包含多个数学公式或算法及其参数，用以降低原始图像中的失真。然而，在此须注意的是，当图像传感器阵列上成像的图像中包含的失真难以使用数学公式及其参数模拟时，产生的调整模型将无法有效地消除图像中包含的失真。不同于如上所述实施方式，本发明实施例的映射表包含多个存储格，而每一个存储格记录一个像素的参考位置信息，用以解决上述缺陷。
从本发明的另一个面向来说，处理单元110使用二个阶段进行校正：依据角点的信息决定摄像头模块190的最佳参数；及使用最佳参数及失真中心获得拍摄图像40中多个像素的消除失真后的极大似然点坐标。最后，处理单元110存储映射表至非易失性存储装置160，其中，映射表包含消除失真后的极大似然点坐标的信息。从本发明的更另一个面向来说，处理单元110以下列方式获得消除失真后的极大似然点坐标：使用最佳参数及失真中心获得拍摄图像中相应于角点的多个消除失真后的极大似然点坐标；以及依据角点的极大似然点坐标获得拍摄图像中除角点外的像素的极大似然点坐标。在一些替代性实施方式中，校正方法需要从不同角度拍摄校验板来产生多张图像，接着，依据多张图像的角点及失真中心信息产生调整模型，其中包含多个数学公式或算法及其参数。不同于如上所述实施方式，本发明实施例的二阶段校正只需要拍摄一次校验板30便可以获得拍摄图像40中所有像素的消除失真后的极大似然点坐标。
虽然图1中包含了以上描述的元件，但不排除在不违反发明的精神下，使用更多其他的附加元件，已达成更佳的技术效果。此外，虽然第2、7及8图的处理步骤采用特定的顺序来执行，但是在不违反发明精神的情况下，本领域技术人员可以在达到相同效果的前提下，修改这些步骤间的顺序，所以，本发明并不局限于仅使用如上所述的顺序。
虽然本发明使用以上实施例进行说明，但需要注意的是，这些描述并非用以限缩本发明。相反地，此发明涵盖了本领域技术人员显而易见的修改与相似设置。所以，申请权利要求范围须以最宽广的方式解释来包含所有显而易见的修改与相似设置。

Claims (20)

1.一种由处理单元执行的图像获取方法，包括：
提供多组参数；
控制摄像头模块以获得拍摄图像，其中，上述拍摄图像包含失真，其中，上述失真包含径向失真；
基于上述拍摄图像的像素值决定上述拍摄图像的多个角点；
依据上述角点的信息决定相应于上述摄像头模块的最佳参数，其中，上述最佳参数为上述多组参数中的一组；
使用上述最佳参数及上述拍摄图像的失真中心获得上述拍摄图像中多个像素的消除上述失真后的极大似然点坐标；以及
基于上述像素的消除上述失真后的极大似然点坐标校正上述摄像头模块的输出，
其中，上述多组参数中的每一组参数包括第一参数及第二参数，上述第一参数模拟曲面，上述第二参数模拟光轴的方向，其中，上述第一参数及上述第二参数用于消除上述径向失真。
2.如权利要求1所述的图像获取方法，其中，上述拍摄图像是通过上述处理单元驱动摄像头模块控制器以控制上述摄像头模块拍摄校验板而获得的。
3.如权利要求2所述的图像获取方法，其中，上述摄像头模块只拍摄一次上述校验板。
4.如权利要求1所述的图像获取方法，其中，上述最佳参数由能量函数来确定，以及上述能量函数表示消除上述拍摄图像中的上述径向失真的程度。
5.如权利要求4所述的图像获取方法，还包括：
产生相应于上述多组参数的多个能量函数；
将使上述能量函数最小时所对应的一组参数作为上述最佳参数；以及
利用上述最佳参数获得上述多个角点的消除上述失真后的最佳坐标。
6.如权利要求5所述的图像获取方法，还包括：
基于上述多个角点的消除上述失真后的最佳坐标产生上述拍摄图像的多个角点的参考位置信息；
存储上述参考位置信息至映射表；以及
利用上述映射表校正上述摄像头模块的上述输出。
7.如权利要求1所述的图像获取方法，其中，上述最佳参数包括第一最佳参数及第二最佳参数，上述第一最佳参数模拟曲面，上述第二最佳参数模拟光轴的方向。
8.如权利要求1所述的图像获取方法，还包括：
利用上述最佳参数获得上述多个角点的消除径向失真后的最佳坐标；以及
基于上述最佳坐标及上述失真中心获得上述拍摄图像中多个角点的消除上述失真后的极大似然点坐标，其中，上述失真包括切向失真。
9.如权利要求8所述的图像获取方法，还包括：
基于上述最佳坐标计算上述角点的多个列平均值和多个行平均值，用以确定与上述失真中心最接近的两行及两列的索引值；
基于上述索引值确定基础值及步进值；以及
利用上述基础值及上述步进值产生相应于上述角点的消除上述径向失真和切向失真后的极大似然点坐标。
10.如权利要求1所述的图像获取方法，还包括：
基于上述多个角点的消除上述失真后的极大似然点坐标产生上述拍摄图像的多个角点的参考位置信息；
存储上述参考位置信息至映射表；以及
利用上述映射表校正上述摄像头模块的上述输出。
11.如权利要求1所述的图像获取方法，还包括：
基于上述多个角点的消除上述失真后的极大似然点坐标获得上述拍摄图像中除上述角点外的像素的极大似然点坐标；
基于上述角点的消除上述失真后的极大似然点坐标和上述除上述角点外的像素的极大似然点坐标产生上述拍摄图像的多个像素的参考位置信息；
存储上述参考位置信息至映射表；以及
利用上述映射表校正上述摄像头模块的上述输出。
12.一种图像获取装置，包括：
摄像头模块；以及
处理单元，耦接于上述摄像头模块，提供多组参数；控制上述摄像头模块以获得拍摄图像，其中，上述拍摄图像包含失真，其中，上述失真包含径向失真；基于上述拍摄图像的像素值决定上述拍摄图像的多个角点；依据上述角点的信息决定相应于上述摄像头模块的最佳参数，其中，上述最佳参数为上述多组参数中的一组；使用上述最佳参数及上述拍摄图像的失真中心获得上述拍摄图像中多个像素的消除上述失真后的极大似然点坐标；以及基于上述像素的消除上述失真后的极大似然点坐标校正上述摄像头模块的输出，
其中，上述多组参数中的每一组参数包括第一参数及第二参数，上述第一参数模拟曲面，上述第二参数模拟光轴的方向，其中，上述第一参数及上述第二参数用于消除上述径向失真。
13.如权利要求12所述的图像获取装置，其中，上述最佳参数由能量函数来确定，以及上述能量函数表示消除上述拍摄图像中的上述径向失真的程度。
14.如权利要求13所述的图像获取装置，其中，上述处理单元产生相应于上述多组参数的多个能量函数；将使上述能量函数最小时所对应的一组参数作为上述最佳参数；以及利用上述最佳参数获得上述多个角点的消除上述失真后的最佳坐标。
15.如权利要求14所述的图像获取装置，其中，上述处理单元基于上述多个角点的消除上述失真后的最佳坐标产生上述拍摄图像的多个角点的参考位置信息；存储上述参考位置信息至映射表；以及利用上述映射表校正上述摄像头模块的上述输出。
16.如权利要求12所述的图像获取装置，其中，上述最佳参数包括第一最佳参数及第二最佳参数，上述第一最佳参数模拟曲面，上述第二最佳参数模拟光轴的方向。
17.如权利要求12所述的图像获取装置，其中，上述处理单元利用上述最佳参数获得上述多个角点的消除径向失真后的最佳坐标；以及基于上述最佳坐标及上述失真中心获得上述拍摄图像中多个角点的消除上述失真后的极大似然点坐标，其中，上述失真包括切向失真。
18.如权利要求17所述的图像获取装置，其中，上述处理单元基于上述最佳坐标计算上述角点的多个列平均值和多个行平均值，用以确定与上述失真中心最接近的两行及两列的索引值；基于上述索引值确定基础值及步进值；以及利用上述基础值及上述步进值产生相应于上述角点的消除上述径向失真和切向失真后的极大似然点坐标。
19.如权利要求12所述的图像获取装置，其中，上述处理单元基于上述多个角点的消除上述失真后的极大似然点坐标产生上述拍摄图像的多个角点的参考位置信息；存储上述参考位置信息至映射表；以及利用上述映射表校正上述摄像头模块的上述输出。
20.如权利要求12所述的图像获取装置，其中，上述处理单元基于上述多个角点的消除上述失真后的极大似然点坐标获得上述拍摄图像中除上述角点外的像素的极大似然点坐标；基于上述角点的消除上述失真后的极大似然点坐标和上述除上述角点外的像素的极大似然点坐标产生上述拍摄图像的多个像素的参考位置信息；存储上述参考位置信息至映射表；以及利用上述映射表校正上述摄像头模块的上述输出。
CN201710524710.8A 2017-06-30 2017-06-30 图像获取方法及其装置 Active CN107317953B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710524710.8A CN107317953B (zh) 2017-06-30 2017-06-30 图像获取方法及其装置
US15/810,765 US10621752B2 (en) 2017-06-30 2017-11-13 Methods and systems for camera calibration

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710524710.8A CN107317953B (zh) 2017-06-30 2017-06-30 图像获取方法及其装置

Publications (2)

Publication Number Publication Date
CN107317953A CN107317953A (zh) 2017-11-03
CN107317953B true CN107317953B (zh) 2020-09-01

Family

ID=60179819

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710524710.8A Active CN107317953B (zh) 2017-06-30 2017-06-30 图像获取方法及其装置

Country Status (2)

Country Link
US (1) US10621752B2 (zh)
CN (1) CN107317953B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109754434B (zh) * 2018-12-27 2023-08-29 歌尔科技有限公司 相机标定方法、装置、用户设备及存储介质
US11475545B2 (en) * 2020-05-28 2022-10-18 Nxp Usa, Inc. System and method for correcting geometric distortion in images
US11172193B1 (en) * 2020-12-04 2021-11-09 Argo AI, LLC Method and system to calibrate camera devices of a vehicle vision system using a programmable calibration target device
CN112562014A (zh) * 2020-12-29 2021-03-26 纵目科技（上海）股份有限公司 相机标定方法、系统、介质及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101064780A (zh) * 2006-04-30 2007-10-31 台湾新力国际股份有限公司 利用透镜失真校正的影像接合准确度改善方法及装置
CN102750697A (zh) * 2012-06-08 2012-10-24 华为技术有限公司 一种参数标定方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10359415A1 (de) * 2003-12-16 2005-07-14 Trimble Jena Gmbh Verfahren zur Kalibrierung eines Vermessungsgeräts
CN1710577A (zh) * 2005-07-08 2005-12-21 王树勋 基于移动通信网络的数字水印证件防伪方法
CN101937560A (zh) * 2010-08-30 2011-01-05 中兴通讯股份有限公司 失真图像处理方法及装置
KR20150051711A (ko) * 2013-11-05 2015-05-13 한국전자통신연구원 유해 콘텐츠 영상 차단을 위한 피부 영역 추출 장치 및 방법
CN104657940B (zh) * 2013-11-22 2019-03-15 中兴通讯股份有限公司 畸变图像校正复原与分析报警的方法和装置
CN105844276A (zh) * 2015-01-15 2016-08-10 北京三星通信技术研究有限公司 人脸姿态校正方法和装置
KR101666959B1 (ko) * 2015-03-25 2016-10-18 ㈜베이다스 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
EP3076657B1 (en) * 2015-04-02 2017-05-24 Axis AB Method for determination of focal length for a zoom lens

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101064780A (zh) * 2006-04-30 2007-10-31 台湾新力国际股份有限公司 利用透镜失真校正的影像接合准确度改善方法及装置
CN102750697A (zh) * 2012-06-08 2012-10-24 华为技术有限公司 一种参数标定方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鱼眼畸变棋盘格图像校正;黄岩岩等;《计算机工程与应用》;20141231;第111-114页 *

Also Published As

Publication number Publication date
US20190005680A1 (en) 2019-01-03
CN107317953A (zh) 2017-11-03
US10621752B2 (en) 2020-04-14

Similar Documents

Publication Publication Date Title
CN107317953B (zh) 图像获取方法及其装置
JP6934026B2 (ja) ビジョンシステムでラインを検出するためのシステム及び方法
CN110717942B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US9451132B2 (en) System for capturing a document in an image signal
US20200059604A1 (en) Photography processing method for camera module, terminal, and storage medium
US20110199492A1 (en) Method and system for obtaining a point spread function using motion information
JP5141245B2 (ja) 画像処理装置、補正情報生成方法、および撮像装置
CN111028205B (zh) 一种基于双目测距的眼睛瞳孔定位方法及装置
JP4055998B2 (ja) 距離検出装置、距離検出方法、及び距離検出プログラム
WO2014106303A1 (en) Panoramic lens calibration for panoramic image and/or video capture apparatus
JP2012050013A (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JPH0810132B2 (ja) 対象パタ−ンの回転角検出方式
CN109584311B (zh) 摄像头标定方法、装置、电子设备和计算机可读存储介质
CN110852958B (zh) 基于物体倾斜角度的自适应校正方法和装置
CN111556311B (zh) 定焦摄像模组的质量检测方法、装置及计算机存储介质
CN107333028B (zh) 图像获取方法及其装置
JP2008010958A (ja) 撮像装置及び撮像方法
CN107155017B (zh) 图像获取方法及其装置
US10965877B2 (en) Image generating method and electronic apparatus
WO2017215018A1 (zh) 一种教育玩具套件及其凸面镜成像校正方法
JP6030890B2 (ja) 画像処理ユニット、画像処理方法、およびスタンド型スキャナ
US11948316B2 (en) Camera module, imaging device, and image processing method using fixed geometric characteristics
CN115830131A (zh) 一种固定相位偏差的确定方法、装置和设备
JP3191659B2 (ja) 画像入力装置
JP2004220371A (ja) 画像処理方法および画像処理装置ならびに画像処理プログラムおよび画像処理プログラムを記録した記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211129

Address after: Room 201, No. 2557, Jinke Road, pilot Free Trade Zone, Pudong New Area, Shanghai 201203

Patentee after: Gryfield Intelligent Technology Co.,Ltd.

Address before: Room 301, 2537 Jinke Road, Zhangjiang hi tech park, Shanghai 201203

Patentee before: VIA ALLIANCE SEMICONDUCTOR Co.,Ltd.

TR01 Transfer of patent right