CN107660336A - 对于从摄像机获得的图像，具备自动补正功能的图像处理装置及其方法 - Google Patents

对于从摄像机获得的图像，具备自动补正功能的图像处理装置及其方法 Download PDF

Info

Publication number
CN107660336A
CN107660336A CN201580080388.3A CN201580080388A CN107660336A CN 107660336 A CN107660336 A CN 107660336A CN 201580080388 A CN201580080388 A CN 201580080388A CN 107660336 A CN107660336 A CN 107660336A
Authority
CN
China
Prior art keywords
mrow
mtd
image
msub
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580080388.3A
Other languages
English (en)
Inventor
李俊锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vadas Ltd
Valdus Advanced Driver Assistance Equipment Co Ltd
Original Assignee
Valdus Advanced Driver Assistance Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valdus Advanced Driver Assistance Equipment Co Ltd filed Critical Valdus Advanced Driver Assistance Equipment Co Ltd
Publication of CN107660336A publication Critical patent/CN107660336A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/12—Panospheric to cylindrical image transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及一种对于从摄像机获得的图像具备自动补正功能的图像处理装置及其方法，提供对于从摄像机获得的图像具备自动补正功能的图像处理装置，包括：自动补正图案，在摄像机周边的任意场所，安装一个以上；输出入模块，从所述摄像机接收图像，传送至所述图像处理装置；及图像处理模块，作为处理部，包含用于补正从所述摄像机获得的图像歪曲的算法，且所述输出入模块包括：图像输出入单元，在所述摄像机和所述图像处理模块之间，接发数据；和存储单元，存储在所述图像处理模块处理的信息，且所述图像处理模块包括：歪曲补正单元，从接收的图像提取所述自动补正图案的特征点，利用对提取特征点的已知信息，推定所述摄像机的绝对位置和安装角，利用存储在所述存储单元的内部参数，执行镜片歪曲补正；图片排列推定单元，利用从所述歪曲补正单元推定的摄像机的绝对位置和安装角的信息，在图像中作为变更参数，推定摄像机安装位置及旋转误差；及图片排列生成单元，利用从所述图片排列推定单元推定的变更参数，补正图像的三维位置及大小。

Description

对于从摄像机获得的图像，具备自动补正功能的图像处理装 置及其方法
技术领域
本发明涉及对于从摄像机获得的图像，具备自动补正功能的图像处理装置及其方法，更详细地讲，涉及通过从摄像机获得的图像，自动补正安装在车辆的摄像机安装误差，具备自动补正功能的图像处理装置及其方法。
背景技术
最近，因信息通信技术的发达与互联网使用人口的增加，多种摄像机被广泛普及，且利用此的图像分析及对灵活使用的要求逐渐增加。但是，因摄像机镜片的特性，从摄像机获得的图像发生歪曲，且为了分析并灵活使用图像，要补正这些图像的歪曲。
其中，如安装在汽车的摄像机，具有宽视角的广角摄像机，拍摄的图像比普通摄像机拍摄的图像歪曲更严重，将摄像机的图像都表现在图像输出装置内时，图像被显示成以水平和垂直被压缩的歪曲图像。特别地，离镜片的中心越远，需要补正比原来位置向内侧或外侧移动的放射形歪曲。
类似的图像歪曲现象，出现在所有使用镜片的摄像机，因此，很久之前开始，研发了在多个领域用于补正歪曲图像的技术。其中，用于车辆的摄像机，在其功能和目的中，非常多样地被使用，因此，这些技术被广泛地灵活使用。
用于车辆的摄像机中，后视摄像机是代表性的，但是，后视摄像机需要将外部的摄像机和其摄像机的图像，单纯地按原样输出的输出装置，但是，最近随着高级驾驶辅助系统(ADAS)的开发及发展，不是单纯地按原样输出摄像机的图像，而是必须将摄像机的图像以符合用户要求或适合于控制系统要求的形态来加工表现的必要性突显。即，如要求全景形式的视觉，或要求顶视图形式的视觉，须符合用户或系统的要求来将摄像机的图像加工表现。
要想这样的将需要于车辆的图像加工表现，如上述首先要解决对歪曲的摄像机图像的补正，但是，其用于歪曲补正的代表方法，大致过程随如下。即，定义摄像机模型，从补正图案推定模型的内部及外部参数之后，通过模型的逆变换复原的方法。
其中，在从补正图案推定参数的过程中，为了摄像机补正，使用特定图案工具。如此使用图案工具，其优点在于可预先正确地知道图案上的特定标识的相对位置，可获得精密的结果，但需要一直带着重的特征图案工具，因此，具有繁琐的缺点。
有关先行技术为韩国公开专利2009-0065198号(公开日：2009.06.22)。
发明内容
发明要解决的问题
本发明提供对于从摄像机获得的图像具备自动补正功能的图像处理装置及其方法，补正从摄像机获得的图像歪曲时，从自动补正图案执行摄像机的镜片歪曲补正的同时，也可执行摄像机的位置及对姿势的误差补正。
本发明的另一目的是提供对于从摄像机获得的图像具备自动补正功能的图像处理装置及其方法，在补正从摄像机获得的图像歪曲的过程中，从自动补正图案推定参数的过程无特定的自动补正图案，只利用由三角形、四边形、圆形或者其他多角形等的多种形状形成的图案，可简单地补正摄像机的图像。
本发明所要达成的技术课题，不限定于上述提及的技术课题。
解决问题的技术方案
为了达成所述课题，提供一种对于从摄像机获得的图像具备自动补正功能的图像处理装置，本发明的对于从摄像机获得的图像具备自动补正功能的图像处理装置，可包括：自动补正图案，在摄像机周边的任意场所，安装一个以上；输出入模块，从所述摄像机接收图像，传送至所述图像处理装置；及图像处理模块，用于补正从所述摄像机获得的图像歪曲的算法被包含的处理部，且所述输出入模块包括：图像输出入单元，在所述摄像机和所述图像处理模块之间，接发数据；和存储单元，存储在所述图像处理模块处理的信息，且所述图像处理模块包括：歪曲补正单元，从接收的图像提取所述自动补正图案的特征点，利用对提取特征点的已知信息，推定所述摄像机的绝对位置和安装角，利用存储在所述存储单元的内部参数，执行镜片歪曲补正；图片排列推定单元，利用从所述歪曲补正单元推定的摄像机的绝对位置和安装角的信息，在图像作为变更参数，推定摄像机安装位置及旋转误差；及图片排列生成单元，利用从所述图片排列推定单元推定的变更参数，补正图像的三维位置及大小。
具体地，所述自动补正图案的形状可以是三角形、四角形、多角形及圆形中任何一个。
具体地，如所述自动补正图案的模样、大小或者色彩等的图形规格的信息，和如棱、矩等的几何信息可以是已知的信息。
具体地，所述内部参数可包括光中心、纵横比、投影类型及焦距中任何一个以上。
具体地，所述图片排列推定单元作为变更参数，推定摄像机安装位置及旋转误差时，可使其误差为最小，利用最佳算法方法。
具体地，所述最佳算法可以是雷文博格-马括特方法(LM，Levenberg-Marquadts)、最小均方LMS(Least Mean Square)、蚁群最佳算法ACO(AntColony Optimization)、粒子群算法PSO(Particle Swarm Optimization)中任何一个。
具体地，所述图片排列生成单元补正图像时，可将推定的信息存储在存储单元，以如查找表LUT(Look-up Table)、由图形处理器纹理(GPU texture)坐标映射方法的顶点(Vertex)、用户定义元数据格式(meta-data format，如，XML格式(format))等多种形式生成并存储。
具体地，可包括：接收自动补正图案图像步骤，图像处理模块从输出入模块，接收摄像机拍摄的自动补正图案图像；提取特征点步骤，所述图像处理模块的歪曲补正单元，利用对所述自动补正图案的已知信息，在接收的图像提取自动补正图案的特征点；推定绝对位置和安装角步骤，利用从所述歪曲补正单元提取的所述自动补正图案的特征点，推定获得图像当时的摄像机绝对位置和安装角；获得内部参数步骤，所述歪曲补正单元利用接收图像，获得用于镜片歪曲补正的内部参数；执行镜片歪曲补正步骤，利用所述获得的内部参数，通过歪曲补正算法，补正镜片歪曲图像；及推定变更参数及执行图像补正步骤，图片排列生成单元利用所述变更参数，最终执行图像补正。
具体地，在所述执行镜片歪曲补正步骤中，补正镜片歪曲图像的方法可以是非线性歪曲补正方法，或者通过高斯球(Gaussian Sphere)映射的歪曲补正方法中任何一个。
具体地，所述非线性歪曲补正方法可以是基于针孔(pinhole based)的方法或基于捕获光线的方法(captured ray based)，使用在所述基于捕获光线的方法(capturedray based)的投影方程式是等距投影(Equidistant projection)、正射投影(Orthographic projec)、等立体角投影(Equisolid angle projection)及立体拍摄投影(Stereographic projection)中任何一个。
具体地，对于从摄像机获得的图像，具备自动补正功能的图像处理方法，其特征可包括所述推定变更参数及执行图像补正步骤，可由以下方程式执行实际自动补正图案和图案匹配。
方程式
等距投影：Rf＝f·ω
正投影：Rf＝f·sin(ω)
等立体角射影：Rf＝2f·sin(ω/2)
立体投影：Rf＝2f·tan(ω/2)
其中，XYc是歪曲补正图像的一点的直角坐标、XYp是将XYc映射在地面的点的二维坐标、Sc是比例要素、fpc是将三维坐标映射为平面的一个点的函数、R(θ)及R(ψ)如方程式3所示，以三维坐标的旋转矩阵分别意味着φ是以x轴为中心旋转的角、θ是以y轴为中心旋转的角、ψ是以z轴为中心旋转的角。
具体地，在所述推定变更参数及执行图像补正步骤中，用于最小化实际自动补正图案和图像内的自动补正图案的误差的最佳算法可以是雷文博格-马括特方法(LM，Levenberg-Marquadts)、最小均方(LMS，Least Mean Square)、蚁群最佳算法(ACO，AntColony Optimization)、粒子群算法(PSO，Particle Swarm Optimization)中任何一个。
发明效果
如上述说明，本发明具有从自动补正图案，可同时自动地执行镜片歪曲补正和摄像机安装误差补正，因此，无需另外准备用于执行镜片歪曲补正的补正图案和用于补正摄像机安装误差的补正图案，只由相同的补正图案的使用的摄像机图像补正，也可立即加工灵活使用从摄像机获得的图像的效果。
此外，本发明在使用图案工具补正摄像机图像的过程中，不是在现有的如棋盘的广泛领域安装特定的图案工具，而是利用在自动补正图案内部没有条纹模样的三角形、四边形、圆形，或者其他多角形等的形状的简化图案，因此，可具有简单方便地进行摄像机图像补正作业的效果。
附图说明
图1是示出根据本发明的实施例，显示对于从摄像机获得的图像具备自动补正功能的图像处理装置的图解。
图2是示出根据本发明的实施例，显示对于从摄像机获得的图像具备自动补正功能的图像处理方法的顺序图。
图3是示出在图1示出的自动补正图案，安装在地面的一个示例。
图4是示出在图3示出的拍摄自动补正图案的示例图。
图5是示出根据本发明的实施例，最佳算法方法的流程图。
图6是示出图5的最佳算法方法结果的曲线图。
具体实施方式
以下，参照附图对本发明的优选实施例进行详细地说明。图中相同的构成要素，尽可能在其他部分由相同的附图标记表示。此外，对于可不必要地模糊本发明要点的公知功能及构成的详细说明给予省略。
图1是示出根据本发明的实施例，显示对于从摄像机获得的图像具备自动补正功能的图像处理装置的图解，包括摄像机10、自动补正图案100、输出入模块200及图像处理模块300。
摄像机10安装在任意的位置，拍摄安装在地面的自动补正图案100和地上面之后，将此变换为电信号，通过图像输出入单元210传送至图像处理装置300(参照图2)。并且，自动补正图案100不需一定形成在地面，可提供对自动补正图案100的已知信息时，可安装在如地面或结构物等的任意场所。
摄像机10不仅是单纯的光学仪器，是包括将光学信号变换为电信号的图片传感器等电装置的概念。此外，安装在车辆的摄像机10，为了确保更广的视场角，主要使用超广角镜片，但在本发明可使用自动补正功能的摄像机10的种类，与视角无关可适用。
自动补正图案100作为已知的图案，安装在摄像机视角确保的地面，可安装一个以上。在这种情况下，自动补正图案100的形状可以是四边形，但也可以是三角形或圆形或者其外的多边形。
这些自动补正图案100作为求安装的摄像机10的绝对位置及安装角的同时，可补正歪曲的图像的媒介手段的装置，安装在地面之后，由摄像机拍摄使用。
自动补正图案100的安装位置，可安装在摄像机10周边的任何位置，为了确保可视性，优选地，每个自动补正图案100选择与地面的背景明暗度大的色。
并且，如自动补正图案100的形状、大小，或者色彩等的相应图案的规格和棱、矩等的几何信息，成为已知的信息。即，在使用自动补正图案100补正图像的步骤中，假设预先知道对自动补正图案100的特征点的物理位置信息，将此为基础补正歪曲的图像。
输出入模块200包括从摄像机10接收图像，输出为图像处理模块300的图像输出入单元210，和存储从图像处理模块300输出的补正完成的图像信息的存储单元220。
图像输出入单元210从安装在车辆的摄像机10，接收安装在地面的自动补正图案100和拍摄周边地上面的图像，将输入的图像传送至图像处理模块300。在这种情况下，需要时，在图像输出入单元210也可执行由滤波器等的图像预处理过程。
存储单元220存储属于摄像机10镜片固有特性的如焦距、主距、歪曲系数等对内部参数的信息，和从图像处理装置300推定的如摄像机10的三维位置、姿势或安装角等对外部参数的信息，及在图像处理模块300补正图像时，对推定结果的信息。
存储的信息可提供在多个装置，特别地，对于补正完成的图像的信息，可被提供用于在如汽车顶视图系统、全景视图系统等多个装置被加工灵活使用。
图像处理模块300作为包含用于补正在摄像机10获得的图像歪曲算法的模块，可包括歪曲补正单元310、图片排列推定单元320及图片排列生成单元330。
歪曲补正单元310从图像输出入单元210，接收通过摄像机10拍摄的自动补正图案100的图像，提取自动补正图案100的特征点，利用提取的特征点的已知物理位置信息，推定摄像机的绝对位置和安装角之后，将这些信息存储在存储单元220。即，在歪曲补正单元310，以地面的基准图案10为基础，推定摄像机放置的绝对位置和摄像机的倾斜角度进行存储。
此外，歪曲补正单元310为了镜片的歪曲补正，获得存储在存储单元220的如光中心的内部参数，利用获得的内部参数执行镜片歪曲补正。
其中，用于镜片歪曲补正的内部参数或光学参数，可包括光中心(opticalcenter)、纵横比(aspect ratio)、投影类型及焦距(focal length)中至少任何一个以上。并且，纵横比及焦距可通过传感器的数据薄片获得，且光中心可由拍摄的图像镜片光圈或者椭圆的中心掌握。
图片排列推定单元320利用在歪曲补正单元310推定的摄像机绝对位置和对安装角的信息，由最佳算法处理在歪曲补正单元310补正的图像，推定摄像机安装位置(X，Y，Z)及旋转误差(Φ，θ，Ψ)。
这些推定过程，是在歪曲补正单元310中被补正，使传送至图片排列推定单元320的镜片歪曲补正图像中显示的自动补正图案100和实际自动补正图案100在模样和间隔等中相互一致的变更角度和距离进行排列的过程。
即，在图片排列推定单元320使用最佳算法方法，比较镜片歪曲补正图像内的自动补正图案100和实际自动补正图案100，推定出使两者之间的误差距离信息等，成为最小的变更参数的安装位置(X，Y，Z)及旋转误差(Φ，θ，Ψ)。
这些最佳算法可以是雷文博格-马括特方法LM(Levenberg-Marquadts)、最小均方LMS(Least Mean Square)、蚁群最佳算法ACO(Ant Colony Optimization)、粒子群算法PSO(Particle Swarm Optimization)中任何一个。
图片排列生成单元330是利用图片排列推定单元320中推定信息的变更参数等，在歪曲补正单元310重新补正镜片歪曲补正图像的处理单元。
如此，在图片排列生成单元330补正图像时，推定的信息可存储在存储单元220，可由多种形式被存储。存储形式生成由单纯坐标映射方法的查找表LUT(Look-up Table)进行存储，或生成由图形处理器纹理(GPU texture)坐标映射方法的顶点进行存储，或可生成用户定义元数据格式(meta-data format，如，XML格式(format))进行存储。
参照附图具体地说明如上述构成的对于从摄像机获得的图像具备自动补正功能的图像处理方法。
图2是示出根据本发明的实施例，显示对于从摄像机获得的图像具备自动补正功能的图像处理方法的顺序图，包括步骤S310：接收自动补正图案图像、步骤S320：提取特征点、步骤S330：推定绝对位置和安装角、步骤S340：获得内部参数、步骤S350：执行镜片歪曲补正、步骤S360：推定变更参数及执行图像补正。
首先，将已知的自动补正图案100安装在地面。在图3和图4示出了自动补正图案100安装在地面的一个示例和拍摄实际自动补正图案100。假设，在图像处理模块300预先知道在如此安装的自动补正图案100，如图案的大小、模样或色彩等规格和摄像机与图案的距离等。此外，图案的模样为已知的事项时，其可以是如三角形、四边形、圆形或者多边形等任何形态状。
将每个图案安装在从安装于车辆的摄像机，可观测的位置。图3作为自动补正图案100安装的实施例，图案的模样是正方形，其大小是70cm×70cm，车辆与位于中央的图案距离是30cm。这时的大小和图案距离不是被确定的，可根据车辆或安装台与图案大小变更。
步骤S310：接收自动补正图案图像，摄像机10拍摄安装在地面的自动补正图案100，将拍摄的图像传送至图像输出入单元210，图像处理模块300从图像输出入单元210，接收自动补正图案100拍摄的图像的步骤。
步骤S320：提取特征点是图像输出入单元210的歪曲补正单元310，利用对自动补正图案100的已知信息，在接收的图像寻找自动补正图案100，提取自动补正图案100的特征点的步骤。
具体地，首先在接收的图像内寻找轮廊，制作候补群之后，自动补正图案100为四边形时，利用如四个顶点、凸面(convex)、被限制的纵横比内的轮廊等的已知信息，从接收的图像寻找自动补正图案100，对寻找的自动补正图案100提取特征点。
步骤S330：推定绝对位置和安装角，歪曲补正单元310利用在提取特征点步骤S320中提取的自动补正图案100的特征点，如棱、矩等信息，推定获得图像当时的摄像机绝对位置和安装角的步骤。
其中，图像处理模块300将推定的摄像机的绝对位置和安装角的信息，存储在存储单元220。即，图像处理模块300以地面的自动补正图案100为基础，只推定摄像机放置的绝对位置和摄像机倾斜的角度。
步骤S340：获得内部参数，歪曲补正单元310利用拍摄的图像，为了镜片的歪曲补正，获得光学参数的内部参数的步骤。其中，光学参数可包括光中心(optical center)、纵横比(aspect ratio)、投影及焦距(focal length)中至少任何一个以上。
即，在步骤S330：推定绝对位置和安装角中，推定摄像机的绝对位置和安装角之后，图像处理模块300利用拍摄的图像，获得包括用于镜片歪曲补正的镜片光中心的光学参数。
步骤S350：执行镜片歪曲补正是歪曲补正单元310利用在获得内部参数的步骤S340获得的内部参数，通过歪曲补正算法，补正镜片歪曲图像的步骤，可使用多种歪曲补正方法。
镜片歪曲大致地具有放射形歪曲和切线歪曲，特别地，在可拍摄广范围的广角镜片时，需要补正比普通镜片拍摄的图像，离镜片的中心越远，比原来位置向内侧或外侧移动的放射形歪曲。
并且，镜片歪曲补正在使用不是普通的针孔摄像机的广角镜片，逆计算镜片的曲率，将此为基础将入射点均衡至光中心，去除在曲率的差异发生的镜片的歪曲现象。
因此，在歪曲补正过程中，形成对镜片曲率的模型式(投影式)时，将此为基础掌握歪曲信息，且经过补正步骤，只留图像内远近歪曲。
作为补正这些镜片歪曲的方法，具有通过非线性歪曲补正方法的方法和通过高斯球映射的歪曲补正方法。并且，非线性歪曲补正方法，具有基于针孔的方法(pinholebased)和基于捕获光线的方法(captured ray based)等。
基于针孔的方法是利用图像内空间坐标和光轴(principal axis)，补正歪曲的方法，实际计算可灵活使用由多项式(polynomial)构成的函数。
基于捕获光线的方法是利用光轴和入射光的角度，补正歪曲的方法，补正由基于光线捕获的放射形歪曲，在去除镜片折射的意思中，可视为与针孔投影(Pin-holeprojection)相同的。在此使用的投影方程式(Projection equation)，主要可使用在方程式1记述的等距投影(Equidistant projection)、正投影(Orthographic projection)、等立体角摄影方式(Equisolid angle projection)及立体投影(Stereographicprojection)的方程式。这时，Rf是在像平面(image plane)的投影距离(projecteddistance)、f是焦距、ω是入射光线(incident ray)的入射角。除此之外，也可利用多种方程式。
【方程式1】
等距投影：Rf＝f·ω
正投影：Rf＝f·sin(ω)
等立体角射影：Rf＝2f·sin(ω/2)
立体投影：Rf＝2f·tan(ω/2)
并且，光中心可由拍摄的图像镜片光圈或者椭圆的中心掌握。焦距可参考在制造镜片时形成的值和图片传感器的数据薄片，进行求解。作为其他方法，焦距配对投影方程式，去除图像的歪曲时，可定义为直线没有歪曲显示时的焦距值，因此，将推定此可获得焦距。
步骤360：推动变更参数及执行图像补正，是图片排列提取单元320利用在歪曲补正单元310推定的摄像机的绝对位置和安装角的信息，在歪曲补正单元310补正的图像以自动补正图案100为基准时，计算在哪个位置以哪种程度倾斜状态的放置，将此推定为变更参数，图片排列生成单元330以推动的值，最终执行图像补正。其中，变更参数由摄像机安装位置(X，Y，Z)及旋转误差(Φ，θ，Ψ)表现。
具体地，执行如此推定变更参数及执行图像补正的过程，首先在三维虚拟球执行图案匹配之后，使映射在三维虚拟球的图像内的自动补正图案100的模样，成为原来的自动补正图案100形态，旋转三维虚拟球，将与实际自动补正图案100的差异由变更参数推定，且执行图像补正。在这种情况下，以最小化与实际自动补正图案100差异的方法，使用最佳算法方法(参考图5的第二个图)。
并且，其中，利用自动补正图案100，意味着利用自动补正图案100的棱、角、矩(moment)等的被提取的信息(参考图5的第一个图)。
此外，利用如此提取的信息，直到图像内的所有图案的模样成为原来正方形形态为止，反复地旋转三维虚拟球，最终使自动补正图案100的图像位置和尺度一致(参考图5的第二个及第三个图)。
即，在图像处理模块300的歪曲补正单元310，将镜片歪曲补正的图像，映射在三维虚拟球之后，图片排列推定单元320利用推定的摄像机绝对位置和安装角，使将三维虚拟球与实际自动补正图案100一致，变更角度和距离，最终图片排列生成单元330将图片排列在三维虚拟空间。
并且，如此的图片排列生成单元330，将图片排列在三维虚拟空间的过程，将象征摄像机三维虚拟球的地面的自动补正图案100为基础，推定在哪个位置以哪种倾斜状态的放置之后，由推定的值排列在虚拟空间。虚拟球排列在虚拟三维空间，描述安装在实际车辆的摄像机。推定过程旋转及移动虚拟球之后，将映射在虚拟球的图像，再次映射在地面时，以提高与实际自动补正图案100一直程度的方向，进行变更旋转角度和移动距离的形态。虚拟球可由方程式2，与实际自动补正图案100映射。
方程式2
XYp＝fpc·（Sc·R(ψ)·R(θ)·R(φ))(XYc)
其中，XYc是歪曲补正图像的一点的直角坐标，可显示为(Xc、Yc、Zc)、XYp是将XYc映射在地面的点的二维坐标。Sc是比例要素(scale factor)、fpc是将三维坐标映射为平面的一个点的函数、R(θ)及R(ψ)如方程式3所示，可由三维坐标的旋转矩阵显示。将摄像机观看的始点定义为y轴、将其直角方向为x轴、车辆的垂直方向为z轴时，分别意味着φ以x轴为中心旋转的角、θ以y轴为中心旋转的角、ψ以z轴为中心旋转的角。
数学式3
将方程式2和方程式3都进行展开并整理时，如以下方程式4。在这种情况下，Xpd显示虚拟球以x轴方向移动的距离，Ypd显示虚拟球以y轴方向移动的距离。
方程式4
利用方程式2至方程式4，执行图案映射之后，可通过更换旋转角度和移动距离的变更参数的方法，使图像内的自动补正图案100与实际自动补正图案100差异最小化的方法，适用最佳算法方法。最佳算法可使用如雷文博格-马括特方法(LM，Levenberg-Marquadts)、最小均方LMS(Least Mean Square)、最小均方差估计LMSE(Least meansquare estimation)蚁群最佳算法ACO(Ant Colony Optimization)、粒子群算法PSO(Particle Swarm Optimization)、梯度下降GD(Gradient descent)等最佳算法。
通过如此的最佳算法方法，作为误差最小化的变更参数，可推定摄像机安装位置(X，Y，Z)及旋转误差(Φ，θ，Ψ)，且图片排列生成单元330利用推定的变更参数，最终补正图像。
参照图6，通过如此的最佳算法的迭代适用，满足自动补正图案100的相对最少限制条件的位置和大小，使最终图像补正将执行结果示出为曲线图。
如此，补正三维图像的歪曲之后，图像处理模块300跟踪对图像像素的摄像机和原坐标，生成查找表(LUT)，或生成由GPU texture坐标映射方法的顶点(Vertex)，或生成用户定义元数据格式(meta-data format，如，XML格式(format))进行存储。
在图7示出对查找表的一个示例，查找表是存储构成从摄像机10获得的输入图像的各个像素的显示器和对应于由相同图像输出装置显示的图像像素关系的图像映射数据的手段。
参照图7，查找表可视为构成从广角摄像机10获得的输入图像的各个像素的原坐标(x，y)，规定为对应于要输出图像像素的最终坐标(t11、t12、…、tmn)关系的一种映射表。各个要输出图像的最终坐标(t11、t12、…、tmn)，对应于输入的图像。这是因为摄像机10使用广角镜片时获得的图像是具有广视场角的歪曲的图像，所以，将此对应于平面化的图像时，具有各图像的像素不是1:1，而是N:1的对应关系。
例如，最终坐标T11也可对应于三处的输入原坐标((x1，y2)，(x3，y4)，(x5，y6))。摄像机10为多个时，这些查找表具备获得的输入图像的个数，即摄像机10的个数，包括按各个输入图像对应的合成图像的坐标值。
生成这些查找表的过程，为了得到用于生成查找表的对样品图像各个像素的输出，执行必要的运算的逆运算(inverse operation)，求对应于图像各像素的输入图像的各像素的坐标。
例如，在构成图像的像素中选择任何一个像素时，这些像素以坐标为基准被选择，坐标成为要输出图像的最终坐标。
被选择像素的最终坐标，可知道由摄像机获得的在输入图像的原坐标在哪里。因此，获得对应于特定像素的最终坐标的原坐标，进行记录。
将如此过程对图像的所有像素依次地执行，可获得对应于任意像素的最终坐标的原坐标。
将获得的原坐标与相应像素的最终坐标进行映射，可生成如图7所示的查找表(LUT)。其中，输入图像的所有像素不是与图像处理模块300补正三维图像歪曲后的图像最终坐标映射。这意味着在输入图像中，不必要的像素不对应于最终坐标，可被去除。通常，只由输入图像的一定领域的像素，即20％至50％程度，最终图像处理模块300变换为处理的图像，因此，只对参照查找表变换的输入图像的像素，执行映射过程，可减少其图像处理时的负载和时间。
图像处理模块300生成查找表之后，将生成的查找表传送至输出入模块200，存储在存储单元220。之后，参照存储在存储单元220的查找表，可将通过摄像机10输入的图像如本发明，不执行合成过程，而是将输入图像的像素直接映射在最终输出图像，从而可简单并迅速地生成及显示三维图像。
如上述，对于从摄像机获得的图像具备自动补正功能的图像处理装置及其方法，不限定于上述的实施例的构成和运行方法。所述实施例中，各实施例的全部或一部分可选择性地被组合，以实现多种变形。
附图标记说明
10：摄像机
100：自动补正图案
200：输出入模块
210：图像输出入单元
220：存储单元
300：图像处理模块
310：歪曲补正单元
320：图片排列推定单元
330：图片排列生成单元

Claims (12)

1.一种摄像机拍摄安装在地面的自动补正图案，将获得的图像传送至输出入模块，图像处理模块接收所述图像，补正歪曲图像的具备自动补正功能的图像处理装置，对于从摄像机获得的图像具备自动补正功能的所述图像处理装置包括：
自动补正图案，在摄像机周边的任意场所，安装一个以上；
输出入模块，从所述摄像机接收图像，传送至所述图像处理装置；及
图像处理模块，作为处理部，包含用于补正从所述摄像机获得的图像歪曲的算法，且
所述输出入模块包括：
图像输出入单元，在所述摄像机和所述图像处理模块之间，接发数据；和
存储单元，存储在所述图像处理模块处理的信息，且
所述图像处理模块包括：
歪曲补正单元，从接收的图像提取所述自动补正图案的特征点，利用对提取特征点的已知信息，推定所述摄像机的绝对位置和安装角，利用存储在所述存储单元的内部参数，执行镜片歪曲补正；
图片排列推定单元，利用从所述歪曲补正单元推定的摄像机的绝对位置和安装角的信息，在图像中作为变更参数，推定摄像机安装位置及旋转误差；及
图片排列生成单元，利用从所述图片排列推定单元推定的变更参数，补正图像的三维位置及大小。
2.根据权利要求1所述的对于从摄像机获得的图像具备自动补正功能的图像处理装置，其中，所述自动补正图案的形状是三角形、四边形、多角形及圆形中任何一个。
3.根据权利要求1所述的对于从摄像机获得的图像具备自动补正功能的图像处理装置，其中，如所述自动补正图案的形状、大小或者色彩等的图形规格的信息，和如棱、矩等的几何信息是已知的信息。
4.根据权利要求1所述的对于从摄像机获得的图像具备自动补正功能的图像处理装置，其中，所述内部参数包括光中心、纵横比、投影类型及焦距中任何一个以上。
5.根据权利要求1所述的对于从摄像机获得的图像具备自动补正功能的图像处理装置，其中，所述图片排列推定单元作为变更参数，推定摄像机安装位置及旋转误差时，利用最佳算法方法使其误差为最小。
6.根据权利要求5所述的对于从摄像机获得的图像具备自动补正功能的图像处理装置，其中，所述最佳算法是雷文博格-马括特方法、最小均方、蚁群最佳算法、粒子群算法中任何一个。
7.根据权利要求1所述的对于从摄像机获得的图像具备自动补正功能的图像处理装置，其中，所述图片排列生成单元补正图像时，将推定的信息存储在存储单元，以如查找表、由图形处理器纹理坐标映射方法的顶点、用户定义元数据格式等多种形式生成并存储。
8.一种对于从摄像机获得的图像具备自动补正功能的图像处理方法，其步骤包括：
接收自动补正图案图像步骤，图像处理模块从输出入模块，接收摄像机拍摄的自动补正图案图像；
提取特征点步骤，所述图像处理模块的歪曲补正单元，利用对所述自动补正图案的已知信息，在接收的图像提取自动补正图案的特征点；
推定绝对位置和安装角步骤，利用从所述歪曲补正单元提取的所述自动补正图案的特征点，推定获得图像当时的摄像机绝对位置和安装角；
获得内部参数步骤，所述歪曲补正单元利用接收图像，获得用于镜片歪曲补正的内部参数；
执行镜片歪曲补正步骤，利用所述获得的内部参数，通过歪曲补正算法，补正镜片歪曲图像；及
推定变更参数及执行图像补正步骤，图片排列生成单元利用所述变更参数，最终执行图像补正。
9.根据权利要求8所述的对于从摄像机获得的图像具备自动补正功能的图像处理方法，其中，在所述执行镜片歪曲补正步骤中，补正镜片歪曲图像的方法是非线性歪曲补正方法，或者通过高斯球映射的歪曲补正方法中任何一个。
10.根据权利要求9所述的对于从摄像机获得的图像具备自动补正功能的图像处理方法，其中，所述非线性歪曲补正方法是基于针孔的方法或基于捕获光线的方法，使用在所述基于捕获光线的方法的投影方程式是等距投影、正射投影、等立体角投影及立体拍摄投影中任何一个。
11.根据权利要求8所述的对于从摄像机获得的图像具备自动补正功能的图像处理方法，其中，所述推定变更参数及执行图像补正步骤，由以下方程式执行实际自动补正图案和图案匹配，
方程式
XYp＝fpc·(Sc·R(Ψ)·R(θ)·R(φ))(XYc)
<mrow> <mi>R</mi> <mrow> <mo>(</mo> <mi>&amp;phi;</mi> <mo>)</mo> </mrow> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>cos</mi> <mi>&amp;phi;</mi> </mrow> </mtd> <mtd> <mrow> <mi>sin</mi> <mi>&amp;phi;</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mo>-</mo> <mi>sin</mi> <mi>&amp;phi;</mi> </mrow> </mtd> <mtd> <mrow> <mi>cos</mi> <mi>&amp;phi;</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <mi>R</mi> <mrow> <mo>(</mo> <mi>&amp;theta;</mi> <mo>)</mo> </mrow> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <mrow> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;theta;</mi> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mo>-</mo> <mi>sin</mi> <mi>&amp;theta;</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mrow> <mi>sin</mi> <mi>&amp;theta;</mi> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mrow> <mi>c</mi> <mi>o</mi> <mi>s</mi> <mi>&amp;theta;</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>,</mo> <mi>R</mi> <mrow> <mo>(</mo> <mi>&amp;psi;</mi> <mo>)</mo> </mrow> <mfenced open = "(" close = ")"> <mtable> <mtr> <mtd> <mrow> <mi>cos</mi> <mi>&amp;phi;</mi> </mrow> </mtd> <mtd> <mrow> <mi>sin</mi> <mi>&amp;phi;</mi> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>-</mo> <mi>sin</mi> <mi>&amp;phi;</mi> </mrow> </mtd> <mtd> <mrow> <mi>cos</mi> <mi>&amp;phi;</mi> </mrow> </mtd> <mtd> <mn>0</mn> </mtd> </mtr> <mtr> <mtd> <mn>0</mn> </mtd> <mtd> <mn>0</mn> </mtd> <mtd> <mn>1</mn> </mtd> </mtr> </mtable> </mfenced> </mrow>
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>X</mi> <mi>p</mi> </msub> <mo>=</mo> <mo>&amp;PlusMinus;</mo> <msub> <mi>S</mi> <mi>c</mi> </msub> <msqrt> <mrow> <msubsup> <mi>X</mi> <mi>c</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>Y</mi> <mi>c</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msup> <mi>Z</mi> <msub> <mn>2</mn> <mi>c</mi> </msub> </msup> </mrow> </msqrt> <mo>&amp;CenterDot;</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>(</mo> <mfrac> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>c</mi> </msub> <mo>(</mo> <mi>cos</mi> <mi>&amp;theta;</mi> <mi>cos</mi> <mi>&amp;psi;</mi> <mo>)</mo> <mo>+</mo> <msub> <mi>Y</mi> <mi>c</mi> </msub> <mo>(</mo> <mi>cos</mi> <mi>&amp;theta;</mi> <mi>sin</mi> <mi>&amp;psi;</mi> <mo>)</mo> <mo>+</mo> <msub> <mi>Z</mi> <mi>c</mi> </msub> <mo>(</mo> <mo>-</mo> <mi>sin</mi> <mi>&amp;theta;</mi> <mo>)</mo> </mrow> <mrow> <msub> <mi>X</mi> <mi>c</mi> </msub> <mrow> <mo>(</mo> <mi>sin</mi> <mi>&amp;phi;</mi> <mi>sin</mi> <mi>&amp;psi;</mi> <mo>+</mo> <mi>cos</mi> <mi>&amp;phi;</mi> <mi>sin</mi> <mi>&amp;theta;</mi> <mi>cos</mi> <mi>&amp;psi;</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>Y</mi> <mi>c</mi> </msub> <mrow> <mo>(</mo> <mo>-</mo> <mi>sin</mi> <mi>&amp;phi;</mi> <mi>cos</mi> <mi>&amp;psi;</mi> <mo>+</mo> <mi>cos</mi> <mi>&amp;phi;</mi> <mi>sin</mi> <mi>&amp;theta;</mi> <mi>sin</mi> <mi>&amp;psi;</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>Z</mi> <mi>c</mi> </msub> <mrow> <mo>(</mo> <mi>cos</mi> <mi>&amp;phi;</mi> <mi>cos</mi> <mi>&amp;theta;</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>)</mo> <mo>+</mo> <msub> <mi>X</mi> <mrow> <mi>p</mi> <mi>d</mi> </mrow> </msub> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>Y</mi> <mi>p</mi> </msub> <mo>=</mo> <mo>&amp;PlusMinus;</mo> <msub> <mi>S</mi> <mi>c</mi> </msub> <msqrt> <mrow> <msubsup> <mi>X</mi> <mi>c</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mi>Y</mi> <mi>c</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msup> <mi>Z</mi> <msub> <mn>2</mn> <mi>c</mi> </msub> </msup> </mrow> </msqrt> <mo>&amp;CenterDot;</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>(</mo> <mfrac> <mrow> <mo>(</mo> <msub> <mi>X</mi> <mi>c</mi> </msub> <mo>(</mo> <mo>-</mo> <mi>cos</mi> <mi>&amp;phi;</mi> <mi>cos</mi> <mi>&amp;psi;</mi> <mo>+</mo> <mi>sin</mi> <mi>&amp;phi;</mi> <mi>sin</mi> <mi>&amp;theta;</mi> <mi>cos</mi> <mi>&amp;psi;</mi> <mo>)</mo> <mo>+</mo> <msub> <mi>Y</mi> <mi>c</mi> </msub> <mo>(</mo> <mi>cos</mi> <mi>&amp;phi;</mi> <mi>cos</mi> <mi>&amp;psi;</mi> <mo>+</mo> <mi>sin</mi> <mi>&amp;phi;</mi> <mi>sin</mi> <mi>&amp;theta;</mi> <mi>sin</mi> <mi>&amp;psi;</mi> <mo>)</mo> <mo>+</mo> <msub> <mi>Z</mi> <mi>c</mi> </msub> <mo>(</mo> <mi>sin</mi> <mi>&amp;phi;</mi> <mi>cos</mi> <mi>&amp;theta;</mi> <mo>)</mo> </mrow> <mrow> <msub> <mi>X</mi> <mi>c</mi> </msub> <mrow> <mo>(</mo> <mi>sin</mi> <mi>&amp;phi;</mi> <mi>sin</mi> <mi>&amp;psi;</mi> <mo>+</mo> <mi>cos</mi> <mi>&amp;phi;</mi> <mi>sin</mi> <mi>&amp;theta;</mi> <mi>cos</mi> <mi>&amp;psi;</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>Y</mi> <mi>c</mi> </msub> <mrow> <mo>(</mo> <mo>-</mo> <mi>sin</mi> <mi>&amp;phi;</mi> <mi>cos</mi> <mi>&amp;psi;</mi> <mo>+</mo> <mi>cos</mi> <mi>&amp;phi;</mi> <mi>sin</mi> <mi>&amp;theta;</mi> <mi>sin</mi> <mi>&amp;psi;</mi> <mo>)</mo> </mrow> <mo>+</mo> <msub> <mi>Z</mi> <mi>c</mi> </msub> <mrow> <mo>(</mo> <mi>cos</mi> <mi>&amp;phi;</mi> <mi>cos</mi> <mi>&amp;theta;</mi> <mo>)</mo> </mrow> </mrow> </mfrac> <mo>)</mo> <mo>+</mo> <msub> <mi>Y</mi> <mrow> <mi>p</mi> <mi>d</mi> </mrow> </msub> </mrow> </mtd> </mtr> </mtable> </mfenced>
其中，XYc是歪曲补正图像的一点的直角坐标、XYp是将XYc映射在地面的点的二维坐标、Sc是比例要素、fpc是将三维坐标映射为平面的一个点的函数、R(θ)及R(ψ)如方程式3所示，以三维坐标的旋转矩阵分别意味着φ是以x轴为中心旋转的角、θ是以y轴为中心旋转的角、ψ是以z轴为中心旋转的角。
12.根据权利要求8所述的对于从摄像机获得的图像具备自动补正功能的图像处理方法，其中，在所述推定变更参数及执行图像补正步骤中，用于最小化实际自动补正图案和图像内的自动补正图案的误差的最佳算法是雷文博格-马括特方法、最小均方、蚁群最佳算法、粒子群算法中任何一个。
CN201580080388.3A 2015-03-25 2015-05-06 对于从摄像机获得的图像，具备自动补正功能的图像处理装置及其方法 Pending CN107660336A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2015-0041293 2015-03-25
KR1020150041293A KR101666959B1 (ko) 2015-03-25 2015-03-25 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
PCT/KR2015/004514 WO2016153100A1 (ko) 2015-03-25 2015-05-06 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법

Publications (1)

Publication Number Publication Date
CN107660336A true CN107660336A (zh) 2018-02-02

Family

ID=56978753

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580080388.3A Pending CN107660336A (zh) 2015-03-25 2015-05-06 对于从摄像机获得的图像，具备自动补正功能的图像处理装置及其方法

Country Status (4)

Country Link
US (1) US10176595B2 (zh)
KR (1) KR101666959B1 (zh)
CN (1) CN107660336A (zh)
WO (1) WO2016153100A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201405527D0 (en) * 2014-03-27 2014-05-14 Mill Facility The Ltd A driveable vehicle unit
EP3173979A1 (en) 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for identification of characteristic points of a calibration pattern within a set of candidate points in an image of the calibration pattern
EP3174007A1 (en) 2015-11-30 2017-05-31 Delphi Technologies, Inc. Method for calibrating the orientation of a camera mounted to a vehicle
KR101713244B1 (ko) * 2016-11-04 2017-03-09 서광항업 주식회사 왜곡된 영상정보를 보정하고 업데이트하는 영상신호 보정 처리장치
KR101704362B1 (ko) * 2016-11-18 2017-02-08 최재용 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템 및 이를 이용한 실시간 파노라마 영상 제작 방법
KR102013935B1 (ko) * 2017-05-25 2019-08-23 삼성전자주식회사 위험 상황을 감지하는 방법 및 시스템
CN109086650B (zh) * 2017-06-14 2022-04-12 现代摩比斯株式会社 校准方法和校准设备
CN107317953B (zh) * 2017-06-30 2020-09-01 上海兆芯集成电路有限公司 图像获取方法及其装置
CN109215077B (zh) * 2017-07-07 2022-12-06 腾讯科技（深圳）有限公司 一种相机姿态信息确定的方法及相关装置
CN111279127B (zh) 2017-08-25 2023-03-31 阿格尼泰克斯股份有限公司 照明器材、照明系统、受控环境农业系统和方法
KR102076139B1 (ko) * 2017-09-29 2020-02-11 에스케이 텔레콤주식회사 360 영상 라이브 스트리밍 서비스 방법 및 서버장치
CN111630850B (zh) * 2018-01-23 2022-11-04 Lg电子株式会社 用于发送或接收包括相机镜头信息的360度视频的方法和设备
US11483528B2 (en) * 2018-02-08 2022-10-25 Sony Corporation Information processing apparatus and information processing method
EP3534333A1 (en) * 2018-02-28 2019-09-04 Aptiv Technologies Limited Method for calibrating the position and orientation of a camera relative to a calibration pattern
EP3534334B1 (en) 2018-02-28 2022-04-13 Aptiv Technologies Limited Method for identification of characteristic points of a calibration pattern within a set of candidate points derived from an image of the calibration pattern
US11348208B2 (en) * 2018-03-08 2022-05-31 Sony Corporation Signal processing apparatus and signal processing method
EP3557523B1 (de) * 2018-04-18 2021-07-28 B&R Industrial Automation GmbH Verfahren zur erzeugung eines korrekturmodells einer kamera zur korrektur eines abbildungsfehlers
KR102367361B1 (ko) * 2018-06-07 2022-02-23 우이시 테크놀로지스 (베이징) 리미티드. 위치 측정 및 동시 지도화 방법 및 장치
DE102018127465A1 (de) * 2018-11-05 2020-05-07 Valeo Schalter Und Sensoren Gmbh Verfahren zum Betreiben einer Fischaugenkamera durch Nutzung eines ersten Kompressionsalgorithmus und eines zweiten Kompressionsalgorithmus, elektronische Recheneinrichtung, Fischaugenkamera sowie Fahrerassistenzsystem
WO2020122361A1 (ko) * 2018-12-12 2020-06-18 엘지전자 주식회사 카메라 렌즈 정보를 포함한 360도 비디오를 디스플레이하는 방법 및 그 장치
KR102225043B1 (ko) * 2019-07-08 2021-03-09 한국과학기술원 3차원 산업용 컴퓨터 단층 영상 기법에서 금속으로 인한 인공음영 제거 방법 및 장치
US11648723B2 (en) * 2019-12-03 2023-05-16 Racing Optics, Inc. Method and apparatus for reducing non-normal incidence distortion in glazing films
IL293798A (en) * 2019-12-10 2022-08-01 Agnetix Inc Multisensory imaging methods and devices for plant growth in a controlled environment using projectors and cameras and/or sensors
IL293805A (en) 2019-12-12 2022-08-01 Agnetix Inc LED-based lighting fixture cooled by liquid in close proximity growing systems for use in controlled environmental horticulture
CN118196310B (zh) * 2024-05-17 2024-07-19 江西六湛科技有限公司 用于图像识别计算中的图像处理方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1884968A (zh) * 2005-06-24 2006-12-27 日产自动车株式会社 车辆用图像生成设备和方法
US20080007619A1 (en) * 2006-06-29 2008-01-10 Hitachi, Ltd. Calibration Apparatus of On-Vehicle Camera, Program, and Car Navigation System
CN101236655A (zh) * 2007-02-01 2008-08-06 三洋电机株式会社 摄像机校正装置以及方法和车辆
JP2010170514A (ja) * 2008-12-24 2010-08-05 Fujitsu General Ltd 画像データ変換装置
CN101861255A (zh) * 2007-11-21 2010-10-13 三洋电机株式会社 图像处理装置和方法、驾驶支持系统、车辆
CN102334142A (zh) * 2009-02-24 2012-01-25 三菱电机株式会社 人物追踪装置以及人物追踪程序
CN102547065A (zh) * 2010-12-16 2012-07-04 伟诠电子股份有限公司 自动校正环车图像的校正电路及其方法
CN103778649A (zh) * 2012-10-11 2014-05-07 通用汽车环球科技运作有限责任公司 用于相机建模和虚拟视图合成的成像表面建模
US20140125812A1 (en) * 2012-11-06 2014-05-08 Novatel Inc. Spherical pin-hole model for use with camera lens image data
US20140125774A1 (en) * 2011-06-21 2014-05-08 Vadas, Ltd. Apparatus for synthesizing three-dimensional images to visualize surroundings of vehicle and method thereof

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4513374A (en) * 1981-09-25 1985-04-23 Ltv Aerospace And Defense Memory system
EP0662600A4 (en) * 1993-06-10 1997-02-12 Oh Yoh Keisoku Kenkyusho Kk DEVICE FOR MEASURING THE POSITION OF A MOVABLE OBJECT.
KR100250323B1 (ko) * 1997-10-10 2000-04-01 정몽규 무인 자동차의 화상 처리 장치 및 방법
JP2009100342A (ja) * 2007-10-18 2009-05-07 Sanyo Electric Co Ltd カメラ校正装置及び方法、並びに、車両
KR100966592B1 (ko) 2007-12-17 2010-06-29 한국전자통신연구원 영상에서 평행 사변형의 호모그래피를 이용한 카메라의 보정 방법
JP5292874B2 (ja) * 2007-12-17 2013-09-18 富士通株式会社 車両用画像処理装置、車両用画像処理プログラム、車両用画像処理方法
US9449378B2 (en) * 2008-05-22 2016-09-20 Matrix Electronic Measuring Properties, Llc System and method for processing stereoscopic vehicle information
FR2934289B1 (fr) * 2008-07-24 2013-01-11 Weber & Broutin Sa Carreau pour revetement a proprietes d'amelioration acoustique.
JP5456330B2 (ja) * 2009-02-04 2014-03-26 アルパイン株式会社 画像表示装置及びそのカメラ取り付け角度算出方法
EP2523163B1 (en) * 2011-05-10 2019-10-16 Harman Becker Automotive Systems GmbH Method and program for calibrating a multicamera system
KR101351911B1 (ko) 2012-08-03 2014-01-17 주식회사 이미지넥스트 카메라의 영상 처리 장치 및 방법
CN103996215A (zh) * 2013-11-05 2014-08-20 深圳市云立方信息科技有限公司 一种实现虚拟视图转立体视图的方法及装置
CN103617615B (zh) * 2013-11-27 2016-08-17 华为技术有限公司 径向畸变参数获取方法及获取装置
JP6034775B2 (ja) * 2013-11-29 2016-11-30 クラリオン株式会社 カメラ校正装置
WO2015114833A1 (ja) * 2014-02-03 2015-08-06 株式会社プロスパークリエイティブ 画像検査装置及び画像検査プログラム
JP6330383B2 (ja) * 2014-03-12 2018-05-30 株式会社デンソー 合成画像生成装置、および合成画像生成プログラム
US9641830B2 (en) * 2014-04-08 2017-05-02 Lucasfilm Entertainment Company Ltd. Automated camera calibration methods and systems
JP2016046747A (ja) * 2014-08-26 2016-04-04 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像表示システム

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1884968A (zh) * 2005-06-24 2006-12-27 日产自动车株式会社 车辆用图像生成设备和方法
US20080007619A1 (en) * 2006-06-29 2008-01-10 Hitachi, Ltd. Calibration Apparatus of On-Vehicle Camera, Program, and Car Navigation System
CN101236655A (zh) * 2007-02-01 2008-08-06 三洋电机株式会社 摄像机校正装置以及方法和车辆
CN101861255A (zh) * 2007-11-21 2010-10-13 三洋电机株式会社 图像处理装置和方法、驾驶支持系统、车辆
JP2010170514A (ja) * 2008-12-24 2010-08-05 Fujitsu General Ltd 画像データ変換装置
CN102334142A (zh) * 2009-02-24 2012-01-25 三菱电机株式会社 人物追踪装置以及人物追踪程序
CN102547065A (zh) * 2010-12-16 2012-07-04 伟诠电子股份有限公司 自动校正环车图像的校正电路及其方法
US20140125774A1 (en) * 2011-06-21 2014-05-08 Vadas, Ltd. Apparatus for synthesizing three-dimensional images to visualize surroundings of vehicle and method thereof
CN103778649A (zh) * 2012-10-11 2014-05-07 通用汽车环球科技运作有限责任公司 用于相机建模和虚拟视图合成的成像表面建模
US20140125812A1 (en) * 2012-11-06 2014-05-08 Novatel Inc. Spherical pin-hole model for use with camera lens image data

Also Published As

Publication number Publication date
US10176595B2 (en) 2019-01-08
WO2016153100A1 (ko) 2016-09-29
US20180122099A1 (en) 2018-05-03
KR101666959B1 (ko) 2016-10-18
KR20160116075A (ko) 2016-10-07

Similar Documents

Publication Publication Date Title
CN107660336A (zh) 对于从摄像机获得的图像，具备自动补正功能的图像处理装置及其方法
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN100485720C (zh) 一种基于序列静态图像的360°环视全景生成方法
CN109242954B (zh) 基于模板变形的多视角三维人体重建方法
CN106485753B (zh) 用于无人驾驶汽车的摄像机标定的方法和装置
US9451236B2 (en) Apparatus for synthesizing three-dimensional images to visualize surroundings of vehicle and method thereof
CN107886547B (zh) 一种鱼眼相机标定方法及系统
CN104182982A (zh) 双目立体视觉摄像机标定参数的整体优化方法
CN106846409A (zh) 鱼眼相机的标定方法及装置
CN107274483A (zh) 一种物体三维模型构建方法
CN105959669B (zh) 一种基于重映射的集成成像微图像阵列快速生成方法
CN103971378A (zh) 一种混合视觉系统中全景图像的三维重建方法
US8687920B2 (en) Method and device for the invariant-affine recognition of shapes
CN106534670B (zh) 一种基于固联鱼眼镜头摄像机组的全景视频生成方法
CN105654476A (zh) 基于混沌粒子群优化算法的双目标定方法
CN103839227A (zh) 鱼眼图像校正方法和装置
CN110490943B (zh) 4d全息捕捉系统的快速精确标定方法、系统及存储介质
CN102156986A (zh) 近红外摄像机的标定方法
CN110580720A (zh) 一种基于全景图的相机位姿估计方法
Pagani et al. Dense 3D Point Cloud Generation from Multiple High-resolution Spherical Images.
CN103824303A (zh) 基于被摄物的位置、方向调整图像透视畸变的方法和装置
CN106778660A (zh) 一种人脸姿态校正方法及装置
CN111179347B (zh) 基于区域性特征的定位方法、定位设备及存储介质
CN111896032A (zh) 一种单目散斑投射器位置的标定系统及方法
CN113902802A (zh) 视觉定位方法及相关装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180202