CN109785390A - 一种用于图像矫正的方法和装置 - Google Patents

一种用于图像矫正的方法和装置 Download PDF

Info

Publication number
CN109785390A
CN109785390A CN201711114580.7A CN201711114580A CN109785390A CN 109785390 A CN109785390 A CN 109785390A CN 201711114580 A CN201711114580 A CN 201711114580A CN 109785390 A CN109785390 A CN 109785390A
Authority
CN
China
Prior art keywords
photographic device
image
parameter
point
characteristic point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201711114580.7A
Other languages
English (en)
Other versions
CN109785390B (zh
Inventor
郁理
苗旺
范鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongsoft Technology Co Ltd
Original Assignee
Hongsoft Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongsoft Technology Co Ltd filed Critical Hongsoft Technology Co Ltd
Priority to CN201711114580.7A priority Critical patent/CN109785390B/zh
Priority to US16/188,325 priority patent/US11205281B2/en
Publication of CN109785390A publication Critical patent/CN109785390A/zh
Application granted granted Critical
Publication of CN109785390B publication Critical patent/CN109785390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Geometry (AREA)

Abstract

本发明提供了一种用于图像矫正的方法和装置，应用于图像处理领域，该方法包括：接收两张图像，所述两张图像为从不同视点拍摄目标物体的图像，拍摄所述两张图像的摄像装置包括第一摄像装置和第二摄像装置；确定所述两张图像中对应的特征点对的位置；根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。上述方法能够使得对获得的不同视点的图像进行矫正，从而保证像素对齐，使得观看者不会有视觉不适的感觉。

Description

一种用于图像矫正的方法和装置
技术领域
本发明涉及一种用于图像处理的方法和装置，具体地，涉及一种用于图像矫正的方法和装置。
背景技术
目前，立体图像采集需要对应左右眼的视线分别采集两幅图像，此图像需要在非视差方向保证像素对齐从而达到较好的观看效果，而目前多视点图像采集装置获得的左右眼图像往往存在着形变，而无法保证像素对齐，会使观看者产生很大的视觉不适。
发明内容
本发明提供的一种用于图像矫正的方法和装置，能够解决现有技术中获得的左右眼图像往往存在着形变，而无法保证像素对齐，会使观看者产生很大的视觉不适的问题。
本发明的第一方面提供一种用于图像矫正的方法，所述方法包括：接收两张图像，所述两张图像为从不同视点拍摄目标物体的图像，拍摄所述两张图像的摄像装置包括第一摄像装置和第二摄像装置；确定所述两张图像中对应的特征点对的位置；根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。
根据本发明的第一方面，在本发明的第一方面的第一可执行方式中，所述根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐，包括：根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数；根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数；根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像。
根据本发明的第一方面或本发明的第一方面的第一可执行方式，在本发明的第一方面的第二可执行方式中，所述确定所述两张图像中对应的特征点对的位置，包括：确定所述两张图像中候选的对应的特征点对的位置；去除所述候选的对应的特征点对中对应错误的特征点对。
根据本发明的第一方面或本发明的第一方面的第一可执行方式或本发明的第一方面的第二可执行方式，在本发明的第一方面的第三可执行方式中，所述特征点包括下述的一个：在至少一个方向上的变化量大于第一阈值的点；不随图片大小变化而发生位置变化的点。
根据本发明的第一方面的第一可执行方式到第三可执行方式中任一可执行方式，在本发明的第一方面的第四可执行方式中，所述误差函数包括正则项，所述正则项根据所述第一摄像装置和第二摄像装置的关于旋转的参数中的至少一个确定。
根据本发明的第一方面的第四可执行方式，在本发明的第一方面的第五可执行方式中，所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。
根据本发明的第一方面的第一可执行方式到第五可执行方式中任一，在本发明的第一方面的第六可执行方式中，所述特征点对包括第一点和第二点；所述根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数，包括：将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数。
根据本发明的第一方面的第一可执行方式到第六可执行方式中任一可执行方式，在本发明的第一方面的第七可执行方式中，所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：旋转参数、焦距以及主点坐标。
根据本发明的第一方面或本发明的第一方面的第一可执行方式到第七可执行方式中任一，在本发明的第一方面的第八可执行方式中，所述方法还包括：根据图像中的内容在所述对齐后的两张图像中选取进行立体图拼接的图像，将选取的图像拼接成立体图。
本发明的第二方面提供一种用于图像矫正的装置，所述装置包括：接收器，用于接收两张图像，所述两张图像为从不同视点拍摄目标物体的图像，拍摄所述两张图像的摄像装置包括第一摄像装置和第二摄像装置；第一处理器，用于确定所述两张图像中对应的特征点对的位置；第一处理器，还用于根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。
根据本发明的第二方面，在本发明的第二方面的第一可执行方式中，所述第一处理器，具体用于根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数，根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数，根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像。
根据本发明的第二方面或本发明的第二方面的第一可执行方式，在本发明的第二方面的第二可执行方式中，所述第一处理器，具体用于：确定所述两张图像中候选的对应的特征点对的位置；去除所述候选的对应的特征点对中对应错误的特征点对。
根据本发明的第二方面或本发明的第二方面的第一可执行方式或本发明的第二方面的第二可执行方式，在本发明的第二方面的第三可执行方式中，所述特征点包括下述的一个：在至少一个方向上的变化量大于第一阈值的点；不随图片大小变化而发生位置变化的点。
根据本发明的第二方面的第一可执行方式到第三可执行方式中任一可执行方式，在本发明的第二方面的第四可执行方式中，所述误差函数包括正则项，所述正则项根据所述第一摄像装置和第二摄像装置的关于旋转的参数中的至少一个确定。
根据本发明的第二方面的第四可执行方式，在本发明的第二方面的第五可执行方式中，所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。
根据本发明的第二方面的第一可执行方式到第五可执行方式中任一，在本发明的第二方面的第六可执行方式中，所述特征点对包括第一点和第二点；所述第一处理器，具体用于将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数。
根据本发明的第二方面的第一可执行方式到第六可执行方式中任一可执行方式，在本发明的第二方面的第七可执行方式中，所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：旋转参数、焦距以及主点坐标。
根据本发明的第二方面或本发明的第二方面的第一可执行方式到第七可执行方式中任一，在本发明的第二方面的第八可执行方式中，所述第一处理器，还用于根据图像中的内容在所述对齐后的两张图像中选取进行立体图拼接的图像，将选取的图像拼接成立体图。
本发明的第三方面提供一种用于图像矫正的系统，所述系统包括第一摄像装置、第二摄像装置以及第二处理器，所述第一摄像装置和所述第二摄像装置，用于从不同视点拍摄目标物体的图像；所述第二处理器，用于获取所述第一摄像装置和所述第二摄像装置从不同视点拍摄的目标物体的图像，确定所述图像中对应的特征点的位置，根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。
根据本发明的第三方面，在本发明的第三方面的第一可执行方式中，所述第二处理器，具体用于根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数，根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数，根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像。
根据本发明的第三方面或本发明的第三方面的第一可执行方式，在本发明的第三方面的第二可执行方式中，所述第二处理器，具体用于：确定所述两张图像中候选的对应的特征点对的位置；去除所述候选的对应的特征点对中对应错误的特征点对。
根据本发明的第三方面或本发明的第三方面的第一可执行方式或本发明的第三方面的第二可执行方式，在本发明的第三方面的第三可执行方式中，所述特征点包括下述的一个：在至少一个方向上的变化量大于第一阈值的点；不随图片大小变化而发生位置变化的点。
根据本发明的第三方面的第一可执行方式到第三可执行方式中任一可执行方式，在本发明的第三方面的第四可执行方式中，所述误差函数包括正则项，所述正则项根据所述第一摄像装置和第二摄像装置的关于旋转的参数中的至少一个确定。
根据本发明的第三方面的第四可执行方式，在本发明的第三方面的第五可执行方式中，所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。
根据本发明的第三方面的第一可执行方式到第五可执行方式中任一，在本发明的第三方面的第六可执行方式中，所述特征点对包括第一点和第二点；所述第二处理器，具体用于：将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数。
根据本发明的第三方面的第一可执行方式到第六可执行方式中任一可执行方式，在本发明的第三方面的第七可执行方式中，所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：旋转参数、焦距以及主点坐标。
根据本发明的第三方面或本发明的第三方面的第一可执行方式到第七可执行方式中任一，在本发明的第三方面的第八可执行方式中，所述第二处理器，还用于根据图像中的内容在所述对齐后的两张图像中选取进行立体图拼接的图像，将选取的图像拼接成立体图。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被第三处理器执行时实现如本发明的第一方面、本发明的第一方面的第一可执行方式到本发明的第一方面的第八可执行方式中任一可执行方式中所述方法的步骤。
本发明的第五方面提供一种用于图像矫正的装置，包括存储器、第四处理器以及存储在所述存储器中并可在所述第四处理器上运行的计算机程序，所述计算机程序被第四处理器执行时实现如本发明的第一方面、本发明的第一方面的第一可执行方式到本发明的第一方面的第八可执行方式中任一可执行方式所述方法的步骤。
本发明提供的一种用于图像矫正的方法和装置，能够使得对获得的不同视点的图像进行矫正，从而保证像素对齐，使得观看者不会有视觉不适的感觉。
附图说明
图1为本发明实施例一提供的一种用于图像矫正的方法的流程图；
图2为本发明实施例一提供的一种用于选取用于立体图拼接的图像的方法示意图；
图3为本发明实施例二提供的一种用于图像矫正的装置结构示意图；
图4为本发明实施例三提供的一种用于图像矫正的系统结构示意图；
图5为本发明实施例四提供的一种用于图像矫正的装置结构示意图；
图6为本发明实施例五提供的一种用于图像矫正的装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行详细地描述。
本发明的说明书和权利要求书中上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。
其中，本发明实施例中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
在本发明实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或“例如”的任何实施例或设计方案不应该被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
应当说明的是，为了图示的简洁和清楚起见，附图中所示的元件没有必要按照比例进行绘制。例如，为了清楚，可以相对于其他元件，增大一些元件的尺寸。另外，在认为合适的地方，可以在附图间重复附图标记，以指示相对应或类似的元件。
本发明介绍的用于图像矫正的方法和装置可以用于生成立体图的摄像装置，如专业的多机位的摄像系统，或配置有多个摄像装置的摄像系统或终端，如配置有双摄像装置的终端，如带有双摄摄像头的手机，或带有双摄摄像头的平板电脑。
下面结合附图1对本发明实施例一提供的一种用于图像矫正的方法进行详细阐述。如图1所示，该方法包括：
步骤101，接收两张图像，所述两张图像为从不同视点拍摄目标物体的图像，拍摄所述两张图像的摄像装置包括第一摄像装置和第二摄像装置。
该两张图像可以是多张拍摄目标物体的图像中的两张。该两张图像可以为普通二维图像。所述普通二维图像包括黑白图像或彩色图像，该彩色图像可以为RGB(red greenblue，红绿蓝)图像。
可选的，上述的接收的动作可以为从存储装置中接收，该存储装置可以为RAM(Random Access Memory随机存取存储器)或闪存Flash Memory或ROM(Read-Only Memory只读存储器)等。
步骤102，确定所述两张图像中对应的特征点对的位置。
所述确定所述两张图像中对应的特征点对的位置，包括：确定所述两张图像中候选的对应的特征点对的位置，去除所述候选的对应的特征点对中对应错误的特征点对。具体地，可以采用RANSAC(Random Sample Consensus随机样本一致)算法来找出上述的对应错误的特征点对。上述对应的含义是两张图像中的像素点对应于同一目标物体的一部分。可选的，该特征点包括至少一个像素点。所述特征点包括下述的一个：在至少一个方向上的变化量大于第一阈值的点，不随图片大小变化而发生位置变化的点。总之，该特征点能够反映图像内容的特点。
步骤103，根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。
所述根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐，包括：根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数；根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数；根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像。所述特征点对包括第一点和第二点，上述的关于第一参数的误差函数可以为由所述第一点的位置以及标定得到的参数计算得到的第一参数与由所述第二点的位置以及标定得到的参数计算得到的第一参数之间的误差。上述的关于第一参数的误差函数也可以根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数计算得到的第一参数的值与实际测得的第一参数的值之间的差值。如，上述的关于第一参数的误差函数可以为将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数。具体地，上述投影的过程可以为将第一点的位置映射到其对应的摄像装置的三维坐标系下的点云，根据标定得到的第一点对应的摄像装置和第二点对应的摄像装置之间的外部参数，将上述点云映射到第二点对应的摄像装置的三维坐标系下，再将其投影到第二点所在图像的二维坐标系下。
所述误差函数包括正则项，所述正则项根据所述第一摄像装置和第二摄像装置的关于旋转的参数中的至少一个确定，如该关于旋转的参数可以是旋转矩阵。所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：旋转参数、焦距以及主点坐标。
具体地，首先定义矩阵F：
F＝(KL_new*RL_opt*KL_old -1)T*[u1]x*(KR_new*RR_opt*KR_old -1)；
其中，矩阵为常量矩阵。F为3*3的矩阵。KL_old为第一摄像装置的内部参数，可以由标定得到。KR_old为第二摄像装置的内部参数，可以由标定得到。对所述误差函数进行处理，使得该误差函数的值最小或收敛可以得到优化后的第一摄像装置的内部参数KL_new，以及优化后的第二摄像装置的内部参数KR_new，以及优化后的第一摄像装置的旋转矩阵和优化后的第二摄像装置的旋转矩阵
对于每一特征点对，假设第一摄像装置拍摄的图像的特征点坐标为第二摄像装置拍摄的图像的特征点坐标为定义向量之后定义误差函数为：
其中α*(Rz_l′2+Rz_r′2)为正则项，α为正则项的系数，保证在使得误差函数最小的过程中Z轴的旋转不至于过大。Z轴为上述第一摄像装置和第二摄像装置的三维坐标系中的Z轴。
在获得优化过后的参数之后，可以计算上述第一摄像装置拍摄的图像和第二摄像装置拍摄的图像各自的单映性矩阵HL和HR，计算公式如下：
HL＝KL_new*RL_opt*KL_old -1；
HR＝KR_new*RR_opt*KR_old -1；
该矩阵可以用来获得变换后的图片的新的坐标：
其中，xold与yold为优化前的图像的坐标，优化后的图像的坐标xnew＝x′new/z′new，ynew＝y′new/z′new。其中，H可以为HL或HR，相应的坐标可以为第一摄像装置拍摄的图像或第二摄像装置拍摄的图像。
当得到上述的行对准矩阵R1和R2，以及获得的HL和HR，假设上述接收到的两张图像中的像素点的坐标为uori和vori，最终矫正后得到的对齐图的坐标为urec和vrec，那么计算公式为：
那么urec＝u′rec/w′rec，vrec＝v′rec/w′rec。对于第一摄像装置的拍摄的图像，H和R为R1和HL，对于第二摄像装置的拍摄的图像，H和R为HR和R2。
所述方法还包括：根据图像中的内容在所述对齐后的两张图像中选取进行立体图拼接的图像，将选取的图像拼接成立体图。
具体地，如图2所示，标记201表示经过矫正后的图像，标记202指示的虚线方框用于调整选取的需要进行拼接以生成立体图的图片。可以通过调整虚线框的大小和位置来选取用于拼接的图片区域，并且由于虚线框的位置和大小的改变，其内部的内容，如人脸，的位置也会相对改变。该步骤可以用于调整经过矫正后的图像中同样内容(如人脸)于拼接图中相对位置关系，从而调整人眼观看时的3D效果。将重新选取的不同视点图片的图片区域，按照常见立体图片格式，如side-by-side格式(左右拼接或上下拼接)、红蓝图等格式输出。
本发明实施例提供的一种用于图像矫正的方法，能够使得对获得的不同视点的图像进行矫正，从而保证像素对齐，使得观看者不会有视觉不适的感觉。
下面结合附图3对本发明实施例二提供的一种用于图像矫正的装置300进行详细阐述。如图3所示，该装置300包括接收器301以及第一处理器302。
接收器301，用于接收两张图像，所述两张图像为从不同视点拍摄目标物体的图像，拍摄所述两张图像的摄像装置包括第一摄像装置和第二摄像装置。
该两张图像可以是多张拍摄目标物体的图像中的两张。该两张图像可以为普通二维图像。所述普通二维图像包括黑白图像或彩色图像，该彩色图像可以为RGB图像。
可选的，上述的接收的动作可以为从存储装置中接收，该存储装置可以为RAM或闪存Flash Memory或ROM等。
第一处理器302，用于确定所述两张图像中对应的特征点对的位置。
所述第一处理器，具体用于：确定所述两张图像中候选的对应的特征点对的位置，去除所述候选的对应的特征点对中对应错误的特征点对。具体地，可以采用RANSAC(RandomSample Consensus随机样本一致)算法来找出上述的对应错误的特征点对。上述对应的含义是两张图像中的像素点对应于同一目标物体的一部分。可选的，该特征点包括至少一个像素点。所述特征点包括下述的一个：在至少一个方向上的变化量大于第一阈值的点，不随图片大小变化而发生位置变化的点。总之，该特征点能够反映图像内容的特点。
第一处理器302，还用于根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。
所述第一处理器，具体用于根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数，根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数，根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像。所述特征点对包括第一点和第二点，上述的关于第一参数的误差函数可以为由所述第一点的位置以及标定得到的参数计算得到的第一参数与由所述第二点的位置以及标定得到的参数计算得到的第一参数之间的误差。上述的关于第一参数的误差函数也可以根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数计算得到的第一参数的值与实际测得的第一参数的值之间的差值。如，所述第一处理器具体用于将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数。具体地，上述投影的过程可以为将第一点的位置映射到其对应的摄像装置的三维坐标系下的点云，根据标定得到的第一点对应的摄像装置和第二点对应的摄像装置之间的外部参数，将上述点云映射到第二点对应的摄像装置的三维坐标系下，再将其投影到第二点所在图像的二维坐标系下。
所述误差函数包括正则项，所述正则项根据所述第一摄像装置和第二摄像装置的关于旋转的参数中的至少一个确定，如该关于旋转的参数可以是旋转矩阵。所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：旋转参数、焦距以及主点坐标。
具体地，首先定义矩阵F：
F＝(KL_new*RL_opt*KL_old -1)T*[u1]x*(KR_new*RR_opt*KR_old -1)；
其中，矩阵为常量矩阵。F为3*3的矩阵。KL_old为第一摄像装置的内部参数，可以由标定得到。KR_old为第二摄像装置的内部参数，可以由标定得到。对所述误差函数进行处理，使得该误差函数的值最小或收敛可以得到优化后的第一摄像装置的内部参数KL_new，以及优化后的第二摄像装置的内部参数KR_new，以及优化后的第一摄像装置的旋转矩阵和优化后的第二摄像装置的旋转矩阵
对于每一特征点对，假设第一摄像装置拍摄的图像的特征点坐标为第二摄像装置拍摄的图像的特征点坐标为定义向量之后定义误差函数为：
其中α*(Rz_l′2+Rz_r′2)为正则项，α为正则项的系数，保证在使得误差函数最小的过程中Z轴的旋转不至于过大。Z轴为上述第一摄像装置和第二摄像装置的三维坐标系中的Z轴。
在获得优化过后的参数之后，可以计算上述第一摄像装置拍摄的图像和第二摄像装置拍摄的图像各自的单映性矩阵HL和HR，计算公式如下：
HL＝KL_new*RL_opt*KL_old -1；
HR＝KR_new*RR_opt*KR_old -1；
该矩阵可以用来获得变换后的图片的新的坐标：
其中，xold与yold为优化前的图像的坐标，优化后的图像的坐标xnew＝x′new/z′new，ynew＝y′new/z′new。其中，H可以为HL或HR，相应的坐标可以为第一摄像装置拍摄的图像或第二摄像装置拍摄的图像。
当得到上述的行对准矩阵R1和R2，以及获得的HL和HR，假设上述接收到的两张图像中的像素点的坐标为uori和vori，最终矫正后得到的对齐图的坐标为urec和vrec，那么计算公式为：
那么urec＝u′rec/w′rec，vrec＝v′rec/w′rec。对于第一摄像装置的拍摄的图像，H和R为R1和HL，对于第二摄像装置的拍摄的图像，H和R为HR和R2。
所述第一处理器，还用于根据图像中的内容在所述对齐后的两张图像中选取进行立体图拼接的图像，将选取的图像拼接成立体图。
具体地，如图2所示，标记201表示经过矫正后的图像，标记202指示的虚线方框用于调整选取的需要进行拼接以生成立体图的图片。可以通过调整虚线框的大小和位置来选取用于拼接的图片区域，并且由于虚线框的位置和大小的改变，其内部的内容，如人脸，的位置也会相对改变。该步骤可以用于调整经过矫正后的图像中同样内容(如人脸)于拼接图中相对位置关系，从而调整人眼观看时的3D效果。将重新选取的不同视点图片的图片区域，按照常见立体图片格式，如side-by-side格式(左右拼接或上下拼接)、红蓝图等格式输出。
本发明实施例提供的一种用于图像矫正的装置，能够使得对获得的不同视点的图像进行矫正，从而保证像素对齐，使得观看者不会有视觉不适的感觉。
下面结合附图4对本发明实施例三提供的一种用于图像矫正的系统400进行详细阐述。如图4所示，该系统400包括第一摄像装置401、第二摄像装置402以及第二处理器403，
所述第一摄像装置401和所述第二摄像装置402，用于从不同视点拍摄目标物体的图像。
该两张图像可以是多张拍摄目标物体的图像中的两张。该两张图像可以为普通二维图像。所述普通二维图像包括黑白图像或彩色图像，该彩色图像可以为RGB(red greenblue，红绿蓝)图像。
所述第二处理器403，用于获取所述第一摄像装置和所述第二摄像装置从不同视点拍摄的目标物体的图像，确定所述图像中对应的特征点的位置，根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。
上述获取的动作可以为从存储装置中获取，该存储装置可以为RAM或闪存FlashMemory或ROM等。
所述第二处理器，具体用于：确定所述两张图像中候选的对应的特征点对的位置，去除所述候选的对应的特征点对中对应错误的特征点对。具体地，可以采用RANSAC(RandomSample Consensus随机样本一致)算法来找出上述的对应错误的特征点对。上述对应的含义是两张图像中的像素点对应于同一目标物体的一部分。可选的，该特征点包括至少一个像素点。所述特征点包括下述的一个：在至少一个方向上的变化量大于第一阈值的点，不随图片大小变化而发生位置变化的点。总之，该特征点能够反映图像内容的特点。
所述第二处理器，具体用于根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数，根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数，根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像。所述特征点对包括第一点和第二点，上述的关于第一参数的误差函数可以为由所述第一点的位置以及标定得到的参数计算得到的第一参数与由所述第二点的位置以及标定得到的参数计算得到的第一参数之间的误差。上述的关于第一参数的误差函数也可以根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数计算得到的第一参数的值与实际测得的第一参数的值之间的差值。如，所述第二处理器具体用于将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数。具体地，上述投影的过程可以为将第一点的位置映射到其对应的摄像装置的三维坐标系下的点云，根据标定得到的第一点对应的摄像装置和第二点对应的摄像装置之间的外部参数，将上述点云映射到第二点对应的摄像装置的三维坐标系下，再将其投影到第二点所在图像的二维坐标系下。
所述误差函数包括正则项，所述正则项根据所述第一摄像装置和第二摄像装置的关于旋转的参数中的至少一个确定，如该关于旋转的参数可以是旋转矩阵。所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：旋转参数、焦距以及主点坐标。
具体地，首先定义矩阵F：
F＝(KL_new*RL_opt*KL_old -1)T*[u1]x*(KR_new*RR_opt*KR_old -1)；
其中，矩阵为常量矩阵。F为3*3的矩阵。KL_old为第一摄像装置的内部参数，可以由标定得到。KR_old为第二摄像装置的内部参数，可以由标定得到。对所述误差函数进行处理，使得该误差函数的值最小或收敛可以得到优化后的第一摄像装置的内部参数KL_new，以及优化后的第二摄像装置的内部参数KR_new，以及优化后的第一摄像装置的旋转矩阵和优化后的第二摄像装置的旋转矩阵
对于每一特征点对，假设第一摄像装置拍摄的图像的特征点坐标为第二摄像装置拍摄的图像的特征点坐标为定义向量之后定义误差函数为：
其中α*(Rz_l′2+Rz_r′2)为正则项，α为正则项的系数，保证在使得误差函数最小的过程中Z轴的旋转不至于过大。Z轴为上述第一摄像装置和第二摄像装置的三维坐标系中的Z轴。
在获得优化过后的参数之后，可以计算上述第一摄像装置拍摄的图像和第二摄像装置拍摄的图像各自的单映性矩阵HL和HR，计算公式如下：
HL＝KL_new*RL_opt*KL_old -1；
HR＝KR_new*RR_opt*KR_old -1；
该矩阵可以用来获得变换后的图片的新的坐标：
其中，xold与yold为优化前的图像的坐标，优化后的图像的坐标xnew＝x′new/z′new，ynew＝y′new/z′new。其中，H可以为HL或HR，相应的坐标可以为第一摄像装置拍摄的图像或第二摄像装置拍摄的图像。
当得到上述的行对准矩阵R1和R2，以及获得的HL和HR，假设上述接收到的两张图像中的像素点的坐标为uori和vori，最终矫正后得到的对齐图的坐标为urec和vrec，那么计算公式为：
那么urec＝u′rec/w′rec，vrec＝v′rec/w′rec。对于第一摄像装置的拍摄的图像，H和R为R1和HL，对于第二摄像装置的拍摄的图像，H和R为HR和R2。
所述第二处理器，还用于根据图像中的内容在所述对齐后的两张图像中选取进行立体图拼接的图像，将选取的图像拼接成立体图。
具体地，如图2所示，标记201表示经过矫正后的图像，标记202指示的虚线方框用于调整选取的需要进行拼接以生成立体图的图片。可以通过调整虚线框的大小和位置来选取用于拼接的图片区域，并且由于虚线框的位置和大小的改变，其内部的内容，如人脸，的位置也会相对改变。该步骤可以用于调整经过矫正后的图像中同样内容(如人脸)于拼接图中相对位置关系，从而调整人眼观看时的3D效果。将重新选取的不同视点图片的图片区域，按照常见立体图片格式，如side-by-side格式(左右拼接或上下拼接)、红蓝图等格式输出。
本发明实施例提供的一种用于图像矫正的系统，能够使得对获得的不同视点的图像进行矫正，从而保证像素对齐，使得观看者不会有视觉不适的感觉。
下面结合图5具体描述本发明实施例四提供的一种用于图像矫正的装置500，该装置500包括一种计算机可读存储介质501，所述计算机可读存储介质501存储有计算机程序，所述计算机程序被第三处理器502执行时实现如实施例一的方法的步骤。如图5所示，可选的，该装置500可以包括总线。
关于本实施例中部件功能的描述可以参见实施例一或二或三。
本发明实施例提供的一种用于图像矫正的装置，能够使得对获得的不同视点的图像进行矫正，从而保证像素对齐，使得观看者不会有视觉不适的感觉。
下面结合图6具体描述本发明实施例五提供的一种用于图像矫正的装置600，该装置600包括存储器601、第四处理器602以及存储在所述存储器601中并可在所述第四处理器602上运行的计算机程序，所述计算机程序被第四处理器602执行时实现如实施例一所述方法的步骤。可选的，如图6所示，该装置600还包括总线。
本发明实施例提供的一种用于图像矫正的装置，能够使得对获得的不同视点的图像进行矫正，从而保证像素对齐，使得观看者不会有视觉不适的感觉。
在上述的实施例中，可以在上述标定过程加入深度值检验，拍摄红外图像和彩色图像的同时获得深度图。对深度图中无任何旋转的标定板的深度值与实际测量值比较，如果小于规定的误差范围可继续标定；如果大于规定的误差范围则需修正深度传感器，然后重新标定。
示例性的，所述计算机程序可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述装置/终端设备中的执行过程。
所述装置/终端设备可以是手机、平板电脑、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述装置/终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，本发明的示意图仅仅是装置/终端设备的示例，并不构成对装置/终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述装置/终端设备还可以包括输入输出设备、网络接入设备、总线等。
上述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述装置/终端设备的控制中心，利用各种接口和线路连接整个装置/终端设备的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述装置/终端设备的各种功能。所述存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如视频数据、图像等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
上述各个实施例中的目标物体的成像可以目标物体的局部成像，也可以整体成像。无论是局部成像，或整体成像都适用或对局部成像，或整体成像相应做出调整后适用本发明提供的方法或装置，上述调整本领域普通技术人员不需要付出创造性劳动，应属于本发明的保护范围。

Claims (29)

1.一种用于图像矫正的方法，其特征在于，所述方法包括：
接收两张图像，所述两张图像为从不同视点拍摄目标物体的图像，拍摄所述两张图像的摄像装置包括第一摄像装置和第二摄像装置；
确定所述两张图像中对应的特征点对的位置；
根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。
2.根据权利要求1所述的方法，其特征在于，所述根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐，包括：
根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数；
根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数；
根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像。
3.根据权利要求1或2所述的方法，其特征在于，所述确定所述两张图像中对应的特征点对的位置，包括：
确定所述两张图像中候选的对应的特征点对的位置；
去除所述候选的对应的特征点对中对应错误的特征点对。
4.根据权利要求1-3中任一所述的方法，其特征在于，所述特征点包括下述的一个：
在至少一个方向上的变化量大于第一阈值的点；
不随图片大小变化而发生位置变化的点。
5.根据权利要求2-4任一权利要求所述的方法，其特征在于，
所述误差函数包括正则项，所述正则项根据所述第一摄像装置和第二摄像装置的关于旋转的参数中的至少一个确定。
6.根据权利要求5所述的方法，其特征在于，
所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。
7.根据权利要求2-6任一权利要求所述的方法，其特征在于，所述特征点对包括第一点和第二点；
所述根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数，包括：
将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数。
8.根据权利要求2-7任一权利要求所述的方法，其特征在于，所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：
旋转参数、焦距以及主点坐标。
9.根据权利要求1-8任一权利要求所述的方法，其特征在于，所述方法还包括：
根据图像中的内容在所述对齐后的两张图像中选取进行立体图拼接的图像，将选取的图像拼接成立体图。
10.一种用于图像矫正的装置，其特征在于，所述装置包括：
接收器，用于接收两张图像，所述两张图像为从不同视点拍摄目标物体的图像，拍摄所述两张图像的摄像装置包括第一摄像装置和第二摄像装置；
第一处理器，用于确定所述两张图像中对应的特征点对的位置；
第一处理器，还用于根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。
11.根据权利要求10所述的装置，其特征在于，
所述第一处理器，具体用于根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数，根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数，根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像。
12.根据权利要求10或11所述的装置，其特征在于，
所述第一处理器，具体用于：
确定所述两张图像中候选的对应的特征点对的位置；
去除所述候选的对应的特征点对中对应错误的特征点对。
13.根据权利要求10-12任一权利要求所述的装置，其特征在于，所述特征点包括下述的一个：
在至少一个方向上的变化量大于第一阈值的点；
不随图片大小变化而发生位置变化的点。
14.根据权利要求11-13任一权利要求所述的装置，其特征在于，
所述误差函数包括正则项，所述正则项根据所述第一摄像装置和第二摄像装置的关于旋转的参数中的至少一个确定。
15.根据权利要求14所述的装置，其特征在于，
所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。
16.根据权利要求11-15所述的装置，其特征在于，
所述特征点对包括第一点和第二点；
所述第一处理器，具体用于将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数。
17.根据权利要求11-16所述的装置，其特征在于，所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：
旋转参数、焦距以及主点坐标。
18.根据权利要求10-17所述的装置，其特征在于，
所述第一处理器，还用于根据图像中的内容在所述对齐后的两张图像中选取进行立体图拼接的图像，将选取的图像拼接成立体图。
19.一种用于图像矫正的系统，其特征在于，所述系统包括第一摄像装置、第二摄像装置以及第二处理器，
所述第一摄像装置和所述第二摄像装置，用于从不同视点拍摄目标物体的图像；
所述第二处理器，用于获取所述第一摄像装置和所述第二摄像装置从不同视点拍摄的目标物体的图像，确定所述图像中对应的特征点的位置，根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数将所述两张图像对齐。
20.根据权利要求19所述的系统，其特征在于，
所述第二处理器，具体用于根据所述特征点对的位置以及所述第一摄像装置和第二摄像装置的参数确定得到的关于第一参数的误差函数，根据所述误差函数获得优化后的所述第一摄像装置和第二摄像装置的参数，根据所述获得的优化后的所述第一摄像装置和第二摄像装置的参数调整所述两张图像。
21.根据权利要求19或20所述的系统，其特征在于，
所述第二处理器，具体用于：
确定所述两张图像中候选的对应的特征点对的位置；
去除所述候选的对应的特征点对中对应错误的特征点对。
22.根据权利要求19-21任一权利要求所述的系统，其特征在于，所述特征点包括下述的一个：
在至少一个方向上的变化量大于第一阈值的点；
不随图片大小变化而发生位置变化的点。
23.根据权利要求20-22任一权利要求所述的系统，其特征在于，
所述误差函数包括正则项，所述正则项根据所述第一摄像装置和第二摄像装置的关于旋转的参数中的至少一个确定。
24.根据权利要求23所述的系统，其特征在于，
所述第一摄像装置和第二摄像装置的关于旋转的参数包括所述第一摄像装置和第二摄像装置的旋转矩阵关于Z轴的分量。
25.根据权利要求20-24任一权利要求所述的系统，其特征在于，所述特征点对包括第一点和第二点；
所述第二处理器，具体用于：将所述第一点根据所述第一摄像装置和第二摄像装置的参数通过三维点云投影到所述第二点所在图像的图像坐标系中得到投影点，确定所述投影点与所述第二点的距离为所述误差函数。
26.根据权利要求20-25任一权利要求所述的系统，其特征在于，所述优化后的所述第一摄像装置和第二摄像装置的参数，包括下述中的至少一个：
旋转参数、焦距以及主点坐标。
27.根据权利要求19-26任一权利要求所述的系统，其特征在于，
所述第二处理器，还用于根据图像中的内容在所述对齐后的两张图像中选取进行立体图拼接的图像，将选取的图像拼接成立体图。
28.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被第三处理器执行时实现如权利要求1-9任一权利要求所述方法的步骤。
29.一种用于图像处理的装置，包括存储器、第四处理器以及存储在所述存储器中并可在所述第四处理器上运行的计算机程序，其特征在于，所述计算机程序被第四处理器执行时实现如权利要求1-9任一权利要求所述方法的步骤。
CN201711114580.7A 2017-11-13 2017-11-13 一种用于图像矫正的方法和装置 Active CN109785390B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711114580.7A CN109785390B (zh) 2017-11-13 2017-11-13 一种用于图像矫正的方法和装置
US16/188,325 US11205281B2 (en) 2017-11-13 2018-11-13 Method and device for image rectification

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711114580.7A CN109785390B (zh) 2017-11-13 2017-11-13 一种用于图像矫正的方法和装置

Publications (2)

Publication Number Publication Date
CN109785390A true CN109785390A (zh) 2019-05-21
CN109785390B CN109785390B (zh) 2022-04-01

Family

ID=66433454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711114580.7A Active CN109785390B (zh) 2017-11-13 2017-11-13 一种用于图像矫正的方法和装置

Country Status (2)

Country Link
US (1) US11205281B2 (zh)
CN (1) CN109785390B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110636276A (zh) * 2019-08-06 2019-12-31 RealMe重庆移动通信有限公司 视频拍摄方法、装置、存储介质及电子设备
CN112348899A (zh) * 2019-08-07 2021-02-09 虹软科技股份有限公司 标定参数的获取方法、装置、处理器及电子设备
CN113538588A (zh) * 2020-04-17 2021-10-22 虹软科技股份有限公司 标定方法、标定装置及应用其的电子设备

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11158177B1 (en) * 2020-11-03 2021-10-26 Samsara Inc. Video streaming user interface with data from multiple sources

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6639596B1 (en) * 1999-09-20 2003-10-28 Microsoft Corporation Stereo reconstruction from multiperspective panoramas
US20060078197A1 (en) * 2004-10-01 2006-04-13 Omron Corporation Image processing apparatus
US7113632B2 (en) * 2001-02-23 2006-09-26 Sharp Kabushiki Kaisha Method of and apparatus for rectifying a stereoscopic image
CN101101672A (zh) * 2007-07-13 2008-01-09 中国科学技术大学 基于虚拟图像对应的立体视觉三维人脸建模方法
CN101751555A (zh) * 2009-09-25 2010-06-23 中国科学院自动化研究所 一种形变指纹识别方法及系统
US20110025825A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
CN102289803A (zh) * 2010-06-02 2011-12-21 索尼公司 图像处理设备、图像处理方法及程序
CN102506757A (zh) * 2011-10-10 2012-06-20 南京航空航天大学 双目立体测量系统多视角测量中的自定位方法
US20160019437A1 (en) * 2014-07-18 2016-01-21 Samsung Electronics Co., Ltd. Stereo matching apparatus and method through learning of unary confidence and pairwise confidence
CN106846415A (zh) * 2017-01-24 2017-06-13 长沙全度影像科技有限公司 一种多路鱼眼相机双目标定装置及方法
CN107292269A (zh) * 2017-06-23 2017-10-24 中国科学院自动化研究所 基于透视失真特性的人脸图像鉴伪方法、存储、处理设备

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2767404B1 (fr) * 1997-08-12 1999-10-22 Matra Systemes Et Information Procede de production de donnees cartographiques par stereovision
US6674892B1 (en) * 1999-11-01 2004-01-06 Canon Kabushiki Kaisha Correcting an epipolar axis for skew and offset
JP4069855B2 (ja) * 2003-11-27 2008-04-02 ソニー株式会社 画像処理装置及び方法
KR100603601B1 (ko) * 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
JP2009515585A (ja) * 2005-11-14 2009-04-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ボリュメトリック位置合わせのための方法、システムおよびコンピュータプログラム
TWI362628B (en) * 2007-12-28 2012-04-21 Ind Tech Res Inst Methof for producing an image with depth by using 2d image
KR101490689B1 (ko) * 2008-05-27 2015-02-06 삼성전자주식회사 카메라 파라미터를 이용한 스테레오스코픽 영상데이터스트림 생성 방법 및 그 장치와 스테레오스코픽 영상복원 방법 및 그 장치
US20110080466A1 (en) * 2009-10-07 2011-04-07 Spatial View Inc. Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images
US8494254B2 (en) * 2010-08-31 2013-07-23 Adobe Systems Incorporated Methods and apparatus for image rectification for stereo display
JP5648452B2 (ja) * 2010-12-03 2015-01-07 富士通株式会社 画像処理プログラムおよび画像処理装置
JP2012234258A (ja) * 2011-04-28 2012-11-29 Sony Corp 画像処理装置と画像処理方法およびプログラム
US9560334B2 (en) * 2011-09-08 2017-01-31 Qualcomm Incorporated Methods and apparatus for improved cropping of a stereoscopic image pair
CN103339651B (zh) * 2011-10-11 2016-12-07 松下知识产权经营株式会社 图像处理装置、摄像装置以及图像处理方法
US20130163854A1 (en) * 2011-12-23 2013-06-27 Chia-Ming Cheng Image processing method and associated apparatus
US20140363097A1 (en) * 2013-06-06 2014-12-11 Etron Technology, Inc. Image capture system and operation method thereof
CN104299261B (zh) * 2014-09-10 2017-01-25 深圳大学 人体三维成像方法及系统
US20160295194A1 (en) * 2015-03-30 2016-10-06 Ming Shi CO., LTD. Stereoscopic vision system generatng stereoscopic images with a monoscopic endoscope and an external adapter lens and method using the same to generate stereoscopic images
KR101729164B1 (ko) * 2015-09-03 2017-04-24 주식회사 쓰리디지뷰아시아 멀티 구 교정장치를 이용한 멀티 카메라 시스템의 이미지 보정 방법
US10349040B2 (en) * 2015-09-21 2019-07-09 Inuitive Ltd. Storing data retrieved from different sensors for generating a 3-D image
US20170113611A1 (en) * 2015-10-27 2017-04-27 Dura Operating, Llc Method for stereo map generation with novel optical resolutions
US10692262B2 (en) * 2017-01-12 2020-06-23 Electronics And Telecommunications Research Institute Apparatus and method for processing information of multiple cameras

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6639596B1 (en) * 1999-09-20 2003-10-28 Microsoft Corporation Stereo reconstruction from multiperspective panoramas
US7113632B2 (en) * 2001-02-23 2006-09-26 Sharp Kabushiki Kaisha Method of and apparatus for rectifying a stereoscopic image
US20060078197A1 (en) * 2004-10-01 2006-04-13 Omron Corporation Image processing apparatus
CN101101672A (zh) * 2007-07-13 2008-01-09 中国科学技术大学 基于虚拟图像对应的立体视觉三维人脸建模方法
US20110025825A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
CN101751555A (zh) * 2009-09-25 2010-06-23 中国科学院自动化研究所 一种形变指纹识别方法及系统
CN102289803A (zh) * 2010-06-02 2011-12-21 索尼公司 图像处理设备、图像处理方法及程序
CN102506757A (zh) * 2011-10-10 2012-06-20 南京航空航天大学 双目立体测量系统多视角测量中的自定位方法
US20160019437A1 (en) * 2014-07-18 2016-01-21 Samsung Electronics Co., Ltd. Stereo matching apparatus and method through learning of unary confidence and pairwise confidence
CN106846415A (zh) * 2017-01-24 2017-06-13 长沙全度影像科技有限公司 一种多路鱼眼相机双目标定装置及方法
CN107292269A (zh) * 2017-06-23 2017-10-24 中国科学院自动化研究所 基于透视失真特性的人脸图像鉴伪方法、存储、处理设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
DAVID C.BLUMENTHAL-BARBY等: "High-resolution depth for binocular image-based modeling", 《COMPUTERS & GRAPHICS》 *
RI HARTLEY: "Theory and Practice of Projective Rectification", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》 *
YI CUI等: "Precise calibration of binocular vision system used for vision measurement", 《2014 OPTICAL SOCIETY OF AMERICA》 *
王彬: "结合矫正误差的多摄像机定标方法", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110636276A (zh) * 2019-08-06 2019-12-31 RealMe重庆移动通信有限公司 视频拍摄方法、装置、存储介质及电子设备
CN110636276B (zh) * 2019-08-06 2021-12-28 RealMe重庆移动通信有限公司 视频拍摄方法、装置、存储介质及电子设备
CN112348899A (zh) * 2019-08-07 2021-02-09 虹软科技股份有限公司 标定参数的获取方法、装置、处理器及电子设备
CN113538588A (zh) * 2020-04-17 2021-10-22 虹软科技股份有限公司 标定方法、标定装置及应用其的电子设备

Also Published As

Publication number Publication date
CN109785390B (zh) 2022-04-01
US20190147616A1 (en) 2019-05-16
US11205281B2 (en) 2021-12-21

Similar Documents

Publication Publication Date Title
US20190019299A1 (en) Adaptive stitching of frames in the process of creating a panoramic frame
CN109754426B (zh) 一种用于摄像标定参数验证的方法、系统和装置
CN108257183B (zh) 一种相机镜头光轴校准方法和装置
US11861813B2 (en) Image distortion correction method and apparatus
CN108122191B (zh) 鱼眼图像拼接成全景图像和全景视频的方法及装置
CN108846796B (zh) 图像拼接方法及电子设备
CN106683071B (zh) 图像的拼接方法和装置
CN109785390A (zh) 一种用于图像矫正的方法和装置
CN108230397A (zh) 多目摄像机标定与校正方法和装置、设备、程序和介质
CN109474780A (zh) 一种用于图像处理的方法和装置
CN111385461B (zh) 全景拍摄方法及装置、相机、移动终端
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN109785225B (zh) 一种用于图像矫正的方法和装置
CN111311481A (zh) 背景虚化方法、装置、终端设备及存储介质
CN111798374A (zh) 一种图像拼接方法、装置、设备及介质
CN111757086A (zh) 有源双目相机、rgb-d图像确定方法及装置
KR20180137916A (ko) 가상현실 영상컨텐츠 제공시스템 및 제공방법
CN113259642A (zh) 一种影片视角调节方法及系统
CN109726613A (zh) 一种用于检测的方法和装置
CN107527323A (zh) 镜头畸变的标定方法及装置
Lo et al. 360 video stitching for dual fisheye cameras
WO2021208630A1 (zh) 标定方法、标定装置及应用其的电子设备
CN111353945A (zh) 鱼眼图像校正方法、装置及存储介质
WO2017092261A1 (zh) 一种摄像头模组、移动终端及其拍摄图像的方法和装置
CN104584075A (zh) 用于描述对象空间的对象点以及用于其执行的连接方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant