CN109462746B - 一种图像去抖的方法及装置 - Google Patents
一种图像去抖的方法及装置 Download PDFInfo
- Publication number
- CN109462746B CN109462746B CN201811282200.5A CN201811282200A CN109462746B CN 109462746 B CN109462746 B CN 109462746B CN 201811282200 A CN201811282200 A CN 201811282200A CN 109462746 B CN109462746 B CN 109462746B
- Authority
- CN
- China
- Prior art keywords
- binocular
- image
- camera
- eye image
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种图像去抖的方法及装置,其中,该方法包括:获取两帧双目图像,双目图像包括左目图像和右目图像;确定多个公共特征点,并确定公共特征点在两帧双目图像中的三维坐标;将移动距离小于预设距离值的公共特征点作为有效特征点,移动距离为公共特征点在两帧双目图像中的两个三维坐标之间的距离值;根据有效特征点在两帧双目图像中的三维坐标的变化值确定相机的位姿变化参数;根据位姿变化参数调整后一帧双目图像的像素点的坐标值。通过本发明提供的图像去抖的方法及装置,可以方便快速地确定相机位姿变化,方法简单、算法复杂度低、运行速度快、实时性高,且最终确定相机位姿变化更加精确。
Description
技术领域
本发明涉及图像处理技术领域,具体而言,涉及一种图像去抖的方法及装置。
背景技术
在当今社会,相机以其简洁直观而广泛应用于各个领域。同时,由于应用场景、应用方式、固定方式等因素的影响,相机录制视频过程中会不可避免的造成画面抖动。这种画面的抖动无疑会降低视频的直观性与观赏性,甚至会降低后期基于视频图像计算的精度。
目前,视频图像去抖的方法主要有机械去抖、光学去抖和电子去抖。机械去抖的方法就是将相机安装于具有自增稳功能的机械结构上。光学去抖是通过镜头内置的仪器感应相机的抖动,之后对镜头的位置进行相应的调整从而达到去抖效果。电子去抖是通过电子手段来对图像进行相应处理,以减轻抖动对图像的影响。
目前,机械去抖方法和光学去抖方法去抖能力、应用场景有限,而且这两种方法均会增加设备复杂性以及硬件成本;而电子去抖法计算量大、耗时长,无法满足实时性。
发明内容
为解决上述问题,本发明实施例的目的在于提供一种图像去抖的方法及装置。
第一方面,本发明实施例提供了一种图像去抖的方法,包括:
获取两帧双目图像,所述双目图像包括左目图像和右目图像,且两帧所述双目图像的时间戳之差小于预设时间差值;
确定多个公共特征点,并确定所述公共特征点在两帧双目图像中的三维坐标,所述公共特征点为同时存在于两帧双目图像的左目图像和右目图像的世界点在两帧双目图像中所对应的像素点;
将移动距离小于预设距离值的公共特征点作为有效特征点,所述移动距离为所述公共特征点在两帧双目图像中的两个三维坐标之间的距离值;
根据所述有效特征点在两帧双目图像中的三维坐标的变化值确定相机的位姿变化参数;
根据所述位姿变化参数调整后一帧双目图像的像素点的坐标值。
第二方面,本发明实施例还提供了一种图像去抖的装置,包括:
获取模块,用于获取两帧双目图像,所述双目图像包括左目图像和右目图像,且两帧所述双目图像的时间戳之差小于预设时间差值;
第一确定模块,用于确定多个公共特征点,并确定所述公共特征点在两帧双目图像中的三维坐标,所述公共特征点为同时存在于两帧双目图像的左目图像和右目图像的世界点在两帧双目图像中所对应的像素点;
第二确定模块,用于将移动距离小于预设距离值的公共特征点作为有效特征点,所述移动距离为所述公共特征点在两帧双目图像中的两个三维坐标之间的距离值;
位姿变化确定模块,用于根据所述有效特征点在两帧双目图像中的三维坐标的变化值确定相机的位姿变化参数;
去抖模块,用于根据所述位姿变化参数调整后一帧双目图像的像素点的坐标值。
本发明实施例上述第一方面提供的方案中,基于两帧双目图像将极远静止点作为有效特征点,并根据有效特征点在两帧图像中三维坐标之间的变化确定相机位姿变化,进而可以基于该相机位姿变化调整双目图像的像素点,实现图像去抖。该方法基于双目测距实现图像去抖,且所利用的极远静止点具有相同的移动方向,基于极远静止点可以方便快速地确定相机位姿变化,方法简单、算法复杂度低、运行速度快、实时性高;且极远静止点距离相机较远,可以忽略极远静止点在景深方向上的变化,使得最终确定相机位姿变化更加精确。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的图像去抖的方法的流程图;
图2示出了本发明实施例所提供的双目图像的示意图;
图3示出了本发明实施例所提供的原始双目图像的示意图;
图4示出了本发明实施例所提供的图像去抖的装置的结构示意图。
具体实施方式
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
本发明实施例提供的一种图像去抖的方法,参见图2所示,包括步骤101-105:
步骤101:获取两帧双目图像,双目图像包括左目图像和右目图像,且两帧双目图像的时间戳之差小于预设时间差值。
本发明实施例中,通过两帧双目图像的变化实现对后一帧双目图像的去抖;其中,每一帧双目图像均具有时间戳参数,通过时间戳比较靠近的两帧双目图像进行去抖处理;时间戳之差越大,两帧双目图像的差别越大,相机抖动越大,去抖处理效果越差;故需要选取时间戳之差较小的两帧双目图像,比如相邻的两帧双目图像。
每一帧的双目图像具体可以通过双目相机采集。具体的,通过双目相机可以采集相应的左目图像和右目图像。该双目相机具体可以为双目立体相机,在使用双目立体相机之前首先需要对双目立体相机进行标定。双目立体相机的标定分为两步:安装之前标定双目立体相机内参和安装后标定双目立体相机外参。在安装之前对双目立体相机进行标定,得到双目立体相机的焦距、相机基线长度、镜头畸变系数、左右镜头之间距离等仅与相机自身特性相关的内参数,即双目相机内参。将双目相机安装在车辆上之后,保持双目立体相机与车辆的相对位置不变,并开始对双目立体相机进行第二次标定,标定双目立体相机的外参,也就是双目立体相机与地面坐标系(或世界坐标系)的位置关系。双目相机采集到双目图像后,可以对采集的图像进行预处理(比如滤波、抑制噪声等),提高图像的信噪比,获得最终可以进行去抖处理的双目图像。
步骤102:确定多个公共特征点,并确定公共特征点在两帧双目图像中的三维坐标,公共特征点为同时存在于两帧双目图像的左目图像和右目图像的世界点在两帧双目图像中所对应的像素点。
本发明实施例中,在两帧双目图像的左目图像和右目图像均存在的一个点作为公共特征点。例如,世界点P出现在一帧的左目图像和右目图像中,且世界点P也出现在另一帧的左目图像和右目图像中,则世界点P在两帧双目图像中所对应的像素点为公共特征点。在两帧双目图像中可以确定多个公共特征点,且前一帧双目图像中的一个公共特征点对应后一帧双目图像中的一个公共特征点,即两帧双目图像的公共特征点是一一对应关系。同样的,对于一帧双目图像,左目图像和右目图像中也均存在该公共特征点,利用公共特征点在左目图像和右目图像中的位置即可确定该公共特征点所对应的三维坐标。
参见图2所示,像点PL和像点PR分别是左目图像和右目图像中的公共特征点,同时二者也是同一世界点P在左目图像和右目图像中的像点,则像点PL和像点PR是一对匹配点对。在确定公共特征点的三维坐标时,可以利用匹配点对的视差来进行计算;如图2所示,视差D=xl-xr,其中,xl表示特征点在左目图像中的横坐标,xr表示特征点在右目图像中的横坐标。具体的,对于第n帧双目图像的第i个公共特征点,视差 表示第n帧双目图像中第i个公共特征点在所述左目图像中的横坐标,表示第n帧双目图像中第i个公共特征点在所述右目图像中的横坐标;之后利用计算得到的视差以及先前标定好的双目相机内参,便可以求解出公共特征点的三维坐标,进而采用相同的方式可以确定所有公共特征点的三维坐标。公共特征点的三维坐标具体可以设在相机坐标系中,即公共特征点的三维坐标是在相机坐标系中的坐标。
一般情况下,左目图像和右目图像采用的独立的图像坐标系,且图像坐标系都是以图像左上角为坐标原点(可参考图2所示的图像),水平向右为x轴正方向,竖直向下为y轴正方向。公共特征点三维坐标中的竖坐标与视差D成反比关系,如果D足够小,则足够大,则该公共特征点距离相机足够远。例如,如果公共特征点的视差D<5,则将该公共特征点作为极远点。
其中,分别表示第n帧双目图像中第i个公共特征点在相机坐标系中所对应的横坐标、纵坐标和竖坐标,表示第n帧双目图像中第i个公共特征点在所述左目图像中的横坐标,表示第n帧双目图像中第i个公共特征点在左目图像中的纵坐标,B为相机基线长度,f为双目相机的焦距。第n帧双目图像指的是双目相机采集到的第n帧图像,步骤101中所获取的两帧双目图像可以是其中的两帧符合要求的双目图像,比如第1帧和第3帧双目图像,或者第n帧和第n+1帧双目图像等。
步骤103:将移动距离小于预设距离值的公共特征点作为有效特征点,移动距离为公共特征点在两帧双目图像中的两个三维坐标之间的距离值。
本发明实施例中,将公共特征点在两帧双目图像中的两个三维坐标之间的距离值作为该公共特征点的移动距离;对于距离双目相机极远且静止的点,该点在两帧双目图像之间的移动距离较小,即可以将移动距离小于预设距离值的公共特征点作为极远静止点;而所有极远静止点的移动方向是相同的,此时可以利用极远静止点方便快速地确定相机位姿变化。可选的,若某世界点为移动点,即使该移动点所对应的公共特征点距离双目相机较近,也可能导致计算出的移动距离较小,故还可以结合视差D来更加精确地确定哪些点为极远静止点,即哪些点是有效特征点。具体的,将视差小于预设视差、且移动距离小于预设距离值的公共特征点作为有效特征点。
其中,移动距离具体可通过以下方式确定:
设获取的两帧双目图像为第n帧和第n+m帧,第i个公共特征点Pi在第n帧双目图像中对应的三维坐标点为在第n+m帧双目图像中对应的三维坐标点为与一一对应,代表同一个世界特征点在相机拍摄图像Fn帧和图像Fn+m帧时在相机坐标系下的三维坐标,且两点的三维坐标分别为:
则第i个公共特征点两帧的移动距离Li为:
步骤104:根据有效特征点在两帧双目图像中的三维坐标的变化值确定相机的位姿变化参数。
本发明实施例中,有效特征点是极远静止点,通过极远静止点三维坐标的变化可以方便地确定相机的位姿变化;所有极远静止点的移动方向是相同的,且极远静止点距离相机较远,可以忽略极远静止点在景深方向上的变化,使得最终确定相机位姿变化更加精确。可选的,位姿变化参数可以包括旋转矩阵和平移向量,即通过旋转和平移来表示相机位姿变化。
步骤105:根据位姿变化参数调整后一帧双目图像的像素点的坐标值。
本发明实施例中,该位姿变化参数可以表示双目相机采集前一帧双目图像到采集后一帧双目图像这一过程中发生的位姿变化,故在确定两帧双目图像之间的位姿变化参数后,可以以前一帧双目图像为基准对后一帧双目图像进行去抖处理,调整该后一帧双目图像的像素点的坐标值,从而去除后一帧双目图像中存在的相机抖动,实现图像去抖。
本发明实施例提供的一种图像去抖的方法,基于两帧双目图像将极远静止点作为有效特征点,并根据有效特征点在两帧图像中三维坐标之间的变化确定相机位姿变化,进而可以基于该相机位姿变化调整双目图像的像素点,实现图像去抖。该方法基于双目测距实现图像去抖,且所利用的极远静止点具有相同的移动方向,基于极远静止点可以方便快速地确定相机位姿变化,方法简单、算法复杂度低、运行速度快、实时性高;且极远静止点距离相机较远,可以忽略极远静止点在景深方向上的变化,使得最终确定相机位姿变化更加精确。
在上述实施例的基础上,步骤101“获取两帧双目图像”包括:
步骤A1:获取双目相机采集的两帧原始双目图像,原始双目图像包括原始左目图像和原始右目图像。
步骤A2:对原始双目图像进行矫正处理,将校正后的原始左目图像作为最终获取的左目图像,将校正后的原始右目图像作为最终获取的右目图像,左目图像和右目图像共面,且同一特征点在左目图像中的位置和在右目图像中的位置在预设方向上对齐;将矫正后的两帧原始双目图像作为最终获取的两帧双目图像。
本发明实施例中,在提取到双目相机采集的原始双目图像后,对原始双目图像进行图像预处理。可以利用现有的图像滤波技术对图像进行滤波处理抑制噪声,提高信噪比;同时,双目立体相机中左目相机和右目相机得到的图像不共面、且没有对齐,所以在对图像进行滤波之后,需要利用标定好的双目相机内参对左目相机和右目相机得到的图像(即左目图像和右目图像)进行立体矫正,使左目相机和右目相机得到的图像平行共面,并且使左目相机和右目相机得到的图像对齐。
图3为双目相机采集的原始双目图像的示意图,图中点P是真实世界中某一点,在双目立体相机中左目图像和右目图像上所成像点分别为PL和PR。如图3所示,在进行图像立体矫正之前,左目图像和右目图像不在同一平面上,且二者没有按行对齐,即像点PL和PR的像素行坐标不相等;对左目图像和右目图像进行畸变矫正之后,左目图像和右目图像共面,且按行对齐(参见图2所示),即像点PL和PR的像素行坐标相等,yl=yr。利用校正后的双目图像才可更加精确地确定特征点的三维坐标。
在上述实施例的基础上,上述步骤104“根据有效特征点在两帧双目图像中的三维坐标的变化值确定相机的位姿变化参数”包括:
步骤B1:分别确定两帧双目图像所有有效特征点的特征矩阵A和B:
其中,A为第n帧双目图像的特征矩阵,B为第n+m帧双目图像的特征矩阵,分别表示第n帧双目图像中第i个有效特征点在相机坐标系中所对应的横坐标、纵坐标和竖坐标, 分别表示第n+m帧双目图像中第i个有效特征点在相机坐标系中所对应的横坐标、纵坐标和竖坐标,i=1,2,…,K,K为有效特征点的个数。
步骤B2:根据两帧双目图像的特征矩阵确定相机的位姿变化参数:
本发明实施例中,以旋转矩阵和平移向量表示相机的位姿变化参数,且在位姿变化矩阵中,旋转矩阵R为3×3的实数矩阵,即平移向量t为3×1的实数矩阵,即0=[0 0 0],1=[1];该位姿变化矩阵为4×4的矩阵。
对于第i个有效特征点,其在两帧双目图像中的三维坐标与相机位姿变化满足以下式子:
每个有效特征点均满足上式,故将K个式子联立可得:
将两个特征矩阵替换为A和B,则:
在上述实施例的基础上,步骤105“根据位姿变化参数调整后一帧双目图像的像素点的坐标值”包括:
步骤C1:确定后一帧双目图像的像素点的原始坐标,并根据像素点的原始坐标确定在相机坐标系下像素点在成像平面内的三维坐标:
其中,分别表示第n+m帧双目图像中第i个像素点在成像平面内的横坐标、纵坐标和竖坐标,分别表示第n+m帧双目图像中第i个像素点的原始横坐标和原始纵坐标;f表示双目相机的焦距,(u0,v0)为双目相机光轴与成像平面的交点坐标;且第n+m帧双目图像即为后一帧双目图像。
本发明实施例中,两帧双目图像分别是第n帧双目图像和第n+m帧双目图像,m为正整数;若两帧双目图像是相邻的两帧,则m=1。对于后一帧双目图像(即第n+m帧双目图像),该双目图像第i个像素点的原始坐标为且此处的的单位为像素尺寸,而上述的也表示像素点的坐标,但是其单位为物理尺寸,比如厘米、毫米等。焦距f和(u0,v0)可以通过相机标定得到。成像平面为双目相机采集到图像的平面,比如图2中左目图像和右目图像所在的平面。
步骤C2:根据位姿变化参数确定对像素点在成像平面内的三维坐标进行调整,确定调整后的三维坐标;其中:
步骤C3:根据像素点在成像平面内调整后的三维坐标对像素点的坐标值进行调整,确定像素点调整后的坐标值:
需要说明的是,本申请中的i只是用于区别不同的特征点,在不同式子中i的取值范围可能不同。
本发明实施例提供的一种图像去抖的方法,基于两帧双目图像将极远静止点作为有效特征点,并根据有效特征点在两帧图像中三维坐标之间的变化确定相机位姿变化,进而可以基于该相机位姿变化调整双目图像的像素点,实现图像去抖。该方法基于双目测距实现图像去抖,且所利用的极远静止点具有相同的移动方向,基于极远静止点可以方便快速地确定相机位姿变化,方法简单、算法复杂度低、运行速度快、实时性高;且极远静止点距离相机较远,可以忽略极远静止点在景深方向上的变化,使得最终确定相机位姿变化更加精确。利用旋转矩阵和平移向量可以快速确定相机的位姿变化,且计算简单,可以进一步提高去抖处理的实时性。
以上详细介绍了图像去抖的方法流程,该方法也可以通过相应的装置实现,下面详细介绍该装置的结构和功能。
本发明实施例提供的一种图像去抖的装置,参见图4所示,包括:
获取模块41,用于获取两帧双目图像,双目图像包括左目图像和右目图像,且两帧双目图像的时间戳之差小于预设时间差值;
第一确定模块42,用于确定多个公共特征点,并确定公共特征点在两帧双目图像中的三维坐标,公共特征点为同时存在于两帧双目图像的左目图像和右目图像的世界点在两帧双目图像中所对应的像素点;
第二确定模块43,用于将移动距离小于预设距离值的公共特征点作为有效特征点,移动距离为公共特征点在两帧双目图像中的两个三维坐标之间的距离值;
位姿变化确定模块44,用于根据有效特征点在两帧双目图像中的三维坐标的变化值确定相机的位姿变化参数;
去抖模块45,用于根据位姿变化参数调整后一帧双目图像的像素点的坐标值。
在上述实施例的基础上,获取模块41包括:
获取单元,用于获取双目相机采集的两帧原始双目图像,原始双目图像包括原始左目图像和原始右目图像;
矫正单元,用于对原始双目图像进行矫正处理,将校正后的原始左目图像作为最终获取的左目图像,将校正后的原始右目图像作为最终获取的右目图像,左目图像和右目图像共面,且同一特征点在左目图像中的位置和在右目图像中的位置在预设方向上对齐;将矫正后的两帧原始双目图像作为最终获取的两帧双目图像。
在上述实施例的基础上,第一确定模块42包括:
视差确定单元,用于根据公共特征点在左目图像中的位置和在右目图像中的位置确定公共特征点的视差D:
在上述实施例的基础上,位姿变化确定模块44包括:
特征矩阵确定单元,用于分别确定两帧双目图像所有有效特征点的特征矩阵A和B:
其中,A为第n帧双目图像的特征矩阵,B为第n+m帧双目图像的特征矩阵,分别表示第n帧双目图像中第i个有效特征点在相机坐标系中所对应的横坐标、纵坐标和竖坐标, 分别表示第n+m帧双目图像中第i个有效特征点在相机坐标系中所对应的横坐标、纵坐标和竖坐标,i=1,2,…,K,K为有效特征点的个数;
位姿变化确定单元,用于根据两帧双目图像的特征矩阵确定相机的位姿变化参数:
在上述实施例的基础上,去抖模块45包括:
成像平面坐标确定单元,用于确定后一帧双目图像的像素点的原始坐标,并根据像素点的原始坐标确定在相机坐标系下像素点在成像平面内的三维坐标:
其中,分别表示第n+m帧双目图像中第i个像素点在成像平面内的横坐标、纵坐标和竖坐标,分别表示第n+m帧双目图像中第i个像素点的原始横坐标和原始纵坐标;f表示双目相机的焦距,(u0,v0)为双目相机光轴与成像平面的交点坐标;且第n+m帧双目图像即为后一帧双目图像;
三维坐标调整单元,用于根据位姿变化参数确定对像素点在成像平面内的三维坐标进行调整,确定调整后的三维坐标;其中:
像素坐标调整单元,用于根据像素点在成像平面内调整后的三维坐标对像素点的坐标值进行调整,确定像素点调整后的坐标值:
本发明实施例提供的一种图像去抖的装置,基于两帧双目图像将极远静止点作为有效特征点,并根据有效特征点在两帧图像中三维坐标之间的变化确定相机位姿变化,进而可以基于该相机位姿变化调整双目图像的像素点,实现图像去抖。该装置基于双目测距实现图像去抖,且所利用的极远静止点具有相同的移动方向,基于极远静止点可以方便快速地确定相机位姿变化,装置简单、算法复杂度低、运行速度快、实时性高;且极远静止点距离相机较远,可以忽略极远静止点在景深方向上的变化,使得最终确定相机位姿变化更加精确。利用旋转矩阵和平移向量可以快速确定相机的位姿变化,且计算简单,可以进一步提高去抖处理的实时性。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (8)
1.一种图像去抖的方法,其特征在于,包括:
获取两帧双目图像,所述双目图像包括左目图像和右目图像,且两帧所述双目图像的时间戳之差小于预设时间差值;
确定多个公共特征点,并确定所述公共特征点在两帧双目图像中的三维坐标,所述公共特征点为同时存在于两帧双目图像的左目图像和右目图像的世界点在两帧双目图像中所对应的像素点;
将视差小于预设视差、且移动距离小于预设距离值的公共特征点作为有效特征点,所述移动距离为所述公共特征点在两帧双目图像中的两个三维坐标之间的距离值;
根据所述有效特征点在两帧双目图像中的三维坐标的变化值确定相机的位姿变化参数;
根据所述位姿变化参数调整后一帧双目图像的像素点的坐标值;
其中,所述根据所述有效特征点在两帧双目图像中的三维坐标的变化值确定相机的位姿变化参数包括:
分别确定两帧双目图像所有有效特征点的特征矩阵A和B:
其中,A为第n帧双目图像的特征矩阵,B为第n+m帧双目图像的特征矩阵,分别表示第n帧双目图像中第i个有效特征点在相机坐标系中所对应的横坐标、纵坐标和竖坐标,分别表示第n+m帧双目图像中第i个有效特征点在相机坐标系中所对应的横坐标、纵坐标和竖坐标,i=1,2,…,K,K为有效特征点的个数;
根据两帧双目图像的特征矩阵确定相机的位姿变化参数:
2.根据权利要求1所述的方法,其特征在于,所述获取两帧双目图像包括:
获取双目相机采集的两帧原始双目图像,所述原始双目图像包括原始左目图像和原始右目图像;
对所述原始双目图像进行矫正处理,将校正后的原始左目图像作为最终获取的左目图像,将校正后的原始右目图像作为最终获取的右目图像,所述左目图像和所述右目图像共面,且同一特征点在所述左目图像中的位置和在所述右目图像中的位置在预设方向上对齐;将矫正后的两帧原始双目图像作为最终获取的两帧双目图像。
3.根据权利要求1所述的方法,其特征在于,所述确定所述公共特征点在两帧双目图像中的三维坐标包括:
根据所述公共特征点在所述左目图像中的位置和在所述右目图像中的位置确定所述公共特征点的视差D:
4.根据权利要求1所述的方法,其特征在于,所述根据所述位姿变化参数调整后一帧双目图像的像素点的坐标值包括:
确定后一帧双目图像的像素点的原始坐标,并根据像素点的原始坐标确定在相机坐标系下所述像素点在成像平面内的三维坐标:
其中,分别表示第n+m帧双目图像中第i个像素点在成像平面内的横坐标、纵坐标和竖坐标,分别表示第n+m帧双目图像中第i个像素点的原始横坐标和原始纵坐标;f表示双目相机的焦距,(u0,v0)为双目相机光轴与成像平面的交点坐标;且第n+m帧双目图像即为后一帧双目图像;
根据所述位姿变化参数确定对所述像素点在成像平面内的三维坐标进行调整,确定调整后的三维坐标;其中:
根据像素点在成像平面内调整后的三维坐标对所述像素点的坐标值进行调整,确定像素点调整后的坐标值:
5.一种图像去抖的装置,其特征在于,包括:
获取模块,用于获取两帧双目图像,所述双目图像包括左目图像和右目图像,且两帧所述双目图像的时间戳之差小于预设时间差值;
第一确定模块,用于确定多个公共特征点,并确定所述公共特征点在两帧双目图像中的三维坐标,所述公共特征点为同时存在于两帧双目图像的左目图像和右目图像的世界点在两帧双目图像中所对应的像素点;
第二确定模块,用于将视差小于预设视差、且移动距离小于预设距离值的公共特征点作为有效特征点,所述移动距离为所述公共特征点在两帧双目图像中的两个三维坐标之间的距离值;
位姿变化确定模块,用于根据所述有效特征点在两帧双目图像中的三维坐标的变化值确定相机的位姿变化参数;
去抖模块,用于根据所述位姿变化参数调整后一帧双目图像的像素点的坐标值;
其中,所述位姿变化确定模块包括:
特征矩阵确定单元,用于分别确定两帧双目图像所有有效特征点的特征矩阵A和B:
其中,A为第n帧双目图像的特征矩阵,B为第n+m帧双目图像的特征矩阵,分别表示第n帧双目图像中第i个有效特征点在相机坐标系中所对应的横坐标、纵坐标和竖坐标,分别表示第n+m帧双目图像中第i个有效特征点在相机坐标系中所对应的横坐标、纵坐标和竖坐标,i=1,2,…,K,K为有效特征点的个数;
位姿变化确定单元,用于根据两帧双目图像的特征矩阵确定相机的位姿变化参数:
6.根据权利要求5所述的装置,其特征在于,所述获取模块包括:
获取单元,用于获取双目相机采集的两帧原始双目图像,所述原始双目图像包括原始左目图像和原始右目图像;
矫正单元,用于对所述原始双目图像进行矫正处理,将校正后的原始左目图像作为最终获取的左目图像,将校正后的原始右目图像作为最终获取的右目图像,所述左目图像和所述右目图像共面,且同一特征点在所述左目图像中的位置和在所述右目图像中的位置在预设方向上对齐;将矫正后的两帧原始双目图像作为最终获取的两帧双目图像。
7.根据权利要求5所述的装置,其特征在于,所述第一确定模块包括:
视差确定单元,用于根据所述公共特征点在所述左目图像中的位置和在所述右目图像中的位置确定所述公共特征点的视差D:
8.根据权利要求5所述的装置,其特征在于,所述去抖模块包括:
成像平面坐标确定单元,用于确定后一帧双目图像的像素点的原始坐标,并根据像素点的原始坐标确定在相机坐标系下所述像素点在成像平面内的三维坐标:
其中,分别表示第n+m帧双目图像中第i个像素点在成像平面内的横坐标、纵坐标和竖坐标,分别表示第n+m帧双目图像中第i个像素点的原始横坐标和原始纵坐标;f表示双目相机的焦距,(u0,v0)为双目相机光轴与成像平面的交点坐标;且第n+m帧双目图像即为后一帧双目图像;
三维坐标调整单元,用于根据所述位姿变化参数确定对所述像素点在成像平面内的三维坐标进行调整,确定调整后的三维坐标;其中:
像素坐标调整单元,用于根据像素点在成像平面内调整后的三维坐标对所述像素点的坐标值进行调整,确定像素点调整后的坐标值:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811282200.5A CN109462746B (zh) | 2018-10-26 | 2018-10-26 | 一种图像去抖的方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811282200.5A CN109462746B (zh) | 2018-10-26 | 2018-10-26 | 一种图像去抖的方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109462746A CN109462746A (zh) | 2019-03-12 |
CN109462746B true CN109462746B (zh) | 2020-11-06 |
Family
ID=65608951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811282200.5A Active CN109462746B (zh) | 2018-10-26 | 2018-10-26 | 一种图像去抖的方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109462746B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112067125B (zh) * | 2019-06-11 | 2023-03-14 | 海南大学 | 基于水下机器人的双通道高光谱检测系统 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013088745A (ja) * | 2011-10-21 | 2013-05-13 | Sharp Corp | 液晶表示装置 |
JP6182866B2 (ja) * | 2012-03-21 | 2017-08-23 | 株式会社リコー | 校正装置、距離計測装置及び車両 |
CN104408741A (zh) * | 2014-10-27 | 2015-03-11 | 大连理工大学 | 一种时序一致性约束的视频全局运动估计方法 |
CN106033614B (zh) * | 2015-03-20 | 2019-01-04 | 南京理工大学 | 一种强视差下的移动相机运动目标检测方法 |
EP3323109B1 (en) * | 2015-07-16 | 2022-03-23 | Google LLC | Camera pose estimation for mobile devices |
US10086955B2 (en) * | 2015-10-23 | 2018-10-02 | The Boeing Company | Pattern-based camera pose estimation system |
CN108475433B (zh) * | 2015-11-20 | 2021-12-14 | 奇跃公司 | 用于大规模确定rgbd相机姿势的方法和系统 |
CN105469405B (zh) * | 2015-11-26 | 2018-08-03 | 清华大学 | 基于视觉测程的同时定位与地图构建方法 |
CN105872370B (zh) * | 2016-03-31 | 2019-01-15 | 深圳力维智联技术有限公司 | 视频去抖动方法和装置 |
CN106488081B (zh) * | 2016-10-17 | 2019-06-28 | 深圳市前海视微科学有限责任公司 | 视频稳像系统及方法 |
CN106550229A (zh) * | 2016-10-18 | 2017-03-29 | 安徽协创物联网技术有限公司 | 一种平行全景相机阵列多视点图像校正方法 |
CN106920259B (zh) * | 2017-02-28 | 2019-12-06 | 武汉工程大学 | 一种定位方法及系统 |
CN107590827A (zh) * | 2017-09-15 | 2018-01-16 | 重庆邮电大学 | 一种基于Kinect的室内移动机器人视觉SLAM方法 |
CN107705333B (zh) * | 2017-09-21 | 2021-02-26 | 歌尔股份有限公司 | 基于双目相机的空间定位方法及装置 |
CN107747941B (zh) * | 2017-09-29 | 2020-05-15 | 歌尔股份有限公司 | 一种双目视觉定位方法、装置及系统 |
-
2018
- 2018-10-26 CN CN201811282200.5A patent/CN109462746B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN109462746A (zh) | 2019-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11388385B2 (en) | Primary and auxiliary image capture devices for image processing and related methods | |
CN112396562B (zh) | 一种高动态范围场景下基于rgb与dvs图像融合的视差图增强方法 | |
CN103973989B (zh) | 获取高动态图像的方法及系统 | |
US8274552B2 (en) | Primary and auxiliary image capture devices for image processing and related methods | |
JP6376618B2 (ja) | マルチフレームノイズ低減方法および端末 | |
JP7185821B2 (ja) | 可動視覚システムの立体キャリブレーション方法 | |
CN108510540B (zh) | 立体视觉摄像机及其高度获取方法 | |
US8090251B2 (en) | Frame linked 2D/3D camera system | |
WO2013043695A1 (en) | System and method for improving methods of manufacturing stereoscopic image sensors | |
JP4432462B2 (ja) | 撮像装置及び方法、撮像システム | |
CN206460516U (zh) | 一种多路鱼眼相机双目标定装置 | |
CN111047636B (zh) | 基于主动红外双目视觉的避障系统和避障方法 | |
WO2007007924A1 (en) | Method for calibrating distortion of multi-view image | |
CN103079083B (zh) | 一种已标定平行摄像机阵列多视图像校正方法 | |
CN109462746B (zh) | 一种图像去抖的方法及装置 | |
CN112995638A (zh) | 自动调节视差的裸眼3d采集和显示系统及方法 | |
CN110381305B (zh) | 裸眼3d的去串扰方法、系统、存储介质及电子设备 | |
CN112470189B (zh) | 光场系统的遮挡消除 | |
JP2006119843A (ja) | 画像生成方法およびその装置 | |
KR101634225B1 (ko) | 다시점 입체 영상 보정 장치 및 방법 | |
CN108010089B (zh) | 一种基于双目可运动摄像机的高分辨率图像获取方法 | |
CN102497511B (zh) | 一种利用低速摄像机拍摄高速移动物体的方法 | |
CN114666560A (zh) | 一种3d摄像系统实时视频处理和立体感调节方法及系统 | |
CN110827230A (zh) | 一种利用tof提升rgb图像质量的方法和装置 | |
CN112040214A (zh) | 双摄像机三维立体成像系统和处理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |