CN101419711A - 一种估计车辆自运动参数的方法和装置 - Google Patents

一种估计车辆自运动参数的方法和装置 Download PDF

Info

Publication number
CN101419711A
CN101419711A CNA200810185832XA CN200810185832A CN101419711A CN 101419711 A CN101419711 A CN 101419711A CN A200810185832X A CNA200810185832X A CN A200810185832XA CN 200810185832 A CN200810185832 A CN 200810185832A CN 101419711 A CN101419711 A CN 101419711A
Authority
CN
China
Prior art keywords
image block
block areas
camera
pixel
confidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200810185832XA
Other languages
English (en)
Other versions
CN101419711B (zh
Inventor
段勃勃
刘威
袁淮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neusoft Reach Automotive Technology Shanghai Co Ltd
Original Assignee
Neusoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neusoft Corp filed Critical Neusoft Corp
Priority to CN200810185832XA priority Critical patent/CN101419711B/zh
Publication of CN101419711A publication Critical patent/CN101419711A/zh
Priority to PCT/CN2009/071578 priority patent/WO2010069168A1/zh
Application granted granted Critical
Publication of CN101419711B publication Critical patent/CN101419711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种估计车辆自运动参数的方法和装置。一种估计车辆自运动参数的方法实施例,包括:在当前帧中划分的图像块区域中选择符合预定条件的图像块区域,在不同运动参数的条件下,根据预先建立的像素运动模型,计算当前帧中所选择的图像块区域中的像素在相邻帧中对应的坐标,基于当前帧所选择图像块区域中像素的特征以及所述相邻帧中对应坐标位置像素的特征,计算不同运动参数的置信度,将置信度最高的运动参数确定为车辆的自运动参数。利用本发明实施例,可以提高运动参数估计的精度,而且还可以降低计算复杂度。

Description

一种估计车辆自运动参数的方法和装置
技术领域
本发明涉及图像技术领域,特别涉及一种估计车辆自运动参数的方法和装置。
背景技术
基于视觉的车辆自运动估计的技术,是将相机固定安装于车辆上,相机实时的对地面成像形成图像,进而通过分析图像获得车辆的运动参数(包括角速度、线速度等)。由于地平面是不动的,则图像中的地平面变化是由于相机运动产生的,简言之,地平面的同一点在两帧图像间的成像位置变化是由于相机运动产生的。根据相机成像公式,可建立像素位置变化与相机运动的方程。则通过寻找两帧图像中相同的像素,可求解出两帧图像间相机的运动,即获得车辆的运动参数。基于视觉的车辆自运动估计的技术可被应用于机器人、智能车等领域。
基于视觉的车辆自运动估计的技术中,现有的方法大都利用所有道路区域估计自车运动,但并不是所有的道路区域都适用于估计自车运动,如:光滑的道路区域,现有的方法并没有很好解决道路区域选择这一问题。
发明内容
本发明实施例的目的是提供一种估计车辆自运动参数的方法和装置,以提高运动参数估计精度并降低了计算复杂度。
为解决上述技术问题,本发明实施例提供一种估计车辆自运动参数的方法和装置是这样实现的:
一种估计车辆自运动参数的方法,包括:
在当前帧中划分的图像块区域中选择符合预定条件的图像块区域;
在不同运动参数的条件下,根据预先建立的像素运动模型,计算当前帧中所选择的图像块区域中的像素在相邻帧中对应的坐标;
基于当前帧所选择图像块区域中像素的特征以及所述相邻帧中对应坐标位置像素的特征,计算不同运动参数的置信度;
将置信度最高的运动参数确定为车辆的自运动参数。
一种估计车辆自运动参数的装置,包括:
图像块区域确定单元,用于在当前帧中划分的图像矩形图像块区域上确定符合预定条件的图像块区域;
相邻帧坐标计算单元,用于在预定搜索空间内不同运动参数的条件下,根据预先建立的像素运动模型,计算当前帧中所选择的图像块区域中的像素在相邻帧中对应的坐标;
置信度计算单元,基于当前帧所选择图像块区域中像素的特征以及所述相邻帧中对应坐标位置像素的特征,计算预定搜索空间内不同运动参数的置信度;
自运动参数确定单元,用于将置信度最高的运动参数确定为车辆的自运动参数。
由以上本发明实施例提供的技术方案可见,在当前帧中划分的图像块区域中选择符合预定条件的图像块区域,在不同运动参数的条件下,根据预先建立的像素运动模型,计算当前帧中所选择的图像块区域中的像素在相邻帧中对应的坐标,基于当前帧所选择图像块区域中像素的特征以及所述相邻帧中对应坐标位置像素的特征,计算不同运动参数的置信度,将置信度最高的运动参数确定为车辆的自运动参数。这样,通过选择有纹理且运动特征明显的道路区域进行运动估计,并利用图像特征减少了参与运算的图像区域,从而提高了运动参数估计精度并降低了计算复杂度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明估计车辆自运动参数的方法实施例中建立的相机坐标系,其中,图1a为相机坐标系的侧视图,图1b为相机坐标系的俯视图;
图2为本发明估计车辆自运动参数方法实施例的流程图;
图3为估计车辆自运动参数装置实施例的框图。
具体实施方式
本发明实施例提供一种估计车辆自运动参数的方法和装置。
基于视觉的车辆自运动估计的技术中,像素的运动模型通常是一个重要因素。目前的方法大多采用道路平面假设来建立运动模型,主要有两种运动模型:一种是两参数运动模型,将车辆的运动分解为沿光轴方向的平移和道路平面上转动,这种模型计算复杂度低,但是由于忽略了垂直于光轴方向的平移,从而造成在车辆转弯或变线时误差加大;另一种是三参数运动模型,在前一种模型的基础上增加了垂直于光轴方向的平移,在计算复杂度增加的同时提高了车辆转动时运动参数估计的精度,是将两个平移运动参数(即沿光轴方向的平移和垂直于光轴方向的平移)独立的进行估计。
目前采用三参数运动模型估计车辆自运动参数的方法,由于是将两个平移运动参数(即沿光轴方向的平移和垂直于光轴方向的平移)独立的进行估计,而没有考虑这两者间的约束关系,从而使得估计的运动参数具有一定多解性,从而影响了其精度。
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
本发明实施例中建立一种新的基于车辆运动规律约束的三参数像素运动模型。在此运动模型的基础上,给出一种基于单目视觉的自运动参数估计方法。
以下首先介绍像素运动模型。
设相机安装于车辆上进行平面运动且相机光轴平行于地平面,则可以建立如图1的坐标系。图1中,图1a为相机坐标系的侧视图,图1b为相机坐标系的俯视图。图1a中,Z轴为相机光轴方向,Y轴为与Z垂直的轴,也就是与地平面垂直的轴。图1b中,X轴是与光轴垂直方向上的轴,可见,X轴为与Z、Y均垂直的轴。
相机运动可以由一个三元组(tx,tz,ωy)描述,其中tx为垂直于相机光轴的平移速度,tz为沿相机光轴方向的平移速度,ωy为平面上的旋转角速度。
假设车辆运动无平面滑动,则车辆的运动可用如下的二元组(v,ω)来表示,其中,v代表车辆的线速度,ω代表车辆的角速度。由于相机固定安装于车辆上,则在某个短的时间间隔Δt内,相机的运动与车辆运动存在如下约束:
tz×Δt=v×Δt×cosθ
tx×Δt=v×Δt×sinθ
θ=ωy×Δt
ωy=ω
                                                           (1)
P(r,c)相机成像中某一像素的坐标,r是行坐标,c是列坐标。
可见,这里考虑了沿光轴方向的平移和垂直于光轴方向的平移的约束关系。
设t时刻地平面上一点R(XW1,YW1,ZW1)在相机中成像为P1(r1,c1),则该点在t+k时刻在相机中成像点P2(r2,c2)的坐标可由如下步骤获得:
A1:计算t时刻相机成像中的像素坐标P1(r1,c1)在以相机为中心的世界坐标系(以下简称相机坐标系)中对应点R的坐标(XW1,YW1,ZW1)。
假设道路为平面、且所拍摄图像中所有像素点均为道路平面上的点所成像,则可以根据如下摄像机成像公式可以计算出像素P1(r1,c1)在相机坐标系中的坐标(XW1,YW1,ZW1):
Z C r 1 c 1 1 = α x 0 u 0 0 0 α y v 0 0 0 0 1 0 R t 0 T 1 X w 1 Y w 1 Z w 1 1 - - - ( 2 )
其中,ZC是P的在摄像机坐标系中Z轴的坐标。
其中,αx,αy,u0,v0是相机内部参数,可从相机中获得。
其中,t=[Tx,Ty,Tz]T为平移向量,Tx,Ty,Tz为摄像机坐标系原点在世界坐标系下的位置,为相机外部参数,在安装相机时获得。
其中, R = cos γ cos β cos γ sin β sin α - sin γ cos α cos γ sin β cos α + sin γ sin α sin γ cos β cos α cos γ + sin γ sin β sin α sin γ sin β cos α - cos γ sin α - sin β cos β sin α cos β cos α
R为旋转矩阵,α,β,γ分别是相机坐标系中绕X,Y,Z轴的旋转角,为相机外部参数,在安装相机时获得。
YW1为摄像机高度,为已知量。
由上述方程(2),可得XW1,ZW1和ZC
A2:计算在t+k时刻点R在相机坐标系中的坐标(XW2,YW2,ZW2)。
在t+k时刻的相机坐标系中,已知相机从t时刻到t+k时刻的运动参数为(tx,tz,ωy),设地平面任意一点在该运动参数下从t时刻到t+k时刻发生运动(Tx,Tz,θ),则对于t时刻地平面上的点(XW1,YW1,ZW1),其在t+k时刻的坐标(XW2,YW2,ZW2)为:
XW2=(XW1+Tx)·cosθ-(ZW1+Tz)·sinθ
ZW2=(ZW1+Tz)·cosθ+(XW1+Tx)·sinθ
YW2=YW1                                                 (3)
Tx=-tx×Δt×k
Tz=-tz×Δt×k
其中,θ=-ωy×Δt×k,                                   (4)
这样,由于YW2=YW1=0,则(XW2,YW2,ZW2)可解。
A3:根据t+k时刻点R在相机坐标系中的坐标计算相机中成像中的像素P2(r2,c2)的坐标;
由摄像机成像公式,已知(XW2,YW2,ZW2),求解方程可得P2(r2,c2)和ZC。具体的,这里的相机成像公式与公式(2)类似,为:
Z C r 2 c 2 1 = α x 0 u 0 0 0 α y v 0 0 0 0 1 0 R t 0 T 1 X w 2 Y w 2 Z w 2 1 - - - ( 5 )
这样,通过建立上述像素运动模型,可以计算出Fn帧图像中的像素在相邻帧(如Fn-k帧)图像中的位置。
以下介绍本发明基于上述像素运动模型的车辆自运动参数估计方法的实施例,图2示出了该该实施例的流程:
S201:在当前帧中划分的图像块区域中选择符合预定条件的图像块区域。
图像序列中的当前帧设为Fn,同时,与当前帧相邻的帧为Fn-k(k>=1),当前帧Fn与相邻帧Fn-k的帧间隔设为Δt。
可以将一帧图像分成多个矩形块区域,例如可以是将一帧图像划分为N×N像素的互不重叠的矩形区域。则当前帧图像中可以有互不重叠的矩形图像块区域。
所述选择符合预定条件的图像块区域,可以是在所述划分的图像块区域中选出必要的道路平面(非立体物)的区域。由于只有地平面上的点才能被用于运动估计,所以可以首先选出地平面的图像块区域。图像块区域太多会造成计算量大,所以本发明实施例给出选取部分地平面图像块区域的方式,这些图像块区域构成进行运动估计的最小集合。不同的图像块区域由于特点差异,在进行运动估计时所占的比重不同,需要根据其特征进行进一步的确定。
传统的方法是选取图像中所有的道路平面的图像块区域进行运动参数估计,本发明实施例中,仅选取符合预定条件的图像块区域。所述预定条件,可以是纹理性条件。当然,也可以是其它值符合要求。以纹理性条件为例,可以采用如下方式选取:
对图像块区域求熵,当熵大于预定阈值时,确定该图像块区域为符合纹理性条件的图像块区域。具体的,图像块区域的熵可按如下公式计算:
E ( I ) = Σ k = 0 255 P ( k ) * log P ( k ) - - - ( 6 )
P ( k ) = Σ i = 0 M Σ j = 0 N f ( i , j , k ) M × N
其中 f ( i , j , k ) = 1 , I ( i , j ) = k 0 , I ( i , j ) ≠ k
其中,I为指定的图像,其长度M,宽度为N,P(k)为图像中灰度值k出现的频率。
纹理性是表明图像中是否有与背景不相同物体的图像特征。利用存在与背景不相同物体的图像,而不是利用与背景没有区别的图像,可以更好的进一步识别特定像素点的在相邻图像中的位置,从而依据像素点在相邻两帧图像中的位置变化进行运动参数估计。
可见,该步骤中,将参与运算的图像块区域的数目大大降低,从而可以降低计算复杂度。
进一步的,在同一列中的符合预定条件的图像块区域中,还可以选取最下方的图像块区域。
这里的最下是指图像的最下方,即只选取图像最下方的那些符合条件的图像块区域。一般地,由于最下方图像块区域距相机越近,因此,最下方图像块区域的图像运动特征更明显,使得运动估计的精度得到提高。通过这样的选择,可以进一步减少参加运算的图像块区域,从而降低计算法复杂度。
S202:在不同运动参数的条件下,根据预先建立的像素运动模型,计算当前帧中所选择的图像块区域中的像素在相邻帧中对应的坐标。
基于车辆的运动规律及计算精度要求,存在运动参数的预定搜索空间。较佳的,可以计算预定搜索空间内按照一定步长设定的不同运动参数的置信度。这样,可以选择预定搜索空间中较佳的离散运动参数的置信度。
例如,速度范围为0-10km/h,则速度的预定搜索空间为0-10km/h。搜索时以1km/h为步长,则需要计算速度置信度的速度离散值为:{0,1,2,3,4,5,6,7,8,9,10},单位为km/h。
其它运动参数所需计算的预定搜索空间中的离散值的选取与此类似。
设车辆运动用二元组(v,ω)来表示,则车辆的运动规律确定v的搜索空间[vmin,vmax]和ω的搜索空间[ωmin,ωmax]。而根据精度需要可确定搜索的步长Δv和Δω,基于此可以确定运动参数的搜索组合[vi,ωj],其中,
v i = v min + i × Δv ; i = 0,1 , . . . , N ; N = v max - v min Δv
ω j = ω min + j × Δω ; j = 0,1 , . . . , M ; M = ω max - ω min Δω - - - ( 7 )
针对每一组运动参数[vi,ωj],计算序列图像中当前帧Fn中所选择图像块区域中的每一像素在相邻帧图像Fn-k中的对应位置,与前述建立的像素运动模型对应的,当前帧Fn与相邻帧图像Fn-k的时刻可以分别为t时刻和t+k时刻。根据前述相机运动约束,由车辆的运动参数[vi,ωj]可以计算得到相机运动参数[txi,tzi,ωyj]
S203:基于当前帧所选择图像块区域中像素的特征以及所述相邻帧中对应坐标位置像素的特征,计算不同运动参数的置信度。
针对每一所选择的图像块区域,计算每一组运动参数[vi,ωj]的置信度。具体的,对于任意一组运动参数,对于图像中每一图像块区域中的所有像素,根据其在上述图像Fn的和在上述图像Fn-k中对应位置的像素值计算该图像块区域中该运动参数的置信度。其中,运动参数[vi,ωj]在图像块区域m中的置信度用ci,j,m来表示,其可以用如下公式计算:
c i , j , m = Σ i = 1 N Σ j = 1 N p ( i , j ) × p ′ ( i , j ) Σ i = 1 N Σ j = 1 N p 2 ( i , j ) × Σ i = 1 N Σ j = 1 N p ′ 2 ( i , j ) - - - ( 8 )
其中,区域m的大小可以为N*N,p(i,j)为图像Fn中的像素(i,j)的像素特征值,例如像素灰度值,或者是彩色值;p′(i,j)为图像Fn所选择的一图像块区域中的像素(i,j)在运动参数为[vi,ωj]的情况下在图像Fn-k中的对应位置的像素的特征值,同样地,例如像素灰度值或者是彩色值。
基于上述计算,从而得到运动参数[vi,ωj]在每一图像块区域的置信度ci,j,m
S204:将置信度最高的运动参数确定为车辆的自运动参数。
进一步地,所述S204之前,还可以包括:
S1:确定所选择的图像块区域的权重。
例如,可以将图像块区域的熵确定该图像块区域的权重,熵可按如上公式(6)计算。
则相应地,S202针对每一确定的图像块区域图像计算预定搜索空间内不同运动参数的置信度步骤中,在得到运动参数[vi,ωj]在每一图像块区域的置信度ci,j,m之后,还可以包括:
S2:引入所述权重计算所述置信度。
对于上述的图像Fn,根据每个图像块区域对于每组运动参数的置信度和权重,计算每一组运动参数的置信度。例如可采用但不限于加权和的方式。
以下给出一个加权和的例子:
C i , j = Σ m = 1 M c i , j , m × Weight m - - - ( 9 )
其中,M为图像Fn中算选择的所有图像块区域的数量,Weightm为图像块区域m的权重,则Ci,j为运动参数[vi,ωj]在图像中所有图像块区域的加权求和置信度值。
这样,不同运动参数在图像中所有图像块区域的加权求和置信度值不同,因此,在S204中,可以将置信度最高的运动参数确定为车辆的自运动参数。
此外,还可以结合各组运动参数的当前置信度及历史置信度求解运动参数的最终置信度。历史置信度为之前的帧中计算得到的运动参数的置信度。
例如,可采用加权和的形式,利用之前K个运动参数置信度计算各运动参数当前的置信度,选出置信度最高的运动参数为当前的运动参数估计,置信度计算如下:
C ^ i , j , n = Σ k = 0 K C i , j , n - k × Weight n - k - - - ( 10 )
其中,Ci,j,n-k为Fn-k帧图像的运动参数[vi,ωj]的置信度,Weightn-k为Fn-k帧置信度的权重,K为帧Fn到帧Fn-k的共K个帧,
Figure A200810185832D00142
为考虑了历史置信度的运动参数[vi,ωj]的最终置信度。
本计算不限于上述公式(10)的方式,还可以是利用卡尔曼滤波等方法进行的计算,在此不再细述。
由上述实施例可见,在当前帧中划分的图像块区域中选择符合预定条件的图像块区域,在不同运动参数的条件下,根据预先建立的像素运动模型,计算当前帧中所选择的图像块区域中的像素在相邻帧中对应的坐标,基于当前帧所选择图像块区域中像素的特征以及所述相邻帧中对应坐标位置像素的特征,计算不同运动参数的置信度,将置信度最高的运动参数确定为车辆的自运动参数。这样,通过选择有纹理且运动特征明显的道路区域进行运动估计,并利用图像特征减少了参与运算的图像区域,从而提高了运动参数估计精度并降低了计算复杂度。而预先建立的像素运动模型中,利用车辆运动的规律,建立了带有约束的像素运动方程,这样,由于预先建立的像素运动模型中这些带有约束的像素运动方程减少了方程发生多解的可能性,也可以提高运动参数估计的精度。
以下介绍本发明一种估计车辆自运动参数的装置实施例,图3示出了该装置实施例的框图,如图3,该装置实施例包括:
图像块区域确定单元31,用于在当前帧中划分的图像矩形图像块区域上确定符合预定条件的图像块区域;
相邻帧坐标计算单元32,用于在预定搜索空间内不同运动参数的条件下,根据预先建立的像素运动模型,计算当前帧中所选择的图像块区域中的像素在相邻帧中对应的坐标;
置信度计算单元33,基于当前帧所选择图像块区域中像素的特征以及所述相邻帧中对应坐标位置像素的特征,计算预定搜索空间内不同运动参数的置信度;
自运动参数确定单元34,用于将置信度最高的运动参数确定为车辆的自运动参数。
优选地,所述装置中,所述像素运动模型包括:
建立以相机为中心的世界坐标系,其中,Z轴为相机光轴方向,Y轴为与地平面垂直且与Z轴垂直的轴,X轴为与Z、Y均垂直的轴;
在以相机为中心的世界坐标系中,建立沿光轴方向的平移和垂直于光轴方向的平移的运动约束关系,并利用该运动约束关系,计算:
计算t时刻相机成像中的像素坐标在以相机为中心的世界坐标系中对应点R的坐标;
计算在t+k时刻点R在以相机为中心的世界坐标系中的坐标;
根据t+k时刻点R在相机坐标系中的坐标计算相机中成像中的像素P2(r2,c2)的坐标。
优选地,所述装置中,所述预定条件包括符合纹理性条件。
优选地,所述装置中,所述图像块区域确定单元31,还用于在同一列中的符合预定条件的图像块区域中,选取最下方的图像块区域。
优选地,所述装置还包括权重确定单元,用于确定所选择的图像块区域的权重;
相应地,所述置信度计算单元33,还用于引入所述权重计算所述对置信度。
优选地,所述装置中,所述权重为图像块区域的熵。
利用上述本发明装置实施例估计车辆自运动参数的方法,与前述方法实施例类似,在此不再赘述。
由上述实施例可见,在当前帧中划分的图像块区域中选择符合预定条件的图像块区域,在不同运动参数的条件下,根据预先建立的像素运动模型,计算当前帧中所选择的图像块区域中的像素在相邻帧中对应的坐标,基于当前帧所选择图像块区域中像素的特征以及所述相邻帧中对应坐标位置像素的特征,计算不同运动参数的置信度,将置信度最高的运动参数确定为车辆的自运动参数。这样,通过选择有纹理且运动特征明显的道路区域进行运动估计,并利用图像特征减少了参与运算的图像区域,从而提高了运动参数估计精度并降低了计算复杂度。而预先建立的像素运动模型中,利用车辆运动的规律,建立了带有约束的像素运动方程,这样,由于预先建立的像素运动模型中这些带有约束的像素运动方程减少了方程发生多解的可能性,也可以提高运动参数估计的精度。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本发明可用于众多通用或专用的计算系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
虽然通过实施例描绘了本发明实施例,本领域普通技术人员知道,本发明有许多变形和变化而不脱离本发明的精神,希望所附的权利要求包括这些变形和变化而不脱离本发明的精神。

Claims (14)

1、一种估计车辆自运动参数的方法,其特征在于,包括:
在当前帧中划分的图像块区域中选择符合预定条件的图像块区域;
在不同运动参数的条件下,根据预先建立的像素运动模型,计算当前帧中所选择的图像块区域中的像素在相邻帧中对应的坐标;
基于当前帧所选择图像块区域中像素的特征以及所述相邻帧中对应坐标位置像素的特征,计算不同运动参数的置信度;
将置信度最高的运动参数确定为车辆的自运动参数。
2、如权利要求1所述的方法,其特征在于,所述像素运动模型包括:
建立以相机为中心的世界坐标系,其中,Z轴为相机光轴方向,Y轴为与地平面垂直且与Z轴垂直的轴,X轴为与Z、Y均垂直的轴;
在以相机为中心的世界坐标系中,建立沿光轴方向的平移和垂直于光轴方向的平移的运动约束关系,并利用该运动约束关系,计算:
计算t时刻相机成像中的像素坐标在以相机为中心的世界坐标系中对应点R的坐标;
计算在t+k时刻点R在以相机为中心的世界坐标系中的坐标;
根据t+k时刻点R在相机坐标系中的坐标计算相机中成像中的像素P2(r2,c2)的坐标。
3、如权利要求1、2所述的方法,其特征在于,所述预定条件包括符合纹理性条件。
4、如权利要求3所述的方法,其特征在于,所述确定符合纹理性条件的图像块区域包括:
对图像块区域求熵,当熵大于预定阈值时,确定该图像块区域为符合纹理性条件的区域。
5、如权利要求3所述的方法,其特征在于,所述确定符合预定条件的图像块区域,还包括:
在同一列中的符合预定条件的图像块区域中,选取最下方的图像块区域。
6、如权利要求1、2所述的方法,其特征在于,所述将置信度最高的运动参数确定为车辆的自运动参数步骤之前,还包括:
确定所选择的图像块区域的权重;
引入所述权重计算所述置信度。
7、如权利要求6所述的方法,其特征在于,所述确定所选择的图像块区域的权重,包括:
将图像块区域的熵确定为该图像块区域的权重。
8、如权利要求1、2所述的方法,其特征在于,所述将置信度最高的运动参数确定为车辆的自运动参数之前,还包括:
结合各组运动参数的当前置信度及历史置信度求解运动参数的最终置信度;所述历史置信度为之前的帧中计算得到的所述运动参数的置信度。
9、一种估计车辆自运动参数的装置,其特征在于,包括:
图像块区域确定单元,用于在当前帧中划分的图像矩形图像块区域上确定符合预定条件的图像块区域;
相邻帧坐标计算单元,用于在预定搜索空间内不同运动参数的条件下,根据预先建立的像素运动模型,计算当前帧中所选择的图像块区域中的像素在相邻帧中对应的坐标;
置信度计算单元,基于当前帧所选择图像块区域中像素的特征以及所述相邻帧中对应坐标位置像素的特征,计算预定搜索空间内不同运动参数的置信度;
自运动参数确定单元,用于将置信度最高的运动参数确定为车辆的自运动参数。
10、如权利要求9所述的装置,其特征在于,所述像素运动模型包括:
建立以相机为中心的世界坐标系,其中,Z轴为相机光轴方向,Y轴为与地平面垂直且与Z轴垂直的轴,X轴为与Z、Y均垂直的轴;
在以相机为中心的世界坐标系中,建立沿光轴方向的平移和垂直于光轴方向的平移的运动约束关系,并利用该运动约束关系,计算:
计算t时刻相机成像中的像素坐标在以相机为中心的世界坐标系中对应点R的坐标;
计算在t+k时刻点R在以相机为中心的世界坐标系中的坐标;
根据t+k时刻点R在相机坐标系中的坐标计算相机中成像中的像素P2(r2,c2)的坐标。
11、如权利要求9所述的装置,其特征在于,所述预定条件包括符合纹理性条件。
12、如权利要求9所述的装置,其特征在于,所述图像块区域确定单元,还用于在同一列中的符合预定条件的图像块区域中,选取最下方的图像块区域。
13、如权利要求9所述的装置,其特征在于,所述装置还包括权重确定单元,用于确定所选择的图像块区域的权重;
相应地,所述置信度计算单元,还用于引入所述权重计算所述置信度。
14、如权利要求13所述的装置,其特征在于,所述权重为图像块区域的熵。
CN200810185832XA 2008-12-15 2008-12-15 一种估计车辆自运动参数的方法和装置 Active CN101419711B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN200810185832XA CN101419711B (zh) 2008-12-15 2008-12-15 一种估计车辆自运动参数的方法和装置
PCT/CN2009/071578 WO2010069168A1 (zh) 2008-12-15 2009-04-30 一种估计车辆自运动参数的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200810185832XA CN101419711B (zh) 2008-12-15 2008-12-15 一种估计车辆自运动参数的方法和装置

Publications (2)

Publication Number Publication Date
CN101419711A true CN101419711A (zh) 2009-04-29
CN101419711B CN101419711B (zh) 2012-05-30

Family

ID=40630489

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810185832XA Active CN101419711B (zh) 2008-12-15 2008-12-15 一种估计车辆自运动参数的方法和装置

Country Status (2)

Country Link
CN (1) CN101419711B (zh)
WO (1) WO2010069168A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010069168A1 (zh) * 2008-12-15 2010-06-24 东软集团股份有限公司 一种估计车辆自运动参数的方法和装置
CN102494699A (zh) * 2011-12-14 2012-06-13 中国人民解放军国防科学技术大学 捷联式航空重力仪测量参数置信度评估方法
CN102521979A (zh) * 2011-12-06 2012-06-27 北京万集科技股份有限公司 基于高清摄像机进行路面事件检测的方法及系统
CN106504265A (zh) * 2015-09-08 2017-03-15 株式会社理光 运动估计优化方法、设备和系统
CN106815861A (zh) * 2017-01-17 2017-06-09 湖南优象科技有限公司 一种紧凑型的光流计算方法与设备
CN109416399A (zh) * 2016-04-26 2019-03-01 深瞳科技公司 三维成像系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101894278B (zh) * 2010-07-16 2012-06-27 西安电子科技大学 基于变结构多模型的人体运动跟踪方法
CN102074034B (zh) * 2011-01-06 2013-11-06 西安电子科技大学 多模型人体运动跟踪方法
CN106469456B (zh) * 2015-08-11 2019-04-19 株式会社理光 运动估计方法和运动估计装置
US11567156B2 (en) * 2019-05-08 2023-01-31 Shanghai United Imaging Healthcare Co., Ltd. Systems and methods for magnetic resonance imaging
CN110009709B (zh) 2019-05-08 2023-07-07 上海联影医疗科技股份有限公司 医学图像成像方法和系统
CN113470342B (zh) * 2020-03-30 2023-04-07 华为技术有限公司 一种自运动估计的方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307959B1 (en) * 1999-07-14 2001-10-23 Sarnoff Corporation Method and apparatus for estimating scene structure and ego-motion from multiple images of a scene using correlation
CA2392652A1 (en) * 1999-11-26 2001-05-31 Amnon Shashua System and method for estimating ego-motion of a moving vehicle using successive images recorded along the vehicle's path of motion
CN1922633A (zh) * 2004-02-19 2007-02-28 西门子共同研究公司 使用鲁棒的信息融合从动态背景中检测正经过的车辆的系统和方法
JP4626158B2 (ja) * 2004-03-01 2011-02-02 ソニー株式会社 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム
JP2006268097A (ja) * 2005-03-22 2006-10-05 Nissan Motor Co Ltd 車載物体検出装置、および物体検出方法
JP2006318272A (ja) * 2005-05-13 2006-11-24 Nissan Motor Co Ltd 車両用物体検出装置、および方法
CN100578563C (zh) * 2007-12-21 2010-01-06 北京中星微电子有限公司 基于视频图像的车辆计数方法
CN101419711B (zh) * 2008-12-15 2012-05-30 东软集团股份有限公司 一种估计车辆自运动参数的方法和装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010069168A1 (zh) * 2008-12-15 2010-06-24 东软集团股份有限公司 一种估计车辆自运动参数的方法和装置
CN102521979A (zh) * 2011-12-06 2012-06-27 北京万集科技股份有限公司 基于高清摄像机进行路面事件检测的方法及系统
CN102521979B (zh) * 2011-12-06 2013-10-23 北京万集科技股份有限公司 基于高清摄像机进行路面事件检测的方法及系统
CN102494699A (zh) * 2011-12-14 2012-06-13 中国人民解放军国防科学技术大学 捷联式航空重力仪测量参数置信度评估方法
CN102494699B (zh) * 2011-12-14 2014-08-13 中国人民解放军国防科学技术大学 捷联式航空重力仪测量参数置信度评估方法
CN106504265A (zh) * 2015-09-08 2017-03-15 株式会社理光 运动估计优化方法、设备和系统
CN106504265B (zh) * 2015-09-08 2019-08-16 株式会社理光 运动估计优化方法、设备和系统
CN109416399A (zh) * 2016-04-26 2019-03-01 深瞳科技公司 三维成像系统
CN109416399B (zh) * 2016-04-26 2023-07-04 深瞳科技公司 三维成像系统
CN106815861A (zh) * 2017-01-17 2017-06-09 湖南优象科技有限公司 一种紧凑型的光流计算方法与设备

Also Published As

Publication number Publication date
CN101419711B (zh) 2012-05-30
WO2010069168A1 (zh) 2010-06-24

Similar Documents

Publication Publication Date Title
CN101419711B (zh) 一种估计车辆自运动参数的方法和装置
CN109766878B (zh) 一种车道线检测的方法和设备
US20200041276A1 (en) End-To-End Deep Generative Model For Simultaneous Localization And Mapping
JP2022019642A (ja) マルチセンサ融合に基づく測位方法及び装置
US8233660B2 (en) System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
DE102017101466A1 (de) Verfolgen von objekten in einer dynamischen umgebung zur verbesserten lokalisierung
CN111123949A (zh) 机器人的避障方法、装置、机器人及存储介质
US20220292837A1 (en) Monocular depth supervision from 3d bounding boxes
US10150485B2 (en) Method and device for processing image data, and driver-assistance system for a vehicle
CN103411536B (zh) 基于双目立体视觉的驾驶辅助障碍物检测方法
CN105241461A (zh) 机器人的地图创建及定位方法和机器人系统
Perrollaz et al. A visibility-based approach for occupancy grid computation in disparity space
CN112907678B (zh) 车载相机外参姿态动态估计方法、装置、计算机设备
JP2022003508A (ja) 軌道計画モデルの訓練方法と装置、電子機器、コンピュータ記憶媒体及びコンピュータプログラム
EP2256690A1 (en) Object motion detection system based on combining 3D warping techniques and a proper object motion detection
CN112651990A (zh) 运动轨迹预测方法及系统、电子设备及可读存储介质
KR102309712B1 (ko) 객체의 조건에 따라 모드를 전환할 수 있는 CNN 기반으로 군사 목적, 스마트폰 또는 가상 주행에 사용되는 수도(Pseudo)-3D 바운딩 박스를 검출하는 방법 및 이를 이용한 장치
CN103400393A (zh) 一种图像匹配方法和系统
CN116300909A (zh) 一种基于信息预处理和强化学习的机器人避障导航方法
CN111460866B (zh) 车道线检测及驾驶控制方法、装置和电子设备
CN114529585A (zh) 基于深度视觉和惯性测量的移动设备自主定位方法
CN111476062A (zh) 车道线检测方法、装置、电子设备及驾驶系统
CN102426703B (zh) 车载全景影像采集平台的航向和俯仰角速度获取方法
CN103196460B (zh) 一种估计步长的方法和装置
Loktev et al. Determination of the dynamic vehicle model parameters by means of computer vision

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211210

Address after: Room 1703, 888 Moyu South Road, Anting Town, Jiading District, Shanghai, 201805

Patentee after: NEUSOFT REACH AUTOMOTIVE TECHNOLOGY (SHANGHAI) Co.,Ltd.

Address before: Hunnan rookie street Shenyang city Liaoning province 110179 No. 2

Patentee before: NEUSOFT Corp.