CN116630401A - 鱼眼相机测距方法及终端 - Google Patents
鱼眼相机测距方法及终端 Download PDFInfo
- Publication number
- CN116630401A CN116630401A CN202310547037.5A CN202310547037A CN116630401A CN 116630401 A CN116630401 A CN 116630401A CN 202310547037 A CN202310547037 A CN 202310547037A CN 116630401 A CN116630401 A CN 116630401A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- coordinates
- imaging
- target point
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003384 imaging method Methods 0.000 claims abstract description 163
- 230000006870 function Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000010586 diagram Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000001154 acute effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本申请提供一种鱼眼相机测距方法及终端。根据鱼眼相机拍摄的图像,获取目标点在像素坐标系中的坐标和鱼眼相机的主点在像素坐标系中预标定的坐标,计算得到目标点在成像平面坐标系中的成像畸变坐标;根据目标点在成像平面坐标系中的成像畸变坐标,确定目标点在成像平面坐标系中的成像未畸变坐标;将目标点在成像平面坐标系中的成像未畸变坐标转换至像素坐标系中,得到无畸变的目标坐标;根据目标坐标、鱼眼相机预标定的内部参数和外部参数,求解目标点在世界坐标系中的坐标值;根据目标点在世界坐标系中的坐标值,确定车辆与目标点的距离。本申请能够提高鱼眼相机的测距精度。
Description
技术领域
本申请涉及辅助驾驶技术领域,尤其涉及一种鱼眼相机测距方法及终端。
背景技术
辅助驾驶系统能够有效减少和预防人为驾驶失误的影响,降低交通事故发生的概率。辅助驾驶系统利用安装在汽车上的传感器来感知周围环境,从而协助驾驶员进行驾驶活动。
BSD(Blind-Spot-Detection,盲区检测系统)是辅助驾驶系统的一种,摄像头是BSD感知的主要传感器,由于BSD是近距离感知,低速制动,所以选用160度的鱼眼摄像头,但是鱼眼摄像头的畸变较大,在近距离感知时目标测距不准,从而导致制动时的误判和误刹,给司机带来极差的体验感。
发明内容
本申请提供了一种鱼眼相机测距方法及终端,以解决鱼眼相机测距不准的问题。
第一方面,本申请提供了一种鱼眼相机测距方法,包括:鱼眼相机在车辆上的安装位置固定,预先定义世界坐标系、相机坐标系、成像平面坐标系和像素坐标系,包括:
根据所述鱼眼相机拍摄的图像,获取目标点在所述像素坐标系中的坐标,以及所述鱼眼相机的主点在所述像素坐标系中预标定的坐标,所述目标点用于
表示所述鱼眼相机识别到的目标;
根据所述目标点在所述像素坐标系中的坐标,以及所述鱼眼相机的主点在所述像素坐标系中预标定的坐标,得到所述目标点在所述成像平面坐标系中的成像畸变坐标;
根据所述目标点在所述成像平面坐标系中的成像畸变坐标确定所述目标点在所述成像平面坐标系中的成像未畸变坐标;
将所述目标点在所述成像平面坐标系中的成像未畸变坐标转换至所述像素坐标系中,得到无畸变的目标坐标;
根据所述目标坐标、所述鱼眼相机预标定的内部参数和外部参数,求解所述目标点在所述世界坐标系中的坐标值;
根据所述目标点在所述世界坐标系中的坐标值,确定所述车辆与所述目标点的距离。
在一种可能的实现方式中,所述根据所述目标点在所述像素坐标系中的坐标,以及所述鱼眼相机的主点在所述像素坐标系中预标定的坐标,得到所述目标点在所述成像平面坐标系中的成像畸变坐标包括:
根据第一预设公式计算所述目标点在所述成像平面坐标系中的成像畸变坐标,所述第一预设公式为
其中,(x′,y′)用于表示所述成像畸变坐标在所述成像平面坐标系下的坐标,(u′,v′)用于表示所述目标点在所述像素坐标系下的坐标,(cx,cy)用于表示所述鱼眼相机的主点在所述像素坐标系的坐标,fx和fy用于表示所述鱼眼相机的焦距,cx、cy、fx、fy由所述鱼眼相机预标定的内部参数获得。
在一种可能的实现方式中,所述根据所述目标点在所述成像平面坐标系中的成像畸变坐标确定所述目标点在所述成像平面坐标系中的成像未畸变坐标包括:
根据所述成像畸变坐标,计算所述目标点通过所述鱼眼相机时的畸变后的折射角;
根据所述折射角,通过预设函数求解所述目标点通过所述鱼眼相机时的入射角,所述预设函数用于表示所述折射角和所述入射角的函数关系;
根据所述入射角、所述折射角和所述成像畸变坐标,确定所述成像未畸变坐标。
在一种可能的实现方式中,所述根据所述成像畸变坐标和所述鱼眼相机的焦距,计算所述目标点通过所述鱼眼相机时的畸变后的折射角包括:
通过第二预设公式计算所述折射角,所述第二预设公式为
其中,θd用于表示所述折射角,(x′,y′)用于表示所述成像畸变坐标在所述成像平面坐标系下的坐标,;
通过第三预设公式表示所述预设函数,所述第三预设公式为
f(θ)=θ(1+K1θ2+K2θ4+K3θ6+K4θ8)-θd
其中,θ用于表示所述入射角,f(θ)用于表示θ的一元高阶函数,K1为第一预设值、K2为第二预设值、K3为第三预设值、K4为第四预设值,K1、K2、K3、K4为所述鱼眼相机预标定得到的畸变参数。
在一种可能的实现方式中,所述根据所述折射角,通过预设函数求解所述目标点通过所述鱼眼相机时的入射角包括:
设定求解范围为[low,up],初始化low=0,
执行判断步骤,所述判断步骤包括令mid=(up+low)/2,判断f(mid)×f(low)的关系,若f(mid)×f(low)>0,则令low=mid,若f(mid)×f(low)<0,则令up=mid,其中,up用于表示执行本次判断步骤时的角度最大值,low用于表示执行本次判断步骤时的角度最小值,mid用于表示执行本次判断步骤时的角度最大值与最小值的平均值,f(mid)用于表示将θ=mid代入所述第三预设公式,f(low)用于表示将θ=low代入所述第三预设公式;
若满足预设的循环条件,则重复执行所述判断步骤,若不满足所述循环条件,则终止所述判断步骤,并将最后一次执行所述判断步骤后得到的mid作为所述入射角的值,其中,所述循环条件为完成本次判断步骤后up与low的差值绝对值大于等于预设角度值。
在一种可能的实现方式中,所述根据所述入射角、所述折射角和所述成像畸变坐标,确定所述成像未畸变坐标包括:
根据第四预设公式确定所述成像未畸变坐标,所述第四预设公式为
其中,(x0,y0)用于表示所述成像未畸变坐标在所述成像平面坐标系的坐标。
在一种可能的实现方式中,所述将所述目标点在所述成像平面坐标系中的成像未畸变坐标转换至所述像素坐标系中,得到无畸变的目标坐标包括:
根据第五预设公式确定所述目标坐标,所述第五预设公式为
其中,(ux,uy)用于表示所述目标坐标在所述像素坐标系的坐标,(x0,y0)用于表示所述成像未畸变坐标在所述成像平面坐标系的坐标,(cx,cy)用于表示所述鱼眼相机的主点在所述像素坐标系的坐标,fx和fy用于表示所述鱼眼相机的焦距,cx、cy、fx、fy由所述鱼眼相机预标定的内部参数获得。在一种可能的实现方式中,所述根据所述目标坐标、所述鱼眼相机预标定的内部参数和外部参数,求解所述目标点在所述世界坐标系中的坐标值包括:
根据第六预设公式计算所述目标点在所述世界坐标系中的坐标值,所述第六预设公式为
其中,Pw用于表示所述目标点在所述世界坐标系中的坐标矩阵,ux用于表示所述目标坐标在所述像素坐标系x轴的坐标值,uy用于表示所述目标坐标在所述像素坐标系y轴的坐标值,R和T用于表示所述鱼眼相机预标定的外部参数矩阵,R-1用于表示R的逆矩阵,s用于表示预设比例参数,K用于表示所述鱼眼相机的内部参数矩阵,K-1用于表示K的逆矩阵。
在一种可能的实现方式中,所述目标点的确定方法包括:
通过预设置的目标识别模型,对所述鱼眼相机采集到的图像进行识别,得到识别结果,所述识别结果为包含目标的目标框;
将所述目标框的下底边的任一点作为所述目标点。
第二方面,本申请提供了一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上第一方面可能的实现方式所述方法的步骤。
本申请实施例通过获取代表识别目标的目标点在成像平面坐标系中畸变状态下的坐标值,结合鱼眼相机成像的折射角和入射角得到修正后的相机未发生畸变状态下的坐标值,映射到像素坐标系中得到相机未发生畸变状态下在像素坐标系中的目标坐标,结合鱼眼相机的内部参数和外部参数,得到该目标点在代表真实世界的世界坐标系中的坐标值,根据该目标点在世界坐标系中的坐标值,确定车辆与目标的距离。通过本发明实施例提供的方法,提高了基于鱼眼相机的测距精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的鱼眼相机测距方法的实现流程图;
图2是本申请实施例提供的世界坐标系、相机坐标系、成像平面坐标系和像素坐标系的映射关系图;
图3是本申请实施例提供的一种目标点确定方法的示意图;
图4是本申请实施例提供的鱼眼相机的相机坐标系和成像平面坐标系映射关系示意图;
图5是本申请实施例提供的鱼眼相机测距装置的结构示意图;
图6是本申请实施例提供的终端的示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图通过具体实施例来进行说明。
参见图1,其示出了本申请实施例提供的鱼眼相机测距方法的实现流程图,详述如下:
在步骤101中、根据鱼眼相机拍摄的图像,获取目标点在像素坐标系中的坐标,以及鱼眼相机的主点在像素坐标系中预标定的坐标,目标点用于表示鱼眼相机识别到的目标。
在本发明实施例中,预先定义世界坐标系、相机坐标系、成像平面坐标系和像素坐标系。图2是本申请实施例提供的世界坐标系、相机坐标系、成像平面坐标系和像素坐标系的映射关系图,结合图2,本发明实施例中,预先定义四个坐标系,分别为世界坐标系Ow-XwYwZw,相机坐标系OcXcYcZc,成像平面坐标系o′-xy,像素坐标系o-uv。
设置世界坐标系是为了统一描述真实三维世界中物体的位置,包括相机的位置、目标的位置等。
相机坐标系是空间三维信息与二维图像信息之间的媒介。如图2所示,Zc轴为相机的光轴,Zc轴正方向沿相机光轴向外,XcOcYc平面垂直于相机光轴,Xc平行于成像平面坐标系的x轴,Yc平行于成像平面坐标系的y轴。
在本发明实施例中,为使计算简单,世界坐标系的设定规则为:获取经过相机的安装点且垂直于地面的垂线,将垂线与地面的交点作为世界坐标系的原点Ow,将垂线作为世界坐标系的Zw轴,Zw轴正方向向上,世界坐标系的XwOwYw平面与Zw轴垂直。
成像平面坐标系用于描述特征点在图像平面上的位置坐标,坐标单位一般为毫米。如图2所示,成像平面坐标系是在图像平面上建立二维坐标系,坐标原点o′为相机坐标系中Zc轴与图像平面的交点,x轴、y轴分别平行于相机坐标系中的Xc轴、Yc轴。成像平面坐标系的原点o′与相机坐标系的原点Oc之间的距离为相机的焦距f。
相机采集的图像一般为二维数字图像,以像素矩阵的形式存储,每个元素为该像素的图像灰度值。成像平面坐标系用于描述图像点在图像平面的位置坐标,像素坐标系描述该点在像素矩阵中的位置。如图2所示,像素坐标系建立在图像平面上,坐标原点o建立在图像平面的左上角,u轴平行于成像平面坐标系的x轴,v轴平行于成像平面坐标系的y轴。
对于世界坐标系中的一个点到其对应在图像平面的映射点的像素坐标,这之间的变换包括三个变换过程,依次为:世界坐标系至相机坐标系的变换,相机坐标系到成像平面坐标系的变换,成像平面坐标系到像素坐标系的变换。
其中,结合图2,相机坐标系与成像平面坐标系仅存在一个比例关系,相机的焦距是其唯一的影响因素,成像平面坐标系到像素坐标系的变换仅与像素在成像平面坐标系的x轴方向的物理尺寸和像素在成像平面坐标系的y轴方向的物理尺寸相关。对于某一个确定的相机,该相机的焦距f、像素在成像平面坐标系的x轴方向的物理尺寸和像素在成像平面坐标系的y轴方向的物理尺寸是固定的。
上述四个坐标系的设定,仅为本发明实施例提供的一种示例。任何基于本发明实施例构思预先定义的四个坐标系,都在本发明实施例的保护范围内。
当四个坐标系设定完成后,四个坐标系之间的映射关系唯一确定。
在预先构建完成四个坐标系之后,在鱼眼相机识别到的图像中,确定用于表示识别到的目标的目标点。确定该目标点在像素坐标系中的坐标。
在一种可选的实现方式中,目标点的确定方法包括:通过预设置的目标识别模型,对鱼眼相机采集到的图像进行识别,得到识别结果,识别结果为包含目标的目标框;将所述目标框的下底边的任一点作为所述目标点。
图3是本发明实施例提供的一种目标点确定方法示意图,结合图3,获取鱼眼相机实时采集到的图像,得到鱼眼相机的原始图像。可选的,为提高处理效率,降低计算量,可以将原始图像进行缩放,如缩放为768×384,提高运行效率。将缩放后的图像输入预设置的目标识别模型,如目标识别模型为神经网络模型,通过目标识别模型对图像中的目标进行识别,得到目标的目标框,如图3所示。
将目标框下底边线段AB上的任一点作为目标点,优选的,将下底边线段AB的中心点C作为目标点。
在本发明实施例中,将目标点在像素坐标系中的坐标记为(x1,y1),将鱼眼相机的主点在像素坐标系中预标定的坐标标记为(cx,cy)。(cx,cy)由鱼眼相机预标定的内部参数确定。
在步骤102中、根据目标点在像素坐标系中的坐标,以及鱼眼相机的主点在像素坐标系中预标定的坐标,得到目标点在成像平面坐标系中的成像畸变坐标。
其中,成像畸变坐标为鱼眼相机发生畸变状态下目标点在成像平面坐标系中的坐标。
在一种可选的实现方式中,将目标点在像素坐标系x轴的坐标值减去鱼眼相机的主点在像素坐标系x轴的坐标值得到的差值,除以鱼眼相机在x轴的焦距,得到成像畸变坐标在成像平面坐标系x轴的坐标值;将目标点在像素坐标系y轴的坐标值减去鱼眼相机的主点在像素坐标系y轴的坐标值得到的差值,除以鱼眼相机在y轴的焦距,得到成像畸变坐标在成像平面坐标系y轴的坐标值。
在一种可选的实现方式中,根据第一预设公式计算目标点在成像平面坐标系中的成像畸变坐标,第一预设公式为
其中,(x′,y′)用于表示所述成像畸变坐标在所述成像平面坐标系下的坐标,(u′,v′)用于表示所述目标点在所述像素坐标系下的坐标,(cx,cy)用于表示所述鱼眼相机的主点在所述像素坐标系的坐标,fx和fy用于表示所述鱼眼相机的焦距,cx、cy、fx、fy由所述鱼眼相机预标定的内部参数获得。
其中,所述鱼眼相机的主点为鱼眼相机的主光轴与像平面的交点。
在步骤103中、根据目标点在成像平面坐标系中的成像畸变坐标确定目标点在成像平面坐标系中的成像未畸变坐标。
其中,成像未畸变坐标为鱼眼相机没有发生畸变状态下目标点在成像平面坐标系中的坐标。
在一种可选的实现方式中,对鱼眼相机进行畸变校正,得到校正后目标点在成像平面坐标系中的坐标,即鱼眼相机没有发生畸变状态下目标点在成像平面坐标系中的坐标。
本发明实施例不对鱼眼相机的畸变校正方法进行限定。
在一种可选的实现方式中,根据成像畸变坐标,计算目标点通过鱼眼相机时的畸变后的折射角;根据折射角,通过预设函数求解目标点通过鱼眼相机时的入射角,预设函数用于表示折射角和入射角的函数关系;根据入射角、折射角和成像畸变坐标,确定成像未畸变坐标。
图4是本申请实施例提供的鱼眼相机的相机坐标系和成像平面坐标系映射关系示意图。例如,目标点在相机坐标系Oc-XcYcZc中对应点P,θ是目标点P的入射角,θd是畸变后的等效折射角,P′(x′,y′)为发生畸变后的坐标,对应步骤102中的成像畸变坐标。P0(x0,y0)为没有发生畸变的坐标,对应本步骤中的成像未畸变坐标。
结合图4,O′P′=rd,O′P0=r。
由于鱼眼相机畸变与焦距无关,取f=1,结合几何关系,
考虑到鱼眼相机的成像CCD(charge coupled device,电耦合器件)平面尺寸一般都是几毫米,焦距在几百毫米左右,所以相机实际成像过程中θd是比较小的,所以tanθd≈θd。
基于此,在一种可选的实现方式中,通过第二预设公式计算折射角,第二预设公式为
其中,θd用于表示折射角,且x′用于表示成像畸变坐标中x轴坐标,y′用于表示成像畸变坐标中y轴坐标。
入射角θ一般为锐角,所以定义范围为根据等距投影公式以及泰勒展开式,近似得到第三预设公式,通过第三预设公式表示预设函数,第三预设公式为
f(θ)=θ(1+K1θ2+K2θ4+K3θ6+K4θ8)-θd
其中,θ用于表示入射角,f(θ)用于表示θ的一元高阶函数,K1为第一预设值、K2为第二预设值、K3为第三预设值、K4为第四预设值,K1、K2、K3、K4为所述鱼眼相机预标定得到的畸变参数。
在一种可选的实现方式中,设定求解范围为[low,up],初始化low=0,执行判断步骤,判断步骤包括mid=(up+low)/2,判断f(mid)×f(low)的关系,若f(mid)×f(low)>0,则令low=mid,若f(mid)×f(low)<0,则令up=mid,其中,up用于表示执行本次判断步骤时的角度最大值,low用于表示执行本次判断步骤时的角度最小值,mid用于表示执行本次判断步骤时的角度最大值与最小值的平均值,f(mid)用于表示将θ=mid代入第三预设公式,f(low)用于表示将θ=low代入第三预设公式;若满足预设的循环条件,则重复执行判断步骤,若不满足循环条件,则终止判断步骤,并将最后一次执行判断步骤后得到的mid作为入射角的值,其中,循环条件为完成本次判断步骤后up与low的差值绝对值大于等于预设角度值。
预设角度范围为则low的初始值和up的初始值分别为0和/>
在一个具体的实例中,循环条件中的预设角度值为0.01°,则循环条件为|up-low|≥0.01°。
首次执行判断步骤,令low=0, 判断f(mid)×f(low)的关系,若f(mid)×f(low)>0,则令/>若f(mid)×f(low)<0,则令/>
以若f(mid)×f(low)>0,则令为例,首次判断步骤执行完成后,满足循环条件,则再次执行判断步骤,直至不满足循环条件,将最后一次执行判断步骤后得到的mid作为入射角θ的值。
根据第三预设公式可知,鱼眼相机的畸变与相机的焦距f无关,因此f取多少都可以,在一种可选的实现方式中,令f=1,此时,结合图4,rd=d。
结合图4,根据相似三角形,可得:
基于此,在一种可选的实现方式中,根据第四预设公式确定成像未畸变坐标,第四预设公式为
其中,(x0,y0)用于表示所述成像未畸变坐标在所述成像平面坐标系的坐标。
在步骤104中、将目标点在成像平面坐标系中的成像未畸变坐标转换至像素坐标系中,得到无畸变的目标坐标。
当成像未畸变坐标P0(x0,y0)确定后,根据成像平面坐标系和像素坐标系之间的唯一映射关系,将成像未畸变坐标转换至像素坐标系中,得到像素坐标系中的目标坐标。
在一种可选的实现方式中,根据第五预设公式确定目标坐标,第五预设公式为
其中,(ux,uy)用于表示所述目标坐标在所述像素坐标系的坐标,(x0,y0)用于表示所述成像未畸变坐标在所述成像平面坐标系的坐标,(cx,cy)用于表示所述鱼眼相机的主点在所述像素坐标系的坐标,fx和fy用于表示所述鱼眼相机的焦距,cx、cy、fx、fy由所述鱼眼相机预标定的内部参数获得。
在步骤105中、根据目标坐标、鱼眼相机预标定的内部参数和外部参数,求解目标点在世界坐标系中的坐标值。
其中,外部参数用于表示世界坐标系与相机坐标系之间的转换关系。内部参数包括预标定的内部参数,包括cx、cy、fx和fy。
由于四个坐标系定义完成后,四个坐标系之间的映射关系唯一确定。像素坐标系中的一点,可唯一映射到世界坐标系中的一点。
在一种可选的实现方式中,根据第六预设公式计算目标点在世界坐标系中的坐标值,第六预设公式为
其中,Pw用于表示目标点在世界坐标系中的坐标矩阵,ux用于表示目标坐标在像素坐标系x轴的坐标值,uy用于表示目标坐标在像素坐标系y轴的坐标值,R和T用于表示鱼眼相机预标定的外部参数矩阵,R-1用于表示R的逆矩阵,s用于表示预设比例参数,K用于表示鱼眼相机的内部参数矩阵,K-1用于表示K的逆矩阵。
其中,s为目标点在相机坐标系中z轴方向的值。
在步骤106中、根据目标点在世界坐标系中的坐标值,确定车辆与目标点的距离。
在步骤105中,Pw用于表示目标点在世界坐标系中的坐标矩阵,包括目标点在世界坐标系中三个轴的坐标值。由于世界坐标系是用于统一描述真实三维世界中物体的位置,因此,得到目标点在世界坐标系中的坐标,即代表了目标点在真实世界中的位置。
在一种可选的实现方式中,一个点在世界坐标系中x轴值的绝对值用于表示与车辆的横向距离,横向距离用于表示目标距离侧面车身的垂直距离,例如,本发明实施例中的鱼眼相机应用于车辆的BSD(Blind-Spot-Detection,盲区检测系统),安装于车辆的侧面,则目标在世界坐标系中x轴值的绝对值为距离车身侧面的距离。在本发明实施例中,一个点在世界坐标系中y轴值的绝对值用于表示与车辆的纵向距离,纵向距离用于表示目标距离车头或车位的垂直距离,例如,本发明实施例中的鱼眼相机安装于车辆的车头位置,则目标在世界坐标系中y轴值的绝对值为距离车头的距离。
在另一种可选的实现方式中,一个点在世界坐标系中x轴值的绝对值用于表示与车辆的纵向距离,一个点在世界坐标系中y轴值的绝对值用于表示与车辆的横向距离。
本发明实施例对此不作限定。
在本发明实施例中,若鱼眼相机安装在车辆侧面,则横向距离为目标距离,若解析得到的目标距离小于预设定的制动距离,则触发制动;若鱼眼相机安装在车辆的车头位置,则纵向距离为目标距离,若解析得到的目标距离小于预设定的制动距离,则触发制动。可选的,横向距离与纵向距离所对应的预设定的制动距离可以相同,也可以不同,依据实际应用场景进行设定,本发明实施例对此不作限定。
本申请实施例通过获取代表识别目标的目标点在成像平面坐标系中畸变状态下的坐标值,结合鱼眼相机成像的折射角和入射角得到修正后的相机未发生畸变状态下的坐标值,映射到像素坐标系中得到相机未发生畸变状态下在像素坐标系中的目标坐标,结合鱼眼相机的内部参数和外部参数,得到该目标点在代表真实世界的世界坐标系中的坐标值,根据该目标点在世界坐标系中的坐标值,确定车辆与目标的距离。通过本发明实施例提供的方法,提高了基于鱼眼相机的测距精度。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
以下为本申请的装置实施例,对于其中未详尽描述的细节,可以参考上述对应的方法实施例。
图5示出了本申请实施例提供的鱼眼相机测距装置的结构示意图,为了便于说明,仅示出了与本申请实施例相关的部分,详述如下:
如图5所示,鱼眼相机测距装置5包括:第一确定模块51、第二确定模块52、第三确定模块53、第四确定模块54、解析模块55和距离确定模块56;
第一确定模块51,用于根据鱼眼相机拍摄的图像,获取目标点在像素坐标系中的坐标,以及鱼眼相机的主点在像素坐标系中预标定的坐标,目标点用于表示鱼眼相机识别到的目标;
第二确定模块52,用于根据目标点在像素坐标系中的坐标,以及鱼眼相机的主点在像素坐标系中预标定的坐标,得到目标点在成像平面坐标系中的成像畸变坐标;
第三确定模块53,用于根据目标点在成像平面坐标系中的成像畸变坐标确定目标点在成像平面坐标系中的成像未畸变坐标;
第四确定模块54,用于将目标点在成像平面坐标系中的成像未畸变坐标转换至像素坐标系中,得到无畸变的目标坐标;
解析模块55,用于根据目标坐标、鱼眼相机预标定的内部参数和外部参数,求解目标点在世界坐标系中的坐标值;
距离确定模块56,用于根据目标点在世界坐标系中的坐标值,确定车辆与目标点的距离。
本申请实施例通过获取代表识别目标的目标点在成像平面坐标系中畸变状态下的坐标值,结合鱼眼相机成像的入射角和折射角得到修正后的相机未发生畸变状态下的坐标值,映射到像素坐标系中得到相机未发生畸变状态下在像素坐标系中的目标坐标,结合鱼眼相机的内部参数和外部参数,得到该目标点在代表真实世界的世界坐标系中的坐标值,根据该目标点在世界坐标系中的坐标值,确定车辆与目标的距离。通过本发明实施例提供的方法,提高了基于鱼眼相机的测距精度。
在一种可能的实现方式中,第二确定模块52,用于根据第一预设公式计算目标点在成像平面坐标系中的成像畸变坐标,第一预设公式为
其中,(x′,y′)用于表示所述成像畸变坐标在所述成像平面坐标系下的坐标,(u′,v′)用于表示所述目标点在所述像素坐标系下的坐标,(cx,cy)用于表示所述鱼眼相机的主点在所述像素坐标系的坐标,fx和fy用于表示所述鱼眼相机的焦距,cx、cy、fx、fy由所述鱼眼相机预标定的内部参数获得。
在一种可能的实现方式中,第三确定模块53,用于根据成像畸变坐标和鱼眼相机的焦距,计算目标点通过鱼眼相机时的畸变后的折射角;
根据折射角,通过预设函数求解目标点通过鱼眼相机时的入射角,预设函数用于表示折射角和入射角的函数关系;
根据入射角、折射角和成像畸变坐标,确定成像未畸变坐标。
在一种可能的实现方式中,第三确定模块53还用于:通过第二预设公式计算折射角,第二预设公式为
其中,θd用于表示折射角,(x′,y′)用于表示所述成像畸变坐标在所述成像平面坐标系下的坐标,;
通过第三预设公式表示预设函数,第三预设公式为
f(θ)=θ(1+K1θ2+K2θ4+K3θ6+K4θ8)-θd
其中,θ用于表示入射角,f(θ)用于表示θ的一元高阶函数,K1为第一预设值、K2为第二预设值、K3为第三预设值、K4为第四预设值,K1、K2、K3、K4为所述鱼眼相机预标定得到的畸变参数。
在一种可能的实现方式中,第三确定模块53还用于:
设定求解范围为[low,up],初始化low=0,执行判断步骤,判断步骤包括令mid=(up+low)/2,判断f(mid)×f(low)的关系,若f(mid)×f(low)>0,则令low=mid,若f(mid)×f(low)<0,则令up=mid,其中,up用于表示执行本次判断步骤时的角度最大值,low用于表示执行本次判断步骤时的角度最小值,mid用于表示执行本次判断步骤时的角度最大值与最小值的平均值,f(mid)用于表示将θ=mid代入第三预设公式,f(low)用于表示将θ=low代入第三预设公式;
若满足预设的循环条件,则重复执行判断步骤,若不满足循环条件,则终止判断步骤,并将最后一次执行判断步骤后得到的mid作为入射角的值,其中,循环条件为完成本次判断步骤后up与low的差值绝对值大于等于预设角度值。
在一种可能的实现方式中,第三确定模块53还用于:
根据第四预设公式确定成像未畸变坐标,第四预设公式为
其中,(x0,y0)用于表示所述成像未畸变坐标在所述成像平面坐标系的坐标。
在一种可能的实现方式中,第四确定模块54还用于:
根据第五预设公式确定目标坐标,第五预设公式为
其中,(ux,uy)用于表示所述目标坐标在所述像素坐标系的坐标,(x0,y0)用于表示所述成像未畸变坐标在所述成像平面坐标系的坐标,(cx,cy)用于表示所述鱼眼相机的主点在所述像素坐标系的坐标,fx和fy用于表示所述鱼眼相机的焦距,cx、cy、fx、fy由所述鱼眼相机预标定的内部参数获得。在一种可能的实现方式中,解析模块55用于:
根据第六预设公式计算目标点在世界坐标系中的坐标值,第六预设公式为
其中,Pw用于表示目标点在世界坐标系中的坐标矩阵,ux用于表示目标坐标在像素坐标系x轴的坐标值,uy用于表示目标坐标在像素坐标系y轴的坐标值,R和T用于表示鱼眼相机预标定的外部参数矩阵,R-1用于表示R的逆矩阵,s用于表示预设比例参数,K用于表示鱼眼相机的内部参数矩阵,K-1用于表示K的逆矩阵。
在一种可能的实现方式中,第一确定模块51用于:
通过预设置的目标识别模型,对鱼眼相机采集到的图像进行识别,得到识别结果,识别结果为包含目标的目标框;
将所述目标框的下底边的任一点作为所述目标点。
本申请实施例还提供了一种计算机程序产品,其具有程序代码,该程序代码在相应的处理器、控制器、计算装置或终端中运行时执行上述任一个鱼眼相机测距方法实施例中的步骤,例如图X所示的步骤鱼眼相机测距方法至步骤鱼眼相机测距方法。本领域技术人员应当理解,可以以硬件、软件、固件、专用处理器或其组合的各种形式来实现本申请实施例所提出的方法和所属的设备。专用处理器可以包括专用集成电路(ASIC)、精简指令集计算机(RISC)和/或现场可编程门阵列(FPGA)。所提出的方法和设备优选地被实现为硬件和软件的组合。该软件优选地作为应用程序安装在程序存储设备上。其典型地是基于具有硬件的计算机平台的机器,例如一个或多个中央处理器(CPU)、随机存取存储器(RAM)和一个或多个输入/输出(I/O)接口。操作系统典型地也安装在所述计算机平台上。这里描述的各种过程和功能可以是应用程序的一部分,或者其一部分可以通过操作系统执行。
图6是本申请实施例提供的终端的示意图。如图6所示,该实施例的终端6包括:处理器60、存储器61以及存储在所述存储器61中并可在所述处理器60上运行的计算机程序62。所述处理器60执行所述计算机程序62时实现上述各个鱼眼相机测距方法实施例中的步骤,例如图1所示的步骤101至步骤106。或者,所述处理器60执行所述计算机程序62时实现上述各装置实施例中各模块/单元的功能,例如图5所示模块/单元51至56的功能。
示例性的,所述计算机程序62可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器61中,并由所述处理器60执行,以完成/实施本申请所提供的方案。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序62在所述终端6中的执行过程。例如,所述计算机程序62可以被分割成图5所示的模块/单元51至56。
所述终端6可以是车载终端。所述终端6可包括,但不仅限于,处理器60、存储器61。本领域技术人员可以理解,图6仅仅是终端6的示例,并不构成对终端6的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端还可以包括输入输出设备、网络接入设备、总线等。
所称处理器60可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器61可以是所述终端6的内部存储单元,例如终端6的硬盘或内存。所述存储器61也可以是所述终端6的外部存储设备,例如所述终端6上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器61还可以既包括所述终端6的内部存储单元也包括外部存储设备。所述存储器61用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述存储器61还可以用于暂时地存储已经输出或者将要输出的数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中,应该理解到,所揭露的装置/终端和方法,可以通过其它的方式实现。例如,以上所描述的装置/终端实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个鱼眼相机测距方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括是电载波信号和电信信号。
此外,本申请附图中示出的实施例或本说明书中提到的各种实施例的特征不必理解为彼此独立的实施例。而是,可以将一个实施例的其中一个示例中描述的每个特征与来自其他实施例的个或多个其他期望的特征组合,从而产生未用文字或参考附图描述的其他实施例。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。
Claims (10)
1.一种鱼眼相机测距方法,其特征在于,鱼眼相机在车辆上的安装位置固定,预先定义世界坐标系、相机坐标系、成像平面坐标系和像素坐标系,包括:
根据所述鱼眼相机拍摄的图像,获取目标点在所述像素坐标系中的坐标,以及所述鱼眼相机的主点在所述像素坐标系中预标定的坐标,所述目标点用于表示所述鱼眼相机识别到的目标;
根据所述目标点在所述像素坐标系中的坐标,以及所述鱼眼相机的主点在所述像素坐标系中预标定的坐标,得到所述目标点在所述成像平面坐标系中的成像畸变坐标;
根据所述目标点在所述成像平面坐标系中的成像畸变坐标确定所述目标点在所述成像平面坐标系中的成像未畸变坐标;
将所述目标点在所述成像平面坐标系中的成像未畸变坐标转换至所述像素坐标系中,得到无畸变的目标坐标;
根据所述目标坐标、所述鱼眼相机预标定的内部参数和外部参数,求解所述目标点在所述世界坐标系中的坐标值;
根据所述目标点在所述世界坐标系中的坐标值,确定所述车辆与所述目标点的距离。
2.根据权利要求1所述的方法,其特征在于,所述根据所述目标点在所述像素坐标系中的坐标,以及所述鱼眼相机的主点在所述像素坐标系中预标定的坐标,得到所述目标点在所述成像平面坐标系中的成像畸变坐标包括:
根据第一预设公式计算所述目标点在所述成像平面坐标系中的成像畸变坐标,所述第一预设公式为
其中,(x′,y′)用于表示所述成像畸变坐标在所述成像平面坐标系下的坐标,(u′,v′)用于表示所述目标点在所述像素坐标系下的坐标,(cx,cy)用于表示所述鱼眼相机的主点在所述像素坐标系的坐标,fx和fy用于表示所述鱼眼相机的焦距,cx、cy、fx、fy由所述鱼眼相机预标定的内部参数获得。
3.根据权利要求1所述的方法,其特征在于,所述根据所述目标点在所述成像平面坐标系中的成像畸变坐标确定所述目标点在所述成像平面坐标系中的成像未畸变坐标包括:
根据所述成像畸变坐标,计算所述目标点通过所述鱼眼相机时的畸变后的折射角;
根据所述折射角,通过预设函数求解所述目标点通过所述鱼眼相机时的入射角,所述预设函数用于表示所述折射角和所述入射角的函数关系;
根据所述入射角、所述折射角和所述成像畸变坐标,确定所述成像未畸变坐标。
4.根据权利要求3所述的方法,其特征在于,所述根据所述成像畸变坐标和所述鱼眼相机的焦距,计算所述目标点通过所述鱼眼相机时的畸变后的折射角包括:
通过第二预设公式计算所述折射角,所述第二预设公式为
其中,θd用于表示所述折射角,(z′,y′)用于表示所述成像畸变坐标在所述成像平面坐标系下的坐标;
通过第三预设公式表示所述预设函数,所述第三预设公式为f(θ)=(1+K1θ2+2θ4+3θ6+4θ8)-d
其中,θ用于表示所述入射角,f(θ)用于表示θ的一元高阶函数,K1为第一预设值、K2为第二预设值、K3为第三预设值、K4为第四预设值,K1、K2、K3、K4为所述鱼眼相机预标定得到的畸变参数。
5.根据权利要求4所述的方法,其特征在于,所述根据所述折射角,通过预设函数求解所述目标点通过所述鱼眼相机时的入射角包括:
设定求解范围为[low,up],初始化low=0,
执行判断步骤,所述判断步骤包括令mid=(up+low)/2,判断f(mid)×f(low)的关系,若f(mid)×f(low)>0,则令low=mid,若f(mid)×f(low)<0,则令up=mid,其中,up用于表示执行本次判断步骤时的角度最大值,low用于表示执行本次判断步骤时的角度最小值,mid用于表示执行本次判断步骤时的角度最大值与最小值的平均值,f(mid)用于表示将θ=mid代入所述第三预设公式,f(low)用于表示将θ=low代入所述第三预设公式;
若满足预设的循环条件,则重复执行所述判断步骤,若不满足所述循环条件,则终止所述判断步骤,并将最后一次执行所述判断步骤后得到的mid作为所述入射角的值,其中,所述循环条件为完成本次判断步骤后up与low的差值绝对值大于等于预设角度值。
6.根据权利要求4所述的方法,其特征在于,所述根据所述入射角、所述折射角和所述成像畸变坐标,确定所述成像未畸变坐标包括:
根据第四预设公式确定所述成像未畸变坐标,所述第四预设公式为
其中,(x0,y0)用于表示所述成像未畸变坐标在所述成像平面坐标系的坐标。
7.根据权利要求1所述的方法,其特征在于,所述将所述目标点在所述成像平面坐标系中的成像未畸变坐标转换至所述像素坐标系中,得到无畸变的目标坐标包括:
根据第五预设公式确定所述目标坐标,所述第五预设公式为
其中,(ux,uy)用于表示所述目标坐标在所述像素坐标系的坐标,(x0,y0)用于表示所述成像未畸变坐标在所述成像平面坐标系的坐标,(cx,cy)用于表示所述鱼眼相机的主点在所述像素坐标系的坐标,fx和fy用于表示所述鱼眼相机的焦距,cx、cy、fx、fy由所述鱼眼相机预标定的内部参数获得。
8.根据权利要求1至7任一项所述的方法,其特征在于,所述根据所述目标坐标、所述鱼眼相机预标定的内部参数和外部参数,求解所述目标点在所述世界坐标系中的坐标值包括:
根据第六预设公式计算所述目标点在所述世界坐标系中的坐标值,所述第六预设公式为
其中,Pw用于表示所述目标点在所述世界坐标系中的坐标矩阵,ux用于表示所述目标坐标在所述像素坐标系x轴的坐标值,uy用于表示所述目标坐标在所述像素坐标系y轴的坐标值,R和T用于表示所述鱼眼相机预标定的外部参数矩阵,R-1用于表示R的逆矩阵,s用于表示预设比例参数,K用于表示所述鱼眼相机的内部参数矩阵,K-1用于表示K的逆矩阵。
9.根据权利要求1至7任一项所述的方法,其特征在于,所述目标点的确定方法包括:
通过预设置的目标识别模型,对所述鱼眼相机采集到的图像进行识别,得到识别结果,所述识别结果为包含目标的目标框;
将所述目标框的下底边的任一点作为所述目标点。
10.一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如上的权利要求1至9中任一项所述鱼眼相机测距方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310547037.5A CN116630401A (zh) | 2023-05-15 | 2023-05-15 | 鱼眼相机测距方法及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310547037.5A CN116630401A (zh) | 2023-05-15 | 2023-05-15 | 鱼眼相机测距方法及终端 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116630401A true CN116630401A (zh) | 2023-08-22 |
Family
ID=87641035
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310547037.5A Pending CN116630401A (zh) | 2023-05-15 | 2023-05-15 | 鱼眼相机测距方法及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116630401A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117405027A (zh) * | 2023-12-12 | 2024-01-16 | 深圳金三立视频科技股份有限公司 | 一种基于单目相机的测距方法及终端 |
-
2023
- 2023-05-15 CN CN202310547037.5A patent/CN116630401A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117405027A (zh) * | 2023-12-12 | 2024-01-16 | 深圳金三立视频科技股份有限公司 | 一种基于单目相机的测距方法及终端 |
CN117405027B (zh) * | 2023-12-12 | 2024-03-19 | 深圳金三立视频科技股份有限公司 | 一种基于单目相机的测距方法及终端 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110163930B (zh) | 车道线生成方法、装置、设备、系统及可读存储介质 | |
CN108805934B (zh) | 一种车载摄像机的外部参数标定方法及装置 | |
CN112348902B (zh) | 路端相机的安装偏差角标定方法、装置及系统 | |
CN109741241B (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
CN110962844B (zh) | 一种车辆航向角修正方法及系统、存储介质及终端 | |
CN110443245B (zh) | 一种非限制场景下的车牌区域的定位方法、装置及设备 | |
CN114067001B (zh) | 车载相机角度标定方法、终端及存储介质 | |
CN110991232B (zh) | 一种车辆位置修正方法及系统、存储介质及终端 | |
CN112927306B (zh) | 拍摄装置的标定方法、装置及终端设备 | |
CN111222417A (zh) | 一种用于提高基于车载图像车道线提取精度的方法及装置 | |
CN116630401A (zh) | 鱼眼相机测距方法及终端 | |
CN115082565A (zh) | 相机标定方法、装置、服务器及介质 | |
CN110197104B (zh) | 基于车辆的测距方法及装置 | |
CN116740681B (zh) | 目标检测方法、装置、车辆和存储介质 | |
CN110827337B (zh) | 确定车载相机的姿态的方法、装置和电子设备 | |
CN115719389A (zh) | 一种相机ipm标定方法及系统 | |
CN113920490A (zh) | 车辆障碍检测方法、装置及设备 | |
CN115063772B (zh) | 一种车辆编队后车检测方法、终端设备及存储介质 | |
US20240095061A1 (en) | Vehicle-onboard computing architecture for sensor alignment | |
CN117746401A (zh) | 姿态识别方法、装置、车载终端、头姿监测系统及介质 | |
CN117091574A (zh) | 机动车目标测距方法、装置及计算机可读存储介质 | |
CN118135191A (zh) | 一种基于单目红外3d目标检测的方法与电子设备 | |
CN118570313A (zh) | 一种车身盲区摄像头标定方法、装置、终端及存储介质 | |
CN115165383A (zh) | 基于视觉的车辆3d检测方法、系统及介质 | |
CN117522745A (zh) | 车载俯视图像生成方法、装置及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |