CN111369423A - 基于最小二乘法的yuv域全景鸟瞰图光照均一化处理方法 - Google Patents

基于最小二乘法的yuv域全景鸟瞰图光照均一化处理方法 Download PDF

Info

Publication number
CN111369423A
CN111369423A CN202010080995.2A CN202010080995A CN111369423A CN 111369423 A CN111369423 A CN 111369423A CN 202010080995 A CN202010080995 A CN 202010080995A CN 111369423 A CN111369423 A CN 111369423A
Authority
CN
China
Prior art keywords
aerial view
coefficients
panoramic
bird
panoramic aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010080995.2A
Other languages
English (en)
Inventor
杨嘉琛
刘山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202010080995.2A priority Critical patent/CN111369423A/zh
Publication of CN111369423A publication Critical patent/CN111369423A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G06T3/047—Fisheye or wide-angle transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing

Abstract

本发明涉及一种基于最小二乘法的YUV域全景鸟瞰图光照均一化处理方法，包括下列步骤：第一步：利用六个鱼眼摄像头采集原始鸟瞰图像，然后经过鱼眼畸变校正、鸟瞰变换与图像拼接操作得到RGB域的原始全景鸟瞰图；第二步：将RGB域的原始全景鸟瞰图转换为YUV域的全景鸟瞰图；第三步：在YUV域的全景鸟瞰图中依据边界进行运算区域划分，选用拼接缝两侧的部分像素作为相邻边界区域；第五步：以第一个鸟瞰图为基准，设定和计算待定系数：第六步：将上述得到的系数分别与相应鸟瞰图中Y、U、V数值相乘，得到光照均一化的全景鸟瞰图达到光照均一化的效果。

Description

基于最小二乘法的YUV域全景鸟瞰图光照均一化处理方法
技术领域
本发明属于计算机视觉与图像处理领域，具体涉及一种基于最小二乘法的图像光照均一化处理方法。
背景技术
在无人驾驶逐步实现的潮流中，各种汽车辅助驾驶系统应运而生，它们为安全驾驶提供技术保障。全景鸟瞰系统为汽车辅助驾驶系统的一种技术，利用多个鱼眼摄像头可以采集到车辆周围360度范围内的景象，利用鱼眼去畸变、鸟瞰变换、图像拼接等技术，我们可以将上述不同视点下的鱼眼畸变图像拼接得到同一视点下的一张鸟瞰图像。但是在实际应用中，特别是大型车辆，由于摄像头数量多，且摄像头安装位置、安装姿态各不相同，所以在光照差异较大的情况下，拼接后的图像中很容易出现明显的拼接缝，且各部分有明显的亮度差异。
当今很多高档轿车已经开始普及全景鸟瞰图功能，但是对于上述光照差异的解决方案各不相同，处理效果也不尽如人意。所以，研制一种针对大型车辆，能对拼接图像进行良好的光照均一化处理且可进行实时处理的方法颇具市场价值。
经过专利申请人检索，目前与图像拼接后的光照均一化处理相关的国内发明专利主要集中在光照均一化滤波器[2]，以及根据拼接图象重叠区域的补偿系数进行均一化处理[3]。潘钰华在专利“一种色彩一致性调节方法”(申请号CN201811171735.5)[4]中提出了一种用最小二乘法进行鱼眼相机色彩调节的方法。该专利主要是针对相机的调节系数对相机颜色进行调整，并没有涉及彩色图像拼接的光照均一化过程。
参考文献：
[1]程兵,郑南宁.对环境光照鲁棒的全景图拼接[J].中国图象图形学报,2003,8(2):135-139.
[2]孙晓亮，刘肖琳，尚洋，张小虎，张跃强，专利名称：一种获取光照均一化图像的方法，申请号：CN201210243811.5
[3]向栋，李兵，张志伟，胡锦敏，陈向成，罗杰，专利名称：用于环视辅助泊车的环视光照均一化方法和装置，申请号：CN201811526448.1
[4]潘钰华，专利名称：一种色彩一致性调节方法，申请号：CN201811171735.5
发明内容
本发明的目的在于设计一种有效的光照均一化算法，使其适用于大型车辆的全景鸟瞰系统，达到拼接后的图像拼接缝融合，各部分亮度差异不再过于明显的目的，且算法应具备处理速度快、适用范围广等特点。本发明的技术方案如下：
一种基于最小二乘法的YUV域全景鸟瞰图光照均一化处理方法，包括下列步骤：
第一步：利用六个鱼眼摄像头采集原始鸟瞰图像，然后经过鱼眼畸变校正、鸟瞰变换与图像拼接操作得到RGB域的原始全景鸟瞰图。
第二步：将RGB域的原始全景鸟瞰图转换为YUV域的全景鸟瞰图；
第三步：在YUV域的全景鸟瞰图中依据边界进行运算区域划分，选用拼接缝两侧的部分像素作为相邻边界区域，然后计算下表中的变量：
Figure BDA0002380307130000021
Figure BDA0002380307130000031
第四步：利用上述变量构造如下六个矩阵：
Figure BDA0002380307130000041
Figure BDA0002380307130000042
Figure BDA0002380307130000043
Figure BDA0002380307130000044
Figure BDA0002380307130000045
Figure BDA0002380307130000046
第五步：以第一个鸟瞰图为基准，待定系数b1、b2、b3分别表示第二个鸟瞰图Y、U、V数值要乘的系数，待定系数c1、c2、c3分别表示第三个鸟瞰图Y、U、V数值要乘的系数，待定系数d1、d2、d3分别表示第四个鸟瞰图Y、U、V数值要乘的系数，待定系数e1、e2、e3分别表示第五个鸟瞰图Y、U、V数值要乘的系数，待定系数f1、f2、f3分别表示第六个鸟瞰图Y、U、V数值要乘的系数，进而定义如下三个系数矩阵：
Figure BDA0002380307130000051
Figure BDA0002380307130000052
Figure BDA0002380307130000053
计算上述三个系数矩阵的公式如下：
Yme＝(XmeT·Xme)-1·XmeT·Zme
Yme1＝(Xme1T·Xme1)-1·Xme1T·Zme1
Yme2＝(Xme2T·Xme2)-1·Xme2T·Zme2
第六步：将上述得到的系数分别与相应鸟瞰图中Y、U、V数值相乘，得到光照均一化的全景鸟瞰图达到光照均一化的效果。
本发明基于最小二乘法对YUV域的全景鸟瞰图进行了光照均一化处理，一方面，由于求取处理系数过程中未使用全部像素，所以该算法处理速度快，可以达到实时运行；另一方面，由于该方法与摄像头数量无关，所以当大型车辆需要更多鱼眼摄像头进行环视拼接时，此发明依然适用；另外，本算法将图像从RGB域转换到YUV域再进行操作，可以更有效地解决光照均一化问题。
附图说明
图1拼接后的全景鸟瞰图，红线为标注的拼接缝，全景鸟瞰图可分割为六个拼接前的鸟瞰图。
图2原始全景鸟瞰图
图3光照均一化处理后的全景鸟瞰图
具体实施方式
第一步，利用六个鱼眼摄像头采集原始鸟瞰图像，然后经过去畸变操作、鸟瞰变换操作、图像拼接操作得到RGB域的原始全景鸟瞰图。
第二步，利用RGB到YUV的转换公式，将RGB域的原始全景鸟瞰图转换为YUV域的全景鸟瞰图。
转换公式如下：
①Y＝0.30R+0.59G+0.11B
②U＝0.493(B－Y)
③V＝0.877(R－Y)
第三步，在YUV域的全景鸟瞰图中依据边界进行运算区域划分，选用拼接缝两侧200行50列的像素作为相邻边界区域，然后计算每个相邻边界区域内Y、U、V的均值，变量定义如下表：
Figure BDA0002380307130000061
Figure BDA0002380307130000071
Figure BDA0002380307130000081
第四步，定义如下六个矩阵：
Figure BDA0002380307130000083
Figure BDA0002380307130000084
Figure BDA0002380307130000085
Figure BDA0002380307130000086
Figure BDA0002380307130000091
第五步，以第一个鸟瞰图为基准，待定系数b1、b2、b3分别表示第二个鸟瞰图Y、U、V数值要乘的系数，待定系数c1、c2、c3分别表示第三个鸟瞰图Y、U、V数值要乘的系数，待定系数d1、d2、d3分别表示第四个鸟瞰图Y、U、V数值要乘的系数，待定系数e1、e2、e3分别表示第五个鸟瞰图Y、U、V数值要乘的系数，待定系数f1、f2、f3分别表示第六个鸟瞰图Y、U、V数值要乘的系数。进而定义如下三个系数矩阵：
Figure BDA0002380307130000092
Figure BDA0002380307130000093
Figure BDA0002380307130000094
计算上述三个系数矩阵的公式如下：
Yme＝(XmeT·Xme)-1·XmeT·Zme
Yme1＝(Xme1T·Xme1)-1·Xme1T·Zme1
Yme2＝(Xme2T·Xme2)-1·Xme2T·Zme2
第六步，将上述得到的系数分别与相应鸟瞰图中Y、U、V数值相乘，得到光照均一化的全景鸟瞰图。

Claims (1)

1.一种基于最小二乘法的YUV域全景鸟瞰图光照均一化处理方法，包括下列步骤：
第一步：利用六个鱼眼摄像头采集原始鸟瞰图像，然后经过鱼眼畸变校正、鸟瞰变换与图像拼接操作得到RGB域的原始全景鸟瞰图。
第二步：将RGB域的原始全景鸟瞰图转换为YUV域的全景鸟瞰图；
第三步：在YUV域的全景鸟瞰图中依据边界进行运算区域划分，选用拼接缝两侧的部分像素作为相邻边界区域，然后计算下表中的变量：
Figure FDA0002380307120000011
Figure FDA0002380307120000021
第四步：利用上述变量构造如下六个矩阵：
Figure FDA0002380307120000031
Figure FDA0002380307120000032
Figure FDA0002380307120000033
Figure FDA0002380307120000034
Figure FDA0002380307120000035
Figure FDA0002380307120000036
第五步：以第一个鸟瞰图为基准，待定系数b1、b2、b3分别表示第二个鸟瞰图Y、U、V数值要乘的系数，待定系数c1、c2、c3分别表示第三个鸟瞰图Y、U、V数值要乘的系数，待定系数d1、d2、d3分别表示第四个鸟瞰图Y、U、V数值要乘的系数，待定系数e1、e2、e3分别表示第五个鸟瞰图Y、U、V数值要乘的系数，待定系数f1、f2、f3分别表示第六个鸟瞰图Y、U、V数值要乘的系数，进而定义如下三个系数矩阵：
Figure FDA0002380307120000041
Figure FDA0002380307120000042
Figure FDA0002380307120000043
计算上述三个系数矩阵的公式如下：
Yme＝(XmeT·Xme)-1·XmeT·Zme
Yme1＝(Xme1T·Xme1)-1·Xme1T·Zme1
Yme2＝(Xme2T·Xme2)-1·Xme2T·Zme2
第六步：将上述得到的系数分别与相应鸟瞰图中Y、U、V数值相乘，得到光照均一化的全景鸟瞰图达到光照均一化的效果。
CN202010080995.2A 2020-02-05 2020-02-05 基于最小二乘法的yuv域全景鸟瞰图光照均一化处理方法 Pending CN111369423A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010080995.2A CN111369423A (zh) 2020-02-05 2020-02-05 基于最小二乘法的yuv域全景鸟瞰图光照均一化处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010080995.2A CN111369423A (zh) 2020-02-05 2020-02-05 基于最小二乘法的yuv域全景鸟瞰图光照均一化处理方法

Publications (1)

Publication Number Publication Date
CN111369423A true CN111369423A (zh) 2020-07-03

Family

ID=71207974

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010080995.2A Pending CN111369423A (zh) 2020-02-05 2020-02-05 基于最小二乘法的yuv域全景鸟瞰图光照均一化处理方法

Country Status (1)

Country Link
CN (1) CN111369423A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948398A (zh) * 2017-12-20 2019-06-28 深圳开阳电子股份有限公司 全景泊车的图像处理方法及全景泊车装置
CN110555797A (zh) * 2019-08-01 2019-12-10 天津大学 基于最小二乘法的全景鸟瞰图像光照均一化处理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948398A (zh) * 2017-12-20 2019-06-28 深圳开阳电子股份有限公司 全景泊车的图像处理方法及全景泊车装置
CN110555797A (zh) * 2019-08-01 2019-12-10 天津大学 基于最小二乘法的全景鸟瞰图像光照均一化处理方法

Similar Documents

Publication Publication Date Title
US9482797B2 (en) Pixel array, camera using the same and color processing method based on the pixel array
CN110443771B (zh) 车载环视相机系统中环视图亮度与颜色一致性调整方法
US20220159162A1 (en) Imaging compensation device, imaging compensation method, and application
CN113168669B (zh) 图像处理方法、装置、电子设备及可读存储介质
CN1713742A (zh) 摄像装置
CN108364263B (zh) 一种标清输入高清输出的车载图像处理方法
JP2009177703A (ja) 画像処理方法、画像処理装置及び画像撮像装置
CN106994936A (zh) 一种3d全景泊车辅助系统
CN102280096A (zh) 一种融合图像缩放与颜色空间转换的方法
JP5020792B2 (ja) 合成画像生成装置および合成画像生成方法
JP2007067714A (ja) 画像処理回路およびこれを用いたカメラ装置と車載カメラ装置
CN103747222B (zh) 一种图像假色抑制的方法及装置
CN208021321U (zh) 一种标清输入高清输出的车载环视系统
CN111369423A (zh) 基于最小二乘法的yuv域全景鸟瞰图光照均一化处理方法
CN107330856B (zh) 一种基于投影变换和薄板样条的全景成像方法
CN113052765A (zh) 基于最优栅格密度模型的全景图像拼接方法
CN110555797A (zh) 基于最小二乘法的全景鸟瞰图像光照均一化处理方法
CN104680484A (zh) 一种图像增强的方法及装置
CN113658058A (zh) 一种车载环视系统中的亮度均衡方法及系统
CN101175219B (zh) 色彩插补方法及应用其的图像处理装置
WO2007082289A2 (en) Color filter array with neutral elements and color image formation
CN1929620A (zh) 消除由内插产生的彩色噪声的方法及系统
CN113781317B (zh) 一种全景环视系统的亮度均衡方法
CN114663521A (zh) 一种用于辅助泊车的环视拼接处理方法
CN109523489A (zh) 一种生成俯视无畸变倒车影像的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200703