CN106254844B - 一种全景拼接颜色校正方法 - Google Patents

一种全景拼接颜色校正方法 Download PDF

Info

Publication number
CN106254844B
CN106254844B CN201610723461.0A CN201610723461A CN106254844B CN 106254844 B CN106254844 B CN 106254844B CN 201610723461 A CN201610723461 A CN 201610723461A CN 106254844 B CN106254844 B CN 106254844B
Authority
CN
China
Prior art keywords
msub
mrow
mtd
pixel
passages
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610723461.0A
Other languages
English (en)
Other versions
CN106254844A (zh
Inventor
张恩泽
赖文杰
胡志发
成茵
余黎
果实
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Visionertech Co Ltd
Original Assignee
Chengdu Visionertech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Visionertech Co Ltd filed Critical Chengdu Visionertech Co Ltd
Priority to CN201610723461.0A priority Critical patent/CN106254844B/zh
Publication of CN106254844A publication Critical patent/CN106254844A/zh
Application granted granted Critical
Publication of CN106254844B publication Critical patent/CN106254844B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Abstract

本发明公开了一种全景拼接颜色校正方法，包括以下步骤：步骤(S1)，确定两个原始图像重叠区域的位置；步骤(S2)，对重叠区域的像素点进行筛选；步骤(S3)，利用筛选得到的像素点计算得到两个原始图像在重叠区域对实际场景中同一物体成像的色彩偏差转换参数M；步骤(S4)，利用色彩偏差转换参数M对两个原始图像进行颜色转换。本发明解决了现有技术在对图像拼接缝隙处处理后仍然存在色彩偏差的技术问题，保证在全景拼接时，最终图像不会产生明显色差痕迹。

Description

一种全景拼接颜色校正方法
技术领域
本发明属于图像处理技术领域，尤其涉及一种全景视频拼接中的颜色校正方法。
背景技术
目前，在全景视频拍摄领域，采用一个相机2～6个镜头，或多个相机，或一个相机多次拍摄来获取图像，随后对这一系列图像进行拼接。由于不同场景亮度差异，镜头存在色差，曝光不同等差异的发生，不同图片的亮度无法保证相同，使用这样的图像拼接后得到的全景图像会存在明显的色差。一般地，为了消除拼接缝隙处明显的“痕迹”，一种常见地做法是通过对重叠拼接重叠区域进行融合来减缓两个图像之间地差异变化，但是只对拼缝处进行处理，并不能根本改变两图像之间色彩差异带来地色彩偏差。
发明内容
本发明的目的在于：提供一种全景拼接颜色校正方法，以解决现有技术在对图像拼接缝隙处处理后仍然存在色彩偏差的技术问题，保证在全景拼接时，最终图像不会产生明显色差痕迹。
本发明采用的技术方案如下：
一种全景拼接颜色校正方法，包括以下步骤：
步骤(S1)，确定两个原始图像(选取一个为目标图像，另一个为偏差图像)重叠区域的位置；
步骤(S2)，对重叠区域的像素点进行筛选；
步骤(S3)，利用筛选得到的像素点计算得到两个原始图像在重叠区域对实际场景中同一物体成像的色彩偏差转换参数M；
步骤(S4)，利用色彩偏差转换参数M对两个原始图像进行颜色转换。
进一步的，像素点的筛选方法：
步骤一：对原始图像进行亮度变换得到对应原始图像的亮度图像I；
步骤二：对亮度图像I进行阈值化处理，筛选得到亮度约束条件下的掩模M1；
步骤三：对亮度图像I进行梯度值计算，得到梯度图像G；
步骤四：对梯度图像G进行阈值化处理，得到梯度约束条件下的掩模M2；
步骤五：对掩模M1和掩模M2以及原始图像进行与操作，得到满足条件要求的像素点。
进一步的，亮度约束条件和梯度约束条件：
其中，In为像素点亮度；Gn为像素点梯度。
进一步的，步骤(S4)中，利用色彩偏差转换参数M的颜色转换公式如下：
Sk＝Sk-1×M；
其中：色彩偏差转换参数M为3×3的矩阵：
其中，a00、a11、a22分别为r通道的校正参数，a01、a12、a20分别为g通道的校正参数，a02、a10、a21分别为b通道的校正参数；
Sk为标准图像重合区域像素bgr值，Sk-1为校正图像重合区域像素bgr值，形式如下：
Sn＝[Pnib Pnig Pnir]；
其中：Pnib为第n张图片重合区域第i个像素的b通道的值，
Pnig为第n张图片重合区域第i个像素的g通道的值，
Pnir为第n张图片重合区域第i个像素的r通道的值；
Sn为图像重合区域像素bgr值。
进一步的，色彩偏差转换参数M采用3×3的对角矩阵，分别计算r通道、g通道和b通道的校正参数，校正参数的计算公式为：
其中，γ为校正因子，为重叠区域标准图像第n个通道的像素值，
为重叠区域校正图像第n个通道的像素值，ann为校正参数。
综上所述，由于采用了上述技术方案，本发明的有益效果是：
本发明利用筛选得到的像素点计算得到两个原始图像在重叠区域对相同物体成像的色彩固定差值，计算出两个原始图像的色彩偏差转换参数，进而利用色彩偏差转换参数进行颜色转换，消除了待拼接的图像(即原始图像)之间的色彩差异，保证在全景拼接时，最终图像不会产生明显色差痕迹。
附图说明
图1是本发明全景拼接颜色校正方法的流程图；
图2是本发明全景拼接颜色校正方法的效果示意图。
具体实施方式
本说明书中公开的所有特征，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
下面结合图1～图2对本发明作详细说明。
一种全景拼接颜色校正方法，包括以下步骤：
步骤(S1)，确定两个原始图像(选取一个为目标图像2，另一个为偏差图像1)重叠区域3的位置；
步骤(S2)，对重叠区域3的像素点进行筛选；
步骤(S3)，利用筛选得到的像素点计算得到两个原始图像在重叠区域3对实际场景中同一物体成像的色彩差异，得出色彩固定差值，再通过数学方法的拟合计算得到两个原始图像的色彩偏差转换参数M；
步骤(S4)，利用色彩偏差转换参数M对两个原始图像进行颜色转换。
重合区域的确定：
重合区域的定义为实际场景的区域能够在相邻的镜头上分别成像显示的部分。因为是相同的实际场景，假设两个画面在该区域成像效果一致，故而选择其中一个镜头成像的画面作为原始画面，则另一镜头成像作为偏差后的图像，通过两者在重叠区域的颜色计算即可得到最终的校正参数。重叠区域的范围为最终拼接全景图像的中间区域，并且区域的宽度为全景图像宽度1/50，高度为全景图像同等高度。
重合区域像素的选择：
对于重合区域的像素，我们认为过暗或过亮的区域，图像的边缘区域不能很好地反映色差，所以需满足以下条件，像素点亮度在5～250，像素点梯度大于10，即亮度约束条件和梯度约束条件：
其中，In为像素点亮度；Gn为像素点梯度。
像素点亮度的计算公式：
In＝0.299×Pnr+0.587×Png+0.114×Pnb；
其中，Pnr为像素点r通道的像素值，
Png为像素点g通道的像素值，Pnb0为像素点b通道的像素值。
像素点的梯度值计算公式：
Gn＝|In(i+1)j-n(i-1)j|+Ini(j+1)-ni(j-1)|；
其中，In(i+1)j、In(i-1)j、Ini(j+1)、Ini(j-1)为亮度图像i行j列像素点相邻的四个像素点像素值。
像素点的筛选方法：
步骤一：对原始图像进行亮度变换得到对应原始图像的亮度图像I；
步骤二：对亮度图像I进行阈值化处理，筛选得到亮度约束条件下的掩模M1；
步骤三：对亮度图像I进行梯度值计算，得到梯度图像G；
步骤四：对梯度图像G进行阈值化处理，得到梯度约束条件下的掩模M2；
步骤五：对掩模M1和掩模M2以及原始图像进行与操作，得到满足条件要求的像素点。
针对色彩偏差转换参数的估算，我们提出两种计算方法：
1.最小二乘优化方法
为了综合考虑色彩偏差的影响，我们建立了色彩偏差模型，即对于每个像素值偏差是通过实际值的三个通道综合得到的，故而针对转换后的目标图像的三个通道使用原始图像的三个通道进行转换，只需要通过9个校正参数即可实现。对于9个校正参数的估计，一种方式是采用最小二乘法分别对RGB通道的9个校正参数进行拟合得到色彩偏差转换参数。
步骤(S4)中，利用色彩偏差转换参数M的颜色转换公式如下：
Sk＝Sk-1×M；
其中：色彩偏差转换参数M为3×3的矩阵：
其中，a00、a11、a22分别为r通道的校正参数，a01、a12、a20分别为g通道的校正参数，a02、a10、a21分别为b通道的校正参数；
Sk为标准图像重合区域像素bgr值，Sk-1为校正图像重合区域像素bgr值，形式如下：
Sn＝[Pnib Pnig Pnir]
其中：Pnib为第n张图片重合区域第i个像素的b通道的值，
Pnig为第n张图片重合区域第i个像素的g通道的值，
Pnir为第n张图片重合区域第i个像素的r通道的值；
Sn为图像重合区域像素bgr值。
对于重合区域每个像素都用上述等式，我们使用最小二乘法求色彩偏差转换参数M的数值，得到校正参数。
求解色彩偏差转换参数M的具体过程可以等价为求取超定方程(9元3*N*M阶方程组，重叠区域大小N*M)的最优值，最优值的计算即可通过最小二乘的方法得到。
2.实时校正方法
对于9个色彩校正参数估计因为计算量较大，运算时间稍长。为了达到实时性的要求，我们简化最小二乘的模型，将优化参数变为3个，对校正参数进行实时计算。
色彩偏差转换参数M采用3×3的对角矩阵，分别计算r通道、g通道和b通道的校正参数，校正参数的计算公式为：
其中，γ为校正因子，校正因子选定经验值为2.2，
为重叠区域标准图像第n个通道的像素值，
为重叠区域校正图像第n个通道的像素值，
ann为校正参数。

Claims (3)

1.一种全景拼接颜色校正方法，其特征在于，包括以下步骤：
步骤(S1)，事先指定区域，确定两个原始图像重叠区域的位置；
步骤(S2)，对重叠区域的像素点进行筛选；
步骤(S3)，利用筛选得到的像素点计算得到两个原始图像在重叠区域对实际场景中同一物体成像的色彩偏差转换参数M；
步骤(S4)，利用色彩偏差转换参数M对两个原始图像进行颜色转换；
像素点的筛选方法：
步骤一：对原始图像进行亮度变换得到对应原始图像的亮度图像I；
步骤二：对亮度图像I进行阈值化处理，筛选得到亮度约束条件下的掩模M1；
步骤三：对亮度图像I进行梯度值计算，得到梯度图像G；
步骤四：对梯度图像G进行阈值化处理，得到梯度约束条件下的掩模M2；
步骤五：对掩模M1和掩模M2以及原始图像进行与操作，得到满足条件要求的像素点；
亮度约束条件和梯度约束条件：
<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mo>(</mo> <msub> <mi>I</mi> <mi>n</mi> </msub> <mo>&gt;</mo> <mn>5</mn> <mo>)</mo> <mo>&amp;cap;</mo> <mo>(</mo> <msub> <mi>I</mi> <mi>n</mi> </msub> <mo>&lt;</mo> <mn>250</mn> <mo>)</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>G</mi> <mi>n</mi> </msub> <mo>&gt;</mo> <mn>10</mn> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>
其中，In为像素点亮度；Gn为像素点梯度。
2.如权利要求1所述的一种全景拼接颜色校正方法，其特征在于，步骤(S4)中，利用色彩偏差转换参数M的颜色转换公式如下：
Sk＝Sk-1×M；
其中：色彩偏差转换参数M为3×3的矩阵：
<mrow> <mi>M</mi> <mo>=</mo> <mfenced open = "[" close = "]"> <mtable> <mtr> <mtd> <msub> <mi>a</mi> <mn>00</mn> </msub> </mtd> <mtd> <msub> <mi>a</mi> <mn>01</mn> </msub> </mtd> <mtd> <msub> <mi>a</mi> <mn>02</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>a</mi> <mn>10</mn> </msub> </mtd> <mtd> <msub> <mi>a</mi> <mn>11</mn> </msub> </mtd> <mtd> <msub> <mi>a</mi> <mn>12</mn> </msub> </mtd> </mtr> <mtr> <mtd> <msub> <mi>a</mi> <mn>20</mn> </msub> </mtd> <mtd> <msub> <mi>a</mi> <mn>21</mn> </msub> </mtd> <mtd> <msub> <mi>a</mi> <mn>22</mn> </msub> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>
其中，a00、a11、a22分别为r通道的校正参数，a01、a12、a20分别为g通道的校正参数，a02、a10、a21分别为b通道的校正参数；
Sk为标准图像重合区域像素bgr值，Sk-1为校正图像重合区域像素bgr值，形式如下：
Sn＝[Pnib Pnig Pnir]；
其中：Pnib为第n张图片重合区域第i个像素的b通道的值，
Pnig为第n张图片重合区域第i个像素的g通道的值，
Pnir为第n张图片重合区域第i个像素的r通道的值；
Sn为图像重合区域像素bgr值。
3.如权利要求2所述的一种全景拼接颜色校正方法，其特征在于，色彩偏差转换参数M采用3×3的对角矩阵，分别计算r通道、g通道和b通道的校正参数，校正参数的计算公式为：
<mrow> <msub> <mi>a</mi> <mrow> <mi>n</mi> <mi>n</mi> </mrow> </msub> <mo>=</mo> <mfrac> <mrow> <mi>&amp;Sigma;</mi> <msup> <mrow> <mo>(</mo> <msub> <mi>P</mi> <msub> <mi>S</mi> <mi>k</mi> </msub> </msub> <mo>(</mo> <mi>n</mi> <mo>)</mo> <mo>)</mo> </mrow> <mi>&amp;gamma;</mi> </msup> </mrow> <mrow> <mi>&amp;Sigma;</mi> <msup> <mrow> <mo>(</mo> <msub> <mi>P</mi> <msub> <mi>S</mi> <mrow> <mi>k</mi> <mo>-</mo> <mn>1</mn> </mrow> </msub> </msub> <mo>(</mo> <mi>n</mi> <mo>)</mo> <mo>)</mo> </mrow> <mi>&amp;gamma;</mi> </msup> </mrow> </mfrac> <mo>;</mo> </mrow>
其中，γ为校正因子，为重叠区域标准图像第n个通道的像素值，
为重叠区域校正图像第n个通道的像素值，ann为校正参数。
CN201610723461.0A 2016-08-25 2016-08-25 一种全景拼接颜色校正方法 Active CN106254844B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610723461.0A CN106254844B (zh) 2016-08-25 2016-08-25 一种全景拼接颜色校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610723461.0A CN106254844B (zh) 2016-08-25 2016-08-25 一种全景拼接颜色校正方法

Publications (2)

Publication Number Publication Date
CN106254844A CN106254844A (zh) 2016-12-21
CN106254844B true CN106254844B (zh) 2018-05-22

Family

ID=57594776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610723461.0A Active CN106254844B (zh) 2016-08-25 2016-08-25 一种全景拼接颜色校正方法

Country Status (1)

Country Link
CN (1) CN106254844B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020043342A1 (de) * 2018-08-29 2020-03-05 Robert Bosch Gmbh Verfahren zur anzeige eines modells einer umgebung, steuergerät und fahrzeug

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110009558A (zh) * 2019-01-17 2019-07-12 柳州康云互联科技有限公司 一种简易的图像色彩归一化的办法
CN112950510B (zh) * 2021-03-22 2024-04-02 南京莱斯电子设备有限公司 一种大场景拼接图像色差校正方法
CN113096043B (zh) * 2021-04-09 2023-02-17 杭州睿胜软件有限公司 图像处理方法及装置、电子设备和存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101820550A (zh) * 2009-02-26 2010-09-01 华为终端有限公司 多视点视频图像校正方法、装置及系统
CN102819824A (zh) * 2011-06-10 2012-12-12 三星电子株式会社 用于图像处理的设备和方法
CN104143182A (zh) * 2014-08-05 2014-11-12 乐视致新电子科技（天津）有限公司 一种全景图拼接方法和终端设备
CN104182949A (zh) * 2014-08-18 2014-12-03 武汉大学 基于直方图特征点配准的影像匀色与融合方法及系统
CN104240211A (zh) * 2014-08-06 2014-12-24 中国船舶重工集团公司第七0九研究所 用于视频拼接的图像亮度与色彩均衡方法及系统
CN104992408A (zh) * 2015-06-30 2015-10-21 百度在线网络技术（北京）有限公司 用于用户终端的全景图像生成方法和装置
CN105472272A (zh) * 2015-11-25 2016-04-06 浙江工业大学 基于fpga的多路视频拼接方法及装置
CN105530431A (zh) * 2015-12-16 2016-04-27 景好 一种反射式全景成像系统及方法
CN105827975A (zh) * 2016-04-26 2016-08-03 电子科技大学 一种用于全景视频拼接的颜色在线校正方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7840067B2 (en) * 2003-10-24 2010-11-23 Arcsoft, Inc. Color matching and color correction for images forming a panoramic image

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101820550A (zh) * 2009-02-26 2010-09-01 华为终端有限公司 多视点视频图像校正方法、装置及系统
CN102819824A (zh) * 2011-06-10 2012-12-12 三星电子株式会社 用于图像处理的设备和方法
CN104143182A (zh) * 2014-08-05 2014-11-12 乐视致新电子科技（天津）有限公司 一种全景图拼接方法和终端设备
CN104240211A (zh) * 2014-08-06 2014-12-24 中国船舶重工集团公司第七0九研究所 用于视频拼接的图像亮度与色彩均衡方法及系统
CN104182949A (zh) * 2014-08-18 2014-12-03 武汉大学 基于直方图特征点配准的影像匀色与融合方法及系统
CN104992408A (zh) * 2015-06-30 2015-10-21 百度在线网络技术（北京）有限公司 用于用户终端的全景图像生成方法和装置
CN105472272A (zh) * 2015-11-25 2016-04-06 浙江工业大学 基于fpga的多路视频拼接方法及装置
CN105530431A (zh) * 2015-12-16 2016-04-27 景好 一种反射式全景成像系统及方法
CN105827975A (zh) * 2016-04-26 2016-08-03 电子科技大学 一种用于全景视频拼接的颜色在线校正方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
图像融合中的彩色图像校正;康晨，曾丹，沈洁等;《电子测量技术》;20130315;第37卷(第3期);第54-56页 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020043342A1 (de) * 2018-08-29 2020-03-05 Robert Bosch Gmbh Verfahren zur anzeige eines modells einer umgebung, steuergerät und fahrzeug

Also Published As

Publication number Publication date
CN106254844A (zh) 2016-12-21

Similar Documents

Publication Publication Date Title
US11610082B2 (en) Method and apparatus for training neural network model used for image processing, and storage medium
CN106254844B (zh) 一种全景拼接颜色校正方法
CN104240211B (zh) 用于视频拼接的图像亮度与色彩均衡方法及系统
CN104299215B (zh) 一种特征点标定和匹配的图像拼接方法
JP6437310B2 (ja) 実用のための、ディスプレイシステムの色及び彩度を較正するためのシステム及び方法
CN103329540B (zh) 利用手动和半自动技术校准显示系统的系统和方法
CN101179644B (zh) 图像处理装置和图像处理方法
US20140111605A1 (en) Low-complexity panoramic image and video stitching method
CN111583116A (zh) 基于多摄像机交叉摄影的视频全景拼接融合方法及系统
CN105931186A (zh) 基于相机自动标定和颜色校正的全景视频拼接系统与方法
KR20080014712A (ko) 디스플레이의 형상과 컬러를 자동으로 교정하는 시스템과방법
CN105185314A (zh) Led显示屏均匀性补偿方法
CN103268596B (zh) 一种降低图像噪声和使颜色接近标准的方法
CN108090877A (zh) 一种基于图像序列的rgb-d相机深度图像修复方法
CN107563987A (zh) 标定成像差异的方法及装置
CN111640065B (zh) 基于相机阵列的图像拼接方法、成像装置
CN111107330B (zh) 一种Lab空间的偏色校正方法
CN104486603A (zh) 一种基于hdr成像的多投影颜色校正方法
CN113052765B (zh) 基于最优栅格密度模型的全景图像拼接方法
CN114331835A (zh) 一种基于最优映射矩阵的全景图像拼接方法及装置
KR101310216B1 (ko) 촬영된 영상의 컬러 변환 장치 및 방법
CN104778658A (zh) 一种多投影机投影图像全自动几何拼接校正方法
CN102905077B (zh) 一种图像暗角亮度调节方法及装置
US8194979B2 (en) Method of correcting false-color pixel in digital image
TWI465105B (zh) 立體影像自動校準方法、裝置及其電腦可讀取之記錄媒體

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant