CN113079275B - 一种基于优化直方图匹配的阵列相机色彩校正方法 - Google Patents

一种基于优化直方图匹配的阵列相机色彩校正方法 Download PDF

Info

Publication number
CN113079275B
CN113079275B CN202010003610.2A CN202010003610A CN113079275B CN 113079275 B CN113079275 B CN 113079275B CN 202010003610 A CN202010003610 A CN 202010003610A CN 113079275 B CN113079275 B CN 113079275B
Authority
CN
China
Prior art keywords
camera
histogram matching
color
curve
corrected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010003610.2A
Other languages
English (en)
Other versions
CN113079275A (zh
Inventor
马展
丁春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202010003610.2A priority Critical patent/CN113079275B/zh
Publication of CN113079275A publication Critical patent/CN113079275A/zh
Application granted granted Critical
Publication of CN113079275B publication Critical patent/CN113079275B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Abstract

本发明公开了一种基于优化直方图匹配的阵列相机色彩校正方法。包括如下步骤：S1，取待校正阵列相机拍摄的当前帧；S2，依次将每一个相机作为目标颜色相机，运用直方图匹配和曲线拟合得到所有相机的色彩映射曲线；S3，将当前场景的所有相机的映射曲线按照相机权重进行加权平均，得到该场景下的全局映射曲线；S4，对阵列相机视频的每一帧在拼接之前运用全局映射曲线进行色彩校正。本发明的方法能够校正多相机视频拼接时相机之间的颜色差异。

Description

一种基于优化直方图匹配的阵列相机色彩校正方法
技术领域
本发明涉及信号处理、计算机视觉等领域，尤其涉及一种基于优化直方图匹配的阵列相机色彩校正方法。
背景技术
随着视频传输能力的提高，近年来多相机全景拼接技术迅速发展，全景拼接相机正在逐步走进大众视野。2016年Facebook推出了它的第一代全景拼接相机surround360，此后不同公司分别推出自己的全景拼接相机，亿级像素实时视频拼接系统也逐渐应用在直播、安防等领域。为了保证多相机之间同步的问题，一般多相机系统采用高质量的工业相机，如surround360采用17个Pointgray相机，这无疑导致较为准确的多相机系统成本昂贵。如何在降低对硬件性能的严格要求的同时保证较好的图像效果，则是多相机拼接中一个重要的研究课题。
在多相机视频拼接中，往往会出现摄像机之间的颜色差异，不仅会影响拼接模型的精度，还会严重降低视觉体验。近年来陆续有图像之间的色彩校正算法被提出，意在实现不同设备拍摄的图像之间的颜色迁移，使得原图像和目标图像的色调风格趋于一致。2001年，Reinhard等(E.Reinhard,M.Adhikhmin,B.Gooch,and P.Shirley,“Colortransferbetween images,”IEEE Comput.Graph.Appl.,vol.21,no.5,pp.34–41,Sep./Oct.2001.)提出了利用图像所有像素的均值和方差限制实现不同图像之间颜色的迁移，Fecker等(U.Fecker,M.Barkowsky,and A.Kaup,“Histogram-based prefilteringforluminance and chrominance compensation of multiview video,”IEEETrans.CircuitsSyst.Video Technol.,vol.18,no.9,pp.1258–1267,Sep.2008)在2008年提出用直方图匹配法解决多相机拍摄的视频之间颜色的差别。这些方法在应用到多相机视频拼接系统里效果并不理想，在许多情况下，目标颜色图像只覆盖图像的重叠区域，而不是整个图像，对于许多参数化方法来说这会引入较大误差。另一方面，由于拼接标定算法的局限性，只能得到重叠区域像素的粗略对应，这对于那些需要精确像素对应的算法来说可能会导致不好的结果。此外，在工程应用中还应考虑计算速度，鲁棒性和色彩变换的帧间常性。
发明内容
鉴于以上现有技术中存在的技术问题，本发明提出了一种基于优化直方图匹配的阵列相机色彩校正方法。
本发明采用的技术方案为：
一种多相机视频拼接的色彩校正方法，包括如下步骤：
S1，取待校正阵列相机的当前帧，获得相机数和相机权重；然后对所有的图像进行编号，保证相邻编号图像之间有足够的重叠区域，运用几何变换对齐并提取出重叠区域；
S2，对于所有N个相机对应的图片，依次将每一个相机作为目标颜色相机，计算所有相机的色彩映射曲线，其中相机校正顺序按照距目标颜色相机的距离由近及远依次进行，每一个校正后的图片作为下一个待校正图片的参考图片；相邻相机的色彩映射曲线在R、G和B通道上分别计算，对于每一个色彩通道，使用阈值将像素值划分为直方图匹配部分和曲线拟合部分；然后对所有像素值运用直方图匹配和边界限制，将直方图匹配部分保留，曲线拟合部分使用曲线拟合方法，最后对整个曲线平滑处理得到最终的映射曲线；其中阈值为直方图从小到大排序后累积直方图的5％对应的像素值；
直方图匹配的方法为：当Cs(u)<Ct(v)<Cs(u+1)时，另map(label,i,c,v)＝u，其中Cs,Ct是参考图像和待校正图像的累积直方图，u,v是参考图像和待校正图像的像素值，map(label,i,c,v)是以第label个相机为目标颜色得到的第i个相机的映射曲线上颜色通道c中像素值v对应的像素值。对边界进行限制的方法为：若校正后图像像素值小于参考图像像素最小值，则修改为参考图像像素最小值，若校正后图像像素值大于参考图像像素最大值，则修改为参考图像像素最大值；
曲线拟合第一步采用曲线拟合部分每个区间前后两个断点作为直线的首尾进行直线连接，其中断点是指直方图大于阈值的像素区间的边界值、0和255在映射曲线上的坐标。第二步运用移动平均滤波器对映射曲线进行平滑处理，滑动窗口宽度设为15；
S3，将所有相机的映射曲线按照相机权重进行加权平均，公式如下：
Figure GDA0003512541040000021
其中
Figure GDA0003512541040000022
为相机权重矩阵，默认权重系数为1/N；最终得到全局映射曲线mapave(i,c,v)；
S4，对阵列相机视频的每一帧在拼接之前运用全局映射曲线进行色彩校正。
本发明通过优化直方图匹配方法寻找相邻图像重叠区域的映射曲线，并对该曲线做一时间和空间上的加权平均，实现各个相机色调组合且帧间恒常的色彩映射曲线。应用多个真实的多相机系统测试了本发明的色彩校正方法，与现有的方法相比，本发明在客观和主观的评价上均取得了良好的效果：客观上，在PSNR等指标上均优于其它算法，主观上，一方面本发明解决了亮斑的问题，鲁棒性更强，另一方面得到的校正后图片颜色最接近参考相机。
经过实验证明，本发明的方法在时间上具有一定的鲁棒性，光线条件变化不大的情况下可以直接使用同一个映射曲线，另外该方法的建模和校正步骤所需时间很短，考虑到校正步骤可以高度并行，因此本发明可以应用到实时相机系统里。
附图说明
图1为本发明计算阵列相机加权平均映射曲线的流程图。
图2为本发明优化直方图匹配(图中及下文简称AHM)方法的流程图。
图3为本发明优化的直方图匹配方法与传统直方图匹配方法的结果比较，(a)(b)、(c)、(d)分别为4个不同场景的效果图，每个场景的两张图分别是：左边传统直方图匹配方法校正效果，右边本发明优化的直方图匹配方法校正效果，每个图中矩形框标出了效果对比明显的部分。
图4为同一个场景下本发明方法与各个传统方法的主观效果比较，每个图的左半边为参考图像，右半边为待校正图像或相应方法校正后图像，其中每个图片右半边所用校正方法分别为：(a)不校正，(b)Rein[1]，(c)GPS[5]，(d)FGPS[5]，(e)3MS，(f)GS[3]，(g)HM[2]，(h)AHM(本发明方法)。
图5为本发明的校正效果展示，(a)校正前，(b)校正后。
具体实施方式
下面结合附图详细描述本发明的技术方案。
本发明的一种基于优化直方图匹配的阵列相机色彩校正方法，包括如下步骤：
S1，取待校正阵列相机的当前帧，记录总帧数k，组成阵列相机的成员相机数N，并根据使用者倾向的相机颜色定义相机权重
Figure GDA0003512541040000031
注意限制
Figure GDA0003512541040000032
输入场景数、相机数N和相机权重，对所有的图像进行编号，保证相邻编号图像之间有足够的重叠区域，运用几何变换对齐并提取出重叠区域。
S2，如图1所示，对于N个相机对应的图片，依次将每一个相机作为目标颜色(label)相机，计算所有相机的色彩映射曲线，其中相机校正顺序按照距离目标颜色相机的距离由近及远依次进行，其中每一个校正后的图片作为下一个待校正图片的参考图片，相邻相机的色彩映射曲线在R,G,B通道上分别计算。
对于相邻图像的每一个色彩通道，使用本发明的AHM方法计算映射曲线。如图2所示，首先使用阈值Th将像素值划分为直方图匹配部分和曲线拟合部分。其中阈值Th为直方图从小到大排序后累积直方图的5％对应的像素值。其余各个步骤详细操作如下：
直方图匹配部分：当Cs(u)<Ct(v)<Cs(u+1)时，另map(label,i,c,v)＝u，其中Cs,Ct是参考图像和待校正图像的累积直方图，u,v是参考图像和待校正图像的像素值，map(label,i,c,v)是以第label个相机为目标颜色得到的第i个相机的映射曲线上颜色通道c中像素值v对应的像素值。
边界限制部分：对边界进行限制：若校正后图像像素值小于参考图像像素最小值，则修改为参考图像像素最小值，若校正后图像像素值大于参考图像像素最大值，则修改为参考图像像素最大值。
线性拟合部分：采用该区间前后两个断点作为直线的首尾进行直线连接，其中断点是指直方图大于Th的像素区间的边界值、0和255在映射曲线上的坐标。
平滑处理部分：运用曲线平滑方法对映射曲线进行平滑处理，平滑参数设为15。
S3，将所有相机的映射曲线使用公
Figure GDA0003512541040000041
Figure GDA0003512541040000042
进行加权平均。其中
Figure GDA0003512541040000044
为相机权重矩阵，默认权重系数为1/N。最终得到该场景下的全局映射曲线共N个map。
S4，对阵列相机视频的每一帧在拼接之前运用全局映射曲线进行色彩校正。
图3(a)(b)(c)(d)是本发明的方法与传统直方图匹配方法的对比，每张图片的左边为直方图匹配方法，右边为本发明的方法，可见本发明的方法解决了直方图匹配算法易出现色块和鲁棒性不强的问题。
图4、图5和表1是本发明的方法与现有的6种色彩校正算法的对比数据和效果图，本发明的方法主观上取得了最接近参考相机颜色的效果，客观上在每个指标上也取得了最好的效果。
表1为本发明方法与各个传统方法的客观值比较。
Figure GDA0003512541040000043
表1中的各参考文献如下：
[1]Reinhard E,Adhikhmin M,Gooch B,et al.Color transfer between images[J].IEEE Computer graphics and applications,2001,21(5):34-41.
[2]Fecker U,Barkowsky M,Kaup A.Histogram-based prefiltering forluminance and chrominance compensation of multiview video[J].IEEETransactions on Circuits and Systems for Video Technology,2008,18(9):1258-1267.
[3]Grogan M,Dahyot R.Robust registration of gaussian mixtures forcolour transfer[J].arXiv preprint arXiv:1705.06091,2017.
[4]Faridul H,Stauder J,Kervec J,et al.Approximate cross channel colormapping from sparse color correspondences[C]//Proceedings of the IEEEInternational Conference on Computer Vision Workshops.2013:860-867.
[5]Bellavia F,Colombo C.Dissecting and reassembling color correctionalgorithms for image stitching[J].IEEE Transactions on Image Processing,2017,27(2):735-748.

Claims (5)

1.一种基于优化直方图匹配的阵列相机色彩校正方法，其特征在于，包括如下步骤：
步骤S1，取待校正阵列相机拍摄的当前帧，对所有的图像进行编号，保证相邻编号图像之间有足够的重叠区域，运用几何变换对齐并提取出重叠区域；
步骤S2，对于所有N个相机对应的图片，依次将每一个相机作为目标颜色相机，计算所有相机的色彩映射曲线，其中相机校正顺序按照距目标颜色相机的距离由近及远依次进行，每一个校正后的图片作为下一个待校正图片的参考图片；相邻相机的色彩映射曲线在R、G和B通道上分别计算，对于每一个色彩通道，使用阈值将像素值划分为直方图匹配部分和曲线拟合部分；然后对所有像素值运用直方图匹配和边界限制，将直方图匹配部分保留，曲线拟合部分使用曲线拟合方法，最后对整个曲线平滑处理得到最终的映射曲线；其中，所述直方图匹配的具体方法为：当Cs(u)<Ct(v)<Cs(u+1)时，令map(label,i,c,v)＝u，其中Cs、Ct是参考图像和待校正图像的累计直方图，u、v是参考图像和待校正图像的像素值，map(label,i,c,v)是以第label个相机为目标颜色得到的第i个相机的映射曲线上颜色通道c中像素值v对应的像素值；所述边界限制的具体方法为：若像素值map(label,i,c,v)小于参考图像像素最小值，则将像素值map(label,i,c,v)修改为参考图像像素最小值，若像素值map(label,i,c,v)大于参考图像像素最大值，则修改为参考图像像素最大值；
步骤S3，将所有相机的映射曲线按照相机权重进行加权平均，得到全局映射曲线；加权平均的具体公式如下：
Figure FDA0003520541410000011
其中
Figure FDA0003520541410000012
为第label个相机的权重，需满足
Figure FDA0003520541410000013
默认每个相机的权重均为1/N，N为相机总数，mapave(i,c,v)为全局映射曲线；
步骤S4，对待校正阵列相机视频的每一帧在拼接之前运用全局映射曲线进行色彩校正。
2.根据权利要求1所述的一种基于优化直方图匹配的阵列相机色彩校正方法，其特征在于，所述步骤S2中，阈值具体为：直方图按像素数递增重新排序后重叠区域总像素数的5％在重排后累积直方图上对应的像素值。
3.根据权利要求1所述的一种基于优化直方图匹配的阵列相机色彩校正方法，其特征在于，所述步骤S2中，使用阈值将像素值划分为直方图匹配部分和曲线拟合部分的具体方法为：对于1～254之间的像素值，若对应的像素数小于阈值，该像素值划分为曲线拟合部分，否则划分为直方图匹配部分，0和255划分为直方图匹配部分。
4.根据权利要求1所述的一种基于优化直方图匹配的阵列相机色彩校正方法，其特征在于，所述步骤S2中，曲线拟合的具体方法为：规定曲线拟合部分相邻像素值属于同一个区间，以每个区间前后两个断点作为直线的首尾进行直线连接，其中断点是指直方图匹配部分与曲线拟合部分的分界点以及0和255在映射曲线上的坐标。
5.根据权利要求1所述的一种基于优化直方图匹配的阵列相机色彩校正方法，其特征在于，所述步骤S2中，曲线平滑的具体方法为，使用移动平均滤波器对曲线进行平滑处理，滑动窗口宽度设为15。
CN202010003610.2A 2020-01-03 2020-01-03 一种基于优化直方图匹配的阵列相机色彩校正方法 Active CN113079275B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010003610.2A CN113079275B (zh) 2020-01-03 2020-01-03 一种基于优化直方图匹配的阵列相机色彩校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010003610.2A CN113079275B (zh) 2020-01-03 2020-01-03 一种基于优化直方图匹配的阵列相机色彩校正方法

Publications (2)

Publication Number Publication Date
CN113079275A CN113079275A (zh) 2021-07-06
CN113079275B true CN113079275B (zh) 2022-05-17

Family

ID=76608630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010003610.2A Active CN113079275B (zh) 2020-01-03 2020-01-03 一种基于优化直方图匹配的阵列相机色彩校正方法

Country Status (1)

Country Link
CN (1) CN113079275B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102937454A (zh) * 2012-11-13 2013-02-20 航天恒星科技有限公司 一种全反射光学拼接相机的能量补偿与色差消除方法
CN105931186A (zh) * 2016-04-26 2016-09-07 电子科技大学 基于相机自动标定和颜色校正的全景视频拼接系统与方法
CN109690610A (zh) * 2016-09-19 2019-04-26 高通股份有限公司 用于多相机系统的颜色归一化

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112012004641T5 (de) * 2011-11-07 2014-08-28 Magna Electronics, Inc. Fahrzeugsichtsystem mit Farbkorrektur
US9105078B2 (en) * 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102937454A (zh) * 2012-11-13 2013-02-20 航天恒星科技有限公司 一种全反射光学拼接相机的能量补偿与色差消除方法
CN105931186A (zh) * 2016-04-26 2016-09-07 电子科技大学 基于相机自动标定和颜色校正的全景视频拼接系统与方法
CN109690610A (zh) * 2016-09-19 2019-04-26 高通股份有限公司 用于多相机系统的颜色归一化

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Color Correction Based on Histogram Matching and Polynomial Regression for Image Stitching;Huiqian Niu et al.;《2018 IEEE 3rd International Conference on Image, Vision and Computing (ICIVC)》;20181018;全文 *
Color correction in image stitching using histogram specification and global mapping;Qi-Chong Tian et al.;《2016 Sixth International Conference on Image Processing Theory, Tools and Applications (IPTA)》;20171219;全文 *
Performance evaluation of color correction approaches for automatic multi-view image and video stitching;Wei Xu et al.;《2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition》;20100805;全文 *
基于梯度区域分割的拼接图像颜色校正;王静 等;《计算机工程与设计》;20160531;第37卷(第5期);全文 *

Also Published As

Publication number Publication date
CN113079275A (zh) 2021-07-06

Similar Documents

Publication Publication Date Title
US20110080466A1 (en) Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images
US20060153450A1 (en) Integrated image processor
Niu et al. Image quality assessment for color correction based on color contrast similarity and color value difference
Gao et al. Sand-dust image restoration based on reversing the blue channel prior
CN107580186B (zh) 一种基于缝合线时空优化的双摄像机全景视频拼接方法
CN111489346B (zh) 一种全参考图像质量评价方法及系统
CN108961299B (zh) 一种前景图像获得方法及装置
CN108965647B (zh) 一种前景图像获得方法及装置
CN105046708A (zh) 一种与主观感知相一致的颜色校正客观评估方法
CN101179745A (zh) 一种多视点图像的预处理方法
Niu et al. Color correction based on histogram matching and polynomial regression for image stitching
Faridul et al. Approximate cross channel color mapping from sparse color correspondences
CN114640881A (zh) 视频帧对齐方法、装置、终端设备及计算机可读存储介质
Liu et al. Photometric alignment for surround view camera system
CN102223545B (zh) 一种快速多视点视频颜色校正方法
CN104038752B (zh) 基于三维高斯混合模型的多视点视频直方图颜色校正
KR20110130845A (ko) 영상을 깊이에 따라 계층별로 분리하여 히스토그램 매칭을 하는 다시점 영상의 조명보상 방법 및 그 기록매체
CN111491149A (zh) 基于高清视频的实时抠像方法、装置、设备及存储介质
CN114331835A (zh) 一种基于最优映射矩阵的全景图像拼接方法及装置
KR101402185B1 (ko) 색상 성분 보정을 위한 특징점 기반 다시점 비디오의 전처리 방법
CN110430400B (zh) 一种双目可运动摄像机的地平面区域检测方法
Nur Yilmaz A no reference depth perception assessment metric for 3D video
CN113079275B (zh) 一种基于优化直方图匹配的阵列相机色彩校正方法
CN109672874B (zh) 一种时空一致的立体视频颜色校正方法
Yu et al. A hybrid color matching between stereo image sequences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant