CN114037615A - 一种自适应全景图像增强方法及装置 - Google Patents
一种自适应全景图像增强方法及装置 Download PDFInfo
- Publication number
- CN114037615A CN114037615A CN202111030310.4A CN202111030310A CN114037615A CN 114037615 A CN114037615 A CN 114037615A CN 202111030310 A CN202111030310 A CN 202111030310A CN 114037615 A CN114037615 A CN 114037615A
- Authority
- CN
- China
- Prior art keywords
- image
- brightness
- calculating
- panoramic
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000002146 bilateral effect Effects 0.000 claims abstract description 30
- 238000001914 filtration Methods 0.000 claims abstract description 30
- 238000004364 calculation method Methods 0.000 claims description 27
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 5
- 230000005764 inhibitory process Effects 0.000 abstract description 4
- 238000005282 brightening Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种自适应全景图像增强方法及装置,涉及数字图像处理技术领域,包括获取输入全景图像的亮度图像,输入用RGB颜色空间表示的全景图像,将全景图像从RGB空间转换到可获得图像亮度的空间,获得亮度图像;基于亮度图像计算局部校正掩膜图像;利用双边滤波方法计算局部校正掩膜图像;基于亮度图像的像素值概率统计和局部校正掩膜图像计算Gamma校正的指数;根据Gamma校正的指数计算增强后全景图像。本发明实现全景边缘拼合的均衡和完整;同时通过双边滤波和Gamma校正实现全景图像中高光抑制和暗光增强的效果。
Description
技术领域
本发明涉及一种数字图像处理技术,尤其涉及一种自适应全景图像增强方法及装置。
背景技术
全景图像是通过专业全景相机所采集的360°全空间图像,由于全记录的特性,全景图像在房产、汽车、文旅等领域得到越来越多的关注和应用。然而,正是因为“全”的特性,导致全景设备捕获空间图像时,在同一全景图像内会同时存在高光区域和暗光区域。考虑到一旦出现高光溢出则无法恢复信息,拍摄全景图像时,通常会降低曝光参数拍摄图像,后期再通过暗部增强算法恢复暗部信息。
图像增强算法分为两大类,即全局增强和局部增强算法。由于全局增强算法会同时增强高光和暗光区域,在获得暗光区域细节的同时,扩大了高光的数值及范围,导致高光细节的丢失,因此对于全景图像而言不适用。局部增强算法则很好地满足了高光区域降暗、暗光区域提亮的目的,局部增强算法依据像素点邻域信息,同一亮度值可获得不同输出值,并且输出值的相对亮度关系不变。
现有技术存在的主要问题如下:
(1)、在全景图像的场景下,对于全景图像的边缘拼接处的明暗一致问题;
对于局部增强方法中的基于像素的Gamma增强方法,其基于邻域信息评估当前像素值的校正值,而普通图像的边缘计算窗口设计会导致全景图像的边缘区域计算出错,从而导致全景图像在全景播放器中播放时,出现明暗不一致的问题。
(2)、场景无法自适应问题:
现有的基于像素的Gamma增强方法Gamma的指数一般为固定值,不能根据场景情况自适应增强程度。
因此,亟需解决上述问题。
发明内容
发明目的:本发明的第一目的是提供一种自适应全景图像增强方法,该方法可实现全景边缘拼合的均衡和完整;同时通过双边滤波和Gamma校正实现全景图像中高光抑制和暗光增强的效果。
本发明的第二目的是提供一种自适应全景图像增强装置,该装置可实现全景边缘拼合的均衡和完整;同时通过双边滤波和Gamma校正实现全景图像中高光抑制和暗光增强的效果。
技术方案:为实现以上目的,本发明公开一种自适应全景图像增强方法,包括如下步骤:
(1)、获取输入全景图像的亮度图像,输入用RGB颜色空间表示的全景图像,将全景图像从RGB空间转换到可获得图像亮度的空间,获得亮度图像;
(2)、基于亮度图像计算局部校正掩膜图像;利用双边滤波方法计算局部校正掩膜图像;
(3)、基于亮度图像的像素值概率统计和局部校正掩膜图像计算Gamma校正的指数;
(4)、根据Gamma校正的指数计算增强后全景图像。
其中,所述步骤(1)中获得亮度图像的具体步骤包括:将全景图像从RGB空间转换到YUV空间,获得亮度图像,记亮度图像为L,转换公式如下:
L=0.299×R+0.587×G+0.114×B;
或者将全景图像从RGB空间转换到HSV空间,获得亮度图像,记亮度图像为L。
优选的,所述步骤(2)中计算局部校正掩膜图像的具体方法包括如下步骤:
(2.1)、扩充亮度图像边界:
设置双边滤波窗口半径为K,亮度图像的宽和高分别为W、H,扩充后亮度图像记为Lenlarge,其宽高分别为W+2×K、H+2×K,则
式中,(i,j)表示像素坐标;将Lenlarge的顶部和底部高为K的区域填充0;
(2.2)、对扩充亮度图像进行取反操作:
Lenlarge_=255-Lenlarge
(2.3)、利用双边滤波核对Lenlarge_进行双边滤波:
式中,C为归一化系数,(r,c)表示滤波窗口内像素坐标,σ1为空域高斯函数标准差,σ2为亮度域高斯函数标准差;
(2.4)、掩膜图像计算
式中,Lmask即为计算得到的局部掩膜图像。
再者,所述步骤(3)中计算Gamma校正的指数的具体方法包括如下步骤:
计算Gamma校正的指数,Gamma校正的指数为γ;
式中,pa的大小影响增强后图像的整体亮度,pa取值范围为120~140,α的大小影响增强程度,α通过计算亮度图像的概率统计计算得到,
式中,Imean表示亮度图像的均值,p表示每个像素值出现的概率,α值越大,图像被增强的程度越大。
进一步,所述步骤(4)中计算增强后全景图像的具体公式为:
本发明一种自适应全景图像增强装置,包括亮度图像获取模块,用于获取用RGB颜色空间表示的全景图像,将全景图像从RGB空间转换到可获得图像亮度的空间,获得亮度图像并输出;
掩膜图像计算模块,用于接收亮度图像,基于亮度图像利用双边滤波方法计算局部校正掩膜图像并输出;
校正指数计算模块,用于接收局部校正掩膜图像和亮度图像,并基于亮度图像的像素值概率统计和局部校正掩膜图像计算Gamma校正的指数并输出;
增强图像计算模块,用于接收Gamma校正的指数,并根据校正指数计算增强后全景图像。
优选的,所述亮度图像获取模块获得亮度图像的具体步骤包括:将全景图像从RGB空间转换到YUV空间,获得亮度图像,记亮度图像为L,转换公式如下:
L=0.299×R+0.587×G+0.114×B;
或者将全景图像从RGB空间转换到HSV空间,获得亮度图像,记亮度图像为L。
再者,所述掩膜图像计算模块中计算局部校正掩膜图像的具体方法包括如下步骤:
(2.1)、扩充亮度图像边界:
设置双边滤波窗口半径为K,亮度图像的宽和高分别为W、H,扩充后亮度图像记为Lenlarge,其宽高分别为W+2×K、H+2×K,则
式中,(i,j)表示像素坐标;将Lenlarge的顶部和底部高为K的区域填充0;
(2.2)、对扩充亮度图像进行取反操作:
Lenlarge_=255-Lenlarge
(2.3)、利用双边滤波核对Lenlarge_进行双边滤波:
式中,C为归一化系数,(r,c)表示滤波窗口内像素坐标,σ1为空域高斯函数标准差,σ2为亮度域高斯函数标准差;
(2.4)、掩膜图像计算
式中,Lmask即为计算得到的局部掩膜图像。
进一步,所述校正指数计算模块中计算Gamma校正的指数的具体方法包括如下步骤:
计算Gamma校正的指数,Gamma校正的指数为γ;
式中,pa的大小影响增强后图像的整体亮度,pa取值范围为120~140,α的大小影响增强程度,α通过计算亮度图像的概率统计计算得到,
式中,Imean表示亮度图像的均值,p表示每个像素值出现的概率,α值越大,图像被增强的程度越大。
优选的,所述增强图像计算模块中计算增强后全景图像的具体公式为:
有益效果:与现有技术相比,本发明具有以下显著优点:本发明利用全景图像的特性获取带扩充边界的亮度图像,再对扩充后图像进行双边滤波处理,再提取出掩膜图像,基于亮度图像的像素值概率统计和局部校正掩膜图像计算Gamma校正的指数,最后根据校正指数计算增强后全景图像;从而实现全景边缘拼合的均衡和完整;同时通过双边滤波和Gamma校正实现全景图像中高光抑制和暗光增强的效果。
附图说明
图1为本发明的流程示意图;
图2为本发明中计算局部校正掩膜图像的流程示意图;
图3为本发明实施例中原始全景图像;
图4为本发明实施例中增强后的全景图像。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
如图1和图2所示,一种自适应全景图像增强方法,包括如下步骤:
(1)、获取输入全景图像的亮度图像,输入用RGB颜色空间表示的全景图像,将全景图像从RGB空间转换到可获得图像亮度的空间,获得亮度图像;
其中获得亮度图像的具体步骤包括:将全景图像从RGB空间转换到YUV空间,获得亮度图像,记亮度图像为L,转换公式如下:
L=0.299×R+0.587×G+0.114×B;
或者将全景图像从RGB空间转换到HSV空间,获得亮度图像,记亮度图像为L;
(2)、基于亮度图像计算局部校正掩膜图像;利用双边滤波方法计算局部校正掩膜图像;
其中计算局部校正掩膜图像的具体方法包括如下步骤:
(2.1)、扩充亮度图像边界:
设置双边滤波窗口半径为K,亮度图像的宽和高分别为W、H,扩充后亮度图像记为Lenlarge,其宽高分别为W+2×K、H+2×K,则
式中,(i,j)表示像素坐标;将Lenlarge的顶部和底部高为K的区域填充0;
(2.2)、对扩充亮度图像进行取反操作:
Lenlarge_=255-Lenlarge
(2.3)、利用双边滤波核对Lenlarge_进行双边滤波:
式中,C为归一化系数,(r,c)表示滤波窗口内像素坐标,σ1为空域高斯函数标准差,σ2为亮度域高斯函数标准差;
(2.4)、掩膜图像计算
式中,Lmask即为计算得到的局部掩膜图像;
(3)、基于亮度图像的像素值概率统计和局部校正掩膜图像计算Gamma校正的指数;
其中计算Gamma校正的指数的具体方法包括如下步骤:
计算Gamma校正的指数,Gamma校正的指数为γ;
式中,pa的大小影响增强后图像的整体亮度,pa取值范围为120~140,α的大小影响增强程度,α通过计算亮度图像的概率统计计算得到,
式中,Imean表示亮度图像的均值,p表示每个像素值出现的概率,α值越大,图像被增强的程度越大;
(4)、根据校正指数计算增强后全景图像,其中计算增强后全景图像的具体公式为:
本发明一种自适应全景图像增强装置,包括亮度图像获取模块,用于获取用RGB颜色空间表示的全景图像,将全景图像从RGB空间转换到可获得图像亮度的空间,获得亮度图像并输出;亮度图像获取模块获得亮度图像的具体步骤包括:将全景图像从RGB空间转换到YUV空间,获得亮度图像,记亮度图像为L,转换公式如下:
L=0.299×R+0.587×G+0.114×B;
或者将全景图像从RGB空间转换到HSV空间,获得亮度图像,记亮度图像为L;
掩膜图像计算模块,用于接收亮度图像,基于亮度图像利用双边滤波方法计算局部校正掩膜图像并输出;掩膜图像计算模块中计算局部校正掩膜图像的具体方法包括如下步骤:
(2.1)、扩充亮度图像边界:
设置双边滤波窗口半径为K,亮度图像的宽和高分别为W、H,扩充后亮度图像记为Lenlarge,其宽高分别为W+2×K、H+2×K,则
式中,(i,j)表示像素坐标;将Lenlarge的顶部和底部高为K的区域填充0;
(2.2)、对扩充亮度图像进行取反操作:
Lenlarge_=255-Lenlarge
(2.3)、利用双边滤波核对Lenlarge_进行双边滤波:
式中,C为归一化系数,(r,c)表示滤波窗口内像素坐标,σ1为空域高斯函数标准差,σ2为亮度域高斯函数标准差;
(2.4)、掩膜图像计算
式中,Lmask即为计算得到的局部掩膜图像;
校正指数计算模块,用于接收局部校正掩膜图像和亮度图像,并基于亮度图像的像素值概率统计和局部校正掩膜图像计算Gamma校正的指数并输出;校正指数计算模块中计算Gamma校正的指数的具体方法包括如下步骤:
计算Gamma校正的指数,Gamma校正的指数为γ;
式中,pa的大小影响增强后图像的整体亮度,pa取值范围为120~140,α的大小影响增强程度,α通过计算亮度图像的概率统计计算得到,
式中,Imean表示亮度图像的均值,p表示每个像素值出现的概率,α值越大,图像被增强的程度越大;
增强图像计算模块,用于接收Gamma校正的指数,并根据校正指数计算增强后全景图像;增强图像计算模块中计算增强后全景图像的具体公式为:
图3为原始全景图像,利用本发明的一种自适应全景图像增强方法及装置进行处理后看得到增强后的全景图像,如图4所示,同时实现全景图像中高光抑制和暗光增强的效果。
Claims (10)
1.一种自适应全景图像增强方法,其特征在于,包括如下步骤:
(1)、获取输入全景图像的亮度图像,输入用RGB颜色空间表示的全景图像,将全景图像从RGB空间转换到可获得图像亮度的空间,获得亮度图像;
(2)、基于亮度图像计算局部校正掩膜图像;利用双边滤波方法计算局部校正掩膜图像;
(3)、基于亮度图像的像素值概率统计和局部校正掩膜图像计算Gamma校正的指数;
(4)、根据Gamma校正的指数计算增强后全景图像。
2.根据权利要求1所述的一种自适应全景图像增强方法及装置,其特征在于:所述步骤(1)中获得亮度图像的具体步骤包括:将全景图像从RGB空间转换到YUV空间,获得亮度图像,记亮度图像为L,转换公式如下:
L=0.299×R+0.587×G+0.114×B;
或者将全景图像从RGB空间转换到HSV空间,获得亮度图像,记亮度图像为L。
3.根据权利要求2所述的一种自适应全景图像增强方法及装置,其特征在于:所述步骤(2)中计算局部校正掩膜图像的具体方法包括如下步骤:
(2.1)、扩充亮度图像边界:
设置双边滤波窗口半径为K,亮度图像的宽和高分别为W、H,扩充后亮度图像记为Lenlarge,其宽高分别为W+2×K、H+2×K,则
式中,(i,j)表示像素坐标;将Lenlarge的顶部和底部高为K的区域填充0;
(2.2)、对扩充亮度图像进行取反操作:
Lenlarge_=255-Lenlarge
(2.3)、利用双边滤波核对Lenlarge_进行双边滤波:
式中,C为归一化系数,(r,c)表示滤波窗口内像素坐标,σ1为空域高斯函数标准差,σ2为亮度域高斯函数标准差;
(2.4)、掩膜图像计算
式中,Lmask即为计算得到的局部掩膜图像。
6.一种自适应全景图像增强装置,其特征在于:包括亮度图像获取模块,用于获取用RGB颜色空间表示的全景图像,将全景图像从RGB空间转换到可获得图像亮度的空间,获得亮度图像并输出;
掩膜图像计算模块,用于接收亮度图像,基于亮度图像利用双边滤波方法计算局部校正掩膜图像并输出;
校正指数计算模块,用于接收局部校正掩膜图像和亮度图像,并基于亮度图像的像素值概率统计和局部校正掩膜图像计算Gamma校正的指数并输出;
增强图像计算模块,用于接收Gamma校正的指数,并根据校正指数计算增强后全景图像。
7.根据权利要求6所述的自适应全景图像增强装置,其特征在于:所述亮度图像获取模块获得亮度图像的具体步骤包括:将全景图像从RGB空间转换到YUV空间,获得亮度图像,记亮度图像为L,转换公式如下:
L=0.299×R+0.587×G+0.114×B;
或者将全景图像从RGB空间转换到HSV空间,获得亮度图像,记亮度图像为L。
8.根据权利要求7所述的自适应全景图像增强装置,其特征在于:所述掩膜图像计算模块中计算局部校正掩膜图像的具体方法包括如下步骤:
(2.1)、扩充亮度图像边界:
设置双边滤波窗口半径为K,亮度图像的宽和高分别为W、H,扩充后亮度图像记为Lenlarge,其宽高分别为W+2×K、H+2×K,则
式中,(i,j)表示像素坐标;将Lenlarge的顶部和底部高为K的区域填充0;
(2.2)、对扩充亮度图像进行取反操作:
Lenlarge_=255-Lenlarge
(2.3)、利用双边滤波核对Lenlarge_进行双边滤波:
式中,C为归一化系数,(r,c)表示滤波窗口内像素坐标,σ1为空域高斯函数标准差,σ2为亮度域高斯函数标准差;
(2.4)、掩膜图像计算:
式中,Lmask即为计算得到的局部掩膜图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111030310.4A CN114037615A (zh) | 2021-09-03 | 2021-09-03 | 一种自适应全景图像增强方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111030310.4A CN114037615A (zh) | 2021-09-03 | 2021-09-03 | 一种自适应全景图像增强方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114037615A true CN114037615A (zh) | 2022-02-11 |
Family
ID=80139998
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111030310.4A Pending CN114037615A (zh) | 2021-09-03 | 2021-09-03 | 一种自适应全景图像增强方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114037615A (zh) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070279500A1 (en) * | 2006-06-05 | 2007-12-06 | Stmicroelectronics S.R.L. | Method for correcting a digital image |
US20160267631A1 (en) * | 2015-03-10 | 2016-09-15 | Via Technologies, Inc. | Adaptive contrast enhancement apparatus and method |
CN109493291A (zh) * | 2018-10-29 | 2019-03-19 | 南京邮电大学 | 一种自适应伽马校正的彩色图像对比度增强方法 |
CN109919861A (zh) * | 2019-01-29 | 2019-06-21 | 浙江数链科技有限公司 | 红外图像增强方法、装置、计算机设备和存储介质 |
-
2021
- 2021-09-03 CN CN202111030310.4A patent/CN114037615A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070279500A1 (en) * | 2006-06-05 | 2007-12-06 | Stmicroelectronics S.R.L. | Method for correcting a digital image |
US20160267631A1 (en) * | 2015-03-10 | 2016-09-15 | Via Technologies, Inc. | Adaptive contrast enhancement apparatus and method |
CN109493291A (zh) * | 2018-10-29 | 2019-03-19 | 南京邮电大学 | 一种自适应伽马校正的彩色图像对比度增强方法 |
CN109919861A (zh) * | 2019-01-29 | 2019-06-21 | 浙江数链科技有限公司 | 红外图像增强方法、装置、计算机设备和存储介质 |
Non-Patent Citations (2)
Title |
---|
段峰等: "《机器人工程技术丛书 智能机器人开发与实践》", 31 May 2021, 机械工业出版社, pages: 119 * |
赵相伟等: "《MATLAB与测量数据处理》", 31 March 2014, 中国矿业大学出版社, pages: 217 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109636754B (zh) | 基于生成对抗网络的极低照度图像增强方法 | |
US9344638B2 (en) | Constant bracket high dynamic range (cHDR) operations | |
US11625815B2 (en) | Image processor and method | |
CN110930301B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN109427047B (zh) | 一种图像处理方法及装置 | |
CN111784605B (zh) | 一种基于区域指导的图像降噪方法、计算机装置及计算机可读存储介质 | |
CN111260580B (zh) | 图像去噪方法、计算机装置及计算机可读存储介质 | |
CN106454014B (zh) | 一种提高逆光场景车辆抓拍图像质量的方法及装置 | |
WO2022000397A1 (zh) | 低照度图像增强方法、装置及计算机设备 | |
CN110602467A (zh) | 图像降噪方法、装置、存储介质及电子设备 | |
US11995809B2 (en) | Method and apparatus for combining low-dynamic range images to a single image | |
CN113298810A (zh) | 结合图像增强和深度卷积神经网络的道线检测方法 | |
CN111242860B (zh) | 超级夜景图像的生成方法、装置、电子设备及存储介质 | |
CN107395991A (zh) | 图像合成方法、装置、计算机可读存储介质和计算机设备 | |
US20230306569A1 (en) | Image processing method and an image processing device | |
US20190068891A1 (en) | Method and apparatus for rapid improvement of smog/low-light-level image using mapping table | |
WO2010089836A1 (ja) | 画像処理装置 | |
US9860456B1 (en) | Bayer-clear image fusion for dual camera | |
CN114998122A (zh) | 一种低照度图像增强方法 | |
CN107277369A (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
CN111311498B (zh) | 图像鬼影剔除方法及装置、存储介质、终端 | |
CN107392870A (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
CN114037615A (zh) | 一种自适应全景图像增强方法及装置 | |
WO2023110880A1 (en) | Image processing methods and systems for low-light image enhancement using machine learning models | |
CN111028184B (zh) | 一种图像增强方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |