CN106683047A - 一种全景图像的光照补偿方法和系统 - Google Patents
一种全景图像的光照补偿方法和系统 Download PDFInfo
- Publication number
- CN106683047A CN106683047A CN201611009415.0A CN201611009415A CN106683047A CN 106683047 A CN106683047 A CN 106683047A CN 201611009415 A CN201611009415 A CN 201611009415A CN 106683047 A CN106683047 A CN 106683047A
- Authority
- CN
- China
- Prior art keywords
- pic
- image
- img
- peak
- represent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000005286 illumination Methods 0.000 title claims abstract description 93
- 238000000034 method Methods 0.000 title claims abstract description 48
- 241000896693 Disa Species 0.000 claims description 15
- 230000003760 hair shine Effects 0.000 claims description 8
- RRNIZKPFKNDSRS-UHFFFAOYSA-N Bensulide Chemical compound CC(C)OP(=S)(OC(C)C)SCCNS(=O)(=O)C1=CC=CC=C1 RRNIZKPFKNDSRS-UHFFFAOYSA-N 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 4
- 238000007906 compression Methods 0.000 claims description 4
- 241000208340 Araliaceae Species 0.000 claims 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 2
- 235000008434 ginseng Nutrition 0.000 claims 2
- 230000000694 effects Effects 0.000 abstract description 4
- 230000008901 benefit Effects 0.000 abstract description 3
- 230000007547 defect Effects 0.000 abstract description 3
- 230000007704 transition Effects 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 6
- 125000000205 L-threonino group Chemical group [H]OC(=O)[C@@]([H])(N([H])[*])[C@](C([H])([H])[H])([H])O[H] 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000686 essence Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明公开一种全景图像的光照补偿方法和系统。本发明方法首先通过对全景拼接图像的亮度分析，确定需要光照补偿的类型；然后利用全部补偿模式提高光照不足场景中物体的辨识度；利用局部补偿模式解决逆光缺陷图像，使拼接后的全景图具有虚拟自然的光线过渡的效果，从而提升全景图的优势性。
Description
技术领域
本发明涉及图像光照补偿技术领域，尤其涉及一种全景图像的光照补偿方法和系统。
背景技术
全景图像因其水平视角可包含360度画面范围信息，从而有着更广泛的应用领域，如全景视频监控、虚拟环境构建、航空拍摄、商业展示等。获取全景图像，目前常用的方法有两种方法:一类是直接利用特殊光学设备来采集全景图像；另一类是由多个普通镜头采集多视点的图像,然后通过算法合成。第一类方法所获取的全景图像的分辨率相对较低，且成本高，第二类方法因其便于实施、成本低廉，而被许多地方采用。但不论何种方法，受制于光照条件的问题，全景图像中总会出现順光逆光同时存在的现象、雾天、阴雨天光照下图像辨识度低等问题。这对于实际监控或者用户希望获取完整显示信息的时候，常规的图像拼接算法没有考虑这些问题，从而使得直接拼接后的降低全景图的呈现效果。
发明内容
本发明实施例的目的在于提出一种全景图像的光照补偿方法，旨在解决现有技术全景图像中出现順光逆光同时存在时图像辨识度低问题。
本发明实施例是这样实现的，一种全景图像的光照补偿方法，所述方法包括以下步骤：
步骤J1：计算拼接全景图像序列的判断统计量，所述判断统计量包括peak(Picn)、disa(Picn)、disb(Picn)、disc(Picn)；
步骤J2:将peak(Picn)降序排列，记为peak1、peak2、…、peakn…、peakN，其对应第一、第二、第三分布参数记为disa1、disa2、…、disaN，disb1、disb2、…、disbN，disc1、disc2、…、discN，其对应的图像记为img1、img2、…、imgN；
步骤J3：判断如果disc1<Thres1，则进入全局光照补偿模式；否则进入局部光照补偿模式；Thres1为第一判定阈值；
步骤J4：对光照补偿后的拼接全景图像序列，进行常规的全景图像拼接。
其中，表示第n个图像亮度k分布值，k表示亮度值；disa(Picn)、disb(Picn)、disc(Picn)分别表示Picn的第一、第二、第三分布参数；Picn表示图像序列中的第n个图像；peak(Picn)表示Picn的峰值参数；peakn表示将Picn的峰值参数降序排列后，其中第n个峰值参数。
本发明实施例的另一目的在于提出一种一种全景图像的光照补偿系统，，所述系统包括：
判断统计量计算装置，用于计算拼接全景图像序列的判断统计量；
所述判断统计量包括peak(Picn)、disa(Picn)、disb(Picn)、disc(Picn)；其中，peak(Picn)表示Picn的峰值参数；表示第n个图像亮度k分布值，k表示亮度值；disa(Picn)、disb(Picn)、disc(Picn)分别表示Picn的第一、第二、第三分布参数；Picn表示图像序列中的第n个图像；
峰值参数降序排列模块，用于对图像的峰值参数进行降序排列，获取降序排列后的图像峰值参数序列，以及其对应的第一分布参数序列、第二分布参数序列、第三分布参数序列,以及对应的图像序列；
具体为：将peak(Picn)降序排列，记为peak1、peak2、…、peakn…、peakN，其对应第一、第二、第三分布参数记为disa1、disa2、…、disaN，disb1、disb2、…、disbN，disc1、disc2、…、discN，其对应的图像记为img1、img2、…、imgN；
Picn表示图像序列中的第n个图像；peak(Picn)表示Picn的峰值参数；peakn表示将Picn的峰值参数降序排列后，其中第n个峰值参数；
第一判断处理模块，用于判断如果disc1<Thres1，则进入全局光照补偿装置；否则进入局部光照补偿装置。其中，Thres1为第一判定阈值Thres1≤100；
局部光照补偿装置，用于对imgN进行局部光照补偿；
全局光照补偿装置，用于降序排列后的图像峰值参数序列对应的图像序列进行全局光照补偿；
全景图像拼接模块，用于对光照补偿后的拼接全景图像序列，进行常规的全景图像拼接。
本发明的有益效果
本发明方法首先通过对全景拼接图像的亮度分析，确定需要光照补偿的类型；然后利用全部补偿模式提高光照不足场景中物体的辨识度；利用局部补偿模式解决逆光缺陷图像，使拼接后的全景图具有虚拟自然的光线过渡的效果。从而提升监控类等应用中，全景图的优势性。
附图说明
图1是本发明优选实施例一种全景图像的光照补偿方法流程图；
图2是图1中局部光照补偿模式方法流程图；
图3是图1中全局光照补偿模式方法流程图；
图4是本发明优选实施例一种全景图像的光照补偿系统结构图；
图5是图4中局部光照补偿装置结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本发明进行进一步详细说明，为了便于说明，仅示出了与本发明实施例相关的部分。应当理解，此处所描写的具体实施例，仅仅用于解释本发明，并不用以限制本发明。
本发明方法实施例首先通过对全景拼接图像的亮度分析，确定需要光照补偿的类型；然后利用全部补偿模式提高光照不足场景中物体的辨识度；利用局部补偿模式解决逆光缺陷图像，使拼接后的全景图具有虚拟自然的光线过渡的效果，从而提升景图的优势性。
实施例一
图1是本发明优选实施例一种全景图像的光照补偿方法流程图；所述方法包括以下步骤：
Step1：计算拼接全景图像序列的判断统计量。
Step11：计算
其中， 表示第n个图像亮度k分布值,k表示亮度值，0≤k≤255,1≤n≤N,N为拼接全景图像序列的图像数量；sum(变量|条件)表示对满足条件的变量求和；n表示图像序列号，Picn表示图像序列中的第n个图像，如果Picn为RGB格式图像，则可通过公知的图像模型转换，获取Picn各像素点对应的亮度值；yn(i,j)表示Picn第i行第j列像素的亮度值，i，j表示像素位于图像的行坐标、列坐标；1≤i≤height、1≤j≤width；width、height分别表示图像的长宽分辨率。
Step12：计算拼接全景图像序列的判断统计量参数集；
disc(Picn)＝disa(Picn)-disb(Picn)。
其中，peak(Picn)表示Picn的峰值参数；max(变量|条件)、min(变量|条件)分别表示对满足条件的变量求最大、最小值；arcmax(变量|自变量条件)表示变量为最大值时对应的自变量值，即表示求的最大值，然后获取此时对应的k值，即为表达式的值；disa(Picn)、disb(Picn)、disc(Picn)分别表示第一、第二、第三分布参数。
Step2：将peak(Picn)降序排列，记为peak1、peak2、…、peakn…、peakN，其对应第一、第二、第三分布参数记为disa1、disa2、…、disaN，disb1、disb2、…、disbN，disc1、disc2、…、discN，其对应的图像记为img1、img2、…、imgN。
Picn表示图像序列中的第n个图像；peak(Picn)表示Picn的峰值参数；peakn表示将Picn的峰值参数降序排列后，其中第n个峰值参数；
Step3：如果disc1<Thres1，则进入Step5全局光照补偿模式；否则进入Step4局部光照补偿模式。
其中，Thres1为第一判定阈值，一般可取Thres1≤100。
图2是图1中局部光照补偿模式方法流程图；
Step4：对imgN进行光照补偿。
Step40：获取imgN第一、第二参考图像。
其中，第一参考图像为imgN左侧拼接图像，第二参考图像为imgN右侧拼接图像。
Case1:当已知图像拍摄位置时，可直接获取imgN的第一、第二参考图像；
Case2：当未知拼接全景图像序列的位置关系时，则可通过下述方法获取第一、第二参考图像。
获取第一参考图像：
步骤A1：计算diffn＝std(yN(i,j)-yn(i,j+width/2)|int(N/2)≤n≤N)，std(变量|条件)表示对满足条件的变量求均方差，int表示取整运算。yN(i,j)表示PicN第i行第j列像素的亮度值；PicN表示图像序列中的第N个图像；yn(i,j+width/2)表示Picn第i行第j+width/2列像素的亮度值；
步骤A2：min_K(diffn|int(N/2)≤n≤N)，表示求difnf序列里最小的K个值，一般1≤K≤5；
步骤A3：步骤A2中最小的K个值对应的图像集设置为备选集合，然后对备选集合里面的图像使用公知的图像特征匹配，找出最终的imgN的第一参考图像。
获取第二参考图像：
步骤B1：计算diffn＝std(yN(i,j+width/2)-yn(i,j)|int(N/2)≤n≤N)；
步骤B2：min_K(diffn|int(N/2)≤n≤N)，表示求difnf序列里最小的K个值，一般1≤K≤5；
步骤B3：步骤B2中最小的K个值对应的图像集设置为备选集合，然后对备选集合里面的图像使用公知的图像特征匹配，找出最终的imgN的第二参考图像。
Step41：计算补偿参数；
refmax＝max(ref1_y(i,j),ref2_y|区域条件1)
区域条件1：
ref1_y(i,j)∈第一参考图像右侧1/2区域或者ref2_y(i,j)∈第二参考图像左侧1/2区域；
ref1_y(i,j)表示第一参考图像第i行第j列像素的亮度值；
ref2_y(i,j)表示第二参考图像第i行第j列像素的亮度值
refmin＝min(ref1_y(i,j),ref2_y|区域条件2)
区域条件2：
ref1_y(i,j)∈第一参考图像右侧1/2区域或者ref2_y(i,j)∈第二参考图像左侧1/2区域
refmax、refmin表示补偿参数(补偿参数1、补偿参数2)；max(变量|条件)、min(变量|条件)分别表示对满足条件的变量求最大、最小值；表示第N个图像亮度k分布值；maxN、minN表示补偿参数(补偿参数3、补偿参数4)；
Step42：利用补偿参数，对imgN图像进行光照补偿，然后进入Step6。
图3是图1中全局光照补偿模式方法流程图；
Step5：全局光照补偿模式。
Step51：对img1、img2、…、imgN-1的图像先进行光照补偿。
Thres2为第二判定阈值，一般可取Thres2≤min(disan-peakn,peakn-disbn)/2，min(变量1,变量2)表示求变量1与变量2中的最小值；拉伸yn(i,j)可选任何线性或者非线性的单调递增函数；压缩yn(i,j)可选任何线性或者非线性的单调递增减函数。peakn表示将Picn的峰值参数降序排列后，其中第n个峰值参数；
Step52：对imgN进行光照补偿，然后进入Step6。
Case1:当已知图像拍摄位置时，可直接获取imgN的第一、第二参考图像；然后，利用光照补偿后的第一、第二参考图像，使用Step41-Step42的方法，对imgN进行光照补偿，然后进入Step6。
Case2：未知拼接全景图像序列的位置关系时，则可首先利用未进行光照补偿的拼接全景图像序列通过Step40里Case2的方法获取imgN的第一、第二参考图像；然后，利用光照补偿后的第一、第二参考图像，使用Step41-Step42的方法，对imgN进行光照补偿，然后进入Step6。
Step6：对光照补偿后的拼接全景图像序列，进行常规的全景图像拼接。
实施例二
图4是本发明优选实施例一种全景图像的光照补偿系统结构图；所述系统包括：
判断统计量计算装置，用于计算拼接全景图像序列的判断统计量；
峰值参数降序排列模块，用于对图像的峰值参数进行降序排列，获取降序排列后的图像峰值参数序列，以及其对应的第一分布参数序列、第二分布参数序列、第三分布参数序列,以及对应的图像序列；
具体为：将peak(Picn)降序排列，记为peak1、peak2、…、peakn…、peakN，其对应第一、第二、第三分布参数记为disa1、disa2、…、disaN，disb1、disb2、…、disbN，disc1、disc2、…、discN，其对应的图像记为img1、img2、…、imgN。
Picn表示图像序列中的第n个图像；peak(Picn)表示Picn的峰值参数；peakn表示将Picn的峰值参数降序排列后，其中第n个峰值参数；
第一判断处理模块，用于判断如果disc1<Thres1，则进入全局光照补偿装置；否则进入局部光照补偿装置。其中，Thres1为第一判定阈值，一般可取Thres1≤100。
局部光照补偿装置，用于对imgN进行局部光照补偿；
全局光照补偿装置，用于降序排列后的图像峰值参数序列对应的图像序列进行全局光照补偿；
全景图像拼接模块，用于对光照补偿后的拼接全景图像序列，进行常规的全景图像拼接。
进一步地，所述判断统计量计算装置还包括：
图像亮度分布值计算模块，用于计算
其中， 表示第n个图像亮度k分布值,这个亮度值＝k，0≤k≤255,1≤n≤N,N为拼接全景图像序列的图像数量；sum(变量|条件)表示对满足条件的变量求和；n表示图像序列号，Picn表示图像序列中的第n个图像，如果Picn为RGB格式图像，则可通过公知的图像模型转换，获取Picn各像素点对应的亮度值；yn(i,j)表示Picn第i行第j列像素的亮度值，i，j表示像素位于图像的行坐标、列坐标；1≤i≤height、1≤j≤width；width、height分别表示图像的长宽分辨率。
判断统计量参数集计算模块，用于计算拼接全景图像序列的判断统计量参数集；
disc(Picn)＝disa(Picn)-disb(Picn)。
其中，peak(Picn)表示Picn的峰值参数；max(变量|条件)、min(变量|条件)分别表示对满足条件的变量求最大、最小值；arcmax(变量|自变量条件)表示变量为最大值时对应的自变量值，即表示求的最大值，然后获取此时对应的k值，即为表达式的值；disa(Picn)、disb(Picn)、disc(Picn)分别表示第一、第二、第三分布参数。
图5是图4中局部光照补偿装置结构图；
进一步地，所述局部光照补偿装置还包括：
局部参考图像获取模块，用于获取imgN第一、第二参考图像。
其中，第一参考图像为imgN左侧拼接图像，第二参考图像为imgN右侧拼接图像。
Case1:当已知图像拍摄位置时，可直接获取imgN的第一、第二参考图像；
Case2：当未知拼接全景图像序列的位置关系时，则可通过下述方法获取第一、第二参考图像。
获取第一参考图像：
步骤A1：计算diffn＝std(yN(i,j)-yn(i,j+width/2)|int(N/2)≤n≤N)，std(变量|条件)表示对满足条件的变量求均方差，int表示取整运算。yN(i,j)表示PicN第i行第j列像素的亮度值；PicN表示图像序列中的第N个图像；yn(i,j+width/2)表示Picn第i行第j+width/2列像素的亮度值；
步骤A2：min_K(diffn|int(N/2)≤n≤N)，表示求difnf序列里最小的K个值，一般1≤K≤5；
步骤A3：步骤A2中最小的K个值对应的图像集设置为备选集合，然后对备选集合里面的图像使用公知的图像特征匹配，找出最终的imgN的第一参考图像。
获取第二参考图像：
步骤B1：计算diffn＝std(yN(i,j+width/2)-yn(i,j)|int(N/2)≤n≤N)；
步骤B2：min_K(diffn|int(N/2)≤n≤N)，表示求difnf序列里最小的K个值，一般1≤K≤5；
步骤B3：步骤B2中最小的K个值对应的图像集设置为备选集合，然后对备选集合里面的图像使用公知的图像特征匹配，找出最终的imgN的第二参考图像。
第一补偿参数计算模块，用于计算补偿参数；
refmax＝max(ref1_y(i,j),ref2_y(i,j)|区域条件1)
区域条件1：
ref1_y(i,j)∈第一参考图像右侧1/2区域或者ref2_y(i,j)∈第二参考图像左侧1/2区域；
ref1_y(i,j)表示第一参考图像第i行第j列像素的亮度值；
ref2_y(i,j)表示第二参考图像第i行第j列像素的亮度值
refmin＝min(ref1_y(i,j),ref2_y(i,j)|区域条件2)
区域条件2：
ref1_y(i,j)∈第一参考图像右侧1/2区域或者ref2_y(i,j)∈第二参考图像左侧1/2区域
refmax、refmin表示补偿参数(补偿参数1、补偿参数2)；max(变量|条件)、min(变量|条件)分别表示对满足条件的变量求最大、最小值；表示第N个图像亮度k分布值,表示补偿参数(补偿参数3、补偿参数4)；
第一光照补偿模块，用于利用补偿参数，对imgN图像进行光照补偿，然后进入全景图像拼接模块。
yN(i,j)表示PicN第i行第j列像素的亮度值；
进一步地，所述全局光照补偿装置，用于先对img1、img2、…、imgN-1的图像采用第一方式进行光照补偿；再对imgN利用第二方式进行光照补偿；然后进入全景图像拼接模块；
第一方式为：
Thres2为第二判定阈值，一般可取Thres2≤min(disan-peakn,peakn-disbn)/2，min(变量1,变量2)表示求变量1与变量2中的最小值；拉伸yn(i,j)可选任何线性或者非线性的单调递增函数；压缩yn(i,j)可选任何线性或者非线性的单调递增减函数。peakn表示将Picn的峰值参数降序排列后，其中第n个峰值参数；
第二方式为：
Case1:当已知图像拍摄位置时，可直接获取imgN的第一、第二参考图像；然后，利用光照补偿后的第一、第二参考图像，使用第一补偿参数计算模块 和第一光照补偿模块，对imgN进行光照补偿，然后进入全景图像拼接模块。
Case2：未知拼接全景图像序列的位置关系时，则可首先利用未进行光照补偿的拼接全景图像序列通过局部参考图像获取模块里Case2的方法获取imgN的第一、第二参考图像；然后，利用光照补偿后的第一、第二参考图像，使用第一补偿参数计算模块和第一光照补偿模块，对imgN进行光照补偿，然后进入全景图像拼接模块。
本领域的普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序指令相关硬件来完成的，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质可以为ROM、RAM、磁盘、光盘等。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种全景图像的光照补偿方法，其特征在于，所述方法包括以下步骤：
步骤J1：计算拼接全景图像序列的判断统计量，所述判断统计量包括peak(Picn)、disa(Picn)、disb(Picn)、disc(Picn)；
步骤J2:将peak(Picn)降序排列，记为peak1、peak2、…、peakn…、peakN，其对应第一、第二、第三分布参数记为disa1、disa2、…、disaN，disb1、disb2、…、disbN，disc1、disc2、…、discN，其对应的图像记为img1、img2、…、imgN；
步骤J3：判断如果disc1<Thres1，则进入全局光照补偿模式；否则进入局部光照补偿模式；Thres1为第一判定阈值；
步骤J4：对光照补偿后的拼接全景图像序列，进行常规的全景图像拼接。
其中，表示第n个图像亮度k分布值，k表示亮度值；disa(Picn)、disb(Picn)、disc(Picn)分别表示Picn的第一、第二、第三分布参数；Picn表示图像序列中的第n个图像；peak(Picn)表示Picn的峰值参数；peakn表示将Picn的峰值参数降序排列后，其中第n个峰值参数。
2.如权利要求1所述的全景图像的光照补偿方法，其特征在于，所述计算拼接全景图像序列的判断统计量包括：
计算
其中，0≤k≤255,1≤n≤N,N为拼接全景图像序列的图像数量；sum(变量|条件)表示对满足条件的变量求和；n表示图像序列号；yn(i,j)表示Picn第i行第j列像素的亮度值，i，j表示像素位于图像的行坐标、列坐标；1≤i≤height、1≤j≤width；width、height分别表示图像的长宽分辨率；
计算拼接全景图像序列的判断统计量参数集；
disc(Picn)＝disa(Picn)-disb(Picn)
其中，peak(Picn)表示Picn的峰值参数；max(变量|条件)、min(变量|条件)分别表示对满足条件的变量求最大、最小值；arc max(变量|自变量条件)表示变量为最大值时对应的自变量值，表示求的最大值，然后获取此时对应的k值，即为表达式的值。
3.如权利要求1所述的全景图像的光照补偿方法，其特征在于，
局部光照补偿模式具体为：
Step40：获取imgN第一、第二参考图像；第一参考图像为imgN左侧拼接图像，第二参考图像为imgN右侧拼接图像；
Step41：计算补偿参数；
refmax＝max(ref1_y(i,j),ref2_y|区域条件1)
区域条件1：
ref1_y(i,j)∈第一参考图像右侧1/2区域或者ref2_y(i,j)∈第二参考图像左侧1/2区域；
ref1_y(i,j)表示第一参考图像第i行第j列像素的亮度值；
ref2_y(i,j)表示第二参考图像第i行第j列像素的亮度值
refmin＝min(ref1_y(i,j),ref2_y|区域条件2)
区域条件2：
ref1_y(i,j)∈第一参考图像右侧1/2区域或者ref2_y(i,j)∈第二参考图像左侧1/2区域
其中，refmax、refmin表示补偿参数1、补偿参数2；max(变量|条件)、min(变量|条件)分别表示对满足条件的变量求最大、最小值；表示第N个图像亮度k分布值；maxN、minN表示补偿参数3、补偿参数4；
Step42：利用补偿参数，对imgN图像进行光照补偿，然后进入步骤J4；
4.如权利要求3所述的全景图像的光照补偿方法，其特征在于，
所述获取imgN第一、第二参考图像具体为：
Case1:当已知图像拍摄位置时，直接获取imgN的第一、第二参考图像；
Case2：当未知拼接全景图像序列的位置关系时，则通过下述方法获取第一、第二参考图像；
获取第一参考图像：
步骤A1：计算diffn＝std(yN(i,j)-yn(i,j+width/2)|int(N/2)≤n≤N)，std(变量|条件)表示对满足条件的变量求均方差，int表示取整运算；yN(i,j)表示PicN第i行第j列像素的亮度值；PicN表示图像序列中的第N个图像；yn(i,j+width/2)表示Picn第i行第j+width/2列像素的亮度值；
步骤A2：min_K(diffn|int(N/2)≤n≤N)，表示求difnf序列里最小的K个值，1≤K≤5；
步骤A3：步骤A2中最小的K个值对应的图像集设置为备选集合，然后对备选集合里面的图像使用公知的图像特征匹配，找出最终的imgN的第一参考图像；
获取第二参考图像：
步骤B1：计算diffn＝std(yN(i,j+width/2)-yn(i,j)|int(N/2)≤n≤N)；
步骤B2：min_K(diffn|int(N/2)≤n≤N)，表示求diffn序列里最小的K个值，1≤K≤5；
步骤B3：步骤B2中最小的K个值对应的图像集设置为备选集合，然后对备选集合里面的图像使用公知的图像特征匹配，找出最终的imgN的第二参考图像。
5.如权利要求1所述的全景图像的光照补偿方法，其特征在于，
所述全局光照补偿模式具体包括：
Step51：对img1、img2、…、imgN-1的图像先进行光照补偿；
Thres2为第二判定阈值，Thres2≤min(disan-peakn,peakn-disbn)/2，min(变量1,变量2)表示求变量1与变量2中的最小值；拉伸yn(i,j)为任何线性或者非线性的单调递增函数；压缩yn(i,j)为任何线性或者非线性的单调递增减函数；peakn表示将Picn的峰值参数降序排列后，其中第n个峰值参数；
Step52：对imgN进行光照补偿，然后进入步骤J4；
Case1:当已知图像拍摄位置时，直接获取imgN的第一、第二参考图像；然后，利用光照补偿后的第一、第二参考图像，使用Step41-Step42的方法，对imgN进行光照补偿，然后进入步骤J4；
Case2：未知拼接全景图像序列的位置关系时，则可首先利用未进行光照补偿的拼接全景图像序列通过Step40里Case2的方法获取imgN的第一、第二参考图像；然后，利用光照补偿后的第一、第二参考图像，使用Step41-Step42的方法，对imgN进行光照补偿，然后进入步骤J4。
6.一种全景图像的光照补偿系统，其特征在于，所述系统包括：
判断统计量计算装置，用于计算拼接全景图像序列的判断统计量；
所述判断统计量包括peak(Picn)、disa(Picn)、disb(Picn)、disc(Picn)；其中，peak(Picn)表示Picn的峰值参数；表示第n个图像亮度k分布值，k表示亮度值；disa(Picn)、disb(Picn)、disc(Picn)分别表示Picn的第一、第二、第三分布参数；Picn表示图像序列中的第n个图像；
峰值参数降序排列模块，用于对图像的峰值参数进行降序排列，获取降序排列后的图像峰值参数序列，以及其对应的第一分布参数序列、第二分布参数序列、第三分布参数序列,以及对应的图像序列；
具体为：将peak(Picn)降序排列，记为peak1、peak2、…、peakn…、peakN，其对应第一、第二、第三分布参数记为disa1、disa2、…、disaN，disb1、disb2、…、disbN，disc1、disc2、…、discN，其对应的图像记为img1、img2、…、imgN；
Picn表示图像序列中的第n个图像；peak(Picn)表示Picn的峰值参数；peakn表示将Picn的峰值参数降序排列后，其中第n个峰值参数；
第一判断处理模块，用于判断如果disc1<Thres1，则进入全局光照补偿装置；否则进入局部光照补偿装置。其中，Thres1为第一判定阈值Thres1≤100；
局部光照补偿装置，用于对imgN进行局部光照补偿；
全局光照补偿装置，用于降序排列后的图像峰值参数序列对应的图像序列进行全局光照补偿；
全景图像拼接模块，用于对光照补偿后的拼接全景图像序列，进行常规的全景图像拼接。
7.如权利要求6所述的全景图像的光照补偿系统，其特征在于，所述判断统计量计算装置还包括：
图像亮度分布值计算模块，用于计算
其中， 表示第n个图像亮度k分布值,这个亮度值＝k，0≤k≤255,1≤n≤N,N为拼接全景图像序列的图像数量；sum(变量|条件)表示对满足条件的变量求和；n表示图像序列号，Picn表示图像序列中的第n个图像，yn(i,j)表示Picn第i行第j列像素的亮度值，i，j表示像素位于图像的行坐标、列坐标；1≤i≤height、1≤j≤width；width、height分别表示图像的长宽分辨率；
判断统计量参数集计算模块，用于计算拼接全景图像序列的判断统计量参数集；
disc(Picn)＝disa(Picn)-disb(Picn)。
其中，peak(Picn)表示Picn的峰值参数；max(变量|条件)、min(变量|条件)分别表示对满足条件的变量求最大、最小值；arc max(变量|自变量条件)表示变量为最大值时对应的自变量值，表示求的最大值，然后获取此时对应的k值，即为表达式的值；disa(Picn)、disb(Picn)、disc(Picn)分别表示第一、第二、第三分布参数。
8.如权利要求6所述的全景图像的光照补偿系统，其特征在于，
所述局部光照补偿装置还包括：
局部参考图像获取模块，用于获取imgN第一、第二参考图像；其中，第一参考图像为imgN左侧拼接图像，第二参考图像为imgN右侧拼接图像；
第一补偿参数计算模块，用于计算补偿参数；
refmax＝max(ref1_y(i,j),ref2_y(i,j)|区域条件1)
区域条件1：
ref1_y(i,j)∈第一参考图像右侧1/2区域或者ref2_y(i,j)∈第二参考图像左侧1/2区域；
ref1_y(i,j)表示第一参考图像第i行第j列像素的亮度值；
ref2_y(i,j)表示第二参考图像第i行第j列像素的亮度值
refmin＝min(ref1_y(i,j),ref2_y(i,j)|区域条件2)
区域条件2：
ref1_y(i,j)∈第一参考图像右侧1/2区域或者ref2_y(i,j)∈第二参考图像左侧1/2区域
refmax、refmin表示补偿参数1、补偿参数2；max(变量|条件)、min(变量|条件)分别表示对满足条件的变量求最大、最小值；表示第N个图像亮度k分布值,maxN、minN表示补偿参数3、补偿参数4；
第一光照补偿模块，用于利用补偿参数，对imgN图像进行光照补偿，然后进入全景图像拼接模块；
yN(i,j)表示PicN第i行第j列像素的亮度值。
9.如权利要求8所述的全景图像的光照补偿系统，其特征在于，
局部参考图像获取模块之中，用于获取imgN第一、第二参考图像，具体为：
Case1:当已知图像拍摄位置时，直接获取imgN的第一、第二参考图像；
Case2：当未知拼接全景图像序列的位置关系时，通过下述方法获取第一、第二参考图像；
获取第一参考图像：
步骤A1：计算diffn＝std(yN(i,j)-yn(i,j+width/2)|int(N/2)≤n≤N)，std(变量|条件)表示对满足条件的变量求均方差，int表示取整运算；yN(i,j)表示PicN第i行第j列像素的亮度值；PicN表示图像序列中的第N个图像；yn(i,j+width/2)表示Picn第i行第j+width/2列像素的亮度值；
步骤A2：min_K(diffn|int(N/2)≤n≤N)，表示求diffn序列里最小的K个值，1≤K≤5；
步骤A3：步骤A2中最小的K个值对应的图像集设置为备选集合，然后对备选集合里面的图像使用公知的图像特征匹配，找出最终的imgN的第一参考图像；
获取第二参考图像：
步骤B1：计算diffn＝std(yN(i,j+width/2)-yn(i,j)|int(N/2)≤n≤N)；
步骤B2：min_K(diffn|int(N/2)≤n≤N)，表示求diffn序列里最小的K个值，1≤K≤5；
步骤B3：步骤B2中最小的K个值对应的图像集设置为备选集合，然后对备选集合里面的图像使用公知的图像特征匹配，找出最终的imgN的第二参考图像。
10.如权利要求6所述的全景图像的光照补偿系统，其特征在于，
所述全局光照补偿装置，用于先对img1、img2、…、imgN-1的图像采用第一方式进行光照补偿；再对imgN利用第二方式进行光照补偿；然后进入全景图像拼接模块；
第一方式为：
Thres2为第二判定阈值，Thres2≤min(disan-peakn,peakn-disbn)/2，min(变量1,变量2)表示求变量1与变量2中的最小值；拉伸yn(i,j)为线性或者非线性的单调递增函数；压缩yn(i,j)为线性或者非线性的单调递增减函数；peakn表示将Picn的峰值参数降序排列后，其中第n个峰值参数；
第二方式为：
Case1:当已知图像拍摄位置时，直接获取imgN的第一、第二参考图像；然后，利用光照补偿后的第一、第二参考图像，使用第一补偿参数计算模块和第一光照补偿模块，对imgN进行光照补偿，然后进入全景图像拼接模块；
Case2：未知拼接全景图像序列的位置关系时，则可首先利用未进行光照补偿的拼接全景图像序列通过局部参考图像获取模块里Case2的方法获取imgN的第一、第二参考图像；然后，利用光照补偿后的第一、第二参考图像，使用第一补偿参数计算模块和第一光照补偿模块，对imgN进行光照补偿，然后进入全景图像拼接模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611009415.0A CN106683047B (zh) | 2016-11-16 | 2016-11-16 | 一种全景图像的光照补偿方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201611009415.0A CN106683047B (zh) | 2016-11-16 | 2016-11-16 | 一种全景图像的光照补偿方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106683047A true CN106683047A (zh) | 2017-05-17 |
| CN106683047B CN106683047B (zh) | 2020-05-22 |
Family
ID=58839494
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201611009415.0A Active CN106683047B (zh) | 2016-11-16 | 2016-11-16 | 一种全景图像的光照补偿方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106683047B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020042858A1 (zh) * | 2018-08-29 | 2020-03-05 | 上海商汤智能科技有限公司 | 图像拼接方法和装置、车载图像处理装置、电子设备、存储介质 |
| CN113572962A (zh) * | 2021-07-28 | 2021-10-29 | 北京大学 | 室外自然场景光照估计方法及装置 |
| CN115379203A (zh) * | 2022-08-18 | 2022-11-22 | 河海大学 | 一种基于全景照度测量的hdr全景图亮度新型校准方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101119488A (zh) * | 2007-07-12 | 2008-02-06 | 深圳市融合视讯科技有限公司 | 一种用于视频编码的色度均衡方法 |
| US20090290792A1 (en) * | 2008-05-21 | 2009-11-26 | Sung Ho Son | Method for setting auto white balance area |
| CN103081468A (zh) * | 2010-09-03 | 2013-05-01 | 杜比实验室特许公司 | 用于视频编码和处理的光照补偿和转变的方法及系统 |
| CN104008528A (zh) * | 2014-05-21 | 2014-08-27 | 河海大学常州校区 | 基于阈值分割的非均匀光场水下目标探测图像增强方法 |
| CN104023236A (zh) * | 2014-06-13 | 2014-09-03 | 深圳百科信息技术有限公司 | 一种色度均衡量化参数调整方法及系统 |
| CN104125410A (zh) * | 2014-07-02 | 2014-10-29 | 深圳英飞拓科技股份有限公司 | 一种全景视频多镜头曝光补偿方法及其装置 |
| CN104581155A (zh) * | 2014-12-02 | 2015-04-29 | 深圳市云宙多媒体技术有限公司 | 一种基于场景分析的编码方法及系统 |
| CN105321151A (zh) * | 2015-10-27 | 2016-02-10 | Tcl集团股份有限公司 | 一种全景图拼接亮度均衡方法及系统 |
| CN105405110A (zh) * | 2015-11-23 | 2016-03-16 | 上海大学 | 非均匀光照补偿方法 |
-
2016
- 2016-11-16 CN CN201611009415.0A patent/CN106683047B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101119488A (zh) * | 2007-07-12 | 2008-02-06 | 深圳市融合视讯科技有限公司 | 一种用于视频编码的色度均衡方法 |
| US20090290792A1 (en) * | 2008-05-21 | 2009-11-26 | Sung Ho Son | Method for setting auto white balance area |
| CN103081468A (zh) * | 2010-09-03 | 2013-05-01 | 杜比实验室特许公司 | 用于视频编码和处理的光照补偿和转变的方法及系统 |
| CN104008528A (zh) * | 2014-05-21 | 2014-08-27 | 河海大学常州校区 | 基于阈值分割的非均匀光场水下目标探测图像增强方法 |
| CN104023236A (zh) * | 2014-06-13 | 2014-09-03 | 深圳百科信息技术有限公司 | 一种色度均衡量化参数调整方法及系统 |
| CN104125410A (zh) * | 2014-07-02 | 2014-10-29 | 深圳英飞拓科技股份有限公司 | 一种全景视频多镜头曝光补偿方法及其装置 |
| CN104581155A (zh) * | 2014-12-02 | 2015-04-29 | 深圳市云宙多媒体技术有限公司 | 一种基于场景分析的编码方法及系统 |
| CN105321151A (zh) * | 2015-10-27 | 2016-02-10 | Tcl集团股份有限公司 | 一种全景图拼接亮度均衡方法及系统 |
| CN105405110A (zh) * | 2015-11-23 | 2016-03-16 | 上海大学 | 非均匀光照补偿方法 |
Non-Patent Citations (2)
| Title |
|---|
| SHENG ZHOU ET AL.: ""Approach of self-adaptive illumination for optical imaging systems"", 《APPLIED OPTICS》 * |
| 苏延召: ""光照突变补偿在视频序列运动目标检测中的应用"", 《光电子·激光》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020042858A1 (zh) * | 2018-08-29 | 2020-03-05 | 上海商汤智能科技有限公司 | 图像拼接方法和装置、车载图像处理装置、电子设备、存储介质 |
| CN113572962A (zh) * | 2021-07-28 | 2021-10-29 | 北京大学 | 室外自然场景光照估计方法及装置 |
| CN115379203A (zh) * | 2022-08-18 | 2022-11-22 | 河海大学 | 一种基于全景照度测量的hdr全景图亮度新型校准方法 |
| CN115379203B (zh) * | 2022-08-18 | 2024-04-30 | 河海大学 | 一种基于全景照度测量的hdr全景图亮度新型校准方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106683047B (zh) | 2020-05-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106548455B (zh) | 用于调整图像的亮度的设备和方法 | |
| CN104702928B (zh) | 修正图像交叠区的方法、记录介质以及执行装置 | |
| CN105141920B (zh) | 一种360度全景视频拼接系统 | |
| CN104113688B (zh) | 一种图像处理方法及其电子设备 | |
| Zollmann et al. | Image-based ghostings for single layer occlusions in augmented reality | |
| CN107679497A (zh) | 视频面部贴图特效处理方法及生成系统 | |
| US20180357819A1 (en) | Method for generating a set of annotated images | |
| US20120194506A1 (en) | Director-style based 2d to 3d movie conversion system and method | |
| CN101142812A (zh) | 图像处理装置和方法、程序、及记录介质 | |
| CN106027851A (zh) | 基于图像梯度的图像滤波 | |
| CN109960872B (zh) | Ar虚拟软装搭配管理系统及其工作方法 | |
| CN109408008B (zh) | 影像辨识系统及其信息显示方法 | |
| CN101179659A (zh) | 用于拍摄的装置、方法和程序 | |
| CN101605209A (zh) | 摄像装置及图像再生装置 | |
| CN102903086B (zh) | 一种待拼接图像亮度的调整方法和装置 | |
| CN106558103A (zh) | 扩增实境图像处理系统及扩增实境图像处理方法 | |
| CN105959490A (zh) | 控制方法、控制装置及电子装置 | |
| CN107358593A (zh) | 成像方法和装置 | |
| CN106683047A (zh) | 一种全景图像的光照补偿方法和系统 | |
| CN104702929A (zh) | 修正图像交叠区的失真的方法、记录介质和执行装置 | |
| US20150249774A1 (en) | Ghost artifact detection and removal in hdr image creation using graph based selection of local reference | |
| Jin et al. | Perspective fields for single image camera calibration | |
| Inoue et al. | Tracking Robustness and Green View Index Estimation of Augmented and Diminished Reality for Environmental Design | |
| CN107437268A (zh) | 拍照方法、装置、移动终端和计算机存储介质 | |
| CN106803920A (zh) | 一种图像处理的方法、装置及智能会议终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 518000 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the four Longtaili Technology Building Room 325 No. 30 Applicant after: Shenzhen Monternet encyclopedia Information Technology Co. Ltd. Address before: The central Shenzhen city of Guangdong Province, 518057 Keyuan Road, Nanshan District science and Technology Park No. 15 Science Park Sinovac A Building 1 unit 403, No. 405 unit Applicant before: BAC Information Technology Co., Ltd. |
|
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 518000 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the four Longtaili Technology Building Room 325 No. 30 Applicant after: Shenzhen mengwang video Co., Ltd Address before: 518000 Guangdong city of Shenzhen province Nanshan District Guangdong streets high in the four Longtaili Technology Building Room 325 No. 30 Applicant before: SHENZHEN MONTNETS ENCYCLOPEDIA INFORMATION TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |