CN106097244A - 用于拼接图像的方法和装置以及用于组合图像的方法 - Google Patents
用于拼接图像的方法和装置以及用于组合图像的方法 Download PDFInfo
- Publication number
- CN106097244A CN106097244A CN201610392155.3A CN201610392155A CN106097244A CN 106097244 A CN106097244 A CN 106097244A CN 201610392155 A CN201610392155 A CN 201610392155A CN 106097244 A CN106097244 A CN 106097244A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel value
- factor
- concordance
- concordance factor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 95
- 238000012937 correction Methods 0.000 claims abstract description 22
- 230000007704 transition Effects 0.000 claims description 4
- 230000015654 memory Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000006978 adaptation Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004899 motility Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
- H04N1/3876—Recombination of partial images to recreate the original image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6027—Correction or control of colour gradation or colour contrast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
本公开涉及用于拼接多个图像的方法和装置以及用于组合多个图像的方法。根据某些实施例,该方法可包括对多个图像按顺序进行排序,以使得:相邻图像至少部分彼此重叠;并且第一图像和最后图像至少部分彼此重叠。该方法还可以包括确定图像的重叠区域的平均像素值。该方法还包括确定图像的一致性因子。该方法还可以包括通过将平均像素值乘以相应的一致性因子来生成修正的平均像素值。该方法还可以包括调整一致性因子以减小重叠区域中的修正的平均像素值的差。该方法可以进一步包括基于相应的一致性因子来调整图像的像素值。
Description
技术领域
本公开总体上涉及图像处理技术,具体涉及用于在多个图像间全局地调整亮度和/或色度一致性的方法和系统。
背景技术
图像拼接在许多应用领域日益受到关注,例如,计算机视觉、数字地图、卫星成像、医学成像以及甚至业余摄影领域。例如,为了创造身临其境的虚拟现实体验,可使用多个相机来捕捉覆盖了场景的不同部分的源图像。这些源图像然后被“拼接”,即接合在一起,以形成360度的全景图,其可用在例如交互式全景电影、建筑漫游、多节点电影的应用中,以及与使用获取自真实世界的图像来生成虚拟3D环境关联的其他应用。
由于用于全景图拼接的源图像可能由不同成像装置在不同时间和/或在不同光照条件下生成,对于全景图拼接来说众所周知的挑战是源图像的图像参数的不一致。为了解决这个问题,传统的方法逐对地调整两个相邻源图像的对比度,以确保重叠区域中的亮度和/或颜色直方图是匹配的。由于累积误差,该方法通常能实现局部一致性而不是全局一致性。例如,当使用该方法拼接两个以上源图像时,最后拼接的源图像和第一源图像仍会有显著不一致的亮度/色度。这个结果在一些应用中是可以接受的,例如移动电话应用中,其中所生成的全景图像经常有大于常规视角但小于360度的视角。然而,为了生成高质量的全景图和/或360度的全景图(即,第一和最后源图像所示的视图实际上重叠),期望第一和最后源图像具有一致的亮度和色度。因此,需要全局亮度/色度调整方法。
所公开的方法和系统解决了以上列出的一个以上问题。
发明内容
与本公开的一个实施例一致,提供了一种用于拼接多个图像的方法,该图像包括具有像素值的像素。该方法可包括对多个图像按顺序进行排序,以使得:相邻图像至少部分彼此重叠;并且第一图像和最后图像至少部分彼此重叠。该方法还可包括确定图像的重叠区域的平均像素值。该方法还可包括确定图像的一致性因子。该方法还包括通过将平均像素值乘以相应的一致性因子来生成修正的平均像素值。该方法还可包括调整一致性因子以减小重叠区域中的修正的平均像素值的差。该方法可进一步包括基于相应的一致性因子来调整图像的像素值。
与本公开的另一个实施例一致,提供了一种用于组合多个图像的方法。该方法可包括获得n个图像,n为整数且n≥2。该方法还包括识别图像中的第一区域和第二区域。该方法还可包括对图像按顺序进行排序。该方法还包括在n个图像中将第i图像的第二区域与第i+1图像的第一区域进行配对,i为整数且n>i≥1。该方法还可包括将第n图像的第二区域与第一图像的第一区域进行配对。该方法还可包括确定第一区域和第二区域中的平均像素值。该方法还包括确定用于图像的一致性因子。该方法还可包括通过将平均像素值乘以相应的一致性因子来生成修正的平均像素值。该方法还可包括调整一致性因子以减小配对区域中的修正的平均像素值的差。该方法可进一步包括基于相应的一致性因子来调整图像的像素值。
与本公开的另一个实施例一致,提供了一种用于拼接多个图像的装置,该图像包括具有像素值的像素。该装置可包括用于存储指令的存储器。该装置还可包括处理器,其配置为执行指令以:对多个图像按顺序进行排序,以使得相邻图像至少部分彼此重叠并且第一图像和最后图像至少部分彼此重叠;确定图像的重叠区域的平均像素值;确定图像的一致性因子;通过将平均像素值乘以相应的一致性因子来生成修正的平均像素值;调整一致性因子以减小重叠区域中的修正的平均像素值的差;基于相应的一致性因子来调整图像的像素值。
与本公开的又一实施例一致,提供了一种非暂时性计算机可读存储介质,其存储指令,当装置的处理器执行该指令时使得该装置执行用于拼接多个图像的方法,该图像包括具有像素值的像素。该方法可包括对多个图像按顺序进行排序,以使得:相邻图像至少部分彼此重叠;并且第一图像和最后图像至少部分彼此重叠。该方法还可包括确定图像的重叠区域的平均像素值。该方法还包括确定用于图像的一致性因子。该方法还可包括通过将平均像素值乘以相应的一致性因子来生成修正的平均像素值。该方法还可包括调整一致性因子以减小重叠区域中的修正的平均像素值的差。该方法可进一步包括基于相应的一致性因子来调整图像的像素值。
要了解的是前述的总体描述和以下详细描述均仅是示例性且说明性的,不对所要求保护的本发明构成限制。
附图说明
这里描述的方法、系统和/或程序进一步用示例性实施例进行描述。参照附图来具体描述这些示例性实施例。这些实施例是非限制性的示例性实施例,其中类似的附图标记在附图的多个视图中表示类似的结构。
图1为根据示例性实施例的图示了用于创建全景图像的成像系统的示意图。
图2为根据示例性实施例的使用在图1所示的成像系统中的控制器的框图。
图3为根据示例性实施例的用于拼接多个图像的方法的流程图。
图4为根据示例性实施例的图示了图3示出的方法的实施的示意图。
图5为根据示例性实施例的用于确定一致性因子的方法的流程图。
图6A是图示出未使用所公开的方法实现的结果的360度全景图像。
图6B是图示出使用所公开的方法实现的结果的360度全景图像。
具体实施方式
现在将详细参照所公开的实施例,其例子图示在附图中。只要是方便之处,将在整个附图中使用相同的附图标记来指代相同或类似的部件。
本公开的特征和特性,连同操作方法和相关的结构元件以及部件组合的功能和制造的经济性,将在考虑如下参照附图的描述后变得显而易见,所有附图构成本说明书的一部分。然而,应当理解的是,附图仅仅是用于图示和描述的目的,而不旨在对本发明的界限进行限定。在说明书和权利要求中使用的单数形式的“一”和“该”包括复数指称,除非上下文另行明确指明。
图1为根据示例性实施例的图示了用于创建全景图像的成像系统100的示意图。参照图1,系统100可包括相机装配件(rig)110、一个以上相机120(例如,图1中示出的相机120a、120b、...和120h)和控制器130。除非另有注明,否则术语“相机120”应理解成意为相机120a-120h中的任一个或全部。
相机装配件110可以是用于安装相机120的结构。相机装配件110可以构建为形成特别设计的相机路径。工业标准捆绑和夹紧装置可结合多种定制装配方案使用,以允许定位、高度和相机移动方面的较大灵活性。相机装配件110可包括复杂的结构,其包括多种直径的圆和曲线、直轨道、斜/倾角、高架装配(overhead rigging)等。相机装配件110还可以是简单的直轨道或曲轨道。例如,在360度全景摄影中,相机装配件110可以形成360度的圆形以对齐相机120。
相机120可以是包括下列任一项的图像捕捉装置:光学装置、透镜、电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)检测器阵列和驱动电路、以及用于发送和接收多种波长的光的光学部件、电子部件和控制电路的其他排布。例如,相机120可以是运动型相机、数字相机、网络相机或数字单镜头反光(DSLR)相机。相机120还可以嵌入其他装置中,例如嵌入智能手机、计算机、个人数字助理(PDA)、监视装置、视频游戏控制台等。
相机120可以配置为以多种方式捕捉一个以上图像。例如,相机120可以配置为,通过程序、通过硬件设置或其组合而在用户的启动下捕捉图像。在一些实施例中,当相机120配置为通过软件或硬件程序或通过硬件设置来捕捉图像时,可在一个以上预定条件下执行图像捕捉。例如,可由控制器120控制多个相机120来同时捕捉图像或以有序的方式捕捉图像。可选地或另外地,一组预定条件,例如感测到移动对象,可触发相机120捕捉图像。在一些实施例中,捕捉图像可包括将相机120置于能够捕捉一个以上图像的模式或设定。这里所用的“图像”可以指部分或整体的静态或动态的视觉表示,其包括但不限于照片、图片、图形、视频、全息图、虚拟现实图像、增强现实图像、其他视觉表示或其组合。
相机120可包括适合于全息图创建的多种特性。在一个实施例中,相机120可使用能够以加强的颜色和对比度来捕捉高分辨率(例如,4608x3456)照片的16MP(兆像素)光传感器。相机120还可具有宽视场,例如155度视角。相机120可进一步配置为以多种分辨率和帧率记录视频,例如30fps帧率下1296p的分辨率,以及30fps或60fps帧率下1080p的分辨率。
如图1所示,在一个实施例中,八个相机(即相机120a-120h)均匀地分开并安装在相机装配件110上以形成圆形。八个相机120可协作实现360度全景覆盖。例如,由相机120同时或在不同时点获取的源图像可以拼接在一起以生成360度的全景图像。
虽然图1示出了系统100包括八个相机120,但能想到还可使用更多个或更少个相机或甚至单个相机120来创建全景图像。例如,单个相机120可以改变其位置和/或取向来在不同时点捕捉多个源图像。这些原图像然后可被拼接在一起以形成全景图像。
然而,不论待拼接的源图像是由不同相机同时捕捉的还是由同一相机在不同时点捕捉的,由于每个源图像是在不同条件下取得的,不同的源图像会有不同的亮度和/或色度。例如,由于图像捕捉参数是根据实时成像条件而对每个源图像在相机120中自动设定的,照度等级的变化会引起待拼接的相邻源图像中的不同的曝光等级,而多种颜色的物体的不同分布会影响白平衡设定,产生的图像中不同的源图像中的同一物体看起来显得不同,不是亮了就是暗了,或甚至具有不同的表观颜色。
例如,如图1所示,相机120a-120h可用来在光源140(例如闪光单元或太阳)下同时分别捕捉源图像Ma-Mh(未示出)。源图像Ma-Mh可然后相继拼接以创建360度全景图像,其中Ma是第一源图像,Mh是最后源图像。相机120a和120b可能工作在逆光条件下使得源图像Ma和Mb将物体显示得更黑,而相机120e和120f工作在反光条件下使得源图像Me和Mf将同一物体显示得更亮。因此,在作为结果的全景图中,虽然源图像(Ma,Mb)并未紧邻源图像Me、Mf,但(Ma,Mb)和(Me,Mf)之间的亮度和/或色度的不一致会显著到足以引起观看者的注意。此外,在360度全景图中,第一源图像Ma和最后一个源图像Mf也需要拼接在一起,因此Ma和Mb之间任何亮度和/或色度的不一致也会容易被注意到。
为了处理上述问题,本公开提供了一种在形成全景图的源图像的一些或全部之间获得亮度和/或色度一致性的全局调整方法。即,所公开的方法不仅确保两个相邻源图像之间的局部亮度和/或色度一致性,而且确保非相邻的源图像之中的全局亮度和/或色度一致性,而且特别是在拼接次序中第一与最后源图像之间的一致性。
在示例性实施例中,相机120可将捕捉的源图像发送至控制器130以进一步处理,包括使用所公开的方法创建全景图像。控制器130可以是为全景图创建而专门设计的独立装置。备选地,控制器130可以是更大装置(例如计算机)的一部分。而且,控制器130可以通过硬件、软件或硬件和软件的组合来实施。控制器130可以用有线和/或无线的方式连接至相机120,例如通过通信电缆和/或WiFi网络。控制器130可以发送控制信号给相机120以控制相机操作,包括捕捉源图像。控制器130还可以从相机120接收捕捉的源图像和/或视频帧,并将这些源图像拼接成全景图像。
图2为根据示例性实施例的控制器130的框图。例如,控制器130可用在成像系统100中。参照图2,控制器130可包括输入/输出(I/O)接口132、处理单元134、存储单元136和/或存储器模块138。
I/O接口132可配置为在控制器130和多种装置之间进行双向通信。例如,如图2所示,I/O接口132可发送和接收给相机120的操作信号,从相机120接收捕捉的图像和/或视频帧。I/O接口132可通过通信电缆、网络或其他通信介质发送和接收数据。网络可以是可允许传送和接收数据的任何类型的有线或无线网络。例如,网络可以是全国性蜂窝网络、局域无线网络(例如蓝牙TM或WiFi)或有线网络。
I/O接口132可配置为将其从相机120接收的图像数据合并,并将合并的图像数据转发给处理单元134。处理单元134可包括任何合适类型的通用或专用微处理器、数字信号处理器或微处理器。处理单元134可配置为用来创建全景图像的单独的处理器模块。备选地,处理单元134可配置为共享处理器模块,用于执行与全景图创建无关的其他功能。处理单元134可执行计算机指令(程序代码)并根据这里描述的技术来执行功能。计算机指令包括例程、程序、对象、组件、数据结构、过程、模块和函数。
存储单元136和/或存储器模块138中的每个可包括一个以上配置为存储用于创建全景图像的指令和/或数据的存储器。存储器可以使用任意类型的易失性或非易失性存储装置或其组合来实施,例如静态随机存取存储器(SRAM)、电可擦除可编程只读存储器(EEPROM)、可擦除可编程只读存储器(EPROM)、可编程只读存储器(PROM)、只读存储器(ROM)、磁存储器、闪存、磁盘或光盘。
存储单元136和/或存储器模块138可配置为存储计算机指令和数据,其可由处理单元134使用来执行与本公开一致的功能。例如,存储单元136和/或存储器模块138可存储待拼接的源图像和创建的全景图像。作为另一个例子,存储单元136和/或存储器模块138可存储计算机指令,其用于执行所公开的在全景图创建期间全局地调整亮度和/或色度的方法。
图3为根据示例性实施例的用于拼接多个图像的方法300的流程图。例如,方法300可在控制器130中执行。参照图3,方法300可包括以下步骤。
在步骤310中,控制器130获得n个源图像并将n个源图像按顺序进行排序。这里,n为整数且n≥2。
每个已排序的源图像可部分地与其相邻的源图像重叠。例如,在n≥3的情况下,当i为整数且n>i≥2时,第i源图像可具有与第(i-1)源图像的至少一部分重叠的第一区域和与第(i+1)源图像的至少一部分重叠的第二区域。此外,在360度全景图创建中,第n源图像还可与第一源图像重叠。如下所具体描述的,控制器130可通过在重叠区域进行合并来拼接这n个源图像。
在上述关于图1的例子中,控制器130可获得8个源图像Ma-Mh并将它们按Ma、Mb、...和Mh的次序排序。每个源图像可包括分别与两个相邻源图像重叠的两个区域。由于Ma-Mh共同地覆盖360度视图,并且第一图像Ma和最后一个图像Mh部分地彼此重叠,因此Ma和Mh也认为是“相邻的”源图像。
在步骤320中,控制器130确定n个源图像的重叠区域的平均像素值。如本公开中所使用的,术语“像素值”指的是与源图像中的像素或创建的全景图像中的像素关联的亮度值和/或色度值。亮度值和色度值可从任何颜色空间获取,例如RGB或YUV颜色空间。因此,所公开的方法适用于RGB和YUV颜色空间两者。不失一般性地,以下描述将假设像素值为亮度值(后文指代为“Y”)。
在步骤320中,控制器130可确定每个重叠区域的平均亮度值例如,第i源图像与第(i+1)源图像部分重叠。因此,控制器130可分别确定第i和第(i+1)源图像中的一对重叠区域的平均亮度值和由于第i和第(i+1)源图像可能有不一致的亮度,因此和可能不同。
在步骤330中,控制器130确定与n个源图像关联的一致性因子(下文讨论)。一致性因子可用来调整相应源图像的像素值,从而获得n个源图像之间的全局亮度和/或色度一致性。
图4为根据示例性实施例的图示了方法300的实施的示意图。参照图4,三个源图像M1、M2和M3可进行拼接来创建360度全景图像。每个源图像可包括分别与两个相邻的源图像重叠的两个区域。即,区域R1b与区域R2a重叠,区域R2b与区域R3a重叠,并且区域R3b与区域R1a重叠。六个重叠区域中的每个区域具有分别由和表示的平均亮度值。控制器130可确定分别由f1、f2和f3表示的每个源图像的一致性因子。
理想地,对于具有一致亮度的源图像M1、M2和M3,平均亮度值和一致性因子应当满足以下公式:
公式1要求:
然而,在实践中,满足公式2几乎是不可能的。这是因为从源图像中获得的平均亮度值是随机的,并且彼此没有内在关系。
与本公开一致,为了处理上述困难,根据以下公式定义应用于360度全景图的误差公式:
如公式3所表明的,由于第一源图像和第n源图像彼此部分重叠,因此
f(n+1)=f1 公式4
并且
控制器130可通过将误差函数最小化来确定一致性因子,即:
在实践中,公式6要求:
其中δ1→0,δ2→0,...,δi→0,...,δn→0 公式8
因此,控制器130可运行优化处理来搜索满足公式7和8的较小正数δ。具体而言,控制器130可调整一致性因子fi直到满足公式7和8。最后获取的一致性因子fi是期望的一致性因子。
在步骤340(图3)中,控制器130基于一致性因子调整n个源图像的亮度和/或色度。
根据以上关于亮度值的描述,控制器130可通过将与每个源图像中每个像素关联的亮度值乘以对应的一致性因子fi来调整该每个源图像的亮度。例如,参照图4,控制器130可确定源图像M1的一致性因子f2。控制器130然后可将区域R1a和R2b中的亮度值与R1a和R2b之间的中间区域中的亮度值乘以一致性因子f2。控制器130可对源图像M2和M3执行类似的操作。如此,控制器130可全局地优化所有源图像间的亮度一致性。
在步骤350中,控制器130将n个源图像拼接为全景图像。
控制器130可根据任何合适的方法将经优化的源图像拼接为全景图像。例如,控制器130可按步骤310中确定的顺序依次拼接源图像。为了将第i源图像拼接至已有的全景图像(即,包括头(i-1)个源图像的全景图像),控制器130可在第(i-1)和第i源图像的重叠区域中找到最佳接缝,并沿着该接缝将两个源图像合并在一起。为了减少这些两个源图像之间的色差并使全景图像中的颜色过渡平滑,控制器130可用误差分散处理来执行图像融合。即,控制器130可计算接缝上的色差并将亮度(和/或颜色)差在第i源图像侧的所有像素上扩散开。控制器130可通过增加贡献度来更新这些像素的亮度(和/或颜色)值。控制器130然后可将第i源图像的更新的像素值进行编码并保存在全景图像文件中。这样,控制器130可对当前全景图像的颜色过渡进行平滑。控制器130可对所有源图像重复该处理。而且,在360度全景图的情况下,控制器130可在第一和第n源图像的重叠区域找到最佳接缝,并在该最佳接缝处合并这两个源图像以创建连续的环形360度全景图像。
除了亮度一致性,还可想到将上述方法300类似地应用于色度一致性的全局优化。在一些实施例中,可确定同样的一致性因子并用于亮度和色度两者。在另一实施例中,可确定不同组的一致性因子并分别用于亮度和色度。
在示例性实施例中,任何合适的优化处理可用来确定一致性因子fi(步骤340)。图5为根据示例性实施例的用于确定一致性因子的方法500的流程图。参照图5,方法500可包括以下步骤。
在步骤510中,控制器130计算一致性因子的初始值。
在执行方法500时,控制器130可使用第一源图像作为参照图像。在一个实施例中,控制器130可给f1分配预定值。例如,控制器130可设定:
f1=1 公式9
控制器130然后可根据公式10来计算其他一致性因子的初始值:
返回参照公式4,f(n+1)实际上是与第一源图像关联的一致性因子。因此,如果公式10的计算结果包括f(n+1)=1=f1,控制器130可确定:该初始计算的一致性因子当应用于相应源图像时能确保整个全景图像的亮度一致性。在这种情况下,方法500结束。
然而,如果f(n+1)≠f1,可使用方向参数S用于评估调整经排序的源图像之间的亮度非一致性的期望方向。具体而言,如果f(n+1)>1,控制器130可设定S=-1,表明亮度等级应在从第一源图像至第n源图像的方向上进一步调低。如果f(n+1)<1,控制器130可设定S=1,表明亮度等级应在从第一源图像至第n源图像的方向上进一步调高。
如果f(n+1)≠f1,控制器130进行到步骤520,其中使用预定的步长来计算一致性因子。控制器130可根据公式11来计算一致性因子:
其中k是用来量化公式11的步长的迭代参数。如果步长的值表示为p,控制器130可使得k=p。例如,p可以初始地设定为0.5。使用公式9和10,控制器130可计算整组一致性因子fi。
在步骤530中,控制器130确定f1和f(n+1)是否会聚。如果f1和f(n+1)会聚,控制器130进行到步骤540。如果f1和f(n+1)不会聚,控制器130更新步长并重复步骤520。
例如,如果|f(n+1)-f1|≤0.01,控制器130可确定f1和f(n+1)会聚,并进行到步骤540。相反,如果|f(n+1)-f1|>0.01,控制器130可确定f1和f(n+1)未会聚,并返回到步骤520。
在步骤520的每次迭代之前,控制器130可基于上次迭代的结果更新步长,即迭代参数k。具体而言,如果在步骤520的上次迭代之后,方向参数S保持同一符号,这表明前次使用的步长不够大。因此,控制器130可根据公式12增加步长:
k=k+p 公式12
相反,如果在步骤520的上次迭代之后,方向参数S改变了符号,这表明前次使用的步长太大。因此,控制器130可先根据公式13更新p:
并然后根据公式14减少步长:
k=k-p 公式14
在更新迭代参数后,控制器130可使用更新的迭代参数k和原方向参数S根据公式9和10重复步骤520。换言之,即使在步骤520的上次迭代后S改变了符号,控制器130仍然使用从步骤520的第一次迭代获取的S。
在步骤540中,控制器130输出会聚的一致性因子。
将会聚的一致性因子应用到相应源图像使重叠区域的平均亮度值的差减少到最终达到的步长k以下,并因此实现了亮度一致性的全局优化。例如,会聚的一致性因子可用在方法300中来调整每个源图像的亮度等级并类似地调整色度等级,以达到全局亮度和/或色度一致性。这样,源图像之间的亮度和/或色度非一致性可减少并然后均匀扩散到整个全景图像中。
图6A是图示出未使用所公开的方法实现的结果的360度全景图像。如图6A所示,全景图像只经过了拼接缝平滑处理,但没有进行亮度和/或色度的全局调整。因此,全景图像具有明显的亮度不一致性。
相反,图6B是图示出使用所公开的方法实现的结果的360度全景图像。如图6B所示,经过亮度和/或色度的全局调整后,进行步骤350中的拼接缝平滑,由此得到的全景图像在整个360度视野中具有一致的视觉效果。
虽然在此描述了说明性的实施例,但本领域技术人员基于本公开将能够认识到:其范围包括具有等同元件、更改、省略、组合(例如多种实施例交叉的方案)、适应性改动和/或替换的任一或全部实施例。权利要求中的限定要基于权利要求中使用的语言而宽泛地解释,而不限于本说明书中描述的或本申请审查期间的例子。上述例子应解读为非排他的。此外,所公开的过程中的步骤可用任何方式修改,包括对步骤重新排序和/或插入或删除步骤。因此,说明书和例子旨在视为仅仅是说明性的,而真实范围和精神由随附的权利要求及其全部的等同范围来表示。
Claims (19)
1.一种用于拼接多个图像的方法,所述图像包括具有像素值的像素,所述方法包括:
对所述多个图像按顺序进行排序,以使得:
相邻的图像至少部分彼此重叠;并且
第一图像和最后图像至少部分彼此重叠;
确定图像的重叠区域的平均像素值;
确定图像的一致性因子;
通过将平均像素值乘以相应的一致性因子来生成修正的平均像素值;
调整一致性因子以减小重叠区域中的修正的平均像素值的差;以及
基于相应的一致性因子来调整图像的像素值。
2.根据权利要求1的方法,其中,调整一致性因子包括:
构建一致性因子的误差函数,该误差函数表示重叠区域中的修正的平均像素值的差;以及
调整一致性因子以使误差函数最小化。
3.根据权利要求2的方法,其中误差函数为重叠区域中的修正的平均像素值的差的平方和。
4.根据权利要求1的方法,其中,确定图像的一致性因子包括:
将与图像中的第一图像相关联的一致性因子设定为预定值;以及
基于所述预定值和重叠区域中的平均像素值来确定与图像中的第二图像相关联的一致性因子。
5.根据权利要求4的方法,其中,调整一致性因子包括:
调整一致性因子以使得每个修正的平均像素值的差小于阈值。
6.根据权利要求1的方法,其中基于相应的一致性因子来调整图像的像素值包括:
将图像的像素值乘以相应的一致性因子。
7.根据权利要求1的方法,其中每个像素值包括色度值或亮度值中的至少一个。
8.根据权利要求1的方法,进一步包括:
在调整了图像的像素值之后,拼接多个图像。
9.根据权利要求8的方法,其中,拼接图像包括:
对相邻的图像之间的像素值的过渡进行平滑。
10.根据权利要求1的方法,其中,所述多个图像联合地呈现360度全景视图。
11.一种用于组合多个图像的方法,包括:
获得n个图像,n为整数且n≥2;
在图像中识别第一区域和第二区域;
对图像按顺序进行排序;
在n个图像中,将第i图像的第二区域与第i+1图像的第一区域进行配对,i为整数且n>i≥1;
将第n图像的第二区域与第一图像的第一区域进行配对;
确定第一区域和第二区域中的平均像素值;
确定用于图像的一致性因子;
通过将平均像素值乘以相应的一致性因子来生成修正的平均像素值;
调整一致性因子以减小配对区域中的修正的平均像素值的差;以及
基于相应的一致性因子来调整图像的像素值。
12.根据权利要求11的方法,其中,调整一致性因子包括:
构建一致性因子的误差函数,该误差函数表示配对区域中的修正的平均像素值的差;以及
调整一致性因子以使误差函数最小化。
13.根据权利要求12的方法,其中误差函数为配对区域中的修正的平均像素值的差的平方和。
14.根据权利要求11的方法,其中,确定图像的一致性因子包括:
将与图像中的第一图像相关联的一致性因子设定为预定值;以及
基于所述预定值和配对区域中的平均像素值来确定与图像中的第二图像相关联的一致性因子。
15.根据权利要求14的方法,其中,调整一致性因子包括:
调整一致性因子以使得每个修正的平均像素值的差小于阈值。
16.根据权利要求11的方法,其中基于相应的一致性因子来调整图像的像素值包括:
将图像的像素值乘以相应的一致性因子。
17.根据权利要求11的方法,进一步包括:
在调整了图像的像素值之后,通过合并配对区域来组合所述多个图像。
18.根据权利要求17的方法,其中,组合图像包括:
对合并的图像之间的像素值的过渡进行平滑。
19.一种用于拼接多个图像的装置,所述图像包括具有像素值的像素,所述装置包括:
存储器,存储指令;以及
处理器,被配置为执行所述指令以:
对所述多个图像按顺序进行排序,以使得:
相邻的图像至少部分彼此重叠;并且
第一图像和最后图像至少部分彼此重叠;
确定图像的重叠区域的平均像素值;
确定图像的一致性因子;
通过将平均像素值乘以相应的一致性因子来生成修正的平均像素值;
调整一致性因子以减小重叠区域中的修正的平均像素值的差;以及
基于相应的一致性因子来调整图像的像素值。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610392155.3A CN106097244A (zh) | 2016-06-03 | 2016-06-03 | 用于拼接图像的方法和装置以及用于组合图像的方法 |
US15/198,171 US10304173B2 (en) | 2016-06-03 | 2016-06-30 | Global adjustment of luminance and chrominance consistency among multiple images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610392155.3A CN106097244A (zh) | 2016-06-03 | 2016-06-03 | 用于拼接图像的方法和装置以及用于组合图像的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106097244A true CN106097244A (zh) | 2016-11-09 |
Family
ID=57447786
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610392155.3A Pending CN106097244A (zh) | 2016-06-03 | 2016-06-03 | 用于拼接图像的方法和装置以及用于组合图像的方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10304173B2 (zh) |
CN (1) | CN106097244A (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107918930A (zh) * | 2017-12-28 | 2018-04-17 | 华润电力技术研究院有限公司 | 一种地形图生成系统 |
CN108833874A (zh) * | 2018-07-04 | 2018-11-16 | 长安大学 | 一种用于行车记录仪的全景图像色彩校正方法 |
CN109561261A (zh) * | 2017-09-27 | 2019-04-02 | 卡西欧计算机株式会社 | 图像处理装置、图像处理方法以及记录介质 |
CN110651275A (zh) * | 2017-03-22 | 2020-01-03 | 人眼技术有限公司 | 用于校正全景数字重叠图像的系统和方法 |
CN111652916A (zh) * | 2020-05-11 | 2020-09-11 | 浙江大华技术股份有限公司 | 全景图像生成方法、设备及计算机存储介质 |
CN112308773A (zh) * | 2020-08-19 | 2021-02-02 | 贵州电网有限责任公司 | 一种无人机航摄影像无损放大和拼接融合方法 |
CN117455823A (zh) * | 2023-11-23 | 2024-01-26 | 镁佳(北京)科技有限公司 | 一种图像调节方法、装置、计算机设备及存储介质 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018110597A1 (de) * | 2018-05-03 | 2019-11-07 | Connaught Electronics Ltd. | Verfahren zur Bildharmonisierung, Bildverarbeitungseinrichtung, Kamerasystem und Kraftfahrzeug |
TWI760733B (zh) * | 2020-04-27 | 2022-04-11 | 晶睿通訊股份有限公司 | 影像校正方法及其影像校正裝置 |
CN113706375A (zh) * | 2020-05-20 | 2021-11-26 | 佛吉亚歌乐电子(厦门)有限公司 | 一种图像拼接装置及方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6813391B1 (en) * | 2000-07-07 | 2004-11-02 | Microsoft Corp. | System and method for exposure compensation |
CN104125410A (zh) * | 2014-07-02 | 2014-10-29 | 深圳英飞拓科技股份有限公司 | 一种全景视频多镜头曝光补偿方法及其装置 |
CN105516614A (zh) * | 2015-11-27 | 2016-04-20 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120019614A1 (en) * | 2009-12-11 | 2012-01-26 | Tessera Technologies Ireland Limited | Variable Stereo Base for (3D) Panorama Creation on Handheld Device |
US20110141226A1 (en) * | 2009-12-11 | 2011-06-16 | Fotonation Ireland Limited | Panorama imaging based on a lo-res map |
US20110141229A1 (en) * | 2009-12-11 | 2011-06-16 | Fotonation Ireland Limited | Panorama imaging using super-resolution |
US20110141224A1 (en) * | 2009-12-11 | 2011-06-16 | Fotonation Ireland Limited | Panorama Imaging Using Lo-Res Images |
US20120019613A1 (en) * | 2009-12-11 | 2012-01-26 | Tessera Technologies Ireland Limited | Dynamically Variable Stereo Base for (3D) Panorama Creation on Handheld Device |
US8294748B2 (en) * | 2009-12-11 | 2012-10-23 | DigitalOptics Corporation Europe Limited | Panorama imaging using a blending map |
US20110141225A1 (en) * | 2009-12-11 | 2011-06-16 | Fotonation Ireland Limited | Panorama Imaging Based on Low-Res Images |
US10080006B2 (en) * | 2009-12-11 | 2018-09-18 | Fotonation Limited | Stereoscopic (3D) panorama creation on handheld device |
EP2846532A1 (en) * | 2013-09-06 | 2015-03-11 | Application Solutions (Electronics and Vision) Limited | System, device and method for displaying a harmonised combined image |
US10750153B2 (en) * | 2014-09-22 | 2020-08-18 | Samsung Electronics Company, Ltd. | Camera system for three-dimensional video |
US10194089B2 (en) * | 2016-02-08 | 2019-01-29 | Qualcomm Incorporated | Systems and methods for implementing seamless zoom function using multiple cameras |
US9811946B1 (en) * | 2016-05-30 | 2017-11-07 | Hong Kong Applied Science and Technology Research Institute Company, Limited | High resolution (HR) panorama generation without ghosting artifacts using multiple HR images mapped to a low resolution 360-degree image |
-
2016
- 2016-06-03 CN CN201610392155.3A patent/CN106097244A/zh active Pending
- 2016-06-30 US US15/198,171 patent/US10304173B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6813391B1 (en) * | 2000-07-07 | 2004-11-02 | Microsoft Corp. | System and method for exposure compensation |
CN104125410A (zh) * | 2014-07-02 | 2014-10-29 | 深圳英飞拓科技股份有限公司 | 一种全景视频多镜头曝光补偿方法及其装置 |
CN105516614A (zh) * | 2015-11-27 | 2016-04-20 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
Non-Patent Citations (2)
Title |
---|
傅军栋: "《实景图像拼接及其漫游控制技术》", 30 June 2011 * |
韩晓微等著: "《数字图像融合技术》", 31 December 2010 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110651275A (zh) * | 2017-03-22 | 2020-01-03 | 人眼技术有限公司 | 用于校正全景数字重叠图像的系统和方法 |
CN109561261A (zh) * | 2017-09-27 | 2019-04-02 | 卡西欧计算机株式会社 | 图像处理装置、图像处理方法以及记录介质 |
CN109561261B (zh) * | 2017-09-27 | 2021-06-15 | 卡西欧计算机株式会社 | 图像处理装置、图像处理方法以及记录介质 |
CN107918930A (zh) * | 2017-12-28 | 2018-04-17 | 华润电力技术研究院有限公司 | 一种地形图生成系统 |
CN108833874A (zh) * | 2018-07-04 | 2018-11-16 | 长安大学 | 一种用于行车记录仪的全景图像色彩校正方法 |
CN108833874B (zh) * | 2018-07-04 | 2020-11-03 | 长安大学 | 一种用于行车记录仪的全景图像色彩校正方法 |
CN111652916A (zh) * | 2020-05-11 | 2020-09-11 | 浙江大华技术股份有限公司 | 全景图像生成方法、设备及计算机存储介质 |
CN111652916B (zh) * | 2020-05-11 | 2023-09-29 | 浙江大华技术股份有限公司 | 全景图像生成方法、设备及计算机存储介质 |
CN112308773A (zh) * | 2020-08-19 | 2021-02-02 | 贵州电网有限责任公司 | 一种无人机航摄影像无损放大和拼接融合方法 |
CN112308773B (zh) * | 2020-08-19 | 2023-04-18 | 贵州电网有限责任公司 | 一种无人机航摄影像无损放大和拼接融合方法 |
CN117455823A (zh) * | 2023-11-23 | 2024-01-26 | 镁佳(北京)科技有限公司 | 一种图像调节方法、装置、计算机设备及存储介质 |
CN117455823B (zh) * | 2023-11-23 | 2024-08-20 | 镁佳(北京)科技有限公司 | 一种图像调节方法、装置、计算机设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20170352138A1 (en) | 2017-12-07 |
US10304173B2 (en) | 2019-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106097244A (zh) | 用于拼接图像的方法和装置以及用于组合图像的方法 | |
CN105976325A (zh) | 用于调整多个图像的明亮度的方法 | |
KR102338576B1 (ko) | 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법 | |
JP6605049B2 (ja) | ユーザ端末のパノラマ画像生成方法及び装置 | |
CN102821238B (zh) | 宽视场超高分辨率成像系统 | |
EP2840445B1 (en) | Photograph shooting method and electronic device | |
CN105321151A (zh) | 一种全景图拼接亮度均衡方法及系统 | |
WO2012086120A1 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム | |
CN103986867A (zh) | 一种图像拍摄终端和图像拍摄方法 | |
US20130155117A1 (en) | Display apparatus and method and computer-readable storage medium | |
KR20130055002A (ko) | 줌 카메라 이미지 블렌딩 기술 | |
US9277201B2 (en) | Image processing device and method, and imaging device | |
KR20130112574A (ko) | 확대된 영상의 화질을 개선하기 위한 장치 및 방법 | |
CN103973963B (zh) | 图像获取装置及其图像处理方法 | |
CN109166076B (zh) | 多相机拼接的亮度调整方法、装置及便携式终端 | |
CN108665415B (zh) | 基于深度学习的图像质量提升方法及其装置 | |
JP2019092156A (ja) | 重なり合う視界を有する第1の画像と第2の画像とを合成するための方法、デバイス、およびカメラ | |
JP5735846B2 (ja) | 画像処理装置およびその方法 | |
CN109873981A (zh) | 车载360环视系统四路智能曝光策略 | |
US20150054926A1 (en) | Image processing device and method, and image capturing device | |
JPWO2014148031A1 (ja) | 画像生成装置、撮像装置および画像生成方法 | |
CN112118435A (zh) | 面向异形金属屏幕的多投影融合方法及系统 | |
CN107610045B (zh) | 鱼眼图片拼接中的亮度补偿方法、装置、设备及存储介质 | |
CN108156383B (zh) | 基于相机阵列的高动态十亿像素视频采集方法及装置 | |
CN109600556B (zh) | 一种基于单反相机的高质量精密全景成像系统及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161109 |
|
RJ01 | Rejection of invention patent application after publication |