CN104365092B - 用于图像融合的方法和设备 - Google Patents
用于图像融合的方法和设备 Download PDFInfo
- Publication number
- CN104365092B CN104365092B CN201380030655.7A CN201380030655A CN104365092B CN 104365092 B CN104365092 B CN 104365092B CN 201380030655 A CN201380030655 A CN 201380030655A CN 104365092 B CN104365092 B CN 104365092B
- Authority
- CN
- China
- Prior art keywords
- level image
- image
- parallax
- level
- picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Abstract
用于融合图像的方法和装置。描述了用于通过融合包含在二级图像(2)中的更丰富的信息来改善主要图像(1)的方法和装置(30)。检索(10)包含在二级图像(2)中的对象的3D结构,并且使用该3D结构来生成二级图像(2)的视差修正版本。为此,确定相机位姿,对于该相机位姿,被包含在二级图像(2)中的对象的3D结构的投影最类似于主要图像(1)中的景物,并且,基于所确定的相机位姿来合成二级图像(2)的视差修正版本。然后将二级图像(2)的视差修正版本与主要图像(1)进行融合。
Description
本发明涉及用于融合图像的方法和设备。更具体地,本发明涉及通过利用在单独的视图中可获得的感兴趣的对象的更丰富的信息来无缝改善这些对象在大的全景图像中的视觉质量和细节等级的方法和装置。
当探究全景图像时,有时希望仔细看看包含某些感兴趣的对象的特定区域。在这样的情形中,当这些对象离相机较远时,全景图像提供的分辨率通常是不足的。针对该问题的直接解决方案将是增加分辨率并且缩短全景捕捉设置的曝光时间。然而,该解决方案将需要巨大的传输带宽或存储容量,这可能使得该解决方案在实践中无法使用。而且,在当前的图像传感器的能力上存在技术限制。
可替代地,当单独的相机跟踪感兴趣的对象并捕捉具有更高的细节等级的感兴趣的对象时,该补充图像能够与全景图像进行融合,以便在该全景图内提供感兴趣的对象的增强版本。相关技术能够被分类为多图像融合或接合。例如,文件CA 2386347描述了用于将低分辨率视频流和高分辨率视频流准确地组合为对于人类观察者而言的单个无缝显示的处理。全景视觉传感器捕捉全景图,而进一步的传感器捕捉详细的图像。两个传感器均被安排为固定系统。为了减小低分辨率视频和高分辨率视频之间的边界的干扰,在这两个视频之间的环形区域内将这两个视频平滑地混合在一起。不同分辨率图像的融合只能很好地适用于离传感器为中间距离。在其他深度处会发生图像失配(misregistration)。
通常,尝试融合来自任意视点的信息一般将会导致不正确插入附加的高质量视觉数据。该问题在图1和图2中被示出。在该示例中,详细视图2已被插入到(全景的)图像1中以匹配订书机的位置。由此可见,所插入的矩形的顶部和底部的景物偏移(perspectivemisalignment)导致了显著的伪影。
为了解决该问题,US 2003/0235344公开了一种用于接合两个或多个图像的方法。通过使用平面扫描算法来计算重叠图像中的像素的相对深度。该深度用于图像校正。然后结果图像被接合。该文件中所描述的解决方案只适用于如下所述的情形的有限子集:所有的图像(即,详细视图和全景捕捉视图)都至少大概对齐,以使得矫正实际上有用。对于融合图像,不同差距等级(即,深度等级)的像素的条纹仅仅被混合,这可能导致图像失真。此外,需要逆向变形阶段,这可能是进一步图像失真的根源。
因此,本发明的目的是针对无缝融合图像提出改善的解决方案。
根据本发明,一种用于将二级图像与主要图像进行融合的方法包括以下步骤:
-检索包含在该二级图像中的对象的3D结构;
-通过确定相机位姿并且基于所确定的相机位姿来合成二级图像的视差修正版本,来使用3D结构生成二级图像的视差修正版本,其中,对于该相机位姿,被包含在二级图像中的对象的3D结构的投影最类似于主要图像中的景物();
-将该二级图像的视差修正版本与主要图像进行融合。
本发明的一个目标情景是伴随有多个独立的高清相机的静态全景图像捕捉设置。这些独立的高清相机是立体相机,或者最为期待的是全光相机或光场相机。这样的相机允许在某一界限内最少引入误差的情况下任意更改景物视差(perspective parallax),其中,景物视差由相机的物理实现来限定。通过将这些相机放置于离主要全景设置合理地短的距离处,感兴趣的对象的高细节捕捉中场景视差能够被补偿为类似于全景捕捉的场景视差(scene parallax)。通过对3D结构的明确利用,将感兴趣的对象的详细视图与全景图像进行无缝融合是可能的。当然,全景图像没必要是静态图像。全景图像同样可以包含运动对象。对此的一个示例是运动竞技场,在运动竞技场中,运动员相对于本质上静态的背景而言是运动的。
对上面情景的应用按照如下来工作。用户交互地选择全景图中用于显示的区域,该区域中包含一个或多个感兴趣的对象。这些对象被自动或交互地从背景中分割。然后,第二图像(包含感兴趣的对象的高细节捕捉)被视差修正以适合于全景景物(panoramicperspective)。最后,全景图中感兴趣的对象由经变换(旋转、平移、缩放)的高细节版本所代替,并且边界被合宜地混合以在该全景图的背景中提供平滑的整合。
主流立体相机和光场相机的日益传播以及即将到来的3D内容的广泛使用使得存在本发明的进一步的目标情景。例如,从数据库(例如,互联网)收集到的多组立体图像可以被接合以构造高质量的全景图。另外,可以使用来自包含上述对象的不同图像的具有更好视觉质量的类似内容来对图像中感兴趣的内容进行改善,而不考虑这些图像之间的视差差别。
为了更好的理解,现将参照附图在以下描述中更详细地解释本发明。应当理解,本发明不限于该示例性实施例,并且在不背离所附权利要求定义的本发明的范围的情况下也可以方便地组合和/或修改特定特征。在这些附图中:
图1示出从全景图像中选择出的原始的模糊区域,
图2示出在插入来自详细视图的更丰富的数据之后的图1的区域,
图3示出根据本发明的用于融合图像的方法,
图4示意性地描绘出实现图3的方法的装置,
图5更详细地示出图4的装置的视差修正级,以及
图6描绘出使用图4的装置所获得的平滑融合的图像。
图1示出从全景图像中选择出的原始的稍微模糊的区域1。在图2中,更详细的图像2已被插入至区域1中。由此可见,所插入的详细图像2的顶部和底部的景物偏移导致了显著的伪影。
图3示出根据本发明的用于融合图像的方法,该方法避免或至少减弱了这样的伪影。在第一步中,使用可用于详细视图的信息来检索该详细视图的3D结构(10)。例如,使用一对立体相机提供的深度通道、全光相机或光场相机提供的光场描述等来检索3D结构。然后,基于由观察者在大的全景视图中交互选择出的区域以及从详细视图中提取到的3D结构,产生详细视图的视差修正版本(11),该视差修正版本与从全景的视点所看到的景物相匹配。于是,来自视差修正视图的数据能够被用来将来自详细视图的更丰富的数据无缝地整合到全景图中(12)。
在图4中示意性地描述了实现上述解决方案的装置20。在3D结构检索级21,从详细的辅助视图中检索场景的3D结构。对于立体设置,可以通过任意现有的立体重建技术来完成。在由光场相机所捕获的数据的情形中,优选地使用更精确的过程(例如,N.Snavely等描述的来自运动的结构(Structure from Motion):“Modeling the World from InternetPhoto Collections”(Int.J.Comput.Vis.Vol.80(2008),PP.189-210)(从互联网照片集中建模世界,国际计算机视觉期刊,2008年第80卷,第189-210页))以使得无需专门的设置校准而自动处理光场捕捉中大量可用视图。在另一情形中,该级的输出包含,例如作为每个像素的深度值的对辅助设置所捕捉的场景的3D描述。
视差修正级22被提供以用于生成视差修正的详细视图。视差修正级22包括两个子级,如图5中所示。第一子级,位姿估计器30,获得相机位姿(即,相机位置和方向),对于该相机位姿,详细视图的3D结构的投影最类似于全景视图中的景物。然后视图合成器31用第一子级30中获得的相机位姿对详细视图执行照片逼真变形。
位姿估计器30优选地实现像RANSAC(RANdom SAmple Consensus,随机抽样一致性)的鲁棒技术,即,通过检查变形的详细视图和全景视图之间的突显点的投影误差来完成位姿估计。用于最优化的位姿模型由10个参数组成:焦距(1:f)、光学中心偏移(2:cx和cy)、旋转(4:参见下文)以及平移(3:tx、ty和tz)。有些假设允许简化位姿模型。假设全景图像不存在偏斜误差,即,偏斜系数等于零。而且,假设垂直焦距和水平焦距相等,并且镜头失真可以忽略不计,这对于由于大的变焦设置而焦距较大的感兴趣的情形而言是合理的。
结果位姿模型能够借助于标定矩阵K进行描述,K为:
其中,R为旋转矩阵,T为平移向量。旋转矩阵R能够通过使用罗德里格斯(Rodrigues)的旋转公式由四个参数进行参数化:给定单位向量(ux,uy,uz)(其中,ux 2+uy 2+uz 2=1),以围绕沿所述向量方向的轴线以角度θ旋转的矩阵R为:
通过位姿变换P的3D点X的像素位置x通过以下两个运算来获得:
和
视图合成器31优选地执行光场渲染(当辅助视图为该类型时),或者在更传统的立体捕捉设置下执行基于图像的渲染。视图合成器31的输出为视差修正的详细视图,该视差修正的详细视图现在能够容易地被融合在全景视图中。
为此,图像融合级23通过由视差修正级22生成的高细节变形的视图来代替全景视图中感兴趣的对象的轮廓内的内容。然后,该轮廓的边界周围的小区域(例如,沿法线方向的±2个像素)被用来平滑地对变形的视图的精细细节与来自全景视图的模糊背景之间的不连续进行内插。在更有利的情景中(即,全景视图和详细视图二者具有类似视点),该处理能够针对感兴趣的对象和其周围的背景二者来完成。在这样的情形中,轮廓对应于详细视图的图像区域,平滑的内插被实施于这样的矩形的周线。这样的示例在图6中被示出,该示例通过使用图4的装置来获得。
Claims (12)
1.一种用于将二级图像(2)与主要图像(1)进行融合的方法,所述主要图像是场景的全景视图,并且所述二级图像是所述场景的详细视图,该方法包括:
-通过使用可用于所述二级图像(2)的信息,来检索(10)包含在所述二级图像(2)中的对象的3D结构;
-通过确定相机位姿并且基于所确定的相机位姿来合成所述二级图像(2)的视差修正版本,来使用所述3D结构生成所述二级图像(2)的视差修正版本,其中,对于所述相机位姿,被包含在所述二级图像(2)中的对象的3D结构的投影最类似于所述主要图像(1)中的景物;以及
-将所述二级图像(2)的视差修正版本与所述主要图像(1)进行融合。
2.根据权利要求1所述的方法,其中,从为所述二级图像(2)提供的深度信息或光场描述中检索(10)所述二级图像(2)的3D结构。
3.根据权利要求1或2所述的方法,其中,通过对所述二级图像(2)执行照片逼真变形来合成所述二级图像(2)的视差修正版本。
4.根据权利要求1或2所述的方法,进一步包括:对所述主要图像(1)与所述二级图像(2)的融合的视差修正版本之间的边界区域执行内插。
5.根据权利要求1或2所述的方法,其中,所述主要图像(1)是全景图像,所述二级图像(2)是所述全景图像中的对象的更加详细的图像。
6.根据权利要求1或2所述的方法,其中,所述主要图像(1)和所述二级图像(2)是一组图像中的两个图像。
7.一种用于将二级图像(2)与主要图像(1)进行融合的装置(20),所述主要图像是场景的全景视图,并且所述二级图像是所述场景的详细视图,所述装置(20)包括至少一个处理器,所述至少一个处理器被配置为:
-3D结构检索级(21),所述3D结构检索级(21)被配置为通过使用可用于所述二级图像(2)的信息,来检索(10)包含在所述二级图像(2)中的对象的3D结构;
-视差修正级(22),所述视差修正级(22)被配置为通过确定相机位姿并且基于所确定的相机位姿来合成所述二级图像(2)的视差修正版本,来使用所述3D结构生成所述二级图像(2)的视差修正版本,其中,对于所述相机位姿,被包含在所述二级图像(2)中的对象的3D结构的投影最类似于所述主要图像(1)中的景物;以及
-图像融合级(23),所述图像融合级(23)被配置为将所述二级图像(2)的视差修正版本与所述主要图像(1)进行融合。
8.根据权利要求7所述的装置,其中,所述3D结构检索级(21)被配置为从为所述二级图像(2)提供的深度信息或光场描述中检索(10)所述二级图像(2)的3D结构。
9.根据权利要求7或8所述的装置,其中,所述视差修正级(22)被配置为通过对所述二级图像(2)执行照片逼真变形来合成所述二级图像(2)的视差修正版本。
10.根据权利要求7或8所述的装置,其中,所述图像融合级(23)被配置为对所述主要图像(1)与所述二级图像(2)的融合的视差修正版本之间的边界区域执行内插。
11.根据权利要求7或8所述的装置,其中,所述主要图像(1)是全景图像,所述二级图像(2)是所述全景图像中的对象的更加详细的图像。
12.根据权利要求7或8所述的装置,其中,所述主要图像(1)和所述二级图像(2)是一组图像中的两个图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP12305681.4A EP2675173A1 (en) | 2012-06-15 | 2012-06-15 | Method and apparatus for fusion of images |
EP12305681.4 | 2012-06-15 | ||
PCT/EP2013/061152 WO2013186056A1 (en) | 2012-06-15 | 2013-05-30 | Method and apparatus for fusion of images |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104365092A CN104365092A (zh) | 2015-02-18 |
CN104365092B true CN104365092B (zh) | 2017-05-17 |
Family
ID=48539166
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201380030655.7A Active CN104365092B (zh) | 2012-06-15 | 2013-05-30 | 用于图像融合的方法和设备 |
Country Status (6)
Country | Link |
---|---|
US (1) | US9576403B2 (zh) |
EP (2) | EP2675173A1 (zh) |
JP (1) | JP6157606B2 (zh) |
KR (1) | KR102013978B1 (zh) |
CN (1) | CN104365092B (zh) |
WO (1) | WO2013186056A1 (zh) |
Families Citing this family (54)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9298007B2 (en) | 2014-01-21 | 2016-03-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9366867B2 (en) | 2014-07-08 | 2016-06-14 | Osterhout Group, Inc. | Optical systems for see-through displays |
US9965681B2 (en) | 2008-12-16 | 2018-05-08 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9229233B2 (en) | 2014-02-11 | 2016-01-05 | Osterhout Group, Inc. | Micro Doppler presentations in head worn computing |
US10191279B2 (en) | 2014-03-17 | 2019-01-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9594246B2 (en) | 2014-01-21 | 2017-03-14 | Osterhout Group, Inc. | See-through computer display systems |
US9939934B2 (en) | 2014-01-17 | 2018-04-10 | Osterhout Group, Inc. | External user interface for head worn computing |
US9829707B2 (en) | 2014-08-12 | 2017-11-28 | Osterhout Group, Inc. | Measuring content brightness in head worn computing |
US9575321B2 (en) | 2014-06-09 | 2017-02-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
US9841599B2 (en) | 2014-06-05 | 2017-12-12 | Osterhout Group, Inc. | Optical configurations for head-worn see-through displays |
US10649220B2 (en) | 2014-06-09 | 2020-05-12 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US11103122B2 (en) | 2014-07-15 | 2021-08-31 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US10684687B2 (en) | 2014-12-03 | 2020-06-16 | Mentor Acquisition One, Llc | See-through computer display systems |
US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
US9746686B2 (en) | 2014-05-19 | 2017-08-29 | Osterhout Group, Inc. | Content position calibration in head worn computing |
US20160019715A1 (en) | 2014-07-15 | 2016-01-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
US9299194B2 (en) | 2014-02-14 | 2016-03-29 | Osterhout Group, Inc. | Secure sharing in head worn computing |
US9366868B2 (en) | 2014-09-26 | 2016-06-14 | Osterhout Group, Inc. | See-through computer display systems |
US9494800B2 (en) | 2014-01-21 | 2016-11-15 | Osterhout Group, Inc. | See-through computer display systems |
US20150205135A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | See-through computer display systems |
US9811159B2 (en) | 2014-01-21 | 2017-11-07 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US11669163B2 (en) | 2014-01-21 | 2023-06-06 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
US11487110B2 (en) | 2014-01-21 | 2022-11-01 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
US9836122B2 (en) | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
US9766463B2 (en) | 2014-01-21 | 2017-09-19 | Osterhout Group, Inc. | See-through computer display systems |
US20160018654A1 (en) * | 2014-01-24 | 2016-01-21 | Osterhout Group, Inc. | See-through computer display systems |
US9401540B2 (en) | 2014-02-11 | 2016-07-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
US20150241963A1 (en) | 2014-02-11 | 2015-08-27 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US20160187651A1 (en) | 2014-03-28 | 2016-06-30 | Osterhout Group, Inc. | Safety for a vehicle operator with an hmd |
US10853589B2 (en) | 2014-04-25 | 2020-12-01 | Mentor Acquisition One, Llc | Language translation with head-worn computing |
US9651787B2 (en) | 2014-04-25 | 2017-05-16 | Osterhout Group, Inc. | Speaker assembly for headworn computer |
US10663740B2 (en) | 2014-06-09 | 2020-05-26 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US9684172B2 (en) | 2014-12-03 | 2017-06-20 | Osterhout Group, Inc. | Head worn computer display systems |
USD751552S1 (en) | 2014-12-31 | 2016-03-15 | Osterhout Group, Inc. | Computer glasses |
US10567641B1 (en) * | 2015-01-19 | 2020-02-18 | Devon Rueckner | Gaze-directed photography |
US20160239985A1 (en) | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
EP3106912A1 (en) | 2015-06-17 | 2016-12-21 | Thomson Licensing | An apparatus and a method for obtaining a registration error map representing a level of fuzziness of an image |
US9910284B1 (en) | 2016-09-08 | 2018-03-06 | Osterhout Group, Inc. | Optical systems for head-worn computers |
US10684478B2 (en) | 2016-05-09 | 2020-06-16 | Mentor Acquisition One, Llc | User interface systems for head-worn computers |
US10824253B2 (en) | 2016-05-09 | 2020-11-03 | Mentor Acquisition One, Llc | User interface systems for head-worn computers |
US10466491B2 (en) | 2016-06-01 | 2019-11-05 | Mentor Acquisition One, Llc | Modular systems for head-worn computers |
KR101765559B1 (ko) | 2016-09-27 | 2017-08-07 | 이대희 | 노루궁뎅이버섯을 포함하는 프로바이오틱스 조성물 |
US10422995B2 (en) | 2017-07-24 | 2019-09-24 | Mentor Acquisition One, Llc | See-through computer display systems with stray light management |
US11409105B2 (en) | 2017-07-24 | 2022-08-09 | Mentor Acquisition One, Llc | See-through computer display systems |
US10578869B2 (en) | 2017-07-24 | 2020-03-03 | Mentor Acquisition One, Llc | See-through computer display systems with adjustable zoom cameras |
US10969584B2 (en) | 2017-08-04 | 2021-04-06 | Mentor Acquisition One, Llc | Image expansion optic for head-worn computer |
CN110278366B (zh) * | 2018-03-14 | 2020-12-01 | 虹软科技股份有限公司 | 一种全景图像虚化方法、终端及计算机可读存储介质 |
CN108833893A (zh) * | 2018-05-31 | 2018-11-16 | 北京邮电大学 | 一种基于光场显示的3d图像校正方法 |
CN111372037B (zh) * | 2018-12-25 | 2021-11-02 | 杭州海康威视数字技术股份有限公司 | 目标抓拍系统和方法 |
US10930065B2 (en) * | 2019-03-08 | 2021-02-23 | X Development Llc | Three-dimensional modeling with two dimensional data |
WO2021015318A1 (ko) * | 2019-07-22 | 2021-01-28 | 신동균 | 해상도가 개선된 열화상 생성 방법 및 장치 |
CN111246124B (zh) * | 2020-03-09 | 2021-05-25 | 三亚至途科技有限公司 | 一种多媒体数字融合方法和装置 |
CN116437205B (zh) * | 2023-06-02 | 2023-08-11 | 华中科技大学 | 一种多视点多焦距成像的景深拓展方法和系统 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4108171B2 (ja) * | 1998-03-03 | 2008-06-25 | 三菱電機株式会社 | 画像合成装置 |
JP3889178B2 (ja) * | 1999-03-25 | 2007-03-07 | 富士通株式会社 | 解像度変換画像圧縮復号装置 |
US6738073B2 (en) | 1999-05-12 | 2004-05-18 | Imove, Inc. | Camera system with both a wide angle view and a high resolution view |
US6639596B1 (en) | 1999-09-20 | 2003-10-28 | Microsoft Corporation | Stereo reconstruction from multiperspective panoramas |
CA2386347C (en) * | 2001-05-14 | 2013-07-16 | James H. Elder | Attentive panoramic visual sensor |
US7006709B2 (en) * | 2002-06-15 | 2006-02-28 | Microsoft Corporation | System and method deghosting mosaics using multiperspective plane sweep |
US7750936B2 (en) | 2004-08-06 | 2010-07-06 | Sony Corporation | Immersive surveillance system interface |
JP2008511080A (ja) | 2004-08-23 | 2008-04-10 | サーノフ コーポレーション | 融合画像を形成するための方法および装置 |
US7730406B2 (en) | 2004-10-20 | 2010-06-01 | Hewlett-Packard Development Company, L.P. | Image processing system and method |
CA2669016A1 (en) * | 2006-11-20 | 2008-05-29 | Thomson Licensing | System and method for compositing 3d images |
US20100097444A1 (en) * | 2008-10-16 | 2010-04-22 | Peter Lablans | Camera System for Creating an Image From a Plurality of Images |
CN101577795A (zh) | 2009-06-17 | 2009-11-11 | 深圳华为通信技术有限公司 | 一种实现全景图像的实时预览的方法和装置 |
JP5209121B2 (ja) * | 2009-09-18 | 2013-06-12 | 株式会社東芝 | 視差画像生成装置 |
US20120139906A1 (en) * | 2010-12-03 | 2012-06-07 | Qualcomm Incorporated | Hybrid reality for 3d human-machine interface |
KR101049928B1 (ko) | 2011-02-21 | 2011-07-15 | (주)올라웍스 | 파노라마 이미지를 생성하기 위한 방법, 사용자 단말 장치 및 컴퓨터 판독 가능한 기록 매체 |
US9300946B2 (en) * | 2011-07-08 | 2016-03-29 | Personify, Inc. | System and method for generating a depth map and fusing images from a camera array |
-
2012
- 2012-06-15 EP EP12305681.4A patent/EP2675173A1/en not_active Withdrawn
-
2013
- 2013-05-30 EP EP13726202.8A patent/EP2862356B1/en active Active
- 2013-05-30 WO PCT/EP2013/061152 patent/WO2013186056A1/en active Application Filing
- 2013-05-30 US US14/408,161 patent/US9576403B2/en active Active
- 2013-05-30 JP JP2015516547A patent/JP6157606B2/ja not_active Expired - Fee Related
- 2013-05-30 CN CN201380030655.7A patent/CN104365092B/zh active Active
- 2013-05-30 KR KR1020147034715A patent/KR102013978B1/ko active IP Right Grant
Also Published As
Publication number | Publication date |
---|---|
US9576403B2 (en) | 2017-02-21 |
EP2862356B1 (en) | 2020-05-06 |
KR20150023370A (ko) | 2015-03-05 |
WO2013186056A1 (en) | 2013-12-19 |
US20150147000A1 (en) | 2015-05-28 |
EP2675173A1 (en) | 2013-12-18 |
JP2015525407A (ja) | 2015-09-03 |
KR102013978B1 (ko) | 2019-08-23 |
CN104365092A (zh) | 2015-02-18 |
EP2862356A1 (en) | 2015-04-22 |
JP6157606B2 (ja) | 2017-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104365092B (zh) | 用于图像融合的方法和设备 | |
Perazzi et al. | Panoramic video from unstructured camera arrays | |
CN103168315B (zh) | 手持式设备上的立体(3d)全景图创建 | |
EP2328125B1 (en) | Image splicing method and device | |
Kopf et al. | Capturing and viewing gigapixel images | |
TWI510086B (zh) | 數位重對焦方法 | |
JP6273163B2 (ja) | 立体パノラマ | |
CN104699842B (zh) | 图片展示方法和装置 | |
Birklbauer et al. | Panorama light‐field imaging | |
CN105144687B (zh) | 图像处理装置、图像处理方法及计算机可读介质 | |
US20080253685A1 (en) | Image and video stitching and viewing method and system | |
Hu et al. | Exposure stacks of live scenes with hand-held cameras | |
EP2242252A2 (en) | In-camera generation of high quality composite panoramic images | |
Yuan et al. | Multiscale gigapixel video: A cross resolution image matching and warping approach | |
CN105657268A (zh) | 一种基于多分辨率的多视点视频拼接融合算法 | |
Sakharkar et al. | Image stitching techniques-an overview | |
Zhang et al. | Coherent video generation for multiple hand-held cameras with dynamic foreground | |
US9602708B2 (en) | Rectified stereoscopic 3D panoramic picture | |
Gurrieri et al. | Stereoscopic cameras for the real-time acquisition of panoramic 3D images and videos | |
Wang et al. | A common feature-based disparity control strategy in stereoscopic panorama generation | |
Ra et al. | Decoupled Hybrid 360° Panoramic Stereo Video | |
Qi et al. | Overcoming parallax and sampling density issues in image mosaicing of non-planar scenes | |
US20230222635A1 (en) | Cloud based intelligent image enhancement system | |
Kluge et al. | Progressive refinement imaging | |
Wang | Depth-constrained Feature-based Stitching System for Stereoscopic Panoramic Video Generation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |