CN101719264A - 一种多视角动态场景采集的视觉场计算方法 - Google Patents
一种多视角动态场景采集的视觉场计算方法 Download PDFInfo
- Publication number
- CN101719264A CN101719264A CN200910243557A CN200910243557A CN101719264A CN 101719264 A CN101719264 A CN 101719264A CN 200910243557 A CN200910243557 A CN 200910243557A CN 200910243557 A CN200910243557 A CN 200910243557A CN 101719264 A CN101719264 A CN 101719264A
- Authority
- CN
- China
- Prior art keywords
- time
- dynamic scene
- camera
- space
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims abstract description 107
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000005070 sampling Methods 0.000 claims abstract description 77
- 230000033001 locomotion Effects 0.000 claims abstract description 72
- 238000005457 optimization Methods 0.000 claims abstract description 22
- 238000009826 distribution Methods 0.000 claims description 8
- 230000001960 triggered effect Effects 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 16
- 230000004438 eyesight Effects 0.000 description 12
- 230000008447 perception Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 108091092195 Intron Proteins 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000026058 directional locomotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/12—Panospheric to cylindrical image transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明的实施例提出了一种时间解耦的多视角动态场景采集视觉场计算方法,通过搭建多视角动态场景采集系统;对动态场景在视角-时间二维视场子空间上结合空间间插采样、时间间插曝光采样以及变曝光采样策略进行视觉场采样;基于时间解耦策略中时间求交与空间求交的统一一致性,对时空间插曝光的动态场景进行空间轮廓求交,得到对应于短时曝光条件下高时间分辨率的场景模型;对场景模型进行轮廓反投影,获取轮廓运动约束进行时间解耦去运动模糊,并通过三维重建算法建立解耦去运动模糊解后的动态场景三维模型,并对场景三维模型、各短时曝光下的时间解耦图像进行交替迭代优化。本发明提出的上述方案,不需要使用昂贵的工业级别相机,也能实现对真实世界三维场景的高速动态进行捕获,并且所述方案是视觉场采样的通用方法,具有很高的实用价值和适应性。
Description
技术领域
本发明涉及计算机视觉、图形学视觉信号采样及重构技术领域,具体而言,本发明涉及一种多视角动态场景采集的视觉场计算方法。
背景技术
自1997年卡耐基梅隆大学的Kanade开创了第一个大规模相机阵列系统以来,基于相机阵列的多视角动态采集系统及其应用成为计算机图形学和视觉的交叉领域迅猛发展的研究热点。微软研究院的Zitnick等人搭建了8相机采集系统并证明了其高质量场景建模性能。2007年,萨里大学的Starck实现了一个针对动态人体的三维采集系统(Surface Capture forPerformance-Based Animation,2007,Computer Graphics and Applications)。传统的相机阵列采集设计都是同步触发所有相机同时对场景进行采集,斯坦福大学的Wilburn等人设计了可以捕获某一视角下时空域(spatiotemporalvolume)中的任意样本,基于光场插值和基于光流的变形,生成高速视频。计算机图形学和视觉的研究者越来越多的研究采集真实动态场景的多相机采集系统。目前最新研究进展已经实现了自由视点视频,用户可以在视觉媒介中任意选择视点和观察方向,并能够对深度进行感知从而具有沉浸感体验。
上述多相机系统大多采用帧率最高为30帧每秒的普通摄像机,这在很大程度上限制了可以有效采集的动态场景的运动速度。当场景的运动速率高于采集系统的最高采集帧率时,拍摄到的图像会产生运动模糊的效果,目前主流的三维重建算法都是基于特征匹配,而在运动模糊的情况下无法实现特征匹配,从而无法对动态场景进行有效的感知。
随着工业级别相机的不断普及,对真实世界三维场景的高速动态捕获成为可能,但是能够捕获500帧每秒以上的高速相机的价格非常昂贵,要搭建一个多视角高速相机采集系统的造价是难以想象的。在现有相机设备的基础上,研究能够优化的采集策略和重构算法,实现高速运动场景的动态感知是非常有研究价值和意义的。
因此,有必要提出一种有效的技术方案,能利用现有的相机设备的基础上,实现对高速运动场景进行感知和捕捉。
发明内容
本发明的目的旨在至少解决上述技术缺陷之一,特别是通过空间间插采样、时间间插曝光采样以及变曝光采样,利用空间轮廓投影求交与曝光时间求交之间具有内在的统一一致性的特点,实现在利用现有的相机设备的基础上,对高速运动场景进行感知。
为了达到上述目的,本发明的实施例提出了一种多视角动态场景采集的视觉场计算方法,包括以下步骤:
搭建多视角动态场景采集系统,所述多视角动态场景采集系统包括N个相机,所述相机离散分布于所述动态场景上,所述相机的视角在交叠条件下覆盖整个动态场景,即所述相机的视野范围能够覆盖动态场景的所占空间,其中N>2;
控制所述多视角动态场景采集系统中的相机,在视角-时间二维视场子空间上分别进行空间间插采样、时间间插曝光采样以及变曝光采样,获取视场子空间的采样信息;
基于空间轮廓投影求交与曝光时间求交之间具有内在的统一一致性,进行时间空间求交算法,对所述视场子空间的采样信息进行时间求交,得到时间子空间的超过所述相机的标称分辨率信息,对所述视场子空间的采样信息进行空间求交,基于影像轮廓Visual Hull算法空间求交,得到对应于短时曝光条件下的场景模型,实现视角子空间的重构;
对所述场景模型进行各个视角的轮廓反投影,获取各个视角在原有的曝光时间内的轮廓运动约束,对所述轮廓运动进行时间解耦去运动模糊,并通过三维重建算法,建立解耦去运动模糊解后的动态场景三维模型,对得到的所述动态场景三维模型进行迭代优化,优化去运动模糊图像的时间解耦结果,直到迭代优化达到预定门限值为止。
本发明提出的上述方案,通过空间间插采样、时间间插曝光采样以及变曝光采样,利用空间轮廓投影求交与曝光时间求交之间具有内在的统一一致性的特点,实现利用现有的相机设备的基础上,能够对高速运动场景进行感知和捕捉。本发明提出的上述方案,不需要使用昂贵的工业级别相机,也能实现对真实世界三维场景的高速动态进行捕获,具有很高的实用价值。
本发明附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为三维视觉场空间示意图;
图2为时间解耦问题在视觉场理论框架下的示意图;
图3为本发明实施例多视角动态场景采集的视觉场计算方法的流程图;
图4为多视角动态场景采集系统及相机空间分布示意图;
图5为视角子空间间插分布示意图;
图6为时间子空间间插曝光时序示意图;
图7a为高速运动场景在不同视角下变曝光采集实际结果;
图7b为四个不同视角的相机进行短时曝光的示意图;
图8为时间子空间求交获取时间高分辨率的时间解耦机制示意图;
图9为基于影像轮廓(Visual Hull)的视角子空间求交获取时间高分辨率几何模型信息示意图;
图10为几何模型时间解耦与各视角图像时间解耦去运动模糊的交替迭代优化框图;
图11为基于高速几何模型约束的轮廓反投影及基于轮廓约束进行各视角图像时间解耦去运动模糊的示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本发明提出的技术方案为针对三维视觉场空间,即视角、时间、光照三维视觉场空间中的视角——时间二维子空间的采样、重构问题。如图1所示,为视角、时间、光照三维视觉场空间示意图,图中,视觉场由视角-时间-光照三维空间所构成。该空间中的每一个元素都是一个二维图像。如图2所示,为时间解耦问题在视觉场理论框架下的示意图,通过采用环形相机阵列,空间间插采样、时间间插曝光采样以及变曝光采样,基于空间轮廓投影求交与曝光时间求交之间具有内在的统一一致性,进行时间解耦,获取高时间分辨率的三维模型,实现视角——时间二维视觉场子空间的计算。因此,本发明提出的技术方案的核心思想在于视角——时间二维视觉场采样机制与重构框架的设计与实现。
为了实现本发明之目的,本发明公开了一种多视角动态场景采集的视觉场计算方法,包括以下步骤:
搭建多视角动态场景采集系统,所述多视角动态场景采集系统包括N个相机,所述相机离散分布于所述动态场景上,所述相机的视角在交叠条件下覆盖整个动态场景,即所述相机的视野范围能够覆盖动态场景的所占空间,其中N>2;控制所述多视角动态场景采集系统中的相机,在视角-时间二维视场子空间上分别进行空间间插采样、时间间插曝光采样以及变曝光采样,获取视场子空间的采样信息;基于空间轮廓投影求交与曝光时间求交之间具有内在的统一一致性,进行时间空间求交算法,对所述视场子空间的采样信息进行时间求交,得到时间子空间的超过所述相机的标称分辨率信息,对所述视场子空间的采样信息进行空间求交,基于影像轮廓Visual Hull算法空间求交,得到对应于短时曝光条件下的场景模型,实现视角子空间的重构;对所述场景模型进行各个视角的轮廓反投影,获取各个视角在原有的曝光时间内的轮廓运动约束,对所述轮廓运动进行时间解耦去运动模糊,并通过三维重建算法,建立解耦去运动模糊解后的动态场景三维模型,对得到的所述动态场景三维模型进行迭代优化,优化去运动模糊图像的时间解耦结果,直到迭代优化达到预定门限值为止。
如图3所示,为本发明实施例多视角动态场景采集的视觉场计算方法的流程图,包括以下步骤:
S101:搭建多视角动态场景采集系统。
在步骤S101中,搭建多视角动态场景采集系统,多视角动态场景采集系统包括N个相机,相机离散分布于所述动态场景上,相机的视角在交叠条件下覆盖整个动态场景,即相机的视野范围能够覆盖动态场景的所占空间,其中N>2。
显然,在本发明中,相机的数目可多可少,通常由动态场景的大小决定,动态场景越大,需要的相机也越多,要求所有相机的视野范围能够覆盖动态场景的所占空间。通常,相机可以进行环形分布;显然环形分布只是一个具体的实施例,实际系统中不一定非要是环形分布,采样相机的空间分布是灵活的,实际也不一定是一个平面上,但是需要能够在一定的视角交叠条件下覆盖整个场景空间即可。
所有相机曝光时间精确可控,并具有高精度的同步控制体系。例如,在较高空间分辨率1024*768的设置下,摄像机最高帧率为25帧每秒,曝光时间长度精确可控。如图4所示,半球形的采集系统,直径6m,在图示圆圈所在平面上,相机呈圆形分布,每个”X”表示一个相机,该环形阵列共有20个相机组成,相机呈环形分布在动态场景的一个高度为2米的水平面上。俯视平面如图4右图所示,所有相机的视野范围之和稳定的覆盖了场景的空间范围。
S102:对动态场景视角-时间二维视场子空间上分别进行空间间插采样、时间间插曝光采样以及变曝光采样。
在步骤S102中,控制所述多视角动态场景采集系统中的相机,在视角-时间二维视场子空间上分别进行空间间插采样、时间间插曝光采样以及变曝光采样,获取视场子空间的采样信息。
在视角——时间二维视场子空间上进行优化采样,需要在有限采样信息大小下,尽可能多的包含反映视场子空间本质的信息量,因此,有必要使得采样点尽可能广泛而具有表征性的分布在视场子空间的关键区域。为此,需要对于空间、时间以及曝光时间长度进行优化采样
例如,相机呈环形分布在动态场景的一个水平面上,顺序间隔K个相机进行曝光采样实现空间间插采样,当动态场景沿着某一方向运动时,环形分布的所述相机通过间插曝光采样获取动态场景各个状态的采样信息,K<N-2。具体而言,在上述多视角动态场景采集系统包括20个相机中,上述相机顺序间隔7个相机进行曝光采样实现空间间插采样。
结合图5进行说明,空间间插采样的目的在于避免方向性运动的采样不足,当动态场景沿着某一方向或者较窄区域等具有强方向性的运动时,空间相邻顺序采集很有可能在沿着运动方向的部分相机附近丢失空间运动信息,造成采样信息不足。如图5所示,内圆虚线对应相机标号,从0-19共20个相机,外圈虚线对应于相机的空间间插采样顺序:0→7→14→1→8→15→2→9→16→3→10→17→4→11→18→5→12→19→6→13→0,顺序间隔7进行间插采样。
在本发明实施例中,时间间插曝光采样包括:
所述N个相机按照所述空间间插采样的顺序依次间隔Δt时间触发曝光采样,所述间隔Δt时间触发曝光采样及其对应的曝光时间覆盖动态场景时间子空间。
具体而言,为了能够提高运动场景的时间分辨率,采取时间间插曝光的采集策略,20个相机按照上述空间间插顺序,依次间隔Δt时间触发采样,这样的时间采样点及其对应的曝光时间可以覆盖时间子空间,而不会受到同步曝光采样时间信息采样不足的局限。如图6所示,每一个相机采样用一个时间轴表示,轴上高电平信号表示相机曝光时间,而低电平信号表示相机停止曝光时间,由于相机内在固有的数据传输时间存在,两次曝光时间之间必然有一定的时间间隔,下面的分析中为了简单明了,有的地方省略了连续曝光之间的时间间隔。20个相机一次触发,直至所有相机都曝光完毕,为一个采样周期,在图6中以斜长方形阴影区域表示;垂直的黑色虚线表示每一轮采样的起始时刻,也即第一相机的起始曝光时刻,之后每一相机按照空间间插顺序,依次延时Δt时间触发采样。
在本发明实施例中,变曝光采样包括:
N个相机中至少有一个相机的曝光时间T1满足T1<Tmax,Tmax为最高帧率限制下的最长曝光时间,以及N个相机中至少有一个相机的曝光时间T2满足0<T2<T1。显然,曝光时间的长短是相对的长和短,选择长曝光时间和短曝光时间应根据具体的动态场景来选择,例如,当高速运动时,则要求在尽可能高的信噪比的条件下短曝光时间尽可能短,以获取高速运动场景的有效信息。
具体而言,由于场景运动速度超过相机最高帧率,当使用最高帧率限制下的最长曝光时间必然会产生运动模糊效果,但具有高信噪比,相机固有噪声可以忽略;反之,当在每一帧采集时采用极短曝光时间,可以避免运动模糊效果,但是由于传感器接收到的光信息太少,相机内部噪声无法忽略,导致采集图像具有很低的信噪比。为了折中如上矛盾,使用部分相机进行短时曝光,为后续的运动模糊图像去模糊提供较强的约束。图7为为变曝光采集实际结果,高速运动场景在不同视角下,采用不同长曝光、短曝光效果的采集结果。如图7a所示,前两行是长曝光采集的多视角图像,每幅采集图像右下角的数字表示对应的采集相机标号,这些图像噪声很小但具有运动模糊;后两行分别是两个视角下采集到的短时曝光图像以及对应的亮度增强处理后的图像,可见没有运动模糊但是图像的信噪比非常低。如图7b所示,在0.5.10.15四个位置的相机进行短时曝光,用黑色矩形表示。
S103:基于空间轮廓投影求交与曝光时间求交之间具有内在的统一一致性,对采样信息进行时间求交和空间求交,得到对应于短时曝光条件下的场景模型。
在步骤S103中,基于空间轮廓投影求交与曝光时间求交之间具有内在的统一一致性,进行时间空间求交算法,对所述视场子空间的采样信息进行时间求交,得到时间子空间的超过所述相机的标称分辨率信息,对所述视场子空间的采样信息进行空间求交,基于影像轮廓Visual Hull算法空间求交,得到对应于短时曝光条件下的场景模型,实现视角子空间的重构。
在本发明的实施例中,对所述视场子空间的采样信息进行时间求交包括:
对所述各个相机选择不同采样周期内的曝光时间进行求交得到连续的短时曝光信息,所述短时曝光信息为超过所述相机的标称分辨率信息。具体而言,理想情况下是原来相机本身的最高帧率为F,采集系统中共有N个相机,那么通过上述短时曝光信息可以获取的时间分辨率可以达到F×N。
在本发明的实施例中,对所述视场子空间的采样信息进行空间求交包括:
对各个视角相机采集到的图像按照场景轮廓信息向空间投影,基于影像轮廓Visual Hull算法空间求交,得到对应于短时曝光条件下的场景模型。
具体而言,由于基于空间轮廓投影求交与曝光时间求交之间具有内在的统一一致性,因此可以提出对时间空间的求交算法,即
时间求交的时间超分辨率实现:时间子空间间插长曝光的求交对应于短时曝光,对各个相机选择不同采样周期内的曝光时间进行求交可以得到连续的短时曝光信息,实现时间子空间的超分辨率。如图8所示,以四个相机的简单情形为例,进行曝光时间的解耦,求交策略具体请见表1。
表1 对应于图8的时间模型时间解耦求交方案示例
空间轮廓求交的高速几何模型实现:对于各个视角相机采集到的图像按照场景轮廓信息向空间投影,基于影像轮廓(Visual Hull)算法空间求交的核心思想,可以得到对应于短时曝光条件下的高速场景模型,实现视角子空间的重构。如图9所示,运动场景的空间轮廓投影求交得到短时曝光对应的高速模型。
S104:对场景模型进行轮廓反投影,对轮廓运动进行时间解耦去运动模糊,并通过三维重建算法建立解耦去运动模糊解后的动态场景三维模型,并对场景三维模型进行迭代优化。
在步骤S104中,对所述场景模型进行各个视角的轮廓反投影,获取各个视角在原有的曝光时间内的轮廓运动约束,对所述轮廓运动进行时间解耦去运动模糊,并通过三维重建算法,建立解耦去运动模糊解后的动态场景三维模型,对得到的所述动态场景三维模型进行迭代优化,优化去运动模糊图像的时间解耦结果,直到迭代优化达到预定门限值为止。
在本发明的实施例中,对所述轮廓运动进行时间解耦去运动模糊包括:
通过对空间间插采样、时间间插曝光采样进行曝光解耦,获取动态场景的高速运动模型,将所述高速运动模型向各个视角反投影得到短时曝光下的轮廓信息,用所述短时曝光下的轮廓信息进行去运动模糊。
在本发明的实施例中,三维重建算法包括基于特征匹配的三维重建算法。
在本发明的实施例中,直到迭代优化达到预定门限值为止包括:
进行时间解耦去运动模糊运算两次迭代的优化结果小于预定门限值。当两次迭代的优化结果小于预定门限值,即可认为优化处理结果已经收敛,可以停止迭代,显然预定门限值可以根据系统实际情况进行选择。
具体而言,下面结合附图作进一步说明,具体的算法流程如图10算法流程所示。
(1)基于高时间分辨率的几何模型进行各个视角的轮廓反投影,从而获取各个视角在原长曝光时间内的轮廓运动约束。原曝光时间下的轮廓信息由于motion blur作用导致其耦合了场景的运动信息,通过时空间插曝光解耦,可以获取高速运动模型,将其向各个视角反投影可以得到短时曝光下的轮廓信息,这也是后续处理的重要约束条件。图7为基于高速几何模型约束的轮廓反投影示意图,这里仅一个视角的时间解耦为例。如图11左半部分所示,t1时间间隔在4个相机时间解耦系统中可以被分解为4个短时曝光t1.1,t1.2,t1.3,t1.4,并获取相应的反投影轮廓信息。
(2)基于上述轮廓约束的去运动模糊算法,从各个视角原长曝光下运动模糊图像中计算分解出各个相交短时曝光下的没有运动模糊同时具有和原曝光时间条件下相比信噪比的图像。这是一个非常欠定的逆问题求解。如图11右半所示,基于上述高时间分辨率的轮廓约束从原t1曝光时间采集到的运动模糊图像中解耦出t1.1,t1.2,t1.3,t1.4对应的具有和原曝光时间条件下相近的信噪比,同时没有运动模糊的图像。
(3)基于上述恢复得到的高时间分辨率的各视角去运动模糊图像序列,利用主流三维重建算法,求解各个求交曝光时间内的动态场景三维模型,获得高精度的高速三维模型。
基于上述获取的高精度三维模型,再返回步骤(1)至(3),优化去运动模糊图像的时间解耦结果,获得更优的高时间分辨率的各视角纹理图像,并在其基础上获得更高精度的三维模型,迭代优化,直至迭代优化达到预定门限值为止,例如进行时间解耦去运动模糊运算两次迭代的优化结果小于预定门限值。当两次迭代的优化结果小于预定门限值,即可认为优化处理结果已经收敛,可以停止迭代,显然预定门限值可以根据系统实际情况进行选择。
本发明提出的上述方案,通过空间间插采样、时间间插曝光采样以及变曝光采样,利用空间轮廓投影求交与曝光时间求交之间具有内在的统一一致性的特点,实现利用现有的相机设备的基础上,能够对高速运动场景进行感知和捕捉。本发明提出的上述方案,不需要使用昂贵的工业级别相机,也能实现对真实世界三维场景的高速动态进行捕获,具有很高的实用价值。
本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种多视角动态场景采集的视觉场计算方法,其特征在于,包括以下步骤:
搭建多视角动态场景采集系统,所述多视角动态场景采集系统包括N个相机,所述相机离散分布于所述动态场景上,所述相机的视角在交叠条件下覆盖整个动态场景,即所述相机的视野范围能够覆盖动态场景的所占空间,其中N>2;
控制所述多视角动态场景采集系统中的相机,在视角-时间二维视场子空间上分别进行空间间插采样、时间间插曝光采样以及变曝光采样,获取视场子空间的采样信息;
基于空间轮廓投影求交与曝光时间求交之间具有内在的统一一致性,进行时间空间求交算法,对所述视场子空间的采样信息进行时间求交,得到时间子空间的超过所述相机的标称分辨率信息,对所述视场子空间的采样信息进行空间求交,基于影像轮廓Visual Hull算法空间求交,得到对应于短时曝光条件下的场景模型,实现视角子空间的重构;
对所述场景模型进行各个视角的轮廓反投影,获取各个视角在原有的曝光时间内的轮廓运动约束,对所述轮廓运动进行时间解耦去运动模糊,并通过三维重建算法,建立解耦去运动模糊解后的动态场景三维模型,对得到的所述动态场景三维模型进行迭代优化,优化去运动模糊图像的时间解耦结果,直到迭代优化达到预定门限值为止。
2.如权利要求1所述的多视角动态场景采集的视觉场计算方法,其特征在于,所述空间间插采样包括:
所述相机呈环形分布在动态场景的一个水平面上,顺序间隔K个相机进行曝光采样实现空间间插采样,当动态场景沿着某一方向运动时,环形分布的所述相机通过间插曝光采样获取动态场景各个状态的采样信息,K<N-2。
3.如权利要求2所述的多视角动态场景采集的视觉场计算方法,其特征在于,所述时间间插曝光采样包括:
所述N个相机按照所述空间间插采样的顺序依次间隔Δt时间触发曝光采样,所述间隔Δt时间触发曝光采样及其对应的曝光时间覆盖动态场景时间子空间。
4.如权利要求3所述的多视角动态场景采集的视觉场计算方法,其特征在于,所述变曝光采样包括:
所述N个相机中至少有一个相机的曝光时间T1满足T1<Tmax,Tmax为最高帧率限制下的最长曝光时间,以及所述N个相机中至少有一个相机的曝光时间T2满足0<T2<T1。
5.如权利要求4所述的多视角动态场景采集的视觉场计算方法,其特征在于,对所述视场子空间的采样信息进行时间求交包括:
对所述各个相机选择不同采样周期内的曝光时间进行求交得到连续的短时曝光信息,所述短时曝光信息为超过所述相机的标称分辨率信息。
6.如权利要求5所述的多视角动态场景采集的视觉场计算方法,其特征在于,对所述视场子空间的采样信息进行空间求交包括:
对各个视角相机采集到的图像按照场景轮廓信息向空间投影,基于影像轮廓Visual Hull算法空间求交,得到对应于短时曝光条件下的场景模型。
7.如权利要求6所述的多视角动态场景采集的视觉场计算方法,其特征在于,对所述轮廓运动进行时间解耦去运动模糊包括:
通过对空间间插采样、时间间插曝光采样进行曝光解耦,获取动态场景的高速运动模型,将所述高速运动模型向各个视角反投影得到短时曝光下的轮廓信息,用所述短时曝光下的轮廓信息进行去运动模糊。
8.如权利要求7所述的多视角动态场景采集的视觉场计算方法,其特征在于,所述三维重建算法包括基于特征匹配的三维重建算法。
9.如权利要求8所述的多视角动态场景采集的视觉场计算方法,其特征在于,直到迭代优化达到预定门限值为止包括:
进行时间解耦去运动模糊运算两次迭代的优化结果小于预定门限值。
10.如权利要求9所述的多视角动态场景采集的视觉场计算方法,其特征在于,所述多视角动态场景采集系统包括20个相机,所述相机呈环形分布在动态场景的一个高度为2米的水平面上,所述相机顺序间隔7个相机进行曝光采样实现空间间插采样。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009102435577A CN101719264B (zh) | 2009-12-28 | 2009-12-28 | 一种多视角动态场景采集的视觉场计算方法 |
US12/978,710 US8335371B2 (en) | 2009-12-28 | 2010-12-27 | Method for vision field computing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2009102435577A CN101719264B (zh) | 2009-12-28 | 2009-12-28 | 一种多视角动态场景采集的视觉场计算方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101719264A true CN101719264A (zh) | 2010-06-02 |
CN101719264B CN101719264B (zh) | 2012-05-23 |
Family
ID=42433834
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2009102435577A Active CN101719264B (zh) | 2009-12-28 | 2009-12-28 | 一种多视角动态场景采集的视觉场计算方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8335371B2 (zh) |
CN (1) | CN101719264B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101901493A (zh) * | 2010-06-21 | 2010-12-01 | 清华大学 | 基于压缩采样的多视点图像联合重构方法和系统 |
CN101917550A (zh) * | 2010-07-01 | 2010-12-15 | 清华大学 | 高时空分辨率视频去模糊方法及系统 |
CN101923730A (zh) * | 2010-09-21 | 2010-12-22 | 北京大学 | 基于鱼眼相机和多平面镜装置的三维重建方法 |
CN101976454A (zh) * | 2010-09-26 | 2011-02-16 | 浙江大学 | 一种三维人脸表情的去除方法 |
CN102104735A (zh) * | 2011-01-28 | 2011-06-22 | 清华大学 | 一种计算光照的运动场景图像捕获方法及装置 |
CN102157018A (zh) * | 2011-03-02 | 2011-08-17 | 中国科学院空间科学与应用研究中心 | 一种开放单叶双曲面投影方法 |
CN102289564A (zh) * | 2010-06-03 | 2011-12-21 | 微软公司 | 来自多个视听源的信息的合成 |
CN102542530A (zh) * | 2010-12-07 | 2012-07-04 | 沈阳理工大学 | 一种运动模糊图像清晰装置 |
CN105120250A (zh) * | 2015-08-14 | 2015-12-02 | 浙江大学 | 一种基于多视角图像视频序列的三维动态场景采集与处理系统 |
CN105389845A (zh) * | 2015-10-19 | 2016-03-09 | 北京旷视科技有限公司 | 三维重建的图像获取方法和系统、三维重建方法和系统 |
CN106197320A (zh) * | 2015-05-29 | 2016-12-07 | 苏州笛卡测试技术有限公司 | 一种分时复用快速三维扫描及其数据处理方法 |
CN106384361A (zh) * | 2016-09-14 | 2017-02-08 | 西安理工大学 | 多视环境中基于水平集函数演化的非刚性目标场景流估计 |
CN110120096A (zh) * | 2019-05-14 | 2019-08-13 | 东北大学秦皇岛分校 | 一种基于显微单目视觉的单细胞三维重建方法 |
CN110868550A (zh) * | 2019-11-25 | 2020-03-06 | 维沃移动通信(杭州)有限公司 | 一种拍照方法及终端设备电子设备 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102815267B (zh) * | 2012-07-30 | 2015-09-23 | 江西好帮手电子科技有限公司 | 一种全息投影倒车影像方法及其系统 |
CN103335712B (zh) * | 2013-05-16 | 2015-12-02 | 清华大学 | 基于三边滤波的光谱时空域传播方法 |
EP3712843A1 (en) * | 2019-03-19 | 2020-09-23 | Koninklijke Philips N.V. | Image signal representing a scene |
CN112634139B (zh) * | 2021-02-25 | 2021-05-28 | 杭州海康威视数字技术股份有限公司 | 光场超分辨成像方法、装置及设备 |
CN117853377B (zh) * | 2024-02-08 | 2024-09-20 | 荣耀终端有限公司 | 图像处理方法、电子设备及计算机可读存储介质 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6580821B1 (en) * | 2000-03-30 | 2003-06-17 | Nec Corporation | Method for computing the location and orientation of an object in three dimensional space |
US7336803B2 (en) * | 2002-10-17 | 2008-02-26 | Siemens Corporate Research, Inc. | Method for scene modeling and change detection |
US7113185B2 (en) * | 2002-11-14 | 2006-09-26 | Microsoft Corporation | System and method for automatically learning flexible sprites in video layers |
CN101127128B (zh) * | 2007-09-14 | 2010-06-09 | 清华大学 | 一种环形摄像机阵列校准系统及其方法 |
CN101344707A (zh) * | 2008-01-09 | 2009-01-14 | 上海海事大学 | 自动多投影仪非线性几何校正与边缘融合方法 |
CN100593796C (zh) * | 2008-04-25 | 2010-03-10 | 清华大学 | 变化光照动态场景三维采集系统 |
CN100557640C (zh) * | 2008-04-28 | 2009-11-04 | 清华大学 | 一种交互式多视点三维模型重建方法 |
US8106924B2 (en) * | 2008-07-31 | 2012-01-31 | Stmicroelectronics S.R.L. | Method and system for video rendering, computer program product therefor |
-
2009
- 2009-12-28 CN CN2009102435577A patent/CN101719264B/zh active Active
-
2010
- 2010-12-27 US US12/978,710 patent/US8335371B2/en active Active
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102289564A (zh) * | 2010-06-03 | 2011-12-21 | 微软公司 | 来自多个视听源的信息的合成 |
CN101901493A (zh) * | 2010-06-21 | 2010-12-01 | 清华大学 | 基于压缩采样的多视点图像联合重构方法和系统 |
CN101901493B (zh) * | 2010-06-21 | 2011-11-30 | 清华大学 | 基于压缩采样的多视点图像联合重构方法和系统 |
CN101917550B (zh) * | 2010-07-01 | 2012-11-14 | 清华大学 | 高时空分辨率视频去模糊方法及系统 |
CN101917550A (zh) * | 2010-07-01 | 2010-12-15 | 清华大学 | 高时空分辨率视频去模糊方法及系统 |
CN101923730A (zh) * | 2010-09-21 | 2010-12-22 | 北京大学 | 基于鱼眼相机和多平面镜装置的三维重建方法 |
CN101923730B (zh) * | 2010-09-21 | 2012-05-02 | 北京大学 | 基于鱼眼相机和多平面镜装置的三维重建方法 |
CN101976454A (zh) * | 2010-09-26 | 2011-02-16 | 浙江大学 | 一种三维人脸表情的去除方法 |
CN102542530A (zh) * | 2010-12-07 | 2012-07-04 | 沈阳理工大学 | 一种运动模糊图像清晰装置 |
CN102104735A (zh) * | 2011-01-28 | 2011-06-22 | 清华大学 | 一种计算光照的运动场景图像捕获方法及装置 |
CN102157018A (zh) * | 2011-03-02 | 2011-08-17 | 中国科学院空间科学与应用研究中心 | 一种开放单叶双曲面投影方法 |
CN106197320A (zh) * | 2015-05-29 | 2016-12-07 | 苏州笛卡测试技术有限公司 | 一种分时复用快速三维扫描及其数据处理方法 |
CN106197320B (zh) * | 2015-05-29 | 2019-05-10 | 苏州笛卡测试技术有限公司 | 一种分时复用快速三维扫描及其数据处理方法 |
CN105120250A (zh) * | 2015-08-14 | 2015-12-02 | 浙江大学 | 一种基于多视角图像视频序列的三维动态场景采集与处理系统 |
CN105389845A (zh) * | 2015-10-19 | 2016-03-09 | 北京旷视科技有限公司 | 三维重建的图像获取方法和系统、三维重建方法和系统 |
CN106384361A (zh) * | 2016-09-14 | 2017-02-08 | 西安理工大学 | 多视环境中基于水平集函数演化的非刚性目标场景流估计 |
CN106384361B (zh) * | 2016-09-14 | 2019-06-14 | 西安理工大学 | 多视环境中基于水平集函数演化的非刚性目标场景流估计方法 |
CN110120096A (zh) * | 2019-05-14 | 2019-08-13 | 东北大学秦皇岛分校 | 一种基于显微单目视觉的单细胞三维重建方法 |
CN110868550A (zh) * | 2019-11-25 | 2020-03-06 | 维沃移动通信(杭州)有限公司 | 一种拍照方法及终端设备电子设备 |
CN110868550B (zh) * | 2019-11-25 | 2021-04-06 | 维沃移动通信(杭州)有限公司 | 一种拍照方法及终端设备电子设备 |
Also Published As
Publication number | Publication date |
---|---|
US20110158507A1 (en) | 2011-06-30 |
US8335371B2 (en) | 2012-12-18 |
CN101719264B (zh) | 2012-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101719264B (zh) | 一种多视角动态场景采集的视觉场计算方法 | |
Georgeiv et al. | Spatio-angular resolution tradeoff in integral photography | |
Haim et al. | Depth estimation from a single image using deep learned phase coded mask | |
Yan et al. | Ddrnet: Depth map denoising and refinement for consumer depth cameras using cascaded cnns | |
Wu et al. | Learning sheared EPI structure for light field reconstruction | |
Zou et al. | Learning to reconstruct high speed and high dynamic range videos from events | |
Guo et al. | Deep spatial-angular regularization for light field imaging, denoising, and super-resolution | |
Van Eekeren et al. | Multiframe super-resolution reconstruction of small moving objects | |
KR20170134502A (ko) | 심도 촬상 장치, 방법 및 응용 | |
KR20120014106A (ko) | 이미지 형성을 위한 모션 블러 모델링 | |
Duan et al. | Guided event filtering: Synergy between intensity images and neuromorphic events for high performance imaging | |
Rohith et al. | Paradigm shifts in super-resolution techniques for remote sensing applications | |
CN103999123A (zh) | 用于生成图像分辨率更佳的超分辨率图像的方法及测量装置 | |
CN111369443B (zh) | 光场跨尺度的零次学习超分辨率方法 | |
Wang et al. | Real-world light field image super-resolution via degradation modulation | |
Kang et al. | Facial depth and normal estimation using single dual-pixel camera | |
Ma et al. | VommaNet: An End-to-End network for disparity estimation from reflective and texture-less light field images | |
CN106663312B (zh) | 用于改善计算成像的系统和方法 | |
Kuo et al. | Perspective-Correct VR Passthrough Without Reprojection | |
JP2017208642A (ja) | 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム | |
Goldlücke et al. | Plenoptic Cameras. | |
Hardie | Super-resolution using adaptive Wiener filters | |
Wu et al. | Lapepi-net: A Laplacian pyramid EPI structure for learning-based dense light field reconstruction | |
Haik et al. | Superresolution reconstruction of a video captured by a vibrated time delay and integration camera | |
Schob et al. | Neural Radiance Fields for Landscape Architecture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
EE01 | Entry into force of recordation of patent licensing contract |
Application publication date: 20100602 Assignee: China Science and Technology (Shenzhen) Limited by Share Ltd Assignor: Tsinghua University Contract record no.: 2016440020042 Denomination of invention: Method for computing visual field of multi-view dynamic scene acquisition Granted publication date: 20120523 License type: Common License Record date: 20160509 |
|
LICC | Enforcement, change and cancellation of record of contracts on the licence for exploitation of a patent or utility model |