CN101883291B - 感兴趣区域增强的视点绘制方法 - Google Patents
感兴趣区域增强的视点绘制方法 Download PDFInfo
- Publication number
- CN101883291B CN101883291B CN 201010215416 CN201010215416A CN101883291B CN 101883291 B CN101883291 B CN 101883291B CN 201010215416 CN201010215416 CN 201010215416 CN 201010215416 A CN201010215416 A CN 201010215416A CN 101883291 B CN101883291 B CN 101883291B
- Authority
- CN
- China
- Prior art keywords
- camera
- depth
- region
- interest
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000003014 reinforcing effect Effects 0.000 title claims abstract description 7
- 238000009877 rendering Methods 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 7
- 238000010244 region-of-interest analysis Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000003379 elimination reaction Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 230000011218 segmentation Effects 0.000 claims 2
- 238000010606 normalization Methods 0.000 claims 1
- 230000002349 favourable effect Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 101100129500 Caenorhabditis elegans max-2 gene Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明的目的是提供一种感兴趣区域增强的视点绘制方法。本发明针对光场相机的采集方式,首先根据采集系统参数、场景几何信息建立光场相机采集方式的相机几何模型,然后计算出感兴趣区域,通过标识出的感兴趣区域对原本稀疏的深度图进行增强;然后利用增强后的深度图,根据相机参数和几何场景进行光场绘制,从而得到新的视点图像。对本方法的测试表明,本发明可以得到良好的视点重建质量。
Description
技术领域
本发明涉及一种视点绘制方法,特别是一种基于感兴趣区域增强的新视点绘制方法。
背景技术
三维电视系统以其独特的立体感、沉浸感及漫游特性而受到越来越多的关注。而多视视频已经广泛的应用于三维电视系统,因此基于多视视频的绘制技术也受到越来越多的关注,根据绘制技术所采用几何量的多少,可以分为三类:无几何信息的表示;隐含几何信息的表示;有明确几何信息的表示。其中最著名的就是光场绘制,它由于不需采用任何几何信息,而且能在虚拟视点上生成高质量的图像。采样定理表明如果我们有更多的场景信息的话(例如深度)可以获得更多令人满意的图像,因此,如果我们将原始的场景用足够多的深度层来绘制的话,将会得到一个好的绘制结果。但是,随着深度层的增加计算时间将线性上升。因此,在绘制过程中需解决绘制效果和时间复杂度的平衡。
Isaksen等人在此基础上引入了可移动虚拟焦平面(VFP)的概念,从而将绘制技术推进到一个新阶段。该方法可以改变摄像机焦距,合成位于任意焦平面上的场景物体。如果物体的实际深度不在虚拟的焦平面上,那么绘制结果往往不尽如人意,产生模糊和重影。为了提高绘制效果,研究者们又在此基础上做出许多改进,例如将场景深度信息引入绘制当中,或者离线预先构架场景模型,K.Takahashi等人提出了一种独创的测度——聚焦测度(相当于一种代价函数)来获得完全聚焦型绘制结果,Xun Cao等人在此基础上采用多个虚拟焦平面,然后再将各个合成场景中清晰部分通过清晰度函数测量,拼合成一个全清晰的场景图。某些研究者也通过简化几何模型来减少运算所需的时间,但在实践中发现精确的几何信息的计算非常困难。
对于绘制端的重建而言,人眼始终是最终的信号接受者,因此,绘制算法应该考虑到人眼的视觉关注度,只有这样才能在解码端获得较好主观质量的重建图像。
为了保证在关注度较高的区域获得较好的主观质量,并且在整个视频编码端有较少的传输带宽,本发明提供一种感兴趣区域增强的视点绘制方法。对于之前的其它方法,本方法根据标识出的感兴趣区域对稀疏的深度图进行增强,充分考虑人眼的视觉关注度,然后通过增强后的深度图,根据相机参数和几何场景进行视点绘制,从而得到新的视点图像。
发明内容
本发明的目的是提供一种感兴趣区域增强的视点绘制方法。相对于现有的其它方法,本方法根据标识出的感兴趣区域对稀疏的深度图进行增强,然后通过增强后的深度图,根据相机参数和几何场景进行视点绘制,从而得到新的视点图像。
为达到上述目的,本发明的构思是:
首先根据采集系统参数、场景几何信息建立光场相机采集方式相机几何模型,然后计算出感兴趣区域,通过标识出的感兴趣区域对原本稀疏的深度图进行增强,然后通过增强后的深度图,根据相机参数和几何场景进行光场绘制,从而得到新的视点图像。
根据上述构思,本发明的技术方案是:
一种感兴趣区域增强的视点绘制方法。其特征在于首先根据采集系统参数,场景几何信息,建立相机的几何模型。接着根据光场相机的几何模型确定虚拟相机周围的各个相机。其次对邻近的相机图像,通过编码端的块匹配算法得出初始视差场,然后进行感兴趣区域分析和检测,接着加强感兴趣区域的原始深度信息。最后用相机的几何模型和加强后的深度信息进行虚拟视点的绘制。其具体步骤是:
(1)建立相机几何模型:针对采集系统参数及场景信息建立相机几何模型,并且根据光场相机的几何模型确定虚拟相机周围的各个相机;
(2)初始视差图的计算、感兴趣区域分析和检测:根据相机几何模型得到最邻近的相机图像,通过块匹配算法得出初始视差图;感兴趣区域分析和检测:用经典的Itti模型得到感兴趣区域,并进行分析;
(3)基于感兴趣区域深度信息的加强:利用检测到的感兴趣区域对原始深度信息进行加强;
(4)虚拟视点的绘制方法:根据相机的几何模型和加强后的深度信息完成虚拟视点的绘制,生成新视点。
本发明与已有技术相比较,具有如下显而易见的实质性突出特点和显著优点:之前方法大多通过复杂的深度计算或者简化几何模型的方法来进行重建,在实际应用中很难实现,而本发明则通过理论分析,根据人眼视觉特点采用基于感兴趣区域增强的深度图的绘制,大大降低了重建新视点的计算复杂度,从而易于应用实现。实验验证,可以得到良好的重建质量,对多视点系统的视点重建具有参考价值。
附图说明
图1是本发明的一种感兴趣区域增强的视点绘制方法流程框图。
图2是图1中的建立相机几何模型的程序框图。
图3是图1中的感兴趣区域分析和检测的程序框图。
图4是图1中的基于感兴趣区域深度信息增强的程序框图。
图5是图1中的虚拟视的绘制方法的程序框图。
图6是视点重建结果图。
具体实施方式
本发明的一个实施例子结合附图详述如下:
本感兴趣区域增强的视点绘制方法的具体步骤如图1流程框图所示。对于实际场景通过相机采集及显示系统进行实验,图7给出视点重建结果。
参见图1,其步骤是:
(1)建立相机几何模型:针对采集系统参数及场景信息建立相机几何模型,并且根据光场相机的几何模型确定虚拟相机周围的各个相机;
(2)计算初始视差图、感兴趣区域分析和检测:根据相机几何模型得到最邻近的相机图像,通过编码端的块匹配算法得出初始视差图,并用经典的Itti模型得到参考图像的感兴趣区域,并进行分析;
(3)基于感兴趣区域深度信息的加强:利用检测到的感兴趣区域对原始深度信息进行加强;
(4)虚拟视点的绘制方法:根据相机的几何模型和加强后的深度信息完成虚拟视点绘制,生成新视点。
参见图2,上述步骤(1)的具体过程如下:
(a)确定相机系统信息(相机分辨率、虚拟相机分辨率、相机镜头焦距、相机阵列摆放姿态和相机间距),量化相机几何模型参数;
(b)根据相机系统参数信息确定虚拟相机周围的各个相机;
(c)由步骤(a)和步骤(b)所得参数建立相机几何模型,其场景及相机参数如表1所示。
表1
场景深度范围 | 342.1797cm~707.39cm |
相机分辨率 | 640×480 |
相机阵列类型 | 2维 |
相机间距 | 20cm(H)x5cm(V) |
虚拟视点位置 | (365.482469,-246.047360,4066.908006) |
经研究发现,当人们浏览图像时,人眼视觉系统会对图像中部分感兴趣的区域做出响应,即与周围其他部分相比此部分内容更具有“显著性”,显著部分的区域称为显著区,表达了人们对显著区图像的关注,这个过程成为视觉感知。
最经典的感兴趣区域计算模型是由美国加州大学Itti提出,用于目标检测与识别,根据相机几何模型得到最邻近的相机图像,通过编码端的块匹配算法得出初始视差图,并用经典的Itti模型得到参考图像的感兴趣区域,并进行分析。见图3,上述步骤(2)中的的具体过程如下:
(a)特征显著度通过计算视点图像I(x,y)的区域中心c和周边s的高斯差分DOG得到,公式如下:
其中,δc和δs分别表示中心c和周边s的尺度因子,这种中央和周边的差计算用Θ表示。
(b)计算亮度关注图:
I(c,s)=|I(c)ΘI(s)|
其中,I表示亮度,Θ表示中央周边差。
(c)计算颜色关注图:
RG(c,s)=|R(c)-G(c)|Θ|G(s)-R(s)|
BY(c,s)=|B(c)-Y(c)|Θ|Y(s)-B(s)|
其中,RG表示红色R和绿色G色差,BY表示蓝色B和黄色Y色差。
(d)计算方向关注度:
O(c,s,θ)=|O(c,θ)ΘO(s,θ)|
其中,O表示方向,θ表示方向角度。
(e)将三个方向上的关注度进行归一化,得到最终的显著图salicy:
Itti模型从输入图像中提取亮度、颜色、方向等特征然后进行分析、融合得到最终显著图。在计算获取初始视差的过程中,通常在纹理较少或者遮挡区域内容易发生匹配误差,特别是感兴趣区域内部更加敏感,因此不容易获取准确的感兴趣区域的深度。我们可以用下面的方法对原始深度信息进行增强;参见图4,上述步骤(3)的具体过程如下:
(a)利用编码端的块匹配算法来计算出某个视点相机拍摄结果相对于参考视点相机拍摄
结果的视差图,根据分割算法对参考视点进行分割,得到各个分割块Si(x,y)
(b)根据以下公式完成对深度图的加强:
其中,DEPTH代表深度值,salicy表示步骤(2)中得到的显著图
(c)利用步骤(1)确定的场景信息,将视差转成场景深度信息,并利用采样定理确定最佳绘制深度:
Z=1.0/((d/dmax)*(1/Zmin-1/Zmax)+1.0/Zmax)
其中Zopt是理想的绘制深度,Zmin和Zmax表示最小和最大的景深,这是采样定理表明的理想的绘制深度。
参见图5,上述步骤(4)的具体过程如下:
(a)根据相机模型及场景几何信息,将投影点映射到空间,利用三维图像变换方程,已知空间中某点P在图像平面上的投影点p(x,y)以及P的深度值Z,则可以得到X与Y的值,从而得到P点的世界坐标
其中,(u1,v1,1)T与(u2,v2,1)T分别为x1与x2点在图像坐标系下的齐次坐标,(X,Y,Z,1)为点X在世界坐标系下的齐次坐标,Zc1和Zc2分别表示P点在第一个和第二个摄像机坐标系中的Z坐标,P和P’分别为第一个摄像机和第二个摄像机的投影矩阵。
Z代表场景的深度信息,最邻近相机用步骤(4)得到的深度,其余邻域相机用最佳景深来代替。
(b)那么对于空间中任意一点P,若已知它的世界坐标P=(X,Y,Z,1)T,在步骤(a)中消去Zc,就可以求出P在图像平面上的像素坐标p(u,v):
其中P为3×4的矩阵,称为投影矩阵,由摄像机内部参数及摄像机外部参数决定。
(c)在边界的背景区域用邻域视点的最佳景深进行合成。
生成新视点,如图6所示。
图6中(a)、(b)分别为按照本发明所述方法生成的新视点图像。其中(a)为相对世界坐标的平移向量为{365.482469,246.047360,4066.908006}的虚拟相机生成的新视点图像,(b)为相对世界坐标的平移向量为{365.482469,200.047360,4066.908006}的虚拟相机生成的新视点图像。按照本发明所述方法,由图中可以直观地看出图像的主观质量良好,因此验证了本发明的有效性。
Claims (5)
1.一种感兴趣区域增强的视点绘制方法,其特征在于首先针对采集系统参数、场景几何信息,建立相机的几何模型;接着根据光场相机的几何模型确定虚拟相机周围的各个相机;其次对邻近的相机图像,通过编码端块匹配算法得出视差信息,然后进行感兴趣区域分析和检测,利用检测到的感兴趣区域对原始深度信息进行加强;最后用相机的几何模型和加强后的深度信息完成虚拟视点的绘制,其具体步骤是:
(1) 建立相机几何模型:针对采集系统参数及场景信息建立相机几何模型,并且根据光场相机的几何模型确定虚拟相机周围的各个相机;
(2) 计算初始视差图、感兴趣区域分析和检测:根据相机几何模型得到最邻近的相机图像,通过编码端的块匹配算法得出初始视差图;并用经典的Itti模型对参考图像分析、检测、得到感兴趣区域;
(3) 基于感兴趣区域深度信息的加强:利用检测到的感兴趣区域对原始深度信息进行加强;
(4) 虚拟视点的绘制方法:根据相机的几何模型和加强后的深度信息完成虚拟视点的绘制,生成新视点。
2.根据权利要求1所述的感兴趣区域增强的视点绘制方法,其特征在于所述步骤(1)中的相机几何模型的建立,具体步骤如下:
(a) 确定相机系统信息—相机分辨率、虚拟相机分辨率、相机镜头焦距、相机阵列摆放姿态和相机间距,量化相机几何模型参数;
(b) 根据相机系统参数信息确定虚拟相机周围的各个相机;
(c) 由步骤(a)和步骤(b)所得参数建立相机几何模型。
5.根据权利要求1所述的感兴趣区域增强的视点绘制方法, 其特征在于所述步骤(4)中的虚拟视点的绘制方法,具体步骤如下:
(a) 根据相机模型及场景几何信息将投影点映射到空间,利用三维图像变换方程,
已知空间中某点P在参考摄像机C1平面上的投影点(u 1,v 1)T以及P的深度值Z,则可以得到P点的世界坐标:
其中,(u 1,v 1)T与(u 2,v 2) T分别为在参考摄像机C1平面和目标摄像机C2平面上的图像坐标系下的齐次坐标;(X,Y,Z,1) T为点P在世界坐标系下的齐次坐标;Z c1 和 Z c2 分别表示P点在第一个和第二个摄像机坐标系中的Z坐标;P和P’分别为第一个摄像机和第二个摄像机的投影矩阵,由摄像机内部参数及摄像机外部参数决定;
Z 代表场景的深度信息,最邻近相机用步骤(4)得到的深度,其余邻域相机用最佳景深来代替;
(c) 在边界的背景区域用邻域视点的最佳景深进行合成.。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010215416 CN101883291B (zh) | 2010-06-29 | 2010-06-29 | 感兴趣区域增强的视点绘制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN 201010215416 CN101883291B (zh) | 2010-06-29 | 2010-06-29 | 感兴趣区域增强的视点绘制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101883291A CN101883291A (zh) | 2010-11-10 |
CN101883291B true CN101883291B (zh) | 2012-12-19 |
Family
ID=43055164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN 201010215416 Expired - Fee Related CN101883291B (zh) | 2010-06-29 | 2010-06-29 | 感兴趣区域增强的视点绘制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101883291B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9497380B1 (en) | 2013-02-15 | 2016-11-15 | Red.Com, Inc. | Dense field imaging |
Families Citing this family (72)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
KR101588877B1 (ko) | 2008-05-20 | 2016-01-26 | 펠리칸 이매징 코포레이션 | 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리 |
WO2011063347A2 (en) | 2009-11-20 | 2011-05-26 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
EP2569935B1 (en) | 2010-05-12 | 2016-12-28 | Pelican Imaging Corporation | Architectures for imager arrays and array cameras |
US8994792B2 (en) | 2010-08-27 | 2015-03-31 | Broadcom Corporation | Method and system for creating a 3D video from a monoscopic 2D video and corresponding depth information |
US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
EP2485495A3 (en) * | 2011-02-03 | 2013-08-28 | Broadcom Corporation | Method and system for creating a 3D video from a monoscopic 2D video and corresponding depth information |
KR101973822B1 (ko) | 2011-05-11 | 2019-04-29 | 포토네이션 케이맨 리미티드 | 어레이 카메라 이미지 데이터를 송신 및 수신하기 위한 시스템들 및 방법들 |
WO2013043761A1 (en) | 2011-09-19 | 2013-03-28 | Pelican Imaging Corporation | Determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
KR102002165B1 (ko) | 2011-09-28 | 2019-07-25 | 포토내이션 리미티드 | 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법 |
KR101960844B1 (ko) * | 2011-11-01 | 2019-03-22 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
CN102567731B (zh) * | 2011-12-06 | 2014-06-04 | 北京航空航天大学 | 一种感兴趣区域提取方法 |
US9412206B2 (en) | 2012-02-21 | 2016-08-09 | Pelican Imaging Corporation | Systems and methods for the manipulation of captured light field image data |
US9210392B2 (en) | 2012-05-01 | 2015-12-08 | Pelican Imaging Coporation | Camera modules patterned with pi filter groups |
JP2015534734A (ja) | 2012-06-28 | 2015-12-03 | ペリカン イメージング コーポレイション | 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法 |
US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
CA2881131A1 (en) | 2012-08-21 | 2014-02-27 | Pelican Imaging Corporation | Systems and methods for parallax detection and correction in images captured using array cameras |
US20140055632A1 (en) | 2012-08-23 | 2014-02-27 | Pelican Imaging Corporation | Feature based high resolution motion estimation from low resolution images captured using an array source |
US20140092281A1 (en) | 2012-09-28 | 2014-04-03 | Pelican Imaging Corporation | Generating Images from Light Fields Utilizing Virtual Viewpoints |
US9143711B2 (en) | 2012-11-13 | 2015-09-22 | Pelican Imaging Corporation | Systems and methods for array camera focal plane control |
JP6210687B2 (ja) | 2013-01-11 | 2017-10-11 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
WO2014130849A1 (en) | 2013-02-21 | 2014-08-28 | Pelican Imaging Corporation | Generating compressed light field representation data |
WO2014133974A1 (en) | 2013-02-24 | 2014-09-04 | Pelican Imaging Corporation | Thin form computational and modular array cameras |
US9917998B2 (en) | 2013-03-08 | 2018-03-13 | Fotonation Cayman Limited | Systems and methods for measuring scene information while capturing images using array cameras |
US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
WO2014165244A1 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
WO2014164550A2 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
US9106784B2 (en) | 2013-03-13 | 2015-08-11 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing |
US9888194B2 (en) | 2013-03-13 | 2018-02-06 | Fotonation Cayman Limited | Array camera architecture implementing quantum film image sensors |
WO2014159779A1 (en) | 2013-03-14 | 2014-10-02 | Pelican Imaging Corporation | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
US9100586B2 (en) | 2013-03-14 | 2015-08-04 | Pelican Imaging Corporation | Systems and methods for photometric normalization in array cameras |
US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
US9438888B2 (en) | 2013-03-15 | 2016-09-06 | Pelican Imaging Corporation | Systems and methods for stereo imaging with camera arrays |
CN103269435A (zh) * | 2013-04-19 | 2013-08-28 | 四川长虹电器股份有限公司 | 双目转多目虚拟视点合成方法 |
WO2015037473A1 (ja) * | 2013-09-11 | 2015-03-19 | ソニー株式会社 | 画像処理装置および方法 |
WO2015048694A2 (en) | 2013-09-27 | 2015-04-02 | Pelican Imaging Corporation | Systems and methods for depth-assisted perspective distortion correction |
EP3066690A4 (en) | 2013-11-07 | 2017-04-05 | Pelican Imaging Corporation | Methods of manufacturing array camera modules incorporating independently aligned lens stacks |
WO2015074078A1 (en) | 2013-11-18 | 2015-05-21 | Pelican Imaging Corporation | Estimating depth from projected texture using camera arrays |
US9426361B2 (en) | 2013-11-26 | 2016-08-23 | Pelican Imaging Corporation | Array camera configurations incorporating multiple constituent array cameras |
CN106164977A (zh) * | 2013-12-17 | 2016-11-23 | 英特尔公司 | 照相机阵列分析机制 |
CN103824318B (zh) * | 2014-02-13 | 2016-11-23 | 西安交通大学 | 一种多摄像头阵列的深度感知方法 |
WO2015134996A1 (en) | 2014-03-07 | 2015-09-11 | Pelican Imaging Corporation | System and methods for depth regularization and semiautomatic interactive matting using rgb-d images |
CN113256730B (zh) | 2014-09-29 | 2023-09-05 | 快图有限公司 | 用于阵列相机的动态校准的系统和方法 |
KR102263725B1 (ko) | 2014-11-21 | 2021-06-11 | 현대모비스 주식회사 | 주행 정보 제공 장치 및 주행 정보 제공 방법 |
EP3026628A1 (en) * | 2014-11-26 | 2016-06-01 | Thomson Licensing | Method and apparatus for estimating depth of unfocused plenoptic data |
CN104867129A (zh) * | 2015-04-16 | 2015-08-26 | 东南大学 | 一种光场图像分割方法 |
US9942474B2 (en) | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
CN105045279A (zh) * | 2015-08-03 | 2015-11-11 | 余江 | 一种利用无人飞行器航拍自动生成全景照片的系统及方法 |
WO2017128047A1 (zh) * | 2016-01-26 | 2017-08-03 | 神画科技(深圳)有限公司 | 互动3d显示系统及其3d图像生成方法 |
WO2017173578A1 (zh) * | 2016-04-05 | 2017-10-12 | 华为技术有限公司 | 一种图像增强方法及装置 |
CN106682599B (zh) * | 2016-12-15 | 2020-04-17 | 浙江科技学院 | 一种基于稀疏表示的立体图像视觉显著提取方法 |
US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
CN111492657B (zh) | 2017-12-08 | 2023-06-30 | 上海科技大学 | 基于脸部区域检测的光场视频压缩 |
KR20200144097A (ko) * | 2018-04-12 | 2020-12-28 | 도판 인사츠 가부시키가이샤 | 라이트 필드 화상 생성 시스템, 화상 표시 시스템, 형상 정보 취득 서버, 화상 생성 서버, 표시 장치, 라이트 필드 화상 생성 방법 및 화상 표시 방법 |
CN109035307B (zh) * | 2018-07-16 | 2020-09-25 | 湖北大学 | 基于自然光双目视觉的设定区域目标追踪方法及系统 |
CN110349246B (zh) * | 2019-07-17 | 2023-03-14 | 广西师范大学 | 一种应用于光场绘制中降低视点的重构失真度的方法 |
DE112020004391B4 (de) | 2019-09-17 | 2024-08-14 | Intrinsic Innovation Llc | Systeme und Verfahren zur Oberflächenmodellierung unter Verwendung von Polarisationsmerkmalen |
CN114746717A (zh) | 2019-10-07 | 2022-07-12 | 波士顿偏振测定公司 | 利用偏振进行表面法线感测的系统和方法 |
EP4066001A4 (en) | 2019-11-30 | 2024-01-24 | Boston Polarimetrics, Inc. | SYSTEMS AND METHODS FOR TRANSPARENT OBJECT SEGMENTATION USING POLARIZATION GUIDES |
US11195303B2 (en) | 2020-01-29 | 2021-12-07 | Boston Polarimetrics, Inc. | Systems and methods for characterizing object pose detection and measurement systems |
WO2021154459A1 (en) | 2020-01-30 | 2021-08-05 | Boston Polarimetrics, Inc. | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
CN111429513B (zh) * | 2020-04-26 | 2022-09-13 | 广西师范大学 | 一种可优化视觉遮挡场景的光场绘制的方法 |
US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
US12069227B2 (en) | 2021-03-10 | 2024-08-20 | Intrinsic Innovation Llc | Multi-modal and multi-spectral stereo camera arrays |
US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US12067746B2 (en) | 2021-05-07 | 2024-08-20 | Intrinsic Innovation Llc | Systems and methods for using computer vision to pick up small objects |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101369348A (zh) * | 2008-11-07 | 2009-02-18 | 上海大学 | 汇聚式相机的多视点采集/显示系统中新视点重建方法 |
-
2010
- 2010-06-29 CN CN 201010215416 patent/CN101883291B/zh not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101369348A (zh) * | 2008-11-07 | 2009-02-18 | 上海大学 | 汇聚式相机的多视点采集/显示系统中新视点重建方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9497380B1 (en) | 2013-02-15 | 2016-11-15 | Red.Com, Inc. | Dense field imaging |
US9769365B1 (en) | 2013-02-15 | 2017-09-19 | Red.Com, Inc. | Dense field imaging |
US10277885B1 (en) | 2013-02-15 | 2019-04-30 | Red.Com, Llc | Dense field imaging |
Also Published As
Publication number | Publication date |
---|---|
CN101883291A (zh) | 2010-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101883291B (zh) | 感兴趣区域增强的视点绘制方法 | |
CN102802005B (zh) | 三维视频内容产生方法 | |
CN108682026B (zh) | 一种基于多匹配基元融合的双目视觉立体匹配方法 | |
JP5739584B2 (ja) | 車両周辺視角化のための3次元映像合成装置およびその方法 | |
CN106254854B (zh) | 三维图像的获得方法、装置及系统 | |
US20160065939A1 (en) | Apparatus, method, and medium of converting 2d image to 3d image based on visual attention | |
US20140327736A1 (en) | External depth map transformation method for conversion of two-dimensional images to stereoscopic images | |
CN111988593B (zh) | 一种基于深度残差优化的立体图像颜色校正方法及系统 | |
CN102098528B (zh) | 一种平面图像的立体转换方法及装置 | |
EP2074586A2 (en) | Image enhancement | |
CN110880162B (zh) | 基于深度学习的快照光谱深度联合成像方法及系统 | |
TR201810139T4 (tr) | Çoklu görünümler için etkili görüntü alıcısı. | |
CN106170086B (zh) | 绘制三维图像的方法及其装置、系统 | |
CN101516040A (zh) | 视频匹配方法、装置及系统 | |
CN101729920A (zh) | 一种自由视角立体视频显示方法 | |
KR20200021891A (ko) | 라이트 필드의 중간 뷰 합성 방법, 라이트 필드의 중간 뷰 합성 시스템과 라이트 필드 압축 방법 | |
CN104038752B (zh) | 基于三维高斯混合模型的多视点视频直方图颜色校正 | |
CN109345444B (zh) | 深度感知增强的超分辨率立体图像构建方法 | |
CN105025287A (zh) | 利用旋转拍摄的视频序列影像构建场景立体全景图的方法 | |
GB2585197A (en) | Method and system for obtaining depth data | |
Tian et al. | A full-reference image quality assessment metric for 3D synthesized views | |
CN109257591A (zh) | 基于稀疏表示的无参考立体视频质量客观评价方法 | |
CN114387327B (zh) | 基于深度学习视差预测的合成孔径聚焦成像方法 | |
CN106331672B (zh) | 视点图像的获得方法、装置及系统 | |
Mahmoudpour et al. | The effect of depth map up-sampling on the overall quality of stereopairs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20121219 |
|
CF01 | Termination of patent right due to non-payment of annual fee |