CN105608666A - 一种二维图形生成三维图像的方法及系统 - Google Patents
一种二维图形生成三维图像的方法及系统 Download PDFInfo
- Publication number
- CN105608666A CN105608666A CN201510994509.7A CN201510994509A CN105608666A CN 105608666 A CN105608666 A CN 105608666A CN 201510994509 A CN201510994509 A CN 201510994509A CN 105608666 A CN105608666 A CN 105608666A
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- masking
- picture
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 147
- 230000000694 effects Effects 0.000 claims abstract description 55
- 230000008859 change Effects 0.000 claims abstract description 24
- 230000008569 process Effects 0.000 claims description 94
- 238000006073 displacement reaction Methods 0.000 claims description 76
- 239000013598 vector Substances 0.000 claims description 65
- 238000012545 processing Methods 0.000 claims description 42
- 238000009826 distribution Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 abstract description 28
- 238000009877 rendering Methods 0.000 abstract description 13
- 238000011049 filling Methods 0.000 abstract description 4
- 230000002829 reductive effect Effects 0.000 abstract description 4
- 238000004519 manufacturing process Methods 0.000 abstract description 3
- 238000007634 remodeling Methods 0.000 abstract 2
- 230000011218 segmentation Effects 0.000 description 28
- 230000006872 improvement Effects 0.000 description 23
- 230000000007 visual effect Effects 0.000 description 15
- 230000004438 eyesight Effects 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 9
- 230000000875 corresponding effect Effects 0.000 description 9
- 230000008447 perception Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 6
- 238000013519 translation Methods 0.000 description 6
- 238000005520 cutting process Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 239000007799 cork Substances 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 244000025254 Cannabis sativa Species 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 241000212384 Bifora Species 0.000 description 1
- 235000002566 Capsicum Nutrition 0.000 description 1
- CKNOLMVLQUPVMU-XOMFLMSUSA-N Digitalin Natural products O(C)[C@H]1[C@@H](O[C@H]2[C@H](O)[C@@H](O)[C@@H](O)[C@H](CO)O2)[C@H](C)O[C@H](O[C@@H]2C[C@@H]3[C@@](C)([C@@H]4[C@H]([C@]5(O)[C@@](C)([C@@H]([C@H](O)C5)C5=CC(=O)OC5)CC4)CC3)CC2)[C@@H]1O CKNOLMVLQUPVMU-XOMFLMSUSA-N 0.000 description 1
- WDJUZGPOPHTGOT-OAXVISGBSA-N Digitoxin Natural products O([C@H]1[C@@H](C)O[C@@H](O[C@@H]2C[C@@H]3[C@@](C)([C@@H]4[C@H]([C@]5(O)[C@@](C)([C@H](C6=CC(=O)OC6)CC5)CC4)CC3)CC2)C[C@H]1O)[C@H]1O[C@@H](C)[C@H](O[C@H]2O[C@@H](C)[C@@H](O)[C@@H](O)C2)[C@@H](O)C1 WDJUZGPOPHTGOT-OAXVISGBSA-N 0.000 description 1
- 101100379079 Emericella variicolor andA gene Proteins 0.000 description 1
- 240000004859 Gamochaeta purpurea Species 0.000 description 1
- 244000283207 Indigofera tinctoria Species 0.000 description 1
- 235000011464 Pachycereus pringlei Nutrition 0.000 description 1
- 240000006939 Pachycereus weberi Species 0.000 description 1
- 235000011466 Pachycereus weberi Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- CPFNIKYEDJFRAT-UHFFFAOYSA-N Strospasid Natural products OC1C(OC)C(O)C(C)OC1OC1CC(CCC2C3(CC(O)C(C3(C)CCC32)C=2COC(=O)C=2)O)C3(C)CC1 CPFNIKYEDJFRAT-UHFFFAOYSA-N 0.000 description 1
- CKNOLMVLQUPVMU-UHFFFAOYSA-N UNPD183315 Natural products O1C(C)C(OC2C(C(O)C(O)C(CO)O2)O)C(OC)C(O)C1OC(C1)CCC2(C)C1CCC(C1(CC3O)O)C2CCC1(C)C3C1=CC(=O)OC1 CKNOLMVLQUPVMU-UHFFFAOYSA-N 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- CKNOLMVLQUPVMU-YMMLYESFSA-N digitalin Chemical compound C1([C@@H]2[C@@]3(C)CC[C@H]4[C@H]([C@]3(C[C@@H]2O)O)CC[C@H]2[C@]4(C)CC[C@@H](C2)O[C@H]2[C@H](O)[C@H]([C@H]([C@@H](C)O2)O[C@H]2[C@@H]([C@@H](O)[C@H](O)[C@@H](CO)O2)O)OC)=CC(=O)OC1 CKNOLMVLQUPVMU-YMMLYESFSA-N 0.000 description 1
- 229950004590 digitalin Drugs 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000003607 modifier Substances 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003362 replicative effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 235000013555 soy sauce Nutrition 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000001550 time effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G06T3/08—
Abstract
本发明涉及一种二维图形生成三维图像的方法及系统,其中方法包括:接收二维图像并复制,得到两个工作图像;对至少一个工作图像中的每个像素定位上分配不同的深度值;使观看者在双眼分别查看两个工作图像时达到三维图像效果。本发明通过运用加权的图像选择避免了转描的步骤。避免了花费巨大的立体重塑步骤。这里不需要制作3D几何模型来重塑场景。这点是与其它2D向3D转化方法中大幅度的改变,它减少了转描、3D场景追踪、建模、场景重塑和渲染等步骤。这个方法避免了像素复制和逐帧填补空缺花费的大量人力。这些变动的结果不会造成图像的空缺。
Description
技术领域
本发明涉及一种二维图形生成三维图像的方法及系统。
背景技术
立体影像(由数码成像、动画、计算机成像(CGI)或者传统摄影完成)开拓了模拟人脑成像三维视觉影像时,将有细微差别的图像合成的能力。每个附加的图像以同样的方式区别,就像人的左右眼在观察同样东西一样。将不同的图像分别传输给人的左眼和右眼,我们就能模拟出在真实环境下人脑合成双眼视觉的同样场景。这样,图像的深度就产生了。
将合适的图像分别传输给左右眼需要一个立体的装置。普通的立体成像装置包括:一对分别给左右眼投射影像的数码投射仪,在同一个显示器上为左右眼分别投射相应的影像。每一个投射仪含有偏光透镜,使光源在显示屏上有区别地显示。观察者在观影时佩戴3D眼镜,眼镜的左右镜片也有特殊的属性。左眼镜片会过滤掉专门为右眼投射的相关影像,右眼反之。这样,观察者的左眼只能看到左眼投射仪放出的影像,右眼只能看到右眼影像,人脑再经过上述的合成,就形成了立体的影像。左右投射仪可以并排放置,但是通常会纵向叠加放置,以减小光源之间的距离。
多年来,如上文所说,视觉效果业为2D向3D转化中产生的新材料和空缺信息花费了很多精力。怎样制作出新的空缺信息是产业展览中讨论的首要议题。
发明内容
本发明所要解决的技术问题是,针对现有技术的重大局限,提供提供了一种更加简单的,隐藏部分信息而非增加信息,之后再运用更加完善的方法结合零碎的图像信息的二维图形生成三维图像的方法及系统。
本发明解决上述技术问题的技术方案如下:一种二维图形生成三维图像的方法,具体包括以下步骤:
接收二维图像并复制,得到两个工作图像;
对至少一个工作图像中的每个像素定位上分配不同的深度值;
使观看者在双眼分别查看两个工作图像时达到三维图像效果。
本发明的有益效果是:通过运用加权的图像选择避免了转描的步骤。这一步骤和转描相比,只须很少的人工运作。其次,它通过矢量重测图像元素,压缩或者扩张部分图像来提供需要位移的元素信息,避免了花费巨大的立体重塑步骤。这里不需要制作3D几何模型来重塑场景。这点是与其它2D向3D转化方法中大幅度的改变,它减少了转描、3D场景追踪、建模、场景重塑和渲染等步骤。这个方法避免了像素复制和逐帧填补空缺花费的大量人力,运用一系列高科技图像映射,给加了权重的图像遮罩成柔和的样式(比如,映射的图像和原始图像进行融合,这样变形的部分不会有突出的线条和过多的变化)。这些变动的结果不会造成图像的空缺。在造成空缺的情况下,加权的图像也会自动重新映射,把空缺补上。
本发明解决上述技术问题的技术方案如下:一种二维图形生成三维图像的系统,包括接收模块和处理模块;
所述接收模块用于接收二维图像并复制,得到两个工作图像;
所述处理模块用于对至少一个工作图像中的每个像素定位上分配不同的深度值;使观看者在双眼分别查看两个工作图像时达到三维图像效果。
发明者发现,隐藏一些图像信息,比如把图像包裹或者扭曲实际上能在制作新图像的时候促使同样的立体效果生成。这种隐藏的方法同时也比复制和重塑更加快捷。融合了筛选和通过图像固有的性质来分割图像的手法之后,更加完善和更加真实的3D图像能够在更短的时间完成,并且效果更加细致和逼真。
一方面,这项发明包含了一个从二维图像生成三维图像的过程,这个过程包括通过扭曲图像生成改进图像来转移部分现有图像,一个生成深度视觉的取代量级,扭曲的操作篡改图像信息,在选择的区域取代部分图像。在某些方面,这个过程更深入地包括了在视频展示新生成的图像。三维图像的感知是通过观看成对的立体图像时建立的。
在更深的层面,这个过程包含了制作一个图像遮罩,关联了图像中的某个物体,并且关联了至少一部分图像中的其它元素,对关联的每个像素赋一个深度值,通过深度值筛选出的取代物中,有一个最大量级,而这些选中的元素在新的位置会赋予第二个深度值,中间量级的取代物会被赋予第三个深度值,第三个深度值是在第一和第二个深度值之间选择的。在此方面之上,该过程也会包括至少在图像遮罩的一个边制造一个界限以杜绝给界限外的区域附加深度值。该过程还会包括给每个像素位置附加深度值,包括给每个图像上的像素位置附加深度值,然后运用到图像遮罩上,给每个与图像遮罩一致的像素赋予相应的深度值。
但从更深的方面来看,制作和工作图像特性相关的图像蒙版需要从含有色相、光度、饱和度、色彩的特征组中选取一种图像特性,并且在工作图像中生成一个具有该图像特性的加权图像,在这之中按照加权分布将深度值分给到每个像素定位。这一过程也可能包括将工作图像中所展现的图像特性和图像蒙版的一部分以及深度值的选取范围进行比较,且以同图像特性相关的像素定位为基础,在图像蒙版的选定像素上改变深度值。根据这些深层方面,这一过程可能还包括将图像蒙版应用于第二图像,将每个深度值分配给第二图像中相应地像素定位,按照与工作图像位移相反的方向,通过对第二像图添加畸变以此使其一部分位移,并用第二图像取代立体图像对中选定的一张图像。
在某些方面,该过程包括提供一张同工作图像相关联的第二图像,对第二张图添加畸变实现其部分位移以此改良第二图像,其中第二图像的位移量和该图位移部分的感知深度相关,该图畸变的作用是在该图的位移范围内改变图像信息,同时也包括用改良后的第二图像取代立体像对中的第二图像。根据这些方面,人们通过立体观看设备将改良后的工作图像和第二张图像看做一对立体图像时便可视觉感知到三维图像。第二图像的位移方向可能和工作图像的位移方向相反。进一步来看,第二图像的位移量可能和工作图像的位移量相等或者大致相等。
更进一步来看,此发明包含可从二维数字图像中感知到三维图像的系统,这包括可显示立体像对以此回应视频信号的显示器,可生成输入信号、从图像组中选取工作图像、选取工作图像特点的输入设备,和生成控制信号、给输入设备所选定的图像特性分配数值的控制器。处理器和显示器、输入设备以及控制器在操作上具有联系,主要是通过工作图像畸变而实现该图位移以此创建一张改良的工作图像,其中,该图的位移量和控制器所接收的数值相关,图像畸变是为了在位移范围内修改图像信息。进一步地,处理器回应第一次输入信号时会用改良后的工作图像取代立体像对中的选定图像。显示器回应第二次输入信号时会将改良后的工作图像展示为立体像对的一部分。
按照上述方面,处理器可能会以进一步的配置创建一个同工作图像特性和至少一部分工作图像相关的图像蒙版以此回应第二次输入信号,同时也会为和该图像蒙版相关的工作图像的每个像素定位分配深度值,该深度值选自于特定的数值范围,其中,和控制器所接收数值相关的位移量包含控制器接收的一项控制值和一项换算系数相乘后的结果,该系数可在每个像素定位上根据每个定位所分配的深度值进行测定。在某些方面,处理器为对第二次输入信号进行回应会以进一步配置将图像蒙版应用于第二图像,将每个深度值分配给第二图像的相应的像素定位。处理器也会对第二图像添加畸变从而按照和工作图像相反的方向对第张图像的部分进行位移,同时用第二图像取代立体像对中的选定图像。
在更深层的方面,处理器可能会在接收输入设备的一项指令后以更进一步的配置通过对选定图片进行畸变处理从而实现立体像对中选定图像,至少是部分图像的畸变。类似地,处理器也可能会在接收输入设备的一项指令后通过对选定图片进行畸变处理从而取消立体像对中选定图像,至少是部分图像的畸变。处理器也可能会在接收到输入设备的第一批指令后选取工作图像的第一和第二部分作为位移候选对象,并将其分别分配给第一个和第二个控制器,在这之中,第一个处理器负责位移第一部分,第二个处理器负责位移第二部分。
在某些方面,该系统包含一个立体视图观看设备和一个用来存储包含多张工作图像的图像流的图像存储器。在这之中,处理器在对第二个输入信号回应时会接受存储器的图像流,将其展示在显示器上,从而使人在使用立体视图观看设备时可以视觉感知到三维动图。
进一步地看,此项发明包含从二维媒体中生成三维媒体的过程,其中包括:创建和工作图像特性和工作图像部分相关联的像素定位图像蒙版;将深度值分配给图像蒙版的每个像素定位;将图像蒙版应用于工作图像以此将深度值分配给工作图像中相应的像素定位;将最大位移量分配给具有第一选定深度值的像素定位,将最小位移量分配给具有第二选定深度值的像素定位,将中等位移量分配给具有第三选定深度值(选自于第一和第二深度值的区域范围内)的像素定位,根据最大、最小及中等位移量通过对工作图像进行畸变处理来位移工作图像的一部分,从而生成改良工作图像,其中畸变处理是为了在位移范围内修改图像信息,用改良图像取代立体像对中的选定图像,以及在显示器上将改良后的工作图像展示为立体像对的一部分。
然而,在更深层的方面,此项发明包含从二维媒体中生成三维媒体的过程,包括:准备一张从含有左眼图像和右眼图像的立体像对中选取的工作图像;将深度值分配给和工作图像一部分相关联的像素组中工作图像的每个像素定位,其中深度选取值选自于特定的数值范围;根据矢量在每个已选取深度值的像素定位上对每个像素进行转换以此生成改良的工作图像,其中矢量的大小由深度选取值决定;以及用改良后的工作图像取代工作图像。
一方面,此发明包含转换二维图像流的方法,从而观看者可以将转换后的图像流感知为三维图像。在此方面,这一方法包括a)从单张三维图像中生成图像对,b)调整图像对中至少一张图像的各个元素以生成差异,使人在观看像对时足以感知深度。步骤a和步骤b也可在一系列图像中进行以此准备图像流,这一图像流在被观看时可以为人感知到其足以提供三维效果的深度信息。
另一方面,此发明包括从二维图像中创造三维图像感知的方法,该方法包含:准备一张从含有左眼图像和右眼图像的立体像对中选取的工作图像;创建一个和工作图像的选定特性和工作图像至少一部分相关联的深度选取蒙版;将深度选取值分配给和深度选取蒙版相关联的工作图像的每个像素定位,该深度选取值选自于特定的数值范围;根据矢量在具有深度选取值的每个像素定位上变换像素以此生成改良工作图像,矢量的大小由深度选取值决定;以及用改良后的工作图像取代该工作图像。
一方面,该方法可能还包括通过将径向畸变应用于选定图像来对立体像对中的选定图片,至少是一部分,添加畸变。另一方面,该方法可能包括通过将径向基百纳应用于选定图像来对立体像对中的选项图片,至少是一部分,取消径向畸变。但是,另一方面,该方法可能也包括从含有光度、饱和度和色彩的特性组中选取选定的特性。进一步来看,深度选取蒙版是一个逐像素外观模型,该方法包含将每个像素定位处所呈现的图像的一部分和每个像素变位上的每一像素的深度选取值和选定范围的深度选取值进行比较;和在与图像相关的选定像素变位的基础上改变选定像素的深度选取值。更深一方面,此方法可能包括在深度选取蒙版(至少一部分)上创造一个边界,从而不用在边界外的非选定像素定位上分配深度选取值。二维数字图像中的可感知物体的边缘可以被选取作为边界的一个最近点。一方面,该方法可能也包括:准备从含有左眼图像和右眼图像的立体像对中选取的第二图像,第一图像和第二图像选自同一系列的图像;将深度选取蒙版和第二图像联系起来;根据选定特性从工作图像到第二图像的位移和第二张图像中工作图像的一部分的位移,对深度选取蒙版进行置换,在这之中,根据置换后的深度选取蒙版,第二套深度选取值被自动分配给第二张图像,同时与深度选取蒙版相关联的第二图像的各像素按照置换后的深度选取蒙版进行自动置换,以此来生成改良的第二图像;同时,在这一过程中,改良后的工作图像和第二图像被看做一系列的立体像对中的一部分时,对于动态三维图像的感知得以创建。在某些方面,深度选取蒙版被省略,深度选取值被分配给与工作图像一部分相关联的像素组中工作图像的各个像素定位。
更近一方面,此发明包含一个可从二维数字图像中创建三维图像感知的系统,包括用于回应视频信号而生成视觉显示的显示器,可从包含左眼图像和右眼图像的立体像对中选取工作图像以及选取工作图像特性的输入设备,可创建与工作图像的选定特性和工作图像的至少一部分相关的深度选取蒙版的处理器,该处理器进行配置后为与深度选取蒙版相关的工作图像的各像素定位分配深度选取值,该深度选取值选自于特定的数值范围,处理器以进一步的配置根据矢量在具有深度选取值的各像素变位处更换像素,矢量的大小由深度选取值和从输入设备收到的信号决定,处理器以进一步的配置在立体像对中以改良的工作图像取代工作图像,处理器以进一步的配置展示立体像对,包括改良工作图像。
另一方面,系统包含一个处理器,该处理器在接收到输入设备发出的指令后,通过将径向图像畸变应用于选定图像从而对立体像对中的选定图片的至少一部分进行畸变处理。另一方面,系统包含的处理器,在接收到输入设备发出的指令后,通过对选定图像进行径向畸变处理从而取消对立体像对中选定图像的至少一部分的径向畸变。输入设备也可能包含一个键盘和鼠标。
而在另一方面,深度选择蒙版是一个智能像素外观模型,该系统包含的处理器在接收到输入设备的指令后,以进一步的配置将各像素定位处所展现的图片的一部分和选定范围的深度选取值进行比较,在与图像特征相关的选定像素定位的基础之上,在选定的像素上改变深度选取值。另一方面,系统包含的处理器在接收到输入设备的指令后,在深度选取蒙版的至少一部分上创建边界,因而不用给边界外的非选定像素定位上分配深度选取值。然而在另一方面,系统包含的处理器,在接收到输入设备的指令后,选取二维数字图像中可感知的物体的边缘作为边界的最近点。
更近方面,该系统可能也包括进一步配置的处理器,在接收到输入设备的指令后,可准备一张从含有左眼图像和右眼图像的立体像对中选取的第二图像,其中工作图像和第二图像选取自同一系列的图像,将第二图像和深度选取蒙版相关联,根据从工作图像到第二图像的特性位移和出现在第二图像中的工作图像的一部分位移,对深度选取蒙版进行位移。在这之中,第二套深度选取值会按照为以后的深度选取蒙版被自动分配给第二图像。同时,按照位移后的深度选取蒙版,第二图像的各个与深度选取蒙版相关的像素将自动位移,从而形成一张改良后的第二图像。为生成改良的第二张图像,处理器会自动位移第二图像的各个与深度选取蒙版相关联的像素。同时,处理器会站上显示一系列立体像对,包括改良后的工作图像和第二图像。
通过随后的详细描述,结合所附图画,此项发明的其他特点和优势会变得更为明显。图画通过举例的方式阐述了此项发明的特点。
附图说明
图1为本发明所述的一种二维图形生成三维图像的方法流程图;
图2是一幅流程图,包括按照当前发明的特征在立体像对内将2D图像转换成3D图像的步骤;
图3是对系统的描述,包括可观看立体像对、按照当前发明的实施方案在立体像对里进行2D转3D图像的设备;
图4是对显示器的描述,包括按照当前发明的实施方案通过软件程序实现电脑虚拟控制;
图5A至图5C描述了一个立体像对,该立体像对按照当前发明的实施方案从原始图像中得以创建;
图6A至图6C描述了按照当前发明的实施方案将径向畸变应用于原始图像的过程;
图7A至图7D描述了按照当前发明的实施方案创建深度选取蒙版的首个典范过程;
图8A至图8D描述了按照当前发明的实施方案创建深度选取蒙版的第二个典范过程;
图9A至图9D描述了按照当前发明的实施方案对图像转换过程的典范阐述;
图10A至图10J描述了按照当前发明的实施方案位移过程中单个像素的典范结果;
图11A至图11F描述了一个矢量场,它是按照当前发明的实施方案通过应用深度选取蒙版而得以创建的;
图12描述的是按照当前发明的实施方案将2D图像转换成3D图像的典范加工步骤图;
图13A至图13E描述的是按照当前发明的实施方案创建并确定深度选择蒙版的典范流程。
具体实施方式
以下结合附图对本发明的原理和特征进行描述,所举实例只用于解释本发明,并非用于限定本发明的范围。
如图1所示,为本发明所述的一种二维图形生成三维图像的方法,具体包括以下步骤:
接收二维图像并复制,得到第一工作图像和第二工作图像;
对第一工作图像和/或第二工作图像中的每个像素定位上分配不同的深度值;
使观看者在双眼分别查看第一工作图像和第二工作图像时达到三维图像效果。
为了描述首选实施方案,一本词条词典有助于理解某些所用词条。词条词典主要是针对处理图像的后期制作过程,然而,它也并不仅限于后期制作过程,而是适用于图像处理的整个流程。所用词条的定义如下:
动画参数——一直受任意函数控制而变化的参数。
美工——美术设计,编辑,或执行这里所述流程将2D图像或系列图像转换成3D图像或系列图像的用户。“美工”这一词条还被进一步地定义为系统操作员,他可能受另一名美术设计,客户或其他人的指导而来执行转换程序。为了这一目的,词条“美工”和“操作员”可以互换使用。
差距——从地点、方向各异的两个不同视点取景的图像里固定点位置的区别。
深度选取蒙版——给定范围内的一套数值,例如,范围[0.0,1.0]由美工辅助的软件分配给图像的一部分的各像素定位以此确定如何应用转换或重新映射,其目的是为了取得适当的深度效果。
图像——持续的3D图景在2D镜像平面上的离散投影。图像采用2D网格资料的形式,将持续的3D资料在2D镜像平面上的完整坐标定位上的样图呈现。
图像蒙版——元素,段,次段,选图,次选图组合的加权值映射,其中组合根据图像内固有的选定特性而选取出来。在一些实施方案中,这可能被应用于图像,在把图像作为整体进行处理后创建一个深度选取蒙版。在其他的实施方案中,深度选取蒙版采用图像蒙版的形式,因此这些词条可以互换使用。
图像转换/图像重新映射——从一张图像到另一张图像的映射。更明确地看,在这样的一个公式T(p)=p′中,T:R2→R2,p为原始图像中的坐标(x,y),而p′为处理后的图像中的坐标(x,y)。或者,T可以是R3→R3,其中齐次坐标的使用是为了数学计算方便。很多情况下,重构一张新的图像采用颠倒转换的方法,即p=T1p′,会更方便。可以这样假定,只要需要转换或重新映射,破坏性最小的方法通常由美工采用,这是为了使人工产品尽可能的保有最初的原材料。
单目图像——单相机拍摄的图像。
单目图像序列——同一相机长时间拍摄的一系列单目图像。
噪点——图像的亮度和色彩信息的随机变化。
非线性转换/重新映射——两个矢量空间间的映射,T:V→W,下列两个公示之中只有一个适用。T(v1+v2)=T(v1)+T(v2),orT(av1)=aT(v1).
遮蔽区域——隐藏或遮蔽其他元素或一幅完整背景图部分区域的元素。移动一件物体展现出一个孔洞,该孔洞在此之前被隐蔽。
流水线——加工处理各系列相联系的元素的一套资料,一项元素的输出项为下一项的输入项。
像素——像素指存储在图像之中给定坐标(x,y)处的单样本,包括影像特征的任何数字信息。例如,图像中任一所给坐标位置(x,y)的像素通常包含该样本位置的红色,绿色,蓝色和透明色频信息。
逐像素外观模型——呈现图像视觉元素的像素选集,像素按照图像内固有的所给特性被选取出来,每个像素被分配一个数值作为选取特性的函数。
偏振——表示振动方向的波动(本语境下指的是光波)属性。
影像描摹——靠手工,由人监督的将图像中的样本分离开形成不同组合的过程。这一过程需要绘画或以帧的方式处理线条来描绘出不同元素的轮廓而得以完成。
细分——以某些视觉特性为基础选取图像部分的过程。例如,色彩,色度,光度,饱和度,灰度系数,对比度,亮度,亮度值,亮度角和其他数值以及美术中周知的特性。
段——细分过程中产生出来的图像一部分或多个部分的逐像素集。与选集相反,段类似于所选视觉特性的地形展示,而非特定的有界限区域。
选集——场景或界定区域内的物体轮廓图,通常是影像描摹过程结果的一种形式。
次选集——选集的一部分。
元素——与一个或多个段相关联的图像的一部分,这些段拥有相同的主题(例如,树上的叶子)且不会按照任何数学数值进行选取。或者,元素可以用来选定每个daunting,选集和次选集,或者其中的组合。
立体设备——用于给人类观察者左眼和右眼呈现不同图像的多个设备之一。
立体深度——双眼视网膜上呈现两幅有细微差别的世界投影时,人类视觉系统所感知到的深度。
立体图像(或者立体视图)——在特定的相对位置,从特定的方向,两部同步相机同时拍摄的一对图像。典型地,拍摄立体像对是所使用的相机被一定的极限水平距离隔开,并且相对后成角,因而两个相机的观看方向可以在某个可见的固定点汇合。
立体图像序列——同一相机长时拍摄的一系列立体像对。
矢量场——一种数学结构,它将多维矢量同欧几里得空间内的各个点相关联。例如,n维欧几里得空间的m多维矢量场V,即映像V:Rn→Rm。
虚拟重建——从场景中所拍去的一个或多个图像中创建真实的3D模型,完整模型含有多种数学模型。
加权选择——以实际数值而非二元数值位置处进行选取。例如,一个图像元素(本语境中指像素)有至少两个被选取或未被选取的机会。相反地,一个元素接收到真实的加权数值则表明了选取的强度。在深度选取蒙版中,例如,每个像素可能会以不同的色彩,亮度或灰度展现。
工作图像——当前为系统和流程用于改良的图像,经改良后并被看做立体像对的一部分时可创建三维图像感知。
程序词条的使用更便于例证的讨论,且不会被认为是限制发明。
转换过程
发明者发现图像“移动”是由与工作图像剩余部分相关的元素畸变引起的,同时该元素也与优质的非工作图像相关。元素或其中的图像部分经上述步骤后会被拉伸或压缩从而达到想要的效果。最佳的情况是,左眼图像或右眼图像各能观察到一半畸变;例如,将一个元素拿到前景中(或置于前方),其在左眼的显示会被拉伸,而在右眼中的显示会以相同的量被压缩。在元素畸变处,最接近该元素的图像信息会被压缩,因而被掩蔽。图像中的掩蔽图像信息在优质图像中仍然可见,反之亦然。发明者关于这一效果的发现直接有助于生成立体效果,这需要在使用偏振镜观看图像时改变人左右眼所见物体的水平视差。此外,正如BERNARDMENDIBURU,3DMOVIEMAKING:SIEREOSCOPICDIGITALCINEMAFROMSCRIPTTOSCREEN17-18(FocalPress2009)中所述,一只眼中元素隐藏使得另一只眼可以看到更多视觉信息就好像是向观看者显露遮蔽处,可以增强立体效果。
在提供有原始数字单目图像系列的情况下可以生成一系列立体像对。完成这一过程,需呀首先拍取最初序列的各图像,再进行初步图像转换和非线性图像重新映射。这可创建一对优质的图像,这一图像对产生了立体像对中的初步基线不均等性。一张或各优质图像随后便会经过选取和重新映射的过程从而独立地更改图像的部分区域。使用恰当的立体设备观看时,重新映射以一种可产生立体深度效果的方式移动选定图片元素。重新映射的过程可能会为各个图像或图像序列重复进行多次。
该过程包括许多不同的操作步骤,这些步骤应用于单目序列中的各个图像。步骤大纲如下:
1.创建基础立体对——进行初步图像转换以生成基础优质立体像对。
2.径向畸变——对前面步骤中形成的立体像对进行可选非线性重新映射,以此产生微弱的深度效果。
3.加权图像选取——对立体像对中的一张图像进行加权选取以此形成图像蒙版,这意味着图像中的元素需要进行移动。
4.深度选取蒙版调整——对步骤3产生的图像蒙版进行的可选后期处理,用来移除不想要的人工效果或者改进选取蒙版的质量。
5.加权位移——从前面步骤到图像重新映射过程中对蒙版的使用,用来加权图像选取步骤的选取,由任意的矢量场所指定。
6.最终调整——对图像对进行最终的转换/重新映射/裁剪以减少前述步骤导致的图像边缘的人工效果。
图2提供的是整个流程的预览图。整个流程的目的是为单目图像序列中的各个图像创建立体像对,使观看者在看到图像时可感知深度。步骤1中,基础立体像对得以创建。在一些实施方案中,图像对形成后,步骤2需要通过应用径向图像畸变添加初步的微弱深度效果。立体像对随后在立体空间中重新排列。正如下面所说明的一样,若有一张图像被使用以获得和原图场景一样的立体像对,为了与通过立体设备观看而得的左右眼图像更为相像,每张图像可能被提取或退回。这是具有创造性的一步,通过使用本文所述的系统,这一步骤对于美术师来说在视觉上会变的更为直观。例如,整个场景在文中被详细描述的同时还会从观看者的视角被移走,然后相关的元素会向观看者展现,反之亦然。步骤3需要通过使用图像蒙版从图像中选取单个元素,元素选取通过图像自身固有的特性加权选取完成。加权选取创建了一个深度选取蒙版,该蒙版可在步骤5中用来移动左眼图像和右眼图像,这一过程需要对深度选取蒙版所选取的像素进行加权位移。重新排列的目的在于创造可在立体相机设备所拍的立体像对中正常展示的不均等性。在一些实施方案中,步骤4会提供进一步的元素选取细分用于元素移动,这是因为单靠步骤3不可能一直打到理想效果。类似地,步骤6是最后的清理,主要是解决在前面步骤中出现的图像边界问题。
在一个实施方案中,步骤1,2和6在立体像对中的每张图像中只进行一次。为了以相互作用的方式达到预想的效果,步骤3至步骤5可根据要求在各个图像中连续进行多次。步骤5中移动后的图像可在步骤3至步骤5中进行不同的选取或分段,且在每次步骤变时进行位移。或者,步骤5所生成的优质图像到移动后的立体像对也可以在步骤3至步骤5中进行不同的选取,分段或位移。立体像对的图像之一可作为选取、细分和位移过程的候选图像,并且可按要求在步骤3至步骤5中重复进行多次以期取得立体像对的预想效果。
在一些实施方案中,立体像对中只有一张图像(“工作图像”)会在步骤3至步骤5中进行选取和重新映射。在有些实施方案中,这一图像指的是左眼图像。在有些实施方案中,基础立体对中的另一张图像通常指的是右眼图像,在这些步骤中该图像都还未进行过任何处理。然而,在更进一步的实施方案汇总,为了在最后的立体像对中实现预想效果,步骤3至步骤5可能会分开应用于两张图像。正如前面所述,尝试取得更为显著的立体深度效果将流程应用于两张图像十分有用,但这要求对基础立体像对的图片进行强度更大的选取/重新映射流程。在一些实施方案中,不对单张图片进行强度更大的选取和重新映射处理,而是对两张均进行相对较弱的选出和重新映射处理将会更具优势,这不会是受到更大强度的选取和重新映射的单张图像产生不必要的异样。接下来的部分会对每个步骤进行更为详细的描述。
执行实施方案的软件和硬件交界面:
软件和硬件的交界面的准备是为了执行本文中所说的流程和多个实施方案。交界面包括原始单目图像序列到立体像对序列的交互处理所需的硬件和软件。如图3所示,交所示界面包括用于存储原始单目图像序列的数字图像和立体像对的存储设备301(例如,外接硬盘,闪存卡,数组,磁带库或资料网),电脑302,包括一个或多个处理器,因为电脑需要控制图2和3步骤的执行和当前发明的加工特点。交界面同样也包括定点设备303,如鼠标,和一个或多个输入设备304,如键盘或其他控制器305,这些设备通过软件组件来处理图像资料和参数。交界面还包括一个可视界面306,为了可在任何步骤阅览图像资料且可对任何相关参数进行交互调整,在一些实施方案中还包括立体显示器307,如增加有视频显示器308和投影仪309的立体投影设置。例如,立体视图设备310,如偏振眼镜,为投影在立体视图设备307上的左眼图像和右眼图像组合增添渲染效果,呈现于人眼前。组合交界面系统考虑到原始立体图像,左眼立体图像,右眼立体图像或左右眼立体图像的展现或处理。
硬件通过软件编程使美工/用户/编辑可以针对数字单目图像序列的各个图像执行单个流程步骤,在使用立体视图设备观看图像时,完成单目图像序列向具有立体深度效果的立体像对序列的转换。软件向硬件发出指令请求并接收存储器301中图像的代表资料,这一过程通过文件系统或电脑的沟通交界面完成,例如,USB,集成设备电路,小型计算机系统接口,火线,光学纤维,总线或其他行内设备。系统一旦接收到图像,美工面前的桌面显示频306便会呈现一幅单目图像,和同一图像的相应立体视图显示307(例如,在大屏幕上)在一些实施方案中,桌面显示频中显示的图像为工作图像,是步骤1的输出结果。通过使用选取控制器,如定点设备303(例如,鼠标或写字板)指示屏幕上的光标或十字光标,工作图像的区域可以得以选取,详图被分割,所有的处理由美工完成。显示器306上的软件显示的交界面提供一个或更多的控制器305,控制器可能包括按钮,滑动器,或刻度盘,用于将数据值分配给和数值或视觉特性相关的区域(或部分区域),反过来这些视觉特性和工作图像中美工想要选取和分割的区域相对应。这些数值和视觉特性可能包含色彩,色度,光度,饱和度,灰色度系数,对比度,亮度,亮度值,亮度角和其他数值及特性。需要注意的是,和现有技术相反,“物体”无需被选取或描绘出来,但是,图像区域或图像内的部分可在所选视觉特性的基础上被选为处理对象。这对于美工来说是一项更为快速和直观的方法。
再看图4,在一些实施方案中,一个或多个控制器305为软件所执行的虚拟控制所展现,例如,自定义的影像日记有输入区域,虚拟按钮,刻度盘和滑动器,可在显示器306上交互显示给美工,也可通过输入定点设备303,设备304或硬件控制器305进行处理。资料数值有选定区域内的虚拟和硬件控制器分配,用来创建一个以定向视觉特性的加权选取为基础的图像蒙版(步骤3)。加权选取可以整张图像为基础,或者,交界面选取控制器在操作后可限制图像部分区域(例如,演员的脸)中加权选取目标的指定区域。图像蒙版被应用于工作图像以为工作图像的元素创建一个深度选取蒙版
将图像的特定特征描述为元素是可行的。在这种情况下,元素可能包括拥有同一主题的一个或多个分段(例如,书上的叶子)。为了保证效率和直观性,这些元素为美工所确定或使用。在一些实施方案中,一组元素,分段,或选取物的创建是为了使场景中针对共同特点的处理更具灵活性,例如,涉及到人群时,前排和后排分开或合并会更轻松。
在一些实施方案中,元素,分段和深度选取蒙版可被映射到一个指定的控制器,例如,滑动器,所以控制器通过操作可以统一更改步骤3至步骤5中的深度选取蒙版分配给该分段或元素的加权位移数值。因此,通过移动控制器,美工可以不费力地控制该元素或分段的深度感知,无需对加权位移所分配的个数值进行数学处理。更进一步地说,多个控制器可以被分配,使得美工可以单个地处理场景的各部分,如森林里的树,树上的树叶,天上的鸟,背景中白云的深度定位,这些处理都同等轻松,也无需选取或重选图像的各部分。
在一些实施方案中,分配给控制器的资料数值以色彩值为基础,色彩值由原始图像的选取和细分所确定。这也和色彩和梯度有关,色彩和梯度可直接反映美工将深度应用于原始图像的选取和分段。
此外,元素、分段、次分段、选区,和次选区的组合可组成一个深度选取蒙版以便于美工在整个组中进行快速选取。深度选取蒙版可能被分配给不同的控制器,用于处理和和组群相关联的数值,例如,为了控制组的深度。交界面同样也使美工能在深度选取蒙版和原始材料间切换以确保选区间相照应,反过来也可通过调整多个滑动器来修改选取区域,例如,色度,光度,饱和度,灰色度,对比度和边缘修饰工具,如模糊,缩小/放大,聚焦和其他操作。在一些实施方案中,图像蒙版和深度选取蒙版以灰度为基础,而非色彩。图像蒙版和深度选取蒙版并不必须是不同的流程。在一些实施方案中,图像蒙版和深度选取蒙版以及任何定向区域(元素,分段,次分段,选区,次选区)可能有一一对应的相互关系,因此可以代表同一特点。
深度选取蒙版可对类似于电脑视觉展示的单目深度图进行视觉展示,例如,在一种实施方案中,白色是最近的元素,黑色是最远的元素,灰色值表示黑白间的深度添加。同时,在大幅屏幕307(图3)上,图像通过深度选取蒙版立体可视,该蒙版被应用于美工的显示器306中的工作图像。交界面控制器使美工有能力从与深度相关的深度选取蒙版中添加或减少元素。因为美工及时地移动或更换序列,所有的选区和深度调整可随着选去适当移动。例如,如果演员的面部表情被选定或分割,眼睛、鼻子、脸颊和头发均十分显著;反过来,演员较背景更为显著,任何近景物体(例如,电线杆和草丛)较美工用深度选取蒙版选取的部分更为显著,这些应用于面部表情的设置会自动应用于整个序列。如果有任何要求格外注意的图像部分,如深度错误的元素,位于墙内的元素,或者扭曲或畸变不够满意的图像部分区域,视频显示器和立体视图显示器将起决定性的作用,美工也可通过处理相应地元素来进行改正。
此外,分段和选区可随时进行修改,软件会按照要求对这些选区进行修改。例如,在默认情况下,第一个画面中会应用美工选区的选定深度值。随着元素移动,选定深度也会及时移动。美工可不管数值,将额外的深度变化应用于序列。在一些实施方案中,目前的深度展示为一幅色彩图,该图与美工的显示器上的原始图像一致。感知到的深度在大幅立体图像中会发生变化。如果美工选择调整该深度选取蒙版的分段,它可以和该元素一样直接转换,在立体3D图像中远离或靠近观看者的视角。仅仅通过使用控制器选取显示器的区域进行调整可选取或减少额外的区域,区间或选区。例如,美工可点击包含演员的鼻子和眼睛的次选区或分段,用一个或多个控制器拉伸或按压深度,随后将鼻子朝观众拉近或通过操纵其他的控制器将眼睛推后。不仅如此,通过处理交界面,美工可以通过调整深度效果的强度来增加或减少整张图像或序列的整体立体效果。
在更深层次的实施方案中,软件编程指示处理器302在观看屏幕307上转换并投影已完成或即将完成的流程步骤的视觉展示图。该展示图采用以链接为基础的可视符号网络的形式,如数据流程图,每个流程步骤由一个图形(如矩形)代表,由一系列的控件联系起来(见例于图12)。例如,控件可用符号间的箭头表示该控件作用于箭头所指向的符号。系统的美工/编辑/用户可能会用鼠标或其他的类似设备进行简单选取,特定的形状代表特定图像中需要执行的流程步骤。
在一些实施方案中,软件编程指示处理器302在观看屏幕307上转换并投影单目序列中每个画面或选取画面序列的可视流程图。每个画面需要执行的流程步骤按照一个特定的流程图进行安排。在一个实施方案中,每个流程步骤完全有软件所控制。点击代表流程步骤的符号会显示含有电脑生成的输入控件(如按钮,滑动器文本输入响应)的对话框。参数经过鼠标或键盘会被改变。
如若得到适当修饰,包含软件包的特定工业视觉效果可完成本文中所述的流程步骤。当有许多软件包额工具可能适合这种修饰时,组合程序可适当地发挥其左右。合成程序已经被用于为电影,高清视频,和商业广告创造视觉效果和数字合成,因而它们用于处理单目和立体图像序列十分合适。一个这样的软件包,EYEON软件股份有限公司创造的FUSHION,在此作为参考,在概略图的交界面中采用交点,它也可能按照当前发明的流程图的方式被使用或安排。FUSHION软件的修改已由若干软件插件执行,这些插件被指令以一种合适的方法扭曲并畸变一张2D图像。特别地,新型程序工具紧接着一般的畸变工具而被创造出来,在经过修改后把与二维三维汇合点相照应的数值和滑动器合并。深度滑动器经过进一步的创建后,可以生成数学指令,用于同一改变任一给定分段的深度选取值,当滑动器从一方滑向另一方时,可用直观的方式滑动器进行推拉。此外,软件插件的创造是为了根据步骤5扭曲/畸变图像或者按压/拉伸图像,并当提供有深度选取蒙版时,针对这一工具的调整会考虑到更多的满意设置,更少的破坏性设置,同时也可以减少人工痕迹并改进新图像的质量。改进后的软件和插件还允许特定分段选取被修改以及其他相关数值,如边缘细节在插件的界面内被更改,而非仅在流程图中向后移动。因此,汇合过程中美工的多数需要都包含在自定义插件中,经过特别地准备和修改用于所述的汇合过程。此外,自定义插件会涉及到与需要输入的特定类型的图像或场景相关的系统默认值。这些图像和场景被存储在插件中以便快速使用。同时,也为了进一步合并数学修饰符,如“模糊节点”,它特别用于立体图像的制作,也可用于本流程中任一步骤的选取和分割,而不是仅仅限制于流程图里前面的应用。
在另外的实施方案中,交界面可能会为专门的硬件组件或流程模块所表示,以便于转换画面或画面序列。每个硬件组件由系统总线相连,和一个或多个模块程序逻辑控制器联合执行,以此方式处理器和流程模块的选取根据特别的应用或单目序列进行自定义。同软件执行类似,每个流程模块包括一系列的转盘或滑动器,用于真实的数值输入,鼠标、轨迹球或输入写字板,用于图像编辑,通常同样在每步像操作员曝光参数。这样的系统可通过音频/视频多频道混合控制台执行,控制台根据系所述统和流程来修改。
在软件和硬件的实施方案中,会为单目序列中每个画面执行一个或多个流程。硬件和软件交界面的输入控制器涉及到参数的处理,该参数会对这一步骤有影响,涉及到输入和输出的显示器以及与系统的美工/用户额交互性。交界面包含多种用于图像处理的参数控制器。这些控制器,例如,典型被用于步骤4中的深度选取蒙版调整,目的是为了达到步骤5中加权位移的特定效果。一项实施方案包含坡度衰减区或渐晕以实现特定的深度效果,蒙版噪点移除等等。图像选取图的处理和处理结果会在下文进行详细描述。
在交界面之后,软件和硬件同微处理器共同工作从交界面控制器中搜集恰当的的输入资料,在存储器中加工图像和输入资料。输入所要求的参数和2D转3D的流程细节会在下文的相关内容中进行描述需要注意的是这些步骤均在序列内完成,但不是必须。一旦序列完成,用户可以使用交界面重新访问任一步骤以交互地对参数进行修改,随后便可迅速地看到最终输出的立像对的效果。在一些实施方案中,图2和3所描绘的步骤被认为是一条流水线,其中一步的输出项是下一步的输入项。例如,一旦流水线形成,图像和蒙板信息从一步传递到下一步,包括原始序列中的图像到最终的立体图像对。为了更新任何之后可能会被影响的信息,在任一步骤中通过交界面对参数进行修改后可在重复执行流水中的任一步骤。这些修改可以由美工通过视频显示器交互完成,以观察任一后续步骤的实时影响,也包括最终的立体像对。
步骤1基础立体像对的创立
图5A到图C描绘的是按照此发明的各种实施方案床笠一对立体像对。第一步是从原始序列中取出一张图像,创立一对基础立体像对,这一像对会被进一步的优化改良,这是为了使3D图像展现在人面前时更为人所信服。图5A为原始图像。对原图进行了转换,包括从x方向作的简单平移。如图5B所示,这会在图像之间形成统一的基线不均等性,这些图像在随后的步骤中会被修改且可以允许元素被放置在用户所选择的某个深度位置上。
在这一实施方案中,图像转换是以如下的一种形式:
T通过将像素定位p用tx朝x方向移动在定位p′处结束来转换该定位。由于平移数值tx可以为真实数值,在每个像素定位处任一转换过的图片可能要求数值被重建。或者,反向转换T1可以用于目标图像中的每个像素定位点p′,目的是为了确定坐标点p,这可以从原图中映射得来。在一些实施方案中,像素定位的重构有必要执行,因为重新映射可能不会直接落在像素定位上。这可以靠插值格式完成,如双线性插值,双三次插值,线条等。在实施方案中,可以使用一个简单的双线性插值。
图5A说明了原始图像,图5B和图5C描绘了应用T进行转换得来的基础立体像对。像素被图解为网格中的盒子。他们包括色彩样本(白或黑)或者“X”,这表明没有展现关于该像素定位的信息。这一信息的缺失是将样本移到图像网格中所导致的,因为该信息并不存在于原始图像中。这一非预想效果的出现也解释了后续步骤中像素插入额做法。
原始图像501可以进行平移,生成一对相对,即原始图501(图5A)和转换图502(图5B)。转换也可用不同的数值tx进行两次,形成的图像对均为原始图5C的转换版本。这位流程提供了一个用来精细化的具有基础深度/不均等性基础的立体像对。一次统一平移所形成的同意不均等性是的基础立体对中不存在相关的深度信息。像对中的一张图像被选作左眼图像,另一张则是右眼图像。
在这一点上,有了恰当的立体硬件设备,这些图像可在展示在人眼前,并且可以交互执行T转换或流程中更进一步的步骤。立体硬件设备在之前的部分按所描述的进行工作。系统的交界面还涉及到具体画面从原始序列的转换,这一转换由输入序列进行。同时,交界面使美工能够轻易地通过转盘或滑动器轻松地调整平移参数。在这一情况下,评议数值tx值在图5A和图5C中被应用到原始序列的画面中。平移便以新的参数应用到原始序列的复制画面中,立体像对也会被重新展示一边评估,这其中涉及到调整最初基础立体像对已达到理想效果。
步骤2径向畸变
图像的径向畸变被认为是图像系统缺陷的一个副作用。在多数情况下,这些畸变在图片展示时通常被取消。然而,发明者发现畸变的使用可以创造感知效果,将中心处的元素拉离操作人员时,接近图像边缘的元素会更接近人类操作员。同时,将畸变应用与图像可以将像素资料重新映射到图像区域,这些区域目前还未有任何信息,图步骤1的结果。
图6A到图6C描绘的是一幅工作图像和可能会被应用到图像上的畸变效果。步骤二中畸变效果的应用有两个目的。第一个目的是解释说明图像边缘的信息空缺,这一空缺由步骤1的初步转换造成。第二个目的是将相关深度的初步印象添加到每幅左眼图像和右眼图像。映射是以首次顺序径向畸变为基础,这一畸变存在于许多镜头为基础的光学图像系统。
两种经常在图像中可观看到的径向畸变是桶形畸变和针形畸变,如图6B和图6C所示。这些图像在流程中可以取消畸变,这是因为它们可能会造成非预想的效果。在系统和流程的实施方案中,然而,径向畸变会影响样本资料的到畸变中心(Cy,Cy)的径向距离。适合模拟径向畸变的技术可以在R,Tsai的Aversatilecameracalibrationtechniqueforhigh-accuracy3Dmachinevisionmetrologyusingoff-the-shelfTVcamerasandlenses,in3.4IEEEJOURNALOFROBOTICANDAUTOMATION323-344(IBMT.J.WatsonResearchCenter1987),在此被完整引用。
对于图像网格中的像素定位(x,y),从畸变中心到非畸变像素定位的距离矢量为(xu,yu)=(x,y)-(cx,cy).径向距离表示为:
与畸变中心相关的畸变和非畸变像素定位之间的关系为:
xd=xu(1+κτ2)
yd=yu(1+κτ2)
(xu,yu)是与畸变像素定位(xd,yd)相关联的非畸变像素定位,k指畸变系数。仅仅通过改变k就可以控制畸变的强度。在一些实施方案中,畸变模型有时会包括两个幂的使用,极少情况下含有两个更高次方。这些额外的更高命令可以被应用,但是在一些实施方案中,在这种情况下没有必要,且离预想的效果会更远。这些效果均可通过方程式3和4的使用达到,尽管需要对左眼图像和右眼图像取消畸变。在一些实施方案中,对非畸变图像取消畸变可以取得和图6C中的图像一样的效果。在一些实施方案中,取消畸变仅按X方向进行,这是因为其意图是为了形成基础立体像对中的不均等性。由于拍景相机键的水平差异可以导致不均等性,立体像对中的不均等性应该只会在X方向上出现。
特别的,在一些实施方案中,对于每个在新目标对象的各像素定位(xu,yu)第二个方程式用来确定当前图像中的像素定位(xd,yd),而yd仍然没有变化。通过使用插入格式,(xu,yu)的像素值可以重构,如双线性插值,双三次插值,线条等。在实施方案中,双线性插值也可被使用。在一些实施方案中,畸变中心(cx,cy)朝左远离中心形成左眼图像,朝右远离中心形成右眼图像。畸变中心的精确位置有美工确定,且完全按照预想效果执行。
用方程式3和4可以完全可能执行径向基百纳,前提是效果十分理想。同样这一效果也可被或不被使用,这取决于场景中的元素本质。
立体对中每幅图像的畸变中心(cy,cy)以及畸变的强度由k决定,通过交界面来操作,这使得美工可以交互更改数值并观察立体像对的效果。这些有交界面进行的数值处理通过视频显示器和处理器完成。在实施方案中,视频输入包括一系列的菜单和对话框,用于对处理器和单个流程步骤的控制。另一方面,输入控制通常被诸如按钮,滑动器,转盘和键盘或鼠标的硬件输入完成。通过使用输入控件,输入设备的调整可以达到理性效果。参数也会一直被修改,用于应对在序列过程中的预想变化。
步骤3的加权选取是为了创建一个深度选取蒙版,这一蒙版会显示立体像对图像汇总的哪些元素或分段需要在后续步骤位移。为了形成最后立体像对的不均等性,对选定图像元素的位移是有必要的,因为这些不均等性可以形成立体深度效果。通过将[0,1]范围内的真实数值分配给立体像对选定图像的个各像素定位,便可形成一个深度选取蒙版,这表明选取的强度以两个独立的想法为基础,这些观念对于图像选取/分割十分常见,随后再将这些数值投影到相应的加权数值逐像素外观模型上。
立体对的一整套图像特征(如色彩,光流等等)的选择是为了在此基础上进行选取。该图像特征可以展示当前的所有信息,或者这些信息可以从图像中获得,或存在于序列图像的语境中。
画面的各个像素样本中的图像特征,如光度,饱和度和色彩等可以用作选取过程的基础。一些展示中也可以获取色彩信息。在实施方案中,RGB和HSV色彩空间均被使用,以逐色频为基础。也就是说,红色、绿色和蓝色色频被看做独立的特征。然而,其他任何的色彩展示以及色彩展示的独立色频组合也被认为是有效的图像特性。这些额外的特性可以包括但不仅限于灰度(边缘)信息,文理,光流等。
3(b)加权选取
使用3(a)中选择的一套图像特性,选取过程便可为内阁像素定位确定[0,1]范围内的一个真实数值。选取过程可以通过确定住像素外观模型来完成这一步骤,以选取的图像特性为基础,随后便确定在这一模型中每个像素的图像特性的呈现效果如何。通过检查其特性数值和比较特定的范围才能确定像素,适当的时候,可以应用衰减区公式。在一些实施方案中,这一模拟过程通过使用适当的程序名利以操控处理器302处理相应资料而得以完成。模拟过程的结果被存储在一个缓冲区或者存储器301中以便日后使用。
每一特性的范围由上下界r1和ru确定。例如,任何像素的特性数值p在相应地范围[r1,ru]内下降是会被分配1.0的加权值。任何在这范围外下降的数值所分配的加权值在[0,1]范围内。在一些实施方案中,f(x)是一个在[0,1]范围内的任意非增长真实数值公式。下降的数值通过在每个特性基础上应用f(x)公式而得以确定,公式:
x=min(|p-r1|,|p-ru)
确定的是最近范围界限间的距离和每个像素定为的特性数值。下降的数值可由处理器302进行组合,以软件程序为依据。或者,在一些实施方案中,f(x)可应用与特性和范围数值相关的矢量距离,公式:
x=min(p-r1),(p-ru))||
P代表像素的特性数值的矢量,r1和n代表的是范围边界的矢量,min指矢量数值命令行参数,该参数可确定逐组件最小值矢量。运用衰减公式的可能性很多。特定的衰减公式和运行方式是具体情况而定,其目的是为了确定加权选取值。这既可以靠处理器302根据合适的程序命令完成也可以通过使用定点设备302,输入设备304和控制器305完成。
然而,上述以范围和衰减区公式为基础的逐像素选取过程是实行加权选取的的唯一可能方法。模拟选取的方法有许多,此外,任何在[0,1]范围内的正常数值可被分配给每个像素,以证明该数值和模型间的相适性。一个选择是使用单个非线性多维公式,如高斯分布,以此来展现选取过程。典范像素可以用特定的方差来确定分布的方式。每一个像素被分配一个加权选取,选取以高斯分布的评估为基础。其他的可能性包括采用更为复杂的模型,这些模型可以是真实数值分配给每个像素的过程更为便利。图形模型,如马尔可夫随机场,正如CHRISTOPHERM.BISHOP,PATHERNRECOGNITIONANDMACHINELEARNING(Springer1sted.2006),所述,可应用在此种情形中。以运算法则为基础的图片剪切,如所参考的V.ZabinKolmogorov的“通过图形剪切何种能量公式可以最小化?”中所述,该文出自IEEETRANSACTIONSONPATTERNANALYSISANDMACHINEINTELLIGENCE147-159(Dept.Comp.Sci.,CornellUniv.2004),也可用于这一情形中。此外,图像序列的内在性质可被进一步发掘出来。也就是说,物体位置和外观的相似性可以更明显地被展示出来。无论如何,在加权选取的步骤中可能会应用智能数值分配的流程,之后将其限制在范围[0,1]内。
特性范围边界和衰减区公式参数通过软件和硬件被输入到处理器302中或存储于存储器301中以便为美工所使用,尽管其他模型的参数也可以以类似地方式为美工所获取。这使美工可以交互更改参数值,观察数值对深度选取蒙版造成的效果。将参数手动输入交界面汇总或使用交界面交互选取像素后,参数调整可以用来改进当前选取的质量。选取模型的参数可以随时变化以实现序列过程中选取的预想变化。
步骤4深度选取蒙版调整
步骤4的深度选取蒙版调整是美工可修改图像蒙版和步骤3的深度选取蒙版以改进选取质量,因此也改进了蒙版应用所创立的深度选取蒙版的质量。在一些实施方案中,这一步骤并非必须的,取决于步骤3生成的图像蒙版和步骤5中加权位移的预想效果。这可以像将图像滤镜应用于弱化图像边缘一样自动进行。例如,噪点图像选取图可以造成图像的噪点位移,会造成视觉问题,破坏立体深度效果。在一些实施方案中,深度选取蒙版调整可以和创建图像蒙版一样需要人工进行。例如,含有位于苹果树前的红色跑车的场景要求讲跑车移至前景中以此形成立体深度效果的不均等性。这也要求选取红色跑车使其下一步可进行位移。然而,以颜色为基础的选取可能还包含树上的红苹果,尽管这些元素并不会和汽车一起位移。图像蒙版和深度选取蒙版在取消这种错误选取是可以被修改或应用。
在一些实施方案中,处理器302被编程命令为美工提供可以应用图形加工运算法则的选择。这些包括平滑滤波器,如标准高斯滤波器和以低通滤波器为基础的频域,尽管平滑滤波器会在本步骤中使用。平滑滤波器的作用时减少选取效果不够理想的蒙版里的尖锐线条或边缘。平滑滤波器可以被用于关闭高选取区域内的强度不需要的低强度加权选取缺口,反之亦然。、
在一些实施方案中,形态操作,如非零加权选取值得缩小或放大同样也由交界面执行。这些操作涉及到选区区域的扩大或缩小,同样也是移除图像蒙版汇中缺口的有效工具。任何形态操作的变动都可以应用在此步骤中。在其他的实施方案中,交界面会提供滤波器和运算符以便从图像选取图中移除噪点。这些包括边缘滤波器,如中值滤波器,该滤波器对于移除盐点噪点和椒点噪点十分有效,也包括双向滤波器,可以平滑噪点区域同时保留边缘信息。
许多图像操作技术可以通过交界面提供给美工,并将其应用于此步骤中来修改步骤3中的深度选取蒙版和图像蒙版。此外,任何上述滤波器或技术都可被延伸来思考之前或后来图像选取图中信息。例如,高斯平滑滤波器可被延伸至三维以便整合前面或后续画面中的像素信息。这一方法可被用来避免序列中邻近图像中任何深度选取蒙版的突然变化,这些变化可能会造成最终立体像对序列中的明显视觉手工点。
图7A描绘的是从立体像对中获取的一张简单图像,图7B描绘的是整张图像进行加权选取后形成的首个深度选取蒙版。图7B的填充图片表示步骤3中的非选定区域。图7C描绘的是一张图像蒙版,蒙版中的白色网格表示蒙版值为1.0的像素,填充部分为蒙版值为0.0的像素。将这一逐像素蒙版和工作图像重叠可形成图7D中的新深度选取蒙版。
图8A到图8D描绘的是将图像蒙版和梯度图像重叠的实施方案。例如,图8A描绘的立体像对中可能的一幅图像,图8B描述的是加权选取图像后形成的深度选取蒙版。图8C说明的是梯度图像蒙版,其蒙版数值在由左往右从1.0慢慢下降至0.0。将逐像素梯度图像和选取蒙版重叠可形成图8D所描绘的新图像选取详图。
这些蒙版或深度选取蒙版的创建取决于工作图像和最终图像选取图的组合。图像蒙版可多次应用于工作图像,同一蒙版或后续步骤中的蒙版。本步骤中可将真实的数值分配给蒙版中的每个像素,同时通过交界面呈现给美工。将一个图像蒙版应用于另一个图像蒙版并不仅限于重叠。任何数量的数学运算可以实现预想的效果,包括加、减、除等。应用程序也不一定只包括一个蒙版,它也可以是图像重叠后的结果。
这些蒙版的数值可以不断变化或更改以实现预想的变化,这些变化将在数值被应用于图像,图像的分割和深度选取蒙版时产生效果。这也可以通过直接处理像素数值来实现,尽管参数经过交界面已为美工所获取。在一些实施方案汇总,这一步也不是必须的,这取决于步骤3和4中形成的图像蒙版和深度选取蒙版的质量。在这一后续流程中所使用的参数可一直变化以实现预想变化。
步骤5加权位移
加权位移的目的是为了修改工作图像,因而其所属的立体图像对可以展示感知立体深度的不均等性。加权位移需要图像选取图,移动该图只是的各元素。这一过程通过图像像素的位移而得以完成,该图像像素有选取和分割蒙版数值进行加权。
例如,如图9A至9D所描绘,为了创造不均等性,前景元素经常会向左或向右移动,和背景元素形成对比。图9A中的汽车901被选取后形成了一幅图像选取图,随后用运算符和模糊器对其进行修改,形成图9C所示的深度选取蒙版902。深度选取蒙版向右位移后形成图9B,该图被用作立体像对中的左眼图像。图9A和图9B像匹配,均包含参考线903,因而观看者可以看到汽车明显地向右移动。图9D描绘的是图像相许水平位移的度。由于图像选取图中梯度效果,当位移至背景中时,位移的光度更强。这模拟了在实际立体像对中可能会看到的现象,距离相机更近的元素具有更大的不均等性,不均等性变小是,元素更加远离相机。需要注意的是,没有添加任何视觉信息,任何空白都可通过图像的畸变或扭曲填充。当图像在立体像对中重新组合时,图像的分离与水平视差和
封孔显示相照应,这是立体视图感知中的两个关键因素。对图像进行额外分割后,进一步的精细化,如将树推后至背景中,更易执行。垂直网格线903在图像中被覆盖,从而更容易分辨出区别。要注意的是这一过程在右眼图像中被执行时,加权位移将向左移。
图10A至图10J描绘的是由二维矢量场表现的图像中一个像素定位向另一个像素定位的位移。移动的大小通过每个像素的实际数值来调整。在一些实施方案中,预想结果是以和步骤3中像素加权不同的方式更改图像重新映射。每个像素定位的移动会形成一个新的像素定位。新定位的数值会映射到当前的像素。特别的,矢量场R2→R2在每个像素定位(x,y)处有一个数值。图I是一张映射图I:R2→Rn,其中Rn是一个任意特性空间。在这一情况下,n=3,对于一个像素定位为(x,y),3矢量值包括红、绿和蓝色空间值,尽管任意数量的特性可在给定的像素处呈现,包括光溜或不同的色彩空间值。
对于每个像素定位V(x,y),二维矢量值(Vx,Vy)是存在的。这些矢量值和标量蒙版数值M(x,y)在相应地点相乘后生成了矢量场:V′(x,y)=(V1 x,V1 y)=M(x,y)V(x,y)。该矢量场用来重新映射各图像像素定位I(x,y),根据(x,y)+V′(x,y)复制数值而形成新的图像I′(x,y)。这一关系可以用下列公式描述:
I1(x,y)=I(x+v1,y+v1 y)
这一定位在像素样本上可能不会减少,数值需要重建。在一些实施方案中,任何插入格式都可以被使用,如双线性插值,双三次插值,线条等。在一个实施方案中,可使用简单的双线性插值。由于立体图像汇总的不均等性主要以水平方式展现,在一些实施方案中,矢量场中的矢量有一个非零X,而y通常被设置为0,但也并不是所有情况都是如此。矢量场可以一直运动以实现在中心映射序列过程中实现预想变化。
图10和图11描绘的是位移过程。图10A至图10J描绘的是位移对单个像素产生的效果。图10A展示了两个不同像素的图像和色彩。图10B展示了像素的蒙版数值,而图10C展示了该像素处相应地位移矢量。图10D展示的是矢量点从原始位置,方形填充像素到其他图像中图解的像素移动。图10E展示的是位移步骤后的图像像素值;也就是说,从指来的方形填充区域的像素数值被矢量指向十字形填充区域的数值所取代。图10A至图10E说明的是由深度选取值1.0所确定的矢量。图10F至图10J描绘的是有深度选取值0.5所确定的矢量。
图11A描绘了图像I,图11B描绘了有矢量(5,1)确定的矢量场。图11C描绘的是被矢量场覆盖的图像。图11D描绘的是可能的选取蒙版,白色网格表示蒙版值为1.0,填充网格表示蒙版值为0.0。图11E描绘的是将图像蒙版或深度选取蒙版被应用于工作图像后被覆盖的矢量场。可以看到从像素定位的右半部分开始矢量消失。位移的应用导致这些矢量值变为零。图11F进一步描绘了矢量场位移执行后的图像。
目前的流程使用深度选取蒙版和矢量场来决定图像移动,从图像中可以复制或拖移资料之当前定位;同样也可能采取相反操作。在一些实施方案中,另一个蒙版可以和矢量场共同作用从最初位置上提取出图像信息。上述的详细方法是可供使用的多种方法之一,也阐释了一些实施方案操作此发明的方法。
正如前面所述,交界面使美工得以创立一个统一的矢量场,主要通过指定一个二维矢量来构成该场,同时也选取一个蒙版或深度选取蒙版应用于矢量场上。选取标准的砝码依比例决定实际移动值后形成了非统一的位移效果。但是,如果想要增加特定序列的预想效果,这一步骤会涉及到更为复杂和多样的矢量场。同时在一些实施方案中,交界面被修改以对美工提供恰当的功能性,为矢量场的创立和修改提供便利。本步骤中对矢量场作出的调整会对立体像对的外观迅速产生影响,使美工能迅速观看并修改。
为实现预想的立体效果,点那个步骤3至步骤5被重复多次后,被修改图像的边缘周围可能不会有像素信息。在有些情况下,这是有空无信息移动至图像中造成的,且移动的方式和图5C中步骤1应用初步转换的方式类似。最终的图像重新映射可在本步骤进行,要么重新植入空无信息,要么重调图像尺寸或裁减图像。
在一个实施方案中,本步骤包含简单的图像裁减以消除图像边缘的空无信息。在另一个实施方案中,简单的图像拉伸被应用。在其他的实施方案中,基于图像畸变的重新映射也可被应用。如此,任意数量的图像转换可以在本步骤应用以补上遗失的信息。在一些实施方案中,控制这些操作的参数有交界面提供,同时也会涉及到图像转换的交互调整。
图12描绘的是依据软件界面形成的节点序列图表。这样的序列图表可以在汇合过程中在显示器上交互展示,是美工可以看到原始图像发生的变化。这种视觉说明极具优势,因为每个加工节点嗲表实施方案中各个步骤的程序命令。这些命令可以是自动的,或者节点可以为美工提供一个输入框以便选取需要使用的参数或流程。
如图12所示,画面1201选取自单目图像序列,流程也是从该画面开始。使用本文所述的交界面后,步骤1的转换操作通过首个加工节点1202的形成而运行。在这一步骤中,变换算符用来复制原始图像从而形成一个立体图像对,使转换后的左眼图像1203同右眼图像1204一起工作。流线控制由两个分支形成,分别为左眼图像和右眼图像服务。在这一例子中,运算符在本步骤的使用是为了裁剪图像。
第二个加工节点1205的形成是为了将步骤2中的径向畸变应用于第一分支的左眼图像1203.这一畸变步骤和随后的步骤可能会被应用于右眼图像分支,但是,为了直观效果,只能对左眼图像1203进行进一步的处理。
在第二个加工节点1205中,左眼图像1203形成了和第三个加工节点1206(光度蒙版)和第四个加工节点1207(色度蒙版)相连的流水线,从而应用步骤3和4的图像蒙版来选取图像的部分区域,该图像的深度酱油深度选取蒙版进行调节。第一个图像蒙版的选取是为了用光度完成图像元素的加权选取。基于图像的色独特性,第一个图像蒙版的输出结果以类似的方式通过流水线被传输给第二个图像蒙版。这两个节点共同作用使用户可以确定图像的光度和色彩范围,创造一个深度选取蒙版。应当注意的是,任意数量的选取参数,包括光度,色度或其他运算符,可能是加工节点内的参数,或者多个参数需要使用多个加工节点。
在这一例子中,第一个运算符1208(“多边形1”)和第二个运算符1209(“多边形2”)被应用于第四个加工节点1207(“色度蒙版”)。如步骤4所示,这些运算符使用户可以通过画多边形的形状来排除需要加工的图像部分,用图像蒙版限定来修改蒙版。需要注意的是,这些加工运算符可能被作为特定加工节点里的运算符进行运行,或者他们在单个的加工节点里运行。
在第五个加工节点1210中,深度选取蒙版被应用于左眼工作图像1203,且根据步骤5进行加权矢量位移,依据本文中的实施方案取得深度代。
左眼图像可能会经过一个或多个选取和位移过程(例如,节点1211和节点1212)。有些可能要求进一步的蒙版调整,有些则不用。值得注意的是,先前的加工步骤可能会被完全复制,或者在复制后进行调整,以整合进入图像加工流水线的后续流程。
最终,左眼图像被输送到输出加工节点1213,右眼图像1204被输送到输出加工节点1214.这些输出加工节点将输出项书写在记忆棒1215,如磁盘或其他各种形式的存储媒体。在一些实施方案中,左眼图像和右眼图像含有一个时间信号,所以在用立体视图设备观看最终的立体图像对序列时,两张图想可以组合起来。另一个加工节点1216(“立体图像栈”)也可能在将图像书写进存储器或用显示器观看之前将图像组合起来。在一些实施方案中,加工节点1218可能会将畸变应用于右眼图像。
任何在流程图中的节点可能会被手动或自动地重组或处理到其他序列部分。当前发明的交界面也含有许多行业方程式,这些方程式由观看编辑过程的程序构成,例如,交界面允许用户将一个加工节点拖曳至视频显示器的显示区域,从而自动显示当前流水线中加工节点的输出结果。这使得用户可以观看流程中任何一点的输出项,当流水线的上游参数改变时,流水线可根据所显示的输出图像进行更新。图像中任何独立的频道都可为自己所观看,包括透明图(蒙版)信息。
流程的典范说明
流程的选取或分割方法允许美工选取场景的“容量”,而不是描绘选定元素的轮廓。比如一个阴影框——每一边都是标准色彩——红色,绿色,蓝色。在大多数简单的制作中,通过选取或分离红色,绿色或蓝色色频,美工可以选取框的各边而不用进行影像描摹。然而,这会造成图像内形成3个平坦区域。幸运地是,在实际情况中,所有物体具有颜色和变化的梯度,这使我们能够获取所要求的详图。
再看影片制作中下一个常见的演员脸部外表。演员脸部的血管通常会朝鼻子方向或远离鼻子的方向辐射,这取决于当时的表现。通过使用红色色频,和一些简单的修饰,不论是该色频的对比度,灰度系数,光度,还是诸如加减的运算符,美工可以根据真实图像的轮廓获取演员脸部的梯度。进行步骤5时,这一做法使得加权位移可以创造具有大量容积和详图的深度,或者一张十分真实的三维脸。因为美工不需要建立3D几何,所以脸部不需要模型;选取和分割的均是演员的脸,在多个画面中也仍然会进行连续的选取。
美工可能会选取演员脸部的红色部分,手臂的粉色部分,牛仔裤的蓝色部分,衬衫的黄色部分,并获取一张具有多个花样的完整空间图;且将这些图像以合理的方式组合。通过对构成整个人物的所有物件进行选取,构成人物脸部的所有碎片,向前投影的元素——例如,手或脸部的关键部分,如鼻子——美工可以轻松地操作,因而影响单个选取,各次选区,整个组或任何选取或次选区的组合。
再看图13A描绘的一个拿着弓箭的男孩。箭的尖端被至于前景中,小孩的身体位于中景,草丛和树叶则处于背景中。根据图13B的描绘,第一深度选取蒙版在数值范围的基础上生成,包括亮度和色频以及其他图片特质,以区别背景和男孩。直到背景有了最强的光度后,工作图像才被调整,而男孩和箭的尖端的光度最小(接近于0)。一旦图像被调整,中景和前景的元素的光度最小,进行进一步的调整后,靠近相机的背景元素中的物体仍然只有很小的光度,因而可以进一步地分辨出背景。如图13B,背景元素被确定并储存为图像选取对象,以获取最终的深度选取蒙版。
第二个深度选取蒙版以同样的方式为尖端而生成。如图13C所示,图像被调整后,除了尖端,所有的元素更为暗沉,箭的尖端光度更强,用于之后投影给观看者观看。箭的尖端元素被确定并保存为图像选取对象,以便形成最后的深度选取蒙版。如图13D,背景元素和箭的尖端元素从图像中选取或删除已生成第三个部分。同样地,保留的部分基于数值范围被调整,将更强的光度分配给男孩的特性,从而形成第三个深度选取蒙版。
在这一例子中,0至1的深度值被分配给每个图像段的各像素定位,0值代表元素最暗的部分。应用深度选取蒙版来选取工作图像的元素时,这些像素定位通过矢量位移而实现移动。在一些实施方案中,将多个分段和选取蒙版组合起来更为可取。在图13E的例子中,三个分段被组合,选定的分段组合后,该区域具有最大的光度。图13B的背景分段也因此变换成中景部分。如此,分段中深度值为1表明该背景元素等同于数值为0的小男孩。这两个分段组合后便形成了一个深度选取蒙版,其中一幅图像一直保有梯度。在一些实施方案中,每个分段被分配给一个深度选取蒙版,并拥有一个控制器来调整其深度值。组合后,另一个控制器可能同时调整所有组合起来的分段作为一个深度选取蒙版,而其他的控制器则单独调整每个分段。在一些实施方案中,美工可能会通过翻转整个深度选取蒙版从而将所有东西拉后。0至1或1至0的范围可以用于描述光度或深度数值,这些数值可以随意分配,依据不同的方法,数值各有不同。
例如,如果图像中任一元素的最大位移是30像素,那么工作图像各个有最大的深度值像素可以为30像素所替代,而这些深度值最小的与数值相关的像素责备移动,或者,在一些实施方案中,负向移动,如,-5像素。通过加权位移实现的移动会在压缩或拉伸图片,或者,在一些实施方案中,以不同的方向移动不同的数值。若有要求,图像压缩或拉伸的质量,尺寸或位置可受美工控制,在最小化视觉错误的同时,最大化图像的立体效果。在一些实施方案中,移动在左眼图像和右眼图像上均进行,因此,如果位移最大量为30像素,那么每张图像的最大位移量为15像素,并相应地减少。发明者发现位移之前的元素边缘模糊效果的应用可能会环节不连贯性,这些不连贯性可能会被肉眼看见。发明者同样发现调整深度选取蒙版后,工作图像的压缩或拉伸可以减少发生频率,例如,天空,大面积水域,密集森里,可以进一步隐藏图像加权位移导致的不连贯性。
深度选取蒙版和相关的深度值在任一固定的图像序列中仍然是半固定的,因此,2D图像仅仅只需可轻易转换为3D图像,从而修改深度选取蒙版或加权数值。为场景创建整体深度选取蒙版还有许多其他方法。例如,发明者发现软件可以为流程调整,将Z缓冲图从渲染动画中输入,该渲染动画包含CGI和3D形态学。
需要注意的是,由于在本流程中执行相对廉价的计算运算符以对操作人员手工控制的要求降低,交互性地执行整个过程是可能的。这不同于其他从单目图像中生成立体图像对的现有技术。在提供有活跃立体硬件设备的情况下,可对流程中的任一步骤进行调整,其对立体效果的影响也可迅速观看得到。
本系统和流程使电影制作人可以直接监督对立体场景的质量和深度的进行的小型和大型调整,这些调整可在适当的观影环境下进行,图电影院,放映室,等。制片人可迅速完成一个镜头,不用再费额外的力气通过公司来完成该项工作。例如,还有其他的先进技术,如影像描摹和Kaye的U.S.Pat.No.6,208,348中所描述的相关技术。每个步骤也会要求另外的美工输入和时间绘制。
当前发明的系统和流程的更大优势在于它使运算符能在同一序列中的其他镜头选取现有的标准,并将该标准应用于序列内的每个镜头,常常不需要创建新的选取设置,或者只会发生细微变化。例如,美工可以在20个镜头序列中的第一个镜头中建立选取标准,并将数值应用于所有的镜头,不断接受使用结果。这使流程对于美工来说变得十分快捷,并且可交互进行。在较短时间段里需要完成好莱坞和电视项目的上千个镜头时,这一流程显得尤为重要。不仅如此,随着技术进步,整个单目序列的汇合会变得更为实时。此流程的使用同样可以和传统实践相结合。例如,演员脸部的3D几何图在电影的各个场面中可以被着色,追踪和移动,本系统和流程可以用于将2D图像转换成3D图像,或者修补前面步骤造成的3D几何图中的不连贯性。但是本系统和流程的另一优势在于此项发明可使美工更轻松地调整或纠正立体视图材料中的元素;组合3D电影元素,以及2D转3D转换元素,更为便利和容易;通过调整不良相机校准所导致的不连贯性或移除不需要的手工效果,矫正3D图像镜头。例如,系统和流程被用于修补被破坏了的原始图像。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种二维图形生成三维图像的方法,其特征在于,具体包括以下步骤:
接收二维图像并复制,得到两个工作图像;
对至少一个工作图像中的每个像素定位上分配不同的深度值;
使观看者在双眼分别查看第一工作图像和第二工作图像时达到三维图像效果。
2.根据权利要求1所述的一种二维图形生成三维图像的方法,其特征在于,对至少一个工作图像中的每个像素定位上分配不同的深度值具体包括以下步骤:
创建与至少一个工作图像特性和至少一个工作图像的部分区域相关联的深度选取蒙版;具体包括:选取图像特性,为工作图像中部分区域的各个像素定位选取图像特性并确定正常范围内的真实数值;为工作图像中部分区域的各个像素确定矢量场;
将深度选取蒙版应用于工作图像部分区域的矢量场,以创建一个加权位移蒙版;所述加权位移蒙版的位移矢量和工作图像部分区域的各个像素相关联,位移矢量具有大小和方向;
根据位移矢量的大小将不同深度值分配到每个像素定位上。
3.根据权利要求2所述的一种二维图形生成三维图像的方法,其特征在于,所述根据位移矢量分配深度值具体包括:
位移矢量大小和图像部分区域的感知深度有关,最大的位移矢量被分配给具有最大的选取深度值的各个像素定位,最小的位移矢量被分配给具有第三大的选取深度值的各个像素定位,中间大小的位移矢量被分配给具有第二大的选取深度值的像素定位,第二大的选取深度值的范围在第一大和第三大深度值间。
4.根据权利要求1-3任一项所述的一种二维图形生成三维图像的方法,其特征在于,创建与工作图像至少一个特性相关的深度选取蒙版,具体包括以下步骤:
从包含色度、光度、饱和度和色彩的组中选取一个图像特性;
在工作图像中生成一个具有图像特性的加权分布图像代表,工作图像的真实数值根据加权分布被分配给各个像素定位。
5.根据权利要求3所述的一种二维图形生成三维图像的方法,其特征在于,还包括对深度选取蒙版的深度值进行微调:对比工作图像中图像特征和深度选取蒙版和深度数值的选定范围,根据对比结果在选定像素定位的基础上改变深度选取蒙版的深度值,所述选定像素定位与图像特征相关。
6.根据权利要求1所述的一种二维图形生成三维图像的方法,其特征在于,所述对工作图像中的每个像素定位上分配不同的深度值之前还包括:对第一工作图像和/或第二工作图像进行径向畸变,从而消除工作图像中的至少一部分的径向畸变。
7.一种二维图形生成三维图像的系统,其特征在于,包括接收模块和处理模块;
所述接收模块用于接收二维图像并复制,得到两个工作图像;
所述处理模块用于对至少一个工作图像中的每个像素定位上分配不同的深度值;使观看者在双眼分别查看两个工作图像时达到三维图像效果。
8.根据权利要求7所述的一种二维图形生成三维图像的系统,其特征在于,所述处理模块包括深度蒙版模块、位移蒙版模块和深度分配模块;
所述深度蒙版模块用于创建与至少一个工作图像特性和至少一个工作图像的部分区域相关联的深度选取蒙版;具体包括:选取图像特性,为工作图像中部分区域的各个像素定位选取图像特性并确定正常范围内的真实数值;为工作图像中部分区域的各个像素确定矢量场;
所述位移蒙版模块用于将深度选取蒙版应用于工作图像部分区域的矢量场,以创建一个加权位移蒙版;所述加权位移蒙版的位移矢量和工作图像部分区域的各个像素相关联,位移矢量具有大小和方向;
所述深度分配模块用于根据位移矢量的大小将不同深度值分配到每个像素定位上。
9.根据权利要求7所述的一种二维图形生成三维图像的系统,其特征在于,所述根据位移矢量分配深度值具体包括:
位移矢量大小和图像部分区域的感知深度有关,最大的位移矢量被分配给具有最大的选取深度值的各个像素定位,最小的位移矢量被分配给具有第三大的选取深度值的各个像素定位,中间大小的位移矢量被分配给具有第二大的选取深度值的像素定位,第二大的选取深度值的范围在第一大和第三大深度值间。
10.根据权利要求7-9任一项所述的一种二维图形生成三维图像的系统,其特征在于,所述深度蒙版模块创建深度选取蒙版的过程具体包括:
从包含色度、光度、饱和度和色彩的组中选取一个图像特性;
在工作图像中生成一个具有图像特性的加权分布图像代表,工作图像的真实数值根据加权分布被分配给各个像素定位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510994509.7A CN105608666A (zh) | 2015-12-25 | 2015-12-25 | 一种二维图形生成三维图像的方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510994509.7A CN105608666A (zh) | 2015-12-25 | 2015-12-25 | 一种二维图形生成三维图像的方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105608666A true CN105608666A (zh) | 2016-05-25 |
Family
ID=55988582
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510994509.7A Pending CN105608666A (zh) | 2015-12-25 | 2015-12-25 | 一种二维图形生成三维图像的方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105608666A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107067452A (zh) * | 2017-02-20 | 2017-08-18 | 同济大学 | 一种基于全卷积神经网络的电影2d转3d方法 |
CN107248141A (zh) * | 2017-04-28 | 2017-10-13 | 努比亚技术有限公司 | 一种图像编辑方法和装置以及计算机可读存储介质 |
CN107862674A (zh) * | 2017-11-08 | 2018-03-30 | 杭州测度科技有限公司 | 深度图像融合方法及系统 |
WO2018133312A1 (zh) * | 2017-01-19 | 2018-07-26 | 华为技术有限公司 | 一种处理的方法及设备 |
CN109949256A (zh) * | 2019-01-14 | 2019-06-28 | 昆明理工大学 | 一种基于傅里叶变换的天文图像融合方法 |
WO2019223523A1 (zh) * | 2018-05-23 | 2019-11-28 | 苏州新光维医疗科技有限公司 | 图像处理方法、装置及三维成像系统 |
CN110827394A (zh) * | 2018-08-10 | 2020-02-21 | 宏达国际电子股份有限公司 | 脸部表情建构方法、装置及非暂态电脑可读取记录媒体 |
CN112505049A (zh) * | 2020-10-14 | 2021-03-16 | 上海互觉科技有限公司 | 基于蒙版抑制的精密零组件表面缺陷检测方法和系统 |
CN113077306A (zh) * | 2021-03-25 | 2021-07-06 | 中国联合网络通信集团有限公司 | 图像处理方法、装置及设备 |
WO2021259081A1 (zh) * | 2020-06-24 | 2021-12-30 | 苏宁易购集团股份有限公司 | 一种场景蒙版的生成方法和系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1209248A (zh) * | 1995-12-22 | 1999-02-24 | 齐诺技术有限公司 | 图像转换和编码技术 |
EP1353518A1 (en) * | 2002-04-09 | 2003-10-15 | STMicroelectronics S.r.l. | Process and system for generating stereoscopic images from monocular images |
CN101479765A (zh) * | 2006-06-23 | 2009-07-08 | 图象公司 | 对2d电影进行转换用于立体3d显示的方法和系统 |
-
2015
- 2015-12-25 CN CN201510994509.7A patent/CN105608666A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1209248A (zh) * | 1995-12-22 | 1999-02-24 | 齐诺技术有限公司 | 图像转换和编码技术 |
EP1353518A1 (en) * | 2002-04-09 | 2003-10-15 | STMicroelectronics S.r.l. | Process and system for generating stereoscopic images from monocular images |
CN101479765A (zh) * | 2006-06-23 | 2009-07-08 | 图象公司 | 对2d电影进行转换用于立体3d显示的方法和系统 |
CN102685533A (zh) * | 2006-06-23 | 2012-09-19 | 图象公司 | 对2d电影进行转换用于立体3d显示的方法和系统 |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018133312A1 (zh) * | 2017-01-19 | 2018-07-26 | 华为技术有限公司 | 一种处理的方法及设备 |
CN110192391A (zh) * | 2017-01-19 | 2019-08-30 | 华为技术有限公司 | 一种处理的方法及设备 |
CN107067452A (zh) * | 2017-02-20 | 2017-08-18 | 同济大学 | 一种基于全卷积神经网络的电影2d转3d方法 |
CN107248141A (zh) * | 2017-04-28 | 2017-10-13 | 努比亚技术有限公司 | 一种图像编辑方法和装置以及计算机可读存储介质 |
CN107248141B (zh) * | 2017-04-28 | 2021-01-05 | 努比亚技术有限公司 | 一种图像编辑方法和装置以及计算机可读存储介质 |
CN107862674A (zh) * | 2017-11-08 | 2018-03-30 | 杭州测度科技有限公司 | 深度图像融合方法及系统 |
CN107862674B (zh) * | 2017-11-08 | 2020-07-03 | 杭州测度科技有限公司 | 深度图像融合方法及系统 |
US11317080B2 (en) | 2018-05-23 | 2022-04-26 | Scivita Medical Technology Co., Ltd. | Image processing method and device, and three-dimensional imaging system |
WO2019223523A1 (zh) * | 2018-05-23 | 2019-11-28 | 苏州新光维医疗科技有限公司 | 图像处理方法、装置及三维成像系统 |
ES2813426A1 (es) * | 2018-05-23 | 2021-03-23 | Scivita Med Tech Co Ltd | Metodo y dispositivo de procesamiento de imagenes y sistema de formacion de imagenes tridimensionales |
CN110827394A (zh) * | 2018-08-10 | 2020-02-21 | 宏达国际电子股份有限公司 | 脸部表情建构方法、装置及非暂态电脑可读取记录媒体 |
CN110827394B (zh) * | 2018-08-10 | 2024-04-02 | 宏达国际电子股份有限公司 | 脸部表情建构方法、装置及非暂态电脑可读取记录媒体 |
CN109949256A (zh) * | 2019-01-14 | 2019-06-28 | 昆明理工大学 | 一种基于傅里叶变换的天文图像融合方法 |
WO2021259081A1 (zh) * | 2020-06-24 | 2021-12-30 | 苏宁易购集团股份有限公司 | 一种场景蒙版的生成方法和系统 |
CN112505049B (zh) * | 2020-10-14 | 2021-08-03 | 上海互觉科技有限公司 | 基于蒙版抑制的精密零组件表面缺陷检测方法和系统 |
CN112505049A (zh) * | 2020-10-14 | 2021-03-16 | 上海互觉科技有限公司 | 基于蒙版抑制的精密零组件表面缺陷检测方法和系统 |
CN113077306A (zh) * | 2021-03-25 | 2021-07-06 | 中国联合网络通信集团有限公司 | 图像处理方法、装置及设备 |
CN113077306B (zh) * | 2021-03-25 | 2023-07-07 | 中国联合网络通信集团有限公司 | 图像处理方法、装置及设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105608666A (zh) | 一种二维图形生成三维图像的方法及系统 | |
US10652522B2 (en) | Varying display content based on viewpoint | |
US8947422B2 (en) | Gradient modeling toolkit for sculpting stereoscopic depth models for converting 2-D images into stereoscopic 3-D images | |
US8922628B2 (en) | System and process for transforming two-dimensional images into three-dimensional images | |
US9390538B2 (en) | Depth identification of pixels in one or more three dimensional images | |
US9485497B2 (en) | Systems and methods for converting two-dimensional images into three-dimensional images | |
CN102075694B (zh) | 用于视频制作、后期制作和显示适应的立体编辑 | |
US20110075922A1 (en) | Apparatus and method for removing ink lines and segmentation of color regions of A 2-D image for converting 2-D images into stereoscopic 3-D images | |
EP2306745B1 (en) | Method and system for creating depth and volume in a 2-D planar image | |
US8471898B2 (en) | Medial axis decomposition of 2D objects to synthesize binocular depth | |
US9202309B2 (en) | Methods and apparatus for digital stereo drawing | |
JP2006325165A (ja) | テロップ発生装置、テロップ発生プログラム、及びテロップ発生方法 | |
CN102685533A (zh) | 对2d电影进行转换用于立体3d显示的方法和系统 | |
JP4996922B2 (ja) | 立体映像化 | |
CN109461197A (zh) | 一种基于球面uv和重投影的云实时绘制优化算法 | |
Stavrakis et al. | Image-based stereoscopic painterly rendering | |
CN102467747A (zh) | 建筑装修动画3d效果处理方法 | |
Istead et al. | Generating Rough Stereoscopic 3D Line Drawings from 3D Images | |
Park et al. | Real-time 3D model generation system using multi-view images | |
Stavrakis et al. | Interactive tools for image-based stereoscopic artwork | |
Stavrakis | Stereoscopic non-photorealistic rendering | |
Thatte | Cinematic virtual reality with head-motion parallax | |
Shin et al. | Flickering Elimination Method for Background Region in Depth Video | |
Kim et al. | Tracing Time through Interactive Artworks | |
Neumann et al. | Computer Generated Stereoscopic Artwork |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned | ||
AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20190611 |