CN104969546A - 用于生成中间视点图像的系统 - Google Patents
用于生成中间视点图像的系统 Download PDFInfo
- Publication number
- CN104969546A CN104969546A CN201380072475.5A CN201380072475A CN104969546A CN 104969546 A CN104969546 A CN 104969546A CN 201380072475 A CN201380072475 A CN 201380072475A CN 104969546 A CN104969546 A CN 104969546A
- Authority
- CN
- China
- Prior art keywords
- intermediate image
- image
- data
- viewpoint
- mixed strategy
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims description 112
- 230000003068 static effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 63
- 230000006870 function Effects 0.000 description 45
- 102000004127 Cytokines Human genes 0.000 description 19
- 108090000695 Cytokines Proteins 0.000 description 19
- 101100224481 Dictyostelium discoideum pole gene Proteins 0.000 description 12
- 101150110488 POL2 gene Proteins 0.000 description 12
- 230000008859 change Effects 0.000 description 12
- 239000000203 mixture Substances 0.000 description 12
- 238000001514 detection method Methods 0.000 description 10
- 238000006073 displacement reaction Methods 0.000 description 9
- 101150046160 POL1 gene Proteins 0.000 description 8
- 101100117436 Thermus aquaticus polA gene Proteins 0.000 description 8
- 230000006872 improvement Effects 0.000 description 7
- 230000007704 transition Effects 0.000 description 7
- 230000008447 perception Effects 0.000 description 6
- 238000009877 rendering Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 238000007499 fusion processing Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 230000001771 impaired effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 206010027336 Menstruation delayed Diseases 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000013213 extrapolation Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013442 quality metrics Methods 0.000 description 2
- 101100462138 Brassica napus OlnB1 gene Proteins 0.000 description 1
- 101001017254 Homo sapiens Myb-binding protein 1A Proteins 0.000 description 1
- 102100034005 Myb-binding protein 1A Human genes 0.000 description 1
- 101150048735 POL3 gene Proteins 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 101150112912 pol4 gene Proteins 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
Abstract
从包括左图像（101）、左视差数据（111）、右图像（102）和右视差数据（112）的立体数据（105）生成中间图像（161）。中间图像（161）对应于中间视点（155）。基于中间图像（161）的所预测的图像质量来确定混合策略（156）。当所确定的混合策略（156）如此要求时，针对中间视点（155）从左数据（103）生成左中间图像（131）。当确定的混合策略（156）如此要求时，针对中间视点（155）从右数据（104）生成右中间图像（141）。通过根据混合策略（156）混合左中间图像（131）和右中间图像（141）来生成中间图像（161）。
Description
技术领域
本发明涉及从立体数据生成中间图像。
立体图像是对于三维（3D）图像数据的一般表示。立体图像包括与左视点（left view）相对应的左图像和与右视点（right view）相对应的右图像。通过使用立体显示装置观看立体图像，观看者的左眼看到左图像并且观看者的右眼看到右图像，从而导致观看者的3D感知。
为了在与立体图像的左视点和右视点不同的中间视点（intermediate view）处观看3D图像，需要生成中间图像。存在用于从立体图像生成中间图像的各种方法。
背景技术
US 2011/00268009 A1描述了一种方法，用于从立体图像计算在中间视点处的中间图像以在多视点（multiview）显示器上观看。中间视点指的是在包括左视点和右视点的视点范围内的相对位置处的视点。该方法从立体图像计算左视差数据和右视差数据，所述立体图像包括左图像和右数据。该方法使用左图像和左视差数据生成针对中间视点的左中间图像。该方法使用右图像和右视差数据生成针对中间视点的右中间图像。然后通过融合（blend）左中间图像和右中间图像来生成最终的中间图像。
现有技术方法的缺点是它也在中间图像中生成可见的图像伪像（artifact），最明显的图像伪像是图像细节模糊伪像和遮挡伪像。伪像的可见度随着中间视点以及随着立体图像的内容而变化。细节模糊典型地对于包含大量细节的立体图像且在左视点与右视点之间的视点处最为可见。细节模糊的原因在于所生成的左中间图像和右中间图像的不完美混合。遮挡伪像对于包含大的深度过渡的立体图像最为可见，在侧视点（lateral view）处最明显，因而在左视点的左侧以及在右视点的右侧最明显。遮挡伪像的原因在于左图像的或右图像的不完美外推（extrapolation）。
在现有技术方法中，由于中间图像因随着中间视点以及随着立体图像的内容而变化的图像伪像而受损，所以图像质量是次优的。期望对中间图像的图像质量的改进。
发明内容
本发明的目的是提供一种用于从立体数据生成中间图像的方法，其中所述中间图像具有改善的图像质量。
本发明公开了一种用于针对中间视点从立体数据生成中间图像的方法。该方法使用根据混合（mix）策略对左中间图像和右中间图像进行的混合。混合策略将左中间图像和右中间图像在混合中的相对贡献限定为中间视点的函数。立体数据包括左数据和右数据。左数据与左视点相对应，并且左数据包括左图像和左视差数据。右数据与右视点相对应，并且右数据包括右图像和右视差数据。中间图像与中间视点相对应。左中间图像是针对中间视点而从左数据生成的。右中间图像是针对中间视点而从右数据生成的。该方法包括：基于立体数据的图像特性，针对多个混合策略中的每一个来预测中间图像的图像质量；通过基于中间图像的所预测的图像质量去从所述多个混合策略中选取混合策略而确定混合策略；并且，当所确定的混合策略如此要求时，针对中间视点从左数据生成左中间图像；并且，当所确定的混合策略如此要求时，针对中间视点从右数据生成右中间图像；以及通过根据所确定的混合策略使用相对贡献来混合左中间图像和右中间图像，而生成中间图像。
按照这种方式，本发明提供了灵活性，从而允许完全基于左中间图像、完全基于右中间图像，而且还（即，在混合策略如此指示时）如所要求保护的那样基于左中间图像和右中间图像两者来生成中间图像。
针对该方法的输入是包括左数据和右数据的立体数据。左数据与左视点相对应，并且右数据与右视点相对应。左视点和右视点限定了两个观看点，观看者从这两个观看点观看3D图像。左数据包括左图像和左视差数据。右数据包括右图像和右视差数据。该方法的输出是针对与左视点和右视点不同的中间视点的中间图像。
通过根据混合策略混合左中间视点和右中间视点来生成中间图像。混合策略过程限定了混合如何取决于中间视点。在一般情况下，混合策略限定了左中间图像在混合中的左相对贡献，并且限定了右中间图像在混合中的右相对贡献。然后，通过根据所述相对贡献使用权重去混合左中间图像和右中间图像，来生成中间图像。在混合策略仅要求生成左中间图像的第一种特殊情况下，混合有效地将左中间图像拷贝到中间图像。在混合策略仅要求生成右中间图像的第二种特殊情况下，混合有效地将右中间图像拷贝到中间图像。
使用左视差生成左中间图像，扭曲（warping）过程使用左视差数据向中间视点“扭曲”左图像，但是是仅当混合策略如此要求时。通过使用右视差过程，扭曲过程使用右视差数据向中间视点扭曲右图像，但是是仅当混合策略如此要求时。
混合不是固定的，而是由通过策略确定过程而确定的混合策略来控制的。混合策略被确定为使得或是基于人类感知或是使用（一组）（一个或多个）质量度量而令中间数据的图像质量是最优的。为此，策略确定过程基于将使用混合策略来生成的中间图像的所预测的图像质量来确定混合策略。
可选地，该确定基于预测的图像质量，预测的图像质量取决于中间图像的图像细节的量。如果图像细节的量大，则在使用了限定使用左中间图像和右中间图像两者的混合的混合策略的情况下，混合将生成伪像，比如模糊和重影。在检测到大量图像细节的情况下，混合策略被确定为使得或是基于人类感知或是使用（一组）（一个或多个）质量度量而令中间图像中所生成的图像细节具有改善的图像质量。
可选地，通过从与立体数据耦合的元数据取回混合策略来实施该确定。策略确定过程离线地确定混合策略并将它存储在与立体数据耦合的元数据中。这种工作方式允许使用更复杂并且成本更高的硬件来进行分析。它还允许使元数据的生成被整合在由内容创作者支配的创作工具中。
可选地，生成中间图像包括：从立体视图视频序列的相应的后续帧生成后续中间图像，所述相应的后续帧各自包括立体数据。因而从立体视图视频帧生成中间图像。
可选地，所述确定包括：在第一实例处确定用于从第一帧生成第一中间图像的第一混合策略；以及在第二实例处确定用于从第二帧生成第二中间图像的第二混合策略。当在混合中使用第一混合策略时，从第一帧生成的中间图像具有最优图像质量（根据（一组）（一个或多个）度量和/或人类感知）。此外，当在混合中使用第二混合策略时，从第二帧生成的中间图像具有最优图像质量。因此使用相应的不同混合策略从不同的立体视图视频帧生成中间图像。
可选地，所述确定包括：在第三实例处确定用于从第三帧生成第三中间图像的第三混合策略，其中第三实例出现在第一实例之后且在第二实例之前，并且由第三混合策略限定的第三混合因子位于由第一混合策略限定的第一混合因子与由第二混合策略限定的第二混合因子之间。从实例在时间上按照第一、第三、第二来排序并且混合因子也按照第一、第三和第二来排序的意义上说，混合策略因而随时间逐渐改变。
可选地，生成中间图像包括：从立体数据生成一系列中间图像，该系列对应于一系列中间视点，该系列中间视点是空间上连续的视点。因此，并不是针对一个视点从该立体数据生成一个中间图像，而是例如对于多视点显示器，针对一系列相应的视点从该立体数据生成一系列中间图像。
可选地，生成第一系列中间图像包括：使该系列中间视点以第一中央中间视点为中心，并且基于针对第一中央中间视点的该系列中间图像的所预测图像质量来选取该中央中间视点。使该系列中间视点以中央中间视点为中心意味着向左或向右改变该系列中间视点，使得所述中央中间视点目前在观看者正前方。显然，如果该系列中视点的数目是奇数，则定中心（centering）对应于将该系列的中心视点置于第一中央中间视点处，即，在观看者正前方。在该系列中存在偶数个视点的情况下，定中心暗示了两个中心视点将等距离地以第一中央中间视点为中心。通过使用混合策略，能够针对中央中间视点附近的视点（在整个视点范围内）改善中间图像的图像质量。该系列视点因此以中央中间视点为中心。
可选地，生成中间图像包括：以第一中央中间视点为中心在第一实例处从第一帧生成第一系列中间图像；以及以第二中央中间视点为中心在第二实例处从第二帧生成第二系列中间图像。通过针对第一帧和第二帧使用（相同的）混合策略，从第一帧生成的中间图像的图像质量能够针对第一中间视点附近的视点改善，但是第二帧的中间图像的图像质量能够针对第二中间视点附近的视点改善。该系列视点因此以针对第一帧的第一视点为中心以及以针对第二帧的第二视点为中心。在第一系列中间视点的第一中央中间视点附近的最终得到的图像质量因此对于第一帧以及对于第二帧是最优的。
可选地，生成中间图像包括：以第三中央中间视点为中心在第三实例处从第三帧生成第三系列中间图像，并且其中第三实例出现在第一实例之后且在第二实例之前，并且其中第三视点处于第一视点和第二视点之间。作为该系列中间视点的中心的中央中间视点从第一帧处的第一视点向下一帧处的下一视点（即，第三帧处的第三视点）、向第二帧处的第二视点逐渐移位。从实例在时间上按照第一、第三、第二排序并且中央视点在空间上也按照第一、第三和第二排序的意义上说，该系列中间视点的移位是随时间逐渐地实施的。
可选地，混合策略针对一定范围的中间视点限定了左中间图像在混合中的左相对贡献并且限定了右中间图像在混合中的右相对贡献，左相对贡献和右相对贡献中的一个跨该范围地对左相对贡献和右相对贡献中的另一个占优势。混合策略限定了其中左相对贡献和右相对贡献中的一个在中间视点的范围内总体更大的混合。这样的混合策略也被称为不对称混合策略。
可选地，生成中间图像包括：与立体数据视频序列相对地，针对静止立体数据生成中间图像。
可选地，左视差数据是从左图像和右图像计算出的，并且右视差数据是从左图像和右图像计算出的。视差数据不与立体数据一起被提供，而是从左图像和右图像计算出的。
本发明公开了一种被布置成使用根据混合策略对左中间图像和右中间图像进行的混合而针对中间视点从立体数据生成中间图像的系统。混合策略将左中间图像和右中间图像在混合中的相对贡献限定为中间视点的函数。立体数据包括左数据和右数据，其中左数据与左视点相对应并且左数据包括左图像和左视差数据，而且，右数据与右视点相对应并且右数据包括右图像和右视差数据。中间图像与中间视点相对应。左中间图像是针对中间视点而从左数据生成的。右中间图像是针对中间视点而从右数据生成的。该系统包括生成单元，所述生成单元被布置成执行：预测功能，用于基于立体数据的图像特性针对多个混合策略中的每一个来预测中间图像的图像质量；以及混合策略功能，用于通过基于中间图像的所预测的图像质量去从所述多个混合策略中选取混合策略而确定混合策略；以及左扭曲功能，用于当所确定的混合策略如此要求时，针对中间视点从左数据生成左中间图像；以及右扭曲功能，用于当所确定的混合策略如此要求时，针对中间视点从右数据生成右中间图像，以及混合功能，用于通过根据所确定的混合策略使用相对贡献去混合左中间图像和右中间图像，来生成中间图像。该系统包括实施上面描述的过程、方法的功能。
可选地，中间图像被用来驱动多视点显示器。多视点显示器沿多个方向输出多个视图，进而允许观看者在其相对于多视点显示器被适当定位时用她的左眼看左图像并用她的右眼看右图像。
本发明的效果是：由于混合策略是取决于图像内容而做出的，所以能够改善中间图像数据的图像质量。
附图说明
本发明的这些和其他方面从下文描述的实施例中是明显的，并且将参考下文描述的实施例被阐明。
在附图中，
图1a图示了用于从立体数据生成中间图像的方法，
图1b图示了以离线方式确定混合策略的策略确定过程，
图1c图示了使用图像细节检测的策略确定过程，
图2图示了多视点显示器的多个视点，
图3a图示了线性混合策略，
图3b图示了两个非线性混合策略，
图4图示了包括立体视频帧的立体视图视频序列的三个连续场景，
图5在6个子图的每一个子图中图示了包括以中央中间视点为中心的一系列中间视点的多视点显示器，并且
图6图示了用于从立体数据生成中间图像的三种配置下的系统，以及用于示出中间图像的显示器。
应注意，在不同的附图中具有相同参考数字的项目具有相同的结构特征和相同的功能，或者是相同的信号。在这样的项目的功能和/或结构已被说明的情况下，没有必要在详细描述中对其重复说明。
具体实施方式
图1a图示了用于从立体数据105生成中间图像的方法。该方法的输出是与中间视点B 155相对应的中间图像IB 161。中间视点B 155指的是在视点的范围中相对位置处的视点，其中所述范围典型地包括左视点和右视点，并且至少包括左视点和右视点之一。该方法的输入是包括左数据SL 103和右数据SR 104的立体数据。左数据SL包括左图像IL 101和左视差DL数据111。右数据SR包括右图像IR 102和右视差数据DR 112。
如本领域技术人员将清楚的，深度与视差成反比，然而显示设备中深度到视差的实际映射服从各种设计选择，比如可以由显示器生成的视差的总量，对将具体深度值分配给0视差的选择，所允许的交叉视差的量，等等。然而与立体数据一起提供的和/或从输入的立体数据导出的深度数据被用来以深度相关的方式扭曲图像。因此这里将视差数据定性地解释为深度数据。
扭曲过程WARP 130从三个输入生成左中间图像IBL 131，所述三个输入即：（i）左图像IL，（ii）左视差数据DL，以及（iii）中间视点B 155。左扭曲过程WARP 130通过使用左视差数据DL将左图像IL向中间视点B“扭曲”，而有效地生成左中间图像IBL。同样地，扭曲过程WARP 140从右图像IR、右视差数据DR和中间视点B生成右中间图像IBR 141。在US 5,929,859中公开了将深度/视差用于基于图像的呈现的这种扭曲过程的示例。在US 7,689,031中给出了扭曲的更复杂示例。
混合过程MIX 180实施左中间图像IBL和右中间图像IBR的混合。混合取决于中间视点B，并且取决于混合策略POL 156，混合策略156描述了混合如何取决于中间视点B。混合过程MIX的输出是中间图像IB 161。策略确定过程POLDET 170基于立体图像，即，基于左图像IL和右图像IR，来确定混合策略POL。
可选地，该方法包括从左图像IL和右图像IR计算左视差数据DL和右视差数据DL的视差计算过程。深度/视差估计算法的示例是3D视频处理领域的技术人员已知的，在US6,625,304和US6,985,604中提供了这样的算法的示例。可选地，扭曲过程WARP 130和WARP 140使用从立体视图视频序列获得的预计算的视差数据来生成中间图像，其中每个立体视图视频帧包括立体图像以及对应的视差数据。
混合过程MIX由因子计算过程ACOMP 150和融合过程BLEND 160构成，如图1a所描绘的。因子计算过程ACOMP 150从中间视点B和混合策略POL计算混合因子A，其中混合策略POL描述了混合因子A如何取决于中间视点B。因子计算过程ACOMP根据混合策略POL从中间视点B计算混合因子A。然后融合过程BLEND通过使用混合因子A混合中间图像IBL和IBR来生成中间图像IB。可选地，融合过程BLEND包括公知为“阿尔法融合”的技术，下面将对其进一步描述。
混合策略POL描述了中间图像IBL和IBR的混合如何取决于中间视点B。策略确定过程POLDET确定混合策略POL，使得混合过程MIX生成具有最优图像质量的中间图像IB。通过使用与混合策略对通过混合而生成的中间图像图像质量的影响有关的知识，处理过程POLDET预测了混合策略对中间图像IB的图像质量的影响。换言之，策略确定处理过程POLDET针对若干个混合策略中的每一个混合策略以及针对给定的立体图像内容来预测中间图像的图像质量，然后从所述若干个混合策略中确定哪个混合策略POL将生成具有最优图像质量的中间图像。
可选地，混合策略过程POLDET从包括混合策略的元数据确定混合策略POL，其中元数据被立体数据包括。例如，元数据是通过算法离线产生的，所述算法（1）使用各种混合策略，使用图1的方法从立体数据生成中间图像，（2）测量所生成的中间图像的图像质量，（3）确定具有最优图像质量的所生成的中间图像，并且（4）确定与具有最优图像质量的所生成的中间图像相对应的混合策略。
图1b图示了以离线方式确定混合策略的策略确定过程。混合策略确定过程179接收立体图像作为输入，即，左图像IL 101和右图像IR 102。使用第一混合策略POL1 171和立体图像，通过生成方法GEN 175来生成第一中间图像IB1 173。同样地，使用第二混合策略POL2 172和立体图像，通过生成方法GEN 176来生成第二中间图像IB2 174。生成方法GEN 175、176使用相应的混合策略POL1、POL2，采用图1a的方法来生成中间图像。生成方法GEN 175、176选取中间视点以生成将被用于测量其图像质量的中间图像。在评价过程JDG 177中，一个或多个观看者评价中间图像IB1、IB2的图像质量，并选取中间图像IB1、IB2中图像质量被评价为最优的一个。然后将与具有最优图像质量的中间图像相对应的混合策略确定为混合策略POL 156。例如，如果中间图像IB1被评价为相比于第二中间图像IB2具有最优图像质量，则混合策略POL被确定为第二混合策略POL2，因而POL=POL2。
可选地，评价过程JDG不由观看者实施，而是取而代之地由量化并且评价中间图像IB1和IB2的图像质量的算法来自动实施。
可选地，图1b的策略确定过程179基于针对策略POL1和POL2中每个策略的多个中间图像的图像质量来确定混合策略156。生成过程GEN 175、176各自针对相应的多个视点生成多个中间图像IB1和IB2。评价过程JDG然后评价所述多个中间图像IB1的平均图像质量，并且评价所述多个中间图像IB1的平均图像质量，并且选取具有被评价为最优的平均图像质量的所述多个中间图像。然后将与具有最优平均图像质量的中间图像相对应的混合策略确定为混合策略POL 156。
可替换地，策略确定过程POLDET包括对立体图像中图像细节的存在的检测，并且将检测到的存在用在混合策略的确定中。当使用一些混合策略时，所生成的中间图像的图像细节的图像质量比使用其他混合策略时高。视差数据DL、DR的不准确引起相应中间图像IBL、IBLR中不准确地生成的图像细节。混合来自中间图像IBL、IBR的不准确地生成的图像细节因此引起中间图像IB中由混合造成的伪像。伪像包括细节模糊，即，细节锐度的损失，和/或重影，即，图像细节的加倍出现。在根据限定了占优势地使用中间图像之一的混合的混合策略来实施混合时，这些伪像出现得较少。然而占优势地使用中间图像之一转而又引起遮挡伪像。因此，只有在立体图像包括足够的图像细节，使得遮挡伪像对图像质量的影响小于细节模糊伪像的情况下，才确定限定了占优势地使用中间图像之一的混合的混合策略。
图1c图示了使用对图像细节的检测的策略确定过程。策略确定过程189举例说明了如何基于检测到的在立体数据中图像细节的存在来确定混合策略POL 156。混合策略确定过程189接收立体图像作为输入，即，左图像IL 101和右图像IR 102。过程DTLDET 181包括检测立体图像中的图像细节DTL 184的细节检测算法。质量预测过程QPRED 182接收检测到的图像细节DTL和第一混合策略POL1 171，并确定将使用第一混合策略POL1来生成的中间图像的所预测的图像质量Q1 185。质量预测过程QPRED 183接收检测到的图像细节DTL和第二混合策略POL2 172，并确定将使用第二混合策略POL2来生成的中间图像的所预测的图像质量Q2 186。质量预测过程QPRED 182、183使用与混合策略POL1、POL2对使用混合策略POL1、POL2生成的中间图像图像质量的影响有关的统计知识，来预测图像质量。过程SEL 187将所预测的图像质量Q1、Q2之一确定为最优的，并将与最优预测图像质量相对应的混合策略确定为混合策略POL 156。例如，如果所预测的图像质量Q2与所预测的图像质量Q1相比而言是最优的，则将混合策略POL确定为第二混合策略POL2，因而POL=POL2。所预测的图像质量Q1、Q2可以各自由单个值表示，而两个所预测的图像质量Q1、Q2中最高的被确定为最优。
可选地，细节检测算法仅使用立体图像的左图像和右图像之一。
可选地，所预测的图像质量的确定是基于遮挡伪像。例如，以类似于使用细节检测算法的方式，该过程确定过程使用视差过渡检测算法，所述视差过渡检测算法接收视差数据DL、DR中的至少一个并检测视差中大的过渡。通过使用与视差过渡对用各种混合策略生成的中间图像图像质量的影响有关的统计知识，策略确定过程确定混合策略。注意该示例暗示了策略确定过程接收视差数据DL、DR中的至少一个。
可选地，图1b和图1c的确定混合过程179、189从多个混合策略中确定混合策略，其中所述多个混合策略包括多于两个混合策略POL1、POL2的混合策略。例如，所述多个包括三个额外的混合策略POL3、POL4和POL5。
在下文中，使用图2来说明在图像质量方面，混合策略对中间图像的生成的影响。
图2图示了多视点显示器的多个视点。多个视点被指示为垂直条带，形成水平地相邻的一系列视点。对于每个视点，多视点显示器示出对应的中间图像IB。若干视点由数字201、202和210-213指示。所有视点都处于视点范围230内。立体图像的原始视点被指示为左视点L 201和右视点R 202。视点范围230被划分成三个部分：（i）中央视点范围220、（ii）左侧视点范围221和（iii）右侧视点范围222。视点210是中央立体视点，处于左视点L和右视点R之间半途处。相比之下，视点211和212分别处于侧视点范围221和222中。
如图2所示的视点配置代表了示例性视点配置，正如可以从基于透镜的或基于屏障的自由立体显示器的使用而得到的。在US6,064,424中公开了这样的基于透镜的多视点显示器的示例。
在下文对图2的说明中，使用典型的混合策略，所述典型的混合策略：（a）限定了针对中央视点范围230中的视点使用中间图像IBL、IBR两者的混合，（b）限定了针对左侧视点范围211中的视点仅使用左中间图像IBL的混合，以及（c）限定了针对右侧视点范围212中的视点仅使用右中间图像IBR的混合。混合包括添加左中间图像IBL的相对贡献和右中间图像IBR的相对贡献。
对于中央视点范围230中的视点，将中间图像IBL、IBR两者混合成中间图像IB，其中左中间图像IBL对混合的相对贡献对于视点L附近的视点较大，而对于远离视点L的视点较小，且因此其中右中间图像IBR对混合的相对贡献对于视点R附近的视点较大，而对于远离视点R的视点较小。
在包括左视点L的左侧视点范围221处，左中间图像IBL的相对贡献是100%，而右中间图像IBR的相对贡献是0%，以致混合过程简单地将中间左图像IBL拷贝到其输出IB，因而IB=IBL。这暗示了左侧视点处的中间图像仅由扭曲过程WARP 130生成，并且因而有效地从左原始图像IL被外推。在左视点L的特定情况下，扭曲过程WARP 130简单地将输入IL拷贝到其输出IBL，以致IBL=IL并且因而IB=IBL=IL，这暗示了原始左图像IL在视点L处被示出。
在包括右视点R的右侧视点范围222处，右中间图像IBR的相对贡献是100%，而左中间图像IBL的相对贡献是0%，以致混合过程简单地将中间右图像IBR拷贝到其输出IB，因而IB=IBR。这暗示了右侧视点处的中间图像仅由扭曲过程WARP 140生成，并且因而有效地从右原始图像IR被外推。在右视点R的特定情况下，扭曲过程WARP 140简单地将输入IR拷贝到其输出IBR，以致IBR=IR并且因而IB=IBR=IR，这暗示了原始右图像IR在视点R处被示出。
图2示意性地示出了观看者230用左眼231看视点210处的中间图像并且用右眼232看视点213处的中间图像。视点210和213位于中央视点范围220中，因而在原始视点L和R之间，以致观看者的每只眼睛231和232看见通过混合中间图像IBL和IBR而生成的中间图像。对于中央视点范围220中的视点而言，该混合在中间图像的图像质量方面具有优点和缺点。优点是中间图像中不明显地存在遮挡伪像，但是缺点是中间图像中的图像细节因模糊和重影而受损。优点归因于该混合有效地是中间图像IBL和IBR之间的内插，所以（所内插的）中间图像不包括明显的遮挡伪像。缺点归因于视差数据DL和DR的不准确，并且将如下被说明。左视差数据DL中的单个数据值包括在（1）原始左图像IL中图像细节的像素位置和（2）原始图像IR中相同图像细节的对应像素位置之间的像素距离。扭曲过程WARP 130使用左视差数据DL来从原始左图像IL在中间视点B处生成左中间图像IBL。扭曲过程WARP 140使用右视差数据DR从原始右图像IR在视点B处生成右中间图像IBR。视差数据DL、DR的不准确因此导致在中间图像IBL、IBR的不正确像素位置处生成图像细节，所以中间图像IBL、IBR的图像细节的混合典型地致使生成包括因模糊或重影伪像而受损的图像细节的中间图像IB。
图2示意性地示出了观看者240用左眼241看视点211处的中间图像，而用右眼242看视点201处的中间图像。右眼242因而看见原始左图像，其按照定义具有最优图像质量。相比之下，左眼241看见在左侧中间视点211处从原始左图像IL生成的中间图像，并且其从原始左图像被有效地外推。视点211处的中间图像在图像质量方面具有优点和缺点。优点是图像细节不因图像细节的模糊或重影而受损。缺点是由于仅从左图像外推而导致出现遮挡伪像。相同的优点和缺点适用于右侧视点，比如视点212。
在本发明的实施例中，在生成中间图像时使用的混合策略适配于原始立体数据的内容。对于包括许多细节的立体图像，策略确定过程POLDET确定限定了仅使用中间图像IBL、IBR之一而不是使用中间图像IBL、IBR两者的混合的混合策略。作为实施例的第一示例，对于视点范围230中的所有中间视点，混合策略限定了简单地将左中间图像IBL拷贝到中间图像IB的混合。作为实施例的第二示例，对于视点范围230中的所有中间视点，混合策略限定了简单地将右中间图像IBR拷贝到中间图像IB的混合。作为实施例的第三示例，混合策略限定了（a）针对中央立体视点（stereo view）210左侧的视点从左中间图像IBL以及（b）针对中央立体视点210右侧的视点从右中间图像IBR拷贝中间图像IB的混合。在原始立体图像包括很少的图像细节以至于图像细节的模糊不明显可见的情况下，确定限定了使用中间图像IBL、IBR两者的混合的混合策略。
在下文中，混合过程MIX 180包括融合过程BLEND和因子计算过程ACOMP。图3a和图3b图示限定了用于混合两个中间图像数据IBL和IBR的混合因子的混合策略。
图3a图示了线性混合策略。两个曲线AL 301和AR 302组合起来表示单个混合策略。曲线AL 301和AL 302描述了混合因子A 304如何取决于中间视点B 303。曲线AL 301描述了与左中间图像IBL相对应的混合因子，并且曲线AR 302描述了与右中间图像IBR相对应的混合因子。曲线AL和AR的混合因子是互补的并且加起来总计为1，即，AL+AR=1。混合因子AL和AR线性地取决于中间视点B。注意，值B=0处的刻度线311对应于原始左视点L，值B=1处的刻度线312对应于原始右视点R，并且值B=0.5处的刻度线313对应于中央立体视点，例如，图2中的视点210。在融合过程BLEND中的混合的示例是根据阿尔法融合的混合，其是如下实施的：
IB = AL*IBL + AR * IBR, 其中AL+AR = 1。
在图3a和图3b中，原始视点L处的中间图像IB等于B=0处的原始左图像IL，因而IB=IBL=IL。原始视点R处的中间图像IB等于B=1处的原始右图像IR，因而IB=IBR=IR。在中央视点处（因而在B=0.5处）的中间图像IB等于中间图像IBR和IBL的平均，因而IB=0.5*IBL+0.5*IBR。
注意，混合因子AL表示左中间图像IBL在混合中的相对贡献，而混合因子AR表示右中间图像IBR在混合中的相对贡献。在这种上下文中混合因子一般也被称作“融合因子”。
注意，在图3a中并未指示针对侧视点范围（因而针对B < 0和针对B > 1 ）的混合策略。因此，据此暗示了对于左侧视点范围中的视点（因此对于B <0），AL=1，并且对于右侧视点范围中的视点（因而对于B > 1），AL=0。所以，对于左侧视点范围中的视点，AR=0，而对于右侧视点范围中的视点，AR=1。
图3b图示了两个非线性混合策略。曲线351和352类似于图3a中相应的曲线AL 301和AL 302，区别是曲线351和352以非线性方式取决于中间视点B。曲线351和352给出了对于图3a的线性曲线的可替换方式。使用曲线351和352的非线性混合策略的效果是：与使用线性曲线301相比，当使用非线性曲线351时，对于中央立体视点左侧处的视点，左中间图像IBL在混合中的相对贡献较大。同样地，与使用线性曲线302相比，当使用非线性曲线352时，对于中央视点右侧处的视点，右中间图像IBR在混合中的相对贡献较大。
图3b还示出了不对称非线性混合策略。非线性不对称曲线361、362在非线性的意义上类似于相应的曲线351、352，但是在不对称性的意义上是不同的。由于曲线362平均大于曲线361，所以曲线361、362表明混合因子对于右中间图像IBR平均更高。所以，在中央立体视点处，即，在B=0.5处，右中间图像IBR对中间图像IB的相对贡献（曲线362）大于左中间图像IBL对中间图像IBL的相对贡献（曲线361）。换言之，右中间图像IBR在混合中的相对贡献超过左中间图像IBL在混合中的相对贡献而占优势。
图3b的曲线中的左右不对称性由不对称性参数ParA控制，使得可以借助于改变不对称性参数ParA来提高或降低曲线中的不对称性。
通过进一步提高曲线361和362的不对称性，曲线361和362的交叉点将向左（因而向B=0）移位更多，并且因此曲线362将平均更趋向于A=1。所以，对于增加数目的视点，将使用右中间图像IBR在混合中的大的相对贡献来生成中间图像IB，以致中间图像IB与右中间图像IBR相似度渐增，而与左中间图像IBL相似度渐减。通过将不对称性参数ParA增大到其最大正值ParA=+1，右中间图像IBR的所述相对贡献对于所有中间视点B变成1。换言之，每个中间图像IB变成了右中间图像IBR的拷贝，以致仅使用右图像IR、右视差数据DR和中间视点B来生成中间图像IB。后一种情况还公知为“从图像加深度进行呈现”。
同样地，可以使用不对称性参数ParA将不对称性沿其他方向移位，从而将交叉点向右移动，即，因此向B=1.0移动。与先前的示例类似，将所述交叉点越来越向右移动，左中间图像IBL对中间图像IB的相对贡献进一步增大。通过将不对称性参数ParA增大到其最大负值ParA=-1，左中间图像IBL的所述相对贡献对于在B=0与B=1之间的所有中间视点B变成1。换言之，中间图像IB变成左中间图像IBL的拷贝，以致仅使用左图像IL、左视差数据DL和中间视点B来生成中间图像IB。
对于采取更接近0的值的不对称性参数ParA，图3b中的曲线变得不那么不对称，其对应于其中中间图像IBL、IBR的所述相对贡献变得更相等的混合策略。对于不对称性参数的一个特定值ParA=0，曲线描述了对称非线性混合策略，比如由曲线351、352图示的。
不对称性参数因而有效地是“软切换”，其能够被用来逐渐切换混合策略并从而逐渐在（a）从左数据和右数据两者生成中间图像与（b）仅从左数据和右数据之一生成中间图像之间切换。下面将在本文档中进一步阐明混合策略的所述逐渐切换。
可选地，中间图像是从立体视图静止图像所包含的立体数据生成的。可选地，中间图像是从立体视图视频序列的立体视图帧所包含的立体数据生成的。
可选地，生成两个中间图像以形成新立体图像的新左图像和新右图像，新左图像对应于新左视点，并且新右图像对应于新右视点，其中新左视点和新右视点分别与原始左视点和右视点不同。两个中间图像的这样的生成还通常被称作立体至立体的变换，并且可以被应用来减小或放大立体数据的深度范围。观看者可以使用立体观看眼镜在专用的立体视图显示器上观看新立体图像。
可选地，生成与水平的一系列视点相对应的一系列中间图像，以用于在多视点自由立体显示器上观看，所述多视点自由立体显示器能够同时显示该系列中间图像中的图像。该系列典型地包括多于两个视点。例如，多视点自由立体显示器包括9个视点。
可选地，针对相应的一系列视点从立体视图视频序列的每一帧生成一系列中间图像。该系列视点包括连续的中间视点。该系列中间图像例如在多视点自由立体显示器上观看。
可选地，立体视图视频序列包括各种场景，并且在场景内使用单个混合策略。场景包括多个连续的立体视图视频帧，并且在这种情况下在该场景内使用相同的混合策略来从每个立体视图视频帧生成中间图像。场景内使用的混合策略可以不同于在后续场景内使用的混合策略。通过使用场景改变检测器，检测下一个场景的开始并且在新场景的第一帧处确定下一个混合策略。在所述下一个场景内，使用下一个混合策略。可以由包括场景改变指示器的元数据来指示场景改变，而不是使用场景改变检测器，其中所述元数据被立体视图视频序列包括。
对现有技术场景检测、或镜头过渡检测方法及其工作的分析的概述可以在Alan F. Smeaton, “Video shot boundary detection: Seven years of TRECVid activity”, Computer Vision and Image Understanding 114 (2010) 411–418, 2010中找到，其通过引用被合并于此。图4图示了包括立体视频帧的立体视图视频序列400的三个连续场景410、420和430。立体视频序列由包括左图像和右图像的立体视频帧构成。图4中的水平轴表示时间轴。区段410、420和430各自给出了立体视图视频序列的区段，分别起始于（时间）实例401、402和403处，而区段430结束于实例404处。区段410、420和430表示场景，并且实例402和403表示场景改变。当在本上下文中使用时，术语“场景”指的是与一般由术语“镜头”所指的相同的事情（matter）。
在以下示例中进一步说明上面描述的实施例，其中在场景内使用单个混合策略。区段410包含包括许多细节的帧，并且因此确定了限定仅使用左中间图像IBL的混合的混合策略。区段420包含很少的细节，并且因此确定了限定使用左中间图像IBL和右中间图像IBR两者的混合的混合策略，比如，由图3a的曲线描述的混合策略。如同区段410一样，区段430包含包括许多细节的帧，并且因此确定了限定仅使用右中间图像IBR的混合的混合策略。场景改变在实例402和403处被检测到，所以新混合策略被确定并用在中间图像IB的生成中。
作为附加于先前示例的额外示例，从每个立体视频帧生成与相应的一系列中间视点相对应的一系列中间图像，并且在多视点自由立体显示器上观看该系列中间图像。
可选地，混合策略的确定在立体视图视频序列的某个场景中逐渐改变。这是通过使用不对称性参数的混合来实现的，如以上在图3b的说明中描述的。考虑以下示例。对于从场景的早期帧的生成，确定第一混合策略（使用ParA= -1），其限定了仅使用左中间图像IBL的混合，因而仅从（原始）左数据有效地生成中间图像IB。对于从场景的晚期帧的生成，确定第二混合策略（使用ParA = 0），其限定了使用两个中间图像IBL、IBR两者的混合，因而从左数据和右数据两者有效地生成中间图像IB。另外，为了防止中间图像IB中的尖锐过渡，针对在早期帧和晚期帧之间的帧，把混合策略从第一混合策略向第二混合策略逐渐地改变。通过在两个帧之间逐渐改变不对称性参数，在混合策略中建立了逐渐改变，所以中间图像也逐渐地改变。对于在早期帧与后期帧之间的帧，不对称性参数因此逐渐从针对早期帧的ParA = -1向针对晚期帧的ParA = 0改变。
图5在6个子图中的每一个子图里图示了包括以中央中间视点CI 504为中心的一系列中间视点的多视点显示器。每个子图510-550图示了包括一系列显示视点的多视点显示器。在每个显示视点处，显示器示出与中间视点相对应的中间图像，并且因此该系列显示视点有效地示出了一系列中间视点。在该系列中间视点内的某个中间视点的相对位置在所有子图中保持相同，因而中间视点维持它们在系列中的相对顺序以及它们与它们的两个邻近的中间视点的距离。原始立体视点L 501和R 502指示左视点和右视点驻留在该系列中间视点内的哪里。中央立体视点CS 503指示处于视点L和视点R中间的中间视点。中央中间视点CI（还参见虚垂直线）按照定义驻留在该系列中间视点的中央，但是中央中间视点CI能够与原始视点L和R之间或附近的任何中间视点相对应。从视点L、R和C推断中央中间视点CI与哪个中间视点相对应。子图510-550各自与不同的中央中间视点CI相对应（与相同的中央中间视点CI相对应的子图550和560除外）。
例如，在子图510中，中央中间视点CI与中央立体视点CS相对应。相比之下，在子图550中，中央系列视点CI与原始左视点L相对应。从每个子图到下一个子图，例如从510至520，中央中间视点移位一个视点。因此，子图510-550的序列示出了中央中间视点CI的逐渐移位，即，从子图510中的中央立体视点到子图550中的原始左视点，在后续的子图之间移位一个视点。在子图550和子图560之间，中央中间视点CI却没有移位，这将在下面的示例中被使用。
可选地，使用图1的方法来从立体数据生成一系列中间图像，并且确定中央中间视点CI，使得中间图像对于立体数据的给定内容具有最优图像质量。考虑以下示例，其中立体数据被立体视频序列包括，并且其中混合策略针对所有帧限定了相同的混合。混合策略确定使用中间图像IBL和IBR两者的混合，比如图3a描述的混合策略。在该示例的上下文中，子图510-560对应于立体视图视频序列的后续帧。子图510对应于多视点显示器示出从立体视频帧（在本示例中被称作帧1）生成的一系列中间图像的情形。同样地，子图520-560对应于相应的帧2-6。策略检测过程使用细节检测器来检测图像细节的存在并基于该检测到的存在而选取中央中间视点CI。对于帧1，系统使用细节检测器断定：存在很少的细节以至于细节伪像不可见，且因此选取中央立体视点CS作为中央中间视点CI。因此，方法生成针对一系列中间视点的中间图像，其中该系列的中央视点与中央立体视点CS相对应。然而，对于帧2，系统断定存在过多的细节，并且因此断定通过使用左视点L作为中央中间视点CI生成了最优图像质量，因为例如细节伪像对于原始左视点L附近的视点而言比对于中央立体视点CS附近的视点而言更不可见。为了防止中间图像中的瞬时过渡（例如，使得3D图像做出突然的“跳跃”，这导致不愉快的观看体验），中央中间视点CI不在单步中移位到左视点L以从第二帧生成该系列中间图像。取而代之地，在帧2-5期间实施中央中间视点CI向原始左视点L的逐渐移位，从而在帧5处完成逐渐移位。
可选地，例如在一个帧与其下一帧之间检测到场景改变时，系统实施在一个帧与其下一帧之间中央中间视点CI的瞬时移位（与实施逐渐移位相对）。由于立体视频帧的内容整体上在场景改变时在一个帧与其下一帧之间改变，所以中央中间视点CI中的瞬时改变不被观看者注意到。
可选地，策略确定过程在完成中央中间视点CI的移位之后确定新混合策略。例如，如上所述地考虑帧1-5期间的逐渐移位。对于帧6（参见子图560），混合策略被改变成限定了例如仅使用左中间图像IBL（或换言之，有效地使用“图像加深度”）的混合的新混合策略。
可选地，按照与先前段落类似的方式，策略确定过程在发起中央中间视点CI的移位之前确定新混合策略。新混合策略在逐渐移位期间不改变。
可选地，策略确定过程与逐渐移位同步地逐渐确定改变混合策略。考虑帧1-5期间的逐渐移位，但是其中混合策略是由不对称性参数ParA控制的非线性不对称混合策略（还参见图3b）。在帧1处，使用中间图像IBL和IBR两者来确定混合，比如在图3b中通过曲线351-352描述的。在帧5处，混合仅使用左中间图像IBL。在帧1、2、3、4、5处的混合分别由参数ParA = 0.0, -0.25, -0.5, -0.75, -1.0限定。
可选地，中央中间视点CI在相隔若干个帧的一些帧处被移位。例如，中央中间视点CI被每10帧一次地移位一个视点，从而使逐渐移位相比于每一帧移位一个视点更慢。可选地，中央中间视点CI被移位某个视点的一小部分，或被移位多于一个视点。
图6图示了用于从立体数据生成中间图像并且用于在显示器上示出中间图像的三种配置下的系统。该系统被布置成在显示器上示出所生成的中间图像。生成单元GU 630、640、650全部被布置成生成中间图像IB 611，并且全部被布置成接收立体图像IL、IR和中间视点B 603。显示单元DISP 666被布置成示出从生成单元GU 630、640、650之一接收的中间图像IB。
图6图示了用于从立体图像生成中间图像IB 611并且用于在显示器DISP上示出中间图像IB 611的系统600。生成单元GU 630被配置成从立体图像IL、IR生成中间图像IB 611，并且在其输入端接收原始左图像IL、右图像IR和中间视点B 603。过程GU 630包括以下功能：
（a）左视差计算功能，用于接收原始左图像IL和右图像IR，以从左图像IL和右图像IR计算左视差数据DL，并将所计算的左视差数据DL传送到左扭曲功能；以及
（b）右视差计算功能，用于接收原始左图像IL和右图像IR，以从左图像IL和右图像IR计算右视差数据DR，并将所计算的右视差数据DR传送到右扭曲功能；以及
（c）左扭曲功能，用于接收中间视点B 603、左图像IL和左视差数据DL，并生成左中间图像IBL，且将左中间图像IBL传送到混合功能；以及
（d）右扭曲功能，用于接收中间视点B 603、右图像IR和右视差数据DR，并生成右中间图像IBR，且将右中间图像IBR传送到混合功能；以及
（e）策略确定功能，用于接收原始左图像IL和原始右图像IR，并基于由系统使用混合策略生成的中间图像的所预测的图像质量来确定那个混合策略，且将混合策略传送到混合功能；以及
（f）混合功能，用于从左扭曲功能接收左中间图像IBL，从右扭曲功能接收右中间图像IBR，接收中间视点B 603，并从策略确定功能接收混合策略，且通过使用中间视点B 603和混合策略去混合中间图像IBL、IBR来生成中间图像IB 611。
可选地，生成单元是包括用于实施系统功能的软件的通用处理器。可选地，生成单元是包括用于实施系统功能的专用应用逻辑的ASIC。
可选地，取代左扭曲功能和右扭曲功能，系统600包括单个扭曲功能。左扭曲功能和右扭曲功能相同，并且被配置成实施相同的计算，且区别仅在于它们处理的输入。该单个扭曲功能与左扭曲功能相同或者与右扭曲功能相同。系统600包括单个扭曲功能来顺序地计算中间图像IBL、IBR。例如，如下地实施单个扭曲功能。单个扭曲功能首先接收左数据IL、DL、中间视点B，并且生成左中间图像IBL，且将左中间图像IBL传送至混合过程。单个扭曲功能然后接收右数据IR、DR、中间视点B，并且生成右中间图像IBR，且将右中间图像IBR传送至混合过程。系统600包括混合功能以便一旦它接收到全部四个输入IBL、IBR、B、POL就实施混合。可选地，单个扭曲功能按照时间顺序的方式首先生成右中间图像IBR，然后生成左中间图像IBL。
图6图示了被配置成从立体图像和混合策略生成中间图像并且在显示器上示出中间图像的系统610。除了以下差别之外，生成单元GU 640与单元GU 630相同。单元GU 640不包括策略确定功能，并且混合功能被配置成从GU 640的输入端接收混合策略POL 604。
图6图示了被配置成从立体图像以及从视差数据生成中间图像并且在显示器上示出中间图像的系统620。除了以下差别之外，生成单元GU 650与单元GU 630相同。生成单元GU 650不包括视差处理功能。左扭曲功能被配置成直接从输入端接收左视差DL 611。同样地，右扭曲功能被配置成直接从输入端接收右视差DR 612。
可选地，显示单元DISP是多视点显示器，其示出在它的显示视点之一中的中间图像IB。
可选地，显示单元DISP是立体视图显示器，并且头部跟踪设备被布置成向生成单元GU提供左中间视点BL和右中间视点BR。生成单元GU被布置成使用相应的中间视点BL、BR生成新左图像和新右图像，并将生成的立体图像提供给显示单元DISP。显示单元DISP被布置成示出立体图像，观看者使用立体眼镜来观看所述立体图像，所述立体眼镜被布置成使观看者能够感知在显示单元DISP上的3D图像。最终得到的包括生成单元GU和显示单元DISP的系统被布置用于观看者在视觉上感知3D图像并通过进行主动头部移动来向3D图像中前景对象的后面看。
如上所述，混合策略可以被预计算，并作为补充原始立体数据（105）的元数据被提供给呈现系统或呈现设备。本发明因此还有利地使能一种生成输出的立体数据以供在从立体数据105生成中间图像161时使用的方法，立体数据105包括左数据103和右数据104，左数据103包括左图像101和左视差数据111，左数据103与左视点相对应，右数据104包括右图像102和右视差数据112，右数据104与右视点相对应，并且中间图像161与中间视点155相对应，所述方法包括：基于中间图像161的所预测的图像质量确定170混合策略156；通过将立体数据105与所确定的混合策略相结合来生成输出的立体数据。
如上所述的输出的立体数据可以被用来使能相较于现有技术的、中间图像161的改进的生成，这在于它使得被布置用于生成中间图像161的系统600能够：在所确定的混合策略156如此要求时，针对中间视点155而从左数据103生成左中间图像131；并且在所确定的混合策略156如此要求时，针对中间视点155而从右数据104生成右中间图像141；并且在所确定的混合策略156如此要求时，通过根据混合策略156混合180左中间图像131和右中间图像141来生成中间图像161。
本发明还使能了一种用于生成输出的立体数据以供在从立体数据105生成中间图像161时使用的系统，立体数据105包括左数据103和右数据104，左数据103包括左图像101和左视差数据111，左数据103与左视点相对应，右数据104包括右图像102和右视差数据112，右数据104与右视点相对应，并且中间图像161与中间视点155相对应，所述系统包括生成单元，所述生成单元被布置用于：基于中间图像161的所预测的图像质量确定170混合策略156；以及通过将立体数据105与所确定的混合策略相结合来生成输出的立体数据。
如上所述的输出的立体数据可以被用来使能相较于现有技术的、中间图像161的改进的生成，这在于它使得被布置用于生成中间图像161的系统600能够：在所确定的混合策略156如此要求时，针对中间视点155而从左数据103生成左中间图像131；并且在所确定的混合策略156如此要求时，针对中间视点155而从右数据104生成右中间图像141；并且在所确定的混合策略156如此要求时，通过根据混合策略156混合180左中间图像131和右中间图像141来生成中间图像161。
包括在输出的立体数据中的混合策略信息或混合策略元数据可以包括以下范围的信息：如上所述的混合因子或融合因子、不对称性参数、中央立体视点描述、供在驱动多视点显示器时使用的视点位置分配。该信息可以在每帧的基础上被提供，或优选地以每个场景的、将参数链接到场景内相应的帧的查找表的形式被提供，或者以功能描述的形式被提供，所述功能描述使用例如分段线性的或基于样条（spline）的表示，所述表示允许回放设备从功能描述中导出用于帧的恰当参数。
尽管输出的立体数据可以包括单个立体图像对，然而元数据的使用对于立体视频序列尤为有利，因为它使能在多视点显示器上这样的视频序列的改进的呈现。根据上面的方法生成的输出的立体数据还可以包括另外的元数据和/或信息以供在多视点显示设备上呈现时使用。
输出的立体数据可被输出以作为用于广播的信号，或作为用于在诸如本地网络、公司、内联网或互联网这样的数字网络上传递的信号。最终得到的信号是供在从立体数据105生成中间图像161时使用的信号，所述信号包括立体数据105，立体数据105包括左数据103和右数据104，左数据103包括左图像101和左视差数据111，左数据103与左视点相对应，右数据104包括右图像102和右视差数据112，右数据104与右视点相对应，并且中间图像161与中间视点155相对应，并且所述混合策略数据基于中间图像（161）的所预测的图像质量来确定混合策略156。
如上所述的信号可以被用来使能相较于现有技术的中间图像161的改进的生成，这在于它使得被布置用于生成中间图像161的系统600能够：在所确定的混合策略156如此要求时，针对中间视点155而从左数据103生成左中间图像131；并且在所确定的混合策略156如此要求时，针对中间视点155而从右数据104生成右中间图像141；并且在所确定的混合策略156如此要求时，通过根据混合策略156混合180左中间图像131和右中间图像141来生成中间图像161。
同样地，可以将信号记录在数字数据载体上，比如蓝光盘形式的光学数据载体或等同的光学数据载体，或记录在电子非易失性介质上，比如闪速或固态存储设备。关于蓝光盘格式的更多信息可以在这里找到：http://blu-raydisc.com/assets/Downloadablefile/BD-ROM-AV-WhitePaper_110712.pdf，其通过引用被合并于此。优选地，根据标准，将与视图呈现相关联的元数据作为解码信息包括在以下各项的至少一个中：用户数据消息；信令基本流信息[SEI]消息；进入点表；或基于XML的描述。
分发输出的立体数据优于原始输入立体数据105的优点是：在创作者侧，内容典型地全部可用，并且因此可以使用更昂贵和/或耗时的算法（或用户辅助的算法）来确定合适的混合策略。
应注意，上面提到的实施例是举例说明而非限制本发明，并且本领域技术人员在不脱离所附权利要求的范围的情况下将能够设计出许多可替换的实施例。
在权利要求中，置于圆括号之间的任何参考标记不应被解释为限制权利要求。动词“包括”及其变体的使用不排除除了权利要求中陈述的那些元件或步骤以外的元件或步骤的存在。元素前面的冠词“一”或“一个”不排除存在多个这样的元素。本发明可以利用包括若干不同元件的硬件以及利用合适地编程的计算机来实现。在列举了若干装置的设备权利要求中，这些装置中的若干个可以由同一项硬件来体现。单纯是在相互不同的从属权利要求中叙述了某些措施的事实并不表示不能使用这些措施的组合来获益。
Claims (16)
1.一种用于针对中间视点（155）从立体数据（105）生成中间图像（161）的方法（100），使用根据混合策略（156）对左中间图像（131）和右中间图像（141）进行的混合（180）,所述混合策略（156）将左中间图像和右中间图像在混合中的相对贡献限定为中间视点的函数，所述立体数据包括左数据（103）和右数据（104），所述左数据包括左图像（101）和左视差数据（111），所述左数据与左视点相对应，所述右数据包括右图像（102）和右视差数据（112），所述右数据与右视点相对应，并且
所述中间图像与中间视点相对应，所述左中间图像是针对中间视点而从左数据生成的，所述右中间图像是针对中间视点而从右数据生成的，
所述方法包括：
- 基于立体数据的图像特性（184），针对多个混合策略（171，172）中的每一个来预测（182）中间图像的图像质量；
- 通过基于中间图像的所预测的图像质量从所述多个混合策略中选取混合策略，来确定（170）混合策略；以及
- 当所确定的混合策略如此要求时，生成左中间图像，
- 当所确定的混合策略如此要求时，生成右中间图像，以及
- 通过根据所确定的混合策略使用相对贡献去混合左中间图像和右中间图像，而生成中间图像。
2.根据权利要求1所述的方法，其中，确定（170）混合策略是通过从与立体数据（105）耦合的元数据取回混合策略（156）来实施的。
3.根据权利要求1或2所述的方法，其中，基于立体数据的图像特性预测中间图像（161）的图像质量包括：基于立体数据的图像细节来预测中间图像（161）的图像细节的量。
4.根据权利要求1或2所述的方法，其中，所述立体数据（105）是视频序列，并且其中，生成中间图像（161）还包括：
- 从立体数据（105）的相应的后续帧生成后续中间图像。
5.根据权利要求4所述的方法，其中，确定（170）混合策略包括：
- 在第一实例处确定用于从第一帧生成第一中间图像的第一混合策略；以及
- 在第二实例处确定用于从第二帧生成第二中间图像的第二混合策略。
6.根据权利要求5所述的方法，其中，确定（170）混合策略还包括：
- 在第三实例处确定用于从第三帧生成第三中间图像的第三混合策略，其中
- 所述第三实例出现在第一实例之后且在第二实例之前，
- 由第三混合策略限定的第三相对贡献处于由第一混合策略限定的第一相对贡献与由第二混合策略限定的第二相对贡献之间，
所述第一相对贡献、第二相对贡献和第三相对贡献全部对应于左中间图像。
7.根据权利要求1或2所述的方法，其中，生成中间图像（161）包括：
- 从立体数据（105）生成第一系列中间图像，所述第一系列中间图像对应于第一系列相邻的中间视点。
8.根据权利要求7所述的方法，其中，
生成第一系列中间图像包括：
- 使第一系列中间视点以第一视点为中心，所述第一视点是在左视点和右视点之间或者在左视点或右视点附近的视点，使得第一系列中间视点的中央中间视点对应于第一视点，以及
- 基于第一系列中间图像的所预测的图像质量选取第一视点。
9.根据权利要求7所述的方法，其中，所述立体数据（105）是视频序列，并且所述第一系列中间图像是从视频序列的第一帧生成的，所述第一帧对应于第一时间实例，
并且其中，生成中间图像（161）还包括：
- 从视频序列的第二帧生成第二系列中间图像，所述第二帧对应于第二时间实例，并且所述第二系列中间图像对应于以第二视点为中心的第二系列相邻的中间视点。
10.根据权利要求9所述的方法，其中，生成中间图像（161）还包括：
- 从视频序列的第三帧生成第三系列中间图像，所述第三帧对应于第三时间实例，并且所述第三系列中间图像对应于以第三视点为中心的第三系列相邻的中间视点，并且其中，所述第三时间实例出现在第一时间实例之后且在第二时间实例之前，并且其中所述第三视点处于第一视点和第二视点之间。
11.根据权利要求1或2所述的方法，其中，所述多个混合策略包括两个混合策略中的至少一个混合策略，
所述第一混合策略
- 限定了左中间图像在混合中的左相对贡献，并且
- 限定了右中间图像在混合中的右相对贡献，左相对贡献和右相对贡献中的一个对左相对贡献和右相对贡献中的另一个占优势，
并且所述第二混合策略
- 限定了左中间图像为0的相对贡献，这对应于通过将右中间图像拷贝到右中间图像来混合左中间图像和右中间图像。
12.根据权利要求1或2所述的方法，其中，所述立体数据（105）包括静止立体图像对。
13.根据权利要求1或2所述的方法，其中，所述左视差数据（111）和右视差数据（112）两者均是从左图像（101）和右图像（102）计算出来的。
14.一种被布置成针对中间视点（155）从立体数据（105）生成中间图像（161）的系统（600），使用根据混合策略（156）对左中间图像（131）和右中间图像（141）进行的混合（180），所述混合策略（156）将左中间图像和右中间图像在混合中的相对贡献限定为中间视点的函数，所述立体数据包括左数据（103）和右数据（104），所述左数据包括左图像（101）和左视差数据（111），所述左数据与左视点相对应，所述右数据包括右图像（102）和右视差数据（112），所述右数据与右视点相对应，并且所述中间图像与中间视点相对应，所述左中间图像是针对中间视点而从左数据生成的，所述右中间图像是针对中间视点而从右数据生成的，
所述系统包括生成单元，所述生成单元被布置成执行：
- 预测功能，用于基于立体数据的图像特性（184）针对多个混合策略（171，172）中的每一个来预测（182）中间图像的图像质量；以及
- 混合策略功能，用于通过基于中间图像的所预测的图像质量从所述多个混合策略中选取混合策略，来确定（170）混合策略；以及
- 左扭曲功能，用于当所确定的混合策略如此要求时，生成左中间图像；以及
- 右扭曲功能，用于当所确定的混合策略如此要求时，生成右中间图像；以及
- 混合功能，用于通过根据所确定的混合策略使用相对贡献去混合左中间图像和右中间图像，而生成中间图像。
15.根据权利要求14所述的系统，其中，用于确定（170）混合策略的混合策略功能是通过从与立体数据（105）耦合的元数据取回混合策略（156）来实施的。
16.根据权利要求14或15所述的系统，其中，所述中间图像（161）被使用来驱动多视点显示器（666）的至少一个视点。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP13154244.1 | 2013-02-06 | ||
| EP13154244.1A EP2765774A1 (en) | 2013-02-06 | 2013-02-06 | System for generating an intermediate view image |
| PCT/EP2013/073733 WO2014121860A1 (en) | 2013-02-06 | 2013-11-13 | System for generating an intermediate view image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104969546A true CN104969546A (zh) | 2015-10-07 |
| CN104969546B CN104969546B (zh) | 2017-10-10 |
Family
ID=47845714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201380072475.5A Expired - Fee Related CN104969546B (zh) | 2013-02-06 | 2013-11-13 | 用于生成中间视点图像的系统 |
Country Status (10)
| Country | Link |
|---|---|
| US (1) | US9967537B2 (zh) |
| EP (2) | EP2765774A1 (zh) |
| JP (1) | JP6393278B2 (zh) |
| KR (1) | KR20150115006A (zh) |
| CN (1) | CN104969546B (zh) |
| BR (1) | BR112015018548A2 (zh) |
| CA (1) | CA2900144A1 (zh) |
| RU (1) | RU2640645C2 (zh) |
| TW (1) | TWI630814B (zh) |
| WO (1) | WO2014121860A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107526948A (zh) * | 2017-09-28 | 2017-12-29 | 同方威视技术股份有限公司 | 生成关联图像的方法和设备以及图像验证方法和设备 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10165258B2 (en) | 2016-04-06 | 2018-12-25 | Facebook, Inc. | Efficient determination of optical flow between images |
| EP3509308A1 (en) * | 2018-01-05 | 2019-07-10 | Koninklijke Philips N.V. | Apparatus and method for generating an image data bitstream |
| EP3712843A1 (en) * | 2019-03-19 | 2020-09-23 | Koninklijke Philips N.V. | Image signal representing a scene |
| JP2023551991A (ja) * | 2020-12-07 | 2023-12-13 | レイア、インコーポレイテッド | リアルタイムのマルチビュービデオ変換方法及びシステム |
Family Cites Families (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6230773Y2 (zh) * | 1980-12-19 | 1987-08-07 | ||
| US5530774A (en) * | 1994-03-25 | 1996-06-25 | Eastman Kodak Company | Generation of depth image through interpolation and extrapolation of intermediate images derived from stereo image pair using disparity vector fields |
| US6327381B1 (en) | 1994-12-29 | 2001-12-04 | Worldscape, Llc | Image transformation and synthesis methods |
| DE69621778T2 (de) | 1995-12-19 | 2003-03-13 | Koninkl Philips Electronics Nv | Tiefenabhängige parallaktische pixelverschiebung |
| US6064424A (en) | 1996-02-23 | 2000-05-16 | U.S. Philips Corporation | Autostereoscopic display apparatus |
| JP2002541568A (ja) | 1999-03-31 | 2002-12-03 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | シーンの第１の画像から第２の画像への画素ブロックの移動量を検出する方法 |
| EP1290895B1 (en) | 2000-05-19 | 2006-07-12 | Koninklijke Philips Electronics N.V. | Block-based motion or depth estimation |
| EP1437898A1 (en) | 2002-12-30 | 2004-07-14 | Koninklijke Philips Electronics N.V. | Video filtering for stereo images |
| RU2298226C1 (ru) * | 2005-10-28 | 2007-04-27 | Самсунг Электроникс Ко., Лтд. | Способ улучшения цифровых изображений |
| US8736672B2 (en) * | 2006-08-24 | 2014-05-27 | Reald Inc. | Algorithmic interaxial reduction |
| GB0708676D0 (en) | 2007-05-04 | 2007-06-13 | Imec Inter Uni Micro Electr | A Method for real-time/on-line performing of multi view multimedia applications |
| FR2917845B1 (fr) * | 2007-06-19 | 2011-08-19 | Christophe Brossier | Procede de visualisation d'une sequence d'images produisant une sensation de relief |
| KR100950046B1 (ko) * | 2008-04-10 | 2010-03-29 | 포항공과대학교 산학협력단 | 무안경식 3차원 입체 ｔｖ를 위한 고속 다시점 3차원 입체영상 합성 장치 및 방법 |
| US8106924B2 (en) * | 2008-07-31 | 2012-01-31 | Stmicroelectronics S.R.L. | Method and system for video rendering, computer program product therefor |
| TWI463864B (zh) | 2008-08-29 | 2014-12-01 | Thomson Licensing | 具試探式視圖融合之視圖合成 |
| KR101468267B1 (ko) * | 2008-10-02 | 2014-12-15 | 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 | 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출 |
| KR101697598B1 (ko) | 2008-10-27 | 2017-02-01 | 엘지전자 주식회사 | 가상 뷰 이미지 합성 방법 및 장치 |
| KR101580284B1 (ko) * | 2009-02-02 | 2015-12-24 | 삼성전자주식회사 | 중간 시점 영상 생성 장치 및 방법 |
| US9445072B2 (en) * | 2009-11-11 | 2016-09-13 | Disney Enterprises, Inc. | Synthesizing views based on image domain warping |
| TWI459796B (zh) | 2009-12-29 | 2014-11-01 | Ind Tech Res Inst | 產生多視角三維立體影像的方法及其裝置 |
| JP5033219B2 (ja) | 2010-04-30 | 2012-09-26 | 株式会社バッファロー | 中継装置、通信装置、通信システム、中継方法、フレーム受信方法、及びそのプログラム |
| EP2393298A1 (en) | 2010-06-03 | 2011-12-07 | Zoltan Korcsok | Method and apparatus for generating multiple image views for a multiview autostereoscopic display device |
| RU2010123652A (ru) | 2010-06-10 | 2011-12-20 | Корпорация "САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд." (KR) | Система и способ визуализации стереоизображений и многовидовых изображений для управления восприятием глубины стереоскопического изображения, создаваемого телевизионным приемником |
| JP5494283B2 (ja) * | 2010-06-24 | 2014-05-14 | ソニー株式会社 | 立体表示装置及び立体表示装置の制御方法 |
| WO2012007867A1 (en) * | 2010-07-12 | 2012-01-19 | Koninklijke Philips Electronics N.V. | Signaling for multiview 3d video |
| JP4939639B2 (ja) | 2010-09-28 | 2012-05-30 | シャープ株式会社 | 画像処理装置、画像処理方法、プログラム及び記録媒体 |
| JP5879713B2 (ja) * | 2010-12-09 | 2016-03-08 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| KR101798408B1 (ko) * | 2011-01-03 | 2017-11-20 | 삼성전자주식회사 | 3ｄ 디스플레이를 위한 고품질 멀티-뷰 영상의 생성 방법 및 장치 |
| WO2012117462A1 (ja) * | 2011-03-03 | 2012-09-07 | パナソニック株式会社 | 立体映像処理装置および方法ならびに立体映像表示装置 |
-
2013
- 2013-02-06 EP EP13154244.1A patent/EP2765774A1/en not_active Withdrawn
- 2013-11-13 WO PCT/EP2013/073733 patent/WO2014121860A1/en active Application Filing
- 2013-11-13 RU RU2015137801A patent/RU2640645C2/ru not_active IP Right Cessation
- 2013-11-13 US US14/763,894 patent/US9967537B2/en not_active Expired - Fee Related
- 2013-11-13 EP EP13802261.1A patent/EP2954674B1/en not_active Revoked
- 2013-11-13 CA CA2900144A patent/CA2900144A1/en active Pending
- 2013-11-13 KR KR1020157024110A patent/KR20150115006A/ko active IP Right Grant
- 2013-11-13 JP JP2015555600A patent/JP6393278B2/ja not_active Expired - Fee Related
- 2013-11-13 BR BR112015018548A patent/BR112015018548A2/pt not_active Application Discontinuation
- 2013-11-13 CN CN201380072475.5A patent/CN104969546B/zh not_active Expired - Fee Related
- 2013-11-25 TW TW102142868A patent/TWI630814B/zh not_active IP Right Cessation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107526948A (zh) * | 2017-09-28 | 2017-12-29 | 同方威视技术股份有限公司 | 生成关联图像的方法和设备以及图像验证方法和设备 |
| CN107526948B (zh) * | 2017-09-28 | 2023-08-25 | 同方威视技术股份有限公司 | 生成关联图像的方法和设备以及图像验证方法和设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6393278B2 (ja) | 2018-09-19 |
| EP2765774A1 (en) | 2014-08-13 |
| WO2014121860A1 (en) | 2014-08-14 |
| TWI630814B (zh) | 2018-07-21 |
| KR20150115006A (ko) | 2015-10-13 |
| TW201433142A (zh) | 2014-08-16 |
| EP2954674B1 (en) | 2017-03-08 |
| US9967537B2 (en) | 2018-05-08 |
| CN104969546B (zh) | 2017-10-10 |
| RU2640645C2 (ru) | 2018-01-10 |
| RU2015137801A (ru) | 2017-03-10 |
| CA2900144A1 (en) | 2014-08-14 |
| JP2016510562A (ja) | 2016-04-07 |
| US20150365646A1 (en) | 2015-12-17 |
| EP2954674A1 (en) | 2015-12-16 |
| BR112015018548A2 (pt) | 2017-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2377325B1 (en) | Image based 3d video format | |
| CN101682794B (zh) | 用于处理深度相关信息的方法、装置和系统 | |
| KR101633627B1 (ko) | 입력 ３차원 비디오 신호를 프로세싱하는 방법 및 시스템 | |
| US8798160B2 (en) | Method and apparatus for adjusting parallax in three-dimensional video | |
| US20150365645A1 (en) | System for generating intermediate view images | |
| US20140111627A1 (en) | Multi-viewpoint image generation device and multi-viewpoint image generation method | |
| EP2469870A2 (en) | Image processing device, image processing method, and program | |
| CN104969546A (zh) | 用于生成中间视点图像的系统 | |
| CN102474644A (zh) | 立体图像显示系统、视差转换装置、视差转换方法以及程序 | |
| US20150042770A1 (en) | Display processor for 3d display | |
| JP5257248B2 (ja) | 画像処理装置および方法、ならびに画像表示装置 | |
| EP2490173B1 (en) | Method for processing a stereoscopic image comprising a black band and corresponding device | |
| US8976171B2 (en) | Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program | |
| JP2013089981A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
| US20140205185A1 (en) | Image processing device, image pickup device, and image display device | |
| KR20120072892A (ko) | 양안시차 및 깊이 정보를 이용한 애너그리프 영상 생성 방법 및 장치 | |
| JPWO2012108406A1 (ja) | 視点画像生成装置、視点画像生成方法及び立体画像印画装置 | |
| JP2014011470A (ja) | 奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20171010 Termination date: 20201113 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |