CN109658326B - 一种图像显示方法及装置、计算机可读存储介质 - Google Patents
一种图像显示方法及装置、计算机可读存储介质 Download PDFInfo
- Publication number
- CN109658326B CN109658326B CN201710942524.6A CN201710942524A CN109658326B CN 109658326 B CN109658326 B CN 109658326B CN 201710942524 A CN201710942524 A CN 201710942524A CN 109658326 B CN109658326 B CN 109658326B
- Authority
- CN
- China
- Prior art keywords
- frame
- super
- pixel
- displayed
- previous frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000011218 segmentation Effects 0.000 claims abstract description 70
- 230000009466 transformation Effects 0.000 claims abstract description 68
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 45
- 238000009877 rendering Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000033001 locomotion Effects 0.000 claims description 67
- 239000013598 vector Substances 0.000 claims description 26
- 230000008569 process Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 6
- 238000012217 deletion Methods 0.000 description 4
- 230000037430 deletion Effects 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004886 head movement Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000005094 computer simulation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 210000001508 eye Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 201000003152 motion sickness Diseases 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000007711 solidification Methods 0.000 description 1
- 230000008023 solidification Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种图像显示方法及装置、计算机可读存储介质，包括读取当前待显示帧，当当前待显示帧不能在预设的时间内完成渲染处理时，读取当前待显示帧的前一帧，对前一帧进行超像素分割；根据获取的帧间视场变换信息，对前一帧中的超像素进行仿射变换得到补偿帧，并将补偿帧输出至显示单元进行显示。本申请通过针对超像素进行处理而非逐像素进行处理，降低了处理对象的数目，有效地提升了处理速度和运算效率，而且超像素内的所有像素进行仿射变换的参数是相同的，极大程度地降低了传统的对每个像素进行非线性变换导致的近场景物的失真。
Description
技术领域
本发明涉及但不限于虚拟现实(Virtual Reality，VR)技术领域，尤其涉及一种图像显示方法及装置、计算机可读存储介质。
背景技术
随着计算机技术的迅速发展，VR技术研究吸引了越来越多的目光，在医学、娱乐、军事航天和工业仿真方面获得了诸多应用。VR技术是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机模拟产生一个三维空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身临其境一般，可以及时、没有限制地观察三维空间内的事物。
VR技术主要包括场景采集、模拟、编解码、场景重建和场景显示等几个方面。人类对于头部运动与视界变换的差异是非常敏感的，即头部运动与视野转动的时差应该非常小，研究表明，该时差超过20毫秒就会有明显的迟滞感。因此，在场景显示时，刷新率不足会明显导致头部运动与视觉观测视角的不匹配，进而导致VR用户的体验下降甚至导致VR头盔用户的晕动症。对于VR视频而言，需要画面刷新频率不低于50Hz，即需要在20毫秒内完成传感器对位置和角度等信息的更新、画面的解析与渲染以及显示器及时更新显示。VR视频为了追求沉浸感和真实性，通常具有较高的分辨率和广角特性，这进一步增大了渲染的压力，因此，保持较高的刷新率是一件很有难度的工作。
相关技术在处理渲染不及时或者刷新频率较低的VR视频时，通常采用时间扭曲(Time Warp，TW)技术进行插帧来保证帧率满足特定的要求。TW通过利用已经渲染的上一帧图像，在时间上将之扭曲为显示的当前帧。假设将t时刻待显示帧定义为ft(由于ft未完成渲染，所以不能用于显示)，相邻已经完成渲染的图像帧定义为ft-1，根据采集到的帧间头盔旋转角度信息δ，合成t时刻的显示数据ft'：
ft'＝ft-1φ(δ) (1)
其中，φ(δ)表示将角度信息转换为帧间的视场变换函数，φ(δ)为4×4的齐次变换矩阵，具有如下的形式：
其中，n、o和a是旋转变换列向量，p是平移向量。通过综合调节n、o和a，可以实现补偿帧在三维空间下的旋转，例如，利用矩阵可以实现绕z轴旋转θ角的目的。
TW可以有效地解决渲染不及时的问题，但是，由于传统的TW是逐像素进行的一种非线性变换，因此，存在以下三个问题：
1)对于分辨率较高的图片，需要运算的时间将直线上升；
2)由于对每个像素均采用非线性变换极有可能会导致近场景物的失真，根据视觉暂留效应，反应到使用者就会导致一种明显的近场景物抖动；
3)由于仅仅使用了ft-1帧的信息，TW补偿帧中无法估计场景中物体的运动信息。
发明内容
为了解决运算时间长以及近场景物的失真问题，本发明一方面提供了一种图像显示方法及装置、计算机可读存储介质，能够提升运算效率、降低近场景物的失真以及降低运动信息缺失导致的抖动；
为了解决传统TW方法中的运动信息缺失导致的运动物体抖动问题，本发明另一方面提供了一种图像显示方法及装置、计算机可读存储介质，能够降低运动信息缺失导致的抖动。
为了达到本发明目的，本发明实施例的技术方案是这样实现的：
本发明实施例提供了一种图像显示方法，包括：
读取当前待显示帧，当当前待显示帧不能在预设的时间内完成渲染处理时，读取当前待显示帧的前一帧，对前一帧进行超像素分割；
根据获取的帧间视场变换信息，对前一帧中的超像素进行仿射变换得到补偿帧，并将补偿帧输出至显示单元进行显示。
进一步地，所述对前一帧进行超像素分割，包括：
利用简单线性迭代聚类算法、基于图论的方法或者基于熵率的超像素分割方法对所述前一帧进行超像素分割。
本发明实施例还提供了一种图像显示方法，包括：
读取当前待显示帧，当当前待显示帧不能在预设的时间内完成渲染处理时，读取当前待显示帧的前一帧，对当前待显示帧和前一帧分别进行超像素分割；
对超像素分割后的当前待显示帧和前一帧进行超像素匹配；
根据当前待显示帧和前一帧之间的超像素匹配关系，估计前一帧中的超像素的运动信息，使用运动信息对前一帧中的超像素进行运动补偿，得到中间补偿帧；
根据获取的帧间视场变换信息，对中间补偿帧的超像素进行仿射变换得到补偿帧，并将补偿帧输出至显示单元进行显示。
进一步地，在得到中间补偿帧之后，所述方法还包括：
根据所述当前待显示帧对应位置的数据，对所述中间补偿帧中的空洞进行填充。
进一步地，所述对超像素分割后的当前待显示帧和前一帧进行超像素匹配，具体包括：提取所述当前待显示帧和所述前一帧的超像素中的颜色直方图信息和角点特征信息，根据颜色直方图信息和角点特征信息进行匹配。
进一步地，所述对超像素分割后的当前待显示帧和前一帧进行超像素匹配，具体包括：提取所述当前待显示帧和所述前一帧的超像素中的颜色信息和位置信息，组成五维特征向量，根据五维特征向量信息进行匹配。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像显示的程序，所述图像显示的程序被处理器执行时实现如以上任一项所述的图像显示方法的步骤。
本发明实施例还提供了一种图像显示装置，包括第一读取单元、第一超像素分割单元、第一仿射变换单元和第一显示单元，其中：
第一读取单元，用于读取当前待显示帧，当当前待显示帧不能在预设的时间内完成渲染处理时，读取当前待显示帧的前一帧，并将前一帧输出至第一超像素分割单元；
第一超像素分割单元，用于对前一帧进行超像素分割，将超像素分割后的前一帧输出至第一仿射变换单元；
第一仿射变换单元，用于根据获取的帧间视场变换信息，对前一帧中的超像素进行仿射变换得到补偿帧，并将补偿帧输出至第一显示单元；
第一显示单元，用于接收并显示补偿帧。
本发明实施例还提供了一种图像显示装置，包括第二读取单元、第二超像素分割单元、第二超像素匹配单元、第二运动补偿单元、第二仿射变换单元和第二显示单元，其中：
第二读取单元，用于读取当前待显示帧，当当前待显示帧不能在预设的时间内完成渲染处理时，读取当前待显示帧的前一帧，并将当前待显示帧和前一帧输出至第二超像素分割单元；
第二超像素分割单元，用于对当前待显示帧和前一帧分别进行超像素分割，将超像素分割后的当前待显示帧和前一帧输出至第二超像素匹配单元；
第二超像素匹配单元，用于对超像素分割后的当前待显示帧和前一帧进行超像素匹配，将当前待显示帧和前一帧之间的超像素匹配关系输出至第二运动补偿单元；
第二运动补偿单元，用于根据当前待显示帧和前一帧之间的超像素匹配关系估计前一帧中的超像素的运动信息，使用运动信息对前一帧中的超像素进行运动补偿，得到中间补偿帧，将中间补偿帧输出至第二仿射变换单元；
第二仿射变换单元，用于根据获取的帧间视场变换信息，对中间补偿帧的超像素进行仿射变换得到补偿帧，并将补偿帧输出至第二显示单元；
第二显示单元，用于接收并显示补偿帧。
进一步地，所述第二运动补偿单元还用于：
根据所述当前待显示帧对应位置的数据，对所述中间补偿帧中的空洞进行填充。
进一步地，所述第二超像素匹配单元的对超像素分割后的当前待显示帧和前一帧进行超像素匹配，包括：提取所述当前待显示帧和所述前一帧的超像素中的颜色直方图信息和角点特征信息，根据颜色直方图信息和角点特征信息进行匹配。
进一步地，所述第二超像素匹配单元的对超像素分割后的当前待显示帧和前一帧进行超像素匹配，包括：提取所述当前待显示帧和所述前一帧的超像素中的颜色信息和位置信息，组成五维特征向量，根据五维特征向量信息进行匹配。
本发明的技术方案，具有如下有益效果：
本发明提供的图像显示方法及装置、计算机可读存储介质，通过针对超像素进行处理而非逐像素进行处理，降低了处理对象的数目，有效地提升了处理速度和运算效率，而且超像素内的所有像素进行仿射变换的参数是相同的，极大程度地降低了传统的对每个像素进行非线性变换导致的近场景物的失真；
进一步地，通过依据前后两帧之间的超像素匹配关系估计前一帧中的超像素的运动信息，对前一帧中的超像素进行运动补偿，一定程度上解决了传统TW方法中的运动信息缺失导致的运动物体抖动问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明第一实施例的图像显示方法的流程示意图；
图2为本发明第二实施例的图像显示方法的流程示意图；
图3为本发明第一实施例的图像显示装置的结构示意图；
图4为本发明第二实施例的图像显示装置的结构示意图；
图5为本发明优选实施例中，对前一帧进行超像素分割的结果示意图；
图6为本发明优选实施例中，对当前待显示帧进行超像素分割的结果示意图；
图7是本发明优选实施例中，对前一帧进行运动补偿的结果示意图；
图8是本发明优选实施例中，对中间补偿帧进行仿射变换的结果示意图图；
图9是相关技术中通过齐次变换矩阵对前一帧进行仿射变换的结果示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
如图1所示，根据本发明的一种图像显示方法，包括如下步骤：
步骤101：读取当前待显示帧ft，检测当前待显示帧ft是否能够在预设的时间内完成渲染处理，如果能够在预设的时间内完成渲染处理，将完成渲染处理后的当前待显示帧ft输出至显示单元进行显示；如果不能在预设的时间内完成渲染处理，转入步骤102；
需要说明的是，在高分辨率VR视频播放中，渲染通常是耗时的，所以需要在渲染不及时的情况下添加补偿帧以保证刷新率和流畅性。至于如何检测当前待显示帧ft是否能够在预设的时间内完成渲染处理，可以通过现有技术中的算法进行实现，本发明对此并不做限制。
步骤102：读取当前待显示帧ft的前一帧ft-1，对前一帧ft-1进行超像素分割(Super-pixel Segment)；
需要说明的是，超像素是针对像素级图像进行区域划分，区域内的像素具有相同或相似的信息，利用超像素表征这些信息，可以增加对图像的理解和处理。
进一步地，对前一帧ft-1进行超像素分割，具体包括：利用简单线性迭代聚类(Simple Linear Iterative Clustering，SLIC)算法、基于图论的方法或者基于熵率的超像素分割方法对前一帧ft-1进行超像素分割。
在本发明一实施例中，首先将每个像素的颜色信息(r,g,b)与位置信息(x,y)组合构成一个5维向量v，利用欧几里得距离来度量相似性，距离越小，相似性越高。生成K个种子点，计算种子点周围像素i与第j种子点之间的距离
其中α表示相对位置的尺度因子，主要是基于图像尺度较大时距离差异影响过大的考虑。本发明可以利用上述方式划分超像素，也可以利用基于图论的方式划分超像素(该方法的主要思想是将图像映射为无向图，通过控制区域间差异值对图像上的节点进行聚类)；此外，基于熵率的超像素分割方法也可以用于该发明(通过合理设计区域内的能量函数对像素进行取舍，最终将图像分割成一组具有最小能量值的超像素区域)；
然后将像素点划分到距离最小的种子点所形成的超像素，并更新该超像素的颜色信息和位置信息：
J＝min{di1,di2,...,dij} (4)
其中，Ω表示属于第j个超像素的像素点集合，vi表示第i个像素点的五维向量，vj表示第j个超像素的五维向量信息，N表示该集合的个数，通过迭代上述处理获得对前一帧ft-1的超像素分割。
步骤103：根据获取的帧间视场变换信息，对前一帧ft-1中的超像素进行仿射变换得到补偿帧，并将补偿帧输出至显示单元进行显示。
进一步地，所述获取的帧间视场变换信息为传感器采集的头盔移位信息和旋转角度信息。
如图2所示，根据本发明的一种图像显示方法，包括如下步骤：
步骤201：读取当前待显示帧ft，检测当前待显示帧ft是否能够在预设的时间内完成渲染处理，如果能够在预设的时间内完成渲染处理，将完成渲染处理后的当前待显示帧ft输出至显示单元进行显示；如果不能在预设的时间内完成渲染处理，转入步骤202；
需要说明的是，在高分辨率VR视频播放中，渲染通常是耗时的，所以需要在渲染不及时的情况下添加补偿帧以保证刷新率和流畅性。
步骤202：读取当前待显示帧ft的前一帧ft-1，对当前待显示帧ft和前一帧ft-1分别进行超像素分割；
需要说明的是，超像素是针对像素级图像进行区域划分，区域内的像素具有相同或相似的信息，利用超像素表征这些信息，可以增加对图像的理解和处理。
进一步地，对当前待显示帧ft和前一帧ft-1分别进行超像素分割，具体包括：利用简单线性迭代聚类算法、基于图论的方法或者基于熵率的超像素分割方法对当前待显示帧ft和前一帧ft-1分别进行超像素分割。
步骤203：对超像素分割后的当前待显示帧ft和前一帧ft-1进行超像素匹配；
进一步地，所述对超像素分割后的当前待显示帧ft和前一帧ft-1进行超像素匹配，具体包括：提取当前待显示帧ft和前一帧ft-1的超像素中的颜色直方图信息和角点特征信息，根据颜色直方图信息和角点特征信息进行匹配。
需要说明的是，由于这两帧属于相邻帧，所以超像素划分具有很强的相似性，分别提取这两帧超像素的角点信息和颜色直方图信息用于超像素匹配，采用余弦距离作为衡量标准。
进一步地，所述对超像素分割后的当前待显示帧ft和前一帧ft-1进行超像素匹配，具体包括：提取当前待显示帧ft和前一帧ft-1的超像素中的颜色信息(r，g，b)和位置信息(x，y)，组成五维特征向量，根据五维特征向量信息进行匹配。
步骤204：根据当前待显示帧ft和前一帧ft-1之间的超像素匹配关系估计前一帧ft-1中的超像素的运动信息M，使用运动信息M对前一帧ft-1中的超像素进行运动补偿，得到中间补偿帧f't-1；
具体地，针对前一帧ft-1中的超像素γ和与之匹配的当前待显示帧ft中的超像素γ'，估计超像素γ在ft-1帧中的运动信息M:γ→γ'，初步合成补偿帧中的对应信息，对每一个超像素进行运动补偿：
γ't＝Mγt-1 (6)
进一步地，在得到中间补偿帧ft之后，所述方法还包括：
根据当前待显示帧ft对应位置的数据，对中间补偿帧f't-1中的空洞进行填充。
通过运动补偿，ft”包含了场景中的运动信息，可以一定程度上解决传统TW方法中的运动信息缺失导致的运动物体抖动问题。
步骤205：根据获取的帧间视场变换信息，对中间补偿帧f't-1的超像素进行仿射变换得到补偿帧ft”，并将补偿帧ft”输出至显示单元进行显示。
进一步地，所述获取的帧间视场变换信息为传感器采集的头盔移位信息和旋转角度信息。
具体地，通过采集传感器的实时移位数据(x,y,z)，旋转视角数据(θ1,θ2,θ3)和眼球定位结果预测t时刻补偿帧相对于ft'的移位信息和旋转信息，构建仿射矩阵Φ，针对每个超像素γ'进行仿射变换：
γ”t＝Φγ't (7)
通过对超像素的操作降低了直接对像素操作导致的失真，同时，提升处理的效率。
本发明还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储有图像显示的程序，所述图像显示的程序被处理器执行时实现如以上任一项所述的图像显示方法的步骤。
如图3所示，根据本发明的一种图像显示装置，包括第一读取单元301、第一超像素分割单元302、第一仿射变换单元303和第一显示单元304，其中：
第一读取单元301，用于读取当前待显示帧ft，检测当前待显示帧ft是否能够在预设的时间内完成渲染处理，如果能够在预设的时间内完成渲染处理，将完成渲染处理后的当前待显示帧ft输出至第一显示单元304；如果不能在预设的时间内完成渲染处理，读取当前待显示帧的前一帧ft-1，并将前一帧ft-1输出至第一超像素分割单元302；
第一超像素分割单元302，用于接收第一读取单元301输出的前一帧ft-1，对前一帧ft-1进行超像素分割，将超像素分割后的前一帧ft-1输出至第一仿射变换单元303；
第一仿射变换单元303，用于接收第一超像素分割单元302输出的超像素分割后的前一帧ft-1，根据获取的帧间视场变换信息，对前一帧中的超像素进行仿射变换得到补偿帧ft”，并将补偿帧ft”输出至第一显示单元304；
第一显示单元304，用于接收第一读取单元301输出的完成处理后的当前待显示帧ft，并显示完成处理后的当前待显示帧ft；接收第一仿射变换单元303输出的补偿帧ft”，并显示补偿帧ft”。
进一步地，所述第一超像素分割单元302的对前一帧进行超像素分割，包括：利用简单线性迭代聚类算法、基于图论的方法或者基于熵率的超像素分割方法对前一帧进行超像素分割。
如图4所示，根据本发明的一种图像显示装置，包括第二读取单元401、第二超像素分割单元402、第二超像素匹配单元403、第二运动补偿单元404、第二仿射变换单元405和第二显示单元406，其中：
第二读取单元401，用于读取当前待显示帧ft，检测当前待显示帧ft是否能够在预设的时间内完成渲染处理，如果能够在预设的时间内完成渲染处理，将完成渲染处理后的当前待显示帧ft输出至第二显示单元406进行显示；如果不能在预设的时间内完成渲染处理，读取当前待显示帧的前一帧ft-1，并将当前待显示帧ft和前一帧ft-1输出至第二超像素分割单元402；
第二超像素分割单元402，用于接收第二读取单元401输出的当前待显示帧ft和前一帧ft-1，对当前待显示帧ft和前一帧ft-1分别进行超像素分割，将超像素分割后的当前待显示帧ft和前一帧ft-1输出至第二超像素匹配单元403；
第二超像素匹配单元403，用于接收第二超像素分割单元402输出的超像素分割后的当前待显示帧ft和前一帧ft-1，对超像素分割后的当前待显示帧ft和前一帧ft-1进行超像素匹配，将当前待显示帧ft和前一帧ft-1之间的超像素匹配关系输出至第二运动补偿单元404；
第二运动补偿单元404，用于接收第二超像素匹配单元403输出的当前待显示帧ft和前一帧ft-1之间的超像素匹配关系，根据当前待显示帧ft和前一帧ft-1之间的超像素匹配关系估计前一帧ft-1中的超像素的运动信息M，使用运动信息M对前一帧ft-1中的超像素进行运动补偿，得到中间补偿帧f't-1，将中间补偿帧f't-1输出至第二仿射变换单元405；
第二仿射变换单元405，用于接收第二运动补偿单元404输出的将中间补偿帧f't-1，根据获取的帧间视场变换信息，对中间补偿帧f't-1的超像素进行仿射变换得到补偿帧ft”，并将补偿帧ft”输出至第二显示单元406；
第二显示单元406，用于接收第二读取单元401输出的完成处理后的当前待显示帧ft，并显示完成处理后的当前待显示帧ft；接收第二仿射变换单元405输出的补偿帧ft”，并显示补偿帧ft”。
进一步地，所述第二运动补偿单元404还用于：
根据当前待显示帧ft对应位置的数据，对中间补偿帧f't-1中的空洞进行填充。
进一步地，所述第二超像素匹配单元403的对超像素分割后的当前待显示帧ft和前一帧ft-1进行超像素匹配，包括：提取当前待显示帧ft和前一帧ft-1的超像素中的颜色直方图信息和角点特征信息，根据颜色直方图信息和角点特征信息进行匹配。
进一步地，所述第二超像素匹配单元403的对超像素分割后的当前待显示帧ft和前一帧ft-1进行超像素匹配，包括：提取当前待显示帧ft和前一帧ft-1的超像素中的颜色信息(r，g，b)和位置信息(x，y)，组成五维特征向量，根据五维特征向量信息进行匹配。
进一步地，所述第二超像素分割单元402的对当前待显示帧ft和前一帧ft-1分别进行超像素分割，包括：利用简单线性迭代聚类SLIC算法、基于图论的方法或者基于熵率的超像素分割方法对当前待显示帧ft和前一帧ft-1分别进行超像素分割。
本发明实施例还提供了一个优选的实施例对本发明进行进一步解释，但是值得注意的是，该优选实施例只是为了更好的描述本发明，并不构成对本发明不当的限定。
本优选实施例包括如下步骤：
步骤A：读入并准备渲染第i帧，同时保留已经完成渲染的第i-1帧ft-1；
如果在显示频率刷新之前完成渲染，则直接显示渲染得到的第i帧，此过程属于现有技术；如果渲染不及时，则读入未渲染的第i帧ft，同时对ft-1和ft进行超像素分割(此处利用了基于距离相似性的方法进行超像素分割，值得说明的是，此处利用其它超像素分割方法也是可行的，比如基于图论和熵率的方法等)，此过程的一个实现方式如下：
a)根据当前帧的大小设定超像素的个数1000～2000个(一个典型设置是，针对1920*1080图像简易设置1000个超像素点，尺寸越大，设置的超像素点越多，纹理越多，超像素点越多)，均匀随机分布在图像之中。选择图像左上角像素位置为坐标零点，向右向下分别为x轴和y轴的正方向，获取每个像素点的5维向量；
b)以每个超像素为圆心，根据公式(3)搜索半径r个像素距离的相邻像素之间的距离，根据技术方案第一步所述，需要对空间距离进行尺度缩放，一个一般性的设置为0.1。选取一定比例作为同一类型的像素共同构成一个超像素(一个典型设置是，首先选择r＝5，比例为30％，然后逐步增加半径和选取比例，最终在附近，其中N是指争取像素数，K指设定的超像素个数)。对每个超像素内的像素点求取算术平均，得到超像素的5为向量特征描述；
c)根据新的超像素中心，重复b)的处理过程，根据公式(4)和公式(5)，将两帧图像中的像素点进行分类，直至所有ft-1和ft帧内所有的像素被划分到各自的超像素之中；
d)对两帧图像中的超像素进行匹配，由于是相邻两帧的数据，所以超像素之间也存在很强的相似性。此处有两种解决方案，一是利用a)中涉及的5向量特征描述来衡量超像素的相似性，但是需要将距离缩放因子调小至0.01～0.001。另一种方案是根据技术方案所述提取超像素中的颜色直方图信息和角点信息进行匹配。这种方案都可以具有旋转不变性，对VR角度变换导致的旋转和尺度缩放具有很强的鲁棒性。
步骤B：对完成匹配的超像素进行运动补偿；
获取ft-1和ft帧内超像素块之间的匹配关系，以ft-1帧内的数据为原点，计算其在ft帧内的运动向量。对于超像素G，在ft-1帧的位置为(x,y)，对应ft帧的位置为(x',y')，则其运动向量可以记为Δ＝(x-x',y-y')。首先对每个超像素所含像素的个数进行排序，从大到小，依次寻找距离该超像素距离最近的超像素，并根据相对位置获取公式(6)中的运动向量M。
根据公式(6)，对每个超像素块执行运动向量的平移实现对超像素的更新。此外，为了防止微小位移导致的交错及空洞缝隙，可以设定阈值T(其选取可以为一个固定的值，或者可以将运动向量进行排序，选择最大的15％进行运动补偿)用以限定运动补偿的超像素的数目。通过运动补偿可以将t时刻的运动信息有效地赋予ft-1，得到初步的补偿帧ft'。
步骤C：结合传感器数据获取最终的补偿帧。
经过运动补偿之后的初步补偿帧ft'已经具有了t时刻的运动信息，但是VR显示的一个重要特征在于显示内容可以随视场位置和角度进行变换，所以本发明的一个重要组成部分在于通过利用传感器数据对初步补偿帧进行视场调整。根据技术方案的第三步操作，考虑传感器和人类运动导致的视场变换可以建模为对显示帧的三类运动：平移，缩放，旋转，比如头盔的水平移动反应到视场中对应了反向的平移，头盔的旋转对应了视场中的旋转，视角的拉远和靠近对应了视场的缩放。这三类运动可以通过仿射变换来进行数学描述，针对ft'中的一个超像素G，其包含的像素为Ω，通过仿射矩阵Γ将超像素G'映射为G：
G'(Ω)＝G(Ω)Γ (8)
由于仿射变换包含了非线性变换，所以针对超像素进行操作可以有效地保留超像素内部的结构特征，降低失真。此外还可以一定程度的降低运算量。通过对每个像素进行仿射变换得到最终的补偿帧ft”，将补偿帧按时送完第二显示单元进行显示，即弥补了显示帧缺失等导致的帧率不足问题，提升VR视频显示的流畅性。
图5和图6分别为采用超像素分割方法对前一帧和当前帧进行超像素分割，获取的前后两帧的分割结果；图7为利用两帧之间的超像素匹配关系，估计运动矢量，并合成下一帧的初步合成结果；图8为结合当前的头盔运动信息，对初步合成结果中的超像素进行仿射变换获得的补偿帧。图9为利用传统的齐次变换矩阵处理当前帧中的每个像素，进而得到的补偿帧。对比二者产生的结果可以发现，图8具有清晰的结果，表明补偿帧并未带来过多的失真。此外，图8与实际帧也保持了较高的相似性，说明本发明所采用的基于超像素分割的方法对于补偿帧合成具有明显的作用。
本发明的图像显示方法及装置、计算机可读存储介质，通过超像素分割针对超像素进行处理而非逐像素进行处理，降低了处理对象的数目，有效地提升了处理速度和运算效率，而且超像素内的所有像素进行仿射变换的参数是相同的，极大程度地降低了失真导致的模糊；
进一步地，通过依据当前待显示帧和前一帧之间的超像素匹配关系估计前一帧中的超像素的运动信息，对前一帧中的超像素进行运动补偿，一定程度上解决了传统TW方法中的运动信息缺失导致的运动物体抖动问题。
本发明提出的方法可以以软件的形式应用于头盔显示端，降低由于刷新率不足引起的使用者眩晕问题，还可以通过IP固化的方式集成于VR显示芯片之中，通过生成补偿帧，缓解由于解码器能力不足导致的失帧问题。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (12)
1.一种图像显示方法，其特征在于，包括：
读取当前待显示帧，当当前待显示帧不能在预设的时间内完成渲染处理时，读取当前待显示帧的前一帧，对前一帧进行超像素分割；其中，超像素是针对像素级图像进行区域划分，区域内的像素具有相同或相似的信息；
根据获取的帧间视场变换信息，对前一帧中的超像素进行仿射变换得到补偿帧，并将补偿帧输出至显示单元进行显示。
2.根据权利要求1所述的图像显示方法，其特征在于，所述对前一帧进行超像素分割，包括：
利用简单线性迭代聚类算法、基于图论的方法或者基于熵率的超像素分割方法对所述前一帧进行超像素分割。
3.一种图像显示方法，其特征在于，包括：
读取当前待显示帧，当当前待显示帧不能在预设的时间内完成渲染处理时，读取当前待显示帧的前一帧，对当前待显示帧和前一帧分别进行超像素分割；其中，超像素是针对像素级图像进行区域划分，区域内的像素具有相同或相似的信息；
对超像素分割后的当前待显示帧和前一帧进行超像素匹配；
根据当前待显示帧和前一帧之间的超像素匹配关系，估计前一帧中的超像素的运动信息，使用运动信息对前一帧中的超像素进行运动补偿，得到中间补偿帧；
根据获取的帧间视场变换信息，对中间补偿帧的超像素进行仿射变换得到补偿帧，并将补偿帧输出至显示单元进行显示。
4.根据权利要求3所述的图像显示方法，其特征在于，在得到中间补偿帧之后，所述方法还包括：
根据所述当前待显示帧对应位置的数据，对所述中间补偿帧中的空洞进行填充。
5.根据权利要求3所述的图像显示方法，其特征在于，所述对超像素分割后的当前待显示帧和前一帧进行超像素匹配，具体包括：提取所述当前待显示帧和所述前一帧的超像素中的颜色直方图信息和角点特征信息，根据颜色直方图信息和角点特征信息进行匹配。
6.根据权利要求3所述的图像显示方法，其特征在于，所述对超像素分割后的当前待显示帧和前一帧进行超像素匹配，具体包括：提取所述当前待显示帧和所述前一帧的超像素中的颜色信息和位置信息，组成五维特征向量，根据五维特征向量信息进行匹配。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有图像显示的程序，所述图像显示的程序被处理器执行时实现如权利要求1至6中任一项所述的图像显示方法的步骤。
8.一种图像显示装置，其特征在于，包括第一读取单元、第一超像素分割单元、第一仿射变换单元和第一显示单元，其中：
第一读取单元，用于读取当前待显示帧，当当前待显示帧不能在预设的时间内完成渲染处理时，读取当前待显示帧的前一帧，并将前一帧输出至第一超像素分割单元；
第一超像素分割单元，用于对前一帧进行超像素分割，将超像素分割后的前一帧输出至第一仿射变换单元；其中，超像素是针对像素级图像进行区域划分，区域内的像素具有相同或相似的信息；
第一仿射变换单元，用于根据获取的帧间视场变换信息，对前一帧中的超像素进行仿射变换得到补偿帧，并将补偿帧输出至第一显示单元；
第一显示单元，用于接收并显示补偿帧。
9.一种图像显示装置，其特征在于，包括第二读取单元、第二超像素分割单元、第二超像素匹配单元、第二运动补偿单元、第二仿射变换单元和第二显示单元，其中：
第二读取单元，用于读取当前待显示帧，当当前待显示帧不能在预设的时间内完成渲染处理时，读取当前待显示帧的前一帧，并将当前待显示帧和前一帧输出至第二超像素分割单元；
第二超像素分割单元，用于对当前待显示帧和前一帧分别进行超像素分割，将超像素分割后的当前待显示帧和前一帧输出至第二超像素匹配单元；其中，超像素是针对像素级图像进行区域划分，区域内的像素具有相同或相似的信息；
第二超像素匹配单元，用于对超像素分割后的当前待显示帧和前一帧进行超像素匹配，将当前待显示帧和前一帧之间的超像素匹配关系输出至第二运动补偿单元；
第二运动补偿单元，用于根据当前待显示帧和前一帧之间的超像素匹配关系估计前一帧中的超像素的运动信息，使用运动信息对前一帧中的超像素进行运动补偿，得到中间补偿帧，将中间补偿帧输出至第二仿射变换单元；
第二仿射变换单元，用于根据获取的帧间视场变换信息，对中间补偿帧的超像素进行仿射变换得到补偿帧，并将补偿帧输出至第二显示单元；
第二显示单元，用于接收并显示补偿帧。
10.根据权利要求9所述的图像显示装置，其特征在于，所述第二运动补偿单元还用于：
根据所述当前待显示帧对应位置的数据，对所述中间补偿帧中的空洞进行填充。
11.根据权利要求9所述的图像显示装置，其特征在于，所述第二超像素匹配单元的对超像素分割后的当前待显示帧和前一帧进行超像素匹配，包括：提取所述当前待显示帧和所述前一帧的超像素中的颜色直方图信息和角点特征信息，根据颜色直方图信息和角点特征信息进行匹配。
12.根据权利要求9所述的图像显示装置，其特征在于，所述第二超像素匹配单元的对超像素分割后的当前待显示帧和前一帧进行超像素匹配，包括：提取所述当前待显示帧和所述前一帧的超像素中的颜色信息和位置信息，组成五维特征向量，根据五维特征向量信息进行匹配。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710942524.6A CN109658326B (zh) | 2017-10-11 | 2017-10-11 | 一种图像显示方法及装置、计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710942524.6A CN109658326B (zh) | 2017-10-11 | 2017-10-11 | 一种图像显示方法及装置、计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109658326A CN109658326A (zh) | 2019-04-19 |
| CN109658326B true CN109658326B (zh) | 2024-01-16 |
Family
ID=66108284
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710942524.6A Active CN109658326B (zh) | 2017-10-11 | 2017-10-11 | 一种图像显示方法及装置、计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109658326B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111752520A (zh) * | 2020-06-28 | 2020-10-09 | Oppo广东移动通信有限公司 | 图像显示方法、装置、电子设备和计算机可读存储介质 |
| CN113963339B (zh) * | 2021-09-02 | 2024-08-13 | 泰康保险集团股份有限公司 | 一种信息提取方法和装置 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9639943B1 (en) * | 2015-12-21 | 2017-05-02 | Intel Corporation | Scanning of a handheld object for 3-dimensional reconstruction |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8063992B2 (en) * | 2004-06-30 | 2011-11-22 | Koninklijke Philips Electronics N.V. | Dominant color extraction for ambient light derived from video content mapped through unrendered color space |
| CN102026013B (zh) * | 2010-12-18 | 2012-05-23 | 浙江大学 | 基于仿射变换的立体视频匹配方法 |
| CN102968782B (zh) * | 2012-09-12 | 2015-08-19 | 苏州大学 | 一种彩色图像中显著对象的自动抠取方法 |
| WO2015022208A1 (en) * | 2013-08-16 | 2015-02-19 | Thomson Licensing | Method and apparatus for generating temporally consistent superpixels |
| EP2874119A1 (en) * | 2013-11-19 | 2015-05-20 | Thomson Licensing | Method and apparatus for generating superpixels |
| EP2966616B1 (en) * | 2014-07-10 | 2018-06-13 | Thomson Licensing | Method and apparatus for tracking superpixels between related images |
| CN104240266A (zh) * | 2014-09-04 | 2014-12-24 | 成都理想境界科技有限公司 | 基于颜色-结构特征的目标对象跟踪方法 |
| CN106658170A (zh) * | 2016-12-20 | 2017-05-10 | 福州瑞芯微电子股份有限公司 | 一种降低虚拟现实延迟的方法和装置 |
-
2017
- 2017-10-11 CN CN201710942524.6A patent/CN109658326B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9639943B1 (en) * | 2015-12-21 | 2017-05-02 | Intel Corporation | Scanning of a handheld object for 3-dimensional reconstruction |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109658326A (zh) | 2019-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11024093B2 (en) | Live augmented reality guides | |
| US10713851B2 (en) | Live augmented reality using tracking | |
| CN110650368B (zh) | 视频处理方法、装置和电子设备 | |
| US10313651B2 (en) | Snapshots at predefined intervals or angles | |
| JP6514826B2 (ja) | ピクセル速度を用いた電子ディスプレイ安定化 | |
| US8102428B2 (en) | Content-aware video stabilization | |
| US20200334894A1 (en) | 3d motion effect from a 2d image | |
| US20170148222A1 (en) | Real-time mobile device capture and generation of art-styled ar/vr content | |
| US20170316605A1 (en) | Generation of three-dimensional imagery from a two-dimensional image using a depth map | |
| US10687046B2 (en) | Trajectory smoother for generating multi-view interactive digital media representations | |
| US10665024B2 (en) | Providing recording guidance in generating a multi-view interactive digital media representation | |
| US11880935B2 (en) | Multi-view neural human rendering | |
| WO2020009948A1 (en) | Providing recording guidance in generating a multi-view interactive digital media representation | |
| WO2019193696A1 (ja) | 基準画像生成装置、表示画像生成装置、基準画像生成方法、および表示画像生成方法 | |
| CN111612878A (zh) | 将静态照片制作成三维效果视频的方法及装置 | |
| Bleyer et al. | Temporally consistent disparity maps from uncalibrated stereo videos | |
| WO2024055211A1 (zh) | 基于NeRF多景层结合的三维视频重建方法及系统 | |
| CN109658326B (zh) | 一种图像显示方法及装置、计算机可读存储介质 | |
| Mori et al. | 3d pixmix: Image inpainting in 3d environments | |
| KR102558294B1 (ko) | 임의 시점 영상 생성 기술을 이용한 다이나믹 영상 촬영 장치 및 방법 | |
| US20240196065A1 (en) | Information processing apparatus and information processing method | |
| CN115841539A (zh) | 一种基于可视外壳的三维光场生成方法和装置 | |
| Seitner et al. | Trifocal system for high-quality inter-camera mapping and virtual view synthesis | |
| Lee et al. | FaceClone: Interactive facial shape and motion cloning system using multi-view images | |
| CN114463213A (zh) | 视频处理方法、视频处理装置、终端及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |