CN101937578A - 一种虚拟视点彩色图像绘制方法 - Google Patents

一种虚拟视点彩色图像绘制方法 Download PDF

Info

Publication number
CN101937578A
CN101937578A CN 201010275617 CN201010275617A CN101937578A CN 101937578 A CN101937578 A CN 101937578A CN 201010275617 CN201010275617 CN 201010275617 CN 201010275617 A CN201010275617 A CN 201010275617A CN 101937578 A CN101937578 A CN 101937578A
Authority
CN
China
Prior art keywords
image
reference view
pixel
depth
visual point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN 201010275617
Other languages
English (en)
Other versions
CN101937578B (zh
Inventor
邵枫
蒋刚毅
郁梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changshu Intellectual Property Operation Center Co ltd
Guangdong Gaohang Intellectual Property Operation Co ltd
Original Assignee
Ningbo University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningbo University filed Critical Ningbo University
Priority to CN2010102756176A priority Critical patent/CN101937578B/zh
Publication of CN101937578A publication Critical patent/CN101937578A/zh
Application granted granted Critical
Publication of CN101937578B publication Critical patent/CN101937578B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种虚拟视点彩色图像绘制方法，其根据不同区域的深度编码失真对虚拟视点图像绘制的影响，将深度图像分成核心内容区域和非核心内容区域，并设计两组不同滤波强度的双向滤波器分别对核心内容区域和非核心内容区域的各个像素点对应的场景深度值进行滤波处理，这样大大提高了绘制图像的主观质量；然后针对基于深度图像的绘制在图像融合过程中出现的颜色失真问题，从虚拟视点彩色图像中提取出与空洞无关的参考颜色信息，并设计不同的颜色校正方法分别对两组虚拟视点彩色图像进行颜色校正，以提高绘制图像的主观质量。

Description

一种虚拟视点彩色图像绘制方法
技术领域
本发明涉及一种三维视频技术，尤其是涉及一种虚拟视点彩色图像绘制方法。
背景技术
三维视频(Three-Dimensional Video，3DV)是一种先进的视觉模式，它使人们在屏幕上观看图像时富有立体感和沉浸感，可以满足人们从不同角度观看三维(3D)场景的需求。通常，三维视频系统如图1所示，主要包括视频捕获、视频编码、传输解码、虚拟视点绘制和交互显示等模块。
多视点视频加深度(multi-view video plus depth，MVD)是目前ISO/MPEG推荐采用的3D场景信息表示方式。MVD数据在多视点彩色图像基础上增加了对应视点的深度信息，深度信息的获取目前主要有两种基本途径：1)通过深度相机获取；2)通过算法从普通的二维(2D)视频中生成深度信息。基于深度图像的绘制(Depth Image BasedRendering，DIBR)是一种利用参考视点的彩色图像所对应的深度图像绘制生成虚拟视点图像的方法，其通过利用参考视点的彩色图像及该参考视点的彩色图像中的每个像素对应的深度信息来合成三维场景的虚拟视点图像。由于DIBR将场景的深度信息引入到虚拟视点图像绘制中，从而大大减少了虚拟视点图像绘制所需的参考视点的数目。
目前的DIBR方法着重于对算法进行优化(如：如何精确地填充空洞像素点，如何降低三维图像变换的时间等)来提升绘制的精度和速度，但对于载体图像(彩色图像和深度图像)对绘制质量的影响却缺乏相关的研究。通过对彩色图像和深度图像的特征分析，一方面，由于深度是用来表征场景几何的负载信息，深度信息的质量会对后期虚拟视点绘制产生影响，由于深度图像的编码失真，绘制的虚拟视点图像与真实图像之间会存在几何失真(也称为结构位置失真)，会在绘制的虚拟视点图像中产生新的空洞，并且深度图像的编码失真与几何失真不是简单的线性映射关系；另一方面，由于多视点成像会导致采集的多视点彩色图像的颜色不一致，使得DIBR方法图像融合过程中会出现颜色失真现象，严重影响绘制图像的主观质量。因此，如何消除深度图像的编码失真和彩色图像的颜色不一致对绘制的影响，是目前虚拟视点图像需要解决的问题。
发明内容
本发明所要解决的技术问题是提供一种能够有效地提高虚拟视点彩色图像质量的绘制方法。
本发明解决上述技术问题所采用的技术方案为：一种虚拟视点彩色图像绘制方法，其包括以下步骤：
①获取t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像，然后在编码端根据设定的编码预测结构分别对t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像进行编码，再将编码后的K幅彩色图像及其对应的K幅深度图像经网络传输给解码端；在解码端对编码后的K幅彩色图像及其对应的K幅深度图像进行解码，获得解码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像；
②将t时刻的第k个参考视点的彩色图像记为
Figure BDA0000025849970000021
将t时刻的第k个参考视点的深度图像记为
Figure BDA0000025849970000022
其中，i＝1，2，3分别表示YUV颜色空间的三个分量，YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V，(x，y)表示彩色图像或深度图像中像素点的坐标位置，1≤k≤K，k的初始值为1，
Figure BDA0000025849970000023
表示t时刻的第k个参考视点的彩色图像
Figure BDA0000025849970000024
中坐标位置为(x，y)的像素点的第i个分量的值，
Figure BDA0000025849970000025
表示t时刻的第k个参考视点的深度图像
Figure BDA0000025849970000026
中坐标位置为(x，y)的像素点的深度值；
③将t时刻的第k个参考视点的深度图像
Figure BDA0000025849970000027
从二维图像平面投影到三维场景平面，得到t时刻的第k个参考视点的深度图像
Figure BDA0000025849970000028
对应的场景深度集合，记为
Figure BDA0000025849970000029
Figure BDA00000258499700000210
其中，表示t时刻的第k个参考视点的深度图像
Figure BDA00000258499700000212
对应的场景深度集合
Figure BDA00000258499700000213
中坐标位置为(x，y)的像素点的场景深度值，Znear表示最小的场景深度值，Zfar表示最大的场景深度值；
④采用边缘检测算法对t时刻的第k个参考视点的深度图像
Figure BDA00000258499700000214
进行边缘检测，获得边缘分割图像，记为
Figure BDA0000025849970000031
其中，边缘分割图像
Figure BDA0000025849970000032
包括边缘区域；对t时刻的第k个参考视点的深度图像
Figure BDA0000025849970000033
进行前景和背景的分离处理，得到前背景分离图像，记为
Figure BDA0000025849970000034
其中，前背景分离图像
Figure BDA0000025849970000035
包括前景区域和背景区域；
⑤根据边缘分割图像
Figure BDA0000025849970000036
和前背景分离图像
Figure BDA0000025849970000037
将t时刻的第k个参考视点的深度图像
Figure BDA0000025849970000038
分割成核心内容区域和非核心内容区域；
⑥利用两组不同滤波强度的双向滤波器分别对场景深度集合
Figure BDA0000025849970000039
中与t时刻的第k个参考视点的深度图像的核心内容区域和非核心内容区域中的各个像素点对应的场景深度值进行滤波处理，得到滤波后的场景深度集合，记为
⑦将滤波后的场景深度集合
Figure BDA00000258499700000312
从三维场景平面重新投影到二维图像平面，得到t时刻的第k个参考视点的深度滤波图像，记为
Figure BDA00000258499700000313
其中，
Figure BDA00000258499700000315
表示t时刻的第k个参考视点的深度滤波图像
Figure BDA00000258499700000316
中坐标位置为(x，y)的像素点的深度值，
Figure BDA00000258499700000317
表示滤波后的场景深度集合
Figure BDA00000258499700000318
中坐标位置为(x，y)的像素点的场景深度值，Znear表示最小的场景深度值，Zfar表示最大的场景深度值；
⑧令k′＝k+1，k＝k′，重复执行步骤②至⑧直至得到t时刻的K个参考视点的K幅深度滤波图像，K幅深度滤波图像用集合表示为
Figure BDA00000258499700000319
⑨假定当前需绘制的是第k′个虚拟视点，从t时刻的K个参考视点中选择两个与第k′个虚拟视点最相邻的参考视点，假定这两个参考视点分别为第k个参考视点和第k+1个参考视点，将由第k个参考视点绘制得到的第k′个虚拟视点的虚拟视点图像记为
Figure BDA00000258499700000320
将由第k+1个参考视点绘制得到的第k′个虚拟视点的虚拟视点图像记为首先利用t时刻的第k个参考视点的深度图像
Figure BDA00000258499700000322
所提供的深度信息，然后采用三维图像变换方法逐像素点计算t时刻的第k个参考视点的彩色图像
Figure BDA0000025849970000041
中的各个像素点在当前需绘制的第k′个虚拟视点的虚拟视点图像中的坐标位置，得到t时刻的第k个参考视点的彩色图像中的各个像素点映射到当前需绘制的第k′个虚拟视点的虚拟视点图像
Figure BDA0000025849970000044
的坐标映射关系，再利用该坐标映射关系将t时刻的第k个参考视点的彩色图像
Figure BDA0000025849970000045
中的各个像素点映射到当前需绘制的第k′个虚拟视点的虚拟视点图像
Figure BDA0000025849970000046
中；
采用与由第k个参考视点绘制得到的虚拟视点图像
Figure BDA0000025849970000047
相同的方法，将第k+1个参考视点的彩色图像
Figure BDA0000025849970000048
中的各个像素点映射到需绘制的第k′个虚拟视点的虚拟视点图像
Figure BDA0000025849970000049
中；
⑩分别对由第k个参考视点绘制得到的虚拟视点图像和由第k+1个参考视点绘制得到的虚拟视点图像进行颜色传递操作，得到颜色校正后的由第k个参考视点绘制得到的虚拟视点图像和由第k+1个参考视点绘制得到的虚拟视点图像，分别记为和
Figure BDA00000258499700000414
采用图像融合方法融合颜色校正后的由第k个参考视点绘制得到的虚拟视点图像
Figure BDA00000258499700000415
和颜色校正后的由第k+1个参考视点绘制得到的虚拟视点图像
Figure BDA00000258499700000416
得到融合后的虚拟视点图像，记为
Figure BDA00000258499700000417
并对融合后的虚拟视点图像
Figure BDA00000258499700000418
中的空洞像素点进行填补，得到最终的虚拟视点图像，记为{ID，t，i(x，y)}；
Figure BDA00000258499700000419
重复执行步骤⑨至
Figure BDA00000258499700000420
直至得到K个虚拟视点的K幅虚拟视点图像。
所述的步骤①中设定的编码预测结构为HBP编码预测结构。
所述的步骤④中对t时刻的第k个参考视点的深度图像
Figure BDA00000258499700000421
进行前景和背景的分离处理的具体过程为：
④-1、采用k-mean算法对t时刻的第k个参考视点的深度图像进行聚类操作，得到初始的聚类中心；
④-2、根据初始的聚类中心，采用期望最大算法估计t时刻的第k个参考视点的深度图像
Figure BDA00000258499700000423
的高斯混合模型，记为Θ，
Figure BDA00000258499700000424
其中，j表示高斯混合模型Θ中的第j个高斯分量，j＝1代表前景，j＝2代表背景，ωj表示第j个高斯分量的加权系数，μj表示第j个高斯分量的均值，σj表示第j个高斯分量的标准差；
④-3、采用最大化概率密度函数分别获取t时刻的第k个参考视点的深度图像
Figure BDA0000025849970000051
中的各个像素点属于高斯混合模型Θ中的第j个高斯分量的分类标记，记为γ(x，y)，其中，1≤j≤2，γ(x，y)∈[1，2]，Γ表示高斯混合模型Θ中的所有高斯分量的集合，Γ＝{j|1≤j≤2}，
Figure BDA0000025849970000053
表示最大化概率密度函数，μi表示第i个高斯分量的均值，σi表示第i个高斯分量的标准差；
④-4、将t时刻的第k个参考视点的深度图像
Figure BDA0000025849970000054
中分类标记的值为1的所有像素点构成的区域作为t时刻的第k个参考视点的深度图像
Figure BDA0000025849970000055
的前景区域，将t时刻的第k个参考视点的深度图像
Figure BDA0000025849970000056
中分类标记的值为2的所有像素点构成的区域作为t时刻的第k个参考视点的深度图像
Figure BDA0000025849970000057
的背景区域，得到前背景分离图像
所述的步骤⑤中核心内容区域和非核心内容区域的分割过程为：
⑤-1、定义t时刻的第k个参考视点的深度图像
Figure BDA0000025849970000059
中当前正在处理的像素点为当前像素点；
⑤-2、判断当前像素点是否属于前背景分离图像
Figure BDA00000258499700000510
的前景区域或边缘分割图像
Figure BDA00000258499700000511
的边缘区域，如果是，则确定当前像素点为核心内容，否则，确定当前像素点为非核心内容；
⑤-3、将t时刻的第k个参考视点的深度图像
Figure BDA00000258499700000512
中下一个待处理的像素点作为当前像素点，然后执行步骤⑤-2和⑤-3，直至t时刻的第k个参考视点的深度图像
Figure BDA00000258499700000513
中所有像素点处理完毕，将所有核心内容构成的区域作为核心内容区域，将所有非核心内容构成的区域作为非核心内容区域。
所述的步骤⑥的具体过程为：
⑥-1、定义t时刻的第k个参考视点的深度图像
Figure BDA0000025849970000061
中当前正在处理的像素点为当前像素点，将当前像素点的坐标位置记为p，将当前像素点的邻域像素点的坐标位置记为q，定义双向滤波器为
Figure BDA0000025849970000062
其中，
Figure BDA0000025849970000063
Gσs(||p-q||)表示标准差为σs的高斯函数，
Figure BDA0000025849970000065
表示标准差为σr的高斯函数，
Figure BDA0000025849970000066
||p-q||表示坐标位置p和坐标位置q之间的欧拉距离，
Figure BDA0000025849970000067
Figure BDA0000025849970000068
表示t时刻的第k个参考视点的彩色图像
Figure BDA0000025849970000069
中坐标位置为p的像素点的第i个分量的值，
Figure BDA00000258499700000610
表示t时刻的第k个参考视点的彩色图像
Figure BDA00000258499700000611
中坐标位置为q的像素点的第i个分量的值，表示场景深度集合
Figure BDA00000258499700000613
中坐标位置为q的像素点的场景深度值，N(q)表示以坐标位置为q的像素点为中心的3×3邻域窗口；
⑥-2、判断当前像素点是否属于t时刻的第k个参考视点的深度图像
Figure BDA00000258499700000614
的核心内容区域，如果是，则执行步骤⑥-3，否则，执行步骤⑥-4；
⑥-3、采用标准差为(σs1，σr1)的双向滤波器对当前像素点的坐标位置为q的邻域像素点的场景深度值
Figure BDA00000258499700000615
进行滤波操作，得到当前像素点滤波后的场景深度值
Figure BDA00000258499700000616
Figure BDA00000258499700000617
其中，
Figure BDA00000258499700000618
Gσs1(||p-q||)表示标准差为σs1的高斯函数，
Figure BDA00000258499700000619
Figure BDA00000258499700000620
表示标准差为σr1的高斯函数，
⑥-4、采用标准差为(σs2，σr2)的双向滤波器对当前像素点的坐标位置为q的邻域像素点的场景深度值
Figure BDA0000025849970000072
进行滤波操作，得到当前像素点滤波后的场景深度值
Figure BDA0000025849970000073
Figure BDA0000025849970000074
其中，
Figure BDA0000025849970000075
Gσs2(||p-q||)表示标准差为σs2的高斯函数，
Figure BDA0000025849970000076
Figure BDA0000025849970000077
表示标准差为σr2的高斯函数，在此标准差(σs2，σr2)的滤波强度大于标准差(σs1，σr1)的滤波强度；
⑥-5、将滤波后的所有场景深度值构成的集合作为滤波后的场景深度集合
Figure BDA0000025849970000079
所述的(σs1，σr1)的大小为(1，5)，所述的(σs2，σr2)的大小为(10，15)。
所述的步骤⑩的具体过程为：
⑩-1、统计由第k个参考视点绘制得到的虚拟视点图像
Figure BDA00000258499700000710
中排除空洞像素点外的正确映射的像素点的总个数，记为num1，分别获取虚拟视点图像
Figure BDA00000258499700000711
的num1个像素点的第i个分量的均值和标准差
⑩-2、统计由第k+1个参考视点绘制得到的虚拟视点图像
Figure BDA00000258499700000714
中排除空洞像素点外的正确映射的像素点的总个数，记为mum2，分别获取虚拟视点图像
Figure BDA00000258499700000715
的num2个像素点的第i个分量的均值
Figure BDA00000258499700000716
和标准差
Figure BDA00000258499700000717
⑩-3、计算由第k个参考视点绘制得到的虚拟视点图像
Figure BDA00000258499700000718
和由第k+1个参考视点绘制得到的虚拟视点图像
Figure BDA00000258499700000719
的第i个分量的目标均值和目标标准差，记目标均值为
Figure BDA0000025849970000081
记目标标准差为
Figure BDA0000025849970000082
Figure BDA0000025849970000083
Figure BDA0000025849970000084
⑩-4、根据目标均值
Figure BDA0000025849970000085
和目标标准差
Figure BDA0000025849970000086
及由第k个参考视点绘制得到的虚拟视点图像
Figure BDA0000025849970000087
的第i个分量的均值
Figure BDA0000025849970000088
和标准差
Figure BDA0000025849970000089
通过
Figure BDA00000258499700000810
对由第k个参考视点绘制得到的虚拟视点图像
Figure BDA00000258499700000811
的各个分量进行颜色传递操作得到颜色校正后的虚拟视点图像
⑩-5、根据目标均值和目标标准差
Figure BDA00000258499700000814
及由第k+1个参考视点绘制得到的虚拟视点图像
Figure BDA00000258499700000815
的第i个分量的均值
Figure BDA00000258499700000816
和标准差
Figure BDA00000258499700000817
通过对由第k+1个参考视点绘制得到的虚拟视点图像
Figure BDA00000258499700000819
的各个分量进行颜色传递操作得到颜色校正后的虚拟视点图像
Figure BDA00000258499700000820
所述的步骤
Figure BDA00000258499700000821
中的图像融合方法的具体过程为：
Figure BDA00000258499700000822
-1、判断颜色校正后的由第k个参考视点绘制得到的虚拟视点图像
Figure BDA00000258499700000823
中坐标位置为(x，y)的像素点是否为空洞像素点，如果是，则继续执行，否则，
Figure BDA00000258499700000824
其中，
Figure BDA00000258499700000825
表示融合后的虚拟视点图像
Figure BDA00000258499700000826
中坐标位置为(x，y)的像素点的第i个分量的值，
Figure BDA00000258499700000827
表示颜色校正后的由第k个参考视点绘制得到的虚拟视点图像
Figure BDA00000258499700000828
中坐标位置为(x，y)的像素点的第i个分量的值；
Figure BDA00000258499700000829
-2、判断颜色校正后的由第k+1个参考视点绘制得到的虚拟视点图像
Figure BDA00000258499700000830
中坐标位置为(x，y)的像素点是否为空洞像素点，如果是，则确定融合后的虚拟视点图像中坐标位置为(x，y)的像素点为空洞像素点，否则，
Figure BDA0000025849970000092
其中，
Figure BDA0000025849970000093
表示颜色校正后的由第k+1个参考视点绘制得到的虚拟视点图像中坐标位置为(x，y)的像素点的第i个分量的值。
所述的步骤④中的边缘检测算法采用Susan边缘检测算法。
与现有技术相比，本发明的优点在于：
1)本发明方法根据不同区域的深度编码失真对虚拟视点图像绘制的影响，将深度图像分成核心内容区域和非核心内容区域，并设计两组不同滤波强度的双向滤波器分别对核心内容区域和非核心内容区域的各个像素点对应的场景深度值进行滤波处理，这样大大提高了绘制图像的主观质量。
2)本发明方法针对图像融合过程中出现的颜色失真问题，从虚拟视点彩色图像中提取出与空洞无关的参考颜色信息，并设计不同的颜色校正方法分别对两组虚拟视点彩色图像进行颜色校正，这样大大提高了绘制图像的主观质量。
附图说明
图1为典型的三维视频系统的基本组成框图；
图2为HBP编码预测结构的示意图；
图3a为“Ballet”三维视频测试集的第4个参考视点的一幅彩色图像；
图3b为“Ballet”三维视频测试集的第6个参考视点的一幅彩色图像；
图3c为图3a所示的彩色图像对应的深度图像；
图3d为图3b所示的彩色图像对应的深度图像；
图4a为“Breakdancers”三维视频测试集的第4个参考视点的一幅彩色图像；
图4b为“Breakdancers”三维视频测试集的第6个参考视点的一幅彩色图像；
图4c为图4a所示的彩色图像对应的深度图像；
图4d为图4c所示的彩色图像对应的深度图像；
图5a为“Ballet”三维视频测试集的第4个参考视点的深度图像的核心内容区域；
图5b为“Ballet”三维视频测试集的第6个参考视点的深度图像的核心内容区域；
图5c为“Breakdancers”三维视频测试集的第4个参考视点的深度图像的核心内容区域；
图5d为“Breakdancers”三维视频测试集的第6个参考视点的深度图像的核心内容区域；
图6a为“Ballet”三维视频测试集的第4个参考视点的深度图像；
图6b为“Ballet”三维视频测试集的第4个参考视点的滤波处理后的深度图像；
图6c为图6a与图6b的残差图像；
图7a为“Breakdancers”三维视频测试集的第4个参考视点的深度图像；
图7b为“Breakdancers”三维视频测试集的第4个参考视点的滤波处理后的深度图像；
图7c为图7a与图7b的残差图像；
图8a为“Ballet”三维视频测试集的第4个参考视点绘制得到的虚拟视点图像；
图8b为“Ballet”三维视频测试集的第6个参考视点绘制得到的虚拟视点图像；
图8c为“Breakdancers”三维视频测试集的第4个参考视点绘制得到的虚拟视点图像；
图8d为“Breakdancers”三维视频测试集的第6个参考视点绘制得到的虚拟视点图像；
图9a为“Ballet”三维视频测试集的第5个参考视点采用本发明方法得到的虚拟视点图像；
图9b为“Ballet”三维视频测试集的第5个参考视点不采用本发明方法得到的虚拟视点图像；
图9c为“Ballet”三维视频测试集的第5个参考视点采用本发明方法与不采用本发明方法得到的虚拟视点图像的局部细节放大图；
图10a为“Breakdancers”三维视频测试集的第5个参考视点采用本发明方法后得到的虚拟视点图像；
图10b为“Breakdancers”三维视频测试集的第5个参考视点不采用本发明方法得到的虚拟视点图像；
图10c为“Breakdancers”三维视频测试集的第5个参考视点采用本发明方法与不采用本发明方法得到的虚拟视点图像的局部细节放大图；
图11a为“Ballet”三维视频测试集的第5个参考视点不采用本发明颜色校正处理后得到的虚拟视点图像的局部细节放大图；
图11b为“Ballet”三维视频测试集的第5个参考视点采用本发明颜色校正处理后得到的虚拟视点图像的局部细节放大图；
图11c为“Breakdancers”三维视频测试集的第5个参考视点不采用本发明颜色校正处理后得到的虚拟视点图像的局部细节放大图；
图11d为“Breakdancers”三维视频测试集的第5个参考视点采用本发明颜色校正处理后得到的虚拟视点图像的局部细节放大图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种虚拟视点彩色图像绘制方法，其具体包括以下步骤：
①获取t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像，然后在编码端根据设定的编码预测结构分别对t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像进行编码，再将编码后的K幅彩色图像及其对应的K幅深度图像经网络传输给解码端。
在解码端对编码后的K幅彩色图像及其对应的K幅深度图像进行解码，获得解码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像。
在本实施中，设定的编码预测结构采用公知的HBP编码预测结构，如图2所示。
②将t时刻的第k个参考视点的彩色图像记为将t时刻的第k个参考视点的深度图像记为
Figure BDA0000025849970000112
其中，i＝1，2，3分别表示YUV颜色空间的三个分量，YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V，(x，y)表示彩色图像或深度图像中像素点的坐标位置，1≤k≤K，k的初始值为1，
Figure BDA0000025849970000113
表示t时刻的第k个参考视点的彩色图像
Figure BDA0000025849970000114
中坐标位置为(x，y)的像素点的第i个分量的值，表示t时刻的第k个参考视点的深度图像
Figure BDA0000025849970000116
中坐标位置为(x，y)的像素点的深度值。
在此，采用美国微软公司提供的三维视频测试序列“Ballet”和“Breakdancers”，这两个三维视频测试序列均包括8个参考视点的8幅彩色图像和对应的8幅深度图像，各幅彩色图像和深度图像的分辨率都为1024×768，帧率为15帧每秒，即15fps，这两个三维视频测试序列是ISO/MPEG所推荐的标准测试序列。图3a和图3b分别给出了“Ballet”的第4个和第6个参考视点的彩色图像；图3c和图3d分别给出了“Ballet”的第4个和第6个参考视点的彩色图像所对应的深度图像；图4a和图4b分别给出了“Breakdancers”的第4个和第6个参考视点的彩色图像；图4c和图4d分别给出了“Breakdancers”的第4个和第6个参考视点的彩色图像所对应的深度图像。
③由于深度图像的深度值范围为[0，255]，不同的场景深度由于被量化成整数型的深度值而产生一定的量化误差，为了避免这一量化误差对后期虚拟视点图像绘制的影响，将t时刻的第k个参考视点的深度图像
Figure BDA0000025849970000117
从二维图像平面投影到三维场景平面，得到t时刻的第k个参考视点的深度图像
Figure BDA0000025849970000121
对应的场景深度集合，记为
Figure BDA0000025849970000123
其中，表示t时刻的第k个参考视点的深度图像
Figure BDA0000025849970000125
对应的场景深度集合
Figure BDA0000025849970000126
中坐标位置为(x，y)的像素点的场景深度值，Znear表示最小的场景深度值，Zfar表示最大的场景深度值。
在本实施例中，“Ballet”三维视频测试集的Znear和Zfar分别为42和130，“Breakdancers”三维视频测试集的Znear和Zfar分别为44和120。
④根据深度图像的失真对绘制的影响分析结果，深度图像的边缘失真对后期虚拟视点图像绘制的影响最大，可知边缘是需要重点保护的区域，并且根据人眼对视觉注意力的敏感度分析，前景对象比背景对象更容易受到关注，人眼对前景的失真也较为敏感，前景也是需要重点保护的区域，因此本发明将深度图像的边缘区域和前景区域作为深度图像的核心内容区域。采用公知的Susan边缘检测算法对t时刻的第k个参考视点的深度图像
Figure BDA0000025849970000127
进行边缘检测，获得边缘分割图像，记为
Figure BDA0000025849970000128
其中，边缘分割图像
Figure BDA0000025849970000129
包括边缘区域；对t时刻的第k个参考视点的深度图像进行前景和背景的分离处理，得到前背景分离图像，记为
Figure BDA00000258499700001211
其中，前背景分离图像
Figure BDA00000258499700001212
包括前景区域和背景区域。
在此具体实施例中，对t时刻的第k个参考视点的深度图像
Figure BDA00000258499700001213
进行前景和背景的分离处理的具体过程为：
④-1、采用公知的k-mean算法对t时刻的第k个参考视点的深度图像
Figure BDA00000258499700001214
进行聚类操作，得到初始的聚类中心；
④-2、根据初始的聚类中心，采用期望最大(Expectation-Maximization)算法估计t时刻的第k个参考视点的深度图像
Figure BDA00000258499700001215
的高斯混合模型，记为Θ，
Figure BDA00000258499700001216
其中，j表示高斯混合模型Θ中的第j个高斯分量，j＝1代表前景，j＝2代表背景，ωj表示第j个高斯分量的加权系数，μj表示第j个高斯分量的均值，σj表示第j个高斯分量的标准差；
④-3、采用最大化概率密度函数分别获取t时刻的第k个参考视点的深度图像
Figure BDA0000025849970000131
中的各个像素点属于高斯混合模型Θ中的第j个高斯分量的分类标记，记为γ(x，y)，
Figure BDA0000025849970000132
其中，1≤j≤2，γ(x，y)∈[1，2]，Γ表示高斯混合模型Θ中的所有高斯分量的集合，Γ＝{j|1≤j≤2}，
Figure BDA0000025849970000133
表示最大化概率密度函数，μi表示第i个高斯分量的均值，σi表示第i个高斯分量的标准差；
④-4、将t时刻的第k个参考视点的深度图像
Figure BDA0000025849970000134
中分类标记的值为1的所有像素点构成的区域作为t时刻的第k个参考视点的深度图像
Figure BDA0000025849970000135
的前景区域，将t时刻的第k个参考视点的深度图像中分类标记的值为2的所有像素点构成的区域作为t时刻的第k个参考视点的深度图像
Figure BDA0000025849970000137
的背景区域，得到前背景分离图像
Figure BDA0000025849970000138
⑤根据边缘分割图像
Figure BDA0000025849970000139
和前背景分离图像
Figure BDA00000258499700001310
将t时刻的第k个参考视点的深度图像
Figure BDA00000258499700001311
分割成核心内容区域和非核心内容区域。
在此具体实施例中，核心内容区域和非核心内容区域的分割过程为：
⑤-1、定义t时刻的第k个参考视点的深度图像
Figure BDA00000258499700001312
中当前正在处理的像素点为当前像素点；
⑤-2、判断当前像素点是否属于前背景分离图像
Figure BDA00000258499700001313
的前景区域或边缘分割图像
Figure BDA00000258499700001314
的边缘区域，如果是，则确定当前像素点为核心内容，否则，确定当前像素点为非核心内容；
⑤-3、将t时刻的第k个参考视点的深度图像
Figure BDA00000258499700001315
中下一个待处理的像素点作为当前像素点，然后执行步骤⑤-2和⑤-3，直至t时刻的第k个参考视点的深度图像
Figure BDA00000258499700001316
中所有像素点处理完毕，将所有核心内容构成的区域作为核心内容区域，将所有非核心内容构成的区域作为非核心内容区域。
分别对“Ballet”和“Breakdancers”三维视频测试集的第4个参考视点和第6个参考视点的深度图像进行边缘检测及前景和背景分离处理实验，图5a和图5b分别给出了“Ballet”的第4个和第6个参考视点的深度图像的核心内容区域，图5c和图5d分别给出了“Breakdancers”的第4个和第6个参考视点的深度图像的核心内容区域，从图5a至图5d可以看出，采用本发明提取的核心内容区域基本符合人眼视觉的特性。
⑥利用两组不同滤波强度的双向滤波器分别对场景深度集合
Figure BDA0000025849970000141
中与t时刻的第k个参考视点的深度图像
Figure BDA0000025849970000142
的核心内容区域和非核心内容区域中的各个像素点对应的场景深度值进行滤波处理，得到滤波后的场景深度集合，记为
由于深度图像整体非常平滑，对深度图像进行滤波处理，要求在平滑深度信息的同时能很好地保留边缘轮廓信息，双向滤波器(bilateral filter)是一种非线性滤波器，能有效地将噪声平滑化且又可以把重要的边界保留，其主要原理是同时在空间域(spatialdomain)和强度域(intensity domain)做高斯平滑化(Gaussian smoothing)处理。由于深度图像与彩色图像之间存在较强的相关性，深度图像与彩色图像的运动对象及运动对象边界是一致的，但彩色图像包含更加丰富的纹理信息，以彩色图像作为强度域信息来辅助深度图像的滤波，有利于保留重要的运动对象边界信息。通过分析，本发明提出的滤波处理的具体过程为：
⑥-1、定义t时刻的第k个参考视点的深度图像
Figure BDA0000025849970000144
中当前正在处理的像素点为当前像素点，将当前像素点的坐标位置记为p，将当前像素点的邻域像素点的坐标位置记为q，定义双向滤波器为
Figure BDA0000025849970000145
其中，
Figure BDA0000025849970000146
Gσs(||-q||)表示标准差为σs的高斯函数，
Figure BDA0000025849970000147
表示标准差为σr的高斯函数，
Figure BDA0000025849970000149
||p-q||表示坐标位置p和坐标位置q之间的欧拉距离，
Figure BDA00000258499700001410
Figure BDA00000258499700001411
表示t时刻的第k个参考视点的彩色图像
Figure BDA0000025849970000151
中坐标位置为p的像素点的第i个分量的值，表示t时刻的第k个参考视点的彩色图像
Figure BDA0000025849970000153
中坐标位置为q的像素点的第i个分量的值，
Figure BDA0000025849970000154
表示场景深度集合
Figure BDA0000025849970000155
中坐标位置为q的像素点的场景深度值，N(q)表示以坐标位置为q的像素点为中心的3×3邻域窗口；
⑥-2、判断当前像素点是否属于t时刻的第k个参考视点的深度图像
Figure BDA0000025849970000156
的核心内容区域，如果是，则执行步骤⑥-3，否则，执行步骤⑥-4；
⑥-3、采用标准差为(σs1，σr1)的双向滤波器对当前像素点的坐标位置为q的邻域像素点的场景深度值进行滤波操作，得到当前像素点p的滤波后的场景深度值
Figure BDA0000025849970000158
Figure BDA0000025849970000159
其中，
Figure BDA00000258499700001510
Gσs1(||p-q||)表示标准差为σs1的高斯函数，
Figure BDA00000258499700001511
表示标准差为σr1的高斯函数，
Figure BDA00000258499700001513
在此，标准差(σs1，σr1)采用一组滤波强度较小的标准差，如(σs1，σr1)的大小可为(1，5)；
⑥-4、采用标准差为(σs2，σr2)的双向滤波器对当前像素点的坐标位置为q的邻域像素点的场景深度值
Figure BDA00000258499700001514
进行滤波操作，得到当前像素点p的滤波后的场景深度值
Figure BDA00000258499700001515
Figure BDA00000258499700001516
其中，
Figure BDA00000258499700001517
Gσs2(||p-q||)表示标准差为σs2的高斯函数，
Figure BDA00000258499700001518
Figure BDA00000258499700001519
表示标准差为σr2的高斯函数，
Figure BDA00000258499700001520
标准差(σs2，σr2)采用一组滤波强度较大的标准差，如(σs2，σr2)的大小可为(10，15)；
⑥-5、将滤波后的所有场景深度值构成的集合作为滤波后的场景深度集合
Figure BDA0000025849970000161
对“Ballet”和“Breakdancers”三维视频测试集的深度图像的核心内容区域和非核心内容区域中各个像素点对应的场景深度值进行滤波处理实验，图6a和图6b分别给出了“Ballet”的第4个参考视点的深度图像和滤波处理后的深度图像，图6c给出了图6a与图6b的残差图像；图7a和图7b分别给出了“Breakdancers”的第4个参考视点的深度图像和滤波处理后的深度图像，图7c给出了图7a与图7b的残差图像，从图6b和图7b可以看出，采用本发明得到滤波处理后的深度图像，保持了深度图像的重要的几何特征，产生了令人满意的锐利的边缘和平滑的轮廓。
⑦将滤波后的场景深度集合
Figure BDA0000025849970000162
从三维场景平面重新投影到二维图像平面，得到t时刻的第k个参考视点的深度滤波图像，记为
Figure BDA0000025849970000163
Figure BDA0000025849970000164
其中，
Figure BDA0000025849970000165
表示t时刻的第k个参考视点的深度滤波图像中坐标位置为(x，y)的像素点的深度值，
Figure BDA0000025849970000167
表示滤波后的场景深度集合中坐标位置为(x，y)的像素点的场景深度值，Znear表示最小的场景深度值，Zfar表示最大的场景深度值。
⑧令k′＝k+1，k＝k′，重复执行步骤②至⑧直至得到t时刻的K个参考视点的K幅深度滤波图像，K幅深度滤波图像用集合表示为
Figure BDA0000025849970000169
⑨假定当前需绘制的是第k′个虚拟视点，从t时刻的K个参考视点中选择两个与第k′个虚拟视点最相邻的参考视点，假定这两个参考视点分别为第k个参考视点和第k+1个参考视点，将由第k个参考视点绘制得到的第k′个虚拟视点的虚拟视点图像记为
Figure BDA00000258499700001610
将由第k+1个参考视点绘制得到的第k′个虚拟视点的虚拟视点图像记为首先利用t时刻的第k个参考视点的深度图像
Figure BDA00000258499700001612
所提供的深度信息，然后采用公知的三维图像变换方法逐像素点计算t时刻的第k个参考视点的彩色图像
Figure BDA00000258499700001613
中的各个像素点在当前需绘制的第k′个虚拟视点的虚拟视点图像
Figure BDA0000025849970000171
中的坐标位置，得到t时刻的第k个参考视点的彩色图像
Figure BDA0000025849970000172
中的各个像素点映射到当前需绘制的第k′个虚拟视点的虚拟视点图像
Figure BDA0000025849970000173
的坐标映射关系，再利用该坐标映射关系将t时刻的第k个参考视点的彩色图像
Figure BDA0000025849970000174
中的各个像素点映射到当前需绘制的第k′个虚拟视点的虚拟视点图像
Figure BDA0000025849970000175
中。采用与由第k个参考视点绘制得到的虚拟视点图像相同的方法，将第k+1个参考视点的彩色图像
Figure BDA0000025849970000177
中的各个像素点映射到需绘制的第k′个虚拟视点的虚拟视点图像
Figure BDA0000025849970000178
中。
在本实施例中，设定当前需绘制的虚拟视点为第5个虚拟视点，图8a给出了“Ballet”的第4个参考视点绘制得到的虚拟视点图像，图8b给出了“Ballet”的第6个参考视点绘制得到的虚拟视点图像，图8c给出了“Breakdancers”的第4个参考视点绘制得到的虚拟视点图像，图8d给出了“Breakdancers”的第6个参考视点绘制得到的虚拟视点图像，从图8a至图8d可以看出，采用基于深度图像的绘制(Depth Image Based Rendering，DIBR)方法绘制得到的虚拟视点图像会有较多的空洞像素点，需要采用图像融合和空洞填补方法进行进一步的处理。
⑩分别对由第k个参考视点绘制得到的虚拟视点图像
Figure BDA0000025849970000179
和由第k+1个参考视点绘制得到的虚拟视点图像
Figure BDA00000258499700001710
进行颜色传递操作，得到颜色校正后的由第k个参考视点绘制得到的虚拟视点图像和由第k+1个参考视点绘制得到的虚拟视点图像，分别记为和
Figure BDA00000258499700001712
根据多视点成像的特点，同一像素点在不同的虚拟视点图像的颜色会完全不一致，导致在图像融合过程会出现颜色失真现象。由于虚拟视点图像包含较多的空洞像素点，对虚拟视点图像进行颜色校正的关键是提取与空洞无关的参考颜色信息。通过分析，本发明提出的对虚拟视点图像进行颜色校正的具体过程为：
⑩-1、统计由第k个参考视点绘制得到的虚拟视点图像
Figure BDA00000258499700001713
中排除空洞像素点外的正确映射的像素点的总个数，记为num1，分别获取虚拟视点图像
Figure BDA00000258499700001714
的num1个像素点的第i个分量的均值
Figure BDA00000258499700001715
和标准差
⑩-2、统计由第k+1个参考视点绘制得到的虚拟视点图像
Figure BDA00000258499700001717
中排除空洞像素点外的正确映射的像素点的总个数，记为num2，分别获取虚拟视点图像
Figure BDA0000025849970000181
的num2个像素点的第i个分量的均值
Figure BDA0000025849970000182
和标准差
Figure BDA0000025849970000183
⑩-3、计算由第k个参考视点绘制得到的虚拟视点图像
Figure BDA0000025849970000184
和由第k+1个参考视点绘制得到的虚拟视点图像
Figure BDA0000025849970000185
的第i个分量的目标均值和目标标准差，记目标均值为
Figure BDA0000025849970000186
记目标标准差为
Figure BDA0000025849970000187
Figure BDA0000025849970000188
Figure BDA0000025849970000189
⑩-4、根据目标均值
Figure BDA00000258499700001810
和目标标准差及由第k个参考视点绘制得到的虚拟视点图像
Figure BDA00000258499700001812
的第i个分量的均值
Figure BDA00000258499700001813
和标准差
Figure BDA00000258499700001814
通过
Figure BDA00000258499700001815
对由第k个参考视点绘制得到的虚拟视点图像
Figure BDA00000258499700001816
的各个分量进行颜色传递操作得到颜色校正后的虚拟视点图像
Figure BDA00000258499700001817
⑩-5、根据目标均值
Figure BDA00000258499700001818
和目标标准差
Figure BDA00000258499700001819
及由第k+1个参考视点绘制得到的虚拟视点图像
Figure BDA00000258499700001820
的第i个分量的均值
Figure BDA00000258499700001821
和标准差
Figure BDA00000258499700001822
通过
Figure BDA00000258499700001823
对由第k+1个参考视点绘制得到的虚拟视点图像
Figure BDA00000258499700001824
的各个分量进行颜色传递操作得到颜色校正后的虚拟视点图像
Figure BDA00000258499700001825
Figure BDA00000258499700001826
采用图像融合方法融合颜色校正后的由第k个参考视点绘制得到的虚拟视点图像和颜色校正后的由第k+1个参考视点绘制得到的虚拟视点图像
Figure BDA00000258499700001828
得到融合后的虚拟视点图像，记为
Figure BDA00000258499700001829
并对融合后的虚拟视点图像
Figure BDA00000258499700001830
中的空洞像素点进行填补，得到最终的虚拟视点图像，记为{ID，t，i(x，y)}。
在此具体实施例中，图像融合方法的具体过程为：
Figure BDA0000025849970000191
-1、判断颜色校正后的由第k个参考视点绘制得到的虚拟视点图像
Figure BDA0000025849970000192
中坐标位置为(x，y)的像素点是否为空洞像素点，如果是，则继续执行，否则，
Figure BDA0000025849970000193
其中，
Figure BDA0000025849970000194
表示融合后的虚拟视点图像
Figure BDA0000025849970000195
中坐标位置为(x，y)的像素点的第i个分量的值，
Figure BDA0000025849970000196
表示颜色校正后的由第k个参考视点绘制得到的虚拟视点图像
Figure BDA0000025849970000197
中坐标位置为(x，y)的像素点的第i个分量的值；
Figure BDA0000025849970000198
-2、判断颜色校正后的由第k+1个参考视点绘制得到的虚拟视点图像
Figure BDA0000025849970000199
中坐标位置为(x，y)的像素点是否为空洞像素点，如果是，则确定融合后的虚拟视点图像
Figure BDA00000258499700001910
中坐标位置为(x，y)的像素点为空洞像素点，否则，
Figure BDA00000258499700001911
其中，
Figure BDA00000258499700001912
表示颜色校正后的由第k+1个参考视点绘制得到的虚拟视点图像
Figure BDA00000258499700001913
中坐标位置为(x，y)的像素点的第i个分量的值。
Figure BDA00000258499700001914
重复执行步骤⑨至
Figure BDA00000258499700001915
直至得到K个虚拟视点的K幅虚拟视点图像。
以下就利用本发明方法对“Ballet”、“Breakdancers”三维视频测试集进行虚拟视点图像绘制的主观和客观性能进行比较。
将采用本发明方法得到的虚拟视点图像，与不采用本发明方法得到的虚拟视点图像进行比较。图9a和图9b分别给出了“Ballet”三维视频测试集的第5个参考视点采用本发明得到的虚拟视点图像和不采用本发明方法得到的虚拟视点图像，图9c为图9a和图9b的局部细节放大图；图10a和图10b分别给出了“Breakdancers”三维视频测试集的第5个参考视点采用本发明方法得到的虚拟视点图像和不采用本发明方法得到的虚拟视点图像，图10c为图10a和图10b的局部细节放大图。从图9a至图10c可以看出，采用本发明方法得到的虚拟视点图像能够保持更好的对象轮廓信息，从而降低了由于深度图像的失真引起的映射过程中产生的背景对前景的覆盖，并且对背景区域进行强度较大的滤波平滑处理，能够有效地消除绘制的虚拟视点图像中的条纹噪声。
将采用本发明颜色校正处理与不采用本发明颜色校正处理后得到的虚拟视点图像进行比较。图11a给出了“Ballet”三维视频测试集的第5个参考视点不采用本发明颜色校正处理后得到的虚拟视点彩色图像的局部细节放大图，图11b给出了“Ballet”三维视频测试集的第5个参考视点采用本发明颜色校正处理后得到的虚拟视点彩色图像的局部细节放大图，图11c给出了“Breakdancers”三维视频测试集的第5个参考视点不采用本发明颜色校正处理后得到的虚拟视点彩色图像的局部细节放大图，图11d给出了“Breakdancers”三维视频测试集的第5个参考视点采用本发明颜色校正处理后得到的虚拟视点彩色图像的局部细节放大图，从图11a和图11c可以看出，图像融合过程中出现的颜色失真主要出现在虚拟视点图像的空洞像素点位置，采用本发明的颜色校正处理后得到的虚拟视点图像能够有效地消除颜色失真问题，如图11b和图11d所示，使得最终的虚拟视点图像质量更加自然。
使用本发明方法对不同编码质量的深度图像进行处理，与不采用本发明方法的绘制性能进行比较，比较结果如表1所示，深度图像的量化步长baseQP＝22、27、32、37，求得的虚拟视点图像与原始未压缩的彩色图像的峰值信噪比(Peak Signal to Noise Ratio，PSNR)。从表1中可以看出，对“Ballet”三维视频测试序列采用本发明方法后，平均PSNR能够提高0.30dB以上，对“Breakdancers”三维视频测试序列采用本发明方法后，平均PSNR也能提高0.30dB以上，足以说明本发明方法是有效可行的。
表1采用本发明后处理与不采用本发明后处理的绘制性能比较

Claims (9)

1.一种虚拟视点彩色图像绘制方法，其特征在于包括以下步骤：
①获取t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像，然后在编码端根据设定的编码预测结构分别对t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像进行编码，再将编码后的K幅彩色图像及其对应的K幅深度图像经网络传输给解码端；在解码端对编码后的K幅彩色图像及其对应的K幅深度图像进行解码，获得解码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像；
②将t时刻的第k个参考视点的彩色图像记为将t时刻的第k个参考视点的深度图像记为
Figure FDA0000025849960000012
其中，i＝1，2，3分别表示YUV颜色空间的三个分量，YUV颜色空间的第1个分量为亮度分量并记为Y、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V，(x，y)表示彩色图像或深度图像中像素点的坐标位置，1≤k≤K，k的初始值为1，
Figure FDA0000025849960000013
表示t时刻的第k个参考视点的彩色图像
Figure FDA0000025849960000014
中坐标位置为(x，y)的像素点的第i个分量的值，
Figure FDA0000025849960000015
表示t时刻的第k个参考视点的深度图像
Figure FDA0000025849960000016
中坐标位置为(x，y)的像素点的深度值；
③将t时刻的第k个参考视点的深度图像
Figure FDA0000025849960000017
从二维图像平面投影到三维场景平面，得到t时刻的第k个参考视点的深度图像对应的场景深度集合，记为
Figure FDA0000025849960000019
Figure FDA00000258499600000110
其中，表示t时刻的第k个参考视点的深度图像
Figure FDA00000258499600000112
对应的场景深度集合
Figure FDA00000258499600000113
中坐标位置为(x，y)的像素点的场景深度值，Znear表示最小的场景深度值，Zfar表示最大的场景深度值；
④采用边缘检测算法对t时刻的第k个参考视点的深度图像
Figure FDA00000258499600000114
进行边缘检测，获得边缘分割图像，记为
Figure FDA00000258499600000115
其中，边缘分割图像
Figure FDA00000258499600000116
包括边缘区域；对t时刻的第k个参考视点的深度图像
Figure FDA0000025849960000021
进行前景和背景的分离处理，得到前背景分离图像，记为
Figure FDA0000025849960000022
其中，前背景分离图像
Figure FDA0000025849960000023
包括前景区域和背景区域；
⑤根据边缘分割图像
Figure FDA0000025849960000024
和前背景分离图像将t时刻的第k个参考视点的深度图像
Figure FDA0000025849960000026
分割成核心内容区域和非核心内容区域；
⑥利用两组不同滤波强度的双向滤波器分别对场景深度集合
Figure FDA0000025849960000027
中与t时刻的第k个参考视点的深度图像
Figure FDA0000025849960000028
的核心内容区域和非核心内容区域中的各个像素点对应的场景深度值进行滤波处理，得到滤波后的场景深度集合，记为
⑦将滤波后的场景深度集合从三维场景平面重新投影到二维图像平面，得到t时刻的第k个参考视点的深度滤波图像，记为
Figure FDA00000258499600000211
Figure FDA00000258499600000212
其中，
Figure FDA00000258499600000213
表示t时刻的第k个参考视点的深度滤波图像
Figure FDA00000258499600000214
中坐标位置为(x，y)的像素点的深度值，
Figure FDA00000258499600000215
表示滤波后的场景深度集合中坐标位置为(x，y)的像素点的场景深度值，Znear表示最小的场景深度值，Zfar表示最大的场景深度值；
⑧令k′＝k+1，k＝k′，重复执行步骤②至⑧直至得到t时刻的K个参考视点的K幅深度滤波图像，K幅深度滤波图像用集合表示为
⑨假定当前需绘制的是第k′个虚拟视点，从t时刻的K个参考视点中选择两个与第k′个虚拟视点最相邻的参考视点，假定这两个参考视点分别为第k个参考视点和第k+1个参考视点，将由第k个参考视点绘制得到的第k′个虚拟视点的虚拟视点图像记为
Figure FDA00000258499600000218
将由第k+1个参考视点绘制得到的第k′个虚拟视点的虚拟视点图像记为
Figure FDA00000258499600000219
首先利用t时刻的第k个参考视点的深度图像
Figure FDA00000258499600000220
所提供的深度信息，然后采用三维图像变换方法逐像素点计算t时刻的第k个参考视点的彩色图像
Figure FDA00000258499600000221
中的各个像素点在当前需绘制的第k′个虚拟视点的虚拟视点图像
Figure FDA0000025849960000031
中的坐标位置，得到t时刻的第k个参考视点的彩色图像
Figure FDA0000025849960000032
中的各个像素点映射到当前需绘制的第k′个虚拟视点的虚拟视点图像
Figure FDA0000025849960000033
的坐标映射关系，再利用该坐标映射关系将t时刻的第k个参考视点的彩色图像中的各个像素点映射到当前需绘制的第k′个虚拟视点的虚拟视点图像中；
采用与由第k个参考视点绘制得到的虚拟视点图像
Figure FDA0000025849960000036
相同的方法，将第k+1个参考视点的彩色图像
Figure FDA0000025849960000037
中的各个像素点映射到需绘制的第k′个虚拟视点的虚拟视点图像
Figure FDA0000025849960000038
中；
⑩分别对由第k个参考视点绘制得到的虚拟视点图像
Figure FDA0000025849960000039
和由第k+1个参考视点绘制得到的虚拟视点图像
Figure FDA00000258499600000310
进行颜色传递操作，得到颜色校正后的由第k个参考视点绘制得到的虚拟视点图像和由第k+1个参考视点绘制得到的虚拟视点图像，分别记为
Figure FDA00000258499600000311
和
Figure FDA00000258499600000312
Figure FDA00000258499600000313
采用图像融合方法融合颜色校正后的由第k个参考视点绘制得到的虚拟视点图像
Figure FDA00000258499600000314
和颜色校正后的由第k+1个参考视点绘制得到的虚拟视点图像
Figure FDA00000258499600000315
得到融合后的虚拟视点图像，记为
Figure FDA00000258499600000316
并对融合后的虚拟视点图像
Figure FDA00000258499600000317
中的空洞像素点进行填补，得到最终的虚拟视点图像，记为{ID，t，i(x，y)}；
重复执行步骤⑨至
Figure FDA00000258499600000319
直至得到K个虚拟视点的K幅虚拟视点图像。
2.根据权利要求1所述的一种虚拟视点彩色图像绘制方法，其特征在于所述的步骤①中设定的编码预测结构为HBP编码预测结构。
3.根据权利要求1或2所述的一种虚拟视点彩色图像绘制方法，其特征在于所述的步骤④中对t时刻的第k个参考视点的深度图像
Figure FDA00000258499600000320
进行前景和背景的分离处理的具体过程为：
④-1、采用k-mean算法对t时刻的第k个参考视点的深度图像
Figure FDA00000258499600000321
进行聚类操作，得到初始的聚类中心；
④-2、根据初始的聚类中心，采用期望最大算法估计t时刻的第k个参考视点的深度图像
Figure FDA0000025849960000041
的高斯混合模型，记为Θ，
Figure FDA0000025849960000042
其中，j表示高斯混合模型Θ中的第j个高斯分量，j＝1代表前景，j＝2代表背景，ωj表示第j个高斯分量的加权系数，μj表示第j个高斯分量的均值，σj表示第j个高斯分量的标准差；
④-3、采用最大化概率密度函数分别获取t时刻的第k个参考视点的深度图像
Figure FDA0000025849960000043
中的各个像素点属于高斯混合模型Θ中的第j个高斯分量的分类标记，记为γ(x，y)，其中，1≤j≤2，γ(x，y)∈[1，2]，Γ表示高斯混合模型Θ中的所有高斯分量的集合，Γ＝{j|1≤j≤2}，
Figure FDA0000025849960000045
表示最大化概率密度函数，μi表示第i个高斯分量的均值，σi表示第i个高斯分量的标准差；
④-4、将t时刻的第k个参考视点的深度图像
Figure FDA0000025849960000046
中分类标记的值为1的所有像素点构成的区域作为t时刻的第k个参考视点的深度图像
Figure FDA0000025849960000047
的前景区域，将t时刻的第k个参考视点的深度图像
Figure FDA0000025849960000048
中分类标记的值为2的所有像素点构成的区域作为t时刻的第k个参考视点的深度图像
Figure FDA0000025849960000049
的背景区域，得到前背景分离图像
4.根据权利要求3所述的一种虚拟视点彩色图像绘制方法，其特征在于所述的步骤⑤中核心内容区域和非核心内容区域的分割过程为：
⑤-1、定义t时刻的第k个参考视点的深度图像
Figure FDA00000258499600000411
中当前正在处理的像素点为当前像素点；
⑤-2、判断当前像素点是否属于前背景分离图像
Figure FDA00000258499600000412
的前景区域或边缘分割图像
Figure FDA00000258499600000413
的边缘区域，如果是，则确定当前像素点为核心内容，否则，确定当前像素点为非核心内容；
⑤-3、将t时刻的第k个参考视点的深度图像
Figure FDA00000258499600000414
中下一个待处理的像素点作为当前像素点，然后执行步骤⑤-2和⑤-3，直至t时刻的第k个参考视点的深度图像
Figure FDA0000025849960000051
中所有像素点处理完毕，将所有核心内容构成的区域作为核心内容区域，将所有非核心内容构成的区域作为非核心内容区域。
5.根据权利要求4所述的一种虚拟视点彩色图像绘制方法，其特征在于所述的步骤⑥的具体过程为：
⑥-1、定义t时刻的第k个参考视点的深度图像
Figure FDA0000025849960000052
中当前正在处理的像素点为当前像素点，将当前像素点的坐标位置记为p，将当前像素点的邻域像素点的坐标位置记为q，定义双向滤波器为
Figure FDA0000025849960000053
其中，
Figure FDA0000025849960000054
Gσs(||p-q||)表示标准差为σs的高斯函数，
Figure FDA0000025849960000056
表示标准差为σr的高斯函数，
Figure FDA0000025849960000057
||p-q||表示坐标位置p和坐标位置q之间的欧拉距离，
Figure FDA0000025849960000058
Figure FDA0000025849960000059
表示t时刻的第k个参考视点的彩色图像
Figure FDA00000258499600000510
中坐标位置为p的像素点的第i个分量的值，
Figure FDA00000258499600000511
表示t时刻的第k个参考视点的彩色图像中坐标位置为q的像素点的第i个分量的值，表示场景深度集合中坐标位置为q的像素点的场景深度值，N(q)表示以坐标位置为q的像素点为中心的3×3邻域窗口；
⑥-2、判断当前像素点是否属于t时刻的第k个参考视点的深度图像
Figure FDA00000258499600000515
的核心内容区域，如果是，则执行步骤⑥-3，否则，执行步骤⑥-4；
⑥-3、采用标准差为(σs1，σr1)的双向滤波器对当前像素点的坐标位置为q的邻域像素点的场景深度值
Figure FDA00000258499600000516
进行滤波操作，得到当前像素点滤波后的场景深度值
Figure FDA00000258499600000517
Figure FDA00000258499600000518
其中，
Figure FDA00000258499600000519
Gσs1(||p-q||)表示标准差为σs1的高斯函数，
Figure FDA0000025849960000061
表示标准差为σr1的高斯函数，
Figure FDA0000025849960000063
⑥-4、采用标准差为(σs2，σr2)的双向滤波器对当前像素点的坐标位置为q的邻域像素点的场景深度值
Figure FDA0000025849960000064
进行滤波操作，得到当前像素点滤波后的场景深度值
Figure FDA0000025849960000065
Figure FDA0000025849960000066
其中，
Figure FDA0000025849960000067
Gσs2(||p-q||)表示标准差为σs2的高斯函数，
Figure FDA0000025849960000068
表示标准差为σr2的高斯函数，
Figure FDA00000258499600000610
在此标准差(σs2，σr2)的滤波强度大于标准差(σs1，σr1)的滤波强度；
⑥-5、将滤波后的所有场景深度值构成的集合作为滤波后的场景深度集合
Figure FDA00000258499600000611
6.根据权利要求5所述的一种虚拟视点彩色图像绘制方法，其特征在于所述的(σs1，σr1)的大小为(1，5)，所述的(σs2，σr2)的大小为(10，15)。
7.根据权利要求5所述的一种虚拟视点彩色图像绘制方法，其特征在于所述的步骤⑩的具体过程为：
⑩-1、统计由第k个参考视点绘制得到的虚拟视点图像
Figure FDA00000258499600000612
中排除空洞像素点外的正确映射的像素点的总个数，记为num1，分别获取虚拟视点图像
Figure FDA00000258499600000613
的num1个像素点的第i个分量的均值
Figure FDA00000258499600000614
和标准差
Figure FDA00000258499600000615
⑩-2、统计由第k+1个参考视点绘制得到的虚拟视点图像
Figure FDA00000258499600000616
中排除空洞像素点外的正确映射的像素点的总个数，记为num2，分别获取虚拟视点图像
Figure FDA0000025849960000071
的num2个像素点的第i个分量的均值
Figure FDA0000025849960000072
和标准差
⑩-3、计算由第k个参考视点绘制得到的虚拟视点图像
Figure FDA0000025849960000074
和由第k+1个参考视点绘制得到的虚拟视点图像的第i个分量的目标均值和目标标准差，记目标均值为
Figure FDA0000025849960000076
记目标标准差为
Figure FDA0000025849960000077
Figure FDA0000025849960000078
Figure FDA0000025849960000079
⑩-4、根据目标均值
Figure FDA00000258499600000710
和目标标准差
Figure FDA00000258499600000711
及由第k个参考视点绘制得到的虚拟视点图像
Figure FDA00000258499600000712
的第i个分量的均值和标准差
Figure FDA00000258499600000714
通过
Figure FDA00000258499600000715
对由第k个参考视点绘制得到的虚拟视点图像
Figure FDA00000258499600000716
的各个分量进行颜色传递操作得到颜色校正后的虚拟视点图像
Figure FDA00000258499600000717
⑩-5、根据目标均值
Figure FDA00000258499600000718
和目标标准差
Figure FDA00000258499600000719
及由第k+1个参考视点绘制得到的虚拟视点图像的第i个分量的均值
Figure FDA00000258499600000721
和标准差通过
Figure FDA00000258499600000723
对由第k+1个参考视点绘制得到的虚拟视点图像
Figure FDA00000258499600000724
的各个分量进行颜色传递操作得到颜色校正后的虚拟视点图像
Figure FDA00000258499600000725
8.根据权利要求7所述的一种虚拟视点彩色图像绘制方法，其特征在于所述的步骤中的图像融合方法的具体过程为：
-1、判断颜色校正后的由第k个参考视点绘制得到的虚拟视点图像
Figure FDA00000258499600000728
中坐标位置为(x，y)的像素点是否为空洞像素点，如果是，则继续执行，否则，
Figure FDA00000258499600000729
其中，
Figure FDA00000258499600000730
表示融合后的虚拟视点图像
Figure FDA00000258499600000731
中坐标位置为(x，y)的像素点的第i个分量的值，表示颜色校正后的由第k个参考视点绘制得到的虚拟视点图像中坐标位置为(x，y)的像素点的第i个分量的值；
Figure FDA0000025849960000083
-2、判断颜色校正后的由第k+1个参考视点绘制得到的虚拟视点图像
Figure FDA0000025849960000084
中坐标位置为(x，y)的像素点是否为空洞像素点，如果是，则确定融合后的虚拟视点图像
Figure FDA0000025849960000085
中坐标位置为(x，y)的像素点为空洞像素点，否则，
Figure FDA0000025849960000086
其中，
Figure FDA0000025849960000087
表示颜色校正后的由第k+1个参考视点绘制得到的虚拟视点图像
Figure FDA0000025849960000088
中坐标位置为(x，y)的像素点的第i个分量的值。
9.根据权利要求1所述的一种虚拟视点彩色图像绘制方法，其特征在于所述的步骤④中的边缘检测算法采用Susan边缘检测算法。
CN2010102756176A 2010-09-08 2010-09-08 一种虚拟视点彩色图像绘制方法 Active CN101937578B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010102756176A CN101937578B (zh) 2010-09-08 2010-09-08 一种虚拟视点彩色图像绘制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010102756176A CN101937578B (zh) 2010-09-08 2010-09-08 一种虚拟视点彩色图像绘制方法

Publications (2)

Publication Number Publication Date
CN101937578A true CN101937578A (zh) 2011-01-05
CN101937578B CN101937578B (zh) 2012-07-04

Family

ID=43390890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010102756176A Active CN101937578B (zh) 2010-09-08 2010-09-08 一种虚拟视点彩色图像绘制方法

Country Status (1)

Country Link
CN (1) CN101937578B (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102271254A (zh) * 2011-07-22 2011-12-07 宁波大学 一种深度图像的预处理方法
CN102333230A (zh) * 2011-09-21 2012-01-25 山东大学 一种提高三维视频系统中合成虚拟视图质量的方法
CN102609974A (zh) * 2012-03-14 2012-07-25 浙江理工大学 一种基于深度图分割渲染的虚拟视点图像的生成方法
CN102769746A (zh) * 2012-06-27 2012-11-07 宁波大学 一种多视点深度视频处理方法
CN102769749A (zh) * 2012-06-29 2012-11-07 宁波大学 一种深度图像的后处理方法
CN103581648A (zh) * 2013-10-18 2014-02-12 清华大学深圳研究生院 绘制新视点中的空洞填补方法
CN104012086A (zh) * 2011-12-19 2014-08-27 思科技术公司 用于视频会议环境中景深导向图像滤波的系统和方法
CN104378617A (zh) * 2014-10-30 2015-02-25 宁波大学 一种虚拟视点中像素点的获取方法
CN104768018A (zh) * 2015-02-04 2015-07-08 浙江工商大学 一种基于深度图的快速视点预测方法
CN104992442A (zh) * 2015-07-08 2015-10-21 北京大学深圳研究生院 面向平面显示设备的视频立体化绘制方法
CN106169179A (zh) * 2016-06-30 2016-11-30 北京大学 图像降噪方法以及图像降噪装置
CN108475408A (zh) * 2015-12-01 2018-08-31 索尼公司 图像处理设备和图像处理方法
CN109345484A (zh) * 2018-09-30 2019-02-15 北京邮电大学 一种深度图修复方法及装置
CN110136144A (zh) * 2019-05-15 2019-08-16 北京华捷艾米科技有限公司 一种图像分割方法、装置及终端设备
CN110728744A (zh) * 2018-07-16 2020-01-24 青岛海信电器股份有限公司 一种体绘制方法、装置及智能设备
CN111353982A (zh) * 2020-02-28 2020-06-30 贝壳技术有限公司 一种深度相机图像序列筛选方法及装置
CN114596217A (zh) * 2022-01-24 2022-06-07 周琦 教具制造偏差解析系统
CN114677665A (zh) * 2022-03-08 2022-06-28 燕山大学 驾驶场景注意力量化方法、装置、电子设备及存储介质
WO2023246863A1 (zh) * 2022-06-23 2023-12-28 未来科技（襄阳）有限公司 3d图像的生成方法、装置及计算机设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165614A (ja) * 2003-12-02 2005-06-23 Canon Inc 画像合成装置および画像合成方法
CN1913640A (zh) * 2006-08-11 2007-02-14 宁波大学 多模式多视点视频信号编码压缩方法
CN101166271A (zh) * 2006-10-16 2008-04-23 华为技术有限公司 一种多视点视频编码中的视点差估计/补偿方法
CN101374243A (zh) * 2008-07-29 2009-02-25 宁波大学 一种应用于3dtv与ftv系统的深度图编码压缩方法
CN101398939A (zh) * 2007-09-25 2009-04-01 株式会社东芝 多视点数据生成装置和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165614A (ja) * 2003-12-02 2005-06-23 Canon Inc 画像合成装置および画像合成方法
CN1913640A (zh) * 2006-08-11 2007-02-14 宁波大学 多模式多视点视频信号编码压缩方法
CN101166271A (zh) * 2006-10-16 2008-04-23 华为技术有限公司 一种多视点视频编码中的视点差估计/补偿方法
CN101398939A (zh) * 2007-09-25 2009-04-01 株式会社东芝 多视点数据生成装置和方法
CN101374243A (zh) * 2008-07-29 2009-02-25 宁波大学 一种应用于3dtv与ftv系统的深度图编码压缩方法

Cited By (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102271254A (zh) * 2011-07-22 2011-12-07 宁波大学 一种深度图像的预处理方法
CN102333230A (zh) * 2011-09-21 2012-01-25 山东大学 一种提高三维视频系统中合成虚拟视图质量的方法
CN104012086A (zh) * 2011-12-19 2014-08-27 思科技术公司 用于视频会议环境中景深导向图像滤波的系统和方法
CN104012086B (zh) * 2011-12-19 2017-05-31 思科技术公司 用于视频会议环境中景深导向图像滤波的系统和方法
CN102609974A (zh) * 2012-03-14 2012-07-25 浙江理工大学 一种基于深度图分割渲染的虚拟视点图像的生成方法
CN102609974B (zh) * 2012-03-14 2014-04-09 浙江理工大学 一种基于深度图分割渲染的虚拟视点图像的生成方法
CN102769746A (zh) * 2012-06-27 2012-11-07 宁波大学 一种多视点深度视频处理方法
CN102769746B (zh) * 2012-06-27 2014-12-24 宁波大学 一种多视点深度视频处理方法
CN102769749A (zh) * 2012-06-29 2012-11-07 宁波大学 一种深度图像的后处理方法
CN102769749B (zh) * 2012-06-29 2015-03-18 宁波大学 一种深度图像的后处理方法
CN103581648B (zh) * 2013-10-18 2015-08-26 清华大学深圳研究生院 绘制新视点中的空洞填补方法
CN103581648A (zh) * 2013-10-18 2014-02-12 清华大学深圳研究生院 绘制新视点中的空洞填补方法
CN104378617B (zh) * 2014-10-30 2016-04-20 宁波大学 一种虚拟视点中像素点的获取方法
CN104378617A (zh) * 2014-10-30 2015-02-25 宁波大学 一种虚拟视点中像素点的获取方法
CN104768018A (zh) * 2015-02-04 2015-07-08 浙江工商大学 一种基于深度图的快速视点预测方法
CN104768018B (zh) * 2015-02-04 2016-09-21 浙江工商大学 一种基于深度图的快速视点预测方法
WO2017004882A1 (zh) * 2015-07-08 2017-01-12 北京大学深圳研究生院 面向平面显示设备的视频立体化绘制方法
CN104992442B (zh) * 2015-07-08 2018-01-16 北京大学深圳研究生院 面向平面显示设备的视频立体化绘制方法
CN104992442A (zh) * 2015-07-08 2015-10-21 北京大学深圳研究生院 面向平面显示设备的视频立体化绘制方法
CN108475408A (zh) * 2015-12-01 2018-08-31 索尼公司 图像处理设备和图像处理方法
CN106169179A (zh) * 2016-06-30 2016-11-30 北京大学 图像降噪方法以及图像降噪装置
CN110728744A (zh) * 2018-07-16 2020-01-24 青岛海信电器股份有限公司 一种体绘制方法、装置及智能设备
CN110728744B (zh) * 2018-07-16 2023-09-19 海信视像科技股份有限公司 一种体绘制方法、装置及智能设备
CN109345484A (zh) * 2018-09-30 2019-02-15 北京邮电大学 一种深度图修复方法及装置
CN110136144A (zh) * 2019-05-15 2019-08-16 北京华捷艾米科技有限公司 一种图像分割方法、装置及终端设备
CN111353982A (zh) * 2020-02-28 2020-06-30 贝壳技术有限公司 一种深度相机图像序列筛选方法及装置
CN111353982B (zh) * 2020-02-28 2023-06-20 贝壳技术有限公司 一种深度相机图像序列筛选方法及装置
CN114596217A (zh) * 2022-01-24 2022-06-07 周琦 教具制造偏差解析系统
CN114677665A (zh) * 2022-03-08 2022-06-28 燕山大学 驾驶场景注意力量化方法、装置、电子设备及存储介质
WO2023246863A1 (zh) * 2022-06-23 2023-12-28 未来科技（襄阳）有限公司 3d图像的生成方法、装置及计算机设备

Also Published As

Publication number Publication date
CN101937578B (zh) 2012-07-04

Similar Documents

Publication Publication Date Title
CN101937578B (zh) 一种虚拟视点彩色图像绘制方法
CN101588445B (zh) 一种基于深度的视频感兴趣区域提取方法
CN101771893B (zh) 一种基于视频序列背景建模的虚拟视点绘制方法
CN102271254B (zh) 一种深度图像的预处理方法
JP6027034B2 (ja) 立体映像エラー改善方法及び装置
CN102801997B (zh) 基于感兴趣深度的立体图像压缩方法
CN108513131B (zh) 一种自由视点视频深度图感兴趣区域编码方法
CN102404594B (zh) 基于图像边缘信息的2d转3d的方法
CN103002306B (zh) 一种深度图像编码方法
CN102223553A (zh) 一种二维视频到三维视频的自动转换方法
CN102065296B (zh) 一种三维立体视频编码方法
CN103067705B (zh) 一种多视点深度视频预处理方法
CN104079914A (zh) 基于深度信息的多视点图像超分辨方法
Li et al. A scalable coding approach for high quality depth image compression
CN101262606A (zh) 一种多视点视频的处理方法
Zhao et al. Two-stage filtering of compressed depth images with Markov random field
CN104778673B (zh) 一种改进的高斯混合模型深度图像增强方法
CN102223545B (zh) 一种快速多视点视频颜色校正方法
CN106791876B (zh) 一种基于3d-hevc的深度图快速帧内预测方法
CN102769749A (zh) 一种深度图像的后处理方法
CN104853175A (zh) 一种新的合成虚拟视点客观质量评价方法
CN101695140A (zh) 一种基于对象的立体/自由视点电视的虚拟图像绘制方法
Chen et al. Depth map compression via edge-based inpainting
Lin et al. A 2D to 3D conversion scheme based on depth cues analysis for MPEG videos
CN103997653A (zh) 一种基于边缘的面向虚拟视绘制的深度视频的编码方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20191217

Address after: Room 1,020, Nanxun Science and Technology Pioneering Park, No. 666 Chaoyang Road, Nanxun District, Huzhou City, Zhejiang Province, 313000

Patentee after: Huzhou You Yan Intellectual Property Service Co.,Ltd.

Address before: 315211 Zhejiang Province, Ningbo Jiangbei District Fenghua Road No. 818

Patentee before: Ningbo University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201124

Address after: 215500 No.13, Caotang Road, Changshu, Suzhou, Jiangsu Province

Patentee after: Changshu intellectual property operation center Co.,Ltd.

Address before: Unit 2414-2416, main building, no.371, Wushan Road, Tianhe District, Guangzhou City, Guangdong Province

Patentee before: GUANGDONG GAOHANG INTELLECTUAL PROPERTY OPERATION Co.,Ltd.

Effective date of registration: 20201124

Address after: Unit 2414-2416, main building, no.371, Wushan Road, Tianhe District, Guangzhou City, Guangdong Province

Patentee after: GUANGDONG GAOHANG INTELLECTUAL PROPERTY OPERATION Co.,Ltd.

Address before: Room 1,020, Nanxun Science and Technology Pioneering Park, No. 666 Chaoyang Road, Nanxun District, Huzhou City, Zhejiang Province, 313000

Patentee before: Huzhou You Yan Intellectual Property Service Co.,Ltd.

TR01 Transfer of patent right
CP02 Change in the address of a patent holder

Address after: 215500 5th floor, building 4, 68 Lianfeng Road, Changfu street, Changshu City, Suzhou City, Jiangsu Province

Patentee after: Changshu intellectual property operation center Co.,Ltd.

Address before: No.13 caodang Road, Changshu City, Suzhou City, Jiangsu Province

Patentee before: Changshu intellectual property operation center Co.,Ltd.

CP02 Change in the address of a patent holder