CN106570900A - 一种立体图像重定位方法 - Google Patents
一种立体图像重定位方法 Download PDFInfo
- Publication number
- CN106570900A CN106570900A CN201610886052.2A CN201610886052A CN106570900A CN 106570900 A CN106570900 A CN 106570900A CN 201610886052 A CN201610886052 A CN 201610886052A CN 106570900 A CN106570900 A CN 106570900A
- Authority
- CN
- China
- Prior art keywords
- coordinate position
- curved surface
- grid
- dimension curved
- represent
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
Abstract
本发明公开了一种立体图像重定位方法，其通过提取左视点图像的形状保护能量项、形状一致能量项、边界弯曲度能量项和舒适度保持能量项，并通过优化使得左视点图像的总能量最小，获取最佳相似变换矩阵，这样使得获得的重定位立体图像能够较好地保留重要的显著语义信息且保持视觉舒适性；其对立体图像的三维空间的水平坐标位置、垂直坐标位置和深度值同时进行调整，从而保留了重定位后的左视点图像重要的显著信息，同时又能保证与根据重定位后的左视差图获得的重定位后的右视点图像是匹配的，从而能够保证重定位后的立体图像的舒适性。
Description
技术领域
本发明涉及一种图像信号的处理方法，尤其是涉及一种立体图像重定位方法。
背景技术
随着立体显示技术的快速发展，各种具有不同立体显示功能的终端设备也广泛出现，但由于立体显示终端种类繁多，宽/高比规格不一，因此若将宽/高比一定的图像放在不同的立体显示终端上显示，则必须先对图像尺寸进行调整，以达到立体显示的效果。传统的图像缩放方法是通过裁剪或者是按固定比例进行缩放，这样做可能会出现图像中的内容减少或者导致显著物体形变。
对于立体图像而言，沿水平或垂直方向的拉伸或缩小处理会严重地影响立体效果，导致双目视差的变化，从而引起立体深度感发生变化，严重时会导致视觉不舒适，因此，如何对立体图像的左视点图像和右视点图像进行缩放以减少图像形变、突出显著内容，同时如何保证缩放后的左视点图像与右视点图像的视差/深度分布的一致性，从而降低视觉不舒适、增强深度感，都是在对立体图像进行重定位过程中需要研究解决的问题。
发明内容
本发明所要解决的技术问题是提供一种符合显著语义特征，且能够有效地调整立体图像尺寸大小的立体图像重定位方法。
本发明解决上述技术问题所采用的技术方案为：一种立体图像重定位方法，其特征在于包括以下步骤：
①将待处理的宽度为W且高度为H的立体图像的左视点图像、右视点图像及左视差图像对应记为{L(x,y)}、{R(x,y)}及{dL(x,y)}；其中，1≤x≤W，1≤y≤H，W和H均能被8整除，L(x,y)表示{L(x,y)}中坐标位置为(x,y)的像素点的像素值，R(x,y)表示{R(x,y)}中坐标位置为(x,y)的像素点的像素值，dL(x,y)表示{dL(x,y)}中坐标位置为(x,y)的像素点的像素值；
②将{L(x,y)}分割成个互不重叠的尺寸大小为8×8的四边形网格；然后以{L(x,y)}中的每个四边形网格的左上、左下、右上和右下4个网格顶点的集合来描述{L(x,y)}中的每个四边形网格，将{L(x,y)}中的第k个四边形网格记为UL,k，其中，1≤k≤M， 对应表示UL,k的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，
并采用K-mean聚类方法将{dL(x,y)}分割成P个分割对象，其中，P≥1；
③根据{L(x,y)}中的每个四边形网格，获取对应的三维曲面网格，以{L(x,y)}中的每个三维曲面网格的左上、左下、右上和右下4个网格顶点的集合来描述{L(x,y)}中的每个三维曲面网格，将根据UL,k获取的对应的三维曲面网格记为VL,k，其中，对应表示VL,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置及深度值来描述， 的水平坐标位置与的水平坐标位置相等，的垂直坐标位置与的垂直坐标位置相等，以的水平坐标位置和垂直坐标位置及深度值来描述， 的水平坐标位置与的水平坐标位置相等，的垂直坐标位置与的垂直坐标位置相等，以的水平坐标位置和垂直坐标位置及深度值来描述， 的水平坐标位置与的水平坐标位置相等，的垂直坐标位置与的垂直坐标位置相等，以的水平坐标位置和垂直坐标位置及深度值来描述， 的水平坐标位置与的水平坐标位置相等，的垂直坐标位置与的垂直坐标位置相等；
④采用基于图论的视觉显著模型提取出{L(x,y)}的显著图，记为{SML(x,y)}；然后根据{SML(x,y)}和{dL(x,y)}，获取{L(x,y)}的视觉显著图，记为{SL(x,y)}；其中，SML(x,y)表示{SML(x,y)}中坐标位置为(x,y)的像素点的像素值，SL(x,y)表示{SL(x,y)}中坐标位置为(x,y)的像素点的像素值；
⑤根据{L(x,y)}中的所有三维曲面网格对应的P个候选目标三维曲面网格，对{L(x,y)}中的每个三维曲面网格的各个网格顶点分别进行相似变换，使得原三维曲面网格与原三维曲面网格经过相似变换后得到的候选目标三维曲面网格的变换误差最小，得到{L(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵，将VL,k对应的第p个候选目标三维曲面网格的相似变换矩阵记为 其中，1≤p≤P，表示VL,k对应的第p个候选目标三维曲面网格， 对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，表示的第i个网格顶点，i＝1,2,3,4， 和对应表示的水平坐标位置、垂直坐标位置和深度值，和对应表示的水平坐标位置、垂直坐标位置和深度值，和对应表示的水平坐标位置、垂直坐标位置和深度值，和对应表示的水平坐标位置、垂直坐标位置和深度值，(AL,k)T为AL,k的转置，((AL,k)TAL,k)-1为(AL,k)TAL,k的逆；
⑥根据{L(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵，并结合{SL(x,y)}，计算在{L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{L(x,y)}的形状保护能量项，将在{L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似性变换矩阵下{L(x,y)}的形状保护能量项记为
⑦通过判断{L(x,y)}中的每个三维曲面网格和与其相邻的三维曲面网格是否属于相同的分割对象，并结合{SL(x,y)}和{L(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵，计算在{L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{L(x,y)}的形状一致能量项，将在{L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似性变换矩阵下{L(x,y)}的形状一致能量项记为
⑧根据{L(x,y)}中的每个三维曲面网格的各个网格顶点的边缘和{L(x,y)}中的每个三维曲面网格经过每次相似变换后得到的候选目标三维曲面网格的各个网格顶点的边缘，计算在{L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{L(x,y)}的边界弯曲度能量项，将在{L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似性变换矩阵下{L(x,y)}的边界弯曲度能量项记为
⑨根据{L(x,y)}中的每个三维曲面网格的各个网格顶点的深度值和{L(x,y)}中的每个三维曲面网格经过每次相似变换后得到的候选目标三维曲面网格的各个网格顶点的深度值，计算在{L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{L(x,y)}的舒适度保持能量项，将在{L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似性变换矩阵下{L(x,y)}的舒适度保持能量项记为
⑩计算在{L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{L(x,y)}的总能量，将在{L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似性变换矩阵下{L(x,y)}的总能量记为 然后根据{L(x,y)}中的所有三维曲面网格对应的所有候选目标三维曲面网格的相似变换矩阵，令表示在{L(x,y)}中的所有三维曲面网格对应的所有候选目标三维曲面网格的最佳相似变换矩阵下{L(x,y)}的总能量，并将相应的VL,k对应的最佳相似变换矩阵记为其中，ω1、ω2、ω3和ω4均为加权参数，min()为取最小值函数；
根据{L(x,y)}中的每个三维曲面网格对应的最佳相似变换矩阵，计算{L(x,y)}中的每个三维曲面网格中的每个像素点经最佳相似变换后的水平坐标位置、垂直坐标位置和深度值，将VL,k中水平坐标位置为x'L,k、垂直坐标位置y'L,k和深度值z'L,k的像素点经最佳相似变换后的水平坐标位置、垂直坐标位置和深度值对应记为和 和通过求解得到，其中，1≤x'L,k≤W，1≤y'L,k≤H，e表示待处理的立体图像的左视点与右视点之间的水平基线距离，D表示待处理的立体图像的左视点和右视点与显示器之间的观看距离，Wd表示显示器的水平宽度，R表示显示器的水平分辨率，d'L,k表示{dL(x,y)}中坐标位置为(x'L,k,y'L,k)的像素点的像素值，(A'L,k)T为A'L,k的转置，((A'L,k)TA'L,k)-1为(A'L,k)TA'L,k的逆，
根据{L(x,y)}中的每个三维曲面网格中的每个像素点经最佳相似变换后的水平坐标位置、垂直坐标位置和深度值，获得重定位后的左视点图像和重定位后的左视点深度图，对应记为和然后根据获取重定位后的左视差图像，记为将中坐标位置为(x',y')的像素点的像素值记为 接着根据和获取重定位后的右视点图像，记为将中坐标位置为(x',y')的像素点的像素值记为 最后将和构成重定位后的立体图像；其中，1≤x'≤W'，1≤y'≤H，W'表示重定位后的立体图像的宽度，H亦为重定位后的立体图像的高度，表示中坐标位置为(x',y')的像素点的像素值，表示中坐标位置为(x',y')的像素点的像素值，表示中坐标位置为的像素点的像素值。
所述的步骤③中 其中，表示的视差值，表示的视差值，表示的视差值，表示的视差值，e表示待处理的立体图像的左视点与右视点之间的水平基线距离，D表示待处理的立体图像的左视点和右视点与显示器之间的观看距离，Wd表示显示器的水平宽度，R表示显示器的水平分辨率。
所述的步骤④中其中，表示SML(x,y)的权重，表示dL(x,y)的权重，
所述的步骤⑥中其中，SL(k)表示VL,k中的所有像素点的视觉显著值的均值，也即表示{SL(x,y)}中与VL,k对应的区域中的所有像素点的像素值的均值，符号“||||”为求欧氏距离符号。
所述的步骤⑦中其中，SL(k)表示VL,k中的所有像素点的视觉显著值的均值，也即表示{SL(x,y)}中与VL,k对应的区域中的所有像素点的像素值的均值，表示{L(x,y)}中以VL,k为中心的八邻域范围内与VL,k相邻的三维曲面网格的总个数，VL,k'表示{L(x,y)}中以VL,k为中心的八邻域范围内与VL,k相邻的第k'个三维曲面网格，符号“||||”为求欧氏距离符号，表示VL,k'对应的第p个候选目标三维曲面网格的相似变换矩阵。
所述的步骤⑧中其中，符号“||||”为求欧氏距离符号，eL,k表示VL,k的所有网格顶点的边缘组成的矩阵，(eL,k)T为eL,k的转置，((eL,k)TeL,k)-1为(eL,k)TeL,k的逆，表示的所有网格顶点的边缘组成的矩阵，
所述的步骤⑨中其中，表示VL,k的第i个网格顶点的深度值，exp()表示以自然基数e为底的指数函数，符号“||”为取绝对值符号，D表示待处理的立体图像的左视点和右视点与显示器之间的观看距离，zmax表示{L(x,y)}的最大深度值，zmin表示{L(x,y)}的最小深度值，
CVZmin表示最小舒适观看区域范围，e表示待处理的立体图像的左视点与右视点之间的水平基线距离，η1表示最小舒适观看视角，CVZmax表示最大舒适观看区域范围，η2表示最大舒适观看视角，min()为取最小值函数，表示的深度值。
与现有技术相比，本发明的优点在于：
1)本发明方法通过提取左视点图像的形状保护能量项、形状一致能量项、边界弯曲度能量项和舒适度保持能量项，并通过优化使得左视点图像的总能量最小，获取最佳相似变换矩阵，这样使得获得的重定位立体图像能够较好地保留重要的显著语义信息且保持视觉舒适性。
2)本发明方法对立体图像的三维空间的水平坐标位置、垂直坐标位置和深度值同时进行调整，从而保留了重定位后的左视点图像重要的显著信息，同时又能保证与根据重定位后的左视差图获得的重定位后的右视点图像是匹配的，从而能够保证重定位后的立体图像的舒适性。
附图说明
图1为本发明方法的总体实现框图；
图2a为“Image1”的原始图像的“红/绿”图；
图2b为“Image1”重定位到原始图像的宽度80％后的“红/绿”图；
图2c为“Image1”重定位到原始图像的宽度70％后的“红/绿”图；
图2d为“Image1”重定位到原始图像的宽度60％后的“红/绿”图；
图3a为“Image2”的原始图像的“红/绿”图；
图3b为“Image2”重定位到原始图像的宽度80％后的“红/绿”图；
图3c为“Image2”重定位到原始图像的宽度70％后的“红/绿”图；
图3d为“Image2”重定位到原始图像的宽度60％后的“红/绿”图；
图4a为“Image3”的原始图像的“红/绿”图；
图4b为“Image3”重定位到原始图像的宽度80％后的“红/绿”图；
图4c为“Image3”重定位到原始图像的宽度70％后的“红/绿”图；
图4d为“Image3”重定位到原始图像的宽度60％后的“红/绿”图；
图5a为“Image4”的原始图像的“红/绿”图；
图5b为“Image4”重定位到原始图像的宽度80％后的“红/绿”图；
图5c为“Image4”重定位到原始图像的宽度70％后的“红/绿”图；
图5d为“Image4”重定位到原始图像的宽度60％后的“红/绿”图。
具体实施方式
以下结合附图实施例对本发明作进一步详细描述。
本发明提出的一种立体图像重定位方法，其总体实现框图如图1所示，其包括以下步骤：
①将待处理的宽度为W且高度为H的立体图像的左视点图像、右视点图像及左视差图像对应记为{L(x,y)}、{R(x,y)}及{dL(x,y)}；其中，1≤x≤W，1≤y≤H，W和H均能被8整除，L(x,y)表示{L(x,y)}中坐标位置为(x,y)的像素点的像素值，R(x,y)表示{R(x,y)}中坐标位置为(x,y)的像素点的像素值，dL(x,y)表示{dL(x,y)}中坐标位置为(x,y)的像素点的像素值。
②将{L(x,y)}分割成个互不重叠的尺寸大小为8×8的四边形网格；然后以{L(x,y)}中的每个四边形网格的左上、左下、右上和右下4个网格顶点的集合来描述{L(x,y)}中的每个四边形网格，将{L(x,y)}中的第k个四边形网格记为UL,k，其中，1≤k≤M， 对应表示UL,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述，
并采用现有的K-mean聚类方法将{dL(x,y)}分割成P个分割对象，将{dL(x,y)}中的第p个分割对象记为将{dL(x,y)}中的所有分割对象构成的集合记为其中，P≥1，在本实施例中取P＝3，1≤p≤P，对应表示{dL(x,y)}中的第1个分割对象、…、第p个分割对象、…、第P个分割对象。
③根据{L(x,y)}中的每个四边形网格，获取对应的三维曲面网格，以{L(x,y)}中的每个三维曲面网格的左上、左下、右上和右下4个网格顶点的集合来描述{L(x,y)}中的每个三维曲面网格，将根据UL,k获取的对应的三维曲面网格记为VL,k，其中，对应表示VL,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置及深度值来描述， 的水平坐标位置与的水平坐标位置相等，的垂直坐标位置与的垂直坐标位置相等，以的水平坐标位置和垂直坐标位置及深度值来描述， 的水平坐标位置与的水平坐标位置相等，的垂直坐标位置与的垂直坐标位置相等，以的水平坐标位置和垂直坐标位置及深度值来描述， 的水平坐标位置与的水平坐标位置相等，的垂直坐标位置与的垂直坐标位置相等，以的水平坐标位置和垂直坐标位置及深度值来描述， 的水平坐标位置与的水平坐标位置相等，的垂直坐标位置与的垂直坐标位置相等。
在此具体实施例中，步骤③中 其中，表示的视差值，也即为{dL(x,y)}中坐标位置为的像素点的像素值，表示的视差值，也即为{dL(x,y)}中坐标位置为的像素点的像素值，表示的视差值，也即为{dL(x,y)}中坐标位置为的像素点的像素值，表示的视差值，也即为{dL(x,y)}中坐标位置为的像素点的像素值，e表示待处理的立体图像的左视点与右视点之间的水平基线距离，D表示待处理的立体图像的左视点和右视点与显示器之间的观看距离，Wd表示显示器的水平宽度，R表示显示器的水平分辨率，在本实施例中的e、D、Wd和R的值根据具体的测试立体图像和观看条件确定。
④采用现有的基于图论的视觉显著(Graph-Based Visual Saliency，GBVS)模型提取出{L(x,y)}的显著图，记为{SML(x,y)}；然后根据{SML(x,y)}和{dL(x,y)}，获取{L(x,y)}的视觉显著图，记为{SL(x,y)}；其中，SML(x,y)表示{SML(x,y)}中坐标位置为(x,y)的像素点的像素值，SL(x,y)表示{SL(x,y)}中坐标位置为(x,y)的像素点的像素值， 表示SML(x,y)的权重，表示dL(x,y)的权重，在本实施例中取
⑤根据{L(x,y)}中的所有三维曲面网格对应的P个候选目标三维曲面网格，对{L(x,y)}中的每个三维曲面网格的各个网格顶点分别进行相似变换，使得原三维曲面网格与原三维曲面网格经过相似变换后得到的候选目标三维曲面网格的变换误差最小，得到{L(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵，将VL,k对应的第p个候选目标三维曲面网格的相似变换矩阵记为 其中，1≤p≤P，表示VL,k对应的第p个候选目标三维曲面网格， 对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，表示的第i个网格顶点，i＝1,2,3,4， 和对应表示的水平坐标位置、垂直坐标位置和深度值，和对应表示的水平坐标位置、垂直坐标位置和深度值，和对应表示的水平坐标位置、垂直坐标位置和深度值，和对应表示的水平坐标位置、垂直坐标位置和深度值，(AL,k)T为AL,k的转置，((AL,k)TAL,k)-1为(AL,k)TAL,k的逆。
⑥当改变立体图像的尺寸或者宽高比时，为了保护用户所关心的重要对象不发生拉伸形变，需要在三维曲面网格形变过程中尽可能保护重要的对象，因此本发明根据{L(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵，并结合{SL(x,y)}，计算在{L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{L(x,y)}的形状保护能量项，将在{L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似性变换矩阵下{L(x,y)}的形状保护能量项记为 其中，SL(k)表示VL,k中的所有像素点的视觉显著值的均值，也即表示{SL(x,y)}中与VL,k对应的区域中的所有像素点的像素值的均值，符号“||||”为求欧氏距离符号。
⑦为了保护属于相同分割对象的三维曲面网格具有一致的形变，因此本发明通过判断{L(x,y)}中的每个三维曲面网格和与其相邻的三维曲面网格是否属于相同的分割对象，并结合{SL(x,y)}和{L(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵，计算在{L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{L(x,y)}的形状一致能量项，将在{L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似性变换矩阵下{L(x,y)}的形状一致能量项记为其中，SL(k)表示VL,k中的所有像素点的视觉显著值的均值，也即表示{SL(x,y)}中与VL,k对应的区域中的所有像素点的像素值的均值，表示{L(x,y)}中以VL,k为中心的八邻域范围内与VL,k相邻的三维曲面网格的总个数，VL,k'表示{L(x,y)}中以VL,k为中心的八邻域范围内与VL,k相邻的第k'个三维曲面网格，符号“||||”为求欧氏距离符号，表示VL,k'对应的第p个候选目标三维曲面网格的相似变换矩阵。
⑧为了避免三维曲面网格的网格线过度扭曲，同时为了保护重要对象的全局方向，本发明根据{L(x,y)}中的每个三维曲面网格的各个网格顶点的边缘和{L(x,y)}中的每个三维曲面网格经过每次相似变换后得到的候选目标三维曲面网格的各个网格顶点的边缘，计算在{L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{L(x,y)}的边界弯曲度能量项，将在{L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似性变换矩阵下{L(x,y)}的边界弯曲度能量项记为 其中，符号“||||”为求欧氏距离符号，eL,k表示VL,k的所有网格顶点的边缘组成的矩阵，(eL,k)T为eL,k的转置，((eL,k)TeL,k)-1为(eL,k)TeL,k的逆，表示的所有网格顶点的边缘组成的矩阵，
⑨为了保护重定位立体图像仍然是视觉舒适的或者通过重定位将视觉非舒适的立体图像调整到视觉舒适，本发明根据{L(x,y)}中的每个三维曲面网格的各个网格顶点的深度值和{L(x,y)}中的每个三维曲面网格经过每次相似变换后得到的候选目标三维曲面网格的各个网格顶点的深度值，计算在{L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{L(x,y)}的舒适度保持能量项，将在{L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似性变换矩阵下{L(x,y)}的舒适度保持能量项记为其中，表示VL,k的第i个网格顶点的深度值，exp()表示以自然基数e为底的指数函数，e＝2.71828183…，符号“||”为取绝对值符号，D表示待处理的立体图像的左视点和右视点与显示器之间的观看距离，zmax表示{L(x,y)}的最大深度值，zmin表示{L(x,y)}的最小深度值， CVZmin表示最小舒适观看区域范围，e表示待处理的立体图像的左视点与右视点之间的水平基线距离，η1表示最小舒适观看视角，在本实施例中取η1＝-1°，CVZmax表示最大舒适观看区域范围，η2表示最大舒适观看视角，在本实施例中取η2＝1°，min()为取最小值函数，表示的深度值。
⑩计算在{L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{L(x,y)}的总能量，将在{L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似性变换矩阵下{L(x,y)}的总能量记为 然后根据{L(x,y)}中的所有三维曲面网格对应的所有候选目标三维曲面网格的相似变换矩阵，令表示在{L(x,y)}中的所有三维曲面网格对应的所有候选目标三维曲面网格的最佳相似变换矩阵下{L(x,y)}的总能量，并将相应的VL,k对应的最佳相似变换矩阵记为其中，ω1、ω2、ω3和ω4均为加权参数，在本实施例中取ω1＝10、ω2＝5、ω3＝10和ω4＝50，min()为取最小值函数。
根据{L(x,y)}中的每个三维曲面网格对应的最佳相似变换矩阵，计算{L(x,y)}中的每个三维曲面网格中的每个像素点经最佳相似变换后的水平坐标位置、垂直坐标位置和深度值，将VL,k中水平坐标位置为x'L,k、垂直坐标位置y'L,k和深度值z'L,k的像素点经最佳相似变换后的水平坐标位置、垂直坐标位置和深度值对应记为和 和通过求解得到，其中，1≤x'L,k≤W，1≤y'L,k≤H，e表示待处理的立体图像的左视点与右视点之间的水平基线距离，D表示待处理的立体图像的左视点和右视点与显示器之间的观看距离，Wd表示显示器的水平宽度，R表示显示器的水平分辨率，d'L,k表示{dL(x,y)}中坐标位置为(x'L,k,y'L,k)的像素点的像素值，(A'L,k)T为A'L,k的转置，((A'L,k)TA'L,k)-1为(A'L,k)TA'L,k的逆，
根据{L(x,y)}中的每个三维曲面网格中的每个像素点经最佳相似变换后的水平坐标位置、垂直坐标位置和深度值，获得重定位后的左视点图像和重定位后的左视点深度图，对应记为和然后根据获取重定位后的左视差图像，记为将中坐标位置为(x',y')的像素点的像素值记为 接着根据和获取重定位后的右视点图像，记为将中坐标位置为(x',y')的像素点的像素值记为 最后将和构成重定位后的立体图像；其中，1≤x'≤W'，1≤y'≤H，W'表示重定位后的立体图像的宽度，H亦为重定位后的立体图像的高度，表示中坐标位置为(x',y')的像素点的像素值，表示中坐标位置为(x',y')的像素点的像素值，表示中坐标位置为的像素点的像素值。
以下就利用本发明方法对宁波大学提供的三维图像数据库中的Image1、Image2、Image3和Image4四幅立体图像进行重定位实验。图2a给出了“Image1”的原始图像的“红/绿”图、图2b给出了“Image1”的重定位到原始图像的宽度80％后的“红/绿”图、图2c给出了“Image1”的重定位到原始图像的宽度70％后的“红/绿”图、图2d给出了“Image1”的重定位到原始图像的宽度60％后的“红/绿”图；图3a给出了“Image2”的原始图像的“红/绿”图、图3b给出了“Image2”的重定位到原始图像的宽度80％后的“红/绿”图、图3c给出了“Image2”的重定位到原始图像的宽度70％后的“红/绿”图、图3d给出了“Image2”的重定位到原始图像的宽度60％后的“红/绿”图；图4a给出了“Image3”的原始图像的“红/绿”图、图4b给出了“Image3”的重定位到原始图像的宽度80％后的“红/绿”图、图4c给出了“Image3”的重定位到原始图像的宽度70％后的“红/绿”图、图4d给出了“Image3”的重定位到原始图像的宽度60％后的“红/绿”图；图5a给出了“Image4”的原始图像的“红/绿”图、图5b给出了“Image4”的重定位到原始图像的宽度80％后的“红/绿”图、图5c给出了“Image4”的重定位到原始图像的宽度70％后的“红/绿”图、图5d给出了“Image4”的重定位到原始图像的宽度60％后的“红/绿”图。从图2a至图5d中可以看出，采用本发明方法得到的重定位立体图像能够较好地保留重要的显著语义信息，同时又能保证左视点图像与右视点图像的一致性。
Claims (7)
1.一种立体图像重定位方法，其特征在于包括以下步骤：
①将待处理的宽度为W且高度为H的立体图像的左视点图像、右视点图像及左视差图像对应记为{L(x,y)}、{R(x,y)}及{dL(x,y)}；其中，1≤x≤W，1≤y≤H，W和H均能被8整除，L(x,y)表示{L(x,y)}中坐标位置为(x,y)的像素点的像素值，R(x,y)表示{R(x,y)}中坐标位置为(x,y)的像素点的像素值，dL(x,y)表示{dL(x,y)}中坐标位置为(x,y)的像素点的像素值；
②将{L(x,y)}分割成个互不重叠的尺寸大小为8×8的四边形网格；然后以{L(x,y)}中的每个四边形网格的左上、左下、右上和右下4个网格顶点的集合来描述{L(x,y)}中的每个四边形网格，将{L(x,y)}中的第k个四边形网格记为UL,k，其中，1≤k≤M，对应表示UL,k的左上网格顶点、左下网格顶点、右上网格顶点、右下网格顶点，以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述， 以的水平坐标位置和垂直坐标位置来描述，以的水平坐标位置和垂直坐标位置来描述，
并采用K-mean聚类方法将{dL(x,y)}分割成P个分割对象，其中，P≥1；
③根据{L(x,y)}中的每个四边形网格，获取对应的三维曲面网格，以{L(x,y)}中的每个三维曲面网格的左上、左下、右上和右下4个网格顶点的集合来描述{L(x,y)}中的每个三维曲面网格，将根据UL,k获取的对应的三维曲面网格记为VL,k，其中，对应表示VL,k的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，以的水平坐标位置和垂直坐标位置及深度值来描述，的水平坐标位置与的水平坐标位置相等，的垂直坐标位置与的垂直坐标位置相等，以的水平坐标位置和垂直坐标位置及深度值来描述，的水平坐标位置与的水平坐标位置相等，的垂直坐标位置与的垂直坐标位置相等，以的水平坐标位置和垂直坐标位置及深度值来描述，的水平坐标位置与的水平坐标位置相等，的垂直坐标位置与的垂直坐标位置相等，以的水平坐标位置和垂直坐标位置及深度值来描述，的水平坐标位置与的水平坐标位置相等，的垂直坐标位置与的垂直坐标位置相等；
④采用基于图论的视觉显著模型提取出{L(x,y)}的显著图，记为{SML(x,y)}；然后根据{SML(x,y)}和{dL(x,y)}，获取{L(x,y)}的视觉显著图，记为{SL(x,y)}；其中，SML(x,y)表示{SML(x,y)}中坐标位置为(x,y)的像素点的像素值，SL(x,y)表示{SL(x,y)}中坐标位置为(x,y)的像素点的像素值；
⑤根据{L(x,y)}中的所有三维曲面网格对应的P个候选目标三维曲面网格，对{L(x,y)}中的每个三维曲面网格的各个网格顶点分别进行相似变换，使得原三维曲面网格与原三维曲面网格经过相似变换后得到的候选目标三维曲面网格的变换误差最小，得到{L(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵，将VL,k对应的第p个候选目标三维曲面网格的相似变换矩阵记为 其中，1≤p≤P，表示VL,k对应的第p个候选目标三维曲面网格， 对应表示的作为第1个网格顶点的左上网格顶点、作为第2个网格顶点的左下网格顶点、作为第3个网格顶点的右上网格顶点、作为第4个网格顶点的右下网格顶点，表示的第i个网格顶点，i＝1,2,3,4， 和对应表示的水平坐标位置、垂直坐标位置和深度值，和对应表示的水平坐标位置、垂直坐标位置和深度值，和对应表示的水平坐标位置、垂直坐标位置和深度值，和对应表示的水平坐标位置、垂直坐标位置和深度值，(AL,k)T为AL,k的转置，((AL,k)TAL,k)-1为(AL,k)TAL,k的逆；
⑥根据{L(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵，并结合{SL(x,y)}，计算在{L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{L(x,y)}的形状保护能量项，将在{L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似性变换矩阵下{L(x,y)}的形状保护能量项记为
⑦通过判断{L(x,y)}中的每个三维曲面网格和与其相邻的三维曲面网格是否属于相同的分割对象，并结合{SL(x,y)}和{L(x,y)}中的每个三维曲面网格对应的各个候选目标三维曲面网格的相似变换矩阵，计算在{L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{L(x,y)}的形状一致能量项，将在{L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似性变换矩阵下{L(x,y)}的形状一致能量项记为
⑧根据{L(x,y)}中的每个三维曲面网格的各个网格顶点的边缘和{L(x,y)}中的每个三维曲面网格经过每次相似变换后得到的候选目标三维曲面网格的各个网格顶点的边缘，计算在{L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{L(x,y)}的边界弯曲度能量项，将在{L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似性变换矩阵下{L(x,y)}的边界弯曲度能量项记为
⑨根据{L(x,y)}中的每个三维曲面网格的各个网格顶点的深度值和{L(x,y)}中的每个三维曲面网格经过每次相似变换后得到的候选目标三维曲面网格的各个网格顶点的深度值，计算在{L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{L(x,y)}的舒适度保持能量项，将在{L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似性变换矩阵下{L(x,y)}的舒适度保持能量项记为
⑩计算在{L(x,y)}中的所有三维曲面网格对应的同一个候选目标三维曲面网格的相似变换矩阵下{L(x,y)}的总能量，将在{L(x,y)}中的所有三维曲面网格对应的第p个候选目标三维曲面网格的相似性变换矩阵下{L(x,y)}的总能量记为 然后根据{L(x,y)}中的所有三维曲面网格对应的所有候选目标三维曲面网格的相似变换矩阵，令表示在{L(x,y)}中的所有三维曲面网格对应的所有候选目标三维曲面网格的最佳相似变换矩阵下{L(x,y)}的总能量，并将相应的VL,k对应的最佳相似变换矩阵记为其中，ω1、ω2、ω3和ω4均为加权参数，min()为取最小值函数；
根据{L(x,y)}中的每个三维曲面网格对应的最佳相似变换矩阵，计算{L(x,y)}中的每个三维曲面网格中的每个像素点经最佳相似变换后的水平坐标位置、垂直坐标位置和深度值，将VL,k中水平坐标位置为x'L,k、垂直坐标位置y'L,k和深度值z'L,k的像素点经最佳相似变换后的水平坐标位置、垂直坐标位置和深度值对应记为和 和通过求解得到，其中，1≤x'L,k≤W，1≤y'L,k≤H，e表示待处理的立体图像的左视点与右视点之间的水平基线距离，D表示待处理的立体图像的左视点和右视点与显示器之间的观看距离，Wd表示显示器的水平宽度，R表示显示器的水平分辨率，d'L,k表示{dL(x,y)}中坐标位置为(x'L,k,y'L,k)的像素点的像素值，(A'L，k)T为A'L,k的转置，((A'L,k)TA'L,k)-1为(A'L,k)TA'L,k的逆，
根据{L(x,y)}中的每个三维曲面网格中的每个像素点经最佳相似变换后的水平坐标位置、垂直坐标位置和深度值，获得重定位后的左视点图像和重定位后的左视点深度图，对应记为和然后根据获取重定位后的左视差图像，记为将中坐标位置为(x',y')的像素点的像素值记为 接着根据和获取重定位后的右视点图像，记为将中坐标位置为(x',y')的像素点的像素值记为最后将和构成重定位后的立体图像；其中，1≤x'≤W'，1≤y'≤H，W'表示重定位后的立体图像的宽度，H亦为重定位后的立体图像的高度，表示中坐标位置为(x',y')的像素点的像素值，表示中坐标位置为(x',y')的像素点的像素值，表示中坐标位置为的像素点的像素值。
2.根据权利要求1所述的一种立体图像重定位方法，其特征在于所述的步骤③中其中，表示的视差值，表示的视差值，表示的视差值，表示的视差值，e表示待处理的立体图像的左视点与右视点之间的水平基线距离，D表示待处理的立体图像的左视点和右视点与显示器之间的观看距离，Wd表示显示器的水平宽度，R表示显示器的水平分辨率。
3.根据权利要求1或2所述的一种立体图像重定位方法，其特征在于所述的步骤④中其中，表示SML(x,y)的权重，表示dL(x,y)的权重，
4.根据权利要求1所述的一种立体图像重定位方法，其特征在于所述的步骤⑥中其中，SL(k)表示VL,k中的所有像素点的视觉显著值的均值，也即表示{SL(x,y)}中与VL,k对应的区域中的所有像素点的像素值的均值，符号“|| ||”为求欧氏距离符号。
5.根据权利要求1所述的一种立体图像重定位方法，其特征在于所述的步骤⑦中其中，SL(k)表示VL,k中的所有像素点的视觉显著值的均值，也即表示{SL(x,y)}中与VL,k对应的区域中的所有像素点的像素值的均值，表示{L(x,y)}中以VL,k为中心的八邻域范围内与VL,k相邻的三维曲面网格的总个数，VL,k'表示{L(x,y)}中以VL,k为中心的八邻域范围内与VL,k相邻的第k'个三维曲面网格，符号“|| ||”为求欧氏距离符号，表示VL,k'对应的第p个候选目标三维曲面网格的相似变换矩阵。
6.根据权利要求1所述的一种立体图像重定位方法，其特征在于所述的步骤⑧中其中，符号“|| ||”为求欧氏距离符号，eL,k表示VL,k的所有网格顶点的边缘组成的矩阵，(eL,k)T为eL,k的转置，((eL,k)TeL,k)-1为(eL,k)TeL,k的逆，表示的所有网格顶点的边缘组成的矩阵，
7.根据权利要求1所述的一种立体图像重定位方法，其特征在于所述的步骤⑨中其中，表示VL,k的第i个网格顶点的深度值，exp()表示以自然基数e为底的指数函数，符号“| |”为取绝对值符号，D表示待处理的立体图像的左视点和右视点与显示器之间的观看距离，zmax表示{L(x,y)}的最大深度值，zmin表示{L(x,y)}的最小深度值， CVZmin表示最小舒适观看区域范围，e表示待处理的立体图像的左视点与右视点之间的水平基线距离，η1表示最小舒适观看视角，CVZmax表示最大舒适观看区域范围，η2表示最大舒适观看视角，min()为取最小值函数，表示的深度值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610886052.2A CN106570900B (zh) | 2016-10-11 | 2016-10-11 | 一种立体图像重定位方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610886052.2A CN106570900B (zh) | 2016-10-11 | 2016-10-11 | 一种立体图像重定位方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106570900A true CN106570900A (zh) | 2017-04-19 |
| CN106570900B CN106570900B (zh) | 2019-04-16 |
Family
ID=58532714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610886052.2A Active CN106570900B (zh) | 2016-10-11 | 2016-10-11 | 一种立体图像重定位方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106570900B (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108307170A (zh) * | 2017-12-22 | 2018-07-20 | 宁波大学 | 一种立体图像重定位方法 |
| CN108810512A (zh) * | 2018-04-24 | 2018-11-13 | 宁波大学 | 一种基于对象的立体图像深度调整方法 |
| CN109653500A (zh) * | 2018-11-02 | 2019-04-19 | 筑梦高科建筑有限公司 | 一种建筑工地三维扫描质量巡检装置 |
| CN109671115A (zh) * | 2017-10-16 | 2019-04-23 | 三星电子株式会社 | 使用深度值估计的图像处理方法和装置 |
| CN110060291A (zh) * | 2019-04-04 | 2019-07-26 | 长春理工大学 | 一种考虑人因的立体视在距离解算方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102413342A (zh) * | 2011-09-05 | 2012-04-11 | 清华大学 | 双目立体视频的几何校正方法及系统 |
| US20130129191A1 (en) * | 2010-08-31 | 2013-05-23 | Hailin Jin | Methods and Apparatus for Image Rectification for Stereo Display |
| CN104166992A (zh) * | 2014-07-25 | 2014-11-26 | 广东外语外贸大学 | 基于网格变形的内容感知双目图像缩放方法 |
| CN104574404A (zh) * | 2015-01-14 | 2015-04-29 | 宁波大学 | 一种立体图像重定位方法 |
-
2016
- 2016-10-11 CN CN201610886052.2A patent/CN106570900B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130129191A1 (en) * | 2010-08-31 | 2013-05-23 | Hailin Jin | Methods and Apparatus for Image Rectification for Stereo Display |
| CN102413342A (zh) * | 2011-09-05 | 2012-04-11 | 清华大学 | 双目立体视频的几何校正方法及系统 |
| CN104166992A (zh) * | 2014-07-25 | 2014-11-26 | 广东外语外贸大学 | 基于网格变形的内容感知双目图像缩放方法 |
| CN104574404A (zh) * | 2015-01-14 | 2015-04-29 | 宁波大学 | 一种立体图像重定位方法 |
Non-Patent Citations (3)
| Title |
|---|
| FENG SHAO 等: "An Energy-Constrained Video Retargeting Approach for Color-Plus-Depth 3D Video", 《JOURNAL OF DISPLAY TECHNOLOGY》 * |
| FENG SHAO 等: "Stereoscopic Visual Attention Guided Seam Carving for Stereoscopic Image Retargeting", 《JOURNAL OF DISPLAY TECHNOLOGY》 * |
| 林文崇: "一种基于人眼视觉注意力的三维视频重定向方法", 《光电子·激光》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109671115A (zh) * | 2017-10-16 | 2019-04-23 | 三星电子株式会社 | 使用深度值估计的图像处理方法和装置 |
| CN109671115B (zh) * | 2017-10-16 | 2023-07-14 | 三星电子株式会社 | 使用深度值估计的图像处理方法和装置 |
| CN108307170A (zh) * | 2017-12-22 | 2018-07-20 | 宁波大学 | 一种立体图像重定位方法 |
| CN108307170B (zh) * | 2017-12-22 | 2019-09-10 | 宁波大学 | 一种立体图像重定位方法 |
| CN108810512A (zh) * | 2018-04-24 | 2018-11-13 | 宁波大学 | 一种基于对象的立体图像深度调整方法 |
| CN108810512B (zh) * | 2018-04-24 | 2019-09-03 | 宁波大学 | 一种基于对象的立体图像深度调整方法 |
| CN109653500A (zh) * | 2018-11-02 | 2019-04-19 | 筑梦高科建筑有限公司 | 一种建筑工地三维扫描质量巡检装置 |
| CN109653500B (zh) * | 2018-11-02 | 2021-07-27 | 广东博智林机器人有限公司 | 一种建筑工地三维扫描质量巡检装置 |
| CN110060291A (zh) * | 2019-04-04 | 2019-07-26 | 长春理工大学 | 一种考虑人因的立体视在距离解算方法 |
| CN110060291B (zh) * | 2019-04-04 | 2023-01-31 | 长春理工大学 | 一种考虑人因的立体视在距离解算方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106570900B (zh) | 2019-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106570900B (zh) | 一种立体图像重定位方法 | |
| CN103971408B (zh) | 三维人脸模型生成系统及方法 | |
| CN107105214B (zh) | 一种三维视频图像重定位方法 | |
| CN104574404B (zh) | 一种立体图像重定位方法 | |
| Lei et al. | Depth-preserving stereo image retargeting based on pixel fusion | |
| CN103248906B (zh) | 一种双目立体视频序列的深度图获取方法与系统 | |
| CN105303616B (zh) | 基于单张照片的浮雕建模方法 | |
| CN103337072B (zh) | 一种基于纹理与几何属性联合模型的室内对象解析方法 | |
| CN105488758A (zh) | 一种基于内容感知的图像缩放方法 | |
| CN106023230B (zh) | 一种适合变形图像的稠密匹配方法 | |
| CN106484692A (zh) | 一种三维模型检索方法 | |
| TWI750710B (zh) | 圖像處理方法及裝置、圖像處理設備及儲存媒體 | |
| CN104166992B (zh) | 基于网格变形的内容感知双目图像缩放方法 | |
| CN102609983B (zh) | 一种基于图像及立体视觉的闪电三维图像重建方法 | |
| CN108765317A (zh) | 一种时空一致性与特征中心emd自适应视频稳定的联合优化方法 | |
| CN106504186A (zh) | 一种立体图像重定向方法 | |
| CN104240180A (zh) | 一种实现图像自动调整的方法及装置 | |
| CN104809457A (zh) | 一种基于区域化隐函数特征的三维人脸识别方法及系统 | |
| CN105376553B (zh) | 一种三维视频重定位方法 | |
| CN103226824A (zh) | 维持视觉显著性的视频重定向系统 | |
| CN104822030A (zh) | 一种基于图像变形的不规则视频矩形化矫正方法 | |
| CN108307170B (zh) | 一种立体图像重定位方法 | |
| CN105550682A (zh) | 钟鼎碑刻拓印方法 | |
| CN105427242B (zh) | 基于内容感知的交互式网格约束变形图像自适应缩放方法 | |
| CN102761764B (zh) | 一种用于三维立体视频的深度图片的上采样方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |