CN113347403A - 一种图像处理方法及装置 - Google Patents
一种图像处理方法及装置 Download PDFInfo
- Publication number
- CN113347403A CN113347403A CN202110433498.0A CN202110433498A CN113347403A CN 113347403 A CN113347403 A CN 113347403A CN 202110433498 A CN202110433498 A CN 202110433498A CN 113347403 A CN113347403 A CN 113347403A
- Authority
- CN
- China
- Prior art keywords
- image
- block
- information
- width
- height
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title abstract description 14
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000009877 rendering Methods 0.000 claims description 9
- 238000003709 image segmentation Methods 0.000 claims description 6
- 238000005192 partition Methods 0.000 claims description 5
- 238000000638 solvent extraction Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 abstract description 12
- 230000008901 benefit Effects 0.000 abstract description 4
- 230000015572 biosynthetic process Effects 0.000 abstract description 4
- 238000003786 synthesis reaction Methods 0.000 abstract description 4
- 230000000007 visual effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000007654 immersion Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
Abstract
本发明公开了一种图像处理的方法及装置。该发明用于多媒体领域中，从多视点子块拼接图像或是多视点图像的码流中解码提取图像，对图像进行处理。通过提取图像相关信息和所属源视点相机相关信息，判决该图像是否需要进一步划分，若需要则执行划分，对划分得到的子块图像进行分类。本发明给出的方法能够提高筛选的准确性，避免无效视角域的图像残留，同时也可以解决视场角过大时会出现的错误筛选问题，保证目标图像的合成质量，保持子块筛选所带来的复杂度节省的效益。本发明在提出一种图像处理方法的同时，还提出了相应的装置。
Description
技术领域
本发明专利涉及图像处理领域，具体涉及在多视点图像或视频中，对图像进行处理的方法和装置。
背景技术
“沉浸感”作为一种主观评价，是指观看者对多媒体系统建立、显示出来的虚拟场景的感知代入感。随着采集设备和显示设备的能力逐年增强，沉浸式媒体作为一种能够带给观看者强沉浸感的视觉多媒体，其编码、传输和渲染已经成为了工业界和科学界的研究热点。
随着沉浸式媒体支持观看自由度的增加，其带给观看者的视觉沉浸感得到明显增强。在三维空间下，观看者的观看自由度最多支持6个自由度，包括沿三维空间X,Y,Z轴平移和分别绕三个轴旋转。目前，观看者可以在限定空间(平移自由度受限)中任意移动位置、改变朝向来观看场景，从而获得交互感和运动视差，形成更强的视觉沉浸感。
为了支持有限空间的6自由度观看场景，沉浸式媒体需要渲染限定空间中任意位置、任意朝向的目标内容。多视点图像加深度信息是一种有效的沉浸式媒体表达方式，它由多个视点的纹理图像以及各纹理图像对应的深度图像组成。利用基于深度图像的视点合成技术，该表达方式可以根据目标图像的相机参数以及目标视点和已有视点的位置关系渲染得到目标视点的图像。但是由于多个视点之间一般存在较大的信息冗余，编码传输所有多视点源图像会造成编解码的代价很大。
多视点子块拼接图像有效地解决了上述问题。在编解码之前，通过分析多个视点之间的几何纹理关系，利用主视点(多视点图像中的某些包含完整视点信息的图像)图像尽可能剔除其他视点的冗余信息，因此除了主视点外的其他视点图像只保留特有的有效信息。考虑到编码效率，子图有效信息的保留一般用矩形区域表示，这样就形成多个矩形块图像，最后将多个块图像拼接成多视点块拼接图像，如图1所示。经过上述操作后，需要编码传输的图像数据量能大大减少。
对于解码端，利用解码得到的块图像信息，从解码得到的多视点块拼接图像中提取所有块图像。其中，所述的块图像信息至少包括：块图像的宽度、高度、块图像的左上角像素在多视点拼接图像中的位置和块图像的左上角像素在源视点图像中的位置。
目标图像合成是以块图像为单位进行投影计算的。对于每个块图像，利用块图像所属单视点图像的相机参数和目标图像的相机参数关系，进行目标图像渲染，其中相机参数中的相机内参包括焦距、主点坐标和坐标轴倾斜参数，这些参数包含在下式的内参矩阵中。任意两个视点V1,V2间对应像素的视点间位置关系如下公式所示：
其中，utarget,vtarget是目标视点V1中像素点的坐标位置，
uref,vref是参考视点V2中像素点的坐标位置,
R和t表示参考视点V2处的相机坐标与目标视点V1处的相机坐标旋转平移关系,
zref是参考视点V2中像素点对应的深度值,
ztarget是目标视点V1中像素点对应的深度值,
最后对所有投影到目标图像的图像块纹理信息进行融合处理，合成目标图像。与传输完整数量的多视点源图像相比，在相同码率下，目标图像的合成质量能得到显著的提升。
在实际的图像处理系统中，解码端的处理时间是衡量该系统是否可行的关键参数。而目前基于块图像的目标图像合成依然有可改进优化的空间。多视点块拼接图像中所有的块图像联合描述了整个场景信息。而在观看者观看视角域有限的约束下，观看的每帧目标图像只覆盖部分的全部视角场景内容，这就会出现某个子块图像对于合成目标图像完全无信息贡献，如图2所示，块图像2的内容渲染后与目标图像完全没有区域覆盖，这些对目标视点无贡献子块图像的逐像素投影计算增加了无效的计算负担。在每个子块图像或处理单元进行目标图像渲染前，添加预筛选过程，用块图像内的一定数量的代表点以及深度范围来描述块图像包含的场景范围，通过这些代表点落在目标图像上的情况来判决是否使用该块图像进行图像渲染，只对有效的图像块进行预渲染。
预筛选时，在图像投影格式为球面投影的使用情况下，由于球体的表面外凸，所以图像块的边界顶点在空间中最远深度位置的两点连线是弦所在的面非球切面深度范围，如果已知图像块的最远深度值z_far，需要对z_far进行扩大至z_far_expand以能包围住球体的棱台近似代替图像块的空间范围。z_far_expand的计算过程如下：
其中，Xexp＝z_far
Δθ＝(块图像高度/所属源视点相机投影平面的高度)*所属源视点相机投影平面的纬度跨度；
因此，深度值的扩展倍数
但对于所占视场角范围较大的图像块，M也较大，简单地利用上述过程会导致少删，降低计算的节省率，而当
或Δθ存在超过180°时，z_far_expand计算过程有误，直接利用上述过程导致误删，致使目标图像的质量下降。
发明内容
为了解决上述技术问题，本发明提出了一种图像处理的方法及装置。
根据本发明的第一方面，提供一种图像处理的方法，包括：
对于多视点图像或多视点子块拼接图像中的至少一个图像或图像块，获取所述图像或图像块在所属源视点相机的经度跨度和纬度跨度；
利用所述图像或图像块在所属源视点相机的经度跨度和纬度跨度判断是否满足图像划分条件；
如果满足图像划分条件则进行图像划分，根据所获当前图像或图像块的尺寸信息、相机参数和划分方式，以及当前图像块在多视点块拼接图像和源视点图像中的位置信息，确定各个子块的尺寸信息和位置信息；
获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块与目标视点的相关性，将每个子块标记为有效子块或无效子块。
进一步的，当前图像的尺寸信息包括：该图像的宽度信息width、高度信息height和该图像所属源视点相机投影平面的宽度信息width_cam和高度信息height_cam。
进一步的，当前图像块的尺寸信息和位置信息包括：该图像块的宽度信息width、高度信息height、该图像块在多视点子块拼接图像中的位置信息、该图像块在源视点图像中的位置信息和该图像块所属源视点相机投影平面的宽度信息width_cam和高度信息height_cam；
利用所述图像块的宽度信息width、高度信息height以及所属源视点相机投影平面的宽度信息width_cam、高度信息height_cam，得到当前图像块在所属源视点相机的经度跨度和纬度跨度。
进一步的，满足以下任一条件，则判断所述图像或图像块满足图像划分条件：
(1)所述图像或图像块在所属源视点相机的经度跨度超过180°；
(2)所述图像或图像块在所属源视点相机的纬度跨度超过180°；
(3)所述图像或图像块在所属源视点相机的经度跨度超过阈值；
(4)所述图像或图像块在所属源视点相机的纬度跨度超过阈值。
进一步的，所述阈值的设置包括以下方式：
(1)所述图像的所属源视点相机或所述图像块在所属源视点相机的经度最大跨度；
(2)所述图像的所属源视点相机或所述图像块在所属源视点相机的纬度最大跨度；
(3)所述图像或图像块的深度值的最大扩展倍数M，M计算公式如下：
进一步的，图像划分包括以下方式：
直接将图像或图像块划分成多个等份；
或者，根据图像或图像块的宽度进行N等分，在图像或图像块的长度方向上按照N等分的宽度进行划分，从而得到多个方形的子块图像；
或者，将图像或图像块划分为多个长度宽度不相等的子块图像；
或者，根据感兴趣区域对图像或图像块划分；
其中，任何一种划分方式将图像划分为至少两个子块，并且子块不满足所述图像划分条件。
进一步的，将子块标记为有效子块或无效子块的方式为：
获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块在目标视点的可见性，如果不可见则标记为无效子块，如果可见则标记为有效子块。
进一步的，该方法还包括：
在将子块从源视点图像向目标视点投影渲染的过程中，舍弃无效子块。
根据本发明的第二方面，提供一种图像处理的装置，包括：
判决模块，利用图像的所属源视点相机或图像块在所属源视点相机的经度跨度和纬度跨度判断是否满足图像划分条件；
划分模块，如果满足图像划分条件则进行图像划分，根据所获当前图像或图像块的尺寸信息、相机参数和划分方式，以及当前图像块在多视点块拼接图像中的位置信息、当前图像块在源视点图像中的位置信息，确定各个子块的尺寸信息和位置信息；
分类模块，获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块与目标视点的相关性，将每个子块标记为有效子块或无效子块。
进一步的，该装置还包括：
信息获取模块，对于多视点图像中的至少一个图像，获取该图像的宽度信息width、高度信息height、该图像块所属源视点相机投影平面的宽度信息width_cam、高度信息height_cam和相机参数；
或者，对于多视点子块拼接图像中的至少一个图像块，获取该图像块的宽度信息width、高度信息height、该图像块在多视点子块拼接图像中的位置信息、该图像块在源视点图像中的位置信息和该图像块所属源视点相机投影平面的宽度信息width_cam、高度信息height_cam和相机参数；并利用所述图像块的宽度信息width、高度信息height以及所属源视点相机投影平面的宽度信息width_cam、高度信息height_cam，得到当前图像块在所属源视点相机的经度跨度和纬度跨度。
本发明提供的技术方案带来的有益效果至少包括：
当前图像的视场角为较大钝角时，直接对当前图像执行可视性筛选，即使处在无效视角域，由于近似代替图像包含的空间范围的棱台被向远处过度延展，被误判断为该图像可见的可能性增加。当前图像的视场角为平角、优角和周角时，当前图像的空间范围无法用棱台近似代替，最远深度值无法获得，因此直接对当前图像执行可视性筛选会导致由错误的深度范围得到错误的筛选判决。
如果当前图像满足图像划分条件，通过将当前图像划分成子块，获取各个子块的尺寸信息和位置信息，直接对各个子块进行可视性筛选，可以提高筛选的准确性，避免无效视角域的图像残留，同时也可以解决视场角过大时会出现的错误筛选问题，保证目标图像的合成质量，保持子块筛选所带来的复杂度节省的效益。
附图说明
结合附图，本发明的其他特点和优点可从下面通过举例来对本发明的原理进行解释的优选实施方式的说明中变得更清楚。
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是多视点子块拼接图像的生成示意图。
图2是多视点子块拼接图像中的子块图像映射到三维空间后与目标图像区域覆盖的示意图。
图3是子块图像四个边界顶点，以及该四顶点结合z_near_new和z_far_new所得的八个空间代表点示意图。
图4是球面投影坐标系示意图。
图5是子块图像在球面投影格式下的空间示意图。
图6是扩展最远深度参数示意图。
图7是可能存在的保留不可见子块图像的示例图。
图8是FOV较大时最远深度参数扩展情况
图9是本发明装置实施例流程图。
图10是当符合图像划分条件时一种可能的划分方式。
具体实施方式
为了进一步理解本发明，下面结合实施例对本发明的优选实施方案进行描述，但是应当理解，这些描述只是为进一步说明本发明的特征和优点，而不是对本发明权利要求的限制。
实施例1
一种图像处理方法，具体包括：
对于多视点子块拼接图像中的至少一个图像块，从码流中获取该图像块的信息，包括：宽度width比如为2048、高度height比如为1024、该图像块的左上角像素在多视点块拼接图像中的位置信息(xp,yp)比如为(0，0)、该图像块的左上角像素在源视点图像中的位置信息(xs,ys)为(0，0)、所属源视点相机投影平面的宽度width_cam比如为2048、高度height_cam比如为2048、所属源相机的拍摄视角域FOV_cam比如为180°×360°。
根据当前图像块的宽度信息width、高度信息height以及所属源视点图像的相机参数，算得当前图像块在所属源视点图像相机的经度跨度
和纬度跨度Δθ：
Δθ＝(图像块高度/所属源视点相机投影平面的高度)*所属源视点相机投影平面的纬度跨度＝180°；
当前图像块在水平和垂直域存在至少一个维度的宽视域，因此满足图像划分条件，划分图像块的可能的实现方式中，例如可以直接将图像块划分成多个等份；或者，还可根据图像块的宽度进行N等分，在图像块的长度方向上按照N等分的宽度进行划分，从而得到多个方形的子块图像；或者还可以将图像块划分为多个长度宽度不相等的子块图像；或者根据感兴趣区域(ROI)将图像块划分。本实施例对划分的具体实现方式不做特别限制，其可以根据实际需求进行选择，只要能够实现将图像块划分为至少两个子块，并且子块不满足图像划分条件。
根据所述当前图像块的尺寸信息以及当前图像块在多视点块拼接图像中的位置信息、当前图像块在源视点图像中的位置信息以及当前图像块的划分方式，确定各个子块的尺寸信息和位置信息；
获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块与目标视点的相关性，对每个子块进行分类，标记为有效子块或是无效子块。
实施例2
一种图像处理方法，具体包括：
对于多视点子块拼接图像中的至少一个图像块，从码流中获取该图像块的信息，包括：宽度width比如为2048、高度height比如为1024、该图像块的左上角像素在多视点块拼接图像中的位置信息(xp,yp)比如为(0，0)、该图像块的左上角像素在源视点图像中的位置信息(xs,ys)为(0，0)、所属源视点相机投影平面的宽度width_cam比如为2048、高度height_cam比如为2048、所属源相机的拍摄视角域FOV_cam比如为180°×360°。
根据当前图像块的宽度信息width、高度信息height以及所属源视点图像的相机参数，算得当前图像块在所属源视点图像相机的经度跨度
和纬度跨度Δθ：
Δθ＝(图像块高度/所属源视点相机投影平面的高度)*所属源视点相机投影平面的纬度跨度＝180°；
当前图像块在水平和垂直域存在至少一个维度的宽视域，因此满足图像划分条件，对图像块进行划分。将图像块均匀划分成固定尺寸的子块，比如子块的宽度width和高度height均为64；
根据所述当前图像块的尺寸信息以及当前图像块在多视点块拼接图像中的位置信息、当前图像块在源视点图像中的位置信息以及当前图像块的划分方式，确定各个子块的尺寸信息和位置信息；
获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块与目标视点的相关性，对每个子块进行分类，标记为有效子块或是无效子块。
实施例3
一种图像处理方法，具体包括：
对于多视点子块拼接图像中的至少一个图像块，从码流中获取该图像块的信息，包括：宽度width比如为2048、高度height比如为1024、该图像块的左上角像素在多视点块拼接图像中的位置信息(xp,yp)比如为(0，0)、该图像块的左上角像素在源视点图像中的位置信息(xs,ys)为(0，0)、所属源视点相机投影平面的宽度width_cam比如为2048、高度height_cam比如为2048、所属源相机的拍摄视角域FOV_cam比如为180°×360°。
根据当前图像块的宽度信息width、高度信息height以及所属源视点图像的相机参数，算得当前图像块在所属源视点图像相机的经度跨度
和纬度跨度Δθ：
Δθ＝(图像块高度/所属源视点相机投影平面的高度)*所属源视点相机投影平面的纬度跨度＝180°；
当前图像块在水平和垂直域存在至少一个维度的宽视域，因此满足图像划分条件，将图像块划分成固定FOV的子块，比如22.5°×22.5°，可得到子块的宽度width为256，高度height为128；
根据所述当前图像块的尺寸信息以及当前图像块在多视点块拼接图像中的位置信息、当前图像块在源视点图像中的位置信息以及当前图像块的划分方式，确定各个子块的尺寸信息和位置信息；
获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块与目标视点的相关性，对每个子块进行分类，标记为有效子块或是无效子块。
实施例4
一种图像处理方法，具体包括：
对于多视点子块拼接图像中的至少一个图像块，从码流中获取该图像块的信息，包括：宽度width比如为1024、高度height比如为768、该图像块的左上角像素在多视点块拼接图像中的位置信息(xp,yp)比如为(0，0)、该图像块的左上角像素在源视点图像中的位置信息(xs,ys)为(0，0)、所属源视点相机投影平面的宽度width_cam比如为2048、高度height_cam比如为2048、所属源相机的拍摄视角域FOV_cam比如为180°×360°。
根据当前图像块的宽度信息width、高度信息height以及所属源视点图像的相机参数，算得当前图像块在所属源视点图像相机的经度跨度
和纬度跨度Δθ：
Δθ＝(图像块高度/所属源视点相机投影平面的高度)*所属源视点相机投影平面的纬度跨度＝135°；
给定阈值δ，若存在
和Δθ其一超过阈值，则满足图像划分条件，比如δ＝120°，Δθ＞δ满足图像划分条件。
划分图像的可能的实现方式中，例如可以直接将图像划分成多个等份；或者，还可根据图像的宽度进行N等分，在图像的长度方向上按照N等分的宽度进行划分，从而得到多个方形的子块图像；或者还可以将图像划分为多个长度宽度不相等的子块图像；或者根据感兴趣区域(ROI)将图像块划分。本实施例对划分的具体实现方式不做特别限制，其可以根据实际需求进行选择，只要能够实现将图像划分为至少两个子块，并且子块不满足图像划分条件；
根据所述当前图像块的尺寸信息以及当前图像块在多视点块拼接图像中的位置信息、当前图像块在源视点图像中的位置信息以及当前图像块的划分方式，确定各个子块的尺寸信息和位置信息；
获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块与目标视点的相关性，对每个子块进行分类，标记为有效子块或是无效子块。
实施例5
一种图像处理方法，具体包括：
对于多视点子块拼接图像中的至少一个图像块，从码流中获取该图像块的信息，包括：宽度width比如为1024、高度height比如为768、该图像块的左上角像素在多视点块拼接图像中的位置信息(xp,yp)比如为(0，0)、该图像块的左上角像素在源视点图像中的位置信息(xs,ys)为(0，0)、所属源视点相机投影平面的宽度width_cam比如为2048、高度height_cam比如为2048、所属源相机的拍摄视角域FOV_cam比如为180°×360°。
根据当前图像块的宽度信息width、高度信息height以及所属源视点图像的相机参数，算得当前图像块在所属源视点图像相机的经度跨度
和纬度跨度Δθ：
Δθ＝(图像块高度/所属源视点相机投影平面的高度)*所属源视点相机投影平面的纬度跨度＝135°；
给定阈值δ，若超过阈值，则满足图像划分条件，阈值δ的设置与深度值的扩展倍数M有关：
比如设置δ＝2，将
与Δθ代入上式，M＞2＝δ，满足图像划分条件。
划分图像的可能的实现方式中，例如可以直接将图像划分成多个等份；或者，还可根据图像的宽度进行N等分，在图像的长度方向上按照N等分的宽度进行划分，从而得到多个方形的子块图像；或者还可以将图像划分为多个长度宽度不相等的子块图像；或者根据感兴趣区域(ROI)将图像块划分。本实施例对划分的具体实现方式不做特别限制，其可以根据实际需求进行选择，只要能够实现将图像划分为至少两个子块，并且子块不满足图像划分条件；
根据所述当前图像块的尺寸信息以及当前图像块在多视点块拼接图像中的位置信息、当前图像块在源视点图像中的位置信息以及当前图像块的划分方式，确定各个子块的尺寸信息和位置信息；
获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块与目标视点的相关性，对每个子块进行分类，标记为有效子块或是无效子块。
实施例6
一种图像处理方法，具体包括：
对于多视点图像中的至少一个图像，从码流中获取该图像的信息，包括：宽度width比如为2048、高度height比如为2048、所属源视点相机投影平面的宽度width_cam比如为2048、高度height_cam比如为2048、所属源相机的拍摄视角域FOV_cam比如为180°×360°。
当前图像在水平和垂直域存在至少一个维度的宽视域，因此满足图像划分条件，划分图像的可能的实现方式中，例如可以直接将图像划分成多个等份；或者，还可根据图像的宽度进行N等分，在图像的长度方向上按照N等分的宽度进行划分，从而得到多个方形的子块图像；或者还可以将图像划分为多个长度宽度不相等的子块图像；或者根据感兴趣区域(ROI)将图像块划分。本实施例对划分的具体实现方式不做特别限制，其可以根据实际需求进行选择，只要能够实现将图像划分为至少两个子块，并且子块不满足图像划分条件。
根据所述当前图像的尺寸信息以及当前图像的划分方式，确定各个子块的尺寸信息和位置信息；
获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块与目标视点的相关性，对每个子块进行分类，标记为有效子块或是无效子块。
实施例7
一种图像处理方法，具体包括：
对于多视点图像中的至少一个图像，从码流中获取该图像的信息，包括：宽度width比如为2048、高度heigh比如为2048、所属源视点相机投影平面的宽度width_cam比如为2048、高度height_cam比如为2048、所属源相机的拍摄视角域FOV_cam比如为180°×360°。
当前图像在水平和垂直域存在至少一个维度的宽视域，因此满足图像划分条件，将图像均匀划分成固定尺寸的子块，比如子块的宽度width和高度height均为64；
根据所述当前图像的尺寸信息以及当前图像的划分方式，确定各个子块的尺寸信息和位置信息；
获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块与目标视点的相关性，对每个子块进行分类，标记为有效子块或是无效子块。
实施例8
一种图像处理方法，具体包括：
对于多视点图像中的至少一个图像，从码流中获取该图像的信息，包括：宽度width比如为2048、高度height比如为2048、所属源视点相机投影平面的宽度width_cam比如为2048、高度height_cam比如为2048、所属源相机的拍摄视角域FOV_cam比如为180°×360°。
当前图像在水平和垂直域存在至少一个维度的宽视域，因此满足图像划分条件，将块图像划分成固定FOV的子块，比如22.5°×22.5°，可得到子块的宽度width为256，高度height为128；
根据所述当前图像的尺寸信息以及当前图像的划分方式，确定各个子块的尺寸信息和位置信息；
获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块与目标视点的相关性，对每个子块进行分类，标记为有效子块或是无效子块。
实施例9
一种图像处理方法，具体包括：
对于多视点图像中的至少一个图像，从码流中获取该图像的信息，包括：宽度width比如为768、高度height比如为768、所属源视点相机投影平面的宽度width_cam比如为768、高度height_cam比如为768、所属源相机的拍摄视角域FOV_cam比如为135°×135°。
给定阈值δ，若存在水平和垂直方向视角域其一超过阈值，则满足图像划分条件，比如δ＝120°＜135°，因此满足图像划分条件；
划分图像的可能的实现方式中，例如可以直接将图像划分成多个等份；或者，还可根据图像的宽度进行N等分，在图像的长度方向上按照N等分的宽度进行划分，从而得到多个方形的子块图像；或者还可以将图像划分为多个长度宽度不相等的子块图像；或者根据感兴趣区域(ROI)将图像块划分。本实施例对划分的具体实现方式不做特别限制，其可以根据实际需求进行选择，只要能够实现将图像划分为至少两个子块，并且子块不满足图像划分条件。
根据所述当前图像的尺寸信息以及当前图像的划分方式，确定各个子块的尺寸信息和位置信息；
获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块与目标视点的相关性，对每个子块进行分类，标记为有效子块或是无效子块。
实施例10
一种图像处理方法，具体包括：
对于多视点图像中的至少一个图像，从码流中获取该图像的信息，包括：宽度width比如为768、高度height比如为768、所属源视点相机投影平面的宽度width_cam比如为768、高度height_cam比如为768、所属源相机的拍摄视角域FOV_cam比如为135°×135°。
给定阈值δ，若超过阈值，则满足图像划分条件，阈值δ的设置与深度值的扩展倍数M有关：
比如设置δ＝2，将
与Δθ代入上式，M＞2＝δ，满足图像划分条件。
划分图像的可能的实现方式中，例如可以直接将图像划分成多个等份；或者，还可根据图像的宽度进行N等分，在图像的长度方向上按照N等分的宽度进行划分，从而得到多个方形的子块图像；或者还可以将图像划分为多个长度宽度不相等的子块图像；或者根据感兴趣区域(ROI)将图像块划分。本实施例对划分的具体实现方式不做特别限制，其可以根据实际需求进行选择，只要能够实现将图像划分为至少两个子块，并且子块不满足图像划分条件。
根据所述当前图像的尺寸信息以及当前图像的划分方式，确定各个子块的尺寸信息和位置信息；
获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块与目标视点的相关性，对每个子块进行分类，标记为有效子块或是无效子块。
实施例11
一种图像处理装置，具体包括：
信息获取模块，输入为多视点子块拼接图像码流，输出为至少一个块图像信息，信息包括：宽度width比如为2048、高度height比如为1024、该块图像的左上角像素在多视点块拼接图像中的位置信息(xp,yp)比如为(0，0)、该块图像的左上角像素在源视点图像中的位置信息(xs,ys)为(0，0)、所属源视点相机投影平面的宽度width_cam比如为2048、高度height_cam比如为2048、所属源相机的拍摄视角域FOV_cam比如为180°×360°。
判决模块，输入为块图像的宽度信息width、高度信息height以及所属源视点图像的相机参数，算得当前块图像在所属源视点图像相机的经度跨度
和纬度跨度Δθ：
Δθ＝(块高度/所属源视点相机投影平面的高度)*所属源视点相机投影平面的纬度跨度＝180°；
当前块在水平和垂直域存在至少一个维度的宽视域，因此满足块图像划分条件；
划分模块，如果所述当前图像块满足图像划分条件就进行划分，划分图像块的可能的实现方式中，例如可以直接将图像块划分成多个等份；或者，还可根据图像块的宽度进行N等分，在图像块的长度方向上按照N等分的宽度进行划分，从而得到多个方形的子块图像；或者还可以将图像块划分为多个长度宽度不相等的子块图像；或者根据感兴趣区域(ROI)将图像块划分。本实施例对划分的具体实现方式不做特别限制，其可以根据实际需求进行选择，只要能够实现将图像块划分为至少两个子块，并且子块不满足图像划分条件。根据所述当前图像块的尺寸信息以及当前图像块在多视点块拼接图像中的位置信息、当前图像块在源视点图像中的位置信息以及当前图像块的划分方式，确定各个子块的尺寸信息和位置信息；
分类模块，获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块与目标视点的相关性，对每个子块进行分类，标记为有效子块或是无效子块。
实施例12
一种图像处理装置，具体包括：
信息获取模块，输入为多视点子块拼接图像码流，输出为至少一个图像块信息，信息包括：宽度width比如为2048、高度height比如为1024、该图像块的左上角像素在多视点块拼接图像中的位置信息(xp,yp)比如为(0，0)、该图像块的左上角像素在源视点图像中的位置信息(xs,ys)为(0，0)、所属源视点相机投影平面的宽度width_cam比如为2048、高度height_cam比如为2048、所属源相机的拍摄视角域FOV_cam比如为180°×360°。
判决模块，输入为图像块的宽度信息width、高度信息height以及所属源视点图像的相机参数，算得当前图像块在所属源视点图像相机的经度跨度
和纬度跨度Δθ：
Δθ＝(图像块高度/所属源视点相机投影平面的高度)*所属源视点相机投影平面的纬度跨度＝180°；
当前图像块在水平和垂直域存在至少一个维度的宽视域，因此满足图像划分条件；
划分模块，如果所述当前图像块满足图像划分条件就进行划分，将块图像均匀划分成固定尺寸的子块，比如子块的宽度width和高度height均为128，根据所述当前图像块的尺寸信息以及当前图像块在多视点块拼接图像中的位置信息、当前图像块在源视点图像中的位置信息以及当前图像块的划分方式，确定各个子块的尺寸信息和位置信息；
分类模块，获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块与目标视点的相关性，对每个子块进行分类，标记为有效子块或是无效子块。
实施例13
一种图像处理装置，具体包括：
信息获取模块，输入为多视点子块拼接图像码流，输出为至少一个图像块信息，信息包括：宽度width比如为2048、高度height比如为1024、该图像块的左上角像素在多视点块拼接图像中的位置信息(xp,yp)比如为(0，0)、该图像块的左上角像素在源视点图像中的位置信息(xs,ys)为(0，0)、所属源视点相机投影平面的宽度width_cam比如为2048、高度height_cam比如为2048、所属源相机的拍摄视角域FOV_cam比如为180°×360°。
判决模块，输入为图像块的宽度信息width、高度信息height以及所属源视点图像的相机参数，算得当前图像块在所属源视点图像相机的经度跨度
和纬度跨度Δθ：
Δθ＝(图像块高度/所属源视点相机投影平面的高度)*所属源视点相机投影平面的纬度跨度＝180°；
当前图像块在水平和垂直域存在至少一个维度的宽视域，因此满足图像划分条件；
划分模块，如果所述当前图像块满足图像划分条件就进行划分，将图像块划分成固定FOV的子块，比如22.5°×22.5°，可得到子块的宽度width为256，高度height为128，根据所述当前图像块的尺寸信息以及当前图像块在多视点块拼接图像中的位置信息、当前图像块在源视点图像中的位置信息以及当前图像块的划分方式，确定各个子块的尺寸信息和位置信息；
分类模块，获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块与目标视点的相关性，对每个子块进行分类，标记为有效子块或是无效子块。
实施例14
一种图像处理装置，具体包括：
信息获取模块，输入为多视点子块拼接图像码流，输出为至少一个块图像信息，信息包括：宽度width比如为2048、高度height比如为1024、该块图像的左上角像素在多视点块拼接图像中的位置信息(xp,yp)比如为(0，0)、该块图像的左上角像素在源视点图像中的位置信息(xs,ys)为(0，0)、所属源视点相机投影平面的宽度width_cam比如为2048、高度height_cam比如为2048、所属源相机的拍摄视角域FOV_cam比如为180°×360°。
判决模块，输入为块图像的宽度信息width、高度信息height以及所属源视点图像的相机参数，算得当前块图像在所属源视点图像相机的经度跨度
和纬度跨度Δθ：
Δθ＝(块高度/所属源视点相机投影平面的高度)*所属源视点相机投影平面的纬度跨度＝180°；
给定阈值δ，若存在
和Δθ其一超过阈值，则满足图像划分条件，比如δ＝120°，Δθ＞δ满足图像划分条件；
划分模块，如果所述当前图像块满足图像划分条件就进行划分，划分图像块的可能的实现方式中，例如可以直接将图像块划分成多个等份；或者，还可根据图像块的宽度进行N等分，在图像块的长度方向上按照N等分的宽度进行划分，从而得到多个方形的子块图像；或者还可以将图像块划分为多个长度宽度不相等的子块图像；或者根据感兴趣区域(ROI)将图像块划分。本实施例对划分的具体实现方式不做特别限制，其可以根据实际需求进行选择，只要能够实现将图像块划分为至少两个子块，并且子块不满足图像划分条件。根据所述当前图像块的尺寸信息以及当前图像块在多视点块拼接图像中的位置信息、当前图像块在源视点图像中的位置信息以及当前图像块的划分方式，确定各个子块的尺寸信息和位置信息；
分类模块，获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块与目标视点的相关性，对每个子块进行分类，标记为有效子块或是无效子块。
实施例15
一种图像处理装置，具体包括：
信息获取模块，输入为多视点子块拼接图像码流，输出为至少一个块图像信息，信息包括：宽度width比如为2048、高度height比如为1024、该块图像的左上角像素在多视点块拼接图像中的位置信息(xp,yp)比如为(0，0)、该块图像的左上角像素在源视点图像中的位置信息(xs,ys)为(0，0)、所属源视点相机投影平面的宽度width_cam比如为2048、高度height_cam比如为2048、所属源相机的拍摄视角域FOV_cam比如为180°×360°。
判决模块，输入为块图像的宽度信息width、高度信息height以及所属源视点图像的相机参数，算得当前块图像在所属源视点图像相机的经度跨度
和纬度跨度Δθ：
Δθ＝(块高度/所属源视点相机投影平面的高度)*所属源视点相机投影平面的纬度跨度＝180°；
给定阈值δ，若超过阈值，则满足图像划分条件，阈值δ的设置与深度值的扩展倍数M有关：
比如设置δ＝2，将
与Δθ代入上式，M＞2＝δ，满足图像划分条件。
划分模块，如果所述当前图像块满足图像划分条件就进行划分，划分图像块的可能的实现方式中，例如可以直接将图像块划分成多个等份；或者，还可根据图像块的宽度进行N等分，在图像块的长度方向上按照N等分的宽度进行划分，从而得到多个方形的子块图像；或者还可以将图像块划分为多个长度宽度不相等的子块图像；或者根据感兴趣区域(ROI)将图像块划分。本实施例对划分的具体实现方式不做特别限制，其可以根据实际需求进行选择，只要能够实现将图像块划分为至少两个子块，并且子块不满足图像划分条件。根据所述当前图像块的尺寸信息以及当前图像块在多视点块拼接图像中的位置信息、当前图像块在源视点图像中的位置信息以及当前图像块的划分方式，确定各个子块的尺寸信息和位置信息；
分类模块，获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块与目标视点的相关性，对每个子块进行分类，标记为有效子块或是无效子块。
实施例16
一种图像处理装置，具体包括：
信息获取模块，输入为多视点图像码流，输出为至少一个块图像信息，信息包括：宽度width比如为2048、高度height比如为2048、所属源视点相机投影平面的宽度width_cam比如为2048、高度height_cam比如为2048、所属源相机的拍摄视角域FOV_cam比如为180°×360°。
判决模块，当前块在水平和垂直域存在至少一个维度的宽视域，因此满足块图像划分条件；
划分模块，如果所述当前图像满足图像划分条件就进行划分，划分图像的可能的实现方式中，例如可以直接将图像划分成多个等份；或者，还可根据图像的宽度进行N等分，在图像的长度方向上按照N等分的宽度进行划分，从而得到多个方形的子块图像；或者还可以将图像划分为多个长度宽度不相等的子块图像；或者根据感兴趣区域(ROI)将图像划分。本实施例对划分的具体实现方式不做特别限制，其可以根据实际需求进行选择，只要能够实现将图像划分为至少两个子块，并且子块不满足图像划分条件。根据所述当前图像的尺寸信息以及当前图像的划分方式，确定各个子块的尺寸信息和位置信息；
分类模块，获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块与目标视点的相关性，对每个子块进行分类，标记为有效子块或是无效子块。
实施例17
一种图像处理装置，具体包括：
信息获取模块，输入为多视点图像码流，输出为至少一个图像信息，信息包括：宽度width比如为2048、高度height比如为2048、所属源视点相机投影平面的宽度width_cam比如为2048、高度height_cam比如为2048、所属源相机的拍摄视角域FOV_cam比如为180°×360°。
判决模块，当前图像在水平和垂直域存在至少一个维度的宽视域，因此满足图像划分条件；
划分模块，如果所述当前图像满足图像划分条件就进行划分，将图像均匀划分成固定尺寸的子块，比如子块的宽度width和高度height均为64，根据所述当前图像的尺寸信息以及当前图像的划分方式，确定各个子块的尺寸信息和位置信息；
分类模块，获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块与目标视点的相关性，对每个子块进行分类，标记为有效子块或是无效子块。
实施例18
一种图像处理装置，具体包括：
信息获取模块，输入为多视点图像码流，输出为至少一个图像信息，信息包括：宽度width比如为2048、高度height比如为2048、所属源视点相机投影平面的宽度width_cam比如为2048、高度height_cam比如为2048、所属源相机的拍摄视角域FOV_cam比如为180°×360°。
判决模块，当前图像在水平和垂直域存在至少一个维度的宽视域，因此满足图像划分条件；
划分模块，如果所述当前图像满足图像划分条件就进行划分，将图像划分成固定FOV的子块，比如22.5°×22.5°，可得到子块的宽度width为256，高度height为128，根据所述当前图像的尺寸信息以及当前图像的划分方式，确定各个子块的尺寸信息和位置信息；
分类模块，获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块与目标视点的相关性，对每个子块进行分类，标记为有效子块或是无效子块。
实施例19
一种图像处理装置，具体包括：
信息获取模块，输入为多视点图像码流，输出为至少一个图像信息，信息包括：宽度width比如为768、高度height比如为768、所属源视点相机投影平面的宽度width_cam比如为768、高度height_cam比如为768、所属源相机的拍摄视角域FOV_cam比如为135°×135°。
判决模块，给定阈值δ，若存在水平和垂直方向视角域其一超过阈值，则满足图像划分条件，比如δ＝120°＜135°，因此满足图像划分条件；
划分模块，如果所述当前图像满足图像划分条件就进行划分，划分图像的可能的实现方式中，例如可以直接将图像划分成多个等份；或者，还可根据图像的宽度进行N等分，在图像的长度方向上按照N等分的宽度进行划分，从而得到多个方形的子块图像；或者还可以将图像划分为多个长度宽度不相等的子块图像；或者根据感兴趣区域(ROI)将图像划分。本实施例对划分的具体实现方式不做特别限制，其可以根据实际需求进行选择，只要能够实现将图像划分为至少两个子块，并且子块不满足图像划分条件。根据所述当前图像的尺寸信息以及当前图像的划分方式，确定各个子块的尺寸信息和位置信息；
分类模块，获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块与目标视点的相关性，对每个子块进行分类，标记为有效子块或是无效子块。
实施例20
一种图像处理装置，具体包括：
信息获取模块，输入为多视点图像码流，输出为至少一个图像信息，信息包括：宽度width比如为768、高度height比如为768、所属源视点相机投影平面的宽度width_cam比如为768、高度height_cam比如为768、所属源相机的拍摄视角域FOV_cam比如为135°×135°。
判决模块，给定阈值δ，若超过阈值，则满足图像划分条件，阈值δ的设置与深度值的扩展倍数M有关：
比如设置δ＝2，将
与Δθ代入上式，M＞2＝δ，满足图像划分条件。
划分模块，如果所述当前图像满足图像划分条件就进行划分，划分图像的可能的实现方式中，例如可以直接将图像划分成多个等份；或者，还可根据图像的宽度进行N等分，在图像的长度方向上按照N等分的宽度进行划分，从而得到多个方形的子块图像；或者还可以将图像划分为多个长度宽度不相等的子块图像；或者根据感兴趣区域(ROI)将图像划分。本实施例对划分的具体实现方式不做特别限制，其可以根据实际需求进行选择，只要能够实现将图像划分为至少两个子块，并且子块不满足图像划分条件。根据所述当前图像的尺寸信息以及当前图像的划分方式，确定各个子块的尺寸信息和位置信息；
分类模块，获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块与目标视点的相关性，对每个子块进行分类，标记为有效子块或是无效子块。
Claims (10)
1.一种图像处理的方法，其特征在于，包括：
对于多视点图像或多视点子块拼接图像中的至少一个图像或图像块，获取所述图像或图像块在所属源视点相机的经度跨度和纬度跨度；
利用所述图像或图像块在所属源视点相机的经度跨度和纬度跨度判断是否满足图像划分条件；
如果满足图像划分条件则进行图像划分，根据所获当前图像或图像块的尺寸信息、相机参数和划分方式，以及当前图像块在多视点块拼接图像和源视点图像中的位置信息，确定各个子块的尺寸信息和位置信息；
获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块与目标视点的相关性，将每个子块标记为有效子块或无效子块。
2.根据权利1所述的一种图像处理的方法，其特征在于，当前图像的尺寸信息包括：该图像的宽度信息width、高度信息height和该图像所属源视点相机投影平面的宽度信息width_cam和高度信息height_cam。
3.根据权利1所述的一种图像处理的方法，其特征在于，当前图像块的尺寸信息和位置信息包括：该图像块的宽度信息width、高度信息height、该图像块在多视点子块拼接图像中的位置信息、该图像块在源视点图像中的位置信息和该图像块所属源视点相机投影平面的宽度信息width_cam和高度信息height_cam；
利用所述图像块的宽度信息width、高度信息height以及所属源视点相机投影平面的宽度信息width_cam、高度信息height_cam，得到当前图像块在所属源视点相机的经度跨度和纬度跨度。
4.根据权利1所述的一种图像处理的方法，其特征在于，满足以下任一条件，则判断所述图像或图像块满足图像划分条件：
(1)所述图像或图像块在所属源视点相机的经度跨度超过180°；
(2)所述图像或图像块在所属源视点相机的纬度跨度超过180°；
(3)所述图像或图像块在所属源视点相机的经度跨度超过阈值；
(4)所述图像或图像块在所属源视点相机的纬度跨度超过阈值。
5.根据权利4所述的一种图像处理的方法，其特征还在于，所述阈值的设置包括以下方式：
(1)所述图像的所属源视点相机或所述图像块在所属源视点相机的经度最大跨度；
(2)所述图像的所属源视点相机或所述图像块在所属源视点相机的纬度最大跨度；
(3)所述图像或图像块的深度值的最大扩展倍数M，M计算公式如下：
6.根据权利1所述的一种图像处理的方法，其特征还在于，图像划分包括以下方式：
直接将图像或图像块划分成多个等份；
或者，根据图像或图像块的宽度进行N等分，在图像或图像块的长度方向上按照N等分的宽度进行划分，从而得到多个方形的子块图像；
或者，将图像或图像块划分为多个长度宽度不相等的子块图像；
或者，根据感兴趣区域对图像或图像块划分；
其中，任何一种划分方式将图像划分为至少两个子块，并且子块不满足所述图像划分条件。
7.根据权利1所述的一种图像划分的方法，其特征还在于，将子块标记为有效子块或无效子块的方式为：
获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块在目标视点的可见性，如果不可见则标记为无效子块，如果可见则标记为有效子块。
8.根据权利1-7任一项所述的一种图像划分的方法，其特征还在于，还包括：
在将子块从源视点图像向目标视点投影渲染的过程中，舍弃无效子块。
9.一种图像处理的装置，其特征在于，包括：
判决模块，利用图像的所属源视点相机或图像块在所属源视点相机的经度跨度和纬度跨度判断是否满足图像划分条件；
划分模块，如果满足图像划分条件则进行图像划分，根据所获当前图像或图像块的尺寸信息、相机参数和划分方式，以及当前图像块在多视点块拼接图像中的位置信息、当前图像块在源视点图像中的位置信息，确定各个子块的尺寸信息和位置信息；
分类模块，获取目标视点图像的宽度信息width_target、高度信息height_target和目标相机的参数，结合各个子块的尺寸信息和位置信息，以及源视点相机参数，判断每个子块与目标视点的相关性，将每个子块标记为有效子块或无效子块。
10.根据权利9所述的一种图像划分的装置，其特征还在于，还包括：
信息获取模块，对于多视点图像中的至少一个图像，获取该图像的宽度信息width、高度信息height、该图像块所属源视点相机投影平面的宽度信息width_cam、高度信息height_cam和相机参数；
或者，对于多视点子块拼接图像中的至少一个图像块，获取该图像块的宽度信息width、高度信息height、该图像块在多视点子块拼接图像中的位置信息、该图像块在源视点图像中的位置信息和该图像块所属源视点相机投影平面的宽度信息width_cam、高度信息height_cam和相机参数；并利用所述图像块的宽度信息width、高度信息height以及所属源视点相机投影平面的宽度信息width_cam、高度信息height_cam，得到当前图像块在所属源视点相机的经度跨度和纬度跨度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110433498.0A CN113347403B (zh) | 2021-04-19 | 2021-04-19 | 一种图像处理方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110433498.0A CN113347403B (zh) | 2021-04-19 | 2021-04-19 | 一种图像处理方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113347403A true CN113347403A (zh) | 2021-09-03 |
| CN113347403B CN113347403B (zh) | 2023-10-27 |
Family
ID=77468354
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110433498.0A Active CN113347403B (zh) | 2021-04-19 | 2021-04-19 | 一种图像处理方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113347403B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130101170A1 (en) * | 2011-10-21 | 2013-04-25 | Industry-University Cooperation Foundation Hanyang University | Method of image processing and device therefore |
| US20200154138A1 (en) * | 2017-07-31 | 2020-05-14 | Huawei Technologies Co., Ltd. | Image Processing Method, Terminal, and Server |
| JP2020078079A (ja) * | 2013-09-11 | 2020-05-21 | ソニー株式会社 | 画像処理装置および方法 |
| CN112188180A (zh) * | 2019-07-05 | 2021-01-05 | 浙江大学 | 一种处理子块图像的方法及装置 |
| CN112598572A (zh) * | 2019-10-01 | 2021-04-02 | 浙江大学 | 一种筛选子块图像与处理单元的方法及装置 |
| CN112601083A (zh) * | 2017-06-28 | 2021-04-02 | 华为技术有限公司 | 一种图像数据的编码、解码方法及装置 |
-
2021
- 2021-04-19 CN CN202110433498.0A patent/CN113347403B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130101170A1 (en) * | 2011-10-21 | 2013-04-25 | Industry-University Cooperation Foundation Hanyang University | Method of image processing and device therefore |
| JP2020078079A (ja) * | 2013-09-11 | 2020-05-21 | ソニー株式会社 | 画像処理装置および方法 |
| CN112601083A (zh) * | 2017-06-28 | 2021-04-02 | 华为技术有限公司 | 一种图像数据的编码、解码方法及装置 |
| US20200154138A1 (en) * | 2017-07-31 | 2020-05-14 | Huawei Technologies Co., Ltd. | Image Processing Method, Terminal, and Server |
| CN112188180A (zh) * | 2019-07-05 | 2021-01-05 | 浙江大学 | 一种处理子块图像的方法及装置 |
| CN112598572A (zh) * | 2019-10-01 | 2021-04-02 | 浙江大学 | 一种筛选子块图像与处理单元的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113347403B (zh) | 2023-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11863732B1 (en) | Image data encoding/decoding method and apparatus | |
| US10904570B2 (en) | Method for encoding/decoding synchronized multi-view video by using spatial layout information and apparatus of the same | |
| EP2005757B1 (en) | Efficient encoding of multiple views | |
| CN112598572B (zh) | 一种筛选子块图像与处理单元的方法及装置 | |
| Salahieh et al. | Test model for immersive video | |
| US11212507B2 (en) | Method and apparatus for processing three-dimensional images | |
| CN110999285B (zh) | 基于纹理图与网格的3d图像信息的处理 | |
| CN110945868B (zh) | 用于生成场景的平铺三维图像表示的装置和方法 | |
| CN111713103A (zh) | 用于处理包括堆栈在具有填充的基于立方体的投影布局中的投影面的基于投影的帧的方法 | |
| CN114071116A (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| JP7344988B2 (ja) | ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品 | |
| CN113347403B (zh) | 一种图像处理方法及装置 | |
| CN113228658B (zh) | 沉浸式视频比特流处理 | |
| CN111936929A (zh) | 采用360°虚拟现实投影的投影布局的重构的基于投影的帧的样本适应性偏移滤波方法用于重构的基于投影的帧的样本适应性偏移滤波方法 | |
| CN112806015B (zh) | 全向视频的编码和解码 | |
| US20200359000A1 (en) | Method for processing immersive video and method for producing immersive video | |
| CN114727084A (zh) | 一种筛选图像的方法及装置 | |
| JP2008167267A (ja) | ステレオ画像符号化装置、ステレオ画像符号化方法及びステレオ画像符号化プログラム | |
| US11064218B2 (en) | Method and apparatus for encoding/decoding image for virtual view synthesis | |
| WO2021136372A1 (en) | Video decoding method for decoding bitstream to generate projection-based frame with guard band type specified by syntax element signaling | |
| US20220122216A1 (en) | Generating and processing an image property pixel structure | |
| WO2022141636A1 (en) | Methods and systems for processing video streams with layer information | |
| WO2023227582A1 (en) | Decoder side depth and color alignment with the assistance of metadata for the transcoding of volumetric video | |
| WO2024042009A1 (en) | Methods for processing depth maps | |
| CN115885513A (zh) | 用于对体积视频进行编码和解码的方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |