CN112529773B - Qpd图像后处理方法及qpd相机 - Google Patents
Qpd图像后处理方法及qpd相机 Download PDFInfo
- Publication number
- CN112529773B CN112529773B CN202011502334.0A CN202011502334A CN112529773B CN 112529773 B CN112529773 B CN 112529773B CN 202011502334 A CN202011502334 A CN 202011502334A CN 112529773 B CN112529773 B CN 112529773B
- Authority
- CN
- China
- Prior art keywords
- image
- qpd
- parallax
- processing
- pixels
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000012805 post-processing Methods 0.000 title claims abstract description 55
- 238000012545 processing Methods 0.000 claims abstract description 42
- 238000010586 diagram Methods 0.000 claims description 32
- 238000001914 filtration Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000005260 corrosion Methods 0.000 claims description 5
- 230000007797 corrosion Effects 0.000 claims description 5
- 230000000877 morphologic effect Effects 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 10
- 230000009286 beneficial effect Effects 0.000 abstract description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000002146 bilateral effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 230000003628 erosive effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005530 etching Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Classifications
-
- G06T3/04—
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/155—Segmentation; Edge detection involving morphological operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种QPD图像后处理方法和QPD相机。所述方法中，在获得QPD原始图像后，对QPD原始图像进行拆分组合处理得到具有视差的多路子图，再利用多路子图得到一视差图，然后对视差图进行去噪处理和二值化处理，获得二值图像，再扩宽二值图像中前景目标的边界区域，得到三元图，接着对三元图进行抠图处理，得到一前景目标掩模并利用前景目标掩模进行图像后处理。利用上述方法可以获得前景目标的锐利边界，从而获得优质的前景目标掩模，有助于提高图像后处理效果。所述QPD相机利用其内部的视差图获取模块、去噪模块、二值化模块、三元图获取模块、抠图模块和图像处理模块，可以获得优质的前景目标掩模，有助于提高相机的图像后处理效果。
Description
技术领域
本发明涉及图像处理技术领域，特别涉及一种QPD图像后处理方法和QPD相机。
背景技术
图像的背景虚化(Bokeh)是一种重要的拍摄模式，如手机前置摄像头即常采用背景虚化的拍摄模式。通过背景虚化，使景深变浅，图像焦点聚集在主题上。
目前，四相像素(QPD)技术由于可使摄像装置(例如手机摄像头)实现更高速度的自动对焦，已被应用到相机上。
图1为一种QPD图像的像素结构图。如图1所示，利用QPD(四相像素)相机拍摄获得的QPD原始图像中，相邻的四个像素(每一小方格代表一像素)共用一个微型镜头，相邻的四个像素可以使用相同的颜色滤波器(例如红色R、绿色G、蓝色B滤波器)。QPD图像中相邻的四个像素可拆分处理为四路内容相似，但是两两之间存在一定视差的子图。
图2为利用现有的QPD图像后处理方法获得的视差图。由于由QPD原始图像拆分获得的四路子图的焦面视差为0，焦前视差小于0，焦后视差大于0，且视差分布的范围非常小，如图2所示，利用现有的方法通过子图处理获得的视差图中空洞较多，测得的噪声数据也较多，图中物体内部细节也不可得，导致根据该视差图中前景目标边界不准确，从而获得的前景目标掩模质量较差，若使用该前景目标掩模进行背景虚化等图像后处理，图像后处理的效果较差，获得的目标图像质量较差。目前常见的设备例如双目视觉设备获得的视差图噪声小，边界锐利，过度平缓，因此现有的视差图后处理策略例如联合加权中值滤波、联合超像素分割约束平滑区域误匹配均等不适用于QPD图像的视差图后处理。
发明内容
本发明提供一种QPD图像后处理方法和QPD相机，可以对QPD原始图像进行处理获得优质的前景目标掩模，有助于提高图像后处理效果。
本发明一方面提供一种QPD图像后处理方法，所述方法包括：首先，获得QPD原始图像，对所述QPD原始图像进行拆分组合处理，得到多路子图，两两所述子图之间具有视差，并利用多路所述子图得到一视差图；然后，对所述视差图进行去噪处理；再对去噪处理后的所述视差图进行二值化处理，获得二值图像；接着，扩宽所述二值图像中前景目标的边界区域，得到三元图，其中，所述三元图包括前景目标、背景和待求像素，所述待求像素位于所述前景目标与所述背景之间；再对所述三元图进行抠图处理，得到一前景目标掩模；以及利用所述前景目标掩模进行图像后处理，得到目标图像。
可选的，对所述QPD原始图像进行拆分组合处理，得到所述多路子图的步骤包括：将所述QPD原始图像进行拆分组合，得到四幅拜耳图；以及分别将四幅所述拜耳图进行图像转换，得到四幅所述子图。
可选的，所述QPD原始图像和所述子图均为彩色图或灰度图。
可选的，对所述视差图进行去噪处理的方法包括：滤波去噪、连通域检测或者左右一致性检测。
可选的，在对所述视差图进行去噪处理后，进行所述二值化处理前，所述方法还包括：对所述视差图进行空洞填充。
可选的，采用形态学滤波的方法来扩宽所述二值图像中前景目标的边界区域。
可选的，扩宽所述二值图像中所述前景目标的边界区域，得到所述三元图的步骤包括：对所述二值图像进行膨胀操作，获得第一中间图像，并对所述二值图像进行腐蚀操作，获得第二中间图像；以及将所述第一中间图像和所述第二中间图像合成为所述三元图。
可选的，对所述三元图进行抠图处理的方法包括：泊松抠图、贝叶斯抠图、封闭式表面抠图或KNN抠图。
可选的，利用所述前景目标掩模对所述子图进行图像背景虚化，获得目标图像。
可选的，利用所述前景目标掩模对所述子图进行背景替换，获得目标图像。
本发明的QPD图像后处理方法可以对QPD原始图像进行处理获得前景目标的锐利边界，从而能够得到优质的前景目标掩模，利用该前景目标掩模进行图像后处理(例如进行背景虚化)时，有助于提高图像后处理效果。
本发明的另一方面还提供一种QPD相机，所述QPD相机包括：视差图获取模块、去噪模块、二值化模块、三元图获取模块、抠图模块和图像处理模块。所述视差图获取模块用于对所述QPD原始图像进行拆分组合处理，得到多路子图，两两所述子图之间具有视差，并利用多路所述子图得到一视差图；所述去噪模块用于对所述视差图进行去噪处理；所述二值化模块用于对去噪处理后的所述视差图进行二值化处理，获得二值图像；所述三元图获取模块用于扩宽所述二值图像中前景目标的边界区域，得到三元图，其中，所述三元图包括前景目标、背景和待求像素，所述待求像素位于所述前景目标与所述背景之间；所述抠图模块用于对所述三元图进行抠图处理，得到一前景目标掩模；所述图像处理模块用于利用所述前景目标掩模进行图像后处理，得到目标图像。
本发明的QPD相机的所述视差图获取模块获得视差图后，去噪模块和二值化模块依次对所述视差图进行去噪处理和二值化处理得到二值化图像，然后所述三元图获取模块扩宽所述二值图像中前景目标的边界区域以获得三元图，接着所述抠图模块对所述三元图进行抠图处理得到一前景目标掩模，所述图像处理模块再利用所述前景目标掩模进行图像后处理，得到目标图像。因此，所述QPD相机可以对QPD原始图像进行处理获得前景目标的锐利边界，从而能够得到优质的前景目标掩模，有助于提高图像后处理效果，提高QPD相机的性能。
附图说明
图1为一种QPD图像的像素结构图。
图2为利用现有的QPD图像后处理方法获得的视差图。
图3为本发明一实施例的QPD图像后处理方法的流程图。
图4为利用本发明一实施例的QPD图像后处理方法获得的前景目标掩模。
图5为本发明一实施例的QPD相机的示意图。
具体实施方式
以下结合附图和具体实施例对本发明提出的QPD图像后处理方法以及QPD相机作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
为了从QPD原始图像中获得优质的前景目标掩模，本实施例提供一种QPD图像后处理方法。图3为本发明一实施例的QPD图像后处理方法的流程图。如图3所示，所述QPD图像后处理方法包括：
S1，获得QPD原始图像，对所述QPD原始图像进行拆分组合处理，得到多路子图，两两所述子图之间具有视差，并利用多路所述子图得到一视差图；
S2，对所述视差图进行去噪处理；
S3，对去噪处理后的所述视差图进行二值化处理，获得二值图像；
S4，扩宽所述二值图像中前景目标的边界区域，得到三元图，所述三元图包括前景目标、背景和待求像素，所述待求像素位于所述前景目标与所述背景之间；
S5，对所述三元图进行抠图处理，得到一前景目标掩模；以及
S6，利用所述前景目标掩模进行图像后处理，得到目标图像。
步骤S1中，对所述QPD原始图像进行拆分组合处理，得到所述多路子图的步骤可以包括：将所述QPD原始图像进行拆分组合，得到四幅拜耳图(bayer格式的图像)，再分别将四幅所述拜耳图进行图像转换，得到四幅所述子图。所述QPD原始图像和所述子图可以均为彩色图或者灰度图。其中，当QPD原始图像中的相邻的四个像素使用相同的颜色滤波器时，所述QPD原始图像和所述子图可以为彩色图；当QPD原始图像中的相邻的四个像素未使用颜色滤波器时，所述QPD原始图像和所述子图可以为灰度图。
以所述QPD原始图像和所述子图均是彩色图作为示例，参考图1，QPD图像中相邻的颜色相同的四个像素为一组，同组的四个像素中两两之间存在视差，对每组的四个像素进行拆分，再将位置相同的像素进行组合，例如，将各组中位于左上的像素、位于右上的像素、位于左下的像素以及位于右下的像素分别进行组合，获得四幅拜耳图，两两所述拜尔图之间存在视差。然后，根据拜耳格式插值红蓝算法或是拜耳格式插值绿算法，计算获得四路内容相似但两两之间存在一定视差的四路子图。
在获得两两之间具有视差的多路子图后，利用多路所述子图得到一视差图。所述视差图中每个像素点均具有视差值。具体的，利用多路所述子图得到一视差图的方法可以包括立体匹配法。一实施例中，可以利用任意两路子图进行立体匹配以得到一视差图。另一实施例中，可以利用三路或四路子图获得一视差图，获得该视差图的步骤包括：以某一子图为基准图，利用其它子图分别与该基准图进行立体匹配，分别获得对应的视差值(每路子图与基准图进行立体匹配后，基准图的每个像素点即可得到对应的一视差值，该视差值可以是有效视差值或无效视差值)，再将基准图中每个像素点对应的视差值(每个像素点对应至少一个视差值)进行融合，得到每一个像素点的目标视差值，该目标视差值即为视差图中对应像素点的视差值。对每个像素点对应的视差值进行融合的方法可以包括将每个像素点对应的至少一个视差值进行加权平均获得目标视差值。
为了提高所述视差图的质量，在获得视差图后，对所述视差图进行去噪处理，以去除所述视差图中的噪声(噪点)。
对所述视差图进行去噪处理的方法可以包括：滤波去噪、连通域检测或者左右一致性检测。所述滤波去噪可以为中值滤波或是双边滤波。中值滤波的基本思想是用像素点邻域灰度值的中值来代替该像素点的灰度值，该方法在去除脉冲噪声、椒盐噪声的同时又能保留图像的边缘细节。双边滤波是结合图像的空间邻近度和像素值相似度的一种折衷处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的。
由于在一幅子图中的可见的背景像素可能在另一幅子图中被前景目标遮挡而没有可以匹配的对应点，例如在基于立体匹配的深度计算中，导致在视差图中出现“空洞(gap)”，影响了视差图的质量。因此，本实施例中，在对所述视差图进行去噪处理后，还可以对所述视差图进行空洞填充，以进一步提高视差图的质量。本实施例中，可以采取邻域有效视差值法等本领域公知的方法对进行空洞填充。
例如，对所述视差图进行空洞填充的步骤可以包括：计算视差图的积分图，并保存对应积分图中每个积分值处所有累加的像素点个数n(空洞处像素值为0，空洞处的像素点不计入n中)；进行多层次均值滤波，首先以一个较大的初始窗口去做均值滤波，将大区域的空洞赋值，然后在下一次滤波时，将窗口尺寸缩小为原来的一半，利用原来的积分图再次滤波，给较小的空洞赋值(覆盖原来的值)，依次缩小窗口尺寸，直至窗口大小变为3x3，此时停止滤波，完成空洞填充。进行多层次滤波的原因是对于初始较大的空洞区域，需要参考更多的邻域值，如果采用较小的滤波窗口，不能够完全填充，而如果全部采用较大的窗口，则图像会被严重平滑。因此，根据空洞的大小，不断调整滤波窗口，先用大窗口给所有空洞赋值，然后利用逐渐变成小窗口滤波覆盖原来的值，这样既能保证空洞能被填充上，也能保证图像不会被过度平滑。
在步骤S3中，对去噪处理后的所述视差图进行二值化处理，获得二值图像。图像二值化(Image Binarization)就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程。图像的二值化可使图像中数据量大为减少，且能凸显出目标的轮廓，便于对视差图进行后续处理。本实施例中，对去噪处理后的所述视差图进行二值化处理可以采用最大类间方差(OTSU)法或Kittle算法。在所述二值图像中，前景像素的像素值为1(表示白)，背景像素的像素值为0(表示黑)，也就是说，在二值图像中，前景目标为白色，背景为黑色。
在获得所述二值图像后，扩宽所述二值图像中前景目标的边界区域，得到三元图，所述三元图包括前景目标、背景和待求像素，所述待求像素位于所述所述前景目标与所述背景之间。在三元图中，前景目标可以是白色，背景可以是黑色，待求像素可以用灰色表示。
本实施例中，可以采用形态学滤波的方法来扩宽所述二值图像中前景目标的边界区域。具体步骤可以包括：对二值图像进行膨胀(dilation)操作，获得第一中间图像，所述第一中间图像中前景目标较所述二值图像中的前景目标扩宽，并对二值图像(原始的二值图像)进行腐蚀(erosion)操作，获得第二中间图像，所述第二中间图像中前景目标较所述二值图像中的前景目标压缩；以及将所述第一中间图像和所述第二中间图像合成为所述三元图。
所述膨胀操作的具体步骤可以包括：用一个结构元素(例如为3×3的像素大小)扫描二值图像中的每一个像素，将结构元素中的每一个像素与其覆盖的像素做“或”操作，如果像素值都为0，则该像素的像素值为0，否则该像素的像素值为1。腐蚀操作的具体步骤可以包括：用一个结构元素(例如3×3的像素大小)扫描图像中的每一个像素，将结构元素中的每一个像素与其覆盖的像素做“与”操作，如果像素值都为1，则该像素的像素值为1，否则该像素的像素值为0。对于膨胀操作而言，只要以当前点(当前处理元素)为中心的3×3结构元素中任一点的像素值为1，则当前点的像素值就置1了；腐蚀操作与膨胀操作相反，只要以当前点(当前处理元素)为中心的3×3结构元素中任一点的像素值为0，则当前点的像素值就置0，但腐蚀操作并不是膨胀操作的逆运算。
作为示例，首先，对二值图像进行膨胀操作，即在二值图像中找到像素值为1的像素点，将它的邻近像素点都设置为1，获得第一中间图像，膨胀操作可以扩大白色值(像素值为1)范围，压缩黑色值(像素值为0)范围，也就是说，第一中间图像中前景目标的范围被扩宽且背景的范围被压缩；接着，对二值图像进行腐蚀操作，即在二值图像中找到像素值为0的像素点，将它的邻近像素点都设置为0，获得第二中间图像，腐蚀操作可以扩大黑色值范围，压缩白色值范围，也就是说，第二中间图像中背景的范围被扩宽且前景目标的范围被压缩；再将所述第一中间图像和所述第二中间图像合成为包括前景目标、背景和待求像素的三元图。
本实施例中，可以通过对第一中间图像和第二中间图像中前景目标的边界进行比较得到待求像素，所述待求像素为第一中间图像中前景目标的边界到第二中间图像中前景目标的边界之间的像素。所述待求像素就是不确定为前景目标或是背景的像素，需要在后续步骤中进行区分确定。
在获得三元图后，对所述三元图进行抠图处理，得到一前景目标掩模。本实施例中，抠图处理可以是指将三元图分为前景和背景两块。在所述抠图处理过程中，通过抠图处理的算法可以确定各像素尤其是待求像素属于前景目标或背景，以获得前景目标的锐利边界，有助于得到毛发可分的优质前景目标掩模。对所述三元图进行抠图处理的方法可以包括：泊松抠图(Poission Matting)、贝叶斯抠图(Bayes Matting)、封闭式表面抠图(ClosedformMatting)或KNN抠图。
在获得所述前景目标掩模后，利用所述前景目标掩模进行图像后处理，得到目标图像。一实施例中，可以利用所述前景目标掩模对所述子图(对任一子图或是所有子图)进行图像背景虚化，获得目标图像，此时所述目标图像即为背景虚化图像。另一实施例中，可以利用所述前景目标掩模对所述子图进行背景替换，获得目标图像，此时所述目标图像即为背景替换图像。
以利用所述前景目标掩模进行图像背景虚化作为示例，其步骤可以包括：根据所述前景目标掩模，对所述子图进行低通滤波获得背景对应的像素；对背景对应的像素使用高斯模糊或均匀模糊，得到背景图层；根据所述前景目标掩模，提取子图中前景目标对应的像素，获得前景图层；再将背景图层和前景图层合成为一背景虚化图像。
图4为利用本发明一实施例的QPD图像后处理方法获得的前景目标掩模。如图4所示，在利用本实施例的QPD图像后处理方法得到的前景目标掩模中前景目标的边界锐利，前景目标掩模的质量较好，以该前景目标掩模对子图进行背景虚化或背景替换等图像后处理，图像后处理的效果较好。
本实施例的QPD图像后处理方法中，首先获得QPD原始图像，对所述QPD原始图像进行拆分组合处理，得到多路子图，两两所述子图之间具有视差，并利用多路所述子图得到一视差图，然后对所述视差图进行去噪处理，可以去除视差图中的噪声，提高视差图的质量，再对去噪处理后的所述视差图进行二值化处理，获得二值图像，以便于图像的后处理，接着扩宽所述二值图像中前景目标的边界区域，得到包括前景目标、背景和待求像素的三元图，在对所述三元图进行抠图处理，得到一前景目标掩模，以及利用所述前景目标掩模进行图像后处理，得到目标图像。利用该QPD图像后处理方法可以对QPD原始图像进行处理获得前景目标的锐利边界，从而能够获得优质的前景目标掩模，利用该前景目标掩模对子图进行图像后处理，有助于提高图像后处理的效果。
本实施例还提供一种QPD相机。所述QPD相机可以是可独立使用的相机，也可以作为手机摄像头设置在手机上，还可以作为电脑摄像头设置在电脑上。
图5为本发明一实施例的QPD相机的示意图。如图5所示，所述QPD相机包括视差图获取模块1、去噪模块2、二值化模块3、三元图获取模块4、抠图模块5和图像处理模块6。所述视差图获取模块1用于对所述QPD原始图像进行拆分组合处理，得到多路子图，两两所述子图之间具有视差，并利用多路所述子图得到一视差图。所述去噪模块2用于对所述视差图进行去噪处理。所述二值化模块3用于对去噪处理后的所述视差图进行二值化处理，获得二值图像。所述三元图获取模块4用于扩宽所述二值图像中前景目标的边界区域，得到三元图，所述三元图包括前景目标、背景和待求像素，所述待求像素位于所述前景目标与所述背景之间。所述抠图模块5用于对所述三元图进行抠图处理，得到一前景目标掩模。所述图像处理模块6用于利用所述前景目标掩模进行图像后处理，得到目标图像。
所述QPD相机还可以包括成像模块。所述成像模块可以包括多个像素单元，相邻四个像素单元共用一个微型镜头，相邻的四个像素单元上可以设置有相同的颜色滤波器。当所述像素单元上设置有颜色滤波器时，获得的QPD原始图像和子图均为彩色图；当所述像素单元上未设置颜色滤波器时，获得的QPD原始图像和子图均为灰度图。
所述视差图获取模块1在利用QPD原始图像获得视差图的过程中，首先将所述QPD原始图像进行拆分组合，得到四幅拜耳图，再分别将四幅所述拜耳图进行图像转换，得到四幅所述子图，接着利用多路所述子图得到一视差图。所述视差图获取模块1可以利用多路所述子图进行立体匹配获得所述视差图。
所述去噪模块2可以采用滤波去噪、连通域检测或者左右一致性检测等方法对所述视差图进行去噪处理。所述去噪模块2在对所述视差图进行去噪处理后，还可以用于对所述视差图进行空洞填充，以进一步提高所述视差图的质量。
所述二值化模块3可以采用最大类间方差(OTSU)法或Kittle算法对去噪处理后的视差图进行二值化处理。所述三元图获取模块4可以采用形态学滤波的方法来扩宽所述二值图像中前景目标的边界区域。所述抠图模块5对所述三元图进行抠图处理的方法可以包括：泊松抠图(Poission Matting)、贝叶斯抠图(Bayes Matting)、封闭式表面抠图(Closedform Matting)或KNN抠图。所述图像处理模块6可以利用所述前景目标掩模对所述子图进行背景虚化处理或背景替换处理，以获得目标图像。
本实施例的QPD相机的所述视差图获取模块1获得视差图后，去噪模块2和二值化模块3依次对所述视差图进行去噪处理和二值化处理得到二值化图像，然后所述三元图获取模块4扩宽所述二值图像中前景目标的边界区域以获得三元图，接着所述抠图模块5对所述三元图进行抠图处理得到一前景目标掩模，所述图像处理模块6再利用所述前景目标掩模进行图像后处理，得到目标图像。因此，所述QPD相机可以对QPD原始图像进行处理获得前景目标的锐利边界，从而能够获得优质的前景目标掩模，有助于提高图像后处理效果，提高QPD相机的性能。
上述实施例中的方法和/或装置的处理、执行，一般是以软件程序的方式配合装置或设备来实施，然而，他们全部(或其中一部分)也可以使用电子硬件的方式来实施。不管是以软件或者硬件方式，其个别部分是熟悉电子、软件领域人员可以进行实施的，因此，其细节就不在本说明书中赘述。
需要说明的是，本说明书中实施例采用递进的方式描述，在后描述的结构重点说明的都是与在前描述的方法的不同之处，各个部分之间的相同和相似之处互相参见即可。对于实施例公开的QPD相机而言，由于与实施例公开的QPD图像后处理方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
上述描述仅是对本发明较佳实施例的描述，并非对本发明权利范围的任何限定，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。
Claims (9)
1.一种QPD图像后处理方法，其特征在于，包括：
获得QPD原始图像，对所述QPD原始图像进行拆分组合处理，得到多路子图，两两所述子图之间具有视差，并利用多路所述子图得到一视差图；
对所述视差图进行去噪处理；
对去噪处理后的所述视差图进行二值化处理，获得二值图像；
扩宽所述二值图像中前景目标的边界区域，得到三元图；其中，所述三元图包括前景目标、背景和待求像素，所述待求像素位于所述前景目标与所述背景之间；
对所述三元图进行抠图处理，得到一前景目标掩模；以及
利用所述前景目标掩模进行图像后处理，得到目标图像；
其中，所述QPD原始图像中相邻的颜色相同的四个像素为一组，同组的四个所述像素中两两之间存在视差；对所述QPD原始图像进行拆分组合处理，得到所述多路子图的步骤包括：将所述QPD原始图像中同组的四个像素进行拆分，再将位置相同的像素进行组合，得到四幅拜耳图，两两所述拜尔图之间存在视差；分别将四幅所述拜耳图进行图像转换，得到四幅所述子图。
2.根据权利要求1所述的QPD图像后处理方法，其特征在于，所述QPD原始图像和所述子图均为彩色图或灰度图。
3.根据权利要求1所述的QPD图像后处理方法，其特征在于，对所述视差图进行去噪处理的方法包括：滤波去噪、连通域检测或者左右一致性检测。
4.根据权利要求1所述的QPD图像后处理方法，其特征在于，在对所述视差图进行去噪处理后，进行所述二值化处理前，所述方法还包括：
对所述视差图进行空洞填充。
5.根据权利要求1所述的QPD图像后处理方法，其特征在于，采用形态学滤波的方法来扩宽所述二值图像中前景目标的边界区域。
6.根据权利要求5所述的QPD图像后处理方法，其特征在于，扩宽所述二值图像中所述前景目标的边界区域，得到所述三元图的步骤包括：
对所述二值图像进行膨胀操作，获得第一中间图像，并对所述二值图像进行腐蚀操作，获得第二中间图像；以及
将所述第一中间图像和所述第二中间图像合成为所述三元图。
7.根据权利要求1至6任意一项所述的QPD图像后处理方法，其特征在于，利用所述前景目标掩模对所述子图进行图像背景虚化，获得目标图像。
8.根据权利要求1至6任意一项所述的QPD图像后处理方法，其特征在于，利用所述前景目标掩模对所述子图进行背景替换，获得目标图像。
9.一种QPD相机，其特征在于，包括：
视差图获取模块，用于对所述QPD原始图像进行拆分组合处理，得到多路子图，两两所述子图之间具有视差，并利用多路所述子图得到一视差图；其中，所述QPD原始图像中相邻的颜色相同的四个像素为一组，同组的四个所述像素中两两之间存在视差；所述视差图获取模块将所述QPD原始图像中同组的四个像素进行拆分，再将位置相同的像素进行组合，得到四幅拜耳图，两两所述拜尔图之间存在视差，接着分别将四幅所述拜耳图进行图像转换，得到四幅所述子图；
去噪模块，用于对所述视差图进行去噪处理；
二值化模块，用于对去噪处理后的所述视差图进行二值化处理，获得二值图像；
三元图获取模块，用于扩宽所述二值图像中前景目标的边界区域，得到三元图；其中，所述三元图包括前景目标、背景和待求像素，所述待求像素位于所述前景目标与所述背景之间；
抠图模块，用于对所述三元图进行抠图处理，得到一前景目标掩模；以及
图像处理模块，用于利用所述前景目标掩模进行图像后处理，得到目标图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011502334.0A CN112529773B (zh) | 2020-12-17 | 2020-12-17 | Qpd图像后处理方法及qpd相机 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011502334.0A CN112529773B (zh) | 2020-12-17 | 2020-12-17 | Qpd图像后处理方法及qpd相机 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112529773A CN112529773A (zh) | 2021-03-19 |
| CN112529773B true CN112529773B (zh) | 2024-02-02 |
Family
ID=75001319
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011502334.0A Active CN112529773B (zh) | 2020-12-17 | 2020-12-17 | Qpd图像后处理方法及qpd相机 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112529773B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210112042A (ko) * | 2020-03-04 | 2021-09-14 | 에스케이하이닉스 주식회사 | 이미지 센싱 장치 및 그의 동작 방법 |
| CN114862897A (zh) * | 2022-04-24 | 2022-08-05 | 北京百度网讯科技有限公司 | 一种图像背景处理方法、装置及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013106265A (ja) * | 2011-11-15 | 2013-05-30 | Nikon Corp | 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム |
| CN108830780A (zh) * | 2018-05-09 | 2018-11-16 | 北京京东金融科技控股有限公司 | 图像处理方法及装置、电子设备、存储介质 |
| CN109429062A (zh) * | 2017-08-22 | 2019-03-05 | 阿里巴巴集团控股有限公司 | 金字塔模型的处理方法和装置、图像编码方法和装置 |
| CN110675404A (zh) * | 2019-09-03 | 2020-01-10 | RealMe重庆移动通信有限公司 | 图像处理方法、图像处理装置、存储介质与终端设备 |
| CN111861883A (zh) * | 2020-06-23 | 2020-10-30 | 燕山大学 | 基于同步积分surf算法的多路视频拼接方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10424075B2 (en) * | 2015-05-06 | 2019-09-24 | Peking University Shenzhen Graduate School | Depth/disparity map post-processing method and device |
| US11405535B2 (en) * | 2019-02-28 | 2022-08-02 | Qualcomm Incorporated | Quad color filter array camera sensor configurations |
-
2020
- 2020-12-17 CN CN202011502334.0A patent/CN112529773B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013106265A (ja) * | 2011-11-15 | 2013-05-30 | Nikon Corp | 画像処理装置、撮像装置、画像処理プログラムおよび撮像装置の制御プログラム |
| CN109429062A (zh) * | 2017-08-22 | 2019-03-05 | 阿里巴巴集团控股有限公司 | 金字塔模型的处理方法和装置、图像编码方法和装置 |
| CN108830780A (zh) * | 2018-05-09 | 2018-11-16 | 北京京东金融科技控股有限公司 | 图像处理方法及装置、电子设备、存储介质 |
| CN110675404A (zh) * | 2019-09-03 | 2020-01-10 | RealMe重庆移动通信有限公司 | 图像处理方法、图像处理装置、存储介质与终端设备 |
| CN111861883A (zh) * | 2020-06-23 | 2020-10-30 | 燕山大学 | 基于同步积分surf算法的多路视频拼接方法 |
Non-Patent Citations (3)
| Title |
|---|
| Machine learning-based novel approach to classify the shoulder motion of upper limb amputees;Amanpreet Kaur;Biocybernetics and Biomedical Engineering;第39卷(第3期);857-867 * |
| 光场相机重聚焦性能的研究;牛娜娜;中国优秀硕士电子期刊网(第8期);I138-353 * |
| 基于深度图预处理和图像修复的虚拟视点绘制;梁海涛 等;计算机辅助设计与图像学学报;第31卷(第8期);1278-1285 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112529773A (zh) | 2021-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8384763B2 (en) | Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging | |
| US20200145642A1 (en) | Method and apparatus for estimating depth of field information | |
| Ahn et al. | A novel depth-based virtual view synthesis method for free viewpoint video | |
| CN107316326B (zh) | 应用于双目立体视觉的基于边的视差图计算方法和装置 | |
| KR20120068470A (ko) | 스테레오 영상 정합 장치 및 그 방법 | |
| JP2009282979A (ja) | 画像処理装置及び画像処理方法 | |
| TW201131512A (en) | Distance evaluation methods and apparatuses, and machine readable medium thereof | |
| WO2013038833A1 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
| CN112529773B (zh) | Qpd图像后处理方法及qpd相机 | |
| JP2016505186A (ja) | エッジ保存・ノイズ抑制機能を有するイメージプロセッサ | |
| KR20130112311A (ko) | 고밀도 삼차원 영상 재구성 장치 및 방법 | |
| WO2014180255A1 (zh) | 一种数据处理方法、装置、计算机存储介质及用户终端 | |
| Luo et al. | Foreground removal approach for hole filling in 3D video and FVV synthesis | |
| Sharma et al. | A flexible architecture for multi-view 3DTV based on uncalibrated cameras | |
| CN110852947B (zh) | 一种基于边缘锐化的红外图像超分辨方法 | |
| JP3860540B2 (ja) | エントロピーフィルタ及び該フィルタを用いた領域抽出法 | |
| Liu et al. | Hole-filling based on disparity map and inpainting for depth-image-based rendering | |
| CN111105370A (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
| CN115063303A (zh) | 一种基于图像修复的图像3d化方法 | |
| Cheng et al. | A novel saliency model for stereoscopic images | |
| Farag et al. | A novel disparity-assisted block matching-based approach for super-resolution of light field images | |
| CN111630569B (zh) | 双目匹配的方法、视觉成像装置及具有存储功能的装置 | |
| Emberger et al. | Low complexity depth map extraction and all-in-focus rendering for close-to-the-pixel embedded platforms | |
| Wei et al. | Iterative depth recovery for multi-view video synthesis from stereo videos | |
| Ružić et al. | Depth-guided patch-based disocclusion filling for view synthesis via Markov random field modelling |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |