CN111091592B - 图像处理方法、图像处理装置、电子设备及可读存储介质 - Google Patents

图像处理方法、图像处理装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN111091592B
CN111091592B CN201811244125.3A CN201811244125A CN111091592B CN 111091592 B CN111091592 B CN 111091592B CN 201811244125 A CN201811244125 A CN 201811244125A CN 111091592 B CN111091592 B CN 111091592B
Authority
CN
China
Prior art keywords
image
pixel point
point
pixel
depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811244125.3A
Other languages
English (en)
Other versions
CN111091592A (zh
Inventor
陈岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201811244125.3A priority Critical patent/CN111091592B/zh
Priority to US16/659,030 priority patent/US11042966B2/en
Priority to PCT/CN2019/112732 priority patent/WO2020083307A1/en
Priority to EP19205000.3A priority patent/EP3644271A1/en
Publication of CN111091592A publication Critical patent/CN111091592A/zh
Application granted granted Critical
Publication of CN111091592B publication Critical patent/CN111091592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种图像处理方法及装置、电子设备和存储介质。图像处理方法包括：将具有第一分辨率的深度图像映射到具有第二分辨率的色彩图像中以得到处理图像，处理图像包括具有色彩信息和深度信息的第一像素点和具有色彩信息的第二像素点；根据第一像素点的深度信息、待求解的具有第二分辨率的输出深度图像、第一权重和第二权重形成目标函数的数据项、邻域平滑项和非局部平均正则项，第一权重根据第一像素点的色彩信息确定；对目标函数求解以得到输出深度图像。本发明的图像处理方法及装置、电子设备和存储介质对具有第一分辨率的深度图像进行升采样处理以获得具有第二分辨率的输出深度图像，从而提高输出深度图像的分辨率以满足用户的使用需求。

Description

图像处理方法、图像处理装置、电子设备及可读存储介质
技术领域
本发明涉及图像处理技术，特别涉及一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。
背景技术
在相关技术中，受芯片面积和功耗指标的影响，深度获取模组形成的深度图像存在分辨率较低的问题。利用分辨率较低的深度图像难以满足用户的使用需求，例如会使得生成的三维模型的表面纹理细节缺失、降低人脸识别的准确率等。
发明内容
本发明的实施例提供了一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。
本发明实施方式的图像处理方法包括：将具有第一分辨率的深度图像映射到具有第二分辨率的色彩图像中以得到处理图像，所述深度图像和所述色彩图像对应同一场景，所述第一分辨率小于所述第二分辨率，所述处理图像包括第一像素点和第二像素点，所述第一像素点包括色彩信息和深度信息，所述第二像素点包括色彩信息；根据所述第一像素点的深度信息和待求解的具有所述第二分辨率的输出深度图像形成目标函数的数据项，所述输出深度图像包括深度信息；根据第一权重、所述第一像素点的深度信息和所述输出深度图像中与所述第一像素点对应的像素点的第一邻域形成所述目标函数的邻域平滑项，所述第一权重根据所述第一像素点的色彩信息和所述第一像素点的第一邻域内的像素点的色彩信息确定；根据预设的第二权重、所述第一像素点的深度信息和所述输出深度图像中与所述第一像素点对应的像素点的第二邻域形成所述目标函数的非局部平均正则项；对所述目标函数求解以得到所述输出深度图像。
本发明实施方式的图像处理装置包括映射模块、第一获取模块、第二获取模块、第三获取模块和计算模块。所述映射模块用于将具有第一分辨率的深度图像映射到具有第二分辨率的色彩图像中以得到处理图像，所述深度图像和所述色彩图像对应同一场景，所述第一分辨率小于所述第二分辨率，所述处理图像包括第一像素点和第二像素点，所述第一像素点包括色彩信息和深度信息，所述第二像素点包括色彩信息。所述第一获取模块用于根据所述第一像素点的深度信息和待求解的具有所述第二分辨率的输出深度图像形成目标函数的数据项，所述输出深度图像包括深度信息。所述第二获取模块用于根据第一权重、所述第一像素点的深度信息和所述输出深度图像中与所述第一像素点对应的像素点的第一邻域形成所述目标函数的邻域平滑项，所述第一权重根据所述第一像素点的色彩信息和所述第一像素点的第一邻域内的像素点的色彩信息确定。所述第三获取模块用于根据预设的第二权重、所述第一像素点的深度信息和所述输出深度图像中与所述第一像素点对应的像素点的第二邻域形成所述目标函数的非局部平均正则项。所述计算模块用于对所述目标函数求解以得到所述输出深度图像。
本发明实施方式的电子设备包括处理器，所述处理器用于：将具有第一分辨率的深度图像映射到具有第二分辨率的色彩图像中以得到处理图像，所述深度图像和所述色彩图像对应同一场景，所述第一分辨率小于所述第二分辨率，所述处理图像包括第一像素点和第二像素点，所述第一像素点包括色彩信息和深度信息，所述第二像素点包括色彩信息；根据所述第一像素点的深度信息和待求解的具有所述第二分辨率的输出深度图像形成目标函数的数据项，所述输出深度图像包括深度信息；根据第一权重、所述第一像素点的深度信息和所述输出深度图像中与所述第一像素点对应的像素点的第一邻域形成所述目标函数的邻域平滑项，所述第一权重根据所述第一像素点的色彩信息和所述第一像素点的第一邻域内的像素点的色彩信息确定；根据预设的第二权重、所述第一像素点的深度信息和所述输出深度图像中与所述第一像素点对应的像素点的第二邻域形成所述目标函数的非局部平均正则项；对所述目标函数求解以得到所述输出深度图像。
本发明实施方式的计算机可读存储介质包括与电子设备结合使用的计算机程序，所述计算机程序可被处理器执行以完成上述的图像处理方法。
本发明实施方式的图像处理方法、图像处理装置、电子设备和计算机可读存储介质对具有第一分辨率的深度图像进行升采样处理以获得具有第二分辨率的输出深度图像，从而提高深度图像的分辨率，进而可以更高程度地满足用户的使用需求，例如使得生成的三维模型的表面纹理细节更加丰富、人脸识别的准确率更高等。另外，采用邻域平滑项可以提高输出深度图像的深度连续性，采用非局部平均正则项可以保持输出深度图像的局部结构。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1是本发明某些实施方式的图像处理方法的流程示意图。
图2是本发明某些实施方式的图像处理装置的示意图。
图3是本发明某些实施方式的电子设备的平面示意图。
图4是本发明某些实施方式的深度图像、色彩图像、处理图像和输出深度图像的示意图。
图5是本发明某些实施方式的图像处理方法的流程示意图。
图6是本发明某些实施方式的图像处理装置的示意图。
图7是本发明某些实施方式的图像处理方法的流程示意图。
图8是本发明某些实施方式的图像处理装置的示意图。
图9是本发明某些实施方式的图像处理方法的流程示意图。
图10是本发明某些实施方式的图像处理装置的示意图。
图11是本发明某些实施方式的图像处理方法的流程示意图。
图12是本发明某些实施方式的计算机可读存储介质与电子设备的连接示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
请参阅图1，本发明实施方式的图像处理方法包括：
步骤012：将具有第一分辨率的深度图像映射到具有第二分辨率的色彩图像中以得到处理图像，深度图像和色彩图像对应同一场景，第一分辨率小于第二分辨率，处理图像包括第一像素点和第二像素点，第一像素点包括色彩信息和深度信息，第二像素点包括色彩信息；
步骤014：根据第一像素点的深度信息和待求解的具有第二分辨率的输出深度图像形成目标函数的数据项，输出深度图像包括深度信息；
步骤016：根据第一权重、第一像素点的深度信息和输出深度图像中与第一像素点对应的像素点的第一邻域形成目标函数的邻域平滑项，第一权重根据第一像素点的色彩信息和第一像素点的第一邻域内的像素点的色彩信息确定；
步骤018：根据预设的第二权重、第一像素点的深度信息和输出深度图像中与第一像素点对应的像素点的第二邻域形成目标函数的非局部平均正则项；
步骤022：对目标函数求解以得到输出深度图像。
请参阅图2，本发明实施方式的图像处理装置100包括映射模块112、第一获取模块114、第二获取模块116、第三获取模块118和计算模块122。本发明实施方式的图像处理方法可以由本发明实施方式的图像处理装置100实现，其中，步骤012可以由映射模块112实现，步骤014可以由第一获取模块114实现，步骤016可以由第二获取模块116实现，步骤018可以由第三获取模块118实现，步骤022可以由计算模块122实现。也即是说，映射模块112可用于将具有第一分辨率的深度图像映射到具有第二分辨率的色彩图像中以得到处理图像，深度图像和色彩图像对应同一场景，第一分辨率小于第二分辨率，处理图像包括第一像素点和第二像素点，第一像素点包括色彩信息和深度信息，第二像素点包括色彩信息。第一获取模块114可用于根据第一像素点的深度信息和待求解的具有第二分辨率的输出深度图像形成目标函数的数据项，输出深度图像包括深度信息。第二获取模块116可用于根据第一权重、第一像素点的深度信息和输出深度图像中与第一像素点对应的像素点的第一邻域形成目标函数的邻域平滑项，第一权重根据第一像素点的色彩信息和第一像素点的第一邻域内的像素点的色彩信息确定。第三获取模块118可用于根据预设的第二权重、第一像素点的深度信息和输出深度图像中与第一像素点对应的像素点的第二邻域形成目标函数的非局部平均正则项。计算模块122可用于对目标函数求解以得到输出深度图像。
请参阅图3，本发明实施方式的电子设备1000包括处理器200。本发明实施方式的图像处理方法可以由本发明实施方式的电子设备1000实现，其中，步骤012、步骤014、步骤016、步骤018和步骤022可以由处理器200实现，也即是说，处理器200可用于：将具有第一分辨率的深度图像映射到具有第二分辨率的色彩图像中以得到处理图像，深度图像和色彩图像对应同一场景，第一分辨率小于第二分辨率，处理图像包括第一像素点和第二像素点，第一像素点包括色彩信息和深度信息，第二像素点包括色彩信息；根据第一像素点的深度信息和待求解的具有第二分辨率的输出深度图像形成目标函数的数据项，输出深度图像包括深度信息；根据第一权重、第一像素点的深度信息和输出深度图像中与第一像素点对应的像素点的第一邻域形成目标函数的邻域平滑项，第一权重根据第一像素点的色彩信息和第一像素点的第一邻域内的像素点的色彩信息确定；根据预设的第二权重、第一像素点的深度信息和输出深度图像中与第一像素点对应的像素点的第二邻域形成目标函数的非局部平均正则项；对目标函数求解以得到输出深度图像。
本发明实施方式的图像处理方法、图像处理装置100和电子设备1000对具有第一分辨率的深度图像进行升采样处理以获得具有第二分辨率的输出深度图像，从而提高深度图像的分辨率，进而可以更高程度地满足用户的使用需求，例如使得生成的三维模型的表面纹理细节更加丰富、人脸识别的准确率更高等。另外，采用邻域平滑项可以提高输出深度图像的深度连续性，采用非局部平均正则项可以保持输出深度图像的局部结构。
在一个实施方式中，第一分辨率例如为240*180，第二分辨率例如为2k分辨率(比如2560*1440)、4k分辨率(比如4096*2160)，当然，第一分辨率和第二分辨率也可以是其他，在此不作具体限定。
电子设备1000可以是手机、平板电脑、智能穿戴设备(智能手表、智能手环、智能眼镜、智能头盔)、无人机等，在此不作限制。
在某些实施方式中，电子设备1000还包括深度获取模组300。深度获取模组300可用于获取深度图像。深度获取模组300例如为飞行时间(Time of Flight，TOF)摄像模组320或结构光摄像模组340。
TOF摄像模组320包括光发射器和光接收器。光发射器用于发射光线至目标物体。光接收器用于接收经目标物体反射回的光线并进行多次采样以获得多帧相位图。通过多帧相位图可以计算获得发射光线和反射光线的相位差其中，Q1、Q2、Q3和Q4分别是四帧相位图对应像素点的像素值，从而可以根据/>计算获得深度信息(即深度值，例如距离值d)以形成深度图像，其中，c为光速，f为激光的发光频率。
结构光摄像模组340包括结构光投射器和图像传感器。结构光投射器投射的结构光经目标物体调制后，图像传感器拍摄经目标物体调制后的结构光图像，通过解调结构光图像的各个像素对应的相位信息即可得到深度信息以形成深度图像。
在某些实施方式中，电子设备1000包括可见光采集模组400，可见光采集模组400用于采集色彩图像，色彩图像包括色彩信息，色彩信息例如为RGB信息、YUV信息等。
请参阅图4，将深度图像映射到色彩图像，具体可以为，通过深度获取模组300和可见光摄像模组400的相机标定，计算深度获取模组300到可见光摄像模组400的外部参数，利用外部参数得到在同一坐标系下的深度图像和色彩图像，其中，深度图像包括深度信息，色彩图像包括色彩信息，合并映射后的深度图像和色彩图像即可得到处理图像。由于第一分辨率小于第二分辨率，因此，处理图像中只有部分像素点(即第一像素点)包括深度信息(与深度图像的深度信息相对应)，第一像素点和第二像素点均包括色彩信息(与色彩图像的色彩信息相对应)。
请参阅图5，在某些实施方式中，在步骤014之前，图像处理方法还包括：
步骤024：根据置信度图获取深度图像边缘处的低置信度像素点；
步骤026：去除低置信度像素点的深度信息。
请参阅图6，在某些实施方式中，图像处理装置100还包括第四获取模块124和去除模块126。步骤024可以由第四获取模块124实现，步骤026可以由去除模块126实现，也即是说，第四获取模块124可用于根据置信度图获取深度图像边缘处的低置信度像素点。去除模块126可用于去除低置信度像素点的深度信息。
请再次参阅图3，在某些实施方式中，步骤024和步骤026可以由处理器200实现，也即是说，处理器200还可用于：根据置信度图获取深度图像边缘处的低置信度像素点；去除低置信度像素点的深度信息。
深度图像的边缘处存在较多的噪声，其深度信息的误差较大，因此，可以利用置信度图滤除深度图像边缘处的低置信度像素点以滤除噪声。具体地，置信度图与深度图像是一一对应的，可以设置一个置信度阈值，利用置信度图中与深度图像的边缘处对应的边缘像素点的像素值与该置信度阈值进行比较，在边缘像素点的像素值大于或等于该置信度阈值时，确定深度图像与该边缘像素点对应的像素点的置信度比较高；在边缘像素点的像素值小于该置信度阈值时，确定深度图像与该边缘像素点对应的像素点(低置信度像素点)的置信度比较低，置信度低的像素点的误差较大，从而可以去除低置信度像素点的深度信息以滤除深度图像中的噪声，进而可以使得后续获得输出深度图像的过程中不会受到低置信度像素点的噪声的影响，使得输出深度图像更加精确。
深度图像的边缘可以通过二值化、灰度图、索贝尔(sobel)算子、canny算子等边缘检测方法检测获得，在此不作具体限定。
在某些实施方式中，可以将检测获得的深度图像的边缘都去除，从而能够快速地滤除深度图像中的噪声。
在某些实施方式中，步骤026和步骤028可以在步骤012之前执行，即，在滤除深度图像中的噪声之后，再将深度图像映射到色彩图像中以得到处理图像，从而避免深度图像中的噪声传递至处理图像，再通过处理图像传递至输出深度图像。
在某些实施方式中，步骤026和步骤028可以在步骤012之后执行，即，在深度图像映射到色彩图像中以得到处理图像后，去除处理图像中与低置信度像素点对应的第一像素点的深度信息，去除深度信息的第一像素点可视作第二像素点。如此，完整的深度图像便于映射到色彩图像中以得到处理图像，然后再滤除处理图像中的噪声。
请参阅图7，在某些实施方式中，深度图像由飞行时间摄像模组320获得，飞行时间摄像模组320用于进行多次采样以获得多帧相位图，深度图像通过处理多帧相位图获得，图像处理方法包括：
步骤028：获取多帧相位图的对应像素点的平均像素值；
步骤029：根据多个平均像素值获得幅度图；
步骤032：对幅度图滤波以获得置信度图。
请参阅图8，在某些实施方式中，深度图像由飞行时间摄像模组320获得，飞行时间摄像模组320用于进行多次采样以获得多帧相位图，深度图像通过处理多帧相位图获得，图像处理装置100包括第五获取模块128、合并模块129和滤波模块132。步骤028可以由第五获取模块128实现，步骤029可以由合并模块129实现，步骤032可以由滤波模块132实现，也即是说，第五获取模块128可用于获取多帧相位图的对应像素点的平均像素值。合并模块129可用于根据多个平均像素值获得幅度图。滤波模块132可用于对幅度图滤波以获得置信度图。
请再次参阅图3，在某些实施方式中，深度图像由飞行时间摄像模组320获得，飞行时间摄像模组320用于进行多次采样以获得多帧相位图，深度图像通过处理多帧相位图获得，步骤028、步骤029和步骤032可以由处理器200实现，也即是说，处理器200可用于：获取多帧相位图的对应像素点的平均像素值；根据多个平均像素值获得幅度图；对幅度图滤波以获得置信度图。
具体地，多帧相位图是一一对应的，可以获取四帧相位图的对应像素点的像素值的平均值作为平均像素值，例如平均像素值Q1、Q2、Q3和Q4分别是四帧相位图对应像素点的像素值，幅度图与相位图也是一一对应的关系，平均像素值作为幅度图对应的像素点的像素值，获取幅度图的所有像素点的像素值即可获得幅度图。
由于相位图中可能存在噪声，导致根据相位图获得的幅度图也可能存在噪声，因此，可以对幅度图进行滤波以获得置信度图，如此，置信度图更加准确，利用更加准确的置信度图可以更加准确地获取低置信度像素点并去除低置信度像素点的深度信息以滤除噪声。其中，对幅度图进行滤波以获得置信度图时，可以采用高斯滤波实现。
在某些实施方式中，在对幅度图进行滤波以获得置信度图后，还可以获取置信度图中最大置信度像素值，再通过比较置信度图中的每个像素值与最大置信度像素值以获得更新置信度图，根据更新置信度图获取低置信度像素点。其中，更新置信度图的每个像素值的范围为[0，1]，因此，更加方便置信度阈值的设置和更新置信度图的像素值与置信度阈值的比较，从而更加准确和快速地获取低置信度像素点。
在某些实施方式中，比较置信度图中的每个像素值与最大置信度像素值，可以是将置信度图中的每个像素值除以最大置信度像素值。
请参阅图9，在某些实施方式中，深度图像由结构光摄像模组340获得，结构光摄像模组340用于获取结构光图像，深度图像通过处理结构光图像获得，图像处理方法包括：
步骤034：获取结构光图像中最大像素值；
步骤036：比较结构光图像中的每个像素值与最大像素值以获得置信度图。
请参阅图10，在某些实施方式中，深度图像由结构光摄像模组340获得，结构光摄像模组340用于获取结构光图像，深度图像通过处理结构光图像获得，图像处理装置100包括第六获取模块134和比较模块136。步骤034可以由第六获取模块134实现，步骤036可以由比较模块136实现，也即是说，第六获取模块134可用于获取结构光图像中最大像素值。比较模块136可用于比较结构光图像中的每个像素值与最大像素值以获得置信度图。
请再次参阅图3，在某些实施方式中，深度图像由结构光摄像模组340获得，结构光摄像模组340用于获取结构光图像，深度图像通过处理结构光图像获得，步骤034和步骤036可以由处理器200实现，也即是说，处理器200可用于：获取结构光图像中最大像素值；比较结构光图像中的每个像素值与最大像素值以获得置信度图。
具体地，比较结构光图像中的每个像素值与最大像素值，可以是将结构光图像中的每个像素值除以最大像素值，通过结构光图像获得的置信度图的每个像素值的范围为[0，1]，因此，可以方便置信度阈值的设置和置信度图的像素值与置信度阈值的比较，从而准确和快速地获取低置信度像素点。
在某些实施方式中，目标函数为E(D)＝Ed(D)+λsEs(D)+λNENLM(D)，其中E(D)为目标函数，Ed(D)为数据项，Es(D)为邻域平滑项，ENLM(D)为非局部平均正则项，λs为预设的第三权重，λN为预设的第四权重。λs和λN可以根据实验获得并预先存储在相关存储元件中。
在某些实施方式中，数据项为Ed(D)＝∑p∈P(D(p)-G(p))2，其中，p为当前像素点，Ρ为第一像素点，D(p)为p点的深度信息，G(p)为输出深度图像中与p点对应的像素点的深度信息。
在某些实施方式中，邻域平滑项为Es(D)＝∑p∈P∑q∈N(p)wpq(D(p)-D(q))2，其中，p为当前像素点，Ρ为第一像素点，D(p)为p点的深度信息，N(p)为输出深度图像中与p点对应的像素点的第一邻域，q为第一邻域中的像素点，wpq为第一权重，D(q)为q点的深度信息。第一邻域例如为3*3邻域，当然第一邻域也可以是5*5邻域、7*7邻域、9*9邻域等，在此不作具体限定。Es(D)决定像素间色彩上的差异，当前像素点和当前像素点的第一邻域中的像素点的色彩信息越接近，该项越小，否则越大。
在某些实施方式中，第一权重为wpq＝wcwswewd，其中wc为颜色相似度，ws为分隔权重，we为显著边缘权重，wd为高阶线性差值权重。
在某些实施方式中，颜色相似度为其中，I为YUV空间的明亮度(Y)、色度(U)或浓度(V)，I(p)为p点的色彩信息，I(q)为处理图像中与q点对应的像素点的色彩信息，σI为预设常数。σI可以根据实验获得并预先存储在相关存储元件中。在本发明实施方式中，I为YUV空间的色度，即I(p)为p点的色度，I(q)为处理图像中与q点对应的像素点的色度。I(p)与I(q)的差值表示色彩的接近程度。
在某些实施方式中，分隔权重为ws＝tse，其中tse为预设常数。分隔权重表示深度图像一个像素点的第一邻域像素点是否在升采样后仍在该像素点的邻域范围内，如果是则tse＝1，否则取[0，1]间的某一常量作为惩罚项，升采样过程中，tse例如为0.7。当然，tse也可以取其他值，在此不作具体限定。
在某些实施方式中，显著边缘权重为其中，sx(p)为色彩图像在x轴方向上做索贝尔算子后得到的图像中与p点对应的像素值，sx(q)为色彩图像在x轴方向上做索贝尔算子后得到的图像中与q点对应的像素值。we用于度量像素点是否落在边缘上。
在某些实施方式中，高阶线性差值权重为其中，Dg(p)为深度图像做高斯插值后得到的图像中与p点对应的像素值，Dg(q)为深度图像做高斯插值后得到的图像中与q点对应的像素值，σg为预设常数。σg可以根据实验获得并预先存储在相关存储元件中。
在某些实施方式中，非局部平均正则项为ENLM(D)＝∑p∈P∑r∈A(p)kpr(D(p)-D(r))2，其中，p为当前像素点，Ρ为第一像素点，D(p)为p点的深度信息，A(p)为输出深度图像中与p点对应的像素点的第二邻域，r为第二邻域中的像素点，kpr为第二权重，D(r)为r点的深度信息。kpr可以根据实验获得并预先存储在相关存储元件中。第二邻域例如为11*11邻域，当然第二邻域也可以是13*13邻域、15*15邻域等，为了保持像素点及其邻域的局部结构，第二邻域一般大于或等于11*11邻域。ENLM(D)决定像素间结构上的差异，例如都在边缘处，或都在相同平滑区域内时，该项会比较小，否则会比较大。
需要说明的是，在本发明实施方式中，第一邻域和第二邻域均不包括中心像素点。例如在第一邻域为p点的邻域时，第一邻域不包括p点。
请参阅图11，在某些实施方式中，步骤022包括：
步骤0222：利用最优化问题求解算法对目标函数求最小解以得到输出深度图像。
请再次参阅图2，在某些实施方式中，步骤0222可以由计算模块122实现，也即是说，计算模块122可用于利用最优化问题求解算法对目标函数求最小解以得到输出深度图像。
请再次参阅图3，在某些实施方式中，步骤0222可以由处理器200实现，也即是说，处理器200可用于利用最优化问题求解算法对目标函数求最小解以得到输出深度图像。
具体地，最优化问题求解算法例如包括最小二乘法、一阶梯度、二阶梯度等，在本发明实施方式中，最优化问题求解算法为最小二乘法，最小二乘法的运算速度较快，从而可以使得深度图像升采样为输出深度图像的过程需要的时间更少，进而能够实现深度图像的实时处理，满足在1秒内至少处理预定帧数(例如30帧)的深度图像的需求。
请参阅图12，本发明还提供一种计算机可读存储介质600。计算机可读存储介质600包括与电子设备1000结合使用的计算机程序620。计算机程序620可被处理器200执行以完成上述任意一项实施方式所述的图像处理方法。
例如，请结合图1及图12，计算机程序620可被处理器200执行以完成以下步骤：
步骤012：将具有第一分辨率的深度图像映射到具有第二分辨率的色彩图像中以得到处理图像，深度图像和色彩图像对应同一场景，第一分辨率小于第二分辨率，处理图像包括第一像素点和第二像素点，第一像素点包括色彩信息和深度信息，第二像素点包括色彩信息；
步骤014：根据第一像素点的深度信息和待求解的具有第二分辨率的输出深度图像形成目标函数的数据项，输出深度图像包括深度信息；
步骤016：根据第一权重、第一像素点的深度信息和输出深度图像中与第一像素点对应的像素点的第一邻域形成目标函数的邻域平滑项，第一权重根据第一像素点的色彩信息和第一像素点的第一邻域内的像素点的色彩信息确定；
步骤018：根据预设的第二权重、第一像素点的深度信息和输出深度图像中与第一像素点对应的像素点的第二邻域形成目标函数的非局部平均正则项；
步骤022：对目标函数求解以得到输出深度图像。
再例如，请结合图5及图12，计算机程序620还可被处理器200执行以完成以下步骤：
步骤024：根据置信度图获取深度图像边缘处的低置信度像素点；
步骤026：去除低置信度像素点的深度信息。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种图像处理方法，其特征在于，所述图像处理方法包括：
将具有第一分辨率的深度图像映射到具有第二分辨率的色彩图像中以得到处理图像，所述深度图像和所述色彩图像对应同一场景，所述第一分辨率小于所述第二分辨率，所述处理图像包括第一像素点和第二像素点，所述第一像素点包括色彩信息和深度信息，所述第二像素点包括色彩信息；
根据所述第一像素点的深度信息和待求解的具有所述第二分辨率的输出深度图像形成目标函数的数据项，所述输出深度图像包括深度信息；
根据第一权重、所述第一像素点的深度信息和所述输出深度图像中与所述第一像素点对应的像素点的第一邻域形成所述目标函数的邻域平滑项，所述第一权重根据所述第一像素点的色彩信息和所述第一像素点的第一邻域内的像素点的色彩信息确定；
根据预设的第二权重、所述第一像素点的深度信息和所述输出深度图像中与所述第一像素点对应的像素点的第二邻域形成所述目标函数的非局部平均正则项；
对所述目标函数求解以得到所述输出深度图像；
所述目标函数为E(D)＝Ed(D)+λsEs(D)+λNENLM(D)，其中E(D)为所述目标函数，Ed(D)为所述数据项，Es(D)为所述邻域平滑项，ENLM(D)为所述非局部平均正则项，λs为预设的第三权重，λN为预设的第四权重；
所述邻域平滑项为Es(D)＝∑p∈P∑q∈N(p)wpq(D(p)-D(q))2，其中，p为当前像素点，P为所述第一像素点，D(p)为p点的深度信息，N(p)为所述输出深度图像中与p点对应的像素点的第一邻域，q为第一邻域中的像素点，wpq为所述第一权重，D(q)为q点的深度信息；
所述第一权重为wpq＝wcwswewd，其中wc为颜色相似度，ws为分隔权重，we为显著边缘权重，wd为高阶线性差值权重；
所述颜色相似度为其中，I为YUV空间的明亮度、色度或浓度，I(p)为p点的色彩信息，I(q)为所述处理图像中与q点对应的像素点的色彩信息，σI为预设常数；
所述分隔权重为ws＝tse，其中tse为预设常数；
所述显著边缘权重为其中，sx(p)为所述色彩图像在x轴方向上做索贝尔算子后得到的图像中与p点对应的像素值，sx(q)为所述色彩图像在x轴方向上做索贝尔算子后得到的图像中与q点对应的像素值；
所述高阶线性差值权重为其中，Dg(p)为所述深度图像做高斯插值后得到的图像中与p点对应的像素值，Dg(q)为所述深度图像做高斯插值后得到的图像中与q点对应的像素值，σg为预设常数。
2.根据权利要求1所述的图像处理方法，其特征在于，在所述根据所述第一像素点的深度信息和待求解的具有所述第二分辨率的输出深度图像形成目标函数的数据项之前，所述图像处理方法还包括：
根据置信度图获取所述深度图像边缘处的低置信度像素点；
去除所述低置信度像素点的深度信息。
3.根据权利要求2所述的图像处理方法，其特征在于，所述深度图像由飞行时间摄像模组获得，所述飞行时间摄像模组用于进行多次采样以获得多帧相位图，所述深度图像通过处理多帧所述相位图获得，所述图像处理方法包括：
获取多帧所述相位图的对应像素点的平均像素值；
根据多个所述平均像素值获得幅度图；
对所述幅度图滤波以获得所述置信度图。
4.根据权利要求2所述的图像处理方法，其特征在于，所述深度图像由结构光摄像模组获得，所述结构光摄像模组用于获取结构光图像，所述深度图像通过处理所述结构光图像获得，所述图像处理方法包括：
获取所述结构光图像中最大像素值；
比较所述结构光图像中的每个像素值与所述最大像素值以获得所述置信度图。
5.根据权利要求1所述的图像处理方法，其特征在于，所述数据项为Ed()＝∑p∈P(D(p)-G(p))2，其中，p为当前像素点，Ρ为所述第一像素点，D(p)为p点的深度信息，G(p)为所述输出深度图像中与p点对应的像素点的深度信息。
6.根据权利要求1所述的图像处理方法，其特征在于，所述非局部平均正则项为ENLM(D)＝∑p∈P∑r∈A(p)kpr(D(p)-D(r))2，其中，p为当前像素点，Ρ为所述第一像素点，D(p)为p点的深度信息，A(p)为所述输出深度图像中与所述p点对应的像素点的第二邻域，r为第二邻域中的像素点，kpr为所述第二权重，D(r)为r点的深度信息。
7.根据权利要求1所述的图像处理方法，其特征在于，所述对所述目标函数求解以得到所述输出深度图像包括：
利用最优化问题求解算法对所述目标函数求最小解以得到所述输出深度图像。
8.一种图像处理装置，其特征在于，所述图像处理装置包括：
映射模块，所述映射模块用于将具有第一分辨率的深度图像映射到具有第二分辨率的色彩图像中以得到处理图像，所述深度图像和所述色彩图像对应同一场景，所述第一分辨率小于所述第二分辨率，所述处理图像包括第一像素点和第二像素点，所述第一像素点包括色彩信息和深度信息，所述第二像素点包括色彩信息；
第一获取模块，所述第一获取模块用于根据所述第一像素点的深度信息和待求解的具有所述第二分辨率的输出深度图像形成目标函数的数据项，所述输出深度图像包括深度信息；
第二获取模块，所述第二获取模块用于根据第一权重、所述第一像素点的深度信息和所述输出深度图像中与所述第一像素点对应的像素点的第一邻域形成所述目标函数的邻域平滑项，所述第一权重根据所述第一像素点的色彩信息和所述第一像素点的第一邻域内的像素点的色彩信息确定；
第三获取模块，所述第三获取模块用于根据预设的第二权重、所述第一像素点的深度信息和所述输出深度图像中与所述第一像素点对应的像素点的第二邻域形成所述目标函数的非局部平均正则项；
计算模块，所述计算模块用于对所述目标函数求解以得到所述输出深度图像；
所述目标函数为E(D)＝Ed(D)+λsEs(D)+λNENLM(D)，其中E(D)为所述目标函数，Ed(D)为所述数据项，Es(D)为所述邻域平滑项，ENLM(D)为所述非局部平均正则项，λs为预设的第三权重，λN为预设的第四权重；
所述邻域平滑项为Es(D)＝∑p∈P∑q∈N(p)wpq(D(p)-D(q))2，其中，p为当前像素点，P为所述第一像素点，D(p)为p点的深度信息，N(p)为所述输出深度图像中与p点对应的像素点的第一邻域，q为第一邻域中的像素点，wpq为所述第一权重，D(q)为q点的深度信息；
所述第一权重为wpq＝wcwswewd，其中wc为颜色相似度，ws为分隔权重，we为显著边缘权重，wd为高阶线性差值权重；
所述颜色相似度为其中，I为YUV空间的明亮度、色度或浓度，I(p)为p点的色彩信息，I(q)为所述处理图像中与q点对应的像素点的色彩信息，σI为预设常数；
所述分隔权重为ws＝tse，其中tse为预设常数；
所述显著边缘权重为其中，sx(p)为所述色彩图像在x轴方向上做索贝尔算子后得到的图像中与p点对应的像素值，sx(q)为所述色彩图像在x轴方向上做索贝尔算子后得到的图像中与q点对应的像素值；
所述高阶线性差值权重为其中，Dg(p)为所述深度图像做高斯插值后得到的图像中与p点对应的像素值，Dg(q)为所述深度图像做高斯插值后得到的图像中与q点对应的像素值，σg为预设常数。
9.一种电子设备，其特征在于，所述电子设备包括处理器，所述处理器用于：
将具有第一分辨率的深度图像映射到具有第二分辨率的色彩图像中以得到处理图像，所述深度图像和所述色彩图像对应同一场景，所述第一分辨率小于所述第二分辨率，所述处理图像包括第一像素点和第二像素点，所述第一像素点包括色彩信息和深度信息，所述第二像素点包括色彩信息；
根据所述第一像素点的深度信息和待求解的具有所述第二分辨率的输出深度图像形成目标函数的数据项，所述输出深度图像包括深度信息；
根据第一权重、所述第一像素点的深度信息和所述输出深度图像中与所述第一像素点对应的像素点的第一邻域形成所述目标函数的邻域平滑项，所述第一权重根据所述第一像素点的色彩信息和所述第一像素点的第一邻域内的像素点的色彩信息确定；
根据预设的第二权重、所述第一像素点的深度信息和所述输出深度图像中与所述第一像素点对应的像素点的第二邻域形成所述目标函数的非局部平均正则项；
对所述目标函数求解以得到所述输出深度图像；
所述目标函数为E(D)＝Ed(D)+λsEs(D)+λNENLM(D)，其中E(D)为所述目标函数，Ed(D)为所述数据项，Es(D)为所述邻域平滑项，ENLM(D)为所述非局部平均正则项，λs为预设的第三权重，λN为预设的第四权重；
所述邻域平滑项为Es(D)＝∑p∈P∑q∈N(p)wpq(D(p)-D(q))2，其中，p为当前像素点，P为所述第一像素点，D(p)为p点的深度信息，N(p)为所述输出深度图像中与p点对应的像素点的第一邻域，q为第一邻域中的像素点，wpq为所述第一权重，D(q)为q点的深度信息；
所述第一权重为wpq＝wcwswewd，其中wc为颜色相似度，ws为分隔权重，we为显著边缘权重，wd为高阶线性差值权重；
所述颜色相似度为其中，I为YUV空间的明亮度、色度或浓度，I(p)为p点的色彩信息，I(q)为所述处理图像中与q点对应的像素点的色彩信息，σI为预设常数；
所述分隔权重为ws＝tse，其中tse为预设常数；
所述显著边缘权重为其中，sx(p)为所述色彩图像在x轴方向上做索贝尔算子后得到的图像中与p点对应的像素值，sx(q)为所述色彩图像在x轴方向上做索贝尔算子后得到的图像中与q点对应的像素值；
所述高阶线性差值权重为其中，Dg(p)为所述深度图像做高斯插值后得到的图像中与p点对应的像素值，Dg(q)为所述深度图像做高斯插值后得到的图像中与q点对应的像素值，σg为预设常数。
10.一种计算机可读存储介质，其特征在于，包括与电子设备结合使用的计算机程序，所述计算机程序可被处理器执行以完成权利要求1至7任意一项所述的图像处理方法。
CN201811244125.3A 2018-10-24 2018-10-24 图像处理方法、图像处理装置、电子设备及可读存储介质 Active CN111091592B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811244125.3A CN111091592B (zh) 2018-10-24 2018-10-24 图像处理方法、图像处理装置、电子设备及可读存储介质
US16/659,030 US11042966B2 (en) 2018-10-24 2019-10-21 Method, electronic device, and storage medium for obtaining depth image
PCT/CN2019/112732 WO2020083307A1 (en) 2018-10-24 2019-10-23 Method, apparatus, and storage medium for obtaining depth image
EP19205000.3A EP3644271A1 (en) 2018-10-24 2019-10-24 Method, apparatus, and storage medium for obtaining depth image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811244125.3A CN111091592B (zh) 2018-10-24 2018-10-24 图像处理方法、图像处理装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111091592A CN111091592A (zh) 2020-05-01
CN111091592B true CN111091592B (zh) 2023-08-15

Family

ID=68342745

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811244125.3A Active CN111091592B (zh) 2018-10-24 2018-10-24 图像处理方法、图像处理装置、电子设备及可读存储介质

Country Status (4)

Country Link
US (1) US11042966B2 (zh)
EP (1) EP3644271A1 (zh)
CN (1) CN111091592B (zh)
WO (1) WO2020083307A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112256770A (zh) * 2020-11-13 2021-01-22 国网江苏省电力有限公司南通供电分公司 一种基于智能化数据采集与分析的智慧数据分析平台
CN116324867A (zh) * 2020-11-24 2023-06-23 Oppo广东移动通信有限公司 图像处理方法、图像处理装置、摄像头组件及电子设备
CN112346076A (zh) * 2020-11-25 2021-02-09 Oppo（重庆）智能科技有限公司 电子装置的控制方法、电子装置及计算机可读存储介质
CN112837219B (zh) * 2021-01-14 2024-07-19 Oppo广东移动通信有限公司 图像处理方法、装置以及电子设备
CN112669220B (zh) * 2021-01-29 2024-04-16 百度时代网络技术（北京）有限公司 深度图像插值方法、装置、设备和介质
CN112985772B (zh) * 2021-02-04 2023-08-11 Oppo广东移动通信有限公司 深度图检测装置、方法、电子设备和计算机可读存储介质
CN115115683A (zh) * 2021-03-22 2022-09-27 北京小米移动软件有限公司 图像处理方法及装置
US12084060B2 (en) * 2021-09-17 2024-09-10 Zoox, Inc. Associating image data and depth data for depth determination
CN114745509B (zh) * 2022-04-08 2024-06-07 深圳鹏行智能研究有限公司 图像采集方法、设备、足式机器人及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408524A (zh) * 2016-08-17 2017-02-15 南京理工大学 基于二维图像辅助的深度图像增强方法
CN106408513A (zh) * 2016-08-25 2017-02-15 天津大学 深度图超分辨率重建方法
CN107610077A (zh) * 2017-09-11 2018-01-19 广东欧珀移动通信有限公司 图像处理方法和装置、电子装置和计算机可读存储介质
CN107635129A (zh) * 2017-09-29 2018-01-26 周艇 三维三目摄像装置及深度融合方法
CN107707831A (zh) * 2017-09-11 2018-02-16 广东欧珀移动通信有限公司 图像处理方法和装置、电子装置和计算机可读存储介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7307736B2 (en) * 2004-03-31 2007-12-11 Mitutoyo Corporation Scale for use with a translation and orientation sensing system
JP5676492B2 (ja) * 2009-03-06 2015-02-25 コーニンクレッカ フィリップス エヌ ヴェ 生体の存在を検出するデバイス及びシステムの機能を制御する方法
US8351651B2 (en) * 2010-04-26 2013-01-08 Microsoft Corporation Hand-location post-process refinement in a tracking system
US8712930B1 (en) * 2010-08-09 2014-04-29 Google Inc. Encoding digital content based on models for predicting similarity between exemplars
US20120056982A1 (en) * 2010-09-08 2012-03-08 Microsoft Corporation Depth camera based on structured light and stereo vision
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US9047681B2 (en) 2011-07-07 2015-06-02 Samsung Electronics Co., Ltd. Depth image conversion apparatus and method
WO2013054240A1 (en) * 2011-10-10 2013-04-18 Koninklijke Philips Electronics N.V. Depth map processing
KR101863626B1 (ko) 2011-11-02 2018-07-06 삼성전자주식회사 영상 처리 장치 및 방법
US8891905B2 (en) 2012-12-19 2014-11-18 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Boundary-based high resolution depth mapping
KR20150020953A (ko) * 2013-08-19 2015-02-27 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
GB2532003A (en) * 2014-10-31 2016-05-11 Nokia Technologies Oy Method for alignment of low-quality noisy depth map to the high-resolution colour image
CN107534764B (zh) 2015-04-30 2020-03-17 深圳市大疆创新科技有限公司 增强图像分辨率的系统及方法
US10701282B2 (en) * 2015-06-24 2020-06-30 Intel Corporation View interpolation for visual storytelling
CN105139355A (zh) 2015-08-18 2015-12-09 山东中金融仕文化科技股份有限公司 一种深度图像的增强方法
US9892496B2 (en) * 2015-11-05 2018-02-13 Google Llc Edge-aware bilateral image processing
US10598783B2 (en) * 2016-07-07 2020-03-24 Microsoft Technology Licensing, Llc Multi-frequency unwrapping
CN106780383B (zh) 2016-12-13 2019-05-24 长春理工大学 Tof相机的深度图像增强方法
US10242454B2 (en) * 2017-01-25 2019-03-26 Google Llc System for depth data filtering based on amplitude energy values
US20180262744A1 (en) * 2017-02-07 2018-09-13 Mindmaze Holding Sa Systems, methods and apparatuses for stereo vision
US10613228B2 (en) * 2017-09-08 2020-04-07 Microsoft Techology Licensing, Llc Time-of-flight augmented structured light range-sensor
US11209528B2 (en) * 2017-10-15 2021-12-28 Analog Devices, Inc. Time-of-flight depth image processing systems and methods
CN108550167B (zh) 2018-04-18 2022-05-24 北京航空航天大学青岛研究院 深度图像生成方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106408524A (zh) * 2016-08-17 2017-02-15 南京理工大学 基于二维图像辅助的深度图像增强方法
CN106408513A (zh) * 2016-08-25 2017-02-15 天津大学 深度图超分辨率重建方法
CN107610077A (zh) * 2017-09-11 2018-01-19 广东欧珀移动通信有限公司 图像处理方法和装置、电子装置和计算机可读存储介质
CN107707831A (zh) * 2017-09-11 2018-02-16 广东欧珀移动通信有限公司 图像处理方法和装置、电子装置和计算机可读存储介质
CN107635129A (zh) * 2017-09-29 2018-01-26 周艇 三维三目摄像装置及深度融合方法

Also Published As

Publication number Publication date
CN111091592A (zh) 2020-05-01
US11042966B2 (en) 2021-06-22
US20200134784A1 (en) 2020-04-30
WO2020083307A1 (en) 2020-04-30
EP3644271A1 (en) 2020-04-29

Similar Documents

Publication Publication Date Title
CN111091592B (zh) 图像处理方法、图像处理装置、电子设备及可读存储介质
Feng et al. Local background enclosure for RGB-D salient object detection
US9384556B2 (en) Image processor configured for efficient estimation and elimination of foreground information in images
CN110378945B (zh) 深度图处理方法、装置和电子设备
US9361680B2 (en) Image processing apparatus, image processing method, and imaging apparatus
US9741125B2 (en) Method and system of background-foreground segmentation for image processing
US9426449B2 (en) Depth map generation from a monoscopic image based on combined depth cues
US9374571B2 (en) Image processing device, imaging device, and image processing method
CN109949347B (zh) 人体跟踪方法、装置、系统、电子设备和存储介质
CN110378946B (zh) 深度图处理方法、装置以及电子设备
CN110135455A (zh) 影像匹配方法、装置及计算机可读存储介质
CN111582054B (zh) 点云数据处理方法及装置、障碍物检测方法及装置
CN111950543B (zh) 一种目标检测方法和装置
CN105069804B (zh) 基于智能手机的三维模型扫描重建方法
CN110400338B (zh) 深度图处理方法、装置和电子设备
CN109685806B (zh) 图像显著性检测方法及装置
CN113301320B (zh) 图像信息处理方法、装置和电子设备
CN112465735B (zh) 行人检测方法、装置及计算机可读存储介质
CN109191513A (zh) 基于全局优化的电力设备立体匹配方法
CN115035235A (zh) 三维重建方法及装置
CN110956657A (zh) 深度图像获取方法及装置、电子设备及可读存储介质
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
CN117635875B (zh) 一种三维重建方法、装置及终端
CN114981845A (zh) 图像扫描方法及装置、设备、存储介质
CN114898321A (zh) 道路可行驶区域检测方法、装置、设备、介质及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40018179

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant