CN108234858A - 图像虚化处理方法、装置、存储介质及电子设备 - Google Patents

图像虚化处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN108234858A
CN108234858A CN201710359299.3A CN201710359299A CN108234858A CN 108234858 A CN108234858 A CN 108234858A CN 201710359299 A CN201710359299 A CN 201710359299A CN 108234858 A CN108234858 A CN 108234858A
Authority
CN
China
Prior art keywords
depth
data
master map
value
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710359299.3A
Other languages
English (en)
Other versions
CN108234858B (zh
Inventor
严琼
孙文秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201710359299.3A priority Critical patent/CN108234858B/zh
Priority to PCT/CN2018/087372 priority patent/WO2018210318A1/zh
Publication of CN108234858A publication Critical patent/CN108234858A/zh
Priority to US16/457,438 priority patent/US10970821B2/en
Application granted granted Critical
Publication of CN108234858B publication Critical patent/CN108234858B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例提供一种图像虚化处理方法、装置、存储介质及电子设备。其中，所述图像虚化处理方法包括：获取双摄像头拍摄同一对象获得的主图和辅图；根据所述主图和辅图获取深度数据和深度置信度数据，所述深度数据指示所述主图和所述辅图中各对应像素点的深度值，所述深度置信度数据指示所述深度数据中各深度值的置信度；根据所述深度置信度数据修正所述深度数据中至少一个深度值；根据修正后的深度数据对所述主图进行虚化处理。采用本发明的技术方案，可以有效提高获取的深度数据的准确性，进而提高对主图的虚化效果。

Description

图像虚化处理方法、装置、存储介质及电子设备
技术领域
本发明实施例涉及图像处理技术，尤其涉及一种图像虚化处理方法、存储介质、装置及电子设备。
背景技术
图像的背景虚化能够使拍摄主体清晰显示，深受摄影爱好者的喜爱。目前，图像的虚化效果主要是利用光学成像原理，在硬件上采用大的镜头光圈来实现，因此，图像的虚化功能主要集成在单反相机等专业的摄像机上。随着智能手机的不断普及，使用手机进行拍照的用户占大多数，而由于手机厚度受限，手机只能安装小光圈镜头，所以手机只能在很近的情况下生成微弱的虚化效果，在其他场景下不能生成具有虚化效果的图像。
发明内容
本发明实施例提供一种图像虚化处理技术方案。
根据本发明实施例的一方面，提供一种图像虚化方法，包括：获取双摄像头拍摄同一对象获得的主图和辅图；根据所述主图和辅图获取深度数据和深度置信度数据，所述深度数据指示所述主图和所述辅图中各对应像素点的深度值，所述深度置信度数据指示所述深度数据中各深度值的置信度；根据所述深度置信度数据修正所述深度数据中至少一个深度值；根据修正后的深度数据对所述主图进行虚化处理。可选地，所述根据所述主图和辅图获得深度置信度数据，包括：如果在所述主图和所述辅图中的对应像素点具有相同深度值，则赋予所述对应像素点相对参考值较大的深度置信度值；和/或，如果所述主图中像素点的深度值超出预设范围，则赋予超出预设范围的像素点相对参考值较小的深度置信度值；和/或，如果所述主图中像素点具有两个或两个以上的深度值，则赋予具有两个或两个以上的深度值的像素点相对参考值较小的深度置信度值。
可选地，所述根据所述深度置信度数据修正所述深度数据中至少一个深度值，包括：以具有最高深度置信度值的相邻像素点的深度值，替换具有最低深度置信度值的像素点的深度值。
可选地，在所述根据修正后的深度数据对所述主图进行虚化处理之前，还包括：对所述深度数据进行去噪处理。
可选地，所述去噪处理包括：采用滤波器对深度数据进行滤波处理；和/或，将所述深度数据中各深度值按照预设比例增大。
可选地，所述根据所述主图和辅图获取深度数据，包括：对所述主图和所述辅图进行立体匹配获得初始深度数据；对所述初始深度数据进行深度校准以使所述主图和所述辅图对应像素点位于同一深度，获得所述深度数据。
可选地，所述根据修正后的深度数据对所述主图进行虚化处理，包括：根据修正后的深度数据获取所述主图中各第一像素点的虚化期望数据；根据各第一像素点的虚化期望数据对所述主图进行虚化处理。
可选地，所述根据所述虚化期望数据对所述主图进行虚化处理，包括：生成所述主图的第一像素点对应且像素值为初始值的虚化图；根据所述主图中各第一像素点的虚化期望数据分别确定所述虚化图中相应的第二像素点的初始虚化权重值；针对上述虚化图中的至少一第二像素点进行至少一次更新，所述更新包括：根据第一像素点的像素值和与所述第一像素点对应的第二像素点的当前虚化权重值，更新所述对应的第二像素点的至少一邻近的第二像素点的当前像素值和当前虚化权重值；根据更新后的所述虚化图获得所述主图的虚化处理结果。
可选地，所述邻近的第二像素点与所述对应的第二像素点之间的距离满足设定要求。
可选地，所述第一像素点的虚化期望数据包括：虚化半径；所述邻近的第二像素点与所述对应的第二像素点之间的距离满足设定要求，包括：所述邻近的第二像素点与所述对应的第二像素点之间的距离小于或等于所述虚化半径。
可选地，所述根据更新后的所述虚化图获得所述主图的虚化处理结果，包括：根据更新后的所述虚化图中各第二像素点的当前像素值和当前虚化权重值，对所述虚化图中的各第二像素点的像素值进行归一化处理，归一化处理后的所述虚化图作为所述虚化处理结果。
可选地，所述根据修正后的深度数据获取所述主图中各第一像素点的虚化期望数据，包括：根据所述深度数据确定所述各第一像素点与所述主图中预定对焦点的深度差值；根据各深度差值分别确定各第一像素点的虚化期望数据。
可选地，在所述根据修正后的深度数据获取所述主图中各第一像素点的虚化期望数据之前，还包括：
获取输入的对焦点信息。
根据本发明实施例的第二方面，还提供一种图像虚化处理装置，包括：第一获取模块，用于获取双摄像头拍摄同一对象获得的主图和辅图；第二获取模块，用于根据所述主图和辅图获取深度数据和深度置信度数据，所述深度数据指示所述主图和所述辅图中各对应像素点的深度值，所述深度置信度数据指示所述深度数据中各深度值的置信度；修正模块，用于根据所述深度置信度数据修正所述深度数据中至少一个深度值；虚化模块，用于根据修正后的深度数据对所述主图进行虚化处理。
可选地，所述第二获取模块包括第一获取单元，用于如果在所述主图和所述辅图中的对应像素点具有相同深度值，则赋予所述对应像素点相对参考值较大的深度置信度值；和/或，如果所述主图中像素点的深度值超出预设范围，则赋予超出预设范围的像素点相对参考值较小的深度置信度值；和/或，如果所述主图中像素点具有两个或两个以上的深度值，则赋予具有两个或两个以上的深度值的像素点相对参考值较小的深度置信度值。
可选地，所述修正模块用于以具有最高深度置信度值的相邻像素点的深度值，替换具有最低深度置信度值的像素点的深度值。
可选地，还包括：去噪模块，用于对所述深度数据进行去噪处理。
可选地，所述去噪模块包括：滤波单元，用于采用滤波器对深度数据进行滤波处理；和/或，增大单元，用于将所述深度数据中各深度值按照预设比例增大。
可选地，所述第二获取模块包括：第二获取单元，用于对所述主图和所述辅图进行立体匹配获得初始深度数据；第三获取单元，用于对所述初始深度数据进行深度校准以使所述主图和所述辅图对应像素点位于同一深度，获得所述深度数据。
可选地，所述虚化模块包括：第四获取单元，用于根据修正后的深度数据获取所述主图中各第一像素点的虚化期望数据；虚化单元，用于根据各第一像素点的虚化期望数据对所述主图进行虚化处理。
可选地，所述虚化单元包括：生成子单元，用于生成所述主图的第一像素点对应且像素值为初始值的虚化图；确定子单元，用于根据所述主图中各第一像素点的虚化期望数据分别确定所述虚化图中相应的第二像素点的初始虚化权重值；更新子单元，用于针对上述虚化图中的至少一第二像素点进行至少一次更新，所述更新包括：根据第一像素点的像素值和与所述第一像素点对应的第二像素点的当前虚化权重值，更新所述对应的第二像素点的至少一邻近的第二像素点的当前像素值和当前虚化权重值；虚化子单元，用于根据更新后的所述虚化图获得所述主图的虚化处理结果。
可选地，所述邻近的第二像素点与所述对应的第二像素点之间的距离满足设定要求。
可选地，所述第一像素点的虚化期望数据包括：虚化半径；所述邻近的第二像素点与所述对应的第二像素点之间的距离满足设定要求，包括：所述邻近的第二像素点与所述对应的第二像素点之间的距离小于或等于所述虚化半径。
可选地，所述虚化子单元用于根据更新后的所述虚化图中各第二像素点的当前像素值和当前虚化权重值，对所述虚化图中的各第二像素点的像素值进行归一化处理，归一化处理后的所述虚化图作为所述虚化处理结果。
可选地，所述第四获取单元包括：第一确定子单元，用于根据所述深度数据确定所述各第一像素点与所述主图中预定对焦点的深度差值；第二确定子单元，用于根据各深度差值分别确定各第一像素点的虚化期望数据。
可选地，所述第四获取单元还包括：获取子单元，用于获取输入的对焦点信息。
根据本发明实施例的第三方面，还提供一种存储介质，其中存储有至少一条可执行指令，所述可执行指令适于由处理器加载并执行如上述第一方面提供的图像虚化处理方法对应的操作。
根据本发明实施例的第四方面，还提供一种电子设备。所述电子设备包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上述第一方面提供的图像虚化处理方法对应的操作。
根据本发明实施例的图像虚化处理方案，通过获取双摄像头拍摄同一对象的主图和辅图的深度数据以及深度置信度数据，并通过深度置信度数据来修正深度数据，有效提高了深度数据的准确性，在此基础上，通过修正后的深度数据来对主图进行虚化处理，可以提高对主图的虚化效果。
附图说明
图1是示出根据本发明实施例一的一种图像虚化处理方法的流程图；
图2是示出根据本发明实施例二的一种图像虚化处理方法的流程图；
图3是示出根据本发明实施例二提供的一种双摄像头拍摄的主图；
图4是示出根据本发明实施例二提供的一种双摄像头拍摄的辅图；
图5是示出根据本发明实施例二提供的一种主图的深度图；
图6是示出根据本发明实施例二提供的一种经过虚化处理的主图；
图7是示出根据本发明实施例三的一种图像虚化处理装置的逻辑框图；
图8是示出根据本发明实施例四的一种图像虚化处理装置的逻辑框图；
图9是示出根据本发明实施例四的一种图像虚化处理装置的虚化模块的逻辑框图；
图10是示出根据本发明实施例五的一种电子设备的结构示意图。
具体实施方式
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本发明实施例的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。
本领域技术人员可以理解，本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
实施例一
图1是示出根据本发明实施例一的一种图像虚化处理方法的流程图。
参照图1，在步骤S110，获取双摄像头拍摄同一对象获得的主图和辅图。
双摄像头可以在不同角度拍摄同一场景获得两张图片，分别为主图和辅图(或者左图和右图)，两张图片中哪张为主图以及哪张为辅图，由双摄像头在出厂之前预先设定好的方式来确定。其中，双摄像头可以设置在受限于厚度而不能集成大光圈镜头的移动智能终端上，例如，智能手机上的双摄像头。
在双摄像头拍摄同一对象获得的主图和辅图中，主图为最终呈献给用户的图片。本发明实施例的图像虚化处理方法，对双摄像头拍摄的主图进行虚化处理，以使提高对主图的虚化效果。
在步骤S120，根据主图和辅图获取深度数据和深度置信度数据。其中，深度数据指示主图和辅图中各对应像素点的深度值，深度置信度数据指示深度数据中各深度值的置信度。
深度置信度数据指示深度数据中各深度值的置信度，能够表示深度数据的准确性，也即，通过主图和辅图的深度置信度数据，可以分别表示获取的主图和辅图中各像素点的深度值的准确性。其中，深度值为拍摄的图片(主图或辅图)中的像素点对应的拍摄对象距离摄像头的距离。
本实施例中，本实施例对获取深度数据和深度置信度数据的具体方式不做限定。例如，在获取深度数据时，可通过对主图和辅图进行立体匹配，或者采用其他图像处理技术以及采用深度神经网络处理主图和辅图，来获取主图和辅图的深度数据，但不限于此。
在步骤S130，根据深度置信度数据修正深度数据中至少一个深度值。
例如，根据主图的深度置信度数据，修正主图的深度数据中置信度较低的深度值，以使主图的深度数据所指示的主图中各像素点的深度值更加准确。
在步骤S140，根据修正后的深度数据对主图进行虚化处理。
可选地，根据主图的深度置信度数据修正主图的深度数据，并根据修正后的主图的深度数据来计算用于进行虚化渲染的拟定虚化数据，对主图中的部分区域进行模糊处理，或者调整主图中部分像素点的像素值，从而完成对主图的虚化渲染。由于主图的深度数据经过深度置信度数据的修正，可以更加准确地指示主图中各像素点的像素值，进一步地，根据修正后的深度数据来进行虚化处理，可以有效地提高对主图的虚化效果，从而解决双摄手机拍摄的图像没有虚化效果或者具有微弱虚化效果的问题。
根据本发明实施例的图像虚化处理方法，通过获取双摄像头拍摄同一对象的主图和辅图的深度数据以及深度置信度数据，并通过深度置信度数据来修正深度数据，有效提高了深度数据的准确性，在此基础上，通过修正后的深度数据来对主图进行虚化处理，可以提高对主图的虚化效果。
在实际应用中，本实施例的图像虚化处理方法可以由摄像机、图像处理程序或者具有摄像功能的智能终端等来执行，但本领域技术人员应明了，在实际应用中，任意具有相应的图像处理和数据处理功能的设备，均可以参照本实施例来执行本发明实施例的图像虚化处理方法。
实施例二
图2是示出根据本发明实施例二的一种图像虚化处理方法的流程图。
参照图2，在步骤S210，获取双摄像头拍摄同一对象获得的主图和辅图。
例如，图3和图4示出的本实施例获取的主图和辅图。主图和辅图为双摄像头在不同角度拍摄同一场景得到的两张图片，对比图3和图4可知，主图和辅图中靠近图片边缘的玩具娃娃耳朵的位置不同(距离桌面上的鼠标垫的位置不同)。
在步骤S220，根据主图和辅图获取深度数据和深度置信度数据。其中，深度数据指示主图和辅图中各对应像素点的深度值，深度置信度数据指示深度数据中各深度值的置信度。
一种可选的实施方式中，通过对主图和辅图进行立体匹配获得初始深度数据，进一步地，对初始深度数据进行深度校准，以使主图和辅图对应像素点位于同一深度，进而获取校准后的主图和辅图的深度数据。这里，采用立体匹配的方式可以快速且准确地获取初始深度数据。对初始深度数据进行校准，可以在双摄像头因碰撞等因素导致双摄像头发生轻微的位移或转动，造成主图和辅图对应像素点没有位于同一深度的情况下，使得主图和辅图对应像素点位于同一深度，避免影响后续的图像处理操作。
本实施例中，在获得主图和辅图的深度数据后，还获取主图的深度置信度数据。例如，如果在主图和辅图中的对应像素点具有相同深度值，则赋予对应像素点的深度值相对参考值较大的深度置信度值；如果在主图和辅图中的对应像素点具有不同深度值，则赋予对应像素点的深度值相对参考值较小的深度置信度值。和/或，如果主图中像素点的深度值超出预设范围，则赋予超出预设范围的像素点的深度值相对参考值较小的深度置信度值；如果主图中像素点的深度值未超出预设范围，则赋予对应像素点的深度值相对参考值较大的深度置信度值。和/或，如果主图中像素点具有两个或两个以上的深度值，则赋予具有两个或两个以上的深度值的像素点的深度值相对参考值较小的深度置信度值；如果主图中像素点具有同一个深度值，则赋予对应像素点的深度值相对参考值较大的深度置信度值。
可选地，深度数据和深度置信度数据分别为深度图和置信度图。例如，参照图5示出的主图的深度图，深度图中每个像素点的值代表主图中对应的第一像素点的深度值。主图对应的深度置信度图(图中未示出)中每个像素点的值则代表对应的第一像素点的深度值的置信度。这里，主图的深度图和置信度图的大小可以和主图的大小相同。
在步骤S230，根据深度置信度数据修正深度数据中至少一个深度值，并对深度数据进行去噪处理。
可选地，在根据主图对应的深度置信度数据修正主图的深度数据时，以具有最高深度置信度值的相邻像素点的深度值，替换具有最低深度置信度值的像素点的深度值，以避免为主图中各个像素点确定的深度值出现较大误差，使得深度数据所指示的深度值更加准确，提高深度数据的准确度。
此外，为了进一步提高获取的深度数据的准确性，还可以对深度数据进行去噪处理。可选地，去噪处理可以包括采用滤波器对深度数据进行滤波处理，和/或，将深度数据中各深度值按照预设比例增大。例如，采用平滑滤波器，使得主图中颜色相似的像素点具有相似的深度值，进一步提高深度数据的准确度。以及，对深度数据中各深度值进行拉伸处理，将深度数据中各深度值按照预设比例增大，以增大各个像素点的深度值之间的对比度。
在步骤S240，根据深度数据确定各第一像素点与第一图中预定对焦点的深度差值。
本实施例中，在执行该步骤之前，通过输入的方式获取主图的对焦点信息。可选地，在对拍摄得到的主图进行虚化处理时，用户可以在主图中选择一个点或区域进行点击操作，或者输入主图中的一个点或区域的坐标等数据，以该点或区域作为主图的对焦点或对焦区域。例如，主图中包括人和车辆，用户可以点击人作为对焦点，通过执行本实施例的图像虚化处理方法，来使主图中的人显示得更为清晰，并使主图中的车辆及其他背景区域显示得较为模糊。
当然，在其他实施例中，针对用户拍摄主图时已经选择好对焦点的情形，执行该步骤，也可以直接获取主图中已经确定的对焦点的信息。其中，用户选择对焦点可以为用户拍摄主图时，摄像头进行自动对焦选择的对焦点。
根据获取的对焦点信息，确定主图中的预定对焦点，并根据去噪后的深度数据中获取主图中各第一像素点以及预定对焦点的深度值，计算各第一像素点与预定对焦点的深度值的差值。
在步骤S250，根据各深度差值分别确定各第一像素点的虚化期望数据。
本实施例中，根据主图中各第一像素点与预定对焦点的深度差值，来计算各第一像素点的虚化期望数据，用于指示对主图中各第一像素点进行虚化处理所期望或者拟达到的虚化程度。这里，虚化期望数据包括但不限于虚化半径或直径等径长，所述虚化径长可包括但不限于虚化后像素的弥散圆的半径或直径等信息。
可选地，第一像素点的虚化期望数据包括虚化半径。例如，通过公式：c＝A*abs(d0-d)来计算第一像素点的虚化半径c，其中，abs为求取绝对值函数，A为模拟的大光圈镜头的光圈大小，d0为预定对焦点的深度值，d为第一像素点的深度值。
当d等于d0时，该第一像素点与预定对焦点处于同一深度，虚化半径c＝0，该第一像素点不需要进行虚化处理。当d不等于d0时，该第一像素点远离预定对焦点，且距离越近，虚化半径c越小；距离越远，虚化半径c越大。也就是说，在主图中，预定对焦点不进行虚化处理；预定对焦点附近的对焦区域在进行虚化处理时，虚化力度较小；远离预定对焦点的区域，在进行虚化处理时的虚化力度较大，且距离越远，虚化力度越大。
在步骤S260，根据各第一像素点的虚化期望数据对主图进行虚化处理。
一种可选地实施方式中，根据获取虚化期望数据对主图进行虚化渲染的方法包括：生成主图的第一像素点对应且像素值为初始值的虚化图；根据主图中各第一像素点的虚化期望数据分别确定虚化图中相应的第二像素点的初始虚化权重值；针对上述虚化图中的至少一第二像素点进行至少一次更新，更新包括：根据第一像素点的像素值和与第一像素点对应的第二像素点的当前虚化权重值，更新对应的第二像素点的至少一邻近的第二像素点的当前像素值和当前虚化权重值；根据更新后的虚化图获得主图的虚化处理结果。
可选地，在生成上述虚化图时，生成与主图大小相同，且像素点与主图中的各第一像素点一一对应的虚化图，并将虚化图中的各第二像素点的像素值初始化为0(或者某一相同数值)。这里，由于主图和虚化图大小相等，且第一像素点和第二像素点一一对应，因此，第一像素点和第二像素点均可以用坐标(x,y)来表示。在这里说明，在实际应用中，还可以先生成主图的虚化图，再执行步骤S210至S250来获取主图的虚化期望数据。
本实施例中，根据虚化期望数据来获取虚化图中各第二像素点的初始虚化权重值，用于以通过模拟具有大光圈的镜头(例如单反相机)成像时的虚化过程，来对主图进行虚化渲染。可选地，虚化期望数据包括虚化半径，在获取上述初始虚化权重值时，可以根据公式：w(x,y)＝1/c(x,y)2，分别为虚化图中的各第二像素点(x,y)确定各自的初始虚化权重值w(x,y)。其中，c(x,y)为第一像素点(x,y)的虚化半径。也即，第一像素点的虚化半径越大，相应的第二像素点的初始虚化权重值越小。
可选地，上述邻近的第二像素点与对应的第二像素点之间的距离满足设定要求。例如，该设定要求为小于或等于虚化半径，也即，第一像素点的虚化半径大于对应的第二像素点与邻近的第二像素点之间的距离。
在对虚化图中的第二像素点进行更新时，对针对虚化图中的每个第二像素点(x,y)，对多个邻近的第二像素点(x’,y’)均进行散射操作，来更新当前像素值I(x’,y’)和当前虚化权重值w(x’,y’)。例如，通过在I(x’,y’)的基础上累加I(x’,y’)*w(x,y)来获取新的I(x’,y’)，对当前像素值进行一次更新；通过在w(x’,y’)的基础上累加w(x,y)来获取新的w(x’,y’)，对当前虚化权重值进行一次更新。
通过对各第二像素点的当前像素值和当期虚化权重值进行不断更新来更新虚化图，直至所有第二像素点完成更新。
可选地，根据更新后的虚化图中各第二像素点的当前像素值和当前虚化权重值对虚化图中的各第二像素点的像素值进行归一化处理，归一化处理后的虚化图作为虚化处理结果。
本实施例中，根据更新后各第二像素点的当前像素值和当前虚化权重值，对各第二像素点的当前像素值进行归一化处理，来获取各第二像素点的像素值。也即，第二像素点的像素值为更新后的当前像素值和当前虚化权重值的比值。根据获取的各像素值确定为虚化图中各第二像素点的像素值，并将处理后的虚化图确定为主图的虚化处理结果。
参照图6示出的经过虚化处理的主图，经过虚化处理主图具有明显的虚化效果。图中对焦区域(对焦区域为左侧的玩具娃娃的脸部区域)没有经过虚化处理，或者虚化力度较小，能够显示清晰；远离对焦区域的像素点随距离的增加，虚化力度相应地越来越大，显示得越来越模糊。
根据本发明实施例的图像虚化处理方法，通过获取双摄像头拍摄同一对象的主图和辅图的深度数据以及深度置信度数据，并通过深度置信度数据来修正深度数据，以及对深度数据进行去噪处理，有效提高了深度数据的准确性；在此基础上，通过修正后的深度数据来对主图进行虚化处理，可以提高对主图的虚化效果；并且，在进行虚化处理时，通过模拟大光圈镜头的虚化过程，来对主图进行虚化渲染，使得主图具有明显的虚化效果。
在实际应用中，本实施例的图像虚化处理方法可以由摄像机、图像处理程序或者具有摄像功能的智能终端等来执行，但本领域技术人员应明了，在实际应用中，任意具有相应的图像处理和数据处理功能的设备，均可以参照本实施例来执行本发明实施例的图像虚化处理方法。
实施例三
图7是示出根据本发明实施例三的一种图像虚化处理装置的逻辑框图。本领域技术人员可以理解，本发明实施例中的“模块”或“单元”，可以分别是如“程序模块”或“程序单元”等软件模块或单元，也可以分别是硬件、固件或者软件、硬件、固件的任何方式形成的模块或单元，本发明实施例对此不做限定；不再赘述。
参照图7，本实施例的图像虚化处理装置包括第一获取模块310、第二获取模块320、修正模块330和虚化模块340。
第一获取模块310用于获取双摄像头拍摄同一对象获得的主图和辅图。第二获取模块320用于根据所述主图和辅图获取深度数据和深度置信度数据，所述深度数据指示所述主图和所述辅图中各对应像素点的深度值，所述深度置信度数据指示所述深度数据中各深度值的置信度。修正模块330用于根据所述深度置信度数据修正所述深度数据中至少一个深度值。虚化模块340用于根据修正后的深度数据对所述主图进行虚化处理。
本实施例的图像虚化处理装置用于实现前述方法实施例中相应的图像虚化处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。
实施例四
图8是示出根据本发明实施例四的一种图像虚化处理装置的逻辑框图。
根据本实施例的图像虚化处理装置，所述第二获取模块320包括第一获取单元321，用于如果在所述主图和所述辅图中的对应像素点具有相同深度值，则赋予所述对应像素点相对参考值较大的深度置信度值；和/或，如果所述主图中像素点的深度值超出预设范围，则赋予超出预设范围的像素点相对参考值较小的深度置信度值；和/或，如果所述主图中像素点具有两个或两个以上的深度值，则赋予具有两个或两个以上的深度值的像素点相对参考值较小的深度置信度值。
可选地，所述修正模块330用于以具有最高深度置信度值的相邻像素点的深度值，替换具有最低深度置信度值的像素点的深度值。
可选地，本实施例的图像虚化处理装置还包括：去噪模块350，用于对所述深度数据进行去噪处理。
可选地，所述去噪模块350包括：滤波单元351，用于采用滤波器对深度数据进行滤波处理；和/或，增大单元352，用于将所述深度数据中各深度值按照预设比例增大。
可选地，所述第二获取模块320包括：第二获取单元322，用于对所述主图和所述辅图进行立体匹配获得初始深度数据；第三获取单元323，用于对所述初始深度数据进行深度校准以使所述主图和所述辅图对应像素点位于同一深度，获得所述深度数据。
可选地，所述虚化模块340包括：第四获取单元341，用于根据修正后的深度数据获取所述主图中各第一像素点的虚化期望数据；虚化单元342，用于根据各第一像素点的虚化期望数据对所述主图进行虚化处理。
在一种可选的实施方式中，参照图9，所述虚化单元342包括：生成子单元3421，用于生成所述主图的第一像素点对应且像素值为初始值的虚化图；确定子单元3422，用于根据所述主图中各第一像素点的虚化期望数据分别确定所述虚化图中相应的第二像素点的初始虚化权重值；更新子单元3423，用于针对上述虚化图中的至少一第二像素点进行至少一次更新，所述更新包括：根据第一像素点的像素值和与所述第一像素点对应的第二像素点的当前虚化权重值，更新所述对应的第二像素点的至少一邻近的第二像素点的当前像素值和当前虚化权重值；虚化子单元3424，用于根据更新后的所述虚化图获得所述主图的虚化处理结果。
可选地，所述邻近的第二像素点与所述对应的第二像素点之间的距离满足设定要求。
可选地，所述第一像素点的虚化期望数据包括：虚化半径；所述邻近的第二像素点与所述对应的第二像素点之间的距离满足设定要求，包括：所述邻近的第二像素点与所述对应的第二像素点之间的距离小于或等于所述虚化半径。
可选地，所述虚化子单元3424用于根据更新后的所述虚化图中各第二像素点的当前像素值和当前虚化权重值，对所述虚化图中的各第二像素点的像素值进行归一化处理，归一化处理后的所述虚化图作为所述虚化处理结果。
可选地，所述第四获取单元341包括：第一确定子单元3411，用于根据所述深度数据确定所述各第一像素点与所述主图中预定对焦点的深度差值；第二确定子单元3412，用于根据各深度差值分别确定各第一像素点的虚化期望数据。
可选地，所述第四获取单元341还包括：获取子单元3413，用于获取输入的对焦点信息。
本实施例的图像虚化处理装置用于实现前述方法实施例中相应的图像虚化处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。
实施例五
本发明实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图10，其示出了适于用来实现本发明实施例的终端设备或服务器的电子设备500的结构示意图。
如图10所示，电子设备500包括一个或多个处理器、通信元件等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)501，和/或一个或多个图像处理器(GPU)513等，处理器可以根据存储在只读存储器(ROM)502中的可执行指令或者从存储部分508加载到随机访问存储器(RAM)503中的可执行指令而执行各种适当的动作和处理。通信元件包括通信组件512和通信接口509。其中，通信组件512可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，通信接口509包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，通信接口509经由诸如因特网的网络执行通信处理。
处理器可与只读存储器502和/或随机访问存储器730中通信以执行可执行指令，通过总线504与通信组件512相连、并经通信组件512与其他目标设备通信，从而完成本发明实施例提供的任一项方法对应的操作，例如，获取双摄像头拍摄同一对象获得的主图和辅图；根据所述主图和辅图获取深度数据和深度置信度数据，所述深度数据指示所述主图和所述辅图中各对应像素点的深度值，所述深度置信度数据指示所述深度数据中各深度值的置信度；根据所述深度置信度数据修正所述深度数据中至少一个深度值；根据修正后的深度数据对所述主图进行虚化处理。
此外，在RAM 503中，还可存储有装置操作所需的各种程序和数据。CPU501、ROM502以及RAM503通过总线504彼此相连。在有RAM503的情况下，ROM502为可选模块。RAM503存储可执行指令，或在运行时向ROM502中写入可执行指令，可执行指令使处理器501执行上述通信方法对应的操作。输入/输出(I/O)接口505也连接至总线504。通信组件512可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信接口509。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
需要说明的，如图10所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图10的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信组件可512分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本发明的保护范围。
特别地，根据本发明实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本发明实施例提供的方法步骤对应的指令，例如，获取双摄像头拍摄同一对象获得的主图和辅图；根据所述主图和辅图获取深度数据和深度置信度数据，所述深度数据指示所述主图和所述辅图中各对应像素点的深度值，所述深度置信度数据指示所述深度数据中各深度值的置信度；根据所述深度置信度数据修正所述深度数据中至少一个深度值；根据修正后的深度数据对所述主图进行虚化处理。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本发明实施例的方法中限定的上述功能。
可能以许多方式来实现本发明的方法和装置、设备。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置、设备。用于方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。
以上所述，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明实施例的保护范围之内。因此，本发明实施例的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种图像虚化处理方法，包括：
获取双摄像头拍摄同一对象获得的主图和辅图；
根据所述主图和辅图获取深度数据和深度置信度数据，所述深度数据指示所述主图和所述辅图中各对应像素点的深度值，所述深度置信度数据指示所述深度数据中各深度值的置信度；
根据所述深度置信度数据修正所述深度数据中至少一个深度值；
根据修正后的深度数据对所述主图进行虚化处理。
2.根据权利要求1所述的方法，其中，所述根据所述主图和辅图获得深度置信度数据，包括：
如果在所述主图和所述辅图中的对应像素点具有相同深度值，则赋予所述对应像素点相对参考值较大的深度置信度值；和/或，
如果所述主图中像素点的深度值超出预设范围，则赋予超出预设范围的像素点相对参考值较小的深度置信度值；和/或，
如果所述主图中像素点具有两个或两个以上的深度值，则赋予具有两个或两个以上的深度值的像素点相对参考值较小的深度置信度值。
3.根据权利要求1或2所述的方法，其中，所述根据所述深度置信度数据修正所述深度数据中至少一个深度值，包括：
以具有最高深度置信度值的相邻像素点的深度值，替换具有最低深度置信度值的像素点的深度值。
4.根据权利要求1-3中任一项所述的方法，其中，在所述根据修正后的深度数据对所述主图进行虚化处理之前，还包括：
对所述深度数据进行去噪处理。
5.根据权利要求4述的方法，其中，所述去噪处理包括：
采用滤波器对深度数据进行滤波处理；和/或，
将所述深度数据中各深度值按照预设比例增大。
6.根据权利要求1-5中任一项所述的方法，其中，所述根据所述主图和辅图获取深度数据，包括：
对所述主图和所述辅图进行立体匹配获得初始深度数据；
对所述初始深度数据进行深度校准以使所述主图和所述辅图对应像素点位于同一深度，获得所述深度数据。
7.根据权利要求1-6中任一项所述的方法，其中，所述根据修正后的深度数据对所述主图进行虚化处理，包括：
根据修正后的深度数据获取所述主图中各第一像素点的虚化期望数据；
根据各第一像素点的虚化期望数据对所述主图进行虚化处理。
8.一种图像虚化处理装置，包括：
第一获取模块，用于获取双摄像头拍摄同一对象获得的主图和辅图；
第二获取模块，用于根据所述主图和辅图获取深度数据和深度置信度数据，所述深度数据指示所述主图和所述辅图中各对应像素点的深度值，所述深度置信度数据指示所述深度数据中各深度值的置信度；
修正模块，用于根据所述深度置信度数据修正所述深度数据中至少一个深度值；
虚化模块，用于根据修正后的深度数据对所述主图进行虚化处理。
9.一种存储介质，其中存储有至少一条可执行指令，所述可执行指令适于由处理器加载并执行如权利要求1-7中任一项所述的图像虚化处理方法对应的操作。
10.一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-7中任一项所述的图像虚化处理方法对应的操作。
CN201710359299.3A 2017-05-19 2017-05-19 图像虚化处理方法、装置、存储介质及电子设备 Active CN108234858B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710359299.3A CN108234858B (zh) 2017-05-19 2017-05-19 图像虚化处理方法、装置、存储介质及电子设备
PCT/CN2018/087372 WO2018210318A1 (zh) 2017-05-19 2018-05-17 图像虚化处理方法、装置、存储介质及电子设备
US16/457,438 US10970821B2 (en) 2017-05-19 2019-06-28 Image blurring methods and apparatuses, storage media, and electronic devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710359299.3A CN108234858B (zh) 2017-05-19 2017-05-19 图像虚化处理方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN108234858A true CN108234858A (zh) 2018-06-29
CN108234858B CN108234858B (zh) 2020-05-01

Family

ID=62656520

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710359299.3A Active CN108234858B (zh) 2017-05-19 2017-05-19 图像虚化处理方法、装置、存储介质及电子设备

Country Status (3)

Country Link
US (1) US10970821B2 (zh)
CN (1) CN108234858B (zh)
WO (1) WO2018210318A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335323A (zh) * 2018-03-20 2018-07-27 厦门美图之家科技有限公司 一种图像背景的虚化方法及移动终端
CN109903252A (zh) * 2019-02-27 2019-06-18 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111242843A (zh) * 2020-01-17 2020-06-05 深圳市商汤科技有限公司 图像虚化方法、图像虚化装置、设备及存储装置
WO2020192209A1 (zh) * 2019-03-25 2020-10-01 华为技术有限公司 一种基于Dual Camera+TOF的大光圈虚化方法
CN111741284A (zh) * 2019-03-25 2020-10-02 华为技术有限公司 图像处理的装置和方法
CN111866369A (zh) * 2020-05-28 2020-10-30 北京迈格威科技有限公司 图像处理方法及装置
CN112532839A (zh) * 2020-11-25 2021-03-19 深圳市锐尔觅移动通信有限公司 一种摄像头模组、成像方法、成像装置及移动设备
CN112532882A (zh) * 2020-11-26 2021-03-19 维沃移动通信有限公司 图像显示方法和装置
CN113395434A (zh) * 2020-03-11 2021-09-14 武汉Tcl集团工业研究院有限公司 一种预览图像虚化方法、存储介质及终端设备
CN114514735A (zh) * 2019-12-09 2022-05-17 Oppo广东移动通信有限公司 电子设备和控制电子设备的方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110069884A1 (en) * 2009-09-24 2011-03-24 Sony Corporation System and method for "bokeh-aji" shot detection and region of interest isolation
US20110280475A1 (en) * 2010-05-12 2011-11-17 Samsung Electronics Co., Ltd. Apparatus and method for generating bokeh effect in out-focusing photography
CN102542541A (zh) * 2011-12-31 2012-07-04 浙江大学 深度图像后处理的方法
CN103814306A (zh) * 2011-06-24 2014-05-21 索弗特凯耐提克软件公司 深度测量质量增强
CN103945118A (zh) * 2014-03-14 2014-07-23 华为技术有限公司 图像虚化方法、装置及电子设备
CN104424640A (zh) * 2013-09-06 2015-03-18 格科微电子（上海）有限公司 对图像进行虚化处理的方法和装置
CN104853080A (zh) * 2014-02-13 2015-08-19 宏达国际电子股份有限公司 图像处理装置
CN105007475A (zh) * 2014-04-17 2015-10-28 聚晶半导体股份有限公司 产生深度信息的方法与装置
CN105139355A (zh) * 2015-08-18 2015-12-09 山东中金融仕文化科技股份有限公司 一种深度图像的增强方法
CN105163042A (zh) * 2015-08-03 2015-12-16 努比亚技术有限公司 一种虚化处理深度图像的装置和方法
CN107613199A (zh) * 2016-06-02 2018-01-19 广东欧珀移动通信有限公司 虚化照片生成方法、装置和移动终端

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7676146B2 (en) * 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
US9161010B2 (en) * 2011-12-01 2015-10-13 Sony Corporation System and method for generating robust depth maps utilizing a multi-resolution procedure
JP6308748B2 (ja) * 2013-10-29 2018-04-11 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
AU2013263760A1 (en) * 2013-11-28 2015-06-11 Canon Kabushiki Kaisha Method, system and apparatus for determining a depth value of a pixel
TWI573433B (zh) * 2014-04-30 2017-03-01 聚晶半導體股份有限公司 優化深度資訊的方法與裝置
US9818232B2 (en) * 2015-08-26 2017-11-14 Adobe Systems Incorporated Color-based depth smoothing of scanned 3D model to enhance geometry in 3D printing
CN105354805B (zh) * 2015-10-26 2020-03-06 京东方科技集团股份有限公司 深度图像的去噪方法和去噪设备
US20180091798A1 (en) * 2016-09-26 2018-03-29 Imec Taiwan Co. System and Method for Generating a Depth Map Using Differential Patterns
JP6921500B2 (ja) * 2016-10-24 2021-08-18 キヤノン株式会社 距離検出装置および距離検出方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110069884A1 (en) * 2009-09-24 2011-03-24 Sony Corporation System and method for "bokeh-aji" shot detection and region of interest isolation
US20110280475A1 (en) * 2010-05-12 2011-11-17 Samsung Electronics Co., Ltd. Apparatus and method for generating bokeh effect in out-focusing photography
CN103814306A (zh) * 2011-06-24 2014-05-21 索弗特凯耐提克软件公司 深度测量质量增强
CN102542541A (zh) * 2011-12-31 2012-07-04 浙江大学 深度图像后处理的方法
CN104424640A (zh) * 2013-09-06 2015-03-18 格科微电子（上海）有限公司 对图像进行虚化处理的方法和装置
CN104853080A (zh) * 2014-02-13 2015-08-19 宏达国际电子股份有限公司 图像处理装置
CN103945118A (zh) * 2014-03-14 2014-07-23 华为技术有限公司 图像虚化方法、装置及电子设备
CN105007475A (zh) * 2014-04-17 2015-10-28 聚晶半导体股份有限公司 产生深度信息的方法与装置
CN105163042A (zh) * 2015-08-03 2015-12-16 努比亚技术有限公司 一种虚化处理深度图像的装置和方法
CN105139355A (zh) * 2015-08-18 2015-12-09 山东中金融仕文化科技股份有限公司 一种深度图像的增强方法
CN107613199A (zh) * 2016-06-02 2018-01-19 广东欧珀移动通信有限公司 虚化照片生成方法、装置和移动终端

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108335323B (zh) * 2018-03-20 2020-12-29 厦门美图之家科技有限公司 一种图像背景的虚化方法及移动终端
CN108335323A (zh) * 2018-03-20 2018-07-27 厦门美图之家科技有限公司 一种图像背景的虚化方法及移动终端
CN109903252A (zh) * 2019-02-27 2019-06-18 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
CN109903252B (zh) * 2019-02-27 2021-06-18 深圳市商汤科技有限公司 图像处理方法及装置、电子设备和存储介质
EP3930321A4 (en) * 2019-03-25 2022-04-20 Huawei Technologies Co., Ltd. DUAL CAMERA + TOF LARGE APERTURE BLUR PROCESS
CN111741283A (zh) * 2019-03-25 2020-10-02 华为技术有限公司 图像处理的装置和方法
CN111741284A (zh) * 2019-03-25 2020-10-02 华为技术有限公司 图像处理的装置和方法
WO2020192209A1 (zh) * 2019-03-25 2020-10-01 华为技术有限公司 一种基于Dual Camera+TOF的大光圈虚化方法
CN114514735A (zh) * 2019-12-09 2022-05-17 Oppo广东移动通信有限公司 电子设备和控制电子设备的方法
CN114514735B (zh) * 2019-12-09 2023-10-03 Oppo广东移动通信有限公司 电子设备和控制电子设备的方法
CN111242843A (zh) * 2020-01-17 2020-06-05 深圳市商汤科技有限公司 图像虚化方法、图像虚化装置、设备及存储装置
CN111242843B (zh) * 2020-01-17 2023-07-18 深圳市商汤科技有限公司 图像虚化方法、图像虚化装置、设备及存储装置
CN113395434A (zh) * 2020-03-11 2021-09-14 武汉Tcl集团工业研究院有限公司 一种预览图像虚化方法、存储介质及终端设备
CN113395434B (zh) * 2020-03-11 2022-08-23 武汉Tcl集团工业研究院有限公司 一种预览图像虚化方法、存储介质及终端设备
CN111866369A (zh) * 2020-05-28 2020-10-30 北京迈格威科技有限公司 图像处理方法及装置
CN112532839A (zh) * 2020-11-25 2021-03-19 深圳市锐尔觅移动通信有限公司 一种摄像头模组、成像方法、成像装置及移动设备
CN112532882A (zh) * 2020-11-26 2021-03-19 维沃移动通信有限公司 图像显示方法和装置

Also Published As

Publication number Publication date
US10970821B2 (en) 2021-04-06
US20190325564A1 (en) 2019-10-24
CN108234858B (zh) 2020-05-01
WO2018210318A1 (zh) 2018-11-22

Similar Documents

Publication Publication Date Title
CN108234858A (zh) 图像虚化处理方法、装置、存储介质及电子设备
CN108230234B (zh) 图像虚化处理方法、装置、存储介质及电子设备
CN111311523B (zh) 图像处理方法、装置、系统和电子设备
US11508038B2 (en) Image processing method, storage medium, image processing apparatus, learned model manufacturing method, and image processing system
TWI566601B (zh) 影像處理裝置及影像景深處理方法
JP6899002B2 (ja) 画像処理方法、装置、コンピュータ読み取り可能記憶媒体及び電子機器
CN107085825A (zh) 图像虚化方法、装置及电子设备
CN109474780A (zh) 一种用于图像处理的方法和装置
US10810707B2 (en) Depth-of-field blur effects generating techniques
CN107610046A (zh) 背景虚化方法、装置及系统
CN109993824B (zh) 图像处理方法、智能终端及具有存储功能的装置
US20230230204A1 (en) Image processing method and apparatus, and method and apparatus for training image processing model
CN106815869A (zh) 鱼眼相机的光心确定方法及装置
CN116051391B (zh) 一种图像处理方法及电子设备
Zheng et al. Constrained predictive filters for single image bokeh rendering
CN107133981B (zh) 图像处理方法和装置
CN109635809B (zh) 一种面向视觉退化图像的超像素分割方法
CN106851249A (zh) 图像处理方法及显示设备
JP6558365B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN106254804A (zh) 光场显示控制方法和装置、光场显示设备
CN111105370B (zh) 图像处理方法、图像处理装置、电子设备和可读存储介质
CN114418897B (zh) 眼部光斑图像的修复方法、装置、终端设备及存储介质
CN104637043B (zh) 支持像素选择方法、装置、视差值确定方法
CN116017129A (zh) 一种补光灯角度调整方法、装置、系统、设备和介质
JP2016532147A (ja) 眼科レンズの視覚的効果を特定する方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: 518000 Guangdong city of Shenzhen province Qianhai Shenzhen Hong Kong cooperation zone before Bay Road No. 1 building 201 room A

Patentee after: SHENZHEN SENSETIME TECHNOLOGY Co.,Ltd.

Address before: 13, building 518000, China Merchants development center, 1063 Nanhai Road, Guangdong, Shenzhen, Nanshan District

Patentee before: SHENZHEN SENSETIME TECHNOLOGY Co.,Ltd.