CN114677422A - 深度信息生成方法、图像虚化方法和视频虚化方法 - Google Patents

深度信息生成方法、图像虚化方法和视频虚化方法 Download PDF

Info

Publication number
CN114677422A
CN114677422A CN202210133979.4A CN202210133979A CN114677422A CN 114677422 A CN114677422 A CN 114677422A CN 202210133979 A CN202210133979 A CN 202210133979A CN 114677422 A CN114677422 A CN 114677422A
Authority
CN
China
Prior art keywords
image
depth information
binocular
monocular
blurring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210133979.4A
Other languages
English (en)
Inventor
郑子华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jigan Technology Co ltd
Original Assignee
Beijing Jigan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jigan Technology Co ltd filed Critical Beijing Jigan Technology Co ltd
Priority to CN202210133979.4A priority Critical patent/CN114677422A/zh
Publication of CN114677422A publication Critical patent/CN114677422A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例公开了深度信息生成方法、图像虚化方法和视频虚化方法。该方法的实施例包括：获取单目图像，并确定单目图像对应的第一单目深度信息；基于预先确定的深度信息转换参数和第一单目深度信息，确定单目图像对应的第一双目深度信息；深度信息转换参数基于预先获取的双目图像对应的第二双目深度信息和双目图像中的第一图像对应的第二单目深度信息确定，单目图像与第一图像由位于相同位置的摄像头对相同位置的对焦对象采集得到。该实施方式兼顾了深度信息的生成效率和准确性。

Description

深度信息生成方法、图像虚化方法和视频虚化方法
技术领域
本申请实施例涉及图像处理领域，具体涉及深度信息生成方法、图像虚化方法和视频虚化方法。
背景技术
图像的深度信息可以理解为由图像采集器到图像对应的场景中各点的距离。通常可以深度图、向量、矩阵等形式表示。
在现有技术中，图像的深度信息需要通过双目图像计算或通过单目图像预估。通过双目图像计算深度信息，需要经过复杂的数据处理过程，计算效率较低，对于视频虚化等对实时性要求较高的场景不易适用。通过单目图像预估的深度信息并非真实的深度信息，因而准确性较低。
发明内容
本申请实施例提出了深度信息生成方法、图像虚化方法和视频虚化方法，以解决现有技术中无法兼顾图像深度信息的生成效率和准确性的技术问题。
第一方面，本申请实施例提供了一种深度信息生成方法，该方法包括：获取单目图像，并确定所述单目图像对应的第一单目深度信息；基于预先确定的深度信息转换参数和所述第一单目深度信息，确定所述单目图像对应的第一双目深度信息；所述深度信息转换参数基于预先获取的双目图像对应的第二双目深度信息和所述双目图像中的第一图像对应的第二单目深度信息确定，所述单目图像与所述第一图像由位于相同位置的摄像头对相同位置的对焦对象采集得到。
第二方面，本申请实施例提供了一种图像虚化方法，所述方法包括：获取待处理图像，并利用第一方面中所描述的深度信息生成方法确定所述待处理图像对应的第一双目深度信息；基于所述第一双目深度信息，对所述待处理图像进行虚化处理，得到虚化图像。
第三方面，本申请实施例提供了一种视频虚化方法，所述方法包括：获取待处理图像序列，并利用第一方面中所描述的深度信息生成方法确定所述待处理图像序列中各待处理图像对应的第一双目深度信息；基于各所述第一双目深度信息，对所述待处理图像序列进行虚化处理，得到虚化视频。
第四方面，本申请实施例提供了一种电子设备，包括：一个或多个处理器；存储装置，其上存储有一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中所描述的方法。
第五方面，本申请实施例提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所描述的方法。
第六方面，本申请实施例提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面中所描述的方法。
本申请实施例提供的深度信息生成方法、图像虚化方法和视频虚化方法，首先获取单目图像，并确定单目图像对应的第一单目深度信息；而后基于预先确定的深度信息转换参数和第一单目深度信息，确定单目图像对应的第一双目深度信息，该深度信息转换参数基于预先获取的双目图像对应的第二双目深度信息和双目图像中的第一图像对应的第二单目深度信息确定，单目图像与第一图像由位于相同位置的摄像头对相同位置的对焦对象采集得到。从而，在通过双目图像得到深度信息转换参数后，可仅获取单目图像，通过深度信息转换参数将准确性较低的单目深度信息拟合为高准确性的双目深度信息，无需对双目图像进行复杂的数据处理即可得到准确的双目深度信息，从而在保证深度信息的准确性的同时，提高了深度信息的生成效率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是根据本申请的深度信息生成方法的一个实施例的流程图；
图2是根据本申请的深度信息生成方法的第二双目深度信息确定过程的流程图；
图3是根据本申请的图像虚化方法的一个实施例的流程图；
图4是根据本申请的视频虚化方法的一个实施例的流程图；
图5是根据本申请的深度信息生成装置的一个实施例的结构示意图；
图6是根据本申请的图像虚化装置的一个实施例的结构示意图；
图7是根据本申请的视频虚化装置的一个实施例的结构示意图；
图8是用于实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
在图像处理领域中，通常需要使用到图像的深度信息。例如，可通过深度进行图像虚化处理、视频虚化处理、在自动驾驶场景中预估距离等。相关的技术中，图像的深度信息需要通过双目图像计算。首先，进行立体校正，得到矫正后的双目图像；之后，利用矫正后的双目图像进行立体匹配，得到视差信息；最后基于视差信息确定深度信息。这种方式需要经历立体匹配、立体校正等数据处理过程，计算效率较低，对于视频虚化等对实时性要求较高的场景不易适用。相关的技术中，也可以通过单目图像预估深度信息，这种深度信息并非图像真实的深度，准确性较低。本申请实施例可兼顾深度信息的生成效率和准确性。
请参考图1，其示出了根据本申请的深度信息生成方法的一个实施例的流程100。该深度信息生成方法的执行主体可以是各种具有拍摄功能的电子设备。例如，可包括但不限于：智能手机、平板电脑、膝上型便携计算机、车载电脑、掌上电脑、台式计算机、机顶盒、智能电视机、相机、可穿戴设备等。
该深度信息生成方法，包括以下步骤：
步骤101，获取单目图像，并确定单目图像对应的第一单目深度信息。
在本实施例中，深度信息生成方法的执行主体可以安装有摄像头，可通过摄像头采集单目图像。该摄像头既可以是独立的单独摄像头，也可以是双目摄像头中的其中一个摄像头。上述执行主体可以单目视觉深度感知技术，预估得到单目图像对应的第一单目深度信息。
在一些可选的实现方式中，上述执行主体中可以存储预先训练的深度信息检测模型。上述执行主体可以将该单目图像输入至预先训练的深度信息检测模型，得到第一单目深度信息。其中，深度信息检测模型可以通过机器学习方法(如有监督学习方法)预先训练得到。训练深度信息检测模型所使用的基础模型可以是卷积神经网络等。在训练时，可首先将双目图像中的其中一张图像(如左图)作为样本图像输入至模型。而后基于模型预测出的深度信息以及该双目图像的双目深度信息(即真实的深度信息，可作为标注)确定模型损失值。之后基于损失值更新模型参数。迭代执行上述步骤，直至满足结束条件。结束条件可以是损失值收敛、或者迭代次数达到预设次数、模型输出的深度信息的准确性大于目标值等，此处不作具体限定。
步骤102，基于预先确定的深度信息转换参数和第一单目深度信息，确定单目图像对应的第一双目深度信息。
在本实施例中，上述执行主体可以存储有深度信息转换参数。深度信息转换参数可以是预设的转换关系式中的参数。上述转换关系式可表征双目深度信息和单目深度信息的转换关系。转换关系式可以根据需要预先设定。上述执行主体可以将深度信息转换参数的值以及第一单目深度信息代入至上述转换关系式，从而对上述转换关系式求解，得到上述单目图像的第一双目深度信息。该第一双目深度信息为真实深度信息，相较于第一单目深度信息更为准确。
在本实施例中，深度信息转换参数可基于预先获取的双目图像对应的双目深度信息(可称为第二双目深度信息)和该双目图像中的第一图像对应的单目深度信息(可称为第二单目深度信息)确定。其中，上述双目图像可以是由双目摄像头同时对相同对焦对象拍摄的两张图像。第一图像为双目图像中的其中一张图像。上述单目图像与第一图像可由位于相同位置的摄像头对相同位置的对焦对象采集得到，由此可保证第一双目深度信息计算的准确性。位于相同位置的摄像头可以是同一摄像头(如双目摄像头中的某一指定摄像头)，也可以是不同摄像头，此处不作限定。
作为示例，上述转换关系式可以为：Dt＝a×Ds+b。其中，Dt为双目深度信息，Ds为单目深度信息，Dt和Ds可表示为矩阵。a和b为深度信息转换参数。a和b可以是两个常量，即，当摄像头与对焦对象的相对位置没有发生改变时，a和b为固定值。此时，可使用a、b进行双目深度信息与单目深度信息的转换。上述执行主体可以将所获取的双目图像的第二双目深度信息和第二单目深度信息代入至上述关系式，对上述转换关系式求解，得到a和b的值。需要说明的是，除上述示例外，还可以根据需要设定其他的转换关系式，转换关系式的中的深度信息转换参数的数量可以不限于两个，此处不作具体限定。
在本实施例中，第二双目深度信息可通过双目图像中的两张图像的视差信息确定。作为示例，首先可以对双目图像进行立体校正，得到矫正后的双目图像。之后，可以利用矫正后的双目图像进行立体匹配，得到视差信息。最后，可以利用视差与深度的转换关系，基于视差信息确定出第二双目深度信息。其中，立体矫正可采用Bouguet等立体校正算法进行。立体匹配可采用全局法或局部法进行，全局法可包括但不限于DeepPruner算法等，局部法可包括但不限于NCC(Normalized Cross Correlation，归一化相关性)算法、SSD(Sum ofSquared Defferences，平方差之和)算法、SAD(Sum of Absolute Defferences，绝对差值之和)算法等，此处不作限定。第二单目深度信息的确定方式可参见第一单目深度信息的确定方式，此处不再赘述。
本申请的上述实施例提供的方法，首先获取单目图像，并确定单目图像对应的第一单目深度信息；而后基于预先确定的深度信息转换参数和第一单目深度信息，确定单目图像对应的第一双目深度信息，该深度信息转换参数基于预先获取的双目图像对应的第二双目深度信息和双目图像中的第一图像对应的第二单目深度信息确定，单目图像与第一图像由位于相同位置的摄像头对相同位置的对焦对象采集得到。从而，在通过双目图像得到深度信息转换参数后，可仅获取单目图像，通过深度信息转换参数将准确性较低的单目深度信息拟合为高准确性的双目深度信息，无需对双目图像进行复杂的数据处理即可得到准确的双目深度信息，从而在保证深度信息的准确性的同时，提高了深度信息的生成效率。
在一些可选的实施例中，转换关系式中可包括第一深度信息转换参数(如上述示例中的转换关系式中的参数a)和第二深度信息转换参数(如上述示例中的转换关系式中的参数b)。上述执行主体可以首先将该转换关系式转换为超定方程，而后将第一双目深度信息与第一单目深度信息代入至该超定方程，并对该超定方程求解，得到二维参数向量。例如，超定方程可表示为A×Ds＝Dt。其中，A＝[a,b]，为待求解的二维参数向量。实践中，可采用直接法求解A。求解公式为：
Figure BDA0003503887330000071
其中，
Figure BDA0003503887330000072
是Ds的转置矩阵。由此，可得到A。其中，a＝A[0]，b＝A[1]。通过求解超定方程，可方便快捷的拟合出深度信息转换参数。
在一些可选的实施例中，上述执行主体可以在启动照片或视频拍摄时，获取双目摄像头采集的首帧图像，得到双目图像。进而，可确定该双目图像对应的第二双目深度信息和第二单目深度信息，并基于第二双目深度信息和第二单目深度信息确定深度信息转换参数。
在一些可选的实施例中，上述执行主体可以在照片或视频拍摄过程中，在双目摄像头与对焦对象的相对位置发生变化时，获取双目摄像头采集的相对位置发生变化后的首帧图像，得到双目图像。进而，可确定该双目图像对应的第二双目深度信息和第二单目深度信息，并基于第二双目深度信息和第二单目深度信息确定深度信息转换参数。
其中，双目摄像头与对焦对象的相对位置可在多种情况下发生变化。例如，在双目摄像头的位置移动而对焦对象的位置未移动时，可使上述相对位置发生变化；在双目摄像头的位置未移动而对焦对象的位置移动时，可使上述相对位置发生变化；在双目摄像头与对焦对象均发生移动但移动未同步时，可使上述相对位置发生变化；在对焦对象变更时(如将对焦对象由A切换为B)，可使上述相对位置发生变化；在针对相同拍摄对象重新对焦时，由于相对位置也有可能发生变化，故也可使上述相对位置发生变化。由此，在拍摄过程中，每当双目摄像头与对焦对象的相对位置发生变化时，均可获取双目摄像头采集的双目图像，并确定双目图像的第二双目深度信息和第二单目深度信息，进而基于第二双目深度信息和第二单目深度信息更新深度信息转换参数。由此，可实现对深度信息转换参数的动态更新，保证深度信息转换参数的准确性。
在一些可选的实施例中，上述执行主体可以在照片或视频拍摄过程中，在单目摄像头与对焦对象的当前相对位置相较于目标相对位置未发生变化时，获取单目摄像头采集的单目图像。其中，目标相对位置为上述双目图像采集时刻单目摄像头与对焦对象的相对位置。单目摄像头可以为采集双目图像的双目摄像头中的其中一个摄像头。由此，可避免深度信息转换参数发生变更，进而避免造成深度信息计算不准确。需要说明的是，若单目摄像头与对焦对象的当前相对位置和目标相对位置不同，则需要重新获取双目图像，并基于重新获取的双目图像对应的双目深度信息以及其中的第一图像对应的单目深度信息，重新确定深度信息转换参数，从而保证深度信息计算的准确性。此实现方式能够在照片或视频拍摄过程中，实时生成准确的深度信息，以便于基于深度信息对照片或视频进行处理，提高了照片或视频的处理效率。
在一些可选的实施例中，上述双目图像中还包括第二图像，上述第二图像与上述第一图像是以不同角度对上述对焦对象拍摄得到的。参见图2，上述第二双目深度信息通过如下子步骤S11至子步骤S14确定：
子步骤S11，确定第一图像中的特征点。
具体地，上述执行主体可以对第一图像进行特征点检测，以确定第一图像中的特征点。在确定出特征点后，上述执行主体可获取各个特征点在第一图像中的坐标。此处，可通过ORB(Oriented Fast and Rotated Brief)算法进行特征点的检测。所确定出的特征点即为ORB特征点。其中，Fast和Brief分别是特征检测算法和向量创建算法。
在通过ORB算法检测特征点时，首先可从第一图像中查找特殊区域，称为关键点。关键点即图像中突出的小区域，比如角点。而后，可为每个关键点计算相应的特征向量。ORB算法创建的特征向量只包含1和0，称为二元特征向量。1和0的顺序会根据特定关键点和其周围的像素区域而变化。该向量表示关键点周围的强度模式。
子步骤S12，确定各特征点在第二图像中的对应点。
具体地，对于第一图像中的每个特征点，均可确定其在第二图像中的对应点。实践中，可利用LK(Lucas–Kanade)光流算法，在第二图像上查找各特征点的对应点。在确定出对应点后，上述执行主体可获取各个特征点在第二图像中的坐标。
实践中，光流是一种运动模式，指一个物体、表面、边缘在一个视角下，由一个观察者(如眼睛、摄像头等)和背景间形成的明显移动。光流研究的是利用图像序列中的像素强度的时域变化和相关性来确定各自像素位置的运动，即研究图像灰度在时间上的变化与场景中物体结构及其运动的关系。LK光流算法是一种两帧差分的光流估计算法，通过LK光流算法可进行特征点匹配。由此，可将第一图像和第二图像视为两帧，通过LK光流算法在第二图像上匹配第一图像中各特征点的对应点。需要说明的是，除使用LK光流算法外，还可以采用其他光流算法确定各特征点在第二图像中的对应点，此处不作具体限定。
子步骤S13，基于各特征点在第一图像中的坐标和各对应点在第二图像中的坐标，确定各特征点的视差值。
此处，对每一个特征点，其视差关系为：di＝xli-xri。其中，di为特征点i的视差值，xli为特征点i在第一图像中的行坐标，xri为特征点i在第二图像上的行坐标。
子步骤S14，基于视差值，确定双目图像的第一双目深度信息。
此处，基于视差值，可通过视差与深度的转换公式，确定出双目图像的第一双目深度信息。作为示例，视差与深度的转换关系可以为：depthi＝(f×baseline)/di。其中，depthi表示第一图像中的特征点i的深度值，f表示归一化的焦距，可从内参中获取，baseline为双目摄像头的两个摄像头的光心之间的距离，称作基线距离。通过上述转换公式，可确定出第一图像中的各个特征点的深度值。基于各个特征点的深度值，可采用差值等方式确定出第一图像中的其他点的深度值，由此，可将第一图像中的各个点的深度值进行汇总，得到双目图像的深度信息，可称为第一双目深度信息。
由于特征点为第一图像中的稀疏点，由此可基于稀疏点拟合到第一双目深度信息，进而基于深度信息转换参数得到单目图像的双目深度信息，在保证了深度信息的准确性的同时，进一步减少了数据计算量，提高了深度信息的生成效率，降低了设备功耗。
进一步参考图3，其示出了根据本申请的图像虚化生成方法的一个实施例的流程300。该图像虚化生成方法的执行主体可以是各种具有拍摄功能的电子设备。例如，可包括但不限于：智能手机、平板电脑、膝上型便携计算机、车载电脑、掌上电脑、台式计算机、机顶盒、智能电视机、相机、可穿戴设备等。
该图像虚化生成方法，包括以下步骤：
步骤301，获取待处理图像，并利用深度信息生成方法确定待处理图像对应的第一双目深度信息。
在本实施例中，待处理图像可以是上述实施例中的单目图像，可通过单目摄像头或者双目摄像头中的其中一个摄像头采集。深度信息生成方法可参见上述实施例中的描述，此处不再赘述。
步骤302，基于第一双目深度信息，对待处理图像进行虚化处理，得到虚化图像。
在本实施例中，虚化处理为一种使对焦对象清晰、背景区域虚化的图像处理方法，对待处理图像进行虚化处理后所得到的图像即为虚化图像。
本申请的上述实施例提供的方法，在图像虚化预览场景中，由于无需进行复杂双目图像数据处理即可得到图像准确的深度信息，因此能够提高图像虚化效率，降低设备功耗。
进一步参考图4，其示出了根据本申请的视频虚化生成方法的一个实施例的流程400。该视频虚化生成方法的执行主体可以是各种具有拍摄功能的电子设备。例如，可包括但不限于：智能手机、平板电脑、膝上型便携计算机、车载电脑、掌上电脑、台式计算机、机顶盒、智能电视机、相机、可穿戴设备等。
该视频虚化生成方法，包括以下步骤：
步骤401，获取待处理图像序列，并深度信息生成方法确定待处理图像序列中各待处理图像对应的第一双目深度信息。
在本实施例中，待处理图像序列中的待处理图像可以是待处理视频中的视频帧，可作为上述实施例中的单目图像，由单目摄像头或者双目摄像头中的其中一个摄像头采集。深度信息生成方法可参见上述实施例中的描述，此处不再赘述。
步骤402，基于各第一双目深度信息，对待处理图像序列进行虚化处理，得到虚化视频。
在本实施例中，虚化处理为一种使对焦对象清晰、背景区域虚化的图像处理方法，对待处理图像进行虚化处理后所得到的图像即为虚化图像。
本申请的上述实施例提供的方法，对于视频虚化预览场景，由于无需进行复杂双目图像数据处理即可得到各图像的准确的深度信息，因此能够提高视频虚化预览的帧率，降低设备功耗。
进一步参考图5，作为对上述各图所示方法的实现，本申请提供了一种深度信息生成装置的一个实施例，该装置具体可以应用于各种电子设备中。
如图5所示，本实施例的深度信息生成装置500包括：获取单元501，用于获取单目图像，并确定上述单目图像对应的第一单目深度信息；确定单元502，用于基于预先确定的深度信息转换参数和上述第一单目深度信息，确定上述单目图像对应的第一双目深度信息；上述深度信息转换参数基于预先获取的双目图像对应的第二双目深度信息和上述双目图像中的第一图像对应的第二单目深度信息确定，上述单目图像与上述第一图像由位于相同位置的摄像头对相同位置的对焦对象采集得到。
在一些可选的实现方式中，上述双目图像通过如下步骤获取：在启动照片或视频拍摄时，获取双目摄像头采集的首帧图像，得到双目图像；或者，在照片或视频拍摄过程中，在双目摄像头与对焦对象的相对位置发生变化时，获取上述双目摄像头采集的上述相对位置发生变化后的首帧图像，得到双目图像。
在一些可选的实现方式中，上述获取单元501，进一步用于：在照片或视频拍摄过程中，在单目摄像头与上述对焦对象的当前相对位置相较于目标相对位置未发生变化时，获取单目摄像头采集的单目图像，上述目标相对位置为上述双目图像采集时刻上述单目摄像头与上述对焦对象的相对位置，上述单目摄像头为上述双目摄像头中的其中一个摄像头。
在一些可选的实现方式中，上述双目图像中还包括第二图像，上述第二图像与上述第一图像是以不同角度对上述对焦对象拍摄得到的；上述第二双目深度信息通过如下步骤确定：确定上述第一图像中的特征点；确定各特征点在上述第二图像中的对应点；基于各特征点在上述第一图像中的坐标和各对应点在上述第二图像中的坐标，确定各特征点的视差值；基于上述视差值，确定上述双目图像的第二双目深度信息。
在一些可选的实现方式中，上述深度信息转换参数通过如下步骤确定：获取预设的转换关系式，上述转换关系式用于表征单目深度信息与双目深度信息的转换关系，上述转换关系式中包括第一深度信息转换参数和第二深度信息转换参数；将上述第二双目深度信息和上述第二单目深度信息代入至上述转换关系式，对上述转换关系式求解，得到上述第一深度信息转换参数和上述第二深度信息转换参数的参数值。
本申请的上述实施例提供的装置，首先获取单目图像，并确定单目图像对应的第一单目深度信息；而后基于预先确定的深度信息转换参数和第一单目深度信息，确定单目图像对应的第一双目深度信息，该深度信息转换参数基于预先获取的双目图像对应的第二双目深度信息和双目图像中的第一图像对应的第二单目深度信息确定，单目图像与第一图像由位于相同位置的摄像头对相同位置的对焦对象采集得到。从而，在通过双目图像得到深度信息转换参数后，可仅获取单目图像，通过深度信息转换参数将准确性较低的单目深度信息拟合为高准确性的双目深度信息，无需对双目图像进行复杂的数据处理即可得到准确的双目深度信息，从而在保证深度信息的准确性的同时，提高了深度信息的生成效率。
进一步参考图6，作为对上述各图所示方法的实现，本申请提供了一种图像虚化装置的一个实施例，该装置具体可以应用于各种电子设备中。
如图6所示，本实施例的图像虚化装置600包括：获取单元601，用于获取待处理图像，并利用上述实施例中的深度信息生成方法确定上述待处理图像对应的第一双目深度信息；虚化处理单元602，用于基于上述第一双目深度信息，对上述待处理图像进行虚化处理，得到虚化图像。
本申请的上述实施例提供的装置，在图像虚化预览场景中，由于无需进行复杂双目图像数据处理即可得到图像准确的深度信息，因此能够提高图像虚化效率，降低设备功耗。
进一步参考图7，作为对上述各图所示方法的实现，本申请提供了一种视频虚化装置的一个实施例，该装置具体可以应用于各种电子设备中。
如图7所示，本实施例的视频虚化装置700包括：获取单元701，用于获取待处理图像序列，并利用上述实施例中的深度信息生成方法确定上述待处理图像序列中各待处理图像对应的第一双目深度信息；虚化处理单元702，用于基于各上述第一双目深度信息，对上述待处理图像序列进行虚化处理，得到虚化视频。
本申请的上述实施例提供的装置，对于视频虚化预览场景，由于无需进行复杂双目图像数据处理即可得到各图像的准确的深度信息，因此能够提高视频虚化预览的帧率，降低设备功耗。
本申请实施例还提供了一种电子设备，包括一个或多个处理器，存储装置，其上存储有一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述深度信息生成方法。
下面参考图8，其示出了用于实现本申请的一些实施例的电子设备的结构示意图。图8示出的电子设备仅仅是一个示例，不应对本申请的实施例的功能和使用范围带来任何限制。
如图8所示，电子设备800可以包括处理装置(例如中央处理器、图形处理器等)801，其可以根据存储在只读存储器(ROM)802中的程序或者从存储装置808加载到随机访问存储器(RAM)803中的程序而执行各种适当的动作和处理。在RAM 803中，还存储有电子设备800操作所需的各种程序和数据。处理装置801、ROM 802以及RAM803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
通常，以下装置可以连接至I/O接口805：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置807；包括例如磁盘、硬盘等的存储装置808；以及通信装置809。通信装置809可以允许电子设备800与其他设备进行无线或有线通信以交换数据。虽然图8示出了具有各种装置的电子设备800，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图8中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
本申请实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述深度信息生成方法。
特别地，根据本申请的一些实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的一些实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的一些实施例中，该计算机程序可以通过通信装置809从网络上被下载和安装，或者从存储装置808被安装，或者从ROM 802被安装。在该计算机程序被处理装置801执行时，执行本申请的一些实施例的方法中限定的上述功能。
本申请实施例还提供了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现上述深度信息生成方法。
需要说明的是，本申请的一些实施例所述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请的一些实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请的一些实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperTextTransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取单目图像，并确定单目图像对应的第一单目深度信息；基于预先确定的深度信息转换参数和第一单目深度信息，确定单目图像对应的第一双目深度信息；深度信息转换参数基于预先获取的双目图像对应的第二双目深度信息和双目图像中的第一图像对应的第二单目深度信息确定，单目图像与第一图像由位于相同位置的摄像头对相同位置的对焦对象采集得到。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的一些实施例的操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++；还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)，上述网络包括局域网(LAN)或广域网(WAN)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请的一些实施例中的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括第一确定单元、第二确定单元、选取单元和第三确定单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
以上描述仅为本申请的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种深度信息生成方法，其特征在于，所述方法包括：
获取单目图像，并确定所述单目图像对应的第一单目深度信息；
基于预先确定的深度信息转换参数和所述第一单目深度信息，确定所述单目图像对应的第一双目深度信息；
所述深度信息转换参数基于预先获取的双目图像对应的第二双目深度信息和所述双目图像中的第一图像对应的第二单目深度信息确定，所述单目图像与所述第一图像由位于相同位置的摄像头对相同位置的对焦对象采集得到。
2.根据权利要求1所述的方法，其特征在于，所述双目图像通过如下步骤获取：
在启动照片或视频拍摄时，获取双目摄像头采集的首帧图像，得到双目图像；或者，
在照片或视频拍摄过程中，在双目摄像头与对焦对象的相对位置发生变化时，获取所述双目摄像头采集的所述相对位置发生变化后的首帧图像，得到双目图像。
3.根据权利要求2所述的方法，其特征在于，所述获取单目图像，包括：
在照片或视频拍摄过程中，在单目摄像头与所述对焦对象的当前相对位置相较于目标相对位置未发生变化时，获取单目摄像头采集的单目图像，所述目标相对位置为所述双目图像采集时刻所述单目摄像头与所述对焦对象的相对位置，所述单目摄像头为所述双目摄像头中的其中一个摄像头。
4.根据权利要求1所述的方法，其特征在于，所述双目图像中还包括第二图像，所述第二图像与所述第一图像是以不同角度对所述对焦对象拍摄得到的；
所述第二双目深度信息通过如下步骤确定：
确定所述第一图像中的特征点；
确定各特征点在所述第二图像中的对应点；
基于各特征点在所述第一图像中的坐标和各对应点在所述第二图像中的坐标，确定各特征点的视差值；
基于所述视差值，确定所述双目图像的第二双目深度信息。
5.根据权利要求1所述的方法，其特征在于，所述深度信息转换参数通过如下步骤确定：
获取预设的转换关系式，所述转换关系式用于表征单目深度信息与双目深度信息的转换关系，所述转换关系式中包括第一深度信息转换参数和第二深度信息转换参数；
将所述第二双目深度信息和所述第二单目深度信息代入至所述转换关系式，对所述转换关系式求解，得到所述第一深度信息转换参数和所述第二深度信息转换参数的参数值。
6.一种图像虚化方法，其特征在于，所述方法包括：
获取待处理图像，并利用权利要求1-5所述的深度信息生成方法确定所述待处理图像对应的第一双目深度信息；
基于所述第一双目深度信息，对所述待处理图像进行虚化处理，得到虚化图像。
7.一种视频虚化方法，其特征在于，所述方法包括：
获取待处理图像序列，并利用权利要求1-5所述的深度信息生成方法确定所述待处理图像序列中各待处理图像对应的第一双目深度信息；
基于各所述第一双目深度信息，对所述待处理图像序列进行虚化处理，得到虚化视频。
8.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，其上存储有一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。
9.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一所述的方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7中任一所述的方法。
CN202210133979.4A 2022-02-14 2022-02-14 深度信息生成方法、图像虚化方法和视频虚化方法 Pending CN114677422A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210133979.4A CN114677422A (zh) 2022-02-14 2022-02-14 深度信息生成方法、图像虚化方法和视频虚化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210133979.4A CN114677422A (zh) 2022-02-14 2022-02-14 深度信息生成方法、图像虚化方法和视频虚化方法

Publications (1)

Publication Number Publication Date
CN114677422A true CN114677422A (zh) 2022-06-28

Family

ID=82071673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210133979.4A Pending CN114677422A (zh) 2022-02-14 2022-02-14 深度信息生成方法、图像虚化方法和视频虚化方法

Country Status (1)

Country Link
CN (1) CN114677422A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115760986A (zh) * 2022-11-30 2023-03-07 北京中环高科环境治理有限公司 基于神经网络模型的图像处理方法及装置
CN117560480A (zh) * 2024-01-09 2024-02-13 荣耀终端有限公司 一种图像深度估计方法及电子设备
WO2024056020A1 (zh) * 2022-09-14 2024-03-21 北京字跳网络技术有限公司 一种双目图像的生成方法、装置、电子设备及存储介质

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024056020A1 (zh) * 2022-09-14 2024-03-21 北京字跳网络技术有限公司 一种双目图像的生成方法、装置、电子设备及存储介质
CN115760986A (zh) * 2022-11-30 2023-03-07 北京中环高科环境治理有限公司 基于神经网络模型的图像处理方法及装置
CN115760986B (zh) * 2022-11-30 2023-07-25 北京中环高科环境治理有限公司 基于神经网络模型的图像处理方法及装置
CN117560480A (zh) * 2024-01-09 2024-02-13 荣耀终端有限公司 一种图像深度估计方法及电子设备

Similar Documents

Publication Publication Date Title
JP7106665B2 (ja) 単眼深度推定方法およびその装置、機器ならびに記憶媒体
EP3605394B1 (en) Method and apparatus for recognizing body movement
Lu et al. Multi-scale adversarial network for underwater image restoration
CN108710885B (zh) 目标对象的检测方法和装置
US10699431B2 (en) Method and apparatus for generating image generative model
CN114677422A (zh) 深度信息生成方法、图像虚化方法和视频虚化方法
KR20210025942A (ko) 종단간 컨볼루셔널 뉴럴 네트워크를 이용한 스테레오 매칭 방법
US20240046557A1 (en) Method, device, and non-transitory computer-readable storage medium for reconstructing a three-dimensional model
CN115239581A (zh) 一种图像处理方法及相关装置
CN116848555A (zh) 使用在潜在变量上调节的几何感知神经网络渲染场景的新图像
CN114170290A (zh) 图像的处理方法及相关设备
CN115082540A (zh) 一种适用于无人机平台的多视图深度估计方法及装置
Han et al. Self-supervised monocular Depth estimation with multi-scale structure similarity loss
CN110827341A (zh) 一种图片深度估计方法、装置和存储介质
CN116012609A (zh) 一种环视鱼眼多目标跟踪方法、装置、电子设备及介质
CN115375739A (zh) 车道线生成方法、设备和介质
CN114677620A (zh) 对焦方法、电子设备和计算机可读介质
CN114648604A (zh) 一种图像渲染方法、电子设备、存储介质及程序产品
CN113920023A (zh) 图像处理方法及装置、计算机可读介质和电子设备
CN114119678A (zh) 光流估计方法、计算机程序产品、存储介质及电子设备
CN113240796B (zh) 视觉任务处理方法及装置、计算机可读介质和电子设备
CN116188583B (zh) 相机位姿信息生成方法、装置、设备和计算机可读介质
CN115841151B (zh) 模型训练方法、装置、电子设备和计算机可读介质
KR101373982B1 (ko) 스테레오 비전에서 탐색 영역 예측을 통한 빠른 스테레오 정합 방법 및 장치와 이를 이용한 스테레오 비전 시스템
CN116991296B (zh) 一种物体编辑的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination