CN114902646A - 电子设备、控制电子设备的方法以及计算机可读存储介质 - Google Patents

电子设备、控制电子设备的方法以及计算机可读存储介质 Download PDF

Info

Publication number
CN114902646A
CN114902646A CN201980103291.8A CN201980103291A CN114902646A CN 114902646 A CN114902646 A CN 114902646A CN 201980103291 A CN201980103291 A CN 201980103291A CN 114902646 A CN114902646 A CN 114902646A
Authority
CN
China
Prior art keywords
depth information
region
image
camera image
signal processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980103291.8A
Other languages
English (en)
Other versions
CN114902646B (zh
Inventor
青山千秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Publication of CN114902646A publication Critical patent/CN114902646A/zh
Application granted granted Critical
Publication of CN114902646B publication Critical patent/CN114902646B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/90—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

一种电子设备(100)，包括：主相机模块(11)，用于拍摄被摄物(101a和101b)的照片以得到主相机图像(201)；从属相机模块(12)，用于拍摄被摄物(101a和101b)的照片以得到从属相机图像(202)；距离传感器模块(20)，用于向被摄物(101a和101b)发射脉冲光并检测从被摄物(101a和101b)反射的脉冲光的反射光，以此得到飞行时间(ToF)深度信息(203)；以及图像信号处理器(30)，用于控制主相机模块(11)、从属相机模块(12)和距离传感器模块(20)，以根据主相机图像(201)、从属相机图像(202)和深度信息(203)，获得具有虚化的相机图像(209)。该具有虚化的相机图像(209)是具有一个或多个虚化部分的主相机图像。

Description

电子设备、控制电子设备的方法以及计算机可读存储介质
技术领域
本申请涉及一种电子设备、一种控制电子设备的方法以及一种计算机可读存储介质。
背景技术
目前，一种技术被广泛传播，即从具有景深较深的相机，如智能手机的相机，拍摄的图像中，人为地生成具有位于被摄物的前景或背景的物体的虚化图像的照片，如用数字单镜头反光相机(DSLR)拍摄的照片。
如果使用景深较深的相机拍摄照片，如智能手机的相机，可能会得到一个从短距离部分到长距离部分的焦点图像。因此，通过图像处理产生了虚化图像，在虚化图像中，需要引起注意的部分变得更加清晰，而该部分的前景和背景则变得模糊。
在这种产生人工虚化图像的技术中，采用了一种基于深度信息产生虚化图像的方法，该深度信息是利用通过双目立体视觉所拍摄的立体图像获得的。
然而，取决于物体表面的纹理，深度计算可能会失败，导致没有产生虚化。
例如，如果双目立体图像的图案没有沿极线的明显变化，或者，图像具有重复的图案，就不能准确地计算深度，使产生的虚化不合适。
由于目前可用的智能手机系统在立体处理方面属于黑盒子，用于这种系统的算法不能直接改进。因此，与立体处理有关的深度信息需要根据输入的立体图像和输出的深度信息来改进。此外，如果不能从立体图像和距离传感器得到合适的结果，就不容易确定可能有深度信息错误的部分应该放在前景中还是背景中。
发明内容
本发明旨在解决上述技术问题中的至少一个问题。据此，本发明需要提供一种电子设备和控制电子设备的方法。
本发明提供一种电子设备，包括：
主相机模块，用于对被摄物拍摄照片以得到主相机图像；
从属相机模块，用于对所述被摄物拍摄照片以得到从属相机图像；
距离传感器模块，通过利用光线，得到所述被摄物的深度信息；以及
图像信号处理器，控制所述主相机模块、所述从属相机模块和所述距离传感器模块，根据所述主相机图像、所述从属相机图像和所述深度信息，得到带有虚化的相机图像，所述带有虚化的相机图像为带有一个或多个虚化的主相机图像，
其中，所述图像信号处理器用于基于主相机图像和从属相机图像进行匹配处理得到立体图像，根据主相机图像和所述深度信息校正立体图像的深度信息，从而得到校正的深度信息；
所述图像信号处理器基于所述校正的深度信息，对所述主相机图像进行虚化处理，从而得到所述带有虚化的相机图像。
在一些实施例中，所述距离传感器模块向所述被摄物发射脉冲光，并检测从所述被摄物反射的所述脉冲光的反射光，从而得到飞行时间(ToF)深度信息作为所述深度信息。
在一些实施例中，所述图像信号处理器执行不确定区域预估处理，以估计所述主相机图像的不确定区域，对所述不确定区域来说，对所述主相机图像和所述从属相机图像的匹配处理无法实施，以此得到所述主相机图像的不确定区域的不确定区域信息，以及
所述图像信号处理器执行深度校正，以基于所述ToF深度信息来校正与所述不确定区域有关的部分深度信息，从而得到校正的深度信息。
在一些实施例中，在深度校正的过程中，所述图像信号处理器利用与所述不确定区域有关的部分ToF深度信息替换与所述不确定区域有关的部分深度信息，从而得到所述校正的深度信息。
在一些实施例中，在深度校正的过程中，
所述图像信号处理器，通过将参考区域相对于目标区域移动预设移动量，对所述主相机图像进行自相关计算，从而计算出所述目标区域和所述参考区域之间的相似度；
所述图像信号处理器检测一个区域，并将所述区域标记为所述不确定区域中的低纹理区域，在所述区域中，相对于所述预设移动量的相似度的变化小于预设值；以及
所述图像信号处理器检测出另一个区域，并将所述另一个区域标记为所述不确定区域中的重复图案区域，在所述另一个区域中，具有多个相对于所述预设运动量的相似度峰值。
在一些实施例中，在进行所述不确定区域预估处理的过程中，如果基于所述多个相对于所述预设运动量的相似度峰值的间隔的平均值的或基于相对于所述预设运动量的相似度的模式值的频率等于或大于预设的标签参考值，则所述图像信号处理器将一个区域标记为包括在所述不确定区域中的所述重复图案区域。
在一些实施例中，在进行所述不确定区域预估处理的过程中，如果基于所述多个相对于所述预设运动量的相似度峰值的间隔的所述平均值的或基于相对于所述预设运动量的相似度的所述模式值的所述频率小于所述标签参考值，则所述图像信号处理器将一个区域标记为包括在所述不确定区域中的所述低纹理区域。
在一些实施例中，在进行所述不确定区域预估处理的过程中，所述图像信号处理器进一步根据所述相似度的变化幅度对所述低纹理区域进行分类。
在一些实施例中，在自相关计算中，采用平方差之和(SSD)的方法、绝对差之和(SAD)的方法或归一化交叉相关(NCC)的方法来，计算相似度。
在一些实施例中，在进行所述不确定区域预估处理的过程中，所述图像信号处理器，通过在所述主相机图像中的极线方向上，将所述参考区域相对于所述目标区域移动所述预设移动量，来进行所述自相关计算，从而计算出所述目标区域和所述参考区域之间的相似度。
在一些实施例中，在进行所述不确定区域预估处理的过程中，所述图像信号处理器，通过在与所述主相机图像中的所述极线的正交方向上，将所述参考区域相对于所述目标区域移动所述预设移动量，来进行所述自相关计算，从而计算出所述目标区域和所述参考区域之间的相似度。
在一些实施例中，在进行所述深度校正的过程中，
所述图像信号处理器对所述主相机图像的区域进行标注，并根据所述深度信息获取每个标注区域的区域深度信息；
所述图像信号处理器基于所述ToF深度信息获取每个标记区域的区域ToF深度信息；以及
所述图像信号处理器比较每个标记区域的所述区域ToF深度信息和所述区域深度信息，如果所述区域深度信息和所述区域ToF深度信息之间的差值等于或大于预设值，则所述图像信号处理器利用所述区域ToF深度信息替换所述标记区域的所述深度信息。
在一些实施例中，在深度校正的过程中，如果所述区域深度信息和所述区域ToF深度信息之间的差值小于所述预设值，则所述图像信号处理器不会用所述区域ToF深度信息替换所述标记区域的所述深度信息。
在一些实施例中，在深度校正的过程中，
所述图像信号处理器参考对应于所述标记区域中每个像素的深度信息，并计算对应于所述标记区域的所述深度信息的平均值，从而得到所述区域深度信息；以及
所述图像信号处理器参考对应于所述标记区域中每个像素的ToF深度信息，并计算对应于所述标记区域的所述ToF深度信息的平均值，从而得到所述区域ToF深度信息。
在一些实施例中，在深度校正的过程中，所述图像信号处理器将没有所述ToF深度信息的所述主相机图像的非检测区域的深度信息替换为根据用户指令用于校正的深度信息，从而得到所述校正的深度信息。
在一些实施例中，电子设备进一步包括：
显示模块，用于显示预设信息；
输入模块，用于由用户操作；以及
主处理器，用于控制所述显示模块和所述输入模块；
其中，在深度校正的过程中，
所述图像信号处理器在所述显示模块上显示关非检测区域的信息；并且
所述图像信号处理器将所述用户指定的非检测区域的深度信息替换为用于校正的深度信息，所述用于校正的深度信息是由用户指示的，并且是基于用户输入至所述输入模块的关于所述非检测区域的所述深度信息的指令。
在一些实施例中，所述图像信号处理器通过执行所述主相机图像和所述从属相机图像的匹配处理来得到立体深度信息；以及
所述图像信号处理器执行融合处理，将所述立体深度信息和被摄物区域信息融合，从而得到所述主相机图像的所述深度信息，其中，所述被摄物区域信息是通过从所述主相机图像中提取所述被摄物的区域而得到的。
在一些实施例中，所述主相机模块包括聚焦于所述被摄物的第一镜头、检测通过所述第一镜头输入的图像的第一图像传感器、以及驱动所述第一图像传感器的第一图像传感器驱动器；以及
所述从属相机模块包括聚焦于所述被摄物的第二镜头、检测通过所述第二镜头输入的图像的第二图像传感器、以及驱动所述第二图像传感器的第二图像传感器驱动器。
在一些实施例中，所述电子设备为智能手机。
在一些实施例中，由所述距离传感器模块检测的所述ToF深度信息的分辨率低于基于所述主相机图像和所述从属相机图像获得的所述立体图像的所述立体深度信息的分辨率。
本发明还提供一种控制电子设备的方法。电子设备包括：主相机模块，用于对被摄物拍摄照片以得到主相机图像；从属相机模块，用于对所述被摄物拍摄照片以得到从属相机图像；距离传感器模块，通过利用光线，得到所述被摄物的深度信息；以及图像信号处理器，用于控制所述主相机模块、所述从属相机模块和所述距离传感器模块，根据所述主相机图像、所述从属相机图像和所述深度信息，得到带有虚化的相机图像，所述带有虚化的相机图像为带有一个或多个虚化的主相机图像；
该方法包括：
通过所述图像信号处理器，对所述主相机图像和所述从属相机图像进行立体处理得到立体图像，基于所述主相机图像和所述深度信息，对立体图像的深度信息进行校正，从而得到校正的深度信息；以及
通过所述图像信号处理器，基于所述校正的深度信息，对所述主相机图像进行虚化处理，从而得到具有虚化的相机图像。
在一些实施例中，所述距离传感器模块向所述被摄物发射脉冲光，并检测从所述被摄物反射的所述脉冲光的反射光，从而得到飞行时间(ToF)深度信息作为所述深度信息。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其中，当所述计算机程序由处理器执行时，所述计算机程序实现一种用于控制电子设备的方法。该方法包括：
通过图像信号处理器，对被摄物的主相机图像和被摄物的从属相机图像进行立体处理得到立体图像，基于主相机图像和深度信息，对立体图像的深度信息进行校正，从而得到校正的深度信息；以及
通过所述图像信号处理器，基于所述校正的深度信息，对所述主相机图像进行虚化处理，从而得到具有虚化的相机图像。
在一些实施例中，所述深度信息是飞行时间(ToF)深度信息。
附图说明
本发明的实施例的这些和/或其他方面和优点，将从参照附图的以下描述中变得明显和更容易理解。
图1是本发明的实施例提供的电子设备100的示意性配置的电路图。参考标号101a和101b描述了被摄物(目标对象)，例如，是人；
图2是用于生成图1所示的电子设备100的相机图像的数据流的示例性示意图；
图3是用于校正图1所示的电子设备100中的深度信息的流程的示例性示意图；
图4A是由图1所示的电子设备100拍摄的主相机图像的一个示例性示意图；
图4B是与图1所示的电子设备100拍摄的主相机图像相对应的ToF深度信息的一个示例性示意图；
图5A是与图1所示的电子设备100拍摄的主相机图像对应的深度信息的一个示例性示意图；
图5B是通过基于非校正深度信息对主相机图像进行虚化处理而获得的具有虚化的相机图像的一个示例性示意图；
图6是在图1所示的电子设备100中进行不确定区域预估处理的流程示意图；
图7是图6所示的不确定区域预估处理的流程中的自相关计算模型的示意图；
图8A是参考区域相对于被标记为低纹理区域的不确定区域中的目标区域(regionof interest)的运动与从自相关中获得的相似性之间关系的示例性示意图；
图8B是参考区域相对于被标记为重复图案区域的不确定区域中的目标区域的运动与从自相关计算中获得的相似性之间关系的示例性示意图；
图9A是被标记为低纹理区域的不确定区域的示例性示意图；
图9B是被标记为重复图案区域的不确定区域的示例性示意图；
图10是图6所示的不确定区域预估处理中融合操作流程的示例性示意图；
图11A是频率(特征值)与纹理标记之间关系的示例性示意图；
图11B是相似度的差异与清晰纹理或低纹理之间关系的示例性示意图；
图12是图3所示的深度信息校正处理的示例性示意图；
图13是图12所示的用户指令的具体流程的示例性示意图；
图14是在显示模块上显示非检测区域的示例性示意图；
图15是，在用户将用于校正非检测区域的深度信息设置为"近"值(将该区域设置为被摄物的前景)的情况下，相机图像的示例性示意图；以及
图16是，在用户将用于校正的深度信息设置为"远"值(将该区域设置为被摄物的背景)的情况下，相机图像的示例性示意图。
具体实施方式
本发明的实施方案将被详细描述，实施例的示例将在附图中被说明。相同或相似的元件以及具有相同或相似功能的元件在全文描述中用相似的参考标号表示。本文参照附图描述的实施例是解释性的，其目的是说明本发明的内容，但不应被解释为限制本发明。
图1是本发明的实施例提供的电子设备100的示意性配置的电路图。参考标号101a和101b描绘了被摄物(目标对象)，例如是人。然而，图1示例性地展示了垂直条纹、水平条纹和棋盘式纹理。
如图1所示，例如，电子设备100包括立体相机模块10、距离传感器模块20以及图像信号处理器30。图像信号处理器30控制立体相机模块10和距离传感器模块20，并处理从相机模块10获取的相机图像数据。
立体相机模块10包括，例如，主相机模块11和从属相机模块12，用于双目立体观察，如图1所示。
如图1所示，主相机模块11包括，例如，能够聚焦于被摄物的第一镜头11a、检测通过第一镜头11a输入的图像的第一图像传感器11b、以及驱动第一图像传感器11b的第一图像传感器驱动器11c。
主相机模块11获取例如被摄物101a和101b的主相机图像。
如图1所示，从属相机模块12包括，例如，能够聚焦于被摄物的第二镜头12a、检测通过第二镜头12a输入的图像的第二图像传感器12b、以及驱动第二图像传感器12b的第二图像传感器驱动器12c。
例如，从属相机模块12获取被摄物101a和101b的从属相机图像。
距离传感器模块20通过使用光线获取被摄物101a和101b的深度信息。特别地，例如，距离传感器模块20，通过向被摄物101a和101b发射脉冲光，并检测来自被摄物101a和101b的反射光，来获得飞行时间(ToF)深度信息(ToF深度值)作为深度信息。
由距离传感器模块20检测的ToF深度信息的分辨率低于基于主相机图像和从属相机图像获取的立体图像的立体深度信息的分辨率。
图像信号处理器30，例如，控制主相机模块11、从属相机模块12和距离传感器模块20，根据在主相机模块11获得的主相机图像、在从属相机模块12获得的从相机图像、以及在距离传感器模块20获得的ToF深度信息，得到相机图像。该相机图像为具有虚化的主相机图像。
此外，如图1所示，例如，电子设备100包括全球导航卫星系统(GNSS)模块40、无线通信模块41、CODEC 42、扬声器43、麦克风44、显示模块45、输入模块46、惯性导航单元(IMU)47、主处理器48和存储器49。
GNSS模块40测量，例如，电子设备100的当前位置。
无线通信模块41执行，例如，与互联网的无线通信。
CODEC 42双向执行编码和解码，使用预设的编码/解码方法，例如图1所示。
扬声器43，例如，根据由CODEC 42解码的声音数据输出声音。
麦克风44，例如，根据输入的声音向CODEC 42输出声音数据。
显示模块45显示预设信息。
输入模块46接收用户的输入。
IMU 47检测，例如，电子设备100的角速度和加速度。
主处理器48控制全球导航卫星系统(GNSS)模块40、无线通信模块41、CODEC42、扬声器43、麦克风44、显示模块45、输入模块46和IMU 47。
存储器49存储了图像信号处理器30控制立体相机模块10和距离传感器模块20所需的程序和数据、获得的图像数据、以及主处理器48控制电子设备100所需的程序和数据。
例如，存储器49包括具有存储在其上的计算机程序的计算机可读存储介质。当计算机程序由主处理器48执行时，计算机程序实现用于控制电子设备100的方法。例如，该方法包括：通过图像信号处理器30，基于主相机图像和通过使用光线获得的被摄物的深度信息(ToF深度信息)，校正立体图像的深度信息，立体图像通过对被摄物101a和101b的主相机图像和被摄物101a和101b的从属相机图像进行立体处理而获得，以此获得校正的深度信息；通过图像信号处理器30，基于校正的深度信息对主相机图像进行虚化处理，以此获得具有虚化的相机图像。
具有上述配置的电子设备100在本实施例中为移动电话，如智能手机，但也可以是其他类型的包括摄像模块的电子设备。
图2是用于生成图1所示的电子设备100的相机图像的数据流的示例性示意图
如图2所示，例如，图像信号处理器30控制主相机模块11、从属相机模块12和距离传感器模块20，根据在主相机模块11获得的主相机图像201、在从属相机模块12获得的从相机图像202、以及在距离传感器模块20获得的ToF深度信息203，得到相机图像。该相机图像为具有虚化的主相机图像201。
图像信号处理器30通过对主相机图像201和从属相机图像202的匹配处理(立体处理)X1获得立体深度信息204，例如图2所示。
图像信号处理器30还通过对被摄物(人)的区域进行AI处理(图像处理)X2，提取界定主相机图像201中的被摄物区域的人物区域信息(被摄物区域信息)205。
图像信号处理器30通过对立体深度信息204和提取的人物区域信息(被摄物区域信息)205进行组合处理X3，进一步获得与主相机图像201有关的深度信息206。
图像信号处理器30还执行不确定区域预估处理Y1，以估计主相机图像201中的不确定区域，并获取与主相机图像201中估计的不确定区域相关的不确定区域信息207。对该不确定区域来说，无法对主相机图像201和从属摄像机图像202执行匹配处理X1。
图像信号处理器30还执行深度校正Y2，用于基于ToF深度信息203校正对应于不确定区域的深度信息206的一部分，以获得校正的深度信息208。
更详细地说，在深度校正Y2中，图像信号处理器30用对应于不确定区域的ToF深度信息203的一部分替换上述的对应于不确定区域的深度信息206的部分，以获得校正的深度信息208。
关于没有检测到ToF深度信息的非检测区域(例如，被摄物的前景和背景)，图像信号处理器30可以在深度校正Y2中通过将非检测区域的深度信息替换为符合用户指令的校正深度信息来获得校正的深度信息208。
如上所述，图像信号处理器30通过基于主相机图像201和ToF深度信息203校正深度信息206来获得校正的深度信息208，该深度信息206基于对主相机图像201和从属摄像机图像202执行匹配处理(立体处理、交叉关联处理)Y1所获得的立体图像。
然后，图像信号处理器30基于获得的校正深度信息208对主相机图像201进行虚化处理X4，以获得具有虚化的相机图像209。
现在将描述控制具有上述配置和功能的电子设备100的示例性方法。特别地，下面将描述用于获取具有合适虚化的相机图像的电子设备100的示例性流程。
图3是用于校正图1所示的电子设备100中的深度信息的流程的示例性示意图。图4A是由图1所示的电子设备100拍摄的主相机图像的一个示例性示意图。图4B是与图1所示的电子设备100拍摄的主相机图像相对应的ToF深度信息的一个示例性示意图。图5A是与图1所示的电子设备100拍摄的主相机图像对应的深度信息的一个示例性示意图。图5B是通过基于非校正深度信息对主相机图像进行虚化处理而获得的具有虚化的相机图像的一个示例性示意图。
例如图3所示，图像信号处理器30通过控制主相机模块11、从属相机模块12和距离传感器模块20来获取主相机图像(图4A)、深度信息和ToF深度信息(图4B)(步骤S31)。图4B展示了在检测到ToF深度信息的检测区域中，较亮的部分表示物体较近，还展示了没有检测到ToF深度信息的非检测区域较灰暗。
然后，图像信号处理器30执行不确定区域预估处理，用于估计不能对主相机图像11和从属相机图像12进行立体处理的不确定区域(步骤S32)。
然后，图像信号处理器30通过基于ToF深度信息校正对应于不确定区域的深度信息(图5A)的一部分来获得校正的深度信息(步骤S33)。
与不确定区域相对应的深度信息部分例如是没有深度值的部分，或没有值但使用周围部分的深度值插值的部分。
图像信号处理器30基于校正的深度信息在主相机图像上进行虚化处理，以获得具有虚化的相机图像209。
例如图5B所示，使用非校正深度信息对主相机图像进行虚化处理，得到的具有虚化的相机图像可能在应该具有虚化的部分没有虚化。
下面将描述图3所示的不确定区域预估处理示例性流程。
图6是在图1所示的电子设备100中进行不确定区域预估处理的流程示意图。
图7是图6所示的不确定区域预估处理的流程中的自相关计算模型的示意图。图8A是参考区域相对于被标记为低纹理区域的不确定区域中的目标区域(region ofinterest)的运动与从自相关中获得的相似性之间关系的示例性示意图。图8B是参考区域相对于被标记为重复图案区域的不确定区域中的目标区域的运动与从自相关计算中获得的相似性之间关系的示例性示意图。图9A是被标记为低纹理区域的不确定区域的示例性示意图。图9B是被标记为重复图案区域的不确定区域的示例性示意图。
例如图6所示，在图3所示的不确定区域预估处理(步骤S32)中，图像信号处理器30以主相机图像的参考区域相对于目标区域(region of interest)预设移动量进行自相关计算，从而计算出目标区域和参考区域之间的相似度(特征值)(步骤S61)。
如图7特别所示，在不确定区域预估处理中，图像信号处理器30对主相机图像进行自相关计算，其中，是以参考区域相对于目标区域在极线方向上，移动了预设移动量，来进行计算的，从而计算目标区域和参考区域之间的相似程度(特征值)。极线是指平行立体图像的极线。
在进行不确定区域预估处理的过程中，计算自相关计算中的相似度时，可采用平方差之和(SSD)的方法、绝对差之和(SAD)的方法或归一化交叉相关(NCC)的方法。
图像信号处理器30检测一个区域，该区域中，计算的相似度相对于预设移动量的变化小于预设值(步骤S62)，并将该区域标记为包括在不确定区域中的低纹理区域。
例如，如果在一个区域中，一个频率(特征值)小于在不确定区域预估处理中设置的预设标签参考值，则图像信号处理器30将该区域标记为包括在不确定区域中的低纹理区域(图8A和图9A)。其中，该频率(特征值)是基于相对于预设移动量的相似度峰值的间隔的平均值或峰值的模式值。
图像信号处理器30可以进一步根据不确定区域预估处理中相似度的变化(相似度的低点的深度变化)的大小对低纹理区域进行分类。
图像信号处理器30还检测一个区域，在该区域中，在计算的相对于预设运动量的相似度中存在多个峰值(步骤S63)，并将该区域标记为包括在不确定区域中的重复图案区域。
例如，如果在一个区域中，一个频率(特征值)等于或高于(大于)在不确定区域预估处理中设置的预设标签参考值，则图像信号处理器30将该区域标记为包括在不确定区域中的重复模式区域(图8B和9B)。其中，该频率(特征值)是基于相对于预设运动量的相似度峰值的间隔的平均值或峰值的模式值。
如果在一个区域中，一个频率(特征值)小于标签参考值，则图像信号处理器30将该区域标记为包括在不确定区域中的上述低纹理区域。其中，该频率(特征值)是基于相对于预设运动量的相似度峰值的间隔的平均值或峰值的模式值。
然后，图像信号处理器30将标记的重复图案区域和低纹理区域融合(步骤S64)。
图10是图6所示的不确定区域预估处理中组合操作流程的示例性示意图。图11A是频率(特征值)与纹理标记之间关系的示例性示意图。图11B是相似度的差异与清晰纹理或低纹理之间关系的示例性示意图。
例如图10所示，在图6所示的不确定区域预估处理中的融合流程(步骤S64)中，图像信号处理器30，通过在与极线正交的方向上将参考区域相对于目标区域按预设移动量移动，来对主相机图像进行自相关计算，从而计算目标区域和参考区域之间的相似度(特征值)(步骤S101)。
如果图像信号处理器30的处理时间需要减少，可以省略在与极线正交的方向上的自相关计算。
然后，图像信号处理器30根据在上述自相关计算中计算出的相似度，来计算特征值(频率)(步骤S102)，将不确定区域中具有相似特征值的像素连接起来，对不确定区域中的连接的像素组进行分类(图11A)，并对该像素组进行标记(步骤S103)。
如上所述，特征值，即频率，是根据相似程度的峰值之间的间隔的平均值或峰值的模式值来计算的。低纹理区域是根据相似度的低点深度来标记的。清晰的纹理区域被提前从自相关计算中排除(图11B)。
下面将描述图3所示的深度信息校正处理流程的一个示例。图12是图3所示的深度信息校正处理的示例性示意图。
如图12所示，在深度校正过程中，图像信号处理器30根据深度信息针对主相机图像的每个标记区域获取区域深度信息(步骤S121)。
例如，图像信号处理器30可以参考对应于标记区域中的像素的深度信息(深度值)，并计算对应于标记区域的深度值的平均值，从而获得区域深度信息。
图像信号处理器30基于ToF深度信息进一步获取标记区域的区域ToF深度信息(步骤S122)。
例如，图像信号处理器30可参考标记区域的像素的ToF深度信息(ToF深度值)，并计算对应于标记区域的ToF深度值的平均值，从而获得区域ToF深度信息。
然后，图像信号处理器30将区域深度信息与标记区域的ToF深度信息进行比较。
如果区域深度信息和区域ToF深度信息之间的差值等于或高于(大于)预设值，，则图像信号处理器30用区域ToF深度信息替换对应于标记区域的深度信息(校正对应于标记区域的深度信息)，如步骤S123所示。
因此，如果深度信息和ToF深度信息之间的差值在某不确定的区域中是显著的，那么该深度信息被替换为ToF深度信息。
如果在深度校正中，区域深度信息和区域ToF深度信息之间的差值不等于或不大于预设值，则图像信号处理器30不采用区域ToF深度信息替换标记区域的深度信息(不校正标记区域的深度信息)。
在深度校正中，图像信号处理器30然后显示没有检测到ToF深度信息的非检测区域的信息(步骤S124)。
在深度校正中，图像信号处理器30然后根据用户的指令(步骤S125)将对应于没有检测到ToF深度信息的主相机图像的非检测区域的深度信息替换为用于校正的深度信息(步骤S126)，从而获得校正的深度信息。
如上所述，没有ToF深度信息的非检测区域可以显示在电子设备的显示器上，并根据用户的指令被处理。
图13是图12所示的用户指令的具体流程的示例性示意图。图14是在显示模块上显示非检测区域的示例性示意图。图15是，在用户将用于校正非检测区域的深度信息设置为"近"值(将该区域设置为被摄物的前景)的情况下，相机图像的示例性示意图。图16是，在用户将用于校正的深度信息设置为"远"值(将该区域设置为被摄物的背景)的情况下，相机图像的示例性示意图。
在图13所示的用户指令的流程中，电子设备100的显示模块45上显示没有检测到ToF深度信息的非检测区域(例如，被摄物的前景或背景)的信息(步骤S131)。
例如图14所示，非检测区域被显示在电子设备100的显示模块45上。
用户输入指令，指定非检测区域，对于该区域的深度信息应该被校正，同时输入另一指令，与用于校正该非检测区域的深度信息有关(步骤S133)。
例如，如果用户移动图14所示的输入模块(触摸面板)46的光标45a，就会输入用于校正非检测区域的深度信息的指令。
根据用户对输入模块46关于有关非检测区域的深度信息的指令的输入，图像信号处理器30将用户指定的非检测区域的深度信息更新为用户指示的用于校正的深度信息(步骤S134)。
例如，用户用图14所示的输入模块(触摸面板)46上的光标45b输入校正完成(步骤S135)。
如果用户为校正非检测区域的深度信息设置一个"近"值(将该区域设置为被摄物的前景)，例如图15所示，作为前景区域的非检测区域与被摄物区域之间的边界，在作为深度校正结果获得的相机图像中，变得清晰。
如果用户为校正非检测区域的深度信息设置一个"远"值(将该区域设置为被摄物的背景)，例如图16所示，作为背景区域的非检测区域与被摄物区域之间的边界，在作为深度校正结果获得的相机图像中，变得模糊。
如上所述，本发明的一个方面提供了一种电子设备，包括：主相机模块，拍摄被摄物的照片以获得主相机图像；从属相机模块，拍摄被摄物的照片以获得从属相机图像；距离传感器模块，向被摄物发射脉冲光并检测来自被摄物的反射光，以获得飞行时间(ToF)深度信息；以及图像信号处理器，控制主相机模块、从属相机模块和距离传感器模块以获得相机图像。该相机图像是基于主相机图像、从属相机图像和ToF深度信息得到的，且具有虚化的主相机图像。
图像信号处理器通过对深度信息进行校正，得到校正的深度信息，并且基于校正的深度信息对主相机图像进行虚化处理，获得具有虚化的相机图像。其中，基于主相机图像和ToF深度信息，对主相机图像和从属摄像机图像进行立体处理，得到立体图像。基于该立体图像，获得上述深度信息。
图像信号处理器获取与主相机图像的不确定区域有关的不确定区域信息，并基于ToF深度信息对不确定区域的深度信息进行深度校正，从而获得校正的深度信息。其中，不确定区域为不能对主相机图像和从属相机图像进行立体处理的区域，通过执行不确定区域预估处理对该不确定区域进行预估，得到主相机图像的不确定区域。
此外，在深度校正中，图像信号处理器通过用基于用户指令的用于校正的深度信息替换主相机图像的非检测区域的深度信息，获得校正的深度信息。在该主相机图像的非检测区域中，没有ToF深度信息可以被获得。
因此，用高分辨率深度信息获取的不合适的不确定区域被估计出来，并通过使用低分辨率ToF深度信息进行校正。如果没有获得低分辨率的ToF深度信息，则可以将前景和背景从被摄物中区分出来。
因此，本发明一个方面提供的电子设备能够获得具有虚化的适当的相机图像。
在对本发明的实施例的描述中，应理解，诸如“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“垂直”、“水平”、“顶部”、“底部”、“内部”、“外部”、“顺时针”和“逆时针”等术语应解释为指所讨论的图中的方位或图所显示的位置。这些相对性的术语只是用来简化本发明内容的描述，并不表示或暗示所指的设备或元件必须具有特定的方向，或以特定的方向构造或操作。因此，这些术语不能被解释为限制本发明的内容。
此外，本文使用的“第一”和“第二”等术语是为了描述的目的，而不是为了表明或暗示相对的重要性或显著性，也不是为了暗示所指代的技术特征的数量。因此，用“第一”和“第二”定义的特征可以包括一个或多个该特征。在本发明内容的描述中，“多个”是指两个或两个以上，除非另有规定。
在本发明的实施例的描述中，除非另有规定或限制，术语“安装”、“连接”、“耦合”等是广义的，例如，可以是固定连接、可拆卸连接或整体连接；也可以是机械或电连接；也可以是直接连接或通过介入结构的间接连接；也可以是两个元件的内部连通，本领域的技术人员可以根据具体情况理解。
在本发明的实施例中，除非另有规定或限制，第一特征“在第二特征上”或“低于第二特征”第二特征的结构可包括第一特征与第二特征直接接触的实施例，也可包括第一特征和第二特征不直接接触，而是通过其间形成的附加特征接触的实施例。此外，第一特征“在第二特征上”、“高于第二特征”或“位于第二特征顶部”，可以包括第一特征“在第二特征正上或斜上”、“正高于或斜向高于第二特征”或“位于第二特征的正顶部或斜顶部”的实施例，或只是意味着第一特征的高度高于第二特征的高度的实施例。第一特征“低于第二特征”、“在第二特征下方”或“位于第二特征的底部”可以包括第一特征“在第二特征正下或斜下”、“正低于或斜向低于第二特征”或“位于第二特征的正底部或斜底部”的实施例，或只是意味着第一特征的高度低于第二特征的高度的实施例。
在上述描述中提供了各种实施方案和实施例，以实现本发明的不同结构。为了简化本发明的内容，在上面描述了某些元件和设置。然而，这些元件和设置只是示例性说明，并不旨在限制本发明的内容。此外，参考标号和/或参考字母在本发明内容的不同例子中可能会重复出现。这种重复是为了简化和清晰，并不是指不同实施例和/或设置之间的关系。此外，本发明内容中提供了不同工艺和材料的例子。然而，本领域的技术人员应当理解，其他工艺和/或材料也可以应用。
本说明书中提到“一个实施例”、“一些实施例”、“一个示例”、“一个具体的实施例”或“一些实施例”是指与该实施例或示例有关的特定特征、结构、材料或特性被包括在本发明的至少一个实施例或示例中。因此，上述短语在本说明书中的出现不一定是指本发明的同一个实施例或示例。此外，特定的特征、结构、材料或特性可以以任何合适的方式组合在一个或多个实施例或示例中。
在流程图中描述的或在此以其他方式描述的任何过程或方法可被理解为包括一个或多个模块、字段或部分可执行指令的代码，用于实现过程中的特定逻辑功能或步骤。本发明的一个优选实施例的范围包括其他实施方案，其中本领域的技术人员应理解，功能可以以所示或讨论的顺序以外的顺序实现，包括与本发明基本相同的顺序或相反的顺序。
本文以其他方式描述的逻辑和/或步骤或在流程图中显示的逻辑和/或步骤，例如，用于实现逻辑功能的可执行指令的特定顺序表格，可以在任何计算机可读介质中具体实现，以便由指令执行系统、装置或设备使用(例如基于计算机的系统、包括处理器或能够从指令执行系统、装置和设备获得指令并执行该指令的其他系统)，或与指令执行系统、装置和设备融合使用。就本说明书而言，"计算机可读介质"可以是任何适应于包括、存储、通信、传播或转移将由指令执行系统、装置或设备使用或与之融合的程序的装置。计算机可读介质的更具体的示例包括但不限于：具有一条或多条导线的电连接(电子设备)、便携式计算机外壳(磁性设备)、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、光纤设备和便携式光盘只读存储器(CDROM)。此外，计算机可读介质甚至可以是纸或其他适当的介质，能够在上面打印程序，这是因为，例如，纸或其他适当的介质可以被光学扫描，然后在必要时用其他适当的方法进行编辑、解密或处理，以电子的方式获得程序，然后可以将程序存储在计算机存储器中。
应该理解的是，本发明的每一部分可以由硬件、软件、固件或其组合来实现。在上述实施例中，多个步骤或方法可由存储在存储器中的软件或固件实现，并由适当的指令执行系统执行。例如，如果由硬件实现，同样在另一个实施例中，步骤或方法可由本领域已知的下列技术之一或组合实现：具有实现数据信号逻辑功能的逻辑门电路的分立逻辑电路、具有适当组合逻辑门电路的特定应用集成电路、可编程门阵列(PGA)、现场可编程门阵列(FPGA)等。
本领域的技术人员应理解，本公开的上述示例性方法中的全部或部分步骤可通过用程序指挥相关硬件来实现。这些程序可以存储在计算机可读存储介质中，当在计算机上运行时，这些程序包括本发明的方法实施例中的一个步骤或组合的步骤。
此外，本发明的实施例的每个功能单元可以集成在一个处理模块中，或者这些单元可以是物理上独立的存在，或者两个或多个单元集成在一个处理模块中。该集成模块可以以硬件的形式实现，也可以以软件功能模块的形式实现。当集成模块以软件功能模块的形式实现并作为独立的产品出售或使用时，集成模块可以存储在计算机可读存储介质中。
上述存储介质可以是只读存储器、磁片、CD等。
尽管已经展示和描述了本发明的实施方案，但本领域的技术人员应当理解，这些实施方案是解释性的，不能被理解为限制本发明的内容，在不脱离本发明范围的情况下，可以对实施方案进行改变、修改、替代和变化。

Claims (24)

1.一种电子设备，其特征在于，包括：
主相机模块，用于对被摄物拍摄照片以得到主相机图像；
从属相机模块，用于对所述被摄物拍摄照片以得到从属相机图像；
距离传感器模块，用于根据光线，得到所述被摄物的深度信息；以及
图像信号处理器，控制所述主相机模块、所述从属相机模块和所述距离传感器模块，根据所述主相机图像、所述从属相机图像和所述深度信息，得到带有虚化的相机图像，所述带有虚化的相机图像为带有一个或多个虚化的主相机图像，
其中，所述图像信号处理器用于基于所述主相机图像和所述从属相机图像进行匹配处理得到立体图像，根据所述主相机图像和所述深度信息校正所述立体图像的深度信息，从而得到校正的深度信息；
所述图像信号处理器基于所述校正的深度信息，对所述主相机图像进行虚化处理，从而得到所述带有虚化的相机图像。
2.根据权利要求1所述的电子设备，其特征在于，
其中，所述距离传感器模块向所述被摄物发射脉冲光，并检测从所述被摄物反射的所述脉冲光的反射光，从而得到飞行时间(ToF)深度信息作为所述深度信息。
3.根据权利要求2所述的电子设备，其特征在于，
其中，所述图像信号处理器执行不确定区域预估处理，以估计所述主相机图像的不确定区域，对所述不确定区域来说，对所述主相机图像和所述从属相机图像的匹配处理无法实施，以此得到所述主相机图像的不确定区域的不确定区域信息，以及
所述图像信号处理器执行深度校正，以基于所述ToF深度信息来校正与所述不确定区域有关的部分深度信息，从而得到校正的深度信息。
4.根据权利要求3所述的电子设备，其特征在于，在深度校正的过程中，所述图像信号处理器利用与所述不确定区域有关的部分ToF深度信息替换与所述不确定区域有关的部分深度信息，从而得到所述校正的深度信息。
5.根据权利要求4所述的电子设备，其特征在于，在深度校正的过程中，
所述图像信号处理器，通过将参考区域相对于目标区域移动预设移动量，对所述主相机图像进行自相关计算，从而计算出所述目标区域和所述参考区域之间的相似度；
所述图像信号处理器检测一个区域，并将所述区域标记为所述不确定区域中的低纹理区域，在所述区域中，相对于所述预设移动量的相似度的变化小于预设值；以及
所述图像信号处理器检测出另一个区域，并将所述另一个区域标记为所述不确定区域中的重复图案区域，在所述另一个区域中，具有多个相对于所述预设运动量的相似度峰值。
6.根据权利要求5所述的电子设备，其特征在于，在进行所述不确定区域预估处理的过程中，如果基于所述多个相对于所述预设运动量的相似度峰值的间隔的平均值的或基于相对于所述预设运动量的相似度的模式值的频率等于或大于预设的标签参考值，则所述图像信号处理器将一个区域标记为包括在所述不确定区域中的所述重复图案区域。
7.根据权利要求6所述的电子设备，其特征在于，在进行所述不确定区域预估处理的过程中，如果基于所述多个相对于所述预设运动量的相似度峰值的间隔的所述平均值的或基于相对于所述预设运动量的相似度的所述模式值的所述频率小于所述标签参考值，则所述图像信号处理器将一个区域标记为包括在所述不确定区域中的所述低纹理区域。
8.根据权利要求7所述的电子设备，其特征在于，在进行所述不确定区域预估处理的过程中，所述图像信号处理器进一步根据所述相似度的变化幅度对所述低纹理区域进行分类。
9.根据权利要求5所述的电子设备，其特征在于，在自相关计算中，采用平方差之和(SSD)的方法、绝对差之和(SAD)的方法或归一化交叉相关(NCC)的方法来，计算相似度。
10.根据权利要求9所述的电子设备，其特征在于，在进行所述不确定区域预估处理的过程中，所述图像信号处理器，通过在所述主相机图像中的极线方向上，将所述参考区域相对于所述目标区域移动所述预设移动量，来进行所述自相关计算，从而计算出所述目标区域和所述参考区域之间的相似度。
11.根据权利要求10所述的电子设备，其特征在于，在进行所述不确定区域预估处理的过程中，所述图像信号处理器，通过在与所述主相机图像中的所述极线的正交方向上，将所述参考区域相对于所述目标区域移动所述预设移动量，来进行所述自相关计算，从而计算出所述目标区域和所述参考区域之间的相似度。
12.根据权利要求3所述的电子设备，其特征在于，在进行所述深度校正的过程中，
所述图像信号处理器对所述主相机图像的区域进行标注，并根据所述深度信息获取每个标注区域的区域深度信息；
所述图像信号处理器基于所述ToF深度信息获取每个标记区域的区域ToF深度信息；以及
所述图像信号处理器比较每个标记区域的所述区域ToF深度信息和所述区域深度信息，如果所述区域深度信息和所述区域ToF深度信息之间的差值等于或大于预设值，则所述图像信号处理器利用所述区域ToF深度信息替换所述标记区域的所述深度信息。
13.根据权利要求12所述的电子设备，其特征在于，在深度校正的过程中，如果所述区域深度信息和所述区域ToF深度信息之间的差值小于所述预设值，则所述图像信号处理器不会用所述区域ToF深度信息替换所述标记区域的所述深度信息。
14.根据权利要求13所述的电子设备，其特征在于，在深度校正的过程中，
所述图像信号处理器参考对应于所述标记区域中每个像素的深度信息，并计算对应于所述标记区域的所述深度信息的平均值，从而得到所述区域深度信息；以及
所述图像信号处理器参考对应于所述标记区域中每个像素的ToF深度信息，并计算对应于所述标记区域的所述ToF深度信息的平均值，从而得到所述区域ToF深度信息。
15.根据权利要求2所述的电子设备，其特征在于，在深度校正的过程中，
所述图像信号处理器将没有所述ToF深度信息的所述主相机图像的非检测区域的深度信息替换为根据用户指令用于校正的深度信息，从而得到所述校正的深度信息。
16.根据权利要求15所述的电子设备，其特征在于，进一步包括：
显示模块，用于显示预设信息；
输入模块，用于由用户操作；以及
主处理器，用于控制所述显示模块和所述输入模块；
其中，在深度校正的过程中，
所述图像信号处理器在所述显示模块上显示关非检测区域的信息；并且
所述图像信号处理器将所述用户指定的非检测区域的深度信息替换为用于校正的深度信息，所述用于校正的深度信息是由用户指示的，并且是基于用户输入至所述输入模块的关于所述非检测区域的所述深度信息的指令。
17.根据权利要求2所述的电子设备，其特征在于，
所述图像信号处理器通过执行所述主相机图像和所述从属相机图像的匹配处理来得到立体深度信息；以及
所述图像信号处理器执行融合处理，将所述立体深度信息和被摄物区域信息融合，从而得到所述主相机图像的所述深度信息，其中，所述被摄物区域信息是通过从所述主相机图像中提取所述被摄物的区域而得到的。
18.根据权利要求2所述的电子设备，其特征在于，
所述主相机模块包括聚焦于所述被摄物的第一镜头、检测通过所述第一镜头输入的图像的第一图像传感器、以及驱动所述第一图像传感器的第一图像传感器驱动器；以及
所述从属相机模块包括聚焦于所述被摄物的第二镜头、检测通过所述第二镜头输入的图像的第二图像传感器、以及驱动所述第二图像传感器的第二图像传感器驱动器。
19.根据权利要求18所述的电子设备，其特征在于，所述电子设备为智能手机。
20.根据权利要求2所述的电子设备，其特征在于，由所述距离传感器模块检测的所述ToF深度信息的分辨率低于基于所述主相机图像和所述从属相机图像获得的所述立体图像的所述立体深度信息的分辨率。
21.一种控制电子设备的方法，所述电子设备包括：主相机模块，用于对被摄物拍摄照片以得到主相机图像；从属相机模块，用于对所述被摄物拍摄照片以得到从属相机图像；距离传感器模块，通过利用光线，得到所述被摄物的深度信息；以及图像信号处理器，用于控制所述主相机模块、所述从属相机模块和所述距离传感器模块，根据所述主相机图像、所述从属相机图像和所述深度信息，得到带有虚化的相机图像，所述带有虚化的相机图像为带有一个或多个虚化的主相机图像；
其特征在于，所述方法包括：
通过所述图像信号处理器，对所述主相机图像和所述从属相机图像进行立体处理得到立体图像，根据所述所述主相机图像和所述深度信息，对所述立体图像的深度信息进行校正，从而得到校正的深度信息；以及
通过所述图像信号处理器，基于所述校正的深度信息，对所述主相机图像进行虚化处理，从而得到具有虚化的相机图像。
22.根据权利要求21所述方法，其特征在于，
所述距离传感器模块向所述被摄物发射脉冲光，并检测从所述被摄物反射的所述脉冲光的反射光，从而得到飞行时间(ToF)深度信息作为所述深度信息。
23.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，其中，当所述计算机程序由处理器执行时，所述计算机程序实现一种用于控制电子设备的方法，所述方法包括：
通过图像信号处理器，对所述主相机图像和所述从属相机图像进行立体处理得到立体图像，根据所述主相机图像和深度信息，对所述立体图像的深度信息进行校正，从而得到校正的深度信息；以及
通过所述图像信号处理器，基于所述校正的深度信息，对所述主相机图像进行虚化处理，从而得到具有虚化的相机图像。
24.根据权利要求23所述的计算机可读存储介质，其特征在于，所述深度信息是飞行时间(ToF)深度信息。
CN201980103291.8A 2019-12-19 2019-12-19 电子设备、控制电子设备的方法以及计算机可读存储介质 Active CN114902646B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/126704 WO2021120120A1 (en) 2019-12-19 2019-12-19 Electric device, method of controlling electric device, and computer readable storage medium

Publications (2)

Publication Number Publication Date
CN114902646A true CN114902646A (zh) 2022-08-12
CN114902646B CN114902646B (zh) 2024-04-19

Family

ID=76477009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980103291.8A Active CN114902646B (zh) 2019-12-19 2019-12-19 电子设备、控制电子设备的方法以及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN114902646B (zh)
WO (1) WO2021120120A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103973963A (zh) * 2013-02-06 2014-08-06 聚晶半导体股份有限公司 图像获取装置及其图像处理方法
CN104580878A (zh) * 2013-10-28 2015-04-29 宏达国际电子股份有限公司 电子装置以及自动效果方法
US20150116542A1 (en) * 2013-10-29 2015-04-30 Samsung Electronics Co., Ltd. Electronic apparatus for making bokeh image and method thereof
CN106651870A (zh) * 2016-11-17 2017-05-10 山东大学 多视角三维重建中图像失焦模糊区域的分割方法
CN108337434A (zh) * 2018-03-27 2018-07-27 中国人民解放军国防科技大学 一种针对光场阵列相机的焦外虚化重聚焦方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103973963A (zh) * 2013-02-06 2014-08-06 聚晶半导体股份有限公司 图像获取装置及其图像处理方法
CN104580878A (zh) * 2013-10-28 2015-04-29 宏达国际电子股份有限公司 电子装置以及自动效果方法
US20150116542A1 (en) * 2013-10-29 2015-04-30 Samsung Electronics Co., Ltd. Electronic apparatus for making bokeh image and method thereof
CN106651870A (zh) * 2016-11-17 2017-05-10 山东大学 多视角三维重建中图像失焦模糊区域的分割方法
CN108337434A (zh) * 2018-03-27 2018-07-27 中国人民解放军国防科技大学 一种针对光场阵列相机的焦外虚化重聚焦方法

Also Published As

Publication number Publication date
CN114902646B (zh) 2024-04-19
WO2021120120A1 (en) 2021-06-24

Similar Documents

Publication Publication Date Title
EP2992508B1 (en) Diminished and mediated reality effects from reconstruction
US10762643B2 (en) Method for evaluating image data of a vehicle camera
US9092875B2 (en) Motion estimation apparatus, depth estimation apparatus, and motion estimation method
US20140253679A1 (en) Depth measurement quality enhancement
US20140049612A1 (en) Image processing device, imaging device, and image processing method
US20200320727A1 (en) Method and apparatus for generating a three-dimensional model
CN105069804B (zh) 基于智能手机的三维模型扫描重建方法
US9349073B2 (en) Apparatus and method for image matching between multiview cameras
US10192141B2 (en) Determining scale of three dimensional information
JP4892113B2 (ja) 画像処理方法及び装置
JP3988574B2 (ja) 画像処理装置
EP3706070A1 (en) Processing of depth maps for images
JP6395429B2 (ja) 画像処理装置、その制御方法及び記憶媒体
CN114902646B (zh) 电子设备、控制电子设备的方法以及计算机可读存储介质
KR102184619B1 (ko) 가상 환경의 표현에서의 시선 방향을 조정하는 방법
JP6655869B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2015033047A (ja) 複数カメラを用いた奥行き推定装置
CN114514735B (zh) 电子设备和控制电子设备的方法
Gheta et al. Fusion of combined stereo and focus series for depth estimation
JPH11183142A (ja) 三次元画像撮像方法及び三次元画像撮像装置
KR101865821B1 (ko) 깊이 영상의 잡음 제거 방법 및 깊이 영상의 잡음 제거 장치 그리고 잡음 제거를 통한 부호화 방법과 부호화 장치
CN117121499A (zh) 图像处理方法和电子设备
JP2018200722A (ja) 画像処理装置及びその制御方法、並びにプログラム及び記憶媒体
JP2008090608A (ja) 画像処理装置、画像処理装置の制御方法、および画像処理装置の制御プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant