CN113824877A - 一种全景深图像合成方法、存储介质及智能手机 - Google Patents

一种全景深图像合成方法、存储介质及智能手机 Download PDF

Info

Publication number
CN113824877A
CN113824877A CN202110953450.2A CN202110953450A CN113824877A CN 113824877 A CN113824877 A CN 113824877A CN 202110953450 A CN202110953450 A CN 202110953450A CN 113824877 A CN113824877 A CN 113824877A
Authority
CN
China
Prior art keywords
image
portrait
focusing
face
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110953450.2A
Other languages
English (en)
Other versions
CN113824877B (zh
Inventor
朱晓璞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huizhou TCL Cloud Internet Corp Technology Co Ltd
Original Assignee
Huizhou TCL Cloud Internet Corp Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huizhou TCL Cloud Internet Corp Technology Co Ltd filed Critical Huizhou TCL Cloud Internet Corp Technology Co Ltd
Priority to CN202110953450.2A priority Critical patent/CN113824877B/zh
Publication of CN113824877A publication Critical patent/CN113824877A/zh
Priority to PCT/CN2022/106869 priority patent/WO2023020190A1/zh
Priority to US18/293,363 priority patent/US20240331096A1/en
Priority to EP22857503.1A priority patent/EP4391520A1/en
Application granted granted Critical
Publication of CN113824877B publication Critical patent/CN113824877B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种全景深图像合成方法、存储介质及智能手机，其中，所述全景深图像合成方法包括步骤：在拍照时，分别对焦锁定至人脸和镜头最远处，对应获取第一图像(人脸对焦图像)和第二图像(远景对焦图像)；对所述第一图像进行人像分割处理，获得人像区域图像；将所述人像区域图像与所述第二图像进行对齐融合，得到融合图像。本发明通过两次对焦拍照，分别用人像对焦和远景对焦拍照，将人脸对焦图像进行AI人像分割并融合至远景对焦图像上，从而实现全景深范围内人像和背景均清晰。

Description

一种全景深图像合成方法、存储介质及智能手机
技术领域
本发明涉及图像合成技术领域，特别涉及一种全景深图像合成方法、存储介质及智能手机。
背景技术
目前智能手机设备的前置自拍摄像头均搭载了自动对焦功能，这可以有效提升拍照时人脸的清晰度。但是由于前置摄像头的景深范围有限，当对焦点在人脸时，背景画面将处在有效景深之外，从而导致背景会出现虚化的现象。
因此，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的不足，提供一种全景深图像合成方法、存储介质及智能手机，旨在解决现有前置摄像头的对焦点在人脸时，背景画面将处在有效景深之外，从而导致背景会出现虚化的问题。
为了解决上述技术问题，本发明所采用的技术方案如下：
一种全景深图像合成方法，其中，包括步骤：
在拍照时，分别对焦锁定至人脸和镜头最远处，对应获取第一图像和第二图像；
对所述第一图像进行人像分割处理，获得人像区域图像；
将所述人像区域图像与所述第二图像进行对齐融合，得到融合图像。
所述的全景深图像合成方法，其中，所述第一图像为人脸对焦图像，获取所述人脸对焦图像的步骤包括：
启动摄像头并检测摄像头预览镜头下是否含有人脸数据；
若检测到所述摄像头预览镜头下含有人脸数据，则启动人脸对焦模式进行拍照，获得人脸对焦图像。
所述的全景深图像合成方法，其中，所述第二图像为远景对焦图像，获取所述远景对焦图像的步骤包括：
在启动人脸对焦模式进行拍照获得人脸对焦图像后，再启动远景对焦模式进行拍照，获得远景对焦图像。
所述的全景深图像合成方法，其中，还包括步骤：
若检测到所述摄像头预览镜头下不含有人脸数据，则启动近景对焦模式，获得近景图像。
所述的全景深图像合成方法，其中，对所述第一图像进行人像分割处理，获得人像区域图像的步骤包括：
采用标注过的包含人脸的图像数据作为训练样本对图像分割神经网络进行训练，得到训练后图像分割神经网络；
将第一图像输入所述训练后图像分割神经网络进行图像分割，得到人像区域图像。
所述的全景深图像合成方法，其中，采用标注过的包含人脸的图像数据作为训练图像对图像分割神经网络进行训练，得到训练后图像分割神经网络的步骤包括：
利用图像分割网络获取训练图像中的至少一个人像所在的目标区域，并获取所述目标区域中的需要分割的人像的位置信息，其中，所述训练图像中标注有需要分割的人像的位置标注信息；
基于所述需要分割的人像的位置信息和所述需要分割的人像的位置标注信息，对所述图像分割神经网络进行训练，得到训练后图像分割神经网络。
所述的全景深图像合成方法，其中，将第一图像输入所述训练后图像分割神经网络进行图像分割，得到人像区域图像的步骤包括：
获取所述第一图像；
利用训练后图像分割神经网络获取第一图像中的至少一个人像所在的目标区域，并获取所述目标区域中的需要分割的人像的位置信息，基于所述人像的位置信息获得所述人像区域图像。
所述的全景深图像合成方法，其中，将所述人像区域图像与所述第二图像进行对齐融合，得到融合图像的步骤包括：
采用像素对齐算法，计算所述人像区域图像相对所述第二图像的偏移，在所述第二图像的对应像素上进行人像区域图像的像素替换，得到所述融合图像。
一种存储介质，其中，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本发明全景深图像合成方法中的步骤。
一种智能手机，其中，包括处理器，适于实现各指令；以及存储介质，适于存储多条指令，所述指令适于由处理器加载并执行本发明全景深图像合成方法中的步骤。
有益效果：本发明提出了一种全景深图像合成方法，在拍照时，分别对焦锁定至人脸和镜头最远处，对应获取第一图像(人脸对焦图像)和第二图像(远景对焦图像)；对所述第一图像进行人像分割处理，获得人像区域图像；将所述人像区域图像与所述第二图像进行对齐融合，得到融合图像。本发明通过两次对焦拍照，分别用人像对焦和远景对焦拍照，将人脸对焦图像进行AI人像分割并融合至远景对焦图像上，从而实现全景深范围内人像和背景均清晰。
附图说明
图1为一种全景深图像合成方法的流程图。
图2为本发明一种智能手机的原理框图。
具体实施方式
本发明提供一种全景深图像合成方法、存储介质及智能手机，为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
请参阅图1，图1为本发明提供的一种全景深图像合成方法的较佳实施例流程图，如图所示，其包括步骤：
S10、在拍照时，分别对焦锁定至人脸和镜头最远处，对应获取第一图像和第二图像；
S20、对所述第一图像进行人像分割处理，获得人像区域图像；
S30、将所述人像区域图像与所述第二图像进行对齐融合，得到融合图像。
本实施例在拍照过程中，通过两次对焦拍照，分别用人脸对焦和远景对焦拍照对应得到第一图像(人脸对焦图像)和第二图像(远景对焦图像)，然后将人脸对焦图像进行AI人像分割并融合至远景对焦图像上，得到融合图像，从而实现全景深范围内人像和背景均清晰。
在一些实施方式中，所述第一图像为人脸对焦图像，获取所述人脸对焦图像的步骤包括：启动摄像头并检测摄像头预览镜头下是否含有人脸数据；若检测到所述摄像头预览镜头下含有人脸数据，则启动人脸对焦模式进行拍照，获得人脸对焦图像；若检测到所述摄像头预览镜头下不含有人脸数据，则启动近景对焦模式，获得近景图像。
在一些实施方式中，所述第二图像为远景对焦图像，获取所述远景对焦图像的步骤包括：在启动人脸对焦模式进行拍照获得人脸对焦图像后，再启动远景对焦模式进行拍照，获得远景对焦图像。本实施例中，所述远景对焦模式通常是指对焦推进至镜头的最远处，待对焦收敛后进行拍照。
在一些实施方式中，所述步骤S20、对所述第一图像进行人像分割处理，获得人像区域图像具体包括：
S21、采用标注过的包含人脸的图像数据作为训练样本对图像分割神经网络进行训练，得到训练后图像分割神经网络；
S22、将第一图像输入所述训练后图像分割神经网络进行图像分割，得到人像区域图像。
本实施例提出一个端到端可训练的神经网络来实现图像的分割处理，将这个端到端可训练的神经网络称为图像分割神经网络。采用本发明实施例的图像分割神经网络对第一图像(人脸对焦图像)中的人像进行分割处理，主要包括以下两步：1)将第一图像划分成多个区段，预测每个区段内覆盖所有人像的ROI，这里，ROI是指在需要处理的图像中以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，以便进行后续2)中的处理；2)提取每个ROI内的特征，对每个人像的位置进行精确定位。本发明实施例的图像分割神经网络可以应用但不局限于以下场景：
场景一：用户将采集到的包含人像的第一图像通过网络传输到云端，由云端采用本发明实施例的图像分割神经网络对图像进行分割处理。
场景二：用户将采集到的包含人像的第一图像输入到本地计算机设备中，由计算机设备采用本发明实施例的图像分割神经网络对图像进行分割处理。
在一些实施方式中，采用标注过的包含人脸的图像数据作为训练图像对图像分割神经网络进行训练，得到训练后图像分割神经网络的步骤包括：利用图像分割网络获取训练图像中的至少一个人像所在的目标区域，并获取所述目标区域中的需要分割的人像的位置信息，其中，所述训练图像中标注有需要分割的人像的位置标注信息；基于所述需要分割的人像的位置信息和所述需要分割的人像的位置标注信息，对所述图像分割神经网络进行训练，得到训练后图像分割神经网络。
具体来讲，训练图像的数量越多，图像分割神经网络的训练结果越好，另一方面，训练图像的数量越多，需要消耗的计算机资源越多。实际应用中，可以准备数百张或更多的包含有人脸的图像作为训练图像，同时，需要获取训练图像中需要分割的人像的位置标注信息，例如：将需要分割的人像所对应的像素用任意方式表示出来，例如将不同的人像用不同的颜色标识出来，人像的位置标注信息可以由能识别出人像的人通过图形编辑工具来标注出。进一步，需要将位置标注信息转化成需要的格式，从而后续可以通过该位置标注信息来获得标注的人像在训练图像中的位置，这里，将位置标注信息转化成需要的格式包括但不限于热度图、坐标点等。
在本实施例中，所述图像分割神经网络至少包括第一子网络、第二子网络和第三子网络，利用所述第一子网络获取所述训练图像的特征图，利用所述第二子网络对所述训练图像的特征图进行处理，得到训练图像中的至少一个人像所在的目标区域，利用所述第三子网络获取所述目标区域中的需要分割的人像的位置信息。
本实施例中，所述第一子网络的结构不做限定，以分割OCT图像中的视网膜神经层，使用VGG16卷积神经网络为例，将训练图像通过网络的conv1层至conv5层进行处理，得到W×H×C的特征图，其中，W×H为特征图的空间尺寸，C为特征图的通道数。
本实施例中，通过所述第二子网络将所述样本图像按照目标方向划分成多个区段，所述目标方向至少包括垂直方向或水平方向；分别针对所述多个区段中的任一区段，在所述任一区段中确定所述至少一个人像对应的ROI，所述ROI通过第一边界和第二边界确定，所述第一边界和第二边界的方向垂直于所述目标方向；基于所述多个区段中的ROI，确定至少一个人像所在的目标区域。这里，多个区段可以是垂直方向排布的等宽区段，或者水平方向排布的等宽区段；通过第一子网络预测图像的每个等宽区段中覆盖全部人像的区域，作为ROI。这里，预测ROI的方式包括但不局限于回归预测热度图、回归预测坐标、滑窗预测。
本实施例中，通过所述第三子网络分别针对所述多个区段中的任一区段，对所述任一区段中的ROI进行特征提取，基于特征提取结果生成固定高度的特征向量；基于所述固定高度的特征向量，获取所述任一区段中的需要分割的人像的位置信息。这里，通过ROIAlign层或ROI Pooling层从特征图中提取ROI区域的特征，将特征映射到固定高度的特征向量，从而预测每个ROI区域中人像的精确位置，这里，预测人像的精确位置的方式包括但不局限于回归预测热度图、回归预测坐标、滑窗预测。其中，所述目标区域中的需要分割的人像的个数为一个或多个。若ROI中有多个人像，则对每个人像的精确位置分别进行预测。
在一些实施方式中，基于所述需要分割的人像的位置信息和所述需要分割的人像的位置标注信息，对所述图像分割神经网络进行训练，得到训练后图像分割神经网络。
具体来讲，将上述步骤中预测的人像的位置信息输入到损失层，损失层可以根据预测的人像的位置信息来调整图像分割神经网络的参数值，从而对所述图像分割神经网络的参数值进行训练。具体地，基于所述需要分割的人像的位置信息和所述需要分割的人像的位置标注信息，获取第一损失函数值；确定所述第一损失函数值是否满足第一预设条件；响应于所述第一损失函数值不满足第一预设条件，基于所述第一损失函数值对所述图像分割神经网络的参数值进行调整，然后迭代执行如下操作，直至所述第一损失函数值满足第一预设条件：利用图像分割神经网络中的第二子网络获取训练图像中的至少一个人像所在的目标区域，利用所述图像分割神经网络中的第三子网络获取所述目标区域中的需要分割的人像的位置信息。
在一些实施方式中，将第一图像输入所述训练后图像分割神经网络进行图像分割，得到人像区域图像的步骤包括：获取所述第一图像；利用训练后图像分割神经网络获取第一图像中的至少一个人像所在的目标区域，并获取所述目标区域中的需要分割的人像的位置信息，基于所述人像的位置信息获得所述人像区域图像。
本实施例中，所述获取第一图像中的至少一个人像所在的目标区域，包括：将所述第一图像按照目标方向划分成多个区段，所述目标方向至少包括垂直方向或水平方向；分别针对所述多个区段中的任一区段，在所述任一区段中确定所述至少一个人像对应的ROI，所述ROI通过第一边界和第二边界确定，所述第一边界和第二边界的方向垂直于所述目标方向；基于所述多个区段中的ROI，确定至少一个人像所在的目标区域。
本实施例中，所述获取所述目标区域中的需要分割的人像的位置信息，包括：分别针对所述多个区段中的任一区段，对所述任一区段中的ROI进行特征提取，基于特征提取结果生成固定高度的特征向量；基于所述固定高度的特征向量，获取所述任一区段中的需要分割的人像的位置信息。
在一些实施方式中，将所述人像区域图像与所述第二图像进行对齐融合，得到融合图像的步骤包括：采用像素对齐算法，计算所述人像区域图像相对所述第二图像的偏移，在所述第二图像的对应像素上进行人像区域图像的像素替换，得到所述融合图像。
本发明通过两次对焦拍照，分别用人像对焦和远景对焦拍照，将人脸对焦图像进行AI人像分割并融合至远景对焦图像上，从而实现全景深范围内人像和背景均清晰。
在一些实施方式中，还提供一种存储介质，其中，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现本发明全景深图像合成方法中的步骤。
在一些实施方式中，还提供一种智能手机，如图2所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(CommunicationsInterface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
包括处理器，适于实现各指令；以及存储介质，适于存储多条指令，所述指令适于由处理器加载并执行本发明所述全景深图像合成方法中的步骤。
其中，包括处理器，适于实现各指令；以及存储介质，适于存储多条指令，所述指令适于由处理器加载并执行本发明所述全景深图像合成方法中的步骤。
综上所述，本发明提出了一种全景深图像合成方法，在拍照时，分别对焦锁定至人脸和镜头最远处，对应获取第一图像(人脸对焦图像)和第二图像(远景对焦图像)；对所述第一图像进行人像分割处理，获得人像区域图像；将所述人像区域图像与所述第二图像进行对齐融合，得到融合图像。本发明通过两次对焦拍照，分别用人像对焦和远景对焦拍照，将人脸对焦图像进行AI人像分割并融合至远景对焦图像上，从而实现全景深范围内人像和背景均清晰。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种全景深图像合成方法，其特征在于，包括步骤：
在拍照时，分别对焦锁定至人脸和镜头最远处，对应获取第一图像和第二图像；
对所述第一图像进行人像分割处理，获得人像区域图像；
将所述人像区域图像与所述第二图像进行对齐融合，得到融合图像。
2.根据权利要求1所述的全景深图像合成方法，其特征在于，所述第一图像为人脸对焦图像，获取所述人脸对焦图像的步骤包括：
启动摄像头并检测摄像头预览镜头下是否含有人脸数据；
若检测到所述摄像头预览镜头下含有人脸数据，则启动人脸对焦模式进行拍照，获得人脸对焦图像。
3.根据权利要求2所述的全景深图像合成方法，其特征在于，所述第二图像为远景对焦图像，获取所述远景对焦图像的步骤包括：
在启动人脸对焦模式进行拍照获得人脸对焦图像后，再启动远景对焦模式进行拍照，获得远景对焦图像。
4.根据权利要求2所述的全景深图像合成方法，其特征在于，还包括步骤：
若检测到所述摄像头预览镜头下不含有人脸数据，则启动近景对焦模式，获得近景图像。
5.根据权利要求2所述的全景深图像合成方法，其特征在于，对所述第一图像进行人像分割处理，获得人像区域图像的步骤包括：
采用标注过的包含人脸的图像数据作为训练样本对图像分割神经网络进行训练，得到训练后图像分割神经网络；
将第一图像输入所述训练后图像分割神经网络进行图像分割，得到人像区域图像。
6.根据权利要求5所述的全景深图像合成方法，其特征在于，采用标注过的包含人脸的图像数据作为训练图像对图像分割神经网络进行训练，得到训练后图像分割神经网络的步骤包括：
利用图像分割网络获取训练图像中的至少一个人像所在的目标区域，并获取所述目标区域中的需要分割的人像的位置信息，其中，所述训练图像中标注有需要分割的人像的位置标注信息；
基于所述需要分割的人像的位置信息和所述需要分割的人像的位置标注信息，对所述图像分割神经网络进行训练，得到训练后图像分割神经网络。
7.根据权利要求5所述的全景深图像合成方法，其特征在于，将第一图像输入所述训练后图像分割神经网络进行图像分割，得到人像区域图像的步骤包括：
获取所述第一图像；
利用训练后图像分割神经网络获取第一图像中的至少一个人像所在的目标区域，并获取所述目标区域中的需要分割的人像的位置信息，基于所述人像的位置信息获得所述人像区域图像。
8.根据权利要求1所述的全景深图像合成方法，其特征在于，将所述人像区域图像与所述第二图像进行对齐融合，得到融合图像的步骤包括：
采用像素对齐算法，计算所述人像区域图像相对所述第二图像的偏移，在所述第二图像的对应像素上进行人像区域图像的像素替换，得到所述融合图像。
9.一种存储介质，其特征在于，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1-8任意一项全景深图像合成方法中的步骤。
10.一种智能手机，其特征在于，包括处理器，适于实现各指令；以及存储介质，适于存储多条指令，所述指令适于由处理器加载并执行权利要求1-7任意一项全景深图像合成方法中的步骤。
CN202110953450.2A 2021-08-19 2021-08-19 一种全景深图像合成方法、存储介质及智能手机 Active CN113824877B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202110953450.2A CN113824877B (zh) 2021-08-19 2021-08-19 一种全景深图像合成方法、存储介质及智能手机
PCT/CN2022/106869 WO2023020190A1 (zh) 2021-08-19 2022-07-20 一种全景深图像合成方法、存储介质及智能手机
US18/293,363 US20240331096A1 (en) 2021-08-19 2022-07-20 Panoramic depth image synthesis method, storage medium, and smartphone
EP22857503.1A EP4391520A1 (en) 2021-08-19 2022-07-20 All-in-focus image synthesis method, storage medium and smart phone

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110953450.2A CN113824877B (zh) 2021-08-19 2021-08-19 一种全景深图像合成方法、存储介质及智能手机

Publications (2)

Publication Number Publication Date
CN113824877A true CN113824877A (zh) 2021-12-21
CN113824877B CN113824877B (zh) 2023-04-28

Family

ID=78913288

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110953450.2A Active CN113824877B (zh) 2021-08-19 2021-08-19 一种全景深图像合成方法、存储介质及智能手机

Country Status (4)

Country Link
US (1) US20240331096A1 (zh)
EP (1) EP4391520A1 (zh)
CN (1) CN113824877B (zh)
WO (1) WO2023020190A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023020190A1 (zh) * 2021-08-19 2023-02-23 惠州Tcl云创科技有限公司 一种全景深图像合成方法、存储介质及智能手机

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120320238A1 (en) * 2011-06-14 2012-12-20 AmTRAN TECHNOLOGY Co. Ltd Image processing system, camera system and image capture and synthesis method thereof
CN104333703A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 使用双摄像头拍照的方法和终端
CN107392933A (zh) * 2017-07-12 2017-11-24 维沃移动通信有限公司 一种图像分割的方法及移动终端
CN108171743A (zh) * 2017-12-28 2018-06-15 努比亚技术有限公司 拍摄图像的方法、设备及计算机可存储介质
CN112085686A (zh) * 2020-08-21 2020-12-15 北京迈格威科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN112258528A (zh) * 2020-11-02 2021-01-22 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备
CN112532881A (zh) * 2020-11-26 2021-03-19 维沃移动通信有限公司 图像处理方法、装置和电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113824877B (zh) * 2021-08-19 2023-04-28 惠州Tcl云创科技有限公司 一种全景深图像合成方法、存储介质及智能手机

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120320238A1 (en) * 2011-06-14 2012-12-20 AmTRAN TECHNOLOGY Co. Ltd Image processing system, camera system and image capture and synthesis method thereof
CN104333703A (zh) * 2014-11-28 2015-02-04 广东欧珀移动通信有限公司 使用双摄像头拍照的方法和终端
CN107392933A (zh) * 2017-07-12 2017-11-24 维沃移动通信有限公司 一种图像分割的方法及移动终端
CN108171743A (zh) * 2017-12-28 2018-06-15 努比亚技术有限公司 拍摄图像的方法、设备及计算机可存储介质
CN112085686A (zh) * 2020-08-21 2020-12-15 北京迈格威科技有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN112258528A (zh) * 2020-11-02 2021-01-22 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备
CN112532881A (zh) * 2020-11-26 2021-03-19 维沃移动通信有限公司 图像处理方法、装置和电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023020190A1 (zh) * 2021-08-19 2023-02-23 惠州Tcl云创科技有限公司 一种全景深图像合成方法、存储介质及智能手机

Also Published As

Publication number Publication date
US20240331096A1 (en) 2024-10-03
CN113824877B (zh) 2023-04-28
WO2023020190A1 (zh) 2023-02-23
EP4391520A1 (en) 2024-06-26

Similar Documents

Publication Publication Date Title
CN110866480B (zh) 对象的跟踪方法及装置、存储介质、电子装置
CN109089047B (zh) 控制对焦的方法和装置、存储介质、电子设备
KR102169431B1 (ko) 이미지들의 시퀀스 중의 이미지에서의 객체 경계 안정화를 위한 이미지 처리 장치 및 방법
CN106899781B (zh) 一种图像处理方法及电子设备
CN105590309B (zh) 前景图像分割方法和装置
WO2016065991A1 (en) Methods and apparatus for controlling light field capture
CN107771391B (zh) 用于确定图像帧的曝光时间的方法和装置
WO2019221013A4 (en) Video stabilization method and apparatus and non-transitory computer-readable medium
US9992408B2 (en) Photographing processing method, device and computer storage medium
US20130329124A1 (en) Image processing apparatus and image processing method
EP3005286B1 (en) Image refocusing
CN110611768B (zh) 多重曝光摄影方法及装置
CN107610149B (zh) 图像分割结果边缘优化处理方法、装置及计算设备
CN102496147A (zh) 图像处理装置、图像处理方法和图像处理系统
CN113824877B (zh) 一种全景深图像合成方法、存储介质及智能手机
CN113610884A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN105467741A (zh) 一种全景拍照方法及终端
WO2018116322A1 (en) System and method for generating pan shots from videos
CN116456191A (zh) 图像生成方法、装置、设备及计算机可读存储介质
CN113395434B (zh) 一种预览图像虚化方法、存储介质及终端设备
CN111489418B (zh) 图像处理方法、装置、设备及计算机可读存储介质
WO2019000427A1 (zh) 一种图像处理方法、装置及电子设备
CN106713726A (zh) 一种识别拍摄方式的方法和装置
CN112492211A (zh) 一种拍摄方法、电子设备及存储介质
CN105095849A (zh) 对象识别方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant