CN105100579A - 一种图像数据的采集处理方法及相关装置 - Google Patents

一种图像数据的采集处理方法及相关装置 Download PDF

Info

Publication number
CN105100579A
CN105100579A CN201410195438.XA CN201410195438A CN105100579A CN 105100579 A CN105100579 A CN 105100579A CN 201410195438 A CN201410195438 A CN 201410195438A CN 105100579 A CN105100579 A CN 105100579A
Authority
CN
China
Prior art keywords
image
collection
focusing
human face
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410195438.XA
Other languages
English (en)
Other versions
CN105100579B (zh
Inventor
张雷
谢清鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201410195438.XA priority Critical patent/CN105100579B/zh
Priority to PCT/CN2015/076379 priority patent/WO2015169137A1/zh
Publication of CN105100579A publication Critical patent/CN105100579A/zh
Priority to US15/289,582 priority patent/US9905031B2/en
Application granted granted Critical
Publication of CN105100579B publication Critical patent/CN105100579B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明实施例公开了一种图像数据的处理方法，包括：获取至少两张采集图像，获取的每张采集图像的采集对焦点各不相同；获取对焦采集参数，根据对焦采集参数对采集图像进行融合，得到融合后的图像；对融合后的图像进行联合编码并输出；其中当根据对焦采集参数对采集图像进行配准映射裁剪以及融合时，通过分析采集图像的运动信息修正掩膜图像，根据修正后的掩膜图像来选择图像进行图像融合；运动信息包括在所述采集图像之间发生物体运动的运动轨迹构成的连通的运动物体区域；修正后的掩膜图像包括对采集图像进行序号标记后在连通的运动物体区域中各个像素点选择的采集图像的序号。采用本发明，实现了对图像进行高效高质量的处理。

Description

一种图像数据的采集处理方法及相关装置
技术领域
本发明涉及图像处理领域，尤其涉及一种图像数据的采集处理方法及相关装置。
背景技术
随着信息技术的不断发展，电子终端(如手机、相机等)开始支持图像处理，利用电子终端进行拍照可谓是无所不在，但在拍照过程中，对有不同景深的场景，只能选择对某一景深对焦采集，这样就会使得其它区域相对模糊。现有技术中可以利用摄像头采集不同景深图像，然后根据图像处理的相关方法进行图像融合，从而可在显示端得到全清晰图像。
例如，现有技术中从一组多焦距照片中选出一幅复制为目标照片，然后比较该组多焦距照片中的其他照片与目标照片相同位置像素点的清晰度，用清晰度最高的像素点替换目标照片中相同位置的像素点。该技术方案仅描述了采集后用最清晰的像素点来进行替换的融合策略，且只适用于对静止图像的处理。
又如，现有技术中公开的申请号为201010507977.4的一种基于差分图修正的像素级多聚焦图像融合方法，首先对待融合图像进行下采样，并计算待融合下采样图像的空间频率，然后通过比较空间频率的大小得到初始融合图像；接着对初始融合图像与待融合下采样图像的差分图像进行两次修正，第一次修正使用中值滤波，用于消除选择错误的孤立像素，第二次修正则通过计算各区域的面积进行区域的合并，最后对两次修正后得到的修正图进行插值放大，得到最终的标记图，依据该标记图即可得到融合图像。该技术方案需要对图像进行下采样，融合后还需要进行插值处理，而且也只适用于对静止图像的处理。
现有技术中电子终端的图像处理方法要么过于简单造成图像处理效果差，要么过于复杂使得图像处理效率低下，且往往只适用于对静止图像的处理；如何在电子终端高效高质量地进行图像处理得到用户所需的清晰图像，是人们一直关注的热点问题。
发明内容
本发明实施例所要解决的技术问题在于，提供一种图像数据的采集处理方法、一种图像数据的处理方法、一种图像数据的采集处理装置以及一种图像数据的处理装置，解决了运动物体场景融合问题，实现了对图像进行高效高质量的处理。
第一方面，本发明实施例提供了一种图像数据的处理方法，包括：
获取至少两张采集图像，其中获取的每张采集图像的采集对焦点各不相同；
获取对焦采集参数，根据所述对焦采集参数对采集图像进行融合，得到融合后的图像；对所述融合后的图像进行联合编码并输出；
其中，当根据所述对焦采集参数对所述采集图像进行配准映射裁剪以及融合时，通过分析所述采集图像的运动信息修正掩膜图像，根据修正后的掩膜图像来选择图像进行图像融合；
所述运动信息包括在所述采集图像之间发生物体运动的运动轨迹构成的连通的运动物体区域；所述修正后的掩膜图像包括对所述采集图像进行序号标记后在所述连通的运动物体区域中各个像素点选择的采集图像的序号。
结合第一方面，在第一种可能的实现方式中，所述获取至少两张采集图像包括：
设置图像场景的对焦点个数为M个，M为大于1的自然数；
检测图像场景的人脸区域，得到L个人脸区域，L为零或正整数；
若M等于L，则选择所述L个人脸区域作为对焦点对所述图像场景进行对焦采集；
若M大于L，则选择所述L个人脸区域以及M减L个感兴趣区域作为对焦点对所述图像场景进行对焦采集；
若M小于L，则分析所述L个人脸区域的面积大小，从所述L个人脸区域中按照先选择面积最大后选择面积最小的人脸区域的顺序，选择人脸区域作为对焦点，并排除已被选择的人脸区域重复执行本步骤，直至选择完M个人脸区域作为对焦点对所述图像场景进行对焦采集。
结合第一方面，在第二种可能的实现方式中，所述获取至少两张采集图像包括：
设置图像场景的对焦点个数为M个，M为大于1的自然数，且M小于等于摄像头采集图像过程中获得的视频帧数；
将所述图像场景划分为A个区域，A为正整数；
检测图像场景的人脸区域，得到L个人脸区域，L为零或正整数；
若M等于L，则选择所述L个人脸区域作为对焦点对所述图像场景进行对焦采集；
若M小于L，则分析所述L个人脸区域的面积大小，从所述L个人脸区域中按照先选择面积最大后选择面积最小的人脸区域的顺序，选择人脸区域作为对焦点，并排除已被选择的人脸区域重复执行本步骤，直至选择完M个人脸区域作为对焦点对所述图像场景进行对焦采集；
若M大于L，则选择所述L个人脸区域作为对焦点，并根据所述A个区域在每帧视频中的最清晰区域面积的大小，从大到小选取所述A个区域中的M减L个作为对焦点，对所述图像场景进行对焦采集；其中所述最清晰区域面积包括信噪比最大、或梯度最大、或直流量最大的区域面积。
结合第一方面，在第三种可能的实现方式中，所述融合后的图像包括以下至少一项：所述采集图像、对所述采集图像进行配准映射裁剪后的处理图像、或对所述采集图像进行配准映射裁剪以及融合后的融合图像；
所述根据所述对焦采集参数对采集图像进行融合包括：
根据所述对焦采集参数判断是否对采集图像进行融合；
当判断结果为否时，则根据所述采集图像的采集成功数量，从所述采集图像中选取一张图像；当判断结果为是时，对所述采集图像进行配准映射裁剪处理得到处理图像，或者对所述采集图像进行配准映射裁剪以及融合得到融合图像。
结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述根据所述采集图像的采集成功数量，从所述采集图像中选取一张图像包括：
若所述采集图像的采集成功数量为1，则从所述采集图像中选取对焦采集成功的图像；
若所述采集图像的采集成功数量不为1，则从所述采集图像中选取信噪比最大、或梯度最大、或直流量最大的图像。
结合第一方面的第三种可能的实现方式，在第五种可能的实现方式中，所述对焦采集参数包括每张采集图像从对焦起始至对焦结束的时间值，所述根据所述对焦采集参数判断是否对所述采集图像进行融合包括：
将所述时间值按照大小进行排序，当依次从小到大的相邻两个时间值之差的绝对值大于预设阈值，则判断出需要将所述两个时间值对应的采集图像进行融合；当依次从小到大的相邻两个时间值之差的绝对值不大于预设阈值，则判断出不需要将所述两个时间值对应的采集图像进行融合，并舍弃所述两个时间值中较大的时间值，重复执行本步骤直至判断出所有需要进行融合的采集图像。
结合第一方面的第三种可能的实现方式，在第六种可能的实现方式中，所述对焦采集参数包括每张采集图像从对焦起始至对焦结束的镜头拉伸长度值，所述根据所述对焦采集参数判断是否对所述采集图像进行融合包括：
将所述长度值按照大小进行排序，当依次从小到大的相邻两个长度值之差的绝对值大于预设阈值，则判断出需要将所述两个长度值对应的采集图像进行融合；当依次从小到大的相邻两个长度值之差的绝对值不大于预设阈值，则判断出不需要将所述两个长度值对应的采集图像进行融合，并舍弃所述两个长度值中较大的时间值，重复执行本步骤直至判断出所有需要进行融合的采集图像。
结合第一方面的第三种可能的实现方式，在第七种可能的实现方式中，所述对所述采集图像进行配准映射裁剪处理包括：
将获取的所有采集图像按照第一图像进行配准处理；所述第一图像为获取的所有采集图像中的一张图像；
对配准处理后的所有采集图像进行映射处理，得到映射图像；
将得到的所有映射图像及所述第一图像进行裁剪处理。
结合第一方面的第三种可能的实现方式，在第八种可能的实现方式中，所述对所述融合后的图像进行联合编码并输出包括：
对所述融合后的图像进行联合编码；
接收显示区域选择指令，并根据所述显示区域选择指令选择的区域，获取需要解码显示的图像；
对所述获取需要解码显示的图像进行解码显示。
结合第一方面的第八种可能的实现方式，在第九种可能的实现方式中，所述根据所述显示区域选择指令选择的区域，获取需要解码显示的图像包括：
从采集图像的对焦点中查找出最接近所述显示区域选择指令选择的区域的对焦点；
获取根据所述查找出的对焦点进行对焦采集并进行图像配准映射裁剪处理后联合编码的图像，或者获取根据所述查找出的对焦点进行对焦采集并进行图像配准映射裁剪以及融合后联合编码的图像，作为需要解码显示的图像。
结合第一方面，或者第一方面的第一种可能的实现方式，或者第一方面的第二种可能的实现方式，或者第一方面的第三种可能的实现方式，或者第一方面的第四种可能的实现方式，或者第一方面的第五种可能的实现方式，或者第一方面的第六种可能的实现方式，或者第一方面的第七种可能的实现方式，或者第一方面的第八种可能的实现方式，或者第一方面的第九种可能的实现方式，在第十种可能的实现方式中，所述对所述采集图像进行配准映射裁剪以及融合包括：
将获取的所有采集图像按照第一图像进行配准处理；所述第一图像为获取的所有采集图像中的一张图像；
对配准处理后的所有采集图像进行映射处理，得到映射图像；
将得到的所有映射图像及所述第一图像进行裁剪处理；
将裁剪处理后的图像进行转换，得到灰度图像，并进行平滑去噪；
对所述灰度图像进行联合分割物体，并标记各个区域，通过统计各区域梯度信息生成掩膜图像；
根据所述掩膜图像对各个区域梯度最大的处理图像进行平滑去噪，计算得到各个处理图像之间的差分图像，并根据所述差分图像标记出运动物体区域；
根据在连通的运动物体区域中对应的掩膜图像选择比例来修正所述掩膜图像；所述掩膜图像选择比例具体为在所述连通的运动物体区域中掩膜图像选择的不同图像的面积各自占所述连通的运动物体区域总面积的比例；
根据修正后的所述掩膜图像来选择图像进行图像融合。
结合第一方面的第十种可能的实现方式，在第十一种可能的实现方式中，所述根据在连通的运动物体区域中对应的掩膜图像选择比例来修正所述掩膜图像包括：
当检测出连通的运动物体区域中对应的掩膜图像选择比例都小于预设阈值，则选取所述掩膜图像选择比例中的最大比例所对应的图像来修正所述掩膜图像。
第二方面，本发明实施例提供了一种图像数据的处理装置，包括：
图像获取模块，用于获取至少两张采集图像，其中获取的每张采集图像的采集对焦点各不相同；
图像融合模块，用于获取对焦采集参数，根据所述对焦采集参数对采集图像进行融合，得到融合后的图像；
编码输出模块，用于对所述融合后的图像进行联合编码并输出；
其中，当所述图像融合模块根据所述对焦采集参数对所述采集图像进行配准映射裁剪以及融合时，通过分析所述采集图像的运动信息修正掩膜图像，根据修正后的掩膜图像来选择图像进行图像融合；
所述运动信息包括在所述采集图像之间发生物体运动的运动轨迹构成的连通的运动物体区域；所述修正后的掩膜图像包括对所述采集图像进行序号标记后在所述连通的运动物体区域中各个像素点选择的采集图像的序号。
结合第二方面，在第一种可能的实现方式中，所述图像获取模块包括：
对焦点个数第一设置单元，用于设置图像场景的对焦点个数为M个，M为大于1的自然数；
人脸区域第一检测单元，用于检测图像场景的人脸区域，得到L个人脸区域，L为零或正整数；
第一对焦采集单元，用于若M等于L，则选择所述L个人脸区域作为对焦点对所述图像场景进行对焦采集；若M大于L，则选择所述L个人脸区域以及M减L个感兴趣区域作为对焦点对所述图像场景进行对焦采集；若M小于L，则分析所述L个人脸区域的面积大小，从所述L个人脸区域中按照先选择面积最大后选择面积最小的人脸区域的顺序，选择人脸区域作为对焦点，并排除已被选择的人脸区域重复执行本步骤，直至选择完M个人脸区域作为对焦点对所述图像场景进行对焦采集。
结合第二方面，在第二种可能的实现方式中，所述图像获取模块包括：
对焦点个数第二设置单元，用于设置图像场景的对焦点个数为M个，M为大于1的自然数，且M小于等于摄像头采集图像过程中获得的视频帧数；
区域划分单元，用于将所述图像场景划分为A个区域，A为自然数；
人脸区域第二检测单元，用于检测图像场景的人脸区域，得到L个人脸区域，L为零或正整数；
第二对焦采集单元，用于若M等于L，则选择所述L个人脸区域作为对焦点对所述图像场景进行对焦采集；若M小于L，则分析所述L个人脸区域的面积大小，从所述L个人脸区域中按照先选择面积最大后选择面积最小的人脸区域的顺序，选择人脸区域作为对焦点，并排除已被选择的人脸区域重复执行本步骤，直至选择完M个人脸区域作为对焦点对所述图像场景进行对焦采集；若M大于L，则选择所述L个人脸区域作为对焦点，并根据所述A个区域在每帧视频中的最清晰区域面积的大小，从大到小选取所述A个区域中的M减L个作为对焦点，对所述图像场景进行对焦采集；其中所述最清晰区域面积包括信噪比最大、或梯度最大、或直流量最大的区域面积。
结合第二方面，在第三种可能的实现方式中，所述融合后的图像包括以下至少一项：所述采集图像、对所述采集图像进行配准映射裁剪后的处理图像、或对所述采集图像进行配准映射裁剪以及融合后的融合图像；
所述图像融合模块包括：
融合判断单元，用于根据所述对焦采集参数判断是否对采集图像进行融合；
融合判断第一处理单元，用于当判断结果为否时，则根据所述采集图像的采集成功数量，从所述采集图像中选取一张图像；
融合判断第二处理单元，用于当判断结果为是时，对所述采集图像进行配准映射裁剪处理得到处理图像，或者对所述采集图像进行配准映射裁剪以及融合得到融合图像。
结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述融合判断第一处理单元包括：
第一选取子单元，用于若所述采集图像的采集成功数量为1，则从所述采集图像中选取对焦采集成功的图像；
第二选取子单元，用于若所述采集图像的采集成功数量不为1，则从所述采集图像中选取信噪比最大、或梯度最大、或直流量最大的图像。
结合第二方面的第三种可能的实现方式，在第五种可能的实现方式中，所述对焦采集参数包括每张采集图像从对焦起始至对焦结束的时间值，所述融合判断单元具体用于：
将所述时间值按照大小进行排序，当依次从小到大的相邻两个时间值之差的绝对值大于预设阈值，则判断出需要将所述两个时间值对应的采集图像进行融合；当依次从小到大的相邻两个时间值之差的绝对值不大于预设阈值，则判断出不需要将所述两个时间值对应的采集图像进行融合，并舍弃所述两个时间值中较大的时间值，重复执行本步骤直至判断出所有需要进行融合的采集图像。
结合第二方面的第三种可能的实现方式，在第六种可能的实现方式中，所述对焦采集参数包括每张采集图像从对焦起始至对焦结束的镜头拉伸长度值，所述融合判断单元具体用于：
将所述长度值按照大小进行排序，当依次从小到大的相邻两个长度值之差的绝对值大于预设阈值，则判断出需要将所述两个长度值对应的采集图像进行融合；当依次从小到大的相邻两个长度值之差的绝对值不大于预设阈值，则判断出不需要将所述两个长度值对应的采集图像进行融合，并舍弃所述两个长度值中较大的时间值，重复执行本步骤直至判断出所有需要进行融合的采集图像。
结合第二方面的第三种可能的实现方式，在第七种可能的实现方式中，所述融合判断第二处理单元包括配准映射裁剪子单元，用于对所述采集图像进行配准映射裁剪处理得到处理图像；
所述配准映射裁剪子单元包括：
第一配准处理子单元，用于将所述图像获取模块获取的所有采集图像按照第一图像进行配准处理；所述第一图像为所述所有采集图像中的一张图像；
第一映射处理子单元，用于对配准处理后的所有采集图像进行映射处理，得到映射图像；
第一裁剪处理子单元，用于将得到的所有映射图像及所述第一图像进行裁剪处理。
结合第二方面的第三种可能的实现方式，在第八种可能的实现方式中，所述编码输出模块包括：
联合编码单元，用于对所述融合后的图像进行联合编码；
选择指令接收单元，用于接收显示区域选择指令，并根据所述显示区域选择指令选择的区域，获取需要解码显示的图像；
解码显示单元，用于对所述获取需要解码显示的图像进行解码显示。
结合第二方面的第八种可能的实现方式，在第九种可能的实现方式中，所述选择指令接收单元包括：
对焦点查找子单元，用于从采集图像的对焦点中查找出最接近所述显示区域选择指令选择的区域的对焦点；
图像获取子单元，用于获取根据所述查找出的对焦点进行对焦采集并进行图像配准映射裁剪处理后联合编码的图像，或者获取根据所述查找出的对焦点进行对焦采集并进行图像配准映射裁剪以及融合后联合编码的图像，作为需要解码显示的图像。
结合第二方面，或者第二方面的第一种可能的实现方式，或者第二方面的第二种可能的实现方式，或者第二方面的第三种可能的实现方式，或者第二方面的第四种可能的实现方式，或者第二方面的第五种可能的实现方式，或者第二方面的第六种可能的实现方式，或者第二方面的第七种可能的实现方式，或者第二方面的第八种可能的实现方式，或者第二方面的第九种可能的实现方式，在第十种可能的实现方式中，所述图像融合模块包括：
第二配准处理单元，用于将所述图像获取模块获取的所有采集图像按照第一图像进行配准处理；所述第一图像为所述所有采集图像中的一张图像；
第二映射处理单元，用于对配准处理后的所有采集图像进行映射处理，得到映射图像；
第二裁剪处理单元，用于将得到的所有映射图像及所述第一图像进行裁剪处理；
转换去噪单元，用于将所述第二裁剪处理单元裁剪处理后的图像进行转换，得到灰度图像，并进行平滑去噪；
掩膜图像生成单元，用于对所述灰度图像进行联合分割物体，并标记各个区域，通过统计各区域梯度信息生成掩膜图像；
运动区域标记单元，用于根据所述掩膜图像对各个区域梯度最大的处理图像进行平滑去噪，计算得到各个处理图像之间的差分图像，并根据所述差分图像标记出运动物体区域；
修正单元，用于根据在连通的运动物体区域中对应的掩膜图像选择比例来修正所述掩膜图像；所述掩膜图像选择比例具体为在所述连通的运动物体区域中掩膜图像选择的不同图像的面积各自占所述连通的运动物体区域总面积的比例；
融合单元，用于根据修正后的所述掩膜图像来选择图像进行图像融合。
结合第二方面的第十种可能的实现方式，在第十一种可能的实现方式中，所述修正单元具体用于，当检测出连通的运动物体区域中对应的掩膜图像选择比例都小于预设阈值，则选取所述掩膜图像选择比例中的最大比例所对应的图像来修正所述掩膜图像。
通过实施本发明实施例，根据对焦采集参数对采集图像进行融合，并当根据所述对焦采集参数对所述采集图像进行配准映射裁剪以及融合时，通过分析所述采集图像的运动信息修正掩膜图像，根据修正后的掩膜图像来选择图像进行图像融合，解决了运动物体场景融合问题，实现了对图像进行高效高质量的处理；还可以解决现有技术中电子终端的图像处理方法要么过于简单造成图像处理效果差，要么过于复杂使得图像处理效率低下的问题；而且还实现了自动或手动选择多个对焦点进行对焦采集，并根据用户需求解码显示部分或全部图像区域，大大提高了电子终端图像处理能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的图像数据的处理方法的流程示意图；
图2是本发明提供的对焦采集方法的流程示意图；
图3是本发明提供的对焦采集方法的另一实施例的流程示意图；
图4是本发明提供的对焦采集方法的另一实施例的流程示意图；
图5是本发明提供的图像融合并联合编码的流程示意图；
图6是本发明提供的图像融合并联合编码的另一实施例的流程示意图；
图7是本发明提供的图像融合并联合编码的另一实施例的流程示意图；
图8是本发明提供的图像融合处理的流程示意图；
图9是本发明实施例提供的运动图像融合处理的效果示意图；
图10是本发明实施例提供的运动图像融合处理的另一实施例的效果示意图；
图11是本发明提供的图像数据的处理装置的结构示意图；
图12是本发明提供的图像获取模块的结构示意图；
图13是本发明提供的图像获取模块的另一实施例的结构示意图；
图14是本发明提供的图像融合模块的结构示意图；
图15是本发明提供的融合判断第一处理单元的结构示意图；
图16是本发明提供的配准映射裁剪子单元的结构示意图；
图17是本发明提供的编码输出模块的结构示意图；
图18是本发明提供的选择指令接收单元的结构示意图；
图19是本发明提供的图像融合模块的另一实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
参见图1，是本发明提供的图像数据的处理方法的流程示意图，该方法包括：
步骤S100：获取至少两张采集图像，其中获取的每张采集图像的采集对焦点各不相同；
具体地，可以通过接收对端电子终端发送的采集图像来获取该至少两张采集图像，也可以通过本端电子终端对图像进行采集来获取该至少两张采集图像。
步骤S102：获取对焦采集参数，根据所述对焦采集参数对采集图像进行融合，得到融合后的图像；其中，当根据所述对焦采集参数对所述采集图像进行配准映射裁剪以及融合时，通过分析所述采集图像的运动信息修正掩膜图像，根据修正后的掩膜图像来选择图像进行图像融合；
具体地，所述运动信息包括在所述采集图像之间发生物体运动的运动轨迹构成的连通的运动物体区域；所述修正后的掩膜图像包括对所述采集图像进行序号标记后在所述连通的运动物体区域中各个像素点选择的采集图像的序号。再详细地，对所述采集图像进行配准映射裁剪以及融合时，先生成掩膜图像，该掩膜图像与融合图像时输入的图像大小相同，其每个像素点的值采集图像的序号，然后再标记出在所述采集图像之间发生物体运动的运动轨迹构成的连通的运动物体区域，并在该连通的运动物体区域中修正对应位置的掩膜图像每个像素值。
步骤S104：对所述融合后的图像进行联合编码并输出。
具体地，对联合编码后的图像进行输出包括以下至少一项处理：显示、存储、或传输。
通过实施本发明实施例，根据对焦采集参数对采集图像进行融合，并当根据所述对焦采集参数对所述采集图像进行配准映射裁剪以及融合时，通过分析所述采集图像的运动信息修正掩膜图像，根据修正后的掩膜图像来选择图像进行图像融合，解决了运动物体场景融合问题，实现了对图像进行高效高质量的处理，提高了电子终端图像处理能力。
进一步地，步骤S100中当通过本端电子终端对图像进行采集来获取该至少两张采集图像时，可以具体为：
确定图像场景的至少两个区域，将所述确定的至少两个区域作为对焦点对所述图像场景进行对焦采集；详细地，本发明电子终端可以在显示预览窗口内自动或者用户手动地确定要拍摄的图像场景的至少两个区域，然后依次将确定的至少两个区域作为对焦点进行图像对焦采集，并记录对焦采集参数。
当电子终端自动确认至少两个区域作为对焦点，可以通过下面图2至图4任一个实施例来实现，或者结合图2实施例与图4实施例，或者结合图3实施例与图4实施例来实现：
如图2示出的本发明提供的对焦采集方法的流程示意图，包括：
步骤S200：设置图像场景的对焦点个数为M个，M为大于1的自然数；
具体地，电子终端可以根据默认方案设置M个对焦点，如根据实际的图像场景自动检测来设置M个对焦点；或者用户手动自定义M个对焦点。
步骤S202：检测图像场景的人脸区域，得到L个人脸区域，L为零或正整数；
具体地，本发明各个实施例中的人脸区域可以具体包括人脸面部区域，或人体肢体区域等。
步骤S204：若M等于L，则选择所述L个人脸区域作为对焦点对所述图像场景进行对焦采集；
步骤S206：若M大于L，则选择所述L个人脸区域以及M减L个感兴趣区域作为对焦点对所述图像场景进行对焦采集；
具体地，M减L个感兴趣区域可以用户手动选取的L个人脸区域外的其它感兴趣区域，或者是电子终端自动识别出的纹理最大区域，或特定训练场景区域等。
步骤S208：若M小于L，则分析所述L个人脸区域的面积大小，从所述L个人脸区域中按照先选择面积最大后选择面积最小的人脸区域的顺序，选择人脸区域作为对焦点，并排除已被选择的人脸区域重复执行本步骤，直至选择完M个人脸区域作为对焦点对所述图像场景进行对焦采集。
具体地，例如设置的对焦点个数M为5，检测的人脸区域L为8，那么先选择人脸区域面积最大的区域和面积最小的区域作为对焦点，再选择面积第二大的区域和面积第二小的区域作为对焦点，再选择面积第三大的区域作为对焦点，即可选择出5个对焦点对所述图像场景进行对焦采集。
如图3示出的本发明提供的对焦采集方法的另一实施例的流程示意图，包括：
步骤S300：设置图像场景的对焦点个数为M个，M为大于1的自然数，且M小于等于摄像头采集图像过程中获得的视频帧数；
具体地，电子终端摄像头在采集对焦时从远景到近景拉伸的过程中需要采集N帧视频数据，N为自然数，N具体由对焦时间和采集数据的速度决定；那么设置的对焦点个数M需要小于等于N。
步骤S302：将所述图像场景划分为A个区域，A为正整数；
具体地，电子终端可以根据图像场景的内容进行划分区域，但不限于根据图像场景的内容来划分，也可以根据其他的条件划分区域；还可以标记A个区域中各个区域在N帧视频中最清晰(如梯度最大)像素的归属帧号0,…N-1。
步骤S304：检测图像场景的人脸区域，得到L个人脸区域，L为零或正整数；
具体地，选择N帧图像中的至少一张图像进行人脸检测；更详细地，如果该检测出的L个人脸区域中存在n个相同的归属帧号，n为自然数，则将L值减n并保存更新L值。
步骤S306：若M等于L，则选择所述L个人脸区域作为对焦点对所述图像场景进行对焦采集；
步骤S308：若M小于L，则分析所述L个人脸区域的面积大小，从所述L个人脸区域中按照先选择面积最大后选择面积最小的人脸区域的顺序，选择人脸区域作为对焦点，并排除已被选择的人脸区域重复执行本步骤，直至选择完M个人脸区域作为对焦点对所述图像场景进行对焦采集；
具体地，可以参考图2实施例中的步骤S208，这里不再赘述。
步骤S310：若M大于L，则选择所述L个人脸区域作为对焦点，并根据所述A个区域在每帧视频中的最清晰区域面积的大小，从大到小选取所述A个区域中的M减L个作为对焦点，对所述图像场景进行对焦采集；其中所述最清晰区域面积包括信噪比最大、或梯度最大、或直流量最大的区域面积。
具体地，可以通过计算A个区域在视频数据每帧中为最清晰区域的面积占单帧图像面积比例R，R值最大对应的区域即为A个区域在每帧视频中的最清晰区域面积最大的区域，从大到小选取R值对应的M-L个区域作为对焦点，对所述图像场景进行对焦采集。
如图4示出的本发明提供的对焦采集方法的另一实施例的流程示意图，包括：
步骤S400：接收对焦区域选择指令；
具体地，用户可以通过电子终端的显示屏手动选取需要进行对焦采集的区域，电子终端接收到用户输入的对焦区域选择指令。
步骤S402：根据所述对焦区域选择指令确定图像场景的至少两个区域；
步骤S404：将所述确定的至少两个区域作为对焦点对所述图像场景进行对焦采集。
需要说明的是，本发明图1实施例步骤S100不限于上述实施方式，还可以通过采集图像场景下所有不同深度信息的预览图像(该预览图像即电子终端在拍摄图像之前的取景过程中所得到的图像，)，然后根据所述预览图像分析确定至少两个区域作为对焦点对所述图像场景进行对焦采集。
再进一步地，本发明实施例中融合后的图像包括以下至少一项：所述采集图像、对所述采集图像进行配准映射裁剪后的处理图像、或对所述采集图像进行配准映射裁剪以及融合后的融合图像；
可理解的，上述实施例的步骤S102中根据对焦采集参数对采集图像进行融合可以包括以下至少一项：根据对焦采集参数选取采集图像；或者根据对焦采集参数对采集图像进行配准映射裁剪处理；或者根据对焦采集参数对采集图像进行配准映射裁剪以及融合处理；
具体地，所述对焦采集参数包括以下至少一项：每张采集图像从对焦起始至对焦结束的时间值、每张采集图像从对焦起始至对焦结束的镜头拉伸长度值、或每张采集图像对焦拍摄时深度传感器的参数信息；可理解地，该镜头拉伸长度值即镜头与光传感器之间的距离。
详细地，假如采集了三张不同对焦点的图像，那么该对焦采集参数可以为该3张采集图像中每张采集图像各自从对焦起始至对焦结束的时间值，即，电子终端对每张采集图像进行采集分析时从对焦分析开始至对焦分析结束的时长；可以理解的是，对焦分析结束后可以根据设定进行拍摄，或者等待用户输入的拍摄指令进行拍摄；
或者该对焦采集参数可以为3张采集图像中每张采集图像各自从对焦起始至对焦结束的镜头拉伸长度值，即，电子终端对每张采集图像进行采集分析时，对焦分析开始时对应的镜头与光传感器之间的距离值与对焦分析结束时对应的镜头与光传感器之间的距离值的差值，即为每张采集图像从对焦起始至对焦结束的镜头拉伸长度值。
再具体地，上述实施例的步骤S102可以包括：根据所述对焦采集参数判断是否对采集图像进行融合；当判断结果为否时，则根据所述采集图像的采集成功数量，从所述采集图像中选取一张图像；当判断结果为是时，对所述采集图像进行配准映射裁剪处理得到处理图像，或者对所述采集图像进行配准映射裁剪以及融合得到融合图像。
具体地，上述根据所述对焦采集参数判断是否对采集图像进行融合的步骤，可以通过以下三种方案中任意一种或者多种结合来实现：
方案1，该对焦采集参数包括每张采集图像从对焦起始至对焦结束的时间值，那么将所述时间值按照大小进行排序，当依次从小到大的相邻两个时间值之差的绝对值大于预设阈值，则判断出需要将所述两个时间值对应的采集图像进行融合；当依次从小到大的相邻两个时间值之差的绝对值不大于预设阈值，则判断出不需要将所述两个时间值对应的采集图像进行融合，并舍弃所述两个时间值中较大的时间值，重复执行本步骤直至判断出所有需要进行融合的采集图像；
具体地，例如已拍摄了M个对焦点的图像Ii(i＝0,…M-1)，获取到每张采集图像从对焦起始至对焦结束的时间值为ti(i＝0,…M-1)，若abs(ti-tj)>T，其中i＝0,…M-1；j＝0,…M-1；T为预设阈值(T可以根据实际设备进行设置)，则需要融合图像Ii、Ij，根据上述方法找出所有需要进行融合的图像，然后进行融合；再详细地，假设拍摄了3个对焦点的图像，abs(t1-t0)>T，则图像I1、I0需要进行融合；abs(t2-t1)<T，则图像I2、I1不需要进行融合；abs(t3-t1)>T，则图像I3、I1需要进行融合；那么，图像I3、I1和I0需要进行融合。
方案2，该对焦采集参数包括每张采集图像从对焦起始至对焦结束的镜头拉伸长度值，那么将所述长度值按照大小进行排序，当依次从小到大的相邻两个长度值之差的绝对值大于预设阈值，则判断出需要将所述两个长度值对应的采集图像进行融合；当依次从小到大的相邻两个长度值之差的绝对值不大于预设阈值，则判断出不需要将所述两个长度值对应的采集图像进行融合，并舍弃所述两个长度值中较大的时间值，重复执行本步骤直至判断出所有需要进行融合的采集图像；
具体地，例如已拍摄了M个对焦点的图像Ii(i＝0,…M-1)，获取到每张采集图像从对焦起始至对焦结束的镜头拉伸位置为pi(i＝0,…M-1)，若dbs(pi-pj)>D，其中i＝0,…M-1；j＝0,…M-1；D为预设阈值(D可以根据实际设备进行设置)，则需要融合图像Ii、Ij，根据上述方法找出所有需要进行融合的图像，然后进行融合；再详细地，假设拍摄了3个对焦点的图像，dbs(p1-p0)>D，则图像I1、I0需要进行融合；dbs(p2-p1)<D，则图像I2、I1不需要进行融合；dbs(p3-p1)>D，则图像I3、I1需要进行融合；那么，图像I3、I1和I0需要进行融合。
方案3，该对焦采集参数包括每张采集图像对焦拍摄时深度传感器的参数信息，那么根据每张采集图像对焦拍摄时深度传感器的参数信息进行融合判断；具体地，根据深度传感器，计算出不同采集图像对焦位置的深度信息，与方案2中根据镜头拉伸位置大小来进行融合判断类似，这里不再赘述。
进一步地，本发明经过根据所述对焦采集参数判断是否对采集图像进行融合后，可以有三种融合并联合编码处理方式，下面结合图5至图7来进行详细说明：
如图5示出的本发明提供的图像融合并联合编码的流程示意图，包括：
步骤S500：当根据所述对焦采集参数判断出不对采集图像进行融合时，根据所述采集图像的采集成功数量，从所述采集图像中选取一张图像；
具体地：若对焦采集图像时的采集成功个数为1，则选取对焦采集成功的图像；若对焦采集图像时的采集成功个数不为1，则选取信噪比最大、或梯度最大、或直流量最大的图像。
即，若不需要进行图像融合处理时，可以选取一张最佳图像进行后续的联合编码处理。
步骤S502：对选取的采集图像进行联合编码。
如图6示出的本发明提供的图像融合并联合编码的另一实施例的流程示意图，包括：
步骤S600：当根据所述对焦采集参数判断出对采集图像进行融合时，对所述采集图像进行配准映射裁剪处理得到处理图像；
具体地，将获取的所有采集图像按照第一图像进行配准处理；所述第一图像为获取的所有采集图像中的一张图像；对配准处理后的所有采集图像进行映射处理，得到映射图像；将得到的所有映射图像及所述第一图像进行裁剪处理。详细地，
图像配准可以采用现有技术SIFT(ScaleInvariantFeatureTransform)算法，或SURF(Speeded-upRobustFeatures)算法，或角点检测，提取图像特征点，再进行匹配；
对配准处理后所有图像进行映射处理，映射时按矩形图像映射，对没有映射到的区域填充黑色像素；图像映射可采用现有技术的RANSAC(RandomSampleConsensus)算法计算单应性矩阵，并以一个图像为坐标基准，将其它图像按照单应性矩阵映射为同一平面坐标系；
将所有映射图像及该第一图像，按相同面积进行裁剪处理，该面积为所有图像待裁剪后的最小矩形面积(这个面积是指图像中非填充区域的最大矩形面积)。
步骤S602：对配准映射裁剪处理后的图像进行联合编码。
如图7示出的本发明提供的图像融合并联合编码的另一实施例的流程示意图，包括：
步骤S700：当根据所述对焦采集参数判断出对采集图像进行融合时，对所述采集图像进行配准映射裁剪以及融合得到融合图像；
步骤S702：将得到的融合图像进行融合编码。
具体地，步骤S700中将采集图像进行配准映射裁剪可参考图6实施例中的步骤S600，这里不再赘述；将配准映射裁剪处理后的图像进行融合处理可参考图8示出的本发明提供的图像融合处理的流程示意图，包括：
步骤S800：将所述裁剪处理后的图像进行转换，得到灰度图像，并进行平滑去噪；
具体地，假设有m张裁剪处理后的彩色图像I1，I2…Im需要进行图像融合处理；将彩色图像I1，I2…Im进行转换，得到灰度图像I1，I2…Im；该平滑去噪可以但不限于通过高斯平滑滤波来进行。
步骤S802：对所述灰度图像进行联合分割物体，并标记各个区域，通过统计各区域梯度信息生成掩膜图像，并进行滤波处理；
具体地，将灰度图像I1，I2…Im进行联合分割物体，并标记各区域，具体为统计各图像基于块大小的灰度值bm,n，其中m，n为块标号，blkSizeX为块的宽度值，blkSizeY为块的高度值，再进行中值滤波median，得到b′m,n，然后联合所有图像的中值滤波结果进行量化为Bm,n，其中，M为图像总数，k为图像标号，量化移位为shiftBits，将量化值取值相同的区域标记为同一个物体；详细地可通过如下公式进行：
b m , n = &Sigma;I i , j blkSizeX * blkSizeY
b′m,n＝median(bm,n)
B m , n = ( ( &Sigma; k M b m , n &prime; k M + ( 1 < < ( shiftBits - 1 ) ) ) > > shiftBits ) < < shiftBits )
然后，统计图像I1，I2…Im的梯度大小Gm,n，再对梯度大小Gm,n进行中值滤波median，得到G′m,n，同时计算图像间梯度差值Dk，其中k为图像标号，并计算各分割区域在每个图像中的梯度总和其中U为分割区域标号；详细地可通过如下公式进行：
G m , n = &alpha; * &Sigma; ( | I i , j - I i - 1 , j | + | I i , j - I i , j - 1 | + | I i , j - I i - 1 , j - 1 | ) blksizeX * blkSizeY
G′m,n＝median(Gm,n)
D k = &Sigma; m , n ( G m , n &prime; k - G m , n &prime; k + 1 )
A U k = &Sigma; i , j &Element; U G i , j &prime; k
最后，标记所在区域具有最大梯度的图像序号，生成掩膜图像，并进行中值滤波。
步骤S804：根据所述掩膜图像对各个区域梯度最大的图像进行平滑去噪，计算得到各个图像之间的差分图像；
具体地，根据掩膜图像对各区域梯度最大的图像I1，I2…Im平滑滤波(如高斯滤波)；然后，计算图像I1,I2...间的差分图像Rk，根据图像间梯度差值Dk计算二值化阈值W，其中blkNums为图像总块数，a，b为系数，具体地，a和b为有理数，典型值为a＝2.8，b＝6，根据阈值W对差分图像进行二值化；详细地可通过如下公式进行：
Rk＝Abs(Ik-Ik+1)
W = max ( 16 , a * max ( R k blkNums ) + b )
步骤S806：根据所述差分图像标记存在运动物体的区域，并将标记结果后的图像进行滤波处理；
具体地，可以基于块大小区域来进行，若在此区域内二值化差分图像最大值超出一定比例(可根据电子终端自身情况进行设置)，则标记为运动物体，然后将生成的标记结果图像进行滤波，该滤波具体可以为，以当前块为中心的区域内标记为运动物体块数超过一定阈值，则认为当前块也为运动物体区域。
步骤S808：根据在连通的运动物体区域中对应的掩膜图像选择比例来修正所述掩膜图像；所述掩膜图像选择比例具体为在所述连通的运动物体区域中掩膜图像选择的不同图像的面积各自占所述连通的运动物体区域总面积的比例；
具体地，当检测出连通的运动物体区域中对应的掩膜图像选择比例都小于预设阈值，则选取所述掩膜图像选择比例中的最大比例所对应的图像来修正所述掩膜图像；假设某连通的运动物体区域中对应的掩膜图像有图像I1、I2和I3，该预设阈值为60％；
若检测出在该连通的运动物体区域中图像I1的面积占有44％，图像I2的面积占有28％，图像I3的面积占有28％，那么，检测出连通的运动物体区域中对应的掩膜图像选择比例都小于预设阈值，选取图像I1来修正该连通的运动物体区域中的掩膜图像，即详细地可以在连通的运动物体区域中的掩膜图像全部由图像I1来表示；
若检测出在该连通的运动物体区域中图像I1的面积占有20％，图像I2的面积占有70％，图像I3的面积占有10％，则不修正该连通的运动物体区域中的掩膜图像。
步骤S810：根据修正后的所述掩膜图像来选择图像进行图像融合。
具体地，如图9和图10示出的本发明实施例提供的运动图像融合处理的效果示意图，通过分析所述采集图像的运动信息修正掩膜图像，根据修正后的掩膜图像来选择图像进行图像融合，能高效地解决运动物体场景融合问题，实现对图像进行高效高质量的处理。
需要说明的是，本发明图5至图7实施例中进行联合编码，可以通过以下方案来实现：
若根据所述对焦采集参数判断出不需要将对焦采集得到的图像进行融合处理，即选取了一张最佳图像进行编码，则仅存储图像个数及最佳图像的像素信息(存储图像格式包括JPEG，GIF，PNG等常见格式)；
若根据所述对焦采集参数判断出需要将对焦采集得到的图像进行融合处理，对焦采集得到的图像进行融合处理并编码输出，那么可以有一下两个处理方案：
a、存储总图像个数(即不同对焦点采集的图像个数)，各图像对焦位置及对焦时间(或镜头拉伸位置)，存储所有图像像素信息(包括不同对焦点采集图像和融合处理后的图像，存储图像格式包括JPEG，GIF，PNG等常见格式)；
b、存储总图像个数(即不同对焦点采集的图像个数)，各图像对焦位置及对焦时间(或镜头拉伸位置)，再以融合图像为参考帧，对其它不同聚焦图像进行编码(如类似H264协议中，将融合图像设定为I帧，进行帧内编码，其它不同聚焦图像设定为P帧，且仅参考I帧编码)，从而压缩码流。
进一步地，本发明图1实施例中，当对编码后的图像进行显示时，可以具体包括：接收显示区域选择指令，并根据所述显示区域选择指令选择的区域，获取进行解码显示的图像；对所述获取需要解码显示的图像进行解码显示。
具体地，用户可以根据自身的需求，在电子终端的显示屏中进行选择显示区域的操作，电子终端接收到显示区域选择指令后，可以根据选择的区域获取进行解码显示的对应图像；用户可以选择部分图像区域，也可以选择全部图像区域进行显示。
再进一步地，本发明实施例中根据所述显示区域选择指令选择的区域，获取进行解码显示的图像可以具体包括：从所述对焦点中查找出最接近所述显示区域选择指令选择的区域的对焦点；获取根据所述查找出的对焦点进行对焦采集并进行图像配准映射裁剪以及联合编码的图像，或者获取根据所述查找出的对焦点进行对焦采集并进行图像配准映射裁剪以及融合后联合编码的图像，作为需要解码显示的图像。具体地，可以对应上述编码方法，通过以下方案来实现：
详细地，首先解码图像个数，若图像个数为1，则说明采集融合选择了寻找最佳图像的模式，这时，仅解码显示最佳图像；若图像个数大于1，按照编码对应方法解码图像，具体可对应采用以下方法之一：
a、解码图像个数，对焦位置及对焦时间(或镜头拉伸位置)，根据显示时用户选择，解码不同图像。如若用户选择某区域，则解码显示对焦位置距离该区域最近的不同聚焦图像；若用户选择全部区域(即选择了全清晰模式)，则解码显示融合图像；
b、解码图像个数，对焦位置及对焦时间(或镜头拉伸位置)，然后解码融合图像(如类似H264协议中，解码I帧方法)，再根据显示时用户选择，解码不同聚焦图像，如若用户选择某区域，则解码显示对焦位置距离该区域最近的不同聚焦图像(如类似H264协议中，解码P帧方法)；若用户选择全部区域(即选择了全清晰模式)，则解码显示融合图像。
即，本发明在对编码后的图像进行显示时包括但不限于以下两种方式：
1、交互式，用户主动选择局部清晰或全清晰；
2、自动循环播放模式，当用户选择该模式时，可以循环播放局部清晰和/或全清晰图像。
通过实施本发明实施例，根据对焦采集参数对采集图像进行融合，并当根据所述对焦采集参数对所述采集图像进行配准映射裁剪以及融合时，通过分析所述采集图像的运动信息修正掩膜图像，根据修正后的掩膜图像来选择图像进行图像融合，解决了运动物体场景融合问题，实现了对图像进行高效高质量的处理；根据对焦采集参数进行的融合策略包括直接选择采集图像，或对采集图像进行配准映射裁剪，或者对采集图像进行配准映射裁剪以及融合，可以解决现有技术中电子终端的图像处理方法要么过于简单造成图像处理效果差，要么过于复杂使得图像处理效率低下的问题；而且还实现了自动或手动选择多个对焦点进行对焦采集，并根据用户需求解码显示部分或全部图像区域，大大提高了电子终端图像处理能力。
上述详细阐述了本发明实施例的图像数据的采集处理方法和图像数据的处理方法，下面为了便于更好地实施本发明实施例的上述方案，相应地，下面还提供用于配合实施上述方案的相关装置。
如图11示出的本发明提供的图像数据的处理装置的结构示意图，图像数据的处理装置11包括图像获取模块110、图像融合模块112和编码输出模块114，其中
图像获取模块110用于获取至少两张采集图像，其中获取的每张采集图像的采集对焦点各不相同；
图像融合模块112用于获取对焦采集参数，根据所述对焦采集参数对采集图像进行融合，得到融合后的图像；
编码输出模块114用于对所述融合后的图像进行联合编码并输出；
其中，当所述图像融合模块根据所述对焦采集参数对所述采集图像进行配准映射裁剪以及融合时，通过分析所述采集图像的运动信息修正掩膜图像，根据修正后的掩膜图像来选择图像进行图像融合；
所述运动信息包括在所述采集图像之间发生物体运动的运动轨迹构成的连通的运动物体区域；所述修正后的掩膜图像包括对所述采集图像进行序号标记后在所述连通的运动物体区域中各个像素点选择的采集图像的序号。
具体地，如图12示出的本发明提供的图像获取模块的结构示意图，图像获取模块110包括：对焦点个数第一设置单元1100、人脸区域第一检测单元1102和第一对焦采集单元1104，其中
对焦点个数第一设置单元1100用于设置图像场景的对焦点个数为M个，M为大于1的自然数；
人脸区域第一检测单元1102用于检测图像场景的人脸区域，得到L个人脸区域，L为零或正整数；
第一对焦采集单元1104用于若M等于L，则选择所述L个人脸区域作为对焦点对所述图像场景进行对焦采集；若M大于L，则选择所述L个人脸区域以及M减L个感兴趣区域作为对焦点对所述图像场景进行对焦采集；若M小于L，则分析所述L个人脸区域的面积大小，从所述L个人脸区域中按照先选择面积最大后选择面积最小的人脸区域的顺序，选择人脸区域作为对焦点，并排除已被选择的人脸区域重复执行本步骤，直至选择完M个人脸区域作为对焦点对所述图像场景进行对焦采集。
再具体地，如图13示出的本发明提供的图像获取模块的另一实施例的结构示意图，图像获取模块110包括：对焦点个数第二设置单元1106、区域划分单元1108、人脸区域第二检测单元11010和第二对焦采集单元11012，其中
对焦点个数第二设置单元1106用于设置图像场景的对焦点个数为M个，M为大于1的自然数，且M小于等于摄像头采集图像过程中获得的视频帧数；
区域划分单元1108用于将所述图像场景划分为A个区域，A为自然数；
人脸区域第二检测单元11010用于检测图像场景的人脸区域，得到L个人脸区域，L为零或正整数；
第二对焦采集单元11012用于若M等于L，则选择所述L个人脸区域作为对焦点对所述图像场景进行对焦采集；若M小于L，则分析所述L个人脸区域的面积大小，从所述L个人脸区域中按照先选择面积最大后选择面积最小的人脸区域的顺序，选择人脸区域作为对焦点，并排除已被选择的人脸区域重复执行本步骤，直至选择完M个人脸区域作为对焦点对所述图像场景进行对焦采集；若M大于L，则选择所述L个人脸区域作为对焦点，并根据所述A个区域在每帧视频中的最清晰区域面积的大小，从大到小选取所述A个区域中的M减L个作为对焦点，对所述图像场景进行对焦采集；其中所述最清晰区域面积包括信噪比最大、或梯度最大、或直流量最大的区域面积。
进一步地，所述融合后的图像包括以下至少一项：所述采集图像、对所述采集图像进行配准映射裁剪后的处理图像、或对所述采集图像进行配准映射裁剪以及融合后的融合图像；
如图14示出的本发明提供的图像融合模块的结构示意图，图像融合模块112包括：融合判断单元1120、融合判断第一处理单元1122和融合判断第二处理单元1124，其中
融合判断单元1120用于根据所述对焦采集参数判断是否对采集图像进行融合；
融合判断第一处理单元1122用于当判断结果为否时，则根据所述采集图像的采集成功数量，从所述采集图像中选取一张图像；
融合判断第二处理单元1124用于当判断结果为是时，对所述采集图像进行配准映射裁剪处理得到处理图像，或者对所述采集图像进行配准映射裁剪以及融合得到融合图像。
再进一步地，如图15示出的本发明提供的融合判断第一处理单元的结构示意图，融合判断第一处理单元1122包括第一选取子单元11220和第二选取子单元11222，其中
第一选取子单元11220用于若所述采集图像的采集成功数量为1，则从所述采集图像中选取对焦采集成功的图像；
第二选取子单元11222用于若所述采集图像的采集成功数量不为1，则从所述采集图像中选取信噪比最大、或梯度最大、或直流量最大的图像。
再进一步地，所述对焦采集参数包括每张采集图像从对焦起始至对焦结束的时间值，融合判断单元1120具体用于：
将所述时间值按照大小进行排序，当依次从小到大的相邻两个时间值之差的绝对值大于预设阈值，则判断出需要将所述两个时间值对应的采集图像进行融合；当依次从小到大的相邻两个时间值之差的绝对值不大于预设阈值，则判断出不需要将所述两个时间值对应的采集图像进行融合，并舍弃所述两个时间值中较大的时间值，重复执行本步骤直至判断出所有需要进行融合的采集图像。
对焦采集参数包括每张采集图像从对焦起始至对焦结束的镜头拉伸长度值，融合判断单元1120具体用于：
将所述长度值按照大小进行排序，当依次从小到大的相邻两个长度值之差的绝对值大于预设阈值，则判断出需要将所述两个长度值对应的采集图像进行融合；当依次从小到大的相邻两个长度值之差的绝对值不大于预设阈值，则判断出不需要将所述两个长度值对应的采集图像进行融合，并舍弃所述两个长度值中较大的时间值，重复执行本步骤直至判断出所有需要进行融合的采集图像。
再进一步地，融合判断第二处理单元1124可以包括配准映射裁剪子单元，如图16示出的本发明提供的配准映射裁剪子单元的结构示意图，配准映射裁剪子单元160可以包括第一配准处理子单元1600、第一映射处理子单元1602和第一裁剪处理子单元1604，其中
第一配准处理子单元1600用于将所述图像获取模块获取的所有采集图像按照第一图像进行配准处理；所述第一图像为所述所有采集图像中的一张图像；
第一映射处理子单元1602用于对配准处理后的所有采集图像进行映射处理，得到映射图像；
第一裁剪处理子单元1604用于将得到的所有映射图像及所述第一图像进行裁剪处理。
再进一步地，如图17示出的本发明提供的编码输出模块的结构示意图，编码输出模块114包括：联合编码单元1140、选择指令接收单元1142和解码显示单元1144，其中
联合编码单元1140用于对所述融合后的图像进行联合编码；
选择指令接收单元1142用于接收显示区域选择指令，并根据所述显示区域选择指令选择的区域，获取需要解码显示的图像；
解码显示单元1144用于对所述获取需要解码显示的图像进行解码显示。
具体地，如图18示出的本发明提供的选择指令接收单元的结构示意图，选择指令接收单元1142包括：对焦点查找子单元11420和图像获取子单元11422，其中
对焦点查找子单元11420用于从采集图像的对焦点中查找出最接近所述显示区域选择指令选择的区域的对焦点；
图像获取子单元11422用于获取根据所述查找出的对焦点进行对焦采集并进行图像配准映射裁剪处理后联合编码的图像，或者获取根据所述查找出的对焦点进行对焦采集并进行图像配准映射裁剪以及融合后联合编码的图像，作为需要解码显示的图像。
再进一步地，如图19示出的本发明提供的图像融合模块的另一实施例的结构示意图，图像融合模块112包括：第二配准处理单元1126、第二映射处理单元1128、第二裁剪处理单元11210、转换去噪单元11212、掩膜图像生成单元11214、运动区域标记单元11216、修正单元11218和融合单元11220，其中
第二配准处理单元1126用于将所述图像获取模块获取的所有采集图像按照第一图像进行配准处理；所述第一图像为所述所有采集图像中的一张图像；
第二映射处理单元1128用于对配准处理后的所有采集图像进行映射处理，得到映射图像；
第二裁剪处理单元11210用于将得到的所有映射图像及所述第一图像进行裁剪处理；
转换去噪单元11212用于将所述第二裁剪处理单元裁剪处理后的图像进行转换，得到灰度图像，并进行平滑去噪；
掩膜图像生成单元11214用于对所述灰度图像进行联合分割物体，并标记各个区域，通过统计各区域梯度信息生成掩膜图像；
运动区域标记单元11216用于根据所述掩膜图像对各个区域梯度最大的处理图像进行平滑去噪，计算得到各个处理图像之间的差分图像，并根据所述差分图像标记出运动物体区域；
修正单元11218用于根据在连通的运动物体区域中对应的掩膜图像选择比例来修正所述掩膜图像；所述掩膜图像选择比例具体为在所述连通的运动物体区域中掩膜图像选择的不同图像的面积各自占所述连通的运动物体区域总面积的比例；
融合单元11220用于根据修正后的所述掩膜图像来选择图像进行图像融合。
具体地，修正单元11218可以具体用于，当检测出连通的运动物体区域中对应的掩膜图像选择比例都小于预设阈值，则选取所述掩膜图像选择比例中的最大比例所对应的图像来修正所述掩膜图像。
需要说明的是，本发明实施例中的第二配准处理单元1126、第二映射处理单元1128、第二裁剪处理单元11210、转换去噪单元11212、掩膜图像生成单元11214、运动区域标记单元11216、修正单元11218和融合单元11220可以位于融合判断第二处理单元1124中。
可理解的，本发明实施例的图像数据的处理装置11例如可以是手机、平板电脑、相机等移动终端。
可以理解的是，本实施例的图像数据的处理装置11的各功能模块的功能可根据上述方法实施例中的方法具体实现，其具体实现过程可以参照上述方法实施例的相关描述，此处不再赘述。
综上所述，通过实施本发明实施例，根据对焦采集参数对采集图像进行融合，并当根据所述对焦采集参数对所述采集图像进行配准映射裁剪以及融合时，通过分析所述采集图像的运动信息修正掩膜图像，根据修正后的掩膜图像来选择图像进行图像融合，解决了运动物体场景融合问题，实现了对图像进行高效高质量的处理；根据对焦采集参数进行的融合策略包括直接选择采集图像，或对采集图像进行配准映射裁剪，或者对采集图像进行配准映射裁剪以及融合，可以解决现有技术中电子终端的图像处理方法要么过于简单造成图像处理效果差，要么过于复杂使得图像处理效率低下的问题；而且还实现了自动或手动选择多个对焦点进行对焦采集，并根据用户需求解码显示部分或全部图像区域，大大提高了电子终端图像处理能力。
需要说明的是，在本说明书中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
还需要说明的是，上述一系列处理不仅包括以这里所述的顺序按时间序列执行的处理，而且包括并行或分别地、而不是按时间顺序执行的处理。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims (24)

1.一种图像数据的处理方法，其特征在于，包括：
获取至少两张采集图像，其中获取的每张采集图像的采集对焦点各不相同；
获取对焦采集参数，根据所述对焦采集参数对采集图像进行融合，得到融合后的图像；对所述融合后的图像进行联合编码并输出；
其中，当根据所述对焦采集参数对所述采集图像进行配准映射裁剪以及融合时，通过分析所述采集图像的运动信息修正掩膜图像，根据修正后的掩膜图像来选择图像进行图像融合；
所述运动信息包括在所述采集图像之间发生物体运动的运动轨迹构成的连通的运动物体区域；所述修正后的掩膜图像包括对所述采集图像进行序号标记后在所述连通的运动物体区域中各个像素点选择的采集图像的序号。
2.如权利要求1所述的方法，其特征在于，所述获取至少两张采集图像包括：
设置图像场景的对焦点个数为M个，M为大于1的自然数；
检测图像场景的人脸区域，得到L个人脸区域，L为零或正整数；
若M等于L，则选择所述L个人脸区域作为对焦点对所述图像场景进行对焦采集；
若M大于L，则选择所述L个人脸区域以及M减L个感兴趣区域作为对焦点对所述图像场景进行对焦采集；
若M小于L，则分析所述L个人脸区域的面积大小，从所述L个人脸区域中按照先选择面积最大后选择面积最小的人脸区域的顺序，选择人脸区域作为对焦点，并排除已被选择的人脸区域重复执行本步骤，直至选择完M个人脸区域作为对焦点对所述图像场景进行对焦采集。
3.如权利要求1所述的方法，其特征在于，所述获取至少两张采集图像包括：
设置图像场景的对焦点个数为M个，M为大于1的自然数，且M小于等于摄像头采集图像过程中获得的视频帧数；
将所述图像场景划分为A个区域，A为正整数；
检测图像场景的人脸区域，得到L个人脸区域，L为零或正整数；
若M等于L，则选择所述L个人脸区域作为对焦点对所述图像场景进行对焦采集；
若M小于L，则分析所述L个人脸区域的面积大小，从所述L个人脸区域中按照先选择面积最大后选择面积最小的人脸区域的顺序，选择人脸区域作为对焦点，并排除已被选择的人脸区域重复执行本步骤，直至选择完M个人脸区域作为对焦点对所述图像场景进行对焦采集；
若M大于L，则选择所述L个人脸区域作为对焦点，并根据所述A个区域在每帧视频中的最清晰区域面积的大小，从大到小选取所述A个区域中的M减L个作为对焦点，对所述图像场景进行对焦采集；其中所述最清晰区域面积包括信噪比最大、或梯度最大、或直流量最大的区域面积。
4.如权利要求1所述的方法，其特征在于，所述融合后的图像包括以下至少一项：所述采集图像、对所述采集图像进行配准映射裁剪后的处理图像、或对所述采集图像进行配准映射裁剪以及融合后的融合图像；
所述根据所述对焦采集参数对采集图像进行融合包括：
根据所述对焦采集参数判断是否对采集图像进行融合；
当判断结果为否时，则根据所述采集图像的采集成功数量，从所述采集图像中选取一张图像；当判断结果为是时，对所述采集图像进行配准映射裁剪处理得到处理图像，或者对所述采集图像进行配准映射裁剪以及融合得到融合图像。
5.如权利要求4所述的方法，其特征在于，所述根据所述采集图像的采集成功数量，从所述采集图像中选取一张图像包括：
若所述采集图像的采集成功数量为1，则从所述采集图像中选取对焦采集成功的图像；
若所述采集图像的采集成功数量不为1，则从所述采集图像中选取信噪比最大、或梯度最大、或直流量最大的图像。
6.如权利要求4所述的方法，其特征在于，所述对焦采集参数包括每张采集图像从对焦起始至对焦结束的时间值，所述根据所述对焦采集参数判断是否对所述采集图像进行融合包括：
将所述时间值按照大小进行排序，当依次从小到大的相邻两个时间值之差的绝对值大于预设阈值，则判断出需要将所述两个时间值对应的采集图像进行融合；当依次从小到大的相邻两个时间值之差的绝对值不大于预设阈值，则判断出不需要将所述两个时间值对应的采集图像进行融合，并舍弃所述两个时间值中较大的时间值，重复执行本步骤直至判断出所有需要进行融合的采集图像。
7.如权利要求4所述的方法，其特征在于，所述对焦采集参数包括每张采集图像从对焦起始至对焦结束的镜头拉伸长度值，所述根据所述对焦采集参数判断是否对所述采集图像进行融合包括：
将所述长度值按照大小进行排序，当依次从小到大的相邻两个长度值之差的绝对值大于预设阈值，则判断出需要将所述两个长度值对应的采集图像进行融合；当依次从小到大的相邻两个长度值之差的绝对值不大于预设阈值，则判断出不需要将所述两个长度值对应的采集图像进行融合，并舍弃所述两个长度值中较大的时间值，重复执行本步骤直至判断出所有需要进行融合的采集图像。
8.如权利要求4所述的方法，其特征在于，所述对所述采集图像进行配准映射裁剪处理包括：
将获取的所有采集图像按照第一图像进行配准处理；所述第一图像为获取的所有采集图像中的一张图像；
对配准处理后的所有采集图像进行映射处理，得到映射图像；
将得到的所有映射图像及所述第一图像进行裁剪处理。
9.如权利要求4所述的方法，其特征在于，所述对所述融合后的图像进行联合编码并输出包括：
对所述融合后的图像进行联合编码；
接收显示区域选择指令，并根据所述显示区域选择指令选择的区域，获取需要解码显示的图像；
对所述获取需要解码显示的图像进行解码显示。
10.如权利要求9所述的方法，其特征在于，所述根据所述显示区域选择指令选择的区域，获取需要解码显示的图像包括：
从采集图像的对焦点中查找出最接近所述显示区域选择指令选择的区域的对焦点；
获取根据所述查找出的对焦点进行对焦采集并进行图像配准映射裁剪处理后联合编码的图像，或者获取根据所述查找出的对焦点进行对焦采集并进行图像配准映射裁剪以及融合后联合编码的图像，作为需要解码显示的图像。
11.如权利要求1-10任一项所述的方法，其特征在于，所述对所述采集图像进行配准映射裁剪以及融合包括：
将获取的所有采集图像按照第一图像进行配准处理；所述第一图像为获取的所有采集图像中的一张图像；
对配准处理后的所有采集图像进行映射处理，得到映射图像；
将得到的所有映射图像及所述第一图像进行裁剪处理；
将裁剪处理后的图像进行转换，得到灰度图像，并进行平滑去噪；
对所述灰度图像进行联合分割物体，并标记各个区域，通过统计各区域梯度信息生成掩膜图像；
根据所述掩膜图像对各个区域梯度最大的处理图像进行平滑去噪，计算得到各个处理图像之间的差分图像，并根据所述差分图像标记出运动物体区域；
根据在连通的运动物体区域中对应的掩膜图像选择比例来修正所述掩膜图像；所述掩膜图像选择比例具体为在所述连通的运动物体区域中掩膜图像选择的不同图像的面积各自占所述连通的运动物体区域总面积的比例；
根据修正后的所述掩膜图像来选择图像进行图像融合。
12.如权利要求11所述的方法，其特征在于，所述根据在连通的运动物体区域中对应的掩膜图像选择比例来修正所述掩膜图像包括：
当检测出连通的运动物体区域中对应的掩膜图像选择比例都小于预设阈值，则选取所述掩膜图像选择比例中的最大比例所对应的图像来修正所述掩膜图像。
13.一种图像数据的处理装置，其特征在于，包括：
图像获取模块，用于获取至少两张采集图像，其中获取的每张采集图像的采集对焦点各不相同；
图像融合模块，用于获取对焦采集参数，根据所述对焦采集参数对采集图像进行融合，得到融合后的图像；
编码输出模块，用于对所述融合后的图像进行联合编码并输出；
其中，当所述图像融合模块根据所述对焦采集参数对所述采集图像进行配准映射裁剪以及融合时，通过分析所述采集图像的运动信息修正掩膜图像，根据修正后的掩膜图像来选择图像进行图像融合；
所述运动信息包括在所述采集图像之间发生物体运动的运动轨迹构成的连通的运动物体区域；所述修正后的掩膜图像包括对所述采集图像进行序号标记后在所述连通的运动物体区域中各个像素点选择的采集图像的序号。
14.如权利要求13所述的装置，其特征在于，所述图像获取模块包括：
对焦点个数第一设置单元，用于设置图像场景的对焦点个数为M个，M为大于1的自然数；
人脸区域第一检测单元，用于检测图像场景的人脸区域，得到L个人脸区域，L为零或正整数；
第一对焦采集单元，用于若M等于L，则选择所述L个人脸区域作为对焦点对所述图像场景进行对焦采集；若M大于L，则选择所述L个人脸区域以及M减L个感兴趣区域作为对焦点对所述图像场景进行对焦采集；若M小于L，则分析所述L个人脸区域的面积大小，从所述L个人脸区域中按照先选择面积最大后选择面积最小的人脸区域的顺序，选择人脸区域作为对焦点，并排除已被选择的人脸区域重复执行本步骤，直至选择完M个人脸区域作为对焦点对所述图像场景进行对焦采集。
15.如权利要求13所述的装置，其特征在于，所述图像获取模块包括：
对焦点个数第二设置单元，用于设置图像场景的对焦点个数为M个，M为大于1的自然数，且M小于等于摄像头采集图像过程中获得的视频帧数；
区域划分单元，用于将所述图像场景划分为A个区域，A为自然数；
人脸区域第二检测单元，用于检测图像场景的人脸区域，得到L个人脸区域，L为零或正整数；
第二对焦采集单元，用于若M等于L，则选择所述L个人脸区域作为对焦点对所述图像场景进行对焦采集；若M小于L，则分析所述L个人脸区域的面积大小，从所述L个人脸区域中按照先选择面积最大后选择面积最小的人脸区域的顺序，选择人脸区域作为对焦点，并排除已被选择的人脸区域重复执行本步骤，直至选择完M个人脸区域作为对焦点对所述图像场景进行对焦采集；若M大于L，则选择所述L个人脸区域作为对焦点，并根据所述A个区域在每帧视频中的最清晰区域面积的大小，从大到小选取所述A个区域中的M减L个作为对焦点，对所述图像场景进行对焦采集；其中所述最清晰区域面积包括信噪比最大、或梯度最大、或直流量最大的区域面积。
16.如权利要求13所述的装置，其特征在于，所述融合后的图像包括以下至少一项：所述采集图像、对所述采集图像进行配准映射裁剪后的处理图像、或对所述采集图像进行配准映射裁剪以及融合后的融合图像；
所述图像融合模块包括：
融合判断单元，用于根据所述对焦采集参数判断是否对采集图像进行融合；
融合判断第一处理单元，用于当判断结果为否时，则根据所述采集图像的采集成功数量，从所述采集图像中选取一张图像；
融合判断第二处理单元，用于当判断结果为是时，对所述采集图像进行配准映射裁剪处理得到处理图像，或者对所述采集图像进行配准映射裁剪以及融合得到融合图像。
17.如权利要求16所述的装置，其特征在于，所述融合判断第一处理单元包括：
第一选取子单元，用于若所述采集图像的采集成功数量为1，则从所述采集图像中选取对焦采集成功的图像；
第二选取子单元，用于若所述采集图像的采集成功数量不为1，则从所述采集图像中选取信噪比最大、或梯度最大、或直流量最大的图像。
18.如权利要求16所述的装置，其特征在于，所述对焦采集参数包括每张采集图像从对焦起始至对焦结束的时间值，所述融合判断单元具体用于：
将所述时间值按照大小进行排序，当依次从小到大的相邻两个时间值之差的绝对值大于预设阈值，则判断出需要将所述两个时间值对应的采集图像进行融合；当依次从小到大的相邻两个时间值之差的绝对值不大于预设阈值，则判断出不需要将所述两个时间值对应的采集图像进行融合，并舍弃所述两个时间值中较大的时间值，重复执行本步骤直至判断出所有需要进行融合的采集图像。
19.如权利要求16所述的装置，其特征在于，所述对焦采集参数包括每张采集图像从对焦起始至对焦结束的镜头拉伸长度值，所述融合判断单元具体用于：
将所述长度值按照大小进行排序，当依次从小到大的相邻两个长度值之差的绝对值大于预设阈值，则判断出需要将所述两个长度值对应的采集图像进行融合；当依次从小到大的相邻两个长度值之差的绝对值不大于预设阈值，则判断出不需要将所述两个长度值对应的采集图像进行融合，并舍弃所述两个长度值中较大的时间值，重复执行本步骤直至判断出所有需要进行融合的采集图像。
20.如权利要求16所述的装置，其特征在于，所述融合判断第二处理单元包括配准映射裁剪子单元，用于对所述采集图像进行配准映射裁剪处理得到处理图像；
所述配准映射裁剪子单元包括：
第一配准处理子单元，用于将所述图像获取模块获取的所有采集图像按照第一图像进行配准处理；所述第一图像为所述所有采集图像中的一张图像；
第一映射处理子单元，用于对配准处理后的所有采集图像进行映射处理，得到映射图像；
第一裁剪处理子单元，用于将得到的所有映射图像及所述第一图像进行裁剪处理。
21.如权利要求16所述的装置，其特征在于，所述编码输出模块包括：
联合编码单元，用于对所述融合后的图像进行联合编码；
选择指令接收单元，用于接收显示区域选择指令，并根据所述显示区域选择指令选择的区域，获取需要解码显示的图像；
解码显示单元，用于对所述获取需要解码显示的图像进行解码显示。
22.如权利要求21所述的装置，其特征在于，所述选择指令接收单元包括：
对焦点查找子单元，用于从采集图像的对焦点中查找出最接近所述显示区域选择指令选择的区域的对焦点；
图像获取子单元，用于获取根据所述查找出的对焦点进行对焦采集并进行图像配准映射裁剪处理后联合编码的图像，或者获取根据所述查找出的对焦点进行对焦采集并进行图像配准映射裁剪以及融合后联合编码的图像，作为需要解码显示的图像。
23.如权利要求13-22任一项所述的装置，其特征在于，所述图像融合模块包括：
第二配准处理单元，用于将所述图像获取模块获取的所有采集图像按照第一图像进行配准处理；所述第一图像为所述所有采集图像中的一张图像；
第二映射处理单元，用于对配准处理后的所有采集图像进行映射处理，得到映射图像；
第二裁剪处理单元，用于将得到的所有映射图像及所述第一图像进行裁剪处理；
转换去噪单元，用于将所述第二裁剪处理单元裁剪处理后的图像进行转换，得到灰度图像，并进行平滑去噪；
掩膜图像生成单元，用于对所述灰度图像进行联合分割物体，并标记各个区域，通过统计各区域梯度信息生成掩膜图像；
运动区域标记单元，用于根据所述掩膜图像对各个区域梯度最大的处理图像进行平滑去噪，计算得到各个处理图像之间的差分图像，并根据所述差分图像标记出运动物体区域；
修正单元，用于根据在连通的运动物体区域中对应的掩膜图像选择比例来修正所述掩膜图像；所述掩膜图像选择比例具体为在所述连通的运动物体区域中掩膜图像选择的不同图像的面积各自占所述连通的运动物体区域总面积的比例；
融合单元，用于根据修正后的所述掩膜图像来选择图像进行图像融合。
24.如权利要求23所述的装置，其特征在于，所述修正单元具体用于，当检测出连通的运动物体区域中对应的掩膜图像选择比例都小于预设阈值，则选取所述掩膜图像选择比例中的最大比例所对应的图像来修正所述掩膜图像。
CN201410195438.XA 2014-05-09 2014-05-09 一种图像数据的采集处理方法及相关装置 Active CN105100579B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410195438.XA CN105100579B (zh) 2014-05-09 2014-05-09 一种图像数据的采集处理方法及相关装置
PCT/CN2015/076379 WO2015169137A1 (zh) 2014-05-09 2015-04-10 一种图像数据的采集处理方法及相关装置
US15/289,582 US9905031B2 (en) 2014-05-09 2016-10-10 Method and related apparatus for capturing and processing image data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410195438.XA CN105100579B (zh) 2014-05-09 2014-05-09 一种图像数据的采集处理方法及相关装置

Publications (2)

Publication Number Publication Date
CN105100579A true CN105100579A (zh) 2015-11-25
CN105100579B CN105100579B (zh) 2018-12-07

Family

ID=54392106

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410195438.XA Active CN105100579B (zh) 2014-05-09 2014-05-09 一种图像数据的采集处理方法及相关装置

Country Status (3)

Country Link
US (1) US9905031B2 (zh)
CN (1) CN105100579B (zh)
WO (1) WO2015169137A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018040444A1 (zh) * 2016-08-31 2018-03-08 宇龙计算机通信科技(深圳)有限公司 一种双摄像头拍照控制方法、拍照控制装置及终端
CN109495689A (zh) * 2018-12-29 2019-03-19 北京旷视科技有限公司 一种拍摄方法、装置、电子设备及存储介质
CN110139033A (zh) * 2019-05-13 2019-08-16 Oppo广东移动通信有限公司 拍照控制方法及相关产品
CN110238854A (zh) * 2019-06-19 2019-09-17 北京猎户星空科技有限公司 一种机器人控制方法、装置、电子设备及存储介质
CN111127303A (zh) * 2018-11-01 2020-05-08 Tcl集团股份有限公司 背景虚化方法、装置、终端设备及计算机可读存储介质
CN111429380A (zh) * 2020-04-08 2020-07-17 北京海益同展信息科技有限公司 一种图像矫正方法、装置、电子设备及存储介质
WO2020248866A1 (en) * 2019-06-14 2020-12-17 Huawei Technologies Co., Ltd. Method and system for image search and cropping
CN113096018A (zh) * 2021-04-20 2021-07-09 广东省智能机器人研究院 一种航拍图像拼接方法和系统
CN113870550A (zh) * 2021-08-11 2021-12-31 中标慧安信息技术股份有限公司 基于边缘计算的区域异常检测方法和系统
CN115273577A (zh) * 2022-09-26 2022-11-01 丽水学院 一种摄影教学的方法及系统
CN117593619A (zh) * 2024-01-18 2024-02-23 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015141487A1 (ja) * 2014-03-18 2015-09-24 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US10334152B2 (en) * 2016-08-08 2019-06-25 Fotonation Limited Image acquisition device and method for determining a focus position based on sharpness
CN107085828B (zh) * 2017-04-29 2020-06-26 天津大学 基于人眼视觉特性的图像拼接融合方法
CN107240185B (zh) * 2017-06-23 2019-09-20 深圳怡化电脑股份有限公司 一种冠字号识别方法、装置、设备及存储介质
CN108230282A (zh) * 2017-11-24 2018-06-29 洛阳师范学院 一种基于agf的多聚焦图像融合方法及系统
US10498948B1 (en) 2018-06-05 2019-12-03 Applied Materials, Inc. Methods and apparatus for absolute and relative depth measurements using camera focus distance
CN110602398A (zh) * 2019-09-17 2019-12-20 北京拙河科技有限公司 一种超高清视频显示方法及装置
US11889510B2 (en) 2019-11-26 2024-01-30 Qualcomm Incorporated Frame based operation for millimeter wave (mmWave) with receiver based contention
CN112241940B (zh) * 2020-09-28 2023-12-19 北京科技大学 一种多张多聚焦图像融合方法及装置
US11756221B2 (en) * 2021-01-28 2023-09-12 Qualcomm Incorporated Image fusion for scenes with objects at multiple depths
US11863881B2 (en) 2021-07-06 2024-01-02 Qualcomm Incorporated Selectively increasing depth-of-field in scenes with multiple regions of interest
WO2023283540A1 (en) * 2021-07-06 2023-01-12 Qualcomm Incorporated Selectively increasing depth-of-field in scenes with multiple regions of interest
CN114143517A (zh) * 2021-10-26 2022-03-04 深圳华侨城卡乐技术有限公司 一种基于重叠区域的融合蒙板计算方法、系统及存储介质
CN115205181B (zh) * 2022-09-15 2022-11-18 季华实验室 一种多聚焦图像融合方法、装置、电子设备及存储介质
CN116883461B (zh) * 2023-05-18 2024-03-01 珠海移科智能科技有限公司 一种用于获取清晰文档图像的方法及其终端装置
CN117222069B (zh) * 2023-10-12 2024-04-30 深圳市诺文博科技有限公司 照明驱动电源的智能控制方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080246777A1 (en) * 2007-04-03 2008-10-09 Richard Lee Swanson Method and apparatus for background replacement in still photographs
CN101303701A (zh) * 2008-06-27 2008-11-12 北京中星微电子有限公司 视频检索方法及装置
US20120194686A1 (en) * 2011-01-27 2012-08-02 Peng Lin Methods for motion correction for high-dynamic-range imaging systems
CN102968792A (zh) * 2012-10-29 2013-03-13 中国科学院自动化研究所 显微视觉下多焦面物体成像的方法
US20130063625A1 (en) * 2011-09-14 2013-03-14 Ricoh Company, Ltd. Image processing apparatus, imaging apparatus, and image processing method

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6183916B1 (en) * 1999-09-13 2001-02-06 Taiwan Semiconductor Manufacturing Company Method for proximity effect compensation on alternative phase-shift masks with bias and optical proximity correction
JP5043736B2 (ja) * 2008-03-28 2012-10-10 キヤノン株式会社 撮像装置及びその制御方法
US8633968B2 (en) * 2009-12-11 2014-01-21 Dish Network L.L.C. Three-dimensional recording and display system using near- and distal-focused images
SE534551C2 (sv) 2010-02-15 2011-10-04 Scalado Ab Digital bildmanipulation innefattande identifiering av ett målområde i en målbild och sömlös ersättning av bildinformation utifrån en källbild
US20100283868A1 (en) 2010-03-27 2010-11-11 Lloyd Douglas Clark Apparatus and Method for Application of Selective Digital Photomontage to Motion Pictures
CN101976436B (zh) 2010-10-14 2012-05-30 西北工业大学 一种基于差分图修正的像素级多聚焦图像融合方法
CN102542545A (zh) 2010-12-24 2012-07-04 方正国际软件(北京)有限公司 一种多焦距照片融合方法、系统及拍照装置
KR101692401B1 (ko) * 2011-01-21 2017-01-03 삼성전자주식회사 영상 처리 방법 및 장치
JP6112824B2 (ja) * 2012-02-28 2017-04-12 キヤノン株式会社 画像処理方法および装置、プログラム。
US9288377B2 (en) * 2012-05-02 2016-03-15 Semiconductor Components Industries, Llc System and method for combining focus bracket images
CN102833487B (zh) * 2012-08-08 2015-01-28 中国科学院自动化研究所 面向视觉计算的光场成像装置和方法
CN102930251B (zh) * 2012-10-26 2016-09-21 北京炎黄拍卖有限公司 两维收藏品数据收录与甄别的装置和方法
US9047666B2 (en) * 2013-03-12 2015-06-02 Futurewei Technologies, Inc. Image registration and focus stacking on mobile platforms
KR102101740B1 (ko) * 2013-07-08 2020-04-20 엘지전자 주식회사 이동 단말기 및 이의 제어방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080246777A1 (en) * 2007-04-03 2008-10-09 Richard Lee Swanson Method and apparatus for background replacement in still photographs
CN101303701A (zh) * 2008-06-27 2008-11-12 北京中星微电子有限公司 视频检索方法及装置
US20120194686A1 (en) * 2011-01-27 2012-08-02 Peng Lin Methods for motion correction for high-dynamic-range imaging systems
US20130063625A1 (en) * 2011-09-14 2013-03-14 Ricoh Company, Ltd. Image processing apparatus, imaging apparatus, and image processing method
CN102968792A (zh) * 2012-10-29 2013-03-13 中国科学院自动化研究所 显微视觉下多焦面物体成像的方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018040444A1 (zh) * 2016-08-31 2018-03-08 宇龙计算机通信科技(深圳)有限公司 一种双摄像头拍照控制方法、拍照控制装置及终端
CN111127303A (zh) * 2018-11-01 2020-05-08 Tcl集团股份有限公司 背景虚化方法、装置、终端设备及计算机可读存储介质
CN109495689A (zh) * 2018-12-29 2019-03-19 北京旷视科技有限公司 一种拍摄方法、装置、电子设备及存储介质
CN110139033A (zh) * 2019-05-13 2019-08-16 Oppo广东移动通信有限公司 拍照控制方法及相关产品
CN110139033B (zh) * 2019-05-13 2020-09-22 Oppo广东移动通信有限公司 拍照控制方法及相关产品
WO2020248866A1 (en) * 2019-06-14 2020-12-17 Huawei Technologies Co., Ltd. Method and system for image search and cropping
US11195046B2 (en) 2019-06-14 2021-12-07 Huawei Technologies Co., Ltd. Method and system for image search and cropping
CN110238854A (zh) * 2019-06-19 2019-09-17 北京猎户星空科技有限公司 一种机器人控制方法、装置、电子设备及存储介质
CN111429380B (zh) * 2020-04-08 2023-11-03 京东科技信息技术有限公司 一种图像矫正方法、装置、电子设备及存储介质
CN111429380A (zh) * 2020-04-08 2020-07-17 北京海益同展信息科技有限公司 一种图像矫正方法、装置、电子设备及存储介质
CN113096018A (zh) * 2021-04-20 2021-07-09 广东省智能机器人研究院 一种航拍图像拼接方法和系统
CN113870550B (zh) * 2021-08-11 2022-07-12 中标慧安信息技术股份有限公司 基于边缘计算的区域异常检测方法和系统
CN113870550A (zh) * 2021-08-11 2021-12-31 中标慧安信息技术股份有限公司 基于边缘计算的区域异常检测方法和系统
CN115273577A (zh) * 2022-09-26 2022-11-01 丽水学院 一种摄影教学的方法及系统
CN115273577B (zh) * 2022-09-26 2023-01-20 丽水学院 一种摄影教学的方法及系统
CN117593619A (zh) * 2024-01-18 2024-02-23 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质
CN117593619B (zh) * 2024-01-18 2024-05-14 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2015169137A1 (zh) 2015-11-12
US9905031B2 (en) 2018-02-27
US20170024920A1 (en) 2017-01-26
CN105100579B (zh) 2018-12-07

Similar Documents

Publication Publication Date Title
CN105100579A (zh) 一种图像数据的采集处理方法及相关装置
Novozamsky et al. Imd2020: A large-scale annotated dataset tailored for detecting manipulated images
CN106254933B (zh) 字幕提取方法及装置
CN102741879B (zh) 由单眼图像产生深度图的方法及其系统
CN103843033B (zh) 图像处理设备和方法以及程序
US7327890B2 (en) Imaging method and system for determining an area of importance in an archival image
TW201227621A (en) Cascadable camera tampering detection transceiver module
JP2009194896A (ja) 画像処理装置及び方法並びに撮像装置
CN102572502B (zh) 一种用于视频质量评价的关键帧的选取方法
JP6924064B2 (ja) 画像処理装置およびその制御方法、ならびに撮像装置
CN111724317A (zh) Raw域视频去噪监督数据集构造方法
US20230127009A1 (en) Joint objects image signal processing in temporal domain
CN111353965B (zh) 图像修复方法、装置、终端及存储介质
CN102457724A (zh) 一种图像运动检测系统及方法
KR102553934B1 (ko) 고화질 영상 융합 장치
US20130208984A1 (en) Content scene determination device
Chen et al. Focus manipulation detection via photometric histogram analysis
CN116980549A (zh) 视频帧处理方法、装置、计算机设备和存储介质
CN101500090B (zh) 图像处理装置,图像处理方法和程序
CN105027552B (zh) 图像处理设备和图像处理方法
JP4363153B2 (ja) 撮影装置、その画像処理方法及びプログラム
Novozámský et al. Extended IMD2020: a large‐scale annotated dataset tailored for detecting manipulated images
Hajisharif Computational Photography: High Dynamic Range and Light Fields
JP6118295B2 (ja) マーカ埋め込み装置、マーカ検出装置、方法、及びプログラム
JP7438736B2 (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant