CN116132791A - 一种获取多运动物体多景深清晰图像的方法及装置 - Google Patents

一种获取多运动物体多景深清晰图像的方法及装置 Download PDF

Info

Publication number
CN116132791A
CN116132791A CN202310227663.6A CN202310227663A CN116132791A CN 116132791 A CN116132791 A CN 116132791A CN 202310227663 A CN202310227663 A CN 202310227663A CN 116132791 A CN116132791 A CN 116132791A
Authority
CN
China
Prior art keywords
camera
focusing
depth
definition
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310227663.6A
Other languages
English (en)
Inventor
请求不公布姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chuangshi Microelectronics Chengdu Co ltd
Original Assignee
Chuangshi Microelectronics Chengdu Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chuangshi Microelectronics Chengdu Co ltd filed Critical Chuangshi Microelectronics Chengdu Co ltd
Priority to CN202310227663.6A priority Critical patent/CN116132791A/zh
Publication of CN116132791A publication Critical patent/CN116132791A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

本发明涉及多运动物体采集技术领域，公开了一种获取多运动物体多景深清晰图像的方法及装置。通过主摄像头获取预览画面，使用帧间差分法和形态学滤波从ROI区域内识别出运动物体；获取各运动物体在各摄像头画面内的清晰度，控制各摄像头的追焦对象；根据各追焦摄像头连续两次自动对焦时的对焦编码值预测出下一次自动对焦时的对焦编码值及景深范围；合并所有景深范围，根据合并的景深范围对不参与追焦摄像头的数量进行控制；当运动物体移动到预测位置时，控制所有摄像头同时曝光获得多张不同景深范围的图像；将不同景深范围图像进行多聚焦图像融合，从而获得包含多个运动物体高清晰大景深范围图像。

Description

一种获取多运动物体多景深清晰图像的方法及装置
技术领域
本发明涉及多运动物体采集技术领域，具体而言，涉及一种获取多运动物体多景深清晰图像的方法及装置。
背景技术
现有的全景深图像或多景深图像的拍摄对象通常是静态物体，拍摄方法主要有两种。一种是使用单一摄像头连续拍摄静态物体的不同景深图像，然后将拍摄到的不同景深图像进行融合获得全景深图像。另一种是使用多摄像头同时拍摄画面的不同景深图像，然后将拍摄到的不同景深图像进行融合，具体方法为：第一步，使用一个或者多个摄像头获得部分拍摄区域内的景深图像；第二步，控制其余摄像头获得剩余拍摄区域的景深图像；第三步，控制所有摄像头同时拍摄，将同时获得的拍摄区域的不同景深图像进行融合。
上述两种方法在拍摄运动物体的全景深图像或多景深图像时存在以下缺陷：第一，针对单一摄像头而言，单一摄像头无法同时获得包含运动物体的不同景深图像，虽然单一摄像头可以进行连续拍摄，但由于画面中存在运动物体，会导致单一摄像头获取的连续图像中运动物体的相对位置发生变化，使得在后续图像融合过程中产生运动伪影；第二，针对多摄像头而言，由于预先使用的是单一摄像头来获取待拍摄画面中的部分区域的景深图像，然后通过算法控制其余摄像头去获取待拍摄画面的剩余部分的景深图像，当其余摄像头的参数都调整正确之后再控制所有摄像头同时拍摄，而当画面中存在运动物体时，运动物体可能会导致预先获得的部分拍摄区域的景深图像与通过算法控制其余摄像头获取的景深图像是不匹配的，从而导致后续图像融合效果十分不理想。所述的不匹配是指：其一，当运动物体由单一摄像头预先获取景深图像时，将预先获取的运动物体的景深图像以外的部分作为其余摄像头获取景深图像的调节范围，但由于预先获取景深图像的对象是运动物体，所以预先获取的运动物体的景深图像和实际拍摄时运动物体所在的景深图像是不一致的，从而导致预先获取的景深图像无效；其二，当运动物体由其余摄像头获取景深图像时，可能会出现运动物体挡在预先获取的景深成像区域内，在这种情况下，预先获取的景深范围的画面将会是一个模糊的运动物体。
有鉴于此，特提出本申请。
发明内容
本发明的目的在于提供一种获取多运动物体多景深清晰图像的方法及装置，解决现有技术无法获取到多个运动物体的清晰图像的问题。
本发明通过下述技术方案实现：
一方面，提供一种获取多运动物体多景深清晰图像的方法，包括以下步骤：
S1：利用主摄像头获取预览画面，对所述预览画面中的多个运动物体进行框定；
S2：通过对框定的多个运动物体进行初次对焦，确定出能够共同获取到所有运动物体的清晰图像的多个摄像头以及每个摄像头的追焦对象，所述追焦对象为多个运动物体中的一个或多个；
S3：采用对框定的多个运动物体进行二次对焦的方式，对初次对焦确定的多个摄像头的个数以及各个摄像头的追焦对象进行动态调整；
S4：对每一个二次对焦后的摄像头执行S41和S42；
S41：预测摄像头在下一次对焦预测位置时的对焦编码值；S42：根据预测的对焦编码值，获取摄像头对预测位置对焦后的景深范围；
S5：将所有的景深范围进行合并，得到全景深范围；根据所述全景深范围获取每一个二次对焦后的摄像头的预测外景深范围；控制闲置摄像头对预测外景深范围内的静态物体对焦；
S6：当运动物体移动到预测位置时，控制所有二次对焦后的摄像头同时曝光，得到多张包含多个运动物体的不同景深图像；
S7：将不同景深图像进行多焦距图像融合，得到包含多个运动物体的清晰图像。
S1中，对所述预览画面中的多个运动物体进行框定包括以下步骤：
S11：对所述预览画面中的两帧图像进行灰度化处理，分别从灰度化处理后的两帧图像中提取出对应的ROI区域；
S12：将两个ROI区域中具有相同坐标的所有像素点的像素值进行对应作差，得到多个像素值差值；
S13：针对每一个ROI区域执行以下步骤：将ROI区域中的每个像素点对应的像素值差值与设定阈值比较，将像素值差值大于设定阈值的所有像素点的像素值设置为255，将像素值差值小于所述设定阈值的所有像素点的像素值设置为0；
S14：对所述S13处理后的ROI区域进行形态学滤波；
S15：将所述S14处理后的ROI区域中像素值不为0的区域认定为运动物体所在的图像区域；
S16：使用边框对运动物体所在的图像区域进行框定。
S2中，对框定的多个运动物体进行初次对焦包括以下步骤：
S21：控制所述主摄像头对距离所述预览画面的中央位置最近的运动物体进行对焦，得到新预览画面，检测所述新预览画面中各个运动物体的清晰度，得到检测结果；
S22：如果检测结果为存在一个或多个运动物体的清晰度小于清晰度判断阈值，则从剩余摄像头中随机选择一个摄像头，将清晰度小于清晰度判断阈值且距离所述新预览画面的中央位置最近的运动物体的位置参数传递给随机选择的摄像头；
S23：利用随机选择的摄像头对位置参数对应的运动物体进行对焦，检测对焦获得的新画面中各运动物体的清晰度，得到检测结果；所述S23中，清晰度的检测对象不包含前一次对焦获得的清晰度大于清晰度判断阈值的运动物体；
S24：如果检测结果为存在一个或多个运动物体的清晰度小于清晰度判断阈值，则继续从剩余摄像头中随机选择一个摄像头；将S23检测到的清晰度小于清晰度判断阈值且距离新画面的中央位置最近的运动物体的位置参数传递给随机选择的摄像头；返回所述S23，直到所有随机选择的摄像头所获得的清晰度大于清晰度判断阈值的运动物体覆盖了所述预览画面中的全部运动物体，或者直到提前布置的所有摄像头均被选择使用，结束初次对焦。
进一步的，检测运动物体的清晰度包括以下步骤：
用Laplacian算子对框定的运动物体所在的图像区域进行模板卷积，得到多个高频分量；
将多个高频分量求和，将和值与清晰度判断阈值比较；
如果所述和值大于所述清晰度判断阈值，则认定该运动物体在摄像机中成像清晰；如果所述和值小于所述清晰度判断阈值，则认定该运动物体在摄像机中成像模糊。
S3中，对框定的多个运动物体进行二次对焦包括以下步骤：
S31：获取每一个运动物体在初次对焦确定的每一个摄像头中的清晰度，得到每一个运动物体对应的多个清晰度；
S32：将每一个运动物体的每一个清晰度与清晰度阈值进行实时比较，得到每一个运动物体对应的比较结果；
S33：对每一个比较结果进行分析；如果分析结果为该比较结果对应的运动物体在至少两个摄像头中的清晰度大于清晰度判断阈值，则执行S33.1；如果分析结果为该比较结果对应的运动物体在摄像头Ci中的清晰度从初次对焦时的大于清晰度判断阈值变为当前的小于清晰度判断阈值，则执行S33.2，i＝1,2,…,n，n表示初次对焦确定的摄像头个数；
S33.1：对该比较结果中清晰度大于清晰度判断阈值的摄像头的数量以及每个摄像头的追焦对象进行动态调整；
S33.2：对摄像头Ci的追焦对象进行动态调整，对除摄像头Ci以外的其余摄像头的个数以及其余每个摄像头的追焦对象进行动态调整。
进一步的，S33.1包括
A1：将清晰度大于清晰度判断阈值的每个摄像头进行标记；
A2：从标记的所有摄像头中挑选出优先级最高的摄像头，将该比较结果对应的运动物体作为优先级最高的摄像头的追焦对象，同时将该比较结果对应的运动物体从其余被标记的摄像头的追焦对象中移除；摄像头的优先级与初次对焦过程中摄像头的选择顺序对应；
A3：针对其余标记的每个摄像头，执行以下步骤：判断摄像头对焦获得的画面中是否存在清晰度大于清晰度判断阈值的运动物体；若不存在，则将摄像头恢复闲置状态，否则，继续判断摄像头对焦获得的画面中清晰度大于清晰度判断阈值的运动物体的个数；若只存在一个清晰度大于清晰判断阈值的运动物体，则将仅存的运动物体作为摄像头的追焦对象，若存在至少两个清晰判断阈值的运动物体，则对距离画面中央位置最近的一个运动物体进行对焦，检测对焦获得的新画面中各运动物体的清晰度，返回所述S31；
S33.2包括
B1：判断在其余摄像头对焦获得的画面中，该比较结果对应的运动物体的清晰度是否大于清晰度判断阈值；如果在其余每一个摄像头对焦获得的画面中，该比较结果对应的运动物体的清晰度均小于清晰度判断阈值，则判断是否有闲置摄像头，如果有闲置摄像头，则将该比较结果对应运动物体作为闲置摄像头的追焦对象，如果没有闲置摄像头，则放弃对该比较结果对应的运动物体进行追焦；如果其余摄像头对焦获得的画面中，该比较结果对应的运动物体的清晰度大于清晰度判断阈值，则执行B2；
B2：将该比较结果对应运动物体作为其余摄像头的追焦对象；
B3：判断摄像头Ci中是否存在其余运动物体，如果不存在其余运动物体，则将摄像头Ci恢复闲置状态，如果存在其余运动物体，则对距离画面中央位置最近的一个运动物体进行对焦，检测对焦获得的新画面中各运动物体的清晰度，返回所述S31。
S41中，
预测摄像头在下一次对焦预测位置时的对焦编码值包括以下步骤：
获取摄像头的对焦编码值code1和对焦编码值code2；对焦编码code1为摄像头在初次对焦时获取的对焦编码值，对焦编码值code2为摄像头在二次对焦时获取的对焦编码值；
根据codepre＝((code2-code1)+code2)计算获得摄像头在下一次对焦预测位置时的对焦编码值codepre；
获取摄像头对预测位置对焦后的景深范围包括以下步骤：
建立摄像头像距计算模型，像距、物距和焦距的关系模型，前景深计算模型，以及后景深计算模型；
摄像头像距计算模型的表达式为
Figure BDA0004119110720000051
像距、物距和焦距的关系模型的表达式为
Figure BDA0004119110720000052
前景深计算模型的表达式为
Figure BDA0004119110720000053
后景深计算模型的表达式为
Figure BDA0004119110720000054
其中，SF表示摄像头的远景镜头标定位置，SN表示摄像头的近景镜头标定位置,codeN表示摄像头的近景对焦编码标定值，codeF表示摄像头的远景对焦编码标定值，f表示摄像头的焦距，v表示摄像头的像距，u表示摄像头的物距，ΔL1表示摄像头的前景深，ΔL2表示摄像头的后景深，F表示摄像头的拍摄光圈值，δ表示摄像头的容许弥散圆直径。
将对焦编码值codepre，代入
Figure BDA0004119110720000055
和
Figure BDA0004119110720000056
计算得到摄像头对预测位置对焦后的物距u。
在获得摄像头对预测位置对焦后的物距u之后，根据物距u和摄像头的镜头参数，可以最终确定摄像头对预测位置对焦后的景深范围，即将物距u和摄像头的镜头参数
Figure BDA0004119110720000057
和
Figure BDA0004119110720000058
可以确定出摄像头的前景深ΔL1和后景深ΔL2，处于摄像头的前景深ΔL1和后景深ΔL2之间的范围(包括ΔL1和ΔL2)，即是追焦摄像头对预测位置对焦的景深范围。
根据计算得到的物距u、前景深计算模型和后景深计算模型，计算得到摄像头对预测位置对焦后的景深范围。
S5中，控制摄像头对预测外景深范围内的静态物体对焦包括以下步骤：
S51：检测每一个二次对焦后的摄像头中每一个运动物体的清晰度；
S52：根据检测结果，标记出所有的目标摄像头；所述目标摄像头中所有物体的清晰度均大于清晰度判断阈值；
S53：针对每一个目标摄像头，执行以下步骤：将目标摄像头的预测景深范围与目标摄像头获得的整个画面的景深范围进行比较；如果目标摄像头的预测景深范围不能完全覆盖整个画面的景深范围，则执行S53.1；如果目标摄像头的预测景深范围能够完全覆盖整个画面的景深范围，则执行S53.2；
S53.1：判断是否存在闲置摄像头；如果存在至少一个闲置摄像头，则控制一个闲置摄像头在目标摄像头的预测外景深范围内寻找静态物体进行对焦；如果不存在闲置摄像头，则放弃对静态物体进行对焦；
S53.2：判断是否存在闲置摄像头；如果存在至少一个闲置摄像头，则将所有的闲置摄像头断电。
S7包括以下步骤：
S71：提取出每一张景深图像中的特征点，根据提取出的各特征点将所有景深图像对齐；
S72：针对对齐后的每一张景深图像执行S72.1至S72.6，得到重构拉普拉斯金字塔；
S72.1：计算获得景深图像的每一个当前像素点的像素值，得到模糊后图像；当前像素点的像素值通过对当前像素点周边各像素点对应的像素值求平均得到；
S72.2：删除模糊后图像的奇数行和奇数列，得到上层图像；
S72.3：对上层图像多次执行S72.1和S72.2，得到高斯金字塔；
S72.4：对高斯金字塔的每一层执行以下步骤：利用当前层的图像减去上一层的图像，得到新一层图像；
S72.5：多次执行S72.4，得到拉普拉斯高斯金字塔；
S72.6：将各景深图像对应的拉普拉斯金字塔的每一层图像按照预设权值相加，得到重构拉普拉斯金字塔；
S73：将各景深图像对应的高斯金字塔中的最高层图像按照权重做加法运算，将加法运算结果放大至与重构拉普拉斯金字塔的最高层图像等大；
S74：将放大后的结果与重构拉普拉斯金字塔的顶层图像相加；
S75：将相加的结果放大至与重构拉普拉斯金字塔的下一层图像等大；
S76：将放大后的结果与重构拉普拉斯金字塔的下一层图像相加；
S77：多次执行S75和S76，得到包含多个运动物体的清晰图像。
另一方面，提供一种获取多运动物体多景深清晰图像的装置，包括
运动物体识别模块，用于对主摄像头获取的预览画面中的多个运动物体进行识别和框定；
初次对焦模块，用于对框定的多个运动物体进行初次对焦，确定出能够共同获取到所有运动物体的清晰图像的多个摄像头以及每个摄像头的追焦对象，所述追焦对象为多个运动物体中的一个或多个；
二次对焦模块，用于对框定的多个运动物体进行二次对焦，通过二次对焦对初次对焦确定的多个摄像头的个数以及各个摄像头的追焦对象进行动态调整；
对焦编码值预测模块，用于预测摄像头在下一次对焦预测位置时的对焦编码值；
预测景深范围获取模块，用于根据预测的对焦编码值，获取摄像头对预测位置对焦后的景深范围；
全景深范围获取模块，用于将所有的景深范围进行合并，得到全景深范围；
预测外景深范围获取模块，用于根据所述全景深范围获取每一个二次对焦后的摄像头的预测外景深范围；
静态物体对焦模块，用于控制闲置摄像头对预测外景深范围内的静态物体对焦；
多摄像头控制模块，用于控制所有二次对焦后的摄像头同时对移动到预测位置的运动物体进行曝光，得到多张包含多个运动物体的不同景深图像；
多焦距图像融合模块，用于将不同景深图像进行多焦距图像融合，得到包含多个运动物体的清晰图像。
本发明与现有技术相比，具有如下的优点和有益效果：通过预测运动物体的所在景深范围，控制多摄像头协调配合，同时兼顾运动物体和静态物体的景深，最终可得到多景深清晰图像。具体而言，采用基于初次对焦和二次对焦时各摄像头的内部对焦编码值的变化，对各摄像头在下一次对焦预测位置是的对焦编码值进行预测，进而得到摄像头对预测位置对焦时的景深范围，提高运动物体对焦的准确度；根据预测的景深范围控制闲置摄像头对预测景深范围外的静态物体进行对焦，保证最大限度地获得景深范围；当运动物体移动到预测位置时，所有摄像头同时曝光，可有效抑制图像融合伪影，最终获得多个运动物体的清晰图像。
附图说明
为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例1提供的获取多运动物体多景深清晰图像的方法整体流程图；
图2为本发明实施例1提供的对框定的多个运动物体进行初次对焦的实施流程图；
图3为本发明实施例1提供的对预览图像中所有运动物体框定完成后的结果图像；
图4为本发明实施例1提供的第二摄像头完成对焦后获得的画面；
图5为本发明实施例1提供的对框定的多个运动物体进行二次对焦的实施流程图；
图6为本发明实施例2提供的滑雪人物和拍摄摄像头位置关系图；
图7为本发明实施例2提供的主摄像头对H3完成初次对焦之后的预览画面图像；
图8为本发明实施例2提供的第二摄像头对H2完成对焦之后预览画面图像；
图9为本发明实施例2提供的第三摄像头对H1完成对焦之后预览画面图像；
图10为本发明实施例2提供的H2滑进了第二摄像头的景深范围以内时第二摄像头获取的新图像；
图11为本发明实施例2提供的主摄像头和第二摄像头的预测景深合并之后的效果图像；
图12为本发明实施例2提供的闲置摄像头(第三摄像头)对静态物体(T1)对焦的图像；
图13为本发明实施例2提供的通过多聚焦图像融合将三个摄像头获得到的不同景深范围图像进行融合之后的最终图像；
图14为本发明实施例2提供的使用现有的单摄像头获得全景深方法最终获取的效果图；
图15为本发明实施例2提供的使用现有的多摄像头获得全景深方法最终获取的效果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
实施例1
本实施例提供一种获取多运动物体多景深清晰图像的方法，实现使用尽可能少的摄像头获取到尽可能多的运动物体的清晰图像。
本发明使用到的技术包括：自动对焦、追焦、帧间差分法、形态学滤波、图像清晰度检测、Laplacian梯度算法和多聚焦图像融合。
在具体说明本方法的具体实时步骤之前，首先对本方法使用到的技术名称做如下说明：
1、清晰度判断阈值。清晰度判断阈值是预设的用于判断图像清晰度的值，可根据不同的使用场景进行调节。例如，可使用Laplacian算法获取清晰度判断阈值，通过Laplacian算子分别提取图像水平方向和垂直方向的梯度值，函数返回值越大，图像质量越好。本实施例使用Laplacian梯度算法的清晰度判断阈等于17。
2、主摄像头、第二摄像头、第三摄像头、……、第N摄像头。为了更好描述，本实施例将用于获取预览画面视频流的摄像头称为主摄像头，将其余多个追焦摄像头按照参与运动物体追焦的顺序分别称为第二摄像头、第三摄像头、……、第N摄像头。
3、预览画面。预览画面是拍摄最开始时，通过主摄像头获取到的图像画面，预览画面将用于最终的多聚焦图像融合。主摄像头获取的预览画面将在屏幕中显示；其余多个追焦摄像头获取的画面则不在屏幕中显示，而是直接用于图像清晰度检测和最终的多聚焦图像融合。
4、边框。边框是用于框定各个摄像头获取的画面中运动物体所在的矩形画面。各个边框均跟随运动物体运动，也是图像清晰度检测的对象。在实际的预览画面中，不同摄像头负责拍摄的运动物体的边框颜色不相同，本实施例以不同种类的边框对不同摄像头拍摄的运动物体进行框定。
5、摄像头闲置状态。摄像头闲置状态是指：除主摄像头外的其余追焦摄像头在不参与运动物体追焦时的状态；闲置状态下的追焦摄像头处于通电启动状态。
6、摄像头优先级。为了方便描述与理解，本实施例引入了前级摄像头和后级摄像头的定义。当没有摄像头被恢复闲置状态时，主摄像头的优先级最高，其次是第二摄像头、第三摄像头、……、第N摄像头，依次类推；当某个摄像头被恢复闲置状态后，该摄像头的优先级降为最低。当一个运动物体在两个及两个以上摄像头获取的画面中的清晰度均高于清晰度判断阈值时，该运动物体将由优先级更高的摄像头负责拍摄。
7、对焦编码值。对焦编码值是自动对焦马达的驱动芯片控制驱动电流大小时所使用的端口值。不同类型的马达对应不同的驱动芯片。驱动芯片通过接收控制端发来的信号输出电流给马达，从而带动马达运动。编码值越大，驱动电流越大，对应的镜头组移动越远，像距越大。当镜头组移动到对焦无穷远时对应的对焦编码值为codeF，当镜头组移动到对焦最近处时对应的对焦编码值为codeN。
8、镜头标定位置(SF、SN)。对于定焦摄像头而言，对焦移动的是镜头组的位置，当摄像头对焦到无穷远处(即平行光入射)时镜头表面移动到的位置即SF，当摄像头对焦到最近处(即镜头能够拍清物体的最近位置)时镜头表面移动到的位置即SN。
9、预测位置。预测位置是预测出运动物体在摄像头下一次自动对焦时对应在实际物理方位上的位置。
10、预测景深范围。预测景深范围是摄像头对焦预测位置时的景深范围。
基于上述技术名称解释，本实施例提供的一种获取多运动物体多景深清晰图像的方法，包括以下步骤，该方法的整体流程图如图1所示。
S1：利用主摄像头获取预览画面，对所述预览画面中的多个运动物体进行框定。
具体而言，通过主摄像头获取预览画面视频流，使用帧间差分法和形态学滤波从ROI区域(感兴趣区域)内识别出各个运动物体，并对各个运动物体使用边框框定。
其中，对预览画面中的各个运动物体进行框定的方法为：
S11：对预览画面中的两帧图像进行灰度化处理，分别从灰度化处理后的两帧图像中提取出对应的ROI区域。
S12：将两个ROI区域中具有相同坐标的所有像素点的像素值进行对应作差，得到多个像素值差值。
S13：根据帧间差分法对每一个ROI区域执行以下步骤：将ROI区域中的每个像素点对应的像素值差值与设定阈值比较，将像素值差值大于设定阈值的所有像素点的像素值设置为255，将像素值差值小于所述设定阈值的所有像素点的像素值设置为0。
S14：对S13处理后的ROI区域进行形态学滤波。
S15：将S14处理后的ROI区域中像素值不为0的区域认定为运动物体所在的图像区域。
S16：使用边框对运动物体所在的图像区域进行框定。
需说明的是，边框的大小由帧间差分法和形态学滤波获取的结果图像中像素值不为0的区域大小决定。例如，结果图像中，其中一个像素值不为0的区域的大小为长289像素，宽147像素，则边框的大小可设置为长300像素、宽150像素。即边框的大小应在结果图像中同一像素值不为0的区域范围的基础上进行适当扩大，以便框定整个运动物体，用于之后的图像清晰度判断。另外，边框的颜色会随着运动物体在摄像头中的清晰度变化而变化，边框颜色一致的运动物体表明在同一摄像头获取的图像中它们的清晰度均高于清晰度判断阈值。
S2：通过对框定的多个运动物体进行初次对焦，确定出能够共同获取到所有运动物体的清晰图像的多个摄像头以及每个摄像头的追焦对象。
本步骤的目的是利用图像清晰度检测算法来评估各个运动物体在各个摄像头拍摄的画面中的清晰度，根据各个运动物体的清晰度来确定各个摄像头的追焦对象。本步骤的原理是：首先对主摄像头追焦获取的预览画面中的各个运动物体进行图像清晰度检测，根据清晰度检测结果判断是否需要控制第二摄像头；如果需要，则控制第二摄像头对预览画面中的清晰度小于清晰度判断阈值并且距离画面中央最近的运动物体(目标)进行追焦，并对第二摄像头追焦获取的画面中的各个运动物体进行图像清晰度检测，根据清晰度检测结果判断是否需要控制第三摄像头，……依次类推，最终确定出能够共同获取到所有运动物体的清晰图像的多个摄像头以及每个摄像头的追焦对象。需说明的是：1、在具体应用场景中，清晰度判断阈值是可调控的，以应对不同成像清晰度的要求。2、摄像头在选择对焦的对象时，是以距离画面中央的远近作为摄像头追焦优先度的评判标准，根据具体的使用场景也可以将运动物体在画面中的成像大小作为摄像头对焦优先度的评判标准。
具体而言，对框定的多个运动物体进行初次对焦的方法为：
S21：控制主摄像头对距离预览画面的中央位置最近的运动物体进行对焦，得到新预览画面，检测新预览画面中各个运动物体的清晰度，得到检测结果。
S22：如果检测结果为存在一个或多个运动物体的清晰度小于清晰度判断阈值，则从剩余摄像头中随机选择一个摄像头(即第二摄像头)，将清晰度小于清晰度判断阈值且距离新预览画面的中央位置最近的运动物体的位置参数传递给随机选择的摄像头(第二摄像头)。
S23：利用随机选择的摄像头(第二摄像头)对位置参数对应的运动物体进行对焦，检测对焦获得的新画面中各运动物体的清晰度，得到检测结果。需说明的是，S23中，清晰度的检测对象不包含前一次对焦获得的清晰度大于清晰度判断阈值的运动物体。
S24：如果S23的检测结果为存在一个或多个运动物体的清晰度小于清晰度判断阈值，则继续从剩余摄像头中随机选择一个摄像头(即第三摄像头)；将S23检测到的清晰度小于清晰度判断阈值且距离新画面的中央位置最近的运动物体的位置参数传递给随机选择的摄像头(第三摄像头)。返回S23，直到所有随机选择的摄像头所获得的清晰度大于清晰度判断阈值的运动物体覆盖了所述预览画面中的全部运动物体，或者直到提前布置的所有摄像头均被选择使用，结束初次对焦。
对框定的多个运动物体进行初次对焦的实施流程可参考图2。其中，检测运动物体的清晰度的方法为：使用Laplacian算子对框定的运动物体所在的图像区域进行模板卷积，得到多个高频分量；将多个高频分量求和，将和值与清晰度判断阈值比较；如果和值大于清晰度判断阈值，则认定该运动物体在摄像机中成像清晰；如果和值小于所述清晰度判断阈值，则认定该运动物体在摄像机中成像模糊。
上述对框定的多个运动物体进行初次对焦的实施流程可参考图2。接下来，结合图3和图4对初次对焦过程及结果做进一步说明如下：
图3为对预览图像中所有运动物体框定完成后的结果图像。该图像可在屏幕中显示。由于图3中，运动物体3离预览画面的中央位置最近，因此主摄像头对运动物体3进行追焦，在追焦获得的新预览画面中，经过对运动物体1-4进行清晰度检测，结果显示运动物体1和运动物体3在主摄像头获取的新预览画面中的清晰度高于清晰度判断阈值，则使用相同的颜色边框进行框定(图3中使用的为虚线)；运动物体2和运动物体4的清晰度均低于清晰度判断阈值，所以使第二摄像头对距离预览画面的中央位置最近的运动物体4进行对焦。
图4为第二摄像头完成对焦后获得的画面。该画面不会显示在屏幕中，而是直接用于图像清晰度检测。经过清晰度检测，由于运动物体2和运动物体4在主摄像头获取的预览画面中的清晰度均小于清晰度判断阈值，因此使用第二摄像头对距离画面中央位置最近的运动物体4进行对焦；在第二摄像头完成对焦之后，再对其余运动物体(除运动物体1、3以外)在第二摄像头获取的新画面中的清晰度进行判断；清晰度判断结果显示，运动物体2和运动物体4的清晰度均高于清晰度判断阈值，所以使用相同的颜色的边框对运动物体4和运动物体2进行框定(图4中使用的为点划线)。
补充说明：1、预览画面由主摄像头提供，用户能够看到的边框框定结果为图3，图4所示的画面不会在预览画面中呈现。2、主摄像头统一参与追焦，整个拍摄过程拍摄器件不发生移动。
S3：采用对框定的多个运动物体进行二次对焦的方式，对初次对焦确定的多个摄像头的个数以及各个摄像头的追焦对象进行动态调整。
S2完成对多个运动物体初次对焦，由于不同摄像头根据拍摄距离等因素的影响拥有不同的景深范围，当使用一个摄像头对一个运动物体进行追踪的同时，画面中的其余运动物体也可能位于该摄像头的景深范围以内，当出现上述情况时可以只使用一个摄像头获取位于该景深范围内的所有运动物体的清晰图像。并且，由于物体不停运动，各个摄像头在对各自的目标进行追焦，将导致各个运动物体在画面中的景深范围不断变化，各个摄像头能够获取的清晰的运动物体目标也不断变化。
基于此，本步骤在S2之后使用多个摄像头对多个运动物体对焦进行动态调节，目的是使用尽可能少的摄像头获取尽可能多的运动物体清晰图像。具体包括以下步骤：
S31：获取每一个运动物体在初次对焦确定的每一个摄像头中的清晰度，得到每一个运动物体对应的多个清晰度。
S32：将每一个运动物体的每一个清晰度与清晰度阈值进行实时比较，得到每一个运动物体对应的比较结果。
S33：对每一个比较结果进行分析；如果分析结果为该比较结果对应的运动物体在至少两个摄像头中的清晰度大于清晰度判断阈值，则执行S33.1；如果分析结果为该比较结果对应的运动物体在摄像头Ci中的清晰度从初次对焦时的大于清晰度判断阈值变为当前的小于清晰度判断阈值，则执行S33.2，i＝1,2,…,n，n表示初次对焦确定的摄像头个数。
S33.1：对该比较结果中清晰度大于清晰度判断阈值的摄像头的数量以及每个摄像头的追焦对象进行动态调整。
S33.2：对摄像头Ci的追焦对象进行动态调整，对除摄像头Ci以外的其余摄像头的个数以及其余每个摄像头的追焦对象进行动态调整。
其中，S33.1包括
A1：将清晰度大于清晰度判断阈值的每个摄像头进行标记。
A2：从标记的所有摄像头中挑选出优先级最高的摄像头，将该比较结果对应的运动物体作为优先级最高的摄像头的追焦对象，同时将该比较结果对应的运动物体从其余被标记的摄像头的追焦对象中移除；摄像头的优先级与初次对焦过程中摄像头的选择顺序对应。
A3：针对其余标记的每个摄像头，执行以下步骤：判断摄像头对焦获得的画面中是否存在清晰度大于清晰度判断阈值的运动物体；若不存在，则将摄像头恢复闲置状态，否则，继续判断摄像头对焦获得的画面中清晰度大于清晰度判断阈值的运动物体的个数；若只存在一个清晰度大于清晰判断阈值的运动物体，则将仅存的运动物体作为摄像头的追焦对象，若存在至少两个清晰判断阈值的运动物体，则对距离画面中央位置最近的一个运动物体进行对焦，检测对焦获得的新画面中各运动物体的清晰度，返回所述S31。
S33.2包括
B1：判断在其余摄像头对焦获得的画面中，该比较结果对应的运动物体的清晰度是否大于清晰度判断阈值；如果在其余每一个摄像头对焦获得的画面中，该比较结果对应的运动物体的清晰度均小于清晰度判断阈值，则判断是否有闲置摄像头，如果有闲置摄像头，则将该比较结果对应运动物体作为闲置摄像头的追焦对象，如果没有闲置摄像头，则放弃对该比较结果对应的运动物体进行追焦；如果其余摄像头对焦获得的画面中，该比较结果对应的运动物体的清晰度大于清晰度判断阈值，则执行B2。
B2：将该比较结果对应运动物体作为其余摄像头的追焦对象。
B3：判断摄像头Ci中是否存在其余运动物体，如果不存在其余运动物体，则将摄像头Ci恢复闲置状态，如果存在其余运动物体，则对距离画面中央位置最近的一个运动物体进行对焦，检测对焦获得的新画面中各运动物体的清晰度，返回所述S31。
上述对框定的多个运动物体进行二次对焦的实施流程参考图5。
S4：对每一个二次对焦后的摄像头执行S41和S42。
S41：预测摄像头在下一次对焦预测位置时的对焦编码值；S42：根据预测的对焦编码值，获取摄像头对预测位置对焦后的景深范围。
本步骤的目的是根据S3中各追焦摄像头连续两次自动对焦时的对焦编码值预测出下一次自动对焦时的对焦编码值，从而预测出各追焦摄像头在预测位置时的景深范围。在进行边框颜色调整的同时，主摄像头和其余负责运动物体追焦的摄像头会一直对各自的运动物体进行连续自动对焦(即追焦)。在连续自动对焦的同时，将各个负责追焦的摄像头的对焦编码值进行保存，以用于之后的预测。
具体而言，S41中，预测摄像头在下一次对焦预测位置时的对焦编码值包括以下步骤：
S41.1：获取摄像头的对焦编码值code1和对焦编码值code2。其中，对焦编码code1为摄像头在初次对焦时获取的对焦编码值，对焦编码值code2为摄像头在二次对焦时获取的对焦编码值。根据codepre＝((code2-code1)+code2)计算获得摄像头在下一次对焦预测位置时的对焦编码值codepre。
对运动物体追焦的镜头需要获取其每次完成自动对焦时对焦编码值。每一个负责追焦的摄像头都需要获取各自的对焦编码值，然后算出各自的预测对焦编码值。例如：初次对焦时获取的对焦编码值为code1，二次对焦时获取的对焦编码值为code2，则预测的对焦编码值codepre＝((code2-code1)+code2)。
S42中，获取摄像头对预测位置对焦后的景深范围包括以下步骤：
建立摄像头像距计算模型，像距、物距和焦距的关系模型，前景深计算模型，以及后景深计算模型。
摄像头像距计算模型的表达式为
Figure BDA0004119110720000141
像距、物距和焦距的关系模型的表达式为
Figure BDA0004119110720000142
前景深计算模型的表达式为
Figure BDA0004119110720000143
后景深计算模型的表达式为
Figure BDA0004119110720000144
其中，SF表示摄像头的远景镜头标定位置，SN表示摄像头的近景镜头标定位置,codeN表示摄像头的近景对焦编码标定值，codeF表示摄像头的远景对焦编码标定值，f表示摄像头的焦距，v表示摄像头的像距，u表示摄像头的物距，ΔL1表示摄像头的前景深，ΔL2表示摄像头的后景深，F表示摄像头的拍摄光圈值，δ表示摄像头的容许弥散圆直径。
将对焦编码值codepre，代入
Figure BDA0004119110720000145
和
Figure BDA0004119110720000146
计算得到摄像头对预测位置对焦后的物距u。
在获得摄像头对预测位置对焦后的物距u之后，根据物距u和摄像头的镜头参数，可以最终确定摄像头对预测位置对焦后的景深范围，即将物距u和摄像头的镜头参数
Figure BDA0004119110720000147
和
Figure BDA0004119110720000148
可以确定出摄像头的前景深ΔL1和后景深ΔL2，处于摄像头的前景深ΔL1和后景深ΔL2之间的范围(包括ΔL1和ΔL2)，即是追焦摄像头对预测位置对焦的景深范围。
根据计算得到的物距u、前景深计算模型和后景深计算模型，计算得到摄像头对预测位置对焦后的景深范围。
S5：将所有的景深范围进行合并，得到全景深范围；根据全景深范围获取每一个二次对焦后的摄像头的预测外景深范围；控制闲置摄像头对预测外景深范围内的静态物体对焦。
首先将各个追焦摄像头的预测景深范围进行合并，然后将全景深范围与预测景深范围作差的结果称为预测外景深范围。如果所有运动物体都在至少一个负责追焦摄像头获取的画面中的清晰度是高于清晰度判断阈值，并且获得的预测景深范围不能完全覆盖整个画面的景深范围的同时还存在闲置摄像头，则控制该闲置摄像头在预测外景深范围内寻找静态物体进行对焦。
寻找静态物体的方式有：
A、以画面中的各个运动物体为中心向画面中距离运动物体最近的小于清晰度判断阈值的物体为目标进行对焦。
B、从预测外景深范围内寻找一个能够覆盖到的最大景深范围内寻一个静态物体。
C、从预测外景深范围内中选最近或者最远的静态物体为目标。
S6：当运动物体移动到预测位置时，控制所有二次对焦后的摄像头同时曝光，得到多张包含多个运动物体的不同景深图像。
需说明的是，在S5完成之后，闲置摄像头会等待运动物体移动到预测位置时再进行拍摄。而当自动对焦马达的驱动芯片上的电流控制端口值等于S4中预测对焦编码值codepre时，即为运动物体移动到预测位置。在此之前，闲置摄像头在S5中已经找到了各自的目标进行了对焦，而各个追焦摄像头一直在对各自的运动物体进行连续的自动对焦。由于预测是对所有运动物体同时进行的，所以各个运动物体也是同时到达各自的预测位置的。
另外，当运动物体移动到预测位置时，对于各个追焦摄像头来说各自追焦的运动物体是清晰的，对于不参与追焦的闲置摄像头而言，此时已经对焦到了预测外景深范围内的目标。所以当运动物体移动到预测位置时，所有摄像头同时曝光(同时曝光的目的是防止进行图像融合时出现位置偏移和运动伪影的情况)，获得多张不同景深范围的图像。
整个拍摄过程所需时间由画面中运动物体的分布决定。运动物体分布越离散所需拍摄时间越长。
具体计算式为：
Figure BDA0004119110720000151
其中FPS为主摄像头的拍摄帧率，N为追焦摄像头的个数，T为追焦摄像头一次自动对焦所需时间。例如：针对单一运动物体或者运动物体较为集中时，只需要主摄像头负责追焦的情况下。那么整个拍摄过程共需要拍摄2帧预览画面图像和3次自动对焦的时间。2帧预览画面图像用于移动检测模块识别出运动物体，第1次和第2次自动对焦用于获取对焦马达电流的变化从而预测出第3次自动对焦时的马达电流，并且根据预测出的马达电流计算预测位置的景深范围从而控制闲置摄像头对焦其余物体，第3次自动对焦时完成最终拍摄。
S7：将不同景深图像进行多焦距图像融合，得到包含多个运动物体的清晰图像。具体包括以下步骤：
S71：提取出每一张景深图像中的特征点，根据提取出的各特征点将所有景深图像对齐。
S72：针对对齐后的每一张景深图像执行S72.1至S72.6，得到重构拉普拉斯金字塔。
S72.1：计算获得景深图像的每一个当前像素点的像素值，得到模糊后图像；当前像素点的像素值通过对当前像素点周边各像素点对应的像素值求平均得到。
S72.2：删除模糊后图像的奇数行和奇数列，得到上层图像。
S72.3：对上层图像多次执行S72.1和S72.2，得到高斯金字塔。本实施例中，对S72.4重复执行了三次，将模糊后的原始图像作为高斯金字塔的最底层，得到的高斯金字塔共有四层，高斯金字塔的层数根据图像的大小可以适当增减，推荐为四层。
S72.4：对高斯金字塔的每一层执行以下步骤：利用当前层的图像减去上一层的图像，得到新一层图像。
S72.5：重复执行S72.4三次，得到拉普拉斯高斯金字塔。需说明的是，重复执行S72.4的次数是由先前得到的高斯金字塔的层数决定，例如S72.3中获得的高斯金字塔为四层，则S72.5中需要执行S72.4三次，执行的次数为高斯金字塔层数减1。
S72.6：将各景深图像对应的拉普拉斯金字塔的每一层图像按照预设权值相加，得到重构拉普拉斯金字塔。
S73：将各景深图像对应的高斯金字塔中的最高层图像按照权重做加法运算，将加法运算结果放大至与重构拉普拉斯金字塔的最高层图像等大。
S74：将放大后的结果与重构拉普拉斯金字塔的顶层图像相加。
S75：将相加的结果放大至与重构拉普拉斯金字塔的下一层图像等大。
S76：将放大后的结果与重构拉普拉斯金字塔的下一层图像相加。
S77：重复执行S75和S76两次，得到包含多个运动物体的清晰图像。需说明的是，由于S74已执行了一次顶层图像相加操作，因此S77的重复执行次数比S72.5的重复执行次数少一次，故只需重复执行两次。
综上所述，本实施例提供的一种获取多运动物体多景深清晰图像的方法，采用基于初次对焦和二次对焦时各摄像头的内部对焦编码值的变化，对各摄像头在下一次对焦预测位置是的对焦编码值进行预测，进而得到摄像头对预测位置对焦时的景深范围，提高运动物体对焦的准确度；根据预测的景深范围控制闲置摄像头对预测景深范围外的静态物体进行对焦，保证最大限度地获得景深范围；当运动物体移动到预测位置时，所有摄像头同时曝光，可有效抑制图像融合伪影，最终获得多个运动物体的清晰图像。
实施例2
本实施例在实施例1的基础上，结合具体实施场景，对实施例2提供的获取多运动物体多景深清晰图像的方法说明如下：
基于假设：共有三个摄像头，一个主摄像头两个辅助摄像头，所有摄像头帧率为60FPS，自动对焦时间为0.05s。拍摄场景为三人同时从滑雪场上滑下来，并且每个人之间存在一定的距离，无法同时将所有人囊括在一个摄像头的景深范围以内。假设三人的滑雪速度不同，最快的滑雪者(H1)速度为60km/h，速度居中滑雪者(H2)速度为40km/h，最慢的滑雪者(H3)速度为30km/h，拍摄位置位于滑雪场下方。
图6所示为滑雪人物和拍摄摄像头位置关系图。摄像头组位于滑雪场的下方，想要同时拍摄清晰距离不同的三个滑雪者。图6中H1的速度为60km/h，H2的速度为40km/h，H3的速度为30km/h。
开始拍摄时，使用主摄像头获取预览画面，预览画面中包含三个滑雪者，之后使用帧间差算法和形态学滤波对主摄摄像头获取的预览画面的ROI区域进行处理，识别到ROI区域内存在三个运动物体，之后控制主摄像头对距离画面中央最近的一个运动物体(即为H3)进行追焦。
图7为主摄像头对H3完成初次对焦之后的预览画面图像。从中可以看出由于H3和H1、H2并不位于相同的景深范围(相对于主摄像头来说)，所以主摄获取的预览画面中H3以及位于H3附近的两棵树木较为清晰(位于相同的景深范围)，而H1、H2以及画面中靠后的六棵树木较为模糊。
对H3对焦之后预览画面中的所有运动物体(即H1、H2、H3)的清晰度和预设的清晰度判断阈值进行比较，结果为H3的清晰度高于清晰度判断阈值，H1、H2的清晰度小于清晰度判断阈值。所以将H3用黄色边框进行标记(图9为虚线边框)，并且控制第二摄像头对小于清晰度判断阈值并且距离画面中央较近的运动物体(即H2)进行追焦。首先需要主摄像头将主摄像头获取的预览画面中H2的位置参数传递给第二摄像头内的校正模块，按照预设好的校正方法对传递参数进行预校正(主要是为了去除主摄像头与第二摄像头所处的物理拍摄位置存在细小的差异而带来的影响)，校正完成之后控制第二摄像头对H2进行追焦。
图8为第二摄像头对H2完成对焦之后预览画面图像。图8与图7进行对比可以得知，图8中的H2以及位于H2相同景深范围内(相对于第二摄像头来说)的两棵树木变清晰，但是H3以及距离H3较近的两棵树木变模糊，而H1以及位于最远处的四棵树木依然模糊。
对H2完成对焦之后再对第二摄像头获取画面中的其余运动物体(即H2、H1)的清晰度和预设的清晰度判断阈值进行比较，结果为H2的清晰度高于清晰度判断阈值，H1的清晰度小于清晰度判断阈值，在第二摄像头中H2的清晰度高于清晰度判断阈值，H1的清晰度小于清晰度判断阈值，所以将H2用红色边框进行标记(图8为点划线边框)，并且接下来控制第三摄像头对小于清晰度判断阈值的运动物体(即H1)进行追焦。首先需要主摄像头将主摄像头获取的预览画面中H1的位置参数传递给第三摄像头内的校正模块，按照预设好的校正方法对传递参数进行预校正(主要是为了去除主摄像头与第三摄像头所处的物理拍摄位置存在细小的差异而带来的影响)，校正完成之后控制第三摄像头对H1进行追焦。
图9为第三摄像头对H1完成对焦之后预览画面图像。图9与图8、图7进行对比可以得知，图9中的H1以及位于H1相同景深范围内(相对于第三摄像头来说)最远的四棵树木变清晰，但是H2、H3以及距离较近的四棵树木变模糊。
由于H1的速度比H2以及H3快很多，所以要是再经过一段时间之后，H1很可能会滑进第二摄像头的景深范围内，此时清晰度比较模块会判断到H1在第二摄像头以及第三摄像头中的清晰度都是高于清晰度判断阈值的，所以控制模块会将H1交个第二摄像头负责拍摄，第三摄像头会恢复闲置状态。
图10所示为由于H1速度很快，滑进了第二摄像头的景深范围以内时第二摄像头获取的新图像。图10与图8进行对比唯一的变化是图10中的H1变清晰了，而此时第三摄像头获取的画面中已经不存在其余的运动物体，所以第三摄像头恢复闲置状态。
在上述的过程之中，主摄像头一直在对H3进行追焦，并且记录下了每次连续自动对焦时对焦编码值。第二摄像头也一直在对H2进行追焦，同时也记录下了每次连续自动对焦时的对焦编码值。本来第三摄像头是对H1进行追焦并且记录了每次连续自动对焦的对焦编码值，但由于H1移动到了第二摄像头的景深范围以内，而使得第三摄像头闲置，故第三摄像头获取的对焦编码值在闲置之后会清空。
有了负责追焦摄像头(主摄像头以及第二摄像头)两次的连续自动对焦编码值，即可预测出各追焦摄像头的下一次自动对焦时所处的景深范围。具体实现流程请参照详细原理中的步骤3。当通过计算式获取到运动物体移动到预测位置时，各个追焦摄像头(主摄像头以及第二摄像头)的景深范围之后，控制模块将各个追焦摄像头获取到景深范围进行合并，并且与全景深范围进行比较。而实例中的比较结果为：各个追焦摄像头在预测位置的合并景深范围并不能完全覆盖画面中的全部景深范围，并且还存在一个空闲摄像头(第三摄像头)。所以接下来控制模块会将第三摄像头对焦到合并预测景深外并且距离画面中央最近的静态物体上(也可以设置为对焦到合并预测景深外最远或者最近的位置)。
为了方便理解增加了图11所示的各追焦摄像头(即主摄像头和第二摄像头)预测景深合并之后的效果图像，图11在实际拍摄过程中并不会存在。图中可以看出所有的运动物体的清晰度都是高于清晰度判断阈值的，但此时画面中较远处的四棵树木仍是模糊的。由于还存一个空闲摄像头(第三摄像头)，所以此时控制模块会控制第三摄像头对焦到合并预测景深外并且距离画面中央最近的静态物体(即T1)上(也可以设置为对焦到合并预测景深外最远或者最近的位置)。
图12所示为闲置摄像头(第三摄像头)对静态物体(T1)对焦的图像。由于T1距离拍摄位置较远，所以当第三摄像头对其对焦之后，景深范围会比较大，具体表现为虽然第三摄像头是对T1进行对焦的，但是远处的四棵树木在第三摄像头获取的图像中都是清晰的。而距离拍摄位置较近的三个运动物体以及前四棵树木会是模糊的。
闲置摄像头对静态物体对焦的过程会在运动物体移动到预测位置之前完成。
当闲置摄像头已找到对焦目标，运动物体移动到预测位置(当各追焦摄像头的实际对焦编码值与预测对焦编码值相等时，即为运动物体移动到预测位置)时，所有摄像头(主摄像头、第二摄像头、第三摄像头)同时曝光。
最后将获得的三张图像通过多聚焦融合技术进行图像融合，最终得到一张能够同时看清三个滑雪者和远处树木的高清晰图像。
图13所示为通过多聚焦图像融合将三个摄像头获得到的不同景深范围图像进行融合之后的最终图像。图中可以看到所有的运动物体以及远处的静态物体都是清晰的。
整个过程需要2帧的预览画面以及4次自动对焦的时间(可见步骤5中的公式5)。先通过2帧预览画面找到运动物体，之后控制主摄像头对H3自动对焦，再控制第二摄像头对H2自动对焦，再控制第三摄像头对H1自动对焦，因为H1跑进第二摄像头拍摄范围内，第三摄像头闲置后对T1自动对焦后最终拍摄。
在最终拍摄时，主摄像头对H3连续自动对焦4次，第二摄像头对H2连续自动对焦3次，第三摄像头对T1自动对焦1次。根据公式5求得整个拍摄时间为1/60×2+(2+2)×0.05≈0.24(s)。所以只需确保运动物体不会在0.24秒之内跑出拍摄画面即可。
各运动物体在拍摄期间移动的距离如下：
H1移动的距离为：60/3.6×0.24＝4(m)。
H2移动的距离为：40/3.6×0.24≈2.7(m)。
H3移动的距离为：30/3.6×0.24＝2(m)。
以现有的单摄像头以及多摄像头获取全景深的方法来处理上述具体实例所获取的最终效果图如下所示：
1、图14所示为针对使用现有的单摄像头获得全景深方法最终获取的效果图。从图14可看出，画面中的静态物体是清晰的，但是运动物体存在严重的伪影问题。对于现有的单摄像头获取全景深的方法，无法在同一时刻获取画面中不同的景深范围，这就会导致当画面中存在运动物体时，在最终的融合图像中会产生运动伪影问题。
2、图15所示为使用现有的多摄像头获得全景深方法最终获取的效果图。从图15可看出，除了距离拍摄位置最近的滑雪者是模糊的以外，其余位置和其余滑雪者都是清晰的。而造成距离拍摄位置最近滑雪者模糊的原因就是对焦不准确。现有的多摄像头获取全景深方法简述为：先使用主摄像头对某一区域对焦然后拍摄一张图像，根据获取的这一张图像来控制其余摄像头来对画面中其余景深范围进行对焦，之后所有摄像头同时曝光，再进行图像融合。该方法的问题在于，可能存在运动物体在主摄像头最初获取的图像中是位于主摄像头的景深范围内的，而在控制其余摄像头对其余景深范围进行对焦时，运动物体移动到了其余位置，而该其余位置原本是不存在任何物体的，从而不在任何摄像头的景深范围内，这就会使得在最终图像中该运动物体是模糊。在主摄像头最初获取的图像中，对于不存在任何物体的景深范围对于成像来说是没有实际价值的，也是无法控制其余摄像头对该位置进行自动对焦的，当然也可以通过调节拍摄参数，强行对不存在任何物体的位置进行对焦，但这会增加所需的摄像头个数并且增加功耗和调节所需时间。
实施例3
与实施例1对应的，本实施例提供一种获取多运动物体多景深清晰图像的装置，包括运动物体识别模块，用于对主摄像头获取的预览画面中的多个运动物体进行识别和框定；
初次对焦模块，用于对框定的多个运动物体进行初次对焦，确定出能够共同获取到所有运动物体的清晰图像的多个摄像头以及每个摄像头的追焦对象，所述追焦对象为多个运动物体中的一个或多个；
二次对焦模块，用于对框定的多个运动物体进行二次对焦，通过二次对焦对初次对焦确定的多个摄像头的个数以及各个摄像头的追焦对象进行动态调整；
对焦编码值预测模块，用于预测摄像头在下一次对焦预测位置时的对焦编码值；
预测景深范围获取模块，用于根据预测的对焦编码值，获取摄像头对预测位置对焦后的景深范围；
全景深范围获取模块，用于将所有的景深范围进行合并，得到全景深范围；
预测外景深范围获取模块，用于根据所述全景深范围获取每一个二次对焦后的摄像头的预测外景深范围；
静态物体对焦模块，用于控制闲置摄像头对预测外景深范围内的静态物体对焦；
多摄像头控制模块，用于控制所有二次对焦后的摄像头同时对移动到预测位置的运动物体进行曝光，得到多张包含多个运动物体的不同景深图像；
多焦距图像融合模块，用于将不同景深图像进行多焦距图像融合，得到包含多个运动物体的清晰图像。
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种获取多运动物体多景深清晰图像的方法，其特征在于，包括以下步骤：
S1：利用主摄像头获取预览画面，对所述预览画面中的多个运动物体进行框定；
S2：通过对框定的多个运动物体进行初次对焦，确定出能够共同获取到所有运动物体的清晰图像的多个摄像头以及每个摄像头的追焦对象，所述追焦对象为多个运动物体中的一个或多个；
S3：采用对框定的多个运动物体进行二次对焦的方式，对初次对焦确定的多个摄像头的个数以及各个摄像头的追焦对象进行动态调整；
S4：对每一个二次对焦后的摄像头执行S41和S42；
S41：预测摄像头在下一次对焦预测位置时的对焦编码值；S42：根据预测的对焦编码值，获取摄像头对预测位置对焦后的景深范围；
S5：将所有的景深范围进行合并，得到全景深范围；根据所述全景深范围获取每一个二次对焦后的摄像头的预测外景深范围；控制闲置摄像头对预测外景深范围内的静态物体对焦；
S6：当运动物体移动到预测位置时，控制所有二次对焦后的摄像头同时曝光，得到多张包含多个运动物体的不同景深图像；
S7：将不同景深图像进行多焦距图像融合，得到包含多个运动物体的清晰图像。
2.根据权利要求1所述的一种获取多运动物体多景深清晰图像的方法，其特征在于，所述S1中，对所述预览画面中的多个运动物体进行框定包括以下步骤：
S11：对所述预览画面中的两帧图像进行灰度化处理，分别从灰度化处理后的两帧图像中提取出对应的ROI区域；
S12：将两个ROI区域中具有相同坐标的所有像素点的像素值进行对应作差，得到多个像素值差值；
S13：针对每一个ROI区域执行以下步骤：将ROI区域中的每个像素点对应的像素值差值与设定阈值比较，将像素值差值大于设定阈值的所有像素点的像素值设置为255，将像素值差值小于所述设定阈值的所有像素点的像素值设置为0；
S14：对所述S13处理后的ROI区域进行形态学滤波；
S15：将所述S14处理后的ROI区域中像素值不为0的区域认定为运动物体所在的图像区域；
S16：使用边框对运动物体所在的图像区域进行框定。
3.根据权利要求1所述的一种获取多运动物体多景深清晰图像的方法，其特征在于，所述S2中，对框定的多个运动物体进行初次对焦包括以下步骤：
S21：控制所述主摄像头对距离所述预览画面的中央位置最近的运动物体进行对焦，得到新预览画面，检测所述新预览画面中各个运动物体的清晰度，得到检测结果；
S22：如果检测结果为存在一个或多个运动物体的清晰度小于清晰度判断阈值，则从剩余摄像头中随机选择一个摄像头，将清晰度小于清晰度判断阈值且距离所述新预览画面的中央位置最近的运动物体的位置参数传递给随机选择的摄像头；
S23：利用随机选择的摄像头对位置参数对应的运动物体进行对焦，检测对焦获得的新画面中各运动物体的清晰度，得到检测结果；所述S23中，清晰度的检测对象不包含前一次对焦获得的清晰度大于清晰度判断阈值的运动物体；
S24：如果检测结果为存在一个或多个运动物体的清晰度小于清晰度判断阈值，则继续从剩余摄像头中随机选择一个摄像头；将S23检测到的清晰度小于清晰度判断阈值且距离新画面的中央位置最近的运动物体的位置参数传递给随机选择的摄像头；返回所述S23，直到所有随机选择的摄像头所获得的清晰度大于清晰度判断阈值的运动物体覆盖了所述预览画面中的全部运动物体，或者直到提前布置的所有摄像头均被选择使用，结束初次对焦。
4.根据权利要求3所述的一种获取多运动物体多景深清晰图像的方法，其特征在于，检测运动物体的清晰度包括以下步骤：
用Laplacian算子对框定的运动物体所在的图像区域进行模板卷积，得到多个高频分量；
将多个高频分量求和，将和值与清晰度判断阈值比较；
如果所述和值大于所述清晰度判断阈值，则认定该运动物体在摄像机中成像清晰；如果所述和值小于所述清晰度判断阈值，则认定该运动物体在摄像机中成像模糊。
5.根据权利要求1所述的一种获取多运动物体多景深清晰图像的方法，其特征在于，所述S3中，对框定的多个运动物体进行二次对焦包括以下步骤：
S31：获取每一个运动物体在初次对焦确定的每一个摄像头中的清晰度，得到每一个运动物体对应的多个清晰度；
S32：将每一个运动物体的每一个清晰度与清晰度阈值进行实时比较，得到每一个运动物体对应的比较结果；
S33：对每一个比较结果进行分析；如果分析结果为该比较结果对应的运动物体在至少两个摄像头中的清晰度大于清晰度判断阈值，则执行S33.1；如果分析结果为该比较结果对应的运动物体在摄像头Ci中的清晰度从初次对焦时的大于清晰度判断阈值变为当前的小于清晰度判断阈值，则执行S33.2，i＝1,2,…,n，n表示初次对焦确定的摄像头个数；
S33.1：对该比较结果中清晰度大于清晰度判断阈值的摄像头的数量以及每个摄像头的追焦对象进行动态调整；
S33.2：对摄像头Ci的追焦对象进行动态调整，对除摄像头Ci以外的其余摄像头的个数以及其余每个摄像头的追焦对象进行动态调整。
6.根据权利要求5所述的一种获取多运动物体多景深清晰图像的方法，其特征在于，所述S33.1包括
A1：将清晰度大于清晰度判断阈值的每个摄像头进行标记；
A2：从标记的所有摄像头中挑选出优先级最高的摄像头，将该比较结果对应的运动物体作为优先级最高的摄像头的追焦对象，同时将该比较结果对应的运动物体从其余被标记的摄像头的追焦对象中移除；摄像头的优先级与初次对焦过程中摄像头的选择顺序对应；
A3：针对其余标记的每个摄像头，执行以下步骤：判断摄像头对焦获得的画面中是否存在清晰度大于清晰度判断阈值的运动物体；若不存在，则将摄像头恢复闲置状态，否则，继续判断摄像头对焦获得的画面中清晰度大于清晰度判断阈值的运动物体的个数；若只存在一个清晰度大于清晰判断阈值的运动物体，则将仅存的运动物体作为摄像头的追焦对象，若存在至少两个清晰判断阈值的运动物体，则对距离画面中央位置最近的一个运动物体进行对焦，检测对焦获得的新画面中各运动物体的清晰度，返回所述S31；
所述S33.2包括
B1：判断在其余摄像头对焦获得的画面中，该比较结果对应的运动物体的清晰度是否大于清晰度判断阈值；如果在其余每一个摄像头对焦获得的画面中，该比较结果对应的运动物体的清晰度均小于清晰度判断阈值，则判断是否有闲置摄像头，如果有闲置摄像头，则将该比较结果对应运动物体作为闲置摄像头的追焦对象，如果没有闲置摄像头，则放弃对该比较结果对应的运动物体进行追焦；如果其余摄像头对焦获得的画面中，该比较结果对应的运动物体的清晰度大于清晰度判断阈值，则执行B2；
B2：将该比较结果对应运动物体作为其余摄像头的追焦对象；
B3：判断摄像头Ci中是否存在其余运动物体，如果不存在其余运动物体，则将摄像头Ci恢复闲置状态，如果存在其余运动物体，则对距离画面中央位置最近的一个运动物体进行对焦，检测对焦获得的新画面中各运动物体的清晰度，返回所述S31。
7.根据权利要求1所述的一种获取多运动物体多景深清晰图像的方法，其特征在于，所述S41中，
预测摄像头在下一次对焦预测位置时的对焦编码值包括以下步骤：
获取摄像头的对焦编码值code1和对焦编码值code2；对焦编码code1为摄像头在初次对焦时获取的对焦编码值，对焦编码值code2为摄像头在二次对焦时获取的对焦编码值；
根据codepre＝((code2-code1)+code2)计算获得摄像头在下一次对焦预测位置时的对焦编码值codepre；
获取摄像头对预测位置对焦后的景深范围包括以下步骤：
建立摄像头像距计算模型，像距、物距和焦距的关系模型，前景深计算模型，以及后景深计算模型；
摄像头像距计算模型的表达式为
Figure FDA0004119110700000041
像距、物距和焦距的关系模型的表达式为
Figure FDA0004119110700000042
前景深计算模型的表达式为
Figure FDA0004119110700000043
后景深计算模型的表达式为
Figure FDA0004119110700000044
其中，SF表示摄像头的远景镜头标定位置，SN表示摄像头的近景镜头标定位置,codeN表示摄像头的近景对焦编码标定值，codeF表示摄像头的远景对焦编码标定值，f表示摄像头的焦距，v表示摄像头的像距，u表示摄像头的物距，ΔL1表示摄像头的前景深，ΔL2表示摄像头的后景深，F表示摄像头的拍摄光圈值，δ表示摄像头的容许弥散圆直径；
根据对焦编码值codepre，像距、物距和焦距的关系模型，以及摄像头像距计算模型，计算得到摄像头对预测位置对焦后的物距u；
根据计算得到的物距u、前景深计算模型和后景深计算模型，计算得到摄像头对预测位置对焦后的景深范围。
8.根据权利要求1所述的一种获取多运动物体多景深清晰图像的方法，其特征在于，所述S5中，控制摄像头对预测外景深范围内的静态物体对焦包括以下步骤：
S51：检测每一个二次对焦后的摄像头中每一个运动物体的清晰度；
S52：根据检测结果，标记出所有的目标摄像头；所述目标摄像头中所有物体的清晰度均大于清晰度判断阈值；
S53：针对每一个目标摄像头，执行以下步骤：将目标摄像头的预测景深范围与目标摄像头获得的整个画面的景深范围进行比较；如果目标摄像头的预测景深范围不能完全覆盖整个画面的景深范围，则执行S53.1；如果目标摄像头的预测景深范围能够完全覆盖整个画面的景深范围，则执行S53.2；
S53.1：判断是否存在闲置摄像头；如果存在至少一个闲置摄像头，则控制一个闲置摄像头在目标摄像头的预测外景深范围内寻找静态物体进行对焦；如果不存在闲置摄像头，则放弃对静态物体进行对焦；
S53.2：判断是否存在闲置摄像头；如果存在至少一个闲置摄像头，则将所有的闲置摄像头断电。
9.根据权利要求1所述的一种获取多运动物体多景深清晰图像的方法，其特征在于，所述S7包括以下步骤：
S71：提取出每一张景深图像中的特征点，根据提取出的各特征点将所有景深图像对齐；
S72：针对对齐后的每一张景深图像执行S72.1至S72.6，得到重构拉普拉斯金字塔；
S72.1：计算获得景深图像的每一个当前像素点的像素值，得到模糊后图像；当前像素点的像素值通过对当前像素点周边各像素点对应的像素值求平均得到；
S72.2：删除模糊后图像的奇数行和奇数列，得到上层图像；
S72.3：对上层图像多次执行S72.1和S72.2，得到高斯金字塔；
S72.4：对高斯金字塔的每一层执行以下步骤：利用当前层的图像减去上一层的图像，得到新一层图像；
S72.5：多次执行S72.4，得到拉普拉斯高斯金字塔；
S72.6：将各景深图像对应的拉普拉斯金字塔的每一层图像按照预设权值相加，得到重构拉普拉斯金字塔；
S73：将各景深图像对应的高斯金字塔中的最高层图像按照权重做加法运算，将加法运算结果放大至与重构拉普拉斯金字塔的最高层图像等大；
S74：将放大后的结果与重构拉普拉斯金字塔的顶层图像相加；
S75：将相加的结果放大至与重构拉普拉斯金字塔的下一层图像等大；
S76：将放大后的结果与重构拉普拉斯金字塔的下一层图像相加；
S77：多次执行S75和S76，得到包含多个运动物体的清晰图像。
10.一种获取多运动物体多景深清晰图像的装置，其特征在于，包括
运动物体识别模块，用于对主摄像头获取的预览画面中的多个运动物体进行识别和框定；
初次对焦模块，用于对框定的多个运动物体进行初次对焦，确定出能够共同获取到所有运动物体的清晰图像的多个摄像头以及每个摄像头的追焦对象，所述追焦对象为多个运动物体中的一个或多个；
二次对焦模块，用于对框定的多个运动物体进行二次对焦，通过二次对焦对初次对焦确定的多个摄像头的个数以及各个摄像头的追焦对象进行动态调整；
对焦编码值预测模块，用于预测摄像头在下一次对焦预测位置时的对焦编码值；
预测景深范围获取模块，用于根据预测的对焦编码值，获取摄像头对预测位置对焦后的景深范围；
全景深范围获取模块，用于将所有的景深范围进行合并，得到全景深范围；
预测外景深范围获取模块，用于根据所述全景深范围获取每一个二次对焦后的摄像头的预测外景深范围；
静态物体对焦模块，用于控制闲置摄像头对预测外景深范围内的静态物体对焦；
多摄像头控制模块，用于控制所有二次对焦后的摄像头同时对移动到预测位置的运动物体进行曝光，得到多张包含多个运动物体的不同景深图像；
多焦距图像融合模块，用于将不同景深图像进行多焦距图像融合，得到包含多个运动物体的清晰图像。
CN202310227663.6A 2023-03-10 2023-03-10 一种获取多运动物体多景深清晰图像的方法及装置 Pending CN116132791A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310227663.6A CN116132791A (zh) 2023-03-10 2023-03-10 一种获取多运动物体多景深清晰图像的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310227663.6A CN116132791A (zh) 2023-03-10 2023-03-10 一种获取多运动物体多景深清晰图像的方法及装置

Publications (1)

Publication Number Publication Date
CN116132791A true CN116132791A (zh) 2023-05-16

Family

ID=86311894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310227663.6A Pending CN116132791A (zh) 2023-03-10 2023-03-10 一种获取多运动物体多景深清晰图像的方法及装置

Country Status (1)

Country Link
CN (1) CN116132791A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015180548A1 (zh) * 2014-05-30 2015-12-03 努比亚技术有限公司 一种实现自动拍摄的方法及装置
CN111866370A (zh) * 2020-05-28 2020-10-30 北京迈格威科技有限公司 合成全景深图像方法、装置、设备、介质及摄像头阵列和组件
CN112532881A (zh) * 2020-11-26 2021-03-19 维沃移动通信有限公司 图像处理方法、装置和电子设备
CN113132620A (zh) * 2019-12-31 2021-07-16 华为技术有限公司 一种图像拍摄方法及相关装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015180548A1 (zh) * 2014-05-30 2015-12-03 努比亚技术有限公司 一种实现自动拍摄的方法及装置
CN113132620A (zh) * 2019-12-31 2021-07-16 华为技术有限公司 一种图像拍摄方法及相关装置
CN111866370A (zh) * 2020-05-28 2020-10-30 北京迈格威科技有限公司 合成全景深图像方法、装置、设备、介质及摄像头阵列和组件
CN112532881A (zh) * 2020-11-26 2021-03-19 维沃移动通信有限公司 图像处理方法、装置和电子设备

Similar Documents

Publication Publication Date Title
US7801432B2 (en) Imaging apparatus and method for controlling the same
CN109922251B (zh) 快速抓拍的方法、装置及系统
US9118842B2 (en) Producing focused videos from single captured video
JP5589527B2 (ja) 撮像装置および追尾被写体検出方法
US10382672B2 (en) Image capturing apparatus and method
US20180225852A1 (en) Apparatus and method for generating best-view image centered on object of interest in multiple camera images
US20100157135A1 (en) Passive distance estimation for imaging algorithms
JP2006211139A (ja) 撮像装置
CN108024058B (zh) 图像虚化处理方法、装置、移动终端和存储介质
US8823863B2 (en) Image capturing apparatus and control method therefor
CN107566741A (zh) 对焦方法、装置、计算机可读存储介质和计算机设备
CN110784653A (zh) 基于飞行时间的动态对焦方法及其摄像装置
US20100026819A1 (en) Method and apparatus for compensating for motion of an autofocus area, and autofocusing method and apparatus using the same
US12096150B2 (en) Image stitching in the presence of a full field of view reference image
CN111355891A (zh) 基于ToF的微距对焦方法、微距拍摄方法及其拍摄装置
US7844172B1 (en) Adaptive autofocus lens positioning
JP2016142999A (ja) 撮像装置及びその制御方法
JP5056136B2 (ja) 画像追尾装置
JP5403111B2 (ja) 画像追尾装置
US9094581B2 (en) Imaging device and distance information detecting method
CN114697528A (zh) 图像处理器、电子设备及对焦控制方法
CN116132791A (zh) 一种获取多运动物体多景深清晰图像的方法及装置
JP2006332900A (ja) 電子カメラおよび画像処理プログラム
JP2603212B2 (ja) カメラにおける自動追尾装置
TWI395473B (zh) 在低亮度場景執行自動對焦之系統與方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination