CN110602381B - 景深检测方法、装置、存储介质及终端 - Google Patents
景深检测方法、装置、存储介质及终端 Download PDFInfo
- Publication number
- CN110602381B CN110602381B CN201910791145.0A CN201910791145A CN110602381B CN 110602381 B CN110602381 B CN 110602381B CN 201910791145 A CN201910791145 A CN 201910791145A CN 110602381 B CN110602381 B CN 110602381B
- Authority
- CN
- China
- Prior art keywords
- image
- angle
- depth
- acquiring
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例公开了一种景深检测方法、装置、存储介质及终端,其中景深检测方法包括:当所述反射镜处于第一角度时,通过所述摄像头采集目标拍摄对象的第一图像;当所述反射镜处于第二角度时,通过所述摄像头采集所述目标拍摄对象的第二图像,其中第一角度与第二角度不等;获取第一图像与第二图像之间的图像差异信息;获取所述摄像头当前的焦距;至少根据所述图像差异信息、所述焦距、第一角度及第二角度,确定所述目标拍摄对象的景深信息。本方案仅通过调整单摄像头内反射镜的角度,便可检测出被测对象的景深信息,无需要附加其他设备配合,在保证景深信息的检测准确性的同时,简化了拍摄设备的内部结构。
Description
技术领域
本申请涉及信息处理技术领域,具体涉及一种景深检测方法、装置、存储介质及终端。
背景技术
随着科技的不断发展,景深信息探测越来越多的进入到日常生活使用的电子产品中,而如何简单方便的得到景深信息成为大家关注的热门话题。
相关技术中,需要在拍摄设备上增加了专门的深度探测模块,如TOF(time offlight,飞行时间)模块或者结构光模块,并将深度信息与摄像头单独拍摄到的景物做重合得到拍摄区域内各景物间的景深信息。然而,该方式需要搭配其他器件(如RGB摄像头)同时使用,拍摄设备的内部结构设计较为复杂。
发明内容
本申请实施例提供一种景深检测方法、装置、存储介质及终端,可在保证景深信息的检测准确性的同时,简化拍摄设备的内部结构。
本申请实施例提供了一种景深检测方法,应用于终端,所述终端具有摄像头,所述摄像头至少包括反射镜和成像镜片组,其中,外界光线可经所述反射镜反射导入所述成像镜片组,所述反射镜可自由转动以调节所述反射镜的反射面相对于所述成像镜片组的入光面的角度;所述方法包括:
当所述反射镜处于第一角度时,通过所述摄像头采集目标拍摄对象的第一图像;
当所述反射镜处于第二角度时,通过所述摄像头采集所述目标拍摄对象的第二图像,其中第一角度与第二角度不等;
获取第一图像与第二图像之间的图像差异信息;
获取所述摄像头当前的焦距;
至少根据所述图像差异信息、所述焦距、第一角度及第二角度,确定所述目标拍摄对象的景深信息。
相应的,本申请实施例还提供了一种景深检测装置,应用于终端,所述终端具有摄像头,所述摄像头至少包括反射镜和成像镜片组,其中,外界光线可经所述反射镜反射导入所述成像镜片组,所述反射镜可自由转动以调节所述反射镜的反射面相对于所述成像镜片组的入光面的角度;所述装置包括:
第一采集单元,用于当所述反射镜处于第一角度时,通过所述摄像头采集目标拍摄对象的第一图像;
第二采集单元,用于当所述反射镜处于第二角度时,通过所述摄像头采集所述目标拍摄对象的第二图像,其中第一角度与第二角度不等;
信息获取单元,用于获取第一图像与第二图像之间的图像差异信息;
焦距获取单元,用于获取所述摄像头当前的焦距;
确定单元,用于至少根据所述图像差异信息、所述焦距、第一角度及第二角度,确定所述目标拍摄对象的景深信息。
相应的,本申请实施例还提供了一种计算机可读存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行如上所述景深检测方法中的步骤。
相应的,本实施例还提供了一种终端,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如上所述景深检测方法中的步骤。
本方案通过调整单摄像头内反射镜的角度,以采集不同角度拍摄下目标拍摄对象的图像信息。通过获取不同角度下的图像信息差异、及拍摄角度、焦距等,便可检测出被测对象的景深信息。从而无需要附加其他设备配合,在保证景深信息的检测准确性的同时,简化了拍摄设备的内部结构。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的摄像头的结构示意图。
图2是本申请实施例提供的景深检测方法的流程示意图。
图3是本申请实施例提供的景深检测方法的另一流程示意图。
图4是本申请实施例提供的景深检测方法的逻辑示意图。
图5是本申请实施例提供的景深检测方法的场景图。
图6是本申请实施例提供的景深检测方法的另一场景图。
图7是本申请实施例提供的景深检测装置的结构示意图。
图8是本申请实施例提供的景深检测装置的另一结构示意图。
图9是本申请实施例提供的终端的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
基于上述问题,本申请实施例提供一种景深检测方法、装置、存储介质及终端。以下分别进行详细说明。需说明的是,以下实施例的顺序不作为对实施例优选顺序的限定。
在一实施例中,将以该第一景深检测装置集成在终端中的角度进行描述。
本实施例提供的景深检测方法,其应用于具有摄像头的终端设备中。参考图1,该摄像头至少可以包括反射镜和成像镜片组。其中,外界光线可经反射镜反射导入成像镜片组,反射镜可自由转动以调节反射镜的反射面相对于成像镜片组的入光面的角度θ。实际应用中,该摄像头具体可以是反射镜可转动的潜望式摄像头。
继续参考图1,该摄像头还可以包括滤光片和感光芯片。其中,反射镜、成像镜片组、滤光片、感光芯片可依次排列构成摄像头。
其中,反射镜用于将拍摄区域的景物的光学信息通过反射传导到成像镜片组,并在感光芯片表面成像。实际应用中,该摄像头内部还可设置有一可翻转角度的驱动结构,该反射镜片可以架设在该驱动结构上,使得在电路驱动下反射镜片可以做特定角度的转动。
成像镜片组可以有多片光学镜片组成,实现转向反射镜片上的光学信息能在感光芯片上清晰成像。其中,该成像镜片组为常规的光学镜头组,材质可为塑胶加玻璃的非球面镜,数量可以为4P、5P、6P等,对此不作限定。
滤光片,可用来选取所需辐射波段的光学器件。根据滤光片的不同特质,可以让不同波段的光线通过以抵达感光芯片处。
感光芯片,可对反射镜和成像镜片组传递过来的光学信息做成像处理。其中,该感光芯片可以为COMS(Complementary Metal-Oxide Semiconductor,互补金属氧化物半导体)芯片。
请参阅图2,图2为本申请实施例提供的景深检测方法的一种流程示意图。该景深检测方法的具体流程可以如下:
101、当反射镜处于第一角度时,通过摄像头采集目标拍摄对象的第一图像。
其中,反射镜具有一反光面,用于对从外界入射的光线进行反射,形成反射光线,并可使反射光线从成像至成像透镜组的入光面导入至该成像透镜组中。具体实施过程中,该反射光线在成像透镜组中经折射后射出,经滤光片过滤后抵达感光芯片。感光芯片将检测到的光信号发送至模数转换器进行信号转换,得到计算机可识别的数字信号,经图像处理器处理后形成最终图像。
本实施例中,该第一角度的取值范围在0°至90°之间,以使外界光线能成功反射至成像透镜组。该第一角度可以是0°至90°之间能够使摄像头可成功采集到清晰图像的任意角度。而目标拍摄对象则可以是任意可拍摄的物体、人物、动植物等等,本申请对此不做具体限定。
102、当反射镜处于第二角度时,通过摄像头采集目标拍摄对象的第二图像,其中第一角度与第二角度不等。
同样的,该第二角度的取值范围在0°至90°之间。该第二角度可以是0°至90°之间能够使摄像头可成功采集到清晰图像的任意角度。需要说明的是,本实施例中第一角度与第二角度的值不相等,第一角度与第二角度需存在角度差。
在本实施例中,在获取不同拍摄角度下目标拍摄对象的图像时,可以通过调节反射镜与成像透镜之间的角度,来搭建不同的拍摄角度。从而实现在单摄像头且无需人为移动拍摄设备的情况下,获取不同角度下拍摄的图像。也即,参考图3,在通过摄像头采集目标拍摄对象的第一图像之后,通过摄像头采集目标拍摄对象的第二图像之前,还可以包括以下流程:
106、获取角度调节指令,该角度调节指令携带角度调节参数;
107、根据角度调节参数,将反射镜的反射面相对于成像镜片组的入光面的角度,从第一角度调节至第二角度。
具体的,在完成第一图像的采集后,可自动触发角度调节指令。具体实施时,可基于预设角度调节规则生成对应的角度调节参数,并基于生成的角度调节参数触发该角度调节指令。
例如,该角度调节参数可以为角度变化量,则调节时可基于当前第一角度的角度值,以指定的角度变化量将当前角度值调大或调小。
又例如,可预先设置多个不同的角度区间,应用时确定第一角度的角度制所处角度区间,然后基于确定的角度区间将当前角度值(及第一角度)调节至一相邻角度区间中的某角度值。
103、获取第一图像与第二图像之间的图像差异信息。
具体的,为了后续景深信息的检测,需获取不同拍摄角度下目标拍摄对象对应图像之间的差异信息。具体的,获取图像差异信息的方式可以有多种。参考图3,在一些实施例中,步骤“获取第一图像与第二图像之间的图像差异信息”,可以包括以下流程:
1031、获取目标拍摄对象对应在第一图像中的第一位置参数、及目标拍摄对象对应在第二图像中的第二位置参数;
1032、获取第一位置参数与第二位置参数之间的参数差异信息;
1033、根据参数差异信息生成图像差异信息。
本实施例中,由于是需要检测拍摄对象的景深信息。因此,在获取相关信息参数时,为减少计算量、节省终端功耗,只需要获取与景深信息强相关的关键信息即可,其余相关度较低或不相关的信息可忽略。
由于对同一拍摄对象进行不同角度的拍摄时,所得到的图像中该拍摄对象会产生不同程度的形变及位置变化。因此,可通过获取目标拍摄对象对应在不同角度图像中的位置的差异,作为图像之间的差异信息的关键参考信息。从而可基于该关键参考信息生成图像差异信息。
在一些实施例中,在获取目标拍摄对象对应在第一图像中的第一位置参数、及目标拍摄对象对应在第二图像中的第二位置参数时,可以包括以下流程:
(11)分别对第一图像、第二图像进行实体识别,得到识别结果;
(12)基于识别结果,从第一图像中确定与目标拍摄对象匹配的第一实体、及从第二图像中确定与目标拍摄对象匹配的第二实体;
(13)根据第一实体在第一图像中的坐标生成第一位置参数、及根据第二实体在第二图像中的坐标生成第二位置参数。
具体的,可以采用图像识别技术,对第一图像和第二图像进行实体识别,从中识别出所有拍摄到的实体对象。然后,基于图像特征的匹配规则,从第一图像中识别出的实体对象中选取与目标拍摄对象匹配的第一实体。同样的,基于图像特征的匹配规则,从第二图像中选取与目标拍摄对象匹配的第二实体。
然后,可以将第一图像设定成一坐标系,并确定出所选取的第一实体在第一图像中的坐标,并基于该坐标生成目标拍摄对象对应在第一图像中的位置参数。同样的,将第二图像设定成一坐标系,并确定出所选取的第二实体在第二图像中的坐标,并基于该坐标生成目标拍摄对象对应在第二图像中的位置参数。其中,该坐标系可以是二维坐标系。
实际应用中,若第一图像与第二图像的成像比例不同(如第一图像与拍摄对象的比例为1:5,第二图像与拍摄对象的比例为1:10),为保证所需参数的准确性,需将第一图像与第二图像的成像比例转换为一致相同。在一些实施例中,步骤“获取第一位置参数与第二位置参数之间的参数差异信息”,可以包括以下流程:
(21)调整第一图像和/或第二图像的成像比例,得到相同成像比例的第一图像和第二图像;
(22)基于调整后的成像比例,对第一位置参数与第二位置参数进行调整,得到调整后的第一位置参数和调整后的第二位置参数;
(23)获取调整后的第一位置参数与调整后的第二位置参数之间的参数差异信息。
具体的,可以将第一图像进行缩放处理,以使第一图像与拍摄对象的比例等于第二图像与拍摄对象的比例;或者,可以将第二图像进行缩放处理,以使第二图像与拍摄对象的比例等于第一图像与拍摄对象的比例。
然后,基于对图像的缩放比例(即调整后的成像比例),相应的也基于该缩放比例对位置参数进行调整。最后,对调整后的第一位置参数与调整后的第二位置参数计算参数差值,以得到参数差异信息。
104、获取摄像头当前的焦距。
其中,焦距即焦点到光心的距离。具体实施时,可获取该摄像头本身的相机参数,并从该相机参数中筛选出焦距信息。
105、至少根据图像差异信息、焦距、第一角度及第二角度,确定目标拍摄对象的景深信息。
其中,在摄像头聚焦完成后,焦点前后的范围内所呈现的清晰图像,这一前一后的距离范围,便是景深。
在一些实施例中,步骤“至少根据图像差异信息、焦距、第一角度及第二角度,确定目标拍摄对象的景深信息”,可以包括以下流程:
(31)基于图像差异信息确定第一图像与第二图像之间的视差距离;
(32)根据第一角度、第二角度、视差距离及焦距,计算得到第一图像对应的虚拟光圈、及第二图像对应的虚拟光圈之间的中心距离;
(33)根据视差距离、焦距、及中心距离,计算目标拍摄对象的景深信息。
具体的,对于目标拍摄对象而言,第一图像和第二图像相当于不同的视点。因此,可获取第一图像的成像中心与第二图像的成像中心之间的距离差值,作为第一图像与第二图像之间的视差距离。另外,第一角度与第二角度之间的角度差,则第一图像和第二图像的视差角。
由于对于目标拍摄对象而言,第一图像和第二图像相当于不同的视点(即成像点),因此也对应有不同的虚拟光圈。需要说明的是此处的虚拟光圈并非相机光圈。而是基于不同成像点衍生出的假想光圈,目的是为了确定虚拟基线(即中心距离),以便基于视差距离与中心距离之间的比值、及焦距与景深的比值之间对等关系,计算得到景深。
具体实施时,在根据视差距离、焦距、及中心距离,计算目标拍摄对象的景深信息时,具体可以计算中心距离与视差距离的比值,然后根据比值和焦距计算得到目标拍摄对象的景深信息。实际应用中,可直接计算该比值与焦距的乘积,并将该乘积值得到目标拍摄对象体的景深信息。
实际应用中,考虑到由于拍摄设备可能还存在手持抖动或摆放倾斜的情况,可能造成成像结果受这些因素的影响。因此,为提升景深检测结果的准确性,可将这些因素造成的影响给抵消扣除。因此,在一些实施例中,继续参考图3,在至少根据所述图像差异信息、焦距、第一角度及第二角度确定目标拍摄对象的景深信息之前,还可以包括以下流程:
108、获取采集第一图像时终端的方位信息、与采集第二图像时终端的方位信息之间的方位差异信息。
则,在至少根据图像差异信息、焦距、第一角度及第二角度,确定目标拍摄对象的景深信息,具体可以为流程:
1051、根据图像差异信息、焦距、第一角度、第二角度及方位差异信息,确定目标拍摄对象的景深信息。
在一些实施例中,方位差异信息可以包括角度变化量和位移变化量。步骤“根据图像差异信息、焦距、第一角度、第二角度及方位差异信息,确定目标拍摄对象的景深信息”,可以包括以下流程:
(41)基于角度变化量对第二角度进行处理,得到第三角度;
(42)基于位移变化量对图像差异信息进行处理,得到处理后的图像差异信息;
(43)根据焦距、第一角度、第三角度及处理后的图像差异信息,确定目标拍摄对象的景深信息。
具体的,确定反射镜的转动方向,并获取该角度变化量在该转动方向上的角度分量,并基于该角度分量的方向与旋转方向之间的关系、以及该角度分量的大小,对第二角度进行增加或减小处理,以得到第三角度值。例如,该角度分量的方向与旋转方向相同,则对第二角度与该角度分量求和处理,以得到第三角度;该角度分量的方向与旋转方向相反,则对第二角度与该角度分量做差处理,以得到第三角度。
在一些实施例中,在确定目标拍摄对象的景深信息之后,还可以根据景深信息对第一图像和第二图像进行合成处理,得到目标拍摄对象的深度图像。
本实施例提供的景深检测方法,通过摄像头分别采集当反射镜处于第一角度、及第二角度时,目标拍摄对象的第一图像和第二图像,并获取第一图像与第二图像之间的图像差异信息。然后,根据摄像头当前的焦距、该图像差异信息、第一角度及第二角度,确定目标拍摄对象的景深信息。本方案仅通过调整单摄像头内反射镜的角度,便可检测出被测对象的景深信息,无需要附加其他设备配合,在保证景深信息的检测准确性的同时,简化了拍摄设备的内部结构。
参考图4至图6,图4为本申请实施例提供的景深检测方法的逻辑示意图;图5为本申请实施例提供的景深检测方法的场景图;图6为本申请实施例提供的景深检测方法的另一场景图。下面将对本申请实施例做详细描述。
本实施例中,可在终端的摄像头内部设置驱动结构,用以驱动反射镜做精确角度的旋转,并配合拍摄对应角度状态下目标拍摄对象的图像。例如,参考图4,终端可采用单镜头潜望式摄像头模组,并搭载IMU(Inertial measurementunit,惯性测量单元)检测模块,对目标拍摄对象进行景深检测。本实施例中,可在潜望式摄像头模组中增加一个MEMS(Micro-Electro-Mechanical System,微机电系统)驱动模块(包含但不限于磁性线圈驱动模块、记忆金属形变驱动模块、微型步进电机驱动模块等),并使其能够驱动潜望式摄像头模组中的反射镜可以实现精确角度的转动(单轴或多轴),其转动的角度可由电压或电流等电信号精确控制并实现数据量化。
结合图4和图5,对于两个目标拍摄对象,将其在二维坐标系中的位置分别记作(Xs0,Ys0)和(Xh0,Yh0)。当反射镜处于初始角度(即θ1)时,拍摄得到目标拍摄对象的第一图像。其中,目标拍摄对象对应在第一图像中的位置可记作(Xs1,Ys1)及(Xh1,Yh1)。参考图6,在电路的驱动下反射镜转动,将反射镜调节至处于角度(θ2),并拍摄得到目标拍摄对象的第二图像。其中,目标拍摄对象对应在第一图像中的位置可记作(Xs2,Ys2)及(Xh2,Yh2)。
由于转向反射镜片的转动速度可以非常快速,达到毫秒级,可以假设所拍摄对象的位置并没有变化,两张图像相差仅仅和转向反射镜片的转动角度有关。由于反射镜旋转角度已知,两张图像中拍摄对象的特征点的位置差异也可以计算。因此,即可推算出两张图像中各个实体对象间的相对位置情况。
实际应用中,还可通过IMU模块检测由于设备本体外力作用下产生的位移或角度变化等姿态变化,并将数据上报算法处理模块。通过算法完成像差比对得出景深初始数据后,再扣除因外力影响下造成的相位偏差,通过算法融合,最终得到景深信息的准确数据。最后,通过得到的景深数据对目标拍摄对象的图像进行处理,可输出得到目标拍摄对象的深度图像。
例如,继续参考图5和图6。当摄像头处于拍摄状态,反射镜处于角度θ1时,反射镜将被拍摄物体发射过来的光线折射向感光芯片方向。而由于反射镜转轴轴心与感光芯片的成像面间距离为定值。在套用镜头参数(不同的镜片参数组合使得这个参数存在差异)对应的对焦参数后,可以确定反射镜上的被摄物与感光芯片中同一被摄物的距离参数L,同时记录被摄物在成像面中的坐标(Xs1,Ys1),并将其做为基准初始参数保留。然后,反射镜沿转轴轴心转动到角度θ2,求取转动角度差值(θ2-θ1)。由于反射镜中景物与成像面中景物的距离L并未改变(由于反射镜只转动并而未移动、感光芯片的成像面固定、镜头组未变,因此距离L不变)。由于反射镜的转动,对应被摄物在成像面上的成像坐标发生变化(Xs2,Ys2),因而在算法中套用角度差值(θ2-θ1),距离参数L,被摄物坐标参数差值(Xs2-Xs1,Ys2-Ys1),最终计算出相应的被摄物与该拍摄模块间的实际距离。
为便于更好的实施本申请实施例提供的景深检测方法,本申请实施例还提供一种基于上述景深检测方法的装置。其中名词的含义与上述景深检测方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图7,图7为本申请实施例提供的一种景深检测装置的结构示意图。其中,该景深检测装置400可以集成在智能手机、平板电脑、VR设备、AR设备等终端设备中。本实施例中,该终端设备具有摄像头,该摄像头至少包括依次排列的反射镜和成像镜片组,其中,外界光线可经反射镜反射导入成像镜片组,反射镜可自由转动以调节反射镜的反射面相对于成像镜片组的入光面的角度。该景深检测装置400可以包括第一采集单元401、第二采集单元402、信息获取单元403、焦距获取单元404及确定单元405,具体可以如下:
第一采集单元401,用于当所述反射镜处于第一角度时,通过所述摄像头采集目标拍摄对象的第一图像;
第二采集单元402,用于当所述反射镜处于第二角度时,通过所述摄像头采集所述目标拍摄对象的第二图像,其中第一角度与第二角度不等;
信息获取单元403,用于获取第一图像与第二图像之间的图像差异信息;
焦距获取单元404,用于获取所述摄像头当前的焦距;
确定单元405,用于至少根据所述图像差异信息、所述焦距、第一角度及第二角度,确定所述目标拍摄对象的景深信息。
参考图8,在一些实施例中,该装置400可以包括:
指令获取单元406,用于在通过所述摄像头采集目标拍摄对象的第一图像之后,通过所述摄像头采集所述目标拍摄对象的第二图像之前,获取角度调节指令,所述角度调节指令携带角度调节参数;
调节单元407,用于根据所述角度调节参数,将所述反射镜的反射面相对于所述成像镜片组的入光面的角度,从第一角度调节至第二角度。
在一些实施例中,信息获取单元403可以包括:
位置获取子单元,用于获取所述目标拍摄对象对应在所述第一图像中的第一位置参数、及所述目标拍摄对象对应在所述第二图像中的第二位置参数;
差异获取子单元,用于获取第一位置参数与第二位置参数之间的参数差异信息;
生成子单元,用于根据所述参数差异信息生成所述图像差异信息。
在一些实施例中,位置获取子单元可以用于:
分别对第一图像、第二图像进行实体识别,得到识别结果;
基于所述识别结果,从第一图像中确定与所述目标拍摄对象匹配的第一实体、及从第二图像中确定与所述目标拍摄对象匹配的第二实体;
根据第一实体在第一图像中的坐标生成第一位置参数、及根据第二实体在第二图像中的坐标生成第二位置参数。
在一些实施例中,差异获取子单元可以用于:
调整第一图像和/或第二图像的成像比例,得到相同成像比例的第一图像和第二图像;
基于调整后的成像比例,对第一位置参数与第二位置参数进行调整,得到调整后的第一位置参数和调整后的第二位置参数;
获取调整后的第一位置参数与调整后的第二位置参数间的参数差异信息。
在一些实施例中,确定单元405可以包括:
确定子单元,用于基于所述图像差异信息确定第一图像与第二图像之间的视差距离;
第一计算子单元,用于根据第一角度、第二角度、所述视差距离及所述焦距,计算得到第一图像对应的虚拟光圈、及第二图像对应的虚拟光圈之间的中心距离;
第二计算子单元,用于根据所述视差距离、所述焦距、及所述中心距离,计算所述目标拍摄对象的景深信息。
在一些实施例中,第二计算子单元可以用于:
计算所述中心距离与所述视差距离的比值;
根据所述比值和所述焦距计算得到所述目标拍摄对象的景深信息。
在一些实施例中,装置400还可以包括:
方位获取单元,用于在至少根据所述图像差异信息、所述焦距、第一角度及第二角度,确定所述目标拍摄对象的景深信息之前,获取采集第一图像时所述终端的方位信息、与采集第二图像时所述终端的方位信息之间的方位差异信息;
确定单元405具体可以用于:
根据所述图像差异信息、所述焦距、第一角度、第二角度及所述方位差异信息,确定所述目标拍摄对象的景深信息。
在一些实施例中,方位差异信息可以包括角度变化量和位移变化量;确定单元405进一步可以用于:
基于所述角度变化量对第二角度进行处理,得到第三角度;
基于所述位移变化量对所述图像差异信息进行处理,得到处理后的图像差异信息;
根据所述焦距、第一角度、第三角度及处理后的图像差异信息,确定所述目标拍摄对象的景深信息。
在一些实施例中,装置400还可以包括:
合成单元,用于在确定所述目标拍摄对象的景深信息后,根据所述景深信息对第一图像和第二图像进行合成处理,得到所述目标拍摄对象的深度图像。
本申请实施例提供的景深检测装置,通过摄像头分别采集当所述反射镜处于第一角度、及第二角度时,目标拍摄对象的第一图像和第二图像,并获取第一图像与第二图像之间的图像差异信息。然后,根据摄像头当前的焦距、该图像差异信息、第一角度及第二角度,确定目标拍摄对象的景深信息。本方案仅通过调整单摄像头内反射镜的角度,便可检测出被测对象的景深信息,无需要附加其他设备配合,在保证景深信息的检测准确性的同时,简化了拍摄设备的内部结构。
本申请实施例还提供一种终端。如图9所示,该终端可以包括射频(RF,RadioFrequency)电路601、包括有一个或一个以上计算机可读存储介质的存储器602、输入单元603、显示单元604、传感器605、音频电路606、无线保真(WiFi,Wireless Fidelity)模块607、包括有一个或者一个以上处理核心的处理器608、电源609、及摄像头610等部件。本领域技术人员可以理解,图9中示出的终端结构并不构成对终端的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
RF电路601可用于收发信息过程中,信号的接收和发送,特别地,将基站的下行信息接收后,交由一个或者一个以上处理器608处理;另外,将涉及上行的数据发送给基站。通常,RF电路601包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM,Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA,LowNoise Amplifier)、双工器等。此外,RF电路601还可以通过无线通信与网络和其他设备通信。
存储器602可用于存储软件程序以及模块,处理器608通过运行存储在存储器602的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等。此外,存储器602可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器602还可以包括存储器控制器,以提供处理器608和输入单元603对存储器602的访问。
输入单元603可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地,在一个具体的实施例中,输入单元603可包括触敏表面以及其他输入设备。触敏表面,也称为触摸显示屏或者触控板,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作),并根据预先设定的程式驱动相应的连接装置。除了触敏表面,输入单元603还可以包括其他输入设备。具体地,其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元604可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元604可包括显示面板,可选的,可以采用液晶显示器(LCD,Liquid Crystal Display)、有机发光二极管(OLED,Organic Light-Emitting Diode)等形式来配置显示面板。进一步的,触敏表面可覆盖显示面板,当触敏表面检测到在其上或附近的触摸操作后,传送给处理器608以确定触摸事件的类型,随后处理器608根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图9中,触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能,但是在某些实施例中,可以将触敏表面与显示面板集成而实现输入和输出功能。
终端还可包括至少一种传感器605,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板的亮度,接近传感器可在终端移动到耳边时,关闭显示面板和或或背光。
音频电路606、扬声器,传声器可提供用户与终端之间的音频接口。音频电路606可将接收到的音频数据转换后的电信号,传输到扬声器,由扬声器转换为声音信号输出;另一方面,传声器将收集的声音信号转换为电信号,由音频电路606接收后转换为音频数据,再将音频数据输出处理器608处理后,经RF电路601以发送给比如终端,或者将音频数据输出至存储器602以便进一步处理。音频电路606还可能包括耳塞插孔,以提供外设耳机与终端的通信。
WiFi属于短距离无线传输技术,终端通过WiFi模块607可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图9示出了WiFi模块607,但是可以理解的是,其并不属于终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
处理器608是终端的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器602内的软件程序和或或模块,以及调用存储在存储器602内的数据,执行终端的各种功能和处理数据,从而对手机进行整体监控。可选的,处理器608可包括一个或多个处理核心;优选的,处理器608可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器608中。
终端还包括给各个部件供电的电源609(比如电池),优选的,电源可以通过电源管理系统与处理器608逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源609还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
本实施例中,摄像头610为单摄像头。该摄像头610至少可以包括依次排列的反射镜、成像镜片组、滤光片、感光芯片。其中,外界光线可经反射镜反射导入所述成像镜片组,反射镜可自由转动以调节反射镜的反射面相对于成像镜片组的入光面的角度。实际应用中,该摄像头还可以包括驱动结构,用以驱动该反射镜转动。
具体在本实施例中,终端中的处理器608会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中,并由处理器608来运行存储在存储器602中的应用程序,从而实现各种功能:
获取不同时间点下目标账户的账户使用信息和设备使用信息,账户使用信息至少包括:目标账户本身的使用信息,设备使用信息至少包括:登录过目标账户的设备的使用信息;
当所述反射镜处于第一角度时,通过所述摄像头采集目标拍摄对象的第一图像;
当所述反射镜处于第二角度时,通过所述摄像头采集所述目标拍摄对象的第二图像,其中第一角度与第二角度不等;
获取第一图像与第二图像之间的图像差异信息;
获取所述摄像头当前的焦距;
至少根据所述图像差异信息、所述焦距、第一角度及第二角度,确定所述目标拍摄对象的景深信息。
本方案通过调整单摄像头内反射镜的角度,以采集不同角度拍摄下目标拍摄对象的图像信息。通过获取不同角度下的图像信息差异、及拍摄角度、焦距等,便可检测出被测对象的景深信息。从而无需要附加其他设备配合,在保证景深信息的检测准确性的同时,简化了拍摄设备的内部结构。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请实施例提供一种计算机可读存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本申请实施例所提供的任一种景深检测方法中的步骤。例如,该指令可以执行如下步骤:
当所述反射镜处于第一角度时,通过所述摄像头采集目标拍摄对象的第一图像;当所述反射镜处于第二角度时,通过所述摄像头采集所述目标拍摄对象的第二图像,其中第一角度与第二角度不等;获取第一图像与第二图像之间的图像差异信息;获取所述摄像头当前的焦距;至少根据所述图像差异信息、所述焦距、第一角度及第二角度,确定所述目标拍摄对象的景深信息。
以上各个操作的具体实施可参见前面的实施例,在此不再赘述。
其中,该存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令,可以执行本申请实施例所提供的任一种景深检测方法中的步骤,因此,可以实现本申请实施例所提供的任一种景深检测方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请实施例所提供的景深检测方法、装置、存储介质及终端进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (13)
1.一种景深检测方法,应用于终端,其特征在于,所述终端具有摄像头,所述摄像头至少包括反射镜和成像镜片组,其中,外界光线可经所述反射镜反射导入所述成像镜片组,所述反射镜可自由转动以调节所述反射镜的反射面相对于所述成像镜片组的入光面的角度;所述方法包括:
当所述反射镜处于第一角度时,通过所述摄像头采集目标拍摄对象的第一图像;
当所述反射镜处于第二角度时,通过所述摄像头采集所述目标拍摄对象的第二图像,其中所述第一角度与所述第二角度不等;
获取所述第一图像与所述第二图像之间的图像差异信息;
获取所述摄像头当前的焦距;
获取采集第一图像与第二图像时所述终端的角度变化量和位移变化量;
基于所述角度变化量对第二角度进行处理,得到第三角度;
基于所述位移变化量对所述图像差异信息进行处理,得到处理后的图像差异信息;
根据所述焦距、第一角度、第三角度及处理后的图像差异信息,确定所述目标拍摄对象的景深信息。
2.根据权利要求1所述的景深检测方法,其特征在于,在通过所述摄像头采集目标拍摄对象的第一图像之后,通过所述摄像头采集所述目标拍摄对象的第二图像之前,还包括:
获取角度调节指令,所述角度调节指令携带角度调节参数;
根据所述角度调节参数,将所述反射镜的反射面相对于所述成像镜片组的入光面的角度,从第一角度调节至第二角度。
3.根据权利要求1所述的景深检测方法,其特征在于,所述获取所述第一图像与所述第二图像之间的图像差异信息,包括:
获取所述目标拍摄对象对应在所述第一图像中的第一位置参数、及所述目标拍摄对象对应在所述第二图像中的第二位置参数;
获取所述第一位置参数与所述第二位置参数之间的参数差异信息;
根据所述参数差异信息生成所述图像差异信息。
4.根据权利要求3所述的景深检测方法,其特征在于,所述获取所述目标拍摄对象对应在所述第一图像中的第一位置参数、及所述目标拍摄对象对应在所述第二图像中的第二位置参数,包括:
分别对所述第一图像、所述第二图像进行实体识别,得到识别结果;
基于所述识别结果,从所述第一图像中确定与所述目标拍摄对象匹配的第一实体、及从所述第二图像中确定与所述目标拍摄对象匹配的第二实体;
根据所述第一实体在所述第一图像中的坐标生成第一位置参数、及根据所述第二实体在所述第二图像中的坐标生成第二位置参数。
5.根据权利要求3所述的景深检测方法,其特征在于,所述获取所述第一位置参数与所述第二位置参数之间的参数差异信息,包括:
调整所述第一图像和/或所述第二图像的成像比例,得到相同成像比例的第一图像和第二图像;
基于调整后的成像比例,对第一位置参数与第二位置参数进行调整,得到调整后的第一位置参数和调整后的第二位置参数;
获取调整后的第一位置参数与调整后的第二位置参数之间的参数差异信息。
6.根据权利要求1所述的景深检测方法,其特征在于,至少根据所述图像差异信息、所述焦距、所述第一角度及所述第二角度,确定所述目标拍摄对象的景深信息,包括:
基于所述图像差异信息确定所述第一图像与所述第二图像之间的视差距离;
根据所述第一角度、所述第二角度、所述视差距离及所述焦距,计算得到所述第一图像对应的虚拟光圈和所述第二图像对应的虚拟光圈之间的中心距离;
根据所述视差距离、所述焦距、及所述中心距离,计算所述目标拍摄对象的景深信息。
7.根据权利要求6所述的景深检测方法,其特征在于,根据所述视差距离、所述焦距、及所述中心距离,计算所述目标拍摄对象的景深信息,包括:
计算所述中心距离与所述视差距离的比值;
根据所述比值和所述焦距计算得到所述目标拍摄对象的景深信息。
8.根据权利要求1至7任一项所述的景深检测方法,其特征在于,在确定所述目标拍摄对象的景深信息之后,还包括:
根据所述景深信息对所述第一图像和所述第二图像进行合成处理,得到所述目标拍摄对象的深度图像。
9.一种景深检测装置,应用于终端,其特征在于,所述终端具有摄像头,所述摄像头至少包括反射镜和成像镜片组,其中,外界光线可经所述反射镜反射导入所述成像镜片组,所述反射镜可自由转动以调节所述反射镜的反射面相对于所述成像镜片组的入光面的角度;所述装置包括:
第一采集单元,用于当所述反射镜处于第一角度时,通过所述摄像头采集目标拍摄对象的第一图像;
第二采集单元,用于当所述反射镜处于第二角度时,通过所述摄像头采集所述目标拍摄对象的第二图像,其中所述第一角度与所述第二角度不等;
信息获取单元,用于获取所述第一图像与所述第二图像之间的图像差异信息;
焦距获取单元,用于获取所述摄像头当前的焦距;
方位获取单元,用于获取采集第一图像与第二图像时所述终端的角度变化量和位移变化量;
确定单元,用于基于所述角度变化量对第二角度进行处理,得到第三角度;基于所述位移变化量对所述图像差异信息进行处理,得到处理后的图像差异信息;根据所述焦距、第一角度、第三角度及处理后的图像差异信息,确定所述目标拍摄对象的景深信息。
10.根据权利要求9所述的景深检测装置,其特征在于,还包括:
指令获取单元,用于在通过所述摄像头采集目标拍摄对象的第一图像之后,通过所述摄像头采集所述目标拍摄对象的第二图像之前,获取角度调节指令,所述角度调节指令携带角度调节参数;
调节单元,用于根据所述角度调节参数,将所述反射镜的反射面相对于所述成像镜片组的入光面的角度,从第一角度调节至第二角度。
11.根据权利要求10所述的景深检测装置,其特征在于,所述确定单元包括:
确定子单元,用于基于所述图像差异信息确定所述第一图像与所述第二图像之间的视差距离;
第一计算子单元,用于根据所述第一角度、所述第二角度、所述视差距离及所述焦距,计算得到所述第一图像对应的虚拟光圈和所述第二图像对应的虚拟光圈之间的中心距离;
第二计算子单元,用于根据所述视差距离、所述焦距、及所述中心距离,计算所述目标拍摄对象的景深信息。
12.一种计算机可读存储介质,其特征在于,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至8任一项所述的景深检测方法的步骤。
13.一种终端,包括存储器,处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至8任一项所述景深检测方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910791145.0A CN110602381B (zh) | 2019-08-26 | 2019-08-26 | 景深检测方法、装置、存储介质及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910791145.0A CN110602381B (zh) | 2019-08-26 | 2019-08-26 | 景深检测方法、装置、存储介质及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110602381A CN110602381A (zh) | 2019-12-20 |
CN110602381B true CN110602381B (zh) | 2020-10-13 |
Family
ID=68855605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910791145.0A Active CN110602381B (zh) | 2019-08-26 | 2019-08-26 | 景深检测方法、装置、存储介质及终端 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110602381B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111953906A (zh) * | 2020-08-26 | 2020-11-17 | 深圳传音控股股份有限公司 | 图像处理方法、装置及计算机可读存储介质 |
CN114081478A (zh) * | 2021-11-26 | 2022-02-25 | 河南九州网络科技有限公司 | 一种运动状况动态监测终端及使用者身份判定方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102168954A (zh) * | 2011-01-14 | 2011-08-31 | 浙江大学 | 基于单目摄像机的深度、深度场及物体大小的测量方法 |
CN203982058U (zh) * | 2014-02-27 | 2014-12-03 | 台湾东电化股份有限公司 | 相机模组的反射镜结构以及照相装置 |
CN207623608U (zh) * | 2017-09-30 | 2018-07-17 | 北京小米移动软件有限公司 | 摄像头模组及电子设备 |
CN108492356A (zh) * | 2017-02-13 | 2018-09-04 | 苏州宝时得电动工具有限公司 | 增强现实系统及其控制方法 |
CN108989676A (zh) * | 2018-07-27 | 2018-12-11 | 苏州睿仟医疗科技有限公司 | 一种增加反射元件提高景深的自动聚焦装置及自动聚焦方法 |
CN109923585A (zh) * | 2016-10-26 | 2019-06-21 | 华为技术有限公司 | 使用立体图像进行深度检测的方法和装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101684194B1 (ko) * | 2015-12-17 | 2016-12-07 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 초점 맞는 피사체 거리 스캔(focusing distance scan)을 통하여 깊이 정확도를 향상시키는 멀티 애퍼처 카메라 시스템 |
CN107948470B (zh) * | 2017-11-22 | 2020-07-10 | 德淮半导体有限公司 | 摄像头模块和移动设备 |
-
2019
- 2019-08-26 CN CN201910791145.0A patent/CN110602381B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102168954A (zh) * | 2011-01-14 | 2011-08-31 | 浙江大学 | 基于单目摄像机的深度、深度场及物体大小的测量方法 |
CN203982058U (zh) * | 2014-02-27 | 2014-12-03 | 台湾东电化股份有限公司 | 相机模组的反射镜结构以及照相装置 |
CN109923585A (zh) * | 2016-10-26 | 2019-06-21 | 华为技术有限公司 | 使用立体图像进行深度检测的方法和装置 |
CN108492356A (zh) * | 2017-02-13 | 2018-09-04 | 苏州宝时得电动工具有限公司 | 增强现实系统及其控制方法 |
CN207623608U (zh) * | 2017-09-30 | 2018-07-17 | 北京小米移动软件有限公司 | 摄像头模组及电子设备 |
CN108989676A (zh) * | 2018-07-27 | 2018-12-11 | 苏州睿仟医疗科技有限公司 | 一种增加反射元件提高景深的自动聚焦装置及自动聚焦方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110602381A (zh) | 2019-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109788089B (zh) | 微距成像的方法及终端 | |
US10447908B2 (en) | Electronic device shooting image | |
US11108953B2 (en) | Panoramic photo shooting method and apparatus | |
CN113647094B (zh) | 用于在视频中提供焦外成像效果的电子设备、方法和计算机可读介质 | |
CN112840634B (zh) | 用于获得图像的电子装置及方法 | |
US11048923B2 (en) | Electronic device and gesture recognition method thereof | |
CN110300267B (zh) | 拍照方法和终端设备 | |
CN109218481B (zh) | 成像模组、终端设备及变焦方法 | |
CN106331438A (zh) | 镜头对焦方法、装置及移动设备 | |
CN109905603A (zh) | 一种拍摄处理方法及移动终端 | |
CN110602381B (zh) | 景深检测方法、装置、存储介质及终端 | |
CN112749590B (zh) | 目标检测方法、装置、计算机设备和计算机可读存储介质 | |
WO2022227893A1 (zh) | 图像拍摄方法、装置、终端及存储介质 | |
EP3255878B1 (en) | Electronic device and control method therefor | |
CN111127541A (zh) | 车辆尺寸的确定方法、装置及存储介质 | |
CN110913144B (zh) | 图像处理方法及摄像装置 | |
CN108600623B (zh) | 重聚焦显示方法以及终端设备 | |
US11949984B2 (en) | Electronic device that performs a driving operation of a second camera based on a determination that a tracked object is leaving the field of view of a moveable first camera having a lesser angle of view than the second camera, method for controlling the same, and recording medium of recording program | |
US20220268935A1 (en) | Electronic device comprising camera and method thereof | |
CN108550182A (zh) | 一种三维建模方法和终端 | |
KR20220128187A (ko) | 전자 장치, 그 제어 방법, 및 프로그램이 기록된 기록매체 | |
CN115066882A (zh) | 用于执行自动对焦的电子装置和方法 | |
CN113709353A (zh) | 图像采集方法和设备 | |
CN114564162B (zh) | 一种数据传输方法、电子设备、系统及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40018855 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |