CN107707813A - 超景深效果成像方法、装置及电子设备 - Google Patents

超景深效果成像方法、装置及电子设备 Download PDF

Info

Publication number
CN107707813A
CN107707813A CN201710818721.7A CN201710818721A CN107707813A CN 107707813 A CN107707813 A CN 107707813A CN 201710818721 A CN201710818721 A CN 201710818721A CN 107707813 A CN107707813 A CN 107707813A
Authority
CN
China
Prior art keywords
imaging
electromagnetic wave
wave signal
district
incident ray
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710818721.7A
Other languages
English (en)
Other versions
CN107707813B (zh
Inventor
杜琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN201710818721.7A priority Critical patent/CN107707813B/zh
Publication of CN107707813A publication Critical patent/CN107707813A/zh
Application granted granted Critical
Publication of CN107707813B publication Critical patent/CN107707813B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本公开是关于一种超景深效果成像方法、装置及电子设备。其中,上述超景深效果成像方法包括:获取图像传感器中的成像子区对电磁波信号反射形成反射电磁波信号确定所述入射光线的光线信息,根据所述光线信息获得待摄场景的第一图像。获取待摄场景的深度信息,根据所述深度信息确定至少两个成像子区各自对应的目标合焦深度位置。控制所述至少两个成像子区在平行于入射光线方向上朝向各自对应的所述目标合焦深度位置移动,以获得与所述第一图像对应的超景深效果图像。其中,所述成像子区可在入射光线的照射下发生形变,上述反射电磁波信号随之发生变化,因此便于确定入射光线的光线信息。

Description

超景深效果成像方法、装置及电子设备
技术领域
本公开涉及电子技术领域,尤其涉及超景深效果成像方法、装置及电子设备。
背景技术
景深(Depth of Field,简称DoF)和光圈(Aperture)均是重要的成像控制参数。景深通常是指摄像镜头对待摄对象能够清晰成像的深度范围,通常景深内可清晰成像,景深外成像相对模糊。而光圈的大小会影响单位时间通过镜头孔径的光量,通过调整光圈,可调整曝光时间、景深等成像参数。例如,增大光圈,可增加曝光量,获得更高的快门,但景深相对较浅。
发明内容
为克服相关技术中存在的问题,本公开提供一种超景深效果成像方法、装置及电子设备。
根据本公开的第一方面,提出一种超景深效果成像方法,该方法包括:
获取反射电磁波信号,所述反射电磁波信号由图像传感器中的成像子区对电磁波信号反射形成;其中,所述图像传感器包括若干成像子区,所述成像子区可在入射光线的照射下发生形变;
根据所述反射电磁波信号确定所述入射光线的光线信息,根据所述光线信息获得待摄场景的第一图像;
获取待摄场景的深度信息,根据所述深度信息确定至少两个成像子区各自对应的目标合焦深度位置;
控制所述至少两个成像子区在平行于入射光线方向上朝向各自对应的所述目标合焦深度位置移动,以获得与所述第一图像对应的超景深图像。
可选的,根据所述反射电磁波信号确定所述入射光线的光线信息,包括:
对所述反射电磁波信号进行解调,以获得第一信号;
根据所述第一信号恢复出所述入射光线的光线信息。
可选的,所述成像子区包括:
感光层,感应入射光线的照射,并发生形变;
反射层,返回相应的反射电磁波信号,且可发生与所述感光层对应的形变。
可选的,根据所述反射电磁波信号确定所述入射光线的光线信息,包括:
向监测模型发送所述反射电磁波信号,所述监测模型的训练样本包括预先获得的反射电磁波信号与感光层的形变参数之间的数据对;
接收所述监测模型输出的感光层的形变参数;
根据所述形变参数确定所述入射光线的光线信息。
可选的,至少两个所述成像子区的形变属性不同;
和/或,至少两个所述成像子区的电磁波信号反射特性不同。
可选的,根据所述目标合焦深度位置调整所述成像子区的分布密度,包括:
为至少一个所述成像子区施加外场;
利用所述外场向所述成像子区施加作用力,以获得与所述第一图像对应的超景深图像。
可选的,所述外场包括:磁场、电场、光场中至少之一。
根据本公开的第二方面,提出一种超景深效果成像装置,该超景深效果成像装置包括:
获取单元,获取反射电磁波信号,所述反射电磁波信号由图像传感器中的成像子区对电磁波信号反射形成;其中,所述图像传感器包括若干成像子区,所述成像子区可在入射光线的照射下发生形变;
处理单元,根据所述反射电磁波信号确定所述入射光线的光线信息,根据所述光线信息获得待摄场景的第一图像;
确定单元,获取待摄场景的深度信息,根据所述深度信息确定至少两个成像子区各自对应的目标合焦深度位置;
执行单元,控制所述至少两个成像子区在平行于入射光线方向上朝向各自对应的所述目标合焦深度位置移动,以获得与所述第一图像对应的超景深图像。
可选的,所述处理单元包括:
第一处理子单元,对所述反射电磁波信号进行解调,以获得第一信号;
第二处理子单元,根据所述第一信号恢复出所述入射光线的光线信息。
可选的,所述成像子区包括:
感光层,感应入射光线的照射,并发生形变;
反射层,返回相应的反射电磁波信号,且可发生与所述感光层对应的形变。
可选的,所述处理单元包括:
发送子单元,向监测模型发送所述反射电磁波信号,所述监测模型的训练样本包括预先获得的反射电磁波信号与感光层的形变参数之间的数据对;
接收子单元,接收所述监测模型输出的感光层的形变参数;
第三处理子单元,根据所述形变参数确定所述入射光线的光线信息。
可选的,至少两个所述成像子区的形变属性不同;
和/或,至少两个所述成像子区的电磁波信号反射特性不同。
可选的,所述执行单元包括:
第一执行子单元,为至少一个所述成像子区施加外场;
第二执行子单元,利用所述外场向所述成像子区施加作用力,以获得与所述第一图像对应的超景深图像。
可选的,所述外场包括:磁场、电场、光场中至少之一。
根据本公开的第三方面,提出一种电子设备,该电子设备包括:
处理器,所述处理器被配置为实现上述超景深效果成像方法。
根据本公开的第四方面,提出一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现上述超景深效果成像方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:
由上述实施例可知,本公开通过获取图像传感器中的成像子区对电磁波信号反射形成反射电磁波信号确定所述入射光线的光线信息,根据所述光线信息获得待摄场景的第一图像。再根据深度信息可以确定至少两个成像子区各自对应的目标合焦深度位置。控制所述至少两个成像子区在平行于入射光线方向上朝向各自对应的所述目标合焦深度位置移动,以获得与所述第一图像对应的超景深图像。其中,所述成像子区可在入射光线的照射下发生形变,上述反射电磁波信号随之发生变化,因此便于确定入射光线的光线信息。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1a是本公开一示例性实施例的一种超景深效果成像方法的流程图;
图1b是本公开一示例性实施例的一种获取入射光线的工作原理图;
图2a是本公开另一示例性实施例的一种超景深效果成像方法的流程图;
图2b是本公开一示例性实施例的一种成像子区的位置状态示意图;
图2c是本公开一示例性实施例的一种成像子区运动状态示意图;
图3a是本公开又一示例性实施例的一种超景深效果成像方法的流程图;
图3b是本公开一示例性实施例的一种反射电磁波信号的变形模式示意图;
图3c是本公开另一示例性实施例的一种反射电磁波信号的变形模式图;
图3d是本公开又一示例性实施例的一种反射电磁波信号的变形模式图;
图3e是本公开再一示例性实施例的一种反射电磁波信号的变形模式图;
图4是本公开一示例性实施例的一种超景深效果成像装置结构示意图;
图5是本公开一示例性实施例的一种处理单元的结构示意图;
图6是本公开另一示例性实施例的一种处理单元的结构示意图;
图7是本公开一示例性实施例的一种执行单元的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
将图像传感器的成像面作为对焦平面进行手动或自动对焦完成后,图像传感器的成像面位于一相对理想的对焦位置,如果此时经图像传感器直接获取待摄对象的图像,则在该相对理想的对焦位置的前后一深度范围(即景深范围)内的待摄部分,可获取对应的清晰成像,而在该景深范围之外的待摄部分成像通常较为模糊。而在一般情况下,例如期望清晰成像的待摄对象部分的深度分布超过了景深范围的情形,或在如大光圈摄像等浅景深拍摄等情形下,采用将图像传感器的成像面作为对焦平面的获取的图像,其成像质量有待改善。例如用户期望对人体头部不同部分都清晰成像,但由于人体头部深度分布较宽,采用传统合焦后的成像设备获取的图像中可能存在局部清晰、局部模糊的情形,如可能存在人体距离镜头较近的鼻子部位清晰、而距离镜头较远的耳朵部位模糊等情形,由此成像质量可能不尽如人意。
图1a是本公开一示例性实施例的一种超景深效果成像方法的流程图。在利用相机等摄像装置进行拍摄的过程中,为了在光圈确定的情况下获得超景深效果的图像,提出如图1a所示的一种超景深效果成像方法,该超景深效果成像方法可以包括以下步骤:
在步骤101中,获取反射电磁波信号。
其中,图像传感器可以包括若干成像子区,该成像子区可在入射光线的照射下发生形变,上述反射电磁波信号由图像传感器中的成像子区对电磁波信号反射形成。如图1b所示,成像子区B可以包括感光层B1和反射层B2。感光层B1可用于接收入射光线C,并发生与入射光线C的光线信息对应的形变。反射层B2可发生与感光层B1对应的形变,并反射与入射光线C对应的反射电磁波信号D。接收器E接收上述反射电磁波信号D以进行处理。
上述感光层B1的材质可以包括光致伸缩电陶瓷、光致变形聚合物等光致变形材料,本公开并不对此进行限制。由于不同光致变形材料的感光层B1对于入射光线C发生的形变参数是不同的,但每种光致变形材料都有与之对应的光致变形函数可以计算入射光线C的光线信息。反射面可以包括导体薄膜,金属网格、抛物面金属及印制天线等。上述感光层B1和反射层B2产生的形变可以包括形状变化、面积变化、密度变化、光滑程度变化中至少之一。
在上述实施例中,至少两个成像子区B的形变属性不同,和/或,至少两个成像子区B的电磁波信号反射特性不同,以对不同成像子区B所反射的电磁波信号进行定位和区分。其中,上述“和/或”包括三种情况,一种情况是至少两个成像子区B的形变属性不同,而成像子区B的电磁波反射特性相同的。另一种情况是至少两个成像子区B的电磁波反射特性不同,而成像子区B的变形属性相同。又一种情况是至少两个所述成像子区B的形变属性不同,和/或,至少两个所述成像子区B的电磁波信号反射特性不同。上述三种情况都可以对成像子区B所反射的电磁波信号进行定位和区分。
在步骤102中,根据反射电磁波信号确定入射光线的光线信息,根据所述光线信息获得待摄场景的第一图像。
其中,所述第一图像为所述图像传感器根据所述光线信息形成的拍摄图像,反应出待摄场景未经调整的景深效果。所述光线信息可以包括:入射光线的强度、颜色、极化方向中至少之一。
在一实施例中,所述图像传感器包括根据所述反射电磁波信号及与之对应的感光层的形变参数训练出监测模型。为了得到入射光线的光线信息,可以向所述监测模型发送所述反射电磁波信号,监测模型根据所述反射电磁波信号输出与之对应的感光层的形变参数。根据接收到的所述形变参数确定所述入射光线的光线信息。
在另一实施例中,可以先对所述反射电磁波信号进行解调,以获得第一信号,再根据所述第一信号恢复出所述入射光线的光线信息。
在步骤103中,获取待摄场景的深度信息,根据深度信息确定至少两个成像子区各自对应的目标合焦深度位置。
需要说明的是,上述待摄场景的深度信息可通过入射光线的光线强度和/或极化方向得到,也可以通过例如深度传感器、雷达以及网络连接获取,本公开并不对此进行限制。
根据经典光学理论,物体清晰成像通常需满足以下公式:
其中,f表示透镜的焦距,u表示物距,v表示像距。
成像设备为获取拍摄对象清晰成像通常具有一理想合焦位置,该理想合焦位置可称为目标合焦深度位置。对应到采用如相机等成像设备对待摄对象进行成像控制的应用场景中,成像设备可采用手动或自动等对焦方式完成对焦后,图像传感器的成像面通常被认为位于目标合焦深度位置。此时,镜头透镜的焦距为上述公式中的f,成像设备中的图像传感器的成像面距离镜头透镜之间的距离为上述公式中的像距v,待摄对象距离镜头透镜的距离为上述公式中的物距u。如果待摄对象的不同部位的目标合焦深度位置不尽相同,则所述待摄对象不同深度的部位距离镜头透镜的距离即物距u不同,这样,基于所述待摄对象的目标合焦深度位置,可根据上述公式计算出图像传感器的至少二个成像子区的各自对应的目标合焦深度位置,相当于获取所述待摄对象与该成像子区对应的部分清晰成像的对焦深度位置。
由上述经典光学理论可知,本公开涉及的入射光线需经过至少一透镜对入射光线进行汇聚以成像,或者通过反射镜对入射光线进行汇聚以成像,本公开并不对此进行限制。
在步骤104中,控制至少两个成像子区在平行于入射光线方向上朝向各自对应的目标合焦深度位置移动,以获得与所述第一图像对应的超景深图像。
在本实施例中,调整所述成像子区的分布密度的方式可以包括:为至少一个所述成像子区施加外场,利用所述外场向所述成像子区施加作用力,以使所述成像子区在垂直于入射光线的方向上朝向目标合焦深度位置运动。需要说明的是,所述外场可以包括:磁场、电场、光场中至少之一,本公开并不对此进行限制。
上述实施例可通过成像子区自身的形变,或由成像子区反射形成的反射电磁波信号直接对入射光线进行还原,无需额外配置电源,简化了图像传感器的结构设置,因此便于得到入射光线的光线信息。此外,可对但不限于采用手动或自动对焦完成后的图像传感器进行再度精细调焦,由此增加待摄对象中可清晰成像的范围,由此提高成像质量。对于不同所述成像子区而言,以其对应的目标合焦深度位置为参考点都存在一定的景深范围来清晰成像,由此增加了成像设备整体可清晰成像的范围,提高了成像质量。特别是在待摄部分的实际深度分布和成像设备的景深范围不匹配或大光圈拍摄等场景中,尽可能的增加实际成像可获取的最大景深范围,使得增加成像设备的景深范围和待摄部分的实际深度分布的匹配性,或在大光圈拍摄的情形下增加景深范围等,由此增加成像设备整体可清晰成像的范围,提高了成像质量。
现针对入射光线的获取方式提出如下两种实施方式:
图2a是本公开另一示例性实施例的一种超景深效果成像方法的流程图。如图2a所示,该超景深效果成像方法可以包括以下步骤:
在步骤201中,获取反射电磁波信号。
其中,图像传感器可以包括若干成像子区,该成像子区可在入射光线的照射下发生形变,上述反射电磁波信号由图像传感器中的成像子区对电磁波信号反射形成。具体的,成像子区可以包括感光层和反射层。感光层可用于接收入射光线,并发生与入射光线的光线信息对应的形变。反射层可发生与感光层对应的形变,并反射与入射光线对应的反射电磁波信号。
上述感光层的材质可以包括光致伸缩电陶瓷、光致变形聚合物等光致变形材料,本公开并不对此进行限制。由于不同光致变形材料的感光层对于入射光线发生的形变参数是不同的,但每种光致变形材料都有与之对应的光致变形函数可以计算入射光线的光线信息。反射面可以包括导体薄膜,金属网格、抛物面金属及印制天线等。上述感光层和反射层产生的形变可以包括形状变化、面积变化、密度变化、光滑程度变化中至少之一。
所述图像传感器包括根据所述反射电磁波信号及与之对应的感光层的形变参数训练出监测模型。具体的,当入射光线照射到成像子区上时,采集每个成像子区返回的反射电磁波信号以及与之对应的感光层形变参数,形成训练样本。通过上述原理,针对不同入射光线的极化方向、强度、颜色等可以记录到大量的训练样本。基于上述训练样本,自动生成大量的关于逻辑回归的问题,进而学习出训练样本与训练模型性能之间的存在的某种关系,从而得到一个简单的规则以用于将反射电磁波信号和感光层的形变参数对应起来。
在步骤202中,向监测模型发送反射电磁波信号,监测模型的训练样本包括预先获得的反射电磁波信号与感光层的形变参数之间的数据对。
在步骤203中,根据接收到的形变参数确定所述入射光线的光线信息,根据所述光线信息获得待摄场景的第一图像。
在上述实施例中,为了得到入射光线的光线信息,可以向所述监测模型发送所述反射电磁波信号,监测模型根据所述反射电磁波信号输出与之对应的感光层的形变参数。根据接收到的所述形变参数确定所述入射光线的光线信息。其中,所述光线信息可以包括:入射光线的强度、颜色、极化方向中至少之一。上述反射层和感光层的形变参数是基于同一入射光线而产生的变化,是相互对应且具有同步性的数据。由于不同光致变形材料的感光层对于入射光线发生的形变参数是不同的,但每种光致变形材料都有与之对应的光致变形函数可以计算入射光线的光线信息。
在步骤204中,获取待摄场景的深度信息,根据深度信息确定至少两个成像子区各自对应的目标合焦深度位置。
可通过入射光线的光线强度和/或极化方向,并利用上述经典光学理论公式得出待摄场景的深度信息,也可以通过例如深度传感器、雷达以及网络连接获取,本公开并不对此进行限制。
在步骤205中,控制至少两个成像子区在平行于入射光线方向上朝向各自对应的目标合焦深度位置移动,以获得与所述第一图像对应的超景深图像。
在本述实施例中,根据所述深度信息确定至少两个成像子区各自对应的目标合焦深度位置。如图2b所示,两个成像子区为A、B各自对应的深度位置分别为a、b,目标合焦深度位置分别为a1、b1。对A、B两个成像子区分别进行精细调焦,使得所述成像子区A、B在平行于入射光线的方向移动。成像子区A的参考点的深度位置a尽可能接近或重合于目标合焦深度位置a1;成像子区B的参考点的深度位置b尽可能接近或重合于目标合焦深度位置b1。这样以目标合焦深度位置a1、b1为参考,分别存在一可清晰成像的景深范围,使得落入二者景深范围内待摄部分均可清晰成像,提高了成像质量。
如图2c所示,调整所述成像子区的分布密度的方式可以包括:为至少一个所述成像子区D施加外场E,利用控制部F控制所述外场E向所述成像子区D施加作用力,以使所述成像子区D在垂直于入射光线的方向上按照目标景深信息运动。需要说明的是,所述外场可以包括:磁场、电场、光场中至少之一,本公开并不对此进行限制。
图3a是本公开又一示例性实施例的一种超景深效果成像方法的流程图。如图3a所示,该超景深效果成像方法可以包括以下步骤:
在步骤301中,获取反射电磁波信号。
其中,图像传感器可以包括若干成像子区,该成像子区可在入射光线的照射下发生形变,上述反射电磁波信号由图像传感器中的成像子区对电磁波信号反射形成。具体的,成像子区可以包括感光层和反射层。感光层可用于接收入射光线,并发生与入射光线的光线信息对应的形变。反射层可发生与感光层对应的形变,并反射与入射光线对应的反射电磁波信号。
上述感光层的材质可以包括光致伸缩电陶瓷、光致变形聚合物等光致变形材料,本公开并不对此进行限制。由于不同光致变形材料的感光层对于入射光线发生的形变参数是不同的,但每种光致变形材料都有与之对应的光致变形函数可以计算入射光线的光线信息。反射面可以包括导体薄膜,金属网格、抛物面金属及印制天线等。上述感光层和反射层产生的形变可以包括形状变化、面积变化、密度变化、光滑程度变化中至少之一。
在步骤302中,对所述反射电磁波信号进行解调,以获得第一信号。
在步骤303中,根据所述第一信号恢复出所述入射光线的光线信息,根据所述光线信息获得待摄场景的第一图像。
成像子区产生的形变可以包括形状变化、面积变化、密度变化、光滑程度变化中至少之一,上述形变的发生导致反射层反射特性的变化,反射特性可以通过信道参数或者散射参数来描述,本公开并不对此进行限定。由于反射特性的变化,改变了反射电磁波信号G的频谱和幅度特性,利用经典的信号解调方法对所述反射电磁波信号G进行解调,以获得第一信号,并根据解调后的第一信号恢复出入射光线的光线信息。其中,反射电磁波信号G在成像子区收到入射光线照射时可以包括如图3b、图3c、图3d、图3e所示的几种常见变形模式。反射层经入射光线照射发生变形后,其反射出的反射电磁波信号G中携带了入射光线的光线信息,解调反射电磁波信号G即可获得包含入射光线信息的第一信号,因此第一信号可用于恢复入射光线的光线信息。
在步骤304中,获取待摄场景的深度信息,根据深度信息确定至少两个成像子区各自对应的目标合焦位置。
可通过入射光线的光线强度和/或极化方向,并利用上述经典光学理论得到待摄场景的深度信息,也可以通过例如深度传感器、雷达以及网络连接获取,本公开并不对此进行限制。
在步骤305中,控制至少两个成像子区在平行于入射光线方向上朝向各自对应的目标合焦深度位置移动,以获得与所述第一图像对应的超景深图像。
在上述实施例中,调整所述成像子区的分布密度的方式可以包括:为至少一个所述成像子区施加外场,利用所述外场向所述成像子区施加作用力,以使所述成像子区在垂直于入射光线的方向上朝向对应的目标合焦位置运动。需要说明的是,所述外场可以包括:磁场、电场、光场中至少之一,本公开并不对此进行限制。
根据上述实施例,本公开进一步提出一种超景深效果成像装置,应用于图像传感器。图4是本公开一示例性实施例的一种超景深效果成像装置的结构示意图,如图4所示,上述超景深效果成像装置包括获取单元41、处理单元42、确定单元43、执行单元44。
获取单元41被配置为获取反射电磁波信号。其中,所述反射电磁波信号由图像传感器中的成像子区对电磁波信号反射形成,所述图像传感器包括若干成像子区,所述成像子区可在入射光线的照射下发生形变。
处理单元42被配置为根据所述反射电磁波信号确定所述入射光线的光线信息,根据所述光线信息获得待摄场景的第一图像。
确定单元43被配置为获取待摄场景的深度信息,根据所述深度信息确定至少两个成像子区各自对应的目标合焦深度位置。
执行单元44被配置为控制所述至少两个成像子区在平行于入射光线方向上朝向各自对应的所述目标合焦深度位置移动,以获得与所述第一图像对应的超景深图像。
针对入射处理单元获得入射光线的光线信息的工作原理,进一步提出一种超景深效果成像装置,图5是本公开一示例性实施例的一种处理单元的结构示意图,如图5所示,在前述图4所示实施例的基础上,所述处理单元42可以包括发送子单元421、接收子单元422、第三处理子单元423。其中:
发送子单元421被配置为向监测模型发送所述反射电磁波信号,所述监测模型的训练样本包括预先获得的反射电磁波信号与感光层的形变参数之间的数据对。
接收子单元422被配置为接收所述监测模型输出的感光层的形变参数。
第三处理子单元423被配置为根据所述形变参数确定所述入射光线的光线信息,根据所述光线信息获得待摄场景的第一图像。
图6是本公开另一示例性实施例的一种处理单元的结构示意图。如图6所示,在前述图4所示实施例的基础上,处理单元42可以包括第一处理子单元424和第二处理子单元425。其中:
第一处理子单元424被配置为对所述反射电磁波信号进行解调,以获得第一信号。
第二处理子单元425被配置为根据所述第一信号恢复出所述入射光线的光线信息,根据所述光线信息获得待摄场景的第一图像。
图7是本公开一示例性实施例的一种执行单元的结构示意图。如图7所示,在前述图4所示实施例的基础上,执行单元44可以包括第一执行子单元441、第二执行子单元442。其中:
第一执行子单元441被配置为为至少一个所述成像子区施加外场。
第二执行子单元442被配置为利用所述外场向所述成像子区施加作用力,以获得与所述第一图像对应的超景深图像。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本公开进一步提出一种电子设备,该电子设备可以包括处理器,所述处理器被配置为实现上述超景深效果成像方法。
在一示例性实施例中,本公开还提供了一种包括指令的非临时性计算机可读存储介质。例如包括指令的存储器,上述指令可由求救装置的处理器执行后,实现本公开的上述超景深效果成像方法。例如,所述非临时性计算机可读存储介质可以是ROM,随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的技术方案后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (16)

1.一种超景深效果成像方法,其特征在于,包括:
获取反射电磁波信号,所述反射电磁波信号由图像传感器中的成像子区对电磁波信号反射形成;其中,所述图像传感器包括若干成像子区,所述成像子区可在入射光线的照射下发生形变;
根据所述反射电磁波信号确定所述入射光线的光线信息,根据所述光线信息获得待摄场景的第一图像;
获取待摄场景的深度信息,根据所述深度信息确定至少两个成像子区各自对应的目标合焦深度位置;
控制所述至少两个成像子区在平行于入射光线方向上朝向各自对应的所述目标合焦深度位置移动,以获得与所述第一图像对应的超景深图像。
2.根据权利要求1所述的超景深效果成像方法,其特征在于,根据所述反射电磁波信号确定所述入射光线的光线信息,包括:
对所述反射电磁波信号进行解调,以获得第一信号;
根据所述第一信号恢复出所述入射光线的光线信息。
3.根据权利要求1所述的超景深效果成像方法,其特征在于,所述成像子区包括:
感光层,感应入射光线的照射,并发生形变;
反射层,返回相应的反射电磁波信号,且可发生与所述感光层对应的形变。
4.根据权利要求3所述的超景深效果成像方法,其特征在于,根据所述反射电磁波信号确定所述入射光线的光线信息,包括:
向监测模型发送所述反射电磁波信号,所述监测模型的训练样本包括预先获得的反射电磁波信号与感光层的形变参数之间的数据对;
接收所述监测模型输出的感光层的形变参数;
根据所述形变参数确定所述入射光线的光线信息。
5.根据权利要求1所述的超景深效果成像方法,其特征在于:
至少两个所述成像子区的形变属性不同;
和/或,至少两个所述成像子区的电磁波信号反射特性不同。
6.根据权利要求1所述的超景深效果成像方法,其特征在于,根据所述目标合焦深度位置调整所述成像子区的分布密度,包括:
为至少一个所述成像子区施加外场;
利用所述外场向所述成像子区施加作用力,以获得与所述第一图像对应的超景深图像。
7.根据权利要求6所述的超景深效果成像方法,其特征在于,所述外场包括:磁场、电场、光场中至少之一。
8.一种超景深效果成像装置,其特征在于,包括:
获取单元,获取反射电磁波信号,所述反射电磁波信号由图像传感器中的成像子区对电磁波信号反射形成;其中,所述图像传感器包括若干成像子区,所述成像子区可在入射光线的照射下发生形变;
处理单元,根据所述反射电磁波信号确定所述入射光线的光线信息,根据所述光线信息获得待摄场景的第一图像;
确定单元,获取待摄场景的深度信息,根据所述深度信息确定至少两个成像子区各自对应的目标合焦深度位置;
执行单元,控制所述至少两个成像子区在平行于入射光线方向上朝向各自对应的所述目标合焦深度位置移动,以获得与所述第一图像对应的超景深图像。
9.根据权利要求8所述的超景深效果成像装置,其特征在于,所述处理单元包括:
第一处理子单元,对所述反射电磁波信号进行解调,以获得第一信号;
第二处理子单元,根据所述第一信号恢复出所述入射光线的光线信息。
10.根据权利要求8所述的超景深效果成像装置,其特征在于,所述成像子区包括:
感光层,感应入射光线的照射,并发生形变;
反射层,返回相应的反射电磁波信号,且可发生与所述感光层对应的形变。
11.根据权利要求10所述的超景深效果成像装置,其特征在于,所述处理单元包括:
发送子单元,向监测模型发送所述反射电磁波信号,所述监测模型的训练样本包括预先获得的反射电磁波信号与感光层的形变参数之间的数据对;
接收子单元,接收所述监测模型输出的感光层的形变参数;
第三处理子单元,根据所述形变参数确定所述入射光线的光线信息。
12.根据权利要求8所述的超景深效果成像装置,其特征在于:
至少两个所述成像子区的形变属性不同;
和/或,至少两个所述成像子区的电磁波信号反射特性不同。
13.根据权利要求8所述的超景深效果成像装置,其特征在于,所述执行单元包括:
第一执行子单元,为至少一个所述成像子区施加外场;
第二执行子单元,利用所述外场向所述成像子区施加作用力,以获得与所述第一图像对应的超景深图像。
14.根据权利要求13所述的超景深效果成像装置,其特征在于,所述外场包括:磁场、电场、光场中至少之一。
15.一种电子设备,其特征在于,包括:
处理器,所述处理器被配置为实现如权利要求1-8任一项所述的超景深效果成像方法。
16.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现:如权利要求1-8中任一项所述超景深效果成像方法的步骤。
CN201710818721.7A 2017-09-12 2017-09-12 超景深效果成像方法、装置及电子设备 Active CN107707813B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710818721.7A CN107707813B (zh) 2017-09-12 2017-09-12 超景深效果成像方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710818721.7A CN107707813B (zh) 2017-09-12 2017-09-12 超景深效果成像方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN107707813A true CN107707813A (zh) 2018-02-16
CN107707813B CN107707813B (zh) 2020-03-17

Family

ID=61172370

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710818721.7A Active CN107707813B (zh) 2017-09-12 2017-09-12 超景深效果成像方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN107707813B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104159038A (zh) * 2014-08-26 2014-11-19 北京智谷技术服务有限公司 浅景深效果图像的成像控制方法和装置及成像设备
CN104243823A (zh) * 2014-09-15 2014-12-24 北京智谷技术服务有限公司 光场采集控制方法和装置、光场采集设备
CN104469147A (zh) * 2014-11-20 2015-03-25 北京智谷技术服务有限公司 光场采集控制方法和装置、光场采集设备
CN106161910A (zh) * 2015-03-24 2016-11-23 北京智谷睿拓技术服务有限公司 成像控制方法和装置、成像设备
CN106254752A (zh) * 2015-09-22 2016-12-21 北京智谷睿拓技术服务有限公司 对焦方法和装置、图像采集设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104159038A (zh) * 2014-08-26 2014-11-19 北京智谷技术服务有限公司 浅景深效果图像的成像控制方法和装置及成像设备
CN104243823A (zh) * 2014-09-15 2014-12-24 北京智谷技术服务有限公司 光场采集控制方法和装置、光场采集设备
CN104469147A (zh) * 2014-11-20 2015-03-25 北京智谷技术服务有限公司 光场采集控制方法和装置、光场采集设备
CN106161910A (zh) * 2015-03-24 2016-11-23 北京智谷睿拓技术服务有限公司 成像控制方法和装置、成像设备
CN106254752A (zh) * 2015-09-22 2016-12-21 北京智谷睿拓技术服务有限公司 对焦方法和装置、图像采集设备

Also Published As

Publication number Publication date
CN107707813B (zh) 2020-03-17

Similar Documents

Publication Publication Date Title
US10269130B2 (en) Methods and apparatus for control of light field capture object distance adjustment range via adjusting bending degree of sensor imaging zone
CN107087107B (zh) 基于双摄像头的图像处理装置及方法
CN108076278B (zh) 一种自动对焦方法、装置及电子设备
CN101088104B (zh) 用于处理图像数据的电子设备和电子设备中的方法
US8565495B2 (en) Iris deblurring method based on global and local iris image statistics
JP5134694B2 (ja) 画像処理装置及び画像処理方法
CN103477644A (zh) 记录图像和从图像获得3d信息的方法、相机系统
JP2003046844A (ja) 強調表示方法、カメラおよび焦点強調表示システム
TW201941103A (zh) 拍攝方法、裝置和智慧型裝置
CN104660909A (zh) 图像获取方法、图像获取装置和终端
JP2020515982A (ja) 画像処理方法、装置、コンピュータ読み取り可能記憶媒体及び電子機器
CN111598065A (zh) 深度图像获取方法及活体识别方法、设备、电路和介质
WO2020042000A1 (zh) 相机设备及对焦方法
CN109325912B (zh) 基于偏振光光场的反光分离方法及标定拼合系统
JP3335572B2 (ja) オートフォーカス装置
CN107592455A (zh) 浅景深效果成像方法、装置及电子设备
CN105025219A (zh) 图像获取方法
CN101557469B (zh) 图像处理设备及图像处理方法
CN107707813A (zh) 超景深效果成像方法、装置及电子设备
WO2016197444A1 (zh) 一种实现拍摄的方法及终端
CN107509070A (zh) 三维图像采集设备及方法
Israni et al. Comparison of different techniques of camera autofocusing
CN107483819B (zh) 对焦方法、对焦装置及电子设备
Chan et al. Improving the reliability of phase detection autofocus
WO2016197788A1 (zh) 拍照方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant