CN106161910B - 成像控制方法和装置、成像设备 - Google Patents

成像控制方法和装置、成像设备 Download PDF

Info

Publication number
CN106161910B
CN106161910B CN201510130606.1A CN201510130606A CN106161910B CN 106161910 B CN106161910 B CN 106161910B CN 201510130606 A CN201510130606 A CN 201510130606A CN 106161910 B CN106161910 B CN 106161910B
Authority
CN
China
Prior art keywords
imaging
depth
image sensor
deformation
imaging sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510130606.1A
Other languages
English (en)
Other versions
CN106161910A (zh
Inventor
杜琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Ruituo Technology Services Co Ltd
Original Assignee
Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Ruituo Technology Services Co Ltd filed Critical Beijing Zhigu Ruituo Technology Services Co Ltd
Priority to CN201510130606.1A priority Critical patent/CN106161910B/zh
Priority to US15/559,204 priority patent/US10298835B2/en
Priority to PCT/CN2016/075563 priority patent/WO2016150291A1/en
Publication of CN106161910A publication Critical patent/CN106161910A/zh
Application granted granted Critical
Publication of CN106161910B publication Critical patent/CN106161910B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种成像控制方法和装置、成像设备,其中,成像控制方法包括:至少根据待摄对象的深度信息,确定图像传感器的至少二个成像子区各自对应的目标合焦深度位置;控制所述图像传感器变形,以使变形后的所述至少二个成像子区的参考点的深度位置分别向相应的所述目标合焦深度位置接近或重合;基于变形后的所述图像传感器获取所述待摄对象的图像。采用本申请提供的技术方案可提高成像质量。

Description

成像控制方法和装置、成像设备
技术领域
本申请涉及一种终端技术领域,特别是涉及一种成像控制方法和装置、成像设备。
背景技术
景深(Depth of Field,简称DoF)和光圈(Aperture)均是重要的成像控制参数。景深通常是指摄像镜头对待摄对象能够清晰成像的深度范围,通常景深内可清晰成像,景深外成像相对模糊。而光圈的大小会影响单位时间通过镜头孔径的光量,通过调整光圈,可调整曝光时间、景深等成像参数,例如,增大光圈,可增加曝光量,获得更高的快门,但景深相对较浅。
发明内容
在下文中给出了关于本申请的简要概述,以便提供关于本申请的某些方面的基本理解。应当理解,这个概述并不是关于本申请的穷举性概述。它并不是意图确定本申请的关键或重要部分,也不是意图限定本申请的范围。其目的仅仅是以简化的形式给出某些概念,以此作为稍后论述的更详细描述的前序。
本申请实施例提供一种成像控制方法和装置、成像设备。
第一方面,本申请实施例提供了一种成像控制方法,包括:
至少根据待摄对象的深度信息,确定图像传感器的至少二个成像子区各自对应的目标合焦深度位置;
控制所述图像传感器变形,以使变形后的所述至少二个成像子区的参考点的深度位置分别向相应的所述目标合焦深度位置接近或重合;
基于变形后的所述图像传感器获取所述待摄对象的图像。
结合本申请实施例提供的任一种成像控制方法,可选的,至少二个所述目标合焦深度位置不同。
结合本申请实施例提供的任一种成像控制方法,可选的,所述控制所述图像传感器变形,包括:确定所述图像传感器的变形约束信息;根据所述变形约束信息和所述目标合焦深度位置控制所述图像传感器变形。
结合本申请实施例提供的任一种成像控制方法,可选的,根据所述变形约束信息和所述目标合焦深度位置控制所述图像传感器变形,包括:根据所述变形约束信息确定所述至少二个成像子区沿深度方向的最大形变深度范围;根据所述最大形变深度范围和所述目标合焦深度位置,控制所述至少二个成像子区的变形。
结合本申请实施例提供的任一种成像控制方法,可选的,所述成像控制方法还包括:根据所述待摄对象的预览图像确定对焦区域;根据所述对焦区域确定所述至少二个成像子区,其中,所述至少二个成像子区分别与所述对焦区域包括的至少二个对焦子区对应。
结合本申请实施例提供的任一种成像控制方法,可选的,根据所述对焦区域确定所述至少二个成像子区,包括:根据所述深度信息确定所述待摄对象对应所述对焦区域部分的深度分布范围;根据所述深度分布范围确定所述成像子区的个数。
结合本申请实施例提供的任一种成像控制方法,可选的,对应较大深度分布范围的所述对焦区域所对应的所述成像子区的个数,大于对应较小深度分布范围的所述对焦区域所对应的所述成像子区的个数。
结合本申请实施例提供的任一种成像控制方法,可选的,所述成像控制方法还包括:调整所述图像传感器的深度位置,以使调整后的所述图像传感器的深度位置介于对应所述至少二个成像子区的深度位置范围之间。
结合本申请实施例提供的任一种成像控制方法,可选的,至少一所述成像子区的参考点为所述成像子区的中心点。
第二方面,本申请实施例还提供了一种成像控制装置,包括:
一目标合焦深度确定模块,用于至少根据待摄对象的深度信息,确定图像传感器的至少二个成像子区各自对应的目标合焦深度位置;
一变形控制模块,用于控制所述图像传感器变形,以使变形后的所述至少二个成像子区的参考点的深度位置分别向相应的所述目标合焦深度位置接近或重合;
一成像模块,用于基于变形后的所述图像传感器获取所述待摄对象的图像。
结合本申请实施例提供的任一种成像控制装置,可选的,至少二个所述目标合焦深度位置不同。
结合本申请实施例提供的任一种成像控制装置,可选的,所述变形控制模块包括:一变形约束信息确定子模块,用于确定所述图像传感器的变形约束信息;一变形控制子模块,用于根据所述变形约束信息和所述目标合焦深度位置控制所述图像传感器变形。
结合本申请实施例提供的任一种成像控制装置,可选的,所述变形控制子模块包括:一形变深度范围确定单元,用于根据所述变形约束信息确定所述至少二个成像子区沿深度方向的最大形变深度范围;一变形控制单元,用于根据所述最大形变深度范围和所述目标合焦深度位置,控制所述至少二个成像子区的变形。
结合本申请实施例提供的任一种成像控制装置,可选的,所述成像控制装置还包括:一对焦区域确定模块,用于根据所述待摄对象的预览图像确定对焦区域;一成像子区确定模块,用于根据所述对焦区域确定所述至少二个成像子区,其中,所述至少二个成像子区分别与所述对焦区域包括的至少二个对焦子区对应。
结合本申请实施例提供的任一种成像控制装置,可选的,所述成像子区确定模块包括:一深度分布范围确定子模块,用于根据所述深度信息确定所述待摄对象对应所述对焦区域部分的深度分布范围;一成像子区个数确定子模块,用于根据所述深度分布范围确定所述成像子区的个数。
结合本申请实施例提供的任一种成像控制装置,可选的,对应较大深度分布范围的所述对焦区域所对应的所述成像子区的个数,大于对应较小深度分布范围的所述对焦区域所对应的所述成像子区的个数。
结合本申请实施例提供的任一种成像控制装置,可选的,所述成像控制装置还包括:一图像传感器深度位置调整模块,用于调整所述图像传感器的深度位置,以使调整后的所述图像传感器的深度位置介于对应所述至少二个成像子区的深度位置范围之间。
结合本申请实施例提供的任一种成像控制装置,可选的,至少一所述成像子区的参考点为所述成像子区的中心点。
第三方面,本申请实施例还提供了一种成像设备,包括:一成像光学系统、一可变形的图像传感器和本申请实施例提供的任一所述的成像控制装置。
结合本申请实施例提供的任一种成像设备,可选的,所述图像传感器包括柔性图像传感器。
结合本申请实施例提供的任一种成像设备,可选的,所述图像传感器包括阵列分布的多个成像子区,至少二个成像子区之间通过可变形连接部件连接。
本申请实施例提供的技术方案可至少根据待摄对象的深度信息,确定图像传感器的至少二个成像子区各自对应的目标合焦深度位置;利用图像传感器的可变形特性来控制所述图像传感器变形,使得变形后的所述至少二个成像子区的参考点的深度位置分别向相应的所述目标合焦深度位置接近或重合,基于变形后的所述图像传感器获取所述待摄对象的图像,这样,对于不同所述成像子区而言,以其对应的目标合焦深度位置为参考点都存在一定的景深范围来清晰成像,由此增加了成像设备整体可清晰成像的范围,提高了成像质量。
通过以下结合附图对本申请的可选实施例的详细说明,本申请的这些以及其它的优点将更加明显。
附图说明
本申请可以通过参考下文中结合附图所给出的描述而得到更好的理解,其中在所有附图中使用了相同或相似的附图标记来表示相同或者相似的部件。所述附图连同下面的详细说明一起包含在本说明书中并且形成本说明书的一部分,而且用来进一步举例说明本申请的可选实施例和解释本申请的原理和优点。在附图中:
图1a为本申请实施例提供的一种成像控制方法流程图;
图1b为本申请实施例提供的柔性图像传感器示例;
图1c为本申请实施例提供的多个成像子区阵列分布的图像传感器示例;
图2为本申请实施例提供的一种图像传感器变形应用示例;
图3为本申请实施例提供的对焦区域示例;
图4为本申请实施例提供的另一种图像传感器变形应用示例;
图5为本申请实施例提供的第一种成像控制装置的逻辑框图;
图6为本申请实施例提供的第二种成像控制装置的逻辑框图;
图7为本申请实施例提供的第三种成像控制装置的结构示意图;
图8为本申请实施例提供的一种成像设备的逻辑框图。
本领域技术人员应当理解,附图中的元件仅仅是为了简单和清楚起见而示出的,而且不一定是按比例绘制的。例如,附图中某些元件的尺寸可能相对于其他元件放大了,以便有助于提高对本申请实施例的理解。
具体实施方式
在下文中将结合附图对本申请的示范性实施例进行详细描述。为了清楚和简明起见,在说明书中并未描述实际实施方式的所有特征。然而,应该了解,在开发任何这种实际实施例的过程中必须做出很多特定于实施方式的决定,以便实现开发人员的具体目标,例如,符合与系统及业务相关的那些限制条件,并且这些限制条件可能会随着实施方式的不同而有所改变。此外,还应该了解,虽然开发工作有可能是非常复杂和费时的,但对得益于本公开内容的本领域技术人员来说,这种开发工作仅仅是例行的任务。
在此,还需要说明的一点是,为了避免因不必要的细节而模糊了本申请,在附图和说明中仅仅描述了与根据本申请的方案密切相关的装置结构和/或处理步骤,而省略了对与本申请关系不大的、本领域普通技术人员已知的部件和处理的表示和描述。
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例,对本申请的具体实施方式作进一步详细说明。以下实施例用于说明本申请,但不用来限制本申请的范围。
本领域技术人员可以理解,本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
图1a为本申请实施例提供的一种成像控制方法流程图。本申请实施例提供的成像控制方法的执行主体可为某一成像控制装置。所述成像控制装置的设备表现形式不受限制,例如所述成像控制装置可为某一独立的部件;或者,所述成像控制装置可作为某一功能模块集成在一成像设备中,所述成像设备可包括但不限于相机、摄像机、手机、平板电脑、具有拍照或摄像功能的电子设备等,本申请实施例对此并不限制。具体如图1a所示,本申请实施例提供的一种成像控制方法包括:
S101:至少根据待摄对象的深度信息,确定图像传感器的至少二个成像子区各自对应的目标合焦深度位置。
根据经典光学理论,物体清晰成像通常需满足以下公式:
其中,f表示透镜的焦距,u表示物距,v表示像距。
成像设备为获取拍摄对象清晰成像通常具有一理想合焦位置,该理想合焦位置可称为目标合焦深度位置。对应到采用如相机等成像设备对待摄对象进行成像控制的应用场景中,成像设备可采用手动或自动等对焦方式完成对焦后,图像传感器的成像面通常被认为位于目标合焦深度位置。此时,镜头透镜的焦距为上述公式中的f,成像设备中的图像传感器的成像面距离镜头透镜之间的距离为上述公式中的像距v,待摄对象距离镜头透镜的距离为上述公式中的物距u。如果待摄对象的不同部位的深度信息不尽相同,则所述待摄对象不同深度的部位距离镜头透镜的距离即物距u不同,这样,基于所述待摄对象的深度信息,可根据上述公式计算出图像传感器的至少二个成像子区的各自对应的目标合焦深度位置,其中,每个成像子区对应待摄对象的某一局部,某一成像子区对应的目标和焦深度位置,相当于为获取所述待摄对象与该成像子区对应的部分清晰成像的最佳对焦深度位置,即目标合焦深度位置。
S102:控制所述图像传感器变形,以使变形后的所述至少二个成像子区的参考点的深度位置分别向相应的所述目标合焦深度位置接近或重合。
本申请实施例所述的图像传感器的表面形状可变形,如可为成像面的表面形状至少局部可发生变化的图像传感器,其器件的具体结构和形态并不限制。
例如,所述图像传感器可为柔性图像传感器,柔性图像传感器在某些成像设备中已经有所应用,本申请通过外力等作用可将所述柔性图像传感器进行一定的程度的弯曲,如图1b所示,由此改变所述柔性图像传感器至少二个成像子区的参考点在深度方向上的投影,使得至少二个成像子区的参考点各自沿深度方向发生一定的位置变化。
又例如,如图1c所示,所述图像传感器可包括阵列分布的多个成像子区,至少二个成像子区之间通过弹性部件或可控变形材料部(如光致变形材料部、磁致变形材料部、压电材料部等等)等可变形连接部件连接,以形成一个整体的成像面。通过控制可变形连接部件的变形,可控制所述至少二个成像子区的参考点各自沿深度方向发生一定的位置变化。例如,本申请通过外力或外场等作用该连接部件,可带动相应的成像子区沿所述深度方向移动,即相对于图像传感器原整体成像面的参考位置沿深度方向向前凸或向后凹等,使得至少二个成像子区的参考点各自沿深度方向发生一定的位置变化。
可以理解,根据实际应用的需要,上述阵列分布的成像子区和柔性图像传感器也可结合使用,形成一可变形的图像传感器。
任一成像子区可包括至少一图像传感像素点,实际应用中,可根据实际应用需要,将某一成像子区中的任一点作为该成像子区中的参考点,如可将成像子区的中心点或中心和边缘之间的某一点等作为参考点,以便于不同成像子区的深度位置与各自对应的目标合焦深度位置进行深度方向的比较。
利用所述图像传感器可变形的特性,可改变图像传感器的表面形状,使得变形后的所述图像传感器的至少二个成像子区的参考点的深度位置分别向相应的所述目标合焦深度位置接近或重合,例如,成像子区A1、A2、A3......各自对应的目标合焦深度位置为a1、a2、a3......,控制图像传感器变形,使得成像子区A1的参考点的深度位置尽可能接近或重合于目标合焦深度位置a1、成像子区A2的参考点的深度位置尽可能接近或重合于目标合焦深度位置a2、成像子区A3的参考点的深度位置尽可能接近或重合于目标合焦深度位置a3......,相当于在图像传感器经手动或自动对焦后位于的合焦位置上,对所述图像传感器的至少二个成像子区进行再次精细对焦,使得所述至少二个成像子区的实际深度位置与其各自对应的目标合焦深度位置更为接近或重合。
本领域普通技术人员可以理解,本申请实施例中的“向相应的所述目标合焦深度位置接近或重合”表示相应成像子区的深度位置的变化趋势或者目标期望,其含义应做广义理解。
例如,“接近”反映了某种变化趋势或者目标期望,对于同一成像子区A1而言,图像传感器变形前后,该成像子区的深度位置分别为a1'和a1”,而该成像子区A1对应的目标合焦深度位置为a1,a1”与a1在深度方向上的间距小于a1'与a1在深度方向上的间距,也就是说,通过图像传感器变形可使得变形后成像子区A1的深度位置a1”更为接近甚至重合与目标合焦深度位置为a1。至于变形后成像子区A1的深度位置a1”与目标合焦深度位置为a1的间距,可根据实际需要确定,本申请对此并不限制。可见,本申请实施例所述的“接近”包括考虑到调节极限等因素下尽可能逼近目标合焦深度位置的情形(实际调节的某些情形下,重合是一种理想状态,只能尽可能逼近但无法重合)、也包括相对于变形前的深度位置距离目标合焦深度位置更近的情形等。
又例如,“重合”反映了某种变化趋势或者目标期望,在实际应用中,受限于调节精度、图像传感器自身形变性能约束等因素,有些时候目标合焦深度位置在实际对焦调节过程中可能是无法精确达到的,故在实际调节过程中,可尽量接近该位置,如果调节后的对焦误差在容许范围之类等等,可认为调节后的深度位置重合目标合焦深度位置,即这种重合包括精确重合的情形、也包括在误差允许范围内的近似重合的情形等。
S103:基于变形后的所述图像传感器获取所述待摄对象的图像。
发明人在实践本申请实施例过程中发现,将图像传感器的成像面作为对焦调整粒度进行手动或自动对焦完成后,图像传感器的成像面位于一相对理想的对焦位置,如果此时经图像传感器直接获取待摄对象的图像,则在该相对理想的对焦位置的前后一深度范围(即景深范围)内的待摄部分,可获取对应的清晰成像,而在该景深范围之外的待摄部分,成像通常较为模糊。在某些情形下,例如期望清晰成像的待摄对象部分的深度分布超过了景深范围的情形、和/或在如大光圈摄像等浅景深拍摄等情形下,采用将图像传感器的成像面作为对焦调整粒度而对焦完成的成像设备直接获取的图像,其成像质量有待改善,例如用户期望对人体头部不同部分都清晰成像,但由于人体头部深度分布较宽(超过允许的景深范围)或者采用大光圈拍照的浅景深等原因,采用传统合焦后的成像设备获取的图像中可能存在局部清晰、局部模糊的情形,如可能存在人体距离镜头较近的鼻子部位清晰、而距离镜头较远的耳朵部位模糊等情形,由此成像质量可能不尽如人意。
而采用本申请实施例提供的技术方案,可对但不限于采用手动或自动对焦完成后的图像传感器进行再度精细调焦,由此增加待摄对象中可清晰成像的范围,由此提高成像质量。具体而言:可至少根据待摄对象的深度信息,确定图像传感器的至少二个成像子区各自对应的目标合焦深度位置;利用图像传感器的可变形特性来控制所述图像传感器变形,使得变形后的所述至少二个成像子区的参考点的深度位置分别向相应的所述目标合焦深度位置接近或重合,基于变形后的所述图像传感器获取所述待摄对象的图像,这样,对于不同所述成像子区而言,以其对应的目标合焦深度位置为参考点都存在一定的景深范围来清晰成像,由此增加了成像设备整体可清晰成像的范围,提高了成像质量。特别是在待摄部分的实际深度分布和成像设备的景深范围不匹配和/或大光圈拍摄等场景中,采用本申请实施例提供的技术方可通过成像子区各自目标合焦深度位置的精细匹配,来尽可能的增加实际成像可获取的最大景深范围,使得增加成像设备的景深范围和待摄部分的实际深度分布的匹配性和/或在大光圈拍摄的情形下增加景深范围等,由此增加成像设备整体可清晰成像的范围,提高了成像质量。
可选的,所述至少二个成像子区各自对应的至少二个所述目标合焦深度位置不同,例如,如图2所示,成像子区A1、A2各自对应的目标合焦深度位置a1、a2中,a1、a2位置不同。该方案可以成像子区为调焦粒度,对至少二个成像子区分别进行精细调焦,使得图像传感器变形后,所述至少二个成像子区各自对应的对焦位置尽可能接近甚至重合于各自的目标合焦深度位置,如成像子区A1的参考点的深度位置a1”尽可能接近或重合于目标合焦深度位置a1、成像子区A2的参考点的深度位置a2”尽可能接近或重合于目标合焦深度位置a2,而目标合焦深度位置a1和目标合焦深度位置a2不同,这样以目标合焦深度位置a1和目标合焦深度位置a2为参考,分别存在一可清晰成像的景深范围,使得落入二者景深范围内待摄部分均可清晰成像,提高了成像质量。
所述图像传感器的变形控制方式可根据实际需要控制所述图像传感器变形,非常灵活。例如,可确定所述图像传感器的变形约束信息;根据所述变形约束信息和所述目标合焦深度位置控制所述图像传感器变形。该方案将所述图像传感器的变形约束信息和所述目标合焦深度位置信息结合起来,共同作为所述图像传感器变形控制的依据,以便于在所述图像传感器变形允许的范围内,所述至少二个成像子区的实际对焦位置尽可能接近或重合于各自对应的所述目标合焦深度位置,由此提高方案的可实现性和变形控制的合理性。所述图像传感器的变形约束信息可包括但不限于:单个成像子区允许的形变量、图像传感器整体的最大形变量等等。进一步的,可根据所述变形约束信息确定所述至少二个成像子区沿深度方向的最大形变深度范围;根据所述最大形变深度范围和所述目标合焦深度位置,控制所述至少二个成像子区的变形。该方案通过确定一最大形变深度范围,然后将该最大形变深度范围允许的形变量在所述至少二个成像子区内进行分配,具体分配的方式可根据实际需要确定,例如,在所述至少二个成像子区对应一连续的成像区,则在所述最大形变深度范围内使位于该成像区中心部位的成像子区的变形量最大、位于该成像区其他部位的成像子区的变形量较小等等,该方案可使得该最大形变深度范围进行形变量的针对性分配和/或提高形变量的利用率,由此拓宽方案的适用范围。
可选的,本申请实施例提供的成像控制方法还可包括:根据所述待摄对象的预览图像确定对焦区域;根据所述对焦区域确定所述至少二个成像子区,其中,所述至少二个成像子区分别与所述对焦区域包括的至少二个对焦子区对应。所述对焦区域通常对应期望清晰成像的区域,可根据所述待摄对象的预览图像确定所述预览图像的整体或局部为所述对焦区域,例如,可根据用户在所述预览图像上选择信息确定所述对焦区域,或者,可根据所述预览图像的图像分析结果确定所述对焦区域,如确定识别出的人体头部区域确定为所述对焦区域(如图3所示),实现方式非常灵活。在确定所述对焦区域之后,可根据所述对焦区域确定图像传感器的成像面中与之对应的成像区,即所述至少二个成像子区,其中,每个成像子区对应所述对焦区域的某一对焦子区。例如,根据所述对焦区域确定所述至少二个成像子区,可将所述对焦区域的至少二个对焦子区对应的待摄对象不同部分的深度分别作为物距,采用公式(1),确定与所述至少二个对焦子区分别对应的所述至少二个成像子区的目标合焦深度位置,并通过控制图像传感器的变形,使得变形后的所述图像传感器中,所述至少二个成像子区的实际对焦位置向各自的目标合焦深度位置接近或重合。该方案将对焦区域进一步划分为至少二个对焦子区,利用图像传感器的变形特性,调整与所述至少二个对焦子区分别对应的至少二个成像子区的对焦位置,使之向相应的目标合焦深度位置接近或重合,由此实现对焦区域不同部分的精细对焦,有利于获取对焦区域整体或更大范围的清晰图像,特别是在对焦区域对应的待摄部分深度分布较宽和/或大光圈摄像等情形下,该方案有利于获取对焦区域整体或更大范围的清晰图像,如人体头部从鼻子到耳朵等深度方向的不同部分均可获得清晰成像等,由此提高成像质量。
可选的,根据所述对焦区域确定所述至少二个成像子区,包括:根据所述深度信息确定所述待摄对象对应所述对焦区域部分的深度分布范围;根据所述深度分布范围确定所述成像子区的个数。对每个成像子区对焦完成后,相对该成像子区的对焦点前后的一定深度范围即景深范围,待摄部分均可清晰成像。该方案根据所述待摄对象对应的所述对焦区域的深度分布范围确定所述成像子区的个数,使得所述成像子区的划分更具针对性。可选的,对应较大深度分布范围的所述对焦区域所对应的所述成像子区的个数,大于对应较小深度分布范围的所述对焦区域所对应的所述成像子区的个数,例如,对于深度分布范围较宽的对焦区域确定较多的成像子区(如图4所示),而对于深度分布范围较小的对焦区域确定较少的成像子区(如图2所示),使得所述成像子区的划分根据针对性。具体而言,对于深度分布范围较宽的对焦区域而言,确定的成像子区个数较多,各成像子区对焦后的景深范围相互叠加,使得叠加后景深范围和对焦区域对应的深度分布范围仅可能匹配,或者说,叠加后景深范围尽可能覆盖较多的对焦区域对应的深度分布范围,这样,对焦区域对应不同深度的部分可清晰成像的概率大大增加,由此提高成像质量。而对于深度分布范围较窄的对焦区域而言,确定的成像子区个数较少,有利于以成像子区为粒度进行精确对焦的情形下,尽可能降低方案的复杂性。
可选的,本申请实施例提供的任一种成像控制方法还可包括:调整所述图像传感器的深度位置,以使调整后的所述图像传感器的深度位置介于对应所述至少二个成像子区的深度位置范围之间。成像过程中,在成像设备的一对焦点为基础、沿深度方向的一定深度范围内均可清晰成像,相对该对焦点而言可清晰成像的深度范围就是景深。在对成像设备手动或自动对焦完成后的对焦点,可能位于该景深范围内的某一位置,如位于景深范围的中间位置或边缘位置等等。该方案可通过调整所述图像传感器的深度位置,使调整后的所述图像传感器的深度位置介于对应所述至少二个成像子区的深度位置范围之间,由此以改变对各成像子区进行精确调焦的参考起点,进而有利于充分利用图像传感器允许的最大变形深度量,和/或,均衡不同成像子区的变形程度要求,进而提高成像质量。
本领域技术人员可以理解,在本申请具体实施方式的上述任一方法中,各步骤的序号大小并不意味着执行顺序的先后,各步骤的执行顺序应以其功能和内在逻辑确定,而不应对本申请具体实施方式的实施过程构成任何限定。
图5为本申请实施例提供的一种成像控制装置的逻辑框图。如图5所示,本申请实施例提供的一种成像控制装置包括:一目标合焦深度确定模块51、一变形控制模块52和一成像模块53。目标合焦深度确定模块51用于至少根据待摄对象的深度信息,确定图像传感器的至少二个成像子区各自对应的目标合焦深度位置。变形控制模块52用于控制所述图像传感器变形,以使变形后的所述至少二个成像子区的参考点的深度位置分别向相应的所述目标合焦深度位置接近或重合。成像模块53用于基于变形后的所述图像传感器获取所述待摄对象的图像。
本申请实施例提供的成像控制装置可至少根据待摄对象的深度信息,确定图像传感器的至少二个成像子区各自对应的目标合焦深度位置;利用图像传感器的可变形特性来控制所述图像传感器变形,使得变形后的所述至少二个成像子区的参考点的深度位置分别向相应的所述目标合焦深度位置接近或重合,基于变形后的所述图像传感器获取所述待摄对象的图像,这样,对于不同所述成像子区而言,以其对应的目标合焦深度位置为参考点都存在一定的景深范围来清晰成像,由此增加了成像设备整体可清晰成像的范围,提高了成像质量。
所述成像控制装置的设备表现形式不受限制,例如所述成像控制装置可为某一独立的部件;或者,所述成像控制装置可作为某一功能模块集成在一成像设备中,所述成像设备可包括但不限于相机、摄像机、手机、平板电脑、具有拍照或摄像功能的电子设备等,本申请实施例对此并不限制。
可选的,至少二个所述目标合焦深度位置不同。该方案可以成像子区为调焦粒度,对至少二个成像子区分别进行精细调焦,使得图像传感器变形后,所述至少二个成像子区各自对应的对焦位置尽可能接近甚至重合于各自的目标合焦深度位置,提高成像质量。
可选的,至少一所述成像子区的参考点为所述成像子区的中心点,以便于不同成像子区的深度位置与各自对应的目标合焦深度位置进行深度方向的比较。
可选的,如图6所示,所述变形控制模块52包括:一变形约束信息确定子模块521和一变形控制子模块522。变形约束信息确定子模块521用于确定所述图像传感器的变形约束信息;变形控制子模块522用于根据所述变形约束信息和所述目标合焦深度位置控制所述图像传感器变形。该方案将所述图像传感器的变形约束信息和所述目标合焦深度位置信息结合起来,共同作为所述图像传感器变形控制的依据,以便于在所述图像传感器变形允许的范围内,所述至少二个成像子区的实际对焦位置尽可能接近或重合于各自对应的所述目标合焦深度位置,由此提高方案的可实现性和变形控制的合理性。
可选的,所述变形控制子模块522包括:一形变深度范围确定单元5221和一变形控制单元5222。形变深度范围确定单元5221用于根据所述变形约束信息确定所述至少二个成像子区沿深度方向的最大形变深度范围。变形控制单元5222用于根据所述最大形变深度范围和所述目标合焦深度位置,控制所述至少二个成像子区的变形。该方案可使得该最大形变深度范围进行形变量的针对性分配和/或提高形变量的利用率,由此拓宽方案的适用范围。
可选的,所述成像控制装置还包括:一对焦区域确定模块54和一成像子区确定模块55。对焦区域确定模块54用于根据所述待摄对象的预览图像确定对焦区域。成像子区确定模块55用于根据所述对焦区域确定所述至少二个成像子区,其中,所述至少二个成像子区分别与所述对焦区域包括的至少二个对焦子区对应。该方案根据所述待摄对象对应的所述对焦区域的深度分布范围确定所述成像子区的个数,使得所述成像子区的划分更具针对性。
可选的,所述成像子区确定模块55包括:一深度分布范围确定子模块551和一成像子区个数确定子模块552。深度分布范围确定子模块551用于根据所述深度信息确定所述待摄对象对应所述对焦区域部分的深度分布范围。成像子区个数确定子模块552用于根据所述深度分布范围确定所述成像子区的个数。该方案可提高所述成像子区的划分的针对性,进而提高成像质量。
可选的,对应较大深度分布范围的所述对焦区域所对应的所述成像子区的个数,大于对应较小深度分布范围的所述对焦区域所对应的所述成像子区的个数。该方案可使得所述成像子区的划分根据针对性,具体而言,对于深度分布范围较宽的对焦区域而言,确定的成像子区个数较多,各成像子区对焦后的景深范围相互叠加,使得叠加后景深范围和对焦区域对应的深度分布范围仅可能匹配,或者说,叠加后景深范围尽可能覆盖较多的对焦区域对应的深度分布范围,这样,对焦区域对应不同深度的部分可清晰成像的概率大大增加,由此提高成像质量。而对于深度分布范围较窄的对焦区域而言,确定的成像子区个数较少,有利于以成像子区为粒度进行精确对焦的情形下,尽可能降低方案的复杂性。
可选的,所述成像控制装置还包括:一图像传感器深度位置调整模块56。图像传感器深度位置调整模块56用于调整所述图像传感器的深度位置,以使调整后的所述图像传感器的深度位置介于对应所述至少二个成像子区的深度位置范围之间。该方案可通过调整所述图像传感器的深度位置,以改变对各成像子区进行精确调焦的参考起点,进而有利于充分利用图像传感器允许的最大变形深度量,和/或,均衡不同成像子区的变形程度要求,进而提高成像质量。
图7为本申请实施例提供的第三种成像控制装置的结构示意图,本申请具体实施例并不对成像控制装置700的具体实现方式做限定。如图7所示,成像控制装置700可以包括:
处理器(Processor)710、通信接口(Communications Interface)720、存储器(Memory)730、以及通信总线740。其中:
处理器710、通信接口720、以及存储器730通过通信总线740完成相互间的通信。
通信接口720,用于与比如可变形的图像传感器等通信。
处理器710,用于执行程序732,具体可以执行上述任一方法实施例中的相关步骤。
例如,程序732可以包括程序代码,所述程序代码包括计算机操作指令。
处理器710可能是一个中央处理器(Central Processing Unit,简称CPU),或者是特定集成电路(Application Specific Integrated Circuit,简称ASIC),或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器730,用于存放程序732。存储器730可能包含随机存取存储器(RandomAccess Memory,简称RAM),也可能还包括非易失性存储器(Non-volatile memory),例如至少一个磁盘存储器。
例如,在一种可选的实现方式中,处理器710通过执行程序732可执行以下步骤:至少根据待摄对象的深度信息,确定图像传感器的至少二个成像子区各自对应的目标合焦深度位置;控制所述图像传感器变形,以使变形后的所述至少二个成像子区的参考点的深度位置分别向相应的所述目标合焦深度位置接近或重合;基于变形后的所述图像传感器获取所述待摄对象的图像。在其他可选的实现方式中,处理器710通过执行程序732还可执行上述其他任一实施例提及的步骤,在此不再赘述。
程序732中各步骤的具体实现可以参见上述实施例中的相应步骤、模块、子模块、单元中对应的描述,在此不再赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
图8为本申请实施例提供的一种摄像设备的逻辑框图。如图8所示,本申请实施例提供的摄像设备包括:一成像光学系统81、一可变形的图像传感器82和本申请实施例提供的任一所述的成像控制装置83。
所述的图像传感器的表面形状可变形,如可为成像面的表面形状至少局部可发生变化的图像传感器,其器件的具体结构和形态并不限制。例如,所述图像传感器包括柔性图像传感器,如图1b所示,通过外力等作用可将所述柔性图像传感器进行一定的程度的弯曲。和/或,又例如,所述图像传感器包括阵列分布的多个成像子区,至少二个成像子区之间通过可变形连接部件连接,如图1c所示,所述可变形连接部件可包括但不限于弹性部件或可控变形材料部,所述可控变形材料部可包括但不限于光致变形材料部、磁致变形材料部、压电材料部等等。
所述成像光学系统可包括但不限于至少一成像透镜,所述成像控制装置的结构、工作机理、成像控制方法以及可实现的技术效果和机理分析等部分,均可参见本申请其他部分的记载,不再赘述。
在本申请上述各实施例中,实施例的序号和/或先后顺序仅仅便于描述,不代表实施例的优劣。对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。有关装置、设备或系统实施例的实施原理或过程的相关描述,可参见相应方法实施例的记载,在此不再赘述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,简称ROM)、随机存取存储器(Random Access Memory,简称RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请的装置、方法、系统等实施例中,显然,各部件(系统、子系统、模块、子模块、单元、子单元等)或各步骤是可以分解、组合和/或分解后重新组合的。这些分解和/或重新组合应视为本申请的等效方案。同时,在上面对本申请具体实施例的描述中,针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用,与其它实施方式中的特征相组合,或替代其它实施方式中的特征。
应该强调,术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在,但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
最后应说明的是:以上实施方式仅用于说明本申请,而并非对本申请的限制,有关技术领域的普通技术人员,在不脱离本申请的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本申请的范畴,本申请的专利保护范围应由权利要求限定。

Claims (5)

1.一种成像控制方法,其特征在于,包括:
至少根据待摄对象的深度信息,确定图像传感器的至少二个成像子区各自对应的目标合焦深度位置;
控制所述图像传感器变形,以使变形后的所述至少二个成像子区的参考点的深度位置分别向相应的所述目标合焦深度位置接近或重合;
基于变形后的所述图像传感器获取所述待摄对象的图像;
所述图像传感器包括柔性图像传感器;和/或,
所述图像传感器包括阵列分布的多个成像子区,至少二个成像子区之间通过可变形连接部件连接;
所述控制所述图像传感器变形,包括:
确定所述图像传感器的变形约束信息;
根据所述变形约束信息确定所述至少二个成像子区沿深度方向的最大形变深度范围;
根据所述最大形变深度范围和所述目标合焦深度位置,控制所述至少二个成像子区的变形。
2.根据权利要求1所述的方法,其特征在于,至少二个所述目标合焦深度位置不同。
3.一种成像控制装置,其特征在于,包括:
一目标合焦深度确定模块,用于至少根据待摄对象的深度信息,确定图像传感器的至少二个成像子区各自对应的目标合焦深度位置;
一变形控制模块,用于控制所述图像传感器变形,以使变形后的所述至少二个成像子区的参考点的深度位置分别向相应的所述目标合焦深度位置接近或重合;
一成像模块,用于基于变形后的所述图像传感器获取所述待摄对象的图像;
所述图像传感器包括柔性图像传感器;和/或,
所述图像传感器包括阵列分布的多个成像子区,至少二个成像子区之间通过可变形连接部件连接;
所述变形控制模块包括:
一变形约束信息确定子模块,用于确定所述图像传感器的变形约束信息;
一变形控制子模块,用于根据所述变形约束信息确定所述至少二个成像子区沿深度方向的最大形变深度范围;根据所述最大形变深度范围和所述目标合焦深度位置,控制所述至少二个成像子区的变形。
4.根据权利要求3所述的装置,其特征在于,至少二个所述目标合焦深度位置不同。
5.一种成像设备,其特征在于,包括:一成像光学系统、一可变形的图像传感器和一如权利要求3-4任一所述的成像控制装置;
所述图像传感器包括柔性图像传感器;和/或,
所述图像传感器包括阵列分布的多个成像子区,至少二个成像子区之间通过可变形连接部件连接;
所述成像控制装置包括一变形控制模块,所述变形控制模块包括:
一变形约束信息确定子模块,用于确定所述图像传感器的变形约束信息;
一变形控制子模块,用于根据所述变形约束信息确定所述至少二个成像子区沿深度方向的最大形变深度范围;根据所述最大形变深度范围和所述目标合焦深度位置,控制所述至少二个成像子区的变形。
CN201510130606.1A 2015-03-24 2015-03-24 成像控制方法和装置、成像设备 Active CN106161910B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201510130606.1A CN106161910B (zh) 2015-03-24 2015-03-24 成像控制方法和装置、成像设备
US15/559,204 US10298835B2 (en) 2015-03-24 2016-03-04 Image control methods and apparatuses, and imaging devices with control of deformation of image sensor
PCT/CN2016/075563 WO2016150291A1 (en) 2015-03-24 2016-03-04 Imaging control methods and apparatuses, and imaging devices

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510130606.1A CN106161910B (zh) 2015-03-24 2015-03-24 成像控制方法和装置、成像设备

Publications (2)

Publication Number Publication Date
CN106161910A CN106161910A (zh) 2016-11-23
CN106161910B true CN106161910B (zh) 2019-12-27

Family

ID=56977855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510130606.1A Active CN106161910B (zh) 2015-03-24 2015-03-24 成像控制方法和装置、成像设备

Country Status (3)

Country Link
US (1) US10298835B2 (zh)
CN (1) CN106161910B (zh)
WO (1) WO2016150291A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018050130A (ja) * 2016-09-20 2018-03-29 キヤノン株式会社 撮像装置、その制御方法、プログラムならびに記録媒体
CN107483828B (zh) * 2017-09-12 2020-06-19 北京小米移动软件有限公司 变焦方法、变焦装置及电子设备
CN107707813B (zh) * 2017-09-12 2020-03-17 北京小米移动软件有限公司 超景深效果成像方法、装置及电子设备
CN107592455B (zh) * 2017-09-12 2020-03-17 北京小米移动软件有限公司 浅景深效果成像方法、装置及电子设备
WO2019113839A1 (en) 2017-12-13 2019-06-20 Shenzhen United Imaging Healthcare Co., Ltd. System and method for diagnosis and treatment
CN108769476B (zh) * 2018-06-06 2019-07-19 Oppo广东移动通信有限公司 图像获取方法及装置、图像采集装置、计算机设备和可读存储介质
CN112179561B (zh) * 2020-09-17 2022-09-30 五邑大学 一种压力传感器阵列定标方法、装置及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742107A (zh) * 2008-11-25 2010-06-16 索尼株式会社 成像装置和成像方法
CN103353667A (zh) * 2013-06-28 2013-10-16 北京智谷睿拓技术服务有限公司 成像调整设备及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005058399A (ja) * 2003-08-11 2005-03-10 Nikon Corp ディスプレイ装置
US7742090B2 (en) 2006-12-22 2010-06-22 Palo Alto Research Center Incorporated Flexible segmented image sensor
KR20140064478A (ko) * 2012-11-20 2014-05-28 삼성디스플레이 주식회사 영상 감지 유닛, 3d 영상 처리 장치, 3d 카메라 시스템, 3d 영상 처리 방법
CN103824303A (zh) * 2014-03-14 2014-05-28 格科微电子(上海)有限公司 基于被摄物的位置、方向调整图像透视畸变的方法和装置
CN104410784B (zh) 2014-11-06 2019-08-06 北京智谷技术服务有限公司 光场采集控制方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742107A (zh) * 2008-11-25 2010-06-16 索尼株式会社 成像装置和成像方法
CN103353667A (zh) * 2013-06-28 2013-10-16 北京智谷睿拓技术服务有限公司 成像调整设备及方法

Also Published As

Publication number Publication date
US10298835B2 (en) 2019-05-21
US20180070004A1 (en) 2018-03-08
WO2016150291A1 (en) 2016-09-29
CN106161910A (zh) 2016-11-23

Similar Documents

Publication Publication Date Title
CN106161910B (zh) 成像控制方法和装置、成像设备
US10269130B2 (en) Methods and apparatus for control of light field capture object distance adjustment range via adjusting bending degree of sensor imaging zone
US10516877B2 (en) Light field collection control methods and apparatuses, light field collection devices
US9998650B2 (en) Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map
CN108076278B (zh) 一种自动对焦方法、装置及电子设备
US9992478B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images
JP5967432B2 (ja) 処理装置、処理方法、及び、プログラム
JP5367094B2 (ja) 撮像装置及びその制御方法
CN108335323B (zh) 一种图像背景的虚化方法及移动终端
WO2011070757A1 (ja) 撮像装置および撮像方法
US9131130B2 (en) Image pickup apparatus, and control method thereof
JP5900257B2 (ja) 処理装置、処理方法、及び、プログラム
CN112653835B (zh) 聚焦状态的判断方法、装置及存储介质
JP2012514886A (ja) 映像データ獲得方法及び装置
CN106375651B (zh) 对焦方法和装置、图像采集设备
CN106161912B (zh) 对焦方法和装置、拍摄设备
CN104601883A (zh) 一种图像拍摄的方法及装置
JP6645711B2 (ja) 画像処理装置、画像処理方法、プログラム
JP6645690B2 (ja) 自動焦点調節装置、撮像装置、および自動焦点調節方法
CN114422665B (zh) 一种基于多摄像头的拍摄方法及相关装置
JP5773659B2 (ja) 撮像装置および制御方法
TWI605418B (zh) 影像編輯方法以及影像處理裝置
JP2017198996A (ja) 撮像装置、撮像方法及びプログラム
CN107707807B (zh) 图像采集控制方法和装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant