CN113141447B - 全景深图像采集方法、合成方法、装置、设备及存储介质 - Google Patents
全景深图像采集方法、合成方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN113141447B CN113141447B CN202010149356.7A CN202010149356A CN113141447B CN 113141447 B CN113141447 B CN 113141447B CN 202010149356 A CN202010149356 A CN 202010149356A CN 113141447 B CN113141447 B CN 113141447B
- Authority
- CN
- China
- Prior art keywords
- depth
- field
- acquiring
- image
- lens unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 122
- 230000015572 biosynthetic process Effects 0.000 title abstract description 8
- 238000003786 synthesis reaction Methods 0.000 title abstract description 8
- 230000003287 optical effect Effects 0.000 claims abstract description 66
- 230000008569 process Effects 0.000 claims abstract description 64
- 238000012634 optical imaging Methods 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims abstract description 10
- 238000007499 fusion processing Methods 0.000 claims abstract description 8
- 238000001308 synthesis method Methods 0.000 claims abstract description 3
- 230000008859 change Effects 0.000 claims description 54
- 238000003384 imaging method Methods 0.000 claims description 49
- 238000005070 sampling Methods 0.000 claims description 35
- 210000003644 lens cell Anatomy 0.000 claims description 5
- 230000003068 static effect Effects 0.000 claims description 3
- 238000012545 processing Methods 0.000 abstract description 18
- 238000005516 engineering process Methods 0.000 abstract description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 45
- 239000011521 glass Substances 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000004927 fusion Effects 0.000 description 6
- 230000004075 alteration Effects 0.000 description 5
- 238000000354 decomposition reaction Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000005684 electric field Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 239000004988 Nematic liquid crystal Substances 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000003292 glue Substances 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000009828 non-uniform distribution Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/957—Light-field or plenoptic cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种全景深图像采集方法、合成方法、装置、设备及存储介质，涉及光学成像技术领域。该采集方法包括：获取光焦度值随时间变化的特性；获取光焦度值所对应的景深范围；获取目标光焦度值；获取进行图像采集的采集时刻；对目标图像进行采集。该图像合成方法为对采集图像做景深融合处理得全景深图像。该装置包括：时间特性获取模块，景深范围获取模块，目标光焦度值获取模块，采集时刻获取模块，图像采集模块。该存储介质，其上存储有计算机程序指令。本发明的全景深图像采集方法、合成方法、装置、设备及存储介质，可以解决现有的基于可变焦透镜单元的图像处理技术图像采集过程复杂，图像处理数据量大，处理速度慢的技术问题。
Description
技术领域
本发明涉及光学成像技术领域，尤其是一种全景深图像采集方法、合成方法、装置、设备及存储介质。
背景技术
全景深(Extended Depth of Field,EDOF)光学成像系统可以获取物体更为丰富的信息。为了突破传统光学成像系统的景深限制，研究人员提出了许多方法实现扩大光学系统的景深。其中扩大景深的方法主要可分为三类：第一类是通过缩小系统数值孔径实现景深扩展；第二种方法是波前编码(Wavefront coding，WFC)，通过在光瞳位置进行相位调制来记录编码图像，并利用数字图像处理技术对编码图像进行解码，实现扩大景深效果；第三类是数字图像融合技术，对采集的具有不同焦平面的多幅图像进行小波分解，提取出各个对焦平面的高频信息，再根据融合规则对分解图像进行小波融合以达到扩大景深的效果。利用液晶透镜采集图像时图像放大率不变的特性，可以解决传统光学成像系统对焦平面改变时像素点偏移的问题，实现全景深成像。
现有的利用液晶透镜的动态特性获得全景深图像的方法，可以通过液晶透镜在正负透镜状态之间变换的特性，快速采集具有不同焦距和景深范围的图像。但是为了保证景深效果往往需要采集大量的图像，然后对图像进行处理后得到大景深的图像。现有技术的方法由于需要采集和处理的图像量大，造成采集过程复杂，图像处理速度慢的技术问题。
发明内容
本发明提供了一种全景深图像采集方法、合成方法、装置、设备及存储介质，用以解决现有的全景深图像处理技术图像采集过程复杂，图像处理数据量大，处理速度慢的技术问题。
第一方面，本发明提供了一种全景深图像采集方法，所述方法包括：
S1、获取可变焦透镜单元动态变化过程中光焦度值随时间变化的特性；
S2、获取可变焦透镜单元动态变化过程中的光焦度值所对应的景深范围；
S3、根据所述光焦度值所对应的景深范围获取至少一组其对应的景深范围可以覆盖整个成像空间的光焦度值的作为目标光焦度值，所述目标光焦度值所对应的景深范围重合的部分与整个成像空间景深范围的比值小于等于10％；
S4、根据所述目标光焦度值和所述光焦度值随时间变化的特性获取进行图像采集的采集时刻；
S5、根据图像采集的采集时刻对待采集的目标图像进行采集。
优选地，所述S1、获取可变焦透镜单元动态变化过程中光焦度值随时间变化的特性包括：
S11、获取可变焦透镜单元动态变化的电压范围；
S12、获取在可变焦透镜单元动态变化过程中进行干涉条纹图像采集的采样时刻；
S13、根据所述电压范围和采样时刻，在可变焦透镜单元动态变化过程中采集与所述采样时刻对应的干涉条纹图像；
S14、根据与所述采样时刻对应的干涉条纹图像获取与采样时刻所对应的光焦度值；
S15、根据所述与采样时刻所对应的光焦度值获取可变焦透镜单元动态变化过程中光焦度值随时间变化的特性。
优选地，所述S11、获取可变焦透镜单元动态变化的电压范围包括；
S111、获取可变焦透镜单元静态变化过程中的加载到可变焦透镜单元上的电压值和与该电压值对应的干涉条纹图像；
S112、根据与所述电压值对应的干涉条纹图像得到与所述电压值对应的光焦度值；
S113、根据所述电压值和光焦度值的对应关系确定可变焦透镜单元动态变化的电压范围。
优选地，所述S2、获取可变焦透镜单元动态变化过程中的光焦度值所对应的景深范围包括：
S21、根据可变焦透镜单元动态变化过程中的光焦度值获取与所述光焦度值对应的可变焦透镜单元的焦距值；
S22、根据可变焦透镜单元的焦距值计算可变焦透镜单元光学成像系统的对焦面前景深和对焦面后景深；
S23、根据对焦面前景深和对焦面后景深确定可变焦透镜单元动态变化过程中的光焦度值所对应的景深范围。
优选地，所述S22、根据可变焦透镜单元的焦距值计算可变焦透镜单元光学成像系统的对焦面前景深和对焦面后景深的方法为：
所述前景深ΔL1＝F×δ×L2/(f2+F×δ×L)；
所述后景深ΔL2＝F×δ×L2/(f2-F×δ×L)；
其中F为镜头的光圈值，L为对焦距离，单位为mm，δ为像元直径，单位为mm，f为焦距，单位为mm，r为成像系统的光阑半径，单位为mm，ΔL1和ΔL2的单位为mm。
优选地，在S3、根据所述光焦度值所对应的景深范围获取至少一组其对应的景深范围可以覆盖整个成像空间的光焦度值的作为目标光焦度值中，所述目标光焦度值为其对应的景深范围可以覆盖整个成像空间的且数量最少的一组光焦度值。
第二方面，本发明提供一种全景深图像合成方法，对利用第一方面中的全景深图像采集方法采集得到的图像做景深融合处理得到全景深图像。
第三方面，本发明提供一种全景深图像采集装置，所述装置包括：
时间特性获取模块，所述时间特性获取模块用于获取可变焦透镜单元动态变化过程中光焦度值随时间变化的特性；
景深范围获取模块，所述景深范围获取模块用于获取可变焦透镜单元动态变化过程中的光焦度值所对应的景深范围；
目标光焦度值获取模块，根据所述光焦度值所对应的景深范围获取至少一组其对应的景深范围可以覆盖整个成像空间的光焦度值作为目标光焦度值，所述目标光焦度值所对应的景深范围重合的部分与整个成像空间景深范围的比值小于等于10％；
采集时刻获取模块，所述采集时刻获取模块用于根据所述目标光焦度值和所述光焦度值随时间变化的特性获取进行图像采集的采集时刻；
图像采集模块，所述图像采集模块用于根据图像采集的采集时刻对待采集的目标图像进行采集。
第四方面，本发明提供一种全景深图像采集设备，包括可变焦透镜单元光学成像系统，至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，所述可变焦透镜单元光学成像系统包括用于接收所述处理器控制信号的可变焦透镜单元和用于将通过可变焦透镜单元的光信号转换成电信号的图像传感器，当所述计算机程序指令被所述处理器执行时实现第一方面或第二方面所述的方法。
第五方面，本发明提供了一种存储介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现第一方面或第二方面所述的方法。
综上所述，本发明的全景深图像采集方法、合成方法、装置、设备及存储介质从可变焦透镜单元动态变化过程中光焦度值随时间变化的特性入手，根据可变焦透镜单元动态变化过程中的光焦度值与景深范围的对应关系筛选出对应的景深范围可以覆盖整个成像空间的光焦度值的作为目标光焦度值。然后根据光焦度值随时间变化的特性找出可变焦透镜单元处于目标光焦度值时的特定时刻，最后特定时刻采集少量的图像作为后续景深拼接的图像。由于本实施例的图像采集时刻是根据景深范围覆盖整个成像空间的景深要求确定的，因此按照本实施例确定的采样时刻采集图像，可以得到景深范围覆盖整个成像空间的图像的集合，并且经过筛选后的图像景深重合度低，图像数量少，可以显著简化图像采集过程，大大减少数据处理量，显著提高图像处理速度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例1的液晶透镜的结构示意图。
图2是本发明实施例1的全景深图像采集方法的流程图。
图3是本发明实施例1中获取可变焦透镜单元动态变化过程中光焦度值随时间变化的特性的方法流程图。
图4是本发明实施例1中获取可变焦透镜单元动态变化的电压范围的方法流程图。
图5是本发明实施例1中获取可变焦透镜单元动态变化过程中的光焦度值所对应的景深范围的方法的流程图。
图6是本发明实施例3的全景深图像采集装置结构框图。
图7是本发明实施例3的全景深图像采集装置采用预处理模块的结构框图。
图8是本发明实施例4的全景深图像成像采集设备的结构示意图。
具体实施方式
下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
液晶透镜是一种无需机械移动即可通过调节输入电压信号从而控制焦距的新型光学器件。由于液晶分子指向矢排列可电控调谐使之在非均匀电场中呈现不同的折射率梯度分布。所以只需使对具有圆孔电极的向列型液晶透镜施加的电压信号,使圆孔电极内部的电场分布具有一定的梯度，从而诱导液晶分子指向矢非均匀分布，使经过液晶层中传播的出射光产生抛物线形的相位分布，入射平面波的波前弯曲成会聚或发散的球面波，此时液晶透镜的特性等效于正透镜或负透镜。其中液晶透镜的结构如图所示，从图中可以看出液晶透镜主要由第一ITO电极1、紫外胶2、不透明金属电极3、间隔子4、液晶层、第二ITO电极6、玻璃基板7，玻璃基板8和玻璃基板9等部件组成。
实施例1
本实施例的全景深图像采集方法从液晶透镜动态变化过程中光焦度值随时间变化的特性入手，根据液晶透镜动态变化过程中的光焦度值与的景深范围的对应关系筛选出对应的景深范围可以覆盖整个成像空间的光焦度值作为目标光焦度值。然后根据光焦度值随时间变化的特性找出液晶透镜处于目标光焦度值时的特定时刻，最后在前面找出的特定时刻采集少量的图像作为后续景深拼接的图像。由于本实施例的图像采集时刻是根据景深范围覆盖整个成像空间的景深要求确定的，因此按照本实施例确定的采样时刻采集图像，可以得到景深范围覆盖整个成像空间的图像的集合，并且经过筛选后的图像景深重合度低，图像数量少，可以显著简化图像采集过程，大大减少数据处理量，显著提高图像处理速度。
请参见图2所示，本实施例提供了一种全景深图像采集方法，所述方法包括：
S1、获取可变焦透镜单元动态变化过程中光焦度值随时间变化的特性；
本实施例中的可变焦透镜单元可以是液晶透镜或者微透镜阵列或者液体透镜，本实施例以液晶透镜为例进行说明。液晶透镜可通过调节电压实现较宽范围的焦距变化。其中液晶透镜动态变化过程是指加载在液晶透镜的电压有一个电压值切换到另一个电压值后液晶透镜的焦距或者光焦度随时间变化的过程。在动态变化过程中液晶透镜始终保持透镜状态，均方根像差(RMS像差)始终小于0.01个波长，以确保液晶透镜状态良好。其中光焦度值随时间变化的特性是指液晶透镜在动态变化过程中光焦度值与时间的对应关系。
请参见图3所示，其中步骤S1、获取可变焦透镜单元动态变化过程中光焦度值随时间变化的特性包括：
S11、获取可变焦透镜单元动态变化的电压范围；
如图4所述，其中所述S11、获取可变焦透镜单元动态变化的电压范围包括；
S111、获取可变焦透镜单元静态变化过程中的加载到可变焦透镜单元上的电压值和与该电压值对应的干涉条纹图像；
S112、根据与所述电压值对应的干涉条纹图像得到与所述电压值对应的光焦度值；
例如，分别调节液晶透镜的电压V1和V2从0.1V到9.6V变化，使其遍历所有的电压设置。在每次调节电压后，等待电压输出稳定，采集此时的干涉条纹图像。对干涉条纹的相位信息进行波前拟合，分析得到液晶透镜电压变化过程中采集的干涉条纹图像对应的光焦度值。
S113、根据所述电压值和光焦度值的对应关系确定可变焦透镜单元动态变化的电压范围。
在得出电压值和光焦度值的对应关系后可以寻找适合的起始电压和终止电压，确保在电压范围内，像差值小于0.01个波长，且具有较好的光焦度值。其中较合适的光焦度值绝对值大于3的关键点值。
S12、获取在可变焦透镜单元动态变化过程中进行干涉条纹图像采集的采样时刻；
这里的采样时刻是指采集干涉条纹的时间，与后文所述的针对采集用于合成的图像的目标图像采集时刻有所不同。
其中指采集干涉条纹的采样时刻可以根据实际情况确定，可以根据设备的最高采用频率来采样，也可以适当减低采样频率，增加采样时间间隔，可以按照相同的时间间隔来对干涉条纹图像进行采样，也可以采用不同的时间间隔来对干涉条纹图像进行采样，只要保证能够采集到的干涉条纹所对应的景深范围足够丰富，以便于能够筛选出覆盖全部景深范围的光焦度值即可，因此具体的干涉条纹的采样时刻在这里不做限定。
S13、根据所述电压范围和采样时刻，在可变焦透镜单元动态变化过程中采集与所述采样时刻对应的干涉条纹图像；
S14、根据与所述采样时刻对应的干涉条纹图像获取与采样时刻所对应的光焦度值；
S15、根据所述与采样时刻所对应的光焦度值获取可变焦透镜单元动态变化过程中光焦度值随时间变化的特性。
本实施例在液晶透镜动态变化过程中对通过液晶透镜所产生的干涉条纹图像进行采集，并将所采集的干涉条纹图像与采集该图像的时刻对应起来。具体可以采集变化过程中的每一帧干涉条纹图像，然后通过设置的相邻的两帧之间的时间间隔，计算出采集的每一帧图像的时刻。在其它实施例中也可以根据景深覆盖要求选择采集干涉条纹图像的时刻，只要能保证景深覆盖的要求，以使后续处理中可以筛选出能完全覆盖所需景深范围的用于景深融合的图像即可，在这里不做限定。在实际操作中可以设置加载在液晶透镜上的电压由一组电压值切换到另一组电压值后的时刻为起始时刻。通过对所采集的干涉条纹图像进行波前相位拟合可以得出与该图像所对应的光焦度值。最后通过前面得到的干涉条纹图像与采集时刻的对应关系，得出相应的光焦度值与采样时刻的对应关系，即光焦度值随时间变化的特性。
下面以一个示例来说明具体的获取液晶透镜动态变化过程中光焦度值随时间变化的特性的实现方法：
本次实验采用的图像传感器，采集图像的分辨率为1920×1080，像元直径约为δ＝0.0022mm，光阑半径为r＝1mm，在相机模组前安装一个焦距为f＝8mm的玻璃透镜，将液晶透镜紧贴于玻璃透镜前(两透镜间距可忽略不计)，CCD与组合透镜间的距离为d＝8.326mm，镜头的光圈值为F＝f/2r，该透镜组的焦距为f：
f＝(f玻璃透镜×103)/(f玻璃透镜×power+103)
在无电压信号输入的情况下，根据高斯公式1/u+1/v＝1/f(其中，u为物距，v为像距，v＝d，f为组合透镜焦距)，初始对焦面为20.4cm。
根据拍摄图像环境选取特定的V1、V2的电压值使液晶透镜具有合适的Power值区间(Power随拍摄场景大小变化，需拍摄的物体越远，负Power值越大，正Power值相反)和RMS像差(RMS像差低于0.01个波长)。
本拍摄场景选取Power值区间为[-4.4,3.0]。当Power值为-4.4l/m时，电压为V1＝0.8Vrms，V2＝6.5Vrms；当Power值为3.0l/m时，电压为V1＝3.5Vrms，V2＝1.2Vrms。设置液晶透镜工作频率为f＝1000Hz，调节电压信号V1、V2使液晶透镜从正透镜状态变化为负透镜状态，采集变化过程中的每一帧干涉条纹图像，并对图像进行波前相位拟合，得到液晶透镜在变化过程中每一帧对应的Power值。当液晶透镜Power＝3.0l/m时，对焦物面位置(对焦平面距透镜组的距离)约为12.6cm；液晶透镜Power＝-4.4l/m时，对焦物面位置为234cm。
在前述示例中液晶透镜动态变化过程为加载在液晶透镜上的电压值由第一电压值切换到第二电压值后液晶透镜从正透镜状态变化为负透镜状态的过程，所述采集时刻以加载在液晶透镜上的电压值由第一电压值切换到第二电压值的时刻为初始时刻。
S2、获取可变焦透镜单元动态变化过程中的光焦度值所对应的景深范围；
请参见图5所示，其中获取可变焦透镜单元动态变化过程中的光焦度值所对应的景深范围的具体步骤包括：
S21、根据可变焦透镜单元动态变化过程中的光焦度值获取与所述光焦度值对应的可变焦透镜单元组的焦距值；
S22、根据可变焦透镜单元的焦距值计算可变焦透镜单元光学成像系统的对焦面前景深和对焦面后景深；
其中，根据可变焦透镜单元的焦距值计算可变焦透镜单元光学成像系统的对焦面前景深和对焦面后景深的方法为：
所述前景深ΔL1＝F×δ×L2/(f2+F×δ×L)；
所述后景深ΔL2＝F×δ×L2/(f2-F×δ×L)；
其中F为镜头的光圈值，L为对焦距离，单位为mm，δ为像元直径，单位为mm，f为焦距，单位为mm，r为成像系统的光阑半径，单位为mm，ΔL1和ΔL2的单位为mm。
S23、根据对焦面前景深和对焦面后景深确定可变焦透镜单元动态变化过程中的光焦度值所对应的景深范围。
其中可变焦透镜单元光学成像系统包括了可变焦透镜单元，也可以根据使用情况在可变焦透镜单元的基础上添加其它的光学器件。
通过前述方法就可以得到液晶透镜动态变化过程中各个光焦度值所对应的景深范围了。具体结果如表1所示，其中表1为本实施例中液晶透镜相位动态拟合的power值及其对应的前后景深范围。
表1
在计算出光焦度值所对应的景深范围后进行以下步骤：
S3、根据所述光焦度值所对应的景深范围获取至少一组其对应的景深范围可以覆盖整个成像空间的光焦度值的作为目标光焦度值，所述目标光焦度值所对应的景深范围重合的部分与整个成像空间景深范围的比值小于等于10％。
例如取表2中光焦度值为3.10、2.73、2.44的光焦度值作为目标光焦度值计算目标光焦度值所对应的景深范围重合的部分与整个成像空间景深范围的比值。
第一段景深范围为光焦度值3.10(1/m)对应的景深范围123.979(mm)～129.09(mm)；
第二段景深范围为光焦度值2.73(1/m)对应的景深范围128.46(mm)～133.93(mm)；
第三段景深范围为光焦度值2.44(1/m)对应的景深范围133.52(mm)～139.40(mm)；
其中第一段景深范围和第二段景深范围重合部分为129.09-128.46＝0.63(mm)；
其中第二段景深范围和第三段景深范围重合部分为139.93-133.52＝0.41(mm)。
如果将将前述三段景深范围所覆盖的景深范围123.979(mm)～139.40(mm)作为整个成像空间景深范围，则标光焦度值所对应的景深范围重合的部分与整个成像空间景深范围的比值为(0.63+0.41)/(139.40-123.979)＝6.744％。
作为一种优选的示例，可以使获取的目标光焦度值所对应的景深范围完全没有重合的部分，即标光焦度值所对应的景深范围重合的部分与整个成像空间景深范围的比值为0。
从表中可以看出许多数值接近的光焦度值所对应的景深范围高度重复，而在进行景深拼接处理时，只需要所采集的图像的景深范围可以覆盖的整个成像空间即可。因此在本步骤中，根据对各个光焦度值的对应的景深范围对光焦度值进行筛选，将一些景深范围高度重复的光焦度值去除，留下少量的光焦度值数据，只要剩余这些光焦度值对应的景深范围可以覆盖到整个成像空间即可。
本实施例中，图像采集时选取的所选定的特定值及其对应的前后景深范围如表2所示。
表2
从表2中可以看出选出的光焦度值所对应的景深范围重合度低，且景深范围可以覆盖整个成像空间。并且与表1相比，经过筛选后的光焦度值的个数远远少于表1中的光焦度值的个数。
此外作为一种优选的示例，在步骤S3、根据所述光焦度值所对应的景深范围获取至少一组其对应的景深范围可以覆盖整个成像空间的光焦度值的作为目标光焦度值中，所述目标光焦度值为其对应的景深范围可以覆盖整个成像空间的且数量最少的一组光焦度值。本示例在保证景深范围可以覆盖整个成像空间的情况下，选取出数量最少的一组光焦度值作为后续图像采集的光焦度值，这样可以在保证成像景深覆盖范围的条件下将所采集的图像的数量减少到最低。
S4、根据所述目标光焦度值和所述光焦度值随时间变化的特性获取进行图像采集的采集时刻；
将保证景深范围可以覆盖到整个成像空间的光焦度值即目标光焦度值选取出来之后，可以对照步骤S1中得出的光焦度值随时间变化的特性，造成各个目标光焦度值所对应的时刻，即在该时刻进行图像采集时，液晶透镜刚好处于该时刻所对应的目标光焦度值。
S5、根据图像采集的采集时刻对待采集的目标图像进行采集。
在得出采集时刻后就可以控制图像采集设备在预设得出的采集时刻采集图像。各个时刻采集的图像对应了该时刻液晶透镜所处的光焦度值。因此按照前述步骤的采集时刻采集得到的图像的景深范围覆盖了整个成像空间，用这些采集图像可以拼接出景深范围覆盖整个成像空间的全景深图片。
实施例2
本实施例提供一种全景深图像合成方法，对利用实施例1中项全景深图像采集方法采集得到的图像做景深融合处理的得到全景深图像。
其中景深融合处理的方法这里采用小波融合算法，当然也可是其它算法。具体方法为根据小波变换原理对采集的原始图像进行小波分解，对提取的子图像的所有行和列进行一维滤波。比较一系列图像中小波分解系数中最大的值，通过逆变换进行小波重构合成全景深图像。具体过程可以是先将采集的各幅图像进行N层的小波分解，获得其高频子图像和低频子图像；再对获得的图像进行行与列的一维小波变换，采集图像小波分解系数；然后对各子图像上的不同频率的分量采用不同的融合算子进行融合处理；最后对融合处理后的图像进行行与列的一维小波逆变换，采集小波重构后的图像。
由于采用实施例1的方法采集的图像数量少，因此在景深融合处理的过程也得到简化，处理速度也得到了显著地提高。
实施例3
请参阅图6，本实施例提供一种全景深图像采集装置，所述装置包括：
时间特性获取模块，所述时间特性获取模块用于获取可变焦透镜单元动态变化过程中光焦度值随时间变化的特性；
景深范围获取模块，所述景深范围获取模块用于获取可变焦透镜单元动态变化过程中的光焦度值所对应的景深范围；
目标光焦度值获取模块，所述目标光焦度值获取模块用于根据所述光焦度值所对应的景深范围获取至少一组其对应的景深范围可以覆盖整个成像空间的光焦度值作为目标光焦度值，所述目标光焦度值所对应的景深范围重合的部分与整个成像空间景深范围的比值小于等于10％；
采集时刻获取模块，所述采集时刻获取模块用于根据所述目标光焦度值和所述光焦度值随时间变化的特性获取进行图像采集的采集时刻；
图像采集模块，所述图像采集模块用于根据图像采集的采集时刻对待采集的目标图像进行采集。
如图7所示，作为本实施例的一个示例，其中时间特性获取模块、景深范围获取模块、目标光焦度值获取模块、采集时刻获取模块作为预处理模块，由前述四个模块预处理得到的采集时刻可以存储在采集设备的存储介质中。这样每次采集图像时。图像采集模块只需要根据存储在存储介质中的采集时刻来对目标图像进行采集即可，这样可以进一步简化采集程序，提高图像采集的效率。
作为本实施例的另一个示例，也可以根据情况在每次采集前指定一个特定的景深范围，将该特定的景深范围输入到景深范围获取模块，并由目标光焦度值获取模块、采集时刻获取模块处理得到图像采集时刻后，输出到图像采集模块进行采集，这样可以根据不同景深范围来灵活筛选最合适的采集时刻。
实施例4
另外，结合图8描述的本发明实施例的全景深图像成像采集方法可以由全景深图像成像采集设备来实现。图6示出了本发明实施例提供的全景深图像成像采集设备的硬件结构示意图。
全景深图像成像采集设备可以包括可变焦透镜单元，处理器401以及存储有计算机程序指令的存储器402。所述可变焦透镜单元用于接收所述处理器401控制信号，当所述计算机程序指令被所述处理器执行时实现前述实施例所述的方法。
具体地，上述处理器401可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器402可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器402可在数据处理装置的内部或外部。在特定实施例中，存储器402是非易失性固态存储器。在特定实施例中，存储器402包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。
处理器401通过读取并执行存储器402中存储的计算机程序指令，以实现上述实施例中的任意一种区域随机打印的数据寻址方法。
在一个示例中全景深图像成像采集设备还可包括通信接口403和总线410。其中，如图6所示，处理器401、存储器402、通信接口403通过总线410连接并完成相互间的通信。
通信接口403，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。
总线410包括硬件、软件或两者，将全景深图像成像采集的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线410可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。
实施例5
另外，结合上述实施例中的全景深图像成像采集方法，本发明实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种全景深图像成像采集方法或者全景深图像合成方法。
以上是对本发明实施例提供的全景深图像成像采集方法、装置、设备及储存设备的详细介绍。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。
以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。
Claims (9)
1.全景深图像采集方法，其特征在于，所述方法包括：
S1、获取可变焦透镜单元动态变化过程中光焦度值随时间变化的特性；
S2、获取可变焦透镜单元动态变化过程中的光焦度值所对应的景深范围；
S3、根据所述光焦度值所对应的景深范围获取至少一组其对应的景深范围可以覆盖整个成像空间的光焦度值作为目标光焦度值，所述目标光焦度值所对应的景深范围重合的部分与整个成像空间景深范围的比值小于等于10％；
S4、根据所述目标光焦度值和所述光焦度值随时间变化的特性获取进行图像采集的采集时刻；
S5、根据图像采集的采集时刻对待采集的目标图像进行采集；
所述S1、获取可变焦透镜单元动态变化过程中光焦度值随时间变化的特性包括：
S11、获取可变焦透镜单元动态变化的电压范围；
S12、获取在可变焦透镜单元动态变化过程中进行干涉条纹图像采集的采样时刻；
S13、根据所述电压范围和采样时刻，在可变焦透镜单元动态变化过程中采集与所述采样时刻对应的干涉条纹图像；
S14、根据与所述采样时刻对应的干涉条纹图像获取与采样时刻所对应的光焦度值；
S15、根据所述与采样时刻所对应的光焦度值获取可变焦透镜单元动态变化过程中光焦度值随时间变化的特性。
2.如权利要求1所述的全景深图像采集方法，其特征在于，所述S11、获取可变焦透镜单元动态变化的电压范围包括；
S111、获取可变焦透镜单元静态变化过程中加载到可变焦透镜单元上的电压值和与该电压值对应的干涉条纹图像；
S112、根据与所述电压值对应的干涉条纹图像得到与所述电压值对应的光焦度值；
S113、根据所述电压值和光焦度值的对应关系确定可变焦透镜单元动态变化的电压范围。
3.如权利要求1所述的全景深图像采集方法，其特征在于，所述S2、获取可变焦透镜单元动态变化过程中的光焦度值所对应的景深范围包括：
S21、根据可变焦透镜单元动态变化过程中的光焦度值获取与所述光焦度值对应的可变焦透镜单元的焦距值；
S22、根据可变焦透镜单元的焦距值计算可变焦透镜单元光学成像系统的对焦面前景深和对焦面后景深；
S23、根据对焦面前景深和对焦面后景深确定可变焦透镜单元动态变化过程中的光焦度值所对应的景深范围。
4.根据权利要求3所述的全景深图像采集方法，其特征在于：所述S22、根据可变焦透镜单元的焦距值计算可变焦透镜单元光学成像系统的对焦面前景深和对焦面后景深的方法为：
所述前景深ΔL1＝F×δ×L2/(f2+F×δ×L)；
所述后景深ΔL2＝F×δ×L2/(f2-F×δ×L)；
其中F为镜头的光圈值，L为对焦距离，单位为mm，δ为像元直径，单位为mm，f为焦距，单位为mm，r为成像系统的光阑半径，单位为mm，ΔL1和ΔL2的单位为mm。
5.根据权利要求3所述的全景深图像采集方法，其特征在于：在S3、根据所述光焦度值所对应的景深范围获取至少一组其对应的景深范围可以覆盖整个成像空间的光焦度值的作为目标光焦度值中，所述目标光焦度值为其对应的景深范围可以覆盖整个成像空间的且数量最少的一组光焦度值。
6.全景深图像合成方法，其特征在于，对利用权利要求1至5中任一项全景深图像采集方法采集得到的图像做景深融合处理得到全景深图像。
7.全景深图像采集装置，其特征在于，所述装置包括：
时间特性获取模块，所述时间特性获取模块用于获取可变焦透镜单元动态变化过程中光焦度值随时间变化的特性；所述获取可变焦透镜单元动态变化过程中光焦度值随时间变化的特性包括：
获取可变焦透镜单元动态变化的电压范围；
获取在可变焦透镜单元动态变化过程中进行干涉条纹图像采集的采样时刻；
根据所述电压范围和采样时刻，在可变焦透镜单元动态变化过程中采集与所述采样时刻对应的干涉条纹图像；
根据与所述采样时刻对应的干涉条纹图像获取与采样时刻所对应的光焦度值；
根据所述与采样时刻所对应的光焦度值获取可变焦透镜单元动态变化过程中光焦度值随时间变化的特性；
景深范围获取模块，所述景深范围获取模块用于获取可变焦透镜单元动态变化过程中的光焦度值所对应的景深范围；
目标光焦度值获取模块，所述目标光焦度值获取模块用于根据所述光焦度值所对应的景深范围获取至少一组其对应的景深范围可以覆盖整个成像空间的光焦度值作为目标光焦度值，所述目标光焦度值所对应的景深范围重合的部分与整个成像空间景深范围的比值小于等于10％；
采集时刻获取模块，所述采集时刻获取模块用于根据所述目标光焦度值和所述光焦度值随时间变化的特性进行图像采集的采集时刻；
图像采集模块，所述图像采集模块用于根据图像采集的采集时刻对待采集的目标图像进行采集。
8.全景深图像采集设备，其特征在于，包括：可变焦透镜单元，至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，所述可变焦透镜单元用于接收所述处理器的控制信号，当所述计算机程序指令被所述处理器执行时实现如权利要求1-6中任一项所述的方法。
9.一种存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010149356.7A CN113141447B (zh) | 2020-03-04 | 2020-03-04 | 全景深图像采集方法、合成方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010149356.7A CN113141447B (zh) | 2020-03-04 | 2020-03-04 | 全景深图像采集方法、合成方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113141447A CN113141447A (zh) | 2021-07-20 |
| CN113141447B true CN113141447B (zh) | 2022-06-03 |
Family
ID=76809405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010149356.7A Active CN113141447B (zh) | 2020-03-04 | 2020-03-04 | 全景深图像采集方法、合成方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113141447B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114554085A (zh) * | 2022-02-08 | 2022-05-27 | 维沃移动通信有限公司 | 对焦方法、装置、电子设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104603796A (zh) * | 2012-04-26 | 2015-05-06 | 纽约市哥伦比亚大学理事会 | 在图像中交互式调焦的系统、方法和媒体 |
| CN106226975A (zh) * | 2016-07-20 | 2016-12-14 | 成都微晶景泰科技有限公司 | 自动对焦方法、设备及成像装置 |
| CN110198411A (zh) * | 2019-05-31 | 2019-09-03 | 努比亚技术有限公司 | 一种视频拍摄过程中的景深控制方法、设备及计算机可读存储介质 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6758807B2 (en) * | 2001-08-27 | 2004-07-06 | Fuji Photo Optical Co., Ltd. | Electronic endoscope with power scaling function |
| JP2012160864A (ja) * | 2011-01-31 | 2012-08-23 | Sanyo Electric Co Ltd | 撮像装置 |
-
2020
- 2020-03-04 CN CN202010149356.7A patent/CN113141447B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104603796A (zh) * | 2012-04-26 | 2015-05-06 | 纽约市哥伦比亚大学理事会 | 在图像中交互式调焦的系统、方法和媒体 |
| CN106226975A (zh) * | 2016-07-20 | 2016-12-14 | 成都微晶景泰科技有限公司 | 自动对焦方法、设备及成像装置 |
| CN110198411A (zh) * | 2019-05-31 | 2019-09-03 | 努比亚技术有限公司 | 一种视频拍摄过程中的景深控制方法、设备及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113141447A (zh) | 2021-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105578048B (zh) | 一种快速对焦方法和装置、移动终端 | |
| CN111031264B (zh) | 一种基于透射式红外孔径编码成像系统及其超分辨方法 | |
| US8049798B2 (en) | Imaging device and image processing method | |
| US20070268376A1 (en) | Imaging Apparatus and Imaging Method | |
| JP5139840B2 (ja) | 撮像装置、画像生成方法、および電子機器 | |
| US20070279618A1 (en) | Imaging Apparatus And Image Improving Method | |
| Yousefi et al. | A new auto-focus sharpness function for digital and smart-phone cameras | |
| CN102369722B (zh) | 摄像装置以及摄像方法、和用于所述摄像装置的图像处理方法 | |
| US20110017827A1 (en) | Optical System, Imaging Device, and Information Code Reader | |
| WO2006028527A2 (en) | Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and centrally obscured aperture | |
| US8363129B2 (en) | Imaging device with aberration control and method therefor | |
| RU2013114371A (ru) | Управление автофокусировкой с использованием статических данных изображения на основании показателей грубой и точной автофокусировки | |
| RU2014119389A (ru) | Устройство захвата изображения | |
| US20090122150A1 (en) | Imaging system with improved image quality and associated methods | |
| CN113141447B (zh) | 全景深图像采集方法、合成方法、装置、设备及存储介质 | |
| US7733411B2 (en) | Image capturing apparatus performing filtering process with variable cut-off frequency | |
| US5842059A (en) | Automatic focus adjusting device | |
| CN111182238A (zh) | 基于扫描光场的高分辨率移动电子设备的成像装置及方法 | |
| CN101001309A (zh) | 一种成像系统及方法 | |
| US20160191785A1 (en) | Auto-focus apparatus and method | |
| US7812296B2 (en) | Imaging apparatus and method for generating an aberration free image | |
| CN101606178A (zh) | 成像设备中依赖于条件的锐化 | |
| CN110166676B (zh) | 一种成像设备、成像控制方法、电子装置和介质 | |
| CN111308741B (zh) | 基于液晶透镜的小凹成像装置及成像方法 | |
| Wang et al. | Intelligent autofocus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |