CN112351196A - 图像清晰度的确定方法、图像对焦方法及装置 - Google Patents
图像清晰度的确定方法、图像对焦方法及装置 Download PDFInfo
- Publication number
- CN112351196A CN112351196A CN202011005603.2A CN202011005603A CN112351196A CN 112351196 A CN112351196 A CN 112351196A CN 202011005603 A CN202011005603 A CN 202011005603A CN 112351196 A CN112351196 A CN 112351196A
- Authority
- CN
- China
- Prior art keywords
- image
- definition
- determining
- sample
- focusing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 115
- 238000010586 diagram Methods 0.000 claims abstract description 37
- 238000012549 training Methods 0.000 claims abstract description 13
- 230000000875 corresponding effect Effects 0.000 claims description 47
- 238000004590 computer program Methods 0.000 claims description 9
- 230000002596 correlated effect Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 13
- 230000008569 process Effects 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 10
- 238000013461 design Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000006073 displacement reaction Methods 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000003703 image analysis method Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本发明提供了一种图像清晰度的确定方法、图像对焦方法及装置,涉及图像处理技术领域,图像清晰度的确定方法包括:将待确定清晰度的目标图像输入至预先训练得到的去模糊模型,通过去模糊模型得到目标图像的特征图信息;特征图信息包括特征图中的特征数值;根据特征图信息确定目标图像的清晰度。本发明能够简化图像清晰度的确定方式,而且可适用于各种场景,泛化性较强。
Description
技术领域
本发明涉及图像处理技术领域,尤其是涉及一种图像清晰度的确定方法、图像对焦方法及装置。
背景技术
相机对焦过程中通常需要获知当前图像的清晰度,基于图像清晰度来进行调整,以最终实现对焦操作。现有的清晰度分析方法需要人工针对不同场景分别设计相应的清晰度计算公式来描述图像清晰度,不仅繁琐复杂,而且公式泛化能力较差。
发明内容
有鉴于此,本发明的目的在于提供一种图像清晰度的确定方法、图像对焦方法及装置,能够简化图像清晰度的确定方式,而且可适用于各种场景,泛化性较强。
为了实现上述目的,本发明实施例采用的技术方案如下:
第一方面,本发明实施例提供了一种图像清晰度的确定方法,包括:将待确定清晰度的目标图像输入至去模糊模型,通过所述去模糊模型得到所述目标图像的特征图信息;所述特征图信息包括特征图中的特征数值;根据所述特征图信息确定所述目标图像的清晰度。
进一步,所述通过所述去模糊模型得到所述目标图像的特征图信息的步骤,包括:通过所述去模糊模型对所述目标图像进行卷积操作,得到所述目标图像的多张特征图;其中,所述去模糊模型包括多个卷积层;将指定卷积层输出的特征图中的特征数值作为所述目标图像的特征图信息。
进一步,所述根据所述特征图信息确定所述目标图像的清晰度的步骤,包括:将所述指定卷积层输出的特征图中的特征数值与预设阈值进行比较,得到低于所述预设阈值的特征数值的个数;根据所述个数确定所述目标图像的清晰度;其中,所述个数与所述清晰度呈正相关。
第二方面,本发明实施例还提供一种图像对焦方法,包括:采用第一方面任一项所述的图像清晰度的确定方法确定图像采集设备的当前预览图像的清晰度;根据所述当前预览图像的清晰度执行对焦操作。
进一步,所述根据所述当前预览图像的清晰度执行对焦操作的步骤,包括:基于预先建立的图像清晰度与像距调整值的对应关系,确定与所述当前预览图像的清晰度对应的目标像距调整值;基于所述目标像距调整值确定所述图像采集设备的镜头的移动信息;基于所述移动信息驱动所述镜头移动,以实现自动对焦。
进一步,所述图像清晰度与像距调整值的对应关系的建立过程包括:通过所述图像采集设备拍摄得到多个样本图像集,并标注每个所述样本图像集中所包含的样本图像的像距;每个所述样本图像集包括针对同一拍摄场景的一张对焦样本图像和多张像距不同的失焦样本图像;不同所述样本图像集针对的拍摄场景不同;基于标注有像距的多个所述样本图像集建立图像清晰度与像距调整值的对应关系。
进一步,所述基于标注有像距的多个所述样本图像集建立图像清晰度与像距调整值的对应关系的步骤,包括:基于多个所述样本图像集中对焦样本图像的焦距以及失焦样本图像的焦距,采用拟合法建立图像清晰度与像距调整值的对应关系;所述像距调整值为失焦像距和对焦像距之间的差值。
进一步,所述采用拟合法建立图像清晰度与像距调整值的对应关系的步骤,包括:通过去模糊模型对所述样本图像集中的各样本图像进行卷积操作得到各样本图像的特征图,并通过各样本图像的特征图中低于预设阈值的特征数值的个数表征各样本图像的清晰度;基于各所述样本图像对应的清晰度和像距,采用最小二乘法拟合建立图像清晰度与像距调整值的对应关系。
第三方面,本发明实施例提供了一种图像清晰度的确定装置,包括:特征图信息获取模块,用于将待确定清晰度的目标图像输入至预先训练得到的去模糊模型,通过所述去模糊模型得到所述目标图像的特征图信息;所述特征图信息包括特征图中的特征数值;清晰度确定模块,用于根据所述特征图信息确定所述目标图像的清晰度。
第四方面,本发明实施例提供了一种图像对焦装置,包括:图像清晰度确定模块,用于采用第一方面任一项所述的图像清晰度的确定方法确定图像采集设备的当前预览图像的清晰度;对焦执行模块,用于根据所述当前预览图像的清晰度执行对焦操作。
第五方面,本发明实施例提供了一种处理器,所述处理器用于执行如第一方面任一项所述的方法或第二方面任一项所述的方法。
第六方面,本发明实施例提供了一种图像采集设备,包括如第五方面所述的处理器。
第七方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时执行上述第一方面任一项所述的方法的步骤或者第二方面任一项所述的方法的步骤。
本发明实施例提供的上述图像清晰度的确定方法及装置,可以通过去模糊模型得到待确定清晰度的目标图像的特征图信息(包括特征图中的特征数值),从而根据特征图信息确定目标图像的清晰度。这种方式可以直接基于去模糊模型所得的特征图中的特征数值即可确定图像清晰度,无需人为针对不同场景分别设计清晰度计算公式,简化了图像清晰度的确定方式,且可以广泛应用于各种拍摄场景,泛化性较强。
本发明实施例提供的上述图像对焦方法及装置,能够采用前述图像清晰度的确定方法确定当前预览图像的清晰度并执行对焦操作,由于前述图像清晰度确定方式更为简便,因此也有助于加速图像采集设备的对焦操作,同时也便于图像采集设备在各种场景下都可以执行对焦操作。
本发明实施例的其他特征和优点将在随后的说明书中阐述,或者,部分特征和优点可以从说明书推知或毫无疑义地确定,或者通过实施本发明实施例的上述技术即可得知。
为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了本发明实施例所提供的一种电子设备的结构示意图;
图2示出了本发明实施例所提供的一种图像清晰度的确定方法流程图;
图3示出了本发明实施例所提供的一种去模糊模型的去模糊处理示意图;
图4示出了本发明实施例所提供的一种图像对焦方法的流程图;
图5示出了本发明实施例所提供的一种图像清晰度的确定装置的结构示意图;
图6示出了本发明实施例所提供的一种图像对焦装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。
考虑到现有技术中通过清晰度计算公式确定图像清晰度的方式繁琐复杂且泛化能力较差,而且,公式计算量通常较大,计算量也会随着成像区域的变大而变多,通常还需要额外硬件实现加速计算。为改善以上问题至少之一,本发明实施例提供的一种图像清晰度的确定方法、图像对焦方法及装置,该技术可应用于需要确定图像清晰度的场合,诸如应用于相机对焦场合,以下对本发明实施例进行详细介绍。
实施例一:
首先,参照图1来描述用于实现本发明实施例的一种图像清晰度的确定方法、图像对焦方法及装置的示例电子设备100。
如图1所示的一种电子设备的结构示意图,电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像采集装置110,这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意,图1所示的电子设备100的组件和结构只是示例性的,而非限制性的,根据需要,所述电子设备也可以具有其他组件和结构。
所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)中的至少一种硬件形式来实现,所述处理器102可以是中央处理单元(CPU)、图形处理单元(GPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合,并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品,所述计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令,处理器102可以运行所述程序指令,以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据,例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置,并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如,用户)输出各种信息(例如,图像或声音),并且可以包括显示器、扬声器等中的一个或多个。
所述图像采集装置110可以拍摄用户期望的图像(例如照片、视频等),并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
示例性地,用于实现根据本发明实施例的图像清晰度的确定方法、图像对焦方法及装置的示例电子设备可以被实现为诸如具有拍照功能的智能手机、可穿戴式电子设备、平板电脑、相机等图像采集设备,此外,图像清晰度的确定方法可以单独应用于诸如处理器、计算机等具有处理功能的电子设备。
实施例二:
本实施例首先提供了一种图像清晰度的确定方法,参见图2所示的一种图像清晰度的确定方法流程图,该方法主要包括如下步骤S202~步骤S204:
步骤S202,将待确定清晰度的目标图像输入至去模糊模型,通过去模糊模型得到目标图像的特征图信息;特征图信息包括特征图中的特征数值。
去模糊模型(deblur模型)是一种神经网络模型,能够对模糊图像进行去模糊处理,得到模糊图像的清晰图。在实际应用中,可以通过训练方式对去模糊模型进行训练,以使得去模糊模型针对输入的模糊图像进行去模糊处理,从而输出其对应的清晰图。去模糊模型在对模糊图像进行去模糊处理的过程中会生成目标图像的特征图,通常而言,特征图通过多个特征数值进行体现,特征数值的大小与目标图像的清晰度有关。
步骤S204,根据特征图信息确定目标图像的清晰度。
由于特征图信息包括特征图中的特征数值,而特征数值的大小与目标图像的清晰度有关,因此可以根据特征图信息确定目标图像的清晰度。
本发明实施例提供的上述图像清晰度的确定方法,可以直接基于去模糊模型所得的特征图中的特征数值即可确定图像清晰度,无需人为针对不同场景分别设计清晰度计算公式,简化了图像清晰度的确定方式,且可以广泛应用于各种拍摄场景,泛化性较强。
本实施例对去模糊模型的结构不进行具体限定,重点在于构建用于训练去模糊模型的训练集,具体实现时,可以采用包含多个训练图像对的训练集对去模糊模型进行训练,其中,训练集中可以包含多张针对不同拍摄场景的清晰图像,每张清晰图像都对应有多张与其针对同一拍摄场景的模糊图像,多张模糊图像的模糊区域和/或模糊程度不同;一张清晰图像与一张模糊图像搭配可组成一对训练图像对。实际应用中,可以对清晰图像进行卷积操作,从而得到一张清晰图像对应多张模糊区域和/或模糊程度不同的模糊图像。在采用训练图像对去模糊模型进行训练时,基于预设的目标损失函数计算去模糊模型的损失值,从而根据损失值通过反向传播的方式调整去模糊模型的参数,直至去模糊模型的损失收敛,得到训练好的去模糊模型,训练好的去模糊模型可以对目标图像进行去模糊处理,在去模糊处理的过程中生成特征图。
通过去模糊模型得到目标图像的特征图信息时,主要是通过去模糊模型对目标图像进行卷积操作,得到目标图像的多张特征图;其中,去模糊模型包括多个卷积层;然后将指定卷积层输出的特征图中的特征数值作为目标图像的特征图信息。实际应用中,可以设定选取去模糊模型中多个卷积层中的一个卷积层作为指定卷积层,在此不进行限制。
为便于理解,本实施例提供了如图3所示的一种去模糊模型的去模糊处理示意图,示意出的去模糊模型采用2-scale(两尺度)结构,也即在对模糊图像进行去模糊处理的过程中主要经过两个分支,在每个分支中都会进行多次卷积操作,每次卷积操作都会生成一个特征图,图3中在上一分支中示意出了第一特征图和第N特征图,中间的虚线箭头用于省略示意多次卷积操作及每次卷积操作生成的特征图,在下一分支中,首先对模糊图像进行下采样操作,得到第一下采样特征图,然后通过多次卷积操作得到第M下采样特征图,之后对第M下采样特征图进行上采样操作,得到上采样特征图,然后将上采样特征图和第N特征图进行融合操作,得到融合特征图,最后通过对融合特征图进行一次卷积操作,得到清晰图像。为了便于示意,图3中仅示意出特征图,而未示意出用于卷积操作的卷积层。如图3所示,去模糊模型在对模糊图像进行去模糊处理的过程中可能会生成多个特征图,实际应用中可以从中选择一个特征图,将选择的特征图中的特征数值作为目标图像的特征图信息。
在根据特征图信息确定目标图像的清晰度时,可以将指定卷积层输出的特征图中的特征数值与预设阈值进行比较,得到低于预设阈值的特征数值的个数;然后根据个数确定目标图像的清晰度;其中,个数与清晰度呈正相关。低于预设阈值的特征数值的个数越少,表明目标图像的清晰度越高。其中,低于预设阈值的特征数值的个数又可称为该特征图中神经元的激活个数。
综上所述,本实施例提供的上述方法,可以直接基于去模糊模型所得的特征图中的特征数值即可确定图像清晰度,无需人为针对不同场景分别设计清晰度计算公式,简化了图像清晰度的确定方式,且可以广泛应用于各种拍摄场景,泛化性较强。而且这种方式无需借助额外硬件即可实现,如果相机中的处理器已经嵌入有去模糊模型,上述方法可以视为去模糊模型的副产物,额外计算量很小。
实施例三:
现有相机所采用的自动对焦方法大致可分为如下三种:(1)反差式图像分析法:在对焦过程中,相机会持续产生图像并将图像发送至图像处理器(ISP)处理,相机会对图像进行分析,并根据分析结果相应调整镜头的下一步位置,不断循环上述过程直到找到画面对比度最大时的镜头位置,实现对焦。(2)测距法:相机对外发出光线(诸如红外光、超声波或激光),并基于接收到的返回光线来实现测距,从而基于测距结果实现对焦。(3)相位法:通过相机的一个分离镜头产生两个光路,根据两个光路分别形成的画面之间的相位差信息,根据相位差信息实现对焦。然而,上述反差式图像分析法所需的对焦时间较长,而测距法和相位法都需要额外的硬件支持,成本较高。为改善以上问题,在前述实施例的基础上,本实施例进一步提供了一种图像对焦方法,可以由诸如相机等图像采集设备执行,具体参见图4所示的一种图像对焦方法的流程图,包括如下步骤S402~步骤S404:
步骤S402,采用图像清晰度的确定方法确定图像采集设备的当前预览图像的清晰度。其中,图像清晰度的确定方法可参照实施例二实现,在此不再赘述。
步骤S404,根据当前预览图像的清晰度执行对焦操作。诸如,可以根据当前预览图像的清晰度来调整图像采集设备的镜头位置,驱动镜头移动至图像清晰度大于预设清晰度阈值的位置,该位置即为对焦位置,在对焦位置采集到的图像即为对焦图像。
本发明实施例提供的上述图像对焦方法,能够采用前述图像清晰度的确定方法确定当前预览图像的清晰度并执行对焦操作,由于前述图像清晰度确定方式更为简便,因此也有助于加速图像采集设备的对焦操作,同时也便于图像采集设备在各种场景下都可以执行对焦操作。
本实施例给出了一种根据当前预览图像的清晰度执行对焦操作的具体实施方式,可参照如下步骤a~步骤c实现:
步骤a,基于预先建立的图像清晰度与像距调整值的对应关系,确定与当前预览图像的清晰度对应的目标像距调整值。采用前述实施例得到的图像清晰度可以基于图像特征图中得到低于预设阈值的特征数值的个数进行表征,也即,当前预览图像的清晰度可以采用去模糊模型对当前预览图像进行去模糊处理过程中指定卷积层输出的特征图所包含的低于预设阈值的特征数值的个数表征。在实际应用中,个数与像距调整值可以具有一一对应关系,而且图像特征图中得到低于预设阈值的特征数值的个数越多,表征图像特征图对应的原图越清晰,所需调整的像距程度越小,也即像距调整值越小。
步骤b,基于目标像距调整值确定图像采集设备的镜头的移动信息。诸如,移动信息可以包括镜头位移量(镜头移动距离)等。可以理解的是,像距调整值与镜头位移量成正相关,像距调整值越大,镜头位移量越大,也即镜头需要移动的距离越远。
步骤c,基于移动信息驱动镜头移动,以实现自动对焦。在实际应用中,图像采集设备可以通过改变输出电流的大小来调整镜头位置,诸如根据镜头位移量的大小给镜头的驱动马达传输相应的电流,可以理解的是,镜头位移量与电流大小具有对应关系,给马达传输的电流越大,马达驱动镜头移动的位置越远。
通过上述查询预先建立的图像清晰度与像距调整值的对应关系,可以找到与当前预览图像的清晰度对应的目标像距调整值。这种基于对应关系直接查找像距调整值的方式可以便捷地获知像距调整值,从而直接基于像距调整值确定镜头移动信息,基于镜头移动信息对镜头位置进行一次性调整。与现有图像对焦技术中的反差式图像分析法需要不断调整镜头下一步位置相比,本实施例提供的上述方式更为简便,极大缩短了对焦时间,提升了对焦效率。
在建立图像清晰度与像距调整值的对应关系时,可以首先参照如下步骤(1)和步骤(2)实现:
步骤(1):通过图像采集设备拍摄得到多个样本图像集,并标注每个样本图像集中所包含的样本图像的像距。其中,每个样本图像集包括针对同一拍摄场景的一张对焦样本图像和多张像距不同的失焦样本图像;不同样本图像集针对的拍摄场景不同。也即,通过同一图像采集设备采用不同像距进行拍摄,得到不同的样本图像,镜头在对焦时采集到的清晰图像即为对焦样本图像,镜头在对焦位置之外的其余位置所采集到的模糊图像即为失焦样本图像。在图像采集设备拍摄样本图像时,需要记录采集每张样本图像所对应的像距,并给每张样本图像标注相应的像距。
步骤(2):基于标注有像距的多个样本图像集建立图像清晰度与像距调整值的对应关系。
在建立图像清晰度与像距调整值的对应关系时,可以基于多个样本图像集中对焦样本图像的焦距以及失焦样本图像的焦距,采用拟合法建立图像清晰度与像距调整值的对应关系;像距调整值为失焦像距和对焦像距之间的差值。通过拟合法可以对图像清晰度和像距调整值之间的函数关系进行拟合,从而得到图像清晰度与像距调整值之间的对应关系。其中,拟合法可以为线性拟合。具体实现时,可以通过去模糊模型对样本图像集中的各样本图像进行卷积操作得到各样本图像的特征图,并通过各样本图像的特征图中低于预设阈值的特征数值的个数表征各样本图像的清晰度,然后基于各样本图像对应的清晰度和像距,采用最小二乘法拟合建立图像清晰度与像距调整值的对应关系。
综上所述,本实施例提供的上述图像对焦方法,能够采用前述实施例提供的图像清晰度的确定方法确定当前预览图像的清晰度并执行对焦操作,前述图像清晰度确定方式更为简便,因此也有助于加速图像采集设备的对焦操作,同时也便于图像采集设备在各种场景下都可以执行对焦操作。此外,由于图像清晰度可以通过图像特征图中低于预设阈值的特征数值的个数进行表征,本实施例提供的上述图像对焦方法还可以进一步通过标注有像距的样本图像集拟合图像清晰度与像距调整值的对应关系,基于对应关系直接查找当前预览图像的清晰度对应的像距调整值,对镜头位置进行一次性调整即可实现对焦,与现有对焦技术中的反差式图像分析法相比,本实施例提供的上述对焦方法更为方便快捷,缩短了对焦时间,提升了对焦效率,与现有对焦技术中的测距法和相位法相比,本实施例提供的上述方法可以直接基于图像采集设备的处理器执行,也无需额外的硬件支持。
实施例四:
对于实施例二中所提供的图像清晰度的确定方法,本实施例进一步提供了一种图像清晰度的确定装置,参见图5所示的一种图像清晰度的确定装置的结构示意图,包括:
特征图信息获取模块52,用于将待确定清晰度的目标图像输入至预先训练得到的去模糊模型,通过去模糊模型得到目标图像的特征图信息;特征图信息包括特征图中的特征数值;
清晰度确定模块54,用于根据特征图信息确定目标图像的清晰度。
本发明实施例提供的上述图像清晰度的确定装置,可以直接基于去模糊模型所得的特征图中的特征数值即可确定图像清晰度,无需人为针对不同场景分别设计清晰度计算公式,简化了图像清晰度的确定方式,且可以广泛应用于各种拍摄场景,泛化性较强。
特征图信息获取模块52用于:通过去模糊模型对目标图像进行卷积操作,得到目标图像的多张特征图;其中,去模糊模型包括多个卷积层;将指定卷积层输出的特征图中的特征数值作为目标图像的特征图信息。
清晰度确定模块54用于:将指定卷积层输出的特征图中的特征数值与预设阈值进行比较,得到低于预设阈值的特征数值的个数;根据个数确定目标图像的清晰度;其中,个数与清晰度呈正相关。
本实施例所提供的装置,其实现原理及产生的技术效果和前述实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
实施例五:
对应于前述实施例三,本实施例进一步提供了一种图像对焦装置,该装置可以应用于图像采集吧,参见图6所示的一种图像对焦装置的结构示意图,包括:
图像清晰度确定模块62,用于采用实施例二提供图像清晰度的确定方法确定图像采集设备的当前预览图像的清晰度;
对焦执行模块64,用于根据当前预览图像的清晰度执行对焦操作。
本发明实施例提供的上述图像对焦装置,能够采用前述图像清晰度的确定方法确定当前预览图像的清晰度并执行对焦操作,由于前述图像清晰度确定方式更为简便,因此也有助于加速图像采集设备的对焦操作,同时也便于图像采集设备在各种场景下都可以执行对焦操作。
在一种实施方式中,对焦执行模块64用于基于预先建立的图像清晰度与像距调整值的对应关系,确定与当前预览图像的清晰度对应的目标像距调整值;基于目标像距调整值确定图像采集设备的镜头的移动信息;基于移动信息驱动镜头移动,以实现自动对焦。
在一种实施方式中,上述装置还包括关系建立模块,用于通过图像采集设备拍摄得到多个样本图像集,并标注每个样本图像集中所包含的样本图像的像距;每个样本图像集包括针对同一拍摄场景的一张对焦样本图像和多张像距不同的失焦样本图像;不同样本图像集针对的拍摄场景不同;基于标注有像距的多个样本图像集建立图像清晰度与像距调整值的对应关系。
在一种实施方式中,上述关系建立模块进一步用于:基于多个样本图像集中对焦样本图像的焦距以及失焦样本图像的焦距,采用拟合法建立图像清晰度与像距调整值的对应关系;像距调整值为失焦像距和对焦像距之间的差值。
在一种实施方式中,上述关系建立模块进一步用于:通过去模糊模型对样本图像集中的各样本图像进行卷积操作得到各样本图像的特征图,并通过各样本图像的特征图中低于预设阈值的特征数值的个数表征各样本图像的清晰度;基于各样本图像对应的清晰度和像距,采用最小二乘法拟合建立图像清晰度与像距调整值的对应关系。
本实施例所提供的装置,其实现原理及产生的技术效果和前述实施例相同,为简要描述,装置实施例部分未提及之处,可参考前述方法实施例中相应内容。
实施例六:
本实施例提供了一种处理器,该处理器用于执行如前述任一项的图像清晰度的确定方法或图像对焦方法。在实际应用中,该处理器还可以为嵌入式神经网络处理器。
本实施例提供了一种图像采集设备,图像采集设备包括前述处理器。
本实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器运行时执行上述图像清晰度的确定方法或图像对焦方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的处理器、图像采集设备和计算机可读存储介质的具体工作过程,可以参考前述实施例中的对应过程,在此不再赘述。
本发明实施例所提供的图像清晰度的确定方法、图像对焦方法及装置的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以所述权利要求的保护范围为准。
Claims (13)
1.一种图像清晰度的确定方法,其特征在于,包括:
将待确定清晰度的目标图像输入至去模糊模型,通过所述去模糊模型得到所述目标图像的特征图信息;所述特征图信息包括特征图中的特征数值;
根据所述特征图信息确定所述目标图像的清晰度。
2.根据权利要求1所述的方法,其特征在于,所述通过所述去模糊模型得到所述目标图像的特征图信息的步骤,包括:
通过所述去模糊模型对所述目标图像进行卷积操作,得到所述目标图像的多张特征图;其中,所述去模糊模型包括多个卷积层;
将指定卷积层输出的特征图中的特征数值作为所述目标图像的特征图信息。
3.根据权利要求2所述的方法,其特征在于,所述根据所述特征图信息确定所述目标图像的清晰度的步骤,包括:
将所述指定卷积层输出的特征图中的特征数值与预设阈值进行比较,得到低于所述预设阈值的特征数值的个数;
根据所述个数确定所述目标图像的清晰度;其中,所述个数与所述清晰度呈正相关。
4.一种图像对焦方法,其特征在于,包括:
采用权利要求1至3任一项所述的图像清晰度的确定方法确定图像采集设备的当前预览图像的清晰度;
根据所述当前预览图像的清晰度执行对焦操作。
5.根据权利要求4所述的方法,其特征在于,所述根据所述当前预览图像的清晰度执行对焦操作的步骤,包括:
基于预先建立的图像清晰度与像距调整值的对应关系,确定与所述当前预览图像的清晰度对应的目标像距调整值;
基于所述目标像距调整值确定所述图像采集设备的镜头的移动信息;
基于所述移动信息驱动所述镜头移动,以实现自动对焦。
6.根据权利要求5所述的方法,其特征在于,所述图像清晰度与像距调整值的对应关系的建立过程包括:
通过所述图像采集设备拍摄得到多个样本图像集,并标注每个所述样本图像集中所包含的样本图像的像距;每个所述样本图像集包括针对同一拍摄场景的一张对焦样本图像和多张像距不同的失焦样本图像;不同所述样本图像集针对的拍摄场景不同;
基于标注有像距的多个所述样本图像集建立图像清晰度与像距调整值的对应关系。
7.根据权利要求6所述的方法,其特征在于,所述基于标注有像距的多个所述样本图像集建立图像清晰度与像距调整值的对应关系的步骤,包括:
基于多个所述样本图像集中对焦样本图像的焦距以及失焦样本图像的焦距,采用拟合法建立图像清晰度与像距调整值的对应关系;所述像距调整值为失焦像距和对焦像距之间的差值。
8.根据权利要求7所述的方法,其特征在于,所述采用拟合法建立图像清晰度与像距调整值的对应关系的步骤,包括:
通过去模糊模型对所述样本图像集中的各样本图像进行卷积操作得到各样本图像的特征图,并通过各样本图像的特征图中低于预设阈值的特征数值的个数表征各样本图像的清晰度;
基于各所述样本图像对应的清晰度和像距,采用最小二乘法拟合建立图像清晰度与像距调整值的对应关系。
9.一种图像清晰度的确定装置,其特征在于,包括:
特征图信息获取模块,用于将待确定清晰度的目标图像输入至预先训练得到的去模糊模型,通过所述去模糊模型得到所述目标图像的特征图信息;所述特征图信息包括特征图中的特征数值;
清晰度确定模块,用于根据所述特征图信息确定所述目标图像的清晰度。
10.一种图像对焦装置,其特征在于,包括:
图像清晰度确定模块,用于采用权利要求1至3任一项所述的图像清晰度的确定方法确定图像采集设备的当前预览图像的清晰度;
对焦执行模块,用于根据所述当前预览图像的清晰度执行对焦操作。
11.一种处理器,其特征在于,所述处理器用于执行如权利要求1至3任一项所述的方法或权利要求4至8任一项所述的方法。
12.一种图像采集设备,其特征在于,包括如权利要求11所述的处理器。
13.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,其特征在于,所述计算机程序被处理器运行时执行上述权利要求1至3任一项所述的方法的步骤或者权利要求4至8所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011005603.2A CN112351196B (zh) | 2020-09-22 | 2020-09-22 | 图像清晰度的确定方法、图像对焦方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011005603.2A CN112351196B (zh) | 2020-09-22 | 2020-09-22 | 图像清晰度的确定方法、图像对焦方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112351196A true CN112351196A (zh) | 2021-02-09 |
CN112351196B CN112351196B (zh) | 2022-03-11 |
Family
ID=74358068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011005603.2A Active CN112351196B (zh) | 2020-09-22 | 2020-09-22 | 图像清晰度的确定方法、图像对焦方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112351196B (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114040111A (zh) * | 2021-11-25 | 2022-02-11 | 广州市锐博生物科技有限公司 | 测序仪成像对焦方法及装置、设备、存储介质 |
CN115086558A (zh) * | 2022-06-14 | 2022-09-20 | Oppo广东移动通信有限公司 | 对焦方法、摄像设备、终端设备及存储介质 |
CN115527100A (zh) * | 2022-10-09 | 2022-12-27 | 范孝徐 | 用于关联数据库的标识分析系统及方法 |
Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100315512A1 (en) * | 2008-03-05 | 2010-12-16 | Huawei Device Co., Ltd | Method and System for Processing Images |
CN104637046A (zh) * | 2013-11-13 | 2015-05-20 | 索尼公司 | 图像检测方法和装置 |
CN105654431A (zh) * | 2015-12-24 | 2016-06-08 | 公安部物证鉴定中心 | 一种对存在遮挡情况的图像去模糊方法 |
CN106331438A (zh) * | 2015-06-24 | 2017-01-11 | 小米科技有限责任公司 | 镜头对焦方法、装置及移动设备 |
CN106353747A (zh) * | 2016-09-06 | 2017-01-25 | 乐视控股(北京)有限公司 | 距离测量方法及装置 |
CN106488136A (zh) * | 2016-11-30 | 2017-03-08 | 努比亚技术有限公司 | 微距模式下实现对焦的装置及方法 |
US20170150043A1 (en) * | 2014-06-17 | 2017-05-25 | Zte Corporation | Camera Auto-Focusing Optimization Method and Camera |
CN108510451A (zh) * | 2018-02-09 | 2018-09-07 | 杭州雄迈集成电路技术有限公司 | 一种基于双层卷积神经网络的重建车牌的方法 |
CN108875486A (zh) * | 2017-09-28 | 2018-11-23 | 北京旷视科技有限公司 | 目标对象识别方法、装置、系统和计算机可读介质 |
CN109087256A (zh) * | 2018-07-19 | 2018-12-25 | 北京飞搜科技有限公司 | 一种基于深度学习的图像去模糊方法及系统 |
CN110455258A (zh) * | 2019-09-01 | 2019-11-15 | 中国电子科技集团公司第二十研究所 | 一种基于单目视觉的无人机离地高度测量方法 |
CN110473147A (zh) * | 2018-05-09 | 2019-11-19 | 腾讯科技(深圳)有限公司 | 一种视频去模糊方法和装置 |
CN110852997A (zh) * | 2019-10-24 | 2020-02-28 | 普联技术有限公司 | 动态图像清晰度检测方法、装置、电子设备及存储介质 |
CN110910330A (zh) * | 2019-11-29 | 2020-03-24 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备和可读存储介质 |
CN111008939A (zh) * | 2019-11-27 | 2020-04-14 | 温州大学 | 一种基于可控特征空间的神经网络视频去模糊方法 |
CN111432206A (zh) * | 2020-04-24 | 2020-07-17 | 腾讯科技(北京)有限公司 | 基于人工智能的视频清晰度处理方法、装置及电子设备 |
CN111489304A (zh) * | 2020-03-27 | 2020-08-04 | 天津大学 | 一种基于注意机制的图像去模糊方法 |
-
2020
- 2020-09-22 CN CN202011005603.2A patent/CN112351196B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100315512A1 (en) * | 2008-03-05 | 2010-12-16 | Huawei Device Co., Ltd | Method and System for Processing Images |
CN104637046A (zh) * | 2013-11-13 | 2015-05-20 | 索尼公司 | 图像检测方法和装置 |
US20170150043A1 (en) * | 2014-06-17 | 2017-05-25 | Zte Corporation | Camera Auto-Focusing Optimization Method and Camera |
CN106331438A (zh) * | 2015-06-24 | 2017-01-11 | 小米科技有限责任公司 | 镜头对焦方法、装置及移动设备 |
CN105654431A (zh) * | 2015-12-24 | 2016-06-08 | 公安部物证鉴定中心 | 一种对存在遮挡情况的图像去模糊方法 |
CN106353747A (zh) * | 2016-09-06 | 2017-01-25 | 乐视控股(北京)有限公司 | 距离测量方法及装置 |
CN106488136A (zh) * | 2016-11-30 | 2017-03-08 | 努比亚技术有限公司 | 微距模式下实现对焦的装置及方法 |
CN108875486A (zh) * | 2017-09-28 | 2018-11-23 | 北京旷视科技有限公司 | 目标对象识别方法、装置、系统和计算机可读介质 |
CN108510451A (zh) * | 2018-02-09 | 2018-09-07 | 杭州雄迈集成电路技术有限公司 | 一种基于双层卷积神经网络的重建车牌的方法 |
CN110473147A (zh) * | 2018-05-09 | 2019-11-19 | 腾讯科技(深圳)有限公司 | 一种视频去模糊方法和装置 |
CN109087256A (zh) * | 2018-07-19 | 2018-12-25 | 北京飞搜科技有限公司 | 一种基于深度学习的图像去模糊方法及系统 |
CN110455258A (zh) * | 2019-09-01 | 2019-11-15 | 中国电子科技集团公司第二十研究所 | 一种基于单目视觉的无人机离地高度测量方法 |
CN110852997A (zh) * | 2019-10-24 | 2020-02-28 | 普联技术有限公司 | 动态图像清晰度检测方法、装置、电子设备及存储介质 |
CN111008939A (zh) * | 2019-11-27 | 2020-04-14 | 温州大学 | 一种基于可控特征空间的神经网络视频去模糊方法 |
CN110910330A (zh) * | 2019-11-29 | 2020-03-24 | Oppo广东移动通信有限公司 | 图像处理方法、图像处理装置、电子设备和可读存储介质 |
CN111489304A (zh) * | 2020-03-27 | 2020-08-04 | 天津大学 | 一种基于注意机制的图像去模糊方法 |
CN111432206A (zh) * | 2020-04-24 | 2020-07-17 | 腾讯科技(北京)有限公司 | 基于人工智能的视频清晰度处理方法、装置及电子设备 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114040111A (zh) * | 2021-11-25 | 2022-02-11 | 广州市锐博生物科技有限公司 | 测序仪成像对焦方法及装置、设备、存储介质 |
CN114040111B (zh) * | 2021-11-25 | 2023-07-28 | 广州市锐博生物科技有限公司 | 测序仪成像对焦方法及装置、设备、存储介质 |
CN115086558A (zh) * | 2022-06-14 | 2022-09-20 | Oppo广东移动通信有限公司 | 对焦方法、摄像设备、终端设备及存储介质 |
CN115086558B (zh) * | 2022-06-14 | 2023-12-01 | Oppo广东移动通信有限公司 | 对焦方法、摄像设备、终端设备及存储介质 |
CN115527100A (zh) * | 2022-10-09 | 2022-12-27 | 范孝徐 | 用于关联数据库的标识分析系统及方法 |
CN115527100B (zh) * | 2022-10-09 | 2023-05-23 | 广州佳禾科技股份有限公司 | 用于关联数据库的标识分析系统及方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112351196B (zh) | 2022-03-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112351196B (zh) | 图像清晰度的确定方法、图像对焦方法及装置 | |
TWI538512B (zh) | 調整對焦位置的方法及電子裝置 | |
TWI706379B (zh) | 圖像處理方法及裝置、電子設備和儲存介質 | |
CN112333379A (zh) | 图像对焦方法、装置及图像采集设备 | |
TWI515470B (zh) | 使用多鏡頭的自動對焦系統及其方法 | |
CN113837079B (zh) | 显微镜的自动对焦方法、装置、计算机设备和存储介质 | |
JP2014168227A (ja) | 画像処理装置、撮像装置、画像処理方法 | |
JP2015035658A (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
KR20140004592A (ko) | 3d 깊이 정보를 기반으로 한 이미지 블러 | |
CN111316123A (zh) | 单视图深度预测的光圈监督 | |
JPWO2015050008A1 (ja) | 撮像装置、撮像装置の作動方法 | |
US8433187B2 (en) | Distance estimation systems and method based on a two-state auto-focus lens | |
CN110246188B (zh) | 用于tof相机的内参标定方法、装置及相机 | |
WO2018129692A1 (en) | Image refocusing | |
KR20170101532A (ko) | 이미지 융합 방법 및 이를 위한 컴퓨터 프로그램, 그 기록매체 | |
TWI515471B (zh) | 使用多鏡頭的自動對焦系統及其方法 | |
CN114390201A (zh) | 对焦方法及其装置 | |
US9716822B2 (en) | Direction aware autofocus | |
JP6149717B2 (ja) | 撮像装置及び撮像方法 | |
CN110648299A (zh) | 图像处理方法、图像处理装置和计算机可读存储介质 | |
JP2019083580A (ja) | 画像処理装置、画像処理方法、プログラム | |
CN111885297B (zh) | 图像清晰度的确定方法、图像对焦方法及装置 | |
US11627245B2 (en) | Focus adjustment device and focus adjustment method | |
Xu et al. | Robust passive autofocus system for mobile phone camera applications | |
Lou et al. | All-in-focus Imaging from Event Focal Stack |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Method for determining image clarity, image focusing method and device Effective date of registration: 20230404 Granted publication date: 20220311 Pledgee: Shanghai Yunxin Venture Capital Co.,Ltd. Pledgor: MEGVII (BEIJING) TECHNOLOGY Co.,Ltd. Registration number: Y2023990000192 |