CN110753182B - 成像设备的调节方法和设备 - Google Patents

成像设备的调节方法和设备 Download PDF

Info

Publication number
CN110753182B
CN110753182B CN201910944820.9A CN201910944820A CN110753182B CN 110753182 B CN110753182 B CN 110753182B CN 201910944820 A CN201910944820 A CN 201910944820A CN 110753182 B CN110753182 B CN 110753182B
Authority
CN
China
Prior art keywords
image
definition
optical mechanism
motor
focusing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910944820.9A
Other languages
English (en)
Other versions
CN110753182A (zh
Inventor
刘腾君
沈子富
金小龙
唐娜
竺旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201910944820.9A priority Critical patent/CN110753182B/zh
Publication of CN110753182A publication Critical patent/CN110753182A/zh
Application granted granted Critical
Publication of CN110753182B publication Critical patent/CN110753182B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本申请提供一种成像设备的调节方法和设备,其中,该方法包括:重复执行以下各步骤,直至完成成像设备的变焦跟踪过程或者自动聚焦过程:获取成像设备所采集的前后两帧图像,并获取前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,第一清晰度为图像聚焦清晰度,第二清晰度为图像边界分布清晰度;根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,控制成像设备的光学机构电机的运行。结合图像聚焦清晰度和图像边界分布清晰度,不会产生图像震荡的情况,可以控制光学机构电机的运行之后很快的完成自动聚焦过程或者变焦跟踪过程,减小了自动聚焦过程或者变焦跟踪过程的耗时。

Description

成像设备的调节方法和设备
技术领域
本申请涉及终端技术,尤其涉及一种成像设备的调节方法和设备。
背景技术
随着图像技术的不断发展,各类成像设备得到发展和应用,可以将成像设备应用到安防领域、车辆领域等等。成像设备在采集图像的过程中,成像设备需要完成聚焦、变倍等过程,以获取到清晰的图像。
现有技术中,成像设备可以获取前后两帧图像中的每一帧图像的图像聚焦清晰度(focus value,FV),然后根据前后两帧图像的图像聚焦清晰度的变化趋势,确定当前图像的清晰度,进而根据前后两帧图像的图像聚焦清晰度的变化趋势,控制成像设备的光学机构电机的运行,以完成聚焦或者变倍过程。
然而现有技术中,由于在不同的场景下,图像的图像聚焦清晰度的差异较大,进而,将前后两帧图像的图像聚焦清晰度的变化趋势,作为光学机构电机的运行的控制参数是不合理的,会使得采集的图像出现震荡,并且使得聚焦或者变倍过程的时间较长。
发明内容
本申请提供一种成像设备的调节方法和设备,以解决会使得采集的图像出现震荡,并且使得聚焦或者变倍过程的时间较长的问题。
第一方面,本申请提供一种成像设备的调节方法,包括:
重复执行以下各步骤,直至完成所述成像设备的变焦跟踪过程或者自动聚焦过程:
获取成像设备所采集的前后两帧图像,并获取所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,其中,所述第一清晰度为图像聚焦清晰度,所述第二清晰度为图像边界分布清晰度;
根据所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,控制所述成像设备的光学机构电机的运行。
本申请,通过利用前后两帧图像中的每一帧图像的图像聚焦清晰度、以及前后两帧图像中的后一帧图像的图像边界分布清晰度,对图像进行评价,以控制成像设备的光学机构电机的运行;由于图像聚焦清晰度可以表征出图像的聚焦情况,并且图像边界分布清晰度更加稳定、不易受到环境影响,可以结合图像聚焦清晰度和图像边界分布清晰度,利用综合这两种清晰度评价参数的相对性、绝对性,对控制成像设备的光学机构电机的运行,进而采集图像,采集的图像不会出现震荡;可以提高自动聚焦过程和变焦跟踪过程的准确性;并且由于结合图像聚焦清晰度和图像边界分布清晰度,不会产生图像震荡的情况,可以控制光学机构电机的运行之后很快的完成自动聚焦过程或者变焦跟踪过程,减小了自动聚焦过程或者变焦跟踪过程的耗时。
在一种可能的设计中,控制所述成像设备的光学机构电机的运行,包括:控制所述光学机构电机,运行到合焦位置。在成像设备的光学机构电机运行到合焦位置之后,被拍摄对象可以成功的成像设备的感光元件上清晰成像。
在一种可能的设计中,根据所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,控制所述成像设备的光学机构电机的运行,包括:
根据所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,确定所述光学机构电机的调整方向和步长;控制所述光学机构电机按照所述调整方向,以所述步长运行预设步数。从而,图像聚焦清晰度用于决定光学机构电机的调整方向,图像聚焦清晰度和图像边界分布清晰度用于决定光学机构电机的步长;结合了图像聚焦清晰度和图像边界分布清晰度,可以给予光学机构电机合理的调整方向和步长,避免了图像震荡,使得光学机构电机快速的达到合焦位置;有利于成像设备较快的采集的清晰的图像。
在一种可能的设计中,根据所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,确定所述光学机构电机的调整方向和步长,包括:根据所述前后两帧图像中的每一帧图像的第一清晰度,确定所述调整方向,并根据所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,确定所述步长。
在一种可能的设计中,根据所述前后两帧图像中的每一帧图像的第一清晰度,确定所述调整方向,包括:
在所述前后两帧图像中的后一帧图像的第一清晰度大于等于前一帧图像的第一清晰度时,根据所述后一帧图像的第一清晰度,确定所述调整方向;从而,可以在后一帧图像的图像聚焦清晰度大于等于前一帧图像的图像聚焦清晰度时,可以确定光学机构电机的当前运行方向(调整方向)可能是正确的;然后,依据后一帧图像的图像聚焦清晰度,准确的确定出光学机构电机的调整方向。
在所述前后两帧图像中的后一帧图像的第一清晰度小于前一帧图像的第一清晰度时,根据所述后一帧图像的第二清晰度,确定所述调整方向;从而,在后一帧图像的图像聚焦清晰度小于前一帧图像的图像聚焦清晰度时,可以确定光学机构电机的当前运行方向(调整方向)可能是不正确的;然后,依据后一帧图像的图像边界分布清晰度,准确的确定出光学机构电机的调整方向。
在一种可能的设计中,根据所述后一帧图像的第一清晰度,确定所述调整方向,包括:
在所述后一帧图像的第一清晰度小于最大聚焦清晰度时,确定所述调整方向为第一方向,其中,所述第一方向为所述成像设备采集所述前一帧图像时所述光学机构电机的方向;此时,后一帧图像的图像聚焦清晰度大于等于前一帧图像的图像聚焦清晰度、且后一帧图像的图像聚焦清晰度没有超过最大聚焦清晰度,从而可以确定光学机构电机的运行方向(调整方向)是正确的,光学机构电机按照当前的运行方向运行是可以达到合焦位置的,就可以保持光学机构电机的运行方向(调整方向)不变。
在所述后一帧图像的第一清晰度大于等于最大聚焦清晰度时,确定所述调整方向为第二方向,其中,所述第二方向为与所述第一方向反向的方向;此时,后一帧图像的图像聚焦清晰度大于等于前一帧图像的图像聚焦清晰度、且后一帧图像的图像聚焦清晰度即将超过或者已经超过最大聚焦清晰度,此时,光学机构电机按照当前的运行方向运行是无法达到合焦位置的,需要将光学机构电机的运行方向进行反向。
在一种可能的设计中,根据所述后一帧图像的第二清晰度,确定所述调整方向,包括:
在所述后一帧图像的第二清晰度大于等于第一预设阈值时,确定所述调整方向为第一方向,其中,所述第一方向为所述成像设备采集所述前一帧图像时所述光学机构电机的方向;此时,后一帧图像的图像聚焦清晰度小于前一帧图像的图像聚焦清晰度、且后一帧图像的图像边界分布清晰度即将超过或者已经超过预设边界分布清晰度(第一预设阈值),则可以确定光学机构电机按照当前的运行方向运行,是可以达到合焦位置的,可以保持光学机构电机的运行方向不变。
在所述后一帧图像的第二清晰度小于所述第一预设阈值时,确定所述调整方向为第二方向,其中,所述第二方向为与所述第一方向反向的方向;此时,后一帧图像的图像聚焦清晰度小于前一帧图像的图像聚焦清晰度、且后一帧图像的图像边界分布清晰度小于预设边界分布清晰度(第一预设阈值),此时,光学机构电机按照当前的运行方向运行是无法达到合焦位置的,需要将光学机构电机的运行方向进行反向。
在一种可能的设计中,根据所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,确定所述步长,包括:
在所述前后两帧图像中的后一帧图像的第一清晰度大于等于前一帧图像的第一清晰度时,根据所述后一帧图像的第一清晰度和所述后一帧图像的第二清晰度,确定所述步长;在所述前后两帧图像中的后一帧图像的第一清晰度小于前一帧图像的第一清晰度时,根据所述后一帧图像的第二清晰度,确定所述步长。此时,结合图像聚焦清晰度和图像边界分布清晰度,确定如何调整光学机构电机的步长。
在一种可能的设计中,根据所述后一帧图像的第一清晰度和所述后一帧图像的第二清晰度,确定所述步长,包括:
在所述后一帧图像的第一清晰度小于等于最大聚焦清晰度、且所述后一帧图像的第二清晰度小于第一预设阈值时,确定所述步长为第一数值,其中,所述第一数值大于第二数值,所述第二数值为所述成像设备采集所述前一帧图像时所述光学机构电机的步长;此时,若后一帧图像的图像聚焦清晰度还没有超过(小于等于)最大聚焦清晰度,并且,后一帧图像的图像边界分布清晰度,小于预设边界分布清晰度(第一预设阈值),则可以确定光学机构电机的当前位置距离合焦位置,还具有较大差距,确定需要增大光学机构电机的步长;进而加快光学机构电机的运行,加快光学机构电机抵达合焦位置的时间。
在所述后一帧图像的第一清晰度小于等于最大聚焦清晰度、且所述后一帧图像的第二清晰度大于等于所述第一预设阈值时,确定所述步长为第三数值,其中,所述第三数值小于所述第二数值;此时,若后一帧图像的图像聚焦清晰度还没有超过最大聚焦清晰度,并且,后一帧图像的图像边界分布清晰度,大于等于预设边界分布清晰度(第一预设阈值),则确定可以确定光学机构电机的当前位置距离合焦位置,还具有较小差距,需要减小步长,以避免图像边界分布清晰度超过预设边界分布清晰度(第一预设阈值),即,避免越过合焦位置。
在所述后一帧图像的第一清晰度大于最大聚焦清晰度时,确定所述步长为所述第二数值。
在一种可能的设计中,根据所述后一帧图像的第二清晰度,确定所述步长,包括:
在所述后一帧图像的第二清晰度小于第一预设阈值时,确定所述步长为第一数值,其中,所述第一数值大于第二数值,所述第二数值为所述成像设备采集所述前一帧图像时所述光学机构电机的步长;此时,可以确定光学机构电机的当前位置距离合焦位置,还具有较大差距,确定需要增大光学机构电机的步长;进而加快光学机构电机的运行,加快光学机构电机抵达合焦位置的时间。
在所述后一帧图像的第二清晰度大于等于所述第一预设阈值时,确定所述步长为第三数值,其中,所述第三数值小于所述第二数值;此时,可以确定光学机构电机的当前位置距离合焦位置,还具有较小差距,确定需要减小光学机构电机的步长,以避免图像边界分布清晰度超过预设边界分布清晰度(第一预设阈值),即,避免越过合焦位置。
在一种可能的设计中,控制所述光学机构电机按照所述调整方向,以所述步长运行预设步数,包括:
在所述光学机构电机以所述步长运行每一步时,获取所述成像设备所采集的样本图像,并确定所述样本图像的图像边界分布清晰度;
在所述样本图像的图像边界分布清晰度在预设清晰度范围之内时,控制所述光学机构电机以所述步长运行下一步,由于样本图像的图像边界分布清晰度不在预设清晰度范围之内,则可以确定光学机构电机的调整方向和步长是不正确(不合适)的,依据当前的调整方向和步长,无法控制光学机构电机运行至合焦位置;那么就不需要控制光学机构电机以当前得到的调整方向和步长,继续运行了,就可以及时终止光学机构电机按照错误的调整方向和步长运行,以便多余的搜索阶段的耗时;
在所述样本图像的图像边界分布清晰度不在预设清晰度范围之内时,获取下一帧图像。
在一种可能的设计中,所述完成所述成像设备的变焦跟踪过程,是所述成像设备的所述光学机构电机的放大倍数大于等于第二预设阈值。依据光学机构电机的放大倍数,可以确定是否完成了成像设备的变焦跟踪过程;可以在首次达到最优点之后停下,迅速结束变焦跟踪过程。
在一种可能的设计中,所述完成所述成像设备的自动聚焦过程,是所述前后两帧图像中的后一帧图像的第二清晰度大于等于第一预设阈值、且所述后一帧图像的第一清晰度大于等于最大聚焦清晰度。依据后一帧图像的清晰度分析,可以确定是否完成了成像设备的自动聚焦过程;可以在首次达到最优点之后停下,迅速结束自动聚焦过程。
在一种可能的设计中,根据所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,控制所述成像设备的光学机构电机的运行,包括:
在所述前后两帧图像中的后一帧图像的第二清晰度大于等于第一预设阈值、且所述后一帧图像的第一清晰度小于最大聚焦清晰度时,或者,在所述前后两帧图像中的后一帧图像的第二清晰度小于所述第一预设阈值时,根据所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,控制所述成像设备的光学机构电机的运行。
在一种可能的设计中,在所述重复执行以下各步骤,直至完成所述成像设备的变焦跟踪过程或者自动聚焦过程之前,还包括:
获取所述成像设备所采集的初始图像,并获取所述初始图像中的感兴趣区域;根据所述感兴趣区域的图像信息,确定所述感兴趣区域的图像边界分布清晰度;根据所述感兴趣区域的图像边界分布清晰度,确定所述光学机构电机的初始步长。通过对初始图像的图像边界分布清晰度的分析,得到光学机构电机的初始步长;进而,光学机构电机在运行的时候,可以从初始步长开始运行。
在一种可能的设计中,在所述重复执行以下各步骤,直至完成所述成像设备的变焦跟踪过程或者自动聚焦过程之前,还包括:
获取触发信息;根据所述触发信息,控制所述成像设备进入所述变焦跟踪过程或者所述自动聚焦过程。
第二方面,本申请提供一种成像设备,包括:处理器;
所述处理器,用于重复执行以下各步骤,直至完成成像设备的变焦跟踪过程或者自动聚焦过程:获取成像设备所采集的前后两帧图像,并获取所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,其中,所述第一清晰度为图像聚焦清晰度,所述第二清晰度为图像边界分布清晰度;根据所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,控制所述成像设备的光学机构电机的运行。
本申请,通过利用前后两帧图像中的每一帧图像的图像聚焦清晰度、以及前后两帧图像中的后一帧图像的图像边界分布清晰度,对图像进行评价,以控制成像设备的光学机构电机的运行;由于图像聚焦清晰度可以表征出图像的聚焦情况,并且图像边界分布清晰度更加稳定、不易受到环境影响,可以结合图像聚焦清晰度和图像边界分布清晰度,利用综合这两种清晰度评价参数的相对性、绝对性,对控制成像设备的光学机构电机的运行,进而采集图像,采集的图像不会出现震荡;可以提高自动聚焦过程和变焦跟踪过程的准确性;并且由于结合图像聚焦清晰度和图像边界分布清晰度,不会产生图像震荡的情况,可以控制光学机构电机的运行之后很快的完成自动聚焦过程或者变焦跟踪过程,减小了自动聚焦过程或者变焦跟踪过程的耗时。
在一种可能的设计中,所述处理器在用于控制所述成像设备的光学机构电机的运行时,具体用于:控制所述光学机构电机,运行到合焦位置。在成像设备的光学机构电机运行到合焦位置之后,被拍摄对象可以成功的成像设备的感光元件上清晰成像。
在一种可能的设计,所述处理器在用于根据所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,控制所述成像设备的光学机构电机的运行时,具体用于:
根据所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,确定所述光学机构电机的调整方向和步长;控制所述光学机构电机按照所述调整方向,以所述步长运行预设步数。从而,图像聚焦清晰度用于决定光学机构电机的调整方向,图像聚焦清晰度和图像边界分布清晰度用于决定光学机构电机的步长;结合了图像聚焦清晰度和图像边界分布清晰度,可以给予光学机构电机合理的调整方向和步长,避免了图像震荡,使得光学机构电机快速的达到合焦位置;有利于成像设备较快的采集的清晰的图像。
在一种可能的设计中,所述处理器在用于根据所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,确定所述光学机构电机的调整方向和步长时,具体用于:
根据所述前后两帧图像中的每一帧图像的第一清晰度,确定所述调整方向,并根据所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,确定所述步长。
在一种可能的设计中,所述处理器在用于根据所述前后两帧图像中的每一帧图像的第一清晰度,确定所述调整方向时,具体用于:
在所述前后两帧图像中的后一帧图像的第一清晰度大于等于前一帧图像的第一清晰度时,根据所述后一帧图像的第一清晰度,确定所述调整方向;从而,可以在后一帧图像的图像聚焦清晰度大于等于前一帧图像的图像聚焦清晰度时,可以确定光学机构电机的当前运行方向(调整方向)可能是正确的;然后,依据后一帧图像的图像聚焦清晰度,准确的确定出光学机构电机的调整方向。
在所述前后两帧图像中的后一帧图像的第一清晰度小于前一帧图像的第一清晰度时,根据所述后一帧图像的第二清晰度,确定所述调整方向;从而,在后一帧图像的图像聚焦清晰度小于前一帧图像的图像聚焦清晰度时,可以确定光学机构电机的当前运行方向(调整方向)可能是不正确的;然后,依据后一帧图像的图像边界分布清晰度,准确的确定出光学机构电机的调整方向。
在一种可能的设计中,所述处理器在用于根据所述后一帧图像的第一清晰度,确定所述调整方向时,具体用于:
在所述后一帧图像的第一清晰度小于最大聚焦清晰度时,确定所述调整方向为第一方向,其中,所述第一方向为所述成像设备采集所述前一帧图像时所述光学机构电机的方向;此时,后一帧图像的图像聚焦清晰度大于等于前一帧图像的图像聚焦清晰度、且后一帧图像的图像聚焦清晰度没有超过最大聚焦清晰度,从而可以确定光学机构电机的运行方向(调整方向)是正确的,光学机构电机按照当前的运行方向运行是可以达到合焦位置的,就可以保持光学机构电机的运行方向(调整方向)不变。
在所述后一帧图像的第一清晰度大于等于最大聚焦清晰度时,确定所述调整方向为第二方向,其中,所述第二方向为与所述第一方向反向的方向;此时,后一帧图像的图像聚焦清晰度大于等于前一帧图像的图像聚焦清晰度、且后一帧图像的图像聚焦清晰度即将超过或者已经超过最大聚焦清晰度,此时,光学机构电机按照当前的运行方向运行是无法达到合焦位置的,需要将光学机构电机的运行方向进行反向。
在一种可能的设计中,所述处理器在用于根据所述后一帧图像的第二清晰度,确定所述调整方向时,具体用于:
在所述后一帧图像的第二清晰度大于等于第一预设阈值时,确定所述调整方向为第一方向,其中,所述第一方向为所述成像设备采集所述前一帧图像时所述光学机构电机的方向;此时,后一帧图像的图像聚焦清晰度小于前一帧图像的图像聚焦清晰度、且后一帧图像的图像边界分布清晰度即将超过或者已经超过预设边界分布清晰度(第一预设阈值),则可以确定光学机构电机按照当前的运行方向运行,是可以达到合焦位置的,可以保持光学机构电机的运行方向不变。
在所述后一帧图像的第二清晰度小于所述第一预设阈值时,确定所述调整方向为第二方向,其中,所述第二方向为与所述第一方向反向的方向;此时,后一帧图像的图像聚焦清晰度小于前一帧图像的图像聚焦清晰度、且后一帧图像的图像边界分布清晰度小于预设边界分布清晰度(第一预设阈值),此时,光学机构电机按照当前的运行方向运行是无法达到合焦位置的,需要将光学机构电机的运行方向进行反向。
在一种可能的设计中,所述处理器在用于根据所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,确定所述步长时,具体用于:
在所述前后两帧图像中的后一帧图像的第一清晰度大于等于前一帧图像的第一清晰度时,根据所述后一帧图像的第一清晰度和所述后一帧图像的第二清晰度,确定所述步长;在所述前后两帧图像中的后一帧图像的第一清晰度小于前一帧图像的第一清晰度时,根据所述后一帧图像的第二清晰度,确定所述步长。此时,结合图像聚焦清晰度和图像边界分布清晰度,确定如何调整光学机构电机的步长。
在一种可能的设计中,所述处理器在用于根据所述后一帧图像的第一清晰度和所述后一帧图像的第二清晰度,确定所述步长时,具体用于:
在所述后一帧图像的第一清晰度小于等于最大聚焦清晰度、且所述后一帧图像的第二清晰度小于第一预设阈值时,确定所述步长为第一数值,其中,所述第一数值大于第二数值,所述第二数值为所述成像设备采集所述前一帧图像时所述光学机构电机的步长;此时,若后一帧图像的图像聚焦清晰度还没有超过(小于等于)最大聚焦清晰度,并且,后一帧图像的图像边界分布清晰度,小于预设边界分布清晰度(第一预设阈值),则可以确定光学机构电机的当前位置距离合焦位置,还具有较大差距,确定需要增大光学机构电机的步长;进而加快光学机构电机的运行,加快光学机构电机抵达合焦位置的时间。
在所述后一帧图像的第一清晰度小于等于最大聚焦清晰度、且所述后一帧图像的第二清晰度大于等于所述第一预设阈值时,确定所述步长为第三数值,其中,所述第三数值小于所述第二数值;此时,若后一帧图像的图像聚焦清晰度还没有超过最大聚焦清晰度,并且,后一帧图像的图像边界分布清晰度,大于等于预设边界分布清晰度(第一预设阈值),则确定可以确定光学机构电机的当前位置距离合焦位置,还具有较小差距,需要减小步长,以避免图像边界分布清晰度超过预设边界分布清晰度(第一预设阈值),即,避免越过合焦位置。
在所述后一帧图像的第一清晰度大于最大聚焦清晰度时,确定所述步长为所述第二数值。
在一种可能的设计中,所述处理器在用于根据所述后一帧图像的第二清晰度,确定所述步长时,具体用于:
在所述后一帧图像的第二清晰度小于第一预设阈值时,确定所述步长为第一数值,其中,所述第一数值大于第二数值,所述第二数值为所述成像设备采集所述前一帧图像时所述光学机构电机的步长;此时,可以确定光学机构电机的当前位置距离合焦位置,还具有较大差距,确定需要增大光学机构电机的步长;进而加快光学机构电机的运行,加快光学机构电机抵达合焦位置的时间。
在所述后一帧图像的第二清晰度大于等于所述第一预设阈值时,确定所述步长为第三数值,其中,所述第三数值小于所述第二数值;此时,可以确定光学机构电机的当前位置距离合焦位置,还具有较小差距,确定需要减小光学机构电机的步长,以避免图像边界分布清晰度超过预设边界分布清晰度(第一预设阈值),即,避免越过合焦位置。
在一种可能的设计中,所述处理器在用于控制所述光学机构电机按照所述调整方向,以所述步长运行预设步数时,具体用于:
在所述光学机构电机以所述步长运行每一步时,获取所述成像设备所采集的样本图像,并确定所述样本图像的图像边界分布清晰度;
在所述样本图像的图像边界分布清晰度在预设清晰度范围之内时,控制所述光学机构电机以所述步长运行下一步,由于样本图像的图像边界分布清晰度不在预设清晰度范围之内,则可以确定光学机构电机的调整方向和步长是不正确(不合适)的,依据当前的调整方向和步长,无法控制光学机构电机运行至合焦位置;那么就不需要控制光学机构电机以当前得到的调整方向和步长,继续运行了,就可以及时终止光学机构电机按照错误的调整方向和步长运行,以便多余的搜索阶段的耗时;
在所述样本图像的图像边界分布清晰度不在预设清晰度范围之内时,获取下一帧图像。
在一种可能的设计中,所述完成所述成像设备的变焦跟踪过程,是所述成像设备的所述光学机构电机的放大倍数大于等于第二预设阈值。依据光学机构电机的放大倍数,可以确定是否完成了成像设备的变焦跟踪过程;可以在首次达到最优点之后停下,迅速结束变焦跟踪过程。
在一种可能的设计中,所述完成所述成像设备的自动聚焦过程,是所述前后两帧图像中的后一帧图像的第二清晰度大于等于第一预设阈值、且所述后一帧图像的第一清晰度大于等于最大聚焦清晰度。依据后一帧图像的清晰度分析,可以确定是否完成了成像设备的自动聚焦过程;可以在首次达到最优点之后停下,迅速结束自动聚焦过程。
在一种可能的设计中,所述处理器在用于根据所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,控制所述成像设备的光学机构电机的运行时,具体用于:
在所述前后两帧图像中的后一帧图像的第二清晰度大于等于第一预设阈值、且所述后一帧图像的第一清晰度小于最大聚焦清晰度时,或者,在所述前后两帧图像中的后一帧图像的第二清晰度小于所述第一预设阈值时,根据所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,控制所述成像设备的光学机构电机的运行。
在一种可能的设计中,所述处理器,还用于:
在所述重复执行以下各步骤,直至完成所述成像设备的变焦跟踪过程或者自动聚焦过程之前,获取所述成像设备所采集的初始图像,并获取所述初始图像中的感兴趣区域;根据所述感兴趣区域的图像信息,确定所述感兴趣区域的图像边界分布清晰度;根据所述感兴趣区域的图像边界分布清晰度,确定所述光学机构电机的初始步长。通过对初始图像的图像边界分布清晰度的分析,得到光学机构电机的初始步长;进而,光学机构电机在运行的时候,可以从初始步长开始运行。
在一种可能的设计中,所述处理器,还用于:
在所述重复执行以下各步骤,直至完成所述成像设备的变焦跟踪过程或者自动聚焦过程之前,获取触发信息;根据所述触发信息,控制所述成像设备进入所述变焦跟踪过程或者所述自动聚焦过程。
第三方面,本申请提供一种成像设备的调节设备,包括:
执行单元,用于重复执行以下各单元,直至完成所述成像设备的变焦跟踪过程或者自动聚焦过程:
第一获取单元,用于获取成像设备所采集的前后两帧图像,并获取所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,其中,所述第一清晰度为图像聚焦清晰度,所述第二清晰度为图像边界分布清晰度;
控制单元,用于根据所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,控制所述成像设备的光学机构电机的运行。
本申请,通过利用前后两帧图像中的每一帧图像的图像聚焦清晰度、以及前后两帧图像中的后一帧图像的图像边界分布清晰度,对图像进行评价,以控制成像设备的光学机构电机的运行;由于图像聚焦清晰度可以表征出图像的聚焦情况,并且图像边界分布清晰度更加稳定、不易受到环境影响,可以结合图像聚焦清晰度和图像边界分布清晰度,利用综合这两种清晰度评价参数的相对性、绝对性,对控制成像设备的光学机构电机的运行,进而采集图像,采集的图像不会出现震荡;可以提高自动聚焦过程和变焦跟踪过程的准确性;并且由于结合图像聚焦清晰度和图像边界分布清晰度,不会产生图像震荡的情况,可以控制光学机构电机的运行之后很快的完成自动聚焦过程或者变焦跟踪过程,减小了自动聚焦过程或者变焦跟踪过程的耗时。
第四方面,本申请提供一种成像设备,包括处理器和图像采集器;
其中,所述图像采集器,用于采集以上第一方面的任一实现方式中的图像;
所述处理器,用于获取所述图像采集器采集的图像,并执行计算机可执行程序代码中的指令;当所述处理器执行所述指令时,所述指令使所述成像设备执行以上第一方面的任一实现方式。
第五方面,本申请提供一种成像设备,包括用于执行以上第一方面的任一实现方式的至少一个处理元件或芯片。
第六方面,本申请提供一种程序,包括程序代码,当计算机运行所述计算机程序时,所述程序代码执行以上第一方面的任一实现方式。
第七方面,本申请提供一种计算机可读存储介质,包括第六方面的程序。
附图说明
图1为本申请实施例提供的一种应用场景示意图一;
图2为本申请实施例提供的一种应用场景示意图二;
图3为本申请实施例提供的一种成像设备的调节方法的流程示意图;
图4为本申请提供的边界宽度与边界宽度占比的关系示意图;
图5为本申请提供的聚焦电机的位置与图像聚焦清晰度的关系示意图一;
图6为本申请提供的聚焦电机的位置与图像边界分布清晰度的关系示意图一;
图7为本申请实施例提供的另一种成像设备的调节方法的流程示意图;
图8为本申请提供的图像边界分布清晰度与光学机构电机的步长的关系示意图;
图9为本申请实施例提供的又一种成像设备的调节方法的流程示意图;
图10为本申请实施例提供的再一种成像设备的调节方法的流程示意图;
图11为本申请提供的聚焦电机的位置与图像聚焦清晰度的关系示意图二;
图12为本申请提供的聚焦电机的位置与图像边界分布清晰度的关系示意图二;
图13为本申请实施例提供的其他一种成像设备的调节方法的流程示意图;
图14为本申请提供的变焦跟踪过程中变倍电机的位置与聚焦电机的位置之间关系示意图;
图15为本申请实施例提供的其他另一种成像设备的调节方法的流程示意图;
图16为本申请实施例提供的其他另一种成像设备的调节方法中步骤S605的流程示意图;
图17为本申请实施例提供的其他另一种成像设备的调节方法中步骤S608的流程示意图;
图18为本申请实施例提供的一种成像设备的结构示意图;
图19为本申请实施例提供的另一种成像设备的结构示意图;
图20为本申请实施例提供的一种成像设备的调节设备的结构示意图;
图21为本申请实施例提供的另一种成像设备的调节设备的结构示意图。
具体实施方式
本申请实施例应用于成像设备。成像设备包括但不限于:图像设备、视频设备、智能图像设备、智能视频设备、图像采集设备。其中,成像设备可以是现有技术中成像设备,也可以是未来出现的成像设备。成像设备例如是:终端设备、摄像机、摄影机、摄像设备、摄影设备、智能终端、智能车载设备、智能机器人、等等。
以下对本申请中的部分用语进行解释说明,以便于本领域技术人员理解。需要说明的是,当本申请实施例的方案应用于成像设备时,成像设备的名称可能发生变化,但这并不影响本申请实施例方案的实施。
1)成像设备,是一种可以采集图像、视频的设备。成像设备可以是摄像机、或者可以摄像的设备、或者具有摄像功能的设备、或者具有摄像功能的智能设备、等等。例如,摄像机包括但不限于:模拟摄像机、网络摄像机、高清摄像机。
2)终端设备,是一种向用户提供语音和/或数据连通性的设备。本申请中终端设备主要指但不限于移动终端、车辆终端、车载终端、车辆设备、公共终端、无线通信功能的手持式设备、可穿戴设备、计算设备等,其中,车载终端包括但不限于车载导航仪等,移动终端包括但不限于手机、可穿戴设备、平板电脑等。示例性地,终端设备还可以是虚拟现实(virtual reality,VR)终端设备、增强现实(augmented reality,AR)终端设备、工业控制中的无线终端、无人驾驶中的无线终端、远程医疗中的无线终端、智能电网中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等等。
3)自动聚焦(autofocus),指的是利用成像设备对待聚焦场景进行取样,得到图像序列,然后将得到的图像序列通过聚焦评价函数得到聚焦程度,然后采用搜索算法获得评价函数值最大的那幅图像的过程。
4)变焦跟踪(zoom tracking),指的是成像设备在变倍过程中,调整变倍镜头电机的位置的过程;具体的,在变焦跟踪的过程中,为了保持图像画面的清晰,需要实时调整聚焦镜头电机的位置,以跟随变倍镜头电机的位置变化进行变化。
5)图像聚焦清晰度(focus value,FV),指的是,图像的聚焦的清晰度;现在的芯片可以对图像进行计算,进而得到图像的图像聚焦清晰度值。
6)图像边界分布清晰度,指的是,对图像的边界信息进行统计而得到的数值;图像边界分布清晰度,用于评价图像的图像清晰度。即,图像边界分布清晰度,是用于评价图像清晰程度的评价因子。其中,图像边界分布清晰度,也可以简称为图像清晰度。
7)步长,指的是成像设备的光学机构电机在在运动时候,每一次走的距离。其中,光学机构电机包括但不限于:聚焦(focus)电机、变倍(zoom)电机。聚焦电机,也可以称为变焦电机。
8)“多个”是指两个或两个以上,其它量词与之类似。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
9)“对应”可以指的是一种关联关系或绑定关系,A与B相对应指的是A与B之间是一种关联关系或绑定关系。
需要指出的是,本申请实施例中涉及的名词或术语可以相互参考,不再赘述。
图1为本申请实施例提供的一种应用场景示意图一。如图1所示,本申请实施例的方案,可以应用到图1所示的视频监控系统中。视频监控系统包括前端系统、传输系统、后端系统。
其中,前端系统中包括了摄像机、拾音器、传感器、编码器、采集卡等等。前端系统用于采集音视频数据,前端系统还用于音视频数据进行编码;拾音器。也可以称为监听头,拾音器中包括了麦克风和放大器。
传输系统中包括了多个传输设备;传输系统用于将前端系统传输的音视频数据进行编码、解码之后,将音视频数据传输给后端系统。传输设备包括但不限于以下设备:视频线、音频线、网线、光纤、光端机、交换机、路由器。
后端系统中包括了显示设备、存储设备、控制设备等等。显示设备包括但不限于:监视器、大屏幕电视墙。存储设备包括但不限于:网络录像机(network video recorder,NVR)、存储局域网络(storage area network,IP SAN)、云存储。控制设备包括但不限于:视频分配器、矩阵、控制键盘、综合管理平台。后端系统用于将传输系统传输过来的音视频数据,实时显示到显示设备上或者存放在硬盘介质中;后端系统还用于对音视频数据进行大数据分析、人工智能(artificial intelligence,AI)分析等等。
本申请实施例的方案,可以应用到视频监控系统的前端系统中,例如,应用到前端系统的摄像机中。
图2为本申请实施例提供的一种应用场景示意图二。如图2所示,本申请实施例的方案,可以应用到摄像机中。摄像机包括但不限于:模拟摄像机、网络摄像机、高清摄像机。
图3为本申请实施例提供的一种成像设备的调节方法的流程示意图。图3所示的实施例,介绍了:依据采集到的图像的图像聚焦清晰度和图像边界分布清晰度,控制成像设备的光学机构电机的运行,以完成成像设备的变焦跟踪过程或者自动聚焦过程。如图3所示,该方法包括:
S101、重复执行以下各步骤,直至完成成像设备的变焦跟踪过程或者自动聚焦过程。
示例性地,成像设备可以采集图像,本申请实施例需要对成像设备采集的图像进行分析,以根据分析结果控制成像设备的图像采集过程。其中,在成像设备中设置有光学机构电机,光学机构电机包括但不限于:聚焦(focus)电机、变倍(zoom)电机。
示例性地,在成像设备的变焦跟踪过程中,需要调整聚焦电机的方向,进而控制聚焦电机运行到预设位置。
示例性地,在成像设备的自动聚焦过程中,需要调整聚焦电机的方向,进而控制聚焦电机运行到预设位置;并且,需要分析变倍电机的放大倍数,进而确定是否完成了自动聚焦过程。
为了可以采集到清楚、合适的图像,需要控制成像设备进行变焦跟踪过程或者自动聚焦过程;进而,在进行成像设备的变焦跟踪的时候,可以重复执行步骤S102-S103,直至完成变焦跟踪过程;在在进行成像设备的自动聚焦的时候,可以重复执行步骤S102-S103,直至完成自动聚焦过程。
本实施例的执行主体可以是成像设备、成像设备中的控制器、成像设备中的芯片、与成像设备连接的控制设备、等等;对此不做限定。
S102、获取成像设备所采集的前后两帧图像,并获取前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,其中,第一清晰度为图像聚焦清晰度,第二清晰度为图像边界分布清晰度。
示例性地,在成像设备连续的采集图像的过程中,对成像设备采集的图像进行采样,得到前后两帧图像。例如,成像设备采集到了多帧图像,可以将成像设备采集的连续两帧图像,作为待处理的前后两帧图像;或者,成像设备采集到了多帧图像,可以对多帧图像间隔采样,得到两帧图像,将所得到的两帧图像作为前后两帧图像。
然后,对前后两帧图像中的每一帧图像进行计算,得到每一帧图像的图像聚焦清晰度;为了便于称呼,可以将此时得到每一帧图像的图像聚焦清晰度,称为每一帧图像的第一清晰度。
并且,对前后两帧图像中的后一帧图像的图像边界的像素进行分析,得到后一帧图像的图像边界分布清晰度;为了便于称呼,可以将此时得到后一帧图像的图像边界分布清晰度,称为后一帧图像的第二清晰度。
示例性地,在计算图像聚焦清晰度的时候,可以采用现有技术的芯片对图像的聚焦清晰度进行计算,输出图像聚焦清晰度。
示例性地,在计算图像边界分布清晰度的时候,通过计算图像的边界宽度占比,然后根据预设边界宽度占比与图像边界分布清晰度之间的对应关系,确定出与图像的边界宽度占比对应的图像边界分布清晰度。例如,通过边界寻找算法寻找图像的边界,在寻找图像的边界的过程中,需要保证图像的右边的像素点的像素值一直大于预设值;在寻找到图像的边界之后,可以根据图像的边界的像素点的个数,确定出图像的边界宽度;然后,根据图像的边界宽度与图像的边界总数的比值,得到图像的边界宽度占比,例如得到低于5的边界宽度占比,低于8的边界宽度占比;图4为本申请提供的边界宽度与边界宽度占比的关系示意图,如图4所示,图4的横轴为图像的边界宽度,图5的纵轴为边界宽度占比,边界宽度占比为边界宽度与图像的边界总数的比值;针对一帧图像,选出至少一个边界宽度占比;根据至少一个边界宽度占比,依据边界宽度占比与图像边界分布清晰度之间的对应关系,确定出该帧图像的图像边界分布清晰度。
S103、根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,控制成像设备的光学机构电机的运行。
示例性地,由于在不同的场景下,图像的图像聚焦清晰度的差异较大;并且,图像聚焦清晰度,会受到环境因素的影响,例如受到外部环境的亮度、成像设备的光圈调节、成像设备的噪声、成像设备的其他调节参数等等的干扰,进而图像聚焦清晰度会发生跳动。图5为本申请提供的聚焦电机的位置与图像聚焦清晰度的关系示意图一,如图5所示,图5中的横轴为聚焦电机的位置,图5中的纵轴为图像聚焦清晰度;图5所示,随着聚焦电机的位置的变化,图像的图像聚焦清晰度也会发生变化,即不同的聚焦电机的位置对应了不同的图像聚焦清晰度;并且,随着聚焦电机的位置的变化,图像聚焦清晰度会发生跳动,即,图像聚焦清晰度不稳定。并且,图像聚焦清晰度与视场角的变化之间相关性,是较高的。进而,仅仅采用前后两帧图像的图像聚焦清晰度的变化趋势,作为光学机构电机的运行的控制参数是不合理的,会使得采集的图像出现震荡,并且使得聚焦或者变倍过程的时间较长。
图6为本申请提供的聚焦电机的位置与图像边界分布清晰度的关系示意图一,如图6所示,图6中的横轴为聚焦电机的位置,图6中的纵轴为图像边界分布清晰度;图6所示,随着聚焦电机的位置的变化,图像的图像边界分布清晰度也会发生变化,即不同的聚焦电机的位置对应了不同的图像边界分布清晰度;并且,随着聚焦电机的位置的变化,图像边界分布清晰度的变化是稳定的。图像边界分布清晰度,可以指示出当前帧图像的清晰度。在图6中,图像边界分布清晰度具有一个峰值,该峰值可以用于确定图像的最清晰的区域和点。同样的,图5中,图像聚焦清晰度具有一个峰值,该峰值可以用于确定图像的最清晰的区域和点。并且,图像边界分布清晰度与视场角的变化之间相关性,是较低的。
从而,基于图像聚焦清晰度可以表征出图像的聚焦情况、对环境较为敏感,并且图像边界分布清晰度更加稳定、不易受到环境影响,可以结合图像聚焦清晰度和图像边界分布清晰度,对控制成像设备的光学机构电机的运行。
在进行变焦跟踪过程的时候,在得到前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度之后,就可以依据每一帧图像的第一清晰度和后一帧图像的第二清晰度,控制成像设备的光学机构电机的运行,以确定是否完成了变焦跟踪过程;若确定没有完成变焦跟踪过程,则重复步骤S102-S103的过程,直至完成变焦跟踪过程。
在进行自动聚焦过程的时候,在得到前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度之后,就可以依据每一帧图像的第一清晰度和后一帧图像的第二清晰度,控制成像设备的光学机构电机的运行,以确定是否完成了自动聚焦过程;若确定没有完成自动聚焦过程,则重复步骤S102-S103的过程,直至完成自动聚焦过程。
举例来说,对成像设备采集的图像进行采样,得到前后的两帧图像,分别为图像1和图像2;计算图像1的图像聚焦清晰度、图像2的图像聚焦清晰度,并计算图像2的图像边界分布清晰度;然后依据图像1的图像聚焦清晰度、图像2的图像聚焦清晰度、以及图像2的图像边界分布清晰度,控制光学机构电机的运行,判断是否完成了变焦跟踪过程。若完成,则结束变焦跟踪过程;若未完成,则获取图像2之后的一帧图像,即获取到图像3;然后,计算图像3图像聚焦清晰度和图像3的图像边界分布清晰度;然后依据图像2的图像聚焦清晰度、图像3的图像聚焦清晰度、以及图像3的图像边界分布清晰度,控制光学机构电机的运行,判断是否完成了变焦跟踪过程。若完成,则结束变焦跟踪过程;若未完成,则获取图像3之后的一帧图像,即获取到图像4;以此类推。
本实施例,通过重复执行以下各步骤,直至完成成像设备的变焦跟踪过程或者自动聚焦过程:获取成像设备所采集的前后两帧图像,并获取前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,其中,第一清晰度为图像聚焦清晰度,第二清晰度为图像边界分布清晰度;根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,控制成像设备的光学机构电机的运行。可以利用前后两帧图像中的每一帧图像的图像聚焦清晰度、以及前后两帧图像中的后一帧图像的图像边界分布清晰度,对图像进行评价,以控制成像设备的光学机构电机的运行;由于图像聚焦清晰度可以表征出图像的聚焦情况,并且图像边界分布清晰度更加稳定、不易受到环境影响,可以结合图像聚焦清晰度和图像边界分布清晰度,利用综合这两种清晰度评价参数的相对性、绝对性,对控制成像设备的光学机构电机的运行,进而采集图像,采集的图像不会出现震荡;可以提高自动聚焦过程和变焦跟踪过程的准确性;并且由于结合图像聚焦清晰度和图像边界分布清晰度,不会产生图像震荡的情况,可以控制光学机构电机的运行之后很快的完成自动聚焦过程或者变焦跟踪过程,减小了自动聚焦过程或者变焦跟踪过程的耗时。
图7为本申请实施例提供的另一种成像设备的调节方法的流程示意图。图7所示的实施例,介绍了:获取光学机构电机的初始步长、以及获取触发进入变焦跟踪过程或者自动聚焦过程的触发信息;并且需要控制光学机构电机运行到合焦位置。如图7所示,该方法包括:
S201、获取成像设备所采集的初始图像,并获取初始图像中的感兴趣区域。
示例性地,本实施例的执行主体可以是成像设备、成像设备中的控制器、成像设备中的芯片、与成像设备连接的控制设备、等等;对此不做限定。
在成像设备采集初始图像的时候,就对该初始图像进行分析;首先,对初始图像进行区域划分,获取一个感兴趣区域。例如,采用区域权重分析算法,获取到感兴趣区域。
区域权重分析算法,包括但不限于:感兴趣区域(region of interest,ROI)算法、聚焦区域算法。
S202、根据感兴趣区域的图像信息,确定感兴趣区域的图像边界分布清晰度。
示例性地,在步骤S201之后,利用感兴趣区域的图像信息,计算得到感兴趣区域的图像边界分布清晰度。即,利用感兴趣区域的像素点的像素值进行计算,得到感兴趣区域的图像边界分布清晰度。
其中,图像边界分布清晰度的计算方式,可以采用图3的步骤S102中的计算图像边界分布清晰度的方式,不再赘述。
S203、根据感兴趣区域的图像边界分布清晰度,确定光学机构电机的初始步长。
示例性地,图像边界分布清晰度与步长之间具有对应关系。例如,图8为本申请提供的图像边界分布清晰度与光学机构电机的步长的关系示意图,如图8所示,图8中的横轴为图像边界分布清晰度,图8中的纵轴为光学机构电机的步长;图8所示,图像边界分布清晰度与步长之间具有负相关的关系;图像边界分布清晰度越高,步长越小。
在步骤S203之后,可以根据图像边界分布清晰度与步长之间的对应关系,确定出与感兴趣区域的图像边界分布清晰度对应的步长;将感兴趣区域的图像边界分布清晰度对应的步长,作为光学机构电机的初始步长。例如,感兴趣区域的图像边界分布清晰度较小,则初始步长较大;进而,对于模糊的初始图像,由于初始图像的边界分布清晰度较低,则可以给予光学机构电机一个较大的初始步长,使得光学机构电机可以快速迭代至清晰位置,即,使得光学机构电机可以快速迭代至合焦位置。
S204、获取触发信息。
示例性地,获取触发信息,触发信息用于指示成像设备进入变焦跟踪过程或者自动聚焦过程。
示例性地,触发信息为用户发出的触发信息,触发信息为检测到的场景触发条件、等等。
例如,可以根据用户的手动触发,进入变焦跟踪过程或者自动聚焦过程;根据页面触发,进入变焦跟踪过程或者自动聚焦过程;在变焦跟踪过程结束之后,自动触发成像设备进入自动聚焦过程;根据场景触发条件,进入变焦跟踪过程或者自动聚焦过程。场景触发条件,例如是,环境亮度、环境温度。
S205、根据触发信息,控制成像设备进入变焦跟踪过程或者自动聚焦过程。
示例性地,依据触发信息的指示,控制成像设备开始变焦跟踪过程或者自动聚焦过程。
在步骤S205之后,可以执行步骤S2061、S2071和S2081,或者执行步骤S2062、S2072和S2082。
S2061、在进入变焦跟踪过程时,重复执行以下各步骤,直至完成成像设备的变焦跟踪过程。
示例性地,在步骤S205之后,本步骤可以参见图3的步骤S101中的变焦跟踪过程,不再赘述。
S2071、获取成像设备所采集的前后两帧图像,并获取前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,其中,第一清晰度为图像聚焦清晰度,第二清晰度为图像边界分布清晰度。
示例性地,本步骤可以参见图3的步骤S102中的变焦跟踪过程,不再赘述。
S2081、根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,控制成像设备的光学机构电机的运行。
示例性地,步骤S2081具体包括:根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,控制成像设备的光学机构电机运行到合焦位置。
示例性地,本步骤可以参见图3的步骤S103中的变焦跟踪过程,不再赘述。进而,通过步骤S103中的变焦跟踪过程,可是使得成像设备的光学机构电机运行至合焦位置。
其中,合焦,指的是成像设备采集图像的时候,被拍摄对象可以清晰成像。
此时,在变焦跟踪过程中,光学机构电机运行到的合焦位置,指的是,通过成像设备中光学机构电机的对焦、聚焦等过程后,被拍摄对象可以成功的在感光元件上清晰成像的时候,光学机构电机的位置。
S2062、在进入自动聚焦过程时,重复执行以下各步骤,直至完成成像设备的自动聚焦过程。
示例性地,在步骤S205之后,本步骤可以参见图3的步骤S101中的自动聚焦过程,不再赘述。
S2072、获取成像设备所采集的前后两帧图像,并获取前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,其中,第一清晰度为图像聚焦清晰度,第二清晰度为图像边界分布清晰度。
示例性地,本步骤可以参见图3的步骤S102中的自动聚焦过程,不再赘述。
S2082、根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,控制成像设备的光学机构电机的运行。
示例性地,步骤S2082具体包括:根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,控制成像设备的光学机构电机运行到合焦位置。
示例性地,本步骤可以参见图3的步骤S103中的自动聚焦过程,不再赘述。进而,通过步骤S103中的变焦跟踪过程,可是使得成像设备的光学机构电机运行至合焦位置。
本实施例,通过获取初始的感兴趣区域,以得到光学机构电机的初始步长;然后,在用户触发或自动触发的情况下,控制成像设备进入变焦跟踪过程或者自动聚焦过程;在变焦跟踪过程或者自动聚焦过程中,可以利用前后两帧图像中的每一帧图像的图像聚焦清晰度、以及前后两帧图像中的后一帧图像的图像边界分布清晰度,对图像进行评价,以控制成像设备的光学机构电机的运行;由于图像聚焦清晰度可以表征出图像的聚焦情况,并且图像边界分布清晰度更加稳定、不易受到环境影响,可以结合图像聚焦清晰度和图像边界分布清晰度,利用综合这两种清晰度评价参数的相对性、绝对性,对控制成像设备的光学机构电机的运行,进而采集图像,采集的图像不会出现震荡;可以提高自动聚焦过程和变焦跟踪过程的准确性;并且由于结合图像聚焦清晰度和图像边界分布清晰度,不会产生图像震荡的情况,可以控制光学机构电机的运行之后很快的完成自动聚焦过程或者变焦跟踪过程,减小了自动聚焦过程或者变焦跟踪过程的耗时。
图9为本申请实施例提供的又一种成像设备的调节方法的流程示意图。图9所示的实施例,介绍了:在控制光学机构电机运行到合焦位置的过程中,需要确定出光学机构电机的调整方向和步长;其中,光学机构电机的调整方向,是由图像的图像聚焦清晰度而决定的;光学机构电机的步长,是由图像的图像边界分布清晰度而决定的。如图9所示,该方法包括:
示例性的,在步骤S301之前,还可以执行以下步骤:
第一步骤、获取成像设备所采集的初始图像,并获取初始图像中的感兴趣区域。
第二步骤、根据感兴趣区域的图像信息,确定感兴趣区域的图像边界分布清晰度。
第三步骤、根据感兴趣区域的图像边界分布清晰度,确定光学机构电机的初始步长。
示例性的,以上各步骤可以参见图7所示的步骤S201-S203,不再赘述。
示例性的,在步骤S301之前,还可以执行以下步骤:获取触发信息;根据触发信息,控制成像设备进入变焦跟踪过程或者自动跟随过程。
示例性的,以上各步骤可以参见图7所示的步骤S204-S205,不再赘述。
S301、重复执行以下各步骤,直至完成成像设备的变焦跟踪过程或者自动跟随过程。
示例性的,本步骤可以参见图3所示的步骤S101,不再赘述。
S302、获取成像设备所采集的前后两帧图像,并获取前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,其中,第一清晰度为图像聚焦清晰度,第二清晰度为图像边界分布清晰度。
示例性的,本步骤可以参见图3所示的步骤S102,不再赘述。
S303、根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,确定光学机构电机的调整方向和步长。
示例性的,步骤S303具体包括以下步骤:根据前后两帧图像中的每一帧图像的第一清晰度,确定调整方向,并根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,确定步长。
示例性的,在控制成像设备的光学机构电机运行的过程中,需要确定出光学机构电机的调整方向和步长,进而依据调整方向和步长,控制光学机构电机运行至合焦位置。
此时,可以依据图像的图像聚焦清晰度和图像边界分布清晰度,需要确定出光学机构电机的调整方向和步长。其中,图像聚焦清晰度,用于决定光学机构电机的调整方向;图像聚焦清晰度和图像边界分布清晰度,用于决定光学机构电机的步长。
由于需要对两帧图像的图像聚焦清晰度的变化进行分析,所以需要对当前获取到的前后两帧图像的前一帧图像的图像聚焦清晰度和后一帧图像的图像聚焦清晰度,进行对比分析;进而,依据图像聚焦清晰度的变化、图像聚焦清晰度的高低,确定出光学机构电机的调整方向。
例如,若后一帧图像的图像聚焦清晰度大于等于前一帧图像的图像聚焦清晰度,则表示后一帧图像的清晰程度优于前一帧图像的清晰程度,则可以确定光学机构电机的当前运行方向是较为正确的;然后在确定后一帧图像的图像聚焦清晰度,还没有超过最大聚焦清晰度的时候,可以确定光学机构电机的运行方向是正确的,然后确定光学机构电机的运行方向保持不变就可以了,此时光学机构电机的调整方向是不需要变化的,即,光学机构电机的调整方向(运行方向)不变。
由于图像聚焦清晰度的不稳定性,不能只依据图像聚焦清晰度去确定光学机构电机的步长;此时,由于一帧图像的图像边界分布清晰度可以反映出一帧图像的边界清晰度,进而,可以直接对前后两帧图像中的后一帧图像的图像边界分布清晰度的高低进行分析;依据采集到的前后两帧图像的图像聚焦清晰度、以及后一帧图像的图像边界分布清晰度,确定光学机构电机的位置变化,进而确定出光学机构电机的步长。
例如,若后一帧图像的图像聚焦清晰度大于等于前一帧图像的图像聚焦清晰度,则表示后一帧图像的清晰程度优于前一帧图像的清晰程度,则可以确定光学机构电机的当前步长是较为合适的;然后,分析后一帧图像的图像聚焦清晰度和图像边界分布清晰度;若后一帧图像的图像聚焦清晰度,还没有超过最大聚焦清晰度的时候,可以确定光学机构电机的当前步长是较小的,并且结合着后一帧图像的图像边界分布清晰度,若此时,后一帧图像的图像边界分布清晰度也比较小,则可以确定光学机构电机的当前步长确实是较小的;那么就可以增大光学机构电机的步长,进而加快光学机构电机的运行。
示例性地,还可以依据前后两帧图像的图像聚焦清晰度、以及后一帧图像的图像边界分布清晰度,得到光学机构电机的步数,即,得到光学机构电机的运行步数。例如,若后一帧图像的图像聚焦清晰度大于等于前一帧图像的图像聚焦清晰度,则表示后一帧图像的清晰程度优于前一帧图像的清晰程度,则可以确定光学机构电机的当前步数是较为合适的;然后,分析后一帧图像的图像聚焦清晰度和图像边界分布清晰度;若后一帧图像的图像聚焦清晰度,还没有超过最大聚焦清晰度的时候,可以确定光学机构电机的当前步数,不足以使得光学机构电机运行至合焦位置,即光学机构电机的当前步数是较小的,并且结合着后一帧图像的图像边界分布清晰度,若此时,后一帧图像的图像边界分布清晰度也比较小,则可以确定光学机构电机的当前步长确实是较小的;那么就可以增大光学机构电机的步数,进而加快光学机构电机的运行。
S304、控制光学机构电机按照调整方向,以步长运行预设步数。
示例性的,在得到光学机构电机的调整方向和步长之后,就可以依据所得到调整方向和步长,控制光学机构电机按照调整方向,以步长运行多个步数了。此时的步数,可以是预先设置的,也可以是依据图像的图像聚焦清晰度和图像边界分布清晰度而得到的。
举例来说,在成像设备进入变焦跟踪过程的时候,可以采集前后两帧图像,依据步骤S302-304,确定成像设备的光学机构电机是否运行到合焦位置;若确定运行到合焦位置,则结束变焦跟踪过程;若确定没有运行到合焦位置,则再次获取后续的前后两帧图像,依据步骤S302-S304,确定成像设备的光学机构电机是否运行到合焦位置;以此类推。
本实施例,在以上实施例的基础上,在控制成像设备的光学机构电机运行的过程中,依据图像的图像聚焦清晰度和图像边界分布清晰度,需要确定出光学机构电机的调整方向和步长;其中,依据图像聚焦清晰度的变化、图像聚焦清晰度的高低,确定出光学机构电机的调整方向;依据前后两帧图像的图像聚焦清晰度、以及后一帧图像的图像边界分布清晰度,确定光学机构电机的位置变化,进而确定出光学机构电机的步长;进而依据调整方向和步长,控制光学机构电机运行至合焦位置。由于综合分析了图像聚焦清晰度和图像边界分布清晰度,可以动态实时的对光学机构电机的调整方法和步长进行调整,加快光学机构电机的运行,使得光学机构电机快速的达到合焦位置;有利于成像设备较快的采集的清晰的图像。
图10为本申请实施例提供的再一种成像设备的调节方法的流程示意图。图10所示的实施例,介绍了:在控制光学机构电机运行到合焦位置的过程中,前后两帧图像的图像聚焦清晰度、图像边界分布清晰度,在不同的取值情况下,如何确定出图像边界分布清晰度调整方向和步长,以实时的对光学机构电机的运行进行动态调整,进而保证光学机构电机快速的达到合焦位置;并且,可以获取样本图像,依据样本图像的图像边界分布清晰度,控制光学结构电机是否需要完成预设步数。如图10所示,该方法包括:
S401、重复执行以下各步骤,直至完成成像设备的变焦跟踪过程或者自动跟随过程。
示例性的,本步骤可以参见图3所示的步骤S101,不再赘述。
S402、获取成像设备所采集的前后两帧图像,并获取前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,其中,第一清晰度为图像聚焦清晰度,第二清晰度为图像边界分布清晰度。
示例性的,本步骤可以参见图3所示的步骤S102,不再赘述。
S403、根据前后两帧图像中的每一帧图像的第一清晰度,确定调整方向。
示例性的,步骤S403的实现方式包括:
步骤S403的第一种实现方式、在前后两帧图像中的后一帧图像的第一清晰度大于等于前一帧图像的第一清晰度时,根据后一帧图像的第一清晰度,确定调整方向。
示例性的,步骤S403的第一种实现方式,具体包括:
在前后两帧图像中的后一帧图像的第一清晰度大于等于前一帧图像的第一清晰度、且后一帧图像的第一清晰度小于最大聚焦清晰度时,确定调整方向为第一方向,其中,第一方向为成像设备采集前一帧图像时光学机构电机的方向。
在前后两帧图像中的后一帧图像的第一清晰度大于等于前一帧图像的第一清晰度、且后一帧图像的第一清晰度大于等于最大聚焦清晰度时,确定调整方向为第二方向,其中,第二方向为与第一方向反向的方向。
步骤S403的第二种实现方式、在前后两帧图像中的后一帧图像的第一清晰度小于前一帧图像的第一清晰度时,根据后一帧图像的第二清晰度,确定调整方向。
示例性的,步骤S403的第二种实现方式,具体包括:
在前后两帧图像中的后一帧图像的第一清晰度小于前一帧图像的第一清晰度、且后一帧图像的第二清晰度大于等于第一预设阈值时,确定调整方向为第一方向,其中,第一方向为成像设备采集前一帧图像时光学机构电机的方向。
在前后两帧图像中的后一帧图像的第一清晰度小于前一帧图像的第一清晰度、且后一帧图像的第二清晰度小于第一预设阈值时,确定调整方向为第二方向,其中,第二方向为与第一方向反向的方向。
示例性的,图像聚焦清晰度,用于决定光学机构电机的调整方向;从而在每一次循环执行步骤S403的时候,可以依据当前获取到的前后两帧图像中的每一帧图像的第一清晰度,确定出光学机构电机的调整方向。
确定调整方向的时候,提供了以下几种实现方式。
第一种实现方式、将前后两帧图像中的后一帧图像的图像聚焦清晰度与前一帧图像的图像聚焦清晰度进行对比;若后一帧图像的图像聚焦清晰度大于等于前一帧图像的图像聚焦清晰度,可以确定光学机构电机的当前运行方向(调整方向)可能是正确的;然后,依据后一帧图像的图像聚焦清晰度,准确的确定出光学机构电机的调整方向。
若后一帧图像的图像聚焦清晰度大于等于前一帧图像的图像聚焦清晰度,则表示后一帧图像的清晰程度优于前一帧图像的清晰程度,则可以确定光学机构电机的当前运行方向是较为正确的;然后在确定后一帧图像的图像聚焦清晰度,还没有超过最大聚焦清晰度的时候,可以确定光学机构电机的运行方向是正确的,然后确定光学机构电机的运行方向保持不变就可以了,此时光学机构电机的调整方向是不需要变化的,即,光学机构电机的调整方向(运行方向)不变;从而,为了使得光学机构电机的调整方向不变,可以将成像设备采集前一帧图像时光学机构电机的第一方向,作为光学机构电机的此时的调整方向。
若后一帧图像的图像聚焦清晰度大于等于前一帧图像的图像聚焦清晰度,则表示后一帧图像的清晰程度优于前一帧图像的清晰程度,则可以确定光学机构电机的当前运行方向是较为正确的;然后在确定后一帧图像的图像聚焦清晰度,即将超过(等于)最大聚焦清晰度或者已经超过最大聚焦清晰度的时候,可以确定光学机构电机的运行方向需要反向,即,光学机构电机的调整方向(运行方向)需要反向;从而,为了使得光学机构电机的调整方向反向,可以将一个第二方向作为光学机构电机的此时的调整方向,第二方向是与成像设备采集前一帧图像时光学机构电机的第一方向之间相反的。
举例来说,图11为本申请提供的聚焦电机的位置与图像聚焦清晰度的关系示意图二,如图11所示,图11中的横轴为聚焦电机的位置,图11中的纵轴为图像聚焦清晰度;图11所示,成像设备的光学机构电机在运行至位置(1)的时候,成像设备采集到前后两帧图像中的前一帧图像;可以计算出前一帧图像的图像聚焦清晰度为A1;光学机构电机继续运行,光学机构电机按照位置(1)至位置(2)的方向运行,成像设备的光学机构电机在运行至位置(2)的时候,成像设备采集到前后两帧图像中的后一帧图像;可以计算出后一帧图像的图像聚焦清晰度为B1;后一帧图像的图像聚焦清晰度B1大于前一帧图像的图像聚焦清晰度A1;可以确定光学机构电机按照当前的运行方向运行,是可以采集到清晰图像的,是有可能达到合焦位置的;为了准确的保证光学机构电机运行至达到合焦位置,继续判断后一帧图像的图像聚焦清晰度B1与最大聚焦清晰度C1的大小关系。
其中,可以知道,在成像设备的光学机构电机在运行至位置(3)的时候,成像设备采集到的图像的图像聚焦清晰度为C1,C1为最大聚焦清晰度,此时,成像设备采集到的图像的图像聚焦清晰度最优。
若后一帧图像的图像聚焦清晰度B1小于最大聚焦清晰度C1,则可以确定光学机构电机按照当前的运行方向运行,是可以达到合焦位置的,则可以保持光学机构电机的运行方向不变,即确定光学机构电机的调整方向不变;将成像设备采集前一帧图像时光学机构电机的第一方向,依然作为光学机构电机的调整方向。
若后一帧图像的图像聚焦清晰度B1大于等于最大聚焦清晰度C1,则可以确定光学机构电机已经越过了合焦位置,光学机构电机按照当前的运行方向运行是无法达到合焦位置的;需要将光学机构电机的运行方向(调整方向)反向。
第二种实现方式、将前后两帧图像中的后一帧图像的图像聚焦清晰度与前一帧图像的图像聚焦清晰度进行对比;若后一帧图像的图像聚焦清晰度小于前一帧图像的图像聚焦清晰度,可以确定光学机构电机的当前运行方向(调整方向)可能是不正确的;然后,依据后一帧图像的图像边界分布清晰度,准确的确定出光学机构电机的调整方向。
若后一帧图像的图像聚焦清晰度小于前一帧图像的图像聚焦清晰度,则表示后一帧图像的清晰程度差于前一帧图像的清晰程度,则可以确定光学机构电机的当前运行方向(调整方向)可能是不正确的;然后在确定后一帧图像的图像边界分布清晰度,即将超过(等于)或者已经超过预设边界分布清晰度(第一预设阈值)的时候,可以确定当前运行方向(调整方向)是正确的,然后确定光学机构电机的运行方向保持不变就可以了,此时光学机构电机的调整方向是不需要变化的,即,光学机构电机的调整方向(运行方向)不变;从而,为了使得光学机构电机的调整方向不变,可以将成像设备采集前一帧图像时光学机构电机的第一方向,作为光学机构电机的此时的调整方向。
举例来说,图11所示,成像设备的光学机构电机在运行至位置(3)的时候,成像设备采集到前后两帧图像中的前一帧图像;可以计算出前一帧图像的图像聚焦清晰度为C1;光学机构电机继续运行,光学机构电机按照位置(3)至位置(4)的方向运行,成像设备的光学机构电机在运行至位置(4)的时候,成像设备采集到前后两帧图像中的后一帧图像;可以计算出后一帧图像的图像聚焦清晰度为D1;后一帧图像的图像聚焦清晰度D1小于前一帧图像的图像聚焦清晰度C1;可以确定光学机构电机按照当前的运行方向运行,是有可能无法采集到清晰图像的,是有可能无法达到合焦位置的;为了准确的保证光学机构电机运行至达到合焦位置,需要计算在光学机构电机位于位置(3)的时候,后一帧图像的图像边界分布清晰度D2。
其中,图12为本申请提供的聚焦电机的位置与图像边界分布清晰度的关系示意图二,如图12所示,图12中的横轴为聚焦电机的位置,图12中的纵轴为图像边界分布清晰度;图12所示,光学机构电机运行至位置(1)时,对应了图像边界分布清晰度A2;光学机构电机运行至位置(2)时,对应了图像边界分布清晰度B2;光学机构电机运行至位置(3)时,对应了图像边界分布清晰度C2;光学机构电机运行至位置(4)时,对应了图像边界分布清晰度D2。并且,图像边界分布清晰度具有第一预设阈值B2,此时,光学机构电机运行至位置(4);光学机构电机位于位置(4)与位置(3)之间时,是可以抵达合焦位置的。
判断后一帧图像的图像边界分布清晰度D2与第一预设阈值B2之间的大小关系。
若后一帧图像的图像边界分布清晰度D2大于等于第一预设阈值B2,则可以确定光学机构电机按照当前的运行方向运行,是可以达到合焦位置的,则可以保持光学机构电机的运行方向不变,即确定光学机构电机的调整方向不变;将成像设备采集前一帧图像时光学机构电机的第一方向,依然作为光学机构电机的调整方向。
若后一帧图像的图像聚焦清晰度小于前一帧图像的图像聚焦清晰度,则表示后一帧图像的清晰程度差于前一帧图像的清晰程度,则可以确定光学机构电机的当前运行方向(调整方向)可能是不正确的;然后在确定后一帧图像的图像边界分布清晰度,小于预设边界分布清晰度(第一预设阈值)的时候,可以确定当前运行方向(调整方向)是不正确的,确定光学机构电机的运行方向需要反向,即,光学机构电机的调整方向(运行方向)需要反向;从而,为了使得光学机构电机的调整方向反向,可以将一个第二方向作为光学机构电机的此时的调整方向,第二方向是与成像设备采集前一帧图像时光学机构电机的第一方向之间相反的。
举例来说,图11所示,成像设备的光学机构电机在运行至位置(4)的时候,成像设备采集到前后两帧图像中的前一帧图像;可以计算出前一帧图像的图像聚焦清晰度为D1;光学机构电机继续运行,光学机构电机按照位置(4)至位置(5)的方向运行,成像设备的光学机构电机在运行至位置(5)的时候,成像设备采集到前后两帧图像中的后一帧图像;可以计算出后一帧图像的图像聚焦清晰度为E1;后一帧图像的图像聚焦清晰度E1小于前一帧图像的图像聚焦清晰度D1;可以确定光学机构电机按照当前的运行方向运行,是有可能无法采集到清晰图像的,是有可能无法达到合焦位置的;为了准确的保证光学机构电机运行至达到合焦位置,需要计算在光学机构电机位于位置(5)的时候,后一帧图像的图像边界分布清晰度E2。
此时,后一帧图像的图像边界分布清晰度E2小于第一预设阈值B2,则可以确定光学机构电机按照当前的运行方向运行,是无法达到合焦位置的;需要将光学机构电机的运行方向(调整方向)反向。
S404、根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,确定步长。
示例性的,步骤S404的实现方式包括:
步骤S404的第一种实现方式、在前后两帧图像中的后一帧图像的第一清晰度大于等于前一帧图像的第一清晰度时,根据后一帧图像的第一清晰度和后一帧图像的第二清晰度,确定步长。
示例性的,步骤S404的第一种实现方式,具体包括:
在前后两帧图像中的后一帧图像的第一清晰度大于等于前一帧图像的第一清晰度、后一帧图像的第一清晰度小于等于最大聚焦清晰度、且后一帧图像的第二清晰度小于第一预设阈值时,确定步长为第一数值,其中,第一数值大于第二数值,第二数值为成像设备采集前一帧图像时光学机构电机的步长。
在前后两帧图像中的后一帧图像的第一清晰度大于等于前一帧图像的第一清晰度、后一帧图像的第一清晰度小于等于最大聚焦清晰度、且后一帧图像的第二清晰度大于等于第一预设阈值时,确定步长为第三数值,其中,第三数值小于第二数值。
在前后两帧图像中的后一帧图像的第一清晰度大于等于前一帧图像的第一清晰度、且后一帧图像的第一清晰度大于最大聚焦清晰度时,确定步长为第二数值。
步骤S404的第二种实现方式、在前后两帧图像中的后一帧图像的第一清晰度小于前一帧图像的第一清晰度时,根据后一帧图像的第二清晰度,确定步长。
示例性的,步骤S404的第二种实现方式,具体包括:
在前后两帧图像中的后一帧图像的第一清晰度小于前一帧图像的第一清晰度、且后一帧图像的第二清晰度小于第一预设阈值时,确定步长为第一数值,其中,第一数值大于第二数值,第二数值为成像设备采集前一帧图像时光学机构电机的步长。
在前后两帧图像中的后一帧图像的第一清晰度小于前一帧图像的第一清晰度、且后一帧图像的第二清晰度大于等于第一预设阈值时,确定步长为第三数值,其中,第三数值小于第二数值。
示例性的,图像聚焦清晰度和图像边界分布清晰度,用于决定光学机构电机的步长;从而在每一次循环执行步骤S404的时候,可以依据当前获取到的前后两帧图像中的每一帧图像的图像聚焦清晰度、以及后一帧图像的图像边界分布清晰度,确定出光学机构电机的步长。
确定步长的时候,提供了以下几种实现方式。
第一种实现方式、将前后两帧图像中的后一帧图像的图像聚焦清晰度与前一帧图像的图像聚焦清晰度进行对比;若后一帧图像的图像聚焦清晰度大于等于前一帧图像的图像聚焦清晰度时,还需要依据后一帧图像的图像聚焦清晰度和图像边界分布清晰度,去分析出步长。
若后一帧图像的图像聚焦清晰度大于等于前一帧图像的图像聚焦清晰度,则表示后一帧图像的清晰程度优于前一帧图像的清晰程度;但是由于图像聚焦清晰度具有不稳定性,为了得到准确的步长,以保证加快光学机构电机运行,以可以很快的运行至合焦位置,还需要将后一帧图像的图像聚焦清晰度与最大聚焦清晰度进行比对。此时,若后一帧图像的图像聚焦清晰度还没有超过(小于等于)最大聚焦清晰度,并且,后一帧图像的图像边界分布清晰度,小于预设边界分布清晰度(第一预设阈值),则可以确定光学机构电机的当前位置距离合焦位置,还具有较大差距,确定需要增大光学机构电机的步长;已经获取到了第二数值,第二数值为成像设备采集前一帧图像时光学机构电机的步长,可以设置光学机构电机的步长为第一数值,为了可以增大步长,设置第一数值大于第二数值。由于增大了步长,可以及时使得光学机构电机较快的进入清晰度范围的位置,即,使得光学机构电机好看的运行至合焦位置。
举例来说,如图11所示,成像设备的光学机构电机在运行至位置(1)的时候,成像设备采集到前后两帧图像中的前一帧图像;可以计算出前一帧图像的图像聚焦清晰度为A1;光学机构电机继续运行,光学机构电机按照位置(1)至位置(5)的方向运行,成像设备的光学机构电机在运行至位置(5)的时候,成像设备采集到前后两帧图像中的后一帧图像;可以计算出后一帧图像的图像聚焦清晰度为E1,如图12所示,还可以计算出后一帧图像的图像边界分布清晰度E2;后一帧图像的图像聚焦清晰度E1大于前一帧图像的图像聚焦清晰度A1;并且,后一帧图像的图像聚焦清晰度为E1小于最大聚焦清晰度C1,后一帧图像的图像边界分布清晰度E2小于第一预设阈值B2,则可以确定光学机构电机的当前位置距离合焦位置,还具有较大差距,需要增大光学机构电机的步长,进而加快光学机构电机的运行,以使光学机构电机较快的运行至合焦位置。
若后一帧图像的图像聚焦清晰度大于等于前一帧图像的图像聚焦清晰度,则表示后一帧图像的清晰程度优于前一帧图像的清晰程度;但是由于图像聚焦清晰度具有不稳定性,为了得到准确的步长,以保证加快光学机构电机运行,以可以很快的运行至合焦位置,还需要将后一帧图像的图像聚焦清晰度与最大聚焦清晰度进行比对。此时,若后一帧图像的图像聚焦清晰度还没有超过最大聚焦清晰度,并且,后一帧图像的图像边界分布清晰度,大于等于预设边界分布清晰度(第一预设阈值),则确定可以确定光学机构电机的当前位置距离合焦位置,还具有较小差距,需要减小步长,以避免图像边界分布清晰度超过预设边界分布清晰度(第一预设阈值),即,避免越过合焦位置;已经获取到了第二数值,第二数值为成像设备采集前一帧图像时光学机构电机的步长,可以设置光学机构电机的步长为第三数值,为了可以减小步长,设置第三数值小于第二数值。由于见笑了步长,可以减少光学机构电机的搜索时间,减少成像设备的自动聚焦时间。
举例来说,如图11所示,成像设备的光学机构电机在运行至位置(2)的时候,成像设备采集到前后两帧图像中的前一帧图像;可以计算出前一帧图像的图像聚焦清晰度为B1;光学机构电机继续运行,光学机构电机按照位置(2)至位置(4)的方向运行,成像设备的光学机构电机在运行至位置(4)的时候,成像设备采集到前后两帧图像中的后一帧图像;可以计算出后一帧图像的图像聚焦清晰度为D1,如图12所示,还可以计算出后一帧图像的图像边界分布清晰度D2;后一帧图像的图像聚焦清晰度D1大于前一帧图像的图像聚焦清晰度B1;并且,后一帧图像的图像聚焦清晰度为D1小于最大聚焦清晰度C1,后一帧图像的图像边界分布清晰度D2大于第一预设阈值B2,则可以光学机构电机的当前位置距离合焦位置,还具有较小差距,需要减小光学机构电机的步长,以保证光学机构电机可以运行至合焦位置,不会越过合焦位置。
若后一帧图像的图像聚焦清晰度大于等于前一帧图像的图像聚焦清晰度,并且,若后一帧图像的图像聚焦清晰度还没有超过最大聚焦清晰度,并且,后一帧图像的图像聚焦清晰度超过(大于)最大聚焦清晰度,此时,可以保持光学机构电机的步长不变;即,已经获取到了第二数值,第二数值为成像设备采集前一帧图像时光学机构电机的步长,可以设置光学机构电机的步长依然为第二数值。
第二种实现方式、将前后两帧图像中的后一帧图像的图像聚焦清晰度与前一帧图像的图像聚焦清晰度进行对比;若后一帧图像的图像聚焦清晰度小于前一帧图像的图像聚焦清晰度时,还需要依据后一帧图像的图像边界分布清晰度,去分析出步长。
若后一帧图像的图像聚焦清晰度小于前一帧图像的图像聚焦清晰度,则表示后一帧图像的清晰程度差于前一帧图像的清晰程度;由于,后一帧图像的清晰度已经明显差于前一帧图像的清晰程度,并且为了保证准确的调整光学机构电机,此时只需要依据后一帧图像的图像边界分布清晰度,去确定出步长。此时,若后一帧图像的图像边界分布清晰度,小于预设边界分布清晰度(第一预设阈值),则可以确定光学机构电机的当前位置距离合焦位置,还具有较大差距,确定需要增大光学机构电机的步长;已经获取到了第二数值,第二数值为成像设备采集前一帧图像时光学机构电机的步长,可以设置光学机构电机的步长为第一数值,为了可以增大步长,设置第一数值大于第二数值。
举例来说,如图11所示,成像设备的光学机构电机在运行至位置(5)的时候,成像设备采集到前后两帧图像中的前一帧图像;可以计算出前一帧图像的图像聚焦清晰度为E1;光学机构电机继续运行,光学机构电机按照位置(5)至位置(1)的方向运行,成像设备的光学机构电机在运行至位置(1)的时候,成像设备采集到前后两帧图像中的后一帧图像;可以计算出后一帧图像的图像聚焦清晰度为A1,如图12所示,还可以计算出后一帧图像的图像边界分布清晰度A2;后一帧图像的图像聚焦清晰度A1小于前一帧图像的图像聚焦清晰度E1,并且,后一帧图像的图像边界分布清晰度A2小于第一预设阈值B2,则可以确定需要增大光学机构电机的步长。
若后一帧图像的图像聚焦清晰度小于前一帧图像的图像聚焦清晰度,则表示后一帧图像的清晰程度差于前一帧图像的清晰程度;由于,后一帧图像的清晰度已经明显差于前一帧图像的清晰程度,并且为了保证准确的调整光学机构电机,此时只需要依据后一帧图像的图像边界分布清晰度,去确定出步长。此时,若后一帧图像的图像边界分布清晰度,大于等于预设边界分布清晰度(第一预设阈值),则可以确定光学机构电机的当前位置距离合焦位置,还具有较小差距,确定需要减小光学机构电机的步长,以避免图像边界分布清晰度超过预设边界分布清晰度(第一预设阈值),即,避免越过合焦位置;已经获取到了第二数值,第二数值为成像设备采集前一帧图像时光学机构电机的步长,可以设置光学机构电机的步长为第三数值,为了可以减小步长,设置第三数值小于第二数值。
举例来说,如图11所示,成像设备的光学机构电机在运行至位置(3)的时候,成像设备采集到前后两帧图像中的前一帧图像;可以计算出前一帧图像的图像聚焦清晰度为C1;光学机构电机继续运行,光学机构电机按照位置(3)至位置(4)的方向运行,成像设备的光学机构电机在运行至位置(4)的时候,成像设备采集到前后两帧图像中的后一帧图像;可以计算出后一帧图像的图像聚焦清晰度为D1,如图12所示,还可以计算出后一帧图像的图像边界分布清晰度D2;后一帧图像的图像聚焦清晰度D1小于前一帧图像的图像聚焦清晰度C1,并且,后一帧图像的图像边界分布清晰度D2大于第一预设阈值B2,则可以确定需要减小光学机构电机的步长。
以上步骤S403和S404中,确定光学机构电机的调整方向和步长的时候,可以结合前后两帧图像中的每一帧图像的图像聚焦清晰度、前后两帧图像中的后一帧图像的图像边界分布清晰度,其大小情况,进行分析,同时得到调整方向和步长。
示例性地,在前后两帧图像中的后一帧图像的图像聚焦清晰度大于前一帧图像的图像聚焦清晰度、且后一帧图像的图像聚焦清晰度小于等于最大聚焦清晰度、且后一帧图像的图像边界分布清晰度小于预设边界分布清晰度时,确定增大光学机构电机的步长,并光学机构电机的确定调整方向不变。
在前后两帧图像中的后一帧图像的图像聚焦清晰度大于前一帧图像的图像聚焦清晰度、且后一帧图像的图像聚焦清晰度小于等于最大聚焦清晰度、且后一帧图像的图像边界分布清晰度大于等于预设边界分布清晰度(第一预设阈值)时,确定减小光学机构电机的步长,并确定光学机构电机的调整方向不变。
在前后两帧图像中的后一帧图像的图像聚焦清晰度大于前一帧图像的图像聚焦清晰度、且后一帧图像的图像聚焦清晰度大于最大聚焦清晰度时,确定光学机构电机的调整方向反向。
在前后两帧图像中的后一帧图像的图像聚焦清晰度小于前一帧图像的图像聚焦清晰度、且后一帧图像的图像边界分布清晰度小于预设边界分布清晰度(第一预设阈值)时,确定光学机构电机的调整方向反向,并增大光学机构电机的步长。
在前后两帧图像中的后一帧图像的图像聚焦清晰度小于前一帧图像的图像聚焦清晰度、且后一帧图像的图像边界分布清晰度大于等于预设边界分布清晰度(第一预设阈值)时,确定光学机构电机的调整方向不变,并减小光学机构电机的步长。
可知,在后一帧图像的边界分布清晰度较高的时候,给予光学机构电机一个较小的步长,进而缩小光学机构电机的搜索范围,减小自动聚焦和变焦跟踪的时间。在后一帧图像的边界分布清晰度较高、且后一帧图像的边界分布清晰度接近最大边界分布清晰度的时候,可以给予光学机构电机一个更小的步长,进而缩小光学机构电机的搜索范围,避免搜索过程图像的震荡,减小自动聚焦和变焦跟踪的时间。在后一帧图像的边界分布清晰度较低的时候,给予光学机构电机一个较大的步长,进而加快光学机构电机的运行;然后,在新获取的图像的边界分布清晰度较高的时候,再给予光学机构电机一个较小的步长。
S405、控制光学机构电机按照调整方向,以步长运行预设步数。
示例性地,步骤S405具体包括:在光学机构电机以步长运行每一步时,获取成像设备所采集的样本图像,并确定样本图像的图像边界分布清晰度;在样本图像的图像边界分布清晰度在预设清晰度范围之内时,控制光学机构电机以步长运行下一步;在样本图像的图像边界分布清晰度不在预设清晰度范围之内时,获取下一帧图像。
示例性地,会重复执行步骤S402-S405;在步骤S404之后,得到了光学机构电机的调整方向和步长,在执行步骤S405的时候,需要控制光学机构电机按照调整方向,以步长运行预设步数。
在每一次重复执行的过程中,在执行步骤S405的时候,光学机构电机会以一个步长运行N个步数,N为大于等于1的整数;在光学机构电机每运行一步的时候,可以控制成像设备所采集的一帧样本图像;然后,计算出该样本图像的图像边界分布清晰度;判断样本图像的图像边界分布清晰度,是否位于预设清晰度范围之内;预设清晰度范围,可以是如图12所示的第一预设阈值B2与最大边界分布清晰度C2之间的范围。
若确定样本图像的图像边界分布清晰度在预设清晰度范围之内,则可以确定光学机构电机的调整方向和步长是正确(合适)的,依据当前的调整方向和步长,可以控制光学机构电机运行至合焦位置;那么就可以继续控制光学机构电机以步长运行下一步。
若确定样本图像的图像边界分布清晰度不在预设清晰度范围之内,则可以确定光学机构电机的调整方向和步长是不正确(不合适)的,依据当前的调整方向和步长,无法控制光学机构电机运行至合焦位置;那么就不需要控制光学机构电机以当前得到的调整方向和步长,继续运行了;则可以跳出当前的重复执行步骤S402-S405的过程,去获取下一帧图像,以得到新的前后两帧图像,以执行下一次的重复执行步骤S402-S405的过程。此时,由于可以确定光学机构电机的调整方向和步长是不正确(不合适)的,就可以及时终止光学机构电机按照错误的调整方向和步长运行,以便多余的搜索阶段的耗时。
本实施例,在以上实施例的基础上,在控制成像设备的光学机构电机运行的过程中,依据图像的图像聚焦清晰度和图像边界分布清晰度,需要确定出光学机构电机的调整方向和步长;其中,依据图像聚焦清晰度的变化、图像聚焦清晰度的高低,确定出光学机构电机的调整方向是否反向;依据前后两帧图像的图像聚焦清晰度、以及后一帧图像的图像边界分布清晰度,确定光学机构电机的位置变化,进而确定增加、或者减小光学机构电机的步长;进而依据调整方向和步长,控制光学机构电机运行至合焦位置。并且,由于在进行变焦跟踪过程或者自动聚焦过程的时候,对调整方向和步长进行估计、动态调整和修改,可以进行根据不同的画面场景(不同的图像聚焦清晰度、不同的图像边界分布清晰度)进行步长的增大或减小,进行调整方向的修正,从而可以提高合焦过程中灵活性及实时性,保证光学机构电机快速的达到合焦位置,有利于成像设备较快的采集的清晰的图像。并且,结合图像聚焦清晰度和图像边界分布清晰度,给出合理的光学机构电机的调整方向和步长,由于是实时的对调整方向和步长进行动态调整,可以避免自动聚焦过程和变焦跟踪过程中图像发生震荡;可以及时的得到合理的调整方向和步长,避免动自动聚焦过程和变焦跟踪过程中,图像发生模糊。
图13为本申请实施例提供的其他一种成像设备的调节方法的流程示意图。图13所示的实施例,介绍了:依据图像的图像聚焦清晰度和图像边界分布清晰度,完成完整的变焦跟踪过程;可以在光学机构电机的放大倍数大于等于一定阈值的时候,确定完成变焦跟踪过程。如图13所示,该方法包括:
S501、重复执行以下步骤S502-S510,直至完成成像设备的变焦跟踪过程。
示例性的,本步骤可以参见图3所示的步骤S101,不再赘述。
S502、获取成像设备所采集的前后两帧图像。
示例性的,本步骤可以参见图3所示的步骤S102,不再赘述。
S503、获取前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,其中,第一清晰度为图像聚焦清晰度,第二清晰度为图像边界分布清晰度。
示例性的,本步骤可以参见图3所示的步骤S102,不再赘述。
S504、根据前后两帧图像中的每一帧图像的第一清晰度,确定调整方向;并根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,确定步长。
示例性的,本步骤可以参见图10所示的步骤S403和S404,不再赘述。
举例来说,在变焦跟踪过程中,根据前后两帧图像中的每一帧图像的第一清晰度,确定聚焦电机的调整方向;并根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,确定聚焦电机的步长。
S505、在控制光学机构电机按照调整方向以步长运行预设步数的过程中,在光学机构电机以步长运行每一步时,获取成像设备所采集的样本图像,并确定样本图像的图像边界分布清晰度。
示例性的,在变焦跟踪的过程中,在控制聚焦电机按照调整方向以步长运行预设步数的过程中,聚焦电机会以一个步长运行N个步数,N为大于等于1的整数;在聚焦电机每运行一步的时候,可以控制成像设备所采集的一帧样本图像;然后,计算出该样本图像的图像边界分布清晰度。然后执行步骤S506,或者,执行步骤S507。
S506、在样本图像的图像边界分布清晰度在预设清晰度范围之内时,控制光学机构电机以步长运行下一步,以执行步骤S505。
示例性的,在步骤S505之后,判断样本图像的图像边界分布清晰度,是否位于预设清晰度范围之内。其中,预设清晰度范围,可以是如图12所示的第一预设阈值B2与最大边界分布清晰度C2之间的范围。
若确定样本图像的图像边界分布清晰度在预设清晰度范围之内,则可以确定聚焦电机的调整方向和步长是正确(合适)的,依据当前的调整方向和步长,可以控制聚焦电机运行至合焦位置;那么就可以继续控制聚焦电机以步长运行下一步。进而,执行步骤S505,进而重复执行步骤S505-S507的过程。
S507、在样本图像的图像边界分布清晰度不在预设清晰度范围之内时,获取下一帧图像,以执行步骤S502。
示例性的,若确定样本图像的图像边界分布清晰度不在预设清晰度范围之内,则可以确定聚焦电机的调整方向和步长是不正确(不合适)的,依据当前的调整方向和步长,无法控制聚焦电机运行至合焦位置;那么就不需要控制聚焦电机以当前得到的调整方向和步长,继续运行了。
举例来说,图14为本申请提供的变焦跟踪过程中变倍电机的位置与聚焦电机的位置之间关系示意图,如图14所示,图14的横轴为变倍电机的位置,图14的纵轴为聚焦电机的位置;图14示出了,变倍参考物距曲线、边界分布清晰度限制曲线、实际跟随曲线、以及变焦跟踪过程方向。其中,变焦跟踪过程方向,指的是聚焦电机的运行方向(调整方向);边界分布清晰度限制曲线,指的是根据图像边界分布清晰度去限制聚焦电机运动范围的曲线。从图14可知,当聚焦电机的运行方向,接触到虚线所示的边界分布清晰度限制曲线的时候,就控制聚焦电机停止按照调整方向和步长运行。
此时,可以跳出当前的重复执行步骤S505-S507的过程,也跳出当前的重复执行步骤S502-S510的过程;去执行步骤S502,此时获取下一帧图像,得到新的前后两帧图像,以执行下一次的重复执行步骤S502-S510的过程。
在步骤S507之后,还包括:
S508、判断是否完成成像设备的变焦跟踪过程。
示例性地,判断成像设备的光学机构电机的放大倍数是否大于等于第二预设阈值。
示例性的,在步骤S509之后,每一次完成了“控制光学机构电机按照调整方向以步长运行预设步数”的过程,需要判断判断成像设备的光学机构电机的放大倍数是否大于等于第二预设阈值,例如,判断成像设备的变倍电机的放大倍数是否大于等于第二预设阈值。
S509、若成像设备的光学机构电机的放大倍数大于等于第二预设阈值,则确定完成成像设备的变焦跟踪过程,结束变焦跟踪过程。
示例性的,如果光学机构电机的放大倍数大于等于第二预设阈值,即,确定变倍电机的放大倍数达到了预设倍率,则可以确定光学机构电机完成了变焦跟踪过程。
S510、若成像设备的光学机构电机的放大倍数小于第二预设阈值,则获取下一帧图像,以执行步骤S502。
示例性的,如果光学机构电机的放大倍数小于第二预设阈值,即,确定变倍电机的放大倍数没有达到预设倍率,则可以确定光学机构电机没有完成了变焦跟踪过程;此时,获取成像设备采集的下一帧图像,进而得到新的前后两帧图像,以执行下一次的重复执行步骤S502-S510的过程。
本实施例,通过在变焦跟踪过程中,结合图像聚焦清晰度和图像边界分布清晰度,给出光学机构电机的调整方向和步长,进而可以提升变焦跟踪过程中光学机构电机的运行的准确性、时效性;由于针对不同的情况,对调整方向和步长进行估计、动态调整和修改,可以进行根据不同的画面场景(不同的图像聚焦清晰度、不同的图像边界分布清晰度)进行步长的增大或减小,进行调整方向的修正,从而可以提高合焦过程中灵活性及实时性,保证光学机构电机快速的达到合焦位置,有利于成像设备较快的采集的清晰的图像。并且,在控制光学机构电机按照调整方向以步长运行预设步数的过程中,若样本图像的图像边界分布清晰度不在预设清晰度范围之内时,则获取下一帧图像,不再依据当前的调整方向和步长控制光学机构电机运行,以避免浪费时间。并且,在光学机构电机的放大倍数大于等于第二预设阈值时,确定完成成像设备的变焦跟踪过程,可以在首次达到最优点之后停下,迅速结束变焦跟踪过程;由于结合了图像聚焦清晰度和图像边界分布清晰度,控制光学机构电机的运行,可以减小光学机构电机到达预设倍率之后画面模糊的情况,即,可以使得成像设备在完成变焦跟踪过程之后,获取到清晰的图像。
图15为本申请实施例提供的其他另一种成像设备的调节方法的流程示意图。图15所示的实施例,介绍了:依据图像的图像聚焦清晰度和图像边界分布清晰度,完成完整的自动聚焦过程;可以在当前采集的图像聚焦清晰度和图像边界分布清晰度满足一定条件时,确定完成自动聚焦过程。如图15所示,该方法包括:
S601、重复执行以下步骤S601-S608,直至完成成像设备的自动聚焦过程。
示例性的,本步骤可以参见图3所示的步骤S101,不再赘述。
S602、获取成像设备所采集的前后两帧图像。
示例性的,本步骤可以参见图3所示的步骤S102,不再赘述。
S603、获取前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,其中,第一清晰度为图像聚焦清晰度,第二清晰度为图像边界分布清晰度。
示例性的,本步骤可以参见图3所示的步骤S102,不再赘述。
本步骤中,也可以只获取前后两帧图像中的后一帧图像的第二清晰度,第二清晰度为图像边界分布清晰度。
S604、判断后一帧图像的第二清晰度是否大于等于第一预设阈值。
示例性的,在步骤S603之后,首先判断后一帧图像的图像边界分布清晰度,是否大于等于预设边界分布清晰度(第一预设阈值)。其中,预设边界分布清晰度(第一预设阈值),是图像的边界分布清晰度的阈值。若图像的图像边界分布清晰度,位于预设边界分布清晰度与最大边界分布清晰度之间,则可以确定图像的边界分布清晰度是较好的。
在步骤S604之后,可以执行步骤S605或者步骤S606。
S605、若确定前后两帧图像中的后一帧图像的第二清晰度小于第一预设阈值,则根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,控制成像设备的光学机构电机的运行。
示例性地,步骤S605具体包括:步骤S6051-S6054。
步骤S6051、若确定后一帧图像的第二清晰度小于第一预设阈值,则根据前后两帧图像中的每一帧图像的第一清晰度,确定调整方向;并根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,确定步长。
示例性的,步骤S6051可以参见图10所示的步骤S403和S404,不再赘述。
步骤S6052、在控制光学机构电机按照调整方向以步长运行预设步数的过程中,在光学机构电机以步长运行每一步时,获取成像设备所采集的样本图像,并确定样本图像的图像边界分布清晰度。
步骤S6053、在样本图像的图像边界分布清晰度在预设清晰度范围之内时,控制光学机构电机以步长运行下一步,以执行步骤S6052。
步骤S6054、在样本图像的图像边界分布清晰度不在预设清晰度范围之内时,获取下一帧图像,以执行步骤S602。
示例性的,在步骤S604之后,若后一帧图像的图像边界分布清晰度小于预设边界分布清晰度(第一预设阈值),则可以确定后一帧图像的清晰度较差,需要控制光学机构电机运行至合焦位置。
此时,需要结合图像聚焦清晰度和图像边界分布清晰度,确定出光学机构电机的调整方向和步长。可以参见图10所示的步骤S403和S404,不再赘述。
然后,在自动聚焦的过程中,在控制聚焦电机按照调整方向以步长运行预设步数的过程中,聚焦电机会以一个步长运行N个步数,N为大于等于1的整数;在聚焦电机每运行一步的时候,可以控制成像设备所采集的一帧样本图像;然后,计算出该样本图像的图像边界分布清晰度。
若确定样本图像的图像边界分布清晰度在上述预设清晰度范围之内,则可以确定聚焦电机的调整方向和步长是正确(合适)的,依据当前的调整方向和步长,可以控制聚焦电机运行至合焦位置;那么就可以继续控制聚焦电机以步长运行下一步。进而,执行步骤S6052,进而重复执行步骤S6052-S6054的过程。
若确定样本图像的图像边界分布清晰度不在预设清晰度范围之内,则可以确定聚焦电机的调整方向和步长是不正确(不合适)的,依据当前的调整方向和步长,无法控制聚焦电机运行至合焦位置;那么就不需要控制聚焦电机以当前得到的调整方向和步长,继续运行了。此时,可以跳出当前的重复执行步骤S6052-S6054的过程,也跳出当前的重复执行步骤S602-S608的过程;去执行步骤S602,此时获取下一帧图像,得到新的前后两帧图像,以执行下一次的重复执行步骤S602-S608的过程。从而,在确定聚焦电机的调整方向和步长是不正确(不合适)的时候,不需要继续按照错误的调整方向和步长运行了,减少聚焦电机的搜索时间。
S606、若确定前后两帧图像中的后一帧图像的第二清晰度大于等于第一预设阈值,则判断后一帧图像的第一清晰度是否大于等于最大聚焦清晰度。
示例性地,在步骤S604之后,若后一帧图像的图像边界分布清晰度大于等于预设边界分布清晰度(第一预设阈值),则可以判断是否需要结束自动聚焦过程,即,是否完成了自动聚焦过程。此时,可以判断后一帧图像的图像聚焦清晰度,是否大于等于最大聚焦清晰度。
在步骤S606之后,可以执行步骤S607或者步骤S608。
S607、若确定前后两帧图像中的后一帧图像的第二清晰度大于等于第一预设阈值、且后一帧图像的第一清晰度大于等于最大聚焦清晰度,则确定完成了成像设备的自动聚焦过程。
示例性地,在步骤S606之后,若确定后一帧图像的图像聚焦清晰度大于等于最大聚焦清晰度,则可以确定成像设备完成了自动聚焦过程。可知,完成自动聚焦过程的条件,是,前后两帧图像中的后一帧图像的图像边界分布清晰度大于等于第一预设阈值、且后一帧图像的图像聚焦清晰度大于等于最大聚焦清晰度。
S608、若确定前后两帧图像中的后一帧图像的第二清晰度大于等于第一预设阈值、且后一帧图像的第一清晰度小于最大聚焦清晰度,则根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,控制成像设备的光学机构电机的运行。
示例性地,步骤S608具体包括:步骤S6081-S6084。
步骤S6081、若确定后一帧图像的第二清晰度小于第一预设阈值,则根据前后两帧图像中的每一帧图像的第一清晰度,确定调整方向;并根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,确定步长。
示例性的,步骤S6081可以参见图10所示的步骤S403和S404,不再赘述。
步骤S6082、在控制光学机构电机按照调整方向以步长运行预设步数的过程中,在光学机构电机以步长运行每一步时,获取成像设备所采集的样本图像,并确定样本图像的图像边界分布清晰度。
步骤S6083、在样本图像的图像边界分布清晰度在预设清晰度范围之内时,控制光学机构电机以步长运行下一步,以执行步骤S6082。
步骤S6084、在样本图像的图像边界分布清晰度不在预设清晰度范围之内时,获取下一帧图像,以执行步骤S602。
示例性地,在步骤S606之后,若后一帧图像的图像聚焦清晰度小于最大聚焦清晰度,此时,前后两帧图像中的后一帧图像的图像边界分布清晰度大于等于第一预设阈值、且后一帧图像的图像聚焦清晰度小于最大聚焦清晰度,则确定没有完成自动聚焦过程。
此时,可以确定后一帧图像的清晰度较差,需要控制光学机构电机运行至合焦位置。
然后,需要结合图像聚焦清晰度和图像边界分布清晰度,确定出光学机构电机的调整方向和步长。可以参见图10所示的步骤S403和S404,不再赘述。此时,得到的步长,可以小于步骤S605中得到的步长;即,以一个较小的步长,控制聚焦电机按照调整方向运行,以准确的运行至合焦位置。
然后,在控制聚焦电机按照调整方向以步长运行预设步数的过程中,聚焦电机会以一个步长运行N个步数,N为大于等于1的整数;在聚焦电机每运行一步的时候,可以控制成像设备所采集的一帧样本图像;然后,计算出该样本图像的图像边界分布清晰度。
若确定样本图像的图像边界分布清晰度在上述预设清晰度范围之内,则可以确定聚焦电机的调整方向和步长是正确(合适)的,依据当前的调整方向和步长,可以控制聚焦电机运行至合焦位置;那么就可以继续控制聚焦电机以步长运行下一步。进而,执行步骤S6082,进而重复执行步骤S6082-S6084的过程。
若确定样本图像的图像边界分布清晰度不在预设清晰度范围之内,则可以确定聚焦电机的调整方向和步长是不正确(不合适)的,依据当前的调整方向和步长,无法控制聚焦电机运行至合焦位置;那么就不需要控制聚焦电机以当前得到的调整方向和步长,继续运行了。此时,可以跳出当前的重复执行步骤6082-S6084的过程,也跳出当前的重复执行步骤S602-S608的过程;去执行步骤S602,此时获取下一帧图像,得到新的前后两帧图像,以执行下一次的重复执行步骤S602-S608的过程。从而,在确定聚焦电机的调整方向和步长是不正确(不合适)的时候,不需要继续按照错误的调整方向和步长运行了,减少聚焦电机的搜索时间。
本实施例,通过在自动聚焦过程中,结合图像聚焦清晰度和图像边界分布清晰度,给出光学机构电机的调整方向和步长,进而可以提升变焦跟踪过程中光学机构电机的运行的准确性、时效性;由于针对不同的情况,对调整方向和步长进行估计、动态调整和修改,可以进行根据不同的画面场景(不同的图像聚焦清晰度、不同的图像边界分布清晰度)进行步长的增大或减小,进行调整方向的修正,从而可以提高合焦过程中灵活性及实时性,保证光学机构电机快速的达到合焦位置,有利于成像设备较快的采集的清晰的图像。并且,在控制光学机构电机按照调整方向以步长运行预设步数的过程中,若样本图像的图像边界分布清晰度不在预设清晰度范围之内时,则获取下一帧图像,不再依据当前的调整方向和步长控制光学机构电机运行,以避免浪费时间。并且,在前后两帧图像中的后一帧图像的图像边界分布清晰度大于等于第一预设阈值、且后一帧图像的图像聚焦清晰度大于等于最大聚焦清晰度的时候,确定完成成像设备的自动聚焦过程,可以在首次达到最优点之后停下,迅速结束自动聚焦过程;由于结合了图像聚焦清晰度和图像边界分布清晰度,控制光学机构电机的运行,可以减小光学机构电机到达结束条件之后画面模糊的情况,即,可以使得成像设备在完成自动聚焦过程之后,获取到清晰的图像。
图18为本申请实施例提供的一种成像设备的结构示意图。图18所示的实施例,介绍了:成像设备所包括的部件,以及该部件可以执行如上任一方法提供的动作。如图18所示,该成像设备包括:处理器181。
处理器181,用于重复执行以下各步骤,直至完成成像设备的变焦跟踪过程或者自动聚焦过程:获取成像设备所采集的前后两帧图像,并获取前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,其中,第一清晰度为图像聚焦清晰度,第二清晰度为图像边界分布清晰度;根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,控制成像设备的光学机构电机的运行。此时,处理器181可以执行图3所示方法的步骤S101-S103。
在可选的一种实施方式中,处理器181在用于控制成像设备的光学机构电机的运行时,具体用于:控制光学机构电机,运行到合焦位置。此时,处理器181可以执行图7所示方法的步骤S2081或S2082。
在可选的一种实施方式中,处理器181在用于根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,控制成像设备的光学机构电机的运行时,具体用于:
根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,确定光学机构电机的调整方向和步长;此时,处理器181可以执行图9所示方法的步骤S303。
控制光学机构电机按照调整方向,以步长运行预设步数。此时,处理器181可以执行图9所示方法的步骤S304。
在可选的一种实施方式中,处理器181在用于根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,确定光学机构电机的调整方向和步长时,具体用于:根据前后两帧图像中的每一帧图像的第一清晰度,确定调整方向,并根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,确定步长。此时,处理器181可以执行图9所示方法的步骤S303。
在可选的一种实施方式中,处理器181在用于根据前后两帧图像中的每一帧图像的第一清晰度,确定调整方向时,具体用于:
在前后两帧图像中的后一帧图像的第一清晰度大于等于前一帧图像的第一清晰度时,根据后一帧图像的第一清晰度,确定调整方向;此时,处理器181可以执行图10所示方法的步骤S403的第一种实现方式。
在前后两帧图像中的后一帧图像的第一清晰度小于前一帧图像的第一清晰度时,根据后一帧图像的第二清晰度,确定调整方向。此时,处理器181可以执行图10所示方法的步骤S403的第二种实现方式。
在可选的一种实施方式中,处理器181在用于根据后一帧图像的第一清晰度,确定调整方向时,具体用于:
在后一帧图像的第一清晰度小于最大聚焦清晰度时,确定调整方向为第一方向,其中,第一方向为成像设备采集前一帧图像时光学机构电机的方向;此时,处理器181可以执行图10所示方法的步骤S403的第一种实现方式。
在后一帧图像的第一清晰度大于等于最大聚焦清晰度时,确定调整方向为第二方向,其中,第二方向为与第一方向反向的方向。此时,处理器181可以执行图10所示方法的步骤S403的第一种实现方式。
在可选的一种实施方式中,处理器181在用于根据后一帧图像的第二清晰度,确定调整方向时,具体用于:
在后一帧图像的第二清晰度大于等于第一预设阈值时,确定调整方向为第一方向,其中,第一方向为成像设备采集前一帧图像时光学机构电机的方向;此时,处理器181可以执行图10所示方法的步骤S403的第二种实现方式。
在后一帧图像的第二清晰度小于第一预设阈值时,确定调整方向为第二方向,其中,第二方向为与第一方向反向的方向。此时,处理器181可以执行图10所示方法的步骤S403的第二种实现方式。
在可选的一种实施方式中,处理器181在用于根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,确定步长时,具体用于:
在前后两帧图像中的后一帧图像的第一清晰度大于等于前一帧图像的第一清晰度时,根据后一帧图像的第一清晰度和后一帧图像的第二清晰度,确定步长;此时,处理器181可以执行图10所示方法的步骤S404的第一种实现方式。
在前后两帧图像中的后一帧图像的第一清晰度小于前一帧图像的第一清晰度时,根据后一帧图像的第二清晰度,确定步长。此时,处理器181可以执行图10所示方法的步骤S404的第二种实现方式。
在可选的一种实施方式中,处理器181在用于根据后一帧图像的第一清晰度和后一帧图像的第二清晰度,确定步长时,具体用于:
在后一帧图像的第一清晰度小于等于最大聚焦清晰度、且后一帧图像的第二清晰度小于第一预设阈值时,确定步长为第一数值,其中,第一数值大于第二数值,第二数值为成像设备采集前一帧图像时光学机构电机的步长;此时,处理器181可以执行图10所示方法的步骤S404的第一种实现方式。
在后一帧图像的第一清晰度小于等于最大聚焦清晰度、且后一帧图像的第二清晰度大于等于第一预设阈值时,确定步长为第三数值,其中,第三数值小于第二数值;此时,处理器181可以执行图10所示方法的步骤S404的第一种实现方式。
在后一帧图像的第一清晰度大于最大聚焦清晰度时,确定步长为第二数值。此时,处理器181可以执行图10所示方法的步骤S404的第一种实现方式。
在可选的一种实施方式中,处理器181在用于根据后一帧图像的第二清晰度,确定步长时,具体用于:
在后一帧图像的第二清晰度小于第一预设阈值时,确定步长为第一数值,其中,第一数值大于第二数值,第二数值为成像设备采集前一帧图像时光学机构电机的步长;此时,处理器181可以执行图10所示方法的步骤S404的第二种实现方式。
在后一帧图像的第二清晰度大于等于第一预设阈值时,确定步长为第三数值,其中,第三数值小于第二数值。此时,处理器181可以执行图10所示方法的步骤S404的第二种实现方式。
在可选的一种实施方式中,处理器181在用于控制光学机构电机按照调整方向,以步长运行预设步数时,具体用于:
在光学机构电机以步长运行每一步时,获取成像设备所采集的样本图像,并确定样本图像的图像边界分布清晰度;在样本图像的图像边界分布清晰度在预设清晰度范围之内时,控制光学机构电机以步长运行下一步;在样本图像的图像边界分布清晰度不在预设清晰度范围之内时,获取下一帧图像。此时,处理器181可以执行图10所示方法的步骤S405。
在可选的一种实施方式中,完成成像设备的变焦跟踪过程,是成像设备的光学机构电机的放大倍数大于等于第二预设阈值。此时,处理器181可以执行图13所示方法的步骤S509。
在可选的一种实施方式中,完成成像设备的自动聚焦过程,是前后两帧图像中的后一帧图像的第二清晰度大于等于第一预设阈值、且后一帧图像的第一清晰度大于等于最大聚焦清晰度。此时,处理器181可以执行图15所示方法的步骤S607。
在可选的一种实施方式中,处理器181在用于根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,控制成像设备的光学机构电机的运行时,具体用于:
在前后两帧图像中的后一帧图像的第二清晰度大于等于第一预设阈值、且后一帧图像的第一清晰度小于最大聚焦清晰度时,或者,在前后两帧图像中的后一帧图像的第二清晰度小于第一预设阈值时,根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,控制成像设备的光学机构电机的运行。此时,处理器181可以执行图15所示方法的步骤S605或者S608。
在可选的一种实施方式中,处理器181,还用于:
在重复执行以下各步骤,直至完成成像设备的变焦跟踪过程或者自动聚焦过程之前,获取成像设备所采集的初始图像,并获取初始图像中的感兴趣区域;此时,处理器181可以执行图7所示方法的步骤S201。
根据感兴趣区域的图像信息,确定感兴趣区域的图像边界分布清晰度;此时,处理器181可以执行图7所示方法的步骤S202。
根据感兴趣区域的图像边界分布清晰度,确定光学机构电机的初始步长。此时,处理器181可以执行图7所示方法的步骤S203。
在可选的一种实施方式中,处理器181,还用于:
在重复执行以下各步骤,直至完成成像设备的变焦跟踪过程或者自动聚焦过程之前,获取触发信息;此时,处理器181可以执行图7所示方法的步骤S204。
根据触发信息,控制成像设备进入变焦跟踪过程或者自动聚焦过程。此时,处理器181可以执行图7所示方法的步骤S205。
在本实施例中,图18所示实施例的成像设备可用于执行上述方法中图3、图7、图9-图10、图13、图15-图17所示实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图19为本申请实施例提供的另一种成像设备的结构示意图。图19所示的实施例,介绍了:成像设备可以由处理器191和图像采集器192构成,可选的,成像设备还可以具有存储器193。如图19所示,该成像设备包括:处理器191和图像采集器192。
图像采集器192、存储器193,可以耦合至处理器191。
其中,图像采集器192,用于采集上述图3、图7、图9-图10、图13、图15-图17中所示方法实施例的图像。
处理器191,用于获取图像采集器192采集的图像,并执行计算机可执行程序代码中的指令;当处理器191执行指令时,指令使成像设备执行上述图3、图7、图9-图10、图13、图15-图17中所示方法实施例的技术方案。
图19所示实施例的成像设备可以用于上述图3、图7、图9-图10、图13、图15-图17中所示方法实施例的技术方案,或者执行图20-图21所示实施例各个单元和模块的程序,其实现原理和技术效果类似,此处不再赘述。在本申请实施例中,上述各实施例之间可以相互参考和借鉴,相同或相似的步骤以及名词均不再一一赘述。
一个示例中,图19所示实施例的成像设备还可以包括存储器193。该存储器193用于存储用于实现以上方法实施例的程序,或者该存储器193用于存储图20-图21所示实施例各个单元和模块的程序,处理器191调用该程序,执行以上方法实施例的操作,以实现图20-图21所示的各个单元和模块。
或者,以上各个单元和模块的部分或全部也可以通过集成电路的形式内嵌于该用设备的某一个芯片上来实现。且它们可以单独实现,也可以集成在一起。即以上这些模块可以被配置成实施以上方法的一个或多个集成电路,例如:一个或多个特定集成电路(application specific integrated circuit,ASIC),或,一个或多个微处理器(digitalsingnal processor,DSP),或,一个或者多个现场可编程门阵列(field programmablegate array,FPGA)等。
图20为本申请实施例提供的一种成像设备的调节设备的结构示意图。图20所示的实施例,介绍了:成像设备由多个单元构成,用于实现上述方法实施例的各步骤。如图20所示,该调节设备包括:
执行单元21,用于重复执行以下各单元,直至完成成像设备的变焦跟踪过程或者自动聚焦过程。此时,执行单元21可以执行图3所示方法的步骤S101。
第一获取单元22,用于获取成像设备所采集的前后两帧图像,并获取前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,其中,第一清晰度为图像聚焦清晰度,第二清晰度为图像边界分布清晰度。此时,第一获取单元22可以执行图3所示方法的步骤S102。
控制单元23,用于根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,控制成像设备的光学机构电机的运行。此时,控制单元23可以执行图3所示方法的步骤S103。
在本实施例中,图18所示实施例的成像设备可用于执行上述方法中图3、图7、图9-图10、图13、图15-图17所示实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
图21为本申请实施例提供的另一种成像设备的调节设备的结构示意图。图21所示的实施例,介绍了:成像设备由多个单元构成,用于实现上述方法实施例的各步骤。在图20所示实施例的基础上,如图20所示,该调节设备中,控制单元23,具体用于:控制光学机构电机,运行到合焦位置。
在可选的一种实施方式中,控制单元23,包括:
确定子单元231,用于根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,确定光学机构电机的调整方向和步长;此时,确定子单元231可以执行图9所示方法的步骤S303。
控制子单元232,用于控制光学机构电机按照调整方向,以步长运行预设步数。此时,控制子单元232可以执行图9所示方法的步骤S304。
在可选的一种实施方式中,确定子单元231,包括:
第一确定模块2311,用于根据前后两帧图像中的每一帧图像的第一清晰度,确定调整方向;
第二确定模块2312,用于根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,确定步长。此时,确定子单元231可以执行图9所示方法的步骤S303。
在可选的一种实施方式中,第一确定模块2311,包括:
第一确定子模块23111,用于在前后两帧图像中的后一帧图像的第一清晰度大于等于前一帧图像的第一清晰度时,根据后一帧图像的第一清晰度,确定调整方向;此时,第一确定子模块23111可以执行图10所示方法的步骤S403的第一种实现方式。
第二确定子模块23112,用于在前后两帧图像中的后一帧图像的第一清晰度小于前一帧图像的第一清晰度时,根据后一帧图像的第二清晰度,确定调整方向。此时,第二确定子模块23112可以执行图10所示方法的步骤S403的第二种实现方式。
在可选的一种实施方式中,第一确定子模块23111,具体用于:
在前后两帧图像中的后一帧图像的第一清晰度大于等于前一帧图像的第一清晰度、后一帧图像的第一清晰度小于最大聚焦清晰度时,确定调整方向为第一方向,其中,第一方向为成像设备采集前一帧图像时光学机构电机的方向;此时,第一确定子模块23111可以执行图10所示方法的步骤S403的第一种实现方式。
在前后两帧图像中的后一帧图像的第一清晰度大于等于前一帧图像的第一清晰度、后一帧图像的第一清晰度大于等于最大聚焦清晰度时,确定调整方向为第二方向,其中,第二方向为与第一方向反向的方向。此时,第一确定子模块23111可以执行图10所示方法的步骤S403的第一种实现方式。
在可选的一种实施方式中,第二确定子模块23112,具体用于:
在前后两帧图像中的后一帧图像的第一清晰度小于前一帧图像的第一清晰度、后一帧图像的第二清晰度大于等于第一预设阈值时,确定调整方向为第一方向,其中,第一方向为成像设备采集前一帧图像时光学机构电机的方向;此时,第二确定子模块23112可以执行图10所示方法的步骤S403的第二种实现方式。
在前后两帧图像中的后一帧图像的第一清晰度小于前一帧图像的第一清晰度、后一帧图像的第二清晰度小于第一预设阈值时,确定调整方向为第二方向,其中,第二方向为与第一方向反向的方向。此时,第二确定子模块23112可以执行图10所示方法的步骤S403的第二种实现方式。
在可选的一种实施方式中,第二确定模块2312,包括:
第三确定子模块23121,用于在前后两帧图像中的后一帧图像的第一清晰度大于等于前一帧图像的第一清晰度时,根据后一帧图像的第一清晰度和后一帧图像的第二清晰度,确定步长;此时,第三确定子模块23121可以执行图10所示方法的步骤S404的第一种实现方式。
第四确定子模块23122,用于在前后两帧图像中的后一帧图像的第一清晰度小于前一帧图像的第一清晰度时,根据后一帧图像的第二清晰度,确定步长。此时,第四确定子模块23122可以执行图10所示方法的步骤S404的第二种实现方式。
在可选的一种实施方式中,第三确定子模块23121,具体用于:
在前后两帧图像中的后一帧图像的第一清晰度大于等于前一帧图像的第一清晰度、后一帧图像的第一清晰度小于等于最大聚焦清晰度、且后一帧图像的第二清晰度小于第一预设阈值时,确定步长为第一数值,其中,第一数值大于第二数值,第二数值为成像设备采集前一帧图像时光学机构电机的步长;此时,第三确定子模块23121可以执行图10所示方法的步骤S404的第一种实现方式。
在前后两帧图像中的后一帧图像的第一清晰度大于等于前一帧图像的第一清晰度、后一帧图像的第一清晰度小于等于最大聚焦清晰度、且后一帧图像的第二清晰度大于等于第一预设阈值时,确定步长为第三数值,其中,第三数值小于第二数值;此时,第三确定子模块23121可以执行图10所示方法的步骤S404的第一种实现方式。
在前后两帧图像中的后一帧图像的第一清晰度大于等于前一帧图像的第一清晰度、且后一帧图像的第一清晰度大于最大聚焦清晰度时,确定步长为第二数值。此时,第三确定子模块23121可以执行图10所示方法的步骤S404的第一种实现方式。
在可选的一种实施方式中,第四确定子模块23122,具体用于:
在前后两帧图像中的后一帧图像的第一清晰度小于前一帧图像的第一清晰度、且后一帧图像的第二清晰度小于第一预设阈值时,确定步长为第一数值,其中,第一数值大于第二数值,第二数值为成像设备采集前一帧图像时光学机构电机的步长;此时,第四确定子模块23122可以执行图10所示方法的步骤S404的第二种实现方式。在前后两帧图像中的后一帧图像的第一清晰度小于前一帧图像的第一清晰度、且后一帧图像的第二清晰度大于等于第一预设阈值时,确定步长为第三数值,其中,第三数值小于第二数值。此时,第四确定子模块23122可以执行图10所示方法的步骤S404的第二种实现方式。
在可选的一种实施方式中,控制子单元232,用于:
在光学机构电机以步长运行每一步时,获取成像设备所采集的样本图像,并确定样本图像的图像边界分布清晰度;在样本图像的图像边界分布清晰度在预设清晰度范围之内时,控制光学机构电机以步长运行下一步;在样本图像的图像边界分布清晰度不在预设清晰度范围之内时,获取下一帧图像。此时,控制子单元232可以执行图10所示方法的步骤S405。
在可选的一种实施方式中,完成成像设备的变焦跟踪过程,是成像设备的光学机构电机的放大倍数大于等于第二预设阈值。
在可选的一种实施方式中,完成成像设备的自动聚焦过程,是前后两帧图像中的后一帧图像的第二清晰度大于等于第一预设阈值、且后一帧图像的第一清晰度大于等于最大聚焦清晰度。
在可选的一种实施方式中,控制单元23,具体用于:
在前后两帧图像中的后一帧图像的第二清晰度大于等于第一预设阈值、且后一帧图像的第一清晰度小于最大聚焦清晰度时,或者,在前后两帧图像中的后一帧图像的第二清晰度小于第一预设阈值时,根据前后两帧图像中的每一帧图像的第一清晰度、前后两帧图像中的后一帧图像的第二清晰度,控制成像设备的光学机构电机的运行。
在可选的一种实施方式中,本实施例提供的调节设备,还包括:
第二获取单元31,用于在执行单元21重复执行以下第一获取单元22和控制单元23,直至完成成像设备的变焦跟踪过程或者自动聚焦过程之前,获取成像设备所采集的初始图像,并获取初始图像中的感兴趣区域。此时,第二获取单元31可以执行图7所示方法的步骤S201。
第一确定单元32,用于根据感兴趣区域的图像信息,确定感兴趣区域的图像边界分布清晰度。此时,第一确定单元32可以执行图7所示方法的步骤S202。
第二确定单元33,用于根据感兴趣区域的图像边界分布清晰度,确定光学机构电机的初始步长。此时,第二确定单元33可以执行图7所示方法的步骤S203。
在可选的一种实施方式中,本实施例提供的调节设备,还包括:
第三获取单元34,用于在执行单元重复执行以下第一获取单元22和控制单元23,直至完成成像设备的变焦跟踪过程或者自动聚焦过程之前,获取触发信息。此时,第三获取单元34可以执行图7所示方法的步骤S204。
触发单元35,用于根据触发信息,控制成像设备进入变焦跟踪过程或者自动聚焦过程。此时,触发单元35可以执行图7所示方法的步骤S205。
在本实施例中,图18所示实施例的调节设备可用于执行上述方法中图3、图7、图9-图10、图13、图15-图17所示实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。
本申请实施例提供了一种程序,包括程序代码,当计算机运行计算机程序时,程序代码执行上述图3、图7、图9-图10、图13、图15-图17所示实施例的各步骤。
本申请实施例提供了一种计算机可读存储介质,包括指令,当其在计算机上运行时,使得计算机执行上述图3、图7、图9-图10、图13、图15-图17所示实施例的各步骤。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时,全部或部分地产生按照本申请实施例的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如,同轴电缆、光纤、数字用户线(digitalsubscriber line,DSL))或无线(例如,红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如,固态硬盘(solid state disk,SSD))等。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (16)

1.一种成像设备的调节方法,其特征在于,包括:
重复执行以下各步骤,直至完成所述成像设备的变焦跟踪过程或者自动聚焦过程:
获取成像设备所采集的前后两帧图像,并获取所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,其中,所述第一清晰度为图像聚焦清晰度,所述第二清晰度为图像边界分布清晰度;
根据所述前后两帧图像中的每一帧图像的第一清晰度,确定所述成像设备的光学机构电机的调整方向,并根据所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,确定所述成像设备的光学机构电机的步长;
控制所述光学机构电机按照所述调整方向,以所述步长运行预设步数。
2.根据权利要求1所述的方法,其特征在于,控制所述成像设备的光学机构电机的运行,包括:
控制所述光学机构电机,运行到合焦位置。
3.根据权利要求1所述的方法,其特征在于,根据所述前后两帧图像中的每一帧图像的第一清晰度,确定所述调整方向,包括:
在所述前后两帧图像中的后一帧图像的第一清晰度大于等于前一帧图像的第一清晰度时,根据所述后一帧图像的第一清晰度,确定所述调整方向;
在所述前后两帧图像中的后一帧图像的第一清晰度小于前一帧图像的第一清晰度时,根据所述后一帧图像的第二清晰度,确定所述调整方向。
4.根据权利要求3所述的方法,其特征在于,根据所述后一帧图像的第一清晰度,确定所述调整方向,包括:
在所述后一帧图像的第一清晰度小于最大聚焦清晰度时,确定所述调整方向为第一方向,其中,所述第一方向为所述成像设备采集所述前一帧图像时所述光学机构电机的方向;
在所述后一帧图像的第一清晰度大于等于最大聚焦清晰度时,确定所述调整方向为第二方向,其中,所述第二方向为与所述第一方向反向的方向。
5.根据权利要求3所述的方法,其特征在于,根据所述后一帧图像的第二清晰度,确定所述调整方向,包括:
在所述后一帧图像的第二清晰度大于等于第一预设阈值时,确定所述调整方向为第一方向,其中,所述第一方向为所述成像设备采集所述前一帧图像时所述光学机构电机的方向;
在所述后一帧图像的第二清晰度小于所述第一预设阈值时,确定所述调整方向为第二方向,其中,所述第二方向为与所述第一方向反向的方向。
6.根据权利要求1所述的方法,其特征在于,根据所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,确定所述步长,包括:
在所述前后两帧图像中的后一帧图像的第一清晰度大于等于前一帧图像的第一清晰度时,根据所述后一帧图像的第一清晰度和所述后一帧图像的第二清晰度,确定所述步长;
在所述前后两帧图像中的后一帧图像的第一清晰度小于前一帧图像的第一清晰度时,根据所述后一帧图像的第二清晰度,确定所述步长。
7.根据权利要求1-6任一项所述的方法,其特征在于,控制所述光学机构电机按照所述调整方向,以所述步长运行预设步数,包括:
在所述光学机构电机以所述步长运行每一步时,获取所述成像设备所采集的样本图像,并确定所述样本图像的图像边界分布清晰度;
在所述样本图像的图像边界分布清晰度在预设清晰度范围之内时,控制所述光学机构电机以所述步长运行下一步;
在所述样本图像的图像边界分布清晰度不在预设清晰度范围之内时,获取下一帧图像。
8.根据权利要求1-6任一项所述的方法,其特征在于,所述完成所述成像设备的变焦跟踪过程,是所述成像设备的所述光学机构电机的放大倍数大于等于第二预设阈值。
9.根据权利要求1-6任一项所述的方法,其特征在于,所述完成所述成像设备的自动聚焦过程,是所述前后两帧图像中的后一帧图像的第二清晰度大于等于第一预设阈值、且所述后一帧图像的第一清晰度大于等于最大聚焦清晰度。
10.根据权利要求9所述的方法,其特征在于,根据所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,控制所述成像设备的光学机构电机的运行,包括:
在所述前后两帧图像中的后一帧图像的第二清晰度大于等于第一预设阈值、且所述后一帧图像的第一清晰度小于最大聚焦清晰度时,或者,在所述前后两帧图像中的后一帧图像的第二清晰度小于所述第一预设阈值时,根据所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,控制所述成像设备的光学机构电机的运行。
11.一种成像设备,其特征在于,包括:处理器;其中,所述处理器,用于执行权利要求1至10任一项所述的方法。
12.一种成像设备的调节设备,其特征在于,包括:
执行单元,用于重复执行以下各单元,直至完成所述成像设备的变焦跟踪过程或者自动聚焦过程:
第一获取单元,用于获取成像设备所采集的前后两帧图像,并获取所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,其中,所述第一清晰度为图像聚焦清晰度,所述第二清晰度为图像边界分布清晰度;
控制单元,包括:
确定子单元,用于根据所述前后两帧图像中的每一帧图像的第一清晰度,确定所述成像设备的光学机构电机的调整方向,并根据所述前后两帧图像中的每一帧图像的第一清晰度、所述前后两帧图像中的后一帧图像的第二清晰度,确定所述成像设备的光学机构电机的步长;
控制子单元,用于控制所述光学机构电机按照所述调整方向,以所述步长运行预设步数。
13.根据权利要求12所述的设备,其特征在于,所述控制单元,具体用于:
控制所述光学机构电机,运行到合焦位置。
14.根据权利要求12所述的设备,其特征在于,所述控制子单元,用于:
在所述光学机构电机以所述步长运行每一步时,获取所述成像设备所采集的样本图像,并确定所述样本图像的图像边界分布清晰度;
在所述样本图像的图像边界分布清晰度在预设清晰度范围之内时,控制所述光学机构电机以所述步长运行下一步;
在所述样本图像的图像边界分布清晰度不在预设清晰度范围之内时,获取下一帧图像。
15.一种成像设备,其特征在于,包括处理器和图像采集器;
其中,所述图像采集器,用于采集权利要求1至10任一项所述的方法中的图像;
所述处理器,用于获取所述图像采集器采集的图像,并执行计算机可执行程序代码中的指令;当所述处理器执行所述指令时,所述指令使所述成像设备执行权利要求1至10任一项所述的方法。
16.一种计算机可读存储介质,其特征在于,包括指令,当其在计算机上运行时,使得计算机执行如权利要求1至10任一项所述的方法。
CN201910944820.9A 2019-09-30 2019-09-30 成像设备的调节方法和设备 Active CN110753182B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910944820.9A CN110753182B (zh) 2019-09-30 2019-09-30 成像设备的调节方法和设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910944820.9A CN110753182B (zh) 2019-09-30 2019-09-30 成像设备的调节方法和设备

Publications (2)

Publication Number Publication Date
CN110753182A CN110753182A (zh) 2020-02-04
CN110753182B true CN110753182B (zh) 2021-02-09

Family

ID=69277696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910944820.9A Active CN110753182B (zh) 2019-09-30 2019-09-30 成像设备的调节方法和设备

Country Status (1)

Country Link
CN (1) CN110753182B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111678677B (zh) * 2020-07-13 2022-08-05 深圳惠牛科技有限公司 一种测量装置和光学参数测量方法
CN112135055B (zh) * 2020-09-27 2022-03-15 苏州科达科技股份有限公司 变焦跟踪方法、装置、设备以及存储介质
CN114827392B (zh) * 2021-01-29 2024-02-13 北京小米移动软件有限公司 一种光学组件调整方法、装置、终端及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101071251A (zh) * 2006-05-11 2007-11-14 致伸科技股份有限公司 评估自动聚焦最少有效采样点的方法
CN101494737A (zh) * 2009-03-09 2009-07-29 杭州海康威视数字技术股份有限公司 一种一体化摄像机装置及自适应自动聚焦方法
CN101840055A (zh) * 2010-05-28 2010-09-22 浙江工业大学 基于嵌入式媒体处理器的视频自动聚焦系统
CN103929588A (zh) * 2014-03-21 2014-07-16 金三立视频科技(深圳)有限公司 摄像机变倍快速自动聚焦方法及系统
CN106375647A (zh) * 2015-07-23 2017-02-01 杭州海康威视数字技术股份有限公司 一种摄像机后焦的调整方法、装置和系统
CN106534676A (zh) * 2016-11-02 2017-03-22 西安电子科技大学 面向变焦摄像系统的自动聚焦调节方法
WO2017157154A1 (zh) * 2016-03-16 2017-09-21 中兴通讯股份有限公司 自动聚焦方法及装置
CN107395993A (zh) * 2017-09-08 2017-11-24 北京睿智奥恒视觉科技有限公司 全自动对焦方法及系统
CN109521547A (zh) * 2018-12-21 2019-03-26 广州医软智能科技有限公司 一种变步长的自动调焦方法及系统

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI544249B (zh) * 2012-06-19 2016-08-01 鴻海精密工業股份有限公司 對焦位置搜尋方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101071251A (zh) * 2006-05-11 2007-11-14 致伸科技股份有限公司 评估自动聚焦最少有效采样点的方法
CN101494737A (zh) * 2009-03-09 2009-07-29 杭州海康威视数字技术股份有限公司 一种一体化摄像机装置及自适应自动聚焦方法
CN101840055A (zh) * 2010-05-28 2010-09-22 浙江工业大学 基于嵌入式媒体处理器的视频自动聚焦系统
CN103929588A (zh) * 2014-03-21 2014-07-16 金三立视频科技(深圳)有限公司 摄像机变倍快速自动聚焦方法及系统
CN106375647A (zh) * 2015-07-23 2017-02-01 杭州海康威视数字技术股份有限公司 一种摄像机后焦的调整方法、装置和系统
WO2017157154A1 (zh) * 2016-03-16 2017-09-21 中兴通讯股份有限公司 自动聚焦方法及装置
CN106534676A (zh) * 2016-11-02 2017-03-22 西安电子科技大学 面向变焦摄像系统的自动聚焦调节方法
CN107395993A (zh) * 2017-09-08 2017-11-24 北京睿智奥恒视觉科技有限公司 全自动对焦方法及系统
CN109521547A (zh) * 2018-12-21 2019-03-26 广州医软智能科技有限公司 一种变步长的自动调焦方法及系统

Also Published As

Publication number Publication date
CN110753182A (zh) 2020-02-04

Similar Documents

Publication Publication Date Title
US11860511B2 (en) Image pickup device and method of tracking subject thereof
CN107395993B (zh) 全自动对焦方法及系统
CN109922251B (zh) 快速抓拍的方法、装置及系统
CN109671106B (zh) 一种图像处理方法、装置与设备
US7801432B2 (en) Imaging apparatus and method for controlling the same
CN110753182B (zh) 成像设备的调节方法和设备
US9160919B2 (en) Focus adjustment unit and camera system
US20180007292A1 (en) Imaging device, imaging method, and image processing device
CN111601040B (zh) 摄像头控制方法、装置及电子设备
WO2021134179A1 (zh) 对焦方法、装置、拍摄设备、可移动平台和存储介质
WO2020029596A1 (zh) 镜头控制方法、装置及终端
CN111756989A (zh) 控制镜头对焦的方法及装置
CN112449117B (zh) 一种聚焦步长确定方法、装置、存储介质及电子装置
JP2000188713A (ja) 自動焦点制御装置及びその合焦動作決定方法
CN112352417B (zh) 拍摄设备的对焦方法、拍摄设备、系统及存储介质
CN113747067B (zh) 拍照方法、装置、电子设备及存储介质
US20120008038A1 (en) Assisting focusing method for face block
CN112822371B (zh) 图像处理芯片、应用处理芯片、数据统计系统及方法
CN114697528A (zh) 图像处理器、电子设备及对焦控制方法
US20200021745A1 (en) Imaging apparatus
KR20100115574A (ko) 디지털 카메라 및 그 제어방법
JP2009092961A (ja) 合焦位置制御装置、及び合焦位置制御方法、合焦位置制御プログラム
JP7286294B2 (ja) 撮像装置、撮像装置の制御方法、および、プログラム
JP5182395B2 (ja) 撮像装置、撮像方法および撮像プログラム
JP6071173B2 (ja) 撮像装置、その制御方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant