CN115209051B - 变焦摄像机的聚焦方法及装置 - Google Patents
变焦摄像机的聚焦方法及装置 Download PDFInfo
- Publication number
- CN115209051B CN115209051B CN202210799095.2A CN202210799095A CN115209051B CN 115209051 B CN115209051 B CN 115209051B CN 202210799095 A CN202210799095 A CN 202210799095A CN 115209051 B CN115209051 B CN 115209051B
- Authority
- CN
- China
- Prior art keywords
- image
- color similarity
- similarity value
- pixels
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 230000008859 change Effects 0.000 claims description 63
- 238000012545 processing Methods 0.000 claims description 15
- 230000004044 response Effects 0.000 claims description 7
- 238000005314 correlation function Methods 0.000 claims description 5
- 230000000007 visual effect Effects 0.000 claims description 5
- 101710183938 Barstar Proteins 0.000 claims description 4
- 230000008569 process Effects 0.000 description 31
- 230000001960 triggered effect Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 18
- 238000013461 design Methods 0.000 description 10
- 238000009928 pasteurization Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Abstract
本申请实施例提供一种变焦摄像机的聚焦方法及装置,该方法包括:在第一焦距下,依次获取第一图像、第二图像和第三图像,其中第一图像的图像清晰度是符合在第一焦距下的预设条件。选择第一图像中第一像素点集合、第二图像中第二像素点集合、第三图像中第三像素点集合。确定第三像素点集合和第二像素点集合之间的第一颜色相似度值。确定第三像素点集合和第一像素点集合之间的第二颜色相似度值。在检测到第一颜色相似度值小于第一阈值且第二颜色相似度值小于第二阈值,生成用于触发变焦摄像机执行自动聚焦的指令。本申请的技术方案可以有效的保证变焦摄像机自动聚焦的准确性和有效性。
Description
技术领域
本申请实施例涉及图像处理技术,尤其涉及一种变焦摄像机的聚焦方法及装置。
背景技术
变焦摄像机可以执行自动聚焦,以使得拍摄对象的成像清晰,其中聚焦触发是自动聚焦中较为关键的一个环节。
目前,现有技术中在实现聚焦触发的时候,通常是比较两帧图像的对焦数值,其中对焦数值在相同场景下可以反映图像清晰度,在两帧图像的对焦数值变化较大的时候,确定触发一次聚焦。或者,还可以通过传感器获取图像中的物体和摄像机的物距,在确定两帧图像中的物距变化较大的时候,确定触发一次聚焦。
然而,对焦数值并不能反映不同场景下的图像清晰图,以及物距的测量受环境影响较大,因此现有技术中的实现方案存在聚焦触发的准确性较差的问题。
发明内容
本申请实施例提供一种变焦摄像机的聚焦方法及装置,以克服聚焦触发的准确性较差的问题。
第一方面,本申请实施例提供一种变焦摄像机的聚焦方法,包括:
在第一焦距下:
依次获取第一图像、第二图像和第三图像,其中所述第一图像的图像清晰度是符合在所述第一焦距下的预设条件;
选择所述第一图像中第一像素点集合、所述第二图像中第二像素点集合、第三图像中第三像素点集合;
确定所述第三像素点集合和所述第二像素点集合之间的第一颜色相似度值,其中所述第一颜色相似度值小于1,且所述第一颜色相似度值越小则表征所述第三图像和所述第二图像之间场景变化越剧烈;
确定所述第三像素点集合和所述第一像素点集合之间的第二颜色相似度值,其中所述第二颜色相似度值小于1,且所述第二颜色相似度值越小则表征所述第三图像和所述第一图像之间场景变化越剧烈;
在检测到所述第一颜色相似度值小于第一阈值且所述第二颜色相似度值小于第二阈值,生成用于触发所述变焦摄像机执行自动聚焦的指令;
其中所述第一颜色相似度值小于第一阈值且所述第二颜色相似度值小于第二阈值,则表征所述第三图像的图像清晰度不符合在所述第一焦距下的预设条件。
第二方面,本申请实施例提供一种变焦摄像机的聚焦装置,包括:
获取模块,用于在第一焦距下:
依次获取第一图像、第二图像和第三图像,其中所述第一图像的图像清晰度是符合在所述第一焦距下的预设条件;
选择模块,用于选择所述第一图像中第一像素点集合、所述第二图像中第二像素点集合、第三图像中第三像素点集合;
确定模块,用于确定所述第三像素点集合和所述第二像素点集合之间的第一颜色相似度值,其中所述第一颜色相似度值小于1,且所述第一颜色相似度值越小则表征所述第三图像和所述第二图像之间场景变化越剧烈;
所述确定模块,还用于确定所述第三像素点集合和所述第一像素点集合之间的第二颜色相似度值,其中所述第二颜色相似度值小于1,且所述第二颜色相似度值越小则表征所述第三图像和所述第一图像之间场景变化越剧烈;
处理模块,用于在检测到所述第一颜色相似度值小于第一阈值且所述第二颜色相似度值小于第二阈值,生成用于触发所述变焦摄像机执行自动聚焦的指令;
其中所述第一颜色相似度值小于第一阈值且所述第二颜色相似度值小于第二阈值,则表征所述第三图像的图像清晰度不符合在所述第一焦距下的预设条件。
本申请实施例提供一种变焦摄像机的聚焦方法及装置,该方法包括:在第一焦距下,依次获取第一图像、第二图像和第三图像,其中第一图像的图像清晰度是符合在第一焦距下的预设条件。选择第一图像中第一像素点集合、第二图像中第二像素点集合、第三图像中第三像素点集合。确定第三像素点集合和第二像素点集合之间的第一颜色相似度值。确定第三像素点集合和第一像素点集合之间的第二颜色相似度值。在检测到第一颜色相似度值小于第一阈值且第二颜色相似度值小于第二阈值,生成用于触发变焦摄像机执行自动聚焦的指令。通过依次获取第一图像、第二图像和第三图像,然后进一步确定各个图像的像素点集合,然后根据三张图像各自对应的像素点集合,确定第一颜色相似度值和第二颜色相似度值,然后在确定第一颜色相似度值小于第一阈值,并且确定第二颜色相似度值小于第二阈值的时候,可以确定第三图像相对于第一图像和第二图像,其拍摄的场景都发生了较为剧烈的变化,在这种情况下再生成触发变焦摄像机执行自动聚焦的指令,就可以有效的保证触发变焦摄像机进行自动聚焦的准确性和有效性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的聚焦的实现示意图;
图2为本申请实施例提供的变焦摄像机的结构示意图;
图3为本申请实施例提供的变焦摄像机的聚焦方法的流程图;
图4为本申请实施例提供的第一图像、第二图像、第三图像的采集时刻关系示意图;
图5为本申请实施例提供的第一阈值和第二阈值的关系示意图;
图6为本申请实施例提供的变焦摄像机的聚焦方法的流程图二;
图7为本申请实施例提供的确定多个颜色相似度值的实现示意图一;
图8为本申请实施例提供的确定多个颜色相似度值的实现示意图二
图9为本申请实施例提供的变焦摄像机的聚焦方法的流程图三;
图10为本申请实施例提供的颜色直方图的实现示意图;
图11为本申请实施例提供的颜色直方图对应的数组表示示意图;
图12为本申请实施例提供的变焦摄像机的聚焦装置的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了更好的理解本申请的技术方案,下面对本申请所涉及的相关技术进行进一步的详细介绍。
变焦摄像机的镜片组可以调整,以使得拍摄对象的成像清晰,其中变焦摄像机的镜片组的调整,可以是手动触发的,也可以是自动触发的。
下面首先结合图1对聚焦进行理解,图1为本申请实施例提供的聚焦的实现示意图。
如图1所示,假设在某一时刻,变焦摄像机拍摄到的画面如101所示,仅仅包括一个树木,那么当前变焦摄像机的焦距,就会使得拍摄的画面就会聚焦在这个树木上。
以及假设在之后的某一时刻,变焦摄像机所拍摄到的画面如102所示,除了树木之外还出现了一个人物,那么当前变焦摄像机的焦距,就会使得拍摄的画面就会聚焦在这个人物上。对比101和102可以理解的是,随着变焦摄像机所拍摄的画面的变化,就有可能会触发变焦摄像机自动聚焦,也就是说触发变焦摄像机的镜片组发生调整,以使得拍摄的场景或者物体的成像清晰。
其中,聚焦触发是自动聚焦技术中较为关键的一个环节,聚焦触发是指在满足一定条件的时候,触发变焦摄像机进行一次聚焦的使能。可以理解的是,对于变焦摄像机来说,明确在什么情况下需要触发聚焦,在什么情况下无需触发聚焦是至关重要的,聚焦触发的准确性直接影响着用户的使用体验。例如在目前的直播场景下,对聚焦触发的准确性有着更高的要求。
此处还需要对聚焦触发的适用场景进行说明,在一种可能的实现方式中,比如说可以在变焦摄像机录制视频的过程中,实时的进行聚焦触发的判断。或者,还可以是在变焦摄像机处于预拍摄状态的过程中,实时的进行聚焦触发的判断,其中预拍摄状态是指变焦摄像机的镜头保持开启,并且在进行画面的拍摄,但是还没有收到拍摄指令或者录制指令。
下面对现有技术中的聚焦触发的实现方式进行介绍。目前现有技术中在实现聚焦触发的时候,存在基于对焦数值(Focus Value,FV)的聚焦触发方法以及基于测距信息的聚焦触发方法,下面对这两种实现方式分别进行说明。
其中,FV可以反映图像的清晰程度,在相同场景下,FV的数值越大,代表图像越清晰,FV越小,代表图像越模糊。其中基于FV的聚焦触发方法,通常是比较两帧图像的FV的变化,来判断是否需要触发聚焦。在FV的变化较大的时候,会认为图像的清晰度发生了较大的变化,因此可以确定需要触发聚焦。
然而,FV的变化并不一定伴随着场景或者物距的变化,而场景或者物距的变化也不一定导致FV变化,也就是说FV的变化和场景、物距的变化并不存在绝对的关系。这是因为主流的FV计算方法本质上是统计画面细节,也就是说统计画面中的高频信息的总和,其中高频信息比如说可以是二维图像梯度。
这就导致了FV是一个相对评价指标,也就是说在相同场景的前提下, FV可以有效的反映画面的清晰程度,但是针对不同的场景,FV并不能够有效的反应画面的清晰程度。
举例来说,一个画面细节比较少的清晰画面对应的FV是100,另一个画面细节比较多的清晰画面对应的FV是1000,但是这并不能说明前者的清晰度小于后者,只能表明前者的画面细节少于后者。也就是说,在不同场景中比较画面细节并不完全等同于清晰程度。
然而,针对聚焦触发的判断来说,通常是需要判定当前拍摄的画面是否发生了变化,其中画面发生变化并不一定是针对相同场景的变化,因此基于 FV这种较为相对的参数指标无法准确的实现聚焦触发。其中,基于FV的聚焦触发,在多细节的场景和少细节的场景进行切换的时候,可能会出现频繁的触发聚焦的情况。以及在多细节的场景互相切换,或者少细节的场景互相切换的时候,可能会出现完全不触发聚焦的情况,从而会导致聚焦触发的准确性较差。
以及,基于测距信息的聚焦触发方法需要在变焦摄像机上增加一个额外的测距传感器,其中测距传感器用于实时的获取画面中的物体到变焦摄像机的距离,当检测到物体到变焦摄像机的距离的变化满足一定的条件的时候,会触发聚焦。
其中,基于测距信息的聚焦触发方法会在一定程度上,避免基于FV的触发方法的错误触发的缺陷。然而,基于测距信息的聚焦触发方法需要引入额外的测距传感器,会导致对设备的要求增加。测距传感器获取距离信息的时候,非常容易被干扰导致距离的误判,比如说场景中物体比较多,或者场景中存在一些会反射传感器发出的脉冲的物体,都会导致对距离的误判,因此基于测距信息的聚焦触发方法,同样存在聚焦触发的准确性较差的问题。
针对现有技术中聚焦触发的准确性较差的问题,本申请中提供了如下技术构思:根据图像的像素点集合,来确定图像之间的颜色相似度,之后根据颜色相似度和预设阈值来进行比较,以确定是否触发聚焦操作,其中图像的像素点集合可以反映图像或者图像区域中的物体的表面性质,对图像的尺寸、方向、视角的依赖性都比较小,因此图像之间的颜色相似度可以相对客观的指示图像的画面是否发生变化,从而可以相对客观的实现对聚焦操作的触发,以提升聚焦触发的准确性。
在上述介绍内容的基础上,下面结合具体的实施例对本申请提供的聚焦触发方法进行详细介绍,例如可以首先结合图2对本申请中提供的变焦摄像机的结构进行说明,图2为本申请实施例提供的变焦摄像机的结构示意图。
如图2所示,变焦摄像机中至少包括图像传感器、处理器、电机模组。
其中,图像传感器用于感知图像的颜色特征,处理器用于根据图像传感器感知的颜色特征,确定是否需要触发成像模组执行聚焦操作。此处的电机模组还可以理解为成像模组,总之其是用于执行聚焦操作的。
在一种可能的实现方式中,本申请中提供的聚焦触发方法中的相关数据处理、相关逻辑判断等等,可以是由上述介绍的处理器执行的。
以及在实际实现过程中,变焦摄像机中还可以包括其余的用于支持其正常运行的单元,本实施例对此不做限制。
下面结合图3对本申请提供的变焦摄像机的聚焦方法进行详细介绍,图 3为本申请实施例提供的变焦摄像机的聚焦方法的流程图。
如图3所示,该方法包括:
S301、在第一焦距下:依次获取第一图像、第二图像和第三图像,其中第一图像的图像清晰度是符合在第一焦距下的预设条件。
可以理解的是,变焦摄像机的镜片组可以调整,从而可以调节拍摄得到的画面的清晰度。在本实施例中,第一焦距可以是指当前时刻变焦摄像机的焦距,因此本实施例对第一焦距的具体实现不做限制,其具体取决于当下变焦摄像机所处的焦距是多少。
在变焦摄像机处于第一焦距下的时候,可以依次获取第一图像、第二图像和第三图像。在一种可能的实现方式中,第三图像比如说可以是当前时刻的图像,此处的当前时刻是指需要进行触发判断的时刻,比如说可以以预设时长为周期来进行聚焦触发的判断,则可以将预设周期到达时对应的时刻依次确定为需要进行聚焦触发的判断的时刻。或者,因为聚焦触发的判断会持续一段时间,因此还可以是将没有处于聚焦触发的判断流程中的各个时刻,依次确定为需要进行聚焦触发的判断的时刻。
以及,第二图像可以是第三图像的上一帧图像,第一图像可以是最近一次聚焦结束时采集的图像,因此本实施例中的第一图像的图像清晰度是符合在第一焦距下的预设条件的。此处的预设条件比如说可以是图像清晰度大于预设清晰度,或者还可以是图像清晰度为聚焦结束之后的图像清晰度。
可以理解的是,变焦摄像机的聚焦操作,实际上就是对变焦摄像机的镜片组进行调整,以使得变焦摄像机拍摄的画面变清晰。而本实施例中的第一图像可以是最近一次聚焦结束的时候所采集的图像,因为变焦摄像机刚刚聚焦完成,因此可以第一图像的图像清晰度是可以保证的,也就是说第一图像是比较清晰的。
在实际实现过程中,比如说可以首先确定当前时刻的第三图像,其次再确定第三图像的上一帧图像,以得到第二图像,以及还可以确定变焦摄像机上一次聚焦结束的时候所采集的第一图像,从而确定第一图像、第二图像和第三图像。需要说明的是,此处介绍的是第一图像、第二图像和第三图像可能的确定顺序,但是实际上这三帧图像的采集次序(或者说获取次序),是按照第一图像、第二图像、第三图像来的。
或者,第一图像、第二图像和第三图像还可以是第一焦距下的任意三帧图像。在实际实现过程中,只要保证上述介绍的三帧图像的采集次序是按照:第一图像、第二图像、第三图像的顺序即可,具体的图像帧的选择可以根据实际需求进行选择和设置。
S302、选择第一图像中第一像素点集合、第二图像中第二像素点集合、第三图像中第三像素点集合。
可以理解的是,在每个图像中都包括多个像素点。因此,在采集到第一图像和第二图像之后,例如可以将第一图像中的多个像素点确定为第一像素点集合,以及可以将第二图像中的多个像素点确定为第二像素点集合,以及可以将第三图像中的多个像素点确定为第三像素点集合。
在一种可能的实现方式中,本实施例中的像素点集合可以表征图像中的所有像素点,或者像素点集合还可以表征图像中的多个子区域中的至少一个子区域。
也就是说,本实施例中的像素点集合可以是整帧图像中的全部像素点的集合,或者像素点集合还可以是一帧图像中的部分像素点的集合。比如说针对第一图像的第一像素点集合,第一像素点集合比如说可以表征第一图像中的所有像素点。或者在第一图像中还可以包括多个子区域,其中第一像素点集合可以表征第一图像中的多个子区域中的至少一个子区域。
然而,因为当前确定像素点集合是为了确定图像之间的场景变化,从确定两帧图像的场景变化的准确度而言,在两帧图像中分别选择对应的像素点,来确定像素点之间的颜色相似度,会使得确定的颜色相似度值更加准确,进而可以保证确定的场景变化更加准确。
因此在实际实现过程中,用户可以根据实际需求,在两帧图像中选择世界坐标相同或者世界坐标不同的像素点,来作为本实施例中的像素点集合。或者,还可以选择若干连贯的或者不连贯的像素点,来作为本实施例中的像素点集合。也就对应上述介绍的像素点集合是图像中的多个子区域中的至少一个子区域,在实际实现过程中,子区域的具体划分方式可以根据实际需求进行选择。
S303、确定第三像素点集合和第二像素点集合之间的第一颜色相似度值,其中第一颜色相似度值小于1,且第一颜色相似度值越小则表征第三图像和第二图像之间场景变化越剧烈。
可以理解的是,第三图像是当前时刻所采集的图像,因此本实施例中是以第三图像为比较的对象,来确定是否需要触发聚焦。
因此在确定第三像素点集合和第二像素点集合之后,可以根据第三像素点集合和第二像素点集合,确定第三像素点集合和第二像素点集合之间的第一颜色相似度值。其中第一颜色相似度值就可以指示第三像素点集合和第二像素点集合中的像素点之间的颜色相似度,进而可以表征第三图像和第二图像之间的场景变化程度。
可以理解的是,第一颜色相似度越小,则表示第三像素点集合和第二像素点集合中的像素点之间的颜色相似度就越小,进而可以表示第三图像和第二图像之间的场景变化也就越剧烈。在一种可能的实现方式中,第一颜色相似度值可以是小于1的值。
S304、确定第三像素点集合和第一像素点集合之间的第二颜色相似度值,其中第二颜色相似度值小于1,且第二颜色相似度值越小则表征第三图像和第一图像之间场景变化越剧烈。
以及,本实施例中还可以根据第三像素点集合和第一像素点集合,确定第三像素点集合和第一像素点集合之间的第二颜色相似度值。其中第二颜色相似度值就可以指示第三像素点集合和第一像素点集合中的像素点之间的颜色相似度,进而可以表征第三图像和第一图像之间的场景变化程度。
可以理解的是,第二颜色相似度值越小,则表示第三像素点集合和第一像素点集合中的像素点之间的颜色相似度就越小,进而可以表示第三图像和第一图像之间的场景变化也就越剧烈。在一种可能的实现方式中,第二颜色相似度值可以是小于1的值。
S305、在检测到第一颜色相似度值小于第一阈值且第二颜色相似度值小于第二阈值,生成用于触发变焦摄像机执行自动聚焦的指令。
在确定第一颜色相似度之后,比如说可以将第一颜色相似度和第一阈值进行比较,其中第一颜色相似度可以指示第三像素点集合和第二像素点集合的颜色相似度。如果第一颜色相似度小于第一阈值的话,则可以确定第三图像和第二图像之间的场景变化是比较剧烈的。
以及,在确定第二颜色相似度之后,还可以将第二颜色相似度和第二阈值进行比较,其中第二颜色相似度是第三图像和第一图像的颜色相似度。如果第二颜色相似度小于第二阈值的话,则可以确定第三图像和第二图像之间的场景变化是比较剧烈的。
以及在本实施例中,若确定第一颜色相似度值小于第一阈值且第二颜色相似度值小于第二阈值,则表征第三图像的图像清晰度不符合在第一焦距下的预设条件。也就是说当前的第三图像的图像清晰度是无法保证的,就需要变焦摄像机进行聚焦操作,以调整当前拍摄画面的清晰度。
因此,在检测到第一颜色相似度值小于第一阈值,并且,第二颜色相似度值小于第二阈值的时候,可以确定第二图像无论是相对于第一图像还是第三图像,其场景变化都是比较剧烈的,因此在这种情况下可以生成用于触发变焦摄像机执行自动聚焦的指令。
在一种可能的实现方式中,变焦摄像机就可以根据自动聚焦的指令,自行自动聚焦的操作,也就是说对变焦摄像机的镜片组进行调整,以保证当前拍摄的画面的清晰度。
本申请实施例提供的变焦摄像机的聚焦方法,包括:在第一焦距下,依次获取第一图像、第二图像和第三图像,其中第一图像的图像清晰度是符合在第一焦距下的预设条件。选择第一图像中第一像素点集合、第二图像中第二像素点集合、第三图像中第三像素点集合。确定第三像素点集合和第二像素点集合之间的第一颜色相似度值。确定第三像素点集合和第一像素点集合之间的第二颜色相似度值。在检测到第一颜色相似度值小于第一阈值且第二颜色相似度值小于第二阈值,生成用于触发变焦摄像机执行自动聚焦的指令。通过依次获取第一图像、第二图像和第三图像,然后进一步确定各个图像的像素点集合,然后根据三张图像各自对应的像素点集合,确定第一颜色相似度值和第二颜色相似度值,然后在确定第一颜色相似度值小于第一阈值,并且确定第二颜色相似度值小于第二阈值的时候,可以确定第三图像相对于第一图像和第二图像,其拍摄的场景都发生了较为剧烈的变化,在这种情况下再生成触发变焦摄像机执行自动聚焦的指令,就可以有效的保证触发变焦摄像机进行自动聚焦的准确性和有效性。
在上述实施例的基础上,下面结合图4和图5对本申请中采集的多帧图像,以及设置的第一阈值和第二阈值之间的关系进行说明。图4为本申请实施例提供的第一图像、第二图像、第三图像的采集时刻关系示意图,图5为本申请实施例提供的第一阈值和第二阈值的关系示意图。
如图4所示,从时间上来看,第三图像的采集时刻t3是晚于第二图像的采集时刻t2和第一图像的采集时刻t1的。以及,第二图像的采集时刻t2还晚于第一图像的采集时刻t1,也就是说第一图像、第二图像、第三图像的生成次序是按照图4所示的采集时刻依次发生的。
以及在一种可能的实现方式中,在本实施例中,第三图像可以是当前时刻采集的图像,第二图像可以是第三图像的上一帧图像,以及第一图像可以是上一次聚焦结束时采集的图像。因此理论上来说,第三图像和第二图像的采集时刻的差值,是小于第三图像和第一图像的采集时刻的差值的。
可以结合图4进行理解,如图4所示,第三图像的采集时刻t1和第二图像的采集时刻t2之间的差值d1,是小于第三图像的采集时刻t3和第一图像和的采集时刻t1的差值d2的。
可以理解的是,随着时间的推移,变焦摄像机拍摄的画面发生变化的概率就越大。因为第二图像是第三图像的上一帧图像,因此实际上第三图像相对于第二图像的场景变化的程度是比较小的。而第一图像是第三图像的历史帧图像,因此实际上第三图像相对于第一图像的场景变化的程度是比较大的。
在实际实现过程中,本实施例中需要将第三图像和第二图像之间的第一颜色相似度值和第一阈值进行比较,以及需要将第三图像和第一图像之间的第二颜色相似度值和第二阈值进行比较。那么针对上述介绍的,因为第二图像和第一图像对应的采集时刻的差值不同,导致第二图像和第三图像之间的变化,相对于第一图像和第三图像之间的变化更小,因此可以设置第二图像对应的第一阈值大于第一图像对应的第二阈值。
比如说可以结合图5进行理解,如图5所示,因为本实施例中是需要第一颜色相似度值小于第一阈值,以及第二颜色相似度值小于第二阈值,因此设置第一阈值大于第二阈值,可以保证第一阈值对应的限制范围是大于第二阈值对应的限制范围的,从而可以保证针对变化较小的第二图像,以及针对变化较大的第二图像,都可以均衡有效的衡量其相对于第三图像是否发生变化,进而可以有效的提升生成自动聚焦的指令的准确性和全面性。
在上述介绍内容的基础上,下面对本申请中生成触发变焦摄像机执行自动聚焦的指令的实现方式进行进一步的说明。
基于上述介绍可以确定的是,在确定第一颜色相似度值小于第一阈值,并且第二颜色相似度值小于第二阈值的时候,就可以生成触发变焦摄像机执行自动聚焦的指令了。
然而,在另一种可能的实现方式中,在确定第一颜色相似度值小于第一阈值,并且第二颜色相似度值小于第二阈值的时候,可以暂且认为当前初步的确定需要变焦摄像机进行自动聚焦,后续还需要进行进一步的判断,再最终确定是否要生成触发自动聚焦的指令。
例如可以结合图6至图8对当前的进一步判断的实现过程进行说明。图 6为本申请实施例提供的变焦摄像机的聚焦方法的流程图二,图7为本申请实施例提供的确定多个颜色相似度值的实现示意图一,图8为本申请实施例提供的确定多个颜色相似度值的实现示意图二。
如图6所示,该方法包括:
S601、在第一焦距下,获取采集时刻晚于第三图像的多个图像。
在进一步判断是否需要触发聚焦的过程中,比如说可以在当前的变焦射线机的第一焦距下,获取采集时刻晚于第三图像的多个图像。也就是说在第三图像的采集时刻之后,再采集多个图像。
在一种可能的实现方式中,此处采集的多个图像的帧数是由帧率和每帧图像预留的视觉停留时间确定的。比如说:
其中floor()表示向下取整。比如取0.4秒的视觉停留时间,当帧率为30fps 时,最长等待帧数就是12帧。
S602、根据第三图像和多个图像,确定较后帧图像与较前帧图像之间的多个颜色相似度值。
以及在本实施例中,可以根据第三图像和多个图像,确定较后帧图像与较前帧图像之间的多个颜色相似度值。
例如可以结合图7进行理解,如图7所示,假设当前在第三图像之后,又在t4时刻采集了图像1,以及确定了图像1和第三图像之间的颜色相似度 1。此处确定颜色相似度的实现方式与上述介绍的类似,是首先确定两帧图像各自的像素点集合,之后根据像素点集合确定两帧图像的颜色相似度值。
以及如图7所示,还在t5时刻采集了图像2,以及确定了图像2和图像 1之间的颜色相似度2。在t6时刻采集了图像3,以及确定了图像3和图像2 之间的颜色相似度3。在t7时刻采集了图像4,以及确定了图像4和图像3 之间的颜色相似度4。在t8时刻采集了图像5,以及确定了图像5和图像4 之间的颜色相似度5。在t9时刻采集了图像6,以及确定了图像6和图像5 之间的颜色相似度6。
S603、在检测到多个颜色相似度值的均值大于第三阈值,且多个图像中的最后一帧图像和第一图像之间的颜色相似度值小于第二阈值时,则生成指令。
在确定多帧图像各自对应的颜色相似度值之后,可以确定多个颜色相似度值的均值,并且将多个颜色相似度值的均值和第三阈值进行比较。在确定多个颜色相似度值的均值大于第三阈值的时候,可以确定在第三图像之后采集的这多帧图像,其颜色相似度值都是比较高的,也就是说这多帧图像的场景变化稳定下来了。
可以理解的是,若变焦摄像机所拍摄画面的场景一直在变化,那么此时进行聚焦的意义也不是很大,因为可能在当前帧刚进行了聚焦,下一帧图像又需要进行聚焦了。而在变焦摄像机所拍摄画面的场景稳定下来的时候,再进行聚焦,就可以保证当前的聚焦是稳定有效的。
因此在检测到多个颜色相似度值的均值大于第三阈值的时候,可以确定当前变焦摄像机所拍摄画面的场景稳定下来了。此处可以进一步的再进行复判,例如可以确定多个图像中的最后一帧图像和第一图像之间的颜色相似度值,然后将这个颜色相似度值和第二阈值进行比较。
若确定多个图像中的最后一帧图像和第一图像之间的颜色相似度值小于第二阈值,则可以确定多个图像中的最后一帧图像和第一图像相比,其场景发生了较大的变化,此时再生成上述介绍的触发变焦摄像机自动聚焦的指令,从而可以有效保证变焦摄像机进行自动聚焦的准确性和有效性。
需要说明的是,此处的复判处理,本质上是为了确定,在确定变焦摄像机所拍摄画面的场景稳定下来的当下时刻,再进一步确定一下,当下时刻的图像和上一次聚焦结束时的第一图像相比,其场景是否发生了较大的变化。在确定场景发生较大变化的时候,再确定触发变焦摄像机进行自动聚焦,就可以保证自动聚焦的触发是经过了上述介绍的初步判断、画面是否稳定的判断、复判三个流程的依次处理的,因此可以有效的保证自动聚焦的准确性和有效性。
以及,上述介绍的复判流程,是在第三图像的采集时刻之后一次性的采集多个图像,然后再根据第三图像和这多个图像,确定是否生成指令。
然而,在另一种可能的实现方式中,还可以在第三图像的采集时刻之后,首先采集k-1帧图像,此处的k-1可以是大于等于1的预设值,其中k可以理解为采集窗口的长度。然后根据第三图像和这k-1帧图像,确定较后帧图像与较前帧图像之间的多个颜色相似度值,然后根据当前的多个颜色相似度值和第三阈值比较,以确定场景变化是否稳定。
在确定场景变化稳定的时候,即可继续上述介绍的复判流程,也就是说判断k-1帧图像中的最后一帧图像和第一图像之间的颜色相似度值是否小于第二阈值。
或者,在确定场景的变化尚不稳定的时候,可以将长度为k的采集窗口向后移动一个图像帧,然后再根据当前的采集窗口中的k帧图像,确定较后帧图像与较前帧图像之间的多个颜色相似度值,然后根据当前的多个颜色相似度值和第三阈值比较,以确定场景变化是否稳定。重复执行当前的流程,直至确定场景的变化稳定,或者直至采集窗口中包括多个图像中的最后一个图像。
例如可结合图8理解上述过程,如图8所示,假设采集窗口的长度k为 4,则首先可以在第三图像的采集时刻t3之后,采集3帧图像,也就是图8 中所示的图像1、图像2和图像3。采集窗口801内包括4帧图像,也就是第三图像、图像1、图像2、图像3,然后可以根据这4帧图像,确定较后帧图像与较前帧图像之间的多个颜色相似度值,也就得到图8所示的颜色相似度 1、颜色相似度2、颜色相似度3。之后可以根据这3个颜色相似度的均值和第三阈值进行比较,从而确定场景变化是否稳定。
如果确定场景变化不稳定的话,如图8所示,可以将采集窗口801向后移动一个图像帧,得到图8所示的采集窗口802,在采集窗口802中包括4 帧图像,也就是图像1、图像2、图像3和图像4,之后可以根据这4帧图像,确定较后帧图像与较前帧图像之间的多个颜色相似度值,也就得到图8所示的颜色相似度2、颜色相似度3、颜色相似度4。之后可以根据这3个颜色相似度的均值和第三阈值进行比较,从而确定场景变化是否稳定。
例如可以重复执行上述介绍的流程,直至在一个采集窗口内确定场景变化稳定,或者说在采集窗口内包括多个图像中的最后一个图像,也就是说图 8所示的图像6。
可以理解的是,若在采集窗口内包括多个图像中的最后一个图像的时候,场景变化还没有稳定,则可以理解当前的等待帧数以及到达最长等待帧数了,此处的最长等待帧数实际上就是上述介绍的多个图像的帧数,此时已经不能再继续判断下去了。因此可以结束当前的流程,重新退回到上述介绍的在第一焦距下获取第一图像、第二图像和第三图像的流程,重新开始执行。
需要说明的是,当前介绍的这种在第三图像和多个图像中设置一个采集窗口,通过采集窗口依次向后滑动,每次确定滑动窗口内的相邻图像帧之间的颜色相似度值,可以有效的减少图像处理数量,以提升场景稳定判断的处理速度。同时又将多个图像的帧数作为最长等待帧数,在确定采集窗口中包括多个图像的最后一个图像的时候,确定结束场景稳定判断的流程,从而可以避免当前的判断流程无休止的运行。
本申请实施例提供的变焦摄像机的聚焦方法,通过在检测到第一颜色相似度值小于第一阈值,并且第二颜色相似度值小于第二阈值之后,进一步的获取采集时刻晚于第三图像的多个图像,并且根据第三图像和多个图像,确定较后帧图像和较前帧图像之间的多个颜色相似度值,再将多个颜色相似度值的平均值和第三阈值进行比较,在确定平均值大于第三阈值的时候,确定当前变焦摄像机拍摄画面的场景稳定,之和再进一步的判断多帧图像中的最后一帧图像和第一图像之间的颜色相似度值是否小于第二阈值,也就是说再进一步的判断了一下,在当前时刻的图像相对于上次聚焦结束时的图像,其场景是否发生了较大的变化,在同时满足上述介绍的场景稳定,以及复判也通过的情况下,才生成用于触发变焦摄像机执行自动聚焦的指令,从而可以有效的保证聚焦触发的准确性和稳定性。
在上述实施例的基础上,还需要进一步说明的是,在触发变焦摄像机执行自动聚焦之后,因为自动聚焦的操作本身也需要一定的时长,因此在自动聚焦的过程中,有可能变焦摄像机拍摄的画面还会发生变化,因此本实施例中在触发变焦摄像机执行自动聚焦之后,还可以再进一步的判断是否需要再次触发自动聚焦,其中,再次触发自动聚焦的过程可以理解为重启聚焦,下面结合图9对重启聚焦的实现过程进行说明。图9为本申请实施例提供的变焦摄像机的聚焦方法的流程图三。
S901、在生成用于触发变焦摄像机执行自动聚焦的指令之后,在电机模组接收到指令的时刻,获取第四图像。
在本实施例中,变焦摄像机中包括电机模组,其中电机模组就可以理解为是执行自动聚焦操作的模组。因此在生成用于触发变焦摄像机执行自动聚焦的指令之后,变焦摄像机会首先将自动聚焦的指令发送给电机模组。
为了确定在自动聚焦的过程中,画面是否发生了较大的变化,本实施例中可以获取自动聚焦结束的时候所采集的图像,以及还可以获取自动聚焦开始的时候所拍摄的图像,之后将这两帧图像进行比较,从而确定自动聚焦是否起作用。
可以理解的是,电机模组接收到指令的时候就会执行自动聚焦的操作,因此电机模组接收到指令的时刻,就可以理解为上述介绍的自动聚焦开始的时刻,因此本实施例中就可以在电机模组接收到指令的时刻,获取第四图像。
S902、响应于指令,驱动电机模组执行自动聚焦。
本实施例中的指令是用于触发变焦摄像机执行自动聚焦的,因此可以响应于当前的指令,驱动电机模组来执行自动聚焦的操作。
S903、在电机模组结束指令对应的自动聚焦后,获取第五图像。
基于本实施例中还要获取自动聚焦结束时所采集的图像,因此可以在电机模组结束指令对应的自动聚焦之后,获取当前时刻的第五图像。
S904、确定第四图像和第五图像之间的第三颜色相似度值。
其中,第四图像是自动聚焦开始时所采集的图像,第五图像是自动聚焦结束时所采集的图像,因此可以确定第四图像和第五图像之间的第三颜色相似度值,其中确定第三颜色相似度值的实现方式,与上述介绍的确定颜色相似度值的实现方式类似,此处不再赘述。
S905、在检测到第三颜色相似度值小于第四阈值,则再次生成用于触发变焦摄像机执行自动聚焦的指令。
在确定到第三颜色相似度值之后,可以将第三颜色相似度值和第四阈值进行比较,其中第四阈值和上述的第一阈值可以相同,也可以不同,本实施例对此不做限制,其可以根据实际需求进行选择和设置。
若确定第三颜色相似度值小于第四阈值,则表示在自动聚焦前后的两帧图像帧的相似度是比较小的,也就是说自动聚焦前后的两帧图像帧,其场景变化的程度也是比较大的。
在这种情况下,可以确定这一次变焦摄像机执行的自动聚焦没有起到应有的作用,因此可以再次生成用于触发变焦摄像机自行自动聚焦的指令。可以理解的是,当前的这种情况是在确定自动聚焦是无效聚焦的时候,立刻触发了下一次的自动聚焦,无需进行上述一系列的判断流程,从而可以保证根据实际的聚焦情况,保证自动聚焦的效果。
以及,上述介绍的在检测到第三颜色相似度值小于第四阈值的时候,再次生成触发自动聚焦的指令,相当于是一次自动聚焦的重启。但是在实际实现过程中,聚焦操作也不能无限制的进行重启,比如说当前的拍摄环境确实是短时间内都无法实现有效的聚焦,那么一直尝试重启自动聚焦也会造成资源的浪费。
因此在一种可能的实现方式中,本实施例中比如说可以设置有预设次数,在检测到第三颜色相似度值至小于第四阈值的时候,首先判断当前的重启聚焦的次数是否小于预设次数,在确定重启聚焦的次数小于预设次数的时候,在确定生成触发自动聚焦的指令。并且在再次生成触发自动聚焦的指令之后,可以将重启聚焦的次数加1.
其中,如果确定重启聚焦的次数大于或等于预设次数的话,则表示经过了很多次的重启聚焦,聚焦前后的画面还是在不停的变化,针对这种情况,可以停止当前的重启聚焦的操作,也就是说确定这一次的聚焦流程结束,直接退回到上述介绍的在第一焦距下获取第一图像、第二图像和第三图像的流程,重新开始执行。
或者,如果确定第三颜色相似度值大于或等于第四阈值,则表示在聚焦操作的前后,变焦摄像机所拍摄画面的场景并没有发生很大的变化,则可以确定当前的这一次自动聚焦是有效的,因此可以确定当前的这一次自动聚焦的触发流程就结束了,然后持续的再进行上述介绍的各项判断,以在需要的时候,再触发下一次的自动聚焦。
本申请实施例提供的变焦摄像机的聚焦方法,通过在自动聚焦结束之后,根据自动聚焦开始时的第四图像和自动聚焦结束时的第五图像的第三颜色相似度,和第四阈值进行比较,从而确定在聚焦操作的过程中,变焦摄像机拍摄画面的场景是否发生了较大的变化,如果是的话,则可以在有限次数内,重新触发变焦摄像机执行聚焦操作。从而可以保证针对聚焦过程中画面变化的这种情况,快速的再次触发聚焦,而无需再执行上述的多个阶段的判断流程,以保证聚焦触发的及时性和有效性。以及,在多次重新触发自动聚焦之后,如果聚焦前后的画面的颜色特征还是在变化,这种情况下,就可以直接确定当前的聚焦流程结束,从而可以避免变焦摄像机长时间的进行聚焦重启。
在上述介绍内容的基础上,下面对本实施例中确定颜色相似度值的可能的实现方式进行说明。
在一种可能的实现方式中,本实施例中的第一颜色相似度值是指第三像素点集合的RGB分量与第二像素点集合的RGB分量之间的相关系数或巴氏系数。
以及,第二颜色相似度值是指第三像素点集合的RGB分量与第一像素点集合的RGB分量之间的相关系数或巴氏系数。
以及,第三颜色相似度值是指第四图像的第四像素点集合的RGB分量与第五图像的第五像素点集合的RGB分量之间的相关系数或巴氏系数。
因此可以理解的是,颜色相似度值可以是相关系数,也可以是巴氏系数,下面对这两种不同的实现方式下,确定颜色相似度值的实现方式进行介绍。以第一颜色相似度值为例,对这两种实现方式分别进行介绍。
在一种可能的实现方式中,在确定第三像素点集合和第二像素点集合之间的第一颜色相似度值时,比如说可以响应于第三像素点集合的RGB分量和第二像素点集合的RGB分量,确定第三像素点集合的第一分量(R/G,B/G),和第二像素点集合的第二分量(R/G,B/G);根据皮尔森相关函数,对第一分量和第二分量进行处理,从而计算第三像素点集合和第二像素点集合的相关系数。
在本实施例中,第三像素点集合中的每一个像素点都对应有RGB分量,其中R分量就是指R通道(红色通道)的像素值,G分量就是指G通道(绿色通道)的像素值值,B分量就是指B通道(蓝色通达)的像素值,此处的像素值也可以理解为亮度值。以及第二像素点集合也类似。
因为针对第三像素点集合确定第一分量,和针对第二像素点集合确定第二分量的实现方式是类似的,因此下面以第三像素点集合为例,对确定第一分量的实现方式进行介绍,对确定第二像素点集合的第二分量的实现方式不再赘述。
在本实施例中,比如说可以将第三图像划分为多个图像块,之后针对每个图像块进行相似的处理。例如可以首先在第三像素点集合中确定每个图像块对应的像素点,然后根据这些像素点确定当前的图像块对应的RGB分量,例如可以将这些图像块对应的像素点的RGB分量的平均值,确定为该图像块的RGB分量。
比如说针对第j个图像块,该图像块对应的RGB分量可以表示为:Rj、 Bj、Gj,其中,Rj为第j个图像块的R分量,Bj为第j个图像块的B分量,Gj为第j 个图像块的B分量。
之后,可以按照如下公式一,确定第j个图像块的对应的第一分量:
其中,(R′j,B′j)就是第j个图像块对应的第一分量。
其中,因为人眼对G颜色通道的变化更加敏感,因此将G分量作为基础将RGB分量降维为为R′,B′的二维分量,一方面可以降低计算难度,减小数据量,另一方面可以保证基于降维后的分量确定颜色相似度值,可以更准确的反映出颜色变化的变化情况。
或者,若颜色分量包括Gr分量、Gb分量、R分量、B分量,比如说针对第j个图像块,该图像块的颜色分量包括:Rj、Bj、Grj、Gbj,其中,Rj为第 j个图像块的R分量,Bj为第j个图像块的B分量,Grj为第j个图像块的Gr分量,Gbj为第j个图像块的Gb分量。那么例如可以按照如下公式二,确定第j 个图像块的对应的第一分量:
其中,(R′j,B′j)就是第j个图像块对应的第一分量。
在确定第三图像中的每一个图像块的第一分量之后,就可以将各个图像块的第一分量进行组合,从而确定第三像素点集合的第一分量。以及,针对第二像素点集合确定第二分量分实现方式类似。
在一种可能的实现方式中,比如说可以用v(2)来表示第三像素点集合的第一分量,用v(2)来表示第二像素点集合确定第二分量,其中v(1)就是由上述介绍的第三图像中的各个图像块的第一分量组成,可以表示为v(1)= [R′(1),B′(1)]。以及,其中v(2)就是由上述介绍的第二图像中的各个图像块的第二分量组成,可以表示为v(2)=[R′(2),B′(2)]。
之后就可以根据皮尔森相关函数,对第一分量和第二分量进行处理,从而计算第三像素点集合和第二像素点集合的相关系数。
其中,皮尔森相关函数比如说可以参照如下的公式三和公式四进行理解:
其中,Rj′(1)为第三图像的第j个图像块的第一分量中的R/G,为第三图像中的各个图像块的第一分量中的R/G的平均值,Rj′(2)为第二图像的第 j个图像块的第二分量中的R/G,/>为第二图像中的各个图像块的第二分量中的R/G的平均值,σR′为第三像素点集合和第二像素点集合在R/G这个分量下对应的相关系数。
其中,Bj′(1)为第三图像的第j个图像块的第一分量中的B/G,为第一图像中的各个图像块的第一分量中的B/G的平均值,Bj′(2)为第二图像的第 j个图像块的第二分量中的B/G,/>为第二图像中的各个图像块的第二分量中的B/G的平均值,σB′为第三像素点集合和第二像素点集合在B/G这个分量下对应的相关系数。
之后,可以确定σR′和σB′的平均值,也就是说确定其中,σ就是第三像素点集合和第二像素点集合的相关系数。此处的相关系数可以理解为皮尔森相关系数。
在一种可能的实现方式中,皮尔森相关系数的范围可以是-1到1,其中σ值越接近1,则说明第三图像和第二图像越相似,就表示场景变化不大。以及σ值越接近-1,则说明第三图像和第二图像越不相似,就表示场景变化剧烈。
本实施例中介绍的第三像素点集合和第二像素点集合的相关系数的实现方式,可以有效的基于RGB分量确定两个图像之间的颜色相似程度,其中RGB分量可以反映图像或者图像区域中的物体的表面性质,对图像的尺寸、方向、视角的依赖性都比较小,因此可以相对客观的指示图像的场景是否发生变化。
以及下面再对颜色相似度值是巴氏系数的实现方式进行介绍,同样是以第一颜色相似度值为例进行介绍。
在一种可能的实现方式中,在确定第三像素点集合和第二像素点集合之间的第一颜色相似度值时,比如说可以响应于第三像素点集合的颜色直方图和第二像素点集合的颜色直方图,根据巴氏函数,计算第三像素点集合和第二像素点集合的巴氏系数。
首先对颜色直方图进行介绍,其中,颜色直方图中可以包括每个颜色通道下的各个亮度值各自对应的像素点个数。
其中,针对任一个颜色通道,亮度值的范围比如说可以是0~255,或者还可以是其余的范围,其具体取决于图像传感器,也就是说实际实现过程中亮度范围是由图像传感器提供的,本实施例对亮度值的可能的取值不做特别限制,下面以亮度值的取值范围为0~255为例进行介绍。
例如可以结合图10和图11进行理解,图10为本申请实施例提供的颜色直方图的实现示意图,图11为本申请实施例提供的颜色直方图对应的数组表示示意图。
如图10所示,针对任一个颜色通道,颜色通道下的都包括0~255个亮度值,然后颜色直方图信息中包括的就是,在该颜色通道下,各个亮度值各自对应的像素点个数。比如说图10的示例中,假设针对的是R颜色通道,那么当前R颜色通道下亮度值为0的像素点个数就是30个,以及当前R颜色通道下亮度值为1的像素点个数就是15个,以及当前R颜色通道下亮度值为2 的像素点个数就是35个,等等。
在一种可能的实现方式中,颜色直方图在存储的时候,可以以数组的形式进行存储。可以参照图11进行理解,例如可以用Vk[]来表示第k个颜色通道的颜色直方图信息。
如图11所示,Vk[0]表示的就是在当前颜色通道下,亮度值为0的像素点个数为30个;Vk[1]表示的就是在当前颜色通道下,亮度值为1的像素点个数为15个;Vk[2]表示的就是在当前颜色通道下,亮度值为2的像素点个数为35个,等等。
进一步的,比如说可以用V来表示图像的颜色直方图,在颜色直方图中就包括该图像的各个颜色通道的颜色直方图信息,比如说一共存在n个颜色通道,则图像的颜色直方图V可以表示为[V1,V2,...,Vn],其中V1,V2,...,Vn就是 n个颜色通道各自的颜色直方图信息。
在本实施例中,比如说可以根据巴氏函数对第三像素点集合的颜色直方图和第二像素点集合的颜色直方图进行处理,从而计算第三像素点集合和第二像素点集合的巴氏系数。
比如说可以参照如下公式五进行理解:
其中,V(1) k为第三图像的第k个颜色通道的颜色直方图,V(2) k为第二图像的第k个颜色通道的颜色直方图,v(1)为V(1) k中所包括的各个亮度值各自对应的像素点个数,v(2)为V(2) k中所包括的各个亮度值各自对应的像素点个数,BC(V(1) k,V(2) k)为第三像素点集合和第二像素点集合的巴氏系数,此处的巴氏系数就可以直接理解为相似性系数,其可以表述第三像素点集合和第二像素点集合之间的颜色相似度。
或者在一种可选的实现方式中,为了便于限定第一颜色相似度的取值,还可以按照如下公式六对巴氏系数进行进一步的数值调整处理。
其中,BC(V(1) i,V(2) i)为第三像素点集合和第二像素点集合的巴氏系数, li为数值调整处理之后得到的调整后的巴氏系数。
可以理解的是,在上述的数值调整处理之后,调整后的巴氏系数li的取值范围就在0到1之间,并且越接近1就表示两个颜色直方图越相似,那么也就是说第三像素点集合和第二像素点集合越接近。
在实际实现过程中,数值调整处理的具体实现可以根据实际需求进行选择,只要可以实现将巴氏系数的取值限制在某一个范围即可。
以及在进一步的可选的实现方式中,巴氏系数反映的是两个颜色直方图之间的走向的相似性,但是并不能衡量两个颜色直方图的取值上是否存在差异,因此本实施例中还可以进一步的确定第三像素点集合的颜色直方图和第二像素点集合的颜色直方图之间的数值相似性参数。
同样是针对各个颜色通道都需要分别进行处理,并且各个颜色通道的处理方式都类似,下面以任一个颜色通道为例进行介绍。针对任一个颜色通道,可以根据该颜色通道下,第三像素点集合的颜色直方图中各个亮度值的像素点个数,以及第二像素点集合的颜色直方图中各个亮度值的像素点个数,分别确定各个亮度值的像素点个数的数值差异系数。
以亮度值1为例,比如说可以确定第三像素点集合的颜色直方图中亮度值为1的像素点个数,和第二像素点集合的颜色直方图中亮度值为1的像素点个数的数值差异系数。
例如可以采用如下公式七确定数值差异系数:
其中,fk为第k个颜色通道的数值差异系数,n为颜色通道的数量。其中,数值差异系数越大,表示两个颜色直方图的数值的差异越大。
例如可以采用上述的公式八确定数值差异系数,比如说还可以直接将各个亮度值的像素点个数的差值的绝对值作为数值差异系数,本实施例对数值差异系数的具体实现方式不做限制,只要其可以指示第三图像和第二图像在颜色通道下的各个亮度值的像素点个数的差值即可。
在得到数值差异系数之后,可以进一步的将数值差异系数作为预设函数的输入,得到第三像素点集合的颜色直方图和第二像素点集合的颜色直方图之间在某一个颜色通道下的数值相似性参数。
在一种可能的实现方式中,数值相似性参数的确定方式可以参照如下公式八进行理解:
其中,fk为第k个颜色通道的数值差异系数,rk为第k个颜色通道的数值相似性参数,(和β是调整系数,用于控制rk曲线的形状,保证rk在fi的范围在大于0时,表现出一开始剧烈下降,然后趋于平缓的特点。之所以要表现出这个特点,是因为在数值差异在一定的范围内的时候,可以有效的反映出数值相似性的变化,当数值差异超过一定范围的时候,此时反映的数值相似性的变化就意义不大了。
比如说数值差异在0~100的时候,可以有效的反映出两个颜色直方图信息的数值相似性是越来越小的,但是当数值差异超过100的时候,只需要知道两个颜色直方图信息的数值相似性很小,至于数值差异是大到1000,还是大到10000,这个就不是很需要关心了,因此呈现出这个特点,可以在一定的范围内,快速的捕捉到需要的数值相似性的变化信息。
其中,数值相似性参数rk的取值范围也是0到1,并且rk越接近1,就表示两个颜色直方图信息的数值越接近。
之后,比如说可以针对任一个颜色通道,在得到该颜色通道的调整后的巴氏系数和数值相似性参数之后,就可以将调整后的巴氏系数和数值相似性参数的平均值,确定为该颜色通道对应的相似程度。
比如说可以表示为:其中,σk表示的就是第k个颜色通道对应的相似程度。
本实施例中针对各个颜色通道都会确定其相似程度,之后可以对各颜色通道各自对应的相似程度进行连乘处理,从而得到第三像素点集合相对于第二像素点集合的相似度值。
比如说第三像素点集合相对于第二像素点集合的相似度值可以满足如下公式九;
其中,σk是第k个颜色通道对应的相似程度,σ为连乘后得到的相似度值。其中,相似度值σ的取值范围可以是0到1,并且越接近1,就表示第三像素点集合和第二像素点集合的越相似。
可以理解的是,在本实施例中,第一颜色相似度值可以是上述介绍的巴氏系数,还可以是调整后的巴氏系数,或者还可以是当前介绍的相似度值,其都可以描述两个像素点集合之间的颜色相似度,具体的颜色相似度值的实现可以根据实际需求进行选择和设置。
本实施例中介绍的第三像素点集合和第二像素点集合的巴氏系数的实现方式,可以有效的基于颜色直方图确定两个图像之间的颜色相似程度,其中颜色直方图可以反映图像或者图像区域中的物体的表面性质,对图像的尺寸、方向、视角的依赖性都比较小,因此可以相对客观的指示图像的场景是否发生变化。
以及上述介绍的颜色相似度值的实现都是以第一颜色相似度值为例进行介绍的,在实际实现过程中,针对第二颜色相似度值、第三颜色相似度值,以及任意两个图像的像素点集合之间的颜色相似度值的确定都是类似的,此处不再赘述。
图12为本申请实施例提供的变焦摄像机的聚焦装置的结构示意图。如图 12所示,该装置120包括:获取模块1201、选择模块1202、确定模块1203、处理模块1204。
获取模块1201,用于在第一焦距下:
依次获取第一图像、第二图像和第三图像,其中所述第一图像的图像清晰度是符合在所述第一焦距下的预设条件;
选择模块1202,用于选择所述第一图像中第一像素点集合、所述第二图像中第二像素点集合、第三图像中第三像素点集合;
确定模块1203,用于确定所述第三像素点集合和所述第二像素点集合之间的第一颜色相似度值,其中所述第一颜色相似度值小于1,且所述第一颜色相似度值越小则表征所述第三图像和所述第二图像之间场景变化越剧烈;
所述确定模块1203,还用于确定所述第三像素点集合和所述第一像素点集合之间的第二颜色相似度值,其中所述第二颜色相似度值小于1,且所述第二颜色相似度值越小则表征所述第三图像和所述第一图像之间场景变化越剧烈;
处理模块1204,用于在检测到所述第一颜色相似度值小于第一阈值且所述第二颜色相似度值小于第二阈值,生成用于触发所述变焦摄像机执行自动聚焦的指令;
其中所述第一颜色相似度值小于第一阈值且所述第二颜色相似度值小于第二阈值,则表征所述第三图像的图像清晰度不符合在所述第一焦距下的预设条件。
在一种可能的设计中,所述第三图像与所述第二图像之间的采集时刻差值小于所述第三图像与所述第一图像的采集时刻差值,且,所述第一阈值大于所述第二阈值。
在一种可能的设计中,所述第一颜色相似度值是指所述第三像素点集合的RGB分量与第二像素点集合的RGB分量之间的相关系数或巴氏系数。
在一种可能的设计中,所述处理模块还用于:
在确定所述第一颜色相似度值小于第一阈值且所述第二颜色相似度值小于第二阈值后,在所述第一焦距下,获取采集时刻晚于所述第三图像的多个图像;
根据所述第三图像和所述多个图像,确定较后帧图像与较前帧图像之间的多个颜色相似度值;
在检测到所述多个颜色相似度值的均值大于第三阈值,且所述多个图像中的最后一帧图像和所述第一图像之间的颜色相似度值小于第二阈值时,则生成所述指令。
在一种可能的设计中,所述多个图像的帧数由帧率和每帧图像预设的视觉停留时间确定。
在一种可能的设计中,所述多个图像的
在一种可能的设计中,所述变焦摄像机中包括电机模组;
所述处理模块1204还用于:
在生成用于触发所述变焦摄像机执行自动聚焦的指令之后,在所述电机模组接收到所述指令的时刻,获取第四图像;
响应于所述指令,驱动所述电机模组执行自动聚焦;
在所述电机模组结束所述指令对应的自动聚焦后,获取第五图像;
确定所述第四图像和所述第五图像之间的第三颜色相似度值;
在检测到所述第三颜色相似度值小于第四阈值,则再次生成用于触发所述变焦摄像机执行自动聚焦的指令。
在一种可能的设计中,所述确定模块1203还用于:
响应于所述第三像素点集合的RGB分量和所述第二像素点集合的RGB 分量,确定所述第三像素点集合的第一分量(R/G,B/G),和所述第二像素点集合的第二分量(R/G,B/G);根据皮尔森相关函数,计算所述第三像素点集合和所述第二像素点集合的相关系数。
在一种可能的设计中,所述确定模块1203还用于:
响应于所述第三像素点集合的颜色直方图和所述第二像素点集合的颜色直方图,根据巴氏函数,计算所述第三像素点集合和所述第二像素点集合的巴氏系数。
在一种可能的设计中,像素点集合表征图像的所有像素点,或图像中多个子区域中至少一个子区域。
在一种可能的设计中,所述第一颜色相似度值和所述第二颜色相似度值大于-1;或者,
所述第一颜色相似度值和所述第二颜色相似度值大于0。
本实施例提供的装置,可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,本实施例此处不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。
上述以软件功能模块的形式实现的集成的模块,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等) 或处理器(英文:processor)执行本申请各个实施例所述方法的部分步骤。
应理解,上述处理器可以是中央处理单元(英文:Central Processing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:Digital Signal Processor,简称:DSP)、专用集成电路(英文:Application Specific Integrated Circuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器,还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
总线可以是工业标准体系结构(Industry Standard Architecture,ISA)总线、外部设备互连(Peripheral Component,PCI)总线或扩展工业标准体系结构(ExtendedIndustry Standard Architecture,EISA)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,本申请附图中的总线并不限定仅有一根总线或一种类型的总线。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器 (PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (10)
1.一种变焦摄像机的聚焦方法,包括:
在第一焦距下:
依次获取第一图像、第二图像和第三图像,其中所述第一图像的图像清晰度是符合在所述第一焦距下的预设条件;
选择所述第一图像中第一像素点集合、所述第二图像中第二像素点集合、第三图像中第三像素点集合;
确定所述第三像素点集合和所述第二像素点集合之间的第一颜色相似度值,其中所述第一颜色相似度值小于1,且所述第一颜色相似度值越小则表征所述第三图像和所述第二图像之间场景变化越剧烈;
确定所述第三像素点集合和所述第一像素点集合之间的第二颜色相似度值,其中所述第二颜色相似度值小于1,且所述第二颜色相似度值越小则表征所述第三图像和所述第一图像之间场景变化越剧烈;
在检测到所述第一颜色相似度值小于第一阈值且所述第二颜色相似度值小于第二阈值,生成用于触发所述变焦摄像机执行自动聚焦的指令;
其中所述第一颜色相似度值小于第一阈值且所述第二颜色相似度值小于第二阈值,则表征所述第三图像的图像清晰度不符合在所述第一焦距下的预设条件。
2.根据权利要求1所述的方法,其中,所述第三图像与所述第二图像之间的采集时刻差值小于所述第三图像与所述第一图像的采集时刻差值,且,所述第一阈值大于所述第二阈值。
3.根据权利要求1或2所述的方法,其中,所述第一颜色相似度值是指所述第三像素点集合的RGB分量与第二像素点集合的RGB分量之间的相关系数或巴氏系数。
4.根据权利要求3所述的方法,其中,在确定所述第一颜色相似度值小于第一阈值且所述第二颜色相似度值小于第二阈值后,所述方法还包括:
在所述第一焦距下,获取采集时刻晚于所述第三图像的多个图像;
根据所述第三图像和所述多个图像,确定较后帧图像与较前帧图像之间的多个颜色相似度值;
在检测到所述多个颜色相似度值的均值大于第三阈值,且所述多个图像中的最后一帧图像和所述第一图像之间的颜色相似度值小于第二阈值时,则生成所述指令。
5.根据权利要求4所述的方法,其中,所述多个图像的帧数由帧率和每帧图像预设的视觉停留时间确定。
6.根据权利要求5所述的方法,其中,所述
7.根据权利要求6所述的方法,其中,所述变焦摄像机中包括电机模组;
在生成用于触发所述变焦摄像机执行自动聚焦的指令之后,所述方法还包括:
在所述电机模组接收到所述指令的时刻,获取第四图像;
响应于所述指令,驱动所述电机模组执行自动聚焦;
在所述电机模组结束所述指令对应的自动聚焦后,获取第五图像;
确定所述第四图像和所述第五图像之间的第三颜色相似度值;
在检测到所述第三颜色相似度值小于第四阈值,则再次生成用于触发所述变焦摄像机执行自动聚焦的指令。
8.根据权利要求3所述的方法,其中,所述方法还包括:
响应于所述第三像素点集合的RGB分量和所述第二像素点集合的RGB分量,确定所述第三像素点集合的第一分量(R/G,B/G),和所述第二像素点集合的第二分量(R/G,B/G);根据皮尔森相关函数,计算所述第三像素点集合和所述第二像素点集合的相关系数。
9.根据权利要求3所述的方法,其中,所述方法还包括:
响应于所述第三像素点集合的颜色直方图和所述第二像素点集合的颜色直方图,根据巴氏函数,计算所述第三像素点集合和所述第二像素点集合的巴氏系数。
10.一种变焦摄像机的聚焦装置,包括:
获取模块,用于在第一焦距下:
依次获取第一图像、第二图像和第三图像,其中所述第一图像的图像清晰度是符合在所述第一焦距下的预设条件;
选择模块,用于选择所述第一图像中第一像素点集合、所述第二图像中第二像素点集合、第三图像中第三像素点集合;
确定模块,用于确定所述第三像素点集合和所述第二像素点集合之间的第一颜色相似度值,其中所述第一颜色相似度值小于1,且所述第一颜色相似度值越小则表征所述第三图像和所述第二图像之间场景变化越剧烈;
所述确定模块,还用于确定所述第三像素点集合和所述第一像素点集合之间的第二颜色相似度值,其中所述第二颜色相似度值小于1,且所述第二颜色相似度值越小则表征所述第三图像和所述第一图像之间场景变化越剧烈;
处理模块,用于在检测到所述第一颜色相似度值小于第一阈值且所述第二颜色相似度值小于第二阈值,生成用于触发所述变焦摄像机执行自动聚焦的指令;
其中所述第一颜色相似度值小于第一阈值且所述第二颜色相似度值小于第二阈值,则表征所述第三图像的图像清晰度不符合在所述第一焦距下的预设条件。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210799095.2A CN115209051B (zh) | 2022-07-08 | 2022-07-08 | 变焦摄像机的聚焦方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210799095.2A CN115209051B (zh) | 2022-07-08 | 2022-07-08 | 变焦摄像机的聚焦方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115209051A CN115209051A (zh) | 2022-10-18 |
CN115209051B true CN115209051B (zh) | 2024-02-13 |
Family
ID=83580962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210799095.2A Active CN115209051B (zh) | 2022-07-08 | 2022-07-08 | 变焦摄像机的聚焦方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115209051B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007235369A (ja) * | 2006-02-28 | 2007-09-13 | Konica Minolta Photo Imaging Inc | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム |
WO2019095097A1 (zh) * | 2017-11-14 | 2019-05-23 | 深圳传音通讯有限公司 | 电子终端的身份验证方法与电子终端 |
CN110505406A (zh) * | 2019-08-26 | 2019-11-26 | 宇龙计算机通信科技(深圳)有限公司 | 背景虚化方法、装置、存储介质及终端 |
CN112601006A (zh) * | 2020-11-10 | 2021-04-02 | 山东信通电子股份有限公司 | 一种基于云台摄像机的跟踪聚焦方法及装置 |
CN113572958A (zh) * | 2021-07-15 | 2021-10-29 | 杭州海康威视数字技术股份有限公司 | 一种自动触发摄像机聚焦的方法及设备 |
WO2022143053A1 (zh) * | 2020-12-30 | 2022-07-07 | 浙江宇视科技有限公司 | 自动聚焦方法、装置、电子设备及介质 |
WO2022143052A1 (zh) * | 2020-12-29 | 2022-07-07 | 浙江宇视科技有限公司 | 火点检测方法、装置、电子设备和存储介质 |
-
2022
- 2022-07-08 CN CN202210799095.2A patent/CN115209051B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007235369A (ja) * | 2006-02-28 | 2007-09-13 | Konica Minolta Photo Imaging Inc | 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム |
WO2019095097A1 (zh) * | 2017-11-14 | 2019-05-23 | 深圳传音通讯有限公司 | 电子终端的身份验证方法与电子终端 |
CN110505406A (zh) * | 2019-08-26 | 2019-11-26 | 宇龙计算机通信科技(深圳)有限公司 | 背景虚化方法、装置、存储介质及终端 |
CN112601006A (zh) * | 2020-11-10 | 2021-04-02 | 山东信通电子股份有限公司 | 一种基于云台摄像机的跟踪聚焦方法及装置 |
WO2022143052A1 (zh) * | 2020-12-29 | 2022-07-07 | 浙江宇视科技有限公司 | 火点检测方法、装置、电子设备和存储介质 |
WO2022143053A1 (zh) * | 2020-12-30 | 2022-07-07 | 浙江宇视科技有限公司 | 自动聚焦方法、装置、电子设备及介质 |
CN113572958A (zh) * | 2021-07-15 | 2021-10-29 | 杭州海康威视数字技术股份有限公司 | 一种自动触发摄像机聚焦的方法及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN115209051A (zh) | 2022-10-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10997696B2 (en) | Image processing method, apparatus and device | |
JP7015374B2 (ja) | デュアルカメラを使用する画像処理のための方法および移動端末 | |
CN110149482B (zh) | 对焦方法、装置、电子设备和计算机可读存储介质 | |
JP6935587B2 (ja) | 画像処理のための方法および装置 | |
WO2021052487A1 (zh) | 扩展景深图像的获取方法、装置及电子设备 | |
WO2018201809A1 (zh) | 基于双摄像头的图像处理装置及方法 | |
JP7145208B2 (ja) | デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体 | |
US7595823B2 (en) | Providing optimized digital images | |
WO2019085618A1 (en) | Image-processing method, apparatus and device | |
CN107481186B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
CN109922275B (zh) | 曝光参数的自适应调整方法、装置及一种拍摄设备 | |
WO2021169686A1 (zh) | 一种拍摄控制方法、装置及计算机可读存储介质 | |
CN110248101B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 | |
WO2019119986A1 (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
CN108024058A (zh) | 图像虚化处理方法、装置、移动终端和存储介质 | |
CN106412423A (zh) | 一种对焦方法及装置 | |
CN110365897B (zh) | 图像修正方法和装置、电子设备、计算机可读存储介质 | |
CN107454328B (zh) | 图像处理方法、装置、计算机可读存储介质和计算机设备 | |
CN116308992A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN115209051B (zh) | 变焦摄像机的聚焦方法及装置 | |
CN113395434B (zh) | 一种预览图像虚化方法、存储介质及终端设备 | |
CN110072050B (zh) | 曝光参数的自适应调整方法、装置及一种拍摄设备 | |
CN115190242B (zh) | 聚焦触发方法及装置 | |
JP2019096364A (ja) | 画像評価装置 | |
CN110545384B (zh) | 对焦方法和装置、电子设备、计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |