CN115190242B - 聚焦触发方法及装置 - Google Patents
聚焦触发方法及装置 Download PDFInfo
- Publication number
- CN115190242B CN115190242B CN202210799132.XA CN202210799132A CN115190242B CN 115190242 B CN115190242 B CN 115190242B CN 202210799132 A CN202210799132 A CN 202210799132A CN 115190242 B CN115190242 B CN 115190242B
- Authority
- CN
- China
- Prior art keywords
- image
- color
- similarity
- color channel
- channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 238000003384 imaging method Methods 0.000 claims abstract description 51
- 239000013598 vector Substances 0.000 claims description 56
- 230000008859 change Effects 0.000 claims description 46
- 230000009467 reduction Effects 0.000 claims description 42
- 238000012545 processing Methods 0.000 claims description 25
- 239000003086 colorant Substances 0.000 claims description 3
- 238000011946 reduction process Methods 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 29
- 230000001960 triggered effect Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 16
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009928 pasteurization Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002688 persistence Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Studio Devices (AREA)
Abstract
本申请实施例提供一种聚焦触发方法及装置,该方法包括:获取当前时刻拍摄的第一图像的第一颜色特征、第二图像的第二颜色特征和历史图像的第三颜色特征,第二图像为第一图像的上一帧图像,历史图像为成像模组最近一次聚焦结束时拍摄的图像。根据第一颜色特征和第二颜色特征,确定第一图像相对于第二图像的第一颜色相似程度。根据第一颜色特征和第三颜色特征,确定第一图像相对于历史图像的第二颜色相似程度。根据第一颜色相似程度、第二颜色相似程度以及预设阈值,触发成像模组执行聚焦操作。本申请的技术方案可以有效提升聚焦触发的准确性。
Description
技术领域
本申请实施例涉及图像处理技术,尤其涉及一种聚焦触发方法及装置。
背景技术
自动聚焦是指调节摄像机中的成像模组,使得目标场景或者目标物体的成像清晰的过程,其中聚焦触发是自动聚焦中较为关键的一个环节。
目前,现有技术中在实现聚焦触发的时候,通常是比较两图像的对焦数值,其中对焦数值在相同场景下可以反映图像清晰度,在两图像的对焦数值变化较大的时候,确定触发一次聚焦。或者,还可以通过传感器获取图像中的物体和摄像机的物距,在确定两图像中的物距变化较大的时候,确定触发一次聚焦。
然而,对焦数值并不能反映不同场景下的图像清晰图,以及物距的测量受环境影响较大,因此现有技术中的实现方案存在聚焦触发的准确性较差的问题。
发明内容
本申请实施例提供一种聚焦触发方法及装置,以提升聚焦触发的准确性。
第一方面,本申请实施例提供一种聚焦触发方法,应用于摄像设备,所述摄像设备中包括成像模组,所述方法包括:
获取当前时刻拍摄的第一图像的第一颜色特征、第二图像的第二颜色特征和历史图像的第三颜色特征,所述第二图像为所述第一图像的上一帧图像,所述历史图像为所述成像模组最近一次聚焦结束时拍摄的图像;
根据所述第一颜色特征和所述第二颜色特征,确定所述第一图像相对于所述第二图像的第一颜色相似程度;
根据所述第一颜色特征和所述第三颜色特征,确定所述第一图像相对于所述历史图像的第二颜色相似程度;
根据所述第一颜色相似程度、所述第二颜色相似程度以及预设阈值,触发所述成像模组执行聚焦操作。
第二方面,本申请实施例提供一种聚焦触发装置,应用于摄像设备,所述摄像设备中包括成像模组,所述装置包括:
获取模块,用于获取当前时刻拍摄的第一图像的第一颜色特征、第二图像的第二颜色特征和历史图像的第三颜色特征,所述第二图像为所述第一图像的上一帧图像,所述历史图像为所述成像模组最近一次聚焦结束时拍摄的图像;
确定模块,用于根据所述第一颜色特征和所述第二颜色特征,确定所述第一图像相对于所述第二图像的第一颜色相似程度;
所述确定模块,还用于根据所述第一颜色特征和所述第三颜色特征,确定所述第一图像相对于所述历史图像的第二颜色相似程度;
处理模块,用于根据所述第一颜色相似程度、所述第二颜色相似程度以及预设阈值,触发所述成像模组执行聚焦操作。
本申请实施例提供一种聚焦触发方法及装置,该方法包括:获取当前时刻拍摄的第一图像的第一颜色特征、第二图像的第二颜色特征和历史图像的第三颜色特征,第二图像为第一图像的上一帧图像,历史图像为成像模组最近一次聚焦结束时拍摄的图像。根据第一颜色特征和第二颜色特征,确定第一图像相对于第二图像的第一颜色相似程度。根据第一颜色特征和第三颜色特征,确定第一图像相对于历史图像的第二颜色相似程度。根据第一颜色相似程度、第二颜色相似程度以及预设阈值,触发成像模组执行聚焦操作。通过根据当前时刻拍摄的第一图像的第一颜色特征,和上一时刻拍摄的第二图像的第二颜色特征,确定第一图像相对于第二图像的第一颜色相似程度,以及再通过第一颜色特征和上次聚焦结束的时刻拍摄的历史图像的第三颜色特征,确定第一图像相对于历史图像的第二颜色相似程度,之后再将第一颜色相似程度、第二颜色相似程度和预设阈值进行比较,以确定是否触发成像模组执行聚焦操作,因为颜色特征可以客观有效的反映图像信息,从而可以有效提升聚焦触发的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的聚焦的实现示意图;
图2为本申请实施例提供的摄像设备的结构示意图;
图3为本申请实施例提供的聚焦触发方法的流程图;
图4为本申请实施例提供的聚焦触发方法的流程图二;
图5为本申请实施例提供的确定中间颜色变化程度的实现示意图一;
图6为本申请实施例提供的确定中间颜色变化程度的实现示意图二;
图7为本申请实施例提供的确定中间颜色变化程度的实现示意图三;
图8为本申请实施例提供的聚焦触发方法的流程图三;
图9为本申请实施例提供的聚焦触发方法的流程图四;
图10为本申请实施例提供的图像块的实现示意图;
图11为本申请实施例提供的聚焦触发方法的流程图五;
图12为本申请实施例提供的颜色直方图的实现示意图;
图13为本申请实施例提供的颜色直方图信息的数组表示的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了更好的理解本申请的技术方案,下面对本申请所涉及的相关技术进行进一步的详细介绍。
自动聚焦是指摄像设备自主调节其成像模组,以使得拍摄的目标场景或者目标物体的成像清晰的过程。其中,摄像设备例如可以是摄像机、照相机、监控摄像头、具备摄像功能的终端设备等等,本实施例对摄像设备的具体实现不做限制,只要摄像设备可以具备摄像的功能即可。
下面首先结合图1对聚焦进行理解,图1为本申请实施例提供的聚焦的实现示意图。
如图1所示,假设在某一时刻,摄像设备拍摄到的画面如101所示,仅仅包括一个树木,那么当前拍摄的画面就会聚焦在这个树木上。
以及假设在之后的某一时刻,摄像设备所拍摄到的画面如102所示,除了树木之外还出现了一个人物,那么当前拍摄的画面就会聚焦在这个人物上。对比101和102可以理解的是,随着摄像设备所拍摄的画面的变化,就有可能会触发成像模组自动聚焦,以使得拍摄的场景或者物体的成像清晰。
其中,聚焦触发是自动聚焦技术中较为关键的一个环节,聚焦触发是指在满足一定条件的时候,使得成像模组进行一次聚焦的使能。可以理解的是,对于成像模组来说,明确在什么情况下需要触发聚焦,在什么情况下无需触发聚焦是直观重要的,聚焦触发的准确性直接影响着用户的使用体验。例如在目前的直播场景下,对聚焦触发的准确性有着更高的要求。
此处还需要对聚焦触发的适用场景进行说明,在一种可能的实现方式中,比如说可以在摄像设备录制视频的过程中,实时的进行聚焦触发的判断。或者,还可以是在摄像设备处于预拍摄状态的过程中,实时的进行聚焦触发的判断,其中预拍摄状态是指摄像设备的镜头保持开启,并且在进行画面的拍摄,但是还没有收到拍摄指令或者录制指令。
下面对现有技术中的聚焦触发的实现方式进行介绍。目前现有技术中在实现聚焦触发的时候,存在基于对焦数值(Focus Value,FV)的聚焦触发方法以及基于测距信息的聚焦触发方法,下面对这两种实现方式分别进行说明。
其中,FV可以反映图像的清晰程度,在相同场景下,FV的数值越大,代表图像越清晰,FV越小,代表图像越模糊。其中基于FV的聚焦触发方法,通常是比较两帧图像的FV的变化,来判断是否需要触发聚焦。在FV的变化较大的时候,会认为图像的清晰度发生了较大的变化,因此可以确定需要触发聚焦。
然而,FV的变化并不一定伴随着场景或者物距的变化,而场景或者物距的变化也不一定导致FV变化,也就是说FV的变化和场景、物距的变化并不存在绝对的关系。这是因为主流的FV计算方法本质上是统计画面细节,也就是说统计画面中的高频信息的总和,其中高频信息可以是二维图像梯度。
这就导致了FV是一个相对评价指标,也就是说在相同场景的前提下,FV可以有效的反映画面的清晰程度,但是针对不同的场景,FV并不能够有效的反应画面的清晰程度。
举例来说,一个画面细节比较少的清晰画面对应的FV是100,另一个画面细节比较多的清晰画面对应的FV是1000,但是这并不能说明前者的清晰度小于后者,只能表明前者的画面细节少于后者。也就是说,在不同场景中比较画面细节并不完全等同于清晰程度。
然而,针对聚焦触发的判断来说,通常是需要判定当前拍摄的画面是否发生了变化,其中画面发生变化并不一定针对相同场景的变化,因此基于FV这种较为相对的参数指标无法准确的实现聚焦触发。其中,基于FV的聚焦触发,在多细节的场景和少细节的场景进行切换的时候,可能会出现频繁的触发聚焦的情况。以及在多细节场景互相切换,或者少细节场景互相切换的时候,可能会出现完全不触发聚焦的情况,从而导致聚焦触发的准确性较差。
以及,基于测距信息的聚焦触发方法需要在摄像设备上增加一个额外的测距传感器,其中测距传感器用于实时的获取画面中的物体到摄像设备的距离,当检测到物体到摄像设备的距离的变化满足一定条件时候,会触发聚焦。
其中,基于测距信息的聚焦触发方法会在一定程度上,避免基于FV的触发方法的错误触发的缺陷。然而,基于测距信息的聚焦触发方法需要引入额外的测距传感器,会导致对设备的要求增加。测距传感器获取距离信息的时候,非常容易被干扰导致距离的误判,比如说场景中物体比较多,或者场景中存在一些会反射传感器发出的脉冲的物体,都会导致对距离的误判,因此基于测距信息的聚焦触发方法,同样存在聚焦触发的准确性较差的问题。
针对现有技术中聚焦触发的准确性较差的问题,本申请中提供了如下技术构思:根据图像的颜色特征,来确定图像的颜色特征的相似程度,之后根据相似程度和预设阈值来进行比较,以确定是否触发聚焦操作,其中颜色特征可以反映图像或者图像区域中的物体的表面性质,对图像的尺寸、方向、视角的依赖性都比较小,因此颜色特征的相似程度可以相对客观的指示图像的画面是否发生变化,从而可以相对客观的实现对聚焦操作的触发,以提升聚焦触发的准确性。
在上述介绍内容的基础上,下面结合具体的实施例对本申请提供的聚焦触发方法进行详细介绍,例如可以首先结合图2对本申请中提供的摄像设备的结构进行说明,图2为本申请实施例提供的摄像设备的结构示意图。
如图2所示,摄像设备中至少包括图像传感器、处理器、成像模组。
其中,图像传感器用于感知图像的颜色特征,处理器用于根据图像传感器感知的颜色特征,确定是否需要触发成像模组执行聚焦操作。
在一种可能的实现方式中,本申请中提供的聚焦触发方法中的相关数据处理、相关逻辑判断等等,可以是由上述介绍的处理器执行的。
以及在实际实现过程中,摄像设备中还可以包括其余的用于支持其正常运行的单元,本实施例对此不做限制。
下面结合图3对本申请提供的聚焦触发方法进行详细介绍,图3为本申请实施例提供的聚焦触发方法的流程图。
如图3所示,该方法包括:
S301、获取当前时刻拍摄的第一图像的第一颜色特征、第二图像的第二颜色特征和历史图像的第三颜色特征,第二图像为第一图像的上一帧图像,历史图像为成像模组最近一次聚焦结束时拍摄的图像。
在本实施例中,图像传感器可以感知图像的颜色特征,之后处理器可以获取图像传感器所感知的颜色特征。在一种可能的实现方式中,颜色特征例如可以包括图像的亮度信息,以及颜色特征还例如可以包括图像的颜色直方图,本实施例对颜色特征的具体实现不做限制,凡是可以反映图像的颜色的相关特征信息均可以作为本实施例中的颜色特征。
以及具体的,本实施例中可以获取第一图像的第一颜色特征,其中第一图像是当前时刻所拍摄的第一图像,此处的当前时刻是指需要进行聚焦触发的判断的时刻。
在一种可能的实现方式中,比如说可以以预设时长为周期来进行聚焦触发的判断,则可以将预设周期到达时对应的时刻依次确定为需要进行聚焦触发的判断的时刻。或者,因为聚焦触发的判断会持续一段时间,因此还可以是将没有处于聚焦触发的判断流程中的各个时刻,依次确定为需要进行聚焦触发的判断的时刻。本实施例中以任一次聚焦触发的判断流程为例,首先获取需要进行聚焦触发的判断的当前时刻所拍摄的第一图像,并且获取第一图像的第一颜色特征。
以及,本实施例中还会获取第二图像的第二颜色特征,其中,第二图像是第一图像的上一帧图像。
以及,本实施例中还会获取历史图像的第三颜色特征,其中,历史图像是成像模组最近一次聚焦结束的时候所拍摄的图像。
在一种可能的实现方式中,在成像模组每一次聚焦结束之后,摄像设备中的处理器都可以将聚焦结束时所拍摄的图像,存储在摄像设备中的存储单元中,则在需要的时候例如可以直接从存储单元中获取最近一次聚焦结束是所拍摄的图像。
S302、根据第一颜色特征和第二颜色特征,确定第一图像相对于第二图像的第一颜色相似程度。
在获取第一颜色特征和第二颜色特征之后,例如可以根据第一颜色特征和第二颜色特征,确定第一图像相对于第二图像的第一颜色相似程度。可以理解的是,第一颜色相似程度实际上反映的就是,当前时刻所拍摄的第一图像相较于上一时刻所拍摄的第二图像的颜色特征的相似程度。
S303、根据第一颜色特征和第三颜色特征,确定第一图像相对于历史图像的第二颜色相似程度。
以及,在获取第一颜色特征和第三颜色特征之后,还可以根据第一颜色特征和第三颜色特征,确定第一图像相对于历史图像的第二颜色相似程度。可以理解的是,第二颜色相似程度实际上反映的就是,当前时刻所拍摄的第一图像相较于聚焦结束时所拍摄的历史图像的颜色特征的相似程度。
S304、根据第一颜色相似程度、第二颜色相似程度以及预设阈值,触发成像模组执行聚焦操作。
可以理解的是,第一颜色相似程度反映了当前时刻拍摄的图像相对于上一时刻拍摄的图像所发生的变化,可以指示拍摄到的画面的实时变化情况。
因此之后例如可以将第一颜色相似程度和预设阈值进行比较,从而确定拍摄到的画面的颜色特征是否比较相似,进而可以确定画面的实时变化情况是否比较大。在一种可能的实现方式中,在确定画面的实时变化情况比较大的时候,比如说可以触发成像模组执行聚焦操作。
以及第二颜色相似程度反映的是当前时刻拍摄的图像相对于最近一次聚焦结束的时刻拍摄的图像所发生的变化,这个可以指示拍摄到的画面在一段时间内的变化情况。
因此之后例如可以将第二颜色相似程度和预设阈值进行比较,从而确定拍摄到的画面的颜色特征是否比较相似,进而可以确定画面在一段时间内的变化情况是否比较大。在一种可能的实现方式中,在确定画面在一段时间的变化情况比较大的时候,比如说可以触发成像模组执行聚焦操作。
也就是说,例如可以将第一颜色相似程度、第二颜色相似程度和预设阈值进行比较,在确定第一颜色相似程度小于预设阈值,和/或,在确定第二颜色相似程度小于预设阈值的时候,确定图像的颜色特征发生了较大的变化,进而确定触发成像模组执行聚焦操作。
可以理解的是,摄像设备所拍摄到的画面的改变,通常伴随着图像的颜色特征的变化,而图像颜色特征的变化通常是比较客观的,不受画面细节、场景等等问题的影响,因此基于颜色特征的变化来触发成像模组执行聚焦操作,可以有效的提升聚焦触发的准确性。
本申请实施例提供的聚焦触发方法,包括:获取当前时刻拍摄的第一图像的第一颜色特征、第二图像的第二颜色特征和历史图像的第三颜色特征,第二图像为第一图像的上一帧图像,历史图像为成像模组最近一次聚焦结束时拍摄的图像。根据第一颜色特征和第二颜色特征,确定第一图像相对于第二图像的第一颜色相似程度。根据第一颜色特征和第三颜色特征,确定第一图像相对于历史图像的第二颜色相似程度。根据第一颜色相似程度、第二颜色相似程度以及预设阈值,触发成像模组执行聚焦操作。通过根据当前时刻拍摄的第一图像的第一颜色特征,和上一时刻拍摄的第二图像的第二颜色特征,确定第一图像相对于第二图像的第一颜色相似程度,以及再通过第一颜色特征和上次聚焦结束的时刻拍摄的历史图像的第三颜色特征,确定第一图像相对于历史图像的第二颜色相似程度,之后再将第一颜色相似程度、第二颜色相似程度和预设阈值进行比较,以确定是否触发成像模组执行聚焦操作,因为颜色特征可以客观有效的反映图像信息,从而提升聚焦触发的准确性。
在上述介绍的内容的基础上,下面结合图4至图7对本申请提供的聚焦触发方法进行进一步的详细介绍。图4为本申请实施例提供的聚焦触发方法的流程图二,图5为本申请实施例提供的确定中间颜色变化程度的实现示意图一,图6为本申请实施例提供的确定中间颜色变化程度的实现示意图二,图7为本申请实施例提供的确定中间颜色变化程度的实现示意图三。
如图4所示,该方法包括:
S401、获取当前时刻拍摄的第一图像的第一颜色特征、第二图像的第二颜色特征和历史图像的第三颜色特征,第二图像为第一图像的上一帧图像,历史图像为成像模组最近一次聚焦结束时拍摄的图像。
S402、根据第一颜色特征和第二颜色特征,确定第一图像相对于第二图像的第一颜色相似程度。
S403、根据第一颜色特征和第三颜色特征,确定第一图像相对于历史图像的第二颜色相似程度。
其中,S401~S403的实现方式与上述实施例介绍的S301~S303的实现方式类似,此处不再赘述。
S404、判断是否满足初判触发条件,若是,执行S405,若否,执行S401。
在获取到第一颜色相似程度和第二颜色相似程度之后,可以首先判断当前的这些颜色特征是否满足初判触发条件。
其中,初判触发条件可以为:第一颜色相似程度小于第一预设阈值,或者,第二颜色相似程度小于第二预设阈值。
在一种可能的实现方式中,若确定不满足初判触发条件,也就是说第一颜色相似程度和第二颜色相似程度均大于或等于各自对应的预设阈值,则可以重复执行上述的S401,也就是说获取摄像设备在最新的当前时刻所拍摄的第一图像,以及获取最新拍摄的第一图像对应的第二图像和历史图像,并根据这些图像的颜色特征重复执行上述操作,进而判断新获取的图像是否满足初判触发条件。
S405、获取第一图像和第一张中间图像之间的中间颜色相似程度。
在另一种可能的实现方式中,若确定满足初判触发条件,也就是说第一颜色相似程度小于第一预设阈值,或者,第二颜色相似程度小于第二预设阈值,则可以初步确定,当前的第一图像相较于第二图像或者历史图像,其颜色特征的相似程度是比较小的,那么也就是说第一图像相较于第二图像或者历史图像,发生了较大的变化。
为了进一步的有效提升聚焦触发的准确性,还可以通过连续的多帧来确定当前颜色特征的相似程度是否稳定,也就是说确定连续几帧图像的颜色特征是否稳定下来,只有连续多帧的图像的颜色特征稳定下来了,才能够保证聚焦是有效的,否则的话,若颜色特征一直在持续的变化,此时即使触发了聚焦,作用也不是很大,可能还是需要频繁的进行多次无效的聚焦。
因此本实施例中可以根据第一图像以及在拍摄第一图像之后拍摄的至少一张中间图像,来判断图像的颜色特征的相似程度是否稳定。
在一种可能的实现方式中,例如可以首先获取在拍摄第一图像之后拍摄的第一张中间图像,之后获取第一图像和第一张中间图像之间的中间颜色相似程度。类似,可以根据第一图像的第一颜色特征和第一张中间图像的颜色特征,确定第一图像和第一张中间图像之间的中间颜色相似程度。
比如说如图5所示,图5中的中间图像1实际上就是第一张中间图像,则可以获取第一图像和中间图像1之间的中间颜色相似程度1。
本实施例中在判断图像的相似程度是否稳定的时候,实际上是确定从第一图像开始,是否存在连续K帧图像的颜色特征的相似程度的总和大于或等于K倍的第三预设阈值。
在一种可能的实现方式中,为了便于处理,例如可以将确定的中间颜色相似程度存储在队列中,其中队列的长度为K。之后判断队列中存储的中间颜色相似程度的总和是否大于或等于K倍的的预设阈值。
例如可以参照图5进行理解,在获取到中间颜色相似程度1之后,可以将中间颜色相似程度1存储在队列A的队尾。
S406、判断i是否小于预设数量,若是,则执行S407,若否,则确定相似程度不稳定,并执行S401。
在获取到第一图像和第一张中间图像的中间颜色相似程度之后,还需要进一步的获取后续的中间图像,并且确定各个中间图像和自己的上一帧中间图像的颜色特征的相似程度。
但是还需要说明的是,因为判断相似程度是否稳定的阶段不能持续的太久,持续的太久就会导致长时间的无法触发聚焦。因此,当一直不满足连续K帧图像的颜色特征的相似程度的总和大于或等于K倍的预设阈值这个条件的时候,就应该退回到重新获取第一图像的操作,因此本实施例可以设置预设数量,其中预设数量可以理解为最长等待帧数N。
以及本实施例中的i表示的是当前获取到的中间图像的张数,i的取值可以依次为1、2、3、…,因此可以将i和预设数量进行比较。
在一种可能的实现方式中,若确定i小于预设数量,则表示当前获取的中间图像的数量还没有到达预设数量,因此可以继续当前的判断连续多帧的相似程度是否稳定的流程。
在另一种可能的实现方式中,若确定i大于或等于预设数量,则表示当前获取的中间图像的数量已经到达预设数量了,因此就不能再继续当前的判断流程了,在这种情况下,就需要重复执行上述的S401,也就是说退回到重新获取第一图像的步骤,并重复上述介绍的流程。
此处对确定预设数量,也就是最长等待帧数N,的可能的实现方式进行介绍。
假设视觉暂留时间为T(单位为毫秒),当前帧率为F时,最长等待帧数N的确定例如可以满足如下公式一:
其中floor()表示向下取整。比如取0.4秒的视觉停留时间,当帧率为30fps时,最长等待帧数就是12帧。
在实际实现过程中,最长等待帧数N可以根据上述公式一进行确定,或者在上述公式一的基础上添加相关的参数,或者根据上述公式一的恒等变形得到的公式,均可以用于确定本实施例中的最长等待帧数。或者,最长等待帧数N也可以根据实际需求自行进行设置,本实施例对此不做限制。其中最长等待帧数就是本实施例中的预设数量。
S407、获取第i张中间图像和第i+1张中间图像之间的中间颜色相似程度,并获取最近K次确定得到的中间颜色相似程度之和。
在一种可能的实现方式中,在确定i小于预设数量的时候,就表示当前等待的帧数还没有超过最长等待帧数,因此可以继续当前的判断流程。
在这种情况下,可以获取第i张中间图像和第i+1张中间图像之间的中间颜色相似程度,其中中间颜色相似程度的获取方式与上述介绍的类似,此处不再赘述。
之后,可以获取最近K次确定得到的中间颜色相似程度之和。可以理解的是,有可能最近确定得到的中间颜色相似程度的数量是大于等于K的,则可以直接获取最近K次确定得到的中间颜色相似程度之和。但是也可能最近确定得到的中间颜色相似程度的数量是小于K的,在这种情况下,直接获取最近多次确定得到的中间颜色相似程度之和即可,也就是说有几个中间颜色相似程度,就算几个的和。
S408、判断最近K次确定得到的中间颜色相似程度之和是否大于或等于K倍的第三预设阈值,若是,则执行S409,若否,则将i+1,并执行S406。
之后,可以判断最近K次确定得到的中间颜色相似程度之和是否大于或等于K倍的第三预设阈值。
在一种可能的实现方式中,若确定大于或等于K倍的第三预设阈值,则可以确定当前连续多帧的图像的颜色特征都是比较相似的,也就是说连续多帧的图像的颜色特征的变化稳定下来了。
在另一种可能的实现方式中,若确定不大于K倍的第三预设阈值,则可以继续获取下一帧中间图像,也就是说将i+1,之后重复执行上述的S406,直至i小于预设数量,且中间颜色相似程度之和大于或等于K倍的第三预设阈值时,则可以确定连续多帧图像的颜色特征的相似程度稳定了;或者,直至i大于或等于预设数量,且中间颜色相似程度之和仍然小于K倍的第三预设阈值时,此时就可以确定连续多帧图像的颜色特征的相似程度仍然是不稳定的,然后退回到上述的S401重复执行。
比如说可以结合图6对上述介绍的这个循环判断的过程进行理解。其中,i的取值是从1开始,依次向后取值,也就是说初始情况下i等于1,以及假设预设数量N为12,K等于6。
如图6所示,当i=1的时候,可以首先获取第1张中间图像和第2张中间图像之间的中间颜色相似程度,也就是图6中所示的中间颜色相似程度2。
之后,例如可以将中间颜色相似程度2存储在队列A中,可以理解的是,队列A中包含的,实际上就是最近K次确定得到的中间颜色相似程度。此时队列A中包含中间颜色相似程度1和中间颜色相似程度2,那么可以确定中间颜色相似程度1和中间颜色相似程度2之和,然后判断这个求和的值是否大于或等于K倍的第三预设阈值。假设求和的值不大于K倍的第三预设阈值,则可以将i+1,也就是说此时i=2。
如图6所示,当i=1的时候,可以获取第2张中间图像和第3张中间图像之间的中间颜色相似程度,也就是图6中所示的中间颜色相似程度3。
之后,例如可以将中间颜色相似程度3存储在队列A中,此时队列A中包含中间颜色相似程度1、中间颜色相似程度2、中间颜色相似程度3,那么可以确定这3个中间颜色相似程度之和,然后判断这个求和的值是否大于或等于K倍的第三预设阈值。
持续执行上述操作,如图6所示,当i=5的时候,可以获取第5张中间图像和第6张中间图像之间的中间颜色相似程度,也就是图6中所示的中间颜色相似程度6。
之后,例如可以将中间颜色相似程度6存储在队列A中,此时队列A中包含中间颜色相似程度1、中间颜色相似程度2、中间颜色相似程度3、中间颜色相似程度4、中间颜色相似程度5、中间颜色相似程度6,那么可以确定这6个中间颜色相似程度之和,然后判断这个求和的值是否大于或等于K倍的第三预设阈值。
在一种可能的实现方式中,若图6中的队列A中包括的这6个中间颜色相似程度之和大于或等于K倍的第三预设阈值,则可以确定图像的颜色特征的相似程度是稳定的。
或者,若图6中的队列A中包括的这6个中间颜色相似程度之和不大于K倍的第三预设阈值,则可以继续将i+1,也就是说此时i=6。
然后参照图7进行理解,如图7所示,当i=6的时候,可以获取第6张中间图像和第7张中间图像之间的中间颜色相似程度,也就是图7中所示的中间颜色相似程度7。
之后,例如可以将中间颜色相似程度7存储在队列A中,因为队列A的长度就是6,也就是说此时队列A已经满了,因此参照图7,将队首的中间颜色相似程度1出队,然后将中间颜色相似程度7存储在队尾。此时队列A中包含中间颜色相似程度2、中间颜色相似程度3、中间颜色相似程度4、中间颜色相似程度5、中间颜色相似程度6、中间颜色相似程度7,那么可以确定这6个中间颜色相似程度之和,然后判断这个求和的值是否大于或等于K倍的第三预设阈值。
在一种可能的实现方式中,若图7中的队列A中包括的这6个中间颜色相似程度之和大于或等于K倍的第三预设阈值,则可以确定图像的颜色特征的相似程度稳定。
或者,求和值若仍然不大于K倍的第三预设阈值,则仍然重复执行上述操作,直至i小于预设数量N的情况下,队列A中的中间颜色相似程度之和大于或等于K倍的第三预设阈值;或者直至i大于或等于预设数量N,此时可以确定图像的颜色特征的相似程度还是不稳定,然后退回S401重复执行。
S409、确定图像的颜色特征的相似程度稳定。
S410、获取摄像设备最新拍摄的第三图像,并根据第三图像的颜色特征和第三颜色特征,确定第三颜色相似程度。
在确定图像的颜色特征的相似程度稳定之后,再一次进入到最终的复判环节,以保证最终的聚焦触发的准确性。
在复判环节,可以获取当前时刻摄像设备最新拍摄的第三图像,然后根据第三图像的颜色特征,和历史图像的第三颜色特征,来确定第三图像相对于历史图像的第三颜色相似程度。
S411、判断第三颜色相似程度是否小于第二预设阈值,若是,则执行S412,若否,则执行S401。
之后,可以判断第三颜色相似程度是否小于第二预设阈值。若确定第三颜色相似程度小于第二预设阈值,则当前可以确定图像的颜色特征确实发生了较大的变化,因此可以触发成像模组执行聚焦操作。
或者,若确定第三颜色相似程度大于或等于第二预设阈值,则可以确定在复判阶段确定图像的颜色特征是比较相似的,没有发生较大变化,此时同样需要退回到上述的S401重复执行。
S412、触发成像模组执行聚焦操作。
本申请实施例提供的聚焦触发方法,通过将第一颜色相似程度和第二颜色相似程度与预设阈值进行比较,在确定第一颜色相似程度小于第一预设阈值,或者在确定第二颜色相似程度小于第二预设阈值的时候,可以初步的确定图像的颜色特征发生了较大的变化,其中根据第一颜色相似程度和第二颜色相似程度都与预设阈值进行比较,可以有效的提升确定图像的颜色特征是否发生变化的全面性。以及在初步确定图像的颜色特征发生较大的变化之后,会进入到判断变化是否稳定的阶段,在此阶段,会判断是否存在连续K帧图像的颜色特征的累计变化大于或等于K倍的第三预设阈值,在确定大于或等于K倍的第三预设阈值的时候,才会进入到下一个复判的阶段,从而可以有效的提升触发聚焦的准确性和有效性,避免在图像的变化还没有稳定的时候,就触发进行多次无效的聚焦。同时,在判断是否稳定的阶段,还设置有最大等待帧数,从而可以避免判断变化是否稳定的等待时间过长,导致长时间无法触发聚焦。以及,在复判的阶段,会获取摄像设备最新获取的第三图像,然后再确定第三图像相对于历史图像的第三颜色相似程度,在确定第三颜色相似程度小于第二预设阈值的时候,才触发成像模组执行聚焦操作,从而可以有效的有效提升聚焦触发的准确性。
在上述实施例的基础上,还需要进一步说明的是,在触发成像模组执行聚焦操作之后,因为聚焦操作本身也需要一定的时长,因此在聚焦操作的过程中,有可能摄像设备拍摄的画面还会发生变化,因此本实施例中在触发成像模组执行聚焦操作之后,还可以再进一步的判断是否需要再次触发聚焦操作,其中,再次触发聚焦操作的过程可以理解为重启聚焦,下面结合图8对重启聚焦的实现过程进行说明。图8为本申请实施例提供的聚焦触发方法的流程图三。
如图8所示,该方法包括:
S801、获取聚焦操作结束时拍摄的结束图像,以及获取聚焦操作开始时拍摄的开始图像。
为了确定在聚焦的过程中,画面是否发生了较大的变化,本实施例中可以获取聚焦操作结束的时候所拍摄的结束图像,以及还可以获取聚焦操作还是的时候所拍摄的开始图像。
S802、根据结束图像的颜色特征和开始图像的颜色特征,确定结束图像相对于开始图像的颜色特征的颜色相似程度。
之后,可以获取结束图像的颜色特征和开始图像的颜色特征,然后根据结束图像的颜色特征和开始图像的颜色特征,确定结束图像相对于开始图像的颜色特征的相似程度。
S803、判断颜色特征相似程度是否小于第四预设阈值,若是,则执行S804,若否,则执行S805。
之后,判断结束图像相对于开始图像的颜色特征的相似程度是否小于第四预设阈值。
S804、在重启聚焦的次数小于预设次数的时候,再次触发成像模组执行聚焦操作,并将重启聚焦的次数加1。
在一种可能的实现方式中,若确定结束图像相对于开始图像的颜色特征的相似程度小于第四预设阈值,则表示在聚焦操作的过程中,摄像设备拍摄的画面的颜色特征相似性比较小,也就是说颜色特征发生了较大的变化,则可以确定当前需要对聚焦操作进行重启,也就是说重新执行一次聚焦操作。
同样的,因为聚焦操作也不能无限制的进行重启,因此可以首先判断重启聚焦的次数是否小于预设此时,在确定重启聚焦的次数小于预设次数的时候,可以再次触发成像模组执行聚焦操作,并且将重启聚焦的次数加1,然后重复执行上述的S801,直至重启聚焦的次数大于或等于预设次数,或者直至聚焦操作开始时的图像和结束时的图像的颜色特征的相似程度大于第四预设阈值。
其中,如果确定重启聚焦的次数大于或等于预设次数的话,则表示经过了很多次的重启聚焦,聚焦前后的画面还是在不停的变化,针对这种情况,可以停止当前的重启聚焦的操作,也就是说确定这一次的聚焦流程结束,直接重复执行上述的实施例介绍的,判断是否需要触发聚焦的过程。
S805、确定一次聚焦流程结束。
在另一种可能的实现方式中,若确定结束图像相对于开始图像的颜色特征的相似程度大于第四预设阈值,则表示在聚焦操作的过程中,摄像设备拍摄的画面的颜色特征并没有发生很大的变化,则可以确定当前这一次的聚焦流程就结束了,然后重复执行上述的实施例介绍的,判断是否需要触发聚焦的过程。
本申请实施例提供的聚焦触发方法,通过在聚焦操作结束之后,根据聚焦操作开始时的图像和聚焦操作结束时的图像的颜色特征的相似程度,确定在聚焦操作的过程中,摄像设备拍摄到的画面的颜色特征是否发生了较大的变化,如果是的话,则可以在有限次数内,重新触发成像模组执行聚焦操作。从而可以保证针对聚焦过程中画面变化的这种情况,快速的再次触发聚焦,而无需再执行上述的多个阶段的判断流程,以保证聚焦触发的及时性和有效性。以及,在多次重新触发聚焦之后,如果聚焦前后的画面的颜色特征还是在变化,这种情况下,就可以直接确定当前的聚焦流程结束,从而可以避免摄像设备长时间的进行聚焦重启。
在上述介绍的各个实施例的基础上,可以理解的是,本实施例中可以根据两帧图像的颜色特征来确定这两帧图像之间的颜色相似程度,下面以根据第一图像的第一颜色特征和第二图像的第二颜色特征,确定第一图像相对于第二图像的第一颜色相似程度的实现过程为例,进行说明,其中的任意两帧图像的实现方式都是类似的,下面不再进行赘述。
以及还需要说明的是,本实施例中的颜色特征可以包括图像的亮度信息,还可以包括图像的颜色直方图信息,针对这两种颜色特征,确定颜色相似程度的实现方式存在一定的差异,下面针对这两种颜色特征,确定颜色相似程度的实现方式分别进行介绍。
首先结合图9至图10对颜色特征是亮度信息的实现方式进行介绍,图9为本申请实施例提供的聚焦触发方法的流程图四,图10为本申请实施例提供的图像块的实现示意图。
如图9所示,该方法包括:
S901、针对第一图像和第二图像中的任一个图像块,对图像块的亮度向量进行降维处理,得到图像块对应的二维向量,二维向量中包括R颜色通道的降维后的亮度值以及B颜色通道的降维后的亮度值。
首先对本实施例中的颜色特征进行介绍,在本实施例中,摄像设备中的处理器可以将拍摄的图像划分为多个图像块,例如可以将拍摄的图像划分为A×B个图像块,其中A和B的设置可以根据实际需求进行选择。
其中,颜色特征可以包括图像中的各个图像块的亮度向量,针对任意一个图像块的亮度向量,亮度向量都包括该图像块在多个颜色通道下的亮度值。其中,亮度值可以是该图像块中的各个像素点在该颜色通道下的颜色通道值的平均值。
例如可以结合图10进行理解,如图10所示,例如可以将图像划分为4×4的图像块,假设第一个图像块中包括图10所示的25个像素点。
假设当前的多个颜色通道包括R颜色通道、G颜色通道、B颜色通道,则该图像块的亮度向量就包括该图像块在R颜色通道下的亮度值、B颜色通道下的亮度值、G颜色通道下的亮度值。以R颜色通道为例,图10中所示的第一个图像块在R颜色通道下的亮度值,就是第一个图像块中的25个像素点各自的R颜色通道值的平均值。针对其余的颜色通道、其余的图像块也类似,此处不再赘述。
本实施例中针对第一图像会划分得到多个图像块,以及针对第二图像也会划分得到多个图像块,针对第一图像和第二图像中的任意一个图像块,都会进行相同的处理,下面以任一个图像块为例进行说明。
针对任一个图像块,会对该图像块的亮度向量进行降维处理,从而得到该图像块对应的二维向量,在二维向量中就包括R颜色通道的降维后的亮度值,以及B颜色通道的降维后的亮度值。
在一种可能的实现方式中,针对任一个图像块,若该图像块的亮度向量包括G颜色通道的亮度值、R颜色通道的亮度值、B颜色通道的亮度值,则将R颜色通道的亮度值和G颜色通道的亮度值的比值,确定为R颜色通道的降维后的亮度值,以及将B颜色通道的亮度值和G颜色通道的亮度值的比值,确定为B颜色通道的降维后的亮度值,以得到图像块对应的二维向量。
比如说针对第j个图像块,该图像块的亮度向量包括:Rj、Bj、Gj,其中,Rj为第j个图像块在R颜色通道的亮度值,Bj为第j个图像块在B颜色通道的亮度值,Gj为第j个图像块在G颜色通道的亮度值。其中,降维处理的过程可以参照如下公式二进行理解:
其中,R′j为R颜色通道的降维后的亮度值,B′j为B颜色通道的降维后的亮度值,那么第j个图像块的二维向量就包括R′j和B′j。
其中,因为人眼对G颜色通道的变化更加敏感,因此将G向量作为基础将RGB三维向量的降为R′,B′的二维向量,一方面可以降低计算难度,减小数据量,另一方面可以保证基于降维后的向量确定颜色程度的变化,可以更准确的反映出颜色变化的变化情况。
或者,若亮度向量包括Gr颜色通道的亮度值、Gb颜色通道的亮度值、R颜色通道的亮度值、B颜色通道的亮度值,则将R颜色通道的亮度值和Gr颜色通道的亮度值的比值,确定为R颜色通道的降维后的亮度值,以及将B颜色通道的亮度值和Gb颜色通道的亮度值的比值,确定为B颜色通道的降维后的亮度值,以得到图像块对应的二维向量。
同样的,比如说针对第j个图像块,该图像块的亮度向量包括:Rj、Bj、Grj、Gbj,其中,Rj为第j个图像块在R颜色通道的亮度值,Bj为第j个图像块在B颜色通道的亮度值,Grj为第j个图像块在Gr颜色通道的亮度值,Gbj为第j个图像块在Gb颜色通道的亮度值。其中,降维处理的过程可以参照如下公式三进行理解:
其中,R′j为R颜色通道的降维后的亮度值,B′j为B颜色通道的降维后的亮度值,那么第j个图像块的二维向量就包括R′j和B′j。
在一种可能的实现方式中,比如说可以用v(1)来表示第一图像的颜色特征,用v(2)来表示第二图像的颜色特征,其中v(1)就是由上述介绍的第一图像中的各个图像块的降维后的R′向量和B′向量组成的,可以表示为v(1)=[R′(1),B′(1)]。以及,其中v(2)就是由上述介绍的第二图像中的各个图像块的降维后的R′向量和B′向量组成的,可以表示为v(2)=[R′(2),B′(2)]。
S902、根据第一图像中各个图像块的R颜色通道的降维后的亮度值,以及第二图像中各个图像块的R颜色通道的降维后的亮度值,确定第一图像和第二图像在R颜色通道上的第一相关性。
在进行降维处理,得到各个图像块的二维向量之后,可以根据第一图像块中的各个图像块的R颜色通道的降维后的亮度值,以及第二图像中各个图像块的R颜色通道的降维后的亮度值,确定第一图像和第二图像在R颜色通道上的第一相关性。
在一种可能的实现方式中,第一相关性比如说可以是皮尔森相关系数,其中第一相关性比如说可以满足如下公式四:
其中,Rj′(1)为第一图像的第j个图像块在R颜色通道的降维后的亮度值,为第一图像中的各个图像块在R颜色通道的降维后的亮度值的平均值,Rj′(2)为第二图像的第j个图像块在R颜色通道的降维后的亮度值,/>为第二图像中的各个图像块在R颜色通道的降维后的亮度值的平均值,σR′为第一图像和第二图像在R颜色通道上的第一相关性。
S903、根据第一图像中各个图像块的B颜色通道的降维后的亮度值,以及第二图像中各个图像块的B颜色通道的降维后的亮度值,确定第一图像和第二图像在B颜色通道上的第二相关性。
以及在进行降维处理,得到各个图像块的二维向量之后,可以根据第一图像块中的各个图像块的B颜色通道的降维后的亮度值,以及第二图像中各个图像块的B颜色通道的降维后的亮度值,确定第一图像和第二图像在B颜色通道上的第一相关性。
在一种可能的实现方式中,第二相关性比如说可以是皮尔森相关系数,其中第二相关性比如说可以满足如下公式五:
其中,Bj′(1)为第一图像的第j个图像块在B颜色通道的降维后的亮度值,为第一图像中的各个图像块在B颜色通道的降维后的亮度值的平均值,Bj′(2)为第二图像的第j个图像块在B颜色通道的降维后的亮度值,/>为第二图像中的各个图像块在B颜色通道的降维后的亮度值的平均值,σB′为第一图像和第二图像在B颜色通道上的第二相关性。
S904、将第一相关性和第二相关性的平均值,确定为第一图像相对于第二图像的第一颜色相似程度。
在得到第一相关性和第二相关性之后,可以将第一相关性和第二相关性的平均值,确定为第一图像相对于第二图像的第一颜色相似程度。
比如说可以参照如下公式:其中,σ就是第一图像相对于第二图像的第一颜色相似程度。
其中,第一颜色相似程度的取值范围例如可以为-1到1,对于图像的颜色特征的相似程度,第一颜色相似程度和图像的相似性成正比。第一颜色相似程度σ的值越接近1,就说明第一图像和第二图像越相似。以及,第一颜色相似程度σ的值越接近-1,就说明第一图像和第二图像差异越大,其中第一颜色相似程度σ的取值为负数的时候,可以理解为第一图像相对于第二图像,画面发生了剧烈的变化。
本申请实施例提供的聚焦触发方法,通过将第一图像和第二图像分别划分为多个图像块,之后获取各个图像块的在各个颜色通道的亮度值,得到多个图像块的亮度向量。进一步的,会针对亮度向量进行降维处理,得到图像块的二维向量,其中降维处理的实现过程中,是以G颜色通道的亮度值为基础进行降维的,从而可以有效的捕捉到图像颜色特征的变化,同时还可以降低数据处理的难度。以及后续会针对降维后的R颜色通道和B颜色通道,分别计算第一图像和第二图像的在这两个颜色通道上的相关性,之后再将第一相关性和第二相关性的平均值,确定为第一图像相对于第二图像的第一颜色相似程度,从而可以有效的基于亮度向量这个颜色特征,确定两个图像之间的颜色特征的相似程度。
以及,本实施例中的颜色特征还可以包括图像中的各个颜色通道的颜色直方图信息,下面首先结合图11至图13对颜色特征是亮度信息的实现方式进行介绍,图11为本申请实施例提供的聚焦触发方法的流程图五,图12为本申请实施例提供的颜色直方图的实现示意图,图13为本申请实施例提供的颜色直方图信息的数组表示的示意图。
如图11所示,该方法包括:
S1101、针对任一个颜色通道,根据第一颜色直方图信息,以及第二颜色直方图信息,确定第一颜色直方图信息和第二颜色直方图信息之间的相似性系数。
首先对本实施例中的颜色特征进行介绍,本实施例中的颜色特征可以包括图像中的各个颜色通道的颜色直方图信息,其中,颜色直方图信息中可以包括颜色通道下的各个亮度值各自对应的像素点个数。
其中,针对任一个颜色通道,亮度值的范围比如说可以是0~255,或者还可以是其余的范围,其具体取决于图像传感器,也就是说实际实现过程中亮度范围是由图像传感器提供的,本实施例对亮度值的可能的取值不做特别限制,下面以亮度值的取值范围为0~255为例进行介绍。
例如可以结合图12进行理解,如图12所示,针对任一个颜色通道,颜色通道下的都包括0~255个亮度值,然后颜色直方图信息中包括的就是,在该颜色通道下,各个亮度值各自对应的像素点个数。比如说图12的示例中,假设针对的是R颜色通道,那么当前R颜色通道下亮度值为0的像素点个数就是30个,以及当前R颜色通道下亮度值为1的像素点个数就是15个,以及当前R颜色通道下亮度值为2的像素点个数就是35个,等等。
在一种可能的实现方式中,颜色直方图在存储的时候,可以以数组的形式进行存储。可以参照图13进行理解,例如可以用Vk[]来表示第k个颜色通道的颜色直方图信息。
如图13所示,Vk[0]表示的就是在当前颜色通道下,亮度值为0的像素点个数为30个;Vk[1]表示的就是在当前颜色通道下,亮度值为1的像素点个数为15个;Vk[2]表示的就是在当前颜色通道下,亮度值为2的像素点个数为35个,等等。
进一步的,比如说可以用V来表示图像的颜色直方向量,在颜色直方向量中就包括该图像的各个颜色通道的颜色直方图信息,比如说一共存在n个颜色通道,则图像的颜色直方向量V可以表示为[V1,V2,...,Vn],其中V1,V2,...,Vn就是n个颜色通道各自的颜色直方图信息。
在获取第一图像和第二图像各自的颜色直方信息之后,因为每个颜色通道都对应有各自的颜色直方信息,而在处理的过程中,是针对每个颜色通道单独进行处理的,因此下面以任一个颜色通道为例进行说明,各个颜色通道的处理过程类似。
针对任意一个颜色通道,可以获取第一图像对应于该颜色通道的第一颜色直方图信息,以及获取第二通道对应于该颜色通道的第二颜色直方图信息,然后根据第一颜色直方图信息和第二颜色直方图信息,首先确定第一颜色直方图信息和第二颜色直方图信息之间的相似性系数。其中,相似性系数可以反映两个直方图之间的相似性。在一种可能的实现方式中,相似性系数比如说可以是巴氏系数。
比如说可以参照如下公式六进行理解:
其中,V(1) k为第一图像的第k个颜色通道的颜色直方图信息,V(2) k为第二图像的第k个颜色通道的颜色直方图信息,v(1)为V(1) k中所包括的各个亮度值各自对应的像素点个数,v(2)为V(2) k中所包括的各个亮度值各自对应的像素点个数,BC(V(1) k,V(2) k)为第一颜色直方图信息和第二颜色直方图信息之间的巴氏系数,也就是相似性系数。
S1102、对相似性系数进行数值调整处理,得到第一图像和第二图像在颜色通道上的颜色相似性参数。
在得到相似性系数之后,因为上述得到的相似性系数的范围不规范,为了便于后续的处理,需要对相似性系数进行进一步的数值调整处理,从而得到第一图像和第二图像在颜色通道上的颜色相似性参数,此处的数值调整处理是为了对相似性系数的取值进行进一步的压缩。
在一种可能的实现方式中,例如可以采用如下的公式七进行数值调整处理:
其中,BC(V(1) i,V(2) i)为相似性系数,li为数值调整处理之后得到的第一图像和第二图像在颜色通道上的颜色相似性参数。
可以理解的是,在上述的数值调整处理之后,颜色相似性参数li的取值范围就在0到1之间,并且越接近1就表示两个颜色直方图越相似。
在实际实现过程中,数值调整处理的具体实现可以根据实际需求进行选择,只要可以实现将相似性系数的取值限制在某一个范围即可。
S1103、针对任一个颜色通道,根据第一颜色直方图信息中各个亮度值的像素点个数,以及第二颜色直方图信息中各个亮度值的像素点个数,确定数值差异系数,其中,数值差异系数用于指示各个亮度值的像素点个数的差值。
可以理解的是,颜色相似性参数反映的是两个颜色直方图之间的走向的相似性,但是并不能衡量两个颜色直方图的取值上是否存在差异,因此本实施例中还需要进一步的确定颜色直方图之间的数值相似性参数。
同样是针对各个颜色通道都需要分别进行处理,并且各个颜色通道的处理方式都类似,下面以任一个颜色通道为例进行介绍。针对任一个颜色通道,可以根据该颜色通道下,第一颜色直方图信息中各个亮度值的像素点个数,以及第二颜色直方图信息中各个亮度值的像素点个数,分别确定各个亮度值的像素点个数的数值差异系数。
以亮度值1为例,比如说可以确定第一颜色直方图信息中亮度值为1的像素点个数,和第二颜色直方图信息中亮度值为1的像素点个数的数值差异系数。
例如可以采用如下公式八确定数值差异系数:
其中,fk为第k个颜色通道的数值差异系数,n为颜色通道的数量。其中,数值差异系数越大,表示两个颜色直方图信息的数值的差异越大。
例如可以采用上述的公式八确定数值差异系数,比如说还可以直接将各个亮度值的像素点个数的差值的绝对值作为数值差异系数,本实施例对数值差异系数的具体实现方式不做限制,只要其可以指示第一图像和第二图像在颜色通道下的各个亮度值的像素点个数的差值即可。
S1104、将数值差异系数作为预设函数的输入,得到第一图像和第二图像在颜色通道上的数值相似性参数,数值差异系数为大于0的数,预设函数为递减函数。
在得到数值差异系数之后,可以进一步的将数值差异系数作为预设函数的输入,得到第一图像和第二图像在颜色通道上的数值相似性参数。
在一种可能的实现方式中,数值相似性参数的确定方式可以参照如下公式九进行理解:
其中,fk为第k个颜色通道的数值差异系数,rk为第k个颜色通道的数值相似性参数,α和β是调整系数,用于控制rk曲线的形状,保证rk在fk的范围在大于0时,表现出一开始剧烈下降,然后趋于平缓的特点。之所以要表现出这个特点,是因为在数值差异在一定的范围内的时候,可以有效的反映出数值相似性的变化,当数值差异超过一定范围的时候,此时反映的数值相似性的变化就意义不大了。
比如说数值差异在0~100的时候,可以有效的反映出两个颜色直方图信息的数值相似性是越来越小的,但是当数值差异超过100的时候,只需要知道两个颜色直方图信息的数值相似性很小,至于数值差异是大到1000,还是大到10000,这个就不是很需要关心了,因此呈现出这个特点,可以在一定的范围内,快速的捕捉到需要的数值相似性的变化信息。
其中,数值相似性参数rk的取值范围也是0到1,并且rk越接近1,就表示两个颜色直方图信息的数值越接近。
S1105、将颜色相似性参数和数值相似性参数的平均值,确定为颜色通道对应的相似程度。
针对任一个颜色通道,在得到该颜色通道的颜色相似性参数和数值相似性参数之后,就可以将颜色相似性参数和数值相似性参数的平均值,确定为该颜色通道对应的相似程度。
比如说可以表示为:其中,σk表示的就是第k个颜色通道对应的相似程度。
S1106、对各颜色通道各自对应的相似程度进行连乘处理,得到第一图像相对于第二图像的第一颜色相似程度。
本实施例中针对各个颜色通道都会确定其相似程度,之后可以对各颜色通道各自对应的相似程度进行连乘处理,从而得到第一图像相对于第二图像的第一颜色相似程度。
比如说第一颜色相似程度可以满足如下公式九;
其中,σk是第k个颜色通道对应的相似程度,σ为连乘后得到的第一颜色相似程度。其中,第一颜色相似程度σ的取值范围可以是0到1,并且越接近1,就表示第一图像和第二图像的越相似。
本申请实施例提供的聚焦触发方法,通过对各个颜色通道的颜色直方图信息,首先确定两个颜色直方图信息的颜色相似性,其次确定两个颜色直方图信息的数值相似性,之后再将颜色相似性参数和数值相似性参数的平均值,确定为当前这个颜色通道下,两个图像的颜色直方图信息的相似程度,从而可以全面的确定两个颜色直方图信息的相似程度。之后再将各个颜色通道的相似程度进行连乘,从而可以有效的得到第一图像相对于第二图像的颜色相似程度。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
Claims (11)
1.一种聚焦触发方法,其特征在于,应用于摄像设备,所述摄像设备中包括成像模组,所述方法包括:
获取当前时刻拍摄的第一图像的第一颜色特征、第二图像的第二颜色特征和历史图像的第三颜色特征,所述第二图像为所述第一图像的上一帧图像,所述历史图像为所述成像模组最近一次聚焦结束时拍摄的图像;
根据所述第一颜色特征和所述第二颜色特征,确定所述第一图像相对于所述第二图像的第一颜色相似程度;
根据所述第一颜色特征和所述第三颜色特征,确定所述第一图像相对于所述历史图像的第二颜色相似程度;
在确定所述第一颜色相似程度小于预设阈值,以及所述第二颜色相似程度小于所述预设阈值时,触发所述成像模组执行聚焦操作;
其中,所述颜色特征包括图像中的各个图像块的亮度向量,所述亮度向量包括所述图像块在多个颜色通道下的亮度值,所述第一颜色相似程度是针对图像中的各个图像块的亮度向量进行降维处理,针对降维后的R颜色通道和B颜色通道,分别计算所述第一图像和所述第二图像的在R颜色通道和B颜色通道上的相关性得到的;
或者,所述颜色特征包括图像中的各个颜色通道的颜色直方图信息,所述颜色直方图信息中包括所述颜色通道下的各个亮度值各自对应的像素点个数,所述第一颜色相似程度是基于所述第一图像和所述第二图像的颜色直方图信息在各个颜色通道的相似程度得到的,其中,针对任意一个颜色通道,该颜色通道下的所述第一图像和所述第二图像的颜色直方图信息的相似程度是通过确定所述第一图像和所述第二图像的颜色直方图在该颜色通道的颜色相似性,以及所述第一图像和所述第二图像的颜色直方图在该颜色通道的数值相似性,基于该颜色相似性和数值相似性确定的。
2.根据权利要求1所述的方法,其特征在于,所述预设阈值包括第一预设阈值和第二预设阈值;
在确定所述第一颜色相似程度小于所述预设阈值,以及所述第二颜色相似程度小于所述预设阈值时,触发所述成像模组执行聚焦操作;
包括:
在确定所述第一颜色相似程度小于所述第一预设阈值时,以及,在确定所述第二颜色相似程度小于所述第二预设阈值时,根据所述第一图像以及在拍摄所述第一图像之后的拍摄的至少一张中间图像,判断图像的颜色特征的变化是否稳定;
若是,则获取所述摄像设备最新拍摄的第三图像,并根据所述第三图像的颜色特征和所述第三颜色特征,确定第三颜色相似程度;
在确定所述第三颜色相似程度小于所述第二预设阈值时,触发所述成像模组执行聚焦操作。
3.根据权利要求2所述的方法,其特征在于,根据所述第一图像以及在拍摄所述第一图像之后的拍摄的至少一张中间图像,判断图像的颜色特征的相似程度是否稳定,包括:
获取所述第一图像和第一张中间图像之间的中间颜色相似程度;
在i小于预设数量时,获取第i张中间图像和第i+1张中间图像之间的中间颜色相似程度,并获取最近K次确定得到的中间颜色相似程度之和;
其中,所述i依次取1、2、……,直至所述i小于所述预设数量,且所述中间颜色相似程度之和大于或等于K倍的第三预设阈值时,确定所述相似程度稳定;或者,直至所述i大于或等于所述预设数量,且所述中间颜色相似程度之和小于K倍的所述第三预设阈值时,确定所述相似程度不稳定。
4.根据权利要求1-3任一项所述的方法,其特征在于,在确定所述第一颜色相似程度小于所述预设阈值,以及所述第二颜色相似程度小于所述预设阈值时,触发所述成像模组执行聚焦操作之后,所述方法还包括:
获取所述聚焦操作结束时拍摄的结束图像,以及获取所述聚焦操作开始时拍摄的开始图像;
根据所述结束图像的颜色特征和所述开始图像的颜色特征,确定所述结束图像相对于所述开始图像的颜色特征的颜色相似程度是否小于第四预设阈值;
若是,则在重启聚焦的次数小于预设次数的时候,再次触发所述成像模组执行所述聚焦操作,并将所述重启聚焦的次数加1。
5.根据权利要求1-3任一项所述的方法,其特征在于,所述颜色特征包括图像中的各个图像块的亮度向量,所述亮度向量包括所述图像块在多个颜色通道下的亮度值;
根据所述第一颜色特征和所述第二颜色特征,确定所述第一图像相对于所述第二图像的第一颜色相似程度,包括:
针对所述第一图像和所述第二图像中的任一个所述图像块,对所述图像块的亮度向量进行降维处理,得到所述图像块对应的二维向量,所述二维向量中包括R颜色通道的降维后的亮度值以及B颜色通道的降维后的亮度值;
根据所述第一图像中的各个图像块各自对应的二维向量,以及所述第二图像中的各个图像块各自对应的二维向量,确定所述第一图像相对于所述第二图像的第一颜色相似程度。
6.根据权利要求5所述的方法,其特征在于,根据所述第一图像中的各个图像块各自对应的二维向量,以及所述第二图像中的各个图像块各自对应的二维向量,确定所述第一图像相对于所述第二图像的第一颜色相似程度,包括:
根据所述第一图像中各个图像块的R颜色通道的降维后的亮度值,以及所述第二图像中各个图像块的R颜色通道的降维后的亮度值,确定所述第一图像和所述第二图像在R颜色通道上的第一相关性;
根据所述第一图像中各个图像块的B颜色通道的降维后的亮度值,以及所述第二图像中各个图像块的B颜色通道的降维后的亮度值,确定所述第一图像和所述第二图像在B颜色通道上的第二相关性;
将所述第一相关性和所述第二相关性的平均值,确定为所述第一图像相对于所述第二图像的第一颜色相似程度。
7.根据权利要求5所述的方法,其特征在于,对所述图像块的亮度向量进行降维处理,得到所述图像块对应的二维向量,包括:
若所述亮度向量包括G颜色通道的亮度值、R颜色通道的亮度值、B颜色通道的亮度值,则将所述R颜色通道的亮度值和所述G颜色通道的亮度值的比值,确定为所述R颜色通道的降维后的亮度值,以及将所述B颜色通道的亮度值和所述G颜色通道的亮度值的比值,确定为所述B颜色通道的降维后的亮度值,以得到所述图像块对应的二维向量;或者,
若所述亮度向量包括Gr颜色通道的亮度值、Gb颜色通道的亮度值、R颜色通道的亮度值、B颜色通道的亮度值,则将所述R颜色通道的亮度值和所述Gr颜色通道的亮度值的比值,确定为所述R颜色通道的降维后的亮度值,以及将所述B颜色通道的亮度值和所述Gb颜色通道的亮度值的比值,确定为所述B颜色通道的降维后的亮度值,以得到所述图像块对应的二维向量。
8.根据权利要求1-3任一项所述的方法,其特征在于,所述颜色特征包括图像中的各个颜色通道的颜色直方图信息,所述颜色直方图信息中包括所述颜色通道下的各个亮度值各自对应的像素点个数;
根据所述第一颜色特征和所述第二颜色特征,确定所述第一图像相对于所述第二图像的第一颜色相似程度,包括:
针对任一个所述颜色通道,根据所述第一图像对应于所述颜色通道的第一颜色直方图信息,以及所述第二图像对应于所述颜色通道的第二颜色直方图信息,确定所述第一图像和所述第二图像在所述颜色通道上的颜色相似性参数;
针对任一个所述颜色通道,根据所述第一图像对应于所述颜色通道的第一颜色直方图信息,以及所述第二图像对应于所述颜色通道的第二颜色直方图信息,确定所述第一图像和所述第二图像在所述颜色通道上的数值相似性参数;
将所述颜色相似性参数和所述数值相似性参数的平均值,确定为所述颜色通道对应的相似程度;
对各所述颜色通道各自对应的相似程度进行连乘处理,得到所述第一图像相对于所述第二图像的第一颜色相似程度。
9.根据权利要求8所述的方法,其特征在于,根据所述第一图像对应于所述颜色通道的第一颜色直方图信息,以及所述第二图像对应于所述颜色通道的第二颜色直方图信息,确定所述第一图像和所述第二图像在所述颜色通道上的颜色相似性参数,包括:
根据所述第一颜色直方图信息,以及所述第二颜色直方图信息,确定所述第一颜色直方图信息和所述第二颜色直方图信息之间的相似性系数;
对所述相似性系数进行数值调整处理,得到所述第一图像和所述第二图像在所述颜色通道上的颜色相似性参数。
10.根据权利要求8所述的方法,其特征在于,根据所述第一图像对应于所述颜色通道的第一颜色直方图信息,以及所述第二图像对应于所述颜色通道的第二颜色直方图信息,确定所述第一图像和所述第二图像在所述颜色通道上的数值相似性参数,包括:
根据所述第一颜色直方图信息中各个亮度值的像素点个数,以及所述第二颜色直方图信息中各个亮度值的像素点个数,确定数值差异系数,其中,所述数值差异系数用于指示各个亮度值的像素点个数的差值;
将所述数值差异系数作为预设函数的输入,得到所述第一图像和所述第二图像在所述颜色通道上的数值相似性参数,所述数值差异系数为大于0的数,所述预设函数为递减函数。
11.一种聚焦触发装置,其特征在于,应用于摄像设备,所述摄像设备中包括成像模组,所述装置包括:
获取模块,用于获取当前时刻拍摄的第一图像的第一颜色特征、第二图像的第二颜色特征和历史图像的第三颜色特征,所述第二图像为所述第一图像的上一帧图像,所述历史图像为所述成像模组最近一次聚焦结束时拍摄的图像;
确定模块,用于根据所述第一颜色特征和所述第二颜色特征,确定所述第一图像相对于所述第二图像的第一颜色相似程度;
所述确定模块,还用于根据所述第一颜色特征和所述第三颜色特征,确定所述第一图像相对于所述历史图像的第二颜色相似程度;
处理模块,用于在确定所述第一颜色相似程度小于预设阈值,以及所述第二颜色相似程度小于所述预设阈值时,触发所述成像模组执行聚焦操作;
其中,所述颜色特征包括图像中的各个图像块的亮度向量,所述亮度向量包括所述图像块在多个颜色通道下的亮度值,所述第一颜色相似程度是针对图像中的各个图像块的亮度向量进行降维处理,针对降维后的R颜色通道和B颜色通道,分别计算所述第一图像和所述第二图像的在R颜色通道和B颜色通道上的相关性得到的;
或者,所述颜色特征包括图像中的各个颜色通道的颜色直方图信息,所述颜色直方图信息中包括所述颜色通道下的各个亮度值各自对应的像素点个数,所述第一颜色相似程度是基于所述第一图像和所述第二图像的颜色直方图信息在各个颜色通道的相似程度得到的,其中,针对任意一个颜色通道,该颜色通道下的所述第一图像和所述第二图像的颜色直方图信息的相似程度是通过确定所述第一图像和所述第二图像的颜色直方图在该颜色通道的颜色相似性,以及所述第一图像和所述第二图像的颜色直方图在该颜色通道的数值相似性,基于该颜色相似性和数值相似性确定的。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210799132.XA CN115190242B (zh) | 2022-07-08 | 2022-07-08 | 聚焦触发方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210799132.XA CN115190242B (zh) | 2022-07-08 | 2022-07-08 | 聚焦触发方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115190242A CN115190242A (zh) | 2022-10-14 |
CN115190242B true CN115190242B (zh) | 2024-02-13 |
Family
ID=83517807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210799132.XA Active CN115190242B (zh) | 2022-07-08 | 2022-07-08 | 聚焦触发方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115190242B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105262954A (zh) * | 2015-11-17 | 2016-01-20 | 腾讯科技(深圳)有限公司 | 触发摄像头自动聚焦的方法和装置 |
JP2017009769A (ja) * | 2015-06-22 | 2017-01-12 | 株式会社 日立産業制御ソリューションズ | 撮像装置、フォーカス制御装置および撮像方法 |
KR20170043797A (ko) * | 2015-10-14 | 2017-04-24 | 엘지전자 주식회사 | 이동 단말기 |
CN107147843A (zh) * | 2017-04-28 | 2017-09-08 | 广东欧珀移动通信有限公司 | 对焦触发方法、装置及移动终端 |
CN107888840A (zh) * | 2017-10-30 | 2018-04-06 | 广东欧珀移动通信有限公司 | 高动态范围图像获取方法和装置 |
CN108337447A (zh) * | 2018-04-12 | 2018-07-27 | Oppo广东移动通信有限公司 | 高动态范围图像曝光补偿值获取方法、装置、设备及介质 |
CN112235506A (zh) * | 2020-10-09 | 2021-01-15 | 浙江大华技术股份有限公司 | 摄像机聚焦处理方法、装置、存储介质及电子装置 |
CN112969027A (zh) * | 2021-04-02 | 2021-06-15 | 浙江大华技术股份有限公司 | 电动镜头的聚焦方法和装置、存储介质及电子设备 |
CN114697524A (zh) * | 2020-12-30 | 2022-07-01 | 浙江宇视科技有限公司 | 自动聚焦方法、装置、电子设备及介质 |
-
2022
- 2022-07-08 CN CN202210799132.XA patent/CN115190242B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017009769A (ja) * | 2015-06-22 | 2017-01-12 | 株式会社 日立産業制御ソリューションズ | 撮像装置、フォーカス制御装置および撮像方法 |
KR20170043797A (ko) * | 2015-10-14 | 2017-04-24 | 엘지전자 주식회사 | 이동 단말기 |
CN105262954A (zh) * | 2015-11-17 | 2016-01-20 | 腾讯科技(深圳)有限公司 | 触发摄像头自动聚焦的方法和装置 |
CN107147843A (zh) * | 2017-04-28 | 2017-09-08 | 广东欧珀移动通信有限公司 | 对焦触发方法、装置及移动终端 |
CN107888840A (zh) * | 2017-10-30 | 2018-04-06 | 广东欧珀移动通信有限公司 | 高动态范围图像获取方法和装置 |
CN108337447A (zh) * | 2018-04-12 | 2018-07-27 | Oppo广东移动通信有限公司 | 高动态范围图像曝光补偿值获取方法、装置、设备及介质 |
CN112235506A (zh) * | 2020-10-09 | 2021-01-15 | 浙江大华技术股份有限公司 | 摄像机聚焦处理方法、装置、存储介质及电子装置 |
CN114697524A (zh) * | 2020-12-30 | 2022-07-01 | 浙江宇视科技有限公司 | 自动聚焦方法、装置、电子设备及介质 |
WO2022143053A1 (zh) * | 2020-12-30 | 2022-07-07 | 浙江宇视科技有限公司 | 自动聚焦方法、装置、电子设备及介质 |
CN112969027A (zh) * | 2021-04-02 | 2021-06-15 | 浙江大华技术股份有限公司 | 电动镜头的聚焦方法和装置、存储介质及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN115190242A (zh) | 2022-10-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109089047B (zh) | 控制对焦的方法和装置、存储介质、电子设备 | |
CN108055452B (zh) | 图像处理方法、装置及设备 | |
US20190130533A1 (en) | Method for image-processing and mobile terminal using dual cameras | |
US8233078B2 (en) | Auto focus speed enhancement using object recognition and resolution | |
EP3499863A1 (en) | Method and device for image processing | |
JP2020537382A (ja) | デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体 | |
US8810667B2 (en) | Imaging device | |
US8830381B2 (en) | Imaging device and method to provide bokeh effect in captured image by determining distance and focus of captured objects in secondary image sequence | |
JP2003156680A (ja) | 被写体抽出装置及び撮影装置 | |
US8810665B2 (en) | Imaging device and method to detect distance information for blocks in secondary images by changing block size | |
CN111756996A (zh) | 视频处理方法、视频处理装置、电子设备及计算机可读存储介质 | |
CN110660090A (zh) | 主体检测方法和装置、电子设备、计算机可读存储介质 | |
CN113099135B (zh) | 一种红外图像聚焦、终端设备以及计算机可读存储介质 | |
WO2021134179A1 (zh) | 对焦方法、装置、拍摄设备、可移动平台和存储介质 | |
JP2003163827A (ja) | 被写体抽出装置及び撮影装置 | |
US11222235B2 (en) | Method and apparatus for training image processing model, and storage medium | |
CN110708463B (zh) | 对焦方法、装置、存储介质及电子设备 | |
CN110392211A (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
CN108492266B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN108289170B (zh) | 能够检测计量区域的拍照装置、方法及计算机可读介质 | |
CN115190242B (zh) | 聚焦触发方法及装置 | |
CN111866369B (zh) | 图像处理方法及装置 | |
US9094581B2 (en) | Imaging device and distance information detecting method | |
CN115209051B (zh) | 变焦摄像机的聚焦方法及装置 | |
JP2015232620A (ja) | 撮像装置、制御方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |