CN117319787A - 一种图像对焦方法、装置、系统、控制设备及存储介质 - Google Patents
一种图像对焦方法、装置、系统、控制设备及存储介质 Download PDFInfo
- Publication number
- CN117319787A CN117319787A CN202311076407.8A CN202311076407A CN117319787A CN 117319787 A CN117319787 A CN 117319787A CN 202311076407 A CN202311076407 A CN 202311076407A CN 117319787 A CN117319787 A CN 117319787A
- Authority
- CN
- China
- Prior art keywords
- focusing
- focused
- depth information
- target
- light camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 230000033001 locomotion Effects 0.000 claims description 31
- 238000004891 communication Methods 0.000 claims description 18
- 238000011156 evaluation Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 9
- 238000012986 modification Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000011088 calibration curve Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种图像对焦方法、装置、系统、控制设备及存储介质,本申请结合基于可见光信息识别到的待对焦对象,和基于结构光相机确定出的待对焦对象的目标深度信息,根据预先保存的各个深度信息与对焦距离的容差范围的对应关系,确定目标深度信息对应的对焦距离的目标容差范围,然后控制可见光相机在目标容差范围内进行对焦调整,完成对待对焦对象的对焦。远距离和近距离对象都可以确定出目标容差范围,然后在目标容差范围内对焦调整,可以实现较少帧数内完成对焦,因此实现了兼顾远距离和近距离快速对焦。
Description
技术领域
本申请涉及自动对焦技术领域,尤其涉及一种图像对焦方法、装置、系统、控制设备及存储介质。
背景技术
目前人脸识别技术已经比较成熟,在人脸识别中对人脸应用也有广泛需求和应用,随着数码技术和图像处理技术的快速发展,许多原有的技术在人脸识别的加成下,有更高的技术应用。
目前二维码识别技术已经非常成熟,例如在银行场景,门禁场景,收付款场景等。随着数码技术和图像处理技术的快速发展,目前二维码检测设备已经遍布生活的大大小小场景。
在门禁场景、银行场景中,包括人脸识别和二维码识别等身份验证方案。对于人脸识别方案,需要进行识别距离在40cm~200cm的人脸。对于二维码识别方案,需要识别距离在10cm~15cm的二维码。由于图像采集设备景深的问题,在近距离或最远距离下不能完全兼容。因此,目前还没有兼顾远距离和近距离快速对焦的技术方案。
发明内容
本申请提供了一种图像对焦方法、装置、系统、控制设备及存储介质,用以提供一种兼顾远距离和近距离快速对焦的技术方案。
第一方面,本申请提供了一种图像对焦方法,所述方法包括:
基于可见光相机采集图像,并识别所述图像中的待对焦对象;
基于结构光相机确定所述待对焦对象的目标深度信息;
根据所述目标深度信息和预先保存的各个深度信息与对焦距离的容差范围的对应关系,确定所述目标深度信息对应的对焦距离的目标容差范围;
控制所述可见光相机在所述目标容差范围内进行对焦调整,完成对所述待对焦对象的对焦。
第二方面,本申请提供了一种图像对焦装置,所述装置包括:
识别模块,用于基于可见光相机采集图像,并识别所述图像中的待对焦对象;
第一确定模块,用于基于结构光相机确定所述待对焦对象的目标深度信息;
第二确定模块,用于根据所述目标深度信息和预先保存的各个深度信息与对焦距离的容差范围的对应关系,确定所述目标深度信息对应的对焦距离的目标容差范围;
对焦模块,用于控制所述可见光相机在所述目标容差范围内进行对焦调整,完成对所述待对焦对象的对焦。
第三方面,本申请提供了一种图像对焦系统,所述系统包括:可见光相机、结构光相机和控制设备;所述控制设备分别与所述可见光相机、结构光相机连接;
所述可见光相机用于采集图像,并将所述图像发送至所述控制设备;所述控制设备用于识别所述图像中的待对焦对象;
所述结构光相机用于确定所述待对焦对象的目标深度信息,并将所述目标深度信息发送至所述控制设备;所述控制设备用于根据所述目标深度信息和预先保存的各个深度信息与对焦距离的容差范围的对应关系,确定所述目标深度信息对应的对焦距离的目标容差范围;
所述控制设备用于控制所述可见光相机在所述目标容差范围内进行对焦调整,完成对所述待对焦对象的对焦。
第四方面,本申请提供了一种控制设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现所述的方法步骤。
第五方面,本申请提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现所述的方法步骤。
本申请提供了一种图像对焦方法、装置、系统、控制设备及存储介质,所述方法包括:基于可见光相机采集图像,并识别所述图像中的待对焦对象;基于结构光相机确定所述待对焦对象的目标深度信息;根据所述目标深度信息和预先保存的各个深度信息与对焦距离的容差范围的对应关系,确定所述目标深度信息对应的对焦距离的目标容差范围;控制所述可见光相机在所述目标容差范围内进行对焦调整,完成对所述待对焦对象的对焦。
上述的技术方案具有如下优点或有益效果:
本申请结合基于可见光信息识别到的待对焦对象,和基于结构光相机确定出的待对焦对象的目标深度信息,根据预先保存的各个深度信息与对焦距离的容差范围的对应关系,确定目标深度信息对应的对焦距离的目标容差范围,然后控制可见光相机在目标容差范围内进行对焦调整,完成对待对焦对象的对焦。远距离和近距离对象都可以确定出目标容差范围,然后在目标容差范围内对焦调整,可以实现较少帧数内完成对焦,因此实现了兼顾远距离和近距离快速对焦。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简要介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请提供的图像对焦过程示意图;
图2为本申请提供的对焦距离与对焦索引对应关系示意图;
图3为本申请提供的图像对焦流程图;
图4为本申请提供的图像对焦系统架构图;
图5为本申请提供的图像对焦装置结构示意图;
图6为本申请提供的图像对焦系统结构示意图;
图7为本申请提供的控制设备结构示意图。
具体实施方式
为使本申请的目的和实施方式更加清楚,下面将结合本申请示例性实施例中的附图,对本申请示例性实施方式进行清楚、完整地描述,显然,描述的示例性实施例仅是本申请一部分实施例,而不是全部的实施例。
需要说明的是,本申请中对于术语的简要说明,仅是为了方便理解接下来描述的实施方式,而不是意图限定本申请的实施方式。除非另有说明,这些术语应当按照其普通和通常的含义理解。
本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似或同类的对象或实体,而不必然意味着限定特定的顺序或先后次序,除非另外注明。应该理解这样使用的用语在适当情况下可以互换。
术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的所有组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
术语“模块”是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
最后应说明的是:以上各实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述各实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。
为了方便解释,已经结合具体的实施方式进行了上述说明。但是,上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导,可以得到多种修改和变形。上述实施方式的选择和描述是为了更好的解释原理以及实际的应用,从而使得本领域技术人员更好的使用所述实施方式以及适于具体使用考虑的各种不同的变形的实施方式。
图1为本申请提供的图像对焦过程示意图,该过程包括以下步骤:
S101:基于可见光相机采集图像,并识别所述图像中的待对焦对象;
S102:基于结构光相机确定所述待对焦对象的目标深度信息;
S103:根据所述目标深度信息和预先保存的各个深度信息与对焦距离的容差范围的对应关系,确定所述目标深度信息对应的对焦距离的目标容差范围;
S104:控制所述可见光相机在所述目标容差范围内进行对焦调整,完成对所述待对焦对象的对焦。
本申请提供的图像对焦方法应用于控制设备,控制设备可以是PC、电脑等具备对焦控制能力的设备。
本申请中,首先基于可见光相机采集图像,并识别图像中的待对焦对象,待对焦对象可以是人脸、二维码等对象。其中,可见光相机采集图像之后,可以将图像发送至控制设备,由控制设备通过目标识别算法识别图像中的待对焦对象。也可以采用智能可见光相机采集图像,由智能可见光相机通过目标识别算法识别图像中的待对焦对象。智能可见光相机识别到待对焦对象,或者控制设备识别到待对焦对象之后,将待对焦对象的区域位置信息发送至结构光相机,结构光相机确定待对焦对象的目标深度信息。可见光相机和结构光相机相邻布置。
具体的,结构光相机通过近红外激光器,将具有一定结构特征的光线投射到被待对焦对象上,再由专门的红外摄像头进行采集。这种具备一定结构的光线,会因待对焦对象的不同深度区域,而采集反射的结构光图案的信息,然后通过运算单元将这种结构的变化换算成深度信息,以此来获得三维结构。通常采用特定波长的不可见的红外激光作为光源,它发射出来的光经过一定的编码投影在待对焦对象上,通过一定算法计算返回的编码图案的畸变来得到待对焦对象的位置和目标深度信息。
结构光相机确定出的待对焦对象的目标深度信息发送至控制设备,控制设备根据目标深度信息和预先保存的各个深度信息与对焦距离的容差范围的对应关系,确定目标深度信息对应的对焦距离的目标容差范围。例如,预先保存的各个深度信息与对焦距离的容差范围的对应关系为深度信息50cm对应的容差范围为40cm至60cm,深度信息60cm对应的容差范围为50cm至70cm等。若目标深度信息为50cm,则根据目标深度信息和预先保存的各个深度信息与对焦距离的容差范围的对应关系,确定目标深度信息对应的对焦距离的目标容差范围为40cm至60cm。控制设备控制可见光相机在目标容差范围内进行对焦调整,完成对待对焦对象的对焦。
本申请结合基于可见光信息识别到的待对焦对象,和基于结构光相机确定出的待对焦对象的目标深度信息,根据预先保存的各个深度信息与对焦距离的容差范围的对应关系,确定目标深度信息对应的对焦距离的目标容差范围,然后控制可见光相机在目标容差范围内进行对焦调整,完成对待对焦对象的对焦。远距离和近距离对象都可以确定出目标容差范围,然后在目标容差范围内对焦调整,可以实现较少帧数内完成对焦,因此实现了兼顾远距离和近距离快速对焦。
本申请中,所述基于结构光相机确定所述待对焦对象的目标深度信息包括:
基于结构光相机确定所述待对焦对象在各个时刻的深度信息,根据所述各个时刻的深度信息确定所述待对焦对象的运动速度;
将所述待对焦对象在最近时刻的深度信息作为候选深度信息,根据所述候选深度信息、所述运动速度和预设的延迟时间,确定所述待对焦对象的目标深度信息。
本申请中,在待对焦对象移动过程中,基于结构光相机可以确定待对焦对象在各个时刻的深度信息,根据各个时刻的深度信息可以确定待对焦对象的运动速度。例如,根据两个时刻的深度信息的差值和该两个时刻的时间间隔的比值,确定出待对焦对象的运动速度,另外,根据各个时刻的深度信息还可以确定出待对焦对象的运动方向,运动方向包括远离结构光相机的方向和靠近结构光相机的方向。
将待对焦对象在最近时刻的深度信息作为候选深度信息,根据候选深度信息、运动速度和预设的延迟时间,确定待对焦对象的目标深度信息。预设的延迟时间由控制设备和可见光相机之间的传输性能决定,若控制设备和可见光相机之间的传输性能较好,预设的延迟时间较小,若控制设备和可见光相机之间的传输性能较差,预设的延迟时间较大。若确定待对焦对象靠近结构光相机移动,则将候选深度信息减去运动速度和预设的延迟时间的乘积,得到目标深度信息;若确定待对焦对象远离结构光相机移动,则将候选深度信息加上运动速度和预设的延迟时间的乘积,得到目标深度信息。然后再根据目标深度信息和预先保存的各个深度信息与对焦距离的容差范围的对应关系,确定目标深度信息对应的对焦距离的目标容差范围;控制可见光相机在目标容差范围内进行对焦调整,完成对待对焦对象的对焦。
本申请中,将所述待对焦对象在最近时刻的深度信息作为候选深度信息包括:
确定所述待对焦对象的类别信息,根据所述待对焦对象的类别信息确定对焦距离阈值;其中,所述类别信息包括二维码类别信息和人脸类别信息,所述二维码类别信息对应的对焦距离阈值小于所述人脸类别信息对应的对焦距离阈值;
当所述待对焦对象在最近时刻的深度信息小于所述待对焦对象的类别信息对应的对焦距离阈值时,将所述待对焦对象在最近时刻的深度信息作为候选深度信息。
通过目标识别算法可以识别到待对焦对象以及待对焦对象的类别信息,待对焦对象的类别信息包括二维码类别信息和人脸类别信息,根据待对焦对象的类别信息确定对焦距离阈值,不同类别信息对应的对焦距离阈值不同,二维码类别信息对应的对焦距离阈值小于人脸类别信息对应的对焦距离阈值。例如二维码类别信息对应的对焦距离阈值为10cm、15cm等,人脸类别信息对应的对焦距离阈值为100cm、200cm等。当待对焦对象在最近时刻的深度信息小于待对焦对象的类别信息对应的对焦距离阈值时,将待对焦对象在最近时刻的深度信息作为候选深度信息。
本申请中,确定所述目标深度信息对应的对焦距离的目标容差范围包括:
根据所述各个时刻的深度信息确定所述待对焦对象的运动方向;
根据所述目标深度信息和预先保存的各个深度信息与对焦距离的容差范围的对应关系,确定所述目标深度信息对应的对焦距离的候选容差范围;
根据所述可见光相机当前的对焦距离和所述待对焦对象的运动方向,确定所述候选容差范围中的目标容差范围。
若按照时间顺序确定的各个时刻的深度信息越来越小,则确定待对焦对象的运动方向为靠近结构光相机移动,此时,若目标深度信息为50cm,则根据目标深度信息和预先保存的各个深度信息与对焦距离的容差范围的对应关系,确定目标深度信息对应的对焦距离的候选容差范围为40cm至60cm,因为待对焦对象的运动方向为靠近结构光相机移动,因此根据待对焦对象的运动方向和候选容差范围确定候选容差范围中的目标容差范围为40cm至50cm,从而进一步缩小对焦范围,提高对焦效率。
若按照时间顺序确定的各个时刻的深度信息越来越大,则确定待对焦对象的运动方向为远离结构光相机移动,此时,若目标深度信息为50cm,则根据目标深度信息和预先保存的各个深度信息与对焦距离的容差范围的对应关系,确定目标深度信息对应的对焦距离的候选容差范围为40cm至60cm,因为待对焦对象的运动方向为远离结构光相机移动,因此根据待对焦对象的运动方向和候选容差范围确定候选容差范围中的目标容差范围为50cm至60cm,从而进一步缩小对焦范围,提高对焦效率。
本申请中,控制所述可见光相机在所述目标容差范围内进行对焦调整,完成对所述待对焦对象的对焦包括:
根据预先保存的对焦距离与所述可见光相机的对焦索引的对应关系,确定所述目标容差范围对应的目标对焦索引范围;
控制所述可见光相机根据所述目标对焦索引范围进行对焦调整,完成对所述待对焦对象的对焦。
可见光相机的对焦距离和对焦索引存在对应关系,例如对焦距离20cm对应的对焦索引为150,对焦距离30cm对应的对焦索引为200,对焦距离60cm对应的对焦索引为300等等。根据预先保存的对焦距离与可见光相机的对焦索引的对应关系,确定目标容差范围对应的目标对焦索引范围,例如目标容差范围为40cm到60cm,确定对应的目标对焦索引范围为250至300。控制可见光相机根据目标对焦索引范围进行对焦调整,完成对待对焦对象的对焦。
本申请中,控制所述可见光相机根据所述目标对焦索引范围进行对焦调整,完成对所述待对焦对象的对焦包括:
按照预设的对焦索引调整步长,控制所述可见光相机在所述目标对焦索引范围进行对焦调整;
每次调整后获取所述待对焦对象的图像区域的清晰度评价值;
选取最大的清晰度评价值对应的目标对焦索引,控制所述可见光相机调整至所述目标对焦索引,完成对所述待对焦对象的对焦。
例如,确定目标对焦索引范围为250至300,预设的对焦索引调整步长为5,则控制可见光相机在对焦索引250处获取待对焦对象的图像区域的清晰度评价值、在对焦索引255处获取待对焦对象的图像区域的清晰度评价值、直至在对焦索引300处获取待对焦对象的图像区域的清晰度评价值,然后通过比较确定处最大的清晰度评价值,选取最大的清晰度评价值对应的目标对焦索引,控制所述可见光相机调整至所述目标对焦索引,完成对所述待对焦对象的对焦。
目前图像对焦的常规原理说明如下:
参考目前自动对焦的爬山式搜索法。无法确认画面中对焦区域的物体具体。针对此种问题常使用相位对焦PDAF模块通过对其进行相位差和物距计算。而针对无相位差计算模块的相机模块,常常只能使用爬山法进一步寻找进行粗查找,然后针对局部极值点进行精细查找。
示意说明:
1、默认目标对焦索引380,对焦索引范围为0~400,此时触发画面对焦区域画面变化。已知当前实际的对焦距离对应的对焦索引为240。
2、粗查找,向下进行粗查找。由于未知最佳对焦距离,至少需要6~8以上帧才能覆盖。若6帧可覆盖,那么查找步长需要在30步长左右。
3、精细查找,判断前6帧中,第五帧的focus value达到局部最大值。那么进一步从第6帧返回精细查找。已知单步步长为30,高精度步长为5。那么需要进一步对焦6帧才可以完成粗查找中第五帧的精准对焦。
通过上述示意可知,理想情况下。最少需要12帧才可以完成一次简单的对焦过程。但实际情况无法满足。
4、步骤的问题:粗查找中实际对焦距离为240。那么只需要查找6帧即可找到峰值。但在很近二维码识别场景以及正常人脸识别场景。实际索引值的范围大约是30以及320左右。故本申请的默认对焦范围设置为320左右。那么从320向近处搜索距离则快速收敛。但是此情况下粗搜索还是需要11帧以上。故常规修改范围后,对焦的实际帧数还是需要11+6=17帧以上。
下面结合附图对本申请提供的图像对焦过程进行说明。本申请主要涉及人脸对焦和二维码对焦的过程。
过程参数说明:
disRoi,表示根据结构光相机的纹理等经过距离预测后物体的最终距离。
dirRoi,表示画面中物体的感兴趣区域的运动方向。
posRoi,表示人脸或二维码状态的识别结果,获得对应对焦状态下感兴趣坐标。
focusAreaStatus,表示对焦区域识别模块的对焦状态。
算法原理说明:
第一步、根据可见光相机的情况,对不同disRoi下进行标定生成标定曲线。找到标定过程中的距离索引对应关系。图2为本申请提供的对焦距离与对焦索引对应关系示意图,横坐标为对焦距离,纵坐标为对焦索引。
第二步、确定disRoi,dirRoi,posRoi和focusAreaStatus。
第三步、根据设备目前的focusAreaStatus进行设置。例如,针对人脸对焦时采用人脸的清晰度评价算子。针对二维码对焦的时候采用对焦收敛阈值更小等策略从而进行不同场景对焦方式区分。
第四步、获取disRoi,根据当前focusAreaStatus生成对焦距离容差。根据第一步的标定情况可以知道不同索引之间的距离也是不一致的。那么根据标定表格生成不同对焦模式不同距离的下对焦距离容差。
第五步、获取posRoi,根据当前focusAreaStatus以及人脸或二维码检测坐标结果。生成具体的对焦区域等。
第六步、获取dirRoi,根据当前反馈的运动方向进行运动方向上的搜索。可大幅提高收敛效率。例如:当前聚焦位置为50cm。此时的对焦位置约为287。画面中物体移动,disRoi反馈的对焦距离容差为40cm~60cm。但是实际的距离无法精准测量,但是通过目前的dirRoi可以预测当前运动方向。仅需要搜索50cm至40cm或者50cm至60cm范围的对焦就可完成搜索。
从以上例子可知,50cm至40cm的距离下,对焦的索引值范围大约为287至279左右。减去相关的误差。可知整体可调整范围仅在20左右。可直接进行精细化搜索。大约只需要4帧即可完成搜索且精细化搜索过程画面质量无明显变化。
第六步、循环下一个对焦对象,第二次获取disRoi,按照第五步流程对焦过程中,若出现画面大幅变化或者disRoi变化时。实时判断对焦状态。对焦状态变化时迅速响应进行重新第一步~第五步。若状态无变化,则响应对焦算法的对焦范围或重新触发对焦。整体对焦速度快。
本申请结合深度信息计算模块的延迟等,整体算法运行的帧数大幅缩小。且对焦过程平滑可有效解决二维码对焦识别和常规人脸识别场景。
图3为本申请提供的图像对焦流程图,包括标定距离索引对应关系;获取focusAreaStatus并生成对应清晰度评价算子和收敛系数等;获取disRoi并生成对应对焦距离容差;获取posRoi并计算对焦区域清晰度值;获取dirRoi并根据运动方向明确搜索方向;根据搜索方向、清晰度值和对焦距离容差等明确下一步对焦清晰度查找。
图4为本申请提供的图像对焦系统架构图,包括相机1(可见光相机)、相机2(结构光相机)、智能模块和对焦算法模块。相机1用于采集图像,图像包含智能信息。相机2用于确定图像包含纹理信息。智能模块用于根据图像包含智能信息进行信息获取-人脸检测/二维码检测,进而输出二维码人脸状态及坐标;根据图像包含纹理信息进行信息获取-区域深度获取,进而输出区域物距。对焦算法模块包括标定模块、对焦算法主体、对焦区域识别模块和距离预测模块。距离预测模块用于输出智能区域的预测距离;输出预测方向。对焦区域识别模块用于输出对焦状态。对焦算法主体用于输出下一步对焦步骤。标定模块用于标定生成标定曲线,找到标定过程中的距离索引对应关系。
图5为本申请提供的图像对焦装置结构示意图,包括:
识别模块51,用于基于可见光相机采集图像,并识别所述图像中的待对焦对象;
第一确定模块52,用于基于结构光相机确定所述待对焦对象的目标深度信息;
第二确定模块53,用于根据所述目标深度信息和预先保存的各个深度信息与对焦距离的容差范围的对应关系,确定所述目标深度信息对应的对焦距离的目标容差范围;
对焦模块54,用于控制所述可见光相机在所述目标容差范围内进行对焦调整,完成对所述待对焦对象的对焦。
第一确定模块52,用于基于结构光相机确定所述待对焦对象在各个时刻的深度信息,根据所述各个时刻的深度信息确定所述待对焦对象的运动速度;将所述待对焦对象在最近时刻的深度信息作为候选深度信息,根据所述候选深度信息、所述运动速度和预设的延迟时间,确定所述待对焦对象的目标深度信息。
第一确定模块52,用于确定所述待对焦对象的类别信息,根据所述待对焦对象的类别信息确定对焦距离阈值;其中,所述类别信息包括二维码类别信息和人脸类别信息,所述二维码类别信息对应的对焦距离阈值小于所述人脸类别信息对应的对焦距离阈值;当所述待对焦对象在最近时刻的深度信息小于所述待对焦对象的类别信息对应的对焦距离阈值时,将所述待对焦对象在最近时刻的深度信息作为候选深度信息。
第一确定模块52,用于根据所述各个时刻的深度信息确定所述待对焦对象的运动方向;根据所述目标深度信息和预先保存的各个深度信息与对焦距离的容差范围的对应关系,确定所述目标深度信息对应的对焦距离的候选容差范围;根据所述可见光相机当前的对焦距离和所述待对焦对象的运动方向,确定所述候选容差范围中的目标容差范围。
对焦模块54,用于根据预先保存的对焦距离与所述可见光相机的对焦索引的对应关系,确定所述目标容差范围对应的目标对焦索引范围;控制所述可见光相机根据所述目标对焦索引范围进行对焦调整,完成对所述待对焦对象的对焦。
对焦模块54,用于按照预设的对焦索引调整步长,控制所述可见光相机在所述目标对焦索引范围进行对焦调整;每次调整后获取所述待对焦对象的图像区域的清晰度评价值;选取最大的清晰度评价值对应的目标对焦索引,控制所述可见光相机调整至所述目标对焦索引,完成对所述待对焦对象的对焦。
图6为本申请提供的图像对焦系统结构示意图,包括:可见光相机61、结构光相机62和控制设备63;所述控制设备63分别与所述可见光相机61、结构光相机62连接;
所述可见光相机用于采集图像,并将所述图像发送至所述控制设备;所述控制设备用于识别所述图像中的待对焦对象;
所述结构光相机用于确定所述待对焦对象的目标深度信息,并将所述目标深度信息发送至所述控制设备;所述控制设备用于根据所述目标深度信息和预先保存的各个深度信息与对焦距离的容差范围的对应关系,确定所述目标深度信息对应的对焦距离的目标容差范围;
所述控制设备用于控制所述可见光相机在所述目标容差范围内进行对焦调整,完成对所述待对焦对象的对焦。
本申请根据对焦状态的识别快速切换。可适用于二维码检测和人脸检测的场景切换的快速对焦。通过预测人脸/二维码的距离,可适用于人脸在设备前面或者二维码在设备前面快速移动的场景。根据预测的距离,生成预设对焦范围,较少对焦帧数。使得对焦更加快速准确。
本申请还提供了一种控制设备,如图7所示,包括:处理器71、通信接口72、存储器73和通信总线74,其中,处理器71,通信接口72,存储器73通过通信总线74完成相互间的通信;
所述存储器73中存储有计算机程序,当所述程序被所述处理器71执行时,使得所述处理器71执行以上任一方法步骤。
上述控制设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口72用于上述控制设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选地,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器,包括中央处理器、网络处理器(NetworkProcessor,NP)等;还可以是数字信号处理器(Digital Signal Processing,DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
本申请还提供了一种计算机存储可读存储介质,所述计算机可读存储介质内存储有可由控制设备执行的计算机程序,当所述程序在所述控制设备上运行时,使得所述控制设备执行时实现以上任一方法步骤。
尽管已描述了本申请的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然,本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样,倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内,则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种图像对焦方法,其特征在于,所述方法包括:
基于可见光相机采集图像,并识别所述图像中的待对焦对象;
基于结构光相机确定所述待对焦对象的目标深度信息;
根据所述目标深度信息和预先保存的各个深度信息与对焦距离的容差范围的对应关系,确定所述目标深度信息对应的对焦距离的目标容差范围;
控制所述可见光相机在所述目标容差范围内进行对焦调整,完成对所述待对焦对象的对焦。
2.如权利要求1所述的方法,其特征在于,所述基于结构光相机确定所述待对焦对象的目标深度信息包括:
基于结构光相机确定所述待对焦对象在各个时刻的深度信息,根据所述各个时刻的深度信息确定所述待对焦对象的运动速度;
将所述待对焦对象在最近时刻的深度信息作为候选深度信息,根据所述候选深度信息、所述运动速度和预设的延迟时间,确定所述待对焦对象的目标深度信息。
3.如权利要求2所述的方法,其特征在于,将所述待对焦对象在最近时刻的深度信息作为候选深度信息包括:
确定所述待对焦对象的类别信息,根据所述待对焦对象的类别信息确定对焦距离阈值;其中,所述类别信息包括二维码类别信息和人脸类别信息,所述二维码类别信息对应的对焦距离阈值小于所述人脸类别信息对应的对焦距离阈值;
当所述待对焦对象在最近时刻的深度信息小于所述待对焦对象的类别信息对应的对焦距离阈值时,将所述待对焦对象在最近时刻的深度信息作为候选深度信息。
4.如权利要求2所述的方法,其特征在于,确定所述目标深度信息对应的对焦距离的目标容差范围包括:
根据所述各个时刻的深度信息确定所述待对焦对象的运动方向;
根据所述目标深度信息和预先保存的各个深度信息与对焦距离的容差范围的对应关系,确定所述目标深度信息对应的对焦距离的候选容差范围;
根据所述可见光相机当前的对焦距离和所述待对焦对象的运动方向,确定所述候选容差范围中的目标容差范围。
5.如权利要求1所述的方法,其特征在于,控制所述可见光相机在所述目标容差范围内进行对焦调整,完成对所述待对焦对象的对焦包括:
根据预先保存的对焦距离与所述可见光相机的对焦索引的对应关系,确定所述目标容差范围对应的目标对焦索引范围;
控制所述可见光相机根据所述目标对焦索引范围进行对焦调整,完成对所述待对焦对象的对焦。
6.如权利要求5所述的方法,其特征在于,控制所述可见光相机根据所述目标对焦索引范围进行对焦调整,完成对所述待对焦对象的对焦包括:
按照预设的对焦索引调整步长,控制所述可见光相机在所述目标对焦索引范围进行对焦调整;
每次调整后获取所述待对焦对象的图像区域的清晰度评价值;
选取最大的清晰度评价值对应的目标对焦索引,控制所述可见光相机调整至所述目标对焦索引,完成对所述待对焦对象的对焦。
7.一种图像对焦装置,其特征在于,所述装置包括:
识别模块,用于基于可见光相机采集图像,并识别所述图像中的待对焦对象;
第一确定模块,用于基于结构光相机确定所述待对焦对象的目标深度信息;
第二确定模块,用于根据所述目标深度信息和预先保存的各个深度信息与对焦距离的容差范围的对应关系,确定所述目标深度信息对应的对焦距离的目标容差范围;
对焦模块,用于控制所述可见光相机在所述目标容差范围内进行对焦调整,完成对所述待对焦对象的对焦。
8.一种图像对焦系统,其特征在于,所述系统包括:可见光相机、结构光相机和控制设备;所述控制设备分别与所述可见光相机、结构光相机连接;
所述可见光相机用于采集图像,并将所述图像发送至所述控制设备;所述控制设备用于识别所述图像中的待对焦对象;
所述结构光相机用于确定所述待对焦对象的目标深度信息,并将所述目标深度信息发送至所述控制设备;所述控制设备用于根据所述目标深度信息和预先保存的各个深度信息与对焦距离的容差范围的对应关系,确定所述目标深度信息对应的对焦距离的目标容差范围;
所述控制设备用于控制所述可见光相机在所述目标容差范围内进行对焦调整,完成对所述待对焦对象的对焦。
9.一种控制设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-6任一项所述的方法步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-6任一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311076407.8A CN117319787A (zh) | 2023-08-24 | 2023-08-24 | 一种图像对焦方法、装置、系统、控制设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311076407.8A CN117319787A (zh) | 2023-08-24 | 2023-08-24 | 一种图像对焦方法、装置、系统、控制设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117319787A true CN117319787A (zh) | 2023-12-29 |
Family
ID=89296200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311076407.8A Pending CN117319787A (zh) | 2023-08-24 | 2023-08-24 | 一种图像对焦方法、装置、系统、控制设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117319787A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117880630A (zh) * | 2024-03-13 | 2024-04-12 | 杭州星犀科技有限公司 | 对焦深度获取方法、对焦深度获取系统及终端 |
CN117915200A (zh) * | 2024-03-19 | 2024-04-19 | 成都唐米科技有限公司 | 基于双目摄像头的快速跟焦拍摄方法、装置及双目设备 |
-
2023
- 2023-08-24 CN CN202311076407.8A patent/CN117319787A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117880630A (zh) * | 2024-03-13 | 2024-04-12 | 杭州星犀科技有限公司 | 对焦深度获取方法、对焦深度获取系统及终端 |
CN117880630B (zh) * | 2024-03-13 | 2024-06-07 | 杭州星犀科技有限公司 | 对焦深度获取方法、对焦深度获取系统及终端 |
CN117915200A (zh) * | 2024-03-19 | 2024-04-19 | 成都唐米科技有限公司 | 基于双目摄像头的快速跟焦拍摄方法、装置及双目设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108496350B (zh) | 一种对焦处理方法及设备 | |
CN117319787A (zh) | 一种图像对焦方法、装置、系统、控制设备及存储介质 | |
EP2622840B1 (en) | Continuous autofocus based on face detection and tracking | |
US9411128B2 (en) | Automatic focusing apparatus with cyclic pattern determination | |
US20220383530A1 (en) | Method and system for generating a depth map | |
CN102984530A (zh) | 图像处理系统及自动对焦方法 | |
CN109521547A (zh) | 一种变步长的自动调焦方法及系统 | |
US20150201182A1 (en) | Auto focus method and auto focus apparatus | |
CN104102068A (zh) | 自动对焦方法及自动对焦装置 | |
CN108156371B (zh) | 一种红外自动对焦快速搜索方法 | |
CN108600638A (zh) | 摄像机自动调焦系统及方法 | |
TW201439659A (zh) | 自動對焦方法及自動對焦裝置 | |
CN113163114B (zh) | 一种图像对焦方法、装置、设备及介质 | |
CN105430277A (zh) | 自动聚焦控制方法和装置 | |
KR20170101532A (ko) | 이미지 융합 방법 및 이를 위한 컴퓨터 프로그램, 그 기록매체 | |
RU2389050C1 (ru) | Способ автоматической фокусировки | |
CN106556958A (zh) | 距离选通成像的自动聚焦方法 | |
CN116389901B (zh) | 一种航天相机在轨智能曝光及对焦方法、系统和电子设备 | |
US20240163554A1 (en) | System and method for image auto-focusing | |
CN116980757A (zh) | 快速聚焦方法、聚焦地图更新方法、设备以及存储介质 | |
CN112215879B (zh) | 一种光场极平面图像的深度提取方法 | |
CN116437203A (zh) | 一种自动聚焦方法、装置、存储介质及监控设备 | |
CN113163112A (zh) | 一种聚变焦控制方法及系统 | |
CN113674319A (zh) | 一种目标跟踪的方法、系统、设备及计算机存储介质 | |
CN112004019B (zh) | 跟踪对焦方法及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |