CN114173063A

CN114173063A - 基于可变焦镜头的结构光相机对焦方法及结构光相机

Info

Publication number: CN114173063A
Application number: CN202210126777.7A
Authority: CN
Inventors: 王灿; 丁丁
Original assignee: Hangzhou Lingxi Robot Intelligent Technology Co ltd
Current assignee: Hangzhou Lingxi Robot Intelligent Technology Co ltd
Priority date: 2022-02-11
Filing date: 2022-02-11
Publication date: 2022-03-11
Anticipated expiration: 2042-02-11
Also published as: CN114173063B

Abstract

本发明公开了一种基于可变焦镜头的结构光相机对焦方法及结构光相机，所述结构光相机包括相机和光机，所述方法包括：获取所述光机与目标投影平面之间的目标距离，并判断所述目标距离所属的档位；根据所述档位从预先建立的数据库中获取与其对应的镜头焦距、光机内参矩阵和相机外参矩阵；通过所述镜头焦距、所述光机内参矩阵和所述相机外参矩阵完成所述光机的对焦。本发明通过划分距离档位，利用提前精确标定好的光机和相机的各项参数，能够实现对光机的快速对焦，对焦完成后直接进行拍摄，大大提高了结构光相机的工作效率。同时，通过选定合适的光机镜头焦距档位，保证光线在成像平面上能够更好的聚集，从而提高相机拍摄到的图像质量。

Description

基于可变焦镜头的结构光相机对焦方法及结构光相机

技术领域

本发明涉及变焦相机技术领域，特别是涉及基于可变焦镜头的结构光相机对焦方法及结构光相机。

背景技术

3D结构光相机是一组由投影仪（其主要结构是光机）和摄像头（相机）组成的系统结构，用投影仪投射特定的光信息到物体表面后及背景后，由摄像头采集。根据物体造成的光信号的变化来计算物体的位置和深度等信息，进而复原整个三维空间。

对于现有的3D结构光相机来说，其光机焦距大多是固定的，随着成像平面与光机距离的改变，其光线能量的汇聚情况也会发生改变。成像平面距离光机越远，光线汇聚在成像平面上的单位面积光的能量越少，光线越发散，相机拍摄到的光线越少，图像越模糊，表现出来的亮度越低。因此，目前的3D结构光相机的成像效果受到距离的限制，比如应用于机器人等产品上的结构光相机的只有在一定距离范围内的成像效果最好。若超出该距离范围，则拍摄到的图像会模糊，成像质量差。

而在现有技术中，当出现这种情况时，只能通过调整光机或投影平面位置来调整成像效果，但是该方法不仅在操作上较为麻烦、调节速度慢，且在光机或投影平面位置固定时就无法采用。

发明内容

本发明实施例提供了一种基于可变焦镜头的结构光相机对焦方法及结构光相机，以至少解决现有技术中在光机或投影平面位置固定时就无法调整光机焦距的问题。

第一方面，本发明实施例提供了一种基于可变焦镜头的结构光相机对焦方法，所述结构光相机包括相机和光机，所述方法包括：

获取所述光机与目标投影平面之间的目标距离，并判断所述目标距离所属的档位；

根据所述档位从预先建立的数据库中获取与其对应的镜头焦距、光机内参矩阵和相机外参矩阵；

通过所述镜头焦距、所述光机内参矩阵和所述相机外参矩阵完成所述光机的对焦。

进一步，所述数据库的建立包括：

获取所述可变焦镜头的最小焦距和最大焦距，并根据所述最小焦距和最大焦距计算最小投影距离和最大投影距离；

获取预先设置的档位数，根据所述档位数、最小投影距离和最大投影距离确定每一档位的镜头焦距；

对所述每一档位的镜头焦距进行标定得到对应的光机内参矩阵和相机外参矩阵；

将每一所述档位、镜头焦距、光机内参矩阵和相机外参矩阵以一一对应的关系记录在数据库中。

进一步，所述根据所述最小焦距和最大焦距计算最小投影距离和最大投影距离，包括：

获取光机芯片宽度和投影平面宽度；

根据所述最小焦距、光机芯片宽度和投影平面宽度计算所述最小投影距离；根据所述最大焦距、光机芯片宽度和投影平面宽度计算所述最大投影距离。

进一步，所述最小投影距离和所述最大投影距离的计算公式为：

其中，h₁是最小投影距离，h₂是最大投影距离，W是投影平面的成像宽度，W_LCD是光机芯片宽度，f₁是最小焦距，f₂是最大焦距。

进一步，所述根据所述档位数、最小投影距离和最大投影距离确定每一档位的镜头焦距，包括：

根据所述档位数、最小投影距离和最大投影距离计算档位间距；

获取光机芯片宽度和投影平面宽度，根据所述光机芯片宽度、投影平面宽度、最小投影距离和档位间距计算每一档位的镜头焦距。

进一步，所述根据所述光机芯片宽度、投影平面宽度、最小投影距离和档位间距计算每一档位的镜头焦距，计算公式为：

其中，h₁是最小投影距离，W是投影平面的成像宽度，W_LCD是光机芯片宽度，f_m是m档位的焦距，L是档位间距，m是档位（m=1，…，n）。

在其中一些实施例中，所述根据所述档位数、最小投影距离和最大投影距离确定每一档位的镜头焦距，包括；

根据所述档位数将最小投影距离和最大投影距离之间的距离范围划分成多个间距相同或不同的档位；

从所述每一档位中选择有一个投影距离计算该档位的镜头焦距。

第二方面，本发明实施例提供了一种结构光相机，其特征在于，包括：

数据处理模块，用于获取所述光机与目标投影平面之间的目标距离，并判断所述目标距离所属的档位；并根据所述档位从预先建立的数据库中获取与其对应的镜头焦距、光机内参矩阵和相机外参矩阵；

光机对焦模块，用于通过所述镜头焦距、光机内参矩阵和相机外参矩阵完成所述光机的对焦。

第三方面，本发明实施例提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行以上实施例所述的基于可变焦镜头的结构光相机对焦方法。

第四方面，本发明实施例提供了一种存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行以上实施例所述的基于可变焦镜头的结构光相机对焦方法。

相比于相关技术，本发明实施例提供的基于可变焦镜头的结构光相机对焦方法及结构光相机，通过判断光机与目标投影平面之间的目标距离所属的档位，然后从数据库中获取与其对应的镜头焦距、光机内参矩阵和相机外参矩阵；确定参数后可直接完成光机的对焦。本发明能够解决光机由成像平面距离改变而产生的光线能量严重散失的问题，通过选定合适的光机镜头焦距档位，保证光线在成像平面上能够更好的聚集，从而提高相机拍摄到的图像质量，提高图像的清晰度和整体亮度。另一方面，本发明通过划分距离档位，利用提前精确标定好的光机和相机的各项参数，能够实现对光机的快速对焦，对焦完成后直接进行拍摄，大大提高了结构光相机的工作效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明一实施例的基于可变焦镜头的结构光相机对焦方法流程图；

图2是光机成像原理的示意图；

图3是根据本发明实施例的光机到成像平面的距离与镜头焦距之间的关系示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。基于本发明提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本发明公开的内容相关的本领域的普通技术人员而言，在本发明揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本发明公开的内容不充分。

在本发明中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本发明所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本发明所涉及的技术术语或者科学术语应当为本发明所属技术领域内具有一般技能的人士所理解的通常意义。本发明所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本发明所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块（单元）的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本发明所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本发明所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本发明所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本发明实施例提供的一种基于可变焦镜头的结构光相机对焦方法，用于解决现有技术中因光机位置固定或移动不便而导致拍照成像质量差的问题。本发明的对焦方法由以下步骤完成，参考图1。

步骤S1，获取光机与目标投影平面之间的目标距离，并判断目标距离所属的档位。在本发明中，将获取光机的最大焦距和最小焦距之间的投影距离划分为多个档位，根据不同的档位获取相应的对焦参数，可以快速完成光机的对焦。因此在应用过程中，先测量或估算光机到所需要投影的平面之间的距离（目标距离），然后将该目标距离进行大小分析，判断出所属的档位，然后直接将光机的焦距旋钮或按键调整到该档位。

步骤S2，根据档位从预先建立的数据库中获取与其对应的镜头焦距、光机内参矩阵和相机外参矩阵。本发明的数据库的建立过程具体如下：

步骤S21，获取可变焦镜头的最小焦距和最大焦距，并根据最小焦距和最大焦距计算最小投影距离和最大投影距离；

步骤S22，获取预先设置的档位数，根据档位数、最小投影距离和最大投影距离确定每一档位的镜头焦距；

步骤S23，对每一档位的镜头焦距进行标定得到对应的光机内参矩阵和相机外参矩阵；

步骤S24，将每一档位、镜头焦距、光机内参矩阵和相机外参矩阵以对应的关系进行保存。

在本发明实施例中，对于档位的划分过程如下内容所述。

光机到投影平面的投影距离与镜头焦距之间的关系如图2所示，其中，光机主要由光源、光机芯片和透镜（镜头）组成，在本发明中，使用的是可变焦镜头。对于光学设备，不同的镜头焦距对应着不同的投影距离，在本实施例中，光机芯片宽度为W_LCD，当光机芯片与镜头之间的距离（即镜头焦距）为f时，光机在距离透镜h处投影的效果最好，且该投影平面的成像宽度为W，因此根据图1中成像原理可得光机到投影平面的投影距离与镜头焦距之间的关系如公式（1）所示：

（1）

其中，

指的是镜头焦距，

指的是光机芯片宽度，h指的是光机距投影平面的投影距离，W指的是投影平面的成像宽度。因此，在确定了镜头焦距或投影距离的情况下，可以根据步骤S1中的公式（1）推导可得另一个参数，具体如公式（2）所示：

（2）

在实际应用过程中，光机中可变焦镜头的最大焦距和最小焦在出厂时已经确定了，因此在执行本发明之前可以提前输入到存储模块（如存储器）中，在执行本发明的方法时可以直接提取。同时获取光机芯片宽度W_LCD和投影平面的成像宽度W，然后根据最小焦距、光机芯片宽度和投影平面宽度计算最小投影距离；根据最大焦距、光机芯片宽度和投影平面宽度计算最大投影距离。具体地，将获取到的可变焦镜头的最小焦距或最大焦距输入到公式（2）中，即可计算该光机的最小投影距离和最大投影距离，具体地计算过程如公式（3）所示：

（3）

其中，h₁是最小投影距离，h₂是最大投影距离，W是投影平面的成像宽度，W_LCD是光机芯片宽度，f₁是最小焦距，f₂是最大焦距。即如图3所示，当光机的镜头焦距为f₁时，对应的光机（或者说透镜）到最佳成像平面（AB平面）的距离为h₁；当光机的镜头焦距为f₂时，对应的光机（或者说透镜）到最佳成像平面（CD平面）的距离为h₂，点AB或点CD之间的距离为投影平面的成像宽度W，即每个镜头焦距的最佳投影平面的成像宽度是相同的。

在确定最小投影距离和最大投影距离后，将h₁到h₂之间的距离范围按照阈值划分成多个不同档位，即每一档位设定一个镜头焦距，至于档位的划分是将最小投影距离和最大投影距离之间的距离范围划分成多个间距相同或不同的档位，每个档位的间距可以根据客户的需求设定，然后从每一档位中选择一个投影距离计算该档位的镜头焦距，一般选择常用的或者有代表性的投影距离。在对光机进行对焦时，直接获取光机与拍照目标（即成像平面）的距离，该距离就是目标距离，然后判断该距离在哪个档位，直接将光机的调节到该档位，即可完成对焦。每个档位的档位间距是由档位数n确定的，n越小，档位间距越大，对焦精度越低；n越大，档位间距越小，对焦精度越高。

档位间距根据公式（4）计算，首先获取档位数，本发明的档位数是由用户确定并保存在存储模块中，可以直接调用，然后将档位数、最小投影距离和最大投影距离输入到公式（4）中计算档位间距L。

公式（4）如下：

（4）

对于任意档位m（m=1，…，n），根据公式（4）推导出第m档位对应的距离，即第1档的投影距离在[h₁，h₁+L]之间，第2档的投影距离在[h₁+L，h₁+2L]之间，……，第n档的投影距离在[h₁+(n-1)L，h_n]之间。本发明的光机在使用前，先将光机和拍照相机按照每一档位的焦距f_m进行标定，获取每一种焦距f_m对应的光机内参矩阵和相机外参矩阵，同时将每一档位的焦距f_m、光机内参矩阵和相机外参矩阵以列表或对应的关系保存在存储模块中。获取光机芯片宽度和投影平面的成像宽度，根据光机芯片宽度、投影平面宽度、最小投影距离和档位间距计算每一档位的镜头焦距。

根据公式（2）推导可得光机到投影平面的距离与镜头焦距之间的映射关系，该映射关系如公式（5）所示：

（5）

在工业生产过程中，先获取光机到目标平面（投影平面）的目标距离，该目标距离是用户通过实际测量或者估算确定后保存在存储模块中，可以直接调用；然后判断该目标距离所在的档位，将档位输入到所述光机到投影平面的距离与镜头焦距之间的映射关系中，即公式（5），可计算得到第一焦距。

在本发明的另一实施例中，可以在档位划分的过程中，直接计算出每一档位对应的镜头焦距，然后根据每一档位的镜头焦距进行标定，获取光机的内参矩阵和相机的外参矩阵，然后将档位和与其对应的镜头焦距、光机内参矩阵、相机外参矩阵等其他参数保存在数据库中，在获取目标距离后，可判断该第一焦距所在的档位并从数据库中提取相应的参数。

光机内参矩阵和相机外参矩阵是通过对已知的变焦镜头的每一档位的镜头焦距f_m提前进行精准标定获取的，这样在光机变焦的过程中，可直接提取事先精确标定好的镜头参数。

步骤S3，通过镜头焦距、光机内参矩阵和相机外参矩阵完成光机的对焦。具体地，对于固定的光机到目标投影平面的距离h，为了保证光源投影出的光照强度E不变，先判断h 在

到

之间的哪个档位范围内，确定对应的档位。然后按照档位对应的编号m调用已标定好的对应的焦距f_m、光机内外参矩阵和相机外参矩阵，即可将光机快速调整到合适的焦距，然后通过相机进行拍摄，保证光线汇聚的最好。

本发明在对光机进行对焦之前，根据光机到成像平面距离的远近，将距离分为几个远近档位，每个距离档位对应可变焦镜头的一种焦距。通过对已知的变焦镜头的几个特定焦距提前进行精准标定，获取每个特定焦距对应的光机内参矩阵和拍照相机对应的外参矩阵。这样在调整焦距的过程中，可直接利用事先精确标定好的镜头参数来快速调整成像效果，完成对焦。

本发明能够解决光机由成像平面距离改变而产生的光线能量严重散失的问题，本发明通过划分距离档位，利用提前精确标定好的光机和相机的各项参数，通过选定合适的光机镜头焦距档位，能够快速调整光机和相机的状态，直接进行拍摄，并保证光线在成像平面上能够更好的聚集，从而提高相机拍摄到的图像质量，提高图像的清晰度和整体亮度，同时大大提高了3D结构光相机的工作效率。

在本发明的另一个是实施例中，在划分光机到成像平面的距离档位时，可采用非线性的划分方式，如在常用的距离范围内采用更细致的划分，对应的档位更多，在不常用的距离范围内划分的档位更少等。

在本发明的一个实施例中，提供了一种3D结构光相机，包括光机、相机、数据处理模块和光机对焦模块，其中光机主要用于给相机拍照时提供一定强度的光照，相机用于拍摄光机成像平面处的目标，如产品外观等。数据处理模块，用于获取光机与目标投影平面之间的目标距离，并判断目标距离所属的档位；并根据档位从预先建立的数据库中获取与其对应的镜头焦距、光机内参矩阵和相机外参矩阵；光机对焦模块，用于根据第一焦距获取与其对应的光机内参矩阵和相机外参矩阵；并通过镜头焦距、光机内参矩阵和相机外参矩阵完成光机的对焦。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

另外，结合上述实施例中的基于可变焦镜头的结构光相机对焦方法，本发明实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种基于可变焦镜头的结构光相机对焦方法。

本发明的一个实施例中还提供了一种电子设备，该电子设备可以是终端。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于可变焦镜头的结构光相机对焦方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims

1.一种基于可变焦镜头的结构光相机对焦方法，所述结构光相机包括相机和光机，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述数据库的建立包括：

将每一所述档位、镜头焦距、光机内参矩阵和相机外参矩阵以对应的关系记录进行保存。

3.根据权利要求2所述的方法，其特征在于，所述根据所述最小焦距和最大焦距计算最小投影距离和最大投影距离，包括：

获取光机芯片宽度和投影平面宽度；

4.根据权利要求3所述的方法，其特征在于，

所述最小投影距离和所述最大投影距离的计算公式为：

5.根据权利要求2所述的方法，其特征在于，所述根据所述档位数、最小投影距离和最大投影距离确定每一档位的镜头焦距，包括：

6.根据权利要求5所述的方法，其特征在于，所述根据所述光机芯片宽度、投影平面宽度、最小投影距离和档位间距计算每一档位的镜头焦距，计算公式为：

7.根据权利要求1所述的方法，其特征在于，所述根据所述档位数、最小投影距离和最大投影距离确定每一档位的镜头焦距，包括；

从所述每一档位中选择一个投影距离计算该档位的镜头焦距。

8.一种结构光相机，其特征在于，包括：

9.一种电子设备，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的基于可变焦镜头的结构光相机对焦方法。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至7中任一项所述的基于可变焦镜头的结构光相机对焦方法。