CN117615257B - 一种成像方法、装置、介质及设备 - Google Patents

Abstract

本申请公开了一种成像方法、装置、介质及设备。其中，方法包括：基于阵列相机中的主相机以及若干辅相机对同一待成像区域、按照预定的目标曝光时长同步进行图像采集，获得与主相机对应的主初始图像、以及与各辅相机对应的辅初始图像；对主相机及各辅相机进行标定处理，以获得各所述辅相机与主相机之间的像素坐标映射关系；基于各像素坐标映射关系，对各辅初始图像进行图像转换处理，获得与各辅初始图像对应的等效图像；基于各等效图像以及所述主初始图像进行图像融合处理，获得所述待成像区域的目标图像。本申请能实现在较短曝光时长的拍摄状态下拍摄获得清晰的图像，提高了拍摄效率，解决了无法快速的拍摄获得清晰的产品图像的问题。

Description

一种成像方法、装置、介质及设备

技术领域

本发明涉及图像拍摄技术领域，特别涉及一种成像方法、装置、介质及设备。

背景技术

在机器视觉领域，通常采用工业相机对生产零件外观进行拍摄成像，以便于采用检测算法软件对所拍摄的图像进行智能化的质量检测。通常，单个零件可能包含多个待检测部位，需多次拍摄才能完成一次质检。因此，需要尽可能缩短单个检测部位的成像时间，才能提高质检的速率。然而，相机的成像时间也就是图像传感器的曝光时间，主要取决于图像传感器像元尺寸、光源强度、待测物表面材质等因素。当图像传感器像元尺寸一定，光源强度不变，且图像传感器未发生过曝光时，图像传感器的曝光时间越长，积累的光信号越强，成像越清晰。

由此为了保证成像清晰，通常会增加曝光时间，但是增加曝光时间就会导致拍摄效率低，进而导致后续质检效率低的问题。

由此，亟需一种成像方法，以解决现有技术中无法快速的拍摄获得清晰的产品图像的问题。

发明内容

有鉴于此，本发明提供了一种成像方法、装置、介质及设备，主要目的在于解决目前存在的无法快速的拍摄获得清晰的产品图像的问题。

为解决上述问题，本申请提供一种成像方法，包括：

基于阵列相机中的主相机以及若干辅相机对同一待成像区域、按照预定的目标曝光时长同步进行图像采集，获得与主相机对应的主初始图像、以及与各辅相机对应的辅初始图像；其中，目标曝光时长小于单个相机可拍摄获得清晰图像的最小曝光时长；

对主相机以及各辅相机进行标定处理，以获得各所述辅相机与主相机之间的像素坐标映射关系；

基于各辅相机与主相机之间的像素坐标映射关系，对各辅初始图像进行图像转换处理，获得与各辅初始图像对应的等效图像；

基于各所述等效图像以及所述主初始图像进行图像融合处理，获得所述待成像区域的目标图像。

可选的，所述辅相机的数量为4m个，其中m为正整数。

可选的，所述目标曝光时长为T/n；其中，n表示辅相机和主相机的总数；T表示单个相机可拍摄获得清晰图像的最小曝光时长。

可选的，所述基于各所述等效图像以及所述主初始图像进行图像融合处理，获得目标图像，具体包括：

基于各所述等效图像以及所述主初始图像进行叠加处理，获得所述目标图像。

为解决上述问题，本申请提供一种成像装置，包括：

主相机以及若干辅相机，所述主相机以及各辅相机分别用于对同一待成像区域、按照预定的目标曝光时长同步进行图像采集，获得与主相机对应的主初始图像、以及与各辅相机对应的辅初始图像；其中，目标曝光时长小于单个相机可拍摄获得清晰图像的最小曝光时长；

主控单元，用于对主相机以及各辅相机进行标定处理，以获得各所述辅相机与主相机之间的像素坐标映射关系，并基于各辅相机与主相机之间的像素坐标映射关系，对各辅初始图像进行图像转换处理，获得与各辅初始图像对应的等效图像；

所述主控单元还用于：基于各所述等效图像以及所述主初始图像进行图像融合处理，获得所述待成像区域的目标图像。

为解决上述问题，本申请提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述成像方法的步骤。

为解决上述问题，本申请提供一种电子设备，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现上述任一项所述成像方法的步骤。

本申请中的成像方法、装置、介质及设备，通过采用主相机以及若干辅相机对同一区域按照较短的曝光时长、同步进行拍摄，后续就可以进一步根据辅相机与主相机的像素坐标映射关系、对辅相机所拍摄的各辅初始图像进行等效转换，获得能够和主初始图像进行融合的等效图像，由此后续就可以将各等效图像与主初始图像进行融合，获得清晰的目标图像。实现了在较短曝光时长的拍摄状态下拍摄获得清晰的图像，提高了拍摄效率，解决了无法快速的拍摄获得清晰的产品图像的问题。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本申请实施例一种成像方法的流程图；

图2为本申请又一实施例主相机与辅相机的位置关系示意图；

图3为本申请实施例中主相机曝光时长与各辅相机曝光时长示意图；

图4为本申请另一实施例中一种成像装置的结构框图；

图5为相机的组成结构示意图；

图6为本申请另一实施例装置电子设备的结构框图。

具体实施方式

此处参考附图描述本申请的各种方案以及特征。

应理解的是，可以对此处申请的实施例做出各种修改。因此，上述说明书不应该视为限制，而仅是作为实施例的范例。本领域的技术人员将想到在本申请的范围和精神内的其他修改。

包含在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且与上面给出的对本申请的大致描述以及下面给出的对实施例的详细描述一起用于解释本申请的原理。

通过下面参照附图对给定为非限制性实例的实施例的优选形式的描述，本申请的这些和其它特性将会变得显而易见。

还应当理解，尽管已经参照一些具体实例对本申请进行了描述，但本领域技术人员能够确定地实现本申请的很多其它等效形式。

当结合附图时，鉴于以下详细说明，本申请的上述和其他方面、特征和优势将变得更为显而易见。

此后参照附图描述本申请的具体实施例；然而，应当理解，所申请的实施例仅仅是本申请的实例，其可采用多种方式实施。熟知和/或重复的功能和结构并未详细描述以避免不必要或多余的细节使得本申请模糊不清。因此，本文所申请的具体的结构性和功能性细节并非意在限定，而是仅仅作为权利要求的基础和代表性基础用于教导本领域技术人员以实质上任意合适的详细结构多样地使用本申请。

本说明书可使用词组“在一种实施例中”、“在另一个实施例中”、“在又一实施例中”或“在其他实施例中”，其均可指代根据本申请的相同或不同实施例中的一个或多个。

本申请实施例提供一种成像方法，如图1所示，包括：

步骤S101，基于阵列相机中的主相机以及若干辅相机对同一待成像区域、按照预定的目标曝光时长同步进行图像采集，获得与主相机对应的主初始图像、以及与各辅相机对应的辅初始图像；其中，目标曝光时长小于单个相机可拍摄获得清晰图像的最小曝光时长；

本步骤中，辅相机的数量可以为偶数个，基于主相机对称设置，对称的设置与主相机的两侧，或对称的设置于主相机的周围。本实施中目标曝光时长小于单个相机可拍摄获得清晰图像的最小曝光时长T。也就是说，在基于单相机进行拍摄时，拍摄获得一张清晰图像的最小曝光时长为T，那么为了提高拍摄效率，本申请中的目标曝光时长则小于该曝光时长T。

步骤S102，对主相机以及各辅相机进行标定处理，以获得各所述辅相机与主相机之间的像素坐标映射关系；

本步骤在具体实施过程中，可以预先对对主相机以及各辅相机进行标定处理，以获得各所述辅相机与主相机之间的所述像素坐标的映射关系。具体标定过程如下：

在单个相机系统中，通过标定可以确定相机几何模型的参数，即世界坐标系（被测环境）中三维空间点与相机像素坐标系（二维图像）中的点的对应关系。

从世界坐标系到像素坐标系的转换可用公式（1）表示：

（1）

其中，令为像素坐标点。/>表示为世界坐标点。为相机内参矩阵。/>，为相机外参矩阵；则公式（1）写成矩阵形式为：

（2）

对于任意相机，内参矩阵K和外参矩阵T可通过相机标定进行确定，常见标定方法很多，主要有传统相机标定法、主动视觉相机标定方法、相机自标定法以及零失真相机标定法等。

因此，在多相机系统中，对于某个相机i，有

（3）

对于任意两个相机i,j，可联立方程：

（4）

在标定过程中，可选择某个特定的点使得，其在两个相机中分别对应像素点/>，/>。

由于方程（3）、（4）中，/>，/>，/>均为已知，/>，/>为常量，因此，若已知，可求得/>，反之亦然。

也就是说，通过上述标定过程，可以将辅相机中对应的像素坐标转换为主相机中对应的像素坐标，从而完成多相机像素坐标之间映射关系的标定，

步骤S103，基于各辅相机与主相机之间的像素坐标映射关系，对各辅初始图像进行图像转换处理，获得与各辅初始图像对应的等效图像；

本步骤中，在获得像素坐标映射关系后，就可以基于该映射关系对辅初始图像进行图像转换，以获得可用于和主初始图像融合的等效图像。

步骤S104，基于各所述等效图像以及所述主初始图像进行图像融合处理，获得所述待成像区域的目标图像。

本步骤在具体实施过程中，在将辅初始图像转换为可以和主初始图像融合的的等效图像之后，就可以将各等效图像和主初始图像进行叠加，即将同一像素点对应的数据进行叠加，从而获得目标图像。

本实施例中，通过采用主相机以及若干辅相机对同一区域按照较短的曝光时长、同步进行拍摄，后续就可以进一步根据辅相机与主相机的像素坐标映射关系、对辅相机所拍摄的各辅初始图像进行等效转换，获得能够和主初始图像进行融合的等效图像，由此后续就可以将各等效图像与主初始图像进行融合，获得清晰的目标图像。实现了在较短曝光时长的拍摄状态下拍摄获得清晰的图像，提高了拍摄效率，解决了无法快速的拍摄获得清晰的产品图像的问题。

在上述实施例的基础上，本申请又一实施例提供一种成像方法，本实施例中辅相机的数量为4m个，其中m为正整数。也就是可以为4个、8个等等。例如，如图2所示的设置方式，设置4个辅相机，并将各所述辅相机对称的设置与主相机的四周。同时，可以控制主相机和各辅相机采用相同的曝光时长进行拍摄，曝光时长均为T/n，其中，n表示辅相机和主相机的总数；T表示可拍摄获得清晰图像的最小曝光时长。由于各个相机指向同一成像区域，因此通过控制各个相机同时曝光，每个相机曝光时长为T/n，则等效为单个相机对同一区域曝光时间T。从而将原所需曝光时长T，缩短为T/n。

本实施例中，在进行图像融合处理时，可以直接基于各等效图像以及主初始图像进行叠加处理，获得所述目标图像。也就是，通过阵列相机中的主相机以及若干辅相机对同一待成像区域、按照预定的目标曝光时长T/n同步进行图像采集，可得到n张图像，记为,/>……，/>。

设为主初始图像，/>……，/>为辅初始图像，则通过前述多相机坐标映射方法，可将辅初始图像转换为等效的主相机的初始图像/>……，/>，则融合后的目标图像/>可表示为：

（5）

也就是说，在基于单相机进行拍摄时，拍摄获得一张清晰图像的最小曝光时长为T，那么为了提高拍摄效率，可以将主相机和各辅相机的曝光时长缩短为T/n，然后进行同步曝光拍摄、以及图像融合，由此后续融合获得的目标图像的融合等效曝光时间可以如图3所示，即仍然为T。实现了在较短曝光时长的拍摄状态下，仍然能够获得曝光时长为T的清晰图像，实现高速成像控制，提高了拍摄效率。并且本申请中的方法未选择尺寸更大的传感器，因此不会增加成本，并且能够保证了图像分辨率。同时没有提高光源强度，因此不会导致动态范围增大，能够同时兼顾明暗区域的成像效果。

本申请另一实施例提到一种成像装置，如图4所示，包括：相机阵列以及主控单元。其中，相机阵列包括：主相机以及若干辅相机，所述主相机以及各辅相机分别用于对同一待成像区域、按照预定的目标曝光时长同步进行图像采集，获得与主相机对应的主初始图像、以及与各辅相机对应的辅初始图像；其中，目标曝光时长小于单个相机可拍摄获得清晰图像的最小曝光时长；

主控单元，用于对主相机以及各辅相机进行标定处理，以获得各所述辅相机与主相机之间的像素坐标映射关系，并基于各辅相机与主相机之间的像素坐标映射关系，对各辅初始图像进行图像转换处理，获得与各辅初始图像对应的等效图像；

所述主控单元还用于：基于各所述等效图像以及所述主初始图像进行图像融合处理，获得所述待成像区域的目标图像。

具体的，本实施例中的相机阵列包含若干相机，各相机的图像传感器相同、并包含有相应的光学镜头。根据成像方法的需要，将其中一个相机定为主相机，具体可以选择阵列中位置居中的相机作为主相机，其余相机作为辅相机。各个相机通过一定的安装结构件进行排列连接和固定，使其镜头对准同一成像区域，形成一个同聚焦视场。

本实施例中，主相机以及辅相机分别的组成结构如图5所示，包括镜头1、图像传感器2、连接器3以及电路板4，各相机通过相机线缆与主控单元电路板连接，从而实现对相机中图像传感器CIS芯片的信号采集传输和控制。

主控单元实现相机的数据采集、图像融合算法和数据传输等功能，主要包括图像同步采集单元、图像融合处理单元、图像数据高速缓存以及高速数据传输接口等部分。

其中，图像同步采集单元通过同步时钟电路的控制，确保多个相机的图像传感器CIS芯片在同一时刻准确曝光，以满足高速成像的需要。

图像融合处理单元用于进行图像标定、图像转换和图像融合等处理过程，将多个相机产生的初始图像融合为单张图像（即目标图像）。经过高速数据缓存输出到相机的高速数据传输接口，可供外部计算机或其他处理单元进行后续的图像识别和检测处理。

本实施例在具体实施过程中，所述辅相机的数量为4m个，其中m为正整数。

本实施例在具体实施过程中，所述目标曝光时长为T/n；其中，n表示辅相机和主相机的总数；T表示单个相机可拍摄获得清晰图像的最小曝光时长。

所述主控单元具体用于：基于各所述等效图像以及所述主初始图像进行叠加处理，获得所述目标图像。

本实施例中的成像装置，通过采用主相机以及若干辅相机对同一区域按照较短的曝光时长、同步进行拍摄，后续就可以进一步根据辅相机与主相机的像素坐标映射关系、对辅相机所拍摄的各辅初始图像进行等效转换，获得能够和主初始图像进行融合的等效图像，由此后续就可以将各等效图像与主初始图像进行融合，获得清晰的目标图像。实现了在较短曝光时长的拍摄状态下拍摄获得清晰的图像，提高了拍摄效率，解决了无法快速的拍摄获得清晰的产品图像的问题。

本申请另一实施例提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如下方法步骤：

步骤一、基于阵列相机中的主相机以及若干辅相机对同一待成像区域、按照预定的目标曝光时长同步进行图像采集，获得与主相机对应的主初始图像、以及与各辅相机对应的辅初始图像；其中，目标曝光时长小于单个相机可拍摄获得清晰图像的最小曝光时长；

步骤二、对主相机以及各辅相机进行标定处理，以获得各所述辅相机与主相机之间的像素坐标映射关系；

步骤三、基于各辅相机与主相机之间的像素坐标映射关系，对各辅初始图像进行图像转换处理，获得与各辅初始图像对应的等效图像；

步骤四、基于各所述等效图像以及所述主初始图像进行图像融合处理，获得所述待成像区域的目标图像。

上述方法步骤的具体实施过程可参见上述任意成像方法的实施例，本实施例在此不再重复赘述。

本实施例中的存储介质，通过采用主相机以及若干辅相机对同一区域按照较短的曝光时长、同步进行拍摄，后续就可以进一步根据辅相机与主相机的像素坐标映射关系、对辅相机所拍摄的各辅初始图像进行等效转换，获得能够和主初始图像进行融合的等效图像，由此后续就可以将各等效图像与主初始图像进行融合，获得清晰的目标图像。实现了在较短曝光时长的拍摄状态下拍摄获得清晰的图像，提高了拍摄效率，解决了无法快速的拍摄获得清晰的产品图像的问题。

本申请另一实施例提供一种电子设备，如图6所示，至少包括存储器A、处理器B，所述存储器A上存储有计算机程序，所述处理器B在执行所述存储器A上的计算机程序时实现如下方法步骤：

步骤一、基于阵列相机中的主相机以及若干辅相机对同一待成像区域、按照预定的目标曝光时长同步进行图像采集，获得与主相机对应的主初始图像、以及与各辅相机对应的辅初始图像；其中，目标曝光时长小于单个相机可拍摄获得清晰图像的最小曝光时长；

步骤二、对主相机以及各辅相机进行标定处理，以获得各所述辅相机与主相机之间的像素坐标映射关系；

步骤三、基于各辅相机与主相机之间的像素坐标映射关系，对各辅初始图像进行图像转换处理，获得与各辅初始图像对应的等效图像；

步骤四、基于各所述等效图像以及所述主初始图像进行图像融合处理，获得所述待成像区域的目标图像。

上述方法步骤的具体实施过程可参见上述任意成像方法的实施例，本实施例在此不再重复赘述。

本实施例中的电子设备，通过采用主相机以及若干辅相机对同一区域按照较短的曝光时长、同步进行拍摄，后续就可以进一步根据辅相机与主相机的像素坐标映射关系、对辅相机所拍摄的各辅初始图像进行等效转换，获得能够和主初始图像进行融合的等效图像，由此后续就可以将各等效图像与主初始图像进行融合，获得清晰的目标图像。实现了在较短曝光时长的拍摄状态下拍摄获得清晰的图像，提高了拍摄效率，解决了无法快速的拍摄获得清晰的产品图像的问题。

以上实施例仅为本申请的示例性实施例，不用于限制本申请，本申请的保护范围由权利要求书限定。本领域技术人员可以在本申请的实质和保护范围内，对本申请做出各种修改或等同替换，这种修改或等同替换也应视为落在本申请的保护范围内。

Claims (6)

1.一种成像方法，其特征在于，包括：

基于阵列相机中的主相机以及若干辅相机对同一待成像区域、按照预定的目标曝光时长同步进行图像采集，获得与主相机对应的主初始图像、以及与各辅相机对应的辅初始图像；其中，目标曝光时长小于单个相机可拍摄获得清晰图像的最小曝光时长；

对主相机以及各辅相机进行标定处理，以获得各所述辅相机与主相机之间的像素坐标映射关系；

基于各辅相机与主相机之间的像素坐标映射关系，对各辅初始图像进行图像转换处理，获得与各辅初始图像对应的等效图像；

基于各所述等效图像以及所述主初始图像进行图像融合处理，获得所述待成像区域的目标图像；

所述目标曝光时长为T/n；其中，n表示辅相机和主相机的总数；T表示单个相机可拍摄获得清晰图像的最小曝光时长。

2.如权利要求1所述的方法，其特征在于，所述辅相机的数量为4m个，其中m为正整数。

3.如权利要求1所述的方法，其特征在于，所述基于各所述等效图像以及所述主初始图像进行图像融合处理，获得目标图像，具体包括：

基于各所述等效图像以及所述主初始图像进行叠加处理，获得所述目标图像。

4.一种成像装置，其特征在于，包括：

主相机以及若干辅相机，所述主相机以及各辅相机分别用于对同一待成像区域、按照预定的目标曝光时长同步进行图像采集，获得与主相机对应的主初始图像、以及与各辅相机对应的辅初始图像；其中，目标曝光时长小于单个相机可拍摄获得清晰图像的最小曝光时长；所述目标曝光时长为T/n；其中，n表示辅相机和主相机的总数；T表示单个相机可拍摄获得清晰图像的最小曝光时长；

主控单元，用于对主相机以及各辅相机进行标定处理，以获得各所述辅相机与主相机之间的像素坐标映射关系，并基于各辅相机与主相机之间的像素坐标映射关系，对各辅初始图像进行图像转换处理，获得与各辅初始图像对应的等效图像；

所述主控单元还用于：基于各所述等效图像以及所述主初始图像进行图像融合处理，获得所述待成像区域的目标图像。

5.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述权利要求1-3任一项所述成像方法的步骤。

6.一种电子设备，其特征在于，至少包括存储器、处理器，所述存储器上存储有计算机程序，所述处理器在执行所述存储器上的计算机程序时实现上述权利要求1-3任一项所述成像方法的步骤。