CN113362300A - 训练、检测、聚焦方法及拍摄装置 - Google Patents

Abstract

本发明提供了一种训练方法、检测方法、聚焦方法及拍摄装置。其中，所述训练方法包括：按照预设逻辑将训练用的所述RAW域图像拆分为第一图像和第二图像；所述第一图像和所述第二图像输入两通道的神经网络模型进行训练，得到RAW域摩尔纹检测模型。所述RAW域摩尔纹检测模型可用于检测RAW域图像中是否存在摩尔纹，以其为基础可设置相应的检测方法、聚焦方法和拍摄装置，解决了现有技术中缺乏有效地对RAW域图像进行摩尔纹检测的方法的问题。

Description

训练、检测、聚焦方法及拍摄装置

技术领域

本发明涉及图像信号处理领域，特别涉及一种训练方法、检测方法、聚焦方法及拍摄装置。

背景技术

当屏幕刷新频率接近图像传感器的扫描频率时，往往会出现摩尔纹现象。

摩尔纹现象严重影响屏幕场景的应用，比如PDAF(Phase Detection Auto Focus，相位对焦)。尤其当相位对焦图像(PD图像)对摩尔纹原始图像进行了降采样后，摩尔纹现象更加明显，摩尔纹现象会导致相位对焦出现误检测。因此对屏幕场景的相位对焦，需要进行摩尔纹检测提高对焦算法性能。

也就是说，现有技术中缺乏有效地对摩尔纹进行检测的方法，尤其是缺乏对RAW域图像进行摩尔纹检测的方法。

发明内容

本发明的目的在于提供一种训练方法、检测方法、聚焦方法及拍摄装置，以解决现有技术中缺乏有效地对RAW域图像进行摩尔纹检测的方法的问题。

为了解决上述技术问题，根据本发明的第一个方面，提供了一种训练方法，应用于RAW域摩尔纹检测模型的训练，所述RAW域摩尔纹检测模型用于接收RAW域图像并输出所述RAW域图像中是否存在摩尔纹的判断结果，所述训练方法包括：训练用的所述RAW域图像的奇数行进行拼接得到第一图像；训练用的所述RAW域图像的偶数行进行拼接得到第二图像；所述第一图像和所述第二图像输入神经网络模型进行训练，得到所述RAW域摩尔纹检测模型，其中，所述神经网络模型为两通道输入，所述第一图像和所述第二图像各自占用一个通道。

可选的，训练用的所述RAW域图像包括正样本图像和负样本图像，所述正样本图像中存在摩尔纹，所述负样本图像中不存在摩尔纹。

可选的，基于所述正样本图像和所述负样本图像的数量之比设定学习权重。

可选的，所述正样本图像基于至少两种图像传感器拍摄多种型号的显示屏中的多种拍摄对象得到，所述拍摄对象包括网页、文档以及图像。

可选的，所述负样本图像基于至少两种图像传感器拍摄至少两种场景得到，所述场景包括不受摩尔纹干扰的屏幕场景以及自然场景，所述自然场景包括室内自然场景和室外自然场景。

可选的，所述神经网络模型的池化层的尺寸被配置为4×4，以及，所述神经网络模型的全连接层的数量被配置为2层。

可选的，所述训练方法还包括：在训练过程中，保留损失函数最小的模型以及分类准确性最高的模型；以及，基于损失函数和分类准确性计算综合评价指标，所述综合评价指标最高的模型作为最终训练结果。

为了解决上述技术问题，根据本发明的第二个方面，提供了一种检测方法，所述检测方法包括：接收RAW域图像；接收到的所述RAW域图像的奇数行进行拼接得到第三图像；接收到的所述RAW域图像的偶数行进行拼接得到第四图像；以及，所述第三图像和所述第四图像输入检测模型得到检测结果，所述检测模型基于上述的训练方法训练得到。

为了解决上述技术问题，根据本发明的第三个方面，提供了一种聚焦方法，所述聚焦方法包括：接收RAW域图像；接收到的所述RAW域图像基于相位对焦技术计算聚焦电机的需求位移；接收到的所述RAW域图像基于上述的检测方法得到检测结果；若检测结果为存在摩尔纹，则将所述需求位移设置为零并输出；若检测结果为不存在摩尔纹，则直接输出所述需求位移。

为了解决上述技术问题，根据本发明的第四个方面，提供了一种拍摄装置，所述拍摄装置包括聚焦电机和处理器，其中，所述处理器用于基于上述的聚焦方法输出所述需求位移以驱使所述聚焦电机运动。

与现有技术相比，本发明提供的一种训练方法、检测方法、聚焦方法及拍摄装置中，所述训练方法包括：按照预设逻辑将训练用的所述RAW域图像拆分为第一图像和第二图像；所述第一图像和所述第二图像输入两通道的神经网络模型进行训练，得到RAW域摩尔纹检测模型。所述RAW域摩尔纹检测模型可用于检测RAW域图像中是否存在摩尔纹，以其为基础可设置相应的检测方法、聚焦方法和拍摄装置，解决了现有技术中缺乏有效地对RAW域图像进行摩尔纹检测的方法的问题。

附图说明

本领域的普通技术人员将会理解，提供的附图用于更好地理解本发明，而不对本发明的范围构成任何限定。其中：

图1a是本发明一实施例中图像传感器输出的RAW域原始图像的摩尔纹示意图；

图1b是图1a所示的RAW域原始图像在降采样后得到的图像的摩尔纹示意图；

图2是本发明一实施例的训练方法的流程示意图；

图3a是本发明一实施例的正样本图像的示例一；

图3b是本发明一实施例的正样本图像的示例二；

图3c是本发明一实施例的正样本图像的示例三；

图3d是本发明一实施例的正样本图像的示例四；

图3e是本发明一实施例的正样本图像的示例五；

图3f是本发明一实施例的正样本图像的示例六；

图4a是本发明一实施例的负样本图像的示例一；

图4b是本发明一实施例的负样本图像的示例二；

图4c是本发明一实施例的负样本图像的示例三；

图4d是本发明一实施例的负样本图像的示例四；

图4e是本发明一实施例的负样本图像的示例五；

图4f是本发明一实施例的负样本图像的示例六；

图5a是本发明一实施例的聚焦方法的一测试工况的原始图像；

图5b是图5a所示的测试工况中一图像区域在一对照的聚焦方法下的输出曲线；

图5c是图5b所示的图像区域在本发明一实施例的聚焦方法下的输出曲线；

图5d是图5a所示的测试工况中又一图像区域在一对照的聚焦方法下的输出曲线；

图5e是图5d所示的图像区域在本发明一实施例的聚焦方法下的输出曲线；

图6a是本发明一实施例的聚焦方法的又一测试工况的原始图像；

图6b是图6a所示的测试工况中一图像区域在一对照的聚焦方法下的输出曲线；

图6c是图6b所示的图像区域在本发明一实施例的聚焦方法下的输出曲线；

图6d是图6a所示的测试工况中又一图像区域在一对照的聚焦方法下的输出曲线；

图6e是图6d所示的图像区域在本发明一实施例的聚焦方法下的输出曲线。

具体实施方式

为使本发明的目的、优点和特征更加清楚，以下结合附图和具体实施例对本发明作进一步详细说明。需说明的是，附图均采用非常简化的形式且未按比例绘制，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。

如在本发明中所使用的，单数形式“一”、“一个”以及“该”包括复数对象，术语“或”通常是以包括“和/或”的含义而进行使用的，术语“若干”通常是以包括“至少一个”的含义而进行使用的，术语“至少两个”通常是以包括“两个或两个以上”的含义而进行使用的，此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括一个或者至少两个该特征，“一端”与“另一端”以及“近端”与“远端”通常是指相对应的两部分，其不仅包括端点，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。此外，如在本发明中所使用的，一元件设置于另一元件，通常仅表示两元件之间存在连接、耦合、配合或传动关系，且两元件之间可以是直接的或通过中间元件间接的连接、耦合、配合或传动，而不能理解为指示或暗示两元件之间的空间位置关系，即一元件可以在另一元件的内部、外部、上方、下方或一侧等任意方位，除非内容另外明确指出外。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

本发明的核心思想在于提供一种训练方法、检测方法、聚焦方法及拍摄装置，以解决现有技术中缺乏有效地对RAW域图像进行摩尔纹检测的方法的问题。

以下参考附图进行描述。

请参考图1a至图6e，其中，图1a是本发明一实施例中图像传感器输出的RAW域原始图像的摩尔纹示意图；图1b是图1a所示的RAW域原始图像在降采样后得到的图像的摩尔纹示意图；图2是本发明一实施例的训练方法的流程示意图；图3a是本发明一实施例的正样本图像的示例一；图3b是本发明一实施例的正样本图像的示例二；图3c是本发明一实施例的正样本图像的示例三；图3d是本发明一实施例的正样本图像的示例四；图3e是本发明一实施例的正样本图像的示例五；图3f是本发明一实施例的正样本图像的示例六；图4a是本发明一实施例的负样本图像的示例一；图4b是本发明一实施例的负样本图像的示例二；图4c是本发明一实施例的负样本图像的示例三；图4d是本发明一实施例的负样本图像的示例四；图4e是本发明一实施例的负样本图像的示例五；图4f是本发明一实施例的负样本图像的示例六；图5a是本发明一实施例的聚焦方法的一测试工况的原始图像；图5b是图5a所示的测试工况中一图像区域在一对照的聚焦方法下的输出曲线；图5c是图5b所示的图像区域在本发明一实施例的聚焦方法下的输出曲线；图5d是图5a所示的测试工况中又一图像区域在一对照的聚焦方法下的输出曲线；图5e是图5d所示的图像区域在本发明一实施例的聚焦方法下的输出曲线；图6a是本发明一实施例的聚焦方法的又一测试工况的原始图像；图6b是图6a所示的测试工况中一图像区域在一对照的聚焦方法下的输出曲线；图6c是图6b所示的图像区域在本发明一实施例的聚焦方法下的输出曲线；图6d是图6a所示的测试工况中又一图像区域在一对照的聚焦方法下的输出曲线；图6e是图6d所示的图像区域在本发明一实施例的聚焦方法下的输出曲线。

如图1a所示，当图像传感器对屏幕进行拍摄时，得到的拍摄图像中可能会出现波浪状的摩尔纹，而为了特定的算法(例如PDAF)以降采样的方式对原始拍摄图像进行处理，则得到的摩尔纹更加明显，如图1b所示。

为了防止摩尔纹对上述特定的算法产生影响，需要提供一种能够有效分辨摩尔纹的检测方法。为了实现上述检测方法，本实施例首先提供了一种训练方法，应用于RAW域摩尔纹检测模型的训练，所述RAW域摩尔纹检测模型用于接收RAW域图像并输出所述RAW域图像中是否存在摩尔纹的判断结果，所述训练方法(请参考图2)包括：

S10训练用的所述RAW域图像的奇数行进行拼接得到第一图像；

S20训练用的所述RAW域图像的偶数行进行拼接得到第二图像；

S30所述第一图像和所述第二图像输入神经网络模型进行训练，得到所述RAW域摩尔纹检测模型，其中，所述神经网络模型为两通道输入，所述第一图像和所述第二图像各自占用一个通道。

需理解，对于常见的应用于图像处理的神经网络训练方法，都是基于RGB图像进行的训练方法，而由于PDAF算法是在对RAW域图像进行处理得到RGB图像之前就需要生效的，因此与其配合的图像处理模型，也需要基于RAW域图像进行识别。RAW域图像是指每个像素点仅代表一个颜色通道的颜色深度的图像，例如RGB格式下的RAW域图像，在2*2的像素组中，其中一个像素代表R通道的颜色深度，两个像素代表G通道的颜色深度，一个像素代表B通道的颜色深度。后续的成像算法或者硬件通过将上述的2*2的像素组中的颜色深度进行组合，得到完整的RGB像素值。RAW域图像的格式是图像传感器输出的原始数据的格式，也是理论上信息最不失真的格式。

通过发明人前期的研究表明，基于RGB图像的神经网络模型，在处理RAW域图像时，对于摩尔纹的识别准确度不高，因此，需要专门针对RAW域图像设计神经网络模型。其次，相位对焦技术输入为降采样后的RAW域图像，摩尔纹检测模型输入应保持一致。

进一步地，训练用的所述RAW域图像包括正样本图像和负样本图像，所述正样本图像中存在摩尔纹，所述负样本图像中不存在摩尔纹。

在本实施例中，由于正样本的数量远远少于负样本的数量。因此基于所述正样本图像和所述负样本图像的数量之比设定学习权重，即在本实施例中，拉高正样本权重，可提高模型分类精度。

其中，所述正样本图像基于至少两种图像传感器拍摄多种型号的显示屏中的多种拍摄对象得到，所述拍摄对象包括网页、文档以及图像。需理解，上述对象均通过所述显示屏展示，在拍摄时得到的图像中，若不存在摩尔纹，则最终也不属于正样本图案。所述正样本图像可以参考图3a～图3f进行理解。

所述负样本图像基于至少两种图像传感器拍摄至少两种场景得到，所述场景包括不受摩尔纹干扰的屏幕场景以及自然场景，所述自然场景包括室内自然场景和室外自然场景，所述自然场景是指镜头范围内没有屏幕的场景。所述负样本图像可以参考图4a～图4f进行理解。

在通过所述图像传感器拍摄得到初始的大尺寸的图像后，为了提高样本数量，以及提升单次训练的效果，保持与相位对焦技术输入尺寸一致，将上述的大尺寸图像切割为64×64的小图像作为训练对象。

在本实施例中，基于MobileNetV3进行网络设计，除了前文提及的将第一层的卷积输入改为两通道输入，还进行了如下修改和优化，包括：所述神经网络模型的池化层的尺寸被配置为4×4，保留更多的特征信息提高检率测准确，以及，所述神经网络模型的全连接层的数量被配置为2层，以降低模型参数。需理解，在其他的实施例中，也可以基于其他的神经网络模型进行训练方法的规划。

在本实施例中，利用Pytorch训练模型，所述训练方法还包括：在训练过程中，保留损失函数最小的模型以及分类准确性最高的模型；以及，基于损失函数和分类准确性计算综合评价指标，所述综合评价指标最高的模型作为最终训练结果。所述综合评价指标可以根据实际需求进行设置，例如，在实际测试集合中，使用分类准确性最高的模型

基于上述训练方法，本实施例还提供了一种检测方法，所述检测方法包括：

接收RAW域图像；

接收到的所述RAW域图像的奇数行进行拼接得到第三图像；

接收到的所述RAW域图像的偶数行进行拼接得到第四图像；以及，

所述第三图像和所述第四图像输入检测模型得到检测结果，所述检测模型基于上述的训练方法训练得到。

上述的检测方法与直接基于RGB图像的神经网络模型的摩尔纹检测方法(以下称方法1)在测试中的正确率如表1所示。

表1测试结果

	正样本检测率	负样本检测率
			本实施例	99.19％	99.88％
方法1	86.62％	83.28％

其中，正样本检测率的计算方法为，实际存在摩尔纹的测试图像中被检测为存在摩尔纹的比例，负样本检测率的计算方法为，实际不存在摩尔纹的测试图像中被检测为不存在摩尔纹的比例。从表1可以看出，本实施例在正样本和负样本的检测率上都优于方法一，大大提升了所述检测方法的准确率。

总之，本实施例的所述检测方法，通过收集大量摩尔纹Raw图像数据集，设计适用于移动端的小型分类网络，优化训练策略增强模型泛化性能，具有摩尔纹检测准确性高，泛化性能好，可应用于Raw域摩尔纹检测的优势。

将所述检测方法与原始的PDAF方法结合使用，可以得到本实施例的一种聚焦方法，所述聚焦方法包括：

接收RAW域图像；

接收到的所述RAW域图像基于相位对焦技术计算聚焦电机的需求位移；接收到的所述RAW域图像基于上述的检测方法得到检测结果；

若检测结果为存在摩尔纹，则将所述需求位移设置为零并输出；若检测结果为不存在摩尔纹，则直接输出所述需求位移。

也就是说，假设原来的计算结果为100，若检测为存在摩尔纹，则输出0，否则，输出100。

需理解，相位对焦技术的具体细节，可以根据本领域的公知常识进行理解，在此不进行详细的描述。

需理解，在本实施例中，所述RAW域图像用于PDAF方法的聚焦，根据技术的不同，所述RAW域图像可能基于不同的降采样的方法得到。在本实施例中，对于所述RAW域图像降采样方法不做限定，在不同的实施例中，根据所述相位对焦技术的具体细节进行配置。

利用上述的聚焦方法，对多个测试工况进行测试验证，其中两个测试工况的测试结果请参考图5a～图6e。其中，第一个测试工况的原始图像如图5a所示，图5b是在该测试工况下的(1，2)子图像在一对照的聚焦方法的输出曲线。其中(m，n)中的m代表图5a中的子图像的水平编号，n代表图5a中的子图像的垂直编号。对照的聚焦方法中，不与所述检测方法配合，直接基于与所述聚焦方法相同的相位对焦算法输出所述需求位移。图5c是在该测试工况下的(1，2)子图像在本实施例的聚焦方法下的输出曲线。比较图5b和5c可以看出，未应用所述检测方法的对照方法，在电机位移500处有一个突变，说明这个方法的输出受到了摩尔纹的影响，输出不正常；应用了所述检测方法的聚焦方法，其输出更为平滑，从曲线的趋势可以判断，应用了所述检测方法的聚焦方法的输出更为合理。图5b所示的输出曲线的直线度为0.702，图5c所示的输出曲线的直线度为0.995，显然，图5c的直线度更接近1，性能更好。图5d是在该测试工况下的(1，5)子图像在对照的聚焦方法的输出曲线(直线度为0.854)，图5e是在该测试工况下的(1，5)子图像在本实施例的聚焦方法下的输出曲线(直线度为0.993)，图5d和图5e的比较也可以得到类似的结论。

第二个测试工况的原始图像如图6a所示，图6b是在该测试工况下的(4，3)子图像在对照的聚焦方法的输出曲线(直线度为0.703)，图6c是在该测试工况下的(4，3)子图像在本实施例的聚焦方法下的输出曲线(直线度为0.961)，图6d是在该测试工况下的(2，3)子图像在对照的聚焦方法的输出曲线(直线度为0.866)，图6e是在该测试工况下的(2，3)子图像在本实施例的聚焦方法下的输出曲线(直线度为0.978)。根据图6b～图6e所展示的内容，也可以得知，本实施例具有更好的效果。

本实施例还提供了一种拍摄装置，所述拍摄装置包括聚焦电机和处理器，其中，所述处理器用于基于上述的聚焦方法输出所述需求位移以驱使所述聚焦电机运动。所述拍摄装置的镜头、图像传感器等元件及之间的连接关系，所述聚焦电机与所述镜头之间的传动关系以及所述拍摄装置最终输出拍摄结果的原理，均可以根据本领域公知常识进行设置，在此不再进行详细描述。

综上所述，本实施例提供的一种训练方法、检测方法、聚焦方法及拍摄装置中，所述训练方法包括：按照预设逻辑将训练用的所述RAW域图像拆分为第一图像和第二图像；所述第一图像和所述第二图像输入两通道的神经网络模型进行训练，得到RAW域摩尔纹检测模型。所述RAW域摩尔纹检测模型可用于检测RAW域图像中是否存在摩尔纹，以其为基础可设置相应的检测方法、聚焦方法和拍摄装置，解决了现有技术中缺乏有效地对RAW域图像进行摩尔纹检测的方法的问题。

上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于本发明技术方案的保护范围。

Claims (10)

1.一种训练方法，其特征在于，应用于RAW域摩尔纹检测模型的训练，所述RAW域摩尔纹检测模型用于接收RAW域图像并输出所述RAW域图像中是否存在摩尔纹的判断结果，所述训练方法包括：

训练用的所述RAW域图像的奇数行进行拼接得到第一图像；

训练用的所述RAW域图像的偶数行进行拼接得到第二图像；

所述第一图像和所述第二图像输入神经网络模型进行训练，得到所述RAW域摩尔纹检测模型，其中，所述神经网络模型为两通道输入，所述第一图像和所述第二图像各自占用一个通道。

2.根据权利要求1所述的训练方法，其特征在于，训练用的所述RAW域图像包括正样本图像和负样本图像，所述正样本图像中存在摩尔纹，所述负样本图像中不存在摩尔纹。

3.根据权利要求2所述的训练方法，其特征在于，基于所述正样本图像和所述负样本图像的数量之比设定学习权重。

4.根据权利要求2所述的训练方法，其特征在于，所述正样本图像基于至少两种图像传感器拍摄多种型号的显示屏中的多种拍摄对象得到，所述拍摄对象包括网页、文档以及图像。

5.根据权利要求2所述的训练方法，其特征在于，所述负样本图像基于至少两种图像传感器拍摄至少两种场景得到，所述场景包括不受摩尔纹干扰的屏幕场景以及自然场景，所述自然场景包括室内自然场景和室外自然场景。

6.根据权利要求1所述的训练方法，其特征在于，所述神经网络模型的池化层的尺寸被配置为4×4，以及，所述神经网络模型的全连接层的数量被配置为2层。

7.根据权利要求1所述的训练方法，其特征在于，所述训练方法还包括：

在训练过程中，保留损失函数最小的模型以及分类准确性最高的模型；以及，

基于损失函数和分类准确性计算综合评价指标，所述综合评价指标最高的模型作为最终训练结果。

8.一种检测方法，其特征在于，所述检测方法包括：

接收RAW域图像；

接收到的所述RAW域图像的奇数行进行拼接得到第三图像；

接收到的所述RAW域图像的偶数行进行拼接得到第四图像；以及，

所述第三图像和所述第四图像输入检测模型得到检测结果，所述检测模型基于如权利要求1～7中任一项所述的训练方法训练得到。

9.一种聚焦方法，其特征在于，所述聚焦方法包括：

接收RAW域图像；

接收到的所述RAW域图像基于相位对焦技术计算聚焦电机的需求位移；

接收到的所述RAW域图像基于如权利要求8所述的检测方法得到检测结果；

若检测结果为存在摩尔纹，则将所述需求位移设置为零并输出；若检测结果为不存在摩尔纹，则直接输出所述需求位移。

10.一种拍摄装置，其特征在于，所述拍摄装置包括聚焦电机和处理器，其中，

所述处理器用于基于如权利要求9所述的聚焦方法输出所述需求位移以驱使所述聚焦电机运动。

Images