CN115314635B - 用于离焦量确定的模型训练方法及装置 - Google Patents
用于离焦量确定的模型训练方法及装置 Download PDFInfo
- Publication number
- CN115314635B CN115314635B CN202210928965.1A CN202210928965A CN115314635B CN 115314635 B CN115314635 B CN 115314635B CN 202210928965 A CN202210928965 A CN 202210928965A CN 115314635 B CN115314635 B CN 115314635B
- Authority
- CN
- China
- Prior art keywords
- training data
- defocus amount
- brightness
- defocus
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 158
- 238000000034 method Methods 0.000 title claims abstract description 49
- 239000013598 vector Substances 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 17
- 238000003384 imaging method Methods 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 238000010295 mobile communication Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 241000283986 Lepus Species 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/778—Active pattern-learning, e.g. online learning of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本公开涉及成像技术领域，具体涉及一种用于离焦量确定的模型训练方法及装置、计算机可读存储介质及电子设备，方法包括：获取初始训练数据，初始训练数据包括多组子训练数据，每组子训练数据中包括物距相同、焦距相同且亮度不同的多对参考左右视差图以及参考左右视差图对应的参考离焦量；利用亮度大于等于预设亮度的参考左右视差图对应的参考离焦量，更新同一组子训练数据中亮度低于预设亮度的参考左右视差图对应的参考离焦量，以确定目标训练数据；基于目标训练数据训练离焦量确定网络。本公开实施例的技术方案克服相关技术中在亮度较暗时离焦量计算精度差的问题。
Description
技术领域
本公开涉及成像技术领域，具体而言，涉及一种用于离焦量确定的模型训练方法及装置、计算机可读存储介质及电子设备。
背景技术
理想的手机自动对焦应具有对焦速度快、稳定和准确的特点，这就要求对焦算法在当前位置能够快速准确计算出离焦量。
但是，现有技术的离焦量计算方式在亮度较暗计算精度较差，以使得手机对焦不准确。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种用于离焦量确定的模型训练方法、用于离焦量确定的模型训练装置、计算机可读介质和电子设备，进而至少在一定程度上克服相关技术中在亮度较暗时离焦量计算精度差的问题。
根据本公开的第一方面，提供一种用于离焦量确定的模型训练方法，包括：获取初始训练数据，所述初始训练数据包括多组子训练数据，每组子训练数据中包括物距相同、焦距相同且亮度不同的多对参考左右视差图以及所述参考左右视差图对应的参考离焦量；利用亮度大于等于预设亮度的参考左右视差图对应的参考离焦量，更新同一组子训练数据中亮度低于所述预设亮度的参考左右视差图对应的参考离焦量，以确定目标训练数据；基于所述目标训练数据训练离焦量确定网络。
根据本公开的第二方面，提供一种离焦量确定方法，包括获取待测左右视差图，并利用上述训练后的所述离焦量确定网络确定所述待测左右视差图对应的目标离焦量。
根据本公开的第三方面，提供一种用于离焦量确定的模型训练装置，包括：获取模块，用于获取初始训练数据，所述初始训练数据包括多组子训练数据，每组子训练数据中包括物距相同、焦距相同且亮度不同的多对参考左右视差图以及所述参考左右视差图对应的参考离焦量；更新模块，用于利用目标亮度下的参考左右视差图对应的参考离焦量，更新同一组子训练数据中亮度低于所述预设亮度的参考左右视差图对应的参考离焦量，以确定目标训练数据，所述预设亮度小于等于所述目标亮度；训练模块，用于基于所述目标训练数据训练离焦量确定网络。
根据本公开的第四方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。
根据本公开的第五方面，提供一种电子设备，其特征在于，包括：一个或多个处理器；以及存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。
本公开的一种实施例所提供的离焦量确定方法，获取初始训练数据，所述初始训练数据包括多组子训练数据，每组子训练数据中包括物距相同、焦距相同且亮度不同的多对参考左右视差图以及所述参考左右视差图对应的参考离焦量；利用亮度大于等于预设亮度的参考左右视差图对应的参考离焦量，更新同一组子训练数据中亮度低于所述预设亮度的参考左右视差图对应的参考离焦量，以确定目标训练数据；基于所述目标训练数据训练离焦量确定网络。相较于现有技术，利用亮度大于等于预设亮度的参考左右视差图对应的参考离焦量，更新同一组子训练数据中亮度低于所述预设亮度的参考左右视差图对应的参考离焦量，在训练离焦量确定网络考虑到了亮度信息，提升了离焦量计算的精度，进一步的，利用亮度较高对应的参考离焦量更新训练数据中亮度较暗的参考离焦量，改善了亮度较暗时计算精度较差的问题，同时采用大量的数据训练模型来训练离焦量确定网络，能够进一度的提升利用离焦量确定网络确定的离焦量的精度。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了相关技术中的自动对焦基本流程图；
图2示出了可以应用本公开实施例的一种示例性系统架构的示意图；
图3示意性示出本公开示例性实施例中一种用于离焦量确定的模型训练方法的流程图；
图4示意性示出本公开示例性实施例中初始训练数据中不同亮度下离焦值与焦距的关系；
图5示意性示出本公开示例性实施例中目标训练数据中不同亮度下离焦值与焦距的关系；
图6示意性示出本公开示例性实施例中离焦量确定模型的示框架图；
图7示意性示出本公开示例性实施例中确定离焦量框架图；
图8示意性示出本公开示例性实施例中离焦量计算装置的组成示意图；
图9示出了可以应用本公开实施例的一种电子设备的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。
此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
在相关技术中，相机自动对焦基本流程如图1所示，通过移动镜头来获取准焦图像，即调整镜头位置，移动镜头之后判断是否聚焦，若是，则对焦完成，若否，则继续移动镜头，直至完成对焦，主要涉及镜头移动决策和当前是否准焦判断两大模块，CAF(contrastauto focus，对比度自动聚焦)、PDAF(hase Detection Auto Focus，相位检测自动对焦)和Laser AF(Laser Auto Focus，激光自动对焦)是目前智能手机一般采用的对焦策略。CAF会计算对焦区域的对比度，通过对比度大小来决定下一次镜头移动方向，最终找到对比度最大的位置作为准焦位置。PDAF通过感光元件上预留的遮蔽点生成左右视差图进行相位检测，通过匹配左右图的对应像素点计算出离焦量，即当前镜头离准焦位置的距离和方向，从而实现准确对焦。Laser AF是基于激光反射原理，通过红外激光传感器向被摄物体发射红外激光，计算出相机与被摄物体之间的距离，然后转化为离焦量，推动马达完成对焦。
CAF算法无法计算出当前位置的离焦量，只能按照预设的步长推动镜头，计算对焦区域的对比度，通过对比度大小趋势得到镜头移动方向，对焦速度较慢且对焦体验不佳。PDAF基于图像匹配的方法计算离焦量，但易受传感器噪声、光线强度和弱纹理等影响，在暗景和弱纹理等场景离焦量准确度不高。Laser AF通过测量出物距，继而转化成离焦量，但其由于对焦距离和成本原因，在手机使用上有一定限制。
图2示出了系统架构的示意图，该系统架构200可以包括终端210与服务器220。其中，终端210可以是智能手机、平板电脑、台式电脑、笔记本电脑等终端设备，服务器220泛指提供本示例性实施方式中离焦量计算相关服务的后台系统，可以是一台服务器或多台服务器形成的集群。终端210与服务器220之间可以通过有线或无线的通信链路形成连接，以进行数据交互。
在一种实施方式中，可以由终端210执行上述用于离焦量确定的模型训练方法。例如，用户使用终端210获取到初始训练数据后，由终端210根据初始训练数据训练离焦量确定网络。
在一种实施方式中，可以由服务器220可以执行上述离焦量确定方法。例如，用户使用终端210获取到初始训练数据后，终端210将获取到的初始训练数据后上传至服务器220，由服务器220根据初始训练数据训练离焦量确定网络，向终端210返回训练后的离焦量确定网络。
由上可知，本示例性实施方式中的离焦量确定方法的执行主体可以是上述终端210或服务器220，本公开对此不做限定。
下面结合图3对本示例性实施方式中的用于离焦量确定的模型训练方法进行说明，图3示出了该用于离焦量确定的模型训练方法的示例性流程，可以包括：
步骤S310，获取初始训练数据，所述初始训练数据包括多组子训练数据，每组子训练数据中包括物距相同、焦距相同且亮度不同的多对参考左右视差图以及所述参考左右视差图对应的参考离焦量；
步骤S320，利用亮度大于等于预设亮度的参考左右视差图对应的参考离焦量，更新同一组子训练数据中亮度低于所述预设亮度的参考左右视差图对应的参考离焦量，以确定目标训练数据；
步骤S330，基于所述目标训练数据训练离焦量确定网络。
相较于现有技术，利用亮度大于等于预设亮度的参考左右视差图对应的参考离焦量，更新同一组子训练数据中亮度低于所述预设亮度的参考左右视差图对应的参考离焦量，在训练离焦量确定网络考虑到了亮度信息，提升了离焦量计算的精度，进一步的，利用亮度较高对应的参考离焦量更新练数据中亮度较暗的参考离焦量，改善了亮度较暗时计算精度较差的问题，同时采用大量的数据训练模型来训练离焦量确定网络，能够进一度的提升利用离焦量确定网络确定的离焦量的精度。
下面对图3中的每个步骤进行具体说明。
参考图2，在步骤S310中，获取初始训练数据，所述初始训练数据包括多组子训练数据，每组子训练数据中包括物距相同、焦距相同且亮度不同的多对参考左右视差图以及所述参考左右视差图对应的参考离焦量。
在本公开的一种示例实施方式中，初始训练数据可以包括多组子训练数据，其中，每一组子训练数据都可以包括在物距和交局相同的情况下，在不同亮度场景下拍摄的多对参考左右视差图，以及每一对上述参考左右视差图对应的参考离焦量。
在本示例实施方式中，上述参考左右视差图包括两张图像，是将一个像素作为两个模块分别成像之后得到的图像，即PDAF中的的左右视差图。
在本示例实施方式中，可以通过通过全扫描方式以一定的步长遍历镜头位置获取参考左右视差图，作为模型的输入，具体而言，全扫描算法属于CAF算法的一种，是一种全程搜索算法，从最近焦(一般对应镜头位置为0)往最远焦(镜头能推到的最远距离)按照一定步长搜焦，镜头停在对比度最大的位置。
助全扫描算法来获取不同镜头位置对应的参考左右是插图，设置步长为s，停留帧数为f。对同一场景，固定手机与被拍摄物体的距离，通过调节灯箱来获取不同亮度下的图像序列，即一个距离d下获取m×n×f对数据，其中m代表调节的亮度场景数目，n表示全扫描跑完一次全程获取的数据对个数。
在本示例实施方式中，上述步长可以与上述镜头的可移动范围相关，若镜头的可移动范围为0至838，则上述步长可以设置为大于等于10小于等于20的任意数字，如10、15等。上述步长还可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。
将同一个物距、同一个镜头位置，即物距和焦距相同的场景下通过镜头获取的多张亮度不用的参考左右是插图作为一个子训练数据组。
在本示例实施方式中，对于上述每一组参考左右视差图，现都可以计算得到f个离焦量值，即针对每一对不同亮度的参考左右视差图均会得到一组参考离焦量。可以记为，其中i表示同一距离下的第i个亮度，考虑到由于第一帧马达不稳定造成的误差，取第二帧至第f帧的均值作为该参考左右视图差的参考离焦值，即能够保证在每一组亮度下都拍啥了多张个图像，去其均值作为该亮度下的参考离焦量能够提升训练数据准确信，进一步的提升了得到训练模型的精度，是的离焦量计算的精度得到提升。
在本示例实施方式中，在得到可以采用上述方式得到多组子训练数据进而构成上述初始训练数据。
在步骤S320，利用亮度大于等于预设亮度的参考左右视差图对应的参考离焦量，更新同一组子训练数据中亮度低于所述预设亮度的参考左右视差图对应的参考离焦量，以确定目标训练数据；
在本示例实施方式中，在得到上述多组子训练数据之后，可以确定一个预设亮度值，预设亮度值用于区分亮度低亮度与正常亮度的亮度值，即相机能够正常检测较为准确的参考离焦量的最低亮度值，其中，上述预设亮度值可以是50Lux，还可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。
在本示例实施方式中，就可以使用亮度大于或等于预设亮度的参考左右视差图对应的参考离焦量来更新上述亮度小于预设亮度值的参考左右是插图对应的参考离焦量。
具体而言，在一种示例实施方式中，可以确定一个目标亮度，该目标亮度可以大于或等于上述预设亮度，目标亮度可以是手机或者相机获取离焦量最为准确的亮度，也可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。
在本示例实时方式中，可以利用上述目标亮度的对应的参考左右视差图的参考离焦量更新同一组子训练数据中亮度低于上述预设亮度的参考左右是插图对应的参考离焦量。
举例而言，若上述目标亮度与预设亮度值均为50Lux，此时可以50Lux对应的参考左右视差图的参考离焦量替换同一子训练数据中的所有亮度低于50Lux的参考左右视差图对应的参考离焦量。若两对参考左右视差图对应的亮度分别为50和36，且两对参考左右视差图位于同一个子训练数据，此时可以利用亮度为50的参考左右视差图对应的参考离焦量替换亮度为36的参考品左右视差图对应的参考离焦量。
在本公开的另一种示例实施方式中，可以利用同一个子训练数据中亮度值大于上述预设亮度的参考左右视差图对应的离焦量的平均值更新上述亮度低于预设亮度的参考左右视差图对应的离焦量。
举例而言，建设一组子训练数据中包括6对参考左右视差图，对应的亮度值分别为20Lux、30Lux、50Lux、60Lux、80Lux、85Lux且上述预设亮度为50，此时，可以首先计算亮度为50Lux、60Lux、80Lux、85Lux对应的参考离焦量的平均值，并用该平均值替换亮度值为20Lux、30Lux、的参考左右视差图对应的参考离焦量。
利用较高亮度的参考左右视差图对应的参考离焦量替换了亮度较暗时的参考左右视差图对应的参考离焦量，且在计算离焦量时，亮度值是不参与计算的，因此，低亮度对应的离焦量不用是由于终端不同亮度的分析过程中存在的偏差导致的，由于是在低亮度时，采用上述方法能够使得训练数据中的低亮度对应的参考离焦量回归正常，提升看训练数据的准确定，进一步能够提升后续对离焦量确定网络训练的精度。
在完成对上述各个训练数据的更新之后得到目标训练数据，在本示例实施方式中还可以对上述目标训练数据进行筛除，此时，可以将上述初始训练数据按照物距进行分组，并确定出同一物距，不同焦距以及不通亮度下的离焦量曲线，由于在物距固时，离焦量与上述焦距线性相关，因此，就可以删除目标训练数据中的精度较低的数据。
举例而言，参照图4和图5所示，lux_1～lux_8为同一距离下亮度从大到小获取的8组数据，图4是，下图为修正lux_8亮度后的数据。但是，修正后，每组的前25个数据较平，不具有良好的线性度，可以从上述目标训练数据中剔除。
在步骤S330，基于所述目标训练数据训练离焦量确定网络。
在本示例实施方式中，可以首先对行数目标训练数据进行优化，具体而言，可以首先计算上述目标训练数据中的参考离焦量的平均离焦量，然后利用平均离焦量更新所述组子训练数据中各所述参考左右视差图对应的参考离焦量。即采用平均离焦量作为该子训练数据中的所有参考左右视差图的参考离焦量。
在本示例实施方式中，可以构建一个离焦量确定网络，在训练时，可以首先对上述参考左右视差图进行特征提取得到多组参考特征向量对，具体而言，可以采用轻量级的mobilenetv2网络进行特征提取，且左右分支权重共享，为了减少下采样造成的信息损失，截取mobilenetv2网络的第四层输出作为最终的参考特征向量对，即参考特征向量对的大小为参考左右视差图的1/4。
在得到上述多组参考特征向量对之后，可以基于上述参考特征向量对构建视差矩阵，具体而言，可以将上参考特征向量对中的两个参考特征向量的内积作为上述视差矩阵。获取的视差矩阵大小是三维的H和W表示输入图像的大小，D表示最大视差。视差矩阵计算公式如下：
其中Fl,Fr表示左右特征图，<·,·>表示两个特征向量的内积，N为特征图的通道数，C(d,h,w)是在(h,w)处候选视差为d的匹配代价。
在本公开的另一种示例实施方式中，视差矩阵还可以采用匹配方式构建，具体而言，C(i,j)表示参考特征向量(左)605第i列和参考特征向量(右)606第j列的匹配程度，若匹配则为1，不匹配为0，所以当不存在视差时，视差矩阵是一个单位矩阵，对角线元素为1，若存在视差，取参考特征向量(左)605第i列，遍历参考特征向量(右)606所有的列，寻找所匹配的列，假设是第j列，则C(i,j)＝1。
在本公开的一种示例实施方式中，在得到上述视差矩阵之后，可以将上述视差矩阵和参考离焦量对上述离焦量确定网络来对上述离焦量确定网络进行训练，其中，上述离焦量确定网络可以包括CNN回归网络和CNN分类网络，其中，CNN回归网络利用参考离焦量中的离焦值进行训练，CNN分类网络可以采用参考离焦量中的离焦进行训练。
其中，CNN回归网络和CNN分类网络可以叠加多个大小是5×5以及3×3，步长为2的卷积核，，CNN分类网络最后一层使用归一化函数层，并分别采用focal loss和smoothL1loss作为网络损失函数来监督训练。
需要说明的是，上述卷积核的大小还可以根据用户需求进行自定义，在本示例实施方式中不做具体限定。
具体而言，参照图6所示，参考左右视差图(左)601和参考左右视差图(左)602分别输入至两个特征提取模块，分别为特征提取模块603和特征提取模块604，其中两个特征提取模块的权重共享，得到参考特征向量(左)605和参考特征向量(右)606，然后进行相关性融合得到视差矩阵607，然后基于视差矩阵训练CNN回归网络609和CNN分类网络608。
在完成对离焦量确定网络的训练之后，可以将上述特征提取模块、视差矩阵的计算模块以及离焦量确定网络封装为离焦量确定模型，用于对待测左右视差图进行目标离焦量的计算。
进一步的，本公开还提供一种离焦量确定方法，可以包括获取待测左右视差图，并利用上述训练后的所述离焦量确定网络确定所述待测左右视差图对应的目标离焦量。具体而言，参照图7所示，可以首先执行步骤S701，输入待测左右视差图，具体而言，可以将上述待测左右视差图直接输入至上述离焦量确定模型，得到对应的目标离焦量，具体而言，将上述待测左右视差图输入至上述离焦量确定模型之后，然后执行步骤S702，特征提取，对上述待测左右视差图进行特征提取得到目标特征向量对，然后执行步骤S703，视差矩阵构建，基于目标特征向量对确定目标视差矩阵，即将目标特征向量对中的两个特征向量的内积作为上述目标视差矩阵，然后将上述目标视差矩阵输入至上述离焦量确定网络，分别经过CNN回归网络710和CNN分类网络720得到目标离焦值730以目标离焦方向740，进而得到目标离焦量。
在本示例实施方式中，在将上述待测左右视差图输入至上述离焦量确定模型之前，还可以对上述的待测左右视差图进行去噪处理，以增强离焦量计算的精度。
综上所述，本示例性实施方式中，利用亮度大于等于预设亮度的参考左右视差图对应的参考离焦量，更新同一组子训练数据中亮度低于所述预设亮度的参考左右视差图对应的参考离焦量，在训练离焦量确定网络考虑到了亮度信息，提升了离焦量计算的精度，进一步的，利用亮度较高对应的参考离焦量更新练数据中亮度较暗的参考离焦量，改善了亮度较暗时计算精度较差的问题，同时采用大量的数据训练模型来训练离焦量确定网络，能够进一度的提升利用离焦量确定网络确定的离焦量的精度。进一步的在得到目标训练数据之后，对目标训练数据中的不准确点进行了筛除，增加了目标训练数据的精度，进而提升了训练得到离焦值计算网络的精度，同时，还可以对上述待测左右视差图进行去噪处理，进而得到更高精度的目标离焦量。
需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
进一步的，参考图8所示，本示例的实施方式中还提供一种用于离焦量确定的模型训练装置800，包括获取模块810、更新模块820、训练模块830。其中：
获取模块810可以用于获取初始训练数据，所述初始训练数据包括多组子训练数据，每组子训练数据中包括物距相同、焦距相同且亮度不同的多对参考左右视差图以及所述参考左右视差图对应的参考离焦量。
更新模块820可以用于利用目标亮度下的参考左右视差图对应的参考离焦量，更新同一组子训练数据中亮度低于所述预设亮度的参考左右视差图对应的参考离焦量，以确定目标训练数据，所述预设亮度小于等于所述目标亮度。
训练模块830可以用于基于所述目标训练数据训练离焦量确定网络。
在本公开的一种示例实施方式中，上述更新模块820被配置为确定一目标亮度，所述目标亮度大于或等于所述预设亮度；利用所述目标亮度的参考左右视差图对应的参考离焦量，更新同一组子训练数据中亮度低于所述预设亮度的参考左右视差图对应的参考离焦量。
在本公开的一种示例实施方式中，上述更新模块820被配置为利用亮度大于等于预设亮度的参考左右视差图对应的参考离焦量的平均值，更新同一组子训练数据中亮度低于所述预设亮度的参考左右视差图对应的参考离焦量。
在本公开的一种示例实施方式中，训练模块830被配置为计算所述子训练数据中的参考离焦量的平均离焦量；利用所述平均离焦量更新所述组子训练数据中各所述参考左右视差图对应的参考离焦量。
在本公开的一种示例实施方式中，训练模块830被配置为构建离焦量确定网络；对所述参考左右视差图进行特征提取得到多组参考特征向量对；基于所述参考特征向量对构建视差矩阵；基于所述参考视差矩阵以及所述参考离焦量更新所述离焦量确定网络。
在本示例实施方式中，基于所述参考特征向量对构建视差矩阵可以包括将所述参考特征向量对中的两个参考特征向量的内积作为所述视差矩阵。
上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。
本公开的示例性实施方式还提供一种用于执行上述离焦量确定方法的电子设备，该电子设备可以是上述终端210或服务器220。一般的，该电子设备可以包括处理器与存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行上述离焦量确定方法。
下面以图9中的移动终端900为例，对该电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图9中的构造也能够应用于固定类型的设备。
如图9所示，移动终端900具体可以包括：处理器901、存储器902、总线903、移动通信模块904、天线1、无线通信模块905、天线2、显示屏906、摄像模块907、音频模块908、电源模块909与传感器模块910。
处理器201可以包括一个或多个处理单元，例如：处理器901可以包括AP(Application Processor，应用处理器)、调制解调处理器、GPU(Graphics ProcessingUnit，图形处理器)、ISP(Image Signal Processor，图像信号处理器)、控制器、编码器、解码器、DSP(Digital Signal Processor，数字信号处理器)、基带处理器和/或NPU(Neural-Network Processing Unit，神经网络处理器)等。本示例性实施方式中的离焦量确定方法可以由AP、GPU或DSP来执行，当方法涉及到神经网络相关的处理时，可以由NPU来执行。
移动终端900可以支持一种或多种编码器和解码器。这样，移动终端900可以处理多种编码格式的图像或视频，例如：JPEG(Joint Photographic Experts Group，联合图像专家组)、PNG(Portable Network Graphics，便携式网络图形)、BMP(Bitmap，位图)等图像格式，MPEG(Moving Picture Experts Group，动态图像专家组)1、MPEG2、H.263、H.264、HEVC(High Efficiency Video Coding，高效率视频编码)等视频格式。
处理器901可以通过总线903与存储器902或其他部件形成连接。
存储器902可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器901通过运行存储在存储器902的指令，执行移动终端900的各种功能应用以及数据处理。存储器902还可以存储应用数据，例如存储图像，视频等文件。
移动终端900的通信功能可以通过移动通信模块904、天线1、无线通信模块905、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块904可以提供应用在移动终端900上2G、3G、4G、5G等移动通信解决方案。无线通信模块905可以提供应用在移动终端900上的无线局域网、蓝牙、近场通信等无线通信解决方案。
显示屏906用于实现显示功能，如显示用户界面、图像、视频等。摄像模块907用于实现拍摄功能，如拍摄图像、视频等。音频模块908用于实现音频功能，如播放音频，采集语音等。电源模块909用于实现电源管理功能，如为电池充电、为设备供电、监测电池状态等。传感器模块910可以包括深度传感器9101、压力传感器9102、陀螺仪传感器9103、气压传感器9104等，以实现相应的感应检测功能。
所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。
Claims (11)
1.一种用于离焦量确定的模型训练方法，其特征在于，包括：
获取初始训练数据，所述初始训练数据包括多组子训练数据，每组子训练数据中包括物距相同、焦距相同且亮度不同的多对参考左右视差图以及所述参考左右视差图对应的参考离焦量；
利用亮度大于等于预设亮度的参考左右视差图对应的参考离焦量，更新同一组子训练数据中亮度低于所述预设亮度的参考左右视差图对应的参考离焦量，以确定目标训练数据；
基于所述目标训练数据训练离焦量确定网络。
2.根据权利要求1所述的方法，其特征在于，所述利用亮度大于等于预设亮度的参考左右视差图对应的参考离焦量，更新同一组子训练数据中亮度低于所述预设亮度的参考左右视差图对应的参考离焦量，包括：
确定一目标亮度，所述目标亮度大于或等于所述预设亮度；
利用所述目标亮度的参考左右视差图对应的参考离焦量，更新同一组子训练数据中亮度低于所述预设亮度的参考左右视差图对应的参考离焦量。
3.根据权利要求1所述的方法，其特征在于，所述利用亮度大于等于预设亮度的参考左右视差图对应的参考离焦量，更新同一组子训练数据中亮度低于所述预设亮度的参考左右视差图对应的参考离焦量，包括：
利用亮度大于等于预设亮度的参考左右视差图对应的参考离焦量的平均值，更新同一组子训练数据中亮度低于所述预设亮度的参考左右视差图对应的参考离焦量。
4.根据权利要求1-3任一项所述的方法，其特征在于，基于所述目标训练数据训练离焦量确定网络，包括：
计算所述子训练数据中的参考离焦量的平均离焦量；
利用所述平均离焦量更新所述组子训练数据中各所述参考左右视差图对应的参考离焦量。
5.根据权利要求1所述的方法，其特征在于，基于所述目标训练数据训练离焦量确定网络，包括：
构建离焦量确定网络；
对所述参考左右视差图进行特征提取得到多组参考特征向量对；
基于所述参考特征向量对构建视差矩阵；
基于所述视差矩阵以及所述参考离焦量更新所述离焦量确定网络。
6.根据权利要求5所述的方法，其特征在于，所述基于所述参考特征向量对构建视差矩阵，包括：
将所述参考特征向量对中的两个参考特征向量的内积作为所述视差矩阵。
7.一种离焦量确定方法，其特征在于，包括：
获取待测左右视差图，并利用权利要求1-6任一项所述的训练后的所述离焦量确定网络确定所述待测左右视差图对应的目标离焦量。
8.根据权利要求7所述的方法，其特征在于，利用训练后的所述离焦量确定网络计算所述待测左右视差图对应的目标离焦量；
对所述待测左右视差图进行特征提取得到目标特征向量对；
根据所述目标特征向量对确定目标视差矩阵；
将所述目标视差矩阵输入至所述离焦量确定网络得到所述目标离焦量。
9.一种用于离焦量确定的模型训练装置，其特征在于，包括：
获取模块，用于获取初始训练数据，所述初始训练数据包括多组子训练数据，每组子训练数据中包括物距相同、焦距相同且亮度不同的多对参考左右视差图以及所述参考左右视差图对应的参考离焦量；
更新模块，用于利用目标亮度下的参考左右视差图对应的参考离焦量，更新同一组子训练数据中亮度低于预设亮度的参考左右视差图对应的参考离焦量，以确定目标训练数据，所述预设亮度小于等于所述目标亮度；
训练模块，用于基于所述目标训练数据训练离焦量确定网络。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至8中任一项所述方法。
11.一种电子设备，其特征在于，包括：
一个或多个处理器；以及
存储器，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至8中任一项所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210928965.1A CN115314635B (zh) | 2022-08-03 | 2022-08-03 | 用于离焦量确定的模型训练方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210928965.1A CN115314635B (zh) | 2022-08-03 | 2022-08-03 | 用于离焦量确定的模型训练方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115314635A CN115314635A (zh) | 2022-11-08 |
| CN115314635B true CN115314635B (zh) | 2024-03-26 |
Family
ID=83858708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210928965.1A Active CN115314635B (zh) | 2022-08-03 | 2022-08-03 | 用于离焦量确定的模型训练方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115314635B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116392058A (zh) * | 2023-04-18 | 2023-07-07 | 极限人工智能有限公司 | 电子内窥镜自动对焦方法及系统 |
| CN117714859A (zh) * | 2023-08-01 | 2024-03-15 | 上海荣耀智慧科技开发有限公司 | 离焦量获取方法、装置、电子设备及可读存储介质 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106506973A (zh) * | 2016-12-06 | 2017-03-15 | 广东欧珀移动通信有限公司 | 对焦控制方法、装置、电子设备及终端设备 |
| CN110418068A (zh) * | 2019-07-24 | 2019-11-05 | 浙江大华技术股份有限公司 | 一种聚焦方法、装置、电子设备及存储介质 |
| CN111263064A (zh) * | 2015-05-19 | 2020-06-09 | 佳能株式会社 | 图像处理设备、摄像设备、图像处理方法和存储介质 |
| CN112333379A (zh) * | 2020-09-17 | 2021-02-05 | 北京迈格威科技有限公司 | 图像对焦方法、装置及图像采集设备 |
| GB202104109D0 (en) * | 2021-03-24 | 2021-05-05 | Sony Interactive Entertainment Inc | Image rendering method and apparatus |
| WO2021093635A1 (zh) * | 2019-11-12 | 2021-05-20 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN112866511A (zh) * | 2019-11-12 | 2021-05-28 | Oppo广东移动通信有限公司 | 成像组件、对焦方法和装置、电子设备 |
| CN112866655A (zh) * | 2019-11-12 | 2021-05-28 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN112866510A (zh) * | 2019-11-12 | 2021-05-28 | Oppo广东移动通信有限公司 | 对焦方法和装置、电子设备、计算机可读存储介质 |
| CN114173063A (zh) * | 2022-02-11 | 2022-03-11 | 杭州灵西机器人智能科技有限公司 | 基于可变焦镜头的结构光相机对焦方法及结构光相机 |
| CN114526692A (zh) * | 2022-04-24 | 2022-05-24 | 广东工业大学 | 一种基于离焦度解包裹的结构光三维测量方法及装置 |
-
2022
- 2022-08-03 CN CN202210928965.1A patent/CN115314635B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111263064A (zh) * | 2015-05-19 | 2020-06-09 | 佳能株式会社 | 图像处理设备、摄像设备、图像处理方法和存储介质 |
| CN106506973A (zh) * | 2016-12-06 | 2017-03-15 | 广东欧珀移动通信有限公司 | 对焦控制方法、装置、电子设备及终端设备 |
| CN110418068A (zh) * | 2019-07-24 | 2019-11-05 | 浙江大华技术股份有限公司 | 一种聚焦方法、装置、电子设备及存储介质 |
| WO2021093635A1 (zh) * | 2019-11-12 | 2021-05-20 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN112866511A (zh) * | 2019-11-12 | 2021-05-28 | Oppo广东移动通信有限公司 | 成像组件、对焦方法和装置、电子设备 |
| CN112866655A (zh) * | 2019-11-12 | 2021-05-28 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
| CN112866510A (zh) * | 2019-11-12 | 2021-05-28 | Oppo广东移动通信有限公司 | 对焦方法和装置、电子设备、计算机可读存储介质 |
| CN112333379A (zh) * | 2020-09-17 | 2021-02-05 | 北京迈格威科技有限公司 | 图像对焦方法、装置及图像采集设备 |
| GB202104109D0 (en) * | 2021-03-24 | 2021-05-05 | Sony Interactive Entertainment Inc | Image rendering method and apparatus |
| CN114173063A (zh) * | 2022-02-11 | 2022-03-11 | 杭州灵西机器人智能科技有限公司 | 基于可变焦镜头的结构光相机对焦方法及结构光相机 |
| CN114526692A (zh) * | 2022-04-24 | 2022-05-24 | 广东工业大学 | 一种基于离焦度解包裹的结构光三维测量方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115314635A (zh) | 2022-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102278776B1 (ko) | 이미지 처리 방법, 기기, 및 장치 | |
| CN115314635B (zh) | 用于离焦量确定的模型训练方法及装置 | |
| JP7043085B2 (ja) | 視点から距離情報を取得するための装置及び方法 | |
| US10334229B2 (en) | Method for obtaining a refocused image from a 4D raw light field data using a shift correction parameter | |
| CN105659580A (zh) | 一种自动对焦方法、装置及电子设备 | |
| CN113129241B (zh) | 图像处理方法及装置、计算机可读介质、电子设备 | |
| JP6645682B2 (ja) | 距離取得装置、距離画像信号補正装置、撮像装置、距離画像量子化装置、および方法 | |
| US10904512B2 (en) | Combined stereoscopic and phase detection depth mapping in a dual aperture camera | |
| CN104184935A (zh) | 影像拍摄设备及方法 | |
| CN103136745A (zh) | 利用散焦碉堡图像执行深度估计的系统及方法 | |
| CN103176349B (zh) | 镜头检测装置及方法 | |
| CN113269823A (zh) | 深度数据获取方法、装置、存储介质与电子设备 | |
| CN116258756B (zh) | 一种自监督单目深度估计方法及系统 | |
| CN117495975A (zh) | 一种变焦镜头的标定方法、装置及电子设备 | |
| CN112883944B (zh) | 活体检测方法、模型训练方法、装置、存储介质及设备 | |
| CN112752088B (zh) | 深度图像生成方法及装置、参考图像生成方法、电子设备 | |
| CN114782507A (zh) | 一种基于无监督学习的非对称双目立体匹配方法及系统 | |
| CN115209000A (zh) | 用于遥感成像动态相差估计方法及系统 | |
| CN112150529B (zh) | 一种图像特征点的深度信息确定方法及装置 | |
| CN112950698A (zh) | 基于双目散焦图像的深度估计方法、装置、介质和设备 | |
| CN112927281B (zh) | 深度检测方法、深度检测装置、存储介质与电子设备 | |
| Labussière et al. | Blur aware metric depth estimation with multi-focus plenoptic cameras | |
| CN113055584B (zh) | 基于模糊程度的对焦方法、镜头控制器及相机模组 | |
| CN118279369A (zh) | 图像处理方法及装置、计算机可读介质和电子设备 | |
| CN118212146A (zh) | 图像融合方法及装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |