CN114898266B - 训练方法、图像处理方法、装置、电子设备以及存储介质 - Google Patents
训练方法、图像处理方法、装置、电子设备以及存储介质 Download PDFInfo
- Publication number
- CN114898266B CN114898266B CN202210526829.XA CN202210526829A CN114898266B CN 114898266 B CN114898266 B CN 114898266B CN 202210526829 A CN202210526829 A CN 202210526829A CN 114898266 B CN114898266 B CN 114898266B
- Authority
- CN
- China
- Prior art keywords
- image
- determining
- target object
- pair
- sample image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012549 training Methods 0.000 title claims abstract description 149
- 238000012545 processing Methods 0.000 title claims abstract description 122
- 238000000034 method Methods 0.000 title claims abstract description 112
- 238000013136 deep learning model Methods 0.000 claims abstract description 79
- 230000006870 function Effects 0.000 claims abstract description 42
- 238000004422 calculation algorithm Methods 0.000 claims description 23
- 238000003672 processing method Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 14
- 230000008859 change Effects 0.000 claims description 9
- 230000002123 temporal effect Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 3
- 239000012634 fragment Substances 0.000 claims 1
- 238000013473 artificial intelligence Methods 0.000 abstract description 6
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000012015 optical character recognition Methods 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 20
- 238000004590 computer program Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 239000013598 vector Substances 0.000 description 11
- 238000001514 detection method Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000003709 image segmentation Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- HDAJUGGARUFROU-JSUDGWJLSA-L MoO2-molybdopterin cofactor Chemical compound O([C@H]1NC=2N=C(NC(=O)C=2N[C@H]11)N)[C@H](COP(O)(O)=O)C2=C1S[Mo](=O)(=O)S2 HDAJUGGARUFROU-JSUDGWJLSA-L 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本公开提供了一种训练方法、图像处理方法、装置、电子设备以及存储介质，涉及人工智能技术领域，尤其涉及深度学习、图像处理、计算机视觉技术领域，可应用于OCR、人脸等识别场景。具体实现方案为：从第一视频序列中确定目标对象的第一对象图像；根据第一对象图像，确定目标对象的第一样本图像对；基于对比损失函数和第一样本图像对训练深度学习模型，得到预训练模型。
Description
技术领域
本公开涉及人工智能技术领域，尤其涉及深度学习、图像处理、计算机视觉技术领域，可应用于OCR、人脸等识别场景。具体地，涉及一种训练方法、图像处理方法、装置、电子设备以及存储介质。
背景技术
随着计算机技术的发展，人工智能技术在各种领域得到了广泛应用。例如，可以利用人工智能技术进行深度学习模型的训练，以便根据得到的经训练的深度学习模型进行图像处理。
发明内容
本公开提供了一种训练方法、图像处理方法、装置、电子设备以及存储介质。
根据本公开的一方面，提供了一种深度学习模型的训练方法，包括：从第一视频序列中确定目标对象的第一对象图像；根据上述第一对象图像，确定上述目标对象的第一样本图像对；以及，基于对比损失函数和上述第一样本图像对训练深度学习模型，得到预训练模型。
根据本公开的另一方面，提供了一种图像处理模型的训练方法，包括：利用样本图像训练预训练模型，得到图像处理模型，其中，上述预训练模型是利用根据如本公开所述的方法训练得到的。
根据本公开的另一方面，提供了一种图像处理方法，包括：将目标图像输入图像处理模型，得到图像处理结果，其中，上述图像处理模型是利用根据如本公开所述的方法训练得到的。
根据本公开的另一方面，提供了一种深度学习模型的训练装置，包括：第一确定模块，用于从第一视频序列中确定目标对象的第一对象图像；第二确定模块，用于根据上述第一对象图像，确定上述目标对象的第一样本图像对；以及，第一训练模块，用于基于对比损失函数和上述第一样本图像对训练深度学习模型，得到预训练模型。
根据本公开的另一方面，提供了一种图像处理模型的训练装置，包括：第二训练模块，用于利用样本图像训练预训练模型，得到图像处理模型，其中，上述预训练模型是利用根据如本公开所述的装置训练得到的。
根据本公开的另一方面，提供了一种图像处理装置，包括：处理模块，用于将目标图像输入图像处理模型，得到图像处理结果，其中，上述图像处理模型是利用根据如本公开所述的装置训练得到的。
根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行本公开所述的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行本公开所述的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现本公开所述的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1示意性示出了根据本公开实施例的可以应用深度学习模型的训练方法、图像处理模型的训练方法、图像处理方法及装置的示例性系统架构；
图2示意性示出了根据本公开实施例的深度学习模型的训练方法的流程图；
图3示意性示出了根据本公开实施例的根据第一对象图像，确定目标对象的第一样本图像对的方法流程图；
图4示意性示出了根据本公开另一实施例的根据第一对象图像，确定目标对象的第一样本图像对的方法流程图；
图5示意性示出了根据本公开实施例的从第一视频序列中确定目标对象的第一对象图像的方法流程图；
图6示意性示出了根据本公开实施例的基于对比损失函数和第一样本图像对训练深度学习模型，得到预训练模型的方法流程图；
图7示意性示出了根据本公开实施例的深度学习模型的训练方法的示例示意图；
图8示意性示出了根据本公开实施例的图像处理模型的训练方法的流程图；
图9示意性示出了根据本公开实施例的图像处理模型的训练方法的示例示意图；
图10示意性示出了根据本公开实施例的图像处理方法的流程图；
图11示意性示出了根据本公开实施例的图像处理方法的示例示意图；
图12示意性示出了根据本公开实施例的深度学习模型的训练装置的框图；
图13示意性示出了根据本公开实施例的图像处理模型的训练装置的框图；
图14示意性示出了根据本公开实施例的图像处理装置的框图；以及
图15示意性示出了根据本公开实施例的适于实现深度学习模型的训练方法、图像处理模型的训练方法和图像处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
基于自监督的模型预训练在人工智能领域受到越来越多的关注，对比学习方法是其中的较为有效的方法之一。
由于基于自监督方法的样本图像不含标注信息，在对比学习中，作为正样本的两个样本图像是由一个样本图像通过两种不同的数据增强方法(例如平移、放缩或颜色变化等)得到的，因此，两个样本图像属于同一类别，在特征空间中的特征仍然维持不变的。
但是，由于平移只是将某个目标平行移动，放缩知识改变某个目标的尺寸，颜色变化只是对某个目标进行简单的颜色变化或光照变化。因此，针对现实生活中一些更为复杂的变化，例如，针对某个目标，随着时间的变化，该目标的外观发生了变化，即有一个衰老的过程。或者，该目标的姿态发生了变化等，通过上述数据增强方法无法得到。
因此，如果是利用不含标注信息的样本图像来进行自监督学习，模型能够学习到的变化是较为简单的，难以上升到语义层次。
为此，本发明实施例提出了一种深度学习模型的训练方案。根据从第一视频序列中确定的目标对象的第一对象图像，确定目标对象的第一样本图像对，并基于对比损失函数和第一样本图像对训练深度学习模型，得到预训练模型。由于第一视频序列能够体现同一目标对象随时间的变化或随空间的变化，而第一对象图像是第一视频序列中包括目标对象的图像，因此，将基于从第一视频序列中确定的目标对象的第一对象图像作为目标对象的样本图像，构建得到目标图像的第一样本图像对来进行对比学习，能够使得模型学习到语义层次的特征，由此，提高了预训练模型的特征数据的准确性。
本发明的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
在本发明的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
图1示意性示出了根据本公开实施例的可以应用深度学习模型的训练方法、图像处理模型的训练方法、图像处理方法及装置的示例性系统架构。
需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用深度学习模型的训练方法、图像处理模型的训练方法、图像处理方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的深度学习模型的训练方法、图像处理模型的训练方法、图像处理方法及装置。
如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如知识阅读类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等(仅为示例)。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等。
服务器105可以是提供各种服务的服务器，例如对用户利用终端设备101、102、103所浏览的内容提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是，本公开实施例所提供的深度学习模型的训练方法和图像处理模型的训练方法一般可以由服务器105执行。相应地，本公开实施例所提供的深度学习模型的训练装置和图像处理模型的训练装置一般可以设置于服务器105中。本公开实施例所提供的深度学习模型的训练方法和图像处理模型的训练方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的深度学习模型的训练装置和图像处理模型的训练装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
备选地，本公开实施例所提供的深度学习模型的训练方法和图像处理模型的训练方法一般也可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的深度学习模型的训练装置和图像处理模型的训练装置也可以设置于终端设备101、102、或103中。
需要说明的是，本公开实施例所提供的图像处理方法一般可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的图像处理装置也可以设置于终端设备101、102、或103中。
备选地，本公开实施例所提供的图像处理方法一般也可以由服务器105执行。相应地，本公开实施例所提供的图像处理装置一般可以设置于服务器105中。本公开实施例所提供的图像处理方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的图像处理装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
应注意，以下方法中各个操作的序号仅作为该操作的表示以便描述，而不应被看作表示该各个操作的执行顺序。除非明确指出，否则该方法不需要完全按照所示顺序来执行。
图2示意性示出了根据本公开实施例的深度学习模型的训练方法的流程图。
如图2所示，该方法200包括操作S210～S230。
在操作S210，从第一视频序列中确定目标对象的第一对象图像。
在操作S220，根据第一对象图像，确定目标对象的第一样本图像对。
在操作S230，基于对比损失函数和第一样本图像对训练深度学习模型，得到预训练模型。
根据本公开的实施例，第一视频序列可以包括预先获取的视频文件中的全部或部分片段。根据本公开的实施例，该视频文件可以是由执行主体利用视频采集单元或者与执行主体通信连接的视频采集装置拍摄得到的，也可以是存储在执行主体的存储单元中或者与执行主体通信连接的其它电子设备的存储单元中的。
根据本公开的实施例，该视频文件可以包括多个按照预定顺序排列的视频帧。第一视频序列可以包括视频文件中由至少一部分连续的视频帧组成的视频片段。例如，视频文件包括第1～1000个视频帧，第一视频序列可以是由视频文件中第1～10个视频帧组成的视频片段。预定顺序可以由本领域技术人员根据实际需求而灵活设置，本公开实施例不对预定顺序进行限定。例如，可以将预定顺序设置为拍摄视频的顺序。
根据本公开的实施例，第一视频序列在视频文件中的位置可以根据实际需求而灵活设置，本公开实施例不对如何表征第一视频序列在视频文件中的位置进行限定。例如，可以通过第一视频序列所包括的视频帧在整个视频文件所包括的视频帧中所处的位置来表征，也可以通过第一视频序列在视频文件中的起始时刻和终止时刻来表征，还可以通过第一视频序列在视频文件中的起始时刻和终止时刻的时长来表征。
根据本公开的实施例，视频文件可以包括与该视频对应的文本信息。文本信息可以包括以下至少之一：视频标题和字幕信息。可以根据文本信息，对视频文件进行归类，得到归类信息。响应于执行主体获取视频文件的请求，可以根据归类信息和请求中与待获取视频文件相关的关键字，确定包括第一视频序列的视频文件。
根据本公开的实施例，该视频文件可以包括各种应用场景的视频数据，从而使得训练得到的预训练模型更为通用。该视频文件也可以包括针对某个应用场景的视频数据，从而使得训练得到的预训练模型更为专用。
根据本公开的实施例，目标对象可以包括在第一视频序列中所关注的对象，例如，目标对象可以包括人物、物体或景物等。
根据本公开的实施例，第一视频序列能够体现同一目标对象随时间的变化或随空间的变化。目标对象随时间的变化，例如，随着时间的推移，同一目标对象的外观、形状发生了变化。目标对象随空间的变化，例如，处于室内和室外等不同空间位置的变化。
根据本公开的实施例，第一对象图像可以包括第一视频序列中包括有目标对象的视频帧，可以用于表征目标对象所处的状态，例如，人物的动作、物体的形态或景物的形态等。
根据本公开的实施例，基于从第一视频序列中确定的目标对象的第一对象图像作为目标对象的样本图像，并构建与目标对象对应的第一样本图像对，来针对深度学习模型进行对比学习。
根据本公开的实施例，深度学习模型可以包括监督模型、半监督模型和无监督模型。自监督模型可以包括以下至少之一：CPC(Contrastive Predictive Coding)、AMDIM(Augmented Multiscale Deep InfoMax)、MOCO(Momentum Contrast，动量对比)、SimCLR(Simple Framework for Contrastive Learning of Visual Representations)和BYOL(Bootstrap Your Own Latent)等。
根据本公开的实施例，对比损失函数可以是用于处理第一样本图像对的损失函数。
根据本公开的实施例，预训练模型是基于对比损失函数和第一样本图像对训练深度学习模型得到的，在模型训练过程中，深度学习模型能够学习到图像的高层特征数据，高层特征数据可以指语义层次的特征数据，因此，利用预训练模型处理图像，得到特征数据。特征数据能够体现图像的语义层次的特征数据。
根据本公开的实施例，操作S210～S230可以由电子设备执行。电子设备可以包括服务器或终端设备。服务器可以是图1中的服务器105。终端设备可以是图1中的终端设备101、终端设备102或终端设备103。
根据本公开的实施例，根据从第一视频序列中确定的目标对象的第一对象图像，确定与目标对象对应的第一样本图像对，并基于对比损失函数和第一样本图像对训练深度学习模型，得到预训练模型。由于第一视频序列能够体现同一目标对象随时间的变化或随空间的变化，而第一对象图像是第一视频序列中包括目标对象的图像，因此，将基于从第一视频序列中确定的目标对象的第一对象图像作为目标对象的样本图像，构建得到目标图像的第一样本图像对来进行对比学习，能够使得模型学习到语义层次的特征，由此，提高了预训练模型输出的特征数据的准确性。
下面参考图3～图7，结合具体实施例对根据本公开实施例的深度学习模型的训练方法做进一步说明。
根据本公开的实施例，目标对象可以包括多个。在目标对象包括多个的情况下，可以参考下面图3的说明。
图3示意性示出了根据本公开实施例的根据第一对象图像，确定目标对象的第一样本图像对的方法流程图。
如图3所示，该方法300是对图2中的操作S220的进一步限定，该方法300包括操作S321～S322。
在操作S321，根据第一对象图像，确定目标对象的特征数据。
在操作S322，根据特征数据，确定第一样本图像对。
根据本公开的实施例，特征数据包括以下至少之一：低层特征数据和高层特征数据，低层特征数据包括以下至少之一：低层图像特征数据和位置数据。低层图像特征数据是利用低层图像特征提取算法处理第一视频序列中的第一对象图像得到的。高层特征数据是利用与预定轮次对应的深度学习模型处理第一视频序列中的第一对象图像得到的。
根据本公开的实施例，可以对第一视频序列中的第一对象图像进行特征提取，得到与第一对象图像对应的低层图像特征数据。低层图像特征数据可以包括图像的边缘信息或角点信息。例如，可以利用低层图像特征提取算法处理第一视频序列中的第一对象图像，得到与第一对象图像对应的低层图像特征数据。或者，可以利用深度学习模型处理第一视频序列中的第一对象图像，得到与第一对象图像对应的低层图像特征数据。本公开实施例不对确定目标对象的特征数据的具体方法进行限定，只要能够对第一视频序列中的第一对象图像进行特征提取得到对应的低层图像特征数据即可。
根据本公开的实施例，低层图像特征提取算法可以包括以下至少之一：SIFT(Scale-Invariant Feature Taransform，尺度不变特征变换)、HOG(Histogram ofOriented Gradient，方向梯度直方图)、LBP(Local Binary Pattern，局部二值模式)和LBP-TOP(Local Binary Patterns from Three Orthogonal Planes，三正交平面的局部二值模式)等。
根据本公开的实施例，在低层图像特征提取算法为SIFT的情况下，可以通过对第一对象图像进行图像缩放、高斯模糊、特征图计算、计算极值点和分块计算等操作得到与第一对象图像对应的低层图像特征数据。在低层图像特征提取算法为HOG的情况下，可以通过对第一对象图像进行图像灰度化、图像归一化和分块计算等操作得到与第一对象图像对应的低层图像特征数据。在低层图像特征提取算法为LBP的情况下，与第一对象图像对应的低层图像特征数据能够反应出图像的局部纹理特征，适合用来描述目标对象细微变化。在低层图像特征提取算法为LBP-TOP的情况下，加上了时间特征，能够描述在时间域和空间域上目标对象的纹理特征。
根据本公开的实施例，低层特征数据可以包括位置数据。位置数据可以用于表征目标对象在第一对象图像中的位置信息。例如，位置数据可以为二维坐标形式。
根据本公开的实施例，预定轮次可以根据实际业务需求进行配置，在此不作限定。例如，预定轮次可以是当前轮次的上M个轮次。M可以是大于或等于1的整数。高层特征数据是将第一对象输入与预定轮次对应的深度学习模型得到的。
根据本公开的实施例，操作S321～S322可以由电子设备执行。电子设备可以包括服务器或终端设备。服务器可以是图1中的服务器105。终端设备可以是图1中的终端设备101、终端设备102或终端设备103。
根据本公开的实施例，在目标对象包括多个的情况下，可以根据第一对象图像，确定目标对象的特征数据，并根据特征数据，确定第一样本图像对。由于目标对象的特征数据包括了低层特征数据和高层特征数据，因此，可以根据特征数据构建得到目标图像的样本图像对，以便于后续利用样本图像对进行对比学习，从而增强了预训练模型的表征学习能力，提高了预训练模型输出的特征数据的准确性。
根据本公开的实施例，操作S322可以包括如下操作。
根据特征数据，对第一对象图像进行聚类，得到多个聚类簇。根据聚类簇，确定第一样本图像对。
根据本公开的实施例，聚类算法可以包括将物理或抽象对象的集合分组为由类似的对象组成的多个类的分析过程，通过聚类可以进行对象分类和数据挖掘。
根据本公开的实施例，由于第一视频序列中关注的目标对象可能不止一个，因此可以通过聚类算法基于多个目标对象的特征数据，对同一视频序列内的目标对象的第一对象图像进行聚类，得到第一样本图像对。
根据本公开的实施例，聚类算法可以包括以下至少之一：K-Means(K-meansClustering，K均值聚类)算法、基于链接的层次聚类算法、基于密度的聚类算法、基于模型的SOM(Self-organizing Maps，自组织映射)聚类算法和基于概率的GMM(GaussianMixture Model，高斯混合模型)聚类算法等。本公开实施例不对聚类方法进行限定，只要能够对多个目标对象的第一对象图像进行聚类处理即可。
根据本公开的实施例，可以根据多个目标对象的特征数据中各个目标对象的特征数据之间的相似度，对多个目标对象的第一对象图像进行聚类，得到多个聚类簇。属于同一个聚类簇的第一对象图像之间的相似度大于或等于预定相似度阈值。属于不同聚类簇的第一对象图像之间的相似度小于预定相似度阈值。预定相似度阈值可以根据实际业务需求进行配置，在此不作限定。
根据本公开的实施例，以K-Means聚类为例对第一对象图像的聚类过程进行说明。目标对象可以包括N个。N可以是大于1的整数。目标对象的特征数据可以包括特征向量。可以从N个目标对象的特征向量中选取N个特征向量作为初始聚类中心。针对N个目标对象的特征向量中特征向量，确定特征向量与每个初始聚类中心之间的欧式距离，得到N个欧式距离。从N个欧式距离中确定最小欧式距离。将与最小欧式距离对应的初始聚类中心确定为与特征向量对应的第一对象图像所归属的聚类中心。由此可以得到多个初始聚类簇。在完成一次聚类处理之后，确定与多个初始聚类簇各自对应的中心点。将中心点确定为新的聚类中心。重复执行上述操作直至聚类中心不再发生变化为止。可以得到与第一对象图像对应的一个或者多个聚类簇。
根据本公开的实施例，由于是根据特征数据，对第一对象图像进行聚类，得到多个聚类簇，因此，在目标对象包括多个的情况下，能够根据聚类簇，分别确定与多个目标对象对应的第一样本图像对，以便于在后续基于样本图像对进行对比学习时，能够使得模型学习到语义层次的特征。
根据本公开的实施例，根据聚类簇，确定第一样本图像对，可以包括如下操作。
在确定聚类簇中包括多个第一对象图像的情况下，将多个第一对象图像确定为多个第一正样本图像。根据多个第一正样本图像，获取第一正样本图像对。根据第一正样本图像对，确定所述第一样本图像对。
根据本公开的实施例，上述深度学习模型的训练方法还可以包括如下操作。
根据第一图像数据，确定目标对象的第一负样本图像对。第一图像数据包括以下至少之一：第二对象图像和其他聚类簇，第二对象图像是第二视频序列中的第一预定对象图像，其他聚类簇是多个聚类簇中除与目标对象对应的聚类簇以外的至少部分聚类簇。
根据本公开的实施例，根据第一正样本图像对，确定第一样本图像对，可以包括如下操作。
根据第一正样本图像对和第一负样本图像对，得到第一样本图像对。
根据本公开的实施例，第二视频序列可以包括预先获取的视频文件中的全部或部分片段。第二视频序列与第一视频序列对应的视频帧不同。
根据本公开的实施例，针对目标对象，与目标对象对应的聚类簇中包括的第一对象图像均可以作为目标对象的第一正样本图像。在包括至少两个第一正样本图像的情况下，形成与目标对象对应的至少一个第一正样本图像对。第一负样本图像对可以包括以下至少之一：第二视频帧序列中的第二对象图像和多个聚类簇中除与目标对象对应的聚类簇以外的至少部分聚类簇。根据本公开的实施例，在目标对象包括多个的情况下，例如，目标对象包括目标对象A和目标对象B。针对目标对象A，第一视频序列中包括目标对象A的每两个视频帧均可以组成第一正样本图像对。
根据本公开的实施例，在自监督学习的情况下，由于无法事先确定其他视频中的视频帧是否包括目标对象A，可以将其他视频帧均作为第一视频序列的视频帧的负样本。可以利用视频文件的文本信息来确定是否将其他视频文件作为负样本，如果确定不将其他视频文件作为负样本，则可以使得其他视频文件不参与损失函数的计算。
根据本公开的实施例，第一视频序列中不包括目标对象A的视频帧可以与包括目标对象A的视频帧可以组成第一负样本图像对。备选地，其他视频序列中的视频帧与包括目标对象A的视频帧可以组成第一负样本图像对。
根据本公开的实施例，根据与目标对象A对应的至少一个第一正样本图像对和至少一个第一负样本图像对，可以得到与目标对象A对应的第一样本图像对。
根据本公开的实施例，在目标对象包括多个的情况下，高层特征数据可以利用与预定轮次对应的深度学习模型处理第一视频序列中的第一对象图像得到。可以利用得到的预训练模型提取第一视频序列中目标对象的第一对象图像的高层特征数据，并可以基于高层特征数据对第一对象图像进行重新聚类。此外，也可以基于低层特征数据和高层特征数据对第一对象图像进行重新聚类。
根据本公开的实施例，在确定与目标对象对应的聚类簇中包括多个第一对象图像的情况下，根据与目标对象对应的至少一个第一正样本图像对和至少一个第一负样本图像对，得到与目标对象对应的第一样本图像对。由于利用了类别彼此不同的第一正样本图像对和第一负样本图像对得到第一样本图像对，因此，可以提高深度学习模型的泛化能力，由此，可以提高预训练模型和后续应用模型的训练精度。
根据本公开的实施例，目标对象可以包括一个。在目标对象包括一个的情况下，可以参考下面图4的说明。
图4示意性示出了根据本公开另一实施例的根据第一对象图像，确定目标对象的第一样本图像对的方法流程图。
如图4所示，该方法400是对图2中的操作S220的进一步限定，该方法400包括操作S421～S423。
在操作S421，将第一对象图像确定为目标对象的第二正样本图像。
在操作S422，在确定第二对象图像为至少两个的情况下，根据第二正样本图像，确定第二正样本图像对。
在操作S423，根据第二正样本图像对，确定第一样本图像对。
根据本公开的实施例，上述深度学习模型的训练方法还可以包括如下操作。
根据第二图像数据，确定目标对象的第二负样本图像对。第二图像数据包括第三对象图像，第三对象图像是第三视频序列中的第二预定对象图像。
根据本公开的实施例，第三视频序列可以包括预先获取的视频文件中的全部或部分片段。第三视频序列与第一视频序列对应的视频帧不同。
根据本公开的实施例，根据第二正样本图像对，确定第一样本图像对，可以包括如下操作。
根据第二正样本图像对和第二负样本图像对，得到第一样本图像对。
根据本公开的实施例，针对目标对象，可以将与目标对象对应的第一对象图像作为目标对象的第二正样本图像。在包括至少两个第二正样本图像的情况下，形成与目标对象对应的至少一个第二正样本图像对。第二负样本图像对可以包括以下至少之一：第三视频帧序列中的第三对象图像。。
根据本公开的实施例，在目标对象包括一个的情况下，例如，目标对象包括目标对象C。针对目标对象C，第一视频序列中包括目标对象C的每两个视频帧均可以组成第二正样本图像对。
根据本公开的实施例，在自监督学习的情况下，由于无法事先确定其他视频中的视频帧是否包括目标对象C，可以将其他视频帧均作为第一视频序列的视频帧的负样本。可以利用视频文件的文本信息来确定是否将其他视频文件作为负样本，如果确定不将其他视频文件作为负样本，则可以使得其他视频文件不参与损失函数的计算。
根据本公开的实施例，第一视频序列中不包括目标对象C的视频帧可以与包括目标对象C的视频帧可以组成第二负样本图像对。备选地，其他视频序列中的视频帧与包括目标对象C的视频帧可以组成第二负样本图像对。
根据本公开的实施例，根据与目标对象C对应的至少一个第二正样本图像对和至少一个第二负样本图像对，可以得到与目标对象C对应的第一样本图像对。
根据本公开的实施例，操作S421～S423可以由电子设备执行。电子设备可以包括服务器或终端设备。服务器可以是图1中的服务器105。终端设备可以是图1中的终端设备101、终端设备102或终端设备103。
根据本公开的实施例，在目标对象包括一个的情况下，可以根据与目标对象对应的至少一个第二正样本图像对和至少一个第二负样本图像对，得到与目标对象对应的第一样本图像对。由于多个目标对象的特征数据包括了低层特征数据和高层特征数据，由于利用了类别彼此不同的第二正样本图像对和第二负样本图像对得到第一样本图像对，因此，可以提高深度学习模型的泛化能力，由此，可以提高预训练模型和后续应用模型的训练精度。
图5示意性示出了根据本公开实施例的从第一视频序列中确定目标对象的第一对象图像的方法流程图。
如图5所示，该方法500是对图2中的操作S210的进一步限定，该方法500包括操作S511～S512。
在操作S511，确定第一视频序列包括的目标对象。
在操作S512，根据目标对象的位置信息，从第一视频序列中确定第一对象图像。
根据本公开的实施例，可以基于一阶段(One-stage)的检测模型或基于两阶段(Two-stage)的检测模型中的proposal模块来确定第一视频序列包括的视频帧中关注的目标对象。基于两阶段的检测模型可以包括RCNN(Region Convolutional Neural Network)、FastRCNN、FasterRCNN、MaskRCNN、PVAnet或RFCN。
根据本公开的实施例，例如，可以首先利用低层图像特征提取算法对第一视频序列中包括的视频帧进行处理，得到视频帧的低层图像特征数据。基于RCNN根据低层图像特征数据，对得到的多个候选框进行分类，得到至少一个目标框，并根据至少一个目标框，得到关注的至少一个目标对象。
根据本公开的实施例，可以利用基于注意力机制的模型来确定第一视频序列包括的视频帧中关注的目标对象。例如，可以利用基于注意力机制的模型对第一视频序列包括的视频帧进行处理，得到被高亮显示的关注的目标对象。
根据本公开的实施例，操作S511～S512可以由电子设备执行。电子设备可以包括服务器或终端设备。服务器可以是图1中的服务器105。终端设备可以是图1中的终端设备101、终端设备102或终端设备103。
图6示意性示出了根据本公开实施例的基于对比损失函数和第一样本图像对训练深度学习模型，得到预训练模型的方法流程图。
如图6所示，该方法600是对图2中的操作S230的进一步限定，该方法600包括操作S631～S633。
在操作S631，确定第一样本图像对包括的样本图像之间的相似度。
在操作S632，基于相似度和对比损失函数，得到输出值。
在操作S633，根据输出值调整深度学习模型的模型参数，直至满足预定结束条件。
根据本公开的实施例，对比损失函数可以使得目标对象的样本图像对中各个正样本图像之间的相似度尽可能大，使得各个负样本图像之间的相似度尽可能小。可以根据余弦相似度、皮尔逊相关系数、欧式距离或杰卡德距离确定样本图像对包括的样本图像之间的相似度。
根据本公开的实施例，在确定第一样本图像对包括的样本图像之间的相似度之后，可以将样本图像之间的相似度输入对比损失函数，得到输出值，再根据输出值，调整深度学习模型的模型参数，直至满足预定结束条件。可以利用梯度下降算法处理对比损失函数，得到梯度向量，根据梯度向量，调整深度学习模型的模型参数。梯度下降算法可以包括随机梯度下降算法。在根据梯度向量调整深度学习模型的模型参数的过程中，可以基于梯度向量，利用反向传播法来调整深度学习模型的模型参数。
根据本公开的实施例，预定结束条件可以用于作为确定深度学习模型是否训练完成的条件。预定结束条件可以包括训练次数大于或等于预设阈值。备选地，预定结束条件可以包括对比损失函数的输出值收敛。
根据本公开的实施例，操作S631～S633可以由电子设备执行。电子设备可以包括服务器或终端设备。服务器可以是图1中的服务器105。终端设备可以是图1中的终端设备101、终端设备102或终端设备103。
根据本公开的实施例，基于相似度和对比损失函数，通过对比学习的方式，使得深度学习模型能够学习到场景不变的信息，从而增强了深度学习模型提取特征的质量，进而可以使得预训练模型在不同场景下均具有较高的鲁棒性。
图7示意性示出了根据本公开实施例的深度学习模型的训练方法的示例示意图。
如图7所示，可以从第一视频序列701中确定目标对象702。根据目标对象702的位置信息，可以从第一视频序列701中确定目标对象702的第一对象图像703。可以将第一对象图像703输入深度学习模型704，确定特征数据705。根据特征数据705，可以对目标对象的第一对象图像进行聚类，得到聚类簇706。在确定与目标对象702对应的聚类簇706中包括多个第一对象图像703的情况下，可以得到与目标对象702对应的至少一个第一正样本图像对707。
例如，目标对象702可以包括目标对象D 702_11和目标对象E 702_21，根据目标对象D 702_11的位置信息702_12和目标对象E 702_21的位置信息702_22，可以从第一视频序列701中确定目标对象D 702_11的第一对象图像703_1和目标对象E 702_21的第一对象图像703_2。
将目标对象D 702_11的第一对象图像703_1输入深度学习模型704，可以确定第一对象图像703_1的特征数据705_1。将目标对象E 702_21的第一对象图像703_2输入深度学习模型704，可以确定第一对象图像703_2的特征数据705_2。
根据特征数据705_1，可以对目标对象D 702_11的第一对象图像703_1进行聚类，得到聚类簇706_1。根据特征数据705_2，可以对目标对象E 702_21的第一对象图像703_2进行聚类，得到聚类簇706_2。
在确定与目标对象D 702_11对应的聚类簇706_1中包括多个第一对象图像703_1的情况下，可以得到与目标对象D 702_11对应的至少一个第一正样本图像对707_1。在确定与目标对象E 702_21对应的聚类簇706_2中包括多个第一对象图像703_2的情况下，可以得到与目标对象E 702_21对应的至少一个第一正样本图像对707_2。
可以根据目标对象D 702_11的至少一个第一正样本图像对707_1和至少一个第一负样本图像对708_1，确定与目标对象D 702_11对应的第一样本图像对709_1。可以根据目标对象E 702_21的至少一个第一正样本图像对707_2和至少一个第一负样本图像对708_2，确定与目标对象E 702_21对应的第一样本图像对709_2。
可以确定第一样本图像对709_1包括的样本图像之间的相似度710_1，基于相似度710_1和对比损失函数711，得到输出值712_1。确定第一样本图像对709_2包括的样本图像之间的相似度710_2，基于相似度710_1和对比损失函数711，得到输出值712_2。
可以根据输出值712_1和输出值712_2调整深度学习模型704的模型参数，直至满足预定结束条件。
以上仅是示例性实施例，但不限于此，还可以包括本领域已知的其他深度学习模型的训练方法，只要能够训练深度学习模型即可。
图8示意性示出了根据本公开实施例的图像处理模型的训练方法的流程图。
如图8所示，该方法800包括操作S810。
在操作S810，利用样本图像训练预训练模型，得到图像处理模型。
根据本公开的实施例，预训练模型是利用根据本公开实施例提供的深度学习模型的训练方法训练得到的。图像处理模型可以包括以下至少之一：图像检索模型、图像识别模型、图像分割模型、图像分类模型和目标检测模型。
根据本公开的实施例，操作S810可以包括如下操作。将样本图像输入预训练模型和配合模型，得到图像处理结果。可以将图像处理结果和样本图像的标签值输入预定损失函数，得到损失函数值。输入可以根据损失函数值调整预训练模型和配合模型的模型参数，直至满足预定结束条件。将在满足预定结束条件的情况下得到的预训练模型和配合模型确定为图像处理模型。预定结束条件可以包括模型迭代满足预定次数或损失函数收敛。配合模型可以包括除实现特征提取以外的其他功能的模型。
根据本公开的实施例，操作S810可以由电子设备执行。电子设备可以包括服务器或终端设备。服务器可以是图1中的服务器105。终端设备可以是图1中的终端设备101、终端设备102或终端设备103。
根据本公开的实施例，针对下游任务，可以利用与下游任务对应的样本图像训练预训练模型，对模型参数进行微调，得到图像处理模型。因此，提高了模型的训练速度，提高了模型的预测精度，由此，降低了深度学习模型的训练的成本。
下面参考图9，结合具体实施例对根据本公开实施例的图像处理模型的训练方法做进一步说明。
图9示意性示出了根据本公开实施例的图像处理模型的训练方法的示例示意图。
如图9所示，图像处理模型902可以包括预训练模型902_1和配合模型902_2。可以将样本图像901输入预训练模型902_1，得到输出值903_1。同时，可以将输出值903_1输入配合模型902_2，得到输出值903_2。可以将输出值903_1和样本图像的标签值904输入损失函数确定损失函数值905_1。可以根据损失函数值905_1调整预训练模型902_1的模型参数，直至满足预定结束条件。可以将输出值903_2和样本图像的标签值904输入损失函数确定损失函数值905_2。可以根据损失函数值905_2调整配合模型902_2的模型参数，直至满足预设条件。将在满足预定结束条件的情况下得到的预训练模型和配合模型确定为图像处理模型。
以上仅是示例性实施例，但不限于此，还可以包括本领域已知的其他图像处理模型的训练方法，只要能够训练图像处理模型即可。
图10示意性示出了根据本公开实施例的图像处理方法的流程图。
如图10所示，该方法1000包括操作S1010。
在操作S1010，将目标图像输入图像处理模型，得到图像处理结果。
根据本公开的实施例，图像处理模型是利用利用根据本公开实施例提供的图像处理模型的训练方法训练得到的。
根据本公开的实施例，目标图像可以包括以下至少之一：待识别图像、待检测图像、待检索图像和待分割图像。
根据本公开的实施例，操作S1010可以由电子设备执行。电子设备可以包括服务器或终端设备。服务器可以是图1中的服务器105。终端设备可以是图1中的终端设备101、终端设备102或终端设备103。
根据本公开的实施例，由于可以利用图像处理模型对目标图像进行处理，得到图像处理结果。因此，能够较为准确地处理目标图像，从而降低了由人工处理图像的成本消耗，并提高了目标图像的处理准确性以及处理效率。
下面参考图11，结合具体实施例对根据本公开实施例的图像处理方法做进一步说明。
图11示意性示出了根据本公开实施例的图像处理方法的示例示意图。
如图11所示，可以将目标图像1101输入图像处理模型1102，利用经训练的深度学习模型1102中的预训练模型1102_1和配合模型1102_2，对目标图像1101进行处理，得到图像处理结果1103。
在目标图像1101包括待识别图像1101_1的情况下，可以选用与图像识别相关的模型1102_21和预训练模型1102_1构成图像处理模型1102，以完成图像识别任务，得到图像识别结果1103_1。
在目标图像1101包括待检测图像1101_2的情况下，可以选用与目标检测相关的模型1102_22和预训练模型1102_1构成图像处理模型1102，以完成目标检测任务，得到目标检测结果1103_2。
在目标图像1101包括待检索图像1101_3的情况下，可以选用与图像检索相关的模型1102_23和预训练模型1102_1构成图像处理模型1102，以完成图像检索任务，得到图像检索结果1103_3。
在目标图像1101包括待分割图像1101_4的情况下，可以选用与图像分割相关的模型1102_24和预训练模型1102_1构成图像处理模型1102，以完成目标检测任务，得到图像分割结果1103_4。
上述与图像识别相关的模型、与目标检测相关的模型、与图像检索相关的的模型和与图像分割相关的模型可以称为配合模型。
仅是示例性实施例，但不限于此，还可以包括本领域已知的其他图像处理方法，只要能够处理图像即可。
图12示意性示出了根据本公开实施例的深度学习模型的训练装置的框图。
如图12所示，深度学习模型的训练装置1200可以包括第一确定模块1210、第二确定模块1220和第一训练模块1230。
第一确定模块1210，用于从第一视频序列中确定目标对象的第一对象图像。
第二确定模块1220，用于根据第一对象图像，确定目标对象的第一样本图像对。
第一训练模块1230，用于基于对比损失函数和第一样本图像对训练深度学习模型，得到预训练模型。
根据本公开的实施例，目标对象包括多个。
根据本公开的实施例，第二确定模块1220可以包括第一确定子模块和第二确定子模块。
第一确定子模块，用于根据第一对象图像，确定目标对象的特征数据。
第二确定子模块，用于根据特征数据，确定第一样本图像对。
根据本公开的实施例，第二确定子模块可以包括聚类单元和确定单元。
聚类单元，用于根据特征数据，对第一对象图像进行聚类，得到多个聚类簇。
确定单元，用于根据聚类簇，确定第一样本图像对。
根据本公开的实施例，确定单元可以包括第一确定子单元、获取子单元和第二确定子单元。
第一确定子单元，用于在确定聚类簇中包括多个第一对象图像的情况下，将多个第一对象图像确定为多个第一正样本图像。
获取子单元，用于根据第一正样本图像，获取第一正样本图像对。
第二确定子单元，用于根据第一正样本图像对，确定第一样本图像对。
根据本公开的实施例，确定单元还可以包括第三确定子单元。
第三确定子单元，用于根据第一图像数据，确定目标对象的至少一个第一负样本图像对。第一图像数据包括以下至少之一：第二对象图像和其他聚类簇，第二对象图像是第二视频序列中的第一预定对象图像，其他聚类簇是多个聚类簇中除与目标对象对应的聚类簇以外的至少部分聚类簇；
根据本公开的实施例，第二确定子单元还用于根据第一正样本图像对和第一负样本图像对，获取第一样本图像对。
根据本公开的实施例，特征数据包括以下至少之一：低层特征数据和高层特征数据，低层特征数据包括以下至少之一：低层图像特征数据和位置数据。
根据本公开的实施例，低层图像特征数据是利用低层图像特征提取算法处理第一视频序列中的第一对象图像得到的。
根据本公开的实施例，高层特征数据是利用与预定轮次对应的深度学习模型处理第一视频序列中的第一对象图像得到的。
根据本公开的实施例，目标对象包括一个。
根据本公开的实施例，第二确定模块1220还可以包括第三确定子模块、第一处理子模块和第二处理子模块。
第三确定子模块，用于将目标对象的对象图像确定为目标对象的第二正样本图像。
第一处理子模块，用于在确定第一对象图像为至少两个的情况下，根据第二正样本图像，得到第二正样本图像对。
第二处理子模块，用于根据第二正样本图像对，确定第一样本图像对。
根据本公开的实施例，第二确定模块1220还可以包括第四确定子模块。
第四确定子模块，用于根据第二图像数据，确定目标对象的至少一个第二负样本图像对。第二图像数据包括第三对象图像，第三对象图像是第三视频序列中的第二预定对象图像。
根据本公开的实施例，第二处理子模块可以包括处理单元。
处理单元，用于根据第二正样本图像对和第二负样本图像对，获取第一样本图像对。
根据本公开的实施例，第一确定模块1210可以包括第五确定子模块和第六确定子模块。
第五确定子模块，用于确定第一视频序列包括的目标对象。
第六确定子模块，用于根据目标对象的位置信息，从第一视频序列中第一对象图像。
根据本公开的实施例，第一训练模块1230可以包括第七确定子模块、输出子模块和调整子模块。
第七确定子模块，用于确定第一样本图像对包括的样本图像之间的相似度。
输出子模块，用于基于相似度和对比损失函数，得到输出值。
调整子模块，用于根据输出值调整深度学习模型的模型参数，直至满足预定结束条件。
图13示意性示出了根据本公开实施例的图像处理模型的训练装置的框图。
如图13所示，图像处理模型的训练装置1300可以包括第二训练模块1310。
第二训练模块1310，用于利用样本图像训练预训练模型，得到图像处理模型。
根据本公开的实施例，预训练模型是利用根据本公开实施例所述的深度学习模型的训练装置训练得到的。
图14示意性示出了根据本公开实施例的图像处理装置的框图。
如图14所示，图像处理装置1400可以包括处理模块1410。
处理模块1410，用于将目标图像输入图像处理模型，得到图像处理结果。
根据本公开的实施例，图像处理模型是利用根据本公开实施例所述的图像处理模型的训练装置训练得到的。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
根据本公开的实施例，一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。
根据本公开的实施例，一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如上所述的方法。
根据本公开的实施例，一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如上所述的方法。
图15示意性示出了根据本公开实施例的适于实现深度学习模型的训练方法、图像处理模型的训练方法和图像处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图15所示，电子设备1500包括计算单元1501，其可以根据存储在只读存储器(ROM)1502中的计算机程序或者从存储单元1508加载到随机访问存储器(RAM)1503中的计算机程序，来执行各种适当的动作和处理。在RAM 1503中，还可存储电子设备1500操作所需的各种程序和数据。计算单元1501、ROM 1502以及RAM 1503通过总线1504彼此相连。输入/输出(I/O)接口1505也连接至总线1504。
电子设备1500中的多个部件连接至I/O接口1505，包括：输入单元1506，例如键盘、鼠标等；输出单元1507，例如各种类型的显示器、扬声器等；存储单元1508，例如磁盘、光盘等；以及通信单元1509，例如网卡、调制解调器、无线通信收发机等。通信单元1509允许电子设备1500通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1501可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1501的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1501执行上文所描述的各个方法和处理，例如深度学习模型的训练方法、图像处理模型的训练方法和图像处理方法。例如，在一些实施例中，深度学习模型的训练方法、图像处理模型的训练方法和图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1508。在一些实施例中，计算机程序的部分或者全部可以经由ROM1502和/或通信单元1509而被载入和/或安装到电子设备1500上。当计算机程序加载到RAM 1503并由计算单元1501执行时，可以执行上文描述的深度学习模型的训练方法、图像处理模型的训练方法和图像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元1501可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行深度学习模型的训练方法、图像处理模型的训练方法和图像处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以是分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (20)
1.一种深度学习模型的训练方法，包括：
从第一视频序列中确定目标对象的第一对象图像，其中，所述第一视频序列能够体现同一目标对象随时间的变化或随空间的变化，所述第一视频序列包括预先获取的视频文件中的全部或部分片段，所述视频文件是响应于获取视频文件的请求，根据归类信息和请求中与待获取的视频文件相关的关键字确定的，所述第一对象图像用于表征所述目标对象所处的状态；
根据所述第一对象图像，确定所述目标对象的第一样本图像对；以及
基于对比损失函数和所述第一样本图像对训练深度学习模型，得到预训练模型；
其中，所述目标对象包括多个；
其中，所述根据所述第一对象图像，确定所述目标对象的第一样本图像对，包括：
根据所述第一对象图像，确定所述目标对象的特征数据；以及
根据所述特征数据，确定所述第一样本图像对；
其中，所述特征数据包括低层特征数据和高层特征数据；
其中，所述低层特征数据包括以下至少之一：低层图像特征数据和位置数据；
其中，所述低层图像特征数据是利用低层图像特征提取算法处理所述第一视频序列中的所述第一对象图像得到的；
其中，所述高层特征数据是利用与预定轮次对应的深度学习模型处理所述第一视频序列中的所述第一对象图像得到的；
其中，所述从第一视频序列中确定目标对象的第一对象图像，包括：
确定所述第一视频序列包括的所述目标对象；以及
根据所述目标对象的位置信息，从所述第一视频序列中确定所述第一对象图像。
2. 根据权利要求1所述的方法，其中，所述根据所述特征数据，确定所述第一样本图像对，包括：
根据所述特征数据，对所述第一对象图像进行聚类，得到多个聚类簇；以及
根据所述聚类簇，确定所述第一样本图像对。
3.根据权利要求2所述的方法，其中，所述根据所述聚类簇，确定所述第一样本图像对，包括：
在确定所述聚类簇中包括多个所述第一对象图像的情况下，将多个所述第一对象图像确定为多个第一正样本图像；
根据所述第一正样本图像，获取第一正样本图像对；以及
根据所述第一正样本图像对，确定所述第一样本图像对。
4.根据权利要求3所述的方法，还包括：
根据第一图像数据，确定所述目标对象的第一负样本图像对；
其中，所述第一图像数据包括以下至少之一：第二对象图像和其他聚类簇，所述第二对象图像是第二视频序列中的第一预定对象图像，所述其他聚类簇是所述多个聚类簇中除与所述目标对象对应的聚类簇以外的至少部分聚类簇；
其中，所述根据所述第一正样本图像对，确定所述第一样本图像对，包括：
根据所述第一正样本图像对和所述第一负样本图像对，获取所述第一样本图像对。
5.根据权利要求1~4中任一项所述的方法，其中，所述目标对象包括一个；
其中，所述根据所述第一对象图像，确定所述目标对象的第一样本图像对，包括：
将所述第一对象图像确定为所述目标对象的第二正样本图像；
在确定所述第一对象图像为至少两个的情况下，根据所述第二正样本图像，确定第二正样本图像对；以及
根据所述第二正样本图像对，确定所述第一样本图像对。
6.根据权利要求5所述的方法，还包括：
根据第二图像数据，确定所述目标对象的第二负样本图像对，其中，所述第二图像数据包括第三对象图像，所述第三对象图像是第三视频序列中的第二预定对象图像；
其中，所述根据所述第二正样本图像对，确定所述第一样本图像对，包括：
根据所述第二正样本图像对和所述第二负样本图像对，获取所述第一样本图像对。
7.根据权利要求1~4中任一项所述的方法，其中，所述基于对比损失函数和所述第一样本图像对训练深度学习模型，得到预训练模型，包括：
确定所述第一样本图像对包括的样本图像之间的相似度；
基于所述相似度和所述对比损失函数，得到输出值；以及
根据所述输出值调整所述深度学习模型的模型参数，直至满足预定结束条件。
8.一种图像处理模型的训练方法，包括：
利用样本图像训练预训练模型，得到所述图像处理模型，
其中，所述预训练模型是利用根据权利要求1~7中任一项所述的方法训练得到的。
9.一种图像处理方法，包括：
将目标图像输入图像处理模型，得到图像处理结果，
其中，所述图像处理模型是利用根据权利要求8所述的方法训练得到的。
10.一种深度学习模型的训练装置，包括：
第一确定模块，用于从第一视频序列中确定目标对象的第一对象图像，其中，所述第一视频序列能够体现同一目标对象随时间的变化或随空间的变化，所述第一视频序列包括预先获取的视频文件中的全部或部分片段，所述视频文件是响应于获取视频文件的请求，根据归类信息和请求中与待获取的视频文件相关的关键字确定的，所述第一对象图像用于表征所述目标对象所处的状态；
第二确定模块，用于根据所述第一对象图像，确定所述目标对象的样第一样本图像对；以及
第一训练模块，用于基于对比损失函数和所述第一样本图像对训练深度学习模型，得到预训练模型；
其中，所述目标对象包括多个；
其中，所述第二确定模块，包括：
第一确定子模块，用于根据第一对象图像，确定所述目标对象的特征数据；以及
第二确定子模块，用于根据所述特征数据，确定所述第一样本图像对；
其中，所述特征数据包括低层特征数据和高层特征数据；
其中，所述低层特征数据包括以下至少之一：低层图像特征数据和位置数据；
其中，所述低层图像特征数据是利用低层图像特征提取算法处理所述第一视频序列中的所述第一对象图像得到的；
其中，所述高层特征数据是利用与预定轮次对应的深度学习模型处理所述第一视频序列中的所述第一对象图像得到的；
其中，所述第一确定模块，包括：
第五确定子模块，用于确定所述第一视频序列包括的目标对象；以及
第六确定子模块，用于根据所述目标对象的位置信息，从所述第一视频序列中确定所述第一对象图像。
11. 根据权利要求10所述的装置，其中，所述第二确定子模块，包括：
聚类单元，用于根据所述特征数据，对所述第一对象图像进行聚类，得到多个聚类簇；以及
确定单元，用于根据所述聚类簇，确定所述第一样本图像对。
12.根据权利要求11所述的装置，其中，所述确定单元，包括：
第一确定子单元，用于在确定所述聚类簇中包括多个所述第一对象图像的情况下，将多个所述第一对象图像确定为多个第一正样本图像；
获取子单元，用于根据所述第一正样本图像，获取第一正样本图像对；以及
第二确定子单元，用于根据所述第一正样本图像对，确定所述第一样本图像对。
13.根据权利要求12所述的装置，所述确定单元还包括：
第三确定子单元，用于根据第一图像数据，确定所述目标对象的第一负样本图像对；
其中，所述第一图像数据包括以下至少之一：第二对象图像和其他聚类簇，所述第二对象图像是第二视频序列中的第一预定对象图像，所述其他聚类簇是所述多个聚类簇中除与所述目标对象对应的聚类簇以外的至少部分聚类簇；
其中，所述第二确定子单元还用于根据所述第一正样本图像对和所述第一负样本图像对，获取所述第一样本图像对。
14.根据权利要求10~13中任一项所述的装置，其中，所述目标对象包括一个；
其中，所述第二确定模块，还包括：
第三确定子模块，用于将所述第一对象图像确定为所述目标对象的第二正样本图像；
第一处理子模块，用于在确定所述第一对象图像为至少两个的情况下，根据至少两个所述第二正样本图像，确定第二正样本图像对；以及
第二处理子模块，用于根据所述第二正样本图像对，确定所述第一样本图像对。
15.根据权利要求14所述的装置，所述第二确定模块还包括：
第四确定子模块，用于根据第二图像数据，确定所述目标对象的第二负样本图像对，其中，所述第二图像数据包括第三对象图像，所述第三对象图像是第三视频序列中的第二预定对象图像；
所述第二处理子模块，包括：
处理单元，用于根据所述第二正样本图像对和所述第二负样本图像对，得到所述第一样本图像对。
16.根据权利要求10~13中任一项所述的装置，其中，所述第一训练模块，包括：
第七确定子模块，用于确定所述第一样本图像对包括的样本图像之间的相似度；
输出子模块，用于基于所述相似度和所述对比损失函数，得到输出值；以及
调整子模块，用于根据所述输出值调整所述深度学习模型的模型参数，直至满足预定结束条件。
17.一种图像处理模型的训练装置，包括：
第二训练模块，用于利用样本图像训练预训练模型，得到所述图像处理模型，
其中，所述预训练模型是利用根据权利要求10~16中任一项所述的装置训练得到的。
18.一种图像处理装置，包括：
处理模块，用于将目标图像输入图像处理模型，得到图像处理结果，
其中，所述图像处理模型是利用根据权利要求17所述的装置训练得到的。
19. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1~7中任一项或权利要求8或权利要求9所述的方法。
20.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1~7中任一项或权利要求8或权利要求9所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210526829.XA CN114898266B (zh) | 2022-05-12 | 2022-05-12 | 训练方法、图像处理方法、装置、电子设备以及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210526829.XA CN114898266B (zh) | 2022-05-12 | 2022-05-12 | 训练方法、图像处理方法、装置、电子设备以及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114898266A CN114898266A (zh) | 2022-08-12 |
| CN114898266B true CN114898266B (zh) | 2023-12-08 |
Family
ID=82723326
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210526829.XA Active CN114898266B (zh) | 2022-05-12 | 2022-05-12 | 训练方法、图像处理方法、装置、电子设备以及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114898266B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115346074B (zh) * | 2022-09-02 | 2023-06-16 | 北京百度网讯科技有限公司 | 训练方法、图像处理方法、装置、电子设备以及存储介质 |
| CN115358392B (zh) * | 2022-10-21 | 2023-05-05 | 北京百度网讯科技有限公司 | 深度学习网络的训练方法、文本检测方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113435545A (zh) * | 2021-08-14 | 2021-09-24 | 北京达佳互联信息技术有限公司 | 图像处理模型的训练方法及装置 |
| CN113901327A (zh) * | 2021-10-28 | 2022-01-07 | 北京达佳互联信息技术有限公司 | 一种目标推荐模型训练方法、推荐方法、装置及电子设备 |
| CN114187459A (zh) * | 2021-11-05 | 2022-03-15 | 北京百度网讯科技有限公司 | 目标检测模型的训练方法、装置、电子设备以及存储介质 |
-
2022
- 2022-05-12 CN CN202210526829.XA patent/CN114898266B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113435545A (zh) * | 2021-08-14 | 2021-09-24 | 北京达佳互联信息技术有限公司 | 图像处理模型的训练方法及装置 |
| CN113901327A (zh) * | 2021-10-28 | 2022-01-07 | 北京达佳互联信息技术有限公司 | 一种目标推荐模型训练方法、推荐方法、装置及电子设备 |
| CN114187459A (zh) * | 2021-11-05 | 2022-03-15 | 北京百度网讯科技有限公司 | 目标检测模型的训练方法、装置、电子设备以及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114898266A (zh) | 2022-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111860506B (zh) | 识别文字的方法和装置 | |
| CN109117777B (zh) | 生成信息的方法和装置 | |
| CN111598164B (zh) | 识别目标对象的属性的方法、装置、电子设备和存储介质 | |
| CN114898266B (zh) | 训练方法、图像处理方法、装置、电子设备以及存储介质 | |
| CN111488826A (zh) | 一种文本识别方法、装置、电子设备和存储介质 | |
| CN112559800B (zh) | 用于处理视频的方法、装置、电子设备、介质和产品 | |
| CN109472209B (zh) | 一种图像识别方法、装置和存储介质 | |
| US11915500B2 (en) | Neural network based scene text recognition | |
| CN113971751A (zh) | 训练特征提取模型、检测相似图像的方法和装置 | |
| CN112861575A (zh) | 一种行人结构化方法、装置、设备和存储介质 | |
| CN115578735B (zh) | 文本检测方法和文本检测模型的训练方法、装置 | |
| WO2022156317A1 (zh) | 视频帧处理方法及装置、电子设备和存储介质 | |
| Yang et al. | Binary descriptor based nonparametric background modeling for foreground extraction by using detection theory | |
| CN112800919A (zh) | 一种检测目标类型视频方法、装置、设备以及存储介质 | |
| CN116089648B (zh) | 基于人工智能的档案管理系统及方法 | |
| WO2019100348A1 (zh) | 图像检索方法和装置以及图像库的生成方法和装置 | |
| Lahiani et al. | Hand pose estimation system based on Viola-Jones algorithm for android devices | |
| Abed et al. | KeyFrame extraction based on face quality measurement and convolutional neural network for efficient face recognition in videos | |
| CN113902899A (zh) | 训练方法、目标检测方法、装置、电子设备以及存储介质 | |
| CN110852261B (zh) | 目标检测方法、装置、电子设备和可读存储介质 | |
| CN115482436B (zh) | 图像筛选模型的训练方法、装置以及图像筛选方法 | |
| CN114882334B (zh) | 用于生成预训练模型的方法、模型训练方法及装置 | |
| CN115937742A (zh) | 视频场景分割、视觉任务处理方法、装置、设备以及介质 | |
| CN114724144A (zh) | 文本识别方法、模型的训练方法、装置、设备及介质 | |
| CN114782771A (zh) | 训练方法、图像检索方法、图像处理方法、装置及设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |