CN114511872A - 模型处理方法、装置、存储介质及计算机设备 - Google Patents
模型处理方法、装置、存储介质及计算机设备 Download PDFInfo
- Publication number
- CN114511872A CN114511872A CN202011289711.7A CN202011289711A CN114511872A CN 114511872 A CN114511872 A CN 114511872A CN 202011289711 A CN202011289711 A CN 202011289711A CN 114511872 A CN114511872 A CN 114511872A
- Authority
- CN
- China
- Prior art keywords
- image
- distance
- processing
- pedestrian
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种模型处理方法、装置、存储介质及计算机设备。其中,该方法包括:获取第一行人图像中的第一行人局部区域图像,以及第二行人图像;采用图像处理模型处理第一行人局部区域图像和第二行人图像,得到在第二行人图像中与第一行人局部区域图像对应的第二行人局部区域图像,其中,图像处理模型通过约束第一距离和第二距离优化得到,第一距离为图像样本中正样本对之间的距离,第二距离为图像样本中负样本对之间的距离。本发明解决了相关技术中,提升图像处理模型的性能时,效率较低的技术问题。
Description
技术领域
本发明涉及计算机领域,具体而言,涉及一种模型处理方法、装置、存储介质及计算机设备。
背景技术
深度学习(Deep Learning)是指多层神经网络上运用各种机器学习算法解决图像,文本等各种问题的算法集合。图像处理技术是深度学习技术的一个重要应用方向,应用场景极其广泛。在相关技术中,图像处理技术一般采用通过大量图像样本进行训练得到图像处理模型,如果图像处理模型需要获得较准确的处理率,需要的进行预先标注的样本数量极大,工作量复杂。因此,在相关技术中,对于提升图像处理模型的性能存在效率较低的问题。
针对上述的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种模型处理方法、装置、存储介质及计算机设备,以至少解决相关技术中,提升图像处理模型的性能时,效率较低的技术问题。
根据本发明实施例的一个方面,提供了一种模型处理方法,包括:获取第一行人图像中的第一行人局部区域图像,以及第二行人图像;采用图像处理模型处理所述第一行人局部区域图像和所述第二行人图像,得到在所述第二行人图像中与所述第一行人局部区域图像对应的第二行人局部区域图像,其中,所述图像处理模型通过约束第一距离和第二距离优化得到,所述第一距离为图像样本中正样本对之间的距离,第二距离为图像样本中负样本对之间的距离。
可选地,所述第一距离比所述第二距离至少小预定距离间隔。
可选地,采用图像处理模型处理所述第一行人局部区域图像和所述第二行人图像,得到在所述第二行人图像中与所述第一行人局部区域图像对应的第二行人局部区域图像包括:获取所述第二行人图像的尺寸;采用所述图像处理模型中的对齐模块,对所述第一行人局部区域图像执行对齐操作,得到与所述第二行人图像的尺寸相同的第一行人局部区域图像;采用所述图像处理模型中的特征提取模块分别提取与所述第二行人图像的尺寸相同的第一行人局部区域图像的第一行人特征,以及提取所述第二行人图像的第二行人特征;采用所述图像处理模型中的处理模块对所述第一行人特征和所述第二行人特征进行处理,得到在所述第二行人图像中与所述第一行人局部区域图像对应的第二行人局部区域图像。
根据本发明实施例的一个方面,提供了一种模型处理方法,包括:采用图像处理模型处理第一图像,得到与所述第一图像对应的第二图像,其中,所述第一图像与所述第二图像为正样本对;获取与所述第二图像的相似度低于预定阈值的第三图像,其中,所述第一图像与所述第三图像为负样本对;确定所述正样本对之间的第一距离和所述负样本对之间的第二距离;根据所述第一距离和所述第二距离,优化所述图像处理模型。
可选地,根据所述第一距离和所述第二距离,优化所述图像处理模型包括:根据所述第一距离和所述第二距离,构造所述图像处理模型的损失函数,其中,所述损失函数要求所述第一距离小于所述第二距离;通过最小化所述损失函数,优化所述图像处理模型。
可选地,根据所述第一距离和所述第二距离,构造所述图像处理模型的损失函数包括:确定预定距离间隔;根据所述第一距离,所述第二距离和所述预定距离间隔,构造所述图像处理模型的损失函数,其中,所述损失函数要求所述第一距离比所述第二距离至少小所述预定距离间隔。
可选地,根据所述第一距离,所述第二距离和所述预定距离间隔,构造所述图像处理模型的损失函数包括:通过以下公式,构造所述图像处理模型的损失函数:
其中,L为所述损失函数的损失值,B为正样本对和负样本对的数量,a为所述第一图像,p为所述第二图像,n为所述第三图像,为第i个正样本对之间的第一距离,为第i个负样本对之间的第二距离,α为所述预定距离间隔。
可选地,所述第一图像为待处理图像中第一局部区域的图像,所述第二图像为目标图像中局部区域的图像,所述第三图像为所述目标图像中第二局部区域的图像。
可选地,采用所述图像处理模型处理第一图像,得到与所述第一图像对应的第二图像包括:获取所述目标图像的尺寸;采用所述图像处理模型中的对齐模块,对所述第一图像执行对齐操作,得到与所述目标图像的尺寸相同的第一图像;采用所述图像处理模型中的特征提取模块分别提取与所述目标图像的尺寸相同的第一图像的第一特征,以及提取所述目标图像的第二特征;采用所述图像处理模型中的处理模块对所述第一特征和所述第二特征进行处理,得到与所述第一图像对应的第二图像。
可选地,获取与所述第二图像的相似度低于预定阈值的第三图像包括:获取多个第二局部区域,其中,所述多个第二局部区域与所述第一局部区域的交集均小于所述预定阈值;从所述多个第二局部区域中选择一个第二局部区域,并将选择的第二局部区域的图像作为所述第三图像。
可选地,所述方法还包括:获取第四图像中的局部区域的图像,以及第五图像;采用优化后的图像处理模型处理所述第四图像中的局部区域的图像,以及第五图像,得到所述第五图像中与所述第四图像中的局部区域对应的对应区域图像。
可选地,所述图像处理模型包括图像识别模型,用于识别以下预定局部区域至少之一:包括人物的行人图像中的局部区域,包括物体的物体图像中的局部区域,包括人物和物体的场景图像中局部区域。
可选地,所述预定局部区域包括从监控图像视频中截取的图像帧的局部区域。
根据本发明实施例的另一方面,还提供了一种模型处理方法,包括:通过交互界面接收模型优化指令;基于所述模型优化指令,通过所述交互界面接收第一图像;在所述交互界面显示模型优化结果,其中,所述模型优化结果包括优化后的图像处理模型,其中,优化后的图像处理模型根据第一距离和第二距离对图像处理模型优化得到,所述第一距离为正样本对之间的距离,所述第二距离为负样本对之间的距离,所述第一图像与第二图像为正样本对,所述第二图像为采用优化前的图像处理模型处理第一图像得到的与所述第一图像对应的图像,所述第一图像与第三图像为负样本对,所述第三图像为与所述第二图像的相似度低于预定阈值的图像。
根据本发明实施例的再一方面,还提供了一种模型处理方法,包括:通过前端客户端接收第一区域图像,其中,所述第一区域图像为第一预定图像的局部区域的图像;所述前端客户端将所述第一区域图像发送给后端服务器,并接收所述后端服务器返回的区域处理结果,其中,所述区域处理结果由优化后的图像处理模型处理得到,所述区域处理结果包括第二预定图像中与所述第一预定图像的局部区域的对应区域的图像,其中,优化后的图像处理模型根据第一距离和第二距离对图像处理模型优化得到,所述第一距离为正样本对之间的距离,所述第二距离为负样本对之间的距离,第一图像与第二图像为正样本对,所述第二图像为采用优化前的图像处理模型处理所述第一图像得到的与所述第一图像对应的图像,所述第一图像与第三图像为负样本对,所述第三图像为与所述第二图像的相似度低于预定阈值的图像;所述前端客户端显示所述区域处理结果。
根据本发明实施例的一方面,还提供了一种模型处理装置,包括:第一获取模块,用于获取第一行人图像中的第一行人局部区域图像,以及第二行人图像;第一处理模块,用于采用图像处理模型处理所述第一行人局部区域图像和所述第二行人图像,得到在所述第二行人图像中与所述第一行人局部区域图像对应的第二行人局部区域图像,其中,所述图像处理模型通过约束第一距离和第二距离优化得到,所述第一距离为图像样本中正样本对之间的距离,第二距离为图像样本中负样本对之间的距离。
根据本发明实施例的一方面,还提供了一种模型处理装置,包括:第二处理模块,用于采用所述图像处理模型处理第一图像,得到与所述第一图像对应的第二图像,其中,所述第一图像与所述第二图像为正样本对;第二获取模块,用于获取与所述第二图像的相似度低于预定阈值的第三图像,其中,所述第一图像与所述第三图像为负样本对;确定模块,用于确定所述正样本对之间的第一距离和所述负样本对之间的第二距离;优化模块,用于根据所述第一距离和所述第二距离,优化所述图像处理模型。
根据本发明实施例的另一方面,还提供了一种模型处理装置,包括:第一接收模块,用于通过交互界面接收模型优化指令;第二接收模块,用于基于所述模型优化指令,通过所述交互界面接收第一图像;第一显示模块,用于在所述交互界面显示模型优化结果,其中,所述模型优化结果包括优化后的图像处理模型,其中,优化后的图像处理模型根据第一距离和第二距离对图像处理模型优化得到,所述第一距离为正样本对之间的距离,所述第二距离为负样本对之间的距离,第一图像与第二图像为正样本对,所述第二图像为采用优化前的图像处理模型处理所述第一图像得到的与所述第一图像对应的图像,所述第一图像与第三图像为负样本对,所述第三图像为与所述第二图像的相似度低于预定阈值的图像。
根据本发明实施例的再一方面,还提供了一种模型处理装置,包括:第三接收模块,用于通过前端客户端接收第一区域图像,其中,所述第一区域图像为第一预定图像的局部区域的图像;第四接收模块,用于所述前端客户端将所述第一区域图像发送给后端服务器,并接收所述后端服务器返回的区域处理结果,其中,所述区域处理结果由优化后的图像处理模型处理得到,所述区域处理结果包括第二预定图像中与所述第一预定图像的局部区域的对应区域的图像,其中,优化后的图像处理模型根据第一距离和第二距离对图像处理模型优化得到,所述第一距离为正样本对之间的距离,所述第二距离为负样本对之间的距离,所述第一图像与第二图像为正样本对,所述第二图像为采用优化前的图像处理模型处理第一图像得到的与所述第一图像对应的图像,所述第一图像与第三图像为负样本对,所述第三图像为与所述第二图像的相似度低于预定阈值的图像;第二显示模块,用于所述前端客户端显示所述区域处理结果。
在本发明实施例中,采用图像处理模型处理第一图像,得到与第一图像对应的第二图像,并由第一图像和第二图像构建正样本对;由与第二图像的相似度低于预定阈值的第三图像与第一图像构建负样本对的方式,通过比对正样本对之间的第一距离和负样本对之间的第二距离,达到了对正样本对之间的距离与负样本对之间的距离进行约束的目的,从而实现了高效地对图像处理模型进行优化的技术效果,进而解决了相关技术中,提升图像处理模型的性能时,效率较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1示出了一种用于实现模型处理方法的计算机终端的硬件结构框图;
图2是根据本发明实施例1的模型处理方法一的流程图;
图3是根据本发明实施例1的模型处理方法二的流程图;
图4是根据本发明实施例1的模型处理方法三的流程图;
图5是根据本发明实施例1的模型处理方法四的流程图;
图6是根据本发明可选实施方式的完整的行人任意局部识别结构示意图;
图7是根据本发明可选实施方式的优化模块的优化过程的示意图;
图8是根据本发明实施例2的模型处理装置一的结构框图;
图9是根据本发明实施例2的模型处理装置二的结构框图;
图10是根据本发明实施例2的模型处理装置三的结构框图;
图11是根据本发明实施例2的模型处理装置四的结构框图;
图12是根据本发明实施例的一种计算机终端的结构框图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
深度学习(Deep Learning):深度学习是指多层神经网络上运用各种机器学习算法解决图像,文本等各种问题的算法集合。深度学习从大类上可以归入神经网络,但在具体实现上有许多变化。深度学习的核心是特征学习,旨在通过分层网络获取分层次的特征信息,从而解决以往需要人工设计特征的重要难题。
人工神经网络(Artificial Neural Networks):人工神经网络是20世纪80年代以来人工智能领域兴起的研究热点。它是从信息处理角度对人脑神经元网络进行抽象并建立起的一种运算模型,按不同的连接方式组成不同的网络。
行人识别(Person Recognition):在本发明实施例中,行人识别是指以行人图像作为输入,通过机器学习等方法输出行人高维特征向量或行人属性判别结果。
行人任意局部识别(Partial Person Recognition):在本发明实施例中,行人任意局部识别是指以任意区域的局部行人图像作为输入,通过机器学习等方法输出行人高维特征向量。在以图搜图等应用上,通过计算高维特征向量之间的欧式距离或余弦距离得到相似比对结果,通常而言距离更近的特征向量所对应的行人语义相似度也更高,即更可能是同一个人。
对应区域学习(Correspondence Learning):在本发明实施例中,对应区域学习是指算法在无人工标注的情况下自动根据给定的局部区域找到目标图像中语义上对应的局部区域。例如,算法可以根据人体脚部区域输入找到另一张行人图像中脚步区域的坐标位置。
实施例1
根据本发明实施例,还提供了一种模型处理方法的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例1所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现模型处理方法的计算机终端(或移动设备)的硬件结构框图。如图1所示,计算机终端10(或移动设备)可以包括一个或多个(图中采用102a、102b,……,102n来示出)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本发明实施例中的模型处理方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的应用程序的漏洞检测方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
在上述运行环境下,本申请提供了如图2所示的模型处理方法。图2是根据本发明实施例1的模型处理方法一的流程图,如图2所示,该方法包括如下步骤:
步骤S202,获取第一行人图像中的第一行人局部区域图像,以及第二行人图像;
步骤S204,采用图像处理模型处理第一行人局部区域图像和第二行人图像,得到在第二行人图像中与第一行人局部区域图像对应的第二行人局部区域图像,其中,图像处理模型通过约束第一距离和第二距离优化得到,第一距离为图像样本中正样本对之间的距离,第二距离为图像样本中负样本对之间的距离。
通过上述步骤,采用图像处理模型处理第一行人局部区域图像和第二行人图像,得到在第二行人图像中与第一行人局部区域图像对应的第二行人局部区域图像,达到了依据优化后的图像处理模型对行人局部区域进行处理的目的,由于采用对正样本对之间的距离与负样本对之间的距离进行约束的目的,从而实现了高效地对图像处理模型进行优化的技术效果,进而能够准确,高效地对行人局部区域进行处理。
作为一种可选的实施例,上述方法的执行主体可以是任何可用于执行计算的计算设备,例如,可以是独立的计算机终端,也可以是具备较强计算能力的计算机集群,还可以是部署有计算任务的服务器等。
作为一种可选的实施例,上述第一行人图像可以是包括人物的各种图像,可以是在预定区域内对环境进行监控所获得的包括行人的视频流中的图像帧,也可以是对预定区域或者环境进行拍照获得的照片,还可以是通过预定通道上传到互联网或从互联网下载的图片等。
作为一种可选的实施例,上述第一行人局部区域图像可以是行人身上各个部分的图像,该各个部分的划分可以有多种,例如,可以进行大范围的划分:身体的上部分和下部分;可以细一些划分:头部,脸部,肘部,脚部等;还可以再细一些划分:手指,手掌,指关节等。具体采用哪种划分方式,可以依据具体需要灵活选择。
作为一种可选的实施例,上述第一距离和第二距离是用于标识处理结果相对于待处理对象的准确性,例如,如果是正样本对,距离越小,标识处理结果越准确,否则标识处理结果越不准确;如果是负样本对,距离越大,标识处理结果越准确,否则标识处理结果越不准确。第一距离表征的是正样本对之间的距离,该距离越小表明图像处理模型处理的结果越准确。第二距离表征的是负样本对之间的距离,该距离越大表明图像处理模型的处理结果越准确。如果第一距离比第二距离小,表明图像处理模型在朝着优化的方向训练,即使得越来越优。为了使得图像处理模型的优化达到一定的程度,可以通过设置一个距离间隔,例如,第一距离比第二距离至少小预定距离间隔。
作为一种可选的实施例,采用图像处理模型处理第一行人局部区域图像和第二行人图像,得到在第二行人图像中与第一行人局部区域图像对应的第二行人局部区域图像时,可以采用以下方式实现:获取第二行人图像的尺寸;采用图像处理模型中的对齐模块,对第一行人局部区域图像执行对齐操作,得到与第二行人图像的尺寸相同的第一行人局部区域图像;采用图像处理模型中的特征提取模块分别提取与第二行人图像的尺寸相同的第一行人局部区域图像的第一行人特征,以及提取第二行人图像的第二行人特征;采用图像处理模型中的处理模块对第一行人特征和第二行人特征进行处理,得到在第二行人图像中与第一行人局部区域图像对应的第二行人局部区域图像。即图像处理模型对第一行人局部区域图像和第二行人图像的处理,可以采用上述对齐模块,特征提取模块和处理模块的模型结构来实现整个处理过程,当然上述模型结构仅为一种举例,其它与上述模型结构类似或者属于上述模型结构的明显变型的也属于本申请的一部分。
在上述运行环境下,本申请提供了如图3所示的模型处理方法。图3是根据本发明实施例1的模型处理方法二的流程图,如图3所示,该方法包括如下步骤:
步骤S302,采用图像处理模型处理第一图像,得到与第一图像对应的第二图像,其中,第一图像与第二图像为正样本对;
步骤S304,获取与第二图像的相似度低于预定阈值的第三图像,其中,第一图像与第三图像为负样本对;
步骤S306,确定正样本对之间的第一距离和负样本对之间的第二距离;
步骤S308,根据第一距离和第二距离,优化图像处理模型。
通过上述步骤,采用图像处理模型处理第一图像,得到与第一图像对应的第二图像,并由第一图像和第二图像构建正样本对;由与第二图像的相似度低于预定阈值的第三图像与第一图像构建负样本对的方式,通过比对正样本对之间的第一距离和负样本对之间的第二距离,达到了对正样本对之间的距离与负样本对之间的距离进行约束的目的,从而实现了高效地对图像处理模型进行优化的技术效果,进而解决了相关技术中,提升图像处理模型的性能时,效率较低的技术问题。
作为一种可选的实施例,上述方法的执行主体可以是任何可用于执行计算的计算设备,例如,可以是独立的计算机终端,也可以是具备较强计算能力的计算机集群,还可以是部署有计算任务的服务器等。
作为一种可选的实施例,根据第一距离和第二距离,优化图像处理模型时,可以采用多种方式,例如,可以采用以下方式:根据第一距离和第二距离,构造图像处理模型的损失函数,其中,损失函数要求第一距离小于第二距离;通过最小化损失函数,优化图像处理模型。需要说明的是,此处表述第一距离和第二距离的形式可以是多样的,例如,可以是表征第一图像和第二图像之间坐标的欧式距离,第一图像与第三图像之间坐标的欧式距离;也可以是用于表征第一图像和第二图像之间的余弦距离,第一图像与第三图像之间的余弦距离等等;在此并不具体限定。另外,此处所构造的损失函数的形式也可以是多样的,只要能够度量该第一图像和第二图像之间的第一距离,第一图像和第三图像之间的第二距离即可。例如,可以是三元组损失函数,交叉熵损失函数等。
作为一种可选的实施例,在根据第一距离和第二距离,构造图像处理模型的损失函数,并通过最小化损失函数,优化图像处理模型时,构造的损失函数可以是单独的一种类型的损失函数,比如,可以是上述所指的三元组损失函数,或者,交叉熵损失函数;也可以是多种类型的损失函数的组合,比如,可以是三元组损失函数和交叉熵损失函数的加权求和的方式得到的总的损失函数,其中,各个损失函数的权重可以分别依据对应损失函数的优化性能来确定。举例来说,如果损失函数的历史优化性能相对高一些时,可以将其组合的权重系数设置得大一些,如果损失函数的历史优化性能相对低一些时,可以将其组合的权重系数设置得小一些。
作为一种可选的实施例,上述损失函数,要求第一距离小于第二距离,即要求正样本对之间的距离小于负样本对之间的距离。如果第二距离大于等于第一距离,则上述损失函数得到的损失值会较大,图像处理模型的优化效果就不好。因此,通过要求第一距离小于第二距离,可以使得图像处理模型越来越优。
作为一种可选的实施例,上述损失函数要求第一距离小于第二距离时,即可以使得图像处理模型朝着越来越优的方向优化。但上述损失函数只要求第一距离小于第二距离时,只能使得图像处理模型在优化,但并不能明确图像处理模型的优化程度。因此,为了明确图像处理模型的优化程度,可以通过设置一个距离间隔。即损失函数要求第一距离比第二距离至少小该距离间隔,即要求图像处理模型以一定的程度进行优化,从而有效提高图像处理模型的优化质量。可选地,可以根据第一距离和第二距离,构造图像处理模型的损失函数:确定预定距离间隔;根据第一距离,第二距离和预定距离间隔,构造图像处理模型的损失函数,其中,损失函数要求第一距离比第二距离至少小预定距离间隔。
作为一种可选的实施例,根据第一距离,第二距离和预定距离间隔,构造图像处理模型的损失函数可以采用以下方式,例如,可以通过以下公式,构造图像处理模型的损失函数:
作为一种可选的实施例,该图像处理模型可以用于处理完整图像中的局部区域。即对于完整图像中的局部区域,从目标图像中处理出与该局部区域对应的对应区域。例如,上述第一图像可以为待处理图像中第一局部区域的图像,上述第二图像可以为目标图像中局部区域的图像,上述第三图像可以为目标图像中第二局部区域的图像。因此,上述第二图像为目标图像中与待处理图像中的第一局部区域对应的对应区域图像,即第一图像与第二图像为正样本图像。上述第三图像可以为目标图像中与待待处理图像中的第一局部区域不对应的区域的图像,即上述第一图像与第三图像为负样本图像。
作为一种可选的实施例,采用图像处理模型处理第一图像,得到与第一图像对应的第二图像可以采用多种方式,例如,可以采用以下方式来实现:获取目标图像的尺寸;采用图像处理模型中的对齐模块,对第一图像执行对齐操作,得到与目标图像的尺寸相同的第一图像;采用图像处理模型中的特征提取模块分别提取与目标图像的尺寸相同的第一图像的第一特征,以及提取目标图像的第二特征;采用图像处理模型中的处理模块对第一特征和第二特征进行处理,得到与第一图像对应的第二图像。需要说明的是,上述图像处理模型中所包括的对齐模块,特征提取模块以及处理模块均可以是多种结构,只要能够分别实现上述的对齐功能,特征提取功能以及处理功能即可。
作为一种可选的实施例,获取与第二图像的相似度低于预定阈值的第三图像时,可以采用以下方式实现:先获取多个第二局部区域,其中,多个第二局部区域与第一局部区域的交集均小于预定阈值;之后,从多个第二局部区域中选择一个第二局部区域,并将选择的第二局部区域的图像作为第三图像。多个第二局部区域与第一局部区域的交集均小于预定阈值,即可以为该多个第二局部区域与第一局部区域的相似度均小于该预定阈值。预定阈值的选择可以依据具体需求灵活决定。比如,该预定阈值可以选择为一个具体数值,举例来说,该多个第二局部区域与第一局部区域的交集的像素数均小于30万像素,也可以选择为一个相对比例值,举例来说,该多个第二局部区域与第一局部区域的交集均小于30%。
作为一种可选的实施例,在得到优化后的图像处理模型后,可以采用优化后的图像处理模型对图像进行处理,例如,可以在预定图像中处理出与预定局部区域图像对应的对应局部图像。采用优化后的图像处理模型进行处理,有效地提高了图像处理的准确率。比如,采用优化后的图像处理模型对图像进行处理可以采用以下方式:获取第四图像中的局部区域的图像,以及第五图像;采用优化后的图像处理模型处理第四图像中的局部区域的图像,以及第五图像,得到第五图像中与第四图像中的局部区域对应的对应区域图像。
作为一种可选的实施例,上述图像处理模型包括图像识别模型,可以用于多种类型图像的局部区域的识别,例如,可以用于识别包括人物的行人图像中的局部区域;又例如,可以用于识别包括人物和物体的场景图像中局部区域;还例如,可以用于识别包括物体的物体图像中的局部区域。
作为一种可选的实施例,上述行人图像也可以包括多种类型,例如,可以包括从监控图像视频中截取的图像帧。通过对监控图像视频中截取的图像帧的识别,能够高效地识别出图像帧中所包括的人物的局部区域,从而提高监控的有效性。
本申请还提供了如图4所示的模型处理方法。图4是根据本发明实施例1的模型处理方法三的流程图。如图4所示,该方法包括如下步骤:
步骤S402,通过交互界面接收模型优化指令;
步骤S404,基于模型优化指令,通过交互界面接收第一图像;
步骤S406,在交互界面显示模型优化结果,其中,模型优化结果包括优化后的图像处理模型,其中,优化后的图像处理模型根据第一距离和第二距离对图像处理模型优化得到,第一距离为正样本对之间的距离,第二距离为负样本对之间的距离,第一图像与第二图像为正样本对,第二图像为采用优化前的图像处理模型处理第一图像得到的与第一图像对应的图像,第一图像与第三图像为负样本对,第三图像为与第二图像的相似度低于预定阈值的图像。
通过上述步骤,在通过交互界面接收模型优化指令,并在交互界面上显示模型优化结果,其中,在得到优化后的图像处理模型的过程中,采用图像处理模型处理第一图像,得到与第一图像对应的第二图像,并由第一图像和第二图像构建正样本对;由与第二图像的相似度低于预定阈值的第三图像与第一图像构建负样本对的方式,通过比对正样本对之间的第一距离和负样本对之间的第二距离,达到了对正样本对之间的距离与负样本对之间的距离进行约束的目的,从而实现了高效地对图像处理模型进行优化的技术效果,进而解决了相关技术中,提升图像处理模型的性能时,效率较低的技术问题。
本申请还提供了如图5所示的模型处理方法。图5是根据本发明实施例1的模型处理方法四的流程图。如图5所示,该方法包括如下步骤:
步骤S502,通过前端客户端接收第一区域图像,其中,第一区域图像为第一预定图像的局部区域的图像;
步骤S504,前端客户端将第一区域图像发送给后端服务器,并接收后端服务器返回的区域处理结果,其中,区域处理结果由优化后的图像处理模型处理得到,区域处理结果包括第二预定图像中与第一预定图像的局部区域的对应区域的图像,其中,优化后的图像处理模型根据第一距离和第二距离对图像处理模型优化得到,第一距离为正样本对之间的距离,第二距离为负样本对之间的距离,第一图像与第二图像为正样本对,第二图像为采用优化前的图像处理模型处理第一图像得到的与第一图像对应的图像,第一图像与第三图像为负样本对,第三图像为与第二图像的相似度低于预定阈值的图像;
步骤S506,前端客户端显示区域处理结果。
通过上述步骤,通过前端客户端接收局部区域的图像后,发送给后台服务器,并由该后台服务器返回对应的区域处理结果,其中,该区域处理结果由优化后的图像处理模型处理得到,该优化该图像处理模型的过程中,采用图像处理模型处理第一图像,得到与第一图像对应的第二图像,并由第一图像和第二图像构建正样本对;由与第二图像的相似度低于预定阈值的第三图像与第一图像构建负样本对的方式,通过比对正样本对之间的第一距离和负样本对之间的第二距离,达到了对正样本对之间的距离与负样本对之间的距离进行约束的目的,从而实现了高效地对图像处理模型进行优化的技术效果,进而解决了相关技术中,提升图像处理模型的性能时,效率较低的技术问题。
在本申请中还提供了一种可选实施方式,为使得本可选实施方式更为清楚,具体。在本可选实施方式中,以图像处理模型为图像识别模型,待识别图像以行人图像为例,并且识别的基础是该行人图像的局部区域的图像,识别的对象是从目标图像中识别出与该行人图像的局部区域对应的对应区域。
行人识别技术是图像识别技术的重要应用方向,但是目前绝大多数的行人识别技术都假设输入是完整的行人图像,不完整的输入很少被考虑到,而不完整的输入会对识别性能带来极大负面影响。
行人任意局部识别主要技术点一般有两方面,第一方面是学习一个多尺寸的特征以适应任意的输入尺寸。第二方面是寻找与给定局部输入相关的目标图像中的区域,可以采用通过最小二乘等函数建模给定局部区域特征与目标图像特征之间的关系,以求得目标图像特征不同区域之间的权重系数,在做特征相似度比对的时候使用给定局部区域特征与加权后的目标图像特征计算。但采用最小二乘等函数建模关系的方法,其由于使用人为设定的函数建模区域之间的语义距离,因此效率较低,且复杂度较高,不具备灵活性。
鉴于此,在本发明可选实施方式中,提出了基于局部对应区域的对偶约束技术,该对偶约束技术利用了根据给定输入寻找对应区域能力的对偶性,即假设如果算法能够根据给定行人图像X中的局部区域x在行人图像Y中找到对应局部区域y,那也可以反向输出,即根据找到的对应区域y输出行人图像X中的局部区域x。
图6是根据本发明可选实施方式的完整的行人任意局部识别结构示意图,如图6所示,xp为输入的任意局部区域图像,y为目标图像,xp其经过基于空间变换网络(SpatialTransform Networks)的对齐模块R后,得到与y相同尺寸的图像 与y经过同一特征提取模块F得到相应的特征。本发明可选实施方式所提出的基于局部的对偶约束技术用于优化模块G,其作用为,根据给定的局部区域特征(向左倾斜区域内的实线方框)及目标图像特征(向右倾斜区域),输出目标图像特征中与输入区域语义对应的目标区域位置(向右倾斜区域内的虚线方框)。
图7是根据本发明可选实施方式的优化模块的优化过程的示意图,如图7所示,以像素域表示来代替特征域表示。在图7中,给定的局部区域以左边实线方框内的区域为代表,右边虚线方框内的区域代表模块G所预测的目标图像上语义对应的局部区域,右边实线方框内的区域为随机采样的位于目标图像上的局部区域(需保证与右边虚线方框内的区域的交集在30%以下)。为使得模块G预测的即是较佳的局部对应区域,可以将左边实线方框内的区域与右边虚线方框内的区域为正样本对,左边实线方框内的区域与右边实线方框内的区域为负样本对,并约束正样本对特征间距离小于负样本间特征距离。该约束可用公式表示为:
其中,B为训练批尺寸(Batch Size),即上述所指的正样本对和负样本对的数量,a与p为正样本对,a与n为负样本对,α为控制优化边界的超参数,对应于上述预定距离间隔。
需要说明的是,在本发明可选实施方式中,对齐模块和特征提取模块不局限于某一种特定形式,对于任意能够保留相关位置信息的特征提取结构均适用。本发明可选实施方式中模块G通常是卷积神经网络结构,但并不局限于该结构形式,对于任意提取特征的结构均适用。本发明可选实施方式中最小化距离可以通过最小化两区域(蓝色块和粉色块)坐标的欧式距离实现,但不局限于该距离形式,任意度量两区域距离的损失函数均适用。另外,本发明可选实施方式中负样本为随机采样结果,但不局限于特定采样策略。
上述可选实施方式所提供的方法能够在无需额外人工标注的情况下有效的根据给定局部区域图像找到目标图像中的对应区域,以增强行人任意局部识别性能。另外,本发明可选实施方式所提供的方法,在部署时仅需一次推理,保证了实时高效性,且相比于相关技术中所采用的方法,在公开数据集上达到了更高的识别精度。
通过该可选实施方式,提供了一种基于对应区域三元组约束的行人任意局部识别技术。该基于对应区域三元组约束技术能够利用较佳对应区域间特征距离小于随机对应区域间特征距离特性,通过三元组损失函数约束实现确定较佳对应区域的作用。该基于对应区域三元组约束技术首次将局部区域建模成三元组关系,并通过构建正负样本对减小正样本对特征距离,增大负样本对特征距离。该基于对应区域三元组约束技术能够根据给定局部区域有效预测目标图像中对应的局部区域,并在此基础上提升行人任意局部识别性能。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
实施例2
根据本发明实施例,还提供了一种用于实施上述模型处理方法的装置,图8是根据本发明实施例2的模型处理装置一的结构框图,如图8所示,该装置包括:第一获取模块82和第一处理模块84,下面对该装置进行说明。
第一获取模块82,用于获取第一行人图像中的第一行人局部区域图像,以及第二行人图像;第一处理模块84,连接至上述第一获取模块82,用于采用图像处理模型处理第一行人局部区域图像和第二行人图像,得到在第二行人图像中与第一行人局部区域图像对应的第二行人局部区域图像,其中,图像处理模型通过约束第一距离和第二距离优化得到,第一距离为图像样本中正样本对之间的距离,第二距离为图像样本中负样本对之间的距离。
此处需要说明的是,上述第一获取模块82和第一处理模块84对应于实施例1中的步骤S202至步骤S204,上述模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
根据本发明实施例,还提供了一种用于实施上述模型处理方法的装置,图9是根据本发明实施例2的模型处理装置二的结构框图,如图9所示,该装置包括:第二处理模块92,第二获取模块94,确定模块96和优化模块98,下面对该装置进行说明。
第二处理模块92,用于采用图像处理模型处理第一图像,得到与第一图像对应的第二图像,其中,第一图像与第二图像为正样本对;第二获取模块94,连接至上述第二处理模块92,用于获取与第二图像的相似度低于预定阈值的第三图像,其中,第一图像与第三图像为负样本对;确定模块96,连接至上述第二获取模块94,用于确定正样本对之间的第一距离和负样本对之间的第二距离;优化模块98,连接至上述确定模块96,用于根据第一距离和第二距离,优化图像处理模型。
此处需要说明的是,上述第二处理模块92,第二获取模块94,确定模块96和优化模块98对应于实施例1中的步骤S302至步骤S308,上述模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
根据本发明实施例,还提供了一种用于实施上述模型处理方法三的装置,图10是根据本发明实施例2的模型处理装置三的结构框图,如图10所示,该装置包括:第一接收模块102,第二接收模块104和第一显示模块106,下面对该装置进行说明。
第一接收模块102,用于通过交互界面接收模型优化指令;第二接收模块104,连接至上述第一接收模块102,用于基于模型优化指令,通过交互界面接收第一图像;第一显示模块106,连接至上述第二接收模块104,用于在交互界面显示模型优化结果,其中,模型优化结果包括优化后的图像处理模型,其中,优化后的图像处理模型根据第一距离和第二距离对图像处理模型优化得到,第一距离为正样本对之间的距离,第二距离为负样本对之间的距离,第一图像与第二图像为正样本对,第二图像为采用优化前的图像处理模型处理第一图像得到的与第一图像对应的图像,第一图像与第三图像为负样本对,第三图像为与第二图像的相似度低于预定阈值的图像。
此处需要说明的是,上述第一接收模块102,第二接收模块104和第一显示模块106对应于实施例1中的步骤S402至步骤S406,上述模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
根据本发明实施例,还提供了一种用于实施上述模型处理方法四的装置,图11是根据本发明实施例2的模型处理装置四的结构框图,如图11所示,该装置包括:第三接收模块112,第四接收模块114和第二显示模块116,下面对该装置进行说明。
第三接收模块112,用于通过前端客户端接收第一区域图像,其中,第一区域图像为第一预定图像的局部区域的图像;第四接收模块114,连接至上述第三接收模块112,用于前端客户端将第一区域图像发送给后端服务器,并接收后端服务器返回的区域处理结果,其中,区域处理结果由优化后的图像处理模型处理得到,区域处理结果包括第二预定图像中与第一预定图像的局部区域的对应区域的图像,其中,优化后的图像处理模型根据第一距离和第二距离对图像处理模型优化得到,第一距离为正样本对之间的距离,第二距离为负样本对之间的距离,第一图像与第二图像为正样本对,第二图像为采用优化前的图像处理模型处理第一图像得到的与第一图像对应的图像,第一图像与第三图像为负样本对,第三图像为与第二图像的相似度低于预定阈值的图像;第二显示模块116,连接至上述第四接收模块114,用于前端客户端显示区域处理结果。
此处需要说明的是,上述第三接收模块112,第四接收模块114和第二显示模块116对应于实施例1中的步骤S502至步骤S506,上述模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
实施例3
本发明的实施例可以提供一种计算机终端,该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地,在本实施例中,上述计算机终端也可以替换为移动终端等终端设备。
可选地,在本实施例中,上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中,上述计算机终端可以执行应用程序的模型处理方法中以下步骤的程序代码:采用图像处理模型处理第一图像,得到与第一图像对应的第二图像,其中,第一图像与第二图像为正样本对;获取与第二图像的相似度低于预定阈值的第三图像,其中,第一图像与第三图像为负样本对;确定正样本对之间的第一距离和负样本对之间的第二距离;根据第一距离和第二距离,优化图像处理模型。
可选地,图12是根据本发明实施例的一种计算机终端的结构框图。如图12所示,该计算机终端可以包括:一个或多个(图中仅示出一个)处理器122、存储器124等。
其中,存储器可用于存储软件程序以及模块,如本发明实施例中的模型处理方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的模型处理方法。存储器可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取第一行人图像中的第一行人局部区域图像,以及第二行人图像;采用图像处理模型处理第一行人局部区域图像和第二行人图像,得到在第二行人图像中与第一行人局部区域图像对应的第二行人局部区域图像,其中,图像处理模型通过约束第一距离和第二距离优化得到,第一距离为图像样本中正样本对之间的距离,第二距离为图像样本中负样本对之间的距离。
可选的,上述处理器还可以执行如下步骤的程序代码:第一距离比第二距离至少小预定距离间隔。
可选的,上述处理器还可以执行如下步骤的程序代码:采用图像处理模型处理第一行人局部区域图像和第二行人图像,得到在第二行人图像中与第一行人局部区域图像对应的第二行人局部区域图像包括:获取第二行人图像的尺寸;采用图像处理模型中的对齐模块,对第一行人局部区域图像执行对齐操作,得到与第二行人图像的尺寸相同的第一行人局部区域图像;采用图像处理模型中的特征提取模块分别提取与第二行人图像的尺寸相同的第一行人局部区域图像的第一行人特征,以及提取第二行人图像的第二行人特征;采用图像处理模型中的处理模块对第一行人特征和第二行人特征进行处理,得到在第二行人图像中与第一行人局部区域图像对应的第二行人局部区域图像。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:采用图像处理模型处理第一图像,得到与第一图像对应的第二图像,其中,第一图像与第二图像为正样本对;获取与第二图像的相似度低于预定阈值的第三图像,其中,第一图像与第三图像为负样本对;确定正样本对之间的第一距离和负样本对之间的第二距离;根据第一距离和第二距离,优化图像处理模型。
可选的,上述处理器还可以执行如下步骤的程序代码:根据第一距离和第二距离,优化图像处理模型包括:根据第一距离和第二距离,构造图像处理模型的损失函数,其中,损失函数要求第一距离小于第二距离;通过最小化损失函数,优化图像处理模型。
可选的,上述处理器还可以执行如下步骤的程序代码:根据第一距离和第二距离,构造图像处理模型的损失函数包括:确定预定距离间隔;根据第一距离,第二距离和预定距离间隔,构造图像处理模型的损失函数,其中,损失函数要求第一距离比第二距离至少小预定距离间隔。
可选的,上述处理器还可以执行如下步骤的程序代码:根据第一距离,第二距离和预定距离间隔,构造图像处理模型的损失函数包括:通过以下公式,构造图像处理模型的损失函数:
可选的,上述处理器还可以执行如下步骤的程序代码:第一图像为待处理图像中第一局部区域的图像,第二图像为目标图像中局部区域的图像,第三图像为目标图像中第二局部区域的图像。
可选的,上述处理器还可以执行如下步骤的程序代码:采用图像处理模型处理第一图像,得到与第一图像对应的第二图像包括:获取目标图像的尺寸;采用图像处理模型中的对齐模块,对第一图像执行对齐操作,得到与目标图像的尺寸相同的第一图像;采用图像处理模型中的特征提取模块分别提取与目标图像的尺寸相同的第一图像的第一特征,以及提取目标图像的第二特征;采用图像处理模型中的处理模块对第一特征和第二特征进行处理,得到与第一图像对应的第二图像。
可选的,上述处理器还可以执行如下步骤的程序代码:获取与第二图像的相似度低于预定阈值的第三图像包括:获取多个第二局部区域,其中,多个第二局部区域与第一局部区域的交集均小于预定阈值;从多个第二局部区域中选择一个第二局部区域,并将选择的第二局部区域的图像作为第三图像。
可选的,上述处理器还可以执行如下步骤的程序代码:获取第四图像中的局部区域的图像,以及第五图像;采用优化后的图像处理模型处理第四图像中的局部区域的图像,以及第五图像,得到第五图像中与第四图像中的局部区域对应的对应区域图像。
可选的,上述处理器还可以执行如下步骤的程序代码:图像处理模型包括图像识别模型,用于识别以下预定局部区域至少之一:包括人物的行人图像中的局部区域,包括物体的物体图像中的局部区域,包括人物和物体的场景图像中局部区域。
可选的,上述处理器还可以执行如下步骤的程序代码:预定局部区域包括从监控图像视频中截取的图像帧的局部区域。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:通过交互界面接收模型优化指令;基于模型优化指令,通过交互界面接收第一图像;在交互界面显示模型优化结果,其中,模型优化结果包括优化后的图像处理模型,其中,优化后的图像处理模型根据第一距离和第二距离对图像处理模型优化得到,第一距离为正样本对之间的距离,第二距离为负样本对之间的距离,第一图像与第二图像为正样本对,第二图像为采用优化前的图像处理模型处理第一图像得到的与第一图像对应的图像,第一图像与第三图像为负样本对,第三图像为与第二图像的相似度低于预定阈值的图像。
处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:通过前端客户端接收第一区域图像,其中,第一区域图像为第一预定图像的局部区域的图像;前端客户端将第一区域图像发送给后端服务器,并接收后端服务器返回的区域处理结果,其中,区域处理结果由优化后的图像处理模型处理得到,区域处理结果包括第二预定图像中与第一预定图像的局部区域的对应区域的图像,其中,优化后的图像处理模型根据第一距离和第二距离对图像处理模型优化得到,第一距离为正样本对之间的距离,第二距离为负样本对之间的距离,第一图像与第二图像为正样本对,第二图像为采用优化前的图像处理模型处理第一图像得到的与第一图像对应的图像,第一图像与第三图像为负样本对,第三图像为与第二图像的相似度低于预定阈值的图像;前端客户端显示区域处理结果。
采用本发明实施例,提供了一种模型处理方案。通过图像处理模型处理第一图像,得到与第一图像对应的第二图像,并由第一图像和第二图像构建正样本对;由与第二图像的相似度低于预定阈值的第三图像与第一图像构建负样本对的方式,通过比对正样本对之间的第一距离和负样本对之间的第二距离,达到了对正样本对之间的距离与负样本对之间的距离进行约束的目的,从而实现了高效地对图像处理模型进行优化的技术效果,进而解决了相关技术中,提升图像处理模型的性能时,效率较低的技术问题。
本领域普通技术人员可以理解,图12所示的结构仅为示意,计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices,MID)、PAD等终端设备。图12其并不对上述电子装置的结构造成限定。例如,计算机终端还可包括比图12中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图12所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(RandomAccess Memory,RAM)、磁盘或光盘等。
实施例4
本发明的实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质可以用于保存上述实施例1所提供的模型处理方法方法所执行的程序代码。
可选地,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:获取第一行人图像中的第一行人局部区域图像,以及第二行人图像;采用图像处理模型处理第一行人局部区域图像和第二行人图像,得到在第二行人图像中与第一行人局部区域图像对应的第二行人局部区域图像,其中,图像处理模型通过约束第一距离和第二距离优化得到,第一距离为图像样本中正样本对之间的距离,第二距离为图像样本中负样本对之间的距离。
可选地,在本实施例中,存储介质还被设置为存储用于执行以下步骤的程序代码:第一距离比第二距离至少小预定距离间隔。
可选地,在本实施例中,存储介质还被设置为存储用于执行以下步骤的程序代码:采用图像处理模型处理第一行人局部区域图像和第二行人图像,得到在第二行人图像中与第一行人局部区域图像对应的第二行人局部区域图像包括:获取第二行人图像的尺寸;采用图像处理模型中的对齐模块,对第一行人局部区域图像执行对齐操作,得到与第二行人图像的尺寸相同的第一行人局部区域图像;采用图像处理模型中的特征提取模块分别提取与第二行人图像的尺寸相同的第一行人局部区域图像的第一行人特征,以及提取第二行人图像的第二行人特征;采用图像处理模型中的处理模块对第一行人特征和第二行人特征进行处理,得到在第二行人图像中与第一行人局部区域图像对应的第二行人局部区域图像。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:采用图像处理模型处理第一图像,得到与第一图像对应的第二图像,其中,第一图像与第二图像为正样本对;获取与第二图像的相似度低于预定阈值的第三图像,其中,第一图像与第三图像为负样本对;确定正样本对之间的第一距离和负样本对之间的第二距离;根据第一距离和第二距离,优化图像处理模型。
可选地,在本实施例中,存储介质还被设置为存储用于执行以下步骤的程序代码:根据第一距离和第二距离,优化图像处理模型包括:根据第一距离和第二距离,构造图像处理模型的损失函数,其中,损失函数要求第一距离小于第二距离;通过最小化损失函数,优化图像处理模型。
可选地,在本实施例中,存储介质还被设置为存储用于执行以下步骤的程序代码:根据第一距离和第二距离,构造图像处理模型的损失函数包括:确定预定距离间隔;根据第一距离,第二距离和预定距离间隔,构造图像处理模型的损失函数,其中,损失函数要求第一距离比第二距离至少小预定距离间隔。
可选地,在本实施例中,存储介质还被设置为存储用于执行以下步骤的程序代码:根据第一距离,第二距离和预定距离间隔,构造图像处理模型的损失函数包括:通过以下公式,构造图像处理模型的损失函数:
可选地,在本实施例中,存储介质还被设置为存储用于执行以下步骤的程序代码:第一图像为待处理图像中第一局部区域的图像,第二图像为目标图像中局部区域的图像,第三图像为目标图像中第二局部区域的图像。
可选地,在本实施例中,存储介质还被设置为存储用于执行以下步骤的程序代码:采用图像处理模型处理第一图像,得到与第一图像对应的第二图像包括:获取目标图像的尺寸;采用图像处理模型中的对齐模块,对第一图像执行对齐操作,得到与目标图像的尺寸相同的第一图像;采用图像处理模型中的特征提取模块分别提取与目标图像的尺寸相同的第一图像的第一特征,以及提取目标图像的第二特征;采用图像处理模型中的处理模块对第一特征和第二特征进行处理,得到与第一图像对应的第二图像。
可选地,在本实施例中,存储介质还被设置为存储用于执行以下步骤的程序代码:获取与第二图像的相似度低于预定阈值的第三图像包括:获取多个第二局部区域,其中,多个第二局部区域与第一局部区域的交集均小于预定阈值;从多个第二局部区域中选择一个第二局部区域,并将选择的第二局部区域的图像作为第三图像。
可选地,在本实施例中,存储介质还被设置为存储用于执行以下步骤的程序代码:获取第四图像中的局部区域的图像,以及第五图像;采用优化后的图像处理模型处理第四图像中的局部区域的图像,以及第五图像,得到第五图像中与第四图像中的局部区域对应的对应区域图像。
可选地,在本实施例中,存储介质还被设置为存储用于执行以下步骤的程序代码:图像处理模型包括图像识别模型,用于识别以下预定局部区域至少之一:包括人物的行人图像中的局部区域,包括物体的物体图像中的局部区域,包括人物和物体的场景图像中局部区域。
可选地,在本实施例中,存储介质还被设置为存储用于执行以下步骤的程序代码:预定局部区域包括从监控图像视频中截取的图像帧的局部区域。
可选地,在本实施例中,存储介质被设置为存储用于执行以下步骤的程序代码:通过交互界面接收模型优化指令;基于模型优化指令,通过交互界面接收第一图像;在交互界面显示模型优化结果,其中,模型优化结果包括优化后的图像处理模型,其中,优化后的图像处理模型根据第一距离和第二距离对图像处理模型优化得到,第一距离为正样本对之间的距离,第二距离为负样本对之间的距离,第一图像与第二图像为正样本对,第二图像为采用优化前的图像处理模型处理第一图像得到的与第一图像对应的图像,第一图像与第三图像为负样本对,第三图像为与第二图像的相似度低于预定阈值的图像。
可选地,在本实施例中,存储介质还被设置为存储用于执行以下步骤的程序代码:通过前端客户端接收第一区域图像,其中,第一区域图像为第一预定图像的局部区域的图像;前端客户端将第一区域图像发送给后端服务器,并接收后端服务器返回的区域处理结果,其中,区域处理结果由优化后的图像处理模型处理得到,区域处理结果包括第二预定图像中与第一预定图像的局部区域的对应区域的图像,其中,优化后的图像处理模型根据第一距离和第二距离对图像处理模型优化得到,第一距离为正样本对之间的距离,第二距离为负样本对之间的距离,第一图像与第二图像为正样本对,第二图像为采用优化前的图像处理模型处理第一图像得到的与第一图像对应的图像,第一图像与第三图像为负样本对,第三图像为与第二图像的相似度低于预定阈值的图像;前端客户端显示区域处理结果。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (20)
1.一种模型处理方法,其特征在于,包括:
获取第一行人图像中的第一行人局部区域图像,以及第二行人图像;
采用图像处理模型处理所述第一行人局部区域图像和所述第二行人图像,得到在所述第二行人图像中与所述第一行人局部区域图像对应的第二行人局部区域图像,其中,所述图像处理模型通过约束第一距离和第二距离优化得到,所述第一距离为图像样本中正样本对之间的距离,第二距离为图像样本中负样本对之间的距离。
2.根据权利要求1所述的方法,其特征在于,所述第一距离比所述第二距离至少小预定距离间隔。
3.根据权利要求1或2所述的方法,其特征在于,采用图像处理模型处理所述第一行人局部区域图像和所述第二行人图像,得到在所述第二行人图像中与所述第一行人局部区域图像对应的第二行人局部区域图像包括:
获取所述第二行人图像的尺寸;
采用所述图像处理模型中的对齐模块,对所述第一行人局部区域图像执行对齐操作,得到与所述第二行人图像的尺寸相同的第一行人局部区域图像;
采用所述图像处理模型中的特征提取模块分别提取与所述第二行人图像的尺寸相同的第一行人局部区域图像的第一行人特征,以及提取所述第二行人图像的第二行人特征;
采用所述图像处理模型中的处理模块对所述第一行人特征和所述第二行人特征进行处理,得到在所述第二行人图像中与所述第一行人局部区域图像对应的第二行人局部区域图像。
4.一种模型处理方法,其特征在于,包括:
采用图像处理模型处理第一图像,得到与所述第一图像对应的第二图像,其中,所述第一图像与所述第二图像为正样本对;
获取与所述第二图像的相似度低于预定阈值的第三图像,其中,所述第一图像与所述第三图像为负样本对;
确定所述正样本对之间的第一距离和所述负样本对之间的第二距离;
根据所述第一距离和所述第二距离,优化所述图像处理模型。
5.根据权利要求4所述的方法,其特征在于,根据所述第一距离和所述第二距离,优化所述图像处理模型包括:
根据所述第一距离和所述第二距离,构造所述图像处理模型的损失函数,其中,所述损失函数要求所述第一距离小于所述第二距离;
通过最小化所述损失函数,优化所述图像处理模型。
6.根据权利要求5所述的方法,其特征在于,根据所述第一距离和所述第二距离,构造所述图像处理模型的损失函数包括:
确定预定距离间隔;
根据所述第一距离,所述第二距离和所述预定距离间隔,构造所述图像处理模型的损失函数,其中,所述损失函数要求所述第一距离比所述第二距离至少小所述预定距离间隔。
7.根据权利要求4至6中任一项所述的方法,其特征在于,所述第一图像为待处理图像中第一局部区域的图像,所述第二图像为目标图像中局部区域的图像,所述第三图像为所述目标图像中第二局部区域的图像。
8.根据权利要求7所述的方法,其特征在于,采用所述图像处理模型处理第一图像,得到与所述第一图像对应的第二图像包括:
获取所述目标图像的尺寸;
采用所述图像处理模型中的对齐模块,对所述第一图像执行对齐操作,得到与所述目标图像的尺寸相同的第一图像;
采用所述图像处理模型中的特征提取模块分别提取与所述目标图像的尺寸相同的第一图像的第一特征,以及提取所述目标图像的第二特征;
采用所述图像处理模型中的处理模块对所述第一特征和所述第二特征进行处理,得到与所述第一图像对应的第二图像。
9.根据权利要求7所述的方法,其特征在于,获取与所述第二图像的相似度低于预定阈值的第三图像包括:
获取多个第二局部区域,其中,所述多个第二局部区域与所述第一局部区域的交集均小于所述预定阈值;
从所述多个第二局部区域中选择一个第二局部区域,并将选择的第二局部区域的图像作为所述第三图像。
10.根据权利要求7所述的方法,其特征在于,所述方法还包括:
获取第四图像中的局部区域的图像,以及第五图像;
采用优化后的图像处理模型处理所述第四图像中的局部区域的图像,以及第五图像,得到所述第五图像中与所述第四图像中的局部区域对应的对应区域图像。
11.根据权利要求10所述的方法,其特征在于,所述图像处理模型包括图像识别模型,用于识别以下预定局部区域至少之一:包括人物的行人图像中的局部区域,包括物体的物体图像中的局部区域,包括人物和物体的场景图像中局部区域。
12.根据权利要求11所述的方法,其特征在于,所述预定局部区域包括从监控图像视频中截取的图像帧的局部区域。
13.一种模型处理方法,其特征在于,包括:
通过交互界面接收模型优化指令;
基于所述模型优化指令,通过所述交互界面接收第一图像;
在所述交互界面显示模型优化结果,其中,所述模型优化结果包括优化后的图像处理模型,其中,优化后的图像处理模型根据第一距离和第二距离对图像处理模型优化得到,所述第一距离为正样本对之间的距离,所述第二距离为负样本对之间的距离,所述第一图像与第二图像为正样本对,所述第二图像为采用优化前的图像处理模型处理第一图像得到的与所述第一图像对应的图像,所述第一图像与第三图像为负样本对,所述第三图像为与所述第二图像的相似度低于预定阈值的图像。
14.一种模型处理方法,其特征在于,包括:
通过前端客户端接收第一区域图像,其中,所述第一区域图像为第一预定图像的局部区域的图像;
所述前端客户端将所述第一区域图像发送给后端服务器,并接收所述后端服务器返回的区域处理结果,其中,所述区域处理结果由优化后的图像处理模型处理得到,所述区域处理结果包括第二预定图像中与所述第一预定图像的局部区域的对应区域的图像,其中,优化后的图像处理模型根据第一距离和第二距离对图像处理模型优化得到,所述第一距离为正样本对之间的距离,所述第二距离为负样本对之间的距离,第一图像与第二图像为正样本对,所述第二图像为采用优化前的图像处理模型处理所述第一图像得到的与所述第一图像对应的图像,所述第一图像与第三图像为负样本对,所述第三图像为与所述第二图像的相似度低于预定阈值的图像;
所述前端客户端显示所述区域处理结果。
15.一种模型处理装置,其特征在于,包括:
第一获取模块,用于获取第一行人图像中的第一行人局部区域图像,以及第二行人图像;
第一处理模块,用于采用图像处理模型处理所述第一行人局部区域图像和所述第二行人图像,得到在所述第二行人图像中与所述第一行人局部区域图像对应的第二行人局部区域图像,其中,所述图像处理模型通过约束第一距离和第二距离优化得到,所述第一距离为图像样本中正样本对之间的距离,第二距离为图像样本中负样本对之间的距离。
16.一种模型处理装置,其特征在于,包括:
第二处理模块,用于采用图像处理模型处理第一图像,得到与所述第一图像对应的第二图像,其中,所述第一图像与所述第二图像为正样本对;
第二获取模块,用于获取与所述第二图像的相似度低于预定阈值的第三图像,其中,所述第一图像与所述第三图像为负样本对;
确定模块,用于确定所述正样本对之间的第一距离和所述负样本对之间的第二距离;
优化模块,用于根据所述第一距离和所述第二距离,优化所述图像处理模型。
17.一种模型处理装置,其特征在于,包括:
第一接收模块,用于通过交互界面接收模型优化指令;
第二接收模块,用于基于所述模型优化指令,通过所述交互界面接收第一图像;
第一显示模块,用于在所述交互界面显示模型优化结果,其中,所述模型优化结果包括优化后的图像处理模型,其中,优化后的图像处理模型根据第一距离和第二距离对图像处理模型优化得到,所述第一距离为正样本对之间的距离,所述第二距离为负样本对之间的距离,所述第一图像与第二图像为正样本对,所述第二图像为采用优化前的图像处理模型处理第一图像得到的与所述第一图像对应的图像,所述第一图像与第三图像为负样本对,所述第三图像为与所述第二图像的相似度低于预定阈值的图像。
18.一种模型处理装置,其特征在于,包括:
第三接收模块,用于通过前端客户端接收第一区域图像,其中,所述第一区域图像为第一预定图像的局部区域的图像;
第四接收模块,用于所述前端客户端将所述第一区域图像发送给后端服务器,并接收所述后端服务器返回的区域处理结果,其中,所述区域处理结果由优化后的图像处理模型处理得到,所述区域处理结果包括第二预定图像中与所述第一预定图像的局部区域的对应区域的图像,其中,优化后的图像处理模型根据第一距离和第二距离对图像处理模型优化得到,所述第一距离为正样本对之间的距离,所述第二距离为负样本对之间的距离,第一图像与第二图像为正样本对,所述第二图像为采用优化前的图像处理模型处理所述第一图像得到的与所述第一图像对应的图像,所述第一图像与第三图像为负样本对,所述第三图像为与所述第二图像的相似度低于预定阈值的图像;
第二显示模块,用于所述前端客户端显示所述区域处理结果。
19.一种存储介质,其特征在于,所述存储介质包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行权利要求1至14中任意一项所述的模型处理方法。
20.一种计算机设备,其特征在于,包括:存储器和处理器,
所述存储器存储有计算机程序;
所述处理器,用于执行所述存储器中存储的计算机程序,所述计算机程序运行时使得所述处理器执行权利要求1至14中任意一项所述的模型处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011289711.7A CN114511872A (zh) | 2020-11-17 | 2020-11-17 | 模型处理方法、装置、存储介质及计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011289711.7A CN114511872A (zh) | 2020-11-17 | 2020-11-17 | 模型处理方法、装置、存储介质及计算机设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114511872A true CN114511872A (zh) | 2022-05-17 |
Family
ID=81546241
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011289711.7A Pending CN114511872A (zh) | 2020-11-17 | 2020-11-17 | 模型处理方法、装置、存储介质及计算机设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114511872A (zh) |
-
2020
- 2020-11-17 CN CN202011289711.7A patent/CN114511872A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210334524A1 (en) | Gesture recognition method and terminal device and computer readable storage medium using the same | |
CN110263681B (zh) | 面部表情的识别方法和装置、存储介质、电子装置 | |
CN109472240B (zh) | 人脸识别多模型自适应特征融合增强方法和装置 | |
CN112257526B (zh) | 一种基于特征交互学习的动作识别方法及终端设备 | |
CN109409377B (zh) | 图像中文字的检测方法及装置 | |
CN113011403B (zh) | 手势识别方法、系统、介质及设备 | |
CN114612987B (zh) | 一种表情识别方法及装置 | |
CN110991298B (zh) | 图像的处理方法和装置、存储介质及电子装置 | |
CN111652181A (zh) | 目标跟踪方法、装置及电子设备 | |
CN111860082A (zh) | 信息处理方法、装置以及系统 | |
CN112492383A (zh) | 视频帧的生成方法及装置、存储介质、电子设备 | |
CN110674834A (zh) | 地理围栏识别方法、装置、设备和计算机可读存储介质 | |
CN114170543A (zh) | 数据处理方法、装置、计算机设备及计算机可读存储介质 | |
CN110472537B (zh) | 一种自适应识别方法、装置、设备及介质 | |
CN112183359A (zh) | 视频中的暴力内容检测方法、装置及设备 | |
CN112560554A (zh) | 基于唇语的活体检测方法、装置以及存储介质 | |
CN114511872A (zh) | 模型处理方法、装置、存储介质及计算机设备 | |
CN116012875A (zh) | 一种人体姿态估计方法及相关装置 | |
CN114596453A (zh) | 图像处理方法、装置及计算机可读存储介质 | |
CN114005053A (zh) | 视频处理方法、装置、计算机设备及计算机可读存储介质 | |
CN114926631A (zh) | 目标框生成方法、装置、非易失性存储介质及计算机设备 | |
CN114550143A (zh) | 无人车行驶中的场景识别方法及装置 | |
CN114266723A (zh) | 图像处理方法、装置、存储介质以及计算机终端 | |
CN114510982A (zh) | 模型处理方法、装置、存储介质及计算机设备 | |
CN113469138A (zh) | 对象检测方法和装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |