CN110222752A - 图像处理方法、系统、计算机设备、存储介质和芯片 - Google Patents

图像处理方法、系统、计算机设备、存储介质和芯片 Download PDF

Info

Publication number
CN110222752A
CN110222752A CN201910451746.7A CN201910451746A CN110222752A CN 110222752 A CN110222752 A CN 110222752A CN 201910451746 A CN201910451746 A CN 201910451746A CN 110222752 A CN110222752 A CN 110222752A
Authority
CN
China
Prior art keywords
feature
feature vector
network model
image
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910451746.7A
Other languages
English (en)
Other versions
CN110222752B (zh
Inventor
王洪伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Kingsoft Digital Entertainment Co Ltd
Chengdu Kingsoft Interactive Entertainment Co Ltd
Beijing Jinshan Digital Entertainment Technology Co Ltd
Original Assignee
Chengdu Kingsoft Interactive Entertainment Co Ltd
Beijing Jinshan Digital Entertainment Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Kingsoft Interactive Entertainment Co Ltd, Beijing Jinshan Digital Entertainment Technology Co Ltd filed Critical Chengdu Kingsoft Interactive Entertainment Co Ltd
Priority to CN201910451746.7A priority Critical patent/CN110222752B/zh
Publication of CN110222752A publication Critical patent/CN110222752A/zh
Application granted granted Critical
Publication of CN110222752B publication Critical patent/CN110222752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种图像处理方法、系统、计算机设备、存储介质和芯片。所述方法包括：将待处理图像输入第一神经网络模型中进行特征提取，得到第一特征向量，利用第一神经网络模型对第一特征向量进行横纵向特征相关性处理，得到第二特征向量，从而增加了像素分类的准确性。

Description

图像处理方法、系统、计算机设备、存储介质和芯片
技术领域
本申请涉及图像识别技术领域，特别是涉及一种图像处理方法、系统、计算机设备、存储介质和芯片。
背景技术
水印去除作为图像数据清洗不可或缺的重要组成部分，已逐渐发展成为图像数据清洗的主要手段，被广泛地应用于图像识别、图像匹配等大数据处理领域。传统的水印去除方法是通过对图像中的像素逐一进行分类，例如，预先设置一个阈值，若某像素的像素值大于预设阈值，则认为其为非水印像素，保留该像素；若某像素的像素值小于预设阈值，则认为其为水印像素，去除该像素。然而，通过该方法会使得去除水印后的图像模糊不清。
发明内容
基于此，有必要针对上述技术问题，提供一种图像处理方法、系统、计算机设备、存储介质和芯片。
一种图像处理方法，所述方法包括：
将待处理图像输入第一神经网络模型中进行特征提取，得到第一特征向量；
利用所述第一神经网络模型对所述第一特征向量进行横纵向特征相关性处理，得到第二特征向量。
在其中一个实施例中，所述第一神经网络模型包括第一卷积神经网络和循环神经网络；
所述第一卷积神经网络，用于对输入的所述待处理图像进行特征提取，得到所述第一特征向量；
所述循环神经网络，用于对输入的所述第一特征向量进行横纵向特征相关性处理，得到所述第二特征向量。
在其中一个实施例中，所述利用所述第一神经网络模型对所述第一特征向量进行横纵向特征相关性处理，得到第二特征向量，包括：
利用所述循环神经网络对输入的所述第一特征向量进行横向像素相关性分类处理，得到第三特征向量；
利用所述循环神经网络对所述第三特征向量进行纵向像素相关性分类处理，得到所述第二特征向量。
在其中一个实施例中，所述方法还包括：
将所述第二特征向量输入至第二神经网络模型中进行特征提取，得到第四特征向量；
利用所述第二神经网络模型对所述第四特征向量进行轮廓特征调整，输出第五特征向量，其中，所述第五特征向量是轮廓特征加粗后的特征向量。
在其中一个实施例中，所述第二神经网络模型包括第二卷积神经网络和后处理模型；
所述第二卷积神经网络，用于对输入的所述第二特征向量进行特征提取，得到所述第四特征向量；
所述后处理模型，用于对输入的所述第四特征向量进行特征映射，输出所述第五特征向量。
一种图像处理系统，所述系统包括第一神经网络模型，所述第一神经网络模型用于：
对输入的待处理图像进行特征提取，得到第一特征向量；
对所述第一特征向量进行横纵向特征相关性处理，得到第二特征向量。
在其中一个实施例中，所述第一神经网络模型包括第一卷积神经网络和循环神经网络；
所述第一卷积神经网络，用于对输入的所述待处理图像进行特征提取，得到所述第一特征向量；
所述循环神经网络，用于对输入的所述第一特征向量进行横纵向特征相关性处理，得到所述第二特征向量。
在其中一个实施例中，所述系统还包括第二神经网络模型，所述第二神经网络模型用于：
对输入的所述第二特征向量进行特征提取，得到第四特征向量；
对所述第四特征向量进行轮廓特征调整，输出第五特征向量。
在其中一个实施例中，所述第二神经网络模型包括第二卷积神经网络和后处理模型；
所述第二卷积神经网络，用于对输入的所述第二特征向量进行特征提取，得到所述第四特征向量；
所述后处理模型，用于对输入的所述第四特征向量进行特征映射，输出所述第五特征向量。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
将待处理图像输入第一神经网络模型中进行特征提取，得到第一特征向量；
利用所述第一神经网络模型对所述第一特征向量进行横纵向特征相关性处理，得到第二特征向量。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
将待处理图像输入第一神经网络模型中进行特征提取，得到第一特征向量；
利用所述第一神经网络模型对所述第一特征向量进行横纵向特征相关性处理，得到第二特征向量。
一种芯片，其存储有计算机指令，其特征在于，所述计算机指令被执行时实现实现以下步骤：
将待处理图像输入第一神经网络模型中进行特征提取，得到第一特征向量；
利用所述第一神经网络模型对所述第一特征向量进行横纵向特征相关性处理，得到第二特征向量。
上述图像处理方法、系统、计算机设备、存储介质和芯片，将待处理图像输入第一神经网络模型中进行特征提取，得到第一特征向量，利用第一神经网络模型对第一特征向量进行横纵向特征相关性处理，得到第二特征向量。其中，因为对第一特征向量进行横纵向特征相关性处理，会使得特征之间具有关联性，从而扩大网络的感受野，即在横纵向特征相关性处理过程中，会通过参考周围更多像素来判断一个像素是否属于水印区域或者非水印区域，从而增加了像素分类的准确性。
附图说明
图1为一个实施例中图像处理方法的应用环境图；
图2为一个实施例中图像处理方法的流程示意图；
图3为一个实施例中S202的细化步骤的流程示意图；
图4为另一个实施例中图像处理方法的流程示意图；
图5为一个实施例中图像处理系统的结构框图；
图6为另一个实施例中图像处理系统的结构框图；
图7为另一个实施例中图像处理系统的结构框图；
图8为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请提供的图像处理方法，可以应用于如图1所示的应用环境中。其中，图像采集装置10与计算机设备20相连接。其中，图像采集装置10与计算机设备20可以设置为一体式终端，该一体式终端可以包含但不限于是各种个人计算机、笔记本电脑、智能手机和平板电脑。该图像采集装置10与计算机设备20还可以是分别独立设置的图像采集装置10(例如相机)与服务器，该图像采集装置10通过网络与服务器通信连接，该服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
可选地，图像采集装置10获取待处理图像，其中，该待处理图像可以为图像采集装置10本地存储的图像中的其中之一，或者为图像采集装置10从网络或者其他图像采集装置10获取到的图像，或者为图像采集装置10从视频画面中截取的图像。其中，图像采集装置10在获取到待处理图像后，将待处理图像发送至计算机设备20。可选地，该计算机设备20包含至少一个处理器21和存储器22。可选地，该处理器21可以为CPU(Central ProcessingUnit，中央处理器)，GPU(Graphics Processing Unit，图形处理器)等等，该处理器21可以为多核处理器，例如多核GPU。
其中，该计算机设备20内的存储器22内存储有神经网络和对应的神经网络算法，处理器21可以调用并运行存储器22内的神经网络算法，对输入神经网络的待处理图像进行特征提取和横纵向特征相关性处理，判断待处理图像中的像素属于水印区域或者属于非水印区域。
在一个实施例中，如图2所示，提供了一种图像处理方法，以该方法应用于图1为例进行说明，包括以下步骤：
S201，将待处理图像输入第一神经网络模型中进行特征提取，得到第一特征向量；
在本发明实施例中，待处理图像可以为多种格式的图像，例如，该待处理图像可以为RGB图像，或者为单通道图像，并且，该待处理图像中包含水印标识。
其中，上述第一神经网络模型是预先训练好的模型，利用上述第一神经网络模型对待处理图像进行特征提取属于现有技术，此处不再加以赘述。
S202，利用所述第一神经网络模型对所述第一特征向量进行横纵向特征相关性处理，得到第二特征向量。
在本发明实施例中，横纵向特征相关性处理是一种加强特征之间具有关联性、扩大网络的感受野的学习方式。
在本发明实施例中，第二特征向量是对像素进行分类后的特征向量。
其中，传统的像素分类方法，在卷积的过程中，会将上一次的输出(即上一个像素的特征)作为下一次的输入，这样导致在分类的过程中只能通过参考上一个像素来判断下一个像素是否属于水印区域或者非水印区域，该方法使得网络感受野有限，会导致像素分类结果不准确。而在本发明实施例中，利用上述方式(即横纵向特征相关性处理)，使得在卷积的过程中，下一次的输入不只是和上一次的输出(即上一个像素的特征)相关，还会和周围的像素或者该待处理图像中的所有像素相关，从而在像素分类中，会通过参考周围更多像素来判断一个像素是否属于水印区域或者非水印区域，从而增加了像素分类的准确性。
其中，横纵向特征相关性处理包括横向处理和纵向处理，可以先横向处理，再纵向处理，或者先纵向处理再横向处理，也可以横向和纵向一起处理等等。
上述图像处理方法，将待处理图像输入第一神经网络模型中进行特征提取，得到第一特征向量，利用第一神经网络模型对第一特征向量进行横纵向特征相关性处理，得到第二特征向量。其中，因为对第一特征向量进行横纵向特征相关性处理，会使得特征之间具有关联性，从而扩大网络的感受野，即在横纵向特征相关性处理过程中，会通过参考周围更多像素来判断一个像素是否属于水印区域或者非水印区域，从而增加了像素分类的准确性。
在一个实施例中，可选的，所述第一神经网络模型包括第一卷积神经网络和循环神经网络；
所述第一卷积神经网络，用于对输入的所述待处理图像进行特征提取，得到所述第一特征向量；
所述循环神经网络，用于对输入的所述第一特征向量进行横纵向特征相关性处理，去除所述待处理图像中的水印，得到所述第二特征向量。
在本发明实施例中，第一神经网络模型由第一卷积神经网络和循环神经网络组成。其中，卷积神经网络(Convolutional Neural Networks，CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，卷积神经网络仿造生物的视知觉(visual perception)机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化(grid-like topology)特征，在本发明实施例中，利用卷积神经网络可以得到待处理图像的特征图，也可以称之为特征向量等。需要说明的是，第一卷积神经网络中的第一仅仅是一个修饰词，用于和下文中的卷积神经网络从名称上区分开，没有其他限定含义。其中，循环神经网络(Recurrent Neural Network，RNN)是一类以序列(sequence)数据为输入，在序列的演进方向进行递归(recursion)且所有节点(循环单元)按链式连接形成闭合回路的递归神经网络(recursive neural network)，在本发明实施例中，利用循环神经网络对特征图进行横纵向特征相关性处理，可以直接生成去除水印的图像。可选的，循环神经网络为2D循环神经网络。
在本发明实施例中，循环神经网络是预先训练好的网络模型，该网络模型中包含已构建好的有水印图像和无水印图像之间的映射关系，其中，该循环神经网络的训练过程为：预先构建一个初始循环神经网络，并确定训练样本，该训练样本包括测试样本和目标样本，具体的，将白底黑字无水印图像作为目标样本，在上述目标样本上嵌入水印，将嵌入水印后的图像作为测试样本，可选的，在上述目标样本上嵌入水印的同时，还可以加入少量的噪声，将嵌入水印后且加入少量的噪声的图像作为测试样本，从而增加网络的泛化能力。将测试样本输入初始循环神经网络，得到输出结果，比较该输出结果与目标样本之间的差距，若差距满足预设条件(例如，输出结果与目标样本的均方差小于预设阈值等)，则将初始循环神经网络确定为需要的已训练好的模型(即循环神经网络)。若差距满足不预设条件(例如，输出结果与目标样本的均方差大于预设阈值等)，则需要对初始循环神经网络中的参数进行调整，迭代执行上述训练步骤，再次将测试样本输出参数调整后的初始循环神经网络中进行训练，直到输出结果与目标样本之间的差距满足预设条件，得到循环神经网络。其中，为了缩短训练时间，可以预先设置一个迭代步数上限，若当前训练步数到达迭代步数上限，则停止训练，将当前循环神经网络确定为最终的循环神经网络。
在一个实施例中，如图3所示，为S202的细化步骤的流程示意图，具体包括：
S2021，利用所述循环神经网络对输入的所述第一特征向量进行横向像素相关性分类处理，得到第三特征向量；
在本发明实施例中，先利用循环神经网络对输入的第一特征向量进行横向像素相关性分类处理，使得在卷积的过程中，下一次的输入不只是和上一次的输出(即上一个像素的特征)相关，还会和周围的像素或者该待处理图像中的所有像素相关，从而可以在横向上扩大网络的感受野，在像素分类过程中，通过从横向上参考周围更多像素来判断一个像素是否属于水印区域或者非水印区域，从而增加了像素分类的准确性。
S2022，利用所述循环神经网络对所述第三特征向量进行纵向像素相关性分类处理，得到所述第二特征向量。
在本发明实施例中，在利用循环神经网络对输入的第一特征向量进行横向像素相关性分类处理后，得到的是从横向上参考周围更多像素来判断一个像素是否属于水印区域或者非水印区域的第三特征向量，但是，还需要对第三特征向量进行纵向像素相关性分类处理，使得在卷积的过程中，下一次的输入不只是和上一次的输出(即上一个像素的特征)相关，还会和周围的像素或者该待处理图像中的所有像素相关，从而可以在纵向上扩大网络的感受野，利用纵向像素相关性分类处理的方法，通过从纵向上参考周围更多像素来判断一个像素是否属于水印区域或者非水印区域，进一步的增加了像素分类的准确性。
可选的，得到第二特征向量后，将第二特征向量输入一个转换器，可以输出去除水印的图像，其中，因为前期对第一特征向量先进行了横向像素相关性分类处理，再进行了纵向像素相关性分类处理，使得对像素分类(分为水印区域或者非水印区域)的准确性得以提升，从而可以得出清晰锐利的去除水印的图像。
在一个实施例中，如图4所示，提供了一种图像处理方法，以该方法应用于图1为例进行说明，包括以下步骤：
S401，将待处理图像输入第一神经网络模型中进行特征提取，得到第一特征向量；
在本发明实施例中，上述步骤S401描述的内容与上一实施例中的S201描述的内容一致，此处不再加以赘述。
S402，利用所述第一神经网络模型对所述第一特征向量进行横纵向特征相关性处理，得到第二特征向量；
在本发明实施例中，上述步骤S402描述的内容与上一实施例中的S202描述的内容一致，此处不再加以赘述。
S403，将所述第二特征向量输入至第二神经网络模型中进行特征提取，得到第四特征向量；
S404，利用所述第二神经网络模型对所述第四特征向量进行轮廓特征调整，输出第五特征向量，其中，所述第五特征向量是轮廓特征加粗后的特征向量。
在本发明实施例中，第二神经网络模型是预先训练好的神经网络，利用该神经网络可以对他图像中的字符笔画进行轮廓特征调整。
在本发明实施例中，通过上述S401和S402的处理，生成的是像素分类后的第二特征向量，如果直接将第二特征向量输出，得到的是清晰锐利的去除水印的图像。在该图像中，图像中的字符笔画会变得锐利和纤细，其和待处理图像中的文字在视觉感官上略有差异，为了改善这种差异，可以利用第二神经网络模型对第二特征向量进行特征提取及轮廓特征调整，从而可以输出第五特征向量，其中，第五特征向量是轮廓特征加粗后的特征向量，将第五特征向量输入一个转换器，可以输出笔画加粗的去除水印的图像，提高用户视觉体验。
在一个实施例中，可选的，所述第二神经网络模型包括第二卷积神经网络和后处理模型；
所述第二卷积神经网络，用于对输入的所述第二特征向量进行特征提取，得到所述第四特征向量；
所述后处理模型，用于对输入的所述第四特征向量进行特征映射，输出所述第五特征向量。
在本发明实施例中，第二神经网络模型由第二卷积神经网络和后处理模型组成。其中，第二卷积神经网络的描述和上文中的卷积神经网络的描述一致，此处不再加以赘述。需要说明的是，第二卷积神经网络中的第二也仅仅是一个修饰词，用于和上文中的卷积神经网络从名称上区分开，没有其他限定含义。
在本发明实施例中，后处理模型是预先训练好的模型，该模型中包含已构建好的细笔画特征与粗笔画特征之间的映射关系，其中，该后处理模型的训练过程为：预先构建一个初始笔画轮廓特征调整模型，并确定训练样本，该训练样本包括测试样本和目标样本，具体的，将待处理图像输入第一神经网络模型中，得到笔画变细的图像，从笔画变细的图像中截取n个m*m的图像块作为测试样本，从待处理图像中截取n个m*m的图像块作为目标样本，其中，待处理图像中截取的n个图像块的位置与笔画变细的图像中截取的n个图像块的位置一一对应，之后，将测试样本输入初始笔画轮廓特征调整模型，得到输出结果，比较该输出结果与目标样本之间的差距，若差距满足预设条件(例如，输出结果与目标样本的均方差小于预设阈值等)，则将初始笔画轮廓特征调整模型确定为需要的已训练好的模型(即后处理模型)。若差距满足不预设条件(例如，输出结果与目标样本的均方差大于预设阈值等)，则需要对初始笔画轮廓特征调整模型中的参数进行调整，迭代执行上述训练步骤，再次将测试样本输出参数调整后的初始笔画轮廓特征调整模型中进行训练，直到输出结果与目标样本之间的差距满足预设条件，得到后处理模型。其中，为了缩短训练时间，需要预先设置一个迭代步数上限，若当前训练步数到达迭代步数上限，则停止训练，将当前的笔画轮廓特征调整模型确定为后处理模型。
应该理解的是，虽然图2-4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-4中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，提供了一种图像处理系统，所述系统包括第一神经网络模型，所述第一神经网络模型用于：
对输入的待处理图像进行特征提取，得到第一特征向量；
对所述第一特征向量进行横纵向特征相关性处理，得到第二特征向量。
在一个实施例中，如图5所示，提供了一种图像处理系统，所述系统包括第一神经网络模型50，所述第一神经网络模型50包括第一卷积神经网络501和循环神经网络502；
所述第一卷积神经网络501，用于对输入的所述待处理图像进行特征提取，得到所述第一特征向量；
所述循环神经网络502，用于对输入的所述第一特征向量进行横纵向特征相关性处理，得到所述第二特征向量。
在一个实施例中，如图6所示，提供了一种图像处理系统，除了包括图5所示的第一神经网络模型50，所述系统还包括第二神经网络模型51，所述第二神经网络模型51用于：
对输入的所述第二特征向量进行特征提取，得到第四特征向量；
对所述第四特征向量进行轮廓特征调整，输出第五特征向量。
在一个实施例中，如图7所示，提供了一种图像处理系统，除了包括图5所示的第一神经网络模型50、第一卷积神经网络501和循环神经网络502，所述系统还包括第二神经网络模型51，所述第二神经网络模型51包括第二卷积神经网络511和后处理模型512；
所述第二卷积神经网络511，用于对输入的所述第二特征向量进行特征提取，得到所述第四特征向量；
所述后处理模型512，用于对输入的所述第四特征向量进行特征映射，输出所述第五特征向量。
关于图像处理系统的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理系统中的各个网络模型可全部或部分通过软件、硬件及其组合来实现。上述各网络模型可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图8所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
将待处理图像输入第一神经网络模型中进行特征提取，得到第一特征向量；
利用所述第一神经网络模型对所述第一特征向量进行横纵向特征相关性处理，得到第二特征向量。
在一个实施例中，所述第一神经网络模型包括第一卷积神经网络和循环神经网络；
所述第一卷积神经网络，用于对输入的所述待处理图像进行特征提取，得到所述第一特征向量；
所述循环神经网络，用于对输入的所述第一特征向量进行横纵向特征相关性处理，得到所述第二特征向量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
利用所述循环神经网络对输入的所述第一特征向量进行横向像素相关性分类处理，得到第三特征向量；
利用所述循环神经网络对所述第三特征向量进行纵向像素相关性分类处理，得到所述第二特征向量。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
将所述第二特征向量输入至第二神经网络模型中进行特征提取，得到第四特征向量；
利用所述第二神经网络模型对所述第四特征向量进行轮廓特征调整，输出第五特征向量，其中，所述第五特征向量是轮廓特征加粗后的特征向量。
在一个实施例中，所述第二神经网络模型包括第二卷积神经网络和后处理模型；
所述第二卷积神经网络，用于对输入的所述第二特征向量进行特征提取，得到所述第四特征向量；
所述后处理模型，用于对输入的所述第四特征向量进行特征映射，输出所述第五特征向量。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
将待处理图像输入第一神经网络模型中进行特征提取，得到第一特征向量；
利用所述第一神经网络模型对所述第一特征向量进行横纵向特征相关性处理，得到第二特征向量。
在一个实施例中，所述第一神经网络模型包括第一卷积神经网络和循环神经网络；
所述第一卷积神经网络，用于对输入的所述待处理图像进行特征提取，得到所述第一特征向量；
所述循环神经网络，用于对输入的所述第一特征向量进行横纵向特征相关性处理，得到所述第二特征向量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
利用所述循环神经网络对输入的所述第一特征向量进行横向像素相关性分类处理，得到第三特征向量；
利用所述循环神经网络对所述第三特征向量进行纵向像素相关性分类处理，得到所述第二特征向量。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
将所述第二特征向量输入至第二神经网络模型中进行特征提取，得到第四特征向量；
利用所述第二神经网络模型对所述第四特征向量进行轮廓特征调整，输出第五特征向量，其中，所述第五特征向量是轮廓特征加粗后的特征向量。
在一个实施例中，所述第二神经网络模型包括第二卷积神经网络和后处理模型；
所述第二卷积神经网络，用于对输入的所述第二特征向量进行特征提取，得到所述第四特征向量；
所述后处理模型，用于对输入的所述第四特征向量进行特征映射，输出所述第五特征向量。
在一个实施例中，提供了一种芯片，其存储有计算机指令，所述计算机指令被执行时实现以下步骤：
将待处理图像输入第一神经网络模型中进行特征提取，得到第一特征向量；
利用所述第一神经网络模型对所述第一特征向量进行横纵向特征相关性处理，得到第二特征向量。
在一个实施例中，所述第一神经网络模型包括第一卷积神经网络和循环神经网络；
所述第一卷积神经网络，用于对输入的所述待处理图像进行特征提取，得到所述第一特征向量；
所述循环神经网络，用于对输入的所述第一特征向量进行横纵向特征相关性处理，得到所述第二特征向量。
在一个实施例中，所述计算机指令被执行时还实现以下步骤：
利用所述循环神经网络对输入的所述第一特征向量进行横向像素相关性分类处理，得到第三特征向量；
利用所述循环神经网络对所述第三特征向量进行纵向像素相关性分类处理，得到所述第二特征向量。
在一个实施例中，所述计算机指令被执行时还实现以下步骤：
将所述第二特征向量输入至第二神经网络模型中进行特征提取，得到第四特征向量；
利用所述第二神经网络模型对所述第四特征向量进行轮廓特征调整，输出第五特征向量，其中，所述第五特征向量是轮廓特征加粗后的特征向量。
在一个实施例中，所述第二神经网络模型包括第二卷积神经网络和后处理模型；
所述第二卷积神经网络，用于对输入的所述第二特征向量进行特征提取，得到所述第四特征向量；
所述后处理模型，用于对输入的所述第四特征向量进行特征映射，输出所述第五特征向量。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：
将待处理图像输入第一神经网络模型中进行特征提取，得到第一特征向量；
利用所述第一神经网络模型对所述第一特征向量进行横纵向特征相关性处理，得到第二特征向量。
2.根据权利要求1所述的方法，其特征在于，所述第一神经网络模型包括第一卷积神经网络和循环神经网络；
所述第一卷积神经网络，用于对输入的所述待处理图像进行特征提取，得到所述第一特征向量；
所述循环神经网络，用于对输入的所述第一特征向量进行横纵向特征相关性处理，得到所述第二特征向量。
3.根据权利要求2所述的方法，其特征在于，所述利用所述第一神经网络模型对所述第一特征向量进行横纵向特征相关性处理，得到第二特征向量，包括：
利用所述循环神经网络对输入的所述第一特征向量进行横向像素相关性分类处理，得到第三特征向量；
利用所述循环神经网络对所述第三特征向量进行纵向像素相关性分类处理，得到所述第二特征向量。
4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
将所述第二特征向量输入至第二神经网络模型中进行特征提取，得到第四特征向量；
利用所述第二神经网络模型对所述第四特征向量进行轮廓特征调整，输出第五特征向量，其中，所述第五特征向量是轮廓特征加粗后的特征向量。
5.根据权利要求4所述的方法，其特征在于，所述第二神经网络模型包括第二卷积神经网络和后处理模型；
所述第二卷积神经网络，用于对输入的所述第二特征向量进行特征提取，得到所述第四特征向量；
所述后处理模型，用于对输入的所述第四特征向量进行特征映射，输出所述第五特征向量。
6.一种图像处理系统，其特征在于，所述系统包括第一神经网络模型，所述第一神经网络模型用于：
对输入的待处理图像进行特征提取，得到第一特征向量；
对所述第一特征向量进行横纵向特征相关性处理，得到第二特征向量。
7.根据权利要求6所述的系统，其特征在于，所述第一神经网络模型包括第一卷积神经网络和循环神经网络；
所述第一卷积神经网络，用于对输入的所述待处理图像进行特征提取，得到所述第一特征向量；
所述循环神经网络，用于对输入的所述第一特征向量进行横纵向特征相关性处理，得到所述第二特征向量。
8.根据权利要求7所述的系统，其特征在于，所述系统还包括第二神经网络模型，所述第二神经网络模型用于：
对输入的所述第二特征向量进行特征提取，得到第四特征向量；
对所述第四特征向量进行轮廓特征调整，输出第五特征向量。
9.根据权利要求8所述的系统，其特征在于，所述第二神经网络模型包括第二卷积神经网络和后处理模型；
所述第二卷积神经网络，用于对输入的所述第二特征向量进行特征提取，得到所述第四特征向量；
所述后处理模型，用于对输入的所述第四特征向量进行特征映射，输出所述第五特征向量。
10.一种计算机设备，包括存储器及处理器，所述存储器上存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
12.一种芯片，其存储有计算机指令，其特征在于，所述计算机指令被执行时实现权利要求1至5中任一项所述的方法的步骤。
CN201910451746.7A 2019-05-28 2019-05-28 图像处理方法、系统、计算机设备、存储介质和芯片 Active CN110222752B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910451746.7A CN110222752B (zh) 2019-05-28 2019-05-28 图像处理方法、系统、计算机设备、存储介质和芯片

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910451746.7A CN110222752B (zh) 2019-05-28 2019-05-28 图像处理方法、系统、计算机设备、存储介质和芯片

Publications (2)

Publication Number Publication Date
CN110222752A true CN110222752A (zh) 2019-09-10
CN110222752B CN110222752B (zh) 2021-11-16

Family

ID=67818223

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910451746.7A Active CN110222752B (zh) 2019-05-28 2019-05-28 图像处理方法、系统、计算机设备、存储介质和芯片

Country Status (1)

Country Link
CN (1) CN110222752B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111310605A (zh) * 2020-01-21 2020-06-19 北京迈格威科技有限公司 一种图像处理方法、装置、电子设备及存储介质
RU2726185C1 (ru) * 2020-01-21 2020-07-09 Общество с ограниченной ответстсвенностью «Аби Продакшн» Детектирование и идентификация объектов на изображениях
WO2021068247A1 (zh) * 2019-10-12 2021-04-15 深圳鲲云信息科技有限公司 神经网络调度方法、装置、计算机设备及可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096668A (zh) * 2016-08-18 2016-11-09 携程计算机技术（上海）有限公司 带水印图像的识别方法及识别系统
CN107480726A (zh) * 2017-08-25 2017-12-15 电子科技大学 一种基于全卷积和长短期记忆单元的场景语义分割方法
CN108694393A (zh) * 2018-05-30 2018-10-23 深圳市思迪信息技术股份有限公司 一种基于深度卷积的证件图像文本区域提取方法
US10157405B1 (en) * 2016-04-18 2018-12-18 United Services Automobile Association Systems and methods for implementing machine vision and optical recognition
CN109145944A (zh) * 2018-07-11 2019-01-04 哈尔滨工程大学 一种基于纵向三维图像深度学习特征的分类方法
CN109389027A (zh) * 2017-08-10 2019-02-26 奥多比公司 表单结构提取网络
CN109685055A (zh) * 2018-12-26 2019-04-26 北京金山数字娱乐科技有限公司 一种图像中文本区域的检测方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10157405B1 (en) * 2016-04-18 2018-12-18 United Services Automobile Association Systems and methods for implementing machine vision and optical recognition
CN106096668A (zh) * 2016-08-18 2016-11-09 携程计算机技术（上海）有限公司 带水印图像的识别方法及识别系统
CN109389027A (zh) * 2017-08-10 2019-02-26 奥多比公司 表单结构提取网络
CN107480726A (zh) * 2017-08-25 2017-12-15 电子科技大学 一种基于全卷积和长短期记忆单元的场景语义分割方法
CN108694393A (zh) * 2018-05-30 2018-10-23 深圳市思迪信息技术股份有限公司 一种基于深度卷积的证件图像文本区域提取方法
CN109145944A (zh) * 2018-07-11 2019-01-04 哈尔滨工程大学 一种基于纵向三维图像深度学习特征的分类方法
CN109685055A (zh) * 2018-12-26 2019-04-26 北京金山数字娱乐科技有限公司 一种图像中文本区域的检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
P.ARENA: "Watermarking for the authentication of video on CNN-UM", 《IEEE》 *
李海燕: "卷积神经网络在目标轮廓识别中的应用", 《中国优秀硕士学位论文全文数据库（信息科技辑）》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021068247A1 (zh) * 2019-10-12 2021-04-15 深圳鲲云信息科技有限公司 神经网络调度方法、装置、计算机设备及可读存储介质
CN113196232A (zh) * 2019-10-12 2021-07-30 深圳鲲云信息科技有限公司 神经网络调度方法、装置、计算机设备及可读存储介质
CN111310605A (zh) * 2020-01-21 2020-06-19 北京迈格威科技有限公司 一种图像处理方法、装置、电子设备及存储介质
RU2726185C1 (ru) * 2020-01-21 2020-07-09 Общество с ограниченной ответстсвенностью «Аби Продакшн» Детектирование и идентификация объектов на изображениях
US11587216B2 (en) 2020-01-21 2023-02-21 Abbyy Development Inc. Detection and identification of objects in images
CN111310605B (zh) * 2020-01-21 2023-09-01 北京迈格威科技有限公司 一种图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN110222752B (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN109241903B (zh) 样本数据清洗方法、装置、计算机设备及存储介质
CN109902546B (zh) 人脸识别方法、装置及计算机可读介质
CN109063742B (zh) 蝴蝶识别网络构建方法、装置、计算机设备及存储介质
CN109409198B (zh) Au检测方法、装置、设备及介质
CN110222752A (zh) 图像处理方法、系统、计算机设备、存储介质和芯片
CN110796162B (zh) 图像识别、训练识别模型的方法、相关设备及存储介质
CN111428771B (zh) 视频场景分类方法、装置和计算机可读存储介质
CN111860147A (zh) 行人重识别模型优化处理方法、装置和计算机设备
CN110942012A (zh) 图像特征提取方法、行人重识别方法、装置和计算机设备
CN110046577B (zh) 行人属性预测方法、装置、计算机设备和存储介质
CN109345604B (zh) 图片处理方法、计算机设备和存储介质
CN112837357B (zh) 医学影像配准方法、装置、计算机设备及存储介质
CN111832581A (zh) 肺部特征识别方法、装置、计算机设备及存储介质
CN111242840A (zh) 手写体字符生成方法、装置、计算机设备和存储介质
CN112001399A (zh) 基于局部特征显著化的图像场景分类方法和装置
CN113705685A (zh) 疾病特征识别模型训练、疾病特征识别方法、装置及设备
CN114821736A (zh) 基于对比学习的多模态人脸识别方法、装置、设备及介质
CN108875611B (zh) 视频动作识别方法和装置
CN112949089B (zh) 一种基于离散卷积残差网络的含水层结构反演识别方法
CN112001838B (zh) 基于自交叉编码器的跨域图像转换方法、装置、计算机设备和存储介质
CN112819687A (zh) 基于无监督神经网络的跨域图像转换方法、装置、计算机设备和存储介质
CN110263707B (zh) 图像识别方法、装置、计算机设备以及存储介质
CN116091596A (zh) 一种自下而上的多人2d人体姿态估计方法及装置
CN113516582B (zh) 用于图像风格迁移的网络模型训练方法、装置、计算机设备和存储介质
CN115995079A (zh) 图像语义相似度分析方法和同语义图像检索方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant