CN111680722B - 内容识别方法、装置、设备及可读存储介质 - Google Patents

内容识别方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN111680722B
CN111680722B CN202010446511.1A CN202010446511A CN111680722B CN 111680722 B CN111680722 B CN 111680722B CN 202010446511 A CN202010446511 A CN 202010446511A CN 111680722 B CN111680722 B CN 111680722B
Authority
CN
China
Prior art keywords
image
data
feature
correction
result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010446511.1A
Other languages
English (en)
Other versions
CN111680722A (zh
Inventor
潘兴甲
任玉强
董未名
袁豪磊
郭晓威
徐常胜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010446511.1A priority Critical patent/CN111680722B/zh
Publication of CN111680722A publication Critical patent/CN111680722A/zh
Application granted granted Critical
Publication of CN111680722B publication Critical patent/CN111680722B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/24765Rule-based classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2132Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种内容识别方法、装置、设备及可读存储介质,涉及人工智能领域。该方法包括:获取输入图像,输入图像中包括待识别的图像内容;对输入图像进行特征提取,得到图像特征;通过动态滤波学习器生成与图像特征对应的动态滤波器;结合动态滤波器通过识别模型对图像内容进行识别,得到图像内容的识别结果数据,其中,的动态滤波器用于对识别模型的识别预测过程进行修正。通过生成与图像特征对应的动态滤波器,并结合动态滤波器对识别模型的识别预测过程进行修正,通过动态滤波器针对不同的样本生成不同的权重,从而实现识别模型根据样本的不同而动态变化的要求,提高了识别模型对图像内容进行识别的准确率。

Description

内容识别方法、装置、设备及可读存储介质
技术领域
本申请实施例涉及人工智能领域,特别涉及一种内容识别方法、装置、设备及可读存储介质。
背景技术
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。其中,神经网络模型是人工智能的一种实现方式。
相关技术中,在对图像内容进行识别的过程中,在传统卷积操作的基础上添加一个分支作为滤波器,将滤波器与图像特征进行卷积操作后,得到新的特征,并基于新的特征完成对图像内容的识别。
然而,通过上述方式进行图像识别时,容易降低模型的鲁棒性,以及增加过拟合的风险,导致图像识别结果准确率较低。
发明内容
本申请实施例提供了一种内容识别方法、装置、设备及可读存储介质,可以提高图像内容识别结果的准确率。所述技术方案如下:
一方面,提供了一种内容识别方法,所述方法包括:
获取输入图像,所述输入图像中包括待识别的图像内容;
对所述输入图像进行特征提取,得到图像特征;
通过动态滤波学习器生成与所述图像特征对应的动态滤波器;
对所述图像特征进行识别,并在识别过程中,通过所述动态滤波器对所述识别过程进行修正,得到与所述图像内容对应的识别结果数据,其中,对所述识别过程的修正包括特征修正和结果修正中的至少一种。
另一方面,提供了一种内容识别装置,所述装置包括:
获取模块,用于获取输入图像,所述输入图像中包括待识别的图像内容;
提取模块,用于对所述输入图像进行特征提取,得到图像特征;
生成模块,用于通过动态滤波学习器生成与所述图像特征对应的动态滤波器;
识别模块,用于对所述图像特征进行识别,并在识别过程中,通过所述动态滤波器对所述识别过程进行修正,得到与所述图像内容对应的识别结果数据,其中,对所述识别过程的修正包括特征修正和结果修正中的至少一种。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中任一所述的内容识别方法。
另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中任一所述的内容识别方法。
另一方面,提供了一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得计算机执行如上述本申请实施例中任一所述的内容识别方法。
本申请实施例提供的技术方案带来的有益效果至少包括:
通过生成与图像特征对应的动态滤波器,并结合动态滤波器对识别模型的识别预测过程进行修正,通过动态滤波器针对不同的样本生成不同的权重,从而实现识别模型根据样本的不同而动态变化的要求,提高了识别模型对图像内容进行识别的准确率。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一个示例性实施例提供的样本分类过程的特征空间示意图;
图2是本申请一个示例性实施例提供的样本回归过程的特征空间示意图;
图3是本申请一个示例性实施例提供的在无人货架场景中对货架上的商品进行标注的示意图;
图4是本申请一个示例性实施例提供的在logo检测场景中对logo进行识别的示意图;
图5是本申请一个示例性实施例提供的内容识别方法的流程图;
图6是本申请另一个示例性实施例提供的内容识别方法的流程图;
图7是基于图6示出的实施例提供的分类任务下对特征进行动态调整的示意图;
图8是基于图6示出的实施例提供的回归任务下对结果进行动态调整的示意图;
图9是本申请另一个示例性实施例提供的内容识别方法的流程图;
图10是基于图9示出的实施例提供的通过旋转卷积方式进行特征处理的示意图;
图11是本申请一个示例性实施例提供的内容识别装置的结构框图;
图12是本申请另一个示例性实施例提供的内容识别装置的结构框图;
图13是本申请一个示例性实施例提供的服务器的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
首先,对本申请实施例中涉及的名词进行简单介绍:
人工智能(Artificial Intelligence,AI):是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(Computer Vision,CV):是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(Optical Character Recognition,OCR)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(Machine Learning,ML):是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
目标检测:是指在图像其他形式的数据中,对目标子数据进行检测的过程,通常应用于智能安防、家居、交通等领域中。通过设计检测模型,通过检测模型对数据进行检测,从数据中确定目标子数据。其中,模型的学习是一个从特殊到一半的过程,根据大量的样本学习普适性的规律。可选地,目标检测的过程中包括分类任务和回归任务这两种形式的任务中的至少一种。
其中,分类任务是指设置至少两个分类,并确定样本所属的分类的过程;示意性的,请参考图1,其示出了本申请一个示例性实施例提供的样本分类过程的特征空间示意图,图1中的实心圆点110表示样本,圆形区域100表示特征空间,被分为三个区域,其中每个区域对应一个类别,用于分割区域的分割线120表示分类界线,根据图1可知,有些样本距离分类界线较远,分类性能较好,这些样本与模型学习到的普适性规律较为契合,而有些样本距离分类界线较近,分类难度较大,这些样本与模型学习到的普适性规律契合程度也较差。
回归任务表示从样本全局出发,以降低平均损失为目标获取回归曲线的过程;示意性的,请参考图2,其示出了本申请一个示例性实施例提供的样本回归过程的特征空间示意图,图2中的实心圆点210表示样本实际标注值,曲线220表示学习到的模型针对不同的样本的预测值。
动态修正技术(Dynamic Refine):是指根据样本独特性对模型的识别进行动态修正的技术,可选地,本申请实施例中,针对分类任务和回归任务设计有两种动态修正模块:第一种,针对分类任务设计有动态特征修正模块(Dynamic Refinement forClassification,DRC),赋予模型基于每个样本对分类特征进行动态修正的能力;第二种,针对回归任务设计有动态预测修正模块(Dynamic Refinement for Regression,DRR),赋予模型根据样本对模型预测结果进行动态修正的能力。
结合上述名词简介,对本申请实施例的应用场景进行举例说明:
第一,在无人货架应用场景中,需要通过对货架上的商品进行识别,从而确定商品的排列密集程度以及商品排列位置等,其中,在对无人货架对应的图像进行识别时,需要从图像中确定商品所在的区域,而在确定商品所在的区域时,需要确定商品的尺寸、旋转角度、中心点位置以及中心点的偏移值,其中,尺寸、旋转角度和偏移值对应回归任务,中心点位置对应分类任务(即对像素点是否属于中心点进行分类),故,通过动态预测修正模块对尺寸、旋转角度和偏移值进行动态修正,通过动态特征修正模块对中心点位置进行修正,从而得到更准确的商品区域;
示意性的,请参考图3,将商品货架图300输入目标识别模型310,通过DRC对商品货架图300的商品中心点进行修正,通过DRR对商品货架图300中商品的尺寸、旋转角度和偏移值进行修正后,识别得到商品货架图300中的商品,如标注框320所示。
第二,在标识(logo)检测场景中,存在同一logo多种形态的问题,如:针对同一logo,设计有彩色版、反白、反黑、半透明logo等多种形态,示意性的,如图4所示,存在第一标识410和第二标识420两种形态,该第一标识410和第二标识420实际上属于同一类别,但由于颜色差异较大,导致对该两个标识的识别难度较大,本申请实施例中,通过DRR对识别过程进行修正,从而提高识别准确率。
上述两种应用场景仅为本申请示意性的举例,本申请实施例提供的内容识别方法还可以应用于其他通过DRR或DRC对内容进行识别的方案中,本申请实施例对此不加以限定。
值得注意的是,本申请实施例提供的内容识别方法,可以由终端实现,也可以由服务器实现,还可以由终端和服务器协同实现。其中,终端包括智能手机、平板电脑、便携式膝上笔记本电脑、台式计算机、智能音箱、智能可穿戴设备等终端中的至少一种,服务器可以是物理服务器,也可以是提供云计算服务的云服务器,且服务器可以实现为一台服务器,也可以是多个服务器构成的服务器集群或分布式系统。其中,当终端和服务器协同实现本申请实施例提供的方案时,终端和服务器可以通过有线或无线通信方式进行直接或间接连接,本申请实施例对此不加以限定。
结合上述名词简介以及应用场景,对本申请实施例提供的内容识别方法进行说明,以该方法应用于服务器中为例进行说明,如图5所示,该方法包括:
步骤501,获取输入图像,输入图像中包括待识别的图像内容。
可选地,输入图像为图像内容待识别的图像,其中,对图像内容的识别包括如下情况中的至少一种:
第一,对图像内容在输入图像中对应的区域进行识别,也即,识别得到图像内容的尺寸、位置、旋转角度后,在输入图像中对图像内容对应的区域进行标注;
第二,对输入图像中的图像内容进行分类,也即,预先设定至少两个类别,对输入图像中的图像内容进行分类,确定图像内容所属的类别。
可选地,本实施例中,以对图像内容在输入图像中对应的区域进行识别为例进行说明,则图像内容在被识别过程中,包括对图像内容所在的区域进行框选识别。在一个可选的实施例中,对图像内容所在的区域进行框选识别后,在图像中对框选的区域进行标注,从而对图像内容在图像中的区域位置进行示意。
示意性的,本实施例中,以无人货架应用场景为例进行说明,则输入图像为无人货架周侧设置的摄像头采集得到的图像,由于摄像头设置在无人货架的周侧,对多个无人货架轮流进行图像采集,在对货架上的商品进行识别时,需要对商品位置、商品尺寸、商品旋转角度进行确定,从而得到商品对应的区域。
示意性的,本实施例中,以购物应用程序中的以图搜物场景为例进行说明,用户拍摄需要在购物应用程序中搜索的商品的照片,并上传至购物应用程序的服务器中,由服务器根据用户上传的照片,从照片中识别得到用户需要搜索的图像内容,并进行框选后,从商品库中进行搜索,如:用户拍摄需要购买的裤子的照片后,将照片上传到服务器中,由服务器对照片中的裤子进行识别框选后,对框选区域中的裤子进行商品搜索,并将搜索结果和框选结果反馈至用户,由用户确认框选的区域是否准确,以及搜索结果中是否包括需要购买的裤子,,在对照片中的裤子进行识别时,需要对裤子图像的位置、裤子的显示尺寸、以及裤子在照片中的旋转角度进行确定,从而得到对应的区域。
步骤502,对输入图像进行特征提取,得到图像特征。
可选地,对图像特征进行提取的模型可以是一个单独的模型,也可以实现为识别模型的一部分。
可选地,采用沙漏网络Hourglassnetwork作为躯干网络对输入图像进行特征提取,得到图像特征。可选地,躯干网络还可以实现为其他网络,本申请实施例对此不加以限定。
步骤503,通过动态滤波学习器生成与图像特征对应的动态滤波器。
可选地,动态滤波学习器为预先训练得到的用于获取图像特征对应的动态滤波器的学习器。可选地,动态滤波学习器在获取动态滤波器时,首先通过全局池化层(GlobalAverage Pooling,GAP)对图像特征进行处理,得到池化特征,之后通过1×1卷积层对池化特征进行卷积后得到动态滤波器。
示意性的,动态滤波器的获取过程请参考如下公式一:
公式一:Kc=Gc(Fin;φ)
其中,Kc表示动态滤波器,Gc表示动态滤波学习器,Fin表示图像特征,φ为动态滤波学习器的内部参数集,用于确定动态滤波器,在对动态滤波学习器进行训练时,通过对φ的调整实现训练过程。
步骤504,对图像特征进行识别,并在识别过程中,通过动态滤波器对识别过程进行修正,得到与图像内容对应的识别结果数据。
可选地,对识别过程进行修正包括特征修正和结果修正中的至少一种,其中,特征修正是指针对识别过程中采用的图像特征进行修正后,对修正后的图像特征进行识别的情况;结果修正是指针对识别得到的结果数据进行修正,以修正后的结果数据作为最终结果数据的情况。
可选地,结合动态滤波器对图像内容进行识别的过程中,包括如下两种情况中的至少一种:
第一,在识别模型对图像内容的识别过程中,通过动态滤波器进行特征修正;示意性的,识别结果数据中包括分类数据,则将动态滤波器作为卷积核对默认特征进行卷积处理后,得到特征修正量,以特征修正量对默认特征进行修正,得到目标特征,并通过识别模型对目标特征进行分类,得到分类数据,其中,默认特征为与图像特征对应的特征;
第二,通过动态滤波器对识别模型对图像内容的识别结果进行修正;识别结果数据中包括回归类数据,则将动态滤波器作为卷积核对默认特征进行卷积处理,得到结果修正量,通过识别模型对默认特征进行回归分析,得到回归分析结果,并以结果修正量对回归分析结果进行修正,得到回归类数据。
可选地,在对识别模型进行训练时,采用基于Adam梯度下降法求解神经网络模型的卷积层模板参数w和偏置参数b,在每次迭代的过程中,计算预测结果误差并反向传播至神经网络模型,计算梯度并更新神经网络模型中的参数。
综上所述,本申请实施例提供的内容识别方法,通过生成与图像特征对应的动态滤波器,并结合动态滤波器对识别模型的识别预测过程进行修正,通过动态滤波器针对不同的样本生成不同的权重,从而实现识别模型根据样本的不同而动态变化的要求,提高了识别模型对图像内容进行识别的准确率。
在一个可选的实施例中,上述识别结果数据中包括分类数据和回归类数据,图6是本申请另一个示例性实施例提供的内容识别方法的流程图,以该方法应用于服务器中为例进行说明,如图6所示,该方法包括:
步骤601,获取输入图像,输入图像中包括待识别的图像内容。
可选地,本实施例中,以对图像内容在输入图像中对应的区域进行识别为例进行说明,则图像内容在被识别过程中,包括对图像内容所在的区域进行框选识别。
步骤602,对输入图像进行特征提取,得到图像特征。
可选地,采用沙漏网络Hourglassnetwork作为躯干网络对输入图像进行特征提取,得到图像特征。可选地,躯干网络还可以实现为其他网络,本申请实施例对此不加以限定。
步骤603,通过动态滤波学习器生成与图像特征对应的动态滤波器。
可选地,动态滤波学习器为预先训练得到的用于获取图像特征对应的动态滤波器的学习器。可选地,动态滤波学习器在获取动态滤波器时,首先通过GAP层对图像特征进行处理,得到池化特征,之后通过1×1卷积层对池化特征进行卷积后得到动态滤波器。
可选地,针对分类任务和回归任务,采用不同的动态滤波学习器生成动态滤波器,也即,针对分类任务,采用第一动态滤波学习器,生成第一动态滤波器;针对回归任务,采用第二动态滤波学习器,生成第二动态滤波器。
如上公式一所示,在分类任务中,采用上述Gc动态滤波生成器生成动态滤波器Kc;而在回归任务中,请参考如下公式二:
公式二:
Figure BDA0002506095240000091
其中,Kr表示回归任务对应的动态滤波器,Gr表示回归任务对应的动态滤波学习器,Fin表示图像特征,
Figure BDA0002506095240000092
为动态滤波学习器Gr的内部参数集,用于确定动态滤波器Kr,在对动态滤波学习器进行训练时,通过对
Figure BDA0002506095240000093
的调整实现训练过程。
步骤604,将动态滤波器作为卷积核对默认特征进行卷积处理,得到特征修正量。
可选地,特征修正量与默认特征的形状相同。
示意性的,特征修正量的计算过程请参考如下公式三:
公式三:FΔ=Fmid×Kc
其中,FΔ用于指示特征修正量,Fmid用于指示默认特征,Kc表示动态滤波器。其中,默认特征为与图像特征对应的特征,如:默认特征为对图像特征压缩处理后得到的特征,或,默认特征为对图像特征进行放大处理后得到的特征。
可选地,根据特征修正量对输入图像每个像素点位置上的默认特征进行修正。
步骤605,以特征修正量对默认特征进行修正,得到目标特征。
可选地,为了得到网络可以根据样本自身特点进行自适应调整的目的,对特征修正量再通道方向进行归一化,则特征修正量对应每个像素点位置均为一个c为单位特征,c为正整数,以此单位特征作为对默认特征在对应像素点位置上的修正方向。可选地,特征修正的大小由默认特征在各自像素点位置上的模长确定。
可选地,特征修正量还对应有第一超参数,该第一超参数用于限定特征修正量的修正上限。则通过第一超参数和特征修正量对默认特征进行修正,得到目标特征。
示意性的,特征修正过程请参考如下公式四:
公式四:Hc=C((1+ε×FΔ/||FΔ||)×Fmid;Φ)
其中,Hc表示修正后的目标特征,C表示分类器,也即最后一层卷积,ε表示第一超参数,FΔ用于指示特征修正量,Fmid用于指示默认特征,Φ为分类器中的参数。可选地,ε的取值为预先设定的,如:本实施例中,将ε设定为0.1,用于限定特征修正上限。
步骤606,通过识别模型对目标特征进行分类,得到分类数据。
可选地,通过识别模型对修正后得到的目标特征进行分类,得到分类数据,从而提高分类数据的分类准确率。
示意性的,请参考图7,将图像特征700输入动态滤波学习器710后,得到动态滤波器,以动态滤波器作为卷积核对默认特征730进行卷积处理后,得到特征修正量740,通过特征修正量740对默认特征730进行修正后,输出得到目标特征750,从而根据目标特征750确定分类数据。
步骤607,将动态滤波器作为卷积核对默认特征进行卷积处理,得到结果修正量。
示意性的,结果修正量的计算过程请参考如下公式五:
公式五:HΔ=Fmid×Kr
其中,HΔ用于指示结果修正量,Fmid用于指示默认特征,Kr表示动态滤波器。其中,默认特征为与图像特征对应的特征,如:默认特征为对图像特征压缩处理后得到的特征,或,默认特征为对图像特征进行放大处理后得到的特征。
可选地,结果修正量用于对识别模型的回归分析结果进行修正。
步骤608,通过识别模型对默认特征进行回归分析,得到回归分析结果。
可选地,首先通过识别模型对默认特征进行回归分析,示意性的,将默认特征输入预先训练得到的回归器中,输出得到预测结果,也即上述回归分析结果。
示意性的,回归分析过程请参考如下公式六:
公式六:Hb=R(Fmid;ψ)
其中,Hb表示回归分析结果,R表示回归器,Fmid用于指示默认特征,ψ为回归器中的参数,在对回归器进行训练时,通过对ψ的调整实现训练过程。
步骤609,以结果修正量对回归分析结果进行修正,得到回归类数据。
可选地,在对回归分析结果进行修正的过程中,通过将正切(tan)函数作用于结果修正量,将结果修正量归一化至(-1,1)的范围内,从而对回归分析结果进行修正。
可选地,结果修正量还对应有第二超参数,该第二超参数用于限定结果修正量的修正上限。则通过第二超参数和结果修正量对回归分析结果进行修正,得到回归类数据。
示意性的,结果修正过程请参考如下公式七:
公式七:Hr=(1+δ×tanh(HΔ))×Hb
其中,Hr表示修正后的回归类数据,δ表示第二超参数,HΔ用于指示结果修正量。可选地,δ的取值为预先设定的。
示意性的,请参考图8,将图像特征800输入动态滤波学习器810后,得到动态滤波器,以动态滤波器作为卷积核对默认特征830进行卷积处理后,得到结果修正量840,对默认特征830进行回归分析后,得到回归分析结果850,通过结果修正量840对回归分析结果850进行修正后,得到回归类数据860。
综上所述,本申请实施例提供的内容识别方法,通过生成与图像特征对应的动态滤波器,并结合动态滤波器对识别模型的识别预测过程进行修正,通过动态滤波器针对不同的样本生成不同的权重,从而实现识别模型根据样本的不同而动态变化的要求,提高了识别模型对图像内容进行识别的准确率。
本实施例提供的方法,针对分类任务,设置动态滤波学习器生成动态滤波器,并通过动态滤波器确定特征修正量,对默认特征进行修正后,以修正后的目标特征确定分类结果,从而提高了分类结果的分类准确率。
本实施例提供的方法,针对回归任务,设置动态滤波学习器生成动态滤波器,并通过动态滤波器确定结果修正量,对回归分析结果进行修正后,得到修正后的回归数据,从而提高了回归数据的预测准确率。
在一个可选的实施例中,识别结果数据中包括图像内容在输入图像中的区域数据;图9是本申请另一个示例性实施例提供的内容识别方法的流程图,以该方法应用于服务器中为例进行说明,如图9所示,该方法包括:
步骤901,获取输入图像,输入图像中包括待识别的图像内容。
可选地,本实施例中,以对图像内容在输入图像中对应的区域进行识别为例进行说明,则图像内容在被识别过程中,包括对图像内容所在的区域进行框选识别。
步骤902,对输入图像进行特征提取,得到图像特征。
可选地,采用沙漏网络Hourglassnetwork作为躯干网络对输入图像进行特征提取,得到图像特征。可选地,躯干网络还可以实现为其他网络,本申请实施例对此不加以限定。
步骤903,通过动态滤波学习器生成与图像特征对应的动态滤波器。
可选地,动态滤波学习器为预先训练得到的用于获取图像特征对应的动态滤波器的学习器。可选地,动态滤波学习器在获取动态滤波器时,首先通过GAP层对图像特征进行处理,得到池化特征,之后通过1×1卷积层对池化特征进行卷积后得到动态滤波器。
步骤904,将动态滤波器作为卷积核对默认特征进行卷积处理,得到特征修正量。
步骤905,以特征修正量对默认特征进行修正,得到目标特征。
可选地,根据特征修正量对输入图像每个像素点位置上的默认特征进行修正。
步骤906,通过识别模型对目标特征进行分类,得到中心点数据。
可选地,通过识别模型对修正后得到的目标特征进行分类,得到分类数据,从而提高分类数据的分类准确率。
可选地,中心点数据用于指示输入图像中的像素点属于图像内容的中心点的概率。也即,针对每个像素点,通过识别模型进行分类,对应属于中心点和不属于中心点分别确定一个概率值,如:对像素点A通过识别模型进行分类后,得到其属于中心点的概率为0.1,不属于中心点的概率为0.9。
可选地,根据中心点数据确定输入图像中图像内容对应的中心点,其中,中心点对应的像素点数量可以是一个,也可以是一组,如:将属于中心点的概率最高的像素点作为图像内容的中心点;或,将属于中心点的概率超过概率阈值的像素点作为图像内容的中心点。
可选地,上述识别模型在对目标特征进行分类时,可以在对图像特征以旋转卷积方式进行卷积处理后,将处理得到的特征经过动态滤波器进行特征修正,得到目标特征,并对目标特征进行分类识别;或,图像特征通过动态滤波器进行特征修正后,得到目标特征,识别模型在对目标特征进行分类的过程中,首先通过旋转卷积方式进行卷积处理后,得到卷积特征,并以卷积特征进行分类,得到分类结果。
其中,以对图像特征进行旋转卷积处理为例进行说明,在确定输入图像中图像内容对应的区域数据时,需要确定区域数据对应的尺寸数据、旋转角度、偏移值和中心点数据,由于图像内容在输入图像中不是必然竖直的,存在图像内容在输入图像中具有一定偏移角度的情况,故,在提取得到输入图像的图像特征后,还可以通过旋转卷积方式对图像特征进行卷积处理。也即,首先预测得到图像内容在输入图像中的第一旋转角度,将识别模型中的卷积核以该第一旋转角度进行旋转后,使用旋转后的卷积核对图像特征进行卷积处理,并最终得到目标特征后,对目标特征进行分类,得到中心点数据。
可选地,以第一旋转角度对识别模型中的至少两种卷积核进行旋转后,通过每种卷积核对图像特征进行卷积处理,分别得到一种旋转卷积特征,共得到至少两种旋转卷积特征,将至少两种旋转卷积特征通过注意力机制进行卷积后,生成至少两个注意力图,其中,每个注意力图对应一个旋转卷积特征,集合至少两个旋转卷积特征核至少两个注意力图,生成输入图像的目标特征。
步骤907,将动态滤波器作为卷积核对默认特征进行卷积处理,得到结果修正量。
可选地,结果修正量用于对识别模型的回归分析结果进行修正。
步骤908,通过识别模型对默认特征进行回归分析,得到回归分析结果。
可选地,首先通过识别模型对默认特征进行回归分析,示意性的,将默认特征输入预先训练得到的回归器中,输出得到预测结果,也即上述回归分析结果。
可选地,首先对默认特征进行旋转卷积处理后,得到目标特征,并通过目标特征进行回归分析,得到回归分析结果。其中,在旋转卷积过程中,首先预测得到图像内容在输入图像中的第一旋转角度,将识别模型中的卷积核以该第一旋转角度进行旋转后,使用旋转后的卷积核对默认特征进行卷积处理,并最终得到目标特征,对目标特征进行回归分析,得到回归分析结果。
可选地,以第一旋转角度对识别模型中的至少两种卷积核进行旋转后,通过每种卷积核对图像特征进行卷积处理,分别得到一种旋转卷积特征,共得到至少两种旋转卷积特征,将至少两种旋转卷积特征通过注意力机制进行卷积后,生成至少两个注意力图,其中,每个注意力图对应一个旋转卷积特征,集合至少两个旋转卷积特征核至少两个注意力图,生成输入图像的目标特征。
示意性的,请参考图10,对输入图像进行特征提取后,得到图像特征1010,对图像特征1010通过1×1形状的卷积进行通道压缩,得到压缩特征1020,通过第一卷积核1031(3×3形状的卷积核)、第二卷积核1032(1×3形状的卷积核)和第三卷积核1033(3×1形状的卷积核)分别对压缩特征1020进行旋转卷积,其中,通过第一卷积核1031旋转卷积后生成第一旋转卷积特征1041,通过第二卷积核1032旋转卷积后生成第二旋转卷积特征1042,通过第三卷积核1033旋转卷积后生成第三旋转卷积特征1043,对第一旋转卷积特征1041、第二旋转卷积特征1042和第三旋转卷积特征1043通过注意力机制进行卷积,生成注意力图,其中,将第一旋转卷积特征1041通过注意力机制进行卷积,生成第一注意力图1051,将第二旋转卷积特征1042通过注意力机制进行卷积,生成第二注意力图1052,将第三旋转卷积特征1043通过注意力机制进行卷积,生成第三注意力图1053,对第一注意力图1051、第二注意力图1052和第三注意力图1053进行归一化,得到归一化特征后,将归一化特征与至少两个旋转卷积特征分别相乘取加权和,并通过注意力机制进行卷积,生成目标特征1060。
以上述目标特征1060进行分类识别,得到中心点数据,和/或,以上述目标特征1060进行回归分析,得到尺寸数据、旋转数据以及偏移值。其中,分类识别过程中,通过动态滤波器对目标特征1060对应的默认特征进行修正;回归分析过程中,通过动态滤波器对回归分析结果进行修正。
步骤909,以结果修正量对回归分析结果进行修正,得到尺寸数据、旋转角度和偏移值。
可选地,在对回归分析结果进行修正的过程中,通过将正切(tan)函数作用于结果修正量,将结果修正量归一化至(-1,1)的范围内,从而对回归分析结果进行修正。
可选地,回归分析结果中包括回归尺寸数据、回归旋转角度和回归偏移值,通过结果修正量对上述回归分析结果进行修正后,得到尺寸数据、旋转角度和偏移值,尺寸数据、旋转角度和偏移值皆属于回归类数据。
其中,尺寸数据用于指示图像内容的尺寸,也即图像内容在输入图像中所对应区域的高度和宽度,可选地,高度和宽度可以通过像素点的数量表示;旋转角度用于指示图像内容在输入图像中相对默认角度的偏转量,示意性的,默认角度为与输入图像侧边平行的角度,旋转角度为相对输入图像侧边的偏转角度;偏移值用于指示图像内容的预测中心点在图像特征的缩放过程中产生的偏移量。
步骤910,根据中心点数据、尺寸数据、旋转角度和偏移值确定图像内容在输入图像中对应的区域。
可选地,针对输入图像确定区域数据后,首先根据中心点数据与偏移值选取目标中心位置,根据预测的尺寸数据(也即目标区域的宽高)确定不包括旋转角度的区域,根据预测的旋转角度对区域进行旋转后,得到最终的目标区域。
示意性的,在相关技术中确认目标区域、以及本申请中确认目标的过程中,确认结果准确率如下表一所示:
表一
Figure BDA0002506095240000151
其中,mAP为机器学习中的目标检测领域,用于衡量目标检测算法的性能的指标,表示全类平均正确率。CP用于表示基于Compact CNN的高性能简单目标检测算法;RC1是指使用选择性搜索对输入图像提取不同尺寸不同形状大小的候选区域,并选取训练好的深度学习分类模型,将输出层截掉,将候选区域型变为网络输入需要的固定形状,得到每个候选区域的特征图,通过分类器进行分类,并将特征图与位置标签匹配的方式;RRD为旋转敏感回归检测(Rotation-Sensitive Regression Detection);RoI Trans是指通过Roi-pooling方式进行特征提取的方式。
如上表一可知,本申请实施例提供的目标区域识别方法,在目标检测领域达到的全类平均正确率较高,对mPA有显著的提升。
综上所述,本申请实施例提供的内容识别方法,通过生成与图像特征对应的动态滤波器,并结合动态滤波器对识别模型的识别预测过程进行修正,通过动态滤波器针对不同的样本生成不同的权重,从而实现识别模型根据样本的不同而动态变化的要求,提高了识别模型对图像内容进行识别的准确率。
本实施例提供的方法,在图像内容的区域识别过程中,通过动态特征修正模块确定区域中心点,以及通过动态预测修正模块确定区域的旋转角度、尺寸数据和偏移值,从而提高了区域确定过程中的整体准确率。
图11是本申请一个示例性实施例提供的内容识别装置的结构框图,如图10所示,该装置包括:
获取模块1110,用于获取输入图像,所述输入图像中包括待识别的图像内容;
提取模块1120,用于对所述输入图像进行特征提取,得到图像特征;
生成模块1130,用于通过动态滤波学习器生成与所述图像特征对应的动态滤波器;
识别模块1140,用于对所述图像特征进行识别,并在识别过程中,通过所述动态滤波器对所述识别过程进行修正,得到与所述图像内容对应的识别结果数据,其中,对所述识别过程的修正包括特征修正和结果修正中的至少一种。
在一个可选的实施例中,所述识别结果数据中包括分类数据,对所述识别过程的修正包括所述特征修正;
如图12所示,所述识别模块1140,包括:
处理单元1141,用于将所述动态滤波器作为卷积核对默认特征进行卷积处理,得到特征修正量,所述默认特征为与所述图像特征对应的特征;
修正单元1142,用于以所述特征修正量对所述默认特征进行修正,得到目标特征;
分类单元1143,用于通过所述识别模型对所述目标特征进行分类,得到所述分类数据。
在一个可选的实施例中,所述获取模块1110,还用于获取所述特征修正量对应的第一超参数,所述第一超参数用于限定所述特征修正量的修正上限;
所述修正单元1142,还用于通过所述第一超参数和所述特征修正量对所述默认特征进行修正,得到所述目标特征。
在一个可选的实施例中,所述识别结果数据包括所述图像内容在所述输入图像中的区域数据;
所述区域数据中包括中心点数据,且所述中心点数据属于所述分类数据;
所述中心点数据用于指示所述输入图像中的像素点属于所述图像内容的中心点的概率。
在一个可选的实施例中,所述识别结果中包括回归类数据,对所述识别过程的修正包括所述结果修正;
所述识别模块1140,包括:
处理单元1141,用于将所述动态滤波器作为卷积核对默认特征进行卷积处理,得到结果修正量,所述默认特征为与所述图像特征对应的特征;
回归单元1144,用于通过所述识别模型对默认特征进行回归分析,得到回归分析结果;
修正单元1142,用于以所述结果修正量对所述回归分析结果进行修正,得到所述回归类数据。
在一个可选的实施例中,所述获取模块1110,还用于获取所述结果修正量对应的第二超参数,所述第二超参数用于限定所述结果修正量的修正上限;
所述修正单元1142,还用于通过所述第二超参数和所述结果修正量对所述回归分析结果进行修正,得到所述回归类数据。
在一个可选的实施例中,所述识别结果数据包括所述图像内容在所述输入图像中的区域数据;
所述区域数据中包括尺寸数据、旋转角度和偏移值,且所述尺寸数据、所述旋转角度和所述偏移值属于所述回归类数据;
所述尺寸数据用于指示所述图像内容的尺寸;
所述旋转角度用于指示所述图像内容在所述输入图像中相对默认角度的偏转量;
所述偏移值用于指示所述图像内容的预测中心点在所述图像特征的缩放过程中产生的偏移量。
综上所述,本申请实施例提供的内容识别装置,通过生成与图像特征对应的动态滤波器,并结合动态滤波器对识别模型的识别预测过程进行修正,通过动态滤波器针对不同的样本生成不同的权重,从而实现识别模型根据样本的不同而动态变化的要求,提高了识别模型对图像内容进行识别的准确率。
需要说明的是:上述实施例提供的内容识别装置,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的内容识别装置与内容识别方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图13示出了本申请一个示例性实施例提供的服务器的结构示意图。该具体来讲:
服务器1300包括中央处理单元(Central Processing Unit,CPU)1301、包括随机存取存储器(Random Access Memory,RAM)1302和只读存储器(Read Only Memory,ROM)1303的系统存储器1304,以及连接系统存储器1304和中央处理单元1301的系统总线1305。服务器1300还包括帮助计算机内的各个器件之间传输信息的基本输入/输出系统(InputOutput System,I/O系统)1306,和用于存储操作系统1313、应用程序1314和其他程序模块1315的大容量存储设备1307。
基本输入/输出系统1306包括有用于显示信息的显示器1308和用于用户输入信息的诸如鼠标、键盘之类的输入设备1309。其中显示器1308和输入设备1309都通过连接到系统总线1305的输入输出控制器1310连接到中央处理单元1301。基本输入/输出系统1306还可以包括输入输出控制器1310以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器1310还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备1307通过连接到系统总线1305的大容量存储控制器(未示出)连接到中央处理单元1301。大容量存储设备1307及其相关联的计算机可读介质为服务器1300提供非易失性存储。也就是说,大容量存储设备1307可以包括诸如硬盘或者紧凑型光盘只读存储器(Compact Disc Read Only Memory,CD-ROM)驱动器之类的计算机可读介质(未示出)。
不失一般性,计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、可擦除可编程只读存储器(Erasable Programmable Read Only Memory,EPROM)、带电可擦可编程只读存储器(Electrically Erasable Programmable Read Only Memory,EEPROM)、闪存或其他固态存储其技术,CD-ROM、数字通用光盘(Digital Versatile Disc,DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然,本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1304和大容量存储设备1307可以统称为存储器。
根据本申请的各种实施例,服务器1300还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1300可以通过连接在系统总线1305上的网络接口单元1311连接到网络1312,或者说,也可以使用网络接口单元1311来连接到其他类型的网络或远程计算机系统(未示出)。
上述存储器还包括一个或者一个以上的程序,一个或者一个以上程序存储于存储器中,被配置由CPU执行。
本申请的实施例还提供了一种计算机设备,该计算手机设备包括处理器和存储器,该存储器中存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的内容识别方法。
本申请的实施例还提供了一种计算机可读存储介质,该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集,至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行,以实现上述各方法实施例提供的内容识别方法。
可选地,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、固态硬盘(SSD,Solid State Drives)或光盘等。其中,随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM,Dynamic Random Access Memory)。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的可选实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (12)

1.一种内容识别方法,其特征在于,所述方法包括:
获取输入图像,所述输入图像中包括待识别的图像内容;
对所述输入图像进行特征提取,得到图像特征;
通过动态滤波学习器生成与所述图像特征对应的动态滤波器;
对所述图像特征进行识别,并在识别过程中,将所述动态滤波器作为卷积核对默认特征进行卷积处理,得到特征修正量,所述默认特征为与所述图像特征对应的特征;
以所述特征修正量对所述默认特征进行特征修正,得到目标特征;
通过识别模型对所述目标特征进行分类,得到分类数据,所述分类数据是与所述图像内容对应的识别结果数据,其中,对所述识别过程的修正包括所述特征修正和结果修正中的至少一种。
2.根据权利要求1所述的方法,其特征在于,所述以所述特征修正量对所述默认特征进行特征修正,得到目标特征,包括:
获取所述特征修正量对应的第一超参数,所述第一超参数用于限定所述特征修正量的修正上限;
通过所述第一超参数和所述特征修正量对所述默认特征进行所述特征修正,得到所述目标特征。
3.根据权利要求1所述的方法,其特征在于,所述识别结果数据包括所述图像内容在所述输入图像中的区域数据;
所述区域数据中包括中心点数据,且所述中心点数据属于所述分类数据;
所述中心点数据用于指示所述输入图像中的像素点属于所述图像内容的中心点的概率。
4.根据权利要求1所述的方法,其特征在于,所述识别结果数据中包括回归类数据,对所述识别过程的修正包括所述结果修正;
所述方法还包括:
将所述动态滤波器作为卷积核对默认特征进行卷积处理,得到结果修正量,所述默认特征为与所述图像特征对应的特征;
通过所述识别模型对默认特征进行回归分析,得到回归分析结果;
以所述结果修正量对所述回归分析结果进行修正,得到所述回归类数据。
5.根据权利要求4所述的方法,其特征在于,所述以所述结果修正量对所述回归分析结果进行修正,得到所述回归类数据,包括:
获取所述结果修正量对应的第二超参数,所述第二超参数用于限定所述结果修正量的修正上限;
通过所述第二超参数和所述结果修正量对所述回归分析结果进行修正,得到所述回归类数据。
6.根据权利要求4所述的方法,其特征在于,所述识别结果数据包括所述图像内容在所述输入图像中的区域数据;
所述区域数据中包括尺寸数据、旋转角度和偏移值,且所述尺寸数据、所述旋转角度和所述偏移值属于所述回归类数据;
所述尺寸数据用于指示所述图像内容的尺寸;
所述旋转角度用于指示所述图像内容在所述输入图像中相对默认角度的偏转量;
所述偏移值用于指示所述图像内容的预测中心点在所述图像特征的缩放过程中产生的偏移量。
7.一种内容识别装置,其特征在于,所述装置包括:
获取模块,用于获取输入图像,所述输入图像中包括待识别的图像内容;
提取模块,用于对所述输入图像进行特征提取,得到图像特征;
生成模块,用于通过动态滤波学习器生成与所述图像特征对应的动态滤波器;
识别模块,包括:
处理单元,用于对所述图像特征进行识别,并在识别过程中,将所述动态滤波器作为卷积核对默认特征进行卷积处理,得到特征修正量,所述默认特征为与所述图像特征对应的特征;
修正单元,用于以所述特征修正量对所述默认特征进行特征修正,得到目标特征;
分类单元,用于通过识别模型对所述目标特征进行分类,得到分类数据,所述分类数据是与所述图像内容对应的识别结果数据,其中,对所述识别过程的修正包括所述特征修正和结果修正中的至少一种。
8.根据权利要求7所述的装置,其特征在于,
所述获取模块,还用于获取所述特征修正量对应的第一超参数,所述第一超参数用于限定所述特征修正量的修正上限;
所述修正单元,还用于通过所述第一超参数和所述特征修正量对所述默认特征进行所述特征修正,得到所述目标特征。
9.根据权利要求7所述的装置,其特征在于,所述识别结果数据中包括回归类数据,对所述识别过程的修正包括所述结果修正;
所述识别模块,包括:
处理单元,用于将所述动态滤波器作为卷积核对默认特征进行卷积处理,得到结果修正量,所述默认特征为与所述图像特征对应的特征;
回归单元,用于通过所述识别模型对默认特征进行回归分析,得到回归分析结果;
修正单元,用于以所述结果修正量对所述回归分析结果进行修正,得到所述回归类数据。
10.根据权利要求9所述的装置,其特征在于,
所述获取模块,还用于获取所述结果修正量对应的第二超参数,所述第二超参数用于限定所述结果修正量的修正上限;
所述修正单元,还用于通过所述第二超参数和所述结果修正量对所述回归分析结果进行修正,得到所述回归类数据。
11.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行以实现如权利要求1至6任一所述的内容识别方法。
12.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现如权利要求1至6任一所述的内容识别方法。
CN202010446511.1A 2020-05-25 2020-05-25 内容识别方法、装置、设备及可读存储介质 Active CN111680722B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010446511.1A CN111680722B (zh) 2020-05-25 2020-05-25 内容识别方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010446511.1A CN111680722B (zh) 2020-05-25 2020-05-25 内容识别方法、装置、设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111680722A CN111680722A (zh) 2020-09-18
CN111680722B true CN111680722B (zh) 2022-09-16

Family

ID=72452814

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010446511.1A Active CN111680722B (zh) 2020-05-25 2020-05-25 内容识别方法、装置、设备及可读存储介质

Country Status (1)

Country Link
CN (1) CN111680722B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018153322A1 (zh) * 2017-02-23 2018-08-30 北京市商汤科技开发有限公司 关键点检测方法、神经网络训练方法、装置和电子设备
CN110633715A (zh) * 2019-09-27 2019-12-31 深圳市商汤科技有限公司 图像处理方法、网络训练方法及装置、和电子设备
CN111080567A (zh) * 2019-12-12 2020-04-28 长沙理工大学 基于多尺度动态卷积神经网络的遥感图像融合方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018153322A1 (zh) * 2017-02-23 2018-08-30 北京市商汤科技开发有限公司 关键点检测方法、神经网络训练方法、装置和电子设备
CN110633715A (zh) * 2019-09-27 2019-12-31 深圳市商汤科技有限公司 图像处理方法、网络训练方法及装置、和电子设备
CN111080567A (zh) * 2019-12-12 2020-04-28 长沙理工大学 基于多尺度动态卷积神经网络的遥感图像融合方法及系统

Also Published As

Publication number Publication date
CN111680722A (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
CN111680678B (zh) 目标区域识别方法、装置、设备及可读存储介质
US9811718B2 (en) Method and a system for face verification
CN111241989B (zh) 图像识别方法及装置、电子设备
CN108734210B (zh) 一种基于跨模态多尺度特征融合的对象检测方法
CN111310731A (zh) 基于人工智能的视频推荐方法、装置、设备及存储介质
CN113139628B (zh) 样本图像的识别方法、装置、设备及可读存储介质
CN104915673A (zh) 一种基于视觉词袋模型的目标分类方法和系统
CN112257665A (zh) 图像内容的识别方法、图像识别模型的训练方法及介质
CN112101344B (zh) 一种视频文本跟踪方法及装置
CN114298122A (zh) 数据分类方法、装置、设备、存储介质及计算机程序产品
US20230410465A1 (en) Real time salient object detection in images and videos
CN113822134A (zh) 一种基于视频的实例跟踪方法、装置、设备及存储介质
CN113704276A (zh) 地图更新方法、装置、电子设备及计算机可读存储介质
CN110555406B (zh) 一种基于Haar-like特征及CNN匹配的视频运动目标识别方法
Vijayalakshmi K et al. Copy-paste forgery detection using deep learning with error level analysis
Bampis et al. A LoCATe‐based visual place recognition system for mobile robotics and GPGPUs
CN111680722B (zh) 内容识别方法、装置、设备及可读存储介质
CN112749576B (zh) 图像识别方法和装置、计算设备以及计算机存储介质
US11816909B2 (en) Document clusterization using neural networks
Wang et al. Cascading classifier with discriminative multi-features for a specific 3D object real-time detection
CN114387489A (zh) 电力设备识别方法、装置和终端设备
CN113763313A (zh) 文本图像的质量检测方法、装置、介质及电子设备
Jun et al. Two-view correspondence learning via complex information extraction
HAKMI et al. Implontation of Modern features detection and Matching Algorithms
Sun et al. An ontology-based hybrid methodology for image synthesis and identification with convex objects

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40028901

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant