CN109409235A - 图像识别方法和装置、电子设备、计算机可读存储介质 - Google Patents

图像识别方法和装置、电子设备、计算机可读存储介质 Download PDF

Info

Publication number
CN109409235A
CN109409235A CN201811133978.XA CN201811133978A CN109409235A CN 109409235 A CN109409235 A CN 109409235A CN 201811133978 A CN201811133978 A CN 201811133978A CN 109409235 A CN109409235 A CN 109409235A
Authority
CN
China
Prior art keywords
recognition result
image
sequence
feature
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811133978.XA
Other languages
English (en)
Other versions
CN109409235B (zh
Inventor
张弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201811133978.XA priority Critical patent/CN109409235B/zh
Publication of CN109409235A publication Critical patent/CN109409235A/zh
Application granted granted Critical
Publication of CN109409235B publication Critical patent/CN109409235B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种图像识别方法和装置、电子设备、计算机可读存储介质,其中方法包括:获取包含目标图像的连续多帧待处理图像;将各帧待处理图像逐帧输入至特征识别模型中,分别输出各帧待处理图像的第一特征识别结果,将第一特征识别结果依照待处理图像的时序组成第一特征识别结果序列;将第一特征识别结果序列输入至序列平滑模型中,输出第二特征识别结果序列;从第二特征识别结果序列中,获取目标图像对应的特征识别结果。上述图像识别方法,将目标图像与连续帧的待处理图像共同进行特征识别,并利用预设的序列平滑模型对特征识别得到的序列进行平滑处理,可以消除连续多帧图像的特征识别结果中的偶然跳变,提升对连续图像特征识别的稳定性。

Description

图像识别方法和装置、电子设备、计算机可读存储介质
技术领域
本申请涉及图像处理技术领域,特别是涉及一种图像识别方法和装置、电子设备、计算机可读存储介质。
背景技术
随着图像识别技术的发展,对图像的识别在生活中得到广泛的应用。例如可以对图像中的特征进行识别,得到拍摄的图像中的场景或对象等等的信息。比如可以识别出拍摄的图像是蓝天、绿草、人物还是美食等等。
现有的图像识别方法,一般是针对单张图像的特征进行识别,在对连续图像例如视频文件中的视频图像的特征进行识别时,识别的视频文件中的连续多帧图像之间的特征识别结果容易发生偶然跳变,对图像的特征识别的稳定性差。
发明内容
本申请实施例提供一种图像识别方法和装置、电子设备、计算机可读存储介质,可以消除连续多帧图像之间的特征识别结果中的偶然跳变,提升对连续图像特征识别的稳定性。
一种图像识别方法,包括:
获取包含目标图像的连续多帧待处理图像;
将各帧所述待处理图像逐帧输入至特征识别模型中,分别输出各帧待处理图像的第一特征识别结果,将所述第一特征识别结果依照所述待处理图像的时序组成第一特征识别结果序列;
将所述第一特征识别结果序列输入至序列平滑模型中,输出第二特征识别结果序列;
从所述第二特征识别结果序列中,获取所述目标图像对应的特征识别结果。
一种图像识别装置,包括:
图像获取模块,用于获取包含目标图像的连续多帧待处理图像;
特征识别模块,用于将各帧待处理图像逐帧输入至特征识别模型中,分别输出各帧待处理图像的第一特征识别结果,将第一特征识别结果依照待处理图像的时序组成第一特征识别结果序列;
序列平滑模块,用于将第一特征识别结果序列输入至序列平滑模型中,输出第二特征识别结果序列;
识别结果获取模块,用于从第二特征识别结果序列中,获取目标图像对应的特征识别结果。
一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上所述的图像识别方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的图像识别方法的步骤。
上述图像识别方法、装置、电子设备、计算机可读存储介质,在需要对目标图像进行特征识别时,获取包含目标图像的连续多帧待处理图像,将待处理图像逐帧输入至特征识别模型中,分别输出各帧待处理图像的第一特征识别结果,组成第一特征识别结果序列,进一步地,将特征识别得到的第一特征识别结果序列输入至序列平滑模型中,以对第一特征识别结果序列进行平滑处理,输出平滑处理后的第二特征识别结果序列,从第二特征识别结果序列中获取目标图像对应的特征识别结果。将目标图像与该目标图像连续帧的待处理图像共同进行特征识别,并利用预设的序列平滑模型对特征识别得到的序列进行平滑处理,使得平滑处理后的目标图像的特征识别结果与该目标图像相邻帧的待处理图像的特征识别结果保持连续性,消除特征识别结果的偶然跳变,保证对连续图像例如视频图像或视频预览图像的特征识别的稳定性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为一个实施例中图像识别方法的应用环境图;
图2为一个实施例中图像识别方法的流程图;
图3为一个实施例中训练生成特征识别模型的步骤的流程图;
图4为一个实施例中训练生成序列平滑模型的步骤的流程图;
图5为一个实施例中对训练特征识别结果序列进行平滑处理,得到平滑特征识别结果序列的步骤的流程图;
图6为一个实施例中对训练特征识别结果序列进行平滑处理,得到平滑特征识别结果序列的示意图;
图7为一个实施例中特征标记图的显示示意图;
图8为一个实施例中对目标图像进行调整和替换的步骤的示意图;
图9为一个实施例中图像识别装置的结构框图;
图10为一个实施例中特征识别模型训练模块的结构框图;
图11为一个实施例中序列平滑模型训练模块的结构框图;
图12为一个实施例中平滑处理模块的结构框图;
图13为另一个实施例中图像识别装置的结构框图;
图14为又一个实施例中图像识别装置的结构框图;
图15为一个实施例中电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
可以理解,本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件,但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说,在不脱离本申请的范围的情况下,可以将第一特征识别结果称为第二特征识别结果,且类似地,可将第二特征识别结果称为第一特征识别结果。第一特征识别结果和第二特征识别结果两者都是特征识别结果,但其不是同一特征识别结果,可以具有不同的取值。
图1为一个实施例中图像识别方法的应用环境示意图。如图1所示,该应用环境包括终端102与服务器104。其中,终端102与服务器104通过网络进行通信。在一个实施例中,特征识别模型和序列平滑模型的训练过程可以在服务器104完成,服务器104通过网络将训练得到的特征识别模型和序列平滑模型传输至终端102,在终端102预先部署特征识别模型和序列平滑模型;在需要对目标图像进行特征识别时,终端102获取包含目标图像的连续多帧待处理图像,将各帧待处理图像逐帧输入至特征识别模型中,分别输出各帧待处理图像的第一特征识别结果,将第一特征识别结果依照待处理图像的时序组成第一特征识别结果序列,终端102还将第一特征识别结果序列输入至序列平滑模型中,输出第二特征识别结果序列,从第二特征识别结果序列中,获取目标图像对应的特征识别结果。其中,终端102可以但不限于是各种终端例如个人计算机、笔记本电脑、智能手机和平板电脑等等,服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
本领域技术人员可以理解,图1中示出的结构,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。本申请下述实施例的图像识别方法,不限于如上实施例所述的服务器104和终端102的具体执行方式,在其他的实施例中,图像识别方法的各个步骤的执行主体可以在服务器104和终端102之间进行调整。例如在其他实施中,特征识别模型和序列平滑模型的训练过程也可以在终端102完成,并部署在终端102中等等。在另一个实施例中,还可以由终端102执行获取包含目标图像的连续多帧待处理图像的步骤;为了减轻终端102运行的负担,提升终端运行效率,终端102可以将获取的包含目标图像的连续多帧待处理图像通过网络传输至服务器104,服务器104中部署有训练好的特征识别模型和序列平滑模型,由服务器104执行将各帧待处理图像逐帧输入至特征识别模型中,分别输出各帧待处理图像的第一特征识别结果,将第一特征识别结果依照待处理图像的时序组成第一特征识别结果序列,服务器104将第一特征识别结果序列输入至序列平滑模型中,输出第二特征识别结果序列,从第二特征识别结果序列中,获取目标图像对应的特征识别结果,之后服务器104将获取的目标图像对应的特征识别结果返回至终端102。
图2为一个实施例中图像识别方法的流程图。本实施例中的图像识别方法,以运行于图1中的终端或服务器上为例进行描述。如图3所示,图像识别方法包括步骤220至步骤280。
步骤220,获取包含目标图像的连续多帧待处理图像;
在本申请中,待处理图像是指帧与帧之间具有时间关联,可以依照时序连续播放的图像;例如可以是视频拍摄过程中产生的预览图像,也可以是视频拍摄得到的视频图像;当待处理图像为预览图像时,则连续多帧待处理图像是指的视频拍摄过程中依照时序连续生成的多帧预览图像;而当待处理图像为视频图像时,则连续多帧待处理图像可以是视频拍摄过程中拍摄生成的连续多帧视频图像,或者也可以是终端中存储的视频文件中的连续多帧视频图像;
其中,目标图像是指的需要对其进行特征识别,获取该图像的特征识别结果的图像;目标图像可以与该目标图像之前和/或之后的多帧图像共同组成连续多帧待处理图像。以目标图像为在拍摄过程中当前帧的预览图像为例,则可以取当前帧的预览图像,以及当前帧之前的预设数目的预览图像,共同组成连续多帧待处理图像;而若目标图像为终端存储的视频文件中的某一帧视频帧,则可以取例如当前帧的视频图像,当前帧之前以及之后的预设数目的预览图像,共同组成连续多帧待处理图像等等。
以待处理图像为预览图像,目标图像为当前生成的第20帧的预览图像为例,可以设置一次识别需要获取10帧预览图像,在需要对当前第20帧的预览图像进行特征识别时,可以获取当前第20帧的预览图像以及当前帧之前的11-19帧预览图像,共同组成的11-20帧共计10帧的预览图像序列,将这10帧的预览图像序列作为获取的连续多帧待处理图像。
步骤240,将各帧待处理图像逐帧输入至特征识别模型中,分别输出各帧待处理图像的第一特征识别结果,将第一特征识别结果依照待处理图像的时序组成第一特征识别结果序列;
其中,特征识别是指的对待处理图像进行识别处理,以得出待处理图像中包含的场景、对象等信息的过程,例如可以通过特征识别获知待处理图像中包含蓝天、绿草、人物、猫、狗还是食物等等。特征识别结果是表征场景、对象等信息的标识信息,例如可以是“蓝天”、“绿草”或“人物”等的特征标签,或者也可以是编号,通过不同的编号对应不同的场景或对象,例如编号1代表蓝天,编号2代表绿草等等,又或者可以是其它形式的标识信息等等。
特征识别模型为第一训练图像和第一训练图像对应的预期特征识别结果的特征识别训练集训练的卷积神经网络模型;特征识别模型可以用于对输入的待处理图像进行特征识别,得到该待处理图像的第一特征识别结果。特征识别模型可以在服务器或终端预先训练生成,将生成的特征识别模型部署到终端中。在本申请实施例中,可以将第一预览图像输入预先部署好的特征识别模型,通过该特征识别模型分析该待处理图像属于该特征识别模型中各个预设的特征识别结果的置信概率,将该特征识别模型输出的置信概率最高的特征识别结果作为该待处理图像的第一特征识别结果。
以步骤220中获取的连续多帧待处理图像为11~20帧共计10帧预览图像为例,在此步骤中,可以分别将这10帧预览图像一帧一帧地输入训练好的特征识别模型中,每一帧输入的预览图像通过特征识别模型的识别都可以输出一帧对应的第一特征识别结果,这些输出的第一特征识别结果依照对应的预览图像的时序即可以组成一个10个第一特征识别结果的序列。例如若11~20帧预览图像中,11-13帧、15帧和20帧预览图像的第一特征识别结果均为“绿草”,14帧的预览图像的第一特征识别结果为“蓝天”,16-20帧为“人物”,则可以组成“绿草,绿草,绿草,蓝天,绿草,人物,人物,人物,人物,绿草”的第一特征识别结果序列。
步骤260,将第一特征识别结果序列输入至序列平滑模型中,输出第二特征识别结果序列;
其中,序列平滑模型为训练特征识别结果序列,以及对训练特征识别结果序列进行平滑处理生成的平滑特征识别结果序列组成的平滑训练集训练的循环神经网络模型(Recurrent Neural Networks,RNN);序列平滑模型可以用于对第一特征识别结果序列进行平滑处理,平滑修正掉该第一特征识别结果序列中偶然跳变的第一特征识别结果,得到平滑处理后的第二特征识别结果序列。序列平滑模型可以在服务器或终端预先训练生成,将生成的序列平滑模型部署到终端中。
以第一特征识别结果序列为“绿草,绿草,绿草,蓝天,绿草,人物,人物,人物,人物,绿草”为例,可以看出,其中第14帧和第20帧预览图像的第一特征识别结果出现了偶然跳变,第14帧“蓝天”的第一特征识别结果与前后的“绿草”不同,第20帧“绿草”的第一特征识别结果与之前的“人物”不同,导致对视频的特征识别不稳定,如果将该结果的提示信息显示在预览图像的显示界面中,则会导致用户看到的提示信息反复变动,给用户造成困惑。在此步骤中,可以将该第一特征识别结果序列输入至预先训练好的序列平滑模型中,经过序列平滑模型的处理,可以将其中的第14帧“蓝天”修正为“绿草”,第20帧“绿草”修正为“人物”,则可以得到平滑处理后的第二特征识别结果序列“绿草,绿草,绿草,绿草,绿草,人物,人物,人物,人物,人物”,使得输出的第二特征识别结果序列具有更好的连续性和稳定性。
步骤280,从第二特征识别结果序列中,获取目标图像对应的特征识别结果。
在第二特征识别结果序列中,包含了目标图像以及除了目标图像之外其他待处理图像对应的第二特征识别结果序列,因此,在此步骤中,需要将第二特征识别结果序列中,与目标图像对应的第二特征识别结果提取出来,作为目标图像最终的特征识别结果。
以目标图像为第20帧预览图像,第11~20帧预览图像对应的第二特征识别结果序列为“绿草,绿草,绿草,绿草,绿草,人物,人物,人物,人物,人物”为例,则在此步骤中,可以得到目标图像最终的特征识别结果为“人物”。
上述示例,均是以目标图像为第20帧预览图像,连续多帧待处理图像为11~20帧预览图像为例进行举例说明,同理地,若目标图像为第21帧预览图像,则对应的可以取连续多帧待处理图像为12~21帧预览图像,继而经过处理得到第21帧预览图像的特征识别结果,依此类推,从而可以实现对连续的每一帧目标图像的特征识别结果的识别获取。
上述图像识别方法,在需要对目标图像进行特征识别时,获取包含目标图像的连续多帧待处理图像,将待处理图像逐帧输入至特征识别模型中,分别输出各帧待处理图像的第一特征识别结果,组成第一特征识别结果序列,进一步地,将特征识别得到的第一特征识别结果序列输入至序列平滑模型中,以对第一特征识别结果序列进行平滑处理,输出平滑处理后的第二特征识别结果序列,从第二特征识别结果序列中获取目标图像对应的特征识别结果。将目标图像与该目标图像连续帧的待处理图像共同进行特征识别,并利用预设的序列平滑模型对特征识别得到的序列进行平滑处理,使得平滑处理后的目标图像的特征识别结果与该目标图像相邻帧的待处理图像的特征识别结果保持连续性,消除特征识别结果的偶然跳变,保证对连续图像例如视频图像或视频预览图像的特征识别的稳定性。
在步骤240中,用于进行特征识别的特征识别模型是已经预先训练好的,在一个实施例中,如图3所示,本实施例的图像识别方法还包括训练生成特征识别模型的步骤,具体地,训练生成特征识别模型的步骤可以包括步骤320至步骤360:
步骤320,获取多张第一训练图像以及各张第一训练图像对应的预期特征识别结果;
其中,第一训练图像是用于对卷积神经网络进行训练的图像,第一训练图像的分辨率可以根据待处理图像的分辨率而定,例如第一训练图像可以与待处理图像具有相同的分辨率,以保证训练得到的特征识别模型对待处理图像的识别准确性。第一训练图像可以通过终端上配置的摄像头拍摄获取,也可以从网络上下载得到,或者从其他终端传输而来等等。
第一训练图像对应的预期特征识别结果是第一训练图像期望被识别出的特征识别结果,其可以通过人工识别和标记的形式得到。例如可以人工识别某一张第一训练图像是“蓝天”、“绿草”或“人物”等等,以得到该第一训练图像对应的预期特征识别结果。
步骤340,生成包括第一训练图像和对应的预期特征识别结果的特征识别训练集;
在此步骤中,以每一张第一训练图像和对应的预期特征识别结果为一组特征识别组,可以生成包括多组特征识别组的特征识别训练集,其中,特征识别训练集中可以包含的特征识别组的组数可以根据实际需要设置。
以从网络上下载的拍摄图像作为第一训练图像为例,可以人工对每一张拍摄图像进行识别,并标记该张拍摄图像是“蓝天”、“绿草”或“人物”等等的特征标签,每一张拍摄图像与人工识别的对应的特征标签形成一组<拍摄图像,特征标签>的特征识别组,将设定组数的<拍摄图像,特征标签>组成特征识别训练集。
步骤360,利用特征识别训练集对卷积神经网络进行训练,得到特征识别模型。
在此步骤中,可以将前述步骤获取的特征识别训练集输入至卷积神经网络中,对卷积神经网络模型进行训练,得到训练的卷积神经网络模型参数,以生成对应的特征识别模型。
其中,用于训练的卷积神经网络模型可以具有设定的隐藏层的数目以及输入层、隐藏层和输出层各层的节点数;在对卷积神经网络模型进行训练时,可以初始化卷积神经网络的参数,参数包括各层的偏置值及边的权重等,初步得到深度学习模型。利用特征识别训练集对该深度学习模型进行前向传播和反向传播两个阶段的训练:在反向传播训练得到的误差达到期望误差值时,训练结束,得到训练的卷积神经网络模型参数,根据训练的卷积神经网络模型参数生成对应的特征识别模型。
上述实施例的技术方案,可以快速实现对卷积神经网络模型的训练,得到训练生成的特征识别模型,用于对输入的待处理图像进行特征识别。
在步骤260中,用于对序列进行平滑处理的序列平滑模型是已经预先训练好的,在一个实施例中,如图4所示,本实施例的图像识别方法还包括训练生成序列平滑模型的步骤;训练生成序列平滑模型的步骤,包括步骤420至步骤480:
步骤420,获取连续多帧第二训练图像对应的训练特征识别结果序列;
其中,第二训练图像是用于对循环神经网络进行训练的图像,连续多帧第二训练图像可以通过终端上配置的摄像头拍摄获取,也可以从网络上下载得到,或者从其他终端传输而来等等。
第二训练图像对应的训练特征识别结果是对第二训练图像进行特征识别出的特征识别结果,可以通过对连续多帧第二训练图像的每一帧第二训练图像进行人工识别得到,将各个帧第二训练图像识别的特征识别结果依照第二训练图像的时序排列得到训练特征识别结果序列;也可以通过将待处理图像序列中的每一张待处理图像分别输入至预设的特征识别模型中,分别输出每一张待处理图像对应的特征识别结果,将输出的各个每一张待处理图像对应的特征识别结果依照待处理图像的时序排列得到训练特征识别结果序列。
步骤440,对训练特征识别结果序列进行平滑处理,得到平滑特征识别结果序列;
在此步骤中,可以对得到的训练特征识别结果序列进行平滑处理,将训练特征识别结果序列中产生偶然跳变的训练特征识别结果进行平滑修正,得到平滑处理后的平滑特征识别结果序列。具体地,如果得到的训练特征识别结果序列中有一个或者多个训练特征识别结果产生了偶然跳变,则对每个产生偶然跳变的特征识别结果进行平滑修正,得到平滑处理后的平滑特征识别结果序列;而如果得到的训练特征识别结果序列中没有产生偶然跳变,则该训练特征识别结果序列可以直接作为平滑处理后的平滑特征识别结果序列,无论训练特征识别结果序列是否出现跳变,经过本步骤440的平滑处理后,可以得到平滑的、没有跳变的平滑特征识别结果序列。
对于训练特征识别结果序列进行平滑处理,可以采用不同的方式,例如可以通过人工调整的方式进行平滑处理,将每一个训练特征识别结果序列的样本中跳变的训练特征识别结果进行手动修正,例如若训练特征识别结果序列为“绿草,绿草,绿草,蓝天,绿草,人物,人物,人物,人物,绿草”,则可以将其手动修正为“绿草,绿草,绿草,绿草,绿草,人物,人物,人物,人物,人物”,得到平滑处理后的平滑特征识别结果序列;而又例如若训练特征识别结果序列为“绿草,绿草,绿草,绿草,绿草,人物,人物,人物,人物,人物”,则由于该序列中未出现偶然跳变的训练特征识别结果,则可以直接将“绿草,绿草,绿草,绿草,绿草,人物,人物,人物,人物,人物”作为平滑处理后的平滑特征识别结果序列。而在其他实施例中,还可以通过设置合适的平滑处理方法,对训练特征识别结果序列进行批量化的平滑处理,以更高效地实现对训练特征识别结果序列进行平滑处理,得到平滑特征识别结果序列的步骤。
步骤460,生成包括训练特征识别结果序列和对应的平滑特征识别结果序列的平滑序列训练集;
在此步骤中,以每一个训练特征识别结果序列和对应的平滑特征识别结果序列为一组平滑训练组,可以生成包括多组平滑训练组的平滑序列训练集,其中,平滑序列训练集中可以包含的平滑训练组的组数可以根据实际需要设置。
步骤480,利用平滑序列训练集对循环神经网络进行训练,得到序列平滑模型。
在此步骤中,可以将获取的平滑序列训练集输入至循环神经网络模型中,对循环神经网络模型进行训练,得到训练的循环神经网络模型参数,以生成对应的序列平滑模型。
其中,用于训练的循环神经网络模型可以具有设定的隐藏层的数目以及输入层、隐藏层和输出层各层的节点数;在对循环神经网络模型进行训练时,可以初始化循环神经网络模型的参数,参数包括各层的偏置值及边的权重等,初步得到序列平滑模型。利用平滑序列训练集对该序列平滑模型进行前向传播和反向传播的训练,在反向传播训练得到的误差达到期望误差值时,训练结束,得到训练的循环神经网络模型参数,根据训练的循环神经网络模型参数生成对应的序列平滑模型。
上述实施例的技术方案,通过对循环神经网络模型的训练,利用循环神经网络具有的时序特性,将生成的包括训练特征识别结果序列和对应的平滑特征识别结果序列的平滑序列训练集输入循环神经网络进行训练,得到训练生成的序列平滑模型,用于对输入的第一特征识别结果序列进行平滑处理,输出平滑修正后的第二特征识别结果序列。
在一个实施例中,如图5所示,步骤440对训练特征识别结果序列进行平滑处理,得到平滑特征识别结果序列,包括步骤441至步骤445:
步骤441,将训练特征识别结果序列中的每一个训练特征识别结果依照第二训练图像的时序依次列入第一队列中;
如图6所示,以1~10帧训练图像识别的训练特征识别结果序列为“绿草,绿草,绿草,蓝天,绿草,人物,人物,人物,人物,绿草”为例,则可以依照1~10帧的先后顺序,依次将“绿草”,“绿草”,“绿草”,“蓝天”,“绿草”,“人物”,“人物”,“人物”,“人物”,“绿草”列入第一队列中。
其中,在步骤441中将每一个训练特征识别结果列入第一队列中时,均执行如下步骤442-步骤444。
步骤442,在将每一个训练特征识别结果列入第一队列时,获取排列在当前列入的训练特征识别结果之前的第一预设数量的训练特征识别结果中,与当前列入的训练特征识别结果相同的训练特征识别结果的数量,获取所述数量与第一预设数量的比值;
其中,所述排列在当前列入的训练特征识别结果之前的第一预设数量的训练特征识别结果,可以包括当前列入的训练特征识别结果,也可以不包括当前列入的训练特征识别结果。如图6所示,同样以1~10帧训练图像识别的训练特征识别结果序列为“绿草,绿草,绿草,蓝天,绿草,人物,人物,人物,人物,绿草”为例,在步骤441将每一个训练特征识别结果列入第一队列中时,获取排列在当前列入的训练特征识别结果之前的第一预设数量的训练特征识别结果中,与当前列入的训练特征识别结果相同的训练特征识别结果的数量,获取所述数量与第一预设数量的比值;
具体地,以第一预设数量为4,排列在当前列入的训练特征识别结果之前的第一预设数量的训练特征识别结果包括当前列入的训练特征识别结果为例,在将第1帧的训练特征识别结果“绿草”列入第一队列中时,“绿草”在第一队列中当前帧训练图像之前的4帧训练图像中(不足4帧则取第一队列中全部帧)占据的比值是1/1=100%,第2帧的训练特征识别结果“绿草”列入第一队列中时,第2帧的“绿草”在第一队列中当前帧训练图像之前的4帧训练图像中占据的比值是2/2=100%,同理地,第3帧的训练特征识别结果“绿草”对应的比值3/3=100%,第4帧的训练特征识别结果“蓝天”对应的比值1/4=25%;对于第5帧的训练特征识别结果“绿草”,排在“绿草”之前(包括当前列入的“绿草”)的4个训练特征识别结果分别是“绿草,绿草,蓝天,绿草”,因此对应的“绿草”在其中占据的比值为3/4=75%,同理地,第6帧的训练特征识别结果“人物”对应的比值1/4=25%,第7帧的训练特征识别结果“人物”对应的比值2/4=50%,第8帧的训练特征识别结果“人物”对应的比值3/4=75%,第9帧的训练特征识别结果“人物”对应的比值4/4=100%,第10帧的训练特征识别结果“绿草”对应的比值1/4=25%。
步骤443,若比值不小于比值阈值,则将当前列入的训练特征识别结果作为平滑特征识别结果列入第二队列中;
如图6所示,同样以1~10帧训练图像识别的训练特征识别结果序列为“绿草,绿草,绿草,蓝天,绿草,人物,人物,人物,人物,绿草”,第一预设数量为4,比值阈值为30%为例,步骤442中获取的第1-3帧对应的比值100%,第5帧对应的比值75%,第7帧对应的比值50%,第8帧对应的比值75%,第9帧对应的比值100%,这些帧对应的比值均不小于比值阈值30%,则不需要进行平滑修正,可以将这些帧的训练特征识别结果直接列入第二队列中,如图6所示,列入第二队列中的第1-3帧、第5帧、第7-9帧的平滑特征识别结果与第一队列中对应帧的训练特征识别结果相同。
步骤444,若比值小于比值阈值,则对当前列入的训练特征识别结果进行平滑修正得到平滑特征识别结果,将平滑特征识别结果列入第二队列中;
如图6所示,同样以1~10帧训练图像识别的训练特征识别结果序列为“绿草,绿草,绿草,蓝天,绿草,人物,人物,人物,人物,绿草”,第一预设数量为4,比值阈值为30%为例,步骤442中获取的第4帧对应的比值25%,第6帧对应的比值25%,第10帧对应的比值25%,这些帧对应的比值小于比值阈值30%,则需要进行平滑修正,如图6所示,可以将第4帧的训练特征识别结果“蓝天”修正为“绿草”,将修正后的“绿草”作为对应的平滑场景识别特征识别结果列入第二队列中;将第6帧的训练特征识别结果“人物”修正为“绿草”,将修正后的“绿草”作为对应的平滑场景识别特征识别结果列入第二队列中;将第10帧的训练特征识别结果“绿草”修正为“人物”,将修正后的“人物”作为对应的平滑场景识别特征识别结果列入第二队列中。步骤445,获取第二队列作为平滑特征识别结果序列。
在上述步骤441-步骤444中,步骤441中将每一个训练特征识别结果列入第一队列中时,均执行步骤442-步骤444的过程将得到的平滑场景识别特征识别结果列入第二队列中,直至完成对训练特征识别结果序列中每一个训练特征识别结果执行步骤442-步骤444的处理,经过这些处理,第二队列中列入了每一个训练特征识别结果对应的平滑场景识别特征识别结果,则在此步骤445中,可以获取第二队列作为平滑特征识别结果序列。
如图6所示,同样以1~10帧训练图像识别的训练特征识别结果序列为“绿草,绿草,绿草,蓝天,绿草,人物,人物,人物,人物,绿草”,第一预设数量为4,比值阈值为30%为例,在通过上述步骤441-步骤444完成对训练场景识别特征识别结果序列中所有训练场景识别特征识别结果的处理后,将得到的第二队列“绿草,绿草,绿草,绿草,绿草,绿草,人物,人物,人物,人物”作为平滑场景识别特征识别结果序列。
上述实施例的技术方案,利用第一队列依照时序保存原始的训练特征识别结果,利用第二队列存储平滑修正后的平滑特征识别结果,根据每一个训练特征识别结果在列入的第一队列中占据的比值,将比值小于比值阈值的训练特征识别结果识别为偶然跳变的训练特征识别结果并对其进行平滑修正。在更新修正后的第二队列时,保留原始的第一队列用于后续训练特征识别结果的偶然跳变识别比对,可以准确高效地完成对训练特征识别结果序列的平滑处理。
进一步地,在一个实施例中,步骤444则对当前列入的训练特征识别结果进行平滑修正得到平滑特征识别结果,包括:
获取在第一队列中,排列在当前列入的训练特征识别结果之前的第二预设数量的训练特征识别结果;获取第二预设数量的训练特征识别结果中占比最高的训练特征识别结果;将占比最高的训练特征识别结果作为对当前列入的训练特征识别结果进行平滑修正得到的平滑特征识别结果。
同样以1~10帧训练图像识别的训练特征识别结果序列为“绿草,绿草,绿草,蓝天,绿草,人物,人物,人物,人物,绿草”,第二预设数量取4为例,对于其中第4帧训练图像对应的训练特征识别结果“蓝天”需要进行平滑修正,则可以得到第一队列中排列在“蓝天”之前(可以包括“蓝天”)的4个训练特征识别结果“绿草”,“绿草”,“绿草”,“蓝天”中占比最高的是“绿草”,则可以将“蓝天”修正为“绿草”,将修正后的“绿草”作为对应的平滑特征识别结果列入第二队列中。
上述实施例的技术方案,获取排列在当前列入的训练特征识别结果之前的第二预设数量的训练特征识别结果中占比最高的训练特征识别结果,作为对当前列入的训练特征识别结果进行平滑修正得到的平滑特征识别结果,可以快速而简单地对需要修正的训练特征识别结果进行平滑修正。
在一个实施例中,从第二特征识别结果序列中,获取目标图像对应的特征识别结果之后,还包括:根据目标图像的特征识别结果,在预设的特征识别结果库中查询特征识别结果对应的特征标记图;在显示界面显示目标图像时,在目标图像上的预设位置显示特征标记图。
其中,特征识别结果库可以预先存储有不同的特征识别结果所对应的特征标记图的信息。所述预设位置可以根据实际需要设置,例如可以是在目标图像靠近边缘或角落的任意位置。
其中,目标图像可以是预览图像或者视频图像,若为预览图像,则可以在显示预览图像的同时显示对应的特征标记图,而若为视频图像,则可以在播放对应的视频文件时,在该帧视频图像上显示对应的特征标记图。
以目标图像为当前帧的预览图像为例,如图7所示,图7为一个实施例中特征标记图的显示示意图,以图7为例,用户点击摄像按钮701,终端进入摄像状态,在显示界面显示的当前帧的预览图像710中包含一只狗711的图像信息,终端对当前帧的预览图像710进行特征识别,识别出当前帧的预览图像710对应的特征识别结果为“狗”,则在预设的特征识别结果库中查询特征识别结果“狗”对应的特征标记图712,在当前帧的预览图像710的左上角显示该特征标记图712,提示用户当前识别的拍摄画面中检测到狗的拍摄对象。
上述实施例的技术方案,在显示界面显示目标图像时,在目标图像上的预设位置显示特征标记图,通过特征标记图的显示,提醒用户当前目标图像中所具有的特征信息,以特征标记图的形式进行显示,相较于特征标签的显示更加美观。
在一个实施例中,如图8所示,从第二特征识别结果序列中,获取目标图像对应的特征识别结果之后,还包括:
步骤820,根据特征识别结果,在预设的图像参数库中查询特征识别结果对应的图像调整参数;其中,图像参数库中可以预先存储有不同的特征识别结果所对应的图像调整参数。
步骤840,根据图像调整参数,对目标图像进行调整,得到目标调整图像;
步骤860,将目标图像替换为目标调整图像。
其中,目标图像可以是预览图像或者视频图像,若为当前帧的预览图像,则可以根据查找的图像调整参数,对预览图像进行调整得到调整后预览调整图像,并将当前帧的预览图像替换为调整后预览调整图像进行显示,使得调整后的显示界面中显示的预览调整图像具有更好的显示效果;而若为视频图像,则可以根据查找的图像调整参数,对视频图像进行调整得到调整后视频调整图像,并将视频文件中的该视频图像替换为调整后视频调整图像进行存储,同样可以使得调整后的视频文件具有更好的显示效果。例如若检测到目标图像为“蓝天”,则可以通过图像参数的调整对目标图像进行美化,使得目标图像中的“蓝天”更蓝等等。
上述实施例的技术方案,根据特征识别结果获取对应的图像调整参数,根据图像调整参数对目标图像进行调整,将目标图像替换为调整后的目标调整图像。可以使得调整后的目标图像具有更好的显示效果。
应该理解的是,虽然图2-5和图8的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-6和图8中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
图9为一个实施例中图像识别装置的结构框图。如图9所示,图像识别装置900包括:
图像获取模块910,用于获取包含目标图像的连续多帧待处理图像;
特征识别模块920,用于将各帧待处理图像逐帧输入至特征识别模型中,分别输出各帧待处理图像的第一特征识别结果,将第一特征识别结果依照待处理图像的时序组成第一特征识别结果序列;
序列平滑模块930,用于将第一特征识别结果序列输入至序列平滑模型中,输出第二特征识别结果序列;
识别结果获取模块940,用于从第二特征识别结果序列中,获取目标图像对应的特征识别结果。
在一个实施例中,如图10所示,图像识别装置900还包括特征识别模型训练模块1000,特征识别模型训练模块1000包括:
预期结果获取模块1010,用于获取多张第一训练图像以及各张第一训练图像对应的预期特征识别结果;
特征识别训练集生成模块1020,用于生成包括第一训练图像和对应的预期特征识别结果的特征识别训练集;
特征识别模型生成模块1030,用于利用特征识别训练集对卷积神经网络进行训练,得到特征识别模型。
在一个实施例中,如图11所示,图像识别装置900还包括序列平滑模型训练模块1100,序列平滑模型训练模块1100包括:
训练序列获取模块1110,用于获取连续多帧第二训练图像对应的训练特征识别结果序列;
平滑处理模块1120,用于对训练特征识别结果序列进行平滑处理,得到平滑特征识别结果序列;
平滑序列训练集生成模块1130,用于生成包括训练特征识别结果序列和对应的平滑特征识别结果序列的平滑序列训练集;
序列平滑模型生成模块1140,用于利用平滑序列训练集对循环神经网络进行训练,得到序列平滑模型。
在一个实施例中,如图12所示,平滑处理模块1120,包括:
第一队列模块1121,用于将训练特征识别结果序列中的每一个训练特征识别结果依照第二训练图像的时序依次列入第一队列中;
比值计算模块1122,用于在将每一个训练特征识别结果列入第一队列时,获取排列在当前列入的训练特征识别结果之前的第一预设数量的训练特征识别结果中,与当前列入的训练特征识别结果相同的训练特征识别结果的数量,获取所述数量与第一预设数量的比值;
第二队列模块1123,用于若比值不小于比值阈值,则将当前列入的训练特征识别结果作为平滑特征识别结果列入第二队列中;
第二队列修正模块1124,用于若比值小于比值阈值,则对当前列入的训练特征识别结果进行平滑修正得到平滑特征识别结果,将平滑特征识别结果列入第二队列中;
平滑序列生成模块1125,用于获取第二队列作为平滑特征识别结果序列。
在一个实施例中,第二队列修正模块1124在对当前列入的训练特征识别结果进行平滑修正得到平滑特征识别结果时,进一步用于:获取在第一队列中,排列在当前列入的训练特征识别结果之前的第二预设数量的训练特征识别结果;获取第二预设数量的训练特征识别结果中占比最高的训练特征识别结果;将占比最高的训练特征识别结果作为对当前列入的训练特征识别结果进行平滑修正得到的平滑特征识别结果。
在一个实施例中,如图13所示,图像识别装置900还包括:
特征标记图显示模块950,用于根据目标图像的特征识别结果,在预设的特征识别结果库中查询特征识别结果对应的特征标记图;在显示界面显示目标图像时,在目标图像上的预设位置显示特征标记图。
在一个实施例中,如图14所示,图像识别装置900还包括:
目标图像调整模块960,用于根据特征识别结果,在预设的图像参数库中查询特征识别结果对应的图像调整参数;根据图像调整参数,对目标图像进行调整,得到目标调整图像;将所述目标图像替换为目标调整图像。
上述图像识别装置中各个模块的划分仅用于举例说明,在其他实施例中,可将图像识别装置按照需要划分为不同的模块,以完成上述图像识别装置的全部或部分功能。
关于图像识别装置的具体限定可以参见上文中对于图像识别方法的限定,在此不再赘述。上述图像识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
本申请实施例还提供了一种电子设备。如图15所示,为了便于说明,仅示出了与本申请实施例相关的部分,具体技术细节未揭示的,请参照本申请实施例方法部分。该电子设备可以为包括手机、平板电脑、PDA(Personal Digital Assistant,个人数字助理)、POS(Point of Sales,销售终端)、车载电脑、穿戴式设备等任意终端设备,以电子设备为手机为例:
图15为与本申请实施例提供的电子设备相关的手机的部分结构的框图。参考图15,手机包括:射频(Radio Frequency,RF)电路1510、存储器1520、输入单元1530、显示单元1540、传感器1550、音频电路1560、无线保真(wireless fidelity,WiFi)模块1570、处理器1580、以及电源1590等部件。本领域技术人员可以理解,图15所示的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
其中,RF电路1510可用于收发信息或通话过程中,信号的接收和发送,可将基站的下行信息接收后,给处理器1580处理;也可以将上行的数据发送给基站。通常,RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier,LNA)、双工器等。此外,RF电路1510还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(Global System ofMobile communication,GSM)、通用分组无线服务(General Packet Radio Service,GPRS)、码分多址(Code Division Multiple Access,CDMA)、宽带码分多址(Wideband CodeDivision Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE))、电子邮件、短消息服务(Short Messaging Service,SMS)等。
存储器1520可用于存储软件程序以及模块,处理器1580通过运行存储在存储器1520的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器1520可主要包括程序存储区和数据存储区,其中,程序存储区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能的应用程序、图像播放功能的应用程序等)等;数据存储区可存储根据手机的使用所创建的数据(比如音频数据、通讯录等)等。此外,存储器1520可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1530可用于接收输入的数字或字符信息,以及产生与手机1500的用户设置以及功能控制有关的键信号输入。具体地,输入单元1530可包括触控面板1531以及其他输入设备1532。触控面板1531,也可称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1531上或在触控面板1531附近的操作),并根据预先设定的程式驱动相应的连接装置。在一个实施例中,触控面板1531可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1580,并能接收处理器1580发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1531。除了触控面板1531,输入单元1530还可以包括其他输入设备1532。具体地,其他输入设备1532可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)等中的一种或多种。
显示单元1540可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1540可包括显示面板1541。在一个实施例中,可以采用液晶显示器(Liquid Crystal Display,LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板1541。在一个实施例中,触控面板1531可覆盖显示面板1541,当触控面板1531检测到在其上或附近的触摸操作后,传送给处理器1580以确定触摸事件的类型,随后处理器1580根据触摸事件的类型在显示面板1541上提供相应的视觉输出。虽然在图15中,触控面板1531与显示面板1541是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板1531与显示面板1541集成而实现手机的输入和输出功能。
手机1500还可包括至少一种传感器1550,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1541的亮度,接近传感器可在手机移动到耳边时,关闭显示面板1541和/或背光。运动传感器可包括加速度传感器,通过加速度传感器可检测各个方向上加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换)、振动识别相关功能(比如计步器、敲击)等;此外,手机还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器等。
音频电路1560、扬声器1561和传声器1562可提供用户与手机之间的音频接口。音频电路1560可将接收到的音频数据转换后的电信号,传输到扬声器1561,由扬声器1561转换为声音信号输出;另一方面,传声器1562将收集的声音信号转换为电信号,由音频电路1560接收后转换为音频数据,再将音频数据输出处理器1580处理后,经RF电路1510可以发送给另一手机,或者将音频数据输出至存储器1520以便后续处理。
WiFi属于短距离无线传输技术,手机通过WiFi模块1570可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图15示出了WiFi模块1570,但是可以理解的是,其并不属于手机1500的必须构成,可以根据需要而省略。
处理器1580是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1520内的软件程序和/或模块,以及调用存储在存储器1520内的数据,执行手机的各种功能和处理数据,从而对手机进行整体监控。在一个实施例中,处理器1580可包括一个或多个处理单元。在一个实施例中,处理器1580可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等;调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1580中。
手机1500还包括给各个部件供电的电源1590(比如电池),优选的,电源可以通过电源管理系统与处理器1580逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
在一个实施例中,手机1500还可以包括摄像头、蓝牙模块等。
在本申请实施例中,该电子设备所包括的处理器1580执行存储在存储器上的计算机程序时实现如上任意一个实施例的图像识别方法的步骤。
本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质,当所述计算机可执行指令被一个或多个处理器执行时,使得所述处理器执行如上任意一个实施例的图像识别方法的步骤。
一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行图像识别方法的步骤。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM),它用作外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种图像识别方法,其特征在于,包括:
获取包含目标图像的连续多帧待处理图像;
将各帧所述待处理图像逐帧输入至特征识别模型中,分别输出各帧待处理图像的第一特征识别结果,将所述第一特征识别结果依照所述待处理图像的时序组成第一特征识别结果序列;
将所述第一特征识别结果序列输入至序列平滑模型中,输出第二特征识别结果序列;
从所述第二特征识别结果序列中,获取所述目标图像对应的特征识别结果。
2.根据权利要求1所述的图像识别方法,其特征在于,所述方法还包括训练生成特征识别模型的步骤;所述训练生成特征识别模型的步骤,包括:
获取多张第一训练图像以及各张所述第一训练图像对应的预期特征识别结果;
生成包括所述第一训练图像和对应的预期特征识别结果的特征识别训练集;
利用所述特征识别训练集对卷积神经网络进行训练,得到特征识别模型。
3.根据权利要求1所述的图像识别方法,其特征在于,所述方法还包括训练生成序列平滑模型的步骤;所述训练生成序列平滑模型的步骤,包括:
获取连续多帧第二训练图像对应的训练特征识别结果序列;
对所述训练特征识别结果序列进行平滑处理,得到平滑特征识别结果序列;
生成包括所述训练特征识别结果序列和对应的平滑特征识别结果序列的平滑序列训练集;
利用所述平滑序列训练集对循环神经网络进行训练,得到序列平滑模型。
4.根据权利要求3所述的图像识别方法,其特征在于,所述对所述训练特征识别结果序列进行平滑处理,得到平滑特征识别结果序列,包括:
将训练特征识别结果序列中的每一个训练特征识别结果依照所述第二训练图像的时序依次列入第一队列中;
在将每一个训练特征识别结果列入第一队列时,获取排列在当前列入的训练特征识别结果之前的第一预设数量的训练特征识别结果中,与当前列入的训练特征识别结果相同的训练特征识别结果的数量,获取所述数量与第一预设数量的比值;
若所述比值不小于比值阈值,则将当前列入的训练特征识别结果作为平滑特征识别结果列入第二队列中;
若所述比值小于比值阈值,则对当前列入的训练特征识别结果进行平滑修正得到平滑特征识别结果,将所述平滑特征识别结果列入第二队列中;
获取所述第二队列作为平滑特征识别结果序列。
5.根据权利要求4所述的图像识别方法,其特征在于,所述则对当前列入的训练特征识别结果进行平滑修正得到平滑特征识别结果,包括:
获取在所述第一队列中,排列在当前列入的训练特征识别结果之前的第二预设数量的训练特征识别结果;
获取所述第二预设数量的训练特征识别结果中占比最高的训练特征识别结果;
将占比最高的所述训练特征识别结果作为对当前列入的训练特征识别结果进行平滑修正得到的平滑特征识别结果。
6.根据权利要求1至5任一项所述的图像识别方法,其特征在于,所述从所述第二特征识别结果序列中,获取所述目标图像对应的特征识别结果之后,还包括:
根据目标图像的特征识别结果,在预设的特征识别结果库中查询所述特征识别结果对应的特征标记图;
在显示界面显示所述目标图像时,在所述目标图像上的预设位置显示所述特征标记图。
7.根据权利要求1至5任一项所述的图像识别方法,其特征在于,所述从所述第二特征识别结果序列中,获取所述目标图像对应的特征识别结果之后,还包括:
根据所述特征识别结果,在预设的图像参数库中查询所述特征识别结果对应的图像调整参数;
根据所述图像调整参数,对所述目标图像进行调整,得到目标调整图像;
将所述目标图像替换为目标调整图像。
8.一种图像识别装置,其特征在于,包括:
图像获取模块,用于获取包含目标图像的连续多帧待处理图像;
特征识别模块,用于将各帧待处理图像逐帧输入至特征识别模型中,分别输出各帧待处理图像的第一特征识别结果,将第一特征识别结果依照待处理图像的时序组成第一特征识别结果序列;
序列平滑模块,用于将第一特征识别结果序列输入至序列平滑模型中,输出第二特征识别结果序列;
识别结果获取模块,用于从第二特征识别结果序列中,获取目标图像对应的特征识别结果。
9.一种电子设备,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1至7中任一项所述的图像识别方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的图像识别方法的步骤。
CN201811133978.XA 2018-09-27 2018-09-27 图像识别方法和装置、电子设备、计算机可读存储介质 Active CN109409235B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811133978.XA CN109409235B (zh) 2018-09-27 2018-09-27 图像识别方法和装置、电子设备、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811133978.XA CN109409235B (zh) 2018-09-27 2018-09-27 图像识别方法和装置、电子设备、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN109409235A true CN109409235A (zh) 2019-03-01
CN109409235B CN109409235B (zh) 2020-11-24

Family

ID=65465362

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811133978.XA Active CN109409235B (zh) 2018-09-27 2018-09-27 图像识别方法和装置、电子设备、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109409235B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287810A (zh) * 2019-06-04 2019-09-27 北京字节跳动网络技术有限公司 车门动作检测方法、装置和计算机可读存储介质
CN111083424A (zh) * 2019-11-25 2020-04-28 视联动力信息技术股份有限公司 音视频加密传输方法、装置、电子设备及存储介质
CN111860225A (zh) * 2020-06-30 2020-10-30 北京百度网讯科技有限公司 一种图像处理的方法、装置、电子设备及存储介质
CN113108807A (zh) * 2021-06-16 2021-07-13 禾美(浙江)汽车股份有限公司 一种自动驾驶路径规划方法及其可读存储介质
CN115525181A (zh) * 2022-11-28 2022-12-27 深圳飞蝶虚拟现实科技有限公司 3d内容的制作方法、装置、电子设备及存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070288407A1 (en) * 2006-03-30 2007-12-13 Ryunosuke Nishimoto Information-processing apparatus, method of processing information, learning device and learning method
CN103995889A (zh) * 2014-06-03 2014-08-20 广东欧珀移动通信有限公司 图片分类方法及装置
CN104463142A (zh) * 2014-12-26 2015-03-25 中科创达软件股份有限公司 一种基于人脸图像的性别识别方法及装置
CN107341820A (zh) * 2017-07-03 2017-11-10 郑州轻工业学院 一种融合Cuckoo搜索和KCF的突变运动目标跟踪方法
CN107491479A (zh) * 2017-07-05 2017-12-19 上海大学 一种基于本体库的标签管理方法
CN108038837A (zh) * 2017-12-08 2018-05-15 苏州科达科技股份有限公司 视频中目标检测方法及系统
CN108090402A (zh) * 2016-11-22 2018-05-29 上海银晨智能识别科技有限公司 一种基于循环神经网络的视频人脸识别方法及系统
CN108198177A (zh) * 2017-12-29 2018-06-22 广东欧珀移动通信有限公司 图像获取方法、装置、终端及存储介质
CN108401112A (zh) * 2018-04-23 2018-08-14 Oppo广东移动通信有限公司 图像处理方法、装置、终端及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070288407A1 (en) * 2006-03-30 2007-12-13 Ryunosuke Nishimoto Information-processing apparatus, method of processing information, learning device and learning method
CN103995889A (zh) * 2014-06-03 2014-08-20 广东欧珀移动通信有限公司 图片分类方法及装置
CN104463142A (zh) * 2014-12-26 2015-03-25 中科创达软件股份有限公司 一种基于人脸图像的性别识别方法及装置
CN108090402A (zh) * 2016-11-22 2018-05-29 上海银晨智能识别科技有限公司 一种基于循环神经网络的视频人脸识别方法及系统
CN107341820A (zh) * 2017-07-03 2017-11-10 郑州轻工业学院 一种融合Cuckoo搜索和KCF的突变运动目标跟踪方法
CN107491479A (zh) * 2017-07-05 2017-12-19 上海大学 一种基于本体库的标签管理方法
CN108038837A (zh) * 2017-12-08 2018-05-15 苏州科达科技股份有限公司 视频中目标检测方法及系统
CN108198177A (zh) * 2017-12-29 2018-06-22 广东欧珀移动通信有限公司 图像获取方法、装置、终端及存储介质
CN108401112A (zh) * 2018-04-23 2018-08-14 Oppo广东移动通信有限公司 图像处理方法、装置、终端及存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287810A (zh) * 2019-06-04 2019-09-27 北京字节跳动网络技术有限公司 车门动作检测方法、装置和计算机可读存储介质
CN110287810B (zh) * 2019-06-04 2021-05-25 北京字节跳动网络技术有限公司 车门动作检测方法、装置和计算机可读存储介质
CN111083424A (zh) * 2019-11-25 2020-04-28 视联动力信息技术股份有限公司 音视频加密传输方法、装置、电子设备及存储介质
CN111083424B (zh) * 2019-11-25 2023-04-07 视联动力信息技术股份有限公司 音视频加密传输方法、装置、电子设备及存储介质
CN111860225A (zh) * 2020-06-30 2020-10-30 北京百度网讯科技有限公司 一种图像处理的方法、装置、电子设备及存储介质
CN111860225B (zh) * 2020-06-30 2023-12-12 阿波罗智能技术(北京)有限公司 一种图像处理的方法、装置、电子设备及存储介质
CN113108807A (zh) * 2021-06-16 2021-07-13 禾美(浙江)汽车股份有限公司 一种自动驾驶路径规划方法及其可读存储介质
CN113108807B (zh) * 2021-06-16 2021-08-31 禾美(浙江)汽车股份有限公司 一种自动驾驶路径规划方法及其可读存储介质
CN115525181A (zh) * 2022-11-28 2022-12-27 深圳飞蝶虚拟现实科技有限公司 3d内容的制作方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN109409235B (zh) 2020-11-24

Similar Documents

Publication Publication Date Title
CN109409235A (zh) 图像识别方法和装置、电子设备、计算机可读存储介质
CN107948543A (zh) 一种视频特效处理方法及装置
CN108270966A (zh) 一种调整补光亮度的方法、移动终端及存储介质
CN107682627A (zh) 一种拍摄参数设置方法、移动终端及计算机可读存储介质
CN109327657A (zh) 一种基于摄像头的拍照搜题方法及家教设备
CN107194963A (zh) 一种双摄像头图像处理方法及终端
CN107690065A (zh) 一种白平衡校正方法、装置及计算机可读存储介质
CN107493426A (zh) 一种信息采集方法、设备和计算机可读存储介质
CN106851119B (zh) 一种图片生成的方法和设备以及移动终端
CN107948530A (zh) 一种图像处理方法、终端及计算机可读存储介质
CN107730433A (zh) 一种拍摄处理方法、终端及计算机可读存储介质
CN107944022A (zh) 图片分类方法、移动终端及计算机可读存储介质
CN110209245A (zh) 人脸识别方法及相关产品
CN107404618A (zh) 一种拍摄方法及终端
CN107682630A (zh) 双摄像头防抖方法、移动终端及计算机可读存储介质
CN107493442A (zh) 一种编辑视频的方法和装置
CN107483804A (zh) 一种拍摄方法、移动终端及计算机可读存储介质
CN107688429A (zh) 应用控件的管理方法、移动终端和计算机可读存储介质
CN107566735A (zh) 一种双摄像头对焦方法、移动终端以及计算机可读存储介质
CN107613206A (zh) 一种图像处理方法、移动终端及计算机可读存储介质
CN107818022A (zh) 应用程序接口合并方法、移动终端及计算机可读存储介质
CN108307105A (zh) 一种拍摄方法、终端及计算机可读存储介质
CN107563316A (zh) 一种拍摄方法、终端及计算机可读存储介质
CN108184106A (zh) 图像处理方法、移动终端及计算机可读存储介质
CN108024013A (zh) 屏幕控制方法、终端及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant