CN108229523A - 图像检测、神经网络训练方法、装置和电子设备 - Google Patents

图像检测、神经网络训练方法、装置和电子设备 Download PDF

Info

Publication number
CN108229523A
CN108229523A CN201710239189.3A CN201710239189A CN108229523A CN 108229523 A CN108229523 A CN 108229523A CN 201710239189 A CN201710239189 A CN 201710239189A CN 108229523 A CN108229523 A CN 108229523A
Authority
CN
China
Prior art keywords
feature
result
layer
image
feature extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710239189.3A
Other languages
English (en)
Other versions
CN108229523B (zh
Inventor
任思捷
陈晓濠
刘建博
孙文秀
严琼
徐立
戴宇荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201710239189.3A priority Critical patent/CN108229523B/zh
Publication of CN108229523A publication Critical patent/CN108229523A/zh
Application granted granted Critical
Publication of CN108229523B publication Critical patent/CN108229523B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6217Design or setup of recognition systems and techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06K9/6256Obtaining sets of training patterns; Bootstrap methods, e.g. bagging, boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/62Methods or arrangements for recognition using electronic means
    • G06K9/6288Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion
    • G06K9/629Fusion techniques, i.e. combining data from various sources, e.g. sensor fusion of extracted features

Abstract

本发明实施例提供了一种图像检测方法、装置和电子设备,以及,一种神经网络训练方法、装置和电子设备。其中,图像检测方法包括:获取待检测图像的多个特征图,其中,多个特征图的分辨率不同;通过神经网络包括的至少一个特征改善层中的每个特征改善层按照分辨率从高到低的顺序依次对多个特征图进行特征提取,将每次特征提取的结果与相邻的后一特征图和/或前一特征图进行特征融合,生成对应的多个特征改善图;使用生成的各特征改善图进行图像检测。通过本发明实施例,可以更为准确地确定待检测图像中的目标对象的位置和信息,以进行高效、精准的图像检测。

Description

图像检测、神经网络训练方法、装置和电子设备
技术领域
[0001] 本发明实施例涉及人工智能技术领域,尤其涉及一种图像检测方法、装置和电子 设备,以及,一种神经网络训练方法、装置和电子设备。
背景技术
[0002] 神经网络是用于计算机视觉和模式识别的一个重要的研宄领域,它通过计算机仿 照生物大脑思维启发进行类似人类对特定对象的信息处理。通过神经网络如卷积神经网 络,能够有效地进行图像检测,从中检测和识别出目标对象。
[0003] 目前的一种基于传统卷积神经网络的图像检测方法首先通过卷积神经网络产生 候选区域,然后再基于候选区域进一步通过卷积神经网络进行目标对象检测。基于传统卷 积神经网络自身结构的局限,该传统的图像检测方法对候选区域的定位精度较低,产生的 候选结果不准确,进而导致目标对象检测的不准确。
发明内容
[0004]本发明实施例提供了一种图像检测方案和一种神经网络训练方案。
[0005]根据本发明实施例的第一方面,提供了一种图像检测方法,包括:获取待检测图像 的多个特征图,其中,多个特征图的分辨率不同;通过神经网络包括的至少一个特征改善层 中的每个特征改善层按照分辨率从高到低的顺序依次对多个特征图进行特征提取,将每次 特征提取的结果与相邻的后一特征图和/或前一特征图进行特征融合,生成对应的多个特 征改善图;使用生成的各特征改善图进行图像检测。
[0006]可选地,针对每个特征改善层,所述按照分辨率从高到低的顺序依次对多个特征 图进行特征提取,将每次特征提取的结果与相邻的后一特征图和/或前一特征图进行特征 融合,生成对应的多个特征改善图,包括:针对当前特征图,获得与其相邻的分辨率高的前 一特征图的第一特征提取结果,和/或,获得与其相邻的分辨率低的后一特征图的第二特征 提取结果;将获得的第一特征提取结果和/或第二特征提取结果,与当前特征图进行特征融 合,获得与当前特征图对应的特征改善图,所述第一特征提取结果、所述第二特征提取结果 各自的分辨率分别与当前特征图相同。
[0007]可选地,所述第一特征提取结果通过对所述前一特征图进行卷积和池化处理获 得;和/或,所述第二特征提取结果通过对所述后一特征图进行卷积和上采样处理获得。 [0008]可选地,所述针对当前特征图,获得与其相邻的分辨率高的前一特征图的第一特 征提取结果,和/或,获得与其相邻的分辨率低的后一特征图的第二特征提取结果,包括:如 果所述当前特征图为当前特征改善层处理的首个特征图,则对当前特征图进行卷积和池化 处理,获得第一特征提取结果并后向输出;接收与其相邻的后一特征图经卷积和上采样处 理后获得的第二特征提取结果;和/或,如果所述当前特征图为当前特征改善层处理的末个 特征图,则对当前特征图进行卷积和上采样处理,获得第二特征提取结果并前向输出;并接 收与其相邻的前一特征图经卷积和池化处理后获得的第一特征提取结果;和/或,如果所述 当目II特征图为当前特征改善层处理的非首个且非末个特征图,则对当前特征图进行卷积和 池化处理,获得第一特征提取结果并后向输出;对当前特征图进行卷积和上采样处理,获得 第二特征提取结果并前向输出;并且,接收与其相邻的前一特征图经卷积和池化处理后获 得的第一特征提取结果,以及,接收与其相邻的后一特征图经卷积和上采样处理后获得的 第二特征提取结果。
[0009]可选地,当所述神经网络包括多个相连的特征改善层时,将前一特征改善层输出 的各个特征改善图作为相邻的后一特征改善层中对应位置的特征图输入;多个所述特征改 善层的神经网络参数相同。
[0010]可选地,所述特征改善层采用递归神经网络结构。
[0011]可选地,所述使用生成的各特征改善图进行图像检测,包括:获取至少一个特征改 善层生成的对应的至少一组特征改善图,其中,每个特征改善层生成包括多个特征改善图 的一组特征改善图;对每组特征改善图进行图像检测,获得对应的至少一组检测结果;根据 获得的检测结果,确定最终检测结果。
[0012] 可选地,所述根据获得的检测结果,确定最终检测结果,包括:根据每组检测结果 对应的特征改善层在神经网络中的位置顺序,确定位置位于设定位置后的多个特征改善层 对应的多组检测结果;对多组检测结果进行平均,根据平均后的结果确定最终检测结果。
[0013] 可选地,所述使用生成的各特征改善图进行图像检测,包括:使用生成的各特征改 善图进行以下检测至少之一:目标物体检测、目标物体识别、物体分类。
[0014] 可选地,当所述待检测图像为视频帧序列中的各个视频帧时,所述使用生成的各 特征改善图进行图像检测包括:根据各视频帧对应的特征改善图进行目标物体的检测;根 据各视频帧的检测结果获取所述目标物体的信息。
[0015] 可选地,当所述待检测图像为实时拍摄的工业物品生产视频帧序列中的各个视频 帧时,所述目标物体的信息包括工业物品的轨迹信息和/或位置信息;在所述根据各视频帧 的检测结果获取所述目标物体的信息之后,所述方法还包括:根据所述轨迹信息和/或位置 信息进行所述目标物体的抓取和/或分拣。
[0016] 可选地,当所述待检测图像为实时拍摄的路况视频帧序列中的各个视频帧时,所 述目标物体的信息包括行人和/或车辆的轨迹信息和/或位置信息;在所述根据各视频帧的 检测结果获取所述目标物体的信息之后,所述方法还包括:根据所述轨迹信息和/或位置信 息控制车辆的速度和/或方向。
[0017] 可选地,当所述待检测图像为实时拍摄的场景视频帧序列中的各个视频帧时,所 述目标物体的信息包括目标物体的类别信息和/或位置信息;在所述根据各视频帧的检测 结果获取所述目标物体的信息之后,所述方法还包括:根据所述类别信息和/或位置信息确 定对应的目标对象的类别和/或位置。
[0018] 根据本发明实施例的第二方面,还提供了一种神经网络训练方法,包括:获取待训 练图像集中每个待训练图像的多个特征图,其中,多个特征图的分辨率不同;通过神经网络 包括的至少一个特征改善层中的每个特征改善层按照分辨率从高到低的顺序依次对多个 特征图进行特征提取,将每次特征提取的结果与相邻的后一特征图和/或前一特征图进行 特征融合,生成对应的多个特征改善图;使用生成的各特征改善图进行图像预检测;根据图 像预检测的结果训练所述神经网络的网络参数。
[0019]_可选地,针对每个特征改善层,所述按照分辨率从高到低的顺序依次对多个特征 图进行特征提取,将每次特征提取的结果与相邻的后一特征图和/或前一特征图进行特征 融合,生成对应的多个特征改善图,包括:针对当前特征图,获得与其相邻的分辨率高的前 一特征图的第一特征提取结果,和/或,获得与其相邻的分辨率低的后一特征图的第二特征 提取结果;将获得的第一特征提取结果和/或第二特征提取结果,与当前特征图进行特征融 合,获得与当前特征图对应的特征改善图,所述第一特征提取结果、所述第二特征提取结果 各自的分辨率分别与所述当前特征图相同。
[0020]可选地,所述第一特征提取结果通过对所述前一特征图进行卷积和池化处理获 得;和/或,所述第二特征提取结果通过对所述后一特征图进行卷积和上采样处理获得。 [0021]可选地,所述针对当前特征图,获得与其相邻的分辨率高的前一特征图的第一特 征提取结果,和/或,获得与其相邻的分辨率低的后一特征图的第二特征提取结果,包括:如 果所述当前特征图为当前特征改善层处理的首个特征图,则对当前特征图进行卷积和池化 处理,获得第一特征提取结果并后向输出;接收与其相邻的后一特征图经卷积和上采样处 理后获得的第二特征提取结果;和/或,如果所述当前特征图为当前特征改善层处理的末个 特征图,则对当前特征图进行卷积和上采样处理,获得第二特征提取结果并前向输出;并接 收与其相邻的前一特征图经卷积和池化处理后获得的第一特征提取结果;和/或,如果所述 当前特征图为当前特征改善层处理的非首个且非末个特征图,则对当前特征图进行卷积和 池化处理,获得第一特征提取结果并后向输出;对当前特征图进行卷积和上采样处理,获得 第二特征提取结果并前向输出;并且,接收与其相邻的前一特征图经卷积和池化处理后获 得的第一特征提取结果,以及,接收与其相邻的后一特征图经卷积和上采样处理后获得的 第二特征提取结果。
[0022]可选地,当所述神经网络包括多个相连的特征改善层时,将前一特征改善层输出 的各个特征改善图作为相邻的后一特征改善层中对应位置的特征图输入;在一次训练过程 中,多个所述特征改善层的神经网络参数相同。
[0023]可选地,所述特征改善层采用递归神经网络结构。
[0024]可选地,所述使用生成的各特征改善图进行图像预检测,包括:获取至少一个特征 改善层生成的对应的至少一组特征改善图,其中,每个特征改善层生成包括多个特征改善 图的一组特征改善图;对每组特征改善图进行图像预检测,获得对应的至少一组预检测结 果;根据获得的预检测结果,确定所述神经网络当前训练的预检测结果。
[0025]可选地,所述根据获得的预检测结果,确定所述神经网络当前训练的预检测结果, 包括:根据每组预检测结果对应的特征改善层在神经网络中的位置顺序,确定位置位于设 定位置后的多个特征改善层对应的多组预检测结果;对多组预检测结果进行平均,根据平 均后的结果确定所述神经网络当前训练的预检测结果。
[0026]可选地,当所述神经网络包括多个特征改善层时,所述根据图像预检测的结果训 练所述神经网络的网络参数,包括:根据图像预检测的结果,同时对多个特征改善层的网络 参数进行相同的调整。
[0027]根据本发明实施例的第三方面,还提供了一种图像检测装置,包括:获取模块,用 于获取待检测图像的多个特征图,其中,多个特征图的分辨率不同;生成模块,用于通过神 经网络包括的至少一个特征改善层中的每个特征改善层按照分辨率从高到低的顺序依次 对多t特征图进行特征提取,将每次特征提取的结果与相邻的后一特征图和/或前一特征 图进行特征融合,生成对应的多个特征改善图;检测模块,用于使用生成的各特征改善图进 行图像检测。
[0028]可选地,所述生成模块包括:特征提取结果获得子模块,用于针对每个特征改善层 处理的当前特征图,获得与其相邻的分辨率高的前一特征图的第一特征提取结果,和/或, 获得与其相邻的分辨率低的后一特征图的第二特征提取结果;特征改善图获得子模块,用 于将获得的第一特征提取结果和/或第二特征提取结果,与当前特征图进行特征融合,获得 与当前特征图对应的特征改善图,所述第一特征提取结果、所述第二特征提取结果各自的 分辨率分别与所述当前特征图相同。
[0029]可选地,所述第一特征提取结果通过所述特征提取结果获得子模块对所述前一特 征图进行卷积和池化处理获得;和/或,所述第二特征提取结果通过所述特征提取结果获得 子模块对所述后一特征图进行卷积和上采样处理获得。
[0030]可选地,所述特征提取结果获得子模块包括:第一处理单元,用于如果所述当前特 征图为当前特征改善层处理的首个特征图,则对当前特征图进行卷积和池化处理,获得第 一特征提取结果并后向输出;接收与其相邻的后一特征图经卷积和上采样处理后获得的第 二特征提取结果;和/或,第二处理单元,用于如果所述当前特征图为当前特征改善层处理 的末个特征图,则对当前特征图进行卷积和上采样处理,获得第二特征提取结果并前向输 出;并接收与其相邻的前一特征图经卷积和池化处理后获得的第一特征提取结果;和/或, 第三处理单元,用于如果所述当前特征图为当前特征改善层处理的非首个且非末个特征 图,则对当前特征图进行卷积和池化处理,获得第一特征提取结果并后向输出;对当前特征 图进行卷积和上采样处理,获得第二特征提取结果并前向输出;并且,接收与其相邻的前一 特征图经卷积和池化处理后获得的第一特征提取结果,以及,接收与其相邻的后一特征图 经卷积和上采样处理后获得的第二特征提取结果。
[0031]可选地,当所述神经网络包括多个相连的特征改善层时,将前一特征改善层输出 的各个特征改善图作为相邻的后一特征改善层中对应位置的特征图输入;多个所述特征改 善层的神经网络参数相同。
[0032] 可选地,所述特征改善层采用递归神经网络结构。
[0033]可选地,所述检测模块包括:第一获取子模块,用于获取至少一个特征改善层生成 的对应的至少一组特征改善图,其中,每个特征改善层生成包括多个特征改善图的一组特 征改善图;第二获取子模块,用于对每组特征改善图进行图像检测,获得对应的至少一组检 测结果;确定子模块,用于根据获得的检测结果,确定最终检测结果。
[0034]可选地,所述确定子模块,用于根据每组检测结果对应的特征改善层在神经网络 中的位置顺序,确定位置位于设定位置后的多个特征改善层对应的多组检测结果;对多组 检测结果进行平均,根据平均后的结果确定最终检测结果。
[0035]可选地,所述检测模块,用于使用生成的各特征改善图进行以下检测至少之一:目 标物体检测、目标物体识别、物体分类。
[0036]可选地,所述检测模块,用于当所述待检测图像为视频帧序列中的各个视频帧时, 根据各视频帧对应的特征改善图进行目标物体的检测;根据各视频帧的检测结果获取所述 目标物体的信息。
[0037] 可选地,当所述待检测图像为实时拍摄的工业物品生产视频帧序列中的各个视频 帧时,所述目标物体的信息包括工业物品的轨迹信息和/或位置信息;所述装置还包括:第 一应用模块,用于在所述检测模块根据各视频帧的检测结果获取所述目标物体的信息之 后,根据所述轨迹信息和/或位置信息进行所述目标物体的抓取和/或分拣。
[0038] 可选地,当所述待检测图像为实时拍摄的路况视频帧序列中的各个视频帧时,所 述目标物体的信息包括行人和/或车辆的轨迹信息和/或位置信息;所述装置还包括:第二 应用模块,用于在所述检测模块根据各视频帧的检测结果获取所述目标物体的信息之后, 根据所述轨迹信息和/或位置信息控制车辆的速度和/或方向。
[0039] 可选地,当所述待检测图像为实时拍摄的场景视频帧序列中的各个视频帧时,所 述目标物体的信息包括目标物体的类别信息和/或位置信息;所述装置还包括:第三应用模 块,用于在所述检测模块根据各视频帧的检测结果获取所述目标物体的信息之后,根据所 述类别信息和/或位置信息确定对应的目标对象的类别和/或位置。
[0040] 根据本发明实施例的第四方面,还提供了一种神经网络训练装置,包括:训练获取 模块,用于获取待训练图像集中每个待训练图像的多个特征图,其中,多个特征图的分辨率 不同;训练生成模块,用于通过神经网络包括的至少一个特征改善层中的每个特征改善层 按照分辨率从高到低的顺序依次对多个特征图进行特征提取,将每次特征提取的结果与相 邻的后一特征图和/或前一特征图进行特征融合,生成对应的多个特征改善图;预检测模 块,用于使用生成的各特征改善图进行图像预检测;参数训练模块,用于根据图像预检测的 结果训练所述神经网络的网络参数。
[0041]可选地,所述训练生成模块包括:特征提取结果训练获得子模块,用于针对每个特 征改善层处理的当前特征图,获得与其相邻的分辨率高的前一特征图的第一特征提取结 果,和/或,获得与其相邻的分辨率低的后一特征图的第二特征提取结果;特征改善图训练 获得子模块,用于将获得的第一特征提取结果和/或第二特征提取结果,与当前特征图进行 特征融合,获得与当前特征图对应的特征改善图,所述第一特征提取结果、所述第二特征提 取结果各自的分辨率分别与所述当前特征图相同。
[0042]可选地,所述第一特征提取结果通过所述特征提取结果训练获得子模块对所述前 一特征图进行卷积和池化处理获得;和/或,所述第二特征提取结果通过所述特征提取结果 训练获得子模块对所述后一特征图进行卷积和上采样处理获得。
[0043^可选地,所述特征提取结果训练获得子模块包括:第一训练处理单元,用于如果所 述当前特征图为当前特征改善层处理的首个特征图,则对当前特征图进行卷积和池化处 理,获得第一特征提取结果并后向输出;接收与其相邻的后一特征图经卷积和上采样处理 后获得的第二特征提取结果;和/或,第二训练处理单元,用于如果所述当前特征图为当前 特征改善层处理的末个特征图,则对当前特征图进行卷积和上采样处理,获得第二特征提 取结果并前向输出;并接收与其相邻的前一特征图经卷积和池化处理后获得的第一特征提 取结果;和/或,第三训练处理单元,用于如果所述当前特征图为当前特征改善层处理的非 首个且非末U寺征图,则对当前特征图进行卷积和池化处理,获得第一特征提取结果并后 向输出;对当前特征图进行卷积和上采样处理,获得第二特征提取结果并前向输出;并且, 接收与其相邻的前一特征图经卷积和池化处理后获得的第一特征提取结果,以及,接收与 其相邻的后一特征图经卷积和上采样处理后获得的第二特征提取结果。
[0044]可选地,当所述神经网络包括多个相连的特征改善层时,将前一特征改善层输出 的各个特征改善图作为相邻的后一特征改善层中对应位置的特征图输入;在一次训练过程 中,多个所述特征改善层的神经网络参数相同。
[0045]可选地,所述特征改善层采用递归神经网络结构。
[0046]可选地,所述预检测模块包括:第一训练获取子模块,用于获取至少一个特征改善 层生成的对应的至少一组特征改善图,其中,每个特征改善层生成包括多个特征改善图的 一组特征改善图;第二训练获取子模块,用于对每组特征改善图进行图像预检测,获得对应 的至少一组预检测结果;训练确定子模块,用于根据获得的预检测结果,确定所述神经网络 当前训练的预检测结果。
[0047]可选地,所述训练确定子模块,用于根据每组预检测结果对应的特征改善层在神 经网络中的位置顺序,确定位置位于设定位置后的多个特征改善层对应的多组预检测结 果;对多组预检测结果进行平均,根据平均后的结果确定所述神经网络当前训练的预检测 结果。
[0048]可选地,所述参数训练模块,用于当所述神经网络包括多个特征改善层时,根据图 像预检测的结果,同时对多个特征改善层的网络参数进行相同的调整。
[0049]根据本发明实施例的第五方面,还提供了一种电子设备,包括:处理器、存储器、通 信元件和通信总线,所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互 间的通信;所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如 第一方面任一所述图像检测方法对应的操作;或者,执行如第二方面任一所述神经网络训 练方法对应的操作。
[0050]根据本发明实施例的第六方面,还提供了一种计算机可读存储介质,所述计算机 可读存储介质存储有:用于获取待检测图像的多个特征图的可执行指令,其中,多个特征图 的分辨率不同;用于通过神经网络包括的至少一个特征改善层中的每个特征改善层按照分 辨率从高到低的顺序依次对多个特征图进行特征提取,将每次特征提取的结果与相邻的后 一特征图和/或前一特征图进行特征融合,生成对应的多个特征改善图的可执行指令;用于 使用生成的各特征改善图进行图像检测的可执行指令。
[0051]根据本发明实施例的第七方面,还提供了另一种计算机可读存储介质,所述计算 机可读存储介质存储有:用于获取待训练图像集中每个待训练图像的多个特征图的可执行 指令,其中,多个特征图的分辨率不同;用于通过神经网络包括的至少一个特征改善层中的 每个特征改善层按照分辨率从高到低的顺序依次对多个特征图进行特征提取,将每次特征 提取的结果与相邻的后一特征图和/或前一特征图进行特征融合,生成对应的多个特征改 善图的可执行指令;用于使用生成的各特征改善图进行图像预检测的可执行指令;用于根 据图像预检测的结果训练所述神经网络的网络参数的可执行指令。
[0052]根据本发明实施例提供的技术方案,在神经网络中设置特征改善层,该特征改善 层用于对己经提取出的图像的特征(表现为特征图的形式)进行再次提取和融合,得到表达 能力更强、质量更高的特征图即特征改善图,通过特征改善图,可以更为准确地确定待检测 图像中的目标对象的位置和信息,以进行高效、精准的图像检测。
附图说明
[0053]图1是根据本发明实施例一的一种图像检测方法的步骤流程图;
[0054]图2是根据本发明实施例二的一种图像检测方法的步骤流程图;
[0055]图3是图2所示实施例中的一种卷积神经网络的结构示意图;
[0056]图4是图2所示实施例中的一种特征改善层对特征图进行处理的过程示意图;
[0057]图5是图2所示实施例中的一种相邻特征改善层间交互的示意图;
[0058]图6是根据本发明实施例三的一种神经网络训练方法的步骤流程图;
[0059]图7是根据本发明实施例四的一种神经网络训练方法的步骤流程图;
[0060]图8是根据本发明实施例五的一种图像检测装置的结构框图; '
[0061]图9是根据本发明实施例六的一种图像检测装置的结构框图;
[0062]图10是根据本发明实施例七的一种神经网络训练装置的结构框图;
[0063]图11是根据本发明实施例八的一种神经网络训练装置的结构框图;
[0064]图12是根据本发明实施例九的一种电子设备的结构示意图。 ’
具体实施方式
[0065]下面结合附图(若干附图中相同的标号表示相同的元素)和实施例,对本发明实施 例的具体实施方式作进一步详细说明。以下实施例用于说明本发明,但不用来限制本发明 的范围。
[0066]本领域技术人员可以理解,本发明实施例中的“第一”、“第二”等术语仅用于区别 不同步骤、设备或模块等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺 序。
[0067]实施例一
[0068]参照图1,示出了根据本发明实施例一的一种图像检测方法的步骤流程图。
[0069]本实施例的图像检测方法包括以下步骤:
[0070] 步骤S102:获取待检测图像的多个特征图。
[0071]其中,多个特征图的分辨率不同。
[0072]待检测图像可以是静态图像,也可以是视频帧序列中的视频帧图像。待检测图像 的特征图可以由本领域技术人员采用任意适当的方式进行提取,包括但不限于使用经过训 练的卷积神经网络进行特征提取形成特征图的方式。一般来说,通过卷积神经网络对待检 测图像进行特征提取获得的特征图具有不同的分辨率,每一个分辨率对应有一个或多个 (两个及两个以上)特征图。本步骤中,可以针对每个分辨率选择其对应的一个特征图。
[0073]步骤S104:通过神经网络包括的至少一个特征改善层中的每个特征改善层按照分 辨率从高到低的顺序依次对多个特征图进行特征提取,将每次特征提取的结果与相邻的后 一特征图和/或前一特征图进行特征融合,生成对应的多个特征改善图。
[0074]每次特征提取的结果与哪一个特征图进行特征整合取决与特征图的位置,以分辨 率从高到低的顺序为特征图A->B->C为例,特征图A为首个特征图,则其特征提取的结果将 发送至在其后的特征图B;特征图C为末个特征图,则其特征提取结果也将发送至在其前的 特征图B;而对于特征图B,则其特征提取结果既发送给特征图A,也发送给特征图C。也即,特 征图A将与特征图B的特征提取结果进行特征融合;特征图B将与特征图A和C的特征提取结 果均进行特征融合;特征图C与特征图B的特征提取结果进行特征融合。 L〇〇75」对各个特征图进行进一步的特征提取和融合后,将获得与各个特征图对应的经过 进一步特征提取和整合的特征图,即特征改善图。
[0076]步骤S106:使用生成的各特征改善图进行图像检测。
[0077]根据特征改善图进行图像检测可以由本领域技术人员采用任意适当方式进行,本 发明实施例对此不作限制。
[0078]通过本实施例,在神经网络中设置特征改善层,该特征改善层用于对已经提取出 的图像的特征(表现为特征图的形式)进行再次提取和融合,得到表达能力更强、质量更高 的特征图即特征改善图,通过特征改善图,可以更为准确地确定待检测图像中的目标对象 的位置和信息,以进行高效、精准的图像检测。
[0079]本实施例的图像检测方法可以由任意适当的具有图像或数据处理能力的设备执 行,包括但不限于:摄像头、终端、移动终端、PC机、服务器、车载设备、娱乐设备、广告设备 等。
[0080]实施例二
[0081]参照图2,示出了根据本发明实施例二的一种图像检测方法的步骤流程图。
[0082]本实施例的图像检测方法包括以下步骤:
[0083]步骤S202:获取待检测图像的多个特征图。
[0084] 其中,多个特征图的分辨率不同。
[0085]本实施例中,以通过卷积神经网络对待检测图像进行特征提取,获得特征图为例。 本发明实施例对卷积神经网络的具体结构不设要求,现有的多种卷积神经网络结构都可以 用于对待检测图像进行特征提取。
[0086]将待检测图像输入卷积神经网络,得到不同分辨率的大小不同的特征图,分别对 应于不同尺度的物体。
[0087]步骤S204:通过卷积神经网络的特征改善层对各个特征图进行特征提取和融合, 获得对应的多个特征改善图。
[0088] 其中,卷积神经网络包括至少一个特征改善层,一种本实施例的卷积神经网络的 结构示意图如图3所示。图3中,I表示输入的待检测图像,Q表示卷积神经网络的特征提取部 分,〇表示经Q提取到的特征(本实施例中表现为特征图的形式),F表示卷积神经网络的特 征改善层,T表示卷积神经网络的特征检测部分,p (y | ¢)表示单组特征的检测结果。图3中, 输入的待检测图像经过特征提取部分Q,得到一组包含多个特征图的特征①1;将这组特征 ①1作为第一个特征改善层F的输入,对特征进行改善,特征改善层不改变特征的维度,得到 的特征为®2;®2可以继续作为第二个特征改善层F的输入,得到®3;经过特征改善层F可以 得到多组不同的特征〇,将这些特征输入检测网络t,每组特征都可以得到一组对应的检测 结果,如P(y|①,、P(y|〇2)和P(y|〇3)。特征改善可以进行多次,图3中的特征改善过程进 行了 2次。理论上来说,经过特征改善的次数越多,得到的特征的质量越高,但同样会消耗更 多的计算机内存,效率有所下降,且在多次特征改善继续加入更多的特征改善结构,效果提 升并不明显。因此,一般加入3-5个特征改善层F。经过特征改善次数更多的特征能取得更好 的检测结果,进而,将这多组检测结果用非极大值抑制进行融合可以得到更好的检测结果。 [0089]针对每个特征改善层F,其用于按照分辨率从高到低的顺序依次对多个特征图进 行特征提取,将每次特征提取的结果与相邻的后一特征图和/或前一特征图进行特征融合, 生成对应的多个特征改善图。
[0090]每个特征改善层F在对各个特征图进行特征提取和融合,获得对应的多个特征改 善图时,针对当削特征图,获得与其相邻的分辨率高的前一特征图的第一特征提取结果, 和/或,获得与其相邻的分辨率低的后一特征图的第二特征提取结果;将获得的第一特征提 取会n果和/或第一特征提取结果,与当如特征图进行特征融合,获得与当前特征图对应的特 征改善图,其中,第一特征提取结果、第二特征提取结果各自的分辨率分别与当前特征图相 同。
[0091]其中,第一特征提取结果可以通过对当前特征图的前一特征图进行卷积和池化处 理获得;第二特征提取结果可以通过对当前特征图的后一特征图进行卷积和上采样处理获 得。
[0092]针对当前特征图,获得的是第一特征提取结果还是第二特征提取结果还是均可以 获得,取决于当前特征图在当前的特征改善层中的位置。因此,在针对当前特征图,获得与 其相邻的分辨率高的前一特征图的第一特征提取结果,和/或,获得与其相邻的分辨率低的 后一特征图的第二特征提取结果时,如果当前特征图为当前特征改善层处理的首个特征 图,则对当目U特征图进行卷积和池化处理,获得第一特征提取结果并后向输出;接收与其相 邻的^一特征图经卷积和上采样处理后获得的第二特征提取结果;和/或,如果当前特征图 为当前特征改善层处理的末个特征图,则对当前特征图进行卷积和上采样处理,获得第二 特征提取结果并前向输出;并接收与其相邻的前一特征图经卷积和池化处理后获得的第一 特征提取结果;和/或,如果当前特征图为当前特征改善层处理的非首个特征图且非末个特 征图,则对当如特征图进行卷积和池化处理,获得第一特征提取结果并后向输出;对当前特 征图进行卷积和上采样处理,获得第二特征提取结果并前向输出;并且,接收与其相邻的前 一特征图经卷积和池化处理后获得的第一特征提取结果,以及,接收与其相邻的后一特征 图经卷积和上采样处理后获得的第二特征提取结果。
[0093] 一个本实施例的单个特征改善层对特征图进行处理的过程如图4所示。图4中,设 定待检测图像^特征图包括A、B、和C三个,其中,A的分辨率高于B,B的分辨率高于C。图4中 的实线柱体表示由卷积神经网络的特征提取部分提取得到的特征所在的特征层,不同特征 层之间的弧形箭头表示多层特征之间的流动,虚线部分表示不同特征层之间的特征融合, 最后指向检测框“Detection”的直线箭头表示卷积神经网络的检测部分。
[0094]对浅一层的特征图,通过1 X 1的卷积核进行特征筛选,再经过2 x 2的最大池化后, 使浅层的特征直接流向深一层;对深一层的特征图,首先同样用丨x丨的卷积核进行特征筛 选,然后进行卷积上采样将筛选后的深层放大,使深层的特征也往浅层流动。
[0095]具体到图4,以图中A、B和C为例对这个过程进行说明,A的特征经过1 X 1 X 19的卷 积与最大池化处理,得到的特征如B左侧的虚线部分所示,这个过程实现了 A特征的前向流 动;C的特征经过i x 1_X IQ的卷积与反卷积处理(实现上采样功能)进行放大,得到的特征如 B右侧的虚线部分所示,这个过程实现了 c特征的反向流动;将由A前向流动,c反向流动得到 的^征与原来的B特征(实线部分)拼到一起,得到的新的特征包含了低一层特征、原有特征 和^一层2寺征,实现了特征的融合。同样,特征流动的过程中,B的特征会反向流动到A,与A 进行特征融合;前向流动到C,与C进行特征融合。
[0096]当卷积神经网络中的特征改善层包括多个相连的特征改善层时,将前一特征改善 层输出的各个特征改善图作为相邻的后一特征改善层中对应位置的特征图输入。其中,多 个特征改善层的神经网络参数相同。
[0097]如图5所示,图5为两个相邻的特征改善层之间交互的示意图。图5中,第一行表示 第一个特征改善层,第二行表示相邻的第二个特征改善层。其中,第一行中的实线柱体表示 由卷积神经网络的特征提取部分提取得到的特征(本实施例中表现为特征图)所在的特征 层,同一行中不同特征层之间的弧形箭头表示多层特征之间的流动,虚线部分表示不同层 之间的特征融合;两行之间向下的箭头表示用1 X 1的卷积核对特征图数量进行归一化,最 后指向检测框“Detection”的直线箭头表示检测部分。第二行中的实线柱体表示经过第一 个特征改善层后得到的改善后的特征(也表现为特征图),其余箭头含义与第一行中一致。 以此类推,其它相邻特征改善层之间的交互可以参照图5所示方式实现。
[0098]多层特征流动和融合的过程给各层特征图带来了更多的信息,但也使该层的特征 图数量增多。对每一个不同大小的特征图,通过256个1 X 1的卷积核对特征图数量进行归一 化,得到大小与原来一致但包含了更多信息的特征图。
[00"]可选地,上述特征改善层可以采用递归神经网络结构。具体地,可以是时间递归神 经网络RNN(Recurrent Neural Network) 〇RNN也称循环神经网络,是一种节点定向连接成 环的人工神经网络,这种网络的内部状态可以展示动态时序行为,其本质特征是在处理单 元之间既有内部的反馈连接又有前馈连接。从系统观点看,它是一个反馈动力系统,在计算 过程中体现过程动态特性,比前馈神经网络具有更强的动态行为和计算能力。将其应用于 本发明实施例中,可以有效实现对特征图进行进一步的特征提取和融合的过程。此外,若特 征改善层采用RNN结构,且卷积神经网络包括多个特征改善层时,则多个特征改善层使用的 网络参数相同。
[0100]步骤S2〇6:使用生成的各特征改善图进行图像检测。
[0101]包括:获取至少一个特征改善层生成的对应的至少一组特征改善图,其中,每个特 征改善层生成包括多个特征改善图的一组特征改善图;对每组特征改善图进行图像检测, 获得对应的至少一组检测结果;根据获得的检测结果,确定最终检测结果。
[0102] 也即,每个特征改善层生成一组大小与输入特征图维度完全一致的特征图即特征 改善图,一组特征改善图中包括有多张特征改善图。特征改善图经过更多的特征信息处理 而来,质量更高,更有利于高精度的物体检测。
[0103] 可选地,在根据获得的检测结果,确定最终检测结果时,可以根据每组检测结果对 应的特征改善层在神经网络中的位置顺序,确定位置位于设定位置后的多个特征改善层对 应的多组检测结果;对多组检测结果进行平均,根据平均后的结果确定最终检测结果。其 中,设定位置可以由本领域技术人员根据实际情况适当设定,一般设定为多个特征改善层 中半数之后的特征改善层,如,共设置有5个特征改善层,可以对第3-5个特征改善层对应的 3组检测结果进行平均,或者,也可以对第4、5个特征改善层对应的2组检测结果进行平均。 这是因为,位置越靠后的特征改善层可能包括的特征信息更为精准,检测结果可以更好,以 此进行平均,最终检测结果更为准确。
[0104] 此外,对特征改善图的检测在实现时可以由本领域技术人员根据实际情况采用任 意适当的方式实现。例如,可以对一组特征改善图中的每个特征改善图上的每个3 x 3小区 域,用一个3 X 3的卷积核进行分类,用另一个3 x 3卷积核进行回归,得到与该特征改善图对 应的检测结果。对该组中的其它特征改善图进行同样处理,得到该组特征改善图对应的多 个检测结果。依此类推,对多个特征改善层得到的多组特征图进行检测,得到对应的多组检 测结果,然后再利用非极大值抑制融合多组检测结果,得到最后的检测结果。
[0105] 在具体应用时,可以使用生成的各特征改善图进行以下检测至少之一:目标物体 检测、目标物体识别、物体分类,以满足多样化的实际应用需求。
[0106] 本发明实施例的图像检测方法可以应用于多种场景中,如,应用于辅助驾驶或无 人驾驶技术中时,可以用于车辆、行人等其他物体的检测;应用于工业应用场景中时,可以 作为一种通用的检测技术,为机械臂抓取、工件分拣等提供视觉信息;应用于智能视频分析 场景中时,用于提取视频中的物体的类别信息和位置信息等等。
[0107] 上述场景多借助于视频帧序列,因此,当待检测图像为视频帧序列中的各个视频 帧时,使用生成的各特征改善图进行图像检测包括:根据各视频帧对应的特征改善图进行 目标物体的检测;根据各视频帧的检测结果获取目标物体的信息。
[0108] 具体到上述应用场景,例如,应用于工业应用场景时,当待检测图像为实时拍摄的 工业物品生产视频帧序列中的各个视频帧时,目标物体的信息包括工业物品的轨迹信息 和/或位置信息;在根据各视频帧的检测结果获取目标物体的信息之后,还可以根据轨迹信 息和/或位置信息进行目标物体的抓取和/或分拣。应用于辅助驾驶或无人驾驶场景时,当 待检测图像为实时拍摄的路况视频帧序列中的各个视频帧时,目标物体的信息包括行人 和/或车辆的轨迹信息和/或位置信息;在根据各视频帧的检测结果获取目标物体的信息之 后,还可以根据轨迹信息和/或位置信息控制车辆的速度和/或方向。应用于智能视频分析 场景时,当待检测图像为实时拍摄的场景视频帧序列中的各个视频帧时,目标物体的信息 包括目标物体的类别信息和/或位置信息;在根据各视频帧的检测结果获取目标物体的信 息之后,还可以根据类别信息和/或位置信息确定对应的目标对象的类别和/或位置。
[0109] 可见,上述图像检测过程整体包括输入待检测图像、特征提取、特征改善、目标对 象检测和输出检测结果几部分。
[0110]其中,输入的待检测图像可以是静态图像也可以是视频帧序列中的一个视频帧图 像,输出的检测结果是图像中目标对象(如物体)的检测结果,对于每个检测到的目标对象, 检测结果中可以包含目标对象的类别信息、位置信息(可使用包围盒表示)、和对检测结果 的置信度信息中的至少一种。
[0111] 特征提取部分对卷积神经网络结构不设要求,现有的多种卷积神经网络结构都可 以用来对待检测图像进行特征提取。
[0112]特征改善部分以特征提取部分提取到的不同大小的特征图作为输入,用于对提取 到的特征进行进一步的提纯、改善,输出为更高质量的特征。通过特征提取部分得到的不同 尺度的特征质量不高,浅层特征对应小的检测目标,但浅层特征只包含了局部的信息,鲁棒 性g差;而深层特征对应大的检测目标,但深层特征对局部的细节特征损失较大,不利于实 现高精度的定位。而特征改善部分通过不同层次特征的流动和融合,使深层的特征用于小 物体的检测,用深层的语义特征增强检测鲁棒性;在对大物体的检测中引入浅层特征,使检 测结果更为准确。特征改善部分的输入是特征提取部分从待检测图像中提取到的一组包含 多个大小不同的特征图的特征图集合,用于对不同尺度的物体进行检测。其中,深层的特征 图对应大物体,浅层的特征图对应小物体。特征改善部分的输出为一组大小与输入特征图 维度元全一致的特征图集合。经过特征改善网络后的特征图维度不变,但特征的质量更高, 有利于高精度的物体检测。
[0113] 特征改善部分通过采用递归网络结构,经过多层特征流动、融合与特征图数量归 一化,得到了一组小与原来一致但包含了更多信息的特征图。具体来说,特征改善部分包 括多层特征流动、融合,和特征图数量归一化两部分。设定用1?表示特征改善部分的特征改 善过程,对于第一个特征改善层,输入为特征提取部分得到的特征¢1,输出为①2,这个过程 可以用〇2=F (①1)表示,其中,①1、①2的维度相同。上述过程(多层特征流动和融合、特征 图数量归一化)递归进行,以进一步改善特征,即①3 = F (①2),(D4 = F (¢3) ,其中,表 不由①改善得到的特征,❿4表不由①3进一步改善得到的特征,以此类推。为不引入更多的 训练参数,防止过拟合,在一次特征改善过程中,使用同一个特征改善层对不同特征图进行 特征提纯。
[0114] 检测部分以特征改善部分改善后的特征作为输入,根据提取到的特征进行检测, 包括对特征的分类和回归处理。分类处理对目标对象进行识别,回归处理用于获取目标对 象的位置信息。对于置信度信息,可以通过卷积神经网络的SOFTMAX分类器获取识别为目标 对象的概率(在〇〜1之间),将其作为置信度信息。例如,检测部分对每个特征改善部分改善 后获得的特征图上的每个3 X 3小区域,用一个3 X 3的卷积核进行分类,用另一个3 X 3卷积 核进行回归。通过特征改善部分可以得到多组改善后的特征图,每组特征图可以得到一组 检测结果,利用非极大值抑制融合多组检测结果,得到最后的检测结果。
[0115] 通过本实施例,在卷积神经网络中设置特征改善层,该特征改善层用于对已经提 取出的图像的特征(表现为特征图的形式)进行再次提取和融合,得到表达能力更强、质量 更高的特征图即特征改善图,通过特征改善图,可以更为准确地确定待检测图像中的目标 对象的位置和信息,以进行高效、精准的图像检测。
[0116]本实施例的图像检测方法可以由任意适当的具有图像或数据处理能力的设备执 行,包括但不限于:摄像头、终端、移动终端、PC机、服务器、车载设备、娱乐设备、广告设备 等。
[0117] 实施例三
[0118]参照图6,示出了根据本发明实施例三的一种神经网络训练方法的步骤流程图。
[0119] 本实施例的神经网络训练方法包括以下步骤:
[0120]步骤S302:获取待训练图像集中每个待训练图像的多个特征图。
[0121]其中,多个特征图的分辨率不同。
[0122]本实施例中,待训练图像集中包括多个待训练图像,该多个待训练图像可以均为 静态图像,也可以均为视频帧序列中的视频帧图像,坯可以既包括静态图像也包括视频帧 图像。
[0123]如前所述,本领域技术人员可以采用任意适当的方式,包括但不限于卷积神经网 络的方式对每个待训练图像进行特征提取,获得每个待训练图像的多个特征图。
[0124] 步骤S304:通过神经网络包括的至少一个特征改善层中的每个特征改善层按照分 辨率从高到低的顺序依次对多个特征图进行特征提取,将每次特征提取的结果与相邻的后 一特征图和/或前一特征图进行特征融合,生成对应的多个特征改善图。
[0125] 本步骤的实现可以参照前述实施例一或二中的方式实现,在此不再赘述。
[0126]步骤S306:使用生成的各特征改善图进行图像预检测。
[0127]本步骤的实现可以由本领域技术人员参照前述实施例一或二中相应的使用多个 特征改善图进行图像检测的方式实现,通过对待训练图像的预检测,根据预检测结果确定 神经网络的网络参数(包括但不限于卷积核参数、权重参数等)是否满足要求。
[0128]步骤S308:根据图像预检测的结果训练神经网络的网络参数。
[°129]通过对每一个待训练图像的图像预检测的结果与该待训练图像中的标注信息进 行比对,根据比对结果可以确定图像预检测的结果是否准确,进而,根据该结果调整神经网 络的网络参数,进行神经网络训练。
[0130]通过本实施例,对设置了特征改善层的神经网络进行训练,其中的特征改善层可 以用于对已经提取出的图像的特征(表现为特征图的形式)进行再次提取和融合,得到表达 能力更强、质量更高的特征图即特征改善图,通过特征改善图,可以更为准确地确定待检测 图像中的目标对象的位置和信息,以提高图像检测的效果和准确性。经过训练的神经网络 能够高效、精准地进行图像检测。
[0131]^本实施例的神经网络训练方法可以由任意适当的具有图像或数据处理能力的设 备执行,包括但不限于:摄像头、终端、移动终端、PC机、服务器、车载设备、娱乐设备、广告设 备等。
[0132]实施例四
[0133]参照图7,示出了根据本发明实施例四的一种神经网络训练方法的步骤流程图。 [0134]本实施例以卷积神经网络训练为例,但本领域技术人员应当明了,其它类似神经 网络均可参考本实施例实现本发明的神经网络训练方法。
[0135]本实施例的神经网络训练方法包括以下步骤:
[0136]步骤S402:获取待训练图像集中每个待训练图像的多个特征图。
[0137]其中,多个特征图的分辨率不同。
[0138] 本实施例中,使用卷积神经网络的特征提取部分进行待训练图像的特征提取,生 成特征图。
[0139] 步骤S404:通过卷积神经网络的特征改善层对各个特征图进行特征提取和融合, 获得对应的多个特征改善图。
[0140]其中,卷积神经网络包括至少一个特征改善层,每个特征改善层按照分辨率从高 到低的顺序依次对多个特征图进行特征提取,将每次特征提取的结果与相邻的后一特征图 和/或前一特征图进行特征融合,生成对应的多个特征改善图。
[0141]本实施例中,针对每个特征改善层,在通过神经网络的特征改善层对各个特征图 进行f征提取和融合,获得对应的多个特征改善图时,针对当前特征图,获得与其相邻的分 辨率高的前一特征图的第一特征提取结果,和/或,获得与其相邻的分辨率低的后一特征图 的第二特征提取结果;将获得的第一特征提取结果和/或第二特征提取结果,与当前特征图 进行特征融合,获得与当前特征图对应的特征改善图,其中,第一特征提取结果、第二特征 提取结果各自的分辨率分别与当前特征图相同。
[0142]其中,第一特征提取结果通过对当前特征图的前一特征图进行卷积和池化处理获 得;和/或,第二特征提取结果通过对当前特征图的后一特征图进行卷积和上采样处理获 得。
[0143]当前特征图获得的第一和/或第二特征提取结果,与其所在的位置有关。因此,针 对当前特征图,在获得与其相邻的分辨率高的前一特征图的第一特征提取结果,和/或,获 得与其相邻的分辨率低的后一特征图的第二特征提取结果时,如果当前特征图为当前特征 改善层处理的首个特征图,则对当前特征图进行卷积和池化处理,获得第一特征提取结果 并后向输出;接收与其相邻的后一特征图经卷积和上采样处理后获得的第二特征提取结 果;和/或,如果当前特征图为当前特征改善层处理的末个特征图,则对当前特征图进行卷 积和上采样处理,获得第二特征提取结果并前向输出;并接收与其相邻的前一特征图经卷 积和池化处理后获得的第一特征提取结果;和/或,如果当前特征图为当前特征改善层处理 的非首个且非末个特征图,则对当前特征图进行卷积和池化处理,获得第一特征提取结果 并后向输出;对当前特征图进行卷积和上采样处理,获得第二特征提取结果并前向输出;并 且,接收与其相邻的前一特征图经卷积和池化处理后获得的第一特征提取结果,以及,接收 与其相邻的后一特征图经卷积和上采样处理后获得的第二特征提取结果。
[0144]此外,当卷积神经网络包括多个相连的特征改善层时,可以将前一特征改善层输 出的各个特征改善图作为相邻的后一特征改善层中对应位置的特征图输入;在一次训练过 程中,多个特征改善层的神经网络参数相同。可选地,特征改善层采用递归神经网络结构。 [0145]步骤S406:使用生成的各特征改善图进行图像预检测。
[0146]卷积神经网络可以包括一个特征改善层,也可以包括多个(两个及两个以上)特征 改善层,较优地,可以采用3-5个特征改善层。在实现本步骤时,获取至少一个特征改善层生 成的对应的至少一组特征改善图,其中,每个特征改善层生成包括多个特征改善图的一组 特征改善图;对每组特征改善图进行图像预检测,获得对应的至少一组预检测结果;根据获 得的预检测结果,确定神经网络当前训练的预检测结果。
[0147]可选地,在根据获得的预检测结果,确定神经网络当前训练的预检测结果时,可以 根据每组预检测结果对应的特征改善层在神经网络中的位置顺序,确定位置位于设定位置 后的多个特征改善层对应的多组预检测结果;对多组预检测结果进行平均,根据平均后的 结果确定神经网络当前训练的预检测结果。
[0148]步骤S4〇8:根据图像预检测的结果训练卷积神经网络的网络参数。
[0149] 在根据图像预检测的结果训练神经网络的网络参数时,需要对神经网络的所有网 络参数都进行训练,对于除特征改善层之外的其它部分,可以采用常规训练手段,对特征改 善层部分的网络参数的训练包括:当神经网络包括多个特征改善层时,可以根据图像预检 测的结果,同时对多个特征改善层的网络参数进行相同的调整。
[0150] 例如,当前卷积神经网络包括第一特征改善层、第二特征改善层和第三特征改善 层。在一次神经网络训练过程中,第一、第二、第三特征改善层使用相同的网络参数,假设第 一特征改善层的网络参数为A、B和C,则在一次训练过程中,第二特征改善层的网络参数也 为A、B和C,第三特征改善层的网络参数也为A、B和C。当前卷积神经网络训练后确定需要调 整网络参数时,针对特征改善层部分,例如,将第一特征改善层的网络参数调整为D、e和F, 则第二和第三特征改善层的网络参数也同步调整,也即,在第二次卷积神经网络训练过程 中,第一、第二和第三特征改善层的网络参数均为D、E和F。通过RNN的这种参数训练的特性, 在一次训练过程中,因特征改善层使用相同的网络参数,也即特征融合(不管整合多少次) 都使用同一个函数进行,从而可以在进行多次特征融合的时候,使特征之间的一致性更强。
[0151] —种可行的训练方式中,可以以在大数据中进行预训练得到的模型(如在 ImageNet数据中进行预训练得到的模型)对卷积神经网络的特征提取部分进行网络参数初 始化,随机初始化特征改善部分和检测部分的网络参数。经特征提取部分提取得到的特征 (表现为特征图的形式)经过特征改善部分可以得到多组改善后的特征,每组特征对应一个 检测部分的结构t,如图3中所示。通过多个检测部分的回归、分类代价函数进行反向传播, 同时对特征提取部分、特征改善部分和检测部分的网络参数进行训练。
[0152]通过本实施例,对设置了特征改善层的神经网络进行训练,其中的特征改善层可 以用于对已经提取出的图像的特征(表现为特征图的形式)进行再次提取和融合,得到表达 能力更强、质量更高的特征图即特征改善图,通过特征改善图,可以更为准确地确定待检测 图像中的目标对象的位置和信息,以提高图像检测的效果和准确性。经过训练的神经网络 能够高效、精准地进行图像检测。
[0153]需要说明的是,本实施例中与前述图像检测实施例中相同或相似的部分在此描述 较为简略,但本领域技术人员应当明了,在具体实现时,可参照前述实施例一或二中的相关 部分实现本实施例中的相关部分,并具有相同的有益效果,在此不再赘述。
[0154]_本实施例的神经网络训练方法可以由任意适当的具有图像或数据处理能力的设 备执行,包括但不限于:摄像头、终端、移动终端、PC机、服务器、车载设备、娱乐设备、广告设 备等。
[0155] 实施例五
[0156] 参照图8,示出了根据本发明实施例五的一种图像检测装置的结构框图。
[0157] 本实施例的图像检测装置包括:获取模块502,用于获取待检测图像的多个特征 图,其中,多个特征图的分辨率不同;生成模块504,用于通过神经网络包括的至少一个特征 改善层中的每个特征改善层按照分辨率从高到低的顺序依次对多个特征图进行特征提取, 将每次特征提取的结果与相邻的后一特征图和/或前一特征图进行特征融合,生成对应的 多个特征改善图;检测模块5〇6,用于使用生成的各特征改善图进行图像检测。
[0158]本实施例的图像检测装置用于实现前述多个方法实施例中相应的图像检测方法, 并具有相应的方法实施例的有益效果,在此不再赘述。
[0159]实施例六
[0160]参照图9,示出了根据本发明实施例六的一种图像检测装置的结构框图。
[0161]本实施例的图像检测装置包括:获取模块602,用于获取待检测图像的多个特征 图,其中,多个特征图的分辨率不同;生成模块604,用于通过神经网络包括的至少一个特征 改善层中的每个特征改善层按照分辨率从高到低的顺序依次对多个特征图进行特征提取, 将每次特征提取的结果与相邻的后一特征图和/或前一特征图进行特征融合,生成对应的 多个特征改善图;检测模块606,用于使用生成的各特征改善图进行图像检测。
[0162]可选地,生成模块6〇4包括:特征提取结果获得子模块6〇42,用于针对每个特征改 善层处理的当如特征图,获得与其相邻的分辨率高的前一特征图的第一特征提取结果,和/ 或,获得与其相邻的分辨率低的后一特征图的第二特征提取结果;特征改善图获得子模块 6044,用于将,得的第一特征提取结果和/或第二特征提取结果,与当前特征图进行特征融 合,获得与当前特征图对应的特征改善图,第一特征提取结果、第二特征提取结果各自的分 辨率分别与当前特征图相同。
[0163]可选地,第一特征提取结果通过特征提取结果获得子模块6〇42对前一特征图进行 卷积和池化处理获得;和/或,第二特征提取结果通过特征提取结果获得子模块6042对后一 特征图进行卷积和上采样处理获得。
[0164]可选地,特征提取结果获得子模块6042包括:第一处理单元60422,用于如果当前 特征图为当前特征改善层处理的首个特征图,则对当前特征图进行卷积和池化处理,获得 第一特征提取结果并后向输出;接收与其相邻的后一特征图经卷积和上采样处理后获得的 第二特征提取结果;和/或,第二处理单元60424,用于如果当前特征图为当前特征改善层处 理的末个特征图,则对当前特征图进行卷积和上采样处理,获得第二特征提取结果并前向 输出;并接收与其相邻的前一特征图经卷积和池化处理后获得的第一特征提取结果;和/ 或,第三处理单元60426,用于如果当前特征图为当前特征改善层处理的非首个且非末个特 征图,则对当前特征图进行卷积和池化处理,获得第一特征提取结果并后向输出;对当前特 征图进行卷积和上采样处理,获得第二特征提取结果并前向输出;并且,接收与其相邻的前 一特征图经卷积和池化处理后获得的第一特征提取结果,以及,接收与其相邻的后一特征 图经卷积和上采样处理后获得的第二特征提取结果。
[0165]可选地,当神经网络包括多个相连的特征改善层时,将前一特征改善层输出的各 个特征改善图作为相邻的后一特征改善层中对应位置的特征图输入;多个特征改善层的神 经网络参数相同。
[0166] 可选地,特征改善层采用递归神经网络结构。
[0167] 可选地,检测模块606包括:第一获取子模块6062,用于获取至少一个特征改善层 生成的对应的至少一组特征改善图,其中,每个特征改善层生成包括多个特征改善图的一 组特征改善图;第二获取子模块6〇64,用于对每组特征改善图进行图像检测,获得对应的至 少一组检测结果;确定子模块6066,用于根据获得的检测结果,确定最终检测结果。
[0168] 可选地,确定子模块6〇66用于根据每组检测结果对应的特征改善层在神经网络中 的位置顺序,确定位置位于设定位置后的多个特征改善层对应的多组检测结果;对多组检 测结果进行平均,根据平均后的结果确定最终检测结果。
[0169] 可选地,检测模块6〇6用于使用生成的各特征改善图进行以下检测至少之一:目标 物体检测、目标物体识别、物体分类。
[0170] 可选地,检测模块606用于当待检测图像为视频帧序列中的各个视频帧时,根据各 视频帧对应的特征改善图进行目标物体的检测;根据各视频帧的检测结果获取目标物体的 fe息。
[0171] 可选地,当待检测图像为实时拍摄的工业物品生产视频帧序列中的各个视频帧 时,目标物体的信息包括工业物品的轨迹信息和/或位置信息;本实施例的图像检测装置还 包括:第一应用模块608,用于在检测模块6〇6根据各视频帧的检测结果获取目标物体的信 息之后,根据轨迹信息和/或位置信息进行目标物体的抓取和/或分拣。
[0172] 可选地,当待检测图像为实时拍摄的路况视频帧序列中的各个视频帧时,目标物 体的信息包括行人和/或车辆的轨迹信息和/或位置信息;本实施例的图像检测装置还包 括:第二应用模块610,用于在检测模块606根据各视频帧的检测结果获取目标物体的信胃 之后,根据轨迹信息和/或位置信息控制车辆的速度和/或方向。
[0173] 可选地,当待检测图像为实时拍摄的场景视频帧序列中的各个视频帧时,目标物 体的彳目息包括目标物体的类别信息和/或位置信息;本实施例的图像检测装置还包括:第三 应用模块612,用于在检测模块6〇6根据各视频帧的检测结果获取目标物体的信息之后,根 据所述类别信息和/或位置信息确定对应的目标对象的类别和/或位置。
[0174]本实施例的图像检测装置用于实现前述多个方法实施例中相应的图像检测方法, 并具有相应的方法实施例的有益效果,在此不再赘述。
[0175] 实施例七
[0176]参照图1〇,示出了根据本发明实施例七的一种神经网络训练装置的结构框图。 [0177]本实施例的神经网络训练装置包括:训练获取模块702,用于获取待训练图像集中 每个待训练图像的多个特征图,其中,多个特征图的分辨率不同;训练生成模块704,用于通 过神经网络包括的至少一个特征改善层中的每个特征改善层按照分辨率从高到低的顺序 依次对多个特征图进行特征提取,将每次特征提取的结果与相邻的后一特征图和/或前一 特征图进行特征融合,生成对应的多个特征改善图;预检测模块706,用于使用生成的各特 征改善图进行图像预检测;参数训练模块708,用于根据图像预检测的结果训练神经网络的 网络参数。
[0178]本实施例的神经网络训练装置用于实现前述多个方法实施例中相应的神经网络 训练方法,并具有相应的方法实施例的有益效果,在此不再赘述。
[0179]实施例八
[0180]参照图11,示出了根据本发明实施例八的一种神经网络训练装置的结构框图。 [0181]本实施例的神经网络训练装置包括:训练获取模块802,用于获取待训练图像集中 每个待训练图像的多个特征图,其中,多个特征图的分辨率不同;训练生成模块8〇4,用于通 过神经网络包括的至少一个特征改善层中的每个特征改善层按照分辨率从高到低的顺序 依次对多个特征图进行特征提取,将每次特征提取的结果与相邻的后一特征图和/或前一 特征图进行特征融合,生成对应的多个特征改善图;预检测模块806,用于使用生成的各特 征改善图进行图像预检测;参数训练模块S08,用于根据图像预检测的结果训练神经网络的 网络参数。
[0182]可选地,训练生成模块804包括:特征提取结果训练获得子模块8042,用于针对每 个特征改善层处理的当前特征图,获得与其相邻的分辨率高的前一特征图的第一特征提取 结果,和/或,获得与其相邻的分辨率低的后一特征图的第二特征提取结果;特征改善图训 练获得子模块8044,用于将获得的第一特征提取结果和/或第二特征提取结果,与当前特征 图进行特征融合,获得与当前特征图对应的特征改善图,第一特征提取结果、第二特征提取 结果各自的分辨率分别与当前特征图相同。
[0183]可选地,第一特征提取结果通过特征提取结果训练获得子模块8042对前一特征图 进行卷积和池化处理获得;和/或,第二特征提取结果通过特征提取结果训练获得子模块 S042对后一特征图进行卷积和上采样处理获得。
[0184]可选地,特征提取结果训练获得子模块8042包括:第一训练处理单元80422,用于 如果当前特征图为当前特征改善层处理的首个特征图,则对当前特征图进行卷积和池化处 理,获得第一特征提取结果并后向输出;接收与其相邻的后一特征图经卷积和上采样处理 后获得的第二特征提取结果;和/或,第二训练处理单元80424,用于如果当前特征图为当前 特征改善层处理的末个特征图,则对当前特征图进行卷积和上采样处理,获得第二特征提 取结果并前向输出;并接收与其相邻的前一特征图经卷积和池化处理后获得的第一特征提 取结果;和/或,第三训练处理单元80426,用于如果当前特征图为当前特征改善层处理的非 首个且非末个特征图,则对当前特征图进行卷积和池化处理,获得第一特征提取结果并后 向输出;对当前特征图进行卷积和上采样处理,获得第二特征提取结果并前向输出;并且, 接收与其相邻的前一特征图经卷积和池化处理后获得的第一特征提取结果,以及,接收与 其相邻的后一特征图经卷积和上采样处理后获得的第二特征提取结果。
[0185]可选地,当神经网络包括多个相连的特征改善层时,将前一特征改善层输出的各 个特征改善图作为相邻的后一特征改善层中对应位置的特征图输入;在一次训练过程中, 多个所述特征改善层的神经网络参数相同。
[0186]可选地,特征改善层采用递归神经网络结构。
[0187]可选地,预检测模块8〇6包括:第一训练获取子模块8〇62,用于获取至少一个特征 改善层生成的对应的至少一组特征改善图,其中,每个特征改善层生成包括多个特征改善 图的一组特征改善图;第二训练获取子模块8064,用于对每组特征改善图进行图像预检测, 获得对应的至少一组预检测结果;训练确定子模块8066,用于根据获得的预检测结果,确定 神经网络当前训练的预检测结果。
[0188]可选地,训练确定子模块8066用于根据每组预检测结果对应的特征改善层在神经 网络中的位置顺序,确定位置位于设定位置后的多个特征改善层对应的多组预检测结果; 对多组预检测结果进行平均,根据平均后的结果确定神经网络当前训练的预检测结果。 [0189]可选地,参数训练模块808用于当神经网络包括多个特征改善层时,根据图像预检 测的结果,同时对多个特征改善层的网络参数进行相同的调整。
[019 0 ]本实施例的神经网络训练装置用于实现前述多个方法实施例中相应的神经网络 训练方法,并具有相应的方法实施例的有益效果,在此不再赘述。
[0191]实施例九
[0192]本发明实施例还提供了一种电子设备,例如可以是移动终端、个人计算机(PC)、平 板电脑、服务器等。下面参考图12,其示出了适于用来实现本发明实施例的终端设备或服务 器的电子设备900的结构示意图。如图12所示,电子设备900包括一个或多个第一处理器、第 一通信元件等,所述一个或多个第一处理器例如:一个或多个中央处理单元(CPU) 901,和/ 或一个或多个图像处理器(GPU) 913等,第一处理器可以根据存储在只读存储器(R0M) 9〇2中 的可执行指令或者从存储部分908加载到随机访问存储器(RAM) 903中的可执行指令而执行 各种适当的动作和处理。本实施例中,第一只读存储器902和随机访问存储器903统称为第 一存储器。第一通信元件包括通信组件912和/或通信接口909。其中,通信组件912可包括但 不限于网卡,所述网卡可包括但不限于IB(Infiniband)网卡,通信接口909包括诸如LAN卡、 调制解调器等的网络接口卡的通信接口,通信接口 9〇9经由诸如因特网的网络执行通信处 理。
[0193]第一处理器可与只读存储器902和/或随机访问存储器903中通信以执行可执行指 令,通过第一通信总线9〇4与通信组件912相连、并经通信组件912与其他目标设备通信,从 而完成本发明实施例提供的任一项图像检测方法对应的操作,例如,获取待检测图像的多 个特征图,其中,多个特征图的分辨率不同;通过神经网络包括的至少一个特征改善层中的 每个特征改善层按照分辨率从高到低的顺序依次对多个特征图进行特征提取,将每次特征 提取的结果与相邻的后一特征图和/或前一特征图进行特征融合,生成对应的多个特征改 善图;使用生成的各特征改善图进行图像检测;或者,完成本发明实施例提供的任一项神经 网络训练方法对应的操作,例如,获取待训练图像集中每个待训练图像的多个特征图,其 中,多个特征图的分辨率不同;通过神经网络包括的至少一个特征改善层中的每个特征改 善层按照分辨率从高到低的顺序依次对多个特征图进行特征提取,将每次特征提取的结果 与相邻的后一特征图和/或前一特征图进行特征融合,生成对应的多个特征改善图;使用生 成的各特征改善图进行图像预检测;根据图像预检测的结果训练神经网络的网络参数。
[0194] 此外,在RAM 903中,还可存储有装置操作所需的各种程序和数据。CPU901或 GPU913、ROM9〇2以及RAM903通过第一通信总线904彼此相连。在有RAM903的情况下,ROM902 为可选模块。RAM903存储可执行指令,或在运行时向ROM902中写入可执行指令,可执行指令 使第一处理器执行上述通信方法对应的操作。输入/输出(I/O)接口905也连接至第一通信 总线904。通信组件犯2可以集成设置,也可以设置为具有多个子模块(例如多个IB网卡),并 在通信总线链接上。
[0195] 以下部件连接至I/O接口 905:包括键盘、鼠标等的输入部分906;包括诸如阴极射 线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907;包括硬盘等的存储部分908; 以及包括诸如LAN卡、调制解调器等的网络接口卡的通信接口 909。驱动器910也根据需要连 接至I/O接口905。可拆卸介质911,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安 装在驱动器910上,以便于从其上读出的计算机程序根据需要被安装入存储部分908。
[0196]需要说明的,如图12所示的架构仅为一种可选实现方式,在具体实践过程中,可根 据实际需要对上述图12的部件数量和类型进行选择、删减、增加或替换;在不同功能部件设 置上,也可采用分离设置或集成设置等实现方式,例如GPU和CPU可分离设置或者可将GPU集 成在CPU上,通信元件可分离设置,也可集成设置在CPU或GHJ上,等等。这些可替换的实施方 式均落入本发明的保护范围。
[0197] 特别地,根据本发明实施例,上文参考流程图描述的过程可以被实现为计算机软 件程序。例如,本发明实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质 上的计算机程序,计算机程序包含用于执行流程图所示的方法的程序代码,程序代码可包 括对应执行本发明实施例提供的方法步骤对应的指令,例如,获取待检测图像的多个特征 图,其中,多个特征图的分辨率不同;通过神经网络包括的至少一个特征改善层中的每个特 征改善层按照分辨率从高到低的顺序依次对多个特征图进行特征提取,将每次特征提取的 结果与相邻的后一特征图和/或前一特征图进行特征融合,生成对应的多个特征改善图;使 用生成的各特征改善图进行图像检测;或者,例如,获取待训练图像集中每个待训练图像的 多个特征图,其中,多个特征图的分辨率不同;通过神经网络包括的至少一个特征改善层中 的每个特征改善层按照分辨率从高到低的顺序依次对多个特征图进行特征提取,将每次特 征提取的结果与相邻的后一特征图和/或前一特征图进行特征融合,生成对应的多个特征 改善图;使用生成的各特征改善图进行图像预检测;根据图像预检测的结果训练神经网络 的网络参数。在这样的实施例中,该计算机程序可以通过通信元件从网络上被下载和安装, 和/或从可拆卸介质911被安装。在该计算机程序被第一处理器执行时,执行本发明实施例 的方法中限定的上述功能。
[0198] 可能以许多方式来实现本发明的方法和装置、设备。例如,可通过软件、硬件、固件 或者软件、硬件、固件的任何组合来实现本发明实施例的方法和装置、设备。用于方法的步 骤的上述顺序仅是为了进行说明,本发明实施例的方法的步骤不限于以上具体描述的顺 序,除非以其它方式特别说明。此外,在一些实施例中,还可将本发明实施为记录在记录介 质中的程序,这些程序包括用于实现根据本发明实施例的方法的机器可读指令。因而,本发 明还覆盖存储用于执行根据本发明实施例的方法的程序的记录介质。
[0199]本发明实施例的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将 本发明限于所公开的形式,很多修改和变化对于本领域的普通技术人员而言是显然的。选 择和描述实施例是为了更好说明本发明的原理和实际应用,并且使本领域的普通技术人员 能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种图像检测方法,包括: 获取待检测图像的多个特征图,其中,多个特征图的分辨率不同; 通过神经网络包括的至少一个特征改善层中的每个特征改善层按照分辨率从高到低 的顺序依次对多个特征图进行特征提取,将每次特征提取的结果与相邻的后一特征图和/ 或前一特征图进行特征融合,生成对应的多个特征改善图; 使用生成的各特征改善图进行图像检测。
2.根据权利要求1所述的方法,其中,针对每个特征改善层,所述按照分辨率从高到低 的顺序依次对多个特征图进行特征提取,将每次特征提取的结果与相邻的后一特征图和/ 或前一特征图进行特征融合,生成对应的多个特征改善图,包括: 针对当前特征图,获得与其相邻的分辨率高的前一特征图的第一特征提取结果,和/ 或,获得与其相邻的分辨率低的后一特征图的第二特征提取结果; K 将获得的第一特征提取结果和/或第二特征提取结果,与当前特征图进行特征融合,获 得与当前特征图对应的特征改善图,所述第一特征提取结果、所述第二特征提取结果各自 的分辨率分别与所述当前特征图相同。 一 3•根据权利要求2所述的方法,其中,所述第一特征提取结果通过对所述前一特征图进 行卷积和池化处理获得;和/或,所述第二特征提取结果通过对所述后一特征图进行卷积和 上采样处理获得。
4.根据权利要求2或3所述的方法,其中,所述针对当前特征图,获得与其相邻的分辨率 高的前一特征图的第一特征提取结果,和/或,获得与其相邻的分辨率低的后一特征图的第 二特征提取结果,包括: 如果所述当前特征图为当前特征改善层处理的首个特征图,则对当前特征图进行卷积 和池化处理,获得第一特征提取结果并后向输出;接收与其相邻的后一特征图经卷积和上 采样处理后获得的第二特征提取结果; 和/或, 如果所述当前特征图为当前特征改善层处理的末个特征图,则对当前特征图进行卷积 和上米样处理,获得第二特征提取结果并前向输出;并接收与其相邻的前一特征图经卷积 和池化处理后获得的第一特征提取结果; 和/或, 如果所述当前特征图为当前特征改善层处理的非首个且非末个特征图,则对当前特征 ^进行卷积和池化处理,获得第一特征提取结果并后向输出;对当前特征图进行卷积和上 采样处理,获得第二特征提取结果并前向输出;并且,接收与其相邻的前一特征图经卷积和 池化处理后获得的第一特征提取结果,以及,接收与其相邻的后一特征图经卷积和上采样 处理后获得的第二特征提取结果。
5.根据权利要求1-4任一项所述的方法,其中,当所述神经网络包括多个相连的特征改 善层时,将前一特征改善层输出的各个特征改善图作为相邻的后一特征改善层中对应位置 的特征图输入•,多个所述特征改善层的神经网络参数相同。
6.根据权利要求I-5任一项所述的方法,其中,所述特征改善层采用递归神经网络结 构。
7.—种神经网络训练方法,包括: 获取待训练图像集中每个待训练图像的多个特征图,其中,多个特征图的分辨率不同. 通过神经网络包括的至少一个特征改善层中的每个特征改善层按照分辨率从高到低 的顺序依次对多个特征图进行特征提取,将每次特征提取的结果与相邻的后一特征图和/ 或前一特征图进行特征融合,生成对应的多个特征改善图; 使用生成的各特征改善图进行图像预检测; 根据图像预检测的结果训练所述神经网络的网络参数。
8.—种图像检测装置,包括: 获取模块,用于获取待检测图像的多个特征图,其中,多个特征图的分辨率不同; 生成模块,用于通过神经网络包括的至少一个特征改善层中的每个特征改善层按照分 辨率从高到低的顺序依次对多个特征图进行特征提取,将每次特征提取的结果与相邻的后 一特征图和/或前一特征图进行特征融合,生成对应的多个特征改善图; 检测模块,用于使用生成的各特征改善图进行图像检测。
9. 一种神经网络训练装置,包括: 训练获取模块,用于获取待训练图像集中每个待训练图像的多个特征图,其中,多个特 征图的分辨率不同; 训练生成模块,用于通过神经网络包括的至少一个特征改善层中的每个特征改善层按 照分辨率从高到低的顺序依次对多个特征图进行特征提取,将每次特征提取的结果与相邻 的后一特征图和/或前一特征图进行特征融合,生成对应的多个特征改善图; 预检测模块,用于使用生成的各特征改善图进行图像预检测; 参数训练模块,用于根据图像预检测的结果训练所述神经网络的网络参数。
10. —种电子设备,包括:处理器、存储器、通信元件和通信总线,所述处理器、所述存储 器和所述通信元件通过所述通信总线完成相互间的通信; 所述存储器用于存放至少一可执行指令,所述可执行指令使所述处理器执行如权利要 求1-6任一所述图像检测方法对应的操作;或者,执行如权利要求7所述神经网络训练方法 对应的操作。
CN201710239189.3A 2017-04-13 2017-04-13 图像检测、神经网络训练方法、装置和电子设备 Active CN108229523B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710239189.3A CN108229523B (zh) 2017-04-13 2017-04-13 图像检测、神经网络训练方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710239189.3A CN108229523B (zh) 2017-04-13 2017-04-13 图像检测、神经网络训练方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN108229523A true CN108229523A (zh) 2018-06-29
CN108229523B CN108229523B (zh) 2021-04-06

Family

ID=62656525

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710239189.3A Active CN108229523B (zh) 2017-04-13 2017-04-13 图像检测、神经网络训练方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN108229523B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376627A (zh) * 2018-10-10 2019-02-22 北京飞搜科技有限公司 一种基于深度学习的人脸检测方法,装置和设备
CN109726803A (zh) * 2019-01-10 2019-05-07 广州小狗机器人技术有限公司 池化方法、图像处理方法及装置
CN109726739A (zh) * 2018-12-04 2019-05-07 深圳大学 一种目标检测方法和系统
CN109816037A (zh) * 2019-01-31 2019-05-28 北京字节跳动网络技术有限公司 提取图像的特征图的方法和装置
CN109815964A (zh) * 2019-01-31 2019-05-28 北京字节跳动网络技术有限公司 提取图像的特征图的方法和装置
CN109816036A (zh) * 2019-01-31 2019-05-28 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109840528A (zh) * 2019-01-31 2019-06-04 北京字节跳动网络技术有限公司 提取图像的特征图的方法和装置
CN109886951A (zh) * 2019-02-22 2019-06-14 北京旷视科技有限公司 视频处理方法、装置及电子设备
CN110472670A (zh) * 2019-07-24 2019-11-19 上海联影智能医疗科技有限公司 图像中线检测方法、计算机设备和存储介质
US10699168B1 (en) 2018-12-29 2020-06-30 Alibaba Group Holding Limited Computer-executed method and apparatus for assessing vehicle damage
WO2021036668A1 (zh) * 2019-08-27 2021-03-04 北京灵汐科技有限公司 神经网络的全局池化方法及众核系统
US11068752B2 (en) 2019-10-31 2021-07-20 General Electric Company Inspection systems and methods including image classification module

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537387A (zh) * 2014-12-16 2015-04-22 广州中国科学院先进技术研究所 利用神经网络实现车型分类的方法和系统
CA2894317A1 (en) * 2015-06-15 2016-12-15 Deep Genomics Incorporated Systems and methods for classifying, prioritizing and interpreting genetic variants and therapies using a deep neural network
CN106485268A (zh) * 2016-09-27 2017-03-08 东软集团股份有限公司 一种图像识别方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537387A (zh) * 2014-12-16 2015-04-22 广州中国科学院先进技术研究所 利用神经网络实现车型分类的方法和系统
CA2894317A1 (en) * 2015-06-15 2016-12-15 Deep Genomics Incorporated Systems and methods for classifying, prioritizing and interpreting genetic variants and therapies using a deep neural network
CN106485268A (zh) * 2016-09-27 2017-03-08 东软集团股份有限公司 一种图像识别方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
GOLNAZ GHIASI等: "Laplacian Reconstruction and Refinement for Semantic Segmentation", 《EUROPEAN CONFERENCE ON COMPUTER VISION》 *
TAO KONG: "HyperNet:towards accurate region proposal generation and joint object detection", 《2016 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
欧先锋等: "基于CNN的车牌数字字符识别算法", 《成都工业学院学报》 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376627A (zh) * 2018-10-10 2019-02-22 北京飞搜科技有限公司 一种基于深度学习的人脸检测方法,装置和设备
CN109726739A (zh) * 2018-12-04 2019-05-07 深圳大学 一种目标检测方法和系统
WO2020139743A1 (en) * 2018-12-29 2020-07-02 Alibaba Group Holding Limited Computer-executed method and apparatus for assessing vehicle damage
US10699168B1 (en) 2018-12-29 2020-06-30 Alibaba Group Holding Limited Computer-executed method and apparatus for assessing vehicle damage
US10885397B2 (en) 2018-12-29 2021-01-05 Advanced New Technologies Co., Ltd. Computer-executed method and apparatus for assessing vehicle damage
CN109726803A (zh) * 2019-01-10 2019-05-07 广州小狗机器人技术有限公司 池化方法、图像处理方法及装置
CN109816036B (zh) * 2019-01-31 2021-08-27 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109840528A (zh) * 2019-01-31 2019-06-04 北京字节跳动网络技术有限公司 提取图像的特征图的方法和装置
CN109816036A (zh) * 2019-01-31 2019-05-28 北京字节跳动网络技术有限公司 图像处理方法和装置
CN109815964A (zh) * 2019-01-31 2019-05-28 北京字节跳动网络技术有限公司 提取图像的特征图的方法和装置
CN109816037A (zh) * 2019-01-31 2019-05-28 北京字节跳动网络技术有限公司 提取图像的特征图的方法和装置
CN109886951A (zh) * 2019-02-22 2019-06-14 北京旷视科技有限公司 视频处理方法、装置及电子设备
CN110472670A (zh) * 2019-07-24 2019-11-19 上海联影智能医疗科技有限公司 图像中线检测方法、计算机设备和存储介质
WO2021036668A1 (zh) * 2019-08-27 2021-03-04 北京灵汐科技有限公司 神经网络的全局池化方法及众核系统
US11068752B2 (en) 2019-10-31 2021-07-20 General Electric Company Inspection systems and methods including image classification module

Also Published As

Publication number Publication date
CN108229523B (zh) 2021-04-06

Similar Documents

Publication Publication Date Title
CN108229523A (zh) 图像检测、神经网络训练方法、装置和电子设备
Bulat et al. Human pose estimation via convolutional part heatmap regression
Yuliang et al. Detecting curve text in the wild: New dataset and new solution
CN107506722A (zh) 一种基于深度稀疏卷积神经网络人脸情感识别方法
CN107742107B (zh) 人脸图像分类方法、装置及服务器
CN107945153A (zh) 一种基于深度学习的路面裂缝检测方法
CN108229490A (zh) 关键点检测方法、神经网络训练方法、装置和电子设备
CN107122375A (zh) 基于图像特征的图像主体的识别方法
CN108229267A (zh) 对象属性检测、神经网络训练、区域检测方法和装置
CN104933428B (zh) 一种基于张量描述的人脸识别方法及装置
Ahmed et al. Facial expression recognition using convolutional neural network with data augmentation
Che et al. How is gaze influenced by image transformations? dataset and model
CN108197636A (zh) 一种基于深度多视点特征的稻谷检测和分类方法
CN108154102A (zh) 一种道路交通标志识别方法
CN106874913A (zh) 一种菜品检测方法
CN108665005A (zh) 一种利用dcgan提高基于cnn图像识别性能的方法
CN109377441A (zh) 具有隐私保护功能的舌像采集方法和系统
Wang et al. Multiscale deep alternative neural network for large-scale video classification
CN108229341A (zh) 分类方法和装置、电子设备、计算机存储介质、程序
Tang et al. Learning semantics-preserving attention and contextual interaction for group activity recognition
CN109063719A (zh) 一种联合结构相似性和类信息的图像分类方法
CN110414344A (zh) 一种基于视频的人物分类方法、智能终端及存储介质
Yang et al. Attention inspiring receptive-fields network for learning invariant representations
CN109657582A (zh) 人脸情绪的识别方法、装置、计算机设备及存储介质
Arikan et al. Surface defect classification in real-time using convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant