CN108230294B - 图像检测方法、装置、电子设备和存储介质 - Google Patents

图像检测方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN108230294B
CN108230294B CN201710448251.XA CN201710448251A CN108230294B CN 108230294 B CN108230294 B CN 108230294B CN 201710448251 A CN201710448251 A CN 201710448251A CN 108230294 B CN108230294 B CN 108230294B
Authority
CN
China
Prior art keywords
image
category
generating
sub
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710448251.XA
Other languages
English (en)
Other versions
CN108230294A (zh
Inventor
王哲
石建萍
李鸿升
王晓刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201710448251.XA priority Critical patent/CN108230294B/zh
Priority to PCT/CN2018/090680 priority patent/WO2018228336A1/zh
Publication of CN108230294A publication Critical patent/CN108230294A/zh
Priority to US16/457,317 priority patent/US11200416B2/en
Application granted granted Critical
Publication of CN108230294B publication Critical patent/CN108230294B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Mathematical Physics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Probability & Statistics with Applications (AREA)
  • Operations Research (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本申请实施例提供了一种图像检测方法、装置、电子设备和存储介质，其中，所述图像类别检测方法包括：对第二图像进行降采样获得第一图像；确定所述第二图像中相对类别检测的至少一个关键子区；分别提取所述第一图像和各关键子区的特征；至少基于提取的各特征生成所述第二图像的类别检测结果。本申请实施例，一方面，避免了直接对高分辨率的第二图像进行类别检测，降低了计算量，节省了硬件计算资源，有利于提高运算速度和并发处理量；另一方面，避免了直接依据对高分辨率降采样而得的低分辨率图进行类别检测而导致的关键信息丢失，由此提高了对高分辨率的第二图像进行类别检测的准确性。

Description

图像检测方法、装置、电子设备和存储介质
技术领域
本申请实施例涉及计算机视觉技术领域，尤其涉及一种图像类别检测方法、装置，一种医疗图像检测方法、装置，电子设备和存储介质。
背景技术
近年来，随着计算机视觉技术的普及与发展，利用计算机检测医学图像中的病灶区域为医生和病患提供了有意义的诊断参考意见。例如，糖尿病视网膜病变是一种由糖尿病引起的眼病，是目前工作年龄人群里致盲的主要病因之一。如能在早期得到治疗，患者的视力减退可以有效减缓甚至停止。然而，糖尿病视网膜病变没有早期症状，诊断过程需要验光师花费很多时间检查眼底视网膜图片。因此，有效的治疗往往来的太慢。为了减少医生的工作量，运用图像分析来做诊断的算法在近年来不断提出。由于视网膜图像的分辨率往往很大，可达3000*4000，因此在利用计算机视觉技术进行图像分析时通常是将视网膜图像的分辨率缩小后再进行病变检测。
发明内容
本申请实施例提供了图像检测技术方案。
根据本申请实施例的第一方面，提供了一种图像类别检测方法，包括：对第二图像进行降采样获得第一图像；确定所述第二图像中相对类别检测的至少一个关键子区；分别提取所述第一图像和各关键子区的特征；至少基于提取的各特征生成所述第二图像的类别检测结果。
可选地，所述第二图像的类别检测结果包括以下至少之一：所述第二图像所属的类别，所述第二图像分别属于预定类别的概率。
可选地，所述第二图像的类别检测结果还包括以下至少之一：所述至少一个关键子区，所述至少一个关键子区的位置信息。
可选地，确定所述第二图像中相对类别检测的至少一个关键子区，包括：根据所述第二图像的标注信息，确定所述第二图像中相对类别检测的至少一个关键子区；或者，确定所述第二图像中与至少一个预定位置对应的区域为所述至少一个关键子区。
可选地，确定所述第二图像中相对类别检测的至少一个关键子区，包括：基于所述第一图像的特征并通过注意力神经网络生成所述第一图像的注意力图；确定所述注意力图中的注意力响应最强的区域为第一子区；在所述第二图像中确定与所述第一子区对应的区域为所述关键子区。
可选地，确定所述第二图像中相对类别检测的至少一个关键子区，包括：基于所述第一图像的特征并通过注意力神经网络生成所述第一图像的注意力图；基于所述第一图像的特征并通过类别评分神经网络生成所述第一图像的类别得分图；基于所述注意力图和所述类别得分图生成所述第一图像的门限注意力图；根据所述门限注意力图中不同区域的注意力响应强度的强弱顺序，确定注意力响应强度由强到弱排序的至少一个第一子区；在所述第二图像中确定与所述至少一个第一子区对应的区域为所述至少一个关键子区。
可选地，基于所述注意力图和所述类别得分图生成所述第一图像的门限注意力图，包括：点乘所述注意力图和所述类别得分图，得到所述门限注意力图。
可选地，所述至少基于提取的各特征生成所述第二图像的类别检测结果，包括：基于所述第一图像的特征生成第一特征向量；基于各关键子区的特征生成第二特征向量；拼接所述第一特征向量和第二特征向量；基于拼接后的特征向量生成拼接内容相对预定类别的第二类别得分向量，其中，所述拼接内容包括所述第一图像和各关键子区；至少根据所述第二类别得分向量生成所述第二图像的类别检测结果。
可选地，至少根据所述第二类别得分向量生成所述第二图像的类别检测结果，包括：基于所述第一特征向量生成所述第一图像相对预定类别的第一类别得分向量；至少根据所述第一类别得分向量和所述第二类别得分向量，生成所述第二图像的类别检测结果。
可选地，至少根据所述第二类别得分向量生成所述第二图像的类别检测结果，包括：基于所述注意力图生成所述第一图像相对预定类别的第三类别得分向量；至少根据所述第三类别得分向量和所述第二类别得分向量，生成所述第二图像的类别检测结果。
可选地，至少根据所述第三类别得分向量和所述第二类别得分向量，生成所述第二图像的类别检测结果，包括：基于所述第一特征向量生成所述第一图像相对预定类别的第一类别得分向量；根据所述第一类别得分向量、所述第二类别得分向量和所述第三类别得分向量，生成所述第二图像的类别检测结果。
可选地，至少根据所述第二类别得分向量生成所述第二图像的类别检测结果，包括：基于所述门限注意力图生成所述第一图像相对预定类别的第四类别得分向量；至少根据所述第四类别得分向量和所述第二类别得分向量，生成所述第二图像的类别检测结果。
可选地，至少根据所述第四类别得分向量和所述第二类别得分向量，生成所述第二图像的类别检测结果，包括：基于所述第一特征向量生成所述第一图像相对预定类别的第一类别得分向量；根据所述第一类别得分向量、所述第二类别得分向量和所述第四类别得分向量，生成所述第二图像的类别检测结果。
根据本申请实施例的第二方面，还提供了一种医疗图像检测方法，包括：对第二医疗图像进行降采样获得第一医疗图像；确定所述第二医疗图像中相对预定病症等级检测的至少一个关键子区；分别提取所述第一医疗图像和各关键子区的特征；至少基于提取的各特征生成所述第二医疗图像的病症诊断结果。
可选地，所述第二医疗图像的病症诊断结果包括以下至少之一：所述第二医疗图像所属的病症等级，所述第二医疗图像分别属于预定病症等级的概率。
可选地，所述第二医疗图像的病症诊断结果还包括以下至少之一：所述至少一个关键子区，所述至少一个关键子区的位置信息。
可选地，确定所述第二医疗图像中相对预定病症等级检测的至少一个关键子区，包括：根据所述第二医疗图像的标注信息，确定所述第二医疗图像中相对预定病症等级检测的至少一个关键子区；或者，确定所述第二医疗图像中与至少一个预定位置对应的区域为所述至少一个关键子区。
可选地，确定所述第二医疗图像中相对预定病症等级检测的至少一个关键子区，包括：基于所述第一医疗图像的特征并通过注意力神经网络生成所述第一医疗图像的注意力图；确定所述注意力图中的注意力响应最强的区域为第一子区；在所述第二医疗图像中确定与所述第一子区对应的区域为所述关键子区。
可选地，确定所述第二医疗图像中相对预定病症等级检测的至少一个关键子区，包括：基于所述第一医疗图像的特征并通过注意力神经网络生成所述第一医疗图像的注意力图；基于所述第一医疗图像的特征并通过病症等级评分神经网络生成所述第一医疗图像的病症等级得分图；基于所述注意力图和所述病症等级得分图生成所述第一医疗图像的门限注意力图；根据所述门限注意力图中不同区域的注意力响应强度的强弱顺序，确定注意力响应强度由强到弱排序的至少一个第一子区；在所述第二医疗图像中确定与所述至少一个第一子区对应的区域为所述至少一个关键子区。
可选地，基于所述注意力图和所述病症等级得分图生成所述第一医疗图像的门限注意力图，包括：点乘所述注意力图和所述病症等级得分图，得到所述门限注意力图。
可选地，所述至少基于提取的各特征生成所述第二医疗图像的病症诊断结果，包括：基于所述第一医疗图像的特征生成第一特征向量；基于各关键子区的特征生成第二特征向量；拼接所述第一特征向量和第二特征向量；基于拼接后的特征向量生成拼接内容相对预定病症等级的第二病症等级得分向量，其中，所述拼接内容包括所述第一医疗图像和各关键子区；至少根据所述第二病症等级得分向量生成所述第二医疗图像的病症诊断结果。
可选地，至少根据所述第二病症等级得分向量生成所述第二医疗图像的病症诊断结果，包括：基于所述第一特征向量生成所述第一医疗图像相对预定病症等级的第一病症等级得分向量；至少根据所述第一病症等级得分向量和所述第二病症等级得分向量，生成所述第二医疗图像的病症诊断结果。
可选地，至少根据所述第二病症等级得分向量生成所述第二医疗图像的病症诊断结果，包括：基于所述注意力图生成所述第一医疗图像相对预定病症等级的第三病症等级得分向量；至少根据所述第三病症等级得分向量和所述第二病症等级得分向量，生成所述第二医疗图像的病症诊断结果。
可选地，至少根据所述第三病症等级得分向量和所述第二病症等级得分向量，生成所述第二医疗图像的病症诊断结果，包括：基于所述第一特征向量生成所述第一医疗图像相对预定病症等级的第一病症等级得分向量；根据所述第一病症等级得分向量、所述第二病症等级得分向量和所述第三病症等级得分向量，生成所述第二医疗图像的病症诊断结果。
可选地，至少根据所述第二病症等级得分向量生成所述第二医疗图像的病症诊断结果，包括：基于所述门限注意力图生成所述第一医疗图像相对预定病症等级的第四病症等级得分向量；至少根据所述第四病症等级得分向量和所述第二病症等级得分向量，生成所述第二医疗图像的病症诊断结果。
可选地，至少根据所述第四病症等级得分向量和所述第二病症等级得分向量，生成所述第二医疗图像的病症诊断结果，包括：基于所述第一特征向量生成所述第一医疗图像相对预定病症等级的第一病症等级得分向量；根据所述第一病症等级得分向量、所述第二病症等级得分向量和所述第四病症等级得分向量，生成所述第二医疗图像的病症诊断结果。
根据本申请实施例的第三方面，还提供了一种图像类别检测装置，包括：降采样模块，用于对第二图像进行降采样获得第一图像；确定模块，用于确定所述第二图像中相对类别检测的至少一个关键子区；提取模块，用于分别提取所述第一图像和各关键子区的特征；生成模块，用于至少基于提取的各特征生成所述第二图像的类别检测结果。
可选地，所述第二图像的类别检测结果包括以下至少之一：所述第二图像所属的类别，所述第二图像分别属于预定类别的概率。
可选地，所述第二图像的类别检测结果还包括以下至少之一：所述至少一个关键子区，所述至少一个关键子区的位置信息。
可选地，所述确定模块，用于根据所述第二图像的标注信息，确定所述第二图像中相对类别检测的至少一个关键子区；或者，确定所述第二图像中与至少一个预定位置对应的区域为所述至少一个关键子区。
可选地，所述确定模块，包括：注意力图生成子模块，用于基于所述第一图像的特征并通过注意力神经网络生成所述第一图像的注意力图；第一子区确定子模块，用于确定所述注意力图中的注意力响应最强的区域为第一子区；关键子区确定子模块，用于在所述第二图像中确定与所述第一子区对应的区域为所述关键子区。
可选地，所述确定模块，包括：注意力图生成子模块，用于基于所述第一图像的特征并通过注意力神经网络生成所述第一图像的注意力图；类别得分图生成子模块，用于基于所述第一图像的特征并通过类别评分神经网络生成所述第一图像的类别得分图；门限注意力图生成子模块，用于基于所述注意力图和所述类别得分图生成所述第一图像的门限注意力图；第一子区确定子模块，用于根据所述门限注意力图中不同区域的注意力响应强度的强弱顺序，确定注意力响应强度由强到弱排序的至少一个第一子区；关键子区确定子模块，用于在所述第二图像中确定与所述至少一个第一子区对应的区域为所述至少一个关键子区。
可选地，所述门限注意力图生成子模块，用于点乘所述注意力图和所述类别得分图，得到所述门限注意力图。
可选地，所述生成模块，包括：第一特征向量生成子模块，用于基于所述第一图像的特征生成第一特征向量；第二特征向量生成子模块，用于基于各关键子区的特征生成第二特征向量；拼接子模块，用于拼接所述第一特征向量和第二特征向量；第二类别得分向量生成子模块，用于基于拼接后的特征向量生成拼接内容相对预定类别的第二类别得分向量，其中，所述拼接内容包括所述第一图像和各关键子区；类别检测结果生成子模块，用于至少根据所述第二类别得分向量生成所述第二图像的类别检测结果。
可选地，所述类别检测结果生成子模块，用于基于所述第一特征向量生成所述第一图像相对预定类别的第一类别得分向量；至少根据所述第一类别得分向量和所述第二类别得分向量，生成所述第二图像的类别检测结果。
可选地，所述类别检测结果生成子模块，用于基于所述注意力图生成所述第一图像相对预定类别的第三类别得分向量；至少根据所述第三类别得分向量和所述第二类别得分向量，生成所述第二图像的类别检测结果。
可选地，所述类别检测结果生成子模块，用于基于所述第一特征向量生成所述第一图像相对预定类别的第一类别得分向量；根据所述第一类别得分向量、所述第二类别得分向量和所述第三类别得分向量，生成所述第二图像的类别检测结果。
可选地，所述类别检测结果生成子模块，用于基于所述门限注意力图生成所述第一图像相对预定类别的第四类别得分向量；至少根据所述第四类别得分向量和所述第二类别得分向量，生成所述第二图像的类别检测结果。
可选地，所述类别检测结果生成子模块，用于基于所述第一特征向量生成所述第一图像相对预定类别的第一类别得分向量；根据所述第一类别得分向量、所述第二类别得分向量和所述第四类别得分向量，生成所述第二图像的类别检测结果。
根据本申请实施例的第四方面，还提供了一种医疗图像检测装置，包括：降采样模块，用于对第二医疗图像进行降采样获得第一医疗图像；确定模块，用于确定所述第二医疗图像中相对预定病症等级检测的至少一个关键子区；提取模块，用于分别提取所述第一医疗图像和各关键子区的特征；生成模块，用于至少基于提取的各特征生成所述第二医疗图像的病症诊断结果。
可选地，所述第二医疗图像的病症诊断结果包括以下至少之一：所述第二医疗图像所属的病症等级，所述第二医疗图像分别属于预定病症等级的概率。
可选地，所述第二医疗图像的病症诊断结果还包括以下至少之一：所述至少一个关键子区，所述至少一个关键子区的位置信息。
可选地，所述确定模块，用于根据所述第二医疗图像的标注信息，确定所述第二医疗图像中相对预定病症等级检测的至少一个关键子区；或者，确定所述第二医疗图像中与至少一个预定位置对应的区域为所述至少一个关键子区。
可选地，所述确定模块，包括：注意力图生成子模块，用于基于所述第一医疗图像的特征并通过注意力神经网络生成所述第一医疗图像的注意力图；第一子区确定子模块，用于确定所述注意力图中的注意力响应最强的区域为第一子区；关键子区确定子模块，用于在所述第二医疗图像中确定与所述第一子区对应的区域为所述关键子区。
可选地，所述确定模块，包括：注意力图生成子模块，用于基于所述第一医疗图像的特征并通过注意力神经网络生成所述第一医疗图像的注意力图；病症等级得分图生成子模块，用于基于所述第一医疗图像的特征并通过病症等级评分神经网络生成所述第一医疗图像的病症等级得分图；门限注意力图生成子模块，用于基于所述注意力图和所述病症等级得分图生成所述第一医疗图像的门限注意力图；第一子区确定子模块，用于根据所述门限注意力图中不同区域的注意力响应强度的强弱顺序，确定注意力响应强度由强到弱排序的至少一个第一子区；关键子区确定子模块，用于在所述第二医疗图像中确定与所述至少一个第一子区对应的区域为所述至少一个关键子区。
可选地，所述门限注意力图生成子模块，用于点乘所述注意力图和所述病症等级得分图，得到所述门限注意力图。
可选地，所述生成模块，包括：第一特征向量生成子模块，用于基于所述第一医疗图像的特征生成第一特征向量；第二特征向量生成子模块，用于基于各关键子区的特征生成第二特征向量；拼接子模块，用于拼接所述第一特征向量和第二特征向量；第二病症等级得分向量生成子模块，用于基于拼接后的特征向量生成拼接内容相对预定病症等级的第二病症等级得分向量，其中，所述拼接内容包括所述第一医疗图像和各关键子区；病症诊断结果生成子模块，用于至少根据所述第二病症等级得分向量生成所述第二医疗图像的病症诊断结果。
可选地，所述病症诊断结果生成子模块，用于基于所述第一特征向量生成所述第一医疗图像相对预定病症等级的第一病症等级得分向量；至少根据所述第一病症等级得分向量和所述第二病症等级得分向量，生成所述第二医疗图像的病症诊断结果。
可选地，所述病症诊断结果生成子模块，用于基于所述注意力图生成所述第一医疗图像相对预定病症等级的第三病症等级得分向量；至少根据所述第三病症等级得分向量和所述第二病症等级得分向量，生成所述第二医疗图像的病症诊断结果。
可选地，所述病症诊断结果生成子模块，用于基于所述第一特征向量生成所述第一医疗图像相对预定病症等级的第一病症等级得分向量；根据所述第一病症等级得分向量、所述第二病症等级得分向量和所述第三病症等级得分向量，生成所述第二医疗图像的病症诊断结果。
可选地，所述病症诊断结果生成子模块，用于基于所述门限注意力图生成所述第一医疗图像相对预定病症等级的第四病症等级得分向量；至少根据所述第四病症等级得分向量和所述第二病症等级得分向量，生成所述第二医疗图像的病症诊断结果。
可选地，所述病症诊断结果生成子模块，用于基于所述第一特征向量生成所述第一医疗图像相对预定病症等级的第一病症等级得分向量；根据所述第一病症等级得分向量、所述第二病症等级得分向量和所述第四病症等级得分向量，生成所述第二医疗图像的病症诊断结果。
根据本申请实施例的第五方面，还提供了一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第一方面所述的图像类别检测方法对应的操作。
根据本申请实施例的第六方面，还提供了一种电子设备，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如第二方面所述的医疗图像检测方法对应的操作。
根据本申请实施例的第七方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有：用于对第二图像进行降采样获得第一图像的可执行指令；用于确定所述第二图像中相对类别检测的至少一个关键子区的可执行指令；用于分别提取所述第一图像和各关键子区的特征的可执行指令；用于至少基于提取的各特征生成所述第二图像的类别检测结果的可执行指令。
根据本申请实施例的第八方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有：用于对第二医疗图像进行降采样获得第一医疗图像的可执行指令；用于确定所述第二医疗图像中相对预定病症等级检测的至少一个关键子区的可执行指令；用于分别提取所述第一医疗图像和各关键子区的特征的可执行指令；用于至少基于提取的各特征生成所述第二医疗图像的病症诊断结果的可执行指令。
本申请实施例提供的技术方案，一方面，分别提取低分辨率的第一图像的特征和高分辨率的第二图像的各关键子区的特征，至少基于提取的各特征生成高分辨率的第二图像的类别检测结果，实现结合低分辨率的第一图像的特征和高分辨率的关键子区的特征对高分辨率的第二图像进行类别检测，避免了直接对高分辨率的第二图像进行类别检测，降低了计算量，节省了硬件计算资源，有利于提高运算速度和并发处理量；另一方面，确定高分辨率的第二图像中的关键子区，保留了高分辨率的第二图像中对类别检测起关键或重要作用的信息，再结合高分辨率的关键子区的特征和低分辨率的第一图像的特征生成高分辨率的第二图像的类别检测结果，避免了直接依据对高分辨率降采样而得的低分辨率图进行类别检测而导致的关键信息丢失，由此提高了对高分辨率的第二图像进行类别检测的准确性。
根据本申请实施例中的技术方案对医疗图像进行检测时，对高分辨率的第二医疗图像进行降采样获得低分辨率的第一医疗图像，确定高分辨率的第二医疗图像中相对病症等级检测的至少一个关键子区，通过关键子区显示出高分辨率的第二医疗图像中的病灶区域，再分别提取低分辨率的第一医疗图像的特征和高分辨率的各关键子区的特征，至少基于提取的各特征生成高分辨率的第二医疗图像的病症诊断结果，实现结合低分辨率的第一医疗图像的特征和高分辨率的关键子区的特征对高分辨率的第二医疗图像进行病症诊断，避免了直接对高分辨率的第二医疗图像进行病症诊断，降低了计算量，节省了硬件计算资源，有利于提高运算速度和并发处理量；此外，确定高分辨率的第二医疗图像中的关键子区，保留了高分辨率的第二医疗图像中对病症诊断起关键或重要作用的信息，再结合高分辨率的关键子区的特征和低分辨率的第一医疗图像的特征生成高分辨率的第二医疗图像的病症诊断结果，避免了直接依据对高分辨率降采样而得的低分辨率图进行类别检测而导致的病灶信息丢失，由此提高了对高分辨率的第二医疗图像进行病症诊断的准确性。
附图说明
图1是根据本申请实施例一的图像类别检测方法流程图；
图2是根据本申请实施例二的图像类别检测方法流程图；
图3是根据本申请实施例二的图像类别检测方法的处理流程示意图；
图4是根据本申请实施例二的图像类别检测方法中的注意力神经网络的结构示意图；
图5是根据本申请实施例三的图像类别检测装置的结构框图；
图6是根据本申请实施例四的图像类别检测装置的结构框图；
图7是根据本申请实施例五的医疗图像检测装置的结构框图；
图8是根据本申请实施例六的电子设备的结构示意图；
图9是根据本申请实施例八的电子设备的结构示意图。
具体实施方式
下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本申请实施例的具体实施方式作进一步详细说明。以下实施例用于说明本申请，但不用来限制本申请的范围。
本领域技术人员可以理解，本申请实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
实施例一
参照图1，示出了根据本申请实施例一的图像类别检测方法流程图。
本申请实施例的图像类别检测方法通过电子设备的处理器调用存储器存储的相关指令以执行以下步骤。
步骤S100、对第二图像进行降采样获得第一图像。
本申请实施例中，第二图像可以为高分辨的任意图像，包括但不限于：医疗图像、非医疗图像。第一图像可以为低分辨率的图像，其中，高分辨率和低分辨率为相对而言。本步骤S100可以对第二图像进行降采样，获得分辨率减小后的第一图像。
本申请实施例中，第二图像可以是来源于图像采集设备的视频序列中的图像帧，也可以为单独的一帧图像或者一幅图像，还可以来源于其他设备。本申请实施例对第二图像的来源和获得途径等不做限制。
步骤S102、确定第二图像中相对类别检测的至少一个关键子区。
本申请实施例中，关键子区可以认为是第二图像的局部区域，其中，关键具有相对的含义，关键子区主要是指相对类别检测来说重要性较高的区域，通常来说，关键子区相对第二图像的其他区域对类别检测结果的准确性影响较大。
关键子区的确定方式非常灵活，本申请实施例对此并不限制。例如，可根据类别检测的实际应用需求确定图像中某些区域为关键子区，如医学眼底图像的病变类别检测可根据邻床经验中易发生病变的眼底区域为所述关键子区，又如在动物类别检测图像中实际拍摄中重点对焦的区域为所述关键子区，等等。又例如，可根据深度学习的方式确定关键子区，如可采用但不限于基于注意力机制的神经网络确定关键子区，等等。
步骤S104、分别提取第一图像和各关键子区的特征。
本申请实施例中，可以基于神经网络(包括但不限于卷积神经网络)提取第一图像和各关键子区的特征，也可以基于非神经网络(包括但不限于颜色直方图法)提取第一图像和各关键子区的特征，本申请实施例对特征提取所采用的技术手段不做具体限制。
步骤S106、至少基于提取的各特征生成第二图像的类别检测结果。
本申请实施例中，结合第一图像的特征和各关键子区的特征生成第二图像的类别检测结果，所述类别检测结果可用于表示第二图像属于预定的多种类别中的哪一种类别。其中，所述预定的多种类别可根据实际需要确定，例如可为多个动物类别、或者多个植物品种、或者表示医学病变不同程度的多个类别等等。
本申请实施例提供的技术方案，对第二图像进行降采样获得第一图像，第二图像可以为高分辨率的任意图像，包括但不限于：医疗图像、非医疗图像，第一图像可以为低分辨率的任意图像，包括但不限于：医疗图像、非医疗图像，上述高分辨率和低分辨率为相对而言。一方面，分别提取低分辨率的第一图像的特征和高分辨率的第二图像的各关键子区的特征，至少基于提取的各特征生成高分辨率的第二图像的类别检测结果，实现结合低分辨率的第一图像的特征和高分辨率的关键子区的特征对高分辨率的第二图像进行类别检测，避免了直接对高分辨率的第二图像进行类别检测，降低了计算量，节省了硬件计算资源，有利于提高运算速度和并发处理量；另一方面，确定高分辨率的第二图像中的关键子区，保留了高分辨率的第二图像中对类别检测起关键或重要作用的信息，再结合高分辨率的关键子区的特征和低分辨率的第一图像的特征生成高分辨率的第二图像的类别检测结果，避免了直接依据对高分辨率降采样而得的低分辨率图进行类别检测而导致的关键信息丢失，由此提高了对高分辨率的第二图像进行类别检测的准确性。
实施例二
参照图2，示出了根据本申请实施例二的图像类别检测方法流程图。
需要说明的是，本申请各实施例描述的部分均有所侧重，某实施例未详尽描述的部分可参见本申请其他实施例中的介绍和说明，不再赘述。
本申请实施例可以应用但不限于神经网络中，便于描述起见，本申请实施例以卷积神经网络为例进行说明，应当理解，本申请实施例还可应用于非卷积神经网络中，如全连接神经网络、增强学习神经网络等等，不再赘述本申请实施例本申请实施例。此外，本申请实施例也可以应用到非神经网络中，如采用支持向量机、随机森林或其他非神经网络的分类器等实现类别检测等等，不再赘述。
本申请实施例的卷积神经网络可以按照功能划分为以下三个部分，如图3所示，包括主网络(Main Network，M-Net)、注意力网络(Attention Network，A-Net)和裁剪网络(Crop Network，C-Net)。其中，主网络主要用于提取特征图(Feature Map)并根据特征图生成特征向量；注意力网络主要用于根据特征图生成注意力图和类别得分图；裁剪网络主要用于提取高分辨率的关键子区的特征并生成特征向量。
本申请实施例的图像类别检测方法包括以下步骤。
步骤S200、对第二图像进行降采样获得第一图像。
本申请实施例中，可以对高分辨率的第二图像进行降采样获得低分辨率的第一图像。具体的分辨率可以根据运行卷积神经网络的硬件设备、应用环境的确定，可选地，在满足硬件设备、应用环境等条件的情况下，可以尽量提高第二图像和/或第一图像的分辨率。
步骤S202、确定第二图像中相对类别检测的至少一个关键子区。
本申请实施例中，类别检测中的类别可以灵活定义，如可以对应医疗图像的某一类疾病发生等级，或者，对应非医疗图像的存在/不存在检测目标的类别，具体类别如：有动物或者无动物两种类别等等，本申请实施例对类别不做具体限制。
本申请实施例关键子区确定方式非常灵活，可基于注意力机制确定，并且基于注意力机制确定关键子区的实现方式也很灵活。下面进行举例说明。应当理解，以下举例中的实现方式并非穷尽性的，本领域技术人员在本申请实施例公开技术方案的教导下可采用本申请实施例未提及的其他相似方案。
例如，一种可选的实现方式中，可基于第一图像的注意力图确定第二图像的关键子区。
基于第一图像的特征并通过注意力神经网络生成第一图像的注意力图；确定注意力图中的注意力响应最强的区域为第一子区；在第二图像中确定与第一子区对应的区域为关键子区。
可选地，通过主网络的第一部分对第一图像进行特征提取，得到第一图像的特征图，主网络的第一部分主要用于对第一图像进行特征提取，主网络的第一部分可以采用初始住宅网络(inception-resnet)，本申请实施例对主网络的第一部分的具体结构不做限制。再通过注意力网络的第二部分，即注意力神经网络，基于第一图像的特征图生成第一图像的注意力图，注意力神经网络作为注意力网络的其中一个部分，主要包括卷积层、线性修正单元(ReLU)层、批处理归一化(Batch Normalize)层和空间回归(spatial softmax)层，如图4所示。通过注意力神经网络的卷积层、批处理归一化层和线性修正单元层、卷积层、批处理归一化层和线性修正单元层、卷积层和空间回归层依次对特征图进行操作，得到对应不同类别的注意力图。其中，空间回归层的作用是将每张注意力图上的能量聚集到一个响应最强的区域，并压低其他区域的能量，注意力图上的能量用于表示第一图像中各个区域对于类别检测的重要性，响应最强的区域用于表示对类别检测最重要的区域，即第一子区。将第一子区的坐标转化为第二图像中的坐标，进而根据转化得到的坐标在第二图像中确定关键子区。
又例如，一种可选的实现方式中，可基于第一图像的门限注意力图确定第二图像的关键子区。
基于第一图像的特征并通过注意力神经网络生成第一图像的注意力图；基于第一图像的特征并通过类别评分神经网络生成第一图像的类别得分图；基于注意力图和类别得分图生成第一图像的门限注意力图；根据门限注意力图中不同区域的注意力响应强度的强弱顺序，确定注意力响应强度由强到弱排序的至少一个第一子区；在第二图像中确定与至少一个第一子区对应的区域为至少一个关键子区。
可选地，通过主网络的第一部分对第一图像进行特征提取，得到第一图像的特征图，主网络的第一部分主要用于对第一图像进行特征提取，本申请实施例对主网络的第一部分的具体结构不做限制。通过注意力网络的第一部分，即类别评分神经网络基于第一图像的特征图生成第一图像的类别得分图，注意力网络的第一部分可以但不限于为一个卷积核大小为1*1(应当理解，这里的卷积核大小仅为举例，并非限定)的卷积层，本申请实施例对类别评分神经网络的具体结构不做限制。在得到第一图像的注意力图和类别得分图之后，可以对注意力图和类别得分图进行点乘操作，得到门限注意力图。
可选地，本申请实施例中的第一子区可以但不限于为矩形区域，本申请实施例对第一子区的具体形状不做限制。由于关键子区与第一子区相对应，因此关键子区的形状可以与第一子区的形状相同。
本申请实施例中，注意力图和门限注意力图的区别在于：基于注意力图确定的响应区域往往是一个注意力响应最强的区域；基于门限注意力图确定的响应区域可以包括多个注意力响应较强的区域。采用门限注意力图确定关键子区的进一步好处是可以发现更多的关键子区，有助于提高图像类别检测的准确性。
除利用上述提及的可选方式确定第二图像的关键子区之外，还可以根据第二图像的标注信息，确定第二图像中相对类别检测的至少一个关键子区，其中，第二图像的标注信息可以为根据经验或者其他方式确定在第二图像中添加，通常，第二图像中包含标注信息的位置区域可以确定为第二图像中的关键子区。或者，确定第二图像中与至少一个预定位置对应的区域为至少一个关键子区，预定位置可以为对类别检测影响较强的位置，或者根据大量类别检测结果统计、归纳得出的位置。
步骤S204、分别提取第一图像和各关键子区的特征。
可选地，可以通过主网络的第一部分对第一图像和各关键子区进行特征提取，得到第一图像和各关键子区的特征。
步骤S206、至少基于提取的各特征生成第二图像的类别检测结果。
本申请实施例中，第二图像的类别检测结果可以包含较广的范围，例如，可以包括以下至少之一：第二图像所属的类别(如第二图像属于一种预定类别L1)，第二图像分别属于预定类别的概率(如第二图像属于预定类别L1的概率G1，第二图像属于预定类别L2的概率G2)。
除上述第二图像的类别检测结果之外，本申请实施例中，第二图像的类别检测结果还可以包括以下至少之一：至少一个关键子区(如第二图像中对类别检测重要性较高的一个或多个区域)，至少一个关键子区的位置信息(如第二图像中对类别检测重要性较高的一个或多个区域的坐标信息或像素信息)。
本申请实施例可根据实际应用需求确定类别检测结果的具体内容，如依据本申请实施例提供的技术方案，不仅可以获得图像类别，还可获得用于进行图像类别判定的关键子区的相关信息，由此为类别判定提供了更为丰富而有效的信息，有利于提高类别判定的准确性和效率。
可选地，本步骤S206可以包括如下子步骤。
子步骤S2060、基于第一图像的特征生成第一特征向量。
本子步骤S2060可以通过主网络的第二部分基于第一图像的特征图生成第一特征向量，主网络的第二部分主要用于将特征图转化为特征向量。
子步骤S2061、基于各关键子区的特征生成第二特征向量。
本子步骤S2061可以通过裁剪网络基于各关键子区的特征生成第二特征向量，裁剪网络可以为初始(inception)网络，本申请实施例对裁剪网络的结构不做具体限制。
子步骤S2062、拼接第一特征向量和第二特征向量。
子步骤S2063、基于拼接后的特征向量生成拼接内容相对预定类别的第二类别得分向量。
其中，拼接内容包括第一图像和各关键子区。本步骤S2063可以通过一个全连接层基于拼接后的特征向量生成拼接内容相对预定类别的第二类别得分向量。本子步骤S2063可以通过神经网络(神经网络可以是全连接神经网络)、也可以通过非神经网络来执行(比如支持向量机、随机森林或其他非神经网络的分类器)。
子步骤S2064、至少根据第二类别得分向量生成第二图像的类别检测结果。
本申请实施例中类别检测结果的确定方式非常灵活，如图3所示，例如，可根据第二类别得分向量确定类别检测结果，也可以根据第一类别得分向量和第二类别得分向量确定类别检测结果，还可以根据第一类别得分向量、第二类别得分向量和第三类别得分向量(或者第四类别得分向量)确定类别检测结果。其中，在确定第三类别得分向量(或者第四类别得分向量)时，可以根据注意力图生成第三类别得分向量，也可以根据注意力图和类别得分图生成门限注意力图，再根据门限注意力图生成第四类别得分向量。下面进行举例说明。应当理解，以下举例中的实现方式并非穷尽性的，本领域技术人员在本申请实施例公开技术方案的教导下可采用本申请实施例未提及的其他相似方案。.
例如，一种可选的实施方式中，可基于第一特征向量生成第一图像相对预定类别的第一类别得分向量；至少根据第一类别得分向量和第二类别得分向量，生成第二图像的类别检测结果。其中，生成第一类别得分向量的操作可以参照生成第二得分向量的操作，在此不再赘述。根据第一类别得分向量和第二类别得分向量，生成第二图像的类别检测结果，具体可以对第一类别得分向量和第二类别得分向量提取平均值或者加权，对提取平均值或者加权后的向量经过回归操作转化为类别概率向量，将类别概率向量作为第二图像的类别检测结果，本申请实施例对生成第二图像的类别检测结果所采用的技术手段不做限制。
例如，一种可选的实施方式中，可基于注意力图生成第一图像相对预定类别的第三类别得分向量；至少根据第三类别得分向量和第二类别得分向量，生成第二图像的类别检测结果。其中，可以通过全局平均池化操作基于注意力图生成第三类别得分向量。至少根据第三类别得分向量和第二类别得分向量，生成第二图像的类别检测结果，可以基于第一特征向量生成第一图像相对预定类别的第一类别得分向量；根据第一类别得分向量、第二类别得分向量和第三类别得分向量，生成第二图像的类别检测结果，具体可以对第一类别得分向量、第二类别得分向量和第三类别得分向量提取平均值或者加权，对提取平均值或者加权后的向量经过回归操作转化为类别概率向量，将类别概率向量作为第二图像的类别检测结果。
例如，一种可选的实施方式中，可基于门限注意力图生成第一图像相对预定类别的第四类别得分向量；至少根据第四类别得分向量和第二类别得分向量，生成第二图像的类别检测结果。其中，可以通过全局平均池化操作基于门限注意力图生成第四类别得分向量。至少根据第四类别得分向量和第二类别得分向量，生成第二图像的类别检测结果，可以基于第一特征向量生成第一图像相对预定类别的第一类别得分向量；根据第一类别得分向量、第二类别得分向量和第四类别得分向量，生成第二图像的类别检测结果，具体可以对第一类别得分向量、第二类别得分向量和第四类别得分向量提取平均值或者加权，对提取平均值或者加权后的向量经过回归操作转化为类别概率向量，将类别概率向量作为第二图像的类别检测结果。
本申请实施例提供的技术方案，对第二图像进行降采样获得第一图像，第二图像可以为高分辨率的任意图像，包括但不限于：医疗图像、非医疗图像，第一图像可以为低分辨率的任意图像，包括但不限于：医疗图像、非医疗图像，上述高分辨率和低分辨率为相对而言。一方面，分别提取低分辨率的第一图像的特征和高分辨率的第二图像的各关键子区的特征，至少基于提取的各特征生成高分辨率的第二图像的类别检测结果，实现结合低分辨率的第一图像的特征和高分辨率的关键子区的特征对高分辨率的第二图像进行类别检测，避免了直接对高分辨率的第二图像进行类别检测，降低了计算量，节省了硬件计算资源，有利于提高运算速度和并发处理量；另一方面，确定高分辨率的第二图像中的关键子区，保留了高分辨率的第二图像中对类别检测起关键或重要作用的信息，再结合高分辨率的关键子区的特征和低分辨率的第一图像的特征生成高分辨率的第二图像的类别检测结果，避免了直接依据对高分辨率降采样而得的低分辨率图进行类别检测而导致的关键信息丢失，由此提高了对高分辨率的第二图像进行类别检测的准确性。
本申请实施例中可以根据第二图像的标注信息或者预定位置确定关键子区，还可以基于第一图像的注意力图确定关键子区，也可以基于第一图像的门限注意力图确定关键子区，提供了多种确定第二图像的关键子区的技术手段。其中，基于门限注意力图确定关键子区可以发现更多的关键子区，提高了图像类别检测的准确性。
在上述实施例的基础上，将图像具体限定为医疗图像，将图像类别检测的技术方案应用在医疗图像检测场景中，根据本申请实施例中的技术方案对医疗图像进行检测时，对高分辨率的第二医疗图像进行降采样获得低分辨率的第一医疗图像，确定高分辨率的第二医疗图像中相对病症等级检测的至少一个关键子区，通过关键子区显示出高分辨率的第二医疗图像中的病灶区域，再分别提取低分辨率的第一医疗图像的特征和高分辨率的各关键子区的特征，至少基于提取的各特征生成高分辨率的第二医疗图像的病症诊断结果。一方面，实现结合低分辨率的第一医疗图像的特征和高分辨率的关键子区的特征对高分辨率的第二医疗图像进行病症诊断，避免了直接对高分辨率的第二医疗图像进行病症诊断，降低了计算量，节省了硬件计算资源，有利于提高运算速度和并发处理量；另一方面，确定高分辨率的第二医疗图像中的关键子区，保留了高分辨率的第二医疗图像中对病症诊断起关键作用的精度信息，再结合高分辨率的关键子区的特征和低分辨率的第一医疗图像的特征生成高分辨率的第二医疗图像的病症诊断结果，避免了直接依据对高分辨率降采样而得的低分辨率图进行病症诊断而导致的关键信息丢失，由此提高了对高分辨率的第二医疗图像进行病症诊断的准确性。
本申请实施例中的卷积神经网络可以按照功能划分为三个部分，分别为主网络、注意力网络和裁剪网络，利用主网络确定特征图，利用注意力网络确定门限注意力图，利用裁剪网络对关键子区进行特征提取并生成特征向量。三个部分既相互独立，又存在相互关联。本申请实施例可以仅利用弱监督条件的样本数据对卷积神经网络进行训练，以应用在视网膜图像检测的场景为例，可以对仅含有视网膜图像及诊断结果的训练数据进行卷积神经网络的训练，不依赖同时标有病灶区域和诊断结果的训练数据，降低了对训练数据的要求。训练完毕的卷积神经网络在检测视网膜病变的疾病等级的同时，还可以生成门限注意力图像，显示出视网膜图像中每个像素在疾病诊断时的作用，进而通过门限注意力图像确定病灶区域。
在对医疗图像进行检测的场景中，第二医疗图像的病症诊断结果可以包括以下之一：第二医疗图像所属的病症等级，第二医疗图像分别属于预定病症等级的概率，以视网膜图像的检测为例，视网膜图像的病症诊断结果可以为视网膜图像所属的病症等级(如正常、轻微病变、中度病变、严重病变和增殖性病变)，还可以为视网膜图像属于正常的概率、视网膜图像属于轻微病变的概率、视网膜图像属于中度病变的概率、视网膜图像属于严重病变的概率、视网膜图像属于增值性病变的概率。除上述病症诊断结果以外，第二医疗图像的病症诊断结果还可以包括以下之一：至少一个关键子区(如病灶区域)，至少一个关键子区的位置信息(如病灶区域的坐标信息或者像素信息)。
本申请实施例可根据实际应用需求确定类别检测结果的具体内容，例如，在医学领域包括但不限于糖尿病视网膜病等病变诊断过程中，依据本申请实施例提供的技术方案，不仅可以获得表示病变等级的图像类别，还可获得表示病灶区域的关键子区的相关信息，由此为疾病诊断提供了更为丰富而有效的信息，有利于提高疾病诊断的准确性和效率。
本申请实施例为医疗图像检测提供了多样化的病症诊断结果，医生可以参照病症诊断结果对病人进行疾病诊断，不仅有利于诊断疾病所属的等级、疾病所属等级的概率，还有利于确定病灶区域，为疾病诊断提供了丰富、可靠的诊断依据。
实施例三
参照图5，示出了根据本申请实施例三的图像类别检测装置的结构框图。
本申请实施例提供的图像类别检测装置包括：降采样模块50，用于对第二图像进行降采样获得第一图像；确定模块52，用于确定第二图像中相对类别检测的至少一个关键子区；提取模块54，用于分别提取第一图像和各关键子区的特征；生成模块56，用于至少基于提取的各特征生成第二图像的类别检测结果。
本申请实施例的图像类别检测装置用于实现前述多个实施例中相应的图像类别检测方法，并具有相应的方法实施例的有益效果，在此不再赘述。
实施例四
参照图6，示出了根据本申请实施例四的图像类别检测装置的结构框图。
本申请实施例提供的图像类别检测装置包括：降采样模块60，用于对第二图像进行降采样获得第一图像；确定模块62，用于确定第二图像中相对类别检测的至少一个关键子区；提取模块64，用于分别提取第一图像和各关键子区的特征；生成模块66，用于至少基于提取的各特征生成第二图像的类别检测结果。
可选地，第二图像的类别检测结果包括以下至少之一：第二图像所属的类别，第二图像分别属于预定类别的概率。
可选地，第二图像的类别检测结果还包括以下至少之一：至少一个关键子区，至少一个关键子区的位置信息。
可选地，确定模块62，用于根据第二图像的标注信息，确定第二图像中相对类别检测的至少一个关键子区；或者，确定第二图像中与至少一个预定位置对应的区域为至少一个关键子区。
可选地，确定模块62包括：注意力图生成子模块621，用于基于第一图像的特征并通过注意力神经网络生成第一图像的注意力图；第一子区确定子模块622，用于确定注意力图中的注意力响应最强的区域为第一子区；关键子区确定子模块623，用于在第二图像中确定与第一子区对应的区域为关键子区。
可选地，确定模块62包括：注意力图生成子模块621，用于基于第一图像的特征并通过注意力神经网络生成第一图像的注意力图；类别得分图生成子模块624，用于基于第一图像的特征并通过类别评分神经网络生成第一图像的类别得分图；门限注意力图生成子模块625，用于基于注意力图和类别得分图生成第一图像的门限注意力图；第一子区确定子模块622，用于根据门限注意力图中不同区域的注意力响应强度的强弱顺序，确定注意力响应强度由强到弱排序的至少一个第一子区；关键子区确定子模块623，用于在第二图像中确定与至少一个第一子区对应的区域为至少一个关键子区。
可选地，门限注意力图生成子模块625，用于点乘注意力图和类别得分图，得到门限注意力图。
可选地，生成模块66包括：第一特征向量生成子模块661，用于基于第一图像的特征生成第一特征向量；第二特征向量生成子模块662，用于基于各关键子区的特征生成第二特征向量；拼接子模块663，用于拼接第一特征向量和第二特征向量；第二类别得分向量生成子模块664，用于基于拼接后的特征向量生成拼接内容相对预定类别的第二类别得分向量，其中，拼接内容包括第一图像和各关键子区；类别检测结果生成子模块665，用于至少根据第二类别得分向量生成第二图像的类别检测结果。
可选地，类别检测结果生成子模块665，用于基于第一特征向量生成第一图像相对预定类别的第一类别得分向量；至少根据第一类别得分向量和第二类别得分向量，生成第二图像的类别检测结果。
可选地，类别检测结果生成子模块665，用于基于注意力图生成第一图像相对预定类别的第三类别得分向量；至少根据第三类别得分向量和第二类别得分向量，生成第二图像的类别检测结果。
可选地，类别检测结果生成子模块665，用于基于第一特征向量生成第一图像相对预定类别的第一类别得分向量；根据第一类别得分向量、第二类别得分向量和第三类别得分向量，生成第二图像的类别检测结果。
可选地，类别检测结果生成子模块665，用于基于门限注意力图生成第一图像相对预定类别的第四类别得分向量；至少根据第四类别得分向量和第二类别得分向量，生成第二图像的类别检测结果。
可选地，类别检测结果生成子模块665，用于基于第一特征向量生成第一图像相对预定类别的第一类别得分向量；根据第一类别得分向量、第二类别得分向量和第四类别得分向量，生成第二图像的类别检测结果。
本申请实施例的图像类别检测装置用于实现前述多个实施例中相应的图像类别检测方法，并具有相应的方法实施例的有益效果，在此不再赘述。
实施例五
参照图7，示出了根据本申请实施例五的医疗图像检测装置的结构框图。
本申请实施例提供的医疗图像检测装置包括：降采样模块70，用于对第二医疗图像进行降采样获得第一医疗图像；确定模块72，用于确定第二医疗图像中相对预定病症等级检测的至少一个关键子区；提取模块74，用于分别提取第一医疗图像和各关键子区的特征；生成模块76，用于至少基于提取的各特征生成第二医疗图像的病症诊断结果。
可选地，第二医疗图像的病症诊断结果包括以下至少之一：第二医疗图像所属的病症等级，第二医疗图像分别属于预定病症等级的概率。
可选地，第二医疗图像的病症诊断结果还包括以下至少之一：至少一个关键子区，至少一个关键子区的位置信息。
可选地，确定模块72，用于根据第二医疗图像的标注信息，确定第二医疗图像中相对预定病症等级检测的至少一个关键子区；或者，确定第二医疗图像中与至少一个预定位置对应的区域为至少一个关键子区。
可选地，确定模块72包括：注意力图生成子模块721，用于基于第一医疗图像的特征并通过注意力神经网络生成第一医疗图像的注意力图；第一子区确定子模块722，用于确定注意力图中的注意力响应最强的区域为第一子区；关键子区确定子模块723，用于在第二医疗图像中确定与第一子区对应的区域为关键子区。
可选地，确定模块72包括：注意力图生成子模块721，用于基于第一医疗图像的特征并通过注意力神经网络生成第一医疗图像的注意力图；病症等级得分图生成子模块724，用于基于第一医疗图像的特征并通过病症等级评分神经网络生成第一医疗图像的病症等级得分图；门限注意力图生成子模块725，用于基于注意力图和病症等级得分图生成第一医疗图像的门限注意力图；第一子区确定子模块722，用于根据门限注意力图中不同区域的注意力响应强度的强弱顺序，确定注意力响应强度由强到弱排序的至少一个第一子区；关键子区确定子模块723，用于在第二医疗图像中确定与至少一个第一子区对应的区域为至少一个关键子区。
可选地，门限注意力图生成子模块725，用于点乘注意力图和病症等级得分图，得到门限注意力图。
可选地，生成模块76包括：第一特征向量生成子模块761，用于基于第一医疗图像的特征生成第一特征向量；第二特征向量生成子模块762，用于基于各关键子区的特征生成第二特征向量；拼接子模块763，用于拼接第一特征向量和第二特征向量；第二病症等级得分向量生成子模块764，用于基于拼接后的特征向量生成拼接内容相对预定病症等级的第二病症等级得分向量，其中，拼接内容包括第一医疗图像和各关键子区；病症诊断结果生成子模块765，用于至少根据第二病症等级得分向量生成第二医疗图像的病症诊断结果。
可选地，病症诊断结果生成子模块765，用于基于第一特征向量生成第一医疗图像相对预定病症等级的第一病症等级得分向量；至少根据第一病症等级得分向量和第二病症等级得分向量，生成第二医疗图像的病症诊断结果。
可选地，病症诊断结果生成子模块765，用于基于注意力图生成第一医疗图像相对预定病症等级的第三病症等级得分向量；至少根据第三病症等级得分向量和第二病症等级得分向量，生成第二医疗图像的病症诊断结果。
可选地，病症诊断结果生成子模块765，用于基于第一特征向量生成第一医疗图像相对预定病症等级的第一病症等级得分向量；根据第一病症等级得分向量、第二病症等级得分向量和第三病症等级得分向量，生成第二医疗图像的病症诊断结果。
可选地，病症诊断结果生成子模块765，用于基于门限注意力图生成第一医疗图像相对预定病症等级的第四病症等级得分向量；至少根据第四病症等级得分向量和第二病症等级得分向量，生成第二医疗图像的病症诊断结果。
可选地，病症诊断结果生成子模块765，用于基于第一特征向量生成第一医疗图像相对预定病症等级的第一病症等级得分向量；根据第一病症等级得分向量、第二病症等级得分向量和第四病症等级得分向量，生成第二医疗图像的病症诊断结果。
本申请实施例的医疗图像检测装置用于实现前述多个实施例中相应的医疗图像检测方法，并具有相应的方法实施例的有益效果，在此不再赘述。
实施例六
本申请实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图8，其示出了适于用来实现本申请实施例的图像类别检测装置的电子设备800的结构示意图：如图8所示，电子设备800包括一个或多个处理器、通信元件等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)801，和/或一个或多个图像处理器(GPU)813等，处理器可以根据存储在只读存储器(ROM)802中的可执行指令或者从存储部分808加载到随机访问存储器(RAM)803中的可执行指令而执行各种适当的动作和处理。通信元件包括通信组件812和/或通信接口809。其中，通信组件812可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，通信接口809包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，通信接口809经由诸如因特网的网络执行通信处理。
处理器可与只读存储器802和/或随机访问存储器803中通信以执行可执行指令，通过通信总线804与通信组件812相连、并经通信组件812与其他目标设备通信，从而完成本申请实施例提供的任一项图像类别检测方法对应的操作，例如，对第二图像进行降采样获得第一图像；确定所述第二图像中相对类别检测的至少一个关键子区；分别提取所述第一图像和各关键子区的特征；至少基于提取的各特征生成所述第二图像的类别检测结果。
此外，在RAM803中，还可存储有装置操作所需的各种程序和数据。CPU801或GPU813、ROM802以及RAM803通过通信总线804彼此相连。在有RAM803的情况下，ROM802为可选模块。RAM803存储可执行指令，或在运行时向ROM802中写入可执行指令，可执行指令使处理器执行上述通信方法对应的操作。输入/输出(I/O)接口805也连接至通信总线804。通信组件812可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在通信总线链接上。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信接口809。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
需要说明的，如图8所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图8的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信元件可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本申请的保护范围。
实施例七
根据本申请实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，对第二图像进行降采样获得第一图像；确定所述第二图像中相对类别检测的至少一个关键子区；分别提取所述第一图像和各关键子区的特征；至少基于提取的各特征生成所述第二图像的类别检测结果。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被处理器执行时，执行本申请实施例的方法中公开的功能。
实施例八
本申请实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图9，其示出了适于用来实现本申请实施例的医疗图像检测装置的电子设备900的结构示意图：如图9所示，电子设备900包括一个或多个处理器、通信元件等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)901，和/或一个或多个图像处理器(GPU)913等，处理器可以根据存储在只读存储器(ROM)902中的可执行指令或者从存储部分908加载到随机访问存储器(RAM)903中的可执行指令而执行各种适当的动作和处理。通信元件包括通信组件912和/或通信接口909。其中，通信组件912可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡，通信接口909包括诸如LAN卡、调制解调器等的网络接口卡的通信接口，通信接口909经由诸如因特网的网络执行通信处理。
处理器可与只读存储器902和/或随机访问存储器903中通信以执行可执行指令，通过通信总线904与通信组件912相连、并经通信组件912与其他目标设备通信，从而完成本申请实施例提供的任一项医疗图像检测方法对应的操作，例如，对第二医疗图像进行降采样获得第一医疗图像；确定所述第二医疗图像中相对预定病症等级检测的至少一个关键子区；分别提取所述第一医疗图像和各关键子区的特征；至少基于提取的各特征生成所述第二医疗图像的病症诊断结果。
此外，在RAM903中，还可存储有装置操作所需的各种程序和数据。CPU901或GPU913、ROM902以及RAM903通过通信总线904彼此相连。在有RAM903的情况下，ROM902为可选模块。RAM903存储可执行指令，或在运行时向ROM902中写入可执行指令，可执行指令使处理器执行上述通信方法对应的操作。输入/输出(I/O)接口905也连接至通信总线904。通信组件912可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在通信总线链接上。
以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信接口909。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
需要说明的，如图9所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图9的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU和CPU可分离设置或者可将GPU集成在CPU上，通信元件可分离设置，也可集成设置在CPU或GPU上，等等。这些可替换的实施方式均落入本申请的保护范围。
实施例九
根据本申请实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，对第二医疗图像进行降采样获得第一医疗图像；确定所述第二医疗图像中相对预定病症等级检测的至少一个关键子区；分别提取所述第一医疗图像和各关键子区的特征；至少基于提取的各特征生成所述第二医疗图像的病症诊断结果。在这样的实施例中，该计算机程序可以通过通信元件从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被处理器执行时，执行本申请实施例的方法中公开的功能。
可能以许多方式来实现本申请的方法和装置、电子设备和存储介质。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请实施例的方法和装置、电子设备和存储介质。用于方法的步骤的上述顺序仅是为了进行说明，本申请实施例的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请实施例的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请实施例的方法的程序的记录介质。
本申请实施例的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式，很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本申请的原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施例。

Claims (24)

1.一种图像类别检测方法，其特征在于，包括：
对第二图像进行降采样获得第一图像；
确定所述第二图像中相对类别检测的至少一个关键子区；
分别提取所述第一图像和各关键子区的特征；
至少基于提取的各特征生成所述第二图像的类别检测结果，
其中，确定所述第二图像中相对类别检测的至少一个关键子区，包括：基于所述第一图像的特征并通过注意力神经网络生成所述第一图像的注意力图，确定所述注意力图中的注意力响应最强的区域为第一子区，并且在所述第二图像中确定与所述第一子区对应的区域为所述关键子区，
或者，
确定所述第二图像中相对类别检测的至少一个关键子区，包括：基于所述第一图像的特征并通过注意力神经网络生成所述第一图像的注意力图，基于所述第一图像的特征并通过类别评分神经网络生成所述第一图像的类别得分图，基于所述注意力图和所述类别得分图生成所述第一图像的门限注意力图，根据所述门限注意力图中不同区域的注意力响应强度的强弱顺序，确定注意力响应强度由强到弱排序的至少一个第一子区，并且在所述第二图像中确定与所述至少一个第一子区对应的区域为所述至少一个关键子区。
2.根据权利要求1所述的方法，其特征在于，所述第二图像的类别检测结果包括以下至少之一：所述第二图像所属的类别，所述第二图像分别属于预定类别的概率。
3.根据权利要求2所述的方法，其特征在于，所述第二图像的类别检测结果还包括以下至少之一：所述至少一个关键子区，所述至少一个关键子区的位置信息。
4.根据权利要求1-3任一所述的方法，其特征在于，确定所述第二图像中相对类别检测的至少一个关键子区，包括：
根据所述第二图像的标注信息，确定所述第二图像中相对类别检测的至少一个关键子区；或者，
确定所述第二图像中与至少一个预定位置对应的区域为所述至少一个关键子区。
5.根据权利要求1所述的方法，其特征在于，基于所述注意力图和所述类别得分图生成所述第一图像的门限注意力图，包括：
点乘所述注意力图和所述类别得分图，得到所述门限注意力图。
6.根据权利要求1-3任一所述的方法，其特征在于，所述至少基于提取的各特征生成所述第二图像的类别检测结果，包括：
基于所述第一图像的特征生成第一特征向量；
基于各关键子区的特征生成第二特征向量；
拼接所述第一特征向量和第二特征向量；
基于拼接后的特征向量生成拼接内容相对预定类别的第二类别得分向量，其中，所述拼接内容包括所述第一图像和各关键子区；
至少根据所述第二类别得分向量生成所述第二图像的类别检测结果。
7.根据权利要求6所述的方法，其特征在于，至少根据所述第二类别得分向量生成所述第二图像的类别检测结果，包括：
基于所述第一特征向量生成所述第一图像相对预定类别的第一类别得分向量；
至少根据所述第一类别得分向量和所述第二类别得分向量，生成所述第二图像的类别检测结果。
8.根据权利要求6所述的方法，其特征在于，至少根据所述第二类别得分向量生成所述第二图像的类别检测结果，包括：
基于所述注意力图生成所述第一图像相对预定类别的第三类别得分向量；
至少根据所述第三类别得分向量和所述第二类别得分向量，生成所述第二图像的类别检测结果。
9.根据权利要求8所述的方法，其特征在于，至少根据所述第三类别得分向量和所述第二类别得分向量，生成所述第二图像的类别检测结果，包括：
基于所述第一特征向量生成所述第一图像相对预定类别的第一类别得分向量；
根据所述第一类别得分向量、所述第二类别得分向量和所述第三类别得分向量，生成所述第二图像的类别检测结果。
10.根据权利要求6所述的方法，其特征在于，至少根据所述第二类别得分向量生成所述第二图像的类别检测结果，包括：
基于所述门限注意力图生成所述第一图像相对预定类别的第四类别得分向量；
至少根据所述第四类别得分向量和所述第二类别得分向量，生成所述第二图像的类别检测结果。
11.根据权利要求10所述的方法，其特征在于，至少根据所述第四类别得分向量和所述第二类别得分向量，生成所述第二图像的类别检测结果，包括：
基于所述第一特征向量生成所述第一图像相对预定类别的第一类别得分向量；
根据所述第一类别得分向量、所述第二类别得分向量和所述第四类别得分向量，生成所述第二图像的类别检测结果。
12.一种图像类别检测装置，其特征在于，包括：
降采样模块，用于对第二图像进行降采样获得第一图像；
确定模块，用于确定所述第二图像中相对类别检测的至少一个关键子区；
提取模块，用于分别提取所述第一图像和各关键子区的特征；
生成模块，用于至少基于提取的各特征生成所述第二图像的类别检测结果，
其中，所述确定模块包括：
注意力图生成子模块，用于基于所述第一图像的特征并通过注意力神经网络生成所述第一图像的注意力图；
第一子区确定子模块，用于确定所述注意力图中的注意力响应最强的区域为第一子区；
关键子区确定子模块，用于在所述第二图像中确定与所述第一子区对应的区域为所述关键子区，或者，所述确定模块包括：
注意力图生成子模块，用于基于所述第一图像的特征并通过注意力神经网络生成所述第一图像的注意力图；
类别得分图生成子模块，用于基于所述第一图像的特征并通过类别评分神经网络生成所述第一图像的类别得分图；
门限注意力图生成子模块，用于基于所述注意力图和所述类别得分图生成所述第一图像的门限注意力图；
第一子区确定子模块，用于根据所述门限注意力图中不同区域的注意力响应强度的强弱顺序，确定注意力响应强度由强到弱排序的至少一个第一子区；
关键子区确定子模块，用于在所述第二图像中确定与所述至少一个第一子区对应的区域为所述至少一个关键子区。
13.根据权利要求12所述的装置，其特征在于，所述第二图像的类别检测结果包括以下至少之一：所述第二图像所属的类别，所述第二图像分别属于预定类别的概率。
14.根据权利要求13所述的装置，其特征在于，所述第二图像的类别检测结果还包括以下至少之一：所述至少一个关键子区，所述至少一个关键子区的位置信息。
15.根据权利要求12-14任一所述的装置，其特征在于，所述确定模块，用于根据所述第二图像的标注信息，确定所述第二图像中相对类别检测的至少一个关键子区；或者，确定所述第二图像中与至少一个预定位置对应的区域为所述至少一个关键子区。
16.根据权利要求12所述的装置，其特征在于，所述门限注意力图生成子模块，用于点乘所述注意力图和所述类别得分图，得到所述门限注意力图。
17.根据权利要求12-14任一所述的装置，其特征在于，所述生成模块，包括：
第一特征向量生成子模块，用于基于所述第一图像的特征生成第一特征向量；
第二特征向量生成子模块，用于基于各关键子区的特征生成第二特征向量；
拼接子模块，用于拼接所述第一特征向量和第二特征向量；
第二类别得分向量生成子模块，用于基于拼接后的特征向量生成拼接内容相对预定类别的第二类别得分向量，其中，所述拼接内容包括所述第一图像和各关键子区；
类别检测结果生成子模块，用于至少根据所述第二类别得分向量生成所述第二图像的类别检测结果。
18.根据权利要求17所述的装置，其特征在于，所述类别检测结果生成子模块，用于基于所述第一特征向量生成所述第一图像相对预定类别的第一类别得分向量；至少根据所述第一类别得分向量和所述第二类别得分向量，生成所述第二图像的类别检测结果。
19.根据权利要求17所述的装置，其特征在于，所述类别检测结果生成子模块，用于基于所述注意力图生成所述第一图像相对预定类别的第三类别得分向量；至少根据所述第三类别得分向量和所述第二类别得分向量，生成所述第二图像的类别检测结果。
20.根据权利要求19所述的装置，其特征在于，所述类别检测结果生成子模块，用于基于所述第一特征向量生成所述第一图像相对预定类别的第一类别得分向量；根据所述第一类别得分向量、所述第二类别得分向量和所述第三类别得分向量，生成所述第二图像的类别检测结果。
21.根据权利要求17所述的装置，其特征在于，所述类别检测结果生成子模块，用于基于所述门限注意力图生成所述第一图像相对预定类别的第四类别得分向量；至少根据所述第四类别得分向量和所述第二类别得分向量，生成所述第二图像的类别检测结果。
22.根据权利要求21所述的装置，其特征在于，所述类别检测结果生成子模块，用于基于所述第一特征向量生成所述第一图像相对预定类别的第一类别得分向量；根据所述第一类别得分向量、所述第二类别得分向量和所述第四类别得分向量，生成所述第二图像的类别检测结果。
23.一种电子设备，其特征在于，包括：处理器、存储器、通信元件和通信总线，所述处理器、所述存储器和所述通信元件通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如权利要求1-11任一所述的图像类别检测方法对应的操作。
24.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有：
用于对第二图像进行降采样获得第一图像的可执行指令；
用于确定所述第二图像中相对类别检测的至少一个关键子区的可执行指令；
用于分别提取所述第一图像和各关键子区的特征的可执行指令；
用于至少基于提取的各特征生成所述第二图像的类别检测结果的可执行指令，
其中，所述用于确定所述第二图像中相对类别检测的至少一个关键子区的可执行指令包括：
用于基于所述第一图像的特征并通过注意力神经网络生成所述第一图像的注意力图的可执行指令，
用于确定所述注意力图中的注意力响应最强的区域为第一子区的可执行指令，以及
用于在所述第二图像中确定与所述第一子区对应的区域为所述关键子区的可执行指令，
或者，
所述用于确定所述第二图像中相对类别检测的至少一个关键子区的可执行指令包括：
用于基于所述第一图像的特征并通过注意力神经网络生成所述第一图像的注意力图的可执行指令，
用于基于所述第一图像的特征并通过类别评分神经网络生成所述第一图像的类别得分图的可执行指令，
用于基于所述注意力图和所述类别得分图生成所述第一图像的门限注意力图的可执行指令，
用于根据所述门限注意力图中不同区域的注意力响应强度的强弱顺序的可执行指令，
用于确定注意力响应强度由强到弱排序的至少一个第一子区的可执行指令，以及
用于在所述第二图像中确定与所述至少一个第一子区对应的区域为所述至少一个关键子区的可执行指令。
CN201710448251.XA 2017-06-14 2017-06-14 图像检测方法、装置、电子设备和存储介质 Active CN108230294B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710448251.XA CN108230294B (zh) 2017-06-14 2017-06-14 图像检测方法、装置、电子设备和存储介质
PCT/CN2018/090680 WO2018228336A1 (zh) 2017-06-14 2018-06-11 图像检测方法、装置、电子设备和存储介质
US16/457,317 US11200416B2 (en) 2017-06-14 2019-06-28 Methods and apparatuses for image detection, electronic devices and storage media

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710448251.XA CN108230294B (zh) 2017-06-14 2017-06-14 图像检测方法、装置、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN108230294A CN108230294A (zh) 2018-06-29
CN108230294B true CN108230294B (zh) 2020-09-29

Family

ID=62656650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710448251.XA Active CN108230294B (zh) 2017-06-14 2017-06-14 图像检测方法、装置、电子设备和存储介质

Country Status (3)

Country Link
US (1) US11200416B2 (zh)
CN (1) CN108230294B (zh)
WO (1) WO2018228336A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10573003B2 (en) * 2017-02-13 2020-02-25 Amit Sethi Systems and methods for computational pathology using points-of-interest
CN108230294B (zh) * 2017-06-14 2020-09-29 北京市商汤科技开发有限公司 图像检测方法、装置、电子设备和存储介质
US11132797B2 (en) * 2017-12-28 2021-09-28 Topcon Corporation Automatically identifying regions of interest of an object from horizontal images using a machine learning guided imaging system
CN109376767B (zh) * 2018-09-20 2021-07-13 中国科学技术大学 基于深度学习的视网膜oct图像分类方法
CN109671049B (zh) * 2018-11-07 2024-03-01 哈尔滨工业大学（深圳） 一种医学图像处理方法、系统、设备、存储介质
CN110245263B (zh) * 2019-05-15 2021-08-20 北京奇艺世纪科技有限公司 一种聚合方法、装置、电子设备及存储介质
CN110929807B (zh) * 2019-12-06 2021-04-06 腾讯科技（深圳）有限公司 图像分类模型的训练方法、图像分类方法及装置
AU2020401794A1 (en) * 2019-12-09 2022-07-28 Janssen Biotech, Inc. Method for determining severity of skin disease based on percentage of body surface area covered by lesions
US20220068480A1 (en) * 2020-08-31 2022-03-03 Foundrydc, Llc Systems and methods for predicting and improving the healthcare decisions of a patient via predictive modeling
AU2021349226C1 (en) * 2020-09-23 2023-08-24 Proscia Inc. Critical component detection using deep learning and attention
CN112541900B (zh) * 2020-12-15 2024-01-02 平安科技（深圳）有限公司 基于卷积神经网络的检测方法、装置、计算机设备及存储介质
CN112950615B (zh) * 2021-03-23 2022-03-04 内蒙古大学 一种基于深度学习分割网络的甲状腺结节侵袭性预测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036276A (zh) * 2014-05-29 2014-09-10 无锡天脉聚源传媒科技有限公司 人脸识别方法及装置
US8848068B2 (en) * 2012-05-08 2014-09-30 Oulun Yliopisto Automated recognition algorithm for detecting facial expressions
CN106127263A (zh) * 2016-07-06 2016-11-16 中国人民解放军国防科学技术大学 基于三维特征提取的人脑磁共振图像分类识别方法及系统
CN106845507A (zh) * 2015-12-07 2017-06-13 北京航天长峰科技工业集团有限公司 一种基于注意力的分块化目标检测方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW321748B (zh) * 1994-02-23 1997-12-01 Rca Thomson Licensing Corp
CN105981050B (zh) * 2013-11-30 2019-05-07 北京市商汤科技开发有限公司 用于从人脸图像的数据提取人脸特征的方法和系统
US10318576B2 (en) * 2013-12-12 2019-06-11 Nant Holdings Ip, Llc Image recognition verification
US9864758B2 (en) * 2013-12-12 2018-01-09 Nant Holdings Ip, Llc Image recognition verification
WO2017075077A1 (en) * 2015-10-26 2017-05-04 The Johns Hopkins University Automated generation of sentence-based descriptors from imaging data
US10853449B1 (en) * 2016-01-05 2020-12-01 Deepradiology, Inc. Report formatting for automated or assisted analysis of medical imaging data and medical diagnosis
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
US10573003B2 (en) * 2017-02-13 2020-02-25 Amit Sethi Systems and methods for computational pathology using points-of-interest
CN108229455B (zh) * 2017-02-23 2020-10-16 北京市商汤科技开发有限公司 物体检测方法、神经网络的训练方法、装置和电子设备
CN108230294B (zh) * 2017-06-14 2020-09-29 北京市商汤科技开发有限公司 图像检测方法、装置、电子设备和存储介质
CN110348428B (zh) * 2017-11-01 2023-03-24 腾讯科技（深圳）有限公司 眼底图像分类方法、装置及计算机可读存储介质
US20190139216A1 (en) * 2017-11-03 2019-05-09 Siemens Healthcare Gmbh Medical Image Object Detection with Dense Feature Pyramid Network Architecture in Machine Learning
US10846875B2 (en) * 2018-06-07 2020-11-24 Siemens Healthcare Gmbh Adaptive nonlinear optimization of shape parameters for object localization in 3D medical images
US20200194108A1 (en) * 2018-12-13 2020-06-18 Rutgers, The State University Of New Jersey Object detection in medical image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8848068B2 (en) * 2012-05-08 2014-09-30 Oulun Yliopisto Automated recognition algorithm for detecting facial expressions
CN104036276A (zh) * 2014-05-29 2014-09-10 无锡天脉聚源传媒科技有限公司 人脸识别方法及装置
CN106845507A (zh) * 2015-12-07 2017-06-13 北京航天长峰科技工业集团有限公司 一种基于注意力的分块化目标检测方法
CN106127263A (zh) * 2016-07-06 2016-11-16 中国人民解放军国防科学技术大学 基于三维特征提取的人脑磁共振图像分类识别方法及系统

Also Published As

Publication number Publication date
US11200416B2 (en) 2021-12-14
CN108230294A (zh) 2018-06-29
US20190325215A1 (en) 2019-10-24
WO2018228336A1 (zh) 2018-12-20

Similar Documents

Publication Publication Date Title
CN108230294B (zh) 图像检测方法、装置、电子设备和存储介质
CN110866908B (zh) 图像处理方法、装置、服务器及存储介质
CN110689025B (zh) 图像识别方法、装置、系统及内窥镜图像识别方法、装置
Wang et al. Smartphone-based wound assessment system for patients with diabetes
WO2020199593A1 (zh) 图像分割模型训练方法、图像分割方法、装置、设备及介质
CN108021916A (zh) 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN112017185B (zh) 病灶分割方法、装置及存储介质
US20220383661A1 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
JP2022180466A (ja) 診断支援装置、学習装置、診断支援方法、学習方法及びプログラム
US20240112329A1 (en) Distinguishing a Disease State from a Non-Disease State in an Image
CN113576508A (zh) 一种基于神经网络的脑出血辅助诊断系统
CN112614573A (zh) 基于病理图像标注工具的深度学习模型训练方法及装置
CN114372985B (zh) 适应多中心图像的糖尿病视网膜病变病灶分割方法及系统
Tian et al. Learning discriminative representations for fine-grained diabetic retinopathy grading
CN110110750B (zh) 一种原始图片的分类方法及装置
Li et al. A deep-learning-enabled monitoring system for ocular redness assessment
CN116884036A (zh) 基于YOLOv5DA的生猪姿态检测方法、装置、设备及介质
CN115736939A (zh) 房颤患病概率生成方法、装置、电子设备和存储介质
Sridhar et al. Artificial intelligence in medicine: diabetes as a model
JP2024504958A (ja) 組織検体画像の生成方法、及びこれを行うコンピューティングシステム
CN112734701A (zh) 眼底病灶检测方法、检测装置及终端设备
Wang et al. PCRTAM-Net: A novel pre-activated convolution residual and triple attention mechanism network for retinal vessel segmentation
Bajaj et al. Diabetic retinopathy stage classification
WO2024062839A1 (ja) 識別装置、識別方法、プログラム
Escorcia-Gutierrez et al. Grading Diabetic Retinopathy Using Transfer Learning-Based Convolutional Neural Networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant