CN111402228B - 图像检测方法、装置和计算机可读存储介质 - Google Patents

图像检测方法、装置和计算机可读存储介质 Download PDF

Info

Publication number
CN111402228B
CN111402228B CN202010175243.4A CN202010175243A CN111402228B CN 111402228 B CN111402228 B CN 111402228B CN 202010175243 A CN202010175243 A CN 202010175243A CN 111402228 B CN111402228 B CN 111402228B
Authority
CN
China
Prior art keywords
image
target
thermodynamic diagram
key point
probability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010175243.4A
Other languages
English (en)
Other versions
CN111402228A (zh
Inventor
曹世磊
谢苁
魏东
马锴
王连生
郑冶枫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202010175243.4A priority Critical patent/CN111402228B/zh
Publication of CN111402228A publication Critical patent/CN111402228A/zh
Application granted granted Critical
Publication of CN111402228B publication Critical patent/CN111402228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

本发明实施例公开了一种图像检测方法、装置和计算机可读存储介质；本发明实施例可以输入待检测图像，并对该待检测图像进行特征提取，得到图像特征信息，根据该图像特征信息对该待检测图像进行目标预测，根据预测结果生成目标的关键点热力图和中心点热力图，并预测该关键点热力图的偏移量，得到偏移量预测图，计算该关键点热力图中各个像素点属于目标的概率，根据该概率从该各个像素点中选取多个概率峰值点，基于该中心点热力图从该多个概率峰值点确定目标关键点，并利用该目标关键点生成该待检测图像的目标预测区域，基于该目标预测区域和该偏移量预测图确定目标区域，输出带有目标区域标注的图像；该方案可以有效地提高图像检测的准确性。

Description

图像检测方法、装置和计算机可读存储介质
技术领域
本发明涉及通信技术领域，具体涉及一种图像检测方法、装置和计算机可读存储介质。
背景技术
随着科学技术的高速发展，基于人工智能的目标检测在计算机辅助检测中起着重要的作用。目标检测是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人导航、智能视频监控、工业检测、航空航天等诸多领域，通过计算机视觉减少对人力资本的消耗，具有重要的现实意义。因此，目标检测也就成为了近年来理论和应用的研究热点，它是图像处理和计算机视觉学科的重要分支，也是智能监控系统的核心部分。由于深度学习的广泛运用，目标检测算法得到了较为快速的发展。目前的目标检测通常专注于特定目标类型，通过计算得到检测目标所需要的边框标注。但是，这样得到的边框，并不能准确地得到目标区域，对小的目标来说，会引入过多的背景噪声，对大的目标来说，可能出现边框无法完全覆盖目标区域的情况。针对这个问题，目前尚未提出非常有效的解决方案。
发明内容
本发明实施例提供一种图像检测方法、装置和计算机可读存储介质，可以有效地提高图像检测的准确性。
本发明实施例提供一种图像检测方法，包括：
输入待检测图像，并对所述待检测图像进行特征提取，得到待检测图像的图像特征信息；
根据所述图像特征信息对所述待检测图像进行目标预测，根据预测结果生成目标的关键点热力图和中心点热力图，并预测所述关键点热力图的偏移量，得到偏移量预测图；
计算所述关键点热力图中各个像素点属于目标的概率，根据所述概率从所述各个像素点中选取多个概率峰值点；
基于所述中心点热力图从所述多个概率峰值点确定目标关键点，并利用所述目标关键点生成所述待检测图像的目标预测区域；
基于所述目标预测区域和所述偏移量预测图确定目标区域，输出带有目标区域标注的图像。
相应的，本发明实施例还提供一种图像检测装置，包括：
提取单元，用于输入待检测图像，并对所述待检测图像进行特征提取，得到待检测图像的图像特征信息；
预测单元，用于根据所述图像特征信息对所述待检测图像进行目标预测，根据预测结果生成目标的关键点热力图和中心点热力图，并预测所述关键点热力图的偏移量，得到偏移量预测图；
选取单元，用于计算所述关键点热力图中各个像素点属于目标的概率，根据所述概率从所述各个像素点中选取多个概率峰值点；
生成单元，用于基于所述中心点热力图从所述多个概率峰值点确定目标关键点，并利用所述目标关键点生成所述待检测图像的目标预测区域；
确定单元，用于基于所述目标预测区域和所述偏移量预测图确定目标区域，输出带有目标区域标注的图像。
可选的，在一些实施例中，所述预测单元，具体可以用于根据所述图像特征信息对所述待检测图像进行目标预测，得到目标预测位置；利用图像检测模型生成所述目标预测位置的中心点热力图和多个关键点热力图；预测每个关键点热力图的偏移量，基于每个关键点热力图的偏移量生成对应的偏移量预测图；
则所述选取单元，具体可以用于计算每个关键点热力图中各个像素点属于目标的概率，根据所述概率从所述各个像素点中选取每个关键点热力图对应的多个概率峰值点。
可选的，在一些实施例中，所述生成单元，具体可以用于对每个关键点热力图对应的多个概率峰值点进行排序，从所述排序中选取预设数量的概率最大的像素点，得到每个关键点热力图对应的多个峰值关键点；分别从每个关键点热力图对应的多个峰值关键点中确定一个峰值关键点，得到多个峰值关键点；计算多个峰值关键点的中心点，若所述中心点在所述中心点热力图中且满足预设条件，则将所述多个峰值关键点确定为目标关键点。
可选的，在一些实施例中，所述提取单元可以包括预处理子单元和提取子单元，如下：
所述预处理子单元，用于利用预设窗宽窗位对所述待检测图像进行预处理，得到预处理后图像；
所述提取子单元，用于对所述待检测图像和所述预处理后图像进行特征提取，得到待检测图像的图像特征信息。
可选的，在一些实施例中，所述提取子单元，具体可以用于利用图像检测模型对所述待检测图像和所述预处理后图像进行下采样，得到低分辨率特征信息；将所述低分辨率特征信息进行上采样和卷积操作，得到图像特性信息。
可选的，在一些实施例中，所述图像检测装置还可以包括训练单元，所述训练单元可以包括获取子单元、生成子单元和训练子单元，如下：
所述获取子单元，用于获取多张样本图像作为训练数据集，所述样本图像包括目标的长短径标注信息；
所述生成子单元，用于利用预设图像检测模型对所述样本图像进行特征提取，得到图像样本特征信息；根据所述图像样本特征信息和所述长短径标注信息生成样本中心点热力图和多个样本关键点热力图，以及每个样本关键点热力图对应的样本偏移预测图；
所述训练子单元，用于基于所述样本中心点热力图、所述样本关键点热力图和所述样本偏移预测图对所述预设图像检测模型进行训练，得到图像检测模型。
可选的，在一些实施例中，所述训练子单元，具体可以用于基于所述样本中心点热力图和所述样本关键点热力图对所述预设图像检测模型进行训练，得到第一预测值；根据所述样本关键点热力图的真实值与第一预测值，计算所述预设图像检测模型的第一损失；基于所述样本偏移预测图对所述预设图像检测模型进行训练，得到第二预测值；根据所述样本偏移预测图的真实值与第二预测值，计算所述预设图像检测模型的第二损失；根据所述第一损失和所述第二损失对所述预设图像检测模型进行调整，直到所述预设图像检测模型，得到图像检测模型。
可选的，在一些实施例中，所述选取单元，具体可以用于利用预设函数对所述关键点热力图中各个像素点属于目标的概率进行计算，得到计算结果，并根据所述计算结果确定各个像素点的概率；利用预设窗口对所述关键点热力图进行滑动选取，选取当前窗口中概率最大且满足预设阈值的像素点作为概率峰值点，直到遍历完所述关键点热力图，得到多个概率峰值点。
可选的，在一些实施例中，所述图像检测装置还可以包括存储单元，所述存储单元用于将所述图像特征信息和所述带有目标区域标注的图像保存在区块链中。
此外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例提供的任一种图像检测方法中的步骤。
此外，本申请实施例还提供一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本申请实施例提供的任一种图像检测方法中的步骤。
本发明实施例可以输入待检测图像，并对所述待检测图像进行特征提取，得到待检测图像的图像特征信息，然后，根据所述图像特征信息对所述待检测图像进行目标预测，根据预测结果生成目标的关键点热力图和中心点热力图，并预测所述关键点热力图的偏移量，得到偏移量预测图，再计算所述关键点热力图中各个像素点属于目标的概率，根据所述概率从所述各个像素点中选取多个概率峰值点，接着，基于所述中心点热力图从所述多个概率峰值点确定目标关键点，并利用所述目标关键点生成所述待检测图像的目标预测区域，再然后，基于所述目标预测区域和所述偏移量预测图确定目标区域，输出带有目标区域标注的图像；该方案可以有效地提高图像检测的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1a是本发明实施例提供的图像检测方法的场景示意图；
图1b是本发明实施例提供的图像检测方法的流程图；
图1c是本发明实施例提供的沙漏网络的结构图；
图2a是本发明实施例提供的图像检测方法的另一流程图；
图2b是本发明实施例提供的图像检测模型的结构图；
图2c是本发明实施例提供的图像检测方法的又一流程图；
图3是本发明实施例提供的图像检测装置的结构示意图；
图4是本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种图像检测方法、装置和计算机可读存储介质。其中，该图像检测装置可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备。
本申请实施例提供的图像检测方法涉及人工智能领域中的计算机视觉方向，可以通过人工智能的计算机视觉技术实现图像检测，得到筛选结果。
其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。其中，人工智能软件技术主要包括计算机视觉技术、机器学习/深度学习等方向。
其中，计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步的说，就是指通过计算机代替人眼对目标进行识别、测量等的机器视觉，并进一步进行图像处理，使图像经过计算机处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别等技术，还包括常见的人脸识别、人体姿态识别等生物特征识别技术。
例如，参见图1a，首先，该集成了图像检测装置的终端可以输入待检测图像，并对该待检测图像进行特征提取，得到待检测图像的图像特征信息，然后，根据该图像特征信息对该待检测图像进行目标预测，根据预测结果生成目标的关键点热力图和中心点热力图，并预测该关键点热力图的偏移量，得到偏移量预测图，再计算该关键点热力图中各个像素点属于目标的概率，根据该概率从该各个像素点中选取多个概率峰值点，接着，基于该中心点热力图从该多个概率峰值点确定目标关键点，并利用该目标关键点生成该待检测图像的目标预测区域，再然后，基于该目标预测区域和该偏移量预测图确定目标区域，输出带有目标区域标注的图像，并将该图像发送给用户。
由于该方案可以根据图像特征信息对该待检测图像进行目标预测，进而生成关键点热力图、中心点热力图和偏移量热力图，再根据关键点热力图中各个像素点属于目标的概率选取多个概率峰值点，从而确定目标关键点，最后基于目标关键点生成的目标预测区域和偏移量预测图确定目标区域，对于直接通过提供边框标注，并根据标注端点直接生成目标区域的方案(此类方案对小的目标来说，会引入过多的背景噪声，对大的目标来说，可能出现边框无法完全覆盖目标区域的情况)，可以有效地提高了图像检测的准确性。
以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。
本实施例将从图像检测装置的角度进行描述，该图像检测装置具体可以集成在电子设备中，该电子设备可以是服务器，也可以是终端等设备，亦可以是包括终端和服务器的综合设备，等等。其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
一种图像检测方法，包括：输入待检测图像，并对该待检测图像进行特征提取，得到待检测图像的图像特征信息，然后，根据该图像特征信息对该待检测图像进行目标预测，根据预测结果生成目标的关键点热力图和中心点热力图，并预测该关键点热力图的偏移量，得到偏移量预测图，再计算该关键点热力图中各个像素点属于目标的概率，根据该概率从该各个像素点中选取多个概率峰值点，接着，基于该中心点热力图从该多个概率峰值点确定目标关键点，并利用该目标关键点生成该待检测图像的目标预测区域，再然后，基于该目标预测区域和该偏移量预测图确定目标区域，输出带有目标区域标注的图像。
如图1b所示，该图像检测方法的具体流程可以如下：
101、输入待检测图像，并对该待检测图像进行特征提取，得到待检测图像的图像特征信息。
例如，可以从数据库或网络等各种渠道获取待检测图像，然后再将获取到的待检测图像输入图像检测装置中。其中，图像检测可以是医学图像中的病变检测，也可以是图像中的人脸检测，也可以是图像中的生物检测，亦可以是图像中的车辆检测或者图像中车辆的车牌检测等等。
比如，图像检测装置获取到待检测图像后，可以对该待检测图像进行预处理，然后再进行特征提取，例如，具体可以利用预设窗宽窗位对该待检测图像进行预处理，得到预处理后图像；对该待检测图像和该预处理后图像进行特征提取，得到待检测图像的图像特征信息。
比如，待检测图像是电子计算机断层扫描仪(Computed Tomography，CT)扫描得到的图像，可以每次从一个扫描中采样多个相邻切片，经过多种不同窗宽窗位的图像预处理后，堆叠成多通道作为神经网络的输入，然后进行特征提取。
其中，窗宽(window width)和窗位(window level)是一种窗技术(WindowTechnique)，是医生用以观察不同密度正常组织或病变的一种显示技术。由于各种不同组织结构或病变具有不同的像素值，因此，欲显示某一组织结构细节时，应选择适合观察组织结构的窗宽窗位，以获得显示最佳效果。
窗宽是CT/DR(直接数字平板X线成像系统)图像上显示的CT/DR值，在此CT/DR值范围内组织和病变均以不同的模拟灰度显示，而CT/DR值高于此范围的组织和病变，无论是高于多少，都均为白影显示，不再有灰度差异，反之，低于此范围的组织，不论是低于多少，均为黑影显示，也无灰度差异。增大窗宽，则图像所示CT/DR值范围加大，显示具有不同密度的组织结构增多，但各结构这间的灰度别减少；减少窗宽，则显示组织结构减少，而各结构这间的灰度别增加。
其中，DR(Digital Radiography)指的是在计算机控制下直接进行数字化X线摄影的一种新技术，即采非晶硅平板探测器把穿透人体的X线信息转化为数字信号，并由计算机重建图像及进行一系列的图像后处理。DR系统主要包括X线发生装置、直接转换平板探测器、系统控制器、影像监示器、影像处理工作站等几部分组成。DR由于采用数字技术，因此可以根据临床需要进行各种图像后处理，如图像自动处理技术，边缘增强清晰技术、放大漫游、图像拼接、兴趣区窗宽窗位调节以及距离、面积、密度测量等丰富的功能。
窗位是窗的中心点。同样的窗宽，由于窗位不同，其包括CT/DR范围的CT/DR值有差异。例如窗宽(w)同为w＝60，当窗位为L＝0时，其CT/DR值范围为－30～+30；如窗位是+10时，则CT/DR值范围为－20～+40。通常欲观察某一组织的结构及发生的病变，应以该组织的CT/DR值为窗位。
例如，具体可以利用图像检测模型对该待检测图像和该预处理后图像进行下采样，得到低分辨率特征信息；将该低分辨率特征信息进行上采样和卷积操作，得到图像特性信息。其中，图像检测模型的网络结构在此不作限定，可以是能实现特征提取的任意网络结构。
可选的，该图像检测模型可以由多张样本图像训练而成。具体可以由其他设备进行训练后，提供给该图像检测装置，或者，也可以由该图像检测装置自行进行训练；即在采用图像检测模型之前，该图像检测方法还可以包括：
(1)获取多张样本图像作为训练数据集，该样本图像包括目标的长短径标注信息。
比如，具体可以采集多张样本图像作为训练数据集，比如从数据库或网络等获取该原始数据集，然后对该训练数据集里的图像进行预处理，以得到满足预设图像检测模型的输入标准的图像。
其中，预处理可以包括灰度化、几何变换、图像增强、去噪、插值、对齐和/或旋转翻转等操作，预处理可以根据模型需要进行设置，也可以预先设置好预处理规则并存储在图像检测装置中，以使图像检测装置可以根据预设预处理规则对图像进行预处理，等等。其中，对样本图像进行预处理的主要目的是消除样本图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性、最大限度地简化数据，从而改进特征提取的可靠性。
比如，这里可以利用预设窗宽窗位对该样本图像进行预处理，堆叠成多通道作为图像检测模型的输入，然后进行特征提取，以获得多种窗宽窗位下待检测图像的信息。
(2)利用该多张样本图像对预设图像检测模型进行训练，得到图像检测模型。
例如，具体可以利用预设图像检测模型对该样本图像进行特征提取，得到图像样本特征信息；根据该图像样本特征信息和该长短径标注信息生成样本中心点热力图和多个样本关键点热力图，以及每个样本关键点热力图对应的样本偏移预测图；基于该样本中心点热力图、该样本关键点热力图和该样本偏移预测图对该预设图像检测模型进行训练，得到图像检测模型。
其中，长短径标注信息指的是利用交叉的长径和短径对目标进行标注，以确定目标是否存在、以及存在的位置等等。长短径的多个关键点可以指的是长短径中长径的端点、以及短径的端点等等。长短径的中心点可以指的是长径和短径交叉的点。
为了提高图像检测的准确性，提取图像的多层次特征，该预设图像检测模型可以使用沙漏网络进行特征提取。其中，沙漏网络的网络结构如图1c所示，右边就像左边的镜像一样，倒序的复制了一份(C4b-C1b)，整体上看起来就是一个沙漏，上面也复制了一份(C4a-C1a)，而且每个方块还通过加号与右边对应位置的方块合并。其中，C4b这个网络层，它是由C7和C4a合并来的，C7层通过上采样将分辨率扩大一倍，上采样相当于池化(pool)层的反操作，为了将特征图(feature map)的分辨率扩大，比如，C7的内核大小(kernel size)为4x4，那么上采样后得到的kernel size为8x8。C4a层与C4层的大小保持一致，可以看作是C4层的“副本”，它的kernel size是C7的两倍，刚好与被上采样后的C7大小一致，可以直接将数值相加，就得到了C4b。C3b这个网络层，同样的，先对C4b进行上采样，然后与C3a合并，C2b先对C3b进行上采样，然后与C2a合并，C1b先对C2b进行上采样，然后与C1a合并。这样将featuremap层层叠加后，最后一个大的feature map(C1b)既保留了所有层的信息，又与输入原图大小，意味着可以通过1x1卷积生成代表关键点概率的热力图(heat map)。
例如，具体可以基于该样本中心点热力图和该样本关键点热力图对该预设图像检测模型进行训练，得到第一预测值；根据该样本关键点热力图的真实值与第一预测值，计算该预设图像检测模型的第一损失；基于该样本偏移预测图对该预设图像检测模型进行训练，得到第二预测值；根据该样本偏移预测图的真实值与第二预测值，计算该预设图像检测模型的第二损失；根据该第一损失和该第二损失对该预设图像检测模型进行调整，直到该预设图像检测模型，得到图像检测模型。
比如，预设图像检测模型还可以包括生成网络，比如，可以利用分别输出中心点热力图、多个关键点热力图以及多个关键点热力图对应的多个偏移量预测图。中心点的偏移量不参与训练，然后，分别计算每个输出图对应的损失(loss)。
比如，生成网络为每一个输出通道生成一个热力图
Figure BDA0002410594840000101
(预测的热力图)，其中W，H分别为输出特征图的长宽。训练由一个多峰高斯热力图Y∈(0,1)H×W(由GT生成的热力图)指导，其中每个关键点被定义为高斯核的平均值，标准差与目标对象大小成正比。该高斯热力图作为权重减少正样本附近像素点的惩罚。其中，GT指的是对数据的标注，物体的真实标签。
对于关键点热力图和中心点热力图，在训练过程中采用改进的focal loss，其形式如下：
Figure BDA0002410594840000111
其中，α和β是超参数，N是一张图像中目标对象的数量。
对于偏移量预测图，生成网络为每个关键点预测了类别未知的关键点偏移量Δ(a)。这个过程可以恢复沙漏网络下采样过程中丢失的信息，弥补下采样过程中引起的分辨率损失。对于每一张输入图像，只计算正例点(即目标真实值对应的点)对应的偏移量损失，如下：
Figure BDA0002410594840000112
其中，s是下采样因子，
Figure BDA0002410594840000113
为关键点坐标，SL1指Smooth L1 Loss(平滑L1损失函数)。
总体的loss如下所示：
Figure BDA0002410594840000114
其中，λ偏移量loss对应的权重，Ldet,1,Ldet,2,Ldet,3,……,Ldet,n分别对应关键点热力图损失和中心点热力图损失，Loff,1,Loff,2,……,Loff,m分别对应偏移量预测损失。
102、根据该图像特征信息对该待检测图像进行目标预测，根据预测结果生成目标的关键点热力图和中心点热力图，并预测该关键点热力图的偏移量，得到偏移量预测图。
例如，具体可以根据该图像特征信息对该待检测图像进行目标预测，得到目标预测位置，利用图像检测模型生成该目标预测位置的中心点热力图和多个关键点热力图，预测每个关键点热力图的偏移量，基于每个关键点热力图的偏移量生成对应的偏移量预测图。
其中，热力图指的是神经网络中的一种可视化方法，它有助于了解一张图像的哪一部分让卷积神经网络做出了最终的分类决策。这有助于对卷积神经网络的决策过程进行调试，特别是分类错误的情况下。这种方法可以定位图像中的特定目标。它有助于理解图像的哪个部分被识别为属于某个类别，从而可以定位图像中的物体，等等。
103、计算该关键点热力图中各个像素点属于目标的概率，根据该概率从该各个像素点中选取多个概率峰值点。
例如，可以利用预设函数对该关键点热力图中各个像素点属于目标的概率进行计算，得到计算结果，并根据该计算结果确定各个像素点的概率；利用预设窗口对该关键点热力图进行滑动选取，选取当前窗口中概率最大且满足预设阈值的像素点作为概率峰值点，直到遍历完该关键点热力图，得到多个概率峰值点。
例如，具体可以计算每个关键点热力图中各个像素点属于目标的概率，根据该概率从该各个像素点中选取每个关键点热力图对应的多个概率峰值点。比如，利用预设函数对每个关键点热力图中各个像素点属于目标的概率进行计算，得到计算结果，并根据该计算结果确定各个像素点的概率；利用预设窗口对每个关键点热力图进行滑动选取，选取当前窗口中概率最大且满足预设阈值的像素点作为概率峰值点，直到遍历完该关键点热力图，得到每个关键点热力图的多个概率峰值点。
其中，预设函数的设定方式可以有很多种，比如，可以根据实际应用的需求灵活设置，也可以预先设置好存储在图像检测装置中。此外，预设函数可以内置于图像检测装置中，或者，也可以保存在存储器中并发送给图像检测装置，等等。比如，预设函数可以是S(Sigmoid)型函数，等等。由于sigmoid的输出在0和1之间，在二分类任务中，采用sigmoid的输出的是事件概率，也就是当输出满足某一概率条件可以将其划分正类。
其中，预设阈值的设定方式可以有很多种，比如，可以根据实际应用的需求灵活设置，也可以预先设置好存储在图像检测装置中。此外，预设阈值可以内置于图像检测装置中，或者，也可以保存在存储器中并发送给图像检测装置，等等。
104、基于该中心点热力图从该多个概率峰值点确定目标关键点，并利用该目标关键点生成该待检测图像的目标预测区域。
其中，从该多个概率峰值点确定目标关键点的方式可以有很多种，比如，可以中心分组(center grouping)算法，具体可以对每个关键点热力图对应的多个概率峰值点进行排序，从该排序中选取预设数量的概率最大的像素点，得到每个关键点热力图对应的多个峰值关键点；分别从每个关键点热力图对应的多个峰值关键点中确定一个峰值关键点，得到多个峰值关键点；计算多个峰值关键点的中心点，若该中心点在该中心点热力图中且满足预设条件，则将该多个峰值关键点确定为目标关键点。利用多组目标关键点生成该待检测图像的多个目标预测区域。
其中，预设条件的设定方式可以有很多种，比如，可以根据实际应用的需求灵活设置，也可以预先设置好存储在图像检测装置中。此外，预设条件可以内置于图像检测装置中，或者，也可以保存在存储器中并发送给图像检测装置，等等。比如，预设条件可以是计算得到的中心点在中心点热力图中分数较高，如大于某一设定的阈值，则认为该峰值关键点是一个有效的检测。
105、基于该目标预测区域和该偏移量预测图确定目标区域，输出带有目标区域标注的图像。
例如，具体可以在得到多个目标预测区域后，通过在偏移量预测图的相应位置添加偏移量细化预测的边框坐标后，最后使用软化非极大值抑制算法(Soft Non-maximumsuppression，soft-nms)过滤检测结果，比如，将得到的预测边框按得分排序，然后保留得分最高的框(即目标区域)，同时删除与该框重叠面积大于一定比例的其它框，最后输出带有目标区域标注的图像。
需要说明的是，为了提高图像检测的安全性，上述方法中数据(比如，图像特征信息、以及带有目标区域标注的图像，等等)存储可以选择保存在区块链中，也可以选择保存在其他设备或者云端，等等。其中，区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。
区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。
平台产品服务层提供典型应用的基本能力和实现框架，开发人员可以基于这些基本能力，叠加业务的特性，完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。
由上可知，本实施例可以输入待检测图像，并对该待检测图像进行特征提取，得到待检测图像的图像特征信息，然后，根据该图像特征信息对该待检测图像进行目标预测，根据预测结果生成目标的关键点热力图和中心点热力图，并预测该关键点热力图的偏移量，得到偏移量预测图，再计算该关键点热力图中各个像素点属于目标的概率，根据该概率从该各个像素点中选取多个概率峰值点，接着，基于该中心点热力图从该多个概率峰值点确定目标关键点，并利用该目标关键点生成该待检测图像的目标预测区域，再然后，基于该目标预测区域和该偏移量预测图确定目标区域，输出带有目标区域标注的图像。由于该方案可以根据图像特征信息对该待检测图像进行目标预测，进而生成关键点热力图、中心点热力图和偏移量热力图，再根据关键点热力图中各个像素点属于目标的概率选取多个概率峰值点，从而确定目标关键点，最后基于目标关键点生成的目标预测区域和偏移量预测图确定目标区域，对于直接通过提供边框标注，并根据标注端点直接生成目标区域的方案(此类方案对小的目标来说，会引入过多的背景噪声，对大的目标来说，可能出现边框无法完全覆盖目标区域的情况)，可以有效地提高了图像检测的准确性。该方案通过利用卷积神经网络，通过学习长短径的端点，检测图像中目标的关键点，从而实现对多种目标的通用检测。
根据上一个实施例所描述的方法，以下将举例作进一步详细说明。
随着深度病变(DeepLesion)数据集的发布，越来越多人关注通用病变检测，即检测出患者身上所有类型的病变，不关注病变类型。卷积神经网络也已在多个实际问题中发挥了重要作用。但由于边框标注的复杂性，通常是采用临床医生常用的实体肿瘤疗效评价标准(Response Evaluation Criteria in Solid Tumors，RECIST)的长短径标注，计算得到检测任务所需要的边框标注。但是，这样得到的边框，并不能准确地得到病变区域，对小的病变来说，会引入过多的背景噪声，对大的病变来说，可能出现边框无法完全覆盖病变区域的情况。因此，本方案提出了一种基于关键点的通用病变检测方法，可以直接检测到图像中是否含有病变，并且定位到病变的位置，提高目标检测的准确性。
在本实施例中，将以该图像检测装置具体集成在电子设备，待检测图像为待检测医学图像，目标区域为病变区域为例进行说明。
(一)首先，需要对图像检测模型进行训练，具体可以如下：
(1)获取多张样本图像作为训练数据集，该样本图像包括目标的长短径标注信息。
比如，图像检测是医学图像中的目标区域(如病变区域)检测，则样本图像可以指的是由医生进行标注的医学图像样本，比如，具体可以由各医学图像采集设备，比如电子计算机断层扫描仪(Computed Tomography，CT)、或核磁共振成像仪(Magnetic ResonanceImaging，MRI)等来对生命体组织进行图像采集，由专业人员对图像进行标注，比如由图像科医师标注进而提供给该图像检测装置，即，图像检测装置具体可以接收医学图像采集设备发送的医学图像样本。
其中，医学图像指的是在医疗或医学研究中，以非侵入方式取得生命体或生命体某部分内部组织的图像，比如人体的脑部、肠胃、肝脏、心脏、喉咙和阴道等图像，这些图像可以是CT图像、核磁共振图像或者正子发射断层扫描影响等等。而生命体指的是有生命形态的独立个体，比如人或动物等。
其中，目标的长短径标注信息可以指的是采用临床医生常用的实体肿瘤疗效评价标准RECIST的长短径标注。
比如，电子设备具体可以采集多张样本图像作为训练数据集，比如从数据库或网络等获取该训练数据集，然后对该训练数据集里的图像进行预处理，以得到满足预设图像模型的输入标准的图像。比如，为了提高训练的效率，以及训练后的图像检测模型的准确性，可以使用公开的DeepLesion数据集作为训练数据集，DeepLesion是美国国家卫生研究院临床中心发布的大型CT图像数据集，囊括不同病变的标注数据。
其中，预处理的方式可以参见上述实施例，在本实施例中，为了提高训练准确性，电子设备可以对利用预设窗宽窗位对该样本图像进行预处理，比如，样本图像可以是从一个扫描中采样三个相邻切片，再经过三种不同窗宽窗位对样本图像进行预处理，这三种窗宽窗位分别为W 449、L 50，W 1980、L-505，W 1960、L 446。其中，W为窗宽，L为窗位。采用样本图像和经过三种不同窗宽窗位处理后，堆叠成12通道，并规范到[0,1]，作为预设图像检测模型的输入，以此获得多种窗宽窗位下图像的信息。
(2)利用该多张样本图像对预设图像检测模型进行训练，得到图像检测模型。
例如，电子设备具体可以利用预设图像检测模型对该样本图像进行特征提取，得到图像样本特征信息，根据该图像样本特征信息和该长短径标注信息生成样本中心点热力图和四个样本关键点热力图，以及每个样本关键点热力图对应的样本偏移预测图，基于该样本中心点热力图、该样本关键点热力图和该样本偏移预测图对该预设图像检测模型进行训练，得到图像检测模型。
为了提高图像检测的准确性，提取图像的多层次特征，该预设图像检测模型可以包括沙漏网络和生成网络，沙漏网络可以使用两个沙漏网络堆叠起来进行特征提取。比如，可以由一个104层的沙漏网络组成，输入长宽为511*511，输出特征图的长宽为128*128，分辨率约为原图的1/4。
生成网络分别输出4个关键点热力图、1个中心点热力图和4个偏移量预测图。偏移量预测图只对应于上下左右这四个关键点，中心点的偏移量不参与训练，然后，分别计算每个输出图对应的loss。
比如，生成网络为每一个输出通道生成一个热力图
Figure BDA0002410594840000171
(预测的热力图)，其中W，H分别为输出特征图的长宽。训练由一个多峰高斯热力图Y∈(0,1)H×W(由GT生成的热力图)指导，其中每个关键点被定义为高斯核的平均值，标准差与病变对象大小成正比。该高斯热力图作为权重减少正样本附近像素点的惩罚。
对于关键点热力图和中心点热力图，在训练过程中采用改进的focal loss，其形式如下：
Figure BDA0002410594840000172
其中，α和β是超参数，训练时可以固定α＝2,β＝4，N是一张图像中目标对象的数量。
对于偏移量预测图，生成网络为每个关键点预测了类别未知的关键点偏移量Δ(a)。这个过程可以恢复沙漏网络下采样过程中丢失的信息，弥补下采样过程中引起的分辨率损失。对于每一张输入图像，只计算正例点对应的偏移量损失，如下：
Figure BDA0002410594840000173
其中，s是下采样因子(在沙漏网络中，s＝4)，
Figure BDA0002410594840000174
为关键点坐标，SL1指Smooth L1Loss(平滑L1损失函数)。
总体的loss如下所示：
Figure BDA0002410594840000181
其中，λ偏移量loss对应的权重，这里设为1,Ldet,1,Ldet,2,Ldet,3,Ldet,4,Ldet,5分别对应关键点热力图损失的上下左右和中心点热力图损失的中心，Loff,1,Loff,2,Loff,3,Loff,4分别对应偏移量预测损失的上下左右。
例如，电子设备具体可以基于该样本中心点热力图和该样本关键点热力图对该预设图像检测模型进行训练，得到第一预测值；根据该样本关键点热力图的真实值与第一预测值，计算该预设图像检测模型的第一损失；基于该样本偏移预测图对该预设图像检测模型进行训练，得到第二预测值；根据该样本偏移预测图的真实值与第二预测值，计算该预设图像检测模型的第二损失；根据该第一损失和该第二损失对该预设图像检测模型进行调整，直到该预设图像检测模型，得到图像检测模型。
(二)通过训练好的分类模型和深度聚类模型，便可以对多张样本图像进行筛选，具体可以参见图2a和2b。
如图2a所示，一种图像检测方法，具体流程可以如下：
201、电子设备获取待检测医学图像。
比如，待检测医学图像是各医学图像采集设备扫描得到的人体某一部位的图像，可以每次从一个扫描中采样三个相邻切片，输入到电子设备中，然后由电子设备进行特征提取。其中，为了提高图像检测的准确性和一致性，输入的待检测医学图像可以调整成固定大小511*511。
202、电子设备对该待检测医学图像进行特征提取，得到图像特征信息。
例如，电子设备具体可以利用预设窗宽窗位对该待检测医学图像进行预处理，得到预处理后图像，对该待检测医学图像和该预处理后图像进行特征提取，得到图像特征信息。比如，如图2b所示，电子设备对对该待检测医学图像经过三种不同窗宽窗位的图像预处理后，比如，这三种窗宽窗位分别为W 449、L 50，W 1980、L-505，W 1960、L 446，堆叠成12通道作为图像检测模型输入。
203、电子设备根据该图像特征信息对该待检测医学图像进行目标预测，根据预测结果生成目标的关键点热力图和中心点热力图。
例如，电子设备具体可以根据该图像特征信息，利用生成网络对该待检测医学图像进行目标预测，得到目标预测位置。比如，电子设备具体可以根据该图像特征信息，利用生成网络对该待检测医学图像进行病变预测，得到病变预测位置。若该待检测医学图像中有多个病变，则得到多个病变预测位置。接着，可以利用图像检测模型生成该目标预测位置的第一关键点热力图、第二关键点热力图、第三关键点热力图和第四关键点热力图，将该目标预测位置的中心点生成中心点热力图。比如，利用图像检测模型生成每个病变预测位置的第一关键点热力图、第二关键点热力图、第三关键点热力图和第四关键点热力图，将该病变预测位置的中心点生成中心点热力图。
204、电子设备预测该关键点热力图的偏移量，得到偏移量预测图。
例如，电子设备具体可以预测该第一关键点热力图的偏移量，得到第一偏移量预测图，预测该第二关键点热力图的偏移量，得到第二偏移量预测图，预测该第三关键点热力图的偏移量，得到第三偏移量预测图，预测该第四关键点热力图的偏移量，得到第四偏移量预测图。
205、电子设备计算该关键点热力图中各个像素点属于目标的概率，根据该概率从该各个像素点中选取多个概率峰值点。
例如，电子设备具体可以计算该第一关键点热力图中各个像素点属于目标的概率，根据该概率从该各个像素点中选取多个第一概率峰值点；计算该第二关键点热力图中各个像素点属于目标的概率，根据该概率从该各个像素点中选取多个第二概率峰值点；计算该第三关键点热力图中各个像素点属于目标的概率，根据该概率从该各个像素点中选取多个第三概率峰值点；计算该第四关键点热力图中各个像素点属于目标的概率，根据该概率从该各个像素点中选取多个第四概率峰值点。
比如，电子设备具体可以利用预设函数对第一关键点热力图中各个像素点属于目标的概率进行计算，得到计算结果，并根据该计算结果确定各个像素点的概率；利用预设窗口对第一关键点热力图进行滑动选取，选取当前窗口中概率最大且满足预设阈值的像素点作为概率峰值点，直到遍历完该关键点热力图，得到第一关键点热力图的多个第一概率峰值点。利用预设函数对第二关键点热力图中各个像素点属于目标的概率进行计算，得到计算结果，并根据该计算结果确定各个像素点的概率；利用预设窗口对第二关键点热力图进行滑动选取，选取当前窗口中概率最大且满足预设阈值的像素点作为概率峰值点，直到遍历完该关键点热力图，得到第二关键点热力图的多个第二概率峰值点。利用预设函数对第三关键点热力图中各个像素点属于目标的概率进行计算，得到计算结果，并根据该计算结果确定各个像素点的概率；利用预设窗口对第三关键点热力图进行滑动选取，选取当前窗口中概率最大且满足预设阈值的像素点作为概率峰值点，直到遍历完该关键点热力图，得到第三关键点热力图的多个第三概率峰值点。利用预设函数对第四关键点热力图中各个像素点属于目标的概率进行计算，得到计算结果，并根据该计算结果确定各个像素点的概率；利用预设窗口对第四关键点热力图进行滑动选取，选取当前窗口中概率最大且满足预设阈值的像素点作为概率峰值点，直到遍历完该关键点热力图，得到第四关键点热力图的多个第四概率峰值点。
比如，预设函数可以是Sigmoid函数，预设窗口可以是3*3像素窗口。已知一个热力图，通过检测所有峰值点来抽取相应的关键点。一个峰值点是值大于τp(如可以设置τp＝0.1,)的任意像素值，在周围的3*3像素窗口时局部最大值，这个过程叫做提取峰值(ExtractPeak)。
206、电子设备基于该中心点热力图从该多个概率峰值点确定目标关键点，并利用该目标关键点生成该待检测医学图像的目标预测区域。
例如，电子设备具体可以根据该概率对该多个第一概率峰值点进行排序，从该排序中选取预设数量的概率最大的像素点，得到多个第一峰值关键点；根据该概率对该多个第二概率峰值点进行排序，从该排序中选取预设数量的概率最大的像素点，得到多个第二峰值关键点；根据该概率对该多个第三概率峰值点进行排序，从该排序中选取预设数量的概率最大的像素点，得到多个第三峰值关键点；根据该概率对该多个第四概率峰值点进行排序，从该排序中选取预设数量的概率最大的像素点，得到多个第四峰值关键点；从该多个第一峰值关键点、该多个第二峰值关键点、该多个第三峰值关键点和该多个第四峰值关键点中分别确定一个峰值关键点，得到四个峰值关键点；计算四个峰值关键点的中心点位置，若该中心点位置在该中心关键点热力图中且满足预设条件，则将该峰值关键点确定为目标关键点。
比如，已知从关键点热力图
Figure BDA0002410594840000211
中抽取的四个点t，l，b，r，可计算出几何中心
Figure BDA0002410594840000212
如果计算得到的中心点c在中心点热力图
Figure BDA0002410594840000213
中分数较高，则认为这四个峰值关键点是一个有效的检测：
Figure BDA0002410594840000214
(τc为阈值)。接着，以暴力方式罗列出所有满足条件的关键点t，l，b，r。其中，暴力分组算法的时间复杂度为O(n^4)，其中n为每个热力图中抽取的点的数量，这里可以设置n＝40。
207、电子设备基于该目标预测区域和该偏移量预测图确定目标区域，得到图像检测结果。
例如，电子设备具体可以在得到多个目标预测区域后，通过在偏移量预测图的相应位置添加偏移量细化预测的边框坐标后，最后使用软化非极大值抑制算法过滤检测结果，比如，将得到的预测边框按得分排序，然后保留得分最高的框，即目标区域，(比如病变区域)，同时删除与该框重叠面积大于一定比例的其它框。为了使边框尽可能包括病变区域，将边框上下填充5像素为最终输出结果，即输出带有目标区域标注的图像，比如，输出带有病变区域标注的图像。
比如，电子设备可以接受到数据(如，用户提供的待检测医学图像)，然后使用本技术方案将其进行检测，然后输出各个目标对象所在区域，即目标检测结果。
比如，整体处理流程还可以如图2c所示，终端A接受到数据(用户提供的待检测医学图像)，然后上传给服务器，服务器使用本技术方案将其进行检测，然后将各个目标对象所在区域，即目标检测结果输出到终端B。其中，终端A和终端B可以指的是同一终端，也可以指的是不同终端。
由上可知，本实施例可以输入待检测图像，并对该待检测图像进行特征提取，得到待检测图像的图像特征信息，然后，根据该图像特征信息对该待检测图像进行目标预测，根据预测结果生成目标的关键点热力图和中心点热力图，并预测该关键点热力图的偏移量，得到偏移量预测图，再计算该关键点热力图中各个像素点属于目标的概率，根据该概率从该各个像素点中选取多个概率峰值点，接着，基于该中心点热力图从该多个概率峰值点确定目标关键点，并利用该目标关键点生成该待检测图像的目标预测区域，再然后，基于该目标预测区域和该偏移量预测图确定目标区域，输出带有目标区域标注的图像。由于该方案可以根据图像特征信息对该待检测图像进行目标预测，进而生成关键点热力图、中心点热力图和偏移量热力图，再根据关键点热力图中各个像素点属于目标的概率选取多个概率峰值点，从而确定目标关键点，最后基于目标关键点生成的目标预测区域和偏移量预测图确定目标区域，对于直接通过提供边框标注，并根据标注端点直接生成目标区域的方案(此类方案对小的目标来说，会引入过多的背景噪声，对大的目标来说，可能出现边框无法完全覆盖病变区域的情况)，可以有效地提高了图像检测的准确性。该方案通过利用卷积神经网络，通过学习长短径的端点，检测图像中病变的关键点，从而实现对多种病变的通用检测。并且，该方案使用深度学习对CT影像进行检测，只需要用户提供CT数据就可以得到精确的多病变定位，可以直接检测到影像中是否含有病变，并且定位到病变的位置，有助于实现全方位精准医疗，并通过直接学习RECIST长短径的端点，可以更有效地利用影像科医生的标注信息。
为了更好地实施以上方法，相应的，本发明实施例还提供一种图像检测装置，该图像检测装置具体可以集成在终端中，该终端可以包括手机、平板电脑、笔记本电脑以及个人计算机等可以实现图像检测的设备。
例如，如图3所示，该图像检测装置可以包括提取单元301、预测单元302、选取单元303、生成单元304和确定单元305，如下：
(1)提取单元301；
提取单元301，用于输入待检测图像，并对所述待检测图像进行特征提取，得到待检测图像的图像特征信息。
可选的，在一些实施例中，所述提取单元301可以包括预处理子单元和提取子单元，如下：
所述预处理子单元，用于利用预设窗宽窗位对所述待检测图像进行预处理，得到预处理后图像；
所述提取子单元，用于对所述待检测图像和所述预处理后图像进行特征提取，得到待检测图像的图像特征信息。
可选的，在一些实施例中，所述提取子单元，具体可以用于利用图像检测模型对所述待检测图像和所述预处理后图像进行下采样，得到低分辨率特征信息；将所述低分辨率特征信息进行上采样和卷积操作，得到图像特性信息。
可选的，在一些实施例中，所述图像检测装置还可以包括训练单元，所述训练单元可以包括获取子单元、生成子单元和训练子单元，如下：
所述获取子单元，用于获取多张样本图像作为训练数据集，所述样本图像包括目标的长短径标注信息；
所述生成子单元，用于利用预设图像检测模型对所述样本图像进行特征提取，得到图像样本特征信息；根据所述图像样本特征信息和所述长短径标注信息生成样本中心点热力图和多个样本关键点热力图，以及每个样本关键点热力图对应的样本偏移预测图；
所述训练子单元，用于基于所述样本中心点热力图、所述样本关键点热力图和所述样本偏移预测图对所述预设图像检测模型进行训练，得到图像检测模型。
可选的，在一些实施例中，所述训练子单元，具体可以用于基于所述样本中心点热力图和所述样本关键点热力图对所述预设图像检测模型进行训练，得到第一预测值；根据所述样本关键点热力图的真实值与第一预测值，计算所述预设图像检测模型的第一损失；基于所述样本偏移预测图对所述预设图像检测模型进行训练，得到第二预测值；根据所述样本偏移预测图的真实值与第二预测值，计算所述预设图像检测模型的第二损失；根据所述第一损失和所述第二损失对所述预设图像检测模型进行调整，直到所述预设图像检测模型，得到图像检测模型。
(2)预测单元302；
预测单元302，用于根据所述图像特征信息对所述待检测图像进行目标预测，根据预测结果生成目标的关键点热力图和中心点热力图，并预测所述关键点热力图的偏移量，得到偏移量预测图。
可选的，在一些实施例中，所述预测单元302，具体可以用于根据所述图像特征信息对所述待检测图像进行目标预测，得到目标预测位置；利用图像检测模型生成所述目标预测位置的中心点热力图和多个关键点热力图；预测每个关键点热力图的偏移量，基于每个关键点热力图的偏移量生成对应的偏移量预测图；
则所述选取单元303，具体可以用于计算每个关键点热力图中各个像素点属于目标的概率，根据所述概率从所述各个像素点中选取每个关键点热力图对应的多个概率峰值点。
(3)选取单元303；
选取单元303，用于计算所述关键点热力图中各个像素点属于目标的概率，根据所述概率从所述各个像素点中选取多个概率峰值点。
可选的，在一些实施例中，所述选取单元303，具体可以用于利用预设函数对所述关键点热力图中各个像素点属于目标的概率进行计算，得到计算结果，并根据所述计算结果确定各个像素点的概率；利用预设窗口对所述关键点热力图进行滑动选取，选取当前窗口中概率最大且满足预设阈值的像素点作为概率峰值点，直到遍历完所述关键点热力图，得到多个概率峰值点。
(4)生成单元304；
生成单元304，用于基于所述中心点热力图从所述多个概率峰值点确定目标关键点，并利用所述目标关键点生成所述待检测图像的目标预测区域。
可选的，在一些实施例中，所述生成单元304，具体可以用于对每个关键点热力图对应的多个概率峰值点进行排序，从所述排序中选取预设数量的概率最大的像素点，得到每个关键点热力图对应的多个峰值关键点；分别从每个关键点热力图对应的多个峰值关键点中确定一个峰值关键点，得到多个峰值关键点；计算多个峰值关键点的中心点，若所述中心点在所述中心点热力图中且满足预设条件，则将所述多个峰值关键点确定为目标关键点。
(5)确定单元305；
筛选单元305，用于基于所述目标预测区域和所述偏移量预测图确定目标区域，输出带有目标区域标注的图像。
可选的，在一些实施例中，所述图像检测装置还可以包括存储单元，所述存储单元用于将所述图像特征信息和所述图像检测结果保存在区块链中。
具体实施时，以上各个单元可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个单元的具体实施可参见前面的方法实施例，在此不再赘述。
由上可知，本实施例中可以由提取单元301输入待检测图像，并对所述待检测图像进行特征提取，得到待检测图像的图像特征信息，然后，由预测单元302根据所述图像特征信息对所述待检测图像进行目标预测，根据预测结果生成目标的关键点热力图和中心点热力图，并预测所述关键点热力图的偏移量，得到偏移量预测图，再由选取单元303计算所述关键点热力图中各个像素点属于目标的概率，根据所述概率从所述各个像素点中选取多个概率峰值点，接着，由生成单元304基于所述中心点热力图从所述多个概率峰值点确定目标关键点，并利用所述目标关键点生成所述待检测图像的目标预测区域，再然后，由确定单元305基于所述目标预测区域和所述偏移量预测图确定目标区域，输出带有目标区域标注的图像。由于该方案可以根据图像特征信息对所述待检测图像进行目标预测，进而生成关键点热力图、中心点热力图和偏移量热力图，再根据关键点热力图中各个像素点属于目标的概率选取多个概率峰值点，从而确定目标关键点，最后基于目标关键点生成的目标预测区域和偏移量预测图确定目标区域，对于直接通过提供边框标注，并根据标注端点直接生成目标区域的方案(此类方案对小的目标来说，会引入过多的背景噪声，对大的目标来说，可能出现边框无法完全覆盖目标区域的情况)，可以有效地提高了图像检测的准确性。
此外，本发明实施例还提供一种电子设备，如图4所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；优选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403，优选的，电源403可以通过电源管理系统与处理器401逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现各种功能，如下：
输入待检测图像，并对该待检测图像进行特征提取，得到待检测图像的图像特征信息，然后，根据该图像特征信息对该待检测图像进行目标预测，根据预测结果生成目标的关键点热力图和中心点热力图，并预测该关键点热力图的偏移量，得到偏移量预测图，再计算该关键点热力图中各个像素点属于目标的概率，根据该概率从该各个像素点中选取多个概率峰值点，接着，基于该中心点热力图从该多个概率峰值点确定目标关键点，并利用该目标关键点生成该待检测图像的目标预测区域，再然后，基于该目标预测区域和该偏移量预测图确定目标区域，输出带有目标区域标注的图像。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
由上可知，本实施例可以输入待检测图像，并对该待检测图像进行特征提取，得到待检测图像的图像特征信息，然后，根据该图像特征信息对该待检测图像进行目标预测，根据预测结果生成目标的关键点热力图和中心点热力图，并预测该关键点热力图的偏移量，得到偏移量预测图，再计算该关键点热力图中各个像素点属于目标的概率，根据该概率从该各个像素点中选取多个概率峰值点，接着，基于该中心点热力图从该多个概率峰值点确定目标关键点，并利用该目标关键点生成该待检测图像的目标预测区域，再然后，基于该目标预测区域和该偏移量预测图确定目标区域，输出带有目标区域标注的图像。由于该方案可以根据图像特征信息对所述待检测图像进行目标预测，进而生成关键点热力图、中心点热力图和偏移量热力图，再根据关键点热力图中各个像素点属于目标的概率选取多个概率峰值点，从而确定目标关键点，最后基于目标关键点生成的目标预测区域和偏移量预测图确定目标区域，对于直接通过提供边框标注，并根据标注端点直接生成目标区域的方案(此类方案对小的目标来说，会引入过多的背景噪声，对大的目标来说，可能出现边框无法完全覆盖目标区域的情况)，可以有效地提高了图像检测的准确性。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例还提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种图像检测方法中的步骤。例如，该指令可以执行如下步骤：
输入待检测图像，并对该待检测图像进行特征提取，得到待检测图像的图像特征信息，然后，根据该图像特征信息对该待检测图像进行目标预测，根据预测结果生成目标的关键点热力图和中心点热力图，并预测该关键点热力图的偏移量，得到偏移量预测图，再计算该关键点热力图中各个像素点属于目标的概率，根据该概率从该各个像素点中选取多个概率峰值点，接着，基于该中心点热力图从该多个概率峰值点确定目标关键点，并利用该目标关键点生成该待检测图像的目标预测区域，再然后，基于该目标预测区域和该偏移量预测图确定目标区域，输出带有目标区域标注的图像。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本发明实施例所提供的任一种图像检测方法中的步骤，因此，可以实现本发明实施例所提供的任一种图像检测方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种图像检测方法、装置和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (12)

1.一种图像检测方法，其特征在于，包括：
输入待检测图像，并对所述待检测图像进行特征提取，得到待检测图像的图像特征信息；
根据所述图像特征信息对所述待检测图像进行目标预测，根据预测结果生成目标的关键点热力图和中心点热力图，并预测所述关键点热力图的偏移量，得到偏移量预测图；
计算所述关键点热力图中各个像素点属于目标的概率，根据所述概率从所述各个像素点中选取多个概率峰值点；
基于所述中心点热力图从所述多个概率峰值点确定目标关键点，并利用所述目标关键点生成所述待检测图像的目标预测区域；
基于所述目标预测区域和所述偏移量预测图确定目标区域，输出带有目标区域标注的图像。
2.根据权利要求1所述的方法，其特征在于，所述根据所述图像特征信息对所述待检测图像进行目标预测，根据预测结果生成目标的关键点热力图和中心点热力图，包括：
根据所述图像特征信息对所述待检测图像进行目标预测，得到目标预测位置；
利用图像检测模型生成所述目标预测位置的中心点热力图和多个关键点热力图；
所述预测所述关键点热力图的偏移量，得到偏移量预测图，包括：预测每个关键点热力图的偏移量，基于每个关键点热力图的偏移量生成对应的偏移量预测图；
所述计算所述关键点热力图中各个像素点属于目标的概率，根据所述概率从所述各个像素点中选取多个概率峰值点，包括：计算每个关键点热力图中各个像素点属于目标的概率，根据所述概率从所述各个像素点中选取每个关键点热力图对应的多个概率峰值点。
3.根据权利要求2所述的方法，其特征在于，所述基于所述中心点热力图从所述多个概率峰值点确定目标关键点，包括：
对每个关键点热力图对应的多个概率峰值点进行排序，从所述排序中选取预设数量的概率最大的像素点，得到每个关键点热力图对应的多个峰值关键点；
分别从每个关键点热力图对应的多个峰值关键点中确定一个峰值关键点，得到多个峰值关键点；
对得到的多个峰值关键点计算中心点，若所述中心点在所述中心点热力图中且满足预设条件，则将所述多个峰值关键点确定为目标关键点。
4.根据权利要求1所述的方法，其特征在于，所述对所述待检测图像进行特征提取，得到待检测图像的图像特征信息，包括：
利用预设窗宽窗位对所述待检测图像进行预处理，得到预处理后图像；
对所述待检测图像和所述预处理后图像进行特征提取，得到待检测图像的图像特征信息。
5.根据权利要求4所述的方法，其特征在于，所述对所述待检测图像和所述预处理后图像进行特征提取，得到待检测图像的图像特征信息，包括：
利用图像检测模型对所述待检测图像和所述预处理后图像进行下采样，得到低分辨率特征信息；
将所述低分辨率特征信息进行上采样和卷积操作，得到图像特性信息。
6.根据权利要求2或5所述的方法，其特征在于，在利用图像检测模型之前，还包括：
获取多张样本图像作为训练数据集，所述样本图像包括目标的长短径标注信息；
利用预设图像检测模型对所述样本图像进行特征提取，得到图像样本特征信息；
根据所述图像样本特征信息和所述长短径标注信息生成样本中心点热力图和多个样本关键点热力图，以及每个样本关键点热力图对应的样本偏移预测图；
基于所述样本中心点热力图、所述样本关键点热力图和所述样本偏移预测图对所述预设图像检测模型进行训练，得到图像检测模型。
7.根据权利要求6所述的方法，其特征在于，所述基于所述样本中心点热力图、所述样本关键点热力图和所述样本偏移预测图对所述预设图像检测模型进行训练，得到图像检测模型，包括：
基于所述样本中心点热力图和所述样本关键点热力图对所述预设图像检测模型进行训练，得到第一预测值；
根据所述样本关键点热力图的真实值与第一预测值，计算所述预设图像检测模型的第一损失；
基于所述样本偏移预测图对所述预设图像检测模型进行训练，得到第二预测值；
根据所述样本偏移预测图的真实值与第二预测值，计算所述预设图像检测模型的第二损失；
根据所述第一损失和所述第二损失对所述预设图像检测模型进行调整，直到所述预设图像检测模型，得到图像检测模型。
8.根据权利要求1所述的方法，其特征在于，所述计算所述关键点热力图中各个像素点属于目标的概率，根据所述概率从所述各个像素点中选取多个概率峰值点，包括：
利用预设函数对所述关键点热力图中各个像素点属于目标的概率进行计算，得到计算结果，并根据所述计算结果确定各个像素点的概率；
利用预设窗口对所述关键点热力图进行滑动选取，选取当前窗口中概率最大且满足预设阈值的像素点作为概率峰值点，直到遍历完所述关键点热力图，得到多个概率峰值点。
9.根据权利要求1至5中任一项所述的方法，其特征在于，所述图像特征信息和所述带有目标区域标注的图像保存在区块链中。
10.一种图像检测装置，其特征在于，包括：
提取单元，用于输入待检测图像，并对所述待检测图像进行特征提取，得到待检测图像的图像特征信息；
预测单元，用于根据所述图像特征信息对所述待检测图像进行目标预测，根据预测结果生成目标的关键点热力图和中心点热力图，并预测所述关键点热力图的偏移量，得到偏移量预测图；
选取单元，用于计算所述关键点热力图中各个像素点属于目标的概率，根据所述概率从所述各个像素点中选取多个概率峰值点；
生成单元，用于基于所述中心点热力图从所述多个概率峰值点确定目标关键点，并利用所述目标关键点生成所述待检测图像的目标预测区域；
确定单元，用于基于所述目标预测区域和所述偏移量预测图确定目标区域，输出带有目标区域标注的图像。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至9中任一项所述的图像检测方法中的步骤。
12.一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至9任一项所述方法的步骤。
CN202010175243.4A 2020-03-13 2020-03-13 图像检测方法、装置和计算机可读存储介质 Active CN111402228B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010175243.4A CN111402228B (zh) 2020-03-13 2020-03-13 图像检测方法、装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010175243.4A CN111402228B (zh) 2020-03-13 2020-03-13 图像检测方法、装置和计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN111402228A CN111402228A (zh) 2020-07-10
CN111402228B true CN111402228B (zh) 2021-05-07

Family

ID=71428815

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010175243.4A Active CN111402228B (zh) 2020-03-13 2020-03-13 图像检测方法、装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN111402228B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860300A (zh) * 2020-07-17 2020-10-30 广州视源电子科技股份有限公司 一种关键点检测方法、装置、终端设备及存储介质
CN112070791A (zh) * 2020-09-21 2020-12-11 深圳喜为智慧科技有限公司 一种提升畜牧个体点数精度和效率的方法和系统
CN112270669B (zh) 2020-11-09 2024-03-01 北京百度网讯科技有限公司 人体3d关键点检测方法、模型训练方法及相关装置
CN112200862B (zh) * 2020-12-01 2021-04-13 北京达佳互联信息技术有限公司 目标检测模型的训练方法、目标检测方法及装置
CN112488073A (zh) * 2020-12-21 2021-03-12 苏州科达特种视讯有限公司 目标检测方法、系统、设备及存储介质
CN112819811A (zh) * 2021-02-24 2021-05-18 上海商汤智能科技有限公司 图像分析方法及相关装置、电子设备、存储介质
CN112862916B (zh) * 2021-03-11 2021-09-10 首都医科大学附属北京天坛医院 Ct灌注功能图量化参数处理设备及方法
CN113128436B (zh) * 2021-04-27 2022-04-01 北京百度网讯科技有限公司 关键点的检测方法和装置
CN113298913A (zh) * 2021-06-07 2021-08-24 Oppo广东移动通信有限公司 数据增强方法、装置、电子设备及可读存储介质
CN113706506B (zh) * 2021-08-27 2023-07-28 创新奇智(重庆)科技有限公司 一种装配状态检测的方法、装置、电子设备及存储介质
CN114005052A (zh) * 2021-10-22 2022-02-01 影石创新科技股份有限公司 全景图像的目标检测方法、装置、计算机设备和存储介质
CN114782888B (zh) * 2022-04-01 2023-06-23 中国铁路兰州局集团有限公司 轨道咽喉区异常检测的方法及系统
CN115063299B (zh) * 2022-08-19 2022-11-18 北京睿芯高通量科技有限公司 一种图像预处理方法、装置、电子设备以及存储介质
CN116958018A (zh) * 2022-08-31 2023-10-27 腾讯科技（深圳）有限公司 针对病理图像的病变区域确定方法、模型训练方法及装置
CN115375917B (zh) * 2022-10-25 2023-03-24 杭州华橙软件技术有限公司 一种目标边缘特征提取方法、装置、终端及存储介质
CN116580211B (zh) * 2023-07-12 2023-09-08 腾讯科技（深圳）有限公司 关键点检测方法、装置、计算机设备及存储介质
CN116645699B (zh) * 2023-07-27 2023-09-29 杭州华橙软件技术有限公司 一种关键点检测方法、装置、终端及计算机可读存储介质
CN117437433B (zh) * 2023-12-07 2024-03-19 苏州铸正机器人有限公司 一种亚像素级关键点检测方法及装置
CN117422721B (zh) * 2023-12-19 2024-03-08 天河超级计算淮海分中心 一种基于下肢ct影像的智能标注方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020633A (zh) * 2019-04-12 2019-07-16 腾讯科技（深圳）有限公司 姿态识别模型的训练方法、图像识别方法及装置
CN110348297A (zh) * 2019-05-31 2019-10-18 纵目科技（上海）股份有限公司 一种用于识别立体停车库的检测方法、系统、终端和存储介质
CN110569724A (zh) * 2019-08-05 2019-12-13 湖北工业大学 一种基于残差沙漏网络的人脸对齐方法
CN110765795A (zh) * 2019-09-24 2020-02-07 北京迈格威科技有限公司 二维码识别方法、装置及电子设备
CN110796472A (zh) * 2019-09-02 2020-02-14 腾讯科技（深圳）有限公司 信息推送方法、装置、计算机可读存储介质和计算机设备
CN110838125A (zh) * 2019-11-08 2020-02-25 腾讯医疗健康(深圳)有限公司 医学图像的目标检测方法、装置、设备、存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150237164A1 (en) * 2014-02-18 2015-08-20 Qualcomm Incorporated Improving or optimizing a radio heatmap via feedback to agents
CN109508681B (zh) * 2018-11-20 2021-11-30 北京京东尚科信息技术有限公司 生成人体关键点检测模型的方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110020633A (zh) * 2019-04-12 2019-07-16 腾讯科技（深圳）有限公司 姿态识别模型的训练方法、图像识别方法及装置
CN110348297A (zh) * 2019-05-31 2019-10-18 纵目科技（上海）股份有限公司 一种用于识别立体停车库的检测方法、系统、终端和存储介质
CN110569724A (zh) * 2019-08-05 2019-12-13 湖北工业大学 一种基于残差沙漏网络的人脸对齐方法
CN110796472A (zh) * 2019-09-02 2020-02-14 腾讯科技（深圳）有限公司 信息推送方法、装置、计算机可读存储介质和计算机设备
CN110765795A (zh) * 2019-09-24 2020-02-07 北京迈格威科技有限公司 二维码识别方法、装置及电子设备
CN110838125A (zh) * 2019-11-08 2020-02-25 腾讯医疗健康(深圳)有限公司 医学图像的目标检测方法、装置、设备、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
目标跟踪算法综述;卢湖川 等;《模式识别与人工智能》;20180131;第31卷(第1期);全文 *

Also Published As

Publication number Publication date
CN111402228A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111402228B (zh) 图像检测方法、装置和计算机可读存储介质
Wang et al. AVNC: attention-based VGG-style network for COVID-19 diagnosis by CBAM
Harangi Skin lesion classification with ensembles of deep convolutional neural networks
EP3961484A1 (en) Medical image segmentation method and device, electronic device and storage medium
JP6947759B2 (ja) 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法
Liu et al. A cascaded deep convolutional neural network for joint segmentation and genotype prediction of brainstem gliomas
Mall et al. A comprehensive review of deep neural networks for medical image processing: Recent developments and future opportunities
CN108257135A (zh) 基于深度学习方法解读医学图像特征的辅助诊断系统
CN112365464B (zh) 一种基于gan的医学图像病变区域弱监督定位方法
Kumar et al. An improved Gabor wavelet transform and rough K-means clustering algorithm for MRI brain tumor image segmentation
CN107909622A (zh) 模型生成方法、医学成像的扫描规划方法及医学成像系统
Zhang et al. Multi-task learning with multi-view weighted fusion attention for artery-specific calcification analysis
Nandihal et al. Glioma Detection using Improved Artificial Neural Network in MRI Images
CN111754453A (zh) 基于胸透图像的肺结核检测方法、系统和存储介质
CN113378991A (zh) 医疗数据生成方法、装置、电子设备及存储介质
CN114298234A (zh) 脑部医学影像分类方法、装置、计算机设备和存储介质
CN114398979A (zh) 一种基于特征解耦的超声图像甲状腺结节分类方法
Wang et al. Deep transfer learning-based multi-modal digital twins for enhancement and diagnostic analysis of brain mri image
Huang et al. Breast cancer diagnosis based on hybrid SqueezeNet and improved chef-based optimizer
CN116703837B (zh) 一种基于mri图像的肩袖损伤智能识别方法及装置
Dai et al. More reliable AI solution: Breast ultrasound diagnosis using multi-AI combination
CN115965785A (zh) 图像分割方法、装置、设备、程序产品及介质
Srinivasan et al. A comprehensive diagnostic tool for skin cancer using a multifaceted computer vision approach
Shaaf et al. A Convolutional Neural Network Model to Segment Myocardial Infarction from MRI Images.
CN112967295A (zh) 一种基于残差网络和注意力机制的图像处理方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40026161

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant