CN110490878A - 图像处理方法及装置、电子设备和存储介质 - Google Patents

图像处理方法及装置、电子设备和存储介质 Download PDF

Info

Publication number
CN110490878A
CN110490878A CN201910690342.3A CN201910690342A CN110490878A CN 110490878 A CN110490878 A CN 110490878A CN 201910690342 A CN201910690342 A CN 201910690342A CN 110490878 A CN110490878 A CN 110490878A
Authority
CN
China
Prior art keywords
image
target image
target
grade
image sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910690342.3A
Other languages
English (en)
Inventor
项磊
吴宇
赵亮
高云河
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN201910690342.3A priority Critical patent/CN110490878A/zh
Publication of CN110490878A publication Critical patent/CN110490878A/zh
Priority to KR1020217031481A priority patent/KR20210134945A/ko
Priority to JP2021562337A priority patent/JP2022529493A/ja
Priority to PCT/CN2020/079544 priority patent/WO2021017481A1/zh
Priority to TW109114133A priority patent/TWI755717B/zh
Priority to US17/553,997 priority patent/US20220108452A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及一种图像处理方法及装置、电子设备和存储介质，其中，所述方法包括：获取待处理的图像序列；确定所述待处理的图像序列中目标图像所在的图像序列区间，得到目标图像序列区间；对所述目标图像序列区间的目标图像进行分割，确定所述目标图像区间中每个图像特征类对应的图像区域。本公开实施例可实现自动对目标图像中不同图像特征类的图像区域进行分割。

Description

图像处理方法及装置、电子设备和存储介质
技术领域
本公开涉及计算机技术领域，尤其涉及一种图像处理方法及装置、电子设备和存储介质。
背景技术
骨骼损伤在意外伤害中具有比较严重的伤害等级，例如，在交通事故等意外事件中从高处的坠落造成的高强度创伤，会导致骨折或者骨裂等骨骼损伤，会引起伤患休克，甚至死亡。医学成像技术对骨骼的诊断和治疗起着十分重要的作用。三维电子计算机断层扫描(Computed Tomography，CT)图像可以用于展示骨骼区域的解剖结构和损伤情况。基于对CT图像的分析，有助于骨骼解剖结构、手术规划以及术后恢复评价等方面。
目前，针对骨骼的CT图像的分析可以包括骨骼区域的分割，这需要在每一个CT图像中进行骨骼区域的手动定位或手动分割，费时费力，且效率低。
发明内容
本公开提出了一种图像处理技术方案。
根据本公开的一方面，提供了一种图像处理方法，包括：
获取待处理的图像序列；确定所述待处理的图像序列中目标图像所在的图像序列区间，得到目标图像序列区间；对所述目标图像序列区间的目标图像进行分割，确定所述目标图像区间中每个图像特征类对应的图像区域。这样，可以实现自动对目标图像中不同图像特征类的图像区域进行分割。
在一种可能的实现方式中，所述确定所述待处理的图像序列中目标图像所在的图像序列区间，得到目标图像序列区间，包括：
确定图像序列的采样步长；每隔所述采样步长，获取所述图像序列的图像，得到采样图像；根据所述采样图像的图像特征，确定具有目标图像特征的采样图像；根据具有目标图像特征的采样图像在所述图像序列的排列位置，确定所述目标图像所在的图像序列区间，得到目标图像序列区间。这样，可以快速地确定目标图像所在的目标图像序列区间，减少图像处理过程中的工作量，提高图像处理的效率。
在一种可能的实现方式中，所述对所述目标图像序列区间的目标图像进行分割，确定所述目标图像区间中每个图像特征类对应的图像区域，包括：
基于所述目标图像序列区间的目标图像以及预设的相对位置信息，对所述目标图像序列区间的目标图像进行分割，确定所述目标图像区间的目标图像中每个图像特征类对应的图像区域。这样，在对目标图像序列区间的目标图像进行图像区域划分的过程中，可以结合预设的相对位置信息，减少图像区域划分的错误。
在一种可能的实现方式中，所述基于所述目标图像序列区间的目标图像以及预设的相对位置信息，对所述目标图像序列区间的目标图像进行分割，确定所述目标图像区间的目标图像中每个图像特征类对应的图像区域，包括：
在每个图像处理周期内，基于所述目标图像序列区间内连续的预设个数的目标图像以及预设的相对位置信息，生成输入信息；对所述输入信息进行至少一级卷积处理，确定所述目标图像区间的目标图像中每个像素点所属的图像特征类；根据所述目标图像中每个像素点所属的图像特征类，确定所述目标图像区间的目标图像中每个图像特征类对应的图像区域。这样，输入的目标图像为连续的目标图像，不仅可以提高图像处理的效率，还可以考虑到目标图像之间的关联信息。
在一种可能的实现方式中，所述卷积处理包括上采样操作和下采样操作，所述对所述输入信息进行至少一级卷积处理，确定所述目标图像中每个像素点所属的图像特征类，包括：
基于所述输入信息得到每级下采样操作输入的特征图；对每级下采样操作输入的特征图进行下采样操作，得到每级下采样操作输出的第一特征图；基于每级下采样操作输出的第一特征图，得到每级上采样操作输入的特征图；对每级上采样操作输入的特征图进行上采样处理，得到每级上采样操作输出的第二特征图；基于最后一级上采样操作输出的第二特征图，确定所述目标图像中每个像素点所属的图像特征类。这样，通过上采样操作和下采样操作，可以准确地提取目标图像的图像特征，从而可以得到每个像素点所属的图像特征类。
在一种可能的实现方式中，所述卷积处理还包括空洞卷积操作；所述基于每级下采样操作输出的第一特征图，得到每级上采样操作输入的特征图，包括：
基于最后一级下采样操作输出的第一特征图，得到至少一级空洞卷积操作输入的特征图；对至少一级空洞卷积操作输入的特征图进行至少一级空洞卷积操作，得到每级空洞卷积操作后的第三特征图；其中，每级空洞卷积操作后得到的第三特征图的尺寸随卷积处理级数的增加而减小；根据每级空洞卷积操作后得到的第三特征图，得到每级上采样操作输入的特征图。这样，可以结合目标图像的局部细节信息以及全局信息，使最终确定图像区域更加准确。
在一种可能的实现方式中，所述根据每级空洞卷积操作后得到的第三特征图，得到每级上采样操作输入的特征图，包括：
将各级空洞卷积操作后得到的多个第三特征图进行特征融合，得到第一融合特征图；基于所述第一融合特征图，得到每级上采样操作输入的特征图。这样，上采样操作输入的特征图可以包括更多的目标图像的全局信息，提高得到的每个像素点所属的图像特征类的准确性。
在一种可能的实现方式中，所述基于每级下采样操作输出的第一特征图，得到每级上采样操作输入的特征图，包括：
在当前上采样操作为第一级上采样操作的情况下，根据最后一级下采样操作输出的第一特征图，得到当前上采样操作输入的特征图；在当前上采样操作为大于或等于第二级上采样操作的情况下，将前一级上采样输出的第二特征图与匹配于相同特征图尺寸的第一特征图进行融合，得到第二融合特征图；基于所述第二融合特征图，得到当前上采样操作输入的特征图。这样，当前上采样操作输入的特征图可以结合目标图像的局部细节信息以及全局信息。
在一种可能的实现方式中，所述确定所述目标图像区间中每个图像特征类对应的图像区域之后，还包括：
将所述目标图像区间的目标图像的每个像素点对应的图像特征类与标注的参照图像特征类进行比对，得到比对结果；根据所述比对结果确定图像处理过程中的第一损失和第二损失；基于所述第一损失和所述第二损失，对图像处理过程中使用的处理参数进行调整，使所述目标图像的每个像素点对应的图像特征类与所述参照图像特征类相同。这样，可以通过多种损失对神经网络使用的处理参数进行调整，使神经网络的训练可以具有更好的效果。
在一种可能的实现方式中，所述基于所述第一损失和所述第二损失，对图像处理过程中使用的处理参数进行调整，包括：
获取所述第一损失对应的第一权重以及所述第二损失对应的第二权重；基于所述第一权重和所述第二权重，对所述第一损失和所述第二损失进行加权处理，得到目标损失；基于所述目标损失对图像处理过程中使用的处理参数进行调整。这样，可以根据实际的应用场景为第一损失和第二损失分别设置的权重值，使神将网络的训练具有更好的效果。
在一种可能的实现方式中，所述获取待处理的图像序列之前，还包括：
获取以预设的采集周期采集的图像形成的图像序列；对所述图像序列进行预处理，得到待处理的图像序列。这样，可以减少图像序列中的图像的无关信息，对图像中有用的相关信息进行增强。
在一种可能的实现方式中，所述对所述图像序列进行预处理，得到待处理的图像序列，包括：
根据所述图像序列的图像的方向标识，对所述图像序列的图像进行方向校正，得到待处理的图像序列。这样，可以根据图像的采集方向对图像序列的图像进行方向校正，使图像的采集方向朝向预设方向。
在一种可能的实现方式中，所述对所述图像序列进行预处理，得到待处理的图像序列，包括：
将所述图像序列的图像转换为预设尺寸的图像；对所述预设尺寸的图像进行中心剪裁，得到待处理的图像序列。这样，对预设尺寸的图像进行中心剪裁，将图像中无关的信息删除，保留图像中有用的相关信息。
在一种可能的实现方式中，所述目标图像为骨盆电子计算机断层扫描CT图像，所述图像区域包括左髋骨区域、右髋骨区域、左股骨区域、右股骨区域和脊椎区域中的一个或多个。从而可以实现对CT图像中左髋骨区域、右髋骨区域、左股骨区域、右股骨区域和脊椎区域中的一个或多个不同区域的分割。
根据本公开的一方面，提供了一种图像处理装置，包括：
获取模块，用于获取待处理的图像序列；
确定模块，用于确定所述待处理的图像序列中目标图像所在的图像序列区间，得到目标图像序列区间；
分割模块，用于对所述目标图像序列区间的目标图像进行分割，确定所述目标图像区间中每个图像特征类对应的图像区域。
在一种可能的实现方式中，所述确定模块，具体用于，
确定图像序列的采样步长；
每隔所述采样步长，获取所述图像序列的图像，得到采样图像；
根据所述采样图像的图像特征，确定具有目标图像特征的采样图像；
根据具有目标图像特征的采样图像在所述图像序列的排列位置，确定所述目标图像所在的图像序列区间，得到目标图像序列区间。
在一种可能的实现方式中，所述分割模块，具体用于，
基于所述目标图像序列区间的目标图像以及预设的相对位置信息，对所述目标图像序列区间的目标图像进行分割，确定所述目标图像区间的目标图像中每个图像特征类对应的图像区域。
在一种可能的实现方式中，所述分割模块，具体用于，
在每个图像处理周期内，基于所述目标图像序列区间内连续的预设个数的目标图像以及预设的相对位置信息，生成输入信息；
对所述输入信息进行至少一级卷积处理，确定所述目标图像区间的目标图像中每个像素点所属的图像特征类；
根据所述目标图像中每个像素点所属的图像特征类，确定所述目标图像区间的目标图像中每个图像特征类对应的图像区域。
在一种可能的实现方式中，所述卷积处理包括上采样操作和下采样操作，所述分割模块，具体用于，
基于所述输入信息得到每级下采样操作输入的特征图；
对每级下采样操作输入的特征图进行下采样操作，得到每级下采样操作输出的第一特征图；
基于每级下采样操作输出的第一特征图，得到每级上采样操作输入的特征图；
对每级上采样操作输入的特征图进行上采样处理，得到每级上采样操作输出的第二特征图；
基于最后一级上采样操作输出的第二特征图，确定所述目标图像中每个像素点所属的图像特征类。
在一种可能的实现方式中，所述卷积处理还包括空洞卷积操作；所述分割模块，具体用于，
基于最后一级下采样操作输出的第一特征图，得到至少一级空洞卷积操作输入的特征图；
对至少一级空洞卷积操作输入的特征图进行至少一级空洞卷积操作，得到每级空洞卷积操作后的第三特征图；其中，每级空洞卷积操作后得到的第三特征图的尺寸随卷积处理级数的增加而减小；
根据每级空洞卷积操作后得到的第三特征图，得到每级上采样操作输入的特征图。
在一种可能的实现方式中，分割模块，具体用于，
将各级空洞卷积操作后得到的多个第三特征图进行特征融合，得到第一融合特征图；
基于所述第一融合特征图，得到每级上采样操作输入的特征图。
在一种可能的实现方式中，所述分割模块，具体用于，
在当前上采样操作为第一级上采样操作的情况下，根据最后一级下采样操作输出的第一特征图，得到当前上采样操作输入的特征图；
在当前上采样操作为大于或等于第二级上采样操作的情况下，将前一级上采样输出的第二特征图与匹配于相同特征图尺寸的第一特征图进行融合，得到第二融合特征图；
基于所述第二融合特征图，得到当前上采样操作输入的特征图。
在一种可能的实现方式中，所述装置还包括：
训练模块，用于将所述目标图像区间的目标图像的每个像素点对应的图像特征类与标注的参照图像特征类进行比对，得到比对结果；根据所述比对结果确定图像处理过程中的第一损失和第二损失；基于所述第一损失和所述第二损失，对图像处理过程中使用的处理参数进行调整，使所述目标图像的每个像素点对应的图像特征类与所述参照图像特征类相同。
在一种可能的实现方式中，所述训练模块，具体用于，
获取所述第一损失对应的第一权重以及所述第二损失对应的第二权重；
基于所述第一权重和所述第二权重，对所述第一损失和所述第二损失进行加权处理，得到目标损失；
基于所述目标损失对图像处理过程中使用的处理参数进行调整。
在一种可能的实现方式中，所述装置还包括：
预处理模块，用于获取以预设的采集周期采集的图像形成的图像序列；对所述图像序列进行预处理，得到待处理的图像序列。
在一种可能的实现方式中，所述预处理模块，具体用于根据所述图像序列的图像的方向标识，对所述图像序列的图像进行方向校正，得到待处理的图像序列。
在一种可能的实现方式中，所述预处理模块，具体用于将所述图像序列的图像转换为预设尺寸的图像；对所述预设尺寸的图像进行中心剪裁，得到待处理的图像序列。
在一种可能的实现方式中，所述目标图像为骨盆电子计算机断层扫描CT图像，所述图像区域包括左髋骨区域、右髋骨区域、左股骨区域、右股骨区域和脊椎区域中的一个或多个。
根据本公开的一方面，提供了一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行上述图像处理方法。
根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述图像处理方法。
在本公开实施例中，可以获取待处理的图像序列，然后确定待处理的图像序列中目标图像所在的图像序列区间，得到目标图像序列区间，从而可以针对确定的目标图像序列区间中目标图像进行图像处理，减少图像处理的工作量。然后可以对目标图像序列区间的目标图像进行分割，确定目标图像序列区域中每个图像特征类对应的图像区域，这样，可以自动对目标图像中不同图像特征类的图像区域进行分割，例如，对CT图像中的骨骼区域进行分割，节省人力资源。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
图1示出根据本公开实施例的图像处理方法的流程图。
图2示出根据本公开实施例的对图像序列进行预处理的流程图。
图3示出根据本公开实施例的确定目标图像序列区间的流程图。
图4示出根据本公开实施例的确定目标图像中每个图像特征类对应的图像区域的流程图。
图5示出根据本公开实施例的神经网络结构示例的框图。
图6示出根据本公开实施例的上述神经网络训练过程示例的流程图。
图7示出根据本公开实施例的图像处理装置的框图。
图8示出根据本公开实施例的电子设备一示例的框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
本公开实施例提供的图像处理方案，可以确定获取的图像序列中具有目标图像特征的目标图像所在的目标图像序列区间，从而可以针对目标图像序列区间中的目标图像进行图像处理，而不是针对图像序列中的每个图像进行图像处理，可以减少图像处理过程中的工作量，提高图像处理的效率。然后对确定的目标图像序列区间的目标图像进行分割，确定目标图像中每个图像特征类对应的图像区域。这里，在确定每个图像特征类对应的图像区域的过程中，可以利用神经网络对目标图像进行处理，并且可以结合相对位置信息，使在目标图像中确定的每个图像特征类对应的图像区域更加准确，避免分割结果中明显的错误。
本公开实施例提供的图像处理方案，可以应用于医学领域中，例如，对CT图像进行骨盆区域标注。在相关技术中，大多是基于人工对骨盆区域标注，标注过程十分耗时并且容易出现误差。在一些半监督的骨盆区域标注方式中，需要人工选择进行盆骨区域标注的种子点，并对错误的标注进行人工修正，该标注方式同样耗时，标注一张三维的CT图像需要十几分钟。而本公开实施例提供的图像处理方案，可以快速、准确地确定骨盆区域，为患者的诊断提供有效的参考。
下面通过实施例对本公开提供的图像处理方案进行说明。
图1示出根据本公开实施例的图像处理方法的流程图。该图像处理方法可以由终端设备、服务器或其它图像处理装置执行，其中，终端设备可以为用户设备(UserEquipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(PersonalDigital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。下面以图像处理装置作为执行主体为例对本公开实施例的图像处理方法进行说明。
如图1所示，所述图像处理方法包括以下步骤：
步骤S11，获取待处理的图像序列。
在本公开实施例中，图像序列可以包括至少两个图像，图像序列中的每个图像可以按照预设的排列规则进行排序，形成图像序列。预设的排列规则可以包括时间排列规则和/或空间排列规则，例如，可以按照图像的采集时间的先后顺序将多个图像进行排序，形成图像序列，或者，可以按照图像的采集位置在空间的坐标进行排序，形成图像序列。
举例来说，图像序列可以是利用CT扫描患者得到的一组CT图像，每个CT图像的采集时间不同，可以按照CT图像的采集时间的先后将得到的CT图像形成图像序列，图像图裂中每个CT图像对应的人体部位可以不同。
图2示出根据本公开实施例的对图像序列进行预处理的流程图。
在一种可能的实现方式中，待处理的图像序列可以是经过预处理的图像序列。如图2所示，上述步骤S11之前，还可以包括以下步骤：
S01，获取以预设时间间隔采集的图像形成的图像序列；
S02，对所述图像序列进行预处理，得到待处理的图像序列。
这里，以图像序列中的图像是按照时间排列规则进行排序为例，可以获取以预设的采集周期采集的图像，并按照采集时间的先后顺序由一组图像形成图像序列。针对图像序列中的每个图像，可以对每个图像进行预处理，得到预处理之后的图像序列。其中，预处理可以包括方向校正、去除异常像素值、像素归一化、中心剪裁等操作。经过预处理，可以减少图像序列中的图像的无关信息，对图像中有用的相关信息进行增强。
在一个示例中，在对所述图像序列进行预处理，得到待处理的图像序列时，可以根据所述图像序列的图像的方向标识，对所述图像序列的图像进行方向校正，得到待处理的图像序列。这里，图像序列中的图像在采集时，可以携带有采集的相关信息，例如，可以携带图像的采集时间、图像的采集方向等采集的相关信息，从而可以根据图像的采集方向对图像序列的图像进行方向校正，使图像的采集方向朝向预设方向。例如，可以将CT图像旋转至向预设方向，在CT图像的采集方向表示为坐标轴的情况下，可以使CT图像的坐标轴的x轴或者y轴与预设方向平行，使CT图像可以表征人体的横断面。
在一个示例中，在对所述图像序列进行预处理，得到待处理的图像序列时，可以将所述图像序列的图像转换为预设尺寸的图像，然后对所述预设尺寸的图像进行中心剪裁，得到待处理的图像序列。这里，可以通过图像的重采样或者边缘剪裁将图像序列中的图像的尺寸转变为统一尺寸，然后对预设尺寸的图像进行中心剪裁，将图像中无关的信息删除，保留图像中有用的相关信息。
举例来说，在图像序列是CT图像序列的情况下，在对CT图像序列进行预处理时，可以对CT图像序列中的每个CT图像进行方向校正，确保CT图像表征人体的横断面结构；可以去除CT图像中的异常值，使CT图像中每个像素点的像素值在[-1024，1024]的区间内，并对CT图像中像素点的像素值归一化处理为[-1，1]；将CT图像重采样到统一尺度，如0.8*0.8*1mm3；将CT图像进行中心裁剪，例如，进行中心剪裁得到512*512像素点大小的CT图像，不足512*512像素点大小的图像位置可以将像素值设置为预设值，例如，设置为-1。上述几种预处理方式可以进行任意组合。
步骤S12，确定所述待处理的图像序列中目标图像所在的图像序列区间，得到目标图像序列区间。
在本公开实施例中，可以提取图像序列中每个图像的图像特征，或者，提取至少两个图像的图像特征，然后根据提取的图像特征，确定图像序列中具有目标图像特征的目标图像，再确定目标图像在图像序列中的排列位置，由间隔最大的两个目标图像的排列位置，可以得到具有目标图像特征的目标图像所在的目标图像序列区间。这里，可以利用神经网络对图像序列中的图像进行图像特征提取，并根据提取的图像特征确定具有目标图像特征的目标图像，进一步确定目标图像所在的目标图像序列区间。目标图像序列区间可以是待处理的图像序列的一部分，举例来说，图像序列包括100个图像，其中，目标图像的排列位置在10-20的图像序列区间，则该图像序列区间可以是目标图像序列区间。在一些实施方式中，还可以将图像序列中的图像与预设图像进行匹配，得到匹配结果，然后根据匹配结果确定目标图像所在的图像序列区间，例如，将匹配结果大于70％的图像确定为目标图像，并确定该目标图像所在的图像序列区间，得到目标图像序列区间。
图3示出根据本公开实施例的确定图像序列区间的流程图。
在一种可能的实现方式中，步骤S12可以包括以下步骤：
步骤S121，确定图像序列的采样步长；
步骤S122，每隔所述采样步长，获取所述图像序列的图像，得到采样图像；
步骤S123，根据所述采样图像的图像特征，确定具有目标图像特征的采样图像；
步骤S124，根据具有目标图像特征的采样图像在所述图像序列的排列位置，确定所述目标图像所在的图像序列区间，得到目标图像序列区间。
在该种可能的实现方式中，采样步长可以根据实际应用场景进行设定，例如，以30个图像为采样步长，每隔采样步长，获取图像序列中的一个图像，并将获取的该图像作为采样图像。针对获取的采样图像，可以利用上述神经网络对采样图像的图像特征进行提取，确定具有目标图像特征的采样图像，然后可以确定具有目标图像特征的采样图像在图像序列中的排列位置，其中，每两个具有目标图像特征的采样图像对应的排列位置可以确定一个图像序列区间，可以将得到的多个图像序列区间中最大的图像序列区间作为目标图像所在的目标图像序列区间。由于图像序列为按照预设排列规则进行排列的，从而根据具有目标图像特征的采样图像形成的目标图像序列区间中的每个图像，也具有目标图像特征，为目标图像。在一些实施方式中，还可以扩大图像序列区间的上下边界，使得最终确定的图像序列区间可以包括所有目标图像。
举例来说，在图像序列为CT图像序列的情况下，可以以采样步长为30对CT图像序列中的CT图像进行等间距采样，即，可以理解为每隔30个CT图像在CT图像序列中抽取一个CT图像，抽取的CT图像作为采样图像。然后可以利用神经网络对每个采样图像进行不同图像区域的标注，判断采样图像中是否存在目标图像特征的图像区域，例如，判断采样图像中是否存在表征髋骨结构的图像区域。通过这种方式，可以快速定位具有表征髋骨结构的CT图像的起始以及截止范围，即，可以快速定位目标图像所在的图像序列区间。一些实施方式中，还可以适当增加图像序列区间的起始以及截止范围，确保可以得到完整的具有表征髋骨结构的CT图像。这里的髋骨结构可以包括相邻髋骨的左股骨头结构、右股骨头结构和椎骨结构。
通过这样方式，在确定图像序列中的目标图像时，可以通过对图像序列的图像进行采样，选取图像序列中的若干个图像进行图像特征提取，确定具有目标图像特征的目标图像所在的目标图像序列区间，减少图像处理过程中的工作量，提高图像处理的效率。
步骤S13，对所述目标图像序列区间的目标图像进行分割，确定所述目标图像区间中每个图像特征类对应的图像区域。
在本公开实施例中，可以利用神经网络对目标图像序列区域内的目标图像进行图像区域划分，确定目标图像区间的目标图像中每个图像特征类对应的图像区域。例如，可以将目标图像序列区间的一个或多个目标图像作为神经网络的输入，由神经网络输出目标图像的每个像素点所属的图像特征类，然后根据每个图像特征类对应的像素点，可以确定目标图像中每个图像特征类对应的图像区域。这里，图像特征类可以表征目标图像的每类图像特征，目标图像所具有的目标图像特征可以包括多类图像特征，即可以理解为，目标图像特征包括多个子图像特征，每个子图像特征对应一个图像特征类。举例来说，目标图像可以是具有盆骨特征的CT图像，图像特征类可以是盆骨特征包括的左髋骨特征类、右髋骨特征类、左股骨特征类、右股骨特征类、脊椎特征类等。在对目标图像序列区间中具有盆骨特征的CT图像进行不同骨骼区域的分割过程中，可以分别确定CT图像中分别属于左髋骨特征类、右髋骨特征类、左股骨特征类、右股骨特征类、脊椎特征类的像素点，然后根据每个图像特征类对应的像素点，可以将CT图像分割为左髋骨区域(左髋骨特征类的像素点形成的图像区域)、右髋骨区域(右髋骨特征类的像素点形成的图像区域)、左股骨区域(左股骨特征类的像素点形成的图像区域)、右股骨区域(右股骨特征类的像素点形成的图像区域)和脊椎区域(脊椎特征类的像素点形成的图像区域)五个骨骼的图像区域。
在一种可能的实现方式中，在对目标图像序列区间的目标图像进行分割，确定目标图像区间中每个图像特征类对应的图像区域的过程中，可以基于所述目标图像序列区间的目标图像以及预设的相对位置信息，对所述目标图像序列区间的目标图像进行分割，确定所述目标图像区间的目标图像中每个图像特征类对应的图像区域。这里，在对目标图像序列区间的目标图像进行图像区域划分的过程中，可以结合预设的相对位置信息，减少图像区域划分的错误。相对位置信息可以是表征每个图像特征类对应的图像区域位于图像的大致方位，例如，左髋骨结构位于图像的左侧区域，右髋骨结构位于图像的右侧区域，从而根据相对位置关系，如果得到的左髋骨结构的图像特征类对应的图像区域位于图像的右侧区域，可以确定该结果是错误的。在一些实施方式中，可以将图像序列区域内的目标图像与预设图像中每个图像特征类对应的预设图像区间进行匹配，然后根据匹配结果确定目标图像中每个图像特征类对应的图像区域，例如，在匹配结果大于75％的情况下可以认为目标图像的图像区域对应于预设图像区间的图像特征类。
图4示出根据本公开实施例的确定目标图像中每个图像特征类对应的图像区域的流程图。
在一种可能的实现方式中，如图4所示，上述步骤S13可以包括以下步骤：
步骤S131，在每个图像处理周期内，基于所述目标图像序列区间内连续的预设个数的目标图像以及预设的相对位置信息，生成输入信息；
步骤S132，对所述输入信息进行至少一级卷积处理，确定所述目标图像区间的目标图像中每个像素点所属的图像特征类；
步骤S133，根据所述目标图像中每个像素点所属的图像特征类，确定所述目标图像区间的目标图像中每个图像特征类对应的图像区域。
在该种可能的实现方式中，可以利用上述神经网络确定目标图像中每个图像特征类对应的图像区域，从而对目标图像中不同的图像区域进行划分。其中，图像序列区间包括的目标图像以及相对位置信息可以作为神经网络的输入，从而可以由目标图像以及相对位置信息生成神经网络的输入信息，然后利用神经网络对输入信息进行至少一级卷积处理，目标图像中每个像素点所属的图像特征类可以是神经网络的输入。这里，图像处理周期可以对应神经网络一次输入输出的处理周期，在每个图像处理周期内，神经网络输入的目标图像可以是连续的预设个数的目标图像，例如，将连续5个尺寸为512*512*1cm3的目标图像的作为神经网络的输入。这里的连续可以理解为目标图像在图像序列中的排列位置相邻，由于输入的目标图像为连续的目标图像，相比于一个图像处理周期仅对一个目标图像进行处理，不仅可以提高图像处理的效率，还可以考虑到目标图像之间的关联信息，例如，每个图像特征类对应的图像区域在目标图像的位置一致，每个图像特征类对应的图像区域在目标图像的位置变化是连续的，从而可以提高目标图像分割的准确性。这里，相对位置信息可以包括x方向的相对位置信息以及y方向的相对位置，可以利用x图表示x方向的相对位置信息，以及，利用y图表示y方向的相对位置信息。其中，x图和y图的尺寸可以与目标图像的尺寸相同，x图中像素点的特征值可以表示该像素点在x方向的相对位置，y图中像素点的特征值可以表示该像素点在y方向的相对位置，从而可以利用相对位置信息，使得神经网络针对每个像素点分类后确定的图像特征类具有一个先验信息，例如，如果一个像素点在x图的特征值为-1，则可以表示该像素点位于目标图像的左侧，得到的分类结果应是对应于左侧图像区域的图像特征类。其中，神经网络可以是卷积神经网络，可以包括多级中间层，每级中间层可以对应一级卷积处理。利用神经网络可以确定目标图像中每个像素点所属的图像特征类，从而可以确定属于每个图像特征类的像素点形成的图像区域，实现对目标图像的不同图像区域的分割。
在一个示例中，上述神经网络的卷积处理可以包括下采样操作和上采样操作，上述对所述输入信息进行至少一级卷积处理，确定所述目标图像中每个像素点所属的图像特征类，可以包括：基于所述输入信息得到每级下采样操作输入的特征图；对每级下采样操作输入的特征图进行下采样操作，得到每级下采样操作后的第一特征图；基于每级下采样操作输出的第一特征图，得到每级上采样操作输入的特征图；对每级上采样操作输入的特征图进行上采样处理，得到每级上采样操作输出的第二特征图；基于最后一级上采样操作输出的第二特征图，确定所述目标图像中每个像素点所属的图像特征类。
在该示例中，上述神经网络的卷积处理可以包括下采样操作和上采样操作，每级下采样操作的输入可以是基于上一级卷积处理得到的特征图。针对每级下采样操作处理输入的特征图，对该特征图进行下采样操作之后，可以得到每级下采样操作之后得到的第一特征图。每级下采样操作后得到的第一特征图的尺寸不同。经过对输入信进行多级下采样操作后，多级下采样处理中最后一级下次采样操作输出的第一特征图，可以作为上采样操作输入的特征图，或者，最后一级下次采样操作输出的第一特征图经过卷积处理后得到的特征图，可以作为上次采样操作输入的特征图。相应地，每级上采样操作的输入可以是基于上一级卷积处理得到的特征图。针对每级上采样操作处理输入的特征图，对该特征图进行上采样操作之后，可以得到每级上采样操作之后得到的第二特征图。这里，下采样操作的级数与上采样操作的级数可以相同，该神经网络可以采用对称结构。然后可以根据最后一级上采样操作输出的第二特征图，可以得到目标图像中每个像素点所属的图像特征类，例如，对最后一级上采样操作输出的第二特征图进行卷积处理、归一化处理等其他处理，可以得到目标图像中每个像素点所属的图像特征类。
为了结合目标图像的局部细节信息以及全局信息，可以在上采样操作之前，将上采样操作输出的第一特征图经过空洞卷积操作，得到上采样操作输入的特征图，从而上采样操作输入的特征图可以包括更多的目标图像的全局信息，提高得到的每个像素点所属的图像特征类的准确性。下面通过一个示例对空洞卷积操作进行说明。
在一个示例中，上述卷积处理包括空洞卷积操作，所述基于每级下采样操作输出的第一特征图，得到每级上采样操作输入的特征图可以包括：基于最后一级下采样操作输出的第一特征图，得到至少一级空洞卷积操作输入的特征图；对至少一级空洞卷积操作输入的特征图进行至少一级空洞卷积操作，得到每级空洞卷积操作后的第三特征图；其中，每级空洞卷积操作后得到的第三特征图的尺寸随卷积处理级数的增加而减小；根据每级空洞卷积操作后得到的第三特征图，得到每级上采样操作输入的特征图。
在该示例中，上述神经网络的卷积处理可以包括空洞卷积操作，空洞卷积操作可以为多级。多级空间卷积操作的输入可以是最后一级下采样操作输出的第一特征图，或者，可以是最后一级下采样操作输出的第一特征图经过至少一级卷积处理得到的特征图。每级空洞卷积操作的输入可以是基于上一级卷积处理得到的特征图。针对每级空洞卷积操作输入的特征图，对该特征图进行空洞处理之后，可以得到每级空洞卷积操作之后得到的第三特征图，根据每级空洞卷积操作得到的第三特征图，可以得到上采样操作输入的特征图。空洞卷积操作可以减少卷积过程中输入的特征图中信息的损失，增加第一特征图中的像素点映射的目标图像的区域大小，从而可以尽可能的保留更多的相关信息，使最终确定图像区域更加准确。
在一个示例中，在根据每级空洞卷积操作后得到的第三特征图，得到每级上采样操作输入的特征图时，可以将各级空洞卷积操作后得到的多个第三特征图进行特征融合，得到第一融合特征图；基于所述第一融合特征图，得到每级上采样操作输入的特征图。这里，每级空洞卷积操作后可以得到对一个第三特征图，每级空洞卷积操作后得到的第三特征图的尺寸可以随卷积处理级数的增加而减小，即，卷积处理级数越高，得到的第三特征图的尺寸越小，从而各级空洞卷积操作后得到的多个第三特征图可以认为具有金字塔结构。由于第三特征图的尺寸不断减小，一些相关信息会存在损失，从而可以将各级空洞卷积操作得到的多个第三特征图进行融合，得到第一融合特征图，第一融合特征图可以包括更多的目标图像的全局信息。然后根据第一融合特征图，可以得到每级上采样操作输入的特征图，例如，将第一融合特征图作为上采样操作输入的特征图，或者，对第一融合特征图进行卷积处理，卷积处理后得到的特征图可以作为上采样操作输入的特征图。这样，上采样操作输入的特征图可以包括更多的目标图像的全局信息，提高得到的每个像素点所属的图像特征类的准确性。
在一个示例中，上述基于每级下采样操作输出的第一特征图，得到每级上采样操作输入的特征图可以包括：在当前上采样操作为第一级上采样操作的情况下，根据最后一级下采样操作输出的第一特征图，得到当前上采样操作输入的特征图；在当前上采样操作为大于或等于第二级上采样操作的情况下，将前一级上采样输出的第二特征图与匹配于相同特征图尺寸的第一特征图进行融合，得到第二融合特征图；基于所述第二融合特征图，得到当前上采样操作输入的特征图。
在该示例中，在当前上采样操作是第一级上采样操作时，可以将上一级卷积处理输出的特征图作为第一级上采样操作输入的特征图，例如，可以将经过上述多级空洞卷积操作得到的第一融合特征图作为第一级上采样操作输入的特征图，或者，将第一融合特征图经过卷积处理，得到第一级上采样操作输入的特征图。在当前上采样操作是大于或等于第二级上采样操作时，可以将当前上采样操作的前一级上采样输出的第二特征图，以及与该第二特征图匹配于相同特征图尺寸的第一特征图，进行融合，得到第二融合特征图，基于第二融合特征图可以得到当前上采样操作输入的特征图。例如，将第二融合特征图作为当前上采样操作输入的特征图，或者，对第二融合特征图进行至少一级卷积处理，得到当前上采样操作输入的特征图。这样，当前上采样操作输入的特征图可以结合目标图像的局部细节信息以及全局信息。
图5示出根据本公开实施例的神经网络结构示例的框图。
下面结合一示例对上述神经网络的网络结果进行说明。神经网络的网络结构可以采用U网络、V网络、全卷积网络的网络结构。如图5所示，神经网络的网络结构可以对称，该神经网络可以对输入的目标图像进行多级卷积处理，卷积处理可以包括卷积操作、上采样操作、下采样操作、空洞卷积操作、拼接操作、加连接操作。其中，ASPP可以表示空洞空间金字塔池化模块，空洞空间金字塔池化模块的卷积操作可以包括空洞卷积操作以及加连接操作。可以将大小为512*512*1的连续5个目标图像作为神经网络的输入，同时结合相对位置信息，即，上述x图和y图，即，可以增加两个输入通道，一共7个输入通道。通过不同级的卷积操作，3次下采样或池化操作、归一化操作、以及激活操作，可以将由目标图像得到的特征图的尺寸降为256*256至128*128，最后到64*64个像素点的特征图，同时，通道数从7增加到256，得到的特征图经过ASPP模块，即，经过空洞卷积和空间金字塔结构的连接操作，可以尽可能的保留更多的目标图像的相关信息。之后再经过3次解卷积操作或上采样操作，将64*64大小的特征图逐渐升为512*512，与目标图像的尺寸相同。在解卷积操作或上采样操作过程中，可以将下采样或池化操作中得到的相同尺寸的特征图与解卷积操作或上采样操作得到的相同尺寸的特征图像进行融合，这样得到的融合特征图可以结合目标图像的局部细节信息和全局信息。然后再经过三个不同的卷积操作，可以得到目标图像中每个像素点所属的图像特征类，实现目标图像不同图像区域的分割。
图6示出根据本公开实施例的上述神经网络训练过程示例的流程图。
在一个示例中，提供了上述神经网络在确定目标图像中每个图像特征类对应的图像区域之后，利用确定的目标图像的每个像素点的分类结果对神经网络进行训练的训练过程的说明。如图6所示，上述步骤S13之后，还包括：
步骤S21，将所述目标图像的每个像素点对应的图像特征类与标注的参照图像特征类进行比对，得到比对结果；
步骤S22，根据所述比对结果确定图像处理过程中的第一损失和第二损失；
步骤S23，基于所述第一损失和所述第二损失，对图像处理过程中使用的处理参数进行调整，使所述目标图像的每个像素点对应的图像特征类与所述参照图像特征类相同。
这里，目标图像可以是用于神经网络训练的训练样本，可以对目标图像中每个像素点所述的图像特征类预先进行标注，预先标注的图像特征类可以是参照图像特征类。在利用神经网络确定目标图像中每个图像特征类对应的图像区域之后，可以将目标图像的每个像素点对应的图像特征类与标注的参照图像特征类进行比对，在对比时可以利用不同的损失函数得到比对结果，例如，使用交叉熵损失函数、戴斯损失函数、均方误差损失等，或者，可以将多个损失函数相结合，得到联合的损失函数。根据不同损失函数得到的比对结果可以确定图像处理过程中的第一损失和第二损失，结合确定的第一损失和第二损失，可以对神经网络使用的处理参数进行调整，使目标图像的每个像素点对应的图像特征类与标注的参照图像特征类相同，完成神经网络的训练过程。
在一个示例中，基于所述第一损失和所述第二损失，对图像处理过程中使用的处理参数进行调整，可以包括：获取所述第一损失对应的第一权重以及所述第二损失对应的第二权重；基于所述第一权重和所述第二权重，对所述第一损失和所述第二损失进行加权处理，得到目标损失；基于所述目标损失对图像处理过程中使用的处理参数进行调整。
这里，在利用第一损失和第二损失调整神经网络的处理参数时，可以根据实际的应用场景为第一损失和第二损失分别设置的权重值，例如，为第一损失设置0.8的第一权重，为第二损失设置0.2的第二权重，得到最终的目标损失。然后可以使用反向传播的方式基于目标损失更新神经网络的处理参数，迭代优化神经网络，使神经网络得到的目标损失收敛或者达到最大的迭代次数，得到训练之后的神经网络。
本公开实施例提供的图像处理方案，可以应用在对CT图像序列中不同骨骼区域的分割中，例如，对骨盆结构的不同骨骼进行分割。可以通过对CT图像序列中CT图像的采样，再结合横断面的相对位置信息，利用上述神经网络先确定表征骨盆区域的CT图像在CT图像序列中的上下边界，即确定骨盆CT图像的目标图像序列区间。然后在得到的骨盆CT图像的目标图像序列区间的基础上，对该目标图像序列区间中的骨盆CT图像进行分割，例如，可以将目标图像分割为左髋骨区域、右髋骨区域、左股骨区域、右股骨区域和脊椎区域五个骨骼的图像区域。相比于目前粗略地分割盆骨区域的方法，即，不区分五个骨骼的分割方法，本公开实施例提供的图像处理方案可以精确地区分盆骨区域包括的五个骨骼，更加有利于判断骨盆肿瘤的位置，方便制定手术规划。同时，可以实现快速的骨盆区域定位(本公开实施例提供的图像处理方案对盆骨区域分割一般需30秒，相关的分割方法需要十几分钟，甚至几个小时)。
可以理解，本公开提及的上述各个方法实施例，在不违背原理逻辑的情况下，均可以彼此相互结合形成结合后的实施例，限于篇幅，本公开不再赘述。
此外，本公开还提供了图像处理装置、电子设备、计算机可读存储介质、程序，上述均可用来实现本公开提供的任一种图像处理方法，相应技术方案和描述和参见方法部分的相应记载，不再赘述。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
图7示出根据本公开实施例的图像处理装置的框图，如图7所示，所述图像处理装置包括：
获取模块31，用于获取待处理的图像序列；
确定模块32，用于确定所述待处理的图像序列中目标图像所在的图像序列区间，得到目标图像序列区间；
分割模块33，用于对所述目标图像序列区间的目标图像进行分割，确定所述目标图像区间中每个图像特征类对应的图像区域。
在一种可能的实现方式中，所述确定模块32，具体用于，
确定图像序列的采样步长；
每隔所述采样步长，获取所述图像序列的图像，得到采样图像；
根据所述采样图像的图像特征，确定具有目标图像特征的采样图像；
根据具有目标图像特征的采样图像在所述图像序列的排列位置，确定所述目标图像所在的图像序列区间，得到目标图像序列区间。
在一种可能的实现方式中，所述分割模块33，具体用于，
基于所述目标图像序列区间的目标图像以及预设的相对位置信息，对所述目标图像序列区间的目标图像进行分割，确定所述目标图像区间的目标图像中每个图像特征类对应的图像区域。
在一种可能的实现方式中，所述分割模块33，具体用于，
在每个图像处理周期内，基于所述目标图像序列区间内连续的预设个数的目标图像以及预设的相对位置信息，生成输入信息；
对所述输入信息进行至少一级卷积处理，确定所述目标图像区间的目标图像中每个像素点所属的图像特征类；
根据所述目标图像中每个像素点所属的图像特征类，确定所述目标图像区间的目标图像中每个图像特征类对应的图像区域。
在一种可能的实现方式中，所述卷积处理包括上采样操作和下采样操作，所述分割模块33，具体用于，
基于所述输入信息得到每级下采样操作输入的特征图；
对每级下采样操作输入的特征图进行下采样操作，得到每级下采样操作输出的第一特征图；
基于每级下采样操作输出的第一特征图，得到每级上采样操作输入的特征图；
对每级上采样操作输入的特征图进行上采样处理，得到每级上采样操作输出的第二特征图；
基于最后一级上采样操作输出的第二特征图，确定所述目标图像中每个像素点所属的图像特征类。
在一种可能的实现方式中，所述卷积处理还包括空洞卷积操作；所述分割模块33，具体用于，
基于最后一级下采样操作输出的第一特征图，得到至少一级空洞卷积操作输入的特征图；
对至少一级空洞卷积操作输入的特征图进行至少一级空洞卷积操作，得到每级空洞卷积操作后的第三特征图；其中，每级空洞卷积操作后得到的第三特征图的尺寸随卷积处理级数的增加而减小；
根据每级空洞卷积操作后得到的第三特征图，得到每级上采样操作输入的特征图。
在一种可能的实现方式中，分割模块33，具体用于，
将各级空洞卷积操作后得到的多个第三特征图进行特征融合，得到第一融合特征图；
基于所述第一融合特征图，得到每级上采样操作输入的特征图。
在一种可能的实现方式中，所述分割模块33，具体用于，
在当前上采样操作为第一级上采样操作的情况下，根据最后一级下采样操作输出的第一特征图，得到当前上采样操作输入的特征图；
在当前上采样操作为大于或等于第二级上采样操作的情况下，将前一级上采样输出的第二特征图与匹配于相同特征图尺寸的第一特征图进行融合，得到第二融合特征图；
基于所述第二融合特征图，得到当前上采样操作输入的特征图。
在一种可能的实现方式中，所述装置还包括：
训练模块，用于将所述目标图像区间的目标图像的每个像素点对应的图像特征类与标注的参照图像特征类进行比对，得到比对结果；根据所述比对结果确定图像处理过程中的第一损失和第二损失；基于所述第一损失和所述第二损失，对图像处理过程中使用的处理参数进行调整，使所述目标图像的每个像素点对应的图像特征类与所述参照图像特征类相同。
在一种可能的实现方式中，所述训练模块，具体用于，
获取所述第一损失对应的第一权重以及所述第二损失对应的第二权重；
基于所述第一权重和所述第二权重，对所述第一损失和所述第二损失进行加权处理，得到目标损失；
基于所述目标损失对图像处理过程中使用的处理参数进行调整。
在一种可能的实现方式中，所述装置还包括：
预处理模块，用于获取以预设的采集周期采集的图像形成的图像序列；对所述图像序列进行预处理，得到待处理的图像序列。
在一种可能的实现方式中，所述预处理模块，具体用于根据所述图像序列的图像的方向标识，对所述图像序列的图像进行方向校正，得到待处理的图像序列。
在一种可能的实现方式中，所述预处理模块，具体用于将所述图像序列的图像转换为预设尺寸的图像；对所述预设尺寸的图像进行中心剪裁，得到待处理的图像序列。
在一种可能的实现方式中，所述目标图像为骨盆电子计算机断层扫描CT图像，所述图像区域包括左髋骨区域、右髋骨区域、左股骨区域、右股骨区域和脊椎区域中的一个或多个。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
本公开实施例还提出一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为上述方法。
电子设备可以被提供为终端、服务器或其它形态的设备。
图8是根据一示例性实施例示出的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图8，电子设备1900包括处理组件1922，其进一步包括一个或多个处理器，以及由存储器1932所代表的存储器资源，用于存储可由处理组件1922的执行的指令，例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1922被配置为执行指令，以执行上述方法。
电子设备1900还可以包括一个电源组件1926被配置为执行电子设备1900的电源管理，一个有线或无线网络接口1950被配置为将电子设备1900连接到网络，和一个输入输出(I/O)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM或类似。
在示例性实施例中，还提供了一种非易失性计算机可读存储介质，例如包括计算机程序指令的存储器1932，上述计算机程序指令可由电子设备1900的处理组件1922执行以完成上述方法。
本公开可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
获取待处理的图像序列；
确定所述待处理的图像序列中目标图像所在的图像序列区间，得到目标图像序列区间；
对所述目标图像序列区间的目标图像进行分割，确定所述目标图像区间中每个图像特征类对应的图像区域。
2.根据权利要求1所述的方法，其特征在于，所述确定所述待处理的图像序列中目标图像所在的图像序列区间，得到目标图像序列区间，包括：
确定图像序列的采样步长；
每隔所述采样步长，获取所述图像序列的图像，得到采样图像；
根据所述采样图像的图像特征，确定具有目标图像特征的采样图像；
根据具有目标图像特征的采样图像在所述图像序列的排列位置，确定所述目标图像所在的图像序列区间，得到目标图像序列区间。
3.根据权利要求1或2所述的方法，其特征在于，所述对所述目标图像序列区间的目标图像进行分割，确定所述目标图像区间中每个图像特征类对应的图像区域，包括：
基于所述目标图像序列区间的目标图像以及预设的相对位置信息，对所述目标图像序列区间的目标图像进行分割，确定所述目标图像区间的目标图像中每个图像特征类对应的图像区域。
4.根据权利要求3所述的方法，其特征在于，所述基于所述目标图像序列区间的目标图像以及预设的相对位置信息，对所述目标图像序列区间的目标图像进行分割，确定所述目标图像区间的目标图像中每个图像特征类对应的图像区域，包括：
在每个图像处理周期内，基于所述目标图像序列区间内连续的预设个数的目标图像以及预设的相对位置信息，生成输入信息；
对所述输入信息进行至少一级卷积处理，确定所述目标图像区间的目标图像中每个像素点所属的图像特征类；
根据所述目标图像中每个像素点所属的图像特征类，确定所述目标图像区间的目标图像中每个图像特征类对应的图像区域。
5.根据权利要求4所述的方法，其特征在于，所述卷积处理包括上采样操作和下采样操作，所述对所述输入信息进行至少一级卷积处理，确定所述目标图像中每个像素点所属的图像特征类，包括：
基于所述输入信息得到每级下采样操作输入的特征图；
对每级下采样操作输入的特征图进行下采样操作，得到每级下采样操作输出的第一特征图；
基于每级下采样操作输出的第一特征图，得到每级上采样操作输入的特征图；
对每级上采样操作输入的特征图进行上采样处理，得到每级上采样操作输出的第二特征图；
基于最后一级上采样操作输出的第二特征图，确定所述目标图像中每个像素点所属的图像特征类。
6.根据权利要求5所述的方法，其特征在于，所述卷积处理还包括空洞卷积操作；所述基于每级下采样操作输出的第一特征图，得到每级上采样操作输入的特征图，包括：
基于最后一级下采样操作输出的第一特征图，得到至少一级空洞卷积操作输入的特征图；
对至少一级空洞卷积操作输入的特征图进行至少一级空洞卷积操作，得到每级空洞卷积操作后的第三特征图；其中，每级空洞卷积操作后得到的第三特征图的尺寸随卷积处理级数的增加而减小；
根据每级空洞卷积操作后得到的第三特征图，得到每级上采样操作输入的特征图。
7.根据权利要求6所述的方法，其特征在于，所述根据每级空洞卷积操作后得到的第三特征图，得到每级上采样操作输入的特征图，包括：
将各级空洞卷积操作后得到的多个第三特征图进行特征融合，得到第一融合特征图；
基于所述第一融合特征图，得到每级上采样操作输入的特征图。
8.一种图像处理装置，其特征在于，包括：
获取模块，用于获取待处理的图像序列；
确定模块，用于确定所述待处理的图像序列中目标图像所在的图像序列区间，得到目标图像序列区间；
分割模块，用于对所述目标图像序列区间的目标图像进行分割，确定所述目标图像区间中每个图像特征类对应的图像区域。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为调用所述存储器存储的指令，以执行权利要求1至7中任意一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至7中任意一项所述的方法。
CN201910690342.3A 2019-07-29 2019-07-29 图像处理方法及装置、电子设备和存储介质 Pending CN110490878A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201910690342.3A CN110490878A (zh) 2019-07-29 2019-07-29 图像处理方法及装置、电子设备和存储介质
KR1020217031481A KR20210134945A (ko) 2019-07-29 2020-03-16 이미지 처리 방법과 장치, 전자 기기 및 저장 매체
JP2021562337A JP2022529493A (ja) 2019-07-29 2020-03-16 画像処理方法及び装置、電子機器並びに記憶媒体
PCT/CN2020/079544 WO2021017481A1 (zh) 2019-07-29 2020-03-16 图像处理方法及装置、电子设备和存储介质
TW109114133A TWI755717B (zh) 2019-07-29 2020-04-28 圖像處理方法及裝置、電子設備和計算機可讀儲存介質
US17/553,997 US20220108452A1 (en) 2019-07-29 2021-12-17 Method and device for image processing, electronic device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910690342.3A CN110490878A (zh) 2019-07-29 2019-07-29 图像处理方法及装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN110490878A true CN110490878A (zh) 2019-11-22

Family

ID=68548433

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910690342.3A Pending CN110490878A (zh) 2019-07-29 2019-07-29 图像处理方法及装置、电子设备和存储介质

Country Status (6)

Country Link
US (1) US20220108452A1 (zh)
JP (1) JP2022529493A (zh)
KR (1) KR20210134945A (zh)
CN (1) CN110490878A (zh)
TW (1) TWI755717B (zh)
WO (1) WO2021017481A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111028246A (zh) * 2019-12-09 2020-04-17 北京推想科技有限公司 一种医学图像分割方法、装置、存储介质及电子设备
CN111260666A (zh) * 2020-01-19 2020-06-09 上海商汤临港智能科技有限公司 图像处理方法及装置、电子设备、计算机可读存储介质
CN111291817A (zh) * 2020-02-17 2020-06-16 北京迈格威科技有限公司 图像识别方法、装置、电子设备和计算机可读介质
CN111639607A (zh) * 2020-06-01 2020-09-08 广州虎牙科技有限公司 模型训练、图像识别方法和装置、电子设备及存储介质
WO2021017481A1 (zh) * 2019-07-29 2021-02-04 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN113261011A (zh) * 2019-12-30 2021-08-13 商汤国际私人有限公司 图像处理方法及装置、电子设备和存储介质
TWI845970B (zh) * 2021-06-29 2024-06-21 日商日立全球先端科技股份有限公司 檢查裝置及計測裝置
US12125176B2 (en) 2021-06-29 2024-10-22 Hitachi High-Tech Corporation Inspection apparatus and measurement apparatus

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111294512A (zh) * 2020-02-10 2020-06-16 深圳市铂岩科技有限公司 图像处理方法、装置、存储介质及摄像装置
CN111340711B (zh) * 2020-05-21 2020-09-08 腾讯科技（深圳）有限公司 一种超分辨率重建方法、装置、设备和存储介质
US11488371B2 (en) * 2020-12-17 2022-11-01 Concat Systems, Inc. Machine learning artificial intelligence system for producing 360 virtual representation of an object
CN113781636B (zh) * 2021-09-14 2023-06-20 杭州柳叶刀机器人有限公司 盆骨建模方法与系统、存储介质、计算机程序产品
KR20230105233A (ko) * 2022-01-03 2023-07-11 삼성전자주식회사 이미지 기반의 이미지 효과를 제공하는 전자 장치 및 그 제어 방법
KR20240065993A (ko) * 2022-11-07 2024-05-14 한국전기연구원 저대조도 영상 융합방법 및 장치
CN116543147B (zh) * 2023-03-10 2024-10-11 武汉库柏特科技有限公司 一种颈动脉超声图像分割方法、装置、设备及存储介质
CN118279248B (zh) * 2024-03-18 2024-10-11 中国人民解放军总医院第六医学中心 一种基于图像处理技术的股骨近端中pct的提取方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110280461A1 (en) * 2009-02-11 2011-11-17 Koninklijke Philips Electronics N.V. Group-wise image registration based on motion model
CN105590324A (zh) * 2016-02-03 2016-05-18 上海联影医疗科技有限公司 医学图像的分割方法及其装置
CN107665491A (zh) * 2017-10-10 2018-02-06 清华大学 病理图像的识别方法及系统
CN107767384A (zh) * 2017-11-03 2018-03-06 电子科技大学 一种基于对抗训练的图像语义分割方法
CN107871119A (zh) * 2017-11-01 2018-04-03 西安电子科技大学 一种基于目标空间知识和两阶段预测学习的目标检测方法
CN108446729A (zh) * 2018-03-13 2018-08-24 天津工业大学 基于卷积神经网络的鸡蛋胚胎分类方法
CN108647684A (zh) * 2018-05-02 2018-10-12 深圳市唯特视科技有限公司 一种基于引导注意力推理网络的弱监督语义分割方法
CN109064447A (zh) * 2018-06-29 2018-12-21 沈阳东软医疗系统有限公司 骨密度展示方法、装置及设备
CN109658401A (zh) * 2018-12-14 2019-04-19 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109934235A (zh) * 2019-03-20 2019-06-25 中南大学 一种无监督的腹部ct序列图像多器官同时自动分割方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10176408B2 (en) * 2015-08-14 2019-01-08 Elucid Bioimaging Inc. Systems and methods for analyzing pathologies utilizing quantitative imaging
CN108603922A (zh) * 2015-11-29 2018-09-28 阿特瑞斯公司 自动心脏体积分割
US9947102B2 (en) * 2016-08-26 2018-04-17 Elekta, Inc. Image segmentation using neural network method
JP6886887B2 (ja) * 2017-08-02 2021-06-16 日本放送協会 誤差計算器およびそのプログラム
CN110490878A (zh) * 2019-07-29 2019-11-22 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110280461A1 (en) * 2009-02-11 2011-11-17 Koninklijke Philips Electronics N.V. Group-wise image registration based on motion model
CN105590324A (zh) * 2016-02-03 2016-05-18 上海联影医疗科技有限公司 医学图像的分割方法及其装置
CN107665491A (zh) * 2017-10-10 2018-02-06 清华大学 病理图像的识别方法及系统
CN107871119A (zh) * 2017-11-01 2018-04-03 西安电子科技大学 一种基于目标空间知识和两阶段预测学习的目标检测方法
CN107767384A (zh) * 2017-11-03 2018-03-06 电子科技大学 一种基于对抗训练的图像语义分割方法
CN108446729A (zh) * 2018-03-13 2018-08-24 天津工业大学 基于卷积神经网络的鸡蛋胚胎分类方法
CN108647684A (zh) * 2018-05-02 2018-10-12 深圳市唯特视科技有限公司 一种基于引导注意力推理网络的弱监督语义分割方法
CN109064447A (zh) * 2018-06-29 2018-12-21 沈阳东软医疗系统有限公司 骨密度展示方法、装置及设备
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109658401A (zh) * 2018-12-14 2019-04-19 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN109934235A (zh) * 2019-03-20 2019-06-25 中南大学 一种无监督的腹部ct序列图像多器官同时自动分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ZIZHAO ZHANG: "Translating and Segmenting Multimodal Medical Volumes with Cycle- and Shape-Consistency Generative Adversarial Network", 《2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
李梦溪: "基于特征融合和困难样例挖掘的图像语义分割", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
谢林培: "基于深度学习的眼底图像血管分割方法研究", 《中国优秀硕士学位论文全文数据库 医药卫生科技辑》 *
高振玉 等: "基于C扫描的视盘OCT图像运动伪差校正算法的研究", 《中国医疗器械杂志》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021017481A1 (zh) * 2019-07-29 2021-02-04 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN111028246A (zh) * 2019-12-09 2020-04-17 北京推想科技有限公司 一种医学图像分割方法、装置、存储介质及电子设备
CN113261011A (zh) * 2019-12-30 2021-08-13 商汤国际私人有限公司 图像处理方法及装置、电子设备和存储介质
CN111260666A (zh) * 2020-01-19 2020-06-09 上海商汤临港智能科技有限公司 图像处理方法及装置、电子设备、计算机可读存储介质
CN111260666B (zh) * 2020-01-19 2022-05-24 上海商汤临港智能科技有限公司 图像处理方法及装置、电子设备、计算机可读存储介质
CN111291817A (zh) * 2020-02-17 2020-06-16 北京迈格威科技有限公司 图像识别方法、装置、电子设备和计算机可读介质
CN111291817B (zh) * 2020-02-17 2024-01-23 北京迈格威科技有限公司 图像识别方法、装置、电子设备和计算机可读介质
CN111639607A (zh) * 2020-06-01 2020-09-08 广州虎牙科技有限公司 模型训练、图像识别方法和装置、电子设备及存储介质
WO2021244425A1 (zh) * 2020-06-01 2021-12-09 广州虎牙科技有限公司 模型训练、图像识别方法和装置、电子设备及存储介质
TWI845970B (zh) * 2021-06-29 2024-06-21 日商日立全球先端科技股份有限公司 檢查裝置及計測裝置
US12125176B2 (en) 2021-06-29 2024-10-22 Hitachi High-Tech Corporation Inspection apparatus and measurement apparatus

Also Published As

Publication number Publication date
WO2021017481A1 (zh) 2021-02-04
US20220108452A1 (en) 2022-04-07
KR20210134945A (ko) 2021-11-11
JP2022529493A (ja) 2022-06-22
TW202105322A (zh) 2021-02-01
TWI755717B (zh) 2022-02-21

Similar Documents

Publication Publication Date Title
CN110490878A (zh) 图像处理方法及装置、电子设备和存储介质
CN110689548B (zh) 一种医学图像分割方法、装置、设备及可读存储介质
CN105574859B (zh) 一种基于ct图像的肝脏肿瘤分割方法及装置
CN107247971B (zh) 一种超声甲状腺结节风险指标的智能分析方法及系统
CN112037200A (zh) 一种医学影像中解剖特征自动识别与模型重建方法
CN109389584A (zh) 基于cnn的多尺度鼻咽肿瘤分割方法
CN112102237A (zh) 基于半监督学习的脑部肿瘤识别模型的训练方法及装置
CN111260650B (zh) 一种脊柱ct序列图像分割方法与系统
CN113076987B (zh) 骨赘识别方法、装置、电子设备及存储介质
CN112233777A (zh) 基于深度学习的胆结石自动识别及分割系统、计算机设备、存储介质
CN109636806B (zh) 一种基于多步学习的三维核磁共振胰腺图像分割方法
CN108778134B (zh) 用于根据3d解剖图像表征骨骼的中心轴的系统和方法
CN110533029A (zh) 确定影像中目标区域的方法及装置
CN113298786B (zh) 图像识别及模型训练的方法、真臼位置识别的方法及装置
CN114638292B (zh) 一种基于多尺度分析的人工智能病理辅助诊断系统
KR102211688B1 (ko) 무릎 자기공명 영상에서의 반월상 연골 분할 방법 및 장치
CN113033581B (zh) 髋关节图像中骨骼解剖关键点定位方法、电子设备及介质
CN111402216B (zh) 基于深度学习的三维碎骨分割方法和装置
CN104952109A (zh) 一种基于Harris的脊椎特征点自动识别方法
CN110021019B (zh) 一种aga临床图像的ai辅助毛发的粗细分布分析方法
CN109567839A (zh) 髋关节x光图像自动分析方法
CN115886998A (zh) 一种毛囊采集路径的确定装置和方法
AU2020223750B2 (en) Method and System for Image Annotation
CN117095173A (zh) 一种结直肠癌h&e染色病理图像语义分割方法及系统
Izzaty et al. Multiclass classification of histology on colorectal cancer using deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40016285

Country of ref document: HK

RJ01 Rejection of invention patent application after publication

Application publication date: 20191122

RJ01 Rejection of invention patent application after publication