CN107527069A - 图像处理方法、装置、电子设备及计算机可读介质 - Google Patents

图像处理方法、装置、电子设备及计算机可读介质 Download PDF

Info

Publication number
CN107527069A
CN107527069A CN201710724796.9A CN201710724796A CN107527069A CN 107527069 A CN107527069 A CN 107527069A CN 201710724796 A CN201710724796 A CN 201710724796A CN 107527069 A CN107527069 A CN 107527069A
Authority
CN
China
Prior art keywords
image
resolution
full
input
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710724796.9A
Other languages
English (en)
Inventor
李莹莹
王闾威
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710724796.9A priority Critical patent/CN107527069A/zh
Publication of CN107527069A publication Critical patent/CN107527069A/zh
Priority to US16/053,574 priority patent/US11636664B2/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Abstract

本公开提供一种图像处理方法、装置、电子设备及计算机可读介质，属于图像处理技术领域。该图像处理方法包括：对采集的原始图像进行预处理，得到预处理图像；在保持病理特征的前提下对所述预处理图像进行数据扩充，得到扩充图像；从所述扩充图像中选取一个第一分辨率全图和至少一个第二分辨率全图的中心裁剪图输入到深度神经网络进行训练分类，其中所述第二分辨率高于所述第一分辨率。本公开通过对图像进行预处理以及保持图像的病理特征进行扩充处理，从而不改变病理特征，这样再利用深度神经网络进行训练时才能提高病变图像检测的准确率。

Description

图像处理方法、装置、电子设备及计算机可读介质
技术领域
本公开涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置、电子设备及计算机可读介质。
背景技术
皮肤病变的早期发现和准确诊断是至关重要的，特别是对于黑色素瘤，研究表明，皮肤镜对恶性黑色素瘤诊断的专一性可以达到98％，甚至比临床诊断还要高。皮肤镜又称皮表透光显微镜，是一种观察活体皮肤表面以下微细结构和色素的无创性显微图像分析技术，其本质是一种可以放大数十倍的皮肤显微镜；其功能和眼科用的眼底镜、耳鼻喉科用的耳镜一样，是用来观察皮肤色素性疾患的利器。
目前有关良性恶性黑素细胞皮损的皮肤镜下鉴别诊断方法主要包括：模式分析法、皮肤镜ABCD法、七点检查表评法、Menzies评分法、三点检测表法、皮肤镜ABC法，其中皮肤镜ABCD法中A(Asymmetry不对称)，B(Border边缘)，C(Color颜色)，D(Diameter直径)，皮肤镜ABC法中的A、B、C同理。在这些方法中，模式分析法具有更好的诊断性能，然而，模式分析法很大程度上取决于选择有意义的描述性特征，识别这些特性需要特定领域的专家知识且对于复杂图像的分割和分类问题很可能会失败。
因此，现有技术中的技术方案还存在有待改进之处。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开的目的在于提供一种图像处理方法、装置、电子设备及计算机可读介质，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。
本公开的其他特性和优点将通过下面的详细描述变得清晰，或者部分地通过本公开的实践而习得。
根据本公开的一个方面，提供一种图像处理方法，包括：
对采集的原始图像进行预处理，得到预处理图像；
在保持病理特征的前提下对所述预处理图像进行数据扩充，得到扩充图像；
从所述扩充图像中选取一个第一分辨率全图和至少一个第二分辨率全图的中心裁剪图输入到深度神经网络进行训练分类，其中所述第二分辨率高于所述第一分辨率。
在本公开的一种示例性实施例中，所述预处理包括像素归一化处理和颜色恒常处理。
在本公开的一种示例性实施例中，所述数据扩充包括通用扩充，所述通用扩充包括裁剪、旋转、上下翻转和水平翻转，且裁剪时保留病变区域的边界信息。
在本公开的一种示例性实施例中，所述数据扩充还包括图像扭曲扩充，当所述原始图像为皮肤镜图像时，进行所述图像扭曲扩充时基于皮肤病变的病理特征保持其对称特性。
在本公开的一种示例性实施例中，所述至少一个第二分辨率全图的中心裁剪图包括多个由第二分辨率的全图裁剪得到的中心裁剪图，且多个所述中心裁剪图的分辨率均与所述第一分辨率全图的分辨率相同。
根据本公开的第二方面，还提供一种图像处理装置，包括：
预处理模块，配置为对采集的原始图像进行预处理，得到预处理图像；
扩充模块，配置为在保持病理特征的前提下对所述预处理图像进行数据扩充，得到扩充图像；
训练模块，配置为从所述扩充图像中选取一个第一分辨率全图和至少一个第二分辨率全图的中心裁剪图输入到深度神经网络进行训练分类，其中所述第二分辨率高于所述第一分辨率。
在本公开的一种示例性实施例中，所述扩充模块包括通用扩充子模块和图像扭曲扩充子模块，所述通用扩充子模块配置为对所述预处理图像进行裁剪、旋转、上下翻转和水平翻转，且裁剪时保留病变区域的边界信息；所述扭曲扩充子模块配置为当所述原始图像为皮肤镜图像时，进行所述图像扭曲扩充时基于皮肤病变的病理特征保持其对称特性。
在本公开的一种示例性实施例中，所述训练模块具有三个输入端，第一输入端输入所述第一分辨率全图，第二输入端输入分辨率为A的全图的中心裁剪图，第三输入端输入分辨率为B的全图的中心裁剪图，分辨率A和分辨率B均高于所述第一分辨率，A不等于B，且所述第二输入端和所述第三输入端输入的两个中心裁剪图的分辨率均与所述第一分辨率全图的分辨率相同。
根据本公开的第三方面，还提供一种电子设备，包括：处理器；存储器，存储用于所述处理器控制以上所述的操作的指令。
根据本公开的第四方面，还提供一种计算机可读介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现以上所述的方法步骤。
本公开的某些实施例的图像处理方法、装置、电子设备及计算机可读介质，通过对图像进行预处理以及保持图像的病理特征进行扩充处理，从而不改变病理特征，这样再利用深度神经网络进行训练时才能提高病变图像检测的准确率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出本公开一实施例中提供的一种图像处理方法的示意图
图2示出本公开一实施例中颜色恒常处理前的皮肤镜图像。
图3示出本公开一实施例中颜色恒常处理后的皮肤镜图像。
图4示出本公开一实施例中对原始图像处理的过程示意图。
图5示出本公开另一实施例中提供的一种图像处理装置的示意图。
图6示出本公开再一实施例中提供的电子设备的计算机系统的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。
附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
在实际应用中，深度神经网络技术，特别是卷积神经网络(ConstitutionalNeural Networks,CNN)，极大地改善了目标分类和检测问题，也被广泛的应用于生物医学数据集中，不同的卷积层可以检测不同的特征，从而卷积神经网络可以用来处理大型数据集。卷积神经网络是在多层神经网络的基础上发展起来的针对图像分类和识别而特别设计的一种深度学习方法。
卷积神经网络可以自动进行特征检测，从而改善了传统分析技术中特征检测的困难。虽然卷积神经网络具有不需要医生的先验知识的优势，但是一方面由于卷积神经网络需要大量训练数据，因此在处理医学数据过程中可以使用皮肤病变相关知识进行数据扩充，另一方面由于数据质量对模型训练结果很大影响，因此还需要利用病变相关知识对训练模型的输入进行调整，以期提高数据质量。
卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层组成，即INPUT(输入层)-CONV(卷积层)-RELU(激活函数)-POOL(池化层)-FC(全连接层)。其中卷积层用于进行特征提取；池化层用于对输入的特征图进行压缩，一方面可以使特征图变小，简化网络计算复杂度；另一方面还可以进行特征压缩，提取主要特征；全连接层用于连接所有的特征，将输出值送给分类器。
鉴于现有技术中的分析方法所存在的不足，本公开实施例中提供一种采用人工神经网络(具体是深度神经网络中的卷积神经网络)智能化系统对皮肤镜图像进行分析。图1示出本公开示例性实施例中提供的一种图像处理方法的示意图。
如图1所示，在步骤S11中，对采集的原始图像进行预处理，得到预处理图像。
如图1所示，在步骤S12中，在保持病理特征的前提下对预处理图像进行数据扩充，得到扩充图像。
如图1所示，在步骤S13中，从扩充图像中选取一个第一分辨率全图和至少一个第二分辨率全图的中心裁剪图输入到深度神经网络进行训练分类，其中第二分辨率高于第一分辨率。
下文以将该方法应用在皮肤镜图像的图像处理领域为例进行说明，即采集的原始图像可以是皮肤镜图形，因此在步骤S11中需要根据皮肤病变的特征对皮肤镜图像进行预处理。
在本实施例中，预处理包括像素归一化处理和颜色恒常处理，像素归一化处理就是利用图像的不变矩寻找一组参数使其能够消除其他变换函数对图像变换的影响，通过像素归一化可以减小医学图片由于光线不均匀造成的干扰。像素归一化就是分别对图像三个通道(即RGB)的像素进行归一化，具体公式如下：
r_new＝(r-r_min)*255.0/(r_max–r_min)
g_new＝(g-g_min)*255.0/(r_max–r_min)
b_new＝(b-b_min)*255.0/(r_max–r_min)
其中r、g、b分别为RGB像素归一化处理前的数据，r_new、g_new、b_new分别为RGB像素归一化处理后的数据，r_max、g_max、b_max分别为RGB像素的最大值，r_min、g_min、b_min分别为RGB像素的最小值。
另外，由于拍照设备和拍摄环境的因素，皮肤镜图像会出现不同的亮度和色彩情况，皮肤颜色呈现差异较大，可能会影响模型的判断，如果将其作为皮肤病变检测的重要特征，就会导致分类结果出现错误。因此在像素归一化之后采用颜色恒常算法对图像进行处理得到预处理图像，即将非标准光照下拍摄的有色偏彩色图像恢复成标准光照下拍摄的无色偏彩色图像，实现色偏图像颜色的自动校正。图2示出本实施例中颜色恒常处理前的皮肤镜图像，图3示出本实施例中颜色恒常处理后的皮肤镜图像，其中图3较图2中将拍摄时光线的影响得到纠正。
在本实施例中，步骤S12中对预处理图像进行数据扩充包括通用扩充和图像扭曲扩充。由于皮病病变的位置并不影响最后的分类结果，因此对预处理图像先采用通用的数据扩充方法，包括：裁剪、旋转、上下翻转、水平翻转等。其中旋转就是指随机进行左右180度以内的图像旋转，上下翻转就是指以0.5的概率进行上下翻转，水平翻转就是指以0.5的概率进行水平翻转。
需要说明的是，由于对皮肤病并的检测需要关注其病变区域的边界信息，也就是皮肤病变的边界和图像清晰度会对疾病诊断均具有一定的影响，因此在随机裁剪时需尽量充分保留病变区域的边界信息，以保证分类结果的准确性。
还需要说明的是，上述随机裁剪过程中的“充分保留”是指对于皮肤镜图像而言，只要对于大部分图片的病变区域未被裁剪即可。具体来说，就是在相对较小的范围内随机裁剪，比如在310*310的图像上随机裁剪299*299的图片，而不是在600*600的图像上随机裁剪200*200的图片。
在本实施例中，在进行图像扭曲扩充时基于皮肤病变的病理特征保持其对称特性，其中对称特性包括对称性和/或不对称性。例如，根据皮肤病变黑素瘤检测的ABCDE原则：A(Asymmetry不对称)，B(Border边缘)，C(Color颜色)，D(Diameter直径)，E(Elevation发展)，病变区域的对称性(或不对称性)对病变的检测具有一定影响，主要表现为痣的左半部分和右半部分不对称，或上半部分和下半部分不对称等。因此在进行图像扭曲扩充，且在图像处理时不改变其对称性或其不对称性，从而不改变其病理特征。
需要说明的是，在本实施例中对于皮肤镜图像来说是在保留对称信息的情况下对其进行图像扭曲扩充，对于其他病理图像来说则是根据其相应的病理特征以保证在进行图像扭曲扩充时尽量保留其病理特征不做改变。
通过预处理和扩充处理对皮肤镜图像进行特征提取之后，基于深度学习方法建立一个多尺度深度网络模型，利用卷积神经网络进行特征训练，具体的，需要从扩充图像中选取一个第一分辨率全图和至少一个第二分辨率全图的中心裁剪图输入到深度神经网络(如卷积神经网络)进行训练分类。需要说明的是，一方面，由于对皮肤病变的检测需要关注其病变区域边缘的信息，另一方面，第二分辨率的全图(也就是较高分辨率的图像)也更加有助于对病变的判断和解读，因此，本实施例中对于深度神经网络的结构构建一个多尺度的输入。
在本实施例中，第一分辨率全图为一个分辨率为P的图像，第二分辨率全图的中心裁剪图为从分辨率Q的全图中间裁剪得到的一个图像，其中Q的数值大于P，而且第二分辨率全图的中心裁剪图的分辨率等于第一分辨率全图的分辨率。举例来说，对于inceptionv3网络结构，其输入大小为299*299，基于上述两方面需求的考虑，对扩充处理后的图像进行前期处理，分别处理为分辨率为600*600和299*299两个图像，分辨率为299*299的图像作为第一分辨率全图，然后从第二分辨率600*600图像中间剪裁出一个299*299的图像作为第二分辨率全图的中心裁剪图，将两个分辨率为299*299的图像同时作为网络的输入。
需要说明的是，上述实施例是以一个第一分辨率全图和一个第二分辨率全图的中心裁剪图作为网络输入、inceptionv3网络结构为例进行说明的，但是在本公开其他实施例中，还可以是其他网络结构以及输入端个数大于两个的情况，其中对于输入端个数大于两个的情况可以利用高斯金字塔更加高效地提取不同尺度的特征。例如，先将原图像扩大一倍之后作为高斯金字塔的第1组第1层，将第1组第1层图像经高斯卷积(其实就是高斯平滑或称高斯滤波)之后作为第1组金字塔的第2层，其中包含平滑因子σ，只有将平滑因子乘以一个比例系数k得到一个新的平滑因子，并用它作为第一组第2层图像，结果图像作为第3层；如此重复，最后得到L层图像，在同一组中，每一层图像的尺寸都是一样的，只是平滑系数不一样，它们对应的平滑系数分别为：0，σ，kσ，k2σ，k3σ……k(L-2)σ。将第1组倒数第三层图像作比例因子为2的降采样，得到的图像作为第2组的第1层，然后对第2组的第1层图像做平滑因子为σ的高斯平滑，得到第2组的第2层，就像步骤2中一样，如此得到第2组的L层图像，同组内它们的尺寸是一样的，对应的平滑系数分别为：0，σ，kσ，k2σ，k3σ……k(L-2)σ。但是在尺寸方面第2组是第1组图像的一半。这样反复执行，就可以得到一共O组，每组L层，共计O*L个图像，这些图像一起就构成了高斯金字塔。
还需要说明的是，本实施例中对于输入深度神经网络中的图像除了类似上述长宽相等的正方形以外，还可以是长宽不等的长方形图像。
基于上述方法，图4示出本实施例中对原始图像处理的过程示意图。如图4所示，在获得原始图像后进行像素归一化和颜色恒常处理，之后进行数据扩充，包括通用扩充和基于皮肤病理的图像扭曲扩充，从中选取第一分辨率全图和第二分辨率全图的中心裁剪图输入到深度神经网络进行训练，再将结果(即输出1和输出2)一起输入到全连接层整合，之后在深度神经网络最后一层(即全连接层)后接一个分类器用于图像标签的预测。
在本实施例中，以Softmax分类器为例进行说明。在Softmax回归中，解决的是多分类问题，类标y可以取k个不同的值(而不是2个)。因此，对于训练集有y(i)∈{1,2,……k}。对于给定的测试输入x，如果利用假设函数针对每一个类别j估算出概率值p(y＝j|x)，以此估计x的每一种分类结果出现的概率。因此，假设函数将要输出一个k维的向量(向量元素的和为1)来表示这k个估计的概率值。具体地说，假设函数hθ(x)形式如下：
本文中使用符号θ来表示全部的模型参数，在实现Softmax回归时，将θ用一个k*(n+1)的矩阵来表示会很方便，该矩阵是将θ1,θ2,......θk按行罗列起来得到的，如下所示：
由公式(2)可计算得到属于j的概率为：
当每个样本所述类别的条件概率p(y＝y(i)|x(i)；θ)都最大时，分类器识别率最高，此时等价于最大化如下的似然函数：
另外，在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为1x1的卷积；而前层是卷积层的全连接层可以转化为卷积核为h*w的全局卷积，h和w分别为前层卷积结果的高和宽。
需要说明的是，本实施例中是以对皮肤镜图像的处理为例，该方法还可以适用于其他领域中类似于对皮肤镜图像进行处理的需求的图像处理。
综上所述，通过对图像进行预处理以满足卷积神经网络需要大量训练数据的需求，另外，在保持图像的病理特征的前提进行扩充处理，从而不改变病理特征，这样再利用深度神经网络进行训练时才能提高病变图像检测的准确率，进一步为医生提供辅助诊断。
图5示出本公开另一实施例提供的一种图像处理装置的示意图，如图5所示，该图像处理装置500包括：预处理模块510、扩充模块520和训练模块530。
其中预处理模块510配置为对采集的原始图像进行预处理，得到预处理图像；扩充模块520配置为在保持病理特征的前提下对预处理图像进行数据扩充，得到扩充图像；训练模块530配置为从扩充图像中选取一个第一分辨率全图和至少一个第二分辨率全图的中心裁剪图输入到深度神经网络进行训练分类，其中第二分辨率高于第一分辨率。
如图5所示，在本实施例中扩充模块520进一步包括通用扩充子模块521和图像扭曲扩充子模块522，通用扩充子模块521配置为对预处理图像进行裁剪、旋转、上下翻转和水平翻转，且裁剪时保留病变区域的边界信息。
扭曲扩充子模块522配置为当原始图像为皮肤镜图像时，进行图像扭曲扩充时基于皮肤病变的病理特征保持其对称特性，其中对称特性包括对称性和/或不对称性。
需要说明的是，本实施例中的训练模块530具有两个输入端，第一输入端输入第一分辨率全图，第二输入端输入第二分辨率全图的中心裁剪图，第一分辨率全图为一个分辨率为P的图像，第二分辨率全图的中心裁剪图为从分辨率Q的全图中间裁剪得到的一个图像，其中Q的数值大于P，而且第二分辨率全图的中心裁剪图的分辨率等于第一分辨率全图的分辨率。
或者训练模块具有三个输入端，第一输入端输入第一分辨率全图，第二输入端输入分辨率为A的全图的中心裁剪图，第三输入端输入分辨率为B的全图的中心裁剪图，分辨率A和分辨率B均高于第一分辨率，A不等于B，且第二输入端和第三输入端输入的两个中心裁剪图的分辨率均与第一分辨率全图的分辨率相同
举例来说，对于inceptionv3网络结构，其输入大小尺寸为299*299，对扩充处理后的图像进行前期处理，分别处理为分辨率为600*600、900*900和299*299两个图像，分辨率为299*299的图像作为第一分辨率全图，然后从两个分辨率600*600、900*900图像中间各剪裁出一个299*299的图像作为第二分辨率全图的中心裁剪图，将三个分辨率均为299*299的图像同时作为网络的输入。
该装置中各个模块的功能参见上述方法实施例中的相关描述，此处不再赘述。
本实施例中的图像处理装置可以实现与上述图像处理方法相同的技术效果，此处不再赘述。
另一方面，本公开还提供了一种电子设备，包括处理器和存储器，存储器存储用于上述处理器控制以下的操作的指令：
采集的原始图像进行预处理，得到预处理图像；在保持病理特征的前提下对预处理图像进行数据扩充，得到扩充图像；从扩充图像中选取一个第一分辨率全图和至少一个第二分辨率全图的中心裁剪图输入到深度神经网络进行训练分类，其中第二分辨高于第一分辨率。
下面参考图6，其示出了适于用来实现本申请实施例的电子设备的计算机系统600的结构示意图。图6示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分607加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。
以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读介质或者是上述两者的任意组合。计算机可读介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中，例如，可以描述为：一种处理器包括发送单元、获取单元、确定单元和第一处理单元。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定，例如，发送单元还可以被描述为“向所连接的服务端发送图片获取请求的单元”。
另一方面，本公开还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：采集的原始图像进行预处理，得到预处理图像；在保持病理特征的前提下对预处理图像进行数据扩充，得到扩充图像；从扩充图像中选取一个第一分辨率全图和至少一个第二分辨率全图的中心裁剪图输入到深度神经网络进行训练分类，其中第二分辨率高于第一分辨率。
应清楚地理解，本公开描述了如何形成和使用特定示例，但本公开的原理不限于这些示例的任何细节。相反，基于本公开公开的内容的教导，这些原理能够应用于许多其它实施方式。
以上具体地示出和描述了本公开的示例性实施方式。应可理解的是，本公开不限于这里描述的详细结构、设置方式或实现方法；相反，本公开意图涵盖包含在所附权利要求的精神和范围内的各种修改和等效设置。

Claims (10)

1.一种图像处理方法，其特征在于，包括：
对采集的原始图像进行预处理，得到预处理图像；
在保持病理特征的前提下对所述预处理图像进行数据扩充，得到扩充图像；
从所述扩充图像中选取一个第一分辨率全图和至少一个第二分辨率全图的中心裁剪图输入到深度神经网络进行训练分类，其中所述第二分辨率高于所述第一分辨率。
2.根据权利要求1所述的图像处理方法，其特征在于，所述预处理包括像素归一化处理和颜色恒常处理。
3.根据权利要求1所述的图像处理方法，其特征在于，所述数据扩充包括通用扩充，所述通用扩充包括裁剪、旋转、上下翻转和水平翻转，且裁剪时保留病变区域的边界信息。
4.根据权利要求3所述的图像处理方法，其特征在于，所述数据扩充还包括图像扭曲扩充，当所述原始图像为皮肤镜图像时，进行所述图像扭曲扩充时基于皮肤病变的病理特征保持其对称特性。
5.根据权利要求1所述的图像处理方法，其特征在于，所述至少一个第二分辨率全图的中心裁剪图包括多个由第二分辨率的全图裁剪得到的中心裁剪图，且多个所述中心裁剪图的分辨率均与所述第一分辨率全图的分辨率相同。
6.一种图像处理装置，其特征在于，包括：
预处理模块，配置为对采集的原始图像进行预处理，得到预处理图像；
扩充模块，配置为在保持病理特征的前提下对所述预处理图像进行数据扩充，得到扩充图像；
训练模块，配置为从所述扩充图像中选取一个第一分辨率全图和至少一个第二分辨率全图的中心裁剪图输入到深度神经网络进行训练分类，其中所述第二分辨率高于所述第一分辨率。
7.根据权利要求6所述的图像处理装置，其特征在于，所述扩充模块包括通用扩充子模块和图像扭曲扩充子模块，所述通用扩充子模块配置为对所述预处理图像进行裁剪、旋转、上下翻转和水平翻转，且裁剪时保留病变区域的边界信息；所述扭曲扩充子模块配置为当所述原始图像为皮肤镜图像时，进行所述图像扭曲扩充时基于皮肤病变的病理特征保持其对称特性。
8.根据权利要求6所述的图像处理装置，其特征在于，所述训练模块具有三个输入端，第一输入端输入所述第一分辨率全图，第二输入端输入分辨率为A的全图的中心裁剪图，第三输入端输入分辨率为B的全图的中心裁剪图，分辨率A和分辨率B均高于所述第一分辨率，A不等于B，且所述第二输入端和所述第三输入端输入的两个中心裁剪图的分辨率均与所述第一分辨率全图的分辨率相同。
9.一种电子设备，其特征在于，包括：
处理器；
存储器，存储用于所述处理器控制如权利要求1-5任一项所述的操作的指令。
10.一种计算机可读介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如权利要求1-5任一项所述的方法步骤。
CN201710724796.9A 2017-08-22 2017-08-22 图像处理方法、装置、电子设备及计算机可读介质 Pending CN107527069A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710724796.9A CN107527069A (zh) 2017-08-22 2017-08-22 图像处理方法、装置、电子设备及计算机可读介质
US16/053,574 US11636664B2 (en) 2017-08-22 2018-08-02 Training method and device of neural network for medical image processing, and medical image processing method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710724796.9A CN107527069A (zh) 2017-08-22 2017-08-22 图像处理方法、装置、电子设备及计算机可读介质

Publications (1)

Publication Number Publication Date
CN107527069A true CN107527069A (zh) 2017-12-29

Family

ID=60681847

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710724796.9A Pending CN107527069A (zh) 2017-08-22 2017-08-22 图像处理方法、装置、电子设备及计算机可读介质

Country Status (2)

Country Link
US (1) US11636664B2 (zh)
CN (1) CN107527069A (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945181A (zh) * 2017-12-30 2018-04-20 北京羽医甘蓝信息技术有限公司 用于乳腺癌淋巴转移病理图像的处理方法和装置
CN108091394A (zh) * 2018-01-17 2018-05-29 中南大学湘雅三医院 一种诊断脱色素性皮肤病的系统
CN108737428A (zh) * 2018-05-24 2018-11-02 中国联合网络通信集团有限公司 基于图像识别的皮肤病确定方法和装置
CN108921196A (zh) * 2018-06-01 2018-11-30 南京邮电大学 一种改进全卷积神经网络的语义分割方法
CN109801214A (zh) * 2018-05-29 2019-05-24 京东方科技集团股份有限公司 图像重构装置及方法、设备、计算机可读存储介质
CN109886986A (zh) * 2019-01-23 2019-06-14 北京航空航天大学 一种基于多分支卷积神经网络的皮肤镜图像分割方法
WO2019136922A1 (zh) * 2018-01-12 2019-07-18 平安科技（深圳）有限公司 肺结节探测方法、应用服务器及计算机可读存储介质
CN110276299A (zh) * 2019-06-21 2019-09-24 国网北京市电力公司 计量箱外观故障图像识别模型及方法
CN111062956A (zh) * 2019-11-08 2020-04-24 哈尔滨工业大学（深圳） 病理图像肿块目标分割方法及装置
CN111275080A (zh) * 2020-01-14 2020-06-12 腾讯科技（深圳）有限公司 基于人工智能的图像分类模型训练方法、分类方法及装置
CN111292251A (zh) * 2019-03-14 2020-06-16 展讯通信（上海）有限公司 图像偏色校正方法、装置以及计算机存储介质
WO2020181706A1 (zh) * 2019-03-12 2020-09-17 平安科技（深圳）有限公司 植物种类的识别方法及装置
CN111724329A (zh) * 2020-07-03 2020-09-29 北京字节跳动网络技术有限公司 图像的处理方法、装置以及电子设备
CN111723788A (zh) * 2019-03-19 2020-09-29 杭州海康威视数字技术股份有限公司 文字识别方法及装置
CN112149684A (zh) * 2020-08-19 2020-12-29 北京豆牛网络科技有限公司 图像处理方法和用于目标检测的图像预处理方法
CN112183669A (zh) * 2020-11-04 2021-01-05 北京航天泰坦科技股份有限公司 图像分类方法和装置、设备及存储介质
CN115861740A (zh) * 2023-02-27 2023-03-28 常州微亿智造科技有限公司 工业检测中的样本生成方法、样本生成装置

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734211B (zh) * 2018-05-17 2019-12-24 腾讯科技（深圳）有限公司 图像处理的方法和装置
US11847546B2 (en) * 2018-05-17 2023-12-19 International Business Machines Corporation Automatic data preprocessing
CN110033020A (zh) * 2019-03-07 2019-07-19 李胜利 基于深度学习的胎儿超声图像中标准切面图像识别方法及识别系统
US20220222817A1 (en) * 2019-05-29 2022-07-14 Ghassan AlRegib Transfer learning for medical applications using limited data
US11200456B2 (en) * 2019-07-31 2021-12-14 GE Precision Healthcare LLC Systems and methods for generating augmented training data for machine learning models
CN110660021B (zh) * 2019-08-16 2022-12-20 西安理工大学 一种基于深度学习的脉冲涡流热成像高分辨率清晰化方法
JP2021036969A (ja) * 2019-08-30 2021-03-11 キヤノン株式会社 機械学習装置、機械学習方法及びプログラム
CN110648316B (zh) * 2019-09-07 2021-02-26 创新奇智(成都)科技有限公司 一种基于深度学习的钢卷端面边缘检测方法
US11341635B2 (en) * 2019-10-31 2022-05-24 Tencent America LLC Computer aided diagnosis system for detecting tissue lesion on microscopy images based on multi-resolution feature fusion
KR20210053052A (ko) * 2019-11-01 2021-05-11 엘지전자 주식회사 컬러 복원방법 및 장치
CN111242925B (zh) * 2020-01-13 2023-08-29 北京妙医佳健康科技集团有限公司 针对ct影像数据的目标检测方法、装置及电子设备
CN111369506B (zh) * 2020-02-26 2022-08-02 四川大学 一种基于眼部b超图像的晶状体浑浊度分级方法
KR20210109327A (ko) 2020-02-27 2021-09-06 삼성전자주식회사 인공신경망의 학습 방법 및 장치
CN111429410B (zh) * 2020-03-13 2023-09-01 杭州电子科技大学 一种基于深度学习的物体x射线图像材质判别系统及方法
US11710231B2 (en) * 2020-08-31 2023-07-25 Ping An Technology (Shenzhen) Co., Ltd. Method and apparatus for mammographic multi-view mass identification
CN113052301A (zh) * 2021-03-29 2021-06-29 商汤集团有限公司 神经网络生成方法、装置、电子设备及存储介质
US11763428B2 (en) * 2021-06-22 2023-09-19 Saudi Arabian Oil Company System and method for de-noising an ultrasonic scan image using a convolutional neural network
US11961218B2 (en) * 2021-07-29 2024-04-16 Zebra Technologies Corporation Machine vision systems and methods for automatically generating one or more machine vision jobs based on region of interests (ROIs) of digital images
CN116946610B (zh) * 2023-09-21 2023-12-12 中科源码(成都)服务机器人研究院有限公司 一种智能仓储系统货物拾取方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3941119B2 (ja) * 2005-06-14 2007-07-04 船井電機株式会社 データ圧縮伸張方法
CN105512680A (zh) * 2015-12-02 2016-04-20 北京航空航天大学 一种基于深度神经网络的多视sar图像目标识别方法
CN106408564A (zh) * 2016-10-10 2017-02-15 北京新皓然软件技术有限责任公司 一种基于深度学习的眼底图像处理方法、装置及系统
CN106780482A (zh) * 2017-01-08 2017-05-31 广东工业大学 一种医学图像分类方法
CN107516080A (zh) * 2017-08-22 2017-12-26 京东方科技集团股份有限公司 视网膜病变影像的眼球定位方法、装置及电子设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GR1004180B (el) * 2000-03-28 2003-03-11 ����������� ����� ��������� (����) Μεθοδος και συστημα χαρακτηρισμου και χαρτογραφησης αλλοιωσεων των ιστων
US8185186B2 (en) * 2007-04-13 2012-05-22 The Regents Of The University Of Michigan Systems and methods for tissue imaging
RU2012108572A (ru) * 2009-08-11 2013-09-20 Конинклейке Филипс Электроникс Н.В. Способ и устройство для обеспечения изображения для отображения
KR101623431B1 (ko) * 2015-08-06 2016-05-23 주식회사 루닛 의료 영상의 병리 진단 분류 장치 및 이를 이용한 병리 진단 시스템
US9760807B2 (en) * 2016-01-08 2017-09-12 Siemens Healthcare Gmbh Deep image-to-image network learning for medical image analysis
US9996902B2 (en) * 2016-01-19 2018-06-12 Google Llc Image upscaling
US9767557B1 (en) * 2016-06-23 2017-09-19 Siemens Healthcare Gmbh Method and system for vascular disease detection using recurrent neural networks
WO2018013495A1 (en) * 2016-07-11 2018-01-18 Gravity Jack, Inc. Augmented reality methods and devices
US10929977B2 (en) * 2016-08-25 2021-02-23 Intel Corporation Coupled multi-task fully convolutional networks using multi-scale contextual information and hierarchical hyper-features for semantic image segmentation
US10242443B2 (en) * 2016-11-23 2019-03-26 General Electric Company Deep learning medical systems and methods for medical procedures
WO2018106262A1 (en) * 2016-12-09 2018-06-14 Google Llc Feature recognition assisted super-resolution method
US11354577B2 (en) * 2017-03-15 2022-06-07 Samsung Electronics Co., Ltd System and method for designing efficient super resolution deep convolutional neural networks by cascade network training, cascade network trimming, and dilated convolutions
US10096109B1 (en) * 2017-03-31 2018-10-09 The Board Of Trustees Of The Leland Stanford Junior University Quality of medical images using multi-contrast and deep learning
WO2018231204A1 (en) * 2017-06-13 2018-12-20 Google Llc Augmented reality microscope for pathology
US10438350B2 (en) * 2017-06-27 2019-10-08 General Electric Company Material segmentation in image volumes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3941119B2 (ja) * 2005-06-14 2007-07-04 船井電機株式会社 データ圧縮伸張方法
CN105512680A (zh) * 2015-12-02 2016-04-20 北京航空航天大学 一种基于深度神经网络的多视sar图像目标识别方法
CN106408564A (zh) * 2016-10-10 2017-02-15 北京新皓然软件技术有限责任公司 一种基于深度学习的眼底图像处理方法、装置及系统
CN106780482A (zh) * 2017-01-08 2017-05-31 广东工业大学 一种医学图像分类方法
CN107516080A (zh) * 2017-08-22 2017-12-26 京东方科技集团股份有限公司 视网膜病变影像的眼球定位方法、装置及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANDREJ KARPATHY ET AL.: "Large-scale Video Classification with Convolutional Neural Networks", 《2014 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
YING NIAN WU: "Data Augmentation", 《COMPUTER VISION》 *
王小凤: "智能化数据挖掘算法研究及在医学影像诊断中的应用", 《中国优秀博硕士学位论文全文数据库 (硕士) 信息科技辑》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945181A (zh) * 2017-12-30 2018-04-20 北京羽医甘蓝信息技术有限公司 用于乳腺癌淋巴转移病理图像的处理方法和装置
WO2019136922A1 (zh) * 2018-01-12 2019-07-18 平安科技（深圳）有限公司 肺结节探测方法、应用服务器及计算机可读存储介质
CN108091394A (zh) * 2018-01-17 2018-05-29 中南大学湘雅三医院 一种诊断脱色素性皮肤病的系统
CN108737428A (zh) * 2018-05-24 2018-11-02 中国联合网络通信集团有限公司 基于图像识别的皮肤病确定方法和装置
CN109801214A (zh) * 2018-05-29 2019-05-24 京东方科技集团股份有限公司 图像重构装置及方法、设备、计算机可读存储介质
CN108921196A (zh) * 2018-06-01 2018-11-30 南京邮电大学 一种改进全卷积神经网络的语义分割方法
CN109886986A (zh) * 2019-01-23 2019-06-14 北京航空航天大学 一种基于多分支卷积神经网络的皮肤镜图像分割方法
CN109886986B (zh) * 2019-01-23 2020-09-08 北京航空航天大学 一种基于多分支卷积神经网络的皮肤镜图像分割方法
WO2020181706A1 (zh) * 2019-03-12 2020-09-17 平安科技（深圳）有限公司 植物种类的识别方法及装置
CN111292251A (zh) * 2019-03-14 2020-06-16 展讯通信（上海）有限公司 图像偏色校正方法、装置以及计算机存储介质
CN111292251B (zh) * 2019-03-14 2022-09-30 展讯通信（上海）有限公司 图像偏色校正方法、装置以及计算机存储介质
CN111723788A (zh) * 2019-03-19 2020-09-29 杭州海康威视数字技术股份有限公司 文字识别方法及装置
CN111723788B (zh) * 2019-03-19 2023-12-29 杭州海康威视数字技术股份有限公司 文字识别方法及装置
CN110276299A (zh) * 2019-06-21 2019-09-24 国网北京市电力公司 计量箱外观故障图像识别模型及方法
CN111062956A (zh) * 2019-11-08 2020-04-24 哈尔滨工业大学（深圳） 病理图像肿块目标分割方法及装置
CN111275080A (zh) * 2020-01-14 2020-06-12 腾讯科技（深圳）有限公司 基于人工智能的图像分类模型训练方法、分类方法及装置
CN111275080B (zh) * 2020-01-14 2021-01-08 腾讯科技（深圳）有限公司 基于人工智能的图像分类模型训练方法、分类方法及装置
CN111724329A (zh) * 2020-07-03 2020-09-29 北京字节跳动网络技术有限公司 图像的处理方法、装置以及电子设备
CN112149684A (zh) * 2020-08-19 2020-12-29 北京豆牛网络科技有限公司 图像处理方法和用于目标检测的图像预处理方法
CN112183669A (zh) * 2020-11-04 2021-01-05 北京航天泰坦科技股份有限公司 图像分类方法和装置、设备及存储介质
CN112183669B (zh) * 2020-11-04 2024-02-13 航天科工(北京)空间信息应用股份有限公司 图像分类方法和装置、设备及存储介质
CN115861740A (zh) * 2023-02-27 2023-03-28 常州微亿智造科技有限公司 工业检测中的样本生成方法、样本生成装置

Also Published As

Publication number Publication date
US11636664B2 (en) 2023-04-25
US20190065884A1 (en) 2019-02-28

Similar Documents

Publication Publication Date Title
CN107527069A (zh) 图像处理方法、装置、电子设备及计算机可读介质
JP7384960B2 (ja) 腫瘍を識別するための畳み込みニューラルネットワークを用いた組織像の処理
CN109886273B (zh) 一种cmr图像分割分类系统
Jiang et al. A review of deep learning-based multiple-lesion recognition from medical images: classification, detection and segmentation
WO2021036616A1 (zh) 一种医疗图像处理方法、医疗图像识别方法及装置
TWI777092B (zh) 一種圖像處理方法、電子設備及存儲介質
KR102041906B1 (ko) 안면피부촬영장치를 통해 촬영된 영상 이미지를 활용하여 피부질환을 판별하는 인공지능 기반의 안면 피부질환 판별용 api 엔진
CN108615236A (zh) 一种图像处理方法及电子设备
CN110033456B (zh) 一种医疗影像的处理方法、装置、设备和系统
KR102311654B1 (ko) 피부 이미지 기반의 인공지능 딥러닝을 이용한 피부질환 판별용 api 엔진을 구성하는 스마트 피부질환 판별 플랫폼시스템
Luo et al. Micro-vessel image segmentation based on the AD-UNet model
WO2020151307A1 (zh) 病灶自动识别方法、装置及计算机可读存储介质
JP7026826B2 (ja) 画像処理方法、電子機器および記憶媒体
CN110288597A (zh) 基于注意力机制的无线胶囊内窥镜视频显著性检测方法
WO2022088665A1 (zh) 病灶分割方法、装置及存储介质
CN108764342B (zh) 一种对于眼底图中视盘和视杯的语义分割方法
WO2021213068A1 (zh) 基于人工智能的图像显示方法、装置、设备及介质
CN110414607A (zh) 胶囊内窥镜图像的分类方法、装置、设备及介质
KR102162683B1 (ko) 비정형 피부질환 영상데이터를 활용한 판독보조장치
WO2021114636A1 (zh) 基于多模态数据的病灶分类方法、装置、设备及存储介质
CN110338763A (zh) 一种智能中医诊测的图像处理方法及装置
WO2021159811A1 (zh) 青光眼辅助诊断装置、方法及存储介质
CN110473176B (zh) 图像处理方法及装置、眼底图像处理方法、电子设备
Maksoud et al. A computer-aided diagnoses system for detecting multiple ocular diseases using color retinal fundus images
JP2024509717A (ja) 耳の病状を診断するための自動耳鏡検査画像分析に左右の鼓膜耳鏡検査画像を使用するシステム及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination