CN107798673B - 诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质 - Google Patents

诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质 Download PDF

Info

Publication number
CN107798673B
CN107798673B CN201710610753.8A CN201710610753A CN107798673B CN 107798673 B CN107798673 B CN 107798673B CN 201710610753 A CN201710610753 A CN 201710610753A CN 107798673 B CN107798673 B CN 107798673B
Authority
CN
China
Prior art keywords
image
feature vector
lesion
captured
query
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710610753.8A
Other languages
English (en)
Other versions
CN107798673A (zh
Inventor
松永和久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017081415A external-priority patent/JP6390746B2/ja
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN107798673A publication Critical patent/CN107798673A/zh
Application granted granted Critical
Publication of CN107798673B publication Critical patent/CN107798673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/44—Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441—Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444—Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Signal Processing (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Dermatology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明提供能够容易地掌握疾病部的差异、并进行高精度的诊断支援的诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质。用于根据摄影图像诊断病变的诊断支援装置的图像处理方法为，与涉及病变的已知的第一摄影图像对应的参考图像被登记于数据库，在通过将与涉及病变的未知的第二摄影图像对应的查询图像与数据库的参考图像进行对比来进行诊断支援时，根据参考图像来制作实施了几何变形的参考图像、或者根据查询图像来制作实施了几何变形的查询图像。

Description

诊断支援装置、诊断支援装置的图像处理方法、以及存储程序 的存储介质
技术领域
本发明涉及诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质。
背景技术
作为皮肤病变的诊断，必定进行视诊，能够得到较多的信息。然而，仅通过肉眼、放大镜，甚至难以进行痣与斑的辨别，也难以进行良性肿瘤与恶性肿瘤的鉴别。因此，进行使用带皮肤镜摄像机对病变进行摄影的皮肤镜学诊断，但是现状为基于图像观察的病例识别取决于医师的技能。
因此，例如，在专利文献1中记载有医用摄影装置的技术，能够根据所摄影并保存的患者的摄影图像生成进行了HDR(High Dynamic Range Imaging)变换的高动态范围合成图像而进行比较。根据专利文献1所记载的技术，不取决于有无诊断技能，就能够容易地得到皮肤镜学图像的见解。
然而，根据专利文献1所记载的技术，在医师得到基于目视观察的见解时，在排列多个皮肤镜学图像的情况下，当疾病部的配置、方向、大小等不同时，会仅注目于不同点，难以掌握疾病部的差异。由此，难以进行高精度的诊断。
专利文献1：日本特开2015-164512号公报
发明内容
本发明是为了解决上述课题而进行的，其目的在于提供能够容易地掌握疾病部的差异、并进行高精度的诊断支援的诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质。
为了解决上述课题，本发明的一个方式是用于根据摄影图像诊断病变的诊断支援装置的图像处理方法，其特征在于，与涉及病变的已知的第一摄影图像对应的参考图像被登记于数据库，在通过将与涉及病变的未知的第二摄影图像对应的查询图像与上述数据库的参考图像进行对比来进行诊断支援时，根据上述参考图像来制作实施了几何变形的参考图像，或者根据上述查询图像来制作实施了几何变形的查询图像。
此外，本发明的其他方式为一种用于根据摄影图像来诊断病变的诊断支援装置，其特征在于，具备：数据库，登记有与涉及病变的已知的第一摄影图像对应的参考图像；以及增量单元，在通过将与涉及病变的未知的第二摄影图像对应的查询图像与上述数据库的参考图像进行对比来进行诊断支援时，根据上述参考图像制作实施了几何变形的参考图像，或者根据上述查询图像来制作实施了几何变形的查询图像。
本发明的其他特征，根据本说明书以及附图的记载能够明确。
发明的效果
根据本发明，能够提供容易掌握疾病部的差异、进行高精度的诊断支援的诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质。
附图说明
图1是表示本发明的第一实施方式的诊断支援装置的构成的框图。
图2是表示本发明的第一实施方式的诊断支援装置进行的特征向量数据库生成处理的顺序的流程图。
图3是表示本发明的第一实施方式的诊断支援装置进行的图像检索处理的顺序的流程图。
图4是说明图2的第一尺寸再生(resize)增量倍率决定处理中的尺寸再生增量方针的图。
图5是表示图2的输入图像外插处理中的第一外插图像以及第一切取图像的一个例子的图。
图6是为了对由本发明的第一实施方式的诊断支援装置进行的几何变形处理的扩张例进行说明而引用的图。
图7是表示本发明的第二实施方式的诊断支援装置的构成的框图。
图8是表示本发明的第二实施方式的总体识别器(神经网络)的构成的框图。
图9是表示本发明的第二实施方式的图像事先增量的流程图。
图10是说明用于本发明的第二实施方式的图像事先增量的几何变形的模式的一个例子的图。
图11是表示本发明的第二实施方式的机器学习识别器生成处理的流程的流程图。
图12是表示本发明的第二实施方式的被检图像(未知的图像识别)识别处理的流程的流程图。
符号的说明
1…诊断支援装置，10…装置主体，11…摄影图像取得部，12…参考图像特征向量提取部，13…查询图像特征向量提取部，14…检索单元，14a…总体识别器，15…图像存储部，16…数据存储部，20…带皮肤镜摄影装置，30…输入装置，40…显示装置，121…几何变形处理部，122…图像切取部，123…DB登记部，141…向量间距离计算部，142、143…单位识别器，144…判断单元，160…特征向量DB
具体实施方式
以下，参照附图对用于实施本发明的方式(以下，称为实施方式)进行详细说明。在以下的图中，在实施方式的说明的整体中对于相同要素赋予相同的编号或者符号。
(第一实施方式的构成)
图1是表示第一实施方式的诊断支援装置1的构成的框图。如图1所示那样，本实施方式的诊断支援装置1连接有带皮肤镜摄影装置20。
带皮肤镜摄影装置20为，根据来自诊断支援装置1的装置主体10的指示进行摄影，将摄影图像(皮肤镜学图像)存储于图像存储部15并且在显示装置40上进行显示。此外，摄影图像由装置主体10实施图像处理并存储于图像存储部15并且在显示装置40上进行显示。
输入装置30进行皮肤镜学图像的摄影开始指示、后述的皮肤镜学图像中的部位选择操作等。此外，显示装置40例如由LCD(Liquid Crystal Display)监视器等构成，输入装置30由鼠标等构成。
装置主体10包括摄影图像取得部11、参考图像特征向量提取部12、查询图像特征向量提取部13、检索单元14、图像存储部15以及数据存储部16。
摄影图像取得部11获取由带皮肤镜摄影装置20摄影的摄影图像而向参考图像特征向量提取部12以及查询图像特征向量提取部13输出。参考图像特征向量提取部12为，对于基于涉及病变的已知的摄影图像(第一摄影图像)形成的参考图像，提取图像特征向量(第一图像特征向量)并登记于向数据存储部16的一部分区域分配的特征向量数据库(以下，称为特征向量DB160)。此外，通过对第一摄影图像实施几何变形而增量来形成参考图像，通过提示实施了几何变形的参考图像来进行诊断支援。在以下，对使参考图像预先增量的例子进行说明，但是增量计算也可以在与查询图像进行比较时进行。此外，也可以对查询图像进行增量。所谓提示，可以进行显示而进行医师的支援，也可以进行比较而进行机械的支援。
因此，参考图像特征向量提取部12构成为，包括几何变形处理部121(包括增量单元)、图像切取部122、以及DB登记部123。
几何变形处理部121计算涉及病变的已知的摄影图像(第一摄影图像)的第一短边实际长度，使用计算出的第一短边实际长度来决定第一摄影图像的第一尺寸再生增量倍率，对第一摄影图像实施外插处理而作为第一外插图像，通过旋转、反转以及基于第一尺寸再生增量倍率的尺寸再生对第一外插图像实施几何变形处理，由此进行增量而作为第一几何变形图像。此时，第一尺寸再生增量倍率为，以第一短边实际长度为根据，第一短边实际长度比整体平均长度小时的第一尺寸再生增量倍率向变大的方向设定，第一短边实际长度比整体平均长度大时的第一尺寸再生增量倍率向变小的方向设定。
图像切取部122通过从几何变形处理部121所输出的第一几何变形图像中剪切中央正方形区域来得到第一切取图像，并从第一切取图像中提取参考图像的图像特征向量(第一图像特征向量)。DB登记部123将通过图像切取部122提取的参考图像的第一特征向量登记于数据存储部16的特征向量DB160。
查询图像特征向量提取部13为，对于基于涉及病变的未知的摄影图像(第二摄影图像)而形成的查询图像，提取图像特征向量(第二图像特征向量)并传送给检索单元14。
检索单元14参照特征向量DB160将参考图像的特征向量(第一图像特征向量)与查询图像的特征向量(第二特征向量)进行对比，从参考图像中检索与查询图像类似的至少一个候补并向显示装置40输出。因此，检索单元14包括向量间距离计算部141，该向量间距离计算部141计算查询图像的特征向量、与特征向量DB160所登记的全部的参考图像的特征向量之间的距离(欧几里得距离)。
图像存储部15除了存储由带皮肤镜摄影装置20摄影的患部的皮肤镜学图像以外，还存储在第一实施方式的程序的执行中途生成的图像、以及各种数据。数据存储部16存储由参考图像特征向量提取部12生成的特征向量DB160。图像存储部15以及数据存储部16均安装有半导体、磁、光等中的任一种存储元件。
(第一实施方式的动作)
以下，参照图2、图3的流程图，对图1所示的第一实施方式的诊断支援装置1的处理顺序进行详细说明。首先，参照图2的流程图从第一实施方式的诊断支援装置1的特征向量生成处理的顺序开始说明。此外，特征向量的生成处理离线地执行。
具体地说，首先，当在医师操作输入装置30而进行的指示下，通过带皮肤镜摄影装置20进行患部的摄影时，装置主体10为，摄影图像取得部11获取成为变换对象的摄影后的皮肤镜学图像，并向图像存储部15存储，并且向参考图像特征向量提取部12输出(步骤S201)。参考图像特征向量提取部12接收到该皮肤镜学图像，其几何变形处理部121计算图像的第一短边实际长度(步骤S202)。
通过带皮肤镜摄影装置20的目镜适配器而摄影距离被固定，因此，几何变形处理部121能够从摄影图像(第一摄影图像)的EXIF(Exchange Image File Format)图像文件中读出机种信息以及焦距设定而进行计算，由此能够求出摄影图像的短边实际长度。
接着，几何变形处理部121基于计算出的摄影图像的第一短边实际长度来设定图像增量的倍率(第一尺寸再生增量倍率)(步骤S203)。图4表示纵轴为样本数量、横轴为第一短边实际长度(mm)的统计图表。根据图4，第一短边实际长度平均地分布于bin11(短边10～11mm)。在此，将数据组分类为3组并对各个组设定第一尺寸再生增量倍率。通过几何变形处理部121设定的第一尺寸再生增量倍率为，以计算出的第一短边实际长度为根据，第一短边实际长度比整体平均长度小时的第一尺寸再生增量倍率向变大的方向设定，第一短边实际长度比整体平均长度大时的第一尺寸再生增量倍率向变小的方向设定。
在步骤S203的第一尺寸再生增量倍率设定处理中，几何变形处理部121为，例如，在第一短边实际长度接近于整体平均长度的情况(9mm以上且小于12mm)下，设定0.8、1.0、1.2倍这3个模式，在第一短边实际长度小于整体平均长度的情况(小于9mm)下，设定0.6、0.8、1.0倍的稍小尺寸的3个模式，在第一短边实际长度大于整体平均的情况(12mm以上)下，设定1.0、1.2、1.4倍的稍大尺寸的3个模式。
接下来，几何变形处理部121执行摄影图像的外插处理(步骤S204)。即，当进行移离目标(zoom out)的尺寸再生等时，不存在原来的摄影图像的区域包含于有效区域，此时，需要以不存在原来的摄影图像的区域不成为图像特征的方式制作第一外插图像。图5表示第一外插图像的一个例子。
接着，几何变形处理部121执行第一外插图像的旋转、反转以及尺寸再生几何变形处理(步骤S205：第一外插图像旋转+反转+尺寸再生几何变形处理)。在此，例如，根据360/16刻度的旋转、反转的有/无、在步骤S203中决定的3个模式的第一尺寸再生增量倍率，执行16[旋转]×2[反转]×3[倍率]＝96种的几何变形处理，并将控制转移到图像切取部122。
图像切取部122为，以与步骤S205的几何变形处理后的图像相同的像素尺寸，取得第一外插图像的几何变形处理图像，例如，如图5所示那样，对中央正方形区域进行剪切而作为第一切取图像(步骤S206)。而且，从所剪切的图像中提取所希望的图像特征向量(第一图像特征向量)，并向DB登记部123输出。DB登记部123将所提取的第一图像特征向量登记于向数据存储部16的一部分区域分配的特征向量DB160(步骤S207：图像特征向量提取+数据库登记)。
上述的第一外插图像旋转+反转+尺寸再生几何变形处理(步骤S205)、几何变形处理后的中央区域的剪切处理(步骤S206)、以及图像特征向量提取+数据库登记(步骤S207)的处理被反复执行，直到对上述那样的全部96个模式的几何变形处理后的图像都结束为止(步骤S209“是”)。
接下来，参照图3的流程图对第一实施方式的诊断支援装置1的图像检索的处理动作进行说明。在此，使用根据图2的流程图生成并向数据存储部16的一部分区域分配存储的特征向量DB160，在线地执行未知的查询图像的图像检索。
首先，当在医师操作输入装置30而进行的指示下、通过带皮肤镜摄影装置20进行患部的摄影时，装置主体10为，摄影图像取得部11获取成为检索查询的摄影后的皮肤镜学图像(第二摄影图像)，并向查询图像特征向量提取部13输出(步骤S301)。查询图像特征向量提取部13为，与使用图2的流程图说明的参考图像的特征向量生成处理同样，在图像的第二短边实际长度计算、第二尺寸再生增量倍率决定、以及摄影图像外插处理之后，执行第二外插图像旋转+反转+尺寸再生几何变形处理、几何变形处理后的中央区域的剪切处理、以及图像特征向量提取的处理，由此提取查询图像的特征向量(第二图像特征向量)并向检索单元14输出(步骤S302)。
检索单元14为，向量间距离计算部141计算查询图像与数据存储部16的特征向量DB160中所登记的参考图像之间的向量间距离(步骤S303)。在此，向量间距离计算部141为，对于向特征向量DB160登记结束的实施几何变形处理而增量的每1个样本为96个的参考图像，分别独立地计算欧几里得距离。而且，按照每个样本求出各欧几里得距离，并仅残留这96个参考图像中的最短距离的样本(步骤S304)。
接着，向量间距离计算部141为，将各样本的最短距离按照从短到长的顺序排列而作为检索候补排序(步骤S305)，对于显示装置40按照检索候补排序进行各样本的候补提示(步骤S306)。
(第一实施方式的效果)
根据第一实施方式的诊断支援装置1，装置主体10(参考图像特征向量提取部12)为，从通过对涉及病变的已知的摄影图像(第一摄影图像)实施几何变形处理而增量所形成的参考图像中提取图像特征向量(第一图像特征向量)，并在数据存储部16上构建特征向量DB160。而且，装置主体10(查询图像特征向量提取部13)对于基于涉及病变的未知的摄影图像(第二摄影图像)而形成的查询图像，提取图像特征向量(第二特征向量)，检索单元14参照数据存储部16的特征向量DB160将参考图像的图像特征向量与查询图像的图像特征向量进行对比，从参考图像中检索与查询图像类似的至少一个候补并向显示装置40输出，由此在医师将多个图像排列而目视观察时，容易全面地掌握疾病部的差异，作为其结果，能够进行高精度的诊断支援。此外，图像也可以每次显示1个图像地进行观察比较(以下相同。)
此外，装置主体10(参考图像特征向量提取部12、查询图像特征向量提取部13)为，在对摄影图像(第一、第二摄影图像)实施几何变形而进行增量时，第一或者第二尺寸再生增量倍率为，以计算出的第一或者第二短边实际长度为根据，第一或者第二短边实际长度比整体平均长度小时的第一或者第二尺寸再生增量倍率向变大的方向设定，第一或者第二短边实际长度比整体平均长度大时的第一或者第二尺寸再生增量倍率向变小的方向设定，由此能够降低摄影构图等、与摄影对象无关的对于类似度检索来说非本质的方面的影响。由此，在显示所检索的候补时能够按照与查询图像相同的构图来进行显示，容易进行基于目视观察的参照比较。由此，根据第一实施方式的诊断支援装置1，在将多个图像排列时，容易全面地掌握疾病部的差异，能够进行高精度的诊断支援。
此外，根据第一实施方式的诊断支援装置1，例如，如图5所示那样，使对第一外插图像进行剪切而得到的第一切取图像为1个种类，但是例如，也能够如图6所示那样，通过对切取位置进行偏置设定，由此对几何增量模式进行扩展。具体地说，通过使图像的切取位置(中心)偏移7个部位，由此能够得到7种的第一外插图像的第一几何变形图像，作为其结果，能够使几何变形增量模式增加，作为其结果，检索精度提高。在此所述的点，也适合于查询图像的第二外插图像、第二切取图像以及第二几何变形图像。
此外，上述第一实施方式的诊断支援装置1，以独立结构进行了说明，但是例如也可以通过如下的客户端服务器系统来实现：通过服务器来实现装置主体10，通过经由IP(Internet Protocol)网等网络与服务器连接的终端来实现输入装置30以及显示装置40，服务器通过从终端接收检索查询，由此与特征向量DB160所积蓄的特征向量进行比较，对与查询图像类似的至少一个候补进行检索而向存在请求的终端输出。
此外，第一实施方式的图像处理方法，例如，如图1所示那样，是用于根据摄影图像来诊断病变的诊断支援装置1的图像处理方法。而且，该图像处理方法的特征在于，例如，具备：生成对于基于涉及病变的已知的第一摄影图像而形成的参考图像提取第一图像特征向量并登记的数据库的步骤(A)；以及对于基于涉及病变的未知的第二摄影图像而形成的查询图像提取第二图像特征向量，并参照数据库与第一图像特征向量进行对比，从参考图像中检索与查询图像类似的至少一个候补的步骤(B)，在数据库生成步骤(A)中，通过对第一摄影图像实施几何变形而增量来形成参考图像。
在此，步骤(A)例如是指图2的流程图所示的步骤S201～S209，步骤(B)例如是指图3的流程图的步骤S301～S306。
此外，在第一实施方式的图像处理方法中，数据库生成步骤(A)也可以具备：输入第一摄影图像的步骤(A2)；计算第一摄影图像的第一短边实际长度的步骤(A3)；使用第一短边实际长度来决定第一摄影图像的第一尺寸再生增量倍率的步骤(A4)；对第一摄影图像实施外插处理而作为第一外插图像的步骤(A5)；通过旋转、反转以及基于上述第一尺寸再生增量倍率的尺寸再生，对第一外插图像实施几何变形处理，由此进行增量而作为第一几何变形图像的步骤(A6)；通过从第一几何变形图像剪切中央正方形区域而得到第一切取图像的步骤(A7)；以及在第一切取图像中提取第一图像特征向量并登记的步骤(A8)。
在此，步骤(A2)是指图2中的步骤S201，步骤(A3)是指图2中的步骤S202，步骤(A4)是指图2中的步骤S203，步骤(A5)是指图2中的步骤S204，步骤(A6)是指图2中的步骤S205，步骤(A7)是指图2中的步骤S206，步骤(A8)是指图2中的步骤S207。
检索步骤(B)也可以具备：输入第二摄影图像的步骤(B2)；计算第二摄影图像的第二短边实际长度的步骤(B3)；使用第二短边实际长度决定第二摄影图像的第二尺寸再生增量倍率的步骤(B4)；对第二摄影图像实施外插处理而作为第二外插图像的步骤(B5)；通过旋转、反转以及基于上述第二尺寸再生增量倍率的尺寸再生，对第二外插图像实施几何变形处理，由此进行增量而作为第二几何变形图像的步骤(B6)；通过从第二几何变形图像中剪切中央正方形区域而得到第二切取图像的步骤(B7)；在第二切取图像中提取第二图像特征向量的步骤(B8)；计算第二图像特征向量与第一图像特征向量之间的向量间距离的步骤(B9)；按照第一图像特征向量的每个样本求出向量间距离，仅残留最短距离的样本的步骤(B10)；将各样本的最短距离按照从短到长的顺序排列而作为检索候补排序的步骤(B11)；以及按照检索候补排序的顺序进行各样本的候补提示的步骤(B12)。
在此，步骤(B2)～步骤(B8)对应于步骤(A2)～步骤(A8)，在图3中，步骤(B2)是指步骤S301，步骤(B3)～步骤(B8)是指步骤S302。此外，步骤(B9)是指图3中的步骤S303，步骤(B10)是指图3中的步骤S304，步骤(B11)是指图3中的步骤S305，步骤(B12)是指图3中的步骤S306。
根据第一实施方式的图像处理方法，在将多个图像排列而得到基于目视观察的见解的情况下，容易全面地掌握疾病部的差异，能够进行高精度的诊断支援。
此外，第一实施方式的程序，例如，如图1所示那样，是用于根据摄影图像诊断病变的诊断支援装置1的图像处理方法的程序。而且，该程序使计算机(装置主体10)执行与上述第一实施方式的图像处理方法的各步骤同样的处理，在避免重复的含义上省略各处理的说明。
根据第一实施方式的程序，装置主体10将上述第一实施方式的程序读出并执行，由此将多个图像排列而得到基于目视观察的见解的情况下，容易全面地掌握疾病部的差异，因此能够进行高精度的诊断支援。此外，第一实施方式的程序存储于装置主体10内的图示省略的程序存储器。
(第二实施方式)
接下来，对第二实施方式进行说明。在以往的正方形图像输入的机器学习中，根据将长方形图像尺寸再生为正方形、或者预先进行切边而成为正方形来得到的低析像度图像进行几何增量，因此存在画质劣化的问题。因此，第二实施方式为，在使用由神经网络构成的识别器进行低析像度正方形图像输入的机器学习时，预先准备从高析像度长方形图像按照多个模式改变旋转角、倍率而得到的低析像度正方形图像，在机器学习的学习时，对预先准备的图像进行停留于不劣化的90度旋转、反转的在线几何增量，并进行使图像的信息量降低停留于最小限度的高精度的学习。而且，在识别器的推论时，也进行同样的几何增量，将增量的量的多个推论值进行平均而作为最终推论值。
图7是表示本发明的第二实施方式的诊断装置100A的构成的框图。如图7所示那样，在本发明的第二实施方式的诊断装置100A上连接有带皮肤镜摄影装置20。
带皮肤镜摄影装置20根据来自诊断装置100A的指示进行摄影，并将摄影图像(皮肤镜学图像)储存于图像存储部15，并且在显示装置40上显示。此外，摄影图像被诊断装置主体10实施图像处理而保存于图像存储部15并且在显示装置40上显示。
输入装置30进行皮肤镜图像的摄影开始指示、后述的皮肤镜学图像中的部位选择操作等。此外，显示装置40例如由LCD(Liquid Crystal Display)监视器等构成，输入装置30由鼠标等构成。
数据存储部16兼作为将为了学习用而赋予的疾病的识别名称与已知的皮肤图像数据建立关联地记录的皮肤图像数据库。
诊断装置主体10a包括参考图像特征向量提取部12、查询图像特征向量提取部13、总体识别器14a、以及取得部11。参考图像特征向量提取部12以及查询图像特征向量提取部13具有与上述第一实施方式同样的构成，因此省略其详细说明，但是在第二实施方式中，在几何变形处理部121中，为了向后述的总体识别器14a的机器学习进行输入，而预先准备从高析像度长方形图像按照多个模式改变旋转角、倍率而得到的低析像度正方形图像。
该预先准备的低析像度正方形图像被向总体识别器14a输入。总体识别器14a基于与被前处理的应该诊断的对象相关的多个未知的皮肤图像数据，来识别是否为疾病。该总体识别器14a包括：至少2个单位识别器142(CNN1)、143(CNN2)……、以及将通过单位识别器142、143而各别地得到的识别值综合而得到最终判断值的判断单元144，以便对应于多个皮肤图像数据，该多个皮肤图像数据包括与对象相关的原图像数据、从原图像数据变换的第一变换图像数据、以及同样从原图像数据变换的第二的变换图像数据中的至少2个。
单位识别器142、143……作为如下的识别器起作用：具有基于涉及疾病的多个已知的皮肤图像数据进行学习的卷积神经网络(CNN：Convolution Neural Network)，将由几何变形处理部121生成的变换图像数据，通过向该卷积神经网络输入而被赋予预先学习，并以能够进行应该诊断的疾病的识别的方式生成分类信息。
此外，单位识别器142、143……，例如，可以在诊断装置100A从制造工厂出厂之前在制造阶段被赋予预先学习，也可以在出厂之后在医院侧等被赋予预先学习。在此，所谓“预先”的含义在于，比对应该诊断的疾病进行识别之前。
图8表示卷积神经网络(CNN)的代表性构成。根据图8，卷积神经网络具备：输入层111a，在学习阶段被输入多个已知的皮肤图像数据(变换图像数据)，在被检阶段被输入多个未知的皮肤图像数据(变换图像数据)；中间层111b，具有多个由卷积层和池化层构成的组，从多个已知的皮肤图像数据或者多个未知的皮肤图像数据提取特征；以及输出层111c，基于所提取的特征，按照诊断对象的每个分类输出识别值。
上述卷积神经网络的处理，经由多级连接的多个处理单元a来进行。各处理单元a的输入输出为通过从输入图像提取的多个特征即特征映像b来表示的多个二维图像。在该情况下，输入图像也可以视为1张特征量映像。在此，卷积计算与池化的单元的对被作为处理单元a而多级连接，并计算特征量向量。构成为，对于该特征量向量，通过后述的判断单元144进行识别处理，并得到输出类别。
判断单元144输入所提取的特征而进行识别。卷积神经网络的学习通过基于误差反向传播法的学习对各层的权重进行更新。作为识别处理而使用多层感知器。多层感知器是由输入层111a、中间层111b、以及输出层111c构成的非线形的类别识别器。各分层间的权重通过基于误差传播法的概率的梯度下降法来求出。在识别时，依次传播特征量，将输出层的各单元的输出作为各类别的事后概率而对图像进行分类。在此，对于由各单位识别器142、143各别地得到的识别值，例如通过进行平均来进行综合，并得到最终判断值。
卷积神经网络是以较高精度对图像进行分类的一般的方法，例如，在互联网URL(http：//en.wikipedia.org/wiki/Convolutional neural network)等中详细地记载。卷积神经网络(CNN)是使对脑的神经回路网进行模拟的神经网络成为多层而进行学习的深度学习(深度神经网络；Deep Neural Network)的一种，能够良好地用于图像分析。此外，也能够采用深度学习的其他方法、或者与其他方法组合。
此外，取得部11能够取得多个未知的皮肤图像数据，为了进行构造清楚、部位强调等的图像变换而向查询图像特征向量提取部13输出。
(第二实施方式的动作)
以下，参照图9至图12的流程图，对本发明的第二实施方式的诊断装置100A的动作进行详细说明。图9是说明图像事先增量处理的流程的图，图10是说明用于图像事先增量的几何变形的模式的一个例子的图，图11表示使用预先图像增量处理使总体识别器14a进行机器学习(神经网络)的学习顺序，图12表示使用了学习结束的总体识别器14a的推论顺序。此外，以下的动作能够构成为使计算机执行的学习处理程序。
如图9所示那样，首先，进行摄影图像的事先增量。即，将一般的摄影图像即长方形的高析像度的图像向诊断支援装置100A输入(步骤S10)。而且，在将图像进行几何变形的基础上，以多个模式生成规定的低析像度的正方形图像(例：224×224)(步骤S20)。即，提前准备正方形图像(224×224)，在总体识别器14a的神经网络内，仅进行图像不劣化的90×L度旋转、反转的增量。在此，L为0～3的整数，90×L度表示0度、90度、180度、270度。
几何变形的具体例在图10中表示。几何变形通过图像的旋转以及短边长度的伸缩来进行。在图10的上段表示的模式1中，面向一个单位识别器，将图像旋转0度或者90度，然后，进行双方的原图像的短边侧成为224×0.9像素那样的变形。在中段表示的模式2中，面向其他单位识别器，将图像旋转0度、45度、–11度或者22度，然后，进行各个原图像的短边侧成为224×0.9像素、224×0.9像素、224×1.1像素、224×1.2像素那样的变形。在下段表示的模式3中，进一步面向其他单位识别器，将图像旋转0度、45度、11度或者–23度，然后，进行各个原图像的短边侧成为224×0.9像素、224×1.0像素、224×1.12像素、224×1.25像素那样的变形。此外，当使短边侧成为0.9倍时，原图像不收敛到224像素中，因此要进行适当的外插处理。此外，在图10中表示设置有3个单位识别器的例子，但只要设置至少2个单位识别器即可，总之面向各单位识别器以不同模式进行几何变形。
总体识别器14a的机器学习，基于图11所示的如下那样的顺序。首先，为了机器学习用而准备多张(M张)学习图像(参考图像)(步骤S31)。接下来，按照图9的顺序，对学习图像进行N种的事先增量，而成为M×N张(步骤S32)。从这M×N张学习图像中取出规定的图像，并随机地进行90×L度旋转、反转/不反转(步骤S33)。而且，将这些增量后的图像向神经网络输入并进行学习(步骤S34)。判断是否达到学习所需要的次数(步骤S35)，重复步骤S33以及步骤S34的顺序。当所需要的次数结束时，生成了学习结束的总体识别器14a(步骤S36)。在此，M以及N为2以上的整数。
使用根据图11中表示的顺序而生成的学习结束的总体识别器14a，以图12所示的如下那样的顺序进行未知的摄影图像(查询图像)的识别(推论)。首先，输入1张预测对象的未知的图像(步骤S41)。接下来，按照图9的顺序，对未知的摄影图像进行N种的事先增量，成为N张(步骤S42)。对于这N张图像的各个，以90×L度旋转、反转/不反转的组合，进行8种的几何变形图像，生成8×N张图像(步骤S43)。而且，将这些8×N张图像向学习结束总体识别器14a分别独立地输入，得到8×N个推论值(步骤S44)。最后，将8×N个推论值进行平均而作为最终推论值(步骤S45)。通过以上，使推论结束(步骤S46)。
此外，作为第二实施方式的放大应用，例如，也可以将在图10的模式1中学习·推论而得到的值、与在模式2或者模式3中学习·推论而得到的值进行平均，而作为最终推论值。
(第二实施方式的效果)
预先准备从高析像度图像进行了旋转·尺寸再生而得到的图像，由此具有的效果为，能够抑制放大等导致的画质劣化、旋转导致的不连续部的产生等，能够将原图像的信息损失抑制到最小限度。
以上，使用实施方式说明了本发明，但是本发明的技术范围当然不限定于上述实施方式所记载的范围。对上述实施方式能够施加多种变更或者改进的情况对于本领域技术人员来说是显而易见的。此外，施加了这样的变更或者改进的方式也包含于本发明的技术范围的情况，根据专利请求的范围的记载可以明确。具体地说，上述实施方式以皮肤的病变作为对象而进行了说明，但本发明除了皮肤以外，例如，也能够应用于眼底、子宫等脏器的病变。

Claims (25)

1.一种图像处理方法，是用于根据摄影图像诊断病变的诊断支援装置的图像处理方法，其特征在于，
与涉及病变的已知的第一摄影图像对应的参考图像被登记于数据库，在通过将与涉及病变的未知的第二摄影图像对应的查询图像与上述数据库的参考图像进行对比来进行诊断支援时，
(a)对于基于上述涉及病变的已知的第一摄影图像形成的参考图像，提取其第一图像特征向量，
(b)将所提取的上述第一图像特征向量登记在上述数据库，
(c)通过对上述已知的第一摄影图像实施几何变形而增量来形成上述参考图像，根据实施了上述几何变形的参考图像来进行诊断支援，
在上述第一图像特征向量的提取中，
计算上述第一摄影图像的第一短边实际长度，
使用上述第一短边实际长度决定上述第一摄影图像的第一尺寸再生增量倍率，
对上述第一摄影图像实施外插处理而作为第一外插图像，
通过旋转、反转以及基于上述第一尺寸再生增量倍率的尺寸再生对上述第一外插图像实施几何变形处理，由此进行增量而作为第一几何变形图像，
通过从上述第一几何变形图像剪切中央正方形区域而得到第一切取图像，在上述第一切取图像中提取上述第一图像特征向量。
2.如权利要求1所述的图像处理方法，其特征在于，
上述第一尺寸再生增量倍率为，以上述第一短边实际长度为根据，上述第一短边实际长度比整体平均长度小时的上述第一尺寸再生增量倍率向变大的方向设定，上述第一短边实际长度比整体平均长度大时的上述第一尺寸再生增量倍率向变小的方向设定。
3.如权利要求1所述的图像处理方法，其特征在于，
(d)对于基于涉及病变的未知的第二摄影图像而形成的查询图像，提取第二图像特征向量，
(e)将上述第二图像特征向量与上述第一图像特征向量对比，从上述参考图像中检索与上述查询图像类似的至少一个候补。
4.如权利要求3所述的图像处理方法，其特征在于，
在上述第二图像特征向量的提取中，
计算上述第二摄影图像的第二短边实际长度，
使用上述第二短边实际长度决定上述第二摄影图像的第二尺寸再生增量倍率，
对上述第二摄影图像实施外插处理而作为第二外插图像，
通过旋转、反转以及基于上述第二尺寸再生增量倍率的尺寸再生对上述第二外插图像实施几何变形处理，由此进行增量而作为第二几何变形图像，
通过从上述第二几何变形图像剪切中央正方形区域而得到第二切取图像，在上述第二切取图像中提取上述第二图像特征向量。
5.如权利要求4所述的图像处理方法，其特征在于，
上述第二尺寸再生增量倍率为，以上述第二短边实际长度为根据，上述第二短边实际长度比整体平均长度小时的上述第二尺寸再生增量倍率向变大的方向设定，上述第二短边实际长度比整体平均长度大时的上述第二尺寸再生增量倍率向变小的方向设定。
6.如权利要求1所述的图像处理方法，其特征在于，
具备步骤A，在该步骤A中，生成数据库，对于基于上述涉及病变的已知的上述第一摄影图像而形成的上述参考图像，提取第一图像特征向量而登记于该数据库，
上述步骤A为，
从对上述第一摄影图像进行几何变形而增量的第一几何变形图像、或者剪切上述第一几何变形图像的中央正方形区域而得到的第一切取图像，提取上述第一图像特征向量并登记。
7.如权利要求1所述的图像处理方法，其特征在于，
将上述实施了几何变形的参考图像向神经网络输入而进行机器学习并生成总体识别器，将上述实施了几何变形的查询图像向机器学习完成的上述总体识别器输入而进行上述查询图像的识别。
8.如权利要求7所述的图像处理方法，其特征在于，
在上述参考图像的几何变形中，从作为上述第一摄影图像的高析像度长方形图像预先准备低析像度正方形图像，对该低析像度正方形图像进行几何增量并向神经网络输入而进行机器学习，生成总体识别器。
9.如权利要求7所述的图像处理方法，其特征在于，
在上述查询图像的几何变形中，从作为上述第二摄影图像的高析像度长方形图像预先准备低析像度正方形图像，对该低析像度正方形图像进行几何增量并向机器学习完成的上述总体识别器输入而进行上述查询图像的识别。
10.如权利要求7所述的图像处理方法，其特征在于，
上述总体识别器包含多个单位识别器，上述参考图像以及/或者上述查询图像根据面向各单位识别器而不同的模式被几何变形。
11.如权利要求1～7任一项所述的图像处理方法，其特征在于，
对于上述参考图像，
为了机器学习而准备M张上述第一摄影图像，
对上述第一摄影图像进行N种的事先增量而成为M×N张，
从M×N张的上述参考图像中取出规定的图像，随机地进行90×L度的旋转、反转/不反转的几何变形，
将进行了几何变形的上述第一摄影图像向神经网络输入而进行机器学习，
在达到需要次数之前，反复进行几何变形以及机器学习，
生成识别器，
这里，M以及N为2以上的整数，L为0～3的整数。
12.如权利要求11所述的图像处理方法，其特征在于，
作为上述第一摄影图像而输入高析像度长方形图像，从上述高析像度长方形图像预先准备低析像度正方形图像。
13.如权利要求11所述的图像处理方法，其特征在于，
对于上述查询图像，
输入1张预测对象的上述第二摄影图像，
对上述第二摄影图像进行N种的事先增量而成为N张，
对于N张上述第二摄影图像的各个，按照90×L度的旋转、反转/不反转的组合进行8种几何变形，
将进行了几何变形的8×N张上述第二摄影图像向机器学习完成的上述识别器分别独立地输入，得到8×N个推论值，
对8×N个推论值进行平均而作为最终推论值，
这里，N为2以上的整数，L为0～3的整数。
14.如权利要求13所述的图像处理方法，其特征在于，
作为上述第二摄影图像而输入高析像度长方形图像，从上述高析像度长方形图像预先准备低析像度正方形图像。
15.一种图像处理方法，是用于根据摄影图像诊断病变的诊断支援装置的图像处理方法，其特征在于，
与涉及病变的已知的第一摄影图像对应的参考图像被登记于数据库，在通过将与涉及病变的未知的第二摄影图像对应的查询图像与上述数据库的参考图像进行对比来进行诊断支援时，
具备步骤B，在该步骤B中，对于基于上述涉及病变的未知的上述第二摄影图像而形成的上述查询图像提取第二图像特征向量，并与对于基于涉及病变的已知的上述第一摄影图像而形成的上述参考图像提取的第一图像特征向量进行对比，从上述参考图像中检索与上述查询图像类似的至少一个候补，
上述步骤B为，
从对上述第二摄影图像进行几何变形而增量的第二几何变形图像、或者从剪切上述第二几何变形图像的中央正方形区域而得到的第二切取图像中提取上述第二图像特征向量，按照上述第一图像特征向量的每个样本求出与上述第二图像特征向量之间的向量间距离，并将各样本的最短距离按照从短到长的顺序排列而作为检索候补排序，并进行各样本的候补提示。
16.如权利要求15所述的图像处理方法，其特征在于，
对于上述参考图像，
为了机器学习而准备M张上述第一摄影图像，
对上述第一摄影图像进行N种的事先增量而成为M×N张，
从M×N张的上述参考图像中取出规定的图像，随机地进行90×L度的旋转、反转/不反转的几何变形，
将进行了几何变形的上述第一摄影图像向神经网络输入而进行机器学习，
在达到需要次数之前，反复进行几何变形以及机器学习，
生成识别器，
这里，M以及N为2以上的整数，L为0～3的整数。
17.如权利要求16所述的图像处理方法，其特征在于，
作为上述第一摄影图像而输入高析像度长方形图像，从上述高析像度长方形图像预先准备低析像度正方形图像。
18.如权利要求16所述的图像处理方法，其特征在于，
对于上述查询图像，
输入1张预测对象的上述第二摄影图像，
对上述第二摄影图像进行N种的事先增量而成为N张，
对于N张上述第二摄影图像的各个，按照90×L度的旋转、反转/不反转的组合进行8种几何变形，
将进行了几何变形的8×N张上述第二摄影图像向机器学习完成的上述识别器分别独立地输入，得到8×N个推论值，
对8×N个推论值进行平均而作为最终推论值，
这里，N为2以上的整数，L为0～3的整数。
19.如权利要求18所述的图像处理方法，其特征在于，
作为上述第二摄影图像而输入高析像度长方形图像，从上述高析像度长方形图像预先准备低析像度正方形图像。
20.一种诊断支援装置，用于根据摄影图像来诊断病变，其特征在于，具备：
数据库，登记有与涉及病变的已知的第一摄影图像对应的参考图像；
提取单元，在通过将与涉及病变的未知的第二摄影图像对应的查询图像与上述数据库的参考图像进行对比来进行诊断支援时，对于基于上述涉及病变的已知的第一摄影图像形成的参考图像，提取其第一图像特征向量；以及
登记单元，将通过上述提取单元所提取的第一图像特征向量登记在上述数据库，
通过对上述已知的第一摄影图像实施几何变形而增量来形成上述参考图像，根据实施了上述几何变形的参考图像来进行诊断支援，
上述提取单元，包括：
计算单元，计算上述第一摄影图像的第一短边实际长度；以及
决定单元，使用通过上述计算单元计算出的第一短边实际长度决定上述第一摄影图像的第一尺寸再生增量倍率，
对上述第一摄影图像实施外插处理而作为第一外插图像，通过旋转、反转以及基于上述第一尺寸再生增量倍率的尺寸再生对该第一外插图像实施几何变形处理，由此进行增量而作为第一几何变形图像，通过从该第一几何变形图像剪切中央正方形区域而得到第一切取图像，在上述第一切取图像中提取上述第一图像特征向量。
21.一种图像处理方法，是用于根据摄影图像诊断病变的诊断支援装置的图像处理方法，其特征在于，
与涉及病变的已知的第一摄影图像对应的参考图像被登记于数据库，在通过将与涉及病变的未知的第二摄影图像对应的查询图像与上述数据库的参考图像进行对比来进行诊断支援时，
计算上述第一摄影图像的第一短边实际长度，
使用上述第一短边实际长度决定上述第一摄影图像的第一尺寸再生增量倍率，
通过对上述第一摄影图像实施基于尺寸再生的几何变形处理而增量来形成上述参考图像，上述尺寸再生至少基于上述第一尺寸再生增量倍率。
22.一种图像处理方法，是用于根据摄影图像诊断病变的诊断支援装置的图像处理方法，其特征在于，
与涉及病变的已知的第一摄影图像对应的参考图像被登记于数据库，在通过将与涉及病变的未知的第二摄影图像对应的查询图像与上述数据库的参考图像进行对比来进行诊断支援时，
计算上述第二摄影图像的第二短边实际长度，
使用上述第二短边实际长度决定上述第二摄影图像的第二尺寸再生增量倍率，
通过对上述第二摄影图像实施基于旋转、反转以及尺寸再生的几何变形处理而增量来形成上述查询图像，上述尺寸再生基于上述第二尺寸再生增量倍率。
23.一种计算机可读存储介质，其特征在于，存储有程序，上述程序使用于根据摄影图像诊断病变的诊断支援装置执行如下处理：
与涉及病变的已知的第一摄影图像对应的参考图像被登记于数据库，在通过将与涉及病变的未知的第二摄影图像对应的查询图像与上述数据库的参考图像进行对比来进行诊断支援时，
(a)对于基于上述涉及病变的已知的第一摄影图像形成的参考图像，提取其第一图像特征向量，
(b)将所提取的上述第一图像特征向量登记在上述数据库，
(c)通过对上述已知的第一摄影图像实施几何变形而增量来形成上述参考图像，根据实施了上述几何变形的参考图像来进行诊断支援，
在上述第一图像特征向量的提取中，
计算上述第一摄影图像的第一短边实际长度，
使用上述第一短边实际长度决定上述第一摄影图像的第一尺寸再生增量倍率，
对上述第一摄影图像实施外插处理而作为第一外插图像，
通过旋转、反转以及基于上述第一尺寸再生增量倍率的尺寸再生对上述第一外插图像实施几何变形处理，由此进行增量而作为第一几何变形图像，
通过从上述第一几何变形图像剪切中央正方形区域而得到第一切取图像，在上述第一切取图像中提取上述第一图像特征向量。
24.一种诊断支援装置，用于根据摄影图像来诊断病变，其特征在于，具备：
数据库，登记有与涉及病变的已知的第一摄影图像对应的参考图像；
提取单元，在通过将与涉及病变的未知的第二摄影图像对应的查询图像与上述数据库的参考图像进行对比来进行诊断支援时，执行步骤B，
在该步骤B中，对于基于上述涉及病变的未知的上述第二摄影图像而形成的上述查询图像提取第二图像特征向量，并与对于基于涉及病变的已知的上述第一摄影图像而形成的上述参考图像提取的第一图像特征向量进行对比，从上述参考图像中检索与上述查询图像类似的至少一个候补，
上述步骤B为，
从对上述第二摄影图像进行几何变形而增量的第二几何变形图像、或者从剪切上述第二几何变形图像的中央正方形区域而得到的第二切取图像中提取上述第二图像特征向量，按照上述第一图像特征向量的每个样本求出与上述第二图像特征向量之间的向量间距离，并将各样本的最短距离按照从短到长的顺序排列而作为检索候补排序，并进行各样本的候补提示。
25.一种计算机可读存储介质，其特征在于，存储有程序，上述程序使用于根据摄影图像诊断病变的诊断支援装置执行如下处理：
涉及病变的已知的第一摄影图像对应的参考图像被登记于数据库，在通过将与涉及病变的未知的第二摄影图像对应的查询图像与上述数据库的参考图像进行对比来进行诊断支援时，
执行步骤B，在该步骤B中，对于基于上述涉及病变的未知的上述第二摄影图像而形成的上述查询图像提取第二图像特征向量，并与对于基于涉及病变的已知的上述第一摄影图像而形成的上述参考图像提取的第一图像特征向量进行对比，从上述参考图像中检索与上述查询图像类似的至少一个候补，
上述步骤B为，
从对上述第二摄影图像进行几何变形而增量的第二几何变形图像、或者从剪切上述第二几何变形图像的中央正方形区域而得到的第二切取图像中提取上述第二图像特征向量，按照上述第一图像特征向量的每个样本求出与上述第二图像特征向量之间的向量间距离，并将各样本的最短距离按照从短到长的顺序排列而作为检索候补排序，并进行各样本的候补提示。
CN201710610753.8A 2016-09-01 2017-07-25 诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质 Active CN107798673B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016170477 2016-09-01
JP2016-170477 2016-09-01
JP2017081415A JP6390746B2 (ja) 2016-09-01 2017-04-17 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
JP2017-081415 2017-04-17

Publications (2)

Publication Number Publication Date
CN107798673A CN107798673A (zh) 2018-03-13
CN107798673B true CN107798673B (zh) 2021-07-27

Family

ID=59655831

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710610753.8A Active CN107798673B (zh) 2016-09-01 2017-07-25 诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质

Country Status (5)

Country Link
US (1) US10586331B2 (zh)
EP (3) EP4283560A3 (zh)
CN (1) CN107798673B (zh)
AU (1) AU2017204494B2 (zh)
CA (1) CA2974814A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10235606B2 (en) * 2015-07-22 2019-03-19 Siemens Healthcare Gmbh Method and system for convolutional neural network regression based 2D/3D image registration
EP3291173A1 (en) 2016-09-02 2018-03-07 Casio Computer Co., Ltd. Diagnosis assisting device, image processing method in diagnosis assisting device, and program
US11030722B2 (en) * 2017-10-04 2021-06-08 Fotonation Limited System and method for estimating optimal parameters
JP2019096006A (ja) * 2017-11-21 2019-06-20 キヤノン株式会社 情報処理装置、情報処理方法
CN108737428B (zh) * 2018-05-24 2021-07-27 中国联合网络通信集团有限公司 基于图像识别的皮肤病确定方法和装置
CN110867241B (zh) * 2018-08-27 2023-11-03 卡西欧计算机株式会社 类似图像显示控制装置、系统及方法、以及记录介质
JP2021535484A (ja) 2018-08-30 2021-12-16 アプライド マテリアルズ インコーポレイテッドApplied Materials, Incorporated 自動的な腫瘍検出及び分類のためのシステム
US10467504B1 (en) * 2019-02-08 2019-11-05 Adhark, Inc. Systems, methods, and storage media for evaluating digital images
US11531840B2 (en) 2019-02-08 2022-12-20 Vizit Labs, Inc. Systems, methods, and storage media for training a model for image evaluation
US11538577B2 (en) * 2019-10-21 2022-12-27 Morgan State University System and method for automated diagnosis of skin cancer types from dermoscopic images
US20210209755A1 (en) * 2020-01-02 2021-07-08 Nabin K. Mishra Automatic lesion border selection based on morphology and color features
JP2022080436A (ja) * 2020-11-18 2022-05-30 富士フイルム株式会社 撮影システム、サーバ、通信端末、撮影方法、プログラムおよび記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006078902A2 (en) * 2005-01-19 2006-07-27 Dermaspect, Llc Devices and methods for identifying and monitoring changes of a suspect area on a patient
WO2013119102A1 (en) * 2012-02-09 2013-08-15 Institute Of Technology Petronas Sdn Bhd Methodology and apparatus for objective and in vivo assessment of granulation tissue growth in chronic ulcers using digital imaging
EP2902016A1 (en) * 2014-01-30 2015-08-05 Alfred E. Tiefenbacher (GmbH & Co. KG) Febuxostat tablet
CN105232081A (zh) * 2014-07-09 2016-01-13 无锡祥生医学影像有限责任公司 医学超声辅助自动诊断装置及方法

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5274714A (en) * 1990-06-04 1993-12-28 Neuristics, Inc. Method and apparatus for determining and organizing feature vectors for neural network recognition
JPH11328404A (ja) 1998-05-08 1999-11-30 Matsushita Electric Ind Co Ltd 画像認識装置および画像認識方法
US6941323B1 (en) * 1999-08-09 2005-09-06 Almen Laboratories, Inc. System and method for image comparison and retrieval by enhancing, defining, and parameterizing objects in images
US6901156B2 (en) * 2000-02-04 2005-05-31 Arch Development Corporation Method, system and computer readable medium for an intelligent search workstation for computer assisted interpretation of medical images
US20160048651A1 (en) * 2000-08-01 2016-02-18 Logical Images, Inc. System and method to aid diagnoses using sympticons
JP2003317098A (ja) 2002-04-19 2003-11-07 Ricoh Co Ltd 画像認識装置およびプログラム
US20040009459A1 (en) * 2002-05-06 2004-01-15 Anderson James H. Simulation system for medical procedures
US7616801B2 (en) * 2002-11-27 2009-11-10 Hologic, Inc. Image handling and display in x-ray mammography and tomosynthesis
US7689016B2 (en) 2005-05-27 2010-03-30 Stoecker & Associates, A Subsidiary Of The Dermatology Center, Llc Automatic detection of critical dermoscopy features for malignant melanoma diagnosis
JP4628882B2 (ja) 2005-06-16 2011-02-09 富士フイルム株式会社 判別器の学習方法、顔判別方法および装置並びにプログラム
US7539334B2 (en) * 2005-09-06 2009-05-26 Intel Corporation Method and apparatus for identifying mole growth
US20070066875A1 (en) * 2005-09-18 2007-03-22 Eli Horn System and method for identification of images in an image database
US10008184B2 (en) * 2005-11-10 2018-06-26 Hologic, Inc. System and method for generating a 2D image using mammography and/or tomosynthesis image data
EP1913870A1 (en) * 2006-10-19 2008-04-23 Esaote S.p.A. Apparatus for determining indications helping the diagnosis of rheumatic diseases and its method
SG10201505321RA (en) * 2007-01-05 2015-08-28 Myskin Inc System, device and method for dermal imaging
JP4493679B2 (ja) 2007-03-29 2010-06-30 富士フイルム株式会社 対象領域抽出方法および装置ならびにプログラム
US8194952B2 (en) * 2008-06-04 2012-06-05 Raytheon Company Image processing system and methods for aligning skin features for early skin cancer detection systems
JP5318503B2 (ja) 2008-09-02 2013-10-16 ヤフー株式会社 画像検索装置
US20110273535A1 (en) * 2009-01-28 2011-11-10 Avi Mendelson Mole monitoring system
US20100318550A1 (en) * 2009-05-26 2010-12-16 Nikon Corporation Image searching system, image searching apparatus, and medium storing image searching program
US8330807B2 (en) * 2009-05-29 2012-12-11 Convergent Medical Solutions, Inc. Automated assessment of skin lesions using image library
US8799013B2 (en) * 2009-11-24 2014-08-05 Penrad Technologies, Inc. Mammography information system
US8352494B1 (en) * 2009-12-07 2013-01-08 Google Inc. Distributed image search
CN103477353A (zh) * 2011-03-16 2013-12-25 皇家飞利浦有限公司 用于医学数据的智能链接的方法和系统
US20120283574A1 (en) * 2011-05-06 2012-11-08 Park Sun Young Diagnosis Support System Providing Guidance to a User by Automated Retrieval of Similar Cancer Images with User Feedback
US20130245417A1 (en) * 2012-03-19 2013-09-19 Donald Spector System and method for diagnosing and treating disease
EP2733664A1 (en) * 2012-11-09 2014-05-21 Skin Analytics Ltd Skin image analysis
BR112015020944B1 (pt) * 2013-02-28 2020-12-08 Neil M. Day E Jing Dong método implementado por computador para determinar um tamanho de partícula, e, mídia legível por computador
ES2530687B1 (es) * 2013-09-04 2016-08-19 Shot & Shop. S.L. Método implementado por ordenador para recuperación de imágenes por contenido y programa de ordenador del mismo
US9286537B2 (en) * 2014-01-22 2016-03-15 Cognizant Technology Solutions India Pvt. Ltd. System and method for classifying a skin infection
JP6119719B2 (ja) 2014-02-05 2017-04-26 カシオ計算機株式会社 医療用皮膚検査装置、皮膚病変を検査する方法並びにプログラム
WO2015137542A1 (ko) * 2014-03-14 2015-09-17 알피니언메디칼시스템 주식회사 의료진단을 위한 의료영상 처리장치 및 그 방법
JP6099593B2 (ja) 2014-03-27 2017-03-22 富士フイルム株式会社 類似症例検索装置、類似症例検索方法、及び類似症例検索プログラム
JP5815167B1 (ja) * 2014-04-09 2015-11-17 パナソニック株式会社 情報端末の制御方法及びプログラム
JP6448767B2 (ja) * 2014-04-24 2019-01-09 ナント・ホールデイングス・アイ・ピー・エル・エル・シー 画像物体認識におけるロバスト特徴特定
WO2015175837A1 (en) 2014-05-14 2015-11-19 Massachusetts Institute Of Technology Systems and methods for medical image segmentation and analysis
US9792531B2 (en) * 2015-09-16 2017-10-17 Siemens Healthcare Gmbh Intelligent multi-scale medical image landmark detection
JP6298838B2 (ja) 2016-01-22 2018-03-20 株式会社日立製作所 個人認証装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006078902A2 (en) * 2005-01-19 2006-07-27 Dermaspect, Llc Devices and methods for identifying and monitoring changes of a suspect area on a patient
WO2013119102A1 (en) * 2012-02-09 2013-08-15 Institute Of Technology Petronas Sdn Bhd Methodology and apparatus for objective and in vivo assessment of granulation tissue growth in chronic ulcers using digital imaging
EP2902016A1 (en) * 2014-01-30 2015-08-05 Alfred E. Tiefenbacher (GmbH & Co. KG) Febuxostat tablet
CN105232081A (zh) * 2014-07-09 2016-01-13 无锡祥生医学影像有限责任公司 医学超声辅助自动诊断装置及方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Deep Features to Classify Skin Lesions;Jeremy Kawahara 等;《IEEE》;20160430;第1397-1400页 *

Also Published As

Publication number Publication date
EP3432268A1 (en) 2019-01-23
CA2974814A1 (en) 2018-03-01
CN107798673A (zh) 2018-03-13
US10586331B2 (en) 2020-03-10
US20180061051A1 (en) 2018-03-01
EP4283560A2 (en) 2023-11-29
AU2017204494B2 (en) 2019-06-13
EP3291174A1 (en) 2018-03-07
EP3432268B1 (en) 2023-11-15
EP4283560A3 (en) 2024-02-28
AU2017204494A1 (en) 2018-03-15

Similar Documents

Publication Publication Date Title
CN107798673B (zh) 诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质
JP6390746B2 (ja) 診断支援装置、及び診断支援装置における画像処理方法、並びにプログラム
WO2021051965A1 (zh) 图像处理方法及装置、电子设备、存储介质和计算机程序
EP3757937A1 (en) Image recognition method, storage medium and computer device
CN111310841B (zh) 医学图像分类方法、装置、设备、计算机设备和存储介质
US20100061601A1 (en) Optimal registration of multiple deformed images using a physical model of the imaging distortion
US20060238706A1 (en) Method for judging changes in images of the eye or its component parts
JP6433632B1 (ja) コンピュータシステム、被験者診断支援方法及びプログラム
JP2015114172A (ja) 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
Maadi et al. A robust glaucoma screening method for fundus images using deep learning technique
CN115984203A (zh) 一种眼球突出度测量方法、系统、终端及介质
CN113191949B (zh) 多尺度超分辨率病理图像数字化方法、系统及存储介质
JP6419249B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN112734707A (zh) 一种3d内窥镜辅助检测方法、系统、装置及存储介质
US7639865B2 (en) Image processing apparatus, image processing method, computer readable medium, and computer program thereof
WO2024117192A1 (ja) 検体を撮影した画像の分解能を向上させる画像処理
CN117710233B (zh) 一种内窥图像的景深扩展方法及装置
CN115641290B (zh) 基于细胞分析的异常预测方法、装置、设备及介质
CN113421270B (zh) 基于单中心标定数据实现医学图像域自适应分割的方法、系统、装置、处理器及其存储介质
WO2021095698A1 (ja) 生成装置および生成方法
US20240020830A1 (en) System and methods of predicting parkinson's disease based on retinal images using machine learning
WO2021140642A1 (ja) 視線推定装置、視線推定方法、モデル生成装置、及びモデル生成方法
JP5110487B2 (ja) 動いている対象のスキャン画像の復元方法及び装置
JP2006107028A (ja) 個人認証装置および個人認証方法
Muhammad et al. A Few-shot custom CNN Model for Retinal Nerve Fibre Layer Thickness Measurement in OCT Images of Epilepsy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant