CN110867241A - 类似图像显示控制装置、系统及方法、显示控制装置、系统及方法、以及记录介质 - Google Patents
类似图像显示控制装置、系统及方法、显示控制装置、系统及方法、以及记录介质 Download PDFInfo
- Publication number
- CN110867241A CN110867241A CN201910785443.9A CN201910785443A CN110867241A CN 110867241 A CN110867241 A CN 110867241A CN 201910785443 A CN201910785443 A CN 201910785443A CN 110867241 A CN110867241 A CN 110867241A
- Authority
- CN
- China
- Prior art keywords
- display control
- disease
- unit
- category
- similar
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 47
- 201000010099 disease Diseases 0.000 claims description 168
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims description 168
- 208000031940 Disease Attributes Diseases 0.000 claims description 105
- 210000002752 melanocyte Anatomy 0.000 claims description 81
- 230000003211 malignant effect Effects 0.000 claims description 65
- 238000003745 diagnosis Methods 0.000 claims description 54
- 206010028980 Neoplasm Diseases 0.000 claims description 45
- 201000011510 cancer Diseases 0.000 claims description 43
- 230000036210 malignancy Effects 0.000 claims description 43
- 208000017520 skin disease Diseases 0.000 claims description 8
- 210000003491 skin Anatomy 0.000 claims description 4
- 208000037919 acquired disease Diseases 0.000 claims 1
- 238000002360 preparation method Methods 0.000 claims 1
- 201000001441 melanoma Diseases 0.000 description 37
- 230000008569 process Effects 0.000 description 34
- 238000012545 processing Methods 0.000 description 32
- 206010004146 Basal cell carcinoma Diseases 0.000 description 27
- 238000004891 communication Methods 0.000 description 24
- 230000000875 corresponding effect Effects 0.000 description 22
- 206010039796 Seborrhoeic keratosis Diseases 0.000 description 21
- 201000003385 seborrheic keratosis Diseases 0.000 description 21
- 208000009077 Pigmented Nevus Diseases 0.000 description 20
- 230000006870 function Effects 0.000 description 19
- 230000003902 lesion Effects 0.000 description 14
- 230000004048 modification Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 230000035945 sensitivity Effects 0.000 description 13
- 206010018852 Haematoma Diseases 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 201000011066 hemangioma Diseases 0.000 description 12
- 206010027145 Melanocytic naevus Diseases 0.000 description 11
- 230000007423 decrease Effects 0.000 description 8
- 230000000684 melanotic effect Effects 0.000 description 8
- 238000004393 prognosis Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 206010020649 Hyperkeratosis Diseases 0.000 description 3
- 208000001126 Keratosis Diseases 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000001394 metastastic effect Effects 0.000 description 3
- 206010061289 metastatic neoplasm Diseases 0.000 description 3
- 241000894007 species Species 0.000 description 3
- 230000003612 virological effect Effects 0.000 description 3
- 241000894006 Bacteria Species 0.000 description 2
- 208000032843 Hemorrhage Diseases 0.000 description 2
- 208000003445 Mouth Neoplasms Diseases 0.000 description 2
- 208000025865 Ulcer Diseases 0.000 description 2
- 208000009621 actinic keratosis Diseases 0.000 description 2
- 230000000740 bleeding effect Effects 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 208000012987 lip and oral cavity carcinoma Diseases 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 230000000683 nonmetastatic effect Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 231100000397 ulcer Toxicity 0.000 description 2
- 241000284156 Clerodendrum quadriloculare Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 208000007256 Nevus Diseases 0.000 description 1
- 208000000453 Skin Neoplasms Diseases 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 208000002495 Uterine Neoplasms Diseases 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000001580 bacterial effect Effects 0.000 description 1
- 208000034158 bleeding Diseases 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 208000030381 cutaneous melanoma Diseases 0.000 description 1
- 235000019256 formaldehyde Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 210000004694 pigment cell Anatomy 0.000 description 1
- 208000020352 skin basal cell carcinoma Diseases 0.000 description 1
- 201000000849 skin cancer Diseases 0.000 description 1
- 201000003708 skin melanoma Diseases 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 206010046766 uterine cancer Diseases 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30088—Skin; Dermal
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biomedical Technology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- General Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Library & Information Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明的类似图像显示控制装置更清楚地显示类似图像之间的关系。类似图像显示装置具备：类似图像获取部，其获取根据对查询图像进行类似图像检索的结果而得到的类似图像；类别设定部，其设定对由类似图像获取部获取的类似图像进行分类的多个类别；位置决定部，其按照上述维数的种类属性来决定表示类别区域的位置的坐标，该类别区域为两个以上的预定维数的维度空间中的表示由类别设定部设定的各类别的区域；分类部，其将由类似图像获取部获取的类似图像分类为由类别设定部设定的多个类别中的任一种；以及图像显示控制部，其将由分类部分类为各类别的类似图像配置于位于由位置决定部所决定的坐标示出的位置处的类别区域的内部并显示于显示部。
Description
本申请主张以于2018年8月27日申请的日本专利申请2018-158048号以及于2019年7月1日申请的日本专利申请2019-122644号为基础的优先权，并将这些基础申请的内容援引于此。
技术领域
本发明涉及类似图像显示控制装置、类似图像显示控制系统、类似图像显示控制方法、显示控制装置、显示控制系统、显示控制方法以及记录介质。
背景技术
在皮肤科中，皮肤病的诊断需要熟练程度，而成为相当难的作业。对此，近来，开发出一种拍摄患部并通过计算机分析其摄像图像的技术。创建大量病例的数据库，将患者患部的摄像图像作为查询图像而进行类似图像检索，参考类似的病例进行诊断。
作为显示类似图像的装置，例如在日本特开2010-250529号公报中记载了以下一种图像检索装置：从登记在图像数据库中的图像中提取与查询图像类似的类似图像，在查询图像周围配置类似图像，并且将查询图像和类似图像之间连结显示的检索结果呈现给显示单元等。
另外，为了辅助诊断，还开发出了判断患部的良性/恶性的技术。例如在“Nevisense–a breakthrough in non-invasive detection of melanoma”、[online]、[2019年6月14日检索]、因特网〈URL：https://scibase.com/the-nevisense-product/〉中记载了以一轴信息来视觉地提供皮肤病的良性/恶性的程度的诊断辅助装置。日本特开2010-250529号公报所记载的图像检索装置在查询图像的周围一并显示连接线和与查询图像类似的图像，在指定了新查询图像的情况下，能够在过去的检索结果中进行追加显示，但是存在难以理解与查询图像类似的多个图像的类似的关系这种问题。
另外，“Nevisense–a breakthrough in non-invasive detection ofmelanoma”、[online]、[2019年6月14日检索]、因特网〈URL：https://scibase.com/the-nevisense-product/〉所记载的诊断辅助装置提供一种能够视觉地掌握诊断对象部分的良性/恶性的程度的信息，但是存在仅掌握良性/恶性的程度而不易掌握诊断对象部分的疾病属性信息这种问题。
发明内容
本发明是为了解决上述问题而完成的，第一目的在于，提供一种比以往能够更清楚地显示类似图像之间的关系的类似图像显示控制装置、类似图像显示控制系统、类似图像显示控制方法以及记录介质。
另外，本发明的第二目的在于，提供一种能够以容易掌握的方式显示诊断对象部分的疾病属性信息的显示控制装置、显示控制系统、显示控制方法以及记录介质。
为了达到上述第一目的，本发明的类似图像显示控制装置具备：
类似图像获取单元，其获取根据对查询图像进行类似图像检索的结果而得到的类似图像；
类别设定单元，其设定对由上述类似图像获取单元获取到的类似图像进行分类的多个类别；
位置决定单元，其按照两个以上的预定维数的种类属性来决定表示类别区域的位置的坐标，其中，该类别区域为上述维数的维度空间中的表示由上述类别设定单元设定的各类别的区域；
分类单元，其将由上述类似图像获取单元获取到的类似图像分类为由上述类别设定单元设定的多个类别中的任一种；以及
图像显示控制单元，其将由上述分类单元分类为各类别的上述类似图像配置于位于由上述位置决定单元所决定的坐标示出的位置处的上述类别区域的内部，并将该类似图像显示于显示部。
另外，为了达到上述第二目的，本发明的显示控制装置具备：
获取单元，其获取表示诊断对象部分的疾病属性为恶性的可能性的恶性指标以及表示上述诊断对象部分的疾病属性为预定的第一疾病属性的可能性的第一疾病属性指标；以及
显示控制单元，其使获取到的上述恶性指标和获取到的上述第一疾病属性指标相互关联地显示于显示部。
发明效果
根据本发明，能够以更容易理解的方式显示类似图像之间的关系或能够以容易掌握的方式显示诊断对象部分的疾病属性信息。
附图说明
图1是表示本发明的第一实施方式所涉及的类似图像显示装置的功能结构的图。
图2是表示第一实施方式所涉及的位置决定部对类别的位置的决定的一例的图。
图3是表示第一实施方式所涉及的由图像显示控制部进行的类似图像显示的一例的图。
图4是第一实施方式所涉及的类似图像显示装置的类似图像显示处理的流程图。
图5是表示第一实施方式所涉及的比较显示画面的一例的图。
图6是表示本发明的第一变形例所涉及的由图像显示控制部进行的类似图像显示的一例的图。
图7是表示本发明的第二变形例所涉及的由图像显示控制部进行的类似图像显示的一例的图。
图8是表示本发明的第二实施方式所涉及的显示控制装置的功能结构的图。
图9是表示第二实施方式所涉及的显示控制装置的显示的一例的图。
图10是第二实施方式所涉及的显示控制装置的显示控制处理的流程图。
图11是第二实施方式所涉及的显示控制装置的风险界线生成处理的流程图。
图12是表示本发明的第三实施方式所涉及的显示控制装置的功能结构的图。
图13是表示第三实施方式所涉及的显示控制装置的显示的一例的图。
图14是第三实施方式所涉及的显示控制装置的显示控制处理的流程图。
图15是表示本发明的第四实施方式所涉及的显示控制装置的功能结构的图。
图16是表示第四实施方式所涉及的显示控制装置的显示的一例的图。
图17是第四实施方式所涉及的显示控制装置的显示控制处理的流程图。
具体实施方式
以下，参照图表说明本发明的实施方式所涉及的类似图像显示装置等。此外，在图中对相同或相当的部分标注相同的附图标记。
(第一实施方式)
本发明的第一实施方式所涉及的类似图像显示装置100按每个预定的类别收集根据对查询图像进行类似图像检索的结果而得到的类似图像，并根据与查询图像之间的类似度来配置于类别内。而且，将收集并配置该类似图像的类别配置于由预定的轴定义的n维空间内并进行显示，由此以容易理解的方式显示类似图像之间的关系。以下，说明用于进行这种显示的机制。
如图1所示，第一实施方式所涉及的类似图像显示装置100具备控制部10、存储部20、输入部31、输出部32以及通信部33。
控制部10由CPU(Central Processing Unit：中央处理器)等构成，执行存储于存储部20的程序，由此实现后述的各部分(类似图像获取部11、类别设定部12、位置决定部13、分类部14以及图像显示控制部15)的功能。
存储部20由ROM(Read Only Memory：只读存储器)、RAM(Random Access Memory：随机存取存储器)等构成，存储由控制部10的CPU执行的程序和所需数据。
输入部31为用于供类似图像显示装置100的用户输入施加到类似图像显示装置100的指示或输入查询图像的设备(键盘、鼠标、触摸面板、相机等)。控制部10经由输入部31获取来自用户的指示、查询图像。作为输入部31，如果控制部10能够获取来自用户的指示、查询图像，则能够使用任意设备。其中，控制部10也可以经由通信部33获取查询图像。此外，查询图像是指用户在检索显示于类似图像显示装置100的类似图像时输入的图像数据。类似图像显示装置100以容易理解的方式将与查询图像类似的多个图像呈现给用户。
输出部32为用于供控制部10将类似图像呈现给用户的设备(显示器、显示器用接口等)。类似图像显示装置100可以具备显示器(显示部)作为输出部32，也可以在经由输出部32相连接的外部显示器中显示检索结果等。此外，不具备显示器(显示部)的类似图像显示装置100(输出部32成为显示器(显示部)用接口的类似图像显示装置100)也被称为类似图像显示控制装置。
通信部33为用于与外部其它装置(例如存储有图像数据的数据库的服务器、类似图像检索装置等)进行数据的发送接收的设备(网络接口等)。控制部10能够经由通信部33获取查询图像、与查询图像类似的图像。
接着，说明控制部10的功能。控制部10实现类似图像获取部11、类别设定部12、位置决定部13、分类部14以及图像显示控制部15的功能。
类似图像获取部11获取根据对查询图像进行类似图像检索的结果而得到的数据(类似图像的图像数据与该图像的查询图像的类似度)。具体地说，在类似图像检索中，将与查询图像之间的类似度为预定阈值以上的图像数据与该类似度一起获取。类似图像获取部11可以获取根据控制部10检索与查询图像类似的图像的结果而得到的类似图像的数据，例如也可以经由通信部33使外部类似图像检索装置检索与查询图像类似的图像并获取由该类似图像检索装置检索到的类似图像的数据。另外，在各图像数据中作为标签信息而附加有与该图像对应的疾病名称等信息。类似图像获取部11作为类似图像获取单元而发挥功能。
类别设定部12设定对由类似图像获取部11获取的图像数据进行分类的类别组(多个类别)。该类别组是指例如在将皮肤的图像数据作为对象的情况下疾病名称(色素痣、黑色素瘤、基底细胞癌等)、外形形状(圆形、星形、椭圆形等)、色调(红色、黑色、棕色等)、大小、内部结构、痣(色素斑)的状态(网状图案、小球形图案、鹅卵石形图案、均匀图案、平行图案、星爆图案、多结构图案、非特异图案等)等。例如在将疾病名称设为类别组的情况下，作为具体疾病名称的色素痣、黑色素瘤、基底细胞癌等分别成为一个类别。分类的类别组(多个类别)的信息预先存储于存储部20，类别设定部12根据存储于存储部20的类别组的信息，设定使图像数据分类的类别组(多个类别)。类别设定部12作为类别设定单元而发挥功能。
位置决定部13按照n种(n为1以上的整数)的属性而作为n维空间中的坐标而决定示出表示由类别设定部12设定的类别组(多个类别)所包含的各类别的区域的位置。更详细地说，使n种属性分别与定义n维空间的坐标的n个坐标轴一一对应，根据在各坐标轴中与其坐标轴对应的属性的属性值来决定示出用于显示表示各类别的区域(类别区域)的位置的坐标。
例如考虑由类别设定部12设定的类别组为疾病名称且位置决定部13以“良性/恶性”和“黑素细胞类/非黑素细胞类”这两种属性来决定其类别组(疾病名称)的二维空间内的位置的情况。在该情况下，位置决定部13在例如图2所示那样将“良性/恶性”设为纵轴(Y轴)、将“黑素细胞类/非黑素细胞类”设为横轴(X轴)的二维空间中，决定用于显示各疾病名称的位置的坐标。在此，在纵轴(Y轴)中，将良性设为下侧、将恶性设为上侧，在横轴(X轴)中，将黑素细胞类设为左侧、将非黑素细胞类设为右侧。
作为具体例，当考虑色素痣、黑色素瘤、脂溢性角化病、血肿/血管瘤、基底细胞癌这五种作为疾病名称的情况时，在各疾病属性中，色素痣为“良性、黑素细胞类”、黑色素瘤为“恶性、黑素细胞类”、脂溢性角化病为“良性、非黑素细胞类”、血肿/血管瘤为“良性、非黑素细胞类”、基底细胞癌为“恶性、非黑素细胞类”。因而，位置决定部13以如图2所示在左下角的区域显示色素痣201、在左上角的区域显示黑色素瘤202、在右下角的区域(比区域中央稍左)显示脂溢性角化病203、在右下角的区域(比区域中央稍右)还显示血肿/血管瘤204、在右上角的区域显示基底细胞癌205的方式决定各自的位置。
此外，也可以是，位置决定部13根据需要调整类别的显示位置以避免显示不同类别的位置成为同一坐标。例如在图2示出的示例中，脂溢性角化病203和血肿/血管瘤204均为“良性、非黑素细胞类”，因此当不调整显示位置时两种类别均显示于同一右下角的区域。因此，在图2示出的示例中，位置决定部13以在比右下角的区域中央稍左位移的位置处显示脂溢性角化病203、在比右下角的区域中央稍右位移的位置处显示血肿/血管瘤204的方式调整显示位置。
用于决定由位置决定部13决定各类别的显示位置的空间的坐标轴的n种属性信息、各类别的该属性的信息以及各属性的配置信息被预先存储于存储部20。位置决定部13根据存储于存储部20的n种属性信息、各类别的该属性的信息以及各属性的配置信息，决定用于显示类别组(多个类别)的位置的n维空间中的坐标。在图2示出的示例中，作为属性信息，“良性/恶性”的属性以及“黑素细胞类/非黑素细胞类”的属性这两种属性信息存储于存储部20。而且，作为各类别的该属性的信息，色素痣201为“良性、黑素细胞类”、黑色素瘤202为“恶性、黑素细胞类”、脂溢性角化病203为“良性、非黑素细胞类”、血肿/血管瘤204为“良性、非黑素细胞类”、基底细胞癌205为“恶性、非黑素细胞类”这种信息存储于存储部20。而且，作为各属性的配置信息，在“良性/恶性”的属性中“良性”配置于下侧而“恶性”配置于上侧、在“黑素细胞类/非黑素细胞类”的属性中“黑素细胞类”配置于左侧而“非黑素细胞类”配置于右侧这种信息存储于存储部20。位置决定部13作为位置决定单元而发挥功能。
分类部14将由类似图像获取部11获取的图像数据分类为由类别设定部12设定的类别组(多个类别)中的任一个类别。此外，分类部14使用附加到各图像数据的标签信息(例如对各图像数据附加疾病名称作为标签信息)能够分类图像数据。分类部14作为分类单元而发挥功能。
图像显示控制部15根据与查询图像之间的类似度将由分类部14分类为各类别的图像数据配置于由位置决定部13决定n维空间中的坐标的表示其类别的区域内部，并经由输出部32进行显示。图像显示控制部15以与查询图像300之间的类似度越高则更靠近各区域(圆内)的中心的方式例如图3所示将分类为色素痣的类似图像配置于色素痣的区域301(图3的左下角的圆内)并显示、将分类为黑色素瘤的类似图像配置于黑色素瘤的区域302(图3的左上角的圆内)并显示、将分类为脂溢性角化病的类似图像配置于脂溢性角化病的区域303(图3的右下角的稍靠左的圆内)并显示、将分类为血肿/血管瘤的类似图像配置于血肿/血管瘤的区域304(图3的右下角的稍靠右的圆内)并显示、将分类为基底细胞癌的类似图像配置于基底细胞癌的区域305(图3的右上角的圆内)并显示。图像显示控制部15作为图像显示控制单元而发挥功能。
以上，说明了类似图像显示装置100的功能结构。接着，参照图4说明类似图像显示装置100所进行的类似图像显示处理的内容。当用户经由输入部31将类似图像显示装置100指示开始类似图像显示处理时开始类似图像显示处理。
首先，类似图像显示装置100的控制部10获取查询图像(步骤S101)。例如当用户经由输入部31将查询图像输入到类似图像显示装置100(例如将查询图像拖放到画面的指定区域)时，控制部10获取查询图像。
接着，类似图像获取部11获取根据对查询图像进行类似图像检索的结果而得到的类似图像(步骤S102)。具体地说，在类似图像检索中，获取与查询图像之间的类似度为预定阈值以上的类似图像。此时，类似图像获取部11与类似图像一起还获取该类似图像与查询图像的类似度。步骤S102还被称为类似图像获取步骤。类似图像检索的处理代替类似图像显示装置100也可以通过外部类似图像检索装置进行。在该情况下，控制部10将在步骤S101中获取的查询图像经由通信部33发送到类似图像检索装置，由类似图像获取部11获取类似图像检索装置进行类似图像检索而得到的结果。
而且，分类部14根据附加到各类似图像的标签信息，将由类似图像获取部11获取的类似图像分类为由类别设定部12设定的类别(步骤S103)。步骤S103还被称为分类步骤。
接着，图像显示控制部15将在步骤S103中分类为各类别的类似图像配置于由位置决定部13决定位置的各类别的区域，并经由输出部32进行显示(步骤S104)。具体地说，如图3所示，在各类别的区域中，以与查询图像之间的类似度越高的图像则配置于该类别的区域的中心的方式配置成同心圆状。在图3示出的示例中，分类为各类别的类似图像中将与查询图像之间的类似度最高的图像配置于该类别的中心，将类似度的高度第二个以后的图像在其外侧从上侧起顺时针方向进行配置，由此配置成同心圆状。
另外，图像显示控制部15在步骤S104中显示与在各类别的区域中分类为该类别的类似图像的个数相应的大小的圆。通过显示该圆，容易直观地掌握各类别的规模。并且，在图像显示控制部15中，中心图像(在该类别中与查询图像之间的类似度最高的类似图像)与查询图像的类似度越高则将该圆的圆周线的粗细显示越粗。这样将圆的粗细设为较粗，用户能够直观地掌握与查询图像最类似的类似图像的配置位置。另外，图像显示控制部15将该圆的圆周的线的粗细，并不限定于中心图像，也可以根据预定图像(例如在该类别中与查询图像之间的类似度第n个(n为1以上且分类为该类别的类似图像的个数以下的整数)高的图像、最低的图像、按类似度顺序排列时正中的图像等)与查询图像的类似度以预定粗细(例如类似度越高则越粗、类似度越低则越细)进行显示。此外，为了使用户能够容易地对各类似图像与查询图像进行比较，图像显示控制部15在步骤S104中，如图3所示，还进行将查询图像300显示于显示画面的中心部的处理。步骤S104还被称为图像显示控制步骤。
接着，控制部10判断在步骤S104中显示的类似图像是否经由输入部31选择(例如由用户点击)(步骤S105)。如果并未选择类似图像(步骤S105：“否”)，进入到步骤S108。
如果选择类似图像(步骤S105：“是”)，图像显示控制部15将这些图像进行放大显示，以便能够比较在步骤S105中选择的图像与查询图像(步骤S106)。例如在图3的色素痣的中心图像(在分类为色素痣的类似图像中与查询图像最类似的图像)被点击为比较对象图像的情况下，如图5所示，查询图像51以及点击的比较对象图像52进行放大显示的比较显示画面经由输出部32进行显示。图5还示出图像显示控制部15在比较对象图像52的下侧显示附加到该比较对象图像的标签信息53、该比较对象图像52与查询图像51的类似度的顺序54、将比较对象图像52切换为类似度的顺序的前进按钮55和后退按钮56。
而且，图像显示控制部15进行与用户操作相应的图像显示(步骤S107)。例如图像显示控制部15在查询图像51或比较对象图像52的上侧进行拖拽操作则使该图像平行移动，进行滚轮的旋转则使该图像放大或缩小，在查询图像51的上侧双击则返回至图3示出的查询图像显示画面。另外，图像显示控制部15在点击前进按钮55或后退按钮56时将比较对象图像切换为与查询图像之间的类似度的顺序。
接着，控制部10判断是否被指示类似图像显示处理的结束(步骤S108)。如果类似图像显示处理的结束未被指示(步骤S108：“否”)，则返回至步骤S107。如果类似图像显示处理的结束被指示(步骤S108：“是”)，则结束类似图像显示处理。例如如果用户经由输入部31指示类似图像显示处理的结束，则结束类似图像显示处理。
如上所述，类似图像显示装置100能够将类似图像分类为类别，按每个类别以与查询图像之间的类似度的降序配置并显示类似图像，因此能够更清楚地显示类似图像之间的关系。
例如在显示皮肤病的图像的情况下，黑色素瘤、基底细胞癌、日光性角化病均为恶性疾病，但是恶性程度(对人体的影响程度)大不同。因而，例如作为各类别的属性信息，如黑色素瘤为“恶性程度10、黑素细胞类”、基底细胞癌为“恶性程度8、非黑素细胞类”、日光性角化病为“恶性程度3、非黑素细胞类”这样，恶性程度的信息(属性的属性值)也被存储于存储部20，当位置决定部13根据恶性程度以例如恶性程度越高的类别在画面的上部显示该类别的圆的方式决定该类别的位置时，用户能够与其恶性程度一起确认配置于各类别的类似图像。其它属性也同样地根据其属性的属性值来决定位置，由此用户能够根据其属性的属性值来确认类似图像。此外，这些始终仅作为一例而示出，并不定意味着医学上正确。根据医生等、类似图像显示装置100的用户的想法、状况，能够适当地变更这些显示位置。
(第一变形例)
在上述第一实施方式中，在类似图像显示处理中，进行图3的显示，但是还参照图6说明使类似的关系更易理解的第一变形例。
在第一变形例所涉及的类似图像显示装置100中，在类似图像显示处理(图4)的步骤S104中，图像显示控制部15进行以下处理。(此外，与上述第一实施方式同样地，分类为该类别的类似图像的个数越多则绘制在各类别的区域内的圆的大小越大。例如图6所示，色素痣的类别圆311大于黑色素瘤的类别圆312。)
-将绘制在各类别的区域内的圆的背景绘制成中心浓且随着向外侧变薄。例如图6所示，在绘制在色素痣的类别圆311的类别的区域内的圆的背景中显示从中心侧起同心圆状的图形形状311a、311b、311c、311d。此外，在图6中根据各类别圆的大小以2～4个阶段使浓度变化，但是也可以不设置这种阶段而顺利地(渐变)变化。
-通过连接线连接从查询图像至各类别的中心图像为止。
-配置于连接有该连接线的类别中心的类似图像(在该类别中与查询图像最类似的类似图像)与查询图像的类似度越高则连接线的粗细越粗。例如向色素痣的类别圆311的连接线321的粗细大于向黑色素瘤的类别圆312的连接线322。(此外，连接线的粗细并不限定于中心图像，也可以根据预定图像(例如在该类别中与查询图像之间的类似度为第n(n为1以上分类为该类别的类似图像的个数以下的整数)高的图像、最低的图像、在按类似度顺序排列时正中的图像等)与查询图像的类似度以预定粗细(例如类似度越高则越粗、类似度越低则越细)进行显示)。
-在连接线321、322、323、324、325的两端之间显示由位置决定部13决定各类别的位置时使用的属性信息。例如在黑色素瘤的类别中显示恶性332、黑素细胞类334这种属性信息。
-通过上述连接线321、322、323、324、325，表示各类别的区域经由将查询图像作为根节点的树木结构，作为叶节点进行连接。也就是说，通过将查询图像作为根节点、将表示各类别的区域作为叶节点并基于与表示各类别的区域对应的类别的属性的连接线从根节点连接到叶节点的树木结构，来显示类似图像等。而且，作为与各类别相连接的连接线321、322、323、324、325的内部节点，显示表示该类别的属性信息的属性名称(良性331、恶性332、黑素细胞类333、334、非黑素细胞类335、336等)。
-在期望特别关注的情况下，属性信息较大地进行显示。(例如在以皮肤病的图像数据作为对象而进行类似图像显示的情况下，在恶性的类似图像多于良性的类似图像的情况下，属性信息中将恶性332较大地进行显示。此外，在图6中良性的类似图像更多，因此恶性332以与良性331相同的大小进行显示)。
-各类似图像以被较小的圆围绕而进行显示，该类似图像与查询图像的类似度越高则其较小圆线的粗细越粗。例如围绕配置在血肿/血管瘤的类别圆314的中心处的类似图像的小圆3141的线的粗细比围绕配置在其外围的类似图像的小圆3142的线的粗细粗。
在类似图像显示处理(图4)的步骤S104中，通过图像显示控制部15进行上述处理，例如进行图6示出的类似图像的显示。通过进行这种显示，得到以下的效果。
-各类别圆311、312、313、314、315按照n种属性配置于n维空间，由此用户能够直观地掌握查询图像的性质。
-分类为该类别的件数(检索件数)越多则各类别圆311、312、313、314、315越大地显示，由此用户能够直观地掌握检索件数。
-配置于该类别的中心处的类似图像(在该类别中与查询图像最类似的类似图像)与查询图像的类似度越高则向各类别的连接线321、322、323、324、325的粗细以越粗地显示，由此用户能够直观地掌握与查询图像最类似的类似图像的配置位置。
-绘制在各类别的区域的类别圆的背景被绘制成中心浓且随着向外侧变薄，由此用户能够视觉地识别圆中心部侧的病例的重要性高这一情况。
(第二变形例)
在上述第一实施方式中，图像显示控制部15按每个类别以同心圆状地集中地配置类似图像检索结果，但是并不限定于此，也可以是放射状、椭圆形状、四边形状等。例如当配置成四边形状时，如图7所示，能够更紧凑地进行显示，即使在检索结果多的情况下等也能够同时浏览性良好地显示所有类似图像。在图7示出的示例中，在图像显示控制部15中，分类为该类别的类似图像的个数越多则使各类别的四边形351、352、353、354、355的大小越大，在其四边形内从左上角起与查询图像300之间的类似度的降序向右侧排列类似图像，如果到达右端则返回至左端而从更下侧排列显示类似图像。
此外，在上述第一实施方式中，将由位置决定部13决定位置时使用的属性数量设为两种并使该两个属性与二维空间的两个轴(X轴和Y轴)对应而决定类似图像检索结果的显示位置的二维空间中的坐标的情况为例进行了说明，但是并不限定于此。例如也可以将决定位置时使用的属性数量设为一种并在直线上(一维空间)配置各类别。在该情况下，类别配置在直线上进行，但是类别内的类似图像配置成同心圆状，因此最终配置于二维空间。
另外，也可以将决定位置时使用的属性数量设为三种并在三维空间中配置各类别。在该情况下，类别、类似图像配置于三维空间，但是在输出到输出部32时输出将它们投影到二维空间的部分，由此能够显示于通常的显示器。另外，在要将决定位置时使用的属性的种类数n设为4以上的情况下，也可以将各类别虚拟地配置于n维空间，最终投影到二维空间而输出。此外，作为属性种类，不仅使用上述“良性/恶性”和“黑素细胞类/非黑素细胞类”，还可以使用“上皮性/非上皮性”、“转移性/非转移性”、“浸润性/非浸润性”、“病毒性/非病毒性”、“尺寸(例如外接于病变部的椭圆长径)”、“椭圆率(例如外接于病变部的椭圆的椭圆率)”、“病变面积(病变部的面积)”、“轮廓线的长度(病变部外缘的轮廓线的长度)”、“肿瘤的深度(例如通过颜色(浅为黑色，随着变深，为深棕色、灰蓝色、浅钢色)进行判断)”、“病变部的颜色(例如与肿瘤的深度对应地排列在颜色轴上)”、“形状(例如使用力矩(对病变区域的坐标值、病变区域的轮廓线的坐标值、病变区域的像素值等进行力矩计算而计算出)的值)”、“时间(例如当在横轴上表示时间、在纵轴上表示尺寸等计测值时，能够经过观察看见尺寸等计测值的时间变化)”等。
另外，在上述第一实施方式中，以皮肤病为例进行了说明，但是本发明并不限定于皮肤病学领域，能够广泛应用于显示类似图像的领域。例如还能够应用于花图像的类似检索、细菌的显微镜照片的类似检索等。
另外，在上述第一实施方式中，控制部10进行了类似图像显示处理，但是也可以由通信部接收使外部服务器进行处理的结果而输出到输出部32。
另外，能够适当地组合上述第一实施方式以及第一、第二变形例。例如通过组合第一变形例与第二变形例，使类似图像按每个类别显示为四边形状，能够进行连接线、四边形的背景的绘制，能够得到第一变形例的效果与第二变形例的效果两者。例如在该情况下，根据该类似图像与查询图像的类似度将向各类别的四边形内的最左上角的类似图像(在该类别中与查询图像最类似的类似图像)的连接线较粗，将该四边形的背景绘制成左上角浓而随着向右下角变薄。
(第二实施方式)
本发明的第二实施方式所涉及的显示控制装置101使查询图像所示出的诊断对象部分的疾病属性(例如“良性/恶性”、“黑素细胞类/非黑素细胞类”等)与各坐标轴对应，将表示疾病与各属性有关的可能性的指标绘制在将疾病属性数设为维数的空间并进行显示。通过进行这种显示，显示控制装置101容易地掌握诊断对象部分的疾病属性信息。此外，在第二实施方式中，以诊断对象部分的疾病为人的皮肤病的情况为例进行说明，但是作为诊断对象部分(疾病)，还存在人的子宫(子宫癌)、口腔(口腔癌)、人以外的动物(猫狗)的皮肤(皮肤癌)、口腔(口腔癌)等根据摄像图像诊断的各种部分(疾病)。
如图8所示，第二实施方式所涉及的显示控制装置101具备控制部10、存储部20、输入部31、输出部32以及通信部33。
控制部10由CPU等构成，通过执行存储于存储部20的程序，实现后述的各部分(指标获取部16、风险获取部17、显示控制部18)的功能。
存储部20由ROM、RAM等构成，存储由控制部10的CPU执行的程序和所需的数据。
输入部31为用于供显示控制装置101的用户输入施加到显示控制装置101的指示或输入查询图像的设备(键盘、鼠标、触摸面板、相机等)。控制部10经由输入部31获取来自用户的指示、查询图像。作为输入部31，如果控制部10能够获取来自用户的指示、查询图像，则能够使用任意设备。其中，控制部10也可以经由通信部33获取查询图像。此外，查询图像是指使用皮肤镜等拍摄诊断对象部分而得到的图像的图像数据。显示控制装置101将查询图像所示出的诊断对象部分的疾病属性信息以易于理解的方式呈现给用户。
输出部32为用于供控制部10以容易理解的方式将疾病属性信息呈现给用户的设备(显示器、显示器接口等)。显示控制装置101作为输出部32可以具备显示器(显示部)，也可以在经由输出部32而连接的外部显示器(显示部)中显示疾病属性信息等。
通信部33为用于与外部其它装置(例如存储有图像数据的数据库的服务器、图像识别装置等)进行数据的发送接收的设备(网络接口等)。控制部10能够经由通信部33获取图像识别装置的图像识别结果等。
接着，说明控制部10的功能。控制部10实现指标获取部16、风险获取部17以及显示控制部18的功能。
指标获取部16使用识别器求出查询图像所示出的诊断对象部分的疾病与各属性有关的概率(可能性)，作为该属性指标而获取求出的概率。该识别器例如由卷积神经网络构成，预先使用预定学习图像数据进行学习。指标获取部16可以具备这种学习过的识别器，例如也可以经由通信部33使具备学习过的识别器的外部图像识别装置识别查询图像，作为该属性指标而获取与其结果得到的各属性有关的概率(可能性)。此外，由指标获取部16获取的指标并不限定于概率，指标获取部16也可以获取更一般的得分(存在可能性越高则值越大的得分(并不限定于与概率的值一致)，相反地可能性越低则值越大的得分)作为指标。指标获取部16作为获取单元而发挥功能。
在此，指标获取部16具备疾病识别器，该疾病识别器输出查询图像所示出的诊断对象部分的疾病为四种疾病(黑色素瘤、基底细胞癌、色素痣、脂溢性角化病)中的每个疾病的概率(以下称为“疾病相当概率”)。而且，将查询图像输入到该疾病识别器而得到的疾病相当概率例如黑色素瘤为89.0％、基底细胞癌为4.4％、色素痣为6.4％、脂溢性角化病为0.2％。此外，在这些疾病属性中，色素痣为“良性、黑素细胞类”、黑色素瘤为“恶性、黑素细胞类”、脂溢性角化病为“良性、非黑素细胞类”、基底细胞癌为“恶性、非黑素细胞类”。
在本例中，计算出诊断对象部分的疾病属性为“恶性”的概率为89.0％+4.4％＝93.4％、“良性”的概率为6.4％+0.2％＝6.6％。另外，计算出诊断对象部分的疾病属性为“黑素细胞类”的概率为89.0+6.4％＝95.4％、“非黑素细胞类”的概率为4.4％+0.2％＝4.6％。指标获取部16作为表示诊断对象部分的疾病属性为各种属性的可能性的指标而获取这样计算出的诊断对象部分的疾病属性为各种属性的概率。特别是，诊断对象部分的疾病属性为“恶性”的概率以及“良性”的概率分别被称为恶性指标和良性指标，诊断对象部分的疾病属性为“黑素细胞类”、“非黑素细胞类”等预定疾病属性的概率被称为疾病属性指标。另外，在区分称呼多个疾病属性的情况下，附加第一、第二等。例如在诊断对象部分的疾病属性中将“黑素细胞类”设为第一疾病属性、将“非黑素细胞类”设为第二疾病属性的情况下，诊断对象部分的疾病属性为“黑素细胞类”的概率被称为第一疾病属性指标，诊断对象部分的疾病属性为“非黑素细胞类”的概率被称为第二疾病属性指标。
此外，指标获取部16不一定必须使用获取诊断对象部分的疾病相当概率的疾病识别器。例如代替疾病识别器，指标获取部16也可以使用与诊断对象部分的疾病种类无关地输出诊断对象部分的疾病属性为“恶性”的概率(恶性指标)的识别器、输出诊断对象部分的疾病属性为“黑素细胞类”那样的预定疾病属性的概率(疾病属性指标)的识别器。
风险获取部17获取表示疾病属性为恶性且该疾病属性为预定疾病属性的情况下的该疾病的风险是否高的风险指标。在此，作为风险，可考虑被忽视的风险(识别器判断错误(未检测出恶性)的风险)、预后风险(忽视风险)，但是风险获取部17可以区分这些风险而视为单独的风险指标，也可以综合这些值而视为一个风险指标。例如控制部10使用用于学习疾病识别器的学习数据以外的图像数据(试验病例数据)等求出被忽视的风险的风险指标或使用与专家等得出的预后风险有关的数据等求出预后风险的风险指标，预先将风险指标保存到存储部20。或者，也可以通过外部服务器等预先求出风险指标。而且，风险获取部17预先获取由控制部10或外部服务器等求出的风险指标。在本实施方式中，该风险指标为基于该疾病的恶性指标而表示疾病属性为恶性的情况下的该疾病的被忽视的风险的高度的指标，预先通过后述的风险界线生成处理来生成。
例如即使“恶性”的概率(恶性指标)相同，黑素细胞类的恶性疾病与非黑素细胞类的恶性疾病相比识别难度更高，被忽视的风险高。在本实施方式中，视为如果恶性指标高于风险指标则被忽视的风险高，因此疾病属性为“黑素细胞类”的情况下的风险指标的值比疾病属性为“非黑素细胞类”的情况下的风险指标更低。因此，风险获取部17在疾病属性为“黑素细胞类”的情况下，获取比疾病属性为“非黑素细胞类”的情况更低值的风险指标。风险获取部17作为风险获取单元而发挥功能。
显示控制部18通过后述的显示控制处理，使由指标获取部16获取的多个指标相关联地显示于显示部。例如关于查询图像所示出的诊断对象部分，如果指标获取部16作为“恶性”指标获取93.4％，作为“黑素细胞类”指标获取95.4％，则如图9所示，作为与(95.4％，93.4％)对应的点，使点206显示于显示部。显示控制部18作为显示控制单元而发挥功能。
此外，在图9中，在各轴两端处记载了属性名称，例如纵轴为恶性和良性、横轴为黑素细胞类和非黑素细胞类。但是，实际上各轴均基于一个指标(各轴两端的属性为表里关系，例如恶性100％意味着良性0％)，因此，例如也可以仅记载单一名称，例如纵轴仅为恶性、横轴仅为黑素细胞类。在图9中，纵轴与横轴的交叉点为表示恶性与良性的指标均为50％且黑素细胞类和非黑素细胞类的指标均为50％这一点。
另外，显示控制部18将由风险获取部17获取的风险指标与由指标获取部16获取的多个指标相关联地显示于显示部。作为此目的的显示，显示控制部18例如作为在图9中使用虚线示出的风险界线207而显示由后述的风险界线生成处理生成的风险界线。在图9中，点206处于风险界线207的上侧，但是这表示查询图像所示出的诊断对象部分的疾病风险高这一情况。此外，图9示出基于被忽视的风险的风险界线207的示例，但是在风险获取部17不仅获取被忽视的风险且还获取预后风险的情况下，显示控制部18除了显示基于被忽视的风险的风险界线207以外，还可以显示基于预后风险的风险界线(未图示)。另外，在风险获取部17仅获取预后风险的情况下，显示控制部18并不显示基于被忽视的风险的风险界线207，也可以仅显示基于预后风险的风险界线(未图示)。
以上，说明了显示控制装置101的功能结构。接着，参照图10说明显示控制装置101所进行的显示控制处理的内容。当用户经由输入部31指示显示控制装置101开始进行显示控制处理时开始进行显示控制处理。另外，用户在开始指示显示控制处理之前，将使用于坐标轴的属性种类(例如纵轴为“良性/恶性”、横轴为“黑素细胞类/非黑素细胞类”)预先对显示控制装置101进行指示。
首先，显示控制部18使显示部显示坐标轴(步骤S201)。在此显示的坐标轴为基于预先从用户指示的属性的坐标轴。例如在图9示出的示例中，纵轴为恶性(良性/恶性)的坐标轴，横轴为黑素细胞类(黑素细胞类/非黑素细胞类)的坐标轴。
接着，显示控制装置101的控制部10获取查询图像(步骤S202)。例如当用户经由输入部31将查询图像输入到显示控制装置101(例如将查询图像拖放到显示部的画面的预定区域)时，控制部10获取查询图像。
接着，指标获取部16将查询图像输入到识别器而获取各属性的指标(步骤S203)。步骤S203还被称为获取步骤。然后，显示控制部18在显示部所显示的坐标轴中，在以由指标获取部16获取的指标示出的坐标中显示点206(步骤S204)。步骤S204还被称为显示控制步骤。
接着，显示控制部18将通过后述的风险界线生成处理预先生成并保存到存储部20的风险界线207显示于显示部(步骤S205)，并结束显示控制处理。
接着，参照图11说明风险界线生成处理。在执行显示控制处理(图10)之前预先执行风险界线生成处理。具体地说，例如当由用户指示使用于图9的坐标轴的属性时开始进行风险界线生成处理。其中，也可以预先由外部服务器等执行风险界线生成处理。在该情况下，控制部10经由通信部33获取其结果(风险界线的坐标)，并保存到存储部20。接着，说明预先由控制部10执行风险界线生成处理的情况。
首先，控制部10从存储部20或经由通信部33获取(并未使用于疾病识别器的学习)试验病例的图像数据(步骤S301)。接着，指标获取部16将试验病例的图像数据输入到疾病识别器，并获取与各坐标轴对应的属性指标(步骤S302)。在图9示出的示例中，该属性为“恶性”与“黑素细胞类”，在此，将“恶性”的指标称为恶性指标，将“黑素细胞类”的指标称为疾病属性指标。
然后，控制部10在步骤S302中获取的指标中，将恶性指标分类为疾病属性指标各区间(步骤S303)。在此，疾病属性指标各区间是指例如当将疾病属性指标值设为0％以上且100％以下并将各区间的宽度设为10％时疾病属性指标值为0％以上且小于10％的区间1、疾病属性指标值为10％以上且小于20％的区间2、…、疾病属性指标值为90％以上且100％以下的区间10这10个区间。例如在步骤S302中获取的指标为恶性指标35％、疾病属性指标55％时，控制部10将恶性指标35％分类为区间6。
接着，控制部10判断在步骤S303中分类的恶性指标是否分别被分类到所有区间(在上述示例中从区间1至区间10为止的所有区间)预定数(例如20)以上(步骤S304)。如果存在仅分类小于预定数的区间(步骤S304：“否”)，则返回至步骤S301，根据新试验病例数据反复进行指标分类。
如果在所有区间中分类预定数以上(步骤S304：“30)，则控制部10在各区间中计算恶性疾病的灵敏度为预定灵敏度(例如灵敏度95％)的恶性指标恶性判断阈值(例如在灵敏度95％的情况下在识别出一定数量的恶性疾病的试验病例时95％被判断为该恶性疾病的阈值)(步骤S305)。该阈值越低则越被容易判断为疾病属性为恶性，从而灵敏度上升，特异性(良性病例的正确率)下降。
然后，控制部10将使用样条曲线等连结各区间的恶性判断阈值的值而得到的线设为风险界线，将该风险界线的坐标保存到存储部20(步骤S306)，结束风险界线生成处理。在显示控制处理(图10)的步骤S204中显示的点位于该风险界线的上部时，意味着查询图像所示出的诊断对象部分的疾病的风险高。
此外，上述风险界线生成处理始终是一例，还考虑以下的变形例。
-根据疾病风险而变化(黑素细胞类(黑色素瘤等)的转移可能性远高于非黑素细胞类(基底细胞癌等)，并且预后风险增加，因此在疾病属性为黑素细胞类的概率高的区域中，风险界线下降。)
-根据诊断对象部分的尺寸而上下(当尺寸增加时预后风险增加，因此风险界线下降。)
-根据诊断对象部分的病变深度而上下(通过诊断对象部分的颜色进行判断等的图像处理来估计病变深度，当病变深度增加时预后风险增加，因此风险界线下降。)
-根据作为诊断对象部分的溃疡尺寸、诊断对象部分中出血区域的尺寸而上下(存在溃疡、出血并且该区域越大则预后风险增加，因此风险界线下降。)
如上所述，显示控制装置101针对所输入的查询图像，如图9所示根据点206的坐标能够以容易理解的方式显示查询图像所示出的诊断对象部分的属性信息。另外，还显示风险界线207，根据点206与风险界线207的位置关系，能够掌握诊断对象部分的疾病的风险高度。
在第二实施方式所涉及的显示控制装置101中，也与第一实施方式所涉及的类似图像显示装置同样地，作为属性，代替“替地/恶性替地/黑素细胞类/非黑素细胞类”素细胞类为装，也可以使用“也可以/非上皮性”、“转移性/非转移性”、“浸润性/非浸润性”、“病毒性/非病毒性毒非以病变部的尺寸以/非病变部的颜色”色部以/(例如当横轴表示时间、纵轴表示尺寸等计测值时，经过观察能够看见尺寸等计测值的时间变化)”寸。这些属性中预后风险最高的属性被考虑为黑素细胞类，因此在图9示出的示例中，横轴为表示疾病属性为黑素细胞类(黑素细胞类/非黑素细胞类)的可能性的指标。
另外，在上述第二实施方式中，作为属性将“性方/恶性性方/黑素细胞类/非黑素细胞类”这两种分配至纵轴和横轴并在二维空间上显示点206。但是，也可以将所使用的属性分为三种，在三维空间上配置点206，将其在二维空间上投影而得到的部分输出到输出部32。另外，在要将所使用的属性的种类数n设为4以上的情况下，也可以虚拟地在n维空间上配置点206，最终将其在二维空间上投影而输出到输出部32。
(第三实施方式)
本发明的第三实施方式所涉及的显示控制装置102将查询图像所示出的诊断对象部分的疾病属性与诊断对象部分的疾病为预定疾病的概率一起，通过将查询图像设为根节点的树木结构进行显示。通过进行这种显示，显示控制装置102容易地掌握诊断对象部分的疾病属性信息。
如图12所示，第三实施方式所涉及的显示控制装置102具备控制部10、存储部20、输入部31、输出部32以及通信部33。其中，存储部20、输入部31、输出部32以及通信部33与第二实施方式所涉及的显示控制装置101所具备的存储部20、输入部31、输出部32以及通信部33相同，因此省略说明。
控制部10由CPU等构成，通过执行存储于存储部20的程序，实现后述的各部分(指标获取部16、位置决定部13、疾病风险获取部19以及显示控制部18)的功能。
指标获取部16使用识别预定的疾病数的疾病的疾病识别器，并求出查询图像所示出的诊断对象部分的疾病与各属性有关的概率(可能性)，作为该属性的指标而获取求出的概率。该疾病识别器例如由卷积神经网络构成，预先使用预定学习图像数据进行学习。指标获取部16可以具备这种学习过的疾病识别器，例如也可以经由通信部33使具备学习过的疾病识别器的外部图像识别装置识别查询图像，作为该属性的指标而获取与根据识别查询图像的结果而得到的各属性有关的概率(可能性)。
在此，如在第二实施方式所涉及的指标获取部16的项目中说明那样，指标获取部16例如具备疾病识别器，该疾病识别器输出与四种疾病(黑色素瘤、基底细胞癌、色素痣、脂溢性角化病)有关的疾病相当概率。而且，将查询图像输入到该疾病识别器而得到的疾病相当概率例如黑色素瘤为89.0％、基底细胞癌为4.4％、色素痣为6.4％、脂溢性角化病为0.2％。
在本例中，如在第二实施方式所涉及的指标获取部16的说明中说明那样，关于表示诊断对象部分的疾病属性为各种属性的可能性的指标，恶性指标为93.4％、良性指标为6.6％、“黑素细胞类”的疾病属性指标为95.4％、“5黑素细胞类”的疾病属性指标为4.6％。另外，第三实施方式所涉及的指标获取部16还将由疾病识别器输出的各疾病的概率作为疾病指标而获取。在本例中，黑色素瘤的疾病指标为89.0％、基底细胞癌的疾病指标为4.4％、色素痣的疾病指标为6.4％、脂溢性角化病的疾病指标为0.2％。
位置决定部13按照n种(n为1以上的整数)的属性并作为n维空间中的坐标而决定用于显示与由指标获取部16获取的疾病指标数的各疾病(类别)有关的信息的位置。更详细地说，使n种属性分别与用于定义n维空间的坐标的n个坐标轴一一对应，根据在各坐标轴中表示该疾病与对应于该坐标轴的属性有关的可能性的指标来决定表示用于显示与各疾病有关的信息的位置的坐标。
例如在作为上述n种属性而采用“采用/恶性采用/黑素细胞类/非黑素细胞类”这两种属性的情况下，位置决定部13决定用于显示与由指标获取部16获取的疾病指标对应的与各疾病有关的信息的二维空间上的坐标。例如图13所示，位置决定部13在将“将决/恶性将设为纵轴(Y轴)、将“黑素细胞类/非黑素细胞类”设为横轴(X轴)的二维空间中决定用于显示表示诊断对象部分的各疾病的概率大小的圆(概率圆)的位置的坐标。此外，在图13中，在纵轴(Y轴)中，良性为下侧、恶性为上侧，在横轴(X轴)中，黑素细胞类为左侧、非黑素细胞类为右侧。
作为具体例，当作为疾病而考虑色素痣、黑色素瘤、脂溢性角化病、基底细胞癌这四种时，在各疾病属性AZ中，色素痣为“素痣性黑素细胞类”素黑色素瘤为“恶性、黑素细胞类”素脂溢性角化病为“溢性角化黑素细胞类”素细胞类病的为“恶性、非黑素细胞类”。因而，如图13所示，位置决定部13以在左下角的区域显示色素痣、在左上角的区域显示黑色素瘤、在右下角的区域显示脂溢性角化病、在右上角的区域显示基底细胞癌的方式决定各位置。
此外，位置决定部13也可以根据需要调整与疾病有关的信息的显示位置，使得用于显示与不同疾病有关的信息的位置不会成为相同坐标。在图13中并未图示，但是例如在指标获取部还获取血肿/血管瘤的疾病指标的情况下，血肿/血管瘤也与脂溢性角化病同样地，其属性为“性地角化黑素细胞类”，因此如果不调整与疾病有关的信息的显示位置则两种疾病均在同一右下角的区域显示与该疾病有关的信息。在这种情况下，位置决定部13例如也可以将与脂溢性角化病有关的信息的显示位置比右下角的区域中央稍向左位移、将与血肿/血管瘤有关的信息的显示位置比右下角的区域中央稍向右位移等调整与各疾病有关的信息的显示位置。
用于决定由位置决定部13决定与各疾病有关的信息的显示位置的空间的坐标轴时使用的n种属性信息、各疾病的该属性的信息以及各属性的配置信息被预先存储于存储部20。位置决定部13根据存储于存储部20的n种属性信息、各疾病的该属性的信息和各属性的配置信息，决定显示与各疾病有关的信息的位置的n维空间中的坐标。在图13示出的示例中，作为属性信息，“性信/恶性性信息作以及“黑素细胞类/非黑素细胞类”素细胞这两种属性信息存储于存储部20。而且，作为各疾病的该属性的信息，色素痣为“素痣性黑素细胞类”素黑色素瘤为“恶性、黑素细胞类”素脂溢性角化病为“溢性角化黑素细胞类”素细胞类病息为“恶性、非黑素细胞类”这种信息存储于存储部20。而且，作为各属性的配置信息，在“在性/恶性在性的配中，“在性的配置于下侧而“恶性侧配置于上侧，并在“黑素细胞类/非黑素细胞类”素细胞中，“黑素细胞类”配置于左侧而“侧黑素细胞类”配置于右侧这种信息存储于存储部20。
疾病风险获取部19获取按每个疾病表示该疾病的风险是否高的风险指标。在此，在疾病的风险中存在预后风险(忽视疾病的情况下的忽视风险)、被忽视的风险(疾病识别器不将恶性疾病判断为恶性疾病的错误判断风险)，但是疾病风险获取部19可以区分这些风险而视为单独的风险指标，也可以综合这些风险而视为一个风险指标。例如黑色素瘤与基底细胞癌相比预后风险、被忽视的风险均高。因而，疾病风险获取部19例如作为黑色素瘤的风险指标而获取10％，作为基底细胞癌的风险指标而获取80％。这是以下情况下的示例：如果诊断对象部分的疾病为黑色素瘤则即使概率(疾病指标)为10％，风险也高，但是如果是基底细胞癌则概率(疾病指标)并不在80％以上时不能说风险高。这些各疾病的风险指标值可以是医生等按每个疾病预先设定的值，也可以与第二实施方式的风险界线生成处理(图11)同样地，使用与用于学习的数据不同的试验病例数据，预先作为判断阈值求出在各疾病中灵敏度为预定值(例如95％、90％)的疾病指标，作为风险指标而获取求出的判断阈值。疾病风险获取部19作为疾病风险获取单元而发挥功能。
显示控制部18通过后述的显示控制处理，使由指标获取部16获取的多个指标相关联地通过树木结构，如图13所示显示于显示部。例如对查询图像所示出的诊断对象部分，如果指标获取部16作为各疾病的疾病指标而获取黑色素瘤89.0％、基底细胞癌4.4％、色素痣6.4％、脂溢性角化病0.2％这种值，则如图13所示，显示控制部18以相当于6.4％大小的概率圆411显示诊断对象部分的疾病为色素痣的概率、以相当于89.0％较大的概率圆412显示诊断对象部分的疾病为黑色素瘤的概率、以相当于0.2％的较小的概率圆413显示诊断对象部分的疾病为脂溢性角化病的概率、以相当于4.4％的大小的概率圆414显示诊断对象部分的疾病为基底细胞癌的概率。此外，在图13中在各概率圆的中心显示表示中心的点，但是是否显示这种点是任意的，也可以根据用户指示等，打开和关闭中心的点的显示。
以上，说明了显示控制装置102的功能结构。接着，参照图14说明显示控制装置102所进行的显示控制处理的内容。当用户经由输入部31指示显示控制装置102开始进行显示控制处理时开始进行显示控制处理。
首先，显示控制装置102的控制部10获取查询图像(步骤S401)。例如当用户经由输入部31将查询图像输入到显示控制装置102(例如将查询图像拖放到显示部的画面的预定区域)时，控制部10获取查询图像。
接着，如图13所示，显示控制部18将查询图像400显示于显示画面的中央部处(步骤S402)。
接着，指标获取部16将查询图像输入到疾病识别器而获取各疾病的疾病指标(步骤S403)。然后，如图13所示，显示控制部18将基于各疾病的疾病指标大小的概率圆显示于与位置决定部13决定位置的各疾病有关的信息的显示位置处(步骤S404)。
然后，显示控制部18在与其中心与各疾病的概率圆的中心一致的位置处显示表示由疾病风险获取部19获取的各疾病的风险指标大小的风险圆(步骤S405)。例如在图13中使用实线表示基于黑色素瘤的灵敏度为90％的风险指标大小的风险圆415、使用虚线表示基于灵敏度为95％的风险指标大小的风险圆416。另外，使用实线表示基于基底细胞癌的灵敏度为90％的风险指标大小的风险圆417、使用虚线表示基于灵敏度为95％的风险指标大小的风险圆418。在此，“疾病S的灵敏度为P％的风险指标”是指在使用疾病识别器识别一定数量的疾病S的试验病例图像的情况下其P％被判断为疾病S的疾病识别器的输出(疾病S的概率值)的阈值。
在图13示出的示例中，示出黑色素瘤的概率圆412大于基于灵敏度为90％的风险指标大小的风险圆415而黑色素瘤的被忽视的风险高这一情况。相反地，示出基底细胞癌的概率圆414小于基于灵敏度为95％的风险指标大小的风险圆418而基底细胞癌的被忽视的风险低这一情况。
接着，显示控制部18如图13所示显示将显示画面的中央部的查询图像400设为根节点、将各疾病的概率圆411、412、413、414设为叶节点以及将它们使用连接线421、422、423、424进行连接而得到的树木结构(步骤S406)，并结束显示控制处理。
在步骤S406中的树木结构的显示中，显示控制部18根据由指标获取部16获取的指标，如果恶性指标大于良性指标，则如图13所示将恶性节点432显示为大于良性节点431。另外，显示以下的树木结构：在恶性节点432、良性节点431之后设置黑素细胞类节点433、434、非黑素细胞类节点435、436的各节点，使连接线421、422、423、424从这些各节点向与各属性对应的疾病的概率圆411、412、413、414延伸。
在图13中并未图示，但是显示控制部18也可以进行在良性疾病的概率圆中附加绿色框、在恶性疾病的概率圆中附加红色框等显示，使得容易地理解各疾病的危险程度。
另外，在图13中，各概率圆的大小成为与对应疾病的概率大小相应的大小，但是并不限定于此。即使概率相同且与疾病相应地风险高度不同，因此，例如可以在由疾病风险获取部19获取的风险指标高于该疾病的概率的情况下，即使该疾病的概率小也显示较大的概率圆，也可以在由疾病风险获取部19获取的风险指标低于该疾病的概率的情况下，即使该疾病的概率大也显示较小的概率圆。
如上所述，显示控制装置102对所输入的查询图像，如图13所示以概率圆的大小示出查询图像所示出的诊断对象部分的疾病为预定疾病的概率，根据各疾病属性通过树木结构显示概率圆，由此能够容易地掌握诊断对象部分的疾病属性信息。另外，还显示风险圆415、416、417、418，由此根据概率圆412、414与风险圆415、416、417、418的大小关系，能够掌握诊断对象部分的疾病的风险高度。
在第三实施方式所涉及的显示控制装置102中，也与上述实施方式同样地，作为属性，代替“代替/恶性代替/黑素细胞类/非黑素细胞类”素细胞类为所，还能够使用“能够使/非上皮性”、“转移性/非转移性”、“浸润性/非浸润性”、“病毒性/非病毒性毒非使病变部的尺寸使/非病变部的颜色”色部使/(例如当横轴表示时间、纵轴表示尺寸等计测值时，经过观察能够看见尺寸等计测值的时间变化)”等。这些属性中预后风险最高的属性被考虑为黑素细胞类，因此在图13示出的示例中，显示将表示疾病属性为黑素细胞类(黑素细胞类/非黑素细胞类)的可能性的指标在横轴中示出、将表示疾病属性为恶性(良性/恶性)的可能性的指标在纵轴中示出的树木结构。
另外，显示控制部18并不显示恶性节点432、良性节点431、黑素细胞类节点433、434、非黑素细胞类节点435、436的各节点、使连接线421、422、423、424等从这些各节点向与各属性对应的疾病的概率圆411、412、413、414延伸的树木结构，可以仅显示概率圆411、412、413、414，也可以仅显示概率圆411、412、413、414和风险圆415、416、417、418，还可以仅显示这些圆以及构成树木结构的各节点和连接线的一部分。
另外，在上述第三实施方式中，作为属性，将“将作/恶性将作/黑素细胞类/非黑素细胞类”这两种分配在纵轴和横轴上而在二维空间上显示树木结构。但是，也可以将所使用的属性设为三种，在三维空间上配置树木结构，将其在二维空间上投影而得到的部分输出到输出部32。另外，在要将所使用的属性的种类数n设为4以上的情况下，也可以虚拟地在n维空间上配置树木结构，最终将其在二维空间上投影而输出到输出部32。
(第四实施方式)
本发明的第四实施方式所涉及的显示控制装置103除了第三实施方式所涉及的显示控制装置102的树木结构的显示以外，还将与查询图像类似的图像显示于各概率圆的周围。通过进行这种显示，显示控制装置103容易地掌握诊断对象部分的疾病属性信息，并且以更容易理解的方式显示类似图像之间的关系。
如图15所示，第四实施方式所涉及的显示控制装置103具备控制部10、存储部20、输入部31、输出部32以及通信部33。其中，存储部20、输入部31以及输出部32与第三实施方式所涉及的显示控制装置102所具备的存储部20、输入部31以及输出部32相同，因此省略说明。通信部33也与第三实施方式所涉及的显示控制装置102所具备的通信部33相同，但是作为数据的发送接收目的地的外部其它装置还假设类似图像检索装置等，控制部10经由通信部33能够获取类似图像检索装置的类似图像检索结果(例如与查询图像类似的图像)。
控制部10由CPU等构成，执行存储于存储部20的程序，由此实现后述的各部(指标获取部16、位置决定部13、疾病风险获取部19、类似图像获取部11、分类部14以及显示控制部18)的功能。
指标获取部16、位置决定部13以及疾病风险获取部19与第三实施方式所涉及的显示控制装置102所具备的指标获取部16、位置决定部13以及疾病风险获取部19相同，因此省略说明。
类似图像获取部11与第一实施方式所涉及的类似图像获取部11同样地，获取对查询图像进行类似图像检索的结果得到的数据(类似图像的图像数据以及与该图像的查询图像之间的类似度)。具体地说，在类似图像检索中，将与查询图像之间的类似度在预定阈值以上的图像数据与该类似度一起获取。类似图像获取部11可以获取控制部10检索与查询图像类似的图像的结果得到的类似图像的数据，例如也可以经由通信部33使外部类似图像检索装置检索与查询图像类似的图像并获取由该类似图像检索装置检索的类似图像的数据。另外，在各图像数据中作为标签信息而附加与该图像对应的疾病名称等信息。
分类部14将由类似图像获取部11获取的图像数据分类为指标获取部16所使用的疾病识别器进行识别的疾病中的任一种。分类部14使用附加在各图像数据中的标签信息(例如在各图像数据中作为标签信息附加疾病名称)能够将图像数据分类为任一种疾病。
显示控制部18通过后述的显示控制处理，除了进行第三实施方式所涉及的显示控制部18的处理以外，还进行以下处理：将由类似图像获取部11获取的类似图像的数据如图16所示显示于与由分类部14分类的疾病对应的概率圆的周围。
以上，说明了显示控制装置103的功能结构。接着，参照图17说明显示控制装置103所进行的显示控制处理的内容。当用户经由输入部31指示显示控制装置103开始进行显示控制处理时，开始进行显示控制处理。其中，图17示出的显示控制处理中的、从步骤S401至步骤S406为止为与第三实施方式所涉及的显示控制装置102的显示控制处理(图14)相同的处理，因此省略说明。
当通过直到步骤S406为止的处理来显示树木结构时，接着，类似图像获取部11获取对查询图像进行类似图像检索的结果得到的类似图像(步骤S407)。具体地说，在类似图像检索中，获取与查询图像之间的类似度为预定阈值以上的类似图像。此时，类似图像获取部11还与类似图像一起获取该类似图像与查询图像的类似度。
然后，分类部14根据附加到各类似图像的标签信息(疾病名称)，将由类似图像获取部11获取的类似图像分类为指标获取部16所使用的疾病识别器识别的疾病中的任一种(步骤S408)。
然后，显示控制部18将类似图像获取部11在步骤S407中获取的类似图像配置于与分类部14在步骤S408中分类的疾病对应的概率圆的周围(或内部)并显示于显示部(步骤S409)，并结束显示控制处理。
关于步骤S409中的显示控制部18对类似图像的显示，如图16所示，在各疾病的概率圆的周围(或内部)，与查询图像之间的类似度越高的图像则配置于该概率圆的中心的方式配置成同心圆状并进行显示。在图16示出的示例中，将分类为各疾病的类似图像中与查询图像之间的类似度最高的类似图像配置于各概率圆的中心上，在此顺时针方向进行配置，由此配置成同心圆状。
另外，各类似图像由小圆围绕而显示，但是该类似图像与查询图像的类似度越高则该小圆的线的粗细越粗。例如在图16示出的示例中，将配置于黑色素瘤的概率圆412的中心的上部的类似图像进行围绕的小圆4121的线的粗细显示成比将其相邻配置的类似图像进行围绕的小圆4122的线的粗细粗。并且，将配置于黑色素瘤的概率圆412的中心的上部的类似图像进行围绕的小圆4121的线的粗细显示成将配置于色素痣的概率圆411的上部的类似图像进行围绕的小圆4111的线的粗细、将配置于脂溢性角化病的概率圆413的上部的类似图像进行围绕的小圆4131的线的粗细、将配置于基底细胞癌的概率圆414的上部的类似图像进行围绕的小圆4141的线的粗细中的任一个粗。这意味着由类似图像获取部11获取的类似图像中与查询图像最类似的类似图像为黑色素瘤的图像(被由围绕类似图像的小圆4121围绕的图像)。
如上所述，显示控制装置103对所输入的查询图像，如图16所示，查询图像所示出的诊断对象部分的疾病为预定疾病的概率以概率圆的大小示出，根据各疾病属性，通过树木结构来显示概率圆，由此能够容易地掌握诊断对象部分的疾病属性信息。另外，还显示风险圆415、416、417、418，由此根据概率圆412、414与风险圆415、416、417、418的大小关系，能够掌握诊断对象部分的疾病的风险高度。并且，按与查询图像之间的类似度的降序能够将类似图像配置于各概率圆的周围(或内部)并进行显示，因此能够更清楚地显示类似图像之间的关系。
在第四实施方式所涉及的显示控制装置102中，也与第三实施方式所涉及的显示控制装置102同样地，还能够使用各种属性，另外，显示控制部18也可以仅显示概率圆411、412、413、414、风险圆415、416、417、418、查询图像400、类似图像、构成树木结构的各节点和连接线的一部分。另外，属性的种类数并非两种树木结构(二维空间上的树木结构)，也可以将属性种类设为n种，在n维空间上配置树木结构，最终将其在二维空间中投影而输出到输出部32。
另外，在上述第二、第三、第四实施方式中，以皮肤病为例进行了说明，但是本发明并不限定于皮肤病学的领域，能够广泛应用于通过识别器识别图像的领域。例如还能够应用通过花图像识别花种类、通过细菌显微镜照片识别细菌等。另外，这些识别器的实现方法是任意的，可以使用CNN(Convolutional Neural Network：卷积神经网络)等DNN(DeepNeural Network：深度神经网络)来实现，也可以通过SVM(Support Vector Machine：支持向量机)、逻辑回归等来实现。
另外，在上述第二、第三、第四实施方式中，控制部10进行了显示控制处理，但是也可以由通信部33接收使外部服务器进行了相当于显示控制处理的处理的结果而输出到输出部32。
另外，能够适当地组合上述各实施方式以及各变形例。第四实施方式可以说是将第一实施方式的一部分组合到第三实施方式而得到的实施方式，但是，例如相反地也可以将第三实施方式的一部分组合到第一实施方式。这样，将图3示出的各类别圆替换为表示与该类别对应的疾病的概率大小得概率圆，还能够显示与该类别对应的疾病的概率的值、风险圆。通过设为这种结构，通过视觉确认各疾病的概率、风险的同时能够参照类似图像，能够作为诊断的参考。另外，第三实施方式、第四实施方式中的概率圆、风险圆的形状并不限定于圆，也可以是其它适当的形状(例如三角形、四边形等n边形、心形、星形等符号形状等)。
此外，类似图像显示装置100和显示控制装置101、102、103的各功能还能够通过普通PC(Personal Computer：个人计算机)等计算机来实施。具体地说，在上述实施方式中，说明了类似图像显示装置100所进行的类似图像显示处理的程序以及显示控制装置101、102、103所进行的显示控制处理的程序预先存储于存储部20的ROM。但是，将程序存储并分发到软盘、CD-ROM(Compact Disc Read Only Memory：光盘只读存储器)、DVD(DigitalVersatile Disc：数字多功能光盘)、MO(Magneto-Optical Disc：磁光盘)、存储卡、USB(Universal Serial Bus：通用串行总线)存储器等计算机可读取的记录介质，将该程序读取到计算机并安装，由此也可以构成能够实现上述各功能的计算机。
以上，说明了本发明的优选实施方式，但是本发明并不限定于上述特定实施方式，本发明包含技术方案的范围所记载的发明以及其均等的范围。
Claims (27)
1.一种类似图像显示控制装置，其特征在于，
上述类似图像显示控制装置具备：
类似图像获取单元，其获取根据对查询图像进行类似图像检索的结果而得到的类似图像；
类别设定单元，其设定对由上述类似图像获取单元获取到的类似图像进行分类的多个类别；
位置决定单元，其按照两个以上的预定维数的种类属性来决定表示类别区域的位置的坐标，其中，该类别区域为上述维数的维度空间中的表示由上述类别设定单元设定的各类别的区域；
分类单元，其将由上述类似图像获取单元获取到的类似图像分类为由上述类别设定单元设定的多个类别中的任一种；以及
图像显示控制单元，其将由上述分类单元分类为各类别的上述类似图像配置于位于由上述位置决定单元所决定的坐标示出的位置处的上述类别区域的内部，并将该类似图像显示于显示部。
2.根据权利要求1所述的类似图像显示控制装置，其特征在于，
上述图像显示控制单元根据上述类似图像与上述查询图像之间的类似度，将上述类似图像配置于上述类别区域的内部并进行显示。
3.根据权利要求1所述的类似图像显示控制装置，其特征在于，
分类为与上述类别区域对应的类别的类似图像越多，上述图像显示控制单元以越大的圆显示上述类别区域。
4.根据权利要求3所述的类似图像显示控制装置，其特征在于，
分类为与上述类别区域对应的类别的类似图像中的与上述查询图像最类似的类似图像与查询图像之间的类似度越高，上述图像显示控制单元越粗地显示表示上述类别区域的圆的圆周线。
5.根据权利要求3所述的类似图像显示控制装置，其特征在于，
上述图像显示控制单元将上述类似图像以同心圆状地配置于上述类别区域内并进行显示。
6.根据权利要求5所述的类似图像显示控制装置，其特征在于，
上述类似图像与上述查询图像之间的类似度越高，上述图像显示控制单元越将上述类似图像配置于接近上述类别区域的中心的位置并进行显示。
7.根据权利要求5所述的类似图像显示控制装置，其特征在于，
上述图像显示控制单元在配置成上述同心圆状而显示的类似图像的背景中显示同心圆状的图形形状。
8.根据权利要求1所述的类似图像显示控制装置，其特征在于，
上述位置决定单元使上述属性分别与上述空间的各坐标轴对应，并将表示上述类别区域的位置的坐标决定为与上述空间的该类别的上述属性的属性值相应的坐标。
9.根据权利要求1所述的类似图像显示控制装置，其特征在于，
上述图像显示控制单元在上述类别区域内连接基于与上述类别区域对应的类别的属性的连接线并进行显示。
10.根据权利要求1所述的类似图像显示控制装置，其特征在于，
上述图像显示控制单元通过树木结构使上述类似图像显示于显示部，作为上述连接线的内部节点而显示表示上述类别的属性信息的属性名称，其中，在上述树木结构中，将上述查询图像作为根节点，将位于由所决定的上述坐标示出的位置处的上述类别区域作为叶节点，将基于与上述类别区域对应的类别的属性的连接线从上述根节点连接到上述叶节点。
11.根据权利要求9所述的类似图像显示控制装置，其特征在于，
上述图像显示控制单元根据由上述分类单元分类为与上述类别区域对应的类别的多个类似图像中的预定的类似图像与查询图像之间的类似度，在上述显示部中以预定的粗细显示与上述类别区域连接的上述连接线的粗细，其中，上述类别区域与上述类似图像被分类后的上述类别对应。
12.根据权利要求1所述的类似图像显示控制装置，其特征在于，
上述图像显示控制单元使上述显示部放大显示上述查询图像和上述类似图像中的由用户选择出的一个或多个类似图像。
13.根据权利要求1～12的任一项所述的类似图像显示控制装置，其特征在于，
上述类别为皮肤病名称。
14.根据权利要求13所述的类似图像显示控制装置，其特征在于，
上述属性为良性/恶性以及黑素细胞类/非黑素细胞类这两种。
15.一种类似图像显示控制系统，该类似图像显示控制系统具备类似图像显示控制装置和显示部，其特征在于，
上述类似图像显示控制装置具备：
类似图像获取单元，其获取根据对查询图像进行类似图像检索的结果而得到的类似图像；
类别设定单元，其设定对由上述类似图像获取单元获取的类似图像进行分类的多个类别；
位置决定单元，其按照两个以上的预定维数的种类属性来决定表示类别区域的位置的坐标，其中，该类别区域为上述维数的维度空间中的表示由上述类别设定单元设定的各类别的区域；
分类单元，其将由上述类似图像获取单元获取到的类似图像分类为由上述类别设定单元设定的多个类别中的任一种；以及
图像显示控制单元，其将由上述分类单元分类为各类别的上述类似图像配置于位于由上述位置决定单元所决定的坐标示出的位置处的上述类别区域的内部，并将该类似图像显示于上述显示部。
16.一种类似图像显示控制方法，其特征在于，
上述类似图像显示控制方法包括：
类似图像获取步骤，在该类似图像获取步骤中，获取根据对查询图像进行类似图像检索的结果而得到的类似图像；
分类步骤，在该分类步骤中，将在上述类似图像获取步骤中获取到的类似图像分类为多个类别中的任一种；以及
图像显示控制步骤，在该图像显示控制步骤中，按照两个以上的预定维数的种类属性来决定表示类别区域的位置的坐标，并且将在上述分类步骤中分类为各类别的上述类似图像配置于位于由所决定的上述坐标示出的位置处的上述类别区域的内部，并将该类似图像显示于显示部，其中，该类别区域为上述维数的维度空间中的表示上述类别的区域。
17.一种记录介质，该记录介质存储有程序，其特征在于，
该程序使计算机执行以下步骤：
类似图像获取步骤，在该类似图像获取步骤中，获取根据对查询图像进行类似图像检索的结果而得到的类似图像；
分类步骤，在该分类步骤中，将在上述类似图像获取步骤中获取到的类似图像分类为多个类别中的任一种；以及
图像显示控制步骤，在该图像显示控制步骤中，按照两个以上的预定维数的种类属性来决定表示类别区域的位置的坐标，并且将在上述分类步骤中分类为各类别的上述类似图像配置于位于由所决定的上述坐标示出的位置处的上述类别区域的内部，并将该类似图像显示于显示部，其中，该类别区域为上述维数的维度空间中的表示上述类别的区域。
18.一种显示控制装置，其特征在于，
上述显示控制装置具备：
获取单元，其获取表示诊断对象部分的疾病属性为恶性的可能性的恶性指标以及表示上述诊断对象部分的疾病属性为预定的第一疾病属性的可能性的第一疾病属性指标；以及
显示控制单元，其使获取到的上述恶性指标和获取到的上述第一疾病属性指标相互关联地显示于显示部。
19.根据权利要求18所述的显示控制装置，其特征在于，
上述显示控制装置还具备风险获取单元，该风险获取单元获取风险指标，该风险指标表示疾病属性为恶性且上述疾病属性为上述第一疾病属性的情况下的上述疾病的风险是否高，
上述显示控制单元使获取到的上述风险指标与获取到的上述恶性指标和获取到的上述第一疾病属性指标关联地显示于上述显示部。
20.根据权利要求18所述的显示控制装置，其特征在于，
上述获取单元还获取表示上述诊断对象部分的疾病属性为良性的可能性的良性指标以及表示上述诊断对象部分的疾病属性为与上述第一疾病属性不同的第二疾病属性的可能性的第二疾病属性指标，
上述显示控制单元使获取到的上述恶性指标、获取到的上述第一疾病属性指标、获取到的上述良性指标以及获取到的上述第二疾病属性指标相互关联地显示于上述显示部。
21.根据权利要求20所述的显示控制装置，其特征在于，
上述显示控制装置还具备疾病风险获取单元，该疾病风险获取单元获取表示上述诊断对象部分的疾病风险是否高的风险指标，
上述显示控制单元使获取到的上述风险指标与获取到的上述恶性指标、获取到的上述第一疾病属性指标、获取到的上述良性指标以及获取到的上述第二疾病属性指标相互关联地显示于显示部。
22.根据权利要求20所述的显示控制装置，其特征在于，
上述显示控制装置还具备位置决定单元，该位置决定单元决定显示与疾病有关的信息的位置坐标，
上述获取单元还获取表示上述诊断对象部分的疾病为预定的疾病的可能性的疾病指标，
上述显示控制单元通过树木结构使获取到的各指标相互关联地显示于上述显示部，其中，在上述树木结构中，将查询图像设为根节点，将基于位于由所决定的上述坐标示出的位置处的获取到的上述疾病指标的大小的概率圆设为叶节点，将基于上述诊断对象部分的疾病属性的连接线从上述根节点连接到上述叶节点。
23.根据权利要求20至22中的任一项所述的显示控制装置，其特征在于，
上述诊断对象部分为皮肤，上述第一疾病属性为黑素细胞类，上述第二疾病属性为非黑素细胞类。
24.根据权利要求18所述的显示控制装置，其特征在于，
上述显示控制装置还具备识别器，该识别器输出上述诊断对象部分的疾病与各属性相关联的概率，
上述获取单元获取与所输出的上述各属性相关联的概率作为上述各属性的指标。
25.一种显示控制系统，该显示控制系统具备显示控制装置和显示部，
其特征在于，
上述显示控制装置具备：
获取单元，其获取表示诊断对象部分的疾病属性为恶性的可能性的恶性指标以及表示上述诊断对象部分的疾病属性为预定的第一疾病属性的可能性的第一疾病属性指标；以及
显示控制单元，其使获取到的上述恶性指标和获取到的上述第一疾病属性指标相互关联地显示于上述显示部。
26.一种显示控制方法，其特征在于，
上述显示控制方法包括：
获取步骤，在该获取步骤中，获取表示诊断对象部分的疾病属性为恶性的可能性的恶性指标以及表示上述诊断对象部分的疾病属性为预定的第一疾病属性的可能性的第一疾病属性指标；以及
显示控制步骤，在该显示控制步骤中，使获取到的上述恶性指标和获取到的上述第一疾病属性指标相互关联地显示于显示部。
27.一种记录介质，该记录介质存储有程序，其特征在于，
该程序使计算机执行以下步骤：
获取步骤，在该获取步骤中，获取表示诊断对象部分的疾病属性为恶性的可能性的恶性指标以及表示上述诊断对象部分的疾病属性为预定的第一疾病属性的可能性的第一疾病属性指标；以及
显示控制步骤，在该显示控制步骤中，使获取到的上述恶性指标和获取到的上述第一疾病属性指标相互关联地显示于显示部。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311474685.9A CN117438053A (zh) | 2018-08-27 | 2019-08-23 | 显示控制装置、显示控制系统、显示控制方法及记录介质 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018158048 | 2018-08-27 | ||
| JP2018-158048 | 2018-08-27 | ||
| JP2019122644A JP7176486B2 (ja) | 2018-08-27 | 2019-07-01 | 類似画像表示制御装置、類似画像表示制御システム、類似画像表示制御方法及びプログラム |
| JP2019-122644 | 2019-07-01 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311474685.9A Division CN117438053A (zh) | 2018-08-27 | 2019-08-23 | 显示控制装置、显示控制系统、显示控制方法及记录介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110867241A true CN110867241A (zh) | 2020-03-06 |
| CN110867241B CN110867241B (zh) | 2023-11-03 |
Family
ID=69586492
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311474685.9A Pending CN117438053A (zh) | 2018-08-27 | 2019-08-23 | 显示控制装置、显示控制系统、显示控制方法及记录介质 |
| CN201910785443.9A Active CN110867241B (zh) | 2018-08-27 | 2019-08-23 | 类似图像显示控制装置、系统及方法、以及记录介质 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311474685.9A Pending CN117438053A (zh) | 2018-08-27 | 2019-08-23 | 显示控制装置、显示控制系统、显示控制方法及记录介质 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20200066396A1 (zh) |
| JP (1) | JP7380668B2 (zh) |
| CN (2) | CN117438053A (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11301273B2 (en) * | 2020-03-11 | 2022-04-12 | Atlassian Pty Ltd. | Computer user interface for a virtual workspace having multiple application portals displaying context-related content |
Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19980086683A (ko) * | 1997-05-27 | 1998-12-05 | 기타오카 다카시 | 유사 검색 장치 및 유사 검색 프로그램을 기록한 기록 매체 |
| JP2000112991A (ja) * | 1998-10-08 | 2000-04-21 | Canon Inc | 情報検索装置、情報検索方法及び記憶媒体 |
| US20040003001A1 (en) * | 2002-04-03 | 2004-01-01 | Fuji Photo Film Co., Ltd. | Similar image search system |
| CA2505311A1 (en) * | 2004-04-29 | 2005-10-29 | Microsoft Corporation | Method and system for identifying image relatedness using link and page layout analysis |
| CN1763751A (zh) * | 2004-10-21 | 2006-04-26 | 国际商业机器公司 | 用于解释扫描数据的系统和方法 |
| US20080232695A1 (en) * | 2007-02-22 | 2008-09-25 | Sony Corporation | Information processing apparatus, image display apparatus, control methods therefor, and programs for causing computer to perform the methods |
| US20080243395A1 (en) * | 2007-03-30 | 2008-10-02 | Fujifilm Corporation | Image diagnosis supporting apparatus and system |
| CN101742961A (zh) * | 2007-10-18 | 2010-06-16 | 佳能株式会社 | 诊断支持设备、控制诊断支持设备的方法及其程序 |
| JP2010250529A (ja) * | 2009-04-15 | 2010-11-04 | Yahoo Japan Corp | 画像検索装置、画像検索方法及びプログラム |
| CN102438529A (zh) * | 2008-12-22 | 2012-05-02 | 美的派特恩公司 | 自动检测医学图像中的病变的方法和系统 |
| US8352465B1 (en) * | 2009-09-03 | 2013-01-08 | Google Inc. | Grouping of image search results |
| JP2013131051A (ja) * | 2011-12-21 | 2013-07-04 | Canon Marketing Japan Inc | 情報処理装置、情報処理方法、プログラム |
| CN103838864A (zh) * | 2014-03-20 | 2014-06-04 | 北京工业大学 | 一种视觉显著性与短语相结合的图像检索方法 |
| WO2015016219A1 (ja) * | 2013-07-31 | 2015-02-05 | 富士フイルム株式会社 | 画像検索装置、画像検索方法、プログラムおよび記録媒体 |
| CN106874687A (zh) * | 2017-03-03 | 2017-06-20 | 深圳大学 | 病理切片图像智能分类方法及装置 |
| CN107798673A (zh) * | 2016-09-01 | 2018-03-13 | 卡西欧计算机株式会社 | 诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质 |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001299740A (ja) * | 2000-02-16 | 2001-10-30 | Fuji Photo Film Co Ltd | 異常陰影検出処理システム |
| JP2004135868A (ja) * | 2002-10-17 | 2004-05-13 | Fuji Photo Film Co Ltd | 異常陰影候補検出処理システム |
| JP4604451B2 (ja) * | 2003-02-24 | 2011-01-05 | コニカミノルタホールディングス株式会社 | 医用画像処理装置及び悪性度の判定方法 |
| JP5098559B2 (ja) * | 2007-10-11 | 2012-12-12 | 富士ゼロックス株式会社 | 類似画像検索装置、及び類似画像検索プログラム |
| US20120232918A1 (en) * | 2010-11-05 | 2012-09-13 | Mack Jonathan F | Electronic data capture, documentation, and clinical decision support system |
| CN104303184B (zh) * | 2012-03-21 | 2018-05-15 | 皇家飞利浦有限公司 | 整合医疗成像和活检数据的临床工作站以及使用其的方法 |
| US20140237377A1 (en) * | 2012-11-15 | 2014-08-21 | Oliver Robert Meissner | Graphical user interface methods to determine and depict relative popularity of internet offerings |
| US10127246B2 (en) * | 2016-08-16 | 2018-11-13 | Microsoft Technology Licensing, Llc | Automatic grouping based handling of similar photos |
| FR3059885B1 (fr) * | 2016-12-08 | 2020-05-08 | Koelis | Dispositif de visualisation d’un organe interne d’un patient ainsi qu’un procede de visualisation associe |
| EP3776571A1 (en) * | 2018-03-29 | 2021-02-17 | Google LLC | Similar medical image search |
| US10810075B2 (en) * | 2018-04-23 | 2020-10-20 | EMC IP Holding Company | Generating a social graph from file metadata |
| US20210343414A1 (en) * | 2018-10-22 | 2021-11-04 | The Jackson Laboratory | Methods and apparatus for phenotype-driven clinical genomics using a likelihood ratio paradigm |
-
2019
- 2019-08-23 CN CN202311474685.9A patent/CN117438053A/zh active Pending
- 2019-08-23 CN CN201910785443.9A patent/CN110867241B/zh active Active
- 2019-08-26 US US16/550,899 patent/US20200066396A1/en active Pending
-
2021
- 2021-12-15 JP JP2021203346A patent/JP7380668B2/ja active Active
Patent Citations (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19980086683A (ko) * | 1997-05-27 | 1998-12-05 | 기타오카 다카시 | 유사 검색 장치 및 유사 검색 프로그램을 기록한 기록 매체 |
| JP2000112991A (ja) * | 1998-10-08 | 2000-04-21 | Canon Inc | 情報検索装置、情報検索方法及び記憶媒体 |
| US20040003001A1 (en) * | 2002-04-03 | 2004-01-01 | Fuji Photo Film Co., Ltd. | Similar image search system |
| CA2505311A1 (en) * | 2004-04-29 | 2005-10-29 | Microsoft Corporation | Method and system for identifying image relatedness using link and page layout analysis |
| CN1763751A (zh) * | 2004-10-21 | 2006-04-26 | 国际商业机器公司 | 用于解释扫描数据的系统和方法 |
| US20080232695A1 (en) * | 2007-02-22 | 2008-09-25 | Sony Corporation | Information processing apparatus, image display apparatus, control methods therefor, and programs for causing computer to perform the methods |
| US20080243395A1 (en) * | 2007-03-30 | 2008-10-02 | Fujifilm Corporation | Image diagnosis supporting apparatus and system |
| CN101742961A (zh) * | 2007-10-18 | 2010-06-16 | 佳能株式会社 | 诊断支持设备、控制诊断支持设备的方法及其程序 |
| CN102438529A (zh) * | 2008-12-22 | 2012-05-02 | 美的派特恩公司 | 自动检测医学图像中的病变的方法和系统 |
| JP2010250529A (ja) * | 2009-04-15 | 2010-11-04 | Yahoo Japan Corp | 画像検索装置、画像検索方法及びプログラム |
| US8352465B1 (en) * | 2009-09-03 | 2013-01-08 | Google Inc. | Grouping of image search results |
| JP2013131051A (ja) * | 2011-12-21 | 2013-07-04 | Canon Marketing Japan Inc | 情報処理装置、情報処理方法、プログラム |
| WO2015016219A1 (ja) * | 2013-07-31 | 2015-02-05 | 富士フイルム株式会社 | 画像検索装置、画像検索方法、プログラムおよび記録媒体 |
| CN103838864A (zh) * | 2014-03-20 | 2014-06-04 | 北京工业大学 | 一种视觉显著性与短语相结合的图像检索方法 |
| CN107798673A (zh) * | 2016-09-01 | 2018-03-13 | 卡西欧计算机株式会社 | 诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质 |
| CN106874687A (zh) * | 2017-03-03 | 2017-06-20 | 深圳大学 | 病理切片图像智能分类方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| 李秋富等: "最大误差可控的高光谱图像聚类压缩算法", 《电子与信息学报 》 * |
| 王嵘: "基于深度学习的图像搜索算法研究", 《计算机产品与流通》 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110867241B (zh) | 2023-11-03 |
| CN117438053A (zh) | 2024-01-23 |
| JP2022033975A (ja) | 2022-03-02 |
| US20200066396A1 (en) | 2020-02-27 |
| JP7380668B2 (ja) | 2023-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dong et al. | An efficient approach for automated mass segmentation and classification in mammograms | |
| KR101993716B1 (ko) | 카테고리별 진단 모델을 이용한 병변 진단 장치 및 방법 | |
| JP5868231B2 (ja) | 医用画像診断支援装置、医用画像診断支援方法ならびにコンピュータプログラム | |
| Jaworek-Korjakowska et al. | Automatic classification of specific melanocytic lesions using artificial intelligence | |
| JP5789211B2 (ja) | 類似画像検索装置、方法及びプログラム | |
| CN105378793A (zh) | 用于在对象可能受医学状况影响时进行鉴别的系统、方法和计算机可读介质 | |
| CN111768366A (zh) | 超声成像系统、bi-rads分级方法及模型训练方法 | |
| CN110838114B (zh) | 肺结节检测方法、装置及计算机存储介质 | |
| US10238368B2 (en) | Method and system for lesion detection in ultrasound images | |
| JP2010000133A (ja) | 画像表示装置、画像表示方法及びプログラム | |
| EP3832663A1 (en) | Diagnostic support system and diagnostic support method | |
| WO2022110525A1 (zh) | 一种癌变区域综合检测装置及方法 | |
| CN110867241B (zh) | 类似图像显示控制装置、系统及方法、以及记录介质 | |
| Strzelecki et al. | Artificial Intelligence in the detection of skin cancer: state of the art | |
| CN115690486A (zh) | 识别图像中病灶方法、装置、设备及存储介质 | |
| López-Labraca et al. | Enriched dermoscopic-structure-based cad system for melanoma diagnosis | |
| JP7176486B2 (ja) | 類似画像表示制御装置、類似画像表示制御システム、類似画像表示制御方法及びプログラム | |
| JP7056698B2 (ja) | 特徴量取得装置、類似画像検索装置、表示装置、特徴量取得方法、類似画像検索方法、表示方法及びプログラム | |
| Sparks et al. | Novel morphometric based classification via diffeomorphic based shape representation using manifold learning | |
| CN113362350A (zh) | 癌症病历图像的分割方法、装置、终端设备和存储介质 | |
| CN113191413A (zh) | 基于中央凹残差网络的前列腺多模mr图像分类方法和系统 | |
| JP5083060B2 (ja) | 画像表示装置、画像表示方法及びプログラム | |
| He et al. | Intestinal polyp recognition based on salient codebook locality-constrained linear coding with annular spatial pyramid matching | |
| KR102165487B1 (ko) | 비정형 피부질환 영상데이터를 활용한 피부 질환 판독 시스템 | |
| JP5426338B2 (ja) | 症例画像検索装置、方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |