CN112822973A - 医学图像处理装置、医学图像处理方法和程序 - Google Patents

医学图像处理装置、医学图像处理方法和程序 Download PDF

Info

Publication number
CN112822973A
CN112822973A CN201980066871.4A CN201980066871A CN112822973A CN 112822973 A CN112822973 A CN 112822973A CN 201980066871 A CN201980066871 A CN 201980066871A CN 112822973 A CN112822973 A CN 112822973A
Authority
CN
China
Prior art keywords
image
quality improvement
image quality
processing apparatus
engine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980066871.4A
Other languages
English (en)
Inventor
岩濑好彦
山添学
沟部秀谦
内田弘树
富田律也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2018192132A external-priority patent/JP7229715B2/ja
Application filed by Canon Inc filed Critical Canon Inc
Publication of CN112822973A publication Critical patent/CN112822973A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/12—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes
    • A61B3/1241—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for looking at the eye fundus, e.g. ophthalmoscopes specially adapted for observation of ocular blood flow, e.g. by fluorescein angiography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30041—Eye; Retina; Ophthalmic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Mathematical Physics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Hematology (AREA)
  • Vascular Medicine (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

医学图像处理设备配设有：获取单元，其获取第一图像，该第一图像是与被检眼的三维运动对比度数据的至少部分深度范围相对应的运动对比度en‑face图像；以及图像质量增强单元，其使用包括机器学习引擎的图像质量增强引擎从第一图像生成第二图像，第二图像与第一图像相比具有增强的图像质量。

Description

医学图像处理装置、医学图像处理方法和程序
技术领域
本发明涉及一种医学图像处理装置、医学图像处理方法和程序。
背景技术
在医疗领域中，为了识别被摄体的疾病并观察疾病的程度，通过各种摄像装置获取图像，并且由医学专业人员进行图像诊断。在放射线学领域中，不同种类的摄像装置包括例如X射线摄像装置、X射线计算机断层扫描(CT)装置、磁共振摄像(MRI)装置、正电子发射断层扫描(PET)装置和单光子发射计算机断层扫描(SPECT)装置。此外，例如，在眼科领域，不同种类的摄像装置包括眼底照相机、扫描激光检眼镜(SLO)、光学相干断层扫描(OCT)装置和OCT血管造影(OCTA)装置。
为了准确地进行图像诊断并在短时间内完成图像诊断，由摄像装置获取的图像的质量水平很重要，即，图像具有低噪声、高分辨率和空间分辨率以及合适的灰度很重要。此外，在某些情况下，增强期望观察的部位或病变的图像也可能是有用的。
然而，对于许多摄像装置，为了获得适合于图像诊断的图像，例如具有高图像质量的图像，必须付出一定的代价。例如，尽管一种方法是购买高性能摄像装置以获得具有高图像质量的图像，但是在大多数情况下与购买低性能摄像装置相比，需要更大的投资。
此外，例如，当使用CT时，为了获得噪声较少的图像，有时需要增加被摄体所暴露于的放射线的量。此外，例如，当使用MRI时，在某些情况下，使用存在副作用风险的造影剂，以获得增强了期望观察的部位的图像。另外，例如，当使用OCT时，当需要加宽要摄像的区域或获得高空间分辨率时，在某些情况下，摄像时间变长。此外，例如，对于某些摄像装置，为了获得具有高图像质量的图像，必须多次获取图像，并且进行摄像所需的时间因此增加。
专利文献1公开了这样一种技术，即，为了响应医疗技术中的快速发展并且还对应于紧急情况下的简单摄像，借助于人工智能引擎将先前获取的图像转换成具有高分辨率的图像。根据该技术，例如，可以将通过简单的摄像以较少的成本获取的图像转换为具有较高分辨率的图像。
[引用列表]
[专利文献]
专利文献1：日本特开第2018-5841号公报
发明内容
[技术问题]
然而，即使图像具有高分辨率，在某些情况下也不能说该图像是适合图像诊断的图像。例如，即使当图像的分辨率高时，如果图像中存在大量噪声或对比度低等，则在某些情况下也不能适当地确定应被观察的对象。
在这点上，本发明的一个目的是提供一种医学图像处理装置、医学图像处理方法和程序，该医学图像处理装置、医学图像处理方法和程序能够产生比传统技术更适合于图像诊断的图像。
[解决问题的方案]
根据本发明的一个实施例的医学图像处理装置包括：获得单元，其被构造为获得第一图像，该第一图像是与被检眼的三维运动对比度数据的至少部分深度范围相对应的运动对比度正面图像；以及图像质量改善单元，其被构造为使用包括机器学习引擎的图像质量改善引擎，由第一图像生成与第一图像相比经过了图像质量改善的第二图像。
此外，根据本发明的另一实施例的医学图像处理方法包括：获得第一图像，该第一图像是与被检眼的三维运动对比度数据的至少部分深度范围相对应的运动对比度正面图像；以及使用包括机器学习引擎的图像质量改善引擎，由第一图像生成与第一图像相比经过了图像改善的第二图像。
[本发明的有益效果]
根据下面参照附图对示例性实施例的描述，本发明的进一步特征将变得显而易见。
附图说明
[图1]图1是示出与图像质量改善处理有关的神经网络的构造的示例的图。
[图2]图2是示出与摄像位置估计处理有关的神经网络的构造的示例的图。
[图3]图3是示出与图像的真实性(authenticity)评估处理有关的神经网络的构造的示例的图。
[图4]图4是示出根据第一实施例的图像处理装置的示意性构造的示例的图。
[图5]图5是示出根据第一实施例的图像处理的流程的示例的流程图。
[图6]图6是示出根据第一实施例的图像处理的流程的不同示例的流程图。
[图7]图7是示出根据第二实施例的图像处理的流程的示例的流程图。
[图8]图8是用于描述根据第四实施例的图像处理的图。
[图9]图9是示出根据第四实施例的图像质量改善处理的流程的示例的流程图。
[图10]图10是用于描述根据第五实施例的图像处理的图。
[图11]图11是示出根据第五实施例的图像质量改善处理的流程的示例的流程图。
[图12]图12是用于描述根据第六实施例的图像处理的图。
[图13]图13是示出根据第六实施例的图像质量改善处理的流程的示例的流程图。
[图14A]图14A是用于描述根据第六实施例的图像处理的图。
[图14B]图14B是用于描述根据第六实施例的图像处理的图。
[图14C]图14C是用于描述根据第六实施例的图像处理的图。
[图14D]图14D是用于描述根据第六实施例的图像处理的图。
[图15]图15是示出根据第七实施例的图像处理装置的示意性构造的示例的图。
[图16]图16是示出根据第七实施例的图像处理的流程的示例的流程图。
[图17]图17是示出根据第七实施例的用户界面的示例的图。
[图18]图18是示出根据第九实施例的图像处理装置的示意性构造的示例的图。
[图19]图19是示出根据第九实施例的图像处理的流程的示例的流程图。
[图20]图20是示出根据第十二实施例的图像处理装置的示意性构造的示例的图。
[图21A]图21A是示出根据第十三实施例的图像质量改善处理的流程的示例的流程图。
[图21B]图21B是示出根据第十三实施例的图像质量改善处理的流程的不同示例的流程图。
[图22]图22是示出根据第十七实施例的图像处理装置的示意性构造的示例的图。
[图23]图23是示出根据第十七实施例的图像处理的流程的示例的流程图。
[图24]图24是示出与图像质量改善处理有关的神经网络的构造的示例的图。
[图25]图25是示出根据第十九实施例的图像处理装置的示意性构造的示例的图。
[图26]图26是示出根据第十九实施例的图像处理的流程的示例的流程图。
[图27]图27是示出根据第二十一实施例的图像处理的流程的示例的流程图。
[图28A]图28A是示出与图像质量改善处理有关的训练图像的示例的图。
[图28B]图28B是示出与图像质量改善处理有关的训练图像的示例的图。
[图29A]图29A是示出与图像质量改善处理有关的输入图像的示例的图。
[图29B]图29B是示出与图像质量改善处理有关的输入图像的示例的图。
[图30]图30是示出根据第二十二实施例的图像处理装置的示意性构造的示例的图。
[图31A]图31A是示出根据第二十二实施例的图像处理的流程的示例的流程图。
[图31B]图31B是示出根据第二十二实施例的图像处理的流程的示例的流程图。
[图32A]图32A是用于描述根据第二十二实施例的广角图像的多视图。
[图32B]图32B是用于描述根据第二十二实施例的广角图像的图。
[图32C]图32C是用于描述根据第二十二实施例的广角图像的图。
[图33A]图33A是用于描述根据第二十三实施例的图像质量改善处理的图。
[图33B]图33B是用于描述根据第二十二实施例的广角图像的图。
[图33C]图33C是用于描述根据第二十二实施例的广角图像的图。
[图34A]图34A是示出根据第二十四实施例的用户界面的示例的图。
[图34B]图34B是示出根据第二十四实施例的用户界面的示例的图。
[图35]图35是示出根据第二十五实施例的图像处理装置的示意性构造的示例的图。
[图36A]图36A是示出根据变型6的用作机器学习引擎的神经网络的构造的示例的图。
[图36B]图36B是示出根据变型6的用作机器学习引擎的神经网络的构造的示例的图。
[图37A]图37A是示出根据变型6的用作机器学习引擎的神经网络的构造的示例的图。
[图37B]图37B是示出根据变型7的用作机器学习引擎的神经网络的构造的示例的图。
[图38]图38是示出根据第二十四实施例的用户界面的示例的图。
具体实施方式
现在将根据附图详细地描述本发明的示例性实施例。然而，以下实施例中描述的部件的尺寸、材料、形状和相对位置不是确定的，并且可以根据应用本发明的装置的构造或根据各种条件而改变。此外，在不同附图中，相同或功能相似的元件由相同的附图标记表示。
<术语解释>
首先，将描述本说明书中使用的术语。
在本说明书中描述的网络中，可以使用有线或无线连接来连接各个装置。这里，连接网络中的各装置的连接类型包括例如专用线路、局域网(以下称为“LAN”)连接、无线LAN连接、因特网连接、Wi-Fi(注册商标)和蓝牙(注册商标)。
医学图像处理装置可以由能够彼此通信的两个或更多个装置构成，或者可以由单个装置构成。此外，医学图像处理装置的各个部件可以由诸如CPU(中央处理单元)或MPU(微处理单元)的处理器执行的软件模块来实现。此外，各个部件可以由诸如ASIC的具有特定功能的电路等来实现。此外，可以通过任何其他硬件或任何软件的组合来实现各个部件。
要由根据下文描述的实施例的医学图像处理装置或医学图像处理方法处理的医学图像包括使用任意模态(摄像装置或摄像方法)获得的图像。要处理的医学图像可以包括通过任何摄像装置等获得的医学图像，以及通过根据下文描述的实施例的医学图像处理装置或医学图像处理方法创建的图像。
另外，要处理的医学图像是被摄体(被检查者)的预定部位的图像，并且该预定部位的图像包括被摄体的预定部位的至少一部分。医学图像还可包括被摄体的另一个部位。医学图像可以是静止图像或运动图像，并且可以是黑白图像或彩色图像。另外，医学图像可以是表示预定部位的结构(形式)的图像，或者可以是表示预定部位的功能的图像。例如，表示功能的图像包括诸如OCTA图像、多普勒OCT图像、fMRI图像和超声多普勒图像的表示血液动力学(血流量、血流速度等)的图像。请注意，可以根据摄像目标确定被摄体的预定部位，并且这些预定部位包括诸如人眼(被检眼)、脑、肺、肠、心脏、胰腺、肾脏和肝脏的器官，以及诸如头、胸、腿和手臂的任何部位。
此外，医学图像可以是被摄体的断层扫描图像，或者可以是正面图像。正面图像的示例包括眼底的正面图像、眼前段的正面图像、通过荧光摄像获得的眼底图像以及使用关于通过OCT获得的数据(三维OCT数据)的在摄像目标的深度方向上的至少部分范围的数据生成的面内图像(en-face image)。请注意，面内图像可以是使用关于三维OCTA数据(三维运动对比度数据)的在摄像目标的深度方向上的至少部分范围的数据而生成的OCTA面内图像(运动对比度正面图像)。此外，三维OCT数据或三维运动对比度数据是三维医学图像数据的示例。
另外，术语“摄像装置”是指用于进行摄像以获得要用于诊断的图像的装置。摄像装置的示例包括通过用光、诸如X射线的放射线、电磁波或超声波等照射预定部位来获得被摄体的预定部位的图像的装置，以及通过检测从被摄体发出的放射线来获得预定部位的图像的装置。更具体地，根据下文描述的实施例的摄像装置的示例至少包括X射线摄像装置、CT装置、MRI装置、PET装置、SPECT装置、SLO装置、OCT装置、OCTA装置、眼底照相机和内窥镜。
请注意，可以包括时域OCT(TD-OCT)装置和傅立叶域OCT(FD-OCT)装置作为OCT装置的示例。此外，傅里叶域OCT装置的示例可以包括频谱域OCT(SD-OCT)装置和扫频源OCT(SS-OCT)装置。此外，可以将使用自适应光学系统等的自适应光学SLO(AO-SLO)装置和自适应光学OCT(AO-OCT)装置分别作为SLO装置或OCT装置的示例被包括在内。此外，可以将用于可视化与偏振相位差或去偏振有关的信息的偏振敏感SLO(PS-OCT)装置和偏振敏感OCT(PS-OCT)装置等分别作为SLO装置或OCT装置的示例被包括在内。
术语“图像管理系统”是指接收和存储由摄像装置摄像的图像和经过图像处理的图像的装置和系统。图像管理系统还可以响应于来自所连接的装置的请求来发送图像，对存储的图像进行图像处理，并且请求其他装置执行对图像处理的请求。图像管理系统的示例包括图片存档和通信系统(PACS)。特别地，根据下文描述的实施例的图像管理系统包括数据库，该数据库还能够与接收到的图像一起存储各种信息，例如与被摄体有关的信息以及与该图像相关联的摄像时间。此外，图像管理系统连接到网络，并且响应于来自其他装置的请求，可以发送和接收图像，转换图像，并且发送和接收与所存储的图像相关联的各种信息。
术语“摄像条件”是指与当对由摄像装置获得的图像进行摄像时的条件有关的各种信息。摄像条件包括例如与摄像装置有关的信息、与进行摄像的设施有关的信息、关于与摄像有关的检查的信息、与进行摄像的人有关的信息以及与被摄体有关的信息。摄像条件还包括例如摄像日期和时间、摄像部位名称、摄像区域、摄像视角、摄像系统、图像分辨率和灰度、图像尺寸、所应用的图像滤波器、关于图像数据格式的信息以及关于辐射量的信息。请注意，摄像区域的示例可以包括偏离特定摄像部位的外围区域，以及包括多个摄像部位的区域。
摄像条件可以被存储在构成图像的数据结构中，可以被存储为与图像分离的摄像条件数据，或者可以被存储在与摄像装置相关联的数据库或图像管理系统中。因此，可以通过与用于存储摄像装置的摄像条件的单元相对应的过程来获得摄像条件。具体地，例如，通过如下方式来获得摄像条件：分析由摄像装置输出的图像的数据结构，获取与该图像相对应的摄像条件数据，或者访问用于从与该摄像装置相关联的数据库中获得摄像条件的接口。
请注意，依据摄像装置，还可能存在由于未存储摄像条件的原因而无法获得的摄像条件。这种情况的示例包括摄像装置不具有用于获得和存储特定摄像条件的功能的情况，或者这种功能已被禁用的情况。此外，例如，还存在不存储摄像条件的情况，因为它是与摄像装置或摄像无关的摄像条件。另外，例如，还存在这样的情况，在没有获得摄像条件的权利的情况下，隐藏、加密或无法获得摄像条件。然而，存在甚至可以获得未存储的摄像条件的情况。例如，可以通过进行图像分析来识别摄像部位名称或摄像区域。
术语“机器学习模型”是指针对任何机器学习算法，预先使用适当的训练数据(学习数据)进行训练(学习)的模型。训练数据由输入数据和输出数据(正确答案数据)所构成的一个或更多个配对组构成。请注意，构成训练数据的配对组的输入数据和输出数据的格式和组合可以适合于期望的构造，例如，配对中的一个可以是图像而另一个可以是数值，或者配对中的一个可以由多个图像组构成而另一个可以是字符串，或者配对中的两个元素都可以是图像。
具体地，训练数据的示例可以包括由配对组构成的训练数据(以下称为“第一训练数据”)，其中各配对包括通过OCT获得的图像和与相关图像相对应的摄像部位标签。请注意，摄像部位标签是表示部位的唯一数值或字符串。此外，其他训练数据的示例可以包括由配对组构成的训练数据(以下称为“第二训练数据”)，其中各配对包括通过正常OCT摄像获得的具有大量噪声的低质量图像以及通过多次进行OCT摄像和进行图像质量改善处理而获得的高质量图像。
当输入数据输入到机器学习模型时，输出根据相关机器学习模型的设计的输出数据。例如，机器学习模型根据使用训练数据对机器学习模型进行训练的趋势输出具有与输入数据相对应的高概率的输出数据。此外，例如，根据使用训练数据训练机器学习模型的趋势，机器学习模型可以针对每种输出数据将与输入数据相对应的概率输出为数值。具体地，例如，当通过OCT获取的图像被输入到用第一训练数据训练的机器学习模型时，机器学习模型输出在相关图像中摄像的摄像部位的摄像部位标签，或者输出每个摄像部位标签的概率。此外，例如，当通过正常OCT摄像获得的具有大量噪声的低质量图像被输入到用第二训练数据训练的机器学习模型时，机器学习模型输出与通过OCT进行多次摄像并进行图像质量改善处理而获得的图像等效的高质量图像。请注意，关于机器学习模型，从保持质量的观点出发，可以将机器学习模型构造为不使用机器学习模型自身输出的输出数据作为训练数据。
此外，机器学习算法包括与诸如卷积神经网络(CNN)的深度学习有关的技术。在与深度学习有关的技术中，如果关于构成神经网络的层组和节点组的参数设置不同，则在某些情况下，使用训练数据训练的趋势在输出数据中可再现的程度将不同。例如，在使用第一训练数据的深度学习的机器学习模型中，如果设置了更合适的参数，则输出正确的摄像部位标签的概率可能会更高。此外，例如，在使用第二训练数据的深度学习的机器学习模型中，如果设置了更合适的参数，则在某些情况下，可以输出具有更高图像质量的图像。
具体地，在CNN的情况下的参数可以包括例如针对卷积层设置的滤波器的核大小、滤波器的数目、步幅的值和膨胀值，并且还包括从完全连接层输出的节点数。请注意，可以基于训练数据将参数组和训练时期数设置为对于机器学习模型的利用形式优选的值。例如，基于训练数据，可以设置参数组或时期数，其使得能够以更高的概率输出正确的摄像部位标签或以更高的图像质量输出图像。
现在将作为示例描述用于确定这种参数组或时期数的一种方法。首先，将构成训练数据的配对组中的70％设置为训练用途，而将其余30％随机设置为评估用途。接下来，使用用于训练用途的配对组来进行机器学习模型的训练，并且在每个训练时期结束时，使用用于评估用途的配对组来计算训练评估值。术语“训练评估值”是指例如一组值的平均值，该组值是通过损失函数对当在各配对中包括的输入数据输入到正在训练的机器学习模型中时的输出以及与输入数据相对应的输出数据进行评估而获得的。最后，将训练评估值最小时的参数组和时期数确定为相关机器学习模型的参数组和时期数。请注意，通过将构成训练数据的配对组划分为用于训练用途的配对组和用于评估用途的配对组，并以此方式确定时期数，可以防止机器学习模型相对于用于训练的配对组学习过度的情况的发生。
术语“图像质量改善引擎(用于改善图像质量的学习模型)”是指输出通过改善输入的低质量图像的图像质量而获得的高质量图像的模块。这里，如本说明书中使用的术语“改善图像质量”是指将输入图像转换成具有更适合图像诊断的图像质量的图像，并且术语“高质量图像”是指已经转换为具有更适合图像诊断的图像质量的图像的图像。此外，术语“低质量图像”是指通过在没有设置任何特定设置以获得高图像质量的情况下进行摄像而获得的图像，例如，通过X射线摄像、CT、MRI、OCT、PET或SPECT获得的二维图像或三维图像，或通过连续摄像获得的三维CT运动图像。具体地，低质量图像的示例包括由X射线摄像装置或通过CT以少量放射线摄像而获得的图像、通过不使用造影剂的MRI摄像而获得的图像、通过作为短时摄像的OCT摄像而获得的图像以及通过进行少量次数的摄像而获得的OCTA图像。
此外，适合于图像诊断的图像质量的内容依据使用各种图像诊断进行诊断的期望是什么。因此，虽然不可能无条件地说，例如，适合图像诊断的图像质量包括如下图像质量，其中噪声量低，对比度高，以使摄像目标易于观察的颜色和灰度显示摄像目标，图像尺寸大，且分辨率高。另外，适合于图像诊断的图像质量可以包括使得从图像中去除在图像生成过程中呈现的实际上不存在的对象或灰度的图像质量。
此外，如果利用噪声少且对比度高的高质量图像进行图像分析，例如OCTA图像等的血管分析处理或CT或OCT图像等的区域分割处理，则在许多情况下，与使用低质量图像的情况相比，可以更准确地进行分析。因此，由图像质量改善引擎输出的高质量图像有时不仅对于图像诊断而且对于图像分析都是有用的。
在下文描述的实施例中的构成图像质量改善技术的图像处理技术中，进行使用诸如深度学习的各种机器学习算法的处理。请注意，在讨论的图像处理技术中，除了使用机器学习算法的处理之外，还可以进行任何现有处理，例如，各种图像滤波处理、使用与相似图像相对应的高质量图像的数据库的匹配处理以及基于知识的图像处理。
特别地，图1中所示的构造可用作改善二维图像的图像质量的CNN的构造的示例。CNN的构造包括多个卷积处理块100的组。各卷积处理块100包括卷积层101、批归一化层102和使用整流器线性单元的激活层103。CNN的构造还包括合并层104和最后卷积层105。卷积处理块100的输出值组和构成相关图像的像素值组由合并层104连结、相加并合并。最后卷积层105输出构成由合并层104合并的高质量图像Im120的像素值组。在这样的构造中，当经过卷积处理块100组的处理之后输出构成输入图像Im110的像素值组时获得的值组，以及构成输入图像Im110的像素值组由合并层104合并。此后，由最后卷积层105将合并的像素值组形成高质量图像Im120。
请注意，例如，通过将卷积处理块100的数目设置为16，并且作为卷积层101组的参数，将滤波器的核大小设置为三个像素的宽度和三个像素的高度，以及将滤波器的数目设置为64，获得一定的图像质量改善效果。然而，实际上，如在前述机器学习模型的描述中所提到的，可以通过使用与机器学习模型的利用形式相对应的训练数据来设置更好的参数组。请注意，在需要处理三维图像或四维图像的情况下，滤波器的核大小可以扩展为三维或四维。
请注意，当使用诸如使用CNN的图像处理的某些图像处理技术时，需要注意图像尺寸。具体地，应该记住，为了克服诸如高质量图像的外围部分的图像质量没有得到充分改善的问题，在某些情况下，输入的低质量图像和输出的高质量图像需要不同的图像尺寸。
尽管为了提供清楚的描述而在稍后描述的实施例中没有具体描述，但是在采用图像质量改善引擎(输入到图像质量改善引擎的图像和从图像质量改善引擎输出的图像需要不同的图像尺寸)的情况下，假定以适当的方式调整图像尺寸。具体地，针对输入图像，诸如用于训练机器学习模型的训练数据中所使用的图像或要输入至图像质量改善引擎的图像，进行填充，或者，将相关输入图像的外围的摄像区域结合在一起，从而调整图像尺寸。请注意，根据图像质量改善技术的特性，经过填充的区域使用固定像素值被装填，或者使用邻近像素值被装填，或者被镜像填充，从而可以有效地进行图像质量改善。
此外，图像质量改善技术有时仅使用一种图像处理技术来进行，并且有时使用两种或更多种图像处理技术的组合来进行。另外，还存在以下情况：并行进行一组多个高图像质量技术的处理以生成一组多个高质量图像，然后最终选择具有最高图像质量的高质量图像作为高质量图像。请注意，对具有最高图像质量的高质量图像的选择可以使用图像质量评估指标自动进行，或者可以通过在配备有任何显示单元等的用户界面上显示一组多个高质量图像来进行，从而可以根据检查者(用户)的指令进行选择。
请注意，由于还存在未经过图像质量改善的输入图像适于图像诊断的情况，因此可以将输入图像添加到用于选择最终图像的对象中。此外，可以将参数与低质量图像一起输入到图像质量改善引擎中。例如，可以将指定进行图像质量改善的程度的参数或指定要在图像处理技术中使用的图像滤波器大小的参数与输入图像一起输入到图像质量改善引擎。
术语“摄像位置估计引擎”是指估计输入图像的摄像部位或摄像区域的模块。摄像位置估计引擎可以输出在输入图像中描绘的摄像部位或摄像区域的位置，或者对于所需详细级别的各摄像部位标签或摄像区域标签，可以输出成为相关摄像部位或摄像区域的概率。
在某些情况下，摄像装置没有将摄像部位或摄像区域存储为摄像条件，或者摄像装置无法获取和存储摄像部位或摄像区域。还存在如下情况：即使存储了摄像部位或摄像区域，也没有存储所需详细级别的摄像部位或摄像区域。例如，如果仅将“眼球的后段”存储为摄像部位，则可能无法知道摄像部位的详细位置是“黄斑区域”还是“视神经乳头”，还是“黄斑区域和视神经乳头”，还是“其他区域”。此外，又例如，如果仅将“乳房”存储为摄像部位，则可能无法更详细地知道这是“右乳房”还是“左乳房”还是“两者”。因此，通过使用摄像位置估计引擎，可以估计这种情况下的输入图像的摄像部位或摄像区域。
在构成摄像位置估计引擎的估计方法的图像和数据处理技术中，进行使用诸如深度学习的各种机器学习算法的处理。请注意，在讨论的图像和数据处理技术中，除了使用机器学习算法进行的处理之外或代替使用机器学习算法进行的处理，可以进行任何现有的估计处理，例如，自然语言处理、使用相似图像和相似数据的数据库的匹配处理以及基于知识的处理。请注意，可以采用将附有摄像部位或摄像区域的标签的图像作为用于训练使用机器学习算法建立的机器学习模型的训练数据。在这种情况下，训练数据的图像用作输入数据，并且摄像部位或摄像区域的标签用作输出数据。
特别地，图2中所示的构造可用作估计二维图像的摄像位置的CNN的构造的示例。CNN的构造包括多个卷积处理块200的组，各卷积处理块200由卷积层201、批归一化层202和使用整流器线性单元的激活层203构成。CNN的构造还包括最后卷积层204、完全连接层205和输出层206。完全连接层205完全连接卷积处理块200的输出值组。此外，输出层206利用softmax函数将关于输入图像Im210的各假定摄像部位标签的概率输出为估计结果(Result)207。在这种构造中，例如，如果输入图像Im210是通过对“黄斑区域”进行摄像而获得的图像，则对应于“黄斑区域”的摄像部位标签输出最高概率。
注意，例如，通过将卷积处理块200的数目设置为16，并且作为卷积层201组的参数，将滤波器的核大小设置为三个像素的宽度和三个像素的高度，以及将滤波器的数目设置为64，可以以一定的精度估计摄像部位。然而，实际上，如在前述机器学习模型的描述中所提到的，可以通过使用与机器学习模型的利用形式相对应的训练数据来设置更好的参数组。注意，在需要处理三维图像或四维图像的情况下，滤波器的核大小可以扩展为三维或四维。请注意，估计方法有时仅使用一种图像和数据处理技术来执行，并且有时使用两种或更多种图像和数据处理技术的组合来执行。
术语“图像质量评估引擎”是指针对输入图像输出图像质量评估指标的模块。在计算图像质量评估指标的图像质量评估处理技术中，进行使用诸如深度学习的各种机器学习算法的处理。请注意，在图像质量评估处理技术中，可以进行任何现有的评估处理，例如利用图像噪声测量算法的处理和利用与相似图像或眼底图像相对应的图像质量评估指标的数据库的匹配处理。请注意，除了使用机器学习算法的处理之外或代替使用机器学习算法的处理，可以进行这种类型的评估处理。
例如，可以通过使用机器学习算法建立的机器学习模型来获得图像质量评估指标。在这种情况下，构成用于训练机器学习模型的训练数据的配对的输入数据是由根据各种摄像条件预先摄像的低质量图像组和高质量图像组构成的图像组。此外，构成用于训练机器学习模型的训练数据的配对的输出数据是例如图像质量评估指标组，该图像质量评估指标组由进行图像诊断的检查者针对输入数据的各图像组来设置。
如本发明的说明书中使用的术语“真实性评估引擎”是指评估输入图像的呈现并以一定的精度评估该图像是否为由目标摄像装置进行摄像而获得的模块。在真实性评估处理技术中，进行使用诸如深度学习的各种机器学习算法的处理。请注意，在真实性评估处理技术中，除了使用机器学习算法的处理之外或代替使用机器学习算法的处理，可以进行任何现有的评估处理，例如基于知识的处理。
例如，可以通过使用机器学习算法建立的机器学习模型来实现真实性评估处理。首先，将描述用于机器学习模型的训练数据。训练数据包括由预先根据各种摄像条件摄像的高质量图像组和指示相关图像是通过由目标摄像装置进行摄像而获得的标签(以下称为“真实标签(real label)”)构成的配对组。此外，训练数据包括由将低质量图像输入到图像质量改善引擎(第一级图像质量改善引擎)中而生成的高质量图像组和指示相关图像不是通过由目标摄像装置进行摄像而获得的标签(以下称为“伪标签”)构成的配对组。当第一级图像质量改善引擎生成的高质量图像被输入到使用这种训练数据训练的机器学习模型时，机器学习模型输出伪标签。
特别地，图3中所示的构造可用作对二维图像进行真实性评估处理的CNN的构造的示例。CNN的构造包括多个卷积处理块300的组，各卷积处理块300由卷积层301、批归一化层302和使用整流器线性单元的激活层303构成。CNN的构造还包括最后卷积层304、完全连接层305和输出层306。完全连接层305完全连接卷积处理块300的输出值组。另外，输出层306利用S(sigmoid)函数输出表示真实标签的值1(真)或表示伪标签的值0(假)作为针对输入图像Im310的真实性评估处理的结果(Result)307。
注意，例如，通过将卷积处理块300的数目设置为16，并且作为卷积层301组的参数，将滤波器的核大小设置为三个像素的宽度和三个像素的高度，以及将滤波器的数目设置为64，以一定的精度获得真实性评估处理的正确结果。然而，实际上，如在前述机器学习模型的描述中所提到的，可以通过使用与机器学习模型的利用形式相对应的训练数据来设置更好的参数组。注意，在需要处理三维图像或四维图像的情况下，滤波器的核大小可以扩展为三维或四维。
在某些情况下，当由与第一级图像质量改善引擎相比进行更高级的图像质量改善的图像质量改善引擎(第二级图像质量改善引擎)生成的高质量图像被输入到真实性评估引擎时，真实性评估引擎输出真实标签。换句话说，虽然事实并不是真实性评估引擎可以肯定地评估输入图像是否是通过由摄像装置进行摄像而获得，但是真实性评估引擎可以评估该图像是否看起来像通过由摄像装置进行摄像而获得的图像。利用该特性，通过将图像质量改善引擎所生成的高质量图像输入到真实性评估引擎中，可以评估图像质量改善引擎所生成的高质量图像是否经过了充分的图像质量改善。
此外，可以通过协调和训练图像质量改善引擎的机器学习模型和真实性评估引擎的机器学习模型来提高图像质量改善引擎和真实性评估引擎两者的效率和精度。在这种情况下，首先，训练图像质量改善引擎的机器学习模型，使得当使真实性评估引擎评估高图像质量引擎生成的高质量图像时输出真实标签。此外，与此并行地对真实性评估引擎的机器学习模型进行训练，以便在使真实性评估引擎评估图像质量改善引擎生成的图像时输出伪标签。另外，与此并行地对真实性评估引擎的机器学习模型进行训练，以便在使真实性评估引擎评估由摄像装置获得的图像时输出真实标签。通过这种方式，提高了图像质量改善引擎和真实性评估引擎的效率和精度。
<第一实施例>
在下文中，参照图4和图5描述根据第一实施例的医学图像处理装置。图4是示出根据本实施例的图像处理装置的示意性构造的示例的图。
图像处理装置400通过电路或网络连接到摄像装置10和显示单元20。摄像装置10和显示单元20也可以直接连接。请注意，尽管在本实施例中假定这些装置是彼此分离的装置，但是这些装置中的一些或全部可以彼此一体地构成。此外，这些装置可以通过电路或网络连接到任何其他装置，并且可以与任何其他装置一体地构成。
在图像处理装置400中配设有获得单元401、摄像条件获得单元402、图像质量改善可能性确定单元403、图像质量改善单元404和输出单元405(显示控制单元)。请注意，图像处理装置400可以由多个装置构成，多个装置的各个配设有这些部件中的一个或更多个。获得单元401可以从摄像装置10或其他装置获得各种数据和图像，并且可以通过输入装置(未示出)获得检查者进行的输入。可以采用鼠标、键盘、触摸面板和任何其他输入装置作为输入装置。另外，显示单元20可以被构造为触摸面板显示器。
摄像条件获得单元402获得获得单元401获得的医学图像(输入图像)的摄像条件。具体地，根据医学图像的数据格式，获得存储在构成医学图像的数据结构中的摄像条件组。请注意，在医学图像中未存储摄像条件的情况下，可以通过获得单元401从摄像装置10或图像管理系统获得包括摄像条件组的摄像信息组。
图像质量改善可能性确定单元403使用由摄像条件获得单元402获得的摄像条件组来确定相关医学图像是否可以由图像质量改善单元404处理。图像质量改善单元404进行处理以改善能够处理的医学图像的图像质量，从而生成了适合图像诊断的高质量图像。输出单元405使显示单元20显示图像质量改善单元404所生成的高质量图像、输入图像以及各种信息等。输出单元405还可将所生成的高质量图像等存储在连接至图像处理装置400的存储装置(存储单元)中。
接下来，将详细描述图像质量改善单元404。在图像质量改善单元404中配设有图像质量改善引擎。根据依据本实施例的图像质量改善引擎的图像质量改善技术，进行使用机器学习算法的处理。
在本实施例中，由配对组构成的训练数据用于训练与机器学习算法有关的机器学习模型，该配对组由配对的输入数据和输出数据构成，该输入数据是具有被假定为处理对象的特定摄像条件的低质量图像，而输出数据是与该输入数据相对应的高质量图像。请注意，特定摄像条件具体地包括预先确定的摄像部位、摄像系统、摄像视角、图像尺寸等。
在本实施例中，训练数据的输入数据是通过与摄像装置10相同型号的设备并且使用与摄像装置10相同的设置而获得的低质量图像。此外，训练数据的输出数据是使用与摄像装置10相同型号的设备配备的设置和图像处理而获得的高质量图像。具体地，输出数据例如是通过对多次进行摄像而获得的图像(源图像)组进行诸如加法平均的叠加处理而获得的高质量图像(叠加图像)。这里，将以高质量图像和低质量图像为例，描述OCTA运动对比度数据。在这种情况下，术语“运动对比度数据”是指与OCTA等一起使用的数据，该数据是通过对摄像目标的同一位置重复进行摄像并在摄像期间检测摄像目标的时间变化而获得的。此时，可以通过使用所计算出的运动对比度数据(三维医学图像数据的一个示例)当中的摄像目标的深度方向上的期望范围的数据生成正面图像来生成OCTA面内图像(运动对比度正面图像)。请注意，在下文中，当在同一位置处重复进行摄像以获得OCT数据时获得的图像的数目被称为“NOR”(重复次数)。
在本实施例中，将使用图28A和图28B描述两种不同类型的方法，作为通过叠加处理生成高质量图像和低质量图像的示例。
第一种方法涉及由通过对摄像目标的同一位置重复摄像而获得的OCT数据生成的运动对比度数据，并且将使用图28A以高质量图像为例进行描述。在图28A中，附图标记Im2810表示三维运动对比度数据，并且附图标记Im2811表示构成三维运动对比度数据的二维运动对比度数据。此外，附图标记Im2811-1至Im2811-3表示用于生成运动对比度数据Im2811的OCT断层扫描图像(B扫描)。这里，术语“NOR”是指针对图28A中的Im2811-1至Im2811-3的OCT断层扫描图像的数目，并且在该图中所示的示例中，NOR是3。图像Im2811-1至Im2811-3是以预定的时间间隔(Δt)被摄像的。请注意，术语“同一位置”是指在被检眼的前方向(X-Y)上的一条线，并且在图28A中，对应于Im2811的位置。请注意，前方向是与深度方向相交的方向的示例。由于运动对比度数据是通过检测时间变化而获得的数据，因此需要进行至少两次NOR以生成该数据。例如，当NOR为2时，生成一个运动对比度数据。当NOR为3时，在仅使用以连续的时间间隔(第一时间和第二时间，第二时间和第三时间)获得的OCT来生成运动对比度数据的情况下，生成两个数据。当通过还使用以分开的时间间隔(第一时间和第三时间)获得的OCT数据来生成运动对比度数据时，总共生成了三个数据。换句话说，随着NOR增加到三次、四次、......，同一位置的运动对比度数据的数目也增加。通过对准通过对同一位置重复进行摄像而获得的多个运动对比度数据，并且对所对准的运动对比度数据进行诸如加法平均的叠加处理，可以生成高图像质量的运动对比度数据。为此，将NOR设置为至少3或更多，并且期望将NOR设置为5或更多。另一方面，将处于进行诸如加法平均的叠加处理之前的状态下的运动对比度数据作为与其相对应的低质量图像的示例。在这种情况下，当进行诸如加法平均的叠加处理时，期望采用低质量图像作为参考图像。当进行叠加处理时，如果预先通过改变目标图像相对于参考图像的位置或使目标图像相对于参考图像的形状变形来进行对准，则参考图像和叠加处理之后的图像之间几乎没有空间位移。因此，可以容易地制作包括低质量图像和高质量图像的配对。请注意，可以采用经过用于对准的图像变形处理的目标图像而不是参考图像作为低质量图像。通过采用源图像组的各图像(参考图像和目标图像)作为输入数据，并采用对应的叠加图像作为输出数据，可以生成多个配对的组。例如，在从15个源图像的组中获得一个叠加图像的情况下，可以生成由源图像组中的第一源图像和叠加图像组成的配对，并且可以生成由源图像组中的第二源图像和叠加图像组成的配对。因此，在从15个源图像的组中获得一个叠加图像的情况下，可以通过使用在各配对中的在源图像组中的一个图像和叠加图像来生成15个配对的组。请注意，可以通过在主扫描(X)方向上对同一位置重复进行摄像并且在使摄像位置在副扫描(Y)方向上移动的同时进行扫描来生成三维高图像质量数据。
第二方法涉及通过对摄像目标的同一区域进行多次摄像而获得的运动对比度数据进行叠加处理来生成高质量图像的处理，并且将使用图28B进行描述。请注意，术语“同一区域”是指被检眼的前方向(X-Y)上的诸如3×3mm区域或10×10mm区域的区域，并且意味着获得包括断层扫描图像的深度方向的三维运动对比度数据。当对同一区域进行多次摄像并且进行叠加处理时，为了缩短一次进行的摄像，期望使NOR为两次或三次。此外，为了生成具有高图像质量的三维运动对比度数据，获得同一区域的至少两个或更多个三维数据。图28B示出了多个三维运动对比度数据的示例。与以上使用图28A描述的示例类似，附图标记Im2820至Im2840表示三维运动对比度数据。使用这两个或更多个三维运动对比度数据进行前方向(X-Y)和深度方向(Z)的对准处理，并且，然后从各数据中去除将成为伪像的数据后，进行求平均处理。因此，可以生成去除了伪像的具有高图像质量的一个三维运动对比度数据。通过由三维运动对比度数据生成任意平面来获得高质量图像。另一方面，期望采用当进行诸如加法平均的叠加处理时由参考数据生成的任意平面，作为与高质量图像相对应的低质量图像。如以上针对第一种方法描述的，由于在参考图像和加法平均之后的图像之间几乎没有空间位移，所以可以容易地制作包括低质量图像和高质量图像的配对。请注意，可以采用由进行了用于对准的图像变形处理的目标数据而不是参考数据生成的任意平面，作为低质量图像。
在第一种方法中，由于摄像本身是在一轮摄像之后完成的，因此被摄体的负担较小。然而，随着NOR数目的增加，一轮摄像所需的时间也增加。另外，在进行摄像的同时伪像(诸如眼睛的浑浊或睫毛)进入的情况下，并不总是获得良好的图像。在第二种方法中，由于多次进行摄像，因此被摄体的负担略微增加。然而，一轮摄像所需的时间很短，即使在一轮摄像中产生了伪像，只要在另一轮摄像中没有对伪像进行摄像，也有可能最终获得几乎没有伪像的清晰的图像。当收集数据时，考虑到这些特性，根据被摄体的情况选择任意方法。
尽管已经以运动对比度数据为例描述了本实施例，但是本发明不限于此。由于为了生成运动对比度数据而获得OCT数据，因此可以使用OCT数据以相同的方式进行前述方法。另外，尽管已经从本实施例中省略了关于跟踪处理的描述，但是期望在对被检眼进行跟踪的同时进行摄像，以便对被检眼的同一位置或同一区域进行摄像。
在本实施例中，由于可以制作由三维高图像质量数据和三维低图像质量数据组成的配对，所以可以由三维数据生成任意配对的二维图像。现在将使用图29A和图29B对此进行描述。例如，当将目标图像用作OCTA面内图像时，基于三维数据在期望的深度范围内生成OCTA面内图像。术语“期望的深度范围”是指图28A和图28B中的Z方向上的范围。在这种情况下生成的OCTA面内图像的示例在图29A中示出。使用诸如表面层(Im2910)、深层(Im2920)、外层(Im2930)和脉络膜血管网络(Im2940)的在不同深度范围内生成的OCTA面内图像作为OCTA面内图像进行学习。请注意，OCTA面内图像的种类不限于这些示例，并且可以通过生成通过改变用作基准的层和偏移值来设置不同深度范围的OCTA面内图像来增加种类。当进行学习时，可以针对不同深度的各OCTA面内图像分别进行学习，可以通过组合不同深度范围内的多个图像来进行学习(例如，在表面层侧和深度层之间分割图像)，或者可以通过一起学习所有深度范围的OCTA正面图像来进行学习。在也由OCT数据生成的亮度面内图像的情况下，类似于OCTA面内图像，使用从任意深度范围生成的多个面内图像进行学习。例如，让我们考虑这样一种情况：图像质量改善引擎包括机器学习引擎，该机器学习引擎使用学习数据来获得，该学习数据包括与被检眼的不同深度范围相对应的多个运动对比度正面图像。此时，获得单元可以获得与包括不同深度范围的长深度范围当中的部分深度范围相对应的运动对比度正面图像作为第一图像。换句话说，当进行图像质量改善时，可以将与一深度范围相对应的运动对比度正面图像用作输入图像，该深度范围与学习数据中包括的多个运动对比度正面图像相对应的多个深度范围不同。自然地，当进行图像质量改善时，可以将与用于学习的深度范围相同的深度范围内的运动对比度正面图像用作输入图像。此外，部分深度范围可以响应于检查者按下用户界面等上的任意按钮来设置，或者可以自动设置。请注意，上述内容不限于运动对比度正面图像，并且例如也可以应用于亮度面内图像。
请注意，当作为处理对象的图像是断层扫描图像时，使用作为运动对比度数据的B扫描图像或断层扫描图像的OCT断层扫描图像来进行学习。现在将使用图29B对此进行描述。在图29B中，附图标记Im2951至Im2953表示OCT断层扫描图像。图29B中的图像不同的原因在于它们在副扫描(Y)方向上的各个位置不同的位置处示出断层扫描图像。断层扫描图像可以一起用于进行学习，而无需关注副扫描方向上的各个位置的差异。然而，在通过对摄像部位(例如，黄斑区域的中心和视神经乳头的中心)不同的位置进行摄像而获得的图像的情况下，可以采用针对各部位分别进行学习的构造，或者可以采用一起进行学习而无需关注摄像部位的构造。请注意，由于OCT断层扫描图像和运动对比度数据的断层扫描图像之间的图像特征值明显不同，因此对这些图像分别进行学习较好。
因为增强了源图像组中通常可视化的像素，所以经过叠加处理的叠加图像是适合于图像诊断的高质量图像。在这种情况下，由于增强了通常可视化的像素，所以生成的高质量图像是低亮度区域与高亮度区域之间的差异清晰的高对比度图像。另外，例如，在叠加图像中，可以降低在每轮摄像中产生的随机噪声，并且可以使用另一个源图像组对在特定时间点在源图像中呈现不佳的区域进行插值处理。
此外，在需要用多个图像构建机器学习模型的输入数据的情况下，可以从源图像组当中选择所需数目的源图像组，并将其用作输入数据。例如，在从15个源图像的组中获得一个叠加图像的情况下，如果需要两个图像作为机器学习模型的输入数据，则可以生成105个(15C2＝105)配对的组。
请注意，在构成训练数据的配对组中，可以从训练数据中去除对改善图像质量没有贡献的配对。例如，如果一对训练数据中所包括的作为输出数据的高质量图像的图像质量不适合图像诊断，则存在以下可能性：使用相关训练数据学习的图像质量改善引擎所输出的图像将具有不适合图像诊断的图像质量。因此，通过从训练数据中去除输出数据的图像质量不适合图像诊断的配对，可以降低图像质量改善引擎生成具有不适合图像诊断的图像质量的图像的可能性。
此外，在配对的图像组中平均亮度或亮度分布相差很大的情况下，存在以下可能性：使用相关训练数据学习的图像质量改善引擎将输出不适用于图像诊断且亮度分布与低质量图像的亮度分布有很大差异的图像。因此，可以从训练数据中去除平均亮度或亮度分布相差很大的输入数据和输出数据的配对。
另外，在配对的图像组中要呈现的摄像目标的结构或位置相差很大的情况下，存在以下可能性：使用相关训练数据学习的图像质量改善引擎将输出不适用于图像诊断且摄像目标被呈现的结构或位置与低质量图像有很大差异的图像。因此，还可以从训练数据中去除这样的配对的输入数据和输出数据：要呈现的摄像目标的结构或位置在输入数据和输出数据之间有很大差异。此外，关于图像质量改善引擎，从保持质量的观点出发，可以将图像质量改善引擎构造为不使用图像质量改善引擎自身输出的高质量图像作为训练数据。
通过使用以这种方式进行了机器学习的图像质量改善引擎，在输入通过一轮摄像获得的医学图像的情况下，图像质量改善单元404可以通过叠加处理输出对比度提高或噪声降低等的高质量图像。因此，图像质量改善单元404可以基于作为输入图像的低质量图像来生成适合于图像诊断的高质量图像。
接下来，将参照图5所示的流程图描述根据本实施例的一系列图像处理操作。图5是示出根据本实施例的一系列图像处理操作的流程图。首先，当开始根据本实施例的一系列图像处理操作时，处理进入步骤S510。
在步骤S510中，获得单元401从通过电路或网络连接到获得单元401的摄像装置10获得由摄像装置10摄像的图像作为输入图像。请注意，获得单元401可以响应于来自摄像装置10的请求来获得输入图像。例如，当摄像装置10生成图像时，或者当在将图像存储在摄像装置10包括的存储装置中之前在显示单元20上显示摄像装置10生成的图像，或者在将图像存储在存储装置中之后在显示单元20上显示存储的图像，或者在利用高质量图像进行图像分析处理时，可以发出这样的请求。
请注意，获得单元401可以从摄像装置10获得用于生成图像的数据，并且图像处理装置400可以获得基于相关数据生成的图像作为输入图像。在这种情况下，图像处理装置400可以采用任何现有的图像生成方法作为用于生成各种图像的图像生成方法。
在步骤S520中，摄像条件获得单元402获得输入图像的摄像条件组。具体地，根据输入图像的数据格式，摄像条件获得单元402获得存储在构成输入图像的数据结构中的摄像条件组。请注意，如上所述，在输入图像中没有存储摄像条件的情况下，摄像条件获得单元402可以从摄像装置10或附图中未示出的图像管理系统获得包括摄像条件组的摄像信息组。
在步骤S530中，图像质量改善可能性确定单元403使用获得的摄像条件组来确定是否可以通过图像质量改善单元404包括的图像质量改善引擎来改善输入图像的图像质量。具体地，图像质量改善可能性确定单元403确定输入图像的摄像部位、摄像系统、摄像视角和图像尺寸是否与可以由图像质量改善引擎处理的条件匹配。
图像质量改善可能性确定单元403对所有摄像条件进行确定，并且如果图像质量改善可能性确定单元403确定图像质量改善引擎能够处理摄像条件，则处理进入步骤S540。另一方面，如果图像质量改善可能性确定单元403基于这些摄像条件确定图像质量改善引擎不能处理输入图像，则处理进入步骤S550。
请注意，依据图像处理装置400的设置和实现形式，即使基于摄像部位、摄像系统、摄像视角和图像尺寸当中的某些条件确定输入图像不能被处理，也可以进行步骤S540中的图像质量改善处理。例如，可以在假定图像质量改善引擎能够全面处理被摄体的任何摄像部位的情况下进行这样的处理，并且将这样的处理实现为即使未知的摄像部位被包括在输入数据中也能够处理输入数据。另外，图像质量改善可能性确定单元403可以根据所需构造确定输入图像的摄像部位、摄像系统、摄像视角和图像尺寸中的至少一项条件是否与图像质量改善引擎能够处理的条件匹配。
在步骤S540中，图像质量改善单元404使用图像质量改善引擎来改善输入图像的图像质量，从而生成比输入图像更适合图像诊断的高质量图像。具体地，图像质量改善单元404将输入图像输入到图像质量改善引擎，以使图像质量改善引擎生成已经经过图像质量改善的高质量图像。图像质量改善引擎基于使用训练数据进行机器学习的机器学习模型，生成通过使用输入图像进行叠加处理而获得的高质量图像。因此，与输入图像相比，图像质量改善引擎可以生成噪声降低或对比度增强的高质量图像。
请注意，依据图像处理装置400的设置或实现形式，图像质量改善单元404可以根据摄像条件组将参数与输入图像一起输入到图像质量改善引擎中，以调整图像质量改善的程度等。此外，图像质量改善单元404还可以将与检查者的输入一致的参数与输入图像一起输入到图像质量改善引擎中，以调整图像质量改善的程度等。
在步骤S550中，如果在步骤S540中已经生成了高质量图像，则输出单元405输出高质量图像，并使高质量图像显示在显示单元20上。另一方面，在步骤S530中不能进行图像质量改善处理的情况下，输出单元405输出输入图像，并使输入图像显示在显示单元20上。请注意，代替使输出图像显示在显示单元20上，输出单元405可以使输出图像显示在摄像装置10或其他装置上，或者可以存储该输出图像。此外，依据图像处理装置400的设置或实现形式，输出单元405可以处理输出图像，使得输出图像可以被摄像装置10或其他装置利用，或者可以转换输出图像的数据格式，从而可以将输出图像发送到图像管理系统等。
如上所述，根据本实施例的图像处理装置400包括获得单元401和图像质量改善单元404。获得单元401获得作为被摄体的预定部位的图像的输入图像(第一图像)。图像质量改善单元404使用包括机器学习引擎的图像质量改善引擎来由输入图像生成相对于输入图像经过了降噪和对比度增强中的至少一项的高质量图像(第二图像)。图像质量改善引擎包括机器学习引擎，对于该机器学习引擎，通过叠加处理获得的图像被用作学习数据。
通过该构造，根据本实施例的图像处理装置400可以根据输入图像输出降低了噪声和/或增强了对比度的高质量图像。因此，在与传统技术相比所付出的代价更少而不会增加对被摄体的侵入性(invasiveness)或进行摄像的人的劳动的同时，图像处理装置400可以获得适合于图像诊断的图像，例如更清晰的图像或期望观察的部位或病变得到增强的图像。
图像处理装置400还包括图像质量改善可能性确定单元403，其用于针对输入图像确定是否可以使用图像质量改善引擎来生成高质量图像。图像质量改善可能性确定单元403基于输入图像的摄像部位、摄像系统、摄像视角和图像尺寸中的至少一项来进行所讨论的确定。
通过该构造，根据本实施例的图像处理装置400可以从图像质量改善处理中省略图像质量改善单元404不能处理的输入图像，因此，可以减少图像处理装置400的处理负荷和错误的发生。
请注意，尽管在本实施例中，输出单元405(显示控制单元)被构造为使得所生成的高质量图像被显示在显示单元20上，但是输出单元405的操作不限于此。例如，输出单元405也可以将高质量图像输出到摄像装置10或连接到图像处理装置400的其他装置。因此，高质量图像可以被显示在这些装置的用户界面上，可以被存储在任何存储装置中，可以用于任何图像分析，或者可以被发送到图像管理系统。
在本实施例中，图像质量改善可能性确定单元403确定输入图像是否是可以通过图像质量改善引擎来改善图像质量的图像，并且，如果输入图像是可以改善图像质量的图像，则图像质量改善单元404进行处理以改善图像质量。在这点上，在仅通过摄像装置10等在能够改善图像质量的摄像条件下进行摄像的情况下，可以无条件地对从摄像装置10获得的图像进行图像质量改善。在这种情况下，如图6所示，可以省略步骤S520和步骤S530中的处理，并且可以在步骤S510之后执行步骤S540。
在本实施例中，输出单元405被构造为使高质量图像显示在显示单元20上。然而，输出单元405可以响应于来自检查者的指令而使高质量图像显示在显示单元20上。例如，响应于检查者按下显示单元20的用户界面上的任意按钮，输出单元405可以在显示单元20上显示高质量图像。在这种情况下，输出单元405可以从显示输入图像切换到显示高质量图像，或者可以与输入图像并排显示高质量图像。
另外，当在显示单元20上显示高质量图像时，输出单元405可以使指示正被显示的图像是通过使用了机器学习算法的处理生成的高质量图像的显示与高质量图像一起显示。在这种情况下，由于用户可以通过相关显示容易地识别出被显示的高质量图像不是通过摄像获得的实际图像，因此可以减少误诊，并且可以提高诊断效率。请注意，指示通过使用了机器学习算法的处理生成了高质量图像的显示可以是任何形式，只要该显示是使得可以区分输入图像和由相关处理生成的高质量图像的显示即可。
此外，关于指示通过使用了机器学习算法的处理生成了高质量图像的显示，输出单元405可以使指示当机器学习算法进行学习时机器学习算法使用哪种训练数据的显示显示在显示单元20上。讨论的显示可以包括对训练数据的输入数据和输出数据的种类的描述，或者与训练数据有关的任何显示，例如，包括在输入数据和输出数据中的摄像部位。
尽管在根据本实施例的图像质量改善引擎中将叠加图像用作训练数据的输出数据，但是训练数据不限于此。通过进行作为用于获得高质量图像的单元的叠加处理、稍后描述的处理组的处理和稍后描述的摄像方法中的至少一项而获得的高质量图像可以用作训练数据的输出数据。
例如，通过对源图像组进行最大后验处理(MAP估计处理)而获得的高质量图像可以用作训练数据的输出数据。在MAP估计处理中，基于多个低质量图像中的各像素值的概率密度来获得似然函数，并且使用所获得的似然函数来估计真实信号值(true signalvalue)(像素值)。
通过MAP估计处理获得的高质量图像是基于接近真实信号值的像素值的高对比度图像。此外，由于估计信号值是基于概率密度确定的，因此在通过MAP估计处理获得的高质量图像中，随机产生的噪声降低了。因此，通过使用由MAP估计处理获得的高质量图像作为训练数据，图像质量改善引擎可以由输入图像生成适合于图像诊断的噪声降低且对比度高的高质量图像。请注意，关于用于生成训练数据的配对的输入数据和输出数据的方法，可以执行与将叠加图像用作训练数据的情况相似的方法。
此外，作为训练数据的输出数据，可以使用通过对源图像应用平滑滤波处理而获得的高质量图像。在这种情况下，图像质量改善引擎可以由输入图像生成降低了随机噪声的高质量图像。另外，通过对源图像应用灰度转换处理而获得的图像也可以用作训练数据的输出数据。在这种情况下，图像质量改善引擎可以由输入图像生成对比度增强的高质量图像。请注意，关于用于生成训练数据的配对的输入数据和输出数据的方法，可以执行与将叠加图像用作训练数据的情况相似的方法。
请注意，训练数据的输入数据可以是从具有与摄像装置10相同的图像质量趋势的摄像装置获得的图像。此外，训练数据的输出数据可以是通过诸如使用逐次逼近法的处理的高成本处理而获得的高质量图像，或者可以是通过使用具有比摄像装置10更高的性能的摄像装置对与输入数据相对应的被摄体进行摄像而获得的高质量图像。此外，输出数据可以是通过进行基于规则的降噪处理而获得的高质量图像。这里，降噪处理可以包括，例如，用相邻的低亮度像素值的平均值代替仅是一个像素的显然是出现在低亮度区域中的噪声的高亮度像素的处理。因此，作为学习数据，图像质量改善引擎可以采用由比用于对输入图像进行摄像的摄像装置具有更高性能的摄像装置摄像的图像，或者通过涉及比用于获得输入图像的摄像步骤更多的步骤数的摄像步骤获得的图像。例如，在采用运动对比度正面图像作为输入图像的情况下，图像质量改善引擎可以采用如下图像作为学习数据：通过由比用于输入图像的OCTA摄像的OCT摄像装置具有更高性能的OCT摄像装置进行的OCTA摄像获得的图像，或通过涉及比输入图像的OCTA摄像步骤更多的步骤数的OCTA摄像步骤获得的图像。
请注意，尽管在本实施例的描述中省略了，但是可以由已经对准的多个图像来生成由将用作训练数据的输出数据的多个图像中生成的高质量图像。作为对准处理，例如，可以采用以下处理：将多个图像中的一个图像选择为模板，然后在改变模板的位置和角度的同时确定与其他图像的相似度，确定各图像相对于模板的位移量，并基于该位移量校正各图像。此外，也可以进行任何其他现有的对准处理。
请注意，在对准三维图像的情况下，可以通过将三维图像分解成多个二维图像，然后对准各个二维图像并整合对准的二维图像来进行三维图像的对准。此外，可以通过将二维图像分解成一维图像，然后对准各个一维图像并整合对准的一维图像来进行二维图像的对准。请注意，代替图像，可以针对用于生成图像的数据进行这些对准处理。
此外，在本实施例中，如果图像质量改善可能性确定单元403确定输入图像可以由图像质量改善单元404处理，则处理进入步骤S540，并且开始由图像质量改善单元404进行的图像质量改善处理。在这点上，也可以采用如下构造：输出单元405使图像质量改善可能性确定单元403的确定结果显示在显示单元20上，并且图像质量改善单元404响应于来自检查者的指令开始图像质量改善处理。此时，输出单元405还可以使输入图像或针对输入图像获得的诸如摄像部位的摄像条件与确定结果一起显示在显示单元20上。在这种情况下，由于在检查者已经确定了由图像质量改善可能性确定单元403确定的结果是否正确之后进行图像质量改善处理，所以可以减少基于错误确定的图像质量改善处理。
另外，也可以采用以下构造：不由图像质量改善可能性确定单元403进行确定，输出单元405使输入图像或针对输入图像获得的诸如摄像部位的摄像条件显示在显示单元20上，并且图像质量改善单元404响应于来自检查者的指令开始图像质量改善处理。
<第二实施例>
接下来，参照图4和图7描述根据第二实施例的图像处理装置。在第一实施例中，图像质量改善单元404包括一个图像质量改善引擎。相比之下，在本实施例中，图像质量改善单元包括多个图像质量改善引擎，其使用彼此不同的训练数据进行机器学习，并且针对输入图像生成多个高质量图像。
除非另有明确说明，否则根据本实施例的图像处理装置的构造和处理与根据第一实施例的图像处理装置400相同。因此，下面围绕与根据第一实施例的图像处理装置的不同之处来描述根据本实施例的图像处理装置。请注意，由于根据本实施例的图像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描述。
根据本实施例的图像质量改善单元404包括使用彼此不同的训练数据进行机器学习的两个或更多个图像质量改善引擎。现在将描述根据本实施例的用于创建训练数据组的方法。具体地，首先，进行对各种摄像部位的摄像，并且准备由配对的作为输入数据的源图像和作为输出数据的叠加图像构成的配对组。接下来，对各摄像部位的配对组进行分组，以创建训练数据组。例如，通过创建对第一摄像部位进行摄像而获得的配对组构成的第一训练数据，并且创建对第二摄像部位进行摄像而获得的配对组构成的第二训练数据，来创建训练数据组。
此后，使各个图像质量改善引擎使用各训练数据进行机器学习。例如，准备图像质量改善引擎组，该图像质量改善引擎组包括与使用第一训练数据训练的机器学习模型相对应的第一图像质量改善引擎和与使用第二训练数据训练的机器学习模型相对应的第二图像质量改善引擎。
因为使用不同的训练数据来训练与这些图像质量改善引擎中的各图像质量改善引擎相对应的各个机器学习模型，所以这些图像质量改善引擎中的各图像质量改善引擎可以改善输入到图像质量改善引擎中的输入图像的图像质量的程度会根据输入图像的摄像条件而不同。具体地，在第一图像质量改善引擎的情况下，针对通过对第一摄像部位进行摄像而获得的输入图像的图像质量改善程度高，并且针对通过对第二摄像部位进行摄像而获得的输入图像的图像质量改善程度低。类似地，在第二图像质量改善引擎的情况下，针对通过对第二摄像部位进行摄像而获得的输入图像的图像质量改善程度高，并且针对通过对第一摄像部位进行摄像而获得的输入图像的图像质量改善程度低。
由于每组训练数据均由根据摄像部位进行分组的配对组构成，因此构成配对组的图像组中的图像具有相似的图像质量趋势。因此，如果摄像部位与相关的图像质量改善引擎相对应，则与根据第一实施例的图像质量改善引擎相比，图像质量改善引擎可以更有效地进行图像质量改善。请注意，用于对配对的训练数据进行分组的摄像条件不限于摄像部位，并且可以是图像的摄像视角或分辨率，或者这些条件中的两个或更多个条件的组合。
下面将参照图7描述根据本实施例的一系列图像处理操作。图7是根据本实施例的一系列图像处理操作的流程图。请注意，步骤S710和步骤S720中的处理与根据第一实施例的步骤S510和步骤S520中的处理相同，因此在此省略对该处理的描述。请注意，在要无条件地改善输入图像的图像质量的情况下，在进行步骤S720中的处理之后，可以省略步骤S730中的处理，并且处理可以进入步骤S740。
在步骤S720中获得输入图像的摄像条件之后，处理进入步骤S730。在步骤S730中，图像质量改善可能性确定单元403使用在步骤S720中获得的摄像条件组来确定图像质量改善单元404包括的图像质量改善引擎组中的任何一个是否可以处理输入图像。
如果图像质量改善可能性确定单元403确定该图像质量改善引擎组中没有一个能够处理输入图像，则处理进入步骤S760。另一方面，如果图像质量改善可能性确定单元403确定该图像质量改善引擎组中的任何一个能够处理输入图像，则处理进入步骤S740。请注意，依据图像处理装置400的设置或实现形式，类似于第一实施例，即使确定图像质量改善引擎不能处理某些摄像条件，也可以执行步骤S740中的处理。
在步骤S740中，图像质量改善单元404基于在步骤S720中获得的输入图像的摄像条件和与图像质量改善引擎组的训练数据有关的信息，从图像质量改善引擎组中选择图像质量改善引擎以进行图像质量改善处理。具体地，例如，图像质量改善单元404选择图像质量改善引擎，该图像质量改善引擎对于在步骤S720中获得的摄像条件组中的摄像部位具有与同一摄像部位或周围摄像部位有关的训练数据的信息，并且能够以高的图像质量改善程度进行图像质量改善。在上述示例中，如果摄像部位是第一摄像部位，则图像质量改善单元404选择第一图像质量改善引擎。
在步骤S750中，图像质量改善单元404使用在步骤S740中选择的图像质量改善引擎来生成通过改善输入图像的图像质量而生成的高质量图像。此后，在步骤S760中，如果在步骤S750中生成了高质量图像，则输出单元405输出高质量图像，并使显示单元20显示高质量图像。另一方面，如果在步骤S730中确定不可能进行图像质量改善处理，则输出单元405输出输入图像，并使显示单元20显示输入图像。请注意，当使显示单元20显示高质量图像时，输出单元405也可以使显示单元20显示指示高质量图像是使用由图像质量改善单元404选择的图像质量改善引擎生成的高质量图像的信息。
如上所述，根据本实施例的图像质量改善单元404包括使用彼此不同的学习数据进行学习的多个图像质量改善引擎。这里，多个图像质量改善引擎中的各图像质量改善引擎都使用关于摄像部位、摄像视角、不同深度的正面图像以及图像分辨率中的至少一项摄像条件彼此不同的学习数据来进行学习。根据输入图像的摄像部位、摄像视角、不同深度的正面图像以及图像分辨率中的至少一项摄像条件，图像质量改善单元404使用图像质量改善引擎来生成高质量图像。
通过该构造，根据本实施例的图像处理装置400可以生成更有效的高质量图像。
尽管在本实施例中，图像质量改善单元404基于输入图像的摄像条件来选择要用于图像质量改善处理的图像质量改善引擎，但是用于选择图像质量改善引擎的处理不限于此。例如，输出单元405可以使获得的输入图像的摄像条件和图像质量改善引擎组显示在显示单元20的用户界面上，并且图像质量改善单元404可以根据来自检查者的指令选择要用于图像质量改善处理的图像质量改善引擎。请注意，输出单元405可以使与用于由各个图像质量改善引擎进行学习的训练数据有关的信息与图像质量改善引擎组一起显示在显示单元20上。请注意，可以以任何形式显示与用于由图像质量改善引擎进行学习的训练数据有关的信息，并且，例如，可以使用与用于学习的训练数据相关联的名称来显示图像质量改善引擎组。
此外，输出单元405可以使由图像质量改善单元404选择的图像质量改善引擎显示在显示单元20的用户界面上，并且可以接受来自检查者的指令。在这种情况下，图像质量改善单元404可以根据来自检查者的指令确定是否最终选择相关图像质量改善引擎作为要用于图像质量改善处理的图像质量改善引擎。
请注意，类似于第一实施例，输出单元405可以将所生成的高质量图像输出到摄像装置10或连接到图像处理装置400的其他装置。此外，类似于第一实施例，用于图像质量改善引擎的训练数据的输出数据不限于通过进行叠加处理而获得的高质量图像。换句话说，可以使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得的高质量图像：叠加处理、MAP估计处理、平滑滤波处理、灰度转换处理、使用高性能摄像装置的摄像、高成本处理和降噪处理。
<第三实施例>
接下来，参照图4和图7描述根据第三实施例的图像处理装置。在第一和第二实施例中，摄像条件获得单元402从输入图像的数据结构等获得摄像条件组。相比之下，在本实施例中，摄像条件获得单元基于输入图像使用摄像位置估计引擎来估计输入图像的摄像部位或摄像区域。
除非另有明确说明，否则根据本实施例的图像处理装置的构造和处理与根据第二实施例的图像处理装置400相同。因此，下面围绕与根据第二实施例的图像处理装置的不同之处来描述根据本实施例的图像处理装置。请注意，由于根据本实施例的图像处理装置的构造与根据第一和第二实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一和第二实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描述。
根据本实施例的摄像条件获得单元402包括摄像位置估计引擎，该摄像位置估计引擎用于估计在获得单元401获得的输入图像中呈现的摄像部位或摄像区域。根据本实施例的用于估计摄像位置估计引擎的摄像位置的技术，使用机器学习算法来进行估计处理。
在本实施例中，由配对组构成的训练数据用于训练与使用机器学习算法的摄像位置估计技术有关的机器学习模型，该配对组由作为图像的输入数据和与输入数据相对应的作为摄像部位标签或摄像区域标签的输出数据构成。这里，术语“输入数据”是指具有针对处理对象假定的特定摄像条件的图像(输入图像)。从具有与摄像装置10相同的图像质量趋势的摄像装置获得的图像可以用作输入数据，并且如果摄像装置是与摄像装置10相同型号的设备并且设置有与摄像装置10相同的设置则更好。用作输出数据的摄像部位标签或摄像区域标签的种类可以是至少部分地包括在输入数据中的相关摄像部位或摄像区域。例如，在OCT的情况下，用作输出数据的摄像部位标签的种类可以是“黄斑区域”、“视神经乳头”、“黄斑区域和视神经乳头”和“其他”。
通过使用这种训练数据进行学习，根据本实施例的摄像位置估计引擎可以输出指示在输入图像中呈现的摄像部位或摄像区域的位置的信息。此外，对于所需详细级别的各摄像部位标签或摄像区域标签，摄像位置估计引擎还可以输出成为相关摄像部位或摄像区域的概率。通过使用摄像位置估计引擎，摄像条件获得单元402可以基于输入图像来估计输入图像的摄像部位或摄像区域，从而获得该摄像部位或摄像区域作为关于输入图像的摄像条件。请注意，在对于各摄像部位标签或摄像区域标签，摄像位置估计引擎输出成为相关摄像部位或摄像区域的概率的情况下，摄像条件获得单元402获得具有最高概率的摄像部位或摄像区域作为输入图像的摄像条件。
接下来，类似于第二实施例，参照图7中的流程图描述根据本实施例的一系列图像处理操作。请注意，由于根据本实施例的步骤S710和步骤S730至步骤S760的处理与第二实施例中的这些步骤中的处理相同，因此在此省略对该处理的描述。请注意，在要无条件地改善输入图像的图像质量的情况下，在步骤S720中的处理之后，可以省略步骤S730中的处理，并且处理可以进入步骤S740。
当在步骤S710中获得输入图像时，处理进入步骤S720。在步骤S720中，摄像条件获得单元402获得在步骤S710中获得的输入图像的摄像条件组。
具体地，根据输入图像的数据格式获得在构成输入图像的数据结构中存储的摄像条件组。此外，如果与摄像部位或摄像区域有关的信息未包括在摄像条件组中，则摄像条件获得单元402将输入图像输入至摄像位置估计引擎，以估计对哪个摄像部位进行摄像以获得输入图像。具体地，摄像条件获得单元402将输入图像输入到摄像位置估计引擎，评估针对摄像部位标签组的各摄像部位标签输出的概率，并设置和获得具有最高概率的摄像部位作为输入图像的摄像条件。
请注意，在输入图像中未存储摄像部位或摄像区域之外的摄像条件的情况下，摄像条件获得单元402可以从摄像装置10或图像管理系统(未示出)获得包括摄像条件组的摄像信息组。
后续处理与根据第二实施例的一系列图像处理操作相同，因此在此省略其描述。
如上所述，根据本实施例的摄像条件获得单元402用作估计输入图像的摄像部位和摄像区域中的至少一项的估计单元。摄像条件获得单元402包括摄像位置估计引擎，该摄像位置估计引擎使用各附有摄像部位或摄像区域的标签的图像作为学习数据进行学习，并且当输入图像被输入到摄像位置估计引擎时，摄像位置估计引擎估计输入图像的摄像部位或摄像区域。
因此，根据本实施例的图像处理装置400可以基于输入图像获得关于输入图像的摄像部位或摄像区域的摄像条件。
请注意，在本实施例中，在摄像条件组中不包括与摄像部位或摄像区域有关的信息的情况下，摄像条件获得单元402使用摄像位置估算引擎进行关于输入图像的摄像部位或摄像区域的估计。然而，使用摄像位置估计引擎进行关于摄像部位或摄像区域的估计的情况不限于这种情况。在输入图像的数据结构中包括的关于摄像部位或摄像区域的信息不足以作为所需的详细级别的信息的情况下，摄像条件获得单元402也可以使用摄像位置估计引擎进行关于摄像部位或摄像区域的估计。
此外，无论输入图像的数据结构中是否包括关于摄像部位或摄像区域的信息，摄像条件获得单元402都可以使用摄像位置估计引擎来估计输入图像的摄像部位或摄像区域。在这种情况下，输出单元405可以使显示单元20显示从摄像位置估计引擎输出的估计结果以及在输入图像的数据结构中包括的关于摄像部位或摄像区域的信息，并且摄像条件获得单元402可以根据检查者的指令进行关于这些摄像条件的确定。
请注意，类似于第一实施例，输出单元405可以将所生成的高质量图像输出到摄像装置10或连接到图像处理装置400的其他装置。此外，类似于第一实施例，图像质量改善引擎的训练数据的输出数据不限于通过进行叠加处理而获得的高质量图像。换句话说，可以使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得的高质量图像：叠加处理、MAP估计处理、平滑滤波处理、灰度转换处理、使用高性能摄像装置的摄像、高成本处理和降噪处理。
<第四实施例>
接下来，参照图4、图5、图8和图9描述根据第四实施例的图像处理装置。在本实施例中，图像质量改善单元放大或缩小输入图像，使得输入图像的尺寸变为图像质量改善引擎能够处理的图像尺寸。此外，图像质量改善单元通过缩小或放大来自图像质量改善引擎的输出图像来生成高质量图像，使得输出图像的图像尺寸变为输入图像的图像尺寸。
除非另有明确说明，否则根据本实施例的图像处理装置的构造和处理与根据第一实施例的图像处理装置400的构造和处理相同。因此，下面围绕与根据第一实施例的图像处理装置的不同之处来描述根据本实施例的图像处理装置。请注意，由于根据本实施例的图像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描述。
根据本实施例的图像质量改善单元404包括与根据第一实施例的图像质量改善引擎相似的图像质量改善引擎。然而，在本实施例中，使用由图像组构成的输入数据和输出数据的配对组作为图像质量改善引擎用于学习的训练数据，在该图像组中输入数据的各图像和输出数据的各图像被放大或缩小为一定图像尺寸。
现在将参照图8描述根据本实施例的图像质量改善引擎的训练数据。如图8所示，例如，让我们考虑以下情况：存在小于针对训练数据设置的一定图像尺寸的低质量图像Im810和高质量图像Im820。在这种情况下，分别放大低质量图像Im810和高质量图像Im820，以使其成为针对训练数据设置的一定图像尺寸。然后将放大的低质量图像Im811和放大的高质量图像Im821作为一个配对，并且将相关配对用作一条训练数据。
请注意，类似于第一实施例，对于训练数据的输入数据，使用被假定为处理对象的具有特定摄像条件的图像(输入图像)，并且相关的特定摄像条件是预先确定的摄像部位、摄像系统和摄像视角。换句话说，与第一实施例不同，根据本实施例，在特定摄像条件中不包括图像尺寸。
根据本实施例的图像质量改善单元404通过使用利用这样的训练数据进行学习的图像质量改善引擎改善输入图像的图像质量，来生成高质量图像。此时，图像质量改善单元404通过放大或缩小输入图像以使其变为针对训练数据设置的一定图像尺寸来生成变换图像，并将变换图像输入到图像质量改善引擎。此外，图像质量改善单元404通过缩小或放大来自图像质量改善引擎的输出图像以使其成为输入图像的图像尺寸，来生成高质量图像。因此，即使在输入图像具有根据第一实施例无法处理的图像尺寸的情况下，根据本实施例的图像质量改善单元404也可以通过由图像质量改善引擎改善输入图像的图像质量来生成高质量图像。
接下来，参照图5和图9描述根据本实施例的一系列图像处理操作。图9是示出根据本实施例的图像质量改善处理的流程图。请注意，根据本实施例的步骤S510、步骤S520和步骤S550中的处理与第一实施例中的这些步骤中的处理相同，因此在此省略对该处理的描述。请注意，在要针对图像尺寸以外的摄像条件无条件地改善输入图像的图像质量的情况下，在进行步骤S520中的处理之后，可以省略步骤S530中的处理，并且处理可以进入步骤S540。
在步骤S520中，类似于第一实施例，在摄像条件获得单元402获得输入图像的摄像条件组时，处理进入步骤S530。在步骤S530中，图像质量改善可能性确定单元403使用获得的摄像条件组来确定图像质量改善单元404包括的图像质量改善引擎是否能够处理输入图像。具体地，关于输入图像的摄像条件，图像质量改善可能性确定单元403确定图像质量改善引擎是否可以处理摄像部位、摄像系统和摄像视角。与第一实施例不同，图像质量改善可能性确定单元403不进行关于图像尺寸的确定。
图像质量改善可能性确定单元403进行关于摄像部位、摄像系统和摄像视角的确定，并且如果确定可以处理输入图像，则处理进入步骤S540。另一方面，在图像质量改善可能性确定单元403基于这些摄像条件确定图像质量改善引擎不能处理输入图像的情况下，处理进入步骤S550。请注意，依据图像处理装置400的设置或实现形式，即使基于摄像部位、摄像系统和摄像视角中的一个或更多个条件确定输入图像不能被处理，也可以进行步骤S540中的图像质量改善处理。
当处理进入步骤S540时，开始图9中所示的根据本实施例的图像质量改善处理。在根据本实施例的图像质量改善处理中，首先，在步骤S910中，图像质量改善单元404将输入图像放大或缩小到针对训练数据设置的一定图像尺寸，从而生成变换图像。
接下来，在步骤S920中，图像质量改善单元404将所生成的变换图像输入到图像质量改善引擎，以获得具有经过图像质量改善的高图像质量的变换图像。
此后，在步骤S930中，图像质量改善单元404将具有高图像质量的变换图像缩小或放大至输入图像的图像尺寸，以生成高质量图像。当在步骤S930中图像质量改善单元404生成高质量图像时，根据本实施例的图像质量改善处理结束，并且处理进入步骤S550。由于步骤S550中的处理与第一实施例的步骤S550中的处理相同，因此这里省略其描述。
如上所述，根据本实施例的图像质量改善单元404将输入图像的图像尺寸调整为图像质量改善引擎能够处理的图像尺寸，并将调整了尺寸的所得图像输入图像质量改善引擎中。图像质量改善单元404通过将来自图像质量改善引擎的输出图像的图像尺寸调整为输入图像的原始图像尺寸来生成高质量图像。因此，本实施例的图像处理装置400也可以使用图像质量改善引擎来改善具有根据第一实施例无法处理的图像尺寸的输入图像的图像质量，从而可以生成适合图像诊断的高质量图像。
请注意，类似于第一实施例，输出单元405可以将所生成的高质量图像输出到摄像装置10或连接到图像处理装置400的其他装置。此外，类似于第一实施例，图像质量改善引擎的训练数据的输出数据不限于通过进行叠加处理而获得的高质量图像。换句话说，可以使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得的高质量图像：叠加处理、MAP估计处理、平滑滤波处理、灰度转换处理、使用高性能摄像装置的摄像、高成本处理和降噪处理。
<第五实施例>
接下来，参照图4、图5、图10和图11描述根据第五实施例的图像处理装置。在本实施例中，图像质量改善单元通过由图像质量改善引擎进行的基于一定分辨率的图像质量改善处理来生成高质量图像。
除非另有明确说明，否则根据本实施例的图像处理装置的构造和处理与根据第一实施例的图像处理装置400相同。因此，下面围绕与根据第一实施例的图像处理装置的不同之处来描述根据本实施例的图像处理装置。请注意，由于根据本实施例的图像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描述。
根据本实施例的图像质量改善单元404包括与第一实施例相似的图像质量改善引擎。然而，在本实施例中，由图像质量改善引擎用于学习的训练数据与第一实施例中的训练数据不同。具体地，在将由训练数据的输入数据和输出数据的配对组构成的图像组放大或缩小到使得该图像组的分辨率变为一定分辨率的图像尺寸之后，进行填充以使图像组的各图像的图像尺寸变为足够大的一定图像尺寸。这里，短语“图像组的分辨率”是指例如摄像装置的空间分辨率或关于摄像区域的分辨率。
现在将参照图10描述根据本实施例的图像质量改善引擎的训练数据。如图10所示，例如，让我们考虑以下情况：存在具有比针对训练数据设置的一定分辨率低的分辨率的低质量图像Im1010和高质量图像Im1020。在这种情况下，分别放大低质量图像Im1010和高质量图像Im1020，以使分辨率成为针对训练数据设置的一定分辨率。另外，分别填充放大的低质量图像Im1010和高质量图像Im1020，从而变成针对训练数据设置的一定图像尺寸。然后，将经过放大和填充的低质量图像Im1011和高质量图像Im1021作为一个配对，并且将该配对用作一条训练数据。
请注意，短语“针对训练数据设置的一定图像尺寸”是指当放大或缩小时被假定为处理对象的图像(输入图像)可以变为使得图像的分辨率变为一定分辨率的最大图像尺寸。在一定图像尺寸不够大的情况下，存在以下可能性：当放大输入到图像质量改善引擎的图像时，该图像将成为机器学习模型不能处理的图像尺寸。
此外，根据机器学习模型的特性，经过填充的区域使用固定像素值被装填，使用邻近像素值被装填，或者被镜像填充，从而可以有效地进行图像质量改善。请注意，类似于第一实施例，对于输入数据，使用具有被假定为处理对象的特定摄像条件的图像，并且讨论的特定摄像条件是预先确定的摄像部位、摄像系统和摄像视角。换句话说，与第一实施例不同，根据本实施例，图像尺寸不包括在特定摄像条件中。
根据本实施例的图像质量改善单元404通过使用利用这样的训练数据进行学习的图像质量改善引擎改善输入图像的图像质量来生成高质量图像。此时，图像质量改善单元404通过放大或缩小输入图像以成为针对训练数据设置的一定分辨率来生成变换图像。此外，图像质量改善单元404针对变换图像进行填充，以使得变换图像变为针对训练数据设置的一定图像尺寸，从而生成填充图像，并将填充图像输入到图像质量改善引擎。
此外，对于从图像质量改善引擎输出的具有高图像质量的填充图像，图像质量改善单元404仅修整与进行填充的区域相对应的区域，从而生成具有高图像质量的变换图像。此后，图像质量改善单元404将生成的具有高图像质量的变换图像缩小或放大至输入图像的图像尺寸，从而生成高质量图像。
因此，即使在输入图像具有根据第一实施例无法处理的图像尺寸的情况下，根据本实施例的图像质量改善单元404也可以通过由图像质量改善引擎改善输入图像的图像质量来生成高质量图像。
接下来，参照图5和图11描述根据本实施例的一系列图像处理操作。图11是示出根据本实施例的图像质量改善处理的流程图。请注意，根据本实施例的步骤S510、步骤S520和步骤S550中的处理与第一实施例中的这些步骤中的处理相同，因此在此省略对该处理的描述。请注意，在要针对图像尺寸以外的摄像条件无条件地改善输入图像的图像质量的情况下，在进行步骤S520中的处理之后，可以省略步骤S530中的处理，并且处理可以进入步骤S540。
在步骤S520中，类似于第一实施例，在摄像条件获得单元402获得输入图像的摄像条件组时，处理进入步骤S530。在步骤S530中，图像质量改善可能性确定单元403使用获得的摄像条件组来确定图像质量改善单元404包括的图像质量改善引擎是否能够处理输入图像。具体地，关于输入图像的摄像条件，图像质量改善可能性确定单元403确定图像质量改善引擎是否可以处理摄像部位、摄像系统和摄像视角。与第一实施例不同，图像质量改善可能性确定单元403不进行关于图像尺寸的确定。
图像质量改善可能性确定单元403进行关于摄像部位、摄像系统和摄像视角的确定，并且如果确定可以处理输入图像，则处理进入步骤S540。另一方面，在图像质量改善可能性确定单元403基于这些摄像条件确定图像质量改善引擎不能处理输入图像的情况下，处理进入步骤S550。请注意，依据图像处理装置400的设置或实现形式，即使确定出基于摄像部位、摄像系统和摄像视角中的一个或更多个条件不能处理输入图像，也可以进行步骤S540中的图像质量改善处理。
当处理进入步骤S540时，开始图11中所示的根据本实施例的图像质量改善处理。在根据本实施例的图像质量改善处理中，首先，在步骤S1110中，图像质量改善单元404将输入图像放大或缩小到针对训练数据设置的一定分辨率，从而生成变换图像。
接下来，在步骤S1120中，图像质量改善单元404针对所生成的变换图像进行填充，使得变换图像变为针对训练数据设置的图像尺寸，从而生成填充图像。此时，对于进行填充的区域，图像质量改善单元404根据机器学习模型的特性，通过使用固定像素值或使用邻近像素值装填该区域或通过镜像填充来进行填充，从而可以有效地进行图像质量改善。
在步骤S1130中，图像质量改善单元404将填充图像输入到图像质量改善引擎，从而获得具有经过图像质量改善的高图像质量的填充图像。
接下来，在步骤S1140中，对于具有高图像质量的填充图像，图像质量改善单元404仅修整与在步骤S1120中进行填充的区域相对应的区域，从而生成具有高图像质量的变换图像。
此后，在步骤S1150中，图像质量改善单元404将具有高图像质量的变换图像缩小或放大至输入图像的图像尺寸，以生成高质量图像。当在步骤S1130中图像质量改善单元404生成高质量图像时，根据本实施例的图像质量改善处理结束，并且处理进入步骤S550。由于步骤S550中的处理与第一实施例的步骤S550中的处理相同，因此这里省略对该处理的描述。
如上所述，根据本实施例的图像质量改善单元404调整输入图像的图像尺寸，使得输入图像的分辨率变为预定分辨率。此外，对于调整了图像尺寸的输入图像，图像质量改善单元404生成经过填充的填充图像，使得调整后的图像尺寸变为图像质量改善引擎能够处理的图像尺寸，然后将填充图像输入到图像质量改善引擎。此后，图像质量改善单元404对来自图像质量改善引擎的输出图像进行修整，以仅修整与进行填充的区域相对应的区域。然后，图像质量改善单元404将进行了修整的图像的图像尺寸调整为输入图像的原始图像尺寸，从而生成高质量图像。
因此，即使在输入图像具有根据第一实施例无法处理的图像尺寸的情况下，本实施例的图像质量改善单元404也可以通过图像质量改善引擎来改善输入图像的图像质量，从而生成高质量图像。此外，通过使用利用基于分辨率的训练数据进行学习的图像质量改善引擎，在某些情况下，与只处理相同图像尺寸的图像的根据第四实施例的图像质量改善引擎的情况相比，可以更有效地改善输入图像的图像质量。
请注意，类似于第一实施例，输出单元405可以将所生成的高质量图像输出到摄像装置10或连接到图像处理装置400的其他装置。此外，类似于第一实施例，图像质量改善引擎的训练数据的输出数据不限于通过进行叠加处理而获得的高质量图像。换句话说，可以使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得的高质量图像：叠加处理、MAP估计处理、平滑滤波处理、灰度转换处理、使用高性能摄像装置的摄像、高成本处理和降噪处理。
<第六实施例>
接下来，参照图4、图5、图12和图13描述根据第六实施例的图像处理装置。在本实施例中，图像质量改善单元通过对输入图像的一定图像尺寸的各区域进行图像质量改善处理来生成高质量图像。
除非另有明确说明，否则根据本实施例的图像处理装置的构造和处理与根据第一实施例的图像处理装置400相同。因此，下面围绕与根据第一实施例的图像处理装置的不同之处来描述根据本实施例的图像处理装置。请注意，由于根据本实施例的图像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描述。
根据本实施例的图像质量改善单元404包括与第一实施例相似的图像质量改善引擎。然而，在本实施例中，由图像质量改善引擎用于学习的训练数据与第一实施例中的训练数据不同。具体地，构成训练数据的作为低质量图像的输入数据和作为高质量图像的输出数据的配对组由在低质量图像和高质量图像中的位置关系相对应的一定图像尺寸的矩形区域图像构成。请注意，矩形区域是部分区域的一个示例，并且部分区域不需要是矩形的，并且可以是任何形状。
现在将参照图12描述根据本实施例的图像质量改善引擎的训练数据。如图12所示，将考虑如下情况：例如，在构成训练数据的一个配对组中，存在作为低质量图像的源图像Im1210和作为高质量图像的叠加图像Im1220。在这种情况下，在第一实施例中，源图像Im1210被用作输入数据，并且叠加图像Im1220被用作训练数据的输出数据。
相比之下，在本实施例中，源图像Im1210中的矩形区域图像R1211被用作输入数据，并且作为叠加图像Im1220中的与矩形区域图像R1211相同的摄像区域的矩形区域图像R1221被用作输出数据。此外，一对训练数据(以下称为“第一矩形区域图像对”)由作为输入数据的矩形区域图像R1211和作为输出数据的矩形区域图像R1221构成。这里，假定矩形区域图像R1211和矩形区域图像R1221是一定图像尺寸的图像。请注意，可以通过任何方法来对准源图像Im1210和叠加图像Im1220。此外，可以通过诸如模板匹配的任何方法来识别与矩形区域图像R1211和矩形区域图像R1221相对应的位置关系。请注意，依据图像质量改善引擎的设计，输入数据和输出数据的各个图像尺寸和维数可以彼此不同。例如，在处理对象是OCT图像的情况下，当输入数据是B扫描图像(二维图像)的一部分时，输出数据可以是A扫描图像(一维图像)的一部分。
与矩形区域图像R1211和R1221有关的一定图像尺寸可以例如基于与假定为处理对象的图像(输入图像)的图像尺寸组相对应的各维度的像素数的组的公约数来确定。在这种情况下，可以防止图像质量改善引擎输出的一组矩形区域图像之间的位置关系交叠。具体地，让我们考虑如下情况：例如，假定为处理对象的图像是二维图像，图像尺寸组中的第一图像尺寸是500个像素的宽度和500个像素的高度，并且图像尺寸组中的第二图像尺寸是100个像素的宽度和100个像素的高度。这里，从各边的公约数中选择与矩形区域图像R1211和R1221有关的一定图像尺寸。在这种情况下，例如，从100个像素的宽度和100个像素的高度、50个像素的宽度和50个像素的高度或25个像素的宽度和25个像素的高度等中选择一定图像尺寸。
在假定为处理对象的图像具有三个维度的情况下，确定与宽度、高度和深度有关的像素数。请注意，可以针对与输入数据相对应的低质量图像和与输出数据相对应的高质量图像的一个配对设置多个矩形区域。因此，例如，源图像Im1210中的矩形区域图像R1212被用作输入数据，并且作为叠加图像Im1220中的与矩形区域图像R1212相同的摄像区域的矩形区域图像R1222被用作输出数据。此外，一对训练数据由作为输入数据的矩形区域图像R1212和作为输出数据的矩形区域图像R1222构成。通过这种方式，可以创建与第一矩形区域图像对不同的矩形区域图像对。
请注意，通过在将矩形区域的图像改变为具有不同坐标的图像的同时创建大量的矩形区域图像对，可以增强构成训练数据的配对组的内容，并且可以预期到，将由使用相关训练对进行学习的图像质量改善引擎来进行有效的图像质量改善。然而，可以采用使得对通过机器学习模型进行的图像质量改善没有贡献的配对不被添加到训练数据中的构造。例如，如果从作为在一个配对中所包括的输出数据的高质量图像创建的矩形区域图像的图像质量不适合于诊断，则存在以下可能性：由使用这种训练数据进行学习的图像质量改善引擎输出的图像也将具有不适合图像诊断的图像质量。因此，可以从训练数据中去除包括这种高质量图像的配对。
此外，例如，在形成配对的两个矩形区域图像之间，在从低质量图像创建的矩形区域图像与从高质量图像创建的矩形区域图像之间的平均亮度或亮度分布存在较大差异的情况下，也可以从训练数据中去除讨论的配对。如果使用这种训练数据进行学习，则存在以下可能性：图像质量改善引擎将输出亮度分布与输入图像有很大差异的不适用于图像诊断的图像。
另外，让我们考虑如下情况：例如，在形成配对的两个矩形区域图像之间，关于要呈现的摄像目标的结构或位置在从低质量图像创建的矩形区域图像与从高质量图像创建的矩形区域图像之间存在较大差异。在这种情况下，存在以下可能性：使用这种训练数据进行学习的图像质量改善引擎将输出摄像目标的结构或位置与输入图像有很大差异的不适合图像诊断的图像。因此，可以从训练数据中去除这种配对。
请注意，类似于第一实施例，对于训练数据的输入数据，使用具有被假定为处理对象的特定摄像条件的图像，并且相关的特定摄像条件是预先确定的摄像部位、摄像系统和摄像视角。换句话说，与第一实施例不同，根据本实施例，图像尺寸不包括在特定摄像条件中。
根据本实施例的图像质量改善单元404通过使用利用这样的训练数据进行学习的图像质量改善引擎改善输入图像的图像质量来生成高质量图像。此时，图像质量改善单元404将输入图像连续且无间隙地划分为具有针对训练数据设置的一定图像尺寸的一组矩形区域图像。图像质量改善单元404通过图像质量改善引擎对输入图像被划分成的矩形区域图像组中的各图像进行图像质量改善，从而生成一组具有高图像质量的矩形区域图像。此后，图像质量改善单元404根据输入图像中的矩形区域图像之间的位置关系来布置所生成的该组具有高图像质量的矩形区域图像，并且组合矩形区域图像，从而生成高质量图像。这里，在进行学习时，如果在形成图像配对的输入数据和输出数据之间存在对应的位置关系，则可以从低质量图像和高质量图像中的任意位置切出(提取)各输入数据和输出数据的矩形区域。另一方面，当改善图像质量时，可以将输入图像连续且无间隙地划分为矩形区域图像组。此外，可以将学习时的各对图像的图像尺寸和进行图像质量改善时的各矩形区域图像的图像尺寸设置为彼此对应(例如，为相同尺寸)。通过这种方式，可以确保在改善学习效率的同时，不会发生当出现不足的部分或不必要的计算时就无法获得图像的问题。
因此，通过以矩形区域为单位改善输入图像的图像质量并将图像质量得到改善的图像结合，本实施例的图像质量改善单元404还可以通过改善根据第一实施例不能被处理的图像尺寸的图像的图像质量来生成高质量图像。
接下来，参照图5、图13和图14A至图14D描述根据本实施例的一系列图像处理操作。图13是示出根据本实施例的图像质量改善处理的流程图。请注意，根据本实施例的步骤S510、步骤S520和步骤S550中的处理与第一实施例中的这些步骤中的处理相同，因此在此省略对该处理的描述。请注意，在要针对图像尺寸以外的摄像条件无条件地改善输入图像的图像质量的情况下，在进行步骤S520中的处理之后，可以省略步骤S530中的处理，并且处理可以进入步骤S540。
在步骤S520中，类似于第一实施例，在摄像条件获得单元402获得输入图像的摄像条件组时，处理进入步骤S530。在步骤S530中，图像质量改善可能性确定单元403使用获得的摄像条件组来确定图像质量改善单元404包括的图像质量改善引擎是否能够处理输入图像。具体地，关于输入图像的摄像条件，图像质量改善可能性确定单元403确定图像质量改善引擎是否可以处理摄像部位、摄像系统和摄像视角。与第一实施例不同，图像质量改善可能性确定单元403不进行关于图像尺寸的确定。
图像质量改善可能性确定单元403进行关于摄像部位、摄像系统和摄像视角的确定，并且如果确定可以处理输入图像，则处理进入步骤S540。另一方面，在图像质量改善可能性确定单元403基于这些摄像条件确定图像质量改善引擎不能处理输入图像的情况下，处理进入步骤S550。请注意，依据图像处理装置400的设置或实现形式，即使确定出基于摄像部位、摄像系统和摄像视角中的一个或更多个条件仍不能处理输入图像，也可以进行步骤S540中的图像质量改善处理。
当处理进入步骤S540时，开始图13中所示的根据本实施例的图像质量改善处理。现在将使用图14A至图14D描述该处理。在根据本实施例的图像质量改善处理中，首先，在步骤S1310中，如图14A所示，将输入图像连续且无间隙地划分为一组针对训练数据设置的一定图像尺寸(R1411所示的尺寸)的矩形区域图像。图14A示出了被划分为一组一定图像尺寸的矩形区域图像R1411至R1426的输入图像Im1410的一个示例。请注意，如上所述，依据图像质量改善引擎的设计，输入到图像质量改善引擎的图像和从图像质量改善引擎输出的图像可能在图像尺寸或维数方面彼此不同。在这种情况下，为了确保对于在步骤S1320中生成的结合的高质量图像没有损失，可以通过使位置交叠或通过分离位置来调整输入图像被划分的位置。图14B示出了使输入图像被划分的位置交叠的示例。在图14B中，附图标记R1411'和R1412'表示交叠区域。尽管为了避免使附图复杂化而未示出，但是假定R1413至R1426具有相似的交叠区域R1413'至R1426'。请注意，在图14B的情况下针对训练数据设置的矩形区域尺寸是R1411'中所示的尺寸。因为在输入图像Im1410的图像的外周(上边缘、下边缘、左边缘和右边缘)中不存在数据，所以通过用固定像素值装填，通过用邻近像素值装填或通过镜像填充来进行填充。此外，依据图像质量改善引擎，在某些情况下，由于滤波处理，图像质量改善的精度在图像的内周(上边缘、下边缘、左边缘和右边缘)降低。因此，矩形区域图像可以被设置为使得图像被划分的位置如图14B所示的示例那样交叠，并且矩形区域图像可以在一部分处被修整，然后被组合以获得最终图像。根据图像质量改善引擎的特性来设置矩形区域的尺寸。请注意，尽管在图14A和图14B中以OCT断层扫描图像为例进行了示出，但是如图14C和图14D所示，输入图像(Im1450)可以是诸如OCTA面内图像的正面图像，并且可以对其进行类似的处理。请注意，根据作为处理对象的图像和图像质量改善引擎的种类来适当地进行矩形区域图像的尺寸的设置。
接下来，在步骤S1320中，图像质量改善单元404使用图像质量改善引擎来改善该组矩形区域图像R1411至R1426中的各矩形区域图像的图像质量，或者在设置交叠区域的情况下，改善该组矩形区域图像R1411'至R1426'中的各矩形区域图像的图像质量，从而生成具有高图像质量的一组矩形区域图像。
随后，在步骤S1330中，图像质量改善单元404通过根据与由划分输入图像而获得的该组矩形区域图像R1411至R1426的位置关系相同的位置关系，布置和组合所生成的该组具有高图像质量的矩形区域图像中的各矩形区域图像，来生成高质量图像。在设置交叠区域的情况下，图像质量改善单元404通过在根据与各个矩形区域图像R1411'至R1426'相同的位置关系布置图像之后，将矩形区域图像R1411至R1426切出和组合，来生成高质量图像。请注意，可以采用利用交叠区域来校正矩形区域图像R1411'至R1426'的亮度值的构造。例如，任意地设置要被用作参考的矩形区域图像。然后，通过测量具有与参考矩形图像交叠的区域的相邻矩形图像中相同坐标点的亮度值，可以求出相邻图像的亮度值之间的差值(比率)。类似地，通过确定所有图像的交叠区域处的亮度值之间的差值(比率)，可以进行校正，以便消除整个亮度值之间的不均匀性。请注意，不必将整个交叠区域用于亮度值校正，并且不需要使用交叠区域的一部分(外围的像素数)。
如上所述，根据本实施例的图像质量改善单元404将输入图像划分为预定图像尺寸的多个矩形区域图像(第三图像)R1411至R1426。此后，图像质量改善单元404将划分的多个矩形区域图像R1411至R1426输入到图像质量改善引擎以生成多个第四图像，然后整合多个第四图像以生成高质量图像。请注意，在整合期间在该组矩形区域之间的位置关系交叠的情况下，可以对矩形区域组的像素值组进行整合或重写。
因此，即使在输入图像具有根据第一实施例无法处理的图像尺寸的情况下，本实施例的图像质量改善单元404也可以通过图像质量改善引擎来改善输入图像的图像质量，并因此可以生成高质量图像。此外，通过从将低质量图像和高质量图像划分为预定图像尺寸而获得的多个图像中创建训练数据，可以从少量图像中创建大量训练数据。因此，在这种情况下，可以减少用于创建训练数据的低质量图像和高质量图像的数目。
请注意，类似于第一实施例，输出单元405可以将所生成的高质量图像输出到摄像装置10或连接到图像处理装置400的其他装置。此外，类似于第一实施例，图像质量改善引擎的训练数据的输出数据不限于通过进行叠加处理而获得的高质量图像。换句话说，可以使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得的高质量图像：叠加处理、MAP估计处理、平滑滤波处理、灰度转换处理、使用高性能摄像装置的摄像、高成本处理和降噪处理。
<第七实施例>
接下来，将参照图15至图17描述根据第七实施例的图像处理装置。在本实施例中，图像质量评估单元根据检查者的指令，从多个图像质量改善引擎输出的多个高质量图像当中选择具有最高图像质量的图像。
除非另有明确说明，否则根据本实施例的图像处理装置的构造和处理与根据第一实施例的图像处理装置400相同。因此，下面围绕与根据第一实施例的图像处理装置的不同之处来描述根据本实施例的图像处理装置。
图15是示出根据本实施例的图像处理装置1500的示意性构造的图。除了获得单元401、摄像条件获得单元402、图像质量改善可能性确定单元403、图像质量改善单元404和输出单元405之外，根据本实施例的图像处理装置1500还配设有图像质量评估单元1506。请注意，图像处理装置1500可以由多个装置构成，各装置均配设有这些部件中的一个或更多个。这里，由于关于获得单元401、摄像条件获得单元402、图像质量改善可能性确定单元403、图像质量改善单元404和输出单元405的构造与根据第一实施例的图像处理装置的构造相同，所以图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且以下省略对这些部件的描述。
此外，类似于根据第一实施例的图像处理装置400，图像处理装置1500可以通过任何电路或网络连接到摄像装置10、显示单元20和其他装置(未示出)。此外，这些装置可以通过电路或网络连接到任何其他装置，并且可以与任何其他装置一体地构成。请注意，虽然在本实施例中假定这些装置是彼此分离的装置，但是这些装置中的一些或全部可以彼此一体地构成。
根据本实施例的图像质量改善单元404包括使用彼此不同的训练数据进行机器学习的两个或更多个图像质量改善引擎。现在将描述根据本实施例的用于创建训练数据组的方法。具体地，首先，准备配对组，各配对均包括作为低质量图像的输入数据和通过根据各种摄像条件进行摄像而获得的作为高质量图像的输出数据。接下来，通过根据任意摄像条件的组合对配对组进行分组来创建训练数据组。例如，创建训练数据组，该训练数据组包括由根据摄像条件的第一组合获得的配对组构成的第一训练数据和由根据摄像条件的第二组合获得的配对组构成的第二训练数据。
此后，使各个图像质量改善引擎使用各个训练数据集进行机器学习。例如，准备图像质量改善引擎组，该图像质量改善引擎组包括与使用第一训练数据训练的机器学习模型相对应的第一图像质量改善引擎和与使用第一训练数据训练的机器学习模型相对应的第一图像质量改善引擎。
因为使用不同的训练数据来训练与这些图像质量改善引擎中的各图像质量改善引擎相对应的各个机器学习模型，所以这些图像质量改善引擎中的各图像质量改善引擎可以改善输入到图像质量改善引擎中的输入图像的图像质量的程度会根据输入图像的摄像条件而不同。具体地，在第一图像质量改善引擎的情况下，针对通过使用摄像条件的第一组合进行摄像而获得的输入图像的图像质量改善程度高，并且针对通过使用摄像条件的第二组合进行摄像而获得的图像的图像质量改善程度低。类似地，在第二图像质量改善引擎的情况下，针对通过使用摄像条件的第二组合进行摄像而获得的输入图像的图像质量改善程度高，并且针对通过使用摄像条件的第一组合进行摄像而获得的图像的图像质量改善程度低。
因为各训练数据集由根据摄像条件的组合而分组的配对组组成，所以在构成相关配对组的图像组中的图像之间将具有相似的图像质量趋势。因此，如果摄像条件的组合与用于训练相关图像质量改善引擎的训练数据相对应，则与根据第一实施例的图像改善引擎相比，该相关图像质量改善引擎可以更有效地进行图像质量改善。请注意，用于对配对的训练数据进行分组的摄像条件的组合可以是摄像条件的任何组合，并且例如可以是由摄像部位、摄像视角和图像分辨率组成的组中的两个或更多个摄像条件的组合。此外，与第二实施例类似，可以基于单个摄像条件来对训练数据进行分组。
响应于检查者的指令，图像质量评估单元1506从图像质量改善单元404使用多个图像质量改善引擎生成的多个高质量图像中选择具有最高图像质量的高质量图像。
输出单元405可以使显示单元20显示图像质量评估单元1506选择的高质量图像，或者可以将高质量图像输出到其他装置。请注意，输出单元405可以使显示单元20显示由图像质量改善单元404生成的多个高质量图像，并且图像质量评估单元1506可以根据来自检查了显示单元20上的图像的检查者的指令选择具有最高图像质量的高质量图像。
因此，图像处理装置1500可以根据检查者的指令，从使用多个图像质量改善引擎生成的多个高质量图像当中输出具有最高图像质量的高质量图像。
下面将参照图16和图17描述根据本实施例的一系列图像处理操作。图16是示出根据本实施例的一系列图像处理操作的流程图。请注意，根据本实施例的步骤S1610和步骤S1620中的处理与第一实施例中的步骤S510和步骤S520中的处理相同，因此在此省略对该处理的描述。请注意，在要针对摄像条件无条件地改善输入图像的图像质量的情况下，在进行步骤S1620中的处理之后，可以省略步骤S1630中的处理，并且处理可以进入步骤S1640。
在步骤S1620中，与第一实施例类似，在摄像条件获得单元402获得输入图像的摄像条件组时，处理进入步骤S1630。在步骤S1630中，与第二实施例类似，图像质量改善可能性确定单元403使用获得的摄像条件组来确定图像质量改善单元404包括的任何图像质量改善引擎是否可以处理输入图像。
如果图像质量改善可能性确定单元403确定该图像质量改善引擎组中没有一个能够处理输入图像，则处理进入步骤S1660。另一方面，如果图像质量改善可能性确定单元403确定该图像质量改善引擎组中的任何一个能够处理输入图像，则处理进入步骤S1640。请注意，依据图像处理装置400的设置或实现形式，与第一实施例类似，即使确定一些摄像条件无法通过任何图像质量改善引擎来处理，也可以执行步骤S1640中的处理。
在步骤S1640中，图像质量改善单元404将在步骤S1610中获得的输入图像输入到图像质量改善引擎组中的各图像质量改善引擎，从而生成高质量图像组。
在步骤S1650中，图像质量评估单元1506从在步骤S1640中生成的高质量图像组中选择具有最高图像质量的图像。具体地，首先，输出单元405使在步骤S1640中生成的高质量图像组显示在显示单元20的用户界面上。
在这种情况下的界面的示例在图17中示出。在界面上显示输入图像Im1710以及由图像质量改善引擎组的各个图像质量改善引擎输出的高质量图像Im1720、Im1730、Im1740和Im1750。检查者操作任意输入装置(未示出)以指示具有最高图像质量的图像，即，图像组(高质量图像Im1720至Im1750)中最适合图像诊断的图像。请注意，由于还存在未经过由图像质量改善引擎进行的图像质量改善的输入图像适合于图像诊断的可能性，因此检查者可以将输入图像添加到作为指示对象的图像组。
此后，图像质量评估单元1506选择检查者指示的高质量图像作为具有最高图像质量的图像。
在步骤S1660中，输出单元405使在步骤S1650中选择的图像显示在显示单元20上，或者将图像输出到其他装置。然而，如果在步骤S1630中确定不可能处理输入图像，则输出单元405将输入图像输出作为输出图像。请注意，在检查者指示选择了输入图像的情况下或在不可能处理输入图像的情况下，输出单元405可以使显示单元20显示指示输出图像与输入图像相同的信息。
如上所述，根据本实施例的图像质量改善单元404使用多个图像质量改善引擎由输入图像生成多个高质量图像，并且图像处理装置1500的输出单元405根据检查者的指令输出多个高质量图像中的至少一个图像。特别地，在本实施例中，输出单元405根据检查者的指令输出具有最高图像质量的图像。通过这种方式，图像处理装置1500可以根据检查者的指令，从使用多个图像质量改善引擎生成的多个高质量图像当中输出具有高图像质量的高质量图像。
请注意，与第一实施例类似，输出单元405可以将所生成的高质量图像输出到摄像装置10或连接到图像处理装置1500的其他装置。此外，与第一实施例类似，图像质量改善引擎的训练数据的输出数据不限于通过进行叠加处理而获得的高质量图像。换句话说，可以使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得的高质量图像：叠加处理、MAP估计处理、平滑滤波处理、灰度转换处理、使用高性能摄像装置的摄像、高成本处理和降噪处理。
<第八实施例>
接下来，将参照图15和图16描述根据第八实施例的图像处理装置。在本实施例中，图像质量评估单元使用图像质量评估引擎来从多个图像质量改善引擎输出的多个高质量图像当中选择具有最高图像质量的图像。
除非另有明确说明，否则根据本实施例的图像处理装置的构造和处理与根据第七实施例的图像处理装置1500相同。因此，下面围绕与根据第七实施例的图像处理装置的不同之处来描述根据本实施例的图像处理装置。请注意，由于根据本实施例的图像处理装置的构造与根据第七实施例的图像处理装置的构造相同，因此图15中示出的构造的部件用与第七实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描述。
根据本实施例的图像质量评估单元1506包括用于评估输入图像的图像质量的图像质量评估引擎。图像质量评估引擎输出关于输入图像的图像质量评估指标。在根据本实施例的图像质量评估引擎中计算图像质量评估指标的图像质量评估处理技术使用利用机器学习算法构建的机器学习模型。构成用于训练机器学习模型的训练数据的配对的输入数据是由根据各种摄像条件预先摄像的低质量图像组和高质量图像组构成的图像组。此外，构成用于训练机器学习模型的训练数据的配对的输出数据是例如图像质量评估指标组，该图像质量评估指标组由进行图像诊断的检查者针对输入数据的各图像组来设置。
接下来，参照图16描述根据本实施例的一系列图像处理操作。请注意，由于根据本实施例的步骤S1610、步骤S1620、步骤S1630和步骤S1660中的处理与第七实施例中的这些步骤中的处理相同，因此在此省略对该处理的描述。请注意，在要针对摄像条件无条件地改善输入图像的图像质量的情况下，在进行步骤S1620中的处理之后，可以省略步骤S1630中的处理，并且处理可以进入步骤S1640。
在步骤S1630中，类似于第七实施例，如果图像质量改善可能性确定单元403确定该图像质量改善引擎组中的任何图像质量改善引擎能够处理输入图像，则处理进入步骤S1640。请注意，依据图像处理装置400的设置或实现形式，与第一实施例类似，即使确定一些摄像条件无法通过任何图像质量改善引擎来处理，也可以执行步骤S1640中的处理。
在步骤S1640中，图像质量改善单元404将在步骤S1610中获得的输入图像输入到图像质量改善引擎组中的各图像质量改善引擎，从而生成高质量图像组。
在步骤S1650中，图像质量评估单元1506从在步骤S1640中生成的高质量图像组中选择具有最高图像质量的图像。具体地，首先，图像质量评估单元1506将在步骤S1640中生成的高质量图像组输入到图像质量评估引擎。图像质量评估引擎基于学习针对各输入的高质量图像计算图像质量评估指标。图像质量评估单元1506选择计算出在所计算的图像质量评估指标中的最高图像质量评估指标的高质量图像。请注意，由于还存在未经过由图像质量改善引擎进行的图像质量改善的输入图像适合于图像诊断的可能性，因此图像质量评估单元1506也可以将输入图像输入到图像质量评估引擎中，然后将输入图像的图像质量评估指标添加到选择中。由于步骤S1660与第七实施例的步骤S1660相同，因此在此省略其描述。
如上所述，根据本实施例的图像处理装置1500还包括图像质量评估单元1506，该图像质量评估单元1506评估高质量图像的图像质量。图像质量改善单元404使用多个图像质量改善引擎由输入图像生成多个高质量图像，并且图像处理装置1500的输出单元405根据图像质量评估单元1506的评估结果输出多个高质量图像中的至少一个图像。特别地，根据本实施例的图像质量评估单元1506包括使用根据预定评估技术获得的评估值作为学习数据的图像质量评估引擎。图像质量评估单元1506选择多个高质量图像中的图像质量评估单元1506使用图像质量评估引擎的评估结果最高的高质量图像。输出单元405输出由图像质量评估单元1506选择的具有最高评估值的高质量图像。
因此，根据本实施例的图像处理装置1500可以基于图像质量评估引擎的输出，容易地从多个高质量图像当中输出最适合图像诊断的高质量图像。
请注意，在本实施例中，图像质量评估单元1506选择具有由图像质量评估引擎输出的图像质量评估指标中的最高图像质量评估指标的高质量图像，并且输出单元405使显示单元20显示所选择的高质量图像。然而，图像质量评估单元1506的构造不限于此。例如，图像质量评估单元1506可以选择由图像质量评估引擎输出的图像质量评估指标中的若干个图像质量评估指标较高的高质量图像，并且输出单元405可以使所选择的高质量图像显示在显示单元20上。此外，输出单元405可以使图像质量评估引擎输出的图像质量评估指标与相应的高质量图像一起显示在显示单元20上，并且图像质量评估单元1506可以根据来自检查者的指令选择具有最高图像质量的图像。
请注意，与第一实施例类似，输出单元405可以将所生成的高质量图像输出到摄像装置10或连接到图像处理装置1500的其他装置。此外，与第一实施例类似，图像质量改善引擎的训练数据的输出数据不限于通过进行叠加处理而获得的高质量图像。换句话说，可以使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得的高质量图像：叠加处理、MAP估计处理、平滑滤波处理、灰度转换处理、使用高性能摄像装置的摄像、高成本处理和降噪处理。
<第九实施例>
接下来，参照图18和图19描述根据第九实施例的图像处理装置。在本实施例中，真实性评估单元使用真实性评估引擎来评估由图像质量改善单元404生成的高质量图像是否经过了充分的图像质量改善。
除非另有明确说明，否则根据本实施例的图像处理装置的构造和处理与根据第一实施例的图像处理装置400的构造和处理相同。因此，下面围绕与根据第一实施例的图像处理装置的不同之处来描述根据本实施例的图像处理装置。
图18示出了根据本实施例的图像处理装置1800的示意性构造。除了获得单元401、摄像条件获得单元402、图像质量改善可能性确定单元403、图像质量改善单元404和输出单元405之外，根据本实施例的图像处理装置1800还配设有真实性评估单元1807。请注意，图像处理装置1800可以由多个装置构成，各装置均配设有这些部件中的一个或更多个。这里，由于关于获得单元401、摄像条件获得单元402、图像质量改善可能性确定单元403、图像质量改善单元404和输出单元405的构造与根据第一实施例的图像处理装置的构造相同，所以图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且以下省略对这些部件的描述。
此外，类似于根据第一实施例的图像处理装置400，图像处理装置1800可以通过任何电路或网络连接到摄像装置10、显示单元20和其他装置(未示出)。此外，这些装置可以通过电路或网络连接到任何其他装置，并且可以与任何其他装置一体地构成。请注意，虽然在本实施例中假定这些装置是彼此分离的装置，但是这些装置中的一些或全部可以彼此一体地构成。
真实性评估单元1807包括真实性评估引擎。真实性评估单元1807使用真实性评估引擎来评估图像质量改善引擎所生成的高质量图像是否经过了充分的图像质量改善。根据本实施例的真实性评估引擎所使用的真实性评估处理技术使用利用机器学习算法构建的机器学习模型。
用于训练机器学习模型的训练数据包括由预先根据各种摄像条件摄像的高质量图像组和指示相关图像是通过目标摄像装置进行摄像而获得的标签(以下称为“真实标签”)构成的配对组。此外，训练数据包括由通过将低质量图像输入到图像质量改善精度差的图像质量改善引擎中而生成的高质量图像组和指示相关图像不是由目标摄像装置进行摄像而获得的标签(以下称为“假标签”)构成的配对组。
虽然事实并不是使用这种训练数据进行了学习的真实性评估引擎可以肯定地评估输入图像是否是通过由摄像装置进行摄像而获得，但是真实性评估引擎可以评估该图像是否看起来像通过由摄像装置进行摄像而获得的图像。利用该特性，通过将图像质量改善单元404所生成的高质量图像输入到真实性评估引擎中，真实性评估单元1807可以评估图像质量改善单元404所生成的高质量图像是否经过了充分的图像质量改善。
如果由真实性评估单元1807确定图像质量改善单元404所生成的高质量图像经过了充分的图像质量改善，则输出单元405使显示单元20显示高质量图像。另一方面，如果由真实性评估单元1807确定图像质量改善单元404所生成的高质量图像未经过充分的图像质量改善，则输出单元405使显示单元20显示输入图像。请注意，当使输入图像显示时，输出单元405可以使显示单元20显示指示图像质量改善单元404所生成的高质量图像未经过充分的图像质量改善或者显示的图像是输入图像的信息。
下面将参照图19描述根据本实施例的一系列图像处理操作。图19是示出根据本实施例的一系列图像处理操作的流程图。请注意，根据本实施例的步骤S1910至步骤S1940中的处理与第一实施例中的步骤S510至步骤S540中的处理相同，因此在此省略对该处理的描述。请注意，在要针对摄像条件无条件地改善输入图像的图像质量的情况下，在进行步骤S1920中的处理之后，可以省略步骤S1930中的处理，并且处理可以进入步骤S1940。
在步骤S1940中，在图像质量改善单元404生成高质量图像组时，处理进入步骤S1950。在步骤S1950中，真实性评估单元1807将在步骤S1940中生成的高质量图像输入到真实性评估引擎中，并且基于真实性评估引擎的输出来进行真实性评估。具体地，在从真实性评估引擎输出真实标签(“真”)的情况下，真实性评估单元1807评估出所生成的高质量图像经过了充分的图像质量改善。另一方面，在从真实性评估引擎输出伪标签(“假”)的情况下，真实性评估单元1807评估出所生成的高质量图像未经过充分的图像质量改善。
在步骤S1960中，如果真实性评估单元1807确定图像质量改善单元404所生成的高质量图像经过了充分的图像质量改善，则输出单元405使显示单元20显示相关高质量图像。另一方面，如果由真实性评估单元1807确定图像质量改善单元404所生成的高质量图像未经过充分的图像质量改善，则输出单元405使显示单元20显示输入图像。
如上所述，根据本实施例的图像处理装置1800还包括评估高质量图像的图像质量的真实性评估单元1807，并且真实性评估单元1807包括评估图像的真实性的真实性评估引擎。真实性评估引擎包括机器学习引擎，对于该机器学习引擎，使用了由图像质量改善处理精度比图像质量改善单元404的图像质量改善引擎的图像质量改善处理精度低(差)的图像质量改善引擎所生成的图像作为学习数据。在真实性评估单元的真实性评估引擎的输出指示相关高质量图像是真实(authentic)的情况下，图像处理装置1800的输出单元405输出高质量图像。
通过这种方式，根据本实施例的图像处理装置1800，检查者可以有效地确认高质量图像经过了充分的图像质量改善。
此外，可以通过协调地训练图像质量改善引擎的机器学习模型和真实性评估引擎的机器学习模型来改善图像质量改善引擎和真实性评估引擎两者的效率和精度。
请注意，虽然在本实施例中采用以下构造：使得图像质量改善单元404生成单个高质量图像，并且真实性评估单元1807针对所生成的单个高质量图像进行评估，但是通过真实性评估单元1807进行的评估不限于此。例如，在如第二实施例中那样图像质量改善单元404使用多个图像质量改善引擎生成多个高质量图像的情况下，真实性评估单元1807可以被构造为针对多个生成的高质量图像中的至少一个进行评估。在这种情况下，例如，真实性评估单元1807可以针对所有生成的多个高质量图像进行评估，或者可以仅针对多个高质量图像中由检查者指示的图像进行评估。
另外，输出单元405可以使显示单元20显示真实性评估单元1807的关于高质量图像是否经过了充分的图像质量改善的确定结果，并且可以根据检查者的指令在显示单元20中输出高质量图像。
请注意，与第一实施例类似，输出单元405可以将所生成的高质量图像输出到摄像装置10或连接到图像处理装置1800的其他装置。此外，与第一实施例类似，图像质量改善引擎的训练数据的输出数据不限于通过进行叠加处理而获得的高质量图像。换句话说，可以使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得的高质量图像：叠加处理、MAP估计处理、平滑滤波处理、灰度转换处理、使用高性能摄像装置的摄像、高成本处理和降噪处理。
<第十实施例>
接下来，参照图4和图5描述根据第十实施例的图像处理装置。在本实施例中，图像质量改善单元将输入的三维图像划分为多个二维图像，并且将多个二维图像输入至图像质量改善引擎，然后组合来自图像质量改善引擎的输出图像，以生成三维高质量图像。
除非另有明确说明，否则根据本实施例的图像处理装置的构造和处理与根据第一实施例的图像处理装置400的构造和处理相同。因此，下面围绕与根据第一实施例的图像处理装置的不同之处来描述根据本实施例的图像处理装置。请注意，由于根据本实施例的图像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描述。
根据本实施例的获得单元401获得由在结构上连续的一组二维图像构成的三维图像。具体地，三维图像是例如由一组OCT B扫描图像(断层扫描图像)构成的三维OCT体图像。此外，三维图像是例如由一组轴向断层扫描图像构成的三维CT体图像。
与第一实施例类似，图像质量改善单元404包括图像质量改善引擎。请注意，由二维图像的图像组构成作为图像质量改善引擎的训练数据的输入数据和输出数据的配对组。图像质量改善单元404将所获得的三维图像划分为多个二维图像，并且将各二维图像输入到图像质量改善引擎中。通过这种方式，图像质量改善单元404可以生成多个二维高质量图像。
输出单元405组合由图像质量改善单元404针对三维图像的各个二维图像生成的多个二维高质量图像，从而输出三维高质量图像。
接下来，参照图5描述根据本实施例的一系列图像处理操作。请注意，由于根据本实施例的步骤S510至步骤S530和步骤S550中的处理与第一实施例中的这些步骤中的处理相似，因此在此省略对该处理的描述。然而，在步骤S510中，获得单元401获得三维图像。请注意，在要针对摄像条件无条件地改善输入图像的图像质量的情况下，在进行步骤S520中的处理之后，可以省略步骤S530中的处理，并且处理可以进入步骤S540。
在步骤S530中，如果图像质量改善可能性确定单元403确定输入图像可以由图像质量改善引擎处理，则处理进入步骤S540。请注意，图像质量改善可能性确定单元403可以基于三维图像的摄像条件来进行所讨论的确定，或者可以基于与构成三维图像的多个二维图像有关的摄像条件来进行确定。在步骤S540中，图像质量改善单元404将所获得的三维图像划分为多个二维图像。图像质量改善单元404将所划分的多个二维图像的各二维图像输入到图像质量改善引擎，从而生成多个二维高质量图像。图像质量改善单元404基于所获得的三维图像来组合所生成的多个二维高质量图像，从而生成三维高质量图像。
在步骤S550中，输出单元405使显示单元20显示所生成的三维高质量图像。请注意，可以以任何显示形式显示三维高质量图像。
如上所述，根据本实施例的图像质量改善单元404将输入的三维图像划分成多个二维图像，并且将多个二维图像输入到图像质量改善引擎中。图像质量改善单元404组合从图像质量改善引擎输出的多个二维高质量图像，从而生成三维高质量图像。
因此，根据本实施例的图像质量改善单元404可以通过使用图像质量改善引擎来改善三维图像的图像质量，该图像质量改善引擎使用由二维图像构成的训练数据进行学习。
请注意，与第一实施例类似，输出单元405可以将所生成的高质量图像输出到摄像装置10或连接到图像处理装置400的其他装置。此外，与第一实施例类似，图像质量改善引擎的训练数据的输出数据不限于通过进行叠加处理而获得的高质量图像。换句话说，可以使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得的高质量图像：叠加处理、MAP估计处理、平滑滤波处理、灰度转换处理、使用高性能摄像装置的摄像、高成本处理和降噪处理。
<第十一实施例>
接下来，参照图4和图5描述根据第十一实施例的图像处理装置。在本实施例中，图像质量改善单元将输入的三维图像划分为多个二维图像，使多个二维图像经过由多个图像质量改善引擎并行地进行的图像质量改善，然后组合来自图像质量改善引擎的输出图像，以生成三维高质量图像。
除非另有明确说明，否则根据本实施例的图像处理装置的构造和处理与根据第十实施例的图像处理装置400的构造和处理相同。因此，下面围绕与根据第十实施例的图像处理装置的不同之处来描述根据本实施例的图像处理装置。请注意，由于根据本实施例的图像处理装置的构造与根据第一实施例和第十实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例和第十实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描述。
根据本实施例的图像质量改善单元404包括与第十实施例中配设的图像质量改善引擎相同的多个图像质量改善引擎。请注意，在图像质量改善单元404中配设的多个图像质量改善引擎的组可以以使得能够通过电路或网络在两个或更多个装置的组中进行分布式处理的方式来实现，或者可以在单个装置中实现。
类似于第十实施例，图像质量改善单元404将所获得的三维图像划分为多个二维图像。图像质量改善单元404使用多个图像质量改善引擎通过(并行地)共享它们之间的处理，对多个二维图像进行图像质量改善，从而生成多个二维高质量图像。图像质量改善单元404基于作为处理对象的三维图像，组合从多个图像质量改善引擎输出的多个二维高质量图像，从而生成三维高质量图像。
接下来，参照图5描述根据本实施例的一系列图像处理操作。请注意，由于根据本实施例的步骤S510至步骤S530和步骤S550中的处理与第十实施例中的这些步骤中的处理相同，因此在此省略对该处理的描述。请注意，在要针对摄像条件无条件地改善输入图像的图像质量的情况下，在进行步骤S520中的处理之后，可以省略步骤S530中的处理，并且处理可以进入步骤S540。
在步骤S530中，如果图像质量改善可能性确定单元403确定输入图像可以由图像质量改善引擎处理，则处理进入步骤S540。请注意，图像质量改善可能性确定单元403可以基于三维图像的摄像条件来进行所讨论的确定，或者可以基于与构成三维图像的多个二维图像有关的摄像条件来进行确定。
在步骤S540中，图像质量改善单元404将所获得的三维图像划分为多个二维图像。图像质量改善单元404将所划分的多个二维图像中的各二维图像输入到多个图像质量改善引擎，以并行地进行对二维图像的图像质量改善处理，并生成多个二维高质量图像。图像质量改善单元404基于所获得的三维图像来组合所生成的多个二维高质量图像，从而生成三维高质量图像。
在步骤S550中，输出单元405使显示单元20显示所生成的三维高质量图像。请注意，可以以任何显示形式显示三维高质量图像。
如上所述，根据本实施例的图像质量改善单元404包括多个图像质量改善引擎。图像质量改善单元404将输入的三维图像划分为多个二维图像，并通过并行使用多个图像质量改善引擎来生成多个二维高质量图像。图像质量改善单元404对多个二维高质量图像进行整合以生成三维高质量图像。
因此，根据本实施例的图像质量改善单元404可以通过使用图像质量改善引擎来改善三维图像的图像质量，这些图像质量改善引擎使用由二维图像构成的训练数据进行学习。此外，与第十实施例相比，可以更有效地改善三维图像的图像质量。
请注意，多个图像质量改善引擎的训练数据可以是根据由各个图像质量改善引擎进行处理的处理对象而不同的训练数据。例如，第一图像质量改善引擎可以使用针对第一摄像区域的训练数据来进行学习，并且第二图像质量改善引擎可以使用针对第二摄像区域的训练数据来进行学习。在这种情况下，各个图像质量改善引擎可以针对二维图像更精确地进行图像质量改善。
此外，与第一实施例类似，输出单元405可以将所生成的高质量图像输出到摄像装置10或连接到图像处理装置400的其他装置。此外，与第一实施例类似，用于图像质量改善引擎的训练数据的输出数据不限于通过进行叠加处理而获得的高质量图像。换句话说，可以使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得的高质量图像：叠加处理、MAP估计处理、平滑滤波处理、灰度转换处理、使用高性能摄像装置的摄像、高成本处理和降噪处理。
<第十二实施例>
接下来，参照图5和图20描述根据第十二实施例的图像处理装置。在本实施例中，获得单元401从图像管理系统2000而不是摄像装置获得输入图像。
除非另有明确说明，否则根据本实施例的图像处理装置的构造和处理与根据第一实施例的图像处理装置400的构造和处理相同。因此，下面围绕与根据第一实施例的图像处理装置的不同之处来描述根据本实施例的图像处理装置。请注意，由于根据本实施例的图像处理装置的构造与根据第一实施例的图像处理装置400的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描述。
图20是示出根据本实施例的图像处理装置400的示意性构造的图。根据本实施例的图像处理装置400通过任何电路或网络连接到图像管理系统2000和显示单元20。图像管理系统2000是被构造为接收和存储由任何摄像装置摄像的图像或经过图像处理的图像的装置和系统。此外，图像管理系统2000可以响应于来自所连接的装置的请求来发送图像，对存储的图像进行图像处理，并且请求其他装置执行对图像处理的请求。图片存档和通信系统(PACS)可以作为图像管理系统的示例被包括在内。
根据本实施例的获得单元401可以从连接到图像处理装置400的图像管理系统2000获得输入图像。此外，输出单元405可以将由图像质量改善单元404生成的高质量图像输出到图像管理系统2000。
接下来，参照图5描述根据本实施例的一系列图像处理操作。请注意，由于根据本实施例的步骤S520至步骤S540中的处理与第一实施例中的这些步骤中的处理相同，因此在此省略对该处理的描述。请注意，在要针对摄像条件无条件地改善输入图像的图像质量的情况下，在进行步骤S520中的处理之后，可以省略步骤S530中的处理，并且处理可以进入步骤S540。
在步骤S510中，获得单元401从通过电路或网络连接到图像处理装置400的图像管理系统2000，获得存储在图像管理系统2000中的图像作为输入图像。请注意，获得单元401可以响应于来自图像管理系统2000的请求来获得输入图像。例如，在图像管理系统2000存储图像时，或者在将存储的图像发送到其他装置之前，或者在显示单元20上显示存储的图像时，可以发出该请求。另外，例如，当用户操作图像管理系统2000以请求图像质量改善处理时，或者当图像管理系统2000包括的图像分析功能利用了高质量图像时，可以发出相关请求。
从步骤S520到步骤S540的处理与第一实施例中的处理相同。当在步骤S540中图像质量改善单元404生成高质量图像时，处理进入步骤S550。在步骤S550中，如果在步骤S540中生成了高质量图像，则输出单元405将高质量图像作为输出图像输出到图像管理系统2000。如果在步骤S540中未生成高质量图像，则输出单元405将上述输入图像作为输出图像输出到图像管理系统2000。请注意，依据图像处理装置400的设置或实现方式，输出单元405可以处理输出图像或转换输出图像的数据格式，使得图像管理系统2000可以利用输出图像。
如上所述，根据本实施例的获得单元401从图像管理系统2000获得输入图像。因此，基于图像管理系统2000存储的图像，本实施例的图像处理装置400可以输出适用于图像诊断的高质量图像，而不会增加对被摄体的侵入性或进行摄像的人的劳动。此外，输出的高质量图像可以存储在图像管理系统2000中，或者可以显示在图像管理系统2000包括的用户界面上。此外，可以通过图像管理系统2000包括的图像分析功能来利用输出的高质量图像，或者可以通过图像管理系统2000将输出的高质量图像发送到连接至图像管理系统2000的其他装置。
请注意，图像处理装置400、图像管理系统2000和显示单元20可以通过电路或网络连接到其他装置(未示出)。此外，虽然在本实施例中假定这些装置是彼此分离的装置，但是这些装置中的一些或全部可以彼此一体地构成。
此外，与第一实施例类似，输出单元405可以将生成的高质量图像输出到图像管理系统2000或连接到图像处理装置400的其他装置。
<第十三实施例>
接下来，参照图4、图5、图21A和图21B描述根据第十三实施例的图像处理装置。在本实施例中，图像质量改善单元采用多个图像作为输入图像以生成单个高质量图像。
除非另有明确说明，否则根据本实施例的图像处理装置的构造和处理与根据第一实施例的图像处理装置400的构造和处理相同。因此，下面围绕与根据第一实施例的图像处理装置的不同之处来描述根据本实施例的图像处理装置。请注意，由于根据本实施例的图像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描述。
根据本实施例的获得单元401从摄像装置10或其他装置获得作为处理对象的多个图像作为输入数据。
在根据本实施例的图像质量改善单元404中配设有与第一实施例相同的图像质量改善引擎。训练数据也可以与第一实施例中的相同。图像质量改善单元404将由获得单元401获得的多个图像中的各图像输入到图像质量改善引擎，并且对输出的多个高质量图像进行叠加处理，从而生成最终的高质量图像。请注意，在对多个高质量图像进行叠加处理之前，图像质量改善单元404可以通过任何方法对准多个高质量图像。
输出单元405使显示单元20显示图像质量改善单元404生成的最终高质量图像。请注意，输出单元405可以使多个输入图像与最终的高质量图像一起显示在显示单元20上。此外，输出单元405可以将所生成的多个高质量图像与最终的高质量图像或输入图像一起显示在显示单元20上。
接下来，参照图5和图21A描述根据本实施例的一系列图像处理操作。图21A是根据本实施例的图像质量改善处理的流程图。请注意，根据本实施例的步骤S510至步骤S530中的处理与第一实施例中的这些步骤中的处理相似，因此在此省略对该处理的描述。
然而，在步骤S510中，获得单元401获得多个图像，并且在步骤S520和S530中，针对多个图像中的各图像获得摄像条件，并确定是否可以通过图像质量改善引擎处理各个图像。请注意，在要针对摄像条件无条件地改善各输入图像的图像质量的情况下，在进行步骤S520中的处理之后，可以省略步骤S530中的处理，并且处理可以进入步骤S540。此外，在确定图像质量改善引擎不能处理多个图像中的一个或更多个图像的情况下，可以从后续处理中排除相关图像。
如果图像质量改善可能性确定单元403在步骤S530中确定图像质量改善引擎可以处理多个输入图像，则处理进入步骤S540。当处理进入步骤S540时，开始图21A中所示的根据本实施例的图像质量改善处理。在根据本实施例的图像质量改善处理中，首先，在步骤S2110中，图像质量改善单元404将多个输入图像中的各输入图像输入到图像质量改善引擎，以生成高质量图像组。
接下来，在步骤S2120中，图像质量改善单元404对所生成的高质量图像组进行叠加处理以生成最终的单个高质量图像。请注意，可以通过诸如加法平均的平均处理或通过任何其他现有处理来进行叠加处理。当进行叠加时，图像质量改善单元404可以通过任何方法对准多个高质量图像，然后进行叠加。当图像质量改善单元404生成最终的高质量图像时，处理进入步骤S550。
在步骤S550中，输出单元405在显示单元20上显示所生成的最终高质量图像。
如上所述，根据本实施例的图像质量改善单元404由多个输入图像生成单个最终高质量图像。因为图像质量改善引擎基于输入图像进行图像质量改善，所以，例如，在特定的输入图像中未适当显示病变部位等的情况下，该病变部位等将是通过对相关输入图像进行图像质量改善而生成的高质量图像中的像素值低的部位。另一方面，在某些情况下，病变部位等适当地显示于在同一位置处摄像的其他输入图像中，并且病变部位等将是通过对相关其他输入图像进行图像质量改善而生成的高质量图像中的像素值高的部位。因此，通过叠加这些高质量图像，可以适当地显示具有低或高像素值的相关位置，并且可以生成具有高对比度的高质量图像。请注意，通过将输入图像的数目设置为比常规叠加所需的图像数目小的数目，可以减少成本，诸如传统技术中发生的延长摄像时间。
请注意，例如，在使用利用了诸如OCTA数据的运动对比度数据的输入图像的情况下，上述效果是明显的。
由于通过在对摄像目标的同一位置重复进行摄像的时间间隔内检测摄像目标的时间变化来获得运动对比度数据，所以例如存在以下情况：在一定时间间隔内针对摄像目标的运动只能检测到轻微的运动。另一方面，还存在以下情况：当在不同的时间间隔内进行摄像时，可以将摄像目标的运动检测为大运动。因此，通过将使在这些情况中的各情况下获得的运动对比度图像经过图像质量改善而生成的图像进行叠加，可以内插在特定定时未发生或仅被轻微检测到的运动对比度。因此，根据这样的处理，可以生成针对摄像目标的较大运动量进行了对比度增强的运动对比度图像，并且检查者可以确定摄像目标的更精确的状态。
因此，在使用将随时间变化的位置可视化的图像(例如，OCTA图像)作为输入图像的情况下，可以通过叠加在不同时间获得的高质量图像来对被摄体的预定部位进行更详细的摄像。
请注意，虽然在本实施例中，分别由多个输入图像生成高质量图像，并且将高质量图像叠加以生成最终的单个高质量图像，但是用于由多个输入图像生成单个高质量图像的方法不限于此方法。例如，在图21B所示的本实施例的图像质量改善处理的不同示例中，在步骤S540中开始图像质量改善处理时，在步骤S2130中，图像质量改善单元404将输入图像组叠加以生成单个叠加的输入图像。
此后，在步骤S2140中，图像质量改善单元404将单个叠加的输入图像输入到图像质量改善引擎以生成单个高质量图像。即使当以这种方式进行图像质量改善处理时，类似于前述图像质量改善处理，也可以适当地显示关于多个输入图像的具有低或高像素值的位置，并且可以生成高对比度的高质量图像。在将上述运动对比度图像(例如，OCTA图像)用作输入图像的情况下，该处理也可以实现显著的效果。
请注意，在进行所讨论的高图像质量处理的情况下，将与假定为处理对象的多个输入图像相同数目的输入图像的叠加图像用作图像质量改善引擎的训练数据的输入数据。因此，图像质量改善引擎可以进行适当的图像质量改善处理。
此外，关于根据本实施例的图像质量改善处理和前述的不同图像质量改善处理，用于组合高质量图像组或输入图像的处理不限于叠加处理。例如，可以通过将MAP估计处理应用于这些图像组中的各图像组来生成单个图像。此外，可以通过组合高质量图像组或输入图像组来生成单个图像。
通过组合高质量图像组或输入图像组来生成单个图像的情况的示例包括以下情况：使用对于高亮度区域具有宽灰度的图像和对于低亮度区域具有宽灰度的图像作为输入图像。在这种情况下，例如，通过关于高亮度区域将具有宽灰度的图像进行图像质量改善而生成的图像与通过关于低亮度区域将具有宽灰度的图像进行图像质量改善而生成的图像进行组合。通过这种方式，可以生成能够表示更宽的亮度范围(动态范围)的图像。请注意，在这种情况下，可以采用被假定为处理对象的关于高亮度区域具有宽灰度的图像和关于低亮度区域具有宽灰度的低质量图像，作为图像质量改善引擎的训练数据的输入图像。此外，可以采用与输入数据相对应的高质量图像，作为图像质量改善引擎的训练数据的输出数据。
此外，可以组合关于高亮度区域具有宽灰度的图像和关于低亮度区域具有宽灰度的图像，并且可以由图像质量改善引擎对组合后的图像进行图像质量改善。同样在这种情况下，可以生成能够表示更宽的亮度范围的图像。请注意，在这种情况下，可以采用通过组合关于高亮度区域具有宽灰度的低质量图像和关于低亮度区域具有宽灰度的低质量图像而生成的被假定为处理对象的图像，作为图像质量改善引擎的训练数据的输入图像。此外，可以采用与输入数据相对应的高质量图像作为图像质量改善引擎的训练数据的输出数据。
在这些情况下，可以使用图像质量改善引擎对能够表示更宽亮度范围的图像进行图像质量改善，可以用具有比传统技术中的图像数目小的数目的图像进行处理，并且可以以较低成本提供适合用于图像分析的图像。
请注意，可以采用诸如缩短或延长摄像装置的曝光时间的方法的任何方法，作为用于对关于高亮度区域具有宽灰度的图像和关于低亮度区域具有宽灰度的图像进行摄像的方法。此外，划分灰度宽度的方式不限于低亮度区域和高亮度区域，并且可以以任何方式划分灰度宽度。
此外，在根据本实施例的图像质量改善处理中，可以使用多个图像质量改善引擎并行处理多个输入图像。请注意，与第一实施例类似，输出单元405可以将所生成的高质量图像输出到摄像装置10或连接到图像处理装置400的其他装置。此外，与第一实施例类似，用于图像质量改善引擎的训练数据的输出数据不限于通过进行叠加处理而获得的高质量图像。换句话说，可以使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得的高质量图像：叠加处理、MAP估计处理、平滑滤波处理、灰度转换处理、使用高性能摄像装置的摄像、高成本处理和降噪处理。
<第十四实施例>
接下来，参照图4和图5描述根据第十四实施例的图像处理装置。在本实施例中，图像质量改善单元采用由多个低质量图像生成的中等质量图像作为输入图像，并生成高质量图像。
除非另有明确说明，否则根据本实施例的图像处理装置的构造和处理与根据第一实施例的图像处理装置400的构造和处理相同。因此，下面围绕与根据第一实施例的图像处理装置的不同之处来描述根据本实施例的图像处理装置。请注意，由于根据本实施例的图像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描述。
根据本实施例的获得单元401从摄像装置10或其他装置获得通过对多个低质量图像进行叠加处理而生成的中等质量图像，作为是处理对象的输入数据。请注意，当叠加低质量图像时，可以进行任何对准处理。
根据本实施例的图像质量改善单元404包括与第一实施例相似的图像质量改善引擎。然而，本实施例的图像质量改善引擎被设计为当向其输入作为具有中等级别图像质量的图像的中等质量图像时输出高质量图像。中等质量图像是通过叠加多个低质量图像组而生成的叠加图像。此外，高质量图像是具有比中等质量图像高的图像质量的图像。另外，关于构成用于由图像质量改善引擎进行训练的训练数据的配对组，构成各配对的输入数据是以与上述中等质量图像相似的方式生成的中等质量图像，并且输出数据是高质量图像。
输出单元405使显示单元20显示图像质量改善单元404生成的高质量图像。请注意，输出单元405可以使显示单元20将输入图像与高质量图像一起显示，并且在这种情况下，输出单元405可以使显示单元20显示表示输入图像是由多个低质量图像生成的图像的信息。
接下来，参照图5描述根据本实施例的一系列图像处理操作。请注意，由于根据本实施例的步骤S520至步骤S550中的处理与第一实施例中的这些步骤中的处理相同，因此在此省略对该处理的描述。
在步骤S510中，获得单元401从摄像装置10或其他装置获得中等质量图像作为输入图像。请注意，获得单元401可以响应于来自摄像装置10的请求而获得摄像装置10生成的中等质量图像，作为输入图像。例如，当摄像装置10生成图像时，或者在将摄像装置10生成的图像存储在摄像装置10包括的存储装置中之前在显示单元20上显示该图像，或者在将该图像存储在存储装置中之后在显示单元20上显示存储的图像时，或者在将高质量图像用于图像分析处理时，可以发出这种请求。
此后的处理与第一实施例中的处理相同，因此这里省略对处理的描述。
如上所述，根据本实施例的获得单元401获得中等质量图像，该中等质量图像是使用被摄体的预定部位的多个图像作为输入图像而生成的图像。在这种情况下，因为输入图像是更清晰的图像，所以图像质量改善引擎可以生成具有更高精度的高质量图像。请注意，用于生成中等质量图像的低质量图像的数目可以小于用于生成常规叠加图像的图像的数目。
请注意，中等质量图像不限于通过叠加多个低质量图像而生成的图像，并且例如可以是通过对多个低质量图像应用MAP估计处理而生成的图像，或者可以是通过组合多个低质量图像而生成的图像。在组合多个低质量图像的情况下，可以将各个图像的灰度彼此不同的图像进行组合。
此外，与第一实施例类似，输出单元405可以将所生成的高质量图像输出到摄像装置10或连接到图像处理装置400的其他装置。此外，与第一实施例类似，用于图像质量改善引擎的训练数据的输出数据不限于通过进行叠加处理而获得的高质量图像。换句话说，可以使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得的高质量图像：叠加处理、MAP估计处理、平滑滤波处理、灰度转换处理、使用高性能摄像装置的摄像、高成本处理和降噪处理。
<第十五实施例>
接下来，参照图4和图5描述根据第十五实施例的图像处理装置。在本实施例中，图像质量改善单元进行关于输入图像的图像尺寸增大(尺寸增加)，以及根据第一实施例等的用于图像质量改善的处理。
除非另有明确说明，否则根据本实施例的图像处理装置的构造和处理与根据第一实施例的图像处理装置400的构造和处理相同。因此，下面围绕与根据第一实施例的图像处理装置的不同之处来描述根据本实施例的图像处理装置。请注意，由于根据本实施例的图像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描述。
根据本实施例的获得单元401获得具有小尺寸的图像(小尺寸图像)作为输入图像。请注意，术语“小尺寸图像”是指这样的图像，其中构成该图像的像素数目少于由稍后描述的图像质量改善引擎输出的具有大尺寸的图像(大尺寸图像)中的像素数目。具体地，例如，在大尺寸图像的尺寸是宽度为1024个像素、高度为1024个像素且深度为1024个像素的情况下，小尺寸图像的尺寸是宽度为512个像素、高度为512个像素、深度为512个像素等。在这点上，在本说明书中，术语“图像尺寸增大”是指增加各图像的像素数目以增大图像尺寸的处理。
与第一实施例类似，根据本实施例的图像质量改善单元404包括图像质量改善引擎。然而，本实施例的图像质量改善引擎被构造为针对输入图像的图像尺寸进行图像尺寸增大，同时降低噪声并增强输入图像的对比度。因此，本实施例的图像质量改善引擎被构造为接受小尺寸图像的输入并输出大尺寸图像。
在这方面，关于构成由图像质量改善引擎使用的训练数据的配对组，构成各配对的输入数据是小尺寸图像，而输出数据是大尺寸图像。请注意，用于输出数据的大尺寸图像可以从具有比获得小尺寸图像的摄像装置更高性能的装置获得，或者可以通过改变摄像装置的设置来获得。此外，在已经存在一组大尺寸图像的情况下，可以将该组大尺寸图像中的各图像的尺寸缩小为假定从摄像装置10获得的图像的图像尺寸，从而获得一组要用作输入数据的小尺寸图像。另外，关于大尺寸图像，可以使用通过以与第一实施例等类似的方式叠加小尺寸图像而获得的图像。
请注意，关于通过根据本实施例的图像质量改善单元404来放大输入图像的图像尺寸，由于作为训练数据的图像是从具有比摄像装置10更高性能的装置获得的，或者是通过改变摄像装置10的设置来获得的，所以在这种情况下的放大不同于图像的简单放大。具体地，与图像被简单地放大的情况相比，用于通过根据本实施例的图像质量改善单元404来放大输入图像的图像尺寸的处理可以减少分辨率的劣化。
根据该构造，根据本实施例的图像质量改善单元404可以生成通过降低噪声并增强输入图像的对比度并且还增大图像尺寸而生成的高质量图像。
接下来，参照图5描述根据本实施例的一系列图像处理操作。请注意，由于根据本实施例的步骤S520、步骤S530和步骤S550中的处理与第一实施例中的这些步骤中的处理相同，因此在此省略对该处理的描述。请注意，在要针对摄像条件无条件地改善输入图像的图像质量的情况下，在进行步骤S520中的处理之后，可以省略步骤S530中的处理，并且处理可以进入步骤S540。
在步骤S510中，获得单元401从摄像装置10或其他装置获得作为处理对象的小尺寸图像作为输入数据。请注意，获得单元401可以响应于来自摄像装置10的请求而获得摄像装置10生成的小尺寸图像，作为输入图像。例如，当摄像装置10生成图像时，或者在将摄像装置10生成的图像存储在摄像装置10包括的存储装置中之前在显示单元20上显示该图像，或者在将该图像存储在存储装置中之后在显示单元20上显示存储的图像时，或者在将高质量图像用于图像分析处理时，可以发出这种请求。
由于步骤S520和步骤S530中的处理与第一实施例中的处理相同，因此这里省略对该处理的描述。在步骤S540中，图像质量改善单元404将输入图像输入到图像质量改善引擎，从而生成经过图像尺寸增大以及降噪和对比度增强的图像作为高质量图像。此后的处理与第一实施例中的相同，因此在此省略对处理的描述。
如上所述，根据本实施例的图像质量改善单元404生成高质量图像，相比于输入图像，该高质量图像进行了图像尺寸的放大，并且经过了降噪和对比度增强中的至少一项。通过这种方式，根据本实施例的图像处理装置400可以输出适合于图像诊断的高质量图像，而不会增加对被摄体的侵入性或进行摄像的人的劳动。
请注意，虽然在本实施例中通过单个图像质量改善引擎进行根据第一实施例等的图像质量改善处理以及用于提高分辨率的处理而生成了高质量图像，但是用于进行这种处理的构造不限于此构造。例如，图像质量改善单元可以包括进行根据第一实施例等的图像质量改善处理的图像质量改善引擎和进行图像尺寸增大处理的分开的图像质量改善引擎。
在这种情况下，进行根据第一实施例等的图像质量改善处理的图像质量改善引擎可以使用与根据第一实施例等的图像质量改善引擎类似地进行学习的机器学习模型。此外，将由根据第一实施例等的图像质量改善引擎生成的高质量图像用作进行图像尺寸增大处理的图像质量改善引擎的训练数据的输入数据。另外，使用由根据第一实施例等的图像质量改善引擎针对由高性能摄像装置获得的图像而生成的高质量图像，作为相关图像质量改善引擎的训练数据的输入数据。通过这种方式，进行图像尺寸增大处理的图像质量改善引擎可以生成最终的高质量图像，该最终的高质量图像是通过增大通过进行根据第一实施例等的图像质量改善处理而生成的高质量图像的图像尺寸而生成的图像。
此外，可以在通过根据第一实施例等的图像质量改善引擎进行的图像质量改善处理之前，进行由相关图像质量改善引擎进行的图像尺寸增大处理。在这种情况下，用于进行图像尺寸增大处理的图像质量改善引擎的训练数据由配对组构成，该配对组由通过摄像装置获得的作为小尺寸图像的输入数据和作为大尺寸图像的输出数据构成。此外，用于进行根据第一实施例等的图像质量改善处理的图像质量改善引擎的训练数据由配对组构成，该配对组由作为大尺寸图像的输入数据和作为通过叠加大尺寸图像而生成的图像的输出数据构成。
同样通过该构造，图像处理装置400也可以生成以下图像作为高质量图像，该图像相比于输入图像，进行了图像尺寸的放大，并且进行了降噪和对比度增强中的至少一项。
请注意，虽然在本实施例中描述了针对根据第一实施例等的图像质量改善处理，将叠加图像用作训练数据的输出数据的构造，但是与第一实施例类似，该输出数据不限于此。换句话说，可以使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得的高质量图像：叠加处理、MAP估计处理、平滑滤波处理、灰度转换处理、使用高性能摄像装置的摄像、高成本处理和降噪处理。
请注意，与第一实施例类似，输出单元405可以将生成的高质量图像输出到摄像装置10或连接到图像处理装置400的其他装置。
<第十六实施例>
接下来，参照图4和图5描述根据第十六实施例的图像处理装置。在本实施例中，图像质量改善单元进行空间分辨率提高以及根据第一实施例等的图像质量改善。
除非另有明确说明，否则根据本实施例的图像处理装置的构造和处理与根据第一实施例的图像处理装置400的构造和处理相同。因此，下面围绕与根据第一实施例的图像处理装置的不同之处来描述根据本实施例的图像处理装置。请注意，由于根据本实施例的图像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描述。
根据本实施例的获得单元401获得低空间分辨率图像作为输入图像。请注意，术语“低空间分辨率图像”是指空间分辨率低于图像质量改善单元404输出的高空间分辨率图像的空间分辨率的图像。
与第一实施例类似，图像质量改善单元404包括图像质量改善引擎。然而，本实施例的图像质量改善引擎被构造为针对输入图像的空间分辨率进行空间分辨率提高，同时降低噪声并增强输入图像的对比度。因此，本实施例的图像质量改善引擎被构造为接受低空间分辨率图像的输入并输出高空间分辨率图像。
在这方面，关于构成由图像质量改善引擎使用的训练数据的配对组，构成各配对的输入数据是低空间分辨率图像，而输出数据是高空间分辨率图像。请注意，高空间分辨率图像可以从具有比获得低空间分辨率图像的摄像装置更高性能的装置获得，或者可以通过改变摄像装置的设置来获得。另外，关于高空间分辨率图像，可以使用通过以与第一实施例等类似的方式叠加低空间分辨率图像而获得的图像。
根据该构造，根据本实施例的图像质量改善单元404可以生成通过降低噪声并增强输入图像的对比度并且还提高空间分辨率而生成的高质量图像。
接下来，参照图5描述根据本实施例的一系列图像处理操作。请注意，由于根据本实施例的步骤S520、步骤S530和步骤S550中的处理与第一实施例中的这些步骤中的处理相同，因此在此省略对该处理的描述。请注意，在要针对摄像条件无条件地改善输入图像的图像质量的情况下，在进行步骤S520中的处理之后，可以省略步骤S530中的处理，并且处理可以进入步骤S540。
在步骤S510中，获得单元401从摄像装置10或其他装置获得作为处理对象的低空间分辨率图像作为输入数据。请注意，获得单元401可以响应于来自摄像装置10的请求而获得摄像装置10生成的低空间分辨率图像作为输入图像。例如，当摄像装置10生成图像时，或者在将摄像装置10生成的图像存储在摄像装置10包括的存储装置中之前在显示单元20上显示该图像，或者在将该图像存储在存储装置中之后在显示单元20上显示存储的图像时，或者在将高质量图像用于图像分析处理时，可以发出这种请求。
由于步骤S520和步骤S530中的处理与第一实施例中的处理相同，因此这里省略对该处理的描述。在步骤S540中，图像质量改善单元404将输入图像输入到图像质量改善引擎，从而生成经过空间分辨率提高以及降噪和对比度增强的图像，作为高质量图像。此后的处理与第一实施例中的相同，因此在此省略对处理的描述。
如上所述，根据本实施例的图像质量改善单元404生成如下图像作为高质量图像，该图像相比于输入图像，提高了空间分辨率，并且经过了降噪和对比度增强中的至少一项。通过这种方式，根据本实施例的图像处理装置400可以输出适合于图像诊断的高质量图像，而不会增加对被摄体的侵入性或进行摄像的人的劳动。
请注意，虽然在本实施例中通过单个图像质量改善引擎进行根据第一实施例等的图像质量改善处理以及用于提高分辨率的处理而生成了高质量图像，但是用于进行这种处理的构造不限于前述构造。例如，图像质量改善单元可以包括进行根据第一实施例等的图像质量改善处理的图像质量改善引擎和进行分辨率提高处理的分开的图像质量改善引擎。
在这种情况下，进行根据第一实施例等的图像质量改善处理的图像质量改善引擎可以使用与根据第一实施例等的图像质量改善引擎类似地进行学习的机器学习模型。此外，将由根据第一实施例等的图像质量改善引擎生成的高质量图像用作进行分辨率提高处理的图像质量改善引擎的训练数据的输入数据。另外，使用由根据第一实施例等的图像质量改善引擎针对由高性能摄像装置获得的图像而生成的高质量图像，作为相关图像质量改善引擎的训练数据的输入数据。通过这种方式，进行空间分辨率提高处理的图像质量改善引擎可以生成最终的高质量图像，该最终的高质量图像是通过提高通过进行根据第一实施例等的图像质量改善处理而生成的高质量图像的空间分辨率而生成的图像。
此外，可以在通过根据第一实施例等的图像质量改善引擎进行的图像质量改善处理之前，进行由相关图像质量改善引擎进行的空间分辨率提高处理。在这种情况下，用于进行空间分辨率提高处理的图像质量改善引擎的训练数据由配对组构成，该配对组由通过摄像装置获得的作为低空间分辨率图像的输入数据和作为高空间分辨率图像的输出数据构成。此外，用于进行根据第一实施例等的图像质量改善处理的图像质量改善引擎的训练数据由配对组构成，该配对组由作为高空间分辨率图像的输入数据和作为通过叠加高空间分辨率图像而生成的图像的输出数据构成。
同样通过该构造，图像处理装置400也可以生成如下图像作为高质量图像，该图像相比于输入图像，提高了空间分辨率，并且进行了降噪和对比度增强中的至少一项。
请注意，虽然在本实施例中描述了关于根据第一实施例等的图像质量改善处理，将叠加图像用作训练数据的输出数据的构造，但是与第一实施例类似，该输出数据不限于此。换句话说，可以使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得的高质量图像：叠加处理、MAP估计处理、平滑滤波处理、灰度转换处理、使用高性能摄像装置的摄像、高成本处理和降噪处理。
此外，除了空间分辨率提高处理之外，图像质量改善单元404还可以使用图像质量改善引擎来进行根据第十五实施例的图像质量改善处理。在这种情况下，可以生成如下图像作为高质量图像，该图像相比于输入图像，经过了图像尺寸增大和空间分辨率提高，并且还进行了降噪和对比度增强中的至少一项。通过这种方式，根据本实施例的图像处理装置400可以输出适合于图像诊断的高质量图像，而不会增加对被摄体的侵入性或进行摄像的人的劳动。
请注意，与第一实施例类似，输出单元405可以将生成的高质量图像输出到摄像装置10或连接到图像处理装置400的其他装置。
<第十七实施例>
接下来，参照图22和图23描述根据第十七实施例的图像处理装置。在本实施例中，分析单元对由图像质量改善单元生成的高质量图像进行图像分析。
除非另有明确说明，否则根据本实施例的图像处理装置的构造和处理与根据第一实施例的图像处理装置400的构造和处理相同。因此，下面围绕与根据第一实施例的图像处理装置的不同之处来描述根据本实施例的图像处理装置。
图22是示出根据本实施例的图像处理装置2200的示意性构造的图。除了获得单元401、摄像条件获得单元402、图像质量改善可能性确定单元403、图像质量改善单元404和输出单元405之外，根据本实施例的图像处理装置2200还配设有分析单元2208。请注意，图像处理装置2200可以由多个装置构成，各装置均配设有这些部件中的一个或更多个。这里，由于关于获得单元401、摄像条件获得单元402、图像质量改善可能性确定单元403、图像质量改善单元404和输出单元405的构造与根据第一实施例的图像处理装置的构造相同，所以图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且以下省略对这些部件的描述。
分析单元2208对图像质量改善单元404生成的高质量图像进行预定图像分析处理。例如，在眼科学领域，对于通过OCT获得的图像，图像分析处理的示例包括任何现有的图像分析处理，例如视网膜层的分割、层厚度测量、乳头的三维形状分析、筛板分析、OCTA图像的血管密度测量以及角膜形状分析。此外，图像分析处理不限于眼科领域中的分析处理，并且例如，还包括放射线领域中的任何现有分析处理，例如扩散张量分析或VBL(基于体素的形态测定法)分析。
输出单元405可以使得通过分析单元2208的图像分析处理获得的分析结果与由图像质量改善单元404生成的高质量图像的显示一起显示在显示单元20上。请注意，输出单元405可以使显示单元20仅显示由分析单元2208获得的图像分析结果，或者可以将图像分析结果输出到摄像装置10或图像管理系统或其他装置等。请注意，显示分析结果的形式可以是与分析单元2208进行的图像分析处理对应的任何形式，并且例如分析结果可以被显示为图像、数值或字符。此外，显示分析结果的形式可以是通过对高质量图像进行分析处理而获得的分析结果以叠加的方式以任何透明度显示在高质量图像上的形式。换句话说，分析结果可以以如下图像(例如，二维图)形式来显示：该图像通过以任何透明度对高质量图像和通过对高质量图像进行分析处理而获得的分析结果进行融合处理而获得。
下面以OCTA面内图像为例参照图23描述根据本实施例的一系列图像处理操作。图23是示出根据本实施例的一系列图像处理操作的流程图。请注意，根据本实施例的步骤S2310至步骤S2340中的处理与第一实施例中的步骤S510至步骤S540中的处理相同，因此在此省略对该处理的描述。请注意，在要针对摄像条件无条件地改善输入图像的图像质量的情况下，在进行步骤S2320中的处理之后，可以省略步骤S2330中的处理，并且处理可以进入步骤S2340。
在步骤S2340中，图像质量改善单元404对OCTA面内图像进行图像质量改善，然后处理进入步骤S2350。在步骤S2350中，分析单元2208对在步骤S2340中生成的高质量图像进行图像分析。作为对进行了图像质量改善的OCTA面内图像的图像分析，可以通过应用任何二值化处理从图像中检测出与血管相对应的地方(血管区域)。可以通过确定与血管相对应的被检测地方占据的图像的比率来分析面积密度。此外，通过减薄对应于经过二值化处理的血管的地方，可以获得线宽为1像素的图像，并且可以确定不依据厚度的血管所占的比率(也称为“骨架密度”)。可以采用一种构造，以便使用这些图像来分析无血管区域(FAZ)的面积和形状(圆形度等)。作为分析方法，可以从整个图像来计算上述数值，或者可以基于使用用户界面(未示出)输入的检查者(用户)的指示，针对指定的关注区域(ROI)来计算数值。ROI设置不必一定仅由检查者指定，并且ROI可以是自动指定的预定区域。上述各种参数是与血管有关的分析结果的示例，并且可以使用任何参数，只要它是与血管有关的参数即可。请注意，分析单元2208可以进行多种图像分析处理。换句话说，虽然此处描述了与OCTA面内图像有关的分析示例，但可以进行的分析类型不限于此，并且可以同时针对通过OCT获得的图像进行诸如视网膜层分割、层厚度测量、乳头的三维形状分析和筛板分析的分析。在这点上，分析单元2208可以响应于检查者通过任何输入装置输入的指示来进行多种图像分析处理中的一些或全部。
在步骤S2360中，输出单元405使显示单元20显示由图像质量改善单元404生成的高质量图像和由分析单元2208获得的分析结果。请注意，输出单元405可以将高质量图像和分析结果输出到分开的显示单元或装置。此外，输出单元405可以使显示单元20仅显示分析结果。另外，在分析单元2208输出多个分析结果的情况下，输出单元405可以将多个分析结果中的一些或全部输出到显示单元20或其他装置。例如，输出单元405可以使显示单元20将与OCTA面内图像中的血管有关的分析结果显示为二维图。此外，输出单元405可将表示与OCTA面内图像中的血管有关的分析结果的值叠加到OCTA面内图像上，并使显示单元20显示所得图像。
如上所述，根据本实施例的图像处理装置2200还包括对高质量图像进行图像分析的分析单元2208，并且输出单元405使由分析单元2208获得的分析结果显示在显示单元20上。因此，由于高质量图像被用于根据本实施例的图像处理装置2200进行的图像分析，所以可以提高分析的精度。
此外，与第一实施例类似，输出单元405可以将所生成的高质量图像输出到摄像装置10或连接到图像处理装置2200的其他装置。此外，与第一实施例类似，图像质量改善引擎的训练数据的输出数据不限于通过进行叠加处理而获得的高质量图像。换句话说，可以使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得的高质量图像：叠加处理、MAP估计处理、平滑滤波处理、灰度转换处理、使用高性能摄像装置的摄像、高成本处理和降噪处理。
<第十八实施例>
接下来，参照图4描述根据第十八实施例的图像处理装置。在本实施例中，描述了图像质量改善单元通过在进行学习时向图像添加噪声并学习噪声分量来生成高质量图像的示例。
除非另有明确说明，否则根据本实施例的图像处理装置的构造和处理与根据第一实施例的图像处理装置400的构造和处理相同。因此，下面围绕与根据第一实施例的图像处理装置的不同之处来描述根据本实施例的图像处理装置。请注意，由于根据本实施例的图像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描述。
根据本实施例的获得单元401从摄像装置10或其他装置获得作为处理对象的图像作为输入数据。将使用图24描述根据本实施例的图像质量改善单元中的CNN的构造示例。图24是示出图像质量改善单元404中的机器学习模型的构造的一个示例的图。图24中所示的构造由多个层组构成，该多个层组负责处理以处理用于输出的输入值组。请注意，如图24中所示，构造中包含的层的类型是卷积层、下采样层、上采样层和合并层。卷积层是根据设置的诸如滤波器的核大小、滤波器的数目、步幅的值和膨胀值的参数对输入值组进行卷积处理的层。请注意，滤波器的核大小的维数可以根据输入图像的维数来改变。下采样层进行用于通过疏剪或组合输入值组来使输出值组的数目小于输入值组的数目的处理。具体地，例如，该处理是最大池化处理。该上采样层进行用于通过复制输入值组或添加从输入值组内插的值来使输出值组的数目大于输入值组的数目的处理。具体地，例如，该处理是线性插值处理。合并层是进行如下处理的层：从多个源输入诸如某一层的输出值组或构成图像的像素值组的值组，并通过级联或相加值组来合并这些值组。根据该构造，在构成输入图像Im2410的像素值组由卷积处理块处理时输出的值组和构成输入图像Im2410的像素值组被合并层合并。此后，通过最终的卷积层将合并后的像素值组形成为高质量图像Im2420。请注意，虽然在附图中未示出，但是作为CNN的构造的变型例，例如，在卷积层等之后，可以并入使用整流器线性单元的批归一化层或激活层。
本实施例的图像质量改善引擎通过接收通过将第一噪声分量添加到从摄像装置10或其他装置获得的图像而生成的低质量图像的输入来进行训练，并且采用通过将第二噪声分量添加到从摄像装置10或其他装置获得的图像而生成的作为高质量图像的图像作为输出数据。换句话说，作为根据本实施例的学习期间的训练图像，普通图像用作低质量图像和高质量图像，并且各图像的各个噪声分量彼此不同。因为同一图像用作低质量图像和高质量图像，所以在形成图像对时不需要对准。
关于噪声分量，高斯噪声或以目标图像的特征噪声建模的噪声等被添加作为噪声。然而，第一噪声和第二噪声是彼此不同的噪声。术语“不同噪声”是指添加噪声的空间位置(像素位置)不同，或者噪声的值不同等。作为目标图像的特征噪声，例如，在OCT的情况下，可以基于在没有模型眼或被检眼的状态下基于通过摄像获得的数据来估计噪声，并且可以将其用作噪声模型。在OCTA的情况下，基于出现在无血管区(FAZ)范围内的噪声的噪声，或通过对示意性地再现血流的模型眼进行成像而获得的图像中出现的噪声，可以用作噪声模型。
在高斯噪声的情况下，将标准偏差或方差值定义为噪声的尺寸，并且基于这些数值将噪声随机施加到图像。可以采用使得平均值整体上不会由于施加了随机噪声而变化的构造。换句话说，采用使得添加到一个图像的各像素的噪声的平均值为零的构造。在这种情况下，不需要采用使得平均值变为0的构造，并且将模式彼此不同的噪声添加到输入数据和输出数据中就足够了。此外，不必向输入数据和输出数据两者添加噪声，并且可以向输入数据和输出数据之一添加噪声。在不添加噪声的情况下，例如，虽然在图像质量改善之后图像中可能出现血管的假图像，但是也可以认为这在图像质量改善前后的图像之间的差异比较大的情况下发生。因此，可以采用使得图像质量改善前后的图像之间的差异减少的构造。此时，当进行学习时，可以采用通过向低质量图像和高质量图像添加模式彼此不同的噪声而获得的两个图像作为图像对，或者可以采用通过向高质量图像添加模式彼此不同的噪声而获得的两个图像作为图像对。
输出单元405使显示单元20显示图像质量改善单元404生成的高质量图像。请注意，输出单元405可以使显示单元20将输入图像与高质量图像一起显示。
此后的处理与第一实施例中的处理相同，因此这里省略对处理的描述。
请注意，虽然在本实施例中，使用通过从摄像装置10或其他装置获得低质量图像并向该低质量图像分别添加第一噪声分量和与第一噪声不同的第二噪声分量而生成的图像来生成高质量图像，但是用于进行这些处理操作的构造不限于前述构造。例如，对于添加有噪声的图像，可以采用这样的构造，该构造使得第一噪声分量和第二噪声分量被添加到进行了如第一实施例中所述的叠加处理的高质量图像。换句话说，可以采用这样的构造，其中进行学习，该学习采用通过将第一噪声分量添加到通过叠加处理生成的图像而获得的图像作为低质量图像，并且采用通过将第二噪声分量添加到通过叠加处理生成的图像而获得的图像作为高质量图像。
另外，虽然在本实施例中描述了使用第一噪声分量和第二噪声分量的学习的示例，但是学习方法不限于此。例如，可以采用通过如下方式进行学习的构造：仅将第一噪声分量添加到要被用作低质量图像的图像而不将噪声分量添加到要被用作高质量图像的图像。此时使用的图像可以是从摄像装置10或其他装置获得的图像，或者是通过将上述图像作为处理对象进行叠加处理而生成的图像。
另外，对于各种输入图像或对于要被学习的各矩形区域图像，可以动态地改变噪声分量的大小。具体地，增加具有大值的噪声增加了去除噪声的效果，并且增加具有小值的噪声减小了去除噪声的效果。因此，例如，可以采用通过如下方式来进行学习的构造：根据整个图像或矩形区域图像的条件或类型来调整添加的噪声，例如，在暗图像的情况下减小要被添加的噪声分量的值并且在亮图像的情况下增大要被添加的噪声分量的值。
请注意，虽然在本实施例中未明确地指定图像的摄像条件，但是使用通过不同的扫描次数获得的各种成像范围的图像和不同的摄像部位和不同深度的正面图像等进行学习。
在上面的描述中，已经描述了从摄像装置10或其他装置获得的图像、通过将噪声添加到前述图像而生成的噪声图像、通过叠加处理生成的图像以及通过将噪声添加到通过叠加处理生成的图像而生成的图像。然而，这些图像的组合不限于如上所述的组合，并且可以使用低质量图像和高质量图像的任何组合。
<第十九实施例>
接下来，参照图25和图26描述根据第十九实施例的图像处理装置。在本实施例中，图像质量改善单元包括多个图像质量改善引擎，并且针对输入图像生成多个高质量图像。此外，描述了组合单元2505组合从多个图像质量改善引擎输出的多个高质量图像的示例。
除非另有明确说明，否则根据本实施例的图像处理装置的构造和处理与根据第一实施例的图像处理装置400的构造和处理相同。因此，下面围绕与根据第一实施例的图像处理装置的不同之处来描述根据本实施例的图像处理装置。请注意，由于根据本实施例的图像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描述。
根据本实施例的获得单元401从摄像装置10或其他装置获得作为处理对象的图像作为输入数据。
与第二实施例类似，根据本实施例的图像质量改善单元404包括多个图像质量改善引擎。多个图像质量改善引擎中的各图像质量改善引擎都使用关于摄像部位、摄像视角、不同深度的正面图像、噪声分量以及图像分辨率中的至少一项摄像条件彼此不同的学习数据来进行学习。根据输入图像的摄像部位、摄像视角、不同深度的正面图像、噪声分量以及图像分辨率中的至少一项摄像条件，图像质量改善单元404使用多个图像质量改善引擎来生成高质量图像。
图26是示出根据本实施例的一系列图像处理操作的流程图。请注意，根据本实施例的步骤S2610和步骤S2620中的处理与第一实施例中的步骤S510和步骤S520中的处理相同，因此在此省略对该处理的描述。请注意，在要针对摄像条件无条件地改善输入图像的图像质量的情况下，在进行步骤S2620中的处理之后，可以省略步骤S2630中的处理，并且处理可以进入步骤S2640。
在步骤S2620中，与第一实施例类似，在摄像条件获得单元402获得输入图像的摄像条件组时，处理进入步骤S2630。在步骤S2630中，与第二实施例类似，图像质量改善可能性确定单元403使用获得的摄像条件组来确定图像质量改善单元404包括的任何图像质量改善引擎是否可以处理输入图像。
如果图像质量改善可能性确定单元403确定该图像质量改善引擎组中没有一个能够处理输入图像，则处理进入步骤S2660。另一方面，如果图像质量改善可能性确定单元403确定该图像质量改善引擎组中的任何一个能够处理输入图像，则处理进入步骤S2640。请注意，依据图像处理装置400的设置或实现形式，与第一实施例类似，即使确定一些摄像条件无法通过任何图像质量改善引擎来处理，也可以执行步骤S2640中的处理。
在步骤S2640中，图像质量改善单元404将在步骤S2610中获得的输入图像输入到图像质量改善引擎组中的各图像质量改善引擎，从而生成高质量图像组。
在步骤S2650中，组合单元2405组合在步骤S2640中生成的高质量图像组中的若干个高质量图像。具体地，例如，将两个高质量图像的结果进行组合，这两个高质量图像是作为第一图像质量改善引擎的处理结果而生成的高质量图像和作为第二图像质量改善引擎的处理结果而生成的高质量图像，该第一图像质量改善引擎使用如第一实施例中所述的由从摄像装置10获得的低质量图像和通过对低质量图像多次进行摄像而获得的图像组进行诸如加法平均的叠加处理而获得的高质量图像构成的图像对来进行学习，第二图像质量改善引擎使用如在第十八实施例中所述的通过对图像添加噪声而获得的图像对来进行学习。作为组合方法，可以采用使用加法平均或加权加法平均等进行组合的方法。
在步骤S2660中，输出单元405使通过在步骤S2650中对图像进行组合而生成的图像显示在显示单元20上，或者将图像输出至其他装置。然而，如果在步骤S2630中确定不可能处理输入图像，则输出单元405将输入图像输出为输出图像。请注意，在检查者指示显示输入图像的情况下或不可能处理输入图像的情况下，输出单元405可以使显示单元20显示表示输出图像与输入图像相同的信息。
<第二十实施例>
接下来，参照图4描述根据第二十实施例的图像处理装置。在本实施例中，描述了图像质量改善单元的示例，其中第二图像质量改善引擎使用第一图像质量改善引擎的输出结果来生成高质量图像。
除非另有明确说明，否则根据本实施例的图像处理装置的构造和处理与根据第一实施例的图像处理装置400的构造和处理相同。因此，下面围绕与根据第一实施例的图像处理装置的不同之处来描述根据本实施例的图像处理装置。请注意，由于根据本实施例的图像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描述。
根据本实施例的获得单元401从摄像装置10或其他装置获得作为处理对象的图像作为输入数据。
根据本实施例的图像质量改善单元404包括与第一实施例中配设的图像质量改善引擎相同的多个图像质量改善引擎。本实施例的图像质量改善单元包括第一图像质量改善引擎，该第一图像质量改善引擎使用从摄像装置10或其他装置获得的作为输入数据的低质量图像以及从多个低质量图像生成的作为输出数据的中等质量图像来进行学习。另外，图像质量改善单元包括第二图像质量改善引擎，该第二图像质量改善引擎使用从第一图像质量改善引擎输出的图像以及图像质量高于中等质量图像的作为输出数据的图像来进行学习。请注意，由于中等质量图像与第十四实施例中的相同，因此在此省略对中等质量图像的描述。
输出单元405使显示单元20显示图像质量改善单元404生成的高质量图像。请注意，输出单元405可以使显示单元20将输入图像与高质量图像一起显示，并且在这种情况下，输出单元405可以使显示单元20显示表示输入图像是由多个低质量图像生成的图像的信息。
接下来，参照图5描述根据本实施例的一系列图像处理操作。请注意，根据本实施例的步骤S510至步骤S530中的处理与第一实施例中的这些步骤中的处理相同，因此在此省略对该处理的描述。
在步骤S540中，图像质量改善单元404使用图像质量改善引擎来改善输入图像的图像质量，从而生成比输入图像更适合图像诊断的高质量图像。具体地，图像质量改善单元404将输入图像输入到第一图像质量改善引擎，以使第一图像质量改善引擎生成经过图像质量改善的第一高质量图像。另外，图像质量改善单元404将第一高质量图像输入到第二图像质量改善引擎以获得第二高质量图像。各图像质量改善引擎基于使用训练数据进行机器学习的机器学习模型，生成通过使用输入图像进行叠加处理而获得的高质量图像。因此，与输入图像相比，各图像质量改善引擎可以生成噪声降低或对比度增强了的高质量图像。
此后的处理与第一实施例中的处理相同，因此这里省略对处理的描述。
请注意，虽然在本实施例中使用第一图像质量改善引擎和第二图像质量引擎生成了高质量图像，该第一图像质量改善引擎使用由从摄像装置10或其他装置获得的低质量图像和中等质量图像构成的配对进行学习，该第二图像质量引擎使用由第一高质量图像和高质量图像构成的配对进行学习，但是用于进行这种处理的构造不限于前述构造。例如，可以采用以下构造：使得第一图像质量改善引擎用于学习的一对图像是如第十八实施例中所述的引擎用来学习噪声的图像，第二图像质量改善引擎使用由第一高质量图像和高质量图像构成的配对进行学习。作为相反的构造，可以采用包括第一图像质量改善引擎和第二图像质量改善引擎的构造，该第一图像质量改善引擎使用由低质量图像和中等质量图像构成的配对进行学习，该第二图像质量改善引擎使用通过添加噪声到第一高质量图像而获得的图像进行学习。
另外，第一图像质量改善引擎和第二图像质量改善引擎可以各自被构造为如在第十八实施例中所述的使用噪声学习的引擎。在这种情况下，例如，第一图像质量改善引擎使用由通过将第一噪声和第二噪声添加到高质量图像而获得的图像构成的配对来进行学习，该高质量图像使用通过叠加处理生成的图像来生成，并且第二图像质量改善引擎使用由通过将第一噪声和第二噪声加到由第一图像质量改善引擎生成的第一高质量图像而获得的图像构成的配对进行学习。请注意，虽然在本实施例中描述了包括两个图像质量改善引擎的构造，但是本发明不限于此，并且可以采用还连接第三引擎和第四引擎以进行处理的构造。通过清洁要用于学习的图像，构建了可以轻松生成更平滑和更清晰图像的网络。
<第二十一实施例>
接下来，参照图4和图27描述根据第二十一实施例的图像处理装置。在第一实施例中，图像质量改善单元404包括一个图像质量改善引擎。相比之下，在本实施例中，图像质量改善单元包括使用彼此不同的训练数据进行机器学习的多个图像质量改善引擎，并且针对输入图像生成多个高质量图像。
除非另有明确说明，否则根据本实施例的图像处理装置的构造和处理与根据第二实施例的图像处理装置400相同。因此，下面围绕与根据第一实施例和第二实施例的图像处理装置的不同之处来描述根据本实施例的图像处理装置。请注意，由于根据本实施例的图像处理装置的构造与根据第一实施例和第二实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例和第二实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描述。
根据本实施例的图像质量改善单元404包括使用彼此不同的训练数据进行机器学习的两个或更多个图像质量改善引擎。现在将描述根据本实施例的用于创建训练数据组的方法。首先，通过进行摄像以获得具有各种摄像范围且具有不同扫描次数的图像，来准备由作为输入数据的源图像和作为输出数据的叠加图像构成的配对组。以OCT或OCTA为例，例如，创建了通过在3×3mm范围内对300个A扫描和300个B扫描进行摄像而获得的第一图像组的配对，以及在10×10mm范围内对500个A扫描和500个B扫描进行摄像而获得的第二图像组的配对。此时，在第一图像组的配对和第二图像组的配对之间的扫描浓度存在两倍的差异。因此，这些图像组被分组为分开的组。另外，在存在通过在6×6mm范围内对600个A扫描和600个B扫描进行摄像而获得的图像组的情况下，该图像组被分组为与第一图像组相同的组。换句话说，在这种情况下，将扫描浓度相同或几乎相同(公差大约为10％)的图像组分组在同一组中。
接下来，针对各扫描浓度将对配对组进行分组以创建训练数据组。例如，通过创建由通过以第一扫描浓度进行摄像而获得的配对组构成的第一训练数据，以及创建通过由以第二扫描浓度进行摄像而获得的配对组构成的第二训练数据，来创建训练数据组。
此后，使各个图像质量改善引擎使用各个训练数据集进行机器学习。例如，准备图像质量改善引擎组，该图像质量改善引擎组包括与使用第一训练数据训练的机器学习模型相对应的第一图像质量改善引擎和与使用第二训练数据训练的机器学习模型相对应的第二图像质量改善引擎。
因为使用不同的训练数据来训练与这些图像质量改善引擎中的各图像质量改善引擎相对应的各个机器学习模型，所以这些图像质量改善引擎中的各图像质量改善引擎可以改善输入到图像质量改善引擎中的输入图像的图像质量的程度会根据输入图像的摄像条件而不同。具体地，在第一图像质量改善引擎的情况下，针对通过以第一扫描浓度摄像而获得的输入图像的图像质量改善程度高，并且针对通过以第二扫描浓度摄像而获得的图像的图像质量改善程度低。类似地，在第二图像质量改善引擎的情况下，针对通过以第二扫描浓度摄像而获得的输入图像的图像质量改善程度高，并且针对通过以第一扫描浓度摄像而获得的图像的图像质量改善程度低。
另一方面，在某些情况下，在进行学习时不能收集足够数目的各种摄像范围和不同扫描浓度的图像作为训练数据。在这种情况下，如在第十八实施例中所述，针对这些图像组准备学习了噪声分量的图像质量改善引擎。
由于学习了噪声分量的图像质量改善引擎在摄像时不容易受到扫描浓度的影响，因此当输入具有未经学习的扫描浓度的图像时，应用所讨论的图像质量改善引擎。
由于各训练数据集是由根据扫描浓度分组的配对组构成的，所以构成相关配对组的图像组的图像质量趋势彼此相似。因此，如果扫描浓度与用于训练所讨论的图像质量改善引擎的训练数据相对应，则与根据第一实施例的图像改善引擎相比，该图像质量改善引擎可以更有效地进行图像质量改善。请注意，用于对配对的训练数据进行分组的摄像条件不限于扫描浓度，并且可以是摄像部位或关于正面图像的处于不同深度的图像，或者这些条件中的两个或更多个条件的组合。
下面将参照图27描述根据本实施例的一系列图像处理操作。图27是示出根据本实施例的一系列图像处理操作的流程图。请注意，由于步骤S2710和步骤S2720中的处理与根据第一实施例的步骤S510和步骤S520中的处理相同，因此在此省略对该处理的描述。
在步骤S2720中获得输入图像的摄像条件之后，处理进入步骤S2730。在步骤S2730中，图像质量改善可能性确定单元403使用在步骤S2720中获得的摄像条件组来确定图像质量改善单元404包括的图像质量改善引擎组中的任何一个是否可以处理输入图像。
如果图像质量改善可能性确定单元403确定摄像条件在可以处理的摄像条件范围之外，则处理进入步骤S2770。另一方面，如果图像质量改善可能性确定单元403确定摄像条件在可以处理的摄像条件的范围内，则处理进入步骤S2740。
在步骤S2740中，图像质量改善单元404基于在步骤S2720中获得的输入图像的摄像条件和与图像质量改善引擎组的训练数据有关的信息，从图像质量改善引擎组中选择图像质量改善引擎以进行图像质量改善处理。具体地，例如，图像质量改善单元404选择图像质量改善引擎，该图像质量改善引擎对于在步骤S2720中获得的摄像条件组中的扫描浓度具有与该扫描浓度有关的训练数据的信息，并且该图像质量改善引擎的图像质量改善程度高。在上述示例中，如果扫描浓度是第一扫描浓度，则图像质量改善单元404选择第一图像质量改善引擎。
另一方面，在步骤S2770中，图像质量改善单元404选择学习了噪声分量的图像质量改善引擎。
在步骤S2750中，图像质量改善单元404通过使用在步骤S2740或步骤S2770中选择的图像质量改善引擎对输入图像进行图像质量改善来生成高质量图像。此后，在步骤S2760中，输出单元405输出在步骤S2750中生成的高质量图像，并使显示单元20显示该高质量图像。请注意，当使显示单元20显示高质量图像时，输出单元405还可以使显示单元20显示表示高质量图像是使用由图像质量改善单元404选择的图像质量改善引擎生成的信息。
如上所述，根据本实施例的图像质量改善单元404包括使用彼此不同的学习数据进行学习的多个图像质量改善引擎。在此，多个图像质量改善引擎中的各图像质量改善引擎都使用关于摄像部位、摄像视角、不同深度的正面图像以及图像分辨率中的至少一项摄像条件彼此不同的学习数据来进行学习。另外，对于不能充分收集正确答案数据(输出数据)的数据，图像质量改善引擎是使用噪声分量进行了学习的引擎。图像质量改善单元404使用与这些摄像条件中的至少一项相对应的图像质量改善引擎来生成高质量图像。
通过该构造，根据本实施例的图像处理装置400可以生成更有效的高质量图像。
<第二十二实施例>
接下来，参照图30至图32C描述根据第二十二实施例的图像处理装置。在本实施例中，广角图像生成单元使用由图像质量改善单元生成的多个高质量图像来生成广角图像(全景图像)。
除非另有明确说明，否则根据本实施例的图像处理装置的构造和处理与根据第一实施例的图像处理装置400的构造和处理相同。因此，下面围绕与根据第一实施例的图像处理装置的不同之处来描述根据本实施例的图像处理装置。请注意，由于根据本实施例的图像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描述。
图31A是示出根据本实施例的一系列图像处理操作的流程图。在步骤S3110中，获得单元401从摄像装置10或其他装置获得多个图像(至少两个图像)作为输入图像。多个图像是通过对同一被摄体(被检眼等)的不同位置进行摄像而获得的图像，并且是通过对图像的一部分交叠而不针对被摄体完全交叠的地方进行摄像而获得的图像。作为示例，将描述对被检眼进行摄像的情况。在这种情况下，在摄像期间，改变固视灯的位置并且被检眼稳定地凝视在固视灯上，结果可以获得已经对同一被检眼的不同地方进行了摄像的图像。请注意，当进行摄像以获得图像时，期望在改变固视灯的位置的同时进行摄像，使得相邻图像的交叠区域的至少约20％的比率是同一地方的图像。在图32A中，示出了通过改变固视灯的位置使得在相邻图像中各图像的一部分彼此交叠而摄像的OCTA面内图像的示例。在图32A中，示出了改变了固视灯的位置使得不同的地方被总共摄像五次的示例。请注意，虽然在图32A中作为示例示出了五个图像，但是，图像数目不限于五个，并且图像数目为两个以上就足够了。
请注意，根据本实施例的步骤S3120中的处理与第一实施例中的步骤S520中的处理相同，因此在此省略对该处理的描述。请注意，在要针对摄像条件无条件地改善输入图像的图像质量的情况下，在进行步骤S3120中的处理之后，可以省略步骤S3130中的处理，并且处理可以进入步骤S3140。
在步骤S3120中，与第一实施例类似，在摄像条件获得单元402获得各输入图像的摄像条件组时，处理进入步骤S3130。在步骤S3130中，与第一实施例类似，图像质量改善可能性确定单元403使用各获得的摄像条件组来确定图像质量改善单元404包括的图像质量改善引擎是否可以处理各个输入图像。
如果图像质量改善可能性确定单元403确定该图像质量改善引擎不能处理多个输入图像，则处理进入步骤S3160。另一方面，如果图像质量改善可能性确定单元403确定该图像质量改善引擎能够处理多个输入图像，则处理进入步骤S3140。请注意，依据图像处理装置400的设置或实现形式，与第一实施例类似，即使确定一些摄像条件无法通过图像质量改善引擎来处理，也可以执行步骤S3140中的处理。
在步骤S3140中，图像质量改善单元404针对在步骤S3110中获得的多个输入图像执行处理，从而生成多个高质量图像。
在步骤S3150中，广角图像生成单元3005组合在步骤S3140中生成的高质量图像组中的多个高质量图像。具体地，将描述以OCTA面内图像为例的示例。对OCTA面内图像进行摄像，使得虽然多个图像没有完全交叠，但是相邻图像的部分区域彼此交叠。因此，广角图像生成单元3005从多个OCTA面内图像中检测出交叠区域，并使用该交叠区域进行对准。通过基于对准参数修改OCTA面内图像并组合这些图像，可以生成比单个OCTA面内图像范围更宽的OCTA面内图像。此时，由于在步骤S3140中对输入的多个OCTA面内图像进行了图像质量改善，因此在步骤S3150中输出的具有宽视场的OCTA面内图像已经进行了图像质量改善。在图32B中示出由广角图像生成单元3005生成的具有宽视场的OCTA面内图像的示例。图32B示出了通过对准图32A中示出的五个图像来生成的示例。在图32C中示出图32A和图32B中的图像的位置之间的相关性。如图32C所示，图像Im3210布置在中心处，并且图像Im3220至Im3250布置在图像Im3210周围。请注意，关于OCTA面内图像，可以通过基于三维运动对比度数据设置不同的深度范围来生成多个OCTA面内图像。因此，虽然在图32B中示出了具有宽视场的表面层图像的示例，但是本发明不限于此。例如，可以采用这样的构造，其中，使用图29A所示的表面层的OCTA面内图像(Im2910)进行对准，并且使用由OCTA面内图像Im2910获得的参数来修改其他深度范围的OCTA面内图像。或者，使用彩色图像作为用于对准的输入图像，并且生成合成彩色图像，其中，对于表面层的OCTA面内图像采用RGB分量中的RG分量，并且对于作为对准对象的OCTA面内图像采用B分量。然后，可以进行通过将深度范围中的多个层组合成一个图像而获得的合成彩色OCTA面内图像的对准。因此，如果从对准的彩色OCTA面内图像中仅提取B分量，则可以获得对目标OCTA面内图像对准的具有宽视场的OCTA面内图像。请注意，要进行图像质量改善的对象不限于二维OCTA面内图像，并且可以是三维OCT图像或三维运动对比度数据本身。在这种情况下，可以用三维数据进行对准以生成宽范围的三维数据。通过从宽范围的三维数据中切出任意横截面(XYZ的任何平面都是可能的)或任意深度范围(Z方向的范围)，可以生成高质量的广角图像。
在步骤S3160中，输出单元405使通过在步骤S3150中对多个图像进行组合而生成的图像显示在显示单元20上，或者将该图像输出至其他装置。然而，如果在步骤S3130中确定不可能处理输入图像，则输出单元405将输入图像输出为输出图像。请注意，在检查者指示显示输入图像的情况下或不可能处理输入图像的情况下，输出单元405可以使显示单元20显示表示输出图像与输入图像相同的信息。
请注意，虽然在本实施例中，分别由多个输入图像生成高质量图像，并且对高质量图像进行对准以生成最终的单个高质量广角图像，但是用于由多个输入图像生成单个高质量图像的方法不限于此方法。例如，在图31B所示的本实施例的图像质量改善处理的不同示例中，可以采用这样的构造，使得首先生成一个广角图像，然后对该广角图像进行图像质量改善处理，以最终生成单个高质量广角图像。
现在将使用图31B对该处理进行描述。在下面的描述中，省略对与图31A相同的处理部分的描述。
在步骤S3121中，广角图像生成单元3005组合在步骤S3110中获得的多个图像。当生成广角图像时，与步骤S3150中的处理的描述类似，虽然与步骤S3150中的处理的不同之处在于图像处于进行图像质量改善之前的状态，但是输入图像是从摄像装置10或其他装置获得的图像。
在步骤S3151中，图像质量改善单元404对广角图像生成单元3005所生成的高质量图像执行处理，从而生成单个高质量广角图像。
通过该构造，根据本实施例的图像处理装置400可以生成广角高质量图像。
关于前述的第一实施例至第二十二实施例，基本上响应于图像质量改善单元404生成高质量图像或分析单元2208输出分析结果，自动地由输出单元405在显示单元20上显示高质量图像。然而，可以响应于来自检查者的指令来进行高质量图像的显示。例如，输出单元405可以使显示单元20显示根据来自检查者的指令而由图像质量改善单元404生成的高质量图像和输入图像当中选择的图像。此外，响应于来自检查者的指令，输出单元405可以将显示在显示单元20上的图像从摄像图像(输入图像)切换为高质量图像。换句话说，输出单元405可以响应于来自检查者的指令将低质量图像的显示改变为高质量图像的显示。此外，输出单元405可以响应于来自检查者的指令将高质量图像的显示改变为低质量图像的显示。另外，图像质量改善单元404可以响应于来自检查者的指令，开始由图像质量改善引擎进行图像质量改善处理(将图像输入到图像质量改善引擎中)，并且输出单元405可以使显示单元20显示由图像质量改善单元404生成的高质量图像。相比之下，当摄像装置10对输入图像进行摄像时，图像质量改善引擎可以基于输入图像自动生成高质量图像，并且输出单元405可以响应于来自检查者的指令使显示单元20显示高质量图像。请注意，也可以针对分析结果的输出类似地进行这些处理操作。换句话说，输出单元405可以响应于来自检查者的指令将对低质量图像的分析结果的显示改变为对高质量图像的分析结果的显示。此外，输出单元405可以响应于来自检查者的指令将对高质量图像的分析结果的显示改变为对低质量图像的分析结果的显示。自然地，响应于来自检查者的指令，输出单元405可以将对低质量图像的分析结果的显示改变为低质量图像的显示。此外，输出单元405可以响应于来自检查者的指令而将低质量图像的显示改变为对低质量图像的分析结果的显示。而且，输出单元405可以响应于来自检查者的指令将对高质量图像的分析结果的显示改变为高质量图像的显示。此外，输出单元405可以响应于来自检查者的指令将高质量图像的显示改变为对高质量图像的分析结果的显示。另外，输出单元405可以响应于来自检查者的指令，将对低质量图像的分析结果的显示改变为对低质量图像的不同种类的分析结果的显示。此外，输出单元405可以响应于来自检查者的指令，将对高质量图像的分析结果的显示改变为对高质量图像的不同种类的分析结果的显示。在这种情况下，可以进行对高质量图像的分析结果的显示，使得对高质量图像的分析结果以任何透明度以叠加的方式显示在高质量图像上。此外，可以进行对低质量图像的分析结果的显示，使得对低质量图像的分析结果以任何透明度以叠加的方式显示在低质量图像上。此时，改变为分析结果的显示例如可以是改变为将分析结果以任何透明度叠加在正在显示的图像上的状态。此外，改变为分析结果的显示可以是例如改变为通过以任何透明度对分析结果和图像进行融合处理而获得的图像(例如，二维图)的显示。另外，图像处理装置可以被构造为响应于来自检查者的指令，开始由摄像位置估计引擎、图像质量评估引擎、真实性评估引擎或评估单元进行处理。请注意，关于上述第一实施例至第二十二实施例，输出单元405使显示单元20显示高质量图像的形式可以是任何形式。例如，输出单元405可以使输入图像和高质量图像并排显示，或者可以在输入图像和高质量图像之间切换显示。此外，输出单元405可以根据摄像部位、摄像日期和时间或进行摄像的设施等，使输入图像和高质量图像按顺序显示。类似地，输出单元405可以使利用高质量图像等获得的图像分析结果根据高质量图像或与高质量图像相对应的输入图像的任何摄像条件按顺序显示。另外，输出单元405可以对于各分析项目使利用高质量图像获得的图像分析结果按顺序显示。
<第二十三实施例>
接下来，参照图4、图29A和图33A至图33C描述根据第二十三实施例的图像处理装置。在本实施例中，使用由包括输出数据的配对组构成的训练数据进行学习，该输出数据是与输入数据相对应的高质量图像。此时，使用由多个图像质量改善引擎生成的高图像质量的多个输出数据项来生成单个图像质量改善引擎。
除非另有明确说明，否则根据本实施例的图像处理装置的构造和处理与根据第一实施例的图像处理装置400的构造和处理相同。因此，下面围绕与根据第一实施例的图像处理装置的不同之处来描述根据本实施例的图像处理装置。请注意，由于根据本实施例的图像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描述。
根据本实施例的获得单元401从摄像装置10或其他装置获得作为处理对象的图像作为输入数据。将使用图29A和图33A至图33C描述在根据本实施例的图像质量改善单元404中生成图像质量改善引擎的方式。首先，将使用图33A描述本实施例中的第一学习。图33A是示出输入数据和输出数据的多个配对组以及多个图像质量改善引擎的示例的图。附图标记Im3311和Im3312表示由输入数据和输出数据构成的配对组。例如，假定配对是关于图29A所示的表面层(Im2910)的配对组。此外，附图标记3313表示使用由Im3311和Im3312构成的配对组进行学习的图像质量改善引擎。请注意，图33A所示的学习所采用的方法可以是如第一实施例中所述的使用通过叠加处理生成的高质量图像的方法，或者可以是如第十八实施例中所述的学习噪声分量的方法。或者，可以采用这些方法的组合。附图标记Im3321和Im3322表示由输入数据和输出数据构成的配对组，并且例如被假定为关于图29A所示的深层(Im2920)的配对组。附图标记3233表示使用由Im3321和Im3322构成的配对组进行学习的图像质量改善引擎。类似地，附图标记Im3331和Im3332表示由输入数据和输出数据构成的配对组，并且例如被假定为关于图29A所示的外层(Im2930)的配对组。此外，附图标记3333表示使用由Im3331和Im3332构成的配对组进行学习的图像质量改善引擎。换句话说，在图33A中，针对各图像进行学习。因此，例如，在第十八实施例中描述的噪声分量的情况下，可以使用适合于各个图像的噪声参数来进行学习。此时，图像质量改善引擎可以包括使用学习数据获得的机器学习引擎，该学习数据中将与医学图像的至少部分区域的状态相对应的噪声添加到所讨论的至少部分区域中。这里，上述“与状态相对应的噪声”例如可以是与至少部分区域的像素值相对应的大小的噪声。此外，例如，在至少部分区域中的特征小(例如，像素值小或对比度低)的情况下，上述“与状态相对应的噪声”可以是小噪声。此外，例如，在至少部分区域中的特征大(例如，像素值大或对比度高)的情况下，上述“与状态相对应的噪声”可以是大噪声。另外，图像质量改善引擎可以包括使用学习数据获得的机器学习引擎，该学习数据包括针对多个深度范围中的至少两个深度范围中的各深度范围添加了不同大小的噪声的多个正面图像。此时，例如，可以采用针对与特征小(例如，像素值小)的正面图像相对应的深度范围而添加了小噪声的正面图像作为学习数据。此外，例如，可以采用针对与特征大(例如，像素值大)的正面图像相对应的深度范围而添加了大噪声的正面图像作为学习数据。请注意，也可以采用针对与特征为中等大小的正面图像相对应的深度范围而添加了中等大小的噪声的正面图像作为学习数据。这里，多个深度范围可以是在深度方向上相邻的两个深度范围中的各深度范围的一部分彼此交叠的深度范围。
接下来，将使用图33B描述本实施例中的图像推断。在图33B所示的示例中，使用图像质量改善引擎3313至3333来生成图像，该图像质量改善引擎3313至3333使用图33A如上所述进行了学习。例如，当将低质量的表面层图像Im3310输入到使用多个表面层图像进行学习的图像质量改善引擎3313时，图像质量改善引擎3313输出高质量的表面层图像Im3315。此外，当将低质量的深层图像Im3320输入到使用多个深层图像进行了学习的图像质量改善引擎3323时，图像质量改善引擎3323输出高质量的深层图像Im3325。类似地，当将低质量的外层图像Im3330输入到使用多个外层图像进行了学习的图像质量改善引擎3333时，图像质量改善引擎3333输出高质量的外层图像Im3335。
接下来，将使用图33C描述根据本实施例的第二学习。图33C示出了一个图像质量改善引擎3300使用多个不同种类的图像对组进行学习的方式。在图33C中，作为配对组，附图标记Im3310表示低质量的表面层图像并且附图标记Im3315表示高质量的表面层图像，作为配对组，附图标记Im3320表示低质量的深层图像并且附图标记Im3325表示高质量的深层图像，并且，作为配对组，附图标记Im3330表示低质量的外层图像，附图标记Im3335表示高质量的外层图像。换句话说，使用包括由输出数据和输入数据构成的配对组的训练数据来生成图像质量改善引擎3300，该输出数据是使用通过第一学习而进行了学习的图像质量改善引擎生成的高质量图像，并且输入数据具有低图像质量。因此，图像质量改善引擎3300可以由各种输入图像生成降低了噪声或者具有高对比度的适合于图像诊断的高质量图像。
输出单元405使显示单元20显示图像质量改善单元404生成的高质量图像。请注意，输出单元405可以使显示单元20将输入图像与高质量图像一起显示。
此后的处理与第一实施例中的处理相同，因此这里省略对处理的描述。
请注意，虽然在本实施例中已经使用深度不同的三个层描述了OCTA面内图像，但是图像的种类不限于此，并且可以通过生成OCTA面内图像来增加种类，通过改变用作参考的层和偏移值来针对该OCTA面内图像设置不同的深度范围。图像种类之间的差异不限于深度方向上的差异，并且可以是针对各部位的差异。例如，差异可以是被摄像的位置之间的差异，例如眼前段和眼后段。另外，图像不限于OCTA面内图像，并且可以是由OCT数据生成的亮度面内图像。此外，可以在第一学习中分别针对OCTA面内图像和亮度面内图像进行学习，并且可以在第二学习中针对OCTA面内图像和亮度面内图像共同地进行学习。另外，图像的种类不需要只是面内图像，还可以是用不同种类的摄像装置获得的图像，例如，断层扫描图像、SLO图像、眼底图像和荧光眼底图像。
请注意，虽然已经描述了通过第二学习生成一个图像质量改善引擎的示例，但是生成的图像质量改善引擎的数目不必一定是一个。该构造是使用由通过第一学习生成的图像质量改善引擎的输出数据和低图像质量的输入数据的配对组进行学习的图像质量改善引擎的构造就足够了。另外，关于第二学习，虽然在图33C中示出了使用不同种类的多个图像配对组同时进行学习的示例，但是学习方法不限于此，并且可以是转移学习。例如，可以采用以下构造：使得在利用表面层图像Im3310和Im3315的配对组进行学习之后，使用该网络利用深层图像Im3320和Im3325的配对组进行学习，从而最终生成图像质量改善引擎3300。
通过该构造，根据本实施例的图像质量改善单元404可以针对各种图像生成更有效的高质量图像。
<第二十四实施例>
接下来，参照图34A和图34B描述根据第二十四实施例的图像处理装置。在本实施例中，描述了输出单元405在显示单元20上显示图像质量改善单元404的处理结果的示例。注意，虽然使用图34A和图34B描述了本实施例，但是显示画面不限于图34A和图34B所示的示例。图像质量改善处理也可以类似地应用于显示画面，该显示画面与进行跟踪观察时一样，并排显示在不同日期和时间获得的多个图像。此外，与摄像确认画面的情况一样，图像质量改善处理也可以类似地应用于检查者在摄像之后立即确认摄像是否成功的显示画面。
除非另有明确说明，否则根据本实施例的图像处理装置的构造和处理与根据第一实施例的图像处理装置400的构造和处理相同。因此，下面围绕与根据第一实施例的图像处理装置的不同之处来描述根据本实施例的图像处理装置。
输出单元405可以使显示单元20显示图像质量改善单元404生成的多个高质量图像或未进行图像质量改善的低质量图像。因此，输出单元405可以根据检查者的指令分别输出低质量图像和高质量图像。
下面参照34A和图34B描述所讨论的界面3400的一个示例。附图标记3400表示整个画面，附图标记3401表示“患者”选项卡，附图标记3402表示“摄像”选项卡，附图标记3403表示“报告”选项卡，附图标记3404表示“设置”选项卡。“报告”选项卡3403中的斜线表示报告画面的活动状态。在本实施例中，将描述显示报告画面的示例。附图标记Im3405表示SLO图像，附图标记Im3406表示这样的图像，其中，由附图标记Im3407表示的OCTA面内图像以叠加的方式显示在SLO图像Im3405上。这里，术语“SLO图像”是指通过SLO(扫描激光检眼镜)光学系统(未示出)获得的眼底的正面图像。附图标记Im3407和Im3408各自表示OCTA面内图像，附图标记Im3409表示亮度面内图像，附图标记Im3411和Im3412各自表示断层扫描图像。附图标记3413和3414分别表示由Im3407和Im3408表示的OCTA面内图像的上下范围的边界线，它们以叠加的方式显示在对应的断层扫描图像上。A按钮3420是用于指定图像质量改善处理的执行的按钮。自然地，如后所述，按钮3420可以是用于输入显示高质量图像的指令的按钮。
在本实施例中，当指定按钮3420时进行图像质量改善处理的执行，或者基于数据库中存储(保存)的信息确定是否执行图像质量改善处理。首先，将描述根据来自检查者的指令通过指定按钮3420来在高质量图像的显示和低质量图像的显示之间进行切换的示例。请注意，将OCTA面内图像描述为图像质量改善处理的目标图像。当检查者进行操作以指定“报告”选项卡3403从而转变到报告画面时，显示低质量的OCTA面内图像Im3407和Im3408。此后，当检查者进行操作以指定按钮3420时，图像质量改善单元404对在画面上显示的图像Im3407和Im3408执行图像质量改善处理。在图像质量改善处理完成之后，输出单元405在报告画面上显示图像质量改善单元404生成的高质量图像。请注意，由于由附图标记Im3406表示的图像是通过以叠加的方式在SLO图像Im3405上显示图像Im3407而获得的图像，因此图像Im3406也是经过了图像质量改善处理的图像。然后，将按钮3420的显示改变为活动状态，以提供可以理解为执行了图像质量改善处理的显示。在这种情况下，图像质量改善单元404的处理的执行不必限于检查者进行指定按钮3420的操作的定时。由于预先已知报告画面被打开时要显示的OCTA面内图像Im3407和Im3408的种类，所以当转变到报告画面时可以执行图像质量改善处理。随后，在按下按钮3420的定时，输出单元405可以在报告画面上显示高质量图像。另外，响应于来自检查者的指令或者当转变到报告画面时进行图像质量改善处理的图像的种类数不必为两个。也可以采用这样的构造，以对正在显示的可能性高的图像进行处理，例如，可以对诸如图29A中所示的表面层(Im2910)、深层(Im2920)、外层(Im2930)和脉络膜血管网络(Im2940)等多个OCTA面内图像进行处理。在这种情况下，通过进行图像质量改善处理而获得的图像可以被临时存储在存储器中或者可以被存储在数据库中。
接下来，描述基于数据库中存储(保存)的信息执行图像质量改善处理的情况。在将要进行图像质量改善处理的执行的状态存储在数据库中的情况下，在显示转变为报告画面时，默认显示通过执行图像质量改善处理而获得的高质量图像。此外，可以采用以下构造：使得默认在活动状态下显示按钮3420，从而检查者可以知道正在显示通过执行图像质量改善处理而获得的高质量图像。如果检查者希望显示在图像质量改善处理之前的状态下的低质量图像，则检查者可以通过进行操作以指定按钮3420从而释放活动状态来显示低质量图像。如果检查者希望返回到高质量图像，则检查者指定按钮3420。假定，共同针对存储在数据库中的所有数据，和关于诸如各摄像数据集(针对各检查)的各个数据类别，可以指定是否对数据库中存储的数据执行图像质量改善处理。例如，在要对整个数据库执行图像质量改善处理的状态已被存储的情况下，如果检查者存储了不针对单个摄像数据项目(单个检查)执行图像质量改善处理的状态，则下次显示相关摄像数据时，将以尚未执行图像质量改善处理的状态显示摄像数据。用户界面(未示出)(例如，“存储”按钮)可以用于存储针对各摄像数据项目(针对各检查)已经执行了图像质量改善处理的状态。另外，在转变到其他摄像数据(其他检查)或其他患者数据(例如，根据来自检查者的指令改变为报告画面之外的显示画面)时，基于显示状态(例如，(按钮3420的状态)，可以存储要进行图像质量改善处理的执行的状态。通过这种方式，在尚未指定是否在摄像数据单元(检查单元)中执行图像质量改善处理的情况下，可以基于针对整个数据库指定的信息来进行处理，而在已经指定了在摄像数据单元(检查单元)中执行图像质量改善处理的情况下，可以基于所讨论的信息来单独执行处理。
虽然在本实施例中示出了将图像Im3407和Im3408显示为OCTA面内图像的示例，但是可以根据检查者的指定来改变要显示的OCTA面内图像。因此，现在将给出关于当已经指定执行图像质量改善处理(按钮3420处于活动状态)时改变图像的描述。
使用用户界面(未示出)(例如，组合框)来进行图像的改变。例如，当检查者将图像的种类从表面层图像改变为脉络膜血管网络图像时，图像质量改善单元404对脉络膜血管网络图像执行图像质量改善处理，并且输出单元405在报告画面上显示图像质量改善单元404生成的高质量图像。换句话说，响应于来自检查者的指令，输出单元405可以将第一深度范围的高质量图像的显示改变为至少部分地不同于第一深度范围的第二深度范围的高质量图像的显示。此时，通过响应于来自检查者的指令将第一深度范围改变为第二深度范围，输出单元405可以将第一深度范围的高质量图像的显示改变为第二深度范围的高质量图像的显示。请注意，在如上所述，已经针对转变到报告画面时被显示的可能性高的图像生成了高质量图像的情况下，输出单元405可以显示已经生成的高质量图像。请注意，用于改变图像种类的方法不限于上述方法，并且还可以通过改变用作参考的层和偏移值来生成设置了不同深度范围的OCTA面内图像。在这种情况下，当改变用作参考的层或偏移值时，图像质量改善单元404针对任意OCTA面内图像执行图像质量改善处理，并且输出单元405在报告画面上显示高质量图像。可以使用用户界面(未示出)(例如，组合框或文本框)来进行对用作参考的层或偏移值的改变。此外，可以通过拖动以叠加方式显示在断层扫描图像Im3411和Im3412上的边界线3413和3414中的任一个(移动层边界)来改变用于生成OCTA面内图像的范围。在通过拖动改变边界线的情况下，连续发出针对图像质量改善处理的执行命令。因此，图像质量改善单元404可以总是针对执行命令进行处理，或者可以被构造为在通过拖动改变层边界之后执行处理。或者，虽然连续发出图像质量改善处理的执行，但是图像质量改善单元404可以被构造为在下一命令到达的时间点取消先前的命令，并执行最新的命令。请注意，在某些情况下，图像质量改善处理花费相对较长的时间。因此，即使当在上述定时中的任何定时执行该命令时，也可能在显示高质量图象之前会花费相对较长时间。因此，在从响应于来自检查者的指令设置用于生成OCTA面内图像的深度范围到显示高质量图像的时段期间，可以显示与设置的深度范围相对应的OCTA面内图像(低质量图像)。换句话说，可以采用以下构造：使得当设置上述深度范围时，显示与设置的深度范围相对应的OCTA面内图像(低质量图像)，并且当图像质量改善处理完成时，将相关OCTA面内图像(低质量图像)的显示改变为高质量图像的显示。此外，可以在从设置上述深度范围到显示高质量图像的时段期间显示表示正在执行图像质量改善处理的信息。请注意，前述内容不仅可以应用于假定状态是已经指定了执行图像质量改善处理的状态(按钮3420处于活动状态)的情况，并且还可以应用于以下情况：例如，关于直到当根据检查者的指令指示执行图像质量改善处理时显示高质量图像为止的时段。
虽然在本实施例中示出了以下示例：不同的层被显示为作为OCTA面内图像的图像Im3407和Im3408，并且通过在它们之间进行切换来显示低质量图像和高质量图像，但是本发明不限于此。例如，可以并排显示作为图像Im3407的低质量OCTA面内图像和作为图像Im3408的高质量OCTA面内图像。在通过在它们之间进行切换来显示图像的情况下，由于图像在同一地方被切换，因此容易比较变化的部分，而在并排显示图像的情况下，由于可以同时显示图像，所以容易比较整个图像。
接下来，将使用图34A和图34B来描述在画面转变的情况下图像质量改善处理的执行。图34B是以放大方式显示图34A中所示的OCTA面内图像Im3407的画面的示例。在图34B中，与图34A类似，对按钮3420进行显示。例如通过双击OCTA面内图像Im3407来指定从图34A所示的画面到图34B所示的画面的画面转变，并且通过单击“关闭”按钮3430来指定从图34B所示的画面到图34A所示的画面的画面转变。请注意，关于画面转变，用于从一个画面转变到另一个画面的方法不限于这里描述的方法，并且也可以使用用户界面(未示出)。在当画面转变时已经指定执行图像质量改善处理(按钮3420是活动的)的情况下，当发生画面转变时也保持该状态。换句话说，当图34B所示的画面转变为在图34A所示的画面上显示高质量图像的状态的情况下，高质量图像也显示在图34B所示的画面上。此外，按钮3420被置于活动状态。这同样适用于从图34B所示的画面转变到图34A所示的画面的情况。在图34B所示的画面上，还可以通过指定按钮3420将显示切换为低质量图像。关于画面转变，画面转变不限于这里描述的画面，并且只要转变到显示相同的摄像数据的画面，例如用于后续观察的显示画面或用于全景图像的显示画面，就在保持高质量图像的显示状态的同时进行转变。换句话说，在转变之后的显示画面上，显示与转变之前的显示画面上的按钮3420的状态相对应的图像。例如，如果按钮3420在转变之前的显示画面上处于活动状态，则在转变之后的显示画面上显示高质量图像。此外，例如，如果按钮3420的活动状态在转变之前的显示画面上被释放，则在转变之后的显示画面上显示低质量图像。请注意，可以采用以下构造：使得如果按钮3420在用于后续观察的显示画面上处于活动状态，则在不同的日期和时间(不同的检查日)获得的并排显示在用于后续观察的显示画面上的多个图像被切换为高质量图像。换句话说，可以采用以下构造：使得如果按钮3420在用于后续观察的显示画面上处于活动状态，则针对在不同日期和时间获得的多个图像共同地进行到高质量图像的切换。在图38中示出了用于后续观察的显示画面的示例。在响应于来自检查者的指令而选择了选项卡3801时，显示如图38所示的用于后续观察的显示画面。此时，可以通过检查者进行从列表框中显示的预定义深度范围集(3802和3803)中选择的操作来改变面内图像的深度范围。例如，在列表框3802中选择了表面毛细血管，在列表框3803中选择了深毛细血管。在上侧的显示区域中显示了对表面毛细血管的面内图像的分析结果，并且在下侧的显示区域中显示了对深毛细管的面内图像的分析结果。换句话说，当选择深度范围时，在不同的日期和时间获得的多个图像被共同地改变为在所选择的深度范围内的多个面内图像的分析结果的并行显示。此时，如果将分析结果的显示置于未选择状态，则可以将显示共同地改变为对在不同日期和时间获得的多个面内图像的分析结果的并行显示。此外，如果根据来自检查者的指令指定了按钮3420，则多个面内图像的显示被共同地改变为多个高质量图像的显示。另外，当分析结果的显示处于选择状态的情况下，如果根据来自检查者的指令指定了按钮3420，则对多个面内图像的分析结果的显示被共同地改变为对多个高质量图像的分析结果的显示。这里，可以进行分析结果的显示，使得分析结果以任何透明度以叠加的方式显示在图像上。此时，改变为分析结果的显示例如可以是改变为将分析结果以任何透明度叠加在正在显示的图像上的状态。此外，改变为分析结果的显示可以是例如改变为通过以任何透明度对各个分析结果和图像进行融合处理而获得的各个分析结果和图像(例如，二维图)的显示。此外，这种层边界和用于指定深度范围的偏移位置可各自从诸如由附图标记3805和3806来表示的用户界面被共同地改变。请注意，在不同的日期和时间获得的多个面内图像的深度范围可以根据来自检查者的指令通过如下方式被共同地改变：还使断层扫描图像与其一起显示，并且移动叠加在断层扫描图像上的层边界数据。此时，在不同的日期和时间获得的多个断层扫描图像可以被并排显示，并且当在一个断层扫描图像上进行上述移动时，可以在其他断层扫描图像上类似地移动该层边界数据。此外，例如，可以通过从诸如上下文菜单的用户界面进行选择来改变图像投影方法，以及是否要进行投影伪像消除处理。此外，可以选择选择按钮3807来显示选择画面，并且可以显示从在选择画面上显示的图像列表中选择的图像。请注意，在图38所示的画面的上部显示的箭头3804是指示当前选择的检查的标记，并且参考检查(基线)是在后续摄像时选择的检查(图38的最左侧的图像)。自然地，指示参考检查的标记可以显示在显示单元上。此外，在指定“示出差异”复选框3808的情况下，在参考图像上显示关于参考图像的测量值分布(图或扇区图)。另外，在这种情况下，在与参考图像的检查日期之外的检查日期相对应的区域中，显示差分测量值图，该差分测量值图示出在对于参考图像计算出的测量值分布和对于显示相关区域的图像计算出的测量分布之间的差异。作为测量结果，可以在报告画面上显示趋势图(通过测量随时间的变化而获得的对于各个检查日期的图像的测量值的图)。换句话说，可以显示与在不同日期和时间获得的多个图像相对应的多个分析结果的时间序列数据(例如，时间序列图)。此时，关于与和所显示的多个图像相对应的多个日期和时间以外的日期和时间有关的分析结果，也可以在以下状态下将分析结果显示为时间序列数据：可以从与正在显示的多个图像相对应的多个分析结果中区分出分析结果(例如，时序图上的各点的颜色根据是否显示相应的图像而不同)。此外，趋势图的回归线(曲线)和相应的数学表达式可以显示在报告画面上。
虽然在本实施例中已经给出了与OCTA面内图像有关的描述，但是本发明不限于此。根据本实施例的与用于显示图像、图像质量改善以及图像分析等的处理有关的图像可以是亮度面内图像。另外，图像的种类不限于面内图像，并且可以是诸如断层扫描图像、SLO图像、眼底图像或荧光眼底图像的不同种类的图像。在这种情况下，用于执行图像质量改善处理的用户界面可以是用于指示针对不同种类的多个图像执行图像质量改善处理的用户界面，或者可以是用于从不同种类的多个图像中选择任何图像并指示执行图像质量改善处理的用户界面。
根据前述构造，输出单元405可以在显示单元20上显示根据本实施例的图像质量改善单元404处理的图像。此时，如上所述，在与高质量图像的显示、分析结果的显示和要显示的正面图像的深度范围等有关的多个条件中选择了至少一个条件的状态的情况下，即使将显示画面转变为另一显示画面，也可以保持选择状态。此外，如上所述，在选择了多个条件中的至少一个条件的状态的情况下，即使将另一条件改变为选择状态，也可以保持选择至少一个条件的状态。例如，在分析结果的显示处于选择状态的情况下，响应于来自检查者的指令(例如，当指定按钮3420时)，输出单元405可以将对低质量图像的分析结果的显示改变为对高质量图像的分析结果的显示。此外，在分析结果的显示处于选择状态的情况下，响应于来自检查者的指令(例如，当释放对按钮3420的指定时)，输出单元405可以将对高质量图像的分析结果的显示改变为对低质量图像的分析结果的显示。而且，在高质量图像的显示处于未选择状态的情况下，响应于来自检查者的指令(例如，当释放对分析结果的显示的指定时)，输出单元405可以将对低质量图像的分析结果的显示改变为低质量图像的显示。另外，在高质量图像的显示处于未选择状态的情况下，响应于来自检查者的指令(例如，当指定了分析结果的显示时)，输出单元405可以将低质量图像的显示改变为对低质量图像的分析结果的显示。此外，在高质量图像的显示处于选择状态的情况下，响应于来自检查者的指令(例如，当释放对分析结果的显示的指定时)，输出单元405可以将对高质量图像的分析结果的显示改变为高质量图像的显示。此外，在高质量图像的显示处于选择状态的情况下，响应于来自检查者的指令(例如，当指定了分析结果的显示时)，输出单元405可以将高质量图像的显示改变为对高质量图像的分析结果的显示。而且，让我们考虑高质量图像的显示处于未选择状态并且第一种分析结果的显示处于选择状态的情况。在这种情况下，响应于来自检查者的指令(例如，当指定了第二种分析结果的显示时)，输出单元405可以将对低质量图像的第一种分析结果的显示改变为对低质量图像的第二种分析结果的显示。此外，让我们考虑高质量图像的显示处于选择状态并且第一种分析结果的显示处于选择状态的情况。在这种情况下，响应于来自检查者的指令(例如，当指定了第二种分析结果的显示时)，输出单元405可以将对高质量图像的第一种分析结果的显示改变为对高质量图像的第二种分析结果的显示。请注意，可以采用以下的构造：在用于后续观察的显示画面上，如上所述，针对在不同日期和时间获得的多个图像，共同地反映这些显示的改变。这里，可以进行分析结果的显示，使得分析结果以任何透明度以叠加的方式显示在图像上。此时，改变为分析结果的显示例如可以是改变为将分析结果以任何透明度叠加在正在显示的图像上的状态。此外，改变为分析结果的显示可以是例如改变为通过以任何透明度对各个分析结果和图像进行融合处理而获得的各个分析结果和图像(例如，二维图)的显示。
<第二十五实施例>
接下来，参照图35描述根据第二十五实施例的图像处理装置。在本实施例中，将描述处理确定单元3506。
除非另有明确说明，否则根据本实施例的图像处理装置的构造和处理与根据第一实施例的图像处理装置400的构造和处理相同。因此，下面将描述根据本实施例的处理确定单元3506。
处理确定单元3506确定是否要通过GPU(图形处理单元)或CPU来进行图像质量改善单元404的图像质量改善处理。
处理确定单元3506确定诸如GPU名称、GPU驱动器和GPU的存储器大小的关于GPU的环境是否为使用机器学习执行图像质量改善处理的合适环境，GPU安装在用于执行图像质量改善单元404的处理的装置中。如果处理确定单元3506确定GPU可用，则图像质量改善单元404使用GPU进行处理。另一方面，如果处理确定单元3506确定GPU不可用，则图像质量改善单元404使用CPU进行处理。在处理确定单元3506确定GPU不可用的情况下，由于与GPU相比，CPU进行的处理所花费的时间更长，所以输出单元405在显示单元20上显示指示使用CPU而不是GPU进行处理的信息。请注意，在GPU可用的情况下，可以显示指示使用GPU进行处理的信息。关于在显示单元20上显示这种信息的方式，可以显示消息，或者可以仅显示诸如GPU或CPU的单词。请注意，在图像质量改善单元404的处理将花费很长时间(例如，从几十秒到几分钟或更长时间)的情况下，因为将使用CPU来进行该处理，所以例如可以采用以下构造：使得不显示图34A和图34B所示的按钮3420，从而禁用图像质量改善处理的执行。通过不显示用于执行图像质量改善处理的用户界面，不能使用其功能。在禁用该功能的使用的情况下，可以将指示不能使用该功能的信息显示在显示单元20上。
处理确定单元3506不限于仅进行关于GPU和CPU的确定，并且还可以针对图像质量改善处理本身的执行进行确定。例如，将描述需要许可证登记以执行图像质量改善处理的情况。处理确定单元3506针对是否已经进行了许可证登记进行确定，并且如果已经进行了许可证登记，则处理确定单元3506通过例如显示图34A和图34B所示的按钮3420来使得能够执行图像质量改善处理。如果尚未进行许可证登记，则不显示图34A和图34B所示的按钮3420，从而不能使用按钮3420的功能。请注意，在为了执行图像质量改善处理而需要许可证登记的情况下，在上述的关于GPU处理和CPU处理的确定之前，进行关于是否已经进行了许可证登记的确定。
处理确定单元3506可以被构造为不仅自动进行关于处理的执行的确定，而且还基于检查者的指令来进行确定。例如，在检查者使用用户界面(未示出)指定由CPU执行处理的情况下，处理确定单元3506确定将使用CPU而不是GPU来进行处理。在这种情况下，处理确定单元3506不必评估安装在装置中的GPU，并且图像质量改善单元404使用CPU来进行处理。
上述处理确定单元3506的处理不必在每次进行图像质量改善单元404的处理时都执行，而是在图像处理装置启动时进行处理确定单元3506的处理就足够了。或者，处理确定单元3506可以周期性地(例如，每天一次)进行确定。
通过该构造，根据本实施例的处理确定单元3506确定是否可以执行图像质量改善处理。此外，可以选择适当的环境并执行用于机器学习的处理。
(变型例1)
在上述各种实施例中，可以采用一种构造，以便通过以下方式进行训练来增强图像质量改善引擎和真实性评估引擎的效率和精度：使得图像质量改善引擎的机器学习模型和真实性评估引擎的机器学习模型相互竞争。在这种情况下，生成对抗网络(GAN)是以多种模型相互竞争的方式进行训练的网络的示例。此时，图像质量改善引擎的机器学习模型对应于用于生成图像的生成器模型(生成器)。此外，真实性评估引擎的机器学习模型对应于用于鉴别所生成的图像是否真实(genuine)的鉴别器模型(鉴别器)。例如，对图像质量改善引擎的机器学习模型进行训练，使得当通过真实性评估引擎对作为图像质量改善的正确答案的图像进行评估时，输出真实标签。此外，对真实性评估引擎的机器学习模型进行训练，以便在由真实性评估引擎评估图像质量改善引擎生成的图像时输出伪标签。因此，重复训练，使得图像质量改善引擎生成的图像和作为图像质量改善的正确答案的图像变得彼此难以区分。结果，提高了图像质量改善引擎和真实性评估引擎的效率和精度。
请注意，图像质量改善引擎可以是通过使用包括由生成对抗网络生成的至少一个图像的学习数据进行学习而获得的学习模型。此时，可以采用使得检查者能够输入用于选择是否将由生成对抗网络生成的至少一个图像用作用于学习的学习数据的指令的构造。
(变型例2)
在上述各种实施例和变型例中，可以组合并输出图像质量改善引擎生成的高质量图像和输入图像。例如，在输入图像的像素值低(图像暗)等的情况下，可以想到图像质量改善引擎减小作为噪声分量的像素值的情况。因此，可以采用一种构造，以便基于输入图像的亮度来改变用于将图像质量改善引擎生成的图像与输入图像组合的比率，并输出所获得的合成图像。换句话说，输出单元405(显示控制单元)可以输出通过根据使用与输入图像的至少部分区域有关的信息而获得的比率组合输入图像(第一图像)和高质量图像(第二图像)而获得的合成图像。此时，可以通过使用输入图像的至少部分区域中的像素值(至少部分区域的亮度)作为上述信息来确定用于组合这两个图像的比率。此时，例如，输入图像中的像素值越低(越暗)，则相对于高质量图像来组合输入图像的比率被设置得越高。此外，例如，输入图像中的像素值越高(越亮)，则相对于高质量图像来组合输入图像的比率被设置得越低。具体地，基于关于整个图像的像素值的统计值(平均值、中值、模式值、最小值、最大值、方差、标准偏差等)来改变用于组合图像的比率。例如，在关于输入图像的像素值的统计值低于第一阈值的情况下，输出通过以0.5：0.5的比率将图像质量改善引擎生成的图像与输入图像组合而获得的合成图像(这两个图像的平均值)。或者，在关于输入图像的像素值的统计值高于第二阈值的情况下，输出通过以0.9:0.1的比率将图像质量改善引擎生成的图像与输入图像组合而获得的合成图像(这两个图像的加权平均值)。请注意，假定第一阈值和第二阈值之间的组合比平滑地变化。可以相对于整个图像确定基于输入图像计算的统计值，或者可以采用将输入图像划分为多个区域并确定局部统计值的构造。在将图像划分为多个区域的情况下，可以将比率值校正为平滑值，使得将图像组合的比率在相邻区域之间不会急剧变化。另外，代替将图像划分成区域，通过使用诸如高斯滤波器的平滑滤波器对图像进行分级，可以通过以像素为单位将值与第一阈值和第二阈值进行比较来针对各像素确定组合比。请注意，用于计算像素值的统计值的图像不限于输入图像。例如，当输入图像是OCTA图像时，像素值的统计值可使用亮度面内图像或投影图像来计算。
另外，代替使用输入图像的像素值的统计值，可以采用一种构造，以便根据输入图像与图像质量改善引擎生成的高质量图像之间的差异来改变用于组合这两个图像的比率。换句话说，可以通过使用两个图像的至少对应的部分区域中的像素值之间的差值作为前述信息来确定用于组合两个图像的比率。具体地，可以采用一种构造，以便在输入图像与高质量图像之间存在较大差异的情况下增加输入图像的比率。换句话说，在高质量图像中过度进行了去噪的情况下，通过增加输入图像的比率并组合图像来生成自然的高质量图像。请注意，当确定差分值时，不仅可以基于简单的差异信息，而且可以基于结构差异信息来进行确定。例如，可以采用一种构造，以便使用诸如黑森州滤波器的滤波器仅提取线性结构。结果，不将随机噪声检测为差异，并且仅可以提取诸如血管的具有一定程度的连续性的噪声。此外，可以采用一种构造，以对噪声分量简单地进行标记处理以仅提取具有一定大小以上的噪声。在依据差异改变用于将图像组合的比率的情况下，类似于使用统计值时，可以针对整个图像确定差异，或者可以采用将图像划分为多个区域并确定局部差分值的构造。
另外，可以在识别出部位或图像之后确定组合比。在这方面，例如，将描述表面层的OCTA图像的情况。在表面层的OCTA图像中，由于FAZ(小凹无血管区)中不存在血管，因此FAZ在OCTA图像中可能暗。因此，对于FAZ，可以想到增加高质量图像相对于输入图像的比率。换句话说，增加了噪声被降低更多的图像的比率。另一方面，如果在FAZ的位置以外的位置处存在暗区域，则难以确定讨论的区域是无血管区域(NPA：非灌注区域)，还是该区域是实际上存在血管但由于阴影等导致亮度降低的区域。因此，可以想到降低高质量图像相对于输入图像的比率。换句话说，原来存在的低亮度区域有可能从图像中消失的该图像的比率降低。因此，该组合比可以基于识别部位的结果来改变组合比，而不仅基于图像的亮度或差分变化来改变组合比。接下来，将描述识别图像的情况。在OCTA图像的情况下，该图像的外观和亮度依据表面层、深层和外层之间的深度变化。因此，可以识别目标图像的层的种类，并且可以根据层的种类改变比率。可以在生成层时使用关于边界线位置的信息来进行图像的识别，或者可以从图像中自动识别层。换句话说，组合比可以根据生成OCTA图像的深度来改变，而不是仅通过确定图像的亮度来改变。例如，表面层的OCTA图像整体较亮，而外层的OCTA图像整体较暗。因此，关于表面层的OCTA图像和外层的OCTA图像，可以将根据像素值的统计值的组合比率的第一阈值和第二阈值以及与之对应的比率分别设置为不同的值。例如，可以采用以下构造：使得如果对于表面层，统计值低于第一阈值，则图像质量改善引擎生成的图像和输入图像以0.5：0.5的比率组合，而如果对于外层，统计值低于第一阈值，则图像质量改善引擎生成的图像和输入图像以0.7：0.3的比率组合。
请注意，虽然在以上图像组合的描述中，描述了组合像素值本身的处理，但是可以采用改变图像的不透明度的构造。换句话说，组合比可以是α混合值。因此，例如，可以采用以下构造：使得在将输入图像的比率取为0.3的情况下，显示将由图像质量改善引擎生成的图像的α值取为1而输入图像的α值取为0.3的图像。在这种情况下，期望确保必定显示图像质量改善引擎生成的图像，并且改变输入图像的α值以半透明地显示图像。
此外，在输出通过将图像质量改善引擎生成的图像与输入图像组合而获得的图像的情况下，可以采用一种构造，以便输出图像质量改善引擎如上所述的那样自动确定比率的图像。也可以采用允许根据来自使用用户界面(未示出)的检查者的指令来改变用于组合两个图像的比率的构造。此时，作为用户界面，可以采用使得可以使用滑动条或通过将数值输入到文本框等来改变比率的构造，或者可以采用向检查者呈现通过改变组合比而获得的多个图像并允许检查者选择图像的构造。
此外，可以使用通过使用学习数据进行学习而获得的学习模型，基于与输入图像的至少部分区域有关的信息来确定用于将输入图像和高质量图像组合的比率，在该学习数据中，采用医学图像作为输入数据，并且采用与用于将医学图像和通过对医学图像进行图像质量改善而获得的高质量医学图像组合的比率有关的信息作为正确答案数据(输出数据)。此时，与比率有关的信息例如可以是根据来自检查者的指令而设置(改变)的比率的值。此外，例如，可以通过使用包括输入数据的学习数据进行学习来获得学习模型，在该输入数据中，将医学图像和通过对医学图像进行图像质量改善而获得的高质量医学图像取为集合。此时，可以使用上述学习数据通过机器学习来获得学习模型。
这里，例如，由多级神经网络构成的深度学习是一种机器学习。此外，例如，卷积神经网络(CNN)可以用于多级神经网络的至少一部分。另外，与自动编码器有关的技术可以用于多级神经网络的至少一部分。此外，可以将与反向传播有关的技术(错误反向传播方法)用于学习。然而，该机器学习不限于深度学习，并且可以使用任何模型，只要该模型本身能够通过学习提取(表示)诸如图像的学习数据的特征值即可。此外，机器学习也并不限定于这种模型，并且可以使用特征值作为学习数据通过学习来实现，该特征值是在学习之前预先使用医学图像而获得的。例如，机器学习可以是支持向量机、AdaBoost、Random Forest、贝叶斯网络等。此外，所学习的模型可以通过增量学习被更新，增量学习中，采用根据来自检查者的指令设置(改变)的比率的值作为学习数据。例如，如果当输入图像相对较暗时检查者倾向于将输入图像与高质量图像的比率设置得较高，则学习模型进行增量学习以具有这种趋势。因此，例如，学习模型可被定制为可获得与检查者的偏好匹配的组合比的学习模型。此时，可以在显示画面上显示用于根据来自检查者的指令确定是否使用比率的设置(改变)值作为用于增量学习的学习数据的按钮。此外，可以采用以下构造：使得将使用学习模型确定的比率被取为默认值，然后，可以根据来自检查者的指令从默认值改变比率值。而且，图像质量改善引擎可以是使用包括由图像质量改善引擎生成的至少一个高质量图像的学习数据通过增量学习而获得的学习模型。此时，可以采用以下构造：使得能够根据来自检查者的指令进行关于是否将高质量图像用作用于要进行的增量学习的学习数据的选择。
请注意，可以输出本变型例中描述的将由图像质量改善引擎生成的图像和输入图像组合时输出的合成图像，而不是上述各种实施例中描述的高质量图像，并且，例如，对于用于后续观察的显示画面或全景图像等，这同样适用。换句话说，可以在多个位置处获得根据本变型例的合成图像，并且可以使用多个合成图像来生成广角图像。此外，可以将使用多个合成图像生成的获得的广角图像显示在全景图像的显示画面上。而且，根据本变型例的合成图像可以在不同的日期和时间获得，并且多个合成图像可以并排显示在用于后续观察的显示画面上。根据本变型例，还可以对合成图像进行诸如血管分析处理的分析处理。
(变型例3)
诸如所需层的厚度或各种血管密度的分析结果可以显示在上述各种实施例和变型例中的报告画面上。此外，作为分析结果，可以显示与关注的部位有关的参数值(分布)，该关注的部位包括视神经乳头、黄斑区、血管区域、神经束、玻璃体区域、黄斑区域，脉络膜区域、巩膜区域、筛板层区域、视网膜层边界、视网膜层边界边缘、感光细胞、血细胞、血管壁、血管内壁边界、血管外边界、神经节细胞、角膜区域、角区域和施莱姆氏管等中的至少一个。此时，例如，可以通过分析经过各种伪像去除处理的医学图像来显示精确的分析结果。请注意，伪像可以是，例如，由血管区域等的光吸收引起的假图像区域、投影伪像或者由于被检眼的状态(运动或眨眼等)而在测量光的主扫描方向上出现的正面图像中的带状伪像。此外，伪像可以是任何种类的，只要它是例如在每次摄像时随机地出现在被摄体的预定部位的医学图像上的摄像故障区域即可。此外，可以显示与包括上述伪像的种类中的至少一种的区域(摄像故障区域)有关的参数的值(分布)，作为分析结果。此外，可以显示与包括诸如玻璃疣、新血管部位、白细胞(硬性渗出液)、假性粉刺等至少一个异常部位的区域有关的参数的值(分布)作为分析结果。可以使用分析图或使用指示与各个划分区域等相对应的统计值的扇区来显示分析结果。请注意，可以使用通过学习作为学习数据的医学图像的分析结果而获得的学习模型(分析结果生成引擎，或用于生成分析结果的学习模型)来生成分析结果。此时，学习模型可以是通过使用以下学习数据进行学习而获得的模型：包括医学图像和对医学图像的分析结果的学习数据，或者包括医学图像和对与相关医学图像等的种类不同的医学图像的分析结果的学习数据。此外，学习模型可以是通过使用包括输入数据的学习数据进行学习而获得的模型，在该输入数据中，将诸如亮度正面图像和运动对比度正面图像的预定部位的不同种类的多个医学图像取为集合。这里，亮度正面图像与亮度面内图像相对应，而运动对比度正面图像与OCTA面内图像相对应。此外，可以采用一种构造，以便显示使用由图像质量改善引擎生成的高质量图像获得的分析结果。另外，包括在学习数据中的输入数据可以是由图像质量改善引擎生成的高质量图像，或者可以是由低质量图像和高质量图像构成的集合。此外，学习数据可以是，例如，通过标记输入数据而获得的数据，对于该输入数据，采用包括通过分析分析区域而获得的分析值(例如，平均值或中间值)、包括分析值的表、分析图和诸如图像中的扇区等的分析区域的位置中的至少一种信息的信息作为(监督学习的)正确答案数据。请注意，可以采用以下构造：使得响应于来自检查者的指令而显示通过用于分析结果生成的学习模型而获得的分析结果。
此外，在上述各种实施例和变型例中，可以在报告画面上显示各种诊断结果，例如与青光眼或年龄相关黄斑变性有关的结果。此时，例如，可以通过分析经过如上所述各种伪像去除处理的医学图像来显示精确的诊断结果。此外，在诊断结果中，可以在图像上显示指定的异常部位的位置，并且可以使用字符等来显示异常部位等的状态。此外，可以显示对于异常部位的分类结果(例如，科廷的分类)，作为诊断结果。请注意，诊断结果可以是使用通过使用医学图像的诊断结果作为学习数据来学习而获得的学习模型(诊断结果生成引擎，或用于生成诊断结果的学习模型)来生成的结果。此时，学习模型可以是通过使用以下学习数据进行学习而获得的模型：包括医学图像和对医学图像的诊断结果的学习数据，或者包括医学图像和对与相关医学图像等的种类不同的医学图像的诊断结果的学习数据。此外，可以采用一种构造，以便显示使用由图像质量改善引擎生成的高质量图像获得的诊断结果。另外，包括在学习数据中的输入数据可以是由图像质量改善引擎生成的高质量图像，或者可以是由低质量图像和高质量图像构成的集合。此外，学习数据可以是，例如，通过标记输入数据而获得的数据，对于该输入数据，采用包括诊断、病变(异常部位)的种类或状态(程度)、病变在图像中的位置、病变相对于关注区域的位置、发现结果(解释发现结果等)、诊断的依据(肯定的医疗支持信息等)、以及否定诊断的依据(否定的医疗支持信息)中的至少一种信息的信息作为(监督学习的)正确答案数据。请注意，可以采用以下构造：使得响应于来自检查者的指令而显示通过用于诊断结果生成的学习模型而获得的诊断结果。
此外，在上述各种实施例和变型例中，可以在报告画面上显示如上所述的关于关注部位、伪像、异常部位等的对象识别结果(对象检测结果)或分割结果。此时，例如，矩形框等可以被叠加在图像上的对象周围并显示。此外，例如，可以将颜色等叠加在图像上的对象上并显示。请注意，对象识别结果或分割结果可以是使用通过使用学习数据进行学习而获得的学习模型生成的结果，在该学习数据中，指示对象识别或分割的信息被标记在医学图像上作为正确答案数据。请注意，上述的分析结果生成或诊断结果生成可以通过利用上述的对象识别结果或分割结果来实现。例如，可以针对通过对象识别处理或分割处理获得的关注部位进行用于生成分析结果或用于生成诊断结果的处理。
上述学习模型可以是通过使用包括输入数据的学习数据进行学习而获得的学习模型，在该输入数据中，将作为被摄体的预定部位的图像的不同种类的多个医学图像取为集合。此时，例如，可以想到将眼底的运动对比度正面图像和亮度正面图像(或亮度断层扫描图像)取为集合的数据，作为学习数据中包括的输入数据。此外，例如，可以想到将眼底的断层扫描图像(B扫描图像)和彩色眼底图像(或荧光眼底图像)取为集合的数据，作为学习数据中包括的输入数据。另外，不同种类的多个医学图像可以是任何种类的，只要医学图像是通过不同的模态、不同的光学系统或不同的原理等获得即可。此外，上述学习模型可以是通过使用包括输入数据的学习数据进行学习而获得的学习模型，在该输入数据中，将被摄体的不同部位的多个医学图像取为集合。此外，例如，可以想到将眼底的断层扫描图像(B扫描图像)和眼前段的断层扫描图像(B扫描图像)取为集合的数据，作为学习数据中包括的输入数据。此外，例如，也可以想到将眼底黄斑的三维OCT图像(三维断层扫描图像)和通过眼底视神经乳头的圆形扫描(或光栅扫描)获得的断层扫描图像取为集合的数据，作为学习数据中包括的输入数据。请注意，学习数据中包括的输入数据可以是被摄体的不同部位和不同种类的多个医学图像。此时，例如，可以想到将眼前段的断层扫描图像和彩色眼底图像取为集合的数据，作为学习数据中包括的输入数据。此外，上述学习模型可以是通过使用包括输入数据的学习数据进行学习而获得的学习模型，在该输入数据中，将作为被摄体的预定部位的图像的不同摄像视角的多个医学图像取为集合。此外，学习数据中包括的输入数据可以是例如在全景图像的情况下通过将多个医学图像结合在一起而获得的数据，该多个医学图像是通过将预定部位在时间上划分为多个区域而获得的。此时，通过使用诸如全景图像的广角图像作为学习数据，由于因诸如信息量大于窄角图像的情况下的信息量的事实的原因而有可能以高精度获取图像的特征值，因此可以增强各处理的结果。此外，学习数据中包括的输入数据可以是将在被摄体的预定部位的在不同日期和时间获得的多个医学图像取为集合的输入数据。
此外，要显示上述的分析结果、诊断结果、对象识别结果和分割结果中的至少一个结果的显示画面不限于报告画面。这种显示画面可以是，例如，摄像确认画面、用于后续观察的显示画面以及用于在摄像之前进行各种调整的预览画面(显示各种实时运动图像的显示画面)等中的至少一个显示画面。例如，通过使利用上述学习模型获得的前述至少一个结果显示在摄像确认画面上，检查者可在摄像之后立即检查精确的结果。此外，在上述的低质量图像和高质量图像之间改变显示可以是，例如，在对低质量图像的分析结果和对高质量图像的分析结果之间改变显示。
(变型例4)
可以采用以下构造：使得在上述各种实施例和变型例中的预览画面上，对于实时运动图像的每至少一帧使用上述学习模型。此时，也可以构成为以下构造：使得在不同部位或不同种类的多个实时运动图像显示在预览画面上的情况下，使用与各个实时运动图像相对应的学习模型。通过这种方式，例如，由于即使对于实时运动图像也可以缩短处理时间，因此检查者可以在开始摄像之前获得高精度的信息。因此，例如，由于可以减少再摄像等故障，因此可以提高诊断的精度和效率。请注意，多个实时运动图像可包括如下中的至少一种运动图像：例如，用于在XYZ方向上对准的眼前段运动图像、用于眼底观察光学系统的聚焦调整或OCT聚焦调整的眼底的正面运动图像以及用于OCT中的相干门调整(测量光路长度与参考光路长度之间的光路长度差的调整)的眼底的断层扫描运动图像。
此外，可以应用上述学习模型的运动图像不限于实时运动图像，并且，例如，运动图像可以是存储(保存)在存储单元中的运动图像。此时，例如，通过对存储(保存)在存储单元中的眼底断层扫描运动图像的每至少一帧进行对准而获得的运动图像可以显示在显示画面上。例如，在期望适当地观察玻璃体的情况下，首先，可以基于诸如玻璃体尽可能多地存在于参考帧中的条件来选择参考帧。此时，各帧是XZ方向上的断层扫描图像(B扫描图像)。随后，对于所选择的参考帧在XZ方向上已经对准其他帧的运动图像可以显示在显示画面上。此时，例如，可以采用一种构造，以便使由图像质量改善引擎针对运动图像的每至少一帧按顺序生成的高质量图像(高图像质量帧)连续显示。在这种情况下，有可能在各种调整期间诸如被检眼的视网膜的摄像目标还不能被成功地摄像。因此，由于输入到学习模型的医学图像和用作学习数据的医学图像之间存在很大的差异，所以有可能无法精确地获得高质量图像。因此，也可以采用以下构造：使得当诸如在评估断层扫描图像(B扫描)的图像质量时获得的值的评估值超过阈值时，自动开始高质量运动图像的显示(高图像质量帧的连续显示)。此外，可以采用以下构造：使得当评估值(诸如在评估断层扫描图像(B扫描)的图像质量时获得的值)超过阈值时，将图像质量改善按钮改变为可由检查者选择按钮的状态(活动状态)。此外，可以采用以下构造：使得针对扫描图案等不同的各摄像模式准备不同的图像质量改善引擎，并且选择与所选择的摄像模式相对应的图像质量改善引擎。此外，可以使用通过使用包括以不同摄像模式获得的各种医学图像的学习数据进行学习而获得的一种图像质量改善引擎。请注意，作为上述的用于在帧之间进行对准的方法，对于在X方向上进行对准的方法和在Z方向(深度方向)上进行对准的方法，可以应用相同的方法，或者应用的方法可能都不同。另外，可以通过不同的方法多次进行相同方向上的对准。例如，可以进行粗对准，此后可以进行精对准。此外，对准的方法包括，例如，使用通过对断层扫描图像(B扫描图像)进行分割处理而获得的视网膜层边界的(粗Z方向)对准，使用通过分割断层扫描图像和参考图像获得的多个区域之间的相关性信息(相似度)的(精X方向或Z方向)对准，使用针对各断层扫描图像(B扫描图像)生成的一维投影图像的(X方向)对准，以及使用二维正面图像的(X方向)对准。此外，可以采用一种构造，以便在以像素为单位进行粗对准之后，以子像素为单位进行精对准。
(变型例5)
在上述的各种实施例和变型例中，在学习模型正在进行增量学习的情况下，有可能难以使用正在进行增量学习的学习模型本身来输出(推断/预测)。因此，可以禁止将医学图像输入到正在进行增量学习的学习模型中。此外，可以准备与正在进行增量学习的学习模型相同的学习模型作为另一辅助学习模型。此时，也可以采用以下构造：使得可以执行将医学图像输入到正在进行增量学习的辅助学习模型的操作。随后，在增量学习完成之后，对经历了额外学习的学习模型进行评估，并且如果没有问题，则从辅助学习模型切换到经历了额外学习的学习模型就足够了。此外，可以采用以下构造：使得如果存在问题，则使用辅助学习模型。
此外，可以采用以下构造：使得可以选择性地利用通过针对各个摄像部位进行学习而获得的学习模型。具体地，可以准备多个学习模型，其包括使用包括第一摄像部位(肺、被检眼等)的学习数据获得的第一学习模型，以及使用包括第二摄像部位的学习数据获得的第二学习模型，该第二摄像部位与第一摄像部位不同。此外，可以采用一种构造，以便选择这多个学习模型中的任何一个。此时，该构造可以具有控制单元，该控制单元被构造为：响应于来自检查者的指令，(例如，通过网络从诸如医院或实验室的外部设施的服务器等)检索与所选择的学习模型相对应的摄像部位(由标头信息指定或由检查者手动输入的部位)和通过对相关摄像部位进行成像而获得的图像形成配对的数据，并执行采用所检索和获得的数据作为学习数据的学习，作为对于所选择的学习模型的增量学习。通过这种方式，通过使用对与学习模型相对应的摄像部位进行摄像而获得的图像，可以针对各摄像部位有效地进行增量学习。
此外，当通过网络从诸如医院或实验室的外部设施的服务器等获得用于增量学习的学习数据时，期望减少由于增量学习等期间的篡改或系统故障而导致的可靠性降低。因此，可以通过数字签名或哈希确认一致性来检测用于增量学习的学习数据的正确性。通过这种方式，可以保护用于增量学习的学习数据。此时，在作为通过数字签名或哈希确认一致性的结果而无法检测出用于增量学习的学习数据的正确性的情况下，给出对该事实的警告，并且不使用所讨论的学习数据进行增量学习。请注意，该服务器可以是诸如云服务器、FOG服务器或边缘服务器的任何形式的服务器，而与其安装位置无关。
(变型例6)
在上述各种实施例和变型例中，除了手动指令(例如，使用用户界面等的指令)之外，来自检查者的指令还可以是语音指令等。此时，例如，可以使用包括通过机器学习获得的语音识别引擎(语音识别模型或用于语音识别的学习模型)的机器学习引擎。另外，手动指令可以是使用键盘、触摸面板等通过字符输入的指令。此时，例如，可以使用包括通过机器学习获得的字符识别引擎(字符识别模型、用于字符识别的学习模型)的机器学习引擎。此外，来自检查者的指令可以是通过手势等进行的指令。此时，可以使用包括通过机器学习获得的手势识别引擎(手势识别模型、用于手势识别的学习模型)的机器学习引擎。此外，来自检查者的指令可以是检测检查者在监视器等上的视线的结果。视线检测结果可以是，例如，使用通过从监视器周围摄像而获得的检查者的运动图像的瞳孔检测结果。此时，从运动图像进行的瞳孔检测可以使用如上所述的对象识别引擎。此外，来自检查者的指令可以是脑波的指令，或者是流经身体等的微弱的电信号。在这种情况下，例如，学习数据可以是以下学习数据：采用指示显示通过上述各种学习模型的处理而获得的结果的指令的字符数据或语音数据(波形数据)等作为输入数据，并且，采用用于实际上使通过各种学习模型的处理而获得的结果实际显示在显示单元上的执行命令作为正确答案数据。此外，学习数据可以是以下学习数据：例如，采用指示显示利用用于改善图像质量的学习模型而获得的高质量图像的指令的字符数据或语音数据等作为输入数据，并且采用用于显示高质量图像的执行命令和用于将按钮3420改变为活动状态的执行命令作为正确答案数据。自然，也可以使用任何种类的学习数据，只要例如由该字符数据或语音数据等指示的指令内容和执行命令内容彼此相对应即可。此外，可以使用声学模型或语言模型等将语音数据转换为字符数据。此外，可以使用利用多个麦克风获得的波形数据来进行减少叠加在语音数据上的噪声数据的处理。此外，可以采用以下构造：使得可以根据来自检查者的指令，在由字符或语音等发出的指令与使用鼠标或触摸面板等输入的指令之间进行选择。另外，可以采用以下构造：使得可以根据来自检查者的指令进行选择以打开或关闭通过字符或语音等的指令。
在这种情况下，机器学习包括如上所描述的深度学习，并且，例如，可以使用递归神经网络(RNN)作为多层神经网络的至少一部分。这里，作为根据本变型例的机器学习引擎的示例，将参照图36A和图36B描述作为处理时间序列信息的神经网络的RNN。此外，将参照图37A和图37B描述作为一种RNN的长短期存储器(以下称为“LSTM”)。图36A示出了作为机器学习引擎的RNN的结构。RNN 3520在网络中具有环路结构，并且在时间t输入数据xt3510，并且输出数据ht3530。由于RNN 3520在网络中具有循环功能，因此当前时间的状态可以被接管到下一状态，因此可以处理时序信息。图36B示出了在时间t的参数向量的输入/输出的示例。数据xt3510包括N个数据(Para ms1至Para msN)。此外，由RNN 3520输出的数据ht3530包括与输入数据相对应的N个数据(Para ms1至Para msN)。然而，由于在反向传播期间RNN不能处理长时间信息，所以可以使用LSTM。该LSTM可以通过提供忘记门、输入门和输出门来学习长期信息。图37A示出了LSTM的结构。在LSTM 3540中，网络在下一时间t接管的信息是称为小区的网络的内部状态ct-1，并输出数据ht-1。请注意，图中的小写字母(c,h,x)表示向量。接下来，在图37B中详细示出了LSTM 3540。在图37B中，附图标记FG表示忘记门网络，附图标记IG表示输入门网络，附图标记OG表示输出门网络，并且这些网络中的各网络都是sigmoid层。因此，输出各元素具有从0到1的值的向量。忘记门网络FG确定保留了多少过去信息，并且，输入门网络IG确定将更新哪个值。附图标记CU表示小区更新候选网络，其是激活功能tanh层。这将创建将添加到小区中的新候选值的向量。输出门网络OG选择小区候选的元素并选择在下一时间要发送多少信息。请注意，上述LSTM模型是基本形式，并且本发明不限于这里示出的网络。可以改变网络之间的耦合。可以使用QRNN(准递归神经网络)代替LSTM。此外，该机器学习引擎不限于神经网络，并且可以使用Boosting或支持向量机等。此外，在通过字符或语音等输入来自检查者的指令的情况下，可以应用与自然语言处理有关的技术(例如，序列到序列)。此外，可以应用利用诸如文本或语音的输出响应检查者的对话引擎(对话模型或用于对话的学习模型)。
(变型例7)
在不发生技术矛盾的范围内，上述的各种实施例和变型例至少包括以下描述的各元素，并且还至少包括以下描述的各种组合中的各组合。请注意，例如，上述各种学习可以应用于以下的机器学习。此外，下面描述的至少部分区域是例如上述部分区域，并且是矩形区域等。
首先，图像质量改善引擎可以包括机器学习引擎，该机器学习引擎使用被摄体的预定部位的二维医学图像来进行用于生成二维高质量图像的机器学习。此时，图像质量改善引擎可以是通过对包括二维医学图像的至少部分区域的学习数据进行学习而获得的学习模型。例如，图像质量改善引擎可以是通过对学习数据进行学习而获得的学习模型，该学习数据包括被检眼的第一深度范围的第一正面图像的至少一部分区域。此外，作为另一种图像质量改善引擎，可以生成另一种学习模型，该另一种学习模型是通过对学习数据进行学习而获得的，该学习数据包括被检眼的第二深度范围的第二正面图像的至少部分区域，第二深度范围是至少一些范围不同于第一深度范围的第二深度范围。换句话说，在第二正面图像的特征值和第一正面图像的特征值比较不同的情况下，不仅生成第一学习模型，而且还可以生成第二学习模型。因此，例如，根据多个医用图像，可以选择性地使用多个学习模型。因此，可以对具有彼此比较不同的特征值的多个医学图像进行精确的图像质量改善。请注意，在这些特征值比较相似的情况下，不需要生成第二学习模型，并且生成通过使用第一正面图像和第二正面图像作为学习数据来学习而获得的共同学习模型就足够了。
此外，图像质量改善引擎可以包括机器学习引擎，该机器学习引擎使用被摄体的预定部位的三维医学图像来进行用于生成三维高质量图像的机器学习。此时，图像质量改善引擎可以是通过对包括三维医学图像的至少部分区域的学习数据进行学习而获得的学习模型。这里，考虑以下情况：三维医学图像由在不同位置获得的多个二维医学图像构成。此时，例如，B扫描图像是XZ平面上的断层扫描图像，并且不同位置在Y方向上。在这种情况下，学习数据或输入到学习模型的数据可以是由多个二维医学图像构成的三维医学图像，对于该二维医学图像，在X-Z方向上的失准被校正(对准)。此外，在使用学习模型从三维医学图像生成三维高质量图像的情况下，由于处理时间会比在二维医用图像的情况下的更长，例如，可以采用一种构造，以便在能够进行高速处理的服务器上进行处理。在这种情况下，可以采用以下构造：使得将由摄像装置获得的医学图像数据从客户端发送到服务器，并且在服务器上使用学习模型进行处理之后，将处理后的所得数据从服务器发送到客户端。请注意，该服务器可以是诸如云服务器、FOG服务器或边缘服务器的任何形式的服务器，而与其安装位置无关。此外，作为上述的用于在多个二维医学图像之间进行对准的方法，对于在X方向上进行对准的方法和在Z方向(深度方向)上进行对准的方法，可以应用相同的方法，或者应用的方法可能都不同。另外，可以通过不同的方法多次进行在相同方向上的对准。例如，可以进行粗对准，此后可以进行精对准。此外，对准的方法包括，例如，使用通过对断层扫描图像(B扫描图像)进行分割处理而获得的视网膜层边界的(粗Z方向)对准，使用通过分割断层扫描图像和参考图像获得的多个区域之间的相关性信息(相似度)的(精X方向或Z方向)对准，使用针对各断层扫描图像(B扫描图像)生成的一维投影图像的(X方向)对准，以及使用二维正面图像的(X方向)对准。此外，可以采用一种构造，以便在以像素为单位进行粗对准之后，以子像素为单位进行精对准。
此外，图像质量改善引擎可以是通过对学习数据进行学习而获得的学习模型，该学习数据包括关于被摄体的预定部位的三维医学图像数据中的至少一些范围彼此不同的多个范围的二维医学图像。例如，图像质量改善引擎可以是通过对学习数据进行学习而获得的学习模型，该学习数据包括被检眼的第一深度范围的第一正面图像的至少部分区域，以及第二深度范围的第二正面图像的至少部分区域，在该第二深度范围中，至少一些范围与第一深度范围不同。换句话说，图像质量改善引擎可以是通过对学习数据进行学习而获得的学习模型，该学习数据包括使用被摄体的预定部位的三维医学图像数据获得的多个医学图像，该多个医学图像是特征值彼此不同的多个医学图像。通过这种方式，关于彼此不同的多个特征值，图像质量改善引擎可以获得例如具有高抽象水平的特征值作为学习结果。因此，例如，即使在具有不同于多个特征值的特征值的医学图像的情况下，如果所提取的具有高抽象水平的特征值在适用范围内，则可以用相对较好的精度进行图像质量改善。例如，通过使用通过对学习数据进行学习而获得的学习模型，可以从第三深度范围内的第三正面图像的至少部分区域精确地生成高质量图像，该学习数据包括第一深度范围内的第一正面图像的至少部分区域和第二深度范围内的第二正面图像的至少部分区域，对于该第三深度范围，至少一些范围不同于第一深度范围和第二深度范围。此时，例如，第一深度范围是分布有相对较厚的血管的表面层，并且，第二深度范围是分布有相对薄的血管(或没有分布血管)的深层。因此，第一正面图像的特征值和第二正面图像的特征值彼此不同。
此外，学习数据中包括的输入数据和正确答案数据(输出数据)的集合可以是低质量图像和高质量图像的集合。例如，高质量图像可以是通过叠加多个低质量图像而获得的图像。此时，通过叠加，在某些情况下以下部位在高质量图像中被可视化：该部位未被共同摄像在所述多个低图像质量图像中，但被摄像在任何低质量图像中。换句话说，在某些情况下，低质量图像中不存在的部位可能会出现在高质量图像中。在这种情况下，存在以下可能性：图像质量改进引擎不仅将获得用于图像质量改善的特征值作为学习结果，而且还将获得将新生成不存在的部位的特征值。例如，存在以下可能性：在高质量图像中，在实际上不存在血管的区域中产生假血管。
因此，可以采用存在于图像中的部位之间的差异彼此相对较小的多个医学图像，作为学习数据中包括的输入数据和正确答案数据的集合。例如，输入数据和正确答案数据的集合可以是由添加有噪声的高质量图像和高质量图像构成的集合，或者，可以是由添加有彼此不同的噪声的多个高质量图像构成的集合。此时，噪声可以是一定程度的噪声，使得图像中存在的部位等的特征值不丢失。另外，关于随机地确定是否为各像素添加噪声的噪声模式对于各图像可以不同。请注意，对于各图像，被添加的噪声的大小可以不同。此外，该集合可以由各自的叠加的图像数目彼此不同的多个医学图像构成。因此，图像质量改善引擎可以例如精确地获得特征值作为学习结果。因此，通过使用图像质量改善引擎，可以由输入的低质量图像精确地生成高质量图像。此时，输入的低质量图像可以是经过上述的用于减少各种伪像的处理的医学图像。请注意，该减少处理也可以应用于高质量图像。此外，可以采用以下构造：使得可以根据来自检查者的指令选择该减少处理。
在这种情况下，可以将彼此不同的噪声添加到特征值互不相同的多个医学图像的至少部分区域中。例如，如果将适合于相对较亮的医学图像的噪声添加到相对较暗的医学图像，则有可能在相对较暗的医学图像上存在的部位将丢失。因此，例如，被添加到相对较暗的医用图像的至少部分区域的噪声的大小可能会小于被添加到相对较亮的图像的至少部分区域的噪声的大小。此外，用作学习数据的高质量图像可以是由另一图像质量改善引擎生成的高质量图像。
此外，即使使用上述各种方法，在低质量图像是相对较暗的医学图像等的情况下，存在以下可能性：由于图像质量改善引擎将所讨论的部分视为噪声等，因此低质量图像中存在的部位的一部分可能会从高质量图像中丢失。因此，例如，可以采用一种构造，以便通过以与图像的亮度等相对应的比率将低质量图像和高质量图像组合来获得合成图像。因此，例如，由于即使在高质量图像中丢失了相关部位，在低质量图像中也存在该部位，因此可以在高质量图像中恢复这样的部位。
此外，高质量图像或合成图像等可以根据来自检查者的指令被存储在存储单元。此时，在检查者指示保存高质量图像或合成图像等之后，当登记文件名时，在可以根据来自检查者的指令编辑文件名的状态下，将文件名可以显示为推荐文件名，该文件名在该文件名的任何部分(例如，第一部分或最后一部分)处包括指示该图像是通过使用用于改善图像质量的学习模型进行处理(图像质量改善处理)而生成的图像的信息(例如，字符)。此外，当使显示单元在诸如上述的报告画面的各种显示画面上显示高质量图像时，可以将指示正在显示的图像是通过使用用于改善图像质量的学习模型进行处理而生成的高质量图像的显示与高质量图像一起显示。在这种情况下，由于用户可以通过相关显示容易地识别出被显示的高质量图像不是通过摄像获得的实际图像，因此可以减少误诊，并且可以提高诊断效率。请注意，指示通过使用用于改善图像质量的学习模型的处理生成了高质量图像的显示可以是任何形式，只要它是使得可以区分输入图像和由相关处理生成的高质量图像的显示即可。此外，同样对于使用上述的各种学习模型的处理，而不仅仅是使用用于改善图像质量的学习模型的处理，可以将指示正在显示的结果是通过使用相关种类的学习模型的处理而生成的显示与该相关结果一起显示。此时，可以根据来自检查者的指令将诸如报告画面的显示画面存储在存储单元中。例如，报告画面可以作为单个图像存储在存储单元中，在该单个图像中，高质量图像或合成图像等以及指示这些图像是通过使用用于改善图像质量的学习模型进行处理而生成的高质量图像的显示被并排显示。此外，关于指示使用用于改善图像质量的学习模型进行处理而生成高质量图像的显示，可以在显示单元上显示指示在进行学习时改善图像质量的学习模型使用了哪种学习数据的显示。讨论的显示可以包括对学习数据的输入数据和正确答案数据的种类描述的显示，或者与输入数据和诸如正确答案数据中包括的摄像部位等的正确答案数据有关的任何显示。请注意，同样关于使用上述各种学习模型的处理，而不仅是使用用于改善图像质量的学习模型的处理，还可以在显示单元上显示指示在进行学习时相关种类的学习模型使用哪种学习数据的显示。此外，可以采用以下构造：使得可以在将指示图像是通过用于改善图像质量的学习模型进行处理而生成的信息(例如，字符)叠加在高质量图像或合成图像等上的状态下，显示或存储该信息。此时，将信息叠加在图像上的地方可以是任何地方，只要该地方在与作为摄像目标的关注部位等被显示的区域不交叠的区域(例如，图像的边缘)中即可。此外，可以确定非交叠区域，并且可以在所确定的区域中叠加该信息。
此外，可以采用以下构造：使得在作为报告画面的初始显示画面，默认设置被设置为使得按钮3420进入活动状态(图像质量改善处理被设置为“开”)，根据来自检查者的指令，将包括高质量图像或合成图像等的与报告画面相对应的报告图像发送到服务器。此外，可以采用以下构造：使得在默认设置被设置为使得按钮3420进入活动状态的情况下，当检查结束时(例如，在根据来自检查者的指令将摄像确认画面或预览画面改变为报告画面的情况下)，将包括高质量图像或合成图像等的与报告画面相对应的报告图像(自动地)发送到服务器。此时，可以采用以下构造：使得将基于默认设置(例如，与用于在报告画面的初始显示画面上生成面内图像的深度范围、是否叠加分析图、该图像是否是高质量图像以及是否示出用于后续观察的显示画面等中的至少一项有关的设置)的各种设置生成的报告图像发送到服务器。
此外，在上述各种学习模型中，可以将使用第一种类学习模型获得的图像(例如，高质量图像、诸如分析图的示出分析结果的图像、示出对象识别结果的图像或示出分割结果的图像)输入到不同于第一种类的第二种类的学习模型。此时，可以采用以下构造：使得通过第二种类学习模型的处理来生成结果(例如，分析结果、诊断结果、对象识别结果或分割结果)。此外，在上述各种学习模型中，可以通过使用对第一种类学习模型处理获得的结果(例如，分析结果、诊断结果、对象识别结果或分割结果)由输入到第一种学习模型的图像生成要输入到与第一种类学习模型不同的第二种类学习模型中的图像。此时，有很大可能生成的图像是适合作为用于第二种学习模型进行处理的图像的图像。因此，能够增强当生成的图像被输入到第二种学习模型时获得的图像(例如，高质量图像、诸如分析图的示出分析结果的图像、示出对象识别结果的图像或示出分割结果的图像)的精度。另外，使用通过上述学习模型的处理而获得的分析结果或诊断结果等作为搜索关键字，可以利用存储在服务器等中的外部数据库来检索相似图像。请注意，在已经通过机器学习等将多个图像的各个特征值作为补充信息附加的状态下已经管理了数据库中存储的多个图像的情况下，可以使用利用图像本身作为搜索关键字的相似图像搜索引擎(相似图像检查模型或用于相似图像搜索的学习模型)。
(各种实施例)
本公开的实施例1涉及一种医学图像处理装置。该医学图像处理装置包括：获得单元，其被构造为获得第一图像，该第一图像是被摄体的预定部位的图像；以及图像质量改善单元，其被构造为使用包括机器学习引擎的图像质量改善引擎，由第一图像生成与第一图像相比经过了降噪和对比度增强中的至少一项的第二图像。
实施例2包括根据实施例1的医学图像处理装置，其中，图像质量改善引擎包括机器学习引擎，对于该机器学习引擎，采用通过进行叠加处理、最大后验处理、平滑滤波处理、灰度转换处理和降噪处理中的至少一种处理而获得的图像作为学习数据。
实施例3包括根据实施例1的医学图像处理装置，其中，图像质量改善引擎包括机器学习引擎，对于该机器学习引擎，采用利用具有比用于对第一图像进行摄像的摄像装置高的性能的摄像装置摄像的图像，或通过包括比对第一图像进行摄像的摄像步骤的步骤数目多的步骤数目的摄像步骤而获得的图像，作为学习数据。
实施例4包括根据实施例1至3中任一项的医学图像处理装置，并且还包括确定单元，其被构造为确定是否能够使用图像质量改善引擎针对第一图像生成第二图像。
实施例5包括根据实施例4的医学图像处理装置，其中，确定单元基于第一图像的摄像部位、摄像系统、摄像视角和图像尺寸中的至少一个来进行确定。
实施例6包括根据实施例4或5的医学图像处理装置，其中，图像质量改善单元响应于关于由确定单元获得的确定结果的来自检查者的输入来生成第二图像。
实施例7包括根据实施例1至6中任一项的医学图像处理装置，其中，图像质量改善单元包括使用彼此不同的学习数据进行学习的多个图像质量改善引擎。
实施例8包括根据实施例7的医学图像处理装置，其中，所述多个图像质量改善引擎中的各图像质量改善引擎针对摄像部位、摄像视角和图像分辨率中的至少一项均使用彼此不同的学习数据来进行学习；并且图像质量改善单元使用与第一图像的摄像部位、摄像视角和图像分辨率中的至少一项相对应的图像质量改善引擎来生成第二图像。
实施例9包括根据实施例7的医学图像处理装置，其中，图像质量改善单元使用所述多个图像质量改善引擎当中的与检查者的指令相对应的图像质量改善引擎来生成第二图像。
实施例10包括根据实施例7的医学图像处理装置，其中，图像质量改善单元使用所述多个图像质量改善引擎，由第一图像生成多个第二图像，并且医学图像处理装置根据检查者的指令，输出所述多个第二图像当中的至少一个图像。
实施例11包括根据实施例7的医学图像处理装置，并且还包括评估单元，其被构造为评估第二图像的图像质量，其中，图像质量改善单元使用所述多个图像质量改善引擎，由第一图像生成多个第二图像，并且医学图像处理装置根据评估单元获得的评估结果输出所述多个第二图像中的至少一个图像。
实施例12包括根据实施例11的医学图像处理装置，其中，评估单元包括机器学习引擎，该机器学习引擎使用通过预定评估技术获得的评估值作为学习数据，并且医学图像处理装置输出所述多个第二图像中的由评估单元获得的评估值最高的第二图像。
实施例13包括根据实施例1至10中任一项的医学图像处理装置，并且还包括评估单元，其被构造为评估第二图像的图像质量，其中，评估单元包括评估图像的真实性的真实性评估引擎，并且在来自评估单元的真实性评估引擎的输出为“真”的情况下，医学图像处理装置输出第二图像。
实施例14包括根据实施例13的医学图像处理装置，其中，真实性评估引擎包括机器学习引擎，该机器学习引擎使用由图像质量改善处理精度低于该图像质量改善引擎的不同的图像质量改善引擎生成的图像作为学习数据。
实施例15包括根据实施例1至14中任一项的医学图像处理装置，并且还包括估计单元，其被构造为估计第一图像的摄像部位和摄像区域中的至少一项。
实施例16包括根据实施例15的医学图像处理装置，其中，估计单元包括机器学习引擎，该机器学习引擎使用附有摄像部位和摄像区域中的至少一项的标签的图像作为学习数据。
实施例17包括根据实施例1至16中任一项的医学图像处理装置，其中，图像质量改善单元将第一图像的图像尺寸调整为图像质量改善引擎能够处理的图像尺寸，并将调整了图像尺寸的第一图像输入到图像质量改善引擎，并且通过将来自图像质量改善引擎的输出图像的尺寸调整为第一图像的原始图像尺寸来生成第二图像。
实施例18包括根据实施例1至17中任一项的医学图像处理装置，其中，图像质量改善单元：调整第一图像的图像尺寸，使得第一图像的分辨率变为预定分辨率；针对调整了图像尺寸的第一图像，将通过进行填充使得调整后的图像尺寸变为图像质量改善引擎能够处理的图像尺寸而获得的图像输入到图像质量改善引擎；针对来自图像质量改善引擎的输出图像，进行修整以便仅修整与进行填充的区域相对应的区域；并且将进行了修整的图像的图像尺寸调整为第一图像的原始图像尺寸，以生成第二图像。
实施例19包括根据实施例1至18中任一项的医学图像处理装置，其中，图像质量改善单元：将第一图像划分为预定图像尺寸的多个第三图像；将所述多个第三图像输入到图像质量改善引擎以生成多个第四图像；并且整合所述多个第四图像以产生第二图像。
实施例20包括根据实施例1至19中任一项的医学图像处理装置，其中，图像质量改善单元：将具有三个维度的第一图像划分为多个二维图像或多个一维图像，并将所述多个二维图像或所述多个一维图像输入到图像质量改善引擎中；并且整合来自图像质量改善引擎的多个输出图像以生成第二图像。
实施例21包括根据实施例1至20中任一项的医学图像处理装置，其中，图像质量改善单元包括多个图像质量改善引擎，并且将具有三个维度的第一图像划分为多个二维图像或多个一维图像，通过使用所述多个图像质量改善引擎并行地由所述多个二维图像或所述多个一维图像生成多个第二图像，以及对多个第二图像进行整合以生成具有三个维度的第二图像。
实施例22包括根据实施例1至21中任一项的医学图像处理装置，其中，图像质量改善单元生成与第一图像相比经过了降噪和对比度增强中的至少一个且还经过了图像尺寸放大和空间分辨率提高中的至少一个的图像作为第二图像。
实施例23包括根据实施例1至22中任一项的医学图像处理装置，并且还包括显示控制单元，其被构造为在显示单元上显示第二图像。
实施例24包括根据实施例23的医学图像处理装置，其中，显示控制单元根据检查者的指令使第二图像显示在显示单元上。
实施例25包括根据实施例23或24的医学图像处理装置，其中，显示控制单元使指示第二图像是由图像质量改善引擎生成的图像的显示与第二图像一起显示在显示单元上。
实施例26包括根据实施例23至25中任一项的医学图像处理装置，其中显示控制单元使第二图像显示在显示单元上，并且医学图像处理装置根据关于显示的第二图像的来自检查者的输入来输出第二图像。
实施例27包括根据实施例23至26中任一项的医学图像处理装置，并且还包括分析单元，其被构造为对第二图像进行图像分析，其中，显示控制单元使由分析单元获得的分析结果显示在显示单元上。
实施例28包括根据实施例1至27中任一项的医学图像处理装置，其中，图像质量改善单元由多个第一图像生成作为一个图像的第二图像。
实施例29包括根据实施例1至28中任一项的医学图像处理装置，其中，第一图像是使用被摄体的预定部位的多个图像生成的图像。
实施例30包括根据实施例1至29中任一项的医学图像处理装置，其中，图像质量改善单元生成多个第二图像，并对所述多个第二图像求平均。
实施例31包括根据实施例1至30中任一项的医学图像处理装置，其中，预定部位是被检眼。
实施例32包括根据实施例1至31中任一项的医学图像处理装置，其中，获得单元从摄像装置获得第一图像。
实施例33包括根据实施例1至31中任一项的医学图像处理装置，其中，获得单元从摄像装置获得被摄体的预定部位的数据，并基于该数据获得第一图像。
实施例34包括根据实施例1至31中任一项的医学图像处理装置，其中，获得单元从图像管理系统获得第一图像。
实施例35包括根据实施例1至34中任一项的医学图像处理装置，其中，图像质量改善引擎不使用第二图像作为学习数据。
实施例36涉及一种医学图像处理方法。该医学图像处理方法包括：获得第一图像，该第一图像是被摄体的预定部位的图像；以及使用包括机器学习引擎的图像质量改善引擎，由第一图像生成与第一图像相比经过了降噪和对比度增强中的至少一项的第二图像。
实施例37涉及一种程序。当程序由处理器执行时，该程序使处理器执行根据实施例36的医学图像处理方法的各个步骤。
本公开的附加实施例1涉及一种医学图像处理装置。该医学图像处理装置包括：获得单元，其被构造为获得第一图像，该第一图像是与被检眼的三维运动对比度数据的至少部分深度范围相对应的运动对比度正面图像；以及图像质量改善单元，其被构造为使用包括机器学习引擎的图像质量改善引擎，由第一图像生成与第一图像相比图像质量得到改善的第二图像。
附加实施例2包括根据附加实施例1的医学图像处理装置，其中，图像质量改善引擎包括通过对学习数据进行学习而获得的机器学习引擎，该学习数据是使用通过对被检眼的多个运动对比度数据进行叠加处理而获得的图像而获得的。
附加实施例3包括根据附加实施例1的医学图像处理装置，其中，图像质量改善引擎包括使用学习数据而获得的机器学习引擎，该学习数据包括通过由与用于第一图像的OCTA摄像的OCT摄像装置相比具有更高性能的OCT摄像装置进行OCTA摄像而获得的图像，或者通过与用于获得第一图像的OCT摄像步骤相比包括更多数目的步骤的OCTA摄像步骤而获得的图像。
附加实施例4包括根据附加实施例1至3中任一项的医学图像处理装置，其中，图像质量改善单元通过如下方式来生成第二图像：将第一图像划分为多个二维图像并将所述多个二维图像输入到图像质量改善引擎，并整合来自图像质量改善引擎的多个输出图像。
附加实施例5包括根据附加实施例4的医学图像处理装置，其中，图像质量改善引擎包括使用学习数据获得的机器学习引擎，该学习数据包括彼此具有对应位置关系的图像对，并且图像质量改善单元将第一图像划分为具有与图像对的图像尺寸相对应的图像尺寸的多个二维图像，并将所述多个二维图像输入到图像质量改善引擎。
附加实施例6包括根据附加实施例4或5的医学图像处理装置，其中，图像质量改善引擎包括使用学习数据而获得的机器学习引擎，针对包括图像和该图像的外周的区域，该学习数据包括被设置为使得相邻的部分区域的一部分彼此交叠的多个部分区域的图像。
附加实施例7包括根据附加实施例1至6中任一项的医学图像处理装置，其中，图像质量改善引擎包括通过对学习数据进行学习而获得的机器学习引擎，该学习数据是使用通过将噪声添加到被检眼的运动对比度正面图像获得的图像而获得的。
附加实施例8包括根据附加实施例1至7中任一项的医学图像处理装置，其中，图像质量改善引擎包括通过对学习数据进行学习而获得的机器学习引擎，该学习数据是使用图像而获得的，该图像是通过将噪声添加到图像而获得的，该图像是通过对被检眼的多个运动对比度数据进行叠加处理而获得的。
附加实施例9包括根据附加实施例1至8中任一项的医学图像处理装置，其中，图像质量改善引擎包括通过对学习数据进行学习而获得的机器学习引擎，该学习数据是使用图像对而获得的，该图像对是通过将模式彼此不同的噪声添加到图像而获得的，该图像是通过对被检眼的多个运动对比度数据进行叠加处理而获得的。
附加实施例10包括根据附加实施例1至9中任一项的医学图像处理装置，并且还包括广角图像生成单元，其被构造为使用从多个第一图像中获得的多个第二图像来生成广角图像，所述多个第一图像是通过对被检眼的不同位置进行OCTA摄像使得相邻的运动对比度正面图像的部分区域彼此交叠而获得的。
附加实施例11包括根据附加实施例1至10中任一项的医学图像处理装置，其中，图像质量改善引擎包括通过学习作为学习数据的被检眼的与多个深度范围相对应的多个运动对比度正面图像而获得的机器学习引擎，并且获得单元获得与根据来自检查者的指令设置的至少部分深度范围相对应的运动对比度正面图像作为第一图像。
附加实施例12包括根据附加实施例1至11中任一项的医学图像处理装置，并且还包括确定单元，其被构造为确定是否能够通过使用图像质量改善引擎针对第一图像来生成第二图像，其中，确定单元基于第一图像的摄像部位、摄像系统、摄像视角和图像尺寸中的至少一项来进行确定。
附加实施例13包括根据附加实施例1至12中任一项的医学图像处理装置，其中，图像质量改善单元包括使用彼此不同的学习数据进行学习的多个图像质量改善引擎，并且，其中，所述多个图像质量改善引擎中的各图像质量改善引擎针对摄像部位、摄像视角和图像分辨率中的至少一项使用彼此不同的学习数据来进行学习，并且图像质量改善单元使用与第一图像的摄像部位、摄像视角和图像分辨率中的至少一项相对应的图像质量改善引擎来生成第二图像。
附加实施例14包括根据附加实施例1至12中任一项的医学图像处理装置，其中，图像质量改善单元包括使用彼此不同的学习数据进行学习的多个图像质量改善引擎，并且图像质量改善单元使用所述多个图像质量改善引擎中的与检查者的指令相对应的图像质量改善引擎来生成第二图像。
附加实施例15包括根据附加实施例1至12中任一项的医学图像处理装置，其中，图像质量改善单元包括使用彼此不同的学习数据进行学习的多个图像质量改善引擎，图像质量改善单元使用所述多个图像质量改善引擎由第一图像生成多个第二图像，并且医学图像处理装置根据检查者的指令输出所述多个第二图像中的至少一个图像。
附加实施例16包括根据附加实施例1至12中任一项的医学图像处理装置，并且还包括被构造为评估第二图像的图像质量的评估单元，其中，图像质量改善单元包括使用彼此不同的学习数据进行学习的多个图像质量改善引擎，图像质量改善单元使用所述多个图像质量改善引擎由第一图像生成多个第二图像，并且医学图像处理装置根据由评估单元获得的评估结果输出所述多个第二图像中的至少一个图像。
附加实施例17包括根据附加实施例16的医学图像处理装置，其中，评估单元包括使用通过预定评估技术获得的评估值作为学习数据的机器学习引擎，并且医学图像处理装置输出所述多个第二图像中的由评估单元获得的评估值最高的第二图像。
附加实施例18包括根据附加实施例1至17中任一项的医学图像处理装置，其中，图像质量改善单元通过以下方式来生成第二图像：将第一图像的图像尺寸调整为图像质量改善引擎能够处理的图像尺寸，将调整了图像尺寸的第一图像输入到图像质量改善引擎，并且将来自图像质量改善引擎的输出图像的尺寸调整为第一图像的原始图像尺寸。
附加实施例19包括根据附加实施例1至18中任一项的医学图像处理装置，其中，图像质量改善单元通过以下方式来生成第二图像：调整第一图像的图像尺寸以使第一图像的分辨率变为预定分辨率，对于调整了图像尺寸的第一图像，向图像质量改善引擎输入通过进行填充以使调整后的图像尺寸成为图像质量改善引擎能够处理的图像尺寸而获得的图像，对于来自图像质量改善引擎的输出图像，进行修整以便仅修整与进行填充的区域相对应的区域，并且将进行了修整的图像的图像尺寸调整为第一图像的原始图像尺寸。
附加实施例20包括根据附加实施例1至19中任一项的医学图像处理装置，其中，图像质量改善单元通过以下方式来生成第二图像：将第一图像划分为预定图像尺寸的多个第三图像，将所述多个第三图像输入到图像质量改善引擎以生成多个第四图像，并且整合所述多个第四图像。
附加实施例21包括根据附加实施例1至20中任一项的医学图像处理装置，其中，图像质量改善单元包括多个图像质量改善引擎，并且通过以下方式来生成第二图像：将第一图像划分为多个二维图像，通过并行使用多个图像质量改善引擎由所述多个二维图像生成多个第二图像，并整合所述多个第二图像。
附加实施例22包括根据附加实施例1至21中任一项的医学图像处理装置，其中，图像质量改善单元生成与第一图像相比经过了降噪和对比度增强中的至少一项且还经过了图像尺寸放大和空间分辨率提高中的至少一项的图像作为第二图像。
附加实施例23包括根据附加实施例1至22中任一项的医学图像处理装置，并且还包括显示控制单元，其被构造为在显示单元上显示第二图像。
附加实施例24包括根据附加实施例23的医学图像处理装置，其中，显示控制单元根据检查者的指令使第二图像显示在显示单元上。
附加实施例25包括根据附加实施例23或24的医学图像处理装置，其中，显示控制单元使指示第二图像是由图像质量改善引擎生成的图像的显示与第二图像一起显示在显示单元上。
附加实施例26包括根据附加实施例23至25中任一项的医学图像处理装置，其中，显示控制单元使第二图像显示在显示单元上，并且医学图像处理装置根据关于显示的第二图像的来自检查者的输入来输出第二图像。
附加实施例27包括根据附加实施例23至26中任一项的医学图像处理装置，并且还包括分析单元，其被构造为对第二图像进行图像分析，其中，显示控制单元使与第二图像中的血管有关的分析结果显示在显示单元上。
附加实施例28包括根据附加实施例1至27中任一项的医学图像处理装置，其中，图像质量改善单元由多个第一图像生成作为一个图像的第二图像。
附加实施例29包括根据附加实施例1至28中任一项的医学图像处理装置，其中，第一图像是使用被检眼的多个运动对比度正面图像生成的一个运动对比度正面图像。
附加实施例30包括根据附加实施例1至29中任一项的医学图像处理装置，其中，图像质量改善单元生成多个第二图像，并对所述多个第二图像求平均。
附加实施例31包括根据附加实施例1至30中任一项的医学图像处理装置，其中，获得单元从OCT摄像装置获得第一图像。
附加实施例32包括根据附加实施例1至30中任一项的医学图像处理装置，其中，获得单元从OCT摄像装置获得被检眼的三维运动对比度数据，并使用关于三维运动对比度数据的在被检眼的深度方向上的至少部分范围的数据来生成作为运动对比度正面图像的第一图像。
附加实施例33包括根据附加实施例1至30中任一项的医学图像处理装置，其中，获得单元从图像管理系统获得第一图像。
附加实施例34包括根据附加实施例1至33中任一项的医学图像处理装置，其中，图像质量改善引擎不使用第二图像作为学习数据。
附加实施例35涉及一种医学图像处理方法。该医学图像处理方法包括：获得第一图像，该第一图像是与被检眼的三维运动对比度数据的至少部分深度范围相对应的运动对比度正面图像；以及使用包括机器学习引擎的图像质量改善引擎由第一图像生成与第一图像相比经过图像质量改善的第二图像。
附加实施例36涉及一种程序。当程序由处理器执行时，该程序使处理器执行根据附加实施例35的医学图像处理方法的各个步骤。
本公开的其他实施例1涉及一种医学图像处理装置。该医学图像处理装置包括：获得单元，其被构造为获得第一图像，该第一图像是被摄体的预定部位的医学图像；图像质量改善单元，其被构造为使用包括机器学习引擎的图像质量改善引擎由第一图像中生成与第一图像相比图像质量得到改善的第二图像；以及显示控制单元，其被构造为使通过组合第一图像和第二图像而获得的合成图像显示在显示单元上，该第一图像和第二图像根据使用与第一图像的至少部分区域有关的信息而获得的比率来组合。
其他实施例2包括根据其他实施例1的医学图像处理装置，其中，通过使用第一图像的至少部分区域中的像素值作为信息来获得用于组合第一图像和第二图像的比率。
其他实施例3包括根据其他实施例1或2的医学图像处理装置，其中，通过使用第一图像和第二图像中的彼此对应的至少部分区域中的像素值之间的差值作为信息来获得用于组合第一图像和第二图像的比率。
其他实施例4包括根据其他实施例1至3中任一项的医学图像处理装置，其中，用于组合第一图像和第二图像的比率被构造为可根据来自检查者的指令而改变。
其他实施例5包括根据其他实施例1至4中任一项的医学图像处理装置，其中，通过使用学习模型基于信息来确定用于组合第一图像和第二图像的比率，该学习模型是通过使用采用医学图像作为输入数据的学习数据进行学习而获得的，并且采用与用于组合该医学图像和通过对医学图像进行图像质量改善而获得的医学图像的比率有关的信息作为正确答案数据。
其他实施例6包括根据其他实施例1至5中任一项的医学图像处理装置，其中，图像质量改善引擎包括使用学习数据获得的机器学习引擎，在该学习数据中噪声被添加到医学图像的至少部分区域中。
其他实施例7包括根据其他实施例1至6中任一项的医学图像处理装置，其中，图像质量改善引擎包括使用学习数据获得的机器学习引擎，在该学习数据中与医学图像的至少部分区域的状态相对应的噪声被添加到所述至少部分区域中。
其他实施例8涉及一种医学图像处理装置。该医学图像处理装置包括：获得单元，其被构造为获得第一图像，该第一图像是被摄体的预定部位的医学图像；以及图像质量改善单元，其被构造为使用包括机器学习引擎的图像质量改善引擎，由第一图像生成与第一图像相比图像质量得到改善的第二图像，该机器学习引擎是使用学习数据获得的，在该学习数据中与医学图像的至少部分区域的状态相对应的噪声被添加到所述至少部分区域中。
其他实施例9包括根据其他实施例1至8中任一项的医学图像处理装置，其中，图像质量改善引擎包括使用学习数据获得的机器学习引擎，在该学习数据中与医学图像的至少部分区域的像素组相对应的大小的噪声被添加到所述至少部分区域中。
其他实施例10包括根据其他实施例1至9中任一项的医学图像处理装置，其中，图像质量改善引擎包括使用学习数据获得的机器学习引擎，该学习数据包括被添加了彼此不同模式的噪声的多个医学图像。
其他实施例11包括根据其他实施例1至10中任一项的医学图像处理装置，其中，图像质量改善引擎包括使用学习数据而获得的机器学习引擎，该学习数据包括作为图像对的多个医学图像，所述多个医学图像是通过将模式彼此不同的噪声添加到通过叠加处理获得的医学图像而获得的。
其他实施例12包括根据其他实施例1至11中任一项的医学图像处理装置，并且还包括指定单元，其被构造为根据来自检查者的指令在预定部位的三维医学图像数据中指定预定部位的深度范围内的部分深度范围，其中，获得单元获得与指定的部分深度范围相对应的正面图像作为第一图像，并且图像质量改善引擎包括使用学习数据获得的机器学习引擎，该学习数据包括与被摄体的预定部位的多个深度范围相对应的多个正面图像。
其他实施例13涉及一种医学图像处理装置。该医学图像处理装置包括：指定单元，其被构造为根据来自检查者的指令在预定部位的三维医学图像数据中指定被摄体的预定部位的深度范围内的部分深度范围；获得单元，其被构造为使用三维数据获得第一图像，该第一图像是与指定的部分深度范围相对应的预定部位的正面图像；以及图像质量改善单元，其被构造为使用机器学习引擎由第一图像生成与第一图像相比图像质量得到改善的第二图像，该机器学习引擎是使用包括与被摄体的预定部位的多个深度范围相对应的多个正面图像的学习数据而获得的。
其他实施例14包括根据其他实施例12或13的医学图像处理装置，其中，图像质量改善引擎包括使用包括多个正面图像的学习数据获得的机器学习引擎，所述多个正面图像针对所述多个深度范围中的至少两个深度范围中的各深度范围被添加了不同大小的噪声。
其他实施例15包括根据其他实施例12至14中任一项的医学图像处理装置，并且还包括广角图像生成单元，其被构造为使用从多个第一图像获得的多个第二图像来生成广角图像，所述多个第一图像是通过如下方式而获得的：在与预定部位的深度方向相交的方向上对预定部位的不同位置进行摄像，使得彼此相邻且与指定的部分深度范围相对应的多个正面图像的部分区域交叠。
其他实施例16包括根据其他实施例1至15中任一项的医学图像处理装置，其中，图像质量改善引擎包括使用学习数据而获得的机器学习引擎，该学习数据包括通过由与用于第一图像的OCTA摄像的OCT摄像装置相比具有更高性能的OCT摄像装置进行OCTA摄像而获得的图像，或者通过与用于获得第一图像的OCT摄像步骤相比包括更多数目的步骤的OCTA摄像步骤而获得的图像。
其他实施例17包括根据其他实施例1至16中任一项的医学图像处理装置，其中，图像质量改善单元通过如下方式来生成第二图像：将第一图像划分为多个二维图像并将所述多个二维图像输入到图像质量改善引擎，并整合来自图像质量改善引擎的多个输出图像。
其他实施例18包括根据其他实施例17的医学图像处理装置，其中，图像质量改善引擎包括使用学习数据获得的机器学习引擎，该学习数据包括作为图像对的彼此具有对应位置关系的多个医学图像，并且图像质量改善单元将第一图像划分为具有与图像对的图像尺寸相对应的图像尺寸的多个二维图像，并且将多个二维图像输入到图像质量改善引擎。
其他实施例19包括根据其他实施例17或18的医学图像处理装置，其中，图像质量改善引擎包括使用学习数据而获得的机器学习引擎，针对医学图像和包括该医学图像的外周的区域，该学习数据包括被设置为使得相邻的部分区域的一部分彼此交叠的多个部分区域的图像。
其他实施例20包括根据其他实施例1至19中任一项的医学图像处理装置，其中，图像质量改善引擎包括使用学习数据而获得的机器学习引擎，该学习数据包括通过叠加处理获得的医学图像。
其他实施例21涉及一种医学图像处理方法。该医学图像处理方法包括：获得第一图像，该第一图像是被摄体的预定部位的医学图像；使用包括机器学习引擎的图像质量改善引擎由第一图像生成与第一图像相比图像质量得到改善的第二图像；以及使通过组合第一图像和第二图像而获得的合成图像显示在显示单元上，该第一图像和第二图像根据使用与第一图像的至少部分区域有关的信息而获得的比率来组合。
其他实施例22涉及一种医学图像处理方法。该医学图像处理方法包括：获得第一图像，该第一图像是被摄体的预定部位的医学图像；以及使用包括机器学习引擎的图像质量改善引擎，由第一图像生成与第一图像相比图像质量得到改善的第二图像，该机器学习引擎是使用学习数据获得的，在该学习数据中与医学图像的至少部分区域的状态相对应的噪声被添加到所述至少部分区域中。
其他实施例23涉及一种医学图像处理方法。该医学图像处理方法包括：根据来自检查者的指令在预定部位的三维医学图像数据中指定被摄体的预定部位的深度范围内的部分深度范围；使用三维数据获得第一图像，该第一图像是与指定的部分深度范围相对应的预定部位的正面图像；以及使用机器学习引擎由第一图像生成与第一图像相比图像质量得到改善的第二图像，该机器学习引擎是使用包括与被摄体的预定部位的多个深度范围相对应的多个正面图像的学习数据而获得的。
其他实施例24涉及一种程序。当程序由处理器执行时，该程序使处理器执行根据其他实施例21至23中任一项的医学图像处理方法的各个步骤。
根据上述实施例、变型例型和其他实施例之一，可以生成与根据传统技术生成的图像相比更适合图像诊断的图像。
(其他实施例)
本发明也可以通过以如下方式的处理来实现：实现根据上述实施例的一个或更多个功能的程序经由网络或存储介质被供给到系统或装置，并且，在系统或装置的计算机中的一个或更多个处理器读取并执行该程序。另外，本发明可以通过实现一个或更多个功能的电路(例如，ASIC)来实现。
本发明不限于上述实施例，并且在不脱离本发明的精神和范围的情况下可以进行各种改变和修改。因此，为了向公众告知本发明的范围，附加以下权利要求。
本申请要求2018年10月10日提交的日本专利申请第2018-192132号、2019年3月11日提交的日本专利申请第2019-044265号和2019年3月29日提交的日本专利申请第2019-068895号的优先权，这些专利申请的全部内容通过引用合并于此。

Claims (36)

1.一种医学图像处理装置，包括：
获得单元，其被构造为获得第一图像，该第一图像是与被检眼的三维运动对比度数据的至少部分深度范围相对应的运动对比度正面图像；以及
图像质量改善单元，其被构造为使用包括机器学习引擎的图像质量改善引擎，由第一图像生成与第一图像相比经过了图像质量改善的第二图像。
2.根据权利要求1所述的医学图像处理装置，其中：
图像质量改善引擎包括机器学习引擎，该机器学习引擎是通过对训练数据进行学习而获得的，该训练数据使用通过对被检眼的多个运动对比度数据进行平均处理而获得的图像来获得。
3.根据权利要求1所述的医学图像处理装置，其中：
图像质量改善引擎包括机器学习引擎，该机器学习引擎使用训练数据获得，该训练数据包括通过具有比用于对第一图像进行OCTA摄像的OCT摄像装置高的性能的OCT摄像装置进行OCTA摄像而获得的图像，或通过包括比用于获得第一图像的OCTA摄像步骤多的步骤数目的OCTA摄像步骤而获得的图像。
4.根据权利要求1至3中任一项所述的医学图像处理装置，其中：
图像质量改善单元通过将第一图像划分为多个二维图像并将该多个二维图像输入到图像质量改善引擎中并整合来自图像质量改善引擎的多个输出图像来生成第二图像。
5.根据权利要求4所述的医学图像处理装置，其中：
图像质量改善引擎包括使用训练数据获得的机器学习引擎，该训练数据包括彼此具有对应位置关系的图像对，以及
图像质量改善单元将第一图像划分为具有与图像对的图像尺寸相对应的图像尺寸的多个二维图像，并且将该多个二维图像输入到图像质量改善引擎。
6.根据权利要求4或5所述的医学图像处理装置，其中：
图像质量改善引擎包括使用训练数据获得的机器学习引擎，该训练数据针对包括图像和图像的外周的区域包括多个部分区域的图像，该多个部分区域被设置为使得相邻的部分区域的一部分彼此重叠。
7.根据权利要求1至6中任一项所述的医学图像处理装置，其中：
图像质量改善引擎包括通过对训练数据进行学习而获得的机器学习引擎，该训练数据是使用通过将噪声添加到被检眼的运动对比度正面图像而获得的图像来获得的。
8.根据权利要求1至7中任一项所述的医学图像处理装置，其中：
图像质量改善引擎包括通过对训练数据进行学习而获得的机器学习引擎，该训练数据使用图像而获得，该图像是通过将噪声添加到通过对被检眼的多个运动对比度数据进行平均处理而获得的图像来获得的。
9.根据权利要求1至8中任一项所述的医学图像处理装置，其中：
图像质量改善引擎包括通过对训练数据进行学习而获得的机器学习引擎，该训练数据使用图像对而获得，该图像对是通过将图案彼此不同的噪声添加到通过对被检眼的多个运动对比度数据进行平均处理而获得的图像来获得的。
10.根据权利要求1至9中任一项所述的医学图像处理装置，所述医学图像处理装置还包括：
广角图像生成单元，其被构造为使用从多个第一图像获得的多个第二图像来生成广角图像，该多个第一图像通过对被检眼的不同位置进行OCTA摄像，使得相邻的运动对比度正面图像的部分区域彼此重叠而获得。
11.根据权利要求1至10中任一项所述的医学图像处理装置，其中：
图像质量改善引擎包括机器学习引擎，该机器学习引擎通过将与被检眼的多个深度范围相对应的多个运动对比度正面图像作为训练数据进行学习而获得；并且
获得单元获得与根据检查者的指令设置的至少部分深度范围相对应的运动对比度正面图像作为第一图像。
12.根据权利要求1至11中任一项所述的医学图像处理装置，所述医学图像处理装置还包括：
确定单元，其被构造为确定是否能够通过使用图像质量改善引擎针对第一图像生成第二图像，
其中，确定单元基于第一图像的摄像部位、摄像系统、摄像视角和图像尺寸中的至少一项来进行确定。
13.根据权利要求1至12中任一项所述的医学图像处理装置，其中：
图像质量改善单元包括使用彼此不同的学习数据进行学习的多个图像质量改善引擎，并且
所述多个图像质量改善引擎中的各图像质量改善引擎针对摄像部位、摄像视角和图像分辨率中的至少一项使用彼此不同的学习数据来进行学习；并且
图像质量改善单元使用与第一图像的摄像部位、摄像视角和图像分辨率中的至少一项相对应的图像质量改善引擎来生成第二图像。
14.根据权利要求1至12中任一项所述的医学图像处理装置，其中：
图像质量改善单元包括多个图像质量改善引擎，该多个图像质量改善引擎使用彼此不同的训练数据进行学习，并且
图像质量改善单元使用所述多个图像质量改善引擎中的与检查者的指令相对应的图像质量改善引擎来生成第二图像。
15.根据权利要求1至12中任一项所述的医学图像处理装置，其中：
图像质量改善单元包括多个图像质量改善引擎，该多个图像质量改善引擎使用彼此不同的训练数据进行学习，并且
图像质量改善单元使用所述多个图像质量改善引擎，由第一图像生成多个第二图像；并且
所述医学图像处理装置根据检查者的指令，输出所述多个第二图像中的至少一个图像。
16.根据权利要求1至12中任一项所述的医学图像处理装置，所述医学图像处理装置还包括：
评估单元，其被构造为评估第二图像的图像质量，其中：
图像质量改善单元包括多个图像质量改善引擎，该多个图像质量改善引擎使用彼此不同的训练数据进行学习，
图像质量改善单元使用所述多个图像质量改善引擎，由第一图像生成多个第二图像，并且
所述医学图像处理装置根据评估单元获得的评估结果输出所述多个第二图像中的至少一个图像。
17.根据权利要求16所述的医学图像处理装置，其中：
评估单元包括机器学习引擎，该机器学习引擎使用通过预定评估技术获得的评估值作为学习数据，并且
医学图像处理装置输出所述多个第二图像中的由评估单元获得的评估值最高的第二图像。
18.根据权利要求1至17中任一项所述的医学图像处理装置，其中：图像质量改善单元通过以下方式生成第二图像：
将第一图像的图像尺寸调整为图像质量改善引擎能够处理的图像尺寸；
将调整了图像尺寸的第一图像输入到图像质量改善引擎；并且
将来自图像质量改善引擎的输出图像的尺寸调整为第一图像的原始图像尺寸。
19.根据权利要求1至18中任一项所述的医学图像处理装置，其中，图像质量改善单元通过以下方式生成第二图像：
调整第一图像的图像尺寸，使得第一图像的分辨率变为预定分辨率；
针对调整了图像尺寸的第一图像，将通过进行填充使得调整后的图像尺寸变为图像质量改善引擎能够处理的图像尺寸而获得的图像输入到图像质量改善引擎；
针对来自图像质量改善引擎的输出图像，进行修整以便仅修整与进行填充的区域相对应的区域；并且
将进行了修整的图像的图像尺寸调整为第一图像的原始图像尺寸。
20.根据权利要求1至19中任一项所述的医学图像处理装置，其中，图像质量改善单元通过以下方式生成第二图像：
将第一图像划分为预定图像尺寸的多个第三图像；
将所述多个第三图像输入到图像质量改善引擎中以生成多个第四图像，并且
整合所述多个第四图像。
21.根据权利要求1至20中任一项所述的医学图像处理装置，其中：
图像质量改善单元包括多个图像质量改善引擎，并且通过以下方式生成第二图像：
将第一图像划分为多个二维图像，
通过使用所述多个图像质量改善引擎并行地由所述多个二维图像生成多个第二图像，以及
整合所述多个第二图像。
22.根据权利要求1至21中任一项所述的医学图像处理装置，其中：
图像质量改善单元生成与第一图像相比经过了降噪和对比度增强中的至少一项且还经过了图像尺寸放大和空间分辨率提高中的至少一项的图像作为第二图像。
23.根据权利要求1至22中任一项所述的医学图像处理装置，所述医学图像处理装置还包括：
显示控制单元，其被构造为在显示单元上显示第二图像。
24.根据权利要求23所述的医学图像处理装置，其中：
显示控制单元根据检查者的指令使第二图像显示在显示单元上。
25.根据权利要求23或24所述的医学图像处理装置，其中：
显示控制单元使指示第二图像是由图像质量改善引擎生成的图像的显示与第二图像一起显示在显示单元上。
26.根据权利要求23至25中任一项所述的医学图像处理装置，其中：
显示控制单元使第二图像显示在显示单元上，并且
医学图像处理装置根据针对显示的第二图像的来自检查者的输入来输出第二图像。
27.根据权利要求23至26中任一项所述的医学图像处理装置，所述医学图像处理装置还包括：
分析单元，其被构造为对第二图像进行图像分析，
其中，显示控制单元使第二图像中的与血管有关的分析结果显示在显示单元上。
28.根据权利要求1至27中任一项所述的医学图像处理装置，其中：
图像质量改善单元由多个第一图像生成作为一个图像的第二图像。
29.根据权利要求1至28中任一项所述的医学图像处理装置，其中：
第一图像是使用被检眼的多个运动对比度正面图像生成的一个运动对比度正面图像。
30.根据权利要求1至29中任一项所述的医学图像处理装置，其中：
图像质量改善单元生成多个第二图像，并对所述多个第二图像求平均。
31.根据权利要求1至30中任一项所述的医学图像处理装置，其中：
获得单元从OCT摄像装置获得第一图像。
32.根据权利要求1至30中任一项所述的医学图像处理装置，其中：
获得单元从OCT摄像装置获得被检眼的三维运动对比度数据，并针对三维运动对比度数据，使用在被检眼的深度方向上的至少部分范围的数据来生成作为运动对比度正面图像的第一图像。
33.根据权利要求1至30中任一项所述的医学图像处理装置，其中：
获得单元从图像管理系统获得第一图像。
34.根据权利要求1至33中任一项所述的医学图像处理装置，其中：
图像质量改善引擎不使用第二图像作为学习数据。
35.一种医学图像处理方法，包括：
获得第一图像，该第一图像是与被检眼的三维运动对比度数据的至少部分深度范围相对应的运动对比度正面图像；以及
使用包括机器学习引擎的图像质量改善引擎，由第一图像生成与第一图像相比经过了图像改善的第二图像。
36.一种程序，所述程序在被处理器执行时，使该处理器执行根据权利要求35所述的医学图像处理方法的各个步骤。
CN201980066871.4A 2018-10-10 2019-06-14 医学图像处理装置、医学图像处理方法和程序 Pending CN112822973A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2018192132A JP7229715B2 (ja) 2018-10-10 2018-10-10 医用画像処理装置、医用画像処理方法及びプログラム
JP2018-192132 2018-10-10
JP2019-044265 2019-03-11
JP2019044265 2019-03-11
JP2019-068895 2019-03-29
JP2019068895 2019-03-29
PCT/JP2019/023657 WO2020075345A1 (ja) 2018-10-10 2019-06-14 医用画像処理装置、医用画像処理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN112822973A true CN112822973A (zh) 2021-05-18

Family

ID=70163674

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980066871.4A Pending CN112822973A (zh) 2018-10-10 2019-06-14 医学图像处理装置、医学图像处理方法和程序

Country Status (3)

Country Link
US (1) US11922601B2 (zh)
CN (1) CN112822973A (zh)
WO (1) WO2020075345A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116684687A (zh) * 2023-08-01 2023-09-01 蓝舰信息科技南京有限公司 基于数字孪生技术的增强可视化教学方法

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112822973A (zh) * 2018-10-10 2021-05-18 佳能株式会社 医学图像处理装置、医学图像处理方法和程序
JP7341874B2 (ja) 2018-12-26 2023-09-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN112396558B (zh) * 2019-08-15 2024-07-23 株式会社理光 图像处理方法、装置及计算机可读存储介质
US11388412B2 (en) * 2019-11-26 2022-07-12 Board Of Regents, The University Of Texas System Video compression technique using a machine learning system
US11366983B2 (en) * 2020-09-09 2022-06-21 International Business Machines Corporation Study-level multi-view processing system
EP4066741A4 (en) * 2021-02-01 2023-12-20 Claripi Inc. DEEP LEARNING-BASED APPARATUS AND METHOD FOR CONTRAST AMPLIFICATION OF CONTRAST-ENHANCED CT IMAGE
TWI796784B (zh) * 2021-09-09 2023-03-21 宏碁智醫股份有限公司 圖像分割線補償方法及裝置
CN114331890B (zh) * 2021-12-27 2022-09-23 中南大学 基于深度学习的探地雷达B-scan图像特征增强方法及系统
WO2024145628A1 (en) * 2022-12-30 2024-07-04 Theai, Inc. Real-time animation of artificial intelligence characters

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017143300A1 (en) * 2016-02-19 2017-08-24 Optovue, Inc. Methods and apparatus for reducing artifacts in oct angiography using machine learning techniques
US20180122077A1 (en) * 2016-10-31 2018-05-03 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and program
US20180153395A1 (en) * 2016-12-01 2018-06-07 Canon Kabushiki Kaisha Image processing apparatus, imaging apparatus, image processing method, and computer readable storage medium
US20180199807A1 (en) * 2017-01-17 2018-07-19 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01170438A (ja) 1987-12-25 1989-07-05 Canon Inc 眼底画像合成装置
JPH06180569A (ja) 1992-09-30 1994-06-28 Hudson Soft Co Ltd 画像処理装置
TW250555B (zh) 1992-09-30 1995-07-01 Hudson Kk
JPH1131214A (ja) 1997-07-10 1999-02-02 Hitachi Medical Corp 画像処理装置
JP4413316B2 (ja) 1999-06-29 2010-02-10 株式会社トプコン 医用画像合成処理装置及び記録媒体
JP5043403B2 (ja) 2006-11-10 2012-10-10 株式会社日立メディコ Ｘ線透視撮影装置
JP5178119B2 (ja) 2007-09-28 2013-04-10 キヤノン株式会社 画像処理装置および画像処理方法
US7876947B2 (en) 2007-10-10 2011-01-25 Siemens Medical Solutions Usa, Inc. System and method for detecting tagged material using alpha matting
JP5328146B2 (ja) 2007-12-25 2013-10-30 キヤノン株式会社 医用画像処理装置、医用画像処理方法ならびにプログラム
JP5371949B2 (ja) 2008-02-29 2013-12-18 株式会社日立メディコ 医用画像表示装置、医用画像撮影装置、及び、医用画像表示方法
JP4810562B2 (ja) 2008-10-17 2011-11-09 キヤノン株式会社 画像処理装置、画像処理方法
WO2010050333A1 (ja) 2008-10-30 2010-05-06 コニカミノルタエムジー株式会社 情報処理装置
JP2010164351A (ja) 2009-01-14 2010-07-29 Kowa Co 光断層画像化装置
JP4850927B2 (ja) 2009-06-02 2012-01-11 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
JP2011013334A (ja) 2009-06-30 2011-01-20 Yamaha Corp 画像表示装置
JP5335713B2 (ja) 2010-02-16 2013-11-06 富士フイルム株式会社 画像処理方法及び装置並びにプログラム
JP5921068B2 (ja) 2010-03-02 2016-05-24 キヤノン株式会社 画像処理装置、制御方法及び光干渉断層撮影システム
JP5693101B2 (ja) 2010-08-30 2015-04-01 キヤノン株式会社 画像処理装置及び画像処理方法
WO2012092132A2 (en) 2010-12-29 2012-07-05 Cognex Corporation Determining the uniqueness of a model for machine vision
JP2013090194A (ja) 2011-10-19 2013-05-13 Sony Corp サーバ装置、画像送信方法、端末装置、画像受信方法、プログラムおよび画像処理システム
CN104080400B (zh) 2011-12-21 2018-08-14 凯瑟琳·M·莎查夫 使排列于组织表面的病变成像的系统
JP6188297B2 (ja) 2012-01-25 2017-08-30 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
JP6146952B2 (ja) 2012-01-27 2017-06-14 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム。
JP5932369B2 (ja) 2012-01-27 2016-06-08 キヤノン株式会社 画像処理システム、処理方法及びプログラム
JP6226510B2 (ja) 2012-01-27 2017-11-08 キヤノン株式会社 画像処理システム、処理方法及びプログラム
JP5924955B2 (ja) 2012-01-27 2016-05-25 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、眼科装置およびプログラム
JP5889727B2 (ja) 2012-06-18 2016-03-22 新電元工業株式会社 電子機器の捺印シンボル検査装置、及びその方法
JP5464244B2 (ja) 2012-08-24 2014-04-09 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
KR101644466B1 (ko) 2012-08-30 2016-08-01 캐논 가부시끼가이샤 정보 처리장치 및 방법
JP6282045B2 (ja) 2013-05-23 2018-02-21 キヤノン株式会社 情報処理装置および方法、プログラム、記憶媒体
JP6230303B2 (ja) 2013-07-02 2017-11-15 キヤノン株式会社 画像処理装置、画像処理方法、撮影制御装置、放射線撮影システムおよびプログラム
JP2015129987A (ja) 2014-01-06 2015-07-16 国立大学法人三重大学 医用高解像画像形成システムおよび方法。
JP6512738B2 (ja) 2014-02-28 2019-05-15 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6419441B2 (ja) 2014-03-11 2018-11-07 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像処理システム、および医用画像処理プログラム
JP6465557B2 (ja) 2014-04-08 2019-02-06 株式会社トーメーコーポレーション 断層撮影装置
US9740710B2 (en) 2014-09-02 2017-08-22 Elekta Inc. Systems and methods for segmenting medical images based on anatomical landmark-based features
JP6572615B2 (ja) 2015-04-30 2019-09-11 株式会社ニデック 眼底画像処理装置、および眼底画像処理プログラム
WO2017030276A1 (ko) 2015-08-17 2017-02-23 삼성전자(주) 의료영상 표시장치 및 의료영상 처리방법
JP6551081B2 (ja) 2015-09-04 2019-07-31 株式会社ニデック 眼科撮影装置および眼科撮影プログラム
US10755395B2 (en) 2015-11-27 2020-08-25 Canon Medical Systems Corporation Dynamic image denoising using a sparse representation
JP6843639B2 (ja) 2016-03-07 2021-03-17 キヤノンメディカルシステムズ株式会社 超音波診断装置及び超音波診断支援装置
US20170252002A1 (en) 2016-03-07 2017-09-07 Toshiba Medical Systems Corporation Ultrasonic diagnostic apparatus and ultrasonic diagnosis support apparatus
JP6702764B2 (ja) 2016-03-08 2020-06-03 キヤノン株式会社 光干渉断層データの処理方法、該方法を実行するためのプログラム、及び処理装置
JP6598713B2 (ja) 2016-03-11 2019-10-30 キヤノン株式会社 情報処理装置
JP6878101B2 (ja) 2016-04-06 2021-05-26 キヤノンメディカルシステムズ株式会社 画像処理装置及び画像処理装置の作動方法
JP6714273B2 (ja) 2016-06-17 2020-06-24 学校法人同志社 角膜内皮細胞品質評価支援システム
JP6916415B2 (ja) 2016-07-04 2021-08-11 株式会社ニコン 画像処理装置、撮像装置
US20180012359A1 (en) 2016-07-06 2018-01-11 Marinko Venci Sarunic Systems and Methods for Automated Image Classification and Segmentation
JP6867117B2 (ja) * 2016-07-08 2021-04-28 株式会社トプコン 医用画像処理方法及び医用画像処理装置
US20180018757A1 (en) 2016-07-13 2018-01-18 Kenji Suzuki Transforming projection data in tomography by means of machine learning
JP2018033717A (ja) 2016-08-31 2018-03-08 株式会社トプコン 眼科装置
JP6910780B2 (ja) 2016-09-30 2021-07-28 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
JP6581068B2 (ja) 2016-11-11 2019-09-25 株式会社東芝 画像処理装置、画像処理方法、プログラム、運転制御システム、および、車両
JP6929047B2 (ja) 2016-11-24 2021-09-01 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム
JP6843602B2 (ja) 2016-12-05 2021-03-17 キヤノン株式会社 画像表示装置、画像表示方法、及びプログラム
JP6813178B2 (ja) 2016-12-07 2021-01-13 学校法人常翔学園 生体画像処理装置、出力画像製造方法、学習結果製造方法、及びプログラム
JP6768624B2 (ja) 2017-01-11 2020-10-14 キヤノン株式会社 画像処理装置、光干渉断層撮像装置、画像処理方法、及びプログラム
US10660576B2 (en) 2017-01-30 2020-05-26 Cognizant Technology Solutions India Pvt. Ltd. System and method for detecting retinopathy
JP6909109B2 (ja) 2017-03-17 2021-07-28 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
AU2017420781B2 (en) * 2017-06-26 2020-12-17 Elekta, Inc. Method for improving cone-beam CT image quality using a deep convolutional neural network
WO2019019199A1 (en) * 2017-07-28 2019-01-31 Shenzhen United Imaging Healthcare Co., Ltd. SYSTEM AND METHOD FOR IMAGE CONVERSION
JP6772112B2 (ja) 2017-07-31 2020-10-21 株式会社日立製作所 医用撮像装置及び医用画像処理方法
US11222415B2 (en) * 2018-04-26 2022-01-11 The Regents Of The University Of California Systems and methods for deep learning microscopy
DE112019003022T5 (de) * 2018-06-15 2021-03-18 Canon Kabushiki Kaisha Medizinische Bildverarbeitungsvorrichtung, medizinisches Bildverarbeitungsverfahren und Programm
WO2020018154A1 (en) * 2018-07-19 2020-01-23 The Regents Of The University Of California Method and system for digital staining of label-free phase images using deep learning
JP7305401B2 (ja) * 2018-09-06 2023-07-10 キヤノン株式会社 画像処理装置、画像処理装置の作動方法、及びプログラム
CN112822973A (zh) * 2018-10-10 2021-05-18 佳能株式会社 医学图像处理装置、医学图像处理方法和程序
DE102018222300A1 (de) * 2018-12-19 2020-06-25 Leica Microsystems Cms Gmbh Skalierende Detektion

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017143300A1 (en) * 2016-02-19 2017-08-24 Optovue, Inc. Methods and apparatus for reducing artifacts in oct angiography using machine learning techniques
US20180122077A1 (en) * 2016-10-31 2018-05-03 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and program
US20180153395A1 (en) * 2016-12-01 2018-06-07 Canon Kabushiki Kaisha Image processing apparatus, imaging apparatus, image processing method, and computer readable storage medium
US20180199807A1 (en) * 2017-01-17 2018-07-19 Canon Kabushiki Kaisha Image processing apparatus and image processing method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHEET, D; KARRI, SPK等: "DEEP LEARNING OF TISSUE SPECIFIC SPECKLE REPRESENTATIONS IN OPTICAL COHERENCE TOMOGRAPHY AND DEEPER EXPLORATION FOR IN SITU HISTOLOGY", 《IEEE INTERNATIONAL SYMPOSIUM ON BIOMEDICAL IMAGING》, no. 4, pages 777 - 780, XP033179567, DOI: 10.1109/ISBI.2015.7163987 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116684687A (zh) * 2023-08-01 2023-09-01 蓝舰信息科技南京有限公司 基于数字孪生技术的增强可视化教学方法
CN116684687B (zh) * 2023-08-01 2023-10-24 蓝舰信息科技南京有限公司 基于数字孪生技术的增强可视化教学方法

Also Published As

Publication number Publication date
US11922601B2 (en) 2024-03-05
WO2020075345A1 (ja) 2020-04-16
US20210224957A1 (en) 2021-07-22

Similar Documents

Publication Publication Date Title
US12040079B2 (en) Medical image processing apparatus, medical image processing method and computer-readable medium
US20210390696A1 (en) Medical image processing apparatus, medical image processing method and computer-readable storage medium
JP7229881B2 (ja) 医用画像処理装置、学習済モデル、医用画像処理方法及びプログラム
JP7269413B2 (ja) 医用画像処理装置、医用画像処理システム、医用画像処理方法及びプログラム
US11922601B2 (en) Medical image processing apparatus, medical image processing method and computer-readable medium
JP7406892B2 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP7305401B2 (ja) 画像処理装置、画像処理装置の作動方法、及びプログラム
JP7114358B2 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
CN112822972A (zh) 图像处理装置、图像处理方法和程序
US11887288B2 (en) Image processing apparatus, image processing method, and storage medium
CN113226153A (zh) 图像处理装置、图像处理方法和程序
JP7362403B2 (ja) 画像処理装置および画像処理方法
JP7490741B2 (ja) 医用画像処理装置、医用画像処理方法及びプログラム
US20240321435A1 (en) Medical image processing apparatus, medical image processing method and computer-readable medium
JP2024025807A (ja) 医用画像処理装置、医用画像処理方法及びプログラム
JP2023010308A (ja) 画像処理装置および画像処理方法
JP2022121202A (ja) 画像処理装置および画像処理方法
JP2023076615A (ja) 画像処理装置、画像処理装置の作動方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination