JP2022516146A - 脳血管疾患学習装置、脳血管疾患検出装置、脳血管疾患学習方法、及び脳血管疾患検出方法 - Google Patents

脳血管疾患学習装置、脳血管疾患検出装置、脳血管疾患学習方法、及び脳血管疾患検出方法 Download PDF

Info

Publication number
JP2022516146A
JP2022516146A JP2021538436A JP2021538436A JP2022516146A JP 2022516146 A JP2022516146 A JP 2022516146A JP 2021538436 A JP2021538436 A JP 2021538436A JP 2021538436 A JP2021538436 A JP 2021538436A JP 2022516146 A JP2022516146 A JP 2022516146A
Authority
JP
Japan
Prior art keywords
learning model
learning
characteristic
frame
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021538436A
Other languages
English (en)
Inventor
ウォンテ キム
シンウク カン
ミョンジェ リ
ドンミン キム
チンソン チャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JLK Inc
Original Assignee
JLK Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JLK Inc filed Critical JLK Inc
Publication of JP2022516146A publication Critical patent/JP2022516146A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本開示の一態様による脳血管疾患学習装置が提供できる。前記脳血管疾患学習装置は、３Ｄ ＴＯＦ ＭＲＡ（３Ｄ Ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）の入力を受け、複数の画像フレームを含むＭＩＰ ＭＲＡ（Ｍａｘｉｍｕｍ ｉｎｔｅｎｓｉｔｙ ｐｒｏｊｅｃｔｉｏｎ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）を構成するＭＩＰ ＭＲＡ構成部と、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）学習方式に基づいた空間特性学習モデルを構築し、前記空間特性学習モデルは前記複数の画像フレームそれぞれに対する空間特性を学習する空間特性学習部と、前記空間特性の入力を受け、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）学習方式に基づいたフレーム特性学習モデルを構築し、前記フレーム特性学習モデルは複数の画像フレーム間の特性を示すフレーム特性を学習するフレーム特性学習部と、前記フレーム特性の入力を受け、前記ＣＮＮ学習方式に基づいた病変特性学習モデルを構築し、前記病変特性学習モデルは前記複数の画像フレームそれぞれに対する病変特性を学習する病変特性学習部と、を含むことができる。【選択図】図１

Description

本開示は、ディープラーニングモデルの学習技術に係り、より具体的には、画像情報の分析を基に、身体領域を撮影した画像を用いて脳血管疾患を学習及び検出する方法及び装置に関する。
ディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）は、非常に膨大な量のデータを学習して、新しいデータが入力される場合、学習結果に基づいて、確率的に最も高い回答を選択することである。このようなディープラーニングは、画像に応じて適応的に動作することができ、データに基づいてモデルを学習する過程で特性因子を自動的に見つけるので、最近、人工知能分野でこれを活用しようとする試みが増えている傾向にある。
一方、画像認識に関連してディープラーニングを利用した従来の画像分析技術は、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）と最大プーリング（ｍａｘ ｐｏｏｌｉｎｇ）技法を利用して画像の領域ごとに局所的な特徴を抽出し、これに基づいて画像を認識する。しかし、このような方法は、実際の画像の内容は異なるものの、局所的な情報の形態が類似した画像については正確な認識結果を提供しないという問題点がある。
一方、脳血管疾患の診断、予後予測のためには、膨大な画像資料と患者の臨床情報をすべて考慮しなければならないので、その診断のための時間が多くかかるだけでなく、医療スタッフの熟練度によってもその診断結果にバラツキが大きいことがある。
特に、脳血管疾患の診断、予後予測を確認するために、通常、２Ｄ又は３Ｄ形状のＭＲＡ（ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）が多用されているが、ユーザ（例えば、医師又は画像診断者）がＭＲＡを分析するために表示される画像のプロジェクション位置を変更したり、画像の拡大又は縮小を行ったりするなど、多くの操作が要求される。
このように、ユーザ（例えば、医師又は画像診断者）の操作に基づいて脳血管疾患の診断や予後予測が行われるので、診断に多くの時間がかかるだけでなく、医療スタッフの熟練度によってもその診断結果のバラツキがさらに大きい。
本開示の技術的課題は、ユーザ（例えば、医師又は画像診断者）の操作を最小限に抑え、脳血管疾患の診断や予後予測が要求される領域、又は脳血管疾患が発生した領域を迅速かつ正確に検出することができる方法及び装置を提供することにある。
本開示の他の技術的課題は、迅速かつ正確に脳血管疾患の診断に要求される領域、又は脳血管疾患が発生した領域を検出する学習方法及び装置を提供することにある。
本開示の別の技術的課題は、ＭＲＡを用いて、脳血管疾患の診断に要求される領域、又は脳血管疾患が発生した領域を正確に学習することができる方法及び装置を提供することにある。
本開示の別の技術的課題は、ＭＲＡの入力のみで、脳血管疾患の診断に要求される領域、又は脳血管疾患が発生した領域を正確に検出することができる方法及び装置を提供することにある。
本開示が解決しようとする技術的課題は上述した技術的課題に限定されず、上述していない別の技術的課題は以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるであろう。
本開示の一態様によれば、脳血管疾患学習装置が提供できる。この脳血管疾患学習装置は、３Ｄ ＴＯＦ ＭＲＡ（３Ｄ Ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）の入力を受け、複数の画像フレームを含むＭＩＰ ＭＲＡ（Ｍａｘｉｍｕｍ ｉｎｔｅｎｓｉｔｙ ｐｒｏｊｅｃｔｉｏｎ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）を構成するＭＩＰ ＭＲＡ構成部と、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）学習方式に基づいた空間特性学習モデルを構築し、前記空間特性学習モデルは前記複数の画像フレームそれぞれに対する空間特性を学習する空間特性学習部と、前記空間特性の入力を受け、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）学習方式に基づいたフレーム特性学習モデルを構築し、前記フレーム特性学習モデルは複数の画像フレーム間の特性を示すフレーム特性を学習するフレーム特性学習部と、前記フレーム特性の入力を受け、前記ＣＮＮ学習方式に基づいた病変特性学習モデルを構築し、前記病変特性学習モデルは前記複数の画像フレームそれぞれに対する病変特性を学習する病変特性学習部と、を含むことができる。
本開示の他の態様によれば、脳血管疾患検出装置が提供できる。この脳血管疾患検出装置は、３Ｄ ＴＯＦ ＭＲＡ（３Ｄ Ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）の入力を受け、複数の画像フレームを含むＭＩＰ ＭＲＡ（Ｍａｘｉｍｕｍ ｉｎｔｅｎｓｉｔｙ ｐｒｏｊｅｃｔｉｏｎ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）を構成するＭＩＰ ＭＲＡ構成部と、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）学習方式に基づいて、前記複数の画像フレームそれぞれに対する空間特性の学習によって構築された空間特性学習モデルを備え、前記空間特学習モデルを用いて前記複数の画像フレームそれぞれに対する空間特性を検出する空間特性検出部と、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）学習方式に基づいて、前記空間特性に対応するフレーム特性の学習によって構築されたフレーム特性学習モデルを備え、前記フレーム特性学習モデルを用いて前記フレーム特性を検出するフレーム特性検出部と、前記ＣＮＮ学習方式に基づいて、前記フレーム特性に対応する病変特性の学習によって構築された病変特性学習モデルを備え、前記病変特性学習モデルを用いて前記複数の画像フレームそれぞれに対する病変特性を検出する病変特性検出部と、を含むことができる。
本開示の別の態様によれば、脳血管疾患学習方法が提供できる。この脳血管疾患学習方法は、３Ｄ ＴＯＦ ＭＲＡ（３Ｄ Ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）の入力を受け、複数の画像フレームを含むＭＩＰ ＭＲＡ（Ｍａｘｉｍｕｍ ｉｎｔｅｎｓｉｔｙ ｐｒｏｊｅｃｔｉｏｎ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）を構成する過程と、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）学習方式に基づいた空間特性学習モデルを構築し、前記空間特性学習モデルは前記複数の画像フレームそれぞれに対する空間特性を学習する過程と、前記空間特性の入力を受け、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）学習方式に基づいたフレーム特性学習モデルを構築し、前記フレーム特性学習モデルは複数の画像フレーム間の特性を示すフレーム特性を学習する過程と、前記フレーム特性の入力を受け、前記ＣＮＮ学習方式に基づいた病変特性学習モデルを構築し、前記病変特性学習モデルは前記複数の画像フレームそれぞれに対する病変特性を学習する過程と、を含むことができる。
本開示の別の態様によれば、脳血管疾患検出方法が提供できる。この脳血管疾患検出方法は、３Ｄ ＴＯＦ ＭＲＡ（３Ｄ Ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）の入力を受け、複数の画像フレームを含むＭＩＰ ＭＲＡ（Ｍａｘｉｍｕｍ ｉｎｔｅｎｓｉｔｙ ｐｒｏｊｅｃｔｉｏｎ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）を構成する過程と、
空間特性学習モデルを用いて前記複数の画像フレームそれぞれに対する空間特性を検出し、前記空間特性学習モデルはＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）学習方式に基づいて、前記複数の画像フレームそれぞれに対する空間特性の学習によって構築された学習モデルであることを特徴とする過程と、
フレーム特性学習モデルを用いて前記フレーム特性を検出し、前記フレーム特性学習モデルはＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）学習方式に基づいて、前記空間特性に対応するフレーム特性の学習によって構築された学習モデルであることを特徴とする過程と、
病変特性学習モデルを用いて前記複数の画像フレームそれぞれに対する病変特性を検出し、前記病変特性学習モデルは前記ＣＮＮ学習方式に基づいて、前記フレーム特性に対応する病変特性の学習によって構築された学習モデルであることを特徴とする過程と、を含むことができる。
本開示について簡略に要約された上記の特徴は、後述する本開示の詳細な説明の例示的な様相に過ぎず、本開示の範囲を限定するものではない。
本開示によれば、ユーザ（例えば、医師又は画像診断者）の操作を最小限に抑え、脳血管疾患の診断や予後予測が要求される領域、又は脳血管疾患が発生した領域を迅速かつ正確に検出することができる方法及び装置が提供できる。
また、本開示によれば、迅速かつ正確に脳血管疾患の診断に要求される領域、又は脳血管疾患が発生した領域を学習する方法及び装置が提供できる。
また、本開示によれば、ＭＲＡを用いて、脳血管疾患の診断に要求される領域、又は脳血管疾患が発生した領域を正確に学習することができる方法及び装置が提供できる。
また、本開示によれば、ＭＲＡの入力のみで、脳血管疾患の診断に要求される領域、又は脳血管疾患が発生した領域を正確に検出することができる方法及び装置が提供できる。
本開示で得られる効果は、上述した効果に限定されず、上述していない別の効果は、以降の記載から本開示の属する技術分野における通常の知識を有する者に明確に理解できるだろう。
本開示の一実施形態による脳血管疾患学習装置の構成を示すブロック図である。 本開示の一実施形態による脳血管疾患学習装置に使用される３Ｄ ＴＯＦ ＭＲＡとＭＩＰ ＭＲＡを例示する図である。 本開示の一実施形態による脳血管疾患学習装置に備えられる空間特性学習部の詳細構成を例示する図である。 本開示の一実施形態による脳血管疾患学習装置に備えられる空間特性学習モデルの構成を示すブロック図である。 本開示の一実施形態による画像のコンテキスト情報を生成し分析する過程を示す図である。 多チャンネル特徴マップを生成する畳み込みニューラルネットワークの一実施形態を説明するための図である。 プーリング技法の一実施形態を説明するための図である。 本開示の一実施形態による脳血管疾患学習装置に備えられるフレーム特性学習部の詳細構成を例示する図である。 本開示の一実施形態による脳血管疾患検出装置の構成を示すブロック図である。 本開示の一実施形態による脳血管疾患学習方法の手順を示すフローチャートである。 本開示の一実施形態による脳血管疾患検出方法の手順を示すフローチャートである。 本開示の一実施形態による脳血管疾患学習方法及び脳血管疾患検出方法を実行するコンピューティングシステムを例示するブロック図である。
以下、添付図面を参照して、本開示の実施形態について、本開示の属する技術分野における通常の知識を有する者が容易に実施し得るように詳細に説明する。ところが、本開示は、様々な異なる形態で実現でき、ここで説明する実施形態に限定されない。
本開示の実施形態を説明するにあたり、公知の構成又は機能についての具体的な説明が本発明の要旨を不明確にするおそれがあると判断された場合には、それについての詳細な説明は省略する。そして、図面において、本開示についての説明と関係のない部分は省略し、同様の部分には同様の符号を付した。
本開示において、ある構成要素が他の構成要素に「連結」、「結合」又は「接続」されているとするとき、これは、直接的な連結関係だけでなく、それらの間に別の構成要素が介在する間接的な連結関係も含むことができる。また、ある構成要素が他の構成要素を「含む」又は「有する」とするとき、これは、特に反対される記載がない限り、他の構成要素を排除するのではなく、別の構成要素をさらに含むことができることを意味する。
本開示において、「第１」、「第２」などの用語は、一つの構成要素を他の構成要素から区別する目的のみで使用され、特に記載されない限り、構成要素間の順序又は重要度などを限定しない。したがって、本開示の範囲内において、一実施形態における第１の構成要素は、他の実施形態における第２の構成要素と呼ぶこともあり、これと同様に、一実施形態における第２の構成要素を他の実施形態における第１の構成要素と呼ぶこともある。
本開示において、互いに区別される構成要素はそれぞれの特徴を明確に説明するためであり、構成要素が必ずしも分離されることを意味するのではない。つまり、複数の構成要素が統合されて一つのハードウェア又はソフトウェア単位からなってもよく、一つの構成要素が分散されて複数のハードウェア又はソフトウェア単位からなってもよい。したがって、特に断りのない場合でも、このように統合又は分散された実施形態も、本開示の範囲に含まれる。
本開示において、様々な実施形態で説明する構成要素が、必ずしも必要不可欠な構成要素を意味するものではなく、その一部は選択的な構成要素であってもよい。したがって、一実施形態で説明する構成要素の部分集合で構成される実施形態も、本開示の範囲に含まれる。また、様々な実施形態で説明する構成要素にさらに他の構成要素を含む実施形態も、本開示の範囲に含まれる。
以下、添付図面を参照して本開示の実施形態について説明する。
図１は本開示の一実施形態による脳血管疾患学習装置の構成を示すブロック図である。
図１を参照すると、脳血管疾患学習装置１０は、ＭＩＰ ＭＲＡ構成部１１、空間特性学習部１２、フレーム特性学習部１４、及び病変特性学習部１６を含むことができる。
ＭＩＰ ＭＲＡ構成部１１は、３Ｄ ＴＯＦ ＭＲＡ（３Ｄ Ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）の入力を受け、ＭＩＰ ＭＲＡ（Ｍａｘｉｍｕｍ ｉｎｔｅｎｓｉｔｙ ｐｒｏｊｅｃｔｉｏｎ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）を構成することができる。ここで、３Ｄ ＴＯＦ ＭＲＡは、脳領域で血管が存在する領域の信号を強く測定して得た３Ｄ形状のＭＲＡであることができ、ＭＩＰ ＭＲＡは、３Ｄ ＴＯＦ ＭＲＡを様々な方向からプロジェクション（Ｐｒｏｊｅｃｔｉｏｎ）して得た画像フレームを時系列的に組み合わせて構成した動画データであることができる。
例えば、ＭＩＰ ＭＲＡ構成部１１は、所定のプロジェクション位置を確認することができ、確認されたプロジェクション位置に対応する画像フレームを取得することができる。そして、ＭＩＰ ＭＲＡ構成部１１は、前述した動作によって取得された複数の画像フレームを、所定の時間単位を基準に時系列的に組み合わせて動画データを構成することができる。
例えば、図２を参照すると、複数の２Ｄ ＭＲＡ画像２００を積層して構成された３Ｄ ＴＯＦ ＭＲＡ２１０を中心に、少なくとも一つのプロジェクション位置が設定できるが、ＭＩＰ ＭＲＡ構成部１１は、第１プロジェクション位置Ｐ１で取得して第１画像フレームＦ１を構成し、第２プロジェクション位置Ｐ２で取得して第２画像フレームＦ２を構成することができる。ＭＩＰ ＭＲＡ構成部１１は、このような動作を繰り返し行い、ｎ個のプロジェクション位置Ｐｎに対応するｎ個の画像フレームＦｎを取得することができる。ＭＩＰ ＭＲＡ構成部１１は、ｎ個の画像フレームＦｎを所定の位置に沿って整列し、整列された複数の画像フレームを所定の時間単位１０ｍｓごとに配置及び組み合わせして動画データ形式のＭＩＰ ＭＲＡを構成することができる。
さらに、ＭＩＰ ＭＲＡは、画像フレームＦ１、Ｆ２、．．．、Ｆｎに対応するプロジェクション位置Ｐ１、Ｐ２、．．．、Ｐｎ及び時間又は配列順序に対する情報を含むことができる。
空間特性学習部１２は、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎそれぞれに対する学習を行って空間特性学習モデル１３を構築することができ、好ましくはＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）学習方式に基づいて空間特性学習モデル１３を構築することができる。
空間特性学習部１２の空間特性学習モデル１３の構築の際に、画像フレームＦ１、Ｆ２、．．．、Ｆｎに対応するプロジェクション位置Ｐ１、Ｐ２、．．．、Ｐｎ及び時間又は配列順序に対する情報を考慮することができる。例えば、空間特性学習モデル１３には、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎの数に対応するＣＮＮが備えられることができる。空間特性学習部１２は、第１画像フレームＦ１を第１ＣＮＮの入力に伝達し、第２画像フレームＦ２を第２ＣＮＮの入力に伝達し、第ｎ画像フレームＦｎを第ｎＣＮＮの入力に伝達するように構成することができる。
これに対応して、空間特性学習モデル１３に備えられる複数のＣＮＮは、複数の画像フレームＦ１、Ｆ２、．．．、Ｆｎそれぞれに対応する複数の空間特性を出力することができ、空間特性学習部１２は、前述した複数の空間特性を順次配列してシーケンシャルなデータで構成することができる。この時、空間特性学習部１２は、画像フレームＦ１、Ｆ２、．．．、Ｆｎに対応するプロジェクション位置Ｐ１、Ｐ２、．．．、Ｐｎ及び時間又は配列順序に対する情報を考慮して直列化（Ｓｅｑｕｅｎｔｉａｌ）データを構成することができる。
一方、フレーム特性学習部１４は、直列化データで構成された複数の空間特性の入力を受け、画像フレーム間の関係に対する特性（すなわち、フレーム特性）を検出する学習を行うことができる。好ましくは、フレーム特性学習部１４は、循環ニューラルネットワーク（ＲＮＮ、Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｒｗｏｒｋ）学習方式に基づいてフレーム特性学習モデル１５を構築することができる。
病変特性学習部１６は、複数の画像フレームＦ１、Ｆ２、．．．、Ｆｎそれぞれに対応する病変情報を学習することができる。このために、フレーム特性学習部１４は、シーケンシャルなデータで構成されたフレーム特性を再構成して並列化（ｐａｒａｌｌｅｌ）データを構成することができる。
病変特性学習部１６は、フレーム特性学習部１４から提供されるフレーム特性を用いて病変特性学習モデル１７を構築することができる。
病変特性学習モデル１７は、ＣＮＮ学習方式に基づいた学習モデルであることができ、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎの数に対応するだけのＣＮＮを備えることができる。そして、病変特性学習部１６は、第１画像フレームＦ１に対応する第１フレーム特性を第１ＣＮＮの入力に伝達し、第２画像フレームＦ２に対応する第１フレーム特性を第２ＣＮＮの入力に伝達し、第ｎ画像フレームＦｎに対応する第ｎフレーム特性を第ｎＣＮＮの入力に伝達するように構成することができる。
さらに、空間特性学習モデル１３に備えられる複数のＣＮＮは、情報抽出ドメイン（Ｄｏｍａｉｎ）のサイズを減らすプーリング（Ｐｏｏｌｉｎｇ）構造を備えることができ、病変特性学習モデル１７に備えられる複数のＣＮＮは、特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）のドメイン（Ｄｏｍａｉｎ）サイズを増やすアップサンプリング（ｕｐｓａｍｐｌｉｎｇ）構造を備えることができる。
空間特性学習モデル１３及び病変特性学習モデル１７に備えられる複数のＣＮＮは、それぞれ２回の３×３畳み込みを備えることが好ましい。また、空間特性学習モデル１３は、２×２最大プーリング演算（ｍａｘ－ｐｏｏｌｉｎｇ ｏｐｅｒａｔｉｏｎ）構造を備え、病変特性学習モデル１７は、共一次内挿法（ｂｉｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）で長さと幅を２倍に増加させる構造を備えることができる。
たとえ、本開示の一実施形態において、空間特性学習モデル１３及び病変特性学習モデル１７に備えられる畳み込みのサイズ及び個数、空間特性学習モデル１３に備えられるプーリング（Ｐｏｏｌｉｎｇ）構造、アップサンプリング（ｕｐｓａｍｐｌｉｎｇ）構造などを例示したが、本開示は、これに限定されるものではなく、多様に変更できるのはいうまでもよい。
図３は本開示の一実施形態による脳血管疾患学習装置に備えられる空間特性学習部の詳細構成を例示する図である。
図３を参照すると、空間特性学習部３０は、複数のＣＮＮ３１－１、３１－２、３１－ｎを備える空間特性学習モデル３１を含むことができ、複数のＣＮＮの数は、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎの数に対応するように設定できる。
空間特性学習部３０は、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎをそれぞれ複数のＣＮＮ３１－１、３１－２、３１－ｎの入力に提供することができる。
この時、空間特性学習部３０は、画像フレームＦ１、Ｆ２、．．．、Ｆｎに対応するプロジェクション位置Ｐ１、Ｐ２、．．．、Ｐｎ及び時間又は配列順序に対する情報を考慮して、画像フレームＦ１、Ｆ２、．．．、Ｆｎを複数のＣＮＮ３１－１、３１－２、３１－ｎに提供することができる。例えば、空間特性学習部３１は、第１画像フレームＦ１を第１ＣＮＮ３１－１の入力に伝達し、第２画像フレームＦ２を第２ＣＮＮ３１－２の入力に伝達し、第ｎ画像フレームＦｎを第ｎＣＮＮ３１－ｎの入力に伝達するように構成することができる。
また、空間特性学習部３０は、直列化処理部３３を含むことができ、直列化処理部３３は、複数のＣＮＮ３１－１、３１－２、３１－ｎを介して出力される複数の空間特性３１０－１、３１０－２、３１０－ｎを直列化することができる。直列化処理部３３は、プロジェクション位置Ｐ１、Ｐ２、．．．、Ｐｎ及び時間又は配列順序に対する情報を考慮して、複数の空間特性３１０－１、３１０－２、３１０－ｎを直列化することが好ましい。
以下、図４乃至図７を参照して、複数のＣＮＮ３１－１、３１－２、３１－ｎの詳細構成を説明する。
図４は本開示の一実施形態による脳血管疾患学習装置に備えられる空間特性学習モデルの構成を示すブロック図である。
図４を参照すると、空間特性性学習モデル４０は、特徴抽出部４１、コンテキスト生成部４２、並びに特徴及びコンテキスト分析部４３を含むことができる。ただし、これは本実施形態を説明するために必要な一部構成要素のみを示したものに過ぎず、空間特性学習モデル４０に含まれている構成要素が前述の例に限定されるものではない。
空間特性学習モデル４０は、分析対象画像の特徴を抽出し、抽出された特徴に基づいてコンテキスト情報を生成し、抽出された特徴及び生成されたコンテキスト情報に基づいて分析対象画像を分析することができる。例えば、空間特性学習モデル４０は、抽出された特徴及び生成されたコンテキスト情報を用いて画像を分類するか、或いは興味のあるオブジェクトの位置を見つけることができる。
特徴抽出部４１は、入力画像を分析して画像の特徴を抽出することができる。例えば、前記特徴は、画像の領域ごとの局所的な特徴であることができる。一実施形態による特徴抽出部４１は、一般的な畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮ）技法又はプーリング（ｐｏｏｌｉｎｇ）技法を利用して入力画像の特徴を抽出することができる。前記プーリング技法は、最大プーリング（ｍａｘ ｐｏｏｌｉｎｇ）技法及び平均（ａｖｅｒａｇｅ）プーリング技法のうちの少なくとも一つを含むことができる。しかし、本開示で言及されるプーリング技法は、最大プーリング技法又は平均プーリング技法に限定されず、所定の大きさの画像領域の代表値を取得する任意の技法を含む。例えば、プーリング技法に使用される代表値は、最大値及び平均値の他に、分散値、標準偏差値、中間値、最頻値（ｍｏｓｔ ｆｒｅｑｕｅｎｔ ｖａｌｕｅ）、最小値及び加重平均値などのうちの少なくとも一つであることができる。
本開示の畳み込みニューラルネットワークは、入力データ（画像）から枠、線の色などの「特徴（ｆｅａｔｕｒｅｓ）」を抽出するために利用でき、複数の階層（ｌａｙｅｒｓ）を含むことができる。それぞれの階層は、入力データを受信し、当該階層の入力データを処理して出力データを生成することができる。畳み込みニューラルネットワークは、入力された画像、又は入力された特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）をフィルタカーネル（ｆｉｌｔｅｒ ｋｅｒｎｅｌｓ）と畳み込みして生成した特徴マップを出力データとして出力することができる。畳み込みニューラルネットワークの初期階層は、入力からエッジ又はグラジアントなどの低レベルの特徴を抽出するように動作することができる。ニューラルネットワークの次の階層は、目、鼻などの漸進的にさらに複雑な特徴を抽出することができる。畳み込みニューラルネットワークの具体的な動作については、図５を参照して後述する。
畳み込みニューラルネットワークは、畳み込み演算が行われる畳み込み階層の他にも、プーリング演算が行われるプーリング階層も含むことができる。プーリング技法は、プーリング階層でデータの空間サイズを縮小することに使用される技法である。具体的には、プーリング技法には、当該領域の最大値を選択する最大プーリング（ｍａｘ ｐｏｏｌｉｎｇ）技法と、当該領域の平均値を選択する平均プーリング（ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ）技法があり、画像認識分野では、一般的に最大プーリング技法が使用される。プーリング技法では、一般的に、プーリングのウィンドウサイズと間隔（ストライド、ｓｔｒｉｄｅ）を同じ値に設定する。ここで、ストライドとは、入力データにフィルタを適用するときに移動する間隔を調節すること、すなわち、フィルタが移動する間隔を意味する。ストライドも、出力データのサイズを調節するために使用できる。プーリング技法の具体的な動作については、図６を参照して後述する。
本開示の一実施形態による特徴抽出部４１は、分析対象画像の特徴を抽出するための前処理（ｐｒｅ－ｐｒｏｃｅｓｓｉｎｇ）として、分析対象画像にフィルタリングを適用することができる。前記フィルタリングは、高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ、ＦＦＴ）、ヒストグラム平滑化（ｈｉｓｔｏｇｒａｍ ｅｑｕａｌｉｚａｔｉｏｎ）、モーションアーチファクト（ｍｏｔｉｏｎ ａｒｔｉｆａｃｔ）除去又はノイズ（ｎｏｉｓｅ）除去などであることができる。しかし、本開示のフィルタリングは、上記に列挙した方法に制限されず、画像の品質を改善することができるすべての形態のフィルタリングを含むことができる。
コンテキスト生成部４２は、特徴抽出部４１から抽出された入力画像の特徴を用いて入力画像（分析対象画像）のコンテキスト情報を生成することができる。例えば、前記コンテキスト情報は、分析対象画像の全体又は一部領域を示す代表値であることができる。また、前記コンテキスト情報は、入力画像の全域的なコンテキスト情報であることができる。一実施形態によるコンテキスト生成部４２は、畳み込みニューラルネットワーク技法又はプーリング技法を特徴抽出部４１から抽出された特徴に適用してコンテキスト情報を生成することができる。前記プーリング技法は、例えば、平均プーリング（ａｖｅｒａｇｅ ｐｏｏｌｉｎｇ）技法であることができる。
特徴及びコンテキスト分析部４３は、特徴抽出部４１で抽出された特徴、及びコンテキスト生成部４２で生成されたコンテキスト情報に基づいて画像を分析することができる。一実施形態による特徴及びコンテキスト分析部４３は、特徴抽出部４１で抽出された画像の領域ごとの局所的な特徴、及びコンテキスト生成部４２で再構成された全域的なコンテキストを結合（ｃｏｎｃａｔｅｎａｔｅ）などの方式で一緒に使用して、入力画像を分類したり、入力画像に含まれている興味のあるオブジェクトの位置などを見つけたりするのに利用することができる。入力画像内の特定の２次元位置における情報は、局所的な特徴情報だけでなく、全域的なコンテキスト情報まで含むので、特徴及びコンテキスト分析部４３は、これらの情報を用いることにより、実際の内容は異なるものの、局所的な特徴情報が類似した入力画像についてより正確な認識又は分類などが可能となる。
前述したように、本開示の一実施形態による発明は、一般的な畳み込みニューラルネットワーク技法が使用する局所的な特徴だけでなく、全域的なコンテキスト情報を一緒に使用することにより、よりさらに正確且つ効率的な学習及び画像解析が可能となる。このような観点から、本開示による発明を「コンテキスト分析による深層ニューラルネットワーク」といえる。
図５は本開示の一実施形態による画像のコンテキスト情報を生成し分析する過程を示す図である。
図５を参照すると、特徴抽出部４１は、入力画像５０１を用いて入力画像５０１から特徴を抽出し、抽出された特徴情報を含む特徴画像５０２を生成することができる。前記抽出された特徴は、入力画像の局所領域に対する特徴であることができる。前記入力画像５０１は、画像分析装置の入力画像又は畳み込みニューラルネットワークモデル内の各階層における特徴マップを含むことができる。また、前記特徴画像５０２は、入力画像５０１に対して畳み込みニューラルネットワーク技法及び／又はプーリング技法を適用して取得された特徴マップ及び／又は特徴ベクトルを含むことができる。
コンテキスト生成部４２は、特徴抽出部４１で抽出された特徴画像５０２に対して畳み込みニューラルネットワーク技法及び／又はプーリング技法を適用してコンテキスト情報を生成することができる。例えば、コンテキスト生成部４２は、プーリングの間隔（ｓｔｒｉｄｅ）を多様に調節することにより、画像全体、４等分領域、９等分領域などの様々な大きさ（ｓｃａｌｅ）のコンテキスト情報を生成することができる。図４を参照すると、画像全体サイズの画像に対するコンテキスト情報を含む全体コンテキスト情報画像５１１、画像全体を４等分したサイズの４等分画像に対するコンテキスト情報を含む４等分コンテキスト情報画像５１２、及び画像全体を９等分したサイズの９等分画像に対するコンテキスト情報を含む９等分コンテキスト情報画像５１３が取得できる。
特徴及びコンテキスト分析部４３は、前記特徴画像５０２と前記コンテキスト情報画像４１１、４１２、４１３をすべて用いて分析対象画像の特定の領域に対する分析をより正確に行うことができる。
本開示の一実施形態によるコンテキスト生成部４２は、前記分析対象画像又は前記特徴画像５０２に基づいてコンテキスト情報５１１、５１２、５１３を生成することにより、より正確にオブジェクトを識別し、分類することができる。
図５を参照して説明した実施形態では、全体画像に対するコンテキスト情報、４等分画像に対するコンテキスト情報、９等分画像に対するコンテキスト情報を生成し活用することについて説明したが、コンテキスト情報を抽出する画像の大きさはこれに限定されない。例えば、前述した大きさの画像以外の大きさを有する画像に対するコンテキスト情報を生成し、活用することもできる。
次に、本開示の一実施形態による畳み込みニューラルネットワーク技法及びプーリングについては、図６及び図７を参照して後述する。
図６は多チャンネル特徴マップを生成する畳み込みニューラルネットワークの一実施形態を説明するための図である。
畳み込みニューラルネットワークに基づく画像処理は、様々な分野に活用できる。例えば、画像のオブジェクト認識（ｏｂｊｅｃｔ ｒｅｃｏｇｎｉｔｉｏｎ）のための画像処理装置、画像復元（ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）のための画像処理装置、セマンティックセグメンテーション（ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ）のための画像処理装置、シーン認識（ｓｃｅｎｅ ｒｅｃｏｇｎｉｔｉｏｎ）のための画像処理装置などに利用可能である。
入力画像６１０は、畳み込みニューラルネットワーク６００を介して処理されることにより特徴マップ画像を出力することができる。出力された特徴マップ画像は、前述した様々な分野で活用できる。
畳み込みニューラルネットワーク６００は複数の階層６２０、６３０、６４０を介して処理でき、各階層は多チャンネル特徴マップ画像６２５、６３５を出力することができる。一実施形態による複数の階層６２０、６３０、６４０は、入力されたデータの左上端から右下端まで一定の大きさのフィルタを適用して画像の特徴を抽出することができる。例えば、複数の階層６２０、６３０、６４０は、入力データの左上端のＮ×Ｍピクセルに重みを乗じて特徴マップの左上端の一つのニューロンにマッピングさせる。この場合、乗じられる重みもＮ×Ｍになるだろう。前記Ｎ×Ｍは、例えば、３×３であり得るが、これに限定されない。以後、同じ過程で、複数の階層６２０、６３０、６４０は、入力データを左から右へ、そして上端から下端へｋマスずつスキャンしながら重みを乗じて特徴マップのニューロンにマッピングする。前記ｋマスは、畳み込みの実行時にフィルタを移動させる間隔（ｓｔｒｉｄｅ）を意味し、出力データの大きさを調節するために適切に設定できる。例えば、ｋは１であることができる。前記Ｎ×Ｍの重みはフィルタ又はフィルタカーネルとする。つまり、複数の階層６２０、６３０、６４０にフィルタを適用する過程は、フィルタカーネルとの畳み込み演算を行う過程であり、その結果として抽出された結果物を「特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）」又は「特徴マップ画像」とする。また、畳み込み演算が行われた階層を畳み込み階層とすることができる。
「多チャンネル特徴マップ（ｍｕｌｔｉｐｌｅ－ｃｈａｎｎｅｌ ｆｅａｔｕｒｅ ｍａｐ）」の用語は、複数のチャンネルに対応する特徴マップのセットを意味し、例えば複数の画像データであることができる。多チャンネル特徴マップは、畳み込みニューラルネットワークの任意の階層での入力であることができ、畳み込み演算などの特徴マップ演算結果に基づく出力であることができる。一実施形態によれば、多チャンネル特徴マップ６２５、６３５は、畳み込みニューラルネットワークの「特徴抽出階層」又は「畳み込み階層」とも呼ばれる複数の階層６２０、６３０、６４０によって生成される。それぞれの階層は、順次、以前階層で生成された多チャンネル特徴マップを受信し、出力としてその次の多チャンネル特徴マップを生成することができる。最終的に、Ｌ（Ｌは整数）番目の階層５４０では、Ｌ－１番目の階層（図示せず）で生成した多チャンネル特徴マップを受信して多チャンネル特徴マップ（図示せず）を生成することができる。
図６を参照すると、Ｋ１個のチャンネルを有する特徴マップ６２５は、入力画像６１０に対して階層１での特徴マップ演算６２０による出力であり、また、階層２での特徴マップ演算５３０のための入力になる。また、Ｋ２個のチャンネルを有する特徴マップ６３５は、入力特徴マップ６２５に対して階層２での特徴マップ演算５３０による出力であり、また、階層３での特徴マップ演算（図示せず）のための入力になる。
図６を参照すると、一番目の階層６２０で生成された多チャンネル特徴マップ６２５は、Ｋ１（Ｋ１は整数）個のチャンネルに対応する特徴マップを含む。また、二番目の階層６３０で生成された多チャンネル特徴マップ６３５は、Ｋ２（Ｋ２は整数）個のチャンネルに対応する特徴マップを含む。ここで、チャンネルの個数を示すＫ１及びＫ２は、一番目の階層６２０及び二番目の階層６３０でそれぞれ使用されたフィルタカーネルの個数と対応することができる。つまり、Ｍ（Ｍは１以上Ｌ－１以下の整数）番目の階層で生成された多チャンネル特徴マップの個数は、Ｍ番目の階層で使用されたフィルタカーネルの個数と同じであることができる。
図７はプーリング技法の一実施形態を説明するための図である。
図７に示すように、プーリングのウィンドウサイズは２×２、ストライドは２であり、最大プーリングを入力画像７１０に適用して出力画像７９０を生成することができる。
図７の（ａ）において、入力画像７１０の左上端に２×２のウィンドウ７１０を適用し、ウィンドウ７１０領域内の値のうちの代表値（ここでは、最大値４）を計算して出力画像７９０の対応位置７２０に入力する。
以後、図７の（ｂ）において、ストライドだけ、すなわち２だけウィンドウを移動し、ウィンドウ７３０領域内の値のうちの最大値３を出力画像７９０の対応位置７４０に入力する。
もはや右へウィンドウを移動させることができない場合、再び入力画像の左側でストライドだけ下の位置から上記の過程を繰り返し行う。つまり、図７の（ｃ）に示すように、ウィンドウ７５０領域内の値のうちの最大値５を出力画像７９０の対応位置７６０に入力する。
以後、図７の（ｄ）に示すように、ストライドだけウィンドウを移動し、ウィンドウ７７０領域内の値のうちの最大値２を出力画像７９０の対応位置７８０に入力する。
上記の過程は、入力画像７１０の右下端領域にウィンドウが位置するまで繰り返し行われることにより、入力画像７１０にプーリングを適用した出力画像７９０を生成することができる。
本開示のディープラーニングに基づくモデルは、全層畳み込みニューラルネットワーク（ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、循環ニューラルネットワーク（ｒｅｃｕｒｒｅｎｔ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、制限ボルツマンマシン（ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ、ＲＢＭ）及び深層信念ニューラルネットワーク（ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＤＢＮ）のうちの少なくとも一つを含むことができるが、これに限定されない。又は、ディープラーニング以外のマシンラーニング方法も含むことができる。又は、ディップランニングとマシンラーニングとを組み合わせたハイブリッドタイプのモデルも含むことができる。例えば、ディープラーニングベースのモデルを適用して画像の特徴を抽出し、前記抽出された特徴に基づいて画像を分類又は認識するときは、マシンラーニングベースのモデルを適用することもできる。マシンラーニングベースのモデルは、サポートベクトルマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、ＳＶＭ）、エイダブースト（ＡｄａＢｏｏｓｔ）などを含むことができるが、これに限定されない。
一方、前述した図４乃至図７では、空間特性学習モデルに使用されるＣＮＮ構造を例示している。病変学習モデルも、前述した図４乃至図７で前述のＣＮＮ構造を備えることができる。
ただし、空間特性学習モデルは、空間特性を抽出した後、プーリング構造を介して空間特性に対する圧縮を処理することができるように構成されるが、これに対応して、病変学習モデルは、入力される特性に対する補間を介してアップサンプリングを処理した後、入力される情報に対する特性（例えば、病変特性）を検出する構造を備えるように構成できる。
図８は本開示の一実施形態による脳血管疾患学習装置に備えられるフレーム特性学習部の詳細構成を例示する図である。
図８を参照すると、フレーム特性学習部８０は、ＲＮＮ方式に基づいたフレーム特性学習モデル８１を含むことができるが、特性学習モデル８１は、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎに対応する空間特性情報の入力を順次受け、空間特性情報間の特徴を検出することができる。
循環ニューラルネットワーク（ＲＮＮ）は、現在のデータと過去のデータを同時に考慮するディープラーニング技法であって、循環ニューラルネットワーク（ＲＮＮ）は、人工ニューラルネットワークを構成するユニット間の接続が方向性サイクル（ｄｉｒｅｃｔｅｄ ｃｙｃｌｅ）を構成するニューラルネットワークを示す。さらに、循環ニューラルネットワーク（ＲＮＮ）を構成することができる構造には様々な方式が使用できるが、例えば、完全循環網（Ｆｕｌｌｙ Ｒｅｃｕｒｒｅｎｔ Ｎｅｔｗｏｒｋ）、ホップフィールド網（Ｈｏｐｆｉｅｌｄ Ｎｅｔｗｏｒｋ）、エルマン網（Ｅｌｍａｎ Ｎｅｔｗｏｒｋ）、ＥＳＮ（Ｅｃｈｏ ｓｔａｔｅ ｎｅｔｗｏｒｋ）、ＬＳＴＭ（Ｌｏｎｇ ｓ ｈｏｒｔ ｔｅｒｍ ｍｅｍｏｒｙ ｎｅｔｗｏｒｋ）、双方向（Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ）ＲＮＮ、ＣＴＲＮＮ（Ｃｏｎｔｉｎｕｏｕｓ－ｔｉｍｅ ＲＮＮ）、階層的ＲＮＮ、２次ＲＮＮなどが代表的な例である。また、循環ニューラルネットワーク（ＲＮＮ）を学習させるための方法として、傾斜降下法、脱へシアン最適化（Ｈｅｓｓｉａｎ Ｆｒｅｅ Ｏｐｔｉｍｉｚａｔｉｏｎ）、大域最適化法（Ｇｌｏｂａｌ Ｏｐｔｉｍｉｚａｔｉｏｎ Ｍｅｔｈｏｄ）などの方式が使用できる。
一方、空間特性情報は、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎから抽出された情報なので、フレーム特性学習部８０は、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎの時間的情報を確認し、確認された時間的情報に基づいて、空間特性情報に対するフレーム特性学習を処理することができる。
フレーム特性学習モデル８１は、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎの空間特性情報に対するフレーム特性を学習するので、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎに対応するフレーム特性８００－１、８００－２、８００－ｎをそれぞれ出力することができる。
さらに、空間特性情報は、フレーム特性学習モデル８１に順次入力でき、フレーム特性学習モデル８１は、フレーム特性８００－１、８００－２、８００－ｎを順次出力することができる。
ＣＮＮベースの病変特性学習部は、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎ単位に対する病変情報を出力するように構成できるので、フレーム特性学習部８０は、順次出力されるフレーム特性８００－１、８００－２、８００－ｎを特性学習部に伝達する並列化処理部８３をさらに含むことができる。
図９は本開示の一実施形態による脳血管疾患検出装置の構成を示すブロック図である。
図９を参照すると、脳血管疾患検出装置９０は、ＭＩＰ ＭＲＡ構成部９１、空間特性検出部９２、フレーム特性検出部９４、及び病変特性検出部９６を含むことができる。
ＭＩＰ ＭＲＡ構成部９１は、３Ｄ ＴＯＦ ＭＲＡ（３Ｄ Ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）の入力を受け、ＭＩＰ ＭＲＡ（Ｍａｘｉｍｕｍ ｉｎｔｅｎｓｉｔｙ ｐｒｏｊｅｃｔｉｏｎ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）を構成することができる。ここで、３Ｄ ＴＯＦ ＭＲＡは、脳領域で血管が存在する領域の信号を強く測定して取得した３Ｄ形状のＭＲＡであることができ、ＭＩＰ ＭＲＡは、３Ｄ ＴＯＦ ＭＲＡを様々な方向からプロジェクション（Ｐｒｏｊｅｃｔｉｏｎ）して取得した画像フレームを時系列的に組み合わせて構成した動画データであることができる。
例えば、ＭＩＰ ＭＲＡ構成部９１は、所定のプロジェクション位置を確認することができ、確認されたプロジェクション位置に対応する画像フレームを取得することができる。そして、ＭＩＰ ＭＲＡ構成部９１は、前述した動作を介して取得された複数の画像フレームを所定の時間単位を基準として時系列的に組み合わせて動画データを構成することができる。
例えば、図２を参照すると、複数の２Ｄ ＭＲＡ画像２００を積層して構成された３Ｄ ＴＯＦ ＭＲＡ２１０を中心に、少なくとも一つのプロジェクション位置が設定できるが、ＭＩＰ ＭＲＡ構成部９１は、第１プロジェクション位置Ｐ１で取得して第１画像フレームＦ１を構成し、第２プロジェクション位置Ｐ２で取得して第２画像フレームＦ２を構成することができる。ＭＩＰ ＭＲＡ構成部９１は、このような動作を繰り返し行い、ｎ個のプロジェクション位置Ｐｎに対応するｎ個の画像フレームＦｎを取得することができる。ＭＩＰ ＭＲＡ構成部９１は、ｎ個の画像フレームＦｎを所定の位置に沿って整列し、整列された複数の画像フレームを所定の時間単位９０ｍｓごとに配置及び組み合わせして動画データ形式のＭＩＰ ＭＲＡを構成することができる。
さらに、ＭＩＰ ＭＲＡは、画像フレームＦ１、Ｆ２、．．．、Ｆｎに対応するプロジェクション位置Ｐ１、Ｐ２、．．．、Ｐｎ及び時間又は配列順序に対する情報を含むことができる。
空間特性検出部９２は、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎそれぞれから空間特性を抽出することができる。特に、空間特性検出部９２は、前述した図１の空間特性学習モデル１３に対応する空間特性学習モデル９３を備えることができ、空間特性学習モデル９３を介して、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎそれぞれから空間特性を抽出することができる。
例えば、空間特性学習モデル９３には、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎの数に対応するＣＮＮが備えられることができる。空間特性検出部９２は、第１画像フレームＦ１を第１ＣＮＮの入力に伝達し、第２画像フレームＦ２を第２ＣＮＮの入力に伝達し、第ｎ画像フレームＦｎを第ｎＣＮＮの入力に伝達することができる。
これに対応して、空間特性学習モデル９３に備えられる複数のＣＮＮは、複数の画像フレームＦ１、Ｆ２、．．．、Ｆｎそれぞれに対応する複数の空間特性を出力することができ、空間特性検出部９２は、前述した複数の空間特性を順次配列してシーケンシャルなデータで構成することができる。この時、空間特性検出部９２は、画像フレームＦ１、Ｆ２、．．．、Ｆｎに対応するプロジェクション位置Ｐ１、Ｐ２、．．．、Ｐｎ及び時間又は配列順序に対する情報を考慮して直列化（Ｓｅｑｕｅｎｔｉａｌ）データを構成することができる。
一方、フレーム特性検出部９４は、直列化データで構成された複数の空間特性の入力を受け、画像フレーム間の関係に対する特性（すなわち、フレーム特性）を検出することができる。好ましくは、フレーム特性検出部９４は、循環ニューラルネットワーク（ＲＮＮ；Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｒｗｏｒｋ）学習方式に基づいたフレーム特性学習モデル９５を用いてフレーム特性を検出することができる。この時、フレーム特性学習モデル９５は、前述した図１のフレーム特性学習部１４を介して構築されたフレーム特性学習モデル１５であることができる。
一方、病変特性検出部９６は、複数の画像フレームＦ１、Ｆ２、．．．、Ｆｎそれぞれに対応する病変情報を学習することができる。このために、フレーム特性検出部９４は、シーケンシャルなデータで構成されたフレーム特性を再構成して並列化（ｐａｒａｌｌｅｌ）データを構成することができる。
病変特性検出部９６は、フレーム特性検出部９４から提供されるフレーム特性から病変特性を抽出することができる。特に、病変特性検出部９６は、前述した図１の病変特性学習部１６を介して構築された病変特性学習モデル１７に対応する病変特性学習モデル９７を備えることができる。
病変特性学習モデル９７は、ＣＮＮ学習方式に基づいた学習モデルであることができ、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎの数に対応するだけのＣＮＮを備えることができる。そして、病変特性検出部９６は、第１画像フレームＦ１に対応する第１フレーム特性を第１ＣＮＮの入力に伝達し、第２画像フレームＦ２に対応する第１フレーム特性を第２ＣＮＮの入力に伝達し、第ｎ画像フレームＦｎに対応する第ｎフレーム特性を第ｎＣＮＮの入力に伝達するように構成することができる。
さらに、空間特性学習モデル９３に備えられる複数のＣＮＮは、情報抽出ドメイン（Ｄｏｍａｉｎ）のサイズを減らすプーリング（Ｐｏｏｌｉｎｇ）構造を備えることができ、病変特性学習モデル９７に備えられる複数のＣＮＮは、特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）のドメイン（Ｄｏｍａｉｎ）サイズを増やすアップサンプリング（ｕｐｓａｍｐｌｉｎｇ）構造を備えることができる。
空間特性学習モデル９３及び病変特性学習モデル９７に備えられる複数のＣＮＮは、それぞれ２回の３×３畳み込みを備えることが好ましい。また、空間特性学習モデル９３は、２×２最大プーリング演算（ｍａｘ－ｐｏｏｌｉｎｇ ｏｐｅｒａｔｉｏｎ）構造を備え、病変特性学習モデル９７は、共一次内挿法（ｂｉｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）で長さと幅を２倍に増加させる構造を備えることができる。
たとえ、本開示の一実施形態において、空間特性学習モデル９３及び病変特性学習モデル９７に備えられる畳み込みのサイズ及び個数、空間特性学習モデル９３に備えられるプーリング（Ｐｏｏｌｉｎｇ）構造、及びアップサンプリング（ｕｐｓａｍｐｌｉｎｇ）構造などを例示したが、本開示は、これに限定されるものではなく、多様に変更できるのはいうまでもない。
さらに、空間特性学習モデル９３及び病変特性学習モデル９７の詳細な構造は、前述した図４乃至図７に例示される空間特性学習モデル及び病変特性学習モデルの構造を参照する。また、フレーム特性学習モデル９５の詳細な構造は、前述した図８に例示されるフレーム特性学習モデルの構造を参照する。
図１０は本開示の一実施形態による脳血管疾患学習方法の手順を示すフローチャートである。
本開示の一実施形態による脳血管疾患学習方法は、前述した本開示の一実施形態による脳血管疾患学習装置によって実行できる。
図１０を参照すると、まず、脳血管疾患学習装置は、３Ｄ ＴＯＦ ＭＲＡ（３Ｄ Ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）の入力を受け、ＭＩＰ ＭＲＡ（Ｍａｘｉｍｕｍ ｉｎｔｅｎｓｉｔｙ ｐｒｏｊｅｃｔｉｏｎ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）を構成することができる（Ｓ１００１）。ここで、３Ｄ ＴＯＦ ＭＲＡは、脳領域で血管が存在する領域の信号を強く測定して取得した３Ｄ形状のＭＲＡであることができ、ＭＩＰ ＭＲＡは、３Ｄ ＴＯＦ ＭＲＡを様々な方向からプロジェクション（Ｐｒｏｊｅｃｔｉｏｎ）して取得した画像フレームを時系列的に組み合わせて構成した動画データであることができる。
例えば、脳血管疾患学習装置は、所定のプロジェクション位置を確認することができ、確認されたプロジェクション位置に対応する画像フレームを取得することができる。そして、脳血管疾患学習装置は、前述した動作によって取得された複数の画像フレームを所定の時間単位を基準として時系列的に組み合わせて動画データを構成することができる。
例えば、複数の２Ｄ ＭＲＡ画像を積層して構成された３Ｄ ＴＯＦ ＭＲＡを中心に、少なくとも一つのプロジェクション位置が設定できるが、脳血管疾患学習装置は、第１プロジェクション位置Ｐ１で取得して第１画像フレームＦ１を構成し、第２プロジェクション位置Ｐ２で取得して第２画像フレームＦ２を構成することができる。脳血管疾患学習装置は、このような動作を繰り返し行い、ｎ個のプロジェクション位置Ｐｎに対応するｎ個の画像フレームＦｎを取得することができる。脳血管疾患学習装置は、ｎ個の画像フレームＦｎを所定の位置に沿って整列し、整列された複数の画像フレームを所定の時間単位１０ｍｓごとに配置及び組み合わせして動画データ形式のＭＩＰ ＭＲＡを構成することができる。
さらに、ＭＩＰ ＭＲＡは、画像フレームＦ１、Ｆ２、．．．、Ｆｎに対応するプロジェクション位置Ｐ１、Ｐ２、．．．、Ｐｎ及び時間又は配列順序に対する情報を含むことができる。
脳血管疾患学習装置は、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎそれぞれに対する学習を行って空間特性学習モデルを構築することができ、好ましくは、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）学習方式に基づいて空間特性学習モデルを構築することができる（Ｓ１００２）。
空間特性学習モデルの構築の際に画像フレームＦ１、Ｆ２、．．．、Ｆｎに対応するプロジェクション位置Ｐ１、Ｐ２、．．．、Ｐｎ及び時間又は配列順序に対する情報を考慮することができる。例えば、空間特性学習モデルには、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎの数に対応するＣＮＮが備えられることができ、脳血管疾患学習装置は、第１画像フレームＦ１を第１ＣＮＮの入力に伝達し、第２画像フレームＦ２を第２ＣＮＮの入力に伝達し、第ｎ画像フレームＦｎを第ｎＣＮＮの入力に伝達するように構成することができる。
脳血管疾患学習装置は、画像フレームＦ１、Ｆ２、．．．、Ｆｎに対応するプロジェクション位置Ｐ１、Ｐ２、．．．、Ｐｎ及び時間又は配列順序に対する情報を考慮して、画像フレームＦ１、Ｆ２、．．．、Ｆｎを複数のＣＮＮに提供することができる。例えば、脳血管疾患学習装置は、第１画像フレームＦ１を第１ＣＮＮの入力に伝達し、第２画像フレームＦ２を第２ＣＮＮの入力に伝達し、第ｎ画像フレームＦｎを第ｎＣＮＮの入力に伝達するように構成することができる。
空間特性学習モデルに備えられるＣＮＮの具体的な構造及び動作は、前述した図４乃至図７の説明を参照する。
さらに、空間特性学習モデルに備えられる複数のＣＮＮは、それぞれ２回の３×３畳み込みを備えることが好ましい。また、空間特性学習モデルは、２×２最大プーリング演算（ｍａｘ－ｐｏｏｌｉｎｇ ｏｐｅｒａｔｉｏｎ）構造を備えることができる。
また、脳血管疾患学習装置は、複数のＣＮＮを介して出力される複数の空間特性を直列化することができる（Ｓ１００３）。脳血管疾患学習装置は、プロジェクション位置Ｐ１、Ｐ２、．．．、Ｐｎ及び時間又は配列順序に対する情報を考慮して、複数の空間特性を直列化することが好ましい。
一方、脳血管疾患学習装置は、直列化データで構成された複数の空間特性の入力を受け、画像フレーム間の関係に対する特性（すなわち、フレーム特性）を検出する学習を行うことができる（Ｓ１００４）。好ましくは、脳血管疾患学習装置は、循環ニューラルネットワーク（ＲＮＮ、Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｒｗｏｒｋ）学習方式に基づいてフレーム特性学習モデルを構築することができる。
循環ニューラルネットワーク（ＲＮＮ）は、現在のデータと過去のデータを同時に考慮するディープラーニング手法であって、循環ニューラルネットワーク（ＲＮＮ）は、人工ニューラルネットワークを構成するユニット間の接続が、方向性サイクル（ｄｉｒｅｃｔｅｄ ｃｙｃｌｅ）を構成するニューラルネットワークを示す。さらに、循環ニューラルネットワーク（ＲＮＮ）を構成することができる構造には、様々な方式が使用できるが、例えば、完全循環網（Ｆｕｌｌｙ Ｒｅｃｕｒｒｅｎｔ Ｎｅｔｗｏｒｋ）、ホップフィールド網（Ｈｏｐｆｉｅｌｄ Ｎｅｔｗｏｒｋ）、エルマン網（Ｅｌｍａｎ Ｎｅｔｗｏｒｋ）、ＥＳＮ（Ｅｃｈｏ ｓｔａｔｅ ｎｅｔｗｏｒｋ）、ＬＳＴＭ（Ｌｏｎｇ ｓｈｏｒｔ ｔｅｒｍ ｍｅｍｏｒｙ ｎｅｔｗｏｒｋ）、双方向（Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ）ＲＮＮ、ＣＴＲＮＮ（Ｃｏｎｔｉｎｕｏｕｓ－ｔｉｍｅ ＲＮＮ）、階層的ＲＮＮ、２次ＲＮＮなどが代表的な例である。また、循環ニューラルネットワーク（ＲＮＮ）を学習させるための方法として、傾斜降下法、脱へシアン最適化（Ｈｅｓｓｉａｎ Ｆｒｅｅ Ｏｐｔｉｍｉｚａｔｉｏｎ）、大域最適化法（Ｇｌｏｂａｌ Ｏｐｔｉｍｉｚａｔｉｏｎ Ｍｅｔｈｏｄ）などの方式が使用できる。
一方、空間特性情報は、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎから抽出された情報なので、脳血管疾患学習装置は、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎの時間的情報を確認し、確認された時間的情報に基づいて、空間特性情報に対するフレーム特性学習を処理することができる。
脳血管疾患学習装置は、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎの空間特性情報に対するフレーム特性を学習するので、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎに対応するフレーム特性をそれぞれ出力することができる。
さらに、空間特性情報は、フレーム特性学習モデルに順次提供でき、フレーム特性学習モデルは、フレーム特性を順次出力することができる。
一方、ＣＮＮベースの病変特性学習部は、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎ単位に対する病変情報を出力するように構成できるので、脳血管疾患学習装置は、順次出力されるフレーム特性を病変特性学習部に伝達するために並列化を行う動作（Ｓ１００５）をさらに処理することができる。
次に、Ｓ１００６ステップで、脳血管疾患学習装置は、複数の画像フレームＦ１、Ｆ２、．．．、Ｆｎそれぞれに対応する病変情報を学習することができる（Ｓ１００６）。例えば、脳血管疾患学習装置は、フレーム特性を用いて病変特性学習モデルを構築することができる。
病変特性学習モデルは、ＣＮＮ学習方式に基づいた学習モデルであることができ、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎの数に対応するだけのＣＮＮを備えることができる。そして、脳血管疾患学習装置は、第１画像フレームＦ１に対応する第１フレーム特性を第１ＣＮＮの入力に伝達し、第２画像フレームＦ２に対応する第１フレーム特性を第２ＣＮＮの入力に伝達し、第ｎ画像フレームＦｎに対応する第ｎフレーム特性を第ｎＣＮＮの入力に伝達するように構成することができる。
さらに、空間特性学習モデルに備えられる複数のＣＮＮは、情報抽出ドメイン（Ｄｏｍａｉｎ）のサイズを減らすプーリング（Ｐｏｏｌｉｎｇ）構造であるので、空間特性学習モデルとフレーム特性学習モデルを介して病変特性学習モデルに伝達される情報は、プーリング（Ｐｏｏｌｉｎｇ）構造に基づいて所定の大きさに圧縮された情報であることができる。これに基づいて、病変特性学習モデルは、入力された情報の補間を介して、そのドメイン（Ｄｏｍａｉｎ）サイズを増やすアップサンプリング（ｕｐｓａｍｐｌｉｎｇ）構造を備えることができる。
さらに、病変特性学習モデルに備えられる複数のＣＮＮは、それぞれ２回の３×３畳み込みを備えることができる。
脳血管疾患学習装置は、前述した方法によって３Ｄ ＴＯＦ ＭＲＡ（３Ｄ Ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）の入力を受け、これに対応する病変情報を出力する学習を行うことができる。
たとえ、本開示の一実施形態において、空間特性学習モデル及び病変特性学習モデルに備えられる畳み込みのサイズ及び数、空間特性学習モデルに備えられるプーリング（Ｐｏｏｌｉｎｇ）構造と、アップサンプリング（ｕｐｓａｍｐｌｉｎｇ）構造などを例示したが、本開示は、これに限定されるものではなく、多様に変更できるのはいうまでもない。
図１１は本開示の一実施形態による脳血管疾患検出方法の手順を示すフローチャートである。
本開示の一実施形態による脳血管疾患検出方法は、前述した本開示の一実施形態による脳血管疾患検出装置によって実行できる。
図１１を参照すると、まず、脳血管疾患検出装置は、３Ｄ ＴＯＦ ＭＲＡ（３Ｄ Ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）の入力を受け、ＭＩＰ ＭＲＡ（Ｍａｘｉｍｕｍ ｉｎｔｅｎｓｉｔｙ ｐｒｏｊｅｃｔｉｏｎ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）を構成することができる（Ｓ１１０１）。ここで、３Ｄ ＴＯＦ ＭＲＡは、脳領域で血管が存在する領域の信号を強く測定して取得した３Ｄ形状のＭＲＡであることができ、ＭＩＰ ＭＲＡは、３Ｄ ＴＯＦ ＭＲＡを様々な方向からプロジェクション（Ｐｒｏｊｅｃｔｉｏｎ）して取得した画像フレームを時系列的に組み合わせて構成した動画データであることができる。
例えば、脳血管疾患検出装置は、所定のプロジェクション位置を確認することができ、確認されたプロジェクション位置に対応する画像フレームを取得することができる。そして、脳血管疾患検出装置は、前述した動作によって取得された複数の画像フレームを所定の時間単位を基準として時系列的に組み合わせて動画データを構成することができる。
例えば、複数の２Ｄ ＭＲＡ画像を積層して構成された３Ｄ ＴＯＦ ＭＲＡを中心に少なくとも一つのプロジェクション位置が設定できるが、脳血管疾患検出装置は、第１プロジェクション位置Ｐ１で取得して第１画像フレームＦ１を構成し、第２プロジェクション位置Ｐ２で取得して第２画像フレームＦ２を構成することができる。脳血管疾患検出装置は、このような動作を繰り返し行い、ｎ個のプロジェクション位置Ｐｎに対応するｎ個の画像フレームＦｎを取得することができる。脳血管疾患検出装置は、ｎ個の画像フレームＦｎを所定の位置に沿って整列し、整列された複数の画像フレームを所定の時間単位１０ｍｓごとに配置及び組み合わせして動画データ形式のＭＩＰ ＭＲＡを構成することができる。
さらに、ＭＩＰ ＭＲＡは、画像フレームＦ１、Ｆ２、．．．、Ｆｎに対応するプロジェクション位置Ｐ１、Ｐ２、．．．、Ｐｎ及び時間又は配列順序に対する情報を含むことができる。
次に、脳血管疾患検出装置は、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎそれぞれから空間特性を抽出することができる（Ｓ１１０２）。特に、脳血管疾患検出装置は、前述した脳血管疾患学習方法によって構築された空間特性学習モデルを備えることができ、空間特性学習モデルを用いて、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎそれぞれから空間特性を抽出することができる。
例えば、空間特性学習モデルには、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎの数に対応するＣＮＮが備えられることができ、脳血管疾患検出装置は、第１画像フレームＦ１を第１ＣＮＮの入力に伝達し、第２画像フレームＦ２を第２ＣＮＮの入力に伝達し、第ｎ画像フレームＦｎを第ｎＣＮＮの入力に伝達することができる。
空間特性学習モデルに備えられるＣＮＮの具体的な構造及び動作は、前述した図４乃至図７の説明を参照する。
さらに、空間特性学習モデルに備えられる複数のＣＮＮは、それぞれ２回の３×３畳み込みを備えることが好ましい。また、空間特性学習モデルは、２×２最大プーリング演算（ｍａｘ－ｐｏｏｌｉｎｇ ｏｐｅｒａｔｉｏｎ）構造を備えることができる。
また、脳血管疾患検出装置は、複数のＣＮＮ３１－１、３１－２、３１－ｎを介して出力される複数の空間特性を直列化することができる（Ｓ１１０３）。脳血管疾患検出装置は、プロジェクション位置Ｐ１、Ｐ２、．．．、Ｐｎ及び時間又は配列順序に対する情報を考慮して、複数の空間特性を直列化することが好ましい。
一方、脳血管疾患検出装置は、直列化データで構成された複数の空間特性の入力を受け、画像フレーム間の関係に対する特性（すなわち、フレーム特性）を検出することができる（Ｓ１１０４）。好ましくは、脳血管疾患検出装置は、循環ニューラルネットワーク（ＲＮＮ、Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｒｗｏｒｋ）学習方式に基づいたフレーム特性学習モデルを用いてフレーム特性を検出することができる。この時、フレーム特性学習モデルは、前述した脳血管疾患学習方法によって構築されたフレーム特性学習モデルであることができる。
さらに、空間特性情報は、フレーム特性学習モデルに順次提供でき、フレーム特性学習モデルは、フレーム特性を順次出力することができる。
一方、ＣＮＮベースの病変特性学習モデルは、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎ単位に対する病変情報を出力するように構成できるので、脳血管疾患検出装置は、順次出力されるフレーム特性を病変特性学習部に伝達するために並列化を行う動作（Ｓ１１０５）をさらに処理することができる。
脳血管疾患検出装置は、フレーム特性から病変特性を抽出することができる（Ｓ１１０６）。特に、脳血管疾患検出装置は、脳血管疾患学習方法によって構築された病変特性学習モデルを備えることができる。
病変特性学習モデルは、ＣＮＮ学習方式に基づいた学習モデルであることができ、ＭＩＰ ＭＲＡに含まれている画像フレームＦ１、Ｆ２、．．．、Ｆｎの数に対応するだけのＣＮＮを備えることができる。そして、脳血管疾患検出装置は、第１画像フレームＦ１に対応する第１フレーム特性を第１ＣＮＮの入力に伝達し、第２画像フレームＦ２に対応する第１フレーム特性を第２ＣＮＮの入力に伝達し、第ｎ画像フレームＦｎに対応する第ｎフレーム特性を第ｎＣＮＮの入力に伝達するように構成することができる。
さらに、空間特性学習モデルに備えられる複数のＣＮＮは、情報抽出ドメイン（Ｄｏｍａｉｎ）のサイズを減らすプーリング（Ｐｏｏｌｉｎｇ）構造であるので、空間特性学習モデルとフレーム特性学習モデルを介して病変特性学習モデルに伝達される情報は、プーリング（Ｐｏｏｌｉｎｇ）構造に基づいて所定の大きさに圧縮された情報であることができる。これに基づいて、病変特性学習モデルは、入力された情報の補間を介して、そのドメイン（Ｄｏｍａｉｎ）サイズを増やすアップサンプリング（ｕｐｓａｍｐｌｉｎｇ）構造を備えることができる。
さらに、病変特性学習モデルに備えられる複数のＣＮＮは、それぞれ２回の３×３畳み込みを備えることができる。
脳血管疾患検出装置は、前述した方法によって３Ｄ ＴＯＦ ＭＲＡ（３Ｄ Ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）の入力を受け、これに対応する病変情報を検出及び出力する動作を行うことができる。
たとえ、本開示の一実施形態において、空間特性学習モデル及び病変特性学習モデルに備えられる畳み込みのサイズ及び個数、空間特性学習モデルに備えられるプーリング（Ｐｏｏｌｉｎｇ）構造、及びアップサンプリング（ｕｐｓａｍｐｌｉｎｇ）構造などを例示したが、本開示は、これに限定されるものではなく、多様に変更できるのはいうまでもない。
図１２は本開示の一実施形態による脳血管疾患学習方法及び脳血管疾患検出方法を実行するコンピューティングシステムを例示するブロック図である。
図１２を参照すると、コンピューティングシステム１０００は、バス１２００を介して接続される少なくとも一つのプロセッサ１１００、メモリ１３００、ユーザインターフェース入力装置１４００、ユーザインターフェース出力装置１５００、ストレージ１６００、及びネットワークインターフェース１７００を含むことができる。
プロセッサ１１００は、中央処理装置（ＣＰＵ）又はメモリ１３００及び／又はストレージ１６００に保存された命令語に対する処理を実行する半導体装置であることができる。メモリ１３００及びストレージ１６００は、さまざまな種類の揮発性又は不揮発性記憶媒体を含むことができる。例えば、メモリ１３００は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を含むことができる。
したがって、本明細書に開示された実施形態と関連して説明された方法又はアルゴリズムのステップは、プロセッサ１１００によって実行されるハードウェア、ソフトウェアモジュール、又はその２つの組み合わせで直接実現できる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、着脱型ディスク、ＣＤ－ＲＯＭなどの記憶媒体（すなわち、メモリ１３００及び／又はストレージ１６００）に常駐することもできる。例示的な記憶媒体は、プロセッサ１１００にカップリングされ、そのプロセッサ１１００は、記憶媒体から情報を読み取ることができ、記憶媒体に情報を書き込むことができる。他の方法として、記憶媒体は、プロセッサ１１００と一体型であることもできる。プロセッサ及び記憶媒体は、特定用途向け集積回路（ＡＳＩＣ）内に常駐することもできる。ＡＳＩＣは、ユーザ端末内に常駐することもできる。別の方法として、プロセッサ及び記憶媒体は、ユーザ端末内に個別コンポーネントとして常駐することもできる。
本開示の例示的な方法は、説明の明確性のために動作のシリーズで表現されているが、これは、ステップが行われる順序を制限するためのものではなく、必要な場合には、それぞれのステップが同時に又は異なる順序で行われることも可能である。本開示による方法を実現するために、例示するステップにさらに他のステップを含むか、一部のステップを除いて残りのステップを含むか、或いは一部のステップを除いて更なる他のステップを含むことも可能である。
本開示の様々な実施形態は、すべての可能な組み合わせを羅列したものではなく、本開示の代表的な様相を説明するためのものであり、様々な実施形態で説明する事項は、独立して適用されるか、或いは二つ以上の組み合わせで適用されることも可能である。
また、本開示の様々な実施形態は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェア、又はそれらの組み合わせなどによって実現できる。ハードウェアによる実現の場合、一つ又はそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、汎用プロセッサ（ｇｅｎｅｒａｌ ｐｒｏｃｅｓｓｏｒ）、コントローラ、マイクロコントローラ、マイクロプロセッサなどによって実現できる。
本開示の範囲は、様々な実施形態の方法による動作が装置又はコンピュータ上で実行されるようにするソフトウェア又はマシン－実行可能な命令（例えば、オペレーティングシステム、アプリケーション、ファームウェア（ｆｉｒｍｗａｒｅ）、プログラムなど）、及びこのようなソフトウェア又は命令などが保存されて装置又はコンピュータ上で実行可能な非一時的コンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ－ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を含む。

Claims (11)

  1. 画像に基づいて学習モデルを構築する電子装置において、
    ３Ｄ ＴＯＦ ＭＲＡ（３Ｄ Ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）の入力を受け、複数の画像フレームを含むＭＩＰ ＭＲＡ（Ｍａｘｉｍｕｍ ｉｎｔｅｎｓｉｔｙ ｐｒｏｊｅｃｔｉｏｎ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）を構成するＭＩＰ ＭＲＡ構成部と、
    ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）学習方式に基づいた空間特性学習モデルを構築し、前記空間特性学習モデルは前記複数の画像フレームそれぞれに対する空間特性を学習する空間特性学習部と、
    前記空間特性の入力を受け、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）学習方式に基づいたフレーム特性学習モデルを構築し、前記フレーム特性学習モデルは複数の画像フレーム間の特性を示すフレーム特性を学習するフレーム特性学習部と、
    前記フレーム特性の入力を受け、前記ＣＮＮ学習方式に基づいた病変特性学習モデルを構築し、前記病変特性学習モデルは前記複数の画像フレームそれぞれに対する病変特性を学習する病変特性学習部と、を含むことを特徴とする、脳血管疾患学習装置。
  2. 前記空間特性学習モデルは、
    前記複数の画像フレームの入力をそれぞれ受け、入力された画像フレームに対する空間特性を学習する複数のＣＮＮを含むことを特徴とする、請求項１に記載の脳血管疾患学習装置。
  3. 前記空間特性学習部は、
    前記複数の画像フレームそれぞれに対する複数の空間特性を直列化する直列化処理部を含むことを特徴とする、請求項１に記載の脳血管疾患学習装置。
  4. 前記フレーム特性学習部は、
    前記フレーム特性学習モデルを介して出力されるフレーム特性を、前記複数の画像フレームを考慮して並列化する並列化処理部を含むことを特徴とする、請求項１に記載の脳血管疾患学習装置。
  5. 前記空間特性学習モデルは、
    所定の大きさの最大プーリング演算（ｍａｘ－ｐｏｏｌｉｎｇ ｏｐｅｒａｔｉｏｎ）構造を備えることを特徴とする、請求項１に記載の脳血管疾患学習装置。
  6. 前記病変特性学習モデルは、
    前記所定の大きさを考慮して、前記フレーム特性の特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）の大きさを増加させるアップサンプリング（ｕｐｓａｍｐｌｉｎｇ）構造を備えることを特徴とする、請求項５に記載の脳血管疾患学習装置。
  7. 画像に基づいて病変を検出する電子装置において、
    ３Ｄ ＴＯＦ ＭＲＡ（３Ｄ Ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）の入力を受け、複数の画像フレームを含むＭＩＰ ＭＲＡ（Ｍａｘｉｍｕｍ ｉｎｔｅｎｓｉｔｙ ｐｒｏｊｅｃｔｉｏｎ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）を構成するＭＩＰ ＭＲＡ構成部と、
    ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）学習方式に基づいて、前記複数の画像フレームそれぞれに対する空間特性の学習によって構築された空間特性学習モデルを備え、前記空間特学習モデルを用いて前記複数の画像フレームそれぞれに対する空間特性を検出する空間特性検出部と、
    ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）学習方式に基づいて、前記空間特性に対応するフレーム特性の学習によって構築されたフレーム特性学習モデルを備え、前記フレーム特性学習モデルを用いて前記フレーム特性を検出するフレーム特性検出部と、
    前記ＣＮＮ学習方式に基づいて、前記フレーム特性に対応する病変特性の学習によって構築された病変特性学習モデルを備え、前記病変特性学習モデルを用いて前記複数の画像フレームそれぞれに対する病変特性を検出する病変特性検出部と、を含むことを特徴とする、脳血管疾患検出装置。
  8. 前記空間特性検出部は、
    前記複数の画像フレームそれぞれに対する複数の空間特性を直列化する直列化処理部を含み、
    前記フレーム特性検出部は、
    前記フレーム特性学習モデルを介して出力されるフレーム特性を、前記複数の画像フレームを考慮して並列化する並列化処理部を含むことを特徴とする、請求項７に記載の脳血管疾患検出装置。
  9. 前記空間特性学習モデルは、
    所定の大きさの最大プーリング演算（ｍａｘ－ｐｏｏｌｉｎｇ ｏｐｅｒａｔｉｏｎ）構造を備え、
    前記病変特性学習モデルは、
    前記所定の大きさを考慮して、前記フレーム特性の特徴マップ（ｆｅａｔｕｒｅ ｍａｐ）の大きさを増加させるアップサンプリング（ｕｐｓａｍｐｌｉｎｇ）構造を備えることを特徴とする、請求項７に記載の脳血管疾患検出装置。
  10. 電子装置が画像に基づいて学習モデルを構築する方法において、
    ３Ｄ ＴＯＦ ＭＲＡ（３Ｄ Ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）の入力を受け、複数の画像フレームを含むＭＩＰ ＭＲＡ（Ｍａｘｉｍｕｍ ｉｎｔｅｎｓｉｔｙ ｐｒｏｊｅｃｔｉｏｎ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）を構成する過程と、
    ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）学習方式に基づいた空間特性学習モデルを構築し、前記空間特性学習モデルは前記複数の画像フレームそれぞれに対する空間特性を学習する過程と、
    前記空間特性の入力を受け、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）学習方式に基づいたフレーム特性学習モデルを構築し、前記フレーム特性学習モデルは複数の画像フレーム間の特性を示すフレーム特性を学習する過程と、
    前記フレーム特性の入力を受け、前記ＣＮＮ学習方式に基づいた病変特性学習モデルを構築し、前記病変特性学習モデルは前記複数の画像フレームそれぞれに対する病変特性を学習する過程と、を含むことを特徴とする、脳血管疾患学習方法。
  11. 電子装置が画像に基づいて病変を検出する方法において、
    ３Ｄ ＴＯＦ ＭＲＡ（３Ｄ Ｔｉｍｅ－ｏｆ－ｆｌｉｇｈｔ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）の入力を受け、複数の画像フレームを含むＭＩＰ ＭＲＡ（Ｍａｘｉｍｕｍ ｉｎｔｅｎｓｉｔｙ ｐｒｏｊｅｃｔｉｏｎ ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ａｎｇｉｏｇｒａｐｈｙ）を構成する過程と、
    空間特性学習モデルを用いて前記複数の画像フレームそれぞれに対する空間特性を検出し、前記空間特性学習モデルはＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）学習方式に基づいて、前記複数の画像フレームそれぞれに対する空間特性の学習によって構築された学習モデルであることを特徴とする過程と、
    フレーム特性学習モデルを用いて前記フレーム特性を検出し、前記フレーム特性学習モデルはＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）学習方式に基づいて、前記空間特性に対応するフレーム特性の学習によって構築された学習モデルであることを特徴とする過程と、
    病変特性学習モデルを用いて前記複数の画像フレームそれぞれに対する病変特性を検出し、前記病変特性学習モデルは前記ＣＮＮ学習方式に基づいて、前記フレーム特性に対応する病変特性の学習によって構築された学習モデルであることを特徴とする過程と、を含むことを特徴とする、脳血管疾患検出方法。
JP2021538436A 2018-12-27 2019-12-27 脳血管疾患学習装置、脳血管疾患検出装置、脳血管疾患学習方法、及び脳血管疾患検出方法 Pending JP2022516146A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2018-0171151 2018-12-27
KR1020180171151A KR102021515B1 (ko) 2018-12-27 2018-12-27 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법
PCT/KR2019/018586 WO2020139009A1 (ko) 2018-12-27 2019-12-27 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법

Publications (1)

Publication Number Publication Date
JP2022516146A true JP2022516146A (ja) 2022-02-24

Family

ID=68067139

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021538436A Pending JP2022516146A (ja) 2018-12-27 2019-12-27 脳血管疾患学習装置、脳血管疾患検出装置、脳血管疾患学習方法、及び脳血管疾患検出方法

Country Status (4)

Country Link
US (1) US20220122729A1 (ja)
JP (1) JP2022516146A (ja)
KR (1) KR102021515B1 (ja)
WO (1) WO2020139009A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102021515B1 (ko) * 2018-12-27 2019-09-16 (주)제이엘케이인스펙션 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법
KR102288727B1 (ko) 2019-10-29 2021-08-10 동아대학교 산학협력단 딥러닝 기반의 아밀로이드 양성 반응을 나타내는 퇴행성 뇌질환 이미지 분류 장치 및 방법
JP7297705B2 (ja) * 2020-03-18 2023-06-26 株式会社東芝 処理装置、処理方法、学習装置およびプログラム
JP7481956B2 (ja) * 2020-08-26 2024-05-13 株式会社東芝 推論装置、方法、プログラムおよび学習装置
KR102554282B1 (ko) 2020-12-04 2023-07-11 서울과학기술대학교 산학협력단 객체 추천 장치, 방법 및 시스템
KR102562377B1 (ko) * 2020-12-29 2023-08-01 성균관대학교산학협력단 우울증 진단 정보를 제공하기 위한 인공지능 연합학습 방법 및 시스템
KR20220124643A (ko) 2021-03-02 2022-09-14 고려대학교 산학협력단 합성곱 신경망을 기반으로 한 petra 이미지와 tof 이미지 간 이미지 변환 시스템 및 그 방법
KR20230106205A (ko) 2022-01-05 2023-07-13 동아대학교 산학협력단 합성곱 신경망의 계층 연관성 전파를 이용한 퇴행성 뇌질환 이미지 분류 장치 및 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10871536B2 (en) * 2015-11-29 2020-12-22 Arterys Inc. Automated cardiac volume segmentation
KR101980955B1 (ko) * 2016-08-22 2019-05-21 한국과학기술원 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법 및 시스템
KR101754291B1 (ko) * 2017-04-04 2017-07-06 이현섭 개인 맞춤형 뇌질병 진단 및 상태 판정을 위한 의료 영상 처리 시스템 및 방법
KR101884609B1 (ko) * 2017-05-08 2018-08-02 (주)헬스허브 모듈화된 강화학습을 통한 질병 진단 시스템
KR102021515B1 (ko) * 2018-12-27 2019-09-16 (주)제이엘케이인스펙션 뇌혈관 질환 학습 장치, 뇌혈관 질환 검출 장치, 뇌혈관 질환 학습 방법 및 뇌혈관 질환 검출 방법

Also Published As

Publication number Publication date
US20220122729A1 (en) 2022-04-21
KR102021515B1 (ko) 2019-09-16
WO2020139009A1 (ko) 2020-07-02

Similar Documents

Publication Publication Date Title
JP2022516146A (ja) 脳血管疾患学習装置、脳血管疾患検出装置、脳血管疾患学習方法、及び脳血管疾患検出方法
JP6993371B2 (ja) ディープラーニングに基づいたコンピュータ断層撮影肺結節検出法
KR102058884B1 (ko) 치매를 진단을 하기 위해 홍채 영상을 인공지능으로 분석하는 방법
US10039501B2 (en) Computer-aided diagnosis (CAD) apparatus and method using consecutive medical images
Sevastopolsky Optic disc and cup segmentation methods for glaucoma detection with modification of U-Net convolutional neural network
KR101857624B1 (ko) 임상 정보를 반영한 의료 진단 방법 및 이를 이용하는 장치
Khagi et al. Pixel-label-based segmentation of cross-sectional brain MRI using simplified SegNet architecture-based CNN
US9990729B2 (en) Methods of and apparatuses for modeling structures of coronary arteries from three-dimensional (3D) computed tomography angiography (CTA) images
US11769594B2 (en) Deep learning model learning device and method for cancer region
WO2020219915A1 (en) Denoising magnetic resonance images using unsupervised deep convolutional neural networks
US11854193B2 (en) Validity evaluation device for cancer region detection
EP3555850A1 (en) System and method for image segmentation using a joint deep learning model
CN113424222A (zh) 用于使用条件生成对抗网络提供中风病灶分割的系统和方法
US11922624B2 (en) Brain lesion information provision device and method
KR102056989B1 (ko) 머신러닝 기반의 gre 영상을 활용한 혈전 분류 방법 및 시스템
KR101932008B1 (ko) 영상의 특징 및 맥락에 기초한 영상 분석 장치 및 방법
KR102163225B1 (ko) 뉴럴 네트워크를 이용한 영상 분할 방법 및 그 장치
Yang et al. Generative Adversarial Networks (GAN) Powered Fast Magnetic Resonance Imaging--Mini Review, Comparison and Perspectives
Laumer et al. Weakly supervised inference of personalized heart meshes based on echocardiography videos
KR102100699B1 (ko) 병변 통합 학습 모델을 구축하는 장치와 방법, 및 상기 병변 통합 학습 모델을 사용하여 병변을 진단하는 장치와 방법
CN112348825A (zh) 一种用于视网膜血流图像分割的DR-U-net网络方法及装置
KR20230139257A (ko) 기계 학습 모델 기반의 ct 영상을 분류 및 분할하기 위한 방법 및 장치
WO2021015232A1 (ja) 学習装置、方法およびプログラム、グラフ構造抽出装置、方法およびプログラム、並びに学習済み抽出モデル
KR20200041773A (ko) 암 영역 정보 보정 장치 및 방법
Atehortúa et al. Characterization of motion patterns by a spatio-temporal saliency descriptor in cardiac cine MRI