JP2022535811A - 肺炎徴候の分割方法、装置、媒体及び電子デバイス - Google Patents

肺炎徴候の分割方法、装置、媒体及び電子デバイス Download PDF

Info

Publication number
JP2022535811A
JP2022535811A JP2021571620A JP2021571620A JP2022535811A JP 2022535811 A JP2022535811 A JP 2022535811A JP 2021571620 A JP2021571620 A JP 2021571620A JP 2021571620 A JP2021571620 A JP 2021571620A JP 2022535811 A JP2022535811 A JP 2022535811A
Authority
JP
Japan
Prior art keywords
image
pneumonia
images
region
symptom
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021571620A
Other languages
English (en)
Other versions
JP7304437B2 (ja
Inventor
瑜 王
少康 王
寛 陳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Infervision Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Infervision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd, Infervision Co Ltd filed Critical Infervision Medical Technology Co Ltd
Publication of JP2022535811A publication Critical patent/JP2022535811A/ja
Application granted granted Critical
Publication of JP7304437B2 publication Critical patent/JP7304437B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本発明は、肺炎徴候の分割方法、分割装置、コンピュータ読取可能な記憶媒体及び電子デバイスを開示し、ＣＴ画像における肺臓領域画像を複数のニューラルネットワークモデルのそれぞれに入力して複数の肺炎徴候画像をそれぞれ取得してから、複数の肺炎徴候画像を組み合わせて肺炎総合徴候画像を生成する。ニューラルネットワークモデルを利用することによって、検出対象としての大量のＣＴ画像から肺炎徴候画像を効率よく且つ高い精度で取得することができ、その後に行われる肺炎の診断作業のために信頼性の高いデータ根拠を提供する。

Description

本発明は画像処理分野に関し、詳しくはＣＴ画像における肺炎徴候に基づく分割方法、分割装置、コンピュータ読取可能な記憶媒体及び電子デバイスに関する。
コンピュータ断層撮影（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ，ＣＴと略称）はディジタル幾何学処理に基づく再構築を利用した三次元の放射線医学映像である。該技術は主に、単一の軸平面におけるＸ線を用いて人体に対して回転照射を行う。Ｘ線を吸収する能力（又は阻止率と称する）は組織によって異なるため、コンピュータの三次元技術を利用して断層面の映像を再構築することができる。ウィンドウ幅、ウィンドウレベルの処理を経て、対応する組織の断層映像を取得することができる。断層映像を積層するようにまとめることによって、立体的映像を形成することができる。
ＣＴ画像によれば、被検者が肺炎患者であるか否かを把握することができる。特に、新型コロナウイルスを感染した肺炎患者に対する検出において、ＣＴ画像による検出は最も重要で且つ最も正確度の高い方法の１つである。従来によれば、ＣＴ画像を取得した後は、肺臓領域を分割してから人工的に肺炎の病巣又は徴候を分割したうえ、肺炎の病巣又は徴候に基づいて肺炎の判定及び肺炎の進行レベルに対する判断を行うことがほとんどである。しかしながら、このような分割方法は明らかに効率が低すぎる。特に、最近の新型コロナウイルスによるウイルス性肺炎の場合、伝播性が強いため、大量の疑似感染者に対して速やかに判別を行わなければならない。そこで、ウイルスの伝播を早めに止めるためには、正確度を確保するとともに効率も高める必要がある。つまり、現在では、高精度且つ高効率の、肺臓の病巣又は徴候に対する分割方法が必要とされている。
以上の技術的課題を解決するために、本発明は肺炎徴候の分割方法、分割装置、コンピュータ読取可能な記憶媒体及び電子デバイスを開示する。ＣＴ画像における肺臓領域画像を複数のニューラルネットワークモデルのそれぞれに入力して複数の肺炎徴候画像をそれぞれ取得してから、複数の肺炎徴候画像を組み合わせて肺炎総合徴候画像を生成する。ニューラルネットワークモデルを利用することによって、検出対象としての大量のＣＴ画像から肺炎徴候画像を効率よく且つ高い精度で取得することができ、その後に行われる肺炎の診断作業のために信頼性の高いデータ根拠を提供する。
本発明の一態様は肺炎徴候の分割方法を開示する。当該分割方法は、ＣＴ画像における肺臓領域画像に基づいて複数の肺炎徴候画像をそれぞれ生成するステップと、前記複数の肺炎徴候画像を組み合わせて肺炎総合徴候画像を取得するステップと、を含み、ここで、複数の肺炎徴候画像をそれぞれ生成することは、前記肺臓領域画像を複数のニューラルネットワークモデルのそれぞれに入力して前記複数の肺炎徴候画像を取得することを含む。
一実施例において、前記複数の肺炎徴候画像は徴候画像である肺硬化画像、スリガラス状陰影画像、塊状画像、樹枝状影画像、結節画像、空洞画像及びハローサイン画像のうちのいずれか１つ又は複数の組み合わせを含む。
一実施例において、前記肺臓領域画像は複数層の二次元画像を含み、前記肺臓領域画像を複数のニューラルネットワークモデルのそれぞれに入力して前記複数の肺炎徴候画像を取得する前記ステップは、前記複数層の二次元画像を一部ずつ前記複数のニューラルネットワークモデルのそれぞれに入力して、前記複数の肺炎徴候画像のそれぞれに対応する複数層の二次元徴候画像を取得するステップと、それぞれ同一の肺炎徴候画像に対応する前記複数層の二次元徴候画像を重ね合わせて、前記複数の肺炎徴候画像を取得するステップと、を含む。
一実施例において、前記肺臓領域画像は複数層の二次元画像を含み、前記肺臓領域画像を複数のニューラルネットワークモデルのそれぞれに入力して前記複数の肺炎徴候画像を取得する前記ステップは、前記複数層の二次元画像を前記複数のニューラルネットワークモデルのそれぞれに入力して、前記複数の肺炎徴候画像のそれぞれに対応する複数層の二次元徴候画像を取得するステップと、それぞれ同一の肺炎徴候画像に対応する前記複数層の二次元徴候画像を重ね合わせて、前記複数の肺炎徴候画像を取得するステップと、を含む。
一実施例において、前記複数の肺炎徴候画像を取得した後に、前記方法は、前記複数の肺炎徴候画像のそれぞれに対して収縮膨張処理を行うステップを更に含む。
一実施例において、前記肺臓領域画像を取得することは、前記ＣＴ画像における肋骨領域画像を取得するステップと、前記ＣＴ画像における肺臓領域の粗分割画像を取得するステップと、前記肋骨領域画像を前記肺臓領域の境界とし且つ前記粗分割画像をシード領域として、前記肺臓領域の境界まで予め設定されたストライドで近傍へ拡張することによって、前記肺臓領域画像を取得するステップと、を含む。
一実施例において、前記ＣＴ画像における肺臓領域の粗分割画像を取得する前記ステップの後、前記方法は、前記粗分割画像に対して収縮処理を行って、収縮された粗分割画像を取得するステップを更に含む。前記肋骨領域画像を前記肺臓領域の境界とし且つ前記粗分割画像をシード領域として、前記肺臓領域の境界まで予め設定されたストライドで近傍へ拡張することによって、前記肺臓領域画像を取得する前記ステップは、前記肋骨領域画像を前記肺臓領域の境界とし且つ前記収縮された粗分割画像をシード領域として、前記肺臓領域の境界まで予め設定されたストライドで近傍へ拡張することによって、前記肺臓領域画像を取得するステップ、を含む。
一実施例においては、前記肋骨領域画像を前記肺臓領域の境界とし且つ前記粗分割画像をシード領域として、前記肺臓領域の境界まで予め設定されたストライドで近傍へ拡張することによって、前記肺臓領域画像を取得する前記ステップは、動的輪郭モデルに基づいて実行される。
一実施例においては、前記肋骨領域画像を前記肺臓領域の境界とし且つ前記収縮された粗分割画像をシード領域として、前記肺臓領域の境界まで予め設定されたストライドで近傍へ拡張することによって、前記肺臓領域画像を取得する前記ステップは、動的輪郭モデルに基づいて実行される。
一実施例において、前記肋骨領域画像を取得することは、骨のＣＴ値に基づいて前記ＣＴ画像における骨領域画像を取得することと、肋骨の特性に基づいて前記骨領域画像から肋骨領域を分割して前記肋骨領域画像を取得することと、を含む。
一実施例において、前記ＣＴ画像における肺臓領域の粗分割画像を取得する前記ステップの前に、前記分割方法は、前記ＣＴ画像に対して前処理を行うステップを更に含む。ここで、前記前処理は、背景除去と、ホワイトノイズ除去と、画像のトリミングと、ウィンドウ幅及びウィンドウレベルの変換と、のうちのいずれか１つの作業又は複数の作業の組合せを含む。
一実施例において、前記分割方法は、前記肺臓領域画像の境界に対して平滑化処理を行うステップを更に含む。
本発明の他の一態様は肺炎徴候の分割装置を開示する。当該分割装置は、ＣＴ画像における肺臓領域画像に基づいて複数の肺炎徴候画像をそれぞれ生成する生成モジュールと、前記複数の肺炎徴候画像を組み合わせて肺炎総合徴候画像を取得する組合せモジュールと、を備え、ここで、生成モジュールはさらに、前記肺臓領域画像を複数のニューラルネットワークモデルのそれぞれに入力して前記複数の肺炎徴候画像を取得するように構成される。
本発明の他の一態様はコンピュータ読取可能な記憶媒体を開示する。前記記憶媒体にはコンピュータプログラムが記憶されており、前記コンピュータプログラムは上述のいずれか一実施例に記載の肺炎徴候の分割方法を実行するように構成される。
本発明の他の一態様は電子デバイスを開示する。前記電子デバイスはプロセッサと、前記プロセッサにより実行可能な命令を記憶するように構成されるメモリとを備え、前記プロセッサは上述のいずれか一実施例に記載の肺炎徴候の分割方法を実行するように構成される。
本発明は肺炎徴候の分割方法、分割装置、コンピュータ読取可能な記憶媒体及び電子デバイスを提供し、ＣＴ画像における肺臓領域画像を複数のニューラルネットワークモデルのそれぞれに入力して複数の肺炎徴候画像をそれぞれ取得してから、複数の肺炎徴候画像を組み合わせて肺炎総合徴候画像を生成する。ニューラルネットワークモデルを利用することによって、検出対象としての大量のＣＴ画像から肺炎徴候画像を効率よく且つ高い精度で取得することができ、その後に行われる肺炎の診断作業のために信頼性の高いデータ根拠を提供する。
図面を参照しながら本発明の実施例をより詳しく説明することによって、本発明の上述した及び他の目的、特徴及び長所はより明確になる。なお、図面は、本発明の実施例がよりよく理解されるために提供されるものであって明細書の一部として本発明の実施例と一緒に本発明の解釈に用いられるが、本発明に対する制限にはならない。図面において、同じ符号は一般に同じ部品やステップを指示する。
本発明の例示的な一実施例に係る肺炎徴候の分割方法のフローチャートである。 本発明の他の例示的な一実施例に係る肺炎徴候の分割方法のフローチャートである。 本発明の他の例示的な一実施例に係る肺炎徴候の分割方法のフローチャートである。 本発明の例示的な一実施例に係る肺臓領域画像を分割する方法のフローチャートである。 本発明の他の例示的な一実施例に係る肺臓領域画像を分割する方法のフローチャートである。 本発明の例示的な一実施例に係る肋骨領域画像を取得する方法のフローチャートである。 本発明の他の例示的な一実施例に係る肺臓領域画像を分割する方法のフローチャートである。 本発明の他の例示的な一実施例に係る肺臓領域画像を分割する方法のフローチャートである。 本発明の例示的な一実施例に係る肺炎徴候の分割装置の構造模式図である。 本発明の例示的な一実施例に係る電子デバイスの構造図である。
以下、図面を参照しながら本発明による例示的な実施例を説明する。明らかに、説明される実施例は本発明の一部の実施例に過ぎず、本発明のすべての実施例ではない。なお、本発明はここで説明される例示的な実施例により制限されない。
＜出願の背景＞
肺炎は様々な原因により引き起こされる肺臓の炎症である。感染した場合、肺炎患者には激しい咳をする現象がよく発生する。肺炎は２種類に分けられる。１つは細菌による細菌性肺炎であって、すなわち細菌が肺臓を侵害することによる肺炎である。そのうち、最も一般的な２種類の細菌は肺炎球菌とアルファ溶血レンサ球菌であり、ほとんどの細菌性肺炎はこの２種類の細菌により引き起こされる。もう１つはウイルスによるウイルス性肺炎であって、最も一般的なのが１級サイトメガロウイルスによるインフルエンザであり、又は例えば２０１９新型コロナウイルスなどである。ウイルス性の肺炎は細菌性の肺炎に比べて病状がより深刻であるとともに、治療難度もより高い。
前に説明した通り、ＣＴ画像に基づく検出は、被検者が肺炎患者であるか否か、特に新型コロナウイルスによる肺炎患者であるか否かを判断するための最も重要で且つ最も正確度の高い方法の１つである。通常、ＣＴ画像を取得した後には、その中の肺臓領域に対して分割を行って肺臓領域画像を取得し、次に肺臓領域における肺炎徴候に対して分割を行い、最後には医者が、分割で取得された肺炎徴候に基づいて、被検者が肺炎を感染したか否かを判断する。従来は一般に、肺炎徴候に対する分割作業はプロの医療スタッフにより人工的に行われる。明らかに、このようなやり方は効率が悪い。特に伝播性が非常に強い新型コロナウイルスによる肺炎に対する検出の場合では、伝播性が高くて大勢の人も感染リスクに晒されるため、大量の対象に対してＣＴ画像検出を行わなければならない。しかしながら、医療スタッフの人数は限られておりひいては極めて不足するので、大量のＣＴ画像検出に対応することが当然に不可能である。
画像処理技術の高速成長につれて、益々多くの医療画像に対する処理もコンピュータにより実施できるようになってきた。例えば、診断に必要な関心領域画像又は基礎データなどを画像分割によって取得できる。しかしながら、肺炎徴候は複数もあり、そのうちの一部の徴候はＣＴ画像では他の組織と密度（ＣＴ画像ではＣＴ値として表される）が大きく異なって容易に分割可能であるが、別の一部の徴候はＣＴ画像では他の組織と密度が近似するため、密度の比較によって分割されにくく、又は分割の精度が悪い。また、肺炎患者は通常、咳や息吸い込み不足の症状があるため、画像には動的ノイズが多くあり、加えて、肺臓内の密度が高くなるため、肺臓領域に対する分割が難しくなる。さらに、肺炎病巣の領域が広い場合、肺臓の形状と構造も影響されてしまうので、肺臓の分割が更に難しくなる。このように、肺炎徴候の分割精度が影響されてある程度の誤差が発生し、誤差が伝播、累積してしまって、結局医者の判断に影響を及ぼして、計り知れない余波をもたらす。
以上の課題を解決するために、本発明は肺炎徴候の分割方法、分割装置、コンピュータ読取可能な記憶媒体及び電子デバイスを開示する。ＣＴ画像における肺臓領域画像を複数のニューラルネットワークモデルのそれぞれに入力して複数の肺炎徴候画像をそれぞれ取得してから、複数の肺炎徴候画像を組み合わせて肺炎総合徴候画像を生成する。ニューラルネットワークモデルを利用することによって、検出対象としての大量のＣＴ画像から肺炎徴候画像を効率よく且つ高い精度で取得することができ、その後に行われる肺炎の診断作業のために信頼性の高いデータ根拠を提供する。
＜例示的方法＞
図１は本発明の例示的な一実施例に係る肺炎徴候の分割方法のフローチャートである。図１に示すように、該方法は以下のステップを含む。
ステップ１１０において、ＣＴ画像における肺臓領域画像に基づいて複数の肺炎徴候画像をそれぞれ生成する。ここで、複数の肺炎徴候画像をそれぞれ生成することは、肺臓領域画像を複数のニューラルネットワークモデルのそれぞれに入力して複数の肺炎徴候画像を取得することを含む。
ＣＴ画像を撮影することによって被検者の肺臓領域画像を取得し、該肺臓領域画像に基づいて該被検者が肺炎感染したか否かを正確に判断することができる。現在厳しい状況になっている新型コロナウイルス性肺炎に対して、ウイルスの伝播を抑えるためには、肺炎感染者又はウイルス携帯者を、他の人から隔離させなければならない。そのためには疑似者を選別する必要があるので、肺炎患者を選別するための効果的な手段の１つとして、ＣＴ画像検出は非常に重要になっている。しかしながら、ＣＴ画像による検出は複雑であって効率がよくない。それに、肺炎徴候は複数もあるので、肺炎の有無及び病状の深刻さを総合的に判断するためには、すべて又は複数の徴候も把握しなければならない。加えて、この複数の徴候のうちの一部の徴候は取得難度が高くて、ＣＴ画像検出の困難さをより一層高めた。そこで、本発明の実施例においては、肺臓領域画像を複数のニューラルネットワークモデルのそれぞれに入力して、それぞれの肺炎徴候に対応するようにトレーニングを行ってそれぞれ異なるニューラルネットワークモデルを取得することによって、精度の高い各肺炎徴候画像をターゲット的に取得することができ、その後に行われる肺炎の選別のために正確なデータ根拠を提供する。
一実施例において、肺炎徴候画像は、徴候画像である肺硬化画像、スリガラス状陰影画像、塊状画像、樹枝状影画像、結節画像、空洞画像、ハローサイン画像のうちのいずれか１つ又は複数の組み合わせを含むことができる。肺硬化とは、終末細気管支の端部にある含気キャビティが病理性液体、細胞、組織により代替されることであり、その最も主要な特徴としては、病変部が緻密になって血管が現像できなくなることである。スリガラス状陰影とは、様々な原因により引き起こされる肺胞充填又は間質肥厚によって肺臓の密度が軽度に高くなるがその内部は依然として血管の脈絡が見える病変陰影である。塊状とは、かたまり状の高密度影であり、最大直径≧３ｃｍである。結節とは、結節状の高密度影であり、最大直径＜３ｃｍである。空洞とは、肺臓内の病変が壊死、液化して気管支を経て排出された後に気体が入ることによって形成する透光部であり、感染型の病気の場合、空洞は臨床的に化膿性感染と判断される傾向がある。樹枝状影とは、終末細気管支及び肺胞内の病変により形成される小さな結節影と細気管支の陰影とからなった、春に枝木から発芽した状態に似た陰影であり、一般には肺臓近傍の気管支の端部におけるサイズが２－４ｍｍくらいの結節及び枝状の高密度影となる。ハローサインとは、結節／空洞の周辺をまわる略リング状のガラス状密度影であり、一般に滲出、出血又は水腫を表す。各徴候それぞれの特徴によって、それぞれのニューラルネットワークモデルを設けてそれぞれにより肺臓領域画像を分割することによって、全体の分割精度を向上させることができる。
一実施例において、ニューラルネットワークモデルはディープラーニングニューラルネットワークモデルであってもよく、好ましくは、該ニューラルネットワークモデルはＵｎｅｔニューラルネットワークモデルであってもよい。一実施例においては、ニューラルネットワークモデルを訓練する方法として、専門の医療関係者により既に肺炎徴候が分割され且つラベリングされた肺臓領域画像をニューラルネットワークモデルのトレーニングサンプルとして用いて、該ニューラルネットワークモデルを訓練することであってもよい。また、ニューラルネットワークモデルが分割作業で取得した分割結果は、第三者の検出機関により検証及び補正されることができ、補正後の結果は再度トレーニングサンプルとしてニューラルネットワークモデルの訓練に用いられることができ、したがってニューラルネットワークモデルの分割精度をより一層向上させることができる。なお、本発明の実施例において、複数のニューラルネットワークモデルは種類が同じであってもよく、異なってもよく、本発明の実施例は各肺炎徴候の分割に用いられるニューラルネットワークモデルの種類について詳しく制限しない。
ステップ１２０において、複数の肺炎徴候画像を組み合わせて肺炎総合徴候画像を取得する。
一般に、肺炎は複数の肺炎徴候に基づいて総合的に判断される。例えば、結節画像のみが存在して他の肺炎徴候が存在しない場合には、被検者が肺炎患者であると判定することができない。そのため、複数の肺炎徴候画像（一般にはＣＴ画像で各肺炎徴候がラベリングされた領域）をそれぞれ取得した後、複数の肺炎徴候画像を組み合わせて肺炎総合徴候画像を取得することによって、医療関係者又は他の検出機関が該肺炎総合徴候画像に基づいて被検者が肺炎患者であるか否かを正確に判断することに寄与することができる。
本発明は肺炎徴候の分割方法を提供し、ＣＴ画像における肺臓領域画像を複数のニューラルネットワークモデルのそれぞれに入力して複数の肺炎徴候画像をそれぞれ取得してから、複数の肺炎徴候画像を組み合わせて肺炎総合徴候画像を生成する。ニューラルネットワークモデルを利用することによって、検出対象としての大量のＣＴ画像から肺炎徴候画像を効率よく且つ高い精度で取得することができ、その後に行われる肺炎の診断作業のために信頼性の高いデータ根拠を提供する。
図２は本発明の他の例示的な一実施例に係る肺炎徴候の分割方法のフローチャートである。肺臓領域画像は複数層の二次元画像を含む。図２に示すように、ステップ１１０は詳しく、以下のサブステップを含むことができる。
ステップ１１１において、複数層の二次元画像を一部ずつ複数のニューラルネットワークモデルに入力して、複数の肺炎徴候画像のそれぞれに対応する複数層の二次元徴候画像を取得する。
二次元画像の分割は三次元画像の分割より難度が低く、速度が速い。ＣＴ画像は複数層の二次元画像を含み、ＣＴ画像における肺臓領域画像も複数層の二次元画像を含む。よって、分割の効率を向上させるためには、肺臓領域画像の複数層の二次元画像を複数の部分に分け、複数の部分を複数回に分けて複数のニューラルネットワークモデルに入力し、複数のニューラルネットワークモデルのそれぞれにより二次元画像を複数回も分割して、対応する複数層の二次元徴候画像を取得することによって、分割効率を向上させることができる。なお、本発明の実施例においては、ニューラルネットワーク又は処理機器の処理能力によって毎回ニューラルネットワークモデルに入力される二次元画像の層数を設定することができ、１層であってもよく、複数層であってもよく、又はすべての二次元画像を一括でニューラルネットワークモデルに入力してもよい。なお、設定される層数は、ニューラルネットワークモデル又は処理機器が耐えられる負荷の最大限を超えなければよく、本発明の実施例は毎回ニューラルネットワークモデルに入力される二次元画像の層数について詳しく制限しない。
ステップ１１２において、それぞれ同一の肺炎徴候画像に対応する複数層の二次元徴候画像を重ね合わせて、複数の肺炎徴候画像を取得する。
各肺炎徴候それぞれの複数層の二次元徴候画像を取得した後、同じ肺炎徴候画像の複数層の二次元徴候画像を重ね合わせて、該肺炎徴候画像を取得する。一実施例において、相次ぐ２回の入力作業でニューラルネットワークモデルに入力される一部の二次元画像は、交差部分を有する。交差部分を設けることによって、エッジにある二次元画像の間の差異が大きくなることを避けるとともに、交差部分に基づく位置特定によって重ね合わせをよりうまく実現することができる。
他の一実施例において、図１に係る分割方法は、複数の肺炎徴候画像のそれぞれに対して収縮膨張処理を行うステップを更に含んでもよい。
図３は本発明の他の例示的な一実施例に係る肺炎徴候の分割方法のフローチャートである。図３に示すように、ステップ１１２の後、上述の実施例は以下のステップを更に含むことができる。
ステップ１１３において、複数の肺炎徴候画像のそれぞれに対して収縮膨張処理を行う。
収縮処理は形態学的な作業であり、その具体的な操作流れは以下の通りである。画像中の物体の境界に沿って画素を除去するとともに物体の大きさを縮小し、すなわち物体の境界を縮小することによって画像中の物体のノイズを消去する。膨張処理も形態学的な作業であり、その具体的な操作流れは収縮処理と反対であって、すなわち画像中の物体の境界に沿って画素を付加するとともに物体の大きさを拡大する。収縮膨張処理により、分割過程中に発生したノイズを効果的に除去することができる。また、隣接する二次元徴候画像同士の間には相互関連が存在するため、重ね合わせられた肺炎徴候画像に対して収縮膨張処理を行うことによって、隣接する二次元徴候画像同士の間の相互関連性を利用して一部の層にある分割誤差を除去することができる。例えば、上下にある２層又は複数層の二次元徴候画像を用いて中間層の二次元徴候画像を調整することができ、それによって肺炎徴候画像全体の分割精度を向上させる。
図４は本発明の例示的な一実施例に係る肺臓領域画像を分割する方法のフローチャートである。図４に示すように、該方法は以下のステップを含む。
ステップ４１０において、ＣＴ画像における肋骨領域画像を取得する。
肋骨は肺臓領域を緊密に囲んでいる。且つ、肺炎患者の肺臓の形状及び一部領域の特性はＣＴ画像の現像に影響を及ぼす一方、肺炎患者の肋骨は感染のせいで変化することがない。そのため、ＣＴ画像中の肋骨領域を取得することによって肺臓領域の外縁境界を特定すると、肺臓領域に対する分割精度を高めることができる。
ステップ４２０において、ＣＴ画像における肺臓領域の粗分割画像を取得する。
一実施例において、ステップ４２０の具体的な実施形態は、ＣＴ画像をニューラルネットワークモデルに入力して肺臓領域の粗分割画像を取得することであってもよい。ニューラルネットワークモデルを用いてＣＴ画像中の肺臓領域を認識することができる。ここで、ニューラルネットワークモデルはＵｎｅｔなどのニューラルネットワークモデルであってもよい。また、ニューラルネットワークモデルを訓練する方法としては、既に肺臓領域が専門の医療関係者により認識されてラベリングされたＣＴ画像をニューラルネットワークモデルのトレーニングサンプルとして用いて、該ニューラルネットワークモデルを訓練することであってもよい。なお、該ステップでは、ＣＴ画像における肺臓領域の正確な分割画像ではなく肺臓領域の粗分割画像しか取得しようとしないため、該ニューラルネットワークモデルを訓練するために用いられるトレーニングサンプルの数を適切に決めればよく、それによって肺臓全体の分割効率を上げることができる。
他の一実施例において、ステップ４２０の具体的な実施形態は、肺臓領域のＣＴ値に基づいて、肺臓領域の中の、ＣＴ値範囲以内のＣＴ値を有する領域を粗分割画像として選定する。ＣＴ値は人体の局部的組織や器官の密度を測定するために使用される計量単位であり、一般にハンスフィールドユニット（ｈｏｕｎｓｆｉｅｌｄ ｕｎｉｔ，ＨＵ）と称される。空気のＣＴ値は－１０００であり、緻密骨のＣＴ値は＋１０００である。実は、ＣＴ値はＣＴ画像における各組織の、Ｘ線の減弱係数に相当する対応値である。ＣＴ値は、絶対一定の数値ではなく、呼吸や血流などの人体の内在的な要因だけではなく、Ｘ線管の電圧、ＣＴ装置、室内温度などの外部要因にも関わる。人体の組織のうち、骨格以外の組織のＣＴ値はすべて３００以下且つ－８０以上であり、そのうち、石灰化部分のＣＴ値は８０ ～ ３００であり、脂肪のＣＴ値は－２０ ～ －８０である。肺臓領域の中はほとんど空気であるため、そのＣＴ値は他の組織より低い。それを利用して、ＣＴ値範囲を設定したうえ、該ＣＴ値範囲以内のＣＴ値を有する連通領域を肺臓領域の粗分割画像として特定することができる。
ステップ４３０において、肋骨領域画像を肺臓領域の境界とし且つ粗分割画像をシード領域として、肺臓領域の境界まで予め設定されたストライドで近傍へ拡張することによって、肺臓領域画像を取得する。
一実施例において、ステップ４３０の具体的な実施形態は、肋骨領域画像を境界とし、粗分割画像を関心領域とし、動的輪郭モデルを用いて、予め設定されたストライドでＣＴ画像を分割することによって、肺臓領域画像を取得することであってもよい。肺臓は肋骨により緊密に囲まれており、つまり肋骨領域は肺臓領域の外縁境界であるため、粗分割画像をシード領域又は関心領域とするとともに肋骨領域画像を境界として、動的輪郭モデルを利用して、予め設定されたストライドでＣＴ画像を分割することができる。すなわち、関心領域から始めて、予め設定されたストライドで近傍へ拡張して肋骨領域にまで拡張することによって、高い精度で分割される肺臓領域画像を取得する。このように、後工程で行われる肺葉の分割や肺炎の判断などのために正確な基礎画像データを提供することができる。ここで、予め設定されたストライドは実際の需要に応じて調整されることができ、より高い精度を求めるためにはストライドを多少小さくしてもよい。更なる実施例において、動的輪郭モデルはＬｅｖｅｌ Ｓｅｔモデル又はＳｎａｋｅモデルを含んでもよい。なお、本発明の実施例は実際の適用場面における需要によって動的輪郭モデルを選択することができ、選択される動的輪郭モデルは、肋骨領域画像を境界とし且つ粗分割画像をシード領域として正確な肺臓領域画像を取得できればよく、本発明の実施例は動的輪郭モデルの構造について詳しく制限しない。
図５は本発明の他の例示的な一実施例に係る肺臓領域画像を分割する方法のフローチャートである。図５に示すように、ステップ４２０の後、上述の実施例は以下の内容を更に含むことができる。
ステップ４４０において、粗分割画像に対して収縮処理を行って、収縮された粗分割画像を取得する。
肺臓領域の粗分割画像は一般、正確な肺臓領域画像ではない。例えば、粗分割画像には肺臓領域以外の領域が含まれている可能性があり、このような領域がすなわち粗分割画像のノイズ領域である。それで、収縮処理によって粗分割画像からノイズ領域を除去すると、収縮された粗分割画像が肺臓領域の一部を含むが肺臓領域以外の領域を含まないように確保することができる。
それとともに、ステップ４３０を、肋骨領域画像を肺臓領域の境界とし且つ収縮された粗分割画像をシード領域として、肺臓領域の境界まで予め設定されたストライドで近傍へ拡張することによって、肺臓領域画像を取得するステップ５３０に調整する。
シード領域は肺臓領域の一部さえ含めばよく、肺臓領域の全体を含む必要がないので、シード領域が肺臓領域のみを含むように、収縮処理を行うことができる。それによって、拡張の際にシード領域により多くの非肺臓領域が巻き込まれてしまうことを避けることができる。シード領域が拡張されるとき、既に該シード領域内に入っている領域は除去されないので、肺臓領域に対する分割の精度を確保する前提条件として、シード領域に肺臓領域しか含まれていないようにする必要がある。
図６は本発明の例示的な一実施例に係る肋骨領域画像を取得する方法のフローチャートである。図６に示すように、該取得方法は以下のステップを含むことができる。
ステップ４１１において、骨のＣＴ値に基づいてＣＴ画像における骨領域画像を取得する。
ＣＴ画像における各領域のＣＴ値に基づいて、ＣＴ値が最も高い骨領域画像を取得することができる。一実施例においては、骨のＣＴ値に基づいて第１のＣＴ値閾値を設定し、ＣＴ画像の中から、第１のＣＴ値閾値以上のＣＴ値を有する連通領域を骨領域画像として取得することができる。ここで、第１のＣＴ値閾値は骨のＣＴ値より小さく且つ他の組織のＣＴ値より大きい。第１のＣＴ値閾値を設定することによって、ＣＴ画像の中の、第１のＣＴ値閾値以上のＣＴ値を有する連通領域を取得すると、骨領域画像を取得することができる。
一実施例において、ＣＴ画像の中の、第１のＣＴ値閾値以上のＣＴ値を有する連通領域を取得することの後、上述の方法は、面積が予め設定された面積閾値より小さい領域を連通領域から除去することを更に含んでもよい。第１のＣＴ値閾値が高く設定された場合には、一部の骨領域が漏れてしまう可能性がある。一方、第１のＣＴ値閾値が低く設定された場合には、石灰化部分のＣＴ値が比較的に高いため、肺臓又は心臓領域にある石灰化部分が骨領域画像の干渉ノイズになってしまう可能性があって、それを除去しなければならない。石灰化部分の面積は通常小さいので、面積が予め設定された面積閾値より小さい領域を連通領域から除去することによって、石灰化部分が骨領域画像に与える影響を排除することができる。なお、面積閾値は実際の適用場面に応じて予め設定されることができる。
一実施例において、ＣＴ画像の中の、第１のＣＴ値閾値以上のＣＴ値を有する連通領域を取得した後、上述の方法は、粗分割画像中の連通領域を除去することを更に含んでもよい。粗分割画像の中にある連通領域を除去することによって、肺臓又は心臓領域にある石灰化部分が最後の分割結果に与える影響を避けることができ、ひいては後工程で行われる分割作業の精度を高めることができる。
ステップ４１２において、肋骨の特性に基づいて骨領域画像から肋骨領域を分割して、肋骨領域画像を取得する。
一実施例において、ステップ４１２の実施形態は、標準肋骨画像と骨領域画像とに対して対比を行い、骨領域画像における、標準肋骨画像との類似度が予め設定された類似度より高い骨領域を、肋骨領域画像として特定する。他の骨に比べて、肋骨はより規則的である。肋骨は通常、肺臓の外側で規則的に配列しており、且つある程度の円弧状を呈し、且つ左右対称の構造となっている。多平面再構築された三次元画面では、肋骨と他の骨との差異は弁別されることができ、特に矢状面では肋骨のこれらの特性、すなわち肋骨の配列及び形状が特殊性を有すること、を明確に把握することができる。よって、標準の肋骨画像を利用して対比をすることによって、骨領域画像中の、該標準肋骨画像との類似度が一定の条件（予め設定された類似度より高いこと）を満たす骨領域を特定して、骨領域画像における肋骨領域を分割して、肋骨領域画像を取得することができる。なお、本発明の実施例においては、実際の適用場面による需要に応じて、肋骨領域画像を取得するための他の方式を採用してもよい。例えば、肋骨の弧度が予め設定された弧度範囲内にあるか否かに基づいて判断してもよく、又は、肋骨の間の隙間が予め設定された距離範囲内にあるか否か（肋骨の配列は一定の規則があるため、隣接する肋骨の間の各位置での垂直距離は一定の範囲内にある）に基づいて判断してもよく、又は、ニューラルネットワークモデルにより肋骨領域画像を直接取得してもよい。肋骨領域画像を取得するための方式は精度上の要件を満たせばよく、本発明の実施例においては、採用される肋骨領域画像の取得方式について詳しく制限しない。
図７は本発明の他の例示的な一実施例に係る肺臓領域画像を分割する方法のフローチャートである。図７に示すように、ステップ４２０の前、上述の実施例は以下の内容を更に含んでもよい。
ステップ４５０において、ＣＴ画像に対して前処理を行う。
一実施例において、前処理は、背景除去と、ホワイトノイズ除去と、画像のトリミングと、ウィンドウ幅及びウィンドウレベルの変換と、のうちのいずれか１つの作業又は複数の作業の組合せを含むことができる。ここで、背景除去の具体的な実施形態は、ＣＴ値範囲を設定し、該ＣＴ値範囲に入る連通領域を取得し、連通領域のうちの面積が最も大きい連通領域のみを保留して他の領域をすべて背景領域として設定することによって、他の領域による影響を排除することであってもよい。ホワイトノイズ除去の具体的な実施形態は、ガウスフィルタを用いて、ＣＴ画像が撮影される際に引き起こされたホワイトノイズを除去することであってもよい。画像のトリミングの具体的な実施形態は、背景を除去して有効領域のみを保留することによって、後工程で行われる画像処理の複雑さを低下させることであってもよい。ウィンドウ幅及びウィンドウレベルの変換の具体的な実施形態は、ウィンドウ幅及びウィンドウレベルの値を設定することによって関心領域が特に目立つようにして、関心以外の領域が後の処理作業に影響を及ぼすことを避けることであってもよい。本発明の実施例においては、ウィンドウレベルを－５００、ウィンドウ幅を１５００に設定することができるが、当然ながら、ウィンドウレベル及びウィンドウ幅の設定値は実際の需要に応じて調整されてもよい。
なお、ステップ４５０はステップ４１０の前に行われてもよい。前処理によってＣＴ画像から背景及び他の影響要素をすべて排除することによって、その後のステップの複雑さを低下させて肺臓分割の効率を向上させることができる。
図８は本発明の他の例示的な一実施例に係る肺臓領域画像を分割する方法のフローチャートである。図８に示すように、ステップ４３０の後、上述の実施例は以下の内容を更に含むことができる。
ステップ４６０において、肺臓領域画像の境界に対して平滑化処理を行う。
肋骨領域画像に基づいては肺臓領域の一部の境界しか確定できず、且つ、拡張は一定の予め設定されたストライドで動的輪郭モデルによって行われるため、取得される肺臓領域画像の境界は滑らかではない可能性が高い。肺臓領域画像を取得した後、該肺臓領域画像の境界に対して平滑化処理を行うことによって、より正確な肺臓領域画像を確保することができる。
＜例示的な装置＞
図９は本発明の例示的な一実施例に係る肺炎徴候の分割装置９０の構造模式図である。図９に示すように、該肺炎徴候の分割装置９０は、
ＣＴ画像における肺臓領域画像に基づいて、複数の肺炎徴候画像をそれぞれ生成する生成モジュール９１、及び、複数の肺炎徴候画像を組み合わせて肺炎総合徴候画像を取得する組合せモジュール９２、を備える。ここで、生成モジュール９１はさらに、肺臓領域画像を複数のニューラルネットワークモデルのそれぞれに入力して複数の肺炎徴候画像を取得するように構成される。
本発明に係る肺炎徴候の分割装置は、生成モジュール９１によりＣＴ画像における肺臓領域画像を複数のニューラルネットワークモデルのそれぞれに入力して複数の肺炎徴候画像をそれぞれ取得してから、組合せモジュール９２により複数の肺炎徴候画像を組み合わせて肺炎総合徴候画像を取得する。ニューラルネットワークモデルを利用することによって、検出対象としての大量のＣＴ画像から肺炎徴候画像を効率よく且つ高い精度で取得することができ、その後に行われる肺炎の診断作業のために信頼性の高いデータ根拠を提供する。
一実施例において、肺炎徴候画像は徴候画像である肺硬化画像、スリガラス状陰影画像、塊状画像、樹枝状影画像、結節画像、空洞画像及びハローサイン画像のうちのいずれか１つ又は複数の組み合わせを含むことができる。一実施例において、ニューラルネットワークモデルはディープラーニングニューラルネットワークモデルであってもよく、好ましく、該ニューラルネットワークモデルはＵｎｅｔニューラルネットワークモデルであってもよい。
一実施例において、肺臓領域画像は複数層の二次元画像を含む。図９に示すように、生成モジュール９１は、複数層の二次元画像を一部ずつ複数のニューラルネットワークモデルのそれぞれに入力して、複数の肺炎徴候画像のそれぞれに対応する複数層の二次元徴候画像を取得する入力ユニット９１１と、それぞれ同一の肺炎徴候画像に対応する複数層の二次元徴候画像を重ね合わせて、複数の肺炎徴候画像を取得する重畳ユニット９１２と、を備えることができる。
一実施例において、肺臓領域画像は複数層の二次元画像を含む。図９に示すように、生成モジュール９１は、複数層の二次元画像を複数のニューラルネットワークモデルのそれぞれに入力して、複数の肺炎徴候画像にそれぞれ対応する複数層の二次元徴候画像を取得する入力ユニット９１１と、それぞれ同一の肺炎徴候画像に対応する複数層の二次元徴候画像を重ね合わせて、複数の肺炎徴候画像を取得する重畳ユニット９１２と、を備えることができる。
一実施例において、図９に示すように、生成モジュール９１は、複数の肺炎徴候画像のそれぞれに対して収縮膨張処理を行う後処理ユニット９１３を更に備えることができる。
一実施例において、図９に示すように、分割装置９０は、ＣＴ画像における肋骨領域画像を取得する取得モジュール９３と、ＣＴ画像における肺臓領域の粗分割画像を取得する粗分割モジュール９４と、肋骨領域画像を肺臓領域の境界とし且つ粗分割画像をシード領域として、肺臓領域の境界まで予め設定されたストライドで近傍へ拡張して、肺臓領域画像を取得する細分割モジュール９５と、を更に備えることができる。
一実施例において、粗分割モジュール９４はさらに、ＣＴ画像をニューラルネットワークモデルに入力して、肺臓領域の粗分割画像を取得するように構成されることができる。
一実施例において、粗分割モジュール９４はさらに、肺臓領域のＣＴ値に基づいて、ＣＴ値が肺臓領域のＣＴ値範囲に入る領域を粗分割画像として選定するように構成されることができる。
一実施例において、細分割モジュール９５はさらに、肋骨領域画像を境界とし、粗分割画像を関心領域とし、動的輪郭モデルを用いて、予め設定されたストライドでＣＴ画像を分割して、肺臓領域画像を取得するように構成されることができる。ここで、動的輪郭モデルはＬｅｖｅｌ Ｓｅｔモデル又はＳｎａｋｅモデルを含む。
一実施例において、図９に示すように、該分割装置９０は、粗分割画像に対して収縮処理を行って収縮された粗分割画像を取得する収縮モジュール９６を更に備えることができる。且つ、細分割モジュール９５は、肋骨領域画像を肺臓領域の境界とし且つ収縮された粗分割画像をシード領域として、肺臓領域の境界まで予め設定されたストライドで近傍へ拡張して、肺臓領域画像を取得するように構成される。
一実施例において、細分割モジュール９５はさらに、肋骨領域画像を境界とし、収縮された粗分割画像を関心領域とし、動的輪郭モデルを用いて、予め設定されたストライドでＣＴ画像を分割して、肺臓領域画像を取得するように構成されることができる。ここで、動的輪郭モデルはＬｅｖｅｌ Ｓｅｔモデル又はＳｎａｋｅモデルを含むことができる。
一実施例において、図９に示すように、取得モジュール９３は、骨のＣＴ値に基づいてＣＴ画像における骨領域画像を取得する骨取得ユニット９３１と、肋骨の特性に基づいて骨領域画像から肋骨領域を分割して、肋骨領域画像を取得する肋骨取得ユニット９３２と、を備えることができる。
一実施例において、骨取得ユニット９３１はさらに、骨のＣＴ値に基づいて第１のＣＴ値閾値を設定し、ＣＴ画像における、ＣＴ値が第１のＣＴ値閾値以上である連通領域を骨領域画像として取得するように構成されることができる。
一実施例において、取得モジュール９３はさらに、ＣＴ画像における、ＣＴ値が第１のＣＴ値閾値以上である連通領域を取得した後、連通領域から、面積が予め設定された面積閾値より小さい領域を除去するように構成されることができる。
一実施例において、取得モジュール９３はさらに、ＣＴ画像における、ＣＴ値が第１のＣＴ値閾値以上である連通領域を取得した後、粗分割画像の中に位置する連通領域を除去するように構成されることができる。
一実施例において、肋骨取得ユニット９３２はさらに、標準肋骨画像と骨領域画像とに対して対比を行って、骨領域画像から、標準肋骨画像との類似度が予め設定された類似度より高い骨領域を肋骨領域画像として特定するように構成されることができる。
一実施例において、図９に示すように、該分割装置９０は、ＣＴ画像に対して前処理を行う前処理モジュール９７を更に備えることができる。一実施例において、前処理は、背景除去と、ホワイトノイズ除去と、画像のトリミングと、ウィンドウ幅及びウィンドウレベルの変換と、のうちのいずれか１つの作業又は複数の作業の組合せを含むことができる。
一実施例において、図９に示すように、該分割装置９０は、肺臓領域画像の境界に対して平滑化処理を行う平滑化モジュール９８を更に備えることができる。
＜例示的な電子デバイス＞
以下、図１０を参照しながら本発明の実施例に係る電子デバイス１０を説明する。該電子デバイス１０は第１のデバイス及び第２のデバイスのうちの任意の１つであってもよく、又は両者であってもよく、又はそれらから独立したシングルデバイスであってもよい。該シングルデバイスは第１のデバイス及び第２のデバイスと通信可能であって、それらから収集された入力信号を受信する。
図１０には本発明の実施例に係る電子デバイス１０のブロック図が示される。
図１０に示すように、電子デバイス１０は１つ又は複数のプロセッサ１１と、メモリ１２とを備える。
プロセッサ１１は、中央処理ユニット（ＣＰＵ）又はデータ処理能力及び／又は命令実行能力を有する他の形の処理ユニットであってもよく、且つ、電子デバイス１０における他のコンポーネントが期待される機能を実行するように制御することができる。
メモリ１２は、１つ又は複数のコンピュータプログラム製品を含むことができる。前記コンピュータプログラム製品は様々な形のコンピュータ読取可能な記憶媒体、例えば、揮発性メモリ及び／又は不揮発性メモリを含んでもよい。前記揮発性メモリは例えば、ランダムアクセスメモリ（ＲＡＭ）及び／又は、キャッシュメモリ（ｃａｃｈｅ）などを含むことができる。前記不揮発性メモリは例えば、リードオンリーメモリ（ＲＯＭ）、ハードディスク、フラッシュメモリなどを含むことができる。前記コンピュータ読取可能な記憶媒体においては１つ又は複数のコンピュータプログラム命令が記憶されていてもよく、プロセッサ１１は前記プログラム命令を実行して、前述の本発明の各実施例による肺炎徴候の分割方法及び／又は他の期待される機能を実現することができる。前記コンピュータ読取可能な記憶媒体においては、入力信号、信号成分、ノイズ成分などの様々な内容が更に記憶されていてもよい。
１つの例において、電子デバイス１０は入力装置１３及び出力装置１４を更に備えることができる。これらのコンポーネントはバスシステム及び／又は他の形の接続メカニズム（図示せず）により互いに接続することができる。
例えば、当該電子デバイス１０が第１のデバイス又は第２のデバイスである場合、該入力装置１３はＣＴ画像を取得するためのＣＴスキャナーであってもよい。該電子デバイス１０がシングルデバイスである場合、該入力装置１３は第１のデバイス及び第２のデバイスから収集された入力信号を受信するように構成される通信ネットワーク接続器であってもよい。
また、当該入力装置１３はキーボードやマウスなどを含んでもよい。
当該出力装置１４は外部に様々な情報（確定された肺臓領域画像、肺炎徴候画像、肺炎総合徴候画像などを含む）を出力することができる。当該出力装置１４は、ディスプレイ、スピーカー、プリンター、通信ネットワーク及びそれが接続しているリモート出力デバイスなどを含んでもよい。
もちろん、簡略化するために、図１０には該電子デバイス１０中の、本発明と関連するコンポーネントのうちの一部のみを示しており、バス、入力／出力インタフェースなどのコンポーネントを省略した。また、実際の適用場面に応じて、電子デバイス１０は他の任意の適切なコンポーネントを備えることもできる。
＜例示的なコンピュータプログラム製品及びコンピュータ読取可能な記憶媒体＞
上述の方法及びデバイス以外に、本発明の実施例はコンピュータプログラム命令を備えるコンピュータプログラム製品であってもよい。前記コンピュータプログラム命令がプロセッサにより実行されるとき、前記プロセッサは本明細書に記載の「例示的な方法」で説明された本発明の実施例による肺炎徴候の分割方法のステップを実施する。
前記コンピュータプログラム製品は１つ又は複数のプログラム設計言語の任意の組み合わせによって本発明の実施例による作業を実行するためのプログラムコードを編成することができる。前記プログラム設計言語は対象向けのプログラム設計言語、例えばＪａｖａ、Ｃ＋＋などを含み、一般の過程式のプログラム設計言語、例えば「Ｃ」言語又は類似のプログラム設計言語を更に含む。プログラムコードは、完全にユーザの計算デバイスで実行されるか、部分的にユーザデバイスで実行されるか、独立したソフトウェアパックとして実行されるか、一部がユーザの計算デバイスで実行されて一部がリモート計算デバイスで実行されるか、又は、完全にリモート計算デバイスで実行されることができる。
また、本発明の実施例はコンピュータ読取可能な記憶媒体であってもよく、それにはコンピュータプログラム命令が記憶されている。前記コンピュータプログラム命令がプロセッサにより実行されるとき、前記プロセッサは、本明細書に記載の「例示的な方法」で説明された本発明の各実施例による肺炎徴候の分割方法のステップを実施する。
前記コンピュータ読取可能な記憶媒体は１つ又は複数の読取可能な媒体の任意の組み合わせであってもよい。読取可能な媒体は読取可能な信号媒体又は読取可能な記憶媒体であってもよい。読取可能な記憶媒体は例えば、電気、磁気、光、電磁気、赤外線、又は半導体のシステム、装置もしくはデバイス、又はこれらの任意の組み合わせを含んでもよいが、これらに限られない。読取可能な記憶媒体の更に具体的な例（全体リストではない）としては、１つ又は複数の導線を有する電気接続、携帯式ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、書き込み及び消去可能なリードオンリーメモリ（ＥＰＲＯＭ又はキャッシュ）、光ファイバー、携帯式コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、光メモリ部品、磁気メモリ部品、又はこれらの任意の適切な組み合わせを含む。
以上では詳しい実施例に基づいて本発明の基本原理を説明したが、本発明で言及された長所、利点、効果などは例示的なものに過ぎず、制限にはならない。これらの長所、利点、効果などは、本発明の各実施例の必ず具備するものとして理解されてはいけない。また、以上で開示した細かい内容は例示及び理解補助の役割を果たすものに過ぎず、制限にはならない。上述の細部は本発明が必ず上述の細部で実現されなければならないように制限するものではない。
本発明で言及された機器、装置、デバイス、システムのブロック図は例示的な例に過ぎず、ブロック図に示す接続、配列、配置が必須であることを意味するか又は暗示するものではない。当業者であればわかるように、これらの機器、装置、デバイス、システムは任意の形で接続、配列、配置されることができる。「含む」、「備える」、「有する」などの単語は開放的な語彙であって、「含むがそれに限られない」を意味し且つこれと交換して使用されてもよい。ここで使用された「又は」及び「及び」との単語は、文脈で否定の意思が明確に描かれていない以上、「及び／又は」を意味し且つこれと交換して使用されてもよい。ここで使用される「例えば」という単語は、「例えば…が、それに限られない」を意味し且つこれと交換して使用されてもよい。
さらに、本発明による装置、デバイス及び方法において、各部品又は各ステップは分解及び／又は再組合せされてもよい。これらの分解及び／又は再組合せは本発明の並列手段として理解されるべきである。
開示した態様についての以上の説明は、当業者が本発明を再現又は使用できるようにするために提供される。当業者にとってこれらの態様に対する様々な変更は容易であり、且つ、ここで定義された一般的な原理は本発明の範囲を逸脱しない前提で他の態様に適用されることができる。よって、本発明はここで示した態様に制限されず、ここで開示された原理及び新規の特徴に一致する最大の範囲を有するべきである。
例示及び説明を目的として、以上の内容を開示した。また、以上の内容は本発明の実施例をここで開示された形に限るためのものではない。以上で既に複数の例示的な態様及び実施例を説明したが、当業者であれば、他の変形、変更、変化、追加及びサブ組み合わせを理解できるべきである。

Claims (15)

  1. ＣＴ画像における肺臓領域画像に基づいて複数の肺炎徴候画像をそれぞれ生成するステップと、
    前記複数の肺炎徴候画像を組み合わせて肺炎総合徴候画像を取得するステップと、を含み、
    前記複数の肺炎徴候画像をそれぞれ生成することは、前記肺臓領域画像を複数のニューラルネットワークモデルのそれぞれに入力して前記複数の肺炎徴候画像を取得することを含む
    ことを特徴とする肺炎徴候の分割方法。
  2. 前記複数の肺炎徴候画像は、徴候画像である肺硬化画像、スリガラス状陰影画像、塊状画像、樹枝状影画像、結節画像、空洞画像及びハローサイン画像のうちのいずれか１つ又は複数の組み合わせを含む
    ことを特徴とする請求項１に記載の肺炎徴候の分割方法。
  3. 前記肺臓領域画像は複数層の二次元画像を含み、
    前記肺臓領域画像を複数のニューラルネットワークモデルのそれぞれに入力して前記複数の肺炎徴候画像を取得する前記ステップは、
    前記複数層の二次元画像を一部ずつ前記複数のニューラルネットワークモデルのそれぞれに入力して、前記複数の肺炎徴候画像のそれぞれに対応する複数層の二次元徴候画像を取得するステップと、
    それぞれ同一の肺炎徴候画像に対応する前記複数層の二次元徴候画像を重ね合わせて、前記複数の肺炎徴候画像を取得するステップと、を含む
    ことを特徴とする請求項１又は２に記載の肺炎徴候の分割方法。
  4. 前記肺臓領域画像は複数層の二次元画像を含み、
    前記肺臓領域画像を複数のニューラルネットワークモデルのそれぞれに入力して前記複数の肺炎徴候画像を取得する前記ステップは、
    前記複数層の二次元画像を前記複数のニューラルネットワークモデルのそれぞれに入力して、前記複数の肺炎徴候画像のそれぞれに対応する複数層の二次元徴候画像を取得するステップと、
    それぞれ同一の肺炎徴候画像に対応する前記複数層の二次元徴候画像を重ね合わせて、前記複数の肺炎徴候画像を取得するステップと、を含む
    ことを特徴とする請求項１又は２に記載の肺炎徴候の分割方法。
  5. 前記複数の肺炎徴候画像を取得した後に、
    前記複数の肺炎徴候画像のそれぞれに対して収縮膨張処理を行うステップを更に含む
    ことを特徴とする請求項１ないし４のいずれか一項に記載の肺炎徴候の分割方法。
  6. 前記肺臓領域画像を取得することは、
    前記ＣＴ画像における肋骨領域画像を取得するステップと、
    前記ＣＴ画像における肺臓領域の粗分割画像を取得するステップと、
    前記肋骨領域画像を前記肺臓領域の境界とし且つ前記粗分割画像をシード領域として、前記肺臓領域の境界まで予め設定されたストライドで近傍へ拡張することによって、前記肺臓領域画像を取得するステップと、を含む
    ことを特徴とする請求項１ないし５のいずれか一項に記載の肺炎徴候の分割方法。
  7. 前記ＣＴ画像における肺臓領域の粗分割画像を取得する前記ステップの後、
    前記粗分割画像に対して収縮処理を行って、収縮された粗分割画像を取得するステップを更に含み、
    前記肋骨領域画像を前記肺臓領域の境界とし且つ前記粗分割画像をシード領域として、前記肺臓領域の境界まで予め設定されたストライドで近傍へ拡張することによって、前記肺臓領域画像を取得する前記ステップは、
    前記肋骨領域画像を前記肺臓領域の境界とし且つ前記収縮された粗分割画像をシード領域として、前記肺臓領域の境界まで予め設定されたストライドで近傍へ拡張することによって、前記肺臓領域画像を取得するステップを含む
    ことを特徴とする請求項６に記載の肺炎徴候の分割方法。
  8. 前記肋骨領域画像を前記肺臓領域の境界とし且つ前記粗分割画像をシード領域として、前記肺臓領域の境界まで予め設定されたストライドで近傍へ拡張することによって、前記肺臓領域画像を取得する前記ステップは、
    動的輪郭モデルに基づいて実行される
    ことを特徴とする請求項６に記載の肺炎徴候の分割方法。
  9. 前記肋骨領域画像を前記肺臓領域の境界とし且つ前記収縮された粗分割画像をシード領域として、前記肺臓領域の境界まで予め設定されたストライドで近傍へ拡張することによって、前記肺臓領域画像を取得する前記ステップは、
    動的輪郭モデルに基づいて実行される
    ことを特徴とする請求項７に記載の肺炎徴候の分割方法。
  10. 前記肋骨領域画像を取得する方法は、
    骨のＣＴ値に基づいて前記ＣＴ画像における骨領域画像を取得するステップと、
    肋骨の特性に基づいて前記骨領域画像から肋骨領域を分割して前記肋骨領域画像を取得するステップと、を含む
    ことを特徴とする請求項６ないし９のいずれか一項に記載の肺炎徴候の分割方法。
  11. 前記ＣＴ画像における肺臓領域の粗分割画像を取得する前記ステップの前に、
    前記分割方法は、前記ＣＴ画像に対して前処理を行うステップを更に含み、
    前記前処理は、背景除去と、ホワイトノイズ除去と、画像のトリミングと、ウィンドウ幅及びウィンドウレベルの変換と、のうちのいずれか１つの作業又は複数の作業の組合せを含む
    ことを特徴とする請求項６ないし１０のいずれか一項に記載の肺炎徴候の分割方法。
  12. 前記肺臓領域画像の境界に対して平滑化処理を行うステップを更に含む
    ことを特徴とする請求項６ないし１１のいずれか一項に記載の肺炎徴候の分割方法。
  13. ＣＴ画像における肺臓領域画像に基づいて複数の肺炎徴候画像をそれぞれ生成する生成モジュールと、
    前記複数の肺炎徴候画像を組み合わせて肺炎総合徴候画像を取得する組合せモジュールと、を備え、
    前記生成モジュールはさらに、前記肺臓領域画像を複数のニューラルネットワークモデルのそれぞれに入力して、前記複数の肺炎徴候画像を取得するように構成される
    ことを特徴とする肺炎徴候の分割装置。
  14. コンピュータ読取可能な記憶媒体であって、
    前記記憶媒体にはコンピュータプログラムが記憶されており、前記コンピュータプログラムは請求項１ないし１２のいずれか一項に記載の肺炎徴候の分割方法を実行するように構成される
    ことを特徴とする記憶媒体。
  15. プロセッサと、
    前記プロセッサにより実行可能な命令を記憶するように構成されるメモリと、を備え、
    前記プロセッサは請求項１ないし１２のいずれか一項に記載の肺炎徴候の分割方法を実行するように構成される
    ことを特徴とする電子デバイス。
JP2021571620A 2020-03-17 2021-01-18 肺炎徴候の分割方法、装置、媒体及び電子デバイス Active JP7304437B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010189089.6A CN111415356B (zh) 2020-03-17 2020-03-17 肺炎征象的分割方法、装置、介质及电子设备
CN202010189089.6 2020-03-17
PCT/CN2021/072515 WO2021184949A1 (zh) 2020-03-17 2021-01-18 肺炎征象的分割方法、装置、介质及电子设备

Publications (2)

Publication Number Publication Date
JP2022535811A true JP2022535811A (ja) 2022-08-10
JP7304437B2 JP7304437B2 (ja) 2023-07-06

Family

ID=71494475

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021571620A Active JP7304437B2 (ja) 2020-03-17 2021-01-18 肺炎徴候の分割方法、装置、媒体及び電子デバイス

Country Status (5)

Country Link
US (1) US20220092788A1 (ja)
EP (1) EP3971830B1 (ja)
JP (1) JP7304437B2 (ja)
CN (1) CN111415356B (ja)
WO (1) WO2021184949A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415356B (zh) * 2020-03-17 2020-12-29 推想医疗科技股份有限公司 肺炎征象的分割方法、装置、介质及电子设备
WO2022225794A1 (en) * 2021-04-23 2022-10-27 The Johns Hopkins University Systems and methods for detecting and characterizing covid-19
CN115496703A (zh) * 2021-06-18 2022-12-20 富联精密电子(天津)有限公司 肺炎区域检测方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060018524A1 (en) * 2004-07-15 2006-01-26 Uc Tech Computerized scheme for distinction between benign and malignant nodules in thoracic low-dose CT
JP2019169049A (ja) * 2018-03-26 2019-10-03 富士フイルム株式会社 医用画像特定装置、方法およびプログラム

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002087444A1 (fr) * 2001-04-26 2002-11-07 Teijin Limited Procede de mesure d'une structure articulaire tridimensionnelle
WO2010009735A2 (en) * 2008-07-23 2010-01-28 Dako Denmark A/S Combinatorial analysis and repair
US20140074493A1 (en) * 2012-01-03 2014-03-13 David Lyle Schneider Medical protection lockout system for procedures and devices
EA035265B1 (ru) * 2013-10-02 2020-05-21 Бёрингер Ингельхайм Энимал Хелс Ю-Эс-Эй Инк. Вариант белка opc2 pcv2 и содержащие его вирусоподобные частицы
JP6906347B2 (ja) * 2017-04-10 2021-07-21 富士フイルム株式会社 医用画像分類装置、方法およびプログラム
CN107220373B (zh) * 2017-06-19 2019-09-17 太原理工大学 一种基于医学征象和卷积神经网络的肺结节ct图像哈希检索方法
CN107392910B (zh) * 2017-07-06 2020-01-07 东软医疗系统股份有限公司 一种基于ct图像的肺叶分割方法及装置
CN107563383A (zh) * 2017-08-24 2018-01-09 杭州健培科技有限公司 一种医学影像辅助诊断及半监督样本生成系统
CN110838124B (zh) * 2017-09-12 2021-06-18 深圳科亚医疗科技有限公司 用于分割具有稀疏分布的对象的图像的方法、系统和介质
CN107845091B (zh) * 2017-10-31 2019-02-15 北京青燕祥云科技有限公司 基于预筛查的快速标注方法和系统
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN110503640B (zh) * 2018-08-21 2022-03-22 深圳科亚医疗科技有限公司 对医学图像进行分析的装置、系统及计算机可读介质
CN109727253A (zh) * 2018-11-14 2019-05-07 西安大数据与人工智能研究院 基于深度卷积神经网络自动分割肺结节的辅助检测方法
CN109636802A (zh) * 2019-01-18 2019-04-16 天津工业大学 基于深度卷积神经网络的肺实质经ct图像分割方法
CN110517225B (zh) * 2019-07-19 2023-07-11 平安科技（深圳）有限公司 Ai影像识别方法、装置、设备及存储介质
CN110599448B (zh) * 2019-07-31 2022-03-15 浙江工业大学 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统
CN110706200B (zh) * 2019-09-02 2022-08-05 杭州深睿博联科技有限公司 数据预测的方法及装置
CN111415743B (zh) * 2020-03-17 2021-07-09 推想医疗科技股份有限公司 肺炎分类方法、装置、介质及电子设备
CN111415356B (zh) * 2020-03-17 2020-12-29 推想医疗科技股份有限公司 肺炎征象的分割方法、装置、介质及电子设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060018524A1 (en) * 2004-07-15 2006-01-26 Uc Tech Computerized scheme for distinction between benign and malignant nodules in thoracic low-dose CT
JP2019169049A (ja) * 2018-03-26 2019-10-03 富士フイルム株式会社 医用画像特定装置、方法およびプログラム

Also Published As

Publication number Publication date
EP3971830B1 (en) 2023-09-20
WO2021184949A1 (zh) 2021-09-23
CN111415356B (zh) 2020-12-29
JP7304437B2 (ja) 2023-07-06
EP3971830C0 (en) 2023-09-20
US20220092788A1 (en) 2022-03-24
EP3971830A4 (en) 2022-09-14
CN111415356A (zh) 2020-07-14
EP3971830A1 (en) 2022-03-23

Similar Documents

Publication Publication Date Title
JP7304437B2 (ja) 肺炎徴候の分割方法、装置、媒体及び電子デバイス
KR101875468B1 (ko) 질환 모델 기반의 의료 정보 서비스 제공 방법 및 장치
CN111415743B (zh) 肺炎分类方法、装置、介质及电子设备
US8605978B2 (en) Medical image processing apparatus and method, and computer readable recording medium on which is recorded program for the same
US10304198B2 (en) Automatic medical image retrieval
JP4931027B2 (ja) 医用画像診断支援装置および方法、並びにプログラム
JP5643304B2 (ja) 胸部トモシンセシスイメージングにおけるコンピュータ支援肺結節検出システムおよび方法並びに肺画像セグメント化システムおよび方法
JP5701138B2 (ja) 医用画像処理装置および方法、並びにプログラム
CN107545584A (zh) 医学图像中定位感兴趣区域的方法、装置及其系统
JP2007526033A (ja) 構造化オブジェクトの画像を登録するための装置及び方法
CN111260669A (zh) 基于ct图像的肺叶分割方法和装置
US11278257B2 (en) Diagnostic auxiliary image generation apparatus, diagnostic auxiliary image generation method, and diagnostic auxiliary image generation program
JP4675509B2 (ja) 臓器の特定領域抽出表示装置及び方法
CN111311612A (zh) 肺部分割方法、装置、介质及电子设备
CN111415341A (zh) 肺炎阶段的评估方法、装置、介质及电子设备
KR101514795B1 (ko) 혈관의 정량화 방법
JP7457011B2 (ja) 異常検出方法、異常検出プログラム、異常検出装置、サーバ装置及び情報処理方法
Wang et al. Accuracy and reliability analysis of a machine learning based segmentation tool for intertrochanteric femoral fracture CT
Chen et al. Scrfd: Spatial coherence based rib fracture detection
JP5992853B2 (ja) 手術支援装置、方法およびプログラム
JP6920477B2 (ja) 画像処理装置、画像処理方法、及びプログラム
Wei et al. Segmentation of lung lobes in volumetric CT images for surgical planning of treating lung cancer
JP6832479B1 (ja) 立体を形状の狭隘部で分割する画像処理方法、画像処理プログラム、及び画像処理装置
WO2022270152A1 (ja) 画像処理装置、方法およびプログラム
US20230368880A1 (en) Learning apparatus, learning method, trained model, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230519

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230626

R150 Certificate of patent or registration of utility model

Ref document number: 7304437

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150