JP2019193776A - ディープラーニングに基づいたコンピュータ断層撮影肺結節検出法 - Google Patents

ディープラーニングに基づいたコンピュータ断層撮影肺結節検出法 Download PDF

Info

Publication number
JP2019193776A
JP2019193776A JP2019049066A JP2019049066A JP2019193776A JP 2019193776 A JP2019193776 A JP 2019193776A JP 2019049066 A JP2019049066 A JP 2019049066A JP 2019049066 A JP2019049066 A JP 2019049066A JP 2019193776 A JP2019193776 A JP 2019193776A
Authority
JP
Japan
Prior art keywords
lung
deep learning
nodule detection
slice
slices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019049066A
Other languages
English (en)
Other versions
JP6993371B2 (ja
JP2019193776A5 (ja
Inventor
ルングァオ ジャン
Rongguo Zhang
ルングァオ ジャン
モンモン スン
Mengmeng Sun
モンモン スン
シャオカン ワン
Shaokang Wang
シャオカン ワン
クァン チェン
Kuan Chen
クァン チェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Co Ltd
Original Assignee
Infervision Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Co Ltd filed Critical Infervision Co Ltd
Publication of JP2019193776A publication Critical patent/JP2019193776A/ja
Publication of JP2019193776A5 publication Critical patent/JP2019193776A5/ja
Application granted granted Critical
Publication of JP6993371B2 publication Critical patent/JP6993371B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10081Computed x-ray tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • G06T2207/30064Lung nodule
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images
    • G06V2201/032Recognition of patterns in medical or anatomical images of protuberances, polyps nodules, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】ディープラーニングに基づいたコンピュータ断層撮影(CT)肺結節検出法を提供する。【解決手段】方法は、ユーザの3D肺CTシーケンス画像を取得することと、取得された3D肺CTシーケンス画像を2D画像データに処理することと、トレーニングされた肺結節検出モデルを得るために、トレーニング用に予め設定されたディープラーニングネットワークモデルに2D画像データを入力することと、予備的な肺結節検出結果を得るために、トレーニングされた肺結節検出モデルに試験される3D肺CTシーケンス画像の集合を入力することと、最終的な肺結節検出結果を得るために、誤検出肺結節を除去するために、予備的な肺結節検出結果にディープラーニングに基づいた肺領域分割アルゴリズムを適用することと、のステップを含む。【選択図】図1

Description

[関連出願に対するクロスリファレンス]
本出願は、2018年3月16日に出願された中国特許出願番号201810217568.7からの優先権および利益を享受する権利を主張し、中国特許出願番号201810217568.7は、本明細書に完全に説明されるように、全ての目的に対して、参照によって本明細書に組み入れられる。
本発明の例示的実施形態/実装は、概して、医用画像処理の分野に関し、より詳細には、ディープラーニングに基づいたコンピュータ断層撮影(CT)肺結節検出法に関する。
肺がんは、中国では最高の罹患率および死亡率の疾病の種類である。肺がんの死亡率は、過去30年間で465%増加し、その主な理由は、がん患者の75%が中間および進行したステージでしか診断されないということである。先進国においてさえも、肺がんは、全ての悪性腫瘍のうちで最も一般的かつ致命的なものである。早期肺がんの検出率は、25%に満たないが、早期肺がんの5年生存率は55%に達する。その早期特性は明瞭なものではないため、肺がんを検出する上で最良の方法は、肺結節を定期的に検査することである。
CT(コンピュータ断層撮影)は、しばしば採用される信頼できるスクリーニング法である。1.25mmのスライス厚のCT画像の数は、200から300の間である。作成される膨大なCT画像を扱うとき、ある診断において医師を支援するために人工知能技術が採用されれば、人員は節約され、過労に起因する誤診は減少するだろう。
ディープラーニングニューラルネットワークモデルは、ヒトの脳の生物学的構造に起因するものであるが、ヒトの脳と比較すると、ディープラーニングニューラルネットワークの階層はより明瞭であり、神経単位の接続はより規則的であり、信号伝達の方向はより限定的である。ディープラーニングは、非常に小さい特性単位(ピクセル)で画像を記述することができるため、ディープラーニング人工知能は、従来の論理法よりも何万倍も複雑なモデルを解析、構築することができ、より精密な画像認識、画像分類といったタスクを達成することができる。ディープラーニングの最も広く認識されている用途は、GoogleのAlpha Goであり、これは、人間対コンピュータの競争で、碁の世界チャンピオンであるLee Se−dolおよびKe Jieを圧倒的に打ち負かした。碁に加えて、ディープラーニングは、画像認識および音声認識といった領域で従来の方法より優れた性能を有し、無人車両、音声認識、顔認識などといった様々な用途のシナリオで大きなブレイクスルーをもたらしている。最近では、人工知能は、また、医用イメージング研究でもブレイクスルーをもたらしている。
ディープラーニング技術の利用は、誤診を減少させ、肺がんスクリーニング検査におけるCTの価値をさらに高めることを可能にする。ディープラーニングは、病変の精密な評価のために、臨床的に重要性が高いだけではなく、イメージング評価においても将来性を示し、期待をもたらしてもいる。
背景技術に開示された上記の情報は、本発明の概念の背景を理解するためだけのものであって、したがって、従来技術を構成しない情報を含み得る。
ディープラーニングに基づいたCT肺結節検出法は、以下のステップを含むように提供される。
S1:ユーザの三次元(3D)肺CTシーケンス画像を取得すること。
S2:取得された3D肺CTシーケンス画像を二次元(2D)画像データに処理すること。
S3:トレーニング用に予め設定されたディープラーニングネットワークモデルに2D画像データを入力し、それによって、トレーニングされた肺結節検出モデルを得ること。
S4:予備的な肺結節検出結果を得るために、トレーニングされた肺結節検出モデルに試験された3D肺CTシーケンス画像を入力すること。
S5:誤検出肺結節を除去するために、予備的な肺結節検出結果にディープラーニングに基づいた肺領域分割アルゴリズムを適用し、それによって、最終的な肺結節検出結果を得ること。
本発明の概念のさらなる特徴は、以下に続く記述で説明され、部分的には、その記述から明らかになるであろうし、または本発明の概念の実施によって学習され得る。
望ましくは、S2ステップは、さらに以下を含む。取得された3D肺CTシーケンス画像に対して、各スライスは中心として肺結節を含み、nスライスが予め取得され、nスライスは、中心スライス後に取得され、それによって、2n+1スライスが2D画像データを構成し、ここで、nは1以上の整数である。
望ましくは、ステップS3において、予め設定されたディープラーニングネットワークモデルは、マルチスケール特性を含み、マルチスケール特性は、トレーニングプロセスで適用される。
望ましくは、マルチスケール特性は、ディープラーニングネットワークモデルの異なるスライスの応答情報を融合させることによって構築される。
望ましくは、ステップS4において、試験された3D肺CTシーケンス画像が、トレーニングされた肺結節検出モデルに入力される前に、試験された3D肺CT試験シーケンス画像は、1スライスを中心として、nスライスがこの一枚の中心スライスの前に取得され、nスライスはこの一枚の中心スライスの後に取得され、このようにして、2n+1スライスが2D画像データを構成し、ここでnは1以上の整数である。
望ましくは、ステップS5において、予め設定された肺領域分割モデルに従って、予備的な肺結節検出結果は、誤検出の肺結節を除去するために、肺領域に対して分割される。
望ましくは、予め設定されたディープラーニングネットワークモデルは、予め設定された肺領域分割モデルを得るために、2D肺領域画像を用いて構築され、トレーニングされる。
本発明によって提供される技術的解決策は、以下のような有利な効果を有する。肺結節の検出が実現されることができ、CTシーケンス画像の3D情報が完全に利用され、3D情報は、2Dディープラーニングネットワーク構造に融合され、3Dディープラーニングネットワークの適用に起因するコンピューティングリソースに対するオーバーフィッテイング(過剰適合)および過度依存は回避される。
前述の一般的な記述および以下の詳細な記述の双方は例示的かつ説明的なものであり、請求項に係るように本発明のさらなる説明を提供することが意図されることを理解されたい。
本発明のさらなる理解を提供するために含まれ、本明細書の一部に組み入れられ、本明細書の一部を構成する添付の図面は、本発明の概念を説明するための記述とともに、本発明の例示的実施形態を図示する。
本発明による、ディープラーニングに基づいたCT肺結節検出法のフローチャートである。 本発明による、ディープラーニングに基づいたCT肺結節検出法のトレーニングプロセスの概略図である。 本発明による、予め設定されたディープラーニングネットワークモデルの構造図である。 本発明による、ディープラーニングに基づいたCT肺結節検出法の試験プロセスの概略図である。 本発明による、ディープラーニングに基づいたCT肺結節検出法の肺結節検出結果の概略図である。
以下の詳細な説明においては、例示の目的のために、多数の具体的な詳細事項が、本発明の様々な例示的実施形態または実装の完全な理解を提供するために説明される。本明細書で用いられるように、“実施形態(embodiments)”および“実装(implementations)”は、本明細書に開示される本発明の一つ以上の概念を使用するデバイスまたは方法の限定しない実施例である交換可能な単語である。しかしながら、様々な例示的実施形態は、これらの具体的な詳細事項なしで、または一つ以上の均等な配置で実施されてもよいことは明らかである。他の例においては、周知の構造およびデバイスは、様々な例示的実施形態を不必要に不明瞭にすることを回避するために、ブロック図の形式で図示される。さらには、様々な例示的実施形態は異なってもよく、排他的である必要はない。例えば、例示的実施形態の特定の形状、構成および特徴は、本発明の概念から逸脱することなく、別の例示的実施形態で用いられてもよく、または実現されてもよい。
特に指定がない限りは、図示された例示的実施形態は、本発明の概念が実際に実現され得る幾つかの方法の変化する詳細事項の例示的特徴を提供するものとして理解されるべきである。したがって、特に指定がない限りは、様々な実施形態の特徴、コンポーネント、モジュール、レイヤ、フィルム、パネル、領域および/または態様など(以降、個々にまたは集合的に“構成要素”と呼ばれる)は、本発明の概念から逸脱することなく、さもなければ、組み合わされ、分離され、交換され、および/または再配置されてもよい。
添付の図面においては、構成要素の寸法および相対的寸法は、明瞭性および/または記述的目的のために、強調されてもよい。例示的一実施形態が異なるように実現され得るとき、特定のプロセス順序は、記述された順序とは異なって実施されてもよい。例えば、二つの連続的に記述されたプロセスは実質的に同時に実施されてもよく、または記述された順序とは逆の順序で実施されてもよい。また、類似の参照番号は、類似の構成要素を指す。
レイヤなどの構成要素が別の構成要素もしくはレイヤ“の上にある(on)”か、“に接続されている(connected to)”か、または“に結合されている(coupled to)”ものとして言及されるとき、それは、他の構成要素もしくはレイヤの上に直接あるか、直接接続されるか、または直接結合されてもよく、あるいは、介在構成要素もしくはレイヤが存在してもよい。しかしながら、構成要素もしくはレイヤが別の構成要素もしくはレイヤ“の直接上にある(directly on)”か、“に直接接続されている(directly connected to)”か、または“に直接結合されている(directly coupled to)”ものとして言及されるときには、介在構成要素もしくはレイヤは存在しない。この目的を達するために、“接続される(connected)”という語は、介在構成要素あり、またはなしでの物理的、電気的、および/または流体接続を指すことがある。さらに、D1軸、D2軸およびD3軸は、x、yおよびz軸などの直交座標系の3軸に限定されることはなく、より広い意味で解釈され得る。例えば、D1軸、D2軸およびD3軸は、相互に垂直であってもよく、または、相互に垂直ではない異なる方向を表してもよい。本開示の目的のために、“X、YおよびZのうちの少なくとも一つ(at least one of X,Y,and Z)”ならびに“X、YおよびZから成る群から選択された少なくとも一つ(at least one selected from the group consisting of X,Y,and Z)”は、Xのみ、Yのみ、Zのみ、または、XYZ、XYY、YZ、ZZといったように、X、YおよびZのうちの二つ以上の任意の組み合わせとして構成されてもよい。本明細書で用いられるように、“および/または(and/or)”という用語は、関連付けられた記載された項目のうちの一つ以上の任意の、およびすべての組み合わせを含む。
“第一(first)”、“第二(second)”などの用語は、様々な種類の構成要素を記述するために本明細書で用いられ得るが、これらの構成要素は、これらの項目によって限定されるべきではない。これらの語は、別の構成要素から一つの構成要素を区別するために用いられる。したがって、以下に論じられる第一の構成要素は、本開示の教示から逸脱することなく、第二の構成要素と呼ばれることができる。
“下(beneath)”、“下(below)”、“下(under)”、“より低い(lower)”、“上(above)”、“より上(upper)”、“上(over)”、“より高い(higher)”、“側(side)”(例えば、“側壁(sidewall)”といったように)などといった、空間的な相対語は、記述する目的のために本明細書で用いられることがあり、それによって、図面内に図示されるある構成要素の別の構成要素に対する関係を記述する。空間的な相対語は、図面内に図示された方向付けに加えて、使用、動作および/または製造中の装置の異なる方向付けを包含することが意図される。例えば、図面内の装置がひっくり返される場合、他の構成要素もしくは特徴の“下(below)”または他の構成要素もしくは特徴の“下(beneath)”として記述される構成要素は、今度は、他の構成要素もしくは特徴の“上(above)”に方向づけられるだろう。このように、例示的な語“下(below)”は、上(above)および下(below)の両方の方向付けを包含することができる。さらに、装置は、その他のように(例えば、90度回転されるか、または他の向きで)方向づけられてもよく、用いられる空間的相対語はそれに従って解釈される。
本明細書で用いられる専門用語は、特定の実施形態を記述する目的のためのものであって、限定することを意図するものではない。本明細書で用いられるように、単数形“一つ(a)”、“一つ(an)”および“その(the)”は、文脈が明確に層でないと示さない限りは、複数形も同様に含むことが意図される。さらに、本明細書で用いられるとき、用語“含む(comprises)”、“含む(comprising)”、“含む(includes)”および/または“含む(including)”は、明言された特徴、整数、ステップ、動作、構成要素、コンポーネントおよび/またはその集合の存在を明記するが、一つ以上の他の特徴、整数、ステップ、動作、構成要素、コンポーネントおよび/またはその集合の存在あるいは追加を除外するものではない。本明細書で用いられるように、用語“実質的に(substantially)”、“約(about)”および他の類似の語は、程度の用語としてではなく概算の用語として用いられ、このように、当業者によって認識されるであろう測定され、計算され、および/または提供された値における固有の偏差を説明するために用いられることにも留意されたい。
本分野の慣例として、記述され、添付の図面に図示された幾つかの例示的実施形態は、機能的ブロック、ユニットおよび/またはモジュールによって実施され得る。これらのブロック、ユニットおよび/またはモジュールは、論理回路、ディスクリートコンポーネント、マイクロプロセッサ、ハードワイヤード回路、メモリ素子、有線接続などの電子(または光)回路によって物理的に実現され、これは、半導体に基づく製造技術または他の製造技術を用いて形成され得ることを当業者は理解するであろう。マイクロプロセッサまたは他の類似のハードウェアによってブロック、ユニットおよび/またはモジュールが実現される場合には、それらは、本明細書で論じられる様々な機能を実施するためにソフトウェア(例えば、マイクロコード)を用いてプログラムされ、制御され得、任意で、ファームウェアおよび/またはソフトウェアによって駆動され得る。各ブロック、ユニットおよび/またはモジュールは、専用ハードウェアによって実現され得るか、または、ある機能を実施するための専用ハードウェアと、他の機能を実施するためのプロセッサ(例えば、一つ以上のプログラムされたマイクロプロセッサおよび関連回路)との組み合わせとして実現され得ることも予期される。また、幾つかの例示的実施形態の各ブロック、ユニットおよび/またはモジュールは、本発明の概念の範囲から逸脱することなく、二つ以上の相互作用するディスクリートブロック、ユニットおよび/またはモジュールに物理的に分離されてもよい。さらに、幾つかの例示的実施形態のブロック、ユニットおよび/またはモジュールは、本発明の概念の範囲から逸脱することなく、さらに複雑なブロック、ユニットおよび/またはモジュールに物理的に組み合わせられてもよい。
特に指定がない限りは、本明細書で用いられる全用語(技術的、科学的用語を含む)は、本開示が一部である当業者によって通常理解されるのと同一の意味を有する。通常使用される辞書で定義されるものなどの用語は、関連技術の文脈におけるその意味と矛盾しない意味を有するものとして解釈されるべきであって、本明細書で明確にそう定義されない限りは、理想化されるか、または過度に形式的な意味で解釈されるべきではない。
本発明の全般的な発明の概念は、2n+1枚の二次元画像に肺CTシーケンス画像を処理することと、それらをディープラーニングネットワークに入力することと、ディープラーニングネットワーク構造をカスタム化することであって、これは、入力として2n+1枚の画像を受信し、マルチスケール特性を融合させることができる、ことである。肺結節の検出モデルは、トレーニングサンプルを学習することによって得られ、肺結節の検出は、モデルを用いることによって実現され、最後に、肺外の誤検出肺結節は、肺領域を分割することによって除去され、肺結節の最終的な検出結果が得られる。
図1は、本発明による、ディープラーニングに基づいたCT肺結節検出法のフローチャートである。
ステップS1において、ユーザの3D肺CTシーケンス画像が取得される。
ステップS2において、取得された3D肺シーケンス画像が2D画像データに処理される。
ステップS3において、2D画像データは、トレーニング用に予め設定されたディープラーニングネットワークモデルに入力され、それによって、トレーニングされた肺結節検出モデルが得られる。
ステップS4において、試験された3D肺CTシーケンス画像がトレーニングされた肺結節検出モデルに入力され、それによって、予備的な肺結節検出結果が得られる。
ステップS5において、誤検出の肺結節を除去するために、ディープラーニングに基づいた肺領域分割アルゴリズムが予備的な肺結節検出結果に適用され、それによって、最終的な肺結節検出結果が得られる。
図2は、本発明による、ディープラーニングに基づいたCT肺結節検出法のトレーニングプロセスの概略図である。ステップS1およびS2において、肺結節を含む3D肺CTシーケンス画像がまず収集され、各スライスは、中心として肺結節を含み、n枚のスライスが中心スライスの前後に取得され、それによって、合計2n+1枚のスライスが収集され、トレーニング用に予め設定されたディープラーニングネットワークモデルにトレーニングサンプルとして入力され、ここで、nは1以上の整数である。トレーニング用に予め設定されたディープラーニングネットワークモデルは、2n+1チャネルのマルチスケール領域ベースの畳み込みニューラルネットワークモデルであり、それによって、トレーニングされた肺結節検出モデルが複数回のトレーニングの繰り返しを経た後に得られる。したがって、本発明においては、取得された3D肺CTシーケンス画像は2D画像データに処理され、3D情報は、2Dディープラーニングネットワーク構造に融合され、これは、画像のコンテキスト情報を十分に活用するだけではなく、3Dディープラーニングネットワークに起因するコンピューティングリソースに対するオーバーフィッティング(過剰適合)および過信用も回避する。
図3は、本発明による、予め設定されたディープラーニングネットワークモデルの構造図である。図3を参照すると、ディープラーニングネットワークモデルは、入力画像にマルチスケール特性抽出を実施する。具体的には、畳み込みレイヤに入力画像データを通した後によりディープな特性マップが得られる。プーリングレイヤは、入力特性マップに圧縮を実施し、特性マップを縮小し、ネットワークコンピューティングの複雑性を軽減し、主な特性を抽出するための特性圧縮を実施する間、即ち、入力画像データが畳み込みレイヤおよびプーリングレイヤを通るたびに、対応する特性マップが存在するだろう。対応する特性マップは、その後、アップサンプリングされる。領域生成ネットワークは、高品質の領域提案ボックスを生成することができる。結節位置モジュールは、最終的な分類のために使用され、得られた結果を入力データの種類空間にマッピングする。
したがって、本発明のディープラーニングネットワークモデルは、異なる特性レベルにおける肺結節の候補領域を抽出することによってマルチスケール特性の融合を達成し、特性の表現性能を向上し、より良い肺結節検出モデルを得るためのトレーニングを容易にし、マルチスケール特性に基づいて肺結節検出モデルを実現する。
図4は、本発明による、ディープラーニングに基づいたCT肺結節検出法の試験プロセスの概略図である。図4を参照すると、試験されたCTデータは、トレーニングされた肺結節検出モデルを用いて試験される。試験されたCTデータがトレーニングされた肺結節検出モデルに入力される前に、試験データは、1スライスを中心として、n枚のスライスがこの1枚の中心スライスの前に取得され、n枚のスライスがこの1枚の中心スライスの後に取得される。ここで、nは、1以上の整数である。即ち、試験されたCTデータは、入力サンプルとして一連の2n+1枚のスライスに処理され、その後、予備的な肺結節検出結果が肺結節検出モデルの計算によって得られる。
図5を参照すると、ディープラーニングに基づいた肺領域分割アルゴリズムが適用され、検出結果における肺外の誤検出の肺結節を除去して、最終的な肺結節検出結果が得られるようにする。まず、ディープラーニングネットワークモデルが3D肺CTシーケンス画像で構築されてトレーニングされ、ディープラーニングに基づいた肺領域分割モデルが得られ、その後、予備的な肺結節検出結果がディープラーニングに基づいてトレーニングされた肺領域分割モデルに入力され、最終的な肺結節検出結果が得られる。したがって、本発明の肺領域分割アルゴリズムは、ディープラーニングネットワークモデルを構築してトレーニングを実施することによって肺結節の精密な処理を実現することができる。
ディープラーニングに基づいたCT肺結節検出法に従うと、ディープラーニングの利点は、肺結節の特徴を直接学習するために利用することであり、CT肺結節検出法は、複雑な条件下で肺結節を検出するためにより適切であり、本発明は、肺CT画像の3Dコンテキスト情報を十分に活用することができ、3D情報を2Dディープラーニングネットワーク構造に融合させることができ、それによって、3Dディープラーニングネットワークの適用に起因するコンピューティングリソースに対するオーバーフィッテイング(過剰適合)および過信用を回避する。
本発明の具体的実施形態が詳細に上述されてきたが、本発明の趣旨から逸脱することなく、そこに改変が行われてもよいことが理解されるだろう。本発明の特許請求の範囲は、それらが本発明の範囲および趣旨にあることを保証するために、これらの改変を包含することが意図される。
本明細書には、ある例示的実施形態および実装が記述されてきたが、他の実施形態および改変はこの記述から明らかであろう。したがって、本発明の概念は、このような実施形態に限定するものではなく、むしろ、当業者には明らかであろうように、添付された特許請求の範囲のより広い範囲および様々な明らかな改変および均等な配置に対するものである。

Claims (7)

  1. ディープラーニングに基づいたコンピュータ断層撮影(CT)肺結節検出法であって、
    ユーザの三次元(3D)肺CTシーケンス画像を取得することと、
    前記取得された3D肺CTシーケンス画像を二次元(2D)画像データに処理することと、
    前記2D画像をトレーニング用に予め設定されたディープラーニングネットワークモデルに入力し、それによってトレーニングされた肺結節検出モデルを得ることと、
    予備的な肺結節検出結果を得るために、前記トレーニングされた肺結節検出モデルに、試験される3D肺CTシーケンス画像の集合を入力することと、
    誤検出肺結節を除去するために前記予備的な肺結節検出結果に、ディープラーニングに基づいた肺領域分割アルゴリズムを適用し、それによって最終的な肺結節検出結果を得ることと、を含む、ディープラーニングに基づいたCT肺結節検出法。
  2. 前記取得された3D肺CTシーケンス画像を処理する前記ステップは、
    前記取得された3D肺CTシーケンス画像が複数スライスの2D画像を含み、中心スライスとして肺結節を含む前記複数スライスの2D画像の各スライスを用いることと、予め前記複数スライスの2D画像のn枚のスライスを取得し、前記中心スライスの後で前記複数スライスの2D画像の別のn枚のスライスを取得することと、前記中心スライス、前記中心スライス前の前記複数スライスの2D画像の前記n枚のスライス、および前記中心スライス後の前記複数スライスの2D画像の前記別のn枚のスライスを、前記2D画像データとしてともに用いることと、のステップをさらに含み、nは1以上の整数である、請求項1に記載のディープラーニングに基づいたCT肺結節検出法。
  3. 前記予め設定されたディープラーニングネットワークモデルはマルチスケール特性を含み、前記マルチスケール特性は、前記予め設定されたディープラーニングネットワークモデルの前記トレーニングで適用される、請求項1に記載のディープラーニングに基づいたCT肺結節検出法。
  4. 前記マルチスケール特性は、前記予め設定されたディープラーニングネットワークモデルの異なるレイヤの応答情報を融合させることによって構築される、請求項1に記載のディープラーニングに基づいたCT肺結節検出法。
  5. 試験される3D肺CTシーケンス画像の前記集合を入力する前記ステップの前に、中心スライスとして肺結節を含む、試験される3D肺CTシーケンス画像の前記集合の各スライスを用いることと、前記中心スライスの前にn枚のスライス、前記中心スライスの後に別のn枚のスライスを取得することと、前記中心スライス、前記中心スライスの前の試験される3D肺CTシーケンス画像の前記集合の前記n枚のスライスおよび前記中心スライス後の試験される3D肺CTシーケンス画像の前記集合の前記別のn枚のスライスを、試験される3D肺CTシーケンス画像の前記集合の2D画像データとしてともに用いることと、のステップをさらに含み、nは1以上の整数である、請求項1に記載のディープラーニングに基づいたCT肺結節検出法。
  6. 肺領域分割アルゴリズムを適用する前記ステップは、予め設定された肺領域分割モデルに従って、誤検出肺結節を除去するために、前記予備的な肺結節検出結果を分割することをさらに含む、請求項1に記載のディープラーニングに基づいたCT肺結節検出法。
  7. 前記予め設定されたディープラーニングネットワークモデルは、前記予め設定された肺領域分割モデルを得るために、前記2D画像データで構築され、トレーニングされる、請求項6に記載のディープラーニングに基づいたCT肺結節検出法。
JP2019049066A 2018-03-16 2019-03-15 ディープラーニングに基づいたコンピュータ断層撮影肺結節検出法 Active JP6993371B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810217568.7A CN108446730B (zh) 2018-03-16 2018-03-16 一种基于深度学习的ct肺结节检测装置
CN201810217568.7 2018-03-16

Publications (3)

Publication Number Publication Date
JP2019193776A true JP2019193776A (ja) 2019-11-07
JP2019193776A5 JP2019193776A5 (ja) 2020-06-18
JP6993371B2 JP6993371B2 (ja) 2022-01-13

Family

ID=63194771

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019049066A Active JP6993371B2 (ja) 2018-03-16 2019-03-15 ディープラーニングに基づいたコンピュータ断層撮影肺結節検出法

Country Status (4)

Country Link
US (1) US10937157B2 (ja)
EP (1) EP3540692A1 (ja)
JP (1) JP6993371B2 (ja)
CN (1) CN108446730B (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020192006A (ja) * 2019-05-27 2020-12-03 キヤノンメディカルシステムズ株式会社 診断支援装置、及び、x線ct装置
KR20210073033A (ko) * 2019-12-10 2021-06-18 (주)헬스허브 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법 및 그 장치
CN115393321A (zh) * 2022-08-26 2022-11-25 南通大学 一种基于深度学习的多层螺旋ct对肺结核多分类检出方法

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019173452A1 (en) * 2018-03-07 2019-09-12 Rensselaer Polytechnic Institute Deep neural network for ct metal artifact reduction
CN109255782A (zh) * 2018-09-03 2019-01-22 图兮深维医疗科技(苏州)有限公司 一种肺结节图像的处理方法、装置、设备及存储介质
CN109523521B (zh) * 2018-10-26 2022-12-20 复旦大学 基于多切片ct图像的肺结节分类和病灶定位方法和系统
CN109636817B (zh) * 2018-11-30 2020-10-30 华中科技大学 一种基于二维卷积神经网络的肺结节分割方法
CN109886967A (zh) * 2019-01-16 2019-06-14 成都蓝景信息技术有限公司 基于深度学习技术的肺部解剖学位置定位算法
CN110189307B (zh) * 2019-05-14 2021-11-23 慧影医疗科技(北京)有限公司 一种基于多模型融合的肺结节检测方法及系统
CN111062947B (zh) * 2019-08-14 2023-04-25 深圳市智影医疗科技有限公司 一种基于深度学习的x光胸片病灶定位方法及系统
CN110739049A (zh) * 2019-10-10 2020-01-31 上海联影智能医疗科技有限公司 图像勾画方法、装置、存储介质及计算机设备
CN110942446A (zh) * 2019-10-17 2020-03-31 付冲 一种基于ct影像的肺结节自动检测方法
CN110570425B (zh) * 2019-10-18 2023-09-08 北京理工大学 一种基于深度强化学习算法的肺结节分析方法及装置
CN110852350B (zh) * 2019-10-21 2022-09-09 北京航空航天大学 一种基于多尺度迁移学习的肺结节良恶性分类方法和系统
CN110992312B (zh) * 2019-11-15 2024-02-27 上海联影智能医疗科技有限公司 医学图像处理方法、装置、存储介质及计算机设备
CN110782446B (zh) * 2019-10-25 2022-04-15 杭州依图医疗技术有限公司 一种确定肺结节体积的方法及装置
CN112365504A (zh) * 2019-10-29 2021-02-12 杭州脉流科技有限公司 Ct左心室分割方法、装置、设备和存储介质
CN110853011B (zh) * 2019-11-11 2022-05-27 河北工业大学 用于肺结节检测的卷积神经网络模型的构建方法
CN110992377B (zh) * 2019-12-02 2020-12-22 推想医疗科技股份有限公司 图像分割方法、装置、计算机可读存储介质和设备
CN111080625B (zh) * 2019-12-18 2020-12-29 推想医疗科技股份有限公司 肺部影像条索检测模型的训练方法及其训练装置
CN111127482B (zh) * 2019-12-20 2023-06-30 广州柏视医疗科技有限公司 基于深度学习的ct影像肺气管的分割方法及系统
CN111369623B (zh) * 2020-02-27 2022-11-15 复旦大学 一种基于深度学习3d目标检测的肺部ct图像识别方法
CN110969623B (zh) * 2020-02-28 2020-06-26 北京深睿博联科技有限责任公司 一种肺部ct多征象自动检测方法、系统、终端及存储介质
CN111476766B (zh) * 2020-03-31 2023-08-22 哈尔滨商业大学 基于深度学习的肺结节ct图像检测系统
CN111402254B (zh) * 2020-04-03 2023-05-16 杭州华卓信息科技有限公司 一种ct图像肺结节高性能自动检测方法及装置
CN111539918B (zh) * 2020-04-15 2023-05-02 复旦大学附属肿瘤医院 基于深度学习的磨玻璃肺结节风险分层预测系统
CN111553892B (zh) * 2020-04-23 2021-11-05 北京小白世纪网络科技有限公司 基于深度学习的肺结节分割计算方法、装置及系统
CN111862001B (zh) * 2020-06-28 2023-11-28 微医云(杭州)控股有限公司 Ct影像的半自动标注方法及装置、电子设备、存储介质
CN111815593B (zh) * 2020-06-29 2024-03-01 郑州大学 基于对抗学习的肺结节域适应分割方法、装置及存储介质
CN111798425B (zh) * 2020-06-30 2022-05-27 天津大学 基于深度学习的胃肠道间质瘤中核分裂象智能检测方法
CN111815608B (zh) * 2020-07-13 2023-08-25 北京小白世纪网络科技有限公司 基于深度学习的新冠肺炎患者康复时间预测方法及系统
CN112116558A (zh) * 2020-08-17 2020-12-22 您好人工智能技术研发昆山有限公司 一种基于深度学习的ct影像肺结节检测系统
CN111986189B (zh) * 2020-08-27 2022-12-27 上海市公共卫生临床中心 一种基于ct影像的多类别肺炎筛查深度学习装置
CN112241948A (zh) * 2020-09-23 2021-01-19 深圳视见医疗科技有限公司 一种自适应层厚的肺结节检测分析方法及系统
CN112184657A (zh) * 2020-09-24 2021-01-05 上海健康医学院 一种肺结节自动检测方法、装置及计算机系统
CN112184659B (zh) * 2020-09-24 2023-08-25 上海健康医学院 一种肺部图像处理方法、装置及设备
CN112365498B (zh) * 2020-12-10 2024-01-23 南京大学 一种针对二维图像序列中多尺度多形态目标的自动检测方法
CN112634210B (zh) * 2020-12-10 2024-04-09 重庆大学 一种基于三维ct影像的肺结节检测方法
US11776128B2 (en) * 2020-12-11 2023-10-03 Siemens Healthcare Gmbh Automatic detection of lesions in medical images using 2D and 3D deep learning networks
CN113077427B (zh) * 2021-03-29 2023-04-25 北京深睿博联科技有限责任公司 一种类别预测模型的生成方法及装置
CN113012144A (zh) * 2021-04-08 2021-06-22 湘南学院附属医院 一种肺部肿瘤的自动勾画方法、勾画系统、计算设备和存储介质
CN113269747B (zh) * 2021-05-24 2023-06-13 浙江大学医学院附属第一医院 一种基于深度学习的病理图片肝癌扩散检测方法及系统
CN113554655B (zh) * 2021-07-13 2021-12-31 中国科学院空间应用工程与技术中心 基于多特征增强的光学遥感图像分割方法及装置
CN113744183B (zh) * 2021-07-27 2024-04-19 山东师范大学 肺结节检测方法及系统
CN113658174B (zh) * 2021-09-02 2023-09-19 北京航空航天大学 基于深度学习和图像处理算法的微核组学图像检测方法
US11367191B1 (en) * 2021-10-07 2022-06-21 Qure.Ai Technologies Private Limited Adapting report of nodules
CN113889231A (zh) * 2021-10-15 2022-01-04 长春工业大学 一种基于手工特征和深度特征融合的肺结节图像处理方法
CN113971728B (zh) * 2021-10-25 2023-04-21 北京百度网讯科技有限公司 图像识别方法、模型的训练方法、装置、设备及介质
CN114119546A (zh) * 2021-11-25 2022-03-01 推想医疗科技股份有限公司 检测mri影像的方法及装置
CN114332132A (zh) * 2021-12-31 2022-04-12 联影智能医疗科技(成都)有限公司 图像分割方法、装置和计算机设备
CN114677383B (zh) * 2022-03-03 2024-03-15 西北工业大学 基于多任务学习的肺结节检测分割方法
CN114693671B (zh) * 2022-04-25 2022-11-29 香港中文大学(深圳) 基于深度学习的肺结节半自动分割方法、装置、设备及介质
CN115131345B (zh) * 2022-08-29 2023-02-03 杭州堃博生物科技有限公司 基于ct图像的病灶检测方法、装置及计算机可读存储介质
CN116228685B (zh) * 2023-02-07 2023-08-22 重庆大学 一种基于深度学习的肺结节检测与剔除方法
CN116012355B (zh) * 2023-02-07 2023-11-21 重庆大学 一种基于深度学习的自适应假阳性肺结节剔除方法
CN116258717B (zh) * 2023-05-15 2023-09-08 广州思德医疗科技有限公司 病灶识别方法、装置、设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09185714A (ja) * 1995-11-22 1997-07-15 Arch Dev Corp コンピュータ支援診断方法
JPH10500321A (ja) * 1994-03-31 1998-01-13 アーチ ディヴェロプメント コーポレイション 医用コンピュータ断層撮影スキャンで病変を検出するための自動化された方法およびシステム
JP2003225231A (ja) * 2001-11-20 2003-08-12 General Electric Co <Ge> 肺疾患検出のための方法及びシステム
US20170046616A1 (en) * 2015-08-15 2017-02-16 Salesforce.Com, Inc. Three-dimensional (3d) convolution with 3d batch normalization
CN106504232A (zh) * 2016-10-14 2017-03-15 北京网医智捷科技有限公司 一种基于3d卷积神经网络的肺部结节自动检测方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7130457B2 (en) * 2001-07-17 2006-10-31 Accuimage Diagnostics Corp. Systems and graphical user interface for analyzing body images
CN103186703A (zh) * 2011-12-30 2013-07-03 无锡睿影信息技术有限公司 一种基于胸片的计算机辅助检测肺结节的方法
CN106780460B (zh) * 2016-12-13 2019-11-08 杭州健培科技有限公司 一种用于胸部ct影像的肺结节自动检测系统
JP7293118B2 (ja) * 2017-02-22 2023-06-19 ザ ユナイテッド ステイツ オブ アメリカ, アズ リプレゼンテッド バイ ザ セクレタリー, デパートメント オブ ヘルス アンド ヒューマン サービシーズ インスタンス重み付けを伴うランダムフォレストを使用するマルチパラメトリックmriにおける前立腺がんの検出、およびホリスティックネスト型ネットワークを用いたディープラーニングによるmr前立腺セグメント化
US10580131B2 (en) * 2017-02-23 2020-03-03 Zebra Medical Vision Ltd. Convolutional neural network for segmentation of medical anatomical images
CN106940816B (zh) * 2017-03-22 2020-06-09 杭州健培科技有限公司 基于3d全卷积神经网络的ct图像肺结节检测系统
CN107274402A (zh) * 2017-06-27 2017-10-20 北京深睿博联科技有限责任公司 一种基于胸部ct影像的肺结节自动检测方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10500321A (ja) * 1994-03-31 1998-01-13 アーチ ディヴェロプメント コーポレイション 医用コンピュータ断層撮影スキャンで病変を検出するための自動化された方法およびシステム
JPH09185714A (ja) * 1995-11-22 1997-07-15 Arch Dev Corp コンピュータ支援診断方法
JP2003225231A (ja) * 2001-11-20 2003-08-12 General Electric Co <Ge> 肺疾患検出のための方法及びシステム
US20170046616A1 (en) * 2015-08-15 2017-02-16 Salesforce.Com, Inc. Three-dimensional (3d) convolution with 3d batch normalization
CN106504232A (zh) * 2016-10-14 2017-03-15 北京网医智捷科技有限公司 一种基于3d卷积神经网络的肺部结节自动检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ARNAUD ARINDRA ADIYOSO SETIO ET AL.: ""Pulmonary Nodule Detection in CT Images: False Positive Reduction Using Multi-View Convolutional Ne", IEEE TRANSACTIONS ON MEDICAL IMAGING, vol. 35, no. 5, JPN6021011282, 29 April 2016 (2016-04-29), US, pages 1160 - 1169, XP055563323, ISSN: 0004475495, DOI: 10.1109/TMI.2016.2536809 *
GUSTAVO PEREZ ET AL.: ""Automated Detection of Lung Nodules with Three-dimensional Convolutional Neural Networks"", PROCEEDING OF SPIE VOL.10572, vol. 10572, JPN7021001030, 17 November 2017 (2017-11-17), US, ISSN: 0004475494 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020192006A (ja) * 2019-05-27 2020-12-03 キヤノンメディカルシステムズ株式会社 診断支援装置、及び、x線ct装置
JP7313192B2 (ja) 2019-05-27 2023-07-24 キヤノンメディカルシステムズ株式会社 診断支援装置、及び、x線ct装置
KR20210073033A (ko) * 2019-12-10 2021-06-18 (주)헬스허브 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법 및 그 장치
KR102322995B1 (ko) * 2019-12-10 2021-11-09 (주)헬스허브 다이나믹 윈도우 기반 인공지능 노듈 세그먼테이션 방법 및 그 장치
CN115393321A (zh) * 2022-08-26 2022-11-25 南通大学 一种基于深度学习的多层螺旋ct对肺结核多分类检出方法

Also Published As

Publication number Publication date
CN108446730A (zh) 2018-08-24
US10937157B2 (en) 2021-03-02
JP6993371B2 (ja) 2022-01-13
CN108446730B (zh) 2021-05-28
US20190287242A1 (en) 2019-09-19
EP3540692A1 (en) 2019-09-18

Similar Documents

Publication Publication Date Title
JP6993371B2 (ja) ディープラーニングに基づいたコンピュータ断層撮影肺結節検出法
Ranjbarzadeh et al. Lung infection segmentation for COVID-19 pneumonia based on a cascade convolutional network from CT images
Altaf et al. Going deep in medical image analysis: concepts, methods, challenges, and future directions
Liu et al. Towards clinical diagnosis: Automated stroke lesion segmentation on multi-spectral MR image using convolutional neural network
Vu et al. DFDL: Discriminative feature-oriented dictionary learning for histopathological image classification
KR20180021635A (ko) 3차원 의료 영상에서 깊이 방향 재귀 학습을 이용하는 병변 특징 표현 분석 방법 및 시스템
CN109166104A (zh) 一种病变检测方法、装置及设备
Hossain et al. Vision transformers, ensemble model, and transfer learning leveraging explainable AI for brain tumor detection and classification
Abdullah et al. Multi-sectional views textural based SVM for MS lesion segmentation in multi-channels MRIs
Ouchtati et al. Novel method for brain tumor classification based on use of image entropy and seven Hu’s invariant moments
Lin et al. Enhancement of chest X-ray images to improve screening accuracy rate using iterated function system and multilayer fractional-order machine learning classifier
Yar et al. Lung nodule detection and classification using 2D and 3D convolution neural networks (CNNs)
CN113764101B (zh) 基于cnn的乳腺癌新辅助化疗多模态超声诊断系统
Ghosh et al. A deep learning framework integrating the spectral and spatial features for image-assisted medical diagnostics
Sangeetha et al. Diagnosis of Pneumonia using Image Recognition Techniques
CN111476802B (zh) 一种医学图像分割与肿瘤检测方法,设备及可读存储介质
Ma et al. LCAUnet: A skin lesion segmentation network with enhanced edge and body fusion
Kumari et al. Data efficient deep learning for medical image analysis: A survey
Modak et al. Applications of deep learning in disease diagnosis of chest radiographs: A survey on materials and methods
Aaqib et al. A novel deep learning based approach for breast cancer detection
Pranitha et al. A comprehensive survey on MRI images classification for brain tumor identification using deep learning techniques
CN110084110B (zh) 一种近红外人脸图像识别方法、装置、电子设备及存储介质
Qiao et al. A fusion of multi-view 2D and 3D convolution neural network based MRI for Alzheimer’s disease diagnosis
Shuai et al. An advanced W-shaped network with adaptive multi-scale supervision for osteosarcoma segmentation
Kadhim et al. Computer-aided diagnostic system kinds and pulmonary nodule detection efficacy

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190927

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200424

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200424

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210317

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210617

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211209

R150 Certificate of patent or registration of utility model

Ref document number: 6993371

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150