JP2020086519A - 医用画像処理装置、医用画像処理方法、およびプログラム - Google Patents

医用画像処理装置、医用画像処理方法、およびプログラム Download PDF

Info

Publication number
JP2020086519A
JP2020086519A JP2018214752A JP2018214752A JP2020086519A JP 2020086519 A JP2020086519 A JP 2020086519A JP 2018214752 A JP2018214752 A JP 2018214752A JP 2018214752 A JP2018214752 A JP 2018214752A JP 2020086519 A JP2020086519 A JP 2020086519A
Authority
JP
Japan
Prior art keywords
teacher data
medical image
information
unit
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018214752A
Other languages
English (en)
Other versions
JP7201404B2 (ja
Inventor
望 増淵
Nozomi Masubuchi
望 増淵
諒 白石
Ryo Shiraishi
諒 白石
坂口 卓弥
Takuya Sakaguchi
卓弥 坂口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2018214752A priority Critical patent/JP7201404B2/ja
Priority to US16/683,393 priority patent/US11328812B2/en
Publication of JP2020086519A publication Critical patent/JP2020086519A/ja
Application granted granted Critical
Publication of JP7201404B2 publication Critical patent/JP7201404B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

【課題】教師データの品質を明確化することである。【解決手段】実施形態の医用画像処理装置は、取得部と、信頼度付与部とを持つ。取得部は、医用画像に関する教師データを取得する。信頼度付与部は、前記取得部により取得された教師データに、前記教師データの作成状況または前記教師データを作成した作成者に関する情報のうち、一方または双方に基づく信頼度情報を付与する。【選択図】図1

Description

本発明の実施形態は、医用画像処理装置、医用画像処理方法、およびプログラムに関する。
従来、機械学習の技術を医療分野に適用することについて、実用化が進められている。機械学習技術による従来のラーニングでは、予め十分な量の教師データ(GT(ground truth)データ)を集め、品質の悪い教師データは使用しないことが前提となる。その上、医用分野における教師データは患者数の少なさや、医師の管理下で教師データを作成する必要がある等の制約が多く、数少ない貴重なデータとなる。また、複数のサイトや医師によって作成される場合が多く、複数のソース(医療機関端末等)から集まる教師データの品質が安定しない場合があった。
特開2013−25745号公報 特開2009−282686号公報 特開2018−55376号公報
本発明が解決しようとする課題は、教師データの品質を明確化することである。
実施形態の医用画像処理装置は、取得部と、信頼度付与部とを持つ。取得部は、医用画像に関する教師データを取得する。信頼度付与部は、前記取得部により取得された教師データに、前記教師データの作成状況または前記教師データを作成した作成者に関する情報のうち、一方または双方に基づく信頼度情報を付与する。
第1の実施形態の医用画像処理装置を含む医用画像処理システム1の一例を示す図。 第1の実施形態の医用画像にラベルを付与する画像S1の一例を示す図。 第1の実施形態の医師情報DB154の内容の一例を示す図。 第1の実施形態の画像S2の一例を示す図。 第1の実施形態の信頼度付き教師データ156の内容の一例を示す図。 第1の実施形態の重み付けテーブル254の内容の一例を示す図。 第1の実施形態の複数の項目用の重み付けテーブル254aの一例を示す図。 第1の実施形態の重み付き教師データ256の内容の一例を示す図。 第1の実施形態の医療機関端末100の処理回路140の一連の処理の流れを示すフローチャート。 第1の実施形態の情報処理サーバ200の処理回路240の一連の処理の流れを示すフローチャート。 第2の実施形態の情報処理サーバ200Aを含む医用画像処理システム2の一例を示す図。 第2の実施形態の教師データ158の内容の一例を示す図。 第2の実施形態の医療機関端末100Aの処理回路140Aの一連の処理の流れを示すフローチャート。 第2の実施形態の情報処理サーバ200Aの処理回路240Aの一連の処理の流れを示すフローチャート。 第3の実施形態の情報処理サーバ200Bの構成の一例を示す図。 第3の実施形態の情報処理サーバ200Bの処理回路240Bの一連の処理の流れを示すフローチャート。
以下、実施形態の医用画像処理装置、医用画像処理方法、およびプログラムを、図面を参照して説明する。
(第1の実施形態)
図1は、第1の実施形態の医用画像処理装置を含む医用画像処理システム1の一例を示す図である。医用画像処理システム1は、例えば、一以上の医療機関端末100−1〜100−nと、情報処理サーバ200とを備える。医療機関端末100−1〜100−nと情報処理サーバ200とは、例えば、WAN(Wide Area Network)やLAN(Local Area Network)、インターネット、専用回線、無線基地局、プロバイダ等のネットワークNWを介して接続される。以下の説明において、医療機関端末100−1〜100−nは、何れの医療機関端末であるかを区別しないときは、何れかの医療機関端末であるかを示すハイフン以降の符号を省略し、「医療機関端末100」と称して説明する。また、ハイフンを用いて説明する他の構成についても同様とする。第1の実施形態において、医療機関端末100は、「医用画像処理装置」の一例である。
医療機関端末100は、クラウドコンピューティングシステムに含まれるコンピュータであってもよいし、他の機器に依存せずに単独で動作するコンピュータであってもよい。医療機関端末100は、例えば、健診センターや病院、診療所等の各種医療施設に設置される端末、または各種医療施設が所属する医師等が所有する端末である。医療機関端末100は、医用画像に対するラベル等の指示を受け付け、受け付けたラベルを用いて医用画像の教師データを作成する。医用画像とは、例えば、医療や医学のために人体の部位を撮影、または計測した結果を画像化したものである。医用画像には、CT(Computed Tomography)画像、MR(Magnetic Resonance)画像、マンモグラフィ画像、内視鏡画像、レントゲン画像等が含まれる。また、医用画像は、二次元画像でもよく、三次元画像でもよい。医用画像は、例えば、医療機関端末100が設置された医療施設内に設けられる医用画像生成装置(不図示)から取得してもよく、ネットワークNWに接続される外部装置から取得してもよい。
医用画像生成装置は、例えば、MRI(Magnetic Resonance Imaging)装置や、CT装置、マンモグラフィ装置、内視鏡画像生成装置、レントゲン画像生成装置等を含む。MRI装置は、例えば、被検体(例えば人体)に磁場を与えて、核磁気共鳴現象によって被検体内の水素原子核から発生する電磁波を、コイルを利用して受信し、その受信した電磁波に基づく信号を再構成することでMR画像を生成する。CT装置は、例えば、被検体の周囲を回転するX線管から被検体にX線を照射すると共に、その被検体を通過したX線を検出し、検出したX線に基づく信号を再構成することでCT画像を生成する。マンモグラフィ装置は、例えば、被検体の乳房にX線を照射し、乳房を透過したX線を検出してマンモグラフィ画像を生成する。内視鏡画像撮影装置は、例えば、内視鏡カメラを体内の所定の部位付近まで挿入し、部位付近を撮像することで、所定の部位の内視鏡画像を生成する。レントゲン画像生成装置は、例えば、X線照射装置とフィルムの間に被検体を置き、焼き付けて画像化することでレントゲン画像を生成する。
また、医療機関端末100は、教師データに信頼度を付与した信頼度付き教師データを生成し、生成した信頼度付き教師データを情報処理サーバ200に出力する。医療機関端末100の機能の詳細については後述する。
情報処理サーバ200は、クラウドコンピューティングシステムに含まれるコンピュータであってもよいし、他の機器に依存せずに単独で動作するコンピュータであってもよい。情報処理サーバ200は、各医療機関端末100から信頼度付き教師データを取得し、取得した信頼度付き教師データに重みを付与する。また、情報処理サーバ200は、教師データの重み付けデータに基づいて学習を行い、学習済みモデルを生成する。情報処理サーバ200の機能の詳細については後述する。
次に、医療機関端末100の機能の詳細について説明する。図1において、医療機関端末100は、例えば、通信インターフェース110と、入力インターフェース120と、ディスプレイ130と、処理回路140と、メモリ150とを備える。入力インターフェース120は、「入力部」の一例である。ディスプレイ130は、「表示部」の一例である。メモリ150は、「記憶部」の一例である。
通信インターフェース110は、例えば、NIC(Network Interface Card)等の通信インターフェースを含む。通信インターフェース110は、ネットワークNWを介して情報処理サーバ200と通信し、情報処理サーバ200に信頼度付き教師データを送信する。また、通信インターフェース110は、処理回路140による制御を受けて、ネットワークNWを介して接続された他の外部装置と通信を行ってもよい。
入力インターフェース120は、医師等の操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路140に出力する。例えば、入力インターフェース120は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパネル等により実現される。また、入力インターフェース120は、例えば、マイク等の音声入力を受け付けるユーザインターフェースによって実現されてもよい。入力インターフェース120がタッチパネルである場合、後述するディスプレイ130は入力インターフェース120と一体として形成されてよい。
ディスプレイ130は、各種の情報を表示する。例えば、ディスプレイ130は、処理回路140によって生成された画像を表示したり、操作者からの各種の入力操作を受け付けるためのGUI(Graphical User Interface)等を表示したりする。例えば、ディスプレイ130は、LCD(Liquid Crystal Display)や、CRT(Cathode Ray Tube)ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等である。
処理回路140は、例えば、教師データ作成機能142と、信頼度付与機能144とを備える。処理回路140は、例えば、ハードウェアプロセッサがメモリ(記憶回路)150に記憶されたプログラム(信頼度付き教師データ作成ツール)を実行することにより、これらの機能を実現するものである。
ハードウェアプロセッサとは、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、特定用途向け集積回路(Application Specific Integrated Circuit; ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device; SPLD)または複合プログラマブル論理デバイス(Complex Programmable Logic Device; CPLD)、フィールドプログラマブルゲートアレイ(Field Programmable Gate Array; FPGA))等の回路(circuitry)を意味する。メモリ150にプログラムを記憶させる代わりに、ハードウェアプロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、ハードウェアプロセッサは、回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。上記のプログラムは、予めメモリ150に格納されていてもよいし、DVDやCD−ROM等の非一時的記憶媒体に格納されており、非一時的記憶媒体が医療機関端末100のドライブ装置(不図示)に装着されることで非一時的記憶媒体からメモリ150にインストールされてもよい。ハードウェアプロセッサは、単一の回路として構成されるものに限らず、複数の独立した回路を組み合わせて1つのハードウェアプロセッサとして構成され、各機能を実現するようにしてもよい。また、複数の構成要素を1つのハードウェアプロセッサに統合して各機能を実現するようにしてもよい。第1の実施形態において、教師データ作成機能142は、「取得部」の一例である。信頼度付与機能144は、「信頼度付与部」の一例である。
メモリ150は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等によって実現される。非一過性の記憶媒体を含むこれらの記憶媒体は、NAS(Network Attached Storage)や外部ストレージサーバ装置といったネットワークNWを介して接続される他の記憶装置によって実現されてもよい。また、メモリ150には、ROM(Read Only Memory)やレジスタ等の一過性の記憶媒体が含まれてもよい。メモリ150には、例えば、医用画像DB(Database)152、医師情報DB154、信頼度付き教師データ156、およびその他の情報が格納される。医用画像DB152は、例えば、医療機関端末100が設置された医療施設に設けられる医用画像生成装置またはネットワークNWに接続される外部装置から取得した一以上の医用画像が格納されたデータベースである。また、医用画像DB152に格納される医用画像には、医用画像に関する情報が対応付けられていてもよい。医用画像に関する情報には、医用画像の識別情報である医用画像IDや、画像フォーマット、解像度、アーチファクトの有無、SNR(Signal to Noise Ratio)の違い、その他の医用画像の撮像条件等が含まれる。医師情報DB154は、例えば、医療機関端末100に所属する医師に関する情報である。信頼度付き教師データ156は、例えば、教師データに信頼度が付与されたデータである。医師情報DB154および信頼度付き教師データ156の詳細については、後述する。
教師データ作成機能142は、例えば、ディスプレイ130に医用画像を表示させた状態で、入力インターフェース120により受け付けられた入力操作に基づいて、医用画像に関する教師データを生成する。具体的には、教師データ作成機能142は、医用画像DB152に含まれる医用画像を一画像ごと、または関連する画像ごとにディスプレイ130に表示させ、入力インターフェース120によるラベルの付与を受け付ける。ラベルには、例えば、医用画像に対する病変の有無、病変種類の識別、またはROI(Region of Interest;注目領域)等の特定領域の指定のうち少なくとも一つが含まれる。また、ラベルには、医用画像に対する検体(例えば、人体)の部位の特定や、部位に対する疾患の有無、疾患している領域(例えば、肺の線維化、肺結節、脳腫瘍の領域)等の指定、疾患の深刻度(例えば、脂肪肝のレベル)の数値等が含まれてもよい。
図2は、第1の実施形態の医用画像にラベルを付与する画像S1の一例を示す図である。図2に示す画像S1における各項目のレイアウトや表示内容については、これに限定されるものではない。以降に説明する他の画像についても同様とする。画像S1には、例えば、医用画像表示領域A11と、テキスト情報表示領域A12と、GUIスイッチ表示領域A13とが含まれる。医用画像表示領域A11には、医用DB152に含まれる医用画像MI1が表示される。図2の例では、医用画像IM1として、脳のCT画像が示されている。また、医用画像表示領域A11には、医用画像IMに含まれる部位に対して、操作者(教師データ作成者)が入力インターフェース120により入力したROIに関するラベル情報L1を含んでもよい。
テキスト情報表示領域A12には、例えば、医師に関する情報や、医用画像に関する情報、医用画像MI1に対して付与されたラベルに関する情報が含まれる。医師に関する情報には、医療機関端末100にログイン時に入力された識別情報(例えば、ログインID)や、教師データ作成機能142の開始時に入力される操作者の識別情報(例えば、医師ID)が含まれる。また、医師に関する情報には、教師データ作成機能142により医師情報DB154から取得された情報が含まれてもよい。
図3は、第1の実施形態の医師情報DB154の内容の一例を示す図である。医師情報DB154は、医師を識別する識別情報である「医師ID」に、「氏名」、「年令」、「経験年数」、「技術スコア」、「資格」、および「勤怠情報」等の項目の情報が対応付けられている。「経験年数」には、例えば、医師としての治療や施術を行った経験年数が含まれる。「経験年数」は、医療分野ごとの経験年数でもよい。また、「経験年数」とは、その医師が診断した症例数であってもよい。
「技術スコア」とは、例えば、教師データ作成に関する技術レベルに関する情報である。例えば、「技術スコア」は、教師データを過去に作成した累積数に基づく技術レベルでもよく、予めラベルの正解がある医用画像に対して、正解を教えずにラベルを付与させ、付与したラベルと正解ラベルとの差に基づいて導出された技術レベルでもよい。ラベルの差とは、例えば、医用画像に対して付与したラベルの誤差であり、ROIの位置の違いや疾患の有無、疾患の内容の差である。また、「技術スコア」には、例えば、同一分野(症例)に関する教師データを作成した回数が含まれてもよい。また、「技術スコア」は、診断の分野、教師データで設定される臓器や病変の種類別に割り振られていてもよい。
「資格」には、例えば、その医師が所有する医療分野に関する資格や実績等の情報が含まれる。また、「資格」は、教師データで設定される臓器や病変の種類別の資格情報であってもよい。「勤怠情報」には、例えば、識別情報で識別される医師ごとの所定期間(例えば、1週間から1か月程度)における勤務時間、休日に関する情報等が含まれる。「勤怠情報」は、例えば、医療機関端末100が設置された医療施設内の勤怠管理システム若しくはネットワークNWを介して接続される外部装置等から取得してもよい。
教師データ作成機能142は、例えば、操作者から入力されたログインIDや医師IDに基づいて、医師情報DB154の「医師ID」を参照し、合致する医師IDに対応付けられた医師に関する情報を取得して、テキスト情報表示領域A12に表示させる。図2の例において、テキスト情報表示領域A12には、医師情報DBから取得した医師IDおよび氏名が示されている。なお、テキスト情報表示領域A12に表示される医師に関する情報は、教師データ作成機能142により一連の医用画像に対するラベルの付与が完了するまで、すなわち、教師データ作成機能142が継続して実行している間、同一の情報が表示される。
また、医用画像に関する情報は、医用画像DB152から取得した情報であってもよく、教師データ作成機能142により医用画像を解析して得られる情報でもよい。図2の例において、テキスト情報表示領域A12には、医用画像に関する情報として、医用画像IDおよびアーチファクトの有無が示されている。また、図2の例において、テキスト情報表示領域A12には、操作者が入力インターフェース120により入力したラベルに関する情報として、医用画像MI1に関する疾患の有無に関する情報が示されている。
GUIスイッチ表示領域A13には、例えば、医用画像表示領域A11に表示される医用画像を切り替えるアイコンや教師データ作成機能142を終了するアイコン等が含まれる。図2の例において、GUIスイッチ表示領域A13には、医用画像DB152に格納される複数の医用画像のうち、現在表示している医用画像の前に格納された医用画像を表示させるアイコンIC11、現在表示している医用画像の次に格納された医用画像を表示させるアイコンIC12、および教師データ作成機能142の実行を終了させるアイコンIC3が示されている。
教師データ作成機能142は、上述した画像S1を生成して、ディスプレイ130に表示させ、操作者からのラベルの入力を受け付ける。そして、教師データ作成機能142は、GUIスイッチ表示領域A13に示されたアイコンIC1〜IC3のうち何れかのアイコンの操作を受け付けた場合に、受け付けた情報を医用画像と対応付けて信頼度付き教師データ156に記憶させる。また、GUIスイッチ表示領域A13に示されたアイコンIC1〜IC3のうち何れかのアイコンの操作を受け付けた場合に、信頼度付与機能144を実行させる。
信頼度付与機能144は、医用画像にラベルを付与した教師データの信頼度を設定するための問い合わせ画面に対応する画像S2を生成し、生成した画像S2をディスプレイ130に表示させる。この場合、信頼度付与機能144は、画像S1の表示を終了して画像S2を表示させてもよく、表示された画像S1の上(前面)に重畳させて画像S2を表示させてもよい。
図4は、第1の実施形態の画像S2の一例を示す図である。画像S2には、例えば、回答入力領域A21と、テキスト表示領域A22と、GUIスイッチ表示領域A23とが含まれる。回答入力領域A21には、例えば、医師等に対する問い合わせ内容と、問い合わせ内容に対して、医師に、複数の回答項目の中から少なくとも一つを選択させる選択項目情報とが含まれる。図2の例では、問い合わせに対して予め定義された複数の選択肢の中から一つを選択するラジオボタンが示されている。なお、選択項目情報は、上述したラジオボックスに代えて(または、加えて)、複数の選択肢の中から複数項目を選択可能なチェックボックスや、文字を入力することができるテキストボックス等が含まれてもよい。
テキスト表示領域A22には、例えば、画像S1のテキスト表示領域A12に表示される情報と同一の情報または簡略化した情報が表示される。図4の例では、医師ID、氏名、および医用画像IDが表示されている。また、GUIスイッチ表示領域A23には、例えば、問い合わせ画面で指示した内容を確定せずに、画像S1を表示させるアイコンIC21と、問い合わせに対する回答を終了してアイコンA11〜A13の何れかのアイコンに対応付けられた処理を実行するアイコンIC22とが含まれる。
図4の例において、回答入力領域A21には、ラベルを付与するまでの時間に対する問い合わせ情報(以下、「第1の問い合わせ情報」と称する)と、付与したラベルに対する自信度に対する問い合わせ情報(以下、「第2の問い合わせ情報」と称する)とが示されている。第1の問い合わせ情報には、「充分に足りた」、「足りた」、「少し足りなかった」、「足りなかった」の選択肢が表示され、第2の問い合わせ情報には、「自信あり」、「普通」、「自信なし」の選択肢が表示されている。信頼度付与機能144は、それぞれの選択肢から、操作者による何れかの選択を受け付ける。信頼度付与機能144は、画像S2の問い合わせに対する回答を受け付けることで、教師データ作成者の自覚情報を取得することができる。なお、上述した問い合わせは、医用画像に複数のラベルを付与した場合に、ラベルごとに行ってもよく、医用画像ごとにまとめて行ってもよい。そして、信頼度付与機能144は、アイコンIC22を選択する操作を受け付けた場合に、画像S2の問い合わせ画面により得られる情報を医用画像と対応付けて信頼度付き教師データ156に記憶させ、画像S2の表示を終了させる。
図5は、第1の実施形態の信頼度付き教師データ156の内容の一例を示す図である。信頼度付き教師データ156は、教師データの識別情報である「教師データID」に、「医用画像」、「ラベル情報」、「作業状況」、および「作成者情報」等の項目の情報が対応付けられている。「作業状況」および「作成者情報」の一部または全部は、「信頼度情報」の一例である。「ラベル情報」には、例えば、上述した画像S1に対して入力されたラベル(例えば、図2に示すラベルL1、L2)に関する情報が含まれる。
「作業状況」には、例えば、「作成所要時間」、「自信度」、「新鮮度」、「品質」等の項目に対応付けられた情報が含まれる。「作成所要時間」とは、例えば、画像S2の第1の問い合わせ情報に対する回答情報の選択肢に対応付けられた作成所要時間の過不足に関する自覚の度合を示す指標である。信頼度付与機能144は、第1の問い合わせ情報に対する回答結果に基づく自信度を設定する。例えば、信頼度付与機能144は、ラベルを付けるための時間が足りたと操作者が自覚している場合に、時間が足りないと自覚しているよりも自信度を高く設定する。「作成所要時間」は、例えば、医用画像を表示させてから、終了するまでの時間に基づく指標値であってもよい。信頼度付与機能144は、ラベルを付ける対象の医用画像が表示されてから、次の医用画像が表示されるまで、または教師データ作成機能142が終了するまでの時間を計測し、計測した時間が長いほど、指標値の値を大きくして作成所要時間の項目に格納する。
「自信度」とは、教師データ作成者の自覚的な教師データの品質(その教師データが正しいと信頼する信頼度)である。「自信度」は、画像S2の第2の問い合わせ情報に対する回答結果に基づく度合を設定する。その場合、信頼度付与機能144は、自信があると回答している場合に、普通または自信がないと回答している場合よりも自信度の値を高くし、普通であると回答している場合に、自信がないと回答している場合よりも自信度の値を高くする。
「新鮮度」とは、例えば、医用画像の作成時刻或いは教師データの作成時刻である。作成時刻には、日時情報が含まれる。また、「新鮮度」は、作成時刻に対する経過日数であってもよい。「品質」とは、例えば、医用画像の品質に関する情報であり、画像フォーマットやアーチファクトの有無、SNRの違い、その他の医用画像の撮像条件等が含まれる。
「作成者情報」には、例えば、「経験年数」、「技術スコア」、「資格」、および「繁忙度」等の項目の情報が含まれる。「経験年数」、「技術スコア」、および「資格」は、医師IDに基づいて医師情報DB154から取得される情報である。「繁忙度」は、医師情報に含まれる勤怠情報に基づいて推定される、忙しさや疲労度の指標値である。信頼度付与機能144は、教師データを継続して作成している時間が長くなるほど繁忙度の値が高くなるように設定する。また、信頼度付与機能144は、操作者に対して忙しさに対する問い合わせを行い、その回答結果に基づく繁忙度を格納してもよい。また、信頼度付与機能144は、教師データの作成者に取り付けた生体センサ等からネットワークNWを介して取得された作成時の生体情報(例えば、脈拍、脳波)を取得し、取得した生体情報から緊張状態や負荷状態等を推定し、推定結果に基づいて、繁忙度を推定してもよい。この場合、信頼度付与機能144は、緊張状態や負荷状態が高いほど、または緊張状態や負荷状態が閾値以上である期間が長くなるほど繁忙度の値が高くなるように設定する。
また、信頼度付与機能144は、メモリ150に記憶された信頼度付き教師データを、ネットワークNWを介して情報処理サーバ200に出力する。
次に、情報処理サーバ200の機能の詳細について説明する。図1に戻り、情報処理サーバ200は、例えば、通信インターフェース210と、入力インターフェース220と、ディスプレイ230と、処理回路240と、メモリ250とを備える。入力インターフェース220は、「入力部」の一例である。ディスプレイ230は、「表示部」の一例である。メモリ250は、「記憶部」の一例である。
通信インターフェース210は、例えば、NIC等の通信インターフェースを含む。通信インターフェース210は、ネットワークNWを介して医療機関端末100と通信し、医療機関端末100から信頼度付き教師データ156を受信する。
入力インターフェース220は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路240に出力する。例えば、入力インターフェース220は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパネル等により実現される。また、入力インターフェース220は、例えば、マイク等の音声入力を受け付けるユーザインターフェースによって実現されてもよい。入力インターフェース220がタッチパネルである場合、後述するディスプレイ230は入力インターフェース220と一体として形成されてよい。
ディスプレイ230は、各種の情報を表示する。例えば、ディスプレイ230は、処理回路240によって生成された画像を表示したり、操作者からの各種の入力操作を受け付けるためのGUI等を表示したりする。例えば、ディスプレイ130は、LCDや、CRTディスプレイ、有機ELディスプレイ等である。
処理回路240は、例えば、取得機能242と、重み付与機能244と、学習機能246とを備える。処理回路240は、例えば、ハードウェアプロセッサがメモリ(記憶回路)250に記憶されたプログラムを実行することにより、これらの機能を実現するものである。
ハードウェアプロセッサとは、例えば、CPU、GPU、特定用途向け集積回路、プログラマブル論理デバイス、フィールドプログラマブルゲートアレイ等の回路(circuitry)を意味する。メモリ250にプログラムを記憶させる代わりに、ハードウェアプロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合、ハードウェアプロセッサは、回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。上記のプログラムは、予めメモリ250に格納されていてもよいし、DVDやCD−ROM等の非一時的記憶媒体に格納されており、非一時的記憶媒体が情報処理サーバ200のドライブ装置(不図示)に装着されることで非一時的記憶媒体からメモリ250にインストールされてもよい。ハードウェアプロセッサは、単一の回路として構成されるものに限らず、複数の独立した回路を組み合わせて1つのハードウェアプロセッサとして構成され、各機能を実現するようにしてもよい。また、複数の構成要素を1つのハードウェアプロセッサに統合して各機能を実現するようにしてもよい。重み付与機能244は、「重み付与部」の一例である。学習機能246は、「学習部」の一例である。
メモリ250は、例えば、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等によって実現される。非一過性の記憶媒体を含むこれらの記憶媒体は、NASや外部ストレージサーバ装置といったネットワークNWを介して接続される他の記憶装置によって実現されてもよい。また、メモリ250には、ROMやレジスタ等の一過性の記憶媒体が含まれてもよい。メモリ250には、例えば、信頼度付き教師データ252、重み付けテーブル254、重み付き教師データ256、学習済みモデル258、およびその他の情報が格納される。重み付けテーブル254および重み付き教師データ256の詳細については、後述する。
取得機能242は、医療機関端末100から信頼度付き教師データ156を取得し、取得した信頼度付き教師データ252を、メモリ250に記憶させる。信頼度付き教師データ252は、信頼度付き教師データ156と同様の項目であってもよく、どの医療機関端末100から取得した信頼度付き教師データであるかを識別するため、医療機関端末100の識別情報である医療機関端末IDが付加されていてもよい。
重み付与機能244は、信頼度付き教師データ252と、重み付けテーブル254とに基づいて、信頼度付き教師データ252に含まれる信頼度情報(作業状況および作業者情報)に対し、正規化された重みを付与する。例えば、重み付与機能244は、信頼度付き教師データ252の信頼度情報に含まれる項目ごとに、それぞれの項目の内容に基づいて、1〜5等の所定の数値範囲で正規化した重みスコアを付与する。
図6は、第1の実施形態の重み付けテーブル254の内容の一例を示す図である。図6に示す重み付けテーブル254は、「作成所要時間」に、「重みスコア」が対応付けられたテーブルである。作成所要時間は、教師データの作成者のキャリアや熟練度でもそれぞれ異なり、短時間でも高品質な教師データを作成できる場合もある。教師データの品質のばらつきは、例えば、作業時間と作成者のスキルの関係性によって生じる。つまり、作成者のスキルに応じた時間設定ではない状況下で作業が行われると、付与するラベルの内容を誤るといったミスやエラーが生じる可能性が増加し、教師データの品質の低下を招く恐れがある。したがって、重み付与機能244は、時間的に足りたと感じている度合に応じた重みスコアが設定された重み付けテーブル254を用いて、作成所要時間に対する作成者の自覚情報に基づく重みスコアを設定する。
また、重み付与機能244は、作成所要時間に対する作成者の自覚情報に基づく重みスコアを設定するのに代えて(または加えて)、予め設定された最適作成所要時間と、作成所要時間との差分(つまり、最適作成所要時間との乖離度合)に基づいて、重みスコアを設定してもよい。最適作成所要時間とは、例えば、作成者の属性情報によって定まる値であり、熟練度が高いまたはキャリアが長い作成者に対しては、短い時間が設定され、その逆の不慣れな作成者に対しては長い時間が設定される。これにより、熟練した作成者であるにも拘わらず作成所要時間が長すぎる場合や、不慣れな作成者であるにもかかわらず作成所要時間が短すぎる場合には、信頼度が低くなるように重みの割り当てを行うことができる。
なお、第1の実施形態では、「作成所要時間」以外の他の項目(「自信度」、「新鮮度」、「品質」、「経験年数」、「技術スコア」、「資格」、「繁忙度」)についても、図6と同様の重み付けテーブルが設けられる。重み付与機能244は、それぞれの項目に対応する重み付けテーブルを用いて、各項目に対する重みスコアを付与する。ここで、上述した「作成所要時間」以外の各項目に対する重み付けを行う意味について説明する。
「自信度」は、教師データ作成者のコンディションによる教師データの品質のばらつき、または非常に判断が困難な事例で作成者に迷いが生じたり、逆に教師データの作成に迷いが生じない場合といった教師データを作成する上で遭遇する様々な事態によって、変化する値である。重み付与機能244は、作成者本人の自覚的な指標値に基づく重みスコアを付与することで、教師データの価値を作成時の作成者の状態に対応づけることができ、教師データの品質の判断等に用いることができる。
「新鮮度」は、病気の診断や治療選択等、医学上の判断は必ずしも不変なものではなく、時期を経て、法整備やガイドラインの改定、医学の進歩等によりその判断にも変化が生じるものである。そのため、教師データの作成時期の違いによって、答えが異なる教師データが存在してしまう事態が起こることも想定される。そこで、重み付与機能244は、作成時期等に応じて重みスコアを付与する。具体的には、重み付与機能244は、取得機能242により取得された医用画像または教師データの作成時刻が新しいほど、信頼度が高くなるように重みスコアを付与する。これにより、現時点で正しい教師データを効率よく取得することができるとともに、安定した品質の教師データを取得する。
「品質」は、アーチファクトの有無やSNRの違い、異なる画像条件の教師データでも教師データの品質にばらつきが生じることが予想される。そこで、重み付与機能244は、画像品質に対して重みスコアを付与することで、学習に求められる最適な画像条件の学習データを効率よく選択することができる。
「経験年数」は、教師データの作成者の経験年数によって、疾患や病変部位の判断に違いが生じ、教師データの品質が変化することが考えられる。例えば、一般に病変部位と正常部位の境界は教科書的な定義があるが、病気が初期である場合や、微細な疾患である場合、複合的で複雑な疾患であり、その境界が顕著でない場合には、病変部の判定は、作成者の経験に基づくものになる。したがって、重み付与機能244は、経験年数に対して重みスコアを付与することで、医師の経験による教師データの品質の違いを教師データに反映させることができる。
「技術スコア」は、教師データを作成する作成者の技量(スキル)を測定する指標値であり、医師によって異なるものである。そこで、重み付与機能244は、技術スコアに対して重みスコアを付与することで、教師データの品質を作成者の技術スコアにより判断することができる。
「資格」について、医師は、その教育や経験によって各々専門性を持っており、その専門領域で一定の技術を有することを示す資格を有している場合がある。例えば、日本においては各専門領域の学会がそのような資格を認定・付与しており、多くの場合はその資格に登録医・認定医・専門医・指導医等の区分を設けている。海外においては、各国の制度によるが、米国の専門医評議会(American Board of Medical Specialty;ABMS)や英国の卒後医学教育・研修委員会(Postgraduate Medical Education and Training Board ;PMETB)が同様の資格として専門医の評価・認定を行っている。このような医師の資格の情報は、公的団体や学術団体に評価された医師の技量を現す情報である。したがって、重み付与機能244は、資格に対して重みスコアを付与することで、教師データの品質を、より正確に把握することができる。
「繁忙度」は、医師のコンディションに関する指標値である。連続勤務日数や、勤務時間が長いとラベル付与の判断の正確性を欠く場合がある。したがって、重み付与機能244は、は、繁忙度に対する重みスコアを設定することで、教師データの品質を、より正確に把握することができる。
なお、重み付与機能244は、上述した一つの項目ごとに重み付けを行うだけでなく、複数の項目を組み合わせた結果で重みスコアを付与してもよい。図7は、第1の実施形態の複数の項目用の重み付けテーブル254aの一例を示す図である。重み付けテーブル254aは、「作成所要時間」および「経験年数」に、「重みスコア」が対応付けられている。例えば、図7に示すような重み付けテーブル254aを用いることで、例えば、作成所要時間が充分に足りた場合であっても、経験年数が短い場合には、経験不足等により、ラベル付けされていない箇所や判断が誤っている可能性があるものと推定される。したがって、重み付与機能244は、重み付けテーブル254aを用いることで、充分に足した場合であっても経験年数が短いほど値が低くなるように重みスコアを設定することができる。このように複数の項目を組み合わせて重みスコアを付与するテーブルを用いることで、重みスコアを付与することで、より適切な重みを設定することができる。
図8は、第1の実施形態の重み付き教師データ256の内容の一例を示す図である。重み付き教師データ256には、例えば、「教師データID」に、「医用画像」、「ラベル情報」、「作業状況スコア」、および「作成者情報スコア」等の項目の情報が対応付けられている。「作業状況スコア」には、例えば、「作成所要時間」、「自信度」、「新鮮度」、および「品質」等の項目の情報が含まれる。「作成者情報スコア」には、例えば、「経験年数」、「技術スコア」、「資格」、および「繁忙度」等の項目の情報が含まれる。重み付き教師データ256には、例えば、重み付与機能244により導出された「作業状況スコア」または「作成者情報スコア」のうち、一方または双方の合計スコアや平均スコアが含まれていてもよい。
図1に戻り、学習機能246は、メモリに記憶された重み付き教師データ256に対して、所定の機械学習アルゴリズムを用いて、医用画像を入力とし、ラベル情報を出力とする学習済みモデル258を生成する。
学習機能246は、例えば、CNN(Convolutional Neural Network)を利用したDNN(Deep Neural Network)を備える。例えば、学習機能246は、DNNに対して誤差逆伝搬法等の機械学習アルゴリズムにより、ニューラルネットワークを学習させる。例えば、学習機能246は、機械学習における教師あり学習において、入力dに対してパラメータwを用いて関数f(w、d)を構築し、教師データtに対する損失L(t、f(w,d))を定義し、これを最小化する処理を行う。また、学習機能246は、損失L(t,f(w,d))を、色々な入力dと教師データtの組(di,ti)に対して計算し、損失L(t,f(w,d))が各組に対して小さくなるようにパラメータwを決めることで学習を行う。
例えば、複数の教師データをT={t1、t2、…、tn}とし、複数の入力される医用画像をD={d1、d2、…、dn}とした場合、学習機能246は、以下に示す損失関数LOSS((1)式)を用いて、教師データtと関数の出力f(w、d)が近くなるようにパラメータwを調整する。
Figure 2020086519
また、学習機能246は、上述した学習を行う場合に、重み付き教師データ256の重みスコアに基づいて、ニューラルネットワークのノード間の係数(例えば、上述したパラメータw)の変更度合を加減する。また、学習機能246は、重みスコアに基づいて、正解データと学習モデルのデータとの差分(損失)が0になるよう学習モデルを修正する際に、差分を学習モデルに反映させる分量を重みによって加減してもよい。このように、上述した重みスコアに基づいて、学習済みモデル258を生成することで、学習済みモデル258の品質を向上させることができる。
学習機能246は、生成した学習済みモデル258をメモリ250に記憶させる。また、記憶された学習済みモデル258は、ネットワークNWを介して医療機関端末100に送信されてもよい。この場合は、医療機関端末100の処理回路140は、医用画像の入力に対して学習済みモデル258を用いて、ラベルの有無の判定やラベルの付与を行う。
次に、第1の実施形態における医療機関端末100の処理回路140の一連の処理の流れについて図を用いて説明する。図9は、第1の実施形態の医療機関端末100の処理回路140の一連の処理の流れを示すフローチャートである。図9の処理は、所定の周期またはタイミングで繰り返し実行されてよい。図9の例において、教師データ作成機能142は、医用画像DB152に記憶された医用画像をディスプレイ130に表示する(ステップS100)。次に、教師データ作成機能142は、医用画像に対するラベルの入力を受け付ける(ステップS102)。次に、教師データ作成機能142は、医用画像に対するラベルの入力が終了したか否かを判定する(ステップS104)。ステップS104の処理において、教師データ作成機能142は、例えば、上述した画像S1に含まれるアイコンIC11〜IC13のうち、何れかの選択を受け付けた場合に、ラベルの入力が終了したと判定してもよく、画像S1が表示されてから入力が受け付けられていない状態が所定時間以上継続した場合にラベルの入力が終了したと判定してもよい。また、上述した条件を満たしていない場合、教師データ作成機能142は、ラベルの入力が終了すると判定されるまで待機する。
ラベルの入力が終了したと判定された場合、信頼度付与機能144は、問い合わせ画像S2をディスプレイ130に表示させる(ステップS106)。次に、信頼度付与機能144は、問い合わせに対する回答の入力を受け付ける(ステップS108)。次に、信頼度付与機能144は、問い合わせに対する回答の入力が終了したか否かを判定する(ステップS110)。ステップS110の処理において、信頼度付与機能144は、例えば、上述した画像S2に含まれるアイコンIC22の選択を受け付けた場合に、回答の入力が終了したと判定してもよく、画像S2が表示されてから入力が受け付けられていない状態が所定時間以上継続した場合に回答の入力が終了したと判定してもよい。また、上述した条件を満たしていない場合、信頼度付与機能144は、回答の入力が終了すると判定されるまで待機する。
回答の入力が終了したと判定された場合、信頼度付与機能144は、作業状況と作成者状況とに基づく信頼度情報を医用画像に付与し(ステップS112)、信頼度情報が付与された信頼度付き教師データ154をメモリ150に記憶させる(ステップS114)。次に、処理回路140は、処理対象の全ての医用画像に対して処理を行ったか否かを判定する(ステップS116)。処理対象の全ての医用画像に対して処理を行っていない場合、ステップS100に戻り、次の画像を表示させる。また、全ての医用画像に対して処理を行っていない場合、本フローチャートを終了する。
次に、第1の実施形態における情報処理サーバ200の処理回路240の一連の処理に流れについて図を用いて説明する。
図10は、第1の実施形態の情報処理サーバ200の処理回路240の一連の処理の流れを示すフローチャートである。図10の処理は、所定の周期またはタイミングで繰り返し実行されてよい。図10の例において、取得機能242は、各医療機関端末100から信頼度付き教師データ252を取得する(ステップS150)。次に、重み付与機能244は、取得された信頼度付き教師データの信頼度情報に基づいて、医用画像に付与されたラベルに対する重みスコアを付与して重み付き教師データを生成する(ステップS152)。
次に、学習機能246は、重み付き教師データを用いて、医用画像の入力に対してラベル情報を出力する学習済みモデル258を生成し(ステップS154)、生成した学習済みモデル258をメモリ250に記憶させる(ステップS156)。なお、ステップS156の処理では、生成した学習済みモデル258を、ネットワークNWを介して医療機関端末100に送信してもよい。
以上説明した第1の実施形態によれば、医用分野において、品質が不安定な限られた教師データであっても、教師データの品質を明確化することができる。また、第1の実施形態によれば、教師データの品質を加味した安定した学習結果を得ることができる。
(第2の実施形態)
以下、第2の実施形態について説明する。第2の実施形態では、信頼度付与機能を医用処理装置に備える点で上述した第1の実施形態と相違する。したがって、以下では、第1の実施形態との相違点を中心に説明し、第1の実施形態と共通する部分については同一の名称および符号を付するものとし、その具体的な説明を省略する。
図11は、第2の実施形態の情報処理サーバ200Aを含む医用画像処理システム2の一例を示す図である。医用画像処理システム2は、例えば、一以上の医療機関端末100A−1〜100A−nと、情報処理サーバ200Aとを備える。第2の実施形態において、情報処理サーバ200Aは、「医用画像処理装置」の一例である。
医療機関端末100Aは、例えば、通信インターフェース110と、入力インターフェース120と、ディスプレイ130と、処理回路140Aと、メモリ150Aとを備える。医療機関端末100Aは、第1の実施形態の医療機関端末100の構成と比較すると、処理回路140およびメモリ150に代えて処理回路140Aおよびメモリ150Aとを備える。処理回路140Aは、例えば、教師データ作成機能142Aを備える。メモリ150Aは、医用画像DB152と、医師情報DB154と、教師データ158とを備える。
図12は、第2の実施形態の教師データ158の内容の一例を示す図である。教師データ158には、例えば、「教師データID」に、「医用画像」、「ラベル情報」、および「付帯情報」等の項目の情報が対応付けられている。「付帯情報」には、例えば、「作成所要時間」と、「新鮮度」と、「品質」と、「医師情報」等の項目の情報が含まれる。「付帯情報」に含まれる作成所要時間は、作成者の自覚情報ではなく、ラベルが付与されるまでの所要時間であり、具体的には医用画像を表示させてから表示が終了するまでの所要時間である。「医師情報」とは、例えば、医師情報DB154から取得可能な医師に関する情報のうち、少なくとも一つの情報である。
教師データ作成機能142Aは、上述した画面S1で表示される医用画像についてラベルの入力を受け付け、入力が終了した時点で教師データの作成に対する付帯情報を付与した教師データ158をメモリ150Aに記憶させる。また、教師データ作成機能142Aは、情報処理サーバ200Aからの問い合わせを受け付けた場合や、所定周期等の所定のタイミングで、教師データ158を情報処理サーバ200Aに送信する。
情報処理サーバ200Aは、例えば、通信インターフェース210と、入力インターフェース220と、ディスプレイ230と、処理回路240Aと、メモリ250Aとを備える。情報処理サーバ200Aは、第1の実施形態の情報処理サーバ200の構成と比較すると、処理回路240およびメモリ250に代えて処理回路240Aおよびメモリ250Aとを備える。
処理回路240Aは、例えば、取得機能242Aと、信頼度付与機能243と、重み付与機能244と、学習機能246とを備える。取得機能242Aは、ネットワークNWを介して医療機関端末100Aから教師データ158を取得し、取得した教師データを、教師データ251として、メモリ250Aに記憶させる。教師データ251には、医療機関端末IDが付与されてもよい。
信頼度付与機能243は、メモリ250Aに記憶された教師データ251に基づいて、信頼度付き教師データ252を生成する。具体的には、信頼度付与機能243は、教師データ158に対する付帯情報に基づいて、上述した「作業状況」および「作業者情報」の各項目を生成する。これらの各項目のうち、付帯情報から取得できない情報については、この項目に対する値を入力しなくてもよく、予め設定された値を入力してもよい。
また、信頼度付与機能243は、上述した画像S1および画像S2をディスプレイ230に表示させ、情報処理サーバ200Aの操作者によりラベル情報や信頼度情報を付与させてもよい。信頼度が付与された教師データは、信頼度付き教師データ252としてメモリ250Aに記憶される。
次に、第2の実施形態における医療機関端末100の処理回路140Aの一連の処理の流れについて図を用いて説明する。
図13は、第2の実施形態の医療機関端末100Aの処理回路140Aの一連の処理の流れを示すフローチャートである。図13の処理は、所定の周期またはタイミングで繰り返し実行されてよい。図13の例において、ステップS200〜S204の処理は、上述する図9に示すステップS100〜S104の処理と同様の処理を行うため、ここでの具体的な説明は省略する。
教師データ作成機能142Aは、ステップS204の処理において、ラベルの入力が終了した場合、作成した教師データをメモリ150Aに記憶させる(ステップS206)。次に、教師データ作成機能142は、処理対象の全ての医用画像に対して処理を行ったか否かを判定する(ステップS208)。処理対象の全ての医用画像に対して処理を行っていない場合、教師データ作成機能142Aは、ステップS200に戻り、次の画像を表示させる。また、処理対象の全ての医用画像に対して処理を行っている場合、本フローチャートの処理は終了する。
次に、第2の実施形態における情報処理サーバ200Aの処理回路240Aの一連の処理に流れについて図を用いて説明する。
図14は、第2の実施形態の情報処理サーバ200Aの処理回路240Aの一連の処理の流れを示すフローチャートである。図14におけるステップS258〜ステップS262の処理は、上述したステップS152〜ステップS156と同様の処理を行うため、ここでの具体的な説明は省略し、主にステップS250〜S256の処理を中心に説明する。
取得機能242は、各医療機関端末100から教師データ252を取得する(ステップS250)。次に、信頼度付与機能243は、取得した教師データの付帯情報に基づく信頼度情報を医用画像に付与する(ステップS252)。次に、信頼度付与機能243は、信頼度情報が付与された信頼度付き教師データ252をメモリ250Aに記憶させる(ステップS254)。次に、信頼度付与機能243は、処理対象の全ての教師データに対して処理を行ったか否かを判定する(ステップS256)。処理対象の全ての医用画像に対して処理を行っていない場合、ステップS250の処理に戻り、次の教師データのレコードを入力する。また、処理対象の全ての教師データに対して処理を行った場合、ステップS256以降の処理を行う。
以上説明した第2の実施形態によれば、第1の実施形態と同様の効果を奏する他、情報処理サーバ200Aで信頼度情報を付与することで、医療機関端末100の負荷や教師データの作成者の負担を軽減させることができる。
一般に医用分野では、医用画像の数が限られるために十分な数の教師データを準備することが難しく、また教師データの作成が人手で行われる場合には、教師データの品質にばらつきが生じることがある。第2の実施形態では、そのような品質が不安定な限られた教師データであっても、教師データの品質を向上させることができる。また、第2の実施形態によれば、教師データの品質を加味した安定した学習結果を得ることができる。
(第3の実施形態)
以下、第3の実施形態について説明する。第2の実施形態と比較すると、医用画像処理サーバに、重みスコアを調整したり、学習されるデータに含めるか否かを調整する機能を有する点で相違する。したがって、以下では、第2の実施形態との相違点を中心に説明し、第2の実施形態と共通する部分については同一の名称および符号を付するものとし、その説明を省略する。また、第3の実施形態において医療機関端末100Aは、第2の実施形態と同様の構成であるため、ここでの説明は省略する。
図15は、第3の実施形態の情報処理サーバ200Bの構成の一例を示す図である。第3の実施形態において、情報処理サーバ200Bは、「医用画像処理装置」の一例である。情報処理サーバ200Bは、例えば、通信インターフェース210と、入力インターフェース220と、ディスプレイ230と、処理回路240Bと、メモリ250Aとを備える。情報処理サーバ200Bは、第2の実施形態の情報処理サーバ200Aの構成と比較すると、処理回路240に代えて処理回路240Bを備える。
処理回路240Bは、例えば、取得機能242Aと、信頼度付与機能243と、重み付与機能244と、調整機能248とを備える。調整機能248は、「調整部」の一例である。調整機能248は、例えば、重み付けテーブル254や重み付き教師データ256に含まれる重みスコアを調整する。例えば、調整機能248は、重み付けテーブル254や重み付き教師データ256に関する情報をディスプレイに表示させる画像を生成し、生成した画像を用いて操作者により変更された情報に基づいて、重み付けテーブル254や重み付き教師データ256を更新する。
また、調整機能248は、重み付けテーブル254が更新された場合に、更新後の重み付けテーブルを用いて、重み付与機能244に重み付き教師データ256の再生成を実行させる。また、調整機能248は、重み付き教師データ256が更新された場合に、更新後の重み付き教師データを用いて、学習機能246に学習済みモデル258の再生成を行わせてもよい。これにより、より最新の医療分野の状況に応じた重み付き教師データ256や学習済みモデル258を生成することができる。
また、調整機能248は、医療のガイドラインの改定等により基準となる内容が変更された場合、変更された内容に基づいて重み付けテーブル254の対象部分を更新してもよい。この場合、調整機能248は、例えば、教師データに含まれるラベル(例えば、設定した臓器や病変の種類)に対応した診断ガイドラインが更新された場合、ガイドラインの更新日よりも古い重み付き教師データの「新鮮度」に対する重みスコアを下げる調整を行う。
また、調整機能248は、重み付き教師データ256のうち、作業状況スコアまたは作成者情報スコアの値が所定値以下の教師データを学習機能246の入力から除外してもよい。これにより、より信頼度の高い教師データを用いて学習済みモデル258を生成することができる。また、無駄な教師データを省くことができるため、学習済みモデル258を生成する時間を短縮させることができる。
また、調整機能248は、重み付き教師データ256のうち、作業状況スコアまたは作成者情報スコアの値が所定値以下の教師データを重み付き教師データ256から削除してもよい。これにより、メモリ250Aのデータ容量を削減することができる。
次に、第3の実施形態における情報処理サーバ200Bの処理回路240Bの一連の処理の流れについて図を用いて説明する。
図16は、第3の実施形態の情報処理サーバ200Bの処理回路240Bの一連の処理の流れを示すフローチャートである。図16の処理は、上述した図14の処理と比較して、ステップS350およびステップS350の処理が追加されている点で相違する。したがって、以下では、主にステップS350およびステップS350の処理を中心に説明する。
ステップS260の処理が終了後、調整機能248は、学習済みモデルの修正の調整が必要であるか否かを判定する(ステップS350)。学習済みモデルの修正が必要である場合、調整機能248は、重み付き教師データの重みを調整し、ステップS260の処理に戻る。また、学習済みモデルの調整が必要でない場合、調整機能248は、学習済みモデルをメモリ250Aに記憶し(ステップS262)、本フローチャートの処理を終了する。
なお、調整機能248は、ステップS352の処理において、重み付けテーブルの重みスコアを調整してもよい。この場合、ステップS352の処理後、ステップS258の処理に戻る。また、調整機能248は、ステップS352の処理において、学習機能246における学習用の入力データとして、作業状況スコアまたは作成者情報スコアの値が所定値以下の重み付き教師データを除外する処理を行ってもよい。
以上説明した第3の実施形態によれば、第1および第2の実施形態と同様の効果を奏する他、重みスコアや教師データの入力を調整可能とすることで、より適切な学習結果を取得することができる。なお、上述した第1〜第3の実施形態のそれぞれは、他の実施形態の一部または全部を組み合わせてもよい。また、上述した各実施形態において、医用画像処理システム1(2)は、情報処理サーバ200(200A、200B)と、医療機関端末100(100A)とがネットワークNWで接続されていたが、これに限定されるものではなく、それぞれがネットワークNWに接続されていなくてもよい。例えば、情報処理サーバ200が、医療機関端末100のメモリ150内のデータにアクセスできる場合には、医療機関端末100内のデータをUSB(Universal Serial Bus)メモリ等の可搬型の記憶媒体に記憶し、情報処理サーバ200で記憶媒体から上述したデータを読み取らせることで、医療機関端末100から本実施形態の処理に係る情報を取得することができる。また、同様の手法を用いることで、医療機関端末100は、情報処理サーバ200から本実施形態の処理に係る情報を取得することができる。
上記説明したいずれかの実施形態は、以下のように表現することができる。
プログラムを格納するストレージと、
プロセッサと、を備え、
前記プロセッサは、前記プログラムを実行することにより、
医用画像に関する教師データを取得し、
取得された教師データに、前記教師データの作成状況または前記教師データを作成した作成者に関する情報のうち、一方または双方に基づく信頼度情報を付与する、
ように構成されている、医用画像処理装置。
以上説明した少なくともひとつの実施形態によれば、医用画像処理装置において、医用画像の教師データを取得する教師データ作成機能142と、教師データ作成機能142により取得された教師データに、教師データの作成状況または教師データを作成した作成者情報のうち、一方または双方に基づく信頼度情報を付与する信頼度付与機能144と、を持つことにより、教師データの品質を明確化することができる。また、第1の実施形態によれば、教師データの品質を加味して、より適切な学習済みモデルや学習結果を取得することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1、2…医用画像処理システム、100…医療機関端末、110、210…通信インターフェース、120、220…入力インターフェース、130、230…ディスプレイ、140、240…処理回路、142…教師データ作成機能、144、243…信頼度付与機能、150、250…メモリ、200…情報処理サーバ、242…取得機能、244…重み付与機能、246…学習機能、248…調整機能

Claims (17)

  1. 医用画像に関する教師データを取得する取得部と、
    前記取得部により取得された教師データに、前記教師データの作成状況または前記教師データを作成した作成者に関する情報のうち、一方または双方に基づく信頼度情報を付与する信頼度付与部と、
    を備える、医用画像処理装置。
  2. 操作者の入力操作を受け付ける入力部と、
    前記医用画像を表示する表示部と、を更に備え、
    前記取得部は、前記表示部に前記医用画像を表示させた状態で、前記入力部により受け付けられた入力操作に基づいて、前記医用画像に関する教師データを生成する、
    請求項1に記載の医用画像処理装置。
  3. 前記取得部は、前記医用画像または前記教師データの作成時刻を取得し、
    前記信頼度付与部は、前記取得部により取得された前記作成時刻が新しいほど信頼度が高くなるように前記信頼度情報を付与する、
    請求項1または2に記載の医用画像処理装置。
  4. 前記教師データには、前記医用画像に対する病変の有無、病変種類の識別、または特定領域の指定のうち少なくとも一つが含まれる、
    請求項1から3のうち何れか1項に記載の医用画像処理装置。
  5. 前記作成状況は、前記作成者の自覚に関する情報が含まれる、
    請求項1から4のうち何れか1項に記載の医用画像処理装置。
  6. 前記自覚に関する情報は、前記作成者による前記教師データの作成所要時間または前記教師データの作成に対する自信度のうち、一方または双方を含む、
    請求項5に記載の医用画像処理装置。
  7. 前記作成者に関する情報は、前記作成者が所有する医療分野に関する資格に関する情報または前記作成者の繁忙度に関する情報のうち、一方または双方を含む、
    請求項1から6のうち何れか1項に記載の医用画像処理装置。
  8. 画像を表示する表示部と、
    操作者による入力を受け付ける入力部と、を更に備え、
    前記信頼度付与部は、前記医用画像に対する教師データを前記入力部から前記操作者に入力させる画像を、前記表示部に表示させる、
    請求項1から7のうち何れか1項に記載の医用画像処理装置。
  9. 前記信頼度付与部により付与された信頼度に基づいて、前記教師データに重み付けを行う重み付与部と、
    前記重み付与部により重み付けされた教師データを用いて学習済みモデルを生成する学習部と、を更に備える、
    請求項1から8のうち何れか1項に記載の医用画像処理装置。
  10. 前記重み付与部は、前記作成状況および前記作成者に関する情報に含まれる項目ごとに重みスコアを付与する、
    請求項9に記載の医用画像処理装置。
  11. 前記重み付与部は、前記作成状況および前記作成者に関する情報に含まれる複数の項目の組み合わせに対して重みスコアを付与する、
    請求項10に記載の医用画像処理装置。
  12. 前記学習部は、前記重み付与部により付与された重みスコアに基づいて、前記学習済みモデルを生成する、
    請求項10または11に記載の医用画像処理装置。
  13. 前記教師データに付与された重みスコアを調整する調整部を更に備え、
    前記調整部は、前記教師データの内容に対応付けられたガイドラインが変更された場合に、前記教師データに付与された重みを調整する、
    請求項9から12のうち何れか1項に記載の医用画像処理装置。
  14. 前記調整部は、重みスコアが付与された複数の教師データのうち、前記重み付与部により付与された重みスコアが所定値以下の教師データを、前記学習部に入力される教師データから除外する、
    請求項13に記載の医用画像処理装置。
  15. 前記重み付与部により重みスコアが付与された教師データを記憶する記憶部を更に備え、
    前記調整部は、前記記憶部に記憶された複数の教師データのうち、前記重みスコアが所定値以下の教師データを、前記記憶部から削除する、
    請求項13に記載の医用画像処理装置。
  16. 医用画像処理装置のコンピュータが、
    医用画像に関する教師データを取得し、
    取得された教師データに、前記教師データの作成状況または前記教師データを作成した作成者に関する情報のうち、一方または双方に基づく信頼度情報を付与する、
    医用画像処理方法。
  17. 医用画像処理装置のコンピュータに、
    医用画像に関する教師データを取得させ、
    取得された教師データに、前記教師データの作成状況または前記教師データを作成した作成者に関する情報のうち、一方または双方に基づく信頼度情報を付与させる、
    プログラム。
JP2018214752A 2018-11-15 2018-11-15 医用画像処理装置、医用画像処理方法、およびプログラム Active JP7201404B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018214752A JP7201404B2 (ja) 2018-11-15 2018-11-15 医用画像処理装置、医用画像処理方法、およびプログラム
US16/683,393 US11328812B2 (en) 2018-11-15 2019-11-14 Medical image processing apparatus, medical image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018214752A JP7201404B2 (ja) 2018-11-15 2018-11-15 医用画像処理装置、医用画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2020086519A true JP2020086519A (ja) 2020-06-04
JP7201404B2 JP7201404B2 (ja) 2023-01-10

Family

ID=70728111

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018214752A Active JP7201404B2 (ja) 2018-11-15 2018-11-15 医用画像処理装置、医用画像処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US11328812B2 (ja)
JP (1) JP7201404B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021245924A1 (ja) * 2020-06-05 2021-12-09 日本電信電話株式会社 処理装置、処理方法および処理プログラム
WO2022138277A1 (ja) * 2020-12-24 2022-06-30 富士フイルム株式会社 学習装置、方法及びプログラム並びに医用画像処理装置
WO2022209501A1 (ja) * 2021-03-31 2022-10-06 富士フイルム株式会社 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム
WO2023276810A1 (ja) * 2021-06-29 2023-01-05 富士フイルム株式会社 疾患ラベル作成装置、方法及びプログラム並びに学習装置及び疾患検出モデル
WO2023153490A1 (ja) * 2022-02-09 2023-08-17 富士フイルム株式会社 情報処理システム、情報処理方法及び情報処理プログラム
WO2024029349A1 (ja) * 2022-08-02 2024-02-08 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、および記録媒体

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7440317B2 (ja) * 2020-03-26 2024-02-28 キヤノンメディカルシステムズ株式会社 医用情報処理システム、医用情報処理装置及び医用情報処理プログラム
KR102527778B1 (ko) * 2020-11-19 2023-04-28 아주대학교산학협력단 학습 데이터 생성 장치 및 방법
US11908154B2 (en) * 2021-02-04 2024-02-20 Fibonacci Phyllotaxis Inc. System and method for evaluating tumor stability
JP2023069344A (ja) * 2021-11-05 2023-05-18 キヤノンメディカルシステムズ株式会社 医療情報処理装置及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005185560A (ja) * 2003-12-25 2005-07-14 Konica Minolta Medical & Graphic Inc 医用画像処理装置及び医用画像処理システム
JP2009238038A (ja) * 2008-03-27 2009-10-15 Fujifilm Corp 医用レポートシステム、医用レポート閲覧装置、医用レポートプログラム、及び医用レポート閲覧方法
US20160171682A1 (en) * 2014-12-14 2016-06-16 International Business Machines Corporation Cloud-based infrastructure for feedback-driven training and image recognition

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009282686A (ja) 2008-05-21 2009-12-03 Toshiba Corp 分類モデル学習装置および分類モデル学習方法
JP2013025745A (ja) 2011-07-26 2013-02-04 Olympus Corp 教師データの作成方法、教師データの作成のためのプログラム、及び教師データ作成装置
WO2015134665A1 (en) * 2014-03-04 2015-09-11 SignalSense, Inc. Classifying data with deep learning neural records incrementally refined through expert input
US20180060512A1 (en) * 2016-08-29 2018-03-01 Jeffrey Sorenson System and method for medical imaging informatics peer review system
JP6743623B2 (ja) 2016-09-28 2020-08-19 富士ゼロックス株式会社 情報処理装置及びプログラム
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
US10657838B2 (en) * 2017-03-15 2020-05-19 International Business Machines Corporation System and method to teach and evaluate image grading performance using prior learned expert knowledge base
US10984340B2 (en) * 2017-03-31 2021-04-20 Intuit Inc. Composite machine-learning system for label prediction and training data collection
US10607122B2 (en) * 2017-12-04 2020-03-31 International Business Machines Corporation Systems and user interfaces for enhancement of data utilized in machine-learning based medical image review

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005185560A (ja) * 2003-12-25 2005-07-14 Konica Minolta Medical & Graphic Inc 医用画像処理装置及び医用画像処理システム
JP2009238038A (ja) * 2008-03-27 2009-10-15 Fujifilm Corp 医用レポートシステム、医用レポート閲覧装置、医用レポートプログラム、及び医用レポート閲覧方法
US20160171682A1 (en) * 2014-12-14 2016-06-16 International Business Machines Corporation Cloud-based infrastructure for feedback-driven training and image recognition

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021245924A1 (ja) * 2020-06-05 2021-12-09 日本電信電話株式会社 処理装置、処理方法および処理プログラム
WO2022138277A1 (ja) * 2020-12-24 2022-06-30 富士フイルム株式会社 学習装置、方法及びプログラム並びに医用画像処理装置
WO2022209501A1 (ja) * 2021-03-31 2022-10-06 富士フイルム株式会社 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム
WO2023276810A1 (ja) * 2021-06-29 2023-01-05 富士フイルム株式会社 疾患ラベル作成装置、方法及びプログラム並びに学習装置及び疾患検出モデル
WO2023153490A1 (ja) * 2022-02-09 2023-08-17 富士フイルム株式会社 情報処理システム、情報処理方法及び情報処理プログラム
WO2024029349A1 (ja) * 2022-08-02 2024-02-08 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、および記録媒体

Also Published As

Publication number Publication date
US20200160981A1 (en) 2020-05-21
US11328812B2 (en) 2022-05-10
JP7201404B2 (ja) 2023-01-10

Similar Documents

Publication Publication Date Title
JP7201404B2 (ja) 医用画像処理装置、医用画像処理方法、およびプログラム
US7885828B2 (en) Knowledge-based ordering systeming for radiological procedures
US10929973B2 (en) Medical image pre-processing at the scanner for facilitating joint interpretation by radiologists and artificial intelligence algorithms
US11189375B1 (en) Methods and systems for a medical image annotation tool
JPWO2019146358A1 (ja) 学習システム、方法及びプログラム
Dragovic et al. Co-registration of cone beam CT and preoperative MRI for improved accuracy of electrode localization following cochlear implantation
WO2021157705A1 (ja) 文書作成支援装置、方法およびプログラム
US20220399107A1 (en) Automated protocoling in medical imaging systems
EP3362925B1 (en) Systems and methods for generating correct radiological recommendations
WO2021167018A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
EP3992981A1 (en) Medical data processing device, and medical data processing method
WO2021177357A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
EP3391332B1 (en) Determination of registration accuracy
CN109427416B (zh) 用于比较医学成像过程中的参考值的方法、系统
WO2022209501A1 (ja) 情報処理装置、情報処理装置の作動方法、情報処理装置の作動プログラム
WO2021177358A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2022220081A1 (ja) 文書作成支援装置、文書作成支援方法、及び文書作成支援プログラム
US20240037739A1 (en) Image processing apparatus, image processing method, and image processing program
US20230154594A1 (en) Systems and methods for protocol recommendations in medical imaging
WO2022223042A1 (zh) 手术路径处理系统、方法、装置、设备及存储介质
US20230223138A1 (en) Medical information processing system, medical information processing method, and storage medium
WO2023087048A1 (en) Systems and methods for grouping brain parcellation data
Succi Would You Trust an AI Doctor? New... Continued from page 9
US20210065899A1 (en) Methods and systems for computer-aided diagnosis with deep learning models
Anam et al. A system to investigate and adjust profile pattern of computed tomography dose index along the longitudinal-axis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221020

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221222

R150 Certificate of patent or registration of utility model

Ref document number: 7201404

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150