JP2020139842A - 情報処理装置、情報処理方法および情報処理システム - Google Patents

情報処理装置、情報処理方法および情報処理システム Download PDF

Info

Publication number
JP2020139842A
JP2020139842A JP2019035744A JP2019035744A JP2020139842A JP 2020139842 A JP2020139842 A JP 2020139842A JP 2019035744 A JP2019035744 A JP 2019035744A JP 2019035744 A JP2019035744 A JP 2019035744A JP 2020139842 A JP2020139842 A JP 2020139842A
Authority
JP
Japan
Prior art keywords
information
identification
learning
data
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019035744A
Other languages
English (en)
Inventor
山根 健治
Kenji Yamane
健治 山根
真司 渡辺
Shinji Watanabe
真司 渡辺
威 國弘
Takeshi Kunihiro
威 國弘
一樹 相坂
Kazuki Aisaka
一樹 相坂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2019035744A priority Critical patent/JP2020139842A/ja
Priority to PCT/JP2020/006240 priority patent/WO2020175238A1/ja
Priority to CN202080015996.7A priority patent/CN113454682A/zh
Priority to US17/432,165 priority patent/US20220172840A1/en
Publication of JP2020139842A publication Critical patent/JP2020139842A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Food Science & Technology (AREA)
  • Urology & Nephrology (AREA)
  • Molecular Biology (AREA)
  • Hematology (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

【課題】生体領域が写る識別用の画像データに基づく識別処理の精度を向上させることが可能な技術が提供されることが望まれる。【解決手段】第1の生体領域が写る識別用の画像データと前記第1の生体領域の第1の部位情報とを取得する識別用データ取得部と、複数の部位情報それぞれに対応付けられた識別器から、前記第1の部位情報に対応する識別器を選択し、前記識別器と前記識別用の画像データとに基づいて識別処理を行う識別部と、を備える、情報処理装置が提供される。【選択図】図1

Description

本開示は、情報処理装置、情報処理方法および情報処理システムに関する。
近年、生体領域が写る識別用の画像データと識別器とに基づいて識別処理を行う技術が知られている。例えば、識別処理は、生体領域に病変が有るかを示す診断情報であり得る。ここで、画像データと識別器とに基づいて識別処理を行う技術が開示されている(例えば、特許文献1参照)。かかる技術では、識別器によって利用されるデータ(モデルデータ)が、学習用の画像データに基づいて生成される。
特開2015−116319号公報
しかし、生体領域が写る識別用の画像データに基づく識別処理の精度を向上させることが可能な技術が提供されることが望まれる。
本開示によれば、第1の生体領域が写る識別用の画像データと前記第1の生体領域の第1の部位情報とを取得する識別用データ取得部と、複数の部位情報それぞれに対応付けられた識別器から、前記第1の部位情報に対応する識別器を選択し、前記識別器と前記識別用の画像データとに基づいて識別処理を行う識別部と、を備える、情報処理装置が提供される。
本開示によれば、プロセッサが、第1の生体領域が写る識別用の画像データと前記第1の生体領域の第1の部位情報とを取得することと、前記プロセッサが、複数の部位情報それぞれに対応付けられた識別器から、前記第1の部位情報に対応する識別器を選択し、前記識別器と前記識別用の画像データとに基づいて識別処理を行うことと、を含む、情報処理方法が提供される。
本開示によれば、第1の生体領域を撮像する撮像部と、前記撮像部により撮像された前記第1の生体領域の画像データと前記第1の生体領域の第1の部位情報とを取得する識別用データ取得部と、複数の部位情報それぞれに対応付けられた識別器から、前記第1の部位情報に対応する識別器を選択し、前記識別器と前記画像データとに基づいて識別処理を行う識別部と、を備える、情報処理装置を有する、情報処理システムが提供される。
本開示によれば、医用画像撮像装置と、前記医用画像撮像装置により撮像される対象物に対応する画像データの処理に使われるソフトウェアとを含んで構成される情報処理システムであって、前記ソフトウェアは、第1の生体領域に対応する第1の画像データと、前記第1の生体領域の第1の部位情報に対応する識別器とに基づいた識別処理を情報処理装置に実行させる、情報処理システムが提供される。
本開示の実施形態に係る情報処理システムの構成例を示す図である。 本開示の実施形態に係るLISの機能構成例を示す図である。 本開示の実施形態に係る解析サーバの機能構成例を示す図である。 部位別データ保持部によって記憶される部位別データの例を示す図である。 検体受付処理の流れを示すフローチャートである。 読み取り対象のスライドの例を示す図である。 データ登録処理の流れを示すフローチャートである。 モデル生成処理の流れを示すフローチャートである。 表示処理の流れを示すフローチャートである。 識別処理の流れを示すフローチャートである。 変形例2に係る情報処理システムの構成例を示す図である。 変形例2に係るLISの機能構成例を示す図である。 変形例2に係る部位別データ保持部によって記憶される部位別データの例を示す図である。 本開示の実施形態に係る解析サーバのハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一または類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
なお、説明は以下の順序で行うものとする。
0.概要
1.実施形態の詳細
1.1.情報処理システムの構成例
1.2.LISの機能構成例
1.3.解析サーバの機能構成例
1.4.システムが有する機能の詳細
1.4.1.検体受付処理
1.4.2.データ登録処理
1.4.3.モデル生成処理
1.4.4.表示処理
1.4.5.識別処理
2.変形例
3.ハードウェア構成例
4.むすび
<0.概要>
近年、標本をスキャナによって読み込んでデジタル画像(画像データ)を生成し、生成した画像データをディスプレイによって表示し、表示した画像データを医師に観察させる技術的方法論としてデジタルパソロジー(Digital pathology)が知られている。かかるデジタルパソロジーによれば、被験者から離れた遠隔地に存在する医師による診断が可能となるため、地方における医師不足の問題が解消され得るとも言われている。
さらに、画像データに対する診断結果を正解データとし、当該画像データと当該正解データとに基づいて(Deep Learningなどを用いて)教師あり学習を行うことによって、識別器によって利用されるデータ(以下、「モデルデータ」とも言う。)が生成され得る。このようにして生成されたモデルデータを用いれば、識別器は、新たに入力された画像データに基づいて自動的に診断を行うことが可能となる。したがって、より高い精度で自動的に診断を行うことを可能とするための研究が進められている。例えば、病変が写る画像データと当該病変の種類(正解)とを提供し、当該画像データに基づいてどの程度正解通りに診断を行うことが可能であるかを競い合うコンペティションが開催されている。
かかる自動的な診断を臨床に活かすためには、生体領域の如何なる部位が写る画像データが得られたとしても、当該画像データに対する診断が可能であることが望まれる。しかしながら、現状では1つの部位に特化したモデルデータの生成に関する研究しか行われていない。例えば、1つの部位が写る画像データのみに対する学習によって得られたモデルデータを用いて、他の部位が写る画像データに基づく診断を行ったとしても、部位ごとに構成が異なるために診断の正答率は向上しない。
あるいは、複数の部位それぞれが写る画像データに基づいて学習を行う手法も想定される。これによって、複数の部位に対応する1つのモデルデータが生成される。しかし、かかる手法では、1つの部位が写る画像データを用いて学習を行う場合と比較して、学習に必要なデータセットが膨大となってしまうために、学習のために莫大な時間を要してしまうことが予想される(あるいは、学習に必要なハードウェアリソースが膨大になってしまうことが予想される)。
そこで、本開示の実施形態においては、生体領域が写る識別用の画像データに基づく識別処理の精度を向上させることが可能な技術について主に提案する。より具体的に、本開示の実施形態においては、識別器に利用されるモデルデータの生成に必要なリソース(時間またはハードウェアリソース)を低減しつつ、識別用の画像データに基づく識別処理の精度を向上させることが可能な技術について提案する。
以上、本開示の実施形態の概要について説明した。
<1.実施形態の詳細>
[1.1.情報処理システムの構成例]
続いて、図面を参照しながら、本開示の実施形態に係る情報処理システムの構成例について説明する。図1は、本開示の実施形態に係る情報処理システムの構成例を示す図である。図1に示したように、本開示の実施形態に係る情報処理システム1Aは、LIS(Laboratory Information Server)10(他の情報処理装置)、解析サーバ20(情報処理装置)、スキャナ30(読み取り装置)、ネットワーク71、ネットワーク72、スキャンデータ保持部40およびモデル保持部50を有する。LIS10と解析サーバ20とは、ネットワーク71を介して互いに通信可能に構成されている。解析サーバ20とスキャナ30とは、ネットワーク72を介して互いに通信可能に構成されている。
LIS10は、例えば、コンピュータによって構成される。例えば、LIS10は、技師81および医師82によって利用される。本開示の実施形態では、技師81による各種の操作が、LIS10に対して直接的に入力される場合を主に想定する。しかし、技師81による各種の操作は、LIS10に対して図示しない端末を介して入力されてもよい。また、本開示の実施形態では、技師81への各種の提示情報が、LIS10から直接的に出力される場合を主に想定する。しかし、技師81への各種の提示情報は、LIS10から図示しない端末を介して出力されてもよい。
同様に、本開示の実施形態では、医師82による各種の操作が、LIS10に対して直接的に入力される場合を主に想定する。しかし、医師82による各種の操作は、LIS10に対して図示しない端末を介して入力されてもよい。また、本開示の実施形態では、医師82への各種の提示情報が、LIS10から直接的に出力される場合を主に想定する。しかし、医師82への各種の提示情報は、LIS10から図示しない端末を介して出力されてもよい。
スキャナ30は、生体領域に対する読み取りを行う。これによって、スキャナ30は、生体領域が写る画像データを含んだスキャンデータを生成する。後にも説明するように、生体領域は、検体から得られる標本に相当し得る。例えば、スキャナ30は、イメージセンサを有しており、イメージセンサによって標本を撮像することによって、標本が写る画像データを含んだスキャンデータを生成する。スキャナ30の読み取り方式は特定のタイプに限定されない。例えば、スキャナ30の読み取り方式は、CCD(Charge Coupled Device)タイプであってもよいし、CIS(Contact Image Sensor)タイプであってもよい。
ここで、CCDタイプは、標本からの反射光をミラーに反射および集約させてからレンズを介して送られた光をCCDセンサによって読み取り、CCDセンサによって読み取った光を画像データに変換するタイプに相当し得る。一方、CIS方式は、RGB三色のLED(Light Emitting Diode)を光源に使用し、光源から標本にあてた光が反射した結果をフォトセンサによって読み取り、読み取った結果を画像データに変換するタイプに相当し得る。
解析サーバ20は、例えば、コンピュータによって構成される。例えば、解析サーバ20は、スキャンデータ保持部40およびモデル保持部50と接続されている。なお、本開示の実施形態では、スキャンデータ保持部40およびモデル保持部50が、解析サーバ20の外部に存在する場合を主に想定する。しかし、スキャンデータ保持部40およびモデル保持部50の少なくともいずれか一方は、解析サーバ20の内部に組み込まれていてもよい。
スキャンデータ保持部40は、メモリによって構成されており、スキャナ30によって生成されたスキャンデータをN個(ただし、Nは2以上の整数)記憶している。
モデル保持部50は、メモリによって構成されており、学習器と識別器とモデルデータ(以下、単に「モデル」とも言う。)との組み合わせを、N個(ただし、Nは2以上の整数)記憶する。ここで、学習器および識別器は、部位ごとに設けられている。また、モデルデータは、学習器によって生成され、識別器によって利用される。部位の具体的な例としては、後にも説明するように、胃、大腸および肝臓などが挙げられる。しかし、部位はこれらの例に限定されない。
例えば、部位を示す情報(部位情報)は、生体領域を臨床上意味のある所定の単位に分類した情報であってよい。そして、臨床上意味のある単位は、器官系であってもよいし、器官であってもよいし、組織であってもよいし、疾病コードであってもよい。疾病コードは、世界保健機関(WHO)によって作成されたICD(International Statistical Classification of Diseases and Related Health Problems)であってもよい。
なお、本開示の実施形態では、学習器および識別器それぞれが、ニューラルネットワークによって実現される場合を主に想定する。かかる場合、モデルデータは、ニューラルネットワークの各ニューロンの重みに相当し得る。しかし、学習器および識別器それぞれは、ニューラルネットワーク以外によって実現されてもよい。ランダムフォレストによって実現されてもよいし、サポートベクタマシンによって実現されてもよいし、アダブーストによって実現されてもよい。
また、本開示の実施形態では、LIS10と解析サーバ20とスキャナ30とが別々の装置として存在する場合を主に想定する。しかし、LIS10、解析サーバ20およびスキャナ30の一部または全部は、1つの装置として存在してもよい。あるいは、LIS10、解析サーバ20およびスキャナ30のいずれかが有する機能の一部は、他の装置に組み込まれていてもよい。例えば、後の変形例において説明するように、解析サーバ20が有する一部の機能(例えば、部位情報に基づく学習器および識別器の選択)は、解析サーバ20の代わりにLIS10が有してもよい。
以上、本開示の実施形態に係る情報処理システム1Aの構成例について説明した。
[1.2.LISの機能構成例]
続いて、本開示の実施形態に係るLIS10の機能構成例について説明する。図2は、本開示の実施形態に係るLIS10の機能構成例を示す図である。図2に示したように、LIS10は、部位情報入力部111、標本番号割り当て部112、登録要求送信部113、識別対象入力部121、識別要求生成部122、識別要求送信部123、識別結果受信部131、表示制御部132および記憶部140を有している。
標本番号割り当て部112、識別要求生成部122および表示制御部132は、例えば、1または複数のCPU(Central Processing Unit;中央演算処理装置)などといった処理装置によって構成されていてよい。かかる処理装置は、電子回路によって構成されてよい。標本番号割り当て部112、識別要求生成部122および表示制御部132は、かかる処理装置によってプログラム(ソフトウェア)が実行されることによって実現され得る。
標本番号割り当て部112は、後に説明するラベル発行装置に接続されている。なお、本開示の実施形態では、ラベル発行装置がLIS10の外部に存在する場合を主に想定する。しかし、ラベル発行装置は、LIS10の内部に存在していてもよい。また、表示制御部132は、後に説明する表示装置に接続されている。なお、本開示の実施形態では、表示装置がLIS10の外部に存在する場合を主に想定する。しかし、表示装置は、LIS10の内部に存在していてもよい。表示装置は、ディスプレイによって実現されてよく、ディスプレイは、液晶ディスプレイであってもよいし、有機EL(Electro−Luminescence)ディスプレイであってもよいし、他のディスプレイであってもよい。
部位情報入力部111は、技師81による部位情報の入力を受け付ける機能を有する。また、識別対象入力部121は、医師82による識別対象の入力を受け付ける機能を有する。本開示の実施形態においては、部位情報入力部111および識別対象入力部121が共通のハードウェアによって実現される場合を主に想定する。しかし、部位情報入力部111および識別対象入力部121は、別々のハードウェアによって実現されてもよい。具体的に、部位情報入力部111および識別対象入力部121は、マウスおよびキーボードを含んでもよいし、タッチパネルを含んでもよいし、音声を検出するマイクロフォンを含んでもよいし、視線を検出するイメージセンサを含んでもよい。
記憶部140は、メモリを含んで構成され、処理装置によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。また、記憶部140は、処理装置による演算のためにデータを一時的に記憶する。記憶部140は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または、光磁気記憶デバイスなどにより構成される。
登録要求送信部113、識別要求送信部123および識別結果受信部131は、通信回路を含んで構成される。登録要求送信部113は、解析サーバ20に対してネットワーク71を介して後に説明する登録要求を送信する機能を有する。識別要求送信部123は、解析サーバ20に対してネットワーク71を介して後に説明する識別要求を送信する機能を有する。識別結果受信部131は、解析サーバ20からネットワーク71を介して後に説明する識別結果を受信する機能を有する。
以上、本開示の実施形態に係るLIS10の機能構成例について説明した。
[1.3.解析サーバの機能構成例]
続いて、本開示の実施形態に係る解析サーバ20の機能構成例について説明する。図3は、本開示の実施形態に係る解析サーバ20の機能構成例を示す図である。図3に示したように、解析サーバ20は、登録要求受信部211、スキャンデータ受信部212、スキャンデータ登録処理部213、記憶部220、識別要求受信部241、識別用データ取得部242、識別部243、出力部244、識別結果送信部245、学習用データ取得部231および学習部232を有している。
スキャンデータ登録処理部213、識別用データ取得部242、識別部243、出力部244、学習用データ取得部231および学習部232は、例えば、1または複数のCPU(Central Processing Unit;中央演算処理装置)などといった処理装置によって構成されていてよい。かかる処理装置は、電子回路によって構成されてよい。スキャンデータ登録処理部213、識別用データ取得部242、識別部243、出力部244、学習用データ取得部231および学習部232は、かかる処理装置によってプログラム(ソフトウェア)が実行されることによって実現され得る。
スキャンデータ登録処理部213および学習用データ取得部231は、スキャンデータ保持部40に接続されている。また、識別部243および学習部232は、モデル保持部50に接続されている。また、識別用データ取得部242および学習用データ取得部231は、後に説明する部位別データ保持部221に接続されている。
記憶部220は、メモリを含んで構成され、処理装置によって実行されるプログラムを記憶したり、プログラムの実行に必要なデータを記憶したりする記録媒体である。記憶部220は、プログラムの実行に必要なデータの例として、部位別データを記憶する(すなわち、記憶部220は、部位別データ保持部221を有する)。また、記憶部220は、処理装置による演算のためにデータを一時的に記憶する。記憶部220は、磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または、光磁気記憶デバイスなどにより構成される。
図4は、部位別データ保持部221によって記憶される部位別データの例を示す図である。図4を参照すると、(部位別データ保持部221によって記憶される)部位別データには3つのエントリ(3行のデータ)が登録されている。しかし、部位別データに登録されるエントリの数は限定されない。各エントリは、部位情報、スキャンデータ保存場所、学習器情報(学習器を識別するための情報)、モデル情報(モデルを識別するための情報)および識別器情報(識別器を識別するための情報)が対応付けられて構成されている。
図3に戻って説明を続ける。登録要求受信部211、スキャンデータ受信部212、識別要求受信部241および識別結果送信部245は、通信回路を含んで構成される。登録要求受信部211は、解析サーバ20からネットワーク71を介して後に説明する登録要求を受信する機能を有する。スキャンデータ受信部212は、スキャナ30からネットワーク72を介してスキャンデータを受信する。識別要求受信部241は、解析サーバ20からネットワーク71を介して後に説明する識別要求を受信する機能を有する。識別結果送信部245は、解析サーバ20に対してネットワーク71を介して後に説明する識別結果を送信する機能を有する。
以上、本開示の実施形態に係る解析サーバ20の機能構成例について説明した。
[1.4.システムが有する機能の詳細]
続いて、本開示の実施形態に係る情報処理システム1Aが有する機能の詳細について説明する。まず、本開示の実施形態に係る情報処理システム1Aによって検体受付処理が実行される。そこで、検体受付処理について説明する。
(1.4.1.検体受付処理)
図5は、検体受付処理の流れを示すフローチャートである。まず、技師が検体を入手し、検体の部位情報をLIS10に入力すると、図5に示すように、LIS10において、部位情報入力部111は、検体の部位情報の入力を受け付ける(S11)。技師は、検体に対して処理を施すと、検体から標本を得る。そして、標本番号割り当て部112は、検体から得られる標本に標本番号を割り当てる(S12)。ここで、標本番号は、標本を一意に識別するための情報(標本情報)であってよく、標本番号割り当て部112は、空いている任意の標本番号を標本に割り当てればよい。
ラベル発行装置は、標本番号に対応する2次元バーコードを生成し、当該2次元バーコードが付されたラベルを発行(印刷)する(S13)。技師は、ラベル発行装置によって発行されたラベルをスライド(ガラススライド)に貼り付ける。
なお、ここでは、標本番号を示す文字の代わりに、標本番号に対応する2次元バーコードがスライドに貼り付けられる場合を主に想定する。しかし、2次元バーコードの代わりに他のコード(例えば、1次元バーコードなど)がスライドに貼り付けられてもよい。このように標本番号を示す文字の代わりに標本番号に対応するコードがスライドに貼り付けられることによって、スキャナ30による標本番号の可読性が高められる。
あるいは、標本番号を示す文字が付されたラベルが発行されてもよい。すなわち、ラベルに付される標本番号の形式は限定されない。また、ここでは標本番号に対応する2次元バーコードがラベルに付される場合を主に想定する。しかし、標本番号に対応する2次元バーコードに加えて、他の情報がラベルに付されてもよい。この場合にも、ラベルに付される当該他の情報の形式は限定されない。
例えば、当該他の情報の形式は、当該他の情報に対応するコード(例えば、1次元バーコードまたは2次元バーコードなど)であってもよいし、当該他の情報を示す文字であってもよい。当該他の情報は、部位情報入力部111によって入力が受け付けられた部位情報を含んでもよい。さらに、技師は、ラベルが貼り付けられたスライドの上に標本を載せる。ラベルが貼り付けられ、標本が載せられたスライドは、スキャナ30による読み取り対象になる。
図6は、読み取り対象のスライドの例を示す図である。図6に示すように、スライド441には、標本番号に対応する2次元バーコードが付されたラベル443が貼り付けられている。また、スライド441には、標本442が載せられている。読み取り対象のスライドを技師がスキャナ30に読み取らせると、スキャナ30によってスキャンデータが生成される。スキャンデータには、標本の画像データと標本番号に対応する2次元バーコードの画像データとが含まれる。なお、上記したように、部位情報もラベルに付される場合には、スキャンデータには、部位情報の画像データも含まれる。スキャンデータは、スキャナ30からネットワーク72を介して解析サーバ20に送信される。
図5に戻って説明を続ける。登録要求送信部113は、部位情報入力部111によって入力が受け付けられた部位情報部位情報と、標本番号割り当て部112によって割り当てられた標本番号とを含んだ登録要求を、ネットワーク71を介して解析サーバ20に送信する(S14)。なお、上記したように、標本番号に加えて部位情報もラベルに付される場合、登録要求送信部113は、登録要求を解析サーバ20に送信しなくてもよい。
以上、検体受付処理について説明した。続いて、本開示の実施形態に係る情報処理システム1Aによってデータ登録処理が実行される。そこで、データ登録処理について説明する。
(1.4.2.データ登録処理)
図7は、データ登録処理の流れを示すフローチャートである。解析サーバ20において、登録要求受信部211は、部位情報と標本番号とを含んだ登録要求を、ネットワーク71を介してLIS10から受信する(S21)。そして、スキャンデータ受信部212は、スキャナ30からネットワーク72を介してスキャンデータを受信する(S22)。スキャンデータ登録処理部213は、スキャンデータに含まれる標本番号に対応する2次元バーコードの画像データから標本番号を認識する(S23)。
スキャンデータ登録処理部213は、スキャンデータから認識した標本番号と一致する標本番号とともにLIS10から受信された部位情報を特定する(S24)。より具体的に、スキャンデータ登録処理部213は、スキャンデータから認識した標本番号と一致する標本番号が含まれた登録要求が受信された場合、当該登録要求に含まれる部位情報を特定する。なお、上記したように、スキャンデータに部位情報の画像データが含まれている場合、スキャンデータ登録処理部213は、当該部位情報の画像データから部位情報を認識してもよい。また、標本番号および部位情報の少なくともいずれか一方は、解析サーバ20の代わりにスキャナ30によってスキャンデータから認識されてもよい。
続いて、スキャンデータ登録処理部213は、部位別データ保持部221(図4)を参照して、特定した部位情報に対応するスキャンデータ保存場所にスキャンデータを保存する(S25)。
以上、データ登録処理について説明した。続いて、本開示の実施形態に係る情報処理システム1Aによってモデル生成処理が実行される。そこで、モデル生成処理について説明する。
(1.4.3.モデル生成処理)
図8は、モデル生成処理の流れを示すフローチャートである。なお、ここでは、所定のタイミングが検出された場合に(例えば、定期的に、または、医師による指示がLIS10に入力された場合に)、部位別データ保持部221(図4)に登録されている全部の部位情報それぞれに対応するモデル生成が順次に行われる場合を主に想定する。しかし、部位別データ保持部221に登録されている全部の部位情報それぞれに対応するモデル生成がされなくてもよい。例えば、医師によって入力された部位情報に対応するモデル生成のみが行われてもよい。また、上記モデル生成処理は同一システムでモデルを生成する例であるが、このシステム以外で部位別に作成されたモデルが利用されてもよい。
解析サーバ20において、学習用データ取得部231は、所定のタイミングを検出すると、部位別データ保持部221から1つのエントリを取得する(S31)。1つのエントリには、部位情報、スキャンデータ保存場所、学習器情報、モデル情報および識別器情報が含まれる。学習部232は、取得された1つのエントリに基づいて、部位情報に対応するモデルの精度が十分であるか否かを判定する(S32)。より具体的に、学習部232は、取得された1つのエントリに基づいて、部位情報に対応するモデルが既にモデル保持部50に存在する場合、モデルの精度に基づいて、モデルを新たに生成するか否かを判定する。
ここで、モデルの精度はどのようにして判定されてもよい。例えば、学習部232は、部位情報に対応するモデルに基づいて、部位情報に対応する識別器に評価用データに対する識別を実行させた場合、識別結果の正答率に基づいてモデルの精度を判定してもよい。そして、モデルの精度が十分であるか否かは、モデルの精度が閾値よりも高いか否かによって判定されればよい。学習部232は、部位情報に対応するモデルの精度が十分であると判定した場合(S32において「Yes」)、S36に動作を移行させる。
一方、学習部232は、部位情報に対応するモデルの精度が十分ではないと判定した場合(S32において「No」)、スキャンデータ保存場所から(標本の画像データを含んだ)スキャンデータを取得する(S33)。標本の画像データは、第2の生体領域が写る学習用の画像データに相当し得る。また、部位情報は、第2の生体領域の第2の部位情報に相当し得る。
学習部232は、取得された1つのエントリに基づいて、部位情報に対応する学習器を選択する。そして、学習部232は、標本の画像データと選択した学習器とに基づいて、(学習を行うことによって)部位情報に対応するモデルを生成する。より具体的に、学習用データ取得部231は、標本の画像データに正解データが対応付けられている場合には、当該正解データを取得し、学習部232は、標本の画像データと選択した学習器と正解データとに基づいて、(学習を行うことによって)モデルを生成する(S34)。
このように、部位ごとに用意された学習器によってモデルが生成されれば、複数の部位に対応する1つのモデルが生成される場合と比較して、識別器に利用されるモデルの生成に必要なリソース(時間またはハードウェアリソース)を低減することが可能となる。
学習部232は、生成したモデルに基づいて、モデル保持部50に新規登録または更新を行う(S35)。より具体的に、学習部232は、部位情報に対応するモデルがモデル保持部50に存在していない場合には、生成したモデルをモデル保持部50における部位情報に対応付けて新規に登録する。一方、学習部232は、部位情報に対応するモデルがモデル保持部50に既に存在している場合には、モデル保持部50における部位情報に既に対応付けられているモデルを、生成したモデルで更新する。
部位別データ保持部221(図4)に登録されている全部または一部の部位情報それぞれに対応するモデル生成が終了していない場合には(S36において「No」)、学習用データ取得部231によって、部位別データ保持部221(図4)から次のエントリが取得され(S31)、S32に動作が移行される。一方、部位別データ保持部221(図4)に登録されている全部の部位情報それぞれに対応するモデル生成が終了した場合には(S36において「Yes」)、モデル生成処理が終了される。
以上、モデル生成処理について説明した。続いて、本開示の実施形態に係る情報処理システム1Aによって表示処理が実行される。そこで、表示処理について説明する。
(1.4.4.表示処理)
図9は、表示処理の流れを示すフローチャートである。まず、医師によって識別対象(標本)に対応する標本番号と当該標本の部位情報とがLIS10に入力される。そして、識別対象入力部121は、標本番号と部位情報との入力を受け付ける。識別要求生成部122は、識別対象入力部121によって入力が受け付けられた標本番号と部位情報とを含んだ識別要求を生成する。そして、識別要求送信部123は、識別対象(標本)に対応する標本番号と部位情報とを含んだ識別要求を、ネットワーク71を介して解析サーバ20に送信する(S41)。
なお、ここでは、医師によって標本番号と部位情報との双方がLIS10に入力される場合を想定する。しかし、解析サーバ20において、標本番号と当該標本の部位情報との対応付けを把握できる状態であれば、医師によって部位情報は入力されなくてもよく、識別要求には、標本番号が含まれなくてもよい。また、標本番号と部位情報とは、LIS10を介さずに解析サーバ20に入力されてもよい。続いて、解析サーバ20によって識別要求に応じた識別処理が行われる。かかる識別処理については、図10を参照しながら後に説明する。
識別結果受信部131は、識別要求に応じた識別結果、識別に利用されたモデル情報(識別に利用されたモデルを識別するための情報)、および、識別に利用された識別器情報(識別に利用された識別器を識別するための情報)を、ネットワーク71を介して解析サーバ20から受信する(S42)。表示制御部132は、識別結果受信部131によって受信された、識別結果、モデル情報、および、識別器情報が、表示装置によって表示されるように表示装置を制御する(S43)。
なお、解析サーバ20からモデル生成に利用された学習器情報(学習器に関する情報)が受信された場合には、学習器情報も表示装置によって表示されるように表示装置を制御してよい。これによって、医師は、どのような学習器がモデル生成に利用されたかを把握することが可能となる。識別結果については、図10を参照しながら後に説明する。
以上、表示処理について説明した。続いて、本開示の実施形態に係る情報処理システム1Aによって実行される識別処理について説明する。
(1.4.5.識別処理)
図10は、識別処理の流れを示すフローチャートである。まず、識別要求受信部241は、識別対象(標本)に対応する標本番号と部位情報とを含んだ識別要求を、ネットワーク71を介してLIS10から受信する(S51)。識別用データ取得部242は、受信された部位情報を取得する。部位別データ保持部221(図4)に基づいて、部位情報に対応する識別器とモデルとを選択する(S52)。また、識別用データ取得部242は、部位別データ保持部221(図4)に基づいて、部位情報に対応するスキャンデータ保存場所からスキャンデータを取得し、受信された標本番号に対応する標本の画像データをスキャンデータから取得する(S53)。
より具体的に、識別用データ取得部242は、受信された標本番号と一致する標本番号が認識されるスキャンデータから標本の画像データを取得する。標本の画像データは、第1の生体領域が写る識別用の画像データに相当し得る。また、部位情報は、第1の生体領域の第1の部位情報に相当し得る。
識別部243は、受信された部位情報に対応する識別器を、モデル保持部50に存在する識別器から選択する。そして、識別部243は、標本の画像データと選択した識別器とに基づいて識別処理を行う。このように、部位ごとに用意された識別器が識別処理に利用されれば、生体領域が写る識別用の画像データに基づく識別処理の精度を向上させることが可能となる。より具体的には、識別部243は、標本の画像データと選択した識別器と選択したモデルとに基づいて識別処理を行う(S54)。
ここで、識別結果は特に限定されない。例えば、識別結果は、生体領域(第1の生体領域)に対応する診断結果を含んでもよいし、生体領域に対応する解析結果を含んでもよいし、診断結果および解析結果の双方を含んでもよい。また、診断結果も限定されない。例えば、診断結果は、生体領域を身体に有する被験者が癌を患っているか否かに関する情報を含んでよい。また、診断結果は、癌に関する情報(癌のサブタイプ、癌のステージ、癌細胞の分化度など)を含んでもよい。分化度は、どのような薬(抗癌剤など)が効きやすいかなどといった情報を予測するために利用され得る。
解析結果も限定されない。例えば、解析結果は、生体領域における病変の有無、生体領域に病変が含まれている確率、病変の位置および病変の種類の少なくともいずれか一つを含んでもよい。
続いて、出力部244は、識別処理によって得られた識別結果、識別に利用されたモデル情報、および、識別に利用された識別器情報を出力する。識別結果送信部245は、識別結果、モデル情報および識別器情報を、ネットワーク71を介してLIS10に返信する(S55)。なお、出力部244は、識別器によって利用されるモデルの生成に利用された学習器情報(学習器に関する情報)を出力してもよい。かかる場合には、識別結果送信部245は、識別結果、モデル情報および識別器情報に追加して、学習器情報を、ネットワーク71を介してLIS10に返信してもよい。
以上、識別処理について説明した。
以上、本開示の実施形態に係る情報処理システム1Aが有する機能の詳細について説明した。
<2.変形例>
続いて、各種の変形例について説明する。
まず、変形例1について説明する。上記では、部位情報に対して、学習器、識別器およびモデルが対応付けられる場合を想定した。しかし、部位情報と他の情報との組み合わせに対して、学習器、識別器およびモデルが対応付けられる場合も想定される。例えば、細胞がどの染色試薬に対してどの程度発現しているかに応じて、細胞に対してどのような薬が効きやすいかが変化することが想定される。したがって、部位情報と染色情報(染色試薬の種類を示す情報)との組み合わせに対して、学習器、識別器およびモデルが対応付けられてもよい。部位情報と染色情報との組み合わせは、どのような組み合わせであってもよい。
一例として、「胃」を示す部位情報と「HE(ヘマトキシリン・エオジン)染色」を示す染色情報との組み合わせが想定される。また、「胃」を示す部位情報と「免疫組織染色=IHC(Immunohistochemistry)」を示す染色情報との組み合わせが想定される。免疫組織染色(IHC)は、エストロゲン受容体(ER:Estrogen Receptor)の免疫組織染色(IHC)を含んでもよいし、プロゲステロン受容体(PR:Progesterone Receptor)の免疫組織染色(IHC)を含んでもよい。
このとき、モデル保持部50は、部位情報と染色情報とに対応して、学習器、識別器およびモデルを記憶する。そして、部位別データ保持部221は、部位情報および染色情報の組み合わせに対応して、スキャンデータ保存場所、学習器情報、モデル情報および識別器情報を記憶する。
そして、モデル生成処理において、学習用データ取得部231は、部位別データ保持部221から、部位情報(第2の部位情報)に加えて染色情報(第2の染色情報)を取得する。学習部232は、部位別データ保持部221を参照して、部位情報(第2の部位情報)および染色情報(第2の染色情報)に対応する学習器を選択する。学習部232は、選択した学習器とスキャンデータから取得される標本の画像データ(学習用の画像データ)とに基づいてモデルを生成する。
また、識別処理において、識別用データ取得部242は、LIS10から受信された識別要求から、部位情報(第1の部位情報)に加えて染色情報(第1の染色情報)を取得する。識別部243は、部位別データ保持部221を参照して、部位情報(第1の部位情報)と染色情報(第1の染色情報)とに対応する識別器を選択する。識別部243は、選択した識別器とスキャンデータから取得される標本の画像データ(識別用の画像データ)とに基づいて識別処理を行う。
続いて、変形例2について説明する。図11は、変形例2に係る情報処理システムの構成例を示す図である。上記では、図1に示すように、情報処理システム1Aが、1台の解析サーバ20を有し、1台の解析サーバ20が、全部の部位情報それぞれに対応するモデル生成および識別処理を実行する場合を想定した。一方、変形例2においては、図11に示すように、情報処理システム1Bが、複数の解析サーバ20(解析サーバ20−1〜20−N)を有し、複数の解析サーバ20それぞれが、1つの部位情報に対応するモデル生成および識別処理を実行する場合を想定する。
したがって、変形例2においては、図11に示すように、解析サーバ20−1に、スキャンデータ1およびモデル保持部50−1(学習器1、識別器1、モデル1)が接続され、解析サーバ20−2に、スキャンデータ2およびモデル保持部50−2(学習器2、識別器2、モデル2)が接続され、・・・、解析サーバ20−Nに、スキャンデータNおよびモデル保持部50−N(学習器N、識別器N、モデルN)が接続される。また、部位別データ保持部141(図12)が記憶される。
図12は、変形例2に係るLIS10の機能構成例を示す図である。図12に示すように、複数の解析サーバ20それぞれが、部位別データ保持部141を有する。図13は、変形例2に係る部位別データ保持部141によって記憶される部位別データの例を示す図である。図13を参照すると、各エントリは、部位情報および解析サーバが対応付けられて構成されている。LIS10は、部位別データ保持部141を参照すれば、部位情報に対応するモデル生成および識別処理が、どの解析サーバ20によって実行されるかを把握することが可能となる。すなわち、LIS10は、部位別データ保持部141を参照すれば、登録要求および識別要求を送信すべき解析サーバ20を選択することが可能となる。
以上、各種の変形例について説明した。
<3.ハードウェア構成例>
次に、図14を参照して、本開示の実施形態に係る解析サーバ20のハードウェア構成例について説明する。図14は、本開示の実施形態に係る解析サーバ20のハードウェア構成例を示すブロック図である。なお、解析サーバ20は、必ずしも図14に示したハードウェア構成の全部を有している必要はなく、解析サーバ20の中に、図14に示したハードウェア構成の一部は存在しなくてもよい。また、LIS10のハードウェア構成も、解析サーバ20のハードウェア構成と同様に実現されてよい。
図14に示すように、解析サーバ20は、CPU(Central Processing unit)901、ROM(Read Only Memory)903、およびRAM(Random Access Memory)905を含む。また、解析サーバ20は、ホストバス907、ブリッジ909、外部バス911、インターフェース913、入力装置915、出力装置917、ストレージ装置919、ドライブ921、接続ポート923、通信装置925を含んでもよい。さらに、解析サーバ20は、必要に応じて、撮像装置933、およびセンサ935を含んでもよい。解析サーバ20は、CPU901に代えて、またはこれとともに、DSP(Digital Signal Processor)またはASIC(Application Specific Integrated Circuit)と呼ばれるような処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置919、またはリムーバブル記録媒体927に記録された各種プログラムに従って、解析サーバ20内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータなどを記憶する。RAM905は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータなどを一時的に記憶する。CPU901、ROM903、およびRAM905は、CPUバスなどの内部バスにより構成されるホストバス907により相互に接続されている。さらに、ホストバス907は、ブリッジ909を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス911に接続されている。
入力装置915は、例えば、ボタンなど、ユーザによって操作される装置である。入力装置915は、マウス、キーボード、タッチパネル、スイッチおよびレバーなどを含んでもよい。また、入力装置915は、ユーザの音声を検出するマイクロフォンを含んでもよい。入力装置915は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、解析サーバ20の操作に対応した携帯電話などの外部接続機器929であってもよい。入力装置915は、ユーザが入力した情報に基づいて入力信号を生成してCPU901に出力する入力制御回路を含む。ユーザは、この入力装置915を操作することによって、解析サーバ20に対して各種のデータを入力したり処理動作を指示したりする。また、後述する撮像装置933も、ユーザの手の動き、ユーザの指などを撮像することによって、入力装置として機能し得る。このとき、手の動きや指の向きに応じてポインティング位置が決定されてよい。
出力装置917は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置917は、例えば、LCD(Liquid Crystal Display)、有機EL(Electro−Luminescence)ディスプレイなどの表示装置、スピーカおよびヘッドホンなどの音出力装置などであり得る。また、出力装置917は、PDP(Plasma Display Panel)、プロジェクタ、ホログラム、プリンタ装置などを含んでもよい。出力装置917は、解析サーバ20の処理により得られた結果を、テキストまたは画像などの映像として出力したり、音声または音響などの音として出力したりする。また、出力装置917は、周囲を明るくするためライトなどを含んでもよい。
ストレージ装置919は、解析サーバ20の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置919は、例えば、HDD(Hard Disk Drive)などの磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイスなどにより構成される。このストレージ装置919は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ921は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブル記録媒体927のためのリーダライタであり、解析サーバ20に内蔵、あるいは外付けされる。ドライブ921は、装着されているリムーバブル記録媒体927に記録されている情報を読み出して、RAM905に出力する。また、ドライブ921は、装着されているリムーバブル記録媒体927に記録を書き込む。
接続ポート923は、機器を解析サーバ20に直接接続するためのポートである。接続ポート923は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポートなどであり得る。また、接続ポート923は、RS−232Cポート、光オーディオ端子、HDMI(登録商標)(High−Definition Multimedia Interface)ポートなどであってもよい。接続ポート923に外部接続機器929を接続することで、解析サーバ20と外部接続機器929との間で各種のデータが交換され得る。
通信装置925は、例えば、ネットワーク931に接続するための通信デバイスなどで構成された通信インターフェースである。通信装置925は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カードなどであり得る。また、通信装置925は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデムなどであってもよい。通信装置925は、例えば、インターネットや他の通信機器との間で、TCP/IPなどの所定のプロトコルを用いて信号などを送受信する。また、通信装置925に接続されるネットワーク931は、有線または無線によって接続されたネットワークであり、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信などである。
撮像装置933は、例えば、CCD(Charge Coupled Device)またはCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子、および撮像素子への被写体像の結像を制御するためのレンズなどの各種の部材を用いて実空間を撮像し、撮像画像を生成する装置である。撮像装置933は、静止画を撮像するものであってもよいし、また動画を撮像するものであってもよい。
センサ935は、例えば、測距センサ、加速度センサ、ジャイロセンサ、地磁気センサ、振動センサ、光センサ、音センサなどの各種のセンサである。センサ935は、例えば解析サーバ20の筐体の姿勢など、解析サーバ20自体の状態に関する情報や、解析サーバ20の周辺の明るさや騒音など、解析サーバ20の周辺環境に関する情報を取得する。また、センサ935は、GPS(Global Positioning System)信号を受信して装置の緯度、経度および高度を測定するGPSセンサを含んでもよい。
<4.むすび>
本開示の実施形態によれば、第1の生体領域が写る識別用の画像データと前記第1の生体領域の第1の部位情報とを取得する識別用データ取得部と、複数の部位情報それぞれに対応付けられた識別器から、前記第1の部位情報に対応する識別器を選択し、前記識別器と前記識別用の画像データとに基づいて識別処理を行う識別部と、を備える、情報処理装置が提供される。このように、部位ごとに用意された識別器が識別処理に利用されれば、生体領域が写る識別用の画像データに基づく識別処理の精度を向上させることが可能となる。
また、前記情報処理装置は、第2の生体領域が写る学習用の画像データと前記第2の生体領域の第2の部位情報とを取得する学習用データ取得部と、前記複数の部位情報それぞれに対応付けられた学習器から、前記第2の部位情報に対応する学習器を選択し、前記学習器と前記学習用の画像データとに基づいて、前記複数の部位情報それぞれに対応付けられたモデルデータのうち、前記第2の部位情報に対応するモデルデータを生成する学習部と、を備えてよい。このように、部位ごとに用意された学習器によってモデルが生成されれば、複数の部位に対応する1つのモデルが生成される場合と比較して、識別器に利用されるモデルの生成に必要なリソース(時間またはハードウェアリソース)を低減することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、LIS10、解析サーバ20、スキャナ30、ネットワーク71、ネットワーク72、スキャンデータ保持部40およびモデル保持部50を有する情報処理システムについて主に説明した。しかし、これらの一部を有する情報処理システムも提供され得る。例えば、LIS10、解析サーバ20およびスキャナ30の一部または全部を有する情報処理システムも提供され得る。このとき、情報処理システムは、装置全体(ハードウェアとソフトウェアとの組み合わせ)同士の組み合わせでなくてもよい。
例えば、LIS10、解析サーバ20およびスキャナ30のうち、第1の装置(ハードウェアとソフトウェアとの組み合わせ)と、第2の装置のソフトウェアとを有する情報処理システムも提供され得る。一例として、スキャナ30(ハードウェアとソフトウェアとの組み合わせ)と、解析サーバ20のソフトウェアとを有する情報処理システムも提供され得る。このように、本開示の実施形態によれば、LIS10、解析サーバ20およびスキャナ30から任意に選択された複数の構成を含んだ情報処理システムも提供され得る。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
第1の生体領域が写る識別用の画像データと前記第1の生体領域の第1の部位情報とを取得する識別用データ取得部と、
複数の部位情報それぞれに対応付けられた識別器から、前記第1の部位情報に対応する識別器を選択し、前記識別器と前記識別用の画像データとに基づいて識別処理を行う識別部と、
を備える、情報処理装置。
(2)
前記情報処理装置は、前記識別処理によって得られた識別結果を出力する出力部を備える、
前記(1)に記載の情報処理装置。
(3)
前記識別結果は、前記第1の生体領域に対応する診断結果および解析結果の少なくともいずれか一方を含む、
前記(2)に記載の情報処理装置。
(4)
前記診断結果は、前記第1の生体領域を身体に有する被験者が疾患を有するか否かに関する情報を含む、
前記(3)に記載の情報処理装置。
(5)
前記解析結果は、前記第1の生体領域における病変の有無、前記第1の生体領域に病変が含まれている確率、前記病変の位置および前記病変の種類の少なくともいずれか一つを含む、
前記(3)または(4)に記載の情報処理装置。
(6)
前記出力部は、前記識別器によって利用されるモデルデータの生成に利用された学習器に関する情報を出力する、
前記(2)〜(5)のいずれか一項に記載の情報処理装置。
(7)
前記識別用データ取得部は、第1の染色情報を取得し、
前記識別部は、部位情報と染色情報との複数の組み合わせそれぞれに対応付けられた識別器から、前記第1の部位情報および第1の染色情報に対応する識別器を選択し、前記識別器と前記識別用の画像データとに基づいて前記識別処理を行う、
前記(2)〜(5)のいずれか一項に記載の情報処理装置。
(8)
前記識別用データ取得部は、読み取り装置から前記識別用の画像データを含んだスキャンデータが取得された場合、前記スキャンデータに基づいて前記識別用の画像データを取得する、
前記(1)〜(7)のいずれか一項に記載の情報処理装置。
(9)
前記読み取り装置から前記第1の部位情報を含んだ前記スキャンデータが取得された場合、前記スキャンデータに基づいて前記第1の部位情報が認識される、
前記(8)に記載の情報処理装置。
(10)
前記読み取り装置から第1の標本情報を含んだ前記スキャンデータが取得された場合、前記スキャンデータから前記第1の標本情報が認識され、前記第1の標本情報に対応する前記第1の部位情報が他の情報処理装置から取得される、
前記(8)に記載の情報処理装置。
(11)
前記識別器は、ニューラルネットワーク、ランダムフォレスト、サポートベクタマシンまたはアダブーストによって実現される、
前記(1)〜(10)のいずれか一項に記載の情報処理装置。
(12)
前記第1の部位情報は、前記第1の生体領域を臨床上意味のある所定の単位に分類した情報である、
前記(1)〜(11)のいずれか一項に記載の情報処理装置。
(13)
前記単位は、器官系、器官、組織および疾病コードのいずれかである、
前記(12)に記載の情報処理装置。
(14)
前記情報処理装置は、
第2の生体領域が写る学習用の画像データと前記第2の生体領域の第2の部位情報とを取得する学習用データ取得部と、
前記複数の部位情報それぞれに対応付けられた学習器から、前記第2の部位情報に対応する学習器を選択し、前記学習器と前記学習用の画像データとに基づいて、前記複数の部位情報それぞれに対応付けられたモデルデータのうち、前記第2の部位情報に対応するモデルデータを生成する学習部と、
を備える、前記(1)〜(13)のいずれか一項に記載の情報処理装置。
(15)
前記学習用データ取得部は、前記学習用の画像データに対応する正解データを取得し、
前記学習部は、前記学習器と前記学習用の画像データと前記正解データとに基づいて、前記モデルデータを生成する、
前記(14)に記載の情報処理装置。
(16)
前記学習用データ取得部は、第2の染色情報を取得し、
前記学習部は、前記第2の部位情報および第2の染色情報に対応する学習器を選択し、前記学習器と前記学習用の画像データとに基づいて前記モデルデータを生成する、
前記(14)または(15)に記載の情報処理装置。
(17)
前記学習部は、前記第2の部位情報に対応するモデルデータが既に存在する場合、前記モデルデータの精度に基づいて、前記モデルデータを新たに生成するか否かを判定する、
前記(14)〜(16)のいずれか一項に記載の情報処理装置。
(18)
プロセッサが、第1の生体領域が写る識別用の画像データと前記第1の生体領域の第1の部位情報とを取得することと、
前記プロセッサが、複数の部位情報それぞれに対応付けられた識別器から、前記第1の部位情報に対応する識別器を選択し、前記識別器と前記識別用の画像データとに基づいて識別処理を行うことと、
を含む、情報処理方法。
(19)
第1の生体領域を撮像する撮像部と、
前記撮像部により撮像された前記第1の生体領域の画像データと前記第1の生体領域の第1の部位情報とを取得する識別用データ取得部と、
複数の部位情報それぞれに対応付けられた識別器から、前記第1の部位情報に対応する識別器を選択し、前記識別器と前記画像データとに基づいて識別処理を行う識別部と、
を備える、情報処理装置を有する、
情報処理システム。
(20)
医用画像撮像装置と、前記医用画像撮像装置により撮像される対象物に対応する画像データの処理に使われるソフトウェアとを含んで構成される情報処理システムであって、
前記ソフトウェアは、
第1の生体領域に対応する第1の画像データと、前記第1の生体領域の第1の部位情報に対応する識別器とに基づいた識別処理を情報処理装置に実行させる、
情報処理システム。
(21)
第2の生体領域が写る学習用の画像データと前記第2の生体領域の第2の部位情報とを取得する学習用データ取得部と、
複数の部位情報それぞれに対応付けられた学習器から、前記第2の部位情報に対応する学習器を選択し、前記学習器と前記学習用の画像データとに基づいて、前記複数の部位情報それぞれに対応付けられたモデルデータのうち、前記第2の部位情報に対応するモデルデータを生成する学習部と、
を備える、情報処理装置。
(22)
前記学習用データ取得部は、前記学習用の画像データに対応する正解データを取得し、
前記学習部は、前記学習器と前記学習用の画像データと前記正解データとに基づいて、前記モデルデータを生成する、
前記(21)に記載の情報処理装置。
(23)
前記学習用データ取得部は、第2の染色情報を取得し、
前記学習部は、前記第2の部位情報および第2の染色情報に対応する学習器を選択し、前記学習器と前記学習用の画像データとに基づいて前記モデルデータを生成する、
前記(21)または(22)に記載の情報処理装置。
(24)
前記学習部は、前記第2の部位情報に対応するモデルデータが既に存在する場合、前記モデルデータの精度に基づいて、前記モデルデータを新たに生成するか否かを判定する、
前記(21)〜(23)のいずれか一項に記載の情報処理装置。
1A、1B 情報処理システム
10 LIS
111 部位情報入力部
112 標本番号割り当て部
113 登録要求送信部
121 識別対象入力部
122 識別要求生成部
123 識別要求送信部
131 識別結果受信部
132 表示制御部
140 記憶部
141 部位別データ保持部
20 解析サーバ
211 登録要求受信部
212 スキャンデータ受信部
213 スキャンデータ登録処理部
220 記憶部
221 部位別データ保持部
231 学習用データ取得部
232 学習部
241 識別要求受信部
242 識別用データ取得部
243 識別部
244 出力部
245 識別結果送信部
30 スキャナ
40 スキャンデータ保持部
441 スライド
442 標本
443 ラベル
50 モデル保持部
71 ネットワーク
72 ネットワーク

Claims (20)

  1. 第1の生体領域が写る識別用の画像データと前記第1の生体領域の第1の部位情報とを取得する識別用データ取得部と、
    複数の部位情報それぞれに対応付けられた識別器から、前記第1の部位情報に対応する識別器を選択し、前記識別器と前記識別用の画像データとに基づいて識別処理を行う識別部と、
    を備える、情報処理装置。
  2. 前記情報処理装置は、前記識別処理によって得られた識別結果を出力する出力部を備える、
    請求項1に記載の情報処理装置。
  3. 前記識別結果は、前記第1の生体領域に対応する診断結果および解析結果の少なくともいずれか一方を含む、
    請求項2に記載の情報処理装置。
  4. 前記診断結果は、前記第1の生体領域を身体に有する被験者が疾患を有するか否かに関する情報を含む、
    請求項3に記載の情報処理装置。
  5. 前記解析結果は、前記第1の生体領域における病変の有無、前記第1の生体領域に病変が含まれている確率、前記病変の位置および前記病変の種類の少なくともいずれか一つを含む、
    請求項3に記載の情報処理装置。
  6. 前記出力部は、前記識別器によって利用されるモデルデータの生成に利用された学習器に関する情報を出力する、
    請求項2に記載の情報処理装置。
  7. 前記識別用データ取得部は、第1の染色情報を取得し、
    前記識別部は、部位情報と染色情報との複数の組み合わせそれぞれに対応付けられた識別器から、前記第1の部位情報および第1の染色情報に対応する識別器を選択し、前記識別器と前記識別用の画像データとに基づいて前記識別処理を行う、
    請求項2に記載の情報処理装置。
  8. 前記識別用データ取得部は、読み取り装置から前記識別用の画像データを含んだスキャンデータが取得された場合、前記スキャンデータに基づいて前記識別用の画像データを取得する、
    請求項1に記載の情報処理装置。
  9. 前記読み取り装置から前記第1の部位情報を含んだ前記スキャンデータが取得された場合、前記スキャンデータに基づいて前記第1の部位情報が認識される、
    請求項8に記載の情報処理装置。
  10. 前記読み取り装置から第1の標本情報を含んだ前記スキャンデータが取得された場合、前記スキャンデータから前記第1の標本情報が認識され、前記第1の標本情報に対応する前記第1の部位情報が他の情報処理装置から取得される、
    請求項8に記載の情報処理装置。
  11. 前記識別器は、ニューラルネットワーク、ランダムフォレスト、サポートベクタマシンまたはアダブーストによって実現される、
    請求項1に記載の情報処理装置。
  12. 前記第1の部位情報は、前記第1の生体領域を臨床上意味のある所定の単位に分類した情報である、
    請求項1に記載の情報処理装置。
  13. 前記単位は、器官系、器官、組織および疾病コードのいずれかである、
    請求項12に記載の情報処理装置。
  14. 前記情報処理装置は、
    第2の生体領域が写る学習用の画像データと前記第2の生体領域の第2の部位情報とを取得する学習用データ取得部と、
    前記複数の部位情報それぞれに対応付けられた学習器から、前記第2の部位情報に対応する学習器を選択し、前記学習器と前記学習用の画像データとに基づいて、前記複数の部位情報それぞれに対応付けられたモデルデータのうち、前記第2の部位情報に対応するモデルデータを生成する学習部と、
    を備える、請求項1に記載の情報処理装置。
  15. 前記学習用データ取得部は、前記学習用の画像データに対応する正解データを取得し、
    前記学習部は、前記学習器と前記学習用の画像データと前記正解データとに基づいて、前記モデルデータを生成する、
    請求項14に記載の情報処理装置。
  16. 前記学習用データ取得部は、第2の染色情報を取得し、
    前記学習部は、前記第2の部位情報および第2の染色情報に対応する学習器を選択し、前記学習器と前記学習用の画像データとに基づいて前記モデルデータを生成する、
    請求項14に記載の情報処理装置。
  17. 前記学習部は、前記第2の部位情報に対応するモデルデータが既に存在する場合、前記モデルデータの精度に基づいて、前記モデルデータを新たに生成するか否かを判定する、
    請求項14に記載の情報処理装置。
  18. プロセッサが、第1の生体領域が写る識別用の画像データと前記第1の生体領域の第1の部位情報とを取得することと、
    前記プロセッサが、複数の部位情報それぞれに対応付けられた識別器から、前記第1の部位情報に対応する識別器を選択し、前記識別器と前記識別用の画像データとに基づいて識別処理を行うことと、
    を含む、情報処理方法。
  19. 第1の生体領域を撮像する撮像部と、
    前記撮像部により撮像された前記第1の生体領域の画像データと前記第1の生体領域の第1の部位情報とを取得する識別用データ取得部と、
    複数の部位情報それぞれに対応付けられた識別器から、前記第1の部位情報に対応する識別器を選択し、前記識別器と前記画像データとに基づいて識別処理を行う識別部と、
    を備える、情報処理装置を有する、
    情報処理システム。
  20. 医用画像撮像装置と、前記医用画像撮像装置により撮像される対象物に対応する画像データの処理に使われるソフトウェアとを含んで構成される情報処理システムであって、
    前記ソフトウェアは、
    第1の生体領域に対応する第1の画像データと、前記第1の生体領域の第1の部位情報に対応する識別器とに基づいた識別処理を情報処理装置に実行させる、
    情報処理システム。

JP2019035744A 2019-02-28 2019-02-28 情報処理装置、情報処理方法および情報処理システム Pending JP2020139842A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019035744A JP2020139842A (ja) 2019-02-28 2019-02-28 情報処理装置、情報処理方法および情報処理システム
PCT/JP2020/006240 WO2020175238A1 (ja) 2019-02-28 2020-02-18 情報処理装置、情報処理方法および情報処理システム
CN202080015996.7A CN113454682A (zh) 2019-02-28 2020-02-18 信息处理装置、信息处理方法及信息处理系统
US17/432,165 US20220172840A1 (en) 2019-02-28 2020-02-18 Information processing device, information processing method, and information processing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019035744A JP2020139842A (ja) 2019-02-28 2019-02-28 情報処理装置、情報処理方法および情報処理システム

Publications (1)

Publication Number Publication Date
JP2020139842A true JP2020139842A (ja) 2020-09-03

Family

ID=72239899

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019035744A Pending JP2020139842A (ja) 2019-02-28 2019-02-28 情報処理装置、情報処理方法および情報処理システム

Country Status (4)

Country Link
US (1) US20220172840A1 (ja)
JP (1) JP2020139842A (ja)
CN (1) CN113454682A (ja)
WO (1) WO2020175238A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022169340A1 (ko) * 2021-02-08 2022-08-11 주식회사 딥바이오 삼차원 전립선 병리 이미지 생성방법 및 그 시스템
KR102643066B1 (ko) * 2022-12-09 2024-03-04 (주) 브이픽스메디칼 인공지능 기반 의사 컬러링을 활용한 진단 보조 정보 제공 방법, 장치 및 시스템

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3207499A4 (en) * 2014-10-17 2018-09-19 Cireca Theranostics, LLC Methods and systems for classifying biological samples, including optimization of analyses and use of correlation
JP6552613B2 (ja) * 2015-05-21 2019-07-31 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
US10540764B2 (en) * 2016-05-09 2020-01-21 Canon Medical Systems Corporation Medical image capturing apparatus and method
JP6984908B2 (ja) * 2017-03-03 2021-12-22 国立大学法人 筑波大学 対象追跡装置
JP6819445B2 (ja) * 2017-04-27 2021-01-27 日本電気株式会社 情報処理装置、制御方法、及びプログラム
US10776607B2 (en) * 2017-05-19 2020-09-15 Case Western Reserve University Predicting prostate cancer biochemical recurrence and metastasis with computer extracted features from tumor nuclei and benign regions
US11776690B2 (en) * 2017-10-08 2023-10-03 Cerner Innovation, Inc. Forecasting uterine activity
US10973486B2 (en) * 2018-01-08 2021-04-13 Progenics Pharmaceuticals, Inc. Systems and methods for rapid neural network-based image segmentation and radiopharmaceutical uptake determination
JP7137935B2 (ja) * 2018-02-27 2022-09-15 シスメックス株式会社 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022169340A1 (ko) * 2021-02-08 2022-08-11 주식회사 딥바이오 삼차원 전립선 병리 이미지 생성방법 및 그 시스템
KR102643066B1 (ko) * 2022-12-09 2024-03-04 (주) 브이픽스메디칼 인공지능 기반 의사 컬러링을 활용한 진단 보조 정보 제공 방법, 장치 및 시스템

Also Published As

Publication number Publication date
WO2020175238A1 (ja) 2020-09-03
CN113454682A (zh) 2021-09-28
US20220172840A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
JP7265003B2 (ja) ターゲット検出方法、モデル訓練方法、装置、機器及びコンピュータプログラム
CN110738263B (zh) 一种图像识别模型训练的方法、图像识别的方法及装置
CN110348543B (zh) 眼底图像识别方法、装置、计算机设备及存储介质
CN101111886B (zh) 发声内容识别装置与发声内容识别方法
JP7286208B2 (ja) 生体顔検出方法、生体顔検出装置、電子機器、及びコンピュータプログラム
US20210264210A1 (en) Learning data collection device, learning data collection system, and learning data collection method
CN109766879A (zh) 字符检测模型的生成、字符检测方法、装置、设备及介质
CN111368811B (zh) 活体检测方法、装置、设备及存储介质
CN112036331B (zh) 活体检测模型的训练方法、装置、设备及存储介质
CN104919396B (zh) 在头戴式显示器中利用身体握手
CN104205014A (zh) 信息处理设备、信息处理方法和程序
JP2010157119A (ja) 監視装置、監視方法、及び監視プログラム
US10846326B2 (en) System and method for controlling camera and program
US20220172840A1 (en) Information processing device, information processing method, and information processing system
CN101453693A (zh) 基于gis平台的多元信息融合与无线传输系统
CN112529128A (zh) 生物样本采集方法、装置、计算机设备及存储介质
CN110659542A (zh) 监控方法及装置
US20220132081A1 (en) Electronic device for providing visualized artificial intelligence service on basis of information about external object, and operating method for electronic device
CN112818733B (zh) 信息处理方法、装置、存储介质及终端
WO2024077971A1 (zh) 活体检测方法及装置
CN113842166B (zh) 基于超声影像设备的超声图像采集方法以及相关装置
CN113053494B (zh) 基于人工智能的pacs系统及其设计方法
WO2022041155A1 (zh) 一种应用程序的识别设备及电子设备
CN111982293B (zh) 体温测量方法、装置、电子设备及存储介质
US20210225381A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522