JP2023003557A - 情報処理システム、情報処理方法及びプログラム - Google Patents

情報処理システム、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2023003557A
JP2023003557A JP2021104699A JP2021104699A JP2023003557A JP 2023003557 A JP2023003557 A JP 2023003557A JP 2021104699 A JP2021104699 A JP 2021104699A JP 2021104699 A JP2021104699 A JP 2021104699A JP 2023003557 A JP2023003557 A JP 2023003557A
Authority
JP
Japan
Prior art keywords
data
information processing
contour
processing system
contour data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021104699A
Other languages
English (en)
Inventor
太一 金
Taichi KIN
季 斎藤
Minoru Saito
達哉 内田
Tatsuya Uchida
克哉 佐藤
Katsuya Sato
博史 小山
Hiroshi Oyama
延人 齊藤
Nobuhito Saito
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Original Assignee
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC filed Critical University of Tokyo NUC
Priority to JP2021104699A priority Critical patent/JP2023003557A/ja
Priority to PCT/JP2022/025117 priority patent/WO2022270584A1/ja
Publication of JP2023003557A publication Critical patent/JP2023003557A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Software Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Biophysics (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Generation (AREA)

Abstract

【課題】医用画像の匿名性を担保可能な情報処理システム等を提供すること。【解決手段】本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、制御部を備える。制御部は、次の各ステップを実行するように構成される。再構成ステップでは、被検体の、複数の第1の連続断層画像に基づいて、被検体の少なくとも一部を示す第1のボリュームデータを再構成する。第1のボリュームデータは、被検体の外観を表す第1の輪郭データと、被検体の体内を含む内部データとを有する。変換ステップでは、第1の輪郭データ以外の参照輪郭データに基づいて、第1のボリュームデータを第2のボリュームデータに変換する。第2のボリュームデータは、第1の輪郭データとは異なる第2の輪郭データと、被検体の体内を含む内部データとを有する。【選択図】図1

Description

本発明は、情報処理システム、情報処理方法及びプログラムに関する。
近年では、医用画像診断装置によって撮像された医用画像を、機械学習の教師データとして使用することが行われている(例えば特許文献1)。また、このような機械学習に基づいたプログラムを医師が使用することで、その医師の診断を支援することができる。
特開2019-180866号公報
しかしながら、例えば、医用画像がX線CTスキャナ等による連続断層画像である場合、これを再構成することで被検体の顔を認識可能なほどに再現することができる。このため、このようなデータを教師データとして使用することに個人情報保護の観点から懸念の声が挙がっている。
本発明では上記事情を鑑み、医用画像の匿名性を担保可能な情報処理システム等を提供することとした。
本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、制御部を備える。制御部は、次の各ステップを実行するように構成される。再構成ステップでは、被検体の、複数の第1の連続断層画像に基づいて、被検体の少なくとも一部を示す第1のボリュームデータを再構成する。第1のボリュームデータは、被検体の外観を表す第1の輪郭データと、被検体の体内を含む内部データとを有する。変換ステップでは、第1の輪郭データ以外の参照輪郭データに基づいて、第1のボリュームデータを第2のボリュームデータに変換する。第2のボリュームデータは、第1の輪郭データとは異なる第2の輪郭データと、被検体の体内を含む内部データとを有する。
このような態様によれば、医用画像の匿名性を担保することができる。
本実施形態に係る情報処理システム1を表す構成図である。 本実施形態に係る情報処理装置2のハードウェア構成を示すブロック図である。 本実施形態に係る情報処理装置2における制御部23等によって実現される機能を示すブロック図である。 第1の実施形態に係る情報処理装置2によって実行される情報処理の流れを示すアクティビティ図である。 第1の連続断層画像IM1(連続断層画像IM)の一例を示す概要図である。 第1の連続断層画像IM1の1つである第1の画像4を示す模式図である。 被検体の顔を認識可能な第1のボリュームデータV1の一例を示す模式図である。 架空の人物の顔を形成する参照ボリュームデータV0の一例を示す模式図である。 ボリュームデータVに対するランドマークLMの設定を示す模式図である。 変換生成された第2のボリュームデータV2の一例を示す模式図である。 第2のボリュームデータV2から生成された第2の連続断層画像IM2のうちの1つである第2の画像8を示す模式図である。 内部データ6を変形させることによる補正を示す模式図である。
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
ところで、本実施形態に登場するソフトウェアを実現するためのプログラムは、コンピュータが読み取り可能な非一時的な記録媒体(Non-Transitory Computer-Readable Medium)として提供されてもよいし、外部のサーバからダウンロード可能に提供されてもよいし、外部のコンピュータで当該プログラムを起動させてクライアント端末でその機能を実現(いわゆるクラウドコンピューティング)するように提供されてもよい。
また、本実施形態において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、例えば電圧・電流を表す信号値の物理的な値、0又は1で構成される2進数のビット集合体としての信号値の高低、又は量子的な重ね合わせ(いわゆる量子ビット)によって表され、広義の回路上で通信・演算が実行されうる。
また、広義の回路とは、回路(Circuit)、回路類(Circuitry)、プロセッサ(Processor)、及びメモリ(Memory)等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等を含むものである。
[実施形態]
1.ハードウェア構成
本節では、本実施形態のハードウェア構成について説明する。
1.1 情報処理システム1
図1は、本実施形態に係る情報処理システム1を表す構成図である。情報処理システム1は、少なくとも1つの情報処理装置2を備え、これらがネットワーク11を通じて接続されている。ここでは、情報処理装置2は、複数の情報処理装置2として描写されている。情報処理装置2は、ブロックチェーンBC等を用いて種々の情報を分散管理可能に構成されている。また、情報処理システム1に例示されるシステムとは、1つ又はそれ以上の装置又は構成要素からなるものである。したがって、情報処理装置2単体であってもシステムの一例となる。
1.2 情報処理装置2
図2は、本実施形態に係る情報処理装置2のハードウェア構成を示すブロック図である。情報処理装置2は、通信部21と、記憶部22と、制御部23と、表示部24と、入力部25とを有し、これらの構成要素が情報処理装置2の内部において通信バス20を介して電気的に接続されている。各構成要素についてさらに説明する。
通信部21は、USB、IEEE1394、Thunderbolt(登録商標)、有線LANネットワーク通信等といった有線型の通信手段が好ましいものの、無線LANネットワーク通信、3G/LTE/5G等のモバイル通信、Bluetooth(登録商標)通信等を必要に応じて含めてもよい。すなわち、これら複数の通信手段の集合として実施することがより好ましい。
本実施形態では、情報処理装置2は、通信部21を介して、ネットワーク11経由で他の情報処理装置2を含む外部装置と、ブロックチェーンBCに関するトランザクション情報を通信するように構成される。ブロックチェーンBCについては、次の記憶部22の説明において後述する。
記憶部22は、前述の記載により定義される様々な情報を記憶する。これは、例えば、制御部23によって実行される情報処理装置2に係る種々のプログラム等を記憶するソリッドステートドライブ(Solid State Drive:SSD)等のストレージデバイスとして、あるいは、プログラムの演算に係る一時的に必要な情報(引数、配列等)を記憶するランダムアクセスメモリ(Random Access Memory:RAM)等のメモリとして実施されうる。また、これらの組合せであってもよい。
特に本実施形態では、記憶部22は、コンピュータに、情報処理システム1における各ステップを実行させるプログラムを記憶している。すなわち、このようなプログラムが情報処理装置2にインストールされていることによって、情報処理装置2は、後述の各機能部を有し、各ステップを実行するように構成されることなる。
また、記憶部22は、トークン化した情報を、分散型台帳の一例であるブロックチェーンBCに記憶するように構成される。分散型台帳は、電子的な台帳である。分散型台帳は、複数の情報処理装置2による複数のノードによって共有される。
ブロックチェーンBCでは、データを、数珠繋ぎにされた複数のブロックとして記録し、各ノードがこれらのブロックを共有するように実装される。各情報処理装置2は、分散型台帳のノードとして機能する。分散型台帳には、初期値として、最初のブロックである起源ブロックが登録されているものとする。新たに生成されたブロックは、起源ブロックに繋がれる。ブロックには、トランザクション情報が含まれる。本実施形態のトランザクション情報は、後述の第2の連続断層画像IM2を含んでいる。
制御部23は、情報処理装置2に関連する全体動作の処理・制御を行う。制御部23は、例えば不図示の中央処理装置(Central Processing Unit:CPU)である。制御部23は、記憶部22に記憶された所定のプログラムを読み出すことによって、情報処理装置2に係る種々の機能を実現する。すなわち、記憶部22に記憶されているソフトウェアによる情報処理が、ハードウェアの一例である制御部23によって具体的に実現される構成となっている。すなわち、情報処理システム1は、制御部23を備え、この制御部23は、後述の各機能部を備える。
表示部24は、例えば、情報処理装置2の筐体に含まれるものであってもよいし、外付けされるものであってもよい。表示部24は、ユーザが操作可能なグラフィカルユーザインターフェース(Graphical User Interface:GUI)の画面を表示する。これは例えば、CRTディスプレイ、液晶ディスプレイ、有機ELディスプレイ及びプラズマディスプレイ等の表示デバイスを、情報処理装置2の種類に応じて使い分けて実施することが好ましい。
入力部25は、情報処理装置2の筐体に含まれるものであってもよいし、外付けされるものであってもよい。例えば、入力部25は、表示部24と一体となってタッチパネルとして実施されてもよい。タッチパネルであれば、ユーザは、タップ操作、スワイプ操作等を入力することができる。もちろん、タッチパネルに代えて、スイッチボタン、マウス、QWERTYキーボード等を採用してもよい。すなわち、入力部25がユーザによってなされた操作入力を受け付ける。当該入力が命令信号として、通信バス20を介して制御部23に転送され、制御部23が必要に応じて所定の制御や演算を実行しうる。
2.機能構成
本節では、本実施形態の機能構成について説明する。前述の通り、記憶部22に記憶されているソフトウェアによる情報処理がハードウェアの一例である制御部23によって具体的に実現されることで、制御部23に含まれる各機能部として実行されうる。
図3は、本実施形態に係る情報処理装置2における制御部23等によって実現される機能を示すブロック図である。具体的には、情報処理システム1の一例である情報処理装置2は、受付部231、読出部232、再構成部233、位置合わせ部234、設定部235、変換部236、画像化部237、補正部238及び送信部239を備える。
受付部231は、ネットワーク11を介して又は不図示の記録メディア等を通じて、外部より種々の情報を受け付けるように構成される。例えば、受付部231は、病院12から不図示の記録メディアを通じて提供された被検体の第1の連続断層画像IM1を受け付けてもよい。受付部231が受け付けた第1の連続断層画像IM1は、情報処理装置2の記憶部22に記憶される。これについては後にさらに詳述する。
読出部232は、受付部231が受け付けた又は予め記憶部22に記憶された種々の情報を読み出すように構成される。例えば、読出部232は、記憶部22に記憶された第1の連続断層画像IM1や参照情報の一例である参照ボリュームデータV0又は参照輪郭データ50等を読み出してもよい。これについては後にさらに詳述する。
再構成部233は、連続断層画像IMを再構成してボリュームデータVを再構成するように構成される。例えば、再構成部233は、記憶部22に記憶された第1の連続断層画像IM1に基づいて、被検体の少なくとも一部を示す第1のボリュームデータV1を再構成してもよい。これについては後にさらに詳述する。
位置合わせ部234は、第1のボリュームデータV1と、架空の人物の外観を表す参照輪郭データ50を有する参照ボリュームデータV0との位置合わせ処理を実行するように構成される。これについては後にさらに詳述する。
設定部235は、互いに位置合わせされた、第1のボリュームデータV1と参照輪郭データ50とに対して、ランドマークLMを設定するように構成される。これについては後にさらに詳述する。
変換部236は、変換ステップとして、参照輪郭データ50に基づいて、第1のボリュームデータV1を第2のボリュームデータV2に変換するように構成される。これについては後にさらに詳述する。
画像化部237は、ボリュームデータVから所定のスライス厚をもって、複数の連続断層画像IMを生成するように構成される。例えば、画像化部237は、第2のボリュームデータV2から複数の第2の連続断層画像IM2を生成してもよい。これについては後にさらに詳述する。
補正部238は、第2の輪郭データ52に合わせて中間データ7を伸縮させる補正を実行するように構成される。これについては後にさらに詳述する。
送信部239は、通信部21及びネットワーク11を介して、種々の情報を外部に送信するように構成される。例えば、送信部239は、第2の連続断層画像IM2の少なくとも一部を外部装置、例えば他の情報処理装置2に送信してもよい。これについては後にさらに詳述する。
3.情報処理方法
本節では、前述した情報処理システム1の情報処理方法について説明する。以下では、情報処理装置2を使用する被検体が病院12において医用画像診断を受診し、その結果である第1の連続断層画像IM1を教師データとして提供する場合を想定する。医用画像診断に用いられた装置は、例えば、X線CTスキャナ、磁気共鳴イメージング装置等が一例として該当する。例えば、X線CTスキャナであれば、X線検出器が不図示のX線管から照射されたX線を検出し、当該X線量に対応した検出データを電気信号として不図示のDASに出力する。そして、X線管とX線検出器とを対向させて支持する不図示の回転フレームを被検体の周りに回転させることで、複数ビュー、すなわち被検体の全周囲分の検出データを収集する。このようにして、連続断層画像IMが得られる。
さらに、連続断層画像IMを再構成して得られるボリュームデータVは、外観を表す輪郭データ5と、体内を含む内部データ6とを有する。さらに、ボリュームデータVは、輪郭データ5と内部データ6との間の領域を示す中間データ7を有する。さらに、連続断層画像IMのうちの1つを取り出した場合も同様に、それぞれ、連続断層画像IMの、輪郭データ5、内部データ6、中間データ7と称することとする。本実施形態では、医用画像診断において、医師は、連続断層画像IMにおける内部データ6を観察することで症例を同定する。
3.1 情報処理の概要
図4は、第1の実施形態に係る情報処理装置2によって実行される情報処理の流れを示すアクティビティ図である。先に、図4の各アクティビティに沿って、情報処理の流れを概説する。
はじめに、受付部231は、受付ステップとして、第1の連続断層画像IM1を受け付ける。具体的には、情報処理装置2のユーザである被検体は、病院12より提供された不図示の記録メディアに記録された第1の連続断層画像IM1を、自身の情報処理装置2に読み込ませることで、第1の連続断層画像IM1を記憶部22に記憶させる(アクティビティA101)。
続いて、再構成部233は、再構成ステップとして、被検体の、複数の第1の連続断層画像IM1に基づいて、被検体の少なくとも一部を示す第1のボリュームデータV1を再構成する。具体的には、制御部23が記憶部22に記憶された再構成機能を備えるプログラムを読み出すことで、かかる再構成ステップが実行される(アクティビティA102)。
続いて、読出部232は、予め記憶部22に記憶された参照情報の一例である参照ボリュームデータV0を読み出すことで、記憶部22の一時記憶領域にこれを書き出す(アクティビティA103)。このとき、読み出された参照ボリュームデータV0に含まれる参照輪郭データ50が複数の人物画像の平均値によって算出されてなる場合、アクティビティA104及びA105に処理を進める。一方、参照輪郭データ50が例えばGAN等の学習済みモデルに基づいて生成されたものである場合、アクティビティA104及びA105に記載される処理を省略することができる。以下、アクティビティA104及びA105の説明を行う。
位置合わせ部234は、位置合わせステップとして、第1のボリュームデータV1と、参照輪郭データ50を有する参照ボリュームデータV0との位置合わせ処理を実行する。具体的には、制御部23が記憶部22に記憶された位置合わせ機能を備えるプログラムを読み出すことで、イテレーション計算(アクティビティA104の繰り返し)が実行され、評価関数が極値を得る参照ボリュームデータV0及び第1のボリュームデータV1の位置関係が自動的に算出されるとよい。
続いて、設定部235は、設定ステップとして、互いに位置合わせされた、第1のボリュームデータV1と参照ボリュームデータV0とに対して、ランドマークLMを設定する。ランドマークLMは、特徴箇所となりうる追跡点であり、これについてはさらに後述する。具体的には、制御部23が記憶部22に記憶されたランドマーク設定機能を備えるプログラムを読み出すことで、かかる設定ステップが実行される(アクティビティA105)。
続いて、変換部236は、変換ステップとして、ランドマークLMに基づいて、第1のボリュームデータV1を、第2の輪郭データ52を有する第2のボリュームデータV2に変換する。ここでは、内部データ6は変換前後で変形はせず、輪郭データだけが第1の輪郭データ51から第2の輪郭データ52に変形する。具体的には、制御部23が記憶部22に記憶された変換機能を備えるプログラムを読み出すことで、かかる変換ステップが実行される(アクティビティA106)。
続いて、画像化部237は、画像化ステップとして、第2のボリュームデータV2から複数の第2の連続断層画像IM2を生成する。具体的には、制御部23が記憶部22に記憶された画像化機能を備えるプログラムを読み出すことで、かかる画像化ステップが実行される(アクティビティA107)。
続いて、補正部238は、補正ステップとして、第2の輪郭データ52に合わせて中間データ7を伸縮させる補正を実行することで、第2の連続断層画像IM2を補正する。具体的には、制御部23が記憶部22に記憶された補正機能を備えるプログラムを読み出すことで、かかる補正ステップが実行される(アクティビティA108)。
最後に、送信部239は、送信ステップとして、第2の連続断層画像IM2の少なくとも一部を外部装置に送信する。かかる送信は、情報処理装置2を操作する被検体の入力部25に対する入力によって決定されるとよい。より具体的には、アクティビティA108で補正された第2の連続断層画像IM2を、ブロックチェーンBCのブロックに記録し、ネットワーク11を介して複数の情報処理装置2間で共有(ここでは分散台帳管理)される(アクティビティA109)。このような態様によれば、被検体の自由意志で、匿名性を担保しつつ自身の医用画像、ここでは第2の連続断層画像IM2を教師データとして提供することができる。
以上をまとめると、前述の情報処理方法は、次の各ステップを備える。再構成ステップでは、被検体の、複数の第1の連続断層画像IM1に基づいて、被検体の少なくとも一部を示す第1のボリュームデータV1を再構成する。第1のボリュームデータV1は、被検体の外観を表す第1の輪郭データ51と、被検体の体内を含む内部データ6とを有する。変換ステップでは、第1の輪郭データ51以外の参照輪郭データ50に基づいて、第1のボリュームデータV1を第2のボリュームデータV2に変換する。第2のボリュームデータV2は、第1の輪郭データ51とは異なる第2の輪郭データ52と、被検体の体内を含む内部データ6とを有する。
このような態様によれば、医用画像の匿名性を担保することができる。また、匿名性を担保するだけではなく、機械学習の精度を維持することが可能となる。教師データとして提供される第2の連続断層画像IM2は、あくまでも輪郭データ5のみを第1の輪郭データ51から第2の輪郭データ52に差し替えたものであるため、教師データとして重要な内部データ6を損ねることなく、機械学習の精度を維持することが可能となる。
3.2 情報処理の詳細
続いて、図4で概説された情報処理の詳細部分を説明する。
図5は、第1の連続断層画像IM1(連続断層画像IM)の一例を示す概要図である。図5に示されるように、連続断層画像IMは、複数の画像からなる。すなわち、第1の連続断層画像IM1は、複数の第1の画像4からなる。ここでは、第1の画像4a,4b,4c,4d,4e,4f,4gが図示され、それぞれが所定のスライス厚ごとに撮像された画像である。スライス厚は特に限定されず、例えば、0.1~20mmであり、好ましくは、0.4~10mmであり、さらに好ましくは、1~5mmであり、具体的には例えば、0.1,0.15,0.2,0.25,0.3,0.35,0.4,0.45,0.5,0.55,0.6,0.65,0.7,0.75,0.8,0.85,0.9,0.95,1,1.5,2,2.5,3,3.5,4,4.5,5,5.5,6,6.5,7,7.5,8,8.5,9,9.5,10,10.5,11,11.5,12,12.5,13,13.5,14,14.5,15,15.5,16,16.5,17,17.5,18,18.5,19,19.5,20mmであり、ここで例示した数値の何れか2つの間の範囲内であってもよい。特に、スライス厚の値が小さい場合は、再構成されるボリュームデータVからの顔の特定精度が高くなり、個人情報に該当するおそれが高まることとなる。
図6は、第1の連続断層画像IM1の1つである第1の画像4を示す模式図である。図6に示されるように、第1の画像4は、体表41と、中間的組織42と、骨43と、骨43より内側の領域44とを含んでいる。体表41は、第1の連続断層画像IM1を第1のボリュームデータV1に再構成した場合の外観を決める要素であり、体表41が第1の輪郭データ51を構成する。なお、病理学的には、体表41は、表皮と真皮とを少なくとも含む。中間的組織42は、皮下組織、筋肉、脂肪及び血管のうちの少なくとも1つを含み、中間データ7を構成する。骨43及び骨43より内側の領域44は、症例を含みうる内部データ6を構成する。
換言すると、第1の輪郭データ51は、被検体の体表41を表すデータであり、内部データ6は、被検体の、骨43及び骨43よりも内側の領域44を表すデータである。また、中間データ7は、皮下組織、筋肉、脂肪及び血管のうちの少なくとも1つを含む中間的組織42を含む。本実施形態では、中間的組織42は、症例を同定する箇所として除外しているため、かかる領域を伸縮させてもよいこととなる。かかる伸縮については、図11を用いて後に詳述する。このようにして、人体としての整合性を担保した上で、匿名性を担保することもできる。
図7は、被検体の顔を認識可能な第1のボリュームデータV1の一例を示す模式図である。前述の通り、第1のボリュームデータV1は、第1の連続断層画像IM1を再構成することによって得られる。なお、第1の連続断層画像IM1を再構成した第1のボリュームデータV1は、被検体の外観を表す第1の輪郭データ51と、被検体の体内を含む内部データ6とを有している。第1のボリュームデータV1が第1の輪郭データ51を有することで、被検体の顔(外見)が認識可能であるため、第1のボリュームデータV1及びその元となる第1の連続断層画像IM1は、個人情報保護の対象となりうる。
図8は、架空の人物の顔を形成する参照ボリュームデータV0の一例を示す模式図である。図7及び図8に示されるように、参照ボリュームデータV0から認識される顔と、第1のボリュームデータV1から認識される顔とは異なっている。例えば、参照輪郭データ50は、被検体とは異なる人物の輪郭データによって算出される。このように、被検体とは異なる人物の輪郭データは、過去に撮像されているものを流用することができるため、容易に参照輪郭データ50を生成することができる。好ましくは、参照輪郭データ50は、複数の人物画像の平均値によって算出される。具体的には、過去に撮像された、複数の被検体の医用画像から再構成される顔の平均値として参照輪郭データ50が算出されればよい。このような態様によれば、平均演算という容易なアルゴリズムで、架空の人物の輪郭データ5である参照輪郭データ50を生成することができる。
ここで好ましくは、参照輪郭データ50は、年齢、性別及び人種の少なくとも1つごとに決定されるとよい。年齢、性別及び人種によって、顔の特徴が大きく異なるため、これらの条件を加味して、複数の平均値となる顔、すなわち参照輪郭データ50を予め生成しておくとよい。このような態様によれば、被検体の属性、特に年齢、性別及び人種が近い又は同一の参照輪郭データ50を選択することができ、より自然に第2のボリュームデータV2及び第2の連続断層画像IM2を生成することに寄与する。
さらに好ましくは、参照輪郭データ50を、直接的に第2の輪郭データ52とするとよい。かかる場合、参照輪郭データ50を含む参照ボリュームデータV0そのものが、第1のボリュームデータV1を変形させたデータであるとよい。より具体的には、第2の輪郭データ52は、予め設定された参照情報、例えばGANによる学習済みモデルに基づいて、第1の輪郭データ51の少なくとも一部を変形して得られるとよい。GANは、生成モデルの一種であり、正解データなく、種々のデータから特徴を学習することで、実在しないデータを生成したり、存在するデータの特徴に沿って変換をすることができる。このように、参照輪郭データ50が元々第1の輪郭データ51を変形させて得られるものであれば、前述した位置合わせ部234及び設定部235による処理を減ることなく、より容易に第2の輪郭データ52を含む第2のボリュームデータV2に変換することができる。
図9は、ボリュームデータVに対するランドマークLMの設定を示す模式図である。図9に示される例では、ランドマークLMは、参照ボリュームデータV0(図9A)及び第1のボリュームデータV1(図9B)の、目の中心、口の中心、眉間、鼻の頂点及び耳の頂点にそれぞれ設定されている。例えば、受付部231が被検体の入力部25を用いた入力を受け付け、設定部235が当該入力に基づいて、ランドマークLMを設定するように実施してもよい。或いは、制御部23が記憶部22に記憶された自動検出機能を備えるプログラムを読み出すことで、目の中心、口の中心、眉間、鼻の頂点及び耳の頂点のうちの少なくとも1つを自動検出するように実施してもよい。さらに、これらを組み合わせて、ランドマークLMを設定する推奨箇所の自動検出後に、被検体の入力による手動調整を可能に実施してもよい。
図10は、変換生成された第2のボリュームデータV2の一例を示す模式図である。図7~図10に示されるように、第2のボリュームデータV2に形成される人物の顔は、参照ボリュームデータV0に形成される架空の人物の顔とも、第1のボリュームデータV1に形成される被検体の顔とも異なっている。より具体的には、参照ボリュームデータV0に含まれる参照輪郭データ50と、第1のボリュームデータV1に含まれる第1の輪郭データ51とにランドマークLMをそれぞれ設定した後に、これらをガイドとして参照ボリュームデータV0を変形させることで、第2の輪郭データ52を有する第2のボリュームデータV2が得られる。好ましくは、薄型スプライン法を用いて、第2のボリュームデータV2が得られるように参照ボリュームデータV0を変形することができる。なお、前述の通り、内部データ6は変換前後で変形はせず、輪郭データだけが第1の輪郭データ51から第2の輪郭データ52に変形する。
換言すると、変換部236は、変換ステップとして、ランドマークLMに基づいて、第1のボリュームデータV1を、第2の輪郭データ52を有する第2のボリュームデータV2に変換している。このようにランドマークLMを設定してから変換することで、より自然に被検体の外観だけを変化させることができ、さらに人体としての整合性を担保した上で、匿名性を担保することができる。換言すると、第2のボリュームデータV2における内部データ6は、第1のボリュームデータV1における被検体の中間データ7と同一であり、さらに換言すると、第2のボリュームデータV2は、第1の輪郭データ51とは異なる第2の輪郭データ52と、被検体の体内を含む内部データ6とを有している。
図11は、第2のボリュームデータV2から生成された第2の連続断層画像IM2のうちの1つである第2の画像8を示す模式図である。より詳細には、左から順に、第2の輪郭データ52(図11A)と、第1の画像4(図11B)と、第2の輪郭データ52と第1の画像4とを組合せた第2の画像8(図11C)とが示されている。画像化部237によって生成された第2の画像8は、外観としては、第2の輪郭データ52を有するものであり、再構成することで、図10に示される第2のボリュームデータV2を得ることができる。しかし、図11Cに示されるように、輪郭データ5だけを差し替えている状態では、空白領域R1又ははみ出し領域R2がデータ内に含まれていることとなる。
そこで好ましくは、補正部238は、補正ステップとして、第2の輪郭データ52に合わせて中間データ7を伸縮させる補正を実行することができる。図12は、内部データ6を変形させることによる補正を示す模式図である。補正前(図12A)では、第1の輪郭データ51と、第2の輪郭データ52との間に空白領域R1が存在している。そこで、中間データ7である皮下71及び筋肉72を画像処理で引き伸ばして皮下71’及び筋肉72’とすることで、換言すると、第1の輪郭データ51を第2の輪郭データ52に沿わせるように第1の輪郭データ51’とすることで、第1の輪郭データ51と第2の輪郭データ52との間の空白領域R1がデータに含まれないようにしている。なお不図示ではあるが、はみ出し領域R2を取り除くには、同様に中間データ7である皮下71及び筋肉72を画像処理で縮めることが好ましい。このような態様によれば、輪郭データ5を差し替えたことで外見を変更するだけでなく、人体としての整合性を担保した上で、匿名性をも担保することができる。
[その他]
前述の実施形態に係る情報処理システム1に関して、以下のような態様を採用してもよい。
病院12によって提供される第1の連続断層画像IM1は、ネットワーク11を介して情報処理装置2に送信されるように実施してもよい。
本実施形態では、受付部231、読出部232、再構成部233、位置合わせ部234、設定部235、変換部236、画像化部237、補正部238及び送信部239を、情報処理装置2の制御部23によって実現される機能部として説明しているが、この少なくとも一部を、外部装置の一例である不図示のサーバによって実現される機能部として実施してもよい。すなわち、第1の連続断層画像IM1を匿名化するためのサービスが、ネットワーク11を介して提供されてもよい。
情報処理装置2に変えて、病院12が所有するサーバに直接的に第1の連続断層画像IM1が保存され、これに対して前述の処理を実行することによって、第2の連続断層画像IM2が生成されてもよい。かかる場合、被験体の撮像時に、第2の連続断層画像IM2を機械学習の教師データとして提供することの同意を予め得ておくことが好ましい。さらに、病院12から、第1の連続断層画像IM1を再構成した第1のボリュームデータV1が提供されてもよい。
本実施形態では、補正部238は、第2の連続断層画像IM2を補正する例を説明したが、画像化部237が第2のボリュームデータV2を画像化する前に、補正部238が第2のボリュームデータV2に対して補正を行うように実施してもよい。
参照ボリュームデータV0次第では、第1のボリュームデータV1と第2のボリュームデータV2が類似する可能性がある。このような事態を防止するために、制御部23が予め記憶部22に記憶された顔認識プログラムを読み出して、参照ボリュームデータV0及び第1のボリュームデータV1によって特定される人物の顔が同一人物として認識されるかを、都度確認するように実施してもよい。
参照輪郭データ50は、被検体とは異なる人物の輪郭データ以外であってもよい。例えば、架空の人物の輪郭データでもよいし、被検体の輪郭データを予め加工処理した輪郭データでもよい。
第2の連続断層画像IM2を、ブロックチェーンBCによる分散台帳管理に代えて、不図示のサーバにおいて一元的に管理されるように実施してもよい。また、第2の連続断層画像IM2に代えて、第2のボリュームデータV2を共有するように実施してもよい。
本実施形態を、頒布可能なプログラムとして実施してもよい。このプログラムは、コンピュータに、情報処理システム1における各ステップを実行させるものである。
さらに、次に記載の各態様で提供されてもよい。
前記情報処理システムにおいて、前記制御部は、画像化ステップをさらに実行するように構成され、前記画像化ステップでは、前記第2のボリュームデータから複数の第2の連続断層画像を生成する、もの。
前記情報処理システムにおいて、前記制御部は、次の各ステップをさらに実行するように構成され、受付ステップでは、前記第1の連続断層画像を受け付け、送信ステップでは、前記第2の連続断層画像の少なくとも一部を外部装置に送信する、もの。
前記情報処理システムにおいて、補正ステップをさらに実行するように構成され、前記ボリュームデータは、前記輪郭データと前記内部データとの間の領域を示す中間データを有し、前記補正ステップでは、前記第2の輪郭データに合わせて前記中間データを伸縮させる補正を実行する、もの。
前記情報処理システムにおいて、前記中間データは、皮下組織、筋肉、脂肪及び血管のうちの少なくとも1つを含む中間的組織を含む、もの。
前記情報処理システムにおいて、前記参照輪郭データは、前記被検体とは異なる人物の輪郭データと、架空の人物の輪郭データと、前記被検体の輪郭データを予め加工処理した輪郭データとのうちの少なくとも1つによって算出された、もの。
前記情報処理システムにおいて、前記参照輪郭データは、複数の前記人物の輪郭データの平均値によって算出された、もの。
前記情報処理システムにおいて、前記参照輪郭データは、年齢、性別及び人種の少なくとも1つごとに決定された、もの。
前記情報処理システムにおいて、前記制御部は、次の各ステップをさらに実行するように構成され、位置合わせステップでは、前記第1のボリュームデータと、前記参照輪郭データを有する参照ボリュームデータとの位置合わせ処理を実行し、設定ステップでは、互いに位置合わせされた、前記第1のボリュームデータと前記参照ボリュームデータとに対して、ランドマークを設定し、前記変換ステップでは、前記ランドマークに基づいて、前記第1のボリュームデータを、前記第2の輪郭データを有する第2のボリュームデータに変換する、もの。
前記情報処理システムにおいて、前記参照輪郭データは、前記第2の輪郭データであり、前記第2の輪郭データは、予め設定された参照情報に基づいて、前記第1の輪郭データの少なくとも一部を変形して得られる、もの。
前記情報処理システムにおいて、前記第1の輪郭データは、前記被検体の体表を表すデータで、前記内部データは、前記被検体の、骨及び前記骨よりも内側の領域を表すデータである、もの。
情報処理方法であって、前記情報処理システムにおける各ステップを備える、方法。
プログラムであって、コンピュータに、前記情報処理システムにおける各ステップを実行させる、もの。
もちろん、この限りではない。
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。当該新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。当該実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
1 :情報処理システム
11 :ネットワーク
12 :病院
2 :ユーザ端末
20 :通信バス
21 :通信部
22 :記憶部
23 :制御部
231 :受付部
232 :読出部
233 :再構成部
234 :位置合わせ部
235 :設定部
236 :変換部
237 :画像化部
238 :補正部
239 :送信部
24 :表示部
25 :入力部
4 :第1の画像
4a :第1の画像
4b :第1の画像
4c :第1の画像
4d :第1の画像
4e :第1の画像
4f :第1の画像
4g :第1の画像
41 :表皮
42 :皮下組織
43 :骨
44 :領域
5 :輪郭データ
50 :参照輪郭データ
51 :第1の輪郭データ
51’ :第1の輪郭データ
52 :第2の輪郭データ
6 :内部データ
7 :中間データ
71 :皮下
71’ :皮下
72 :筋肉
72’ :筋肉
8 :第2の画像
BC :ブロックチェーン
IM :連続断層画像
IM1 :第1の連続断層画像
IM2 :第2の連続断層画像
LM :ランドマーク
R1 :空白領域
R2 :はみ出し領域
V :ボリュームデータ
V0 :参照ボリュームデータ
V1 :第1のボリュームデータ
V2 :第2のボリュームデータ

Claims (13)

  1. 情報処理システムであって、
    制御部を備え、
    前記制御部は、次の各ステップを実行するように構成され、
    再構成ステップでは、被検体の、複数の第1の連続断層画像に基づいて、前記被検体の少なくとも一部を示す第1のボリュームデータを再構成し、ここで前記第1のボリュームデータは、前記被検体の外観を表す第1の輪郭データと、前記被検体の体内を含む内部データとを有し、
    変換ステップでは、前記第1の輪郭データ以外の参照輪郭データに基づいて、前記第1のボリュームデータを第2のボリュームデータに変換し、ここで前記第2のボリュームデータは、前記第1の輪郭データとは異なる第2の輪郭データと、前記被検体の体内を含む前記内部データとを有する、もの。
  2. 請求項1に記載の情報処理システムにおいて、
    前記制御部は、画像化ステップをさらに実行するように構成され、
    前記画像化ステップでは、前記第2のボリュームデータから複数の第2の連続断層画像を生成する、もの。
  3. 請求項2に記載の情報処理システムにおいて、
    前記制御部は、次の各ステップをさらに実行するように構成され、
    受付ステップでは、前記第1の連続断層画像を受け付け、
    送信ステップでは、前記第2の連続断層画像の少なくとも一部を外部装置に送信する、もの。
  4. 請求項1~請求項3の何れか1つに記載の情報処理システムにおいて、
    補正ステップをさらに実行するように構成され、
    前記ボリュームデータは、前記輪郭データと前記内部データとの間の領域を示す中間データを有し、
    前記補正ステップでは、前記第2の輪郭データに合わせて前記中間データを伸縮させる補正を実行する、もの。
  5. 請求項4に記載の情報処理システムにおいて、
    前記中間データは、皮下組織、筋肉、脂肪及び血管のうちの少なくとも1つを含む中間的組織を含む、もの。
  6. 請求項1~請求項5の何れか1つに記載の情報処理システムにおいて、
    前記参照輪郭データは、前記被検体とは異なる人物の輪郭データと、架空の人物の輪郭データと、前記被検体の輪郭データを予め加工処理した輪郭データとのうちの少なくとも1つによって算出された、もの。
  7. 請求項6に記載の情報処理システムにおいて、
    前記参照輪郭データは、複数の前記人物の輪郭データの平均値によって算出された、もの。
  8. 請求項1~請求項7の何れか1つに記載の情報処理システムにおいて、
    前記参照輪郭データは、年齢、性別及び人種の少なくとも1つごとに決定された、もの。
  9. 請求項1~請求項8の何れか1つに記載の情報処理システムにおいて、
    前記制御部は、次の各ステップをさらに実行するように構成され、
    位置合わせステップでは、前記第1のボリュームデータと、前記参照輪郭データを有する参照ボリュームデータとの位置合わせ処理を実行し、
    設定ステップでは、互いに位置合わせされた、前記第1のボリュームデータと前記参照ボリュームデータとに対して、ランドマークを設定し、
    前記変換ステップでは、前記ランドマークに基づいて、前記第1のボリュームデータを、前記第2の輪郭データを有する第2のボリュームデータに変換する、もの。
  10. 請求項1~請求項9の何れか1つに記載の情報処理システムにおいて、
    前記参照輪郭データは、前記第2の輪郭データであり、
    前記第2の輪郭データは、予め設定された参照情報に基づいて、前記第1の輪郭データの少なくとも一部を変形して得られる、もの。
  11. 請求項1~請求項10の何れか1つに記載の情報処理システムにおいて、
    前記第1の輪郭データは、前記被検体の体表を表すデータで、
    前記内部データは、前記被検体の、骨及び前記骨よりも内側の領域を表すデータである、もの。
  12. 情報処理方法であって、
    請求項1~請求項11の何れか1つに記載の情報処理システムにおける各ステップを備える、方法。
  13. プログラムであって、
    コンピュータに、請求項1~請求項11の何れか1つに記載の情報処理システムにおける各ステップを実行させる、もの。
JP2021104699A 2021-06-24 2021-06-24 情報処理システム、情報処理方法及びプログラム Pending JP2023003557A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021104699A JP2023003557A (ja) 2021-06-24 2021-06-24 情報処理システム、情報処理方法及びプログラム
PCT/JP2022/025117 WO2022270584A1 (ja) 2021-06-24 2022-06-23 情報処理システム、情報処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021104699A JP2023003557A (ja) 2021-06-24 2021-06-24 情報処理システム、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2023003557A true JP2023003557A (ja) 2023-01-17

Family

ID=84544433

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021104699A Pending JP2023003557A (ja) 2021-06-24 2021-06-24 情報処理システム、情報処理方法及びプログラム

Country Status (2)

Country Link
JP (1) JP2023003557A (ja)
WO (1) WO2022270584A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019002521A1 (en) * 2017-06-29 2019-01-03 Koninklijke Philips N.V. MASKING FACIAL CHARACTERISTICS OF A SUBJECT IN AN IMAGE
JP6936474B2 (ja) * 2017-07-28 2021-09-15 プラスマン合同会社 情報処理装置、システムおよび情報処理方法
JP7082993B2 (ja) * 2018-01-24 2022-06-09 富士フイルム株式会社 医療画像処理装置、方法及びプログラム、診断支援装置、方法及びプログラム並びに医療支援システム及び方法
JP2020091770A (ja) * 2018-12-07 2020-06-11 コニカミノルタ株式会社 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記録媒体
JP2021051471A (ja) * 2019-09-24 2021-04-01 キヤノンメディカルシステムズ株式会社 匿名化装置、匿名化システム

Also Published As

Publication number Publication date
WO2022270584A1 (ja) 2022-12-29

Similar Documents

Publication Publication Date Title
US20210209762A1 (en) Processing fundus images using machine learning models
CN111374675B (zh) 用于在医学成像会话中检测患者状态的系统和方法
US20180190379A1 (en) Method and apparatus for setting imaging environment by using signals transmitted by plurality of clients
US20200375467A1 (en) Telemedicine application of video analysis and motion augmentation
CN110811663B (zh) 一种多区域扫描的方法、装置、设备及存储介质
EP3850638B1 (en) Processing fundus camera images using machine learning models trained using other modalities
US20220172366A1 (en) Medical support device, operation method of medical support device, non-transitory computer readable medium, and medical support system
CN110811623A (zh) 医学图像扫描计划方法、装置、设备及存储介质
KR102542016B1 (ko) 의료 영상의 가명화 방법 및 장치
WO2022270584A1 (ja) 情報処理システム、情報処理方法及びプログラム
KR20130082655A (ko) 휴대단말용 진단의료영상 디스플레이 시스템 및 방법
JP7349870B2 (ja) 医用画像処理装置、断層撮影装置、医用画像処理方法及びプログラム
JP7210175B2 (ja) 医用情報処理装置、医用情報処理システム及び医用情報処理プログラム
KR20160007120A (ko) 의료 영상 장치 및 그에 따른 의료 영상 촬영 방법
CN112420214A (zh) 超声会诊远程分享方法、平台和系统
CN112168141B (zh) 远程问诊的信息处理方法、装置、设备和存储介质
JP2022035719A (ja) 写損判断支援装置及びプログラム
US10391326B2 (en) Portable defibrillator used for display, hardcopy, and control for other devices
JP2021069699A (ja) 情報処理装置、情報処理方法及びプログラム
US20240194348A1 (en) Medical Support System and Medical Support Method for Patient Treatment
CN114431970B (zh) 一种医疗影像设备控制方法、系统和设备
US20230390583A1 (en) Dose distribution creating program in consideration of influence of magnetic field, dose distribution creating method in consideration of influence of magnetic field, and dose distribution creating apparatus
CN114332223A (zh) 掩膜生成方法、图像配准方法、计算机设备及存储介质
CN113488143A (zh) 医学扫描方法、医学扫描设备及计算机可读存储介质
US20200107795A1 (en) Real-time diagnostic imaging preview

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240620