JP2023166228A - 医療支援装置、医療支援方法、及びプログラム - Google Patents

医療支援装置、医療支援方法、及びプログラム Download PDF

Info

Publication number
JP2023166228A
JP2023166228A JP2022077138A JP2022077138A JP2023166228A JP 2023166228 A JP2023166228 A JP 2023166228A JP 2022077138 A JP2022077138 A JP 2022077138A JP 2022077138 A JP2022077138 A JP 2022077138A JP 2023166228 A JP2023166228 A JP 2023166228A
Authority
JP
Japan
Prior art keywords
collection
tissue
image
information
medical support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022077138A
Other languages
English (en)
Inventor
威晴 中里
Takeharu Nakazato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2022077138A priority Critical patent/JP2023166228A/ja
Priority to US18/307,831 priority patent/US20240079100A1/en
Priority to DE102023111900.1A priority patent/DE102023111900A1/de
Publication of JP2023166228A publication Critical patent/JP2023166228A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A61B1/0004—Operational features of endoscopes provided with input arrangements for the user for electronic operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/012—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor
    • A61B1/018—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor characterised by internal passages or accessories therefor for receiving instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
    • A61B1/2676—Bronchoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/12—Diagnosis using ultrasonic, sonic or infrasonic waves in body cavities or body tracts, e.g. by using catheters
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00—Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02—Instruments for taking cell samples or for biopsy
    • A61B10/04—Endoscopic instruments
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/378—Surgical systems with images on a monitor during operation using ultrasound
    • A61B2090/3782—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument
    • A61B2090/3784—Surgical systems with images on a monitor during operation using ultrasound transmitter or receiver in catheter or minimal invasive instrument both receiver and transmitter being in the instrument or receiver being also transmitter
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Optics & Photonics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Pulmonology (AREA)
  • Signal Processing (AREA)
  • Otolaryngology (AREA)
  • Physiology (AREA)
  • Endoscopes (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【課題】組織の採取の実施状況の把握を実現可能な医療支援装置、医療支援方法、及びプログラムを提供する。【解決手段】プロセッサを備え、プロセッサは、臓器における複数の第１位置から、組織が採取された場合に、第１位置毎の組織の採取の状況に関する情報である採取関連情報を出力する医療支援装置。【選択図】図８

Description

本開示の技術は、医療支援装置、医療支援方法、及びプログラムに関する。
特許文献１には、被検体の診断画像を取得する取得手段と、取得手段により取得された診断画像のうち、被検体から検体試料が採取される際の採取位置を識別可能な診断画像と、被検体から採取された検体試料を特定する情報とを関連付ける関連付け手段と、を備える、診断画像システムが開示されている。
特許文献２には、内視鏡により撮影された内視鏡画像を記録する為の医療用画像記録装置であって、操作者の指示に基づいた表示をモニタに行なう為の画像データを生成する生成手段と、内視鏡によって撮影された内視鏡画像と、画像データの合成を行い、該合成結果をモニタに出力する合成手段とを備えることを特徴とする医療用画像記録装置が開示されている。
特許文献３には、撮像素子を有する内視鏡に挿入して用いられる生体組織を採取するための採取器具によって採取された生体組織を用いた検査の支援を行う生検支援装置であって、撮像素子によって撮像して得られた撮像画像データに基づいて、採取器具によって生体組織が採取されたことを認識する採取認識部と、採取認識部によって生体組織が採取されたことが認識された場合に、当該生体組織に対応する識別情報を生成する識別情報生成部と、を備える生検支援装置が開示されている。
国際公開ＷＯ２０１７／１７５４９４号 特開２００５－００７１４５号公報 国際公開ＷＯ２０１９／０８８１７８号
本開示の技術に係る一つの実施形態は、組織の採取の実施状況の把握を実現可能な医療支援装置、医療支援方法、及びプログラムを提供する。
本開示の技術に係る第１の態様は、プロセッサを備え、プロセッサは、臓器における複数の第１位置から、組織が採取された場合に、第１位置毎の組織の採取の状況に関する情報である採取関連情報を出力する医療支援装置である。
本開示の技術に係る第２の態様は、採取関連情報は、第１位置毎の組織の採取の完了を示す情報である採取完了情報を含む第１の態様に係る医療支援装置である。
本開示の技術に係る第３の態様は、採取関連情報は、第１位置毎の組織の採取の回数を示す情報である採取回数情報を含む第１の態様又は第２の態様に係る医療支援装置である。
本開示の技術に係る第４の態様は、採取関連情報は、第１位置毎の組織の採取の完了を示す情報である採取完了情報、及び第１位置毎の組織の採取の回数を示す情報である採取回数情報を含む第１の態様に係る医療支援装置である。
本開示の技術に係る第５の態様は、採取関連情報は、第１位置における組織の採取が複数回行われる場合に、複数回の組織の採取の各々を識別する情報である採取識別情報を含む第１の態様から第４の態様の何れかに一つの態様に係る医療支援装置である。
本開示の技術に係る第６の態様は、採取識別情報は、第１位置における複数回の組織の採取毎に、組織の採取により得られる病理診断結果と対応付けられている第５の態様に係る医療支援装置である。
本開示の技術に係る第７の態様は、採取関連情報は、第１位置における組織の採取を示す医療画像に基づいて生成される第１の態様から第６の態様の何れか一つの態様に係る医療支援装置である。
本開示の技術に係る第８の態様は、医療画像は、リアルタイム画像である第７の態様に係る医療支援装置である。
本開示の技術に係る第９の態様は、医療画像は、光学画像及び／又は超音波画像である第７の態様又は第８の態様に係る医療支援装置である。
本開示の技術に係る第１０の態様は、採取関連情報は、医療画像において第１位置における組織の採取が行われた場合に生成される第７の態様から第９の態様の何れか一つの態様に係る医療支援装置である。
本開示の技術に係る第１１の態様は、採取関連情報は、複数の第１位置毎に得られた医療画像と対応付けられている第７の態様から第１０の態様の何れか一つの態様に係る医療支援装置である。
本開示の技術に係る第１２の態様は、採取関連情報は、受付装置により受け付けられた指示に基づいて生成される第１の態様から第６の態様の何れか一つの態様に係る医療支援装置である。
本開示の技術に係る第１３の態様は、受付装置により受け付けられた指示は、第１位置における組織の採取を示す医療画像に基づいて生成された結果に対する指示である第１の態様から第１２の態様の何れか一つに係る医療支援装置である。
本開示の技術に係る第１４の態様は、受付装置により受け付けられた指示は、第１位置における組織の採取を示す医療画像に基づいて組織の採取が検出された場合に受け付けられる指示である第１の態様から第１２の態様の何れか一つの態様に係る医療支援装置である。
本開示の技術に係る第１５の態様は、臓器を示す画像である臓器画像において、第１位置に対応した位置である第２位置毎に、第１位置に応じた採取関連情報により示される組織の採取の状況が表示される第１の態様から第１４の態様の何れか一つの態様に係る医療支援装置である。
本開示の技術に係る第１６の態様は、第２位置に採取関連情報により示される組織の採取の回数が表示装置に表示される第１５の態様に係る医療支援装置である。
本開示の技術に係る第１７の態様は、複数の第１位置から組織が採取される順番は、予め定められた順番である第１の態様から第１６の態様の何れか一つの態様に係る医療支援装置である。
本開示の技術に係る第１８の態様は、臓器における複数の第１位置から、組織が採取された場合に、第１位置毎の組織の採取の状況に関する情報である採取関連情報を出力することを含む医療支援方法である。
本開示の技術に係る第１９の態様は、組織の採取を示す医療画像に基づいて組織の採取が行われたことを判定すること、判定結果に対するユーザの指示を受け付けること、及び、指示に応じて第１位置毎の組織の採取の回数を示す採取回数情報を出力すること、を含む第１８の態様に係る医療支援方法である。
本開示の技術に係る第２０の態様は、コンピュータに、臓器における複数の第１位置から、組織が採取された場合に、第１位置毎の組織の採取の状況に関する情報である採取関連情報を出力することを含む処理を実行させるためのプログラムである。
内視鏡システムが用いられている態様の一例を示す概念図である。 内視鏡システムの全体構成の一例を示す概念図である。 気管支内視鏡の挿入部が被検者の体内に挿入されている態様の一例を示す概念図である。 内視鏡装置のハードウェア構成の一例を示すブロック図である。 プロセッサの要部機能の一例を示すブロック図である。 生検経路生成装置によって行われる生検経路生成処理の内容及び第１表示制御部の処理内容の一例を示す概念図である。 第２表示制御部及び第３表示制御部の処理内容の一例を示す概念図である。 第３表示制御部、音声認識部、及び採取関連情報生成部の処理内容の一例を示す概念図である。 第３表示制御部、音声認識部、及び採取関連情報生成部の処理内容の一例を示す概念図である。 医療支援処理の流れの一例を示すフローチャートである。 第３表示制御部、音声認識部、及び採取関連情報生成部の処理内容の一例を示す概念図である。 第３表示制御部、音声認識部、及び採取関連情報生成部の処理内容の一例を示す概念図である。 採取関連情報生成部の処理内容の一例を示す概念図である。 第３表示制御部、画像認識部、及び採取関連情報生成部の処理内容の一例を示す概念図である。 第３表示制御部、画像認識部、及び採取関連情報生成部の処理内容の一例を示す概念図である。 第３表示制御部、及び音声認識部の処理内容の一例を示す概念図である。 第３表示制御部、及び音声認識部の処理内容の一例を示す概念図である。 第３表示制御部、音声認識部、及び採取関連情報生成部の処理内容の一例を示す概念図である。 第３表示制御部、画像認識部、及び採取関連情報生成部の処理内容の一例を示す概念図である。
以下、添付図面に従って本開示の技術に係る医療支援装置、医療支援方法、及びプログラムの実施形態の一例について説明する。
先ず、以下の説明で使用される文言について説明する。
ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＮＶＭとは、“Non-volatile memory”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable Programmable Read-Only Memory”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＣＴとは、“Computed Tomography”の略称を指す。ＭＲＩとは、“Magnetic Resonance Imaging”の略称を指す。ＡＩとは、“Artificial Intelligence”の略称を指す。
＜第１実施形態＞
一例として図１に示すように、内視鏡システム１０は、内視鏡装置１２及び表示装置１４を備えている。内視鏡装置１２は、医師１６等の医療従事者（以下、「ユーザ」と称する）によって用いられる。内視鏡装置１２は、気管支内視鏡１８を備えており、気管支内視鏡１８を介して被検者２０（例えば、患者）の気管支に対する診療を行うための装置である。
気管支内視鏡１８は、医師１６によって被検者２０の気管支に挿入され、気管支内を撮像することで気管支内の態様を示す画像を取得して出力する。図１に示す例では、気管支内視鏡１８が被検者２０の鼻孔から体内に挿入されている態様が示されている。なお、図１に示す例では、気管支内視鏡１８が被検者２０の鼻孔から体内に挿入されているが、これは、あくまでも一例に過ぎず、気管支内視鏡１８が被検者２０の口から体内に挿入されてもよい。
内視鏡装置１２は、マイクロフォン２１を備えている。マイクロフォン２１は、医師１６から発せられた音声を取得し、取得した音声を示す音声信号を既定の出力先に出力する。マイクロフォン２１の一例としては、ピンマイクが挙げられる。図１に示す例では、マイクロフォン２１が医師１６の襟元に装着されている。なお、マイクロフォン２１の設置位置は、医師１６の音声を取得可能な位置であればよく、医師１６の口元に対して指向性を有するマイクロフォンであることが好ましい。図１に示す例では、マイクロフォン２１の一例としてピンマイクが示されているが、これは、あくまでも一例に過ぎず、マイクロフォン２１は、スタンドマイク又は骨伝導マイク等の他種類のマイクロフォンであってもよい。
表示装置１４は、画像を含めた各種情報を表示する。表示装置１４の一例としては、液晶ディスプレイ又はＥＬディスプレイ等が挙げられる。表示装置１４には、複数の画面が並べて表示される。図１に示す例では、複数の画面の一例として、第１画面２２、第２画面２４、及び第３画面２６が示されている。
第１画面２２には、気管支内視鏡１８によって被検者２０の気管支が撮像されることで得られた内視鏡画像２８が表示される。内視鏡画像２８の一例としては、動画像（例えば、ライブビュー画像）が挙げられる。第２画面２６には、臓器画像３０が表示される。臓器画像３０の一例としては、気管支全体を示す静止画が挙げられる。臓器画像３０は、医師１６が内視鏡画像２８を通して観察している気管支を模した仮想的な気管支全体を示した仮想的な画像である。第３画面２６には、被検者２０に関する情報及び／又は内視鏡装置１２の操作に関する情報等が表示される。
一例として図２に示すように、気管支内視鏡１８は、操作部３２及び挿入部３４を備えている。操作部３２は、回転操作ノブ３２Ａ、送気・送水ボタン３２Ｂ、及び吸引ボタン３２Ｃを備えている。挿入部３４は、管状に形成されている。挿入部３４の横断面視の外輪郭は円形状である。挿入部３４は、操作部３２の回転操作ノブ３２Ａが操作されることにより部分的に湾曲したり、挿入部３４の軸心周りに回転したりする。この結果、挿入部３４は、体内の形状（例えば、気管支の形状）に応じて湾曲したり、体内の部位に応じて挿入部３４の軸心周りに回転したりしながら体内の奥側に送り込まれる。また、送気・送水ボタン３２Ｂが操作されることにより、先端部３６から水、又は空気が体内に送り込まれ、吸引ボタン３２Ｃが操作されることにより、体内の水、又は空気が吸引される。
挿入部３４の先端部３６には、内視鏡スコープ３８、照明装置４０、及び処置具用開口４２が設けられている。内視鏡スコープ３８は、気管支内を撮像する。内視鏡スコープ３８の一例としては、ＣＭＯＳカメラが挙げられる。但し、これは、あくまでも一例に過ぎず、ＣＣＤカメラ等の他種のカメラであってもよい。照明装置４０は、気管支内に光（例えば、可視光）を照射する。処置具用開口４２は、処置具４４を先端部３６から突出させるための開口である。処置具４４は、処置具挿入口４５から挿入部３４内に挿入される。処置具４４は、挿入部３４内を通過して処置具用開口４２から気管支内に突出される。図２に示す例では、処置具４４として、穿刺針４４Ａが処置具用開口４２から突出している。なお、ここでは、処置具４４として、穿刺針４４Ａを例示したが、これは、あくまでも一例に過ぎず、把持鉗子及び／又はナイフ等であってもよい。
内視鏡装置１２は、制御装置４６及び光源装置４８を備えている。気管支内視鏡１８は、ケーブル５０を介して制御装置４６及び光源装置４８と接続されている。制御装置４６は、内視鏡装置１２の全体を制御する装置である。光源装置４８は、制御装置４６の制御下で発光し、光を照明装置４０に供給する装置である。
制御装置４６には、複数のハードキー５２が設けられている。複数のハードキー５２は、ユーザからの指示を受け付ける。表示装置１４の画面には、タッチパネル５４が設けられている。タッチパネル５４は、制御装置４６と電気的に接続されており、ユーザからの指示を受け付ける。表示装置１４も、制御装置４６と電気的に接続されている。
一例として図３に示すように、気管支内視鏡１８の挿入部３４は、被検者２０の鼻孔５６から、鼻腔５８、咽頭６０、喉頭６２、及び気管６４を介して気管支６６に挿入される。先端部３６は、気管支６６内の予定された経路６８に沿って気管支６６の奥側に送り込まれる。気管支６６の奥側に送り込まれた先端部３６は、やがて、気管支６６内の目標位置６６Ａ（例えば、気管支６６の周辺にあるリンパ節６７に対応した内壁）に到達する。気管支６６及びリンパ節６７は、本開示の技術に係る「臓器」の一例である。先端部３６が目標位置６６Ａに到達すると、先端部３６の処置具４４によって処置（例えば、検体の採取）が行われる。先端部３６が被検者２０の体内に挿入されている間、内視鏡スコープ３８は、既定のフレームレートで気管支６６内を撮像する。既定のフレームレートの一例としては、数十フレーム／秒（例えば、３０フレーム／秒又は６０フレーム／秒）が挙げられる。
一例として図４に示すように、制御装置４６は、コンピュータ６９を備えている。コンピュータ６９は、本開示の技術に係る「医療支援装置」及び「コンピュータ」の一例である。コンピュータ６９は、プロセッサ７０、ＲＡＭ７２、及びＮＶＭ７４を備えており、プロセッサ７０、ＲＡＭ７２、及びＮＶＭ７４は電気的に接続されている。プロセッサ７０は、本開示の技術に係る「プロセッサ」の一例である。
制御装置４６は、ハードキー５２、外部Ｉ／Ｆ７６、及び通信Ｉ／Ｆ７８を備えている。ハードキー５２、プロセッサ７０、ＲＡＭ７２、ＮＶＭ７４、外部Ｉ／Ｆ７６、及び通信Ｉ／Ｆ７８は、バス８０に接続されている。
例えば、プロセッサ７０は、ＣＰＵ及びＧＰＵを有しており、制御装置４６の全体を制御する。ＧＰＵは、ＣＰＵの制御下で動作し、グラフィック系の各種処理の実行を担う。なお、プロセッサ７０は、ＧＰＵ機能を統合した１つ以上のＣＰＵであってもよいし、ＧＰＵ機能を統合していない１つ以上のＣＰＵであってもよい。
ＲＡＭ７２は、一時的に情報が格納されるメモリであり、プロセッサ７０によってワークメモリとして用いられる。ＮＶＭ７４は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ＮＶＭ７４の一例としては、フラッシュメモリ（例えば、ＥＥＰＲＯＭ及び／又はＳＳＤ）が挙げられる。なお、フラッシュメモリは、あくまでも一例に過ぎず、ＨＤＤ等の他の不揮発性の記憶装置であってもよいし、２種類以上の不揮発性の記憶装置の組み合わせであってもよい。
ハードキー５２は、ユーザからの指示を受け付け、受け付けた指示を示す信号をプロセッサ７０に出力する。これにより、ハードキー５２によって受け付けられた指示がプロセッサ７０によって認識される。
外部Ｉ／Ｆ７６は、制御装置４６の外部に存在する装置（以下、「外部装置」とも称する）とプロセッサ７０との間の各種情報の授受を司る。外部Ｉ／Ｆ７６の一例としては、ＵＳＢインタフェースが挙げられる。
外部Ｉ／Ｆ７６には、外部装置の１つとして内視鏡スコープ３８が接続されており、外部Ｉ／Ｆ７６は、内視鏡スコープ３８とプロセッサ７０との間の各種情報の授受を司る。プロセッサ７０は、外部Ｉ／Ｆ７６を介して内視鏡スコープ３８を制御する。また、プロセッサ７０は、内視鏡スコープ３８によって気管支６６内が撮像されることで得られた内視鏡画像２８（図１参照）を外部Ｉ／Ｆ７６を介して取得する。
外部Ｉ／Ｆ７６には、外部装置の１つとして光源装置４８が接続されており、外部Ｉ／Ｆ７６は、光源装置４８とプロセッサ７０との間の各種情報の授受を司る。光源装置４８は、プロセッサ７０の制御下で、照明装置４０に光を供給する。照明装置４０は、光源装置４８から供給された光を照射する。
外部Ｉ／Ｆ７６には、外部装置の１つとして表示装置１４が接続されており、プロセッサ７０は、外部Ｉ／Ｆ７６を介して表示装置１４を制御することで、表示装置１４に対して各種情報を表示させる。
外部Ｉ／Ｆ７６には、外部装置の１つとしてタッチパネル５４が接続されており、プロセッサ７０は、タッチパネル５４によって受け付けられた指示を、外部Ｉ／Ｆ７６を介して取得する。
外部Ｉ／Ｆ７６には、外部装置の１つとして生検経路生成装置８２が接続されている。生検経路生成装置８２の一例としては、サーバが挙げられる。なお、サーバは、あくまでも一例に過ぎず、生検経路生成装置８２は、パーソナル・コンピュータであってもよい。生検経路生成装置８２は、生体検査に用いる気管支経路９８（図６参照）を算出したり、臓器画像３０（図１参照）を生成したりする。外部Ｉ／Ｆ７６は、生検経路生成装置８２とプロセッサ７０との間の各種情報の授受を司る。プロセッサ７０は、外部Ｉ／Ｆ７６を介して生検経路生成装置８２に対してサービスの提供（例えば、臓器画像３０を生成して提供すること）を要求したり、生検経路生成装置８２から外部Ｉ／Ｆ７６を介して臓器画像３０を取得したりする。
通信Ｉ／Ｆ７８は、アンテナ及び通信用プロセッサ等を有するインタフェースである。例えば、通信Ｉ／Ｆ７８は、Ｗｉ－Ｆｉ（登録商標）又はＢｌｕｅｔｏｏｔｈ（登録商標）等の通信方式を用いて通信装置と無線通信を行うことで、通信装置とプロセッサ７０との間の各種情報の授受を司る。通信装置の一例としては、マイクロフォン２１が挙げられる。プロセッサ７０は、マイクロフォン２１から通信Ｉ／Ｆ７８を介して音声信号を取得する。
ところで、内視鏡検査において、体内の組織を直接採取する生体検査（以下、単に「生検」とも称する）が行われる場合がある。生体検査は、一回の施術中に体内の複数個所に対して順次行われる場合があるが、この場合、医療従事者は、各箇所での採取作業を行いながら、組織の採取の進捗状況を把握したり、採取漏れが無いかを確認したりすることが必要となる。
そこで、このような事情に鑑み、本実施形態では、一例として図５に示すように、プロセッサ７０によって医療支援処理が行われる。ＮＶＭ７４には、医療支援処理プログラム８４が記憶されている。医療支援プログラム８４は、本開示の技術に係る「プログラム」の一例である。
プロセッサ７０は、ＮＶＭ７４から医療支援処理プログラム８４を読み出し、読み出した医療支援処理プログラム８４をＲＡＭ７２上で実行することにより医療支援処理を行う。医療支援処理は、プロセッサ７０が医療支援処理プログラム８４に従って第１表示制御部７０Ａ、生検対象取得部７０Ｂ、第２表示制御部７０Ｃ、第３表示制御部７０Ｄ、音声認識部７０Ｅ、及び採取関連情報生成部７０Ｆとして動作することによって実現される。
一例として図６に示すように、生検経路生成装置８２は、プロセッサ９０、ＮＶＭ９２、及びＲＡＭ（図示省略）を備えており、プロセッサ９０は、ＲＡＭ上で生検経路生成プログラム（図示省略）を実行することで生検経路生成処理を行う。以下、図６を参照しながら、プロセッサ９０によって行われる生検経路生成処理の内容、及び制御装置４６のプロセッサ７０によって行われる生検経路生成処理の内容の一例について説明する。
生検経路生成装置８２において、ＮＶＭ９２には、ボリュームデータ９４が記憶されている。ボリュームデータ９４は、モダリティによって被検者２０の全身又は一部（例えば、胸部）が撮像されることによって複数の２次元スライス画像が積み重ねられてボクセルで規定された３次元画像である。各ボクセルの位置は３次元座標によって特定される。モダリティの一例としては、ＣＴ装置が挙げられる。ＣＴ装置は、一例に過ぎず、モダリティの他の例としては、ＭＲＩ装置又は超音波診断装置等が挙げられる。
ボリュームデータ９４には、被検者２０の気管６４、及び気管支６６を示す３次元画像である気管支ボリュームデータ９６が含まれている。また、ボリュームデータ９４には、被検者２０のリンパ節６７を示す３次元画像であるリンパ節ボリュームデータ９７が含まれている。
プロセッサ９０は、ボリュームデータ９４から気管支ボリュームデータ９６及びリンパ節ボリュームデータ９７を抽出する。制御装置４６において、第１表示制御部７０Ａは、生検経路生成装置８２のＮＶＭ９２からプロセッサ９０を介して気管支ボリュームデータ９６及びリンパ節ボリュームデータ９７を取得する。そして、第１表示制御部７０Ａは、表示装置１４に対して選択用画像１０２を表示させる。選択用画像１０２は、第１表示制御部７０Ａによって気管支ボリュームデータ９６及びリンパ節ボリュームデータ９７に基づいて生成される。選択用画像１０２は、気管支ボリュームデータ９６及びリンパ節ボリュームデータ９７が表示装置１４の画面１４Ａにレンダリングされた画像である。選択用画像１０２は、気管支画像１０４とリンパ節画像１０６とが統合されることによって得られるレンダリング画像である。気管支画像１０４は、気管支ボリュームデータ９６に対応するレンダリング画像であり、リンパ節画像１０６は、リンパ節ボリュームデータ９７に対応するレンダリング画像である。
表示装置１４の画面１４Ａに選択用画像１０２が表示されている状態で、タッチパネル５４は、ユーザから生検対象選択指示を受け付ける。図６に示す例では、ユーザの指によってタッチパネル５４に対して生検対象選択指示が与えられている態様が示されている。生検対象選択指示は、複数のリンパ節画像１０６から生体検査の対象となるリンパ節６７を示すリンパ節画像１０６を選択する指示である。また、生検対象選択指示は、生検対象を行う順番を選択する指示を含んでもよい。図６に示す例では、複数のリンパ節画像１０６が選択され、さらにそれぞれＮｏ．１、Ｎｏ．２、及びＮｏ．３の順で選択された例が示されている。なお、ここでは、タッチパネル５４を介して生検対象選択指示が受け付けられる例を挙げて説明したが、これはあくまでも一例に過ぎない。例えば、マウス、及び／又はキーボードを介して生検対象選択指示が受け付けられてもよい。
また、ここでは、ユーザにより生体検査の対象となるリンパ節６７が選択される例を挙げて説明したが、これはあくまでも一例に過ぎない。例えば、生体検査の対象となるリンパ節６７が、予め定められてもよいし、リンパ節ボリュームデータ９７に基づいて生体検査の対象となるリンパ節６７がプロセッサ９０によって選択されてもよい。
制御装置４６において、生検対象取得部７０Ｂは、タッチパネル５４を介してリンパ節画像１０６が選択された結果に基づいて生検対象情報７０Ｂ１を生成する。生検対象情報７０Ｂ１は、レンダリング前の３次元座標（すなわち、気管支ボリュームデータ９６及びリンパ節ボリュームデータ９７における３次元座標）と、レンダリング後の２次元座標（すなわち、選択用画像１０２における２次元座標）とを対応付けた情報である。また、生検対象情報７０Ｂ１は、タッチパネル５４を介してリンパ節画像１０６が選択された順番に関する情報を含む。
生検経路生成装置８２において、プロセッサ９０は、制御装置４６の生検対象取得部７０Ｂから生検対象情報７０Ｂ１を取得する。また、プロセッサ９０は、気管支ボリュームデータ９６に対して細線化処理を行うことで、複数の気管支経路９８を生成する。気管支経路９８は、気管支ボリュームデータ９６により示される仮想的な気管支（以下、「仮想気管支」とも称する）の横断面視の中央を通る３次元ラインである。仮想気管支の横断面視の中央を通る３次元ラインは、気管支ボリュームデータ９６が細線化されることによって得られる。
プロセッサ９０は、生検対象情報７０Ｂ１及び気管支経路９８に基づいて、生検経路情報９９を生成する。生検経路情報９９は、生体検査を行う際の経路６８を示す情報である。プロセッサ９０は、例えば、生検対象情報７０Ｂ１により示されるリンパ節ボリュームデータ９７における３次元座標に基づいて、生体検査を行う経路が最も短くなる経路を複数の気管支経路９８の中から選択することで、生検経路情報９９を生成する。また、生検経路情報９９には、生体検査を行う過程において、リンパ節６７を採取する順番が含まれる。なお、ここでは、プロセッサ９０において、生検対象情報７０Ｂ１及び気管支経路９８に基づいて生検経路情報９９が生成される例を挙げて説明したが、これはあくまでも一例に過ぎない。例えば、プロセッサ９０において、ユーザによって受付装置に入力された生体検査の経路に従って生検経路情報９９が生成されてもよい。
また、プロセッサ９０は、生検経路情報９９により示される気管支経路９８及びリンパ節６７から組織を採取する順番を示した画像である確認用画像１０２Ａを生成する。確認用画像１０２Ａは、例えば、選択用画像１０２に対して気管支経路９８及び採取の順番を表示した２次元画像である。なお、ここでは、選択用画像１０２を用いて、確認用画像１０２Ａを生成する例を挙げたが、これはあくまでも一例に過ぎない。確認用画像１０２Ａは、選択用画像１０２とは異なる画像であって、臓器を示す２次元画像でもよく、また、３次元モデル画像でもよい。プロセッサ９０は、生成した確認用画像１０２Ａを、ＮＶＭ９２に記憶させる。確認用画像１０２Ａは、本開示の技術に係る「臓器画像」の一例である。
一例として図７に示すように、制御装置４６において、第２表示制御部７０Ｃは、内視鏡スコープ３８から気管支撮像動画像１２２を取得する。気管支撮像動画像１２２は、図１に示す内視鏡画像２８の一例である。気管支撮像動画像１２２は、内視鏡スコープ３８によって経路６８（図３参照）に沿って気管６４内及び気管支６６内（図３参照）が撮像されることによって得られる動画像（ここでは、一例として、ライブビュー画像）である。気管支撮像動画像１２２は、経路６８の始点から終点にかけて既定のフレームレートに従って撮像されることによって得られた複数のフレーム１２４を含む。第２表示制御部７０Ｃは、複数のフレーム１２４を時系列で表示装置１４に出力することで、表示装置１４の第１画面２２に気管支撮像動画像１２２を表示する。
制御装置４６において、第３表示制御部７０Ｄは、生検経路生成装置８２のＮＶＭ９２から確認用画像１０２Ａを取得する。そして、第３表示制御部７０Ｄは、確認用画像１０２Ａを表示装置１４に出力することで、表示装置１４の第２画面２４に確認用画像１０２Ａを表示する。なお、表示装置１４に対して確認用画像１０２Ａの表示を開始させるトリガ（すなわち、第３表示制御部７０Ｄが確認用画像１０２Ａの出力を開始するトリガ）の一例としては、マイクロフォン２１、タッチパネル５４、又はハードキー５２等の受付装置（以下、単に「受付装置」とも称する）によってユーザからの開始指示（すなわち、確認用画像１０２Ａの表示を開始させる指示）が受け付けられた、というトリガが挙げられる。
一例として図８に示すように、マイクロフォン２１は、医師１６から発せられた音声１６Ａを音声信号として音声認識部７０Ｅに出力する。医師１６から発せられた音声１６Ａは、本開示の技術に係る「指示」の一例であり、マイクロフォン２１は、本開示の技術に係る「受付装置」の一例である。音声認識部７０Ｅは、マイクロフォン２１から入力された音声信号により示される音声を認識する。音声の認識は、公知の技術を用いることによって実現される。音声認識部７０Ｅによって医師１６の音声による指示である音声指示が認識された場合、採取関連情報生成部７０Ｆは、音声認識部７０Ｅによって出力された音声指示を受け付ける。音声指示には、生体検査の完了の指示が含まれる。例えば、医師１６が発した「完了」という音声指示は、リンパ節６７に対して穿刺針４４Ａによる組織の採取が完了したことを示す指示である。なお、ここでは、説明の便宜上、「完了」という音声指示を例示しているが、これは、あくまでも一例に過ぎず、生体検査が完了したことを特定可能な音声指示であれば、如何なる音声指示であってもよい。
採取関連情報生成部７０Ｆは、音声指示に従って採取関連情報１０７を生成する。採取関連情報１０７とは、複数のリンパ節６７毎の組織の採取の状況に関する情報である。採取関連情報１０７は、本開示の技術に係る「採取関連情報」の一例である。図８に示す例では、採取関連情報生成部７０Ｆにおいて、採取関連情報１０７として採取完了情報１０８が生成される例が示されている。採取完了情報１０８は、採取対象の複数のリンパ節６７のうちの一のリンパ節６７に対して、組織の採取が完了したことを示す情報である。採取完了情報１０８は、本開示の技術に係る「採取完了情報」の一例である。採取関連情報生成部７０Ｆは、第３表示制御部７０Ｄに採取完了情報１０８を出力する。
図８に示す例では、第３表示制御部７０Ｄによって確認用画像１０２Ａが第２画面２４に表示されている態様が示されている。第３表示制御部７０Ｄは、採取関連情報生成部７０Ｆから採取完了情報１０８を取得する。第３表示制御部７０Ｄは、採取完了情報１０８に従って第２画面２４に表示された確認用画像１０２Ａを更新する。第３表示制御部７０Ｄは、組織の採取が完了したリンパ節６７に対応するリンパ節画像１０６に対して、組織の採取が完了した表示を付加する。ここで、確認用画像１０２Ａにおいて、「済」の表示がされたリンパ節画像１０６の位置は、採取が完了したリンパ節６７の位置に対応している。図８に示す例では、リンパ節画像１０６に対して「済」の表示が付加された例が示されている。なお、これはあくまでも一例に過ぎず、例えば、組織の採取が完了したリンパ節画像１０６に対して、「済」以外の文字又は記号が表示されてもよいし、色、又は模様が変更される等の態様であってもよい。組織の採取が完了したリンパ節６７の位置は、本開示の技術に係る「第１位置」の一例であり、採取が完了したリンパ節６７の位置に対応したリンパ節画像１０６の位置は、本開示の技術に係る「第２位置」の一例である。
一例として図９に示すように、あるリンパ節６７における組織の採取が完了した後、医師１６は、気管支経路９８により示される経路６８に沿って先端部３６を移動させ、次のリンパ節６７における組織の採取を行う。音声認識部７０Ｅは、マイクロフォン２１から入力された音声信号により示される音声を認識する。採取関連情報生成部７０Ｆは、音声認識部７０Ｅによって出力された生体検査の完了の音声指示を受け付ける。また、採取関連情報生成部７０Ｆは、採取完了情報１０８を生成する。第３表示制御部７０Ｄは、採取完了情報１０８に従って第２画面２４に表示された確認用画像１０２Ａを更新する。
経路６８に沿って生体検査が繰り返し行われ、組織の採取が完了するたびに医師１６による音声入力が行われる。そして、音声指示に従って、採取関連情報生成部７０Ｆによって採取完了情報１０８が生成される。図９に示す例では、第３表示制御部７０Ｄにおいて、全てのリンパ節６７に対する組織の採取が完了したか否かが判定される。第３表示制御部７０Ｄは、採取完了情報１０８により示される、組織の採取が完了したリンパ節６７と、生検経路情報９９（図７参照）により示される生検対象となるリンパ節６７とを比較することにより、全ての組織の採取が完了したか否かを判定する。
第３表示制御部７０Ｄは、全てのリンパ節６７に対する組織の採取が完了したと判定した場合、第２画面２４に表示された確認用画像１０２Ａを更新する。第３表示制御部７０Ｄは、第２画面２４において、生体検査が終了したことを表示する。図９に示す例では、確認用画像１０２Ａの上側に「終了」の表示がされた例が示されている。
次に、内視鏡システム１０の作用について図１０を参照しながら説明する。制御装置４６のプロセッサ７０によって行われる医療支援処理の流れの一例について図１０を参照しながら説明する。
図１０に示す医療支援処理では、先ず、ステップＳＴ１０で、第２表示制御部７０Ｃは、気管支撮像動画像１２２を取得する（図７参照）。また、第３表示制御部７０Ｄは、生検経路生成装置８２のＮＶＭ９２から確認用画像１０２Ａを取得する。ステップＳＴ１０の処理が実行された後、医療支援処理は、ステップＳＴ１２へ移行する。
ステップＳＴ１２で、第２表示制御部７０Ｃは、気管支撮像動画像１２２を表示装置１４の第１画面２２に表示させる。また、第３表示制御部７０Ｄは、確認用画像１０２Ａを表示装置１４の第２画面２４に表示させる。ステップＳＴ１２の処理が実行された後、医療支援処理は、ステップＳＴ１４に移行する。
ステップＳＴ１４で、音声認識部７０Ｅは、医師１６から音声指示が与えられたか否かを判定する。ステップＳＴ１４において、医師１６から音声指示が与えられていない場合は、判定が否定されて、再度、ステップＳＴ１４の処理が実行される。ステップＳＴ１４において、医師１６から音声指示が与えられた場合は、判定が肯定されて、医療支援処理はステップＳＴ１６へ移行する
ステップＳＴ１６で、採取関連情報生成部７０Ｆは、ステップＳＴ１４で与えられた音声指示に従って、採取完了情報１０８を生成する。ステップＳＴ１６の処理が実行された後、医療支援処理は、ステップＳＴ１８へ移行する。
ステップＳＴ１８で、第３表示制御部７０Ｄは、ステップＳＴ１６で生成された採取完了情報１０８に従って、第２画面２４に表示されている確認用画像１０２Ａを更新する。例えば、第３表示制御部７０Ｄは、リンパ節画像１０６に対して「済」の表示が付加する。ステップＳＴ１８の処理が実行された後、医療支援処理は、ステップＳＴ２０へ移行する。
ステップＳＴ２０で、第３表示制御部７０Ｄは、医療支援処理を終了させる条件（以下、「終了条件」と称する）を満足したか否かを判定する。終了条件の一例としては、生検対象となるリンパ節６７に対する組織の採取が完了したことが挙げられる。ステップＳＴ２０において、終了条件を満足していない場合は、判定が否定されて、医療支援処理はステップＳＴ２２へ移行する。ステップＳＴ２０において、終了条件を満足した場合は、判定が肯定されて、医療支援処理はステップＳＴ１４へ移行する。
ステップＳＴ２２で、第３表示制御部７０Ｄは、確認用画像１０２Ａの第２画面２４への表示を終了する。ステップＳＴ２２の処理が実行された後、医療支援処理が終了する。
以上説明したように、本実施形態に係る内視鏡システム１０では、制御装置４６のプロセッサ７０において、気管支６６の周辺に存在する複数のリンパ節６７から、組織が採取された場合に、複数のリンパ節６７毎の組織の採取の状況を示す情報である採取関連情報１０７が表示装置１４に対して出力される。出力された採取関連情報１０７に従って、表示装置１４の第２画面２４に表示された確認用画像１０２Ａが更新される。例えば、確認用画像１０２Ａにおいて、組織の採取が完了したリンパ節６７に対応するリンパ節画像１０６に対して「済」の表示が付加される。これにより、ユーザが組織の採取の進捗を把握したり、採取漏れが無いかを確認したりすることが可能となる。従って、本構成によれば、組織の採取の実施状況が把握される。例えば、全ての組織の採取が終わった後、組織の採取に関する情報がまとめて表示装置１４に対して出力される場合と比較して、組織の採取の実施状況が正確に把握される。
また、本実施形態に係る内視鏡システム１０では、採取関連情報１０７は、採取完了情報１０８を含んでいる。採取完了情報１０８は、複数のリンパ節６７毎の組織の採取の完了を示す情報である。表示装置１４に対して採取完了情報１０８が出力されることにより、確認用画像１０２Ａにおいて、組織の採取が完了したリンパ節６７に対応するリンパ節画像１０６に対して「済」の表示が付加される。これにより、ユーザが、リンパ節６７毎の組織の採取の完了を把握することが可能となる。従って、本構成によれば、組織の採取の実施状況が把握される。
また、本実施形態に係る内視鏡システム１０では、採取関連情報１０７は、受付装置（例えば、マイクロフォン２１）により受け付けられる指示（例えば、医師による「完了」の音声入力）に基づいて生成される。これにより、ユーザの指示を反映した採取関連情報１０７が表示装置１４に対して出力される。従って、本構成によれば、組織の採取の実施状況の表示において、ユーザの指示を正確に反映させることが実現される。
また、本実施形態に係る内視鏡システム１０では、気管支６６及びリンパ節６７を示す画像である確認用画像１０２Ａにおいて、リンパ節６７に対応した位置に表示されたリンパ節画像１０６に対して、リンパ節６７毎の採取関連情報１０７により示される組織の採取の状況が表示される。これにより、気管支６６とその周囲に存在するリンパ節６７における組織の採取位置と組織採取の状況との対応関係が把握されやすくなる。従って、本構成によれば、組織の採取の実施状況が正確に表示される。
また、本実施形態に係る内視鏡システム１０では、複数のリンパ節６７に対する組織の採取の順番は、ユーザにより選択された順番で行われる。すなわち、複数のリンパ節６７に対する組織の採取の順番は、予め定められた順番である。従って、本構成によれば、組織の採取の実施状況の表示に要する処理の負荷が低減される。
なお、上記実施形態において、受付装置としてのマイクロフォン２１は、医師１６から発せられた音声１６Ａを音声信号として音声認識部７０Ｅに出力し、音声認識部７０Ｅによって、医師１６の音声１６Ａによる指示である音声指示が認識された場合、採取関連情報生成部７０Ｆは、音声認識部７０Ｅによって出力された音声指示を受け付ける形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、医師１６が、受付装置としてのタッチパネル５４、マウス、及び／又はキーボードを介して組織の採取が完了したことを入力してもよい。また、受付装置のその他の例として携帯型端末（例えば、タブレット端末）、フットスイッチ、及び／又は気管支内視鏡１８に設けられたスイッチ等が挙げられる。
また、上記実施形態において、組織の採取の実施状況を確認するために確認用画像１０２Ａが表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、確認用画像１０２Ａに代えて、又は確認用画像１０２Ａと共に、採取対象のリンパ節６７が表示された表、チェックリスト、及び／又は実施状況を示す数値（例えば、進捗を示す割合）が表示されてもよい。
また、上記実施形態において、確認用画像１０２Ａが第２画面２４に表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、確認用画像１０２Ａが、気管支撮像動画像１２２の表示されたウィンドウとは、別のウィンドウに表示される態様であってもよい。また、確認用画像１０２Ａが、気管支撮像動画像１２２が表示された表示装置１４とは、別の表示装置に表示される態様であってもよい。
また、上記実施形態において、採取関連情報１０７が表示装置１４に対して出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、採取関連情報１０７が、表示装置１４に代えて、又は表示装置１４と共にスピーカに対して出力され、組織の採取の実施状況が音声によってユーザに報知される態様であってもよい。また、採取関連情報１０７が、ＮＶＭ７４に記憶される態様であってもよい。さらに、採取関連情報１０７が、外部装置（例えば、パーソナル・コンピュータ）に出力される態様であってもよい。
また、上記実施形態において、表示装置１４が内視鏡装置１２の液晶ディスプレイである形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、表示装置１４は、内視鏡装置１２とは別体のディスプレイ（ヘッドマウントディスプレイ、及び／又は携帯型端末（例えば、タブレット）の画面）であってもよい。
［第１変形例］
上記第１実施形態では、採取関連情報生成部７０Ｆにおいて、採取完了情報１０８が生成される形態例を挙げて説明したが、本開示の技術は、これに限定されない。本第１変形例では、採取関連情報生成部７０Ｆにおいて、採取完了情報１０８が生成され、かつ採取完了情報１０８と気管支鏡画像１２２Ａとが対応付けられる。
一例として図１１に示すように、採取関連情報生成部７０Ｆは、音声認識部７０Ｅによって出力された生体検査の完了の音声指示を受け付ける。採取関連情報生成部７０Ｆは、音声指示に従って、採取完了情報１０８を生成する。さらに、採取関連情報生成部７０Ｆは、内視鏡スコープ３８から気管支撮像動画像１２２を取得する。採取関連情報生成部７０Ｆは、気管支撮像動画像１２２から既定のフレームにおける静止画像を取り出すことで、気管支鏡画像１２２Ａを生成する。例えば、採取関連情報生成部７０Ｆは、音声指示を受け付けた時点のフレームにおける静止画像を気管支鏡画像１２２Ａとして生成する。
採取関連情報生成部７０Ｆは、採取完了情報１０８と気管支鏡画像１２２Ａとを対応づける。例えば、採取関連情報生成部７０Ｆは、気管支鏡画像１２２Ａの付帯情報として、採取完了情報１０８を気管支鏡画像１２２Ａの付帯情報とすることにより、採取完了情報１０８と気管支鏡画像１２２Ａとを対応付ける。この場合、採取完了情報１０８には、採取が行われた日時、及び採取が行われたリンパ節６７に関する情報が含まれてもよい。
第３表示制御部７０Ｄは、採取完了情報１０８に従って第２画面２４に表示された確認用画像１０２Ａを更新する。また、第３表示制御部７０Ｄは、採取完了情報１０８と対応付けられた気管支鏡画像１２２ＡをＮＶＭ７４に記憶させる。
以上説明したように、本第１変形例に係る内視鏡システム１０では、採取完了情報１０８は、複数のリンパ節６７毎に得られた気管支鏡画像１２２Ａと対応付けられている。組織の採取中又は採取後において、検査画像（例えば、気管支鏡画像１２２Ａ）と組織の採取の経過とを対応付けて把握することが必要な場合がある。従って、本構成によれば、組織の採取の実施状況と組織の採取を示す画像との対応関係が把握される。
［第２変形例］
上記実施形態では、採取関連情報生成部７０Ｆにおいて、採取関連情報１０７として採取完了情報１０８が生成される形態例を挙げて説明したが、本開示の技術は、これに限定されない。本第２変形例では、採取関連情報生成部７０Ｆにおいて、採取関連情報１０７として、組織の採取の回数を示す情報である採取回数情報１１０が生成される。
一例として図１２に示すように、マイクロフォン２１は、医師１６から発せられた音声１６Ａを音声信号として音声認識部７０Ｅに出力する。音声認識部７０Ｅによって医師１６の音声１６Ａによる指示である音声指示が認識された場合、採取関連情報生成部７０Ｆは、音声認識部７０Ｅによって出力された音声指示を受け付ける。音声指示には、生体検査の回数の指示が含まれる。例えば、医師１６が発した「一回目」という音声指示は、リンパ節６７に対して穿刺針４４Ａによる組織の採取のうちの一回目が完了したことを示す指示である。なお、ここでは、説明の便宜上、「一回目」という音声指示を例示しているが、これは、あくまでも一例に過ぎず、一回目の採取が完了したことを特定可能な音声指示であれば、如何なる音声指示であってもよい。
採取関連情報生成部７０Ｆは、音声指示に従って採取回数情報１１０を生成する。採取回数情報１１０は、採取対象の複数のリンパ節６７のうちの一のリンパ節６７に対して、組織の採取が行われた回数を示す情報である。採取回数情報１１０は、本開示の技術に係る「採取回数情報」の一例である。
採取回数情報１１０には、採取を識別するための採取識別情報１１２が含まれる。採取識別情報１１２は、例えば、あるリンパ節６７に対して複数回の組織の採取が行われる場合、複数回の採取の各々を識別する識別番号を示す情報を含む。図１２に示す例では、一回目の採取の識別番号として“＃１０－１”が付与された例が示されている。採取識別情報１１２は、本開示の技術に係る「採取識別情報」の一例である。
また、採取識別情報１１２には、組織が採取された時刻である採取時刻を示す情報、及び組織が採取された箇所である採取箇所（例えば、どのリンパ節６７であるか）を示す情報が含まれてもよい。第３表示制御部７０Ｄは、採取回数情報１１０に従って第２画面２４に表示された確認用画像１０２Ａを更新する。
医師１６は、一回目の組織の採取を行った後、一回目と同じリンパ節６７に対して二回目の組織の採取を行う。マイクロフォン２１は、医師１６から発せられた音声（例えば、「二回目」という音声）を音声信号として音声認識部７０Ｅに出力する。音声認識部７０Ｅは、マイクロフォン２１から入力された音声信号により示される音声を認識する。採取関連情報生成部７０Ｆは、音声認識部７０Ｅによって出力された二回目の採取完了の音声指示を受け付ける。採取関連情報生成部７０Ｆは、音声指示に従って採取回数情報１１０を更新する。
第３表示制御部７０Ｄは、採取回数情報１１０に従って第２画面２４に表示された確認用画像１０２Ａを更新する。第３表示制御部７０Ｄは、組織の採取が完了したリンパ節６７に対応するリンパ節画像１０６に対して、組織の採取が完了した表示を付加する。図１２に示す例では、リンパ節画像１０６に対して「済２回」、「＃１０－１」、及び「＃１０－２」の表示が付加された例が示されている。なお、これはあくまでも一例に過ぎず、例えば、組織の採取が完了したリンパ節画像１０６に対して、「済２回」、「＃１０－１」、及び「＃１０－２」以外の文字が表示されてもよいし、色、又は模様が変更される等の態様であってもよい。
以上説明したように、本第２変形例に係る内視鏡システム１０では、採取関連情報１０７は、リンパ節６７毎の組織の採取の回数を示す情報である採取回数情報１１０を含む。表示装置１４に対して採取回数情報１１０が出力されることにより、確認用画像１０２Ａにおいて、リンパ節６７に対応するリンパ節画像１０６に対して採取の回数の表示が付加される。これにより、ユーザが、リンパ節６７毎の組織の採取の回数を把握することが可能となる。従って、本構成によれば、組織の採取の実施状況が把握される。
また、本第２変形例に係る内視鏡システム１０では、採取関連情報１０７は、リンパ節６７における組織の採取が複数回行われる場合に、複数回の組織の採取の各々を識別する情報である採取識別情報１１２を含む。採取識別情報１１２が出力されることにより、リンパ節６７毎に複数回の採取が行われる場合でも、各回の採取を識別することができる。従って、本構成によれば、組織の採取の実施状況が把握される。
なお、本第２変形例では、採取関連情報１０７として採取回数情報１１０が含まれる形態例を挙げて説明したが、本開示の技術はこれに限定されない。採取関連情報１０７は、採取完了情報１０８及び採取回数情報１１０を含んでもよい。採取関連情報１０７としての採取完了情報１０８及び採取回数情報１１０は、表示装置１４に対して出力される。これにより、確認用画像１０２Ａにおいて、組織の採取が完了したリンパ節６７に対応するリンパ節画像１０６に対して「済」の表示が付加される。また、確認用画像１０２Ａにおいて、リンパ節６７に対応するリンパ節画像１０６に対して採取の回数の表示が付加される。これにより、ユーザが、リンパ節６７毎の組織の採取の完了及び回数を把握することが可能となる。従って、本構成によれば、組織の採取の実施状況が把握される。
［第３変形例］
上記第２変形例では、あるリンパ節６７に対して複数回の組織の採取が行われる形態例を挙げて説明したが、本開示の技術は、これに限定されない。本第３変形例では、複数回の組織の採取が行われる場合に、生体検査において採取された組織の病理検査結果が対応付けられる。
一例として図１３に示すように、生体検査において採取された組織に対し、医師１６によって病理検査が行われる。例えば、医師１６が顕微鏡１５を用いて組織を観察することにより、病理検査が行われる。病理検査結果は、受付装置（例えば、タッチパネル５４等）を介して受け付けられる。図１３に示す例では、画面２６に病理検査結果の入力を促す表示が示されている。
制御装置４６において、採取関連情報生成部７０Ｆは、受付装置を介して受け付けられた病理検査結果を示す情報である病理診断結果情報１１４を取得する。採取関連情報生成部７０Ｆは、病理診断結果情報１１４と採取識別情報１１２とを対応付ける。採取関連情報生成部７０Ｆは、複数回の採取の各々を示す採取識別情報１１２と、複数回の採取により得られた組織の各々に対する病理診断結果を示す病理診断結果情報１１４とを対応付ける。採取関連情報生成部７０Ｆは、採取識別情報１１２と病理診断結果情報１１４とをＮＶＭ７４に記憶させる。
以上説明したように、本第３変形例に係る内視鏡システム１０では、採取識別情報１１２は、リンパ節６７における複数回の組織の採取毎に、組織の採取により得られる病理診断結果を示す情報である病理診断結果情報１１４と対応付けられている。組織の採取中又は採取後において、病理診断結果と組織の採取の経過とを対応付けて把握することが必要な場合がある。従って、本構成によれば、組織の採取の実施状況と病理診断結果との対応関係が把握される。
＜第２実施形態＞
上記第１実施形態では、医師１６による音声指示によって組織の採取が完了したことが受け付けられる形態例を挙げて説明したが、本開示の技術は、これに限定されない。本第２実施形態では、気管支撮像動画像１２２に基づいて組織の採取の完了を示す採取完了情報１０８が生成される。
一例として図１４に示すように、本第２実施形態に係るプロセッサ７０は、画像認識部７０Ｇを備えている。画像認識部７０Ｇは、内視鏡スコープ３８から気管支撮像動画像１２２を取得する。気管支撮像動画像１２２は、本開示の技術に係る「医療画像」、「リアルタイム画像」及び「光学画像」の一例である。気管支撮像動画像１２２は、一例として、ライブビュー画像である。画像認識部７０Ｇは、気管支撮像動画像１２２に対して画像認識処理を行うことにより、穿刺針４４Ａを示す画像領域を検出する。画像認識処理は、例えば、ＡＩ方式による画像認識処理によって検出される。例えば、画像認識部７０Ｇは、予めＮＶＭ７４（図４参照）に記憶された穿刺針検出用学習済モデルを用いて、穿刺針４４Ａを検出する。さらに、画像認識部７０Ｇは、穿刺針４４Ａの検出状態が既定時間（アジテーション（すなわち、組織の採取の際に行われることのある穿刺針４４Ａの前後運動）を考慮した時間）継続した場合に、穿刺針４４Ａが検出されたと判定してもよい。なお、ここでは、ＡＩ方式による画像認識処理を例に挙げて説明したが、これはあくまでも一例に過ぎない。例えば、テンプレートマッチング方式による画像認識処理によって穿刺針４４Ａが検出されてもよい。画像認識部７０Ｇは、穿刺針４４Ａが検出された後、穿刺針４４Ａが検出されなくなった場合に検出結果を出力する。穿刺針４４Ａが検出されなくなった場合とは、例えば、穿刺針４４Ａを示す画像領域が、気管支撮像動画像１２２に数フレーム（例えば、３フレーム）の間、写り込まなくなった場合を指す。採取関連情報生成部７０Ｆは、画像認識部７０Ｇから出力された検出結果に基づいて採取完了情報１０８を生成する。第３表示制御部７０Ｄは、採取完了情報１０８に従って第２画面２４に表示された確認用画像１０２Ａを更新する。なお、ここでは、組織の採取が完了したことが検出された場合に採取完了情報１０８が生成される例を挙げたが、これはあくまでも一例に過ぎない。例えば、組織の採取が行われたことが検出された場合（例えば、穿刺針４４Ａが気管支６６に挿入されたことが検出された場合）に、採取完了情報１０８が生成されてもよい。
以上説明したように、本第２実施形態に係る内視鏡システム１０では、採取完了情報１０８は、リンパ節６７における組織の採取を示す気管支撮像動画像１２２に基づいて生成される。これにより、採取関連情報１０７は、気管支撮像動画像１２２により示される組織の採取の実施状況を反映している。従って、本構成によれば、組織の採取の実施状況が把握される。
また、本第２実施形態に係る内視鏡システム１０では、気管支撮像動画像１２２は、リアルタイム画像である。採取関連情報１０７が、組織の採取の様子を示すリアルタイム画像により得られる。これにより、採取完了情報１０８は、リアルタイム画像により示される現在の組織の採取の実施状況を反映している。従って、本構成によれば、組織の採取の実施状況が把握される。
また、本第２実施形態に係る内視鏡システム１０では、気管支撮像動画像１２２は、光学画像である。採取完了情報１０８が組織の採取の様子を示す光学画像により得られる。これにより、採取完了情報１０８は、光学画像により示される組織の採取の実施状況を反映している。従って、本構成によれば、組織の採取の実施状況が把握される。
また、本第２実施形態に係る内視鏡システム１０では、採取完了情報１０８は、気管支撮像動画像１２２においてリンパ節６７における組織の採取が行われた場合に生成される。従って、本構成によれば、組織の採取の実施状況が把握される。
［第４変形例］
上記第２実施形態では、気管支撮像動画像１２２に基づいて採取完了情報１０８が生成される形態例を挙げて説明したが、本開示の技術は、これに限定されない。本第４変形例では、気管支撮像動画像１２２に基づいて採取回数情報１１０が生成される。
一例として図１５に示すように、画像認識部７０Ｇは、内視鏡スコープ３８から気管支撮像動画像１２２を取得する。画像認識部７０Ｇは、気管支撮像動画像１２２に対して画像処理を行うことにより、穿刺針４４Ａを示す画像領域を検出する。画像認識部７０Ｇは、穿刺針４４Ａが検出された後、穿刺針４４Ａが非検出となった場合に検出結果を出力する。穿刺針４４Ａが非検出となった場合とは、例えば、穿刺針４４Ａを示す画像領域が、気管支撮像動画像１２２に数フレーム（例えば、３フレーム）の間、写り込まなくなった場合を指す。
採取関連情報生成部７０Ｆは、画像認識部７０Ｇから出力された検出結果に基づいて採取回数情報１１０を生成する。採取関連情報生成部７０Ｆは、検出結果により示される穿刺針４４Ａが検出された回数を、組織の採取が行われた回数として採取回数情報１１０を生成する。図１５に示す例では、画像認識部７０Ｇにおいて、穿刺針４４Ａが２回検出され、採取関連情報生成部７０Ｆにおいて、組織の採取が２回行われたことを示す採取回数情報１１０が生成された例が示されている。第３表示制御部７０Ｄは、採取回数情報１１０に従って第２画面２４に表示された確認用画像１０２Ａを更新する。
以上説明したように、本第４変形例に係る内視鏡システム１０では、採取回数情報１１０は、リンパ節６７における組織の採取を示す気管支撮像動画像１２２に基づいて生成される。これにより、採取回数情報１１０は、気管支撮像動画像１２２により示される組織の採取の実施状況を反映している。従って、本構成によれば、組織の採取の実施状況が把握される。
＜第３実施形態＞
上記第２実施形態では、気管支撮像動画像１２２に基づいて採取完了情報１０８が生成される形態例を挙げて説明したが、本開示の技術は、これに限定されない。本第３実施形態では、気管支撮像動画像１２２に基づいて生成された結果に対して、医師１６による音声指示によって組織の採取が完了したことが受け付けられる。
一例として図１６に示すように、画像認識部７０Ｇは、内視鏡スコープ３８から気管支撮像動画像１２２を取得する。画像認識部７０Ｇは、気管支撮像動画像１２２に対して画像処理を行うことにより、穿刺針４４Ａを示す画像領域を検出する。画像認識部７０Ｇは、穿刺針４４Ａが検出された後、穿刺針４４Ａが非検出となった場合に検出結果を出力する。採取関連情報生成部７０Ｆは、画像認識部７０Ｇから出力された検出結果に基づいて採取完了情報１０８を生成し、第３表示制御部７０Ｄに採取完了情報１０８を出力する。
一例として図１７に示すように、第３表示制御部７０Ｄは、第２画面２４において組織の採取が完了したことをユーザに確認させるための表示をする。図１７に示す例では、第２画面２４において、確認用画像１０２Ａの下部に「採取が完了しましたか？」というテキストが表示されている。
マイクロフォン２１は、医師１６から発せられた音声１６Ａ（例えば、「完了」という音声）を音声信号として音声認識部７０Ｅに出力する。音声認識部７０Ｅによって医師１６の音声による指示である音声指示が認識された場合、第３表示制御部７０Ｄは、音声認識部７０Ｅによって出力された音声指示を受け付ける。第３表示制御部７０Ｄは、採取完了情報１０８に従って第２画面２４に表示された確認用画像１０２Ａを更新する。第３表示制御部７０Ｄは、組織の採取が完了したリンパ節６７に対応するリンパ節画像１０６に対して、組織の採取が完了した表示を付加する。
以上説明したように、本第３実施形態に係る内視鏡システム１０では、受付装置（例えば、マイクロフォン２１）が医師１６による音声指示を受け付ける。受付装置により受け付けられた指示は、リンパ節６７における組織の採取を示す気管支撮像動画像１２２に基づいて生成された結果に対する指示である。これにより、気管支撮像動画像１２２に基づく生体検査の状況に対して、医師１６による確認を得ることができる。従って、本構成によれば、組織の採取の実施状況が把握される。
上記第３実施形態では、組織の採取が完了したか否かの表示（例えば、「採取が完了しましたか？」という表示）がされる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、採取が完了したか否かの表示に代えて、又は採取が完了したか否かの表示とともに、何回目の採取であるかを確認する表示がされてもよい。
また、上記第３実施形態では、組織の採取が完了したか否かの表示がされる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、画像認識部７０Ｇにおいて、気管支撮像動画像１２２に基づいて組織の採取が完了したことが検出された後、画面２４において修正を受付ける表示（例えば、「修正しますか？」という表示）がされてもよい。受付装置（例えば、マイクロフォン２１）は、ユーザによる修正の指示を受け付ける。この場合、ユーザによる修正の入力があった場合、画像認識部７０Ｇは、再度、気管支撮像動画像１２２において組織の採取を検出するための画像処理を行う。ユーザによる修正の入力が無かった場合は、画像認識部７０Ｇは、組織の採取が完了したことを確定とする。これにより、気管支撮像動画像１２２に基づく生体検査の状況に対して、医師１６による確認を得ることができる。従って、本構成によれば、組織の採取の実施状況が把握される。
［第５変形例］
上記各実施形態では、気管支撮像動画像１２２として光学画像が用いられる形態例を挙げて説明したが、本開示の技術は、これに限定されない。本第５変形例では、気管支撮像動画像１２２に代えて気管支超音波動画像１２６が用いられる。
一例として図１８に示すように、挿入部３４の先端部３６には、内視鏡スコープ３８、照明装置４０、処置具用開口４２、及び超音波装置４３が設けられている。超音波装置４３は、超音波振動子から超音波を発することにより、気管支内を超音波検査する。制御装置４６において、第２表示制御部７０Ｃは、超音波装置４３から気管支超音波動画像１２６を取得する。気管支超音波動画像１２６は、図１に示す内視鏡画像２８の一例である。気管支超音波動画像１２６は、本開示の技術に係る「医療画像」、「超音波画像」、及び「リアルタイム画像」の一例である。気管支超音波動画像１２６は、超音波装置４３によって経路６８（図３参照）に沿って気管６４内及び気管支６６内（図３参照）が超音波探査されることによって得られる動画像である。第２表示制御部７０Ｃは、表示装置１４の第１画面２２に気管支超音波動画像１２６を表示する。
マイクロフォン２１は、医師１６から発せられた音声１６Ａを音声信号として音声認識部７０Ｅに出力する。音声認識部７０Ｅによって医師１６の音声１６Ａによる指示である音声指示が認識された場合、採取関連情報生成部７０Ｆは、音声認識部７０Ｅによって出力された音声指示を受け付ける。採取関連情報生成部７０Ｆは、音声指示に従って採取完了情報１０８を生成する。第３表示制御部７０Ｄは、採取完了情報１０８に従って第２画面２４に表示された確認用画像１０２Ａを更新する。
以上説明したように、本第５変形例に係る内視鏡システム１０では、気管支超音波動画像１２６は、超音波画像である。超音波画像は、気管支６６及び周辺のリンパ節６７に対する超音波探査により得られる画像である。超音波画像を用いることで、光学画像のみでは把握することのできないリンパ節６７と穿刺針４４Ａとの位置関係等の情報を得ることができる。従って、本構成によれば、組織の採取の実施状況が把握される。
［第６変形例］
上記第５変形例では、医師１６による音声指示によって組織の採取が完了したことが受け付けられる形態例を挙げて説明したが、本開示の技術は、これに限定されない。本第６変形例では、気管支超音波動画像１２６に基づいて組織の採取の完了を示す採取完了情報１０８が生成されてもよい。
一例として図１９に示すように、画像認識部７０Ｇは、超音波装置４３から気管支超音波動画像１２６を取得する。画像認識部７０Ｇは、気管支超音波動画像１２６に対して画像処理を行うことにより、穿刺針４４Ａを示す画像領域を検出する。画像認識部７０Ｇは、穿刺針４４Ａが検出された後、穿刺針４４Ａが検出されなくなった場合に検出結果を出力する。採取関連情報生成部７０Ｆは、画像認識部７０Ｇから出力された検出結果に基づいて採取完了情報１０８を生成する。第３表示制御部７０Ｄは、採取完了情報１０８に従って第２画面２４に表示された確認用画像１０２Ａを更新する。
以上説明したように、本第６変形例に係る内視鏡システム１０では、採取完了情報１０８は、リンパ節６７における組織の採取を示す気管支超音波動画像１２６に基づいて生成される。これにより、採取完了情報１０８は、気管支超音波動画像１２６により示される組織の採取の実施状況を反映している。従って、本構成によれば、組織の採取の実施状況が把握される。
また、本第６変形例に係る内視鏡システム１０では、気管支超音波動画像１２６は、リアルタイム画像である。採取完了情報１０８が、組織の採取の様子を示すリアルタイム画像により得られる。これにより、採取完了情報１０８は、リアルタイム画像により示される現在の組織の採取の実施状況を反映している。従って、本構成によれば、組織の採取の実施状況が把握される。
なお、上記第３実施形態では、採取関連情報生成部７０Ｆにおいて、採取完了情報１０８が生成される形態例を挙げて説明したが、本開示の技術は、これに限定されない。気管支超音波動画像１２６を用いる場合であっても、気管支撮像動画像１２２の場合と同様に、採取関連情報生成部７０Ｆにおいて、採取完了情報１０８に代えて、又は採取完了情報１０８とともに採取回数情報１１０が生成されてもよい。
また、上記各実施形態では、気管支撮像動画像１２２又は気管支超音波動画像１２６の何れかが用いられる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、気管支撮像動画像１２２及び気管支超音波動画像１２６の両方が用いられる態様であってもよい。さらに、気管支撮像動画像１２２及び気管支超音波動画像１２６に代えて、又はこれらと共に内視鏡装置１２によって得られたレントゲン画像が用いられる態様であってもよい。
上記各実施形態では、気管支内視鏡１８を例示したが、本開示の技術はこれに限定されず、上部消化器官内視鏡又は下部消化器官内視鏡等のように体内の空洞領域（例えば、食道から十二指腸までの領域、又は、肛門から小腸までの領域など）を観察する内視鏡であっても、本開示の技術は成立する。この場合、体内の空洞領域が、上記実施形態で説明した経路６８が付与された気管６４及び気管支６６に対応する。
上記各実施形態では、第１画面２２、第２画面２４、及び第３画面２６が表示装置１４に表示される形態例を挙げて説明したが、第１画面２２、第２画面２４、及び第３画面２６が異なる表示装置によって分散して表示されるようにしてもよい。また、第１画面２２の大きさ、第２画面２４の大きさ、及び第３画面２６の大きさが選択的に変更されるようにしてもよい。
上記各実施形態では、内視鏡装置１２のプロセッサ７０によって医療支援処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、医療支援処理を行うデバイスは、内視鏡装置１２の外部に設けられていてもよい。内視鏡装置１２の外部に設けられるデバイスの一例としては、サーバが挙げられる。例えば、サーバは、クラウドコンピューティングによって実現される。ここでは、クラウドコンピューティングを例示しているが、これは、あくまでも一例に過ぎず、例えば、サーバは、メインフレームによって実現されてもよいし、フォグコンピューティング、エッジコンピューティング、又はグリッドコンピューティング等のネットワークコンピューティングによって実現されてもよい。ここでは、内視鏡装置１２の外部に設けられるデバイスの一例として、サーバを挙げているが、これは、あくまでも一例に過ぎず、サーバに代えて、少なくとも１台のパーソナル・コンピュータ等であってもよい。また、医療支援処理は、内視鏡装置１２と内視鏡装置１２の外部に設けられるデバイスとを含む複数のデバイスによって分散して行われるようにしてもよい。
また、上記各実施形態では、ＮＶＭ７４に医療支援処理プログラム８４が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、医療支援処理プログラム８４がＳＳＤ又はＵＳＢメモリなどの可搬型の記憶媒体に記憶されていてもよい。記憶媒体は、非一時的なコンピュータ読取可能な記憶媒体である。記憶媒体に記憶されている医療支援処理プログラム８４は、制御装置４６のコンピュータ６９にインストールされる。プロセッサ７０は、医療支援処理プログラム８４に従って医療支援処理を実行する。
上記各実施形態では、コンピュータ６９が例示されているが、本開示の技術はこれに限定されず、コンピュータ６９に代えて、ＡＳＩＣ、ＦＰＧＡ、及び／又はＰＬＤを含むデバイスを適用してもよい。また、コンピュータ６９に代えて、ハードウェア構成及びソフトウェア構成の組み合わせを用いてもよい。
上記各実施形態で説明した各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、医療支援処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電子回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで医療支援処理を実行する。
医療支援処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はプロセッサとＦＰＧＡとの組み合わせ）で構成されてもよい。また、医療支援処理を実行するハードウェア資源は１つのプロセッサであってもよい。
１つのプロセッサで構成する例としては、第１に、１つ以上のプロセッサとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、医療支援処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、医療支援処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、医療支援処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電子回路を用いることができる。また、上記の医療支援処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
１０ 内視鏡システム
１２ 内視鏡装置
１４ 表示装置
１４Ａ 画面
１５ 顕微鏡
１６ 医師
１８ 気管支内視鏡
２０ 被検者
２１ マイクロフォン
２２ 第１画面
２４ 第２画面
２６ 第３画面
２８ 内視鏡画像
３０ 臓器画像
３２ 操作部
３２Ａ 回転操作ノブ
３２Ｂ 送気・送水ボタン
３２Ｃ 吸引ボタン
３４ 挿入部
３６ 先端部
３８ 内視鏡スコープ
４０ 照明装置
４２ 処置具用開口
４３ 超音波装置
４４ 処置具
４４Ａ 穿刺針
４５ 処置具挿入口
４６ 制御装置
４８ 光源装置
５０ ケーブル
５２ ハードキー
５４ タッチパネル
５６ 鼻孔
５８ 鼻腔
６０ 咽頭
６２ 喉頭
６４ 気管
６６ 気管支
６６Ａ 目標位置
６７ リンパ節
６８ 経路
６９ コンピュータ
７０，９０ プロセッサ
７０Ａ 第１表示制御部
７０Ｂ 生検対象取得部
７０Ｂ１ 生検対象情報
７０Ｃ 第２表示制御部
７０Ｄ 第３表示制御部
７０Ｅ 音声認識部
７０Ｆ 採取関連情報生成部
７０Ｇ 画像認識部
７２ ＲＡＭ
７４，９２ ＮＶＭ
７６ 外部Ｉ／Ｆ
７８ 通信Ｉ／Ｆ
８０ バス
８２ 生検経路生成装置
８４ 医療支援処理プログラム
９４ ボリュームデータ
９６ 気管支ボリュームデータ
９７ リンパ節ボリュームデータ
９８ 気管支経路
１００ 気管支ボリュームデータ
１０２ 選択用画像
１０２Ａ 確認用画像
１０４ 気管支画像
１０６ リンパ節画像
１０７ 採取関連情報
１０８ 採取完了情報
１１０ 採取回数情報
１１２ 採取識別情報
１１４ 病理診断結果情報
１２２ 気管支撮像動画像
１２４ フレーム
１２６ 気管支超音波動画像

Claims (20)

  1. プロセッサを備え、
    前記プロセッサは、臓器における複数の第１位置から、組織が採取された場合に、前記第１位置毎の前記組織の採取の状況に関する情報である採取関連情報を出力する
    医療支援装置。
  2. 前記採取関連情報は、前記第１位置毎の前記組織の採取の完了を示す情報である採取完了情報を含む
    請求項１に記載の医療支援装置。
  3. 前記採取関連情報は、前記第１位置毎の前記組織の採取の回数を示す情報である採取回数情報を含む
    請求項１に記載の医療支援装置。
  4. 前記採取関連情報は、前記第１位置毎の前記組織の採取の完了を示す情報である採取完了情報、及び前記第１位置毎の前記組織の採取の回数を示す情報である採取回数情報を含む
    請求項１に記載の医療支援装置。
  5. 前記採取関連情報は、前記第１位置における前記組織の採取が複数回行われる場合に、複数回の前記組織の採取の各々を識別する情報である採取識別情報を含む
    請求項１に記載の医療支援装置。
  6. 前記採取識別情報は、前記第１位置における複数回の前記組織の採取毎に、前記組織の採取により得られる病理診断結果と対応付けられている
    請求項５に記載の医療支援装置。
  7. 前記採取関連情報は、前記第１位置における前記組織の採取を示す医療画像に基づいて生成される
    請求項１から請求項６の何れか一項に記載の医療支援装置。
  8. 前記医療画像は、リアルタイム画像である
    請求項７に記載の医療支援装置。
  9. 前記医療画像は、光学画像及び／又は超音波画像である
    請求項７に記載の医療支援装置。
  10. 前記採取関連情報は、前記医療画像において前記第１位置における前記組織の採取が行われた場合に生成される
    請求項７に記載の医療支援装置。
  11. 前記採取関連情報は、前記複数の第１位置毎に得られた前記医療画像と対応付けられている
    請求項７に記載の医療支援装置。
  12. 前記採取関連情報は、受付装置により受け付けられた指示に基づいて生成される
    請求項１から請求項６の何れか一項に記載の医療支援装置。
  13. 前記受付装置により受け付けられた指示は、前記第１位置における前記組織の採取を示す医療画像に基づいて生成された結果に対する指示である
    請求項１２に記載の医療支援装置。
  14. 前記受付装置により受け付けられた指示は、前記第１位置における前記組織の採取を示す医療画像に基づいて前記組織の採取が検出された場合に受け付けられる指示である
    請求項１２に記載の医療支援装置。
  15. 前記臓器を示す画像である臓器画像において、前記第１位置に対応した位置である第２位置毎に、前記第１位置に応じた前記採取関連情報により示される前記組織の採取の状況が表示される
    請求項１から請求項６の何れか一項に記載の医療支援装置。
  16. 前記第２位置に前記採取関連情報により示される前記組織の採取の回数が表示装置に表示される
    請求項１５に記載の医療支援装置。
  17. 前記複数の第１位置から前記組織が採取される順番は、予め定められた順番である
    請求項１に記載の医療支援装置。
  18. 臓器における複数の第１位置から、組織が採取された場合に、前記第１位置毎の前記組織の採取の状況に関する情報である採取関連情報を出力すること
    を含む医療支援方法。
  19. 前記組織の採取を示す医療画像に基づいて前記組織の採取が行われたことを判定すること、
    前記判定結果に対するユーザの指示を受け付けること、及び、
    前記指示に応じて前記第１位置毎の前記組織の採取の回数を示す採取回数情報を出力すること、
    を含む請求項１８に記載の医療支援方法。
  20. コンピュータに、
    臓器における複数の第１位置から、組織が採取された場合に、前記第１位置毎の前記組織の採取の状況に関する情報である採取関連情報を出力すること
    を含む処理を実行させるためのプログラム。
JP2022077138A 2022-05-09 2022-05-09 医療支援装置、医療支援方法、及びプログラム Pending JP2023166228A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022077138A JP2023166228A (ja) 2022-05-09 2022-05-09 医療支援装置、医療支援方法、及びプログラム
US18/307,831 US20240079100A1 (en) 2022-05-09 2023-04-27 Medical support device, medical support method, and program
DE102023111900.1A DE102023111900A1 (de) 2022-05-09 2023-05-08 Medizinische unterstützungsvorrichtung, medizinisches unterstützungsverfahren und programm

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022077138A JP2023166228A (ja) 2022-05-09 2022-05-09 医療支援装置、医療支援方法、及びプログラム

Publications (1)

Publication Number Publication Date
JP2023166228A true JP2023166228A (ja) 2023-11-21

Family

ID=88414065

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022077138A Pending JP2023166228A (ja) 2022-05-09 2022-05-09 医療支援装置、医療支援方法、及びプログラム

Country Status (3)

Country Link
US (1) US20240079100A1 (ja)
JP (1) JP2023166228A (ja)
DE (1) DE102023111900A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005007145A (ja) 2003-05-27 2005-01-13 Olympus Corp 医療用画像記録装置、内視鏡画像の表示方法、内視鏡画像の取り込み方法及びプログラム
WO2017175315A1 (ja) 2016-04-05 2017-10-12 株式会社島津製作所 放射線画像診断装置、放射線画像と分析結果との関連付け方法および放射線画像診断システム
JP7142023B2 (ja) 2017-11-01 2022-09-26 富士フイルム株式会社 生検支援装置、内視鏡装置、生検支援装置の作動方法、及び生検支援プログラム

Also Published As

Publication number Publication date
DE102023111900A1 (de) 2023-11-09
US20240079100A1 (en) 2024-03-07

Similar Documents

Publication Publication Date Title
JP5291955B2 (ja) 内視鏡検査システム
EP2430979B1 (en) Biopsy support system
JP5504028B2 (ja) 観察支援システムおよび方法並びにプログラム
JP5486432B2 (ja) 画像処理装置、その作動方法およびプログラム
US20210361142A1 (en) Image recording device, image recording method, and recording medium
JP6270026B2 (ja) 内視鏡観察支援装置
JP4334839B2 (ja) 内視鏡観測装置
JP4686279B2 (ja) 医用診断装置及び診断支援装置
JP5226244B2 (ja) 医用ガイドシステム
JP2023166228A (ja) 医療支援装置、医療支援方法、及びプログラム
WO2024042895A1 (ja) 画像処理装置、内視鏡、画像処理方法、及びプログラム
US20230363622A1 (en) Information processing apparatus, bronchoscope apparatus, information processing method, and program
US20230380910A1 (en) Information processing apparatus, ultrasound endoscope, information processing method, and program
WO2024048098A1 (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム
WO2024096084A1 (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム
WO2024004597A1 (ja) 学習装置、学習済みモデル、医用診断装置、超音波内視鏡装置、学習方法、及びプログラム
WO2024018713A1 (ja) 画像処理装置、表示装置、内視鏡装置、画像処理方法、画像処理プログラム、学習済みモデル、学習済みモデル生成方法、及び、学習済みモデル生成プログラム
WO2023166974A1 (ja) 画像処理装置、内視鏡装置、画像処理方法、及びプログラム
WO2023238609A1 (ja) 情報処理装置、内視鏡装置、情報処理方法、及びプログラム
EP4302681A1 (en) Medical image processing device, medical image processing method, and program
WO2022202401A1 (ja) 医療画像処理装置、内視鏡システム、医療画像処理方法、及び医療画像処理プログラム
WO2024101255A1 (ja) 医療支援装置、超音波内視鏡、医療支援方法、及びプログラム
JP2024033598A (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム
JP4190454B2 (ja) 挿入支援装置
US20190099155A1 (en) Diagnostic imaging system