JP2022062490A - 内視鏡システム及びその作動方法 - Google Patents

内視鏡システム及びその作動方法 Download PDF

Info

Publication number
JP2022062490A
JP2022062490A JP2020170528A JP2020170528A JP2022062490A JP 2022062490 A JP2022062490 A JP 2022062490A JP 2020170528 A JP2020170528 A JP 2020170528A JP 2020170528 A JP2020170528 A JP 2020170528A JP 2022062490 A JP2022062490 A JP 2022062490A
Authority
JP
Japan
Prior art keywords
user
command
voice
endoscope
operation command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2020170528A
Other languages
English (en)
Inventor
裕哉 木村
Hiroya Kimura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2020170528A priority Critical patent/JP2022062490A/ja
Priority to CN202111173549.7A priority patent/CN114287872A/zh
Publication of JP2022062490A publication Critical patent/JP2022062490A/ja
Abandoned legal-status Critical Current

Links

Images

Landscapes

  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)

Abstract

【課題】検査中に、使用可能な操作コマンドをユーザが確認することができる内視鏡システム及びその作動方法を提供する。【解決手段】光源装置13、内視鏡12、又はプロセッサ装置14の少なくともいずれかは、操作コマンドによって制御される。操作コマンドのうち内視鏡の操作スイッチ18a~eに割り当てられたスイッチ割当操作コマンド、及び、操作コマンドのうち音声認識による操作が可能な音声操作可能コマンドを含む操作コマンド画面25をディスプレイ15に表示する。【選択図】図5

Description

本発明は、操作コマンドを用いて制御を行う内視鏡システム及びその作動方法に関する。
現在の医療分野においては、光源装置、内視鏡、及びプロセッサ装置を備える内視鏡システムが普及している。内視鏡システムにおいては、内視鏡の操作部に設けられた操作スイッチを操作することによって、各操作スイッチに対応する操作コマンドをプロセッサ装置に入力する。プロセッサ装置は、入力された操作コマンドに従って、光源装置等の制御を行う。
近年では、内視鏡システムの技術的進歩により、観察モードが増加し、また、ユーザによる制御可能な処理等が増加してきた。これに伴い、ユーザが操作できる操作コマンドも増加するが、内視鏡の操作部に設けられた操作スイッチだけでは、数が足りずに、増大する操作コマンドに対応することが難しくなっていた。これに対して、特許文献1では、ユーザが発した音声に基づいて操作コマンドを認識し、認識した操作コマンドに基づいて各種制御を行っている。
特許第5326066号公報
上記したように、操作コマンドの増加に伴い、ユーザは目的の操作に対応する操作コマンドが分からない、又は、覚えることが難しいことがあった。そこで、検査中に、使用可能な操作コマンドをユーザが確認できることが求められていた。これに関して、特許文献1では、音声認識可能な操作コマンドを表示することが記載されているが、操作コマンドの表示は、検査中にユーザが注視する表示装置ではなく、各種設定用の操作パネルに行われる。したがって、特許文献1の表示では、検査中にユーザが容易に確認することは難しい。
本発明は、検査中に、使用可能な操作コマンドをユーザが確認することができる内視鏡システム及びその作動方法を提供することを目的とする。
本発明は、ユーザによる操作コマンドによって、光源装置、内視鏡、又はプロセッサ装置の少なくともいずれかが制御される内視鏡システムにおいて、操作コマンドのうち内視鏡の操作スイッチに割り当てられたスイッチ割当操作コマンド、及び、操作コマンドのうち音声認識による操作が可能な音声操作可能コマンドを含む操作コマンド画面をディスプレイに表示するプロセッサを有する。
音声操作可能コマンドは、スイッチ割当操作コマンド以外であることが好ましい。音声操作可能コマンドは、ユーザ毎に設定されるユーザ識別情報毎に異なっていることが好ましい。プロセッサは、ユーザ毎に設定されるユーザ識別情報毎に定められた優先度に従って、操作コマンド画面に音声操作可能コマンドを表示又は非表示にすることが好ましい。検査毎に各ユーザが使用した操作コマンドを含む第1教師データに基づいて機械学習された第1学習モデルを用いて、ユーザ識別情報の入力に対して優先度を出力することが好ましい。プロセッサは、検査毎に得られる画像から各ユーザの手技特徴を認識し、第1教師データは、各ユーザの手技特徴を含むことが好ましい。
検査毎に各ユーザが音声操作可能コマンドの操作のために発した操作用音声データを含む第2教師データに基づいて機械学習された第2学習モデルを用いて、操作用音声データの入力に対して音声認識の結果を出力することが好ましい。
操作コマンド画面は、ユーザ毎に設定されるユーザ識別情報毎に異なっていることが好ましい。操作コマンド画面は、検査毎に異なっていることが好ましい。
本発明は、ユーザによる操作コマンドによって、光源装置、内視鏡、又はプロセッサ装置の少なくともいずれかが制御される内視鏡システムの作動方法において、プロセッサが、操作コマンドのうち内視鏡の操作スイッチに割り当てられたスイッチ割当操作コマンド、及び、操作コマンドのうち音声認識による操作が可能な音声操作可能コマンドを含む操作コマンド画面をディスプレイに表示するステップを有する。
本発明によれば、検査中に、使用可能な操作コマンドをユーザが確認することができる。
内視鏡システムの概略図である。 操作コマンドを受け付けるプロセッサ装置の機能を表すブロック図である。 (A)はユーザIDが医師Aである場合の操作コマンド画面を、(B)はユーザIDが医師Bである場合の操作コマンド画面を示す画像図である。 (A)は上部消化管検査である場合の操作コマンド画面を、(B)は下部消化管検査である場合の操作コマンド画面を示す画像図である。 スイッチ割当操作コマンド及び音声操作可能コマンドを含む操作コマンド画面を示す画像図である。 (A)は医師Aに適した音声操作可能コマンドを含む操作コマンド画面を、(B)は医師Bに適した音声操作可能コマンドを含む操作コマンド画面を示す画像図である。 第1学習モデルを有する学習用サーバと通信可能なプロセッサ装置の機能を表すブロック図である。 第2学習モデルを有する学習用サーバと通信可能なプロセッサ装置の機能を表すブロック図である。 操作コマンドを用いるユーザの操作の一連の流れを示すフローチャートである。
図1に示すように、内視鏡システム10は、内視鏡12と、光源装置13と、プロセッサ装置14と、ディスプレイ15と、ユーザインターフェース16とを有する。内視鏡12は、光源装置13と光学的に接続され、且つ、プロセッサ装置14と電気的に接続される。内視鏡12は、観察対象の体内に挿入される挿入部12aと、挿入部12aの基端部分に設けられた操作部12bと、挿入部12aの先端側に設けられた湾曲部12c及び先端部12dとを有している。湾曲部12cは、操作部12bを操作することにより湾曲動作する。先端部12dは、湾曲部12cの湾曲動作によって所望の方向に向けられる。
操作部12bには、ユーザによる操作コマンドの操作に用いられる5つの操作スイッチ18a、b、c、d、eが設けられている。各操作スイッチには、ユーザインターフェース16を介して、それぞれ操作コマンドが割り当てられている。また、操作部12bには、観察対象の拡大又は縮小に用いられるズーム操作部19が設けられている。
光源装置13は、観察対象を照明するための照明光を生成し、生成した照明光を内視鏡12に供給する。内視鏡12は、光源装置13からの照明光を観察対象に向けて照射し、照明光で照明された観察対象を撮像する。内視鏡12は、観察対象を撮像することによって得られた画像をプロセッサ装置14に送信する。プロセッサ装置14は、ディスプレイ15及びユーザインターフェース16と電気的に接続される。プロセッサ装置14では、内視鏡12からの画像に対して、色調調整処理又は構造強調処理などの各種の画像処理を施す。各種の画像処理が施された画像はディスプレイ15に送信される。ディスプレイ15は、観察対象の画像や、観察対象の画像に付帯する情報等を出力表示する。ユーザインターフェース16は、キーボード、マウス、タッチパッド、マイク等を有し、機能設定等の入力操作を受け付ける機能を有する。
なお、プロセッサ装置14には、病変部をAI(Artificial Intelligence)で検出するAI処理などを実行するための拡張プロセッサ装置(図示しない)を接続してもよい。この場合、拡張プロセッサ装置で処理した画像等を表示するために、ディスプレイ15とは別体の拡張ディスプレイ(図示しない)を拡張プロセッサ装置に接続してもよい。
また、プロセッサ装置14には、各種処理を実行するためのプログラムがプログラム用メモリ(図示しない)に組み込まれている。プロセッサ装置14には、プロセッサから構成される中央制御部(図示しない)が設けられている。中央制御部がプログラム用メモリ内のプログラムを実行することによって、後述するコマンド受付部20、コマンド指示部21、音声認識部22、優先度決定部32、及び、手技特徴認識部36の機能が実現する。
図2に示すように、プロセッサ装置14は、各種の操作コマンドを受け付けるコマンド受付部20と、コマンド受付部20が受け付けた操作コマンドに対応する指示を、光源装置13、内視鏡12、又はプロセッサ装置14の少なくともいずれかに対して行うコマンド指示部21とを有している。光源装置13、内視鏡12、又はプロセッサ装置14は、コマンド指示部21からの指示に基づいて、各種の制御を行う。なお、コマンド指示部21は、上記した拡張プロセッサ装置、又は、その他の周辺機器に対して指示を行ってもよい。
コマンド受付部20は、操作スイッチ18a~eとユーザインターフェース16とに接続されている。コマンド受付部20は、操作スイッチ18a~eによる操作に基づく操作コマンドを受け付ける。コマンド受付部20は、ユーザインターフェース16を介して、操作コマンドを受け付ける。また、コマンド受付部20には、ユーザインターフェース16のうちマイク16aで得られた音声を認識し、音声認識の結果に基づいて操作コマンドを取得する音声認識部22が設けられている。音声認識部22で得られた操作コマンドは、コマンド指示部21に送られる。例えば、ユーザが「アイリス」と発生した場合には、音声認識部22は、操作コマンドに関する音声データを記憶した音声コマンド記憶メモリ(図示しない)を参照して、マイク16aからの音声データに基づいて、「アイリス」に対応する操作コマンド「IRIS」を特定する。
なお、操作コマンドは、光源装置13、内視鏡12、又はプロセッサ装置14の少なくともいずれかを制御するために用いられる。光源装置13を制御する操作コマンドとして、例えば、照明光の光量微調整を行うための光源微調整用操作コマンド(IRIS)がある。また、内視鏡12を制御するコマンドとして、内視鏡12の先端部12dに設けられた撮像センサのシャッタースピードを変更するためのシャッタースピード変更用操作コマンド(SHUTTER)がある。シャッタースピードは、通常1/60(fps(flame per second))で、拍動によるブレが大きい場合等には、シャッタースピード変更用操作コマンドを操作して、高速の1/100fps、1/200fpsに変更することができる。
プロセッサ装置14を制御するためのコマンドとして、例えば、検査中の特定のシーンで時間を計測し、計測した時間をディスプレイ15に表示するタイマー用操作モード(TIMER)、検査中に過去の画像をディスプレイ15に表示するための過去画像表示用操作コマンド、又は、病変などの注目領域をAI(Artificial Intelligence)で検出し、各種ステージなどで注目領域を鑑別するためのAI処理用操作コマンド(AI Characterization)などがある。また、プロセッサ装置14を制御するためのコマンドとして、白色光画像から目的の波長帯域の分光画像を推定する分光推定用操作コマンド(FICE(flexible spectral imaging color enhancement))がある。
また、光源装置13及びプロセッサ装置14の両方を制御する操作コマンドとして、例えば、照明光のスペクトル及び画像処理の内容がそれぞれ異なっている複数の観察モードを切り替えるための観察モード切替用操作コマンドがある。本実施形態では、複数の観察モードとして、4つの第1観察モード、第2観察モード、第3観察モード、第4観察モードを用いる。
また、内視鏡12及びプロセッサ装置14を制御する操作コマンドとして、例えば、観察対象を静止状態にするフリーズ用操作コマンド(FRZ)、観察対象を静止して静止画を取得し、手動又は自動でキャプチャを行う静止画取得用操作コマンド(静止画を手動でキャプチャする場合はF/T(フリーズ/トリガー)、静止画を自動でキャプチャする場合はF+T(フリーズ+トリガー)など)などがある。また、ディスプレイ15での画像サイズを拡大又は縮小するための画面サイズ調整用操作コマンド(Display Size)がある。
プロセッサ装置14は、検査中に使用可能な操作コマンドを確認できるようにするために、図3に示すように、使用可能な操作コマンドを列挙した操作コマンド画面25をディスプレイ15に表示する。なお、ユーザの使用履歴等を考慮して、ユーザ毎に設定されるユーザID(IDentification)(ユーザ識別情報)毎に、操作コマンド画面25が異なっていることが好ましい。例えば、図3に示すように、ユーザIDが医師Aである場合の操作コマンド画面25((A)参照)と、別のユーザIDである医師Bの場合の操作コマンド画面26((B)参照)とは、それぞれ列挙される操作コマンドの内容が異なっている。
また、各検査で使用可能な操作コマンドが異なっている場合があることを考慮し、検査毎に操作コマンド画面25が異なっていることが好ましい。例えば、図4に示すように、食道、胃などを検査する上部消化管検査である場合の操作コマンド画面27((A)参照)と、別の検査である下部消化管検査(大腸を検査する)である場合の操作コマンド画面28((B)参照)とは、それぞれ列挙される操作コマンドの内容が異なっている。
プロセッサ装置14は、図5に示すように、操作コマンドのうち内視鏡の操作スイッチ18a~eに割り当てられたスイッチ割当操作コマンド、及び、操作コマンドのうち音声認識による操作が可能な音声操作可能コマンドを含む操作コマンド画面30をディスプレイ15に表示する。これにより、ユーザは、操作コマンドをどのようにすればよいかが分かりやすくなる。スイッチ割当操作コマンドに関して、操作スイッチ18a、b、c、d、eをそれぞれS1、S2、S3、S4、S5とした場合、S1にはF/Tが、S2には、FICE、S3にはIRISが、S4にはSHUTTERが、S5にはTIMERが割り当てられていることを表している。また、音声操作可能コマンドに関しては、第2観察モード、第3観察モード、過去画像、AI Characterization、Display Sizeが、音声操作可能であることを示す「Voice Control」に表示されている。したがって、音声操作によって、第2観察モードへの切り替え、第3観察モードへの切り替え、過去画像表示用操作コマンド、又は、AI処理用操作コマンドが可能であることを表している。
なお、「Voice Control」の横に「Active」と表示されている場合にのみ、音声操作が可能である。また、図5では、操作コマンド画面30は、体内の画像を表示する観察画像表示部15aと、観察画像表示部15aの外側に設けられ、患者名などを表示する付帯情報表示部15bの両方にわたって重畳表示されているが、その他の表示方法であってもよい。例えば、観察画像表示部15aの内部又は付帯情報表示部15bの内部のいずれかに、操作コマンド画面30を表示するようにしてもよい。
また、音声操作可能コマンドは、スイッチ割当操作コマンド以外であることが好ましい。これは、内視鏡の操作スイッチ18a~eで操作可能な操作コマンドを、更に、音声操作可能コマンドとして表示する必要はないためである。例えば、図5の場合であれば、S1~S5に割り当てられたF/T、FICE、IRIS、SHUTTER、及びTIMERは、「Voice Control」に表示されない。スイッチ割当操作コマンドについては、設定によって、音声操作による操作を可能又は不可能にすることができる。なお、設定により、操作スイッチ18a、b、c、d、e及び音声操作の両方で操作できるようにしてもよい。
音声操作可能コマンドは、ユーザID毎に異なっていることが好ましい。具体的には、音声操作可能コマンドは、ユーザID毎に定められた優先度に従って、操作コマンド画面に表示する又は非表示にすることが好ましい。例えば、ユーザIDが「医師A」である場合に、優先度が、第2観察モード、第3観察モード、過去画像、AI Characterization、Display Size、第4観察モードの順に定められている場合、図6(A)に示すように、操作コマンド画面26において、一番上位に「第2観察モード」が表示され、次に、「第3観察モード」、その次に「過去画像」、その次に「AI Characterization」、そして、一番下位に「Display Size」が表示される。一方、優先度が一番低い「第4観察モード」については、操作コマンド画面25に表示されない。
これに対して、ユーザIDが「医師B」である場合に、優先度が、第2観察モード、第3観察モード、過去画像、AI Characterization、第4観察モード、Display Sizeの順に定められている場合、図6(B)に示すように、操作コマンド画面26において、一番上位に「第2観察モード」が表示され、次に、「第3観察モード」、その次に「過去画像」、その次に「AI Characterization」、そして、一番下位に「第4観察モード」が表示される。一方、優先度が一番低い「Display Size」については、操作コマンド画面26に表示されない。
優先度については、AIを用いて、ユーザ毎に定めることが好ましい。具体的には、図7に示すように、プロセッサ装置14に優先度決定部32を設ける。優先度決定部32は、プロセッサ装置14とは別の学習用サーバ33に接続されており、適宜通信が可能である。学習用サーバ33においては、検査毎に各ユーザが使用した操作コマンドを含む第1教師データ34に基づいて機械学習された第1学習モデル35を用いて、ユーザIDの入力に対して優先度を出力する。検査毎に各ユーザが使用した操作コマンドは、操作履歴としてプロセッサ装置14に記憶される。操作履歴をひとまとめにしたデータは、ユーザIDと対応付けて第1教師データ34とされる。なお、第1学習モデルは、CNN(Convolutional Neural Network)などによって構成することが好ましい。また、学習用サーバ33は、内視鏡システム10を製造、販売等する企業が運用するオンプレミスサーバであることが好ましい。
第1教師データ34には、ユーザの操作履歴以外のデータを用いてもよい。例えば、処置具の使い方、内視鏡の挿入操作の癖などユーザの手技特徴を、第1教師データ34に含めてもよい。この場合、プロセッサ装置14には、図7に示すように、検査毎に得られる画像から各ユーザの手技特徴を認識する手技特徴認識部36が設けられる。手技特徴認識部36で認識した各ユーザの手技特徴は、ユーザIDと対応付けて第1教師データ34とされる。なお、ユーザの手技特徴には、処置具を用いた病変部の切除など観察部位に対する処置の他、内視鏡の挿入部12aの挿入又は抜去などの内視鏡12の操作方法、鑑別を行う際に要する時間なども含まれる。
音声認識部22で行う音声認識については、AIを用いて、ユーザ毎に定めることが好ましい。具体的には、図8に示すように、音声認識部22は、プロセッサ装置14に学習用サーバ33が接続されており、適宜通信が可能である。学習用サーバ33では、検査毎に各ユーザが音声操作可能コマンドの操作のために発した操作用音声データを含む第2教師データ37に基づいて機械学習された第2学習モデル38を用いて、操作用音声データの入力に対して、音声認識の結果を出力する。なお、第2学習モデル38は、CNN(Convolutional Neural Network)などによって構成することが好ましい。
具体的には、第2学習モデル38においては、ユーザ毎に異なる音声操作の嗜好、ユーザのワード又はフレーズ発音特徴などで機械学習されている。これにより、ユーザ毎に操作コマンドの発音の特徴が異なったとしても、正確な操作コマンドを出力することができるようになる。なお、検査毎に各ユーザが発した操作用音声データは、音声発声履歴としてプロセッサ装置14に記憶される。音声発声履歴をひとまとめにしたデータは、ユーザIDと対応付けて第2教師データ37とされる。
次に、操作コマンドを用いるユーザの操作について、図9のフローチャートに沿って説明する。ディスプレイ15の操作コマンド画面25には、内視鏡の操作スイッチ18a~eに割り当てられたスイッチ割当操作コマンド、及び、音声認識による操作が可能な音声操作可能コマンドが表示されている。ユーザは、操作コマンド画面25を確認し、検査の目的に適したコマンドを選択する。
ユーザが選択した操作コマンドがスイッチ割当操作コマンドである場合には、スイッチ割当コマンドに対応する操作スイッチ18a~eを操作する。ユーザによる操作に従って、スイッチ割当コマンドに対応する制御等が行われる。一方、ユーザが選択した操作コマンドがスイッチ割当コマンドでなく音声操作可能コマンドである場合には、ユーザは、音声操作可能コマンドに対応する音声を発する。ユーザが発した音声がマイク16aで捉えられると、音声データが音声認識部22に送られる。音声認識部22では、音声認識の結果に基づいて操作コマンドを取得する。そして、この取得した操作コマンドに対応する制御等が行われる。以上の一連の流れは、検査が終了するまで繰り返し行われる。
上記実施形態において、コマンド受付部20、コマンド指示部21、音声認識部22、優先度決定部32、手技特徴認識部36といった各種の処理を実行する処理部(processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ(processor)である。各種のプロセッサには、ソフトウエア(プログラム)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU(Central Processing Unit)、GPU(Graphical Processing Unit)、FPGA (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、各種の処理を実行するために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
1つの処理部は、これら各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合せ(例えば、複数のFPGA、CPUとFPGAの組み合わせ、またはCPUとGPUの組み合わせ等)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントやサーバなどのコンピュータに代表されるように、1つ以上のCPUとソフトウエアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)などに代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを1つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた形態の電気回路(circuitry)である。また、記憶部のハードウェア的な構造はHDD(hard disc drive)やSSD(solid state drive)等の記憶装置である。
10 内視鏡システム
12 内視鏡
12a 挿入部
12b 操作部
12c 湾曲部
12d 先端部
13 光源装置
14 プロセッサ装置
15 ディスプレイ
15a 観察画像表示部
15b 付帯情報表示部
16 ユーザインターフェース
16a マイク
18a、18b、18c、18d、18e 操作スイッチ
19 ズーム操作部
20 コマンド受付部
21 コマンド指示部
22 音声認識部
25、26、27、28 操作コマンド画面
32 優先度決定部
33 学習用サーバ
34 第1教師データ
35 第1学習モデル
36 手技特徴認識部
37 第2教師データ
38 第2学習モデル

Claims (10)

  1. ユーザによる操作コマンドによって、光源装置、内視鏡、又はプロセッサ装置の少なくともいずれかが制御される内視鏡システムにおいて、
    前記操作コマンドのうち前記内視鏡の操作スイッチに割り当てられたスイッチ割当操作コマンド、及び、前記操作コマンドのうち音声認識による操作が可能な音声操作可能コマンドを含む操作コマンド画面をディスプレイに表示するプロセッサを有する内視鏡システム。
  2. 前記音声操作可能コマンドは、前記スイッチ割当操作コマンド以外である請求項1記載の内視鏡システム。
  3. 前記音声操作可能コマンドは、前記ユーザ毎に設定されるユーザ識別情報毎に異なっている請求項1または2記載の内視鏡システム。
  4. 前記プロセッサは、前記ユーザ毎に設定されるユーザ識別情報毎に定められた優先度に従って、前記操作コマンド画面に前記音声操作可能コマンドを表示又は非表示にする請求項1または2記載の内視鏡システム。
  5. 検査毎に各ユーザが使用した操作コマンドを含む第1教師データに基づいて機械学習された第1学習モデルを用いて、前記ユーザ識別情報の入力に対して前記優先度を出力する請求項4記載の内視鏡システム。
  6. 前記プロセッサは、検査毎に得られる画像から各ユーザの手技特徴を認識し、
    前記第1教師データは、前記各ユーザの手技特徴を含む請求項5記載の内視鏡システム。
  7. 検査毎に各ユーザが前記音声操作可能コマンドの操作のために発した操作用音声データを含む第2教師データに基づいて機械学習された第2学習モデルを用いて、前記操作用音声データの入力に対して前記音声認識の結果を出力する請求項1ないし6いずれか1項記載の内視鏡システム。
  8. 前記操作コマンド画面は、前記ユーザ毎に設定されるユーザ識別情報毎に異なっている請求項1ないし7いずれか1項記載の内視鏡システム。
  9. 前記操作コマンド画面は、検査毎に異なっている請求項1ないし8いずれか1項記載の内視鏡システム。
  10. ユーザによる操作コマンドによって、光源装置、内視鏡、又はプロセッサ装置の少なくともいずれかが制御される内視鏡システムの作動方法において、
    プロセッサが、前記操作コマンドのうち前記内視鏡の操作スイッチに割り当てられたスイッチ割当操作コマンド、及び、前記操作コマンドのうち音声認識による操作が可能な音声操作可能コマンドを含む操作コマンド画面をディスプレイに表示するステップを有する内視鏡システムの作動方法。
JP2020170528A 2020-10-08 2020-10-08 内視鏡システム及びその作動方法 Abandoned JP2022062490A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020170528A JP2022062490A (ja) 2020-10-08 2020-10-08 内視鏡システム及びその作動方法
CN202111173549.7A CN114287872A (zh) 2020-10-08 2021-10-08 内窥镜系统及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020170528A JP2022062490A (ja) 2020-10-08 2020-10-08 内視鏡システム及びその作動方法

Publications (1)

Publication Number Publication Date
JP2022062490A true JP2022062490A (ja) 2022-04-20

Family

ID=80964627

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020170528A Abandoned JP2022062490A (ja) 2020-10-08 2020-10-08 内視鏡システム及びその作動方法

Country Status (2)

Country Link
JP (1) JP2022062490A (ja)
CN (1) CN114287872A (ja)

Also Published As

Publication number Publication date
CN114287872A (zh) 2022-04-08

Similar Documents

Publication Publication Date Title
JP7346285B2 (ja) 医療画像処理装置、内視鏡システム、医療画像処理装置の作動方法及びプログラム
JP4418400B2 (ja) 画像表示装置
JP7060536B2 (ja) 内視鏡画像処理装置、内視鏡画像処理装置の作動方法及びプログラム、内視鏡システム
EP3994702B1 (en) Surgery support system, surgery support method, information processing apparatus, and information processing program
JP2006296569A (ja) 画像表示装置
JP6956853B2 (ja) 診断支援装置、診断支援プログラム、及び、診断支援方法
CN116097287A (zh) 计算机程序、学习模型的生成方法、手术辅助装置以及信息处理方法
CN106659371A (zh) 医用观察设备以及医用观察方法
WO2022014077A1 (ja) 内視鏡システム及びその作動方法
JP2022071617A (ja) 内視鏡システム及び内視鏡装置
JP2022062490A (ja) 内視鏡システム及びその作動方法
WO2020167678A1 (en) Systems and methods for facilitating optimization of an imaging device viewpoint during an operating session of a computer-assisted operation system
WO2021205624A1 (ja) 画像処理装置、画像処理方法、ナビゲーション方法及び内視鏡システム
US9861267B2 (en) Video processor for endoscope, and endoscope system including the same
WO2021192524A1 (ja) 内視鏡システム、制御方法、及び制御プログラム
WO2024048098A1 (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム
WO2024018713A1 (ja) 画像処理装置、表示装置、内視鏡装置、画像処理方法、画像処理プログラム、学習済みモデル、学習済みモデル生成方法、及び、学習済みモデル生成プログラム
JP7076535B2 (ja) 内視鏡装置、内視鏡装置の作動方法、及びプログラム
EP4302681A1 (en) Medical image processing device, medical image processing method, and program
WO2023112499A1 (ja) 内視鏡画像観察支援装置及び内視鏡システム
WO2023007896A1 (ja) 内視鏡システム、プロセッサ装置及びその作動方法
EP4111938A1 (en) Endoscope system, medical image processing device, and operation method therefor
WO2021153471A1 (ja) 医療画像処理装置、医療画像処理方法、及びプログラム
US20220375089A1 (en) Endoscope apparatus, information processing method, and storage medium
WO2023100475A1 (ja) 医療画像処理装置及びその作動方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230706

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20231025