JP2021145788A - 制御装置および医療用観察システム - Google Patents
制御装置および医療用観察システム Download PDFInfo
- Publication number
- JP2021145788A JP2021145788A JP2020046853A JP2020046853A JP2021145788A JP 2021145788 A JP2021145788 A JP 2021145788A JP 2020046853 A JP2020046853 A JP 2020046853A JP 2020046853 A JP2020046853 A JP 2020046853A JP 2021145788 A JP2021145788 A JP 2021145788A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- voice
- operating state
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 71
- 230000008859 change Effects 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims description 57
- 238000000034 method Methods 0.000 abstract description 24
- 230000008569 process Effects 0.000 abstract description 22
- 238000004891 communication Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 15
- 230000005236 sound signal Effects 0.000 description 14
- 230000006870 function Effects 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- VZSRBBMJRBPUNF-UHFFFAOYSA-N 2-(2,3-dihydro-1H-inden-2-ylamino)-N-[3-oxo-3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propyl]pyrimidine-5-carboxamide Chemical class C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C(=O)NCCC(N1CC2=C(CC1)NN=N2)=O VZSRBBMJRBPUNF-UHFFFAOYSA-N 0.000 description 2
- AFCARXCZXQIEQB-UHFFFAOYSA-N N-[3-oxo-3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propyl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical class O=C(CCNC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)N1CC2=C(CC1)NN=N2 AFCARXCZXQIEQB-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 150000002367 halogens Chemical class 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/20—Surgical microscopes characterised by non-optical aspects
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00203—Electrical control of surgical instruments with speech control or speech recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/258—User interfaces for surgical systems providing specific settings for specific users
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/30—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure
- A61B2090/309—Devices for illuminating a surgical field, the devices having an interrelation with other surgical devices or with a surgical procedure using white LEDs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/20—Surgical microscopes characterised by non-optical aspects
- A61B90/25—Supports therefor
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
- G10L2015/025—Phonemes, fenemes or fenones being the recognition units
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
Abstract
【課題】撮像に関する操作指示を音声入力する場合に少ない負荷で簡易に処理する。【解決手段】観察対象を撮像する撮像装置が生成した画像信号を取得する画像信号取得部と、音声入力による操作指示を取得する操作指示取得部と、前記操作指示が前記撮像装置の撮像に関する操作指示である場合、前記撮像装置の動作状態に関する情報とともに、前記動作状態に対応する前記画像信号に基づき生成された複数の画像を表示装置に表示させるよう制御する制御部と、を備え、前記制御部は、前記複数の画像のうち、ユーザにより選択された前記画像に対応する動作状態に前記撮像装置を変化させるよう制御する。【選択図】図２
Description
本開示は、制御装置および医療用観察システムに関する。
観察対象である患者の脳や心臓等の手術を行う際に術部を拡大して撮像し、撮像した画像をモニタで表示する医療用観察システムが知られている（例えば、特許文献１を参照）。
医師等のユーザが撮像に関する各種の操作指示を入力する場合、ユーザは所定のスイッチを操作する必要がある。この操作の際、ユーザは手術をいったん中断したり姿勢を変えたりしなければならず、効率的であるとはいい難い。そこで、ユーザが音声を入力することによって撮像に関する各種の操作指示を行うことが考えられる。
しかしながら、音声入力の場合には、ユーザが発話に要する時間、音声信号を制御装置に伝送する時間、制御装置が発話内容を認識する時間、および動作を完了するまでの時間が必要になり、ユーザが発話したタイミングからの遅延が発生する。このため、例えばユーザが音声入力によってピント合わせをする場合、ユーザが意図した位置にフォーカスレンズが停止せず、ピントが合わなくなる。
そこで、ユーザが意図する動作指令タイミングとそのユーザによって実際に与えられる動作指令タイミングとの時間差を考慮して、ユーザが意図する処理を実現する技術を適用することが考えられる（例えば、特許文献２を参照）。
しかしながら、上述した特許文献２の技術は、処理が煩雑で、システムの負荷が高くなってしまうという問題がある。
本開示は、上記に鑑みてなされたものであって、撮像に関する操作指示を音声入力する場合に少ない負荷で簡易に処理することができる制御装置および医療用観察システムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本開示に係る制御装置は、観察対象を撮像する撮像装置が生成した画像信号を取得する画像信号取得部と、音声入力による操作指示を取得する操作指示取得部と、前記操作指示が前記撮像装置の撮像に関する操作指示である場合、前記撮像装置の動作状態に関する情報とともに、前記動作状態に対応する前記画像信号に基づき生成された複数の画像を表示装置に表示させるよう制御する制御部と、を備え、前記制御部は、前記複数の画像のうち、ユーザにより選択された前記画像に対応する動作状態に前記撮像装置を変化させるよう制御する。
本開示に係る医療用観察システムは、観察対象を撮像して画像信号を生成する撮像装置と、画像を表示する表示装置と、前記撮像装置が生成した画像信号を取得する画像信号取得部と、音声入力による操作指示を取得する操作指示取得部と、前記操作指示が前記撮像装置の撮像に関する操作指示である場合、前記撮像装置の動作状態に関する情報とともに、前記動作状態に対応する前記画像信号に基づき生成された複数の画像を表示装置に表示させるよう制御する制御部と、を有する制御装置と、を備え、前記制御部は、前記複数の画像のうち、ユーザにより選択された前記画像に対応する動作状態に前記撮像装置を変化させるよう制御する。
本開示によれば、撮像に関する操作指示を音声入力する場合に少ない負荷で簡易に処理することができる。
以下、添付図面を参照して、本開示を実施するための形態（以下、「実施の形態」という）を説明する。
（実施の形態１）
図１は、本開示の実施の形態１に係る医療用観察システムを模式的に示す図である。図１においては、医療用観察システム１を用いて手術を行う医師等のユーザ１０１が患者１０２の頭部の手術をしている状況を示している。図１に示す医療用観察システム１は、医療用観察装置２と、表示装置３と、マイクロフォン４とを備える。
図１は、本開示の実施の形態１に係る医療用観察システムを模式的に示す図である。図１においては、医療用観察システム１を用いて手術を行う医師等のユーザ１０１が患者１０２の頭部の手術をしている状況を示している。図１に示す医療用観察システム１は、医療用観察装置２と、表示装置３と、マイクロフォン４とを備える。
医療用観察装置２は手術用顕微鏡であり、顕微鏡装置５と、制御装置６とを備える。顕微鏡装置５は、観察対象を撮像して画像信号を生成する撮像装置としての機能を有する。
表示装置３は、制御装置６と無線または有線で通信可能に接続されており、制御装置６から３次元画像信号または２次元画像信号を受信し、３次元画像信号に基づく３次元画像（３Ｄ画像）または２次元画像信号に基づく２次元画像（２Ｄ画像）を表示する。表示装置３は、液晶または有機ＥＬ（Electro Luminescence）からなる表示パネルを有する。表示装置３は、顕微鏡装置５が撮像した患者１０２の術部の画像を表示する。図１では、表示装置３が３Ｄ画像を表示し、ユーザ１０１が３Ｄ眼鏡１１１をかけて３Ｄ画像を目視している状況を模式的に示している。
マイクロフォン４は、制御装置６と無線または有線で通信接続されており、ユーザ１０１の音声入力を受け付けて音声信号を生成し、その音声信号を制御装置６に送信する。
顕微鏡装置５の外観構成を説明する。顕微鏡装置５は、観察対象の微細構造を拡大して撮像する顕微鏡部７と、顕微鏡部７を支持する支持部８と、支持部８の基端を保持するとともに制御装置６を内蔵するベース部９とを有する。
顕微鏡部７は、円柱状をなす筒状部を有する。本体部の下端部の開口面にはカバーガラスが設けられている（図示せず）。筒状部は、ユーザによって把持可能であり、ユーザが顕微鏡部７の撮像視野を変更する際に把持しながら移動させることが可能な大きさを有している。なお、筒状部の形状は円筒状に限られるわけではなく、多角筒状をなしていてもよい。
支持部８は、アーム部に複数のリンクを有し、隣接するリンク同士が関節部を介して回動可能に連結されている。支持部８の内部に形成された中空部には、顕微鏡部７と制御装置６との間で各種信号を伝送する伝送ケーブルおよび制御装置６が発生する照明光を顕微鏡部７に伝送するライトガイドが通っている。
制御装置６は、マイクロフォン４が生成する音声信号を取得して、その音声信号の内容を認識する。認識の結果、音声信号の内容が顕微鏡装置５の撮像に関する動作指示である場合、顕微鏡装置５の動作状態に関する情報の表示用データを生成し、画像信号と合成して表示用の画像信号を生成し、表示装置３に表示させる。また、制御装置６は、音声信号の内容が顕微鏡装置５の動作の停止指示である場合、その動作を停止させ、停止後に取得した音声信号の内容が顕微鏡装置５の動作状態を指定する情報である場合、音声信号によって指定された動作状態に顕微鏡装置５を変化させる。なお、顕微鏡装置５の撮像に関連する操作指示とは、フォーカス、ズームおよび視野移動のいずれかにおける操作指示である。
図２は、医療用観察システム１の機能構成を示すブロック図である。まず、顕微鏡装置５の機能構成を説明する。顕微鏡装置５は、レンズユニット５１と、レンズ駆動部５２と、絞り５３と、絞り駆動部５４と、撮像部５５と、アーム駆動部５６と、検出部５７と、入力部５８と、通信部５９と、制御部５ａとを備える。
レンズユニット５１は、光軸に沿って移動可能な複数のレンズを用いて構成され、集光した被写体像を撮像部５５が有する撮像素子の撮像面に結像する光学系である。レンズユニット５１は、焦点を調整するフォーカスレンズ５１１と、画角を変更するズームレンズ５１２とを有する。フォーカスレンズ５１１およびズームレンズ５１２は、それぞれ１または複数のレンズを用いて構成される。
レンズ駆動部５２は、制御部５ａの制御のもと、フォーカスレンズ５１１およびズームレンズ５１２をそれぞれ移動させるアクチュエータと、アクチュエータを駆動するドライバとを有する。
絞り５３は、レンズユニット５１と撮像部５５との間に設けられ、制御部５ａによる制御の下、レンズユニット５１から撮像部５５に向かう被写体像の光量を調整する。絞り５３は、レンズユニット５１とともに顕微鏡装置５の光学系を構成する。
絞り駆動部５４は、制御部５ａの制御のもと、絞り５３を動作させて絞り値（Ｆ値ともいう）を調整する。
撮像部５５は、レンズユニット５１が集光した被写体像を結像して撮像画像（アナログ信号）を生成する撮像素子と、撮像素子からの画像信号（アナログ信号）に対して、ノイズ除去やＡ／Ｄ変換等の信号処理を行う信号処理部とを有する。撮像素子は、ＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサを用いて構成される。なお、撮像部５５は２つの撮像素子を有していてもよい。この場合、撮像部５５は３次元画像（３Ｄ画像）の画像信号を生成可能である。
アーム駆動部５６は、制御部５ａの制御のもと、支持部８が有する複数の関節をそれぞれ動作させる。具体的には、アーム駆動部５６は、アーム間の関節部に設けられたアクチュエータと、アクチュエータを駆動するドライバとを有する。
検出部５７は、顕微鏡装置５の状態情報を逐次検出する。顕微鏡装置５の状態情報は、フォーカスレンズ５１１、ズームレンズ５１２、撮像部５５および支持部８の関節部の位置の位置、絞り５３の絞り値等である。検出部５７は、顕微鏡装置５の状態情報を検出するための各種センサを有する。
入力部５８は、レンズユニット５１の操作信号や支持部８のアームの操作信号等の入力を受け付ける。入力部５８は、顕微鏡部７の筒状部の側面のうち、ユーザが顕微鏡部７を把持した状態で操作可能な位置に設けられた複数のスイッチやボタン等を有する。
通信部５９は、制御装置６との間で通信を行うインターフェースである。通信部５９は、撮像部５５が生成した画像信号（デジタル信号）を制御装置６に対して送信するとともに、制御装置６からの制御信号を受信する。
制御部５ａは、制御装置６の制御部６６と連携して顕微鏡装置５の動作を制御する。制御部５ａは、入力部５８は入力を受け付けた操作指示信号や、制御装置６の制御部６６から送られてくる操作指示信号に基づいて、顕微鏡装置５を動作させる。本実施の形態では、制御装置６の制御部６６からは、顕微鏡装置５の撮像視野を移動させるためにアームを動作させる信号を受信する。
制御部５ａは、ＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、およびＡＳＩＣ（Application Specific Integrated Circuit）等の少なくともいずれか一つのプロセッサを用いて構成される。
つぎに、制御装置６の機能構成を説明する。制御装置６は、通信部６１と、入力部６２と、光源部６３と、音声認識部６４と、画像処理部６５と、制御部６６と、記憶部６７と、を備える。通信部６１は、顕微鏡装置５が撮像し、伝送ケーブルを経由して伝送してくる画像信号を取得する。画像信号には、撮像時のゲイン調整値、フォーカスレンズ位置、ズームレンズ位置、シャッター速度、絞り値等の撮像に関する情報が含まれる。また、通信部６１は、マイクロフォン４が入力を受け付けたユーザ１０１の音声信号による操作指示を取得する。この意味で、通信部６１は画像信号取得部と操作指示取得部の機能を有する。
入力部６２は、各種情報の入力を受け付ける。入力部６２は、キーボード、マウス、タッチパネル、フットスイッチ等のユーザインタフェースを用いて構成される。なお、入力部６２に顕微鏡装置５の入力部５８の少なくとも一部の機能を兼備させてもよい。
光源部６３は、ライトガイドを介して顕微鏡装置５に供給する照明光を発生する。光源部６３は、例えばＬＥＤ（Light Emitting Diode）やＬＤ（Laser Diode）等の固体発光素子、レーザ光源、キセノンランプまたはハロゲンランプ等を用いて構成される。
音声認識部６４は、マイクロフォン４から受信した音声信号の認識処理を実行する。音声認識部６４は、音声信号の特徴量と、記憶部６７が記憶する特徴量とを比較することによって音声信号の内容を認識する。音声認識部６４が認識する内容として、顕微鏡装置５の撮像に関する動作指示を与える表現や動作の停止指示を与える表現がある。例えば、動作がフォーカス動作である場合、その動作指示を与える表現は「フォーカスイン」や「フォーカスアウト」である。また、動作がズーム動作である場合、その動作指示を与える表現は「ズームイン」や「ズームアウト」である。また、動作が視野移動である場合、その動作指示を与える表現は「ムーブライト」、「ムーブレフト」、「ムーブアップ」、「ムーブダウン」である。また、動作の停止指示は「ストップ」である。なお、この表現は一例にすぎず、他の表現でも構わない。
画像処理部６５は、通信部６１が取得した画像信号に対して各種信号処理を施す。画像処理部６５が表示用の画像信号を生成する際に行う具体的な画像処理として、画像信号の明るさレベルの検出処理、ゲイン調整、補間処理、色補正処理、色強調処理、および輪郭強調処理等の公知の画像処理を挙げることができる。また、画像処理部６５は、音声認識部６４が認識した音声信号の内容が顕微鏡装置５の撮像に関する動作指示である場合、顕微鏡装置５の動作状態に関する情報の表示用データを生成し、画像信号と合成して表示用の画像信号を生成する。表示用データの内容については、図３〜図５を参照して後述する。画像処理部６５は、ＣＰＵ、ＦＰＧＡ、およびＡＳＩＣ等の少なくともいずれか一つのプロセッサを用いて構成される。
制御部６６は、制御装置６の動作を制御するとともに、顕微鏡装置５の制御部５ａと連携して医療用観察装置２の動作を統括して制御する。制御部６６は、操作指示が顕微鏡装置５の撮像に関する操作指示である場合、顕微鏡装置５の動作状態に関する情報とともに、動作状態に対応する画像信号に基づき生成された複数の画像を表示装置３に表示させるよう制御する。また、制御部６６は、複数の画像のうち、ユーザにより選択された画像に対応する動作状態に顕微鏡装置５を変化させるよう制御する。
制御部６６は、音声認識部６４が認識した音声信号の内容に基づいて顕微鏡装置５を動作させる制御信号を生成し、顕微鏡装置５へ送信する。制御部６６は、顕微鏡装置５が撮像する画像信号の明るさレベルを所定の明るさレベルにするために、撮像部５５のシャッター速度、画像処理部６５が行うゲイン調整、および光源部６３が発生する照明光の光量等を制御する。また、制御部６６は、表示装置３の表示を制御する。
制御部６６は、ＣＰＵ、ＦＰＧＡ、およびＡＳＩＣ等の少なくともいずれか一つのプロセッサを用いて構成される。なお、画像処理部６５と制御部６６を、共通のプロセッサを用いて構成してもよい。
記憶部６７は、戻りモードにおける戻り量を記憶する。この戻り量は、所定の倍率の焦点深度の深さに応じて予め設定される。所定の倍率は、顕微鏡装置５のレンズユニット５１に対して設定可能な倍率のうち、設定可能な範囲の中心の倍率よりも高倍である。また、戻り量は焦点深度の深さの半分以下でもよい。
記憶部６７は、制御装置６が動作するための各種プログラムを記憶するとともに、制御装置６が演算処理中のデータを一時的に記憶する。記憶部６７は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等を用いて構成される。
図３は、医療用観察システム１が行う処理の概要を説明する図である。図３では、ユーザ１０１が顕微鏡装置５のズーム機能を動作させてズーム倍率を上げる指示をマイクロフォン４に音声入力した場合の表示装置３の表示内容の変化を模式的に示している。表示装置３は、顕微鏡装置５が撮像した画像に加えて、その画像における顕微鏡装置５の動作状態であるズーム状態に関する情報として、動作対象物であるズームレンズ５１２の位置情報をクラス分けして画面の右側にＯＳＤ（On-Screen Display）表示している。このＯＳＤ表示は、画像処理部６５によって生成された表示用データに対応している。したがって、図３に示す画像２０１〜２０３は、画像処理部６５によって生成された表示用の画像信号に対応する画像である。画像２０１〜２０３では、その画像を撮像したときのズーム状態を表すクラス番号を、他のクラス番号よりも大きく表示している。例えば、画像２０１ではズーム状態がクラス１であることを示している。
ユーザ１０１がマイクロフォン４に「ズームイン」と入力すると、制御装置６は顕微鏡装置５にズーム倍率を上げるズーム動作を実行させる一方、被写体の画像に加えてズーム状態に関する情報を表示する画像２０１を表示装置３に表示させる。ズーム動作により、ズーム状態はクラス１からクラス２、３、４へと順次変化していく。図３では、ユーザ１０１が、ズーム状態がクラス３である画像２０２を見たときにズーム動作の停止指示である「ストップ」をマイクロフォン４に入力した場合を示している。停止指示の入力後、顕微鏡装置５が実際にズーム動作を停止するまでには時間差がある。このため、図３に示す場合、ズーム動作を停止したときの画像２０３におけるズーム状態はクラス４となっている。
顕微鏡装置５のズーム動作が停止した後、ユーザ１０１は、ズーム状態を所望のクラス３に戻すために、マイクロフォン４に「３」と入力する。この音声入力に応じて、制御装置６は顕微鏡装置５のズーム状態をクラス３に戻させる。なお、図３において、「音声：３」から画像２０２に向かう矢印は、顕微鏡装置５のズーム状態をクラス３に戻すことを意味しているに過ぎず、画像２０２を再表示することを意味しているわけではない。なお、ユーザ１０１は所望のクラス番号をマイクロフォン４に音声入力すればよく、必ずしも停止指示を入力したときのクラス番号と同じクラス番号を入力しなくてもよい。
図４および図５は、顕微鏡装置５の動作がフォーカス動作および視野移動である場合に医療用観察システム１が行う処理の概要をそれぞれ説明する図である。図４ではユーザ１０１がマイクロフォン４に「フォーカスイン」と入力した場合を示し、図５ではユーザ１０１がマイクロフォン４に「ムーブレフト」と入力した場合を示している。動作状態に関する情報として、図４では動作対象物であるフォーカスレンズ５１１の位置情報をクラス分けした情報が表示され、図５では動作対象物である撮像部５５の視野情報をクラス分けした情報が表示されている。図４および図５においても、図３と同様に、ユーザ１０１が停止指示を入力したときの動作状態がクラス３であり、動作停止後にユーザ１０１がマイクロフォン４に「３」と入力した場合を示している。なお、視野移動の場合には、画面の中央を示す指標を表示するようにしてもよい。また、ユーザ１０１が入力部５８、６３またはマイクロフォン４を介して指標の表示の可否を選択入力できるようにしてもよい。
図６は、制御装置６が行う顕微鏡装置５の制御処理の概要を示すフローチャートである。まず、通信部６１が音声信号を取得すると（ステップＳ１：Ｙｅｓ）、音声認識部６４が音声信号の認識処理を行う（ステップＳ２）。ステップＳ１で通信部６１が音声信号を取得しない場合（ステップＳ１：Ｎｏ）、制御装置６はステップＳ１を繰り返す。
認識処理の結果、顕微鏡装置５の撮像動作に関する指示（動作指示）である場合（ステップＳ３：Ｙｅｓ）、制御部６６は動作指示に応じた制御信号（動作制御信号）を生成して制御部５ａに送信する（ステップＳ４）。認識処理の結果、内容が動作指示ではない場合（ステップＳ３：Ｎｏ）、制御装置６はステップＳ１に戻る。
ステップＳ４の後、通信部６１が音声信号を取得すると（ステップＳ５：Ｙｅｓ）、音声認識部６４が音声信号の認識処理を行う（ステップＳ６）。ステップＳ５で通信部６１が音声信号を取得しない場合（ステップＳ５：Ｎｏ）、制御装置６はステップＳ５を繰り返す。なお、ステップＳ４の後、所定時間経過しても通信部６１が音声信号を取得しない場合、制御部６６は、ユーザ１０１に音声入力を促す情報を表示装置３に表示させてもよい。また、制御部６６は、ユーザ１０１に音声入力を促すメッセージまたは警報音を、スピーカから出力させてもよい。
ステップＳ６における認識処理の結果、顕微鏡装置５が行う動作の停止指示（例えば「ストップ」）である場合（ステップＳ７：Ｙｅｓ）、制御部６６は、動作を停止させる制御信号（停止制御信号）を生成して制御部５ａに送信する（ステップＳ８）。
ステップＳ６における認識処理の結果、動作の停止指示ではない場合（ステップＳ７：Ｎｏ）、制御装置６はステップＳ５に戻る。なお、ステップＳ４の後、所定時間経過しても動作の停止指示が入力されない場合、制御部６６は、ユーザ１０１に音声入力を促す情報を表示装置３に表示させてもよい。ここでも制御部６６は、ユーザ１０１に音声入力を促すメッセージまたは警報音をスピーカから出力させてもよい。
ステップＳ８の後、通信部６１が音声信号を取得すると（ステップＳ９：Ｙｅｓ）、音声認識部６４が音声信号の認識処理を行う（ステップＳ１０）。ステップＳ９において通信部６１が音声信号を取得しない場合（ステップＳ９：Ｎｏ）、制御装置６はステップＳ９を繰り返す。
ステップＳ１０の認識処理の結果、動作状態を指定する内容である場合（ステップＳ１１：Ｙｅｓ）、制御部６６は、指定された動作状態に応じた動作制御信号を生成して制御部５ａに送信する（ステップＳ１２）。例えば、図３に示す場合、制御部６６は、ズーム状態をクラス３に変化させる制御信号を生成して制御部５ａに送信する。この後、制御装置６は一連の処理を終了する。
ステップＳ１０の認識処理の結果、動作状態を指定する内容ではない場合（ステップＳ１１：Ｎｏ）、制御装置６はステップＳ９へ戻る。
図７は、通信部６１が顕微鏡装置５の撮像動作に関する動作指示を取得した場合に制御装置６が行う表示用の画像信号生成処理の概要を示すフローチャートである。まず通信部６１は、顕微鏡装置５の撮像部５５が生成した画像信号を取得する（ステップＳ２１）。
この後、画像処理部６５は、取得した画像信号に対して上述した各種画像処理を施す（ステップＳ２２）。
続いて、通信部６１は、検出部５７が検出した状態情報を取得する（ステップＳ２３）。
この後、画像処理部６５は動作状態に関する情報の表示用データを生成する（ステップＳ２４）。この情報は、例えば図３〜図５に示した動作状態のクラスを示す情報である。
この後、画像処理部６５は、ステップＳ２２で画像処理を施した画像信号と、ステップＳ２４で生成した表示用データとを合成する（ステップＳ２５）。
続いて、制御部６６は、合成した表示用の画像信号を表示装置３に送信して表示させる（ステップＳ２６）。これにより、例えば図３〜図５に示す画像が表示装置３に逐次表示される。
なお、ステップＳ２１〜Ｓ２２とステップＳ２３〜Ｓ２４の処理順序を逆にしてもよいし、ステップＳ２１〜Ｓ２２とステップＳ２３〜Ｓ２４を並列で処理してもよい。
以上説明した本開示の実施の形態１によれば、音声信号の内容が顕微鏡装置の撮像に関する動作指示である場合、顕微鏡装置の動作状態に関する情報の表示用データを生成し、画像信号と合成して表示用の画像信号を生成し、入力された音声信号の内容が顕微鏡装置の動作の停止指示である場合、その動作を停止させ、停止後に動作状態を指定する情報の音声入力があった場合、顕微鏡装置の動作状態を指定された動作状態に変化させるため、撮像に関する操作指示を音声入力する場合に少ない負荷で簡易に処理することができる。
また、本実施の形態１によれば、動作作動中にＯＳＤ表示を出すことで、ユーザが動作を止めたい位置を視覚的に知らせることができ、実際の停止位置と意図した停止位置の差があった場合は、意図した停止位置まで戻すことができる。したがって、音声入力を用いても正確な位置に調整をすることができる。
（変形例１−１）
図８は、実施の形態１の変形例１−１に係る医療用観察システムの処理の概要を説明する図であり、図３と同様に顕微鏡装置５のズーム機能を動作させてズーム倍率を上げる場合の表示装置３の表示内容の変化を模式的に示す図である。図８に示す場合、ズーム状態に関する情報として、ズームレンズ５１２の位置情報をクラス分けして表示するとともに、各クラスで顕微鏡装置５が撮像した代表画像をサムネイル画像として表示する。換言すると、画像処理部６５は、ユーザ１０１によってクラスが指定された場合の動作に関する情報の表示用データとして、クラスの情報とともにサムネイル画像を生成する。サムネイル画像は、ズーム動作を開始してから時間が経過するとともに徐々に増えていく。例えば、ズーム状態がクラス１である画像３０１では、クラス１のサムネイル画像のみが表示される一方、ズーム状態がクラス４である画像３０３では、ズーム状態がクラス１〜クラス４の４つのサムネイル画像が表示されている。サムネイル画像は、顕微鏡装置５が各クラスで最初に撮像した画像でもよいし、所定のタイミングで撮像した画像でもよい。ここでは顕微鏡装置５の動作がズーム動作である場合を例示したが、顕微鏡装置５の動作がフォーカス動作および視野移動の場合の表示内容の変化も同様である。
図８は、実施の形態１の変形例１−１に係る医療用観察システムの処理の概要を説明する図であり、図３と同様に顕微鏡装置５のズーム機能を動作させてズーム倍率を上げる場合の表示装置３の表示内容の変化を模式的に示す図である。図８に示す場合、ズーム状態に関する情報として、ズームレンズ５１２の位置情報をクラス分けして表示するとともに、各クラスで顕微鏡装置５が撮像した代表画像をサムネイル画像として表示する。換言すると、画像処理部６５は、ユーザ１０１によってクラスが指定された場合の動作に関する情報の表示用データとして、クラスの情報とともにサムネイル画像を生成する。サムネイル画像は、ズーム動作を開始してから時間が経過するとともに徐々に増えていく。例えば、ズーム状態がクラス１である画像３０１では、クラス１のサムネイル画像のみが表示される一方、ズーム状態がクラス４である画像３０３では、ズーム状態がクラス１〜クラス４の４つのサムネイル画像が表示されている。サムネイル画像は、顕微鏡装置５が各クラスで最初に撮像した画像でもよいし、所定のタイミングで撮像した画像でもよい。ここでは顕微鏡装置５の動作がズーム動作である場合を例示したが、顕微鏡装置５の動作がフォーカス動作および視野移動の場合の表示内容の変化も同様である。
本変形例１−１によれば、動作状態に関する情報としてサムネイル画像をさらに表示することにより、ユーザ１０１は停止後に画面内で動作状態ごとの画像を比較して、最適な動作状態の画像を選択することができる。
（変形例１−２）
図９は、実施の形態１の変形例１−２に係る医療用観察システムの処理の概要を説明する図であり、図３と同様に顕微鏡装置５のズーム機能を動作させてズーム倍率を上げる場合の表示装置３の表示内容の変化を模式的に示す図である。図９に示す場合、ユーザ１０１が停止後に所望のズーム状態（図９ではクラス３）をマイクロフォン４に入力すると、表示装置３はそのクラスに含まれる複数のサムネイル画像を含む画像４０１を表示する。換言すると、画像処理部６５は、ユーザ１０１によってクラスが指定された場合の動作に関する情報の表示用データとして、クラスの情報とともに、指定されたクラスに含まれるサムネイル画像の少なくとも一部を生成する。なお、サムネイル画像の表示数は４つに限られず、ユーザ１０１が入力部５８、６３またはマイクロフォン４を介して選択入力できるようにしてもよい。
図９は、実施の形態１の変形例１−２に係る医療用観察システムの処理の概要を説明する図であり、図３と同様に顕微鏡装置５のズーム機能を動作させてズーム倍率を上げる場合の表示装置３の表示内容の変化を模式的に示す図である。図９に示す場合、ユーザ１０１が停止後に所望のズーム状態（図９ではクラス３）をマイクロフォン４に入力すると、表示装置３はそのクラスに含まれる複数のサムネイル画像を含む画像４０１を表示する。換言すると、画像処理部６５は、ユーザ１０１によってクラスが指定された場合の動作に関する情報の表示用データとして、クラスの情報とともに、指定されたクラスに含まれるサムネイル画像の少なくとも一部を生成する。なお、サムネイル画像の表示数は４つに限られず、ユーザ１０１が入力部５８、６３またはマイクロフォン４を介して選択入力できるようにしてもよい。
画像４０１を見たユーザ１０１は、サムネイル画像の横に表示されている符号（ａ〜ｄ）のうち所望の符号をマイクロフォン４に音声入力する。これにより、顕微鏡装置５はクラス３の画像のうちユーザ１０１が所望する動作状態に変化する。なお、指定されたクラスの一部のサムネイル画像のみを表示する場合、画像処理部６５は、ユーザ１０１がクラス番号「３」をマイクロフォン４に入力するたびに、サムネイル画像の一部をスクロールして順次入れ替えた表示用データを生成する。
本変形例１−２によれば、ユーザは所望のクラスの複数の候補画像を見て、その中から見たい画像を選択するため、ユーザが所望する動作状態まで迅速に戻すことができる。
（実施の形態２）
本開示の実施の形態２に係る医療用観察システムの機能構成は、実施の形態１と同様である。本実施の形態２では、音声認識部６４が音声信号の内容を認識する際、音声信号の第１番目の音素に基づいて停止指示であるか否かを判定する。第１番目の音素とは、例えば停止指示が日本語の「ストップ（ｓｕｔｏｐｐｕ）」である場合には「ス（ｓｕ）」のことであり、停止指示が英語の「ｓｔｏｐ」である場合には「ｓ」のことである。このように、第１番目の音素は、言語や単語に応じて異なる。
本開示の実施の形態２に係る医療用観察システムの機能構成は、実施の形態１と同様である。本実施の形態２では、音声認識部６４が音声信号の内容を認識する際、音声信号の第１番目の音素に基づいて停止指示であるか否かを判定する。第１番目の音素とは、例えば停止指示が日本語の「ストップ（ｓｕｔｏｐｐｕ）」である場合には「ス（ｓｕ）」のことであり、停止指示が英語の「ｓｔｏｐ」である場合には「ｓ」のことである。このように、第１番目の音素は、言語や単語に応じて異なる。
また、本実施の形態２では、音声認識部６４が、音声信号の第１番目の音素に基づいて音声信号の内容が動作の停止指示であると判定した後、その音声信号の全体に基づいて動作の停止指示ではないと判定した場合、顕微鏡装置５の動作状態を音声認識部６４が第１番目の音素に基づく認識前の状態に戻させる。
図１０は、本開示の実施の形態２に係る制御装置６が行う顕微鏡装置５の制御処理の概要を示すフローチャートである。ステップＳ３１〜Ｓ３４の処理は、実施の形態１で説明したステップＳ１〜Ｓ４に順次対応している。
ステップＳ３４の後、通信部６１が音声信号を取得すると（ステップＳ３５：Ｙｅｓ）、音声認識部６４が音声信号の認識処理を行う（ステップＳ３６）。ステップＳ５で通信部６１が音声信号を取得しない場合（ステップＳ５：Ｎｏ）、制御装置６はステップＳ５を繰り返す。なお、ステップＳ３４の後、所定時間経過しても通信部６１が音声信号を取得しない場合、制御部６６は、ユーザ１０１に音声入力を促す情報を表示装置３に表示させてもよい。また、制御部６６は、ユーザ１０１に音声入力を促すメッセージまたは警報音をスピーカから出力させてもよい。
ステップＳ３６における認識処理の結果、第１番目の音素が停止指示である場合（ステップＳ３７：Ｙｅｓ）、制御部６６は、停止信号を生成して制御部５ａに送信する（ステップＳ３８）。
この後、音声認識部６４は音声全体の認識結果に基づいて停止指示であるか否かを再度判定する（ステップＳ３９）。音声全体で停止指示である場合（ステップＳ３９：Ｙｅｓ）、制御装置６はステップＳ４１へ移行する。これは、ステップＳ３５で取得した音声信号が「ストップ」であった場合に対応する。
一方、音声全体で停止指示ではない場合（ステップＳ３９：Ｎｏ）、制御部６６はステップＳ３４と同じ動作制御信号を再度生成して制御部５ａに送信する（ステップＳ４０）。その後、制御装置６はステップＳ４１へ移行する。例えば、ステップＳ３５で取得した音声信号が日本語の「スリッパ（ｓｕｒｉｐｐａ）」であった場合、第１番目の音素は「ストップ（ｓｕｔｏｐｐｕ）」と同じ「ス（ｓｕ）」であるが、音声全体では「ストップ（ｓｕｔｏｐｐｕ）」と異なる。この場合、制御装置６は、顕微鏡装置５にいったん停止させた動作を再度実行させる。
ステップＳ４１〜Ｓ４４の処理は、実施の形態１で説明したステップＳ９〜Ｓ１２の処理に順次対応している。
以上説明した本開示の実施の形態２によれば、実施の形態１と同様に、撮像に関する操作指示を音声入力する場合に少ない負荷で簡易に処理することができる。
また、本実施の形態２によれば、第１番目の音素に着目して停止指示か否かを判定するため、ユーザが所望するタイミングにより近づけて動作を停止させることができる。
（変形例２−１）
図１１は、実施の形態２の変形例２−１に係る医療用観察システムの処理の概要を説明する図であり、図３と同様に顕微鏡装置５のズーム機能を動作させてズーム倍率を上げる場合の表示装置３の表示内容の変化を模式的に示す図である。本変形例２−１においても、音声認識部６４は、認識対象の音声信号の第１番目の音素に基づいてその音声信号が停止指示であるか否かを判定する。図１１に示す場合、音声認識部６４が第１番目の音素「す（ｓｕ）」を認識した結果、顕微鏡装置５の動作は制御部６６の制御のもとで停止する。その後、表示装置３は動作の停止位置と同じクラスの画像であって停止位置から所定数だけ戻った分までの画像からなる複数のサムネイル画像を表示する。換言すると、画像処理部６５は、顕微鏡装置５の動作停止後に、停止位置と同じクラスの画像であって停止位置から所定数だけ戻った分までの画像からなる複数のサムネイル画像をクラス情報とともに表示用データとして生成する。この画像を見たユーザ１０１はサムネイル画像の横に表示されている符号（ａ〜ｄ）のうち所望の符号をマイクロフォン４に音声入力する。図１１では符号「ｂ」を入力した場合を示している。この場合、顕微鏡装置５はクラス３の画像のうち符号ｂに相当する動作状態に変化する。
図１１は、実施の形態２の変形例２−１に係る医療用観察システムの処理の概要を説明する図であり、図３と同様に顕微鏡装置５のズーム機能を動作させてズーム倍率を上げる場合の表示装置３の表示内容の変化を模式的に示す図である。本変形例２−１においても、音声認識部６４は、認識対象の音声信号の第１番目の音素に基づいてその音声信号が停止指示であるか否かを判定する。図１１に示す場合、音声認識部６４が第１番目の音素「す（ｓｕ）」を認識した結果、顕微鏡装置５の動作は制御部６６の制御のもとで停止する。その後、表示装置３は動作の停止位置と同じクラスの画像であって停止位置から所定数だけ戻った分までの画像からなる複数のサムネイル画像を表示する。換言すると、画像処理部６５は、顕微鏡装置５の動作停止後に、停止位置と同じクラスの画像であって停止位置から所定数だけ戻った分までの画像からなる複数のサムネイル画像をクラス情報とともに表示用データとして生成する。この画像を見たユーザ１０１はサムネイル画像の横に表示されている符号（ａ〜ｄ）のうち所望の符号をマイクロフォン４に音声入力する。図１１では符号「ｂ」を入力した場合を示している。この場合、顕微鏡装置５はクラス３の画像のうち符号ｂに相当する動作状態に変化する。
本変形例２−１によれば、顕微鏡装置５の動作が停止した時点で表示装置３に複数のサムネイル画像が表示されるため、ユーザが所望する動作状態まで迅速に戻すことができる。
（その他の実施の形態）
ここまで、本開示を実施するための形態を説明してきたが、本開示は、上述した実施の形態１、２によってのみ限定されるべきものではない。例えば、画像処理部６５は、撮像装置の動作状態を示す情報の表示用データを生成する際、一つのクラスの範囲（目盛の大きさ）やクラスの数を、顕微鏡装置５のズーム倍率や絞り値に応じた焦点深度の深さに基づいて設定してもよい。具体的には、焦点深度の深さの１／４〜１／２程度をクラスの範囲として設定してもよい。
ここまで、本開示を実施するための形態を説明してきたが、本開示は、上述した実施の形態１、２によってのみ限定されるべきものではない。例えば、画像処理部６５は、撮像装置の動作状態を示す情報の表示用データを生成する際、一つのクラスの範囲（目盛の大きさ）やクラスの数を、顕微鏡装置５のズーム倍率や絞り値に応じた焦点深度の深さに基づいて設定してもよい。具体的には、焦点深度の深さの１／４〜１／２程度をクラスの範囲として設定してもよい。
また、画像処理部６５は、撮像装置の動作状態を示す情報の表示用データを生成する際、一つのクラスの範囲（目盛の大きさ）やクラスの数を、ユーザによる顕微鏡装置５の使用履歴（操作履歴を含む）に基づいて設定してもよい。
また、画像処理部６５が指定されたクラスのサムネイル画像を表示する際には、ユーザの使用履歴（操作履歴を含む）に基づいて、サムネイル画像の表示数を設定してもよい。例えば、ユーザが１つの画像を選択するまでに見たサムネイル画像の平均枚数などを記憶部６７が記憶しておき、そのデータに基づいて画像処理部６５がサムネイル画像の表示数をユーザごとに設定して表示用データを生成してもよい。
また、本開示に係る医療用観察装置は、撮像装置を備えた内視鏡や外視鏡でもよい。
なお、本技術は以下のような構成も取ることができる。
（１）
観察対象を撮像する撮像装置が生成した画像信号を取得する画像信号取得部と、
音声入力による操作指示を取得する操作指示取得部と、
前記操作指示が前記撮像装置の撮像に関する操作指示である場合、前記撮像装置の動作状態に関する情報とともに、前記動作状態に対応する前記画像信号に基づき生成された複数の画像を
表示装置に表示させるよう制御する制御部と、
を備え、
前記制御部は、
前記複数の画像のうち、ユーザにより選択された前記画像に対応する動作状態に前記撮像装置を変化させるよう制御する
制御装置。
（２）
前記操作指示は、音声の入力を受け付けるマイクロフォンが生成した音声信号であり、
前記音声信号の内容を認識する音声認識部をさらに備え、
前記制御部は、
前記音声認識部が認識した前記音声信号の内容が動作の停止指示である場合、前記動作を停止させ、
前記動作の停止後に前記音声認識部が認識した前記音声信号の内容が前記動作状態を指定する情報である場合、前記音声信号によって指定された前記動作状態に前記撮像装置を変化させる前記（１）に記載の制御装置。
（３）
前記動作状態に関する情報は、動作対象物の位置に関する情報を含む前記（１）または（２）に記載の制御装置。
（４）
前記動作状態に関する情報は、動作対象物の位置に関する情報と、各位置を代表するサムネイル画像とを含む前記（１）〜（３）のいずれか一項に記載の制御装置。
（５）
前記制御部は、
前記操作指示によって動作状態が指定された場合、該動作状態に該当する複数のサムネイル画像を前記表示装置に表示させる前記（１）〜（４）のいずれか一項に記載の制御装置。
（６）
前記撮像装置の撮像条件に応じた焦点深度に基づいて、前記撮像装置の動作状態に関する情報の表示態様を設定する画像処理部をさらに備える前記（１）〜（５）のいずれか一項に記載の制御装置。
（７）
前記撮像装置のユーザによる前記撮像装置の使用履歴に基づいて、前記撮像装置の動作状態に関する情報の表示態様を設定する画像処理部をさらに備える前記（１）〜（６）のいずれか一項に記載の制御装置。
（８）
前記音声認識部は、
前記音声信号の第１番目の音素に基づいて前記音声信号の内容が前記動作の停止指示であるか否かを判定する前記（２）に記載の制御装置。
（９）
前記制御部は、
前記音声認識部が、前記音声信号の第１番目の音素に基づいて前記音声信号の内容が前記動作の停止指示であると判定した後、前記音声信号の全体に基づいて前記動作の停止指示ではないと判定した場合、前記撮像装置の動作状態を前記音声認識部による前記第１番目の音素に基づく認識前の状態に戻させる前記（８）に記載の制御装置。
（１０）
前記撮像装置の撮像に関する動作指示は、フォーカス、ズームおよび視野移動のいずれかにおける動作指示である前記（１）〜（９）のいずれか一項に記載の制御装置。
（１１）
観察対象を撮像して画像信号を生成する撮像装置と、
画像を表示する表示装置と、
前記撮像装置が生成した画像信号を取得する画像信号取得部と、音声入力による操作指示を取得する操作指示取得部と、
前記操作指示が前記撮像装置の撮像に関する操作指示である場合、前記撮像装置の動作状態に関する情報とともに、前記動作状態に対応する前記画像信号に基づき生成された複数の画像を
表示装置に表示させるよう制御する制御部と、を有する制御装置と、
を備え、
前記制御部は、
前記複数の画像のうち、ユーザにより選択された前記画像に対応する動作状態に前記撮像装置を変化させるよう制御する医療用観察システム。
（１）
観察対象を撮像する撮像装置が生成した画像信号を取得する画像信号取得部と、
音声入力による操作指示を取得する操作指示取得部と、
前記操作指示が前記撮像装置の撮像に関する操作指示である場合、前記撮像装置の動作状態に関する情報とともに、前記動作状態に対応する前記画像信号に基づき生成された複数の画像を
表示装置に表示させるよう制御する制御部と、
を備え、
前記制御部は、
前記複数の画像のうち、ユーザにより選択された前記画像に対応する動作状態に前記撮像装置を変化させるよう制御する
制御装置。
（２）
前記操作指示は、音声の入力を受け付けるマイクロフォンが生成した音声信号であり、
前記音声信号の内容を認識する音声認識部をさらに備え、
前記制御部は、
前記音声認識部が認識した前記音声信号の内容が動作の停止指示である場合、前記動作を停止させ、
前記動作の停止後に前記音声認識部が認識した前記音声信号の内容が前記動作状態を指定する情報である場合、前記音声信号によって指定された前記動作状態に前記撮像装置を変化させる前記（１）に記載の制御装置。
（３）
前記動作状態に関する情報は、動作対象物の位置に関する情報を含む前記（１）または（２）に記載の制御装置。
（４）
前記動作状態に関する情報は、動作対象物の位置に関する情報と、各位置を代表するサムネイル画像とを含む前記（１）〜（３）のいずれか一項に記載の制御装置。
（５）
前記制御部は、
前記操作指示によって動作状態が指定された場合、該動作状態に該当する複数のサムネイル画像を前記表示装置に表示させる前記（１）〜（４）のいずれか一項に記載の制御装置。
（６）
前記撮像装置の撮像条件に応じた焦点深度に基づいて、前記撮像装置の動作状態に関する情報の表示態様を設定する画像処理部をさらに備える前記（１）〜（５）のいずれか一項に記載の制御装置。
（７）
前記撮像装置のユーザによる前記撮像装置の使用履歴に基づいて、前記撮像装置の動作状態に関する情報の表示態様を設定する画像処理部をさらに備える前記（１）〜（６）のいずれか一項に記載の制御装置。
（８）
前記音声認識部は、
前記音声信号の第１番目の音素に基づいて前記音声信号の内容が前記動作の停止指示であるか否かを判定する前記（２）に記載の制御装置。
（９）
前記制御部は、
前記音声認識部が、前記音声信号の第１番目の音素に基づいて前記音声信号の内容が前記動作の停止指示であると判定した後、前記音声信号の全体に基づいて前記動作の停止指示ではないと判定した場合、前記撮像装置の動作状態を前記音声認識部による前記第１番目の音素に基づく認識前の状態に戻させる前記（８）に記載の制御装置。
（１０）
前記撮像装置の撮像に関する動作指示は、フォーカス、ズームおよび視野移動のいずれかにおける動作指示である前記（１）〜（９）のいずれか一項に記載の制御装置。
（１１）
観察対象を撮像して画像信号を生成する撮像装置と、
画像を表示する表示装置と、
前記撮像装置が生成した画像信号を取得する画像信号取得部と、音声入力による操作指示を取得する操作指示取得部と、
前記操作指示が前記撮像装置の撮像に関する操作指示である場合、前記撮像装置の動作状態に関する情報とともに、前記動作状態に対応する前記画像信号に基づき生成された複数の画像を
表示装置に表示させるよう制御する制御部と、を有する制御装置と、
を備え、
前記制御部は、
前記複数の画像のうち、ユーザにより選択された前記画像に対応する動作状態に前記撮像装置を変化させるよう制御する医療用観察システム。
［付記１］
観察対象を撮像する撮像装置の操作を指示する音声の入力を受け付けるマイクロフォンが生成した音声信号を取得する取得部と、
前記取得部が取得した前記音声信号の第１番目の音素に基づいて前記音声信号の内容が前記撮像装置の動作の停止指示であるか否かを判定する音声認識部と、
を備える制御装置。
［付記２］
前記音声認識部が前記音声信号の第１番目の音素に基づいて前記音声信号の内容が前記動作の停止指示であると判定した場合、前記動作を停止させ、前記判定した後に前記音声認識部が前記音声信号の全体に基づいて前記動作の停止指示ではないと判定した場合、前記撮像装置の動作状態を前記音声認識部による認識前の状態に戻させる制御部を備える付記１に記載の制御装置。
［付記３］
観察対象を撮像して画像信号を生成する撮像装置と、
音声の入力を受け付けて音声信号を生成するマイクロフォンと、
画像を表示する表示装置と、
観察対象を撮像する撮像装置の操作を指示する音声の入力を受け付けるマイクロフォンが生成した音声信号を取得する取得部と、前記取得部が取得した前記音声信号の第１番目の音素に基づいて前記音声信号の内容が前記撮像装置の動作の停止指示であるか否かを判定する音声認識部と、を有する制御装置と、
を備える医療用観察システム。
観察対象を撮像する撮像装置の操作を指示する音声の入力を受け付けるマイクロフォンが生成した音声信号を取得する取得部と、
前記取得部が取得した前記音声信号の第１番目の音素に基づいて前記音声信号の内容が前記撮像装置の動作の停止指示であるか否かを判定する音声認識部と、
を備える制御装置。
［付記２］
前記音声認識部が前記音声信号の第１番目の音素に基づいて前記音声信号の内容が前記動作の停止指示であると判定した場合、前記動作を停止させ、前記判定した後に前記音声認識部が前記音声信号の全体に基づいて前記動作の停止指示ではないと判定した場合、前記撮像装置の動作状態を前記音声認識部による認識前の状態に戻させる制御部を備える付記１に記載の制御装置。
［付記３］
観察対象を撮像して画像信号を生成する撮像装置と、
音声の入力を受け付けて音声信号を生成するマイクロフォンと、
画像を表示する表示装置と、
観察対象を撮像する撮像装置の操作を指示する音声の入力を受け付けるマイクロフォンが生成した音声信号を取得する取得部と、前記取得部が取得した前記音声信号の第１番目の音素に基づいて前記音声信号の内容が前記撮像装置の動作の停止指示であるか否かを判定する音声認識部と、を有する制御装置と、
を備える医療用観察システム。
１ 医療用観察システム
２ 医療用観察装置
３ 表示装置
４ マイクロフォン
５ 顕微鏡装置
５ａ、６６ 制御部
６ 制御装置
７ 顕微鏡部
８ 支持部
９ ベース部
５１ レンズユニット
５２ レンズ駆動部
５３ 絞り
５４ 絞り駆動部
５５ 撮像部
５６ アーム駆動部
５７ 検出部
５８、６２ 入力部
５９、６１ 通信部
６３ 光源部
６４ 音声認識部
６５ 画像処理部
６７ 記憶部
１０１ ユーザ
１０２ 患者
１１１ ３Ｄ眼鏡
２０１、２０２、２０３、３０１、３０２、３０３、４０１ 画像
５１１ フォーカスレンズ
５１２ ズームレンズ
Ｌ 焦点深度の深さ
２ 医療用観察装置
３ 表示装置
４ マイクロフォン
５ 顕微鏡装置
５ａ、６６ 制御部
６ 制御装置
７ 顕微鏡部
８ 支持部
９ ベース部
５１ レンズユニット
５２ レンズ駆動部
５３ 絞り
５４ 絞り駆動部
５５ 撮像部
５６ アーム駆動部
５７ 検出部
５８、６２ 入力部
５９、６１ 通信部
６３ 光源部
６４ 音声認識部
６５ 画像処理部
６７ 記憶部
１０１ ユーザ
１０２ 患者
１１１ ３Ｄ眼鏡
２０１、２０２、２０３、３０１、３０２、３０３、４０１ 画像
５１１ フォーカスレンズ
５１２ ズームレンズ
Ｌ 焦点深度の深さ
Claims (11)
- 観察対象を撮像する撮像装置が生成した画像信号を取得する画像信号取得部と、
音声入力による操作指示を取得する操作指示取得部と、
前記操作指示が前記撮像装置の撮像に関する操作指示である場合、前記撮像装置の動作状態に関する情報とともに、前記動作状態に対応する前記画像信号に基づき生成された複数の画像を
表示装置に表示させるよう制御する制御部と、
を備え、
前記制御部は、
前記複数の画像のうち、ユーザにより選択された前記画像に対応する動作状態に前記撮像装置を変化させるよう制御する
制御装置。 - 前記操作指示は、音声の入力を受け付けるマイクロフォンが生成した音声信号であり、
前記音声信号の内容を認識する音声認識部をさらに備え、
前記制御部は、
前記音声認識部が認識した前記音声信号の内容が動作の停止指示である場合、前記動作を停止させ、
前記動作の停止後に前記音声認識部が認識した前記音声信号の内容が前記動作状態を指定する情報である場合、前記音声信号によって指定された前記動作状態に前記撮像装置を変化させる請求項１に記載の制御装置。 - 前記動作状態に関する情報は、動作対象物の位置に関する情報を含む請求項１に記載の制御装置。
- 前記動作状態に関する情報は、動作対象物の位置に関する情報と、各位置を代表するサムネイル画像とを含む請求項１に記載の制御装置。
- 前記制御部は、
前記操作指示によって動作状態が指定された場合、該動作状態に該当する複数のサムネイル画像を前記表示装置に表示させる請求項１に記載の制御装置。 - 前記撮像装置の撮像条件に応じた焦点深度に基づいて、前記撮像装置の動作状態に関する情報の表示態様を設定する画像処理部をさらに備える請求項１に記載の制御装置。
- 前記撮像装置のユーザによる前記撮像装置の使用履歴に基づいて、前記撮像装置の動作状態に関する情報の表示態様を設定する画像処理部をさらに備える請求項１に記載の制御装置。
- 前記音声認識部は、
前記音声信号の第１番目の音素に基づいて前記音声信号の内容が前記動作の停止指示であるか否かを判定する請求項２に記載の制御装置。 - 前記制御部は、
前記音声認識部が、前記音声信号の第１番目の音素に基づいて前記音声信号の内容が前記動作の停止指示であると判定した後、前記音声信号の全体に基づいて前記動作の停止指示ではないと判定した場合、前記撮像装置の動作状態を前記音声認識部による前記第１番目の音素に基づく認識前の状態に戻させる請求項８に記載の制御装置。 - 前記撮像装置の撮像に関する操作指示は、フォーカス、ズームおよび視野移動のいずれかにおける動作指示である請求項１に記載の制御装置。
- 観察対象を撮像して画像信号を生成する撮像装置と、
画像を表示する表示装置と、
前記撮像装置が生成した画像信号を取得する画像信号取得部と、音声入力による操作指示を取得する操作指示取得部と、
前記操作指示が前記撮像装置の撮像に関する操作指示である場合、前記撮像装置の動作状態に関する情報とともに、前記動作状態に対応する前記画像信号に基づき生成された複数の画像を
表示装置に表示させるよう制御する制御部と、を有する制御装置と、
を備え、
前記制御部は、
前記複数の画像のうち、ユーザにより選択された前記画像に対応する動作状態に前記撮像装置を変化させるよう制御する医療用観察システム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020046853A JP2021145788A (ja) | 2020-03-17 | 2020-03-17 | 制御装置および医療用観察システム |
| US17/165,977 US11882355B2 (en) | 2020-03-17 | 2021-02-03 | Control apparatus and medical observation system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020046853A JP2021145788A (ja) | 2020-03-17 | 2020-03-17 | 制御装置および医療用観察システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021145788A true JP2021145788A (ja) | 2021-09-27 |
| JP2021145788A5 JP2021145788A5 (ja) | 2023-03-07 |
Family
ID=77748765
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020046853A Pending JP2021145788A (ja) | 2020-03-17 | 2020-03-17 | 制御装置および医療用観察システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11882355B2 (ja) |
| JP (1) | JP2021145788A (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021145788A (ja) * | 2020-03-17 | 2021-09-27 | ソニー・オリンパスメディカルソリューションズ株式会社 | 制御装置および医療用観察システム |
Family Cites Families (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4989253A (en) * | 1988-04-15 | 1991-01-29 | The Montefiore Hospital Association Of Western Pennsylvania | Voice activated microscope |
| JP3530591B2 (ja) * | 1994-09-14 | 2004-05-24 | キヤノン株式会社 | 音声認識装置及びこれを用いた情報処理装置とそれらの方法 |
| JP3092943B2 (ja) * | 1994-10-26 | 2000-09-25 | ライカ ミクロスコピー ズュステーメ アーゲー | 顕微鏡、特に手術用顕微鏡 |
| US6591239B1 (en) * | 1999-12-09 | 2003-07-08 | Steris Inc. | Voice controlled surgical suite |
| JP2001296881A (ja) * | 2000-04-14 | 2001-10-26 | Sony Corp | 情報処理装置および方法、並びに記録媒体 |
| US20040243147A1 (en) * | 2001-07-03 | 2004-12-02 | Lipow Kenneth I. | Surgical robot and robotic controller |
| US8010180B2 (en) * | 2002-03-06 | 2011-08-30 | Mako Surgical Corp. | Haptic guidance system and method |
| DE10226539A1 (de) * | 2002-06-14 | 2004-01-08 | Leica Microsystems Ag | Sprachsteuerung für Operationsmikroskope |
| JP5484658B2 (ja) | 2007-06-11 | 2014-05-07 | オリンパスメディカルシステムズ株式会社 | 内視鏡装置及び内視鏡画像制御装置 |
| US8849672B2 (en) * | 2008-05-22 | 2014-09-30 | Core Wireless Licensing S.A.R.L. | System and method for excerpt creation by designating a text segment using speech |
| US20100100080A1 (en) * | 2008-10-16 | 2010-04-22 | Huculak John C | System and method for voice activation of surgical instruments |
| US8370157B2 (en) * | 2010-07-08 | 2013-02-05 | Honeywell International Inc. | Aircraft speech recognition and voice training data storage and retrieval methods and apparatus |
| US11561762B2 (en) * | 2011-08-21 | 2023-01-24 | Asensus Surgical Europe S.A.R.L. | Vocally actuated surgical control system |
| US10866783B2 (en) * | 2011-08-21 | 2020-12-15 | Transenterix Europe S.A.R.L. | Vocally activated surgical control system |
| KR101322465B1 (ko) * | 2011-11-17 | 2013-10-28 | 삼성전자주식회사 | 셀프 카메라 촬영을 위한 방법 및 장치 |
| US20190307313A1 (en) * | 2014-05-09 | 2019-10-10 | Jack Wade | Systems and methods for medical imaging |
| JP2017523817A (ja) * | 2014-05-09 | 2017-08-24 | ザ・チルドレンズ・ホスピタル・オブ・フィラデルフィアＴｈｅ Ｃｈｉｌｄｒｅｎ’Ｓ Ｈｏｓｐｉｔａｌ Ｏｆ Ｐｈｉｌａｄｅｌｐｈｉａ | 可搬型外科手術の方法、システムおよび装置 |
| WO2016090336A1 (en) * | 2014-12-05 | 2016-06-09 | Camplex, Inc. | Surgical visualization systems and displays |
| US20160242623A1 (en) | 2015-02-20 | 2016-08-25 | Cefla Societá Cooperativa | Apparatus and method for visualizing data and images and for controlling a medical device through a wearable electronic device |
| US10925675B2 (en) * | 2015-09-24 | 2021-02-23 | Synaptive Medical Inc. | Motorized full field adaptive microscope |
| US10426339B2 (en) * | 2016-01-13 | 2019-10-01 | Novartis Ag | Apparatuses and methods for parameter adjustment in surgical procedures |
| WO2017187795A1 (ja) * | 2016-04-28 | 2017-11-02 | ソニー株式会社 | 制御装置、制御方法及び手術システム |
| US11224673B1 (en) * | 2016-08-15 | 2022-01-18 | Synergy Med Global Design Solutions, Llc | Operating room intelligent platform and sterilization system |
| JP7036828B2 (ja) * | 2017-01-30 | 2022-03-15 | アルコン インコーポレイティド | 拡張現実眼科手術用顕微鏡の投射のためのシステムと方法 |
| JP6860378B2 (ja) | 2017-02-24 | 2021-04-14 | ソニー・オリンパスメディカルソリューションズ株式会社 | 内視鏡装置 |
| JP6903991B2 (ja) * | 2017-03-27 | 2021-07-14 | ソニーグループ株式会社 | 手術用システム、手術用システムの作動方法及び手術用システムの制御装置 |
| EP3632365A4 (en) | 2017-05-26 | 2020-08-19 | Sony Olympus Medical Solutions Inc. | MEDICAL OBSERVATION APPARATUS, METHOD OF TREATMENT, AND MEDICAL OBSERVATION SYSTEM |
| JP6944520B2 (ja) | 2017-06-19 | 2021-10-06 | オリンパス株式会社 | 医療情報処理システムおよび医療情報処理システムの作動方法 |
| JP2019004978A (ja) * | 2017-06-21 | 2019-01-17 | ソニー株式会社 | 手術システムおよび手術用撮像装置 |
| CA2981726C (en) * | 2017-10-06 | 2018-12-04 | Synaptive Medical (Barbados) Inc. | Surgical optical zoom system |
| CA2983780C (en) * | 2017-10-25 | 2020-07-14 | Synaptive Medical (Barbados) Inc. | Surgical imaging sensor and display unit, and surgical navigation system associated therewith |
| JP7109936B2 (ja) * | 2018-02-28 | 2022-08-01 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用制御装置、および制御方法 |
| US20210382559A1 (en) * | 2018-10-25 | 2021-12-09 | Beyeonics Surgical Ltd | Ui for head mounted display system |
| US11553969B1 (en) * | 2019-02-14 | 2023-01-17 | Onpoint Medical, Inc. | System for computation of object coordinates accounting for movement of a surgical site for spinal and other procedures |
| AU2020373118A1 (en) * | 2019-11-01 | 2022-05-12 | True Digital Surgery | Robotic surgical navigation using a proprioceptive digital surgical stereoscopic camera system |
| WO2021124292A1 (en) * | 2019-12-19 | 2021-06-24 | Alcon Inc. | Head tracking control for ophthalmic surgery |
| US11048072B1 (en) * | 2019-12-31 | 2021-06-29 | Carl Zeiss Meditec Ag | Method of operating a surgical microscope and surgical microscope |
| JP7414590B2 (ja) * | 2020-03-04 | 2024-01-16 | ソニー・オリンパスメディカルソリューションズ株式会社 | 制御装置および医療用観察システム |
| JP2023517598A (ja) * | 2020-03-10 | 2023-04-26 | ライカ マイクロシステムズ インコーポレイテッド | 統合された撮像システムを有する手術用顕微鏡の光学系を最適化するためのシステム、方法、およびコンピュータプログラム製品 |
| JP2021145788A (ja) * | 2020-03-17 | 2021-09-27 | ソニー・オリンパスメディカルソリューションズ株式会社 | 制御装置および医療用観察システム |
-
2020
- 2020-03-17 JP JP2020046853A patent/JP2021145788A/ja active Pending
-
2021
- 2021-02-03 US US17/165,977 patent/US11882355B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US11882355B2 (en) | 2024-01-23 |
| US20210297583A1 (en) | 2021-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020084625A1 (en) | Ui for head mounted display system | |
| JP6950707B2 (ja) | 情報処理装置および方法、並びにプログラム | |
| JP7163282B2 (ja) | 医療用観察装置、処理方法、および医療用観察システム | |
| US11653824B2 (en) | Medical observation system and medical observation device | |
| CN110741334B (zh) | 显示控制设备、显示控制方法和显示控制程序 | |
| US11503980B2 (en) | Surgical system and surgical imaging device | |
| JP7441897B2 (ja) | 制御装置、内視鏡システムおよび制御装置の作動方法 | |
| US20210019921A1 (en) | Image processing device, image processing method, and program | |
| JP2021145788A (ja) | 制御装置および医療用観察システム | |
| CN110536629B (zh) | 手术图像处理设备、图像处理方法和手术系统 | |
| JP6860378B2 (ja) | 内視鏡装置 | |
| US20190281233A1 (en) | Image processing device, setting method, and program | |
| JP7092111B2 (ja) | 撮像装置、映像信号処理装置および映像信号処理方法 | |
| US20210278653A1 (en) | Control device and medical observation system | |
| US11778325B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| US11864732B2 (en) | Medical image processing device and medical observation system | |
| WO2018087977A1 (ja) | 情報処理装置、情報処理方法、プログラム | |
| US20190346743A1 (en) | Light emission control apparatus, light emission control method, program, light emission apparatus, and imaging apparatus | |
| US11743579B2 (en) | Control device and medical observation system | |
| JP2021149089A (ja) | 制御装置および医療用観察システム | |
| US11716532B2 (en) | Control apparatus and medical observation system | |
| JP2021146197A (ja) | 制御装置および医療用観察システム | |
| JP2018143585A (ja) | 眼科用観察装置及びその作動方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230227 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231024 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231027 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231221 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240312 |