JP2017006261A - Endoscope apparatus and endoscope system - Google Patents

Endoscope apparatus and endoscope system Download PDF

Info

Publication number
JP2017006261A
JP2017006261A JP2015123181A JP2015123181A JP2017006261A JP 2017006261 A JP2017006261 A JP 2017006261A JP 2015123181 A JP2015123181 A JP 2015123181A JP 2015123181 A JP2015123181 A JP 2015123181A JP 2017006261 A JP2017006261 A JP 2017006261A
Authority
JP
Japan
Prior art keywords
image
ultrasonic
recording
endoscope
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015123181A
Other languages
Japanese (ja)
Other versions
JP6431815B2 (en
Inventor
剛 浦崎
Takeshi Urasaki
剛 浦崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2015123181A priority Critical patent/JP6431815B2/en
Publication of JP2017006261A publication Critical patent/JP2017006261A/en
Application granted granted Critical
Publication of JP6431815B2 publication Critical patent/JP6431815B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

PROBLEM TO BE SOLVED: To produce an effect that recording can be made according to a display mode.SOLUTION: An endoscope apparatus includes: a first processing unit that, given an endoscope image from an endoscope equipped with an image pick-up device, generates an image for display; a second processing unit that, given an ultrasonic image from an ultrasonic observation device for generating an ultrasonic image based on an ultrasonic signal from an ultrasonic vibrator, generates an image for display; a display control unit that enables the endoscope image and the ultrasonic image from the first and second processing units to be displayed in a plurality of display modes individually or in a synthesized manner; a recording image generation unit that can generate a first still image for recording based on the endoscope image and a second still image for recording based on the ultrasonic image; and a control unit that executes recording control in a first recording mode to record the image according to the setting of the display mode by the display control unit, of the first and second still images.SELECTED DRAWING: Figure 1

Description

本発明は、内視鏡及び超音波観測装置によって得られる画像を記録する内視鏡装置及び内視鏡システムに関する。   The present invention relates to an endoscope apparatus and an endoscope system for recording an image obtained by an endoscope and an ultrasonic observation apparatus.

従来、内視鏡は医療用分野等において広く採用されている。また、内視鏡の挿入部先端に超音波の送受信を行なう超音波送受信部を設け、臓器等の超音波画像を取得して観察・診断等を行なう超音波内視鏡も普及している。内視鏡によって得られる内視鏡画像は、ビデオプロセッサによって信号処理されて、観察モニタに表示される。また、内視鏡画像は、ビデオプロセッサによって、診断や症例の記録のために種々のメディアに記録される。   Conventionally, endoscopes have been widely adopted in medical fields and the like. In addition, an ultrasonic endoscope that is provided with an ultrasonic transmission / reception unit that transmits / receives ultrasonic waves at the distal end of the insertion portion of the endoscope, acquires an ultrasonic image of an organ or the like, and performs observation / diagnosis or the like is also widespread. An endoscopic image obtained by the endoscope is signal-processed by a video processor and displayed on an observation monitor. Endoscopic images are recorded on various media for diagnosis and case recording by a video processor.

ビデオプロセッサを有する従来の内視鏡装置においては、記録後のデータを用途に応じて様々な形式で出力可能である。例えば、内視鏡画像は、USBメモリ等の半導体記録装置に記録することもでき、また、ネットワーク経由でサーバに転送して記録することでデータを共有化することも可能である。各種記録媒体に記録された内視鏡画像は、各種外部機器において利用可能である。例えば、ファイリング装置では、患者毎に内視鏡画像を記録して管理することができる。また、内視鏡形状記憶装置では、内視鏡挿入部の臓器内での形状画像を記録して管理することもできる。   In a conventional endoscope apparatus having a video processor, data after recording can be output in various formats depending on the application. For example, an endoscopic image can be recorded in a semiconductor recording device such as a USB memory, or data can be shared by transferring and recording to a server via a network. Endoscopic images recorded on various recording media can be used in various external devices. For example, in a filing device, an endoscopic image can be recorded and managed for each patient. The endoscope shape storage device can also record and manage a shape image in the organ of the endoscope insertion unit.

また、内視鏡装置においては、検査や診断等において、外部機器からの画像(以下、外部画像という)を取り込んで、診断中の内視鏡画像と組み合わせて表示することも可能である。例えば、内視鏡から得られる内視鏡画像と、外部機器から得られる過去の患者の内視鏡画像とを同時に表示することも可能であり、検査や診断等において極めて有用な情報を得ることができる。   In an endoscopic device, it is also possible to capture an image from an external device (hereinafter referred to as an external image) and to display it in combination with an endoscopic image being diagnosed in an examination or diagnosis. For example, it is possible to simultaneously display an endoscopic image obtained from an endoscope and a past patient's endoscopic image obtained from an external device, and obtain extremely useful information in examinations and diagnoses. Can do.

このように、内視鏡によって得られる内視鏡画像だけでなく、外部機器からの映像信号を信号処理して観察モニタに表示させたり、記録装置に記録させたりするために、ビデオプロセッサは、外部機器からの画像を取り込むための外部入力端子を備えている。ビデオプロセッサは、この外部入力端子を利用して、超音波内視鏡によって得られる超音波画像を取り込むことで、内視鏡画像と超音波内視鏡とを観察モニタ上に表示させることができる。また、ビデオプロセッサは、術者のレリーズ操作によって、内視鏡画像及び超音波画像の静止画を生成して、記録することもできる。   Thus, in order to display not only the endoscopic image obtained by the endoscope but also the video signal from the external device and display it on the observation monitor, or recording it in the recording device, the video processor An external input terminal for capturing images from an external device is provided. The video processor can display the endoscopic image and the ultrasonic endoscope on the observation monitor by taking in the ultrasonic image obtained by the ultrasonic endoscope using the external input terminal. . The video processor can also generate and record a still image of an endoscopic image and an ultrasonic image by an operator's release operation.

特開2010−82283号公報JP 2010-82283 A

ところで、超音波観察においては、一般的に、挿入部先端に設けられた超音波振動子を検査部位に導くために、挿入部先端部に設けられた撮像素子からの内視鏡画像を利用する。所望の検査部位に到達した後、超音波振動子を動作させて超音波観察を行う。この場合、超音波振動を被検体に伝達するために患部に水を満たしたり、バルーンを膨らませる等の処置が行われる。従って、この場合には内視鏡画像は臓器でない画像か又は不鮮明な画像となるので、内視鏡画像による表示は行われないか又は子画面として補助的に表示される。このように、超音波観察では、観察モニタ上には、内視鏡観察モードにおいて内視鏡画像のみが表示され、超音波観察モードにおいて主に超音波画像のみが表示される。   By the way, in ultrasonic observation, generally, an endoscope image from an image sensor provided at the distal end portion of the insertion portion is used to guide the ultrasonic transducer provided at the distal end portion of the insertion portion to the examination site. . After reaching the desired examination site, the ultrasonic transducer is operated to perform ultrasonic observation. In this case, in order to transmit the ultrasonic vibration to the subject, treatment such as filling the affected part with water or inflating the balloon is performed. Accordingly, in this case, since the endoscopic image is an image that is not an organ or is unclear, display by the endoscopic image is not performed or is auxiliary displayed. Thus, in ultrasonic observation, only an endoscopic image is displayed on the observation monitor in the endoscopic observation mode, and only an ultrasonic image is mainly displayed in the ultrasonic observation mode.

しかしながら、ビデオプロセッサは、外部入力端子が有効になっている場合には、内視鏡によるレリーズ操作によって、内視鏡からの内視鏡画像と外部入力端子を介して入力される画像とを静止画記録するようになっている。従って、観察モニタ上に表示が行われていない画像、つまり有効でない画像が記録されることがある。なお、超音波観察モードにおいては、超音波画像のみを記録することができるようになっているものもある。このように、従来、内視鏡観察モードと超音波観測モードとで動作可能な内視鏡装置においては、表示モードに一致しない記録が行われてしまい、無意味な画像が記録されることがあるという問題があった。   However, when the external input terminal is enabled, the video processor freezes the endoscope image from the endoscope and the image input through the external input terminal by the release operation by the endoscope. It is designed to record images. Therefore, an image that is not displayed on the observation monitor, that is, an invalid image may be recorded. In the ultrasonic observation mode, there are some that can record only an ultrasonic image. Thus, conventionally, in an endoscope apparatus operable in the endoscope observation mode and the ultrasonic observation mode, recording that does not match the display mode is performed, and a meaningless image is recorded. There was a problem that there was.

なお、特許文献1においては、内視鏡映像信号のキャプチャを指示する内視鏡キャプチャ指示信号と、超音波映像信号のキャプチャを指示する超音波キャプチャ指示信号の入力に応じて、映像信号の経路を自動的に切り替える装置が開示されているが、この提案においても表示モードに即した記録を行うことは考慮されていない。   In Patent Document 1, a path of a video signal is input in response to an input of an endoscope capture instruction signal for instructing capture of an endoscope video signal and an ultrasonic capture instruction signal for instructing capture of an ultrasound video signal. However, this proposal also does not consider recording according to the display mode.

本発明は、表示モードに即した記録を行うことができる内視鏡装置及び内視鏡システムを提供することを目的とする。   An object of this invention is to provide the endoscope apparatus and endoscope system which can perform recording according to a display mode.

本発明に係る内視鏡装置は、撮像素子を備えた内視鏡から内視鏡画像が与えられて表示用の画像を生成する第1の処理部と、超音波振動子からの超音波信号に基づく超音波画像を生成する超音波観測装置から前記超音波画像が与えられて表示用の画像を生成する第2の処理部と、前記第1及び第2の処理部からの前記内視鏡画像及び超音波画像をそれぞれ単独で又は合成して表示する複数の表示モードでの表示を可能にする表示制御部と、前記内視鏡画像に基づく記録用の第1の静止画及び前記超音波画像に基づく記録用の第2の静止画を生成可能な記録画像生成部と、前記第1及び第2の静止画のうち前記表示制御部による表示モードの設定に応じた画像を記録する第1の記録モードでの記録制御を行う制御部と、を具備する。   An endoscope apparatus according to the present invention includes a first processing unit that generates an image for display when an endoscope image is given from an endoscope that includes an imaging device, and an ultrasonic signal from an ultrasonic transducer. A second processing unit that generates an image for display by receiving the ultrasonic image from an ultrasonic observation device that generates an ultrasonic image based on the endoscope; and the endoscope from the first and second processing units A display control unit that enables display in a plurality of display modes for displaying an image and an ultrasonic image individually or in combination, a first still image for recording based on the endoscopic image, and the ultrasonic wave A recording image generation unit capable of generating a second still image for recording based on an image, and a first one that records an image corresponding to a setting of a display mode by the display control unit among the first and second still images. And a control unit that performs recording control in the recording mode.

本発明に係る内視鏡システムは、前記超音波振動子と、前記内視鏡と、前記超音波観測装置と、請求項1に記載の前記内視鏡装置と、を具備する。   An endoscope system according to the present invention includes the ultrasonic transducer, the endoscope, the ultrasonic observation apparatus, and the endoscope apparatus according to claim 1.

本発明によれば、表示モードに即した記録を行うことができるという効果を有する。   According to the present invention, there is an effect that recording according to the display mode can be performed.

本発明の第1の実施の形態に係る内視鏡装置を示すブロック図。1 is a block diagram showing an endoscope apparatus according to a first embodiment of the present invention. 図1の内視鏡装置の外観の概略を示す説明図。Explanatory drawing which shows the outline of the external appearance of the endoscope apparatus of FIG. 制御部41による記録制御を説明するための説明図。Explanatory drawing for demonstrating the recording control by the control part. 第1の実施の形態の動作を説明するためのフローチャート。The flowchart for demonstrating operation | movement of 1st Embodiment. 第1の実施の形態の動作を説明するためのフローチャート。The flowchart for demonstrating operation | movement of 1st Embodiment. 画面表示を説明するための説明図。Explanatory drawing for demonstrating a screen display. 画面表示を説明するための説明図。Explanatory drawing for demonstrating a screen display. 画面表示を説明するための説明図。Explanatory drawing for demonstrating a screen display. 画面表示を説明するための説明図。Explanatory drawing for demonstrating a screen display. 画面表示を説明するための説明図。Explanatory drawing for demonstrating a screen display.

以下、図面を参照して本発明の実施の形態について詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

(第1の実施の形態)
図1は本発明の第1の実施の形態に係る内視鏡装置を示すブロック図である。また、図2は図1の内視鏡装置の外観の概略を示す説明図である。本実施の形態においては、表示モードに対応して内視鏡画像及び超音波画像の静止画を記録可能にするものである。
(First embodiment)
FIG. 1 is a block diagram showing an endoscope apparatus according to a first embodiment of the present invention. FIG. 2 is an explanatory diagram showing an outline of the appearance of the endoscope apparatus of FIG. In the present embodiment, it is possible to record a still image of an endoscopic image and an ultrasonic image corresponding to the display mode.

図2に示すように、内視鏡装置1は、挿入部21を有して被検体としての生体の内部を観察するための超音波内視鏡20と、超音波内視鏡20の出力から超音波画像を生成する超音波観測装置70と、超音波内視鏡20が着脱自在に接続されると共に超音波観測装置70の出力が供給されて、超音波内視鏡20によって得られる内視鏡画像に対する信号処理及び超音波観測装置70によって得られる超音波画像に対する信号処理を行うビデオプロセッサ40と、を備えている。ビデオプロセッサ40により生成された内視鏡画像及び超音波画像の映像信号は観察モニタ60に供給されるようになっている。モニタ60としては通常のカラーモニタを採用することができる。   As shown in FIG. 2, the endoscope apparatus 1 includes an insertion part 21 and an ultrasonic endoscope 20 for observing the inside of a living body as a subject, and an output of the ultrasonic endoscope 20. An ultrasonic observation device 70 that generates an ultrasonic image and an ultrasonic endoscope 20 are detachably connected, and an output of the ultrasonic observation device 70 is supplied to the endoscope obtained by the ultrasonic endoscope 20. And a video processor 40 that performs signal processing on the mirror image and signal processing on the ultrasonic image obtained by the ultrasonic observation apparatus 70. Video signals of the endoscopic image and the ultrasonic image generated by the video processor 40 are supplied to the observation monitor 60. A normal color monitor can be used as the monitor 60.

なお、本実施の形態においては、内視鏡観察と超音波観察とが可能な超音波内視鏡20を採用する例を示しているが、撮像素子を備えた内視鏡観察のための内視鏡と超音波観察のための超音波プローブとを採用し、内視鏡の出力をビデオプロセッサ40に与え、超音波プローブの出力を超音波観測装置70に与えるように構成してもよい。   In the present embodiment, an example is shown in which the ultrasonic endoscope 20 capable of endoscopic observation and ultrasonic observation is adopted. However, the endoscope for the endoscope observation provided with the image sensor is shown. An endoscope and an ultrasonic probe for ultrasonic observation may be adopted, and the output of the endoscope may be supplied to the video processor 40 and the output of the ultrasonic probe may be supplied to the ultrasonic observation apparatus 70.

図1において、超音波内視鏡20は、体腔内に挿入される細長の挿入部21を備える。挿入部21の後端には操作部25が設けられており、操作部25にはコネクタ27が設けられている。このコネクタ27とビデオプロセッサ40に設けられたコネクタ42とによって、超音波内視鏡20とビデオプロセッサ40とは電気的に接続される。なお、図1では、超音波内視鏡20、超音波観測装置70及びビデオプロセッサ40相互間の信号伝送を有線伝送する例を示したが、無線伝送するものであってもよい。   In FIG. 1, an ultrasonic endoscope 20 includes an elongated insertion portion 21 to be inserted into a body cavity. An operation unit 25 is provided at the rear end of the insertion unit 21, and a connector 27 is provided on the operation unit 25. The ultrasonic endoscope 20 and the video processor 40 are electrically connected by the connector 27 and the connector 42 provided in the video processor 40. Although FIG. 1 shows an example in which signal transmission among the ultrasonic endoscope 20, the ultrasonic observation apparatus 70, and the video processor 40 is wired, the wireless transmission may be possible.

超音波内視鏡20の挿入部21及び操作部25には、光源装置30からの照明光を伝送するライトガイド22が挿通されている。光源装置30はランプ31及び集光レンズ32を有しており、ランプ31からの照明光をレンズ32によってライトガイド22の入射端に導くようになっている。光源装置30には操作パネル33が設けられている。ユーザは、操作パネル33に対する操作によって光源装置30の設定を行うことができるようになっている。なお、図1ではビデオプロセッサ40と光源装置30とは別体で構成されている例を示したが、ビデオプロセッサと光源装置とが一体的に構成されるものであってもよい。   A light guide 22 that transmits illumination light from the light source device 30 is inserted into the insertion portion 21 and the operation portion 25 of the ultrasonic endoscope 20. The light source device 30 includes a lamp 31 and a condenser lens 32, and the illumination light from the lamp 31 is guided to the incident end of the light guide 22 by the lens 32. The light source device 30 is provided with an operation panel 33. The user can set the light source device 30 by operating the operation panel 33. Although FIG. 1 shows an example in which the video processor 40 and the light source device 30 are configured separately, the video processor and the light source device may be configured integrally.

また、光源装置30としては、ランプ31に代えてLEDやレーザーダイオードなどの半導体発光素子を採用してもよい。半導体発光素子を用いる場合には、白色光を出射するタイプの半導体発光素子を用いるものであっても、例えばRGB色成分毎に異なる半導体発光素子から出射された光を合波して白色光を得るものであってもよい。また、内視鏡20の挿入部21の先端に半導体光源が設けられるものであってもよい。   Further, as the light source device 30, a semiconductor light emitting element such as an LED or a laser diode may be employed instead of the lamp 31. When a semiconductor light emitting element is used, even if a semiconductor light emitting element that emits white light is used, for example, light emitted from different semiconductor light emitting elements for each RGB color component is combined to generate white light. It may be obtained. Further, a semiconductor light source may be provided at the distal end of the insertion portion 21 of the endoscope 20.

超音波内視鏡20は、光源装置30からの照明光をライトガイド22により伝送し、挿入部21の先端部から被写体に向けて照明光を出射する。挿入部21の先端部には、撮像部23が設けられている。撮像部23は、患部等の被写体からの反射光を取り込む図示しない光学系及び光学系を介して入射した被写体光学像を光電変換して撮像信号を得る図示しない撮像素子を有している。撮像部23は被写体を撮像して、内視鏡画像の撮像信号を取得する。撮像部23からの撮像信号は信号線24及びコネクタ27,42を介してビデオプロセッサ40に伝送されるようになっている。   The ultrasonic endoscope 20 transmits illumination light from the light source device 30 by the light guide 22 and emits illumination light from the distal end portion of the insertion portion 21 toward the subject. An imaging unit 23 is provided at the distal end of the insertion unit 21. The imaging unit 23 includes an optical system (not shown) that captures reflected light from a subject such as an affected part, and an imaging element (not shown) that photoelectrically converts a subject optical image incident through the optical system to obtain an imaging signal. The imaging unit 23 images a subject and acquires an imaging signal of an endoscopic image. An imaging signal from the imaging unit 23 is transmitted to the video processor 40 via the signal line 24 and the connectors 27 and 42.

なお、挿入部21としては、消化器観察等に用いられる軟性タイプであってもよく、また、外科手術等に用いられる硬性タイプであってもよい。また、撮像部23としては、挿入部21の先端に設けられるものに限らず、操作部(把持部)25内に撮像素子が設けられ、挿入部先端から撮像素子までイメージガイドファイバによって光学像を伝送するものであってもよい。また、撮像部23としては、体腔内に挿入される光学式内視鏡(ファイバースコープや外科手術用の光学視管)の接眼部に装着されるカメラヘッドを採用してもよい。   The insertion portion 21 may be a flexible type used for digestive organ observation or the like, or may be a rigid type used for surgery or the like. Further, the imaging unit 23 is not limited to the one provided at the distal end of the insertion unit 21, and an imaging element is provided in the operation unit (gripping unit) 25, and an optical image is obtained from the insertion unit distal end to the imaging element by an image guide fiber. It may be transmitted. Further, as the imaging unit 23, a camera head attached to an eyepiece of an optical endoscope (fiber scope or surgical optical tube) inserted into a body cavity may be employed.

また、超音波内視鏡20の挿入部21の先端部には、超音波振動子部71が設けられている。超音波振動子部71は、挿入部21の先端部において、超音波を送受する所定の数の超音波振動子(図示せず)が、所定の超音波観測領域が得られるように配置されている(図示省略)。超音波振動子部71は、例えば、音響レンズ、圧電素子、整合層等を備えて、体壁より内部の超音波断層画像を生成するのに寄与する超音波信号を取得し得るように構成されている。   Further, an ultrasonic transducer portion 71 is provided at the distal end portion of the insertion portion 21 of the ultrasonic endoscope 20. The ultrasonic transducer unit 71 is arranged such that a predetermined number of ultrasonic transducers (not shown) that transmit and receive ultrasonic waves are arranged at the distal end portion of the insertion unit 21 so that a predetermined ultrasonic observation region is obtained. (Not shown). The ultrasonic transducer 71 includes, for example, an acoustic lens, a piezoelectric element, a matching layer, and the like, and is configured to acquire an ultrasonic signal that contributes to generating an internal ultrasonic tomographic image from the body wall. ing.

なお、超音波振動子部71としては、電気的な走査によって超音波信号を取得するコンベックス方式のものに限らず、モータによって超音波振動子を回転させることで機械的に走査を行って超音波信号を取得するラジアル方式のものを採用してもよい。   Note that the ultrasonic transducer unit 71 is not limited to a convex type that acquires an ultrasonic signal by electrical scanning, and the ultrasonic transducer is mechanically scanned by rotating the ultrasonic transducer with a motor. You may employ | adopt the radial type thing which acquires a signal.

超音波振動子部71からの超音波信号は、信号線72及びコネクタ27を介して超音波観測装置70に伝送されるようになっている。超音波観測装置70は、超音波内視鏡20の超音波振動子部71を駆動制御することで、所定の周波数の超音波を目的観察部位に向けて送信すると共に、目的観察部位から反射する超音波エコーを受信して得られる超音波信号が超音波振動子部71から供給されるようになっている。超音波観測装置70は、各種の信号処理を行って超音波断層像用の超音波画像の映像信号を生成する。超音波観測装置70からの超音波画像は、ビデオプロセッサ40の外部入力端子53を介してビデオプロセッサ40に供給されるようになっている。   An ultrasonic signal from the ultrasonic transducer unit 71 is transmitted to the ultrasonic observation apparatus 70 via the signal line 72 and the connector 27. The ultrasonic observation device 70 controls the ultrasonic transducer unit 71 of the ultrasonic endoscope 20 so as to transmit an ultrasonic wave having a predetermined frequency toward the target observation site and reflect it from the target observation site. An ultrasonic signal obtained by receiving the ultrasonic echo is supplied from the ultrasonic transducer 71. The ultrasonic observation apparatus 70 performs various kinds of signal processing to generate an image signal of an ultrasonic image for an ultrasonic tomographic image. An ultrasonic image from the ultrasonic observation apparatus 70 is supplied to the video processor 40 via the external input terminal 53 of the video processor 40.

ビデオプロセッサ40は、各部の制御を行う制御部41を有している。制御部41は、図示しないCPU等のプロセッサによって構成されて、記憶部52に格納されたプログラムに従って動作して各部を制御するものであってもよい。映像処理回路43には、コネクタ42を介して超音波内視鏡20からの撮像信号が入力される。映像処理回路43は、制御部41に制御されて、入力された撮像信号に対して増幅処理等の所定のアナログ信号処理を施してA/D変換回路44に出力する。A/D変換回路44は、映像処理回路43の出力をデジタル信号に変換した後、ホワイトバランス(WB)回路45に出力する。WB回路45は、制御部41に制御されて、入力されたアナログ撮像信号に対してホワイトバランス調整処理を行った後、画像処理回路46に出力する。第1処理部としての画像処理回路46は、制御部41に制御されて、WB回路45の出力に対して所定の画像信号処理を施して、観察モニタ60に表示可能な映像信号に変換した後映像信号切換回路47に出力するようになっている。   The video processor 40 includes a control unit 41 that controls each unit. The control unit 41 may be configured by a processor such as a CPU (not shown), and may operate according to a program stored in the storage unit 52 to control each unit. An imaging signal from the ultrasonic endoscope 20 is input to the video processing circuit 43 via the connector 42. The video processing circuit 43 is controlled by the control unit 41, performs predetermined analog signal processing such as amplification processing on the input imaging signal, and outputs it to the A / D conversion circuit 44. The A / D conversion circuit 44 converts the output of the video processing circuit 43 into a digital signal and then outputs the digital signal to the white balance (WB) circuit 45. The WB circuit 45 is controlled by the control unit 41, performs white balance adjustment processing on the input analog imaging signal, and then outputs it to the image processing circuit 46. The image processing circuit 46 as the first processing unit is controlled by the control unit 41 to perform predetermined image signal processing on the output of the WB circuit 45 and convert it into a video signal that can be displayed on the observation monitor 60. The video signal is output to the video signal switching circuit 47.

ビデオプロセッサ40は、外部入力端子53を有している。上述したように、外部入力端子53には、超音波観測装置70から超音波画像が供給されるようになっている。超音波観測装置70からの超音波画像は外部入力端子53を介してビデオプロセッサ40の映像処理回路50に供給される。第2処理部としての映像処理回路50は、制御部41に制御されて、入力された超音波画像に対して所定の画像信号処理を施して、観察モニタ60に表示可能な映像信号に変換した後映像信号切換回路47に出力するようになっている。   The video processor 40 has an external input terminal 53. As described above, an ultrasonic image is supplied from the ultrasonic observation device 70 to the external input terminal 53. The ultrasonic image from the ultrasonic observation apparatus 70 is supplied to the video processing circuit 50 of the video processor 40 via the external input terminal 53. The video processing circuit 50 as the second processing unit is controlled by the control unit 41 to perform predetermined image signal processing on the input ultrasonic image and convert it into a video signal that can be displayed on the observation monitor 60. It is output to the rear video signal switching circuit 47.

表示コントローラ49は、制御部41に制御されて、表示に関する各種処理を実行する。例えば、表示コントローラ49は、制御部41によって指定された表示モードで観察モニタ60に表示を行うように、映像信号切換回路47を制御する。映像信号切換回路47は、表示コントローラ49に制御されて、入力された内視鏡画像及び超音波画像を、指定された表示モードで表示するように映像信号の切換えを行う。これにより、映像信号切換回路47は、内視鏡画像及び超音波画像をそれぞれ単独で表示するための映像信号を出力することができると共に、内視鏡画像及び超音波画像をPIP方式又はPOP方式で合成した合成画像を表示するための映像信号を出力することができる。なお、外部入力端子53に図示しない外部機器が接続されてこの外部機器から外部画像が入力される場合には、表示コントローラ49によって、内視鏡画像及び外部画像が単独で又は合成されて表示されることになる。   The display controller 49 is controlled by the control unit 41 and executes various processes related to display. For example, the display controller 49 controls the video signal switching circuit 47 so as to display on the observation monitor 60 in the display mode specified by the control unit 41. The video signal switching circuit 47 is controlled by the display controller 49 to switch the video signal so that the input endoscopic image and ultrasonic image are displayed in the designated display mode. As a result, the video signal switching circuit 47 can output video signals for individually displaying the endoscopic image and the ultrasonic image, and can output the endoscopic image and the ultrasonic image to the PIP system or the POP system. It is possible to output a video signal for displaying the synthesized image synthesized in step (b). When an external device (not shown) is connected to the external input terminal 53 and an external image is input from the external device, the display controller 49 displays the endoscopic image and the external image alone or in combination. Will be.

制御部41は、表示コントローラ49を制御して、観察モードに応じた表示モードを設定するようになっている。即ち、制御部41は、内視鏡観察モード時には、超音波内視鏡20の撮像部23を制御して内視鏡画像を取得させると共に、取得した内視鏡画像を単独で表示するか又は内視鏡画像と外部入力端子53から入力される画像の合成画像を表示する表示モードを設定する。また、制御部41は、超音波観察モード時には、超音波内視鏡20の超音波振動子部71を制御して超音波信号を取得させると共に、超音波観測装置70からの超音波画像を単独で表示するか又は撮像部23を駆動して取得した内視鏡画像と外部入力端子53からの超音波画像との合成画像を表示する表示モードを設定する。   The control unit 41 controls the display controller 49 to set a display mode corresponding to the observation mode. That is, in the endoscope observation mode, the control unit 41 controls the imaging unit 23 of the ultrasonic endoscope 20 to acquire an endoscope image and displays the acquired endoscope image alone or A display mode for displaying a composite image of the endoscopic image and the image input from the external input terminal 53 is set. In addition, in the ultrasonic observation mode, the control unit 41 controls the ultrasonic transducer unit 71 of the ultrasonic endoscope 20 to acquire an ultrasonic signal, and separately uses the ultrasonic image from the ultrasonic observation device 70. Or a display mode for displaying a composite image of an endoscopic image acquired by driving the imaging unit 23 and an ultrasonic image from the external input terminal 53 is set.

映像信号切換回路47からの映像信号はD/A変換回路48に与えられる。D/A変換回路48は入力されたデジタル映像信号をアナログ映像信号に変換して観察モニタ60に出力する。観察モニタ60は、D/A変換回路48から与えられた映像信号に応じた画像を表示するようになっている。   The video signal from the video signal switching circuit 47 is supplied to the D / A conversion circuit 48. The D / A conversion circuit 48 converts the input digital video signal into an analog video signal and outputs it to the observation monitor 60. The observation monitor 60 displays an image corresponding to the video signal given from the D / A conversion circuit 48.

また、本実施の形態においては、画像処理回路46からの内視鏡画像及び映像処理回路50からの画像はエンコード回路51にも供給されるようになってる。記録画像生成部としてのエンコード回路51は、制御部41に制御されて、入力された画像を所定の画像形式の映像信号にエンコード処理する。例えば、エンコード回路51は、入力された画像をMPEG2形式やMPEG−4AVC/H.264形式及びJPEG等の映像信号に変換可能である。これにより、エンコード回路51は、内視鏡画像及び超音波画像(又は外部画像)の記録用の静止画を生成することができる。   In the present embodiment, the endoscopic image from the image processing circuit 46 and the image from the video processing circuit 50 are also supplied to the encoding circuit 51. The encoding circuit 51 serving as a recording image generation unit is controlled by the control unit 41 to encode an input image into a video signal having a predetermined image format. For example, the encoding circuit 51 converts the input image into the MPEG2 format or MPEG-4 AVC / H. H.264 format and video signals such as JPEG can be converted. Accordingly, the encoding circuit 51 can generate a still image for recording an endoscopic image and an ultrasonic image (or an external image).

制御部41は、エンコード回路51によってエンコード処理された画像(エンコード後の映像信号)を記録部65に与えて記録させることができる。また、ビデオプロセッサ40には映像出力端子であるコネクタ54が設けられている。コネクタ54には記録機器80の入力端子が接続される。制御部41は、コネクタ54を介して、記録機器80にエンコード後の画像を与えて記録させることもできるようになっている。   The control unit 41 can apply the image (encoded video signal) encoded by the encoding circuit 51 to the recording unit 65 for recording. Further, the video processor 40 is provided with a connector 54 as a video output terminal. An input terminal of the recording device 80 is connected to the connector 54. The control unit 41 can also record the encoded image to the recording device 80 via the connector 54 for recording.

また、ビデオプロセッサ40は、内視鏡画像及び超音波画像の静止画を、記録部65及び記録機器80に与えることもできるようになっている。記録部65としては、例えばICメモリ等の各種記録媒体を採用することができる。また、記録機器80としては、例えば、ハードディスク、DVD等の大容量の記録媒体や、ネットワーク上のファイルサーバ等の各種ストレージを採用することができる。   Further, the video processor 40 can also provide a still image of an endoscopic image and an ultrasonic image to the recording unit 65 and the recording device 80. As the recording unit 65, for example, various recording media such as an IC memory can be employed. As the recording device 80, for example, a large-capacity recording medium such as a hard disk or a DVD, or various storages such as a file server on a network can be employed.

超音波内視鏡20には、表示モードに応じて内視鏡画像及び超音波画像を記録する操作を行うためのレリーズボタンを含む記録操作部25aが設けられている。記録操作部25aは、レリーズボタンだけでなく、表示モードに対応した記録を行うための記録設定ボタンが設けられていてもよい。記録操作部25aは、レリーズボタンの操作及び記録ボタンの操作に応じた操作信号を発生する。これらの操作信号は、信号線26及びコネクタ27,42を介してビデオプロセッサ40の制御部41に供給されるようになっている。   The ultrasonic endoscope 20 is provided with a recording operation unit 25a including a release button for performing an operation of recording an endoscopic image and an ultrasonic image according to a display mode. The recording operation unit 25a may be provided with not only a release button but also a recording setting button for performing recording corresponding to the display mode. The recording operation unit 25a generates an operation signal corresponding to the operation of the release button and the operation of the recording button. These operation signals are supplied to the control unit 41 of the video processor 40 through the signal line 26 and the connectors 27 and 42.

なお、超音波内視鏡20の記録操作部25aは、術者が術中において比較的容易に操作可能な操作部である。記録操作部25aを超音波内視鏡20の操作部25に設けた例を示したが、術者が術中において容易に操作できるものであれば、例えは図示しない内視鏡に設けられたボタンや各種スコープスイッチ、或いは、図示しないフットスイッチ等を採用してもよい。   The recording operation unit 25a of the ultrasonic endoscope 20 is an operation unit that can be operated relatively easily by the surgeon during the operation. Although the example in which the recording operation unit 25a is provided in the operation unit 25 of the ultrasonic endoscope 20 has been shown, a button provided on an endoscope (not shown), for example, as long as the operator can easily operate during the operation Alternatively, various scope switches or a foot switch (not shown) may be employed.

内視鏡装置1にはキーボード66も設けられている。入力部としてのキーボード66は、ビデオプロセッサ40の処理に対する指示操作、患者情報の入力操作等を行うことができると共に、表示モードに対応した記録を行うための図示しない記録設定キーも設けられるようになっている。キーボード66は、記録設定キーだけでなくレリーズキーが設けられていてもよい。キーボード66は、記録設定キーのキー操作及びレリーズキーの操作に応じた操作信号を発生する。これらの操作信号は、ビデオプロセッサ40の制御部41に供給されるようになっている。制御部41は、レリーズボタン及びレリーズキーの操作を相互に同一の操作であるものと判定すると共に、記録設定ボタン及び記録設定キーの操作を相互に同一の操作であるものと判定して制御を行うようになっている。   The endoscope apparatus 1 is also provided with a keyboard 66. The keyboard 66 as an input unit can perform an instruction operation for the processing of the video processor 40, an input operation of patient information, and the like, and a recording setting key (not shown) for recording corresponding to the display mode is also provided. It has become. The keyboard 66 may be provided with a release key as well as a recording setting key. The keyboard 66 generates an operation signal corresponding to the key operation of the recording setting key and the operation of the release key. These operation signals are supplied to the control unit 41 of the video processor 40. The control unit 41 determines that the operation of the release button and the release key is the same operation, and determines that the operation of the recording setting button and the recording setting key is the same operation, and performs control. To do.

なお、ビデオプロセッサ40には、操作パネル55が設けられている。操作パネル55は、キーボード66と同様に、ユーザ操作に基づいてビデオプロセッサ40を設定することができるようになっている。また、操作パネル55やキーボード66に限らず、赤外線リモコンやタッチパネル等によって、ビデオプロセッサ40に対する設定を行うようにしてもよい。   The video processor 40 is provided with an operation panel 55. As with the keyboard 66, the operation panel 55 can set the video processor 40 based on a user operation. Further, the setting for the video processor 40 may be performed not only by the operation panel 55 and the keyboard 66 but also by an infrared remote controller or a touch panel.

(記録制御)
図3は制御部41による記録制御を説明するための説明図である。本実施の形態においては、制御部41は、例えばユーザ操作に基づいて、従来と同様の記録制御である超音波観察対応記録モードと、表示対応記録モードの2つの記録モードで各部を記録制御することができるようになっている。
(Recording control)
FIG. 3 is an explanatory diagram for explaining the recording control by the control unit 41. In the present embodiment, the control unit 41 controls recording of each unit in two recording modes, that is, an ultrasonic observation-compatible recording mode and a display-compatible recording mode, which are recording control similar to the conventional recording control, based on a user operation, for example. Be able to.

制御部41は、ユーザ操作による記録設定ボタン又は記録設定キーの操作によって記録モードの設定が行われると、この設定に対応した記録設定情報を記憶部52に与えて記憶させることができる。なお、制御部41は、観察モードとして内視鏡観察モード及び超音波観察モードを設定して各部を制御することができると共に、現在の観察モードがいずれのモードであるかを示すモード設定情報を記憶部52に与えて記憶させることができる。制御部41は、記録操作部25aのレリーズボタンの操作又はキーボード66のレリーズキーの操作があった場合には、記憶部52に記憶されているモード設定情報及び記録設定情報に基づいて記録を制御するようになっている。   When the recording mode is set by operating a recording setting button or a recording setting key by a user operation, the control unit 41 can give recording setting information corresponding to this setting to the storage unit 52 for storage. Note that the control unit 41 can set the endoscope observation mode and the ultrasonic observation mode as the observation mode to control each unit, and mode setting information indicating which mode is the current observation mode. The data can be given to the storage unit 52 and stored. When the release button of the recording operation unit 25 a or the release key of the keyboard 66 is operated, the control unit 41 controls recording based on the mode setting information and the recording setting information stored in the storage unit 52. It is supposed to be.

(超音波観察対応記録モード)
制御部41は、記録モードとして従来と同様の超音波観察対応記録モードが設定されている場合には、観察モードとして内視鏡観察モードが設定されているときには、図3に示すように、レリーズ操作に応じて内視鏡画像、超音波画像の両方の静止画を記録するようになっている。なお、この場合には、外部入力端子53に外部機器からの外部画像が入力される場合には、内視鏡画像と外部画像の両方の静止画が記録される。また、超音波観察対応記録モード時において、観察モードが超音波観察モードに設定されている場合には、制御部41は、超音波画像のみを記録するように制御を行うようになっている。
(Recording mode for ultrasonic observation)
As shown in FIG. 3, when the endoscope observation mode is set as the observation mode when the recording mode is set to the ultrasonic observation compatible recording mode as in the conventional case, the control unit 41, as shown in FIG. According to the operation, both still images of an endoscopic image and an ultrasonic image are recorded. In this case, when an external image from an external device is input to the external input terminal 53, still images of both the endoscopic image and the external image are recorded. In the ultrasonic observation compatible recording mode, when the observation mode is set to the ultrasonic observation mode, the control unit 41 performs control so as to record only the ultrasonic image.

このように、超音波観察対応記録モードでは、超音波観察モード時に超音波画像のみを記録することができると共に、内視鏡観察モード時には、外部入力端子に超音波観測装置以外の装置が接続されていることを考慮して、内視鏡画像及び外部画像の静止画を記録することができる。なお、外部入力端子53に超音波観測装置70が接続されている場合において内視鏡観察モードが設定されている場合には、有効な超音波画像が入力されないので、超音波観察対応記録モードでは有効な内視鏡画像と有効でない超音波画像とが記録されることになる。   As described above, in the ultrasonic observation compatible recording mode, only the ultrasonic image can be recorded in the ultrasonic observation mode, and in the endoscopic observation mode, a device other than the ultrasonic observation device is connected to the external input terminal. Therefore, it is possible to record a still image of an endoscopic image and an external image. In the case where the endoscope observation mode is set when the ultrasonic observation apparatus 70 is connected to the external input terminal 53, a valid ultrasonic image is not input. An effective endoscopic image and an ineffective ultrasonic image are recorded.

そこで、本実施の形態においては、制御部41は、表示モードに対応した記録制御である表示対応記録モードでの記録制御を行うことができるようになっている。   Therefore, in the present embodiment, the control unit 41 can perform recording control in the display-corresponding recording mode that is recording control corresponding to the display mode.

(表示対応記録モード)
制御部41は、記録設定情報によって表示対応記録モードが設定されていることが示された場合には、図3に示すように、内視鏡観察モード時には内視鏡画像のみを記録し、超音波観察モード時には超音波画像のみを記録するように記録制御を行う。即ち、この場合には、表示モードに対応した記録が行われることになる。
(Display compatible recording mode)
When the recording setting information indicates that the display-corresponding recording mode is set, the control unit 41 records only the endoscopic image in the endoscopic observation mode as shown in FIG. In the sound wave observation mode, recording control is performed so as to record only the ultrasonic image. That is, in this case, recording corresponding to the display mode is performed.

なお、ビデオプロセッサ40と超音波観測装置70とは、所定の通信路を介して通信を行っており、制御部41は、超音波観測装置70からの超音波画像が外部入力端子53を介して入力されているか否かを判定することができるようになっている。制御部41は、超音波観測装置70が外部入力端子53に接続されている場合にのみ、ユーザ操作に応じて表示対応記録モードを設定するようにしてもよい。また、制御部41は、超音波観測装置70とビデオプロセッサ40との通信によって超音波観測装置70が外部入力端子53に接続されていることを検出した場合には、記録モードを自動的に表示対応記録モードに設定するようになっていてもよい。   The video processor 40 and the ultrasonic observation apparatus 70 communicate with each other via a predetermined communication path, and the control unit 41 receives an ultrasonic image from the ultrasonic observation apparatus 70 via the external input terminal 53. It is possible to determine whether or not an input has been made. The control unit 41 may set the display-corresponding recording mode in accordance with a user operation only when the ultrasound observation apparatus 70 is connected to the external input terminal 53. In addition, when the control unit 41 detects that the ultrasonic observation apparatus 70 is connected to the external input terminal 53 through communication between the ultrasonic observation apparatus 70 and the video processor 40, the recording mode is automatically displayed. The corresponding recording mode may be set.

次に、このように構成された実施の形態の動作について図4乃至図7A〜図7Dを参照して説明する。図4及び図5は第1の実施の形態の動作を説明するためのフローチャートである。図6及び図7A〜図7Dは画面表示を説明するための説明図である。   Next, the operation of the embodiment configured as described above will be described with reference to FIGS. 4 to 7A to 7D. 4 and 5 are flowcharts for explaining the operation of the first embodiment. 6 and 7A to 7D are explanatory diagrams for explaining screen display.

操作者は、先ず、キーボード66等により記録のための設定を行う。本実施の形態においては、従来と同様の超音波観察記録モードと表示対応記録モードとを指定することができる。制御部41は、ユーザの設定操作に基づく記録設定情報を生成して記憶部52に記憶させる。   The operator first makes settings for recording using the keyboard 66 or the like. In the present embodiment, it is possible to designate an ultrasonic observation recording mode and a display-corresponding recording mode similar to the conventional one. The control unit 41 generates recording setting information based on the user's setting operation and stores it in the storage unit 52.

図6は観察モニタ60の表示画面60a上に表示された設定画面61を示している。なお、設定画面61を操作パネル55上に表示して操作を受け付けるようにしてもよい。図6はユーザが超音波観察記録モード及び表示対応記録モード時にそれぞれ記録される画像を憶えていないことを考慮して、記録される画像を指定することで各記録モードを指定するようにした例を示しているが、ユーザが超音波観察記録モード及び表示対応記録モードを直接指定するようにしてもよい。   FIG. 6 shows a setting screen 61 displayed on the display screen 60 a of the observation monitor 60. Note that the setting screen 61 may be displayed on the operation panel 55 to accept the operation. FIG. 6 shows an example in which each recording mode is designated by designating an image to be recorded in consideration that the user does not remember the images to be recorded in the ultrasonic observation recording mode and the display-corresponding recording mode. However, the user may directly specify the ultrasonic observation recording mode and the display-corresponding recording mode.

本実施の形態においては、超音波観察記録モード時には、超音波観察モードにおいて超音波画像の静止画を記録し、内視鏡観察モード時において内視鏡画像と外部入力端子53からの画像の両方の静止画を記録する。設定画面61は、超音波観察モード時に記録される静止画を指定する領域62と内視鏡観察モード時に記録される静止画を指定する領域64とを有している。   In the present embodiment, in the ultrasonic observation recording mode, a still image of the ultrasonic image is recorded in the ultrasonic observation mode, and both the endoscopic image and the image from the external input terminal 53 are recorded in the endoscopic observation mode. Record still images. The setting screen 61 has an area 62 for designating a still image recorded in the ultrasonic observation mode and an area 64 for designating a still image recorded in the endoscope observation mode.

領域62,64内には、それぞれ現在の設定を示す領域63,65が設けられている。超音波観測モード時には必ず超音波画像の静止画のみの記録が行われるので、領域63は超音波画像の記録が行われることが示されており、この領域の設定値は変更不可となっている。また、内視鏡観察モード時には、超音波観察記録モード時に内視鏡画像及び外部画像の静止画を記録するように制御が行われ、表示対応記録モード時に内視鏡画像の静止画のみを記録するように制御が行われる。設定画面61では、これらの選択をそれぞれ行うための選択メニュー66b,66aが設けられている。図6の例では、領域65において内視鏡観察モード時に内視鏡画像のみを記録する設定、即ち、表示対応記録モードが設定されていることが示されている。   In the areas 62 and 64, areas 63 and 65 indicating the current settings are provided, respectively. Since only the still image of the ultrasonic image is recorded in the ultrasonic observation mode, the region 63 indicates that the ultrasonic image is recorded, and the setting value of this region cannot be changed. . In the endoscope observation mode, control is performed so as to record still images of the endoscope image and the external image in the ultrasonic observation recording mode, and only the still image of the endoscope image is recorded in the display-corresponding recording mode. Control is performed as follows. On the setting screen 61, selection menus 66b and 66a for making these selections are provided. In the example of FIG. 6, it is shown that the setting for recording only the endoscopic image in the region 65 in the endoscope observation mode, that is, the display corresponding recording mode is set.

いま、図1のように超音波内視鏡20をビデオプロセッサ40及び超音波観測装置70に接続して、超音波内視鏡20による被写体の観察を開始するものとする。超音波内視鏡20の撮像部23からの撮像信号はコネクタ27,42を介してビデオプロセッサ40の映像処理回路43に供給される。入力された撮像信号は、映像処理回路43において増幅処理等の所定のアナログ信号処理が施された後、A/D変換回路44によってデジタル信号に変換されて、WB回路45に供給される。撮像信号は、WB回路45によってホワイトバランスが調整された後、画像処理回路46に与えられて所定の画像信号処理が施される。画像処理回路46によって観察モニタ60によって表示可能な内視鏡画像が出力される。この内視鏡画像は映像信号切換回路47及びD/A変換回路48を介して観察モニタ60に供給されて表示される。   Now, assume that the ultrasonic endoscope 20 is connected to the video processor 40 and the ultrasonic observation apparatus 70 as shown in FIG. 1 and observation of the subject by the ultrasonic endoscope 20 is started. An imaging signal from the imaging unit 23 of the ultrasonic endoscope 20 is supplied to the video processing circuit 43 of the video processor 40 via the connectors 27 and 42. The input imaging signal is subjected to predetermined analog signal processing such as amplification processing in the video processing circuit 43, converted into a digital signal by the A / D conversion circuit 44, and supplied to the WB circuit 45. After the white balance is adjusted by the WB circuit 45, the image pickup signal is given to the image processing circuit 46 and subjected to predetermined image signal processing. An endoscopic image that can be displayed on the observation monitor 60 is output by the image processing circuit 46. This endoscopic image is supplied to the observation monitor 60 via the video signal switching circuit 47 and the D / A conversion circuit 48 and displayed.

ここで例えば、記憶部52に記憶されている記録設定情報によって超音波観察記録モードが指定されているものとする。   Here, for example, it is assumed that the ultrasonic observation recording mode is designated by the recording setting information stored in the storage unit 52.

(超音波観察記録モード時の記録制御)
図7Aの表示例91は、内視鏡観察モードにおける画像表示の一例であり、内視鏡画像のみを単独で表示する表示モードにおける観察モニタ60の表示画面60a上の表示を示している。表示画面60a上の内視鏡画像表示領域には撮像部23によって撮像された内視鏡画像72が表示されている。また、表示画面60aの一部の表示領域には患者情報表示73が表示されている。
(Recording control in ultrasonic observation recording mode)
Display example 91 in FIG. 7A is an example of image display in the endoscope observation mode, and shows a display on display screen 60a of observation monitor 60 in the display mode in which only the endoscope image is displayed alone. An endoscopic image 72 imaged by the imaging unit 23 is displayed in the endoscopic image display area on the display screen 60a. A patient information display 73 is displayed in a part of the display area of the display screen 60a.

ここで、術者が例えば、表示モードを変更する操作を行って、内視鏡画像を親画像とし、外部画像を子画像とするPIP方式での表示を指定するものとする。外部入力端子53を介して入力された外部画像は映像処理回路50に入力され、映像処理回路50において所定の画像信号処理が施される。映像処理回路50によって観察モニタ60において表示可能な外部画像が出力される。この外部画像は映像信号切換回路47に供給される。こうして、映像信号切換回路47には画像処理回路46からの内視鏡画像と映像処理回路50からの外部画像とが入力されることになり、制御部41は、表示コントローラ49を制御して、これらの画像を親子画像として表示させる。こうして、内視鏡画像を親画像とし外部画像を子画像とするPIP方式の合成表示が表示される。図7Bはこの場合の表示例92を示しており、観察モニタ60の表示画面60aには、親画像表示領域に内視鏡画像の親画像72pが表示されると共に、子画像表示領域に外部画像の子画像74cが表示される。   Here, for example, it is assumed that the operator performs an operation of changing the display mode, and designates display in the PIP method in which the endoscopic image is a parent image and the external image is a child image. An external image input via the external input terminal 53 is input to the video processing circuit 50, and predetermined video signal processing is performed in the video processing circuit 50. An external image that can be displayed on the observation monitor 60 is output by the video processing circuit 50. This external image is supplied to the video signal switching circuit 47. Thus, the endoscopic image from the image processing circuit 46 and the external image from the video processing circuit 50 are input to the video signal switching circuit 47, and the control unit 41 controls the display controller 49, These images are displayed as parent-child images. In this way, a composite display of the PIP method with the endoscope image as the parent image and the external image as the child image is displayed. FIG. 7B shows a display example 92 in this case. On the display screen 60a of the observation monitor 60, the parent image 72p of the endoscopic image is displayed in the parent image display area and the external image is displayed in the child image display area. The child image 74c is displayed.

ここで、術者が例えば超音波内視鏡20の記録操作部25aのレリーズボタンを操作するものとする。制御部41は、図4のステップS1においてレリーズ操作の有無を判定する。レリーズボタンの操作があると、制御部41はステップS2において現在の観察モードを判定する。観察モードが内視鏡観察モードである場合には、制御部41は処理をステップS3に移行して、表示対応記録モードであるか否かを判定する。即ち、制御部41は、記憶部52に記憶されている記録設定情報を読み出して、記録モードが表示対応記録モードであるか超音波観察記録モードであるかを判定する。   Here, it is assumed that the operator operates the release button of the recording operation unit 25a of the ultrasonic endoscope 20, for example. The control unit 41 determines whether or not a release operation is performed in step S1 of FIG. When the release button is operated, the control unit 41 determines the current observation mode in step S2. When the observation mode is the endoscope observation mode, the control unit 41 proceeds to step S3 and determines whether or not the display recording mode is set. That is, the control unit 41 reads the recording setting information stored in the storage unit 52 and determines whether the recording mode is the display-compatible recording mode or the ultrasonic observation recording mode.

いま超音波観察記録モードに設定されているので、制御部41は、ステップS3からステップS4に処理を移行して、内視鏡画像のファイル化を行う。即ち、制御部41は、エンコード回路51を制御して、画像処理回路46の出力を所定の形式でエンコードさせる。制御部41は、エンコード処理後の内視鏡画像(静止画)を記録部65に与えて記録させる(ステップS5)。更に、制御部41は、ステップS6において、外部画像のファイル化を行う。即ち、制御部41は、エンコード回路51を制御して、映像処理回路50の出力を所定の形式でエンコードさせる。制御部41は、エンコード処理後の外部画像(静止画)を記録部65に与えて記録させる(ステップS7)。   Since the ultrasonic observation recording mode is set now, the control unit 41 shifts the processing from step S3 to step S4 to create an endoscope image file. That is, the control unit 41 controls the encoding circuit 51 to encode the output of the image processing circuit 46 in a predetermined format. The control unit 41 gives the endoscope image (still image) after the encoding process to the recording unit 65 for recording (step S5). Further, in step S6, the control unit 41 converts the external image into a file. That is, the control unit 41 controls the encoding circuit 51 to encode the output of the video processing circuit 50 in a predetermined format. The control unit 41 gives the external image (still image) after the encoding process to the recording unit 65 for recording (step S7).

更に、制御部41は、エンコード処理後の内視鏡画像(静止画)及び外部画像(静止画)を、コネクタ54を介して記録機器80等に出力する。こうして、記録機器80において内視鏡画像及び外部画像の記録が行われる。   Further, the control unit 41 outputs the endoscopic image (still image) and the external image (still image) after the encoding process to the recording device 80 or the like via the connector 54. Thus, the recording device 80 records the endoscope image and the external image.

なお、ステップS6〜S8の処理は、超音波観測装置70が外部入力端子53に接続されているか否かに拘わらず実行される。従って、外部入力端子53に外部機器からの外部画像が入力される場合には、外部画像の記録が行われることになるが、外部入力端子53に超音波観測装置70が接続されている場合には、内視鏡観察モード時には超音波画像が入力されないので、記録される画像は無効な画像となる。   Note that the processing in steps S <b> 6 to S <b> 8 is executed regardless of whether the ultrasonic observation apparatus 70 is connected to the external input terminal 53. Therefore, when an external image from an external device is input to the external input terminal 53, the external image is recorded. However, when the ultrasonic observation apparatus 70 is connected to the external input terminal 53. In the endoscope observation mode, since an ultrasonic image is not input, the recorded image becomes an invalid image.

ここで、術者が観察モードを内視鏡観察モードから超音波観察モードに切り換えるものとする。制御部41は、超音波振動子部71を制御して超音波観察を行う。超音波振動子部71からの超音波信号は超音波観測装置70に供給されて超音波画像が得られる。この超音波画像は、外部入力端子53を介して映像処理回路50に供給される。こうして、この場合には、術者が設定した表示モードに応じて、図7C又は図7Dの表示が行われる。   Here, it is assumed that the operator switches the observation mode from the endoscope observation mode to the ultrasonic observation mode. The control unit 41 controls the ultrasonic transducer unit 71 to perform ultrasonic observation. The ultrasonic signal from the ultrasonic transducer unit 71 is supplied to the ultrasonic observation device 70 to obtain an ultrasonic image. This ultrasonic image is supplied to the video processing circuit 50 via the external input terminal 53. Thus, in this case, the display of FIG. 7C or 7D is performed according to the display mode set by the operator.

図7Cは、内視鏡画像を表示させずに、超音波画像を単独で表示させる表示モードを示している。表示コントローラ49は、制御部41に制御されて、映像処理回路50からの超音波画像を表示画面60aの全域に表示させるように、映像信号切換回路47を制御する。こうして、図7Cの表示例93に示すように、観察モニタ60の表示画面60aには、全域に超音波画像74が表示される。   FIG. 7C shows a display mode in which an ultrasonic image is displayed alone without displaying an endoscopic image. The display controller 49 is controlled by the control unit 41 to control the video signal switching circuit 47 so that the ultrasonic image from the video processing circuit 50 is displayed over the entire area of the display screen 60a. Thus, as shown in the display example 93 in FIG. 7C, the ultrasonic image 74 is displayed on the entire area of the display screen 60a of the observation monitor 60.

図7Dは、超音波画像を親画像として表示し、内視鏡画像を子画像として表示するPIP方式の表示モードを示している。即ち、表示コントローラ49は、映像処理回路50からの超音波画像を親画像とし、画像処理回路46からの内視鏡画像を子画像とするように、映像信号切換回路47を制御する。こうして、超音波画像を親画像とし内視鏡画像を子画像とするPIP方式の合成表示が表示される。図7Dはこの場合の表示例94を示しており、観察モニタ60の表示画面60aには、親画像表示領域に超音波画像の親画像74pが表示されると共に、子画像表示領域に内視鏡画像の子画像72cが表示される。   FIG. 7D shows a PIP display mode in which an ultrasonic image is displayed as a parent image and an endoscopic image is displayed as a child image. That is, the display controller 49 controls the video signal switching circuit 47 so that the ultrasonic image from the video processing circuit 50 is a parent image and the endoscopic image from the image processing circuit 46 is a child image. In this way, a composite display of the PIP method with the ultrasonic image as the parent image and the endoscopic image as the child image is displayed. FIG. 7D shows a display example 94 in this case. On the display screen 60a of the observation monitor 60, the parent image 74p of the ultrasonic image is displayed in the parent image display area and the endoscope is displayed in the child image display area. A child image 72c of the image is displayed.

ここで、術者がレリーズボタンの操作を行うものとする。この超音波観察モードでは、内視鏡画像は記録に必要なものではなく、制御部41は、処理をステップS2からステップS11に移行して、ステップS11〜S13において、超音波画像の静止画の記録処理を行う。制御部41は、ステップS11において超音波画像をファイル化する。即ち、制御部41は、エンコード回路51を制御して、映像処理回路50の出力を所定の形式でエンコードさせる。次に、制御部41は、エンコード処理後の超音波画像(静止画)を記録部65に与えて記録させる(ステップS12)。更に、制御部41は、ステップS13において、エンコード処理後の超音波画像(静止画)を、コネクタ54を介して記録機器80等に出力する。こうして、記録部65、記録機器80において超音波画像の記録が行われる。   Here, it is assumed that the surgeon operates the release button. In this ultrasonic observation mode, the endoscopic image is not necessary for recording, and the control unit 41 proceeds from step S2 to step S11, and in steps S11 to S13, the still image of the ultrasonic image is displayed. Perform the recording process. The control unit 41 creates a file of the ultrasound image in step S11. That is, the control unit 41 controls the encoding circuit 51 to encode the output of the video processing circuit 50 in a predetermined format. Next, the control unit 41 gives the ultrasonic image (still image) after the encoding process to the recording unit 65 for recording (step S12). Further, in step S13, the control unit 41 outputs the encoded ultrasonic image (still image) to the recording device 80 or the like via the connector 54. In this way, an ultrasonic image is recorded in the recording unit 65 and the recording device 80.

(表示対応記録モード時の記録制御)
上述したように、超音波観察記録モードでは、超音波観測装置70が外部入力端子53に接続されている場合には、内視鏡観察モード時において超音波観察が行われていないにも拘わらず超音波画像を記録するように制御が行われる。即ち、観察モニタ60に超音波画像が表示されていないにも拘わらず、無効な画像の記録が行われてしまう。そこで、この場合には、表示対応記録モードを設定することで、無効な記録が行われることを防止することができるようになっている。しかしながら、表示対応記録モードでは、外部入力端子53に外部機器からの外部画像が入力される場合にも、この外部画像の記録が行われなくなってしまう。そこで、制御部41は、図5のフローによって、記録モードの切換を制御することもできるようになっている。
(Recording control in display-compatible recording mode)
As described above, in the ultrasound observation recording mode, when the ultrasound observation apparatus 70 is connected to the external input terminal 53, the ultrasound observation is not performed in the endoscope observation mode, although it is not performed. Control is performed to record an ultrasonic image. That is, although an ultrasonic image is not displayed on the observation monitor 60, an invalid image is recorded. Therefore, in this case, it is possible to prevent invalid recording by setting the display-corresponding recording mode. However, in the display-corresponding recording mode, even when an external image from an external device is input to the external input terminal 53, the external image is not recorded. Therefore, the control unit 41 can also control the switching of the recording mode according to the flow of FIG.

制御部41は、ステップS31において表示対応記録モードへの設定変更の操作が発生したか否かを判定する。術者が超音波観察記録モードから表示対応記録モードに設定変更操作を行うと、制御部41はステップS32において、超音波観測装置70との間で通信を行って、超音波観測装置70が外部入力端子53に接続されて、外部入力端子53に超音波画像が入力される状態であるか否かを判定する。制御部41は、外部入力端子53に超音波画像が入力される場合には表示対応記録モードへの変更を許可し(ステップS33)、そうでない場合にはモード変更を許可しない(ステップS34)。   The control unit 41 determines whether or not an operation for changing the setting to the display-compatible recording mode has occurred in step S31. When the surgeon performs a setting change operation from the ultrasonic observation recording mode to the display-corresponding recording mode, the control unit 41 communicates with the ultrasonic observation device 70 in step S32, and the ultrasonic observation device 70 is externally connected. It is determined whether or not an ultrasonic image is input to the external input terminal 53 by being connected to the input terminal 53. The control unit 41 permits the change to the display-corresponding recording mode when an ultrasonic image is input to the external input terminal 53 (step S33), and otherwise does not permit the mode change (step S34).

なお、制御部41は図5のフローを省略して、術者による記録モードの変更操作を常に許可するようになっていてもよい。   The control unit 41 may omit the flow of FIG. 5 and always allow the operator to change the recording mode.

表示対応記録モードにおいて、超音波観察モード時の記録制御は、超音波観察記録モード時と同じである。即ち、この場合には、ステップS11〜S13において、超音波画像の静止画のみの記録が行われる。   In the display-corresponding recording mode, the recording control in the ultrasonic observation mode is the same as in the ultrasonic observation recording mode. That is, in this case, only the still image of the ultrasonic image is recorded in steps S11 to S13.

いま、内視鏡観察モードが指定されているものとし、術者がレリーズボタンを操作するものとする。この場合には、制御部41はステップS3から処理をステップS21に移行する。制御部41は、ステップS21において、内視鏡画像のファイル化を指示する。即ち、制御部41は、エンコード回路51を制御して、画像処理回路46の出力を所定の形式でエンコードさせる。制御部41は、エンコード処理後の内視鏡画像(静止画)を記録部65に与えて記録させる(ステップS22)。更に、制御部41は、エンコード処理後の内視鏡画像(静止画)を、コネクタ54を介して記録機器80等に出力する。こうして、記録機器80において内視鏡画像の記録が行われる。   Assume that the endoscope observation mode is designated and the operator operates the release button. In this case, the control unit 41 proceeds from step S3 to step S21. In step S21, the control unit 41 instructs to file an endoscopic image. That is, the control unit 41 controls the encoding circuit 51 to encode the output of the image processing circuit 46 in a predetermined format. The control unit 41 gives the endoscopic image (still image) after the encoding process to the recording unit 65 for recording (step S22). Furthermore, the control unit 41 outputs the endoscopic image (still image) after the encoding process to the recording device 80 or the like via the connector 54. In this way, an endoscope image is recorded in the recording device 80.

このように、超音波画像が表示されず内視鏡画像のみが表示される内視鏡観察モード時においては、外部入力端子53に超音波観測装置が接続されている場合でも、無効な超音波画像が記録されることなく内視鏡画像のみが記録される。即ち、表示対応記録モード時には、表示モードに対応した記録が行われることになる。   As described above, in the endoscopic observation mode in which only the endoscopic image is displayed without displaying the ultrasonic image, even if the ultrasonic observation apparatus is connected to the external input terminal 53, the invalid ultrasonic wave is displayed. Only an endoscopic image is recorded without recording an image. That is, in the display corresponding recording mode, recording corresponding to the display mode is performed.

このように本実施の形態においては、超音波観察記録モードを設定可能であると共に表示対応記録モードを設定可能であり、表示モードに対応した画像記録を行うことができる。例えば、超音波観察において、内視鏡画像のみが表示される内視鏡観察モード時には内視鏡画像の静止画のみが記録され、記録に必要な内視鏡画像が表示されず超音波画像が表示される超音波観察モード時には超音波画像の静止画のみが記録される。こうして、ユーザにとって有益な画像の記録が可能となる。   As described above, in this embodiment, the ultrasonic observation recording mode can be set and the display-corresponding recording mode can be set, and image recording corresponding to the display mode can be performed. For example, in the ultrasound observation, in the endoscope observation mode in which only the endoscope image is displayed, only the still image of the endoscope image is recorded, and the endoscope image necessary for recording is not displayed and the ultrasound image is displayed. Only the still image of the ultrasonic image is recorded in the displayed ultrasonic observation mode. In this way, it is possible to record an image useful for the user.

なお、本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。   Note that the present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the components without departing from the scope of the invention in the implementation stage. Moreover, various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above embodiments. For example, you may delete some components of all the components shown by embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.

1…内視鏡装置、20…超音波内視鏡、23…撮像部、25a…記録操作部、27,42,54…コネクタ、30…光源装置、40…ビデオプロセッサ、41…制御部、46…画像処理回路、47…映像信号切換回路、49…表示コントローラ、50…映像処理回路、51…エンコード回路、53…外部入力端子、60…観察モニタ、65…記録部、66…キーボード、70…超音波観測装置、71…超音波振動子部、80…記録機器。     DESCRIPTION OF SYMBOLS 1 ... Endoscope apparatus, 20 ... Ultrasound endoscope, 23 ... Imaging part, 25a ... Recording operation part, 27, 42, 54 ... Connector, 30 ... Light source device, 40 ... Video processor, 41 ... Control part, 46 Image processing circuit 47 Image signal switching circuit 49 Display controller 50 Image processing circuit 51 Encoding circuit 53 External input terminal 60 Observation monitor 65 Recording unit 66 Keyboard 70 Ultrasonic observation apparatus, 71 ... ultrasonic transducer part, 80 ... recording equipment.

Claims (5)

撮像素子を備えた内視鏡から内視鏡画像が与えられて表示用の画像を生成する第1の処理部と、
超音波振動子からの超音波信号に基づく超音波画像を生成する超音波観測装置から前記超音波画像が与えられて表示用の画像を生成する第2の処理部と、
前記第1及び第2の処理部からの前記内視鏡画像及び超音波画像をそれぞれ単独で又は合成して表示する複数の表示モードでの表示を可能にする表示制御部と、
前記内視鏡画像に基づく記録用の第1の静止画及び前記超音波画像に基づく記録用の第2の静止画を生成可能な記録画像生成部と、
前記第1及び第2の静止画のうち前記表示制御部による表示モードの設定に応じた画像を記録する第1の記録モードでの記録制御を行う制御部と、
を具備したことを特徴とする内視鏡装置。
A first processing unit that receives an endoscopic image from an endoscope including an image sensor and generates an image for display;
A second processing unit that receives the ultrasonic image from an ultrasonic observation device that generates an ultrasonic image based on an ultrasonic signal from the ultrasonic transducer and generates an image for display;
A display control unit that enables display in a plurality of display modes for displaying the endoscopic image and the ultrasonic image from the first and second processing units individually or in combination, and
A recorded image generating unit capable of generating a first still image for recording based on the endoscopic image and a second still image for recording based on the ultrasonic image;
A control unit that performs recording control in a first recording mode that records an image according to setting of a display mode by the display control unit among the first and second still images;
An endoscope apparatus characterized by comprising:
前記制御部は、前記第1及び第2の静止画の両方の画像を記録する第2の記録モードでの記録制御が可能であり、
記録設定情報に基づいて、前記第1の記録モードと第2の記録モードとを選択する
ことを特徴とする請求項1に記載の内視鏡装置。
The control unit is capable of recording control in a second recording mode for recording both the first and second still images.
The endoscope apparatus according to claim 1, wherein the first recording mode and the second recording mode are selected based on recording setting information.
前記制御部は、ユーザ操作に基づいて前記記録設定情報を記憶部に記憶させる
ことを特徴とする請求項2に記載の内視鏡装置。
The endoscope apparatus according to claim 2, wherein the control unit stores the recording setting information in a storage unit based on a user operation.
前記制御部は、前記超音波画像が第2の処理部に入力されない場合には、前記第2の記録モードから前記第1の記録モードへの変更を許可しない
ことを特徴とする請求項2又は3に記載の内視鏡装置。
The control unit does not permit a change from the second recording mode to the first recording mode when the ultrasonic image is not input to the second processing unit. The endoscope apparatus according to 3.
前記超音波振動子と、
前記内視鏡と、
前記超音波観測装置と、
請求項1に記載の前記内視鏡装置と、
を具備したことを特徴とする内視鏡システム。
The ultrasonic transducer;
The endoscope;
The ultrasonic observation apparatus;
The endoscope apparatus according to claim 1,
An endoscope system comprising:
JP2015123181A 2015-06-18 2015-06-18 Endoscope apparatus and endoscope system Active JP6431815B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015123181A JP6431815B2 (en) 2015-06-18 2015-06-18 Endoscope apparatus and endoscope system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015123181A JP6431815B2 (en) 2015-06-18 2015-06-18 Endoscope apparatus and endoscope system

Publications (2)

Publication Number Publication Date
JP2017006261A true JP2017006261A (en) 2017-01-12
JP6431815B2 JP6431815B2 (en) 2018-11-28

Family

ID=57762041

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015123181A Active JP6431815B2 (en) 2015-06-18 2015-06-18 Endoscope apparatus and endoscope system

Country Status (1)

Country Link
JP (1) JP6431815B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07123345A (en) * 1993-10-20 1995-05-12 Fuji Photo Optical Co Ltd Hard copy device for ultrasonic endoscope
JPH07171115A (en) * 1993-12-17 1995-07-11 Toshiba Corp Image diagnostic device
JPH07194532A (en) * 1993-11-29 1995-08-01 Toshiba Corp Electronic endoscope system
JP2009207522A (en) * 2008-02-29 2009-09-17 Olympus Medical Systems Corp Medical image treatment system
JP2010082283A (en) * 2008-09-30 2010-04-15 Fujinon Corp Video signal selector

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07123345A (en) * 1993-10-20 1995-05-12 Fuji Photo Optical Co Ltd Hard copy device for ultrasonic endoscope
JPH07194532A (en) * 1993-11-29 1995-08-01 Toshiba Corp Electronic endoscope system
JPH07171115A (en) * 1993-12-17 1995-07-11 Toshiba Corp Image diagnostic device
JP2009207522A (en) * 2008-02-29 2009-09-17 Olympus Medical Systems Corp Medical image treatment system
JP2010082283A (en) * 2008-09-30 2010-04-15 Fujinon Corp Video signal selector

Also Published As

Publication number Publication date
JP6431815B2 (en) 2018-11-28

Similar Documents

Publication Publication Date Title
JP2940827B2 (en) Medical image filing equipment
JPWO2005053539A1 (en) Ultrasonic diagnostic equipment
CN110832842B (en) Imaging apparatus and image generating method
JP7400802B2 (en) Imaging device and switch
US20230346349A1 (en) Ultrasound diagnostic apparatus and operation method of ultrasound diagnostic apparatus
JP2009207800A (en) Ultrasonic diagnosing device
JP2019004978A (en) Surgery system and surgical image capture device
JP7264051B2 (en) Image processing device and image processing method
US9872668B2 (en) Medical diagnostic apparatus, method for operating medical diagnostic apparatus, and computer-readable recording medium
JP3353949B2 (en) Imaging system
JP7235035B2 (en) Video signal processing device, video signal processing method and imaging device
JP6431815B2 (en) Endoscope apparatus and endoscope system
WO2018173605A1 (en) Surgery control device, control method, surgery system, and program
US11910105B2 (en) Video processing using a blended tone curve characteristic
JP7556218B2 (en) ULTRASONIC DIAGNOSTIC APPARATUS, CONTROL METHOD FOR ULTRASONIC DIAGNOSTIC APPARATUS, AND CONTROL PROGRAM FOR ULTRASONIC DIAGNOSTIC APPARATUS
JP2009297346A (en) Ultrasonic observation apparatus, ultrasonic endoscopic apparatus, image processing method, and image processing program
JP7405136B2 (en) Cable, notification method
JP2017006260A (en) Endoscope apparatus
WO2019230500A1 (en) Endoscope system and endoscope image processing method
JP2009240436A (en) Adapter device and ultrasonic inspection system
JP7447692B2 (en) Ultrasonic diagnostic device, method of controlling the ultrasonic diagnostic device, and control program for the ultrasonic diagnostic device
JPWO2018179875A1 (en) Imaging apparatus, focus control method, and focus determination method
JP2004357789A (en) Subject observation system and control method for subject observation system
JP2001224596A (en) Ultrasonic image diagnostic equipment
JPS63264046A (en) Endoscopic apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170911

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180717

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180921

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181105

R151 Written notification of patent or utility model registration

Ref document number: 6431815

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250