JP2021007548A - 制御装置、医療用観察システム、制御方法およびプログラム - Google Patents
制御装置、医療用観察システム、制御方法およびプログラム Download PDFInfo
- Publication number
- JP2021007548A JP2021007548A JP2019122380A JP2019122380A JP2021007548A JP 2021007548 A JP2021007548 A JP 2021007548A JP 2019122380 A JP2019122380 A JP 2019122380A JP 2019122380 A JP2019122380 A JP 2019122380A JP 2021007548 A JP2021007548 A JP 2021007548A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image signal
- frequency
- control device
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 210000001260 vocal cord Anatomy 0.000 claims abstract description 40
- 239000011159 matrix material Substances 0.000 claims description 9
- 238000003780 insertion Methods 0.000 claims description 5
- 230000037431 insertion Effects 0.000 claims description 5
- 238000001514 detection method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 10
- 101000596119 Homo sapiens Plastin-3 Proteins 0.000 description 8
- 102100035220 Plastin-3 Human genes 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000001755 vocal effect Effects 0.000 description 4
- 101000596046 Homo sapiens Plastin-2 Proteins 0.000 description 3
- 102100035182 Plastin-2 Human genes 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 101100031399 Arabidopsis thaliana PSL5 gene Proteins 0.000 description 1
- 101000988591 Homo sapiens Minor histocompatibility antigen H13 Proteins 0.000 description 1
- 101000596041 Homo sapiens Plastin-1 Proteins 0.000 description 1
- 102100035181 Plastin-1 Human genes 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/267—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes
- A61B1/2673—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the respiratory tract, e.g. laryngoscopes, bronchoscopes for monitoring movements of vocal chords
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
- A61B1/0684—Endoscope light sources using light emitting diodes [LED]
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/045—Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Surgery (AREA)
- Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Pulmonology (AREA)
- Otolaryngology (AREA)
- Physiology (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Endoscopes (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
Abstract
【課題】声帯の周波数に関わらず、画像の明るさを一定に保つことができる制御装置、医療用観察システム、制御方法およびプログラムを提供する。【解決手段】制御装置６は、制御部６９を備え、制御部６９は、パルス電流に応じたパルス光を間欠的に発光可能な光源部６０に対して、声帯の振動の周波数と予め設定されたデューティ比とに基づいて、光源部６０が発光する際のパルス幅および発光周期を設定し、声帯の振動の周波数に同期させて撮像素子２４１の１フィールド期間内に、光源部６０に対して設定したパルス幅および発光周期でパルス光を発光させ、発光周期または周波数に基づいて、画像信号に乗算するゲイン量を算出し、この画像信号にゲイン量を乗算する。【選択図】図１
Description
本開示は、画像に対して画像処理を行う制御装置、医療用観察システム、制御方法およびプログラムに関する。
内視鏡システムでは、白色光を間欠的に発光させることによって人や動物等の被検体の声帯の観察を行う場合がある。この被検体の声帯の観察を行う内視鏡システムとして、声帯の振動の周波数と同期してパルス状の照明光を発光することにより、高速振動する声帯をストップ状態またはスローモーション状態でストロボ観察する技術が知られている。ストロボ観察は、照明タイミングと撮像素子の読み出しタイミングとが非同期となるため、全ての画素で共通して露光させることが可能な期間が十分確保されている場合であっても、読み出しタイミングに照明タイミングが重複する場合があり、画像間で露光量が異なってしまい、画像間の明るさのばらつきをなくすことができず、画像品質を維持することができなかった。
このため、特許文献１では、パルス光の照明期間を含む読み出しタイミングで読み出される１フレーム分の画像信号である第１の画素信号と、この第１の画素信号の１フレーム後の読み出しタイミングで読み出される１フレーム分の第２の画素信号と、に基づいて、撮像素子における複数の画素のうちパルス光の照明期間と読み出しタイミングとが重複する重複ラインにおいて、第１の画素信号のうち重複ラインに対応する画素信号と、第２の画素信号のうち重複ラインに対応する画素信号と、とを合成してパルス光の１パルス分を露光した１フレームの画像信号（疑似画像信号）に基づく画像を生成することによって、撮像素子の読み出しタイミングに対して、どのようなタイミングでパルス光が発光された場合であっても、画像品質を維持する。
しかしながら、上述した特許文献１では、１フレーム期間と１フレーム期間中の総発光期間の比率を示すデューティ比（Ｄｕｔｙ）が固定の場合、パルス光の発光時間が声帯の周波数に反比例するため、声帯の周波数が上がるほど、パルス光の発光時間が短くなることで、露光量が小さくなり、画像が暗くなってしまうという問題点があった。
本開示は、上記に鑑みてなされたものであって、声帯の周波数に関わらず、画像の明るさを一定に保つことができる制御装置、医療用観察システム、制御方法およびプログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本開示に係る制御装置は、メモリおよびハードウェアからなる少なくとも１つ以上のプロセッサを備える制御装置であって、前記プロセッサは、２次元マトリクス状に配置されてなる複数の画素を有する撮像素子に対して、所定のフレームに従って順次撮像させて画像信号を生成させ、外部から入力される音声信号に基づいて、被検体における声帯の振動の周波数を検出し、パルス電流に応じたパルス光を間欠的に発光可能な光源部に対して、前記周波数と予め設定されたデューティ比とに基づいて、前記光源部が発光する際のパルス幅および発光周期を設定し、前記周波数に同期させて前記撮像素子の１フィールド期間または１フレーム期間内に、前記光源部に対して前記パルス幅および前記発光周期で前記パルス光を発光させ、前記発光周期または前記周波数に基づいて、前記画像信号に乗算するゲイン量を算出し、前記画像信号に前記ゲイン量を乗算する。
また、本開示に係る制御装置は、上記開示において、前記プロセッサは、前記撮像素子が生成した前記画像信号に基づいて、特定のパルス光の発光期間において前記複数の画素が露光された場合の画像信号に相当する疑似画像信号を生成し、前記疑似画像信号に前記ゲイン量を乗算する。
また、本開示に係る制御装置は、上記開示において、前記プロセッサは、前記撮像素子が生成した時間的に連続する２つ以上の前記画像信号に基づいて、特定のパルス光の発光期間において前記複数の画素が露光された場合の画像信号に相当する疑似画像信号を生成し、前記疑似画像信号に前記ゲイン量を乗算する。
また、本開示に係る制御装置は、上記開示において、前記特定のパルス光の発光期間は、前記撮像素子の１フィールド期間または１フレーム期間において、前記光源部が発光した最新のパルス光の期間であり、かつ、前記疑似画像信号の生成期間である。
また、本開示に係る制御装置は、上記開示において、前記撮像素子は、ＣＣＤセンサである。
また、本開示に係る制御装置は、上記開示において、前記撮像素子は、ＣＭＯＳセンサである。
また、本開示に係る制御装置は、上記の制御装置と、被検体に挿入可能な挿入部の先端部に、前記画像信号を生成する前記撮像素子が配置されてなる内視鏡と、音声の入力を受け付けて前記音声信号を生成する音声入力装置と、を備え、前記光源部は、前記内視鏡へ前記パルス光を供給することによって前記先端部から被写体に向けて照射する。
また、本開示に係る制御方法は、メモリおよびハードウェアからなる少なくとも１つ以上のプロセッサを備える制御装置が実行する制御方法であって、前記プロセッサが、２次元マトリクス状に配置されてなる複数の画素を有する撮像素子に対して、所定のフレームに従って順次撮像させて画像信号を生成させ、外部から入力される音声信号に基づいて、被検体における声帯の振動の周波数を検出し、パルス電流に応じたパルス光を間欠的に発光可能な光源部に対して、前記周波数と予め設定されたデューティ比とに基づいて、前記光源部が発光する際のパルス幅および発光周期を設定し、前記周波数に同期させて前記撮像素子の１フィールド期間または１フレーム期間内に、前記光源部に対して前記パルス幅および前記発光周期で前記パルス光を発光させ、前記発光周期または前記周波数に基づいて、前記画像信号に乗算するゲイン量を算出し、前記画像信号に前記ゲイン量を乗算する。
また、本開示に係るプログラムは、メモリおよびハードウェアからなる少なくとも１つ以上のプロセッサを備える制御装置に実行させるプログラムであって、前記プロセッサに、２次元マトリクス状に配置されてなる複数の画素を有する撮像素子に対して、所定のフレームに従って順次撮像させて画像信号を生成させ、外部から入力される音声信号に基づいて、被検体における声帯の振動の周波数を検出させ、パルス電流に応じたパルス光を間欠的に発光可能な光源部に対して、前記周波数と予め設定されたデューティ比とに基づいて、前記光源部が発光する際のパルス幅および発光周期を設定させ、前記周波数に同期させて前記撮像素子の１フィールド期間または１フレーム期間内に、前記光源部に対して前記パルス幅および前記発光周期で前記パルス光を発光させ、前記発光周期または前記周波数に基づいて、前記画像信号に乗算するゲイン量を算出させ、前記画像信号に前記ゲイン量を乗算させる。
本開示によれば、声帯の周波数に関わらず、画像の明るさを一定に保つことができるという効果を奏する。
以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものでない。また、以下の説明において参照する各図は、本開示の内容を理解でき得る程度に形状、大きさ、および位置関係を概略的に示してあるに過ぎない。即ち、本開示は、各図で例示された形状、大きさおよび位置関係のみに限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付して説明する。さらにまた、本開示に係る医療用観察システムの一例として、声帯を観察可能な内視鏡システムについて説明する。
（実施の形態１）
〔内視鏡システムの概略構成〕
図１は、実施の形態１に係る内視鏡システムの機能構成を示すブロック図である。図１に示す内視鏡システム１は、医療分野において用いられ、被写体となる声帯に対してストロボ観察が可能である。内視鏡システム１は、内視鏡２と、入力装置３と、音声入力装置４と、表示装置５と、制御装置６と、を備える。
〔内視鏡システムの概略構成〕
図１は、実施の形態１に係る内視鏡システムの機能構成を示すブロック図である。図１に示す内視鏡システム１は、医療分野において用いられ、被写体となる声帯に対してストロボ観察が可能である。内視鏡システム１は、内視鏡２と、入力装置３と、音声入力装置４と、表示装置５と、制御装置６と、を備える。
内視鏡２は、
生体等の被検体に挿入される。内視鏡２は、後述する制御装置６から供給された出射光（パルス光）を挿入部２０の先端部から被写体に向けて照射し、この被写体から反射した光を受光することによって被写体像の画像信号を生成する。内視鏡２は、少なくとも挿入部２０の先端部に、撮像部２１を備える。
生体等の被検体に挿入される。内視鏡２は、後述する制御装置６から供給された出射光（パルス光）を挿入部２０の先端部から被写体に向けて照射し、この被写体から反射した光を受光することによって被写体像の画像信号を生成する。内視鏡２は、少なくとも挿入部２０の先端部に、撮像部２１を備える。
撮像部２１は、光学系２１１と、撮像素子２１２と、を備える。光学系２１１は、１または複数のレンズを用いて構成され、被写体からの被写体像を撮像素子２１２の受光面に結像する。撮像素子２１２は、制御装置６の制御のもと、所定のフレームレートに従って、光学系２１１が結像した被写体像を受光し、受光した被写体像を光電変換することによって画像信号を生成する。撮像素子２１２は、画像信号を制御装置６へ出力する。撮像素子２１２は、インタレース（interlace scan）方式のＣＣＤ（Charge Coupled Device）センサを用いて構成される。また、撮像素子２１２は、２次元マトリクス状に配置されてなる複数の画素を有する。
入力装置３は、医者等のユーザによるユーザ操作を受け付け、この受け付けたユーザ操作に応じた操作信号を制御装置６へ出力する。入力装置３は、キーボード、マウス、スイッチ、ボタン、フットスイッチおよびタッチパネル等を用いて構成される。
音声入力装置４は、制御装置６の制御のもと、声帯から発せられる音声の入力を受け付け、この音声を音声信号に変換することによって制御装置６へ出力する。音声入力装置４は、マイク等を用いて構成される。
表示装置５は、制御装置６の制御のもと、制御装置６から入力された映像信号に基づく表示画像を表示する。表示装置５は、液晶または有機ＥＬ（Electro Luminescence）等を用いた表示ディスプレイを用いて構成される。
制御装置６は、メモリと、ＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）およびＧＰＵ（Graphics Processing Unit）等のハードウェアと、からなる少なくとも１つ以上のプロセッサを備える。制御装置６は、内視鏡システム１を構成する各部の動作を統括的に制御する。制御装置６は、光源部６０と、光源駆動部６１と、第１の画像処理部６２と、明るさ検出部６３と、オートゲインコントローラ部６４（以下、「ＡＧＣ部６４」という）と、第２の画像処理部６５と、前処理部６６と、声帯周波数検出部６７と、メモリ６８と、制御部６９と、を備える。
光源部６０は、光源駆動部６１から入力される駆動電流に基づいて、パルス光を所定の強度および発光周期で間欠的に発光する。光源部６０は、白色ＬＥＤ（Light Emitting Diode）および集光レンズ等を用いて構成される。光源部６０が発光したパルス光は、内視鏡２の先端から被写体に向けて出射される。なお、光源部６０は、白色ＬＥＤに限定されることなく、赤色ＬＥＤ、緑ＬＥＤおよび緑ＬＥＤの各々が発光する光を合波することによって白色光を出射可能な構成であってもよい。
光源駆動部６１は、制御部６９の制御のもと、光源部６０に所定の発光周期でパルス光を発光させ、かつ、所定の強度でパルス光を発光させる。具体的には、光源駆動部６１は、制御部６９から入力されるＰＷＭ制御信号および電流値制御信号に基づいて、光源部６０を所定のパルス電流値に応じた光量で発光させる。
第１の画像処理部６２は、制御部６９の制御のもと、内視鏡２の撮像素子２１２から入力された画像信号に対して、各種の画像処理を行って明るさ検出部６３へ出力する。第１の画像処理部６２は、ここで、各種の画像処理とは、画素信号に対して、Ａ／Ｄ変換処理、オプティカルブラック減算処理、ホワイトバランス（ＷＢ）調整処理、デモザイク処理（撮像素子２１２がベイヤー配列のカラーフィルタ（図示略）を備えた構成である場合）、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等である。また、第１の画像処理部６２は、制御部６９から入力される光源部６０の発光周期、光源部６０に供給する電流値およびパルス光のパルス幅に関する光源情報に基づいて、疑似画像信号を生成する。具体的には、第１の画像処理部６２は、連続する複数フレームの画像信号から、光源部６０によるパルス光の発光期間（発光時間）で撮像素子２１２の全ての画素が露光された場合の画素信号に相当する擬似画素信号を生成する。より具体的には、第１の画像処理部６２は、擬似画素信号を生成する際、撮像素子２１２における複数の画素の水平ラインのうち特定の水平ラインについては、特定の水平ラインが特定のパルス光の照明期間を含む特定の１フレーム内に露光した全てのパルス光の各露光量を合算した総露光量に対する特定の１フレーム内に露光した特定のパルス光の露光量の比率を特定の水平ラインの各画素からの特定の１フレーム分の画像信号に乗算した画像信号を用いることによって生成する。
明るさ検出部６３は、第１の画像処理部６２から入力された画像信号または疑似画像信号（画像信号）に基づく画像の明るさを検出し、この明るさに関する明るさ情報を制御部６９へ出力する。ここで、明るさ情報とは、疑似画像信号または画像信号に基づく画像の各画素の輝度の平均値である。また、明るさ検出部６３は、第１の画像処理部６２から入力された疑似画像信号をＡＧＣ部６４へ出力する。
ＡＧＣ部６４は、制御部６９の制御のもと、明るさ検出部６３から入力された疑似画像信号と第２の画像処理部６５へ出力する疑似画像信号との利得（ゲイン）が所定の値となるように調整して第２の画像処理部６５へ出力する。具体的には、ＡＧＣ部６４は、制御部６９によって設定されたゲイン量を画像信号または疑似画像信号に乗算して第２の画像処理部６５へ出力する。
第２の画像処理部６５は、制御部６９の制御のもと、ＡＧＣ部６４から入力された疑似画像信号に対して各種の画像処理を行って映像信号を生成し、この映像信号を表示装置５へ出力する。例えば、第２の画像処理部６５は、疑似画像信号がＲＧＢデータの場合、ＲＧＢデータをＹＣＵデータに変換を行う画像処理を行う。
前処理部６６は、音声入力装置４から入力された音声信号に対して増幅し、増幅した音声信号に対してＡ／Ｄ変換処理を行って声帯周波数検出部６７へ出力する。なお、前処理部６６の機能を音声入力装置４に設けてもよい。
声帯周波数検出部６７は、前処理部６６から入力された音声信号に基づいて、音声入力装置４に入力された音声の振動の周波数を検出する。具体的には、声帯周波数検出部６７は、前処理部６６から入力された音声信号に基づいて、声帯の振動の周波数を検出し、この検出した声帯の振動の周波数を制御部６９へ出力する。
メモリ６８は、内視鏡システム１が実行する各種の情報等を記録する。メモリ６８は、揮発性メモリ、不揮発性メモリおよび着脱自在なメモリカード等を用いて構成される。また、メモリ６８は、内視鏡システム１が実行する各種のプログラムを記録するプログラム記録部６９１を備える。
制御部６９は、メモリと、ＣＰＵ等のハードウェアと、からなる少なくとも１つ以上のプロセッサを備える。制御部６９は、撮像素子２１２を所定のフレームレート、例えば６０ｆｐｓまたは５０ｆｐｓに従って順次撮像させて画像信号を生成させ、この画像信号を第１の画像処理部６２へ出力させる。また、制御部６９は、光源部６０に対して、声帯周波数検出部６７から入力された声帯の振動の周波数と予め設定されたデューティ比とに基づいて、光源部６０が発光する際のパルス幅（発光時間）および発光周期（発光回数）を設定する。さらに、制御部６９は、声帯周波数検出部６７から入力された声帯の振動の周波数に同期させて撮像素子２１２の１フィールド期間または１フレーム期間内に光源部６０に対して設定したパルス幅および発光周期でパルス光を声帯に向けて発光させる。さらにまた、制御部６９は、光源部６０の発光周期に基づいて、ＡＧＣ部６４が疑似画像信号に乗じるゲイン量を設定する。
〔明るさ補正の概要〕
次に、制御部６９による疑似画像信号に基づく疑似フィールドの明るさの補正方法について説明する。図２は、制御部６９による疑似画像信号に基づく疑似フィールドの明るさ補正の補正方法の概要を示す図である。図２において、上段から（ａ）が声帯の振動の周波数を示し、（ｂ）が撮像素子２１２の１フィールドにおける露光期間（発光周期（発光回数）とパルス幅（発光時間））を示し、（ｃ）が疑似画像信号に基づく１フィールドの明るさを示し、（ｄ）がＡＧＣ部６４による０ｄＢ（ゲイン量）（発光周期数［Ｈｚ］／フレームレート［Ｈｚ］）を示し、（ｅ）が出力画像の明るさ（疑似フィールドの明るさ×０ｄＢゲイン）を示す。
次に、制御部６９による疑似画像信号に基づく疑似フィールドの明るさの補正方法について説明する。図２は、制御部６９による疑似画像信号に基づく疑似フィールドの明るさ補正の補正方法の概要を示す図である。図２において、上段から（ａ）が声帯の振動の周波数を示し、（ｂ）が撮像素子２１２の１フィールドにおける露光期間（発光周期（発光回数）とパルス幅（発光時間））を示し、（ｃ）が疑似画像信号に基づく１フィールドの明るさを示し、（ｄ）がＡＧＣ部６４による０ｄＢ（ゲイン量）（発光周期数［Ｈｚ］／フレームレート［Ｈｚ］）を示し、（ｅ）が出力画像の明るさ（疑似フィールドの明るさ×０ｄＢゲイン）を示す。
図２に示すように、制御部６９は、声帯周波数検出部６７が検出した声帯の振動の周波数とデューティ比とに基づいて、撮像素子２１２の１フィールド期間において、光源部６０がパルス光を発光する際のパルス幅および発光周期を設定し、この設定したパルス幅および発光周期で光源部６０に発光させる。具体的には、図２に示すように、制御部６９は、声帯周波数検出部６７が検出した声帯の振動の周波数が６００Ｈｚであり、デューティ比が５０％の場合、撮像素子２１２の１フィールド期間（Ａ０露光）において、パルス幅Ｐ１で、発光周期６００Ｈｚを設定したＰＷＭ制御信号および電流値制御信号を光源駆動部６１に供給することによって光源部６０を発光させる。この場合において、第１の画像処理部６２は、撮像素子２１２が生成した画像信号の１フィールド期間において、光源部６０が発光した最新のパルス光の露光量となるように疑似画像信号を生成する。即ち、第１の画像処理部６２によって生成される疑似画像信号に基づく疑似フィールドの明るさは、各１フィールド期間において、光源部６０が１パルス発光した際の最新のパルス光（例えば、パルス幅Ｐ１のパルス光，パルス幅Ｐ２のパルス光，パルス幅Ｐ３のパルス光，パルス幅Ｐ４のパルス光）の露光量に相当する。
図２に示す場合、疑似フィールドの明るさは、デューティ比が予め設定された固定値、例えば５０％の場合、以下の式（１）によって表すことができる。
疑似フィールドの明るさ＝（１／（発光周期））×デューティ比 ・・・（１）
例えば、撮像素子２１２の１フィールド期間（Ａ０露光）において、パルス幅Ｐ１で発光周期６００Ｈｚに設定された場合、疑似フィールド（Ａ０露光）の明るさは、以下となる。
疑似フィールドＦ１の明るさ＝（１／６００Ｈｚ）×デューティ比
また、撮像素子２１２の次の１フィールド期間（Ｂ０露光）において、パルス幅Ｐ２で発光周期３００Ｈｚに設定された場合、次の疑似フィールド（Ｂ０露光）の明るさは、以下となる。
疑似フィールドＦ２の明るさ＝（１／３００Ｈｚ）×デューティ比
疑似フィールドの明るさ＝（１／（発光周期））×デューティ比 ・・・（１）
例えば、撮像素子２１２の１フィールド期間（Ａ０露光）において、パルス幅Ｐ１で発光周期６００Ｈｚに設定された場合、疑似フィールド（Ａ０露光）の明るさは、以下となる。
疑似フィールドＦ１の明るさ＝（１／６００Ｈｚ）×デューティ比
また、撮像素子２１２の次の１フィールド期間（Ｂ０露光）において、パルス幅Ｐ２で発光周期３００Ｈｚに設定された場合、次の疑似フィールド（Ｂ０露光）の明るさは、以下となる。
疑似フィールドＦ２の明るさ＝（１／３００Ｈｚ）×デューティ比
このように、デューティ比が固定の場合、発光時間は、声帯の振動の周波数に反比例するため、声帯の振動の周波数が上がるほど、疑似フィールドに基づく画像が暗くなる。このため、制御部６９は、声帯の振動の周波数をｘとした場合、以下の式（２）の０ｄＢゲインを疑似画像信号に乗算し、声帯の振動の周波数の依存を無くすことによって、画像の明るさが一定となるように維持する。
０ｄＢゲイン＝ｘＨｚ／撮像素子２１２のフレームレート（Ｈｚ） ・・・（２）
例えば、撮像素子２１２の１フィールド期間（Ａ０露光）において、撮像素子２１２が生成した疑似画像信号に基づく疑似フィールドＦ１または疑似フレームに乗算するゲイン量を０ｄＢとし、声帯の振動の発光周期６００Ｈｚ、撮像素子２１２のフレームレートが６０Ｈｚの場合、以下となる。
０ｄｂ＝６００Ｈｚ／６０Ｈｚ
そして、ゲイン調整後の疑似画像信号に基づく出力画像の明るさは、以下の式（３）によって表すことができる。
出力画像の明るさ＝疑似フィールドの明るさ×０ｄＢゲイン ・・・（３）
即ち、式（１）および式（２）より、
出力画像の明るさ＝（１／６０Ｈｚ）×デューティ比
となる。
０ｄＢゲイン＝ｘＨｚ／撮像素子２１２のフレームレート（Ｈｚ） ・・・（２）
例えば、撮像素子２１２の１フィールド期間（Ａ０露光）において、撮像素子２１２が生成した疑似画像信号に基づく疑似フィールドＦ１または疑似フレームに乗算するゲイン量を０ｄＢとし、声帯の振動の発光周期６００Ｈｚ、撮像素子２１２のフレームレートが６０Ｈｚの場合、以下となる。
０ｄｂ＝６００Ｈｚ／６０Ｈｚ
そして、ゲイン調整後の疑似画像信号に基づく出力画像の明るさは、以下の式（３）によって表すことができる。
出力画像の明るさ＝疑似フィールドの明るさ×０ｄＢゲイン ・・・（３）
即ち、式（１）および式（２）より、
出力画像の明るさ＝（１／６０Ｈｚ）×デューティ比
となる。
このように、図２に示すように、制御部６９は、ＡＧＣ部６４に対して、各疑似フィールドに応じたゲイン量をＡＧＣ部６４に設定し、各疑似フィールドに応じた疑似画像信号に対してＡＧＣ部６４に０ｄＢ（ゲイン量）を乗算させる。これにより、声帯の振動の周波数の依存を無くすことで、画像の明るさを一定に保つことができる。
〔内視鏡システムの処理〕
次に、内視鏡システム１が実行する処理について説明する。図３は、内視鏡システム１が実行する処理の概要を示すフローチャートである。
次に、内視鏡システム１が実行する処理について説明する。図３は、内視鏡システム１が実行する処理の概要を示すフローチャートである。
図３に示すように、まず、声帯周波数検出部６７は、前処理部６６を経由して音声入力装置４から入力された音声信号に基づいて、声帯の振動の周波数を検出する（ステップS１０１）。
続いて、制御部６９は、声帯周波数検出部６７が検出した声帯の振動の周波数に基づいて、光源部６０がパルス光を発光する際のパルス幅および発光周期を設定する（ステップＳ１０２）。
その後、制御部６９は、光源部６０をステップＳ１０２で設定したパルス幅および発光周期で、声帯の振動の周波数に同期させて発光させる（ステップＳ１０３）。具体的には、制御部６９は、パルス幅および発光周期を設定したＰＷＭ制御信号および電流値制御信号を光源駆動部６１に供給することによって光源部６０にステップＳ１０２で設定したパルス幅および発光周期で声帯の振動の周波数に同期させて発光させる。
続いて、制御部６９は、撮像素子２１２に光源部６０がパルス光を出射した被写体からの反射光を受光させることによって撮像させる（ステップＳ１０４）。この場合、撮像素子２１２は、画像信号を第１の画像処理部６２へ出力する。
その後、第１の画像処理部６２は、撮像素子２１２から入力された画像信号と、この画像信号の前に撮像素子２１２から入力された画像信号と、を用いて疑似画像信号を生成する（ステップＳ１０５）。
続いて、制御部６９は、ステップＳ１０２において設定した発光周期に基づいて、ＡＧＣ部６４によるゲイン量を設定する（ステップＳ１０６）。
その後、ＡＧＣ部６４は、明るさ検出部６３を経由して第１の画像処理部６２から入力された疑似画像信号に対して、制御部６９によって設定されたゲイン量で増幅して第２の画像処理部６５へ出力する（ステップＳ１０７）。
続いて、入力装置３から被検体の検査を終了する終了信号が入力された場合（ステップＳ１０８：Ｙｅｓ）、内視鏡システム１は、本処理を終了する。これに対して、入力装置３から被検体の検査を終了する終了指示が入力されていない場合（ステップＳ１０８：Ｎｏ）、内視鏡システム１は、上述したステップＳ１０１へ戻る。
以上説明した実施の形態１によれば、制御部６９は、ＡＧＣ部６４に対して、各疑似フィールドに応じたゲイン量をＡＧＣ部６４に設定し、各疑似フィールドに応じた疑似画像信号に対してＡＧＣ部６４に０ｄＢ（ゲイン量）を乗算させるので、声帯の周波数に関わらず、画像の明るさを一定に保つことができる。
（実施の形態２）
次に、実施の形態２について説明する。実施の形態２に係る内視鏡システムは、上述した実施の形態１に係る内視鏡システム１と構成が異なるうえ、第１の画像処理部が生成する疑似画像信号の生成方法および明るさ補正が異なる。以下においては、実施の形態２に係る内視鏡システムの構成を説明後、実施の形態２に係る内視鏡システムの第１の画像処理部が生成する疑似画像信号の生成方法および明るさ補正について説明する。なお、上述した実施の形態１に係る内視鏡システム１と同一の構成には同一の符号を付して詳細な説明を省略する。
次に、実施の形態２について説明する。実施の形態２に係る内視鏡システムは、上述した実施の形態１に係る内視鏡システム１と構成が異なるうえ、第１の画像処理部が生成する疑似画像信号の生成方法および明るさ補正が異なる。以下においては、実施の形態２に係る内視鏡システムの構成を説明後、実施の形態２に係る内視鏡システムの第１の画像処理部が生成する疑似画像信号の生成方法および明るさ補正について説明する。なお、上述した実施の形態１に係る内視鏡システム１と同一の構成には同一の符号を付して詳細な説明を省略する。
〔内視鏡システムの機能構成〕
図４は、実施の形態２に係る内視鏡システムの機能構成を示すブロック図である。図４に示す内視鏡システム１Ａは、上述した実施の形態１に係る内視鏡システム１の内視鏡２に代えて、内視鏡２Ａを備える。内視鏡２Ａは、上述した実施の形態１に係る内視鏡２の撮像素子２１２に代えて、撮像素子２１２Ａを備える。
図４は、実施の形態２に係る内視鏡システムの機能構成を示すブロック図である。図４に示す内視鏡システム１Ａは、上述した実施の形態１に係る内視鏡システム１の内視鏡２に代えて、内視鏡２Ａを備える。内視鏡２Ａは、上述した実施の形態１に係る内視鏡２の撮像素子２１２に代えて、撮像素子２１２Ａを備える。
撮像素子２１２Ａは、制御装置６の制御のもと、所定のフレームレートに従って、光学系２１１が結像した被写体像を受光し、受光した被写体像を光電変換することによって画像信号を生成する。撮像素子２１２Ａは、画像信号を制御装置６へ出力する。撮像素子２１２Ａは、プログレッシブ式のＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサ等を用いて構成される。撮像素子２１２Ａは、２次元マトリクス状に配置されてなる複数の画素を有する。
〔第１の画像処理部による疑似フレームの生成方法〕
次に、撮像素子２１２Ａが生成する画像信号に対する第１の画像処理部６２による疑似フレームの生成方法について説明する。図５は、第１の画像処理部６２による疑似フレームの生成方法を模式的に示す図である。図５において、上段から（ａ）が各フレームの露光タイミングを示し、（ｂ）が撮像素子２１２Ａからのセンサ出力を示し、（ｃ）〜（ｅ）が各ラインの疑似画像信号を示す。また、図５において、パルス状の領域が光源部６０によって発光されたパルス光ＰＳＬ０〜パルス光ＰＳＬ５を示す。さらに、図５においては、一つの矩形状のブロックＢ１が垂直方向における１ライン期間に相当する。
次に、撮像素子２１２Ａが生成する画像信号に対する第１の画像処理部６２による疑似フレームの生成方法について説明する。図５は、第１の画像処理部６２による疑似フレームの生成方法を模式的に示す図である。図５において、上段から（ａ）が各フレームの露光タイミングを示し、（ｂ）が撮像素子２１２Ａからのセンサ出力を示し、（ｃ）〜（ｅ）が各ラインの疑似画像信号を示す。また、図５において、パルス状の領域が光源部６０によって発光されたパルス光ＰＳＬ０〜パルス光ＰＳＬ５を示す。さらに、図５においては、一つの矩形状のブロックＢ１が垂直方向における１ライン期間に相当する。
〔調光を行わない場合〕
まず、光源部６０によって出射されるパルス光の調光を行わない場合について説明する。第１の画像処理部６２は、撮像素子２１２Ａから入力された、少なくとも２フレーム周期（疑似フレームの生成期間）から生成対象のパルス光を選択し、かつ、疑似フレームの生成期間を少なくとも２フレーム周期設けている。また、対象のパルス光は、時間軸上において最新かつ、疑似フレームの生成期間に含まれるものとする。具体的には、対象のパルス光は、図５に示すように、パルス光ＰＬＳ４が一部だけが疑似フレーム生成期間に含まれるため、パルス光ＰＳＬ３が選択される。このため、第１の画像処理部６２は、パルス光による露光量に応じた比率で、少なくとも２フレーム分の画像信号を合成して疑似画像信号に基づく疑似フレームを生成する。
まず、光源部６０によって出射されるパルス光の調光を行わない場合について説明する。第１の画像処理部６２は、撮像素子２１２Ａから入力された、少なくとも２フレーム周期（疑似フレームの生成期間）から生成対象のパルス光を選択し、かつ、疑似フレームの生成期間を少なくとも２フレーム周期設けている。また、対象のパルス光は、時間軸上において最新かつ、疑似フレームの生成期間に含まれるものとする。具体的には、対象のパルス光は、図５に示すように、パルス光ＰＬＳ４が一部だけが疑似フレーム生成期間に含まれるため、パルス光ＰＳＬ３が選択される。このため、第１の画像処理部６２は、パルス光による露光量に応じた比率で、少なくとも２フレーム分の画像信号を合成して疑似画像信号に基づく疑似フレームを生成する。
〔ラインＸの場合〕
まず、図５に示すラインＸの場合について説明する。
図５に示すように、ラインＸは、パルス光ＰＬＳ２で２ライン期間、パルス光ＰＬＳ３で７ライン期間およびパルス光ＰＬＳ４で６ライン期間露光している。このため、第１の画像処理部６２は、［ＲＡＷ＿Ｇ＿０＿ＩＮ ラインＸ画像］におけるパルス光ＰＬＳ３の７ライン期間の露光に相当する画像とみなして、以下の式（４）によって、ラインＸの疑似フレームである［疑似フレームラインＸ画像］を算出する。
まず、図５に示すラインＸの場合について説明する。
図５に示すように、ラインＸは、パルス光ＰＬＳ２で２ライン期間、パルス光ＰＬＳ３で７ライン期間およびパルス光ＰＬＳ４で６ライン期間露光している。このため、第１の画像処理部６２は、［ＲＡＷ＿Ｇ＿０＿ＩＮ ラインＸ画像］におけるパルス光ＰＬＳ３の７ライン期間の露光に相当する画像とみなして、以下の式（４）によって、ラインＸの疑似フレームである［疑似フレームラインＸ画像］を算出する。
〔ラインＹの場合〕
次に、図５に示すラインＹの場合について説明する。
図５に示すように、ラインＹは、パルス光ＰＬＳ１で２ライン期間、パルス光ＰＬＳ２で７ライン期間およびパルス光ＰＬＳ３で４ライン期間露光している。さらに、ラインＹは、パルス光ＰＬＳ３で３ライン期間、パルス光ＰＬＳ４で７ライン期間およびパルス光ＰＬＳ５で３ライン期間露光されている。このため、第１の画像処理部６２は、［ＲＡＷ＿Ｇ＿１＿ＩＮ ラインＸ画像］におけるパルス光ＰＬＳ３の４ライン期間の露光に相当する画像と、［ＲＡＷ＿Ｇ＿０＿ＩＮ ラインＸ画像］におけるパルス光ＰＬＳ３の３ライン期間の露光に相当する画像と、を合成した画像とみなして、以下の式（５）によってラインＹの疑似フレームである［疑似フレームラインＹ画像］を算出する。
次に、図５に示すラインＹの場合について説明する。
図５に示すように、ラインＹは、パルス光ＰＬＳ１で２ライン期間、パルス光ＰＬＳ２で７ライン期間およびパルス光ＰＬＳ３で４ライン期間露光している。さらに、ラインＹは、パルス光ＰＬＳ３で３ライン期間、パルス光ＰＬＳ４で７ライン期間およびパルス光ＰＬＳ５で３ライン期間露光されている。このため、第１の画像処理部６２は、［ＲＡＷ＿Ｇ＿１＿ＩＮ ラインＸ画像］におけるパルス光ＰＬＳ３の４ライン期間の露光に相当する画像と、［ＲＡＷ＿Ｇ＿０＿ＩＮ ラインＸ画像］におけるパルス光ＰＬＳ３の３ライン期間の露光に相当する画像と、を合成した画像とみなして、以下の式（５）によってラインＹの疑似フレームである［疑似フレームラインＹ画像］を算出する。
〔ラインＺの場合〕
次に、図５に示すラインＺの場合について説明する。
図５に示すように、ラインＺは、パルス光ＰＬＳ２で７ライン期間およびパルス光ＰＬＳ３で７ライン期間露光している。このため、第１の画像処理部６２は、［フレーム１ラインＺ画像］におけるパルス光ＰＬＳ３の７ライン期間の露光に相当する画像とみなして、以下の式（６）によって、ラインＺの疑似フレームである［疑似フレームラインＺ画像］を算出する。
次に、図５に示すラインＺの場合について説明する。
図５に示すように、ラインＺは、パルス光ＰＬＳ２で７ライン期間およびパルス光ＰＬＳ３で７ライン期間露光している。このため、第１の画像処理部６２は、［フレーム１ラインＺ画像］におけるパルス光ＰＬＳ３の７ライン期間の露光に相当する画像とみなして、以下の式（６）によって、ラインＺの疑似フレームである［疑似フレームラインＺ画像］を算出する。
〔調光を行う場合〕
次に、光源部６０によって出射されるパルス光の調光を行う場合について説明する。第１の画像処理部６２は、疑似フレームを各パルス光の露光量の比によって合算することによって生成する。具体的には、第１の画像処理部６２は、光源部６０に対して調光がない場合、露光量を発光期間として疑似フレームを生成しているが、光源部６０に対して調光する場合、露光量を発光期間に光量を乗算することによって疑似フレームを生成する。このため、第１の画像処理部６２は、以下の式（７）〜式（９）によって、［疑似フレームラインＸ画像］、［疑似フレームラインＹ画像］および［疑似フレームラインＺ画像］を算出する。
次に、光源部６０によって出射されるパルス光の調光を行う場合について説明する。第１の画像処理部６２は、疑似フレームを各パルス光の露光量の比によって合算することによって生成する。具体的には、第１の画像処理部６２は、光源部６０に対して調光がない場合、露光量を発光期間として疑似フレームを生成しているが、光源部６０に対して調光する場合、露光量を発光期間に光量を乗算することによって疑似フレームを生成する。このため、第１の画像処理部６２は、以下の式（７）〜式（９）によって、［疑似フレームラインＸ画像］、［疑似フレームラインＹ画像］および［疑似フレームラインＺ画像］を算出する。
このように、第１の画像処理部６２は、少なくとも２フレームの画像信号を用いて１パルスのパルス光に相当する疑似画像信号に基づく疑似フレーム（疑似画像）を生成する。
〔明るさ補正の概要〕
次に、制御部６９による疑似画像信号に基づく疑似フレームの明るさの補正方法について説明する。図６は、制御部６９による疑似画像信号に基づく疑似フレームの明るさ補正の補正方法の概要を示す図である。図６において、上段から（ａ）が声帯の振動の周波数を示し、（ｂ）が撮像素子２１２の１フレームにおける露光期間（発光周期（発光回数）とパルス幅（発光時間））を示し、（ｃ）が疑似画像信号に基づく１フレームの明るさを示し、（ｄ）がＡＧＣ部６４による０ｄＢ（ゲイン量）（発光周期数［Ｈｚ］／フレームレート［Ｈｚ］）を示し、（ｅ）が出力画像の明るさ（疑似フレームの明るさ×０ｄＢゲイン）を示す。
次に、制御部６９による疑似画像信号に基づく疑似フレームの明るさの補正方法について説明する。図６は、制御部６９による疑似画像信号に基づく疑似フレームの明るさ補正の補正方法の概要を示す図である。図６において、上段から（ａ）が声帯の振動の周波数を示し、（ｂ）が撮像素子２１２の１フレームにおける露光期間（発光周期（発光回数）とパルス幅（発光時間））を示し、（ｃ）が疑似画像信号に基づく１フレームの明るさを示し、（ｄ）がＡＧＣ部６４による０ｄＢ（ゲイン量）（発光周期数［Ｈｚ］／フレームレート［Ｈｚ］）を示し、（ｅ）が出力画像の明るさ（疑似フレームの明るさ×０ｄＢゲイン）を示す。
図６に示すように、上述した実施の形態１と同様に、制御部６９は、声帯周波数検出部６７が検出した声帯の振動の周波数とデューティ比とに基づいて、撮像素子２１２Ａのフレーム期間（０露光）において、光源部６０がパルス光を発光する際のパルス幅および発光周期を設定し、この設定したパルス幅および発光周期で光源部６０に発光させる。制御部６９は、ＡＧＣ部６４に対して、各疑似フレームに応じたゲイン量をＡＧＣ部６４に設定し、各疑似フレームに応じた疑似画像信号に対してＡＧＣ部６４に０ｄＢ（ゲイン量）を乗算させる。これにより、声帯の振動の周波数の依存を無くすことで、画像の明るさを一定に保つことができる。
以上説明した実施の形態２によれば、制御部６９は、ＡＧＣ部６４に対して、各疑似フィールドに応じたゲイン量をＡＧＣ部６４に設定し、各疑似フィールドに応じた疑似画像信号に対してＡＧＣ部６４に０ｄＢ（ゲイン量）を乗算させるので、声帯の周波数に関わらず、画像の明るさを一定に保つことができる。
また、実施の形態２によれば、第１の画像処理部６２が少なくとも２フレームの画像信号を用いて１パルスのパルス光に相当する疑似画像信号に基づく疑似フレーム（疑似画像）を生成するので、観察に適した画像の明るさを一定に保つことができる。
また、実施の形態２によれば、第１の画像処理部６２が疑似フレームを生成する際に、特定のパルス光の発光期間として、撮像素子２１２Ａの１フィールド期間または１フレーム期間において、光源部６０が発光した最新のパルス光の期間であり、かつ、疑似画像信号の生成期間であるので、露光ムラを確実に防止することができる。
（その他の実施の形態）
上述した本開示の実施の形態１，２に係る内視鏡システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の形態を形成することができる。例えば、上述した本開示の実施の形態１，２に係る内視鏡システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態１，２に係る内視鏡システムで説明した構成要素を適宜組み合わせてもよい。
上述した本開示の実施の形態１，２に係る内視鏡システムに開示されている複数の構成要素を適宜組み合わせることによって、種々の形態を形成することができる。例えば、上述した本開示の実施の形態１，２に係る内視鏡システムに記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、上述した本開示の実施の形態１，２に係る内視鏡システムで説明した構成要素を適宜組み合わせてもよい。
また、本開示の実施の形態１，２に係る内視鏡システムでは、上述してきた「部」は、「手段」や「回路」などに読み替えることができる。例えば、制御部は、制御手段や制御回路に読み替えることができる。
また、本開示の実施の形態１，２に係る内視鏡システムに実行させるプログラムは、インストール可能な形式または実行可能な形式のファイルデータでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ媒体、フラッシュメモリ等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本開示の実施の形態１，２に係る内視鏡システムに実行させるプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。
なお、本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本開示を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。即ち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
１，１Ａ 内視鏡システム
２，２Ａ 内視鏡
３ 入力装置
４ 音声入力装置
５ 表示装置
６ 制御装置
２０ 挿入部
２１ 撮像部
６０ 光源部
６１ 光源駆動部
６２ 第１の画像処理部
６３ 明るさ検出部
６４ ＡＧＣ部
６５ 第２の画像処理部
６６ 前処理部
６７ 声帯周波数検出部
６８ メモリ
６９ 制御部
２１１ 光学系
２１２，２１２Ａ 撮像素子
６８１ プログラム記録部
２，２Ａ 内視鏡
３ 入力装置
４ 音声入力装置
５ 表示装置
６ 制御装置
２０ 挿入部
２１ 撮像部
６０ 光源部
６１ 光源駆動部
６２ 第１の画像処理部
６３ 明るさ検出部
６４ ＡＧＣ部
６５ 第２の画像処理部
６６ 前処理部
６７ 声帯周波数検出部
６８ メモリ
６９ 制御部
２１１ 光学系
２１２，２１２Ａ 撮像素子
６８１ プログラム記録部
Claims (9)
- メモリおよびハードウェアからなる少なくとも１つ以上のプロセッサを備える制御装置であって、
前記プロセッサは、
２次元マトリクス状に配置されてなる複数の画素を有する撮像素子に対して、所定のフレームに従って順次撮像させて画像信号を生成させ、
外部から入力される音声信号に基づいて、被検体における声帯の振動の周波数を検出し、
パルス電流に応じたパルス光を間欠的に発光可能な光源部に対して、前記周波数と予め設定されたデューティ比とに基づいて、前記光源部が発光する際のパルス幅および発光周期を設定し、
前記周波数に同期させて前記撮像素子の１フィールド期間または１フレーム期間内に、前記光源部に対して前記パルス幅および前記発光周期で前記パルス光を発光させ、
前記発光周期または前記周波数に基づいて、前記画像信号に乗算するゲイン量を算出し、
前記画像信号に前記ゲイン量を乗算する、
制御装置。 - 請求項１に記載の制御装置であって、
前記プロセッサは、
前記撮像素子が生成した前記画像信号に基づいて、特定のパルス光の発光期間において前記複数の画素が露光された場合の画像信号に相当する疑似画像信号を生成し、
前記疑似画像信号に前記ゲイン量を乗算する、
制御装置。 - 請求項２に記載の制御装置であって、
前記プロセッサは、
前記撮像素子が生成した時間的に連続する２つ以上の前記画像信号に基づいて、特定のパルス光の発光期間において前記複数の画素が露光された場合の画像信号に相当する疑似画像信号を生成し、
前記疑似画像信号に前記ゲイン量を乗算する、
制御装置。 - 請求項３に記載の制御装置であって、
前記特定のパルス光の発光期間は、
前記撮像素子の１フィールド期間または１フレーム期間において、前記光源部が発光した最新のパルス光の期間であり、かつ、前記疑似画像信号の生成期間である、
制御装置。 - 請求項１〜４のいずれか一つに記載の制御装置であって、
前記撮像素子は、
ＣＣＤセンサである、
制御装置。 - 請求項１〜４のいずれか一つに記載の制御装置であって、
前記撮像素子は、
ＣＭＯＳセンサである、
制御装置。 - 請求項１〜６のいずれか一つに記載の制御装置と、
被検体に挿入可能な挿入部の先端部に、前記画像信号を生成する前記撮像素子が配置されてなる内視鏡と、
音声の入力を受け付けて前記音声信号を生成する音声入力装置と、
を備え、
前記光源部は、
前記内視鏡へ前記パルス光を供給することによって前記先端部から被写体に向けて照射する、
医療用観察システム。 - メモリおよびハードウェアからなる少なくとも１つ以上のプロセッサを備える制御装置が実行する制御方法であって、
前記プロセッサが、
２次元マトリクス状に配置されてなる複数の画素を有する撮像素子に対して、所定のフレームに従って順次撮像させて画像信号を生成させ、
外部から入力される音声信号に基づいて、被検体における声帯の振動の周波数を検出し、
パルス電流に応じたパルス光を間欠的に発光可能な光源部に対して、前記周波数と予め設定されたデューティ比とに基づいて、前記光源部が発光する際のパルス幅および発光周期を設定し、
前記周波数に同期させて前記撮像素子の１フィールド期間または１フレーム期間内に、前記光源部に対して前記パルス幅および前記発光周期で前記パルス光を発光させ、
前記発光周期または前記周波数に基づいて、前記画像信号に乗算するゲイン量を算出し、
前記画像信号に前記ゲイン量を乗算する、
制御方法。 - メモリおよびハードウェアからなる少なくとも１つ以上のプロセッサを備える制御装置に実行させるプログラムであって、
前記プロセッサに、
２次元マトリクス状に配置されてなる複数の画素を有する撮像素子に対して、所定のフレームに従って順次撮像させて画像信号を生成させ、
外部から入力される音声信号に基づいて、被検体における声帯の振動の周波数を検出させ、
パルス電流に応じたパルス光を間欠的に発光可能な光源部に対して、前記周波数と予め設定されたデューティ比とに基づいて、前記光源部が発光する際のパルス幅および発光周期を設定させ、
前記周波数に同期させて前記撮像素子の１フィールド期間または１フレーム期間内に、前記光源部に対して前記パルス幅および前記発光周期で前記パルス光を発光させ、
前記発光周期または前記周波数に基づいて、前記画像信号に乗算するゲイン量を算出させ、
前記画像信号に前記ゲイン量を乗算させる、
プログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019122380A JP7394547B2 (ja) | 2019-06-28 | 2019-06-28 | 制御装置、医療用観察システム、制御方法およびプログラム |
| US16/904,586 US11178340B2 (en) | 2019-06-28 | 2020-06-18 | Control device, medical observation system, control method, and computer readable recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019122380A JP7394547B2 (ja) | 2019-06-28 | 2019-06-28 | 制御装置、医療用観察システム、制御方法およびプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021007548A true JP2021007548A (ja) | 2021-01-28 |
| JP7394547B2 JP7394547B2 (ja) | 2023-12-08 |
Family
ID=74198391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019122380A Active JP7394547B2 (ja) | 2019-06-28 | 2019-06-28 | 制御装置、医療用観察システム、制御方法およびプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11178340B2 (ja) |
| JP (1) | JP7394547B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020151402A (ja) * | 2019-03-22 | 2020-09-24 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用制御装置及び内視鏡システム |
| US20200397277A1 (en) * | 2019-06-20 | 2020-12-24 | Ethicon Llc | Videostroboscopy of vocal cords with a hyperspectral, fluorescence, and laser mapping imaging system |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000300514A (ja) * | 1999-04-16 | 2000-10-31 | Olympus Optical Co Ltd | 内視鏡撮像装置 |
| WO2015194415A1 (ja) * | 2014-06-18 | 2015-12-23 | オリンパス株式会社 | 処理装置、撮像装置および内視鏡システム |
| JP2017225736A (ja) * | 2016-06-24 | 2017-12-28 | 富士フイルム株式会社 | 内視鏡装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6311868B2 (ja) * | 2013-11-07 | 2018-04-18 | 株式会社Ｊｏｌｅｄ | 画像処理回路、画像処理方法、及び、表示装置 |
| JP2015195845A (ja) * | 2014-03-31 | 2015-11-09 | 富士フイルム株式会社 | 内視鏡システム、内視鏡システムの作動方法、プロセッサ装置、プロセッサ装置の作動方法 |
| US10835116B2 (en) * | 2017-11-16 | 2020-11-17 | Karl Storz Imaging, Inc. | Vocal cord stroboscopy |
-
2019
- 2019-06-28 JP JP2019122380A patent/JP7394547B2/ja active Active
-
2020
- 2020-06-18 US US16/904,586 patent/US11178340B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000300514A (ja) * | 1999-04-16 | 2000-10-31 | Olympus Optical Co Ltd | 内視鏡撮像装置 |
| WO2015194415A1 (ja) * | 2014-06-18 | 2015-12-23 | オリンパス株式会社 | 処理装置、撮像装置および内視鏡システム |
| JP2017225736A (ja) * | 2016-06-24 | 2017-12-28 | 富士フイルム株式会社 | 内視鏡装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7394547B2 (ja) | 2023-12-08 |
| US11178340B2 (en) | 2021-11-16 |
| US20210037176A1 (en) | 2021-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8785833B2 (en) | Image pickup system and image pickup method | |
| CN106256123B (zh) | 处理装置、摄像装置以及内窥镜系统 | |
| JP6239220B1 (ja) | 内視鏡装置及びビデオプロセッサ | |
| JP6109456B1 (ja) | 画像処理装置および撮像システム | |
| US8545399B2 (en) | Medical instrument | |
| JP5132841B2 (ja) | 内視鏡装置および内視鏡装置の制御方法 | |
| US9826885B2 (en) | Endoscope system | |
| JPWO2012033200A1 (ja) | 撮像装置 | |
| JPWO2014021022A1 (ja) | 内視鏡装置 | |
| WO2016104386A1 (ja) | 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム | |
| JP7394547B2 (ja) | 制御装置、医療用観察システム、制御方法およびプログラム | |
| US20240306883A1 (en) | Medical image processing apparatus and medical observation system | |
| JPWO2017057133A1 (ja) | 撮像システムおよび処理装置 | |
| US11559193B2 (en) | Medical control device and endoscope system | |
| JP6945660B2 (ja) | 撮像システムおよび処理装置 | |
| WO2017073181A1 (ja) | 内視鏡装置 | |
| JP7235608B2 (ja) | 光源制御装置、医療用観察システム、光源制御方法およびプログラム | |
| JP2020151090A (ja) | 医療用光源装置及び医療用観察システム | |
| WO2021176710A1 (ja) | 信号処理装置、内視鏡システム、及び信号処理方法 | |
| JP2001203910A (ja) | 映像信号処理装置 | |
| JP2010004319A (ja) | 撮像装置 | |
| WO2019167298A1 (ja) | 被検体観察システム、被検体観察システムの作動方法 | |
| JP2016057418A (ja) | 撮像装置、撮像方法及びプログラム | |
| JP2021146198A (ja) | 医療用画像処理装置及び医療用観察システム | |
| JP2019202077A (ja) | 内視鏡システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220426 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230323 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230523 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230808 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231004 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231031 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231128 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7394547 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |