JP2019202077A - 内視鏡システム - Google Patents

内視鏡システム Download PDF

Info

Publication number
JP2019202077A
JP2019202077A JP2018100846A JP2018100846A JP2019202077A JP 2019202077 A JP2019202077 A JP 2019202077A JP 2018100846 A JP2018100846 A JP 2018100846A JP 2018100846 A JP2018100846 A JP 2018100846A JP 2019202077 A JP2019202077 A JP 2019202077A
Authority
JP
Japan
Prior art keywords
parameter
image
unit
light source
raw image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018100846A
Other languages
English (en)
Other versions
JP7089943B2 (ja
Inventor
祐二 久津間
Yuji Kutsuma
祐二 久津間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2018100846A priority Critical patent/JP7089943B2/ja
Publication of JP2019202077A publication Critical patent/JP2019202077A/ja
Application granted granted Critical
Publication of JP7089943B2 publication Critical patent/JP7089943B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】現像に有効なパラメータを効果的に付与したRAW画像を得る。【解決手段】 内視鏡システムは、被検体に照射する照明光を発する光源を有する光源部と、前記光源部の照射に基づく前記被検体からの戻り光を撮像して得られる撮像信号が入力され、前記撮像信号に基づく観察画像を出力可能な画像処理装置と、を具備し、前記画像処理装置は、前記光源部の照射に基づく前記被検体からの戻り光を撮像して得られる撮像信号が入力され、前記撮像信号からRAW画像を生成するRAW画像生成部と、前記RAW画像の現像に用いるパラメータを選択するものであって少なくとも前記光源部が発する前記照明光に関する設定値に基づくパラメータを選択するパラメータ選択部と、前記パラメータ選択部が選択したパラメータを前記RAW画像に付加して出力するパラメータ付加処理部と、を備える。【選択図】図1

Description

本発明は、撮像部からの内視鏡画像を処理する内視鏡システムに関する。
近年、内視鏡システムは、例えば医療分野、工業分野等、様々な分野において用いられている。医療分野においては、内視鏡システムは、例えば体腔内の臓器の観察、処置具を用いての治療処置、内視鏡観察下における外科手術等に用いられる。内視鏡システムには、撮像素子によって患者体腔内の撮像画像を撮像可能に構成された電子内視鏡が採用されることが多い。内視鏡システムは、電子内視鏡によって撮像して得た撮像画像(撮像信号)を映像処理する画像処理装置を有しており、画像処理装置は撮像信号を表示等に用いる観察画像の映像信号に変換して、モニタに出力したり記録したりすることができる。
画像処理装置には、多種類の内視鏡を接続可能である。また、内視鏡に内蔵する撮像素子としても、多種類のものを採用することができる。そこで、内視鏡は、内視鏡の種類及び撮像素子の種類等の情報を含むスコープIDを保持する。画像処理装置は、内視鏡からスコープIDを取得することで、内視鏡に搭載されている撮像素子の種類を検出し、撮像素子の種類に応じた最適な駆動を行うようになっている。例えば、画像処理装置は、撮像画像に対して、歪補正や傷補正等の画像処理、γ補正やホワイトバランス調整、強調処理等の各種信号処理を施した後、モニタに表示可能な映像信号に変換して、モニタに供給するようになっている。
ところで、従来、画像処理装置においては、画像処理後の映像信号を出力する機能だけでなく、画像処理を施していない、所謂RAW画像を生成して出力する機能を有するものもある。このようなRAW画像は、高画質の画像が得られる可能性があることから、例えば、製造工程において、イメージャの性能検査、画像処理性能検査等に利用されることもある。
特許文献1においては、RAW画像を生成する撮像装置において、RAW画像データに対して施すべき画像処理のパラメータを決定し、動画像データの末尾部分でのパラメータの平均値を示す第1付帯データを付与して動画像ファイルを生成することにより、動画像データを連結する場合につなぎ目で違和感のより少ない動画像を生成する技術が開示されている。
特開2012−10239号公報
しかしながら、特許文献1においては、RAW画像の現像に有効なパラメータが十分に付与されていないことから、RAW画像を十分に活用することができないという問題があった。
本発明は、現像に有効なパラメータを効果的に付与したRAW画像を得ることができる内視鏡システムを提供することを目的とする。
本発明に係る内視鏡システムは、被検体に照射する照明光を発する光源を有する光源部と、前記光源部の照射に基づく前記被検体からの戻り光を撮像して得られる撮像信号が入力可能で、前記撮像信号に基づく観察画像を出力可能な画像処理装置と、を具備し、前記画像処理装置は、前記光源部の照射に基づく前記被検体からの戻り光を撮像して得られる撮像信号が入力され、前記撮像信号からRAW画像を生成するRAW画像生成部と、前記RAW画像の現像に用いるパラメータを選択するものであって少なくとも前記光源部が発する前記照明光に関する設定値に基づくパラメータを選択するパラメータ選択部と、前記パラメータ選択部が選択したパラメータを前記RAW画像に付加して出力するパラメータ付加処理部と、を備える。
本発明によれば、現像に有効なパラメータを効果的に付与したRAW画像を得ることができるという効果を有する。
本発明の第1の実施の形態に係る内視鏡システムを示すブロック図。 本発明の第2の実施の形態に係る内視鏡システムを示すブロック図。 本発明の第3の実施の形態に係る内視鏡システムを示すブロック図。 本発明の第4の実施の形態に係る内視鏡システムを示すブロック図。
以下、図面を参照して本発明の実施の形態について詳細に説明する。
(第1の実施の形態)
図1は本発明の第1の実施の形態に係る内視鏡システムを示すブロック図である。なお、図1では、細線によって映像信号やRAW画像(信号)等の信号の流れを示し、太線によってそれ以外の制御信号やパラメータ等の信号の流れを示している。
特許文献1においては、撮像素子から取得される画像信号を用いて取得した評価値に基づいてパラメータを決定している。即ち、特許文献1においては、取得された画像信号に基づくパラメータは利用されているが、そのような画像信号が得られることとなった環境に基づくパラメータは利用されておらず、RAW画像の現像に有効なパラメータが十分に付与されているとは言えない。そこで、本実施の形態においては、環境に基づくパラメータとして、少なくとも被写体を照明する照明光に関する設定値に基づくパラメータをRAW画像に付与することにより、RAW画像を効果的に現像することを可能にするものである。なお、現像は、RAW画像に基づく画像の表示等のためにRAW画像を画像処理することをいう。
図1に示す内視鏡システムは、内視鏡10と画像処理装置20とによって構成される。内視鏡10は、図示しない被検体内に挿入される細長の挿入部11を有する。挿入部11内には、光源33からの光を導くライトガイド12が配設されており、光源33からの照明光は、ライトガイド12を介して被写体に照射されるようになっている。内視鏡10には、イメージャ13が設けられており、イメージャ13の撮像面には被写体からの反射光が入射するようになっている。イメージャ13は、後述する制御部21から供給される駆動信号によって駆動されて、撮像面に入射した被写体光学像を光電変換して撮像信号を得る。この撮像信号が画像処理装置20に供給されるようになっている。
画像処理装置20には、複数種類の内視鏡を接続可能であり、内視鏡において利用されるイメージャの種類等も様々である。そこで、内視鏡10には、内視鏡の種類及びイメージャの種類等の内視鏡に関する各種情報を含むスコープ情報(種別情報)を保持するROM14が設けられている。ROM14は、画像処理装置20の制御部21に対してスコープ情報を供給するようになっている。
画像処理装置20には、制御部21が設けられている。制御部21は、CPU等を用いたプロセッサによって構成されて、図示しないメモリに記憶されたプログラムに従って動作して各部を制御するものであってもよいし、ハードウェアの電子回路で機能の一部又は全部を実現するものであってもよい。なお、画像処理装置20の全体がFPGA(フィールドプログラマブルゲートアレイ)等によって構成されていてもよい。
画像処理装置20の撮像信号取得部22は、イメージャ13からの撮像信号を取り込んで、画像信号処理部23及びRAW画像生成部24に出力する。画像信号処理部23は、制御部21に制御されて、撮像信号取得部22によって取り込まれた撮像信号を表示装置41において表示させるための各種信号処理を行う。画像信号処理部23は、制御部21から処理に必要なパラメータが供給されるようになっている。なお、画像信号処理部23の信号処理において必要なパラメータはROM28に格納されている。ROM28は、複数種類の内視鏡に対応した複数のパラメータを記憶しており、制御部21はスコープ情報に基づいてROM28から信号処理に必要なパラメータを読出して画像信号処理部23に与える。
例えば、画像信号処理部23は、AGC(オートゲインコントロール)処理や、撮像信号におけるOB(オプティカルブラック)をクランプして黒レベルを決定する処理や、イメージャ13の欠陥画素に対する補正処理、収差処理、ノイズ低減処理等を行う。 また、例えば、画像信号処理部23は、撮像信号を表示装置41において表示させる画像信号を生成するためのデモザイキング処理を行う。例えば、画像信号処理部23は、内視鏡10が同時式で駆動される場合には、色抽出処理や補間処理等を行ってR,G,B信号を得る。また、画像信号処理部23は、内視鏡10が面順次式で駆動される場合には、面順次で入力されるR,G,B信号に補間処理を施した後、同時化処理を行ってR,G,B信号を出力する。また、画像信号処理部23は、R,G,B信号のホワイトバランスを調整する。また、例えば、画像信号処理部23は、制御部21からのパラメータを用いて、階調変換処理や、色強調処理、輪郭強調処理等を行う。画像信号処理部23は、信号処理後に得られる観察画像の画像信号(R,G,B信号)を出力制御部27に出力する。
出力制御部27は、入力されたR,G,B信号を表示用の画像信号に変換して表示装置41に出力する。こうして、表示装置41の表示画面上に、内視鏡10により撮像した被検体の観察画像が表示される。
一方、RAW画像生成部24は、制御部21に制御されて、入力された撮像信号に基づいてRAW画像(RAW画像信号)を生成してパラメータ付加処理部25に出力する。ROM28には、RAW画像の生成に用いられるパラメータが記憶されており、制御部21は、ROM28からRAW画像の生成に必要なパラメータを読出してRAW画像生成部24に供給するようになっている。
例えば、RAW画像生成部24は、入力された撮像信号に対して何らの処理も行わずにそのままRAW画像として出力してもよく、入力された撮像信号に対して収差の補正や画素欠陥の補正を行ってRAW画像を生成してもよく、また、内視鏡10が面順次式の内視鏡である場合には、時分割に入力されたR(赤),G(緑),B(青)画像を同時に出力する同時化処理を行ってRAW画像を生成してもよい。
なお、画像信号処理部23は、照明光の光量を制御するために、AGC処理後の撮像信号を検波し、検波結果を制御部21に出力するようになっている。制御部21は、内視鏡10のROM14から取得したスコープ情報及び画像信号処理部23の検波結果に基づいて、照明を制御するための光源制御信号を発生して照明部30に出力する。
照明部30は、光源制御部31、光源ドライバ32及び光源33によって構成されている。光源制御部31は、制御部21からの光源制御信号に基づいて光源33を制御するための設定値を発生して、光源ドライバ32を駆動する。光源ドライバ32は、光源制御部31に制御されて、光源33を駆動して、照明光を発生させる。
例えば、光源33がLEDによって構成されている場合には、光源ドライバ32は、光源制御部31からLED光源を調光制御するためのPWM電流値及びPWM制御のパルス幅の情報が与えられて、これらの情報に従ってLEDを駆動制御するようになっている。
上述したように、照明部30の光源33からの照明光は、ライトガイド12を介して挿入部11に導かれて被検体に照射される。被検体からの戻り光による光学像はイメージャ13に入射されて光電変換され、撮像信号が画像処理装置20の撮像信号取得部22を介して画像信号処理部23に供給されてAGC処理される。画像信号処理部23はAGC処理後の撮像信号を検波して検波結果を制御部21に与え、制御部21は検波結果に基づいて光源33を制御するための光源制御信号を発生し、光源制御部31は光源制御信号に基づいて照明光に関する設定値を発生する。
従って、画像信号処理部23によって得られる画像の明るさは、AGC制御、光源33の照明制御、イメージャ30の特性等によって変化する。従って、特許文献1のように撮像信号のみに基づくパラメータをRAW画像に付加したとしても、そのパラメータだけではRAW画像の現像処理によって十分に有効な画像が得られるとは限らない。
そこで、本実施の形態においては、RAW画像から十分に有効な画像を得るためのパラメータをRAW画像に付与する。パラメータ付加処理部25にはパラメータ選択部26からRAW画像に付加するパラメータが供給される。パラメータ選択部26は、制御部21から得られるパラメータのうち、RAW画像の現像処理によって十分に有効な画像を得るために必要なパラメータを選択する。
例えば、パラメータ選択部26は、RAW画像の状態に応じたパラメータを選択する。例えば、撮像信号取得部22において傷補正が行われた場合には、当該傷補正に用いられたパラメータを付加する必要は無い。パラメータ選択部26は、RAW画像の生成時に、行われていない傷補正や収差補正等に必要なパラメータを選択してパラメータ付加処理部25に出力する。
また、RAW画像の現像処理時には、イメージャ13の種類に応じたパラメータも必要であり、パラメータ選択部26は、スコープ情報に基づいて、RAW画像の現像処理に必要なパラメータを選択してパラメータ付加処理部25に出力する。例えば、画像サイズの情報や面順次式か同時式かを示す情報等がパラメータ選択部26によって選択される。また、パラメータ選択部26は、観察モードが通常光観察モードか狭帯域観察や蛍光観察等の特殊光観察モードかを示す観察モードの情報もパラメータ付加処理部25にパラメータとして出力する。
更に、本実施の形態においては、パラメータ選択部26は、光源33の設定値、例えば、照明光量の設定値の情報をパラメータとしてパラメータ付加処理部25に出力する。光源制御部31は、制御部21からの光源制御信号に基づいて光源33の設定値を発生しており、発生した設定値を制御部21に出力する。制御部21は、光源制御部31からの設定値をパラメータ選択部26に与える。例えば、光源33がLEDによって構成されている場合には、パラメータ選択部26は、光源制御部31からLEDをPWM制御する場合の電流値及びパルス幅の設定値が制御部21を介して与えられ、この設定値をパラメータとしてパラメータ付加処理部25に出力する。
また、本実施の形態においては、パラメータ選択部26は、RAW画像の生成と同時に画像信号処理部23において行われた画像処理に用いられたパラメータを選択してパラメータ付加処理部25に出力する。例えば、パラメータ選択部26は、画像信号処理部23における強調処理の情報等をパラメータとしてパラメータ付加処理部25に出力する。RAW画像の現像時にこれらのパラメータを用いることで、画像信号処理部23の出力に基づいてリアルタイムに表示された内視鏡画像と同様の画像をRAW画像から取得することが可能となる。
なお、照明光量に関する設定値等のパラメータは動的に変化するが、パラメータ選択部26は、パラメータが変化する毎に変化したパラメータをパラメータ付加処理部25に出力するようにしてもよく、また、RAW画像のフレーム毎に、選択した全てのパラメータをパラメータ付加処理部25に出力するようになっていてもよい。
なお、本実施の形態においては、パラメータ選択部26は、伝送容量の制限から、必要なパラメータのみを選択したが、伝送容量に十分な余裕がある場合には、付加可能な全てのパラメータをパラメータ付加処理部25に出力するようになっていてもよい。また、逆に、パラメータ選択部26は、RAW画像の伝送に許されたデータ量によっては、RAW画像に付加するパラメータを許されたデータ量以内のデータ量となるように更に選択して、パラメータ付加処理部25に出力するようになっていてもよい。
パラメータ付加処理部25は、パラメータ選択部26から供給されたパラメータを、RAW画像のメタデータとしてRAW画像に付与して出力制御部27に出力するようになっている。出力制御部27は、画像信号処理部23からの画像信号を表示装置41に出力すると共に、パラメータ付加処理部25からのパラメータが付加されたRAW画像をRAW記録装置42に出力する。表示装置41は入力された画像信号に基づく画像を表示画面に表示する。RAW記録装置42は、入力されたRAW画像を記録媒体に記録する。なお、RAW記録装置42は記録されたRAW画像を再生して出力することもできるようになっている。
次に、このように構成された実施の形態の動作について説明する。
内視鏡10と画像処理装置20とを接続して、内視鏡10及び画像処理装置20の電源を投入する。制御部21はROM14からスコープ情報を読出し、照明部30に光源制御信号を出力する。これにより、照明部30の光源33からの照明光がライトガイド12を介して被検体に照射される。イメージャ13は、制御部21に駆動されて、被写体を撮像する。イメージャ13からの撮像信号は、画像処理装置20の撮像信号取得部22によって取り込まれて、画像信号処理部23及びRAW画像生成部24に供給される。
画像信号処理部23は、撮像信号に対して制御部21からのパラメータを用いた信号処理を施して、画像信号を出力制御部27に出力する。画像信号処理部23の信号処理と同時に、RAW画像生成部24は、制御部21に制御されて、撮像信号取得部22からの撮像信号からRAW画像を生成する。RAW画像生成部24は生成したRAW画像をパラメータ付加処理部25に出力する。
パラメータ選択部26は、RAW画像の現像処理に有効な各種パラメータを選択してパラメータ付加処理部25に出力する。即ち、パラメータ選択部26は、少なくとも動的に変化する環境に基づくパラメータである照明光の設定値に関するパラメータを選択する。また、パラメータ選択部26は、傷補正の有無等のRAW画像の状態に応じたパラメータを選択する。また、パラメータ選択部26は、画像サイズ等のイメージャ13の種類に応じたパラメータを選択する。また、パラメータ選択部26は、観察モードを指定するパラメータを選択する。また、パラメータ選択部26は、強調処理の情報等の画像信号処理部23において画像処理に用いられるパラメータを選択する。
パラメータ選択部26は、選択したパラメータを例えばフレーム毎にパラメータ付加処理部25に出力する。なお、パラメータ選択部26は、RAW画像についての伝送容量の制限を考慮して、選択したパラメータを更に特定のパラメータに制限してパラメータ付加処理部25に出力してもよく、また、変化したパラメータのみをパラメータ付加処理部25に出力するようにしてもよい。
パラメータ付加処理部25は、パラメータ選択部26から供給されたパラメータを、RAW画像のメタデータとしてRAW画像に付与して出力制御部27に出力する。出力制御部27は、画像信号処理部23からの画像信号を表示装置41に出力する。これにより、表示装置41の表示画面には、内視鏡10が撮像して得た内視鏡画像(観察画像)が表示される。また、出力制御部27は、パラメータ付加処理部25からのパラメータが付加されたRAW画像をRAW記録装置42に出力する。RAW記録装置42は、入力されたRAW画像を記録媒体に記録する。
このように本実施の形態においては、内視鏡によって取得した内視鏡画像を表示して観察ができると共に、この内視鏡画像のRAW画像を生成し、生成したRAW画像にパラメータを付加して出力し記録することができる。この場合において、本実施の形態においては、パラメータとして、少なくとも動的に変化する環境に基づくパラメータである照明光の設定値に関するパラメータを付与することができる。これにより、生成されたRAW画像がどのような照明によって照明された被検体を撮像して得た撮像信号に基づくものであるかを把握することができ、RAW画像の現像時に活用することができる。更に、RAW画像には、RAW画像の状態に応じたパラメータ、内視鏡の種類に応じたパラメータ、観察モードを指定するパラメータ、画像信号処理部において画像処理に用いられたパラメータ等が付与されており、RAW画像の現像時に活用することができる。
(第2の実施の形態)
図2は本発明の第2の実施の形態に係る内視鏡システムを示すブロック図である。なお、図2においては、白抜き矢印によって映像信号やRAW画像(信号)等の信号の流れを示し、梨地矢印によってパラメータの流れを示し、斜線ハッチングの矢印によってパラメータが付与されたRAW画像の流れを示している。図2において図1と同一の構成要素には同一符号を付して説明を省略する。図2の画像処理装置20aは、外部入力制御部45を設けた点が図1の画像処理装置20と異なり、画像信号処理部23は、撮像信号取得部22の出力か又は外部入力制御部45の出力を取り込んで、信号処理を行うことができるようになっている。
画像処理装置20aのROM28には、複数の内視鏡に対応する複数のパラメータが記憶されているが、全ての内視鏡に対応している訳ではなく、内視鏡の種類によっては、利用することができない画像処理装置も存在する。本実施の形態はこの場合を想定したものであり、内視鏡10aは画像処理装置50に対応する例を示している。なお、内視鏡10aのライトガイド12に供給する照明光については、画像処理装置20aの照明部30の光源33が発生した照明光を用いるようになっている。
画像処理装置50の制御部51、撮像信号取得部52、画像信号処理部53、RAW画像生成部54、パラメータ付加処理部55、パラメータ選択部56、出力制御部57及びROM58の構成は、それぞれ制御部21、撮像信号取得部22、画像信号処理部23、RAW画像生成部24、パラメータ付加処理部25、パラメータ選択部26、出力制御部27及びROM28と同様である。画像信号処理部53は、照明制御のために検波結果を制御部51に出力する。制御部51は、検波結果に基づいて光源制御信号を発生する。本実施の形態においては、制御部51は、光源制御信号を出力制御部57に出力するようになっている。
出力制御部57は、図示しないケーブルや無線伝送路等の所定の伝送路を介して画像処理装置20aの外部入力制御部45に接続されている。出力制御部57は、パラメータ付加処理部55からのパラメータが付加されたRAW画像又は画像信号処理部53からの画像と制御部51からの光源制御信号とを画像処理装置20aの外部入力制御部45に出力することができるようになっている。
外部入力制御部45は、入力された画像を画像信号処理部23に出力し、光源制御信号を制御部21に出力するようになっている。
次に、このように構成された実施の形態の動作について説明する。
内視鏡10aと画像処理装置50とを接続してイメージャ13からの撮像信号を撮像信号取得部52に供給可能にする共に、内視鏡10aと画像処理装置20aとを接続して、照明部30の光源33からの照明光をライトガイド12に供給可能とする。以下の説明では、画像処理装置50の画像信号処理部53よりも画像処理装置20aの画像信号処理部23の方が画像処理の性能が高いものとし、高画質の内視鏡画像(観察画像)を得るために、画像信号処理部23を利用するものとする。この場合には、画像処理装置50は、劣化の少ない画像としてRAW画像を生成して、画像処理装置20aに送信する。
画像処理装置20aの制御部21は照明部30に光源制御信号を出力して、光源33からの照明光をライトガイド12に出射させる。この照明光は内視鏡10aのライトガイド12から被検体に照射される。イメージャ13は、画像処理装置50の制御部51に駆動されて、被写体を撮像する。イメージャ13からの撮像信号は、画像処理装置50の撮像信号取得部52によって取り込まれて、画像信号処理部53及びRAW画像生成部54に供給される。
RAW画像生成部54は、撮像信号に基づいてRAW画像を生成する。制御部51は、スコープ情報に基づいてROM58からパラメータを読出して、パラメータ選択部56に出力する。パラメータ選択部56は、第1の実施の形態と同様に、RAW画像に付加すべきパラメータを選択してパラメータ付加処理部55に出力する。なお、照明光は画像処理装置20aによって内視鏡10aに供給されており、制御部51からは光源の設定値に関するパラメータは得られない。パラメータ付加処理部55は、パラメータ選択部56が選択したパラメータをメタデータとしてRAW画像に付加して出力制御部57に出力する。出力制御部57は、メタデータが付加されたRAW画像と制御部51からの光源制御信号とをケーブルを介して画像処理装置20aの外部入力制御部45に出力する。
外部入力制御部45は、入力された光源制御信号を制御部21に与え、パラメータが付加されたRAW画像を画像信号処理部23に出力する。制御部21は、外部入力制御部45から入力された光源制御信号を照明部30に与える。光源制御部31は、光源制御信号に基づいて発生した発光を制御するための設定値を発生する。これにより、照明部30の光源33は、光源制御信号に基づく発光量で発光して照明光を出射する。また、光源制御部31は、発光を制御するための設定値(光源設定値)を制御部21にも出力する。制御部21は、光源設定値を画像信号処理部23の信号処理に用いるパラメータとして画像信号処理部23に出力する。
画像信号処理部23に入力されたRAW画像には、ROM58に記憶されているパラメータ、即ち、内視鏡10aに対応したパラメータが付加されている。画像信号処理部23は、このパラメータと制御部21から供給された光源の設定値に関するパラメータを用いてRAW画像を信号処理して、撮像画像を得る。
上述したように、画像信号処理部23は画像信号処理部53よりも画像処理性能が高く、ROM28には高画質の画像処理を可能にするパラメータが格納されていることもある。制御部21は、ROM28からこのようなパラメータを読出して画像信号処理部23に出力する。画像信号処理部23は、制御部21からのパラメータを利用して信号処理することにより、より高画質の画像を得ることができる。画像信号処理部23からの撮像画像は、出力制御部27に供給されて、表示装置41に与えられる。こうして、表示装置41の表示画面上に、内視鏡10aが撮像して得た撮像画像が画像処理装置50のみを用いた場合よりもより高画質で表示される。
このように本実施の形態においては、内視鏡に比較的性能が低い画像処理装置のみが対応している場合でも、この画像処理装置からRAW画像を出力させることで、比較的性能が高い第1の実施の形態と同様の画像処理装置において、RAW画像を現像して観察画像を得ることができる。この場合には、比較的性能が低い画像処理装置において、RAW画像の現像に必要なパラメータを付加しており、付加されたパラメータを利用することで、RAW画像を確実に現像することができる。更に、比較的性能が高い画像処理装置において、光源の設定値に関するパラメータ及び画像処理に関するパラメータを用いた信号処理が可能であり、より高画質の観察画像を得ることができる。
(第3の実施の形態)
図3は本発明の第3の実施の形態に係る内視鏡システムを示すブロック図である。なお、図3においては、白抜き矢印によって映像信号やRAW画像(信号)等の信号の流れを示し、梨地矢印によってパラメータの流れを示し、斜線ハッチングの矢印によってパラメータが付与されたRAW画像の流れを示している。図3において図1及び図2と同一の構成要素には同一符号を付して説明を省略する。本実施の形態は、図2の画像処理装置20aにおいて、RAW画像にパラメータを付与する例を示している。
本実施の形態は、外部入力制御部45からパラメータを含むRAW画像を画像信号処理部23及びパラメータ付加処理部25に出力し、パラメータ付加処理部25において新たにパラメータを付与する点が第2の実施の形態と異なる。画像信号処理部23における信号処理は第2の実施の形態と同様である。
制御部21は、画像信号処理部23からRAW画像に含まれるパラメータを読出してパラメータ選択部26に与える。また、制御部21は、光源制御部31によって生成された光源の設定値に基づくパラメータを取り込んでパラメータ選択部26に与え、更に、画像信号処理部23において信号処理に用いたパラメータをROM28から読出してパラメータ選択部26に与える。
パラメータ選択部26は、光源の設定値に基づくパラメータを選択してパラメータ付加処理部25に出力する。また、パラメータ選択部26は、画像処理装置50から転送されたRAW画像に含まれるパラメータに加えて、又はこのパラメータの一部または全部に代えて、ROM28から読出されたパラメータを選択してパラメータ付加処理部25に出力する。パラメータ付加処理部25は、外部入力制御部45から取り込まれたRAW画像に、パラメータ選択部26によって選択されたパラメータをメタデータとして付加する。パラメータ付加処理部25からのメタデータが付加されたRAW画像は出力制御部27に供給される。
出力制御部27は、画像信号処理部23からの画像信号を表示装置41に与え、パラメータ付加処理部25からのメタデータを含むRAW画像をRAW記録装置42に与える。こうして、表示装置41において、高画質での画像表示が行われると共に、現像に有効なパラメータが付加されたRAW画像がRAW記録装置42において記録される。
このように本実施の形態においては、第2の実施の形態と同様に、内視鏡に比較的性能が低い画像処理装置のみが対応している場合でも、高画質の観察画像を得ることができる。更に、本実施の形態においては、RAW画像に、現像に有効なパラメータを付与して記録することができるという効果を有する。
(第4の実施の形態)
図4は本発明の第4の実施の形態に係る内視鏡システムを示すブロック図である。なお、図4においては、白抜き矢印によって映像信号やRAW画像(信号)等の信号の流れを示し、梨地矢印によってパラメータの流れを示し、斜線ハッチングの矢印によってパラメータが付与されたRAW画像の流れを示している。図4において図1から図3と同一の構成要素には同一符号を付して説明を省略する。
図4の画像処理装置20bは、外部入力制御部45に代えて入出力制御部46を設けた点が図2の画像処理装置20aと異なる。また、画像処理装置60は、画像処理装置50と同様の構成を有している。即ち、画像処理装置60の制御部61、撮像信号取得部62、画像信号処理部63、RAW画像生成部64、パラメータ付加処理部65、パラメータ選択部66、ROM68の構成は、それぞれ制御部51、撮像信号取得部52、画像信号処理部53、RAW画像生成部54、パラメータ付加処理部55、パラメータ選択部56及びROM58と同様である。画像処理装置60は、出力制御部57に代えて入出力制御部67を設けた点が画像処理装置50と異なる。
画像処理装置60の入出力制御部67と画像処理装置20bの入出力制御部46とは、相互に通信が可能である。入出力制御部67は、制御部61が発生した光源制御信号を外部入力制御部45に出力し、外部入力制御部45は、制御部21が発生したパラメータを入出力制御部67に出力する。入出力制御部67は、外部入力制御部45からのパラメータを制御部51に与え、入出力制御部46は、入出力制御部67からの光源制御信号を制御部21に与える。
なお、画像処理装置60は、内視鏡10bに対応した装置であるものとする。また、画像処理装置20bは、内視鏡10bに対応した装置である場合もあり、対応していない装置である場合もある。画像処理装置20bの光源33からの照明光が内視鏡10bのライトガイド12に供給されるようになっている。
次に、このように構成された実施の形態の動作について説明する。
内視鏡10bと画像処理装置60とを接続してイメージャ13からの撮像信号を撮像信号取得部62に供給可能にする共に、内視鏡10bと画像処理装置20bとを接続して、照明部30の光源33からの照明光をライトガイド12に供給可能とする。以下の説明では、画像処理装置20bの画像信号処理部23よりも画像処理装置60の画像信号処理部63の方が画像処理の性能が高く、高画質の内視鏡画像(観察画像)を得るために、画像信号処理部60を利用するものとする。即ち、画像処理装置60において、撮像信号から観察画像を生成すると共に、パラメータ付きのRAW画像を生成する。
画像処理装置20bの制御部21は照明部30に光源制御信号を出力して、光源33からの照明光をライトガイド12に出射させる。この照明光は内視鏡10aのライトガイド12から被検体に照射される。イメージャ13は、画像処理装置60の制御部61に駆動されて、被写体を撮像する。イメージャ13からの撮像信号は、画像処理装置60の撮像信号取得部62によって取り込まれて、画像信号処理部63及びRAW画像生成部64に供給される。RAW画像生成部64は、RAW画像を生成してパラメータ付加処理部65に出力する。
画像信号処理部63は、AGC処理後の撮像画像を検波して検波結果を制御部61に出力する。制御部61は検波結果に基づいて光源制御信号を発生して、入出力制御部67に出力する。入出力制御部67は光源制御信号を画像処理装置20bの入出力制御部46に送信する。入出力制御部46は受信した光源制御信号を制御部21に供給する。
制御部21は、入出力制御部46からの光源制御信号を照明部30に与える。光源制御部31は、光源制御信号に基づいて発生した発光を制御するための設定値を発生する。これにより、照明部30の光源33は、光源制御信号に基づく発光量で発光して照明光を出射する。また、光源制御部31は、発光を制御するための光源設定値を制御部21に出力する。制御部21は、光源の設定値を入出力制御部46及び入出力制御部67を介して画像処理装置60の制御部61に供給する。なお、この場合には、制御部21は、必要に応じてROM28から読出したパラメータについても、制御部61に供給する。
制御部61は、ROM14からスコープ情報を読出して、スコープ情報に基づいてROM68からパラメータを選択すると共に、入出力制御部67を介して取り込んだパラメータを画像信号処理部63及びパラメータ選択部66に出力する。画像信号処理部63は、入力されたパラメータに基づいて、撮像信号に対する各種信号処理を行って、観察画像を得る。この観察画像は入出力制御部67を介して表示装置41に供給される。こうして、表示装置41において、内視鏡画像が表示される。
画像信号処理部63は画像信号処理部23よりも画像処理性能が高く、ROM68には高画質の画像処理を可能にするパラメータが格納されている。また、光源の設定値に関するパラメータについても、画像処理装置20bから供給されており、画像信号処理部23は、制御部61からのパラメータを利用して信号処理することにより、より高画質の画像を得ることができる。
パラメータ選択部66は、制御部61から与えられるパラメータのうち、RAW画像の現像に有効なパラメータを選択してパラメータ付加処理部65に出力する。なお、パラメータ選択部66の選択方法は、第1の実施の形態と同様である。入出力制御部67は、パラメータ選択部66によって選択されたパラメータが与えられ、これらのパラメータをメタデータとしてRAW画像に付加する。パラメータ付加処理部65からのメタデータが付加されたRAW画像は入出力制御部67を介してRAW記録装置42に供給される。こうして、RAW記録装置42において、メタデータが付加されたRAW画像が記録される。
このように本実施の形態においては、内視鏡に比較的性能が高い画像処理装置が接続されている場合には、この画像処理装置において、撮像信号から観察画像を得る。この場合において、照明光を内視鏡に供給する画像処理装置から光源の設定値に関するパラメータを比較的性能が高い画像処理装置に供給するようになっており、撮像信号から高画質の観察画像を得ることができると共に、RAW画像の現像に有効な光源の設定値に関するパラメータを含む各種パラメータをRAW画像に付加して記録することができる。
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
10,10a,10b…内視鏡、11…挿入部、12…ライトガイド、13…イメージャ、14…ROM、20,20a,20b…画像処理装置、21…制御部、22…撮像信号取得部、23…画像信号処理部、24…RAW画像生成部、25…パラメータ付加処理部、26…パラメータ選択部、27…出力制御部、28…ROM、30…照明部、31…光源制御部、32…光源ドライバ、33…光源、41…表示装置、42…RAW記録装置。

Claims (10)

  1. 被検体に照射する照明光を発する光源を有する光源部と、
    前記光源部の照射に基づく前記被検体からの戻り光を撮像して得られる撮像信号が入力可能で、前記撮像信号に基づく観察画像を出力可能な画像処理装置と、を具備し、
    前記画像処理装置は、
    前記光源部の照射に基づく前記被検体からの戻り光を撮像して得られる撮像信号が入力され、前記撮像信号からRAW画像を生成するRAW画像生成部と、
    前記RAW画像の現像に用いるパラメータを選択するものであって少なくとも前記光源部が発する前記照明光に関する設定値に基づくパラメータを選択するパラメータ選択部と、
    前記パラメータ選択部が選択したパラメータを前記RAW画像に付加して出力するパラメータ付加処理部と、
    を備えたことを特徴とする内視鏡システム。
  2. 前記RAW画像生成部は、前記RAW画像生成の際に選択的に所定の画像処理を施し、
    前記パラメータ選択部は、前記RAW画像生成部において前記RAW画像生成の際に選択された画像処理に関するパラメータ以外のパラメータを選択する
    ことを特徴とする請求項1に記載の内視鏡システム。
  3. 前記パラメータ選択部は、前記被検体からの戻り光に基づく前記撮像信号を得る内視鏡の種別情報に基づくパラメータを選択する
    ことを特徴とする請求項1に記載の内視鏡システム。
  4. 前記パラメータ選択部は、前記光源部が発する前記照明光に関する設定値として、前記光源が半導体光源である場合に、前記半導体光源をPWM駆動する場合の電流値及びパルス幅に関する設定値を用いる
    ことを特徴とする請求項1に記載の内視鏡システム。
  5. 前記パラメータ選択部は、前記被検体からの戻り光に基づく前記撮像信号を得る内視鏡の観察モードを指定するパラメータを選択する
    ことを特徴とする請求項1に記載の内視鏡システム。
  6. 前記画像処理装置は、前記光源部の照射に基づく前記被検体からの戻り光を撮像して得られる撮像信号が入力され、前記撮像信号を信号処理して観察画像を生成する画像信号処理部、
    を更に備えたことを特徴とする請求項1に記載の内視鏡システム。
  7. 前記パラメータ選択部は、前記画像信号処理部の信号処理に用いられたパラメータを選択する
    ことを特徴とする請求項6に記載の内視鏡システム。
  8. 前記RAW画像生成部の代わりに前記光源部の照射に基づく前記被検体からの戻り光を撮像して得られる撮像信号が入力され、前記撮像信号からRAW画像を生成する第2のRAW画像生成部と、前記第2のRAW画像生成部が生成した前記RAW画像の現像に用いるパラメータを付加する第2のパラメータ付加処理部と、前記撮像信号の検波結果及び前記第2のパラメータ付加処理部からの前記RAW画像を出力する出力制御部と、を有する第2の画像処理装置を更に具備し、
    前記画像処理装置は、
    前記出力制御部が出力した前記検波結果及び前記RAW画像を入力する外部入力制御部と、
    前記外部入力制御部が受信した前記検波結果に基づいて前記光源部を制御する制御信号を発生すると共に前記光源部から得られる前記照明光に関する設定値に基づくパラメータを出力する制御部と、
    前記外部入力制御部が受信した前記RAW画像が入力され、該RAW画像に付加されたパラメータ及び前記制御部からのパラメータを用いて前記RAW画像を信号処理して観察画像を生成して出力する画像信号処理部と、
    を更に備えたことを特徴とする請求項1に記載の内視鏡システム。
  9. 前記パラメータ選択部は、前記外部入力制御部が受信した前記RAW画像に付加されたパラメータと、前記光源部から得られる前記照明光に関する設定値に基づくパラメータと、前記画像信号処理部の前記信号処理のために用いられたパラメータのうち前記RAW画像の現像に必要なパラメータを選択して前記パラメータ付加処理部に与え、
    前記パラメータ付加処理部は、前記外部入力制御部が受信した前記RAW画像に前記パラメータ選択部から与えられたパラメータを付加して出力する
    ことを特徴とする請求項8に記載の内視鏡システム。
  10. 前記被検体からの戻り光を撮像して得られる撮像信号が入力され、前記撮像信号を信号処理して観察画像を生成して出力する画像信号処理部と、前記画像生成部の代わりに前記光源部の照射に基づく前記被検体からの戻り光を撮像して得られる撮像信号が入力され、前記撮像信号からRAW画像を生成する第2の画像生成部と、前記撮像信号の検波結果を出力し前記照明光に関する設定値に基づくパラメータを受信する第1の入出力制御部と、前記RAW画像の現像に用いるパラメータを選択するものであって少なくとも前記第1の入出力制御部が受信した前記照明光に関する設定値に基づくパラメータを選択する第2のパラメータ選択部と、前記第2のパラメータ選択部が選択したパラメータを前記RAW画像に付加して出力する第2のパラメータ付加処理部と、を有する第2の画像処理装置を更に具備し、
    前記第1の入出力制御部が出力した前記検波結果を受信する第2の入出力制御部と、
    前記第2の入出力制御部が受信した前記検波結果に基づいて前記光源部を制御する制御信号を発生すると共に前記光源部から得られる前記照明光に関する設定値に基づくパラメータを前記第2の入出力制御部を介して前記第1の入出力制御部に出力する制御部と、
    を更に備えたことを特徴とする請求項1に記載の内視鏡システム。
JP2018100846A 2018-05-25 2018-05-25 内視鏡システム Active JP7089943B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018100846A JP7089943B2 (ja) 2018-05-25 2018-05-25 内視鏡システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018100846A JP7089943B2 (ja) 2018-05-25 2018-05-25 内視鏡システム

Publications (2)

Publication Number Publication Date
JP2019202077A true JP2019202077A (ja) 2019-11-28
JP7089943B2 JP7089943B2 (ja) 2022-06-23

Family

ID=68725628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018100846A Active JP7089943B2 (ja) 2018-05-25 2018-05-25 内視鏡システム

Country Status (1)

Country Link
JP (1) JP7089943B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012010239A (ja) * 2010-06-28 2012-01-12 Nikon Corp 撮像装置、動画像ファイルのデータ構造、画像処理装置およびプログラム
JP2014023626A (ja) * 2012-07-25 2014-02-06 Fujifilm Corp 内視鏡システム
WO2016017476A1 (ja) * 2014-07-29 2016-02-04 オリンパス株式会社 内視鏡のためのビデオプロセッサ及びそれを備えた内視鏡システム
JP2016054775A (ja) * 2014-09-05 2016-04-21 オリンパス株式会社 検査画像表示システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012010239A (ja) * 2010-06-28 2012-01-12 Nikon Corp 撮像装置、動画像ファイルのデータ構造、画像処理装置およびプログラム
JP2014023626A (ja) * 2012-07-25 2014-02-06 Fujifilm Corp 内視鏡システム
WO2016017476A1 (ja) * 2014-07-29 2016-02-04 オリンパス株式会社 内視鏡のためのビデオプロセッサ及びそれを備えた内視鏡システム
JP2016054775A (ja) * 2014-09-05 2016-04-21 オリンパス株式会社 検査画像表示システム

Also Published As

Publication number Publication date
JP7089943B2 (ja) 2022-06-23

Similar Documents

Publication Publication Date Title
JP5326065B2 (ja) 内視鏡装置
JP5901854B2 (ja) 撮像装置
JP5570373B2 (ja) 内視鏡システム
US9844312B2 (en) Endoscope system for suppressing decrease of frame rate without changing clock rate of reading
JP6104493B1 (ja) 撮像システム
WO2013175908A1 (ja) 撮像システム
JP6109456B1 (ja) 画像処理装置および撮像システム
US8545399B2 (en) Medical instrument
WO2016104386A1 (ja) 調光装置、撮像システム、調光装置の作動方法および調光装置の作動プログラム
JP7374600B2 (ja) 医療用画像処理装置及び医療用観察システム
JP5244164B2 (ja) 内視鏡装置
JPWO2017022324A1 (ja) 内視鏡システムの信号処理方法および内視鏡システム
JP2007097711A (ja) 電子内視鏡装置
JP2007215907A (ja) 内視鏡プロセッサ、内視鏡システム、及びブラックバランス調整プログラム
CN104936503B (zh) 内窥镜装置
JP6137892B2 (ja) 撮像システム
JP2021007548A (ja) 制御装置、医療用観察システム、制御方法およびプログラム
JP7089943B2 (ja) 内視鏡システム
JP2020151090A (ja) 医療用光源装置及び医療用観察システム
JP7224963B2 (ja) 医療用制御装置及び医療用観察システム
JP6396717B2 (ja) 感度調整方法および撮像装置
JP3406715B2 (ja) 電子内視鏡装置
JP2009095538A (ja) 内視鏡装置の電子内視鏡
WO2021192644A1 (ja) 内視鏡及び内視鏡システム
US20220287551A1 (en) Medical image processing apparatus and medical observation system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210309

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220613

R151 Written notification of patent or utility model registration

Ref document number: 7089943

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151