JP2020010757A - 医療用画像処理装置及び医療用観察システム - Google Patents

医療用画像処理装置及び医療用観察システム Download PDF

Info

Publication number
JP2020010757A
JP2020010757A JP2018133375A JP2018133375A JP2020010757A JP 2020010757 A JP2020010757 A JP 2020010757A JP 2018133375 A JP2018133375 A JP 2018133375A JP 2018133375 A JP2018133375 A JP 2018133375A JP 2020010757 A JP2020010757 A JP 2020010757A
Authority
JP
Japan
Prior art keywords
brightness
defective pixel
range
difference
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018133375A
Other languages
English (en)
Inventor
泰平 道畑
Taihei Michihata
泰平 道畑
敬裕 山元
Takahiro Yamamoto
敬裕 山元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Olympus Medical Solutions Inc
Original Assignee
Sony Olympus Medical Solutions Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Olympus Medical Solutions Inc filed Critical Sony Olympus Medical Solutions Inc
Priority to JP2018133375A priority Critical patent/JP2020010757A/ja
Priority to US16/503,623 priority patent/US11122225B2/en
Publication of JP2020010757A publication Critical patent/JP2020010757A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】欠陥画素を起因とする撮像画像の画質劣化を効率的に抑制すること。【解決手段】医療用画像処理装置9は、被検体を撮像した撮像画像における画素毎の画素レベルに基づいて、撮像画像における欠陥画素を特定する欠陥画素特定部921と、欠陥画素の明るさを撮像画像における欠陥画素の周囲に位置する周囲画素を含む判別領域の明るさに近付ける欠陥補正処理の補正度合いを設定する設定部941と、補正度合いに応じて欠陥補正処理を実行する欠陥補正部923とを備える。設定部941は、欠陥画素の明るさと判別領域の明るさとの差の下限値から上限値までの範囲を第1の範囲と第1の範囲よりも差が大きい範囲である第2の範囲とに分けた場合に、差が第1の範囲内にある場合よりも第2の範囲内にある場合に大きい補正度合いを設定する。【選択図】図2

Description

本発明は、医療用画像処理装置及び医療用観察システムに関する。
従来、医療分野において、CCD(Charge Coupled Device)等の撮像素子を用いて被検体を撮像し、当該撮像した撮像画像を表示する医療用観察システムが知られている(例えば、特許文献1参照)。
ところで、CCD等の撮像素子には、半導体の物理的な欠陥等によって白傷等の欠陥画素が生じることがある。このような欠陥画素は、表示される撮像画像において、画質劣化の原因となる。そして、従来、このような欠陥画素を画像処理により補正(以下、欠陥補正処理と記載)する技術が提案されている(例えば、特許文献2参照)。
特許文献2に記載の技術では、撮像素子の露光時間が特定の閾値を超える場合には、撮像画像全体について、欠陥補正処理を実行する。一方、撮像素子の露光時間が当該閾値以下である場合には、撮像画像全体について、欠陥補正処理を実行しない。
特開2015−134039号公報 特開2001−211388号公報
ところで、撮像画像において、白傷等の欠陥画素の周囲に位置する周囲画素の画素レベルが高い場合には、当該白傷等の欠陥画素は、目立たないものとなる。すなわち、当該白傷等の欠陥画素について、欠陥補正処理を実行する必要はない。一方、撮像画像において、白傷等の欠陥画素の周囲に位置する周囲画素の画素レベルが低い場合には、当該白傷等の欠陥画素は、目立つものとなる。すなわち、当該白傷等の欠陥画素について、欠陥補正処理を実行する必要がある。
以上のように、撮像画像を領域毎(欠陥画素毎)に欠陥補正処理の実行の有無を制御すれば、当該撮像画像の画質劣化を効率的に抑制することができる。
しかしながら、特許文献2に記載の技術では、撮像画像全体(撮像画像に含まれる全ての欠陥画素)について欠陥補正処理の実行の有無を制御しているため、欠陥画素を起因とする当該撮像画像の画質劣化を効率的に抑制することができない、という問題がある。
本発明は、上記に鑑みてなされたものであって、欠陥画素を起因とする撮像画像の画質劣化を効率的に抑制することができる医療用画像処理装置及び医療用観察システムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る医療用画像処理装置は、被検体を撮像した撮像画像における画素毎の画素レベルに基づいて、前記撮像画像における欠陥画素を特定する欠陥画素特定部と、前記欠陥画素の明るさを前記撮像画像における前記欠陥画素の周囲に位置する周囲画素を含む判別領域の明るさに近付ける欠陥補正処理の補正度合いを設定する設定部と、前記補正度合いに応じて前記欠陥補正処理を実行する欠陥補正部とを備え、前記設定部は、前記欠陥画素の明るさと前記判別領域の明るさとの差の下限値から上限値までの範囲を第1の範囲と前記第1の範囲よりも前記差が大きい範囲である第2の範囲とに分けた場合に、前記差が前記第1の範囲内にある場合よりも前記第2の範囲内にある場合に大きい前記補正度合いを設定することを特徴とする。
また、本発明に係る医療用画像処理装置では、上記発明において、前記設定部にて設定される前記補正度合いは、前記差が前記第1の範囲内にある場合には、前記欠陥補正処理において前記欠陥画素の明るさを変更しないことを示す補正度合いであり、前記差が前記第2の範囲内にある場合には、前記欠陥補正処理において前記欠陥画素の明るさを前記判別領域の明るさと同一の明るさとすることを示す補正度合いであることを特徴とする。
また、本発明に係る医療用画像処理装置では、上記発明において、前記設定部にて設定される前記補正度合いは、前記差が前記第1の範囲内にある場合には、前記差が大きくなるにしたがって大きくなり、前記差が前記第2の範囲内にある場合には、前記欠陥補正処理において前記欠陥画素の明るさを前記判別領域の明るさと同一の明るさとすることを示す補正度合いであることを特徴とする。
また、本発明に係る医療用画像処理装置では、上記発明において、前記設定部にて設定される前記補正度合いは、前記差が前記第1の範囲内にある場合には、前記欠陥補正処理において前記欠陥画素の明るさを変更しないことを示す補正度合いであり、前記差が前記第2の範囲内にある場合には、前記差が大きくなるにしたがって大きくなることを特徴とする。
また、本発明に係る医療用画像処理装置では、上記発明において、前記設定部にて設定される前記補正度合いは、前記欠陥画素の明るさと前記判別領域の明るさとの差の下限値から上限値までの範囲において、前記差が大きくなるにしたがって大きくなることを特徴とする。
また、本発明に係る医療用画像処理装置では、上記発明において、前記欠陥画素特定部は、前記撮像画像のうち画素レベルが特定の閾値を超える画素を前記欠陥画素として特定することを特徴とする。
また、本発明に係る医療用観察システムは、被検体を撮像して撮像画像を生成する観察装置と、前記観察装置に接続し、前記撮像画像を処理する上述した医療用画像処理装置とを備えることを特徴とする。
本発明に係る医療用画像処理装置及び医療用観察システムによれば、欠陥画素を起因とする撮像画像の画質劣化を効率的に抑制することができる。
図1は、実施の形態に係る医療用観察システムの構成を示す図である。 図2は、カメラヘッド及び制御装置の構成を示すブロック図である。 図3は、明るさ算出処理及び欠陥補正処理の一例を示す図である。 図4は、欠陥補正処理の補正度合いの一例を示す図である。 図5は、制御装置の動作を示すフローチャートである。 図6は、実施の形態の変形例1を示す図である。 図7は、実施の形態の変形例2を示す図である。 図8は、実施の形態の変形例3を示す図である。
以下に、図面を参照して、本発明を実施するための形態(以下、実施の形態)について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。
〔医療用観察システムの概略構成〕
図1は、本実施の形態に係る医療用観察システム1の構成を示す図である。
医療用観察システム1は、医療分野において用いられ、被検体内(生体内)を観察する装置である。この医療用観察システム1は、図1に示すように、挿入部2と、光源装置3と、ライトガイド4と、カメラヘッド5と、第1伝送ケーブル6と、表示装置7と、第2伝送ケーブル8と、制御装置9と、第3伝送ケーブル10とを備える。
本実施の形態では、挿入部2は、硬性内視鏡で構成されている。すなわち、挿入部2は、全体が硬質、または一部が軟質で他の部分が硬質である細長形状を有し、生体内に挿入される。この挿入部2内には、1または複数のレンズを用いて構成され、被写体像を集光する光学系が設けられている。
光源装置3は、ライトガイド4の一端が接続され、制御装置9による制御の下、当該ライトガイド4の一端に生体内を照明するための光を供給する。なお、本実施の形態では、光源装置3は、制御装置9とは別体で構成されているが、これに限らず、当該制御装置9内部に設けられた構成を採用しても構わない。
ライトガイド4は、一端が光源装置3に着脱自在に接続されるとともに、他端が挿入部2に着脱自在に接続される。そして、ライトガイド4は、光源装置3から供給された光を一端から他端に伝達し、挿入部2に供給する。挿入部2に供給された光は、当該挿入部2の先端から出射され、生体内に照射される。生体内に照射され、当該生体内で反射された光(被写体像)は、挿入部2内の光学系により集光される。
カメラヘッド5は、挿入部2の基端(接眼部21(図1))に着脱自在に接続される。そして、カメラヘッド5は、制御装置9による制御の下、挿入部2にて集光された被写体像を撮像し、当該撮像による画像信号(RAW信号)を出力する。当該画像信号は、例えば、4K以上の画像信号である。
なお、カメラヘッド5の詳細な構成については、後述する。
以上説明した挿入部2及びカメラヘッド5は、本発明に係る観察装置100(図1)に相当する。
第1伝送ケーブル6は、一端がコネクタCN1(図1)を介して制御装置9に着脱自在に接続され、他端がコネクタCN2(図1)を介してカメラヘッド5に着脱自在に接続される。そして、第1伝送ケーブル6は、カメラヘッド5から出力される画像信号等を制御装置9に伝送するとともに、制御装置9から出力される制御信号、同期信号、クロック、及び電力等をカメラヘッド5にそれぞれ伝送する。
なお、第1伝送ケーブル6を介したカメラヘッド5から制御装置9への画像信号等の伝送は、当該画像信号等を光信号で伝送してもよく、あるいは、電気信号で伝送しても構わない。第1伝送ケーブル6を介した制御装置9からカメラヘッド5への制御信号、同期信号、クロックの伝送も同様である。
表示装置7は、液晶または有機EL(Electro Luminescence)等を用いた表示ディスプレイで構成され、制御装置9による制御の下、当該制御装置9からの映像信号に基づく画像を表示する。
第2伝送ケーブル8は、一端が表示装置7に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第2伝送ケーブル8は、制御装置9にて処理された映像信号を表示装置7に伝送する。
制御装置9は、本発明に係る医療用画像処理装置に相当する。この制御装置9は、CPU(Central Processing Unit)等を含んで構成され、光源装置3、カメラヘッド5、及び表示装置7の動作を統括的に制御する。
なお、制御装置9の詳細な構成については、後述する。
第3伝送ケーブル10は、一端が光源装置3に着脱自在に接続され、他端が制御装置9に着脱自在に接続される。そして、第3伝送ケーブル10は、制御装置9からの制御信号を光源装置3に伝送する。
〔カメラヘッドの構成〕
次に、カメラヘッド5の構成について説明する。
図2は、カメラヘッド5及び制御装置9の構成を示すブロック図である。
なお、図2では、説明の便宜上、制御装置9及びカメラヘッド5と第1伝送ケーブル6との間のコネクタCN1,CN2、制御装置9及び表示装置7と第2伝送ケーブル8との間のコネクタ、制御装置9及び光源装置3と第3伝送ケーブル10との間のコネクタの図示を省略している。
カメラヘッド5は、図2に示すように、レンズユニット51と、撮像部52と、通信部53とを備える。
レンズユニット51は、1または複数のレンズを用いて構成され、挿入部2にて集光された被写体像を撮像部52の撮像面に結像する。
撮像部52は、制御装置9による制御の下、生体内を撮像する。この撮像部54は、図2に示すように、撮像素子521と、信号処理部522とを備える。
撮像素子521は、挿入部2にて集光され、レンズユニット51が結像した被写体像を受光して電気信号(アナログ信号)に変換するCCDまたはCMOS(Complementary Metal Oxide Semiconductor)等で構成されている。
ここで、撮像素子521の撮像面(受光面)には、透過させる光(R(赤),G(緑),B(青))の波長帯域に応じてグループ分けされた3つのフィルタ群が所定の形式(例えば、ベイヤ配列)で配列されたカラーフィルタ521a(図2)が設けられている。
具体的に、カラーフィルタ521aは、Rの波長帯域の光を透過させるRフィルタ群と、Bの波長帯域の光を透過させるBフィルタ群と、Gの波長帯域の光を透過させる第1Gフィルタ群(Rフィルタ群と同一の列に配列)と、Gの波長帯域の光を透過させる第2Gフィルタ群(Bフィルタ群と同一の列に配列)とを有する。なお、以下では、説明の便宜上、第1,第2Gフィルタ群を纏めてGフィルタ群と記載する。
すなわち、撮像素子521からの電気信号(アナログ信号)は、画素毎に、R,G,Bの各フィルタ群に対応するR,G,Bのいずれかの成分情報(画素値)を含む。
信号処理部522は、撮像素子521からの電気信号(アナログ信号)に対して信号処理を行って画像信号(RAW信号(デジタル信号))を出力する。
例えば、信号処理部522は、撮像素子541からの電気信号(アナログ信号)に対して、リセットノイズを除去する処理、当該アナログ信号を増幅するアナログゲインを乗算する処理、及びA/D変換等の信号処理を行う。
通信部53は、第1伝送ケーブル6を介して、撮像部52から出力される画像信号(RAW信号(デジタル信号))を制御装置9に送信するトランスミッタとして機能する。この通信部53は、例えば、第1伝送ケーブル6を介して、制御装置9との間で、1Gbps以上の伝送レートで画像信号の通信を行う高速シリアルインターフェースで構成されている。
〔制御装置の構成〕
次に、制御装置9の構成について図2を参照しながら説明する。
制御装置9は、図2に示すように、通信部91と、画像処理部92と、表示制御部93と、制御部94と、入力部95と、出力部96と、記憶部97とを備える。
通信部91は、第1伝送ケーブル6を介して、カメラヘッド5(通信部53)から出力される画像信号(RAW信号(デジタル信号))を受信するレシーバとして機能する。この通信部91は、例えば、通信部53との間で、1Gbps以上の伝送レートで画像信号の通信を行う高速シリアルインターフェースで構成されている。
画像処理部92は、制御部94による制御の下、カメラヘッド5(通信部53)から出力され、通信部91にて受信した画像信号(RAW信号(デジタル信号))を処理する。この画像処理部92は、図2に示すように、欠陥画素特定部921と、明るさ算出部922と、欠陥補正部923と、信号補正部924とを備える。
欠陥画素特定部921は、カメラヘッド5から出力され、通信部91にて受信した画像信号(以下、撮像画像CI(図3参照)と記載)における白傷欠陥の画素からなる欠陥画素を特定する欠陥画素特定処理を実行する。ここで、欠陥画素特定部921は、当該欠陥画素特定処理を実行する際、撮像画像CIにおける画素毎の画素レベルを参照し、当該画素レベルが特定の閾値を超える画素を欠陥画素として特定する。なお、当該画素レベルとしては、撮像画像CIが信号補正部924によるデモザイク処理前の画像(図3参照)であれば、カラーフィルタ541aを構成するR,G,Bの各フィルタ群に対応するR,G,Bのいずれかの成分情報(画素値)を例示することができる。また、当該画素レベルとしては、撮像画像CIが信号補正部924によるデモザイク処理後の画像(図示略)であれば、RGB値(画素値)やY信号(輝度信号)に応じた輝度値を例示することができる。すなわち、欠陥画素特定処理としては、信号補正部924によるデモザイク処理前に実行してもよく、あるいは、信号補正部924によるデモザイク処理後に実行しても構わない。
明るさ算出部922は、撮像画像CIにおいて、欠陥画素特定部921にて特定された欠陥画素の周囲に位置する周囲画素を含む判別領域を特定する。そして、明るさ算出部922は、当該判別領域の明るさを算出する明るさ算出処理を実行する。
欠陥補正部923は、制御部94にて設定された補正度合いに応じて、欠陥画素特定部921にて特定された欠陥画素の明るさを明るさ算出部922にて算出された判別領域の明るさに近付ける欠陥補正処理を実行する。
ここで、当該判別領域の明るさとしては、撮像画像CIが信号補正部924によるデモザイク処理前の画像であれば、当該判別領域内の周囲画素の成分情報(画素値)の平均値を例示することができる。当該成分情報(画素値)は、カラーフィルタ541aを構成するR,G,Bの各フィルタ群に対応するR,G,Bのいずれかの成分情報(画素値)である。この場合、当該欠陥画素の明るさも同様に、当該欠陥画素の成分情報(画素値)となる。
また、当該判別領域の明るさとしては、撮像画像CIが信号補正部924によるデモザイク処理後の画像であれば、当該判別領域内の周囲画素のRGB値(画素値)やY信号(輝度信号)に応じた輝度値の平均値を例示することができる。この場合、当該欠陥画素の明るさも同様に、当該欠陥画素のRGB値(画素値)やY信号(輝度信号)に応じた輝度値となる。
すなわち、明るさ算出処理や欠陥補正処理も欠陥画素特定処理と同様に、信号補正部924によるデモザイク処理前に実行してもよく、あるいは、信号補正部924によるデモザイク処理後に実行しても構わない。
図3は、明るさ算出処理及び欠陥補正処理の一例を示す図である。なお、図3では、信号補正部924によるデモザイク処理前の撮像画像CIを示しており、説明の便宜上、カラーフィルタ541aにおけるRフィルタ群に対応する画素には「R」の文字を付し、Gフィルタ群に対応する画素には「G」の文字を付し、Bフィルタ群に対応する画素には「B」の文字を付している。また、図3では、欠陥画素特定部921にて特定された欠陥画素TPR,TPG,TPBにドットを付している。
例えば、欠陥画素TPRがカラーフィルタ541aにおけるRフィルタ群に対応した画素である場合を想定する。この場合には、明るさ算出部922は、Rフィルタ群に対応した画素のうち、欠陥画素TPRに近接した4個の周囲画素TPR´(図3)におけるRの成分情報(画素値)の平均値を判別領域DAR(図3)の明るさとして算出する明るさ算出処理を実行する。当該判別領域DARは、欠陥画素TPRを中心として4個の周囲画素TPR´を含む矩形状の領域である。そして、欠陥補正部923は、制御部94にて設定された補正度合いに応じて、図3に矢印で示すように、欠陥画素TPRの画素値を当該判別領域DARの明るさに近付ける欠陥補正処理を実行する。
また、例えば、欠陥画素TPGがカラーフィルタ541aにおけるGフィルタ群に対応した画素である場合を想定する。この場合には、明るさ算出部922は、Gフィルタ群に対応した画素のうち、欠陥画素TPGに近接した4個の周囲画素TPG´(図3)におけるGの成分情報(画素値)の平均値を判別領域DAG(図3)の明るさとして算出する明るさ算出処理を実行する。当該判別領域DAGは、欠陥画素TPGを中心として4個の周囲画素TPG´を含む矩形状の領域である。そして、欠陥補正部923は、制御部94にて設定された補正度合いに応じて、図3に矢印で示すように、欠陥画素TPGの画素値を当該判別領域DAGの明るさに近付ける欠陥補正処理を実行する。
さらに、例えば、欠陥画素TPBがカラーフィルタ541aにおけるBフィルタ群に対応した画素である場合を想定する。この場合には、明るさ算出部922は、Bフィルタ群に対応した画素のうち、欠陥画素TPBに近接した4個の周囲画素TPB´(図3)におけるBの成分情報(画素値)の平均値を判別領域DAB(図3)の明るさとして算出する明るさ算出処理を実行する。当該判別領域DABは、欠陥画素TPBを中心として4個の周囲画素TPB´を含む矩形状の領域である。そして、欠陥補正部923は、制御部94にて設定された補正度合いに応じて、図3に矢印で示すように、欠陥画素TPBの画素値を当該判別領域DABの明るさに近付ける欠陥補正処理を実行する。
なお、上記の明るさ算出処理において、判別領域DAR,DAG,DABをより広い領域としても構わない。すなわち、明るさ算出処理で用いる周囲画素TPR´,TPG´,TPB´の数は、4個に限らず、その他の数の周囲画素TPR´,TPG´,TPB´を用いても構わない。また、上記において、明るさ算出処理で用いる周囲画素TPR´の数は、4個に限らず、判別領域DAR内に含まれるRフィルタ群に対応した8個全ての画素を用いても構わない。同様に、上記において、明るさ算出処理で用いる周囲画素TPB´の数は、4個に限らず、判別領域DAB内に含まれるBフィルタ群に対応した8個全ての画素を用いても構わない。また、上記の明るさ算出処理において、複数の周囲画素TPR´と欠陥画素TPRとの画素値の平均値を判別領域DARの明るさとして算出しても構わない。判別領域DAG,DABの明るさも同様である。
信号補正部924は、画像信号(RAW信号(デジタル信号))に対して、当該デジタル信号を増幅するデジタルゲインを乗算する。また、信号補正部924は、デジタルゲインを乗算した後の画像信号(RAW信号(デジタル信号))に対してオプティカルブラック減算処理、デモザイク処理等のRAW処理を施し、当該RAW信号(画像信号)をRGB信号(画像信号)に変換する。さらに、信号補正部924は、当該RGB信号(画像信号)を輝度信号及び色差信号(Y,C/C信号)に変換する。また、信号補正部924は、画像信号(デジタル信号)に対して、ホワイトバランス調整処理、ガンマ補正、輪郭強調、色調補正等の補正処理を実行する。
表示制御部93は、制御部94による制御の下、画像処理部92にて処理された画像信号(Y,C/C信号)に基づく表示用の映像信号を生成する。そして、表示制御部93は、第2伝送ケーブル8を介して、当該映像信号を表示装置7に出力する。これにより、表示装置7は、当該映像信号に基づく撮像画像CIを表示する。
制御部94は、例えば、CPU等を用いて構成され、第1〜第3伝送ケーブル6,8,10を介して制御信号を出力することで、光源装置3、カメラヘッド5、及び表示装置7の動作を制御するとともに、制御装置9全体の動作を制御する。この制御部94は、図2に示すように、設定部941を備える。
設定部941は、欠陥補正処理の補正度合いを設定する。当該補正度合いとは、欠陥補正処理において、欠陥画素特定部921にて特定された欠陥画素の明るさを明るさ算出部922にて算出された判別領域の明るさに近付ける度合いを意味する。
具体的に、設定部941は、欠陥画素特定部921にて特定された欠陥画素の明るさと、明るさ算出部922にて算出された判別領域の明るさとの差(絶対値(以下、明るさ差分値と記載))を算出する。そして、設定部941は、当該明るさ差分値の下限値から上限値までの範囲を第1の範囲と第1の範囲よりも当該明るさ差分値が大きい範囲である第2の範囲とに分けた場合に、当該明るさ差分値が第1の範囲内にある場合よりも第2の範囲内にある場合に大きい補正度合いを設定する。
図4は、欠陥補正処理の補正度合いの一例を示す図である。具体的に、図4において、横軸は、明るさ差分値を示している。また、縦軸は、補正度合いを示している。さらに、符号「LL」は、上述した明るさ差分値の下限値を示している。また、符号「UL」は、上述した明るさ差分値の上限値を示している。さらに、符号「Ar1」は、上述した第1の範囲を示している。また、符号「Ar2」は、上述した第2の範囲を示している。さらに、符号「Th」は、第1,第2の範囲Ar1,Ar2の境界に位置する閾値を示している。すなわち、第1の範囲Ar1は、下限値LL以上、閾値Th未満の範囲である。また、第2の範囲Ar2は、閾値Th以上、上限値UL以下の範囲である。
本実施の形態では、設定部941にて設定される補正度合いは、図4に示すように、明るさ差分値が第1の範囲Ar1内にある場合には、欠陥補正処理において欠陥画素の明るさを変更しないことを示す「0」である。一方、設定部941にて設定される補正度合いは、明るさ差分値が第2の範囲Ar2内にある場合には、欠陥補正処理において欠陥画素の明るさを判別領域の明るさと同一の明るさとすることを示す「1」である。
すなわち、本実施の形態では、明るさ差分値が閾値Th未満である場合には、欠陥補正部923は、欠陥画素の明るさを変更しない(欠陥補正処理を実行しない)。一方、明るさ差分値が閾値Th以上である場合には、欠陥補正部923は、欠陥補正処理において、欠陥画素の明るさを判別領域の明るさと同一の明るさとする。
入力部95は、マウス、キーボード、及びタッチパネル等の操作デバイスを用いて構成され、医師等のユーザによるユーザ操作を受け付ける。そして、入力部95は、当該ユーザ操作に応じた操作信号を制御部94に出力する。
出力部96は、スピーカやプリンタ等を用いて構成され、各種情報を出力する。
記憶部97は、制御部94が実行するプログラムや、制御部94の処理に必要な情報等を記憶する。
〔制御装置の動作〕
次に、上述した制御装置9の動作について説明する。
図5は、制御装置9の動作を示すフローチャートである。
なお、画像処理部92による欠陥画素特定処理、明るさ算出処理、及び欠陥補正処理と、設定部941による補正度合いを設定する処理の具体例については既に説明している。このため、以下では、当該各処理の順序のみを説明する。
先ず、欠陥画素特定部921は、撮像画像CIについて、欠陥画素特定処理を実行する(ステップS1)。
ステップS1の後、明るさ算出部922は、ステップS1にて特定された欠陥画素の一つに注目し(以下、当該注目した画素を注目画素と記載)、当該注目画素の周囲に位置する周囲画素を含む判別領域を特定する。そして、明るさ算出部922は、当該判別領域の明るさを算出する明るさ算出処理を実行する(ステップS2)。
ステップS2の後、設定部941は、注目画素の明るさと、ステップS2にて算出された判別領域の明るさとに基づいて、明るさ差分値を算出する(ステップS3)。
ステップS3の後、設定部941は、ステップS3にて算出した明るさ差分値に基づいて、図4に示す明るさ差分値と補正度合いとの関係を用いて、欠陥補正処理の補正度合いを設定する(ステップS4)。
ステップS4の後、欠陥補正部923は、注目画素に対して、ステップS4にて設定された補正度合いに応じて、欠陥補正処理を実行する(ステップS5)。
ステップS5の後、制御装置9は、ステップS1にて特定された全ての欠陥画素を注目画素として、ステップS2〜S5を実施したか否かを判断する(ステップS6)。
全ての欠陥画素で実施していないと判断した場合(ステップS6:No)には、制御装置9は、注目画素を他の欠陥画素に変更し、ステップS2に戻る。
一方、全ての欠陥画素で実施したと判断した場合(ステップS6:Yes)には、制御装置9は、本制御フローを終了する。
以上説明した本実施の形態によれば、以下の効果を奏する。
本実施の形態に係る制御装置9では、明るさ差分値に基づいて欠陥補正処理の補正度合いを設定し、当該補正度合いに応じて欠陥補正処理を実行する。ここで、制御装置9は、明るさ差分値が第1の範囲Ar1内にある場合には、当該補正度合いを「0」に設定する。一方、制御装置9は、明るさ差分値が第2の範囲Ar2内にある場合には、当該補正度合いを「1」に設定する。すなわち、制御装置9は、判別領域の明るさが高いために目立たない欠陥画素については、欠陥補正処理を実行しない。一方、制御装置9は、判別領域の明るさが低いために目立つ欠陥画素については、欠陥補正処理を実行する。
したがって、本実施の形態に係る制御装置9によれば、撮像画像CIを領域毎(欠陥画素毎)に欠陥補正処理の実行の有無を制御することができ、当該撮像画像CIの画質劣化を効率的に抑制することができる。
(実施の形態の変形例1)
図6は、本実施の形態の変形例1を示す図である。具体的に、図6は、図4に対応した図である。
上述した実施の形態において、図6に示した本変形例1のように、欠陥補正処理の補正度合いを設定しても構わない。
具体的に、本変形例1では、設定部941にて設定される補正度合いは、図6に示すように、明るさ差分値が下限値LLである場合には、「0」である。また、設定部941にて設定される補正度合いは、明るさ差分値が下限値LLから閾値Thまで大きくなるにしたがって「0」から「1」まで大きくなる。さらに、設定部941にて設定される補正度合いは、明るさ差分値が閾値Th以上である場合には、「1」である。
すなわち、本変形例1では、明るさ差分値が下限値LLである場合には、欠陥補正部923は、欠陥画素の明るさを変更しない(欠陥補正処理を実行しない)。また、明るさ差分値が下限値LLから閾値Thまで大きくなるにしたがって、欠陥補正部923は、欠陥補正処理において、欠陥画素の明るさを判別領域の明るさに近付けていく。さらに、明るさ差分値が閾値Th以上である場合には、欠陥補正部923は、欠陥補正処理において、欠陥画素の明るさを判別領域の明るさと同一の明るさとする。
以上説明した本変形例1のように補正度合いを設定した場合であっても、上述した実施の形態と同様の効果を奏する。
(実施の形態の変形例2)
図7は、本実施の形態の変形例2を示す図である。具体的に、図7は、図4に対応した図である。
上述した実施の形態において、図7に示した本変形例2のように、欠陥補正処理の補正度合いを設定しても構わない。
具体的に、本変形例2では、設定部941にて設定される補正度合いは、図7に示すように、明るさ差分値が閾値Th未満である場合には、「0」である。また、設定部941にて設定される補正度合いは、明るさ差分値が閾値Thから上限値ULまで大きくなるにしたがって「0」から「1」まで大きくなる。さらに、設定部941にて設定される補正度合いは、明るさ差分値が上限値ULである場合には、「1」である。
すなわち、本変形例2では、明るさ差分値が閾値Th未満である場合には、欠陥補正部923は、欠陥画素の明るさを変更しない(欠陥補正処理を実行しない)。また、明るさ差分値が閾値Thから上限値ULまで大きくなるにしたがって、欠陥補正部923は、欠陥補正処理において、欠陥画素の明るさを判別領域の明るさに近付けていく。さらに、明るさ差分値が上限値ULである場合には、欠陥補正部923は、欠陥補正処理において、欠陥画素の明るさを判別領域の明るさと同一の明るさとする。
以上説明した本変形例2のように補正度合いを設定した場合であっても、上述した実施の形態と同様の効果を奏する。
(実施の形態の変形例3)
図8は、本実施の形態の変形例3を示す図である。具体的に、図8は、図4に対応した図である。
上述した実施の形態において、図8に示した本変形例3のように、欠陥補正処理の補正度合いを設定しても構わない。
具体的に、本変形例3では、設定部941にて設定される補正度合いは、図8に示すように、明るさ差分値が下限値LLである場合には、「0」である。また、設定部941にて設定される補正度合いは、明るさ差分値が下限値LLから上限値ULまで大きくなるにしたがって「0」から「1」までリニアに大きくなる。さらに、設定部941にて設定される補正度合いは、明るさ差分値が上限値ULである場合には、「1」である。
すなわち、本変形例3では、明るさ差分値が下限値LLである場合には、欠陥補正部923は、欠陥画素の明るさを変更しない(欠陥補正処理を実行しない)。また、明るさ差分値が下限値LLから上限値ULまで大きくなるにしたがって、欠陥補正部923は、欠陥補正処理において、欠陥画素の明るさを判別領域の明るさに近付けていく。さらに、明るさ差分値が上限値ULである場合には、欠陥補正部923は、欠陥補正処理において、欠陥画素の明るさを判別領域の明るさと同一の明るさとする。
以上説明した本変形例3のように補正度合いを設定した場合であっても、上述した実施の形態と同様の効果を奏する。
(その他の実施の形態)
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態及びその変形例1〜3によってのみ限定されるべきものではない。
上述した実施の形態及びその変形例1〜3では、本発明に係る欠陥画素として、白傷欠陥の画素を例示していたが、これに限らず、黒傷欠陥の画素としても構わない。
上述した実施の形態及びその変形例1〜3では、撮像素子541には、カラーフィルタ541aが設けられていたが、これに限らない。例えば、撮像素子541として、カラーフィルタ541aが設けられていない所謂、モノクロセンサで構成しても構わない。また、R用の撮像素子、G用の撮像素子、及びB用の撮像素子の三板で構成しても構わない。
上述した実施の形態及びその変形例1〜3において、カメラヘッド5の一部の構成や制御装置9の一部の構成を例えばコネクタCN1やコネクタCN2に設けても構わない。
上述した実施の形態及びその変形例1〜3では、挿入部2を硬性内視鏡で構成した医療用観察システム1に本発明に係る医療用画像処理装置を搭載していたが、これに限らない。例えば、挿入部2を軟性内視鏡で構成した医療用観察システムに本発明に係る医療用画像処理装置を搭載しても構わない。また、被検体内(生体内)や被検体表面(生体表面)の所定の視野領域を拡大して観察する手術用顕微鏡(例えば、特開2016−42981号公報参照)等の医療用観察システムに本発明に係る医療用画像処理装置を搭載しても構わない。
1 医療用観察システム
2 挿入部
3 光源装置
4 ライトガイド
5 カメラヘッド
6 第1伝送ケーブル
7 表示装置
8 第2伝送ケーブル
9 制御装置
10 第3伝送ケーブル
21 接眼部
51 レンズユニット
52 撮像部
53 通信部
91 通信部
92 画像処理部
93 表示制御部
94 制御部
95 入力部
96 出力部
97 記憶部
100 観察装置
521 撮像素子
521a カラーフィルタ
522 信号処理部
921 欠陥画素特定部
922 明るさ算出部
923 欠陥補正部
924 信号補正部
941 設定部
Ar1 第1の範囲
Ar2 第2の範囲
CI 撮像画像
CN1,CN2 コネクタ
DAR,DAG,DAB 判別領域
LL 下限値
Th 閾値
TPR,TPG,TPB 欠陥画素
TPR´,TPG´,TPB´ 周囲画素
UL 上限値

Claims (7)

  1. 被検体を撮像した撮像画像における画素毎の画素レベルに基づいて、前記撮像画像における欠陥画素を特定する欠陥画素特定部と、
    前記欠陥画素の明るさを前記撮像画像における前記欠陥画素の周囲に位置する周囲画素を含む判別領域の明るさに近付ける欠陥補正処理の補正度合いを設定する設定部と、
    前記補正度合いに応じて前記欠陥補正処理を実行する欠陥補正部とを備え、
    前記設定部は、
    前記欠陥画素の明るさと前記判別領域の明るさとの差の下限値から上限値までの範囲を第1の範囲と前記第1の範囲よりも前記差が大きい範囲である第2の範囲とに分けた場合に、前記差が前記第1の範囲内にある場合よりも前記第2の範囲内にある場合に大きい前記補正度合いを設定する
    ことを特徴とする医療用画像処理装置。
  2. 前記設定部にて設定される前記補正度合いは、
    前記差が前記第1の範囲内にある場合には、前記欠陥補正処理において前記欠陥画素の明るさを変更しないことを示す補正度合いであり、
    前記差が前記第2の範囲内にある場合には、前記欠陥補正処理において前記欠陥画素の明るさを前記判別領域の明るさと同一の明るさとすることを示す補正度合いである
    ことを特徴とする請求項1に記載の医療用画像処理装置。
  3. 前記設定部にて設定される前記補正度合いは、
    前記差が前記第1の範囲内にある場合には、前記差が大きくなるにしたがって大きくなり、
    前記差が前記第2の範囲内にある場合には、前記欠陥補正処理において前記欠陥画素の明るさを前記判別領域の明るさと同一の明るさとすることを示す補正度合いである
    ことを特徴とする請求項1に記載の医療用画像処理装置。
  4. 前記設定部にて設定される前記補正度合いは、
    前記差が前記第1の範囲内にある場合には、前記欠陥補正処理において前記欠陥画素の明るさを変更しないことを示す補正度合いであり、
    前記差が前記第2の範囲内にある場合には、前記差が大きくなるにしたがって大きくなる
    ことを特徴とする請求項1に記載の医療用画像処理装置。
  5. 前記設定部にて設定される前記補正度合いは、
    前記欠陥画素の明るさと前記判別領域の明るさとの差の下限値から上限値までの範囲において、前記差が大きくなるにしたがって大きくなる
    ことを特徴とする請求項1に記載の医療用画像処理装置。
  6. 前記欠陥画素特定部は、
    前記撮像画像のうち画素レベルが特定の閾値を超える画素を前記欠陥画素として特定する
    ことを特徴とする請求項1〜5のいずれか一つに記載の医療用画像処理装置。
  7. 被検体を撮像して撮像画像を生成する観察装置と、
    前記観察装置に接続し、前記撮像画像を処理する請求項1〜6のいずれか一つに記載の医療用画像処理装置とを備える
    ことを特徴とする医療用観察システム。
JP2018133375A 2018-07-13 2018-07-13 医療用画像処理装置及び医療用観察システム Pending JP2020010757A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018133375A JP2020010757A (ja) 2018-07-13 2018-07-13 医療用画像処理装置及び医療用観察システム
US16/503,623 US11122225B2 (en) 2018-07-13 2019-07-05 Medical image processing apparatus and medical observation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018133375A JP2020010757A (ja) 2018-07-13 2018-07-13 医療用画像処理装置及び医療用観察システム

Publications (1)

Publication Number Publication Date
JP2020010757A true JP2020010757A (ja) 2020-01-23

Family

ID=69139309

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018133375A Pending JP2020010757A (ja) 2018-07-13 2018-07-13 医療用画像処理装置及び医療用観察システム

Country Status (2)

Country Link
US (1) US11122225B2 (ja)
JP (1) JP2020010757A (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11823417B2 (en) * 2020-07-16 2023-11-21 Samsung Electronics Co., Ltd. Camera module, image processing system and image compression method

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004313413A (ja) * 2003-04-15 2004-11-11 Olympus Corp 内視鏡装置
JP2005341463A (ja) * 2004-05-31 2005-12-08 Sony Corp 固体撮像装置、欠陥補正方法
JP2006100913A (ja) * 2004-09-28 2006-04-13 Canon Inc 画像処理装置および画像処理方法
US20140270570A1 (en) * 2013-03-13 2014-09-18 Anatoly Litvinov Techniques for image sensor pixel correction
JP2015185887A (ja) * 2014-03-20 2015-10-22 株式会社ソシオネクスト 欠陥画素補正装置、撮像装置、及び欠陥画素補正方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001211388A (ja) 2000-01-25 2001-08-03 Fuji Photo Film Co Ltd 画像信号処理装置
JP4244969B2 (ja) * 2004-08-04 2009-03-25 セイコーエプソン株式会社 画素の検査方法および画素の補正方法、並びに処理装置、プログラムおよび記録媒体
US7471820B2 (en) * 2004-08-31 2008-12-30 Aptina Imaging Corporation Correction method for defects in imagers
JP5655355B2 (ja) * 2009-11-02 2015-01-21 ソニー株式会社 画素欠陥補正装置、撮像装置、画素欠陥補正方法、およびプログラム
JP5541718B2 (ja) * 2010-08-19 2014-07-09 キヤノン株式会社 撮像装置及びその欠陥画素検出方法
JP5526014B2 (ja) * 2010-12-21 2014-06-18 株式会社日立製作所 撮像装置
JP5806343B2 (ja) 2014-01-16 2015-11-10 ソニー・オリンパスメディカルソリューションズ株式会社 光電複合モジュール、カメラヘッド、及び内視鏡装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004313413A (ja) * 2003-04-15 2004-11-11 Olympus Corp 内視鏡装置
JP2005341463A (ja) * 2004-05-31 2005-12-08 Sony Corp 固体撮像装置、欠陥補正方法
JP2006100913A (ja) * 2004-09-28 2006-04-13 Canon Inc 画像処理装置および画像処理方法
US20140270570A1 (en) * 2013-03-13 2014-09-18 Anatoly Litvinov Techniques for image sensor pixel correction
JP2015185887A (ja) * 2014-03-20 2015-10-22 株式会社ソシオネクスト 欠陥画素補正装置、撮像装置、及び欠陥画素補正方法

Also Published As

Publication number Publication date
US20200021762A1 (en) 2020-01-16
US11122225B2 (en) 2021-09-14

Similar Documents

Publication Publication Date Title
JP6996901B2 (ja) 内視鏡システム
JP6109456B1 (ja) 画像処理装置および撮像システム
JPWO2017038774A1 (ja) 撮像システム
JP7374600B2 (ja) 医療用画像処理装置及び医療用観察システム
US11607111B2 (en) Medical signal processing apparatus and medical observation system
US10548465B2 (en) Medical imaging apparatus and medical observation system
US11033174B2 (en) Medical image processing device and medical observation device
JP7016681B2 (ja) 内視鏡システム
JP6873740B2 (ja) 内視鏡装置及びエッジ検出方法
JP2020010757A (ja) 医療用画像処理装置及び医療用観察システム
JP5178898B1 (ja) 画像信号補正装置、撮像装置、内視鏡装置
US10893247B2 (en) Medical signal processing device and medical observation system
JP4606838B2 (ja) 電子内視鏡装置
JP6396946B2 (ja) 画像処理装置および電子内視鏡システム
US10778948B2 (en) Imaging apparatus and endoscope apparatus
WO2016047563A1 (ja) 伝送システムおよび処理装置
CN109310298B (zh) 内窥镜系统
US11980348B2 (en) Medical control apparatus and method of controlling medical control apparatus
US20210281731A1 (en) Medical control apparatus and method of controlling medical control apparatus
JP2015091072A (ja) 撮像装置及びこの撮像装置を備えた撮像システム及び偽色除去方法
US20200045279A1 (en) Imaging apparatus and endoscope apparatus
JP2010193112A (ja) 画像処理装置およびディジタルスチルカメラ
JP2019022034A (ja) 画像処理装置
JP2008212266A (ja) マスク処理装置
JP2014000154A (ja) 内視鏡装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210527

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221108