JP2018171345A - プロセッサ、内視鏡システム - Google Patents
プロセッサ、内視鏡システム Download PDFInfo
- Publication number
- JP2018171345A JP2018171345A JP2017072508A JP2017072508A JP2018171345A JP 2018171345 A JP2018171345 A JP 2018171345A JP 2017072508 A JP2017072508 A JP 2017072508A JP 2017072508 A JP2017072508 A JP 2017072508A JP 2018171345 A JP2018171345 A JP 2018171345A
- Authority
- JP
- Japan
- Prior art keywords
- threshold
- image
- edge feature
- value
- evaluation value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
【課題】内視鏡が撮影した動画像の各フレーム画像から静止画像を選択するに際して、撮影対象が変わっても適切な静止画像を選択することができる技術を提供する。
【解決手段】本発明に係るプロセッサは、内視鏡が取得したフレーム画像のエッジ特徴量統計量を時系列に沿って記憶し、記憶したエッジ特徴量統計量からさらに統計処理を行って静止画像を選択するための閾値として最適なものを特定する。
【選択図】図2
【解決手段】本発明に係るプロセッサは、内視鏡が取得したフレーム画像のエッジ特徴量統計量を時系列に沿って記憶し、記憶したエッジ特徴量統計量からさらに統計処理を行って静止画像を選択するための閾値として最適なものを特定する。
【選択図】図2
Description
本発明は、内視鏡が撮影した動画像から静止画像を生成する技術に関する。
内視鏡は、被検体内部の動画像を取得することができる。例えば記録として残すためやディスプレイ上で特定部位を注視するため、内視鏡が撮像した動画像をいったんフリーズさせて静止画像を生成する場合がある。内視鏡が移動しているとき撮影した画像をフリーズさせると、内視鏡の動きに起因して画像ぶれが生じる場合がある。このような画像ぶれを抑制するための技術が開発されている。
下記特許文献1は、『ぶれを低減した静止画像を得ることができる内視鏡装置を提供する。』ことを課題として、『画像記憶部30は、プログレッシブスキャン方式で撮像を行うことにより生成された、連続した複数フレームの撮像画像を記憶する。ぶれ評価値生成部31は、各フレームの撮像画像から、撮像画像のぶれを示す各フレームの評価値を生成する。ぶれ評価値選択部33は、他のフレームの評価値と比較して、相対的にぶれが少ないことを示している評価値を選択する。静止画像選択部34は、ぶれ評価値選択部33によって選択された評価値に対応するフレームの撮像画像を画像記憶部30から読み出して静止画像として出力する。』という技術を開示している(要約参照)。
内視鏡が検査する対象は、食道、胃、大腸など様々であり、その画像の特徴も様々に異なっている。これに対して上記特許文献1記載のような従来技術は、静止画像として適しているか否かを1つの評価基準によって判断しているので、必ずしも静止画像として適していない画像が選択される可能性がある。
本発明は、上記のような課題に鑑みてなされたものであり、内視鏡が撮影した動画像の各フレーム画像から静止画像を選択するに際して、撮影対象が変わっても適切な静止画像を選択することができる技術を提供することを目的とする。
本発明に係るプロセッサは、内視鏡が取得したフレーム画像のエッジ特徴量統計量を時系列に沿って記憶し、記憶したエッジ特徴量統計量からさらに統計処理を行って静止画像を選択するための閾値として最適なものを特定する。
本発明に係るプロセッサによれば、内視鏡が撮影したフレーム画像から静止画像を選択する際に、1つの評価基準に固定されることなく、最適な判断基準を用いて静止画像を選択することができる。
<実施の形態1>
図1は、本発明の実施形態1に係る内視鏡システム1000の構成図である。内視鏡システム1000は、被検体内部の動画像を撮影するためのシステムである。内視鏡システム1000は、プロセッサ100、内視鏡200、モニタ300を有する。
図1は、本発明の実施形態1に係る内視鏡システム1000の構成図である。内視鏡システム1000は、被検体内部の動画像を撮影するためのシステムである。内視鏡システム1000は、プロセッサ100、内視鏡200、モニタ300を有する。
内視鏡200は、被検体内部に挿入してその動画像を取得する装置である。内視鏡200は、光ファイバ210、配光レンズ220、対物レンズ230、固体撮像素子240、信号処理部250、フリーズスイッチ260を備える。
光ファイバ210は、光源110が出力する光を配光レンズ220まで伝搬する。配光レンズ220は、その光を被検体に対して照射する。対物レンズ230は、被検体から反射された光を集光する。固体撮像素子240は、対物レンズ230が集光した光を電気信号に変換することにより、撮像信号を出力する。信号処理部250は、固体撮像素子240を駆動して撮像信号を取得し、その撮像信号をプロセッサ100に対して出力する。フリーズスイッチ260は、静止画像をモニタ300上に表示するように内視鏡200のオペレータが指示するための操作インターフェースである。
プロセッサ100は、内視鏡200が取得した撮像信号を処理することにより動画像と静止画像を生成する演算装置である。プロセッサ100は、光源110、第1画像処理部120、静止画像生成部130、画面切替スイッチ140、第2画像処理部150、ユーザインターフェース160、フリーズ信号保持部170を備える。
光源110は、内視鏡200が被検体に対して照射する光を出力する。例えばキセノンランプやLED(Light Emmiting Diode)などを光源110として用いることができる。第1画像処理部120は、内視鏡200から取得した撮像信号に対して適当な信号処理(例えばノイズ除去、RAW現像、色調整、ホワイトバランス、強調など)を施すことにより、フレーム単位で形成された動画像を生成する。静止画像生成部130については後述する。画面切替スイッチ140は、第1画像処理部120からの出力または静止画像生成部130からの出力のいずれかを選択して第2画像処理部150に対して出力する。第2画像処理部150は、取得した画像に対して、モニタ300の仕様に応じたスケーリングやガンマ補正などの処理を施したうえで、モニタ300に対して出力する。ユーザインターフェース160は、静止画像をモニタ300上に表示するようにオペレータ(例えばモニタ300を視ている者)が指示するための操作インターフェースである。フリーズ信号保持部170は、フリーズスイッチ260またはユーザインターフェース160から、静止画像を画面出力するよう指示する信号(フリーズ指示信号)を取得し、これを静止画像生成部130と画面切替スイッチ140に対して出力する。
図2は、静止画像生成部130の構成を示すブロック図である。静止画像生成部130は、第1画像処理部120が出力するフレーム画像から、モニタ300に表示する静止画像として適しているものを選択し、画面切替スイッチ140を介して第2画像処理部150に対して出力する。静止画像生成部130は、前処理部131、エッジ特徴量算出部132、閾値処理部133、評価値メモリ134、エッジ特徴量統計量算出部135、エッジ特徴量統計量メモリ136、最適閾値算出部137、静止画像選択部138、画像メモリ139を備える。
前処理部131は、第1画像処理部120が出力するカラーフレーム画像の各画素の輝度を求める。エッジ特徴量算出部132は、画素ごとのエッジ特徴量(画素がエッジ部分であるか否かを表す特徴量、エッジ量とも呼び、本実施の形態では大きいほどエッジとしての特徴が強いことを意味する)を求める。例えばフレーム画像に対してハイパスフィルタ処理を施すことにより、エッジ特徴量を求めることができる。
閾値処理部133は、画素ごとのエッジ特徴量を閾値と比較し、1つのフレーム画像内においてエッジ特徴量が閾値以上である画素数をカウントする。つまり、カウント結果が大きいほどエッジとしての特徴を表す画素が多いことを意味し、画像全体が鮮明であることを意味する。カウント結果は当該フレーム画像の評価として評価値メモリ134に格納される。本実施形態1において、閾値処理部133は、それぞれ異なる閾値を用いるn個の機能部に分かれて構成されている。これら機能部を区別するため、添字を用いて第1閾値処理部133_1〜第n閾値処理部133_nのように表記した。評価値メモリ134も閾値処理部133に対応して、第1評価値メモリ134_1〜第n評価値メモリ134_nに分かれて構成されている。各評価値メモリ134は、評価値を所定時間分(すなわち所定個数のフレーム画像分)記憶することができる。n個の機能部を区別せず説明する場合は、添字を省略して閾値処理部133や評価値メモリ134と呼ぶことにする。
エッジ特徴量統計量算出部135は、エッジ特徴量算出部132が算出した1つのフレーム画像内のエッジ特徴量の統計量(具体的には、最大値、平均値、中央値、最小値など全ての統計量を使用可能であるが、本実施の形態では最大値を使用する)を、フレーム画像ごとに特定する。エッジ特徴量統計量メモリ136は、フレーム画像ごとのエッジ特徴量統計量を、所定時間分(すなわち所定個数のフレーム画像分)記憶する。後続処理の便宜に鑑みると、エッジ特徴量統計量メモリ136が記憶することができるエッジ特徴量統計量の個数(フレーム画像の個数)は、評価値メモリ134が記憶することができる評価値の個数と同じであることが望ましい。
最適閾値算出部137は、フリーズ指示信号を受け取ると、エッジ特徴量統計量メモリ136が格納しているフレーム画像ごとのエッジ特徴量統計量をもとに、静止画像を選択するため用いるのに最も適した閾値を算出する。例えば、エッジ特徴量統計量メモリ136に記憶されたフレーム内のエッジ特徴量統計量の時間方向(つまり、フレーム間)の統計量(具体的には、最大値、平均値、中央値、最小値などのすべての統計量を使用可能であるが、本実施の形態では最小値を使用する)を求め、その値を最適な閾値とする。さらに適当な係数を乗じるなどにより、より適した値を求めてもよい。最適な閾値を算出するための具体的な基準については後述する。
静止画像選択部138は、第1評価値メモリ134_1〜第n評価値メモリ134_nのなかで、最適閾値算出部137が求めた最適閾値に最も近い閾値を用いて算出された第mの評価値メモリ134_mを選択し、それが格納している評価値(すなわち所定時間分のフレーム画像それぞれの評価値)の中の最大評価値を特定する。これにより、静止画像として最も適したフレーム画像を特定することができる。評価値メモリ134は、例えばフレーム番号/評価値/閾値を対応付けて記憶しておき、静止画像選択部138は最適閾値に最も近い閾値を用いて検出した最大評価値に対応するフレーム番号を取得することにより、静止画像として適したフレーム画像を特定することができる。
画像メモリ139は、第1画像処理部120が出力するカラーフレーム画像を、所定時間分(すなわち所定個数のフレーム画像分)記憶する。後続処理の便宜に鑑みると、画像メモリ139が記憶することができるカラーフレーム画像の個数は、評価値メモリ134が記憶することができる評価値の個数と同じであることが望ましい。画像メモリ139は、画面切替スイッチ140に対して、静止画像選択部138が選択したフレーム画像を出力する。
画面切替スイッチ140は、フリーズ指示信号が入力されるまでの間は、第1画像処理部120が出力するカラーフレーム画像を第2画像処理部150に対して出力する(すなわちカラー動画像を出力する)。画面切替スイッチ140は、フリーズ指示信号を受け取ると、画像メモリ139が格納しているフレーム画像のうち静止画像選択部138が指定したものを第2画像処理部150に対して出力する。これにより、モニタ300上に最適な静止画像を表示することができる。
図3は、静止画像生成部130の動作を説明するフローチャートである。静止画像生成部130は、プロセッサ100が起動すると本フローチャートを開始する。以下図3の各ステップについて説明する。
(図3:ステップS301〜S302)
前処理部131と画像メモリ139はそれぞれ第1画像処理部120からカラーフレーム画像を取得し、画像メモリ139はそのフレーム画像を保存する(S301)。前処理部131は、フレーム画像の画素の輝度値を算出する(S302)。
前処理部131と画像メモリ139はそれぞれ第1画像処理部120からカラーフレーム画像を取得し、画像メモリ139はそのフレーム画像を保存する(S301)。前処理部131は、フレーム画像の画素の輝度値を算出する(S302)。
(図3:ステップS303)
エッジ特徴量算出部132は、例えば輝度値に対してハイパスフィルタ処理を施すことにより、画素ごとにエッジ特徴量を算出する。画素がエッジ部分であるか否かを評価することができれば、その他適当な手法や特徴量を用いることもできる。
エッジ特徴量算出部132は、例えば輝度値に対してハイパスフィルタ処理を施すことにより、画素ごとにエッジ特徴量を算出する。画素がエッジ部分であるか否かを評価することができれば、その他適当な手法や特徴量を用いることもできる。
(図3:ステップS304)
第1閾値処理部133_1〜第n閾値処理部133_nは、それぞれ自身が保持している閾値を用いて、1つのフレーム画像内においてエッジ特徴量が閾値を超えている画素の個数を算出し、その結果を第1評価値メモリ134_1〜第n評価値メモリ134_nに対してそれぞれ格納する。評価値メモリ134が記憶する評価値の個数が上限に達している場合は、最も古い評価値を最新の評価値によって上書更新する。
第1閾値処理部133_1〜第n閾値処理部133_nは、それぞれ自身が保持している閾値を用いて、1つのフレーム画像内においてエッジ特徴量が閾値を超えている画素の個数を算出し、その結果を第1評価値メモリ134_1〜第n評価値メモリ134_nに対してそれぞれ格納する。評価値メモリ134が記憶する評価値の個数が上限に達している場合は、最も古い評価値を最新の評価値によって上書更新する。
(図3:ステップS305)
エッジ特徴量統計量算出部135は、エッジ特徴量算出部132が算出した1フレーム画像内のエッジ特徴量の統計量(具体的には、最大値、平均値、中央値、最小値など全ての統計量を使用可能であるが、本実施の形態では最大値を使用する)を、フレーム画像ごとに求め、その結果をエッジ特徴量統計量メモリ136に格納する。エッジ特徴量統計量メモリ136が記憶するエッジ特徴量統計量の個数が上限に達している場合は、最も古いエッジ特徴量統計量を最新のエッジ特徴量統計量によって上書更新する。
エッジ特徴量統計量算出部135は、エッジ特徴量算出部132が算出した1フレーム画像内のエッジ特徴量の統計量(具体的には、最大値、平均値、中央値、最小値など全ての統計量を使用可能であるが、本実施の形態では最大値を使用する)を、フレーム画像ごとに求め、その結果をエッジ特徴量統計量メモリ136に格納する。エッジ特徴量統計量メモリ136が記憶するエッジ特徴量統計量の個数が上限に達している場合は、最も古いエッジ特徴量統計量を最新のエッジ特徴量統計量によって上書更新する。
(図3:ステップS306)
フリーズ信号保持部170がフリーズ指示信号を保持していない場合は、ステップS301に元って同様の処理を繰り返す。フリーズ指示信号を保持している場合は、ステップS307へ進む。
フリーズ信号保持部170がフリーズ指示信号を保持していない場合は、ステップS301に元って同様の処理を繰り返す。フリーズ指示信号を保持している場合は、ステップS307へ進む。
(図3:ステップS307)
最適閾値算出部137は、エッジ特徴量統計量メモリ136が格納しているエッジ特徴量統計量を取得し、所定時間分のフレーム画像間統計量を算出する。
最適閾値算出部137は、エッジ特徴量統計量メモリ136が格納しているエッジ特徴量統計量を取得し、所定時間分のフレーム画像間統計量を算出する。
(図3:ステップS308)
最適閾値算出部137は、算出したエッジ特徴量統計量(1フレーム画像内)の統計量(フレーム間)を最適閾値として選択するか、またはそれに、例えば適当な係数を乗算することにより最適閾値を算出する。本実施の形態では、取得したエッジ特徴量統計量のうち最小のものに対して定数を乗算する。
最適閾値算出部137は、算出したエッジ特徴量統計量(1フレーム画像内)の統計量(フレーム間)を最適閾値として選択するか、またはそれに、例えば適当な係数を乗算することにより最適閾値を算出する。本実施の形態では、取得したエッジ特徴量統計量のうち最小のものに対して定数を乗算する。
(図3:ステップS309)
静止画像選択部138は、第1閾値処理部133_1〜第n閾値処理部133_nのうち最適閾値算出部137が算出した最適閾値に最も近い閾値を用いているものを特定する。静止画像選択部138は、特定した閾値処理部133が算出した評価値のなかで最もよいもの(もっともエッジが鮮明であるフレーム画像の評価値、つまり評価値が最大のもの)を、評価値メモリ134が格納している評価値のなかから選択する。静止画像選択部138は、選択した評価値に対応するフレーム画像を指定する。例えばその評価値に対応するフレーム番号などを用いて指定することができる。
静止画像選択部138は、第1閾値処理部133_1〜第n閾値処理部133_nのうち最適閾値算出部137が算出した最適閾値に最も近い閾値を用いているものを特定する。静止画像選択部138は、特定した閾値処理部133が算出した評価値のなかで最もよいもの(もっともエッジが鮮明であるフレーム画像の評価値、つまり評価値が最大のもの)を、評価値メモリ134が格納している評価値のなかから選択する。静止画像選択部138は、選択した評価値に対応するフレーム画像を指定する。例えばその評価値に対応するフレーム番号などを用いて指定することができる。
(図3:ステップS310)
画像メモリ139は、静止画像選択部138が選択したフレーム画像を、画面切替スイッチ140に対して出力する。画面切替スイッチ140は、そのフレーム画像を第2画像処理部150に対して出力する。これにより最適な静止画像がモニタ300上に画面表示される。
画像メモリ139は、静止画像選択部138が選択したフレーム画像を、画面切替スイッチ140に対して出力する。画面切替スイッチ140は、そのフレーム画像を第2画像処理部150に対して出力する。これにより最適な静止画像がモニタ300上に画面表示される。
(図3:ステップS311)
画面切替スイッチ140は、フリーズ指示が解除されるまで静止画像を出力し続ける。フリーズ指示が解除されると、静止画像生成部130はステップS301に戻って同様に処理を繰り返す。
画面切替スイッチ140は、フリーズ指示が解除されるまで静止画像を出力し続ける。フリーズ指示が解除されると、静止画像生成部130はステップS301に戻って同様に処理を繰り返す。
図4は、本実施形態1に係るプロセッサ100が静止画像を生成した実験結果を示す図である。ここでは生体を模した2種類のファントムについて、それぞれ静止状態の画像とブレている画像の2つを用いて実験した。図4下段に示すように、サンプル1よりもサンプル2のほうが最大エッジ特徴量が大きい傾向がある。すなわち、サンプル2のほうがサンプル1よりもエッジが鮮明である。
サンプル1についての結果によれば、閾値が30または100としたときは、静止画像のほうがブレ画像に比べ評価値が高く、ブレ画像を排除して、正確に静止画像を選び出すことができる。閾値が300としたときは、静止画像のほうがブレ画像に比べ評価値が高いが、差が小さいため、ノイズなどの影響で評価が逆転する可能性があり、好ましくない。また、閾値が500としたときは、評価値がともに0であり、どちらが静止画像か区別することができず、これも好ましくない。
つまり、サンプル1については、静止画像選択部138は、評価値メモリ134_1から134_nの中から、閾値が30または100で処理された結果を記憶している評価値メモリ134_mを選択し、その評価値メモリ134_mに記憶された評価値の最大値に対応する画像フレームを特定することで、正確に最も静止している画像を選択することができる。
サンプル2についての結果によれば、閾値が1000としたときは、静止画像のほうがブレ画像に比べ評価値が高く、ブレ画像を排除して、正確に静止画像を選び出すことができる。閾値が300としたときは、静止画像のほうがブレ画像に比べ評価値が高いが、差が小さいため、ノイズなどの影響で評価が逆転する可能性があり、好ましくない。また、閾値が30または100としたときは、静止画像とブレ画像の評価結果が逆転しており、好ましくない。これはエッジがブレて鈍ったことにより、その付近の最大エッジ量は小さくなるが、エッジがブレて拡がるため閾値を超える画素数は逆に増えたことが原因である。
つまり、サンプル2については、静止画像選択部138は、評価値メモリ134_1から134_nの中から、閾値が1000で処理された結果を記憶している評価値メモリ134_kを選択し、その評価値メモリ134_kに記憶された評価値の最大値に対応する画像フレームを特定することで、正確に最も静止している画像を選択することができる。
サンプル1とサンプル2の結果から、閾値は大きすぎても小さすぎても望ましい結果が得られない。すなわち、大きすぎもせず小さすぎもしない最適な閾値が存在し、その画像に合った最適な閾値を使用する必要があるということが言える。
サンプル1および2の結果と、図示していないその他の実験結果から、1画像フレーム内のエッジ特徴量の最大値の、時間方向(フレーム間)の最小値に、さらに0.5倍から1.0倍程度した値を閾値として用いた場合、画像の種類にかかわらず静止画像を選択できる可能性が高いことが分かった。このことを図2で説明した構成と対応付けて説明すると、エッジ特徴量統計量メモリ136が格納している最大エッジ特徴量の履歴のなかで最小のものに対して係数0.5〜1.0を乗じたものが、経験的に最適な閾値であるといえることになる。
なお、ここではエッジ特徴量のフレーム内最大値を用いたが、本発明はこれに限るものではなく、平均値、中央値、最小値など、他のすべての統計量を使用することが考えられる。また、ここでは記憶したエッジ特徴量統計量の時間方向(フレーム間)の最小値を用いたが、本発明はこれに限るものではなく、最大値、平均値、中央値など、他のすべての統計量を使用することが考えられる。また、乗算される係数も0.5〜1.0に限るものではない。
<実施の形態1:まとめ>
本実施形態1に係るプロセッサ100は、所定時間分蓄積したエッジ特徴量のなかから静止画像を選択するのに適したものを用いて最適閾値を算出し、その最適閾値を用いて、フレーム画像の中で静止画像として適したものを選択する。すなわち、内視鏡200が直近の所定時間内において撮影したフレーム画像から最適閾値を求めることになるので、撮影対象が変わったとしてもその撮影対象に適した閾値を用いて静止画像を選択することができる。
本実施形態1に係るプロセッサ100は、所定時間分蓄積したエッジ特徴量のなかから静止画像を選択するのに適したものを用いて最適閾値を算出し、その最適閾値を用いて、フレーム画像の中で静止画像として適したものを選択する。すなわち、内視鏡200が直近の所定時間内において撮影したフレーム画像から最適閾値を求めることになるので、撮影対象が変わったとしてもその撮影対象に適した閾値を用いて静止画像を選択することができる。
<実施の形態2>
図5は、本発明の実施形態2に係るプロセッサ100が備える静止画像生成部130の構成を示すブロック図である。内視鏡システム1000が備えるその他の構成要素は実施形態1と同様であるので、以下では差異点について主に説明する。
図5は、本発明の実施形態2に係るプロセッサ100が備える静止画像生成部130の構成を示すブロック図である。内視鏡システム1000が備えるその他の構成要素は実施形態1と同様であるので、以下では差異点について主に説明する。
本実施形態2においては、閾値処理部133と評価値メモリ134は1つのみである。ただし実施形態1とは異なり、最適閾値算出部137は、フリーズ指示信号が入力されたか否かによることなく、最適閾値を常時更新し続けるものとする。具体的には、前処理部131がフレーム画像を取得するごとに、最適閾値を更新する。閾値処理部133は、現在の最適閾値を用いて、フレーム画像ごとの評価値を算出する。フリーズ信号保持部170は、画面切替スイッチ140と静止画像選択部138に対して、フリーズ指示信号を出力する。
静止画像選択部138は、フリーズ指示信号を受け取ると、評価値メモリ134が格納している評価値が最も高いフレーム画像を、静止画像として指定する。閾値処理部133は常に最適閾値を用いて評価値を算出しているので、評価値メモリ134が格納している評価値が最も高いフレーム画像がその時点において静止画像として最適だからである。画像メモリ139は、その静止画像を画面切替スイッチ140に対して出力する。
図6は、本実施形態2における静止画像生成部130の動作を説明するフローチャートである。以下では図3とは異なる点について主に説明し、図3と同様の処理については図3を適宜引用する。
(図6:ステップS601〜S605)
これらステップは、図3のステップS301〜S305と同様である。ただし本実施形態2においては閾値処理部133と評価値メモリ134がそれぞれ1つのみなので、ステップS604において、閾値処理部133は1つの最適閾値のみを用いて評価値を求め、評価値メモリ134はその1つの最適閾値に対応する評価値の履歴を格納する。
これらステップは、図3のステップS301〜S305と同様である。ただし本実施形態2においては閾値処理部133と評価値メモリ134がそれぞれ1つのみなので、ステップS604において、閾値処理部133は1つの最適閾値のみを用いて評価値を求め、評価値メモリ134はその1つの最適閾値に対応する評価値の履歴を格納する。
(図6:ステップS606)
最適閾値算出部137は、実施形態1と同様の手順により最適閾値を求め、その最適閾値を閾値処理部133に対して出力する。閾値処理部133は以後その最適閾値を用いて評価値を求める。
最適閾値算出部137は、実施形態1と同様の手順により最適閾値を求め、その最適閾値を閾値処理部133に対して出力する。閾値処理部133は以後その最適閾値を用いて評価値を求める。
(図6:ステップS607〜S610)
これらステップは、図3のステップS306、S309〜S311と同様である。本実施形態2においては、最適閾値算出部137はフリーズ指示信号が入力されたか否かによらず常に最適閾値を求めるので、ステップS307とS308に対応する処理はステップS607の前において実施する。
これらステップは、図3のステップS306、S309〜S311と同様である。本実施形態2においては、最適閾値算出部137はフリーズ指示信号が入力されたか否かによらず常に最適閾値を求めるので、ステップS307とS308に対応する処理はステップS607の前において実施する。
本実施形態2においては、最適閾値算出部137が常に最適閾値を算出するので、実施形態1のように閾値処理部133や評価値メモリ134を複数設けなくとも、複数の閾値のなかで最適閾値に最も近いものを用いるのと同様の効果を発揮できる。したがって処理部による演算負荷やメモリ容量を抑制することができる。
他方で本実施形態2においては、閾値処理部133と評価値メモリ134がそれぞれ1つのみであるので、内視鏡200が撮影する被検体内部の外観的特徴が大きく変わったとき(例えば別の臓器に入ったとき)、それまで蓄積した評価値が有用でなくなる可能性がある。これに対して実施形態1は、閾値ごとに閾値処理部133と評価値メモリ134を設けているので、被検体内部の外観的特徴が大きく変わったとしても、それまでとは異なる閾値処理部133/評価値メモリ134が選択されるに過ぎず、より確実に最適な静止画像を選択できる。
<本発明の変形例について>
本発明は上記実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換える事が可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について他の構成の追加・削除・置換をすることができる。
本発明は上記実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換える事が可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について他の構成の追加・削除・置換をすることができる。
以上の実施形態においては、プロセッサ100が光源110を備えることとしたが、光源110をプロセッサ100の外部に設けてプロセッサ100から光源110に対して指示を出力することもできる。
以上の実施形態においては、エッジ特徴量が閾値を超えている画素の個数を評価値として用いることを説明したが、フレーム画像のエッジが鮮明であるか否かを評価することができればその他適当な評価基準を用いてもよい。
以上の実施形態においては、評価値メモリ134、エッジ特徴量統計量メモリ136、および画像メモリ139は所定時間分のフレーム画像に対応するデータを記憶し、これにより常に直近のフレーム画像を用いて最適閾値を定めることができる旨を説明した。これに代えてまたはこれに加えて、例えば撮像対象の特徴に応じて最適閾値またはその範囲があらかじめ分かっているのであれば、ユーザインターフェース160などの適当なインターフェースを介してプロセッサ100に対して現在撮像している画像の種類を通知し、プロセッサ100はその種類に対応する最適閾値を算出するようにしてもよい。
例えば実施形態1においては撮像対象の種類ごとに閾値処理部133を設けておき、指定された種類に対応する閾値処理部133を選択することができる。実施形態2においては、撮像対象の種類ごとに係数を設けておき、指定された種類に対応する係数を最大エッジ特徴量に対して乗じることにより最適閾値を求める、などの手法が考えられる。
100:プロセッサ
110:光源
120:第1画像処理部
130:静止画像生成部
140:画面切替スイッチ
150:第2画像処理部
160:ユーザインターフェース
170:フリーズ信号保持部
200:内視鏡
300:モニタ
1000:内視鏡システム
110:光源
120:第1画像処理部
130:静止画像生成部
140:画面切替スイッチ
150:第2画像処理部
160:ユーザインターフェース
170:フリーズ信号保持部
200:内視鏡
300:モニタ
1000:内視鏡システム
Claims (11)
- 被写体の画像を処理するプロセッサであって、
前記画像を時系列に沿ってフレームごとに取得する前処理部、
前記画像の画素ごとのエッジ特徴量を算出するエッジ特徴量算出部、
前記エッジ特徴量の評価値を複数の判定閾値によって算出する閾値処理部、
前記閾値処理部が算出した前記評価値をフレームごとに記憶する評価値メモリ、
1フレーム分の前記画像の前記エッジ特徴量の統計量をフレームごとに算出するエッジ特徴量統計量算出部、
前記エッジ特徴量統計量算出部が算出したフレームごとの前記エッジ特徴量統計量を記憶するエッジ特徴量統計量メモリ、
前記エッジ特徴量統計量メモリが記憶している前記エッジ特徴量統計量の統計量を算出し最適閾値を算出する最適閾値算出部、
前記最適閾値算出部が算出した前記最適閾値に最も近い前記判定閾値を用いて前記閾値処理部が算出した前記評価値に対応するフレームごとの前記画像を前記被写体の静止画像として選択する静止画像選択部、
を備えることを特徴とするプロセッサ。 - 前記閾値処理部は、
第1閾値を前記判定閾値として用いて前記評価値を算出する第1処理部、
前記第1閾値とは異なる第2閾値を前記判定閾値として用いて前記評価値を算出する第2処理部、
を有し、
前記評価値メモリは、
前記第1処理部が算出した前記評価値を記憶する第1メモリ、
前記第2処理部が算出した前記評価値を記憶する第2メモリ、
を有し、
前記静止画像選択部は、前記第1処理部と前記第2処理部のうち前記最適閾値算出部が算出した前記最適閾値に最も近いものを前記判定閾値として用いるものを特定し、
前記静止画像選択部は、前記第1処理部と前記第2処理部のうち前記特定したほうが算出した前記評価値のうち最大のものに対応する前記画像を、前記被写体の静止画像として選択する
ことを特徴とする請求項1記載のプロセッサ。 - 前記プロセッサはさらに、前記被写体の静止画像を出力するよう指示する命令を受け取るインターフェースを備え、
前記最適閾値算出部は、前記インターフェースが前記命令を受け取ると、前記最適閾値を算出する
ことを特徴とする請求項2記載のプロセッサ。 - 前記最適閾値算出部は、前記前処理部が前記画像を取得するごとに前記最適閾値を算出し、
前記閾値処理部は、前記最適閾値算出部が算出した最新の前記最適閾値を前記判定閾値として用いて前記評価値を算出する
ことを特徴とする請求項1記載のプロセッサ。 - 前記プロセッサはさらに、前記被写体の静止画像を出力するよう指示する命令を受け取るインターフェースを備え、
前記静止画像選択部は、前記インターフェースが前記命令を受け取った時点において前記評価値メモリが格納している前記評価値のうち最大のものに対応する前記画像を、前記被写体の静止画像として選択する
ことを特徴とする請求項4記載のプロセッサ。 - 前記閾値処理部は、前記画像の画素のうち前記エッジ特徴量が前記判定閾値を超えているものの個数を、前記評価値として算出する
ことを特徴とする請求項1記載のプロセッサ。 - 前記エッジ特徴量統計量算出部は、前記エッジ特徴量の最大値を算出する
ことを特徴とする請求項1記載のプロセッサ。 - 前記最適閾値算出部は、前記エッジ特徴量統計量の最小値を算出する
ことを特徴とする請求項1記載のプロセッサ。 - 前記最適閾値算出部は、前記エッジ特徴量統計量の最小値に対して0.5から1.0の間の係数を乗じた値を、前記最適閾値として算出する
ことを特徴とする請求項1記載のプロセッサ。 - 前記評価値メモリは、所定時間分の前記画像の各フレームに対応する前記評価値を記憶することができる記憶容量を有し、
前記エッジ特徴量統計量メモリは、前記所定時間分の前記画像のフレームごとに前記エッジ特徴量統計量を記憶することができる記憶容量を有し、
前記閾値処理部は、前記評価値メモリの記憶容量が上限に達すると、前記評価値メモリが格納している最も古い前記評価値を、新たに算出した前記評価値によって上書きし、
前記エッジ特徴量統計量算出部は、前記エッジ特徴量統計量メモリの記憶容量が上限に達すると、前記エッジ特徴量統計量メモリが格納している最も古い前記エッジ特徴量統計量を、新たに算出した前記エッジ特徴量統計量によって上書きする
ことを特徴とする請求項1記載のプロセッサ。 - 請求項1から10のいずれか1項記載のプロセッサ、
被検体の画像を撮像する内視鏡、
を有し、
前記プロセッサは、前記内視鏡が撮像した画像を前記被写体の画像として処理する
ことを特徴とする内視鏡システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017072508A JP2018171345A (ja) | 2017-03-31 | 2017-03-31 | プロセッサ、内視鏡システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017072508A JP2018171345A (ja) | 2017-03-31 | 2017-03-31 | プロセッサ、内視鏡システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018171345A true JP2018171345A (ja) | 2018-11-08 |
Family
ID=64106800
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017072508A Pending JP2018171345A (ja) | 2017-03-31 | 2017-03-31 | プロセッサ、内視鏡システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018171345A (ja) |
-
2017
- 2017-03-31 JP JP2017072508A patent/JP2018171345A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11835702B2 (en) | Medical image processing apparatus, medical image processing method, and medical observation system | |
JP5043595B2 (ja) | 撮影装置および内視鏡システム | |
JP6230333B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5237978B2 (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
JP6020950B1 (ja) | 内視鏡システム、および内視鏡システムの作動方法、並びにプログラム | |
JPWO2017203560A1 (ja) | 内視鏡画像処理装置 | |
JP5123443B2 (ja) | 信号処理装置及び静止画生成方法 | |
KR20090107911A (ko) | 화상 처리 장치, 촬상 장치, 화상 처리 방법 및 프로그램 | |
JP6767383B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
WO2016072490A1 (ja) | 撮像システム | |
JP6660707B2 (ja) | 内視鏡システム | |
JPWO2012105445A1 (ja) | 蛍光観察装置 | |
JP2013128723A (ja) | 内視鏡装置 | |
JP5038027B2 (ja) | 画像処理装置およびこれを備えた内視鏡装置 | |
WO2017073181A1 (ja) | 内視鏡装置 | |
JP2018171345A (ja) | プロセッサ、内視鏡システム | |
JP2016202380A (ja) | 画像処理装置および内視鏡装置 | |
JP2014000152A (ja) | 内視鏡装置 | |
JP6095879B1 (ja) | 内視鏡装置 | |
JP2021065280A (ja) | 内視鏡システム | |
JP7229210B2 (ja) | 内視鏡用プロセッサ及び内視鏡システム | |
WO2023157567A1 (ja) | 毛細血管撮像システム、毛細血管撮像システム用サーバ装置、及び毛細血管撮像プログラム | |
JP7476883B2 (ja) | 信号処理装置、信号処理方法、プログラム、および医療用画像処理システム | |
JP6277227B2 (ja) | 内視鏡システム | |
JP2021115250A (ja) | 内視鏡システム |