JP2015156938A - 画像処理装置、画像処理方法 - Google Patents

Abstract

【課題】検出されたマスクを適切に補正して出力する。【解決手段】取得された画像からマスクを検出する検出部と、検出部により検出されたマスクに変化があったか否かを判断する判断部と、判断部によりマスクに変化があったと判断された場合、マスクに変化があったと判断されるより前に検出部により検出されたマスクのパラメータを出力する出力部とを備える。判断部は、検出部により検出されたマスクのパラメータの時間的変化に基づいて、マスクに変化があったか否かを判断する。本技術は、内視鏡装置からの画像を処理する画像処理装置に適用できる。【選択図】図１

Description

本技術は、画像処理装置、画像処理方法に関する。詳しくは、内視鏡のマスクを適切に補正することができる画像処理装置、画像処理方法に関する。

患者等の被験者の体内に入れ、体内を観察する医療用装置として内視鏡がある。内視鏡の画像は、矩形の画面に対して、円形の枠内に表示される。このような場合、鏡胴が影になって見えている鏡胴部分と画像部分を正確に検出する必要がある。

内視鏡の画像として利用者に提供する部分と、提供しない部分とを分けるためにマスクが用いられることがあり、特許文献１には、内視鏡のマスク検出方法についての開示がある。

内視鏡のマスクを検出し、ソフトウェア処理を有効エリアであるマスク内だけに限定することで算出量を削減することが可能であり、またフィルタ処理などにおけるマスク周辺部の悪影響を低減することが出来る。

特開2012-125469号公報

ところで、内視鏡とカメラヘッドは完全には固定されていないため、手術中に内視鏡が動いたり、回転したりすることがあり、毎フレーム、あるいはある一定間隔毎にマスクを検出する必要がある。

しかしながら、上記特許文献１のように、生体内の内視鏡映像からマスク検出を行うような場合、内視鏡映像の条件、例えばマスク境界がきちんと写っていなかったり、泡などの障害物があったり、レンズに汚れが付着するなどの条件によっては、検出を誤る可能性がある。

このように内視鏡のマスクの位置は移動する可能性があるため、移動したときなどには、マスクの検出が行われ、補正されることが望まれている。

本技術は、このような状況に鑑みてなされたものであり、マスクを適切に補正することができるようにするものである。

本技術の一側面の画像処理装置は、取得された画像からマスクを検出する検出部と、前記検出部により検出された前記マスクに変化があったか否かを判断する判断部と、前記判断部により前記マスクに変化があったと判断された場合、前記マスクに変化があったと判断されるより前に前記検出部により検出された前記マスクのパラメータを出力する出力部とを備える。

前記判断部は、前記検出部により検出されたマスクのパラメータの時間的変化に基づいて、前記マスクに変化があったか否かを判断するようにすることができる。

前記判断部は、前記検出部により検出された第１のマスクのパラメータと、前記第１のマスクの検出後に前記検出部により検出された第２のマスクのパラメータとの差分が、所定の閾値より小さい場合、前記検出部により検出された前記マスクに変化はないと判断し、前記出力部は、前記判断部で前記マスクに変化はないと判断された場合、前記第１のマスクのパラメータと前記第２のマスクのパラメータから算出される第３のマスクのパラメータを出力するようにすることができる。

前記判断部は、前記検出部により検出された第１のマスクのパラメータと、前記第１のマスクの検出後に前記検出部により検出された第２のマスクのパラメータとの差分が、所定の閾値より大きい場合、前記検出部により検出された前記マスクに変化があったと判断し、前記出力部は、前記判断部で前記マスクに変化があったと判断された場合、前記第１のマスクのパラメータを出力するようにすることができる。

前記出力部は、前記判断部により前記マスクに変化があったと所定の回数判断された場合、前記第１のマスクのパラメータの代わりに前記第２のマスクのパラメータを出力するようにすることができる。

前記出力部は、前記判断部により前記マスクに変化があったと所定の回数判断された場合、前記第１のマスクのパラメータと前記第２のマスクのパラメータから算出される第３のマスクのパラメータを出力するようにすることができる。

前記マスク内の画像は、内視鏡により撮影された画像であるようにすることができる。

前記マスクのパラメータの信頼度を表す信頼度パラメータを用いて、前記マスクのパラメータを補正する補正部をさらに備えるようにすることができる。

前記検出部は、取得された２つの画像からそれぞれ第１のマスクと第２のマスクを検出し、前記第１のマスクのパラメータと第２のマスクのパラメータに基づいて、前記第１のマスクのパラメータまたは前記第２のマスクのパラメータのうち少なくとも一方を補正するか否かを判断する補正部をさらに備えるようにすることができる。

前記補正部は、前記第１のマスクのパラメータと前記第２のマスクのパラメータとの差分が、所定の範囲外である場合、前記第１のマスクのパラメータまたは前記第２のマスクのパラメータのうち、予め設定されている一方の前記マスクのパラメータを用いて、他方のパラメータを補正するようにすることができる。

前記補正部は、前記第１のマスクのパラメータと前記第２のマスクのパラメータとの差分が、所定の範囲外である場合、前記第１のマスクのパラメータと前記第２のマスクのパラメータの、それぞれの信頼度を表す信頼度パラメータを用いて補正を行うようにすることができる。

前記判断部は、前記画像の輝度レベルに基づいて、前記マスクに変化があったか否かを判断するようにすることができる。

前記判断部は、前記画像の平均輝度レベルが所定の閾値未満になった場合に、前記マスクに変化があったと判断するようにすることができる。

前記判断部は、トロッカーに内視鏡が挿入されているか否かに基づいて、前記マスクに変化があったか否かを判断するようにすることができる。

前記判断部は、トロッカーに内視鏡が挿入されていないと判断した場合に、前記マスクに変化があったと判断するようにすることができる。

前記判断部は、外部入力に基づいて、前記マスクに変化があったか否かを判断するようにすることができる。

前記外部入力は、フットスイッチによる入力であるようにすることができる。

本技術の一側面の画像処理方法は、取得された画像からマスクを検出し、前記検出された前記マスクに変化があったか否かを判断し、前記マスクに変化があったと判断された場合、前記マスクに変化があったと判断されるより前に検出された前記マスクのパラメータを出力する。

本技術の一側面の画像処理装置、画像処理方法においては、取得された画像からマスクが検出され、検出されたマスクに変化があったか否かが判断され、マスクに変化があったと判断された場合、マスクに変化があったと判断されるより前に検出されたマスクのパラメータが出力される。

本技術の一側面によれば、マスクを適切に補正することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した画像処理装置の一実施の形態の構成を示す図である。 エッジについて説明するための図である。 画像処理装置の動作について説明するためのフローチャートである。 マスク形状の補正について説明するための図である。 マスク形状の補正について説明するための図である。 本技術を適用した画像処理装置の一実施の形態の構成を示す図である。 エッジについて説明するための図である。 画像処理装置の動作について説明するためのフローチャートである。 エッジについて説明するための図である。 マスク形状の補正について説明するための図である。 記録媒体について説明するための図である。

以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は、以下の順序で行う。
１．第１の実施の形態における画像処理装置の構成
２．第１の実施の形態における画像処理装置の動作
３．第２の実施の形態における画像処理装置の構成
４．第２の実施の形態における画像処理装置の動作
５．動作の開始時について
６．記録媒体について

＜第１の実施の形態における画像処理装置の構成＞
以下に説明する画像処理装置は、例えば、内視鏡などから得られる画像を処理する画像処理装置である。以下に説明する本技術は、内視鏡から得られる画像を処理する装置に以外にも適用でき、画像を取得し、その画像からマスクを検出する装置に広く適用できる。ここでは、内視鏡から得られる画像を処理する画像処理装置を例に挙げて説明する。

図１は、第１の実施の形態における画像処理装置の構成について説明するための図である。図１に示した画像処理装置１００は、図示していない医療機器としての内視鏡装置からの画像データを取得し、処理し、処理した画像をモニタなどの表示部１０１（図２）に出力する。

図１に示した画像処理装置１００は、画像取得部１１１とマスク検出補正部１１２を備える。マスク検出補正部１１２は、マスク検出部１２１、マスク検出結果バッファ１２２、およびフレーム間マスク検出結果比較部１２３を備える。

画像処理装置１００の画像取得部１１１は、図示していない内視鏡装置からの画像を取得する。内視鏡装置は、体腔内に侵入され、体内を撮像する体内撮像装置を形成する内視鏡、この内視鏡に照明光を供給する光源装置、内視鏡の撮像手段、例えばＣＣＤ（Charge Coupled Device）、その撮像手段に対する信号処理を行うカメラコントロールユニットなどから構成され、このカメラコントロールユニットから出力された画像データを、画像取得部１１１は取得する。

画像取得部１１１で取得された画像データは、マスク検出補正部１１２のマスク検出部１２１に供給される。ここで、図２を参照し、マスクについて説明する。図２は、表示部１０１に表示される画像例を示している。画面中央部分は、円形状の有効領域１５１とされ、ユーザに内視鏡装置で撮像された画像を提供する領域とされている。

図２に示すように、内視鏡で得られる画像は、画像の左右上下には生体内映像が映らない領域がある。これは内視鏡でケラレが発生することにより、撮像手段に光が入ってこない領域があるためである。この生体内映像が映らない領域をマスク領域１５２と称する。

また、マスク領域１５２と生体内映像が映る有効領域１５１の境界の形状をマスク形状と呼ぶ。図２に示した画面例では、マスク形状は、円形である。以下の説明では、マスク形状は、真円である場合を例に挙げて説明するが、楕円などの他の形状であっても、本技術を適用できる。また、図２に示すように、円の中心を中心点Ｐとし、その座標を、（Ｘ，Ｙ）とし、半径をＲとして説明を続ける。

画像処理装置１００のマスク検出部１２１は、このような有効領域１５１とマスク領域１５２との境界の形状、換言すれば、この場合、円の中心点Ｐの座標（Ｘ，Ｙ）と半径Ｒといったパラメータが検出される。

マスク検出部１２１は、例えば、画像中のマスクと生体内情報の境界のエッジを検出し、エッジを候補点としてハフ変換を行い、円（マスク）を推定することで、マスクを検出する。マスク検出部１２１によるマスクの検出の方法は、どのような検出方法を用いても良い。

マスク検出部１２１によるマスクの検出は、光量不足のために、撮影された内視鏡画像のコントラストが十分でない場合や、撮影している生体内の対象物体の色によっては、マスク領域１５２と生体内領域（有効領域１５１）の境界のエッジが十分に出ず、誤検出となる可能性がある。

そこで、マスク検出補正部１１２は、マスク検出部１２１で検出されたマスクを補正するために、マスク検出結果バッファ１２２とフレーム間マスク検出結果比較部１２３を備える構成とされている。

マスク検出部１２１からのマスク検出結果の出力は、マスク検出結果バッファ１２２とフレーム間マスク検出結果比較部１２３に供給される。マスク検出結果バッファ１２２には、１フレーム遅延でマスク検出部１２１の出力結果が保存される。

フレーム間マスク検出結果比較部１２３は、判断部１２４と出力部１２５を備える。フレーム間マスク検出結果比較部１２３では、詳細は後述するが、現在時刻ｔにおける画像のマスク検出結果と、マスク検出結果バッファ１２２に記憶されている時刻ｔ−１におけるマスク検出結果を比較し、両者の差分の絶対値に応じて、マスクに変化があったか否かを判断し、必要に応じマスクを補正し、マスク検出結果を出力する。

なおここでは、１フレーム遅延でマスク検出部１２１の出力結果が、マスク検出結果バッファ１２２に保存されるとして説明を続ける。また、１フレーム毎に以下に説明する処理が行われるとして説明を続ける。しかしながら、本技術は、１フレーム毎に処理を行う場合に適用が限定されるわけではなく、例えば、数フレーム毎に処理が行われるように構成することも可能である。

また、後述するように、所定の条件が発生したときなどに、フレーム間マスク検出結果比較部１２３による処理が実行され、フレーム間マスク検出結果比較部１２３からマスク形状が出力されるように構成しても良い。

＜第１の実施の形態における画像処理装置の動作＞
図３のフローチャートを参照し、図１に示した画像処理装置１００の動作、主に、マスク検出補正部１１２のフレーム間マスク検出結果比較部１２３における動作について説明する。

図３のフローチャートの処理が開始される前提とし、マスク検出部１２１による処理が行われることで、少なくとも１フレーム遅延された検出結果と、フレーム間マスク検出結果比較部１２３による処理が行われることで、少なくとも１フレーム遅延された補正結果が、マスク検出結果バッファ１２２に保存されている状態である。

ステップＳ１０１において、フレーム間マスク検出結果比較部１２３は、マスク検出部１２１からのマスク形状を読み込む。マスク形状として読み込まれる情報としては、円の中心座標（Ｘ_ｔ, Ｙ_ｔ）の情報と、円の半径Ｒ_ｔの情報である。

なお以下の説明においては、時刻ｔに検出されたマスク形状の情報は、例えば、Ｘ_ｔ, Ｙ_ｔ，Ｒ_ｔといったように、ｔを付して記述し、時刻ｔより１フレーム分前の時点で検出されたマスク形状の情報は、例えば、Ｘ_ｔ−１, Ｙ_ｔ−１，Ｒ_ｔ−１とったように、ｔ−１を付して記述する。

ステップＳ１０２において、フレーム間マスク検出結果比較部１２３は、マスク検出結果バッファ１２２から、時刻ｔ−１における補正後のマスク検出結果（円の中心（Ｘ’_ｔ−１, Ｙ’_ｔ−１）, 半径Ｒ’_ｔ−１）を読み込む。

マスク検出結果バッファ１２２には、マスク検出部１２１からのマスク形状に関する情報と、フレーム間マスク検出結果比較部１２３からのマスク形状に関する情報が保持されている。

以下の説明では、マスク検出結果バッファ１２２に保持されるマスク検出部１２１からの情報は、例えば、（円の中心（Ｘ_ｔ−１, Ｙ_ｔ−１）, 半径Ｒ_ｔ−１）といったように、ｔ−１を付して記述する。また、マスク検出結果バッファ１２２に保持されるフレーム間マスク検出結果比較部１２３からの情報は、さらにダッシュを付し、例えば、（円の中心（Ｘ’_ｔ−１, Ｙ’_ｔ−１）, 半径Ｒ’_ｔ−１）と記述する。

ステップＳ１０３において、両者の各パラメータの差分の絶対値ＡＤ’_Ｘ, ＡＤ’_Ｙ, ＡＤ’_Ｒが、次式（１）乃至（３）に基づいて算出される。ＡＤ’_Ｘは、時刻ｔの時点で検出されたマスクの中心点のＸ座標Ｘ_ｔと、時刻ｔ−１の時点での補正後のマスクの中心点のＸ座標Ｘ’_ｔ−１の差分の絶対値を表す。

同様に、ＡＤ’_Ｙは、時刻ｔの時点で検出されたマスクの中心点のＹ座標Ｙ_ｔと、時刻ｔ−１の時点での補正後のマスクの中心点のＹ座標Ｙ’_ｔ−１の差分の絶対値を表す。ＡＤ’_Ｒは、時刻ｔの時点で検出されたマスクの半径Ｒ_ｔと、時刻ｔ−１の時点での補正後のマスクの半径Ｒ’_ｔ−１の差分の絶対値を表す。

ステップＳ１０４において、各パラメータの差分の絶対値が、それぞれ設定されている所定の閾値以下であるか否かが判断される。すなわち、以下の３つの不等式（４）乃至（６）が成り立つか否かが判断される。以下の３つの不等式（４）乃至（６）のうち、閾値ＴＨ ＡＤ’_Ｘは、中心点のＸ座標の絶対値に対する閾値であり、閾値ＴＨ ＡＤ’_Ｙは、中心点のＹ座標の絶対値に対する閾値であり、閾値ＴＨ ＡＤ’_Ｒは、半径Ｒの絶対値に対する閾値である。

中心点のＸ座標の絶対値 ＡＤ’_Ｘ＜閾値ＴＨ ＡＤ’_Ｘ ・・・（４）
中心点のＹ座標の絶対値 ＡＤ’_Ｙ＜閾値ＴＨ ＡＤ’_Ｙ ・・・（５）
半径Ｒの絶対値 ＡＤ’_Ｒ＜閾値ＴＨ ＡＤ’_Ｒ ・・・（６）

ステップＳ１０４において、３つの不等式（４）乃至（６）が成り立つと判断された場合、ステップＳ１０５に処理が進められる。ステップＳ１０５において、カウント値が０に設定される。このカウント値は、３つの不等式（４）乃至（６）のいずれかが成り立たないときに増加される値であり、マスク形状が変化した可能性があるときに増加される値である。

３つの不等式（４）乃至（６）が成り立たないときとは、検出されたマスク形状が変化したなどの状況が発生したときである。上記したように、マスク検出部１２１によるマスクの検出は、光量不足のために、撮影された内視鏡画像のコントラストが十分でない場合や、撮影している生体内の対象物体の色によっては、マスク領域１５２と生体内領域（有効領域１５１）の境界のエッジが十分に出ず、誤検出となる可能性がある。

マスク形状が何らかの理由により変化した場合、時刻ｔ−１にマスク形状として出力されたマスク形状の中心点の座標や半径といったパラメータは、時刻ｔに取得されたマスク形状のパラメータとは異なる値となる。よって、時刻ｔ−１の補正後のマスク形状のパラメータと、時刻ｔで検出されたマスク形状のパラメータの差分は、変化が大きいほど、大きな値となる。

このようなことから、上記した３つの不等式（４）乃至（６）が成り立つ場合は、マスク形状に変化がない状況（変化があっても、その変化量は小さい状況）であり、３つの不等式（４）乃至（６）のうちのいずれか１つでも成り立たない場合は、マスク形状が変化した状況であると判断できる。

ステップＳ１０５において、０に設定されるカウント値（Ｃｏｎ）は、マスク形状が変化したと判断された回数を表す。よって、ステップＳ１０５においては、ステップＳ１０４において、マスク形状に変化はないと判断された場合であるため、カウント値が０に設定される。

ステップＳ１０６において、次式（７）乃至（９）に基づき、時刻ｔのマスク検出部１２１の検出結果と時刻ｔ−１における補正後のマスク検出結果との重み付き平均が算出され、補正後のマスク検出結果（円の中心座標（Ｘ’_ｔ, Ｙ’_ｔ）, 半径Ｒ’_ｔ）が決定される。

式（７）乃至（９）において、ｗ１は、０≦ｗ１≦１を満たす重み係数である。この係数ｗ１を大きくするとフレーム間でのマスク検出結果の変動の許容範囲を大きくすることができ、係数ｗ１を小さくすると、フレーム間での検出結果の変動の許容範囲を小さくすることが出来る。

ステップＳ１０７において、ステップＳ１０６においてフレーム間マスク検出結果比較部１２３により算出された（円の中心座標（Ｘ’_ｔ, Ｙ’_ｔ）, 半径Ｒ’_ｔ）は、後段の処理部（不図示）に出力される。

この場合、ステップＳ１０４で不等式（１）乃至（３）が成り立つことで、その時点で、出力されているマスク形状と、検出されているマスク形状に大きな変化はないと判断されているため、基本的に、マスク検出部１２１で検出されたマスク形状を、後段の処理部（不図示）に出力しても良い。

本実施の形態においては、さらにステップＳ１０６において、式（７）乃至（９）により、マスク形状のわずかな変化量を吸収する補正がなされ、そのような補正がなされたマスク形状が、後段の処理部に出力される。よって、より適切なマスク形状を提供することが可能となる。

一方、ステップＳ１０４において、不等式（４）乃至（６）のうちのいずれか１式でも満たされていないと判断された場合、ステップＳ１０８に処理が進められる。ステップＳ１０８に処理が来る場合は、マスク形状に変化があった可能性がある場合である。

ステップＳ１０８において、フレーム間マスク検出結果比較部１２３は、マスク検出結果バッファ１２２に保持されている時刻ｔ−１における補正前のマスク検出結果（円の中心（Ｘ_ｔ−１, Ｙ_ｔ−１）, 半径Ｒ_ｔ−１）を読み込む。

ステップＳ１０９において、時刻ｔのマスク検出部１２１の検出結果（円の中心（Ｘ_ｔ, Ｙ_ｔ）, 半径Ｒ_ｔ）と時刻ｔ−１における補正前のマスク検出結果（円の中心（Ｘ_ｔ−１, Ｙ_ｔ−１）, 半径Ｒ_ｔ−１）の各パラメータの差分の絶対値AD_Ｘ, AD_Ｙ, AD_Ｒが、次式（１０）乃至（１２）に基づき算出される。

式（１０）乃至（１２）において、ＡＤ_Ｘは、時刻ｔと時刻ｔ−１の時点で検出されたマスクの中心点のＸ座標の差分の絶対値を表し、ＡＤ_Ｙは、時刻ｔと時刻ｔ−１の時点で検出されたマスクの中心点のＹ座標の差分の絶対値を表し、ＡＤ_Ｒは、時刻ｔと時刻ｔ−１の時点で検出されたマスクの半径Ｒの差分の絶対値を表す。

ステップＳ１１０において、各パラメータの差分の絶対値が、それぞれ設定されている所定の閾値以下であるか否かが判断される。すなわち、以下の３つの不等式（１３）乃至（１５）が成り立つか否かが判断される。

以下の３つの不等式（１３）乃至（１５）のうち、閾値ＴＨ ＡＤ_Ｘは、中心点のＸ座標の絶対値に対する閾値であり、閾値ＴＨ ＡＤ_Ｙは、中心点のＹ座標の絶対値に対する閾値であり、閾値ＴＨ ＡＤ_Ｒは、半径Ｒの絶対値に対する閾値である。

中心点のＸ座標の絶対値 ＡＤ_Ｘ＜閾値ＴＨ ＡＤ_Ｘ ・・・（１３）
中心点のＹ座標の絶対値 ＡＤ_Ｙ＜閾値ＴＨ ＡＤ_Ｙ ・・・（１４）
半径Ｒの絶対値 ＡＤ_Ｒ＜閾値ＴＨ ＡＤ_Ｒ ・・・（１５）

ステップＳ１１０において、３つの不等式（１３）乃至（１５）が成り立つと判断された場合、ステップＳ１１１に処理が進められる。ステップＳ１１１において、カウント値が１だけ増加された値に設定される。

一方、ステップＳ１１０において、３つの不等式（１３）乃至（１５）のいずれかの不等式は成り立たない判断された場合、ステップＳ１１２に処理が進められる。ステップＳ１１２において、カウント値が０に設定（初期化）される。

ステップＳ１１１またはステップＳ１１２において、カウント値が設定されると、ステップＳ１１３に処理が進められる。ステップＳ１１３において、カウント値Cntが決められた閾値TH_CNT未満であるか否かが判断される。

ステップＳ１１３において、カウント値Cntが閾値TH_CNT未満であると判断された場合、ステップＳ１１４に処理が進められる。ステップＳ１１４において、時刻ｔ−１における補正後のマスク検出結果（円の中心（Ｘ’_ｔ−１, Ｙ’_ｔ−１）, 半径Ｒ’_ｔ−１）を、時刻ｔにおける補正後のマスク検出結果（円の中心（Ｘ’_ｔ, Ｙ’_ｔ）, 半径Ｒ’_ｔ）に代入する。

この場合、時刻ｔ−１の時点で後段に出力された補正後のマスク形状のパラメータが、時刻ｔの時点で後段に出力される補正後のマスク形状のパラメータとして設定されることになる。そして、この設定されたパラメータは、後段の処理部に出力される（ステップＳ１０７）とともに、マスク検出結果バッファ１２２に、時刻ｔ−１の時点で後段に出力された補正後のマスク形状のパラメータとして保持される。

このように、ステップＳ１１４に処理が来る場合、マスク形状に変化があった可能性があるが、それまでのマスク形状を維持し続ける場合である。

一方、ステップＳ１１３において、カウント値Cntが閾値TH_CNT未満ではないと判断された場合、ステップＳ１１５に処理が進められる。ステップＳ１１５において、時刻ｔのマスク検出部１２１の検出結果と、時刻ｔ−１における補正後のマスク検出結果との重み付き平均が算出され、時刻ｔにおける補正後のマスク検出結果（円の中心（Ｘ’_ｔ, Ｙ’_ｔ）, 半径Ｒ’_ｔ）が決定される。

この演算は、次式（１６）乃至（１８）に基づいて行われる。式（１６）乃至（１８）におけるｗ２は、０≦ｗ２≦１を満たす重み係数である。

ステップＳ１１５に処理が来るのは、所定の期間、マスク形状が変化したと判断され続けたために、変化後のマスク形状が正しいマスク形状であると判断されたときである。変化後のマスク形状に即座に変更してしまうと、マスク形状が急激に変化する可能性があるため、徐々に変化後のマスク形状に変化させるために、ステップＳ１１５における演算が行われる。

ステップＳ１１６において、カウント値（Cut）が０に初期化される。そして、ステップＳ１０７において、式（１６）乃至（１８）により算出された（円の中心（Ｘ’_ｔ, Ｙ’_ｔ）, 半径Ｒ’_ｔ）が、後段の処理部に出力されるとともに、マスク検出結果バッファ１２２に、時刻ｔ−１の時点で後段に出力された補正後のマスク形状のパラメータとして保持される。

このように、所定の時間（カウント値が閾値TH_CNT以上になる時間）以上連続して、差分の絶対値ＡＤ’_Ｘ, ＡＤ’_Ｙ, ＡＤ’_Ｒが閾値ＴＨ ＡＤ’_Ｘ, ＴＨ ＡＤ’_Ｙ, ＴＨ ＡＤ’_Ｒ以上で、かつ差分の絶対値ＡＤ_Ｘ, ＡＤ_Ｙ, ＡＤ_Ｒが閾値ＴＨ ＡＤ_Ｘ, ＴＨ ＡＤ_Ｙ, ＴＨ ＡＤ_Ｒ未満となる場合、途中で物理的にマスク位置がずれた可能性がある。

そのような場合は、一定時間をかけて、新しいマスク位置に補正していく必要がある。このとき、重み係数ｗ２を大きい値にすると、新しいマスク位置に補正されるまでの時間が短く、重み係数ｗ２を小さくすると、新しいマスク位置に補正されるまでの時間が長くなる。

このように設定されたパラメータは、上記したように、ステップＳ１０７において、時間ｔにおける補正後のマスク検出結果（円の中心（Ｘ’_ｔ, Ｙ’_ｔ）, 半径Ｒ’_ｔ）として後段の処理部に出力される。また時間ｔにおける補正後のマスク検出結果（円の中心（Ｘ’_ｔ, Ｙ’_ｔ）, 半径Ｒ’_ｔ）はマスク検出結果バッファ１２２にも出力され、保持され、次フレームで用いられる。

このような処理について、図４，図５を参照してさらに説明を加える。

図４、図５において、横軸ｔは、時刻を表し、図中左側の画像（フレーム）ほど時系列的に過去を表す。また図４、図５においては、マスク領域１５２を黒く塗りつぶさずに図示してある。

図中の実線の円１７１は、マスク検出部１２１（図１）からの出力結果を表し、図中の破線の円１７２は、フレーム間マスク検出結果比較部１２３（図１）からの出力結果を表す。

また、図中の雲マークは、内視鏡装置を構成するレンズに汚れが付着した等の何かしらの理由で画像のコンディションが悪くなり、マスク検出を正しく行えないフレームを示し、そのような状況が、図４の例では、時刻Ｔ３、時刻Ｔ４のフレームで発生したとする。

図４において時刻Ｔ０から時刻Ｔ２までは、補正前のマスク検出結果（マスク検出部１２１の出力結果）は、一つ前のフレームにおける補正後のマスク検出結果との絶対差分が閾値未満であり、現在時刻のフレームの補正後のマスク検出結果は式（７）乃至式（９）で算出される。

すなわち時刻Ｔ０乃至時刻Ｔ２までは、図４に示したように、補正前のマスク検出結果を表す円１７１と、補正後のマスク検出結果を表す円１７２は、ほぼ同位置に位置している。

時刻Ｔ３において、レンズに汚れが付着した等の理由で、マスク検出が困難な画像の状態になったとする。このような場合、マスク検出部１２１は、マスク検出を正しく行えず、誤ったマスク形状結果を出力する。

しかしながら、フレーム間マスク検出結果比較部１２３において、マスク検出部１２１の出力結果と、一つ前のフレーム(時刻Ｔ２のフレーム)における補正後のマスク形状とが比較され、両者の絶対差分値が閾値以上になり、時刻Ｔ２における補正後のマスク形状が、時刻Ｔ３における補正後の結果として出力される。

図４の時刻Ｔ３の図を参照するに、補正前のマスク検出結果を表す円１７１は、左側に小さい円となっているが、補正後のマスク検出結果を表す円１７２は、時刻Ｔ２の円１７２と同じ円１７２となる。

ここで、図３に示したフローチャートにおけるカウント値（Cnt）の閾値TH_CNTが５に設定されているとして説明を続ける。時刻Ｔ４において、時刻Ｔ３のときと同様に、マスク検出部１２１のマスク形状結果が誤っていた場合でも、カウント値（Cnt）は閾値TH_CNT（＝５）未満であるため、フレーム間マスク検出結果比較部１２３にて時刻Ｔ３の補正後のマスク形状に補正される。

時刻Ｔ５で、画像のコンディションが良くなり、マスク検出部１２１の出力結果と一つ前の時刻Ｔ４のフレームにおける補正後のマスク形状の絶対差分値が閾値未満になる。このため、現在時刻Ｔ５のフレームの補正後のマスク形状は、式（７）乃至式（９）で算出される。

このように、一定時間（閾値TH_CNT未満）における誤検出を防ぐことが可能となる。

次に、図５を用いて、内視鏡に外力が加わり、内視鏡とカメラヘッドの接続部分がずれ、結果的にマスクの位置がずれた場合や、内視鏡を回したことによって、マスクの位置がずれた場合を考える。

このような場合、マスク位置はずれたままとなるため、事前に１度だけマスク検出をしておくことでは不十分である。

図５において、時刻Ｔ２３で上記のような原因でマスク位置がずれた場合、閾値TH_CNT未満の期間は、位置がずれる前のマスク位置（マスク形状）がフレーム間マスク検出結果比較部１２３として出力される。

図５の時刻Ｔ２３の図を参照するに、補正前のマスク検出結果を表す円１７１は、左側にずれているが、補正後のマスク検出結果を表す円１７２は、時刻Ｔ２２の円１７２と同じ位置に位置しており、この位置におけるマスクが、ユーザに提供される。

ここで閾値TH_CNT＝５とした場合、時刻Ｔ２３から時刻Ｔ２６までは、位置がずれる前のマスク位置がフレーム間マスク検出結果比較部１２３として出力される。そして、時刻Ｔ２７において、カウント値（Cnt）は閾値TH_CNT（＝５）未満ではないと判断されることで、補正後のマスク検出結果は、式（１６）乃至（１８）で算出された値となり、ずれた後のマスク位置に徐々に近づけられる処理が開始される。

図５の時刻Ｔ２７のところに示した例では、左側にずれた補正前のマスク検出結果を表す円１７１とほぼ同じ位置に、補正後のマスク検出結果を表す円１７２が設定され、この位置におけるマスクが、ユーザに提供される。

このように、マスク形状のパラメータが式（１６）乃至（１８）で算出された値に設定され、ずれた後のマスク位置に徐々に近づいていくとき、式（１６）乃至（１８）中の重み係数ｗ２が大きいほど、ずれたマスク位置に早く収束する。

また、閾値TH_CNTを小さくし過ぎると、図５のようなケースでは素早くずれた後のマスク位置に修正することが出来るようになるが、図４のような短時間の誤検出には弱くなる。逆に、閾値TH_CNTを大きくし過ぎると、短時間の誤検出には強くなるが、図５のようなケースでは、マスク位置を修正するのに時間を要する。このようなことを考慮して、閾値TH_CNTは設定される。

なお、時刻Ｔ０や時刻Ｔ２０において、前フレームの補正後のマスク形状は存在しない。このような状況のときには、その時点でのマスク検出部１２１の出力結果を、そのままフレーム間マスク検出結果比較部１２３の出力結果としてもよいし、事前にマスク検出が容易なシーンを撮影した画像で、マスク検出を行っておき、それを時刻Ｔ１０や時刻Ｔ２０における前フレームの補正後のマスク形状として使ってもよい。

このように、本実施の形態によれば、マスクの形状を適切に補正することができる。

＜第２の実施の形態における画像処理装置の構成＞
図６は、第２の実施の形態における画像処理装置の構成を示す図である。第２の実施の形態における画像処理装置２００も、第１の実施の形態における画像処理装置１００と同じく、内視鏡装置からの画像を取得し、処理する装置であるとして以下の説明を続ける。

図６に示した画像処理装置２００は、画像取得部２１１−１、画像取得部２１１−２、マスク検出補正部２１２−１、マスク検出補正部２１２−２、およびステレオ間マスク検出結果比較補正部２１３を備える。

マスク検出補正部２１２−１は、マスク検出部２２１−１、マスク検出結果バッファ２２２−１、およびフレーム間マスク検出結果比較部２２３−１を備える。マスク検出補正部２１２−２は、マスク検出部２２１−２、マスク検出結果バッファ２２２−２、およびフレーム間マスク検出結果比較部２２３−２を備える。

画像処理装置２００は、内視鏡装置から、左目用の画像と右目用の画像をそれぞれ取得し、処理し、後段の処理部（不図示）に出力する。よって、左目用の画像を処理する部分と、右目用の画像を処理部分とをそれぞれ備え、左目用の画像を処理する部分と、右目用の画像を処理部分は、基本的に同様の構成とされている。

以下の説明においては、左目用の画像を処理する部分と、右目用の画像を処理部分とを個々に区別する必要がない場合、どちらか一方を例に挙げて説明を行う。また、例えば、画像取得部２１１−１と画像取得部２１１−２を個々に区別する必要がない場合、単に、画像取得部２１１と記述する。他の部分も同様に記述する。

画像取得部２１１とマスク検出補正部２１２の組み合わせは、図１に示した第１の実施の形態における画像処理装置１００の画像取得部１１１とマスク検出補正部１１２の組み合わせと同様の構成を有し、基本的に同様の処理を行う。よって、その説明は適宜省略する。

図６に示した画像処理装置２００は、単眼ステレオ内視鏡を対象とするものであるため、左目用と右目用の２枚の内視鏡画像が得られる。以下の説明では、図７に示すように左目用内視鏡画像におけるマスク形状２５２−１の中心座標を座標(Ｘ０, Ｙ０)、半径を半径Ｒ０とし、右目用内視鏡画像におけるマスク形状２５２−２の中心座標を座標(Ｘ１, Ｙ１)、半径を半径Ｒ１とする。

通常、左目用画像と右目用画像のマスク中心（円中心）の水平方向のずれ量(Ｘ０−Ｘ１)は一定であり、事前にこのずれ量を測定しておいてもよい。また、このずれ量が変化するような場合は、動的に左目用画像と右目用画像のマスク中心間の距離を計測してもよい。

画像処理装置２００において、左目用の内視鏡画像は、画像取得部２１１−１に取得され、マスク検出部２２１−１に供給される。マスク検出部２２１−１からは左目用の内視鏡画像におけるマスク形状の情報が、マスク検出結果バッファ２２２−１とフレーム間マスク検出結果比較部２２３−１にそれぞれ出力される。

フレーム間マスク検出結果比較部２２３−１は、第１の実施の形態におけるフレーム間マスク検出結果比較部１２３と同じく、判断部と出力部（いずれも不図示）を備え、供給されたマスク形状の情報を用いて、フレーム間の検出結果の整合性を考慮してマスク形状を補正し、補正されたマスク形状の情報をステレオ間マスク検出結果比較補正部２１３に出力する。

また後述するように、フレーム間マスク検出結果比較部２２３−１からは、信頼度パラメータも生成され、ステレオ間マスク検出結果比較補正部２１３に出力される。

フレーム間マスク検出結果比較部２２３−１は、フレーム間マスク検出結果比較部の処理において、時刻ｔ−１における補正後のマスク形状（Ｘ’_ｔ−１, Ｙ’_ｔ−１, Ｒ’_ｔ−１）との比較を行う。

第１の実施の形態での時刻ｔ−１における補正後のマスク形状とは、時刻ｔ−１のフレーム間マスク検出結果比較部１２３の出力結果であったが、第２の実施の形態での時刻ｔ−１における補正後のマスク形状は、ステレオ間マスク検出結果比較補正部２１３の出力結果となる点が異なる。

同様に画像処理装置２００において、右目用の内視鏡画像は、画像取得部２１１−２に取得され、マスク検出部２２１−２に供給される。マスク検出部２２１−２からは右目用の内視鏡画像におけるマスク形状の情報が、マスク検出結果バッファ２２２−２とフレーム間マスク検出結果比較部２２３−２にそれぞれ出力される。

フレーム間マスク検出結果比較部２２３−２は、第１の実施の形態におけるフレーム間マスク検出結果比較部１２３と同じく、供給されたマスク形状の情報を用いて、フレーム間の検出結果の整合性が考慮してマスク形状を補正し、補正されたマスク形状の情報をステレオ間マスク検出結果比較補正部２１３に出力する。

また後述するように、フレーム間マスク検出結果比較部２２３−２からは、信頼度パラメータも生成され、ステレオ間マスク検出結果比較補正部２１３に出力される。

ステレオ間マスク検出結果比較補正部２１３では、左右の内視鏡画像におけるマスク検出結果を比較し、両者の差分の絶対値の大きさに応じてフレーム間マスク検出結果比較部２２３の出力結果の補正を行う。

＜第２の実施の形態における画像処理装置の動作＞
図８のフローチャートを参照し、図６に示した画像処理装置２００の動作、主に、マスク検出補正部２１２のフレーム間マスク検出結果比較部２２３における動作について説明する。

フレーム間マスク検出結果比較部２２３の動作は、第１の実施の形態におけるフレーム間マスク検出結果比較部１２３の動作と基本的に同様に行われるが、信頼度パラメータが算出され、出力される点が異なるため、この点について説明を加える。

ステップＳ２０１乃至Ｓ２０４は、図３に示したフローチャートのステップＳ１０１乃至Ｓ１０４と同様の処理であり、ステップＳ２０６，Ｓ２０７は、ステップＳ１０５,Ｓ１０６と同様の処理であり、ステップＳ２１０乃至Ｓ２１８の処理は、ステップＳ１０８乃至Ｓ１１６の処理と同様であるため、その説明は省略する。

ステップＳ２０４において、式（４）乃至（６）の不等号が全て成り立つと判断された場合、ステップＳ２０５に処理が進められる。ステップＳ２０５において、信頼度パラメータ（Conf）が１に設定される。信頼度パラメータは、出力されるマスク形状（マスク関するパラメータ）が、正しい可能性が高い場合に１に設定され、正しくない可能性が高い場合に０に設定されるパラメータであるとして説明を続ける。

換言すれば、信頼度パラメータは、フレーム間マスク検出結果比較部２１３から出力された補正後のマスク形状と、マスク検出部２２１で検出されたマスク形状とがほぼ一致しており（式（４）乃至（６）の不等号が全て成り立つ状態）、マスク形状は変化していないと判断されるときに１に設定されるパラメータであり、マスク形状は変化している可能性があると判断されるときに０に設定されるパラメータである。

なお、ここでは、信頼度パラメータは、１または０の値に設定されるパラメータであるとして説明を続けるが、１と０の設定の仕方が逆であっても良い。また、１と０以外の値が設定されるように構成しても良い。例えば、マスク形状が変化している可能性に応じた値が、信頼度パラメータとして設定されるようにしても良い。

このようにして設定された信頼度パラメータは、ステップＳ２０８において、ステレオ間マスク検出結果比較補正部２１３に、時刻ｔにおける補正後のマスク検出結果とともに出力される。

一方、ステップＳ２０４において、式（４）乃至（６）の不等号の全てが成り立つという条件は満たされていないと判断された場合、ステップＳ２０９に処理が進められる。ステップＳ２０９において、信頼度パラメータ（Conf）が０に設定される。この場合、マスク形状に変化があった可能性があるため、信頼度パラメータは、０に設定される。

ステップＳ２０９の後のステップＳ２１０以降の処理は、第１の実施の形態と同様に行うことが可能であるため、その説明は省略する。

フレーム間マスク検出結果比較部２２３−１は、このようにして、左目用の画像を処理し、ステレオ間マスク検出結果比較補正部２１３に、補正後のマスク検出結果と、信頼度パラメータを供給する。同様に、フレーム間マスク検出結果比較部２２３−２は、このようにして、右目用の画像を処理し、ステレオ間マスク検出結果比較補正部２１３に、補正後のマスク検出結果と、信頼度パラメータを供給する。

次に、図９に示したフローチャートを参照し、ステレオ間マスク検出結果比較補正部２１３の動作について説明する。

ステップＳ３０１において、フレーム間マスク検出結果比較部２２３−１の出力である左目用の内視鏡画像における補正後のマスク形状情報（Ｘ０’_ｔ, Ｙ０’_ｔ, Ｒ０’_ｔ）と信頼度パラメータConf０が取得される。

ステップＳ３０２において、右目用の内視鏡画像における補正後のマスク形状の情報（Ｘ１’_ｔ, Ｙ１’_ｔ, Ｒ１’_ｔ）と信頼度パラメータConf１が取得される。

ステップＳ３０３において、取得されたそれぞれのパラメータの差分の絶対値ＡＤＳ_Ｘ,ＡＤＳ_Ｙ,ＡＤＳ_Ｒが、次式（１９）乃至（２１）に基づいて算出される。

次式（１９）乃至（２１）においてＡＤＳ_Ｘは、補正後の左目用と右目用のマスク形状の中心点のＸ座標の差分の絶対値を表し、ＡＤＳ_Ｙは、補正後の左目用と右目用のマスク形状の中心点のＹ座標の差分の絶対値を表し、ＡＤＳ_Ｒは、補正後の左目用と右目用のマスク形状の半径Ｒの差分の絶対値を表す。

ステップＳ３０４において、以下の不等式（２２）乃至（２５）の全てが成り立つか否かが判断される。不等式（２２）乃至（２５）のうち、閾値ＴＨ ＭＩＮ ＡＤＳ_Ｘと閾値ＴＨ ＭＡＸ ＡＤＳ_Ｘは、中心点のＸ座標の絶対値に対する閾値であり、閾値ＴＨ ＡＤＳ_Ｙは、中心点のＹ座標の絶対値に対する閾値であり、閾値ＴＨ ＡＤＳ_Ｒは、半径Ｒの絶対値に対する閾値である。

閾値ＴＨ ＭＩＮ ＡＤＳ_Ｘ＜中心点のＸ座標の絶対値 ＡＤＳ_Ｘ ・・・（２２）
中心点のＸ座標の絶対値 ＡＤＳ_Ｘ＜閾値ＴＨ ＭＡＸ ＡＤＳ_Ｘ ・・・（２３）
中心点のＹ座標の絶対値 ＡＤＳ_Ｙ＜閾値ＴＨ ＡＤＳ_Ｙ ・・・（２４）
半径Ｒの絶対値 ＡＤＳ_Ｒ＜閾値ＴＨ ＡＤＳ_Ｒ ・・・（２５）

ステップＳ３０４において、式（２２）乃至（２５）が全て成り立つと判断された場合、ステップＳ３０５に処理が進められる。すなわちこの場合、差分の絶対値ＡＤＳ_Ｘが, 閾値ＴＨ ＭＩＮ ＡＤＳ_Ｘより大きく、閾値ＴＨ ＭＡＸ ＡＤＳ_Ｘより小さい場合で、かつ差分の絶対値ＡＤＳ_Ｙ, ＡＤＳ_Ｒがともにそれぞれの閾値ＴＨ ＡＤＳ_Ｙ，ＴＨ ＡＤＳ_Ｒより小さい場合である。

このような場合、ステップＳ３０５においては、フレーム間マスク検出結果比較部２２３−１、フレーム間マスク検出結果比較部２２３−２の結果がそのまま、ステレオ間マスク検出結果比較補正部２１３の結果となり、出力される。

ステップＳ３０４において、式（２２）乃至（２５）の全てが成り立つという条件は満たされないと判断された場合、ステップＳ３０６に処理が進められる。ステップＳ３０６において、フレーム間マスク検出結果処理部２２３−１からの信頼度パラメータConf０と、フレーム間マスク検出結果処理部２２３−２からの信頼度パラメータConf１が比較される。

ステップＳ３０６においては、左目用の画像の信頼度パラメータConf０が１であり、かつ、右目用の画像の信頼度パラメータConf１が０であるか否かが判断される。このような条件が成り立つときは、左目用の画像におけるフレーム間マスク検出結果比較部２２３−１の出力結果の方が、右目用の画像におけるフレーム間マスク検出結果処理部２２３−２の出力結果よりも、より信頼性があると判断できる。

ステップＳ３０６において、左目用の画像の信頼度パラメータConf０が１であり、かつ、右目用の画像の信頼度パラメータConf１が０であると判断された場合、ステップＳ３０７に処理が進められる。

ステップＳ３０７において、ステレオ間マスク検出結果比較補正部２１３からの左目用の画像に対する補正後のマスク形状は、フレーム間マスク検出結果比較部２２３−１の出力結果（Ｘ０’_ｔ, Ｙ０’_ｔ, Ｒ０’_ｔ）が、そのまま出力される。この場合、フレーム間マスク検出結果比較部２２３−１からの左目用の画像からのマスク形状は、正しい可能性が高いため、そのまま用いられる。

一方、右目用画像における補正後のマスク形状の各パラメータは、次式（２６）乃至（２８）に基づき算出される。

式（２６）において、Ｄ_１０は、次式（２９）で示すように、左目用画像と右目用画像のマスクの中心間の距離を表す。

式（２９）において、Ｘ０は、所定の時刻における左目用画像のマスク形状の中心点のＸ座標であり、Ｘ１は、所定の時刻における右目用画像のマスク形状の中心点のＸ座標である。例えば、Ｘ０,Ｘ１は、事前に測定しておいてもよいし、左目用画像と右目用画像のフレーム間マスク検出結果比較部２２３−１とフレーム間マスク検出結果比較部２２３−２の信頼度パラメータConf０と信頼度パラメータConf１が、ともに１である場合に算出してもよい。

ステップＳ３０７において算出された右目用画像における補正後のマスク形状のパラメータと、左目用画像に対する補正後のマスク形状として設定されたフレーム間マスク検出結果比較部２２３−１の出力結果は、ステップＳ３０５において後段の処理部に出力される。

一方、ステップＳ３０６において、左目用の画像の信頼度パラメータConf０が１であり、かつ、右目用の画像の信頼度パラメータConf１が０であるという条件は満たされていないと判断された場合、ステップＳ３０８に処理が進められる。

ステップＳ３０８において、左目用の画像の信頼度パラメータConf０が０であり、かつ、右目用の画像の信頼度パラメータConf１が１であるか否かが判断される。このような条件が成り立つときは、右目用画像におけるフレーム間マスク検出結果比較部２２３−２の出力結果の方が、左目用画像におけるフレーム間マスク検出結果処理部２２３−１の出力結果よりも、より信頼性があると判断できる。

ステップＳ３０８において、左目用の画像の信頼度パラメータConf０が０であり、かつ、右目用の画像の信頼度パラメータConf１が１であると判断された場合、ステップＳ３０９に処理が進められる。

ステップＳ３０９において、ステレオ間マスク検出結果比較補正部２１３からの右目用画像に対する補正後のマスク形状として、フレーム間マスク検出結果比較部２２３−２の出力結果（Ｘ１’_ｔ, Ｙ１’_ｔ, Ｒ１’_ｔ）が、そのまま出力される。

一方、左目用画像における補正後のマスク形状の各パラメータは、次式（３０）乃至（３２）に基づき算出される。

式（３０）において、Ｄ_０１は、次式（３３）で示すように、左目用画像と右目用画像のマスクの中心間の距離を表す。

式（３３）において、Ｘ０は、所定の時刻における左目用画像のマスク形状の中心点のＸ座標であり、Ｘ１は、所定の時刻における右目用画像のマスク形状の中心点のＸ座標である。例えば、Ｘ０,Ｘ１は、事前に測定しておいてもよいし、左目用画像と右目用画像のフレーム間マスク検出結果比較部２２３−１とフレーム間マスク検出結果比較部２２３−２の信頼度パラメータConf０と信頼度パラメータConf１が、ともに１である場合に算出してもよい。

ステップＳ３０９において算出された左目用画像における補正後のマスク形状のパラメータと、右目用画像に対する補正後のマスク形状として設定されたフレーム間マスク検出結果比較部２２３−２の出力結果は、ステップＳ３０５において後段の処理部に出力される。

一方、ステップＳ３０８において、左目用の画像の信頼度パラメータConf０が０であり、かつ、右目用の画像の信頼度パラメータConf１が１であるという条件は満たされていないと判断された場合、ステップＳ３１０に処理が進められる。

ステップＳ３１０に処理が来るのは、左目用画像におけるマスク検出結果の信頼度パラメータConf０が０であり、かつ右目用画像におけるマスク検出結果の信頼度パラメータConf１が０の場合である。このような場合、左目用画像におけるマスク検出結果と、右目用画像におけるマスク検出結果の両方とも、信頼度が低いという状況であると判断できる。

またはステップＳ３１０に処理が来るのは、左目用画像におけるマスク検出結果の信頼度パラメータConf０が１であり、かつ右目用画像におけるマスク検出結果の信頼度パラメータConf１が１の場合である。このような場合、左目用画像におけるマスク検出結果と、右目用画像におけるマスク検出結果の両方とも、信頼度が高いという状況である。

左目用画像におけるマスク検出結果と、右目用画像におけるマスク検出結果の両方とも、信頼度が高い場合または低い場合、左目用画像からのマスク検出結果と、右目用画像からのマスク検出結果のどちらの方がより信頼性があり、補正に用いて良いかが判断がつかない状態である。

このような場合、ステップＳ３１０においては、予め設定されている方のフレーム間マスク検出結果比較部２２３の出力結果を基準に、もう一方のマスク形状が補正される。

例えば、左目用画像を基準とすると設定されている場合は、ステレオ間マスク検出結果比較補正部２１３からの左目用画像に対する補正後のマスク形状は、フレーム間マスク検出結果比較部２２３−１の出力結果（Ｘ０’_ｔ, Ｙ０’_ｔ, Ｒ０’_ｔ）をそのまま出力し、右目用画像における補正後のマスク形状は、式（２６）乃至（２８）に基づいて算出されたパラメータが出力される。

左右のどちらの画像を基準にするかは、事前に決めておいてもよいし、信頼度パラメータConf０, Conf１の変化を観察し、動的に信頼性の高い方に切り替えるなどの処理が実行されるようにしてもよい。

このように設定されたパラメータは、上記したように、ステップＳ３０５において、時間ｔにおける補正後の左目用画像のマスク形状情報（Ｘ０’_ｔ, Ｙ０’_ｔ, Ｒ０’_ｔ）、および右目用画像のマスク形状情報（Ｘ１’_ｔ, Ｙ１’_ｔ, Ｒ１’_ｔ）として後段の処理部に出力され、ステレオ間マスク検出結果比較補正部２１３の処理は終了される。

また、時刻ｔにおける最終的な補正後の左目用画像のマスク形状情報（Ｘ０’_ｔ, Ｙ０’_ｔ, Ｒ０’_ｔ）は、マスク検出結果バッファ２２２−１に保持され、右目用画像のマスク形状情報（Ｘ１’_ｔ, Ｙ１’_ｔ, Ｒ１’_ｔ）は、マスク検出結果バッファ２２２−２に保持され、それぞれ次フレームで使われる。

このような処理について、図１０を参照してさらに説明を加える。

図１０において、横軸ｔは、時間を表し、図中左側の画像（フレーム）ほど時系列的に過去を表す。また図中、上側の図は、マスク検出補正部２１２−１（図６）で処理されるまたは処理された左目用画像を表し、下側の図は、マスク検出補正部２１２−２（図６）で処理されるまたは処理された右目用画像を表す。また図１０においては、マスク領域２５２を黒く塗りつぶさずに図示してある。

また図中の太線の実線の円２７１と円２８１は、マスク検出部２２１（図６）からの出力結果（補正前のマスク検出結果）を表し、図中の細線の実線の円２７２と円２８２は、フレーム間マスク検出結果比較部２２３からの出力（フレーム間での補正後のマスク検出結果）を表し、図中の破線の円２７３と円２８３は、ステレオ間マスク検出結果比較補正部２１３からの出力結果（最終的な補正後のマスク検出結果）を表す。

また、図中の雲マークは、内視鏡装置を構成するレンズに汚れが付着した等の何かしらの理由で画像のコンディションが悪くなり、マスク形状の検出が正常に行えない状態を表している。図１０に示した例では、このような状況が、左目用画像においては時刻Ｔ４３と時刻Ｔ４４のフレームで、右目用画像においては時刻Ｔ４１から時刻Ｔ４７までのフレームで発生したとする。

またここでは、フレーム間マスク検出結果比較部２２３のカウント値Cntの閾値TH_CNTは、５であるとして説明を続ける。

時刻Ｔ４１では、右目用画像において、マスク検出部２２１−２の結果（円２８１）は誤るが、右目用画像を処理するフレーム間マスク検出結果比較部２２３−２にて、時刻Ｔ４０のステレオ間マスク検出結果比較補正部２１３の出力結果（円２８３）で補正され、ステレオ間マスク検出結果比較補正部２１３では、左右のフレーム間マスク検出結果の絶対差分は閾値範囲内になる。

時刻Ｔ４２においても、時刻Ｔ４１のときと同様に処理が行われる。

時刻Ｔ４３では、左目用画像と右目用画像の両方において、マスク検出部２２１の結果（円２７１、円２８１）は誤るが、それぞれのフレーム間マスク検出結果比較部２２３−１，２２３−２にて結果が補正される（円２７２、円２８２）。

時刻Ｔ４４においても、時刻Ｔ４３のときと同様に処理が行われる。

時刻Ｔ４５では、右目用画像において、マスク検出部２２１−２のマスク検出の誤りが継続しているため、フレーム間マスク検出結果比較部２２３−２のカウント値Cntが閾値TH_CNT＝５を満たす状態となり、フレーム間マスク検出結果比較部２２３−２の出力結果（円２８２）は、マスク検出部２２１−２の結果（円２８１）と同じになるように補正される。

時刻Ｔ４５においては、右目用画像のフレーム間マスク検出結果比較部２２３−２における信頼度パラメータConf１は０に設定される。

一方、時刻Ｔ４５において左目用画像における検出結果は正しく、フレーム間マスク検出結果比較部２２３−１では、時刻Ｔ４４のステレオ間マスク検出結果比較補正部２１３の結果（円２７３）との差分の絶対値は閾値内となるため、信頼度パラメータConf０は１に設定される。

そして、ステレオ間マスク検出結果比較補正部２１３では、左目用画像と右目用画像のそれぞれのフレーム間マスク検出結果比較部２２３の結果の差分の絶対値が閾値外となり、かつ信頼度の比較（Conf０=１、Conf１=０）により左のフレーム間マスク検出結果比較部２２３−１の出力結果（円２７２）を基準として右のマスク形状が補正される。この補正は、式（２６）乃至（２８）に基づいて行われる。

このように、フレーム間マスク検出結果比較部２２３とステレオ間マスク検出結果比較補正部２１３の双方で補正を行うことによってより安定的にマスク検出が行えるようになる。

＜動作の開始時について＞
第１の実施の形態の画像処理装置１００のマスク検出補正部１１２の動作、または第２の実施の形態の画像処理装置２００のマスク検出補正部２１２の動作は、常に行われるように構成することも可能であるし、所定のイベントが発生したときに行われるように構成することも可能である。

上記した例では、常に行われる場合、換言すれば、１フレーム毎に行われる場合を例に挙げて説明した。以下、第１の実施の形態の画像処理装置１００を例に挙げて説明する。常に行われる場合、１フレーム毎に、マスク検出結果バッファ１２２には、マスク検出部１２１により検出されたマスク形状が保持され、フレーム間マスク検出結果比較部１２３による補正が行われ、補正後のマスク形状が出力される。

所定のイベントが発生したときに行われるようにした場合、マスク検出結果バッファ１２２には、１フレーム毎にマスク検出部１２１により検出されたマスク形状に関するパラメータが保持され、どのようなタイミングでイベントが発生しても対応できるようにしておく。

そして、所定のイベントが発生したとき、マスク検出結果バッファ１２２に保持されているパラメータを用いて、フレーム間マスク検出結果比較部１２３による補正が開始される。このような構成は、第２の実施の形態に対しても適用できる。

所定のイベントとしては、例えば、エラーが発生したと判断されるときをイベントとすることができる。エラーが発生したか否かの判定は、例えば、内視鏡装置からの映像における生体内領域（有効領域１５１）の平均輝度レベルを用いて行うことができる。

その一例として、平均輝度レベルが低い場合、マスク領域１５２と生体内領域（有効領域１５１）の境界が曖昧になり、マスク検出が困難になる。このようなとき、換言すれば、平均輝度レベルが所定の閾値未満になった場合、エラーが発生（イベントが発生）したとして、上記した補正が開始されるようにしても良い。

また、所定のイベントの他の例として、トロッカーに硬性鏡が挿入されているかどうかを判定するように構成し、挿入されたとき、または挿入が解除されたときをイベントとしてもよい。このように構成した場合、例えば、トロッカーにセンサーを付け、トロッカーに硬性鏡が挿入されているか否かを判定できるように構成する。

そして、硬性鏡が取り出される直前のマスク形状を保存しておくようにし、再度挿入されるまで、保存されているマスク形状を使用するように構成しても良い。

また、所定のイベントの他の例として、ユーザがマスクの補正を指示する仕組み、例えば、そのような指示をするためのボタンを設け、そのようなボタンが操作されたことをイベントとしてマスク形状の補正が行われるように構成することも可能である。例えば、フットスイッチを設け、そのフットスイッチが操作されたことをイベントとしてマスク形状の補正が行われるように構成することも可能である。

このような外部入力により、マスク形状の補正が行われるように構成することも可能である。

＜記録媒体について＞
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１１０１、ＲＯＭ（Read Only Memory）１１０２、ＲＡＭ（Random Access Memory）１１０３は、バス１１０４により相互に接続されている。バス１１０４には、さらに、入出力インタフェース１１０５が接続されている。入出力インタフェース１１０５には、入力部１１０６、出力部１１０７、記憶部１１０８、通信部１１０９、及びドライブ１１１０が接続されている。

入力部１１０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１１０７は、ディスプレイ、スピーカなどよりなる。記憶部１１０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１１０９は、ネットワークインタフェースなどよりなる。ドライブ１１１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１１１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ１１０１が、例えば、記憶部１１０８に記憶されているプログラムを、入出力インタフェース１１０５及びバス１１０４を介して、ＲＡＭ１１０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ１１０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１１１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア１１１１をドライブ１１１０に装着することにより、入出力インタフェース１１０５を介して、記憶部１１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１１０９で受信し、記憶部１１０８にインストールすることができる。その他、プログラムは、ＲＯＭ１１０２や記憶部１１０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

なお、本技術は以下のような構成も取ることができる。

（１）
取得された画像からマスクを検出する検出部と、
前記検出部により検出された前記マスクに変化があったか否かを判断する判断部と、
前記判断部により前記マスクに変化があったと判断された場合、前記マスクに変化があったと判断されるより前に前記検出部により検出された前記マスクのパラメータを出力する出力部と
を備える画像処理装置。
（２）
前記判断部は、前記検出部により検出されたマスクのパラメータの時間的変化に基づいて、前記マスクに変化があったか否かを判断する
前記（１）に記載の画像処理装置。
（３）
前記判断部は、前記検出部により検出された第１のマスクのパラメータと、前記第１のマスクの検出後に前記検出部により検出された第２のマスクのパラメータとの差分が、所定の閾値より小さい場合、前記検出部により検出された前記マスクに変化はないと判断し、
前記出力部は、前記判断部で前記マスクに変化はないと判断された場合、前記第１のマスクのパラメータと前記第２のマスクのパラメータから算出される第３のマスクのパラメータを出力する
前記（２）に記載の画像処理装置。
（４）
前記判断部は、前記検出部により検出された第１のマスクのパラメータと、前記第１のマスクの検出後に前記検出部により検出された第２のマスクのパラメータとの差分が、所定の閾値より大きい場合、前記検出部により検出された前記マスクに変化があったと判断し、
前記出力部は、前記判断部で前記マスクに変化があったと判断された場合、前記第１のマスクのパラメータを出力する
前記（２）に記載の画像処理装置。
（５）
前記出力部は、前記判断部により前記マスクに変化があったと所定の回数判断された場合、前記第１のマスクのパラメータの代わりに前記第２のマスクのパラメータを出力する
前記（４）に記載の画像処理装置。
（６）
前記出力部は、前記判断部により前記マスクに変化があったと所定の回数判断された場合、前記第１のマスクのパラメータと前記第２のマスクのパラメータから算出される第３のマスクのパラメータを出力する
前記（４）に記載の画像処理装置。
（７）
前記マスク内の画像は、内視鏡により撮影された画像である
前記（１）乃至（６）のいずれかに記載の画像処理装置。
（８）
前記マスクのパラメータの信頼度を表す信頼度パラメータを用いて、前記マスクのパラメータを補正する補正部をさらに備える
前記（１）に記載の画像処理装置。
（９）
前記検出部は、取得された２つの画像からそれぞれ第１のマスクと第２のマスクを検出し、
前記第１のマスクのパラメータと第２のマスクのパラメータに基づいて、前記第１のマスクのパラメータまたは前記第２のマスクのパラメータのうち少なくとも一方を補正するか否かを判断する補正部をさらに備える
前記（１）に記載の画像処理装置。
（１０）
前記補正部は、前記第１のマスクのパラメータと前記第２のマスクのパラメータとの差分が、所定の範囲外である場合、前記第１のマスクのパラメータまたは前記第２のマスクのパラメータのうち、予め設定されている一方の前記マスクのパラメータを用いて、他方のパラメータを補正する
前記（９）に記載の画像処理装置。
（１１）
前記補正部は、前記第１のマスクのパラメータと前記第２のマスクのパラメータとの差分が、所定の範囲外である場合、前記第１のマスクのパラメータと前記第２のマスクのパラメータの、それぞれの信頼度を表す信頼度パラメータを用いて補正を行う
前記（９）に記載の画像処理装置。
（１２）
前記判断部は、前記画像の輝度レベルに基づいて、前記マスクに変化があったか否かを判断する
前記（１）乃至（１１）のいずれかに記載の画像処理装置。
（１３）
前記判断部は、前記画像の平均輝度レベルが所定の閾値未満になった場合に、前記マスクに変化があったと判断する
前記（１２）に記載の画像処理装置。
（１４）
前記判断部は、トロッカーに内視鏡が挿入されているか否かに基づいて、前記マスクに変化があったか否かを判断する
前記（１）乃至（１３）のいずれかに記載の画像処理装置。
（１５）
前記判断部は、トロッカーに内視鏡が挿入されていないと判断した場合に、前記マスクに変化があったと判断する
前記（１４）に記載の画像処理装置。
（１６）
前記判断部は、外部入力に基づいて、前記マスクに変化があったか否かを判断する
前記（１）乃至（１５）のいずれかに記載の画像処理装置。
（１７）
前記外部入力は、フットスイッチによる入力である
前記（１６）に記載の画像処理装置。
（１８）
取得された画像からマスクを検出し、
前記検出された前記マスクに変化があったか否かを判断し、
前記マスクに変化があったと判断された場合、前記マスクに変化があったと判断されるより前に検出された前記マスクのパラメータを出力する
画像処理方法。

１００ 画像処理装置， １１１ 画像取得部， １１２ マスク検出補正部， １２１ マスク検出部， １２２ マスク検出結果バッファ， １２３ フレーム間マスク検出結果比較部， １２４ 判断部， １２５ 出力部， ２００ 画像処理装置， ２１１ 画像取得部， ２１２ マスク検出補正部， ２１３ ステレオ間マスク検出結果比較部， ２２１ マスク検出部， ２２２ マスク検出結果バッファ， ２２３ フレーム間マスク検出結果比較補正部

Claims (18)

1. 取得された画像からマスクを検出する検出部と、
   前記検出部により検出された前記マスクに変化があったか否かを判断する判断部と、
   前記判断部により前記マスクに変化があったと判断された場合、前記マスクに変化があったと判断されるより前に前記検出部により検出された前記マスクのパラメータを出力する出力部と
   を備える画像処理装置。
2. 前記判断部は、前記検出部により検出されたマスクのパラメータの時間的変化に基づいて、前記マスクに変化があったか否かを判断する
   請求項１に記載の画像処理装置。
3. 前記判断部は、前記検出部により検出された第１のマスクのパラメータと、前記第１のマスクの検出後に前記検出部により検出された第２のマスクのパラメータとの差分が、所定の閾値より小さい場合、前記検出部により検出された前記マスクに変化はないと判断し、
   前記出力部は、前記判断部で前記マスクに変化はないと判断された場合、前記第１のマスクのパラメータと前記第２のマスクのパラメータから算出される第３のマスクのパラメータを出力する
   請求項２に記載の画像処理装置。
4. 前記判断部は、前記検出部により検出された第１のマスクのパラメータと、前記第１のマスクの検出後に前記検出部により検出された第２のマスクのパラメータとの差分が、所定の閾値より大きい場合、前記検出部により検出された前記マスクに変化があったと判断し、
   前記出力部は、前記判断部で前記マスクに変化があったと判断された場合、前記第１のマスクのパラメータを出力する
   請求項２に記載の画像処理装置。
5. 前記出力部は、前記判断部により前記マスクに変化があったと所定の回数判断された場合、前記第１のマスクのパラメータの代わりに前記第２のマスクのパラメータを出力する
   請求項４に記載の画像処理装置。
6. 前記出力部は、前記判断部により前記マスクに変化があったと所定の回数判断された場合、前記第１のマスクのパラメータと前記第２のマスクのパラメータから算出される第３のマスクのパラメータを出力する
   請求項４に記載の画像処理装置。
7. 前記マスク内の画像は、内視鏡により撮影された画像である
   請求項１に記載の画像処理装置。
8. 前記マスクのパラメータの信頼度を表す信頼度パラメータを用いて、前記マスクのパラメータを補正する補正部をさらに備える
   請求項１に記載の画像処理装置。
9. 前記検出部は、取得された２つの画像からそれぞれ第１のマスクと第２のマスクを検出し、
   前記第１のマスクのパラメータと第２のマスクのパラメータに基づいて、前記第１のマスクのパラメータまたは前記第２のマスクのパラメータのうち少なくとも一方を補正するか否かを判断する補正部をさらに備える
   請求項１に記載の画像処理装置。
10. 前記補正部は、前記第１のマスクのパラメータと前記第２のマスクのパラメータとの差分が、所定の範囲外である場合、前記第１のマスクのパラメータまたは前記第２のマスクのパラメータのうち、予め設定されている一方の前記マスクのパラメータを用いて、他方のパラメータを補正する
    請求項９に記載の画像処理装置。
11. 前記補正部は、前記第１のマスクのパラメータと前記第２のマスクのパラメータとの差分が、所定の範囲外である場合、前記第１のマスクのパラメータと前記第２のマスクのパラメータの、それぞれの信頼度を表す信頼度パラメータを用いて補正を行う
    請求項９に記載の画像処理装置。
12. 前記判断部は、前記画像の輝度レベルに基づいて、前記マスクに変化があったか否かを判断する
    請求項１に記載の画像処理装置。
13. 前記判断部は、前記画像の平均輝度レベルが所定の閾値未満になった場合に、前記マスクに変化があったと判断する
    請求項１２に記載の画像処理装置。
14. 前記判断部は、トロッカーに内視鏡が挿入されているか否かに基づいて、前記マスクに変化があったか否かを判断する
    請求項１に記載の画像処理装置。
15. 前記判断部は、トロッカーに内視鏡が挿入されていないと判断した場合に、前記マスクに変化があったと判断する
    請求項１４に記載の画像処理装置。
16. 前記判断部は、外部入力に基づいて、前記マスクに変化があったか否かを判断する
    請求項１に記載の画像処理装置。
17. 前記外部入力は、フットスイッチによる入力である
    請求項１６に記載の画像処理装置。
18. 取得された画像からマスクを検出し、
    前記検出された前記マスクに変化があったか否かを判断し、
    前記マスクに変化があったと判断された場合、前記マスクに変化があったと判断されるより前に検出された前記マスクのパラメータを出力する
    画像処理方法。

Images