JP2009160298A - シーン変化検出装置およびシーン変化検出プログラム - Google Patents

Abstract

【課題】連続する画像列から画像の特徴に従ったシーン変化画像の検出を可能にする。
【解決手段】連続する画像列中の各画像内から特徴領域抽出部２２によって特徴領域を抽出し、検出部２３では、抽出された特徴領域の特徴量に基づいて画像間変化の検出条件を変化させて設定して複数の画像間の変化を検出するようにしたので、単純な画像間変化の検出に加えて抽出した特徴領域の特徴量を利用することで重要度を考慮した画像間変化の検出条件の設定による画像間変化の検出が可能となり、よって、連続する画像列から画像の特徴に従ったシーン変化画像の検出ができるようにした。
【選択図】 図１

Description

本発明は、連続撮影された画像列や動画によるフレーム画像列中のシーンの変化する位置のシーン変化画像を検出するためのシーン変化検出装置およびシーン変化検出プログラムに関するものである。

動画像は膨大な数の連続する画像列からなり、これらの連続する画像列から有用な画像を検出することにより要約画像列を生成することは有用な技術分野となっている。連続して撮影された静止画像列についても同様である。例えば、カプセル型内視鏡で撮影される被検体内画像は、カプセル型内視鏡を口から飲み込んで体外に排出されるまでに約０．５秒毎に撮影され、約６００００枚もの連続する画像列となる。これらの画像は、消化官内を順次撮影しており、ワークステーション等において画像を表示させて観察することにより診断を行うものである。しかし、約６００００枚にも及ぶ大量の画像の全てを順次観察するには１時間以上もの時間がかかり、観察を効率的に行うための手法の提案が望まれている。

従来から、動画像のような連続する画像列中からシーンの変化する位置の画像（シーン変化画像）を検出する種々の方法が提案されている。多量の画像に対する観察を効率的に行うために、このようなシーン変化画像を利用することが考えられる。シーン変化画像を検出する方法として、例えば、隣接する画像間（フレーム間）の特徴変化量を所定の閾値と比較し、閾値を超える場合にシーン変化画像として検出する方法が一般的によく知られている。

さらには、フレーム間変化の閾値を変更するための入力手段を有し、複数の閾値の中から所望のものを設定することにより、生成されるシーン変化画像列の変更を可能とした提案例もある（例えば、特許文献１参照）。

特開２００６−４１７９４号公報

しかしながら、特許文献１に示されるものは、閾値の値は選択設定可能であるが、ユーザは、試行錯誤で閾値の変更設定を繰り返しながら、所望の要約画像列を得ようとすることになる。それでも一定の閾値を用いた処理では、ユーザが検出したい画像の特徴をとらえた、適切なシーン変化画像列を得ることは容易ではなかった。

特に、前述のカプセル型内視鏡で撮影された体腔内画像の場合、医師等のユーザの観察における関心は、画像全体の変化の大きさと一致しないことが多い。画像全体の変化の緩やかな部位であってもシーン変化画像として検出したい場合や、逆に、画像全体の変化の激しい部位であってもシーン変化画像として検出する必要のない場合がある。従来技術では、このような要求に充分に応えることが困難であった。

本発明は、上記に鑑みてなされたものであって、連続する画像列から画像の特徴に従ったシーン変化画像の検出が可能なシーン変化検出装置およびシーン変化検出プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかるシーン変化検出装置は、連続した画像列から、複数の画像間の変化量に基づいてシーン変化画像を検出するシーン変化検出装置であって、前記画像列中の画像から特徴領域を抽出する特徴領域抽出手段と、抽出された前記特徴領域の特徴量に基づいて画像間変化の検出条件を設定して画像間変化量を算出し複数の画像間の変化を検出する検出手段と、を備えることを特徴とする。

また、本発明にかかるシーン変化検出プログラムは、コンピュータに、連続した画像列から、複数の画像間の変化量に基づいてシーン変化画像を検出する手順を実行させるシーン変化検出プログラムであって、前記コンピュータに、前記画像列中の対象となる画像から特徴領域を抽出する特徴領域抽出手順と、抽出された前記特徴領域の特徴量に基づいて画像間変化の検出条件を設定して画像間変化量を算出し複数の画像間の変化を検出する検出手順と、を実行させることを特徴とする。

本発明にかかるシーン変化検出装置およびシーン変化検出プログラムによれば、特徴領域の特徴量を考慮した画像間変化の検出条件による画像間変化の検出が可能となる。よって、連続する画像列から、ユーザが注目する画像の特徴に従ったシーン変化画像の検出を可能にすることができるという効果を奏する。

以下、添付図面を参照して、本発明を実施するための最良の形態であるシーン変化検出装置およびシーン変化検出プログラムについて説明する。なお、各実施の形態により本発明が限定されるものではなく、本発明の趣旨を逸脱しない範囲であれば、種々の変形が可能である。

（実施の形態１）
図１は、本発明の実施の形態１にかかるシーン変化検出装置の構成を示す機能的ブロック図である。図１に示すシーン変化検出装置１は、ＣＰＵ，ＲＯＭ，ＲＡＭ等のハードウエアを備えるコンピュータによって実現されるもので、制御部２と記憶部３と表示部４と入力部５とを備える。

制御部２は、概略的には、演算機能および制御機能を備える。また、記憶部３は、動画像のように時系列的に連続した画像列の画像情報を記憶したものであり、データベース等からなる。表示部４は、ＬＣＤ，ＥＬＤ，ＣＲＴ等からなり、表示画面上に処理結果であるシーン変化画像列（要約画像列）の画像を含む各種情報を表示するためのものである。入力部５は、キーボード、マウス、ポインタ等からなり、画像に対する処理を行うために各種情報の入力操作や指示操作を行うためのものである。

ここで、制御部２は、画像読込部２１と特徴領域抽出部２２と検出部２３とを備える。画像読込部２１は、記憶部３に記憶されている連続した画像列中の画像を読み込むためのものである。特徴領域抽出部２２は、画像読込部２１により順次読み込まれる画像中から、既存の特徴領域抽出技術を用いて、少なくとも一つの特徴領域を抽出することで、結果的に、対象となる画像全域を複数の領域に分割するためのものである。ここで、本実施の形態の特徴領域の抽出は、特徴領域の認識を含む概念である。特徴領域の認識は、対象となる画像全域の領域分割を行うことにより、分割された各領域内の特徴により重要度を設定する等の処理を行い、重要度と関連付ける等の方法で行うことができる。なお、特徴領域は、例えば、画像毎にその画像の特徴を示す部分や所望のオブジェクトを意味するが、画像全体が特徴領域となる場合も含む。

検出部２３は、特徴領域抽出部２２により抽出された特徴領域の特徴量に基づいて画像間変化の検出条件を設定して画像間変化量を算出することで複数の画像間の変化を検出するためのものである。検出部２３は、画像変化検出部２３１と、統合変化量算出部２３２と、シーン変化画像検出部２３３とを備える。

画像変化検出部２３１は、対象となる画像の画像全域の各領域（抽出された特徴領域、この特徴領域を除く領域および比較する画像に対する該特徴領域の移動に伴い発生する比較する画像との間の共通領域やずれ領域を含む）での比較する画像に対する画像間変化量を算出するためのものである。また、統合変化量算出部２３２は、抽出された特徴領域の特徴量に基づいて画像間変化の検出条件が変動するように設定した上で、その画像間変化の検出条件に従い、領域毎に修正された画像間変化量を算出し、算出結果を累積することで、画像全域の画像間変化量として統計値を算出するためのものである。ここで、統合変化量算出部２３２は、対象となる画像の画像全域における各領域の画像間変化に、特徴領域抽出部２２で抽出された特徴領域の特徴量に基づく重み付けを行うように画像間変化の検出条件を設定する。これにより、特徴領域の特徴量に基づいて領域毎の画像変化量を、画像変化を判定するための閾値に対して相対的に変動させることとなる。また、シーン変化画像検出部２３３は、統合変化量算出部２３２で算出された画像間変化量の統計値を、画像変化を判定するための所定の閾値と比較することで、閾値を超える統計値を有する画像をシーン変化画像（要約画像）として検出するためのものである。シーン変化画像検出部２３３は、検出したシーン変化画像（要約画像）によりシーン変化画像列を生成し、表示部４の表示画面における時系列順での表示に供する。

以上の各部を制御部２中に有するシーン変化検出装置１なるコンピュータが備えるＣＰＵは、本実施の形態１にかかるシーン変化検出処理を実行するためのシーン変化検出プログラムをコンピュータ中のＲＯＭからＲＡＭに読み出すことにより、シーン変化検出処理に関する演算処理を実行する。なお、本実施の形態１にかかるシーン変化検出プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ、フラッシュメモリ等のコンピュータが読み取り可能な記録媒体に記録させて広く流通させることも可能である。したがって、本実施の形態１にかかるシーン変化検出装置は、前述した各種記録媒体のいずれかを読み取り可能な補助記憶装置を具備する構成であってもよい。

図２は、本実施の形態１にかかるシーン変化検出処理手順を示す概略フローチャートである。まず、画像読込部２１が、連続する画像列を構成する全画像枚数ｎ、画像サイズ等の情報を記憶部３から取得するとともに、画像を順次読み込む（ステップＳ１０１）。ついで、処理対象となる画像を特定するための枚数に関する変数ｋを最初の１にセットする（ステップＳ１０２）。そして、特徴領域抽出部２２は、ｋ番目の画像（ｋ）を処理対象の画像として、この画像（ｋ）中から特徴領域を抽出する（ステップＳ１０３）。この処理により、画像（ｋ）の画像全域が特徴領域以外の領域部分も有することとなり、少なくとも、複数の領域に分割される。すなわち、抽出された特徴領域以外の領域部分も、検出条件の設定の際には、特徴領域として扱うことが可能であり、画像全域を領域分割し、分割された各領域を特徴領域として扱うという考え方を適用することも可能である。

ついで、画像変化検出部２３１は、対象となる画像（ｋ）の画像全域の各領域（抽出された特徴領域、この特徴領域を除く領域および後述するように比較する画像に対する該特徴領域の移動に伴い発生する比較する画像との間の共通領域やずれ領域を含む）での比較する画像に対する画像間変化量を算出する（ステップＳ１０４）。そして、統合変化量算出部２３２は、抽出された特徴領域の特徴量に基づいて画像間変化の検出条件を設定した上で、その画像間変化の検出条件に従い、領域毎に修正された画像間変化量を算出し、算出結果を累積することで、画像全域の画像間変化量として統計値（統合変化量）を算出する（ステップＳ１０５）。算出された統計値は、該画像（ｋ）の画像変化量として対応付け処理がなされる（ステップＳ１０６）。

このような処理を、変数ｋが全画像枚数ｎに達するまで＋１ずつインクリメントしながら同様に繰り返す（ステップＳ１０７、Ｓ１０８）。全画像についての統計値の算出処理が終了すると、シーン変化検出部２３３は、各画像に対応付けられた統計値と所定の閾値との比較判断により、シーン変化画像を検出し（ステップＳ１０９）、検出されたシーン変化画像からなるシーン変化画像列を表示部４に対して出力する（ステップＳ１１０）。

ここで、図２中のステップＳ１０５，Ｓ１０６の処理に関して、より詳細な処理例を、図３を参照して説明する。ここでは、特徴領域の抽出に基づき各画像が分割される領域の数をｍとし、その変数をｉで示す。まず、変数ｉを１にセットする（ステップＳ２０１）。ついで、統合変化量算出部２３２は、当該画像について抽出された特徴領域の特徴量に基づき、領域（ｉ）の重み係数（ｉ）を設定する（ステップＳ２０２）。すなわち、領域（ｉ）について、この領域（ｉ）の画像間変化に特徴領域の特徴量に基づく重み付けを行うように画像間変化の検出条件の設定を行う。そして、画像変化検出部２３１は、比較する画像に対する領域（ｉ）の画像変化量（ｉ）を算出する（ステップＳ２０３）。さらに、統合変化量算出部２３２は、算出された画像変化量（ｉ）に対して重み係数（ｉ）を乗算することで、領域（ｉ）の重み付き画像変化量（ｉ）を算出し（ステップＳ２０４）、算出された重み付き画像変化量（ｉ）を累積することで統合する（ステップＳ２０５）。このような処理を、変数ｉが全領域数ｍに達するまで＋１ずつインクリメントしながら同様に繰り返す（ステップＳ２０６、Ｓ２０７）。

ついで、図４を参照して、本実施の形態１における対象となる画像の画像全域における領域毎の重み付け処理について説明する。図４は、連続する画像列中の例えば３枚の画像を時系列順に抽出して示す模式的な説明図である。画像Ａ，Ｂ，Ｃは、時系列的にＴ＝ｔ−１，Ｔ＝ｔ，Ｔ＝ｔ＋１なるタイミングで撮影された画像であり、画像Ｂが注目している処理対象画像であるとする。また、各画像Ａ，Ｂ，Ｃについて特徴領域抽出部２２によって抽出されて重要度の高い特徴量を持つ同一の特徴領域をＥａ，Ｅｂ，Ｅｃとする。

まず、画像Ａにおいては、特徴領域Ｅａの抽出に伴い、画像全域は、特徴領域Ｅａとそれ以外の領域Ｅｄとに領域分割されたこととなる。ここで、領域Ｅｄも、一つの特徴領域と考えることができる。ついで、注目している処理対象となる画像Ｂにおいて抽出された特徴領域Ｅｂは、比較する画像Ａ上の特徴領域Ｅａが位置移動したものであり、その元の位置を画像Ｂ上では特徴領域Ｅａ´として示す。このように、比較する画像Ａに対する注目領域の移動に伴い、比較する画像Ａとの間の特徴領域に関する共通領域Ｅａｂやずれ領域Ｅａａ，Ｅｂｂを生ずる。また、領域Ｅｄも特徴領域の移動に伴い、特徴領域Ｅａ，Ｅｂの双方に含まれない領域Ｅｄ´に変化する。本実施の形態では、例えば画像Ｂに関しては、これらの領域Ｅａａ，Ｅａｂ，Ｅｂｂ，Ｅｄ´を画像全域の各領域として扱うものである。

このような特徴領域の移動が生じた場合に、各領域の特徴量として、共通領域Ｅａｂは最も重要度が高いと考える。そこで、共通領域Ｅａｂに対しては画像間変化量に対して重みを高く設定する。そして、特徴領域Ｅａ´から共通領域Ｅａｂを除外したずれ領域Ｅａａや特徴領域Ｅｂから共通領域Ｅａｂを除外したずれ領域Ｅｂｂは、共通領域Ｅａｂの特徴量の重要度よりも低いと考える。そこで、ずれ領域Ｅａａ，Ｅｂｂに対しては、相当するだけの重み係数値を減じた上で、画像間変化量を算出するようにする。さらに、特徴領域の移動前後で特徴領域に含まれない領域Ｅｄ´は、さらに重要度が低いと考える。そこで、領域Ｅｄ´に対しては、一層重み係数値を減じた上で、画像間変化量を算出するようにする。つまり、これらの領域Ｅａｂ，Ｅａａ，Ｅｂｂ，Ｅｄ´毎の重要度に応じて、これらの領域Ｅａｂ，Ｅａａ，Ｅｂｂ，Ｅｄ´毎の画像Ａに対する画像間変化に異なる重み係数を乗算する重み付けを行うように画像間変化の検出条件の設定を行うものである。

そして、各領域Ｅａｂ，Ｅａａ，Ｅｂｂ，Ｅｄ´の重み付けされた画像間変化量を累積して統計値を算出することで、画像全体についての統合的な画像間変化量を算出できるようにしたものである。つまり、画像全域における各領域に関して、それぞれの重要度を考慮した画像間変化量の総合的な値をこの画像Ｂの画像間変化量とする。このようにして算出された画像間変化量は、抽出された特徴領域の特徴量に基づき修正された画像間変化量となる。

時系列的に次の画像Ｃを処理対象とする場合の処理についても同様である。

図３の場合において、元々重要度の低い特徴領域を抽出する場合であれば、上記の重要度の関係を逆に設定してもよい。例えば、共通領域を最も重要度の低い領域として扱う、如くである。

このようにして、統合的な画像間変化量を統計値として求めると、画像全体の単純比較による画像間変化量の場合と変化の様子が異なるものとなる。例えば、図５は、ある５枚の連続する画像Ａ〜Ｅについて、従来のように領域特徴を考慮しない場合の画像間変化と、本実施の形態１のように領域特徴を考慮した場合の画像間変化の違いを示す模式図である。従来の領域特徴を考慮しない場合には、画像全体の単純比較によるものであり、単純な画像間変化量が所定の閾値を超える場合に（例えば、画像Ｂ，Ｄ）、シーン変化画像として検出される。一方、本実施の形態１の場合、同一の画像Ａ〜Ｅの場合であっても、処理対象となる画像について、画像内容を特徴付ける特徴領域を抽出して特徴領域を含む複数の領域に分割し、さらには、比較する画像に対する特徴領域の移動に伴い発生する共通領域やずれ領域を含む画像全域における各領域に対して、特徴領域の特徴量に応じた重要度を重み係数によって持たせて画像間変化の検出条件を設定することで、画像内容に応じて領域毎の画像間変化量を所定の閾値に対して相対的に変動させている。よって、例えば画像Ａ〜Ｃに関しては、単純比較の場合よりも、画像間変化量が増大する側に相対的に変動させており、同じ所定の閾値であっても、この閾値を超えるシーン変化画像として検出されることとなる。一方、例えば画像Ｄ，Ｅに関しては、単純比較の場合よりも、画像間変化量が減少する側に相対的に変動させており、同じ閾値であっても、この閾値を超えず、シーン変化画像としては検出されないこととなる。よって、同じ閾値でシーン変化画像を検出する上で、従来方式と本実施の形態１の場合とで、検出されるシーン変化画像は異なるものとなるが、本実施の形態１の場合には、特徴領域の重要度を重み付けという形で反映して判断を行っているため、対象となる画像の特徴に基づいた適正なシーン変化画像の検出が可能となる。

つまり、本実施の形態１では、シーン変化画像として極力抽出したい画像内容の場合には、実際の画像間変化量が小さくても所定の閾値をクリアできる方向に画像間変化量をシフトさせる一方、シーン変化画像として極力抽出したくない画像内容の場合には、実際の画像間変化量が大きくても所定の閾値をクリアできない方向に画像間変化量をシフトさせるものである。

ここで、画像間変化量を算出する際の特徴としては、従来から、一般的に知られている画像間の相関や、ＳＳＤ（画素の差の二乗和）、ＳＡＤ（画素の差の絶対値和）等を用いることができる。さらには、画像を分割して各分割領域に対して同様な特徴算出処理を行う方法や、規則的、等間隔に選択された点や、さらには、局所的な特徴の大きな特徴点を算出し、その動き量、オプティカルフローを求め、その大きさを画像変化量として用いることも可能であり、特徴量として定義できるような値であれば、本発明における特徴変化量を導出するための値として利用可能である。

本実施の形態１のシーン変化検出処理により処理された連続する画像列は、図６に示すように、検出されたシーン変化画像をカットして、複数のショットに分割されていることにより、実際に表示部４において表示を行う際には、ショットの最初のシーン変化画像（カット１，２，…，ｉ，…，ｎ−１，ｎ）を順次表示していくことになる。この表示において、画像間変化量の小さな画像は表示されないことになる。すなわち、類似度の大きな画像は、表示が省略され、効率的な表示を行わせることができる。この際、本実施の形態によれば、画像間変化量として、上述のように統計値（統合画像変化量）を算出し、その値を画像間変化量として用いているため、従来よりも画像内容を反映した効果的なシーン変化画像の検出が可能となる。

なお、上述の説明では、時系列的に隣接する画像間の特徴変化を算出する例で説明したが、特に隣接する２枚の画像間の処理に限定されるものではなく、２枚以上の画像間の特徴を算出し、これらの組み合わせによる統計的演算を用いた特徴変化量に対応する値を算出し、この値による順序付けに基づいた設定枚数の検出を行わせるようにしてもよい。

また、連続する画像列においては、類似する画像が連続する場合があるので、このような場合には、ある１枚の画像に関して処理を行った結果を、連続する複数の画像に対して適用することも可能である。すなわち、本実施の形態１の場合、画像に関して、特徴領域を抽出して、特徴領域の特徴量に基づき画像間変化の検出条件を設定するものであり、この画像間変化の検出条件を連続する複数の画像に対して同一条件として設定することとなる。これにより、全画像に対して特徴領域の抽出・認識処理を行う必要がなく、処理時間の短縮を図ることができる。

なお、この手法を適用する画像枚数を決定するための手法として、簡易には、予め一定の枚数を決定しておく方法とすればよく、さらには、画像間類似度を所定の閾値との比較により判断して、適応的に決定するようにしてもよい。

さらに、特徴領域の重要度を決定する特徴量としては、特徴領域の階調情報、輝度情報、位置情報、または大きさ情報を利用するようにしてもよい。例えば、特徴領域の重要度を決定する上で、色の階調情報や輝度情報は有用な情報となるので、これらの情報を利用して特定の色や輝度情報を認識した際に、その重要度を設定することにより、精度のよいシーン変化画像の検出が可能となる。

また、特徴領域の特徴量に応じた検出条件を設定する上で、特徴領域の位置に基づいた特徴量をその領域の特徴量とすることも有用である。すなわち、特徴領域が画面（画像）内のどの位置に写っているかということも特徴領域の重要度と関連性があり、例えば、中央付近に写っている場合には重要度を高く設定し、隅に写っている場合には重要度を低く設定する等、位置に関連する重要度を考慮して検出条件の設定を行うことにより、撮影されている画像の構図に関連するようなシーン変化画像を有効に検出することが可能となる。

さらには、特徴領域の大きさという観点からも、重要度の設定を行うことは可能であり、大きさに基づいた重要度の設定を行うことによっても有効なシーン変化画像の検出を行うことができる。

（実施の形態２）
図７を参照して、本発明の実施の形態２について説明する。図７は、図３の処理例に代わる本実施の形態２の処理例を示す概略フローチャートである。実施の形態１では、対象となる画像の領域毎に重み付けされた画像間変化量を算出して累積した統計値を用いて複数の画像間の変化を検出するようにしたが、本実施の形態２では、対象となる画像の領域毎に重み付けされた閾値を用いて閾値と画像間変化との差異を算出して累積した統計値を用いて複数の画像間の変化を検出するようにしたものである。すなわち、実施の形態１では、領域毎に画像変化量を重み付けによって変動させたが、本実施の形態２では、領域毎に閾値を重み付けによって変動させるようにしたものである。

図７においても、特徴領域の抽出に基づき各画像が分割される領域の数をｍとし、その変数をｉで示す。まず、変数ｉを１にセットする（ステップＳ３０１）。ついで、統合変化量算出部２３２は、当該画像について抽出された特徴領域の特徴量に基づき、領域（ｉ）の重み係数（ｉ）を設定し（ステップＳ３０２）、設定された領域（ｉ）の重み係数に従い領域（ｉ）に対する閾値（ｉ）を設定する（ステップＳ３０３）。すなわち、領域（ｉ）について、この領域（ｉ）の画像間変化に特徴領域の特徴量に基づき相対的に重み付けを行うように閾値（ｉ）を重み付けすることで画像間変化の検出条件の設定を行う。この際、予め設定された初期閾値に対して、重み係数が大きいほど検出されやすくするために閾値が小さくなるように設定し、重み係数が小さいほど検出されにくくするため閾値が大きくなるように設定することが適切である。そして、画像変化検出部２３１は、比較する画像に対する領域（ｉ）の画像変化と重み付けされて設定された閾値（ｉ）との差異を比較値として算出する（ステップＳ３０４）。さらに、統合変化量算出部２３２は、算出された閾値（ｉ）との比較値を累積ことで統計値として統合する（ステップＳ３０５）。このような処理を、変数ｉが全領域数ｍに達するまで＋１ずつインクリメントしながら同様に繰り返す（ステップＳ３０６、Ｓ３０７）。

本実施の形態２の場合も、領域毎に閾値を重み付けにより可変設定しているので、算出される統計値は、対象となる画像全域における各領域の重要度分布が考慮された値となっており、画像毎にこのように算出された統計値を用いてシーン変化画像の検出を行ってシーン変化画像列を生成することにより、特徴領域の特徴量が考慮された適切なシーン変化画像列の生成が可能となる。

（実施例）
図８を参照して、本発明のシーン変化検出装置の実施例について説明する。本実施例は、前述の実施の形態１または２にかかるシーン変化検出装置１をカプセル型内視鏡システムに利用したものである。図８は、本実施例のシーン変化検出装置１をワークステーションとして備えるカプセル型内視鏡システムを模式的に示す構成図である。カプセル型内視鏡システムは、被検体Ｈの体腔内に導入され体腔内画像を撮影するカプセル型内視鏡６と、カプセル型内視鏡６から送信される無線信号を受信し、受信した無線信号に含まれる画像情報を蓄積する受信装置７と、受信装置７およびシーン変化検出装置１に着脱自在なメモリカード等の携帯型の記憶部８とを備える。この記憶部８は、図１中に示した記憶部３に相当する。

カプセル型内視鏡６は、被検体Ｈの体腔内画像を撮影する撮像機能と、撮影した体腔内画像を含む無線信号を外部に送信する無線通信機能とを有する。より具体的には、カプセル型内視鏡６は、被検体Ｈの体腔内を進行しながら、例えば０．５秒程度の所定の間隔（２Ｈｚ程度）で被検体Ｈの体腔内画像を撮像し、撮像した体腔内画像を所定の電波によって受信装置７に送信する。

受信装置７には、カプセル型内視鏡６から送信される無線信号を受信する複数の受信アンテナ７ａ〜７ｈが接続されている。受信アンテナ７ａ〜７ｈは、例えばループアンテナであり、カプセル型内視鏡６の通過経路に対応する被検体Ｈの体表位置に分散配置されている。このような受信アンテナは、被検体Ｈに対して少なくとも一つ配置されていればよく、その配置数は、図示例のような８個に限定されるものではない。

受信装置７は、受信アンテナ７ａ〜７ｈのいずれかを介してカプセル型内視鏡６から発信された無線信号を受信し、受信した無線信号をもとに被検体Ｈの体腔内画像の画像情報を取得する。受信装置７が取得した画像情報は、受信装置７に装着された記憶部８に格納される。被検体Ｈの体腔内画像の画像情報を格納した記憶部８は、シーン変化検出装置１に装着され、制御部２におけるシーン変化検出処理に供される。

このようなカプセル型内視鏡システムにおいては、前述の実施の形態１，２で説明したような構成からなるシーン変化検出装置１を用いて、体腔内画像列中の画像中から病変部や出血部を特徴領域として抽出・認識したり、目的とする臓器や粘膜を特徴領域として抽出・認識し、その特徴量に基づいて領域毎の画像間変化の検出条件を変化させて設定することで、目的が達成される。

すなわち、カプセル型内視鏡６が撮像した体腔内画像を扱う際には、病変部、出血部、粘膜、各種弁等は、画像上、重要な特徴領域であり、シーン変化画像列（要約画像列）中に十分な枚数の画像が残されている必要がある。一方、消化管内に浮遊している内容物や、泡、あるいは口に含む前の外界の様子を撮影した画像などは、特徴領域であっても重要度の低いものであり、これらの画像がシーン変化画像列（要約画像列）中に多数残っていると質の悪いシーン変化画像列（要約画像列）となってしまう。このような事情を踏まえ、体腔内画像に関して、上述のような特徴領域の抽出・認識は、画像内の色情報や輝度情報から大まかながら可能である。そこで、重要度の高い特徴領域を含む画像では画像全体についての画像間変化量が相対的に大きくなるように検出条件を設定する一方、重要度の低い特徴領域を含む画像では画像全体についての画像間変化量が相対的に小さくなるように検出条件を設定する。

これにより、カプセル型内視鏡６が撮影した体腔内画像特有の重要性のレベルに応じたシーン変化画像の検出が可能となり、有効な診断支援を行うことが可能となる。

本発明の実施の形態１にかかるシーン変化検出装置の構成を示す機能的ブロック図である。 実施の形態１にかかるシーン変化検出処理手順を示す概略フローチャートである。 図２中のステップＳ１０５，Ｓ１０６の、より詳細な処理例を示す概略フローチャートである。 連続する画像列中の例えば３枚の画像を時系列順に抽出して示す模式的な説明図である。 ある５枚の連続する画像Ａ〜Ｅについて、従来のように領域特徴を考慮しない場合の画像間変化と、実施の形態１のように領域特徴を考慮した場合の画像間変化の違いを示す模式図である。 シーン変化画像が検出された画像列例を示す模式図である。 本発明の実施の形態２の処理例を示す概略フローチャートである。 実施例のシーン変化検出装置をワークステーションとして備えるカプセル型内視鏡システムを模式的に示す構成図である。

符号の説明

２２ 特徴抽出部
２３ 検出部

Claims (10)

1. 連続した画像列から、複数の画像間の変化量に基づいてシーン変化画像を検出するシーン変化検出装置であって、
   前記画像列中の画像から特徴領域を抽出する特徴領域抽出手段と、
   抽出された前記特徴領域の特徴量に基づいて画像間変化の検出条件を設定して画像間変化量を算出し複数の画像間の変化を検出する検出手段と、
   を備えることを特徴とするシーン変化検出装置。
2. 前記検出手段は、抽出された前記特徴領域、該特徴領域を除く領域および比較する画像に対する前記特徴領域の移動に伴い発生する比較する画像との間の共通領域やずれ領域を含む画像全域における各領域での画像間変化量の統計値を用いて複数の画像間の変化を検出することを特徴とする請求項１に記載のシーン変化検出装置。
3. 前記検出手段は、画像全域における前記各領域の画像間変化に前記特徴領域の特徴量に基づく重み付けを行うように画像間変化の検出条件を設定し、領域毎に重み付けされた画像間変化量を算出しその統計値を用いて複数の画像間の変化を検出することを特徴とする請求項２に記載のシーン変化検出装置。
4. 前記検出手段は、抽出された前記特徴領域、該特徴領域を除く領域および比較する画像に対する前記特徴領域の移動に伴い発生する比較する画像との間の共通領域やずれ領域を含む画像全域における各領域での画像間変化と閾値との差異の統計値を用いて複数の画像間の変化を検出することを特徴とする請求項１に記載のシーン変化検出装置。
5. 前記検出手段は、画像全域における前記各領域の閾値に前記特徴領域の特徴量に基づく重み付けを行うように画像間変化の検出条件を設定し、領域毎に重み付けされた閾値と領域毎の画像変化との差異を算出しその統計値を用いて複数の画像間の変化を検出することを特徴とする請求項４に記載のシーン変化検出装置。
6. 前記検出手段は、画像変化の検出条件を、連続した画像列中の連続する複数枚の画像に対して同一条件として設定することを特徴とする請求項１〜５のいずれか一つに記載のシーン変化検出装置。
7. 前記特徴領域の特徴量として、該特徴領域の階調情報、輝度情報、位置情報、または大きさ情報の少なくとも一つを用いることを特徴とする請求項１〜６のいずれか一つに記載のシーン変化検出装置。
8. 連続した画像列は、被検体の体腔内に導入されたカプセル型内視鏡によって撮影された体腔内画像列であることを特徴とする請求項１〜７のいずれか一つに記載のシーン変化検出装置。
9. 前記特徴領域抽出手段により抽出する前記特徴領域は、体腔内画像中に含まれる病変部、出血部、または粘膜の領域を含むことを特徴とする請求項８に記載のシーン変化検出装置。
10. コンピュータに、連続した画像列から、複数の画像間の変化量に基づいてシーン変化画像を検出する手順を実行させるシーン変化検出プログラムであって、
    前記コンピュータに、
    前記画像列中の対象となる画像から特徴領域を抽出する特徴領域抽出手順と、
    抽出された前記特徴領域の特徴量に基づいて画像間変化の検出条件を設定して画像間変化量を算出し複数の画像間の変化を検出する検出手順と、
    を実行させることを特徴とするシーン変化検出プログラム。

Images