JP2005124965A - 画像処理装置、該方法、及び該プログラム - Google Patents

Abstract

【課題】 カプセル型内視鏡で撮影した画像のうち、必要な画像のみを抽出し、参照する画像枚数を極力抑えることができる画像処理装置を提供する。
【解決手段】 カプセル型内視鏡１で撮影した複数の画像を取得し、これらの画像が体内を撮影した前記画像か否かを判定し、体内を撮影した画像と判定された画像を抽出し、さらに、その抽出した画像から実質的に同一か否かを判定し、別画像であると判定された画像を抽出することができる画像処理装置７により、上記課題の解決を図る。
【選択図】 図１

Description

医療用機器、特にカプセル型内視鏡により撮影した膨大な量の画像の画像処理に関する。

近年、内視鏡においては、飲込み型のカプセル型内視鏡が登場している。このカプセル型内視鏡には、撮像機能と無線機能とが設けられている。カプセル型内視鏡は、観察（検査）のために患者の口から飲み込まれた後、人体から自然排出されるまでの観察期間、胃、小腸などの臓器を順次撮像する仕組みである（特許文献１）。

この観察期間、カプセル型内視鏡によって体内で撮像された画像データは、順次無線通信により外部に送信され、メモリに蓄積される。患者がこの無線通信機能とメモリ機能とを備えた受信機を携帯することにより、患者は、カプセル型内視鏡を飲み込んだ後、排出されるまでの観察期間、自由に行動できる。観察後、医者もしくは看護士においては、メモリに蓄積された画像データに基づいて臓器の画像をディスプレイに表示させて診断を行うことができる。

今日、この種のカプセル型内視鏡としては、イスラエルのギブン・イメージング社のＭ２Ａ（登録商標）や日本の株式会社アールエフのＮＯＲＩＫＡ（登録商標）があり、すでに実用化の段階に移行している。
米国特許出願公開第２００２／００９３４８４号明細書

しかしながら、上述したカプセル型内視鏡においては、通常の内視鏡と異なり被験者が飲み込んで自然に排出されるまでの期間、各臓器を撮像させるので、観察（検査）時間がたとえば８時間以上となるように長時間に及ぶ。そして、その間の撮影は、例えば２［フレーム／秒］で行われている。このため、時系列に撮像される画像の枚数は、膨大である。

よって、診察などの段階において、長時間撮像された膨大な画像すべてを確認したり、所望の画像を検索したりするにも多大な時間や労力がかかっていた。
上記の課題に鑑み、本発明では、カプセル型内視鏡で撮影した画像のうち、必要な画像のみを抽出し、参照する画像枚数を極力抑えることができる画像処理装置、該方法、該プログラムを提供する。

上記課題は、特許請求の範囲の請求項１に記載の発明によれば、医療機器により撮影した複数の画像の画像処理を行う画像処理装置において、前記画像が体内を撮影して得た体内画像であるか否かを判定する体内画像判定手段と、前記体内画像判定手段による判定結果に基づいて、前記体内画像を抽出する体内画像抽出手段と、を備えることを特徴とする画像処理装置を提供することによって達成できる。

このように構成することによって、不必要な画像を排除し、必要な画像のみ抽出することができる。
また上記課題は、特許請求の範囲の請求項２に記載の発明によれば、前記体内画像判定手段は、前記画像に含まれる画素値の色成分情報に基づいて、前記体内画像か否かの判定をすることを特徴とする請求項１に記載の画像処理装置を提供することによって達成できる。

このように構成することによって、体内画像特有の色味を有する画像のみを抽出することができる。
また上記課題は、特許請求の範囲の請求項３に記載の発明によれば、前記色成分情報は、ＸＹＺ表色系の色味の要素ｘ，ｙ、ＣＩＥ Ｕ＊Ｖ＊Ｗ＊色空間の色味の要素ｕ，ｖ、ＣＩＥ ＬＵＶ色空間の色味の要素ｕ’，ｖ’、ＣＩＥ ＬＡＢ色空間の色味の要素のａ＊，ｂ＊、及びＲＧＢ信号値からの比、のうち少なくともいずれか１つの色成分で示される情報であることを特徴とする請求項２に記載の画像処理装置を提供することによって達成できる。

このように構成することによって、様々な表色系や色空間の色味を用いることができる。
また上記課題は、特許請求の範囲の請求項４に記載の発明によれば、前記体内画像判定手段は、前記医療機器により撮影した前記複数の画像のうち所定枚数の該画像が前記体内画像であると判定された場合、未判定の前記画像をすべて、前記体内画像であると判定することを特徴とする請求項１に記載の画像処理装置を提供することによって達成できる。

このように構成することによって、処理の高速化を図ることができる。
また上記課題は、特許請求の範囲の請求項５に記載の発明によれば、前記画像処理装置は、さらに、前記体内画像抽出手段により抽出した前記体内画像のうち所定の２つが実質的に同一画像か別画像かを判定する画像同一判定手段と、前記画像同一判定手段による判定結果に基づいて、前記別画像を抽出する別画像抽出手段と、を備えることを特徴とする請求項１に記載の画像処理装置を提供することによって達成できる。

このように構成することによって、不必要な画像を排除し、必要な画像のみ抽出することができる。
また上記課題は、特許請求の範囲の請求項６に記載の発明によれば、前記画像同一判定手段は、連続する２つの前記体内画像の画素値の差分を算出し、該差分に基づいて２つの該画像が実質的に同一画像か別画像かを判定することを特徴とする請求項５に記載の画像処理装置を提供することによって達成できる。

このように構成することによって、連続する２つのフレーム画像が実質的に同一画像か別画像かを判定することができる。
また上記課題は、特許請求の範囲の請求項７に記載の発明によれば、医療機器により撮影した複数の画像の画像処理を行う画像処理装置において、前記画像のうち所定の２つが実質的に同一画像か別画像かを判定する画像同一判定手段と、前記画像同一判定手段による判定結果に基づいて、前記別画像を抽出する別画像抽出手段と、を備えることを特徴とする画像処理装置を提供することによって達成できる。

このように構成することによって、不必要な画像を排除し、必要な画像のみ抽出することができる。
また上記課題は、特許請求の範囲の請求項８に記載の発明によれば、前記医療機器は、カプセル型内視鏡であることを特徴とする請求項１、または７に記載の画像処理装置を提供することによって達成できる。

このように構成することによって、カプセル型内視鏡で撮影された膨大な画像のうち必要な画像のみを効率よく取得することができる。
また上記課題は、特許請求の範囲の請求項９に記載の発明によれば、医療機器により撮影した複数の画像の画像処理をコンピュータに実行させる画像処理プログラムにおいて、前記画像が体内を撮影して得た体内画像であるか否かを判定する体内画像判定処理と、前記体内画像判定処理による判定結果に基づいて、前記体内画像を抽出する体内画像抽出処理と、をコンピュータに実行させる画像処理プログラムを提供することによって達成できる。

このように構成することによって、不必要な画像を排除し、必要な画像のみ抽出することができる。
また上記課題は、特許請求の範囲の請求項１０に記載の発明によれば、前記体内画像判定処理は、前記画像に含まれる画素値の色成分情報に基づいて、前記体内画像か否かの判定処理をコンピュータに実行させる請求項９に記載の画像処理プログラムを提供することによって達成できる。

このように構成することによって、体内画像特有の色味を有する画像のみを抽出することができる。
また上記課題は、特許請求の範囲の請求項１１に記載の発明によれば、前記色成分情報は、ＸＹＺ表色系の色味の要素ｘ，ｙ、ＣＩＥ Ｕ＊Ｖ＊Ｗ＊色空間の色味の要素ｕ，ｖ、ＣＩＥ ＬＵＶ色空間の色味の要素ｕ’，ｖ’、ＣＩＥ ＬＡＢ色空間の色味の要素のａ＊，ｂ＊、及びＲＧＢ信号値からの比、のうち少なくともいずれか１つの色成分で示される情報である請求項１０に記載の画像処理プログラムを提供することによって達成できる。

このように構成することによって、様々な表色系や色空間の色味を用いることができる。
また上記課題は、特許請求の範囲の請求項１２に記載の発明によれば、前記体内画像判定処理は、前記医療機器により撮影した前記複数の画像のうち所定枚数の前記画像が前記体内画像であると判定された場合、未判定の前記画像をすべて、前記体内画像であると判定する処理をコンピュータに実行させる請求項９に記載の画像処理プログラムを提供することによって達成できる。

このように構成することによって、処理の高速化を図ることができる。
また上記課題は、特許請求の範囲の請求項１３に記載の発明によれば、前記画像処理プログラムは、さらに、前記体内画像抽出処理により抽出した前記体内画像のうち所定の２つが実質的に同一画像か別画像かを判定する画像同一判定処理と、前記画像同一判定処理による判定結果に基づいて、前記別画像を抽出する別画像抽出処理と、をコンピュータに実行させる請求項９に記載の画像処理プログラムを提供することによって達成できる。

このように構成することによって、不必要な画像を排除し、必要な画像のみ抽出することができる。
また上記課題は、特許請求の範囲の請求項１４に記載の発明によれば、前記画像同一判定処理は、連続する２つの前記体内画像の画素値の差分を算出し、該差分に基づいて２つの該画像が実質的に同一画像か別画像かの判定処理をコンピュータに実行させる請求項１３に記載の画像処理プログラムを提供することによって達成できる。

このように構成することによって、連続する２つのフレーム画像が実質的に同一画像か別画像かを判定することができる。
また上記課題は、特許請求の範囲の請求項１５に記載の発明によれば、医療機器により撮影した複数の画像の画像処理をコンピュータに実行させる画像処理プログラムにおいて、
前記画像のうち所定の２つが実質的に同一画像か別画像かを判定する画像同一判定処理と、前記画像同一判定処理による判定結果に基づいて、前記別画像を抽出する別画像抽出処理と、をコンピュータに実行させる画像処理プログラムを提供することによって達成できる。

このように構成することによって、不必要な画像を排除し、必要な画像のみ抽出することができる。
また上記課題は、特許請求の範囲の請求項１６に記載の発明によれば、前記医療機器は、カプセル型内視鏡である請求項９、または１５に記載の画像処理プログラムを提供することによって達成できる。

このように構成することによって、カプセル型内視鏡で撮影された膨大な画像のうち必要な画像のみを効率よく取得することができる。
また上記課題は、特許請求の範囲の請求項１７に記載の発明によれば、医療機器により撮影した複数の画像の画像処理を行う画像処理方法において、前記画像が体内を撮影して得た体内画像であるか否かを判定する体内画像判定手順と、前記体内画像判定手順による判定結果に基づいて、前記体内画像を抽出する体内画像抽出手順と、を行うことを特徴とする画像処理方法を提供することによって達成できる。

このように構成することによって、不必要な画像を排除し、必要な画像のみ抽出することができる。
また上記課題は、特許請求の範囲の請求項１８に記載の発明によれば、前記体内画像判定手順は、前記画像に含まれる画素値の色成分情報に基づいて、前記体内画像か否かの判定をすることを特徴とする請求項１７に記載の画像処理方法を提供することによって達成できる。

このように構成することによって、体内画像特有の色味を有する画像のみを抽出することができる。
また上記課題は、特許請求の範囲の請求項１９に記載の発明によれば、前記色成分情報は、ＸＹＺ表色系の色味の要素ｘ，ｙ、ＣＩＥ Ｕ＊Ｖ＊Ｗ＊色空間の色味の要素ｕ，ｖ、ＣＩＥ ＬＵＶ色空間の色味の要素ｕ’，ｖ’、ＣＩＥ ＬＡＢ色空間の色味の要素のａ＊，ｂ＊、及びＲＧＢ信号値からの比、のうち少なくともいずれか１つの色成分で示される情報であることを特徴とする請求項１８に記載の画像処理方法を提供することによって達成できる。

このように構成することによって、様々な表色系や色空間の色味を用いることができる。
また上記課題は、特許請求の範囲の請求項２０に記載の発明によれば、前記体内画像判定手順は、前記医療機器により撮影した前記複数の画像のうち所定枚数の該画像が前記体内画像であると判定された場合、未判定の前記画像をすべて、前記体内画像であると判定することを特徴とする請求項１７に記載の画像処理方法を提供することによって達成できる。

このように構成することによって、処理の高速化を図ることができる。
また上記課題は、特許請求の範囲の請求項２１に記載の発明によれば、前記画像処理方法は、さらに、前記体内画像抽出手順により抽出した前記体内画像のうち所定の２つが実質的に同一画像か別画像かを判定する画像同一判定手順と、前記画像同一判定手順による判定結果に基づいて、前記別画像を抽出する別画像抽出手順と、を行うことを特徴とする請求項１７に記載の画像処理方法を提供することによって達成できる。

このように構成することによって、不必要な画像を排除し、必要な画像のみ抽出することができる。
また上記課題は、特許請求の範囲の請求項２２に記載の発明によれば、前記画像同一判定手順は、連続する２つの前記体内画像の画素値の差分を算出し、該差分に基づいて２つの該画像が実質的に同一画像か別画像かを判定することを特徴とする請求項２１に記載の画像処理方法を提供することによって達成できる。

このように構成することによって、連続する２つのフレーム画像が実質的に同一画像か別画像かを判定することができる。
また上記課題は、特許請求の範囲の請求項２３に記載の発明によれば、医療機器により撮影した複数の画像の画像処理を行う画像処理方法において、前記画像のうち所定の２つが実質的に同一画像か別画像かを判定する画像同一判定手順と、前記画像同一判定手順による判定結果に基づいて、前記別画像を抽出する別画像抽出手順と、を行うことを特徴とする画像処理方法を提供することによって達成できる。

このように構成することによって、不必要な画像を排除し、必要な画像のみ抽出することができる。
また上記課題は、特許請求の範囲の請求項２４に記載の発明によれば、前記医療機器は、カプセル型内視鏡であることを特徴とする請求項１７、または２３に記載の画像処理方法を提供することによって達成できる。

このように構成することによって、カプセル型内視鏡で撮影された膨大な画像のうち必要な画像のみを効率よく取得することができる。

本発明を用いることにより、医師が診察時に見るべき画像の枚数の削減を（非常に高速で）行うことにより、診療の効率化及び診療時間の短縮化を図ることができる。

本実施形態では、膨大な画像データのうち必要なもののみを抽出して表示対象とする画像処理を説明する。ここで、必要な画像および不必要な画像データについて説明する。カプセル型内視鏡による撮影は、通常、飲み込む直前から開始されているので、体外の画像や口内の画像など撮影対象外の画像データが含まれている。

また、カプセル型内視鏡は、消化器系器官の蠕動（ぜんどう）運動によって体内を進行していくので、この蠕動運動が小休止していたり、また体内の様態により（疾患や消化器の門などに起因）カプセル型内視鏡の動きが抑制される場合には、カプセル型内視鏡の進行が一時的に停止する可能性がある。しかし、この場合にも撮影は随時行われているので、その間に撮影される画像は同一、または実質同一なものである。

このように、膨大に撮影される画像データの中のうち、体外の画像データや体内の画像のうち実質的に同一のデータは、特に診察時に確認する必要はない（すなわち不必要な画像）ので、これらの画像以外の必要な画像のみを抽出する。それでは、以下に本実施形態について詳述する。

図１は、本実施形態における体腔内検査で利用されるカプセル型内視鏡及びその周辺機器を示す。図１（Ａ）に示すように、カプセル型内視鏡１を用いた検査システムは、カプセル型内視鏡１を患者２が口から飲み込むことにより体腔内を検査するカプセル型内視鏡１と、この患者２の体外に配置され、カプセル型内視鏡１で撮像した画像データを無線で受信するアンテナユニット４に接続される受信機である外部装置５とからなる。

体腔内検査時には外部装置５に装着されて、カプセル型内視鏡１から送信され外部装置５で受信した画像情報を記録するための、コンパクトフラッシュ（登録商標）メモリ等の可搬型記憶媒体を介して、パーソナルコンピュータ、ワークステーション等の端末装置７（本実施形態では、ワークステーション７を用いる）に前述の画像情報を取り込むようになっている。

または、図１（Ｂ）に示すように、この外部装置５はクレードル６に装着して、若しくは図示しないＵＳＢケーブル等によってワークステーション７に電気的に接続できるようになっている。これにより、この外部装置５に挿入された可搬型記憶媒体に記憶された画像データをワークステーション７へ取り込むことができる。また、可搬型記憶媒体の読取装置をワークステーション７へ接続し、その読み取り装置に可搬型記憶を挿入して、可搬型記憶に記憶された画像データを読み出してワークステーション７へ取り込むようにしてもよい。

上記の画像の取り込みは、キーボード９やマウス１０等の入力・操作デバイスの操作により実行される。ワークステーション７へ取り込まれた画像は、ディスプレイ８に表示したり、プリンタに出力したりすることができる。
図１（Ａ）に示すように、カプセル型内視鏡１を飲み込んで内視鏡検査を行う場合、患者２が着るジャケット３には複数のアンテナ１１が取り付けられたアンテナユニット４が装着されており、カプセル型内視鏡１により撮像された画像データは無線によりアンテナ１１へ送信され、その画像データをアンテナユニット４で受信するようになっている。そして、その画像データは、アンテナユニット４に接続された外部装置５に保存される。この外部装置５は、例えば患者２のベルトに着脱自在のフックにより取り付けられる。

カプセル型内視鏡１は、カプセル形状となって水密構造となっており、その内部に、体内を撮影する撮像部、撮影対象物を照明するための照明部、撮影した画像をアンテナ１１へ送信するための送信部、これらを駆動させるための電池、電源基板部等から構成されている。

カプセル型内視鏡１の起動手段としては、電源供給開始手段としてのＯＮ／ＯＦＦスイッチがカプセル内部に設けられており、このスイッチがＯＮ操作されることによって、撮像部、照明部等への電源供給を開始させ得るものである。このＯＮ／ＯＦＦスイッチは、カプセル型内視鏡１の電源基板部に設けてあるもので、電源基板部に設けた電池（例えば酸化銀電池等）がカプセル型内視鏡１内の各部に電源を供給するのを開始するスイッチである。

カプセル型内視鏡１の外部から（例えばカプセル型内視鏡１を梱包するパッケージに設けられる）磁力を発生する外部磁石がＯＮ／ＯＦＦスイッチをＯＦＦ状態に付勢し、且つカプセル型内視鏡１の内部におけるＯＮ／ＯＦＦスイッチの近傍に設けられてこのＯＮ／ＯＦＦスイッチをＯＮ状態に付勢する内部磁石を設けている。

しかして、カプセル型内視鏡１を外部磁石から遠ざけることによって（すなわち、カプセル型内視鏡１を梱包するパッケージからカプセル型内視鏡１を取り出すことによって）、ＯＦＦ位置にあったＯＮ／ＯＦＦスイッチをＯＮ位置とできるようにしてある。このようにして、カプセル型内視鏡１が起動し、撮影が開始される。

したがって、カプセル型内視鏡１を梱包するパッケージからカプセル型内視鏡１を取り出すことによって撮影は開始するので、カプセル型内視鏡装置１を体内に取り込む前の診断には不要な体外の画像が撮影されている。
図２は、本実施形態におけるカプセル型内視鏡１で撮影した画像データの画像処理を行うワークステーション７の内部構成の概要を示す。ワークステーション７は、各種の処理で利用するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリ２０と、大容量のデータを格納する大容量記憶装置２１と、ワークステーション７全体をあらかじめ用意されたプログラムにしたがって制御するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２と、外部装置５（または、コンパクトフラッシュ（登録商標）メモリ等の可搬型記憶媒体）からの画像データを取り込んだり、キーボード９やマウス１０等の操作部からデータや指示を入力したりする入力Ｉ／Ｆ２３、本実施形態による体内の画像などをディスプレイ８に出力したり、プリンタ等にデータを出力したりするための出力Ｉ／Ｆ２４、及びこれらを接続するバス２５から構成される。

カプセル型内視鏡１により撮影された画像データは、逐一外部装置５に送信され、外部装置５内の可搬型記憶媒体に記憶される。この記憶された画像データは、上述の通り、外部装置５をクレードル６に装着したり、可搬型記憶媒体を読み取り装置にセットしたりすることによってワークステーション７に電気的に接続し、ワークステーション７内の大容量記憶装置２１に格納される。このようにして、カプセル型内視鏡１で撮影した画像は、ワークステーション７に取り込まれる。ワークステーション７に取り込まれた画像データは、本実施形態における画像処理により所定の処理が施され、ディスプレイ８に表示される。

図３は、本実施形態におけるカプセル型内視鏡１で撮影した画像の画像処理の全体フローを示す。まず、ユーザが、マウス１０等の入力デバイスの操作により、ワークステーション７の大容量記憶装置２１に予めインストールしてある本実施形態にかかるプログラムを起動させる。このプログラムの起動指示を受けたＣＰＵ２２は、大容量記憶装置２１よりこのプログラムを読み出し、図３のフローを実行させ、順次、画像の体内・体外判別処理（ステップ１。以下ステップをＳと略する。）、画像の別・同一判別処理（Ｓ２）が実行される。

まず、画像の体内・体外判別処理（Ｓ１）では、カプセル型内視鏡１で撮影されたデータのうち、不要な体外の画像を取り除き、必要な画像である体内の画像のみ取得する処理を行う。次に、画像の別・同一判別処理（Ｓ２）では、体内の画像のうち実質的に同一の画像データを取り除き、異なる画像データを取得する処理を行う。

図４は、図３のＳ１の画像の体内・体外判別処理の詳細な処理フローを示す。同図のフローでは、撮影順に記録媒体に保存された画像データを順に読み込み、ＲＧＢデータからＸＹＺデータに変換し、後述するｘｙ色度値の閾値処理により、画像が体内か体外かを判別する判断処理を行う。

ＲＧＢデータとは、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３原色のＲＧＢ表色系で示される画像データのことをいう。また、ＸＹＺデータとは、ＸＹＺ表色系で画像データを表すことである。ＸＹＺ表色系とは、色刺激値を表示するために国際照明委員会（ＣＩＥ）が定めた基本的な表色体系である。ＸＹＺ表色系では、ＲＧＢ表色系では表現できない鮮やかな色まで表現できる。以下において、ＸＹＺ表色系で表される色を色味と呼ぶ。

それでは、以下に本フローについて説明する。
まず、記録媒体（例えば、コンパクトフラッシュ（登録商標）等）へ保存された後、上記でワークステーション７の大容量記憶装置２１へ格納された画像データの画像枚数をＡ枚とすると、撮影全画像の枚数を示す変数ＴＡにＡを代入する（Ｓ１０）。ただし、大容量記憶装置２１へ格納された画像データのうち、処理したい画像だけを「全画像データＡ枚」としても、もちろん構わない（対象フォルダ内、など）。

次に、カウンタを示す変数ＣｎｔＡ＝１とし、１枚目の画像データを読み込む（Ｓ１１）。次に、「体内」という判別をされた画像が予め決められた所定枚数以上あるか否かを判別する（Ｓ１２）。初めてＳ１２を通過する場合には、「体内」という判別がまだされていないので、Ｎｏ方向へ進む。

Ｓ１２でＮｏ方向へ進んだ場合、画像の色味から判別処理を行う（Ｓ１３）。ここでは、まず、ＲＧＢデータからＸＹＺデータへの変換を行う。ワークステーション７に取り込まれた画像データは、ＲＧＢデータであるので、これをＸＹＺデータへ変換する。この変換は、一般的な手法により行われるので、ここでは割愛する。

そして、このＸＹＺデータからｘｙ色度値を求める。このｘｙ色度値が予め決められた閾値範囲内か否かを判断する。ここで、この閾値範囲は、体内の画像データのｘｙ色度値の一般的な値の分布に基づいて設定される。したがって、算出したｘｙ色度値が閾値範囲内であれば、その画像データは体内を撮影したものであると考えられる。また、算出したｘｙ色度値が閾値範囲外であれば、その画像データは体外を撮影したものであると考えられる。

次に、Ｓ１３で算出したｘｙ色度値が閾値範囲内であれば、その画像が「体内」の画像である旨のメッセージを返す。また、算出したｘｙ色度値が閾値範囲外であれば、その画像が「体外」の画像である旨のメッセージを返す（Ｓ１４）。それから、ＣｎｔＡをインクリメントする（ＣｎｔＡ＝ＣｎｔＡ＋１）。

次に、Ｓ１６で取得した全画像データＡ枚分の処理が終了しているか否かを判断する（Ｓ１６）。つまり、ＴＡ＜ＣｎｔＡの場合、「Ｙｅｓ」方向へ進み、ＴＡ≧ＣｎｔＡの場合、「Ｎｏ」へ進む。ここでは、ＣｎｔＡ＝２なので、「Ｎｏ」へ進み（ＴＡ≠１の場合）、２枚目の画像を読み込んで、Ｓ１１→Ｓ１２→Ｓ１３→Ｓ１４→Ｓ１６の処理を行い、ＣｎｔＡをインクリメントして３枚目以降も同様の処理を実行する。これらの処理を繰り返す。

そうすると、Ｓ１２において、「体内」という判別をされた画像が所定枚数に達すると、「体内」の結果メッセージが返される（Ｓ１５）。したがって、これ以降の画像については、Ｓ１１→Ｓ１２→Ｓ１５→Ｓ１６となり、無条件で「体内」の結果メッセージが返される。この処理は、体外にあるカプセル型内視鏡１を口から飲み込んでしまうと、それ以降に撮影されるのは体内の画像であるということに基づいている。

これにより、「体内」という判別が所定フレーム以上なされた場合には、それ以降の画像は全て「体内」であると判断し、Ｓ１３によるしきい値の判別処理を打ち切るので、処理の高速化を図ることが可能となる。
こうして、全画像データＡ枚分の処理を終了すると、Ｓ１６でＴＡ＜ＣｎｔＡとなるので「Ｙｅｓ」方向へ進み、Ｓ１４またはＳ１５で「体内」の結果メッセージが返された画像の抽出し（Ｓ１７）、本フローは終了する。なお、本実施形態では、全画像の枚数とカウンタを用いていたが、それらを用いずとも「先頭画像ファイルから順に読み込んでいき、次のファイルが見つかればＳ１６で「Ｎｏ」へ、見つからなければ「Ｙｅｓ」へ進む」、としても可能である。また、Ｓ１７で抽出された画像の枚数をＢ枚とする。

なお、本実施形態では、ＸＹＺ表色系（ＣＩＥ １９３１）の色味のファクターｘ、ｙを用いたがこれに限られない。よって、例えば、ＣＩＥ Ｕ＊Ｖ＊Ｗ＊色空間を用いた場合なら、色味のファクターｕ，ｖを色度値として用い、また、ＣＩＥ ＬＵＶ色空間を用いた場合なら、色味のファクターｕ’，ｖ’を色度値として用い、ＣＩＥ ＬＡＢ色空間を用いた場合なら、色味のファクターａ＊，ｂ＊を色度値として用いてもよい。

すなわち、本実施形態では、ｘｙ色度値を用いたが、これに限らず、ｘｙ色度値の代わりに、Ｌ＊ａ＊ｂ＊，Ｌ＊ｕ＊Ｖ＊などの何らかの色相・彩度等、色味に関連するファクターで有れば、判別基準は何でも構わない。
また、取り込んだ画像を、これらの他の表色系または色空間に変換せずに、ＲＧＢ系を用いてもよい。この場合には、ＲＧＢの信号値から、Ｒ／Ｇ，Ｒ／Ｂ 等の（別にＧ／Ｒ， ｂ／Ｒでも良い）値を判断基準の閾値として用いても構わない。

すわなち、Ｓ１３において、画像から得られる何らかの値から色味を判断することができれば、判別処理にあたってＲＧＢや表色系の種類には限定されない。
上記より、本フローにより処理することで、カプセル型内視鏡１で撮影した画像データのうち体内の画像のみを抽出することができる。

図５は、図３のＳ２の画像の別・同一判別処理の詳細な処理フローを示す。同図のフローでは、直前フレームと対象フレームとの画素値の例えば平均値を調べ、平均値の変化量がある閾値以下(または未満)で有れば同一な画像と判断し、そうでなければ別画像と判断する判断処理を行い、別画像と判断された画像を抽出する。それでは、以下に本フローについて説明する。

まず、図４に示したＳ１の画像の体内・体外判別処理で取得した画像枚数Ｂを本フローで用いる全画像の枚数を示す変数ＴＢに代入する。それから、カウンタを示す変数ＣｎｔＢ＝１とし、Ｓ１で抽出した画像データＢ枚のうち１枚目の画像データを読み込む（Ｓ２０）。

次に、Ｓ２０で読み込んだ画像が最初の画像（ＣｎｔＢ＝１の画像）か否かを判断する（Ｓ２１）。すわなち、ＣｎｔＢ＝１の場合、「Ｙｅｓ」方向へ進み、ＣｎｔＢ≧２の場合、「Ｎｏ」方向へ進む。ＣｎｔＢ＝１であるので、「Ｙｅｓ」方向へ進み、その画像が直前の画像とは「別画像」の画像である旨のメッセージ（「別画像」結果メッセージ）を返す（Ｓ２５）。それから、ＣｎｔＢをインクリメントする（ＣｎｔＢ＝ＣｎｔＢ＋１）。

次に、Ｓ１で抽出した画像データＢ枚分の処理が終了しているか否かを判断する。つまり、ＴＢ＜ＣｎｔＢの場合、「Ｙｅｓ」方向へ進み、ＴＢ≧ＣｎｔＢの場合、「Ｎｏ」へ進む。ここでは、ＣｎｔＢ＝２なので、「Ｎｏ」へ進み（ＴＢ≠１の場合）、Ｓ２０で２枚目の画像を読み込んで（Ｓ２０）、Ｓ２１の処理を行う。

Ｓ２１で、ＣｎｔＢ＝２であるので「Ｎｏ」方向へ進み、直前の画像と画素値を比較する（Ｓ２２）。ここでは、例えば、今回の画像の各画素値とそれに対応する直前の画像の各画素値との差分を算出しても良い。また、予めサンプリングするエリアを決めておき、そのエリアでの画素値の差分を求めてもよい。この場合、Ｓ２２での処理は、画像全体で実行したときに比べ、処理の高速化を図ることが可能となる。

また、今回の画像全体の画素値の平均と直前の画像全体の画素値の平均を算出し、その差分を算出してもよい。また、今回の画像に含まれる画素のうち最大（または最小）の画素値と直前の画像に含まれる画素のうち最大（または最小）の画素値を算出し、その差分を算出してもよい。

次に、Ｓ２２での２つの画像の比較の結果、両者の画素値の差（すなわち、Ｓ２２で算出した差分）が予め決められたしきい値以下（または未満）の場合（Ｓ２３）、これらの２つの画像が「同一画像」である旨のメッセージ（「同一画像」結果メッセージ）を返し、ＣｎｔＢをインクリメントする（Ｓ２４）。

また、Ｓ２２での２つの画像の比較の結果、両者の画素値の差がしきい値より大きい（または以上）の場合（Ｓ２３）、これらの２つの画像が「別画像」である旨のメッセージ（「別画像」結果メッセージ）を返し、ＣｎｔＢをインクリメントする（Ｓ２５）。
全画像データＢ枚分の処理が終了すると、Ｓ２６でＴＢ＜ＣｎｔＢを満たすので「Ｙｅｓ」方向へ進み、Ｓ２５で「別画像」と判断された画像が抽出され（Ｓ２７）、本フローは終了する。なお本実施形態では、全画像の枚数を用いていたが、それを用いずとも、「Ｂ枚に属する先頭画像ファイルから順に読み込んで行き、次のファイルが見つかればＳ２６で「Ｎｏ」へ、見つからなければ「Ｙｅｓ」へ進む」、としても可能である。また、Ｓ２７で抽出された「別画像」と判断された画像の枚数をＣ枚とする。

こうして、図３のフローにより処理された画像データＣ枚がディスプレイ８に表示され、医師は診療時において、そのＣ枚を確認すればよい。つまり、本フローを実施することにより、医師は多くともＣ枚（Ｃ＜Ａ）の画像だけを見れば良いので、長時間撮像された膨大な画像Ａ枚すべてを確認したり、所望の画像を検索したりする時間や労力を軽減することができる。なお、この図３の処理を実行後のデータは、実行前のデータとは（大容量記憶装置の）別の領域に格納され、実行前のデータは未加工のまま保全される。

以上より、Ｃ＜Ｂ＜Ａより、ドクターが診療時に見るべき画像の枚数を削減することで、診療の効率化及び短縮化が可能となる。このように、体内の画像のみを抽出し、また実質的に同一画像を取り除くことことができる。これにより医師が診断時に見るべき画像の枚数の削減を（非常に短時間で）行うことにより、診療の効率化及び診断時間の短縮が図れる。

本実施形態における体腔内検査に使用されるカプセル型内視鏡及びその周辺機器を示す図である。 本実施形態におけるカプセル型内視鏡で撮影した画像データの画像処理を行うワークステーション７の内部構成を示す図である。 本実施形態における画像処理の全体のフローを示す図である。 図３に示すＳ１の画像の体内・体外判別処理の詳細な処理フローを示す図である。 図３に示すＳ２の画像の別・同一判別処理の詳細な処理フローを示す図である。

符号の説明

１ カプセル型内視鏡
２ 患者
３ ジャケット
４ アンテナユニット
５ 外部装置
６ クレードル
７ ワークステーション
８ ディスプレイ
９ キーボード
１０ マウス
１１ アンテナ
２０ メモリ（ＲＡＭ，ＲＯＭ）
２１ 大容量記憶装置
２２ ＣＰＵ
２３ 入力Ｉ／Ｆ
２４ 出力Ｉ／Ｆ
２５ バス

Claims (24)

1. 医療機器により撮影した複数の画像の画像処理を行う画像処理装置において、
   前記画像が体内を撮影して得た体内画像であるか否かを判定する体内画像判定手段と、
   前記体内画像判定手段による判定結果に基づいて、前記体内画像を抽出する体内画像抽出手段と、
   を備えることを特徴とする画像処理装置。
2. 前記体内画像判定手段は、前記画像に含まれる画素値の色成分情報に基づいて、前記体内画像か否かの判定をすることを特徴とする請求項１に記載の画像処理装置。
3. 前記色成分情報は、ＸＹＺ表色系の色味の要素ｘ，ｙ、ＣＩＥ Ｕ＊Ｖ＊Ｗ＊色空間の色味の要素ｕ，ｖ、ＣＩＥ ＬＵＶ色空間の色味の要素ｕ’，ｖ’、ＣＩＥ ＬＡＢ色空間の色味の要素のａ＊，ｂ＊、及びＲＧＢ信号値からの比、のうち少なくともいずれか１つの色成分で示される情報であることを特徴とする請求項２に記載の画像処理装置。
4. 前記体内画像判定手段は、前記医療機器により撮影した前記複数の画像のうち所定枚数の該画像が前記体内画像であると判定された場合、未判定の前記画像をすべて、前記体内画像であると判定することを特徴とする請求項１に記載の画像処理装置。
5. 前記画像処理装置は、さらに、
   前記体内画像抽出手段により抽出した前記体内画像のうち所定の２つが実質的に同一画像か別画像かを判定する画像同一判定手段と、
   前記画像同一判定手段による判定結果に基づいて、前記別画像を抽出する別画像抽出手段と、
   を備えることを特徴とする請求項１に記載の画像処理装置。
6. 前記画像同一判定手段は、連続する２つの前記体内画像の画素値の差分を算出し、該差分に基づいて２つの該画像が実質的に同一画像か別画像かを判定することを特徴とする請求項５に記載の画像処理装置。
7. 医療機器により撮影した複数の画像の画像処理を行う画像処理装置において、
   前記画像のうち所定の２つが実質的に同一画像か別画像かを判定する画像同一判定手段と、
   前記画像同一判定手段による判定結果に基づいて、前記別画像を抽出する別画像抽出手段と、
   を備えることを特徴とする画像処理装置。
8. 前記医療機器は、カプセル型内視鏡であることを特徴とする請求項１、または７に記載の画像処理装置。
9. 医療機器により撮影した複数の画像の画像処理をコンピュータに実行させる画像処理プログラムにおいて、
   前記画像が体内を撮影して得た体内画像であるか否かを判定する体内画像判定処理と、
   前記体内画像判定処理による判定結果に基づいて、前記体内画像を抽出する体内画像抽出処理と、
   をコンピュータに実行させる画像処理プログラム。
10. 前記体内画像判定処理は、前記画像に含まれる画素値の色成分情報に基づいて、前記体内画像か否かの判定処理をコンピュータに実行させる請求項９に記載の画像処理プログラム。
11. 前記色成分情報は、ＸＹＺ表色系の色味の要素ｘ，ｙ、ＣＩＥ Ｕ＊Ｖ＊Ｗ＊色空間の色味の要素ｕ，ｖ、ＣＩＥ ＬＵＶ色空間の色味の要素ｕ’，ｖ’、ＣＩＥ ＬＡＢ色空間の色味の要素のａ＊，ｂ＊、及びＲＧＢ信号値からの比、のうち少なくともいずれか１つの色成分で示される情報である請求項１０に記載の画像処理プログラム。
12. 前記体内画像判定処理は、前記医療機器により撮影した前記複数の画像のうち所定枚数の前記画像が前記体内画像であると判定された場合、未判定の前記画像をすべて、前記体内画像であると判定する処理をコンピュータに実行させる請求項９に記載の画像処理プログラム。
13. 前記画像処理プログラムは、さらに、
    前記体内画像抽出処理により抽出した前記体内画像のうち所定の２つが実質的に同一画像か別画像かを判定する画像同一判定処理と、
    前記画像同一判定処理による判定結果に基づいて、前記別画像を抽出する別画像抽出処理と、
    をコンピュータに実行させる請求項９に記載の画像処理プログラム。
14. 前記画像同一判定処理は、連続する２つの前記体内画像の画素値の差分を算出し、該差分に基づいて２つの該画像が実質的に同一画像か別画像かの判定処理
    をコンピュータに実行させる請求項１３に記載の画像処理プログラム。
15. 医療機器により撮影した複数の画像の画像処理をコンピュータに実行させる画像処理プログラムにおいて、
    前記画像のうち所定の２つが実質的に同一画像か別画像かを判定する画像同一判定処理と、
    前記画像同一判定処理による判定結果に基づいて、前記別画像を抽出する別画像抽出処理と、
    をコンピュータに実行させる画像処理プログラム。
16. 前記医療機器は、カプセル型内視鏡である請求項９、または１５に記載の画像処理プログラム。
17. 医療機器により撮影した複数の画像の画像処理を行う画像処理方法において、
    前記画像が体内を撮影して得た体内画像であるか否かを判定する体内画像判定手順と、
    前記体内画像判定手順による判定結果に基づいて、前記体内画像を抽出する体内画像抽出手順と、
    を行うことを特徴とする画像処理方法。
18. 前記体内画像判定手順は、前記画像に含まれる画素値の色成分情報に基づいて、前記体内画像か否かの判定をすることを特徴とする請求項１７に記載の画像処理方法。
19. 前記色成分情報は、ＸＹＺ表色系の色味の要素ｘ，ｙ、ＣＩＥ Ｕ＊Ｖ＊Ｗ＊色空間の色味の要素ｕ，ｖ、ＣＩＥ ＬＵＶ色空間の色味の要素ｕ’，ｖ’、ＣＩＥ ＬＡＢ色空間の色味の要素のａ＊，ｂ＊、及びＲＧＢ信号値からの比、のうち少なくともいずれか１つの色成分で示される情報であることを特徴とする請求項１８に記載の画像処理方法。
20. 前記体内画像判定手順は、前記医療機器により撮影した前記複数の画像のうち所定枚数の該画像が前記体内画像であると判定された場合、未判定の前記画像をすべて、前記体内画像であると判定することを特徴とする請求項１７に記載の画像処理方法。
21. 前記画像処理方法は、さらに、
    前記体内画像抽出手順により抽出した前記体内画像のうち所定の２つが実質的に同一画像か別画像かを判定する画像同一判定手順と、
    前記画像同一判定手順による判定結果に基づいて、前記別画像を抽出する別画像抽出手順と、
    を行うことを特徴とする請求項１７に記載の画像処理方法。
22. 前記画像同一判定手順は、連続する２つの前記体内画像の画素値の差分を算出し、該差分に基づいて２つの該画像が実質的に同一画像か別画像かを判定することを特徴とする請求項２１に記載の画像処理方法。
23. 医療機器により撮影した複数の画像の画像処理を行う画像処理方法において、
    前記画像のうち所定の２つが実質的に同一画像か別画像かを判定する画像同一判定手順と、
    前記画像同一判定手順による判定結果に基づいて、前記別画像を抽出する別画像抽出手順と、
    を行うことを特徴とする画像処理方法。
24. 前記医療機器は、カプセル型内視鏡であることを特徴とする請求項１７、または２３に記載の画像処理方法。
    
    
    
    

Images