JP2004164624A - 低被写界深度画像セグメンテーションの方法及び機器 - Google Patents

Abstract

【課題】低被写界深度画像セグメンテーションの方法及び機器
【解決手段】画像から被写体を抽出するための方法を提供する。この方法は、周波数情報に基づいて画像特徴空間を画定することから始まる。次に、画像特徴空間をフィルタ処理して焦点が合った領域及び焦点がぼけた領域を平滑化し、それと同時に、焦点の合った領域及び焦点がぼけた領域と関連づけられるそれぞれの境界を維持する。フィルタ処理された画像特徴空間を領域併合及び適応型しきい値処理により操作して被写体が抽出される。
【選択図】 図８

Description

本発明は、一般的にデジタル画像技術に関し、より具体的には画像をホモジーニアス領域に区画化するための方法並びに機器に関する。

画像の自動セグメンテーションはコンピュータビジョンで最も難しい問題の一つである。画像セグメンテーションの目的は、画像をホモジーニアス領域に区画化することである。被写界深度（ＤＯＦ）とは、画像において視覚的に「鮮明」に感じられる焦点の最も近い点から最も遠い点までの距離のことである。低ＤＯＦは、２次元の写真内の深度情報を理解し易くするために広く用いられている写真技術である。低ＤＯＦとは、概して、被写体（ＯＯＩ）には焦点がぴったり合っているが、背景にある物体はぼやけてピントがずれた状態になっていることである。図１Ａから１Ｃは、低ＤＯＦ画像を模式的に説明した図である。図１Ａの蝶、つまり、被写体はきちんと焦点が合っているが、背景は焦点がぼけている。図１Ｂのサッカー選手及びサッカーボールは被写体で、どちらもきちんと焦点が合って鮮明であるが、背景はそうではない。同様に、図１Ｃでは、鳥に焦点が合って鮮明だが、他の部分はぼけている。例えば、内容に基づいた検索に対応できる画像のインデックス化、オブジェクトベースの画像圧縮、ビデオオブジェクトの抽出、３Ｄの微視的画像分析、深度推定に対応できる範囲分割など、低ＤＯＦを有する画像のセグメンテーションは数多くのアプリケーションに応用可能である。

焦点がぴったり合った領域が十分な高周波成分を有していると仮定すれば、高周波成分の量を比較することにより、低ＤＯＦ画像の中の焦点の合った領域を識別することは可能なはずである。低ＤＯＦ画像のセグメンテーションには２つのアプローチ、つまり、エッジベースのアプローチと領域ベースのアプローチとがある。エッジベースは、各エッジ画素での焦点ぼけの量を測定して物体の境界を抽出するもので、エッジベースのアルゴリズムを用いれば、人工的な物体と、はっきりした境界エッジを有する物体とをセグメント化できることが十分に実証されている。しかしながら、この方法では、自然物の境界のエッジを検出することができず、境界に不連続性が生じることが多い。

これに対して、領域ベースのセグメンテーションアルゴリズムは、画像における高周波領域の検出に基づいている。この方法では、まず高周波成分を計算して各画素の焦点の度合を測定することから始める。このために、平方反ガウス（squared anti-Gaussian:ＳＳＡＧ）関数の空間的加算、高周波数帯域におけるウェーブレット係数の分散（variance）、高周波ウェーブレット係数のマルチスケール統計的記述、局所分散(local variance)など、幾つかの方法が用いられている。しかし、高周波成分を活用するだけでは、焦点の合った領域とぼけた領域との両方にエラーが生じることが多い。焦点のぼけた領域では、ピントはずれが原因でぼやけているにもかかわらず、高周波数成分がまだ十分に強い、細かすぎるテクスチャ領域が存在することがある。こうした領域は焦点が合った領域として誤って分類されがちである。逆に、ほぼ一定した階調（gray level）を有する焦点の合った領域でもそうしたエラーを生じることがある。つまり、領域ベースのＤＯＦ画像セグメンテーション方式は、ＯＯＩの鮮明な細部だけを頼りにするところにその限界がある。さらに、マルチスケール方式では、高分解能分類に対応できる細分（refinement）アルゴリズムが組み込まれていても、断続的な境界を生じる傾向がある。

図２は、カメラのような典型的な画像取り込み装置の幾何光学（optical geometry）を表わした概略図である。レンズ１００には、よく知られているレンズ方程式により、距離−ｚにある点からの光にだけしか焦点が合わないという欠点がある。

それゆえに、先行技術が抱える問題を解決して、背景から正確且つ効率的に被写体を抽出できるように、低被写界深度と関連づけられる画像をセグメント化するための方法並びに機器を提供することが求められている。

米国再発行特許発明第6,301,385号明細書 米国特許第6,157,733号明細書

大まかに言えば、本発明は、画像データから被写体（ＯＯＩ）をより効果的に抽出するために、画像データを周波数ベースの画像データに変換し、その周波数ベースの画像データを単純化するための方法並びにシステムを提供することでこのようなニーズに応えるものである。本発明は、方法、システム、コンピュータコード、あるいはデバイスなど、いろいろな方法で実現できる。本発明の実施例をいくつか以下に説明する。

一実施例においては、画像データを区画化する方法を提供する。この方法は、周波数情報に基づいて画像の特徴空間を画定することから始まる。次に、その画像特徴空間のデータがモルフォロジカルツールによって単純化される。次に、そのフィルタ処理された画像特徴空間のある領域が初期被写体として割り当てられる。その領域はシート領域と呼ばれ、フィルタ処理された画像特徴空間の領域に割り当てられた最高位の値と関連づけられる。フィルタ処理された画像空間の領域は各々、実質的に一定な周波数レベルと関連づけられる。次に、フィルタ処理された画像特徴空間の初期ＯＯＩの境界が領域併合法（region merging technique）により更新される。次に、初期被写体の大きさを画像データサイズに対して決めるために、適応型しきい値処理が行なわれる。

別の実施例においては、画像セグメンテーションの方法を提供する。この方法は、画像データから高位統計量（ＨＯＳ）マップを生成することから始まる。次に、ＨＯＳマップが単純化される。次に、その修正されたＨＯＳマップの焦点の合った領域と関連づけられる境界が確定される。次に、焦点の合った領域の最終セグメンテーションが適応型しきい値処理により決められる。

また別の実施例では、画像から被写体を抽出するための方法を提供する。この方法は、周波数情報に基づいて画像特徴空間を画定することから始まる。次に、画像特徴空間をフィルタ処理して焦点の合った領域と焦点のぼけた領域を共に平滑化するが、その間、焦点の合った領域及び焦点のぼけた領域とそれぞれ関連づけられる境界を維持する。

さらに別の実施例においては、画像セグメンテーションのプログラム命令を有するコンピュータ可読媒体を提供する。このコンピュータ可読媒体には画像データから高位統計量（ＨＯＳ）マップを生成するプログラム命令が入っている。ＨＯＳマップを修正するためのプログラム命令も入っている。修正されたＨＯＳマップの焦点の合った領域と関連づけられる境界を確定するためのプログラム命令を提供する。焦点の合った領域と関連づけられる値の大きさに基づいて焦点の合った領域の最終セグメンテーションを画像データサイズに対して決めるためのプログラム命令も入っている。

別の実施例においては、画像取り込み装置を提供する。この画像取り込み装置は、被写界深度（ＤＯＦ）内の物体に対して焦点を合わせるように構成されたレンズを備える。画像取り込み装置には画像記録装置が備えられている。この画像記録装置は、レンズを通して受け取った画像情報から、ＤＯＦ内に物体を有するデジタル画像を生成するように構成されている。画像記録装置は、ＤＯＦ内に入っている物体をデジタル画像から抽出するために、デジタル画像の高位統計量（ＨＯＳ）マップを生成する能力を有する。

また別の実施例において、画像探索システムを提供する。この画像探索システムは、被写界深度（ＤＯＦ）内の物体に対して焦点を合わせるように構成されたレンズを有する画像取り込み装置を含む。画像取り込み装置と通信している画像抽出装置を備える。この画像抽出装置はＤＯＦ内に入っている物体を抽出するように構成されている。画像抽出装置と通信している画像内容検索システムを備える。この画像内容検索システムは、ＤＯＦ内に入っている物体に対応するデータを受け取るように構成される。画像内容検索システムはさらに、受け取ったデータのＯＯＩと集めた画像データとの一致を識別するように構成される。

本発明のその他の態様及び効果については、添付の図面と共に考慮すれば、本発明の原理を例をあげて説明している以下に述べる詳細な説明から明確になる。

以下、本発明の実施形態を図面に基づいて説明する。

本発明を、低被写界深度（ＤＯＦ）画像から被写体（ＯＯＩ）を抽出するためのシステム、機器、並びに方法として説明する。しかしながら、以下の説明に照らして、本発明はこれらの具体的な詳細を部分的にあるいは全て知らなくても実施できることは当業者には明らかである。他の場合は、よく知られたプロセス動作については本発明を不要に曖昧にしないために詳細な説明は省く。図１Ａ〜図１Ｃ及び図２については「背景技術」の項に説明がある。また、本明細書で「約」とは基準値の＋／−１０％のことである。

本発明の実施例は、画像において、低被写界深度（ＤＯＦ）と関連づけられるぴったりと焦点が合った被写体（ＯＯＩ）を、その他の前景又は背景の物体から区別するための方法及びシステムを提供する。従って、低ＤＯＦ画像は焦点の合った領域と焦点がぼけた領域とに区画される。画像を区画するのに、色や輝度の情報ではなく、画像データと関連づけられる周波数情報を用いる。輝度や色による画像セグメンテーションが輝度やテクスチャ、色のプロパティを用いて領域を見つけるのとは違って、焦点が合った被写体の自動抽出では、ピントの合図（focus cue）が最も大きな役割を果たす可能性がある。低ＤＯＦ画像は、セグメント化に適した特徴空間に変換される。例えば、この特徴空間への変換は、低ＤＯＦ画像の中の全画素の高位統計量（higher order statistics;ＨＯＳ）を計算してＨＯＳマップを生成することにより実施できる。ＨＯＳマップは次に、以下に述べる「再構築によるモルフォロジカルフィルタ処理」によって単純化、つまり、修正される。被写体の境界が画定され、その境界が領域併合によって更新される。次に、適応型のしきい値処理によって最終の被写体が決められる。従って、様々なアプリケーションにおいて、低ＤＯＦ画像データと関連づけられる被写体の正確な抽出が可能になる。

焦点の合った画像の焦点のぼけをモデル化するために、焦点のぼけによるぼやけの影響を２−Ｄガウス関数で表わすことが多い：

方程式（４）から明らかなように、焦点がぼけた画像は低域フィルタ処理されるため、画像の高周波成分は除去または軽減される。焦点がぴったり合った領域に高周波成分が十分に含まれていると仮定すれば、含まれている高周波の量を比較することで低ＤＯＦ画像から焦点の合った領域を区別することができるはずである。

ここで、Ｒ_ｉはｉ番目の連結領域で、Ｎ_ｏｏｉはＯＯＩに属する領域数である。言い換えれば、ＯＯＩは焦点の合った被写体を表わし、ＰのＮ_ｏｏｉ領域から構成されている。方程式（５）は、当然、複数のＯＯＩの定義を可能にする。すなわち、ＯＯＩは分離されたサブＯＯＩから構成することができる。

セグメンテーションの第１歩は、低ＤＯＦの入力画像Ｉを最適な特徴空間に変換することである。なお、特徴空間の選択は、セグメンテーションアルゴリズムが対象としているアプリケーションによって決まる。例えば、特徴空間はウェーブレット係数の集合を表わすかもしれないし、局所分散画像フィールドを表わすかもしれない。

一例として、特徴空間変換で高位統計量（ＨＯＳ）を適用する。より具体的には、画像の中の全ての画素に対して４次モーメントを算出する。なお、４次モーメントはガウス雑音を抑える能力を有するので、ＯＯＩの抽出の究極的な精度を向上させることができる。(x,y)での４次モーメントは次のように定義される：

図３Ａ〜Ｃは、オリジナル画像と、本発明の一実施例による高位統計量の適用効果を説明する関連画像の特徴空間を表わすものである。図３Ｃは、図３Ａに示された低ＤＯＦ画像から上述した方法で生成されたＨＯＳマップである。それを図３Ｂに示された局所分散マップと比較すると、図３ＣのＨＯＳマップは焦点の合った領域では密度が高く、高い値を発生すると同時に、焦点がぼけた領域ではノイズを抑えていることが分かる。すなわち、被写体１１０ｃは、画像１１０ｂと比べて濃淡のない白のエリアがもっとはっきりしている。

なお、上に説明した特徴空間変換、つまり、ＨＯＳマップの定義へのＨＯＳ算出の適用は、より満足のいく特徴空間の画定し、最終的に画像セグメンテーションの抽出を可能にする。例えば、低ＤＯＦ画像から変換されたＨＯＳマップは０〜２５５の階調を有する。この０〜２５５の中の高い値は焦点の合った領域に対応する可能性が高い。焦点の合った滑らかな領域はＨＯＳ算出ではあまりうまく検出できないため、また焦点のぼけた領域ではノイズを発生させることもあるので、焦点の合った領域及び焦点がぼけた領域のそれぞれで小さく暗いあるいは明るい斑点（patch）を除去するのに適切なＨＯＳマップ修正ツールが必要となる。

同様に、膨張は、

初等侵食及び膨張変換によってモルフォロジカルopening/closing、といったモルフォロジカルフィルタの定義が可能になる。

によって与えられる。

Ｏ_Rに対するＯの双対測地線膨張は、

によって与えられる。

侵食による再構築：

膨張による再構築：

本書で説明したスキームの一実施例として、再構築によるモルフォロジカルopening/closingを単純化ツールとしてＨＯＳマップに適用する。なお、再構築によるモルフォロジカルopening/closingフィルタの一つの強みは、小さな濃色の穴を埋め、小さな明るい孤立したパッチを取り除くが、それと同時に、他の成分やその輪郭を完全に保存することである。言うまでもなく、削除成分のサイズは構築要素のサイズで決まる。

図４Ａ〜４Ｃは、本発明の一実施例による、低ＤＯＦ画像のＨＯＳマップ及び再構築によるモルフォロジカルフィルタのＨＯＳマップへの適用を示す図である。図４Ｄ及び４Ｅについて以下に説明する。図４Ａは、模式的低ＤＯＦ画像である。図４Ｂは、図４Ａの画像データの画素毎にＨＯＳを算出して生成されたＨＯＳマップである。図から分かるように、図４Ｂには被写体内に濃色のパッチがある。被写体は二人のサッカー選手とボール１１４ａとして定義されている。さらに、領域１１６ａにあるような明るいパッチが、焦点のぼけた領域にも明るいパッチとして存在する。図４ＢのＨＯＳマップに「再構築によるモルフォロジカルフィルタ」などを適用して、ＨＯＳマップを単純化することで、焦点がぼけた領域内の小さな濃色のパッチが取り除かれている。すなわち、図４Ｃは単純化されたＨＯＳマップを表わしており、この単純化は上に説明した「再構築によるモルフォロジカルフィルタ」の適用により実現される。例えば、サッカーボール１１４ｃにはサッカーボール１１４ｂに見られる濃色のパッチが入っていない。同様に、図４Ｃを図４Ｂと比較すると、焦点がぼけた領域の中の小さな明るいパッチは除去されている。このように、図４Ｃから明らかなように、このフィルタによって、焦点の合った滑らかな領域は十分にカバーされ、それと同時に、分散された小さな領域は除去される。

画像又は場面を輝度に関してホモジーニアス領域に区画化することに重点をおく典型的なモルフォロジカルセグメンテーション法では、モルフォロジカルフィルタによる単純化に続いてマーカー抽出及びwatershedアルゴリズムを用いてもいい。マーカー抽出のステップは、例えば、単純化のステップで得た一定の階調をもつ大きな領域を識別して、初期領域を選択する。その場合、上に説明したモルフォロジカルフィルタの適用を単純化のステップとしてもいい。マーカー抽出後、大多数の画素はどの領域にも割り当てられない。これらの画素は、主として領域の輪郭の周りに集まっている不安定性領域と対応する。与えられた領域に対するこれらの画素の割り当てを、パーティション又はセグメントを精確に定義する決定プロセスと考えることができる。モルフォロジカル決定ツールの一つがwatershedアルゴリズムで、領域成長法（region growing technique）と同じように画素にラベルを付ける。

画像の区画化に重点をおく従来の輝度ベースのセグメンテーションと違って、低ＤＯＦ画像セグメンテーションのタスクは画像から焦点の合った領域（つまり、ＯＯＩ）を抽出することである。類似した焦点の合った領域はシード領域を用いて併合される。シード領域とは、以下に述べるＯＯＩの確率が高い領域である。

によって与えられる。

仮説検定項にすると、

クラス条件付き確率密度関数を指数分布によってモデル化すると次のようになる：

と、近似及び単純化することができる。
従って、nob_iがＴ_nobよりも大きければ、Ｒ_iはＯＯＩに併合され、ＯＯＩが更新される。このプロセスが、併合が発生しなくなるまで、繰り返される。なお、１／２という値は一つの模式的値で、Ｔ_nobにどんな適切な値でも選択できるので、本発明は値１／２に限定されるものではない。

図５Ａ〜Ｃは、本発明の一実施例による、領域併合法を示す図である。図５Ａで、nob_iはＴ_nobよりも大きいのでＲ_i１２２はＯＯＩ₀の中に併合するが、nob_kはＴ_nobに満たないのでＲ_k１２６は併合しない。言い換えれば、Ｒ_i１２２とＯＯＩ₀１２０ａとが共有している境界はＲ_i１２２の境界全体の１／２よりも大きいので、Ｒ_i１２２がＯＯＩ₀１２０ａの中に併合され、図５ＢのＯＯＩ₁１２０ｂを画定することになる。Ｒ_k１２６とＯＯＩ₀１２０ａとの共有境界は１／２に満たないので、Ｒ_k１２６はＯＯＩ₀１２０ａの中に併合されない。上に述べたように、Ｔ_nobは、０と１を含め、適切なら０と１の間のどんな値でも構わない。図５Ｂに示すように、その次の反復において、nob_j＞Ｔ_nobだから、Ｒ_j１２４ａがＯＯＩ₁１２０ｂの中に併合し、図５ＣのＯＯＩ₂１２０ｃになる。本発明の一実施例においては、このプロセスを速めるために、非常に小さな領域を最も近い値を有する隣接領域に前もって併合することができる。例えば、初期ステップとしてＲ_j１２４ａを領域Ｒ_i１２２の中に併合してもいい。図４Ｄは、領域併合が図４Ｃの単純化されたＨＯＳマップに適用された結果を示している。例えば、図４Ｃの領域１１２ｃは、上に説明した領域併合法を用いて図４ＤのＯＯＩ１１８の中に併合される。

焦点の合った領域（つまり、ＯＯＩ）と関連づけられるサイズの最終決定は、適応型しきい値処理により行なわれる。適応型しきい値処理の決定は、画像の中でＯＯＩが占める部分は法外でないという前提に基づいている。Ｔ_A＝２５５から始めて、ＯＯＩの大きさが画像サイズの約２０％を超えるまで、しきい値を下げていく。例えば、図５Ｃの場合、ＯＯＩ₂１２０ｃの大きさが画像サイズの約２０％を超えるから、Ｒ_k１２６はＯＯＩとは決定されない可能性がある。但し、ＯＯＩ₂１２０ｃの大きさは画像の約２０％に満たないから、Ｒ_k１２６をＯＯＩの一部分とみなすことができる。なお、本発明は適応型しきい値処理の画像サイズの２０％という値に限定されるものではなく、画像サイズに対するＯＯＩの大きさは適切ならばどんな値にしても構わない。図４Ｅについて言えば、図４Ｅの画像を生じるために、適応型しきい値処理法を図４Ｄに適用してもいい。

本書で説明している実施例は、ＪＰＥＧ圧縮されたＣＯＲＥＬ^TMＣＤ−ＲＯＭ画像コレクションから選んだ低ＤＯＦ画像で実行及びテストした。このテストでは、カラー画像を先ず階調画像（gray level image）に変換する。このテストで用いたテスト画像の中にホモジーニアスな焦点ぼけ領域を有しているものはなかった。上に定義した方程式６ではηに対して３×３近傍のサイズを用いた。テスト時、しきい値Ｔ_Lを２０に設定した。当業者であれば、最も重要なパラメータの一つはモルフォロジカルフィルタの構造要素（ＳＥ）のサイズであることが分かるだろう。サイズは、図４Ａに示した画像を除き、全ての実験で３１×３１に設定された。図４Ａに示したサッカーボール１１４ａはサイズ的に小さすぎるので、ＳＥを３１×３１にするとボールがフィルタで除去される。主観的に見て結果がよくなるように、図４Ａでだけ２１×２１のＳＥを採用した。

図６−１及び６−４は、本書で説明している実施例のセグメンテーション技法と関連づけられるステップ各々の実験結果を４組提供している。各組の最初の画像は低ＤＯＦ画像である。各組の２番目の画像はそれぞれの低ＤＯＦ画像から生成されたＨＯＳマップである。３番目の画像は単純化されたＨＯＳマップで、各ＨＯＳマップにはそれぞれ再構築によるモルフォロジカルフィルタが用いられている。４番目の画像は、単純化されたそれぞれのＨＯＳマップに領域併合が適用された画像である。５番目の画像は、各組の４番目の画像に適応型しきい値処理が用いられた画像である。従って、５番目の画像は、本書で説明している実施例の適用から生まれた抽出ＯＯＩである。

図７−１から７−４は、セグメンテーション技法の結果を本書で説明している実施例を適用した結果と比較した４組の画像である。各組の最初の画像は低ＤＯＦ画像である。２番目の画像は、高周波ウェーブレット及びその係数に基づくマルチスケール方式で得られた結果を示している。３番目の画像は、マルコフ確率場（ＭＲＦ）モデルに基づくセグメンテーションを有する局所分散を用いて得られた結果を示したものである。４番目の画像は、本書で説明しているスキームを用いて得られた結果を示す。これらの図から実証されるように、２番目の画像シリーズから得られる結果は、高分解能分類に対応できる細分アルゴリズムが組み込まれているにもかかわらず、初期の分類がブロック分類であることが原因で、ブロック状になっている。各組の３番目の画像に用いられたアルゴリズムは、ＭＲＦモデルに平滑化の制約条件が採用されているために、隣接する非ＯＯＩ領域が連結されがちになる。各組の４番目の画像に示した提案しているスキームでは、低ＤＯＦを有する様々な画像と比べてもっと正確な結果が得られている。比較のために、各組の５番目の画像は、人がマニュアルセグメンテーションによって生成した基準である。

提案しているアルゴリズムのセグメンテーション性能を客観的判定基準を用いて評価することもできる。ビデオオブジェクトセグメンテーションアルゴリズムの性能を評価するために提案された画素ベースの品質測度を用いて客観的判定基準を提供することができる。基準ＯＯＩに基づく推定ＯＯＩの空間的歪みは、

図８は、本発明の１実施例による、画像から被写体を抽出するための方法のフローチャートである。この方法は、オペレーション１４０から始まる。ここで、画像特徴空間が定義される。画像特徴空間は、画像特徴空間と関連づけられる画像の各画素に高位ＨＯＳが適用されることに関して上に説明したように、周波数情報に基づく。この手続きは次にオペレーション１４２に進み、画像がフィルタ処理される。本発明の一実施例では、画像空間をフィルタ処理するのに再構築によるモルフォロジカルフィルタを用いる。上に説明したように、モルフォロジカルフィルタが画像空間を単純化する。すなわち、焦点の合った領域か又は焦点がぼけた領域かどちらかと関連づけられる隙間（holes）や孤立状態にあるパッチは、図４Ａ〜４Ｅに関して説明したモルフォロジカルフィルタによって除去される。一例として、ホモジーニアス領域の内側を識別して初期ＯＯＩが生成される。単純化されたＨＯＳマップの中の最高値を有する面積を初期ＯＯＩのシード領域とすることができる。一例として、値はホモジーニアス領域の周波数レベルに基づいている。

図９は、本発明の一実施例における、低被写界深度画像と関連づけられる被写体を抽出するように構成された回路を有する画像取り込み装置の概略図である。画像取り込み装置１５０は被写体に対して焦点を合わせる能力を有するレンズ１５２を備える。被写体及び関連する背景情報が変換ブロック１６４でデジタル画像に変換される。デジタルデータは次に、被写体を抽出するために操作される。ここで、特定用途向けＩＣなど、マイクロプロセッサ１５３は、本書で説明しているように被写体の抽出を実行するように構成される。

図９のマイクロプロセッサ１５３は画像抽出回路１５４を備える。画像抽出回路１５４は、上に説明したＨＯＳマップを生成するように構成された画像特徴変換回路１５６からなる。フィルタ処理回路１５８は、被写界深度内の物体と関連づけられる境界を確定するように構成される。併合回路１６０は、ＨＯＳマップと関連づけられる周波数情報を分析してＨＯＳマップの関連するホモジーニアス領域を結合するように構成される。併合回路１６０は、適応型しきい値処理に関して先に説明した機能を実行する能力を有する回路も備える。抽出された被写体を保持できるようにストレージメディア１６２を備える。特徴抽出関数及びクラスタリング／メタ・データ生成関数を実行するコードを半導体チップにハードコード化できることは言うまでもない。当業者であれば、先に説明した機能を提供するように構成された論理ゲートを画像抽出回路１５４に備えることができることが分かる。例えば、ファームウェア及び本書で説明した必要な機能を提供する論理ゲートのレイアウトを合成するには、ハードウェア記述言語（ＨＤＬ）を用いることができる。

画像取り込み装置１５０は、例えば、顕微鏡、望遠鏡、カメラ、ビデオカメラなど、どんな画像取り込み装置であっても構わない。なお、画像抽出回路１５４は、画像取り込み装置１５０の一部となっていても又はプラグインボードとして構成されていても構わない。同様に、ストレージ１６２は画像取り込み装置１５０に内蔵されていても又は別になっていても構わない。従って、顕微鏡画像や、望遠鏡画像、又はどんな低ＤＯＦ画像でも、被写体を抽出できるように、操作することができる。さらに、画像取り込み装置は、本書で説明している被写体を抽出する能力を有する汎用コンピュータと通信することができる。

図１０は、本発明の一実施例による画像探索システムの概略図である。画像取り込み装置１５０は、レンズ１５２を通してデジタル画像データをブロック１６４に取り込むように構成される。取り込まれたデジタル画像データは、低被写界深度の被写体を抽出するように構成された画像抽出装置１６６で処理される。なお、本発明の一実施例において、画像抽出装置１６６は汎用コンピュータで構わない。すなわち、画像抽出装置１６６は、本書で説明した抽出スキーム通りに被写体の抽出を実行する。画像抽出装置１６６は、内容検索システム１６８と通信している。内容検索システム１６８はネットワーク１７０と通信している。従って、抽出された被写体に基づいて画像探索を分散型ネットワークで実行することができる。

要約すれば、本書で説明している実施例は、低ＤＯＦ画像における画素をその高位統計量に基づいて２つの領域に分ける方法及びシステムを提供するものである。低ＤＯＦ画像は適切な特徴空間に変換される。それを本書ではＨＯＳマップと呼んだ。ＨＯＳマップを単純化するのに「再構築によるモルフォロジカルフィルタ」を用いた。モルフォロジカルフィルタを適用した後、領域併合法を用いた。その後、被写体と関連づけられるサイズの最終決定ができるように、適応型しきい値処理を用いる。

なお、単純化に強力なモルフォロジカルツールを採用すると、境界に高周波成分（つまり、エッジ）が入っている限り、提案したスキームは焦点の合った滑らかな領域に対して均等に働く。但し、焦点の合った滑らかな領域が大きすぎると、本書で説明した実施例は効果が低下する可能性がある。アルゴリズムが何らかの意味論や人間の知識を組み込めるように構成されていれば、この問題を解決することができる。任意のビデオシーケンスからビデオオブジェクトを抽出することは未だに非常に難しい問題だから、当業者であれば、提案しているアルゴリズムは低ＤＯＦ写真技術と共にビデオオブジェクトセグメンテーションに展開できることが分かる。さらに、本書で説明している実施例は、例えば、顕微鏡検査法や写真術など、適切ならば被写体を抽出するのが好ましいどんな低被写界深度の画像にも応用することができる。

上述の実施例を考えれば、本発明は、コンピュータシステムに保持されているデータを必要とする多種多様なコンピュータで実施されるオペレーションを採用できることが分かる。これらのオペレーションには、物理的数量の物理的操作を要するオペレーションがある。必ずしもそうとは限らないが、普通、こうした数量は保持や、転送、結合、比較、或いはその他の操作が可能な電気信号又は磁気信号の形になっている。さらに、実行される操作は、生成や、識別、確定、或いは比較といった用語で表現される。

上に説明した発明を、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースの又はプログラム可能なコンシューマエレクトロニクス、ミニコンピュータ、メインフレームコンピュータなど、他のコンピュータシステム構成を用いて実施することができる。本発明を、通信ネットワークを介してリンクされた遠隔処理装置でタスクが処理される分散型コンピューティング環境において実施することもできる。

本発明を、コンピュータ可読媒体に記録されたコンピュータ可読コードとして実施することもできる。コンピュータ可読媒体は、後からコンピュータシステムで読み取れるデータを保持できるならどんなデータストレージ装置でも構わない。コンピュータコードが実装された電磁搬送波もコンピュータ可読媒体の一つである。コンピュータ可読媒体の例としては、ハードドライブ、ナス（ＮＡＳ）、読み取り専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープや、その他の光学的及び非光学的データストレージ装置などがある。コンピュータ可読コードが分散して保持及び実行されるように、コンピュータ可読媒体をネットワーク接続コンピュータシステムで分散することもできる。

はっきり理解できるように上記の発明を或る程度詳細に説明してきたが、添付の特許請求の範囲内で一定の変更や修正を実施できることは明らかである。従って、本書の実施例は説明のためでそれにより限定されるものではない。また、本発明は本書に記載された詳細に限定されるものではなく、特許請求の範囲及びそれと同等の範囲内において修正可能である。特許請求の範囲において、はっきりと明記されていない限り、要素及び／又はステップはオペレーションの特定の順序を暗に示すものではない。

低ＤＯＦ画像の模式的図。 カメラなど一般的画像取り込み装置の幾何光学的に示した図。 オリジナル画像と本発明による高位統計量の適用の効果を示す関連画像特徴空間を表わす図。 本発明による、低ＤＯＦ画像（４Ａ）のＨＯＳマップ（４Ｂ）、再構築によるモルフォロジカルフィルタのＨＯＳマップへの適用（４Ｃ）、領域併合を適用した結果（４Ｄ）、適応型しきい値処理を適用した結果（４Ｅ）を示す図。 本発明による、領域併合法を説明した図。 本発明のセグメンテーション技法と関連づけられるステップの４組の実験結果。 既存のセグメンテーション技法と本発明の適用結果を比較した画像。 画像から被写体を抽出する方法のフローチャート。 低被写界深度画像と関連づけられる被写体を抽出する回路を有する画像取り込み装置の概略図。 画像探索システムの概略図。

符号の説明

１００、１５２ レンズ
１６２ ストレージ
１６６ 画像抽出装置
１６８ 内容検索システム
１７０ ネットワーク

Claims (36)

1. 画像データを区画化する方法であって、
   周波数情報に基づいて画像特徴空間を画定し、
   その画像特徴空間の画像データをモルフォロジカルツールを用いてフィルタ処理し、
   そのフィルタ処理された画像特徴空間の領域を初期被写体として割り当て、
   そのフィルタ処理された画像特徴空間の初期被写体の境界を識別し、
   画像データサイズに対して初期被写体のサイズを確定する、
   ことからなることを特徴とする方法。
2. 前記フィルタ処理された画像特徴空間の初期被写体の境界を識別するオペレーションは、
   前記初期被写体とその初期被写体との境界をなす領域とが共有している境界画素を示す値を表わす正規化されたオーバラップ境界を算出し、
   その値がしきい値を超えていれば、この方法では、
   前記初期被写体との境界をなす領域を初期被写体の中に併合することを特徴とする請求項１に記載の方法。
3. 前記周波数情報に基づいて画像特徴空間を画定するオペレーションでは、
   前記画像特徴空間と関連づけられる各画素値の高位統計量（ＨＯＳ）を計算することを特徴とする請求項１に記載の方法。
4. 前記ＨＯＳは各画素値と関連づけられる４次モーメントを算出することを特徴とする請求項３に記載の方法。
5. 前記画像特徴空間の画像データをモルフォロジカルツールを用いてフィルタ処理するオペレーションでは、
   前記被写体の境界を保存するようにモルフォロジカルツールを画像特徴空間の画像データに適用することを特徴とする請求項１に記載の方法。
6. 前記画像特徴空間の画像データをモルフォロジカルツールを用いてフィルタ処理するオペレーションでは、
   前記画像特徴空間の焦点が合った領域と関連づけられる濃色パッチを除去し、
   前記画像特徴空間の焦点がぼけた領域と関連づけられる明るいパッチを除去する、
   ことを特徴とする請求項１に記載の方法。
7. 前記フィルタ処理された画像特徴空間の領域を初期被写体として割り当てるオペレーションでは、
   実質的に一定な周波数レベルと関連づけられる画像特徴空間の領域を識別し、
   その実質的に一定な周波数レベルに基づいて識別された領域の各々に値を割り当て、ここでは初期被写体と関連づけられるフィルタ処理された画像空間の領域に最高値が割り当てられることを特徴とする請求項１に記載の方法。
8. 画像セグメンテーションの方法であって、
   画像データから高位統計量（ＨＯＳ）マップを生成し、
   そのＨＯＳマップを修正し、
   その修正されたＨＯＳマップの焦点の合った領域と関連づけられる境界を確定し、
   画像データサイズに対して、焦点の合った領域と関連づけられる値の大きさに基づいて焦点の合った領域の最終セグメンテーションを確定する、
   ことからなることを特徴とする方法。
9. 前記画像データから高位統計量（ＨＯＰ）マップを生成するオペレーションでは、
   各画素と関連づけられる値をスケーリングし、
   各画素と関連づけられる値の最大値を限定することを特徴とする請求項８に記載の方法。
10. 前記修正されたＨＯＳマップの焦点の合った領域と関連づけられる境界を確定するオペレーションでは、
    前記焦点の合った領域と前記境界をなす領域とで共有している境界量を示す値を確定し、
    その値がしきい値よりも大きければ、この方法では、
    前記焦点の合った領域と前記境界をなす領域とを併合することを特徴とする請求項８に記載の方法。
11. 前記画像データサイズに対する焦点の合った領域と関連づけられる値の大きさに基づいて焦点の合った領域の最終セグメンテーションを確定するオペレーションでは、
    前記焦点の合った領域と関連づけられる値の大きさが画像データサイズに対して約２０％よりも大きくなるまで、しきい値を減少することを特徴とする請求項８に記載の方法。
12. 前記焦点の合った領域とは被写体であることを特徴とする請求項８に記載の方法。
13. 前記ＨＯＳマップを修正するオペレーションでは、
    侵食による再構築を前記ＨＰＳマップと関連づけられる画素値に適用し、
    膨張による再構築を前記画素値に適用し、前記膨張による再構築の適用では、
    前記ＨＯＳマップと関連づけられる構成要素の輪郭を回復することを特徴とする請求項８に記載の方法。
14. 前記画像データサイズに対して焦点の合った領域と関連づけられる値の大きさに基づいて焦点の合った領域の最終セグメンテーションを確定するオペレーションでは、
    しきい値を定義し、
    そのしきい値で前記焦点の合った領域と関連づけられる値の大きさを確定し、
    前記焦点の合った領域と関連づけられる値の大きさが前記画像データサイズの約２０％を超えるまで前記しきい値を減少することを特徴とする請求項８に記載の方法。
15. 前記修正されたＨＯＳマップのホモジーニアス領域の内側を識別し、
    そのホモジーニアス領域にマーカーを割り当てることからさらになることを特徴とする請求項８に記載の方法。
16. 画像から被写体を抽出するための方法であって、
    周波数情報に基づいて画像特徴空間を画定し、
    その画像特徴空間をフィルタ処理して焦点の合った領域並びに焦点がぼけた領域を平滑化し、それと同時に前記焦点が合った領域及び前記焦点がぼけた領域と関連づけられるそれぞれの境界を維持する、
    ことからなることを特徴とする方法。
17. 同じような焦点の合った領域を併合して被写体（ＯＯＩ）を画定し、
    その被写体のサイズを前記画像特徴空間に対して確定することからさらになることを特徴とする請求項１６に記載の方法。
18. 前記周波数情報に基づいて画像特徴空間を画定するオペレーションでは、
    前記画像の各画素値の高位統計量（ＨＯＳ）を算出し、
    その算出されたＨＯＳからＨＯＳマップを定義することを特徴とする請求項１６に記載の方法。
19. 前記画像特徴空間をフィルタ処理して焦点の合った領域並びに焦点がぼけた領域を平滑化すると同時に前記焦点が合った領域及び前記焦点がぼけた領域と関連づけられるそれぞれの境界を維持するオペレーションでは、
    再構築によるモルフォロジカルフィルタを前記画像特徴空間に適用することを特徴とする請求項１６に記載の方法。
20. 画像セグメンテーションのためのプログラム命令を有するコンピュータ可読媒体であって、
    画像データから高位統計量（ＨＯＳ）マップを生成するためのプログラム命令と、
    そのＨＯＳマップを修正するためのプログラム命令と、
    その修正されたＨＯＳマップの焦点の合った領域と関連づけられる境界を確定するためのプログラム命令と、
    その焦点の合った領域と関連づけられる値の大きさに基づいて前記焦点の合った領域の最終セグメンテーションを画像データサイズに対して確定するためのプログラム命令と、
    を有することを特徴とするコンピュータ可読媒体。
21. 前記画像データから高位統計量（ＨＯＳ）マップを生成するためのプログラム命令には、
    各画素と関連づけられる値をスケーリングするためのプログラム命令と、
    前記各画素と関連づけられる値の最大値を限定するためのプログラム命令と、
    があることを特徴とする請求項２０に記載のコンピュータ可読媒体。
22. 前記修正されたＨＯＳマップの焦点の合った領域と関連づけられる境界を確定するための命令プログラムは、
    前記焦点の合った領域及び前記境界をなす領域間で共有している境界の量を示す値を確定するためのプログラム命令と、
    前記値がしきい値よりも大きければ、前記焦点の合った領域及び前記境界をなす領域を併合するためのプログラム命令とを有することを特徴とする請求項２０に記載のコンピュータ可読媒体。
23. 前記焦点の合った領域と関連づけられる値の大きさに基づいて前記焦点の合った領域の最終セグメンテーションを画像データサイズに対して確定するためのプログラム命令は、
    前記画像データサイズに対する焦点の合った領域と関連づけれる値の大きさが２０％より大きくなるまでしきい値を減少するためのプログラム命令を有することを特徴とする請求項２０に記載のコンピュータ可読媒体。
24. 前記ＨＯＳマップを修正するためのプログラム命令は、
    侵食による再構築を前記ＨＯＳマップと関連づけられる画素値に適用するためのプログラム命令と、
    その画素値に膨張による再構築を適用するためのプログラム命令とを有し、前記膨張による再構築を適用するためのプログラム命令は、
    前記ＨＯＳマップと関連づけられる構成要素の輪郭を回復するためのプログラム命令を有することを特徴とする請求項２０に記載のコンピュータ可読媒体。
25. 前記修正されたＨＯＳマップのホモジーニアス領域の内側を識別するための命令プログラムと、
    そのホモジーニアス領域にマーカーを割り当てるためのプログラム命令と、
    をさらに有することを特徴とする請求項２０に記載のコンピュータ可読媒体。
26. 画像取り込み装置であって、
    被写界深度（ＤＯＦ）内の物体に対して焦点を合わせるように構成されたレンズと、
    そのレンズを通して受け取られた画像情報から前記ＤＯＦ内の物体を含むデジタル画像を生成するように構成された画像記録装置とを備え、この画像記録装置は、前記デジタル画像から前記ＤＯＦ内にある前記物体を抽出するために、前記デジタル画像の高位統計量（ＨＯＳ）マップを生成する能力があることを特徴とする画像取り込み装置。
27. 前記画像記録装置には、前記ＤＯＦ内の物体と関連づけられる境界を確定するように構成されたフィルタ処理回路があることを特徴とする請求項２６に記載の画像取り込み装置。
28. 前記ＨＯＳマップは、前記デジタル画像と関連づけられる周波数情報に基づいて特徴空間を画定することを特徴とする請求項２６に記載の画像取り込み装置。
29. 前記画像記録装置には、前記ＨＯＳマップを生成するように構成された特徴変換回路と、前記周波数情報を分析して前記ＨＯＳマップの関連するホモジーニアス領域を結合するように構成された併合回路とを有することを特徴とする請求項２６に記載の画像取り込み装置。
30. 前記画像取り込み装置は、顕微鏡と、望遠鏡、カメラ、及びビデオカメラからなるグループから選択されることを特徴とする請求項２６に記載の画像取り込み装置。
31. 画像探索システムであって、
    被写界深度（ＤＯＦ）内の物体に対して焦点を合わせるように構成されたレンズを有する画像取り込み装置を備え、
    その画像取り込み装置と通信している画像抽出装置を備え、この画像抽出装置は前記ＤＯＦ内の物体を抽出するように構成され、
    前記画像抽出装置と通信している画像内容検索システムを備え、この画像内容検索システムは前記ＤＯＦ内の物体に対応するデータを受け取るように構成され、前記画像内容検索システムはさらに前記受け取られたデータと集められた画像データとの一致を識別するように構成されることを特徴とする画像探索システム。
32. 前記画像取り込み装置は、顕微鏡と、望遠鏡、カメラ、及びビデオカメラからなるグループから選択されることを特徴とする請求項３１に記載の画像探索システム。
33. 前記画像抽出装置は汎用コンピュータであることを特徴とする請求項３１に記載の画像検索システム。
34. 前記画像抽出装置は前記画像取り込み装置の中に組み込まれて一体化されていることを特徴とする請求項３１に記載の画像探索システム。
35. 前記画像内容検索システムには、
    前記集められた画像データを保持するように構成されたデータベースと、
    前記受け取ったデータと集められた画像データとの一致を、前記受け取ったデータと関連づけられるシグネチャインデックスと前記集められた画像データと関連づけられるシグネチャインデックスとの比較により、識別するように構成されたデータベース照会システムとを備えることを特徴とする請求項３１に記載の画像探索システム。
36. 前記物体は被写体であることを特徴とする請求項３１に記載の画像探索システム。
    

Images