JP2003529857A - 画像処理 - Google Patents

Abstract

(57)【要約】 写真に対して応用される画像認識プロセス（１５）は、前置処理段階により先行され、この段階はフォーカスされている画像の部分を識別する。認識プロセスはそこでこの部分に限定される。前置処理は一般に高空間周波数活動の測度を作り（１０〜１２）、それらに対してしきい値を適用する（１３，１４）。

Description

【発明の詳細な説明】

【０００１】 発明の属する技術分野 この発明は画像処理に係り、広い観点でとらえると、画像認識に関するもので
ある。ここで言う認識は、画像が処理されて、ある結果を作り出し、この結果が
その画像についてのある宣言（ステートメント）をしていることを意味する。こ
の発明が有用となり得る状態（コンテクスト）は多数存在している。

【０００２】 例えば、画像が単一のオブジェクトのものであると、多数の同じようなオブジ
ェクトのうちの特定の一つであるとして、そのオブジェクトを識別したいとして
もよく、映像が参照用データベースに記憶されている場合に、特定の人物の顔で
あるとして人間の顔を認識することはこのカテゴリィの中に入ることになる。こ
れに代って、ある画像をオブジェクトのいくつかの映像を含んでいるとして識別
し、これらのオブジェクトの性質により分類をしたいと望むこともあってよい。
したがって、データベースからの画像についてのインデックス（指標）を付けた
り、検索したりするプロセスの自動化（オートメーション）はこのような認識に
よって実現されることができ、とくに、大きなデータベース（すなわち、インタ
ーネット探索の場合のような大きな数のデータベース）が含まれている場合につ
いて言えることである。認識は静止画像（スチール画）だけでなく、動画にも応
用できるのであって、実際に、オーディオビジュアル（ＡＶ）素材についての増
大している利用可能性が、テレビジョンチャンネル上で、あるいはビデオオンデ
マンドシステムを経て、送られた素材を監視するための必要性と一体化し、送ら
れた映画フィルムが実際に要求されたものと対応するかの確認をすることの必要
性となっている。

【０００３】 従来の技術 現在は、画像についての各種の中間レンジの特徴に対する認識器が存在してい
て、例えば、垂直方向の特徴の存在とか、皮膚の領域とか顔とかについての認識
器とか、写真が屋内または屋外で撮られたかの認識器である。このような認識器
の大形網を想像することができ、それがある画像について高級宣言を作るように
組合されている。例えば、皮膚のトーン（色調）を有する垂直方向の構造は、も
しその近くに顔が見付かるとするととくに、人々についてのよい証明と見られる
ようになる。

【０００４】 このようなシステムが与えられたとして、我々はすべての画像についてオブジ
ェクトと特徴とのリストを作り上げることができる。しかしながら、この情報が
あったとしても、その画像の主体（サブジェクト）が何であったかを記述するの
は困難であることになる。新聞の映像編集者が鳥の映像を捜している場合を考え
てみると、編集者は鳥についての大きな画像データベースに問合せをする。しか
しながら結果に含まれているのはパリ風のカフェで座っているカップルの写真で
あり、木の枝に居る小鳥として我々が作ることができるものとは距離がある。こ
の映像は明らかに編集者が意図していた問合わせを満足させていない。この映像
についての大部分の人の記述は鳥については排除するものとなり、その理由は重
要でないと思われることによる。もし、我々が各特徴についての相対的に重要性
を判断できるとすれば、我々はどの程度に鳥が主体（サブジェクト）であるかを
記述できることになる。したがってパリ風のカフェの場合には鳥は全く重要性の
ないものと判断されることになる。

【０００５】 この発明の一つの特徴によると、画像処理についての方法が用意されていて、
それが、 （ａ）画像について他部よりも高い高空間周波数コンテンツを有しているいく
つかの顕著な領域を識別することと、 （ｂ）前記識別された領域のみについて後に認識処理を実行することを備えた
ものとなっている。

【０００６】 その他の、好ましいとされる、この発明の特徴は従属する請求項に記載されて
いる。

【０００７】 実施例 例をあげて、添付の図面を参照して、この発明の実施形態を記述して行くこと
とする。

【０００８】 図１は画像認識装置のブロック図である。

【０００９】 認識プロセスにかけられる画像は写真の画像であり、その意味するところは、
実在のオブジェクトから反射された光をフォーカスすることにより形成された画
像を固定したものということであり、通常の写真、映画、あるいはテレビジョン
カメラからの記録（とか単一の記憶されたフレーム）などにより作られたもので
ある。しかし、この発明の利用は写真の画像に限定されるものではない。

【００１０】 したがって、この装置は取得デバイス１を備えていて、このデバイスは写真も
しくはスライドを走査するためのスキャナであってよいし、あるいはビデオ信号
から単一のフレームを捕捉するためのデバイスであってよい。このようなデバイ
スはよく知られていて、実際にはデバイスを駆動し結果の画像をデジタル形式で
記憶するためのソフトウェアである。この装置はまた画像メモリ２を有していて
、デジタル画像を受領するのにあて、また処理ユニット（プロセッサ）３と、プ
ログラムメモリ４とを有している。これらのアイテムは通常のデスクトップ計算
機の形式で実施されるのが便利である。

【００１１】 プログラムメモリ４は、すでに述べたドライバソフトウェアとともに、これか
ら記述するプロセスを実施するためのプログラムを含んでいる。

【００１２】 現在やり方の基本原理は、認識プロセスが画像の顕著な部分を限定することに
より改良できることであり、さらに、ある画像の異なる部分についての相対的な
フォーカスが顕著さへのよい案内になっているという前提に基づいている。この
ことは実際上の場合にありそうなことであり、その理由として、写真撮影者（も
しくは自動動作カメラを設定している人物）が写真の主題（主体）にフォーカス
を当てようとすることになることがあげられる。

【００１３】 確かに、このことはディジタイズした画像内で必要とされるある拘束条件を置
くことになり、その理由として、非常に粗いディジタル画像では、フォーカス情
報がディジタル化プロセスで喪失されることになることがあげられるからである
。図３に示した結果を作るために使用された試験画像は４５０×３５０画素の分
解能を有している。

【００１４】 ここで採用されるやり方は、画像の領域にわたって、高空間周波数詳細のレベ
ルを表わしている測度（メジャー）を識別し、次に判断段階を適用して、この測
度について大きな値を有している画像の領域が考慮されてフォーカスされるよう
にし、低い値を有している画像の領域はフォーカス外れとなるように考慮される
ようにして、鋭く定義されたエッジの存在がフォーカスの良い表示と考えられる
ようにする。実際に必要とされる認識プロセスがそこでフォーカスがあてられて
いる（インフォーカス）領域についてのみ実行される。これに代って、ある領域
のフォーカスの推定が使用されて、そこで認識される特徴についての重要度にバ
イアスをかけるのに使用される。

【００１５】 この測度を生成する一つの方法は次のようなもので数字は図２の流れ図の段階
を参照している。

【００１６】 写真は、Ｍ×Ｎ画像としてディジタイズされ、ピクセルルミナンス値ｐ（ｍ，
ｎ） （ｍ＝０…Ｍ−１，ｎ＝０…Ｎ−１）として記憶されていると仮定する。
ここでｐ（０，０）は左上を、ｍは水平位置を、ｎは垂直位置を表わす。

【００１７】 もし画像がＲ，Ｇ，Ｂ値で記憶されていると、ルミナンス値はこれらの値から
既知のやり方で再計算される。測度を形成する際にカラー情報は使用されないが
、後に使用されることになる。

【００１８】 段階１０：エッジ（縁）検出 画像はフィルタ動作を表わしている二つのカーネルで畳み込まれ（コンボリュ
ートされ）て、エッジマップＥ＝ｅ（ｍ，ｎ） （ｍ＝０…Ｍ−２，ｎ＝０…Ｎ
−２）を形成する。ここでｅ（ｍ，ｎ）は ［数１］で与えられ、またカーネル
Ｋも同じである。

【００１９】

【数１】

【００２０】 実際に、二つのマップＥ_１＝ｅ_１（ｍ，ｎ）とＥ_２＝ｅ_２（ｍ，ｎ）とが良く
知られているRoberta Crossコンボリューションカーネル［数２］を用いて生成
される。

【００２１】

【数２】

【００２２】 段階１１：各エッジマップの要素ｅは−２５５ないし＋２５５の範囲にある値
をもっている。ルミナンス遷移の符号は重要でないので、モジュラスが採用され
る。のた二つのマップは平均をとって組合される。すなわち、［数３］である。

【００２３】

【数３】

【００２４】 別なこの発明の実施形態では、二つのマップは次式［数４］によって組合され
る。

【００２５】

【数４】

【００２６】 値ｅ（ｍ，ｎ）は画像メモリ２の別な領域に記憶される。

【００２７】 二つのカーネルでここで使用されたものは、それぞれ二つの対角方向に最大感
度を有していて、組合された結果は、したがって、どの方向のエッジに対しても
感度を示す。しかしながら、結果のマップはあるエッジの直近でのみ大きな値を
有している。そこで図３ａに示した画像はエッジマップを作り、これが画像とし
て表示されるときには、図３ｂのように現れる。注意したいのは、はっきりさせ
るために、図３ｂがこの画像のネガ（ティブ）として示されていることである。
次の段階はこういったものを拡げたり（スプレッドする）あるいは併合する（マ
ージする）ようにして、それにより隣接するエッジが連続するフォーカスをあて
た領域の一部として認識されることができるようにする。

【００２８】 段階１２：このことを達成する一つの方法は、エッジマップを（７×７カーネ
ルについての）円環状の（サーキュラ）カーネル形式とコンボリュートすること
である。これはマップＥについての空間低域通過フィルタ作用効果を与えること
と観察されることになる。[数５]。

【００２９】

【数５】

【００３０】 （ここでＣ_ijの零でない値は円環状の領域をカバーしていることを見ることがで
きる）（訳者注：マトリックスの第七行第六列は１でなく０が正しい。） フォーカスマップを作るためには、[数６]。

【数６】

【００３１】 ここでｅはマップＥの外側の位置では零と考えている。カーネルの大きさにつ
いては下記を参照されたい。このようなマップの外観は、画像として表示された
として、図３ｃに表すようになる。

【００３２】 段階１３：その領域内のフォーカスの測度を、各画素について、含んでいるマ
ップが得られると、どの部分の画像がフォーカスをあてられ、またどの部分があ
てられていないと考えられるかについての判断が下される必要がある。これはそ
の測度をしきい値と比較して単純に行なえ、それによって、これらの画素のうち
このしきい値よりも上にあるものだけがフォーカスをあてられていると考えるこ
とである。しかしながら、むづかしいのはこのしきい値がどんなものであるかを
決めることである。考慮している画像がもしその内容がよく一致しているときに
は固定値が使えそうである。しきい値を選ぶ可能な方法は次を基礎とする： （ａ）フォーカスをあてていると分類される全面積； （ｂ）フォーカスをあてていると分類される離散的な連続する領域の数； （ｃ）フォーカスをあてていると分類された領域の度合の推定。

【００３３】 図４はフォーカスをあてていると思われる面積をしきい値に対してプロットし
た典型的なグラフを示し、やり方（ａ）に基づいているものである。このような
関数の例はすべてがステップのある、単調減衰形のものである。しきい値が零に
設定されるときは面積は画像の面積となり、またしきい値が最大であると面積は
零となる。カーブの形は画像内のフォーカスの分布に依存することになる。もし
フォーカスされた主体が大きく均一なアウトオブフォーカスの背景に対して小さ
な面積であるとすると、この関数は非常に急速に減退し、それは背景が小さなし
きい値取り除かれることによる。フォーカスのひろがり（スプレッド）にスペク
トラムと画像とをまたいで均一な分布があるとすると、面積は一定の勾配で減少
する。もし大部分の画像がフォーカスをあてられていて、僅かな面積だけがあて
られていないとすると、この関数は最初はゆっくりと減退し、大きなしきい値の
ところでもっと急速に減退する。図時のグラフはこのような画像の特徴を示して
いる。

【００３４】 実際には、“良い”しきい値はしばしば面積カーブの“ネック（首）”として
見付けられることが知られており、ネックはカーブの周辺に沿った中間にあるカ
ーブの点（ポイント）となっている。

【００３５】 やり方（ａ）に基づいた実用的な解決策はしきい値を次のように選ぶことであ
る。すなわち、もし面積としきい値Ｔとが両方とも正規化されているとすると（
言い換えると、ａ＝Ａ／Ａ_ｔｏｔただしＡ_ｔｏｔは画像の全面積（ＭＮ）であり
、またｔ＝Ｔ／２５５であると）、ｔ＝ａ（ｔ）とする。

【００３６】 段階１４：しきい値を選んでしまうと、何れかの画素についての結果ｒ（ｍ，
ｎ）は、 ｒ＝１ （ｆ＞１に対して） ｒ＝０ （ｆ＜ｔに対して）。

【００３７】 図３ａの画像で、ｒ＝０であるすべての部分を零（黒）に設定すると、それが
図３ｄに示すものとなる。

【００３８】 このプロセスが複数の離散的な映像領域がフォーカスをあてられていると識別
する場合には、各領域についてのフォーカス得点は、望むのであれば生成できて
、それがその領域についてのフォーカス動作の和（すなわち、Σｆ（ｍ，ｎ）と
してその領域全体で上で定義されたものとなり、あるいはもっと好ましいのはこ
れとその領域の面積との積）となる。この値は後の認識プロセスによって使用で
きるのであり、異なる領域についての相対的な重要度に重み付けをするのにあて
られる。

【００３９】 段階１５：ここで所望の認識プロセスが実行されてよく、ｒ＝０である画素が
認識プロセスから除外されるか、あるいは代ってｒ＝０である画素が認識プロセ
スの実行前に黒に設定されるものと理解されたい。実際の認識プロセスはここで
は記述しない。というのは数多くの代りのものが利用可能であり、ｒ＝１につい
ての画素に対する上述の限界を別として、通常のやり方で実行されるからである
。若干の認識技術は次の文献で論じられている。 Flickner, M et al(1995)“Query by image and video content:the QBIC syste
m”IEEE Computer, 28(9), 23-32. Treisman A,“Features and objects in visual processing”;New Scientist,
November 1986, page 106. McCafferty, J D“Human and Machine vision:Computing perceptual Organisat
ion”West Sussex,England:Ellis Horwood 1990. Mohan,R and Netavia,R“Using perceptual organisation to extract 3D struc
tures”, IEEE Trans.Pattern.Anal.Machine Intell.Vol.11 pp.355-395, 1987.
この方法が実施可能となる前に、エッジを連続する領域に組入れるために使用さ
れる円環状カーネルＣの寸法（サイズ）を決める判断がされなければならない。

【００４０】 この発明は何らかの特定の理論を参照して解決されてはならないものではある
が、この問題に対する建設的なアプローチ（発展の道筋）は画像を眺めるときに
人間である観察者の知覚を考慮することと考えられる。

【００４１】 眼の背後に網膜があって、これが感光性細胞によって覆われており、この細胞
が実在する世界（リアリティ）の電気的表現を脳に向けて視神経（optic nerve
）に沿って送る。網膜上の細胞には二つの異なるクラスがあり、それがロッド（
桿状体，rod）とコーン（円錐体，cone）である。ロッドは照明（イルミネーシ
ョン）に対して非常に感度があって、動き、形状、明暗という我々の知覚につい
て担務しているが、色を弁別することはできない。１２５×百万個のロッドの大
部分は網膜の周辺に見付けられることになる。われわれの色と詳細とを見る能力
はコーンの機能の中にある。眼のコーンの大部分はfovea centralis（中心窩）
の中に密につまっていて、そこには１平方ミリメートル当り１５０，０００があ
る。したがって、網膜のこの部分は我々の視覚にとって一番敏感なところである
。この理由によって、我々は関心のある領域をこのfoveaに投影するように眼を
動かし、こういったジャンプ（とびこし）がサッカード（断続性運動，saccade
）として知られている。foveaにとっての視界角度が約２度拡がっているとする
と、看者にとって一番鋭敏に見ることができる画素の数を予測することが可能と
なり、そのときには視ている距離とスクリーンの解像度が知れていることが条件
となる。これが自然に人に影響を与えられた近隣についての定義であり、これが
カーネル寸法（サイズ）を決めるために使用される。

【００４２】 こうして、カーネル寸法についてのガイドラインは所与の映像寸法と見る距離
とにおいて、２度の視角と等価な面積と対応されなければならないことを示唆し
ている。もし寸法と距離とが知られていればこれが計算されてよく、あるいは妥
当な仮定が作られてよい。

【００４３】 例えば、仮りに我々が１７もしくは２１インチモニタ上で、３：４のアスペク
ト比をもち、見る距離が０．５ｍで視野角２度に対応している領域を望むとする
と、５００ｍｍでの２度の視野はスクリーン上の円であって半径が５００sin（
１°）＝８．７ｍｍ、すなわち２３９平方ミリメートルの面積を与える。典型的
な１７インチモニタはスクリーン面積が２４０ｍｍ×３２０ｍｍ でありそれに
よってカーネル面積２３９／（２４０×３２０）＝．００３１もしくは１／３２
０のスクリーン面積を表わしている。２１インチのスクリーンは直線寸法でこの
２１／１７倍をもっていて、スクリーン面積の１／４９０で我々が見ることにな
る。これが示唆していることはカーネル面積が一般に画像面積の１／３００また
は１／５００ということである。

【００４４】 図３の例で用いたカーネル寸法は直径で１４ピクセルであった。

【００４５】 上記のテーマについて若干の変形を論ずることとする。段階１０のエッジ検出
プロセスは、計算機処理上は比較的簡単なプロセスであるという利点を有してい
て、実際にも良い結果を作り出している。しかしながら、もし望むのであれば、
もっと高度なフィルタがけプロセスを使用することができあるいは画素のブロッ
クが離散的余弦変換（ＤＣＴ）のような変換によって解析されてよく、また高次
の係数だけを残すことによるフィルタがけがされてよい。このやり方は画像が、
変換応用のコーデングアルゴリズムによって、すでにディジタルコード化されて
いる場合の処理のときに特に魅力的なものとされる。同じように、上述した“フ
ラットな（平坦な，flat）”例よりも他の円環状のカーネルも使用できる。

【００４６】 しきい値プロセスでは、この過程が修正されて、離散的な領域の結果の数を制
限するようにしてもよく、この場合は（上述のオプション（ｂ）にあたり、）こ
のような領域の全面積に代って制限がされ、このように領域を７を越えて識別す
るには一般に有用でないとされる原理的な説明がある。

【００４７】 したがって、代りのものは次の、 （ｉ）段階１３に記述したしきい値と、 （ii）７以下のフォーカスが当っている領域を与える最大のしきい値の計算を
し、二つのうちの小さい方を選ぶようにする。すなわち、もしもとのしきい値が
７を越えた領域を与えるのであれば、越えないところまで減らすということにな
る。

【図面の簡単な説明】

【図１】 画像認識装置の構成図。

【図２】 測度を生成する一方法の流れ図。

【図３】 ４５０×３６０画素の分解能をもつ結果を作り出すのに使用された試験画像の
図。

【図４】 しきい値に対してプロットしたインフォーカス領域と思われる面積の典型的な
グラフ。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ，ＴＲ)，ＯＡ(ＢＦ ，ＢＪ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＧＷ， ＭＬ，ＭＲ，ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，Ｇ Ｍ，ＫＥ，ＬＳ，ＭＷ，ＭＺ，ＳＤ，ＳＬ，ＳＺ，ＴＺ ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ，ＢＹ，ＫＧ，ＫＺ， ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＥ，ＡＧ，ＡＬ，ＡＭ， ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ，ＢＹ，Ｂ Ｚ，ＣＡ，ＣＨ，ＣＮ，ＣＯ，ＣＲ，ＣＵ，ＣＺ，ＤＥ ，ＤＫ，ＤＭ，ＤＺ，ＥＥ，ＥＳ，ＦＩ，ＧＢ，ＧＤ， ＧＥ，ＧＨ，ＧＭ，ＨＲ，ＨＵ，ＩＤ，ＩＬ，ＩＮ，Ｉ Ｓ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ，ＬＣ，ＬＫ ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＡ，ＭＤ，ＭＧ， ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＭＺ，ＮＯ，ＮＺ，ＰＬ，Ｐ Ｔ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＴＺ，ＵＡ，ＵＧ，ＵＳ， ＵＺ，ＶＮ，ＹＵ，ＺＡ，ＺＷ (72)発明者 モリソン、デビッド・ジョフリー イギリス国、アイピー11・０エックスエ フ、サフォーク、フェリクストー、トリム リー、タイラーズ・グリーン 10 Ｆターム(参考） 5B057 AA20 BA30 CE06 DA08 DB02 DB06 DB09 DC04 DC16 DC36 5L096 AA02 AA06 BA08 CA02 FA04 FA06 FA32 FA59 FA69 GA51 GA55

Claims (5)

【特許請求の範囲】
1. 【請求項１】 （ａ）画像について他部よりも高い高空間周波数コンテンツ
   を有しているいくつかの顕著な領域を識別することと、 （ｂ）前記識別された領域のみについて後に認識処理を実行することを備えた
   画像処理についての方法。
2. 【請求項２】 請求項１記載の方法であって、段階（ａ）は、 該画像について位置の関数として高空間周波数活動の測度を作ることと、 この測度をしきい値と比較することと、 しきい値よりも大きな高空間周波数活動を示している測度値を有している画像の
   部分を顕著な領域として信号を送出することとを含んでいる方法。
3. 【請求項３】 請求項２記載の方法であって、該測度は、 高域通過空間フィルタ動作を該画像に対して二方向で作用させて第一と第二の測
   度を作るようにすることと、 該第一と第二の測度を組合せて第三の測度を作るようにすることと、 低域通過空間フィルタ動作を該第三の測度に対して適用させることとによって作
   られる方法。
4. 【請求項４】 請求項２または３記載の方法であって、 該しきい値は全体の画像についての測度の統計に適応するように、依存して、選
   ばれる方法。
5. 【請求項５】 請求項２，３，４のいずれか１項記載の方法であって、 該しきい値は、特定の画像について、あるレベルで設定され、このレベルは、顕
   著な領域の数が所定数を越えないものであるように設定される方法。