JP2003153007A - 画像重要度に基づく画像圧縮制御システム及び方法 - Google Patents

Abstract

(57)【要約】 【課題】 本発明は、画像を格付けし、格付けの高い画
像の品質がより高品質で維持されるように、各画像に適
用される圧縮量を変えるため格付けの結果を使用するデ
ジタル画像処理技術の提供を目的とする。 【解決手段】 本発明の方法は、画像重要度に基づいて
クラスタ内の画像を格付けすることによって画像の圧縮
を自動的に変更する。格付け処理は、各画像及び画像の
内容の一つ以上の特徴と関連した一つ以上の量を計算す
る。一つ以上の特徴には画像の内容が含まれる。本発明
は、一人以上の観察者の意見に基づいて訓練された推論
アルゴリズムを用いてこの量を処理し、格付けを作成す
るためこの量が画像に適用し、格付けに基づいて画像を
可変的に圧縮する。格付けが低い画像は格付けが高い画
像よりも圧縮量が多い。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、一般的に画像処理
の分野に係り、特に、画像評価及び画像理解の分野に関
する。

【０００２】

【従来の技術】画像評価及び画像理解が扱う問題は、知
的能力を備えた人間は簡単に解決するが、完全に自動化
されたコンピュータシステムによって解決するとことは
困難であるような問題である。画像理解問題は、主被写
体の検出、シーン分類、空及び草の検出、人物の検出、
方向の自動検出などを含む写真アプリケーションにおい
て重要であると考えられる。写真のグループを処理する
種々のアプリケーションの場合、画像を論理的順序で格
付け（ランク付け）することが重要であり、これによ
り、画像はその順序に従って処理され、取り扱われ得
る。関心のある写真アプリケーションは、デジタル画像
のグループが自動的にデジタル写真アルバムに編集され
る自動アルバム化処理である。自動アルバム化処理は、
画像を別々のイベントに分類し、次に、可能であれば、
各イベントをある種の論理的順序で並べる。この順序
は、画像の相対的な内容に関して、すなわち、ある種の
画像が他の画像よりも優先される可能性があるという確
信に基づく、少なくともある程度の注目度を意味する。

【０００３】典型的に、画像のグループを固定記憶装置
空間に保存するデジタル映像システムは、グループ内の
全ての画像に同じレベルの圧縮を適用する。このような
状況は、デジタルカメラ、可搬型（着脱式）ディスクな
どに蓄積された画像の場合に生じる。しかし、このアプ
ローチは、画像間の重要度又は注目度（アピール）の差
を考慮しない。屡々、注目度の高い画像の視覚的品質を
維持することが望ましく、注目度の低い画像の視覚的品
質を低下させることは許容される。したがって、画像を
相対的な注目度に関して格付けし、注目度の高い画像の
品質がより高品質で維持されるように、各画像に適用さ
れる圧縮量を変えるため格付けの結果を使用するデジタ
ルシステムを獲得することが望ましい。

【０００４】画像評価問題の性質に起因して、すなわ
ち、自動システムは、高レベルの知的な人の（理解）プ
ロセスを表わす結果を生成することが期待されるので、
評価システムの設計は困難ではあるが興味深い仕事であ
る。特定の視覚的印象に対する文書を作成若しくは編集
することを目的として、テキスト及び図形データの心理
的効果の評価の研究が取り組まれてきた（たとえば、米
国特許第5,875,265号明細書及び米国特許第5,424,945号
明細書を参照せよ）。

【０００５】

【発明が解決しようとする課題】米国特許第5,875,265
号では、システムは、視覚的特徴のオペレータが使用す
るため表示される感覚的（微妙な）言語へ対応関係を定
めるため、場合によってはオペレータの補助の下で、画
像を解析する。このシステムの難しさは、視覚的特徴が
主として低レベルの特徴、すなわち、必ずしも画像内容
とは関連しない色及びテクスチャに基づくことであり、
かつ、言語記述は画像の相対的な格付けに使用すること
が困難である。米国特許第5,424,945号は、文書中のテ
キスト及び図形の心理的効果を評価するシステムを開示
する。この米国特許第5,424,945号の欠点は、特定の内
容に関してではなく、文書の全体的な視覚的印象を評価
する点であり、そのため、相対的な格付けの開発のため
の有用性が低減している。これらのシステムは、複雑で
あり、かつ、心理的効果の識別へ向けられている上に、
既存の画像の評価及び利用ではなく、知覚的（認知）印
象の解析及び作成に集中している。

【０００６】本発明は、上記の問題点の解決を目的とす
る。

【０００７】

【課題を解決するための手段】一実施例によれば、グル
ープ内の画像に対する圧縮量は、圧縮される画像の画像
重要度及び／又は画像注目度に関する値を表す品質係数
を用いて制御される。他の一実施例によれば、圧縮は視
覚的品質に基づいて制御され、更に別の一実施例によれ
ば、圧縮は出力ファイルサイズに基づいて制御される。
何れの実施例の場合も、圧縮レベルを決定する画像パラ
メータは画像重要度及び／又は画像注目度である。

【０００８】画像重要度又は画像注目度の判定は、すな
わち、画像の重要性、関心若しくは魅力の程度の判定
は、ある種の特徴についての画像の評価に基づいて行わ
れ、各デジタル画像の一つ以上の特徴と関連付けられた
一つ以上の量が計算され、非筒以上の量は個別のデジタ
ル画像の内容に属する一つ以上の特徴を含む。この量
は、一人以上の観察者の意見に基づいて訓練された推論
アルゴリズムを用いて処理され、この推論アルゴリズム
から各画像を評価する出力が得られる。

【０００９】本発明の独立した局面では、デジタル画像
の内容に属する特徴は、少なくとも人物に関連した特徴
と被写体に関連した特徴のうちの一方を含む。また、色
彩或いは鮮明度のようなデジタル画像の一つ以上の客観
的な指標（測度）に関する補助的な量が計算される。推
論アルゴリズムの結果は、画像の集合（グループ）内の
各画像の質を格付けするため処理される。各画像に適用
される圧縮量は、画像自体で決められるか、或いは、デ
ジタル画像のグループに対して決められるような画像の
重要性、関心若しくは魅力の程度に基づいて変更され
る。

【００１０】本発明は、画像重要度に基づいてクラスタ
内の画像を格付けすることによって画像の圧縮を自動的
に変更する。格付け処理は、各画像及び画像の内容の一
つ以上の特徴と関連した一つ以上の量を計算する。本発
明は、一人以上の観察者の意見に基づいて訓練された推
論アルゴリズムを用いて量を処理し、格付けを作成する
ためこの量を画像に適用する。本発明は、格付けに基づ
いて画像を可変的に圧縮し、格付けが低い画像は格付け
が高い画像よりも圧縮される量（度合い）が大きい。解
析された特徴は、人物に関連した特徴及び被写体に関連
した特徴を含む。客観的特徴は、色彩、鮮明度、色内容
に関する代表量、及び、画像アスペクト形式の特異性な
どを含み得る。推論アルゴリズムは、候補画像のグラン
ドトゥルース調査から訓練され、ベイズネットワークで
ある。画像の内容は、画像重要度及び／又は画像注目度
に関連した値を表わす複数の係数を用いて制御され、画
像重要度及び／又は画像注目度に関連した値を表す出力
ファイルサイズに基づいて制御される。画像の内容は、
更に、出力画像の視覚的品質を用いて制御される。

【００１１】本発明の一つの効果は、人が介入しなくて
も一つ以上の画像の評価を実行し得ることである。画像
のグループの圧縮のような画像のグループを取り扱う種
々のアプリケーションにおいて、アルゴリズム的評価
は、画像を自動的に格付けすることが可能であり、画像
は相対的な重要性に応じて効率的に圧縮される。

【００１２】本発明の上記並びにその他の局面、目的、
特徴及び効果は、以下の好ましい実施例の詳細な説明、
請求項に記載された事項、及び、添付図面によって、よ
り明瞭に理解され認識されるであろう。

【００１３】

【発明の実施の形態】以下の記述では、本発明の好まし
い一実施例による方法を説明する。本実施例による方法
は、ソフトウェアプログラムとして実現可能である。当
業者は、このようなソフトウェアの均等物をハードウェ
アの形で構成できることを容易に認めるであろう。画像
処理アルゴリズム及び方法は周知であるので、以下の記
述は、特に、本発明による方法の一部を形成するアルゴ
リズム及びシステム、並びに、本発明による方法と非常
に直接的に協働するアルゴリズム及び方法に向けられ
る。このようなアルゴリズム及びシステム、並びに、そ
れらに関連した画像信号を生成し、或いは、画像信号を
処理するハードウェア及び／又はソフトウェアのその他
の局面は、特に図示、或いは、説明されていないが、こ
のようなシステム、アルゴリズム、コンポーネント、及
びそれらの要素は周知である。以下の記述において、上
記の説明を前提とすることにより、全てのソフトウェア
をコンピュータプログラムとして実現することは従来通
りであり、常套的な技術である。

【００１４】さらに、実施例で使用されるようなコンピ
ュータプログラムは、コンピュータ読取可能な記録媒体
に保存される。コンピュータ読取可能な記録媒体は、た
とえば、磁気ディスク（たとえば、フレキシブルディス
ク）、若しくは、時期テープのような磁気記憶媒体、光
ディスク、光テープ、若しくは、機械読取可能なバーコ
ードのような光学記憶媒体、ランダムアクセスメモリ
（ＲＡＭ）、若しくは、読出し専用メモリ（ＲＯＭ）の
ような固体電子記憶装置、又は、コンピュータプログラ
ムを格納するため利用されるその他の物理装置若しくは
媒体を含む。

【００１５】画像のグループを取り扱う多様なアプリケ
ーションにおいて、相対的な値、及び／又は、本質的な
値に関して画像を格付けすることが重要であり、これに
より、画像は、これらの値に応じて処理され若しくは取
り扱われる。上述のように、現在、関心のある写真アプ
リケーションは、デジタル画像のグループが自動的にデ
ジタル写真アルバムに編成される自動アルバム処理であ
る。自動アルバム処理は、画像を別個のイベントにクラ
スタリングし、各イベントをある種の論理的な順序に並
べる。この論理的な順序は、画像注目度及び画像重要度
の２種類の関連した画像の評価に基づいて行われる。画
像注目度は、個々の画像に固有の重要性、関心若しくは
魅力の程度を表わし、これに対し、画像重要度は、イベ
ント若しくはグループ中の各画像の他の画像に対する相
対的な重要性、関心若しくは魅力を表わす。

【００１６】評価が獲得されると、画像のグループ内で
最重要画像、たとえば、ページレイアウト内で最も注意
を惹くに違いない画像、を選択することが望ましい。し
たがって、画像評価アルゴリズムは、自動画像補正アー
キテクチャに巧く適合する。評価アルゴリズムは、各イ
ベントの画像に作用し、各画像に評価値（たとえば、重
要度値及び／又は注目度値）を割り当てることが期待さ
れる。評価値は、特定のグループ内のあらゆる画像と関
連付けられたメタデータであるとみなされ、他のアルゴ
リズムによって利用される。このような提案システムに
おいて、ページレイアウトアルゴリズムは、入力とし
て、各イベント内の全画像の相対的な評価値を採用す
る。

【００１７】しかし、提案システムでは、システムアー
キテクチャのタイプと、評価用の実効的な特徴の選択に
関して、多数の率直な疑問が生じる。他の画像理解問題
への適用に成功したアーキテクチャは、特徴抽出段と、
引き続く分類段とに基づいている。特徴抽出に関して、
特徴の集合を選択することが必要である。このため、二
つのアプローチが考えられる。１番目のアプローチは、
直観的に画像評価値に何らかの関連性があると思われる
特徴を選択する。２番目のアプローチは、制御された実
験によって獲得された経験に基づいて特徴を選択する。
このような実験は公表されていないので、意味のある特
徴を指定するであろうデータを獲得するためグランドト
ゥルース調査が行われた。グランドトゥルース調査の結
果は、特徴選択と、分類器の訓練とに使用される。

【００１８】図１を参照するに、重要度値を計算する画
像重要度ネットワーク１０は、特徴抽出段１２と分類段
１４の２段により構成される。特徴抽出段１２は、多数
のアルゴリズムを利用する。各アルゴリズムは、ある種
の画像特徴特性値を測定するよう設計され、特徴の定量
的指標がアルゴリズムの出力の値によって表現される。
特徴抽出段１２の出力は、ある種の特徴の存在（若しく
は不在）の統計的証拠を表現し、この出力は、次に、分
類段１４によって、重要度値を計算するため統合され
る。重要度値は、たとえば、０から１００まで変化し、
処理された画像が重要度画像である確率（確からしさ）
又は確信度を示す。重要度が、図４に示されるように別
個の画像重要度ネットワーク１０．１、１０．
２、．．．、１０．Ｎにおいて画像のグループに対して
計算された後、重要度値は比較段１６で比較され、夫々
の正規化段１６．１、１６．２、．．．、１６．Ｎで正
規化される。最高の画像重要度値をもつ画像は、グルー
プの重要度画像として選択される。

【００１９】特徴の集合は、観察者の優先傾向のグラン
ドトゥルース調査に基づいて特徴抽出段１２のために選
択された。グランドトゥルース調査によって、重要度画
像の選択のために重要である特徴は、鮮明度、コントラ
スト、フィルム粒子、及び、露出のような従来の画質測
定基準と強い関連性がない、ということが判明した。但
し、これらの従来の画質測定手段のうちの一つ以上は、
評価値の計算の際に依然として有用である。選択された
特徴は、一般的に、（ａ）人物に関連した特徴、（ｂ）
主被写体に関連した特徴、及び（ｃ）画像の客観的指標
に関連した特徴の３種類のカテゴリーに分割される。図
１を参照するに、人物に関連した特徴は、肌面積検出器
２０と、クローズアップ検出器２２と、人物検出器２４
とによって抽出される。入力画像ｉは、典型的に、人物
関連特徴抽出器２０、２２及び２４による処理に適した
中間値を生成するため、肌検出器２６及び顔検出器２８
によって処理される。主被写体に関連した特徴は、主被
写体検出器３４からの出力に基づいて、構造検出器３０
及び被写体寸法検出器３２によって抽出される。構図検
出器３０は、図３に示されるように、主被写体分散アル
ゴリズム３０．１、主被写体中心性アルゴリズム３０．
２、及び、主被写体コンパクト性アルゴリズム３０．３
の幾つかの構図関連主被写体アルゴリズムにより構成さ
れる。主被写体データは、クラスタリング段３１でクラ
スタ化され、構図関連アルゴリズム３０．２及び３０．
３、並びに、被写体寸法アルゴリズム３２へ供給され
る。画像の客観的指標に関連した特徴は、鮮明度検出器
３６、色彩検出器３８、及び、独自フォーマット検出器
４０によって抽出される。さらに、画像の色内容が画像
のグループに対してどの程度代表的であるかに関する客
観的指標は、代表色内容検出器４２によって抽出され
る。

【００２０】図１に示された特徴集合は画像重要度を表
わす値を計算するため使用され、画像重要度を表わす値
はグループ内において画像の他の画像に対する相対的な
重要性、関心若しくは魅力の程度として定義される。各
画像はグループ内の他の画像に対して評価する必要があ
るので、画像重要度計算は、図４に示されるように画像
重要度ネットワーク１０．１、１０．２、．．．、１
０．Ｎのネットワークの形で実現され、画像重要度ネッ
トワークは、対応した画像重要度値に関して画像に得点
を付与する。実際には、一つの画像重要度ネットワーク
１０が設けられ、画像の系列の画像重要度を定めるため
繰り返し用いられる。この場合、順次に取得された結果
は、比較器１６へ入力するため、中間記憶装置（図示せ
ず）に保存される。図２に示された特徴集合は、図１に
示された特徴集合の部分集合であり、画像注目度を表わ
す値を計算するため使用される。画像注目度は、絶対的
な意味で、すなわち、他の画像との対比を行うことな
く、画像の重要性、関心若しくは魅力の本質的な程度と
して定義される。このため、図２に示された特徴は、こ
れらの特徴がその画像だけに基づいて画像を評価してい
る限り、独立顕著性のある特徴であると呼ばれる。これ
に対し、二つの補助的な特徴、すなわち、独自フォーマ
ット特徴及び代表色特徴が図１に示されている。これら
の特徴は、他の画像と関連付ける必要がある指標である
限り、相対顕著性のある特徴であると呼ばれる。しか
し、これらの相対顕著性のある特徴は、独立顕著性のあ
る特徴だけから重要度の十分な指標が得られる限りにお
いては、随意的な特徴である。したがって、注目度及び
重要度の両方の評価は、独立顕著性のある特徴を必要と
し、重要度の評価だけが相対顕著性のある特徴を必要と
する。

【００２１】図１及び２による特徴集合の抽出は、後述
のように、対応した特徴量の計算を必要とする。

【００２２】［客観的特徴］客観的特徴は、他のタイプ
の特徴と比較して最も計算が簡単であり、かつ、最も矛
盾のない結果を与える。客観的特徴を計算するための方
法は既に利用可能であり、映像科学の殆どの技術は、客
観的特徴の指標に基づいている。多くの客観的特徴を計
算することが潜在的に可能であるが、画像重要度と画像
注目度（図１及び図２）の両方の目的のためには色彩
（カラフルネス）及び鮮明度だけが考慮され、さらに、
画像重要度（図１）のためには、独自フォーマット及び
代表色が追加的に考慮される。コントラスト及びノイズ
などの他の客観的指標は、ある種の状況において有用で
あるとされ、本発明の範囲に含まれることが意図され
る。

【００２３】［色彩］色彩検出器３８は、色彩の豊富な
ピクチャが様々な色相で高い飽和度を表示する色を有す
るという観察に基づいて、色彩の定量的な指標を与え
る。これは、様々な色相について高い飽和度の色の存在
を調べることによってグランドトゥルース調査で決定さ
れた。画像データは、ｓＲＧＢ色空間の画像データであ
ると仮定した。特に、図６に示されるように、色彩検出
器３８は、色彩を計算するために以下の手順を実施す
る。最初に、ステップ６０において、入力画像値ｉは輝
度／クロミナンス空間へ変換される。このような多くの
変換が当業者には公知であり、本発明と組み合わせてう
まく使用される。望ましい変換は、以下の式、

【００２４】

【数１】 に従って実行され、式中、中間色（Neutral）は輝度の
指標であり、緑−マゼンタ（Green−Magenta）と照度
（Illumination）はクロミナンスの指標である。ステッ
プ６２において、クロミナンス平面（照度、緑−マゼン
タ）は、図７に示されるような角度欄（ビン）と称され
る１２の色度平面ウェッジへ分割され量子化される。次
に、ステップ６４において、各画素は、そのクロミナン
ス成分が角度欄の境界内に収まる場合、その角度欄のう
ちの一つと関連付けられる。飽和度のレベル（原点から
の距離）は、ステップ６６において各角度欄の各画素に
対して計算される。ステップ６８において各角度欄を占
める高い飽和度の画素の数が測定される。ここで、高い
飽和度の画素とはクロミナンス平面における原点からの
距離が一定の閾値Ｔ_ｓ（たとえば、Ｔ_ｓ＝０．３３）を
超える画素である。各角度欄について、ステップ７０に
おいて、高い飽和度の画素の数がある閾値Ｔ_ｃ（たとえ
ば、Ｔ_ｃ＝２５０画素）を超える場合、その欄は有効で
あると決定される。ステップ７２において、色彩（Colo
rfulness）は以下の式、

【００２５】

【数２】 に従って計算される。尚、このカラフルさの定義によれ
ば、１２の欄の中の１０の欄が使用されていると、色彩
は１．０であり、画像は最もカラフルであるとされる。

【００２６】［鮮明度］鮮明度検出器３６は、画像中の
鮮明度特徴を見つけるために以下の手順を実施する。 （ａ）画像は境界線に沿って２０％の水準で切り取ら
れ、緑チャネルを抽出することによりグレースケールへ
変換される。 （ｂ）画像のエッジは、ノイズを減少させるために３×
３の平均化フィルタを適用した後にＳｏｂｅｌ演算子を
用いて緑チャネル中で検出される。 （ｃ）エッジヒストグラムが形成され、エッジヒストグ
ラムの９０番目の百分位数を超えるエッジが最も強いエ
ッジを含む領域であると同定される。 （ｄ）最も強いエッジの領域はメジアンフィルタリング
によって洗練され、最も強いエッジの統計値が計算され
る。 （ｅ）最も強いエッジの平均は鮮明度の推定値を与え
る。

【００２７】鮮明度の検出のために使用される方法の更
に詳細については、ここに参考のため引用された、本願
と同一出願人による1999年3月23日に出願された米国特
許出願第09/274，645号、発明者Andreas Savakis及びAl
exander Loui、発明の名称"AMethod for Automatically
Detecting Digital Images that are Undesirablefor
Placing in Albums"に記載されている。

【００２８】［フォーマット独自性］グランドトゥルー
ス調査の参加者は、ＡＰＳの「パノラマ」モードで撮影
された写真はかなり重要度画像に値する、と指摘した。
グランドトゥルースデータの予備分析は、その写真がグ
ループ中のただ一つのパノラマ写真であれば、重要度画
像として選択される可能性が高くなることを示した。相
対的な特徴である「フォーマット独自性」はこの性質を
表わす。

【００２９】独自フォーマット検出器４０は、グループ
中の各画像ｉについて以下のアルゴリズム、

【００３０】

【数３】 を実施する。但し、フォーマットｆは画像の長い画素寸
法ｌ_ｉと短い画素寸法ｓ _ｉに基づくものである。フォー
マット独自性Ｕは、

【００３１】

【数４】 と表わされる。

【００３２】［代表色］代表色検出器４２は、画像の色
をどれだけ象徴的であるかを決定するために以下の手順
を行う。

【００３３】１．各画像ｉについて、（ＲＧＢ又は輝度
／クロミナンス空間中で）カラーヒストグラムｈ
_ｉ（Ｒ，Ｇ，Ｂ）を計算する。

【００３４】２．以下の式、

【００３５】

【数５】 に従って全ての画像ヒストグラムの平均を取ることによ
り、グループについての平均カラーヒストグラムを見つ
ける。

【００３６】３．各画像ｉについて、画像のヒストグラ
ムと平均カラーヒストグラムとの間の距離（ユークリッ
ド距離又はヒストグラム交差距離）を、以下の式、

【００３７】

【数６】 に従って計算する。

【００３８】４．以下の式、

【００３９】

【数７】 に従って、手順３において計算された距離の最大を見つ
ける。

【００４０】５．以下の式、

【００４１】

【数８】 に従って、各距離を最大距離（０乃至１の範囲で可変）
で割り算することによって代表指標ｒを得る。

【００４２】［人物関連特徴］人物関連特徴は、画像重
要度を決定するときに重要であるが、たとえば、笑って
いる人物、カメラの方に向いている人物等といった人物
に関連する多くの明確な属性は、計算するのが困難であ
る。肌検出方法は、人物が存在するか否か、肌部分の面
積の大きさ、及び、クローズアップの量などの幾つかの
人物関連特徴を計算する。

【００４３】［肌及び顔の検出］肌検出器２６によって
用いられる肌検出方法、及び、顔検出器２８によって用
いられる顔検出方法は、ここに参考のため引用された、
本願と同一出願人による、1998年7月9日に発明者H. C.
Lee及びH. Nicponskiの名前で出願された、発明の名称
が"A Method for Detecting Human Faces in Digitized
Images"である米国特許出願第09/112，661号明細書に
開示される方法に基づく。

【００４４】図８を参照するに、米国特許出願第09/11
2,661号に開示された方法が概略的に示される。入力画
像は、ステップＳ１０２において、優勢な全体照明を補
償するため色バランス調整される。色バランス調整は、
（ｒ，ｇ，ｂ）値から（Ｌ，ｓ，ｔ）値への変換を含
む。（Ｌ，ｓ，ｔ）空間中、Ｌ軸は色の明るさを表わ
し、ｓ軸及びｔ軸はクロマ軸を表わす。ｓ成分は、昼光
からタングステン光まで、青から赤までの光源の変化を
近似的に表わす。ｔ成分は、緑とマゼンタの間の軸を表
わす。中間色への平均化のような簡単な方法を含む多数
の周知の色バランスアルゴリズムをこの手順に使用する
ことができる。次に、ステップＳ１０４において、ｋモ
ードクラスタ化アルゴリズムが色セグメント化のために
使用される。このアルゴリズムは、ここに参考のため引
用された米国特許第5,418,895号明細書に記載されてい
る。基本的に、（Ｌ，ｓ，ｔ）空間中の３次元色ヒスト
グラムは、入力カラー画像から形成され、クラスタ化ア
ルゴリズムによって処理される。この手順の結果によ
り、連結された各領域にユニークなラベルの付けられた
領域マップが得られる。各領域について、平均化された
ルミナンス及び色度がステップＳ１０６で計算される。
これらの特徴は、条件付き確率及び適応閾値処理に基づ
いて、可能な肌領域（候補肌領域）を予測するために使
用される。ステップＳ１０８において、各肌領域に最も
よい楕円を当てはめることにより、各肌領域のスケール
及び平面内の回転ポーズの推定値が得られる。これらの
推定値の近傍でスケール及び平面内の回転ポーズの範囲
を用いることにより、ステップＳ１１０において、仮の
顔特徴を同定するために、一連の線形フィルタリング手
順が各顔領域に対して適用される。ステップＳ１１２に
おいて、領域が実際に顔特徴を表す尤度と、領域が表す
顔特徴のタイプとを予測するために多数の確率計量が用
いられる。

【００４５】先行するスクリーニング手順を通った特徴
は、ステップＳ１１４において、予想顔についての初期
特徴として使用される。投影幾何学を用いることによ
り、３つの初期特徴の同定は、頭部の姿勢の候補範囲を
定義する。顔の姿勢の各候補は、包括的な３次元の頭部
モデル及び顔特徴の位置の変化の範囲と共に、残りの顔
特徴の位置を予測するために使用される。予測された特
徴の位置が見つかるかどうかを調べるために、候補顔特
徴のリストが探索される。候補顔特徴の位置及び向きが
予測された位置及び向きに近ければ、その特徴の有効性
の確率的推定値に影響が及ぶ。

【００４６】ステップＳ１１６において、顔の存在を示
す累積された証拠を理解するために、頭部のベイズネッ
トワーク確率モデルが使用される。ネットワークの事前
確率は、様々な向きとスケールの頭部が含まれる大量の
学習画像の組から抽出される。ネットワークは、候補顔
の予想された特徴から始まり、ネットワークの推定確率
は、計算された計量とテンプレートに対する空間的な一
致度に基づく。次に、ネットワークは、これらの初期条
件から始めて、顔の存在の確率の大域的な推定値へ収束
するまで実行される。この確率は、固い閾値と比較さ
れ、或いは、２値評価が必要でなければ確率形式のまま
にされる。この肌及び顔検出方法の更なる詳細は、ここ
に参考のため引用された米国特許出願第09/112,661号明
細書に記載されている。

【００４７】［肌面積］写真中の肌／顔面積の割合は、
その割合自体を特徴として得るために、或いは、人物検
出及びクローズアップ検出の予備段階として、肌面積検
出器２０によって計算される。そのため、肌面積検出器
２０の出力は、分類段１４に接続されると共に、クロー
ズアップ検出器２２及び人物検出器２４へ接続される。
肌面積は、０乃至１の範囲の連続的な変数であり、人物
関連特徴の数に相関する。たとえば、等距離から撮影さ
れた写真に関して、肌面積が増加するということは、写
真に写っている人物が増えることを意味し、「集合写
真」であるという明確な標識と相関する。或いは、２枚
の写真に同数の人物が写っている場合、肌面積が増加す
ることは倍率が大きくなることを示し、これは「クロー
ズアップ」という明確な属性と相関する。肌面積の増加
に関するその他の説明として、被写体の配置を理由に挙
げることも可能である。

【００４８】［クローズアップ］クローズアップ検出器
２２は、クローズアップを判定するために以下の手段を
使用する。 （ａ）肌検出が実行され、結果として得られたマップが
（境界線から２５％離れた）中央領域で調べられる。 （ｂ）クローズアップは、画像の中央部分における肌面
積の割合として決められる。

【００４９】ある種の場合に、肌検出よりも顔検出の方
がクローズアップの判定に適している。

【００５０】［人物の存否］人物の存否は、画像中にか
なりの量の肌面積が存在する場合には、人物検出器２４
によって検出される。画像中の肌画素の割合が計算さ
れ、肌の割合が画素数の閾値Ｔ_ｆ（たとえば、Ｔ_ｆ＝２
０画素）を超えるときに人物が存在すると想定される。
人物の存否は、人物が存在する場合に１、存在しない場
合に０を示す２進数で表される２値特徴である。

【００５１】［構図特徴］良い構図は画像重要度の非常
に重要な積極的な属性であり、悪い構図は一般的には消
極的な属性である。画像の構図の自動評価は非常に困難
であり、場合によっては主観的である。良い構図は、三
分の一の法則といった多数の一般的な周知の法則に従う
が、このような規則は、しばしば撮影者の感覚を表現す
るため守られない。

【００５２】［主被写体検出］主被写体検出器３４によ
って用いられる検出器は、本願と同一出願人による、19
98年12月31日に出願された、発明者がJ. Luo、S. Etz及
びA. Singhalであり、発明の名称が"Method for Automa
tic Determination of Main Subjects in Consumer Ima
ges"である、米国特許出願第09/223,860号明細書に開示
されている。図９には、米国特許出願第09/223,860号に
開示された主被写体検出方法を概略的に表わすブロック
図が示される。まず、ステップＳ２００において、自然
のシーンの入力画像が撮影され、デジタル形式で記憶さ
れる。次に、ステップＳ２０２において、画像は均質な
性質の幾つかの領域へセグメント化される。次に、ステ
ップＳ２０４において、領域セグメントは、目的のない
無目的知覚グループ化を通じて類似性指標に基づいて、
より大きい領域へグループ化され、ステップＳ２０６に
おいて、目的のあるグループ化（合目的グループ化は特
定の物体に関連する）を通じて知覚的に一貫した物体に
対応するより大きい領域へ更にグループ化される。ステ
ップＳ２０８において、領域は、構造的顕著性特徴と意
味論的顕著性特徴の二つの独立した相補的な顕著性特徴
について評価される。ステップＳ２０８ａにおいて、低
レベル早期視覚特徴の組及び幾何学的特徴の組を含む構
造的顕著性特徴が抽出され、これらの特徴は、独立顕著
性特徴の組及び相対顕著性特徴の組を生成するため更に
処理される。ステップＳ２０８ｂにおいて、前景（例え
ば人物）又は背景（例えば空、草）のいずれかの一部で
ある可能性の高いキー被写体物の形式で意味論的顕著性
特徴が検出され、意味論的な手がかり及びシーン前後関
係の手がかりを与える。ステップ２１０において、両方
のタイプの証拠がベイズネットに基づく推論エンジンを
用いて統合され、ステップ２１２で主被写体の最終確信
度マップが得られる。

【００５３】画像の意味論的な解釈のためには、単一の
規準では明らかに不十分である。人間の脳は、先験的な
知識と、実世界の被写体及びシナリオについての膨大な
記憶とを有しており、シーン中の興味深い被写体又は主
な被写体を評価するために異なる主観的な規準を組み合
わせる。拡張的な特徴リストに含まれる特徴、すなわ
ち、場所、寸法、明るさ、色彩、テクスチャ十分性、キ
ー被写体物、形状、対称性、空間的関係（包囲性／オク
ルージョン性）、境界性、屋内／屋外、向き、（適用可
能であれば）深度、及び（ビデオシーケンスについて適
用可能であれば）動きは、主被写体検出のような多少と
も漠然としたタスクを実行するときに人間の脳に影響を
与えると考えられる。

【００５４】低レベル早期視覚特徴には、色、明るさ、
及びテクスチャが含まれる。幾何学的特徴には、場所
（中心性）、空間的関係（境界性、隣接性、包囲性、オ
クルージョン性）、寸法、形状、及び対称性が含まれ
る。意味論的特徴には、肌、顔、空、草、及び、他の緑
の草木が含まれる。当業者は、本発明の範囲を逸脱する
ことなく、より多くの特徴を定義することが可能であ
る。主被写体検出アルゴリズムの更なる詳細は、ここに
参考のため引用された米国特許出願第09/223,860号明細
書に記載されている。

【００５５】上述の主被写体検出アルゴリズムは計算集
約的なアルゴリズムであり、被写体関連特徴のより小さ
い組に基づいて被写体検出を行なう他のアルゴリズムが
使用される。ここで考えられる全ての構図指標は、主被
写体確信度マップに関する指標であるため、最も計算的
に効率的な局面、たとえば、殆ど「中心性」指標に関係
する局面にシステムを集中させることが可能である。こ
れらの局面は、主被写体の判定の際に考慮されるので、
ある程度の精度を犠牲にして、全体の計算上の複雑さを
軽減する。このように、アルゴリズムを再び学習させる
ことなく、特徴を排除できることは、主被写体検出アル
ゴリズムにおいて使用されるベイズネットワークの有用
な性質である。第２に、主被写体検出器５０に供給され
る画像は正しい面が上向きであることがわかっているな
らば有利である。シーン中の領域の空間的な場所と関連
した被写体関連特徴は、この知識を反映するよう変更さ
れる。たとば、主被写体検出器５０は、シーンの向きが
わからない場合、主被写体領域の中心が加重された分布
を想定するが、向きがわからない場合、底辺の中心が加
重された分布を想定する。

【００５６】図３を参照するに、主被写体検出器５０に
おいて主被写体確信度マップが計算された後、主被写体
確信度マップは、クラスタ化段３１において、強度値の
ｋ平均クラスタ化を用いて三つの領域へ分割される。三
つの領域は、主被写体の一部である可能性が高い画素、
主被写体の一部である可能性が低い画素、及び、中間画
素に対応する。量子化されたマップに基づいて、以下図
５Ａ乃至図５Ｄを参照して説明されるように、主被写体
の寸法、中心性、コンパクト性、関心（分散）の特徴が
計算される。

【００５７】［主被写体分散］写真の内容を特徴付ける
ための一つの方法は、写真の興味深さ、すなわち、関心
度を示すことである。重要度画像選択のため、以下の特
徴を備えた画像は関心度が高い画像であると考えられ
る。 ・主被写体は、フレーム内での配置によって関心度が高
くなる。 ・主被写体は、写真のかなり大きい面積を構成するが、
フレーム全体を構成するものではない。 ・背景は、主被写体から注意を逸らす孤立した物体を含
まない。

【００５８】各画像の関心度の推定値は、主被写体マッ
プ中の分散を推定することによって計算される。この特
徴は、主に反例としての価値があり、すなわち、関心度
の高くない画像は重要度画像とするべきではない。特
に、図５Ａに示されるように、主被写体分散検出器３
０．１は主被写体分散を計算するために以下の手順を行
う。最初に、ステップＳ１０において、全ての被写体確
信度マップ値の統計的な分散ｖが計算される。ステップ
Ｓ１２において、主被写体分散特徴ｙは、以下の式、 ｙ＝ｍｉｎ（１，２．５＊ｓｑｒｔ（ｖ）／１２７．
５） によって計算される。

【００５９】［主被写体中心性］主被写体の中心性は、
量子化された主被写体確信度マップにおける画像中心と
高い確率（或いは中間の確率）の領域の重心との間の距
離として計算される。特に、図５Ｂに示されるように、
主被写体中心性検出器３０．２は、主被写体中心性を計
算するため以下の手順を実行する。最初に、ステップＳ
２０において、最高値クラスタの重心の画素座標が測位
される。ステップＳ２２において、画像中心から重心ま
でのユークリッド距離ｊが計算される。ステップＳ２４
において、ユークリッド距離ｊを画像の短辺に沿った画
素の数で除算することにより、正規化された距離ｋが計
算される。ステップＳ２６において、主被写体中心性特
徴ｍは、以下の式、 ｍ＝ｍｉｎ（ｋ，ｌ） に従って計算される。

【００６０】［主被写体寸法］主被写体の寸法は、量子
化された主被写体確信度マップにおける高い確率（並び
に、随意的には中間の確率）の領域の寸法によって決定
される。主被写体寸法は、高い確率（並びに、随意的に
は中間の確率）の領域によって占められる中央面積（境
界から２５％）の割合として表現される。特に、図５Ｃ
に示されるように、主被写体寸法検出器３２は、主被写
体の寸法を計算するため以下の手順を行なう。最初に、
ステップＳ３０において、最高値クラスタと画像面積の
矩形状中心部１／４が交差する部分の画素数ｆが計数さ
れる。ステップＳ３２において、主被写体寸法特徴ｇ
は、以下の式、 ｇ＝ｆ／Ｎ に従って計算される。但しＮは画素の総数を表す。

【００６１】［主被写体コンパクト性］主被写体のコン
パクト性は、量子化された主被写体確信度マップにおけ
る高い確率（並びに、随意的には中間の確率）の領域に
対する境界矩形を計算し、次に、主被写体によって占領
された境界矩形の割合を調べることによって推定され
る。特に、図５Ｄに示されるように、主被写体コンパク
ト性検出器３０．３は、主被写体のコンパクト性を計算
するため以下の手順を行なう。最初に、ステップＳ４０
において、最高値クラスタ中の画素数ａが計数される。
ステップＳ４２において、最高値クラスタ中の全画素を
含む最小ボックス（境界ボックス）が計算され、ステッ
プＳ４４において、境界ボックスの面積ｂが画素単位で
計算される。ステップＳ４６において、主被写体のコン
パクト性特徴ｅは、以下の式、 ｅ＝ｍｉｎ（１，ｍａｘ（０，２＊（ａ／ｂ−０．
２））） によって計算される。但し、ｅは０乃至１（０及び１を
含む）の値となる。

【００６２】［分類段階］上述のアルゴリズムによって
生成される特徴量は、分類段１４に適用される。分類段
１４は、望ましくは、独立顕著性特徴及び／又は相対顕
著性特徴を入力として受け入れ、画像評価（重要度及び
注目度）値を発生するよう学習される推論エンジンであ
る。異なる証拠は、人間の観察者による実際の画像の評
価であるグランドトゥルース調査の結果から得られた知
識に従って、相互に競合し、或いは、相互に補強する。
競合及び補強は、推論エンジンの推論ネットワークによ
って解決される。好適な推論エンジンはベイズネットワ
ークである。

【００６３】ベイズネット（たとえば、J. Pearl, Prob
abilistic Reasoning in Intelligent Systems, San Fr
ancisco, CA: Morgan Kaufmann, 1988を参照）は、グラ
フ内の様々なエンティティ間の因果関係を表現する非循
環性の有向グラフである。リンクの向きはグラフ中の様
々なエンティティ間の因果関係を表わし、リンクの方向
が因果を表わす。評価は、様々なエンティティ間の結合
確率分布関数（ＰＤＦ）についての知識に基づいて行な
われる。ベイズネットの利点には、不確実性の特徴付け
が明示的であること、計算が効率的であること、構築及
び保守が容易であること、学習が迅速であること、及
び、ネットワーク構造及びそのパラメータの変化に対し
素早く適応することが含まれる。ベイズネットは以下の
４つの構成要素からなる。 ・Ｐｒｉｏｒｓ：ベイズネット中の様々なノードについ
ての最初の確信度。・条件付き確率行列（ＣＰＭ）：ベ
イズネット中の２つの連結されたノード間の関係につい
ての専門知識。 ・証拠：ベイズネットに入力される特徴検出器からの観
察結果。 ・Ｐｏｓｔｅｒｉｏｒｓ：ベイズネットを通じて証拠が
伝播された後の最終的な計算された確信度。

【００６４】学習のための最も重要な構成要素は、図１
中、ＣＰＭ段１５．１．．．１５．９（図２中、１５．
１．．．１５．７）として示されるＣＰＭの組である。
なぜならば、ＣＰＭ段は、利用可能な特定のアプリケー
ションについてのドメイン知識を表わすからである。Ｃ
ＰＭの導出は、ベイズネットのような推論エンジンを利
用する分野の熟練者には周知であるが、以下の説明で
は、典型的なＣＰＭの導出について考える。

【００６５】図１及び図２を参照するに、本例のシステ
ムにおいて単純な２階層ベイズネットが使用される。重
要度（又は注目度）スコアは根ノードにおいて決定さ
れ、全ての特徴検出器は葉ノードにある。各リンクは、
同じ階層の他のリンクから条件付きで独立していると仮
定され、各リンクを別々に学習することによって、すな
わち、他のリンクから独立した所与のリンクについてＣ
ＰＭを導出することによって、ネット全体が都合よく学
習されることに注意する必要がある。この仮定は、実際
には破られることが多いが、独立性による簡単化によっ
て、容易に実施できるようになり、妥当な結果が得られ
る。これにより、他の分類器又は推論エンジンとの比較
用の基準が得られる。

【００６６】［確率論的推論］全ての特徴は、ベイズネ
ットによって統合され、重要度値又は注目度値を生ず
る。一方で、異なる証拠は、他の証拠と相互に競合する
か、若しくは、矛盾する。他方で、異なる証拠は、典型
的な写真シーンの事前モデル又は知識に従って、相互に
補強し合う。競合及び補強は共に、ベイズネットに基づ
く推論エンジンによって解決される。

【００６７】図１０を参照するに、様々な特徴検出器間
の条件的独立性を仮定する本発明では、２階層ベイズネ
ットが用いられる。重要度値又は注目度値は根ノード４
４で決定され、全ての特徴検出器は葉ノード４６にあ
る。各画像について一つのベイズネットが有効である。
本発明は、本発明の範囲を逸脱することなく、３階層以
上の階層を有するベイズネットと共に使用できると理解
される。

【００６８】［ベイズネットの学習］ベイズネットの利
点の一つは、各リンクが同じ階層にある他のリンクとは
独立になることである。従って、ベイズネットは、各リ
ンクを別々に学習することにより、すなわち、他のリン
クとは独立した所与のリンクについてＣＰＭ１５．
１．．．１５．９を導出することによって、ネット全体
を学習させるのに便利である。一般的に、根特徴ノード
対毎にＣＰＭを得るため２つの方法が使用される。

【００６９】１．専門知識を用いる方法 これはアドホックな方法である。専門家は、アピール性
の高い画像が与えられた場合に、高出力又は低出力を生
じる各特徴検出器の条件付き確率を得るため助言を求め
られる。

【００７０】２．偶然性テーブルを用いる方法 これは、サンプリング・相関方法である。各特徴検出器
の多数の観察結果は、重要度又は注目度についての情報
と共に記録される。これらの観察結果は、偶然性テーブ
ルを作成するため一つに集められ、偶然性テーブルは、
正規化されたときに、ＣＰＭ１５．１、．．．、１５．
９として使用される。この方法は、ニューラルネットワ
ーク型の学習（訓練）に似ている。本発明ではこの方法
が望ましい。

【００７１】一例として任意の特徴についてのＣＰＭに
ついて考える。この行列は、グランドトゥルース及び特
徴検出器から導出された偶然性テーブルを用いて生成さ
れる。特徴検出器は、一般的には、２値決定（テーブル
１を参照）を行なわため、ＣＰＭを導出するときには分
数的な頻度計数が用いられる。ＣＰＭのエントリは、以
下の式、

【００７２】

【数９】 によって決定される。式中、Ｉは全ての学習画像グルー
プの組であり、Ｒ_ｉはグループｉ中の全画像の組であ
り、ｎ_ｉはグループｉについての観察結果（観察者）の
数である。更に、Ｆ_ｒは画像ｒについてのＭラベル特徴
ベクトル、Ｔ_ｒはＬレベルのグランドトゥルース・ベク
トル、Ｐは正規化定数係数のＬ×Ｌの対角行列を表わ
す。たとえば、表１における画像１、４、５、７は、表
２におけるボックス００、１１、１０、０１に寄与す
る。全ての確信度値は適正な確信度センサによって正規
化されている。中心性についてのＣＰＭの第１の列の直
感的な解釈として、高い特徴値を有する画像の注目度
は、高い特徴値をもたない画像の注目度の２倍になる可
能性がある。

【００７３】

【表１】

【００７４】

【表２】 以上の通り、本発明はベイズネットについて使用する場
合について説明されているが、ベイズネットの代わりに
異なる推論エンジンを使用してもよい。たとえば、B.
D. Ripleyによる"Pattern Recognition and Neural Net
works", (Cambridge University Press, 1996) には、
多種の分類器が記載され、この分類器は、正しい特徴を
備えることが通常は最も重要視され、パターン認識問題
を解くために使用される。このような分類器は、線形判
別式解析法、柔軟な判別式、（フィードフォワード）ニ
ューラルネットワーク、ノン・パラメトリック法、木構
造分類器、確信度ネットワーク（たとえば、ベイズネッ
トワーク）を含む。これらの方法に関する当業者には明
らかであるように、上述の分類器は、いずれも、本発明
を実施するための推論エンジンとして採用可能である。

【００７５】［コンピュータシステム］本発明の説明に
おいて、本発明は、好ましくは、パーソナルコンピュー
タのような任意の周知のコンピュータシステムに利用さ
れることが明らかである。したがって、コンピュータシ
ステムについての詳細な説明は行わない。また、画像
は、’（たとえば、デジタルカメラによって）コンピュ
ータシステムに直接入力されるか、又は、コンピュータ
システムへ入力される前に（たとえば、ハロゲン化銀フ
ィルムのような原像を操作することによって）デジタル
化される。

【００７６】図１１を参照するに、本発明を実施するコ
ンピュータシステム１１０が示されている。コンピュー
タシステム１１０は、本発明の好ましい実施例を説明す
る目的のため例示されたものであり、本発明は、図示さ
れるようなコンピュータシステム１１０に限定されるこ
とがなく、任意の電子処理システムで使用される。コン
ピュータシステム１１０は、ソフトウェアプログラムを
取得し実行し、他の処理機能を実行するマイクロプロセ
ッサベースユニット１１２を含む。ディスプレイ１１４
は、マイクロプロセッサベースユニット１１２に電気的
に接続され、たとえば、グラフィカル・ユーザ・インタ
フェースを用いて、ソフトウェアに付随したユーザ関連
情報を表意する。キーボード１１６は、マイクロプロセ
ッサベースユニット１１２に接続され、ユーザがソフト
ウェアに情報を入力できるようにさせる。入力のためキ
ーボード１１６を使用する代わりに、従来技術において
周知のように、マウス１１８を使用し、ディスプレイ１
１４上でセレクタ１２０を移動させ、セレクタ１２０が
上に重なった項目を選択してもよい。

【００７７】コンパクトディスク読出し専用メモリ（Ｃ
Ｄ−ＲＯＭ）装置１２２は、マイクロプロセッサベース
ユニット１１２に接続され、典型的にソフトウェアプロ
グラムを収容したコンパクトディスク１２４を介して、
ソフトウェアプログラム及びその他の情報をマイクロプ
ロセッサベースユニット１１２へ入力する手段を提供す
る。本発明によれば、このソフトウェアプログラムは、
ここで説明する画像評価プログラム、並びに、自動画像
圧縮プログラムのように画像評価プログラムの出力を利
用するプログラムを含む。さらに、フレキシブルディス
ク１２６は、ソフトウェアプログラムを収容し、マイク
ロプロセッサベースユニット１１２に挿入され、ソフト
ウェアプログラムをマイクロプロセッサユニットへ入力
してもよい。さらに、マイクロプロセッサベースユニッ
ト１１２は、従来技術において周知の如く、ソフトウェ
アプログラムを内部に保存するようにプログラムしても
よい。マイクロプロセッサベースユニット１１２は、更
に、ローカル・エリア・ネットワーク若しくはインター
ネットのような外部ネットワークへのネットワークコネ
クション１２７、たとえば、電話回線、を具備する。こ
の場合、プログラムは、遠隔サーバーに保持され、遠隔
サーバーから入手され、或いは、必要に応じてダウンロ
ードされる。プリンタ１２８は、マイクロプロセッサベ
ースユニット１２に接続され、コンピュータシステム１
０の出力のハードコピーを印刷する。

【００７８】画像は、従来から知られているように、
（パーソナルコンピュータメモリカード国際機構の規定
に基づく）ＰＣＭＣＩＡカードのようなパーソナルコン
ピュータカード（ＰＣカード）１３０を介して、ディス
プレイ１１４に表示される。ＰＣＭＣＩＡカードは、デ
ジタル化された画像がカード１３０内に電子的に埋め込
まれている。ＰＣカード１３０は、ディスプレイ１１４
上に画像が視覚的に表示されるように、最終的にマイク
ロプロセッサベースユニット１１２に挿入される。画像
は、コンパクトディスク１２４、フレキシブルディスク
１２６、若しくは、ネットワークコネクション１２７を
介して入力される。ＰＣカード１３０、フレキシブルデ
ィスク１２６若しくはコンパクトディスク１２４に蓄積
された画像、又は、ネットワークコネクション１２７を
経由した画像は、デジタルカメラ（図示せず）若しくは
スキャナ（図示せず）のような種々のソースから取得さ
れる。

【００７９】図１２は、画像の圧縮量を決定するため画
像重要度及び注目度を利用する本発明の一局面の説明図
である。より詳細には、項目１２００は、本発明の画像
重要度及び注目度プロセッサ１２０２に入力された非圧
縮画像を表現する。プロセッサ１２０２は、上述の処理
を使用して、各画像の重要度及び注目度を決定する。画
像は、高重要度／注目度１２１０から低重要度／注目度
１２１４へ格付け１２１０〜１２１４される。画像は、
圧縮器１２０４で圧縮される。より詳細には、画像は、
圧縮比若しくは再生画像品質を制御することが可能であ
る通例的な圧縮技術、たとえば、ＪＰＥＧ静止画像圧縮
標準を用いて圧縮される（Digital compression and co
ding of continuous−tone still images − Part I: R
equirements and Guidelines (JPEG), ISO/IEC Interna
tional Standard 10918−1, ITU−R Recommendation T.
81, 1993、W.B. Pennbaker and J.L. MItchell, JPEG S
till Image Data Compression Standard, Van Norstrad
Reinhold, New York, 1993、又は、ISO/IEC Internati
onal Standard 15444−1、若しくは、ITU−T Recommend
ation T.800:JPEG 2000 Image Coding Systemに記載さ
れるJPEG2000を参照のこと）。

【００８０】しかし、圧縮器１２０４は、全ての画像を
均等に圧縮するのではなく、高重要度／注目度を有する
画像が低重要度／注目度の画像よりも圧縮される度合い
が小さくなるように、選択的に圧縮する。低重要度画像
を高圧縮率で圧縮する理論的根拠は、ユーザが低重要度
／注目度の画像のディテールに対してあまり関心がな
く、かつ、必要性を感じない、という前提に基づいてい
る。これに対し、ユーザは、高重要度／注目度画像のデ
ィテールをよく調べたいという気持ちに駆られるであろ
う。したがって、本発明は、高重要度／注目度画像の方
のディテールをより多く維持する。

【００８１】図１２の右側に示されるように、高重要度
／注目度画像１２１０は、比較的に圧縮の程度が低い
（１２２０）。低重要度／注目度画像１２１４は、かな
り圧縮の程度が高い（１２２４）。残りの画像１２１１
乃至１２１３は、同様に、項目１２２１〜１２２３に示
されるように扱われる。

【００８２】図１３は、画像重要度／注目度の程度を圧
縮パラメータに変換する好ましい一実施例の説明図であ
る。重要度／注目度の程度は横軸に示され、特定のアル
ゴリズムを使用した場合に得られる圧縮の程度を制御す
る圧縮パラメータは、ｙ軸に示される。一般的に、低重
要度／注目度画像は、高圧縮率で圧縮され、高重要度／
注目度画像は、低圧縮率で圧縮されるか、若しくは、全
く圧縮されないまま保持される。本発明は、図１３に示
された圧縮曲線が広範囲のシステム要求条件及び圧縮ア
ルゴリズムの選択に対処するように設計可能である、と
いう点で非常に柔軟性に富む。次に、この点を更に説明
するため、数通りの実施例を挙げる。

【００８３】本発明の一実施例において、選択された圧
縮方法はＪＰＥＧ圧縮標準であり、ｙ軸に示された圧縮
パラメータは、後述のように品質係数ＱＦである。ＱＦ
値のレンジは、典型的に、０から１００の範囲で選択さ
れ、ＱＦ＝＋１００は圧縮無しを表わし、ＱＦ＝０は、
ＪＰＥＧで達成可能な最大圧縮を生じる。図１４に示さ
れるように、重要度／注目度スコアは、（ＱＦ_min，Ｑ
Ｆ_max）のレンジに収まる品質係数にマッピングされ
る。ここで、ＱＦ_min及びＱＦ_maxは、アプリケーション
の要求条件に応じて定められる。ＱＦ値の規定について
詳述する。

【００８４】簡単には、ＪＰＥＧ圧縮を使用する場合、
デジタル画像は、画素値からなる８×８のブロックにフ
ォーマットされ、離散コサイン変換（ＤＣＴ）として公
知の線形逆相関変換が各ブロックに適用去れ、ＤＣＴ係
数の８×８のブロックが生成される。ＤＣＴ係数は、次
に、周波数依存形均一スケーラ（拡大縮小）量子化器を
用いて、正規化され量子化される。

【００８５】ＪＰＥＧ標準の場合、係数毎に別個の量子
化幅サイズを指定することが可能である。これにより、
ユーザは、係数毎に量子化によって生じる歪みを制御で
きるようになる。量子化器幅サイズは、種々のＤＣＴ係
数の相対的な知覚重要性に基づいて設計すること、或い
は、アプリケーションに依存したその他の規準に従って
設計することが可能である。８×８形の各ブロック内の
６４個のＤＣＴ係数に対応した量子化器幅サイズは、量
子化テーブル、すなわち、Ｑテーブルと呼ばれる８×８
形のユーザ定義配列の要素によって指定される。Ｑテー
ブルは、ＪＰＥＧシステムにおいて、圧縮ファイルサイ
ズ及び圧縮解除（伸長）画像品質を制御するため主要な
コンポーネントである。

【００８６】量子化変換係数の各ブロックは、エネルギ
ーが概ね減少する順番に量子化係数を並べ替える予め定
義されたジグザグ走査を用いて、１次元ベクトルに順序
付けられる。通常、この結果として、ランレングス符号
化法によって効率的に符号化することが可能である零量
子化値の長いランが得られる。個別の非零量子化値と、
それよりも前に続く零値の個数は、ハフマン符号化法の
ような最小冗長度符号化スキームを使用して、振幅／振
幅のペアとして符号化される。２進符号化変換係数は、
Ｑテーブル規約のような情報を収容する画像ヘッダと共
に、記憶装置に保持されるか、又は、チャネルを経由し
て送信される。

【００８７】上述の通り、ＪＰＥＧにおける圧縮ファイ
ルサイズに対して画質を巧く調整する機能は、Ｑテーブ
ルの要素を操作することによって実現される。一般的
に、Ｑテーブルの６４個の成分の中の各成分は、所望の
画質及びファイルサイズ（又は、等価的には、所望の圧
縮率若しくはビットレート）、又は、画質を達成するた
め、相互に独立して操作される。しかし、殆どのアプリ
ケーションでは、一般的に、基本Ｑテーブルの全要素が
単一の定数を用いて単純にスケール倍（拡大・縮小）さ
れる。たとえば、所与のＱテーブルの全要素に、単位元
よりも大きいスケール係数を乗算することは、各係数の
量子化を粗くし、画質を低下させるであろう。しかし、
同時に、ファイルサイズは縮小される。これに対し、単
位元よりも小さいスケール係数を乗算することによっ
て、量子化は精細化され、画質は向上するが、ファイル
サイズが大きくなる。画質を圧縮ファイルサイズとの関
係で巧く調整するためのこのスケーリング法は、インデ
ィペンデント（独立系）ＪＰＥＧグループ（ＩＪＧ）を
含むＪＰＥＧ圧縮製品の多数の開発者によって提言され
ている。ＩＪＧのフリーソフトウェアは、ＪＰＥＧ圧縮
用ツールとして最も普及しているソフトウェアであろ
う。このソフトウェアの最新バージョンは、現時点で、 ftp://ftp.uu.net/graphics/jpeg/ から入手可能である。このＩＪＧの実装形態では、ＩＪ
Ｇ品質係数（ＱＦ）として知られているパラメータを使
用して基準Ｑテーブルを拡大縮小する。ＩＪＧ品質係数
は、以下の関係に従って、１乃至１００の値を倍数スケ
ーリング因子に変換する。

【００８８】すなわち、ＱＦの値は、０（最低品質）か
ら１００（最高品質）の範囲に亘る。ＱＦ＝５０におい
て、基準Ｑテーブルの全要素は１でスケーリングされ
る。１〜１００のレンジ内のＱＦの値に対し、もし、
ＱＦ＜５０ であるならば、 ＱＦ＝５０００／ＱＦで
あり、さもなければ、 ＱＦ＝２００−２×ＱＦであ
る。

【００８９】百分率で表現されたＱＦの値が基準テーブ
ルを拡大縮小するため使用される。たとえば、ＱＦ＝２
０であるならば、ＱＦテーブルの要素は、２．５０倍さ
れる。ＱＦ＝１００であるならば、Ｑテーブルの要素
は、１にセットされる。ＱＦ＝０の場合、Ｑテーブルの
要素は２５５（ＪＰＥＧによる最大許容値）にセットさ
れる。

【００９０】既に説明したように、また、図１４に示さ
れるように、本発明において、重要度／注目度スコア
は、レンジ（ＱＦ_min，ＱＦ_max）内のＱＦ値にマッピン
グされ、ここで、Ｑテーブル（ＱＦ値で拡大されてい
る）と、ＱＦ_min及びＱＦ_maxとは、アプリケーションの
要求に応じて、ユーザによって指定される。当業者に
は、品質係数ＱＦ値を定義するために、ＩＪＧによって
使用された定義以外の方法もあり得ることが明らかであ
ろう。このような変更は、圧縮パラメータを品質係数に
関連付ける考え方を逸脱することなく、請求項に記載さ
れた範囲内で、開示された実施例に対してなし得るであ
ろう。

【００９１】本発明の他の実施例において、圧縮法とし
てＪＰＥＧ圧縮標準が選択され、図１３のｙ軸に示され
た圧縮パラメータは、圧縮率又は生成された圧縮ファイ
ルのサイズである。この様子は図１５に示されている。
図１５では、ユーザは、特定のアプリケーションによっ
て許容可能な最小ファイルサイズＲ_min（又は、最大圧
縮率ＣＲ_max）を定義する。また、ユーザは、この特定
のアプリケーションで必要とされる最高画質を得ること
ができる最大ファイルサイズＲ_max（又は、最小圧縮率
ＣＲ_min）を定義する。次に、ユーザは、アプリケーシ
ョンの要求に基づいて、重要度／注目度スコアを圧縮フ
ァイルサイズ（又は圧縮率）に関係付ける曲線を指定す
る。この曲線の一例が図１５に示されている。所与の重
要度／注目度スコアに対し、得られた圧縮率は、画像を
圧縮するための目標として使用される。ＪＰＥＧ圧縮
は、固定レートの圧縮方式ではないので、目標ファイル
サイズ（又は圧縮率）を達成するまでに、数回の圧縮の
繰り返しが必要であることに注意する必要がある。

【００９２】本発明の他の実施例において、選択された
圧縮法は、ＪＰＥＧ２０００圧縮標準であり、図１３の
ｙ軸で示された圧縮パラメータは、直前で説明した実施
例と同様に、圧縮率又は得られた圧縮ファイルサイズで
ある。ＪＰＥＧ２０００標準は、画像を目標ファイルサ
イズまで簡単に圧縮することが可能であるため、本実施
例の場合に、所望の圧縮率若しくはファイルサイズを達
成するために繰り返しは不要である。

【００９３】ＪＰＥＧ若しくはＪＰＥＧ２０００以外の
画像圧縮方法を利用できること、並びに、圧縮及び圧縮
解除後の再生画像の品質に関係するような圧縮パラメー
タを定義する他の手段を利用できることは、当業者には
明らかである。本発明の重要な特徴は、重要度／注目度
スコアが、画像を圧縮するため使用される圧縮パラメー
タの選択に影響を与えることによって、画像に適用され
る圧縮の程度を制御する手段として、又は、再生（圧縮
／圧縮解除）画像品質を制御する手段として、任意の所
望の形式で使用できることである。

【００９４】画像が大量の記憶空間を必要とすること
は、画像処理の世界に固有の問題を生じさせる。したが
って、画像圧縮は、当面の記憶装置技術の記憶容量を拡
大するために一般的に使用される。しかし、このような
画像圧縮は、かなりの量のディテールを失わせ、圧縮後
の画質を低下させる。本発明は、より重要な（重要度／
注目度がより高い）画像のディテールの方を多く維持す
ることによって、この記憶空間の問題を解決する。さら
に、本発明によれば、あまり有用ではない可能性が高い
画像（重要度／注目度の低い画像）の圧縮量を増加さ
せ、記憶空間の消費量を節約することができる。事実
上、低重要度／注目度画像の方の圧縮量を増大させるこ
とにより、より高重要度／注目度の画像を圧縮しないま
まで保つ（若しくは、低い圧縮レベルを利用する）ため
に要する付加的な記憶空間を補うことが可能である。

【００９５】本発明の主要なテーマはデジタル画像理解
技術であり、このデジタル画像処理技術は、デジタル画
像を認識し、それにより、人間が理解可能な対象、属性
又は条件に対して有用な意味を割り当て、このようにし
て獲得された結果をデジタル画像の更なる処理で用いる
ため、デジタル画像をデジタル処理する技術を意味する
と理解される。

【図面の簡単な説明】

【図１】画像の重要度値を計算するネットワークの構成
図である。

【図２】画像の注目度値を計算するネットワークの構成
図である。

【図３】図１及び２に示されるような主被写体検出の構
成要素の詳細ブロック図である。

【図４】画像のグループの相対的な重要度値を計算する
ネットワークアーキテキチャの構成図である

【図５Ａ】図３示された主被写体検出を構成している方
法の詳細図（その１）である。

【図５Ｂ】図３示された主被写体検出を構成している方
法の詳細図（その２）である。

【図５Ｃ】図３示された主被写体検出を構成している方
法の詳細図（その３）である。

【図５Ｄ】図３示された主被写体検出を構成している方
法の詳細図（その４）である。

【図６】画像の色彩を判定する方法の詳細図である。

【図７】色彩特徴計算のため使用される色度平面の説明
図である。

【図８】肌及び顔の検出方法の説明図である。

【図９】図５に示されるような主被写体検出の詳細図で
ある。

【図１０】図１及び２に示されたネットワークで使用さ
れる２レベルベイズネットの説明図である。

【図１１】本発明を実施するコンピュータシステムの略
構成図である。

【図１２】本発明の画像圧縮システムの構成図である。

【図１３】本発明による好ましい圧縮スキームを表わす
グラフである。

【図１４】本発明による品質係数を表わすグラフであ
る。

【図１５】本発明による圧縮ファイルサイズを表わすグ
ラフである。

【符号の説明】

２０ 肌面積検出器 ２２ クローズアップ検出器 ２４ 人物検出器 ２６ 肌検出器 ２８ 顔検出器 ３０ 構図検出器 ３２ 被写体寸法検出器 ３４ 主被写体検出器 ３６ 鮮明度検出器 ３８ 色彩検出器 ４０ 独自フォーマット検出器 ４２ 代表色内容検出器 １２００ 画像 １２０２ 画像重要度及び注目度プロセッサ １２０４ 圧縮器 １２１０ 最高重要度／注目度画像 １２１１，１２１２，１２１３ 中間重要度／注目度
画像 １２１４ 最低重要度／注目度画像 １２２０ 最低圧縮率画像 １２２１，１２２２，１２２３ 中間圧縮率画像 １２２４ 最高圧縮率画像

───────────────────────────────────────────────────── フロントページの続き (72)発明者 マジド ラッバーニ アメリカ合衆国 ニューヨーク 14534 ピッツフォード ウェックスフォード・グ レン 36 (72)発明者 スティーヴン ポール エッツ アメリカ合衆国 フロリダ 34293 ヴェ ニス ランドー・コート 4023 Ｆターム(参考） 5C057 AA01 EA01 EA02 EA07 EM09 EM16 5C059 MA00 MA23 MC11 PP01 PP15 PP16 TA46 TB08 TC24 TC34 TD05 TD08 TD10 TD12 UA02 5C078 AA09 BA57 CA22 DA01 DB07 5L096 AA02 FA00 FA15

Claims (3)

【特許請求の範囲】
1. 【請求項１】 各画像の内容を含む一つ以上の特徴に関
   連した一つ以上の量を計算し、 一人以上の観察者の意見に基づいて訓練された推論アル
   ゴリズムを用いて該量を処理し、 該量を格付けすべき該画像に適用することにより、 画像重要度に基づいて画像を格付けする手順と、 該格付けに応じて該画像を可変的に圧縮する手順と、を
   有する画像を自動的に圧縮する方法。
2. 【請求項２】 該特徴は、人物に関連した特徴と被写体
   に関連した特徴のうちの少なくとも一方の特徴を含む、
   請求項１記載の方法。
3. 【請求項３】 第１の格付けがなされた第１の画像が、
   該第１の格付けよりも高い第２の格付けがなされた第２
   の画像よりも大量に圧縮されるように、該画像が可変的
   に圧縮される、請求項１記載の方法。