JP2002158870A - 画像の顕著性及びアピール性に基づいて写真印画の数、寸法、及び、倍率を変更する方法 - Google Patents

Abstract

(57)【要約】 【課題】 ユーザの介入を必要とせずにディジタル画像
から印画を作成するときにインテリジェントな決定を行
なうことができる自動ディジタルイメージングアルゴリ
ズムを提供することを目的とする。 【解決手段】 ディジタル画像から作成される印画の１
つ以上の属性を変更する方法において、印刷属性値は画
像の重要度、関心度又は注目度の決定に基づいてディジ
タル画像について計算され、結果として得られる印刷属
性値は画像から作成される印画の印刷属性を制御するた
めに用いられる。印刷属性値は、顕著性又はアピール性
値から導出され、アピール性値はそれ自体によって得ら
れる各画像の評価であり、顕著性値はグループのうちの
他の画像に関連した各画像についての評価である。典型
的な実施例では、印刷属性は、画像から作成される印画
の数、画像から作成される印画の寸法、又は、画像のた
めに用いられる倍率である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は概して画像処理の分
野に係り、特定的には画像評価及び画像理解の分野に関
する。

【０００２】

【従来の技術】画像評価及び画像理解は、人間の知的能
力によれば容易に解決することが出来るが完全に自動化
されたコンピュータシステムでは解決することが非常に
困難な問題を扱う。写真技術アプリケーションにおいて
重要であると考えられる画像理解の問題には、主被写体
検出、シーン分類、空及び草の検出、人物の検出、向き
の自動検出等がある。一群の写真を扱う種々のアプリケ
ーションでは、画像を論理的な順序でランク付けし、画
像がその順序で処理されること又は取り扱われることを
可能とすることが重要である。興味深い写真技術アプリ
ケーションは、ディジタル画像のグループがディジタル
写真アルバムへ自動的に編成される自動アルバム作成で
ある。自動アルバム作成では、画像は別々の事象へクラ
スタ化し、可能であれば各事象は何らかの論理的な順序
でレイアウトされる。この順序は、画像の相対的な内容
について少なくともいくらか配慮され、幾つかの画像が
他の画像よりも好ましいという信念に基づいた配慮がさ
れることを意味する。

【０００３】自動アルバム作成アプリケーションに関連
して、偽造品検出、事象検出、及び、ページレイアウト
アルゴリズムといった多数の公知のアルゴリズムが有用
である。偽造品検出は、複製画像及び質の悪い画像の除
去又は逆強調を行なうが、事象検出は、日付や時間とい
った一定の明確な規準によって画像を別々の事象へクラ
スタ化する。同じ事象に属する一組の画像が与えられて
いるとき、ページレイアウトは、例えば各ページ上の最
も見た目が良く空間効率の良い画像の表現を見つけるた
め、各事象を論理的且つ見た目の良い表現へレイアウト
することを目的とする。画像のグループのうちの最も重
要な画像、例えばページレイアウト中で最も注意を引く
に違いない画像を選択できることが望まれる。

【０００４】画像評価問題には、自動化されたシステム
は高水準の認知能力を備えた人間の（理解）過程を表わ
す結果を生じさせることが期待されるという性質がある
ため、評価システムの設計は難しい課題である。特定の
視覚的な印象を求めて文書を作成又は編集することを目
的として、テキスト及びグラフィックデータをその心理
学的な効果について評価する努力がされてきた（例え
ば、米国特許第５，８７５，２６５号及び第５，４２
４，９４５号を参照のこと）。’２６５号特許では、シ
ステムは、必要であれば操作者の助けを借りて、視覚的
な特徴を、操作者による使用のために表示される微妙な
言葉に対応付けるために、画像を解析する。このシステ
ムにおける困難な点は、視覚的な特徴が主に、必ずしも
画像内容に関連付けられていない低水準特徴、即ち、色
及びテクスチャに基づく特徴であり、言葉による記述は
画像の相対的なランク付けのために使用するには難しい
ことである。’９４５号特許は、文書中のテキスト及び
グラフィックスの心理学的な効果を評価するためのシス
テムを開示する。’９４５号特許の問題点は、特定の内
容に関わらず文書の全体的な視覚的な印象を評価し、相
対的なランク付けを作成するための有用性が低下するこ
とである。これらのシステムは、複雑であり、且つ、心
理学的な効果の認識を指向するだけでなく、実在の画像
の評価及び利用よりもむしろ知覚的な印象の解析及び作
成を重要視したものである。

【０００５】注文する印画の複製の数を決めるとき、通
常は画像についての少なくとも幾らかの判定が必要であ
る。現在利用可能な幾つかの光学的及びディジタル印刷
システムは、１つの入力画像に対して１以上の印画を印
刷する能力がある。一般的には、店頭においてダブルプ
リントオプションが抱き合わせで注文され、注文を受け
た各画像に対して２の印画が生成される。幾つかの印刷
システムには、何らかの状況では画像を全体として受け
つけないよう、元のディジタル画像又は写真フィルムネ
ガから得られるディジタル画像の画素値を解析するディ
ジタル画像処理アルゴリズムも含まれる。この種のアル
ゴリズムは、画像を評価し、画像を印刷するか否かにつ
いての決定を行なう。しかしながら、評価試験を通った
全ての画像について同数の印画が作成される。

【０００６】

【発明が解決しようとする課題】一般的に、一組の画像
に含まれる全ての画像が同じ美的な値を有するわけでは
なく、従って同じ数だけ複製されなくともよいことが理
解されている。ディジタルイメージングアプリケーショ
ンについての幾つかの現行の解法は、画像でない画素情
報に、要求される印画の数を示すディジタル画像を入れ
ることによってこの問題を扱ってきた。この情報は、画
像１つにつき作成される印画の数を変化させるためにデ
ィジタルプリンタによって使用される。或いは、印刷機
器の操作者、又は、消費者が、一組の画像に含まれる特
定の画像を手で個々に選び、選ばれた特定の画像を特に
強調し、より好ましくし、最終的には更なる複製を作成
する価値のあるものとするために使用されうる。しかし
ながら、これらの技術はいずれもユーザの介入を必要と
する。幾つの印画が作成されねばならないかについての
ユーザ入力なしにインテリジェントな決定を行なうこと
ができる自動ディジタルイメージングアルゴリズムが必
要とされている。

【０００７】

【課題を解決するための手段】本発明は、上述の１つ以
上の問題を克服することを目的とする。簡単に概説する
と、本発明の１つの面によれば、ディジタル画像から作
成される印画の１つ以上の印刷属性を変化させる方法が
開示され、この方法は、（ａ）画像の重要度、関心度、
又は注目度の決定に基づいてディジタル画像についての
印刷属性値を計算する手順と、（ｂ）画像から作成され
る印画の印刷属性を制御するために印刷属性値を使用す
る手順とを含む。典型的な実施例では、印刷属性は、画
像から作成される印画の数、画像から作成される印画の
寸法、又は、画像に対して用いられる倍率のいずれかで
ある。

【０００８】他の面では、本発明は画素からなるディジ
タル画像から作成される印画の１つ以上の印刷属性を変
化させる方法に関連し、方法は、（ａ）画素から得られ
る決定に基づいてディジタル画像についての印刷属性値
を計算する段階と、（ｂ）画像から作成される印画の
数、画像から作成される印画の寸法、又は画像に対して
用いられる倍率のいずれかを制御するために印刷属性値
を使用する段階を含む。

【０００９】１つの実施例では、印刷属性値は、画像の
本質的な重要度、関心度、又は注目度から決定されるア
ピール性値に基づく。画像がディジタル画像のグループ
のうちの１つである他の実施例では、印刷属性値は画像
のグループのうちの他の画像に対する画像の重要度、関
心度、又は注目度から決定される顕著性値に基づく。

【００１０】画像の重要度、関心度、又は注目度の決定
は、個々のディジタル画像の内容に関する１つ以上の特
徴を含む各ディジタル画像の１つ以上の特徴に関する１
つ以上の量が計算される幾つかの特徴についての画像の
評価に基づく。これらの量は１人以上の人間の観察者の
意見に従って学習される推論アルゴリズムで処理され、
各画像を評価する推論アルゴリズムから出力が得られ
る。本発明の従属した面では、ディジタル画像の内容に
関する特徴は、人間に関する特徴又は被写体に関する特
徴を含む。更に、ディジタル画像の１つ以上の客観的な
尺度に関連する追加的な量である例えば色彩の豊富さ
（即ちカラフルネス）や鮮明度が計算されうる。推論ア
ルゴリズムの結果は、一組の画像の各画像の質をランク
付けするために処理される。各ディジタル画像に適用さ
れる印刷属性は、それ自体として又はディジタル画像の
グループに関連付けられて決められる画像の重要度、関
心度、又は注目度に基づいて変化する。

【００１１】他の面では、本発明は（ａ）幾つかの自己
代表特徴について画像のアピール性（アピール性は個々
の画像の重要度、関心度、又は注目度の評価）の決定に
基づき印刷パラメータ、例えば印画の数を変化させる方
法、又は、（ｂ）或る特徴に関する画像の顕著性（顕著
性とは画像のグループ中における個々の画像の他の画像
に対する重要度、関心度、又は注目度の評価）の決定に
基づいてディジタル画像の同じ印刷パラメータを変化さ
せる方法として理解されうる。この点から、アピール性
及び顕著性の評価の両方について、 ａ． 人物関連特徴：人物の有無、肌領域又は顔領域の
量、顔の寸法に基づくクローズアップの程度 ｂ． 客観的特徴：画像のカラフルネス及び鮮明度 ｃ． 被写体関連特徴：主被写体の寸法と主被写体の位
置取り（マッピング）に基づく構図の良さといった自己
代表画像特徴が計算される。

【００１２】上述の特徴は顕著性評価には適している
が、アピール性評価については、以下の、 ａ． カラー内容に関する各画像の代表値 ｂ． 各画像の写真アスペクト形式の独自性 といった追加的な自己代表画像特徴が考えられることが
望ましい。

【００１３】各画像の評価は、上述の特徴を入力として
受け入れ画像評価値を発生するよう学習されるベイズネ
ットワークといった推論エンジンによって得られる。こ
の評価は個々の画像について本質的な評価であってもよ
く、その場合、自己代表特徴は画像アピール性値を発生
するよう学習されたベイズネットワークによって処理さ
れ、或いは、評価は画像のグループについての相対的な
評価であってもよく、その場合、自己代表特徴、任意
に、相対代表特徴は、画像顕著性値を発生するよう学習
されたベイズネットワークによって処理される。

【００１４】本発明の利点は、人間が介在することな
く、１つ以上の画像の評価を行ない、それによりディジ
タル画像から作成される印画の数、印画の寸法、印画の
倍率といった、しかしこれらに限られない属性値を変化
させることである。画像のグループを扱う種々の適用で
は、かかるアルゴリズムによる評価は画像処理の自動制
御を可能とし、それにより画像はランクの順序に従って
より効率的に処理及び印刷されうる。

【００１５】

【発明の実施の形態】本発明の上述及び他の面、目的、
特徴、及び利点については、以下の望ましい実施例及び
請求の範囲の記載を読むことにより、また、添付の図面
を参照することにより、更に明らかに理解されよう。以
下の説明では、本発明の望ましい実施例をソフトウエア
プログラムとして説明する。当業者はこのようなソフト
ウエアと同等のものがハードウエアとしても実施されう
ることを容易に認識するであろう。画像処理アルゴリズ
ム及びシステムは周知であるため、本願では特に本発明
による方法の一部をなす、又はより直接的に協働するア
ルゴリズム及びシステムについて説明する。本願に特に
図示又は説明しないアルゴリズム及びシステムの他の
面、及び、それに関連する画像を生成するか他の方法で
処理するためのハードウエア及び／又はソフトウエア
は、従来技術で公知のシステム、アルゴリズム、構成要
素、及び要素から選択される。以下のような本発明によ
る図示され説明された方法及びシステムが与えられてい
るとき、本発明の実施に有用であり本発明願に記載又は
提案されていないソフトウエアは、従来通りであり当業
者の通常の技術でなされうるものである。

【００１６】本願では、ディジタル画像は１つ以上のデ
ィジタル画像チャネルを含むものであると考えられる。
各ディジタル画像チャネルは、各画素値が画素の幾何学
的な領域に対応する画像捕捉装置が受けた光の量に関連
するような画素の２次元配列からなる。カラーイメージ
ングアプリケーションでは、ディジタル画像は、一般的
には赤、緑、及び青のディジタル画像チャネルからな
る。例えば、シアン、マゼンタ、及びイエローのディジ
タル画像チャネルといった他の形態もまた実施されう
る。単色アプリケーションでは、ディジタル画像は１つ
のディジタル画像チャネルからなる。動きイメージング
アプリケーションは、ディジタル画像の時間的なシーケ
ンスであると考えられる。当業者は、本発明が上述のい
ずれのアプリケーションのディジタル画像チャネルにも
適用されうるが、これに限られないことを認識するであ
ろう。

【００１７】本発明は、ディジタル画像チャネルを行と
列に配置された画素値の２次元配列として説明される
が、当業者は本発明が同じ効果でモザイク（非直線的
な）配列に適用されうることを認識するであろう。更
に、各ディジタル画像チャネルを含む信号は、面積又は
線形アレイといった様々な捕捉装置から生じうる。

【００１８】印刷システム 本発明はコンピュータハードウエア中で実施されうる。
図１１を参照するに、以下の説明は、１つ以上の画像捕
捉装置１１０、ディジタル画像プロセッサ１２０、１つ
以上の画像出力装置１３０、及び汎用制御コンピュータ
１４０を含むディジタルイメージングシステムに関す
る。典型的な実施例では、画像出力装置１３０は、イン
クジェット式、レーザ式、又は、他の形式の電子又はデ
ィジタルプリンタといった印刷装置である。当業者は、
本発明が、画像出力装置１３０が光学プリンタであるア
ナログ光学印刷システムで実施されうることを認識する
であろう。システムは、コンピュータコンソール又はペ
ーパープリンタ（図示せず）といったモニタ装置１５０
を含みうる。システムはまた、キーボード１６０ａ及び
／又はマウスポインタ１６０ａといった操作者用の入力
装置制御装置１６０を含む。更に、本願で使用され開示
されるように、本発明は、コンピュータプログラムとし
て実施されえ、コンピュータメモリ装置１７０、即ち、
コンピュータ読み取り可能な記憶媒体に格納されうる。
コンピュータ読み取り可能な記録媒体は、例えば、磁気
ディスク（例えばフロッピー（登録商標）ディスク）又
は磁気テープといった磁気記憶媒体；光ディスク、光テ
ープ、又は機械読み取り可能なバーコードといった光学
記憶媒体；ランダムアクセスメモリ（ＲＡＭ）又は読み
出し専用メモリ（ＲＯＭ）といった固体電子記憶装置を
含みうる。本発明について説明する前に、本発明はパー
ソナルコンピュータといった任意の周知のコンピュータ
システム上で使用されることが望ましいことに留意する
と理解が容易となろう。

【００１９】本発明が様々なイメージング装置から得ら
れるディジタル画像のために使用されうることを示すた
めに、多数の捕捉装置１１０が図示されている（図１１
では別個の装置１１０ａ，１１０ｂ，及び１１０ｃとし
て示されている）。例えば、図１１は、画像捕捉装置１
１０が、カラーネガ又はスライドフィルム透明ポジとい
った従来の写真画像を走査することによりディジタル画
像を生じさせるフィルムスキャナであるディジタル写真
仕上システムを表わす。ディジタル画像プロセッサ１２
０は、意図される出力装置又は媒体上に満足のいく見た
目の画像（例えば特定の目的のために見た目がよいよ
う、又は他の方法で変更された画像）を生成するようデ
ィジタル画像を処理する手段を提供する。多数の画像出
力装置１３０は、本発明がディジタル写真プリンタ及び
／又はソフトコピーディスプレイを含む様々な出力装置
と共に使用されうることを示すため図示されている（装
置１３０ａ及び１３０ｂとして示される）。ディジタル
画像プロセッサ１２０は、画像出力装置１３０によって
満足のいく見え方の画像が生成されるよう、ディジタル
画像のソースディジタル画像を調整する。これらの処理
段階の間の相互作用については以下詳述する。

【００２０】図１２は、図１１に示されるディジタル画
像プロセッサ１２０をより詳細に示す図である。本発明
によって用いられるディジタル画像プロセッサ１２０の
一般的な形式は、画像処理モジュール１２２（２つの別
々のモジュール１２２ａ及び１２２ｂとして示される）
の縦続チェーンを含む。各ソースディジタル画像はディ
ジタル画像プロセッサ１２０によって受け取られ、ディ
ジタル画像プロセッサ１２０は出力処理ディジタル画像
を生成する。ディジタル画像プロセッサ１２０に含まれ
る各画像処理モジュール１２２は、ディジタル画像を受
け取り、ディジタル画像を変更するか、又は、ディジタ
ル画像から何らかの情報を導出し、その出力処理ディジ
タル画像を次の画像処理モジュールへ与えるよう適応す
る。図１２に示されるように、画像処理モジュール１２
２は、プロセッサ１２０が他の画像処理モジュールと共
に使用されうることを示すために２つの強調変換モジュ
ール１２２ａ及び１２２ｂとして示されるが、これに限
られるものではない。強調変換モジュール１２２ａ及び
１２２ｂは、例えば、ディジタル画像の空間的な細部を
鮮明化し、ノイズを除去し、色を強調し、階調度を強調
するよう設計されたモジュールを含むが、これらに限ら
れるものではない。

【００２１】図１２を参照するに、画像評価ネットワー
ク１０は、図１１に示される画像捕捉装置１１０からの
ディジタル画像のグループ又は図１２に示される顕著性
変換モジュール１２２ａからの出力を受信する。画像評
価ネットワーク１０は、各ディジタル画像の全体の重要
度、関心度、又は注目度を、それ自体によって又は画像
のグループのうちの他の画像に関連して示しディジタル
画像の画素から導出され望ましくは単一の数値である評
価値を計算する。アナログ光学印刷適用では、評価値は
フィルムネガから生成される個々の原画像の全体の重要
度、関心度、又は注目度示す。各画像に対応するそれ自
体の個々の評価値はアピール性値と称され、全ての画像
についてのその値はアピール性値の組と称される。画像
のグループのうちの他の画像に対する各画像に対応する
個々の評価値は顕著性値と称され、全ての画像について
のその値は顕著性値の組と称される。

【００２２】印刷属性制御器１８０は、顕著性値とアピ
ール性値の組を受信し、これらの値を解析し、ディジタ
ル画像のグループのうちの各ディジタル画像についての
印刷属性値を生成する。これらの印刷属性値は画像出力
装置１３０によって受信され、例えば印画の数、印画の
寸法、又は印画の倍率といった１つ以上の印刷属性を変
更又は制御するために使用されるが、これに限られるも
のではない。

【００２３】本発明は、アナログ印刷システムで実施さ
れうる。この適用では、印刷属性値は、例えば印画の
数、印画の寸法、又は印画の倍率といった１つ以上の印
刷属性を変更又は制御するために印刷露光サブシステム
を制御するために使用されるが、これに限られるもので
はない。

【００２４】［ネットワーク化されたコンピュータシス
テム］本発明は、例えばワールドワイドウェブを介して
アクセスされるインターネット、或いは、それ以外のコ
ンピュータネットワークを介して接続される多数のコン
ピュータを用いて実施されうる。本発明の実施に関係の
あるディジタル画像処理手順の一部として、２つの中央
処理機能、即ち（１）各ディジタル画像に含まれる画素
値から導出される評価（顕著性又はアピール性）値の計
算と（２）印刷属性値の計算とが含まれる。これらの中
央的要素のうちの片方又は両方は単一のコンピュータ内
で実現されうるが、評価値の計算と印刷属性値の計算が
異なるコンピュータ上で行なわれると共に第３のコンピ
ュータシステムが例えば印刷といった出力機能を実行し
てもよい。

【００２５】図１３は、図１１に示されるような２つの
コンピュータシステムをコンピュータネットワーク１４
５を介して相互に接続されたものとして示す図である。
図１３を参照するに、一方のコンピュータシステム１９
０ａは、そのディジタル画像プロセッサ１２０ａに画像
捕捉装置１１０が接続されたものとして示され、他方の
コンピュータシステム１９０ｂはそのディジタル画像プ
ロセッサ１２０ｂに画像出力装置１３０が接続されたも
のとして示される。画像捕捉装置１１０は、接続された
ディジタル画像プロセッサ１２０ａによって受信され処
理されるディジタル画像を生成する。評価値の組は、デ
ィジタル画像プロセッサ１２０ａで計算される。ソース
ディジタル画像及び評価値は、コンピュータネットワー
ク１４５を介して第２のコンピュータシステム１９０ｂ
へ送信される。第２のコンピュータシステム１９０ｂの
ディジタル画像プロセッサ１２０ｂはソースディジタル
画像を受信し、各画像についての印刷属性値を計算する
ために評価値を用い、画像出力装置１３０によって適切
な見た目の画像が生成されるようディジタル画像を変換
する。

【００２６】図１３には２つのコンピュータシステム１
９０ａ及び１９０ｂが示されているが、本発明は２つ以
上のコンピュータシステムを用いても実施されうる。本
発明は、ソースディジタル画像を捕捉する第１のコンピ
ュータシステムを用いて実施することが可能であり、そ
の場合、ソースディジタル画像は評価値を計算する第２
のコンピュータシステムによって受信され、第３のコン
ピュータシステムは評価値とソースディジタル画像を受
信し、印刷属性値を計算し、第４のコンピュータシステ
ムは印刷属性値を受信し、印刷属性値に従って処理され
たディジタル画像の視覚的な表示及び／又はディジタル
画像の複製を生成する。

【００２７】評価値及び印刷属性値は、画像メタデータ
の例であり、即ちディジタル画像に関連する画素でない
情報の一部である。画像メタデータは、例えばディジタ
ル画像が捕捉された方法に関する情報の伝達、撮影者の
注釈付けのようなディジタル画像の意味に対する前後関
係の付加、又はディジタル画像についての解析情報の付
加などを目的として使用されうるが、これらに限られる
ものではない。本発明の１つの実施例では、これらの評
価値はコンピュータネットワークを介して画像メタデー
タとして送信され、異なるコンピュータシステムがディ
ジタル画像の印刷を制御するために画像メタデータを使
用することを可能とする。

【００２８】図１３は、本明細書に記載されるものを含
む様々な画像処理アルゴリズム及びモジュールを使用し
てオンライン画像処理、注文、印刷を可能とするウェブ
ベースの処理アーキテクチャを示すものと理解されう
る。これに関しては、図１３を参照して、ネットワーク
１４５（例えばインターネット）を介してクライアント
ホスト１９０ａと相互接続されるサーバホスト１９０ｂ
を含む、ウェブベースのアーキテクチャの典型的なクラ
イアント・サーバ構成について考えることが有用であ
る。クライアントホストとサーバホストの間の通信が適
切に確立されると、サーバコンピュータ１４０ｂ上でウ
ェブサーバが実行され、クライアントコンピュータ１４
０ａ上でウェブブラウザが実行され、モニタ装置１５０
ａ上に例えばアプレットによって発生される「要求」ウ
ェブページが表示される。クライアントアプリケーショ
ン機能は、例えば少なくとも画像顕著性ネットワーク１
０を含むアプレットへ組み込まれる。更に、クライアン
トアプリケーションは、図１２に示される印刷属性制御
器１８０を含む（又はこの機能はウェブサーバ又はウェ
ブサーバに接続されたユーティリティによって与えられ
うる）。クライアントアプリケーションはこのようにし
てウェブブラウザにロードされ実行され、アプレット及
びウェブブラウザを介してディスプレイ１５０ａ上に表
示される。

【００２９】動作上、クライアントホスト１９０ａのユ
ーザは、捕捉装置１１０（又は以下の画像記憶装置）を
介して特定の画像又は画像のグループを入力し、「要
求」ウェブページを介して特定の画像印刷オプションを
選択し、これはアプレットに対して評価値及び／又は属
性値を発生させ、ウェブブラウザに対して、ウェブサー
バに画像をアップロードし画像印刷を開始する要求を実
行するよう命令する。或いは、画像はユーザによってア
クセス可能な記憶装置（図示せず）からアップロードさ
れうるか、又はサーバホスト１９０ｂにアクセス可能な
様々な他のソースから与えられうる。サーバは画像処理
チェーンを含むディジタル画像プロセッサ１２０ｂとの
通信を開始する。画像出力装置１３０といった画像出力
機能もまたサーバホスト１９０ｂに含まれるか、又はサ
ーバホストから別個のユーティリティサービスとしてア
クセス可能である。ディジタル画像プロセッサ１２０ｂ
は画像処理チェーン中で適当な機能を実行し、例えば変
更された画像といった適当な応答をウェブサーバに戻
し、ウェブサーバにアプレットへ応答を返す。アプレッ
トは、汎用制御コンピュータ１４０ａ上で実行されるウ
ェブブラウザに表示されるべき更なるウェブページを発
生する。上述のウェブに基づくアーキテクチャはアプレ
ットを介してウェブページを発生するが、例えばＣＧＩ
スクリプトを介したウェブページ発生のための他の手段
もまた本発明に従って使用されうることが理解されるべ
きである。

【００３０】［印刷属性値計算］画像評価ネットワーク
１０は、評価値、即ち顕著性値及び／又はアピール性値
を発生する。１からｎまでの番号が付されたディジタル
画像のグループは、画像顕著性ネットワーク１０から受
信される対応する顕著性値Ｅの組を有するものとし、ｅ
_ｊ項がｊ番目のディジタル画像についての個々の顕著性
値を指すものとすると、１からｎまで番号が付された要
素は、 Ｅ＝｛ｅ_１，ｅ_２，．．．，ｅ_ｎ｝ と表わされる。これに加えて、又は、これに変えて、や
はりｎのディジタル画像に対応するアピール性値Ａの組
が画像顕著性ネットワーク１０から受信され、ａ _ｊ項が
ｊ番目のディジタル画像についての個々の顕著性値を指
すものとすると、１からｎまで番号が付された要素は、 Ａ＝｛ａ_１，ａ_２，．．．，ａ_ｎ｝ と表わされる。顕著性値Ｅの組は、ディジタル画像のグ
ループのうちでのディジタル画像の相対的な重要性を表
わす。アピール性値Ａの組は、各ディジタル画像の絶対
的な美的な質に関連する。印刷属性制御器１８０は、個
々の評価値を番号順にソートするランク順序づけ処理を
行なう。処理は、 Ｒ＝｛ｒ_１，ｒ_２，．．．，ｒ_ｎ｝ と表わされるランク指標Ｒの組を生じさせ、ここで、ｒ
_ｊ項はディジタル画像のグループの中のｊ番目のディジ
タル画像の相対的な重要性を指す。例えば、Ｒは、以下
のような値、 Ｒ＝｛５，２，．．．，３｝ を含みうる。この場合、ディジタル画像のグループのう
ちの第１のディジタル画像は５番目に重要なディジタル
画像であり、第２のディジタル画像は２番目に重要なデ
ィジタル画像であり、第ｎのディジタル画像はディジタ
ル画像のグループの中の３番目に重要なディジタル画像
である。

【００３１】ランク指標Ｒの組、顕著性値Ｅの組、又は
アピール性値Ａの組は、ｐ_ｊ項がディジタル画像のグル
ープのｊ番目のディジタル画像についての印刷属性値を
指すものとすると、 Ｐ＝｛ｐ_１，ｐ_２，．．．，ｐ_ｎ｝ と表わされる印刷属性値Ｐの組を決定するために使用さ
れる。印刷属性制御器１８０によって生成される個々の
印刷属性値は、図１１に示される画像出力装置１３０に
よって受信される。印刷属性値は、例えば画像から作成
される印画の数、画像から作成される印画の寸法、画像
について用いられる倍率といった作成される印画の属性
を変化させるために画像出力装置によって使用される。

【００３２】本発明は、個々のディジタル画像から作成
される印画の数を変化させるために使用されうる。一般
的には、商業用印刷サービスシステムでは、画像当たり
の印画の数は１又は２に決まっている。本発明の望まし
い実施例は、作成される画像当たりの印画の数を個々の
ディジタル画像についての対応する印刷属性値に基づい
て変化させる。例えば、ランク指標Ｒの組は４つの部分
集合又は四分の一ずつに分割される。上位の四分の一の
部分に対応する評価値ランク付けを有するディジタル画
像は印刷属性値３を受け取り、中位の２つの四分の一は
印刷属性値２を受け取り、下位の四分の一は印刷属性値
１を受け取る。次に、例えば、対応する印刷属性値３を
有する各ディジタル画像について、画像出力装置１３０
は３つの印画を作成するよう命令される。従って、印刷
属性値２の各ディジタル画像については、画像出力装置
１３０は２つの印画を作成するよう命令され、印刷属性
値１の各ディジタル画像については画像出力装置１３０
は１つの印画を作成するよう命令される。このように、
印刷属性値は個々の画像当たりの印画の数を直接制御す
る。ディジタル画像値の印画の数を制御する本発明の望
ましい実施例では、ディジタル画像のグループ当たりの
印画の数は一定である。

【００３３】本発明の他の実施例は、ディジタル画像の
グループについての印画の総数が可変となるようにディ
ジタル画像当たりの印画の数を変化させるものである。
この方法では、印刷属性値は、評価値を所定の閾値と比
較することによって決定される。例えば、消費者画像を
用いた実験では、対応するアピール性値が０．７以上で
ある画像は、０．７よりも小さい対応するアピール性値
の画像と比較して、消費者にとってかなり楽しめるもの
である。従って、０．７以上の対応する顕著性値を有す
るディジタル画像のグループの全てのディジタル画像に
対して、印刷属性値２が割り当てられる。０．７よりも
小さい対応する顕著性値を有するディジタル画像のグル
ープの全てのディジタル画像に対して、印刷属性値１が
割り当てられる。従って、この実施例では、ディジタル
画像のグループについて作成される画像の総数は個々の
画像について計算された顕著性値に基づいてグループ毎
に異なり、例えば、画像出力装置１３０が画像当たりに
作成する印画の数は、印刷属性値２を受け取った印画に
ついては、印刷属性値１を受け取った印画よりも多くな
る。ディジタル画像の幾つかのグループについては、Ｎ
の印画のみが作成されるのに対して、他のグループでは
最大で２Ｎの印画が作成される。

【００３４】本発明は、個々のディジタル画像から作成
される印画の寸法を変化させるために使用されうる。一
般的には、商業用の印刷サービスシステムでは、印画の
寸法は決められている。例えば、消費者の印画注文は、
７．６２ｃｍ×１２．７ｃｍ（３インチ×５インチ）の
寸法の印画を指定しうる。その他に、１０．１６ｃｍ×
１５．２４ｃｍ（４インチ×６インチ）や１２．７ｃｍ
×１７．７８ｃｍ（５インチ×７インチ）といった寸法
が人気があるが、寸法はこれらに限られるものではな
い。本発明の望ましい実施例は、個々のディジタル画像
についての印刷属性値に基づいて個々の画像について作
成される印画の寸法を変化させる。最も高い対応する評
価値を有するディジタル画像はより大きい寸法で印刷さ
れる。例えば、対応するランク指標が１であるディジタ
ル画像は、１２．７ｃｍ×１７．７８ｃｍ（５インチ×
７インチ）の寸法の紙に印刷される。全ての他のディジ
タル画像はより小さい寸法の１０．１６ｃｍ×１５．２
４ｃｍ（４インチ×６インチ）の紙に印刷される。本発
明のこの実施例では、ディジタル画像のグループから作
成される印画の総数は一定である。

【００３５】本発明の他の実施例では、ディジタル画像
値の印画の数は、印画の総数が一定の数となるよう変化
される。この方法では、印刷属性値は、評価値を所定の
閾値と比較することによって決定される。０．７以上の
対応する評価値を有するディジタル画像のグループの中
の全てのディジタル画像に対して、印刷属性値２が割り
当てられる。０．７よりも小さい対応する評価値を有す
るディジタル画像のグループの中の全てのディジタル画
像に対して、印刷属性値１が割り当てられる。対応する
印刷属性値２を有するディジタル画像は１０．１６ｃｍ
×１５．２４ｃｍ（４インチ×６インチ）の寸法の紙に
印刷され、対応する印刷属性値１を有するディジタル画
像は７．６２ｃｍ×１２．７ｃｍ（３インチ×５イン
チ）の寸法の紙に印刷される。当業者によれば、望まし
い実施例と他の実施例の組合せは容易になされ、本発明
の範囲に含まれることが明らかである。

【００３６】本発明は、個々の画像から作成される印画
の倍率を変化させるために使用されうる。一般的には、
商業用の印刷サービスシステムでは、印画の倍率は１．
０に固定される。倍率が１．０のとき、元の写真の画像
内容の全て又は殆ど全てが写真紙上に結像される。画像
が１．０以上の倍率で印刷される場合、元の画像内容の
一部のみが印刷紙上に表現される。例えば、倍率２．０
では、画像領域の中央の四分の一が印刷される。これは
印画を作成するのに使用される紙の寸法には全く無関係
である。ディジタルイメージングプリンタでは、同等の
処理は、元のディジタル画像の部分集合の領域を補間す
ることを含む。例えば、倍率２．０では、画像領域の中
央の四分の一が補間され、出力画像装置によって受信さ
れる新しいディジタル画像が形成される。

【００３７】元のディジタル画像の部分集合が補間され
るため、画像領域のどの部分集合を使用するかについて
選択せねばならない。本発明の望ましい実施例は、ディ
ジタル画像の中央部分を単純に選択する技術を用いる。
選択される画像領域の正確な量は、使用される紙の寸法
の横縦比と倍率に基づく。或いは、主被写体を中心とす
る画像領域が選択されうる。クロッピング及びズーミン
グに適した主被写体領域を測位するための方法の詳細な
説明については、ここに参照のため引用されたJiebo Lu
o及びRobert Grayによる２０００年１月２５日出願の
「Method for Automatically Creating Cropped and Zo
omed Versions of Photographic Images」なる名称の係
属中の米国特許出願第０９／４９０，９１５号に記載さ
れている。

【００３８】本発明の望ましい実施例は、個々のディジ
タル画像についての対応する印刷属性値に基づいて個々
の画像について作成される印画の倍率を変化させる。最
も高い対応する評価値を有する画像はより大きい倍率で
印刷される。消費者写真を用いた実験により、多くの消
費者写真は、撮影時に使用されるカメラレンズズーム倍
率が比較的低いため、あまり重要でないと考えられるこ
とが分かった。最も上上位の四分の一の部分に対応する
評価値を有するディジタル画像のグループに含まれるデ
ィジタル画像には印刷属性値１が割り当てられ、上から
二番目の四分の一の部分には印刷属性値２が割り当てら
れ、上から三番目の四分の一の部分には印刷属性値３が
割り当てられ、上から四番目の四分の一の部分には印刷
属性値４が割り当てられる。印刷属性値１、２、３、４
に関連付けられる対応する倍率は、夫々、１．３、１．
２、１．１、１．０である。或いは、あまり重要でない
と考えられる写真により高い倍率が適用される場合、こ
れらの数値は逆にされる。

【００３９】本発明の他の実施例は、最も高い相対評価
値ランクを有するディジタル画像を選択し、倍率２．０
でそのディジタル画像の更なる印画を印刷する。従っ
て、ディジタル画像のグループの全てのディジタル画像
の１０．１６ｃｍ×１５．２４ｃｍ（４インチ×６イン
チ）の印画が倍率１．０で作成され、最も良いディジタ
ル画像の１つの追加的な印画が倍率２．０で作成され
る。

【００４０】［評価値計算］ここで説明するように、画
像を相対的な値及び／又は本質的な値についてランク付
けし、画像がこれらの値に従って処理又は扱われうるよ
うにすることが重要である。この論理ランク付けは、２
つの関連付けられた画像評価、即ち画像のアピール性と
画像の顕著性に基づく。画像のアピール性は個々のピク
チャの重要度、関心度、又は注目度の本質的な度合いで
あり、一方、画像の顕著性は、グループのうちの他の写
真に対する写真の相対的な重要度、関心度、又は注目度
である。評価アルゴリズムは、画像に対して動作し、各
画像に対して評価値（即ち顕著性値及び／又はアピール
性値）を割り当てることが期待される。評価値は、特定
のグループの各画像に関連付けられたメタデータとして
見なされ、上述の画像処理チェーンといった他のアルゴ
リズムによって利用されうる。

【００４１】図１２に示される画像評価ネットワーク１
０は、Andreas E. Savakis及びStephen Etzにより１９
９９年１２月１４日に出願された「Method for Automat
ic Assessment of Emphasis and Appeal in Consumer I
mages」なる名称のここに参照のため引用された係属中
の米国特許出願第０９／４６０，７５９号から採用され
る図１乃至１０により詳細に示されている。まず、図１
を参照するに、顕著性値を計算するための画像評価ネッ
トワーク１０は、２つの段階、即ち特徴抽出段階１２と
分類段階１４を含むものとして示されている。特徴抽出
段階１２は、夫々が幾つかの画像特徴特性を測定するよ
う設計された多数のアルゴリズムを含み、特徴の定量的
な尺度がアルゴリズムの出力の値によって表わされる。
従って、特徴抽出段階１２の出力は、幾つかの特徴の存
在（又は存在しないこと）の統計的な証拠を表わし、出
力は顕著性値を計算するために分類段階１４によって積
分される。この値は、例えば０乃至１００の範囲であり
え、処理された画像が重要画像であるという尤度又は信
念を示す。図４に示されるような別々の画像顕著性ネッ
トワーク１０．１，１０．２．．１０．Ｎ中の画像のグ
ループについて顕著性値が計算された後、顕著性値は比
較器段階１６において比較され、夫々の正規化段階１
８．１，１８．２．．１８．Ｎにおいて正規化される。
最も高い顕著性値を有する画像は、グループの顕著性画
像として選ばれる。

【００４２】特徴抽出段階１２のための特徴の集合は、
観察者の好みのグラウンド・トゥルース（ground trut
h）調査に基づいて選択された。グラウンド・トゥルー
ス調査によって、顕著性画像の選択に重要な特徴は、鮮
明度、コントラスト、フィルム粒状度、露出といった従
来の画質の計量と強い関連性の無いことが判明したが、
これらの従来型の計量のうちの１つ以上は評価値の計算
においても価値がある。選択された特徴は、一般的には
（ａ）人物関連特徴、（ｂ）主被写体関連特徴、及び
（ｃ）画像の客観的尺度関連特徴の３つのカテゴリへ分
けられる。図１を参照するに、人物関連特徴は、肌領域
検出器２０、クローズアップ検出器２２、及び人物検出
器２４によって抽出される。入力画像ｉは一般的には、
人物関連特徴検出器２０、２２、２４によって処理され
るのに適した中間値を発生するために肌検出器２６及び
顔検出器２８を通じて処理される。主被写体関連特徴
は、主被写体検出器３４からの入力に基づいて、構図検
出器３０及び被写体寸法検出器３２によって抽出され
る。構図検出器３０は、図３に示されるように、主被写
体分散性アルゴリズム３０．１、主被写体中心性アルゴ
リズム３０．２、及び主被写体コンパクト性アルゴリズ
ム３０．３を含む。主被写体データはクラスタ化段３１
においてクラスタ化され、構図関連アルゴリズム３０．
２及び３０．３と、被写体寸法アルゴリズム３２に与え
られる。画像の客観的尺度関連特徴は、鮮明度検出器３
６、カラフルネス検出器３８、及び独自フォーマット検
出器４０によって抽出される。更に、画像の色内容が画
像のグループに対する色内容を表す程度に関連する客観
的尺度は、代表色検出器４２によって抽出される。

【００４３】図１に示される特徴の集まりは、画像顕著
性を表わす値を計算するために使用される。画像顕著性
は、グループのうちの他の画像に対する画像の相対的な
重要度、関心度、又は注目度として定義される。各画像
はグループのうちの他の画像に対して相対的に評価され
ねばならないため、画像顕著性計算は、画像を夫々の顕
著性値についてスコアリングする図４に示されるような
画像顕著性ネットワーク１０．１，１０．２．．１０．
Ｎのネットワークを含む。実際に、一連の画像の画像顕
著性値を決めるよう繰り返し使用される１つの画像顕著
性ネットワーク１０がありうるが、この場合、順次に得
られる結果は比較器１６への入力のための中間記憶（図
示せず）に格納されうる。図２に示される特徴の集まり
は、図１に示される特徴の集まりの部分集合であり、絶
対的に、即ち他の画像を参照することなく、画像の本質
的な重要度、関心度、又は注目度として定義される画像
のアピール性を表わす値を計算するために使用される。
図２に示される特徴は、これらの特徴が着目中の画像だ
けに基づいて画像を評価することができるので、自己代
表特徴と称される。これに対して、図１では、独自フォ
ーマット特徴と代表色特徴の２つの追加的な特徴が検出
され、これらの特徴は他の画像との関連付けに不可欠な
尺度であるため、相対代表特徴と称される。（しかしな
がらこれらの相対代表特徴は、顕著性の十分な尺度が自
己代表特徴のみから獲得されうる限りは任意である）。
従って、アピール性及び顕著性の両方の評価は自己代表
特徴に関連し、一方、顕著性の評価のみが相対代表特徴
に関連する。

【００４４】図１及び図２による特徴の集まりの抽出
は、以下に説明するように対応する特徴量の計算を含
む。

【００４５】［客観的特徴］客観的特徴は、他のタイプ
の特徴と比較して最も計算が簡単であり、かつ、最も矛
盾のない結果を与える。これらを計算するための方法が
既に利用可能であり、イメージング科学の殆どの技術は
客観的特徴の尺度に基づいている。多くの客観的特徴を
計算することが潜在的に可能であるが、画像の顕著性及
びアピール性（図１及び図２）の両方のためにはカラフ
ルネス及び鮮明度のみが考慮に入れられ、画像顕著性
（図１）のためには独自フォーマット及び代表色が追加
的に考慮される。コントラスト及びノイズといった他の
客観的尺度は、幾つかの状況において有用であるとさ
れ、本発明の範囲に含まれることが意図される。

【００４６】［カラフルネス］カラフルネス検出器３８
は、カラフルなピクチャは様々な色相で高い飽和度を表
示する色を有するという観察に基づき、カラフルネスの
定量的な尺度を与える。これは、様々な色相について高
い飽和度の色の存在について調べることによってグラウ
ンド・トゥルース調査によって決定された。画像データ
は、ｓＲＧＢ色空間の画像データであると仮定した。特
に、図６に示されるように、カラフルネス検出器３８
は、カラフルネスを計算するために以下の段階を実施す
る。最初に、ステップ６０において、入力画像値ｉは輝
度／クロミナンス空間へ変換される。このような多くの
変換が当業者によって公知であり、本発明と組み合わせ
てうまく使用されうるが、望ましい変換は、以下の式、

【００４７】

【数１】 に従って実行され、式中、中間色は輝度の尺度であり、
緑−マゼンタと照度はクロミナンスの尺度である。ステ
ップ６２において、各画素は、そのクロミナンス平面
（照度、緑−マゼンタ）は、図７に示されるような角度
欄と称される１２の色度平面ウェッジへ分割され量子化
される。次に、ステップ６４において、クロミナンス成
分が角度欄の境界に収まる場合、その角度欄のうちの１
つに関連付けられる。飽和度のレベル（原点からの距
離）は、ステップ６６において各角度欄の各画素に対し
て計算される。ステップ６８において各角度欄を占める
高い飽和度の画素の数が測定され、高い飽和度の画素と
はクロミナンス平面における原点からの距離が一定の閾
値Ｔ_ｓ（例えばＴ_ｓ＝０．３３）を超える画素である。
各角度欄について、ステップ７０において、高い飽和度
の画素の数がある閾値Ｔ_ｃ（例えばＴ_ｃ＝２５０画素）
を超える場合、その欄は有効であると決定される。ステ
ップ７２において、カラフルネスは以下の式、

【００４８】

【数２】 に従って計算される。尚、このカラフルネスの定義によ
れば、１２の欄のうちの１０の欄が使用されていると、
カラフルネスは１．０であり、画像は最もカラフルであ
るとされる。

【００４９】［鮮明度］鮮明度検出器３６は、画像中の
鮮明度特徴を見つけるために以下の段階を実施する。 （ａ）画像は境界線に沿って２０％の水準で切り取ら
れ、緑チャネルを抽出することによりグレースケールへ
変換される。 （ｂ）画像のエッジは、ノイズを減少させるために３×
３の平均化フィルタを適用した後にＳｏｂｅｌ演算子を
用いて緑チャネル中で検出される。 （ｃ）エッジヒストグラムが形成され、エッジヒストグ
ラムの９０番目の百分位数を超えるエッジが最も強いエ
ッジを含む領域であると同定される。 （ｄ）最も強いエッジの領域はメジアンフィルタリング
によって洗練され、最も強いエッジの統計値が計算され
る。 （ｅ）最も強いエッジの平均は鮮明度の推定値を与え
る。

【００５０】鮮明度の検出のために使用される方法の更
に細かい点については、ここに参照のため引用された、
Andreas Savakis及びAlexander Louiによって１９９９
年３月２３日に出願された「A Method for Automatical
ly Detecting Digital Images that are Undesirable f
or Placing in Albums」なる名称のた米国特許出願第０
９／２７４，６４５号に記載されている。

【００５１】［フォーマット独自性］グラウンド・トゥ
ルース調査の参加者は、ＡＰＳの「パノラマ」モードで
撮影された写真は、顕著性がより必要であることを示し
た。グラウンド・トゥルースデータの予備分析は、その
写真がグループ中のただ１つのパノラマ写真であれば、
顕著性画像として選択される可能性を高めることを示し
た。相対的な特徴である「フォーマット独自性」はこの
性質を表わす。

【００５２】独自フォーマット検出器４０は、グループ
中の各画像ｉについて以下のアルゴリズム、

【００５３】

【数３】 を実施し、但し、フォーマットｆは画像の長い画素寸法
ｌ_ｉと短い画素寸法ｓ_ｉに基づくものである。フォーマ
ット独自性Ｕは、

【００５４】

【数４】 と表わされる。

【００５５】［代表色］代表色検出器４２は、画像の色
がどれだけ代表的であるかを決定するために以下の段階
を行なう。 １．各画像ｉについて、（ＲＧＢ又は輝度／クロミナン
ス空間中で）カラーヒストグラムｈ_ｉ（Ｒ，Ｇ，Ｂ）を
計算する。 ２．以下の式、

【００５６】

【数５】 に従って全ての画像ヒストグラムの平均を取ることによ
り、グループについての平均カラーヒストグラムを見つ
ける。 ３．各画像ｉについて、画像のヒストグラムと平均カラ
ーヒストグラムとの間の距離（ユークリッド距離又はヒ
ストグラム交差距離）を、以下の式、

【００５７】

【数６】 に従って計算する。 ４．以下の式、

【００５８】

【数７】 に従って、段階３において計算された距離の最大を見つ
ける。 ５．以下の式、

【００５９】

【数８】 に従って、各距離を最大距離（０乃至１の範囲で可変）
割り算することによって代表尺度ｒを得る。

【００６０】［人物関連特徴］人物関連特徴は、画像顕
著性を決定するときに重要であるが、例えば笑っている
人物、カメラを向いている人物等といった人物に関連す
る多くの明確な属性は計算するのが困難である。肌検出
方法は、人物が存在するか否か、肌面積の大きさ、及び
クローズアップの量といった幾つかの人物関連特徴を計
算する。

【００６１】［肌及び顔の検出］肌検出器２６によって
用いられる肌検出方法、及び顔検出器２８によって用い
られる顔検出方法は、ここに参照のため引用されたH.
C. Lee及び及びH. Nicponskiにより１９９８年７月９日
に出願された「A Method for Detecting Human Faces i
n Digitized Images」なる名称の米国特許出願第０９／
１１２，６６１号に開示される方法に基づく。

【００６２】図８を参照するに、米国特許出願第０９／
１１２，６６１号に開示される方法が概略的に示され
る。入力画像は、ステップＳ１０２において優勢な全体
照明を補償するためにカラーバランス調整される。カラ
ーバランス調整は、（ｒ，ｇ，ｂ）値から（Ｌ，ｓ，
ｔ）値への変換を含む。（Ｌ，ｓ，ｔ）空間中、Ｌ軸は
色の明るさを表わし、ｓ及びｔ軸はクロマ軸を表わす。
ｓ成分は、昼光からタングステン光まで、青から赤まで
の光源の変化を近似的に表わす。ｔ成分は、緑とマゼン
タの間の軸を表わす。この段階のためには、中間色への
平均化といった簡単な方法を含む多数の周知のカラーバ
ランスアルゴリズムが使用されうる。次に、ステップＳ
１０４において色セグメント化のためにｋモードクラス
タ化アルゴリズムが使用される。このアルゴリズムは、
ここに参照として組み込まれる共通に譲渡された米国特
許第５，４１８，８９５号に含まれる。基本的に、
（Ｌ，ｓ，ｔ）空間中の３次元カラーヒストグラムは入
力カラー画像から形成され、クラスタ化アルゴリズムに
よって処理される。この段階の結果により、各連結され
た領域がユニークなラベルの付けられた領域マップが得
られる。各領域について、ステップＳ１０６において平
均化されたルミナンス及び色度が計算される。これらの
特徴は、条件付き確率及び適応閾値処理に基づいて可能
な肌領域（候補肌領域）を予測するために使用される。
ステップＳ１０８において、各肌領域に最もよい楕円を
当てはめることにより、各肌領域のスケール及び平面内
の回転ポーズの推定値が得られる。これらの推定値の近
傍のスケール及び平面内の回転ポーズの範囲を用いるこ
とにより、ステップＳ１１０において仮の顔特徴を同定
するために各顔領域に対して一連の線形フィルタリング
段階が適用される。ステップＳ１１２において、領域が
実際に顔特徴を表わす尤度と、領域が表わす顔特徴のタ
イプとを予測するために多数の確率計量が用いられる。

【００６３】先行するスクリーニング段階を通った特徴
は、ステップＳ１１４において予想される顔についての
最初の特徴として使用される。投影幾何学を用いること
により、３つの最初の特徴の同定は、頭部の姿勢の可能
な範囲を定義する。顔の姿勢の各候補は、包括的な３次
元の頭部モデル及び顔特徴の位置の変化の範囲と共に、
残りの顔特徴の位置を予測するために使用されうる。予
測された特徴の位置が見つかるかどうか調べるために、
候補顔特徴のリストの探索を行なう。候補顔特徴がの位
置及び向きが予測された位置及び向きに近ければ、その
特徴の有効性の確率的な推定値に影響が与えられる。

【００６４】ステップＳ１１６において、顔の存在を示
す累積された証拠を理解するために、頭部のベイズネッ
トワーク確率モデルが使用される。ネットワークの事前
確率は、様々な向き及びスケールの頭部が含まれる大量
の学習画像の組から抽出される。ネットワークは候補顔
の予想特徴から始まり、ネットワークの推定された確率
は計算された計量とテンプレートに対する空間的な一致
度に基づく。次に、ネットワークは、これらの初期条件
から始めて、顔の存在の確率の大域的な推定値へ収束す
るまで、実行される。この確率は、厳しい閾値と比較さ
れ、或いは、２値評価が必要でなければ確率的な形式の
ままとされる。この肌及び顔検出方法の更なる詳細は、
ここに参照のため引用された米国特許出願第０９／１１
２，６６１号に記載されている。

【００６５】［肌面積］写真中の肌／顔面積の割合は、
その割合自体を特徴として得るために、或いは、人物検
出及びクローズアップ検出の予備段階として、肌面積検
出器２０によって計算される。そのため、肌面積検出器
２０の出力は分類段階１４に接続されると共に、クロー
ズアップ検出器２２及び人物検出器２４へ入力される。
肌面積は、０乃至１の範囲の連続的な変数であり、人物
に関連する特徴の数に相関する。例えば、等距離から撮
影された写真に関しては、肌面積が増加するということ
は、写真に写っている人物が増えることを意味し、「集
合写真」であるという明確な標識と相関する。或いは、
２つの写真が同数の人物が写っている場合、肌面積が増
加することは倍率が大きくなることを示し、これは「ク
ローズアップ」という明確な属性と相関する。肌面積の
増加に関するその他の説明として、被写体の配置を理由
に挙げることも可能である。

【００６６】［クローズアップ］クローズアップ検出器
２２は、クローズアップを判定するために以下の手段を
使用する。 （ａ）肌検出が実行され、結果としてのマップが（境界
線から２５％離れた）中央領域で調べられる。 （ｂ）クローズアップは、画像の中央部分における肌面
積の割合として決められる。

【００６７】ある種の場合には、肌検出よりも顔検出の
ほうがクローズアップの判定に適している。

【００６８】［人物の存否］人物の存否は、画像中にか
なりの量の肌面積が存在する場合は、人物検出器２４に
よって検出される。画像中の肌画素の割合が計算され、
肌の割合が画素数の閾値Ｔ_ｆ（例えばＴ_ｆ＝２０画素）
を超えるときに人物が存在すると想定される。人物の存
否は、人物が存在する場合に１、存在しない場合に０を
示す２進数で表される２値特徴である。

【００６９】［構図特徴］良い構図は画像顕著性の非常
に重要な積極的な属性であり、悪い構図は一般的には消
極的な属性である。画像の構図の自動評価は非常に困難
であり、場合によっては主観的である。良い構図は、三
分の一の法則といった多数の一般的な周知の法則に従う
ものでありうるが、このような規則はしばしば撮影者の
視点を表現するため守られない。

【００７０】［主被写体検出］主被写体検出器３４によ
って用いられる検出器は、J. Luo、S. Etz及びA. Singh
alによって１９９８年１２月３１日に出願された「Meth
od for Automatic Determination of Main Subjects in
Consumer Images」なる名称の共通に譲渡された米国特
許出願第０９／２２３，８６０号に開示されている。図
９を参照するに、米国特許出願第０９／２２３，８６０
号に開示された主被写体検出方法を概略的に表わすブロ
ック図が示される。まず、ステップＳ２００において、
自然のシーンの入力画像が捕捉され、ディジタル形式で
記憶される。次に、ステップＳ２０２において画像は均
質な性質の幾つかの領域へセグメント化される。次に、
ステップＳ２０４において、領域セグメントは、目的の
ない無目的知覚グループ化を通じて類似性尺度に基づい
て、より大きい領域へグループ化され、ステップＳ２０
６において目的のあるグループ化（合目的グループ化は
特定の物体に関連する）を通じて知覚的に一貫した物体
に対応するより大きい領域へ更にグループ化される。ス
テップＳ２０８において、領域は、構造的代表特徴と意
味論的代表特徴２つの独立した相補的な代表特徴につい
て評価される。ステップＳ２０８ａにおいて、低レベル
早期視覚特徴の組及び幾何学的特徴の組を含む構造的代
表特徴が抽出され、これらの特徴は自己代表特徴の組及
び相対代表特徴の組を生成するために更に処理される。
ステップＳ２０８ｂにおいて、前景（例えば人物）又は
背景（例えば空、草）といったの一部である可能性の高
いキー被写体物の形式で意味論的代表特徴が検出され、
意味論的な手がかり及びシーン前後関係の手がかりを与
える。ステップ２１０において、両方のタイプの証拠が
ベイズネットに基づく推論エンジンを用いて統合され、
ステップ２１２で主被写体の最終信念マップが得られ
る。

【００７１】画像の意味論的な解釈のためには、単一の
規準では明らかに不十分である。人間の脳は、先験的な
知識と、実世界の被写体及びシナリオについての及び膨
大な記憶とを有しており、シーン中の興味深い被写体又
は主な被写体を評価するために異なる主観的な規準を組
み合わせる。拡張的な特徴リストに含まれる特徴、即
ち、場所、寸法、明るさ、カラフルネス、テクスチャフ
ルネス、主キー被写体物、形状、対称性、空間的関係
（包囲性／閉塞性）、境界性、屋内／屋外、向き、（適
用可能であれば）深度、及び（ビデオシーケンスについ
て適用可能であれば）動きは、主被写体検出といった多
少とも漠然としたタスクを実行するときに人間の脳に影
響を与えると考えられる。

【００７２】低レベル早期視覚特徴には、色、明るさ、
及びテクスチャが含まれる。幾何学的特徴には、場所
（中心性）、空間的関係（境界性、隣接性、包囲性、オ
クルージョン）、寸法、形状、及び対称性が含まれる。
意味論的特徴には、肌、顔、空、草、及び他の緑の草木
が含まれる。当業者は、本発明の範囲を逸脱することな
くより多くの特徴を定義しうる。主被写体検出アルゴリ
ズムの更なる詳細は、ここに参照のため引用された米国
特許出願第０９／２２３，８６０号に記載されている。

【００７３】上述の主被写体検出アルゴリズムは計算集
約的なアルゴリズムであり、被写体関連特徴のより小さ
い組に基づいて被写体検出を行なう他のアルゴリズムが
使用されうる。ここで考えられる全ての構図尺度は主被
写体信念マップに関するものであるため、最も計算的に
効率的な曲面、例えば、殆ど「中心性」尺度に関係する
曲面にシステムを集中させることが可能である。これら
の面は主被写体の判定の際に考慮に入れられ、幾らかの
精度を犠牲するが全体の計算上の複雑さを軽減する。ア
ルゴリズムを再び学習させることなくこのようにして特
徴が排除されうることは、主被写体検出アルゴリズムに
おいて使用されるベイズネットワークの有用な性質であ
る。第２に、主被写体検出器５０に供給される画像が正
しい側が上向きであることが知られていれば有利であ
る。シーン中の領域の空間的な場所に関連する被写体に
関する特徴はこの知識を反映するよう変更されうる。例
えば、シーンの向きを知らない場合は、主被写体検出器
５０は主被写体領域の中心が加重された分布を想定する
が、向きが知られていれば、底辺の中心が加重された分
布を想定しうる。

【００７４】図３を参照するに、主被写体検出器５０に
おいて主被写体信念マップが計算された後、主被写体信
念マップは、クラスタ化段階３１において強度値のｋ平
均クラスタ化を用いて３つの領域へ分割される。３つの
領域は、主被写体の一部である可能性が高い画素、主被
写体の一部である可能性が低い画素、及び中間画素に対
応する。量子化されたマップに基づいて、以下図５Ａ乃
至図５Ｄを参照して説明されるように、主被写体の寸
法、中心性、コンパクト性、関心（分散）の特徴が計算
される。

【００７５】［主被写体分散性］写真の内容を特徴付け
るための１つの方法は、写真の興味深さ、即ち、関心度
を示すことである。顕著性画像選択のために、以下の特
徴を有する画像は関心が高いものと考えられうる。 ・主被写体はフレーム内での配置によって関心度が高
い。 ・主被写体は、写真のかなり大きい面積を構成するが、
フレーム全体を構成するものではない。 ・背景は主被写体から注意をそらす孤立した物体を含ま
ない。

【００７６】各画像の関心度の推定値は、主被写体マッ
プ中の分散性を推定することによって計算される。この
特徴は、主に凡例として価値があり、即ち関心度の高く
ない画像は顕著性画像とするべきではない。特に、図５
Ａに示されるように、主被写体分散性検出器３０．１は
主被写体分散性を計算するために以下の段階を行なう。
最初に、ステップＳ１０において全ての被写体信念マッ
プ値の統計的な分散ｖが計算される。ステップＳ１２に
おいて、主被写体分散性特徴ｙは、以下の式、 ｙ＝ｍｉｎ（１，２．５＊ｓｑｒｔ（ｖ）／１２７．
５） によって計算される。

【００７７】［主被写体中心性］主被写体の中心性は、
量子化された主被写体信念マップ中の画像中心と高い確
率（或いは中間の確率）の領域の重心との間の距離とし
て計算される。特に、図５Ｂに示されるように、主被写
体中心性検出器３０．２は主被写体中心性を計算するた
めに以下の段階を実行する。最初に、ステップＳ２０に
おいて、最高値のクラスタの重心の画素座標が測位され
る。ステップＳ２２において、画像中心から重心までの
ユークリッド距離ｊが計算される。ステップＳ２４にお
いて、ユークリッド距離ｊを画像の短辺に沿った画素の
数で除算することにより正規化された距離ｋが計算され
る。ステップＳ２６において、主被写体中心性特徴ｍ
は、以下の式、 ｍ＝ｍｉｎ（ｋ，ｌ） に従って計算される。

【００７８】［主被写体寸法］主被写体の寸法は、量子
化された主被写体信念マップ中の高い確率（そして任意
には中間の確率の）領域の寸法によって決定される。こ
れは、高い確率（そして任意に中間の確率の）領域によ
って占められる中央面積（境界から２５％）の割合とし
て表現される。特に、図５Ｃに示されるように、主被写
体寸法検出器３２は主被写体の寸法を計算するために以
下の段階を行なう。最初に、ステップＳ３０において、
最も高い値のクラスタと画像面積の矩形状の中心部の１
／４が交差する部分の画素数ｆが計数される。ステップ
Ｓ３２において、主被写体寸法特徴ｇは、以下の式、 ｇ＝ｆ／Ｎ に従って計算される。但しＮは画素の総数を表す。

【００７９】［主被写体のコンパクト性］主被写体のコ
ンパクト性は、量子化された主被写体信念マップ中で高
い確率（そして任意に中間の確率）のための境界矩形を
計算し、次に主被写体によって占められる境界矩形の割
合を調べることによって推定される。特に、図５Ｄに示
されるように、主被写体コンパクト性検出器３０．３
は、主被写体のコンパクト性を計算するために以下の段
階を行なう。まず、ステップＳ４０において、最も高い
値のクラスタ中の画素数ａが計数される。ステップＳ４
２において、最も高い値のクラスタ中の全ての画素を含
む最も小さいボックス（境界ボックス）が計算され、ス
テップＳ４４において境界ボックスの面積ｂが画素単位
で計算される。ステップＳ４６において、主被写体のコ
ンパクト性特徴ｅは、以下の式、 ｅ＝ｍｉｎ（１，ｍａｘ（０，２＊（ａ／ｂ−０．
２））） によって計算され、但し、ｅは０乃至１（０及び１を含
む）の値となる。

【００８０】［分類段階］上述のアルゴリズムによって
生成される特徴量は、分類段１４に適用される。分類段
１４は、望ましくは自己代表特徴及び／又は相対代表特
徴を入力として受け入れ、画像評価（顕著性及びアピー
ル性）値を発生するよう学習される推論エンジンであ
る。異なる証拠は、人間の観察者による実際の画像の評
価であるグラウンド・トゥルース調査の結果から得られ
る知識に従って相互に競合し、或いは、相互に補強す
る。競合及び補強は、推論エンジンの推論ネットワーク
によって解決される。好適な推論エンジンはベイズネッ
トワークである。

【００８１】ベイズネット（例えば、J. Pearl, Probab
ilistic Reasoning in IntelligentSystems, San Franc
isco, CA: Morgan Kaufmann, 1988を参照）グラフ内の
様々なエンティティ間の因果関係を表現する非循環性の
有効グラフである。リンクの向きはグラフ中の様々なエ
ンティティ間に因果関係を表わし、リンクの方向が因果
を表わす。評価は、様々なエンティティ間の結合確率分
布関数（ＰＤＦ）についての知識に基づく。ベイズネッ
トの利点は、不確実性の特徴付けが明示的であること、
計算が効率的であること、構築及び保守が容易であるこ
と、学習が迅速であること、及び、ネットワーク構造及
びそのパラメータの変化に対し素早く適応することが含
まれる。ベイズネットは以下の４つの構成要素からな
る。 ・Ｐｒｉｏｒｓ：ベイズネット中の様々なノードについ
ての最初の信念。 ・条件付き確率行列（ＣＰＭ）：ベイズネット中の２つ
の連結されたノード間の関係についての専門知識。 ・証拠：ベイズネットに入力される特徴検出器からの観
察。 ・Ｐｏｓｔｅｒｉｏｒｓ：ベイズネットを通じて証拠が
伝播された後の最終的な計算された信念。

【００８２】学習のための最も重要な構成要素は、図１
中、ＣＰＭ段１５．１．．．１５．９（図２中、１５．
１．．．１５．７）として示されるＣＰＭの組であり、
なぜならば、ＣＰＭ段は利用可能な特定のアプリケーシ
ョンについてのドメイン知識を表わすからである。ＣＰ
Ｍの導出は、ベイズネットといった推論エンジンの分野
の当業者には周知であるが、以下においては典型的なＣ
ＰＭの導出について考えるものとする。

【００８３】図１及び図２を参照するに、本例のシステ
ムにおいて単純な２階層ベイズネットが使用され、顕著
性（又はアピール性）スコアは根ノードにおいて決定さ
れ、全ての特徴検出器は葉ノードにある。各リンクは、
同じ階層の他のリンクから条件付きで独立であると仮定
され、各リンクを別々に学習することによって、即ち他
のものから独立した所与のリンクについてＣＰＭを導出
することによって、ネット全体が都合良く学習されるこ
とに注意する必要がある。この仮定は、実際は破られる
ことが多いが、独立性による簡単化により、容易に実施
できるようになり、妥当な結果が得られる。これによ
り、他の分類器又は推論エンジンとの比較のための基準
が得られる。

【００８４】［確率推論］全ての特徴は、ベイズネット
によって統合され、顕著性値又はアピール性値が生ず
る。一方では、異なる証拠は他の証拠と競争するか矛盾
しうる。他方では、異なる証拠は一般的な写真シーンの
事前モデル又は知識に従って互いに補強し合う。競合及
び補強は共に、ベイズネットに基づく推論エンジンによ
って解かれる。

【００８５】図１０を参照するに、本発明では様々な特
徴検出器間の条件的独立性を想定する２階層ベイズネッ
トが用いられる。顕著性又はアピール性値は根ノード４
４において決定され、全ての特徴検出器は葉ノード４６
にある。各画像について１つの有効なベイズネットがあ
る。本発明は、本発明の範囲を逸脱することなく２つ以
上の階層を有するベイズネットにおいて使用されうると
理解される。

【００８６】［ベイズネットの学習］ベイズネットの利
点の１つは、各リンクが同じ階層にある他のリンクとは
独立になることである。従って、ベイズネットは、各リ
ンクを別々に学習することにより、即ち他のリンクとは
独立の所与のリンクについてＣＰＭ１５．１．．．１
５．９を導出することによってネット全体を学習させる
のに便利である。一般的に、根特徴ノード対毎にＣＰＭ
を得るために２つの方法が使用される。 １．専門知識を用いる。これはアドホックな方法であ
る。専門家は、アピール性の高い画像が与えられた場合
に、高出力又は低出力を生じる各特徴検出器の条件付き
確率を得るため助言を求められる。 ２．偶然性テーブルを用いる これはサンプリング・相関方法である。各特徴検出器の
多数の観察結果は、顕著性又はアピール性とについての
情報と共に記録される。これらの観察結果は、偶然性テ
ーブルを作成するために一緒に集められ、偶然性テーブ
ルは正規化されたときはＣＰＭ１５．１．．．１５．９
として使用されうる。この方法は、ニューラルネットワ
ーク型の学習（習得）に似ている。本発明ではこの方法
が望ましい。

【００８７】例として任意の特徴についてのＣＰＭにつ
いて考える。この行列は、グラウンド・トゥルース及び
特徴検出器から導出された偶然性テーブルを用いて生成
される。特徴検出器は一般的には２値決定（テーブル１
を参照）を供給しないため、ＣＰＭを導出するときには
分数的な頻度計数が用いられる。ＣＰＭのエントリは、
以下の式、

【００８８】

【数９】 によって決定され、式中、Ｉは全ての学習画像グループ
の組であり、Ｒ_ｉはグループｉ中の全ての画像組であ
り、ｎ_ｉはグループｉについての観察結果（観察者）の
数である。更に、Ｆ_ｒは画像ｒについてのＭラベル特徴
ベクトル、Ｔ_ｒはＬレベルグラウンド・トゥルースベク
トル、Ｐは正規化定数係数のＬ×Ｌの対角行列を表わ
す。例えば、表１における画像１、４、５、７は、表２
におけるボックス００、１１、１０、０１に寄与する。
全ての信念値は適正な信念センサによって正規化されて
いる。中心性についてのＣＰＭの第１の列の直感的な解
釈として、高い特徴値を有する画像は高い特徴値をもた
ない画像のアピール性の２倍になる可能性がある。

【００８９】

【表１】

【００９０】

【表２】 本発明はベイズネットについて使用する場合について説
明されたが、ベイズネットの代わりに異なる推論エンジ
ンが使用されうる。例えば、B. D. Ripleyによる「Patt
ern Recognition and Neural Networks」(Cambridge Un
iversity Press, 1996)では、正しい特徴を有するとい
うことが通常は最も重要であるようなパターン認識問題
を解くために使用されうる様々な異なる分類器が記載さ
れている。このような分類器は、線形判別式解析方法、
柔軟な判別式、（フィードフォワード）ニューラルネッ
トワーク、ノン・パラメトリック方法、木構造分類器、
信念ネットワーク（例えばベイズネットワーク）を含
む。当業者によれば、これらの分類器のうちのいずれも
本発明を実施するための推論エンジンとして採用されう
ることが明らかとなろう。

【００９１】本発明の主題は、ディジタル画像を認識す
るためにディジタル画像をディジタル式に処理し、それ
により人間が理解可能な対象、属性又は条件に対して有
用な意味を割り当て、ディジタル画像の更なる処理にお
いて得られる結果を用いるための技術を意味すると理解
されるディジタル画像理解技術に関する。

【図面の簡単な説明】

【図１】画像に対する顕著性値を計算するネットワーク
を示す図である。

【図２】画像に対するアピール性値を計算するネットワ
ークを示す図である。

【図３】図１及び図２に示される主被写体検出の構成要
素をより詳細に示すブロック図である。

【図４】画像のグループの相対的な顕著性値を計算する
ネットワーク構造を示すブロック図である。

【図５Ａ】図３に示された構成要素の主被写体検出の方
法を詳細に示す図である。

【図５Ｂ】図３に示された構成要素の主被写体検出の方
法を詳細に示す図である。

【図５Ｃ】図３に示された構成要素の主被写体検出の方
法を詳細に示す図である。

【図５Ｄ】図３に示された構成要素の主被写体検出の方
法を詳細に示す図である。

【図６】画像のカラフルネスを判定する方法を詳細に示
す図である。

【図７】カラフルネス特徴計算に使用される色度平面ウ
ェッジを示す図である。

【図８】肌及び顔の検出方法を示すブロック図である。

【図９】図５に示された主被写体検出の詳細なブロック
図である。

【図１０】図１及び図２に示されたネットワークで用い
られる２レベルのベイズ網を示す図である。

【図１１】図１乃至図１０に示された構成要素及び方法
を用いて本発明を実施するコンピュータシステムのブロ
ック図である。

【図１２】図１１に示された本発明を実施する画像処理
システムの更なる詳細を示すブロック図である。

【図１３】本発明を実施するため好適であるコンピュー
タ・インターネット画像処理システムを示すブロック図
である。

【符号の説明】

１０ 画像評価ネットワーク １２ 特徴抽出段 １４ 分類段 １６ 比較器段 １８ 正規化段 ２０ 肌領域検出器 ２２ クローズアップ検出器 ２４ 人物検出器 ２６ 肌検出器 ２８ 顔検出器 ３０ 構図検出器 ３０．１ 主被写体分散性アルゴリズム ３０．２ 主被写体中央性アルゴリズム ３０．３ 主被写体コンパクト性アルゴリズム ３１ クラスタ化段階 ３２ 被写体寸法検出器 ３４ 主被写体検出器 ３６ 鮮明度検出器 ３８ カラフルネス検出器 ４０ 独自フォーマット検出器 ４２ 代表色検出器 ４４ 根ノード ４６ 葉ノード ５０ 主被写体検出器 ５２ クラスタ化段階 １１０ 画像捕捉装置 １２０ ディジタル画像プロセッサ １２２ 強調変換モジュール １３０ 画像出力装置 １４０ 汎用制御コンピュータ １５０ モニタ装置 １６０ 入力制御装置 １７０ コンピュータメモリ装置 １８０ 印刷属性制御器 １９０ コンピュータシステム

フロントページの続き (72)発明者 アンドレアス イー サヴァキス アメリカ合衆国 ニューヨーク 14618 ロチェスター カヴァーデール・ドライヴ 93 (72)発明者 スティーヴン イーツ アメリカ合衆国 フロリダ 34293 ヴェ ニス ウッドメア・パーク・ブールヴァー ド 3877 アパートメント ８ Ｆターム(参考） 2C087 AA18 AB01 AB05 AC07 AC08 BD06 5C076 AA02 AA21 BA02 BB04 CB05 5L096 AA02 FA15 FA45 JA11

Claims (1)

【特許請求の範囲】
1. 【請求項１】 画素からなるディジタル画像から作成さ
   れる印画の１つ以上の印刷属性を変更する方法であっ
   て、 （ａ）上記画素から決定された情報に基づいて上記ディ
   ジタル画像についての印刷属性値を計算する段階と、 （ｂ）上記画像から作成される印画の印刷属性を制御す
   るために上記印刷属性値を使用する段階とを含み、上記
   印刷属性は、上記画像から作成される印画の数、上記画
   像から作成される印画の寸法、及び、上記画像のために
   用いられる倍率のうちの少なくとも１つである、方法。