JP2013500537A - 画像表示用ディジタルテンプレート処理 - Google Patents

画像表示用ディジタルテンプレート処理 Download PDF

Info

Publication number
JP2013500537A
JP2013500537A JP2012522799A JP2012522799A JP2013500537A JP 2013500537 A JP2013500537 A JP 2013500537A JP 2012522799 A JP2012522799 A JP 2012522799A JP 2012522799 A JP2012522799 A JP 2012522799A JP 2013500537 A JP2013500537 A JP 2013500537A
Authority
JP
Japan
Prior art keywords
image
window
template
images
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012522799A
Other languages
English (en)
Other versions
JP2013500537A5 (ja
Inventor
レイモンド ウィリアム プチャ
ローラ ルス ウイットビー
ウィリアム ジェイ ボガート
Original Assignee
イーストマン コダック カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by イーストマン コダック カンパニー filed Critical イーストマン コダック カンパニー
Publication of JP2013500537A publication Critical patent/JP2013500537A/ja
Publication of JP2013500537A5 publication Critical patent/JP2013500537A5/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

芸術的に整った画像表示を提供する方法であり、それぞれ一種類又は複数種類の属性条件を伴う窓部を複数個有する画像表示用のディジタルテンプレートを準備するステップを有する。プログラムに従い作動するコンピュータシステムを用い画像データベースを自動検索することで、対応する属性条件を満たす画像を窓部毎に探し出す。見つかった割当対象画像上に縦線及び横線を1本又は複数本想定した上で、その線上又は線同士の交点上にその画像の主題が位置することになるよう、その画像に相応の変形及び位置修正を施す。更に、その画像内の主題を識別し、その大きさを基準計測単位と定め、それを手がかりにして画像内主題配置を美しい比率での配置にする。

Description

本発明は、画像のディジタル合成及び表示に使用されるコンピュータシステム、方法及びソフトウェア、特に画像データの検索、取得及び評価並びにディジタルテンプレートへの割当を所与の構図に従い自動実行する方法及び装置に関する。
ディジタル印刷技術の発展につれ、画像コラージュ、画像付衣類、画像アルバム等、個人向け画像組込アイテムの普及が急速に進んでいる。しかしながら、画像組込アイテムが個人向けに普及するにつれ、そうしたアイテムに対する使用者の選別眼も鋭くなってきている。使用者がいま求めているのは、とりわけ、画像組込アイテムをより簡便、迅速、円滑、自動且つ調和的にカスタマイズ生成可能な手法及びシステムである。幾分一般的にはなってきているが、その内部に格納されている画像をカスタム表示可能なアイテムやその内部にある画像印刷物を差し替えられるアイテムは、まだまだ珍奇の目で見られることが多い。指定された外観条件を満たす画像コンテンツを認識する手法も、まだ十分なものとなっていない。例えば、内蔵画像をカスタマイズ表示可能なアイテムでは、画像の美観乃至属性に関する条件を決めるとそれを満たす画像が識別されるようになっていない。この種のアイテムでは画像として人物写真が使用されることが多いので、できれば、その写真に写っている人物・人数・表情・衣服・背景・季節・模様、その写真のズーム率・撮影日時・色調・色彩・鮮明度等に関する条件を決めるとそれを満たす画像が識別される、というようにしたいものである。うまく働く芸術的乃至美的要素はアイテムの形態によって異なるので、美的条件を含む複数通りの画像属性を画像複数枚について同時並行的に調べ、適合性スコアが最高の画像を自動識別するコンピュータアルゴリズムも、その実現が期待されている。更に、使用者満足度を高めるため、アイテムに組み込まれる画像乃至画像群を使用者が好き好きに選べるようにしたいものである。例えば、使用者お気に入りの画像に備わる属性を、画像自体からのリアルタイム抽出、その画像に関連付けられているファイル(メタデータファイル、DPOF(ディジタルプリントオーダフォーマット;登録商標;以下注記省略)ファイル、使用者が保存したファイル等)からの読込、その他の手法による生成、更には使用者による直接入力といった手法で求め、背景画像と調和させつつディジタルテンプレート内に配する、といったことを可能にしたいものである。その逆に、使用者の手持ち画像のうちどの画像がどのような組合せでそのテンプレートに割り当てられるかを決める際に、選択された画像組込先テンプレートの属性を利用可能にしたいものである。更に、その画像が表示される経緯乃至環境の属性をコンピュータシステムに入力し、それに基づき適切なテンプレート及び画像を選択させることや、そのためのアルゴリズムを様々に組み合わせて情報処理システム及び手法に統合することも求められている。
米国特許第5459819号明細書 米国特許第5815645号明細書 米国特許第5986671号明細書 米国特許第6285468号明細書 米国特許第6389181号明細書 米国特許第6476903号明細書 米国特許第6636648号明細書 米国特許第6711291号明細書 米国特許第6748097号明細書 米国特許第6813618号明細書 米国特許第6822756号明細書 米国特許第6868190号明細書 米国特許第6956671号明細書 米国特許第6958821号明細書 米国特許第6967667号明細書 米国特許第6992787号明細書 米国特許第7000192号明細書 米国特許第7003731号明細書 米国特許第7035467号明細書 米国特許第7043053号明細書 米国特許第7092966号明細書 米国特許第7340676号明細書 米国特許第7362919号明細書 米国特許第7533129号明細書 米国特許第5781650号明細書 米国特許第7508961号明細書(B2) 米国特許第7336819号明細書
Yin, Loi, Xiong, "Facial Expression Analysis Based on Enhanced Texture and Topographical Structure", Conference Proceedings-IEEE International Conference on Systems, Man and Cyberneteics, v1, P586-591, 2004 Tivive, Bouzerdoun, "A Gender Recognition System Using Shunting Inhibitory Convolutional Neural Networks", IEEE International Conference on Neural Networks-Conference Proceedings, p5336-5341, 2006 P.Viola and M.Jones, "Rapid object detection using a boosted cascade of simple features," in Computer Vision and Pattern Recognition, 2001, Proceedings of the 2001 IEEE Computer Society Conference, 2001, pp.I-511~I-518 vol.1 H.Schneiderman, "Feature-centric evaluation for efficient cascaded object detection," in Computer Vision and Pattern Recognition, 2004, Proceedings of the 2004 IEEE Computer Society Conference, 2004, pp.II-29~II-36 Vol.2 Daniel F. DeMenthon, Larry S. Davis, "Model Based Pose in 25 Lines of Code", Proceedings from the Image Understanding Workshop, 1992 T.F.Cootes, C.J.Taylor, D.H.Cooper, and J.Graham in "Active shape models - their training and application," Computer Vision and Image Understanding, vol.61, pp.38-59, 1995 A.Savakis, M.Erhard, J.Schimmel, and J.Hnatow in "A multi-camera system for real-time pose estimation," Bellingham WA, 2007 Russell and Norvig, "Artificial Intelligence- A Modern Approach," 2nd Edition, Prentice Hall, 2003 A.Shai, S.Ariel in "Seam Carving for Content-Aware Image Resizing", ACM Transactions on Graphics, Vol.26, Issue 3, July 2007 "Color Segmentation as an Aid to White Balancing for Digital Still Cameras", by Cooper, Proceedings of SPIE, v4300, pl64-171, 2001 Avidan and Shamir in "Seam Carving for Content-Aware Image Resizing" in ACM, Vol.26, No.3, July 2007
こうした従来技術では、多くの画像のなかから必要なものを検索して自分なりのデザインにする作業を使用者がマニュアルで行わねばならず、使用者の手に負えなくなるほど長い時間がその作業にかかることがある。
本発明の好適な実施形態の一つは、芸術的に整った画像表示を提供する方法及びコンピュータシステムである。本実施形態では、それぞれ一種類又は複数種類の属性条件(required attribute)を伴う窓部を複数個有する画像表示用のディジタルテンプレートを準備する。次に、プログラムに従い作動するコンピュータシステムを用い画像データベースを自動検索することで、対応する属性条件を満たしておりその窓部に割り当てうる画像を窓部毎に探し出す。その画像上に縦線及び横線を1本又は複数本想定した上で、その線上又は線同士の交点上にその画像の主題乃至主被写体が位置することになるよう、その画像に相応の変形及び位置修正を施す。更に、その画像の主題を計測してその大きさを基準計測単位と定め、それを手がかりにして、画像内主題配置を美しい比率での配置にする。その画像における二点間距離例えば主題間距離が基準計測単位に対し同値、所定比率値又は所定倍数値になるようにするとよい。
従って、本発明によれば、美観に関わる画像属性上の条件を断片的レシピとして保存しておき、それに基づきコンピュータシステムを画像データベースと連携させているので、画像組込アイテム(image enhanceable product)の生成に必要であった長時間に亘る作業を自動化することができる。
本発明の好適な実施形態で使用可能なコンピュータシステムを示す図である。 本発明の好適な実施形態におけるコンピュータシステム使用者を示す図である。 本発明の好適な実施形態におけるディジタルテンプレートの図案を示す図である。 属性条件及びその加重係数を規定するコードを示す図である。 適合性スコア算出の手法及び結果を示す図である。 適合性評価、画像選択及び画像調整の手法を示す図である。 テンプレート選択手順を示すフローチャートである。 画像選択手順を示すフローチャートである。 画像選択手順を示すフローチャートである。 テンプレート選択手順を示すフローチャートである。 画像選択手順を示すフローチャートである。 画像検索及び適合性スコア算出のアルゴリズムを示す図である。 画像検索及び適合性スコア算出のアルゴリズムを示す図である。 画像検索及び適合性スコア算出のアルゴリズムを示す図である。 画像検索及び適合性スコア算出のアルゴリズムを示す図である。 基本メタデータ(recorded metadata)の例を示す図である。 拡張メタデータ(extracted metadata)の例を示す図である。 テンプレートに従い生成された印刷物が飾られるフレームを示す図である。 同じくそのフレームを示す図である。
以下、上掲のものを含め本発明の目的及び構成をより好適に理解できるよう、別紙図面を参照しつつ説明を行う。但し、以下の説明は要旨限定を目的とするものではなく、本発明の好適な実施形態及びその様々な詳細を例示することを目的とするものであので、その点を了解されたい。本発明はその技術的範囲を逸脱することなく様々に改変乃至修正可能なものであり、本発明の技術的範囲にはそうした改変乃至修正を経たものも包含される。
図1に、本発明の実施に適した画像組込アイテム自動生成用電子システム乃至コンピュータシステムの一例26を示す。図示の通り、このシステム26のハウジング22内にはコンテンツ/プログラムデータファイル源24がある。これは、アプリケーションソフトウェアに係るファイル、ディジタルテンプレートのレシピ乃至属性条件に係るファイル、画像乃至その属性に係るファイル等を提供する部材であり、種々の記憶/記録装置40で構成されている。ハウジング22内には使用者用の有線ローカル入力システム68及び無線リモート入力システム58、出力システム28、並びにそれらと直接乃至通信するプロセッサ34もある。プロセッサ34は、図示しないが、一般的なプロセッサ類にチップ部品、例えば命令実行レジスタ、ALU、各層キャッシュメモリ等を付した構成であり、ファイル源24、入力システム68及び出力システム28と共にハウジング22内に配置されている。但し、ファイル源24、入力システム68及び出力システム28の回路乃至システムを、全体的又は部分的にハウジング22外に配置することも可能である。例えば、画面上でポインタを操作する手段は、ハウジング22外に設けたローカルマウス68b以外に、ハウジング22内に設けたトラックボールとしても実現可能である。
ファイル源24は、電子式、光学式又は磁気式記録/記録装置乃至システム、例えばフラッシュメモリ、光ディスク、磁気ディスク/ディスケット等のドライブを幾つか備えている。プロセッサ34は、ソフトウェア、ディジタルテンプレートのレシピ乃至属性条件、画像のデータ・属性・基本乃至拡張メタデータ等、様々なディジタル情報をそこからロードし、或いは画像データ、メタデータ等を自ら生成した上で、画像組込アイテムを自動的に生成する。本願では、それら、静止画・動画・グラフィクス・コンピュータ生成画像のデータ・属性・メタデータ等に係るデータベース上のファイルや、アプリケーションソフトウェアに係るファイルのことを、コンテンツ/プログラムデータファイルと称している。コンテンツデータファイルとしては、ファイル源24内の装置で画像を撮影しファイル化したもの、コンピュータシステム26内の画像撮影装置から取得したもの、ファイル源24外の装置から取得したもの、画像拡張/編集ソフトウェアで調製されたもの等を提供する。図示したシステムでは、こうしたファイル源24が、センサ38、記憶/記録装置40及び通信システム54で構成されている。
センサ38としては、まず、コンピュータシステム26がおかれている状況を検出し然るべき情報形態でプロセッサ34に通知するもの、例えば在来型の光センサ、バイオメトリックセンサ等を使用することができる。画像を撮影してプロセッサ34に送るもの、例えばカメラ、ビデオセンサ、スキャナ、マイクロホン、PDA、パームトップデバイス、ラップトップデバイス、その組合せ等も使用できる。不随意運動や心理反応を検出して通知するもの、例えば音声抑揚、身体運動、眼球運動、瞳孔散大、体温、p4000波等を検出するバイオメトリックセンサ等も使用可能である。検出した画像等をケーブル等による直接接続でプロセッサ34へと送るタイプでも、可搬なリムーバブルメモリ39の取り外し及び及びメモリスロット46への随時装着でプロセッサ34へと送るタイプでもかまわない。センサ38抜きでもかまわない。
記憶/記録装置40としては、上述の通り、固体、磁気、光等の方式による在来型のディジタル記憶/記録装置をコンピュータシステム26に固定実装又は可動可搬接続して使用している。図中のハードディスクドライブ42は可搬な外付け型のドライブであり、コンピュータシステム26稼働用のオペレーティングシステム、本発明の実施に資するものをはじめとする種々のアルゴリズム、ソフトウェア乃至プログラム、ディジタルテンプレートのレシピ乃至属性条件に係るデータベース、画像のデータ・属性・基本乃至拡張メタデータに係るデータベース等の格納に使用されている。リムーバブルディスクドライブ44は図示しない光、磁気その他のディスクメモリにアクセス可能なドライブであり、本発明の実施に資する制御プログラム乃至ソフトウェア等の格納に使用されている。メモリスロット46はメモリカード(登録商標)、フラッシュメモリ等の可着脱メモリをはじめとするリムーバブルメモリ48を装着可能なスロットであり、そのメモリ48とのやりとりに介在するリムーバブルメモリインタフェース50を備えている。制御ソフトウェア等のアプリケーションソフトウェアに係るファイルや、テンプレートのレシピ乃至属性条件、画像のデータ・属性・基本乃至拡張メタデータ等のファイルは、パーソナルコンピュータ、コンピュータネットワーク、ネットワーク接続サーバ等のディジタルシステムをはじめとするリモートメモリシステム52にも保存させうる。
通信システム54としては、図中のコンピュータシステム26とリモートメモリシステム52、リモートディスプレイ56、リモート入力システム58等との通信を担えるものを使用している。通信システム54は、画像未組込又は組込済のディジタルテンプレートといった形態で図案をコンピュータシステム26側から送信する一方、リモートメモリシステム52側にあるデータベースから、各種制御プログラム、アプリケーションソフトウェア、テンプレートのレシピ乃至属性条件、画像のデータ・属性・基本乃至拡張メタデータ等を受信する。図中の通信システム54は無線方式であるが、システム26をモデムで通信ケーブル越しにネットワークに接続し、そのネットワークを介しリモートメモリシステム52に接続する構成を採ることも可能である。リモートステーションにありリモート入力システム58を構成している入力デバイス群やリモートディスプレイ56を、図示例の無線方式ではなく有線方式で通信システム54に接続することも可能である。ローカルステーションにあり使用者用のローカル入力システム68を構成している入力デバイス群やローカルディスプレイ66を、プロセッサ34やそれにつながる通信システム54に対し図示の如く有線方式で接続するのではなく、無線方式に従い接続するようにしてもよい。
通信システム54で行われる動作は、具体的には、光トランスデューサ、無線周波数トランスデューサ等のトランスデューサ回路乃至システムを1個又は複数個用い、情報を光信号、無線周波数信号等の形態に変換し、その信号をリモートメモリシステム52、リモートディスプレイ56等のリモートデバイスに送信する一方、図示しないホストコンピュータ、サーバコンピュータ、コンピュータネットワーク、リモートメモリシステム52、リモート入力システム58等から上掲の如く信号を受信し、その信号から画像データ等のディジタルデータや指令を抽出してプロセッサ34へと供給する、といったものである。通信システム54が然るべく構成されているので、インターネット、携帯電話網、ピアトゥピア接続等のモバイル通信網や、有線ローカルエリアネットワーク、無線ローカルエリアネットワーク等のローカル通信網をはじめ、在来型の有線又は無線データ転送網、データ通信網、データ通信システム等を介しリモートメモリシステム52と通信することが可能である。
ローカル入力システム68は、コンピュータシステム26の使用者からプロセッサ34への指示手段の一つである。与えられる指示の一つは、本発明の実施に資するアルゴリズムを稼働させるための指示、即ち芸術的に整った画像表示をテンプレートレシピに従い自動提供するソフトウェアを起動させるための指示である。他の一つは、ディジタルテンプレート、お気に入り画像等のコンテンツデータファイルを指定する指示であり、本発明に従い画像組込アイテムを自動的に生成する処理は例えばこの指示に従い実行される。更に他の一つは、画像組込アイテムの出力形態を指定する指示である。入力システム58,68に備わる入力デバイス58a,58b,68a,68bは更に他の目的にも使用されうる。その一例は、既成の画像組込アイテム、テンプレート等に係るコンテンツデータファイルの組込、整頓及び編集による新たな画像組込アイテムの生成である。使用者は、システム26上に搭載されている画像編集ソフトウェアに対する指示で、システム26内画像組込アイテム自動生成を後述の如くオーバライドしうる。これにより、使用者乃至観客に関する情報、音声又はテキストによる注釈データ、ファイル化されたコンテンツデータ内に登場する人物を特定するデータ、システム26とのやりとりに関わる後述の情報等が、その画像組込アイテムに組み込まれることとなる。
ローカル入力システム68で行われる動作は、具体的には、使用者からの入力を種々の入力デバイスで受け取りプロセッサ34向けの形態へと変換する動作である。入力デバイスとしては、タッチスクリーン付ローカルディスプレイ66、タッチパッド、4ウェイスイッチ、6ウェイスイッチ、8ウェイスイッチ、スタイラス、トラックボール、ジョイスティック、音声認識システム、ジェスチャ認識システム、ローカルキーボード68a、ローカルマウス68b、リモートコントローラ等を使用可能である。図中のローカルディスプレイ66及びローカル入力システム68はプロセッサ34に直結されているが、これ以外の構成にすることも可能である。コンピュータシステム26に接続されるリモート入力システム58についても同様であり、図示の如くリモートキーボード58a、リモートマウス58b及びハンドヘルド型のリモートコントローラ58cを備える構成に限らず、様々なデバイスを様々な形態で使用可能である。
コンピュータシステム26やそのローカル入力システム68が設置されているのは図2に示す如き場所70である。これは編集スタジオ乃至キオスクに設置した例であるが、ほかにも様々な場所に設置可能である。この図では、使用者72がコンピュータシステム26のコンソールに対峙している。そのコンソールは、マルチメディアコンテンツを適用できるよう、ローカルキーボード68a、ローカルマウス68b、ローカルディスプレイ66等で構成されている。図中の編集場所70には、更に、カメラ乃至ビデオセンサ、オーディオセンサ201、使用セッション又は生成セッション中に使用者72がモニタ可能なマルチメディアセンサ等、様々な種類のセンサ38が配置されている。
そして、図1中の出力システム28は、画像、テキスト、画像未組込乃至画像組込済のディジタルテンプレート等といったコンテンツを可視化させる手段であり、これを用い表現物を可視化させて組み込むことで画像組込アイテム、例えばディジタルフォトフレーム、液晶ディスプレイ、フォトアルバム、コラージュ等が得られる。その可視化の手段として、このシステム28にはプリンタ、具体的には従来型の画像印刷、表示乃至記録装置が備わっている。図示例の出力システム28にはこれに該当する複数個のプリンタ29,30が備わっているので、プロセッサ34からの指令に応じプリンタ29,30を個別に動作させることも互いに連携して印刷を行わせることも可能である。種類や印刷可能フォーマットが違う複数個のプリンタを併用することや、標準的な画像記録媒体以外のもの、例えばTシャツをはじめとする衣類の表面に印刷を施すことも可能である。印刷方式としては、従来型の四基本色オフセット印刷、その他の接触印刷、シルクスクリーン印刷、米国ニューヨーク州ロチェスター所在のEastmanKodakCompanyが販売しているNexPress(登録商標)2100プリンタ等で用いられているドライ電子写真印刷、サーマル印刷、ドロップオンデマンドインクジェット印刷、連続インクジェット印刷等、様々な方式を使用可能である。図中のプリンタ30ではサーマル印刷方式が使用されている。以下の説明では、プリンタ29,30としてカラー印刷可能なものを想定するが、自明な通りこれは不可欠な事柄ではない。本発明に係る方法及び装置を実施するに当たり、プリンタ29,30としてとしては、白黒画像、グレイスケール画像、セピアトーン画像等の単色画像を印刷するタイプのものも使用可能である。
これら、ファイル源24、ローカル入力システム68及び出力システム28は、その構成部材を共有する形態にしてもよい。入力システム58,68、センサ38、記憶/記録装置40及び通信システム54からの信号は、プロセッサ34によるコンピュータシステム26の稼働に使用されうる。そうしたプロセッサ34は、プログラマブルディジタルコンピュータ、プログラマブルマイクロプロセッサ、プログラマブル論理プロセッサ、電子回路群、集積回路チップ化された電子回路群、ディスクリートチップ部品群等、様々な形態で実現可能である。
本発明で生成可能な画像組込アイテムとしては、例えば図3に示すフレーム状のアイテム300がある。これに限らず、画像が形成、表示、出現、挿入、装着、接着、組込、埋込、載置等される画像組込部を備えていればよい。本願でいうところの画像組込アイテムは広範な概念であり、実体的な画像組込部302を備える実体的なアイテムのほか、ホログラム等のディジタル制御形バーチャル表示を用いる非実体的なアイテムや、ディジタルディスプレイ、プロジェクタ、ホームシアタシステム等でスライドショウ再生等することができるよう記録媒体上に保存されたアイテムも包含している。画像組込アイテムは、例えばハート形、人間形、地域輪郭形等、様々な形状を採りうる。これは本件技術分野で周知な画像用ディジタルテンプレート生成ツール乃至技術で行えるので、本願では画像組込アイテムの初期形状設定に関する説明を省略する。実体的な画像組込アイテムの例としては、コラージュ、フォトブック、スクラップブック、フォトカレンダ、マグカップ、ビアジョッキ、カップ、脚付グラス、宝石、タイル、モザイク、室内装飾、マウスパッド、枕カバー、筆入れ、カンバス上の絵画、カンバス上の絵画風画像、カンバス上の写真造形像、形見箱、毛布、コースタ、フレーム、装飾、耳状装飾、雪片装飾、線条装飾、しろめ装飾、休日装飾セット、記念日装飾セット、トランプ、パズル、動物のぬいぐるみ例えばテディベア(登録商標)、壁紙、梱包材、衣類・アクセサリ、例えばTシャツ、タイ、トートバッグ、エプロン、産着、パフォーマンスシャツ等、フレーム・マット・画像のセット・コラージュ、宛名ラベル、ギフトタグ、切手等を挙げうる。
非実体的な画像組込アイテムも多々掲げうる。例えば、ディジタルフォトフレーム、ディジタル店頭ディスプレイ、ディジタルプロジェクタ、スコアボード、その一例たるスタジアム内スコアボード、広告板、インタラクティブディスプレイ等に表示される画像である。後述の通りその表示には空間的要素や時間的要素を反映させうる。例えば、時間的要素に従い情報、広告、装飾等を変化させることができる。それを保存しておき後刻の表示に使用することもできる。
こうした画像組込アイテム、例えば図3に示したアイテム300の図案は、ディジタルテンプレートとしてディスプレイの画面上に随時表示される。例えば、本発明に係るソフトウェア乃至コンピュータシステム26が導入された店舗では、このアイテム300に係るフレームの姿がキオスクの画面上に図示の如く、即ちその店舗で購入可能な実際のフレームの如くリアルに表示される。使用者は、システム26のローカルディスプレイ66に表示されるバーチャルなテンプレートを見ながらキオスクを操作することで、自分が指定した画像がその窓部に埋め込まれていて美的に整っているアイテム300を自動生成させることや、バーチャルなテンプレートに係る画像を付随するプリンタ29で印刷させることができる。得られる印刷物は、電子的乃至バーチャルなテンプレートに係る画像、即ちバーチャルな窓部に使用者発の画像が組み込まれている印刷物は、実体のある窓部に使用者発の画像が収まるかたちで、その店舗で実際に売られているフレーム内に飾られる。また、画面上のバーチャルな窓部306,308,310には、静止画、動画乃至その組合せを表示させうる。テンプレートの一部たる背景部312の色乃至模様は、様々な素材に似せることができる。例えば、使用者自身が購入しようとしている実体的なフレームの素材に似た模様にすることができる。使用者は、その表示を見ることで、自分が指定乃至提供した画像がその窓部に割り当てられたときにそのフレームがどのような外観乃至印象になるかを、画像組込済テンプレートの印刷前に確認することができる。必要なら、本発明に係るソフトウェアが上述の如く本システム26上で稼働している状態で、テンプレートの選択、画像の指定等をやり直すこともできる。画面上に表示されるテンプレートの形状は、使用者が、卵形、菱形、台形、方形、不定形等、様々な形状のなかから任意に指定することができる。表示画面におけるテンプレート内窓部306,308,310の形状、配置、個数、位置等も任意に設定することができる。上述の如くこのシステム26に接続されているローカルディスプレイ66の画面には、そうした指定に従いテンプレート及び画像が表示される。窓部に表示される静止画乃至動画の外観を引き立てるため、テンプレートの背景部312に背景装飾用の静止画乃至動画320,330が配されることもある。その場合、実際のフレームとしては、ディジタルフォトフレーム回路で制御される表示部及び印刷画像が組み込まれる部分を幾つかずつ有するものが使用されることになろう。例えば、窓部306,308,310のうち幾つかが液晶ディスプレイ、OLEDディスプレイ等の電子ディスプレイ、他の幾つかが印刷画像装飾枠になっているフレームである。窓部306,308,310のうち幾つかで静止画乃至動画を固定表示させる一方、他の幾つかで表示を変化させることも可能である。表示される静止画乃至動画の遷移、即ちそれまでの表示画像から新たな表示画像への切り替わりが生じるタイミングを、窓部間で一致させることもずらすことも可能である。こうした構成では、システム26内外のディスプレイ上にバーチャル表示されるテンプレートの形態や、それを構成する静止画、動画、テンプレート図案等の組合せを、生成される画像組込アイテムの外観が所望外観になるよう使用者が選択することも可能である。図示の如きバーチャルなテンプレートを例えばスタジアム内スコアボードの画面上に表示させる場合、スタジアム内の各所にあるカメラのうち幾つかからライブ映像を受け取り窓部内に表示させること等も可能である。
本発明の実施に当たっては、こうした画像組込アイテム乃至ディジタルテンプレートや、それに備わる個々の窓部に関し、デザイナが相応の言語、メソッド、プログラム乃至機構を用い芸術的構想を記述する。画像に関するこの構想は、図1及び図2に示すコンピュータシステム26上でリアルタイムに自動充足される。本願では、相応の言語、メソッド、プログラム乃至機構を用いテンプレート内窓部毎に作成されるこの記述、即ち属性条件を様式に従い記述したもののことのことをレシピと呼んでいる。次に、それらについてより詳細に説明する。まず、レシピを作成するのはデザイナ、例えば芸術家、技術者、有名人、スポーツ選手等の人物である。作成されたレシピは、システム26の使用者等が反復使用できるよう、同システム26内の記憶/記録装置40に送信、ロード乃至保存される。それらのうち、窓部毎のレシピ(窓部レシピ)は使用されるテンプレートに対し独立である。これに対し、同じテンプレート上の諸窓部に適用されるレシピ(テンプレートレシピ)は、組み込まれた画像を含むテンプレート全体の外観及び感触を踏まえ作成され、テンプレートレシピファイルとして保存されるのが原則である。そのファイル名は、対応するテンプレートレシピの美的効果がわかりやすい名称にするのが望ましい。ファイル名が例えば「FallColors」になっていれば、システム26上でそのテンプレートレシピを指定、使用したとき自動発現する外観、印象がどのようなものになるか、使用者が容易に理解することができる。
ディジタルテンプレートの別例としては、その左側と右側に窓部があり、左側窓部・右側窓部間で属性条件乃至レシピが異なる例を挙げうる。この例における窓部レシピは、左側窓部内に「人間でない物体がカラーで写っており、且つその物体を120%ズームするとその窓部がいっぱいになる」、右側窓部内に「風景と共に二人の人物が写っており、顔占拠面積が各人共20%であり、且つ各人の顔が20%程左寄りに位置している」等の属性条件を定めるものになる。これらの属性条件をめいめい充足させるためには、例えば、そのコンピュータシステムからアクセス可能な複数枚の画像それぞれを、後述する情報処理プログラムの実行によって調べればよい。具体的には、まず、属性条件に対する適合性の度合い(適合性スコア)を画像毎に、且つバーチャルなテンプレート内窓部毎に求める。次いで、諸保存画像のなかで窓部別且つ画像別の適合性スコアが最高のものをプログラムに従い窓部毎に自動特定する。これは、そうした最高スコア画像ならばその窓部に係る属性条件群を最も好適に充足するであろう、といえるからである。この動作により、ほとんど使用者が介在することなく、全ての窓部に画像が自動割当されることとなる。使用者に求められるのは、専ら、コンピュータシステムに対し幾枚か分の画像データを提示することだけである。例えば、自前画像ファイル集又はその一部が格納されているフラッシュメモリをメモリスロット46に装着するか、自前画像ファイル集又はその一部が所在するネットワークサーバの在処をコンピュータシステムに伝えればよい。それを受け、コンピュータシステムはそのメモリ乃至サーバから画像を読み込み、読み込んだ画像をテンプレート内に割り当てる。また、使用者がお気に入りの画像を幾枚か指定した場合は、どのような画像がお気に入り画像として指定されたかが、コンピュータシステムにおけるテンプレート自動選択の基準や画像未割当の窓部に画像を割り当てる際に、その指針として使用される。
適合性スコア算出用のプログラムは、諸窓部に対する画像の割当が最適になるよう作成される。ここでいう最適な割当とは、ディジタルテンプレート全体に亘る適合性スコアの総和(テンプレートスコア)が最高になる割当のことである。適合性スコア導出時には可識別乃至可計測な特性、例えば主題の素性・大きさ、写っている顔の個数・大きさ・向き・表情・年齢・性別、支配的な色、模様解析結果、物体照合結果、タイムスタンプ等を使用する。タイムスタンプは、特定の季節に撮影された画像を検索し効率的に見つけ出すのに役立つ。本願では、画像に備わるこうした多様な特性のことをメタデータ、それを指定するタグのことをメタデータタグ、画像データに関連付けて記録されていてその記録先から抽出乃至取得できる静的なメタデータのことを基本メタデータと呼んでいる。基本メタデータの記録は、一般に、使用者がカメラを操作したときや、撮影済画像のファイルを使用者がコンピュータシステム上で開いて保存するときに行われる。ディジタルカメラで画像を撮影する際には、大抵、タイムスタンプ、焦点設定、ファイル名、GPS(汎地球測位システム)測位データ等のメタデータが、その画像に係るファイル関連付けて記録される。本願では、更に、カメラ内コンピュータ、ハンドヘルドデバイス、ワークステーション、キオスク、ラップトップコンピュータ等のシステム上で画像データのファイルを処理し相応のアルゴリズムに従いその画像の特性を抽出することで得られるメタデータのことを、拡張メタデータと呼んでいる。画像特性抽出用のコンピュータアルゴリズムとしては、例えば、特許文献25(発明者:Lobo and Kwon,名称:人物画像データにおける自動顔特徴検出及び顔年齢分類(Automatic Feature Detection and Age Classification of Human Faces in Digital Images))記載の画像データ内人物顔年齢推定アルゴリズム、非特許文献1記載の表情判別アルゴリズム、非特許文献2記載のディジタル性別推定アルゴリズム等を使用する。この参照を以て各文献の全内容を本願に繰り入れることにする。次に、本発明におけるレシピ乃至属性条件の役割についてより詳細に例示説明することとする。
まず、宝物として大切にされる写真の多くは人物画像、即ち人物を主題とする画像であるので、属性条件を充足させる上で人物が重視されることが多い。その点、特許文献26(発明者:Chen, Nicponski and Ray)、非特許文献3又は非特許文献4には、個々の画像における顔の位置及び大きさをコンピュータを使用し探し出す方法が記載されている。この参照を以て各文献の全内容を本願に繰り入れることにする。非特許文献3に記載の方法は、顔有り画像及び顔無し画像からなるトレーニングセットを準備した上で、そのトレーニングセット内の全画像を利用し単純なハール様ウェーブレット弱分類子を導出する、というものである。画像内諸領域を顔領域と非顔領域とに分類する処理は、弱分類子単独ではともかく、弱分類子を多数束ねることで生成される強分類子ならば実行可能である。その分類に当たっては、画像上にある大きさの窓を想定し、その窓を画像全体に亘り縦横に移動させることで画像内の顔領域を探し出す。その後は、窓を拡げた上でその画像を再び走査する。こうした動作を反復していけば、その画像から様々な大きさの顔が漏れなく見つかるはずである。その実行には多大な情報処理能力が必要であるので、画像の統合等の最適化や弱分類子のカスケード化等で高速化を図る必要があろう。とはいえ、この方法であれは、画像における顔の位置や大きさを漏れなく検出可能である。また、様々な非変形性物体、例えば人物、菓子、風船、学帽、車、ボート等の位置及び大きさを検出する際にもこれを応用可能である。
顔が見つかったら、然るべくトレーニングされたニューラルネットワーク、サポートベクタマシン等の分類手段を用い目、鼻、口等といった特徴物の在処を検出し、次いで目、睫、顎等の鋭角部分や頬の輪郭を人体測定学的制約条件に基づく幾何学的規則に従い検出する。非特許文献5にはその人体測定学的制約条件の例が、非特許文献6には目、鼻、唇、輪郭、睫等様々な顔特徴の所在特定に使用可能な能動形状モデルが記載されている。この参照を以て両文献の全内容を本願に繰り入れることにする。全特徴が検出された後は、目や口の開閉の別、笑顔、満足顔、泣き顔、怯え顔、真顔、仏頂面等をはじめとする表情、向き等を、非特許文献7に記載の人体測定学的制約条件依拠性幾何学的モデル等に従い判別する。この参照を以て同文献の全内容を本願に繰り入れることにする。それら、表情乃至向きに関する情報を、対応する画像のメタデータ中に保存することで、本発明では、デザイナがメタデータタグを用い窓部レシピを「真剣な面持ちで左側を見ている人物の画像」等の如く具体的に記述すること、即ち画像組込アイテムのニュアンスを子細に定めることができるようにしている。
画像から顔が見つからなかったら、大抵は、その画像の主題が人物でないか、人物ではあるが顔を認識できなった、ということである。その際には、主題検出アルゴリズム、例えば1998年12月31日付米国特許出願第09/223860号に記載のそれが役に立つ。この参照を以て同出願の全内容を本願に繰り入れることにする。これは、画像の主題を検出して対応するメタデータに保存するアルゴリズムである。レシピに従いそのメタデータに当たれば、個々の窓部に美しく当てはまる画像を検索できよう。例えば、「指定した物体が写っている」との属性条件がレシピ内で規定されている場合に、それに該当する画像を、対応するメタデータにおけるその物体への言及を頼りに検索することができよう。即ち、画像データベースに登録されている諸画像のメタデータに対する検索で、検索条件に合致するメタデータを伴う画像を探すことができよう。その上で、所定の評価手順に従いその画像を調べればよい。評価手順としては、例えば、ディジタルテンプレート内窓部の属性条件に対する画像の適合性を調べるものを使用する。
主題検出アルゴリズムとしては画像分割法も使用可能である。これは、その特性、例えば色や模様が均質な小領域へと画像を細分し、その細分で形成された小領域同士を類似性計測結果に基づき統合し、形成された大領域の重要度に関しアルゴリズミックに評価する、というアルゴリズムである。その評価には二種類の独立且つ相補的な重要度評価子、即ち構造的重要度評価子(structural saliency feature)及び意味的重要度評価子(semantic saliency feature)を使用する。構造的重要度評価子は、各画像内領域に備わる可計測な特性、例えばその位置、大きさ、形状、対称性等を調べることによって求まる。意味的重要度評価子は、画像内に前景として現れやすいことが知られている物体乃至領域、例えば碑、建物、人物等や、背景として現れやすいことが知られている物体乃至領域、例えば空、草等に関する予備知識を、色、輝度、模様等の計測結果に基づき表したものである。その取得には、例えば、文献によく記載されているアルゴリズミックな処理で主要特徴、例えば肌、顔、空、草、樹木等を識別する手法を使用すればよい。そして、それら二種類の重要度評価子に関するデータを、非特許文献8記載のベイズネット内で統合することで、その画像における主題の所在を最終判別する。この参照を以て同文献の全内容を本願に繰り入れることにする。即ち、諸領域に関する意味論的且つ確率的な予備知識を、目の前の構造的重要度評価子と併せ、ベイズネット内で統計的確率樹に結合することで、個々の物体乃至領域がその画像の主題に分類される蓋然性又は背景に分類される蓋然性を導出する。この主題検出アルゴリズムによれば、主題の所在に加えその主題の大きさも求まる。
デザイナは、レシピの作成を通じ、ディジタルテンプレート及びそれを構成する様々な窓部について属性条件を定め、それをコンピュータシステム内の記憶/記録装置に保存させることで、単一の画像組込アイテムに対し幾通りかの美的乃至実用的外観を創造的に創案する。本願記載のコンピュータシステムを個人向け販売に使用する小売店では、使用者向けに表示、販売される画像組込アイテムの外観を、保存されているテンプレートを利用し、ときどきの季節、休日、行事等に見合ったものへと変化させることが可能である。レシピの作成は、この種の製品サービスを提供する店舗からデザイナ乃至有名人へと依頼することも、デザイナから許諾を受け店舗側で行うこともあろう。使用者が気に入っている画像をコンピュータシステム上で自動解析し、それに備わるテーマ乃至外観を画像毎に調べて相応のテンプレートを選定することで、画像組込アイテムの外観を芸術的に整えることもあろう。本発明は、使用するテンプレートに相応しい画像群を初期選択する形態でも、使用する画像の特性を調べその結果に基づきテンプレートを初期選択する形態でも、好適に実施可能である。いずれの形態でも、基本乃至拡張メタデータをテンプレートレシピに照らして両者間の適合性を調べるのは同じである。更に、使用者が気に入っている画像又はそのコレクションから特性を抽出し、それをテンプレート内の他の窓部に係る窓部レシピに組み入れる形態でも好適に実施可能である。
画像データの情報コンテンツ、例えば人数、表情、色等をコンピュータシステム上で解析し、テンプレートレシピ乃至窓部レシピの基礎をなす芸術的構想との関連で適合性スコアを求めることも可能である。ここでいう芸術的構想とは、主に、デザイナ即ち画像レイアウトの愉快化・魅惑化に習熟した人物による画像レイアウトの構想のことである。デザイナの芸術的構想は、個人向けの実体的な画像組込アイテム、例えばコラージュ、フレーム、フォトブック等や、前述の画面表示型アイテムをはじめとする個人向けの表示画像遷移型画像組込アイテム、例えばディジタルフォトフレーム、カメラ等の場合、使用者にとり快適、新規、愉快、啓発的乃至懐古的なアイテムにすることにおかれるであろう。ただ、様々な大きさの画面が使用される商用の表示画像遷移型画像組込アイテムでは話が別物になってくる。そうした商用アイテムの例としては、まず、ショウウィンドウ内に配した大型乃至小型ディスプレイの画面上に商品ラインナップを魅力的・魅惑的に入替表示するディジタル店頭ディスプレイを挙げうる。主題及び関連性に従い画像を分類表示するニュース掲示板や、スポーツ会場内やその近傍等に集った観衆を不断に撮影して効果的な画像を選別表示するスポーツ会場内掲示板例えばスコアボード等、ユーザインタラクティブディスプレイも商用アイテムの一例であろう。ユーザインタラクティブディスプレイとは、多々あるライブ動画や既存のライブラリ内画像を利用し表示コンテンツを更新するディスプレイ、例えば在来型のマウス、キーボード等や触覚インタフェース等を介した使用者からの入力に基づき更新するディスプレイや、使用者の表情・行動を電子的に検出しつつ特定の反応が誘起される画像種別を判別して自動更新するディスプレイのことである。いずれにせよ、デザイナの芸術的構想に係る適合性スコアが求まったら、その値が最高となった好適な画像群が、その画像組込アイテムに表示され又は組み込まれるべき画像群として自動的に選択される。適合性スコアは双方向的であるので、指定されたテンプレートに係る適合性スコアが最高の画像群を選ぶ形態でも、指定された画像乃至画像群に係る適合性スコアが最高のテンプレートを選ぶ形態でもよい。個人向け画像組込アイテムを生成する場合は、適合性スコアが上位n位以内の画像、テンプレート乃至レシピをコンピュータシステム内の使用者向けディスプレイ上に表示させ、表示されているもののうち任意のものを使用者が入力デバイスの操作で指定し、コンピュータシステムに伝える、という形態も採りうる。
レシピの作成を通じ美的外観が定められたら、画像組込アイテム内窓部それぞれに画像を割り当てる。これに使用可能な手法は幾通りかある。その一例は、バーチャルなディジタルテンプレート内の窓部それぞれに、画像データベース上に存する諸画像のなかで窓部別且つ画像別の適合性スコアが最高のものを割り当てる、というものである。テンプレート内窓部の個数及びデータベース内画像の枚数が共にnならその組合せを網羅的に調べてもかまわないが、テンプレート内窓部がn個でデータベース内画像がm枚(但しm>n)だと組合せの個数が嵩むからである。この手法では、対応する窓部レシピに対する画像の適合性スコアを窓部毎且つ画像毎に自動算出した上で、個々の窓部に対しそのスコアが最高の画像を割り当てる。その結果、同一の画像に関し複数個の窓部が競合する状況になった場合は、それらの窓部のなかで加重係数が最高のもの、即ち最も重要なものにその画像を割り当てるようにする。後に詳示する通り、テンプレート内窓部に付されている加重係数の値は、そのテンプレートにおけるその窓部の優先度に対応している。同様に、同一の窓部に関し複数枚の画像が競合する状況になった場合は、メタデータフィールドのうちその画像に対するアクセス回数が記録されているフィールドを参照し、それらの画像のうち1枚をその窓部に割り当てるようにする。当該複数枚の画像から乱数的に1枚を選択するアルゴリズムでも、同様の競合を解決することができる。加重係数と画像及びテンプレート内窓部との関係については後により詳細に説明する。
テンプレートレシピに基づく画像割当には画像分割法(image splitting)も使用可能である。これは、使用者から提示される1枚の画像に個々のレシピを適用し、その画像の各部を別々の窓部に割り当てる手法である。この手法では、例えば、新郎新婦が一緒に写った画像1枚が入力された場合、その画像に相応のレシピを適用することで、画像中の新郎部分が例えば右側窓部、新婦部分が例えば左側窓部に割り当てられる。デザイナは、例えば、そのレシピを然るべく作成し保存させることで、同じ写真内で二人の人物が占めるべき面積及び位置並びに両者の間隔に関する条件を定める。また、この手法は、アイテム作成の依頼に添えられている画像群を前述の手法に従い解析し、そのアイテムに係る芸術的構想が充足されるよう適合性スコアが最高の画像を採用する形態にて実行可能である。その適合性スコアが所定のしきい値を上回る画像がない場合に新たなレシピを自動選択して同じ処理を繰り返すよう、そのアルゴリズムを策定するのが望ましい。
画像分割法使用時には、主題の在処や詳細な周囲状況について知っておくことがしばしば必要になる。それらがわかっていれば、デザイナは、「3個あるテンプレート内窓部のうち左側にある大きな窓部には主題が写っている顔有り画像、右側にある小さな2個の窓部には主題が写っていない暗い色の顔無し画像」等といった条件を記述し、テンプレートレシピとして保存させうる。主題例えば人物を検出するアルゴリズムと併せ、画像を細分するアルゴリズムをコンピュータシステム上で稼働させることは、デザイナが作成したテンプレートレシピに含まれる属性条件を充足させ画像を美しく分割する上で有用となろう。更に進んだ画像分割法としては、非特許文献9記載のシームカービングで画像内低エネルギ領域を判別する、というものもある。この参照を以て同文献の全内容を本願に繰り入れることにする。画像内低エネルギ領域は分割に適した領域であるので、デザイナは、それを大きな手助けとしてテンプレートレシピを作成すること、ひいては魅力的な画像表示を提供することが可能である。
デザイナは、画像組込アイテム300及びそれに備わる個々の窓部に適用しうるよう、予めテンプレートレシピを作成しそれをテンプレートレシピファイルとして保存させる。例えば、窓部毎に窓部レシピファイルを作成しその集まりをテンプレートレシピファイルとして保存させる。それらのファイルはコンピュータシステム上で作成、実行される。その実行により様々なパラメタ、例えば風景モード・ポートレートモードの別、彩り・赤み・青み、人物・顔・主題の存在・大きさ・場所・周辺環境等に関し調べることが可能となる。
そうした物体の大きさを正しく特定する手法としては、画像内物体の大きさ及び位置をある種の可変指標を単位として測る比定(relative measurement)アルゴリズムを使用可能である。このアルゴリズムに則ったプログラムに従い稼働するシステムでは、画像内物体例えば顔、主題等の幅又は高さをその単位として使用する。その使用により、例えば、人物が一人入る窓部に関し「顔の占拠面積が20%であり、その顔の左側及び上側に各二単位及び一単位の隙間があり、顔乃至主題の右側に二単位以上に亘り淡色模様付画像領域があり、且つその顔の下側に二単位以上に亘りその人物を覆う濃色のシャツ、ブラウス又はドレスがある」との属性条件を定め窓部レシピファイルとして保存させることが可能である。属性条件をこのような形態で定め、後刻の反復使用に備えコンピュータストア内に窓部レシピとして保存させることで、デザイナはその創造性を大いに発揮可能である。
窓部レシピに応じた画像の割当方としては、ある種の得点システムに従い且つ対応する窓部レシピ群に対し画像毎に適合性スコアを求め、そのスコアが諸画像のなかで最高の画像をその窓部に割り当てる、という割当方もある。この動作は、例えば、コンピュータシステム上であるアプリケーションが起動されたときに自動的に開始され、そのコンピュータシステムからアクセス可能な場所に存する画像群に基づき使用者の介在無しに実行される。使用者は、多くの画像を漏れなくチェックする等といた面倒で時間のかかる作業から解放される。しかも、自動的に生成される画像組込アイテム300の質は、多くの場合、素人の使用者では達成できない水準のものになる。熟練したデザイナの手で外観が設計されているからである。無論、使用者がディジタルテンプレートや画像の自動選択を嫌う場合もあろう。そうした場合、使用者は、アプリケーションソフトウェアから提供されるオプションのうち相応のものを指定することで、システム側から自分の許へと制御を移し、マニュアル操作でのオーバライドに進むことも可能である。使用者は、また、市販されている種々の画像編集ソフトウェアを使用し画像にスケール変更、位置変更、再切除、再拡張又は修正を施すことや、バーチャルなテンプレート内窓部に自前画像を割り当てさせることも可能である。
次に、窓部レシピの一例をそのコードセグメント
<MetaDatum Label="EastmanKodakCompany" Tag="Orientation" Datum="1" />
<MetaDatum Label="EastmanKodakCompany" Tag="OrientationWeight" Datum="20" />
<MetaDatum Label="EastmanKodakCompany" Tag="FacialCloseToNum" Datum="3" />
<MetaDatum Label="EastmanKodakCompany" Tag="FacialCloseToNumWeight" Datum="10" />
<MetaDatum Label="EastmanKodakCompany" Tag="Favorite" Datum="1" />
<MetaDatum Label="EastmanKodakCompany" Tag="FavoriteWeight" Datum="10" />
<MetaDatum Label="EastmanKodakCompany" Tag="Resolution" Datum="2431800" />
<MetaDatum Label="EastmanKodakCompany" Tag="ResolutionWeight" Datum="100" />
<MetaDatum Label="EastmanKodakCompany" Tag="OffsetLeft" Datum="1" />
で示す(「EastmanKodak」は登録商標;以下注記省略)。これは、例えば、ディジタルテンプレートに複数個備わる窓部のうちある1個に関する記述である。
このコードセグメントでは、個々のエントリが「<」,「>」で括られている。そのうち属性条件を規定するエントリの多くに、加重係数を指定するエントリが後続している。一行目にある「Orientation」条件は撮影モードに関する属性条件であり、この例ではその値「Datum」として「1」、即ち風景モードを示す値が指定されているので、個々の画像がこの条件に対し呈する適合性スコアは、撮影モードが風景モードなら1、ポートレートモードなら0になる。ポートレートモードの画像を求める際には値「Datum」を「0」にすればよい。なお、この例でも後掲の例でもエントリの記載順序は任意である。スコア算出用の加重係数についてはまた後に説明する。
「FacialCloseToNum」条件は、顔個数が指定値に近い画像を求める属性条件である。この例では指定値「Datum」が3であるので、個々の画像がこの条件に対し呈する適合性スコアは、その画像における顔個数がちょうど3なら1、2又は4なら0.5、1又は5なら0.25、0なら0、6なら0.125、そして7以上なら適合性スコア=1/(2^(顔実数−顔所要数))なる式で求まる値となる。この式中、顔所要数とは、対応する指定値に相当する顔個数(ここでは3)のことである。これに類似するが指定値域又は指定値規則が異なる別の属性条件を課すこともできる。顔個数が指定値と等しい画像を求める「FacialNumExact」、顔個数が指定値以上の画像を求める「FacialGreaterThanEqualToNum」、顔個数が指定値以下の画像を求める「FacialLessThanEqualToNum」等の条件である。
「Favorite」条件は、その画像乃至画像群が使用者のお気に入り画像であることを求める属性条件である。個々の画像がこの条件に対し呈する適合性スコアは、その画像がお気に入り画像なら1、それ以外は0となる。無論、これとは異なる指定値割当規則を窓部乃至テンプレートレシピに導入することも可能である。
「Resolution」条件は、解像度が指定値以上の画像を求める属性条件である。この例では指定値が「2431800」であるので、対応する加重係数に応じたスコア上乗せが実行されるのは、その画像の解像度=幅方向画素数×高さ方向画素数が2431800以上の場合である。個々の画像がこの条件に対し呈する適合性スコアは、その画像を構成する画素の総数が指定値以上なら1、それ以外なら0となる。
これらの属性条件エントリに後続するエントリでは加重係数、即ち画像毎の総スコアを求める際にその画像の重要度として参照される数値がデザイナによって設定されている。これを属性値に乗ずると属性条件毎の加重値が求まり、その加重値を諸属性条件に亘り総和すると画像毎の適合性スコア、即ちその画像についての評価指標が求まる。自明な通り、諸属性条件に対する諸画像の適合性は様々な手順で評価可能であり、そのためのプログラムは本発明の実施形態向けに容易に作成可能である。最高スコア画像は、対応する窓部レシピを最も好適に充足する(窓部に最適な)画像として扱われる。また、加重係数エントリを伴わない属性条件には加重係数のデフォルト値10が自動的に適用される。対応する加重係数が10超なら重要度が高い属性条件、10未満なら重要度が低い属性条件である。100以上なら充足必須の属性条件として扱われる。単に「属性」と呼ばず「条件」を付していることからわかるように、属性条件の性質はその属性に帰する加重係数によって違う。対応する加重係数として100ならそれは充足必須、といった具合である。例えば、上掲のコードセグメントでは「ResolutionWeight」係数の値が「100」、即ち解像度に関する加重係数が100であるので、その窓部に割り当てられうるのは画素数が2431800以上の画像だけである。
これら、上掲のコードセグメント内の諸エントリは、最後のものを除き窓部別且つ画像別の適合性スコア算出に関連している。最後のエントリ、即ち「OffsetLeft」エントリはディジタルテンプレート乃至窓部の仕様を設定する仕様エントリの一種であり、画像の選択には関わらないので加重係数エントリと対にされていない。この種のエントリでは最高スコア画像、即ちバーチャルなテンプレート内窓部に割り当てられることとなった画像に指定値相当の変形を施せ、と指示される。選択された画像がこれに従い微細調整、例えばレイアウト調整を受けることから、この種のエントリは一種の後処理エントリであるといえる。上の例では、テンプレート内窓部へのバーチャル組込に先立ち主題の位置を三分割法左側分割線上に移せ、と指示されている。三分割法とは、多くの人々に受けがよくバランスのとれた写真が得られる、との定評がある写真構図法であり、コンピュータシステム26上でソフトウェア的に実行可能である。三分割法では、縦線及び横線を2本ずつ用い画像上に3×3等間隔格子を設けた上で、着目中の主題がそれら4本の分割線のうちいずれかの上に来るよう画像を変位させる。三分割法による画像変形に当たっては、このほか、「OffsetRight」、「OffsetTop」、「OffsetBottom」、「OffsetUL」、「OffsetUR」、「OffsetLL」、「OffsetLR」等の仕様を適用可能である。前四者を適用すると、4本ある分割線のうち対応するものの上に主題が来るよう画像が変位する。後四者を適用すると、4個ある分割線間交点のうち対応するもの上に主題が来るよう画像が変位する。テンプレート仕様設定例えば選択後レイアウト調整には、このほか、個別主題乃至顔の位置乃至大きさ修正、画像全体の見栄え修正等の芸術的乃至美的効果を求める様々な処理、例えば「Sepia」、「B/W」、「colorful」、「light」、「highContrast」、「soft」、「cartoonization」、「emboss」等の仕様を使用可能である。
本発明では、画像を対応する基本メタデータ中でお気に入り画像乃至主画像に指定することや、その画像を画像組込アイテム上の目立つ場所で使用させること、その画像に対しその指定前後に施すべき特別又は独特な処理をタグで指定すること、その画像に備わる画像属性乃至属性群の主要特性に関し且つ属性条件指定を通じ他窓部内画像を従える主窓部向け画像に指定すること等も可能である。例えば、ディジタルテンプレートの中央に大きな窓部を設け、その窓部の属性条件を然るべく定めることで、その窓部をそのテンプレートの主窓部に指定し、使用者のお気に入り画像乃至主画像のうち1枚をそこに割り当てさせることが可能である。その窓部に割り当てられるのは、ソフトウェアに従い稼働中のコンピュータシステム26から促され使用者が指定した画像か、対応する基本メタデータ中で主画像等と指定されている画像となろう。他のテンプレート内窓部については、主窓部との指定も従窓部等との指定も可能である。ソフトウェアに従い稼働するシステム26で主窓部向け画像を検索、発見できるよう画像ファイルに随伴するメタデータにお気に入り画像乃至主画像該非情報を含ませることも可能である。既述の通り、使用者がお気に入り画像乃至主画像を幾枚か指定することや、対応するテンプレート内窓部におけるお気に入り画像の位置を使用者が指定することや、多数の画像をお気に入り画像に指定すること、ひいてはテンプレート乃至窓部レシピにて然るべく定められた属性条件に従い他の画像属性を選択条件として使用しお気に入り画像からの選出をソフトウェア的に自動実行させることも可能である。主窓部に隣接する他の窓部向けに、その窓部に係る窓部レシピに従いコンピュータソフトウェアに画像を自動選択させることも可能である。窓部レシピには、お気に入り画像の指定に使用しうる属性条件として、保存されている画像から検出された色、階調等の類似性等に係る条件を盛り込むことが可能である。
先にそのコードセグメントを示した窓部レシピでも、画像が満足すべき属性条件として、「お気に入り画像に指定されている」との条件に加え「風景モードで撮影されている」、「集合写真;好ましくは3名の人物を含む写真である」並びに「解像度が2431800画素以上でなければならない」の諸条件が規定されており、これらが全て満たされると満点の適合性スコア=40が得られる。これは、属性毎に求めた加重値を窓部間で総和することで得られる。なお、同例では「ResolutionWeight」係数の値が「100」となっているが、「100」なる値は条件の相対的重要度を示す値ではなく「その解像度が必須であるので特別扱いせよ」とソフトウェアに指令するための値であり、実際にその値が加重されることはないので留意されたい。また、同例ではデザイナが他の諸属性条件(加重係数=10)に比べ撮影モードに係る属性条件(加重係数=20)を重視していることが、対応する加重係数の値からわかる。
デザイナは、こうした属性条件及び加重係数を同例の如くXMLを用いキー値対として記述した後、自分の美的目論見を実現する手段の一つとして用いられることとなるよう、コンピュータシステム内の装置例えば記憶/記録装置40にレシピの定義ファイルとして格納させる。そうしたレシピのうち、テンプレート内窓部毎に属性条件を定めるものを窓部レシピ、同一グループ名で括られる窓部群が共通して満たすべき属性条件を一通り又は複数通り定めるものをグループレシピ、同一テンプレート名で括られるテンプレート内窓部全てが満たすべき属性条件群を定めるものをテンプレートレシピと呼ぶ。それらは、「テンプレートレシピよりもグループレシピが優先し且つグループレシピよりも窓部レシピが優先する」等といった優先順位に従い適用される。デザイナが定めうるテンプレートレシピの例としては、各窓部に人物画像が収まることを求めるレシピ
<MetaDatum Label="EastmanKodakCompany" Tag="FacialGreaterThanEqualToNum" Datum="1" />
<MetaDatum Label="EastmanKodakCompany" Tag="FacialGreaterThanEqualToNumWeight" Datum="100" />
を掲げうる。
対応する加重係数が100であるため、このレシピに係る属性条件は充足必須なものである。そのため、アクセス可能な種々の画像データベースを対象とした自動検索ソフトウェアの実行でこの属性条件を満たす画像が見つからなかった場合、コンピュータシステムは、この属性条件が満たされ得ない旨を使用者に通知する。また、このレシピ内の加重条件エントリを省いた場合、本発明の好適な実施形態では、加重係数のデフォルト値=10が自動適用されることとなる。以下の例では、記述の簡明化のため、加重係数エントリに関する記述を省略することとする。
個々の窓部に係る属性条件を窓部レシピで然るべく定めることで、タイムスタンプ、デートスタンプ、GPS測位データ、カメラパラメタ等の使用者定義タグがある特定の値をとる画像を、その窓部に割り当てさせることも可能である。次に例示する諸エントリ
<MetaDatum Label="EastmanKodakCompany" Tag="DateMin" Datum="10/20/2008" />
<MetaDatum Label="EastmanKodakCompany" Tag="TimeMax" Datum="21:00" />
<MetaDatum Label="EastmanKodakCompany" Tag="Date" Datum="10/20/2008" />
<MetaDatum Label="EastmanKodakCompany" Tag="GPS" Datum="(44.613934,-110.558167)" />
<MetaDatum Label="EastmanKodakCompany" Tag="GPSRadius" Datum="75.5m" />
<MetaDatum Label="EastmanKodakCompany" Tag="ISO" Datum="400" />
<MetaDatum Label="EastmanKodakCompany" Tag="Title" Datum="Disney" />
は、いずれもそうした属性条件を定めるものであり、窓部レシピ内で任意に併用することができる(「Disney」は登録商標;以下注記省略)。
例示した属性条件のうち1個目は撮影日が指定値以降の画像を求める条件、2個目は撮影時刻が指定値以前の画像を求める条件である。「DateMax」条件及び「TimeMin」条件もこれに倣い指定することが可能である。「DateMin」条件の値「Datum」は、この例では「月/日/年」様式で指定されているが、世間で通用している他の諸様式、例えば「日/月/年」様式で指定する仕様を使用してもかまわない。「月/日/年」様式の一部だけが埋まったかたち、例えば値「Datum」のうち「日」部分が省略された「10//2008」等のかたちにしてもかまわない。また3個目の属性条件は日付の一致を求める「Date」条件である。「Time」条件もこれに倣い指定することが可能である。日付の一致を求めるのに代え周知休日への該当を求めることも可能である。例えば、値「Datum」を「ThanksGiving」、「MemorialDay」等にすることで、感謝祭、戦没将兵記念日等の日を指定することも可能である。「Time」条件では、値「Datum」を「Noon」、「Midnight」等にすることで、正午、真夜中等を指定することが可能である。更に、例示した属性条件のうち4個目は座標値に関する条件、5個目はそこから撮影場所までの距離に関する条件である。この例の場合、両条件によって、イエローストーン国立公園内のある観光スポットにほど近く、75.5m以内にあるキャンプ場で撮影された画像が要求されることとなる。また、6個目の属性条件は、画像撮影時のカメラ状態のうちISO値に関する条件である。同様にして、焦点距離、Fナンバ等のカメラ状態を子細に指定することも可能である。そして、最後の属性条件は、特定の使用者乃至第三者を提供元とするメタデータが付された画像に限る、との条件である。この例の場合、対応する基本メタデータ中に「Disney」なる文字列がある画像に限られることとなる。同様に、ある窓部向けの画像を使用者による指定に従い「UncleJoe」即ちジョーおじさんの写真に限ることも可能である。そのメタデータ内で使用先が特定のテンプレート乃至テンプレート群に限定された画像を、ある特定のウェブサイトから探すよう、キオスク用のアプリケーションソフトウェアに求めることも可能である。例えば、使用者又はその友人のFacebook(登録商標;以下注記省略)アカウント上にあり「UncleJoe」なるメタデータを伴っている画像を求めるエントリや、Flickr(登録商標;以下注記省略)上にありメタデータ「sunset」を伴っている画像を求めるエントリを設けることが可能である。使用するソフトウェアが然るべく作成されていれば、そのコンピュータシステムからアクセス可能なウェブサーバ上にある該当アカウントを自動的に検索し、指定されたメタデータを伴う画像を見つけ出すことができよう。自コンピュータシステム内、分散ネットワーク上で連結している他のコンピュータシステム内、或いはネットワーク経由でアクセス可能な他のサーバ上に、画像組込アイテム作成に際し使用者が組み合わせうる画像が登録されたローカルなカスタムデータベースを構築してもよい。
公私の別を問わず、そうした画像データベース上では、そのコンテンツを示すタグが画像に付されているものである。それらは、個人向けの画像組込アイテム300を作成するに当たり利用可能である。タグとして使用されるコンテンツの例としては、「beach」、「palm trees」等の一般的語句、「KodakPremium」等の商品名付一意識別子、特定の有名人との権利関係乃至関連を示す「FamousDesigner」等の語句、「WalmartSummer2008」等の店舗広告構成語句、といったものを挙げうる。1個の窓部に対し複数個の「Title」条件を課すこと、例えば値=「Disney」のものに加えて値=「FamousDesignerFall2008Collection」のそれや値=「ColorfulLeaves」のそれを課すことも可能である。そうした条件をレシピ内で課すことで、有名人が自分の名前を付け認証した最新の画像組込アイテム300を購入するよう使用者に働きかけることや、認証元の有名人へと使用料を自動的に転送させることが可能となる。再三再四来店するよう使用者に訴えることで、ある特定の有名人、デザイナ、スポーツ選手乃至人物の名で提供される商品や、ある特定のイベント例えばWorldSeries2009コレクションにて提供される最新の商品を、その使用者に購入してもらうことも可能である。
また、窓部レシピ及びグループレシピは、その作成の仕方次第で、様々な種類のテンプレートレシピをもたらしうるものである。例えば、バーチャル絵本を制作する際には、絵を時間的な順序通りに並べねばならないことがしばしばである。絵本用のディジタルテンプレートに備わる個々の窓部にこのルールを緩く適用させるには、そのテンプレートに適用されるグループ乃至テンプレートレシピに次のようなエントリ
<MetaDatum Label="EastmanKodakCompany" Tag="Date" Datum="W1>=W0" />
を設けると共に、対応する加重係数を緩めの適用に適する小さめの値に設定すればよい。
ここで例示したのは、指定する窓部「W0」内の画像に比べデート乃至タイムスタンプが大きい画像(後刻の画像)を自窓部「W1」向けにするよう求める属性条件である。なお、「W」の引数「i」は窓部識別用の整数コードである。使用者から提供される画像を時間順通りに並べて絵本を制作する、というルールを他の属性条件に比しどの程度優先的に適用させるかは、このエントリに対応する加重係数エントリでの加重係数設定で調節可能である。時間順通りに並べることを必須としたい場合は、個々の窓部に関し、この加重係数を100に設定すればよい。
色に関する所定の属性条件を満たす画像が個々のテンプレート内窓部に割り当てられるよう、「ColorIntent」条件を窓部レシピ内で課すことも可能である。次に示す諸エントリ
<MetaDatum Label="EastmanKodakCompany" Tag="ColorIntent" Datum="Cool" />
<MetaDatum Label="EastmanKodakCompany" Tag="ColorIntent" Datum="Cyan" />
<MetaDatum Label="EastmanKodakCompany" Tag="ColorIntent" Datum="150,220,75" />
<MetaDatum Label="EastmanKodakCompany" Tag="ColorIntent" Datum="W0" />
がその例である。
これらの色属性条件のうち1個目は値「Datum」として「Cool」、「Warm」等の語句を、2個目は「red」、「green」、「blue」等の語句を、3個目は24ビットRGBコードを使用する類のものである。24ビットRGBコードを使用する例では、社名ロゴ、pantone(登録商標)色等の所与色設定に整合するよう色属性条件を規定することができる。一番複雑なのが最後の条件である。即ち、値「Datum」が「Wi」形式を採るこの条件は、その値「Datum」でした窓部内の画像から基本色を抽出し、その色に類似又は関連する色を基本色とする画像を自窓部に割り当てよ、と求めている。
既に例示説明した通り、その画像属性が属性条件を満たす画像は、そうでない画像に比べ高い適合性スコアを呈する。最高スコア画像は、更なる選出後修正を経て窓部に割り当てられることとなる。最後の属性条件の場合、それに対する適合性スコアが最高とされるのは、指定した窓部「W0」に係る画像の基本色(例えば暖色系)に対する色の近接度が最高の画像である。この窓部向けに最終的に選出された画像は更なるチェック及び修正を受ける。即ち、他窓部「W0」内の画像のそれと同様の暖色系基本色を呈するよう、必要に応じ色調整を受けることになる。
階調に関する所定の属性条件を満たす画像が個々のテンプレート内窓部に割り当てられるよう、「ToneIntent」条件を窓部レシピ内で課すことも可能である。次に示す諸エントリ
<MetaDatum Label="EastmanKodakCompany" Tag="ToneIntent" Datum="Light" />
<MetaDatum Label="EastmanKodakCompany" Tag="ToneIntent" Datum="Low" />
<MetaDatum Label="EastmanKodakCompany" Tag="ToneIntent" Datum="W0" />
<MetaDatum Label="EastmanKodakCompany" Tag="ToneIntent" Datum="~W0" />
<MetaDatum Label="EastmanKodakCompany" Tag="ToneIntent" Datum="W0|W1" />
<MetaDatum Label="EastmanKodakCompany" Tag="ToneIntent" Datum="~(W0|W1)" />
がその例である。
これらの属性条件のうち、1個目は「light」、「dark」等の語句、2個目は「High」、「Low」、「Normal」等の語句で示されるコントラスト属性を画像に求める類のものである。3個目は「ColorIntent」タグでのそれと類似している。即ち、他窓部「Wi」を参照する形式を採るこの条件は、参照先の窓部に割り当てられた画像から基本階調特性を抽出し、その特性に類似又は関連する階調特性を基本階調特性とする画像を自窓部に割り当てよ、と求めるものである。この種の条件は、お気に入り画像の指定に絡めないで使用することも可能だが、お気に入り画像の指定に絡めて使用すること、例えばお気に入り画像から色情報や階調情報を抽出しその結果に基づき他の諸窓部に係る属性条件を規定する、といった形態で使用することも可能である。これは強力なプログラミング手段である。その利用により、例えば、同じディジタルテンプレート上で使用される全画像の色及び階調を、ある特定の基準画像のそれに整合させることも可能となる。その基準画像としては、同じテンプレート上で使用される画像のほか、同じテンプレート上で使用されない画像も使用可能である。基準画像として塗装見本、布、室内画像等のアイテムを用いてもかまわない。
この種の属性条件は他の業務でも使用可能である。例えば、学校の卒業アルバムを作成する際、個々の卒業写真が収まる窓部に相応の窓部レシピを関連付けることで、そのアルバムに収まる写真の色及び階調を基準画像のそれに一致乃至整合させることも可能である。同じことは広告の分野でもいえる。例えば、メールオーダカタログや毎週恒例の店舗チラシを作成する際、ページレイアウトを規定する窓部レシピでこの種の条件を課し画像間コントラスト差を抑えることが可能である。ディジタル店頭ディスプレイでも同様の属性条件規定が有益となろう。
4個目の属性条件では「Wi」形式の指定値に「~」が付されている。これは、指定した窓部内の画像から階調特性を抽出し、それと逆の階調特性を有する画像を割り当てよ、との条件である(基本色についても同様の指定が可能である)。従って、指定した窓部内の画像が高コントラスト画像なら自窓部には低コントラスト画像が割り当てられる。即ち、指定した窓部内の画像が高コントラストなほど自窓部内の画像は低コントラストになる。
5個目の属性条件ではn個の窓部「Wi1」〜「Win」(但し「i1」〜「in」は整数)が「Wi1|Wi2|…|Win」形式でつながれている。これは、それらの窓部「Wi1」〜「Win」内の画像から階調特性を抽出し、抽出した特性の画像間平均を求め、それに似た階調特性を有する画像を割り当てよ、との条件である(基本色についても同様の指定が可能である)。続く6個目の属性条件ではn個の窓部「Wi1」〜「Win」が「~(Wi1|Wi2|…|Win)」形式でつながれている。これは、窓部「Wi1」〜「Win」内の画像から階調特性を抽出し、抽出した階調特性の画像間平均を求め、それと逆の階調特性を有する画像を割り当てよ、との条件である(基本色についても同様の指定が可能である)。
こうして色や階調に関する属性条件を課すことで、デザイナは、窓部間で画像の色乃至階調コンテンツを似通わせること、異ならせること、また両形態を適宜交えることが可能である。自明な通り、上掲の二例を変形して対象を他の属性条件に拡げること、例えば模様、色彩、季節、年内時刻、日内時刻、人物、鮮明度、雑音等の条件に拡張することも可能である。
ある窓部内にある画像の色、階調、鮮明度、切除(クロッピング)等に関し使用者が入力デバイスの操作でマニュアル調整を施せる状況では、こうした属性条件を然るべく規定することで、同じアイテム内の別の窓部内にある画像の色、階調、鮮明度、切除等に関する調整を自動実行させることが可能である。例えば、窓部「W1」内画像のそれと同一のコントラスト比を有する画像を窓部「W5」に割り当てよ、と求める属性条件を課しておけば、使用者が窓部「W1」内画像のコントラスト比をマニュアル調整で高めた場合に、窓部「W5」内画像のコントラスト比が属性条件に従い自動的に上方調整されることになる。また、使用者は、この自動調整の実行を避け入力デバイス操作で調整する途を採ることも可能である。
画像内の物体や場面の検知に関わる属性条件を窓部レシピ内で課すことも可能である。例えば、個々の窓部に割り当てられるべき画像に関し、次の如き諸エントリ
<MetaDatum Label="EastmanKodakCompany" Tag="Object" Datum="Balloon" />
<MetaDatum Label="EastmanKodakCompany" Tag="Theme" Datum="Fall" />
<MetaDatum Label="EastmanKodakCompany" Tag="Similar" Datum="W1" />
を窓部レシピ内に設けることができる。
これらの属性条件のうち1個目は、指定した物体が写っている画像を求める趣旨の条件である。この例ではその物体として「Balloon」が指定されているが、「BirthdayCake」、「SoccerBall」、「Dog」等も指定可能である。この種の条件は、サッカーの試合やバースデイパーティで撮影された画像を漏れなく探し出すのに役立つ。2個目の属性条件は、指定したテーマに関する画像を求める趣旨の条件である。テーマとしては「city」、「colorful」、「dreamy」等も指定可能である。この種の条件は、どのような雰囲気の画像をその窓部に割り当てるべきかを定めるのに使用可能である。そして、最後の属性条件は、指定した窓部「W1」内の画像に対する類似度が高い(よく似ている)画像を求める趣旨の条件である。指定した窓部内の画像に対する類似度が低い(あまり似ていない)画像を求める属性条件を課す際には、その窓部名に「~」を付ければよい。複数個ある窓部それぞれに収まる画像間で平均を求め、その平均に対する類似度が高い(又は低い)画像を割り当てよ、と求める属性条件を課す際には、それらの窓部の名称同士を「|」でつなげばよい。類似度としては、多々ある有用な画像属性のなかでもRGBヒストグラム統計値、特にχ自乗解析の結果や低解像度画素間相関指標等が有用、高速且つ実用的であるといえよう。後者のなかで特に実用的なのはマハラノビス距離、エッジマップ相関の二種類である。マハラノビス距離は色チャネル間相関を勘案した標準偏差類似の指標であり、エッジマップ相関は(64×96画素以下の低解像度画像を対象に)ソーベルフィルタによる基準画像の微分と他の諸画像の微分とを対照することで求まる相関である。複雑な意味論的情報を使用するより複雑な類似度指標も使用可能である。
物体や光景に関わる属性条件を、例えば次の如き諸エントリ
<MetaDatum Label="EastmanKodakCompany" Tag="Location" Datum="Beach" />
<MetaDatum Label="EastmanKodakCompany" Tag="SceneContains" Datum="Snow" />
を用いレシピ内で課すことも可能である。
これらのうち前者の属性条件は、指定した場所分類に該当する画像を求める趣旨の属性条件である。場所分類としては、「Beach」のほか「Water」、「City」、「Indoors」等も指定可能である。個々の画像がどのような場所・光景分類に属するのかは、その画像のデータを対象にして光景分類計算を実行することで導出可能である。また、後者の属性条件は、指定した物体乃至状況を捉えた画像を求める趣旨の条件であり、画像選択上の更なる拘束条件となっている。物体乃至状況としては、「Snow」のほか「Water」、「Sky」、「Foliage」、「Dirt」、「Skin」等も指定可能である。後者の条件は信念マップを利用した実現が可能である。指定値が「Snow」即ち雪となっているので、このエントリに対する返り値は、雪が見あたらない画像については0となる。雪が多く写っている画像、即ち雪に係る画素の比率が多い画像では、同じくその返り値が大きめの値になる。空(sky)検出については特許文献27(発明者:Gallagher, et al.,名称:ディジタルカラー画像からの空検出(Detection of Sky in Digital Color Images))、藪(foliage)検出については非特許文献10にその例が記載されている。この参照を以て両文献の全内容を本願に繰り入れることとする。
人物に関する属性条件を規定するエントリ、例えば次の如き諸エントリ
<MetaDatum Label="EastmanKodakCompany" Tag="AgeLessThanEqualToNum" Datum="2" />
<MetaDatum Label="EastmanKodakCompany" Tag="FacialPose" Datum="Left" />
<MetaDatum Label="EastmanKodakCompany" Tag="FacialExpression" Datum="Angry" />
<MetaDatum Label="EastmanKodakCompany" Tag="EyesOpen" Datum="1" />
をレシピ内に設けることも可能である。
これらの属性条件のうち1個目は、年齢が指定値以下の人物を捉えた画像、具体的には2歳以下の人物を捉えた画像を求める条件である。「AgeGreaterThanEqualToNum」、「AgeCloseToNum」等の条件もこれに倣い課しうる。2個目の属性条件は、写っている人物が指定値相当方向を向いている画像、具体的には左側に向いている画像を求める条件である。この条件は、人物が正面以外を向いていること、例えば別の窓部へと向いていることが望まれる場合に使用可能である。3個目の属性条件は、写っている人物が指定値相当の表情乃至態度を示している画像を求める、との条件である。この例ではその表情乃至態度として「angry」が指定されているが、「sad」、「surprised」、「happy」、「smile」、「neutral」等の表情を捉えた画像を求めることも可能である。そして、最後の属性条件は、写っている人物の目が開いている画像を求める趣旨の条件である。これと類似する属性条件を課すこと、例えば出身民族、性別、髪色、髪型、瞳色、肌色、身長、年齢、顔飾り(サングラス等)、髪飾り(ヘアバンド等)、髭、口の開閉等に関する条件を課すことも可能である。こうした諸特徴は、本件技術分野で習熟を積まれた方々(いわゆる当業者)にとり周知のアルゴリズム又は既に説明済のアルゴリズムに則り検出乃至評価することが可能である。
顔認識結果に基づき人物の画像を割り当てさせるエントリ、例えば次に示す諸エントリ
<MetaDatum Label="EastmanKodakCompany" Tag="PersonID" Datum="UncleJoe" />
<MetaDatum Label="EastmanKodakCompany" Tag="PersonID" Datum="W0" />
も設けることができる。
これらの属性条件のうち前者は、指定した人物「UncleJoe」が写っている画像を自窓部に割り当てよ、と求める条件である。これを充足する画像は、個々の画像に係る基本メタデータに当たることによって、或いは付随する顔認識データベースを参照し該当するメタデータを抽出することによって発見可能である。自明な通り、その結果を拡張メタデータとして保存すればよいので、この抽出処理を再実行する必要はない。昨今では、顔認識機能のあるカメラや画像処理ソフトウェアパッケージも多く存在している。また、後者の属性条件は、指定した窓部「W0」内の画像に写っている人物が写っている画像を自窓部に割り当てよ、と求める条件である。これは、複数個のテンプレート内窓部間に備わるべき属性条件的関連性、特に画像内登場人物の関連性を一般的な形態で規定する類のものである。この種の条件を課すことで、例えば、ある人物が大きく写っていてお気に入りに指定されている画像をテンプレート中央の窓部に割り当てさせる一方、それと同じ人物がどこかに写っている画像をその周辺の諸窓部に割り当てさせることが可能である。
更なる画像選択に関連し次の如き諸エントリ
<MetaDatum Label="EastmanKodakCompany" Tag="AspectRatio" Datum="1.5" />
<MetaDatum Label="EastmanKodakCompany" Tag="WindowShape" Datum="Oval" />
をレシピ内に設けることも可能である。
これらの属性条件のうち前者は、アスペクト比(高さに対する幅の比率)が指定値「1.5」の窓部に割り当てうる画像を求める、との条件である。後者は、指定した形状(この例では卵形)を有する窓部に割り当てうる画像を求める、との条件である。これらの条件を併せて課した場合、個々の画像を対象とした適合性スコアの算出対象がその卵形の部分だけとなる。「WindowShape」条件の値としては、この例における「Oval」のほか、「Rectangle」、「Circle」、「Pentagram」、「Hexagon」、「RoundedCornerRectangle」等、様々な形状を指定可能である。また、これら「AspectRatio」及び「WindowShape」条件による形状指定は、併用されている他のタグ、例えば「PersonID」、「FacialCloseToNum」等のタグ下での適合性スコア算出にも適用される。例えば、その画像がアスペクト比=1.5で顔を5個含む方形画像であったとしても、指定された窓部形状が卵形(oval)で、その卵形のなかに収まる顔の個数が3個であるのなら、その画像についての適合性スコアは顔が3個であるとして算出されることとなる。
レシピ内で、これに類する条件を窓部1個当たり複数組課すことも可能である。この形態では、同一の窓部に重複適用される複数組の属性条件のうち、記載順序が後の条件群が最上位の条件群として扱われることとなる(「Order」条件使用時を除く)。ある同一の窓部に二組の条件を重複適用する例としては、次に示す第1条件群
<MetaDatum Label="EastmanKodakCompany" Tag="AspectRatio" Datum="0.5" />
<MetaDatum Label="EastmanKodakCompany" Tag="WindowShape "Datum="Oval" />
<MetaDatum Label="EastmanKodakCompany" Tag="PersonID" Datum="UncleJoe" />
<MetaDatum Label="EastmanKodakCompany" Tag="PersonID" Datum="AuntSuzie" />
<MetaDatum Label="EastmanKodakCompany" Tag="FacialEqualToNum" Datum="2" />
を適用した後、次に示す第2条件群
<MetaDatum Label="EastmanKodakCompany" Tag="AspectRatio" Datum="0.5" />
<MetaDatum Label="EastmanKodakCompany" Tag="WindowShape" Datum="InverseOval" />
<MetaDatum Label="EastmanKodakCompany" Tag="FacialEqualToNum" Datum="0" />
<MetaDatum Label="EastmanKodakCompany" Tag="Location" Datum="Sand" />
を適用する例があろう。
この例では、まず第1条件群で「幅が高さの半分の窓部に割り当てうる」、「卵形の内側に割り当てうる」、並びに「写っている人物がジョーおじさんとスージおばさん(AuntSuzie)の二人である」の諸属性条件が課され、次いで第2条件群で「幅が高さの半分の窓部に割り当てうる」、「卵形の外側に割り当てうる」、「人物が写っていない」並びに「砂(sand)が写っている」の諸属性条件が課されている。従って、適合性スコア算出には卵形領域の外側も使用されることになる。
これらの二例、即ち画像を窓部中央に配してその窓部をできるだけ埋めることを想定した例と異なり、窓部を各種コラージュ風に埋めていくことを想定したエントリ群を、個々の窓部に関し設けることも可能である。例えば、サブ窓部の位置[X,Y]、幅及び高さを指定する次のようなエントリ群
<MetaDatum Label="EastmanKodakCompany" Tag="SubWindowX" Datum="0" />
<MetaDatum Label="EastmanKodakCompany" Tag="SubWindowY " Datum="0.5" / >
<MetaDatum Label="EastmanKodakCompany" Tag="SubWindowW" Datum="1" />
<MetaDatum Label="EastmanKodakCompany" Tag="SubWindowH" Datum="0.5" />
を、個々の窓部レシピ内に設けることである。
この例では、その窓部レシピに対する適合性スコアが最高の画像が、対応する窓部の下半分にはめ込まれる。「SubWindowX」、「SubWindowY」、「SubWindowW」及び「SubWindowH」の諸条件に係る指定値の値域は0〜1.0の範囲である。ここでは(0,0)を左上隅、(1,1)を右下隅と取り決めているが、これとは別の取り決めも使用可能である。そして、こうしたサブ窓部に対し、次に例示する諸エントリ
<MetaDatum Label="EastmanKodakCompany" Tag="Feather" Datum="0.1" />
<MetaDatum Label="EastmanKodakCompany" Tag="Order" Datum="0.75" />
で縁飾り幅や順位指定を施すことも可能である。
この例では、画像の縁飾り幅に関する属性条件として「Feather」条件が課されている。窓部の幅に対する縁飾り幅の比率はその指定値で任意に指定可能である。また、「Order」条件の値はその窓部に収まる画像の優先順を小数で表したものであり、その値が大きい窓部ほど上位とされ、その窓部内の画像が手前側に来ることとなる。例えば、同じ窓部に係るどのレシピでも「Order」条件に係る指定値を欠く場合や、同じ窓部に係る別々のレシピ内にうり二つな「Order」条件がある場合には、両レシピのうち後登場のものが先登場のものより上位とされる。「Order」条件に係る指定値を欠くレシピは、当該指定値がデフォルト値即ち0であると見なされる結果、同じ窓部に係る後登場のどのレシピよりも下位のレシピとして扱われることとなる。このように窓部の形状、内外、位置及び順位について指定することが可能なスクリプト言語は、有能なデザイナに相応しい強力な言語であるといえよう。
レシピ内に、画像内の特定領域を括り出すエントリを設けることも可能である。例えば、空、雪、肌、藪等の画像内領域をその色、位置等で判別し、背景領域をそこに模様がないことを以て判別するエントリである。次に例示する諸エントリ
<MetaDatum Label="EastmanKodakCompany" Tag="SelectSkyInverse" Datum="0" />
<MetaDatum Label="EastmanKodakCompany" Tag="SelectFace" Datum="50" />
<MetaDatum Label="EastmanKodakCompany" Tag="BackgroundColor" Datum="W0" />
は、該当する領域を自動的に括り出した上で、その領域の属性を他領域の属性と連携させ又はそれで置換させるものである。
これらの仕様のうち1個目は、空非該当領域の透明度を指定値相当、空該当領域の透明度を100%にした画像を割り当てる仕様である。ここでは指定値が「0」となっているので、空非該当領域の透明度が0%、空該当領域の透明度が100%となる。従って、その窓部内で、この画像を別のレシピを満たす別の画像より手前に置いた場合、前者の空該当領域を後者の対応部分で置き換えた(後者を背景とした)画像がその窓部内に現れる。使用するのを「SelectSky」仕様に変えれば、空非該当領域の透明度が100%と見なされ表に現れなくなる。また、2個目の仕様は、顔領域の透明度を指定値相当、顔非該当領域の透明度を100%にした画像を割り当てる仕様である。ここではその指定値が「50」となっている。従って、その窓部内で、この画像を別のレシピを満たす別の画像より手前に置いた場合、透明度=50%の顔を透かし透明度=50%で背景が見える画像が現れる。この条件と併せ、別の画像に対する「SelectFaceInverse」仕様を使用することで、2個の顔を交互に発現させることも可能である。この処置即ち顔スワップの効果を強めるには、先に例示したエントリのうちいずれかを使用し顔の輪郭線を厳密に特定しておけばよい。そして、最後の仕様は、指定した窓部「W0」に係る画像の基本色に見合った色の背景領域を割り当てる仕様である。背景領域は、非特許文献9に記載の画像エネルギが低い領域として画像から検出可能である。この参照を以て同文献の全内容を本願に繰り入れることにする。
1個目の仕様は、美的乃至実際的に重要な適合的モンタージュを作成するのに便利である。特殊な美的効果を発生させる際、例えば画像の空乃至背景に画像乃至文字列が入った広告用ポスタを作成する際にも便利である。2個目の仕様も、芸術的な効果を発生させるのに便利である。不適切な表情、目閉じ、首傾げ等を呈している顔を適切なそれに置き換えるのにも便利である。その他の商業目的、例えばモデルの頭部が客の子供の頭部に置き換わって表示されるタイプの店舗チラシを作成する際にも使用されうる。オンライン広告を個々の家族向けにカスタマイズすること、例えばその家族向けに売り込み商品をカスタマイズすること、家族が纏っている衣服、操作している装置、眺めている距離等をカスタマイズすること等も可能である。Facebook等のソーシャルネットワーク上でこの種の仕様を使用すれば、享楽用乃至商用のカスタムスライドショウも作成可能である。そして、最後の仕様は、そのアイテムのテーマやデザイナの構想に密着した最終製品が得られるよう、先行する適合的なレシピの流れに沿うかたちで使用されうる。例えば、背景の模様や色をお気に入り画像のそれに揃えることや、窓部内で主題が目立つよう背景を透明乃至白色にすることが可能である。
窓部レシピ内に、顔、主題等、特定物体の大きさ及び位置をある種の単位を用い指定する諸エントリ、例えば
<MetaDatum Label="EastmanKodakCompany" Tag="FacialEqualToNum" Datum="1" />
<MetaDatum Label="EastmanKodakCompany" Tag="FacialEqualToNumWeight" Datum="100" />
<MetaDatum Label="EastmanKodakCompany" Tag="FaceSize" Datum="0.5" />
<MetaDatum Label="EastmanKodakCompany" Tag="FaceLocation" Datum="Center" />
を設けることも可能である。
これらの属性条件のうち、1個目は指定した個数の顔を含む画像を自窓部に割り当てよとの条件であり、2個目は1個目の条件が充足必須であるとの条件である。この例では顔個数が1個に指定されているので、顔個数が0個又は2個以上の画像がその窓部に割り当てられることはない。顔個数がちょうど1個の画像が見つからなかった場合は、そのままジョブを終了させるか、使用者に通知する、その属性条件に対するオーバライドを求める、割り当てるべき画像の指定を求める等、使用者に何らかの介在を求めるようにする(この点は充足必須たる他の属性条件が満たされなかった場合も同様である)。また、3個目の属性条件は、画像内顔占拠率が指定値「0.5」の画像を求める条件である。この条件に対する画像の適合性スコアは、指定値相当の占拠率(50%)に対する実際の占拠率の違いが小さいほど高く、大きいほど低くなる。その算出式としては1−abs(指定値相当の占拠率−実際の占拠率)なる式を使用しているが、対数関数、ガンマ関数等の非線形関数を用いた式も使用可能である。顔個数及び顔占拠率が指定値に近い画像ほど適合性スコアが高くなる評価式であればよい。テンプレート内窓部に割り当てられるのは、この評価の結果適合性スコアが最高とされた画像、例えば顔個数が1個で顔占拠率が50%に最も近い画像である。割当が決まった画像に後処理を施すこと、例えばその窓部における顔占拠率がちょうど50%になるよう修正することも可能である。そして、最後の属性条件は、その顔の位置がその窓部の中央を占めることを求める条件である。これら、「FaceSize」乃至「FaceLocation」条件の記述に当たり、他窓部例えば「W0」を参照するかたちで値を指定すること等も可能である。それにより、その窓部に現れる画像での顔の大きさ乃至位置を、他のテンプレート内窓部「W0」に組み込まれるお気に入り画像でのそれに似通わせること等が可能となる。更に、顔の大きさ及び位置が重要な場合には、「FaceSize」乃至「FaceLocation」条件における他窓部「W0」の参照の仕方をより高度なかたち、例えば
<MetaDatum Label="EastmanKodakCompany" Tag="FaceSize" Datum="W0*0.8" />
のかたちにすることも可能である。
ここで例示した属性条件は、他窓部「W0」内画像中の顔に比し80%の大きさで顔を捉えた画像を自窓部に割り当てよ、と求める条件である。顔が複数個ある画像に関しては、それらの顔の平均的な大きさ及び全体での重心が、「FaceSize」乃至「FaceLocation」条件によって参照されることとなる。「W0|W1|W2」形式を用い、窓部「W0」、「W1」及び「W2」を通じた顔の平均的な大きさ等を参照することも可能である。また、「FaceLocation」条件の値としては、上掲の「Center」のほか、「UpperLeft」、「UpperRight」、「LowerLeft」、「LowerRight」等、三分割法に則った値や、「Upper」、「Lower」、「Left」、「Right」等の値も指定可能である。「FaceLocation」条件では他窓部「W0」を
<MetaDatum Label="EastmanKodakCompany" Tag="FaceLocation" Datum="W0*HorizMirror" />
の如く参照することで、顔位置を鏡像反転させることも可能である。
ここで例示したエントリは、窓部「W0」内画像における顔位置が例えば上から1/3なら自窓部内画像における顔位置が下から1/3になるようにせよ、と求めている。また、他窓部「W0」でのそれを基準にして顔位置を定めるため
<MetaDatum Label="EastmanKodakCompany" Tag="FaceLocation" Datum="W0+0.2H-0.3V" />
の如くずれを指定することも可能である。
ここで例示したエントリは、窓部「W0」内画像における顔位置に対し自窓部内画像における顔位置が右に20%、下に30%ずれるようにせよ、と求めている。これと同様の値指定は、画像から検出される顔に限らず、顔以外の主題についての大きさ及び位置指定にも使用可能である。
次に、図4〜図6を参照し、特定の窓部向けの窓部レシピに対する諸画像の適合性を調べる処理について説明する。まず、図4に、写真フレーム等の個人向け画像組込アイテムを作成するに当たりある窓部に適用される窓部レシピの例を示す。属性条件として規定されているのは、「お気に入り画像である」(加重係数=20)、「2個の顔を含む」(加重係数=40)、「顔が前向きである」(加重係数=20)並びに「屋内画像である」の諸条件である。最後にある2個のエントリは、ディジタルテンプレート乃至窓部に対する仕様設定又は後処理に関するものであり、画像をより分ける手がかりではないので、加重係数エントリと対にはされていない。また、この例では、使用者が自分のお気に入り画像を幾枚か指定し、バーチャルなテンプレート上の任意個所、例えば人目を引く窓部への割当候補にすることができる。図6に、検索の対象となる一群の画像の例を示す。この図の左半にはn枚の画像があり、図4に示した窓部レシピに対する適合性はその画像それぞれについて調べられることとなる。説明の便宜上、ここでは、2枚目の画像620及びn枚目の画像640を使用者が予めお気に入り画像に指定済であるとする。
図5に、窓部レシピに対する適合性を画像毎に調べる方法を示す。本方法では、まず、メタデータエントリ又は意味論的アルゴリズムに従い、画像毎且つ属性条件毎に属性値を定める。属性値の値域は、0を下限、1.0を上限とする0〜1.0の範囲である。次いで、その属性値にその属性条件に係る加重係数を乗ずることで、画像毎且つ属性条件毎の加重値を求める。そして、その加重値を諸属性条件に亘り総和することで、窓部別且つ画像別の適合性スコアを求める。その適合性スコアが最高の画像が、そのレシピに対する適合性が最高の画像と見なされる。
図中、1個目の属性条件はお気に入り画像であることを求める条件である。そのため、同条件に係る属性値は、画像620及び640では1、画像610及び630では0となる。それらに同条件に係る加重係数を乗ずることで、画像610、620、630及び640に係る加重値が求まり、順に0、20、0及び20という値になる。
「FacialCloseToNum」条件は顔個数が2個の画像を求める属性条件である。残念なことに、どの画像も顔個数が2個でなく過多又は過少であるため、同条件に係る属性値はどの画像でも0.5となる。同条件に係る加重係数が40であるため、それを属性値に乗じて求まる加重値は、4枚あるどの画像でも20となる。
「FacialPose」条件は顔がいずれも前向きの画像を求める属性条件である。同条件に係る属性値は、顔方向推定ソフトウェアで導出されたピッチ角及びヨー角(度単位)を(100−(ピッチ角+ヨー角))/100の式に代入し、その値域が0〜1.0の範囲に正規化されるようその結果を打ち切ることで得られたものである。従って、加重値はピッチ角=ヨー角=0の場合に最大になり、それ以外の向きではより小さな値になる。
「Location」条件は屋内光景を捉えた画像を求める属性条件である。同条件に係る属性値は、ISO、露出時間及びフラッシュ有無に関するメタデータタグ、藪色画素や空色画素をはじめとする主立った意味論的情報、並びにその光景全体の色温度に基づき、屋内外推定ソフトウェアで導出された値であり、その光景の屋内らしさを表している。この例の画像では、1、2、3、nの順に属性値が1、0.7、0.25、1、加重値が9、7、2.5、10となっている。
画像別の適合性スコアは、こうして画像毎且つ属性条件毎に求めた加重値を画像毎に総和したものである。この例の画像では、1、2、3、nの順に、画像別適合性スコア615、625、635、645(図6参照)の値が49、67、42.5、55と求まる。そのうちの最高値は67、即ち画像620に係る値である。この画像620、即ち図4に示した窓部レシピを最もよく充足する画像が、その窓部に割り当てるべき画像650として選択される。
そして、この画像650には、図4の窓部レシピ中で最後に記載されている2個のエントリに従い後処理が施される。ここでは「OffsetUR」仕様、即ち顔位置が三分割法の右上交点に来るよう画像を調整する処理や、「FaceFill」仕様、即ち窓部の幅に対する顔の大きさの比が20%になるよう画像を調整する処理が指定されている。図6に模式的に示すように、これら二種類の処理660を施したものが最終的な画像670となる。
後処理としては、このほか、画像の色、階調、鮮明度等を調整する処理や、他窓部内の画像に対する色、階調、コントラスト比等の違いを調整する処理を、例えば
<MetaDatum Label="EastmanKodakCompany" Tag="AutoEnhance" Datum="1" />
<MetaDatum Label="EastmanKodakCompany" Tag="Contrast" Datum="<W0" />
等のエントリで指示することができる。
これらの仕様のうち1個目は、画像を自動的に修正乃至拡張して自窓部に割り当てるものである。同様にして「AutoNeuralBalance」、「AutoColorBalance」、「AutoContrast」、「AutoSharpness」、「AutoZoomCrop」等の仕様も適用可能である。例えば「AutoZoomCrop」仕様を適用した場合、切除しても高い適合性スコアが維持される限りで、またその画像組込アイテムに相応しい解像度が維持される限りで、画像の縁付近にある小さな顔も自動切除されることになる。また、2個目の仕様は、画像のコントラスト比を窓部「W0」のそれ未満にして自窓部に割り当てる仕様である。同様にして「Colorfulness」、「Brightness」、「Sharpness」等の仕様も適用可能である。自窓部に割り当てられる画像のコントラスト比は、指定値「Datum」が「>W0」なら窓部「W0」のそれより大きくなり、「>>W0」なら遙かに大きくなる。
「>」、「<」等の記号を使用した記述、例えば
<MetaDatum Label="EastmanKodakCompany" Tag="AgeCloseToNum" 'Datum=">W0" />
<MetaDatum Label="EastmanKodakCompany" Tag="AgeCloseToNum" 'Datum=">(W0+10)" />
<MetaDatum Label="EastmanKodakCompany" Tag="AgeCloseToNum" 'Datum="<(W0+30)" />
の如きレシピ記述は、コンテンツの窓部間相対指定に便利である。
これらの属性条件のうち1個目は、窓部「W0」内画像に写っている人物より年長らしき人物を捉えた画像を自窓部に割り当てよ、との条件である。遙かに年長、と指定する際には記号「>>」を使用すればよい。両者の違いはソフトウェア上で随意且つ容易に定義可能である。例えば、5歳違いなら「>」に該当、15歳違いや20歳違いなら「>>」に該当、といった具合である。また、それに続く2個の条件は、窓部「W0」内画像に写っている人物より10〜30歳年長らしき人物を捉えた画像を自窓部に割り当てよ、との条件である。このように、記号「>」、「>>」、「<」及び「<<」にずれ指定、平均化記号「|」及び論理反転記号「~」を併用する、という手法は、デザイナにとり重宝な手法である。
本発明では、上述のように、様々な画像属性、様々な属性値を使用し実施することが可能である。本願中に明示がなくても、何らかの適合性を見いだせるものであればよい。コンピュータ用や携帯デバイス用のアルゴリズムの発展につれ新たなメタデータが画像に付されることとなった場合、そうしたメタデータも検索対象に含めうる。タイムスタンプのように調べやすいメタデータに限らず、風船の有無のように調べにくいものでもかまわない。いずれにしても、ソフトウェアへのレシピ読込時に属性条件リストが作成されるので、画像組込アイテム300の作成に当たり参照すべきメタデータを画像毎に特定可能である。
本発明では、窓部レシピの適応性も活用可能である。例えば、ある使用者が、自宅の一室を改装していて、その部屋の壁に画像組込アイテムを飾りたいと思い至ったとする。この場合、その使用者は、本発明の実施に資するソフトウェアが稼働中の小売店内キオスクに塗装見本を持ち込み、コンピュータシステム26に備わるセンサ38にそれを読み取らせればよい。そうすれば、色や模様に関する属性条件を全般的に満たした壁掛け型の装飾用画像組込アイテムが得られる。塗装見本でなくフレームやマットの現物を持ち込み、その走査で壁の色、模様その他の属性を定めてもよい。センサ38としては、走査用のフラットベッドスキャナのほか、適宜校正されたウェブカメラ、ビデオカメラ等も使用可能である。枕、布団、カーテン等の室内装飾物に使用されている素材の見本を持ち込み、同様の措置を執ることも可能である。現物や見本に似合った外観の画像組込アイテムを作成することだけでなく、その背景マットを現物や見本の外観に似通わせることも可能である。そして、使用者は、壁や装飾物を撮影し、得られた画像を基準画像として提供することも可能である。使用者から基準画像として塗装見本画像「R0」、カーテン画像「R1」、枕画像「R3」及び雑誌画像「R4」の都合四種類が提供されうるのであれば、例えば、次に示す窓部レシピ
<MetaDatum Label="EastmanKodakCompany" Tag="ColorIntent" Datum="R0" />
<MetaDatum Label="EastmanKodakCompany" Tag="ToneIntent" Datum="R1|R3" />
<MetaDatum Label="EastmanKodakCompany" Tag="MattColor" Datum="R0" />
<MetaDatum Label="EastmanKodakCompany" Tag="MattTexture" Datum="R4" />
をそれらに適用すればよい。
ここで例示した属性条件のうち1個目は、塗装見本画像「R0」に似合う色の画像を自窓部に割り当てよ、と求める条件である。この条件を満たすには、自窓部向けに選択されている画像の色バランスをディジタル的に中性化し、塗装見本画像「R0」の色キャストに見合う色キャストをその画像に付加すればよい。2個目の属性条件は、同様に、カーテン画像・枕画像間の平均コントラスト比に見合った階調特性を有する画像を自窓部に割り当てよ、と求める条件である。3個目の属性条件は、塗装見本画像「R0」の色に似合う色の背景マットを割り当てよ、と求める条件である。最後の属性条件は、雑誌画像の模様に似合う模様の背景マットを割り当てよ、と求める条件である。なお、この例における基準画像参照は、先に示した他窓部参照(「Datum="W0"」等の記述)とよく似た形式を採っているが、表示されるディジタルテンプレートにも仕上がった画像組込アイテムにも基準画像が現れない点で大きく相違している。
また、同じ画像群に適用可能な窓部レシピを複数組設けること、例えば「FamousDesigner」条件及び「Fall2008」条件を併含するディジタルテンプレートを複数通り設けることも可能である。この場合、複数通りのテンプレートのうちいずれかが使用者側画像群に基づき選択される。例えば、スポーツ光景の画像を含む画像群が提示された場合、「FamousDesigner」条件入りテンプレートのうちスポーツを題材とするものが、画像組込アイテムの生成開始に当たりまず使用される。子供達の画像を含む画像群が提示された場合は幼児乃至児童を題材とするテンプレート、水場の画像を含む画像群が提示された場合は浜辺を題材とするテンプレートが使用される。諸テンプレートの題材名が表示されるので、使用者は、自前画像群に相応しい経緯種別に該当するテンプレートを、適用させるべきものとして手始めに指定することが可能である。個々のテンプレートに係る適合性スコアはどういった画像がお気に入り画像に指定されるかに依存しており、お気に入りに指定される画像が違えば適合性スコアも大きく異なる値になる。使用者は、プログラムに従い算出される適合性スコアが最高のテンプレートを自動適用させることも、適合性スコアが上位n位以内にあるテンプレートを表示させ好きなものを自ら選ぶことも可能である。なお、使用者から提示される画像にどのような光景が写っているかを識別する手順については、本件技術分野で周知であるのでその説明を省略することにする。
使用者によってお気に入りに指定された画像が複数枚ある場合は、お気に入り画像毎に適合性スコアが最高のディジタルテンプレートが表示されるか、お気に入り画像毎に適合性スコアが上位n位以内のテンプレートが表示されるか、全お気に入り画像を通じ適合性スコアが上位n位以内のテンプレートが表示されるか、いずれかとなろう。概ねどのような種類のテンプレートでもその対象になりうるので、画像組込アイテム300として、画像フレーム、衣類、グリーティングカード、フォトブック等の有形アイテムに限らず、携帯電話、PDA、コンピュータ等で稼働する無形アイテム、例えばスクリーンセーバ、ディジタルグリーティングカード、ディジタルフォトフレーム等のほか、店頭用、事務所ロビー用、スタジアム用又は個人娯楽用の自動ディジタルプレゼンテーションも作成可能である。
所与の窓部レシピ群に基づき独特なテンプレートレシピを現場で合成し、そのレシピに従い所定順乃至乱数順で画像を表示させることも可能である。例えば、家庭用写真フレーム、大型電子ショウウィンドウ等のディジタルフォトフレーム上で連続実行されるスライドショウに、公私のデータベースやローカルコンピュータから画像を自動抽出する機能を持たせればよい。所望なら、窓部毎及び回毎に別々の画像が表示され、同じ画像が再表示されることがないよう、プログラム上で再表示制限を課してもよい。また、一巡毎にレシピを変化させるループプログラムを連続実行させることも可能である。一巡の間に表示されるのは上位x通りの組合せ、表示順は所定順又は乱数順である。画像取得元がオンラインフォトギャラリ、例えばFacebook、Flickr、Photobucket(登録商標)等である場合は、適合性スコアが高水準になる組合せの個数が安定しないので、表示する組合せの個数xをループプログラムの一巡毎に定めるのが望ましい。レシピ内エントリを乱数順乃至所定順で変化させる小ループを、そのループプログラム内に幾つか入れ子にしてもよい。どのレシピが使用済であるかをデータベース上に保存し、使用済レシピの再使用を防ぐことや、使用済レシピを意図的に且つ所定順乃至乱数順で再使用させることも可能である。
テンプレートレシピ内の諸エントリについては、製品系列毎に作成・グループ化して事後更新を容易化するのが望ましい。属性条件については、多々ある製品系列間に構成上の類似性を持たせつつ、低価格製品では指定余地を僅かにし、中価格製品では広めにし、高価格製品では最大限に拡げるとよい。そして、属性条件毎の指定値については、画像属性読取上の上位互換性が得られるよう、検知対象外のものや評価不能なものを無視する構成にするのが望ましい。無視されるのは、例えば、旧バージョンのプログラムでは認識できない指定値(例えば風船状物体を指定する値)が、新しいデザイナのディジタルテンプレート集内で使用されている場合である。この場合、旧バージョンのプログラムでその物体を検知できないとしても、その物体が単に無視されるだけである。
検知された画像属性を評価・使用する手段は多々ある。そのなかで最上位にあるのは、一組の属性条件に従い画像毎且つテンプレート内窓部毎に適合性スコアを求める適合性スコア加重算出アルゴリズムである。このアルゴリズムの狙いは、画像毎且つテンプレート内窓部毎の属性条件照合を通じ個々の窓部に相応しい(最適な)画像を見つけ出すことにある。なお、本願では、窓部レシピにて定義されていてその充足が(加重係数相応程度に)要求される画像属性のことを属性条件、画像に備わる特性のうち画像からのディジタル抽出、使用者からの提供、カメラでの生成等の形態で得られメタデータとして画像と共に保存されたもの又は現場で得られたもののことを画像属性と呼んでいる。適合性スコア加重算出アルゴリズムでは、個々のテンプレート内窓部に係る属性条件に対する個々の画像の適合性スコアを窓部毎に算出することで、その窓部に最適な画像を窓部毎に選り出す。
次に、図7〜図12Dを参照し、本発明の好適な実施形態に係るアルゴリズムに関し説明する。このアルゴリズムの稼働にはコンピュータシステム、例えば図1及び図2を参照して説明したシステムが使用される。使用されるのは、前述の如く使用者がコンピュータシステムとのやりとりに使用可能な入力システム58,68に加え、それに必要な情報を表示可能なディスプレイ56,66を備えていて、使用者から与えられる指示や使用者から返ってくる情報乃至回答に基づき動作しつつディスプレイ56,66の画面上に情報を表示させるものである。本アルゴリズムでは、図7に示すように、それらディスプレイ56,66の画面を使用しディジタルテンプレート選択手順を開始する(710)。その対象となるディジタルテンプレートは、例えば、使用者が購入可能な写真フレームを図3の如く模した形態のものである。これに続く諸ステップでは、周知のグラフィカルユーザインタフェースを用い、使用者からオプション指定や情報入力を受ける。このとき、画面上には、選択可能なテンプレートが、使用者が実際に購入可能な写真フレームに似通った形状で表示される。マグカップやTシャツを作成する場合も、同様に、その品に似通った形状を有するバーチャルなテンプレートを使用者向けに表示させる。従って、使用者は、自分が望んでいる画像組込アイテムに自分が指定した画像を組み込んだらどのような様子になるかを、十分リアルに把握可能である。次いで、本アルゴリズムでは、テンプレートに関する様々なオプション(テンプレートオプション)をデフォルト値に初期設定した後(720)、テンプレート選択をシステム側に委ねるかそれとも使用者自身が介在するかを使用者に選択させる(705)。委ねられた場合はデフォルト設定に従いテンプレートを選択・保存してステップ1010へと進み(770)、使用者介在が選択された場合はテンプレートオプションを表示する(730)。その表示に応じテンプレート非選択の途が採られた場合は自動モードに戻ってデフォルト設定に従い(715)、テンプレート選択が行われた場合は使用者にテンプレート特性を指定させる(740)。それを受け(725)、諸特性が漏れなく指定された場合は、テンプレートが完成しているのでステップ810へと進み、指定漏れの特性があった場合は、その特性に関しデフォルト値を自動適用してテンプレートを完成、保存させた上で(760)ステップ1010へと進む(780)。
翻って、ディジタルテンプレートが使用者による指定で完成している場合は画像選択手順を開始する(810)。この手順では、まず使用者側画像にアクセス可能な場所をその使用者に指定させる(820)。画像の在処としては、ローカルコンピュータからアクセス可能なデータベース、ネットワーク経由でアクセス可能なデータベース、可搬乃至非可搬型の画像記録装置等を指定可能である。それらが前もって指定乃至接続されている場合はステップ820を省略可能である。その後は、使用者側にお気に入り画像を指定する意向があるか否かを調べる(805)。ある場合は使用者にお気に入り画像を指定させた上で自動的にステップ905へと進み(830)、ない場合は画像を自動的に選択して(1210)選択済テンプレートへのバーチャル組込を実行する(840)。組み込んだら、その画像入りテンプレートを画面上に表示し、それに基づくアイテム出力の可否を使用者に判断させる(815)。画像入りテンプレートの使用者閲覧は省略も可能である(860)。使用者がアイテム出力を認めた場合(815)及び使用者閲覧が省かれた場合(860)は、そのアイテムの出力へと進む(870)。逆に、使用者がアイテム出力を認めなかった場合は(815)、別構成を有する画像入りテンプレートが得られるまで画像自動選択を再実行するか(1210)、或いは画像組込アイテム生成ソフトウェア内外の画像編集ソフトウェアを用い使用者制御下で画像を選択させ(850)、その後にアイテムの出力へと移行する(870)。その出力は、使用者が選択した画像組込アイテム種別に従い実行する。例えばフレームが選択されている場合なら、選択された画像をそのフレームに組み込んだものが出力され、宅配便、店舗配送等で使用者に配送されるか、画面に表示されているテンプレートに対応する現実のフレームに挿入可能な画像入り印刷物が作成されることとなる。
他方、使用者にお気に入り画像を指定させた場合は、そのお気に入り画像の枚数がテンプレート内窓部の個数を上回っているか否かを本アルゴリズムに従い判別する(905)。上回っていると判別した場合は、そのコンピュータシステム上で指定されたお気に入り画像のなかから窓部個数相当枚数の画像を自動選出する(1240)。その際には、できる限り、その画像属性がテンプレートレシピ及び窓部レシピを満たすものを選出する。次いで、選出したお気に入り画像を窓部に組み込んだ上で(910)、そのディジタルテンプレートを表示し使用者による閲覧に供する(915)。自動選出されたお気に入り画像やそれらが組み込まれたテンプレートの使用者による閲覧を省いてもよい(912)。使用者閲覧が省かれた場合や、閲覧したテンプレート及び画像を認容するとの意志が使用者からシステム側に示された場合は、選出済のお気に入り画像が組み込まれたテンプレートに基づきアイテムを出力する(916)。逆に、使用者からシステム側に認容の意志が示されなかった場合は、先に述べた自動的な画像選出を再実行することで(910)、これまでとは別の構成を有する画像入りテンプレートを生成する。通常の設定では、窓部レシピと良好に整合していて適合性スコアが高い画像の方が選出されやすいのであるが、使用者がそれらを認容しなければ、より適合性スコアが低い画像が選出されることとなる。また、コンピュータシステムによる自動選択(1240)に代え使用者制御(914)、即ち使用者によるお気に入り画像の選出を経るようにしてもよい。後者の場合、例えば、データベースから他の画像を取得しテンプレート内の画像をその画像で置換する、という途を使用者が採りうるよう、お気に入り画像が組み込まれたテンプレートと共に相応のオプションを表示する。使用者制御下で選出されたお気に入り画像は、アイテムの出力に当たり使用される(916)。なお、使用者が選出可能な範囲を、ステップ830で指定されたお気に入り画像に限ってもよいし、使用者の許にあるデータベース上の画像全体としてもよい。
使用者がお気に入りに指定した画像の枚数がテンプレート内窓部の個数以下の場合は(905)、本アルゴリズムに従い、そのお気に入り画像枚数がテンプレート内窓部個数と等しいか否かをそのコンピュータシステム上で判別する(925)。等しいと判別した場合は、そのディジタルテンプレート全体に亘る適合性スコアの総和(テンプレートスコア)が最大になるよう個々のお気に入り画像を最適な窓部に割り当て(1230)、その窓部内にその画像を組み込み(940)、そしてそのアイテムを出力する(946)。画像入りテンプレートを使用者向けに表示させ、使用者制御下でテンプレート乃至画像の再選択や画像の再配置を行わせるようにしてもよい(942)。その後はアイテム出力を実行する(946)。
お気に入り画像の枚数がテンプレート内窓部の個数と等しくないとコンピュータシステムが判別した場合は(925)、本アルゴリズムに従い、後述の如く新たな画像をお気に入り画像として自動補充する(1220)。次いで、それら自動補充された画像を含め、選択済のディジタルテンプレートへの画像のバーチャル組込を実行する(930)。組み込んだら、その画像入りテンプレートを画面上に表示し、それに基づくアイテム出力の可否を使用者に判断させる(935)。画像入りテンプレートの使用者閲覧を省いてもよい(934)。使用者がアイテム出力を認めた場合(935)及び使用者閲覧が省かれた場合(934)は、そのアイテムの出力を実行する(936)。逆に、使用者がアイテム出力を認めなかった場合は(935)、画像の自動選択を再実行することで(1220)、それまでとは別の構成を有する画像入りテンプレートを生成する。或いは、システムによる自動選択(1220)に代え使用者制御(932)、即ち使用者による選択に移行し、その結果に従いアイテムの出力を実行するようにしてもよい(936)。その出力は、既に説明した同類のステップと同様、使用者が選択した画像組込アイテム種別に従い実行する(936)。例えばフレームが選択されている場合なら、選択された画像をそのフレームに組み込んだものが出力され、宅配便、店舗配送等で使用者に配送されるか、画面に表示されているテンプレートに対応する現実のフレームに挿入可能で個々の画像が対応する窓部に収まる画像入り印刷物が作成されることとなる。既に述べた通り、本発明に係る方法で生成可能な画像組込アイテムは多様であり、またそのアイテムが採りうる出力形態も多様である。
他方、図7に示す動作では、使用者からコンピュータシステムに対し、ディジタルテンプレート自体の選択が委ねられたり(770)一部テンプレートレシピの指定が委ねられたりもする(780)。これらの場合には、図10に示す自動テンプレート選択手順を開始し(1010)テンプレートを完成させる。この手順では、まず使用者側画像にアクセス可能な場所をその使用者に指定させる(1020)。画像の在処としては、ローカルコンピュータからアクセス可能なデータベース、ネットワーク経由でアクセス可能なデータベース、可搬乃至非可搬型の画像記録装置等を指定可能である。これらが前もって指定乃至接続されている場合はステップ1020を省ける。
次いで、使用者がお気に入り画像のマニュアル指定を望んでいる場合は(1005)、使用者にお気に入り画像をマニュアル指定させた上で(1030)、それらに対する適合性スコアの総和が最高のディジタルテンプレートを選択する(1040)。使用者がお気に入り画像のマニュアル指定を望んでいない場合は、使用者側画像群を自動的に採用してステップ1040に移行する。適合性スコアの総和が最高のテンプレートを選択するに当たっては(1040)、それら一群のお気に入り画像と、そのコンピュータシステムから参照可能な諸テンプレートとの組合せを調べる。ここでいう適合性スコアの総和はテンプレート自体で決まるものではなく、寧ろ、属性条件に対する諸画像の属性的適合性を算出することによって決まるものであり、属性条件を規定する個別の窓部レシピやその集まりであるテンプレートレシピに左右される。テンプレートオプションのうち幾つかを使用者が指定済である場合、本アルゴリムではそれらがそのまま使用される。使用者によってお気に入り画像が幾枚か指定されている場合は、それらの画像(のうち幾枚か)が最終的な使用者向け画像組込アイテムに組み込まれることを必須とした上で、それらのお気に入り画像をそのテンプレートに組み込んだときに適合性スコアの総和が最高になるテンプレートを選択する。こうしてテンプレート選択を行った後は(1040)、そのテンプレートを最終的なテンプレートとして選択する(1070)。或いは、使用者による閲覧に進み(1060)、それまでのテンプレート選択手順に対するオーバライドを得心するまで行うことを認める(1050)。使用者が得心するに至ったら、そのテンプレートを最終的なテンプレートとして選択する(1070)。その後は、残りのテンプレート内窓部を埋めるため、図11に示す手順に移行し判別を実行する(1125)。
図11の手順に進んだ時点では、使用者に対する質問、使用者によるお気に入り画像の指定(随意)、ディジタルテンプレートのアルゴリズム的選択、テンプレート選択処理に対する使用者のマニュアルオーバライド(随意)等が済んでいる。残っているのは画像組込アイテムの最終合成である。そのため、お気に入り画像が指定済である場合は(1125)図9に示す手順に移行し前述のステップ930を実行する。指定済でない場合は画像を選択した後(1210)フォーマットを実行する(1130)。その後は、最終的な画像組込アイテムの合成、配送、印刷、その他の出力動作を実行する(1160)。或いは、使用者による閲覧に進み(1150)、それまでの画像選択手順に対するオーバライドを得心するまで行うことを認める(1140)。使用者が得心するに至ったら、最終的な画像組込アイテムの合成、配送、印刷、その他の出力動作を実行する(1160)。
図7に示したディジタルテンプレート選択手順に関しては、本発明に従い更に拡張又は変形を施すことが可能である。まず、先に述べた手順では、テンプレートの自動選択(1070)に際し、適合性スコアの総和が最高のテンプレートが使用者向けの画像組込アイテム用に選択される。適合性スコアの総和に基づくこの評価には、大きさ、向き、窓部個数、テーマ、色、模様等、複数通りの基準を適用可能である。それらのテンプレートオプションは前述の通りデフォルト値に初期設定される(720)。このデフォルト値は、アイテム製造者毎、画像組込アイテム生成ツールが設置されている小売店毎、或いは製品系列毎に制定可能である。例えば、同一店舗内に併設されている2台のキオスクのうち、一方では「FamousPerson」コレクションバージョンソフトウェア向け、他方では汎用無分岐バージョンソフトウェア向けのデフォルト値を使用する、といった具合である(720)。使用者が介在モードを選ばなかった場合(705)やテンプレートのマニュアル選択を避けた場合には(715)、そのデフォルト値に基づき(770)、図10に示すテンプレート自動選択手順が開始される(1010)。
使用者が自分でディジタルテンプレートを選択することを選んだ場合(715)、その使用者がテンプレートオプションを指定することがある(740)。その手段としてはバーコードや会話型インタフェースが有用である。例えば、テンプレート別のUPCバーコードを、小売店にあるキオスクから購入可能な画像組込アイテム、或いはその一覧表に付しておけば、使用者によるバーコードのスキャンでテンプレートが特定されることとなる。会話型インタフェースは指定範囲の絞り込みに役立つ。使用者がテンプレートを厳密に特定しなかったこと或いは使用者がテンプレートオプションを漏れなく指定しなかったことが原因で(725)テンプレートを一意に特定できなかった場合には、使用者が指定したオプション(760)及びそれを補うデフォルト値(720)に基づき(780)、図10に示すテンプレート自動選択手順が開始される(1010)。
使用者がテンプレートオプションを漏れなく指定した場合には(725)、それによって特定されたディジタルテンプレートに基づき(750)図8に示す画像選択手順が開始される(810)。この手順では、画像の在処に関する自動判別(820)が適わない場合に、画像の在処を示すよう使用者が督促を受ける。その手段としては、要求メッセージの画面表示、可聴信号出力等の手段を使用可能である。その後は、使用者の意志に従い(805)、使用者自身によるお気に入り画像の指定(830)又は使用者側画像からの自動選択(1210)が実行される。ここでは、画像の自動選択について詳細に説明するのに先立ち、使用者自身がお気に入り画像を指定する手順及びそれに応じ実行される処理について説明することにする。
お気に入り画像の指定(830)に際しては、例えば、お気に入りに指定可能な画像のサムネイルが画面上に一覧表示される。選択済のディジタルテンプレートに備わる窓部の個数がnなら、使用者は、そこからn枚のお気に入り画像を指定しうる。画像分割が行われている場合は、分割によって切り出された画像が占める窓部の個数分だけ、指定可能な画像の枚数が減る。以下、本発明に係るアルゴリズムの一例を簡明に説明するため、画像分割が行われないものと仮定する。使用者は、自分が気に入った画像を指定するだけでなく、そのなかでどの画像が最もお気に入りかを指定することも可能である。その画像は、原則として、最も目立つ形態にてその使用者向けの画像組込アイテムに組み込まれる。他のテンプレート内窓部に係る属性条件は、最も気に入られた画像の属性、例えば色、鮮明度、人物の素性、情景等に従い定めるのが望ましい。
使用者によってお気に入り画像が指定された後は図9に進む。この手順では、まず、お気に入りに指定された画像の枚数nが、その使用者向けの画像組込アイテムにおける窓部の個数mを上回っているか否かが判別される(905)。その結果n≦mと判別された場合はn=mであるか否かが判別され(925)、n=mであると判別された場合は画像の割当先窓部がシステム側で自動決定される(940)。
その自動決定(940)は次のように実行される。まず、本アルゴリズムでは、諸画像に対する分析によって個々の画像からメタデータや意味論的情報が抽出され、そのメタデータ、意味論的情報又はその双方に基づき個々の画像の属性が判別される。抽出されたメタデータや意味論的情報の格納先ファイルは、抽出元画像のファイルと同じでも別でもかまわない。次いで、テンプレート内窓部毎且つ画像毎に適合性スコアを算出し、その窓部に係る適合性スコアが最高の画像を個々の窓部に割り当てる、という処理を通じ、ディジタルテンプレートに対する画像の割当が初期化される。同一画像が複数個の窓部に対し同等の適合性スコアで競合している場合は窓部番号が小さい方が割当先となり、複数枚の画像が同一の窓部に関し同値の適合性スコアで競合している場合は所定の選択法に従いその競合が解消される。窓部番号としては、優先度が最も高い窓部は0(窓部「W0」)、その次に高い窓部は1(窓部「W1」)等々と優先度に応じデフォルト設定されたものが使用される。その格納先は、例えばテンプレートレシピや窓部レシピのファイル内である。競合解消法としては、メタデータフィールド上の画像アクセス回数記録に基づく選択、乱数的選択等の選択法が使用される。その後は、画像割当済テンプレート全体に亘り適合性スコアの総和が算出され、求まったテンプレートスコアが基準スコアに初期設定される。本アルゴリズムでは、次いで、諸窓部における画像の組合せを変えたらその基準スコアを上回るテンプレートスコアが得られるか否かを調べる処理が、一群の窓部を対象にして反復実行される。諸窓部における画像の組合せを変えるとテンプレートスコアがそれまでの基準スコアを上回る場合には、その組合せがその時点で最高のテンプレートスコアをもたらす組合せであるので、そのテンプレートスコアを以て基準スコアが更新される。テンプレートスコアが更に高い組合せが見つかるか、所定の終了条件が満たされるまでは、その組合せが維持される。
本アルゴリズムによるテンプレートスコア算出は、一群のテンプレート内窓部及び画像に基づく処理が終わるたびに、且つ所定の終了条件(画像の組合せ全てを調べ終えた、所定の時間が経過した等)が満たされるまで反復される。本アルゴリズムでは、更に、個々の画像に備わる属性を個々のテンプレート内窓部に係る属性条件(のうち一部)と比較し、その画像に関し適合性スコアを算出する、という処理が全部又は一部の画像に基づき実行されうる。その算出の結果、割り当てる画像を入れ替えると適合性スコアが高まる窓部が見つかった場合、本アルゴリズムでは画像入替検討が開始される。
画像入替検討とは、2個の窓部間で画像を入れ替えたとして適合性スコアを算出し、どちらの窓部についても適合性スコアが高まったか否かを調べ、高まった場合にその画像入替を行うと決定する、という処理である。従って、画像入替を行うと決定されるのは、画像を入れ替えた方が適合性スコアが高まり、ひいてはそのディジタルテンプレート全体に亘る適合性スコアの総和が高まる場合のみである。
例えば、一群のテンプレート内窓部H及び一群の画像Iが存する場合、本アルゴリズムでは、画像I1を窓部H1、画像Inを窓部Hnに割り当てる画像対窓部マッピング、適合性スコアの算出、並びに画像属性及び属性条件別加重係数に基づく総和の算出が反復される。反復が終了するのは、例えば、反復回数が画像枚数×窓部個数(又はそれ以下の値)に達したときである。或いは、所定の適合性スコアが得られたとき、反復による改善の幅が所定のしきい値を下回ったとき等、所定の中断条件が満たされたときである。
こうした処理は、
・ テンプレート内窓部Hiに割り当てられている画像Iiを別の画像Irに入れ替えたとして、諸属性条件のうちその画像Irが満足するものに係る加重値を総和することでその窓部Hi及び画像Irに係る適合性スコアを求め、窓部Hi及び画像Iiに係る適合性スコアに比べ高いか否かを調べる、という動作を一群の画像Irそれぞれについて実行する;
・ 窓部Hi及び画像Irに係る適合性スコアの方が高い場合は、画像Ii,Irをテンプレート内窓部Hi,Hrに割り当てたときに比べ窓部Hr,Hiに割り当てたときの方が平均的に見て適合性スコアが高いか否かを、適合性スコアの比較によって判別する(符号同順)。高いと判別した場合はその窓部間画像入替を行い、それ以外の場合は行わない;
といったテンプレート内窓部毎の処理としてプログラムに組み込むことが可能である。
この処理がディジタルテンプレート上の全窓部に関し実行された後は、窓部別且つ画像別の適合性スコアをテンプレート全体に亘り総和する処理が、窓部と画像の組合せを網羅的に変えつつ反復される。その反復に際しては、新たに求まったテンプレートスコアを従前のテンプレートスコアと比較することによって、最も高いテンプレートスコアをもたらす組合せが特定される。所与画像の集合を「imageList」、窓部の集合を「imageWindowList」とした場合、次に示すアルゴリズム
PerformFitting(imageList,imageWindowList)
OverallTemplatescore=0;
AssignlmagesToImageWindows();
FOR each image Window in imageWindowList
FOR each image in imageList
Calculate newImageWindowScore
IF newImageWindowScore>imageWindowScore
CheckForSwap(imageWindow,candidatelmageWindow)
ENDIF
END FOR
END FOR
FOR each image Window in imageWindowList
ADD the imageWindow.image.score to OverallTemplatescore
END FOR
RETURN OverallTemplatescore
END PerformFitting
CheckForSwap(imageWindow,candidatelmageWindow)
currentScore=Calculate2WindowScore(imageWindow,currentimage,candidateWindow,candidateimage)
newScore=Calculate2WindowScore(imageWindow,candidateimage,candidateWindow,currentimage)
IF newScore>currentScore THEN
Swaplmage(imageWindow,candidatelmageWindow);
ENDIF
END CheckForSwap
AssignlmagesTolmageWindows(imageList,imageWindowList)
N=Numberlmages;
FOR i=1:N
WindowScore[i]=Scorelmage(imageList[i],imageWindow[i])
END FOR
End AssiglmagesToImageWindows
Scorelmage(image,imageWindow)
imageScore=0
FOREACH entry in recipe
imageScore+=PerformMeasurement(image, recipeEntry);
END FOR
RETURN imageScore
END Scorelmage
を使用することで、画像枚数が窓部個数に等しい場合に関し、画像対窓部マッピングの最適解を見つけることが可能である。
こうして図9中のステップ940が済んだ後は、閲覧省略モードが発動している場合(944)、最終的な使用者向け画像組込アイテムが合成、印刷、配送等されることとなる(946)。閲覧省略モードが発動していない場合は、画像割当結果が使用者制御モード下でオーバライドされることがある(942)。本アルゴリズムによる自動的な画像割当を好まない場合や、自分で選んだ画像をそのアイテムに入れたい場合等、使用者は得心するまでこのオーバライドを継続可能である。使用者が得心したら、同様に、最終的な使用者向け画像組込アイテムが合成、印刷、配送等されることとなる(946)。
翻って、使用者がお気に入りに指定した画像の枚数nが使用者向け画像組込アイテムにおけるテンプレート内窓部個数mを上回っている場合は(905)、n枚のお気に入り画像のうち上位m枚の画像だけがソフトウェア的に選択される。上位m枚を選択するに当たっては、個々の窓部レシピを充足させるのに必要なメタデータ及び意味論的情報がn枚のお気に入り画像から自動的に抽出され、個々の窓部にて個々の窓部レシピが画像毎に評価される。n=mの場合は、窓部毎且つお気に入り画像毎に適合性スコアが算出された後、それら適合性スコアの総和によってテンプレートスコアが算出される。
画像対窓部マッピングの最適解を見つける手法は幾通りかある。最も簡略なのは、窓部毎且つ画像毎の適合性スコアを評価し、その窓部に対する適合性スコアが他のどの画像よりも高い画像を個々の窓部に割り当てる、という手法である。同一の画像が複数個の窓部に関し同値の適合性スコアで競合している場合は、個々の窓部に付されている優先順位に従い、優先順位が高い方の窓部にその画像が割り当てられる。複数枚の画像が同一の窓部に関し同値の適合性スコアで競合している場合は、メタデータフィールドに記録されている画像アクセス回数に基づく選択、乱数的な選択等、所定の手法で画像の割当先が決定される。
より洗練された手法としては、テンプレートスコアを最大化させる手法がある。窓部個数m及び画像枚数nが小さい場合は、画像と窓部の組合せを網羅的に調べ、その全体に亘る適合性スコアの総和が最大になるようm枚の画像をディジタルテンプレートに割り当てるのが現実的である。窓部個数m又は画像枚数nが大きい場合は(但しm>n)、後述の通り、線形最小自乗法等による線形回帰マッピングか、より複雑な非線形的乃至反復的手法で、m枚の画像をm個の窓部に割り当てることが可能である。
上位m枚の画像が選択された後は、閲覧省略モードが発動している場合(912)、最終的な使用者向け画像組込アイテムが出力されることとなる(916)。閲覧省略モードが発動していない場合は、画像割当結果が使用者制御モード下でオーバライドされることがある(914)。使用者は得心するまでこのオーバライドを継続可能である。使用者が得心したら、随時、最終的な使用者向け画像組込アイテムが合成、出力等されることとなる(916)。
図9には第3の場合、即ちお気に入り画像の枚数nが窓部個数mを下回る場合の処理も記されている。この場合、使用者側画像群をプログラムに従い検索し、そのうち適合性スコアが上位m−n位までの諸画像をn枚あるお気に入り画像と共にm個ある窓部への割当に使用する必要がある。窓部個数m及び画像枚数nが小さい場合は、画像と窓部の組合せを網羅的に調べ、その全体に亘る適合性スコアの総和が最大になるよう、n枚のお気に入り画像及び自動選出されたm−n枚の画像をディジタルテンプレートに割り当てればよい(930)。ただ、使用者側画像が多すぎ、m−n枚の画像を選出するのに数百回或いは数千回の画像解析が必要になることも多い。そうした場合は、テンプレートスコアが最高になるよう適合性スコアが高い画像を選出する処理を、システマティックで実行速度が高い反復的な手法で実現すればよい。例えば、使用者がお気に入りに指定した画像それぞれを、その画像が最高の適合性スコアを呈する窓部に割り当てることで、テンプレートスコアが高いテンプレートを部分的に完成させた後、使用者側画像から選出された諸画像を残りm−n個の窓部に割り当てる、といった手法である。
選出された諸画像を残りm−n個の窓部に割り当てる手法のなかで、最も簡略なのは、窓部毎且つ画像毎の適合性スコアを調べ、その値が最高の画像を窓部毎に選出する、という手法である。窓部間の競合は窓部毎の優先順位に従い解決可能である。ただ、選出母体となる画像の集合が無闇に大きいと、画像毎の意味論的情報収集にかなりの時間が費やされてしまう。その場合は、基本メタデータのみに基づき個々の画像の適合性スコアを求めた上で、そのメタデータと意味論的情報を併用して更なる精査向けに上位x%又はp枚までの諸画像を選出すればよい(但しx及びpは使用者が定義するパラメタ)。この手法では、画像集合の規模を問わず迅速に画像を選出することが可能である。これとは別の例としては、諸画像を階層に解析する手法がある。例えば、全画像をメタデータのみで評価し上位x%又はp枚までの画像を選出する第1層、色やヒストグラムといった単純且つ高速な意味論的アルゴリズムに従い上位y%又はq枚までの画像を選出する第2層、顔検知等の若干複雑な意味論的アルゴリズムに従い上位z%又はr枚までの画像を選出する第3層、顔認識やカスタム物体認識といったより複雑な意味論的アルゴリズムに従い画像を選出する第4層等々からなる手法である。この手法は任意の層数へと拡張可能である。第1層から最終層(例えば第4層)へと進むにつれ、選出される画像の枚数が減るのに対し解析毎の情報処理難度は高まっていく。
プログラムに組み込める処理としては更に次のようなものがある。
まず、ステップ770を通るときにテンプレートオプションが全てデフォルト値であるのに対し、ステップ780を通るときには、使用者によるオーバライドによって一部がデフォルト値でなくなっていることがある。ここでは、一例として、ステップ780におけるオプションの値がステップ770でのそれと概ね等しいけれども、窓部個数が使用者によるオーバライドで2個以下に制限されている場合を考える。この場合、図10に示す手順に移行し(1010)、使用者側画像群に基づく判別でいずれかのディジタルテンプレートを選択する。具体的には、使用者側画像群(例えば秋の風景を捉えた画像群)に対する適合性スコアの総和が最高になるテンプレート(例えば秋向けのテンプレート)を選択する。また、コンピュータシステムによる使用者側画像群の自動所在判別が適わなかった場合は、その所在を示すよう使用者に督促する(1020)。お気に入り画像をマニュアル指定することを使用者が望んでいる場合は(1005)使用者に幾枚かのお気に入り画像を指定させ(1030)、望んでいない場合は使用者側画像群を自動的に採用する(1040)。お気に入り画像の指定に当たっては、例えば、画面上にサムネイルサイズ画像を一覧表示させ、そのなかから使用者にお気に入り画像を指定させる。お気に入り画像を何枚指定するかは使用者の意図次第であるが、指定可能な枚数はz枚に制限可能である。zはテンプレート内窓部個数の最大値であり、この例ではオーバライドで2個に設定されている。従って、テーマが同じで窓部個数が違うテンプレートを幾つか生成し保存しておくことで、使用者の嗜好をより好適に受容可能となる。なお、ここでも画像分割はないものと仮定している。お気に入り画像の指定に加え、使用者は、大お気に入り画像、主画像乃至崇拝画像を指定することも可能である。
テンプレートスコアが最高になるテンプレートを選択する際には、そのコンピュータシステムから参照可能な範囲内で、画像群をディジタルテンプレートとめあわせる(1040)。使用者からお気に入り画像の指定を受けている場合は、最終的な使用者向け画像組込アイテムにそれらの画像(のうち幾枚か)が組み込まれることを条件としてテンプレートを選択し、使用者から崇拝画像の指定を受けている場合は、その崇拝画像に対する適合性が高い窓部を主窓部として備えることを条件としてテンプレートを選択する。テンプレートスコアは、テンプレート別の初期スコアをいずれも0に設定した上で算出する。製造者、小売店等の管理下で、ある種のテンプレートに係る初期スコアを他のテンプレートに係る初期スコアに比べわざと高くすること、即ち前者を後者に比べ選択されやすくすることも可能である。例えば、多額の使用権料収入をもたらすテンプレート、高速処理が可能なテンプレート、高品質アイテム生成用のテンプレート等に係る初期スコアを高め(例えば正値)にしてもよいし、それ以外の劣後的なテンプレートに係る初期スコアを低め(例えば負値)にしてもよい。そうすることで、前者の使用が促進されることとなる。常に同じテンプレートを使用するのであれば、そのテンプレートに係る初期スコアを例えば+1000にしておけばよい。+1000の初期スコアを有するテンプレートが複数個あったとしても、それに続く画像評価を通じテンプレートスコアが最高になったものが選択されることとなろう。テンプレート間競合は、優先順位を示す数値を個々のテンプレートに割り当てておき、優先順位が最高のテンプレートを選択することによって、解決することが可能である。
テンプレートスコアが最高になるディジタルテンプレートを選択する際には、そのテンプレートに全画像を照らし判別する処理を、そのコンピュータシステムから参照可能なテンプレート毎に反復すればよい。高速化のためこの処理は階層的な形態にする。即ち、崇拝画像が指定されている場合はその画像に係る適合性を全テンプレートについて調べ、上位x%までのテンプレートを選出する一方(但しxは調整及び指定が可能なパラメタ)、残り100−x%のテンプレートを除外する。次に、選出されたテンプレート上の窓部それぞれに関し諸お気に入り画像に係る適合性スコアを求め、そのテンプレートに係る適合性スコアが最高になる画像の組合せをテンプレート毎に保存する。使用者が指定したお気に入り画像の枚数nが窓部個数mより大きい場合、これでテンプレート選択が完了する。そうでない場合は、プログラムに従い上位y%までのテンプレートを選出して更に評価する一方(但しyは調整可能なパラメタ)、残り100−y%のテンプレートを除外する。次いで、前述の如く、選出したテンプレートに備わる窓部のうち残りのものに関し、個々の画像に係る適合性を調べた上で、テンプレートスコアが上位のテンプレートを保存する。こうした階層的な処理手法を使用すると、テンプレートの個数や評価すべき画像の枚数が多いときでも、プログラムの実行速度がかなり高まる。
テンプレートスコアが最高になるディジタルテンプレートを選択した後、閲覧省略モードに移行した場合は(1060)、そのテンプレートを自動的に選択し(1070)、そのテンプレート及び対応する諸画像を以て、図11中のステップ1125に移行する。閲覧省略モードに移行しなかった場合は、そのテンプレートを受け容れるか否かを使用者に問い合わせる(1015)。使用者がそのテンプレートを受け容れなかった場合、適合性の降順に従い残りのテンプレートを使用者に提示し、使用者がいずれかのテンプレートを受け容れるに至った時点で(1070)、そのテンプレートを以てステップ1125に移行する。
図13に、タグ指定可能な基本メタデータの例を示す。これは、画像を取得乃至利用する装置、例えばスタンドアロン型のディジタルカメラ、カメラ付携帯電話、パーソナルコンピュータ、ディジタルフォトフレーム、カメラドッキングシステム、イメージング装置、ネットワークディスプレイ、プリンタ等の装置から得られるものである。従って、基本メタデータ、言い換えれば入力メタデータは、画像を取得する装置から自動的に得られる情報、そうした装置に対し使用者が与える情報、画像を利用する装置から得られる情報等に大別可能である。画像取得装置から自動的に得られる基本メタデータの代表例は、タイムスタンプ、デートスタンプ、GPS測位データ、至近の携帯電話基地局、携帯電話基地局を利用した三角測量の結果、カメラ設定、画像ヒストグラム、音声ヒストグラム、ファイルフォーマット情報、自動画像補正(例えば赤目補正や階調補正)等である。使用者から与えられる基本メタデータの例は、共有指定、お気に入り指定、消去不可指定、DPOF指定、カメラ付携帯電話向け壁紙画像設定、カメラ付携帯電話向けピクチャメッセージング設定、携帯電話音声乃至携帯メール受信者向けピクチャメッセージング設定、撮影モード設定(例えば「スポーツ」、「マクロ/クローズアップ」、「花火」、「ポートレート」)等である。画像利用装置、例えばKodakEasyShare(登録商標)が稼働しているパーソナルコンピュータ等の画像管理システムやスタンドアロン型又はネットワーク接続型の画像プリンタから得られる基本メタデータの例は、画像が何回印刷されたかを示す印刷履歴、画像がどこにいつ保存又はバックアップされたかを示す保存履歴、適用されたデータ操作の種類及び規模を示す編集履歴等である。
図14に、タグ指定可能な拡張メタデータの例を示す。これは、画像を取得又は利用する装置、例えばスタンドアロン型のディジタルカメラ、カメラ付携帯電話、パーソナルコンピュータ、ディジタルフォトフレーム、カメラドッキングシステム、イメージング装置、ネットワークディスプレイ、プリンタ等の装置で画像コンテンツや既存の基本メタデータを解析することで得られるものである。拡張メタデータは、所定条件の成立に応じ自動的に生成されるものと、使用者との直接的なやりとりを通じ生成されるものとに大別可能である。基本メタデータの解析による拡張メタデータ生成の例としては、カメラから画像の撮影日時を示すタイムスタンプ及びデートスタンプを取得し、それに基づき使用者用のスケジュールリストを参照する、という例を掲げうる。カメラ及びスケジュールリストは、カメラ付携帯電話等では同一装置上に搭載され、パーソナルコンピュータにカメラをドッキングして使用する場合等には別々の装置上に搭載される。スケジュールリストには、一般的重要日、例えばシンコ・デ・マヨ、独立記念日、ハロウィン、クリスマス等のほか、個人的重要日、例えば「両親の結婚記念日」、「ベティおばさんの誕生日」、「トミーのリトルリーグ祝勝会」等が登録されるので、カメラで生成されたタイムスタンプやデートスタンプをクエリとしてスケジュールリストを参照することで、一般的重要日や個人的重要日に撮影された画像の存否を判別することが可能である。該当する画像があった場合は、そうした重要日に撮影された画像であることを示す情報を、その画像に係るメタデータに付加すればよい。また、その他の拡張乃至基本メタデータ、例えば測位データや場所認識結果を併用し、より詳細に経緯を特定することも可能である。例えば、取り立てて出来事のない数週間が過ぎた後、幾枚かの画像と動画が撮影されたとする。また、撮影日が9月5日、撮影場所の認識結果が「両親の家」であったとする。更に、使用者用のスケジュールリストに、9月5日が「両親の結婚記念日」として登録されていたとする。加えて、画像のうち幾枚かが、「お父さん、お母さん、結婚記念日おめでとう」と読める文字付のケーキを捉えた写真であったとする。これらの基本メタデータ及び拡張メタデータからは、「両親の結婚記念日」に撮影が行われた、という経緯を正しく且つ自動的に特定可能である。こうして特定された経緯に基づきオプションが絞り込まれ、使用者に提示されるため、テーマ選択に必要な労力がかなり軽減される。出来事の種類や主要参加者が明らかになっているため、ラベル付け、字幕付け、タグ付け、ブログ投稿等も省力的又は自動的に行える。
顔、物体、音声乃至文字を認識するアルゴリズムを使用し、蓄積された画像、動画及び音声のコンテンツを解析することも可能である。画像乃至画像群における顔の個数及び位置関係は画像の要点ひいては撮影経緯を解明するのに有用である。例えば、画像中に多数の顔が行列をなして並んでいるならそれは記念写真、恐らくは親族旅行、団体競技会、卒業式等で撮影されたものであるといえよう。写っているのがロゴ付又は文字付のチームユニフォームなら団体競技会での写真、揃いの学帽・制服なら卒業式での写真、揃いのジャケットなら親族旅行での写真、ドレス・ベール・正装男性なら結婚披露宴での写真、といった具合に、その他の情報も利用可能である。こうした情報をその他の基本メタデータや拡張メタデータと併用すれば、撮影の経緯がかなり明らかになるので、システムにその経緯に基づき適切な画像を正確に選択させ、その画像向けのテーマを正確に提示させ、そして元々の画像集に関連画像を随時付加させることが可能となる。
図15A及び図15Bに、一例に係る画像組込アイテム1500の頂面(図15A)及び断面(図15B)を示す。このアイテム1500は、従来型のマット1518を外枠材1524で囲んだ構成であり、光を通す透光部及び画像印刷物を保持する内部空間1505を有している。図示の通り、そのマット1518には、光が通うように複数個の窓部1530,1532,1534が設けられているので、画像の位置が窓部1530,1532,1534の位置に揃うよう空間1505内に印刷物を配置すると、その画像がアイテム1500の外側から見える状態になる。空間1505のその他の部分は見えない。図15A中の1510は、このとき画像印刷物のシートが占める位置の例である。また、窓部1530,1532,1534については、ここでは基本的に中空であると想定しているが、窓部1530,1532,1534を透明素材又は半透明素材で埋めるようにしてもよい。即ち、透光性がある別の形態にしてもよい。例えば、窓部1530,1532,1534にて透過光をフィルタリングさせ、和らげ、或いは部分的に阻止することも可能である。液晶ディスプレイ等、能動的又は半能動的遮光素材を用いてもよい。更に、芸術的乃至美的目的でのフィルタリングに限らず、保護目的でのフィルタリングを施し、装着されている画像を損ねかねない損ねる光を阻止するようにしてもよい。
また、図15A及び図15Bに示す例では、内部空間1505の寸法及び形状が裏打ち材1528によって設定されている。裏打ち材1528は、例えば、実装フック等の実装構造(図示せず)によって外枠材1524に固定され、その内側に保持されている。テンプレートに従い生成された画像印刷物は、裏打ち材1528の表面に載った状態で、その面を内側に向けてアイテム1500内に装着、固定される。なお、この裏打ち材1528は省略も可能である。空間1505内に収まる寸法の保護層、例えば従来からあるガラス等の透明乃至半透明シート(図示せず)によって印刷物を保護、保持乃至固定すればよい。
22 ハウジング、24 コンテンツ/プログラムデータファイル源、26 コンピュータシステム、28 出力システム、29,30 プリンタ、32,35 I/O、34 プロセッサ、38 センサ、39 ポータブルメモリ、40 記憶/記録装置、42 ハードディスクドライブ、44 リムーバブルディスクドライブ、46 スロット、48 リムーバブルメモリ、50 リムーバブルメモリインタフェース、52 リモートメモリシステム、54 通信システム、56 リモートディスプレイ、58 リモート入力システム、58a リモートキーボード、58b リモートマウス、58c リモートコントローラ、66 ローカルディスプレイ、68 ローカル入力システム、68a ローカルキーボード、68b ローカルマウス、70 編集場所、72 使用者、201 オーディオセンサ、300,1500 画像組込アイテム、302 画像組込部、306〜310,1530〜1534 窓部、312 背景部、320,330 背景装飾画像、610,620,630,640,650,660,670 画像、615,625,635,645 ラベル、705〜780,805〜870,905〜946,1005〜1070,1105〜1160,1210〜1240 ステップ、1504 透光部、1505 内部空間、1510 画像印刷物のシート、1518 マット、1524 外枠材、1528 裏打ち材。

Claims (20)

  1. 整った画像表示を提供すべくコンピュータ上で実行される方法であって、
    それぞれ一種類又は複数種類の属性条件を伴う窓部を複数個有する画像表示用のディジタルテンプレートを準備するステップと、
    データベース上にありそれぞれ一種類又は複数種類の画像属性を有する諸画像を自動検索することで、ディジタルテンプレート上の窓部毎に、その窓部に係る属性条件を満たしていて割当対象となりうる画像を1枚又は複数枚探し出すステップと、
    見つかった割当対象画像上に第1縦線を想定するステップと、
    割当対象画像上に第1横線を想定するステップと、
    割当対象画像に含まれる顔を識別し、その顔の位置が第1縦線上又は第1横線上に来るように修正するステップと、
    を有する方法。
  2. 請求項1記載の方法であって、顔の位置が第1縦線上に来るよう上記修正を実行する方法。
  3. 請求項1記載の方法であって、
    割当対象画像上に第2縦線を想定するステップと、
    割当対象画像上に第2横線を想定するステップと、
    その顔の位置が第2縦線上又は第2横線上に来るよう上記修正を実行させるステップと、
    を有する方法。
  4. 請求項3記載の方法であって、顔の位置が第1又は第2縦線と第1又は第2横線との交点上に来るよう上記修正を実行する方法。
  5. 請求項3記載の方法であって、第1縦線が割当対象画像の左端から画像幅の約1/3隔たり、第2縦線が右端から画像幅の約1/3隔たるよう、第1及び第2縦線を想定する方法。
  6. 請求項3記載の方法であって、第1横線が割当対象画像の上端から画像高の約1/3隔たり、第2横線が下端から画像高の約1/3隔たるよう、第1及び第2横線を想定する方法。
  7. 請求項6記載の方法であって、顔の位置が第1又は第2縦線と第1又は第2横線との交点上に来るよう上記修正を実行する方法。
  8. 整った画像表示を提供すべくコンピュータ上で実行される方法であって、
    それぞれ一種類又は複数種類の属性条件を伴う窓部を複数個有する画像表示用のディジタルテンプレートを準備するステップと、
    データベース上にありそれぞれ一種類又は複数種類の画像属性を有する諸画像を自動検索することで、ディジタルテンプレート上の窓部毎に、その窓部に係る属性条件を満たしていて割当対象となりうる画像を1枚又は複数枚探し出すステップと、
    見つかった割当対象画像に含まれる顔を識別し、その画像における顔の幅を識別した上で、その顔幅をその画像用の基準計測単位と定めるステップと、
    を有する方法。
  9. 請求項8記載の方法であって、割当対象画像における所定二点間の距離が基準計測単位に対しほぼ等しい値になるまでその画像を選択的にズーミングするステップを有する方法。
  10. 請求項8記載の方法であって、割当対象画像における所定二点間の距離が基準計測単位に対しほぼ所定比率になるまでその画像を選択的にズーミングするステップを有する方法。
  11. 請求項8記載の方法であって、割当対象画像における所定二点間の距離が基準計測単位に対しほぼ所定倍数になるまでその画像を選択的にズーミングするステップを有する方法。
  12. 請求項11記載の方法であって、上記所定二点のうち一点が割当対象画像の左端、もう一点が右端にある方法。
  13. 整った画像表示を提供するコンピュータシステムであって、
    それぞれ一種類又は複数種類の属性条件を伴う窓部を複数個有する画像表示用のディジタルテンプレートを保持する手段と、
    一種類又は複数種類の画像属性を有する画像が複数枚登録されており本コンピュータシステムからアクセス可能なデータベースと、
    プロセッサと、
    を備え、そのプロセッサが、
    データベース上の諸画像を自動検索することで、ディジタルテンプレート上の窓部毎に、その窓部に係る属性条件を満たしていて割当対象となりうる画像を1枚又は複数枚探し出すステップと、
    見つかった割当対象画像上に第1縦線を自動想定するステップと、
    割当対象画像上に第1横線を自動想定するステップと、
    割当対象画像に含まれる顔を自動識別し、その顔の位置が第1縦線上又は第1横線上に来るように自動修正するステップと、
    を実行するコンピュータシステム。
  14. 請求項13記載のコンピュータシステムであって、そのプロセッサが、顔の位置が第1縦線上に来るよう上記自動修正を実行するコンピュータシステム。
  15. 請求項13記載のコンピュータシステムであって、そのプロセッサが、
    割当対象画像上に第2縦線を自動想定するステップと、
    割当対象画像上に第2横線を自動想定するステップと、
    その顔の位置が第2縦線上又は第2横線上に来るよう上記自動修正を実行させるステップと、
    を実行するコンピュータシステム。
  16. 請求項15記載のコンピュータシステムであって、そのプロセッサが、顔の位置が第1又は第2縦線と第1又は第2横線との交点上に来るよう上記自動修正を実行するコンピュータシステム。
  17. 請求項15記載のコンピュータシステムであって、そのプロセッサが、第1縦線が割当対象画像の左端から画像幅の約1/3隔たり、第2縦線が右端から画像幅の約1/3隔たるよう、第1及び第2縦線を自動想定するコンピュータシステム。
  18. 請求項15記載のコンピュータシステムであって、そのプロセッサが、第1横線が割当対象画像の上端から画像高の約1/3隔たり、第2横線が下端から画像高の約1/3隔たるよう、第1及び第2横線を自動想定するコンピュータシステム。
  19. 請求項18記載のコンピュータシステムであって、そのプロセッサが、顔の位置が第1又は第2縦線と第1又は第2横線との交点上に来るよう上記自動修正を実行するコンピュータシステム。
  20. 整った画像表示を提供すべくべくコンピュータ上で実行される方法であって、
    それぞれ一種類又は複数種類の属性条件を伴う窓部を複数個有する画像表示用のディジタルテンプレートを準備するステップと、
    データベース上にありそれぞれ一種類又は複数種類の画像属性を有する諸画像を自動検索することで、ディジタルテンプレート上の窓部毎に、その窓部に係る属性条件を満たしていて割当対象となりうる画像を1枚又は複数枚探し出すステップと、
    見つかった割当対象画像上に第1縦線を想定するステップと、
    割当対象画像に含まれる顔を識別し、その顔の位置が第1縦線上に来るように修正するステップと、
    を有する方法。
JP2012522799A 2009-07-30 2010-07-13 画像表示用ディジタルテンプレート処理 Pending JP2013500537A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/512,144 US8274523B2 (en) 2009-07-30 2009-07-30 Processing digital templates for image display
US12/512,144 2009-07-30
PCT/US2010/001953 WO2011014230A2 (en) 2009-07-30 2010-07-13 Processing digital templates for image display

Publications (2)

Publication Number Publication Date
JP2013500537A true JP2013500537A (ja) 2013-01-07
JP2013500537A5 JP2013500537A5 (ja) 2013-08-15

Family

ID=43414822

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012522799A Pending JP2013500537A (ja) 2009-07-30 2010-07-13 画像表示用ディジタルテンプレート処理

Country Status (5)

Country Link
US (1) US8274523B2 (ja)
EP (1) EP2460145A2 (ja)
JP (1) JP2013500537A (ja)
CN (1) CN102473318A (ja)
WO (1) WO2011014230A2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012230649A (ja) * 2011-04-27 2012-11-22 Canon Inc 情報処理装置およびその制御方法、並びにプログラム
JP5603995B1 (ja) * 2013-12-27 2014-10-08 株式会社 ディー・エヌ・エー セット販売処理システム
JP2017059123A (ja) * 2015-09-18 2017-03-23 富士フイルム株式会社 テンプレート選択システム,テンプレート選択方法,テンプレート選択プログラムおよびそのプログラムを格納した記録媒体

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5212187B2 (ja) * 2009-03-06 2013-06-19 ブラザー工業株式会社 通信端末装置、表示制御方法、表示制御プログラム
US9319640B2 (en) * 2009-12-29 2016-04-19 Kodak Alaris Inc. Camera and display system interactivity
US8327253B2 (en) * 2010-11-09 2012-12-04 Shutterfly, Inc. System and method for creating photo books using video
JP5526193B2 (ja) * 2011-06-20 2014-06-18 富士フイルム株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9008436B2 (en) * 2011-10-28 2015-04-14 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US8811747B2 (en) 2011-10-28 2014-08-19 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US8938100B2 (en) 2011-10-28 2015-01-20 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9025835B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
US9025836B2 (en) 2011-10-28 2015-05-05 Intellectual Ventures Fund 83 Llc Image recomposition from face detection and facial features
AU2011265341B2 (en) * 2011-12-19 2015-03-19 Canon Kabushiki Kaisha Method, for an image slideshow
CN103577817B (zh) 2012-07-24 2017-03-01 阿里巴巴集团控股有限公司 表单识别方法与装置
WO2014133515A1 (en) * 2013-02-28 2014-09-04 Hewlett-Packard Development Company, L.P. Arranging elements in a layout
US9500865B2 (en) 2013-03-04 2016-11-22 Alex C. Chen Method and apparatus for recognizing behavior and providing information
US9361705B2 (en) 2013-03-15 2016-06-07 Disney Enterprises, Inc. Methods and systems for measuring group behavior
US9443144B2 (en) 2013-03-15 2016-09-13 Disney Enterprises, Inc. Methods and systems for measuring group behavior
US11669562B2 (en) * 2013-10-10 2023-06-06 Aura Home, Inc. Method of clustering photos for digital picture frames with split screen display
US20150143236A1 (en) * 2013-11-19 2015-05-21 Disney Enterprises, Inc. Generating photo albums from unsorted collections of images
US9311340B2 (en) * 2014-04-15 2016-04-12 International Business Machines Corporation Multiple partial-image compositional searching
CN104021138B (zh) * 2014-04-23 2017-09-01 北京智谷睿拓技术服务有限公司 图像检索方法及图像检索装置
US9835862B1 (en) * 2014-05-15 2017-12-05 Google Llc Graphic interface for real-time vision enhancement
CN105225212B (zh) 2014-06-27 2018-09-28 腾讯科技(深圳)有限公司 一种图片处理方法和装置
CN104317502B (zh) * 2014-10-31 2018-03-09 大唐网络有限公司 图片的编辑方法和编辑装置
US10460286B2 (en) 2014-11-14 2019-10-29 The Joan and Irwin Jacobs Technion-Cornell Institute Inventory management system and method thereof
US10825069B2 (en) * 2014-11-14 2020-11-03 The Joan and Irwin Jacobs Technion-Cornell Institute System and method for intuitive content browsing
EP3268384B1 (en) * 2015-03-10 2021-11-03 Merck Sharp & Dohme Corp. Process for preparing recombinant insulin using microfiltration
US9940524B2 (en) 2015-04-17 2018-04-10 General Electric Company Identifying and tracking vehicles in motion
US10043307B2 (en) 2015-04-17 2018-08-07 General Electric Company Monitoring parking rule violations
WO2016191952A1 (zh) * 2015-05-29 2016-12-08 华为技术有限公司 一种显示照片的方法及设备
TWI559258B (zh) * 2015-11-04 2016-11-21 明基電通股份有限公司 影像顯示方法
JP6494504B2 (ja) * 2015-12-25 2019-04-03 キヤノン株式会社 情報処理装置、制御方法およびプログラム
KR102140072B1 (ko) 2016-04-01 2020-07-31 삼성전자주식회사 이미지 합성 방법 및 그 전자 장치
CN108428214B (zh) * 2017-02-13 2022-03-08 斑马智行网络(香港)有限公司 一种图像处理方法及装置
CN110012210B (zh) * 2018-01-05 2020-09-22 Oppo广东移动通信有限公司 拍照方法、装置、存储介质及电子设备
CN108615253B (zh) * 2018-04-12 2022-09-13 广东数相智能科技有限公司 图像生成方法、装置与计算机可读存储介质
CN110889749B (zh) * 2019-12-02 2020-07-28 安徽师范大学 一种图书馆书籍租借系统及方法
US11615508B2 (en) * 2020-02-07 2023-03-28 GE Precision Healthcare LLC Systems and methods for consistent presentation of medical images using deep neural networks
US11335296B2 (en) * 2020-09-14 2022-05-17 Apple Inc. Low-latency context switch systems and methods
JP2022050175A (ja) * 2020-09-17 2022-03-30 富士フイルムビジネスイノベーション株式会社 印刷物処理装置及びプログラム
US20220138270A1 (en) * 2020-11-03 2022-05-05 Heyautofill, Inc. Process and system for data transferring and mapping between different applications
CN114339360B (zh) * 2021-09-09 2023-05-02 腾讯科技(深圳)有限公司 一种视频处理的方法、相关装置及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007143093A (ja) * 2005-10-18 2007-06-07 Fujifilm Corp アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム
JP2008052326A (ja) * 2006-08-22 2008-03-06 Fujifilm Corp 電子アルバム生成装置、電子アルバム生成方法、および、そのプログラム

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5530793A (en) * 1993-09-24 1996-06-25 Eastman Kodak Company System for custom imprinting a variety of articles with images obtained from a variety of different sources
US5781650A (en) 1994-02-18 1998-07-14 University Of Central Florida Automatic feature detection and age classification of human faces in digital images
US7003731B1 (en) * 1995-07-27 2006-02-21 Digimare Corporation User control and activation of watermark enabled objects
US5815645A (en) * 1996-07-29 1998-09-29 Eastman Kodak Company Method of combining two digital images
US6822756B1 (en) * 1996-07-29 2004-11-23 Eastman Kodak Company Method of combining two digital images
US6285468B1 (en) * 1996-07-29 2001-09-04 Eastman Kodak Company Method of combining two digital images
US5986671A (en) * 1997-04-10 1999-11-16 Eastman Kodak Company Method of combining two digitally generated images
US6157435A (en) * 1998-05-29 2000-12-05 Eastman Kodak Company Image processing
US6956671B2 (en) * 1998-10-15 2005-10-18 Hewlett-Packard Development Company, L.P. Specifying image file processing operations via device controls and a user-completed proof sheet
US6389181B2 (en) * 1998-11-25 2002-05-14 Eastman Kodak Company Photocollage generation and modification using image recognition
US6636648B2 (en) * 1999-07-02 2003-10-21 Eastman Kodak Company Albuming method with automatic page layout
US6711291B1 (en) * 1999-09-17 2004-03-23 Eastman Kodak Company Method for automatic text placement in digital images
US6748097B1 (en) * 2000-06-23 2004-06-08 Eastman Kodak Company Method for varying the number, size, and magnification of photographic prints based on image emphasis and appeal
US7054508B2 (en) * 2000-08-03 2006-05-30 Canon Kabushiki Kaisha Data editing apparatus and method
US7043053B1 (en) * 2000-08-17 2006-05-09 Eastman Kodak Company Matching image characteristics of stamps and personal images to aesthetically fit into a personal postal product
US6813618B1 (en) * 2000-08-18 2004-11-02 Alexander C. Loui System and method for acquisition of related graphical material in a digital graphics album
US6868190B1 (en) * 2000-10-19 2005-03-15 Eastman Kodak Company Methods for automatically and semi-automatically transforming digital image data to provide a desired image look
US6958821B1 (en) * 2000-11-21 2005-10-25 Eastman Kodak Company Analyzing images to determine third party product materials corresponding to the analyzed images
US7340676B2 (en) * 2000-12-29 2008-03-04 Eastman Kodak Company System and method for automatic layout of images in digital albums
US7221381B2 (en) * 2001-05-09 2007-05-22 Clairvoyante, Inc Methods and systems for sub-pixel rendering with gamma adjustment
US6992787B2 (en) * 2001-05-16 2006-01-31 Eastman Kodak Company Method of purchasing image bearing products
US6967667B2 (en) * 2001-09-24 2005-11-22 Eastman Kodak Company Method of constructing a kaleidoscope image usable in a scrapbook
US7000192B2 (en) * 2001-09-24 2006-02-14 Eastman Kodak Company Method of producing a matted image usable in a scrapbook
US7035467B2 (en) * 2002-01-09 2006-04-25 Eastman Kodak Company Method and system for processing images for themed imaging services
US7092966B2 (en) * 2002-09-13 2006-08-15 Eastman Kodak Company Method software program for creating an image product having predefined criteria
US7362919B2 (en) * 2002-12-12 2008-04-22 Eastman Kodak Company Method for generating customized photo album pages and prints based on people and gender profiles
US7508961B2 (en) 2003-03-12 2009-03-24 Eastman Kodak Company Method and system for face detection in digital images
US7336819B2 (en) 2003-12-29 2008-02-26 Eastman Kodak Company Detection of sky in digital color images
JP4800104B2 (ja) * 2005-06-13 2011-10-26 富士フイルム株式会社 アルバム作成装置、アルバム作成方法、及びプログラム
EP1826723B1 (en) * 2006-02-28 2015-03-25 Microsoft Corporation Object-level image editing
JP2008035328A (ja) * 2006-07-31 2008-02-14 Fujifilm Corp テンプレート生成装置、画像配置装置、変更テンプレート生成装置およびそのプログラム
EP1895466A1 (en) 2006-08-30 2008-03-05 BRITISH TELECOMMUNICATIONS public limited company Providing an image for display
US20110029914A1 (en) * 2009-07-30 2011-02-03 Whitby Laura R Apparatus for generating artistic image template designs
US20110029562A1 (en) * 2009-07-30 2011-02-03 Whitby Laura R Coordinating user images in an artistic design
US20110029635A1 (en) * 2009-07-30 2011-02-03 Shkurko Eugene I Image capture device with artistic template design
US20110029860A1 (en) * 2009-07-30 2011-02-03 Ptucha Raymond W Artistic digital template for image display
US9319640B2 (en) * 2009-12-29 2016-04-19 Kodak Alaris Inc. Camera and display system interactivity
US9253447B2 (en) * 2009-12-29 2016-02-02 Kodak Alaris Inc. Method for group interactivity
US9179102B2 (en) * 2009-12-29 2015-11-03 Kodak Alaris Inc. Group display system
US8390648B2 (en) * 2009-12-29 2013-03-05 Eastman Kodak Company Display system for personalized consumer goods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007143093A (ja) * 2005-10-18 2007-06-07 Fujifilm Corp アルバム作成装置、アルバム作成方法、およびアルバム作成プログラム
JP2008052326A (ja) * 2006-08-22 2008-03-06 Fujifilm Corp 電子アルバム生成装置、電子アルバム生成方法、および、そのプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012230649A (ja) * 2011-04-27 2012-11-22 Canon Inc 情報処理装置およびその制御方法、並びにプログラム
US9277088B2 (en) 2011-04-27 2016-03-01 Canon Kabushiki Kaisha Information processing apparatus, control method for the same and computer-readable medium
JP5603995B1 (ja) * 2013-12-27 2014-10-08 株式会社 ディー・エヌ・エー セット販売処理システム
JP2017059123A (ja) * 2015-09-18 2017-03-23 富士フイルム株式会社 テンプレート選択システム,テンプレート選択方法,テンプレート選択プログラムおよびそのプログラムを格納した記録媒体
US10269157B2 (en) 2015-09-18 2019-04-23 Fujifilm Corporation Template selection system, template selection method and recording medium storing template selection program

Also Published As

Publication number Publication date
WO2011014230A3 (en) 2011-04-14
US8274523B2 (en) 2012-09-25
WO2011014230A2 (en) 2011-02-03
CN102473318A (zh) 2012-05-23
EP2460145A2 (en) 2012-06-06
US20110025709A1 (en) 2011-02-03

Similar Documents

Publication Publication Date Title
US11533456B2 (en) Group display system
JP2013500537A (ja) 画像表示用ディジタルテンプレート処理
US8849043B2 (en) System for matching artistic attributes of secondary image and template to a primary image
US8538986B2 (en) System for coordinating user images in an artistic design
US8212834B2 (en) Artistic digital template for image display
US8854395B2 (en) Method for producing artistic image template designs
US8289340B2 (en) Method of making an artistic digital template for image display
US8849853B2 (en) Method for matching artistic attributes of a template and secondary images to a primary image
US8237819B2 (en) Image capture method with artistic template design
US9319640B2 (en) Camera and display system interactivity
US8390648B2 (en) Display system for personalized consumer goods
US20110029914A1 (en) Apparatus for generating artistic image template designs
US8345057B2 (en) Context coordination for an artistic digital template for image display
US20110029635A1 (en) Image capture device with artistic template design
US20110029860A1 (en) Artistic digital template for image display
US9253447B2 (en) Method for group interactivity
US20110029562A1 (en) Coordinating user images in an artistic design
US8332427B2 (en) Method of generating artistic template designs
US20110157218A1 (en) Method for interactive display
US9336442B2 (en) Selecting images using relationship weights
JP4762762B2 (ja) アルバム作成装置、アルバム作成方法、及びプログラム

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20130403

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130626

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130626

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140415

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141224