JP2002049642A - 画像を分析し、分析された画像に対応する1つ以上の材料のセットを決定する方法 - Google Patents
画像を分析し、分析された画像に対応する1つ以上の材料のセットを決定する方法Info
- Publication number
- JP2002049642A JP2002049642A JP2001152315A JP2001152315A JP2002049642A JP 2002049642 A JP2002049642 A JP 2002049642A JP 2001152315 A JP2001152315 A JP 2001152315A JP 2001152315 A JP2001152315 A JP 2001152315A JP 2002049642 A JP2002049642 A JP 2002049642A
- Authority
- JP
- Japan
- Prior art keywords
- images
- image
- user
- database
- digital image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000000463 material Substances 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 55
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000007704 transition Effects 0.000 description 41
- 239000003086 colorant Substances 0.000 description 30
- 238000004891 communication Methods 0.000 description 24
- 238000003384 imaging method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000001737 promoting effect Effects 0.000 description 7
- 239000013598 vector Substances 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 241001559589 Cullen Species 0.000 description 1
- 101100321669 Fagopyrum esculentum FA02 gene Proteins 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101000680262 Homo sapiens Transmembrane protein 60 Proteins 0.000 description 1
- 102100022076 Transmembrane protein 60 Human genes 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011496 digital image analysis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012011 method of payment Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000002453 shampoo Substances 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 239000000344 soap Substances 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 229940034610 toothpaste Drugs 0.000 description 1
- 239000000606 toothpaste Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000032258 transport Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0242—Determining effectiveness of advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0277—Online advertisement
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99931—Database or file accessing
- Y10S707/99933—Query processing, i.e. searching
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Marketing (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Processing Or Creating Images (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
カスタマに対して広告クライアントが広告材料提供を望
む可能性に関連づける。 【解決手段】 ユーザの1つ以上の画像を分析し、表示
のためにユーザに送信できる材料に対するユーザの関心
の可能性を判断する方法は、ユーザにより1つ以上の画
像を選択するステップと、前記1つ以上のユーザ画像を
自動的に分析し、あるセットの材料がそのユーザにとっ
て関心ある可能性を判断するステップと、1つ以上の材
料のアイテムを、ユーザに対するその関心の可能性に基
づき選択するステップと、を含む。
Description
の画像を分析し、ユーザに送信可能な材料へのユーザの
関心の可能性を判断する方法に関する。
り、ディジタルイメージング技術まで含まれるようにな
った。インターネットベースの写真サービスでは、自分
のディジタル画像を、遠隔コンピュータにあるディジタ
ル画像と共に表示する手段がカスタマに提供される。こ
のようなインターネットベースのディジタルイメージン
グアプリケーションの一般的なシナリオには、ディジタ
ル画像コレクションのサムネイルバージョンの鑑賞、及
び鑑賞、強調、プリントのための特定ディジタル画像の
選択が含まれる。インターネットベースの写真サービス
プロバイダが、提供したサービスに対する支払いを受け
るための種々の方法が存在するが、多くのプロバイダ
は、カスタマのディスプレイ画面に広告メッセージを表
示し、カスタマからではなく、広告クライアントからの
支払いを収集する方法を選択している。現在、カスタマ
についての事前知識をカスタマプロファイルの形式で入
手できれば、写真サービスプロバイダはダイレクト広告
(directed advertisement)を実施できる。しかしなが
ら、カスタマについての事前知識がなければ、ダイレク
ト広告はできないし、カスタマプロファイルは最新情報
でない場合もある。その上、このプロファイルはカスタ
マの購買習慣のある面をカバーしていない可能性もあ
る。写真サービスプロバイダの従業員は、カスタマの写
真を見れば、どの広告クライアントがこの特定カスタマ
へのダイレクト広告を所望しているか、賢明な判断がで
きるであろうが、カスタマの写真のプライバシー問題に
はここでは触れないとして、人間が写真を見てダイレク
ト広告の判断を下すのはあまりも効率が悪い。リサーチ
によれば、カスタマは無関係なダイレクト広告を不快に
思うことが多い一方で、自分の興味に合ったダイレクト
広告であれば望ましいと感じている。
ルイメージングアルゴリズムが、長い間考案されてき
た。特に、米国特許第5,933,823号(Cullen et
al.)、第5,987,456号(Ravela et al.)、及
び第5,819,288号(DeBone et al.)に開示さ
れる方法が、ディジタル画像の分析に使用される。これ
らのディジタルイメージングアプリケーションでは、デ
ィジタル画像のデータベースが保持される。データベー
ス内の各ディジタル画像に対し、数式で表される画像特
性のセットを計算する。通常、ディジタルイメージング
アプリケーションのユーザがクエリディジタル画像を選
択し、これをデータベースのディジタル画像と比較す
る。クエリディジタル画像に対して、同じ画像特性のセ
ットを計算する。このクエリディジタル画像とデータベ
ースのディジタル画像について、計算された画像特性を
比較し、データベースの各ディジタル画像に対し、全体
の類似性の基準として画像類似値を算出する。この画像
類似値を分析し、画像類似値が最も高いディジタル画像
をユーザに表示する。
像クエリアプリケーションにより、ディジタル画像の分
析は可能であるが、上記の開示されたいずれの方法も、
カスタマのディジタル画像の内容を、広告クライアント
がその特定カスタマに対して広告材料の提供を所望する
可能性に関連付けていない。
ーザの画像を分析して、表示のためにユーザに送信可能
な材料に対するユーザの関心の可能性を判断する方法で
あって、 a)ユーザから1つ以上の画像を受け取るステップと、 b)それぞれが異なる材料のセットに対応する複数の画
像を、データベースから受信するステップと、 c)前記1つ以上のユーザ画像と、受信したデータベー
ス画像とを分析し、あるセット中の材料にユーザが関心
ある可能性を判断するステップと、 d)ユーザに対する関心の可能性に基づき、1つ以上の
材料のセットを選択するステップと、を含む方法であ
る。
に対するユーザの関心の可能性を判断し、そのような材
料をユーザに送る方法であって、 a)ユーザから1つ以上の画像を受け取るステップと、 b)それぞれが異なる材料のセットに対応する複数の画
像を、データベースから受信するステップと、 c)1つ以上のユーザ画像中の画素と受信したデータベ
ース画像中の画素とを用いて、前記1つ以上の画像内の
情報を、あるセット中の材料に関連する前記受信したデ
ータベース画像内の情報と比較し、あるセット中の材料
にユーザが関心ある可能性を判断することにより、前記
1つ以上のユーザ画像と受信したデータベース画像とを
分析し、1つのセット中の材料にユーザが関心ある可能
性を判断するステップと、 d)ユーザに対する関心の可能性に基づき、1つ以上の
材料のアイテムを選択して送るステップと、を含む方法
である。
対するユーザの関心の可能性を判断し、そのような材料
をユーザに送る方法であって、 a)ユーザから1つ以上の画像を受け取るステップと、 b)前記1つ以上のユーザ画像中の画素を、前記セット
の一部ではないが、1つ以上のセットの材料に関連する
画素と比較し、あるセット中の材料にユーザが関心ある
可能性を判断することにより、前記1つ以上のユーザ画
像内の画素を用いて、前記1つ以上の画像を分析するス
テップと、 c)1つ以上の材料のアイテムを、ユーザに対するその
関心の可能性をに基づき選択して送るステップと、を含
む方法である。
に対するユーザの関心の可能性を判断し、そのような材
料をユーザによる表示のために送る方法であって、 a)ユーザにより1つ以上の画像を選択するステップ
と、 b)1つ以上のユーザの画像中の画素を用いて前記1つ
以上の画像を分析するステップであって、画像類似性の
計算を実行することにより、前記1つ以上のユーザ画像
中のかかる画素に対応する情報を、1つ以上のセットの
材料に関連する画素に対応する情報と比較し、あるセッ
ト中の材料にユーザが関心ある可能性を判断することに
より、前記1つ以上の画像を分析するステップと、 c)1つ以上の材料のアイテムをユーザに対するその関
心の可能性をに基づき選択し、選択された材料を表示す
べくユーザに送るステップと、 を含む方法である。
像の内容を分析することにより、賢明なダイレクト広告
の判断ができるディジタルイメージングアルゴリズムを
提供することである。
利用して、そのユーザが材料に対して関心がある可能性
を判断することである。このような材料には、製品また
はサービスプロモーション材料を含むことができる。
析し、表示のためにユーザに送信可能な材料へのユーザ
の関心の可能性を判断する方法であって、(a)ユーザ
によって1つ以上の画像を選択するステップと、(b)
前記1つ以上のユーザ画像を自動的に分析し、あるセッ
トの材料にユーザが関心ある可能性を判断するステップ
と、(c)1つ以上の材料アイテムを、ユーザにとって
の関心の可能性に基づき選択するステップと、を含む方
法によって達成される。
ましい実施形態をソフトウェアプログラムとして説明す
る。当業者であれば、このようなソフトウェアの同等物
がハードウェアでも構成できることが認識できるであろ
う。画像操作(manupulation)アルゴリズム及びシステ
ムは既に周知なので、本発明は、特に、本発明による方
法のアルゴリズム及びシステムの生成部分、または本発
明による方法とより直接的に協働するアルゴリズム及び
システムに関する。ここで特に示されないまたは説明さ
れない、このようなアルゴリズム及びシステムの他の側
面、及びそれに関連する画像信号を生成及び処理するハ
ードウェアまたはソフトウェアは、従来から知られるシ
ステム、アルゴリズム、部品及び素子から選択すればよ
い。明細書中の以下の説明によれば、ソフトウェアによ
るその実施はすべて従来のものであり、当業界の通常の
技術範囲である。
ージングシステムアプリケーション]本発明は、通信ネ
ットワークを介して接続された複数のコンピュータを用
いて実施できる。図2に、複数コンピュータの通信ネッ
トワークを示す。接続されたコンピュータのこのような
ネットワークにより、接続された2つ以上の任意のコン
ピュータ間で情報を送受信する手段が提供される。通信
ネットワークは、従来の通信電話回線の場合のように、
コンピュータ間の物理的な接続を含んでもよい。また、
通信ネットワークは、マイクロ波通信回線、無線通信回
線、同軸ケーブルテレビ通信回線、光ファイバ(fiber
optic)通信回線、またはセルラ電話通信回線の場合の
ような非物理的に接続された通信回線を含んでもよい。
よって、本発明は上記の任意の通信方式を使用して実施
できるが、本発明は情報交換の手段ではなく、情報交換
に関するため、これらの通信方式だけに限定されるもの
ではない。
ディジタル画像データの操作を含む一連のコンピュータ
指示を実行できる任意の装置である。基本的には、任意
のイメージング可能コンピュータが任意のコンピュータ
指示を実行する能力を備えることができるが、図2に示
されるイメージング可能コンピュータには、それらが実
行する特別な目的の機能を強調するため、特別な名前が
付されている。イメージング可能コンピュータの例とし
て、接続コンピュータ120、小売りコンピュータ(re
tail computer)130、卸売りコンピュータ(wholesa
le compurter)140、パーソナルコンピュータ15
0、移動コンピュータ160、及びキオスクコンピュー
タ170がある。本発明は、これらのイメージング可能
コンピュータのすべての例を非限定的に使って実施でき
る。また、あるコンピュータを、図2に示された1つ以
上の機能を実行すべく構成してもよい。したがって、コ
ンピュータハードウェアは必ずしも物理的に分離して実
施されるわけではないが、ここでは、説明の目的で、専
門の機能を別々の存在として説明する。
ンピュータを通信コンピュータネットワーク110に接
続する目的で構成された、専門コンピュータ装置であ
る。このようなコンピュータは、図示される他のタイプ
のコンピュータ、すなわち、小売りコンピュータ13
0、卸売りコンピュータ140、パーソナルコンピュー
タ150、移動コンピュータ160及びキオスクコンピ
ュータ170の通信接続として機能できる。接続コンピ
ュータ120の主な機能は、情報の処理ではなく、情報
の転送又は交換である。単一の接続コンピュータを他の
複数のコンピュータに接続してもよい。図2に示すよう
に、2つの接続コンピュータがいずれも他の複数のコン
ピュータに接続され、さらに互いに接続されている。図
2において、矢印は、一般的に双方向である情報の交換
を表している。すなわち、情報の流れはいずれの方向に
おいても実現する。コンピュータ間の情報交換のため
に、情報はコンピュータからコンピュータに流れる。そ
こで、接続されたコンピュータのネットワークが形成さ
れる。図2に示されていないコンピュータが通信コンピ
ュータネットワーク110を介してシンボリカルに(sy
mbolically)接続されていてもよい。よって、通信ネッ
トワークに接続された別のコンピュータに接続された任
意のコンピュータがさらに接続され、ネットワークに接
続された他の任意のコンピュータと情報交換してもよ
い。本発明の説明の目的で、通信ネットワークを含む、
相互接続されたコンピュータの集合体をインターネット
と呼ぶ。
50、移動コンピュータ160及びキオスクコンピュー
タ170が接続コンピュータ120を介して通信コンピ
ュータネットワーク110に接続されている。これらの
コンピュータは、情報の交換及び表示の機能を備える。
特に、本発明に関し、これらのコンピュータは、文字、
絵、及び画像の情報を表示する機能を、非制限的に備え
ている。このようなコンピュータは、一般的に、種々の
プロトコルを理解し、情報の視覚的な表示を管理するソ
フトウェアを用いて、インターネットに接続されてい
る。ディスプレイソフトウェアとソフトウェアプロトコ
ルのこのような組み合わせの1つとして、HTMLを理
解するワールドワイドウェブ(WWW)ブラウザがある
が、他にもディスプレイソフトウェア及びソフトウェア
プロトコルは存在する。本発明は、HTML文書を処理
するウェブブラウザに限らず、情報を管理及び表示する
ソフトウェアの任意の組み合わせにより実施できる。
一人の人が操作することが多いコンピュータである。一
般的なパーソナルコンピュータは、家庭及び職場に設置
されている。個々のユーザは、接続されたパーソナルコ
ンピュータによってインターネットにアクセスできる。
パーソナルコンピュータは、ラップトップコンピュータ
など、可搬ユニットでもよい。パーソナルコンピュータ
が無線接続によりインターネットに接続されている場合
には、そのコンピュータはほとんどどこにでも置くこと
ができる。このような構造を持つ場合、そのパーソナル
コンピュータは移動コンピュータを表してもよい。基本
的に、移動コンピュータとパーソナルコンピュータの相
違は、ほとんどの場合が大きさと重量である。
ービスの実行という商業的タスクを専門に行うコンピュ
ータである。これらのコンピュータは一般的に業者によ
って所有及び管理され、操作は主にカスタマが行う。現
金自動預け払い機(ATM)はキオスクコンピュータの
1例である。典型的なキオスクコンピュータは、情報を
表示し、サービスを選択し、その選択されたサービスに
対する支払い方法を示す手段を含む。これらの3つの特
性が典型的なキオスクコンピュータに一般的であるが、
本発明は、これより特性の多いまたは少ないキオスクコ
ンピュータによっても実施できる。
舗に設定された専門サービスの実行という商業的タスク
を行うコンピュータを表す。これらのコンピュータは一
般的に小売業者が所有及び管理し、カスタマまたは店員
のいずれかが操作する。一般的な小売りコンピュータ
は、種々の接続された装置を含んでもよい。
もまた、特殊サービスの実行する商業的タスクを専門に
行うコンピュータを表す。これらのコンピュータは一般
的に大量のデータに対する多量の処理を専門に行う。例
えば、卸売りコンピュータは、画像処理機能の特に高速
計算を可能にする特殊ハードウェアを含んでもよい。小
売りコンピュータ130と卸売りコンピュータ140の
主たる相違点は、これらのコンピュータにおけるソフト
ウェアの実行に要求されるユーザ又はオペレータのアシ
スタンスの強調度または程度である。すなわち、小売り
コンピュータ130はソフトウェアと人間の相互作用を
強調し、一方卸売りコンピュータ140はソフトウェア
の自動モードを強調する。一般に、卸売りコンピュータ
140の方が小売りコンピュータ130に比べてコンピ
ュータ操作が高速なので、処理される画像を小売りコン
ピュータ130から卸売りコンピュータ140に送信
し、卸売りコンピュータ140で処理し、通信コンピュ
ータネットワーク110を介して小売りコンピュータ1
30に返信してもよい。
指示、またはソフトウェアを種々の手段に記憶する能力
を備えると想定される。これらの手段には、ランダムア
クセスメモリ(RAM)、読み出し専用メモリ(RO
M)、または磁気あるいは光学式記憶装置など、ある形
式のオフライン記憶手段が非限定的に含まれる。
は、記録又は表示された形式の任意の視覚的情報を意味
することができる。記録画像の例として、写真フィルム
ネガ、写真スライドフィルム、動画フィルム及び写真プ
リントを含むが、これらに限定されない。一方、表示形
式の画像には、CRTモニタ、LCDパネル、エレクト
ロルミネッセンスデバイス及びレーザ照射システムなど
の電子ディスプレイ上に生成された視覚的な表示を含む
が、これらに限定されない。
画像チャネルから構成される。各ディジタル画像チャネ
ルは、2次元の画素アレイから構成される。各画素値
は、その画素の幾何学的領域に対応して画像キャプチャ
装置10から受光する光の量に関連する。カラーイメー
ジングアプリケーションの場合、ディジタル画像は、一
般的に、赤、緑及び青のディジタル画像チャネルにより
構成される。本発明の好ましい実施形態は、キャプチャ
装置10によって生成されたディジタル画像を使用して
実施されるが、本発明は写真に関する画素データに限定
されない。例えば、写真技術により取り込まれた画素デ
ータにグラフィックデータ又は他の合成データを合成し
てもよく、この場合もディジタル画像と考える。他の構
成、例えばシアン、マゼンタ及びイエローのディジタル
画像チャネルも実施できる。モノクロームアプリケーシ
ョンの場合には、ディジタル画像は1つのディジタル画
像チャネルから成る。動画イメージングアプリケーショ
ンは、ディジタル画像の時間的な連続であると考えられ
る。当業者であれば、本発明が上記の任意のアプリケー
ションのディジタル画像に、非限定的に、適用できるこ
とがわかるであろう。本発明では、列と行に並んだ2次
元の画素値アレイとしてディジタル画像チャネルを説明
しているが、当業者であれば、本発明がモザイク(非直
線)アレイにも適用でき、同じ効果が得られることが認
識できるであろう。
本発明は、図3に示すコンピュータハードウェアソフト
ウェアをイメージング可能コンピュータ100内で組み
合わせることにより実施できる。本発明の好ましい実施
形態は、小売りコンピュータ130又は卸売りコンピュ
ータ140に配置するのが最も論理的であるが、これら
のコンピュータはいずれもイメージング可能コンピュー
タ100である。以下の説明は、画像キャプチャ装置1
0、ディジタル画像プロセッサ20、画像出力装置3
0、及び汎用制御プロセッサ40を含む、イメージング
可能コンピュータ100のコンポーネントの部分集合と
してのディジタルイメージングシステムに関する。シス
テムは、コンピュータコンソール又はペーパプリンタな
どのモニタ装置42を含んでもよい。システムはさら
に、キーボード又はマウスポインタ44など、オペレー
タ用の入力装置コントロールを含んでもよい。本発明
は、種々のイメージング装置から得たディジタル画像と
ともに使用できるので、複数のキャプチャ装置10をデ
ィジタル画像プロセッサ20に接続してもよい。例え
ば、図3にはディジタル写真仕上げ(フォトフィニッシ
ング)システムを示すこともでき、その場合画像キャプ
チャ装置10はカラーネガまたはリバーサルフィルムに
シーンを写す従来の写真フィルムカメラ及びフィルム上
の現像画像をスキャンしてディジタル画像を生成するフ
ィルムスキャナ装置である。ディジタル画像プロセッサ
20は、ディジタル画像を処理して目的の出力装置又は
媒体に見やすい画像を生成する手段、あるいは処理され
たディジタル画像の内容を分析する手段を提供する。図
3には単一の画像出力装置のみが示されるが、本発明
は、ディジタル写真プリンタ及びソフトコピーディスプ
レイを含む種々の画像出力装置30に関連して使用でき
る。ディジタル画像プロセッサ20は、画像出力装置3
0によって見やすい画像が生成されるように、ディジタ
ル画像の全体の明るさ、トーンスケール、画像構造など
を処理することができる。当業者には、本発明が上記の
画像処理モジュールだけに限定されないことがわかるで
あろう。
ュータ読取り可能記憶媒体に記憶されたコンピュータプ
ログラムとして本発明を記憶してもよい。コンピュータ
読取り可能記憶媒体は、例えば、磁気ディスク(フロッ
ピー(登録商標)ディスクなど)又は磁気テープなどの
磁気記憶媒体、光ディスク、光学テープ、又は機械読取
り可能なバーコードなどの光学式記憶媒体、ランダムア
クセスメモリ(RAM)又は読取り専用メモリ(RO
M)などのソリッドステート電子記憶装置を含んでもよ
い。また、本発明を実施する関連コンピュータプログラ
ムは、オフラインメモリ装置46によって示される、コ
ンピュータプログラムの記憶に用いる他の任意の物理的
装置又は媒体に記憶してもよい。本発明の説明にあた
り、本発明が好ましくはパーソナルコンピュータ150
などの周知の任意のコンピュータシステムにおいて利用
されることに注目すれば、本発明に対する理解が容易に
なる。
なくともいずれかによる組み合わせにおいて実施される
本発明は、同じ物理的位置内で物理的に接続又は配置さ
れた装置に限定されるものではない。すなわち、図3に
示される1つ以上の装置を遠隔地に配置してもよいし、
無線接続によって接続してもよい。
ムの概観]図3には、通信コンピュータネットワーク1
10を介して互いに接続された2つのコンピュータシス
テムが示されている。イメージング可能コンピュータ1
00は、通信コンピュータネットワーク110に接続さ
れ、カスタマ(単数又は複数の人物)から発信されるク
エリディジタル画像のセットを受信する。小売りコンピ
ュータ(イメージング可能コンピュータ)は、このクエ
リディジタル画像セットの画像内容を、既存のディジタ
ル画像データベースに関して分析する。クエリディジタ
ル画像を分析した結果として、既存のディジタル画像デ
ータベースに関連する配布アイテムのデータベースから
1つ以上の配布アイテムを選択する。上記クエリディジ
タル画像のセットとこの1つ以上の配布アイテムがイメ
ージング可能コンピュータ100から送信され、パーソ
ナルコンピュータ150が通信コンピュータネットワー
ク110を介してこれを受信する。イメージング可能コ
ンピュータ100がどのようにクエリディジタル画像を
受信または生成するか、クエリディジタル画像がどのよ
うに分析されるか、及び配布アイテムがどのように選
択、送信されるかについては、以下に詳細に説明する。
図3に示されるパーソナルコンピュータ150によって
受信される。図1には、図3のパーソナルコンピュータ
150に接続されたモニタ装置42に現れるディスプレ
イ画面の一例が示されている。図1において、アイテム
201,202,203,204,205,206及び
207は、クエリディジタル画像のセット220に含ま
れるディジタル画像の表示バージョンである。ユーザが
アクティブ画像、すなわちディジタル画像の大型ディス
プレイ201を見ているあいだ、クエリディジタル画像
セット220に含まれる他の個々のディジタル画像のい
くつかが、202,203,204,205,206,
及び207で表されるサムネイル画像、すなわち小型デ
ィスプレイとして表示される。受信された配布アイテム
も、同じディスプレイ画面上に、配布アイテム210,
211,212として表示される。本発明で実施できる
配布アイテムの例には、プロモーション目的のディジタ
ル画像、プロモーションメッセージを含むグラフィック
又はテキスト画像、グラフィック又はテキスト画像とデ
ィジタル画像の合成画像、ビデオクリップ、プロモーシ
ョンメッセージを含む文書、HTMLウェブ文書、Eメ
ールメッセージ、及びワールドワイドウェブアドレス
(ウェブスタ)を含んでもよいが、これらに限定されな
い。
メッセージなど、視覚的に表現されない配布アイテムを
使用して実施することもできる。このようなオーディオ
形式の配布アイテムの場合、パーソナルコンピュータ1
50は、内蔵スピーカを介して情報を表示できる。
配布アイテムを使用して実施される。例えば、このよう
な配布アイテムには、印刷物または無料のプロモーショ
ン材料製品又はサービスを含むことができるが、これら
に限定されない。プロモーション材料または製品とは、
例えば、シャンプー、石鹸、又は歯磨き粉などの試供品
である。プロモーションサービスの例としては、洗車ク
ーポンなどがある。本発明の本実施形態では、図2に示
されるイメージング可能コンピュータ100が、通信コ
ンピュータネットワーク110を介してカスタマからク
エリディジタル画像のセットを受信すると、図3に(イ
メージング可能コンピュータ100の1部品として)示
された汎用制御プロセッサ40が、ペーパプリントアウ
ト装置または電子ディスプレイであるモニタ装置42に
メッセージを送る。クエリディジタル画像セット220
に含まれる個々のディジタル画像の1つ以上が画像出力
装置30にてプリントされ、1組のディジタルプリント
が生成される。このディジタルプリントのセットが、配
布アイテムとともにパッケージされ、郵送サービスなど
の宅配サービスによってカスタマに送られる。
ージング可能コンピュータ100によって電子的に受信
されない比較ディジタル画像のセットを用いて実施する
こともできる。この実施形態では、カスタマはイメージ
ング可能コンピュータ100の場所まで移動することに
より、小売店舗に写真画像のセットを物理的に搬送す
る。写真画像は、フロッピーディスクなどの可搬型コン
ピュータメモリデバイスに電子的に記憶することができ
る。可搬型コンピュータメモリデバイスに記憶されたデ
ィジタル画像は、フロッピーディスクドライブなど、図
3に示される画像キャプチャ装置10によって読取られ
る。こうして、ディジタル画像は可搬型コンピュータメ
モリデバイスからディジタル画像プロセッサ20に転送
され、クエリディジタル画像220を形成する。
理的に小売り店舗に運んでもよい。この場合、図3の画
像キャプチャ装置は、写真フィルムスキャナである。画
像キャプチャ装置10によりクエリディジタル画像が生
成され、ディジタル画像プロセッサ20がこれを受信す
る。別のシナリオとしては、カスタマはディジタルイメ
ージング設備のない小売店に行き、そこで店員が写真フ
ィルムネガを受け取る。写真フィルムネガは、図2に示
される卸売りコンピュータ140が接続されている卸売
り店舗に運ばれる。卸売りコンピュータ140は、図3
のイメージング可能コンピュータを備えるので、クエリ
ディジタル画像及び配布アイテムが上記と同様に処理さ
れて、宅配サービスを介し小売店あるいは直接カスタマ
に配達される。さらに別のシナリオとしては、カスタマ
のパーソナルコンピュータに写真フィルムスキャナが接
続されている場合、この写真フィルムスキャナで生成さ
れたディジタル画像を小売または卸売コンピュータが電
子的に受信する。
ジング可能コンピュータ100のディジタルイメージン
グコンポーネントを図4により詳細に示す。ディジタル
画像プロセッサ20は、アイテム221,222,22
3で示されるデータベースディジタル画像の複数セット
を受信する。データベースディジタル画像の各セット
は、1つ以上のディジタル画像を含む。ディジタル画像
プロセッサ20は、さらに、1つ以上のディジタル画像
を含むクエリ画像を1セット受信する。データベースデ
ィジタル画像のセットとクエリディジタル画像のセット
は基本的にいずれもディジタル画像の集合体であるが、
本発明に実施されるように、これら2つの異なるディジ
タル画像のセットは使用法が異なる。別の方法として、
クエリ画像のセット220及び複数セットのデータベー
ス画像の221,222,223をまず汎用制御プロセ
ッサ40により受信し、オフラインメモリ装置46に保
存し、次にディジタル画像プロセッサ20に送信しても
よい。
を構成している個々のディジタル画像は、特定テーマを
表すべく選択された関連ある画像である。例えばオーシ
ャンビーチリゾートに関連するディジタル画像を収集し
て、オーシャンビーチリゾートテーマを表すデータベー
ス画像のセットを形成してもよい。この場合、例えば、
データベースディジタル画像セットのディジタル画像
は、空と海が写ったビーチ、熱帯樹林、ヨットまたはス
イミングプールの画像を含んでもよい。データベースデ
ィジタル画像セットの重要な側面は、それらの画像がセ
ット全体で特定のテーマを表すことである。特定テーマ
の別の例として自動車が挙げられる。この場合の各デー
タベース画像の例には、自動車、複数の自動車グルー
プ、レース場に離れて見える自動車、またはフードショ
ップに集まる人々の個々の画像が含まれる。この場合に
も、データベースディジタル画像セットを構成する個々
のディジタル画像は、特定のテーマを表す互いに関連す
る画像である。
数セットをEで表し、データベースディジタル画像の各
セットを添え字jで表すとする。したがって、Ejは、
データベースディジタル画像のj番目のセットを表す。
データベースディジタル画像の各セットが含むディジタ
ル画像の数は異なっていてもよい。Nが複数を表すとす
ると、Njは、ディジタル画像プロセッサ20が受信す
るデータベースディジタル画像のj番目のセット中のデ
ィジタル画像の数を表す。データベースディジタル画像
のあるセット中の個々のディジタル画像は、添え字kで
識別する。よって、データベースディジタル画像j番目
のセットにおけるk番目のディジタル画像は、符号化し
てFjkで表される。この結果、j番目のデータベースデ
ィジタル画像のセットは、以下のように表すことができ
る。
タル画像は、一人の人物、1家族、又は関連ある人々の
あるグループに関連し、カスタマディジタル画像の集合
体を形成する。このクエリディジタル画像のセットは、
その画像の数が一定していなくてもよく、分あるいは時
間という比較的短時間に収集されたものでも、何ヶ月ま
たは何年という比較的長い時間にわたって収集したもの
でもよい。クエリディジタル画像において重要なのは、
個々のディジタル画像が、そのディジタル画像に撮られ
た人物又は複数の人物、あるいはそのような人物又は複
数の人物が撮影した人物又は複数の人物にとって重要な
1つ以上の活動に関連しているという事実である。クエ
リディジタル画像セットの個々のディジタル画像を添え
字iで識別すると、クエリディジタル画像のセットは以
下のように表される。
いるディジタル画像の数であり、Qiはセット中のi番
目の個別ディジタル画像を表す。
データベースディジタル画像の複数セットを受信する。
図4には、3セット(アイテム221,222,22
3)が示されているが、本発明は任意のセット数のデー
タベースディジタル画像を用いて実施できる。実際的な
理由で、セット数が利用可能なコンピュータメモリ量に
制限されることもあるが、開示される本発明は、データ
ベースディジタル画像のセット数またはデータベースデ
ィジタル画像セットに含まれるディジタル画像数に何ら
制約を与えるものではない。同様に、クエリディジタル
画像セットの個々のディジタル画像の数も制約されてい
ない。
ディジタル画像のセットを、データベースディジタル画
像の複数セットに関連して分析する。より詳細には、ク
エリディジタル画像セットの個々のディジタル画像が、
データベースディジタル画像の複数セットの個々のディ
ジタル画像に関連して分析される。
される数値解析の結果、変数γによって表されるデータ
ベース類似性テーブル252が得られる。ベータベース
類似性テーブル252は、データベース類似値の集合で
あり、1つのデータベース類似値はデータベースディジ
タル画像の各セットに対応する。すなわち、γjは、j
番目のデータベースディジタル画像セットのデータベー
ス類似値を表す。データベース類似性テーブル252に
含まれるデータベース類似値は、クエリディジタル画像
のセット220が、データベースディジタル画像の各セ
ットにどの程度類似するかを示す単一数値である。した
がって、データベース類似性テーブル252は、クエリ
ディジタル画像セット220を、データベースディジタ
ル画像の個々のセット221,222,223に関連づ
ける情報を含む。
は、データベース類似性テーブル252及びアイテム2
31,232,233で示される複数セットの配布材料
を受信する。配布材料の各セットは、上述のような配布
アイテムを1つ以上含む。本発明の好ましい実施形態で
は、データベースディジタル画像の各セットに対応する
配布材料の1セットを使用する。汎用制御プロセッサ4
0は、データベース類似性テーブル252を使用し、配
布材料のセットに含まれる配布アイテムをどのように配
布するかを決定する。データベース類似値を評価するこ
とにより、汎用制御プロセッサ40は1つ以上の配布材
料セットから配布アイテムを1つ以上選択し、これをカ
スタマのパーソナルコンピュータ150に送る。データ
ベース類似値γjの計算方法については、以下により詳
細に説明する。
の詳細]図4に示される汎用制御プロセッサ40を図5
により詳細に示す。データベース類似性テーブル252
は、配布コントローラ280により受信され、配布コン
トローラ280はデータベース類似性テーブル252に
含まれる個々のデータベース類似値を分析する。データ
ベース類似性テーブルγに含まれる個々のデータベース
類似値γjが降順にソートされ、変数Rで表されるデー
タベースランキングテーブル254を生成する。このラ
ンキングプロセスのインデックスは、数字テーブルに保
存される。この数字テーブルは、本質的に、データベー
スディジタル画像の個々のセットに対するクエリディジ
タル画像セットの相対的な類似性を示すルックアップテ
ーブルである。例えば、データベースディジタル画像が
5セット受信され、対応するデータベーステーブル25
2が
ランキングテーブル254は、
20によって生成されるデータベース類似値γjは、0
から100の数値範囲にある。高い数値ほど、高い類似
性を表す。本発明の好ましい実施形態では、クエリディ
ジタル画像セット220に対して最も高い類似性を有す
るデータベースディジタル画像のセットを選択する。よ
って、指数R1で表される、対応する最高データベース
類似値を有するデータベースディジタル画像のセットが
選択され、この選択されたデータベースディジタル画像
のセットに対応する配布材料のセットがさらに選択され
る。
のディスプレイ画面には、1つ又は1つ以上の配布アイ
テムが表示できる。ところが、選択された配布材料のセ
ットには、パーソナルコンピュータが一度に表示できる
以上の配布アイテムが含まれる場合もある。そこで、本
発明の好ましい実施形態では、パーソナルコンピュータ
150に送信する配布アイテムを個々に選択すること
で、選択された配布材料のセット全体を循環させてい
る。例えば、パーソナルコンピュータ150が2つの配
布アイテムを表示する能力を備え、選択された配布材料
のセットには10の配布アイテムが含まれる場合、まず
最初の2つの配布アイテムを選択して送信し、パーソナ
ルコンピュータ150に表示する。5秒後、次の2つの
配布アイテムすなわち3番目及び4番目の配布アイテム
を選択、送信し、パーソナルコンピュータ150に表示
する。このプロセスを、選択された配布アイテムのセッ
トに含まれる個々の配布アイテムがすべて送信されて表
示されるまで繰り返す。
を別の方法で表示しても本発明を効果的に実施できるこ
とがわかるであろう。例えば、配布材料のセットの決定
後、個々の配布アイテムをランダムに選択してもよい。
このタイプの情報表示では、ディスプレイ画面を見てい
る人にとって、単調さが解消する。なお、配布アイテム
の表示時間は、完全にディジタルイメージングアプリケ
ーションのデザイナ次第である。
の配布材料から配布アイテムを表示する。本実施形態で
は、2つ以上の配布材料のセットから個々の配布アイテ
ムを選択し、送信し、パーソナルコンピュータ150上
に表示する。この場合、関連する、2つの最高データベ
ース類似値を有する2つのデータベースディジタル画像
セットが選択される(指数R1及びR2で示され
る。)。パーソナルコンピュータ150が一度に2つの
配布アイテムを表示する能力を備えていれば、第1の配
布材料セットから1配布アイテムをパーソナルコンピュ
ータディスプレイのある部分に表示し、第2の配布材料
セットから1配布アイテムを別の部分に表示する。配布
材料の各セットにおいて、既に説明したように個々の配
布アイテムをそれぞれ循環させる。
上の配布材料のセットから選択した配布アイテムを同時
に表示し、それらの配布アイテムをパーソナルコンピュ
ータ150に表示する時間の長さを変える。本実施形態
では、2つ以上の配布材料のセットから個々の配布アイ
テムを選択し、送信し、パーソナルコンピュータ150
上に表示する。パーソナルコンピュータ150の配布ア
イテム表示専用の各部分に対し、関連する最高データベ
ース類似値を有する配布材料のセットから1配布アイテ
ムを選択し(R1)、送信し、表示する。これらの配布
アイテムは8秒間表示される。8秒経過後、次に高い関
連データベース類似値を有する配布材料のセットから1
配布アイテムを選択し(R2)、送信し、3秒間表示す
る。このようにして、配布アイテムの表示時間を対応す
るデータベース類似値に関連づける。この工程を、すべ
ての配布材料セットが選択されるまで繰り返す。
を変化させる他の構成によっても、本発明が効果的に使
用できることが理解できよう。例えば、配布材料のセッ
トをランダムに選択し、そのセット中の個々のアイテム
を順次循環させる。配布アイテムが選択される度に、そ
れをパーソナルコンピュータのディスプレイに表示する
時間を、対応するデータベース類似値によって決定す
る。なお、上述のように、配布アイテムを表示する実際
の長さは、ディジタルイメージングアプリケーションの
デザイナに完全に依存する。
れるイメージング可能コンピュータ100の一部である
ディジタル画像プロセッサ20を、図6により詳細に示
す。画像類似性計算部240は、アイテム221,22
2,223によって示される複数のデータベースディジ
タル画像セット、及びクエリ画像のセット220を受信
し、データベースディジタル画像の各セットに含まれる
各ディジタル画像Fjkに関し、クエリ画像セット220
に含まれる各ディジタル画像Qiの数値分析を行う。画
像類似性計算部240によって実行される数値分析は画
像対画像の比較、すなわち2つのディジタル画像の比較
であり、この結果、各2画像比較に対し、画像類似値と
呼ばれる単一の数値が得られる。よって、クエリディジ
タル画像のセットにはM個のディジタル画像が含まれ、
j番目のデータベースディジタル画像のセットにはNj
個のディジタル画像が含まれているので、実行される画
像対画像比較の総数Ntは、以下の式より求められる。
と、j番目のデータベースディジタル画像セットのk番
目のディジタル画像との画像対画像比較の結果として求
められる画像類似値は、βijkによって表される。
似性計算部240からの画像類似値を受信し、データベ
ース類似値テーブルを求める。各データベース類似値
は、クエリディジタル画像のセットがデータベースディ
ジタル画像のあるセットに類似する程度に関連する単一
の数値である。既に説明したように、変数γjによりj
番目のデータベースディジタル画像のセットに対応する
データベース類似値を表す。
により計算できる。本発明の好ましい実施形態では、画
像類似値の算術平均を利用してデータベース類似値を求
めている。γjの計算式は、平均類似値を表す以下の式
により表される。
合を用いてデータベース類似値を計算する。j番目のデ
ータベースディジタル画像セットに対応する画像類似値
βijk(値の数はMNj個)が数字順に並べられる。5つ
の最も高い画像類似値のみの平均によってデータベース
類似値を計算する。なお、当業者であれば、5つ以外の
最高画像類似値を用いても本発明が実施可能であること
が理解できる。最も高い画像類似値のみを使用すること
により、データベース類似値の数値が上がる。データベ
ース類似値の計算に寄与するのはこのように少数のディ
ジタル画像だけなので、データベースディジタル画像の
所与のセットが多数のディジタル画像を含んだとしても
問題はない。
像類似値生成方法を用いて実施できる。本発明の実施に
要求されるディジタル画像処理方法の不可欠な要素は、
ディジタル画像のデータベース及びクエリディジタル画
像に対する1つ以上の画像特性の計算及びこの計算され
た画像特性の類似性に対する単一基準の計算方法であ
る。例えば、本発明は以下の米国特許に開示され、以下
の文献に記載された種々の方法を適用して実施できる。
すなわち、米国特許第5,933,823号(カレン
他);第5,987,456号(ラベラ他);第5,8
19,288号(デボネット);第5,832,131
号(チュー他);第5,579,471号(バーバー
他)、及びM.J.スウェイン及びD.H.バラード著
「カラーインデックシング、インターナショナルジャー
ナル、コンピュータバージョン」(1991年7巻、1
号、11〜32ページ);及びG.パス他著「カラーコ
ヒーレンスベクトル(color coherence vectors)を用
いた画像の比較」ACMマルチメディア会議議事録(1
996年)であり、これらすべての方法は計算された1
つ以上の画像特性に基づく画像類似性判断方法である。
ら成る、描写的特性(depictive feature)ベースの画
像比較システムを提供する。第1の段階は画像特性表現
段階(image feature representation phase)と呼ば
れ、システムによって管理される複数のデータベース画
像セット中の各ディジタル画像を処理して、その描写的
特性ベースの表現を自動的に抽出する。画像特性表現及
びディジタル画像がデータベースに保存され、この画像
特性表現が将来における描写的特性ベース画像比較に組
み込まれるように検索インデックスが更新される。次
に、画像比較段階と呼ばれる第2の段階は、クエリディ
ジタル画像セットに含まれるディジタル画像と、データ
ベースディジタル画像のセットに含まれるディジタル画
像との比較に関する。なお、画像色空間は、保管及び読
み出し段階のための、予め定められた又は所望の任意の
色空間に変換することができる。以下に示す実施形態の
詳細は、任意の色空間(例えば、RGB、YCC、HS
V、CIE色空間など)のディジタル画像に適用でき
る。また、いずれの段階においても、ディジタル画像を
所望の圧縮ダイナミックレンジに変換して、コンピュー
タコスト及び記憶容量の要件を低減することができる。
段階の主要ステップが図7に示されている。各入力ディ
ジタル画像を分析し、その表現を構成する。1つのディ
ジタル画像は、色、テクスチャ及び色の合成など、複数
の異なる描写的特性に関して表現できる。図7を参照す
ると、ステップS10において、描写的特性fをまず選
択する。好ましい実施形態では、色とテクスチャのいず
れかが選択可能である。次に、ステップS20におい
て、ディジタル画像を分析し、特性fに関して知覚的に
重要なディジタル画像成分を識別する。ディジタル画像
の描写的特性がそのディジタル画像に対する観察者の知
覚を支配している場合、その描写的特性を知覚的に重要
な描写的特性と考える。例えば、大きな赤い花の画像に
おいては、赤色が知覚的に重要な色特性である。続い
て、ステップS30において、選択された特性の、検出
された知覚的に重要な成分に関して、該ディジタル画像
を表現する。そして、ステップS40において、入力デ
ィジタル画像とその表現を画像データベースに加える。
ベースの表現は、そのディジタル画像に存在する知覚的
に重要な色に関連する。ディジタル画像の知覚的に重要
な色を識別する好ましいアプローチは、あるディジタル
画像において相当の大きさを有する色の統一された(統
一色の:coherently colored)領域が知覚的に重要であ
るという仮定に基づいている。よって、相当の大きさを
有する統一色の領域の色を、知覚的に重要な色と考え
る。好ましい実施形態では、ディジタル画像の知覚的に
重要な色を識別するための2つの異なる方法を提供す
る。これら2つの方法のうち1つを選択してデータベー
スを設定する。第1の方法の主要なステップを図8に示
す。ステップS100において、全ての入力画像に対
し、その統一色ヒストグラムをまず計算する。ディジタ
ル画像の統一色ヒストグラムは関数であり、H(c)=
統一色領域に属する色cの画素数、である。ここで、c
はディジタル画像のダイナミックレンジにおける有効色
である。ある画素は、その色が、予め特定された最少数
の隣接画素の色と同じまたは類似している場合に、統一
された色の領域(統一色領域)に属すると考えられる。
この実施例では、統一性に対して2つの定義を有する。
すなわち(1)最低2つの一致したまたは類似する隣接
画素であり、かつ(2)全ての近隣画素が一致または類
似していることである。画像保管及び読出しのいずれの
段階においても、全ディジタル画像の分析に同じ統一性
の定義を用いなければならない。対応するチャネル値が
すべて等しければ2つの色は等しいと考える。2つの色
c1とc2は、その差diff(c1,c2)がユーザの特
定したしきい値CTより小さければ類似していると考え
る。好ましいCTの値は、diff(c1,c2)の最大
可能値の15%から20%の範囲である。複数の異なる
色差計算方法を使用できるが、好ましい実施形態では、
2つのLチャネル色を比較する次の3つの方法のうちの
一つを、システムの初期化において選択できる。
cxとcyは類似していると考えられる。ここで、ck iは
i番目のカラーディジタル画像チャネルchの値を示
し、Ch iはi番目のカラーディジタル画像チャネル値の
差に対して予め特定されたしきい値を示す。
<CTであれば、色cxとcyは類似していると考えられ
る。ここで、ck iはi番目のカラーディジタル画像チャ
ネルc hの値を示し、WIはi番目のカラーディジタル画
像チャネルの重み(weight)を表し、CTは予め特定さ
れたしきい値を表す。
│<CTであれば、色cxとcyは類似していると考えら
れる。ここで、ck iはi番目のカラーディジタル画像チ
ャネルchの値を示し、WIはi番目のカラーディジタル
画像チャネルの重みを表し、CTは予め特定されたしき
い値を表す。
ヒストグラムを分析し、知覚的に重要な色を識別する。
H(k)>T(Tはしきい値)であれば、色kは知覚的
に重要な色である。好ましい実施においては、Tは画像
中の総画素数の0.5%である。次のステップ120に
おいて、ディジタル画像をその知覚的に重要な色に関し
て表現する。すなわち、ディジタル画像Iを次式のベク
トルにより表現する。
色の数であり、Z=ΣS iであり、Ciはディジタル画像
Iのi番目の知覚的に重要な色の色値であり、S iはH
(Ci)と画像Iにおける総画素数の割合である。
する第2の方法の主要ステップを図9に示す。この方法
は第1の方法を拡張したものである。この場合、ステッ
プS200において、第1の方法のステップS100及
びS110を実行し、知覚的に重要な色を検出する。こ
うして求めた知覚的に重要な色のセットは、知覚的に重
要な色の初期集合であるとされ、これを洗練することに
より、支配的な知覚的に重要な色の集合を求める。洗練
ステップでは、まず、ステップS210において、知覚
的に重要な色の初期集合に属する色の画素だけで構成さ
れた連結成分(connected components)を見つける。こ
れは、知覚的に重要な色の画素のみを考慮し(すなわ
ち、これらの画素を目標画素と考え)、他の画素を無視
して(すなわち、残りの画素を背景画素と考え)、入力
ディジタル画像に対して連結成分分析を行うことにより
達成される。知覚的に重要な色(すなわち、知覚的に重
要な色の初期集合の色)を有する2つの隣接画素(4ま
たは8隣接画素)は、色が一致又は類似する場合にの
み、連結していると考える。ステップ220において、
このように求めた連結成分を分析し、支配的な知覚的に
重要な色の集合を決定する。所定のしきい値TSよりサ
イズの大きい連結成分は、支配的な知覚的重要セグメン
トであるとする。本実施例では、TS はディジタル画像
における総画素数の0.25%である。支配的な知覚的
に重要なセグメントに属する色により、画像特性表現の
ための、知覚的に重要な色の集合が形成される。最終ス
テップS230において、ディジタル画像を、その知覚
的に重要な色に関して表現する。なお、知覚的に重要な
色のこの最終集合は、知覚的に重要な色の初期集合の部
分集合である。
像特性表現方法に対し、本発明の範囲において複数の変
形が可能であることが理解できよう。1つの直接的な拡
張方法は、2つの表現方法を組み合わせることである。
すなわち、支配的な知覚的に重要なセグメントに色が属
するどうかを示すタイプにより、知覚的に重要な各色を
認定する(qualify)ことにより方法1の表現を拡張す
る。
チャ特性ベースの表現は、ディジタル画像における、ラ
ンダムなまたは決まった構造の、知覚的に重要なテクス
チャに関連する。ディジタル画像の知覚的に重要なテク
スチャを識別する好ましいアプローチは、知覚的に重要
な各テクスチャは同一の色遷移を何度も繰り返すことに
より構成されるという仮定に基づく。したがって、頻繁
に発生する色遷移を識別し、そのテクスチャ特性を分析
することにより、知覚的に重要なテクスチャを抽出して
表現できる。ディジタル画像の知覚的に重要なテクスチ
ャを識別するための好ましい実施形態が図10に示され
る。全ての入力ディジタル画像に対し、まず第1のステ
ップS300において、画像中に存在する色遷移を全て
検出する。現在の画素(c)と前の画素(p)との間の
色遷移は、色値の変化dist(c,p)が所定のしき
い値thより大きい場合に起こる。好ましいthの値
は、dist(c,p)の最大可能値の15%から20
%の範囲である。色遷移が発生した画素を色遷移画素と
呼ぶ。本実施形態においては、2つのLチャネル色を比
較する次の2つ方法の一つを選択し、色値の変化、すな
わち色遷移を判定することができる。
0 又は、│c.ch1−p.ch1│≧th.ch1 ・
・・又は│c.chi−p.chi│≧th.chi
(0≦i≦L)であれば、現在の画素は色遷移画素であ
ると識別される。ここで、c.chiは現在の画素のi
番目のカラーディジタル画像チャネル値であり、p.c
hiは前の画素のi番目の色チャネル値であり、th.
chiはi番目のカラーディジタル画像チャネルに対す
る所定差のしきい値を表す。
は色遷移画素であると識別される。
ジタル画像チャネル値を表し、p.chiは前の画素の
i番目のカラーディジタル画像チャネル値であり、th
は所定の色差しきい値を表す。
グレーレベル又は明るさの遷移として定義できることが
当業者には理解できよう。また、当業者であれば、本発
明の範囲において、色遷移の存在を判定する他の色差測
定法(metrics)も使用できることが認識できるであろ
う。ディジタル画像を水平方向及び垂直方向にスキャン
し、上記のいずれかの方法により色遷移画素をすべて識
別する。各色遷移画素は色遷移を示し、各色遷移は、そ
の色遷移を形成する前の及び現在の画素色値に対応する
2つの色(c1,c2)によって表される。次に、第2
のステップS310において、頻繁に発生する色遷移を
全て識別する。c1及びc2を2次元とする2次元の色
遷移ヒストグラムを構成し、前のステップにおいて検出
した複数の色遷移の頻度を記録する。本発明の好ましい
実施形態では、色遷移ヒストグラムを構成して位置づけ
る(populating)3つのオプションが提供される。第1
のオプションは、全体色遷移(global color transisio
n)ヒストグラムの構成に関連し、ここでは画像におい
て検出された全ての色遷移を配置する。そして、所定の
最低発生頻度を上回る、色遷移ヒストグラムの全てのピ
ークを検出し、これを頻繁に発生する色遷移と識別す
る。ここで、全体色遷移ヒストグラムにおいて、頻繁に
発生する色遷移を識別するための好ましい最低頻度しき
い値は、ディジタル画像中の総画素数の0.25%であ
る。第2のオプションでは、ディジタル画像を互いに重
複しない部分に分割してモザイク配列し、部分遷移ヒス
トグラムの集合を構成する。各ヒストグラムには、対応
する画像部分で検出された色遷移を配置する。本実施例
では、24の部分ヒストグラムの集合が構成される。全
ての部分遷移ヒストグラムにおいて、所定の最低発生頻
度しきい値を上回る全てのピークを検出し、これを頻繁
に発生する色遷移と識別する。部分色遷移ヒストグラム
の場合、頻繁に発生する色遷移を識別するための好まし
い最低頻度しきい値は各モザイク部分における総画素数
の2.5%である。最終オプションは、上記2つの方法
の組み合わせであり、全体及び部分ヒストグラムの両方
を構成し、全てのピークを上記の方法で識別する。これ
らのピークは最も頻繁に発生する色遷移を表し、画像に
おける知覚的に重要なテクスチャに相当する。次に第3
のステップS320において、頻繁に発生する色遷移の
テクスチャ特性分析により、知覚的に重要なテクスチャ
を表現する。頻繁に発生する各色遷移に対し、画像全体
におけるこの特性色遷移の全ての発生を検出し、スケー
ル及び傾斜値を計算する。本実施形態においては、スケ
ールは、色c1と色c2の発生の間において、画素に関
連する距離として計算する。傾斜は、tan-1(gy/
gx)として計算される。ここで、gy及びgxは、それ
ぞれ、色遷移における垂直及び水平方向のエッジ情報で
あり、ソーベルオペレータ(Sobel operator)を用いて
計算される。なお、本発明の範囲を超えることなく、ス
ケール及び傾斜値を計算する他の技術を使用してもよ
い。各発生に対して計算されたスケール及び傾斜の値に
より、スケール傾斜ヒストグラムを構成する。全ての発
生を計算後、スケール傾斜ヒストグラムを用いて、知覚
的に重要なテクスチャのテクスチャ特性を分析する。ラ
ンダムなテクスチャの場合、スケール傾斜ヒストグラム
はランダムに分布する。一方、決まった構成を有するテ
クスチャの場合は、スケール傾斜ヒストグラムにおい
て、スケール、傾斜またはそのいずれにもかなりシャー
プなモードが検出できる。ランダムテクスチャに対応す
る色遷移の場合、スケール傾斜ヒストグラムを用いて、
スケール傾斜平均ベクトル(scale-gradient mean vect
or)及びスケール傾斜分散行列(covariance matrix)
が計算される。決まった構成を有するテクスチャに対応
する色遷移では、対応するヒストグラムモードを用い
て、スケール傾斜平均ベクトル及びスケール傾斜分散行
列が計算される。これらの特性を用いて、知覚的に重要
なテクスチャを表現する。次に、最終ステップS330
において、ディジタル画像をその知覚的に重要なテクス
チャに関連して表現する。ディジタル画像Iは、次式の
ベクトルによって表される。
チャの数であり、Z=ΣSiであり、C1 i及びC2 iは、
i番目の知覚的に重要なテクスチャに対応する頻繁に発
生する色遷移の色値であり、Piはi番目の知覚的に重
要なテクスチャのテクスチャタイプであり、ランダム、
スケール一定(scale-structured)、傾斜一定(gradie
nt-structured)、またはスケール傾斜一定のいずれか
の可能な値を有する。Mi及びViは、それぞれ、集合中
のi番目の知覚的に重要なテクスチャのスケール傾斜平
均ベクトル及びスケール傾斜分散行列である。Siは、
i番目の知覚的に重要なテクスチャに対応する頻繁に発
生する色遷移の全ての発生に関する全スケール値を累積
することにより求められる、i番目の知覚的に重要なテ
クスチャの全面積範囲(total area coverage)であ
る。当業者であれば、他のテクスチャ特性又はITの部
分集合及びスーパーセットを用いても知覚的に重要なテ
クスチャが表現できることが理解できるだろう。
像特性表現が生成されると、次のステップにおいて、デ
ィジタル画像及び関連する表現を、対応するデータベー
ス及び適当なインデックス構造に挿入する。当業者に
は、データベース組織全体が、その基礎となるデータベ
ース/ファイル管理システムに依存していることが理解
できるだろう。本実施形態においては、ディジタル画像
は画像データベースに存在する。画像特性表現(メタデ
ータ)は、データベースに保存されるとともにインデッ
クス構造にも保存されている。知覚的に重要な特性表現
に加え、画像特性表現(メタデータ)はさらに、ディジ
タル画像ファイルに対する参照として機能する画像識別
子/ロケータを含む。画像名/IDがその表現のロケー
タとして機能する。なお、現実施形態では、色とテクス
チャの表現は別々の構成にまとめられているが、これら
は共通のディジタル画像を共有している。
ップを、データベースディジタル画像の各セットにおけ
る全ディジタル画像に対して繰り返す。これにより、新
たなデータベースディジタル画像のセットが含まれない
限り変更の必要がない、ディジタル画像及びメタデータ
のデータベースを表現する。本発明は、クエリディジタ
ル画像の異なる多数のセットによっても実施できるが、
クエリディジタル画像の各セットにおいて、すべてのデ
ィジタル画像に対して、図7、図8、図9及び図10に
示したステップが繰り返される。クエリ画像の各セット
に対し、別々のデータベース及びインデックス構造が維
持される。よって、本発明は、クエリディジタル画像の
多数のセットとともに使用でき、かつデータベースディ
ジタル画像の同じセット、及び対応するデータベース及
びインデックス構造を使用できる。
リディジタル画像セット中の各クエリディジタル画像を
個別に分析する。そして、クエリディジタル画像とデー
タベースディジタル画像との比較に対して、画像類似値
を計算する。この処理を、クエリ画像すべてに対して繰
り返す。ここで、クエリディジタル画像とデータベース
ディジタル画像との類似値を計算する前に、データベー
ス画像はクエリ画像に関してある制約を満たさなければ
ならない。本発明の好ましい実施形態においては、知覚
的に重要な特性に関するこれらの制約とは、(1)デー
タベース画像の特性に存在する、最小数の知覚的に重要
なクエリディジタル画像の特性、(2)クエリディジタ
ル画像とデータベースディジタル画像とに共通する、知
覚的に重要な特性の全体サイズの最低パーセンテージ、
及び(3)最初の2つの制約の論理的な組み合わせであ
る。これを達成するために、適当なインデックスサーチ
をまず行い、クエリディジタル画像の1つ以上の知覚的
に重要な特性(または、主要な知覚的に重要な特性に基
づくインデックスが用いられる場合には主要な知覚的に
重要な特性)を含むデータベースディジタル画像を選択
する。選択された各データベースディジタル画像の表現
が分析され、上記の特定サイズ制約を満たしているかを
判断し、制約を満たしているデータベースディジタル画
像に対して、クエリディジタル画像に対する類似性の基
準、すなわち画像類似値を計算する。上記の手順の一部
として選択されないデータベースディジタル画像につい
ては、クエリディジタル画像とデータベースディジタル
画像との比較によって知覚的に重要な特性に関する制約
が満たされなかったため、画像類似値0を与える。
主要なステップが図12に示される。クエリディジタル
画像が与えられると、ステップS500に示されるよう
に、その所望される表現(すなわち色又はテクスチャベ
ース)が計算される。次に、ステップS510におい
て、データベース及び関連するインデックス構造を検索
して、潜在的に検索基準を満たすデータベースディジタ
ル画像の候補を見つける。これは、インデックス構造を
検索し、(ステップS520に示されるように)クエリ
ディジタル画像と共通する知覚的に重要な特性(主要な
知覚的に重要な特性ベースの表現が用いられる場合には
主要な知覚的に重要な特性)を少なくとも1つ含むディ
ジタル画像を識別することによって達成される。好まし
いインデックス構造の場合には、データベースディジタ
ル画像候補は、すべての知覚的に重要な(または、主要
な知覚的に重要な)特性fpに対してインデックス構造
を検索し、知覚的に重要な(又は主要な知覚的に重要
な)特性として特性fpを有するデータベースディジタ
ル画像を検出することにより実現する。検索/読出し制
約を満たす各データベースディジタル画像に対し、画像
類似値を計算する。一方、検索/読出し制約を満たさな
いデータベースディジタル画像に対しては、画像類似値
0を付与する。
又は主要な知覚的に重要な色に基づくインデックス構造
を検索し、クエリディジタル画像の知覚的に重要な(又
は主要な知覚的に重要な)色を少なくとも1つ、その表
現中に含むデータベースディジタル画像を見つける。類
似性の基準、すなわちステップS520に示された画像
類似値の計算の好ましいオプションは以下の通りであ
る:
ィジタル画像dとで一致する色の数、Si q及びSi dはそ
れぞれ画像q及びdのi番目の一致色のサイズ属 関数、Ωq及びΩdはディジタル画像q及びdの対応する
知覚的に重要な色のサイズ属性値の集合である。
的に重要な(又は主要な知覚的に重要な)テクスチャに
基づくインデックス構造を検索し、いずれもがクエリデ
ィジタル画像の知覚的に重要な(又は主要な知覚的に重
要な)テクスチャを少なくとも1つ、その表現中に含む
データベースディジタル画像を見つける。その結果得ら
れたデータベースディジタル画像候補のセットを、クエ
リディジタル画像とさらに比較し、クエリ画像に対する
候補のテクスチャベースの類似性を判断する。クエリデ
ィジタル画像とディジタル画像候補の類似性に対する好
ましい基準は、一致または共通する知覚的に重要なテク
スチャの類似性、ならびにこの一致/共通する知覚的に
重要なテクスチャによる、クエリディジタル画像及びデ
ィジタル画像候補における全体的な面積範囲に依存す
る。2つの知覚的に重要なテクスチャは、一致する色値
C1,C2及びその表現中に同一のテクスチャ特性値P
(ランダム又は一定構造)を有すれば、一致/共通して
いる。好ましい実施形態においては、各一致/共通する
知覚的に重要なテクスチャに対し、一致する知覚的に重
要なテクスチャの類似性、すなわち画像類似値が、Eucl
idean(ユークリッド)距離とマハラノビシュ(Mahalan
obis)距離のいずれかを用いて、スケール傾斜平均ベク
トルM及びスケール傾斜分散行列Vから計算される。な
お、本発明の範囲において、他の距離関数を使用しても
よい。候補画像とクエリディジタル画像の全体的な画像
類似スコアは、ディジタル画像におけるテクスチャの相
対的な面積範囲(area coverage)を乗算した、一致す
る知覚的に重要なテクスチャすべての類似値の和として
決定する。なお、一般的に、マハラノビシュ(Mahalono
bis)距離は対称的な距離ではなく、分布Aから分布B
までの距離は、分布Bから分布Aまでの距離とは異な
る。さらに、相対的な面積範囲Sは、画像候補とクエリ
ディジタル画像とで異なる。したがって、一般に、類似
性の計算から2つの画像類似値が得られる。すなわち、
1つは候補画像に対するクエリ画像の類似値Sq-cであ
り、もう1つは候補画像のクエリ画像に対する類似値S
c-qである。好ましい実施形態は、単一の画像類似値を
得るために5つの異なるオプションを提供する。最初の
2つのオプションでは、Sq-cとSc-qのいずれかを最終
画像類似値とし、第3のオプションはSq-cとSc-qの最
大値をとり、第4のオプションはSq-cとSc-qの平均値
を取り、第5のオプションはSq-cとSc-qの積を取る。
本発明の範囲を超えることなく、別の組み合わせ方法を
使用することもできる。
ックス構造の検索及び類似性の計算を含む、本発明の好
ましい実施形態に記載された画像類似値の計算により、
ゼロ値を有する多くのクエリ/データベースディジタル
画像比較が得ることができる。本発明の別の実施形態に
おいては、インデックス構造を省略することができる。
この実施形態では、すべてのデータベース画像がさらな
る評価のために選択される。式(10)及び(11)で
示される好ましい実施形態と同様の画像類似値計算方法
が使用される。
の類似性基準を使用できることがわかるであろう。
上の記憶媒体を含むことができる。例えば、磁気ディス
ク(フロッピーディスクなど)又は磁気テープなどの磁
気記憶媒体、光ディスク、光学テープまたは機械読み取
り可能なバーコードなどの光学記憶媒体、ランダムアク
セスメモリ(RAM)又は読み取り専用メモリ(RO
M)などのソリッドステート電子記憶装置、または本発
明による方法を実施するための指示を有するコンピュー
タプログラムを記憶するために使用される他の任意の物
理的装置又は媒体を含んでもよい。
に、カスタマのディジタル画像の画像内容を分析するこ
とによってダイレクト広告に関する賢明な判断を自動的
に行う機会を提供するという効果を有する。
用して、材料がユーザにとって関心ある可能性を効果的
かつ効率的に判断できるという別の効果を有する。本発
明の特性として、このような材料には、製品またはサー
ビスプロモーション材料を含むことができる。
ョン材料のディスプレイを示す写真図である。
ータの通信ネットワークを示すブロック図である。
ッサと汎用制御プロセッサを含む、通信ネットワークを
介して接続された2つコンピュータを示すブロック図で
ある。
タを示すブロック図である。
である。
ック図である。
図である。
な色に関して計算するステップを示すブロック図であ
る。
な色に関して計算する第2の方法のステップを示すブロ
ック図である。
要なテクスチャに関して計算するステップを示すブロッ
ク図である。
ースを組織化するために使用される概念的インデックス
構造を示すブロック図である。
に基づき画像類似値を計算するステップを示すブロック
図である。
セッサ、30 画像出力装置、40 汎用制御プロセッ
サ、46 オフラインメモリ装置、110 通信コンピ
ュータネットワーク、201 アクティブ画像、21
0,211,212 配布材料アイテム、220 比較
(クエリ)ディジタル画像のセット、221,222,
223 データベースディジタル画像のセット、23
1,232,233 配布材料のセット、240 画像
類似性計算部、250 画像データベース評価部、25
2 データベース類似値テーブル。
Claims (4)
- 【請求項1】 1つ以上のユーザの画像を分析して、表
示のためにユーザに送信可能な材料に対するユーザの関
心の可能性を判断する方法であって、 a)ユーザから1つ以上の画像を受け取るステップと、 b)それぞれが異なる材料のセットに対応する複数の画
像を、データベースから受信するステップと、 c)前記1つ以上のユーザ画像と、受信したデータベー
ス画像とを分析し、あるセット中の材料にユーザが関心
ある可能性を判断するステップと、 d)ユーザに対する関心の可能性に基づき、1つ以上の
材料のセットを選択するステップと、 を含む方法。 - 【請求項2】 1つ以上のユーザの画像を分析して、材
料に対するユーザの関心の可能性を判断し、そのような
材料をユーザに送る方法であって、 a)ユーザから1つ以上の画像を受け取るステップと、 b)それぞれが異なる材料のセットに対応する複数の画
像を、データベースから受信するステップと、 c)1つ以上のユーザ画像中の画素と受信したデータベ
ース画像中の画素とを用いて、前記1つ以上の画像内の
情報を、あるセット中の材料に関連する前記受信したデ
ータベース画像内の情報と比較し、あるセット中の材料
にユーザが関心のある可能性を判断することにより、前
記1つ以上のユーザ画像と受信したデータベース画像と
を分析し、1つのセット中の材料にユーザが関心のある
可能性を判断するステップと、 d)ユーザに対する関心の可能性に基づき、1つ以上の
材料のアイテムを選択して送るステップと、 を含む方法。 - 【請求項3】 1つ以上のユーザの画像を分析して材料
に対するユーザの関心の可能性を判断し、そのような材
料をユーザに送る方法であって、 a)ユーザから1つ以上の画像を受け取るステップと、 b)前記1つ以上のユーザ画像中の画素を、1つ以上の
セットの材料に関連する画素と比較し、あるセット中の
材料にユーザが関心ある可能性を判断することにより、
前記1つ以上のユーザ画像内の画素を用いて、前記1つ
以上の画像を分析するステップと、 c)1つ以上の材料のアイテムを、ユーザに対するその
関心の可能性をに基づき選択して送るステップと、 を含む方法。 - 【請求項4】 1つ以上のユーザの画像を分析して、材
料に対するユーザの関心の可能性を判断し、そのような
材料をユーザによる表示のために送る方法であって、 a)ユーザにより1つ以上の画像を選択するステップ
と、 b)1つ以上のユーザの画像中の画素を用いて前記1つ
以上の画像を分析するステップであって、画像類似性の
計算を実行することにより、前記1つ以上のユーザ画像
中のかかる画素に対応する情報を、1つ以上のセットの
材料に関連する画素に対応する情報と比較し、あるセッ
ト中の材料にユーザが関心ある可能性を判断することに
より、前記1つ以上の画像を分析するステップと、 c)1つ以上の材料のアイテムをユーザに対するその関
心の可能性に基づき選択し、選択された材料を表示すべ
くユーザに送るステップと、 を含む方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/576,558 | 2000-05-22 | ||
US09/576,558 US6785421B1 (en) | 2000-05-22 | 2000-05-22 | Analyzing images to determine if one or more sets of materials correspond to the analyzed images |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2002049642A true JP2002049642A (ja) | 2002-02-15 |
Family
ID=24304923
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001152315A Pending JP2002049642A (ja) | 2000-05-22 | 2001-05-22 | 画像を分析し、分析された画像に対応する1つ以上の材料のセットを決定する方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US6785421B1 (ja) |
EP (1) | EP1164506A3 (ja) |
JP (1) | JP2002049642A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100363943C (zh) * | 2004-06-21 | 2008-01-23 | 南开大学 | 基于色彩内容及分布的彩色图像匹配分析方法 |
JP2009015658A (ja) * | 2007-07-05 | 2009-01-22 | Yahoo Japan Corp | 広告情報の呈示方法及び呈示装置 |
JP2011523744A (ja) * | 2008-05-29 | 2011-08-18 | イーストマン コダック カンパニー | デジタル画像記録からの関心対象の評価 |
JP2014071371A (ja) * | 2012-09-28 | 2014-04-21 | Dainippon Printing Co Ltd | 広告特定情報生成装置、広告特定情報生成方法、広告特定情報生成プログラム及び電子紙面表示装置 |
Families Citing this family (89)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
US7051086B2 (en) * | 1995-07-27 | 2006-05-23 | Digimarc Corporation | Method of linking on-line data to printed documents |
US7930546B2 (en) * | 1996-05-16 | 2011-04-19 | Digimarc Corporation | Methods, systems, and sub-combinations useful in media identification |
US7904187B2 (en) | 1999-02-01 | 2011-03-08 | Hoffberg Steven M | Internet appliance system and method |
US7366682B1 (en) * | 1999-05-07 | 2008-04-29 | E.Piphany, Inc. | System, method, and code for providing promotions in a network environment |
US20030040985A1 (en) * | 1999-08-25 | 2003-02-27 | Kensaku Yukino | Digital contents automatic preparation system and recording medium with automatically prepared digital contents recorded thereon |
US20040208476A1 (en) * | 2000-02-11 | 2004-10-21 | Manowitz Neal Jacob | Digital camera system |
WO2002051063A1 (en) * | 2000-12-21 | 2002-06-27 | Digimarc Corporation | Methods, apparatus and programs for generating and utilizing content signatures |
US20030078837A1 (en) * | 2001-10-18 | 2003-04-24 | Eastman Kodak Company | Method for providing advertisement related to specific content contained on a digital disc on the disc |
US20030133017A1 (en) * | 2002-01-16 | 2003-07-17 | Eastman Kodak Company | Method for capturing metadata in a captured image |
JP2004334339A (ja) * | 2003-04-30 | 2004-11-25 | Canon Inc | 情報処理装置及び情報処理方法ならびに記憶媒体、プログラム |
US20050018216A1 (en) * | 2003-07-22 | 2005-01-27 | International Business Machines Corporation | Apparatus and method to advertise to the consumer based off a digital image |
US20050076004A1 (en) * | 2003-09-30 | 2005-04-07 | Hiroyuki Yanagisawa | Computer, database generating method for electronic picture book service, photographed subject information providing method, recording medium, and computer data signal |
US20050091232A1 (en) * | 2003-10-23 | 2005-04-28 | Xerox Corporation | Methods and systems for attaching keywords to images based on database statistics |
US7469262B2 (en) * | 2003-12-29 | 2008-12-23 | Oracle International Corporation | Customizable metadata merging framework |
US7707039B2 (en) | 2004-02-15 | 2010-04-27 | Exbiblio B.V. | Automatic modification of web pages |
US8442331B2 (en) | 2004-02-15 | 2013-05-14 | Google Inc. | Capturing text from rendered documents using supplemental information |
US20060041484A1 (en) | 2004-04-01 | 2006-02-23 | King Martin T | Methods and systems for initiating application processes by data capture from rendered documents |
US7812860B2 (en) | 2004-04-01 | 2010-10-12 | Exbiblio B.V. | Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device |
US8799303B2 (en) | 2004-02-15 | 2014-08-05 | Google Inc. | Establishing an interactive environment for rendered documents |
US10635723B2 (en) | 2004-02-15 | 2020-04-28 | Google Llc | Search engines and systems with handheld document data capture devices |
US8521772B2 (en) | 2004-02-15 | 2013-08-27 | Google Inc. | Document enhancement system and method |
US20070300142A1 (en) | 2005-04-01 | 2007-12-27 | King Martin T | Contextual dynamic advertising based upon captured rendered text |
US20060098900A1 (en) | 2004-09-27 | 2006-05-11 | King Martin T | Secure data gathering from rendered documents |
US20080313172A1 (en) | 2004-12-03 | 2008-12-18 | King Martin T | Determining actions involving captured information and electronic content associated with rendered documents |
US8793162B2 (en) | 2004-04-01 | 2014-07-29 | Google Inc. | Adding information or functionality to a rendered document via association with an electronic counterpart |
US9143638B2 (en) | 2004-04-01 | 2015-09-22 | Google Inc. | Data capture from rendered documents using handheld device |
US20060081714A1 (en) | 2004-08-23 | 2006-04-20 | King Martin T | Portable scanning device |
US8621349B2 (en) | 2004-04-01 | 2013-12-31 | Google Inc. | Publishing techniques for adding value to a rendered document |
US8081849B2 (en) | 2004-12-03 | 2011-12-20 | Google Inc. | Portable scanning and memory device |
US7894670B2 (en) | 2004-04-01 | 2011-02-22 | Exbiblio B.V. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
US8146156B2 (en) | 2004-04-01 | 2012-03-27 | Google Inc. | Archive of text captures from rendered documents |
US9116890B2 (en) | 2004-04-01 | 2015-08-25 | Google Inc. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
US7990556B2 (en) | 2004-12-03 | 2011-08-02 | Google Inc. | Association of a portable scanner with input/output and storage devices |
US8713418B2 (en) | 2004-04-12 | 2014-04-29 | Google Inc. | Adding value to a rendered document |
US8489624B2 (en) | 2004-05-17 | 2013-07-16 | Google, Inc. | Processing techniques for text capture from a rendered document |
US8620083B2 (en) | 2004-12-03 | 2013-12-31 | Google Inc. | Method and system for character recognition |
US9460346B2 (en) | 2004-04-19 | 2016-10-04 | Google Inc. | Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device |
US8874504B2 (en) | 2004-12-03 | 2014-10-28 | Google Inc. | Processing techniques for visual capture data from a rendered document |
US8346620B2 (en) | 2004-07-19 | 2013-01-01 | Google Inc. | Automatic modification of web pages |
GB2417801A (en) * | 2004-09-07 | 2006-03-08 | Pepperdog Ltd | Image processing apparatus |
DE102004061171A1 (de) * | 2004-12-16 | 2006-06-29 | Vodafone Holding Gmbh | Anregung und/oder Steigerung eines Erwerbs von Produkten und/oder einer Inanspruchnahme von Dienstleistungen |
US7526725B2 (en) * | 2005-04-08 | 2009-04-28 | Mitsubishi Electric Research Laboratories, Inc. | Context aware video conversion method and playback system |
US7403642B2 (en) * | 2005-04-21 | 2008-07-22 | Microsoft Corporation | Efficient propagation for face annotation |
US7519200B2 (en) | 2005-05-09 | 2009-04-14 | Like.Com | System and method for enabling the use of captured images through recognition |
US8732025B2 (en) * | 2005-05-09 | 2014-05-20 | Google Inc. | System and method for enabling image recognition and searching of remote content on display |
US7783135B2 (en) * | 2005-05-09 | 2010-08-24 | Like.Com | System and method for providing objectified image renderings using recognition information from images |
US7809722B2 (en) * | 2005-05-09 | 2010-10-05 | Like.Com | System and method for enabling search and retrieval from image files based on recognized information |
US7660468B2 (en) | 2005-05-09 | 2010-02-09 | Like.Com | System and method for enabling image searching using manual enrichment, classification, and/or segmentation |
US7760917B2 (en) * | 2005-05-09 | 2010-07-20 | Like.Com | Computer-implemented method for performing similarity searches |
US7542610B2 (en) * | 2005-05-09 | 2009-06-02 | Like.Com | System and method for use of images with recognition analysis |
US20080177640A1 (en) | 2005-05-09 | 2008-07-24 | Salih Burak Gokturk | System and method for using image analysis and search in e-commerce |
US7657100B2 (en) | 2005-05-09 | 2010-02-02 | Like.Com | System and method for enabling image recognition and searching of images |
US7945099B2 (en) * | 2005-05-09 | 2011-05-17 | Like.Com | System and method for use of images with recognition analysis |
US7657126B2 (en) | 2005-05-09 | 2010-02-02 | Like.Com | System and method for search portions of objects in images and features thereof |
US7809192B2 (en) * | 2005-05-09 | 2010-10-05 | Like.Com | System and method for recognizing objects from images and identifying relevancy amongst images and information |
WO2007041647A2 (en) * | 2005-10-03 | 2007-04-12 | Riya, Inc. | System and method for use of images with recognition analysis |
US20070156887A1 (en) * | 2005-12-30 | 2007-07-05 | Daniel Wright | Predicting ad quality |
US8065184B2 (en) * | 2005-12-30 | 2011-11-22 | Google Inc. | Estimating ad quality from observed user behavior |
US10600090B2 (en) | 2005-12-30 | 2020-03-24 | Google Llc | Query feature based data structure retrieval of predicted values |
US7827060B2 (en) * | 2005-12-30 | 2010-11-02 | Google Inc. | Using estimated ad qualities for ad filtering, ranking and promotion |
US8571272B2 (en) * | 2006-03-12 | 2013-10-29 | Google Inc. | Techniques for enabling or establishing the use of face recognition algorithms |
US9690979B2 (en) | 2006-03-12 | 2017-06-27 | Google Inc. | Techniques for enabling or establishing the use of face recognition algorithms |
US8233702B2 (en) * | 2006-08-18 | 2012-07-31 | Google Inc. | Computer implemented technique for analyzing images |
EP2067119A2 (en) | 2006-09-08 | 2009-06-10 | Exbiblio B.V. | Optical scanners, such as hand-held optical scanners |
US8873794B2 (en) * | 2007-02-12 | 2014-10-28 | Shopper Scientist, Llc | Still image shopping event monitoring and analysis system and method |
US8416981B2 (en) | 2007-07-29 | 2013-04-09 | Google Inc. | System and method for displaying contextual supplemental content based on image content |
US7836093B2 (en) * | 2007-12-11 | 2010-11-16 | Eastman Kodak Company | Image record trend identification for user profiles |
US20090234716A1 (en) * | 2008-03-17 | 2009-09-17 | Photometria, Inc. | Method of monetizing online personal beauty product selections |
BRPI0916423A2 (pt) * | 2008-07-14 | 2016-02-16 | Google Inc | sistema e método para usar itens de conteúdo suplementar para buscar os critérios para identificar outros itens de conteúdo de interesse |
US20100208997A1 (en) * | 2009-02-16 | 2010-08-19 | Microsoft Corporation | Image-Based Advertisement Platform |
EP2399385B1 (en) | 2009-02-18 | 2019-11-06 | Google LLC | Automatically capturing information, such as capturing information using a document-aware device |
JP5304329B2 (ja) * | 2009-03-05 | 2013-10-02 | ブラザー工業株式会社 | ヘッドマウントディスプレイ装置、画像制御方法および画像制御プログラム |
WO2010105246A2 (en) | 2009-03-12 | 2010-09-16 | Exbiblio B.V. | Accessing resources based on capturing information from a rendered document |
US8447066B2 (en) | 2009-03-12 | 2013-05-21 | Google Inc. | Performing actions based on capturing information from rendered documents, such as documents under copyright |
US9286624B2 (en) | 2009-09-10 | 2016-03-15 | Google Inc. | System and method of displaying annotations on geographic object surfaces |
US9081799B2 (en) | 2009-12-04 | 2015-07-14 | Google Inc. | Using gestalt information to identify locations in printed information |
US9323784B2 (en) | 2009-12-09 | 2016-04-26 | Google Inc. | Image search using text-based elements within the contents of images |
US8699785B2 (en) * | 2010-11-02 | 2014-04-15 | Thiagarajar College Of Engineering | Texture identification |
US9055276B2 (en) | 2011-07-29 | 2015-06-09 | Apple Inc. | Camera having processing customized for identified persons |
GB2499385A (en) * | 2012-02-09 | 2013-08-21 | Nokia Corp | Automated notification of images with changed appearance in common content |
US9077696B2 (en) | 2012-04-26 | 2015-07-07 | Qualcomm Incorporated | Transferring data items amongst computing devices using metadata that identifies a location of a transferred item |
US8873851B2 (en) | 2012-06-29 | 2014-10-28 | Intellectual Ventures Fund 83 Llc | System for presenting high-interest-level images |
US9014509B2 (en) | 2012-06-29 | 2015-04-21 | Intellectual Ventures Fund 83 Llc | Modifying digital images to increase interest level |
US9014510B2 (en) | 2012-06-29 | 2015-04-21 | Intellectual Ventures Fund 83 Llc | Method for presenting high-interest-level images |
KR20150100113A (ko) * | 2014-02-24 | 2015-09-02 | 삼성전자주식회사 | 영상 처리 장치 및 이의 영상 처리 방법 |
US10838584B2 (en) * | 2016-10-31 | 2020-11-17 | Microsoft Technology Licensing, Llc | Template based calendar events with graphic enrichment |
CN107193997A (zh) * | 2017-06-13 | 2017-09-22 | 刘建钦 | 一种户外广告点位展示及广告方案制定方法 |
US11823476B2 (en) | 2021-05-25 | 2023-11-21 | Bank Of America Corporation | Contextual analysis for digital image processing |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08137908A (ja) * | 1994-11-15 | 1996-05-31 | Canon Inc | 画像検索方法及び装置 |
JP2000090113A (ja) * | 1998-09-16 | 2000-03-31 | Real World Computing Partnership | マルチメディア・クラスタリング装置、マルチメディア・クラスタリング方法および記録媒体 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5579471A (en) | 1992-11-09 | 1996-11-26 | International Business Machines Corporation | Image query system and method |
US5832131A (en) | 1995-05-03 | 1998-11-03 | National Semiconductor Corporation | Hashing-based vector quantization |
US5963670A (en) * | 1996-02-12 | 1999-10-05 | Massachusetts Institute Of Technology | Method and apparatus for classifying and identifying images |
US5933823A (en) | 1996-03-01 | 1999-08-03 | Ricoh Company Limited | Image database browsing and query using texture analysis |
US5696964A (en) * | 1996-04-16 | 1997-12-09 | Nec Research Institute, Inc. | Multimedia database retrieval system which maintains a posterior probability distribution that each item in the database is a target of a search |
US6519584B1 (en) * | 1996-06-26 | 2003-02-11 | Sun Microsystem, Inc. | Dynamic display advertising |
US5819288A (en) | 1996-10-16 | 1998-10-06 | Microsoft Corporation | Statistically based image group descriptor particularly suited for use in an image classification and retrieval system |
US6128663A (en) * | 1997-02-11 | 2000-10-03 | Invention Depot, Inc. | Method and apparatus for customization of information content provided to a requestor over a network using demographic information yet the user remains anonymous to the server |
US6379251B1 (en) * | 1997-02-24 | 2002-04-30 | Realtime Media | System and method for increasing click through rates of internet banner advertisements |
US6044376A (en) * | 1997-04-24 | 2000-03-28 | Imgis, Inc. | Content stream analysis |
US6285788B1 (en) * | 1997-06-13 | 2001-09-04 | Sharp Laboratories Of America, Inc. | Method for fast return of abstracted images from a digital image database |
AU9676298A (en) * | 1997-10-01 | 1999-04-23 | Island Graphics Corporation | Image comparing system |
US6295526B1 (en) * | 1997-10-14 | 2001-09-25 | Bellsouth Intellectual Property Corporation | Method and system for processing a memory map to provide listing information representing data within a database |
US5987456A (en) | 1997-10-28 | 1999-11-16 | University Of Masschusetts | Image retrieval by syntactic characterization of appearance |
US6035055A (en) * | 1997-11-03 | 2000-03-07 | Hewlett-Packard Company | Digital image management system in a distributed data access network system |
US6104835A (en) * | 1997-11-14 | 2000-08-15 | Kla-Tencor Corporation | Automatic knowledge database generation for classifying objects and systems therefor |
US6072904A (en) * | 1997-12-31 | 2000-06-06 | Philips Electronics North America Corp. | Fast image retrieval using multi-scale edge representation of images |
US6154771A (en) * | 1998-06-01 | 2000-11-28 | Mediastra, Inc. | Real-time receipt, decompression and play of compressed streaming video/hypervideo; with thumbnail display of past scenes and with replay, hyperlinking and/or recording permissively intiated retrospectively |
US6539375B2 (en) * | 1998-08-04 | 2003-03-25 | Microsoft Corporation | Method and system for generating and using a computer user's personal interest profile |
US6487538B1 (en) * | 1998-11-16 | 2002-11-26 | Sun Microsystems, Inc. | Method and apparatus for local advertising |
JP2000242392A (ja) * | 1999-02-12 | 2000-09-08 | Dbm Korea:Kk | 動的な情報ディスプレイのためのコンピュータシステム及びその方法 |
US6389417B1 (en) * | 1999-06-29 | 2002-05-14 | Samsung Electronics Co., Ltd. | Method and apparatus for searching a digital image |
US6513052B1 (en) * | 1999-12-15 | 2003-01-28 | Imation Corp. | Targeted advertising over global computer networks |
US6496857B1 (en) * | 2000-02-08 | 2002-12-17 | Mirror Worlds Technologies, Inc. | Delivering targeted, enhanced advertisements across electronic networks |
-
2000
- 2000-05-22 US US09/576,558 patent/US6785421B1/en not_active Expired - Lifetime
-
2001
- 2001-05-10 EP EP01201706A patent/EP1164506A3/en not_active Withdrawn
- 2001-05-22 JP JP2001152315A patent/JP2002049642A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08137908A (ja) * | 1994-11-15 | 1996-05-31 | Canon Inc | 画像検索方法及び装置 |
JP2000090113A (ja) * | 1998-09-16 | 2000-03-31 | Real World Computing Partnership | マルチメディア・クラスタリング装置、マルチメディア・クラスタリング方法および記録媒体 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100363943C (zh) * | 2004-06-21 | 2008-01-23 | 南开大学 | 基于色彩内容及分布的彩色图像匹配分析方法 |
JP2009015658A (ja) * | 2007-07-05 | 2009-01-22 | Yahoo Japan Corp | 広告情報の呈示方法及び呈示装置 |
JP2011523744A (ja) * | 2008-05-29 | 2011-08-18 | イーストマン コダック カンパニー | デジタル画像記録からの関心対象の評価 |
JP2014071371A (ja) * | 2012-09-28 | 2014-04-21 | Dainippon Printing Co Ltd | 広告特定情報生成装置、広告特定情報生成方法、広告特定情報生成プログラム及び電子紙面表示装置 |
Also Published As
Publication number | Publication date |
---|---|
EP1164506A3 (en) | 2008-11-26 |
US6785421B1 (en) | 2004-08-31 |
EP1164506A2 (en) | 2001-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2002049642A (ja) | 画像を分析し、分析された画像に対応する1つ以上の材料のセットを決定する方法 | |
US6958821B1 (en) | Analyzing images to determine third party product materials corresponding to the analyzed images | |
US11783567B2 (en) | Systems, methods, and storage media for evaluating images | |
US10331729B2 (en) | System and method for accessing electronic data via an image search engine | |
US9928407B2 (en) | Method, system and computer program for identification and sharing of digital images with face signatures | |
JP5621897B2 (ja) | 処理方法、コンピュータプログラム及び処理装置 | |
US8897485B2 (en) | Determining an interest level for an image | |
US9014510B2 (en) | Method for presenting high-interest-level images | |
US8783572B2 (en) | Computer operation control and item selection and vending methods and systems | |
US8682072B2 (en) | Image segmentation | |
US20170169495A1 (en) | System and method for accessing electronic data via an image search engine | |
US20140002342A1 (en) | System for presenting high-interest-level images | |
US20030191659A1 (en) | Contents mediating system and contents mediating method | |
KR20160135641A (ko) | 이미지인식기술을 이용한 정보제공시스템 및 방법 | |
JP2004192121A (ja) | 画像検索装置、画像分類方法、画像検索方法、及びプログラム | |
JP7190620B2 (ja) | 情報処理装置、情報配信方法、及び情報配信プログラム | |
WO2019025790A1 (en) | INTELLIGENT DISPLAY SYSTEM | |
JP2018180610A (ja) | 情報処理装置、情報配信方法、及び情報配信プログラム | |
WO2021144908A1 (ja) | 表示制御装置、管理装置、表示制御システム、表示制御方法、管理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080520 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080520 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101005 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20101206 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20101209 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110705 |