JP2004304585A - 画像管理装置、画像管理方法及び画像管理用プログラム - Google Patents

画像管理装置、画像管理方法及び画像管理用プログラム Download PDF

Info

Publication number
JP2004304585A
JP2004304585A JP2003096089A JP2003096089A JP2004304585A JP 2004304585 A JP2004304585 A JP 2004304585A JP 2003096089 A JP2003096089 A JP 2003096089A JP 2003096089 A JP2003096089 A JP 2003096089A JP 2004304585 A JP2004304585 A JP 2004304585A
Authority
JP
Japan
Prior art keywords
image
folder
folders
feature amount
communication terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003096089A
Other languages
English (en)
Inventor
Takayasu Yamaguchi
高康 山口
Setsuyuki Hongo
節之 本郷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Docomo Inc
Original Assignee
NTT Docomo Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Docomo Inc filed Critical NTT Docomo Inc
Priority to JP2003096089A priority Critical patent/JP2004304585A/ja
Publication of JP2004304585A publication Critical patent/JP2004304585A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】画像の操作を適切に行うことが可能な画像管理装置、画像管理方法及び画像管理用プログラムを提供する。
【解決手段】画像サーバ100は、1の画像に対応する複数の属性に基づいて、画像の属性に対応する並列構造の画像フォルダ108の中から、当該1の画像が格納されるべき複数の画像フォルダ108を推定する。更に、画像サーバ100は、通信端末200のユーザに対して、推定した画像フォルダを通知する。通信端末200のユーザが画像や画像フォルダの操作を指示した場合には、画像サーバ100は、その指示に応じて操作を行い、その操作結果に基づいて、画像と画像フォルダとの関連付けを学習する。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、画像を管理する画像管理装置に関する。
【0002】
【従来の技術】
画像サーバは、移動端末やパーソナルコンピュータ等のクライアントが送受信する画像を画像フォルダに格納している。一般に画像フォルダは、単一もしくはツリー状の構造を有している。画像サーバは、クライアントのユーザの指示に応じて、あるいは、自動的に、クライアントが送受信する画像を適切な画像フォルダに格納する(例えば、非特許文献1参照)
【0003】
【非特許文献1】
Dimitrova N、Golshai F著「画像データベースにおける検索」、Intel Syst Vol2、1995年、p.801−812
【0004】
【発明が解決しようとする課題】
しかしながら、従来は画像フォルダが階層構造を有しているため、ユーザは、その階層構造を辿って目的の画像を探す必要があり、迅速に目的の画像を探し出すことが困難であった。
【0005】
本発明は、上記問題点を解決するものであり、その課題は、画像の操作を適切に行うことが可能な画像管理装置、画像管理方法及び画像管理用プログラムを提供することにある。
【0006】
【課題を解決するための手段】
上記の目的を達成するため、本発明は請求項1に記載されるように、画像の属性に応じた並列構造の複数の画像フォルダと、1の画像に対応する複数の属性に基づいて、該1の画像又は該1の画像の特徴量が格納されるべき複数の画像フォルダを推定する画像フォルダ推定手段とを備える画像管理装置である。
【0007】
また、本発明は請求項2に記載されるように、請求項1に記載の画像管理装置において、前記画像又は該画像の特徴量と、前記画像フォルダとを操作する画像及び画像フォルダ制御手段を備える。
【0008】
また、本発明は請求項3に記載されるように、請求項2に記載の画像管理装置において、前記画像及び画像フォルダ制御手段は、ユーザの指示に応じて、前記1の画像又は該1の画像の特徴量を前記画像フォルダへ格納する操作を行う。
【0009】
また、本発明は請求項4に記載されるように、請求項2又は3に記載の画像管理装置において、前記画像及び画像フォルダ制御手段は、前記1の画像又は該1の画像の特徴量に前記画像フォルダの識別情報を付加する操作を行う。
【0010】
また、本発明は請求項5に記載されるように、請求項3に記載の画像管理装置において、前記ユーザの指示に応じた前記画像及び画像フォルダ制御手段による操作に基づいて、画像と画像フォルダとの関連付けを学習する学習手段を備え、前記画像フォルダ推定手段は、前記学習手段により学習された画像と画像フォルダとの関連付けに基づいて、前記1の画像又は該1の画像の特徴量が格納されるべき複数の画像フォルダを推定する。
【0011】
また、本発明は請求項6に記載されるように、請求項1乃至5の何れかに記載の画像管理装置において、前記画像フォルダ推定手段により推定された画像フォルダをユーザへ提示する画像フォルダ提示手段を備える。
【0012】
また、本発明は請求項7に記載されるように、請求項6に記載の画像管理装置において、前記画像フォルダ提示手段は、前記1の画像又は該1の画像の特徴量が格納される確率の高い画像フォルダを優先的に提示する。
【0013】
また、本発明は請求項8に記載されるように、1の画像に対応する複数の属性に基づいて、画像の属性に対応する並列構造の画像フォルダの中から、前記1の画像又は該1の画像の特徴量が格納されるべき複数の画像フォルダを推定する画像管理方法である。
【0014】
また、本発明は請求項9に記載されるように、1の画像に対応する複数の属性に基づいて、画像の属性に対応する並列構造の画像フォルダの中から、前記1の画像又は該1の画像の特徴量が格納されるべき複数の画像フォルダを推定する手順をコンピュータに実行させる画像管理用プログラムである。
【0015】
本発明によれば、画像管理装置は、1の画像に対応する複数の属性に基づいて、画像の属性に対応する並列構造の画像フォルダの中から、当該1の画像又は当該1の画像の特徴量が格納されるべき複数の画像フォルダを推定する。画像フォルダは階層構造を有しておらず、全ての画像フォルダが同じ階層となる並列構造であるため、ユーザは、目的の画像を探し出す等の画像に対する操作を容易に行うことが可能となる。
【0016】
また、本発明によれば、画像管理装置は、1の画像又は当該1の画像の特徴量が格納されるべき複数の画像フォルダ、特に、1の画像又は当該1の画像の特徴量が格納される確率の高い画像フォルダを優先的にユーザへ提示するため、ユーザは画像に対する操作をより容易に行うことが可能となる。
【0017】
また、本発明によれば、画像管理装置は、ユーザに指示に応じた画像又は当該画像の特徴量や、画像フォルダに対する操作に基づいて、画像と画像フォルダとの関連付けを学習し、その学習結果により、画像又は当該画像の特徴量が格納されるべき複数の画像フォルダを推定する。従って、画像管理装置は、画像又は当該画像の特徴量が格納されるべき複数の画像フォルダの推定を、より適切に行うことが可能となる。
【0018】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。
【0019】
図1は、本発明の実施の形態に係る画像システムの構成例を示す図である。同図に示す画像システムは、画像管理装置としての画像サーバ100と、複数の通信端末200−1〜200−n(以下、これら「通信端末200−1〜200−n」をまとめて、適宜「通信端末200」と称する)と、これら画像サーバ100と通信端末200とを接続する有線あるいは無線のネットワーク300とにより構成される。
【0020】
この画像システムでは、画像サーバ100は、画像の属性に応じた複数の画像フォルダを移動端末200のユーザ毎に有しており、通信端末200のユーザが所有する画像又は当該画像の特徴量(以下、「画像特徴量」と称する)を、当該画像の属性に応じて、複数の画像フォルダに格納する。なお、図1では、画像サーバ100は1台のみであるが複数の画像サーバによって画像システムが構成されていても良い。
【0021】
図2は、画像サーバの構成例を示す図である。同図に示す画像サーバ100は、送受信部102、画像フォルダ推定手段としての画像フォルダ推定部106、画像フォルダ108−1〜108−m(以下、これら「画像フォルダ108−1〜108−m」をまとめて、適宜「画像フォルダ108」と称する)、画像及び画像フォルダ制御手段、画像フォルダ提示手段としての画像データ及び画像フォルダ制御部110、学習手段としての学習部112、位置測定部114を備える。
【0022】
一方、図3は、通信端末の構成例を示す図である。同図に示す通信端末200は、クライアントとして機能するものであり、送受信部202、制御部204、表示部206、操作部208、カメラ210、センサ212を備える。
【0023】
また、図4は、画像サーバ内の画像フォルダの一例を示す図である。同図では、7つの画像フォルダが構成されており、これら各画像フォルダは、階層構造とはなっておらず、全ての画像フォルダが同じ階層である並列構造である。
【0024】
具体的には、図4に示す7つの画像フォルダは、画像が通信端末200のユーザ自身に関するものであることを示す属性に対応する画像フォルダ「1:自分」と、画像が通信端末200のユーザの家族に関するものであることを示す属性に対応する画像フォルダ「2:家族」と、画像が友人に関するものであることを示す属性に対応する画像フォルダ「3:友人」と、画像が風景に関するものであることを示す属性に対応する画像フォルダ「4:風景」と、画像がスキーサークルに関するものであることを示す属性に対応する画像フォルダ「5:スキーサークル」と、画像が2002年3月15日に行われた京都観光に関するものであることを示す属性に対応する画像フォルダ「6:京都観光 15th Mar ’02」と、画像が2002年12月30日に行われた蔵王合宿に関するものであることを示す属性に対応する画像フォルダ「7:蔵王合宿 30th Dec ’02」である。
【0025】
図2に示す画像サーバ100内の送受信部102は、通信端末200から送信される画像データ又は当該画像データに対応する画像特徴量を受信する。更に、送受信部102は、受信した画像データ又は当該画像データに対応する画像特徴量を画像フォルダ推定部106へ出力する。
【0026】
画像フォルダ推定部106は、入力される画像データに対応する1の画像又は画像特徴量が格納されるべき複数の画像フォルダ108を、その画像の特徴量、通信端末200のユーザに対応する画像フォルダ108の構造、及び、後述する学習部112による通信端末200のユーザに対応する学習結果に基づいて推定する。
【0027】
具体的には、まず、画像フォルダ推定部106は、1の画像を特徴付ける情報を取得する。画像を特徴付ける情報は、例えば、画像データ又は画像特徴量(例えば、画像データの色ヒストグラムや画像周波数等)、撮影の位置、撮影時に通信端末200内のカメラ210が向けられた方向(撮影の方向)、カメラ210から撮影対象までの距離、時刻(例えば、撮影時刻、通信端末200が画像データ又は画像特徴量を送信した時刻(送信時刻)、画像サーバ200が画像データ又は画像特徴量を受信した時刻(受信時刻)である。
【0028】
これら画像を特徴付ける情報のうち、画像の特徴量、撮影時刻、送信時刻は、通信端末200内の制御部204によって生成され、送信される。また、撮影の方向、撮影対象までの距離は、通信端末200内のセンサ212によって検知され、送信される。更に、撮影の位置については通信端末200内のセンサ212によって検知され、送信されるか、位置測定部114によって測定される。位置測定部114は、例えば、図示しない基地局が所定の信号を送信し、通信端末200が当該所定の信号を受信した場合に、その送受信の時間差に基づいて、通信端末200の位置、即ち、撮影の位置を測定することができる。また、撮影時刻は、通信端末200内の制御部204によって取得されて送信され、送信時刻は、通信端末200内の送受信部202によって取得されて送信される。更に、受信時刻は、送受信部102によって取得されて送られる。
【0029】
次に、画像フォルダ推定部106は、これら取得した画像を特徴付ける情報を数値化することによって、画像の属性量(以下、「入力ベクトル」と称する)を導出する。画像を特徴付ける情報に画像データそのものが含まれる場合、画像フォルダ推定部106は、画像データの色ヒストグラムや画像周波数等の画像の特徴量を分析し、その分析結果を数値化する。また、画像を特徴付ける情報に画像特徴量が含まれる場合、画像フォルダ推定部106は、その特徴量を数値化する。また、画像を特徴付ける情報に撮影の位置が含まれる場合、画像フォルダ推定部106は、GPS(Global Positioning System)座標を数値としたり、住所の文字列に対応するID番号を数値とする。例えば撮影の位置が「東京都」である場合、その東京都に対応するID番号が撮影の位置を数値化したものとなる。また、画像フォルダ推定部106は、撮影の方向については、所定方向を基準とした全周360°の方向表示や、北、北北東等の方位に対応するID番号を数値とする。更に、画像フォルダ推定部106は、撮影の距離については、メートル法表示等による距離をそのまま数値とする。また、画像フォルダ推定部106は、撮影の時刻については、この時刻を構成する年、月、日、秒を数値とする。更に、画像フォルダ推定部106は、導出したこれら数値の全部あるいは一部を入力ベクトルとする。
【0030】
更に、画像フォルダ推定部106は、通信端末200のユーザに対応する画像フォルダ108の構造、及び、後述する学習部112による通信端末200のユーザに対応する学習結果を取得し、これら画像フォルダ108の構造及び学習結果と、導出した入力ベクトルとに基づいて、入力された画像又は画像特徴量が格納されるべき複数の画像フォルダ108を推定する。例えば、画像の属性が7種類存在し、これら各属性に対応する画像フォルダが図4に示すように構成されている場合を考える。この場合、画像フォルダ推定部106は、図5に示すように、各画像と画像フォルダ108とを対応付ける。
【0031】
例えば、画像番号1の画像は、通信端末200のユーザが家族とともに京都観光をした際におけるユーザと家族が撮影された画像である。この場合、画像フォルダ推定部106は、画像と、「1:自分」、「2:家族」及び「6:京都観光15th Mar ’02」の画像フォルダ108とを対応させる。これにより、画像が格納されるべき画像フォルダ108の識別情報(クラスラベル)は、「1100010」となる。画像番号2の画像は、通信端末200のユーザが家族とともに京都観光をした際におけるユーザが撮影された画像である。この場合、画像フォルダ推定部106は、画像と、「1:自分」及び「6:京都観光 15th Mar ’02」の画像フォルダ108とを対応させる。これにより、画像が格納されるべき画像フォルダ108のクラスラベルは、「1000010」となる。また、画像番号3の画像は、通信端末200のユーザが家族とともに京都観光をした際における家族が撮影された画像である。この場合、画像フォルダ推定部106は、画像と、「2:家族」及び「6:京都観光 15th Mar ’02」の画像フォルダ108とを対応させる。これにより、画像が格納されるべき画像フォルダ108のクラスラベルは、「0100010」となる。また、画像番号4の画像は、通信端末200のユーザが家族とともに京都観光をした際における風景が撮影された画像である。この場合、画像フォルダ推定部106は、画像と、「4:風景」及び「6:京都観光 15th Mar ’02」の画像フォルダ108とを対応させる。これにより、画像が格納されるべき画像フォルダ108のクラスラベルは、「0001010」となる。画像番号5の画像は、通信端末200のユーザがスキーサークルで蔵王合宿を行った際におけるユーザと風景が撮影された画像である。この場合、画像フォルダ推定部106は、画像と、「1:自分」、「4:風景」、「5:スキーサークル」及び「7:蔵王合宿 30th Dec ’02」の画像フォルダ108とを対応させる。これにより、画像が格納されるべき画像フォルダ108のクラスラベルは、「1001101」となる。また、画像番号6の画像は、通信端末200のユーザがスキーサークルで蔵王合宿を行った際におけるユーザと友人が撮影された画像である。この場合、画像フォルダ推定部106は、画像と、「1:自分」、「3:友人」、「5:スキーサークル」及び「7:蔵王合宿 30th Dec ’02」の画像フォルダ108とを対応させる。これにより、画像が格納されるべき画像フォルダ108のクラスラベルは、「1010101」となる。更に、画像番号Nの画像は、通信端末200のユーザがスキーサークルで蔵王合宿を行った際における友人と風景が撮影された画像である。この場合、画像フォルダ推定部106は、画像と、「3:友人」、「4:風景」、「5:スキーサークル」及び「7:蔵王合宿 30th Dec ’02」の画像フォルダ108とを対応させる。これにより、画像が格納されるべき画像フォルダ108のクラスラベルは、「0011101」となる。
【0032】
画像フォルダ推定部106における画像フォルダ108の推定アルゴリズムは様々なものが考えられる。例えば、最尤(Maximum Likelihood)推定、ベイズ推定、MAP(Maximum A Posteriori(probability))推定、PMM(Parametric Mixture Model)、HMM(Hidden Markov Model:隠れマルコフモデル)、ニューラルネットワーク(Neural Network)、LVQ(Learning Vector Quantization)、SVM(Support Vector Machine)である。
【0033】
最尤推定では、画像フォルダ推定部106は、尤度を最大とするパラメータを学習し、そのパラメータを用いて未知データの属する1つのクラスについて事後確率を推定する。画像フォルダ推定部106は、この処理を画像フォルダ108の数だけ繰り返すことによって画像又は画像特徴量が格納されるべき複数の画像フォルダ108を推定する。
【0034】
また、ベイズ推定では、画像フォルダ推定部106は、尤度とモデルの事前確率分布からベイズの定理により事後確率分布を推定する。画像フォルダ推定部106は、この処理を画像フォルダ108の数だけ繰り返すことによって画像又は画像特徴量が格納されるべき複数の画像フォルダ108を推定する。
【0035】
また、MAP推定では、画像フォルダ推定部106は、尤度とモデルの事前確率分布の積を最大とするパラメータを学習し、そのパラメータを用いて、未知データの属するクラスについて事後確率を推定する。画像フォルダ推定部106は、この処理を画像フォルダ108の数だけ繰り返すことによって画像又は画像特徴量が格納されるべき複数の画像フォルダ108を推定する。
【0036】
また、PMMでは、画像フォルダ推定部106は、複数のクラスに属するデータをモデル化し、MAP推定で未知データの属するマルチクラスについて事後確率を推定することにより、画像又は画像特徴量が格納されるべき複数の画像フォルダ108を推定する。なお、PMMでは、例えば、参照文献(上田修功、斉藤和巳著「Single−Shot Detection of Multiple Categories of Text using Parametric Mixture Models」、SIGKDD(Knowledge Discovery in Data and Data Mining)2002)におけるFigure2のPrediction algorithmが用いられる。
【0037】
また、HMMでは、画像フォルダ推定部106は、遷移または出力確率(パラメータ)を学習し、そのパラメータを用いて、未知データの属するクラスを推定する。画像フォルダ推定部106は、この処理を画像フォルダ108の数だけ繰り返すことによって画像又は画像特徴量が格納されるべき複数の画像フォルダ108を推定する。なお、HMMとは、状態遷移と各状態での出力記号が確率的に選択される有限状態オートマトンの事を示す。
【0038】
また、ニューラルネットワーク及びLVQでは、画像フォルダ推定部106は、ニューロン間の重み係数を学習する処理を画像フォルダ108の数だけ繰り返すことによって、画像が格納されるべき複数の画像フォルダ108を推定する。
【0039】
また、SVMでは、画像フォルダ推定部106は、サポートベクトルの重みを学習し、カーネルを用いて高次元空間で超平面の判別面を構成して高速に2値判別を行う処理を、画像フォルダ108の数だけ繰り返すことによって画像又は画像特徴量が格納されるべき複数の画像フォルダ108を推定する。
【0040】
このように、画像フォルダ推定部106は、1の画像又は画像特徴量が格納されるべき複数の画像フォルダ108を推定すると、その推定結果と、画像又は画像特徴量とを画像データ及び画像フォルダ制御部110へ出力する。
【0041】
画像データ及び画像フォルダ制御部110は、画像フォルダ推定部106による推定の結果に基づいて、入力される1の画像又は画像特徴量と、その1の画像又は画像特徴量が格納されるべき画像フォルダ108を通信端末200へ提示するための情報であるアドバイス・カスタマイズ情報を生成する。
【0042】
この際、画像データ及び画像フォルダ制御部110は、通信端末200の表示部206において、当該通信端末200によって送信される1の画像又は画像特徴量が格納される確率の高い画像フォルダ108が優先的に表示されるように、アドバイス・カスタマイズ情報を生成することができる。この場合、例えば、画像フォルダ推定部106がPMMによる画像フォルダ108の推定を行う場合には、画像データ及び画像フォルダ制御部110は、以下のように画像フォルダ108を序列化する。即ち、画像データ及び画像フォルダ制御部110は、画像フォルダ推定部106がPMMを用いた画像フォルダ108の推定の際に、上述の参照文献に記載のgreedy−searchによって画像フォルダ108を確定する順に、当該画像フォルダ108へ画像が格納される確率が高くなると判断し、画像フォルダ108を序列化する。あるいは、画像データ及び画像フォルダ制御部110は、画像フォルダ推定部106によって1の画像又は画像特徴量が各画像フォルダ108へ格納されるべき確率が推定された場合に、その確率の高い順に、画像フォルダ108を序列化する。ここで、1の画像又は画像特徴量に対応する入力ベクトルを構成するV個の各要素をx、学習部112によるL個の画像フォルダ108のうち、l番目の画像フォルダ108lに対応する学習結果をベクトルθ、画像又は画像特徴量が格納されるべき画像フォルダ108については1、格納されるべきでない画像フォルダ108については0となるyを用いると、xのベクトルを有する画像がyのベクトルのクラスラベルに対応する確率の対数(順位付けの指標)Aは、
【0043】
【数1】
Figure 2004304585
で表される。生成されたアドバイス・カスタマイズ情報は、画像又は画像特徴量とともに、送受信部102及びネットワーク300を介して通信端末200へ送信される。
【0044】
図3に示す通信端末200内の送受信部202は、画像サーバ100からのアドバイス・カスタマイズ情報と、画像又は画像特徴量を受信し、制御部204へ出力する。制御部204は、ユーザによる操作部208の操作に応じて、これらアドバイス・カスタマイズ情報と、画像又は画像特徴量とに応じた画面を表示部206に表示する制御を行う。
【0045】
図6は、通信端末の表示画面の一例を示す図である。例えば、画像の属性に対応する画像フォルダが図4に示すように構成され、且つ、2002年12月30日に行われたスキーサークルの蔵王合宿における風景が撮影された画像が存在する場合には、具体的には、以下のような処理が行われることにより、図6のような画面が通信端末200内の表示部206に表示される。
【0046】
即ち、画像サーバ100内の画像フォルダ推定部106は、2002年12月30日に行われたスキーサークルの蔵王合宿における風景が撮影された画像であるため、当該画像と、「4:風景」、「5:スキーサークル」及び「7:蔵王合宿 30th Dec ’02」の画像フォルダ108とを対応させる。
【0047】
更に、画像データ及び画像フォルダ制御部110は、この画像フォルダ推定部106による推定の結果に基づいて、画像と、当該画像が格納されるべき「4:風景」、「5:スキーサークル」及び「7:蔵王合宿 30th Dec ’02」の画像フォルダ108を通信端末200へ提示するための情報であるアドバイス・カスタマイズ情報を生成する。
【0048】
通信端末200内の制御部204は、当該通信端末200のユーザによる操作部208の操作に応じて、画像データ及び画像フォルダ制御部110によって生成されたアドバイス・カスタマイズ情報と、画像とに対応する画面を表示部206に表示する制御を行う。図6に示す画面には、2002年12月30日に行われたスキーサークルの蔵王合宿における風景が撮影された画像が表示されている。また、図6に示す画面には、操作メニュー画面において、画像サーバ100内の画像フォルダ推定部106によって推定された、当該画像が格納されるべき「4:風景」、「5:スキーサークル」及び「7:蔵王合宿 30th Dec ’02」の画像フォルダ108がオン状態(当該画像フォルダ108に画像が格納される状態)として表示されている。
【0049】
通信端末200のユーザは、操作部208を操作することにより、画像又は画像特徴量や画像フォルダ108に対する操作を指示する。具体的には、通信端末200のユーザは、図6に示すような画面が表示されている場合、画像サーバ100内の画像フォルダ推定部106の推定結果に基づく1の画像又は画像特徴量が格納されるべき画像フォルダ108を認識する。そして、通信端末200のユーザは、画像又は画像特徴量が格納されるべき画像フォルダ108を変更する必要がない場合には、操作部208における所定のキー(例えば格納実行キー)を押下し、画像又は画像特徴量を画像フォルダ108へ格納させる指示を行う。また、通信端末200のユーザは、画像又は画像特徴量が格納されるべき画像フォルダ108を変更する必要がある場合には、操作部208における所定のキー(例えば新規フォルダキー)を押下して、新規の画像フォルダ108を生成する指示を行ったり、操作部208を操作することにより、表示部206の画面において、画像又は画像特徴量を格納させたい画像フォルダ108をオン状態にするとともに、格納させたくない画像フォルダ108をオフ状態にする。
【0050】
また、通信端末200のユーザは、操作部208における所定のキー(例えばメール削除キー)を押下することにより、画像又は画像特徴量の削除を指示する。なお、新規のメールフォルダ108の生成や画像又は画像特徴量の削除に関するメニュー画面は、別途、表示部206に表示されるようにしても良い。
【0051】
制御部206は、この通信端末200のユーザによる指示を、送受信部202及びネットワーク300を介して画像サーバ100へ送信する。
【0052】
図2に示す画像サーバ100内の送受信部102は、通信端末200のユーザの指示を受信し、画像データ及び画像フォルダ制御部110へ出力する。画像データ及び画像フォルダ制御部110は、通信端末200のユーザの指示と、画像フォルダ推定部106による推定の結果とに基づいて、画像又は画像特徴量や画像フォルダ108に対する操作を行う。この際、画像データ及び画像フォルダ制御部110は、通常は、画像フォルダ推定部106による推定の結果に基づいて、画像又は画像特徴量や画像フォルダ108に対する操作を行う。但し、通信端末200のユーザによって変更が指示された場合には、画像データ及び画像フォルダ制御部110は、そのユーザの指示を優先し、当該ユーザの指示に基づいて、画像又は画像特徴量や画像フォルダ108に対する操作を行う。
【0053】
具体的には、画像データ及び画像フォルダ制御部110は、通常は、画像フォルダ推定部106による推定の結果に基づいて、画像又は画像特徴量を複数の画像フォルダ108に格納させる操作を行う。但し、通信端末200のユーザによって変更が指示された場合には、画像データ及び画像フォルダ制御部110は、そのユーザの指示に従って、新規の画像フォルダ108を生成したり、画像又は画像特徴量を画像フォルダ108に格納させる操作を行う。この際、画像データ及び画像フォルダ制御部110は、画像又は画像特徴量に複数の画像フォルダ108の識別情報を付加することによって、画像又は画像特徴量が複数の画像フォルダ108に格納されたのと同等の状態にすることができる。また、画像データ及び画像フォルダ制御部110は、通信端末200のユーザによって画像又は画像特徴量の削除が指示された場合には、画像又は画像特徴量を画像フォルダ108に格納させることなく、削除したり、削除対象の画像専用の画像フォルダ108へ格納する。
【0054】
また、画像データ及び画像フォルダ制御部110は、画像及び画像フォルダ108に対する操作結果に基づいて、画像又は画像特徴量が格納される画像フォルダ108の情報を、例えば内蔵するメモリに記憶する。この画像又は画像特徴量が格納される画像フォルダ108の情報は、その後の通信端末200のユーザによる画像の検索に用いられる。画像の検索では、例えば、各画像と画像フォルダ108との対応が図5に示すものである場合、クラスラベル1の画像フォルダ108に属する画像が検索対象として選択されると、画像番号1、2、5及び6の画像が検索結果として得られる。また、クラスラベル3の画像フォルダ108に属する画像が検索対象として選択されると、画像番号6及びNの画像が検索結果として得られる。更には、クラスラベル1及び6の画像フォルダ108の双方に属する画像が検索対象として選択されると、画像番号1及び2の画像が検索結果として得られる。また、クラスラベル2又は4の画像フォルダ108に属し、且つ、クラスラベル7の画像フォルダ108に属さない画像が検索対象として選択されると、画像番号1、3及び4の画像が検索結果として得られる。
【0055】
学習部112は、画像データ及び画像フォルダ制御部110による、通信端末200のユーザの指示に対応する画像又は画像特徴量や画像フォルダ108に対する操作結果に基づいて、画像又は画像特徴量と画像フォルダ108との関連付けを学習する。例えば、学習部112は、PMMを用いる場合には、上述した参照文献における(11)式もしくは(19)式を利用し、画像又は画像特徴量と複数の画像フォルダ108との関連付けを一撃的に行う。なお、学習部112は、ベイズ推定、MAP推定、ニューラルネットワーク、HMM等による学習を画像フォルダ108の数に応じて繰り返しても良い。
【0056】
その後、画像フォルダ推定部106は、学習部112によって学習された、画像又は画像特徴量と画像フォルダ108との関連付けに基づいて、入力される画像又は画像特徴量が格納されるべき複数の画像フォルダ108を推定する。
【0057】
次に、フローチャートを参照しつつ、画像サーバ及び通信端末の動作を説明する。なお、以下の図7乃至図10のフローチャートにおいては、通信端末200は、画像データを送信し、画像特徴量については送信しないものとする。
【0058】
図7は、移動端末の第1の動作を示すフローチャートである。通信端末200は、接続されたカメラ等による撮影時に画像データを生成する(ステップ101)。次に、通信端末200は、当該通信端末200のユーザの識別情報であるユーザIDを画像サーバ100へ送信する。また、通信端末200は、画像サーバ100内の画像フォルダを新規に生成あるいは削除する場合には、最新の画像フォルダの情報を、画像フォルダの操作指示として画像サーバ100へ送信する(ステップ102)。更に、通信端末200は、ステップ101において生成した画像データと、その画像データに対応する撮影の位置、撮影の方向、撮影対象までの距離、撮影の時刻の各情報を、画像サーバ100へ送信する。
【0059】
図8は、画像サーバの第1の動作を示すフローチャートである。なお、図8は、図7に示す通信端末200によるステップ103の動作に続いて、画像サーバ100において行われる動作である。
【0060】
画像サーバ100は、通信端末200から送信されるユーザIDを受信し、当該ユーザIDに対応する学習結果と画像フォルダの構成を取得する(ステップ201)。次に、画像サーバ100は、通信端末200から送信される、画像データと、その画像データに対応する撮影の位置、撮影の方向、撮影対象までの距離、撮影の時刻の各情報を受信する(ステップ202)。
【0061】
次に、画像サーバ100は、これら受信した画像を特徴付ける各情報を、数値化した情報である入力ベクトルに変換する(ステップ203)。
【0062】
次に、画像サーバ100は、ステップ201において得た学習結果及び画像フォルダの構成と、ステップ203において得た入力ベクトルとに基づいて、受信した画像データに対応する画像が格納されるべき複数の画像フォルダを推定する(ステップ204)。更に、画像サーバ100は、受信した画像データに対応する画像が格納されるべき画像フォルダに関するアドバイス・カスタマイズ情報を生成して通信端末200へ送信する(ステップ205)。
【0063】
図9は、通信端末の第2の動作を示すフローチャートである。なお、図9は、図8に示す画像サーバ100によるステップ205の動作に続いて、通信端末200において行われる動作である。
【0064】
通信端末200は、画像サーバ100からのアドバイス・カスタマイズ情報を受信すると(ステップ301)、対応する画像とアドバイス・カスタマイズ情報に応じて、画像と操作メニュー画面とを表示する(ステップ302)。次に、通信端末200は、当該通信端末200のユーザが画像や画像フォルダの操作を指示した場合に、その指示を画像サーバ100へ送信する(ステップ303)。更に、通信端末200は、画像データとアドバイス・カスタマイズ情報等の各種情報とを記憶する(ステップ304)。
【0065】
図10は、画像サーバの第2の動作を示すフローチャートである。なお、図10は、図9に示す通信端末200によるステップ303の動作に続いて、画像サーバ100において行われる動作である。
【0066】
画像サーバ100は、通信端末200からのユーザ指示を受信すると、そのユーザ指示に応じて、画像及び画像フォルダを操作する(ステップ401)。次に、画像サーバ100は、その画像及び画像フォルダの操作を学習し、記憶する(ステップ402)。これにより、画像サーバ100は、画像と画像フォルダ108との関連付けを学習することができる。
【0067】
このように、本実施形態の画像システムでは、画像サーバ100は、1の画像に対応する複数の属性に基づいて、画像の属性に対応する並列構造の画像フォルダ108の中から、当該1の画像又は当該1の画像に対応する画像特徴量が格納されるべき複数の画像フォルダ108を推定する。従って、画像サーバ100は、1の画像又は画像特徴量を複数の画像フォルダ108に格納させることができ、複数の属性を有する画像の操作を適切に行うことが可能となる。また、画像フォルダ108は階層構造を有しておらず、全ての画像フォルダ108が同じ階層となる並列構造であるため、ユーザは、目的の画像を探し出す等の画像に対する操作を容易に行うことが可能となる。
【0068】
また、画像サーバ100は、1の画像又は画像特徴量が格納される確率の高い画像フォルダ108を優先的にユーザへ提示するため、ユーザは画像又は画像特徴量に対する操作をより容易に行うことが可能となる。
【0069】
また、画像サーバ100は、ユーザの指示に応じた画像又は画像特徴量と画像フォルダ108とに対する操作に基づいて、画像又は画像特徴量と画像フォルダ108との関連付けを学習し、その学習結果により、画像又は画像特徴量が格納されるべき複数の画像フォルダ108を推定する。従って、画像サーバ100は、画像又は画像特徴量が格納されるべき複数の画像フォルダ108の推定を、より適切に行うことが可能となる。
【0070】
なお、上述した実施形態では、画像サーバが画像管理装置として機能する場合について説明したが、通信端末が画像管理装置として機能する場合についても、同様に本発明を適用することができる。この場合、通信端末は、図2に示す画像サーバ100の構成を併せ持つことにより、画像管理装置として機能することができる。
【0071】
【発明の効果】
上述の如く、本発明によれば、画像の操作を適切に行うことが可能となる。
【図面の簡単な説明】
【図1】画像システムの構成例を示す図である。
【図2】画像サーバの構成例を示す図である。
【図3】通信端末の構成例を示す図である。
【図4】画像フォルダの一例を示す図である。
【図5】画像と属性との対応の一例を示す図である。
【図6】通信端末の表示画面の一例を示す図である。
【図7】通信端末の第1の動作を示すフローチャートである。
【図8】画像サーバの第1の動作を示すフローチャートである。
【図9】通信端末の第2の動作を示すフローチャートである。
【図10】画像サーバの第2の動作を示すフローチャートである。
【符号の説明】
100 画像サーバ
102、202 送受信部
106 画像フォルダ推定部
108−1〜108−m 画像フォルダ
110 画像データ及び画像フォルダ制御部
112 学習部
200−1〜200−n 通信端末
204 制御部
206 表示部
208 操作部
300 ネットワーク

Claims (9)

  1. 画像の属性に応じた並列構造の複数の画像フォルダと、
    1の画像に対応する複数の属性に基づいて、該1の画像又は該1の画像の特徴量が格納されるべき複数の画像フォルダを推定する画像フォルダ推定手段と、
    を備える画像管理装置。
  2. 請求項1に記載の画像管理装置において、
    前記画像又は該画像の特徴量と、前記画像フォルダとを操作する画像及び画像フォルダ制御手段を備える画像管理装置。
  3. 請求項2に記載の画像管理装置において、
    前記画像及び画像フォルダ制御手段は、ユーザの指示に応じて、前記1の画像又は該1の画像の特徴量を前記画像フォルダへ格納する操作を行う画像管理装置。
  4. 請求項2又は3に記載の画像管理装置において、
    前記画像及び画像フォルダ制御手段は、前記1の画像又は該1の画像の特徴量に前記画像フォルダの識別情報を付加する操作を行う画像管理装置。
  5. 請求項3に記載の画像管理装置において、
    前記ユーザの指示に応じた前記画像及び画像フォルダ制御手段による操作に基づいて、画像と画像フォルダとの関連付けを学習する学習手段を備え、
    前記画像フォルダ推定手段は、前記学習手段により学習された画像と画像フォルダとの関連付けに基づいて、前記1の画像又は該1の画像の特徴量が格納されるべき複数の画像フォルダを推定する画像管理装置。
  6. 請求項1乃至5の何れかに記載の画像管理装置において、
    前記画像フォルダ推定手段により推定された画像フォルダをユーザへ提示する画像フォルダ提示手段を備える画像管理装置。
  7. 請求項6に記載の画像管理装置において、
    前記画像フォルダ提示手段は、前記1の画像又は該1の画像の特徴量が格納される確率の高い画像フォルダを優先的に提示する画像管理装置。
  8. 1の画像に対応する複数の属性に基づいて、画像の属性に対応する並列構造の画像フォルダの中から、前記1の画像又は該1の画像の特徴量が格納されるべき複数の画像フォルダを推定する画像管理方法。
  9. 1の画像に対応する複数の属性に基づいて、画像の属性に対応する並列構造の画像フォルダの中から、前記1の画像又は該1の画像の特徴量が格納されるべき複数の画像フォルダを推定する手順をコンピュータに実行させる画像管理用プログラム。
JP2003096089A 2003-03-31 2003-03-31 画像管理装置、画像管理方法及び画像管理用プログラム Pending JP2004304585A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003096089A JP2004304585A (ja) 2003-03-31 2003-03-31 画像管理装置、画像管理方法及び画像管理用プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003096089A JP2004304585A (ja) 2003-03-31 2003-03-31 画像管理装置、画像管理方法及び画像管理用プログラム

Publications (1)

Publication Number Publication Date
JP2004304585A true JP2004304585A (ja) 2004-10-28

Family

ID=33408257

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003096089A Pending JP2004304585A (ja) 2003-03-31 2003-03-31 画像管理装置、画像管理方法及び画像管理用プログラム

Country Status (1)

Country Link
JP (1) JP2004304585A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006352369A (ja) * 2005-06-14 2006-12-28 Fujifilm Holdings Corp 画像ファイル管理方法及びその装置
JP2008543224A (ja) * 2005-06-02 2008-11-27 イーストマン コダック カンパニー 撮影者を利用した画像の分類
JP2010225082A (ja) * 2009-03-25 2010-10-07 Noritsu Koki Co Ltd 画像データ管理システムおよび画像データ管理方法
JP2012509519A (ja) * 2008-10-25 2012-04-19 イーストマン コダック カンパニー 推定される社会的関係に基づいた行動の提案
WO2023042239A1 (ja) * 2021-09-14 2023-03-23 日本電気株式会社 転送先決定装置、学習装置、転送システム、転送先決定方法、転送方法、及び、記録媒体

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008543224A (ja) * 2005-06-02 2008-11-27 イーストマン コダック カンパニー 撮影者を利用した画像の分類
JP4908505B2 (ja) * 2005-06-02 2012-04-04 イーストマン コダック カンパニー 撮影者を利用した画像の分類
JP2006352369A (ja) * 2005-06-14 2006-12-28 Fujifilm Holdings Corp 画像ファイル管理方法及びその装置
JP4552088B2 (ja) * 2005-06-14 2010-09-29 富士フイルム株式会社 画像ファイル管理方法及びその装置
JP2012509519A (ja) * 2008-10-25 2012-04-19 イーストマン コダック カンパニー 推定される社会的関係に基づいた行動の提案
JP2010225082A (ja) * 2009-03-25 2010-10-07 Noritsu Koki Co Ltd 画像データ管理システムおよび画像データ管理方法
WO2023042239A1 (ja) * 2021-09-14 2023-03-23 日本電気株式会社 転送先決定装置、学習装置、転送システム、転送先決定方法、転送方法、及び、記録媒体

Similar Documents

Publication Publication Date Title
US20210103779A1 (en) Mobile image search system
CN107464162B (zh) 商品关联方法、装置及计算机可读存储介质
US10896355B2 (en) Automatic canonical digital image selection method and apparatus
CN106575195B (zh) 移动设备上的改进的拖放操作
US10521692B2 (en) Intelligent image search results summarization and browsing
TWI539303B (zh) 用以標記多個數位影像之系統及方法
US11194856B2 (en) Computerized system and method for automatically identifying and providing digital content based on physical geographic location data
US7930311B2 (en) Data classification system and method for building classification tree for the same
JP2007507775A (ja) メディア項目のクラスタリングとクエリとを行う方法
US9355338B2 (en) Image recognition device, image recognition method, and recording medium
US11704893B2 (en) Segment action detection
US20230252069A1 (en) Associating a graphical element to media content item collections
US11675831B2 (en) Geolocation based playlists
US20230091110A1 (en) Joint embedding content neural networks
US11010220B2 (en) System and methods for decomposing events from managed infrastructures that includes a feedback signalizer functor
WO2018152822A1 (zh) 一种生成相册的方法、装置和移动终端
CN110168588B (zh) 基于位置、使用模式以及内容来识别文档
US11574005B2 (en) Client application content classification and discovery
US20230091214A1 (en) Augmented reality items based on scan
CN113657087A (zh) 信息的匹配方法及装置
US10700920B2 (en) System and methods for decomposing events from managed infrastructures that includes a floating point unit
US11836185B2 (en) Media overlay selection system
JP4556739B2 (ja) 画像管理装置、画像管理方法、および画像管理プログラム
US11429660B2 (en) Photo processing method, device and computer equipment
JP2004304585A (ja) 画像管理装置、画像管理方法及び画像管理用プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070717

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070910

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20071127