JP2004246453A - 画像システム形成プログラム及び画像評価装置 - Google Patents
画像システム形成プログラム及び画像評価装置 Download PDFInfo
- Publication number
- JP2004246453A JP2004246453A JP2003033395A JP2003033395A JP2004246453A JP 2004246453 A JP2004246453 A JP 2004246453A JP 2003033395 A JP2003033395 A JP 2003033395A JP 2003033395 A JP2003033395 A JP 2003033395A JP 2004246453 A JP2004246453 A JP 2004246453A
- Authority
- JP
- Japan
- Prior art keywords
- image
- comment
- area
- metadata
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】画像の一部分に付された注釈を用いて画像についての注目度をわかりやすく正確に出力する。
【解決手段】セル615に細分化された画像61と前記画像内の一部分である指定領域611xについて関連付けられたメタデータを用い、指定領域と共通する領域に属するセル615xを選択し、選択された前記セル615xごとにメタデータに基づいてポイント情報を作成し、作成されたポイント情報を各セルごとにグラフ61Gとして出力する。
【選択図】 図21
【解決手段】セル615に細分化された画像61と前記画像内の一部分である指定領域611xについて関連付けられたメタデータを用い、指定領域と共通する領域に属するセル615xを選択し、選択された前記セル615xごとにメタデータに基づいてポイント情報を作成し、作成されたポイント情報を各セルごとにグラフ61Gとして出力する。
【選択図】 図21
Description
【0001】
【発明の属する技術分野】
本発明は、コンピュータにより画像の評価を行う画像システム形成プログラム及び画像評価装置に関し、特に、インターネットなどにおいて画像の閲覧者からのコメントに基づいて画像を評価するための画像システム形成プログラム及び画像評価装置に関する。
【0002】
【従来の技術】
近年、デジタルカメラの普及により、撮影した画像を整理するための画像データベースの利用が拡大してきている。これらの画像データベースは、コンピュータにインストールされたプログラムにより検索や閲覧が行えるようになっている。また、画像を整理する際には、それぞれの画像に対応するコメントを入力し、それぞれの画像とそれに対応するコメントとを同時に表示画面に表して閲覧することができるようになっている。
【0003】
また、インターネットにアクセス可能なサーバ上に画像データを登録して、利用者がインターネットを通じて画像を閲覧できるサイト(フォトサイト)が多く開設されている。この場合において、上記画像の検索や閲覧を行うためのプログラムは、上記サーバ上に配され、各利用者は、当該フォトサイトにアクセスすることにより、上記画像データベースを操作することができる。
【0004】
これらのフォトサイトでは、不特定の者が、登録されている画像を閲覧して、各画像に対するコメントを送信することができる。そして、不特定の者からコメントと画像とを対応付けて同時に表示して閲覧できるようになっている。
【0005】
例えば、特許文献1には、画像に対する注釈を付す場合に、画像の特定の領域を決定し、アイコンと対応付けられたメタデータを当該領域と対応付けすることにより、画像全体の中の一部に注釈を付す技術が開示されている。したがって、不特定の者によって多くの注釈が付された領域は、多数の者が意見を入力したこととなり、これを当該画像についての注目度として観念することができる。
【0006】
上記技術においては、領域にアイコンが付されることにより領域と注釈の対応づけが行われているため、当該領域にいくつのアイコンが付されているかにより、注釈の数を識別することができる。しかしながら、このような注釈の数をカウントすることだけでは、注目度をわかりやすく表示することができなかった。特に特定の領域をユーザーが任意に設定できるような場合、複数の領域がまったく同じ形状、大きさを有する場合はほとんどないため、1つの領域に関連付けられたコメントの数のみがカウントされることとなる。すなわち、注釈を付す者によって決定された領域を基準として、その領域ごとの評価となっていた。また、異なる複数の領域が部分的に重なり部分を有する場合、その重なり部分については、いずれかの領域の一部として注釈の数をカウントされることとなり、注釈が付される際に重なって評価されているという事実を勘案して正確に評価することは困難であった。
【0007】
【特許文献1】
特開2002−55748号公報
【0008】
【発明が解決しようとする課題】
したがって、本発明が解決しようとする技術的課題は、画像の一部分に付された注釈を用いて画像についての注目度をわかりやすくかつ正確に出力することができる画像システム形成プログラム及び画像評価装置を提供することである。
【0009】
【課題を解決するための手段】
本発明は、上記技術的課題を解決するために、本発明の画像システム形成プログラムは、画像評価を行うためにコンピュータを、画像と前記画像内の一部分である指定領域について関連付けられたメタデータとの対応付けを行うメタデータ管理手段、前記画像を細分化したセルとして分割して領域管理する画像分割管理手段、前記メタデータ管理手段により指定された指定領域と共通する領域に属するセルを選択するセル選択手段、前記メタデータに基づいて前記セル選択手段により選択された前記セルごとにポイント情報を作成するポイント作成手段、前記ポイント作成手段により作成されたポイント情報を集計して各セルごとに出力するポイント出力手段、として機能させる。
【0010】
上記構成において、画像の一部分の指定領域に注釈として付されたメタデータは、当該画像について閲覧者が関心を持った部分を判断する指標として用いることができると考えた。上記構成においては、当該メタデータと対応付けられている画像の一部分である指定領域は、細分化されたセルの集合として概念する。画像のうちセルとして細分化されて管理される部分は、画像の全域であってもよいし、一部分であってもよい。すなわち、一律にあるいは、利用者が自由に選択して、当該画像について評価したい領域について細分化すればよい。例えば、画像の全域について評価したい場合は、全域について細分化する。
【0011】
メタデータ管理手段によって、画像の一部の指定領域について、注釈であるメタデータが対応付けて管理されている。当該指定領域と共通する領域を有する1以上のセルについて、メタデータに基づいてセルごとにポイント情報が作成される。ポイント情報は、メタデータの数、閲覧開数、閲覧時間などの情報に基づいて作成されることが好ましい。また、このポイント情報を作成するための情報はユーザーの操作により、適宜選択することができるように構成されていることが好ましい。
【0012】
ポイント情報は、各セルごとに集計される。例えば、1つのセルが複数の指定領域に属する場合は、それぞれの指定領域に対応付けられたメタデータに基づいて作成される複数のポイント情報を集計する。セルごとに集計されたポイント情報は、各セルごとに分けて出力される。出力例としては、集計されたポイント情報が各セルごとに分布されたポイント分布マップとして出力することが好ましい。
【0013】
上記構成によれば、画像の一部分の指定領域に注釈として付されたメタデータを当該画像について閲覧者が関心を持った部分を判断する指標とすることができる。したがって、例えば、webサーバのような多人数でコメントを付すような場合、客観的に画像中のどの領域(画像に写っている被写体)にどういう関心が集まっているかについて集計することができ、これをわかりやすく出力することができる。
【0014】
本発明の画像システム形成プログラムは、具体的には以下のように種々の態様で構成することができる。
【0015】
好ましくは、前記メタデータは、文字情報、音声情報、画像情報の少なくとも2種以上を含む。
【0016】
また、上記構成において好ましくは、前記ポイント出力手段は、前記メタデータの種類を区別してポイント情報を集計する。
【0017】
上記構成によれば、メタデータの種類別にポイント情報を得ることができ、種類別に関心度を判断することができる。また、例えば、ポイント情報の作成に際して、これらの情報を自由に選択することができるようにしてもよい。
【0018】
また、前記メタデータ管理手段は、指定領域を矩形とし、その対角点を特定することにより、指定領域を対応付けすることが好ましい。上記構成によれば、指定領域を特定するための情報量を少なくすることができ、処理を簡潔かつ迅速に行うことができる。
【0019】
前記画像分割管理手段は、前記画像を構成するピクセルごとに、それぞれのセルを分割してもよい。上記構成によれば、各セルの情報を画像のピクセルと一致させることができるため、各セルと画像の領域の対応づけを容易に行うことができ、また、各セルが小さく構成されるため、ポイント情報をより詳細に作成することができる。
【0020】
また、本発明は、画像と前記画像内の一部分である指定領域について関連付けられたメタデータとの対応付けを行うメタデータ管理手段と、前記画像の全域を細分化したセルとして分割して領域管理する画像分割管理手段と、前記メタデータ管理手段により指定された指定領域と共通する領域に属するセルを選択するセル選択手段と、前記メタデータに基づいて、前記セル選択手段により選択された前記セルごとにポイント情報を作成するポイント作成手段と、前記ポイント作成手段により作成されたポイント情報に基づいて各セルごとに出力するポイント出力手段と、を備える画像評価装置を提供する。
【0021】
【発明の実施の形態】
以下、本発明の一実施形態にかかる画像評価システムについて、図面を参照しながら説明する。図1は、本実施形態にかかる画像評価システムの構成図である。本実施形態にかかる画像評価システムは、インターネット4に接続されたネットワークシステムである。画像評価システムは、本発明の画像評価装置として機能するwebサーバ1と、当該サーバ1にインターネット4を通じて接続可能な複数の利用者端末2,3から構成されている。それぞれの利用者端末2、3からは、webサーバ1上に開設されたサイトにインターネットを通じてアクセスして、当該サーバ1を操作することができるようになっている。
【0022】
図2は、図1にかかる画像評価システムのwebサーバの構成を示すブロック図である。webサーバ1は、外部機器としてマウス5及びディスプレイやプリンタなどの出力機器6と接続して用いることができる。当該外部機器と接続される場合は、外部機器インターフェース11が司る。また、インターネット4との接続を司るI/Oインターフェース9、webサーバ1の処理全体を司るプロセッサ7、プロセッサの演算領域などとして機能するメモリ10及び、画像システム形成プログラム及びデータベースなどを格納する記憶装置8とを備え、それぞれは、バス12で互いに接続されている。
【0023】
記憶装置8は、以下の複数のプログラム及びデータベースを備えており、これらが適宜起動することによりwebサーバのプロセッサ7に以下に示す種々の機能を実行させる。システムプログラム8aは、webサーバ1が画像評価装置として機能する場合の主な処理、演算を実行させるための画像システム形成プログラムである。ユーザーデータベースは、当該システムプログラム8aを操作することができるユーザーを管理するためのデータベースである。画像データベース8cは、webサイト上に配する画像及び当該画像に付された注釈であるメタデータの管理を行うためのデータベースである。webデータ8dは、webサーバ1に配されるサイトに用いられるwebデータである。
【0024】
次に本実施形態にかかる画像評価システムの処理の流れについて説明する。図3は、画像評価システムにおける動作処理のフローチャートである。まず、ユーザーは、自己の利用者端末2,3を操作して、任意のwebブラウザにより、当該webサーバに開設されたサイトにインターネット4を通じてアクセスする(#10)。これにより、サーバ1に格納されているプログラムが起動され、図4に示すようなログイン画面20が利用者端末の表示画面に表示される。
【0025】
ユーザーがすでにユーザーIDを取得している場合は、ユーザーは、ユーザーID及びパスワードをそれぞれテキストボックス21、22に入力した後、GOボタン23を選択することによりログインすることができる(#12)。これにより、ステップ#14に移行して、図6に示すフォルダ選択処理が呼び出される。なお、ログイン画面20において、終了ボタン25を選択すると、当該プログラムが終了する。
【0026】
一方、ユーザーがユーザーIDをまだ取得していない場合は、ユーザー登録ボタン24を選択することにより、ステップ#13に移行し、図5に示すユーザー登録画面30が表示画面に表示される。ユーザーは、ユーザー登録画面30において、姓、名、メールアドレスをテキストボックス31、32、33にそれぞれ入力する。
【0027】
また、ユーザーが所望するユーザーID及びパスワードをそれぞれテキストボックス34、35に入力する。その後、確認のためテキストボックス36に再度パスワードを入力する。これらの入力が終了したのち、ユーザー登録ボタン37を選択すると、これらの情報がwebサーバ1に送信され、webサーバ1は、ユーザーデータベースに当該入力されたユーザーIDが取得されているかについて照会する。入力されたユーザーIDがユーザーデータベースにおいて、未使用のものである場合は、ログインすることができ、ステップ#14に移行して図6に示すフォルダ選択処理が呼び出される。
【0028】
一方、同一のユーザーIDがすでに取得されている場合は、その旨を警告後、ユーザーIDのテキストボックス34を空白にして再びユーザー登録画面を表示して、新しいユーザーIDの入力を促す。
【0029】
なお、ユーザー登録画面30において、任意のタイミングで終了ボタン38を選択すると、プログラムが終了する。
【0030】
フォルダ選択処理では、図7に示すようなフォルダ選択画面40が表示される。フォルダ選択画面40内には、リストボックス42が設けられる。リストボックス42には、画像ファイルが保存されたフォルダの名称の一覧が表示され、ユーザーは、必要に応じてスクロールバー41を操作してスクロールしてフォルダの閲覧を行う。
【0031】
図6はフォルダ選択画面での処理の流れを示すフロー図である。フォルダ選択画面では、ステップ#16において、ユーザーの操作によりイベントが発生したか否かが監視される。イベントが発生すると、各イベントに応じた処理が行われる。ユーザーは、当該画面において、上述のように必要に応じてスクロールバー41を操作し、リストボックス42の表示をスクロールして、任意のフォルダを選択する。その後、選択ボタン43を選択すると、ステップ#17に移行し、画像一覧処理に移行し、画像一覧画面が表示される。
【0032】
フォルダ選択画面40において、戻るボタンを選択すると、ステップ#18によりログイン画面20に戻る。また、終了ボタン45を選択すると、当該プログラムが終了する。
【0033】
図8は、画像一覧画面の画面表示例である。画像一覧画面50には、先のステップで選択されたフォルダに格納されている画像ファイルが一覧表示される。画像一覧画面50内には、リストボックス51が設けられる。リストボックス51には、webサーバ1内の画像データベース8cに保存された画像ファイルの画像が、サムネイル表示される。ユーザーは、必要に応じてスクロールバー58を操作することにより、リストボックス51に表示される画像をスクロールして、画像を閲覧することができる。
【0034】
図9は、画像一覧画面での処理の流れを示すフロー図である。画像一覧画面では、ステップ#171において、ユーザーの操作によりイベントが発生したか否かが監視される。イベントが発生すると、各イベントに応じた処理が行われる。
【0035】
アップロードボタン53を選択すると、ステップ#172に移行して、図10に示すファイル指定画面531が表示される。ファイル指定画面531は、webサーバ1の画像データベース8cに登録される画像ファイルの指定ができるようになっている。
【0036】
ファイル指定画面531には、webサーバ1にアップロードする画像ファイルのファイル名を入力する複数のテキストボックス532が設けられている。ユーザーは、自己が操作するユーザー端末2、3のローカルフォルダに保存された画像ファイルのファイル名をテキストボックス532に入力する(#172)。この際、参照ボタン533を操作することにより、自己のユーザー端末のローカルフォルダ内から画像ファイルを検索して、テキストボックス532にファイル名を入力することができる。
【0037】
テキストボックス532にファイル名を入力したのち、実行ボタン535を選択すると、ステップ#173で指定ファイルがアップロードされ、フォルダ選択画面40で選択したフォルダ内に画像ファイルが追加され、ステップ#181により画像ファイルが追加された変更後の状態で図8に示す画像一覧画面50が表示される。一方、ステップ#172、#173において、戻るボタン534を選択すると、アップロードが行われずに、ステップ#181を経て画像一覧画面50が表示される。また、終了ボタン536を選択すると、当該プログラムが終了する。
【0038】
画像一覧画面50のイベント監視状態(#171)から削除ボタン54が選択されると、ステップ#175により画像ファイルの削除が行われる。具体的には、リストボックス51に表示された画像58には、チェックボックス59a及びファイル名59bが付記されており、チェックボックス59aに予めチェックされた画像ファイルが削除ボタン54の選択により、画像データベースから削除される。そして、画像一覧画面50は、当該画像ファイルが削除された変更後の状態で表示される(#181)。
【0039】
画像一覧画面50のイベント監視状態(#171)から表示枚数変更のコンボボックス52を操作すると、ステップ#176へ移行する。コンボボックスは、1画面のリストボックス51に一度に表示可能な画像ファイルの枚数を指定するものであり、ステップ#176において、コンボボックス52により選択された枚数の画像ファイルが、リストボックス51に表示される。そして、画像一覧画面50は、当該画像ファイルの表示枚数が変更された変更後の状態で表示される(#181)。なお、画像ファイルの表示枚数が多く、1枚のリストボックス51内にすべてを表示することができない場合は、スクロールバー58を操作することにより、リストボックス51内の画像をスクロールして表示させることができる。
【0040】
画像一覧画面50のイベント監視状態(#171)から前ページリンク56a又は次ページリンク56bを選択すると、それぞれ、ステップ#177、ステップ#178へ移行して前ページ又は次ページの画面に切り換わり、画像一覧画面50は、当該画像ファイルが前ページ又は次ページに表示される画像データに切り換わった変更後の状態で表示される(#181)。
【0041】
画像一覧画面50のイベント監視状態(#171)からリストボックス51内の画像をクリック又はダブルクリックなどの操作を行うと、ステップ#179に移行して、コメント掲示板処理が呼び出され、図11に示すコメント掲示板画面が表示される。
【0042】
画像一覧画面50のイベント監視状態(#171)から戻るボタン55を選択すると、ステップ#14のフォルダ選択処理が呼び出され、図7に示すフォルダ選択画面が表示される。
【0043】
また、画像一覧画面50において、任意のタイミングで終了ボタン57を選択すると、プログラムが終了する。
【0044】
図11にコメント掲示板画面の画面表示例を示す。コメント掲示板画面60には、画像一覧画面50において指定された画像ファイルの画像61、コメントを入力するテキストボックス64、掲示板に公開されたコメントの一覧を表示するリストボックス62、ビデオ画像によりコメントが付された場合に当該ビデオを再生する再生画面71、ビデオデータによるコメントの再生、録画などの処理を行うためのビデオツールバー72、音声データによるコメントの再生、録音などの処理を行うための音声ツールバー68、当該画像に付されたコメントに基づいて集計される関心度の表示を行うための関心度表示ボタン75、関心度表示を行う場合の集計方法を選択するコンボボックス76などが表示されている。
【0045】
コメント掲示板画面60では、図12に示すように、大きく分けてステップ#21のコメント作成処理(既登録のコメントを削除する処理も含む。)及びステップ#22のコメント閲覧処理(画像の関心度表示の処理も含む。)の2つの処理が行われる。まず、コメント作成処理(#21)について説明する。
【0046】
図13は、コメント作成処理の初期処理の流れを示すフロー図である。コメント作成処理においては、コメント掲示板画面において、ユーザーの操作によりイベントが発生したか否かが監視される(#23)。イベントが発生すると、以下に示す処理が行われる。
【0047】
図14(a)は、コメント掲示板画面60に表示される画像を示す図である。画像61は、1枚の画像データから構成されると共に、図14(b)に示すように、当該画像の全域が、小さいセル615に分割された状態で管理されている。すなわち、画像上の任意の点がいずれのセルに属するかが一律に決定される。なお、セルは、画像61の領域管理を行うための概念的なものであるため、図14(b)に示されたセルに分割された画像は、コメント掲示板画面60には表示されていない。また、セルの大きさは、例えば、画像の大きさ(ピクセル数)に応じて適宜設定することができ、例えば、最小単位として画像を構成するピクセル自体をセルとしてもよいし、数ピクセルごとに1つのセルとして領域管理してもよい。
【0048】
ユーザーがマウスなどのポインティングデバイスを操作し、コメント掲示板画面60においてポインタ610を移動させて画像61上をでドラッグ(#24)すると、ドラッグの始点および終点を対角点(図14においては、左上点P1及び右下点P2)とする入力候補の矩形マーク610を作成し、画像上に表示する。このときに表示される矩形マークは、点滅表示される。なお、すでに画像61に未確定の矩形マーク(図示なし)が表示されている場合は、新たに画像上においてドラッグが開始されることにより、先に表示されている矩形マークは消去され、現在ドラッグされている矩形マークが作成、表示される。
【0049】
矩形マークは、図14(b)に示すように、その対角点P1、P2の画像上の座標(x1、y1)及び(x2、y2)により画一的に決定される。そして、この矩形マーク611xと共通する領域に存在するセル615xが抽出され、当該矩形マーク611に対応するセルが決定する。
【0050】
このようにして、選択領域が指定されると(#25)、所望の選択領域ごとにコメントを関連付けることができるようになっている。このコメントを入力するための処理として、メタデータ入力処理(#26)が行われる。なお、本実施形態におけるメタデータとして、テキストデータ、音声データ、ビデオデータの3種類を用いることができ、それぞれ以下のようにして入力される。
【0051】
図15は、メタデータ入力処理の流れを示すフロー図である。メタデータ入力処理(#26)は、入力されるメタデータの種類に応じて、その処理及び画面上において操作するボタンが異なる。
【0052】
まず、入力するメタデータとして、テキストデータを用いる場合について説明する。テキストデータの入力(#126)において、ユーザーは、入力したいテキストデータをテキストボックス64に入力する(#127)。このとき入力ミスや、再入力をした場合などは、クリアボタン67を選択(#128)することにより、テキストボックス64内のテキストデータが消去される(#130)ので、テキストボックス64にテキストデータを再入力する。
【0053】
テキストボックス64内へのテキストデータの入力が終了し、当該テキストデータをコメントとして登録したい場合、ユーザーは、追加ボタン65を選択する(#129)。追加ボタン65の選択により、以下に示す登録のための処理が開始される。
【0054】
次に、入力するメタデータとして、音声データを用いる場合について説明する。音声データの入力(#226)において、ユーザーが音声ツールバー68の録音ボタン68aを選択すると、利用者端末に対して、ローカルのサウンド入力デバイスを駆動させて録音が開始される。音声データは、最大録音時間が予め決定されており、残りの録音可能時間については、音声ツールバー68のインジケータ68dによって確認することができる。インジケータ68dが図11において右端に移動した場合、最大録音可能時間が経過したことにより、自動的に録音が終了するが、ユーザーが任意のタイミングで停止ボタン68cを選択することにより、録音を途中で停止することができる。録音された音声データは、利用者端末のテンポラリフォルダに保存され、音声ツールバー68の近傍に録音済み音声データが存在していることを示すアイコン68eが表示される。
【0055】
録音済の音声データが、利用者端末のテンポラリーフォルダに格納されている場合において、当該音声データを消去する場合には、クリアボタン70を選択(#228)することにより、当該音声データが消去され、同時にアイコン68eを消去する(#230)。
【0056】
録音された音声データを確認したい場合は、音声ツールバー68の再生ボタン68bを選択する。音声データの再生は、インジケータ68dのスライドを任意の場所に移動した後で再生ボタン68bを選択することにより、任意の位置から再生を行うことができる。音声データの再生中に、停止ボタン68cを選択することにより再生を停止することができる。
【0057】
録音された音声データを登録したい場合には、ユーザーは、追加ボタン69を選択する(#229)追加ボタン69の選択により、以下に示す登録のための処理が開始される。
【0058】
次にメタデータとして、ビデオデータを用いる場合について説明する。ビデオデータの入力(#326)において、ユーザーがビデオツールバー72の録画ボタン72aを選択すると、利用者端末に対して、ローカルのビデオ入力デバイスを駆動させて録画が開始される。ビデオデータは、最大録画時間が予め決定されており、残りの録画可能時間については、ビデオツールバー72のインジケータ72dによって確認することができる。インジケータ72dが図11において右端に移動した場合、最大録画可能時間が経過したことにより、自動的に録画が終了するが、ユーザーが任意のタイミングで停止ボタン72cを選択することにより、録画を途中で停止することができる。録画されたビデオデータは、利用者端末のテンポラリフォルダに保存され、再生画面71に先頭画像が表示される。
【0059】
録画済のビデオデータが、利用者端末のテンポラリーフォルダに格納されている場合において、当該ビデオデータを消去する場合には、クリアボタン74を選択(#328)することにより、当該ビデオデータが消去され、同時に再生画面71に表示されている先頭画像が消去される(#330)。
【0060】
録画されたビデオデータを確認したい場合は、ビデオツールバー72の再生ボタン72bを選択する。ビデオデータの再生は、インジケータ72dのスライドを任意の場所に移動した後で再生ボタン72bを選択することにより、任意の位置から再生を行うことができる。ビデオデータの再生中に、停止ボタン72cを選択することにより再生を停止することができる。
【0061】
録画されたビデオデータを登録したい場合には、ユーザーは、追加ボタン73を選択する(#329)追加ボタン73の選択により、以下に示す登録のための処理が開始される。
【0062】
上記のように、登録したいメタデータの入力が種類に応じて終了し、それぞれのメタデータの種類に対応した登録のための追加ボタン65、69、73が選択されると(#129、#229、#329)、上記のステップ#25において決定した指定領域を取得し(#31)、webサーバ1の画像データベースに登録され、コメント掲示板画面においては、画像61中の指定領域に関連するコメントとして掲示板に追加される。
【0063】
リストボックス62内におけるコメントの表示位置については、リストボックス62中のチェックボックス63にチェックがされているか否かによって決定される。具体的には、いずれかの既登録のコメントに対するチェックボックス63にチェックがされている場合は、チェックが入っている当該コメントの下層に追加する(#33)。チェックボックス63は、1つのみチェックすることができる。一方。チェックボックス63にチェックがされていない場合は、当該登録されるコメントは、最上位のコメントとして追加される(#34)。このとき、画像データベース8cには、当該コメントが示す領域及び入力されたメタデータが対応付けて記憶される。指定領域の情報としては、上述のように、2つの対角点の画像上の座標値を用いる。
【0064】
リストボックス62にコメントとして登録されたメタデータは、その種類によってリストボックス62内での表示形態が異なる。コメントがテキストデータの場合は、その文字情報62bが直接表示される。コメントが音声データの場合は、上記のステップ#33,#34により決定した位置に音声アイコン62cを表示する。コメントがビデオデータの場合は、上記のステップ#33,#34により決定した位置に、ビデオアイコン62dを表示する。
【0065】
次に、登録されたコメントを削除する処理について説明する。図16は、コメント削除の処理フロー図である。コメント削除は、自己が登録したコメントのみを削除できるように限定してもよいし、任意の者があらゆるコメントを削除できるようにしてもよい。
【0066】
画面にコメント掲示板画面が表示されている場合は、上述のようにイベント監視状態となっている。この状態において、既登録のコメントを削除する場合は、まず、削除するコメントを選択する(#40)。具体的には、マウスなどを操作して、削除したいコメントのチェックボックス63をチェックする。削除したいコメントが決定すると、削除ボタン77を選択する(#41)ことにより、当該選択されたコメントが削除される。コメントの削除においては、選択されたコメントがどの層に設けられているかにより処理が異なる。すなわち、削除されるコメントが最下層のコメントである場合は、削除ボタン77の選択によりそのまま当該コメントを削除する(#43)。一方、最下層のコメントではない場合は、選択されたコメントよりも下層に存在するコメントと共に削除するかどうかの確認を行い(#44)、ユーザーの確認が取れたことを条件として、下位のコメントと共に削除する。
【0067】
次にコメント掲示板画面60におけるステップ#22のコメント閲覧処理(画像の関心度表示の処理も含む。)について説明する。図18及び図19は、コメント閲覧処理の流れを示すフロー図である。
【0068】
リストボックス62はその大きさに応じて、一画面に表示することができるコメントの数が限られている。リストボックス62に表示しきれないコメントは、リストボックス62のスクロールバー62aの操作によりスクロールすることにより切り替える表示することができる。画像61中には、リストボックス62に表示されているコメントに関連付けられている指定領域枠611のみが表示されており、スクロールバー62aの操作に伴い、リストボックス62に表示されるコメントが切り換わることによって、指定領域枠611の表示も切り換わって表示される。
【0069】
登録されたコメントを閲覧する操作としては、リストボックス62に表示されているコメント又はアイコンを操作して閲覧する方法と、画像61の領域を選択して表示する方法がある。いずれの場合においても、リストボックス62中のコメントと画像61の指定領域は連働しており、いずれかが選択された場合は、対応する他方が強調表示される。
【0070】
まず、リストボックス62内のコメントが選択された場合についての閲覧処理について説明する。
【0071】
マウスポインタ610(図14参照)が画像61及びリストボックス62のいずれにも存在しない場合、イベント発生待ちの状態となっており、コメント62b、アイコン62c、62d及び関連する指定領域の枠線の色はデフォルトの状態となっており(#51)、コメント文字は黒色表示、アイコンは標準時の表示色(黒色)、指定領域の枠線は黒色表示されている。
【0072】
テキストコメントの閲覧においては、マウスポインタがリストボックスのテキストコメント上に移動すると、そのコメントに関連するオブジェクト(当該テキストコメント及び当該コメントの指定領域枠)が赤色に変色する(#153)。マウスポインタをテキストコメントの外へ移動することなく(#154のNo)、マウスをクリックすると(#155)、関連領域を抽出して、再生画面71に拡大表示する(#156)。マウスを再度クリック(#157)すると、再生画面71が全体画像に戻り(#158)、テキストコメントの閲覧が終了する。
【0073】
一方、これらの処理のいずれかのタイミングで、マウスポインタが、テキストコメントから外れると、テキストコメントと指定領域枠の色が元の黒色に戻り、閲覧処理が終了してイベント待ちの状態となる。
【0074】
音声コメントの閲覧においては、マウスポインタを音声アイコン上に移動させることにより行うことができる。
【0075】
リストボックス62内の音声コメントのアイコン62cは、音声コメントが再生された時間の割合の平均によって当該コメントの重要度が判定され、当該重要度に応じてリストボックス62内のアイコンのデザインを変えて表示する。具体的には、(ユーザー画実際に再生した時間)/(コメントの録音時間)の平均で重要度を判定し、重要度が、0〜33%未満、33〜66%未満、66〜100%の3段階に分けて、図17に示すように3種類のアイコンを表示する。ユーザーは、アイコンデザインから、当該音声データを実際に再生することなく、事前にその重要度を判断でき、どの音声コメントから再生すればよいかの指標とすることができる。
【0076】
マウスポインタが音声アイコン上に移動すると、関連オブジェクトである音声アイコン及び当該コメントの指定領域枠が赤色に変色する(#253)。その後、当該音声データの再生が開始される(#254)。マウスポインタを音声アイコン62cの外へ移動することなく(#255のNo)、マウスをクリックすると(#256)、関連領域を抽出して、再生画面71に拡大表示する(#257)。マウスを再度クリック(#258)すると、再生画面71が全体画像に戻り(#259)、音声コメントの閲覧が終了する。
【0077】
一方、これらの処理のいずれかのタイミングで、マウスポインタが、音声アイコンから外れると、音声データの再生が終了すると共に、音声アイコンと指定領域枠の色が元の黒色に戻り、閲覧処理が終了してイベント待ちの状態となる。
【0078】
ビデオコメントの閲覧においては、マウスポインタをビデオアイコン上に移動させることにより行うことができる。
【0079】
リストボックス62内のビデオコメントのアイコンは、音声アイコンと同様に、ビデオコメントが再生された時間の割合の平均によって当該コメントの重要度が判定され、当該重要度に応じてリストボックス62内のアイコンのデザインを変えて表示される。よって、ユーザーは、アイコンデザインから、当該ビデオデータを実際に再生することなく、事前にその重要度を判断でき、どのビデオコメントから再生すればよいかの指標とすることができる。
【0080】
マウスポインタがビデオアイコン上に移動すると、関連オブジェクトであるビデオアイコン及び当該コメントの指定領域枠が赤色に変色する(#353)。その後、当該ビデオデータの再生が開始される(#354)。マウスポインタをビデオアイコン62cの外へ移動することなく(#355のNo)、マウスをクリックすると(#356)、関連領域を抽出して、再生画面71に拡大表示する(#357)。マウスを再度クリック(#358)すると、再生画面71が全体画像に戻り(#359)、テキストコメントの閲覧が終了する。
【0081】
一方、これらの処理のいずれかのタイミングで、マウスポインタが、ビデオアイコンから外れると、ビデオデータの再生が終了すると共に、ビデオアイコンと指定領域枠の色が元の黒色に戻り、閲覧処理が終了してイベント待ちの状態となる。
【0082】
次に、画像61の指定領域が選択された場合についての閲覧処理について説明する。画像の指定領域が選択された場合のコメントの閲覧は、1つの指定領域に複数のコメント(階層的に付されたコメントを含む)が付されている場合や、画像上のある点が複数の指定領域に重なっている場合などがあることから、上記のリストボックス62のコメントが選択される場合と処理手順が以下のように異なっている。
【0083】
上述のように、コメント掲示板画面において、イベント発生待ちの状態となっている場合は、コメント62b、アイコン62c、62d及び関連する指定領域の枠線の色はデフォルトの状態となっている(#51)。この状態で、マウスポインタが、画像61に上に移動すると、その位置がコメントが付された指定領域であるか否かについて判断される(#70)。指定領域ではない場合は、閲覧に関する処理は行われることなく、イベント待機状態が継続する。
【0084】
マウスポインタが移動された点が指定領域である場合は、当該点に複数の指定領域が存在するか否かについて判断される(#71)。複数の指定領域ではない場合は(#71のNo)、当該指定領域に対応付けられたコメントが1つであるか複数であるかについて判断される(#72)。当該指定領域に対応付けられたコメントが単数である場合(#72のYes)は、コメントの種類に応じて、それぞれ以下のように処理がなされる。
【0085】
指定領域に対応付けられたコメントがテキストコメントである場合は、上述のテキストコメントの閲覧と同様の処理Aがなされる(図18ステップ#153〜#158参照)。すなわち、指定領域に関連づけられたテキストコメント及び指定領域枠が赤色に変色し、マウスで当該領域をクリックすることによって、当該領域が拡大表示される。マウスポインタが当該領域から外れると、指定領域枠及びリストボックス62内のテキストコメントが元の黒色に変化する。
【0086】
指定領域に対応付けられたコメントが音声コメントである場合は、上述の音声コメントの閲覧と同様の処理Bがなされる(図18ステップ#253〜#259参照)。すなわち、指定領域に関連づけられた音声アイコン及び指定領域枠が赤色に変色し、音声データが再生されると共に、マウスで当該領域をクリックすることによって、当該領域が拡大表示される。マウスポインタが当該領域から外れると、音声データの再生が終了すると共に、指定領域枠及びリストボックス62内の音声アイコンが元の色に変化する。
【0087】
指定領域に対応付けられたコメントがビデオコメントである場合は、上述のビデオコメントの閲覧と同様の処理Cがなされる(図18ステップ#353〜#359参照)。すなわち、指定領域に関連づけられたビデオアイコン及び指定領域枠が赤色に変色し、マウスポインタが当該領域に存在する間ビデオデータが再生されると共に、マウスで当該領域をクリックすることによって、当該領域が拡大表示される。マウスポインタが当該領域から外れると、ビデオデータの再生が終了すると共に、指定領域枠及びリストボックス62内のビデオアイコンが元の色に変化する。
【0088】
指定領域に対応付けられたコメントが複数である場合(#72のNo)は、当該複数のコメントがすべてテキストコメントであるか否が判断され(#74)、それぞれ以下のように処理がなされる。
【0089】
指定領域に対応付けられた複数のコメントがすべてテキストコメントである場合(#74のYes)、上述のテキストコメントの閲覧と同様の処理Aがなされる(図18ステップ#153〜#158参照)。すなわち、指定領域に関連づけられたすべてのテキストコメント及び指定領域枠が赤色に変色し、マウスで当該領域をクリックすることによって、当該領域が拡大表示される。マウスポインタが当該領域から外れると、指定領域枠及びリストボックス62内のすべてのテキストコメントが元の黒色に変化する。
【0090】
指定領域に対応付けられた複数のコメントがすべてテキストコメントでない場合(#74のNo)、すなわち、テキストコメントと音声コメント又はビデオコメントが存在する場合、又は音声コメント又はビデオコメントのみの場合は、関連オブジェクトである当該指定領域に関連付けられたすべてのコメント(テキストコメント、音声アイコン及びビデオアイコン)と指定領域枠が赤色に変色する(#75)。そして、当該対応付けられたコメントのうち、音声データ及びビデオデータについては、コメントが付された日時が古い順に順次再生を開始する(#76)。
【0091】
音声データ及びビデオデータの再生途中において、当該コメントの再生を中止したい場合は、そのままマウスをダブルクリックする(#78)と、次のコメントについて再生が開始される(#79)。また、音声データ及びビデオデータの再生途中において、そのままマウスをクリックすると、関連領域の画像を抽出して、再生画面71に拡大表示する(#81)。マウスを再度クリック(#82)すると、再生画面71が全体画像に戻り(#83)、コメントの閲覧が終了する。
【0092】
一方、これらの処理のいずれかのタイミングで、マウスポインタが、指定領域から外れると、音声データ及びビデオデータの再生が終了すると共に、指定領域枠及びリストボックス62内のコメントが元の色に戻り、閲覧処理が終了してイベント待ちの状態となる。
【0093】
次に、マウスポインタが移動された点に複数の指定領域が存在する場合(#71のYes)について説明する。この場合は、マウスポインタが存在する点に含まれるすべての指定領域枠に関連付けられたコメントがすべてテキストコメントであるか否かについて判断され(#85)、それぞれ以下のように処理がなされる。
【0094】
マウスポインタが移動された点に存在する複数の指定領域に対応付けられたすべてのコメントがすべてテキストコメントである場合(#85のYes)、上述のテキストコメントの閲覧と同様の処理Aがなされる(図18ステップ#153〜#158参照)。すなわち、指定領域に関連づけられたすべてのテキストコメント及びマウスポインタが移動された点に存在するすべての指定領域枠が赤色に変色する。
【0095】
この位置でマウスをクリックすることによって、当該領域が拡大表示される。このとき拡大表示される画像の範囲は、図20に示すようにバウンディングボックス612内の画像である。バウンディングボックス612は、複数の指定領域に外接する矩形領域である。すなわち、マウスポインタ610が存在する位置において、3つの指定領域611a〜611cが存在する場合は、その3つの指定領域に外接する矩形領域612がバウンディングボックスとなる。マウスポインタが移動していずれかの指定領域から外れると、当該指定領域枠及びリストボックス62内のすべてのテキストコメントが元の色に変化する。すなわち、すべての指定領域の重複位置からマウスポインタが外れると、すべての指定領域枠及びコメントが元の色に戻る。
【0096】
指定領域に対応付けられた複数のコメントがすべてテキストコメントでない場合(#85のNo)、すなわち、テキストコメントと音声コメント又はビデオコメントが存在する場合、又は音声コメント又はビデオコメントのみの場合は、上述の処理Dと同様の処理(図19ステップ#75〜#84参照)がなされる。すなわち、関連オブジェクトである当該指定領域に関連付けられたすべてのコメント(テキストコメント、音声アイコン及びビデオアイコン)と指定領域枠が赤色に変色する。そして、当該対応付けられたコメントのうち、音声データ及びビデオデータについては、コメントが付された日時が古い順に順次再生を開始する。
【0097】
音声データ及びビデオデータの再生途中において、当該コメントの再生を中止したい場合は、そのままマウスをダブルクリックすると、次のコメントについて再生が開始される。また、音声データ及びビデオデータの再生途中において、そのままマウスをクリックすると、関連領域の画像を抽出して、再生画面71に拡大表示する。拡大表示される画像の範囲は、上述の通りバウンディングボックス612の範囲である。マウスを再度クリックすると、再生画面71が全体画像に戻り、コメントの閲覧が終了する。
【0098】
一方、これらの処理のいずれかのタイミングで、マウスポインタが、指定領域から外れると、音声データ及びビデオデータの再生が終了すると共に、指定領域枠及びリストボックス62内のコメントが元の色に戻り、閲覧処理が終了してイベント待ちの状態となる。
【0099】
次にコメント掲示板画面60において関心度表示ボタン75を選択した場合について説明する。関心度表示ボタン75を選択した場合は、サーバは所定の評価基準によりセル615(図14参照)ごとの関心度(ポイント)を集計し、その結果をグラフの形にして表示する関心度分布画面(図21参照)を利用者端末2、3に表示させる。具体的には以下のような処理が行われる。
【0100】
まず、利用者は、関心度分布画面70を表示させる場合、関心度評価基準をコンボボックス76から選択する。関心度評価基準としては、登録されたコメントの数、閲覧回数、閲覧時間の累計などが例示される。1つのセルが、複数の指定領域に属したり、同じ指定領域に複数のコメントが付されているような場合は、当該指定領域に付されたコメントによって与えられる関心度(ポイント)が累積的に合計して集計することもできる。
【0101】
また、コメントデータの種類ごとに分類して集計することができるように構成されている。例えば、音声コメント及びビデオコメントについての関心度は、音声データ及びビデオデータの総再生時間に対するユーザーが実際に再生した時間の割合などを用いて評価してもよい。また、複数の項目を組み合わせて評価してもよく、例えば、「閲覧回数+閲覧時間の順位×3」などのように何らかの演算を行って関心度を算出してもよい。
【0102】
コンボボックス76の操作により関心度評価基準が決定すると、webサーバ1は、この情報を取得する。(#61)。次いで、当該基準にしたがって、各セルごとにデータ集計を行い、集計したセルごとのポイントデータを用いて、分布図を作成する(#62)。分布図の作成が終了すると、これらの情報を利用者端末へ出力し、これを受けた利用者端末が、別ウインドウを開いて関心度分布画面70を表示する(#63)。
【0103】
表示画面は、図21に示すように各セルごとに関心度のポイントに応じた面グラフ61Gなどが好適に用いられる。すなわち、各セルごとのポイントに応じて、各セル615の高さが異なるようにグラフ化する。なお、グラフの例としては、図21に示すもののほか、例えば、画像61自体をエンボス的に変形させてもよい。また、文字情報だけもしくは音声だけなどコメントの種類ごとの情報から分布を表示できるようにしてもよい。
【0104】
関心度分布画面70において、閉じるボタン74又は終了ボタン73を選択することにより、関心度分布画面が閉じ、コメント掲示板画面60に戻り、イベント待機の状態となる。
【0105】
以上説明したように、上記構成の画像評価システムによれば、サイトに掲載された写真について、不特定多数の者が当該写真の一部領域について、マルチメディアデータを用いてコメントを付すことができる。また、サイトに掲載された写真は、セルに分割されており、当該領域と共通するセルごとに、付されたコメントに基づいて関心度を集計することができる。したがって、比較的大きい範囲で指定される指定領域ごとに行う評価に対して、より詳細に画像のどの部分により大きい関心度を有するかを確認することができる。すなわち、画像の一部分の指定領域に注釈として付されたメタデータを当該画像について閲覧者が関心を持った部分を判断する指標とすることができる。したがって、例えば、webサーバのような多人数でコメントを付すような場合、客観的に画像中のどの領域(画像に写っている物)にどういう関心が集まっているかについて集計することができ、これをわかりやすく出力することができる。
【0106】
なお、本発明は上記実施形態に限定されるものではなく、その他種々の態様で実施可能である。
【0107】
例えば、本画像評価システムはインターネットを用いたネットワークシステムで構成されているが、例えば、ネットワークを用いずに本実施形態のwebサーバと同様の機能を備えた装置を単独で使用してもよい。例えば、この場合、店頭などにユーザーが写真画像を登録することができると共に、第三者が同じ装置を用いてコメントを付すことができるようにすることもできる。
【0108】
また、セルは、図14(b)のように格子状に分割される場合に限定されるものではなく、例えば、6角形に分割されていてもよい。
【0109】
また、例えば、コメント閲覧において、マウスポインタを指定領域上に移動させた場合、コメントを赤色変色させるだけでなく、当該マウスポインタが存在する位置を含むすべての指定領域に関連付けされたコメントのみを検索してリストボックス62内へ表示させるようにしてもよい。この際、マウスポインタが存在する位置を含む指定領域が複数存在するような場合は、指定領域ごとに枠線の色を変化させ、当該コメントを関連付けられた指定領域の枠線の色に合わせて変色させることもできる。
【0110】
さらに、関心度の情報表示を拡大表示可能にしてもよい。これにより、より判りやすい表示が可能になる。
【図面の簡単な説明】
【図1】本実施形態にかかる画像評価システムの構成図である。
【図2】図1にかかる画像評価システムのwebサーバの構成を示すブロック図である。
【図3】実施形態にかかる画像評価システムにおける動作処理のフローチャートである。
【図4】ログイン画面の画面表示例である。
【図5】ユーザー登録画面の画面表示例である。
【図6】フォルダ選択画面での処理の流れを示すフロー図である。
【図7】フォルダ選択画面の画面表示例である。
【図8】画像一覧画面の画面表示例である。
【図9】画像一覧画面での処理の流れを示すフロー図である。
【図10】ファイル指定画面の画面表示例である。
【図11】コメント掲示板画面の画面表示例である。
【図12】コメント掲示板画面での処理の流れを示すフロー図である。
【図13】コメント作成処理の初期処理の流れを示すフロー図である。
【図14】コメント掲示板画面に用いられる画像を示す図であり、(a)は、コメント掲示板画面に表示される画像を示す図であり、(b)は(a)の画像をセルに分割した状態を示す図である。
【図15】メタデータ入力処理の流れを示すフロー図である。
【図16】コメント削除の処理フロー図である。
【図17】コメント掲示板画面のリストボックスに表示される音声コメントのアイコンを示す図である。
【図18】コメント閲覧処理の流れを示すフロー図である。
【図19】コメント閲覧処理の流れを示すフロー図である。
【図20】バウンディングボックスの説明図である。
【図21】関心度分布画面の画面表示例である。
【符号の説明】
1 webサーバ
2、3 利用者端末
4 インターネット
5 マウス
6 出力装置
7 プロセッサ
8 記憶装置
20 ログイン画面
30 ユーザー登録画面
40 フォルダ選択画面
50 画像一覧画面
60 コメント掲示板画面
61 画像
61G 関心度分布グラフ
61x セル分割画像
611 指定領域枠
611x 指定領域
615 セル
70 関心度分布画面
【発明の属する技術分野】
本発明は、コンピュータにより画像の評価を行う画像システム形成プログラム及び画像評価装置に関し、特に、インターネットなどにおいて画像の閲覧者からのコメントに基づいて画像を評価するための画像システム形成プログラム及び画像評価装置に関する。
【0002】
【従来の技術】
近年、デジタルカメラの普及により、撮影した画像を整理するための画像データベースの利用が拡大してきている。これらの画像データベースは、コンピュータにインストールされたプログラムにより検索や閲覧が行えるようになっている。また、画像を整理する際には、それぞれの画像に対応するコメントを入力し、それぞれの画像とそれに対応するコメントとを同時に表示画面に表して閲覧することができるようになっている。
【0003】
また、インターネットにアクセス可能なサーバ上に画像データを登録して、利用者がインターネットを通じて画像を閲覧できるサイト(フォトサイト)が多く開設されている。この場合において、上記画像の検索や閲覧を行うためのプログラムは、上記サーバ上に配され、各利用者は、当該フォトサイトにアクセスすることにより、上記画像データベースを操作することができる。
【0004】
これらのフォトサイトでは、不特定の者が、登録されている画像を閲覧して、各画像に対するコメントを送信することができる。そして、不特定の者からコメントと画像とを対応付けて同時に表示して閲覧できるようになっている。
【0005】
例えば、特許文献1には、画像に対する注釈を付す場合に、画像の特定の領域を決定し、アイコンと対応付けられたメタデータを当該領域と対応付けすることにより、画像全体の中の一部に注釈を付す技術が開示されている。したがって、不特定の者によって多くの注釈が付された領域は、多数の者が意見を入力したこととなり、これを当該画像についての注目度として観念することができる。
【0006】
上記技術においては、領域にアイコンが付されることにより領域と注釈の対応づけが行われているため、当該領域にいくつのアイコンが付されているかにより、注釈の数を識別することができる。しかしながら、このような注釈の数をカウントすることだけでは、注目度をわかりやすく表示することができなかった。特に特定の領域をユーザーが任意に設定できるような場合、複数の領域がまったく同じ形状、大きさを有する場合はほとんどないため、1つの領域に関連付けられたコメントの数のみがカウントされることとなる。すなわち、注釈を付す者によって決定された領域を基準として、その領域ごとの評価となっていた。また、異なる複数の領域が部分的に重なり部分を有する場合、その重なり部分については、いずれかの領域の一部として注釈の数をカウントされることとなり、注釈が付される際に重なって評価されているという事実を勘案して正確に評価することは困難であった。
【0007】
【特許文献1】
特開2002−55748号公報
【0008】
【発明が解決しようとする課題】
したがって、本発明が解決しようとする技術的課題は、画像の一部分に付された注釈を用いて画像についての注目度をわかりやすくかつ正確に出力することができる画像システム形成プログラム及び画像評価装置を提供することである。
【0009】
【課題を解決するための手段】
本発明は、上記技術的課題を解決するために、本発明の画像システム形成プログラムは、画像評価を行うためにコンピュータを、画像と前記画像内の一部分である指定領域について関連付けられたメタデータとの対応付けを行うメタデータ管理手段、前記画像を細分化したセルとして分割して領域管理する画像分割管理手段、前記メタデータ管理手段により指定された指定領域と共通する領域に属するセルを選択するセル選択手段、前記メタデータに基づいて前記セル選択手段により選択された前記セルごとにポイント情報を作成するポイント作成手段、前記ポイント作成手段により作成されたポイント情報を集計して各セルごとに出力するポイント出力手段、として機能させる。
【0010】
上記構成において、画像の一部分の指定領域に注釈として付されたメタデータは、当該画像について閲覧者が関心を持った部分を判断する指標として用いることができると考えた。上記構成においては、当該メタデータと対応付けられている画像の一部分である指定領域は、細分化されたセルの集合として概念する。画像のうちセルとして細分化されて管理される部分は、画像の全域であってもよいし、一部分であってもよい。すなわち、一律にあるいは、利用者が自由に選択して、当該画像について評価したい領域について細分化すればよい。例えば、画像の全域について評価したい場合は、全域について細分化する。
【0011】
メタデータ管理手段によって、画像の一部の指定領域について、注釈であるメタデータが対応付けて管理されている。当該指定領域と共通する領域を有する1以上のセルについて、メタデータに基づいてセルごとにポイント情報が作成される。ポイント情報は、メタデータの数、閲覧開数、閲覧時間などの情報に基づいて作成されることが好ましい。また、このポイント情報を作成するための情報はユーザーの操作により、適宜選択することができるように構成されていることが好ましい。
【0012】
ポイント情報は、各セルごとに集計される。例えば、1つのセルが複数の指定領域に属する場合は、それぞれの指定領域に対応付けられたメタデータに基づいて作成される複数のポイント情報を集計する。セルごとに集計されたポイント情報は、各セルごとに分けて出力される。出力例としては、集計されたポイント情報が各セルごとに分布されたポイント分布マップとして出力することが好ましい。
【0013】
上記構成によれば、画像の一部分の指定領域に注釈として付されたメタデータを当該画像について閲覧者が関心を持った部分を判断する指標とすることができる。したがって、例えば、webサーバのような多人数でコメントを付すような場合、客観的に画像中のどの領域(画像に写っている被写体)にどういう関心が集まっているかについて集計することができ、これをわかりやすく出力することができる。
【0014】
本発明の画像システム形成プログラムは、具体的には以下のように種々の態様で構成することができる。
【0015】
好ましくは、前記メタデータは、文字情報、音声情報、画像情報の少なくとも2種以上を含む。
【0016】
また、上記構成において好ましくは、前記ポイント出力手段は、前記メタデータの種類を区別してポイント情報を集計する。
【0017】
上記構成によれば、メタデータの種類別にポイント情報を得ることができ、種類別に関心度を判断することができる。また、例えば、ポイント情報の作成に際して、これらの情報を自由に選択することができるようにしてもよい。
【0018】
また、前記メタデータ管理手段は、指定領域を矩形とし、その対角点を特定することにより、指定領域を対応付けすることが好ましい。上記構成によれば、指定領域を特定するための情報量を少なくすることができ、処理を簡潔かつ迅速に行うことができる。
【0019】
前記画像分割管理手段は、前記画像を構成するピクセルごとに、それぞれのセルを分割してもよい。上記構成によれば、各セルの情報を画像のピクセルと一致させることができるため、各セルと画像の領域の対応づけを容易に行うことができ、また、各セルが小さく構成されるため、ポイント情報をより詳細に作成することができる。
【0020】
また、本発明は、画像と前記画像内の一部分である指定領域について関連付けられたメタデータとの対応付けを行うメタデータ管理手段と、前記画像の全域を細分化したセルとして分割して領域管理する画像分割管理手段と、前記メタデータ管理手段により指定された指定領域と共通する領域に属するセルを選択するセル選択手段と、前記メタデータに基づいて、前記セル選択手段により選択された前記セルごとにポイント情報を作成するポイント作成手段と、前記ポイント作成手段により作成されたポイント情報に基づいて各セルごとに出力するポイント出力手段と、を備える画像評価装置を提供する。
【0021】
【発明の実施の形態】
以下、本発明の一実施形態にかかる画像評価システムについて、図面を参照しながら説明する。図1は、本実施形態にかかる画像評価システムの構成図である。本実施形態にかかる画像評価システムは、インターネット4に接続されたネットワークシステムである。画像評価システムは、本発明の画像評価装置として機能するwebサーバ1と、当該サーバ1にインターネット4を通じて接続可能な複数の利用者端末2,3から構成されている。それぞれの利用者端末2、3からは、webサーバ1上に開設されたサイトにインターネットを通じてアクセスして、当該サーバ1を操作することができるようになっている。
【0022】
図2は、図1にかかる画像評価システムのwebサーバの構成を示すブロック図である。webサーバ1は、外部機器としてマウス5及びディスプレイやプリンタなどの出力機器6と接続して用いることができる。当該外部機器と接続される場合は、外部機器インターフェース11が司る。また、インターネット4との接続を司るI/Oインターフェース9、webサーバ1の処理全体を司るプロセッサ7、プロセッサの演算領域などとして機能するメモリ10及び、画像システム形成プログラム及びデータベースなどを格納する記憶装置8とを備え、それぞれは、バス12で互いに接続されている。
【0023】
記憶装置8は、以下の複数のプログラム及びデータベースを備えており、これらが適宜起動することによりwebサーバのプロセッサ7に以下に示す種々の機能を実行させる。システムプログラム8aは、webサーバ1が画像評価装置として機能する場合の主な処理、演算を実行させるための画像システム形成プログラムである。ユーザーデータベースは、当該システムプログラム8aを操作することができるユーザーを管理するためのデータベースである。画像データベース8cは、webサイト上に配する画像及び当該画像に付された注釈であるメタデータの管理を行うためのデータベースである。webデータ8dは、webサーバ1に配されるサイトに用いられるwebデータである。
【0024】
次に本実施形態にかかる画像評価システムの処理の流れについて説明する。図3は、画像評価システムにおける動作処理のフローチャートである。まず、ユーザーは、自己の利用者端末2,3を操作して、任意のwebブラウザにより、当該webサーバに開設されたサイトにインターネット4を通じてアクセスする(#10)。これにより、サーバ1に格納されているプログラムが起動され、図4に示すようなログイン画面20が利用者端末の表示画面に表示される。
【0025】
ユーザーがすでにユーザーIDを取得している場合は、ユーザーは、ユーザーID及びパスワードをそれぞれテキストボックス21、22に入力した後、GOボタン23を選択することによりログインすることができる(#12)。これにより、ステップ#14に移行して、図6に示すフォルダ選択処理が呼び出される。なお、ログイン画面20において、終了ボタン25を選択すると、当該プログラムが終了する。
【0026】
一方、ユーザーがユーザーIDをまだ取得していない場合は、ユーザー登録ボタン24を選択することにより、ステップ#13に移行し、図5に示すユーザー登録画面30が表示画面に表示される。ユーザーは、ユーザー登録画面30において、姓、名、メールアドレスをテキストボックス31、32、33にそれぞれ入力する。
【0027】
また、ユーザーが所望するユーザーID及びパスワードをそれぞれテキストボックス34、35に入力する。その後、確認のためテキストボックス36に再度パスワードを入力する。これらの入力が終了したのち、ユーザー登録ボタン37を選択すると、これらの情報がwebサーバ1に送信され、webサーバ1は、ユーザーデータベースに当該入力されたユーザーIDが取得されているかについて照会する。入力されたユーザーIDがユーザーデータベースにおいて、未使用のものである場合は、ログインすることができ、ステップ#14に移行して図6に示すフォルダ選択処理が呼び出される。
【0028】
一方、同一のユーザーIDがすでに取得されている場合は、その旨を警告後、ユーザーIDのテキストボックス34を空白にして再びユーザー登録画面を表示して、新しいユーザーIDの入力を促す。
【0029】
なお、ユーザー登録画面30において、任意のタイミングで終了ボタン38を選択すると、プログラムが終了する。
【0030】
フォルダ選択処理では、図7に示すようなフォルダ選択画面40が表示される。フォルダ選択画面40内には、リストボックス42が設けられる。リストボックス42には、画像ファイルが保存されたフォルダの名称の一覧が表示され、ユーザーは、必要に応じてスクロールバー41を操作してスクロールしてフォルダの閲覧を行う。
【0031】
図6はフォルダ選択画面での処理の流れを示すフロー図である。フォルダ選択画面では、ステップ#16において、ユーザーの操作によりイベントが発生したか否かが監視される。イベントが発生すると、各イベントに応じた処理が行われる。ユーザーは、当該画面において、上述のように必要に応じてスクロールバー41を操作し、リストボックス42の表示をスクロールして、任意のフォルダを選択する。その後、選択ボタン43を選択すると、ステップ#17に移行し、画像一覧処理に移行し、画像一覧画面が表示される。
【0032】
フォルダ選択画面40において、戻るボタンを選択すると、ステップ#18によりログイン画面20に戻る。また、終了ボタン45を選択すると、当該プログラムが終了する。
【0033】
図8は、画像一覧画面の画面表示例である。画像一覧画面50には、先のステップで選択されたフォルダに格納されている画像ファイルが一覧表示される。画像一覧画面50内には、リストボックス51が設けられる。リストボックス51には、webサーバ1内の画像データベース8cに保存された画像ファイルの画像が、サムネイル表示される。ユーザーは、必要に応じてスクロールバー58を操作することにより、リストボックス51に表示される画像をスクロールして、画像を閲覧することができる。
【0034】
図9は、画像一覧画面での処理の流れを示すフロー図である。画像一覧画面では、ステップ#171において、ユーザーの操作によりイベントが発生したか否かが監視される。イベントが発生すると、各イベントに応じた処理が行われる。
【0035】
アップロードボタン53を選択すると、ステップ#172に移行して、図10に示すファイル指定画面531が表示される。ファイル指定画面531は、webサーバ1の画像データベース8cに登録される画像ファイルの指定ができるようになっている。
【0036】
ファイル指定画面531には、webサーバ1にアップロードする画像ファイルのファイル名を入力する複数のテキストボックス532が設けられている。ユーザーは、自己が操作するユーザー端末2、3のローカルフォルダに保存された画像ファイルのファイル名をテキストボックス532に入力する(#172)。この際、参照ボタン533を操作することにより、自己のユーザー端末のローカルフォルダ内から画像ファイルを検索して、テキストボックス532にファイル名を入力することができる。
【0037】
テキストボックス532にファイル名を入力したのち、実行ボタン535を選択すると、ステップ#173で指定ファイルがアップロードされ、フォルダ選択画面40で選択したフォルダ内に画像ファイルが追加され、ステップ#181により画像ファイルが追加された変更後の状態で図8に示す画像一覧画面50が表示される。一方、ステップ#172、#173において、戻るボタン534を選択すると、アップロードが行われずに、ステップ#181を経て画像一覧画面50が表示される。また、終了ボタン536を選択すると、当該プログラムが終了する。
【0038】
画像一覧画面50のイベント監視状態(#171)から削除ボタン54が選択されると、ステップ#175により画像ファイルの削除が行われる。具体的には、リストボックス51に表示された画像58には、チェックボックス59a及びファイル名59bが付記されており、チェックボックス59aに予めチェックされた画像ファイルが削除ボタン54の選択により、画像データベースから削除される。そして、画像一覧画面50は、当該画像ファイルが削除された変更後の状態で表示される(#181)。
【0039】
画像一覧画面50のイベント監視状態(#171)から表示枚数変更のコンボボックス52を操作すると、ステップ#176へ移行する。コンボボックスは、1画面のリストボックス51に一度に表示可能な画像ファイルの枚数を指定するものであり、ステップ#176において、コンボボックス52により選択された枚数の画像ファイルが、リストボックス51に表示される。そして、画像一覧画面50は、当該画像ファイルの表示枚数が変更された変更後の状態で表示される(#181)。なお、画像ファイルの表示枚数が多く、1枚のリストボックス51内にすべてを表示することができない場合は、スクロールバー58を操作することにより、リストボックス51内の画像をスクロールして表示させることができる。
【0040】
画像一覧画面50のイベント監視状態(#171)から前ページリンク56a又は次ページリンク56bを選択すると、それぞれ、ステップ#177、ステップ#178へ移行して前ページ又は次ページの画面に切り換わり、画像一覧画面50は、当該画像ファイルが前ページ又は次ページに表示される画像データに切り換わった変更後の状態で表示される(#181)。
【0041】
画像一覧画面50のイベント監視状態(#171)からリストボックス51内の画像をクリック又はダブルクリックなどの操作を行うと、ステップ#179に移行して、コメント掲示板処理が呼び出され、図11に示すコメント掲示板画面が表示される。
【0042】
画像一覧画面50のイベント監視状態(#171)から戻るボタン55を選択すると、ステップ#14のフォルダ選択処理が呼び出され、図7に示すフォルダ選択画面が表示される。
【0043】
また、画像一覧画面50において、任意のタイミングで終了ボタン57を選択すると、プログラムが終了する。
【0044】
図11にコメント掲示板画面の画面表示例を示す。コメント掲示板画面60には、画像一覧画面50において指定された画像ファイルの画像61、コメントを入力するテキストボックス64、掲示板に公開されたコメントの一覧を表示するリストボックス62、ビデオ画像によりコメントが付された場合に当該ビデオを再生する再生画面71、ビデオデータによるコメントの再生、録画などの処理を行うためのビデオツールバー72、音声データによるコメントの再生、録音などの処理を行うための音声ツールバー68、当該画像に付されたコメントに基づいて集計される関心度の表示を行うための関心度表示ボタン75、関心度表示を行う場合の集計方法を選択するコンボボックス76などが表示されている。
【0045】
コメント掲示板画面60では、図12に示すように、大きく分けてステップ#21のコメント作成処理(既登録のコメントを削除する処理も含む。)及びステップ#22のコメント閲覧処理(画像の関心度表示の処理も含む。)の2つの処理が行われる。まず、コメント作成処理(#21)について説明する。
【0046】
図13は、コメント作成処理の初期処理の流れを示すフロー図である。コメント作成処理においては、コメント掲示板画面において、ユーザーの操作によりイベントが発生したか否かが監視される(#23)。イベントが発生すると、以下に示す処理が行われる。
【0047】
図14(a)は、コメント掲示板画面60に表示される画像を示す図である。画像61は、1枚の画像データから構成されると共に、図14(b)に示すように、当該画像の全域が、小さいセル615に分割された状態で管理されている。すなわち、画像上の任意の点がいずれのセルに属するかが一律に決定される。なお、セルは、画像61の領域管理を行うための概念的なものであるため、図14(b)に示されたセルに分割された画像は、コメント掲示板画面60には表示されていない。また、セルの大きさは、例えば、画像の大きさ(ピクセル数)に応じて適宜設定することができ、例えば、最小単位として画像を構成するピクセル自体をセルとしてもよいし、数ピクセルごとに1つのセルとして領域管理してもよい。
【0048】
ユーザーがマウスなどのポインティングデバイスを操作し、コメント掲示板画面60においてポインタ610を移動させて画像61上をでドラッグ(#24)すると、ドラッグの始点および終点を対角点(図14においては、左上点P1及び右下点P2)とする入力候補の矩形マーク610を作成し、画像上に表示する。このときに表示される矩形マークは、点滅表示される。なお、すでに画像61に未確定の矩形マーク(図示なし)が表示されている場合は、新たに画像上においてドラッグが開始されることにより、先に表示されている矩形マークは消去され、現在ドラッグされている矩形マークが作成、表示される。
【0049】
矩形マークは、図14(b)に示すように、その対角点P1、P2の画像上の座標(x1、y1)及び(x2、y2)により画一的に決定される。そして、この矩形マーク611xと共通する領域に存在するセル615xが抽出され、当該矩形マーク611に対応するセルが決定する。
【0050】
このようにして、選択領域が指定されると(#25)、所望の選択領域ごとにコメントを関連付けることができるようになっている。このコメントを入力するための処理として、メタデータ入力処理(#26)が行われる。なお、本実施形態におけるメタデータとして、テキストデータ、音声データ、ビデオデータの3種類を用いることができ、それぞれ以下のようにして入力される。
【0051】
図15は、メタデータ入力処理の流れを示すフロー図である。メタデータ入力処理(#26)は、入力されるメタデータの種類に応じて、その処理及び画面上において操作するボタンが異なる。
【0052】
まず、入力するメタデータとして、テキストデータを用いる場合について説明する。テキストデータの入力(#126)において、ユーザーは、入力したいテキストデータをテキストボックス64に入力する(#127)。このとき入力ミスや、再入力をした場合などは、クリアボタン67を選択(#128)することにより、テキストボックス64内のテキストデータが消去される(#130)ので、テキストボックス64にテキストデータを再入力する。
【0053】
テキストボックス64内へのテキストデータの入力が終了し、当該テキストデータをコメントとして登録したい場合、ユーザーは、追加ボタン65を選択する(#129)。追加ボタン65の選択により、以下に示す登録のための処理が開始される。
【0054】
次に、入力するメタデータとして、音声データを用いる場合について説明する。音声データの入力(#226)において、ユーザーが音声ツールバー68の録音ボタン68aを選択すると、利用者端末に対して、ローカルのサウンド入力デバイスを駆動させて録音が開始される。音声データは、最大録音時間が予め決定されており、残りの録音可能時間については、音声ツールバー68のインジケータ68dによって確認することができる。インジケータ68dが図11において右端に移動した場合、最大録音可能時間が経過したことにより、自動的に録音が終了するが、ユーザーが任意のタイミングで停止ボタン68cを選択することにより、録音を途中で停止することができる。録音された音声データは、利用者端末のテンポラリフォルダに保存され、音声ツールバー68の近傍に録音済み音声データが存在していることを示すアイコン68eが表示される。
【0055】
録音済の音声データが、利用者端末のテンポラリーフォルダに格納されている場合において、当該音声データを消去する場合には、クリアボタン70を選択(#228)することにより、当該音声データが消去され、同時にアイコン68eを消去する(#230)。
【0056】
録音された音声データを確認したい場合は、音声ツールバー68の再生ボタン68bを選択する。音声データの再生は、インジケータ68dのスライドを任意の場所に移動した後で再生ボタン68bを選択することにより、任意の位置から再生を行うことができる。音声データの再生中に、停止ボタン68cを選択することにより再生を停止することができる。
【0057】
録音された音声データを登録したい場合には、ユーザーは、追加ボタン69を選択する(#229)追加ボタン69の選択により、以下に示す登録のための処理が開始される。
【0058】
次にメタデータとして、ビデオデータを用いる場合について説明する。ビデオデータの入力(#326)において、ユーザーがビデオツールバー72の録画ボタン72aを選択すると、利用者端末に対して、ローカルのビデオ入力デバイスを駆動させて録画が開始される。ビデオデータは、最大録画時間が予め決定されており、残りの録画可能時間については、ビデオツールバー72のインジケータ72dによって確認することができる。インジケータ72dが図11において右端に移動した場合、最大録画可能時間が経過したことにより、自動的に録画が終了するが、ユーザーが任意のタイミングで停止ボタン72cを選択することにより、録画を途中で停止することができる。録画されたビデオデータは、利用者端末のテンポラリフォルダに保存され、再生画面71に先頭画像が表示される。
【0059】
録画済のビデオデータが、利用者端末のテンポラリーフォルダに格納されている場合において、当該ビデオデータを消去する場合には、クリアボタン74を選択(#328)することにより、当該ビデオデータが消去され、同時に再生画面71に表示されている先頭画像が消去される(#330)。
【0060】
録画されたビデオデータを確認したい場合は、ビデオツールバー72の再生ボタン72bを選択する。ビデオデータの再生は、インジケータ72dのスライドを任意の場所に移動した後で再生ボタン72bを選択することにより、任意の位置から再生を行うことができる。ビデオデータの再生中に、停止ボタン72cを選択することにより再生を停止することができる。
【0061】
録画されたビデオデータを登録したい場合には、ユーザーは、追加ボタン73を選択する(#329)追加ボタン73の選択により、以下に示す登録のための処理が開始される。
【0062】
上記のように、登録したいメタデータの入力が種類に応じて終了し、それぞれのメタデータの種類に対応した登録のための追加ボタン65、69、73が選択されると(#129、#229、#329)、上記のステップ#25において決定した指定領域を取得し(#31)、webサーバ1の画像データベースに登録され、コメント掲示板画面においては、画像61中の指定領域に関連するコメントとして掲示板に追加される。
【0063】
リストボックス62内におけるコメントの表示位置については、リストボックス62中のチェックボックス63にチェックがされているか否かによって決定される。具体的には、いずれかの既登録のコメントに対するチェックボックス63にチェックがされている場合は、チェックが入っている当該コメントの下層に追加する(#33)。チェックボックス63は、1つのみチェックすることができる。一方。チェックボックス63にチェックがされていない場合は、当該登録されるコメントは、最上位のコメントとして追加される(#34)。このとき、画像データベース8cには、当該コメントが示す領域及び入力されたメタデータが対応付けて記憶される。指定領域の情報としては、上述のように、2つの対角点の画像上の座標値を用いる。
【0064】
リストボックス62にコメントとして登録されたメタデータは、その種類によってリストボックス62内での表示形態が異なる。コメントがテキストデータの場合は、その文字情報62bが直接表示される。コメントが音声データの場合は、上記のステップ#33,#34により決定した位置に音声アイコン62cを表示する。コメントがビデオデータの場合は、上記のステップ#33,#34により決定した位置に、ビデオアイコン62dを表示する。
【0065】
次に、登録されたコメントを削除する処理について説明する。図16は、コメント削除の処理フロー図である。コメント削除は、自己が登録したコメントのみを削除できるように限定してもよいし、任意の者があらゆるコメントを削除できるようにしてもよい。
【0066】
画面にコメント掲示板画面が表示されている場合は、上述のようにイベント監視状態となっている。この状態において、既登録のコメントを削除する場合は、まず、削除するコメントを選択する(#40)。具体的には、マウスなどを操作して、削除したいコメントのチェックボックス63をチェックする。削除したいコメントが決定すると、削除ボタン77を選択する(#41)ことにより、当該選択されたコメントが削除される。コメントの削除においては、選択されたコメントがどの層に設けられているかにより処理が異なる。すなわち、削除されるコメントが最下層のコメントである場合は、削除ボタン77の選択によりそのまま当該コメントを削除する(#43)。一方、最下層のコメントではない場合は、選択されたコメントよりも下層に存在するコメントと共に削除するかどうかの確認を行い(#44)、ユーザーの確認が取れたことを条件として、下位のコメントと共に削除する。
【0067】
次にコメント掲示板画面60におけるステップ#22のコメント閲覧処理(画像の関心度表示の処理も含む。)について説明する。図18及び図19は、コメント閲覧処理の流れを示すフロー図である。
【0068】
リストボックス62はその大きさに応じて、一画面に表示することができるコメントの数が限られている。リストボックス62に表示しきれないコメントは、リストボックス62のスクロールバー62aの操作によりスクロールすることにより切り替える表示することができる。画像61中には、リストボックス62に表示されているコメントに関連付けられている指定領域枠611のみが表示されており、スクロールバー62aの操作に伴い、リストボックス62に表示されるコメントが切り換わることによって、指定領域枠611の表示も切り換わって表示される。
【0069】
登録されたコメントを閲覧する操作としては、リストボックス62に表示されているコメント又はアイコンを操作して閲覧する方法と、画像61の領域を選択して表示する方法がある。いずれの場合においても、リストボックス62中のコメントと画像61の指定領域は連働しており、いずれかが選択された場合は、対応する他方が強調表示される。
【0070】
まず、リストボックス62内のコメントが選択された場合についての閲覧処理について説明する。
【0071】
マウスポインタ610(図14参照)が画像61及びリストボックス62のいずれにも存在しない場合、イベント発生待ちの状態となっており、コメント62b、アイコン62c、62d及び関連する指定領域の枠線の色はデフォルトの状態となっており(#51)、コメント文字は黒色表示、アイコンは標準時の表示色(黒色)、指定領域の枠線は黒色表示されている。
【0072】
テキストコメントの閲覧においては、マウスポインタがリストボックスのテキストコメント上に移動すると、そのコメントに関連するオブジェクト(当該テキストコメント及び当該コメントの指定領域枠)が赤色に変色する(#153)。マウスポインタをテキストコメントの外へ移動することなく(#154のNo)、マウスをクリックすると(#155)、関連領域を抽出して、再生画面71に拡大表示する(#156)。マウスを再度クリック(#157)すると、再生画面71が全体画像に戻り(#158)、テキストコメントの閲覧が終了する。
【0073】
一方、これらの処理のいずれかのタイミングで、マウスポインタが、テキストコメントから外れると、テキストコメントと指定領域枠の色が元の黒色に戻り、閲覧処理が終了してイベント待ちの状態となる。
【0074】
音声コメントの閲覧においては、マウスポインタを音声アイコン上に移動させることにより行うことができる。
【0075】
リストボックス62内の音声コメントのアイコン62cは、音声コメントが再生された時間の割合の平均によって当該コメントの重要度が判定され、当該重要度に応じてリストボックス62内のアイコンのデザインを変えて表示する。具体的には、(ユーザー画実際に再生した時間)/(コメントの録音時間)の平均で重要度を判定し、重要度が、0〜33%未満、33〜66%未満、66〜100%の3段階に分けて、図17に示すように3種類のアイコンを表示する。ユーザーは、アイコンデザインから、当該音声データを実際に再生することなく、事前にその重要度を判断でき、どの音声コメントから再生すればよいかの指標とすることができる。
【0076】
マウスポインタが音声アイコン上に移動すると、関連オブジェクトである音声アイコン及び当該コメントの指定領域枠が赤色に変色する(#253)。その後、当該音声データの再生が開始される(#254)。マウスポインタを音声アイコン62cの外へ移動することなく(#255のNo)、マウスをクリックすると(#256)、関連領域を抽出して、再生画面71に拡大表示する(#257)。マウスを再度クリック(#258)すると、再生画面71が全体画像に戻り(#259)、音声コメントの閲覧が終了する。
【0077】
一方、これらの処理のいずれかのタイミングで、マウスポインタが、音声アイコンから外れると、音声データの再生が終了すると共に、音声アイコンと指定領域枠の色が元の黒色に戻り、閲覧処理が終了してイベント待ちの状態となる。
【0078】
ビデオコメントの閲覧においては、マウスポインタをビデオアイコン上に移動させることにより行うことができる。
【0079】
リストボックス62内のビデオコメントのアイコンは、音声アイコンと同様に、ビデオコメントが再生された時間の割合の平均によって当該コメントの重要度が判定され、当該重要度に応じてリストボックス62内のアイコンのデザインを変えて表示される。よって、ユーザーは、アイコンデザインから、当該ビデオデータを実際に再生することなく、事前にその重要度を判断でき、どのビデオコメントから再生すればよいかの指標とすることができる。
【0080】
マウスポインタがビデオアイコン上に移動すると、関連オブジェクトであるビデオアイコン及び当該コメントの指定領域枠が赤色に変色する(#353)。その後、当該ビデオデータの再生が開始される(#354)。マウスポインタをビデオアイコン62cの外へ移動することなく(#355のNo)、マウスをクリックすると(#356)、関連領域を抽出して、再生画面71に拡大表示する(#357)。マウスを再度クリック(#358)すると、再生画面71が全体画像に戻り(#359)、テキストコメントの閲覧が終了する。
【0081】
一方、これらの処理のいずれかのタイミングで、マウスポインタが、ビデオアイコンから外れると、ビデオデータの再生が終了すると共に、ビデオアイコンと指定領域枠の色が元の黒色に戻り、閲覧処理が終了してイベント待ちの状態となる。
【0082】
次に、画像61の指定領域が選択された場合についての閲覧処理について説明する。画像の指定領域が選択された場合のコメントの閲覧は、1つの指定領域に複数のコメント(階層的に付されたコメントを含む)が付されている場合や、画像上のある点が複数の指定領域に重なっている場合などがあることから、上記のリストボックス62のコメントが選択される場合と処理手順が以下のように異なっている。
【0083】
上述のように、コメント掲示板画面において、イベント発生待ちの状態となっている場合は、コメント62b、アイコン62c、62d及び関連する指定領域の枠線の色はデフォルトの状態となっている(#51)。この状態で、マウスポインタが、画像61に上に移動すると、その位置がコメントが付された指定領域であるか否かについて判断される(#70)。指定領域ではない場合は、閲覧に関する処理は行われることなく、イベント待機状態が継続する。
【0084】
マウスポインタが移動された点が指定領域である場合は、当該点に複数の指定領域が存在するか否かについて判断される(#71)。複数の指定領域ではない場合は(#71のNo)、当該指定領域に対応付けられたコメントが1つであるか複数であるかについて判断される(#72)。当該指定領域に対応付けられたコメントが単数である場合(#72のYes)は、コメントの種類に応じて、それぞれ以下のように処理がなされる。
【0085】
指定領域に対応付けられたコメントがテキストコメントである場合は、上述のテキストコメントの閲覧と同様の処理Aがなされる(図18ステップ#153〜#158参照)。すなわち、指定領域に関連づけられたテキストコメント及び指定領域枠が赤色に変色し、マウスで当該領域をクリックすることによって、当該領域が拡大表示される。マウスポインタが当該領域から外れると、指定領域枠及びリストボックス62内のテキストコメントが元の黒色に変化する。
【0086】
指定領域に対応付けられたコメントが音声コメントである場合は、上述の音声コメントの閲覧と同様の処理Bがなされる(図18ステップ#253〜#259参照)。すなわち、指定領域に関連づけられた音声アイコン及び指定領域枠が赤色に変色し、音声データが再生されると共に、マウスで当該領域をクリックすることによって、当該領域が拡大表示される。マウスポインタが当該領域から外れると、音声データの再生が終了すると共に、指定領域枠及びリストボックス62内の音声アイコンが元の色に変化する。
【0087】
指定領域に対応付けられたコメントがビデオコメントである場合は、上述のビデオコメントの閲覧と同様の処理Cがなされる(図18ステップ#353〜#359参照)。すなわち、指定領域に関連づけられたビデオアイコン及び指定領域枠が赤色に変色し、マウスポインタが当該領域に存在する間ビデオデータが再生されると共に、マウスで当該領域をクリックすることによって、当該領域が拡大表示される。マウスポインタが当該領域から外れると、ビデオデータの再生が終了すると共に、指定領域枠及びリストボックス62内のビデオアイコンが元の色に変化する。
【0088】
指定領域に対応付けられたコメントが複数である場合(#72のNo)は、当該複数のコメントがすべてテキストコメントであるか否が判断され(#74)、それぞれ以下のように処理がなされる。
【0089】
指定領域に対応付けられた複数のコメントがすべてテキストコメントである場合(#74のYes)、上述のテキストコメントの閲覧と同様の処理Aがなされる(図18ステップ#153〜#158参照)。すなわち、指定領域に関連づけられたすべてのテキストコメント及び指定領域枠が赤色に変色し、マウスで当該領域をクリックすることによって、当該領域が拡大表示される。マウスポインタが当該領域から外れると、指定領域枠及びリストボックス62内のすべてのテキストコメントが元の黒色に変化する。
【0090】
指定領域に対応付けられた複数のコメントがすべてテキストコメントでない場合(#74のNo)、すなわち、テキストコメントと音声コメント又はビデオコメントが存在する場合、又は音声コメント又はビデオコメントのみの場合は、関連オブジェクトである当該指定領域に関連付けられたすべてのコメント(テキストコメント、音声アイコン及びビデオアイコン)と指定領域枠が赤色に変色する(#75)。そして、当該対応付けられたコメントのうち、音声データ及びビデオデータについては、コメントが付された日時が古い順に順次再生を開始する(#76)。
【0091】
音声データ及びビデオデータの再生途中において、当該コメントの再生を中止したい場合は、そのままマウスをダブルクリックする(#78)と、次のコメントについて再生が開始される(#79)。また、音声データ及びビデオデータの再生途中において、そのままマウスをクリックすると、関連領域の画像を抽出して、再生画面71に拡大表示する(#81)。マウスを再度クリック(#82)すると、再生画面71が全体画像に戻り(#83)、コメントの閲覧が終了する。
【0092】
一方、これらの処理のいずれかのタイミングで、マウスポインタが、指定領域から外れると、音声データ及びビデオデータの再生が終了すると共に、指定領域枠及びリストボックス62内のコメントが元の色に戻り、閲覧処理が終了してイベント待ちの状態となる。
【0093】
次に、マウスポインタが移動された点に複数の指定領域が存在する場合(#71のYes)について説明する。この場合は、マウスポインタが存在する点に含まれるすべての指定領域枠に関連付けられたコメントがすべてテキストコメントであるか否かについて判断され(#85)、それぞれ以下のように処理がなされる。
【0094】
マウスポインタが移動された点に存在する複数の指定領域に対応付けられたすべてのコメントがすべてテキストコメントである場合(#85のYes)、上述のテキストコメントの閲覧と同様の処理Aがなされる(図18ステップ#153〜#158参照)。すなわち、指定領域に関連づけられたすべてのテキストコメント及びマウスポインタが移動された点に存在するすべての指定領域枠が赤色に変色する。
【0095】
この位置でマウスをクリックすることによって、当該領域が拡大表示される。このとき拡大表示される画像の範囲は、図20に示すようにバウンディングボックス612内の画像である。バウンディングボックス612は、複数の指定領域に外接する矩形領域である。すなわち、マウスポインタ610が存在する位置において、3つの指定領域611a〜611cが存在する場合は、その3つの指定領域に外接する矩形領域612がバウンディングボックスとなる。マウスポインタが移動していずれかの指定領域から外れると、当該指定領域枠及びリストボックス62内のすべてのテキストコメントが元の色に変化する。すなわち、すべての指定領域の重複位置からマウスポインタが外れると、すべての指定領域枠及びコメントが元の色に戻る。
【0096】
指定領域に対応付けられた複数のコメントがすべてテキストコメントでない場合(#85のNo)、すなわち、テキストコメントと音声コメント又はビデオコメントが存在する場合、又は音声コメント又はビデオコメントのみの場合は、上述の処理Dと同様の処理(図19ステップ#75〜#84参照)がなされる。すなわち、関連オブジェクトである当該指定領域に関連付けられたすべてのコメント(テキストコメント、音声アイコン及びビデオアイコン)と指定領域枠が赤色に変色する。そして、当該対応付けられたコメントのうち、音声データ及びビデオデータについては、コメントが付された日時が古い順に順次再生を開始する。
【0097】
音声データ及びビデオデータの再生途中において、当該コメントの再生を中止したい場合は、そのままマウスをダブルクリックすると、次のコメントについて再生が開始される。また、音声データ及びビデオデータの再生途中において、そのままマウスをクリックすると、関連領域の画像を抽出して、再生画面71に拡大表示する。拡大表示される画像の範囲は、上述の通りバウンディングボックス612の範囲である。マウスを再度クリックすると、再生画面71が全体画像に戻り、コメントの閲覧が終了する。
【0098】
一方、これらの処理のいずれかのタイミングで、マウスポインタが、指定領域から外れると、音声データ及びビデオデータの再生が終了すると共に、指定領域枠及びリストボックス62内のコメントが元の色に戻り、閲覧処理が終了してイベント待ちの状態となる。
【0099】
次にコメント掲示板画面60において関心度表示ボタン75を選択した場合について説明する。関心度表示ボタン75を選択した場合は、サーバは所定の評価基準によりセル615(図14参照)ごとの関心度(ポイント)を集計し、その結果をグラフの形にして表示する関心度分布画面(図21参照)を利用者端末2、3に表示させる。具体的には以下のような処理が行われる。
【0100】
まず、利用者は、関心度分布画面70を表示させる場合、関心度評価基準をコンボボックス76から選択する。関心度評価基準としては、登録されたコメントの数、閲覧回数、閲覧時間の累計などが例示される。1つのセルが、複数の指定領域に属したり、同じ指定領域に複数のコメントが付されているような場合は、当該指定領域に付されたコメントによって与えられる関心度(ポイント)が累積的に合計して集計することもできる。
【0101】
また、コメントデータの種類ごとに分類して集計することができるように構成されている。例えば、音声コメント及びビデオコメントについての関心度は、音声データ及びビデオデータの総再生時間に対するユーザーが実際に再生した時間の割合などを用いて評価してもよい。また、複数の項目を組み合わせて評価してもよく、例えば、「閲覧回数+閲覧時間の順位×3」などのように何らかの演算を行って関心度を算出してもよい。
【0102】
コンボボックス76の操作により関心度評価基準が決定すると、webサーバ1は、この情報を取得する。(#61)。次いで、当該基準にしたがって、各セルごとにデータ集計を行い、集計したセルごとのポイントデータを用いて、分布図を作成する(#62)。分布図の作成が終了すると、これらの情報を利用者端末へ出力し、これを受けた利用者端末が、別ウインドウを開いて関心度分布画面70を表示する(#63)。
【0103】
表示画面は、図21に示すように各セルごとに関心度のポイントに応じた面グラフ61Gなどが好適に用いられる。すなわち、各セルごとのポイントに応じて、各セル615の高さが異なるようにグラフ化する。なお、グラフの例としては、図21に示すもののほか、例えば、画像61自体をエンボス的に変形させてもよい。また、文字情報だけもしくは音声だけなどコメントの種類ごとの情報から分布を表示できるようにしてもよい。
【0104】
関心度分布画面70において、閉じるボタン74又は終了ボタン73を選択することにより、関心度分布画面が閉じ、コメント掲示板画面60に戻り、イベント待機の状態となる。
【0105】
以上説明したように、上記構成の画像評価システムによれば、サイトに掲載された写真について、不特定多数の者が当該写真の一部領域について、マルチメディアデータを用いてコメントを付すことができる。また、サイトに掲載された写真は、セルに分割されており、当該領域と共通するセルごとに、付されたコメントに基づいて関心度を集計することができる。したがって、比較的大きい範囲で指定される指定領域ごとに行う評価に対して、より詳細に画像のどの部分により大きい関心度を有するかを確認することができる。すなわち、画像の一部分の指定領域に注釈として付されたメタデータを当該画像について閲覧者が関心を持った部分を判断する指標とすることができる。したがって、例えば、webサーバのような多人数でコメントを付すような場合、客観的に画像中のどの領域(画像に写っている物)にどういう関心が集まっているかについて集計することができ、これをわかりやすく出力することができる。
【0106】
なお、本発明は上記実施形態に限定されるものではなく、その他種々の態様で実施可能である。
【0107】
例えば、本画像評価システムはインターネットを用いたネットワークシステムで構成されているが、例えば、ネットワークを用いずに本実施形態のwebサーバと同様の機能を備えた装置を単独で使用してもよい。例えば、この場合、店頭などにユーザーが写真画像を登録することができると共に、第三者が同じ装置を用いてコメントを付すことができるようにすることもできる。
【0108】
また、セルは、図14(b)のように格子状に分割される場合に限定されるものではなく、例えば、6角形に分割されていてもよい。
【0109】
また、例えば、コメント閲覧において、マウスポインタを指定領域上に移動させた場合、コメントを赤色変色させるだけでなく、当該マウスポインタが存在する位置を含むすべての指定領域に関連付けされたコメントのみを検索してリストボックス62内へ表示させるようにしてもよい。この際、マウスポインタが存在する位置を含む指定領域が複数存在するような場合は、指定領域ごとに枠線の色を変化させ、当該コメントを関連付けられた指定領域の枠線の色に合わせて変色させることもできる。
【0110】
さらに、関心度の情報表示を拡大表示可能にしてもよい。これにより、より判りやすい表示が可能になる。
【図面の簡単な説明】
【図1】本実施形態にかかる画像評価システムの構成図である。
【図2】図1にかかる画像評価システムのwebサーバの構成を示すブロック図である。
【図3】実施形態にかかる画像評価システムにおける動作処理のフローチャートである。
【図4】ログイン画面の画面表示例である。
【図5】ユーザー登録画面の画面表示例である。
【図6】フォルダ選択画面での処理の流れを示すフロー図である。
【図7】フォルダ選択画面の画面表示例である。
【図8】画像一覧画面の画面表示例である。
【図9】画像一覧画面での処理の流れを示すフロー図である。
【図10】ファイル指定画面の画面表示例である。
【図11】コメント掲示板画面の画面表示例である。
【図12】コメント掲示板画面での処理の流れを示すフロー図である。
【図13】コメント作成処理の初期処理の流れを示すフロー図である。
【図14】コメント掲示板画面に用いられる画像を示す図であり、(a)は、コメント掲示板画面に表示される画像を示す図であり、(b)は(a)の画像をセルに分割した状態を示す図である。
【図15】メタデータ入力処理の流れを示すフロー図である。
【図16】コメント削除の処理フロー図である。
【図17】コメント掲示板画面のリストボックスに表示される音声コメントのアイコンを示す図である。
【図18】コメント閲覧処理の流れを示すフロー図である。
【図19】コメント閲覧処理の流れを示すフロー図である。
【図20】バウンディングボックスの説明図である。
【図21】関心度分布画面の画面表示例である。
【符号の説明】
1 webサーバ
2、3 利用者端末
4 インターネット
5 マウス
6 出力装置
7 プロセッサ
8 記憶装置
20 ログイン画面
30 ユーザー登録画面
40 フォルダ選択画面
50 画像一覧画面
60 コメント掲示板画面
61 画像
61G 関心度分布グラフ
61x セル分割画像
611 指定領域枠
611x 指定領域
615 セル
70 関心度分布画面
Claims (5)
- コンピュータを
画像と前記画像内の一部分である指定領域について関連付けられたメタデータとの対応付けを行うメタデータ管理手段、
前記画像を細分化したセルとして分割して領域管理する画像分割管理手段、
前記メタデータ管理手段により指定された指定領域と共通する領域に属するセルを選択するセル選択手段、
前記メタデータに基づいて、前記セル選択手段により選択された前記セルごとにポイント情報を作成するポイント作成手段、
前記ポイント作成手段により作成されたポイント情報を集計して各セルごとに出力するポイント出力手段、として機能させるための画像システム形成プログラム。 - 前記ポイント作成手段は、前記メタデータの数、閲覧回数、閲覧時間の少なくとも1つ以上の情報又はこれらの組み合わせをもとにポイント情報を作成することを特徴とする、請求項1に記載の画像システム形成プログラム。
- 前記メタデータは、文字情報、音声情報、画像情報の少なくとも2種以上を含むことを特徴とする、請求項1又は2に記載の画像システム形成プログラム。
- 前記ポイント出力手段は、前記メタデータの種類を区別してポイント情報を出力することを特徴とする、請求項3に記載の画像システム形成プログラム。
- 画像と前記画像内の一部分である指定領域について関連付けられたメタデータとの対応付けを行うメタデータ管理手段と、
前記画像の全域を細分化したセルとして分割して領域管理する画像分割管理手段と、
前記メタデータ管理手段により指定された指定領域と共通する領域に属するセルを選択するセル選択手段と、
前記メタデータに基づいて、前記セル選択手段により選択された前記セルごとにポイント情報を作成するポイント作成手段と、
前記ポイント作成手段により作成されたポイント情報を集計して各セルごとに出力するポイント出力手段と、を備えたことを特徴とする画像評価装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003033395A JP2004246453A (ja) | 2003-02-12 | 2003-02-12 | 画像システム形成プログラム及び画像評価装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003033395A JP2004246453A (ja) | 2003-02-12 | 2003-02-12 | 画像システム形成プログラム及び画像評価装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004246453A true JP2004246453A (ja) | 2004-09-02 |
Family
ID=33019379
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003033395A Pending JP2004246453A (ja) | 2003-02-12 | 2003-02-12 | 画像システム形成プログラム及び画像評価装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004246453A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015194859A (ja) * | 2014-03-31 | 2015-11-05 | 株式会社富士通アドバンストエンジニアリング | 表示制御プログラム、方法、及び装置 |
JP7520195B2 (ja) | 2019-09-30 | 2024-07-22 | シャープ株式会社 | 表示装置、プログラム及び表示方法 |
-
2003
- 2003-02-12 JP JP2003033395A patent/JP2004246453A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015194859A (ja) * | 2014-03-31 | 2015-11-05 | 株式会社富士通アドバンストエンジニアリング | 表示制御プログラム、方法、及び装置 |
JP7520195B2 (ja) | 2019-09-30 | 2024-07-22 | シャープ株式会社 | 表示装置、プログラム及び表示方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7437005B2 (en) | Rapid visual sorting of digital files and data | |
US7725837B2 (en) | Digital image browser | |
US8205172B2 (en) | Graphical web browser history toolbar | |
RU2468424C2 (ru) | Сбор и представление информации о действии на основе времени | |
JP7111632B2 (ja) | 画像候補決定装置,画像候補決定方法,ならびに画像候補決定装置を制御するプログラムおよびそのプログラムを格納した記録媒体 | |
US20060193538A1 (en) | Graphical user interface system and process for navigating a set of images | |
JP2007527065A (ja) | 画像グループを表すアイコンを生成する方法、当該方法を実行するよう構成されるコンピュータシステム、コンピュータプログラムプロダクト及びデータキャリア | |
US20020070982A1 (en) | Method and system for presenting digital media | |
JP4669912B2 (ja) | コンテンツ閲覧システム、プログラムおよびコンテンツ閲覧方法 | |
KR20060052116A (ko) | 콘텐츠 매니지먼트 시스템 및 콘텐츠 매니지먼트 방법과,컴퓨터 프로그램 | |
KR20060082391A (ko) | 데이터의 타임 라인 기반 시각화를 위한 시스템 및 방법 | |
Xie et al. | Learning user interest for image browsing on small-form-factor devices | |
CN101183380B (zh) | 内容过滤方法及其装置 | |
JP2006203574A (ja) | 画像表示装置 | |
US20100057770A1 (en) | System and method of file management, and recording medium storing file management program | |
JP2004246454A (ja) | 画像形成プログラム及び画像形成装置 | |
JP2009284070A (ja) | 画像閲覧装置およびプログラム | |
CN101611423B (zh) | 将结构化数据用于在线调查 | |
JP2010128754A (ja) | 情報処理装置、表示制御方法、及びプログラム | |
JP5049880B2 (ja) | 情報処理装置 | |
JP2004246453A (ja) | 画像システム形成プログラム及び画像評価装置 | |
JP2003256428A (ja) | 画像形成プログラム及び画像形成装置 | |
JP2009282606A (ja) | 画像閲覧装置およびプログラム | |
JP4378942B2 (ja) | 情報管理方法、情報管理装置、情報管理方法をコンピュータに実行させるプログラム、このプログラムを記録した記録媒体 | |
WO2010084602A1 (ja) | 画像表示システム、方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20050704 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050704 |