図1、2は、本実施例の評価システムの概略的な手順を示す図の一例である。
(1)評価者は現実世界を移動中に興味のある評価の対象11に遭遇すると、ゆっくり歩いたり立ち止まったり、購入することが一般的である。図の例では評価者は、CDを購入し、自宅や移動中に聴視している。
(2)評価者は評価デバイス12を携帯している。評価デバイス12は無線通信が可能な評価の対象11を継続的に検出しており、通信が可能であれば評価の対象11と通信しIDを受信する。IDは評価の対象11を特定するための識別情報である。CDの場合は、例えばCDケースに無線通信チップが配置されている。
(3)評価者は、興味を持った評価の対象11を評価したいと考えた場合、予め定められている特定動作を行う。特定動作は、評価者が評価時に意識的に取る動作であればよく(無意識に起こす動作でなければよく)任意である。例えば、評価デバイスを空間内で動かす(ジェスチャー)、音声入力、又は、評価デバイス12の操作等が挙げられる。
(4)評価デバイス12は、この特定動作を検出した場合、ID(例えば12970とする)をサーバ13に送信する。
このままCDを評価することもできるが、評価者がCDの中の楽曲を指定して評価したい場合がある。このため、サーバ13は、CDという評価の対象11に紐づけられている評価の対象11の紐付け対象IDを保持している。CD(12970)の紐づけ対象IDは13870,13871である。CD(12970)に紐づけられているのは、例えば、CDに収録されている楽曲、アーティスト、作詞家、作曲者などである。
(5)サーバ13は、ID、紐付け対象ID(13870、13871)を評価デバイス11に送信する。サーバ13は、ID、紐付け対象ID(13870、13871)の名称(例えば楽曲名)を有しているので、その名称も送信することができる。
(6)評価デバイス11は、ID、紐付け対象ID及びそれらの名称を表示部に表示する。そして、評価者は1つ以上の紐付け対象の中から評価する紐付け対象を選択する。図では13870の紐付け対象を選択している。評価デバイス11は選択された紐付け対象ID(13870)をサーバ13に送信する。
サーバ13は紐付け対象ID(13870)を受信すると、ID(ここでは紐付け対象IDと同じもの)により評価の対象11を識別して評価数を集計する。評価数の集計とは、同じIDを受信する毎に受信したIDの評価数をカウントアップすることである。集計により、IDが13870の評価数は71となる。したがって、サーバ13が集計する評価数が多いIDを有する評価の対象11は多くの評価者により評価されていることを意味する。評価が「良いこと」を意味する場合、評価の対象11が多くの評価者により良いという評価を得ていることになる。
このように、本実施例の評価システムでは、評価者は現実空間において、商品やサービスを能動的に評価することができる。また、評価の対象の商品やサービスに関連する商品やサービスを評価することができる。
〔構成例〕
図3は、本実施形態の評価システム500の概略構成図の一例を示す。評価システム500は、評価の対象(無線通信チップ15)11、評価デバイス12、及び、サーバ13を有する。評価システム500に閲覧クライアント14を加えてもよい。なお、評価デバイス12を携帯する者を評価者と称するが、評価者は任意の者又は一定の資格を与えられた者のいずれでもよい。
<評価の対象及び無線通信チップ>
評価の対象11には無線通信チップ15が配置されている。無線通信チップ15は、例えばRFID(Radio Frequency Identification)を利用した例えばICタグである。ICタグは、比較的小さいチップとアンテナを有しており、少なくともIDを記憶している。ICタグは電波や電磁波を受信した場合、又は、自発的にIDを読み出して送信する。一般に、無線通信チップ15は評価の対象11と同一視できる。すなわち、評価の対象11と物理的に一体であり、また、分離が困難である場合がある。ただし、物理的に一体であることや分離が困難である必要はない。
無線通信チップ15は、例えば、半導体製造プロセスにて作成される。このような立体的な無線通信チップ15は、立体物や平面物の表面に貼付されたり、埋設されている。また、無線通信チップ15は、印刷技術を利用して形成することができる。どのような印刷技術で印刷されてもよいが、例えば、スクリーン印刷、フレキソ印刷、インクジェット法などがある。このような平面的な無線通信チップ15は、立体物や平面物の表面に直接、形成されるか、又は、印刷にて形成された後に貼付される。
ICタグとしての無線通信チップ15はどのようなものでもよく、バッテリを持たないパッシブ型、バッテリを持ち自発的に電波を発信するアクティブ型、又は、バッテリを持つが自発的に電波を発信しないセミパッシブ型のいずれでもよい。また、無線の周波数帯は、国や地域の規格で定められている場合があるが、周波数帯に制限はない。例えば、135kHz以下、13.56NHz、UHF帯(860M〜960M)、2.45GHzなどの周波数帯がある。また、NFC(Near Field Communication)、トランスファージェット(登録商標)のような、特定規格のICタグを利用することができる。
例えば、アクティブ型やセミパッシブ型の無線通信チップ15は通信距離が100メートル前後に達する。また、パッシブ型でもUHF帯の周波数で通信する無線通信チップ15は、通信距離が10メートル以上に達する。このため、評価者からみて遠方の評価の対象11を評価する際に有利である。一方、13.56MHzの周波数で通信する無線通信チップ15は、通信距離が数cmであるため、評価者が多くの評価の対象11から特定の評価の対象11を選択的に評価する際に有利である。
IDは、数字、記号、アルファベット又はこれらが組み合わせられた識別情報である。商品のIDコードとしてJAN(Japanese Article Number)コード、EANコード(European Article Number)、UPC(Universal Product Code)コードが知られている。IDは好ましくは、全世界、全国、又は、国や地域で一意であることが好ましいが、IDは評価の対象11の提供者が付与するものなので、評価システム500の規模によっては重複する可能性もある。しかし、ICタグにはIDだけでなく評価の対象の情報が記憶されている。ICタグに記憶される情報は、管理を容易にするための任意の情報であり、商品名、提供者名、商品サイズ、色、ロット番号等、様々である。よって、IDと他の情報までが一致することはほぼない。サーバ13はIDが重複した場合、その他の情報が一致するかどうかを判定し、その他の情報が一致しない場合には、別の評価の対象11であると判定する。この場合、IDとは別に枝番を付与してサーバ側でIDの一意性を管理することができる。
一方、展示会やデパートなどのように評価システム500が特定の範囲で展開される場合、特定の範囲で評価結果を集計すればよいので、展示会や商品売り場のような特定の範囲でだけ一意であれば十分である。
IDは評価の対象11だけでなく、評価の対象11と関連の深い対象にも付与されている。評価の対象11と関連が深い対象の例としては、例えば、CDが評価の対象11であれば楽曲・アーティスト・作詞家・作曲家が関連の深い対象であり、野球チームが評価の対象11であれば監督や選手が関連の深い対象であり、遊園地が評価の対象11であればスタッフやアトラクションが関連の深い対象である。関連の深い対象が、最初に評価の対象11となる場合もある。よって、関連の深い対象も評価の対象11であり、両者の呼び方の違いは説明の都合によるものである(IDと紐付け対象IDは同じ体系で付与される)。
なお、無線通信チップ15は、ICタグの他、Bluetooth(登録商標)、無線LANなどでもよい。
評価の対象11は、無線通信チップ15さえ有していればよく、有体物又は無体物のいずれでもよい。有体物の場合、商品、展示品、貸与品、自己・他人の所有物、単に置いてある物、廃品、路上に固定された地物、建築物等、あらゆる物が評価の対象11となりうる。無体物としては、サービス(役務)、観光地、光景、場所、空間などがあるが、何らかの有体物と結びつけられることで無線通信チップ15が配置可能となるので評価が可能である。例えばサービスには、飲食店、美容院、清掃、修理、人材紹介、教育、輸送、インフラサービス、区・市役所などの行政サービス、医療機関などがある。サービスの場合、提供者は、サービス提供場所、屋号のある場所、店舗内のテーブル、レジカウンタ、店員の端末などに無線通信チップ15を配置することができる。また、観光地、光景、場所、空間の場合、最寄りの駅、バス停、観光地の説明用の看板などに配置することができる。
<評価デバイス>
評価デバイス12は、無線通信チップ15及びサーバ13と通信可能な通信装置を有していればよい。例えば、スマートフォン、タブレット、ストレートPC、携帯電話、PDA(Personal Digital Assistant)、ノートPC等であれば、評価者が携帯する頻度が多いので、評価者は特定の評価デバイス12を用いることなく評価の対象11を評価できる。また、後述するように評価者は特定動作で評価の対象11を評価するので、特定動作が容易な形状の物を評価デバイス12とすることができる。例えば、指揮棒であれば、評価者は指揮棒を振り下ろすだけで評価の対象11を評価できる。また、展示会などでは入場者に名札を提供するが、この名札を評価デバイス12とすることができる。
評価デバイス12は、周期的に無線通信チップ15を探索し、無線通信チップ15が検出されると無線通信チップ15からIDを受信する。無線通信チップ15がIDを送信したことを記録してもよい。評価デバイス12は、IDを受信した後、特定動作を検出するとIDをサーバ13に送信する。IDを受信したが特定動作が検出されない場合、評価デバイス12のIDは最終的に破棄される。
また、通信手順の別の例として、評価デバイス12は、特定動作を検出すると、無線通信チップ15を探索し、無線通信チップ15が検出されると無線通信チップ15からIDを受信してもよい。評価デバイス12は、IDを受信すると、IDをサーバ13に送信する。
なお、評価デバイス12は送信したIDを記憶しておくことが好ましい。これにより、評価デバイス12を携帯する評価者が、閲覧クライアント14を操作する場合、評価したIDを閲覧クライアント14に入力して、自身が評価した評価の対象11の評価数を確認することができる。または、評価デバイス12を操作してサーバ13に自身が評価した評価の対象11の評価数を確認することができる。
評価デバイス12は、後述するプログラム114(アプリ)を実行して、本実施形態に特徴的な処理を行う。プログラム114は、サーバ13又はサーバ13が運営するファイルサーバなどからダウンロードされる。
<サーバ>
評価デバイス12はサーバ13とネットワークを介して通信する。ネットワークは、例えば携帯電話網、無線LAN網、又は、WiMAXなどと、IPネットワーク(インターネットプロトコルを利用して通信するネットワーク)とが組み合わされたネットワークである。すなわち、携帯電話網又はWiMAXの通信事業者のゲートウェイがIPネットワークと接続されており、無線LANのアクセスポイントはルータを介してIPネットワークと接続されている。評価デバイス12は、携帯電話網又はWiMAXの基地局と接続し、ゲートウェイを介してサーバ13と通信し、又は、無線LANのアクセスポイントと接続し、アクセスポイントからルータを介してサーバ13と接続されている。
サーバ13のIPアドレスは、評価デバイス12が実行するプログラム114に予め登録されている。また、評価デバイス12には予めグローバルIPアドレスが与えられていてもよいし、基地局やアクセスポイントが一時的にローカルIPアドレスを与えてもよい。
サーバ13は、2つの機能を有している。1つは、評価を集計する機能(以下、集計機能21という)であり、もう1つは評価結果を閲覧クライアント14に提供する機能(以下、提供機能22という)である。評価結果は、ID毎にIDを受信した受信数を合計したもの、又は、1回の受信に重み付け(例えば、1回の受信を2回と数えたり、ジェスチャーの強度によって1回の受信数をプラスアルファするなど)して合計したものである。
また、評価デバイス12は送信したIDへの応答として紐付け対象IDを受信する。評価デバイス12が評価者が選択した紐付け対象IDをサーバ13に送信した場合、集計機能は紐付け対象IDの評価の対象の評価を集計する。
提供機能では、サーバ13は、評価結果を閲覧クライアント14に提供する。閲覧クライアント14は、任意の情報処理装置であるが、評価デバイス12がそのまま閲覧クライアント14となる場合がある。閲覧クライアント14とサーバ13はネットワークを介して接続されている。閲覧クライアント14は、例えばブラウザを介してサーバ13に接続し評価結果を受信して表示し、また、電子メールとして送信された評価結果を受信して表示する。閲覧クライアント14にとってサーバ13のURL(又はIPアドレス)は既知であるかDNS(Domain Name Server)により提供される。
このように、閲覧クライアント14を操作する閲覧者は、どのような評価の対象11が高評価を得ているか、また、自分が評価した評価の対象11がどのくらいの評価を得ているかを確認できる。また、評価の対象11の提供者等は自身が提供する評価の対象11のIDを知っているか少なくとも入手可能なので、閲覧クライアント14にIDを入力することで、提供する評価の対象11の評価数を確認することができる。上記のように、評価デバイス12が閲覧クライアント14として動作する場合もある。
〔ハードウェア構成図〕
図4は、評価デバイス12のハードウェア構成図の一例を示す。評価デバイス12は、CPU101、ROM102、RAM103、フラッシュROM104、表示部105、操作部106、メディアI/F部107、無線LAN通信部108、キャリア通信部109、カメラ110、マイク111、加速度センサ112、及び、近距離無線通信部113を有する。
CPU101は、フラッシュROM104に記憶されたプログラム114を実行して評価デバイス12の全体の動作を制御する。ROM102は、IPL(Initial Program Loader)や静的なデータを記憶している。RAM103は、CPU101がプログラム114を実行する際のワークエリアとして使用される。
フラッシュROM104にはCPU101が実行するOS(例えば、Andoroid(登録商標)、iOS(登録商標)、Windows(登録商標))、ミドルウェア、及び、評価デバイス12の下記の機能を提供するプログラム114が記憶されている。プログラム114はアプリと呼ばれる場合がある。
表示部105は、液晶や有機EL、又は、プロジェクタであり、UI(User Interface)画面を表示する。不図示のグラフィック制御部は、CPU101がビデオRAMに書き込んだ描画コマンドを解釈して表示部105にウィンドウ、メニュー、カーソル、文字又は画像などの各種情報を表示する。なお、表示部105はタッチパネルを一体に有しており、ユーザ操作を受け付ける各種のソフトキーを表示する。
操作部106は、評価者の操作を受け付けるハードキー、タッチパネル、又は、タッチパネルに表示されるソフトキーである。ハードキー、タッチパネル、及び、ソフトキーの操作内容はCPU101に通知される。
メディアI/F107は、フラッシュメモリ等の記録メディアに対するデータの読み出し又は書き込み(記憶)を制御する。
プログラム114は、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録メディアに記録して配布される。また、プログラム114は、例えばサーバ13からインストール可能な形式又は実行可能な形式のファイルで評価デバイス12に配布される。
無線LAN通信部108は、IEEE802.11b/11a/11g/11nに基づき変調方式、伝送速度、周波数等を制御し、データを送受信する。データを受信する際は、受信した電波をデジタル信号に変換し、データを送信する際は、CPU101から送信要求されたデータを通信規格に従って変調等して電波として送信する。
キャリア通信部109は、評価デバイス12の評価者が契約している電気通信事業者によって様々な通信を行う。電気通信事業者は、例えば、CDMAやLTEなどの通信規格で通信する携帯電話事業者、WiMax事業者、などである。キャリア通信部109にはSIM(Subscriber Identity Module Card)カードが装着されている。SIMカードは、電気通信事業者が契約者に発行する契約者情報が記憶されたICカードであり、主にIMSI(International Mobile Subscriber Identity)と呼ばれる固有の番号及び携帯電話番号等が記憶されている。
キャリア通信部109は、電気通信事業者が定める通信方式に従い変調等を行い、インターネットに接続されている不図示の基地局と通信する。基地局は電気通信事業者の事業者サーバ13と接続されており、事業者サーバは評価デバイス12に一時的なIPアドレスを与え、ゲートウェイを介してIPネットワークにIDを送信する。
カメラ110は、CCDやCMOSの光電変換素子を備えたカラーの撮像手段である。カメラ110がステレオカメラである場合や超音波などによる測距機能を有する場合、評価の対象11との距離が分かるので、レンズの焦点距離から評価の対象11の大きさを推定できる。この場合、評価の対象11の画像による判別が容易になる。
また、マイク111は評価者の音声を集音して電気信号に変換する。また、評価デバイス12で動作するプログラム114はこの電気信号をテキストデータに変換するいわゆる音声認識を行う。
加速度センサ112は、x軸、y軸、及び、z軸方向の加速度を検出するセンサである。加速度センサ112は、評価デバイス12の向きを検知したり、空間における移動方向を検出する。また、加速度センサ112の他、ジャイロセンサ、地磁気センサ、指紋センサ等を備えていてもよい。ジャイロセンサはx軸、y軸、及び、z軸に対する評価デバイス12の角速度を検出する。地磁気センサは地磁気の向きから方位を検出する。これらのセンサの検出結果を組み合わせることで複雑な特定動作を検知可能となる。
近距離無線通信部113は、無線通信チップ15とRFID通信を行う。パッシブ型の場合、以下のような手順で通信する。近距離無線通信部113は、電波を所定範囲に送信する。この電波には無線通信チップ15を制御する制御信号(コマンド)が含まれる。無線通信チップ15は、電波を受信することでアンテナが電波と共振し起電力が発生させ、発生した電力により、回路を起動し、制御信号に応じた処理(IDを読み出し送信する処理)を行う。無線通信チップ15は、所定の周波数の搬送波をIDで変調して電波として送信する。近距離無線通信部113は、この電波を復調してIDを取り出す。
なお、近距離無線通信部113は、Bluetooth(登録商標)、UWB(Ultra Wide Band)などでもよく、これらと別にRFID通信の機能を有していてもよい。
図5は、サーバ13のハードウェア構成図の一例を示す。サーバ13は、一般的な情報処理装置の構成を有していればよい。
サーバ13は、CPU301、ROM302、RAM303、HDD304、グラフィックボード305、キーボード・マウス306、メディアドライブ307、及び、通信装置308を有する。CPU301は、RAM303を作業メモリにしてHDD304に記憶されたプログラム310を実行し、サーバ13の全体を制御する。キーボード・マウス306はシステム管理者の操作を受け付ける入力装置である。メディアドライブはCD、DVD及びブルーレイディスクなどの光学メディアにデータを読み書きする。通信装置308は、例えばネットワークに接続するためのイーサネット(登録商標)カードである。グラフィックボード305にはディスプレイ320が接続されており、グラフィックボード305にはディスプレイ320にGUI(Graphical User Interface)やCUI(Character-based User Interface)を表示する。
HDDには、OS(Windos Linux(登録商標)等)、ミドルウェア、及び、集計機能21と提供機能22を提供するプログラム310が記憶されている。プログラム310は、インストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記録メディアに記録して配布される。また、プログラム310は、不図示のサーバ13からインストール可能な形式又は実行可能な形式のファイルで配布される。
閲覧クライアント14のハードウェア構成はサーバ13と同様であるが、同一である必要はない。
〔機能について〕
図6は、評価デバイスを含む評価システムの機能ブロック図の一例を示す。評価デバイス12は、通信部31、インターネット通信部32、制御部33、記憶部34、及び、動作感知部35を有している。評価デバイス12は制御部33により制御される。制御部33は、予め定められた手順で通信部31やインターネット通信部32を制御して、無線通信チップ15から受信したIDをサーバ13に送信する。なお、インターネット通信部32は評価結果を受信することができる。
<評価デバイス>
通信部31は、近距離無線通信部113を制御して、無線通信チップ15からIDを取得する。インターネット通信部32は、例えばFTP、HTTPなどのアプリケーション層のプロトコルに基づき、キャリア通信部109や無線LAN通信部108を制御してサーバ13と通信し、IDをサーバ13に送信する。また、インターネット通信部32はサーバ13から紐付け対象IDを受信して、評価者が選択した紐付け対象IDをサーバ13に送信する。
通信部31の通信可能範囲に複数の評価の対象11があるため、複数の無線通信チップ15が短時間にIDを返す場合がある。この場合、インターネット通信部32がサーバ13に送信するIDは以下のように制御される。
・全て送信する
・一番最後のIDを1つだけ送信する
・評価者が選択したIDを1つだけ送信する
・電波強度が最も高いIDを1つだけ送信する
全て送信するのは、複数の評価の対象11をまとめて評価してもよい場合であり、例えばデザイン性に統一がある日用品やインテリアなどの一連の商品の評価に有効である。一番最後のIDとは、最も新しいIDを受信してから次のIDを受信するまでに所定時間以上が経過した場合(つまり、IDの受信が途切れた場合)に最後に受信されたIDである。評価者は移動しており評価の対象11に興味を持つ際に立ち止まることが想定されるが、最後のIDは立ち止まった時の興味がある評価の対象11のIDである可能性が高い。このため、一番最後のIDを送信することで評価者が評価している評価の対象11のIDをサーバ13に送信できる。
評価者が選択したIDとは、いくつかのIDから評価者が選択したIDである。
図7(a)は通信部31が通信し表示部105に表示されたIDの一例を示す図である。例えば、通信範囲に3つの評価の対象11(図ではCD)があり、表示部105が3つのIDを表示している。この場合、評価者は評価デバイス12に改めて評価の対象11と通信させるなどして、自分が評価している評価の対象11のIDを特定する。近距離無線通信部113に指向性がある場合、評価デバイス12を向けた評価の対象11がIDを返すので、評価者は評価の対象11のIDを特定できる。また、無線通信チップ11が商品名などの情報を評価デバイス12に送信した場合、評価デバイス12が表示部105にIDと共に商品名(CD 「J」「K」「L」)などを表示するので、評価者はIDを選択しやすくなる。
また、電波強度が最も高いIDとは、評価デバイス12の最も近くにある評価の対象11である。図7(b)は電波強度により選択されるIDの一例を示す図である。通信部31は、最も電波強度が強かった無線通信チップ15のIDを特定することができるので、評価デバイス12は例えば、矩形枠で該IDを囲んだり、IDを反転表示などする。評価者が評価の対象11に興味を持つ場合、評価の対象11の近くに接近すると考えられるので、評価者が評価している評価の対象11のIDを送信することができる。
なお、評価者にIDを選択させることなく、インターネット通信部32は電波強度が最も高い無線通信チップ15のIDをサーバ13に送信してもよい。
ここで、インターネット通信部32は、ID以外の情報を付加することが好ましい場合がある。例えば、サーバ13がIDだけでは評価の対象11を特定できない場合が生じうる(IDが登録されていない場合やIDは同じだが異なる評価の対象11が登録されている場合)。このため、インターネット通信部32、評価の対象11に関連する可能性がある関連情報をIDと共に送信する。
関連情報は、例えば、無線通信チップから受信した情報、評価デバイス12の固有番号、位置情報、時刻情報、評価者の進行方向、評価の対象11の画像、評価者が評価の対象11について入力したコメント等である。無線通信チップから受信した情報は、上記のように管理を容易にするための任意の情報である。固有番号は例えばIMSIや携帯電話番号である。位置情報は、評価デバイス12が備えるGNSS(Global Navigation Satellite Systems)が検出する。また、複数の基地局からの電波強度と基地局の位置から算出することもできる。進行方向は、東西南北を指示する情報で、例えば時系列の位置情報や地磁気センサの検出値により特定される。評価の対象11の画像はカメラ110が撮影する。コメントは、例えば、評価の対象11の名称や具体的な評価内容であり評価者が評価デバイス12に入力する。
展示会やデパートなどのように評価システム500が特定の範囲で展開される場合、関連情報に評価者が送信を許可した個人情報を含めることも有効である。個人情報は主に連絡先であり、社名、氏名、住所、電話番号、電子メールアドレスなどを含んでいる。評価者が評価の対象11に興味を持ち、評価の対象11の詳しい資料が欲しいと思う場合は少なくない、また、このような評価者と連絡を取りたい商品やサービスの提供者も少なくない。例えば、展示会ではこのようなニーズは多い。
記憶部34は、通信部31が受信するID、及び、好ましくはIDを受信した時の位置情報と時刻情報を記憶する。また、評価者がカメラ110で評価の対象の画像を撮影した場合は評価の対象11の画像を記憶する。
動作感知部35は、例えば加速度センサ112が検出した加速度が特定動作により生じたことを感知して制御部33に通知する。加速度センサ112により検知する特定動作をジェスチャー動作と称する。動作感知部35が感知する特定動作は、例えば、縦に評価デバイス12を振る動作であり、この場合、動作感知部35は下方向の加速から上方向の加速へ連続的に変化する加速度を感知する。この他、特定動作は、評価者が評価デバイス12を上下に何回か振る動作、左右に何回か振る動作、前方に突き出す動作等を定めておくことができ、加速度センサ112は動作に応じた加速度の変化を検知する。動作感知部35は、各特定動作の典型的な加速度の変化を予め記憶しており、それと比較することで評価者の特定動作を検出する。
また、特定動作は、ジェスチャー動作だけでなく、音声による入力を特定動作としてもよいし、評価デバイス12のハードキー、ソフトキー又はタッチパネルへの操作を特定動作としてもよい。
また、写真を撮ることを特定動作としてもよい。また、ジェスチャー動作に、音声入力又は評価デバイス12への操作を組み合わせて、複数の特定動作を検出することを、ID送信の条件とすることもできる。
また、動作感知部35は、よい評価の特定動作と悪い評価の特定動作を区別して検出することができる。この場合は、よい評価の特定動作と悪い評価の特定動作に典型的な加速度の変化を予め記憶しており、それぞれと比較することで評価者の特定動作を検出する。
<サーバ>
・集計機能
サーバ13の集計機能21は、送信部41,受信部42、評価数加算部25、ID検索部24、対象特定部26、ID登録部43、及び、評価情報管理DB20を有している。評価情報管理DB20は、サーバ13がアクセスできればサーバ13が有していなくてもよい。
受信部42は評価デバイス12からID、及び、関連情報がある場合は関連情報を受信する。ID検索部24は、IDに基づき評価の対象11を特定する。上記のようにIDにより評価の対象11を特定できる場合とできない場合がある。例えば、サーバ13に予め登録されている評価の対象11にしかIDが付与されていない場合、ID検索部24はIDから一意に評価の対象11を特定できる。このような状況は、展示会やデパートなどのように特定の範囲で評価システム500が展開される現実世界で実現可能である。これに対し、サーバ13が関与しないで様々な提供者が任意のIDを評価の対象11に付与する場合、IDだけでは評価の対象11を特定することが困難となる。すなわち、サーバ13にIDが登録されていない場合又はIDが重複する場合がある。
本実施例では、評価デバイス12が送信したIDに紐付け対象IDが登録されていることが前提となっているので、サーバ13にIDが登録されているものとして処理が進められる。しかしながら、後述のように対象特定部26が評価の対象11を特定することも可能である。
ID検索部24は、IDが重複する可能性がある場合には、関連情報に基づき重複するIDを絞り込む。ID検索部24は、評価情報管理DB20からIDに対応づけられた紐付け対象IDを読み出し、送信部41に出力する。送信部41は紐付け対象IDを評価デバイス12に送信する。受信部42が評価デバイス12から紐付け対象IDを受信した場合、その紐付け対象IDを評価加算部25に通知する。
また、ID検索部24は、すでに評価情報管理DB20に登録されているIDと一致するIDがない場合、そのIDを新たに評価情報管理DB20に登録し、評価数加算部25に通知する。新たに登録されたIDの評価数はゼロである。
なお、ID検索部24は、関連情報に含まれる固有番号を参照して、すでに同じ評価デバイス12からIDを受信している場合、IDを破棄してもよい。こうすることで、同一の評価者が同じ評価の対象11を何度も評価することを抑制できる。
ID登録部43は、評価者が関連の深い対象を登録する場合に、関連の深い対象の紐付け対象IDを生成し、評価の対象11のIDに対応づけて評価結果テーブルに登録する。
図8(a)は、評価情報管理DB20に記憶されている評価結果テーブルの一例を、図8(b)は対象情報テーブルの一例をそれぞれ示す。説明上、テーブルは2つに分けてあるが1つのテーブルとすることもできる。
評価結果テーブルでは、「ID」に対応づけて、「評価数」「紐付け対象ID」「関連情報」が対応づけられている。評価数は、評価数加算部25が原則的に1つずつ大きくする。紐付け対象IDは、該IDの評価の対象11と関連の深い対象のIDである。紐付け対象IDは例えば評価システム500の管理者が登録しておくものであるが、評価者が評価の対象11に紐付け対象IDを新たに紐づけることができる。図9に一例が示された関連情報は、上記のとおり、固有番号、位置情報、評価の対象11の画像、コメント、無線通信チップから受信した情報等である。
図8(a)の評価数は、IDの送信をよい評価として集計する場合の評価数である。悪い評価も集計する場合、「評価数(良)」「評価数(悪)」のように2つの評価数が集計される。
また、サーバ13は評価された評価の対象11が何かを特定することが可能であることが好ましい。このため、サーバ13は対象情報テーブルを有している。
対象情報テーブルでは、「ID」に「商品ID」「対象情報」が対応づけて登録されている。展示会やデパートのように評価システム500が特定の範囲で展開される場合、IDと評価の対象11の商品やサービスの関係が特定されているので、評価の対象11のIDだけでなく、商品ID、名称、提供者、値段等が既知となっている。商品IDは商品の提供者が商品を特定するための識別情報である。商品IDは提供者が管理するので、同一の提供者内で一意であればよい。「名称」には、例えば商品やサービスの名称(例えば、CD名、楽曲名、アーティスト名、商品の普通名称)などが記述され、「提供者」には評価の対象11の例えば製造者・販売者が記述される。「値段」には商品の値段が記述されるが必須ではない。この他、商品やサービスの普通名称を対象特定テーブルに登録してもよい。よって、閲覧クライアント14は、ID又は評価の対象11の名称や提供者を指定して評価数を閲覧することができる。
また、評価の対象11にサーバ13が関与しないでIDが付与される場合、IDだけではどのような評価の対象11かを特定できない。そこで、サーバ13は関連情報から継続的に対象情報を構築することが好適となる。
ID判定部24が評価情報管理DB20に登録されているIDと一致するIDがないと判定した場合、サーバ13の対象特定部26は評価情報管理DB20のIDや関連情報を利用して評価の対象11を特定する。対象特定部26は、例えば、関連情報のコメントを構文解析して名詞を取り出し、辞書やサーチエンジンによる検索で、名称や提供者を特定する。
なお、動作感知部35が特定動作を感知した場合に、プログラム114が表示部105に名称、提供者、及び、値段等の入力欄を表示することも可能である。評価者が明示的に名称、提供者、及び、値段等を入力して送信した場合、対象特定部26はそれらを利用することで確実に対象情報を登録できる。
また、無線通信チップが、名称、提供者、及び、値段等の情報を記憶している場合があり、IDと共にそれらを評価デバイス12に送信する場合、対象特定部26は無線通信チップの情報で評価の対象11を特定できる。
また、対象特定部26は、関連情報の位置情報が示す位置にある店舗を地図データから特定して、名称や提供者を特定する。地図データには店舗名(提供者)が登録されていることが少なくないし、店舗名から扱っている商品やサービスの名称を検索することも可能になる。したがって、公知の検索エンジンに位置情報や住所を入れることで、名称や提供者を特定することができる。
また、対象特定部26は、画像から評価の対象11を特定することもできる。実施例2にて説明するような画像のマッチング方法でデータベースやインターネットを検索することで、評価の対象11の画像と一致する画像を特定し、その画像の説明文から商品名や販売者を抽出し名称、提供者、値段を特定する。対象特定部26はこのようにして特定した評価の対象11の情報を対象情報テーブルに登録する。
評価数加算部25は、ID検索部24からIDを通知されると、評価情報管理DB20のIDに対応づけられた評価数を1つ大きくする。評価数加算部25は、受信部42から紐付け対象IDを通知されると、評価情報管理DB20のIDに対応づけられた評価数を1つ大きくする。こうすることで、送信されるIDの回数が多い評価の対象11に高い評価を与えることができる。
・提供機能
サーバ13の提供機能22は、閲覧要求受信部27、評価データ作成部28、及び、評価データ送信部29を有している。閲覧要求受信部27は、閲覧クライアント14から評価結果の閲覧要求を受信する。閲覧クライアント14は例えばブラウザでサーバ13にアクセスすると、閲覧要求受信部27はトップページのHTMLデータを閲覧クライアント14に送信する。
図10(a)は、閲覧クライアント14に表示されたトップページの一例を示す図である。トップページには、上位表示領域501と検索領域502がある。上位表示領域501には、評価数が上位10件のIDとその評価数が表示される。さらに商品名などを表示してもよい。検索領域502では、IDによる検索と名称による検索が可能になっている。IDによる検索では、「IDを入力してください」と記述され、名称による検索では、「名称を入力してください」と記述されている。これら以外に商品ID、提供者等の入力を可能としてもよい。閲覧クライアント14の操作者は、例えば、商品IDが既知の場合は、商品IDで目的とする評価の対象11の評価数を確実に受信できる。このように、閲覧クライアント14の操作者は所望の方法で評価の対象11の評価数を検索することができる。
閲覧要求受信部27が閲覧クライアント14からID又は名称を受信すると、評価データ作成部28が評価データを作成する。IDを受信した場合、評価データ作成部28は評価結果からIDを検索し、IDが一致するレコード(行)の評価数を読み出す。また、対象情報がある場合は、対象情報も共に読み出すことが好ましい。また、評価データ作成部28はIDに対応づけられた紐付け対象IDをキーにして、IDが一致するレコード(行)の評価数を読み出す。
評価データ作成部28は、少なくともIDと評価数を含み、さらに対象情報を含み得る評価データを例えば、HTMLで作成する。評価データ送信部29は、評価データを閲覧クライアント14に送信する。商品IDを受信した場合は、商品IDをIDに変換してから同様の処理を行う。
また、例えば名称を受信した場合、評価データ作成部28は評価結果から名称に一致するIDを全て検索し(つまり複数ある場合は全て)、各IDに対応づけられた評価数を読み出す。評価データ作成部28は、少なくともIDと評価数を含み、さらに対象情報を含み得る評価データを例えば、HTMLで作成する。
これにより、閲覧クライアント14は図10(b)に示すような評価データを表示することができる。図10(b)では、トップページに新たに検索結果領域503が表示されている。検索結果領域503には、ID、名称及び評価数が表示されている。このように、閲覧クライアント14は、ある現実世界の評価の対象11と関連の深い対象の評価数を表示することができる。なお、図示する以外に、サーバ13が管理する情報であれば原理的に閲覧クライアント14が表示することができる。例えば、コメント、評価の対象11の画像、評価の対象11がある場所(位置情報)などを表示できる。
また、評価データ作成部28は、評価数等を加工することができる。評価データ作成部28は、時刻情報を参照して、例えば最近の1時間の評価数だけを集計したり、位置情報を参照して地域別の評価数を集計したり、固有番号を参照して評価者別の評価数を集計できる。
このような評価システム500の運営者は、有償無償を問わずID、評価数、関連情報、商品ID、及び、対象情報を提供する。例えば、展示会やデパートに評価システム500を適用した場合、展示会の出展者やデパート内の店舗にIDと評価数を提供する。また、この場合、関連情報、特に個人情報を提供することが有効である。展示会の出展者やデパート内の店舗はIDに基づき評価の高い評価の対象11を把握することができ、評価の対象11に興味のある評価者と連絡を取ることができる。
また、評価システム500をSNS(Social Networking Service)やWebサイトに適用した場合、SNSやWebサイトは現実世界で評価の高い評価の対象11をWebサイトの閲覧者に提供できる。この結果、SNSやWebサイトの訪問者が増え、広告収入の増大を期待できる。
〔動作手順〕
図11には3つの通信手順が示されている。これらは一例であり、どの通信手順を採用してもよく、また、これ以外の通信手順を採用してもよい。
図11(a)は、本実施例の評価デバイス12が評価の対象11を評価する手順を示すフローチャート図の一例である。図11(a)の手順は評価デバイス12がプログラム114を実行している間、繰り返し実行される。
通信部31は、無線通信チップ15と通信を確立する(S10)。通信を確立するとは、無線通信チップ15と通信部31が通信可能となること、又は、お互いの識別情報を交換してデータの送受信が可能となったことなどをいう。通信手順についてはRFID等の規格に従えばよい。また、通信の確立をIDを受信したことで検出してもよい。通信部31は、周期的に無線通信チップ15を探索しており、通信範囲に無線通信チップ15が存在するとIDを受信する。いったんIDを受信した後は、通信の確立状態を維持しなくてもよいし、相手が存在することを確認するために何らかの情報をお互いが繰り返し送受信してもよい。
なお、通信を確立した場合、評価デバイス12は音楽や振動を生じさせたり、表示部105にメッセージやアイコンを表示するなどして評価者にIDの受信を知らせることも有効である。評価者は、IDを受信したため、評価の対象11の評価が可能であることを把握できる。
無線通信チップ15と通信が確立した場合(S10のYes)、制御部33は動作感知部35が特定動作を感知したか否かを判定する(S20)。この処理については後述する。
動作感知部35が特定動作を感知した場合(S20のYes)、制御部33は、無線通信チップ15のIDを記憶部34に記憶する(S30)。上記のように、関連情報を一緒に記憶することが有効である。
また、複数の無線通信チップ15と通信した場合、上記のように、評価者又は評価デバイス12が1つのIDを選択してもよいし、全てのIDを記憶してもよい。
制御部33は、インターネット通信部32に記憶部34に記憶されたIDをサーバ13に送信させる(S40)。なお、電波状態などにより通信が困難な場合、インターネット通信部32は電波状態が良好になった場所で、記憶部34に保存されたIDを送信する。このようにしてIDがサーバ13に送信される。
次に図11(b)の手順について説明する。図11(b)では、図11(a)とは逆に、通信の確立よりも先に動作感知部35が特定動作を感知している。
図11(b)では、動作感知部35が特定動作を感知した場合(S20のYes)、制御部33は、通信部31に無線通信チップ15との通信を指示する。
通信部31が無線通信チップ15との通信を確立させた場合(S10のYes)、無線通信チップ15のIDを記憶部34に記憶する(S30)。この場合も、評価デバイス12は音楽等で、IDを受信したことを評価者に通知することが好ましい。
制御部33は、記憶部34に記憶されたIDをインターネット通信部32にサーバ13に送信させる(S40)。
図11(b)のような手順では、通信部31が常に無線通信チップ15を探索する必要がないので、消費電力を抑制できる。また、特定動作とIDの受信が一連の処理になるので、評価者は評価の目的の評価の対象11のIDを受信できたか否かを判断しやすい。
また、図11(c)の手順に示すように、IDの送信までに複数の特定動作を検出してもよい。
図11(c)では、動作感知部35が1つめの特定動作を感知した場合(S20のYes)、制御部33は、通信部31に無線通信チップ15との通信を指示する。1つめの特定動作は例えば、ジェスチャー動作である。
通信部31が無線通信チップ15との通信を確立させた場合(S10のYes)、動作感知部35は2つめの特定動作を感知したか否かを判定する(S20−2)。2つめの特定動作は例えば、タッチパネルの操作である。2つめの特定動作を感知した場合、制御部33は、無線通信チップ15のIDを記憶部34に記憶する(S30)。この場合も、評価デバイス12は音楽等で、IDを受信したことを評価者に通知することが好ましい。
そして、制御部は、記憶部34に記憶されたIDをインターネット通信部にサーバ13に送信させる(S40)。
図11(c)のような手順では、1回目の特定動作でIDを受信でき、2回目の特定動作でIDを送信できるので、評価者は評価の目的の評価の対象11のIDを確認してからIDをサーバ13に送信できる。また、1回目の特定動作で複数のIDを受信した場合に、1つのIDを選択することができる。
<S20の特定動作の検出>
特定動作がジェスチャー動作である場合に、動作感知部35による特定動作の感知について説明する。図12は、動作感知部35がジェスチャー動作を感知する手順を示すフローチャート図の一例である。
加速度センサ112は加速度を時系列で記録する(S201)。
動作感知部35は、過去、数秒から数百ミリ秒の加速度の時系列を取り出す(S202)。
動作感知部35は、予め記憶している特定動作の典型的な一連の加速度と、検出した一連の加速度を時系列マッチングする(S203)。比較には例えばDP(Dynamic Programming)マッチングを利用する。DPマッチングでは、典型的な一連の加速度と、検出した時系列の加速度の差を距離として算出する。
動作感知部35は距離が閾値内であるか否かを判定し(S204)、閾値内である場合(S204のYes)、特定動作を感知し(S205)、閾値内でない場合(S204のNo)、特定動作を感知しない(S206)。
なお、DPマッチングによる判定は一例であって、公知のパターン認識技術により特定動作を検出できる。
<サーバの動作>
図13は、サーバ13がIDを受信する手順を示すフローチャート図の一例である。
評価デバイス12のインターネット通信部32は評価の対象11のIDをサーバ13に送信する(S101)。
サーバ13の受信部42はIDを受信する(S110)。好ましくはこの時、関連情報も受信する。
ID検索部24は、受信したIDにより評価情報管理DB20を検索する(S120)。IDが一致する評価の対象11が見つかると、IDに対応づけられている紐付け対象IDを読み出す(S130)。複数の紐付け対象IDが対応づけられている場合は、全ての紐付け対象IDを読み出す。
また、ID検索部24は対象情報テーブルから、IDと紐付け対象IDにそれぞれ対応づけられている対象情報を取得する(S140)。
送信部41は、IDと対象情報、紐付け対象IDと対象情報を組み合わせて、評価デバイスに送信する(S150)。なお、紐付け対象IDが1つもない場合は、その旨を評価デバイスに送信する。
評価デバイス12のインターネット通信部32はIDと対象情報、紐付け対象IDと対象情報をそれぞれ受信する(S102)。
制御部33は表示部に受信したIDと対象情報、及び、紐付け対象IDと対象情報を表示する(S103)。なお、IDや紐付け対象IDは数値の羅列なので、評価者が名称を特定できない場合には、表示しなくてもよい。この画面例を図14に示している。
制御部33は、評価者の選択を受け付ける(S104)。
インターネット通信部32は制御部33が選択を受け付けた紐付け対象IDをサーバ13に送信する(S105)。
サーバの受信部42は、紐付け対象IDを受信する(S160)。評価数加算部25は紐付け対象IDの評価を更新する(S170)。すなわち、紐付け対象IDに対応づけられている評価数をカウントアップする。
以上により、サーバ13は評価の対象11と関連づけられた対象を評価することができる。なお、ステップS101で送信された評価の対象11のIDの評価数も、カウントアップすることができる。評価の対象11も評価することで、関連の深い対象の評価が高い評価の対象11の評価数が大きくなるので、評価の対象11の評価が高いことを評価数に反映させることができる。
図14は、ステップS103により評価デバイスの表示部に表示される画面の一例を示す図である。評価デバイスの表示部には、評価の対象及び関連の深い対象の名称と、評価数が表示される。図の例では、評価デバイスが直接、無線通信したのはCD「J」であり、楽曲「T」「U」及びアーティスト「H」はCD「J」のIDに対応づけられた紐付け対象IDの対象情報に含まれている。
このように評価者は、無線通信したCD「J」だけでなく、楽曲「T」「U」及びアーティスト「H」を評価することができる。評価者は評価デバイスの表示部をタッチして、この中から評価したい名称を選択する(ステップS105の処理に対応)。図では楽曲「T」が選択されている。この後、評価者の操作により、選択された名称の紐付け対象IDはサーバ13に送信される。
〔紐付け対象IDの登録〕
図8(a)の評価結果テーブルでは、IDと紐付け対象IDが予め対応づけられていた。この場合、評価者が評価できるのはIDに紐づけられている紐付け対象IDに制限されてしまう。例えば、評価者がCD「J」のジャケットのアートワーク(イラストや写真などの製品の外観デザイン)を評価したい場合に、CD「J」の紐付け対象IDにアートワークはないので評価できない。
そこで、評価デバイスは次のようにして新たに紐付け対象IDを登録する。図14に示したように評価デバイスは「選択肢を追加」ボタン601を表示する。評価者が「選択肢を追加」ボタン601を押下すると、CD「J」に紐付け対象IDと対象情報を登録するための画面が表示される。
図15は、評価デバイスの表示部に表示される紐付け対象の対象情報を登録するための画面の一例を示す図である。図15では「CD「J」の対象情報を追加します」と表示されている。評価者は入力欄602に名称を入力し、「OK」ボタンを押下することで、CD「J」に新たに紐付け対象IDと対象情報を登録できる。紐付け対象IDは自動的に生成される。
評価者は入力欄602に、例えば、"アートワーク「J」"と入力して、OKボタンを押下する。これにより、評価デバイスは、CD「J」のIDと共に"アートワーク「J」"をサーバ13に送信する。
サーバ13のID登録部43は、アートワーク「J」の紐付け対象IDを生成し、CD「J」のIDに対応づけて紐付け対象IDとして評価結果テーブルに登録する。
図16は、評価結果テーブルと対象情報テーブルの一例を示す図である。"アートワーク「J」"のIDとして新たに"19871"が生成され、IDのカラムに登録されている。
新たなID19871の評価数は"0"、このIDの紐付け対象IDはCD「J」の12970である。また、CD「J」の紐付け対象IDに19871が追加されている。この時点で、新たなID19871の評価数を"1"としてもよい。評価者が"アートワーク「J」"(ID19871)を評価したいと考えていることが推定されるためである。
また、対象情報テーブルでは、IDのカラムに新たに"19871"が登録されている。商品IDは、CD「J」と同じでよく、名称は評価者が入力した値が登録される。提供者は例えばCD「J」と同じとすることができる。値段は入力されないが、評価者が入力したような場合は登録することができる。
図17は、サーバ13がIDを受信する手順を示すフローチャート図の一例である。図17は、ステップS103までの処理は図13と同様となる。その後、評価者は「選択肢を追加」ボタン601を押下して、図15のIDに新たな紐付け対象IDと対象情報を登録する画面を表示させる。
評価デバイスの制御部33は、評価者が入力したCD「J」の新たな名称を受け付ける(S1031)。ここでは、アートワークを評価するため新たな名称として「アートワーク」と入力する。
インターネット通信部は、CD「J」のIDと新たな名称を引数にして登録要求をサーバ13に送信する(S1032)。
サーバ13の受信部42は登録要求(CD「J」のIDと新たな名称)を受信する(S1051)。
ID登録部43は、CD「J」の紐付け対象IDとなる、新たなIDを生成する(S1052)。新たなIDは、評価情報管理DB20にすでに登録されているIDと重複しないように選択される。
ID登録部43は、図16に示したように、評価結果テーブルと対象情報テーブルを更新する(S1503)。
サーバ13は新たなIDの追加の完了を評価デバイスに送信する(S1504)。この時、サーバ13は、評価者が追加した紐付け対象IDの対象を選択できるように、新たなID、名称及び評価数を通知する。
評価デバイスのインターネット通信部は追加完了を受信する(S1033)。
制御部33は新たなID、名称及び評価数を用いて画面を更新する(S1034)。
図15(b)は表示部に表示される画面例を示す。図15(a)にて入力された「ワートワーク「J」」が表示されている。
この後、図13のステップS104以降と同様に、評価者はCD「J」と共に、CD「J」と関連が深い評価の対象を評価できる。すなわち、例えば追加したアートワークを選択してサーバ13に送信すれば、アートワークの評価数を1つ大きくすることができる。
以上により、サーバ13は評価の対象11に、評価したい対象が関連づけられていなくても、新たに登録して評価の対象を評価することができる。
本実施例ではIDの取得経路が異なる評価システムについて説明する。
図18、19は、本実施例の評価システム500の概略的な手順を示す図の一例である。
(1)評価者は現実世界を移動中に興味のある評価の対象11に遭遇すると、ゆっくり歩いたり立ち止まったり、購入することが一般的である。図の例では評価者は、CDを購入し、自宅や移動中に聴視している。
(2)評価者は、興味を持った評価の対象11を評価したいと考えた場合、撮影の前後のいずれかに特定動作を行い、評価の対象11を撮影する。物の場合は、直接、その物を撮影すればよく、サービスの場合は、看板や店舗などをサービスと関連がある場所を撮影する。CDの場合なら、ジャケットやCDに直接、印刷されているラベルが撮影される。
(3)評価デバイス12は、画像データをサーチサーバ16に送信する。サーチサーバ16はIDに評価の対象11の画像データが対応づけられた画像データDB(又は、特徴データベース)を有するサーバである。
(4)サーチサーバ16は、評価デバイス12が送信した画像データに基づき画像データDB42をサーチして、評価の対象11のIDを特定する。
(5)サーチサーバ16は、画像データのIDを特定できると、その画像データのIDを評価デバイス12に送信する。
(6)評価デバイス12は、このIDをサーバ13に送信する。以降は、実施例1と同様であり、サーバ13は評価情報管理DB20においてIDに対応づけられた紐付け対象IDを評価デバイスに送信する。
したがって、本実施例によれば、無線通信チップ15と通信してIDを受信することなく、評価デバイス12が写真を撮ることでIDを取得できる。そして、実施例1と同様に評価数を集計できる。
〔構成例〕
図20は、本実施形態の評価システム500の概略構成図の一例を示す。図20において、図3にて説明した部分は、主要部のみ説明する。本実施例の評価システム500は、評価の対象11、評価デバイス12、サーバ13、及び、サーチサーバ16を有する。
本実施例では、評価の対象11に無線通信チップ15は配置されていない。配置されていてもよいが、評価デバイス12はIDをサーチサーバ16から受信する。評価の対象11は、実施例1と同様である。
<評価デバイス>
評価デバイス12は、カメラ110を有し、サーバ13及びサーチサーバ16と通信可能な装置であればよい。例えば、スマートフォン、タブレット、ストレートPC、携帯電話、PDA(Personal Digital Assistant)、ノートPC等であれば、評価者が携帯する頻度が多いので、評価者は特定の評価デバイス12を用いることなく評価の対象11を評価できる。
評価者が評価の対象11を撮影する場合、全体やその特徴的な箇所を撮影するはずである。例えば、物の全体やロゴが含まれるように撮影する。また、サービスの場合、評価者は店舗の看板、店舗の全体等を撮影する。観光地、光景、場所、空間の場合、最寄りの駅やバス停、観光地の説明用の看板などを撮影することもあるし、いわゆるよい光景や風景を撮影する。これらの想定される画像データがサーチサーバ16に登録されている。
<サーチサーバ>
サーチサーバ16は情報処理装置であればよい。サーチサーバ16のハードウェア構成図はサーバ13と同様である。
サーチサーバ16が評価デバイス12とする通信する通信方法は、実施例1にて説明したサーバ13と評価デバイス12が通信する場合と同様である。また、図ではサーバ13とサーチサーバ16を別々に示しているが、サーバ13とサーチサーバ16は1つの情報処理装置内に実装してもよい。サーチサーバ16は、評価デバイス12が撮影した画像データと一致する画像データを画像データDB42から検索する。
〔機能について〕
図21は、本実施例の評価デバイス等の機能ブロック図の一例を示す。なお、図21(a)はサーチサーバ16がパターンマッチングする際の機能ブロック図を、図21(b)はサーチサーバ16がビジュアルサーチする際の機能ブロック図をそれぞれ示している。
図21において図6と同一構成部の説明は省略する。
本実施例では、評価デバイス12がサーチサーバ16と通信するように構成される。また、評価の対象11は無線通信チップ15を有する必要がないため(有していてもよいが)、評価デバイス12が通信部31を有する必要がない。一方、評価デバイス12は評価の対象11をカメラ110で撮影するために撮影部36を有している。
画像データの撮影からIDの受信までの手順にはいくつかバリエーションがあるが、例えば、動作感知部35が特定動作を検出することを契機にすることができる。撮影部36は、カメラ110により評価の対象11を撮影し画像データを取得する。実施例1と同様に、撮影した時刻情報、位置情報を記憶部34に記憶することが好ましい。
インターネット通信部32は、キャリア通信部109や無線LAN通信部108を制御して、サーチサーバ16と通信し、画像データをサーチサーバ16に送信する。評価者は1つの評価の対象11を複数回、撮影することがある。また、評価者の撮影操作は1回でも、撮影部36は何枚かの画像データを撮影することで、画像データDB42の検索が容易になる。このように、IDと異なり、インターネット通信部32は同じ評価の対象11の画像データを複数枚送信することが有効な場合がある。
また、本実施例では撮影を特定動作とみなすことができ、この場合、評価者はプログラム114を動作させ評価の対象11を撮影するだけでIDを取得できる。また、撮影された画像データを評価者が後で見直して評価したい場合には、撮影後に特定動作を検出することも有効である。
制御部33は、サーチサーバ16から受信したIDを記憶部34に記憶する。制御部33は記憶部34に記憶されているIDをサーバ13に送信する。以降の処理は実施例1と同様である。
したがって、評価デバイス12の手順としては以下のようになる。
1)特定動作の検出 → 撮影 → サーチサーバ16へ送信 → IDの受信 → IDの送信
2)撮影(特定動作の検出) → サーチサーバ16へ送信 → IDの受信 → IDの送信
3)撮影 → 特定動作の検出 → サーチサーバ16へ送信 → IDの受信 →IDの送信
1)の特定動作は例えば、ジェスチャー動作であり、評価者が評価デバイス12を振り下ろすことなどによりプログラム114が起動したり、すでに起動しているプログラム114が撮影部36を起動させる。評価者がカメラ110で評価の対象11を撮影すると、撮影部36は画像データを記憶部34に記憶し、制御部33がサーチサーバ16にIDを送信する。
2)の場合には、すでにプログラム114と撮影部36が起動している状態で、評価者がカメラ110で評価の対象11を撮影すると、サーチサーバ16に画像データを送信する。
3)の場合には、評価者はカメラ110で任意の評価の対象11を撮影しておき、後で撮影された画像データを見ながら評価したいと考えた場合に、プログラム114を起動して画像データをサーチサーバ16に送信する。3)の場合の特定動作は例えば、プログラム114が形成するソフトキーやタッチパネルへの操作である。しかし、ジェスチャー動作により送信することも可能である。例えば、1回のジェスチャー動作(振り下ろし)で1枚の画像データを送信すれば、評価者は何回かジェスチャー動作を行うことで複数枚の画像データを送信できる。
<サーチサーバのサーチ>
サーチサーバ16によるサーチについて説明する。サーチサーバ16は、2つの方法で画像データを検索する。
A.パターンマッチング
B.ビジュアルサーチ(テキストの画像データを検索する場合)
・A.パターンマッチング
図21(a)に示すように、サーチサーバ16は、マッチング部41と画像データDB42を有している。画像データDB42はIDと標準画像データを対応づけて記憶している。標準画像データは、各種の評価の対象11の画像データ又はそれを特徴データに変換したデータである。標準画像データは1つの評価の対象11に対し1つである必要はなく、1つの評価の対象11に対し複数の標準画像データが対応づけられていてもよい。例えば、特定のコーヒーカップを異なる角度から撮影した複数の画像データを標準画像データとすることができる。標準画像データはカラー又はグレースケースのいずれで撮影されていてもよい。
図22は、画像データDB42を模式的に説明する図の一例である。画像データDB42では、1つのIDに1つ以上の標準画像データが対応づけられている。IDは実施例1のIDと同じものでもよいが、無線通信チップ15に記憶されているICでなくてもよい。IDはサーチサーバ16が付与する識別情報なので、評価システム500が想定する範囲(例えば、全世界、ある国又は地域)で一意となることが保証されている。サーチサーバ16の画像データDB42に登録されているIDは全てサーバ13の評価結果に登録されている。
マッチング部41は、評価デバイス12から受信した画像データと相関性の高い標準画像データを特定し、その標準画像データのIDを評価デバイス12に送信する。
マッチング部41は、画像データに前処理を施してから、標準画像データと比較する。前処理は、画像データのサイズが標準画像データと一致するように拡大・縮小する処理、色空間を一致させる処理、輝度の階調を一致させる処理、エッジ処理などがある。マッチング部41は、画素毎又は画素ブロック毎にSAD(Sum of Absolute. Difference )、SSD(Sum of Squared Difference)、NCC(Normalized Cross Correlation)など公知のパターンマッチングを使用する。SAD、SSDは相関性が高いほど値が小さくなり、NCCは相関性が高いほど1に近くなる。
マッチング部41は、相関性が最も高い標準画像データを特定しその相関性が閾値以上の場合、該標準画像データのIDを読み出す。また、閾値以上の相関性の標準画像データが複数ある場合、全てのIDを読み出してもよい。
閾値以上の相関性の標準画像データがない場合、マッチング部41は評価デバイス12から受信した画像データに新たにIDを付与し、標準画像データとして画像データDB42に登録する。これにより、標準画像データを自動的に増やすことができる。
なお、閾値以上の相関性の標準画像データがない場合、マッチング部41はさらにインターネット上の画像データを検索することもできる。インターネット上の相関性の高い画像データをいくつかリストアップし、それらの対象情報を収集する。インターネット上の画像データには名称、提供者、値段等が記述されていることが多く、対象情報を収集することが可能である。なお、この処理はサーバ13が行ってもよい。
標準画像データを特定したサーチサーバ16は、IDを評価デバイス12に送信する。評価デバイス12は、IDに好ましくは関連情報を付加してサーバ13に送信する。これにより、サーバ13は実施例1と同様に評価数をカウントアップし、また、関連情報を登録できる。
なお、「評価デバイス12→(画像データ)→サーチサーバ16→(ID)→評価デバイス12→(ID)→サーバ13」のように通信するのでなく、「評価デバイス12→(画像データ)→サーチサーバ16→(ID)→サーバ13」の順に通信してもよい。この場合、評価デバイス12は、サーチサーバ16に画像データを送信した後、サーバ13からIDと紐付け対象IDを受信する。なお、これはサーバ13とサーチサーバ16を同一の情報処理装置に実装した場合と同様である。
・B.ビジュアルサーチ
図21(b)に示すように、サーチサーバ16は、特徴抽出部43、分類部44、及び、特徴データベース45を有している。
図23はビジュアルサーチの概略を模式的に説明する図の一例である。ビジュアルサーチは、文書画像の特徴量を抽出して2つの文書画像同士の特徴量を比較する技術である。図の登録文書画像が予め特徴量が登録されている文書画像であり、検索画像が評価デバイス12により撮影される画像である。特徴量は、テキストの特徴的な配置を数値化したものであり、登録文書画像にはインデックスが付与されている。このインデックスがIDに相当する。
例えば、新聞や雑誌記事の一部を評価デバイス12のカメラで撮影して、サーチサーバ16に送信すると、撮影された文書画像から同じように特徴量が抽出され、特徴データベース45の登録文書画像の特徴量と比較される。サーチサーバ16は、登録文書画像だけでなくページ内の位置を特定することができる。
特徴量について説明する。図24は、ワード境界ボックス判定アルゴリズムの一例を示す。ワード境界ボックス判定とは、英語の1単語の境界を判定することいい、日本語のように単語間に明確な区切り(空白)がない「分かち書き言語」でない言語では、「、」「。」などにより生じる空白を判定することをいう。
文書画像はスキュー補正される。スキュー補正によりテキストのラインが水平方向に揃えられている。特徴抽出部43は、図24(a)に示すように、水平投影プロファイル(平面図特性)を算出する。つまり、水平方向に画素のヒストグラムを算出し、値が閾値を超えている上下方向の範囲を1ライン(1つの行)に決定する。
このようにして各ラインを取り出すと、サーチサーバ16はライン毎にワード領域を特定する。特徴抽出部43は、図24(b)に示すように、垂直投影プロファイル(平面図特性)を算出する。つまり、垂直方向に画素のヒストグラムを算出し、値が閾値を超えている水平方向の範囲をワード(1つの単語)に決定する。
図25は、ワード境界に基づくグルーピングを模式的に説明する図の一例である。図24で検出された各ワードの外接矩形がワード境界である。ワード境界が抽出されると、それらから複数のグループを形成することができる。グループは、例えば、ワード境界が上下に重なるワードであり、ワードの総数が少なくとも3つであるものいう。例えば、第1の特徴点(第2行中の2番目のワードボックスで長さが6のもの。黒丸で示される。)は、前方のワード境界が第1行中の1番目のワードボックスと重なり、後方のワード境界が第1行中の2番目のワードボックスと重なっている(それらの長さは5及び7である)。また、前方のワード境界が第3行中の2番目のワードボックスと重なっている(その長さは5である)。
第2の特徴点(第3行中の4番目のワードボックスであり、長さが5のもの。白丸で示される。)は、前方のワード境界が第2行中の3番目のワードボックスと重なり、後方のワード境界が第3行中の4番目のワードボックスと重なっている(それらの長さは4及び5である)。また、前方のワード境界が第4行中の2番目のワードボックスと重なり、後方のワード境界が第4行中の3番目のワードボックスと重なっている(それらの長さは8及び7である)。
従って、図25に示されるように、各特徴点は、上のワードボックスの長さに続き、下のワードボックスの長さとして表現される。このようにワード境界の左上頂点(又は他の頂点でもよい)を特徴点とすることができる。
第1の特徴点:6 57 5
第2の特徴点:5 45 87
なお、ワードボックスの長さは、如何なるメトリック(単位)に基づいてもよいことに留意を要する。
次に、スペースが0で表現されかつワード領域が1で表現されるように特徴量を抽出することができる。
図26は、0と1を特徴量とする特徴量を説明する図の一例である。右側のブロック表現は、左側の文書画像(パッチ)のワード/スペース領域に対応する。つまり、ワード領域は黒い画素で、スペースはゼロ(0)で示される。
この場合、0と0の間の距離を特徴量とすることができる。抽出された特徴量は、様々な距離指標(例えば、ノルムやハミング距離を含む)と比較されてもよい。または、問い合わせのイメージ(クエリイメージ)と同じ特徴量を有する書類パッチを特定するためにハッシュテーブルが使用されてもよい。
次に、各特徴点から他の特徴点への角度を算出することができる。
図27はワード境界が形成する角度の算出例を示す図である。図27では、3つのワード境界を接続した場合の内角θ1〜θ3が算出されている。任意の3つ以上のワードボックスを抽出してもよいし、図25にて説明した1つのグループのワード境界を接続した場合の角度を算出してもよい。着目するワードの決定方法は任意である。
算出された角度は、クエリイメージでの特徴点各々から他の特徴点への角度と比較される。照合する特徴点の何らかの角度が似ていた場合、類似スコアが増やされてもよい。または、角度のグループが使用される場合であって、2つの画像の中でグループ同士の一連の角度が数値的に同様であった場合、類似スコアが増やされてもよい。クエリイメージ及び抽出された各書類パッチ間のスコアが一旦算出されると、最高のスコアをもたらす書類パッチが選択され、適応的な閾値と比較され、その一致度が或る所定の基準に合うか否かを確認する。その基準に合っていた場合、一致する書類パッチが発見されたものとして通知される。
また、ワード長を特徴量とすることができる。
図28はワード長に基づく特徴量を説明する図の一例である。図示するように、特徴抽出部43は、ワードの高さ及び幅に基づいて各ワードを推定文字(複数)に分割する。ワードは推定文字に分割される。この特徴量は、(i)着目しているワードの長さ、(ii)ワードの上の行のテキスト配列及び(iii)ワードの下の行のテキスト配列とともに記述される。テキスト配列情報は、着目しているワードの1文字毎にスペースか否かを1、0で表したものである。
着目しているワードの文字数が6の場合、(ii)(iii)それぞれで6ビットの2進数が得られる。図示するワードの場合、最初の推定文字の上側にはワードがあり、2,3番目の推定文字の上側はスペースである。4〜6番目の推定文字の上側はワードである。また、1〜5番目の推定文字の下側にはワードがあり、6番目の推定文字の下側はスペースである。従って、着目しているワードの特徴量は、(6,100111,111110)となる。整数形式で書き直すと、ワードは(6,39,62)にコード化される。
分類部44による登録文書画像単位の書類の照合の一例について説明する。分類部44は、横に及び縦に隣接するワードペアの長さを抽出し、特徴データベース45中のパッチのランキングを個々に計算する。これは、テキストのイメージは、その身元に関して2つの独立したソースを含み、ワードの横並びに加えて、縦方向のワードのレイアウトが書類を特定することに着目している。以下では、ワードペアの長さを特徴量として照合を説明するが、図25〜図28で説明した特徴量を用いたりこれらを組み合わせて照合することができる。
図29は、縦のレイアウトが横のレイアウトとどのように統合されるかについての具体例を示す図の一例である。図29(a)では、文書画像(パッチ)601とワードへの分割例が示されている。文書画像601から、水平及び垂直の「nグラム(n-gram)」が決定される。「nグラム」は、数がn個のシーケンスで特徴の量を記述する記述方法である。例えば、水平方向のトリグラム(trigram)は、3つ(=トリ)のワードの水平方向シーケンス中の各ワード内のキャラクタ数を指定する。例えば、図29(a)の画像データの場合、水平方向と縦方向のトリグラムは以下のようになる。
・水平方向
5-8-7("upper","division"及び"courses")
7-3-5("Project","has"及び"begun")
3-5-3("has","begun"及び"The")
3-3-6("461","and"及び"permit")
3-6-8("and","permit"及び"projects")
・縦方向
5-7-3("upper","Project"及び"461")
8-7-3("division","Project"及び"461")
8-3-3("division","has"及び"and")
8-3-6("division","has"及び"permit")
8-5-6"division","begun"及び"permit")
8-5-8("division","begun"及び"projects")
7-5-6("courses","begun"及び"permit")
7-5-8("courses","begun"及び"projects")
7-3-8("courses","The"及び"projects")
7-3-7("Project","461"及び"student")
3-3-7("has","and"及び"student")
分類部44は、このように決定された水平及び垂直トリグラムが含まれる書類を特徴データベース45から検索する。図29(d)は水平トリグラムの検索結果を、図29(e)は垂直トリグラムの検索結果をそれぞれ示す。すなわち、水平トリグラム7-3-5は15,22,134というインデックスの書登録文書画像類に現れる。また、例えば、垂直トリグラム7-5-6は15,17というインデックスの登録文書画像に現れる。
図29(f)は水平トリグラムが現れる登録文書画像のリストを多い順にランキングしたリストを、図29(g)は垂直トリグラムが現れる登録文書画像のリストを多い順にランキングしたリストを、それぞれ示している。例えば、図29(f)では、15というインデックスの登録文書画像は5つの水平トリグラムによって参照されているが、9というインデックスの登録文書画像は1つの水平トリグラムでしか参照されていない。また、例えば、図29(g)の場合、15というインデックスの登録文書画像は11個の垂直トリグラムで参照されているが、18というインデックスの登録文書画像は1つの垂直トリグラムによってしか参照されていない。
図30は、図29で得られた水平及び垂直トリグラム情報を結合する方法を示す図の一例である。分類部44は、登録文書画像におけるトリグラムの既知の物理的なロケーションに関する情報を利用して、水平及び垂直特徴抽出からの投票のリストを結合する。水平及び垂直分類子の各々によって出力される上位M個の選択肢の中で共通する全登録文書画像に関し、登録文書画像に存在するとされた水平トリグラム全部のロケーションが、その登録文書画像に存在するとされた垂直トリグラム全部のロケーションと比較される。どの垂直トリグラムにも重複して存在する登録文書画像は、水平トリグラム数に等しい投票数を受け取り、この場合、2つのトリグラムの境界ボックスが重なる場合に、「重複(オーバーラップ)」が生じる。つまり、重複とは、水平トリグラムと垂直トリグラムの一部のワードが重なることをいう。
例えば、図30(a)(b)のリスト(図29(f)(g)のリストと同じもの)から、分類部44は、水平及び垂直トリグラム双方で参照される登録文書画像のリスト(図30(c))を生成する。
図30(d)は、図30(c)のリストのうち図29(d)の水平トリグラムに含まれるものだけを抽出したものであり、図30(e)は、図30(c)のリストのうち図29(e)の垂直トリグラムに含まれるものだけを抽出したものである。
分類部44は、図30(c)(d)(e)のリストと特徴データベース45を利用して、書類のオーバーラップを確認する。例えば、インデックス6の登録文書画像は水平トリグラム3-5-3により及び垂直トリグラム8-3-6により参照され、これら2つのトリグラムは、文書画像601の中のワード"has"に関してオーバーラップする。従ってインデックス6の登録文書画像はその1つのオーバーラップにつき1票を獲得する。
図30(f)はインデックス15、6、4の登録文書画像の投票数の一例を示す。文書画像601の場合、インデックス15の登録文書画像が最大の投票数を獲得しているため、文書画像601を含む書類として確認される。(x1,y1)はインデックス15の登録文書画像の中での入力イメージの場所として確認される。
なお、図26,27の説明ではトリグラムを利用したが、水平及び垂直の特徴抽出/分類の一方又は双方に如何なるnグラムが使用されてもよい。例えば、垂直及び水平のnグラム(n=4、5)が、特徴抽出に使用されてもよい。
更に、厳密には垂直でない又は水平でない隣接関係に基づいて、分類がなされてもよい。例えば、NW(North West)、SW(South West)、NE(North East)、SE(South East)の隣接関係が抽出/分類に使用されてもよい。
このように、評価者がテキストを評価した場合、テキストを撮影しビジュアルサーチ技術を使うことで、テキストを高精度に特定できる。例えば、雑誌毎にIDが付与されている場合、その雑誌と各記事が関連づけられているので、各記事のIDを紐付け対象IDとして評価デバイスに送信できる。また、所望の記事にIDが付与されていない場合、評価者は記事に名称を付して新たにIDを付与することができる。サーバ13は、雑誌の記事や雑誌の評価数をカウントアップするので、評価数の多い記事や雑誌をランキングすることができる。
〔動作手順〕
図31は、評価デバイス12が画像データをサーチサーバ16に送信する手順を示すフローチャート図の一例である。評価デバイス12上ではプログラム114が作動している。図31の手順は主に上記1)の手順である。
まず、動作感知部35が特定動作を感知する(S410)。この特定動作によりプログラム114が作動してもよい。
評価者がカメラを操作して評価の対象11を撮影すると(S420のYes)、インターネット通信部32は評価の対象11の画像データをサーチサーバ16に送信する(S430)。
サーチサーバ16は画像データを受信する(S510)。サーチサーバ16のマッチング部41は画像データと相関性の高い標準画像データを特定する(S520)。サーチサーバ16は相関性が高い標準画像データのIDを評価デバイス12に送信する(S530)。
評価デバイス12のインターネット通信部32がIDを受信すると(S440)、制御部33は記憶部34にIDを記憶する(S450)。
インターネット通信部32は、記憶部34に記憶したIDをサーバ13に送信する(S460)。
サーバ13の受信部42はIDを受信する(S110)。以降の処理は、実施例1と同様になる。
なお、2)の手順の場合、S210とS220の処理が一体となる。3)の手順の場合、S410とS420が逆になる。
以上説明したように、本実施例の評価システムは、評価の対象がIDを有していなくても画像を撮影することで、評価の対象11を評価することができる。特に、雑誌などのテキストをその位置を含め高精度にサーチできるので、本などを高精度に評価できる。なお、実施例1と2は組み合わせて実用できる。