JP2016224884A - 情報処理装置、及びプログラム - Google Patents

情報処理装置、及びプログラム Download PDF

Info

Publication number
JP2016224884A
JP2016224884A JP2015113665A JP2015113665A JP2016224884A JP 2016224884 A JP2016224884 A JP 2016224884A JP 2015113665 A JP2015113665 A JP 2015113665A JP 2015113665 A JP2015113665 A JP 2015113665A JP 2016224884 A JP2016224884 A JP 2016224884A
Authority
JP
Japan
Prior art keywords
item
comparison
processing apparatus
information processing
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015113665A
Other languages
English (en)
Inventor
貴幸 川端
Takayuki Kawabata
貴幸 川端
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015113665A priority Critical patent/JP2016224884A/ja
Publication of JP2016224884A publication Critical patent/JP2016224884A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】2以上のアイテム間の比較を容易にする情報処理装置及びプログラムを提供する。【解決手段】第1のアイテムを撮像して得られた第1の撮像アイテム、第2のアイテムを撮像して得られた第2の撮像アイテムのそれぞれが、予め登録されている複数の登録アイテムの中のどの登録アイテムと同じであるかを特定するための特定手段113と、登録されている複数の登録アイテムの中の、第1の登録アイテムと第2の登録アイテムとを比較する際に対比すべき比較個所として、第1の位置特定情報、及び第2の位置特定情報を保持する保持手段114と、第1及び第2のそれぞれの撮像アイテムがそれぞれの登録アイテムであると特定された場合に、第1の位置特定情報を用いて第1の位置を指示する像を第1のアイテムの上に提示する及び又は第2の位置特定情報を用いて第2の位置を指示する像を第2のアイテムの上に提示する提示手段117と、を有する。【選択図】図1

Description

本発明は、情報処理装置、及びプログラムに関する。
世の中には多くの類似商品やサービスが存在する。消費者はそれらの間にある違いを把握し、その違いを比較することで自分のニーズに合う商品やサービスを決定するに至る。その中で消費者にとって重要なことは、違いを把握する時間は極力短くして、違いを比較することに専念できることである。
しかし、実際には違いを把握することに時間がかかっているケースが多くある。例えば、同じ旅行会社が作成したパンフレットであっても、コンテンツのレイアウトは統一されているとは限らず、複数のパンフレットを対比してもそれらパンフレットに記載されているコンテンツ(旅行内容)は一見しただけでは違いが分かりにくい。さらに、複数の会社が類似したパッケージツアーを販売しているので、異なる旅行会社が作成したパンフレットを比較検討することが多いが、そのような場合、消費者にとってはそれらの類似商品の間での違いを把握することにさらなる時間がかかってしまう。
旅行販売店の窓口では、説明員が商品を選ぶ手助けをするが、説明員がこのような違いを全て把握しておくことは困難であり、他社のものまで含めてとなると不可能に近い。そのため、パンフレットに記載されているコンテンツ内容を比較検討する前段階、つまりパンフレットAのどの部分とパンフレットBのどの部分とを比較すれば良いかを把握するために多くの時間を費やしてしまう。
本稿では、カメラやPCなどの商品や、旅行パッケージツアーのパンフレットなど、消費者が比較する対象となるものをアイテムとする。
Web上の電子商取引システムでは、特許文献1のようにアイテム間の比較を支援する方法が提案されている。特許文献1に示されるシステムでは、アイテムを比較する上で比較元となるアイテムをユーザが特定した際に、比較するアイテムの集合を自動的に生成してユーザへ提示を行うことができる。また、比較する上で重要と思われるアイテムの属性を自動的に優先付けし、表示順序を並び替えることでユーザのアイテム比較を支援している。これらを自動的に行うために、特許文献1は既知であるアイテムの属性や、対象となるアイテムに関する、先行の使用者の閲覧や購買の履歴を用いている。
特許第4787847号公報
しかし、特許文献1が適用できるのは、アイテムが電子システム上に存在し、かつ、アイテムを区別するための属性が既知である場合に限られる。例えば、旅行販売店や保険販売店などの窓口で複数のパンフレットを見比べて、それらパンフレットに記載の類似商品を比較する場合には適用できない。
本発明は、上記の課題に鑑みてなされたものであり、電子上、現実世界の区別なく、また、属性を用いる従来手法では解決できない、属性が未知であるアイテムに対しても比較を容易にする情報処理装置、及びプログラムを提供することを目的とする。
上記目的を達成する本発明の情報処理装置は、
第1のアイテムを撮像して得られた第1の撮像アイテム、第2のアイテムを撮像して得られた第2の撮像アイテムのそれぞれが、予め登録されている複数の登録アイテムの中のどの登録アイテムと同じであるかを特定するための特定手段と、
登録されている前記複数の登録アイテムの中の、第1の登録アイテムと第2の登録アイテムとを比較する際に対比すべき比較個所として、
前記第1の登録アイテムに含まれる第1の位置を特定するための第1の位置特定情報、及び
前記第2の登録アイテムに含まれる第2の位置を特定するための第2の位置特定情報を保持する保持手段と、
前記第1の撮像アイテムが前記第1の登録アイテムであると特定され、前記第2の撮像アイテムが前記第2の登録アイテムであると特定された場合に、
前記第1の位置特定情報を用いて前記第1の位置を指示する像を前記第1のアイテムの上に提示する、又は
前記第2の位置特定情報を用いて前記第2の位置を指示する像を前記第2のアイテムの上に提示する、の少なくとも一方を行う提示手段と
を有することを特徴とする。
本発明によれば、様々なアイテム間の比較点とその重要度を履歴から自動的に得ることができ、アイテムを比較する際にはその比較点を提示することで、アイテムを選択する意思決定を効率化することが出来る。
実施形態における情報処理装置の構成、機能ブロック、及び外観の一例を示す。 実施形態におけるアイテム(商品説明のためのパンフレット)の例を示す。 実施形態における履歴取得フローの例を示す。 実施形態におけるアイテムのサブ領域分割の例を示す。 実施形態における取得された履歴の例を示す。 実施形態における比較点抽出フローの例を示す。 実施形態における比較点抽出におけるグラフの例を示す。 実施形態における比較点抽出の例を示す。 実施形態における比較点抽出の例を示す。 実施形態における比較点抽出の例を示す。 実施形態における比較点データベースの例を示す。 実施形態における比較点の表示の例を示す。 実施形態における比較点の表示の例を示す。 実施形態における比較点の表示の例を示す。 実施形態における比較点の表示の例を示す。 実施形態における比較点の表示の例を示す。 実施形態における間接的な比較点生成の例を示す。
本発明の情報処理装置は、アイテムを特定するための特定手段と、アイテム間の比較個所を保持する保持手段と、特定したアイテムと、アイテム間の比較個所を用いて、ユーザがアイテムを見比べる際に効果的な情報を提示する提示手段とを有する。
特定手段は、第1のアイテムを撮像して得られた画像(以下「第1の撮像アイテム」とも記載する)が、予め登録されている複数のアイテムの画像(以下「登録アイテム」とも記載する)の中のどの登録アイテムと同じであるかを特定する。
同様に、特定手段は、第2のアイテムを撮像して得られた画像(以下「第2の撮像アイテム」とも記載する)が、予め登録されている複数の登録アイテムの中のどの登録アイテムと同じであるかを特定する。
特定手段は、複数の登録アイテムが登録されている画像DB(データベース)の中から、類似画像検索によって、第1の撮像アイテムと一致する登録アイテムを探し出す。同様に、特定手段は、画像DBの中から、類似画像検索によって、第2の撮像アイテムと一致する登録アイテムを探し出す。
例えば、作業台の上に置かれたパンフレットを撮像して得られた「作業台とパンフレットが写っている画像」におけるパンフレットの位置(例えば、四隅の位置座標)を検出し、検出された位置情報を用いてパンフレットが写っている部分の画像を切り出す。そして、類似画像検索で登録済みの画像DBを検索し、切り出されたパンフレットが写っている部分の画像(以下「パンフレット画像」とも記載する)と一致する画像を探し出し、作業台に置かれたパンフレットを特定する。パンフレットを特定するとは、例えば複数のパンフレットのそれぞれに割り当てられた識別番号を特定することを意味し、識別番号が特定されれば、そのパンフレットが、どこの旅行会社が、いつ発行したかなどが特定される。
保持手段は、複数の登録アイテムの中から選択された少なくとも2つの登録アイテムを比較する際に対比すべき情報が記載されている位置に関する情報(以下「位置特定情報」とも記載する)を保持する。
例えば、第1のパンフレットにおいて旅行代金が掲載されている位置と、第2のパンフレットにおいて旅行代金が記載されている位置とが、第1の登録アイテムと第2の登録アイテムとを比較する際に対比すべきコンテンツの位置の例として挙げられる。
同様に、第1のパンフレットにおいて旅行ルート(出発地、経由地、目的地など)が掲載されている位置と、第2のパンフレットにおいて旅行ルートが記載されている位置とが両アイテムを比較する際に対比すべきコンテンツの位置の例として挙げられる。
提示手段は、第1の撮像アイテムが第1の登録アイテムであると特定され、第2の撮像アイテムが第2の登録アイテムであると特定された場合に、
第1の位置特定情報を用いて第1の位置を指示する像を第1のアイテムの上に提示し、
第2の位置特定情報を用いて第2の位置を指示する像を第2のアイテムの上に提示する。
例えば、第1のパンフレットにおいて旅行代金が掲載されている領域を囲む枠を、第1のパンフレットの上に提示し、第2のパンフレットにおいて旅行代金が掲載されている領域を囲む枠を、第2のパンフレットの上に提示する。
さらに、第1のパンフレットにおいて旅行代金が掲載されている領域を囲む枠と、第2のパンフレットにおいて旅行代金が掲載されている領域を囲む枠とを、結ぶ線を第1のパンフレット、作業台及び第2のパンフレットの上に提示する。
以下に、図面を参照して、この発明の好適な実施の形態を詳しく説明する。なお、以下の実施形態では、本発明を特定の状況に対応したアプリケーションの一機能として説明しているが、あくまで例示であり、本発明の範囲を限定する趣旨のものではない。
<第1の実施形態>
本実施形態では、作業台に上向きに置かれた対象物から情報を読み取り、認識した情報をデータとして再利用する例を示す。このような情報処理装置を用いる一例として、商品のパンフレットなどを用いて販売員と顧客が対面で商談を行う窓口販売などが挙げられる。本実施形態では、旅行販売店が各種旅行パンフレットを用いて顧客に販売する例で説明をする。
図1(a)は、本実施形態における情報処理装置100のハードウェア構成図である。同図において、CPU(Central Processing Unit)101は、各種処理のための演算や論理判断などを行い、システムバス108に接続された各構成要素を制御する。ROM(Read−Only Memory)102は、後述するフローチャートに示す各種処理手順を含むCPUによる制御のためのプログラムデータを格納する。
RAM103(Random Access Memory)103は、データメモリであり、CPU101の上記プログラムのワーク領域、エラー処理時のデータの退避領域、上記制御プログラムのロード領域などを有する。記憶装置104はハードディスクや外部に接続された記憶装置などからなり、本実施形態に係る電子データなどの各種データやプログラムを記憶する。
CPU101は、ROM102もしくは記憶装置104に記憶された処理ステップやプログラムを読み出して実行する。これらの処理ステップやプログラムは、ディスクデバイスを始めとする記憶媒体から読み出されたり、ネットワーク通信によって取得されたりして、ROM102もしくは記憶装置104に記憶されることができる。撮像装置105は、ユーザが操作を行う作業空間を撮像し、入力画像としてシステムに提供する。投影装置106は後述する作業台121に電子データやユーザインタフェース部品を含む映像を投影する。なお、本実施形態では、撮像装置105及び投影装置106は、情報処理装置100内に構成されるが、有線あるいは無線のインターフェースによって接続された外部装置でも良い。
図1(b)は、本実施形態における情報処理装置100の機能構成を表す図である。同図において、撮像部111は、カメラやビデオカメラ等の撮像装置105であって、作業台で上向きに置かれた対象物を上方から撮像する。また、本実施形態の撮像部111は、作業台の上面全体を撮像範囲に含む。
本実施形態では、後述する各機能部は、CPU101がROM102に格納された各プログラムをRAM103に展開し実行することでその機能を実現する。ただし、本実施形態は、これらの機能部をハードウェアで実現する情報処理装置によっても同様に実現可能である。
取得部112は、アイテムの中のユーザが注目している位置(注目位置)を取得する。
取得部112は、CPU、ROM、RAM(以下、CPU等)によって構成され、複数の対象物を検出し、対象物及び対象物に含まれる情報が存在する領域の、作業台上における位置を示す情報を取得する。ここで、対象物とはパンフレットやカタログなどの紙文書はもちろんのこと、ユーザの手や指先などである。また、対象物に含まれる情報とは、文字や画像など対象物の読み取り対象面に記載されている情報(アイテム)である。
特定部113は、第1のアイテムを撮像して得られた第1の撮像アイテム、第2のアイテムを撮像して得られた第2の撮像アイテムのそれぞれが、予め登録されている複数の登録アイテムの中のどの登録アイテムと同じであるかを特定する。
特定部113は、CPU等から構成され、読み取りを行う対象物を決定し、撮像部111に撮像させた画像を読み取るとともに、読み取った対象物に含まれる情報(アイテム)を認識する。例えば、対象物が紙に印刷された文書である場合には、撮像部111によって、紙の大きさに合わせた範囲を高解像度で撮像した画像を、文書ファイルとして読み取るとともに、文書内容の文字認識を行う。
保持部114は、登録されている複数の登録アイテムの中の、第1の登録アイテムと第2の登録アイテムとを比較する際に対比すべき比較個所として、
第1の登録アイテムに含まれる第1の位置を特定するための第1の位置特定情報、及び
第2の登録アイテムに含まれる第2の位置を特定するための第2の位置特定情報を保持する。
保持部114は、RAM103又は記憶装置104に相当する。情報処理装置100が対象物を読み取った情報や、ユーザの作業台における動作履歴、後述する抽出部116により得られたアイテム間の比較情報などのデータを保持する。
制御部115は、CPU等から構成され、取得部112により検出されたユーザの手や指先の動きに応じて、後述する投影部117を通じてユーザに表示する内容を制御する。
投影部117は、提示手段として、第1の撮像アイテムが第1の登録アイテムであると特定され、第2の撮像アイテムが第2の登録アイテムであると特定された場合に、
第1の位置特定情報を用いて第1の位置を指示する像を第1のアイテムの上に提示する、又は
第2の位置特定情報を用いて第2の位置を指示する像を第2のアイテムの上に提示する、の少なくとも一方を行う。
投影部117は、投影装置106に相当し、制御部115によって作成された投影画像を、作業台上面、及び作業台上に上向きに置かれた対象物上に投影する。
投影部117は、比較個所を中心とした周辺領域を切り出して電子画像を作成する手段をさらに有し、作成された電子画像を用いて比較個所を一覧表として表示する機能を有することが好ましい。
抽出部116は、CPU等から構成され、保持部114に記憶された情報処理装置100が対象物を読み取った情報や、ユーザの作業台における動作履歴を用いて、アイテム間の比較情報を抽出する。
「動作履歴を用いて、アイテム間の比較情報を抽出する。」とは、例えば、注目位置の遷移に基づいて、第1の位置特定情報と第2の位置特定情報とを抽出することである。
「アイテム間の比較情報」とは、それらのアイテムを比較する上で重要な差異であり、1つの比較情報は、それぞれのアイテムの部分領域と重要度のスコアから成る。詳しくは後述する。また、抽出したアイテム間の比較情報は保持部114に記憶しておく。
抽出部116によって抽出したアイテム間の比較情報を用いて、制御部115はユーザの動作に応じて必要な比較情報を、投影部117を通してユーザへ表示(提示)する。
抽出部116は、グラフ作成手段と、クリーク抽出手段とを有し、抽出したクリークに含まれるノードを比較個所として抽出する、ことが好ましい。
グラフ作成手段は、アイテムの注目位置をノードとし、アイテム間での注目位置の遷移をリンクとするグラフを作成する。
クリーク抽出手段は、グラフから、第1のアイテムのノードと第2のアイテムのノードとが互いに結ばれてなるノード集合(クリーク)を抽出する。
図1(c)は、本実施形態における情報処理装置100の外観の一例を示す図である。本実施形態では、作業台121に対し、撮像装置105は上部に設置され、作業台121に上向きに置かれた紙などの物理データ122を俯瞰撮像し、上に向いた読み取り対象面を読み取り、情報を認識する。また、投影装置106も同様に、作業台121の上面あるいは物理データ122上に、ユーザインタフェースを構成する画像や情報処理装置100が生成した電子データ123等を含む投影画像を投影する。
本実施形態では、撮像装置105と投影装置106は同一の筐体で構成される。ただし、撮像装置105の設置位置と撮像画角、及び投影装置106の位置と投影画角の情報を情報処理装置が予め把握していれば、それぞれ別の場所に設置されても良い。また、本実施形態では、投影装置106が読み取り台の上面に投影を行うことによって、ユーザに対してアイテム間の比較情報を提示するが、提示方法はこれに限らない。例えば、メガネ型の表示装置を構成し、それを通して見たアイテムに比較情報を重畳表示するようにしても良い。
以下では、本実施形態を実現する環境の一例として、旅行販売店で販売員と顧客が対面し、旅行パンフレットを用いて販売員が顧客にパッケージツアーを販売する例で説明をする。以降では、販売時の動作履歴の取得、取得した動作履歴を用いたアイテム間の比較情報の抽出、抽出したアイテム間の比較情報を顧客へ提示する方法について説明していく。
まず、図2〜図5を用いて販売時の動作履歴の取得について説明する。
図2(a)は情報処理装置100の作業台121上に2種類の旅行商品のパンフレット201、202が置かれた状態を表している。向かって手前側に顧客がおり、奥側に販売員がいるものとする。
また、図2(b)はパンフレット201を拡大したものを示し、図2(c)パンフレット202を拡大したものを示す。パンフレット201、202は説明のために簡素化しているが、実際のパンフレットはもっと多くの情報が詰め込まれていることが普通であり、一見ではどこが同じでどこが違うかの見分けが難しい。そこで、販売員はパンフレットの内容を見比べて、内容の異なる点について指などで指し示しながら旅行内容の説明をしていく。
図3のフローチャートは取得部112や特定部113によって実行される販売時の動作履歴の取得処理を表す。
ステップS301では、撮像部111によって撮影された作業台121上の画像から、作業台に載せてあるパンフレットと、その位置を抽出する。そのために、まず、取得部112が撮影した画像から、文書領域を抽出し文書画像を生成する。
次に、特定部113が抽出した文書画像と、保持部114に登録されているパンフレット画像との類似画像検索を行う。そして、作業台に載せてあるパンフレットが何であるか(登録されているパンフレットのどれと同じか)を特定し、また、その位置を認識する。
もし、類似画像検索をしても登録されているパンフレット画像の中に同一と判断される画像が見つからない場合は、未登録のパンフレットと認識し、抽出された文書画像を保持部114に新規に登録する。
ステップS302では、撮像部111によって撮影された作業台121上の画像から、取得部112が人の指先の位置を検出し、その位置を注目個所として認識する。本実施形態では、上部から撮影した画像から指先の位置を検出する構成としたが、ユーザの注目個所を得られる手段であれば、もちろんこれに限らない。例えば、作業台上のユーザの目を撮像可能な位置にカメラを取り付け、そのカメラを用いてユーザの視線を検知しても良いし、ユーザにメガネ型などのデバイスを取り付けてユーザの視線を検知するようにしても良い。
ステップS303では、特定部113が、ステップS301で認識したパンフレット画像をサブ領域に等分割するパラメータを決定する。サブ領域の形はここでは矩形とし、パラメータは矩形の大きさを決めるもので、例えば、縦、横のピクセル数などである。パラメータは、全パンフレット画像で共通の固定値を用いても良いし、例えば、パンフレット画像から最小の文字領域を認識しその大きさを用いたり、その大きさの倍数などとしても良い。あるパンフレット画像に対して決められたパラメータは、保持部114に保存され、その後に当該パンフレット画像と同一と判断されたパンフレット画像に関しては、保存されたパラメータを読み出せばよい。
図4にパンフレット201を矩形のサブ領域に分割した例を示す。以降では、サブ領域の横方向をxとし、縦方向をyとし、サブ領域を[x,y]で識別する。例えば、一番左上のサブ領域は[1,1]であり、一番右下のサブ領域は[14,16]と表される。
ステップS304では、特定部113が、ステップS302で認識した注目個所(販売員または顧客が指先で指した個所)の位置情報から、パンフレット画像のどのサブ領域を注目したかを特定し、画像が撮影された時刻情報と共に保持部114に記録する。
図5に保持部114に記録される動作履歴の例を示す。例えば、LogIDが999の行は2010/6/9の9時59分10秒にCustomer ID 100の顧客と商談中に、Catalog ID 200−1のサブ領域[10,8]を注目したことを表す。
以上、販売時の動作履歴の取得について説明した。
次に、図6〜図9を使って、取得した動作履歴を用いたアイテム間の比較情報の抽出について説明する。
図6のフローチャートは、抽出部116によって実行される取得した動作履歴を用いたアイテム間の比較情報の抽出処理を表す。なお、入力としては2つのアイテムを受け取り、解析した結果、2つのアイテム間の比較点と必要に応じてそのスコアを出力する。
ステップS601は、2つのアイテムAとアイテムBを入力として受け取り、動作履歴からアイテムAとアイテムBが連続して出現するレコードを抽出する。
ここでいう「連続して出現」とは、アイテムAが出現した直後にアイテムBが出現する、または、アイテムBが出現した直後にアイテムAが出現することである。
具体例として図5を用いて説明する。入力として、CatalogID 100−1と200−1の2つのアイテムを受け取った時、ステップS601では、Log ID 1000,1001,1100,1101,1200,1201,1300,1301,1302のレコードを抽出する。
ステップS602では、抽出部116内のグラフ作成部(図示せず)が、ステップS601で抽出した2つのアイテムに関するレコードを用いて、注目個所の遷移状況を表す2部グラフを作成する。
2部グラフとは、2つのノード集合をそれぞれV1とV2とすると、V1に属するノードとV2に属するノードとを結ぶ任意のリンクが存在するグラフのことである。
本実施形態では、2つのアイテム内の注目個所に当たるサブ領域の集合をそれぞれノード集合V1とノード集合V2と考え、同一商談中に2つのアイテム間で連続して現れた注目個所(ノード)の間にリンクを張る。そのとき、リンクの重みは、例えば、連続して現れた回数(遷移回数)に基づいて決まるものとする。具体的には、連続して現れた回数に比例して、リンクの重みが増すものとしても良く、また、連続して現れた回数が、第1の閾値、第2の閾値を超えるごとに、リンクの重みが第1の値から第2の値へ、第2の値から第3の値へと、段階的に増すものとしても良い。なお、リンクの重みは注目個所が遷移するまでに経過した時間間隔に比例した重みを用いても良い。
図7(A)に、本実施形態における注目個所の遷移状況を表す2部グラフの具体例を示す。図7(A)の701はパンフレット201のサブ領域の集合を表すノード集合であり、702はパンフレット202のサブ領域の集合を表すノード集合である。[x,y]はサブ領域を表し、[1,1]は一番左上のサブ領域を示す。
図8(A)にパンフレット201と202をステップS303の処理でサブ領域に分割した例を載せる。
2部グラフ間のリンクの生成について説明する。ステップS601で抽出した2つのアイテム間の連続するレコードを順次読み込み、次の処理を行う。まず、Log ID 1000とLog ID 1001とを読み込み、Customer IDが同一かを確認する。
Customer IDが同一なので、
Catalog IDが100−1であるパンフレット201のノード集合701のノード703(サブ領域[2,2]に対応)から、
Catalog IDが200−1であるパンフレット202のノード集合702のノード706(サブ領域[4,3]に対応)へリンクを張り、重みを1にする。
次に、Log ID 1001とLog ID 1002とを読み込み、Customer IDが同一かを確認する。Customer IDが同一ではないので処理をスキップする。
以降、すべてのレコードを読み終わるまで上記処理を繰り返す。そのとき、すでにリンクが張られているところへリンクを張るときは、重みに1を加える処理とする。
以上の処理により、図7(A)のような2部グラフが生成される。なお、図7(A)の2部グラフは、図5の履歴に明示されている以外の履歴も加えたものとしている。
ステップS603では、ステップS602で作成された2部グラフから、極大クリークを抽出する。
2部グラフにおけるクリークとは、2部グラフの部分ノード集合H⊆V1、K⊆V2に対して、Hの任意のノードとKの任意のノードとの間にリンクがあるときに、HとKを合わせたノード集合のことである。
例えば、図7(A)において、
ノード703とノード705との間にリンクがあり、
ノード703とノード706との間にリンクがあり、
ノード704とノード705との間にリンクがあり、
ノード704とノード706との間にリンクがあるため、
ノード703〜706からなるノード集合はクリークに該当する。
しかし、
ノード703とノード707との間にはリンクがあるが、
ノード704とノード707との間にはリンクがないため、
ノード703〜707からなるノード集合はクリークに該当しない。
また、あるクリークが他のクリークに含まれないとき、そのクリークを極大クリークと呼ぶ。
例えば、図7(A)において、
ノード703〜706からなるノード集合はクリークに該当し、このクリークは他のクリークに含まれないため、極大クリークに該当する。
<ノード704とノード707との間にもリンクがあった場合>
仮に、ノード704とノード707との間にもリンクがあったなら、ノード703〜707からなるノード集合もクリークに該当する。
そして、ノード703〜706からなるクリークは、ノード703〜707からなるクリークに含まれるため、
つまり、ノード703〜706からなるクリークは、他のクリークに含まれるため、
ノード703〜706からなるクリークは、極大クリークに該当しない。
2部グラフから極大クリークを高速に抽出する方法として、例えば宇野が提案した手法(宇野 毅明、“大規模グラフに対する高速クリーク列挙アルゴリズム”、電子情報通信学会コンピュテーション研究会,2003年4月)などが使える。極大クリークを抽出する際には、2部グラフをそのまま用いても良いし、予め、重みが小さいリンクをカットした2部グラフを用いても良い。
また、本来、クリークはクリークに含まれるノード集合の任意のノード間の全て(任意のノードの全てのペア)にリンクがある完全グラフであるが、本発明の目的からすると必ずしも完全グラフでなくても良い。完全グラフに対して指定した割合以上のリンクが存在するノード集合を疑似クリークとして抽出し、それをクリークと見なしても良い。
図7(B)に図7(A)の2部グラフから抽出した極大クリークの例を示す。図7(B)において黒く塗りつぶしたノード集合(711,712,713,714)が抽出された極大クリークの1つである。なお、本実施形態においては1つの極大クリークだけが抽出されるが、実際には1つとは限らず、複数の極大クリークが抽出される。
ステップS604では、ステップS603で抽出した極大クリークを用いて、2つのアイテム間の比較点を抽出する。抽出された極大クリークは、2つのアイテム間において偶然とは言えない注目個所の遷移を表し、それはすなわち2つのアイテム間における比較点と考えられる。本ステップでは、まず、1つの極大クリークに含まれる注目個所を元のアイテムのサブ領域にマッピングする。
図8(B)に具体例を示す。図7(B)における極大クリークに含まれる注目個所711〜714は、それぞれ元のパンフレットのサブ領域801〜804にマッピングされる。
図7(B)の注目個所711〜714と、図8(B)のノード801〜804との対応関係は以下のとおりである。
図7(B) 図8(B)
注目個所(ノード)711、 サブ領域801 [x,y]=[2,2]
注目個所(ノード)712、 サブ領域802 [x,y]=[4,3]
注目個所(ノード)713、 サブ領域803 [x,y]=[3,2]
注目個所(ノード)714、 サブ領域804 [x,y]=[4,3]
次に、それぞれのアイテムにおいて、マッピングされたサブ領域を包含する最小の統合サブ領域を抽出する。
図8(C)に具体例を示す。左のパンフレット201のサブ領域801、802を包含する最小の統合サブ領域として統合サブ領域811が抽出される。また、右のパンフレット202のサブ領域803,804を包含する最小の統合サブ領域として統合サブ領域812が抽出される。このようにして抽出された統合サブ領域811と812が2つのアイテム間の比較点の一つとなる。
また、本実施形態のように、比較の対象が文書であれば、レイアウト解析と組み合わせることで比較点を抽出しても良い。解析されたレイアウトのうち、サブ領域を多く含むレイアウト領域を比較点とすればよい。ただし、レイアウトだと領域が大きく取られてしまい本来の比較点が埋没する可能性がある。
例えば、指示動作の履歴に基づいて比較点を抽出する方法であれば、パンフレットの行程表の一部が比較点として抽出される場合であっても、レイアウト解析では行程表の全体が一つのレイアウト領域とされるため、行程表の全体が比較点となってしまう。その場合は、レイアウトの代表点の位置(例えば、レイアウト領域の左上の点の位置)とレイアウトの領域内におけるサブ領域の位置(代表点からの相対的な位置)とを組み合わせて比較点とすればよい。
抽出した比較点は、保持部114に記録する。ステップS603で抽出した極大クリークのそれぞれから1つの比較点が抽出される。
図9に、保持部に記録した比較点の例を示す。例えば1つのレコードに、2つのアイテムのID(Catalog ID1,Catalog ID2)と、比較点の座標([x1,y1],[x2,y2])と、比較点が含まれる領域のサイズ([w1,h1],[w2,h2])とを記録しておく。また、ステップS603で抽出した極大クリークに含まれるリンクの重みの合計などをスコアとして記録しておき、より重要な比較点を区別できるようにしておくことも可能である。
以上、取得した動作履歴を用いたアイテム間の比較情報の抽出について説明した。
続いて、図10、11を使って、抽出したアイテム間の比較情報を顧客へ提示する方法について説明する。
図10Aは作業台の上に2つのパンフレット201と202が置かれた状況を表す。1101は、制御部115によって制御されるユーザインタフェース(UI)であり、投影部117を通して投影装置106が作業台に投影する。投影されたボタンをユーザが指先で押下する動作を、撮像装置105から取り込み、特定部113で認識することで、制御部はボタンに対応した各種動作を実行する。
ボタン1002はアイテム間の比較情報を表示するためのUIである。ユーザがボタン1002を押下する動作をすると、ボタン1002が押下られたと認識され、制御部115はアイテム間の比較情報を表示するための動作を行う。まず、撮像装置105から取り込んだ画像から、作業台に表示中のアイテムを認識する。ここでは、パンフレット201と202の2つが認識され、それぞれのIDが取得される。次に、認識した2つのアイテムIDをクエリとして、図9に例示した比較点データベースから比較個所の位置と大きさを取得する。最後に、取得された比較個所の位置と大きさから制御部115は比較個所を強調表示する。強調表示する方法としては、例えば、比較個所を囲む四角い枠や楕円などを、投影装置106を用いて作業台の上のパンフレット201、202の表面に重畳表示(投影)する。
図10Bに、パンフレット201、202の表面に重畳表示された比較個所を示す枠、及びUIを例示する。図10Bに示す例では、比較個所を示す枠の線の太さや種類は一通り(全て同じ)であるが、線の太さ等は比較個所の重要度に応じて変えるとしても良い。例えば、重要度が高い比較個所を囲む枠の線は太くし、重要度が低い比較個所を囲む枠の線は細くしたり、重要度が高い比較個所を囲む枠の線は実線とし、重要度が低い比較個所を囲む枠の線は破線としたりしても良い。
また、比較情報の表示方法は様々考えられる。例えば、ユーザが1011のUIを押下することで、比較点の重要度をランキング表示することも可能である。
図10Cに、比較点の重要度をランキング表示する例を示す。ここでいう重要度とは、図9に例示した比較点データベースのスコアのことを指す。
他にも、ユーザが1012のUIを押下することで、比較点を表形式に表示することも可能である。
図10Dに、比較点を表形式に表示する例を示す。比較点の画像を切り出す際には、抽出した座標やサイズよりも大きめに切りだした方が良い。なぜなら、抽出した比較点はあくまで真の比較領域の一部だからである。
ここまでの比較情報の表示例は、一覧表示のものであったが、もちろんそれに限らない。例えば、重要度の最も高いものだけを最初に表示し、”Next”などのUIを設けることで、次に重要度の高い比較点を順次表示するようにしても良い。
さらに、よりインタラクティブなUIとして、ユーザがパンフレットの一部分を指すことで、そこに対応した比較情報があればそれを表示するようにしても良い。
図10Eに、ユーザが一方のパンフレットの一部分を指すと、他方のパンフレットの一部1051が、対応する比較個所であることが分かるように表示される例を示す。
その際に、比較していたパンフレットが比較個所が表示されているページとは別のページを開いているなど、比較個所が見えない状態になっている場合は、図10Dに示したような比較点の電子画像を替わりに表示しても良い。または、比較していたパンフレットを電子表示し、そこに比較点を重ねて表示しても良い。また、比較しているパンフレットが無い状態でも、ユーザがあるパンフレットの一部を指すことで、比較点データベースにある比較点を取り出して、図10Dに示したような比較点の電子画像を一覧表示しても良い。
本実施形態では、2つのアイテム間での比較情報の表示例について説明したが、3つ以上のアイテムでも同様に実施可能である。例えば、アイテムA、B、Cがあったとき、AとBの比較点、BとCの比較点、AとCの比較点をそれぞれ取得し、マージすることで3つのアイテムA、B、C上に比較情報を表示することが可能である。
また、このようなマージをすることで、直接は比較情報を持たない2つのアイテム間に間接的な比較情報を与えることが可能である。
図11は、直接的に比較された履歴がない2つのアイテム間に、第3のアイテムを介して、間接的に比較されたと表示する例を示す。図11に示すように、アイテム1101、1102、1103がある。アイテム1101と1102とは過去に比較された履歴があり、またアイテム1102と1103とも過去に比較された履歴があるが、アイテム1101と1103とは過去に比較された履歴がないため、比較情報が抽出できていないとする。
このようにアイテム1101と1103との間に直接的に比較された履歴がない場合であっても、
アイテム1101内の比較箇所1104と比較された履歴があり、かつ
アイテム1103内の比較箇所1106とも比較された履歴がある比較箇所1105がアイテム1102内に存在すれば、
比較箇所1104と比較箇所1106とを、アイテム1101とアイテム1103とを比較する際の比較箇所として特定し、例えば図11に示すように、比較箇所1104と比較箇所1106との間に破線を表示することなどが可能である。
以上、抽出したアイテム間の比較情報を顧客へ提示する方法について説明した。本実施形態では、自動で抽出したアイテム間の比較情報を用いるものとして説明したが、図9に例示した比較点データベースを事前に人手で用意して用いても良いことは言うまでもない。
なお、アイテム間の比較情報を作業台の上に表示する例で説明したが、これに限らない。メガネ型の端末を通して見たアイテム上に重畳表示しても良いし、カメラ付きのタブレットやスマートフォンで写したアイテム上に重畳表示しても良い。
また、図10B〜Dの表示例は、イメージをそのまま印刷して持ち帰ってもらうことも可能である。
以上、旅行販売店で販売員と顧客が対面し、旅行パンフレットを用いて販売員が顧客に各種旅行パンフレットの説明をする例で本実施形態を実現する環境の一例を説明した。その他、自動車販売店や保険販売店など販売員と顧客が対面で商談する場面ではもちろん、一人で商品を見比べる際にも広く利用可能である。また、本実施形態では、パンフレットを例として、アイテムが文書の場合で説明したが、文書に限らず形あるものなら広く適用可能である。例えば、実物のカメラのデザインや、ボタン配置などのUIを比較点として抽出することも可能である。
<その他の実施形態>
以上、実施形態を詳述したが、本発明は上述の実施形態に限定されるのではなく、本発明の趣旨を逸脱しない限りにおいて適宜変更が可能である。各実施形態を組み合わせても良い。
本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。例えば、データ収集は個々のクライアント機器で行い、収集したデータはサーバ機器に集めることでまとめて比較点抽出を行うようにしても良い。その際に、抽出した比較情報は再度、個々のクライアント機器に送ることでクライアント機器が保持しても良いし、個々のクライアント機器が都度、サーバ機器に比較情報を問い合わせても良い。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
111 撮像部
112 取得部
113 特定部
114 保持部
115 制御部
116 抽出部
117 投影部

Claims (12)

  1. 第1のアイテムを撮像して得られた第1の撮像アイテム、第2のアイテムを撮像して得られた第2の撮像アイテムのそれぞれが、予め登録されている複数の登録アイテムの中のどの登録アイテムと同じであるかを特定するための特定手段と、
    登録されている前記複数の登録アイテムの中の、第1の登録アイテムと第2の登録アイテムとを比較する際に対比すべき比較個所として、
    前記第1の登録アイテムに含まれる第1の位置を特定するための第1の位置特定情報、及び
    前記第2の登録アイテムに含まれる第2の位置を特定するための第2の位置特定情報を保持する保持手段と、
    前記第1の撮像アイテムが前記第1の登録アイテムであると特定され、前記第2の撮像アイテムが前記第2の登録アイテムであると特定された場合に、
    前記第1の位置特定情報を用いて前記第1の位置を指示する像を前記第1のアイテムの上に提示する、又は
    前記第2の位置特定情報を用いて前記第2の位置を指示する像を前記第2のアイテムの上に提示する、の少なくとも一方を行う提示手段と
    を有することを特徴とする情報処理装置。
  2. アイテムの中のユーザが注目している位置(注目位置)を取得する取得手段と、
    前記注目位置の遷移に基づいて、前記第1の位置特定情報と前記第2の位置特定情報とを抽出する抽出手段と
    をさらに有することを特徴とする請求項1に記載の情報処理装置。
  3. 前記取得手段は、
    指先を含む指示手段が指示するアイテムの表面の位置、または視線とアイテムの表面とが交わる位置を検出する検出手段と、
    対象のアイテムをサブ領域に分割する分割手段と
    を有し、
    前記指示手段によって指示された位置または前記視線とコンテンツの表面とが交わった位置が存在する前記サブ領域を、前記注目位置とすることを特徴とする請求項2に記載の情報処理装置。
  4. 前記抽出手段は、
    アイテムの注目位置をノードとし、アイテム間での注目位置の遷移をリンクとするグラフを作成するグラフ作成手段と、
    前記グラフから、前記第1のアイテムのノードと前記第2のアイテムのノードとの任意のペアが互いに結ばれてなるノード集合(クリーク)を抽出するクリーク抽出手段と
    を有し、
    抽出したクリークに含まれる前記ノードを前記比較個所として抽出することを特徴とする請求項2又は3に記載の情報処理装置。
  5. 前記抽出手段は、
    前記グラフ作成手段において、アイテム間での注目位置の遷移回数、又は注目位置が遷移するまでに経過した時間に応じてリンクの重みを決定することを特徴とする請求項4に記載の情報処理装置。
  6. 前記抽出手段は、
    抽出したクリークに含まれるリンクの前記重みの合計に応じて、前記比較個所の重要度を求めることを特徴とする請求項5に記載の情報処理装置。
  7. 前記提示手段は、
    アイテムの表面に重畳して前記比較個所を強調表示することを特徴とする請求項1〜6のいずれか1項に記載の情報処理装置。
  8. 前記提示手段は、
    前記比較個所の重要度の違いにより強調表示する方法を変えて表示することを特徴とする請求項1〜7のいずれか1項に記載の情報処理装置。
  9. 前記提示手段は、
    前記比較個所を中心とした周辺領域を切り出して電子画像を作成する手段をさらに有し、
    作成された電子画像を用いて前記比較個所を一覧表として表示することを特徴とする請求項1〜8のいずれか1項に記載の情報処理装置。
  10. 前記取得手段が、ユーザが注目している前記第1のアイテムの中の前記注目位置を取得すると、
    前記提示手段が、前記第1のアイテムの中の前記注目位置と比較すべき前記第2のアイテムの中の比較個所を強調表示することを特徴とする請求項1〜9のいずれか1項に記載の情報処理装置。
  11. 前記抽出手段は、
    前記第1のアイテムの第1の位置と、第3のアイテムの第3の位置とが、前記第1のアイテムと、前記第3のアイテムとを比較する際の比較箇所として抽出され、かつ
    前記第2のアイテムの第2の位置と、前記第3のアイテムの前記第3の位置とが、前記第2のアイテムと、前記第3のアイテムとを比較する際の比較箇所として抽出された場合に、
    前記第1のアイテムの前記第1の位置と、前記第2のアイテムの前記第2の位置とを、前記第1のアイテムと、前記第2のアイテムとを比較する際の比較箇所として抽出することを特徴する請求項2〜10のいずれか1項に記載の情報処理装置。
  12. 請求項1〜11のいずれか1項に記載の情報処理装置の各手段としてコンピュータを機能させるためのプログラム。

JP2015113665A 2015-06-04 2015-06-04 情報処理装置、及びプログラム Pending JP2016224884A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015113665A JP2016224884A (ja) 2015-06-04 2015-06-04 情報処理装置、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015113665A JP2016224884A (ja) 2015-06-04 2015-06-04 情報処理装置、及びプログラム

Publications (1)

Publication Number Publication Date
JP2016224884A true JP2016224884A (ja) 2016-12-28

Family

ID=57748295

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015113665A Pending JP2016224884A (ja) 2015-06-04 2015-06-04 情報処理装置、及びプログラム

Country Status (1)

Country Link
JP (1) JP2016224884A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019032577A (ja) * 2017-08-04 2019-02-28 Kddi株式会社 注視領域推定装置及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019032577A (ja) * 2017-08-04 2019-02-28 Kddi株式会社 注視領域推定装置及びプログラム

Similar Documents

Publication Publication Date Title
JP6489262B2 (ja) 誘導画像キャプチャユーザインタフェース
CN107690657B (zh) 根据影像发现商户
US10083357B2 (en) Image-based item location identification
CN104919794B (zh) 用于从主从式相机跟踪系统提取元数据的方法和系统
Tonioni et al. Product recognition in store shelves as a sub-graph isomorphism problem
US8812376B2 (en) Techniques for generating an electronic shopping list
JP5395920B2 (ja) 検索装置、検索方法、検索プログラム、及びそのプログラムを記憶するコンピュータ読取可能な記録媒体
US9928530B2 (en) Digitization of a catalog of retail products
JP2014106692A (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
JP2019020986A (ja) 人流分析方法、人流分析装置、及び人流分析システム
KR20220039578A (ko) 사용자 선택 의류를 기반으로 의류 추천 정보를 제공하는 방법, 이를 이용하는 서버 및 프로그램
JP6635140B2 (ja) リアログラムからプラノグラムのユーザー・インターフェース
US11232511B1 (en) Computer vision based tracking of item utilization
JP6593949B1 (ja) 情報処理装置、及び、マーケティング活動支援装置
US9851784B2 (en) Movement line conversion and analysis system, method and program
US20220269396A1 (en) Dynamic targeting of preferred objects in video stream of smartphone camera
JP2016224884A (ja) 情報処理装置、及びプログラム
KR101952622B1 (ko) 로컬 색차 기반으로 이미지를 검색하는 방법, 장치, 시스템 및 컴퓨터 프로그램
US20140092261A1 (en) Techniques for generating an electronic shopping list
CN114360057A (zh) 数据处理方法及相关装置
US10372297B2 (en) Image control method and device
US9477879B2 (en) Information processing apparatus, information processing method, and storage medium for obtaining a relationship between pieces of contents from use history information about the contents
US20230237558A1 (en) Object recognition systems and methods
JP6773144B2 (ja) コンテンツ選択装置、コンテンツ選択方法、コンテンツ選択システム及びプログラム
KR20210074154A (ko) 취향중심 또는 상황중심으로 의류 추천 정보를 제공하는 방법, 이를 이용하는 서버 및 프로그램