JP2014142706A - 情報処理装置及びプログラム - Google Patents

情報処理装置及びプログラム Download PDF

Info

Publication number
JP2014142706A
JP2014142706A JP2013009433A JP2013009433A JP2014142706A JP 2014142706 A JP2014142706 A JP 2014142706A JP 2013009433 A JP2013009433 A JP 2013009433A JP 2013009433 A JP2013009433 A JP 2013009433A JP 2014142706 A JP2014142706 A JP 2014142706A
Authority
JP
Japan
Prior art keywords
area
designated
database
registered
candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013009433A
Other languages
English (en)
Other versions
JP5935702B2 (ja
Inventor
Shinpei Noda
晋平 野田
Yuichi Oneda
裕一 大根田
Kenichiro Fukuda
健一郎 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Priority to JP2013009433A priority Critical patent/JP5935702B2/ja
Priority to US14/021,238 priority patent/US9292542B2/en
Publication of JP2014142706A publication Critical patent/JP2014142706A/ja
Application granted granted Critical
Publication of JP5935702B2 publication Critical patent/JP5935702B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • G06F16/532Query formulation, e.g. graphical querying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】互いに類似する画像の特徴量がデータベースに保存されることがないように図る。
【解決手段】制御部は、更新操作が行われた場合に、指定マーカ領域を更新する。すなわち、制御部は、更新操作が行われた場合に、更新後の指定マーカ領域の候補となる候補領域を特定し、指定マーカ領域を候補領域へと更新する。但し、制御部は、候補領域の少なくとも一部が、データベースに登録されるマーカ領域と重なるか否かを判定し(S402B)、候補領域の少なくとも一部がマーカ領域と重なる場合、指定マーカ領域の更新を行わない。
【選択図】図10

Description

本発明は、情報処理装置及びプログラムに関する。
下記特許文献1には、以下に説明する画像処理装置が記載されている。すなわち、特許文献1に記載の画像処理装置では、ドキュメントの一部の部分領域に重なるようデジタルメディアがリンクされていることを示す埋め込み型メディアマーカ(以下、EMM(Embedded Media Marker)が配置される。EMMは、その内部にドキュメントの部分を識別するための特徴点が含まれるように配置され、特徴点に関する情報がリンクされたデジタルメディアと関連づけてデータベースに保存される。ユーザは、EMMの写真を撮影し、その写真の特徴点を解析することで、リンクされたデジタルメディアを取得する。
特開2011−135556号公報
本発明の目的は、互いに類似する画像の特徴量がデータベースに保存されることがないように図ることである。
上記課題を解決するための請求項1の発明は、処理対象の画像中の利用者により指定された領域である指定領域を案内する画像、及び、データベースに登録されている領域を案内する画像、を表示手段に表示させる表示制御手段と、前記指定領域を更新するための更新操作が前記利用者により行われた場合に、前記指定領域の候補となる候補領域を特定し、特定した候補領域に前記指定領域を更新する更新手段と、前記指定領域を登録するための登録操作が前記利用者により行われた場合に、前記指定領域を、前記データベースに登録する登録手段と、を含み、前記更新手段が、前記更新操作が行われた場合に、前記候補領域の少なくとも一部が、前記データベースに登録されている領域に予め定めた領域以上含まれる場合に、前記指定領域を当該候補領域に更新することを行わないこと、を特徴とする情報処理装置である。
請求項2の発明は、請求項1に記載の情報処理装置において、前記更新手段が、前記データベースに登録されている領域の変更が禁止の状態にあり、且つ、前記候補領域の少なくとも一部が前記データベースに登録されている領域に予め定めた領域以上含まれる場合に、前記指定領域を前記候補領域に更新することを行わないことを特徴としている。
請求項3の発明は、請求項1に記載の情報処理装置において、前記登録手段が、前記登録操作が行われた場合に、前記指定領域を、前記利用者により入力された、情報資源のアドレス情報と、前記指定領域内の画像特徴を示す特徴量と、に関連づけて前記データベースに登録し、前記更新手段が、前記候補領域の少なくとも一部が前記データベースに登録されている領域に予め定めた領域以上含まれる場合、前記指定領域の指定を解除する解除手段と、前記候補領域の少なくとも一部が前記データベースに登録されている領域に予め定めた領域以上含まれる場合、前記データベースに登録される該領域と、前記候補領域と、を含む統合領域を特定する特定手段と、前記候補領域の少なくとも一部が前記データベースに登録されている領域に予め定めた領域以上含まれる場合、前記データベースに登録されている該領域を前記統合領域へと更新する領域更新手段と、前記候補領域の少なくとも一部が前記データベースに登録されている領域に予め定めた領域以上含まれる場合、該領域に関連づけられた特徴量を、前記統合領域内の画像特徴を示す特徴量へと更新する特徴更新手段と、前記候補領域の少なくとも一部が前記データベースに登録されている領域に予め定めた領域以上含まれる場合、該領域に、前記利用者により入力されたアドレス情報をさらに関連づける関連づけ手段と、をさらに含むことを特徴としている。
請求項4の発明は、請求項3に記載の情報処理装置において、前記解除手段が、前記候補領域の少なくとも一部が前記データベースに登録されている領域に予め定めた領域以上含まれる場合、前記データベースに登録されている領域の変更が禁止の状態でなければ、前記指定領域の指定を解除し、前記領域更新手段が、前記候補領域の少なくとも一部が前記データベースに登録されている領域に予め定めた領域以上含まれる場合、前記処理対象の画像の状態が予め定められた状態であれば、前記データベースに登録されている該領域を前記統合領域へと更新し、前記特徴更新手段が、前記候補領域の少なくとも一部が前記データベースに登録されている領域に予め定めた領域以上含まれる場合、前記データベースに登録されている領域の変更が禁止の状態でなければ、該領域に関連づけられた特徴量を、前記統合領域内の画像特徴を示す特徴量へ更新し、前記関連づけ手段が、前記候補領域の少なくとも一部が前記データベースに登録されている領域に予め定めた領域以上含まれる場合、前記データベースに登録されている領域の変更が禁止の状態でなければ、該領域に、前記利用者により入力されたアドレス情報をさらに関連づけること、を特徴としている。
請求項5の発明は、請求項1乃至4のいずれかに記載の情報処理装置において、利用者により前記処理対象の画像内の領域が指定された場合に、該利用者により指定された領域を前記指定領域として指定する指定手段をさらに含み、前記指定手段が、利用者により指定された領域の少なくとも一部が前記データベースに登録される領域に予め定めた領域以上含まれる場合、前記利用者により指定された領域を前記指定領域として指定しないこと、を特徴としている。
また、上記課題を解決するための請求項6の発明は、処理対象の画像中の利用者により指定された領域である指定領域を案内する画像、及び、データベースに登録されている領域を案内する画像、を表示手段に表示させる表示制御手段、前記指定領域を更新するための更新操作が前記利用者により行われた場合に、前記指定領域の候補となる候補領域を特定し、特定した候補領域に前記指定領域を更新する更新手段、前記指定領域を登録するための登録操作が前記利用者により行われた場合に、前記指定領域を、前記データベースに登録する登録手段、としてコンピュータを機能させるためのプログラムであって、前記更新手段は、前記更新操作が行われた場合に、前記候補領域の少なくとも一部が、データベースに登録される領域に含まれる場合、前記指定領域を当該候補領域に更新することを行わないこと、を特徴とする。
請求項1、6の発明によれば、互いに類似する画像の特徴量がデータベースに保存されることがないように図ることができる。
請求項2の発明によれば、処理対象の画像の状態を考慮して、指定領域を更新できる。
請求項3の発明によれば、画像の特徴量が過剰にデータベースに登録されないよう図ることができる。
請求項4の発明によれば、処理対象の画像の状態を考慮して、データベースに登録されている特徴量の更新を制御できる。
請求項5の発明によれば、本構成を有しない場合と比較して、より確実に、互いに類似する画像の特徴量が同一のデーターベースに保存されることがないように図ることができる。
情報処理装置(サーバ)の構成を示す図である。 文書画像の一例を示す図である。 データベースの記憶内容の一例を示す図である。 指定マーカ領域が指定されているときの文書画像の一例を示す図である。 サーバにおいて実行される処理を示すフロー図である。 サーバにおいて実行される処理を示すフロー図である。 サーバにおいて実行される処理を示すフロー図である。 指定マーカ領域が拡大する様子を示す図である。 指定マーカ領域が移動する様子を示す図である。 サーバにおいて実行される処理を示すフロー図である。 更新ルーチンにおいてサーバで実行される処理を示すフロー図である。 指定ルーチンにおいてサーバで実行される処理を示すフロー図である。 マーカ領域が更新される様子を示す図である。 マーカ領域が更新される様子を示す図である。 更新ルーチンにおいてサーバで実行される処理を示すフロー図である。
以下、本発明の実施形態の例について図面に基づき詳細に説明する。
図1は、本発明の実施形態に係る情報処理装置の構成を例示する図である。本実施形態では、情報処理装置は、制御部2a、主記憶2b、ネットワークインタフェース2c、及びハードディスク2d等を備えたサーバ2として実現される。制御部2aは、マイクロプロセッサであり、主記憶2bに記憶されるプログラムに従って各種情報処理を実行する。主記憶2bは、ROM及びRAMによって実現され、上記プログラムが格納される。ここでは、このプログラムは、コンピュータ読み取り可能な情報記憶媒体(例えば、DVD(登録商標)−ROM)から読み出されて主記憶2bに記憶される。なお、このプログラムは、ネットワークを介してダウンロードされて主記憶2bに記憶されてもよい。
また、主記憶2bには、各種情報処理に必要な情報が格納され、主記憶2bは、ワークメモリとしても機能する。
ネットワークインタフェース2cは、サーバ2をネットワークに接続するためのインタフェースである。ネットワークインタフェース2cは、制御部2aの命令に従って、情報をネットワークに送信したり、ネットワークから情報を受信したりする。図1に示すように、ネットワークには、ユーザU1の情報端末4及びユーザU2の携帯端末6が接続されており、サーバ2はこれらとネットワークを介して通信可能となっている。なお、ここでは、ユーザU1は、ある企業A社の従業員である。携帯端末6には、A社が無料で提供しているアプリケーションがインストールされている。
ハードディスク2dは、各種情報を記憶する。本実施形態の場合、ハードディスク2dには、A社の製品を宣伝するための文書の画像(以下、文書画像と表記する)を示すデータが記憶されている。図2は、文書画像の一例を示す図である。本実施形態の場合、文書画像はビットマップ画像である。文書画像内には、同心円の領域であるマーカ領域8aが設定されている。文書画像は、マーカ領域8aの輪郭を示す半透明のリング画像であるマーカ画像(不図示)とともに印刷される。なお、文書画像には図示していない座標軸が設定されており、文書画像内の位置及び範囲は、各座標軸の座標により特定される。
また、ハードディスク2dには、データベースが保持される。データベースには、文書画像内に設定されたマーカ領域8aが登録される。図3は、データベースの記憶内容の一例を示す図である。同図に示すように、データベースには、文書画像内に設定されたマーカ領域8aそれぞれを示す情報が記憶される。すなわち、データベースは、マーカ領域フィールドを含み、マーカ領域フィールドには、マーカ領域8aを示す情報が格納される。ここでは、マーカ領域フィールドに、マーカ領域8aの半径rと中心点Pとが格納される。また、データベースには、文書画像内に設定されたマーカ領域8aそれぞれに関連づけて、そのマーカ領域8a内の文書画像の画像特徴を示す特徴量が格納される。すなわち、データベースは、特徴量フィールドを含み、特徴量フィールドに特徴量が格納される。ここでは、SIFT(Scale-Invariant Feature Transform)アルゴリズムによってマーカ領域8a内から抽出された1又は複数の特徴点が特徴量として、特徴量フィールドに格納される。また、データベースには、文書画像に設定されたマーカ領域8aそれぞれに関連づけて、そのマーカ領域8a内の表示要素に関するウェブコンテンツ(例えば、A社の製品に関する動画)のURLが格納される。すなわち、データベースは、リンクデータフィールドを含み、リンクデータフィールドにURLが格納される。URLが「アドレス情報」に相当する。
図2では、マーカ領域8aが1つしか設定されていないので、図3に示すように、1つのマーカ領域しかデータベースに登録されていない。
なお、ハードディスク2dには、文書画像の状態を示す状態フラグも記憶されている。状態フラグの値「0」は、文書画像がテスト発行済状態であることを示す。テスト発行済状態とは、文書画像の印刷物がA社の社内だけに流布されている状態である。文書画像がテスト発行済状態にある場合、文書画像に設定されているマーカ領域8aの変更が許可される。「変更」には、更新及び削除が含まれる。また、状態フラグの値「1」は、文書画像が発行済状態であることを示す。発行済状態とは、文書画像の印刷物が広く公衆に流布されている状態であり、文書画像に設定されているマーカ領域8aの変更は禁止される。
サーバ2は、ウェブサーバ機能を備えている。ユーザU1は、文書画像内にマーカ領域を設定したい場合、情報端末4でサーバ2にアクセスする。すなわち、情報端末4でサーバ2にアクセスすると、文書画像と、マーカ領域8aの中心点Pの座標及び半径rと、が制御部2a(表示制御手段)によって情報端末4へと送信される。これらを受信した情報端末4(表示手段)ではブラウザに文書画像が上記マーカ画像とともに表示される。ユーザU1は、ウェブコンテンツへのURLを入力した後、ブラウザに表示された文書画像を参照しながら、まず、指定操作を実行する。こうすることにより、ユーザU1は、文書画像内でマーカ領域を設定したい領域を指定する。例えば、ユーザU1は、ウェブコンテンツと関連づけたい領域を指定する。具体的には、ユーザU1は、指定操作において、マウス等の操作手段を用いて文書画像中の位置を指定する。こうすることで、ユーザU1は、指定した位置を中心とする既定半径を有する同心円の領域を指定する。
指定操作によって指定された領域は指定マーカ領域8bとして指定され、情報端末4において指定マーカ領域8bの輪郭を示す半透明のリング画像である指定マーク画像(不図示)が表示される。図4に、指定マーカ領域8bが指定されているときの文書画像の一例を示した。点Qは、指定マーカ領域8bの中心を示す。具体的には、指定操作が行われた場合に、ユーザU1によって入力されたURLとユーザU1が指定した位置の座標とがサーバ2へと送信される。そして、これらを受信したサーバ2において、図5のフロー図に示す処理が実行される。
すなわち、制御部2aは、ユーザU1によって入力されたURLを主記憶2bに保存する(S101)。また、制御部2aは、ユーザU1が指定した位置の座標に基づいて、ユーザU1によって指定された領域を特定する(S102)。具体的には、S102で制御部2aは、ユーザU1が指定した位置を中心とする既定半径の円領域を特定する。
そして、制御部2aは、指定ルーチンを実行する(S103)。詳しいことは後述するが、指定ルーチンで制御部2a(指定手段)は、原則として、S102で特定した領域を指定マーカ領域8b(指定領域)として指定する。具体的に、指定ルーチンで制御部2aは、ユーザU1が指定した位置、言い換えればS102で特定した領域の中心、の座標を、指定マーカ領域8bの中心Qの座標として主記憶2bに保存する。また、制御部2aは、S102で特定した領域の半径、すなわち上記既定半径を、指定マーカ領域8bの半径R(図4参照)として主記憶2bに保存する。
ちなみに、指定マーカ領域8bの中心Q及び半径Rは、制御部2a(表示制御手段)により、ユーザU1の情報端末4へと送信される。これらを受信した情報端末4(表示手段)では、上述した指定マーク画像が表示される。なお、指定マーク画像8bは、指定マーカ領域8bの輪郭を示す半透明のリング画像である。
指定操作により領域を指定したユーザU1は、指定した領域をマーカ領域として設定したい場合、登録操作を行う。例えば、ユーザU1は、所定のボタンをクリックする。登録操作が行われると、登録指示がサーバ2へと送信される。登録指示を受信したサーバ2では、図6のフロー図に示す処理が実行される。この処理により、指定マーカ領域8bがマーカ領域8aとして設定され、データベースに登録される。
すなわち、制御部2aは、指定マーカ領域8bの中心Q及び半径Rを主記憶2bから読み出し、指定マーカ領域8bにおける、文書画像の画像特徴を示す特徴量を抽出する(S201)。本実施形態では、S201で制御部2aは、SIFTアルゴリズムに従って、指定マーカ領域8b内の画像から1又は複数の特徴点を特徴量として抽出する。
また、制御部2a(登録手段)は、指定マーカ領域8bをマーカ領域8aとして、S201で抽出した特徴量と主記憶部2bに保存されるURLとに関連づけてデータベースに登録する(S202)。すなわち、S202で制御部2aは、データベースに新たなレコードを追加し、追加したレコードのマーカ領域フィールドに、指定マーカ領域8bの中心Qの座標をマーカ領域8aの中心Pの座標として格納し、且つ、指定マーカ領域8bの半径Rをマーカ領域8aの半径rとして格納する。また、追加したレコードの特徴量フィールドに、S201で抽出した特徴量を格納する。また、追加したレコードのリンクデータフィールドに、主記憶2bに保存されるURLを格納する。
こうして、指定マーカ領域8bがマーカ領域8aとして設定される。なお、指定マーカ画像はマーカ画像となる。
このサーバ2には、文書画像の印刷物を手に入れたユーザU2に対して、A社の製品の宣伝を効率よく行うための工夫が施されている。すなわち、印刷物を手に入れたユーザU2が、携帯端末6に内蔵されたデジタルカメラの照準をマーカ画像に合わせ、マーカ画像を含む領域を撮像すると、マーカ画像内の領域(すなわちマーカ領域8a)の表示要素(例えば、製品)に関するウェブコンテンツが自動的に携帯端末6にて表示されるようになっている。より詳しくは、ユーザU2が、マーカ画像を含む領域を撮像すると、上記アプリケーションにより、撮像画像からマーカ領域の画像が検索対象画像として切り出され、検索対象画像を示すデータがサーバ2に送信される。そして、これを受信したサーバ2において図7に示す処理が実行される。
すなわち、まず、制御部2aは、SIFTアルゴリズムに従って、1又は複数の特徴点を、検索対象画像の画像特徴を示す特徴量として抽出する(S301)。
そして、制御部2aは、データベースに記憶される特徴量一つ一つについて、検索対象画像から抽出された特徴量との類似度を算出する(S302)。本実施形態では、S302で制御部2aは、データベースに記憶される特徴量ごとに、その特徴量が表す特徴点それぞれと、検索対象画像から抽出された特徴点それぞれと、を比較し、互いに対応関係にある特徴点の組み合わせの数を類似度として算出する。
そして、制御部2aは、データベースに記憶される特徴量のうち、検索対象画像から抽出された特徴量との類似度が閾値以上である特徴量を特定し(S303)、特定した特徴量に関連づけられているURLを携帯端末6に送信する(S304)。例えばS304で制御部2aは、S303で特定した特徴量のうちの、検索対象画像から抽出された特徴量との類似度が最大の特徴量、に関連づけられたURLを携帯端末6に送信する。URLを受信した携帯端末6では、そのURLが表すリンク先のウェブコンテンツが取得され、取得されたウェブコンテンツ(例えば、A社の製品に関する動画)が出力されることとなる。
なお、ユーザU1は、指定マーカ領域8bが気に入らない場合、登録操作を行う前に更新操作を行うことによって、指定マーカ領域8bの更新を行える。例えば、ユーザU1は、更新操作の一種である拡大操作を行うことによって、指定マーカ領域8bを拡大する。図8Aは、拡大操作によって指定マーカ領域8bが拡大する様子を示している。また、例えば、ユーザU1は、更新操作の一種である移動操作を行うことによって、指定マーカ領域8bを移動させる。図8Bは、移動操作によって指定マーカ領域8bが移動する様子を示している。
具体的には、更新操作が行われた場合に、更新指示がサーバ2へと送信される。そして、これを受信したサーバ2において、図9のフロー図に示す処理が実行される。
すなわち、制御部2a(更新手段)は、主記憶2bから中心Q及び半径Rを読み出し、これらに基づいて、更新後の指定マーカ領域8bの候補となる候補領域を特定する(S401)。具体的には、拡大操作が行われた場合、S401で制御部2aは、主記憶2bから読み出した半径Rに基づいて、候補領域の半径を算出する。例えば、制御部2aは、半径Rに所定値ΔRを加えた長さを、候補領域の半径として算出する。また、移動操作が行われた場合、S401で制御部2aは、主記憶2bから読み出した中心Qに基づいて、候補領域の中心の座標を算出する。例えば、制御部2aは、ユーザU1によって指示された方向に中心Qから所定距離だけ離れた位置の座標を、候補領域の中心として算出する。
そして、制御部2aは、更新ルーチンを実行する(S402)。詳しいことは後述するが、更新ルーチンで制御部2a(更新手段)は、原則として、指定マーカ領域8bを候補領域へと更新する。具体的に、更新ルーチンで制御部2aは、拡大操作が行われた場合には、S401で算出した候補領域の半径で、主記憶2bに記憶される指定マーカ領域8bの半径Rを更新する。また、移動操作が行われた場合には、S401で算出した候補領域の中心の座標で、主記憶2bに記憶される指定マーカ領域8bの中心Qの座標を更新する。
ところで、少なくとも一部が重なりあう2つのマーカ領域8aが設定された場合、互いに類似する特徴量がデータベースに保存される可能性がある。そのため、少なくとも一部が重なりあう2つのマーカ領域8aが設定された場合、図7に示す処理が行われたときに、本来出力されるべきウェブコンテンツとは異なるウェブコンテンツが出力される可能性がある。
この点、このサーバ2では、更新ルーチン(図9参照)において、少なくとも一部がマーカ領域8aに重なってしまうような指定マーカ領域8bの更新が制限されるように図られている。また、このサーバ2では、指定ルーチン(図5参照)において、少なくとも一部がマーカ領域8aに重なるような指定マーカ領域8bの指定が制限されるようにもなっている。以下、この点に関して、更新ルーチン、指定ルーチンの順に説明する。
図10は、更新ルーチンにおいてサーバ2で実行される処理を示すフロー図である。まず、制御部2a(更新手段)は、データベースに登録されているマーカ領域8aの範囲を特定する(S402A)。具体的に、S402Aで制御部2aは、マーカ領域フィールド(図3参照)に格納されるデータに基づいて、マーカ領域の範囲を特定する。
そして、制御部2a(更新手段)は、候補領域の少なくとも一部がマーカ領域8aと重なるか否かを判定する(S402B)。ここで、「候補領域の少なくとも一部がマーカ領域8aと重なる場合」とは、「候補領域が、予め定めた広さの領域以上、マーカ領域8aと重なっている場合」を意味し、より詳しくは、「候補領域とマーカ領域8aとの重複部分の画素数が予め定めた基準数以上である場合」を意味する。ここで、基準数は、「0」以上の整数である。
そして、制御部2a(更新手段)は、候補領域の少なくとも一部がマーカ領域8aと重なる場合には(S402BのY)、指定マーカ領域8bを候補領域へと更新することを行わず、候補領域の少なくとも一部がマーカ領域8aと重ならない場合に(S402BのN)、指定マーカ領域8bを候補領域へと更新する(S402C)。例えば、基準数が「0」である場合、指定領域8bのどの領域もマーカ領域8aと重ならないように制御されることになる。なお、制御部2aは、S402Cにおいて、指定マーカ領域8bの更新に伴う指定マーカ画像の位置又はサイズの更新のため、更新後の指定マーカ領域8bの中心Q及び半径Rを情報端末4へと送信することも行う。
このように、少なくとも一部がマーカ領域に重なってしまうような指定マーカ領域8bの更新が制限される。
次に、指定ルーチンについて説明する。図11は、指定ルーチンおいてサーバ2で実行される処理を示すフロー図である。まず、制御部2a(指定手段)は、S402A(図10参照)と同様にして、データベースに登録されるマーカ領域8aの範囲を特定する(S103A)。
そして、制御部2a(指定手段)は、S102で特定した、ユーザU1が指定した領域の少なくとも一部がマーカ領域8aと重なるか否かを判定する(S103B)。ここで、「ユーザU1が指定した領域の少なくとも一部がマーカ領域8aと重なる場合」とは、「ユーザU1が指定した領域が、予め定めた広さの領域以上、マーカ領域8aと重なっている場合」を意味し、より詳しくは、「ユーザU1が指定した領域とマーカ領域8aとの重複部分の画素数が上記基準数以上である場合」を意味する。
そして、制御部2a(指定手段)は、ユーザU1が指定した領域の少なくとも一部がマーカ領域8aと重なる場合には(S103BのY)、ユーザU1が指定した領域を指定マーカ領域8bとして指定せず、ユーザU1が指定した領域の少なくとも一部がマーカ領域8aと重ならない場合に(S103BのN)、ユーザU1が指定した領域を指定マーカ領域8bとして指定する(S103C)。すなわち、S103Cで制御部2aは、ユーザU1が指定した領域の中心の座標を、指定マーカ領域8bの中心Qの座標として主記憶2bに保存し、且つ、上記既定半径を、指定マーカ領域8bの半径Rとして主記憶2bに保存する。例えば、基準数が「0」である場合、指定領域8bのどの領域もマーカ領域8aと重ならないように制御されることになる。
このように、少なくとも一部がマーカ領域に重なるような指定マーカ領域8bの指定が制限される。
ところで、仮に、少なくとも一部が重なりあう2つのマーカ領域8aが設定されたとしても、文書画像がテスト発行済状態であれば、例えば一方のマーカ領域8aの変更が許可される。そのため、少なくとも一部が重なりあう2つのマーカ領域8aが設定されたとしても、文書画像がテスト発行済状態であれば、特に大きな問題はない。
そこで、制御部2aは、候補領域の少なくとも一部がマーカ領域8aと重なる場合(S402BのY)、マーカ領域8aの変更が禁止される状態であれば、指定マーカ領域8bの更新を行わないようにしてもよい。すなわち、制御部2aは、候補領域の少なくとも一部がマーカ領域8aと重なる場合(S402BのY)、マーカ領域8aの変更が禁止される状態であるか否か、すなわち文書画像が発行済状態であるか否か、を上記状態フラグに基づいて判定し、文書画像が発行済状態である場合に、指定マーカ領域8bの更新を行わずに更新ルーチンを終了し、マーカ領域8aの変更が禁止される状態である場合、S402Cのステップを実行してもよい。
なお、本発明の実施形態は、上記実施形態だけに限らない。
(1)例えば、以上では、指定領域8bを、同心円の領域としていたが、指定領域8bは、どのような形状であってもよい。すなわち、マーカ領域8aは、どのような形状であってもよい。例えば、指定領域8bが、中心Qを中心とする半径Rの円領域の外接矩形であり、且つ、マーカ領域8aが、中心Pを中心とする半径rの円領域の外接矩形であってもよい。また、指定マーカ画像は、必ずしも指定領域8bの輪郭と一致していなくてもよい。例えば、指定領域8bが中心Qを中心とする半径Rの円領域の外接矩形である場合において、当該円領域の輪郭を示す画像を指定マーカ画像としてもよい。また、マーカ画像は、必ずしもマーカ領域8aの輪郭と一致していなくてもよい。例えば、マーカ領域8aが中心Pを中心とする半径rの円領域の外接矩形である場合において、当該円領域の輪郭を示す画像をマーカ画像としてもよい。
(2)また、例えば、「アドレス情報」は、ウェブコンテンツに限らず、何らかの情報資源のアドレスを示すデータであれば、どのような情報であってもよい。例えば、「アドレス情報」は、コンテンツのファイルパスであってもよい。なお、「アドレス情報」は、ウェブコンテンツなどのコンテンツそのものであってもよい。
(3)また、例えば、マーカ領域8aが多数設定されている場合、マーカ画像が多数表示されるため外見上煩雑となるし、データベースのデータ量も多くなる。そこで、制御部2aは、候補領域の少なくとも一部がマーカ領域8aと重なる場合に(S402BのY)、候補領域を含む領域へと該マーカ領域8aを更新してもよい。例えば、制御部2aは、図12Aに示すように、拡大操作の結果として候補領域の少なくとも一部がマーカ領域8aと重なる場合や、図12Bに示すように、移動操作の結果として候補領域の少なくとも一部がマーカ領域8aと重なる場合に、指定マーカ領域8bを削除しつつ、候補領域を含む領域へとマーカ領域8aを更新してもよい。
具体的には、上述のようにマーカ領域8aの変更はマーカ領域8aの変更が許可される状態である場合に限り許可されるので、制御部2aは、候補領域の少なくとも一部がマーカ領域8aに重なる場合に(S402BのY)、マーカ領域8aの変更か許可される状態(すなわち、文書画像がテスト発行済状態)であれば、マーカ領域8aを更新してもよい。例えば、制御部2aは、図10に示す更新ルーチンにおいて、候補領域の少なくとも一部がマーカ領域8aに重なる場合に(S402BのY)、図13に示す処理を追加で実行してもよい。
すなわち、制御部2aは、マーカ領域8aの変更が許可される状態であるか否か、すなわち文書画像がテスト発行済状態にあるか否かを判定する(S402D)。すなわち、S402Dで制御部2aは、上述した状態フラグの値が「0」であるか否かを判定する。文書画像が発行済状態である場合(S402DのN)、制御部2aは、マーカ領域8aの変更が禁止される状態であるので、更新ルーチンを終了する。
一方、文書画像がテスト発行済状態である場合(S402DのY)、制御部2aは、S402E以降のステップを実行する。すなわち、制御部2a(特定手段)は、まず、マーカ領域8aと候補領域とに外接する円領域である統合領域の範囲を特定する(S402E)。具体的に、S402Eで制御部2aは、統合領域の中心及び半径とを算出する。なお、マーカ領域8aと候補領域とを含む領域であれば、統合領域はどのような領域であってもよい。
そして、制御部2aは、マーカ領域8aを統合領域へと更新する(S402F)。具体的に、S402Fで制御部2aは、マーカ領域フィールドに格納されるマーカ領域8aの中心Pの座標を統合領域の中心の座標で更新し、且つ、マーカ領域8aの半径rを統合領域の半径で更新する。なお、S402Fにおいて制御部2aは、マーカ領域8aの更新に伴うマーカ画像の更新のため、更新後のマーカ領域8aの中心P及び半径rを情報端末4へと送信することも行う。
また、制御部2aは、SIFTアルゴリズムによって、統合領域内の画像から一又は複数の特徴点を特徴量として抽出し、抽出した特徴量で、特徴量フィールド(図3参照)に格納される特徴量を更新する(S402G)。また、制御部2a(関連づけ手段)は、主記憶2bに記憶されるURLを、リンクデータフィールドに追加で格納する(S402H)。こうすることで、制御部2aは、主記憶2bに記憶されるURLを、マーク領域8aにさらに関連づける。
そして、制御部2a(解除手段)は、情報端末4に表示される指定マーク画像を消去するために、指定マーカ領域8bの指定を解錠する(S402I)。具体的に、S402Iで制御部2aは、主記憶2bから、指定マーカ領域8bの中心Qの座標及び半径Rを削除すればよい。
(4)また、例えば、文書単位で状態が設定されるのではなく、マーカ領域8a単位で状態が設定されてもよい。すなわち、変更が禁止される状態であるか否かが、データベースに登録されているマーカ領域8aごとに設定されていてもよい。例えば、上記状態フラグの代わりに、データベースに登録されている個々のマーカ領域8aごとにその変更が禁止される状態にあるかを特定するデータが、ハードディスク2dに格納されていてもよい。例えば、有効期限前は変更を禁止し有効期限後は変更を許可するような場合、個々のマーカ領域8aごとに、その有効期限が上記データとしてハードディスク2dに格納されてもよい。この場合、制御部2aは、候補領域の少なくとも一部がマーカ領域8aに重なる場合において(S402BのY)、マーカ領域8aの変更が許可される状態であるか否かを判定したり、マーカ領域8aの変更が禁止される状態であるか否かを判定したりすることを、を上記データに基づいて行えばよい。
2 サーバ、2a 制御部、2b 主記憶、2c ネットワークインタフェース、2d ハードディスク、4 情報端末、6 携帯端末、8a マーカ領域、8b 指定マーカ領域、U1,U2 ユーザ。


Claims (6)

  1. 処理対象の画像中の利用者により指定された領域である指定領域を案内する画像、及び、データベースに登録されている領域を案内する画像、を表示手段に表示させる表示制御手段と、
    前記指定領域を更新するための更新操作が前記利用者により行われた場合に、前記指定領域の候補となる候補領域を特定し、特定した候補領域に前記指定領域を更新する更新手段と、
    前記指定領域を登録するための登録操作が前記利用者により行われた場合に、前記指定領域を、前記データベースに登録する登録手段と、
    を含み、
    前記更新手段は、
    前記更新操作が行われた場合に、前記候補領域の少なくとも一部が、前記データベースに登録されている領域に予め定めた領域以上含まれる場合に、前記指定領域を当該候補領域に更新することを行わないこと、
    を特徴とする情報処理装置。
  2. 前記更新手段は、
    前記データベースに登録されている領域の変更が禁止の状態にあり、且つ、前記候補領域の少なくとも一部が前記データベースに登録されている領域に予め定めた領域以上含まれる場合に、前記指定領域を前記候補領域に更新することを行わないこと、
    を特徴とする請求項1に記載の情報処理装置。
  3. 前記登録手段は、
    前記登録操作が行われた場合に、前記指定領域を、前記利用者により入力された、情報資源のアドレス情報と、前記指定領域内の画像特徴を示す特徴量と、に関連づけて前記データベースに登録し、
    前記更新手段は、
    前記候補領域の少なくとも一部が前記データベースに登録されている領域に予め定めた領域以上含まれる場合、前記指定領域の指定を解除する解除手段と、
    前記候補領域の少なくとも一部が前記データベースに登録されている領域に予め定めた領域以上含まれる場合、前記データベースに登録される該領域と、前記候補領域と、を含む統合領域を特定する特定手段と、
    前記候補領域の少なくとも一部が前記データベースに登録されている領域に予め定めた領域以上含まれる場合、前記データベースに登録されている該領域を前記統合領域へと更新する領域更新手段と、
    前記候補領域の少なくとも一部が前記データベースに登録されている領域に予め定めた領域以上含まれる場合、該領域に関連づけられた特徴量を、前記統合領域内の画像特徴を示す特徴量へと更新する特徴更新手段と、
    前記候補領域の少なくとも一部が前記データベースに登録されている領域に予め定めた領域以上含まれる場合、該領域に、前記利用者により入力されたアドレス情報をさらに関連づける関連づけ手段と、
    をさらに含むことを特徴とする請求項1に記載の情報処理装置。
  4. 前記解除手段は、
    前記候補領域の少なくとも一部が前記データベースに登録されている領域に予め定めた領域以上含まれる場合、前記データベースに登録されている領域の変更が禁止の状態でなければ、前記指定領域の指定を解除し、
    前記領域更新手段は、
    前記候補領域の少なくとも一部が前記データベースに登録されている領域に予め定めた領域以上含まれる場合、前記処理対象の画像の状態が予め定められた状態であれば、前記データベースに登録されている該領域を前記統合領域へと更新し、
    前記特徴更新手段は、
    前記候補領域の少なくとも一部が前記データベースに登録されている領域に予め定めた領域以上含まれる場合、前記データベースに登録されている領域の変更が禁止の状態でなければ、該領域に関連づけられた特徴量を、前記統合領域内の画像特徴を示す特徴量へ更新し、
    前記関連づけ手段は、
    前記候補領域の少なくとも一部が前記データベースに登録されている領域に予め定めた領域以上含まれる場合、前記データベースに登録されている領域の変更が禁止の状態でなければ、該領域に、前記利用者により入力されたアドレス情報をさらに関連づけること、
    を特徴とする請求項3に記載の情報処理装置。
  5. 利用者により前記処理対象の画像内の領域が指定された場合に、該利用者により指定された領域を前記指定領域として指定する指定手段をさらに含み、
    前記指定手段は、
    利用者により指定された領域の少なくとも一部が前記データベースに登録されている領域に予め定めた領域以上含まれる場合、前記利用者により指定された領域を前記指定領域として指定しないこと、
    を特徴とする請求項1乃至4のいずれかに記載の情報処理装置。
  6. 処理対象の画像中の利用者により指定された領域である指定領域を案内する画像、及び、データベースに登録されている領域を案内する画像、を表示手段に表示させる表示制御手段、
    前記指定領域を更新するための更新操作が前記利用者により行われた場合に、前記指定領域の候補となる候補領域を特定し、特定した候補領域に前記指定領域を更新する更新手段、
    前記指定領域を登録するための登録操作が前記利用者により行われた場合に、前記指定領域を、前記データベースに登録する登録手段、
    としてコンピュータを機能させるためのプログラムであって、
    前記更新手段は、
    前記更新操作が行われた場合に、前記候補領域の少なくとも一部が、データベースに登録される領域に含まれる場合、前記指定領域を当該候補領域に更新することを行わないこと、
    を特徴とする前記プログラム。
JP2013009433A 2013-01-22 2013-01-22 情報処理装置及びプログラム Expired - Fee Related JP5935702B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013009433A JP5935702B2 (ja) 2013-01-22 2013-01-22 情報処理装置及びプログラム
US14/021,238 US9292542B2 (en) 2013-01-22 2013-09-09 Information processing apparatus and method and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013009433A JP5935702B2 (ja) 2013-01-22 2013-01-22 情報処理装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2014142706A true JP2014142706A (ja) 2014-08-07
JP5935702B2 JP5935702B2 (ja) 2016-06-15

Family

ID=51208534

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013009433A Expired - Fee Related JP5935702B2 (ja) 2013-01-22 2013-01-22 情報処理装置及びプログラム

Country Status (2)

Country Link
US (1) US9292542B2 (ja)
JP (1) JP5935702B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6390267B2 (ja) * 2014-08-25 2018-09-19 富士ゼロックス株式会社 情報処理装置及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003271650A (ja) * 2002-03-12 2003-09-26 Nec Corp 携帯電話Webサイト画像検索システム及び方法並びにサーバーとそのプログラム
JP2011135556A (ja) * 2009-12-23 2011-07-07 Fuji Xerox Co Ltd 表示物の生成方法、デジタルメディア提供システム、それらのためのコンピュータプログラムおよび表示物体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003271650A (ja) * 2002-03-12 2003-09-26 Nec Corp 携帯電話Webサイト画像検索システム及び方法並びにサーバーとそのプログラム
JP2011135556A (ja) * 2009-12-23 2011-07-07 Fuji Xerox Co Ltd 表示物の生成方法、デジタルメディア提供システム、それらのためのコンピュータプログラムおよび表示物体

Also Published As

Publication number Publication date
JP5935702B2 (ja) 2016-06-15
US20140207732A1 (en) 2014-07-24
US9292542B2 (en) 2016-03-22

Similar Documents

Publication Publication Date Title
JP6687051B2 (ja) 画像認識装置、その処理方法、およびプログラム
US9542778B1 (en) Systems and methods related to an interactive representative reality
KR101737725B1 (ko) 컨텐츠 생성 툴
CN104036011B (zh) 网页元素的显示方法以及浏览器装置
KR101837558B1 (ko) 컨텐츠 공유 서비스 제공 방법, 표시 제어 방법 및 컴퓨터 프로그램
CN102306174A (zh) 一种基于网页元素与用户进行互动的方法与设备
JP2016528608A5 (ja)
US9824447B2 (en) Information processing apparatus, information processing system, and information processing method
JP6053731B2 (ja) 電子チケット管理方法および電子チケット管理プログラム
JP5935702B2 (ja) 情報処理装置及びプログラム
JP6064618B2 (ja) 情報処理装置及びプログラム
CN104238884A (zh) 基于数字全景的动态信息呈现与用户交互系统及设备
KR101843585B1 (ko) 사물 인식을 통한 서비스 서버 및 방법
JP7192953B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20180349568A1 (en) Augmented reality system and method
US8902252B2 (en) Digital image selection in a surface computing device
EP3693950A1 (en) Information processing device, information system, information processing method, and program
WO2017047081A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報処理システム
CN109522502B (zh) 一种用于识别网页中可见图片的方法及装置
JP6171807B2 (ja) 文書データ処理システム、文書データ処理プログラム
JP6281381B2 (ja) サーバ装置、プログラム及び推薦情報提供方法
US11080319B2 (en) System and method for providing image search result online using device information
JP2010097411A (ja) 個人情報開示支援装置
JP2017010101A (ja) ページ記録・タスク管理装置およびオブジェクト管理装置
US10742749B2 (en) Media hotspot payoffs with alternatives lists

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160425

R150 Certificate of patent or registration of utility model

Ref document number: 5935702

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees