WO2020261546A1 - 情報処理装置、情報処理システム、情報処理方法、及びプログラム - Google Patents

Abstract

情報処理装置（２０）の撮影画像取得手段（２０１）は、所定の情報を含む対象画像を撮影可能な撮影手段（２５）により撮影された撮影画像を取得する。参照手段（２０２）は、過去に撮影された対象画像と、過去に当該対象画像から抽出された情報と、を関連付けて記憶する記憶手段（２００）を参照する。判定手段（２０７）は、過去に撮影された対象画像が撮影画像に写っているか否かを判定する。処理実行手段（２１１）は、過去に撮影された対象画像が撮影画像に写っている場合に、当該対象画像に関連付けられた情報に基づいて、所定の処理を実行する。

Description

情報処理装置、情報処理システム、情報処理方法、及びプログラム

　本発明は、情報処理装置、情報処理システム、情報処理方法、及びプログラムに関する。

　従来、所定の情報を含む対象画像を解析し、対象画像から情報を抽出する技術が検討されている。例えば、特許文献１には、記事や写真などの対象画像をカメラで撮影し、撮影画像を解析することによって、対象画像に埋め込まれた電子透かし情報を抽出する技術が記載されている。また例えば、非特許文献１には、写真の中に情報を埋め込んでおき、撮影画像を機械学習モデルに入力することによって、写真に埋め込まれた情報を抽出する技術が記載されている。

特開２００７－９４６７２号公報

Matthew Tancik, Ben Mildenhall, Ren Ng, StegaStamp: Invisible Hyperlinks in Physical Photographs, https://arxiv.org/abs/1904.05343

　しかしながら、特許文献１及び非特許文献１の技術では、コンピュータが新たな撮影画像を取得するたびに、複雑な処理を毎回実行して対象画像に埋め込まれた情報を抽出する必要があるので、コンピュータの処理負荷が増大していた。

　本発明は上記課題に鑑みてなされたものであって、その目的は、処理負荷を軽減することが可能な情報処理装置、情報処理システム、情報処理方法、及びプログラムを提供することである。

　上記課題を解決するために、本発明に係る情報処理装置は、所定の情報を含む対象画像を撮影可能な撮影手段により撮影された撮影画像を取得する撮影画像取得手段と、過去に撮影された前記対象画像と、過去に当該対象画像から抽出された前記情報と、を関連付けて記憶する記憶手段を参照する参照手段と、過去に撮影された前記対象画像が前記撮影画像に写っているか否かを判定する判定手段と、過去に撮影された前記対象画像が前記撮影画像に写っている場合に、当該対象画像に関連付けられた前記情報に基づいて、所定の処理を実行する処理実行手段と、を含むことを特徴とする。

　本発明に係る情報処理システムは、上記又は下記の何れかに記載の情報処理装置と、下記の何れかに記載のサーバと、を含むことを特徴とする。

　本発明に係る情報処理方法は、所定の情報を含む対象画像を撮影可能な撮影手段により撮影された撮影画像を取得する撮影画像取得ステップと、過去に撮影された前記対象画像と、過去に当該対象画像から抽出された前記情報と、を関連付けて記憶する記憶手段を参照する参照ステップと、過去に撮影された前記対象画像が前記撮影画像に写っているか否かを判定する判定ステップと、過去に撮影された前記対象画像が前記撮影画像に写っている場合に、当該対象画像に関連付けられた前記情報に基づいて、所定の処理を実行する処理実行ステップと、を含むことを特徴とする。

　本発明に係るプログラムは、所定の情報を含む対象画像を撮影可能な撮影手段により撮影された撮影画像を取得する撮影画像取得手段、過去に撮影された前記対象画像と、過去に当該対象画像から抽出された前記情報と、を関連付けて記憶する記憶手段を参照する参照手段、過去に撮影された前記対象画像が前記撮影画像に写っているか否かを判定する判定手段、過去に撮影された前記対象画像が前記撮影画像に写っている場合に、当該対象画像に関連付けられた前記情報に基づいて、所定の処理を実行する処理実行手段、としてコンピュータを機能させる。

　本発明の一態様によれば、前記情報処理装置は、過去に撮影されていない新たな前記対象画像が前記撮影画像に写っている場合に、前記撮影画像に基づいて、サーバに対し、前記情報の抽出を依頼する依頼手段と、前記サーバにより抽出された前記情報を受信する受信手段と、を更に含み、前記処理実行手段は、前記新たな対象画像が前記撮影画像に写っている場合に、前記サーバから受信した前記情報に基づいて、前記所定の処理を実行する、ことを特徴とする。

　本発明の一態様によれば、前記記憶手段は、過去に撮影された前記対象画像と、過去に前記サーバにより抽出された前記情報と、を関連付けて記憶し、前記情報処理装置は、前記新たな対象画像が前記撮影画像に写っている場合に、前記新たな対象画像と、前記サーバから受信した前記情報と、を関連付けて前記記憶手段に保存する保存手段を更に含む、ことを特徴とする。

　本発明の一態様によれば、前記対象画像は、所定のパターンを含み、前記撮影手段は、前記対象画像を連続的に撮影し、前記依頼手段は、前記撮影画像から前記パターンが検出された場合に、前記サーバに対し、前記情報の抽出を依頼する、ことを特徴とする。

　本発明の一態様によれば、前記情報処理装置は、前記撮影画像から前記パターンが検出された場合に、前記パターンの検出結果に基づいて、前記撮影画像を加工する加工手段を更に含み、前記依頼手段は、加工された前記撮影画像に基づいて、前記サーバに対し、前記情報の抽出を依頼する、ことを特徴とする。

　本発明の一態様によれば、前記対象画像は、第１の形式と、前記第１の形式よりも前記情報の抽出が複雑な第２の形式と、が存在し、前記情報処理装置は、前記撮影画像に写された前記対象画像の形式を特定する特定手段と、前記撮影画像に写された前記対象画像が前記第１の形式である場合に、前記撮影画像から前記情報を抽出する抽出手段と、を更に含み、前記依頼手段は、前記撮影画像に写された前記対象画像が前記第２の形式である場合に、前記サーバに対し、前記情報の抽出を依頼する、ことを特徴とする。

　本発明の一態様によれば、前記対象画像は、所定のパターンを含み、前記撮影手段は、前記対象画像を連続的に撮影し、前記判定手段は、前記撮影画像から前記パターンが検出された場合に、前記パターンが検出された前記撮影画像に、過去に撮影された前記対象画像が写っているか否かを判定する、ことを特徴とする。

　本発明の一態様によれば、前記情報処理装置は、前記撮影画像から前記パターンが検出された場合に、前記パターンの検出結果に基づいて、前記撮影画像を加工する加工手段を更に含み、前記記憶手段は、過去に撮影されて加工された前記撮影画像に写された前記対象画像と、過去に当該対象画像から抽出された前記情報と、を関連付けて記憶し、前記判定手段は、過去に撮影されて加工された前記撮影画像に写された前記対象画像が、新たに撮影されて加工された前記撮影画像に写っているか否かを判定する、ことを特徴とする。

　本発明の一態様によれば、前記判定手段は、テンプレートマッチング又はヒストグラム分散を利用して、過去に撮影された前記対象画像が前記撮影画像に写っているか否かを判定する、ことを特徴とする。

　本発明の一態様によれば、前記撮影手段は、複数の前記対象画像を一度に撮影可能であり、前記処理実行手段は、前記複数の対象画像が前記撮影画像に写っている場合に、前記複数の対象画像にそれぞれ対応する複数の前記情報に基づいて、前記所定の処理を実行する、ことを特徴とする。

　本発明の一態様によれば、前記情報は、商品又はサービスの決済に関する情報であり、前記対象画像は、前記商品が購入される場合、又は、前記サービスが利用される場合に撮影され、前記所定の処理は、前記商品又は前記サービスに関する決済処理である、ことを特徴とする。

　本発明の一態様によれば、前記対象画像は、被写体が写っている画像に対し、前記情報が埋め込まれた画像である、ことを特徴とする。

　本発明によれば、処理負荷を軽減することが可能となる。

実施形態に係る情報処理システムの全体構成を示す図である。 対象画像の一例を示す図である。 対象画像が撮影される様子を示す図である。 本実施形態の情報処理システムで実現される機能の一例を示す機能ブロック図である。 抽出済みデータのデータ格納例を示す図である。 撮影画像が加工される様子を示す図である。 情報処理システムにおいて実行される処理の一例を示すフロー図である。 情報処理システムにおいて実行される処理の一例を示すフロー図である。

［１．情報処理システムの全体構成］
　以下、本発明に係る情報処理システムの実施形態の例を説明する。図１は、実施形態に係る情報処理システムの全体構成を示す図である。図１に示すように、情報処理システムＳは、サーバ１０とユーザ端末２０とを含み、これらは、インターネットなどのネットワークＮに接続可能である。なお、図１では、サーバ１０とユーザ端末２０の各々を１台ずつ示しているが、これらは複数台あってもよい。

　サーバ１０は、サーバコンピュータである。サーバ１０は、制御部１１、記憶部１２、及び通信部１３を含む。制御部１１は、少なくとも一つのプロセッサを含む。制御部１１は、記憶部１２に記憶されたプログラムやデータに従って処理を実行する。記憶部１２は、主記憶部及び補助記憶部を含む。例えば、主記憶部はＲＡＭなどの揮発性メモリであり、補助記憶部は、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、又はハードディスクなどの不揮発性メモリである。通信部１３は、有線通信又は無線通信用の通信インタフェースであり、ネットワークＮを介してデータ通信を行う。

　ユーザ端末２０は、ユーザが操作するコンピュータである。ユーザ端末２０は、情報処理装置の一例である。このため、本実施形態でユーザ端末２０の説明をしている箇所は、情報処理装置と読み替えることができる。なお、情報処理装置は、ユーザ端末２０に限られず、任意のコンピュータであってよい。例えば、ユーザが特に操作しないコンピュータが情報処理装置に相当してもよいし、サーバコンピュータが情報処理装置に相当してもよい。

　例えば、ユーザ端末２０は、携帯電話機（スマートフォンを含む）、携帯情報端末（タブレット型コンピュータ及びウェアラブル端末を含む）、又は、パーソナルコンピュータ等である。本実施形態では、ユーザ端末２０は、制御部２１、記憶部２２、通信部２３、操作部２４、表示部２５、及び撮影部２６を含む。制御部２１、記憶部２２、及び通信部２３の物理的構成は、それぞれ制御部１１、記憶部１２、及び通信部１３と同様であってよい。

　操作部２４は、入力デバイスであり、例えば、タッチパネルやマウス等のポインティングデバイス、キーボード、又はボタン等である。操作部２４は、操作内容を制御部２１に伝達する。表示部２５は、例えば、液晶表示部又は有機ＥＬ表示部等である。表示部２５は、制御部２１の指示に従って画像を表示する。

　撮影部２６は、少なくとも１台のカメラを含む。例えば、撮影部２６は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの撮像素子を含み、当該撮像素子が撮影した撮影画像をデジタルデータとして記録する。撮影画像は、静止画であってもよいし、所定のフレームレートで連続的に撮影された動画であってもよい。

　なお、記憶部１２，２２に記憶されるものとして説明するプログラム及びデータは、ネットワークＮを介して供給されるようにしてもよい。また、上記説明した各コンピュータのハードウェア構成は、上記の例に限られず、種々のハードウェアを適用可能である。例えば、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、光ディスクドライブやメモリカードスロット）や外部機器とデータの入出力をするための入出力部（例えば、ＵＳＢポート）が含まれていてもよい。例えば、情報記憶媒体に記憶されたプログラムやデータが読取部や入出力部を介して、各コンピュータに供給されるようにしてもよい。

［２．情報処理システムの概要］
　本実施形態では、ユーザは、ユーザ端末２０を操作して、所定の情報を含む対象画像を撮影部２６で撮影する。対象画像に含まれる所定の情報は、撮影部２６により生成された撮影画像のうち、対象画像が写っている部分が解析されることによって抽出される。

　所定の情報とは、対象画像に埋め込まれた情報である。別の言い方をすれば、所定の情報は、抽出対象の情報である。本実施形態では、所定の情報が、ユーザが視覚的に認識できない状態で対象画像に埋め込まれる場合を説明するが、所定の情報は、視覚的に認識できる状態で対象画像に埋め込まれてもよい。以降、所定の情報を、埋め込み情報と記載する。このため、本実施形態で埋め込み情報と記載した箇所は、所定の情報と読み替えることができる。

　対象画像とは、埋め込み情報が埋め込まれた画像である。別の言い方をすれば、対象画像は、埋め込み情報が抽出される元となる画像である。本実施形態では、対象画像は、被写体が写っている画像（写真）に対し、埋め込み情報が埋め込まれた画像である場合を説明するが、対象画像は、他の形態であってもよい。例えば、対象画像は、現実の被写体ではなく架空の物体（例えば、キャラクタなど）が描画されたＣＧに対し、埋め込み情報が埋め込まれた画像であってもよい。また例えば、対象画像は、特に物体性のない模様などのパターンによって、埋め込み情報が表現された画像であってもよい。

　対象画像に示される被写体は、任意の物体であってよく、例えば、人、動物、飲食物、衣料品、家具、家電、乗物、又は風景であってよい。対象画像には、対象画像が利用される場面に合った被写体が示されてもよいし、対象画像が利用される場面とは特に関係のない被写体が示されてもよい。別の言い方をすれば、対象画像には、埋め込み情報と関係のある被写体が示されてもよいし、埋め込み情報とは特に関係のない被写体が示されてもよい。

　なお、本実施形態では、対象画像が、紙やフィルム等の媒体に印刷されている場合を説明するが、対象画像は、スマートフォン、タブレット型端末、又はパーソナルコンピュータなどの画面に表示されてもよい。また、本実施形態では、対象画像が正方形でありサイズが予め定められている場合を説明するが、対象画像の形状やサイズは、任意のものを利用可能である。

　撮影画像とは、撮影部２６により生成された画像である。別の言い方をすれば、撮影画像は、撮影部２６の撮影範囲内にある被写体が光学的に検出された検出結果を示す画像である。本実施形態では、紙などに印刷された対象画像が撮影されるので、撮影画像の全部又は一部には、印刷された対象画像の全部又は一部が写される。本実施形態では、撮影部２６が所定のフレームレートに基づいて連続的に撮影を行い、動画を構成する個々の画像が撮影画像に相当する場合を説明するが、撮影画像は、ユーザが所定の撮影操作をするたびに撮影される静止画であってもよい。

　本実施形態では、あるメーカが製造するパーソナルコンピュータのポスターに対象画像が印刷されており、埋め込み情報として、メーカのホームページのＵＲＬが埋め込まれている場合を例に挙げて、情報処理システムＳの処理を説明する。なお、後述する変形例のように、情報処理システムＳは、任意の場面に適用可能であり、他の場面に適用してもよい。

　図２は、対象画像の一例を示す図であり、図３は、対象画像が撮影される様子を示す図である。図２に示すように、対象画像Ｉ１は、原画像Ｉ２に対し、埋め込み情報ｉが埋め込まれている。また、本実施形態では、所定の位置検出パターンＰ１が対象画像Ｉ１の所定の位置に付加されている。

　原画像Ｉ２は、カメラで被写体を撮影することによって生成された画像である。別の言い方をすれば、原画像Ｉ２は、埋め込み情報ｉが埋め込まれる前の画像である。例えば、メーカの関係者が、自社のパーソナルコンピュータをカメラで撮影し、原画像Ｉ２が生成される。

　例えば、埋め込み情報ｉは、メーカのホームページのＵＲＬを示す文字列が模様等の画像パターンに変換され、視覚的には判別できない状態で埋め込まれる。埋め込み情報ｉを埋め込む方法自体は、公知の手法を利用可能であり、例えば、従来技術で挙げた手法「Matthew Tancik, Ben Mildenhall, Ren Ng, StegaStamp: Invisible Hyperlinks in Physical Photographs, https://arxiv.org/abs/1904.05343」（以降、ステガスタンプ法と記載する）を利用してもよいし、電子透かしで用いられる知覚可能型又は知覚困難型の手法を利用してもよい。

　位置検出パターンＰ１は、撮影画像の中から対象画像Ｉ１を検出するために付与される。本実施形態では、位置検出パターンＰ１として、公知の二次元コードの規格で定義された位置検出パターン（例えば、ＱＲコード（登録商標）におけるファインダパターン）を説明するが、位置検出パターンＰ１は、予め定められたパターンであればよく、例えば、メーカ等が定めた独自のパターンであってもよい。

　図３に示すように、対象画像Ｉ１は、メーカのポスターＰ２に印刷されている。ユーザは、ユーザ端末２０を操作して、ポスターＰ２に印刷された対象画像Ｉ１を撮影する。例えば、ユーザ端末２０は、所定のフレームレートに基づいて連続的に撮影し、個々のフレームにおける撮影画像から位置検出パターンＰ１が検出されたか否かを判定する。撮影画像から位置検出パターンＰ１が検出されると、撮影画像のサイズ等が整えられたうえで、埋め込み情報ｉが抽出される。

　この点、従来技術で説明したように、埋め込み情報ｉを抽出する処理は、複雑な画像処理を伴うことが多い。このため、ユーザ端末２０に撮影画像を解析させて埋め込み情報ｉを抽出しようとすると、複雑な処理のために、ユーザ端末２０の処理負荷が増大する可能性がある。そこで、ユーザ端末２０は、サーバ１０に対し、撮影画像に写った対象画像Ｉ１を送信し、埋め込み情報ｉの抽出を依頼する。

　サーバ１０は、ユーザ端末２０から撮影画像を受信すると、公知の手法を利用して、埋め込み情報ｉを抽出する。サーバ１０は、ユーザ端末２０に対し、抽出した埋め込み情報ｉを送信する。図３に示すように、ユーザ端末２０は、サーバ１０から埋め込み情報ｉを受信すると、埋め込み情報ｉが示すＵＲＬを表示部２５に表示させる。以降、ユーザ端末２０は、埋め込み情報ｉが示すＵＲＬにアクセスし、メーカのホームページが表示部２５に表示される。

　以上のように、情報処理システムＳでは、複雑な処理をサーバ１０側で実行することにより、ユーザ端末２０の処理負荷を軽減するようにしている。しかし、実際には多数のユーザが情報処理システムＳを利用し、対象画像Ｉも多数存在するので、サーバ１０が、各ユーザから埋め込み情報ｉの解析依頼を受け付けると、サーバ１０の処理負荷が増大する可能性がある。

　そこで、ユーザ端末２０は、過去に撮影した対象画像Ｉ１と、当該対象画像Ｉ１に埋め込まれた埋め込み情報ｉと、を関連付けて記憶部２２に記憶する。ユーザ端末２０は、過去に撮影したことのある対象画像Ｉ１が撮影された場合には、サーバ１０に解析を依頼することなく、記憶部２２に記憶された埋め込み情報ｉを読み出して利用することによって、サーバ１０の処理負荷を軽減するようにしている。

　一方、ユーザ端末２０は、過去に撮影したことのない新たな対象画像Ｉ１が撮影された場合には、サーバ１０に解析を依頼することによって、複雑な処理をサーバ１０側で実行させ、ユーザ端末２０の処理負荷を軽減するようにしている。更に、本実施形態では、比較的簡易な処理で埋め込み情報を抽出可能な二次元コードが撮影された場合には、ユーザ端末２０は、サーバ１０に解析を依頼するのではなく、自身で埋め込み情報を抽出することによって、サーバ１０の処理負荷を軽減するようにしている。

　以上のように、情報処理システムＳは、サーバ１０及びユーザ端末２０の両者の処理負荷を軽減する構成を有している。以降、当該構成の詳細を説明する。なお、以降では、特に図面を参照する必要のないときは、対象画像Ｉ１、原画像Ｉ２、埋め込み情報ｉ、位置検出パターンＰ１、及びポスターＰ２の符号を省略する。後述する図６の撮影画像Ｉ３についても同様に、特に図面を参照する必要のないときは、撮影画像Ｉ３の符号を省略する。

［３．情報処理システムにおいて実現される機能］
　図４は、本実施形態の情報処理システムＳで実現される機能の一例を示す機能ブロック図である。本実施形態では、サーバ１０と、ユーザ端末２０と、の各々で実現される機能を説明する。

［３－１．サーバにおいて実現される機能］
　図４に示すように、サーバ１０では、データ記憶部１００と、画像処理部１０１と、が実現される。

[データ記憶部]
　データ記憶部１００は、記憶部１２を主として実現される。データ記憶部１００は、本実施形態で説明する処理を実行するために必要なデータを記憶する。ここでは、データ記憶部１００が記憶するデータの一例として、エンコーダとデコーダについて説明する。なお、対象画像がサーバ１０以外の他のコンピュータによって生成される場合には、データ記憶部１００は、エンコーダを記憶しなくてもよい。この場合、当該他のコンピュータによってエンコーダが実現されるようにすればよい。

　エンコーダは、原画像に対し、埋め込み情報を埋め込むプログラムである。エンコーダに対し、原画像と埋め込み情報を入力すると、原画像に埋め込み情報が埋め込まれた対象画像が出力される。本実施形態では、対象画像は、位置検出パターンを含むので、エンコーダは、位置検出パターンも付加する。なお、位置検出パターンは、エンコーダ以外のプログラムによって位置検出パターンが付加されてもよい。エンコーダ自体は、公知のプログラムを利用可能なので、その詳細については省略する。例えば、エンコーダは、ステガスタンプ法のようにニューラルネットワーク等の機械学習モデルが利用されてもよいし、特に機械学習モデルを利用しなくてもよい。

　なお、機械学習モデルを利用しない場合には、例えば、エンコーダは、原画像と、埋め込み情報を示す画像と、を合成することによって対象画像を生成する。埋め込み情報を知覚困難な状態で埋め込む場合には、エンコーダは、原画像のうち、埋め込み情報が示される部分の画素値を、知覚できない程度の値だけ変更する。埋め込み情報を知覚可能な状態で埋め込む場合には、エンコーダは、原画像のうち、埋め込み情報が示される部分の画素値を、一定値以上変更する。他にも例えば、エンコーダは、電子透かしで用いられる方法（例えば、置換法、周波数領域変換法、拡散法、統計的方法、又はベクトル量子化法）に応じた埋め込み方法を利用して、埋め込み情報を埋め込んでもよい。なお、本実施形態における埋め込みは、エンコードと同じ意味である。

　デコーダは、撮影画像に写された対象画像から埋め込み情報を抽出するプログラムである。本実施形態では、撮影画像のうち対象画像が写された部分がデコーダに入力される場合を説明するが、デコーダには、撮影画像全体が入力されてもよい。デコーダに対し、対象画像が入力されると、入力された対象画像に埋め込まれた埋め込み情報が出力される。デコーダ自体は、公知のプログラムを利用可能のため、その詳細については省略する。例えば、デコーダは、ステガスタンプ法のようにニューラルネットワーク等の機械学習モデルが利用されてもよいし、特に機械学習モデルを利用しなくてもよい。

　なお、機械学習モデルを利用しない場合には、例えば、デコーダは、対象画像と原画像の差分を取ることによって、埋め込み情報を抽出する。他にも例えば、デコーダは、電子透かしで用いられる方法（例えば、置換法、周波数領域変換法、拡散法、統計的方法、又はベクトル量子化法）に応じた抽出方法を利用して、埋め込み情報を抽出してもよい。なお、本実施形態における抽出は、デコードと同じ意味である。

［画像処理部］
　画像処理部１０１は、制御部１１を主として実現される。画像処理部１０１は、ユーザ端末２０から受信した画像に基づいて、対象画像に埋め込まれた埋め込み情報を抽出する。本実施形態では、ユーザ端末２０は、サーバ１０に対し、撮影画像のうち対象画像が写された部分を送信する場合を説明する。このため、画像処理部１０１は、ユーザ端末２０から受信した当該部分に基づいて、埋め込み情報を抽出する。

　本実施形態では、後述する加工部２０４により撮影画像が加工されるので、画像処理部１０１は、加工された撮影画像のうち対象画像が写された部分に基づいて、埋め込み情報を抽出する。例えば、画像処理部１０１は、デコーダに当該部分を入力し、デコーダから出力された埋め込み情報を取得する。画像処理部１０１は、ユーザ端末２０に対し、デコーダから出力された埋め込み情報を送信する。デコーダによる埋め込み情報の抽出方法は、先述した通りである。

　なお、ユーザ端末２０は、サーバ１０に対し、撮影画像全体を送信してもよい。この場合、画像処理部１０１は、ユーザ端末２０から受信した撮影画像全体のうち、対象画像が写された部分を切り出して、埋め込み情報を抽出すればよい。また、画像処理部１０１は、原画像と埋め込み情報とに基づいて、対象画像を生成してもよい。この場合、画像処理部１０１は、原画像と埋め込み情報をエンコーダに入力し、エンコーダから出力された対象画像を取得する。例えば、画像処理部１０１は、メーカのサーバに対し、エンコーダから出力された対象画像を送信し、メーカにおいて対象画像がポスターに印刷される。

［３－２．ユーザ端末において実現される機能］
　図４に示すように、ユーザ端末２０では、データ記憶部２００、撮影画像取得部２０１、参照部２０２、検出部２０３、加工部２０４、特定部２０５、抽出部２０６、判定部２０７、依頼部２０８、受信部２０９、保存部２１０、及び処理実行部２１１が実現される。

［データ記憶部］
　データ記憶部２００は、記憶部２２を主として実現される。データ記憶部２００は、本実施形態で説明する処理を実行するために必要なデータを記憶する。ここでは、データ記憶部２００が記憶するデータの一例として、抽出済みデータＤＴについて説明する。

　図５は、抽出済みデータＤＴのデータ格納例を示す図である。図５に示すように、抽出済みデータＤＴには、過去に撮影された対象画像と、過去に当該対象画像から抽出された埋め込み情報と、が関連付けられている。本実施形態では、撮影画像のうち対象画像が写された部分が切り出されて抽出済みデータＤＴに格納される場合を説明するが、対象画像が写された撮影画像の全体（即ち、対象画像と、それ以外の部分と、の両方が写された撮影画像）が抽出済みデータＤＴに格納されてもよい。

　また、本実施形態では、後述する加工部２０４によって撮影画像が加工されるので、抽出済みデータＤＴには、過去に撮影されて加工された撮影画像に写された対象画像と、過去に当該対象画像から抽出された埋め込み情報と、が関連付けられている。即ち、抽出済みデータＤＴには、加工部２０４による加工後の対象画像が格納される。

　また、本実施形態では、ユーザ端末２０が、サーバ１０に対し、埋め込み情報の抽出を依頼するので、抽出済みデータＤＴには、過去に撮影された対象画像と、過去にサーバ１０により抽出された埋め込み情報と、が関連付けられている。即ち、抽出済みデータＤＴには、サーバ１０から受信した埋め込み情報が格納される。

　なお、抽出済みデータＤＴには、ユーザ端末２０が過去に撮影した全ての対象画像と埋め込み情報のペアが格納されてもよいし、一部の対象画像と埋め込み情報のペアが格納されてもよい。例えば、一定期間埋め込み情報が利用されなかった対象画像と埋め込み情報のペアについては、抽出済みデータＤＴから削除されるようにしてもよい。

　また、データ記憶部２００に記憶されるデータは、上記の例に限られない。例えば、データ記憶部２００は、二次元コードやバーコードを解析するプログラムを記憶してもよいし、判定部２０７の判定で利用される閾値を記憶してもよい。

［撮影画像取得部］
　撮影画像取得部２０１は、制御部２１を主として実現される。撮影画像取得部２０１は、埋め込み情報を含む対象画像を撮影可能な撮影部２６により撮影された撮影画像を取得する。本実施形態では、撮影部２６がリアルタイムに撮影を行うので、撮影画像取得部２０１は、撮影部２６から最新の撮影画像を繰り返し取得する。

　撮影画像は、任意のデータ形式であってよく、例えば、ＪＰＥＧ、ＧＩＦ、ＢＭＰ、又はＰＮＧ等であってよい。また、撮影画像のサイズや解像度等の情報も、任意であってよい。なお、本実施形態では、ユーザ端末２０に撮影部２６が含まれている場合を説明するが、撮影部２６は、ユーザ端末２０の外部機器であってもよい。この場合、撮影画像取得部２０１は、有線通信又は無線通信を利用して撮影部２６から撮影画像を取得すればよい。

　また、撮影画像取得部２０１は、撮影部２６からリアルタイムで撮影画像を取得しなくてもよく、過去に撮影された撮影画像を取得してもよい。例えば、撮影画像取得部２０１は、電子メール等に添付された撮影画像を取得してもよい。

［参照部］
　参照部２０２は、制御部２１を主として実現される。参照部２０２は、過去に取得された対象画像と、過去に当該対象画像から抽出された情報と、を関連付けて記憶する記憶手段を参照する。本実施形態では、これらの関連付けが関連付けデータに示されており、関連付けデータがデータ記憶部２００に記憶されているので、参照部２０２は、データ記憶部２００に記憶された関連付けデータを参照する。

　なお、関連付けデータがユーザ端末２０以外の他のコンピュータに記憶されている場合（即ち、記憶手段が他のコンピュータによって実現される場合）には、参照部２０２は、当該他のコンピュータに対し、関連付けデータの参照要求を送信する。他にも例えば、関連付けデータがユーザ端末２０に外部接続された情報記憶媒体に記憶されている場合（即ち、記憶手段が外部の情報記憶媒体によって実現される場合）には、参照部２０２は、当該情報記憶媒体から、関連付けデータを読み出す。

［検出部］
　検出部２０３は、制御部２１を主として実現される。検出部２０３は、撮影画像から位置検出パターンを検出する。先述したように、本実施形態では、公知の二次元コードにおける位置検出パターンが所定のパターンである場合を説明する。このため、本実施形態で位置検出パターンの説明をしている箇所は、所定のパターンと読み替えることができる。

　位置検出パターンの検出とは、位置検出パターンの有無を判定することである。別の言い方をすれば、位置検出パターンの検出は、位置検出パターンの位置、向き、及びサイズを特定することである。例えば、検出部２０３は、二次元コードの規格で定められた検出方法に基づいて、撮影画像から、位置検出パターンを検出する。

　位置検出パターンの形状及び色彩は、予め定められているので、検出部２０３は、撮影画像の中に、予め定められた形状及び色彩の部分があるか否かを判定することによって、位置検出パターンを検出する。例えば、検出部２０３は、撮影画像を複数の方向に走査し、白画素と黒画素の比率が所定の比率になっている部分を検出したか否かを判定する。

　図２に示す位置検出パターンであれば、位置検出パターンの位置や向きがどのような状態であったとしても、白画素と黒画素の比率が所定の比率になっているおり、上下方向、左右方向、又は斜め方向のどの方向に走査されたとしても、位置検出パターンの部分は、この比率となる。このため、検出部２０３は、当該比率の部分を位置検出パターンとして検出する。

　なお、位置検出パターンの検出方法は、上記の例に限られず、任意の検出方法を利用可能である。例えば、検出部２０３は、テンプレートマッチングを利用して位置検出パターンを検出してもよいし、物体検出器として用いられる機械学習モデルに位置検出パターンを学習させておき、機械学習モデルに撮影画像を入力することによって、位置検出パターンを検出してもよい。

［加工部］
　加工部２０４は、制御部２１を主として実現される。加工部２０４は、撮影画像から位置検出パターンが検出された場合に、位置検出パターンの検出結果に基づいて、撮影画像を加工する。

　位置検出パターンの検出結果とは、撮影画像における位置検出パターンの撮影状態である。例えば、位置検出パターンの位置、サイズ、及び向きは、位置検出パターンの検出結果に相当する。画像の加工とは、画像に対して所定の画像処理を施すことである。例えば、画像を整形（変形）すること、画像のサイズを変えること、画像を回転させること、画像の一部を切り出すこと、色を変えること、又は輝度を変えることは、画像の加工に相当する。

　例えば、加工部２０４は、位置検出パターンの位置が所定の位置に合うように、撮影画像を加工する。別の言い方をすれば、加工部２０４は、複数の位置検出パターンの各々の位置関係が所定の位置関係となるように、撮影画像を加工する。また例えば、加工部２０４は、位置検出パターンのサイズが所定のサイズとなるように、撮影画像を加工する。また例えば、加工部２０４は、位置検出パターンの向きが所定の向きとなるように、撮影画像を加工する。

　図６は、撮影画像が加工される様子を示す図である。図６の例では、位置検出パターンＰ１が検出された撮影画像をＩ３の符号で示している。加工部２０４は、撮影画像Ｉ３に写された位置検出パターンＰ１の検出結果に基づいて、撮影画像Ｉ３を加工し、加工後の撮影画像Ｉ３の中から対象画像Ｉ１が写された部分を切り出す。例えば、加工部２０４は、加工後の撮影画像Ｉ３のうち、位置検出パターンＰ１に基づいて定まる領域（例えば、位置検出パターンを含む所定サイズの正方形の領域）を切り出す。

　図６に示すように、撮影画像Ｉ３に写された対象画像Ｉ１に曲がりや歪みがあったとしても、加工部２０４による加工が行われることによって、対象画像Ｉ１の曲がりや歪みが除去される。また、撮影画像Ｉ３に写された対象画像Ｉ１が通常よりも大きく写っていたり小さく写っていたりしたとしても、加工部２０４による加工が行われることによって、対象画像Ｉ１が所定のサイズとなるように調整される。加工後の対象画像Ｉ１は、抽出済みデータＤＴに格納された過去に撮影された対象画像と同じ形状の同じサイズとなる。これにより、後述する判定部２０７による判定処理をしやすい状態の対象画像Ｉ１となる。

［特定部］
　特定部２０５は、制御部２１を主として実現される。本実施形態の対象画像は、第１の形式と、第１の形式よりも埋め込み情報の抽出が複雑な第２の形式と、が存在し、特定部２０５は、撮影画像に写された対象画像の形式を特定する。

　第１の形式は、埋め込み情報の抽出が比較的容易な形式である。例えば、第１の形式は、公知の規格で定められたコード形式である。本実施形態では、第１の形式がＱＲコード（登録商標）のような二次元コード形式である場合を説明するが、第１の形式は、バーコード形式などの他の形式であってもよい。例えば、二次元コードは、画像内の白黒のパターンによって埋め込み情報が表現されるので、対象画像の形式の一例である。

　一方、第２の形式は、埋め込み情報を抽出するための計算量が第１の形式よりも多い形式である。例えば、第２の形式は、公知の規格では定められていない形式である。本実施形態では、第２の形式は、ステガスタンプ法を利用して埋め込み情報が埋め込まれた画像に対し、位置検出パターンが付加された画像である場合を説明するが、第２の形式は、特に位置検出パターンが付加されていない他の形式であってもよい。他にも例えば、第２の形式は、電子透かしの手法によって埋め込み情報が埋め込まれた画像であってもよいし、当該画像に位置検出パターンが付加された画像であってもよい。

　対象画像の形式は、予め定められた方法によって特定されるようにすればよい。第１の形式は、画像全体の画素値の分布が第１の特徴を有し、第２の形式は、画像全体の画素値の分布が第２の特徴を有するので、特定部２０５は、撮影画像が第１の特徴と第２の特徴の何れを有するかを判定することによって、撮影画像の形式を特定する。

　本実施形態では、第１の形式は二次元コード形式であり、第２の形式はステガスタンプ法に基づく形式なので、特定部２０５は、撮影画像の黒画素と白画素の少なくとも一方の数をカウントする。特定部２０５は、カウントした数が閾値以上であれば、第１の形式と判定し、カウントした数が閾値未満であれば、第２の形式と判定する。別の言い方をすれば、特定部２０５は、撮影画像に白黒の部分が多ければ第１の形式と判定し、撮影画像にカラー部分が多ければ第２の形式と判定する。

　他にも例えば、特定部２０５は、位置検出パターン以外の他のパターン（例えば、二次元コードのアライメントパターン又はタイミングパターン）が撮影画像に存在するか否かを判定してもよい。特定部２０５は、他のパターンが検出された場合に、第１の形式と判定し、他のパターンが検出されなかった場合に、第２の形式と判定する。他にも例えば、特定部２０５は、撮影画像のヒストグラムを取得し、ある特定の画素値の頻度が高ければ第１の形式と判定し、画素値の頻度が万遍なく分散されていれば第２の形式と判定してもよい。

［抽出部］
　抽出部２０６は、制御部２１を主として実現される。抽出部２０６は、撮影画像に写された対象画像が第１の形式である場合に、撮影画像から埋め込み情報を抽出する。第１の形式の対象画像から埋め込み情報を抽出するプログラムは、データ記憶部２００に予め記憶されており、抽出部２０６は、当該プログラムに基づいて、撮影画像から埋め込み情報を抽出する。

　本実施形態では、第１の形式は二次元コード形式なので、このプログラムは、二次元コードの規格に沿った手順で埋め込み情報を抽出するように命令が記述されている。抽出部２０６は、プログラムが示す抽出手順に基づいて、埋め込み情報を抽出する。即ち、抽出部２０６は、サーバ１０に対し埋め込み情報の抽出を依頼することなく、ユーザ端末２０内で処理が完結するように、撮影画像から埋め込み情報を抽出する。

［判定部］
　判定部２０７は、制御部２１を主として実現される。判定部２０７は、過去に撮影された対象画像が撮影画像に写っているか否かを判定する。別の言い方をすれば、判定部２０７は、過去に撮影された対象画像と、撮影画像に写された対象画像と、が同じであるか否かを判定する。これらが同じことは、過去に撮影された対象画像が撮影画像に写っていることに相当する。

　過去に撮影された対象画像とは、過去に取得された撮影画像に写されていた対象画像である。別の言い方をすれば、過去に撮影された対象画像は、埋め込み情報を抽出済みの対象画像である。本実施形態では、抽出済みデータＤＴに格納された対象画像は、過去に撮影された対象画像である。

　判定部２０７は、新たに取得された撮影画像に、過去に撮影された対象画像が写っているか否かを判定する。新たに取得された撮影画像とは、撮影画像取得部２０１により取得された撮影画像である。新たに取得された撮影画像は、最新フレームの撮影画像を意味してもよいし、一定のフレーム数だけ前の撮影画像を意味してもよい。別の言い方をすれば、新たに取得された撮影画像は、直近に撮影された撮影画像を意味してもよいし、直近ではないが一定時間以内に撮影された撮影画像を意味してもよい。

　本実施形態では、判定部２０７は、テンプレートマッチング（パターンマッチング）又はヒストグラム分散を利用して、過去に撮影された対象画像が撮影画像に写っているか否かを判定する。テンプレートマッチングでは、抽出済みデータＤＴに格納された対象画像が撮影画像との比較対象となる。ヒストグラム分散では、抽出済みデータＤＴに格納された対象画像のヒストグラムが撮影画像のヒストグラムとの比較対象となる。

　例えば、判定部２０７は、撮影画像に写された対象画像と、過去に撮影された対象画像と、に基づいて、テンプレートマッチングを利用したスコアを計算する。このスコアは、テンプレートマッチングにおける一致度であり、画像に示された物体が同じである蓋然性（確度）を示す数値である。スコアの計算方法自体は、公知の手法を適用可能なため、詳細を省略する。例えば、２つの画像の各画素の画素値の差に基づいてスコアが計算され、画素値の差の合計値が小さいほどスコアが高くなる。スコアが高いほど、２つの画像に示された物体が同じである蓋然性が高い。判定部２０７は、テンプレートマッチングを利用したスコアが閾値以上であれば、過去に撮影された対象画像が撮影画像に写っていると判定し、スコアが閾値未満であれば、過去に撮影された対象画像が撮影画像に写っていないと判定する。なお、テンプレートマッチングにおける閾値は、固定値であってもよいし、可変値であってもよい。

　また例えば、判定部２０７は、撮影画像のヒストグラムと、過去に撮影された対象画像のヒストグラムと、に基づいて、ヒストグラム分散を利用したスコアを計算する。このスコアは、ヒストグラムが示す分布の差であり、スコアが大きいほど分布の差が小さい（分布が似ている）ことを意味する。スコアの計算方法自体は、公知の手法を適用可能なため、詳細を省略する。例えば、２つのヒストグラムが示す各画素値の頻度の差に基づいてスコアが計算され、頻度の差の合計値が小さいほどスコアが高くなる。判定部２０７は、ヒストグラム分散を利用したスコアが閾値以上であれば、過去に撮影された対象画像が撮影画像に写っていると判定し、スコアが閾値未満であれば、過去に撮影された対象画像が撮影画像に写っていないと判定する。なお、ヒストグラム分散における閾値は、固定値であってもよいし、可変値であってもよい。

　本実施形態では、対象画像は、位置検出パターンを含み、撮影部２６は、対象画像を連続的に撮影するので、判定部２０７は、撮影画像から位置検出パターンが検出された場合に、位置検出パターンが検出された撮影画像に、過去に撮影された前記対象画像が写っているか否かを判定する。即ち、撮影部２６により連続的に撮影された撮影画像のうち、所定のパターンが検出されたフレームの撮影画像が、判定部２０７の判定対象となる。

　また、本実施形態では、後述する加工部２０４によって撮影画像が加工されるので、判定部２０７は、過去に撮影されて加工された撮影画像に写された対象画像が、新たに撮影されて加工された撮影画像に写っているか否かを判定する。即ち、撮影部２６が撮影した撮影画像が、そのまま判定部２０７の判定対象になるのではなく、加工部２０４によって加工された後の撮影画像が、判定部２０７の判定対象となる。

［依頼部］
　依頼部２０８は、制御部２１を主として実現される。依頼部２０８は、過去に撮影されていない新たな対象画像が撮影画像に写っている場合に、撮影画像に基づいて、サーバ１０に対し、埋め込み情報の抽出を依頼する。即ち、依頼部２０８は、新たな対象画像が撮影画像に写っていることを条件として、サーバ１０に対し、埋め込み情報の抽出を依頼する。

　新たな対象画像とは、過去に取得された撮影画像に写されていない対象画像である。本実施形態では、抽出済みデータＤＴに格納されない対象画像は、新たな対象画像である。過去に撮影された対象画像が撮影画像に写っていないと判定部２０７により判定されることは、新たな対象画像が撮影画像に写っていることに相当する。例えば、撮影画像から位置検出パターンが検出されたが、過去に撮影された対象画像が撮影画像の中から見つからない場合には、新たな対象画像が撮影画像に写っていることに相当する。

　サーバ１０への依頼は、所定形式のデータが送信されることによって行われるようにすればよい。本実施形態では、撮影画像のうち新たな対象画像が写された部分が加工部２０４により切り出されるので、依頼部２０８は、サーバ１０に対し、当該切り出された部分を送信し、埋め込み情報の抽出を依頼する。なお、依頼部２０８は、撮影画像の全体を送信し、埋め込み情報の抽出を依頼してもよい。この場合、サーバ１０側で対象画像の切り出しが行われてユーザ端末２０に送信されてもよい。

　本実施形態では、対象画像は、所定の位置検出パターンを含み、撮影部２６は、対象画像を連続的に撮影し、依頼部２０８は、新たに取得された撮影画像から位置検出パターンが検出された場合に、サーバ１０に対し、埋め込み情報の抽出を依頼する。即ち、撮影部２６により連続的に撮影された撮影画像のうち、位置検出パターンが検出されたフレームの撮影画像に基づいて、依頼が送信される。

　また、本実施形態では、加工部２０４によって撮影画像が加工されるので、依頼部２０８は、加工された撮影画像に基づいて、サーバ１０に対し、埋め込み情報の抽出を依頼する。即ち、撮影部２６が撮影した撮影画像の全部が、そのまま判定部２０７の判定対象になるのではなく、加工部２０４によって加工された後の撮影画像に基づいて、依頼が送信される。

　また、本実施形態では、依頼部２０８は、撮影画像に写された対象画像が第２の形式である場合に、サーバ１０に対し、埋め込み情報の抽出を依頼する。即ち、依頼部２０８は、撮影画像に写された対象画像が第２の形式であることを条件として、サーバ１０に対し、埋め込み情報の抽出を依頼する。依頼部２０８は、撮影画像に写された対象画像が第１の形式である場合には、埋め込み情報の抽出は依頼しない。

［受信部］
　受信部２０９は、制御部２１を主として実現される。受信部２０９は、サーバ１０により抽出された埋め込み情報を受信する。本実施形態では、サーバ１０は、埋め込み情報の抽出の依頼を受け付けると、画像処理部１０１によって埋め込み情報を抽出し、ユーザ端末２０に対し、埋め込み情報を送信する。受信部２０９は、画像処理部１０１によって抽出された埋め込み情報を受信する。即ち、受信部２０９は、サーバ１０から、依頼部２０８の依頼に応じて抽出された埋め込み情報を受信する。

［保存部］
　保存部２１０は、制御部２１を主として実現される。保存部２１０は、新たな対象画像が撮影画像に写っている場合に、新たな対象画像と、サーバ１０から受信した埋め込み情報と、を関連付けて記憶手段に保存する。本実施形態では、これらの関連付けが関連付けデータに示されており、関連付けデータがデータ記憶部２００に記憶されているので、保存部２１０は、データ記憶部２００に記憶された関連付けデータに、新たな対象画像と、サーバ１０から受信した埋め込み情報と、を関連付けて格納する。

　なお、関連付けデータがユーザ端末２０以外の他のコンピュータに記憶されている場合（即ち、記憶手段が他のコンピュータによって実現される場合）には、保存部２１０は、当該他のコンピュータに対し、新たな対象画像と、サーバ１０から受信した埋め込み情報と、を送信し、関連付けデータに格納させる。他にも例えば、関連付けデータがユーザ端末２０に外部接続された情報記憶媒体に記憶されている場合（即ち、記憶手段が外部の情報記憶媒体によって実現される場合）には、保存部２１０は、当該情報記憶媒体に記憶された関連付けデータに、新たな対象画像と、サーバ１０から受信した埋め込み情報と、を関連付けて格納する。

［処理実行部］
　処理実行部２１１は、制御部２１を主として実現される。処理実行部２１１は、過去に撮影された対象画像が撮影画像に写っている場合に、当該対象画像に関連付けられた埋め込み情報に基づいて、所定の処理を実行する。即ち、処理実行部２１１は、過去に撮影された対象画像が撮影画像に写っていることを条件として、当該対象画像に関連付けられた埋め込み情報に基づいて、所定の処理を実行する。

　所定の処理は、埋め込み情報に基づいて実行される処理であればよく、任意の処理を適用可能である。本実施形態では、埋め込み情報が示すＵＲＬにアクセスすることが、所定の処理に相当する場合を説明する。例えば、所定の処理は、埋め込み情報を出力することを意味してもよい。ここでの出力とは、表示部２５に画像として表示すること、スピーカ等から音声として出力すること、又はバイブレータを利用して振動として出力することを意味する。即ち、出力は、視覚的、聴覚的、又は触覚的に行われるようにすればよい。他にも例えば、埋め込み情報を他のコンピュータに送信することが、埋め込み情報の出力に相当してもよい。

　本実施形態では、過去に撮影された対象画像が撮影画像に写っている場合には、サーバ１０に対する埋め込み情報の抽出が依頼されず、抽出済みデータＤＴに格納された埋め込み情報が利用される。この場合、処理実行部２１１は、過去にサーバ１０により抽出され、抽出済みデータＤＴに格納された埋め込み情報に基づいて、所定の処理を実行する。

　一方、新たな対象画像が撮影画像に写っている場合には、サーバ１０に対する埋め込み情報の抽出が依頼される。このため、処理実行部２１１は、新たな対象画像が撮影画像に写っている場合に、サーバ１０から受信した埋め込み情報に基づいて、所定の処理を実行する。

［４．本実施形態において実行される処理］
　図７及び図８は、情報処理システムＳにおいて実行される処理の一例を示すフロー図である。図７及び図８に示す処理は、制御部１１，２１が、それぞれ記憶部１２，２２に記憶されたプログラムに従って動作することによって実行される。下記に説明する処理は、図４に示す機能ブロックにより実行される処理の一例である。

　図７に示すように、まず、ユーザ端末２０において、制御部２１は、操作部２４の操作に基づいて、撮影部２６を起動する（Ｓ１）。撮影部２６は、ユーザが操作部２４から所定の操作をすると起動し、所定のフレームレートに基づいて連続的に撮影を行う。撮影部２６は、一定の時間間隔ごとに撮影を行い、繰り返し撮影画像を生成する。

　制御部２１は、撮影部２６により生成された撮影画像を取得する（Ｓ２）。Ｓ２においては、制御部２１は、撮影部２６が生成した撮影画像を取得し、表示部２５に表示させる。なお、撮影画像は、表示部２５に表示されなくてもよい。

　制御部２１は、撮影画像に基づいて、位置検出パターンを検出したか否かを判定する（Ｓ３）。Ｓ３においては、制御部２１は、所定方向に撮影画像を走査し、白セルと黒セルの比率が所定の比率になっている部分を検出したか否かを判定する。

　位置検出パターンを検出したと判定されない場合（Ｓ３；Ｎ）、Ｓ２の処理に戻る。この場合、新たな撮影画像が取得され、再びＳ３の判定が行われる。以降、撮影画像から位置検出パターンが検出されるまで、Ｓ２の処理とＳ３の処理が繰り返される。

　位置検出パターンを検出したと判定された場合（Ｓ３；Ｙ）、制御部２１は、位置検出パターンに基づいて、撮影画像を加工する（Ｓ４）。Ｓ４においては、制御部２１は、撮影画像における位置検出パターンの位置関係が所定の位置関係となり、かつ、位置検出パターンが所定のサイズとなるように、撮影画像を加工し、対象画像が写された部分を切り出す。Ｓ４の処理により、撮影画像から切り出される対象画像が所定サイズとなり、対象画像の歪みや傾きが除去され、続くＳ５の判定に適した状態の撮影画像になる。

　制御部２１は、抽出済みデータＤＴと、Ｓ４で加工した撮影画像と、に基づいて、過去に撮影された対象画像が撮影画像に写されているか否かを判定する（Ｓ５）。Ｓ５においては、制御部２１は、抽出済みデータＤＴに格納された複数の対象画像を取得する。制御部２１は、取得した対象画像ごとに、テンプレートマッチング又はヒストグラム分散を利用して、対象画像と撮影画像とのスコアを計算する。スコアが閾値以上の対象画像が存在する場合、Ｓ５の判定は肯定となり、スコアが閾値以上の対象画像が存在しない場合、Ｓ５の判定は否定となる。

　過去に撮影された対象画像が撮影画像に写されていると判定された場合（Ｓ５；Ｙ）、制御部２１は、抽出済みデータＤＴに格納された埋め込み情報に基づいて、所定の処理を実行し（Ｓ６）、本処理は終了する。Ｓ６においては、制御部２１は、撮影画像に写されていると判定された対象画像（スコアが閾値以上の対象画像）に関連付けられた埋め込み情報を取得し、当該埋め込み情報に基づいて、所定の処理を実行する。

　一方、過去に撮影された対象画像が撮影画像に写されていると判定されない場合（Ｓ５；Ｎ）、制御部２１は、撮影画像に示された対象画像の形式を特定する（Ｓ７）。Ｓ７においては、撮影画像における白画素と黒画素の割合を計算し、当該割合が閾値以上であれば第１の形式と判定し、当該割合が閾値未満であれば第２の形式と判定する。

　対象画像が第１の形式である場合（Ｓ７；第１の形式）、制御部２１は、二次元コードの規格で定められた手順に基づいて、埋め込み情報を抽出する（Ｓ８）。この場合、対象画像が二次元コードなので、制御部２１は、二次元コードに示されたＵＲＬを取得する。

　制御部２１は、Ｓ８で抽出された埋め込み情報に基づいて、所定の処理を実行し（Ｓ９）、本処理は終了する。Ｓ９においては、制御部２１は、二次元コードである対象画像に示されたＵＲＬを表示部２５に表示させたり、当該ＵＲＬにアクセスしてウェブサイトを表示部２５に表示させたりする。

　一方、対象画像が第２の形式である場合（Ｓ７；第２の形式）、図８に移り、制御部２１は、サーバ１０に対し、埋め込み情報の抽出を依頼する（Ｓ１０）。Ｓ１０において送信される依頼には、Ｓ４で加工して撮影画像から切り出された対象画像が写された部分が含まれるものとする。

　サーバ１０においては、依頼を受け付けると、制御部１１は、受信した画像に基づいて、埋め込み情報を抽出する（Ｓ１１）。Ｓ１１においては、制御部１１は、画像をデコーダに入力し、デコーダから出力された埋め込み情報を取得する。制御部１１は、ユーザ端末２０に対し、Ｓ１１で抽出した埋め込み情報を送信する（Ｓ１２）。

　ユーザ端末２０においては、埋め込み情報を受信すると、制御部２１は、Ｓ４で加工された撮影画像と、サーバ１０から受信した埋め込み情報と、を関連付けて抽出済みデータＤＴに格納する（Ｓ１３）。

　制御部２１は、サーバ１０から受信した埋め込み情報に基づいて、所定の処理を実行し（Ｓ１４）、本処理は終了する。Ｓ１４においては、制御部２１は、サーバ１０から受信したＵＲＬを表示部２５に表示させたり、当該ＵＲＬにアクセスしてウェブサイトを表示部２５に表示させたりする。

　以上説明したユーザ端末２０によれば、過去に撮影された対象画像が撮影画像に写っている場合に、当該対象に関連付けられた埋め込み情報に基づいて、所定の処理を実行することによって、過去に埋め込み情報を抽出済みの対象画像が撮影された場合には、埋め込み情報を抽出する処理を省略するので、ユーザ端末２０の処理負荷を軽減することができる。例えば、本実施形態のように抽出済みデータＤＴを用意しない場合には、ユーザ端末２０は、過去に埋め込み情報を抽出済みの対象画像が撮影されたとしても、撮影画像が取得されるたびに、埋め込み情報を抽出する複雑な処理を毎回実行する必要があるが、情報処理システムＳは、このような複雑な処理を省略することができ、ユーザ端末２０の処理負荷を軽減することができる。更に、所定の処理を実行するまでのステップを単純化することによって、所定の処理をより早く完了させることができ、ユーザ端末２０の処理を高速化することもできる。

　また、ユーザ端末２０は、過去に撮影されていない新たな対象画像が撮影画像に写っている場合に、サーバ１０に対し、埋め込み情報の抽出を依頼することで、埋め込み情報を抽出する複雑な処理をサーバ１０に実行させ、ユーザ端末２０の処理負荷を軽減することができる。更に、過去に撮影された対象画像が撮影画像に写っている場合には、ユーザ端末２０に記憶された抽出済みの埋め込み情報を利用し、サーバ１０に埋め込み情報の抽出を依頼しないので、不要な処理をサーバ１０に実行させることがなくなり、サーバ１０の処理負荷も軽減することができる。この場合、不要な撮影画像や埋め込み情報がネットワークＮ上に送信されないので、ネットワークＮにおける通信負荷を軽減することもできる。

　また、ユーザ端末２０は、過去に撮影されていない新たな対象画像と、サーバ１０から受信した埋め込み情報と、を関連付けて抽出済みデータＤＴに保存することによって、サーバ１０から受信した埋め込み情報を次回の処理に活用することができる。このように、サーバ１０により抽出された埋め込み情報がユーザ端末２０に蓄積されることで、サーバ１０及びユーザ端末２０の各々の処理負荷を効果的に軽減することができる。また、抽出済みデータＤＴをユーザ端末２０側で記憶させておくことにより、サーバ１０のメモリ消費量の増大を防止することができる。

　また、ユーザ端末２０は、撮影画像から位置検出パターンが検出された場合に、サーバ１０に対し、埋め込み情報の抽出を依頼することにより、埋め込み情報を抽出しやすい状態の撮影画像で依頼をかけることができ、埋め込み情報の抽出精度を高めることができる。更に、埋め込み情報を抽出しにくい不鮮明な撮影画像がサーバ１０に送信されると、サーバ１０は、埋め込み情報を抽出することができず、ユーザ端末２０に別の撮影画像を再送してもらう必要があり、サーバ１０及びユーザ端末２０の各々の処理負荷が増大する可能性があるが、このような状況が発生することを防止することができる。

　また、ユーザ端末２０は、撮影画像から位置検出パターンが検出された場合に、位置検出パターンの検出結果に基づいて、撮影画像を加工し、サーバ１０に対し、埋め込み情報の抽出を依頼することによって、埋め込み情報をより抽出しやすい状態の撮影画像で依頼をかけることができ、埋め込み情報の抽出精度を効果的に高めることができ、サーバ１０及びユーザ端末２０の処理負荷も効果的に軽減することができる。

　また、ユーザ端末２０は、撮影画像に写された対象画像が第１の形式である場合に、撮影画像に基づいて、埋め込み情報を抽出し、撮影画像に写された対象画像が第２の形式である場合に、サーバ１０に対し、埋め込み情報の抽出を依頼することによって、簡単な処理で済む場合には、自身で埋め込み情報を抽出し、複雑な処理が発生する場合には、埋め込み情報の抽出をサーバ１０に依頼することで、サーバ１０及びユーザ端末２０の各々の処理負荷をバランスよく軽減することができる。

　また、ユーザ端末２０は、撮影画像から位置検出パターンが検出された場合に、位置検出パターンが検出された撮影画像に、過去に撮影された対象画像が写っているか否かを判定することによって、より比較しやすい状態の撮影画像で判定処理を実行することができ、埋め込み情報の抽出精度を高めることができる。更に、比較しにくい状態の撮影画像で判定処理が実行される場合には、不要な判定処理が実行されてユーザ端末２０の処理負荷が増大する可能性があるが、このような状況が発生することを防止することができる。

　また、ユーザ端末２０は、撮影画像から位置検出パターンが検出された場合に、位置検出パターンの検出結果に基づいて、撮影画像を加工し、抽出済みデータＤＴに格納された対象画像が写っているか否かを判定することによって、より比較しやすい状態の撮影画像で判定処理を実行することができ、埋め込み情報の抽出精度を効果的に高めることができる。更に、比較しにくい状態の撮影画像に基づく判定処理が実行されることを効果的に防止することができる。

　また、ユーザ端末２０は、テンプレートマッチング又はヒストグラム分散を利用して、過去に撮影された対象画像が撮影画像に写っているか否かを判定することによって、より簡易な処理で判定処理を実行することができ、ユーザ端末２０の処理負荷を効果的に軽減することができる。

　また、対象画像は、被写体が撮影された画像に対し、埋め込み情報が埋め込まれた画像なので、二次元コードなどの無機質な対象画像を採用する場合に比べて、より自然な対象画像とすることができる。

［５．変形例］
　なお、本発明は、以上に説明した実施の形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、適宜変更可能である。

　（１）例えば、実施形態では、１つの撮影画像に１つの対象画像が含まれる場合を説明したが、複数の対象画像が密集して並べられている場合には、１つの撮影画像に複数の対象画像が含まれていてもよい。即ち、撮影部２６は、複数の対象画像を一度に撮影可能であってもよい。撮影画像に含まれる対象画像の数は、任意の数であってよく、撮影部２６の撮影範囲に対象画像が収まればよい。例えば、撮影部２６は、２～４つ程度の対象画像を一度に撮影してもよいし、５つ以上の対象画像を一度に撮影してもよい。

　本変形例の判定部２０７は、新たに取得された撮影画像に複数の対象画像が含まれている場合に、当該複数の対象画像の各々と、過去に取得された撮影画像と、が同じである否かを判定する。即ち、判定部２０７は、撮影画像に示された対象画像ごとに、当該対象画像が過去に取得された撮影画像と同じであるか否かを判定する。個々の判定処理は、実施形態で説明した通りである。

　処理実行部２１１は、複数の対象画像が撮影画像に写っている場合に、複数の対象画像にそれぞれ対応する複数の埋め込み情報に基づいて、所定の処理を実行する。即ち、処理実行部２１１は、撮影画像に示された対象画像ごとに、当該対象画像に対応する埋め込み情報に基づいて、所定の処理を実行する。

　例えば、撮影画像に写っている複数の対象画像が全て抽出済みデータＤＴに格納されている場合、処理実行部２１１は、抽出済みデータＤＴを参照して複数の対象画像にそれぞれ対応する複数の埋め込み情報を取得する。また例えば、撮影画像に写っている複数の対象画像の一部だけが抽出済みデータＤＴに格納されている場合、処理実行部２１１は、抽出済みデータＤＴを参照して当該一部の対象画像の埋め込み情報を取得し、他の対象画像の埋め込み情報については、サーバ１０から受信する。また例えば、撮影画像に写っている複数の対象画像がどれも抽出済みデータＤＴに格納されていない場合、処理実行部２１１は、複数の対象画像にそれぞれ対応する複数の埋め込み情報を、サーバ１０から受信する。

　実施形態では、１つの埋め込みに基づいて所定の処理が実行されるのに対し、本変形例では、処理実行部２１１は、複数の埋め込み情報の各々に基づいて、所定の処理を実行する点で異なる。個々の所定の処理の詳細は、実施形態で説明した通りである。

　変形例（１）によれば、複数の対象画像が撮影画像に写っている場合に、複数の対象画像にそれぞれ対応する複数の埋め込み情報に基づいて、所定の処理を実行することによって、１回の撮影によって、複数の埋め込み情報にそれぞれ対応する複数の所定の処理を実行し、ユーザの利便性を高めることができる。また、これらの複数の所定の処理を１回の撮影で実行することによって、複数回の撮影を実行する必要がなくなるので、ユーザ端末２０の処理負荷を軽減することもできる。また、サーバ１０は、複数枚の撮影画像を解析する必要がなくなるので、サーバ１０の処理負荷を軽減することもできる。

　（２）また例えば、情報処理システムＳは、任意の場面で利用可能であり、電子決済に利用してもよい。この場合、埋め込み情報は、商品又はサービスの決済に関する情報となる。商品は、任意の商品であってよく、例えば、飲食物、衣料品、雑貨、家具、又は日用品であってよい。サービスは、任意のサービスであってよく、例えば、飲食物の提供サービス、金融サービス、保険サービス、又は通信サービスであってよい。電子決済もサービスの一例である。

　決済に関する情報は、決済に必要な情報であればよく、例えば、商品又はサービスを識別するＩＤ、商品又はサービスの提供者を識別するＩＤ、商品又はサービスの価格を示す情報、又は、商品又はサービスの数量を示す情報などである。他にも例えば、電子送金や銀行振込によって決済が行われる場合には、送金先を識別する情報、又は、振込先の銀行口座が決済に関する情報に相当してもよい。

　本変形例では、対象画像は、商品が購入される場合、又は、サービスが利用される場合に撮影される。例えば、対象画像は、商品のメニュー、商品の表面、商品のパッケージ、商品の陳列場所、又は商品のポスターに印刷されており、店舗などに印刷物が配置されている。また例えば、対象画像は、レストランのメニュー、又は、サービスの説明書に印刷されており、サービスの提供場所に印刷物が配置されている。なお、実施形態で説明したように、対象画像は、紙などに印刷されているのではなく、画面に表示されていてもよい。

　所定の処理は、商品又はサービスに関する決済処理である。ユーザは、ユーザ端末２０を操作して対象情報を撮影し、ユーザ端末２０が埋め込み情報を取得すると、決済処理が実行される。決済処理は、任意の処理であってよく、例えば、クレジットカードを利用した決済であってもよい。例えば、ユーザ端末２０には、クレジットカード情報、電子バリュー（例えば、電子マネー又はポイント）のアカウント情報、仮想通貨のアカウント情報、銀行口座情報、又はデビットカード情報などが記憶されており、埋め込み情報とこれらの情報を利用して決済処理が実行される。

　例えば、処理実行部２１１は、クレジットカード情報に基づく与信処理、電子バリューの残高を減少させる処理、仮想通貨の残高を減少させる処理、銀行口座から引き落としや振り込みをする処理、又はデビットカード情報が示す口座の残高を減少させる処理などを実行する。決済処理が実行されると、ユーザ端末２０の表示部２５等に、その旨が表示され、ユーザは商品を受け取ったり、サービスを利用したりする。例えば、店舗のスタッフは、ユーザ端末２０における決済処理の完了を確認すると、ユーザに商品を渡したりサービスを提供したりする。なお、メッセージは、ユーザ端末２０ではなく、店舗のスタッフが操作する端末などの他のコンピュータに転送されて表示されてもよい。

　変形例（２）によれば、商品又はサービスの決済が行われる場合のサーバ１０及びユーザ端末２０の処理負荷を軽減することができる。特に、決済処理や決済時の認証処理でユーザ端末２０を利用する場合には、決済処理や認証処理が失敗することを防止しなければならないが、サーバ１０及びユーザ端末２０の処理負荷を軽減することによって、決済処理や認証処理の失敗を防止することができる。更に、サーバ１０及びユーザ端末２０の処理負荷を軽減することによって、決済処理や認証処理を高速化することができる。

　（３）また例えば、上記変形例を組み合わせてもよい。

　また例えば、実施形態では、ユーザ端末２０が画像処理部１０１と同等の機能を有していてもよい。この場合、ユーザ端末２０の画像処理部１０１は、過去に撮影された対象画像が撮影画像に写っていない場合には、デコーダを利用して埋め込み情報を抽出し、過去に撮影された対象画像が撮影画像に写っている場合には、デコーダを利用せずに、抽出済みデータＤＴを参照して埋め込み情報を取得する。このようにすることでも、毎回必ずデコード処理が実行されるわけではないので、ユーザ端末２０の処理負荷を軽減することができる。この場合、保存部２１０は、ユーザ端末２０の画像処理部１０１により抽出された埋め込み情報を抽出済みデータＤＴに格納すればよい。

　また例えば、対象画像は位置検出パターンを含まなくてもよい。この場合、撮影画像の加工が行われることなく、判定部２０７は、撮影画像全体の特徴量等を利用して、過去に撮影された対象画像が撮影画像に写っているか否かを判定してもよい。この判定は、テンプレートマッチング又はヒストグラム分散が利用されることによって実行されてもよいし、過去に撮影された対象画像を学習させた機械学習モデルを利用して実行されてもよい。また例えば、情報処理システムＳは、実施形態で説明したＵＲＬの出力や変形例（２）で説明した決済以外にも、道案内、教育、娯楽、又は拡張現実等の任意の場面に利用可能である。情報処理システムＳが利用される場面に合った埋め込み情報が対象画像に埋め込まれているようにすればよい。

　また例えば、主な機能がサーバ１０で実現される場合を説明したが、各機能は、複数のコンピュータで分担されてもよい。例えば、サーバ１０及びユーザ端末２０の各々で機能が分担されてもよい。また例えば、情報処理システムＳが複数のサーバコンピュータを含む場合には、これら複数のサーバコンピュータで機能が分担されてもよい。また例えば、データ記憶部１００で記憶されるものとして説明したデータは、サーバ１０以外のコンピュータによって記憶されてもよい。

Claims (15)

1. 　所定の情報を含む対象画像を撮影可能な撮影手段により撮影された撮影画像を取得する撮影画像取得手段と、
   　過去に撮影された前記対象画像と、過去に当該対象画像から抽出された前記情報と、を関連付けて記憶する記憶手段を参照する参照手段と、
   　過去に撮影された前記対象画像が前記撮影画像に写っているか否かを判定する判定手段と、
   　過去に撮影された前記対象画像が前記撮影画像に写っている場合に、当該対象画像に関連付けられた前記情報に基づいて、所定の処理を実行する処理実行手段と、
   　を含むことを特徴とする情報処理装置。
2. 　前記情報処理装置は、
   　過去に撮影されていない新たな前記対象画像が前記撮影画像に写っている場合に、前記撮影画像に基づいて、サーバに対し、前記情報の抽出を依頼する依頼手段と、
   　前記サーバにより抽出された前記情報を受信する受信手段と、
   　を更に含み、
   　前記処理実行手段は、前記新たな対象画像が前記撮影画像に写っている場合に、前記サーバから受信した前記情報に基づいて、前記所定の処理を実行する、
   　ことを特徴とする請求項１に記載の情報処理装置。
3. 　前記記憶手段は、過去に撮影された前記対象画像と、過去に前記サーバにより抽出された前記情報と、を関連付けて記憶し、
   　前記情報処理装置は、前記新たな対象画像が前記撮影画像に写っている場合に、前記新たな対象画像と、前記サーバから受信した前記情報と、を関連付けて前記記憶手段に保存する保存手段を更に含む、
   　ことを特徴とする請求項２に記載の情報処理装置。
4. 　前記対象画像は、所定のパターンを含み、
   　前記撮影手段は、前記対象画像を連続的に撮影し、
   　前記依頼手段は、前記撮影画像から前記パターンが検出された場合に、前記サーバに対し、前記情報の抽出を依頼する、
   　ことを特徴とする請求項２又は３に記載の情報処理装置。
5. 　前記情報処理装置は、前記撮影画像から前記パターンが検出された場合に、前記パターンの検出結果に基づいて、前記撮影画像を加工する加工手段を更に含み、
   　前記依頼手段は、加工された前記撮影画像に基づいて、前記サーバに対し、前記情報の抽出を依頼する、
   　ことを特徴とする請求項４に記載の情報処理装置。
6. 　前記対象画像は、第１の形式と、前記第１の形式よりも前記情報の抽出が複雑な第２の形式と、が存在し、
   　前記情報処理装置は、
   　前記撮影画像に写された前記対象画像の形式を特定する特定手段と、
   　前記撮影画像に写された前記対象画像が前記第１の形式である場合に、前記撮影画像から前記情報を抽出する抽出手段と、
   　を更に含み、
   　前記依頼手段は、前記撮影画像に写された前記対象画像が前記第２の形式である場合に、前記サーバに対し、前記情報の抽出を依頼する、
   　ことを特徴とする請求項２～５の何れかに記載の情報処理装置。
7. 　前記対象画像は、所定のパターンを含み、
   　前記撮影手段は、前記対象画像を連続的に撮影し、
   　前記判定手段は、前記撮影画像から前記パターンが検出された場合に、前記パターンが検出された前記撮影画像に、過去に撮影された前記対象画像が写っているか否かを判定する、
   　ことを特徴とする請求項１～６の何れかに記載の情報処理装置。
8. 　前記情報処理装置は、前記撮影画像から前記パターンが検出された場合に、前記パターンの検出結果に基づいて、前記撮影画像を加工する加工手段を更に含み、
   　前記記憶手段は、過去に撮影されて加工された前記撮影画像に写された前記対象画像と、過去に当該対象画像から抽出された前記情報と、を関連付けて記憶し、
   　前記判定手段は、過去に撮影されて加工された前記撮影画像に写された前記対象画像が、新たに撮影されて加工された前記撮影画像に写っているか否かを判定する、
   　ことを特徴とする請求項７に記載の情報処理装置。
9. 　前記判定手段は、テンプレートマッチング又はヒストグラム分散を利用して、過去に撮影された前記対象画像が前記撮影画像に写っているか否かを判定する、
   　ことを特徴とする請求項１～８の何れかに記載の情報処理装置。
10. 　前記撮影手段は、複数の前記対象画像を一度に撮影可能であり、
    　前記処理実行手段は、前記複数の対象画像が前記撮影画像に写っている場合に、前記複数の対象画像にそれぞれ対応する複数の前記情報に基づいて、前記所定の処理を実行する、
    　ことを特徴とする請求項１～９の何れかに記載の情報処理装置。
11. 　前記情報は、商品又はサービスの決済に関する情報であり、
    　前記対象画像は、前記商品が購入される場合、又は、前記サービスが利用される場合に撮影され、
    　前記所定の処理は、前記商品又は前記サービスに関する決済処理である、
    　ことを特徴とする請求項１～１０の何れかに記載の情報処理装置。
12. 　前記対象画像は、被写体が写っている画像に対し、前記情報が埋め込まれた画像である、
    　ことを特徴とする請求項１～１１の何れかに記載の情報処理装置。
13. 　請求項１～１２の何れかに記載の情報処理装置と、
    　請求項２～６の何れかに記載のサーバと、
    　を含むことを特徴とする情報処理システム。
14. 　所定の情報を含む対象画像を撮影可能な撮影手段により撮影された撮影画像を取得する撮影画像取得ステップと、
    　過去に撮影された前記対象画像と、過去に当該対象画像から抽出された前記情報と、を関連付けて記憶する記憶手段を参照する参照ステップと、
    　過去に撮影された前記対象画像が前記撮影画像に写っているか否かを判定する判定ステップと、
    　過去に撮影された前記対象画像が前記撮影画像に写っている場合に、当該対象画像に関連付けられた前記情報に基づいて、所定の処理を実行する処理実行ステップと、
    　を含むことを特徴とする情報処理方法。
15. 　所定の情報を含む対象画像を撮影可能な撮影手段により撮影された撮影画像を取得する撮影画像取得手段、
    　過去に撮影された前記対象画像と、過去に当該対象画像から抽出された前記情報と、を関連付けて記憶する記憶手段を参照する参照手段、
    　過去に撮影された前記対象画像が前記撮影画像に写っているか否かを判定する判定手段、
    　過去に撮影された前記対象画像が前記撮影画像に写っている場合に、当該対象画像に関連付けられた前記情報に基づいて、所定の処理を実行する処理実行手段、
    　としてコンピュータを機能させるためのプログラム。

Images