JP2019008745A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】撮像データから抽出した付加情報のタイプに応じた表示を行うこと。【解決手段】本発明は、付加情報としてメッセージに関するメッセージデータが埋め込まれた画像を撮影した撮像データから、該メッセージデータを抽出する抽出手段と、前記抽出したメッセージデータに基づき、メッセージのタイプを判定するタイプ判定手段と、前記判定したタイプに応じたユーザインターフェース画面を表示する表示手段とを有することを特徴とする画像処理装置である。【選択図】図４

Description

本発明は、画像に情報を埋め込み、該埋め込んだ情報を読み取る技術に関する。

特許文献１には、動画像データ及び紐付け情報の保管場所に関する情報が画像に埋め込まれた印刷物を出力すること、前記印刷物を撮影した撮像データから抽出した前記情報に基づき前記保管場所にアクセスすることで動画像データを再生することが開示されている。

特開２０１３−１８３２５５号公報

しかしながら、特許文献１には、画像に埋め込まれた付加情報のタイプに応じて表示を切り替えることは開示されていない。そのため、画像に埋め込まれた付加情報に基づく表示を、適切に実行できない虞がある。

そこで本発明は、上記の課題に鑑み、撮像データから抽出した付加情報のタイプに応じた表示を行うことを目的とする。

本発明は、付加情報としてメッセージに関するメッセージデータが埋め込まれた画像を撮影した撮像データから、該メッセージデータを抽出する抽出手段と、前記抽出したメッセージデータに基づき、メッセージのタイプを判定するタイプ判定手段と、前記判定したタイプに応じたユーザインターフェース画面を表示する表示手段とを有することを特徴とする画像処理装置である。

本発明により、撮像データから抽出した付加情報のタイプに応じた表示を行うことが可能になる。

携帯端末の構成を示すブロック図 ホーム画面を示す図 メッセージ作成・表示アプリケーションのＵＩ画面を示す図 印刷データを作成し、印刷する処理のフローチャート 印刷物から付加情報を抽出し、表示する処理のフローチャート

以下、添付図面を参照して本発明の好適な実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る本発明を限定する趣旨のものではない。また、以下で説明されている特徴の組み合わせの全てが本発明の課題の解決に必須のものとは限らない。

＜実施形態１＞
本実施形態では、画像に付加情報（多重化情報、又は、埋め込み情報とも呼ぶ）を埋め込んで（埋め込み処理、又は、多重化処理とも呼ぶ）、印刷データを作成する。そして、その印刷データの印刷物を撮影した撮像データから付加情報を取り出して（抽出処理、又は、分離処理とも呼ぶ）、適切な形式で表示する。

上述の埋め込み処理、抽出処理、及び表示処理は、画像処理装置（情報処理装置）で実行される。画像処理装置として前述の処理が可能な任意の装置を用いて良い。但し、以下では説明の便宜上、画像処理装置が携帯端末の場合を例に挙げて説明する。携帯端末としては、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）等の個人情報端末、携帯電話、スマートフォン等が挙げられる。スマートフォンとは、携帯電話機能の他にカメラ機能やインターネットブラウザ機能、メール機能等を搭載した多機能型の携帯電話である。

＜携帯端末の構成について＞
以下、本実施形態における携帯端末の構成について説明する。まず、携帯端末のハードウェア構成について、図１（ａ）を用いて説明する。図１（ａ）に示すように、携帯端末１００は、ＣＰＵ１０１と、メモリ１０２と、記憶部１０３と、操作部１０４と、表示部１０５と、ネットワークインターフェイス（インターフェースをＩＦと略記する）１０６と、カメラモジュール１０７とを備える。これらの構成要素は、バス１１０を介して接続されており、夫々が互いにデータを送受信することが可能である。

ＣＰＵ１０１は、携帯端末１００を統括的に制御するユニットであり、記憶部１０３に記憶されているプログラムをメモリ１０２に展開し、該展開したプログラムを実行することにより、各処理を実行する。メモリ１０２は、例えばランダムアクセスメモリ（ＲＡＭ）であり、ＣＰＵ１０１の作業領域として使用され、また、種々のデータが一時的に記憶される。記憶部１０３は、例えばフラッシュメモリであり、携帯端末１００の処理を実行するための各種プログラム、及び、携帯端末１００の処理に必要なパラメータ等のデータが記憶される。記憶部１０３に記憶されるプログラムには、オペレーティングシステム（以下ＯＳと略記する）やアプリケーション等の各種制御プログラムが含まれ、後述の処理を実行するためのプログラムも、記憶部１０３に記憶される。

操作部１０４は、ユーザの操作を受け付けるユーザインターフェースであり、ボタンやタッチパネル等から構成される。表示部１０５は、ユーザに各種情報を表示するユーザインターフェースであり、液晶パネル等から構成される。尚、詳細は後述するが、表示部１０５には、携帯端末１００にインストールされているアプリケーションのユーザインターフェース画面（以下ＵＩ画面と略記する）が表示される。ネットワークＩＦ１０６は、携帯端末１００をネットワークと接続するインターフェースである。携帯端末１００は、ネットワークＩＦ１０６を介して、インターネット、又は、プリンタやスキャナ等の外部装置と接続可能である。カメラモジュール１０７は、撮影に用いるモジュールであり、ユーザは携帯端末１００にインストールされているカメラアプリケーション等を通じて操作可能である。ＣＰＵ１０１は、カメラモジュール１０７から受け取った情報に基づいて画像データを作成する。作成された画像データはメモリ１０２や記憶部１０３に記憶され、必要に応じて表示部１０５に表示される。

続いて、携帯端末のソフトウェア構成について、図１（ｂ）を用いて説明する。図１（ｂ）に示すように、携帯端末１００は、ＯＳ１２０と、アプリケーション１２１と、アプリケーション１２２とを備える。これらのソフトウェアのプログラムは、記憶部１０３に記憶されており、メモリ１０２に展開されてＣＰＵ１０１によって実行される。

携帯端末１００が備える複数のアプリケーションは、インターネット等のネットワーク経由でダウンロードされインストールされたものであり、ユーザは、携帯端末１００上で複数のアプリケーションの夫々を利用可能である。尚、携帯端末１００が有するアプリケーションの数は、２つに限定されるものではなく、１つであっても良いし、或いは、３つ以上であっても良い。

アプリケーション１２１及びアプリケーション１２２は、ＯＳ１２０を介して動作する。例えば、これらのアプリケーションはカメラモジュール１０７によって取得される情報を、ＯＳ１２０を介して画像データとして取得することができる。また、アプリケーション１２１とアプリケーション１２２との夫々に対し、これらのアプリケーションを起動するための情報（起動情報）が定義されている。例えば、アプリケーション１２１が、予め定められたフォーマットで作成された、アプリケーション１２２を起動するための起動情報をＯＳ１２０に送信した場合、ＯＳ１２０によってアプリケーション１２２が起動される。本実施形態では、例えばアプリケーション１２１が、メッセージ作成・表示アプリケーションであり、アプリケーション１２２がＷｅｂブラウザアプリケーションや地図アプリケーションである。メッセージ作成・表示アプリケーションの詳細については後述する。

また、ＣＰＵ１０１はアプリケーション１２１、ＯＳ１２０を実行することで、プリンタにより印刷対象となるデータを作成し、ネットワークＩＦ１０６に接続されているプリンタに該データに基づく画像を印刷させることができる。

＜携帯端末の表示画面について＞
以下、本実施形態における携帯端末１００の表示画面について、図２及び図３を用いて説明する。図２は、携帯端末１００の表示部１０５、具体的には液晶ディスプレイ２０１に表示されるホーム画面を示す図である。ホーム画面とは全ての操作の起点となる画面であり、携帯端末１００にインストールされているアプリケーションのアイコンが一覧表示される画面である。図２の例では、Ｐｈｏｎｅアイコン２０２、Ｐｈｏｔｏｓアイコン２０３、Ｐｒｉｎｔアイコン２０４、Ｍｅｓｓａｇｅｓアイコン２０５、Ｗｅｂアイコン２０６、Ｓｃａｎアイコン２０７という６つのアイコンが表示されている。これらのアイコンは、アプリケーションを起動する際にユーザによって押下（タップ）される。

ユーザによって画面がタップされた場合、液晶ディスプレイ２０１の上に設けられたタッチパネル２０８によって、ユーザのタップが検出される。タッチパネル２０８は、携帯端末１００の操作部１０４の構成要素の１つであって、ユーザの操作、具体的には、タップ、フリック、スワイプ等を検出する。

アプリケーションのアイコンをユーザがタップした場合、タッチパネル２０８によりユーザのタップが検出され、タップされたアイコン、即ちＧＵＩ部品（オブジェクトとも呼ぶ）に対応するイベントが発行される。この結果、タッチされたアイコンに対応するアプリケーションが起動する。例えば、図２に示す状態でＷｅｂアイコン２０６がタップされた場合、Ｗｅｂブラウザが起動する。

また、携帯端末１００は、ホームボタン２０９を備える。アプリケーションを起動している最中にホームボタン２０９を押下することで起動中のアプリケーションの画面を閉じ、ホーム画面に戻ることが可能である。

図３（ａ）は、図２のＭｅｓｓａｇｅｓアイコン２０５がタップされ、メッセージ作成・表示アプリケーションが起動した場合に液晶ディスプレイ２０１に表示されるＵＩ画面を示す図である。メッセージ作成・表示アプリケーションは、メッセージに関するデータ（メッセージデータ）が画像に埋め込まれた印刷データを作成する処理、及び、該印刷データの印刷物を撮影した撮像データに基づきメッセージを表示する処理を実行するアプリケーションである。

図３（ａ）に示すＵＩ画面は、作成するメッセージのタイプをユーザが選択するための３つのオブジェクトを有する。つまり、本実施形態では、デコレーションメッセージを作成する際にオブジェクト３１１がタップされる。同様に、動画メッセージを作成する際にオブジェクト３１２がタップされ、テキスト／Ｗｅｂメッセージを作成する際にオブジェクト３１３がタップされる。尚、本実施形態では、メッセージ作成・表示アプリケーションが、ユーザの選択に応じて３種類のメッセージデータの何れかを画像に埋め込むとしているが、メッセージ作成・表示アプリケーションが作成可能なメッセージデータのタイプの数は３に限定されない。メッセージ作成・表示アプリケーションが前述の３つ以外のタイプのメッセージデータを作成可能であっても良い。

デコレーションメッセージとは、テーマ毎に予め用意されたアニメーション及び音楽が再生されながら、ユーザによって入力されたメッセージが表示されるタイプのメッセージである。動画メッセージとは、ユーザが用意した動画を再生し、動画でメッセージを表示するタイプのメッセージである。テキスト／Ｗｅｂメッセージとは、ユーザによって入力されたメッセージがテキスト形式で表示され、また、該メッセージと共にこれに付随する情報、即ち、日付、位置、任意のＷｅｂページへのリンク等が表示されるタイプのメッセージである。

オブジェクト３１１〜３１３の何れかをタップすることで、タップされたオブジェクトに対応するメッセージデータを画像に埋め込んで印刷データを作成するためのＵＩ画面が表示される。ユーザは、このＵＩ画面を介してメッセージデータが画像に埋め込まれた印刷データを作成することができる。

図３（ｂ）は、ユーザがオブジェクト３１１をタップしてデコレーションメッセージを作成する場合に表示される、メッセージ作成・表示アプリケーションにおけるデコレーションメッセージ作成用ＵＩ画面の一例を示す図である。画像３２１は、ユーザがメッセージを埋め込んで印刷するために選択した画像である。本実施形態では、画像３２１がタップされた場合に、デコレーションメッセージ作成用ＵＩ画面に表示される画像を、現在選択されている画像とは異なる画像に変更することが可能である。または、デコレーションメッセージ作成用ＵＩ画面に、画像を選択したり変更したりするためのボタンを、画像３２１とは別に設けても良い。尚、デコレーションメッセージ作成用ＵＩ画面に表示する印刷対象の画像として、既に撮影済みの写真の画像を選択することもできるし、その場で新規に撮影した写真の画像を使用することもできる。

ユーザはテキストボックス３２２又はテキストボックス３２３をタップして、デコレーションメッセージのアニメーションにおける夫々のシーンに表示されるメッセージを編集することができる。再生ボタン３２４、戻るボタン３２５、進むボタン３２６はデコレーションメッセージのプレビューを制御するためのボタンである。ユーザが再生ボタン３２４をタップすると、デコレーションメッセージが最初から再生される。また、ユーザが戻るボタン３２５をタップすると、現在再生中のシーンの１つ前のシーンに戻ることができ、進むボタン３２６をタップすると、現在再生中のシーンの１つ先のシーンに進むことができる。また、図３（ｂ）の場合、テキストボックス３２２に入力したメッセージ「誕生日」が第１シーンで表示され、テキストボックス３２３に入力したメッセージ「おめでとう」が第２シーンで表示されることから、第２シーンが再生されていることが分かる。

なお、図３（ａ）においてオブジェクト３１２がタップされると、動画メッセージに関する情報を入力する入力画面が表示される。例えば、Ｗｅｂ上の動画サイトにおけるＵＲＬをユーザが入力するための画面が表示される。また図３（ａ）においてオブジェクト３１３がタップされると、メッセージの入力と、該メッセージに付随する情報（日付、位置、任意のＷｅｂページのＵＲＬ等）の入力とが可能な入力画面が表示される。また、これらの入力画面、または図３（ｂ）に示した入力画面の表示の後、ユーザが印刷を指示可能な印刷指示画面が、メッセージ作成・表示アプリケーションにより表示部１０５に表示される。そして、その印刷指示画面において印刷が指示されると、ＣＰＵ１０１は、メッセージ作成・表示アプリケーションとＯＳ１２０により、ユーザが入力した付加情報が埋め込まれた画像に基づくデータの作成、プリンタへの送信を行う。なお、データの送信先のプリンタは、ネットワークＩ／Ｆで接続されているプリンタであり、そのプリンタを識別するための識別情報（ＭＡＣアドレスや無線ＬＡＮにおけるＩＰアドレス等）がメッセージ作成・表示アプリケーションに登録されている。複数のプリンタが登録されている場合、ユーザにより選択されたプリンタの識別情報に従って、印刷対象のデータが該プリンタに送信される。

図３（ｃ）は、メッセージ作成・表示アプリケーションを用いて作成した印刷データの印刷物３３１の上に携帯端末１００をかざして、メッセージ作成・表示アプリケーションを用いて撮影した際に表示されるＵＩ画面を示す図である。印刷物３１１は、上述のように図３（ａ）においてオブジェクト３１１〜３１３のいずれかが選択され、ユーザによる付加情報の入力の後、その付加情報が埋め込まれた画像が上述ようにプリンタにより印刷されることで得られた印刷物である。図３（ｃ）に示すように、ＵＩ画面に、メッセージ作成・表示アプリケーションがＯＳ１２０から取得した、カメラモジュール１０７で撮影した画像が表示されている。

また、メッセージ作成・表示アプリケーションを用いて、取得画像に埋め込まれたメッセージデータを解析し、メッセージ（即ち、デコレーションメッセージ、動画メッセージ、テキスト／Ｗｅｂメッセージ）を適切なＵＩ画面で表示することができる。図３（ｄ）〜図３（ｆ）は、メッセージ作成・表示アプリケーションを用いて、印刷物３３１を撮影した後にＯＳ１２０から取得した画像を解析した結果を表示しているＵＩ画面の例である。図３（ｄ）は、デコレーションメッセージ表示用ＵＩ画面、即ちユーザによって入力されたメッセージを表示するとともに、音楽及びアニメーションを再生するためのＵＩ画面の一例を示す。図３（ｅ）は、動画メッセージ表示用ＵＩ画面、即ちメッセージデータに含まれるＵＲＬ先に存在する動画を再生するためのＵＩ画面の一例を示す。図３（ｆ）は、テキスト／Ｗｅｂメッセージ表示用ＵＩ画面の一例を示す。この例では、メッセージと日付とが表示され、また、Ｗｅｂページを開くためのボタン３４１と地図を表示して位置情報が示す位置を地図上に明示するためのボタン３４２とが表示されている。尚、これらの表示項目については、各表示項目に対応するデータがメッセージデータに含まれていない場合は表示されない。

印刷物３３１の印刷時に、ユーザがオブジェクト３１１を指定することで付加情報が印刷物３３１に埋め込まれたとする。この場合、印刷物３３１がメッセージ作成・表示アプリケーションを用いて撮影されたときに、図３（ｄ）に示すＵＩ画面が表示される。同様に、ユーザがオブジェクト３１２を指定することで付加情報が印刷物３３１に埋め込まれた場合、印刷物３３１が撮影されたときに、図３（ｅ）に示すＵＩ画面が表示される。またユーザがオブジェクト３１３を指定することで付加情報が印刷物３３１に埋め込まれた場合、印刷物３３１が撮影されたときに、図３（ｆ）に示すＵＩ画面が表示される。

メッセージ作成・表示アプリケーションは、印刷物３１１の印刷時に、オブジェクト３１１〜３１３のそれぞれに個別に対応する情報を印刷物３１１に埋め込む。即ち、埋め込まれるメッセージのタイプを特定可能な情報が、そのメッセージの内容と共に埋め込まれる。そして、メッセージ作成・表示アプリケーションは、ＯＳ１２０から取得した画像に埋め込まれているメッセージデータを解析し、メッセージのタイプ（メッセージタイプ）に応じたＵＩ画面を用いてメッセージを表示する。これに関しては、図５を用いて後述する。

尚、ここでは、付加情報を埋め込む処理と、付加情報を抽出する処理とを１つのアプリケーションで実行する場合を説明している。即ち、メッセージデータが画像に埋め込まれた印刷データを作成する処理と、印刷物を撮影した撮像データからメッセージデータを抽出しメッセージを表示する処理との両方を、同じメッセージ作成・表示アプリケーションで実行している。しかし、本実施形態はこの場合に限定されない。例えば他の実施形態として、メッセージデータが画像に埋め込まれた印刷データを作成する処理と、印刷物を撮影した撮像データからメッセージデータを抽出しメッセージを表示する処理とを別々のアプリケーションで実行する形態が考えられる。この場合、双方のアプリケーションで使用するメッセージデータのフォーマットを予め定めておき、印刷データを作成するアプリケーションは、そのフォーマットのメッセージデータを作成し、画像に埋め込むことで印刷データを作成する。一方、メッセージを表示するアプリケーションは、予め定められたフォーマットのメッセージデータを解析し、適切なＵＩ画面でメッセージを表示する。

＜付加情報が画像に埋め込まれた印刷データを作成し、印刷する処理について＞
以下、本実施形態における、メッセージ作成・表示アプリケーションを用いて、付加情報、即ちメッセージデータが画像に埋め込まれた印刷データを作成し、印刷する処理について、図４を用いて説明する。尚、以下の各ステップの処理は、ＣＰＵ１０１によって実行される。また、図４に示す処理は、例えばユーザによるメッセージタイプの選択（オブジェクト３１１〜３１３のいずれかのタップ）、付加情報の入力の後、印刷指示が行われたときに実行される。

ステップＳ４０１において、ＣＰＵ１０１はフォーマット判定手段として機能し、ユーザによって選択されたメッセージタイプに応じて、作成対象のメッセージデータのフォーマットを判定する。本実施形態では、メッセージ作成・表示アプリケーションを用いて作成可能な、デコレーションメッセージと、動画メッセージと、テキスト／Ｗｅｂメッセージとのメッセージデータの夫々について、対応するフォーマットが予め定められている。つまり、具体的に本ステップでは、図３（ａ）に示したＵＩ画面において、オブジェクト３１１と、オブジェクト３１２と、オブジェクト３１３との何れがタップされていたかに応じて、メッセージデータのフォーマットを判定する。

ステップＳ４０１でメッセージデータのフォーマットが一意に判定された場合、メッセージ作成・表示アプリケーション上で、該判定されたフォーマットのメッセージデータを作成するためのＵＩ画面（例えば図３（ｂ）等）が表示される。ユーザはこのＵＩ画面を介して写真等の印刷したい画像データを選択したり、該選択した画像データに付加するメッセージを入力したりすることができる。さらに、ユーザはこのＵＩ画面を介して、入力したメッセージに対する文字の色やフォントを指定したりすることもできる。

ステップＳ４０１の後のＵＩ画面を介したユーザ入力が完了した場合、ステップＳ４０２〜Ｓ４０４の何れかにおいて、印刷対象の画像に埋め込む情報、即ち選択されたメッセージタイプに対応するフォーマットのメッセージデータを作成する。つまり、ステップＳ４０１でデコレーションメッセージのフォーマットと判定された場合、ステップＳ４０２において、ＣＰＵ１０１はメッセージデータ作成手段として機能し、デコレーションメッセージのフォーマットでメッセージデータを作成する。または、ステップＳ４０１で動画メッセージのフォーマットと判定された場合、ステップＳ４０３において、動画メッセージのフォーマットでメッセージデータを作成する。または、ステップＳ４０１でテキスト／Ｗｅｂメッセージのフォーマットと判定された場合、ステップＳ４０４において、テキスト／Ｗｅｂメッセージのフォーマットでメッセージデータを作成する。

本実施形態で作成するメッセージデータは、メッセージタイプ毎にそのフォーマットが定義されている。つまり、ステップＳ４０２〜Ｓ４０４で作成するメッセージデータは夫々フォーマットが異なり、これらのメッセージデータには、各メッセージタイプに応じた情報が含まれている。

例えば、デコレーションメッセージ固有のフォーマットで作成されるメッセージデータには、デコレーションメッセージであることを示す識別子と、再生するアニメーションや音楽を指定するテーマの情報（パラメータ）とが含まれる。ここでテーマとは具体的には、誕生日、クリスマス、等が挙げられる。また、デコレーションメッセージのフォーマットのメッセージデータには、ユーザによって入力されたメッセージの内容（即ち文字列）が含まれ、メッセージを表示する際の文字色やフォントの情報等も含ませることができる。以下、デコレーションメッセージ固有のフォーマットで作成されたメッセージデータの具体例「ACEBAD○〇さん\EAF誕生日おめでとう\TCB素敵な１日を過ごしてね！」を用いて説明する。

上記のメッセージデータにおいて、Aはデコレーションメッセージであることを示すメッセージタイプの識別子のパラメータであり、CEはテーマ（本例では誕生日）を指定するテーマIDのパラメータである。その後に続くBAはメッセージのフォントを指定するパラメータであり、Dはメッセージの文字色を指定するパラメータであり、「○○さん」がメッセージの内容である。その後に続く\はメッセージを区切るセパレータであり、EAはメッセージのフォントを指定するパラメータであり、Fはメッセージの文字色を指定するパラメータであり、「誕生日おめでとう」がメッセージの内容である。その後に続く\はセパレータであり、TCはメッセージのフォントを指定するパラメータであり、Bはメッセージの文字色を指定するパラメータであり、「素敵な１日を過ごしてね！」がメッセージの内容である。

動画メッセージ固有のフォーマットで作成されるメッセージデータには、動画メッセージであることを示す識別子と、再生する動画のＵＲＬとが含まれる。以下、動画メッセージ固有のフォーマットで作成されたメッセージデータの具体例「Bhttp://www.abcde.com/abc」を用いて説明する。

上記のメッセージデータにおいて、Bは動画メッセージであることを示すメッセージタイプの識別子のパラメータであり、その後に続く文字列は動画のＵＲＬである。

テキスト／Ｗｅｂメッセージ固有のフォーマットで作成されるメッセージデータには、テキスト／Ｗｅｂメッセージであることを示す識別子と、ユーザによって入力されたメッセージの内容（即ち文字列）とが含まれる。また、このフォーマットのメッセージデータには、メッセージを表示する際の文字色やフォントの情報、日付情報、位置情報、ＷｅｂページのＵＲＬ等も含ませることができる。ここで、日付情報とは例えばテキスト／Ｗｅｂメッセージの作成日等の日付を示す情報であり、位置情報とは例えば写真の撮影場所等の場所を示す情報である。以下、テキスト／Ｗｅｂメッセージ固有のフォーマットで作成されたメッセージデータの具体例「CABAD楽しかったね！\Bhttp://www.abcde.com\CBAD20160719\D129374000967」を用いて説明する。

上記のメッセージデータにおいて、Cはテキスト／Ｗｅｂメッセージであることを示すメッセージタイプの識別子のパラメータであり、Aは後に続く文字列がユーザによって入力されたメッセージであることを示すパラメータである。その後に続くBAはメッセージのフォントを指定するパラメータであり、Dはメッセージの文字色を指定するパラメータであり、「楽しかったね！」がメッセージの内容である。その後に続く\はセパレータであり、Bは後に続く文字列がＷｅｂページのＵＲＬであることを示すパラメータであり、「http://www.abcde.com」がＵＲＬである。その後に続く\はセパレータであり、Cは後に続く文字列が日付情報であることを示すパラメータであり、BAは日付情報が示す日付を表示する際のフォントを指定するパラメータであり、Dは該日付を表示する際の文字色を指定するパラメータである。また、これに続く「20160719」が日付であり、この例では2016年7月19日を示している。その後に続く\はセパレータであり、Dは後に続く文字列が位置情報であることを示すパラメータであり、「129374000967」が位置情報の内容である。このように本例では、位置情報は緯度及び経度の情報として、メッセージデータに含まれている。

尚、ここでは３種類のメッセージタイプについて説明しているが、メッセージタイプは当該３種類のメッセージタイプに限らない。また、各メッセージタイプのメッセージデータに含まれる情報も上述のものに限らず、他の任意の情報を含んで良い。例えば、メッセージ作成・表示アプリケーションのＵＩ画面上で画像に任意のスタンプを付加できる場合に、メッセージデータがそのスタンプの情報を含むこともできる。その一方で、メッセージデータはメッセージフォーマットとして定められている全ての情報を含む必要はなく、ユーザは入力したい情報のみを選択的に入力することが可能である。

ステップＳ４０５において、ＣＰＵ１０１は印刷データ作成手段として機能し、ステップＳ４０２〜Ｓ４０４の何れかで作成したメッセージデータを、ユーザにとって判別が困難な方式（例えば電子透かし等）で埋め込むことで、印刷データを作成する。尚、メッセージデータを画像に埋め込む方式は、電子透かしのようなユーザにとって判別が困難な方式に限らない。メッセージ作成・表示アプリケーションが埋め込まれたメッセージデータを判別可能な任意の方式を用いて良く、例えばバーコードや二次元コードといったユーザが判別できる方式であっても良い。

ステップＳ４０６において、ＣＰＵ１０１は、メッセージ作成・表示アプリケーションのＵＩ画面を介してのユーザの印刷指示に応じて、ステップＳ４０５で作成した印刷データを含む印刷ジョブを外部の画像形成装置に送信する印刷処理を実行する。これにより、付加情報、即ちメッセージデータが画像に埋め込まれた印刷物が出力される。ユーザにとって判別が困難な方式で画像に埋め込まれた場合、例えば、この印刷物の全面に単位ブロック（多重化ブロック）毎に付加情報が埋め込まれている。尚、用いる情報を埋め込む領域の形状は矩形に限られず、情報を埋め込む領域として、任意の形状の単位領域を用いて良い。以上が、本実施形態における、付加情報が画像に埋め込まれた印刷データを作成し、印刷する処理の内容である。

＜印刷物から付加情報を抽出し、表示する処理について＞
以下、本実施形態における、メッセージ作成・表示アプリケーションを用いて、印刷物から付加情報、即ちメッセージデータを抽出し、該抽出したメッセージデータを解析して、メッセージを表示する処理について、図５を用いて説明する。尚、以下の処理は、ステップＳ４０６の印刷処理で出力された印刷物に携帯端末１００をかざして、メッセージ作成・表示アプリケーションを用いて該印刷物を撮影した場合に開始される。また、以下の各ステップの処理は、ＣＰＵ１０１によって実行される。

ステップＳ５０１において、撮像データを取得する。尚、本ステップで取得する撮像データは、静止画データであっても良いし、動画データであっても良い。

ステップＳ５０２において、ステップＳ５０１で取得した撮像データから付加情報、即ちメッセージデータを抽出する。このメッセージデータは上述したようにメッセージ作成・表示アプリケーションによって画像に埋め込まれたデータである。メッセージデータは、電子透かしのようにユーザにとって判別が困難な方式で埋め込まれている場合もあるし、バーコードや二次元コードといったユーザが判別可能な方式で埋め込まれている場合もある。

ステップＳ５０３において、ＣＰＵ１０１はメッセージタイプ判定手段として機能し、ステップＳ５０２で抽出したメッセージデータに基づき、メッセージタイプを判定する。具体的には、抽出したメッセージデータに含まれるメッセージタイプの識別子に基づき、デコレーションメッセージと、動画メッセージと、テキスト／Ｗｅｂメッセージとの何れであるかが判定される。つまり、抽出したメッセージデータにデコレーションメッセージであることを示す識別子が含まれていた場合、デコレーションメッセージと判定される。同様に、抽出したメッセージデータに動画メッセージであることを示す識別子が含まれていた場合、動画メッセージと判定され、テキスト／Ｗｅｂメッセージであることを示す識別子が含まれていた場合、テキスト／Ｗｅｂメッセージと判定される。本ステップの判定処理は、本ステップ後に表示するＵＩ画面を切り替えるための重要な処理である。本ステップの判定処理があることで、後続のステップで各メッセージタイプに適した表示が可能となっている。仮にステップＳ５０３の処理を実行しない場合、後続の処理で各タイプのメッセージを適切に表示することができなくなる。例えば、デコレーションメッセージの表示において、アニメーション及び音楽が再生されずにメッセージしか表示されないことや、テキスト／Ｗｅｂメッセージの表示において、メッセージの文字列をＷｅｂリンクとして表示してしまうようなことが生じる。

ステップＳ５０３でデコレーションメッセージと判定された場合、ステップＳ５０４において、デコレーションメッセージ用ＵＩ画面を表示し、該デコレーションメッセージ用ＵＩ画面において、画像、及び、デコレーションメッセージを表示する。具体的には、メッセージデータに含まれるテーマの情報（パラメータ）に対応するアニメーション及び音楽を、デコレーションメッセージ用ＵＩ画面上で再生する。また、メッセージデータにユーザが入力したメッセージが含まれている場合、そのメッセージをアニメーション及び音楽に合わせて、デコレーションメッセージ用ＵＩ画面上で表示する。尚、メッセージデータにユーザが入力したメッセージに加えて、メッセージの文字色やフォント等を指定するパラメータ含まれている場合、該メッセージは、該指定された文字色及びフォントを用いて表示される。

ステップＳ５０３で動画メッセージと判定された場合、ステップＳ５０５において、動画メッセージ用ＵＩ画面を表示し、該動画メッセージ用ＵＩ画面においてメッセージデータに含まれるＵＲＬに存在する動画を再生する。尚、動画を再生するＵＩ画面はメッセージ作成・表示アプリケーションのＵＩ画面に限定されない。Ｗｅｂブラウザや動画閲覧アプリケーションといった他のアプリケーションにＵＲＬを渡し、メッセージ作成・表示アプリケーション以外のこれらのアプリケーションのＵＩ画面で動画を再生しても良い。例えば、メッセージ作成・表示アプリケーションとしてのアプリケーション１２１が、ＯＳ１２２に対して、Ｗｅｂブラウザとしてのアプリケーション１２２の起動コマンドをＵＲＬとともに送信する。そして、ＯＳ１２２が、Ｗｅｂブラウザを起動し、該ＵＲＬをＷｅｂブラウザに渡すと、起動したＷｅｂブラウザは該ＵＲＬに応じてＷｅｂページを表示する。また、このような場合に、何れのアプリケーションのＵＩ画面で動画を再生するかの制御を、メッセージ作成・表示アプリケーション上で自動的に実行しても良い。或いは、メッセージ作成・表示アプリケーションのＵＩ画面において選択肢を提示して、メッセージ作成・表示アプリケーションと他のアプリケーションとの何れで動画を再生するかをユーザが選択できるようにしても良い。

ステップＳ５０３でテキスト／Ｗｅｂメッセージと判定された場合、ステップＳ５０６において、テキスト／Ｗｅｂメッセージ用ＵＩ画面を表示する。そして、テキスト／Ｗｅｂメッセージ用ＵＩ画面において、メッセージデータに基づいてメッセージや日付等を表示する。この際、メッセージデータに文字色やフォントを指定するパラメータが含まれていれば、指定された文字色及びフォントを使用してメッセージや日付を表示する。また、テキスト／Ｗｅｂメッセージの場合、メッセージデータに位置情報が含まれている場合がある。この場合、メッセージ作成・表示アプリケーションのＵＩ画面で地図を表示して、該表示した地図上で位置情報が示す座標にピンを立てても良い。或いは、メッセージ作成・表示アプリケーションとは別の地図アプリケーションを立ち上げて、該地図アプリケーションのＵＩ画面で地図を表示して、該表示した地図上でピンを立てても良い。地図アプリケーションの起動方法や位置情報の渡し方は、上述したＷｅｂブラウザの起動方法、ＵＲＬの渡し方と同様である。また、テキスト／Ｗｅｂメッセージの場合、メッセージデータにＷｅｂページのＵＲＬが含まれている場合がある。この場合、上述の動画メッセージと同様に、メッセージ作成・表示アプリケーションのＵＩ画面上でＷｅｂページを表示しても良いし、メッセージ作成・表示アプリケーション以外のアプリケーション、例えばＷｅｂブラウザでＷｅｂページを表示しても良い。テキスト／Ｗｅｂメッセージのように、１つのメッセージデータに複数の情報を含むことが可能な場合、テキスト／Ｗｅｂメッセージ用ＵＩ画面においてメッセージデータから抽出した情報だけを表示する。一例として、メッセージデータに、メッセージの内容、日付情報、及びＷｅｂページのＵＲＬが含まれ、かつ位置情報が含まれていない場合について説明する。この場合、テキスト／Ｗｅｂメッセージ用ＵＩ画面において、位置情報に関する項目は表示せず、メッセージ、日付、Ｗｅｂページのリンクを表示する。或いは、複数の情報が含まれている場合は、各情報に対応するボタンやチェックボックスなどをまず表示し、ユーザによってそのボタンやチェックボックスが操作された場合に、対応する情報を表示するようにしても良い。

＜本実施形態の効果、変形例等について＞
上述したように、本実施形態では、画像に埋め込むメッセージデータに、メッセージそのものの情報と、ＵＲＬのような外部にアクセスするための情報との少なくとも一方を含ませることが可能である。これにより、メッセージデータにメッセージそのものの情報が含まれる場合には、ネットワーク接続を必要とせず、外部装置にアクセスせずともメッセージを表示することができる。一方、メッセージデータに外部装置にアクセスするための情報、即ちＵＲＬが含まれている場合は、外部装置にアクセスしてメッセージを表示する。このように、メッセージを表示するために必ずしもネットワークに接続して外部装置にアクセスする必要が無くなり、抽出したメッセージデータの解析結果に応じて、必要なときだけネットワークに接続すれば足りるようになる。

また、抽出したメッセージデータを解析した結果、メッセージ作成・表示アプリケーション以外のアプリケーションを用いなければならないことが判明した場合、ユーザが操作することなく、他のアプリケーションを起動しても良い。一例として、メッセージタイプの識別子以外で、動画のＵＲＬとＷｅｂページのＵＲＬと位置情報との何れか１つしかメッセージデータに含まれていないような場合が考えられる。この場合、抽出したメッセージデータを解析した時点で、動画閲覧アプリケーション、Ｗｅｂブラウザ、又は地図アプリケーションを起動すれば、ユーザ操作を減らすことができ、操作性が向上する。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 携帯端末
１０１ ＣＰＵ

Claims (16)

1. 付加情報としてメッセージに関するメッセージデータが埋め込まれた画像を撮影した撮像データから、該メッセージデータを抽出する抽出手段と、
   前記抽出したメッセージデータに基づき、メッセージのタイプを判定するタイプ判定手段と、
   前記判定したタイプに応じたユーザインターフェース画面を表示する表示手段と
   を有することを特徴とする画像処理装置。
2. 前記画像に埋め込むメッセージデータのフォーマットを判定するフォーマット判定手段と、
   前記判定したフォーマットに従って、前記メッセージデータを作成するメッセージデータ作成手段と、
   前記作成したメッセージデータを前記画像に埋め込んだ印刷データを作成する印刷データ作成手段と
   を有することを特徴とする請求項１に記載の画像処理装置。
3. 前記フォーマット判定手段、前記メッセージデータ作成手段、前記印刷データ作成手段、前記抽出手段、前記タイプ判定手段、及び前記表示手段は、前記画像処理装置にインストールされているアプリケーションによって実現されることを特徴とする請求項２に記載の画像処理装置。
4. 前記フォーマット判定手段、前記メッセージデータ作成手段、及び前記印刷データ作成手段を実現するアプリケーションと、前記抽出手段、前記タイプ判定手段、及び前記表示手段を実現するアプリケーションとが異なることを特徴とする請求項３に記載の画像処理装置。
5. 前記印刷データ作成手段は、ユーザにとって判別が困難な方式、又は、ユーザが判別可能な方式で、前記メッセージデータを前記画像に埋め込むことで、前記印刷データを作成することを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記メッセージデータには、前記タイプを識別するための識別子が含まれることを特徴とする請求項３に記載の画像処理装置。
7. 前記メッセージデータには、前記メッセージの文字列と、前記画像処理装置の外部装置に接続するための情報との少なくとも一方が含まれることを特徴とする請求項６に記載の画像処理装置。
8. 前記メッセージデータに、前記画像処理装置の外部装置に接続するための情報が含まれている場合、前記外部装置に接続するためのオブジェクトが前記ユーザインターフェース画面において表示されることを特徴とする請求項７に記載の画像処理装置。
9. 前記メッセージデータに、前記画像処理装置の外部装置に接続するための情報が含まれていない場合、ネットワークに接続することなくメッセージを表示することを特徴とする請求項７に記載の画像処理装置。
10. 前記メッセージデータに、前記画像処理装置の外部装置に接続するための情報が含まれている場合、前記アプリケーションとは別のアプリケーションを立ち上げるか否かを選択するための選択肢をユーザに提示する提示手段を更に有することを特徴とする請求項７に記載の画像処理装置。
11. 前記ユーザが前記別のアプリケーションを立ち上げることを選択した場合、前記表示手段は、該別のアプリケーションの前記ユーザインターフェース画面を表示することを特徴とする請求項１０に記載の画像処理装置。
12. 前記タイプは、メッセージを表示する際にアニメーション及び音楽が再生される第１タイプと、メッセージを動画で表示する第２タイプと、メッセージ及び該メッセージに付随する情報を表示する第３タイプとを含むことを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
13. 前記第１タイプのメッセージのメッセージデータには、前記メッセージの文字列が含まれ、
    前記第２タイプのメッセージのメッセージデータには、前記画像処理装置の外部装置に接続するための情報が含まれ、
    前記第３タイプのメッセージのメッセージデータには、前記メッセージの文字列と、前記画像処理装置の外部装置に接続するための情報との少なくとも一方が含まれることを特徴とする請求項１２に記載の画像処理装置。
14. 前記撮像データは、静止画データ、又は、動画データであることを特徴とする請求項１乃至１３の何れか１項に記載の画像処理装置。
15. 付加情報としてメッセージに関するメッセージデータが埋め込まれた画像を撮影した撮像データから、該メッセージデータを抽出するステップと、
    前記抽出したメッセージデータに基づき、メッセージのタイプを判定するステップと、
    前記判定したタイプに応じたユーザインターフェース画面を表示するステップと
    を有することを特徴とする画像処理方法。
16. コンピュータに、請求項１５に記載の方法を実行させるための、プログラム。

Images