JP2018007026A - 端末及び処理実行方法 - Google Patents

Abstract

【課題】少ない操作で特徴情報に対応する処理を実行する。【解決手段】端末１は、複数の画像を撮像する撮像部１３と、撮像部１３が撮像した画像から特徴情報を検出する検出部１７２と、複数の画像のそれぞれから検出部１７２が検出した特徴情報の変化に基づいて、特徴情報が所定の変化をする前に検出した特徴情報に関連付けられている所定の処理を実行する実行部１７３と、を備える。検出部１７２は、画像を構成する複数の画素の画素値を検出し、実行部１７３は、複数の画素値が所定の変化に対応する変化をする前に検出した、複数の画素値に対応する所定の処理を実行する。【選択図】図２

Description

本発明は、画像の特徴情報に対応する処理を実行する端末及び処理実行方法に関する。

従来、冊子等の媒体に近距離無線通信の無線タグを埋め込ませておき、端末が当該無線タグとの通信を開始したことに応じて各種情報を表示する等の処理を行うことが知られている。例えば、特許文献１には、近距離無線通信により、無線タグから画像読取アプリケーションの起動信号を含む情報を受信したことに応じて、画像読取アプリケーションを起動させて画像情報を読み取り、画像情報から抽出した色彩等の特徴情報に対応付けられた特定の処理を実行することが開示されている。

特許第５８４６６６９号公報

近距離無線通信により無線タグから情報を読み取り可能な距離は、例えば１０ｃｍ未満であることから、無線タグから情報を受信したときに画像情報の読み取りを開始しても、端末自体が光の影となるため、当該画像情報から特徴情報を特定しにくいという問題があった。このため、従来の技術では、無線タグから情報を受信して画像読取アプリケーションを起動させた後、端末を無線タグが埋め込まれている冊子等から離す操作をして端末に特徴情報を検出させる必要があり、操作が煩雑であった。

そこで、本発明はこれらの点に鑑みてなされたものであり、少ない操作で特徴情報に対応する処理を実行することができる端末及び処理実行方法を提供することを目的とする。

本発明の第１の態様に係る端末は、複数の画像を撮像する撮像部と、前記撮像部が撮像した前記画像から特徴情報を検出する検出部と、複数の前記画像のそれぞれから前記検出部が検出した前記特徴情報の変化に基づいて、前記特徴情報が所定の変化をする前に検出した前記特徴情報に関連付けられている所定の処理を実行する実行部と、を備える。

前記検出部は、前記画像を構成する複数の画素の画素値を検出し、前記実行部は、複数の前記画素値が前記所定の変化に対応する変化をする前に検出した、複数の前記画素値に対応する前記所定の処理を実行してもよい。
前記検出部は、前記画素値に基づいて前記画像の色を更に検出し、前記実行部は、前記画像の色が所定の色になると、前記所定の色になる前に前記検出部が検出した前記画像の色に関連付けられている前記所定の処理を実行してもよい。

前記検出部は、前記画素値に基づいて前記画像の色及び前記画像の明度を更に検出し、前記実行部は、前記画像の明度が所定の明度になると、前記所定の明度になる前に前記検出部が検出した前記画像の色に関連付けられている前記所定の処理を実行してもよい。
前記検出部は、検出した画素値のうち、予め定められている範囲内の画素値に基づいて前記画像の色を検出してもよい。
前記検出部は、前記画像を構成する複数の画素の画素値の関係に基づいて、前記画素値の補正を行い、補正後の画素値に基づいて前記画像の色を検出してもよい。
前記検出部は、前記画像から検出した前記画素値のうち、前記所定の色に対応する画素値に基づいて、検出した前記画素値の補正を行い、補正後の画素値に基づいて前記画像の色を検出してもよい。

前記実行部は、前記画像の色が所定の色になると、前記所定の色になった時点から所定時間前までに撮像された複数の画像のそれぞれを構成する画素のうち、所定の種類の色に対応する画素の数を算出し、画素の数が所定数を超えた種類の色を、前記所定の色になる前の前記画像の色として特定してもよい。
前記実行部は、前記検出部が前記所定の処理に関連する色を検出してから所定時間以上にわたって前記所定の処理に関連する色を検出していない場合、前記検出部が過去に前記所定の処理に関連する色を検出していないものとみなしてもよい。

前記端末は、所定の無線通信方式に係る通信を行う無線タグとの通信を行う通信部を更に備え、前記実行部は、前記通信部が前記無線タグとの通信を開始すると、前記所定の処理を実行してもよい。
前記通信部は、前記無線タグから情報を受信し、前記実行部は、前記無線タグから受信した情報に基づいて、前記所定の処理を実行してもよい。

前記端末は、前記無線タグから受信可能な情報と、前記画像の色と、前記所定の処理の内容とを関連付けて記憶する記憶部を更に備え、前記実行部は、前記無線タグから受信した情報と、前記検出部が検出した前記画像の色とに関連付けられている前記所定の処理を実行してもよい。
前記端末は、前記所定の無線通信方式とは異なる方式で外部装置との通信を行う第２通信部を更に備え、前記第２通信部は、前記通信部が前記無線タグから情報を受信するとともに前記検出部が前記画像の色を検出したことに応じて、当該情報及び当該画像の色に関連する前記所定の処理の内容を示す情報を取得し、前記実行部は、前記第２通信部が取得した情報に基づいて、前記所定の処理を実行してもよい。
前記検出部は、前記画像に含まれる模様を検出し、前記実行部は、前記検出部が検出した模様が所定の大きさに変化すると、前記所定の処理を実行してもよい。

前記実行部は、前記特徴情報が所定の変化をする前の所定時間に撮像された画像に対して検出された前記特徴情報が示す特徴の平均値に関連付けられている前記所定の処理を実行してもよい。
前記実行部は、前記特徴情報が所定の変化をする前の所定時間に撮像された画像に対して検出された前記特徴情報が示す特徴のうち、最も多く検出された特徴に関連付けられている前記所定の処理を実行してもよい。

本発明の第２の態様に係る端末は、物体の色を検出する色検出部と、前記色検出部が検出した前記色を示す情報を記憶する記憶部と、前記記憶部に記憶されている前記色が所定の変化をする前に検出した前記色に関連付けられている所定の処理を実行する実行部と、を備えてもよい。

本発明の第３の態様に係る処理実行方法は、複数の画像を撮像するステップと、撮像された前記画像から特徴情報を検出するステップと、複数の前記画像のそれぞれから検出された前記特徴情報の変化に基づいて、前記特徴情報が所定の変化をする前に検出した前記特徴情報に関連付けられている所定の処理を実行するステップと、を備える。

本発明によれば、少ない操作で特徴情報に対応する処理を実行することができるという効果を奏する。

第１実施形態に係る端末の概要を示す図である。 第１実施形態に係る端末の構成を示す図である。 第１色範囲情報の一例を示す図である。 第２色範囲情報の一例を示す図である。 処理特定用情報の一例を示す図である。 第１実施形態に係る端末における処理の流れを示すフローチャートである。 第３実施形態に係る端末の概要を示す図である。

＜第１実施形態＞
［端末１の概要］
図１は、第１実施形態に係る端末１の概要を示す図である。端末１は、スマートフォンやタブレット等の携帯電子機器である。端末１は、冊子２等の媒体に設けられ、特徴情報を含んでいる領域２１を読み取ることにより、領域２１に含まれている特徴情報を検出し、当該特徴情報に関連付けられている所定の処理を実行する。ここで、領域２１には所定の種類の色が付されており、端末１は、特徴情報として、所定の色を検出する。

第１実施形態において、端末１は、冊子２に設けられている領域２１を読み取る場合に、ユーザの操作に応じて、所定の処理を実行するための読取アプリケーションプログラム（以下、単に読取アプリケーションという。）を実行する（図１の（１））。ユーザが、領域２１に端末１を近づけると、端末１は、領域２１の色を検出する（図１の（２））。その後、ユーザが、領域２１に端末１を更に近づけると、領域２１が端末１の影によって暗くなり、端末１が検出する色が変化する（図１の（３））。端末１は、検出した色が変化すると、変化する前に検出した色に関連する所定の処理を実行する。ここでは、端末１は、変化する前に検出した色に対応した情報を自身の表示部に表示する（図１の（４））。

このように、端末１のユーザは、端末１において所定の処理を実行させるためのアプリケーションを起動させた後、冊子２に設けられている領域２１に端末１を近づける操作を行うことにより、端末１に所定の処理を実行させることができる。よって、端末１を冊子に設けられている無線タグに近接させて画像読取アプリケーションを実行した後に、端末１を冊子から遠ざける操作を行って領域を読み取って特徴情報を検出させる必要がないので、ユーザは、少ない操作で特徴情報に対応する所定の処理を端末１に実行させることができる。
続いて、端末１の構成について説明する。

［端末１の構成例］
図２は、第１実施形態に係る端末１の構成を示す図である。
端末１は、入力部１１と、表示部１２と、撮像部１３と、第１通信部１４と、第２通信部１５と、記憶部１６と、制御部１７とを備える。

入力部１１は、例えばボタンやタッチパネルであり、端末１のユーザから操作入力を受け付ける。
表示部１２は、例えば液晶ディスプレイや有機ＥＬ（Electro-Luminescence）ディスプレイであり、制御部１７の制御に応じて各種情報を表示する。
撮像部１３は、例えばカメラであり、制御部１７の制御によって、端末１の周囲を撮像する。撮像部１３は、例えば所定フレームごとに撮像することによって、複数の画像を撮像し、撮像した複数の画像を制御部１７に出力する。

第１通信部１４は、通信可能な距離が所定距離（例えば、１０ｃｍ）であるＮＦＣ等の近距離無線通信方式により、情報を記憶する無線タグとの無線通信を行う。
第２通信部１５は、第１通信部１４とは異なる方式で無線通信を行う。例えば、第２通信部１５は、携帯電話回線やインターネット等の通信ネットワークを介して、外部機器（不図示）と無線通信を行う。

記憶部１６は、例えばＲＯＭ及びＲＡＭ等である。記憶部１６は、端末１を機能させるための各種プログラムを記憶する。記憶部１６は、端末１の制御部１７を、撮像制御部１７１、検出部１７２、及び実行部１７３として機能させる読取アプリケーションを記憶する。記憶部１６は、外部メモリ等の記憶媒体に記憶されたプログラムを読み取って記憶してもよく、通信ネットワークを介して外部機器からダウンロードされたプログラムを記憶してもよい。

制御部１７は、例えばＣＰＵである。制御部１７は、記憶部１６に記憶されている各種プログラムを実行することにより、端末１に係る機能を制御する。制御部１７は、端末１のユーザからの指示に応じて記憶部１６に記憶されている読取アプリケーションを実行することにより、撮像制御部１７１、検出部１７２、及び実行部１７３として機能する。

撮像制御部１７１は、読取アプリケーションが実行されたことに応じて撮像部１３を起動させて、撮像部１３に複数の画像を撮像させる。
検出部１７２は、撮像部１３が撮像した画像から特徴情報を検出する。具体的には、検出部１７２は、撮像部１３が撮像した画像を構成する複数の画素の画素値としてＲＧＢ値を検出する。検出部１７２は、検出したＲＧＢ値のうち、予め定められている範囲内のＲＧＢ値を特定し、当該ＲＧＢ値に基づいて、特徴情報としての画像の色を検出する。

例えば、読取アプリケーションには、所定の処理に関連する所定の種類の色と、当該色に対応するＲＧＢ値の範囲とを関連付けた第１色範囲情報が含まれている。図３は、第１色範囲情報の一例を示す図である。図３に示すように、所定の種類の色は、例えば、赤色、青色、緑色等であり、ＲＧＢ値のそれぞれが範囲指定されている。ここで、所定の種類の色には、白色及び黒色が含まれないものとする。

また、読取アプリケーションには、所定の処理に関連しない色（所定の色）と、当該色に対応するＲＧＢ値の範囲とを関連付けた第２色範囲情報が含まれている。図４は、第２色範囲情報の一例を示す図である。図４に示されるように、所定の種類に関連しない色は、例えば、黒色及び白色であり、ＲＧＢ値のそれぞれが範囲指定されている。本実施形態において、黒色は、端末１を冊子２に設けられている領域２１に近づけたことによって、所定の種類の色から変化する色である。また、白色は、例えば、領域２１が発光体を有するディスプレイ等に表示されている場合において、端末１をディスプレイに近づけたことによって、所定の種類の色から変化する色である。

例えば、画素値のＲ値が２００〜２５５、Ｇ値が０〜６０、Ｂ値が０〜６０である場合、当該画素値に対応する画素の色は赤色である。また、画素値のＲ値、Ｇ値、Ｂ値のいずれも０〜１００である場合、当該画素値に対応する画素の色は黒色である。検出部１７２は、撮像された画像を構成する複数の画素のそれぞれについて、画素値に基づいて色を特定し、色ごとに画素の数を集計する。そして、検出部１７２は、集計した画素の数が最も多い色を、画像の色として決定する。

なお、読取アプリケーションは、第１色範囲情報及び第２色範囲情報を含むものとしたが、これに限らない。例えば、読取アプリケーションには、これらの色範囲情報の少なくともいずれかを外部装置（不図示）から取得するためのプログラムコードが含まれていてもよい。そして、制御部１７が読取アプリケーションを実行したことに応じて、検出部１７２が、第２通信部１５を介して外部装置から色範囲情報を取得して記憶部１６に記憶させるようにしてもよい。

また、検出部１７２は、画像を構成する複数の画素の画素値の関係に基づいて、画素値の補正を行い、補正後の画素値に基づいて画像の色を検出してもよい。例えば、検出部１７２は、検出した複数の画素のＲＧＢ値をＨＳＶ値に変換し、当該ＨＳＶ値のうち、明度を示すＶ値の平均値に基づいて画像の明度を特定する。検出部１７２は、画像の明度が第１の値以上である場合に、複数の画素のそれぞれのＶ値を減少させることにより画像の明度を補正し、画像の明度が第１の値よりも小さい第２の値未満である場合に、複数の画素のそれぞれのＶ値を増加させることにより、画像の明度を補正する。なお、検出部１７２は、明度に基づいて画素値を補正することとしたが、これに限らず、複数の画素の色相又は彩度の関係に基づいて、画素値を補正してもよい。また、本実施形態では、検出部１７２は、検出した複数の画素のＲＧＢ値をＨＳＶ値に変換し、当該ＨＳＶ値のうち、明度を示すＶ値の平均値に基づいて画像の明度を特定したが、これに限らない。例えば、検出部１７２として、照度センサをさらに設けておき、照度センサが検出した照度に基づいて画像の明度を検出するようにしてもよい。

また、検出部１７２は、画像から検出した画素値のうち、所定の色に対応する画素値に基づいて、検出した画素値の補正を行い、補正後の画素値に基づいて画像の色を検出してもよい。ここで、所定の色は、例えば、白色又は黒色である。例えば、検出部１７２は、画像を構成する複数の画素のうち、白色に対応する画素の色彩（例えば、ＨＳＶ値のうち、Ｈ値）に基づいて、照明環境を特定する。ここで、照明環境は、画像を撮像した環境における照明の種類である。検出部１７２は、当該画像が自然光で撮像した状態に近づくように複数の画素の画素値を補正し、補正後の画素値に基づいて画像の色を検出する。なお、検出部１７２は、画像を撮像した環境における照明の種類に基づいて画素値を補正したが、これに限らない。検出部１７２は、画像を撮像した環境における照明の明るさを検出し、当該明るさに基づいて画素値を補正してもよい。

実行部１７３は、撮像部１３が撮像した複数の画像のそれぞれから検出部１７２が検出した色（特徴情報）の変化に基づいて、所定の変化をする前に検出した色に関連付けられている所定の処理を実行する。ここで、所定の変化は、検出した画像の色が、所定の処理に関連付けられている所定の種類の色から、所定の処理に関連付けられていない色（白色又は黒色）に変化したことである。実行部１７３は、撮像部１３が撮像した複数の画像のそれぞれを構成する画素値の少なくともいずれかが、所定の変化に対応する変化をすると、当該変化をする前に検出した複数の画素値に対応する画像の色に関連付けられている所定の処理を実行する。例えば、実行部１７３は、所定の変化をする直前に検出した色に関連付けられている所定の処理を実行する。

読取アプリケーションには、図５に示すように、所定の種類の色と、所定の処理の内容とを関連付けた処理特定用情報が含まれている。例えば、検出部１７２が検出した画像を構成する複数の画素値に基づいて当該画像の色を「赤色」と検出し、その後に撮像された画像から検出部１７２が検出した画像の色が黒色又は白色に変化すると、実行部１７３は、画像の色が黒色又は白色に変化する前に検出部１７２が検出した画像の色、すなわち、「赤色」に関連付けられている所定の処理を実行する。図５に示す例では、実行部１７３は、「赤色」に対応する所定の処理として、画像Ａを表示部１２に表示させる。

なお、読取アプリケーションは、処理特定用情報を含むものとしたが、これに限らない。例えば、読取アプリケーションには、処理特定用情報を外部装置から取得するためのプログラムコードが含まれていてもよい。そして、実行部１７３は、制御部１７が読取アプリケーションを実行したことに応じて、第２通信部１５を介して、外部装置から処理特定用情報を取得し、記憶部１６に記憶させるようにしてもよい。

なお、実行部１７３は、所定の変化をする直前に検出した色に関連付けられている所定の処理を実行したが、これに限らない。実行部１７３は、画像の色が所定の色になると、所定の色になった時点から所定時間前（例えば３秒前）までに撮像された複数の画像のそれぞれを構成する画素のうち、所定の種類の色に対応する画素の数を集計してもよい。そして、実行部１７３は、画素の数が所定数を超えた種類の色を、所定の色になる前の画像の色として特定してもよい。ここで、画素の数が所定数を超えた種類の色が複数存在する場合、実行部１７３は、集計した画素のうち、最も多い画素に対応する色を、所定の色になる前の画像の色として特定してもよい。

また、実行部１７３は、検出部１７２が検出した色が所定の変化をする前の所定時間に撮像された画像に対して検出した色（特徴情報が示す特徴）の平均値に関連付けられている所定の処理を実行してもよい。例えば、実行部１７３は、検出部１７２が複数の画像のそれぞれから検出した色に対応する画素値を平均し、平均値が示す色を特定してもよい。そして、実行部１７３は、平均値から特定した色に関連付けられている所定の処理を実行してもよい。

また、実行部１７３は、検出部１７２が検出した色が所定の変化をする前の所定時間に撮像された画像に対して検出された色のうち、最も多く検出された色に関連付けられている所定の処理を実行してもよい。このようにすることで、端末１は、検出部１７２が検出した色が所定の変化をする前の色を精度良く特定することができる。

また、実行部１７３は、例えば、検出部１７２に照度センサが含まれている場合において、検出部１７２が検出した明度が所定の明度になると、所定の明度になる前に検出部１７２が検出した画像の色に関連付けられている所定の処理を実行するようにしてもよい。このようにすることで、例えば、端末１が自ら発光するディスプレイに近接したり、冊子２に近接したりしたことを精度良く検出し、所定の処理を実行することができる。

なお、最後に所定の種類の色を検出してから所定時間以上にわたって所定の種類の色を検出していない場合、端末１のユーザが色の読み取り操作を中断した可能性が高い。そこで、実行部１７３は、検出部１７２が所定の処理に関連する所定の種類の色を最後に検出してから所定時間（例えば、５秒）以上にわたって所定の種類の色を検出しない場合、検出部１７２が過去に所定の種類の色を検出しないものとみなす。このようにすることで、端末１は、ユーザが色の読み取り操作を中断した可能性が高い場合に、中断前に検出した色を無効とすることができる。

［端末１における処理の流れ］
続いて、フローチャートを参照しながら、端末１における処理の流れについて説明する。図６は、第１実施形態に係る端末１における処理の流れを示すフローチャートである。
まず、制御部１７は、読取アプリケーションが実行されたか否かを判定する（Ｓ１）。制御部１７は、読取アプリケーションが実行されたと判定すると、Ｓ２に処理を移し、読取アプリケーションが実行されていないと判定すると、Ｓ１を再実行する。

続いて、撮像制御部１７１は、撮像部１３に撮像を開始させる（Ｓ２）。撮像部１３は、画像を撮像したことに応じて、当該画像を制御部１７に出力する。
続いて、検出部１７２は、撮像部１３から出力された画像の色を検出する色検出処理を実行する（Ｓ３）。

続いて、実行部１７３は、Ｓ３において検出部１７２が所定の処理に関連する所定の種類の色を検出したか否かを判定する（Ｓ４）。所定の種類の色を検出したと判定すると、Ｓ３に処理を移し、所定の種類の色を検出していないと判定すると、Ｓ５に処理を移す。

続いて、実行部１７３は、検出部１７２が検出した色に所定の変化があるか否かを判定する（Ｓ５）。具体的には、実行部１７３は、Ｓ２において検出部１７２が所定の種類の色を検出してから所定時間以内に、撮像された画像の色が所定の色（白色又は黒色）に変化したか否かを判定することにより、所定の変化があるか否かを判定する。実行部１７３は、所定の変化があると判定すると、Ｓ６に処理を移し、所定の変化がないと判定すると、Ｓ７に処理を移す。

Ｓ６において、実行部１７３は、所定の変化の前に検出した所定の種類の色に関連付けられている所定の処理を実行し、その後、本フローチャートに係る処理を終了させる。
また、実行部１７３は、所定の変化がないと判定した場合、Ｓ７において、所定時間にわたって所定の種類の色が検出されていないか否かを判定する。実行部１７３は、所定時間にわたって所定の種類の色が検出されていないと判定すると、Ｓ８に処理を移し、検出部１７２が過去に所定の種類の色を検出していないものとみなすことにより、検出部１７２が過去に検出した色をリセットする。また、実行部１７３は、所定時間内に所定の種類の色が検出されていると判定すると、Ｓ３に処理を移す。

［第１実施形態における効果］
以上のとおり、第１実施形態に係る端末１は、撮像部１３が撮像した画像から特徴情報として画像の色を検出し、複数の画像のそれぞれから検出した色の変化に基づいて、検出した色が所定の変化をする前に検出した色に関連付けられている所定の処理を実行する。このようにすることで、端末１のユーザは、端末１において所定の処理を実行させるためのアプリケーションを起動させた後、冊子２に設けられている領域２１に端末１を近づける操作を行うことにより、端末１に所定の処理を実行させることができるので、少ない操作で色（特徴情報）に対応する処理を端末１に実行させることができる。

＜第２実施形態＞
［特徴情報として模様を検出する］
続いて、第２実施形態について説明する。第２実施形態では、端末１が特徴情報として模様を検出する点で第１実施形態と異なる。以下、第１実施形態と異なる部分について説明を行う。第１実施形態と同じ部分については適宜説明を省略する。なお、第２実施形態において、特徴情報は模様であることとしたが、これに限らず、文字や記号等であってもよい。

第２実施形態において、検出部１７２は、撮像部１３が撮像した画像を解析することにより、所定の処理に関連付けられている所定の模様を検出する。例えば、所定の模様は、冊子２の各ページにおいて、領域２１の代わりに配置されている。また、読取アプリケーションには、所定の処理に関連する所定の模様の形態と、当該模様に対応する大きさの範囲とを関連付けた模様情報が含まれている。検出部１７２は、模様情報を参照することにより、撮像部１３が撮像した画像から所定の処理に関連付けられている所定の模様と、当該模様のサイズとを検出する。

実行部１７３は、検出部１７２が画像から検出した模様が所定の大きさに変化すると、所定の処理を実行する。例えば、実行部１７３は、検出部１７２が画像から検出した模様のサイズが第１サイズから、第１サイズよりも大きい第２サイズに変化したことに応じて、模様情報を参照して、当該模様に関連付けられている所定の処理を実行する。

［第２実施形態における効果］
以上のとおり、第２実施形態に係る端末１は、撮像された画像を解析することにより、所定の処理に関連付けられている所定の模様を検出し、当該模様が所定の大きさに変化すると所定の処理を実行する。このようにすることで、端末１が冊子２に近づき、検出していた模様のサイズが大きくなったことに応じて、第１実施形態に係る端末１と同様に、所定の処理を実行することができる。

＜第３実施形態＞
［検出した色が変化するとともに無線タグに近接すると所定の処理を実行する］
続いて、第３実施形態について説明する。第３実施形態では、画像から検出した色が所定の変化をするとともに、端末１が無線タグに近接したことに応じて、端末１が所定の処理を実行する点で第１実施形態と異なる。

図７は、第３実施形態に係る端末１の概要を示す図である。図７に示すように、第３実施形態の冊子２には、ページのそれぞれに対応して無線タグ２２が埋め込まれている。図７では、無線タグ２２は、領域２１に隣接して配置されているが、これに限らず、領域２１に重なって配置されていてもよい。

第３実施形態に係る端末１は、第１実施形態に係る端末１と同様に、ユーザの操作に応じて、所定の処理を実行するための読取アプリケーションを実行する（図７の（１））。ユーザが、領域２１に端末１を近づけると検出部１７２は、領域２１の色を検出する（図７の（２））。

その後、ユーザが、領域２１に端末１を更に近づけると、領域２１が端末１の影によって暗くなり、検出部１７２が検出する色が変化する。端末１の実行部１７３は、検出した色が変化し、所定の変化があったことを検出する（図７の（３−１））。また、端末１の第１通信部１４は、端末１が領域２１に近づいたことに応じて、領域２１の近傍に埋め込まれている無線タグ２２と無線通信を行う（図７の（３−２））。

端末１の実行部１７３は、所定の変化があったことを検出するとともに、無線タグ２２との通信を開始すると、所定の処理を実行する（図７の（４））。第３実施形態において、第１通信部１４は、端末１が無線タグ２２に近接したことに応じて、無線タグ２２と無線通信を行い、当該無線タグ２２に記憶されている情報を受信する。実行部１７３は、無線タグから受信した情報と、所定の変化の前に検出部１７２が検出した色とに基づいて、所定の処理を実行する。

例えば、読取アプリケーションは、無線タグ２２から受信可能な情報と、画像の色と、所定の処理の内容とを関連付けた処理特定用情報を含んでおり、実行部１７３は、当該処理特定用情報を参照し、無線タグ２２から受信した情報と、所定の変化をする前に検出部１７２が検出した画像の色とに関連付けられている所定の処理の内容を特定する。そして、実行部１７３は、特定した所定の処理の内容に基づいて、所定の処理を実行する。

なお、実行部１７３は、無線タグ２２から、画像の色と、所定の処理の内容とを関連付けた処理特定用情報を受信し、当該処理特定用情報に基づいて所定の処理を実行するようにしてもよい。このようにすることで、無線タグ２２に記憶されている情報を異ならせることにより、端末１がそれぞれの無線タグ２２を読み取った場合に、端末１にそれぞれ異なる処理を実行させることができる。

また、実行部１７３は、無線タグ２２から、所定の内容を特定するための情報を取得するようにしてもよい。そして、外部装置において、処理特定用情報と、画像の色と、所定の処理の内容を示す情報とを関連付けて記憶してもよい。この場合において、実行部１７３は、無線タグ２２から情報を受信するとともに検出部１７２が画像の色を検出したことに応じて、第２通信部１５を介して、外部装置から当該情報及び当該画像の色に関連する所定の処理の内容を示す情報を取得する。そして、実行部１７３は、第２通信部１５を介して取得した情報に基づいて所定の処理を実行する。このようにすることで、外部装置において、端末１に対して実行させる所定の処理の内容を変更し、端末１に異なる処理を実行させるようにすることができる。

［第３実施形態における効果］
以上のとおり、第３実施形態に係る端末１は、無線タグ２２から受信した情報と、検出部１７２が検出した画像の色とに関連付けられている所定の処理を実行する。このようにすることで、例えば、検出部１７２が同じ種類の色を検出した場合であっても、冊子２のページごとに埋め込まれている無線タグ２２に含まれている情報に基づいて、端末１に異なる処理を実行させることができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。また、上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。

上述の実施形態では、撮像部１３が複数の画像を撮像し、検出部１７２が、撮像部１３が撮像した画像から特徴情報を検出したが、これに限らない。例えば、フォトトランジスタ等の受光素子を用いて、赤、青、緑に対応する波長の光を検出することによって物体の色を検出するカラーセンサー等の色検出部を備え、制御部１７が、当該色検出部が検出した色を示す色情報と、検出した時刻とを関連付けて記憶部１６に記憶させるようにしてもよい。そして、実行部１７３が、記憶部１６に記憶されている色が所定の変化をする前に検出した色に関連付けられている所定の処理を実行するようにしてもよい。

また、装置の分散・統合の具体的な実施形態は以上に図示するものに限られず、その全部又は一部について、種々の付加等に応じて、又は、機能負荷に応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

１・・・端末、１１・・・入力部、１２・・・表示部、１３・・・撮像部、１４・・・第１通信部、１５・・・第２通信部、１６・・・記憶部、１７・・・制御部、１７１・・・撮像制御部、１７２・・・検出部、１７３・・・実行部、２・・・冊子、２１・・・領域、２２・・・無線タグ

Claims (18)

1. 複数の画像を撮像する撮像部と、
   前記撮像部が撮像した前記画像から特徴情報を検出する検出部と、
   複数の前記画像のそれぞれから前記検出部が検出した前記特徴情報の変化に基づいて、前記特徴情報が所定の変化をする前に検出した前記特徴情報に関連付けられている所定の処理を実行する実行部と、
   を備える端末。
2. 前記検出部は、前記画像を構成する複数の画素の画素値を検出し、
   前記実行部は、複数の前記画素値が前記所定の変化に対応する変化をする前に検出した、複数の前記画素値に対応する前記所定の処理を実行する、
   請求項１に記載の端末。
3. 前記検出部は、前記画素値に基づいて前記画像の色を更に検出し、
   前記実行部は、前記画像の色が所定の色になると、前記所定の色になる前に前記検出部が検出した前記画像の色に関連付けられている前記所定の処理を実行する、
   請求項２に記載の端末。
4. 前記検出部は、前記画素値に基づいて前記画像の色及び前記画像の明度を更に検出し、
   前記実行部は、前記画像の明度が所定の明度になると、前記所定の明度になる前に前記検出部が検出した前記画像の色に関連付けられている前記所定の処理を実行する、
   請求項２又は３に記載の端末。
5. 前記検出部は、検出した画素値のうち、予め定められている範囲内の画素値に基づいて前記画像の色を検出する、
   請求項３又は４に記載の端末。
6. 前記検出部は、前記画像を構成する複数の画素の画素値の関係に基づいて、前記画素値の補正を行い、補正後の画素値に基づいて前記画像の色を検出する、
   請求項３から５のいずれか１項に記載の端末。
7. 前記検出部は、前記画像から検出した前記画素値のうち、前記所定の色に対応する画素値に基づいて、検出した前記画素値の補正を行い、補正後の画素値に基づいて前記画像の色を検出する、
   請求項３から６のいずれか１項に記載の端末。
8. 前記実行部は、前記画像の色が所定の色になると、前記所定の色になった時点から所定時間前までに撮像された複数の画像のそれぞれを構成する画素のうち、所定の種類の色に対応する画素の数を算出し、画素の数が所定数を超えた種類の色を、前記所定の色になる前の前記画像の色として特定する、
   請求項３から７のいずれか１項に記載の端末。
9. 前記実行部は、前記検出部が前記所定の処理に関連する色を検出してから所定時間以上にわたって前記所定の処理に関連する色を検出していない場合、前記検出部が過去に前記所定の処理に関連する色を検出していないものとみなす、
   請求項３から８のいずれか１項に記載の端末。
10. 所定の無線通信方式に係る通信を行う無線タグとの通信を行う通信部を更に備え、
    前記実行部は、前記通信部が前記無線タグとの通信を開始すると、前記所定の処理を実行する、
    請求項１から９のいずれか１項に記載の端末。
11. 前記通信部は、前記無線タグから情報を受信し、
    前記実行部は、前記無線タグから受信した情報に基づいて、前記所定の処理を実行する、
    請求項１０に記載の端末。
12. 前記無線タグから受信可能な情報と、前記画像の色と、前記所定の処理の内容とを関連付けて記憶する記憶部を更に備え、
    前記実行部は、前記無線タグから受信した情報と、前記検出部が検出した前記画像の色とに関連付けられている前記所定の処理を実行する、
    請求項１１に記載の端末。
13. 前記所定の無線通信方式とは異なる方式で外部装置との通信を行う第２通信部を更に備え、
    前記第２通信部は、前記通信部が前記無線タグから情報を受信するとともに前記検出部が前記画像の色を検出したことに応じて、当該情報及び当該画像の色に関連する前記所定の処理の内容を示す情報を取得し、
    前記実行部は、前記第２通信部が取得した情報に基づいて、前記所定の処理を実行する、
    請求項１１に記載の端末。
14. 前記検出部は、前記画像に含まれる模様を検出し、
    前記実行部は、前記検出部が検出した模様が所定の大きさに変化すると、前記所定の処理を実行する、
    請求項１から１３のいずれか１項に記載の端末。
15. 前記実行部は、前記特徴情報が所定の変化をする前の所定時間に撮像された画像に対して検出された前記特徴情報が示す特徴の平均値に関連付けられている前記所定の処理を実行する、
    請求項１から１４のいずれか１項に記載の端末。
16. 前記実行部は、前記特徴情報が所定の変化をする前の所定時間に撮像された画像に対して検出された前記特徴情報が示す特徴のうち、最も多く検出された特徴に関連付けられている前記所定の処理を実行する、
    請求項１から１４のいずれか１項に記載の端末。
17. 物体の色を検出する色検出部と、
    前記色検出部が検出した前記色を示す情報を記憶する記憶部と、
    前記記憶部に記憶されている前記色が所定の変化をする前に検出した前記色に関連付けられている所定の処理を実行する実行部と、
    を備える端末。
18. 複数の画像を撮像するステップと、
    撮像された前記画像から特徴情報を検出するステップと、
    複数の前記画像のそれぞれから検出された前記特徴情報の変化に基づいて、前記特徴情報が所定の変化をする前に検出した前記特徴情報に関連付けられている所定の処理を実行するステップと、
    を備える処理実行方法。

Images