JP2007295446A - 情報処理装置およびデータ記録保存方法 - Google Patents

Abstract

【課題】可視光発光源から全ての情報を受信してからカメラのシャッターを切り、画像および情報を保存できる情報処理装置を提供する。
【解決手段】情報処理装置の表示画面内に可視光発光源があった場合には、データの受信を開始する。データの受信を完了したなら画面上にある発光源位置を強調表示する。画面内に他の発光源があった場合には更にデータ受信を行う。他に発光源がなく、ユーザーにより撮影ボタンが押下されると、ユーザーにより、受信した情報も画像と一緒に保存する操作が行われている場合には、シャッターを切り、画像と情報を対応付けて保存し、可視光通信の受信を終了する。ユーザーにより画像のみを保存する操作を行われている場合には、画像のみを保存し、可視光通信の受信を終了する。情報も参照したい場合には画面表示時に画面上の発光源位置に情報を重畳させて表示する。
【選択図】図１１

Description

本発明は、複数の可視光通信光源からデータを受信できる情報処理装置およびデータ記録保存方法に関するものである。

街中において自分が希望する店舗、例えばレストランや居酒屋を探す場合に、ナビゲーションシステムを利用する機会が増えている。また、ＧＰＳ衛星を使って携帯電話端末の位置を特定し、店舗等への誘導を画面上の地図を使って案内するサービスがすでに開始されている。その場合、携帯電話端末の処理装置だけではＧＰＳの測位計算ができないため、基地局とリンクしながら、位置を特定していくという方法を用いている。また、全国の地図情報を携帯電話端末の記憶部に記憶させておくことができないため、地図情報については別途サーバーを用意し、携帯電話端末が必要とする画像だけを受信して、ナビゲーションを行っている。

また、特許文献１では、端末で撮影した場所の画像の一部分を抽出し、サーバーへ送信し、パターンマッチングを行うことで、その一部分に任意のオブジェクトを端末に送信し、端末上で重畳させ、表示することでナビゲーションを行っている。この特許文献１では、ある対象物を含んだ風景を画像として取り込んだ場合に、その対象物だけを画像から抽出し、その画像をサーバーへ送信する。サーバーはその画像とサーバーが記憶するテンプレート画像とのマッチングを行い、その撮影場所がどの地域になるのかを検索する。サーバーはその検索結果から端末に表示するオブジェクト（例えば矢印）を端末に向けて送信する。また、端末はオブジェクトのテンプレートを記憶部に記憶しており、サーバーより送信された情報から、そのテンプレートを導き出し、画面に表示する。

また、可視光通信等の所定のパターンで輝度が変動する発光源位置に任意の画像の貼り付け、もしくは画像の切り出しを行う技術がある（特許文献２参照）。これによると、所定のパターンで輝度が変動する発光領域を含む、時間軸方向に並ぶ複数の画像信号を処理の対象とする画像処理方法であって、複数の画像信号を時間軸方向に２値化して“１”と“０”の論理シンボル化するステップと、“１”、“０”の論理シンボルのそれぞれの総和値を求めるステップと、“１”の総和値と“０”の総和値との差値に基づいてパターンマッチングを行い、発光源領域の画像を抽出するステップと、抽出された画像位置に画像の貼り付け、画像の切り出しを行うステップを含むことを特徴とする。
特開２００５−１８２３５０号公報 特開２００２−２６２１８０号公報

上述した特許文献１のナビゲーションシステムは、サーバーから情報を受信するためパケット通信料がかかってしまい、また、ある対象物を含んだ風景を画像として取り込み、その対象物だけを画像から抽出し、その画像をサーバーへ送信する場合、画像情報が小さいとはいえ数キロバイト〜数十キロバイトもの大きさになることが予想され、余分なパケット通信料が必要となることから、ユーザーは頻繁に使用できないという問題がある。
また、特許文献２では、全ての情報を取り込もうとする場合、データ量によっては時間が大幅にかかってしまうため、普通のカメラのように、カメラのシャッターが押せた場合には、情報の受信が完了する前に撮影画像を保存するため、全ての情報を取り込めない状態となり、店舗検索やナビゲーションに利用することができない。
また、全ての情報を取り込もうとする場合、データ量によっては時間が大幅にかかってしまうため、ユーザーが撮影している状態を保ちつつ、手ぶれなどを極力起こさないように情報を高速に取り込む必要がある。

本発明は、このような問題点に鑑みてなされたものであり、本発明の目的は、情報の受信に余分な通信料を必要とすることなく、また、カメラの撮影ボタンが押下された場合でも、情報発信源から全ての情報を受信した後にシャッターを切り、画像および情報を対応付けて保存できる情報処理装置およびデータ記録保存方法を提供することにある。

上記目的を達成するため、本発明の情報処理装置は、被写体を撮像する撮像手段と、前記撮像手段が撮像しているデータから可視光通信の光源を検出し、該検出された光源の発光パターンから可視光通信のデータを復号する復号手段と、前記撮像手段が撮像しているデータを記録保存する際に、前記復号手段が復号したデータを前記撮像データに対応付けて記録保存する記録保存手段とを備えることを特徴とする。

前記撮像手段が撮像しているデータを記録保存する場合に、前記記録保存手段は、前記撮像手段が撮像しているデータにより検出される全ての可視光通信の光源からデータを復号してから当該データを記録保存することが好ましく、また、前記復号手段は、前記検出された光源の発光パターンから必要となる情報のデータを復号し、または全ての情報のデータを復号することが好ましい。

また、時間をずらした同じ発光パターンの可視光通信の光源を検出する、該光源と同数の光源検出手段を備え、前記復号手段は、前記光源検出手段により検出された光源の時間をずらした発光パターンから可視光通信のデータを復号することが好ましい。

また、本発明のデータ記録保存方法は、撮像データから可視光通信の光源を検出し、該検出された光源の発光パターンから可視光通信のデータを復号し、前記撮像データを記録保存する際に、前記復号したデータを前記撮像データに対応付けて記録保存することを特徴とし、前記撮像データを記録保存する場合に、前記撮像データにより検出される全ての可視光通信の光源からデータを復号してから当該データを記録保存することが好ましい。

本発明は、可視光通信を利用するので情報を受信するための余分な通信料を必要とすることなく、また、カメラの撮影ボタンが押下された場合でも、情報発信源から可視光通信で送信されている全ての情報の受信が完了してからシャッターを切り、画像および情報を対応付けて保存できるので、受信した情報を画像に重畳して表示でき、店舗検索やナビゲーションに利用することができる。

まず、カメラ付きの情報処理装置で店舗などを検索する検索システムについて説明する。図１は、検索システムの概要を説明する図であり、図２は、検索システムの概要を処理フローで表す図である。まず、情報処理装置１１からユーザーが店を選ぶ場合に必要な検索条件（人数、分類（居酒屋、フレンチなど）、金額、空き情報など）を入力し、その条件をメールで基地局１２を経由して店舗検索サーバー１３に送信し、もしくは店舗検索サーバーシステムが運営するサイトにアクセスし、入力フォームで送信する。その際に情報処理装置１１は、現在ユーザーがいる場所の位置情報をＧＰＳ等で取得し、その情報をメールもしくは入力フォームから検索条件と共に送信する。また、ユーザーを識別するＩＤとして電話番号、名前等（ユーザー情報）についても送信する（ステップ１０１）。

情報処理装置１１から送信された情報は、基地局１２を経由して店舗検索サーバー１３に到達する。店舗検索サーバー１３では、ユーザーより送付された位置情報から、ユーザーのいる場所から半径５０〜１００ｍ、即ち、ユーザーが情報処理装置１１に備えるカメラから撮影できる範囲にある店舗をピックアップし、ピックアップした店舗の中から、ユーザーより送付された検索条件に合致した店舗を検索する。次に、ピックアップした店舗の中で、検索条件に合致する店舗、合致しない店舗それぞれに指示情報、ユーザー情報等を送付する（ステップ１０２）。

検索条件に合致した店舗においては、発光源（ＬＥＤ）が装備された店舗の看板等を使用して可視光通信もしくは赤外線通信にてユーザーの情報処理装置１１に店名、予約用ＵＲＬ等の情報を送信する。また、検索条件に合致しない店舗においては、合致する店舗が、ユーザーの情報処理装置１１から見て、どの方向にあるかを指示するような矢印情報を可視光通信もしくは赤外線通信にて発光源（ＬＥＤ）が装備された看板等からユーザーの情報処理装置１１に送信する（ステップ１０３）。

ユーザーが情報処理装置１１の撮像部（カメラ）をＬＥＤ等で構成された看板等に向けると、検索条件に合致した店舗が表示画面１４上で点滅する。可視光通信もしくは赤外線通信にて店舗の看板より情報を入手したユーザーは、自分が希望する店がどこにあるかを、情報処理装置１１の表示画面１４を見ることで視覚的にもわかりやすく見つけることができる。またその店舗を選択することで、店舗情報が確認でき、その店舗の予約することも可能になる（ステップ１０４）。

上述した検索システムにおいて、本発明の情報処理装置は、可視光通信受信中に現在表示中の画面を保存したいとユーザーが考えて、ユーザーにより撮影ボタンが押下されたときに、発光源から全ての情報を受信するまでシャッターを切らず、全ての情報を受信した時点でシャッターを切り、受信した情報を画像と対応付けて保存するものである。

より詳細には、本発明の情報処理装置は、ユーザーにより撮影ボタンが押下されると、発光源の全ての情報が受信済みであればシャッターを切り、画像と情報を対応付けて記憶部へ保存し、発光源の全ての情報が受信済みでなければ、データ受信を継続し、全データを受信し、他に未受信の発光源があれば、未受信の発光源からデータ受信を行い、他に未受信の発光源がなければ、そこで初めてシャッターを切り、画像と情報を対応付けて保存し、ユーザーが画像および情報を参照したい場合には、画面上に発光源位置を強調表示させ、情報を重畳し、その画面上強調表示をカーソル等で選択することによって情報を取り出せるようにするものである。

図３および図４は、情報処理装置の表示部における表示例を示す図である。シャッターボタンを押そうとする画面が図３のような画面とする。発光源１６０２、１６０３の情報はすでに取得されており、ポップアップ１６０４、１６０５が表示されている。シャッターボタンを押下した場合に、画面上に情報の受信が完了していない発光源が無いかをスキャンする。その際、発光源１６０６が検出された場合には、その情報の受信が完了するまで、シャッターを切らないで待機状態とする。こういう状況は長い時間同じ状態で画面を固定させておけば生じないが、実際ユーザーはいろいろな方向の発光源を探しており、希望の発光源を見つけた場合には即座に画像を保存しようとするかもしれない。そこで、すぐ画像を保存してしまうと、受信が完了していない情報を入手できずに画像を保存してしまい、後でその画像を利用するときに情報がないため、不都合が生じてしまう。そうならないためにも、本発明の情報処理装置は、全ての情報を受信し、受信した情報を画像と対応付けて保存し、そして、保存した画像データから発光源１６０６の情報が必要である場合、図４に示すようにポップアップ１６０８を表示し、カーソル等で選択することによって情報を取り出せるようにするものである。

次に、本発明の第1実施例について説明する。図５は、本発明の第１実施例に係る情報処理装置を示す構成図である。ここでは、情報処理装置として携帯電話端末を例示して説明する。この情報処理装置２０は、一般的な携帯電話端末とほぼ同じである。可視光通信を行う場合は、受光部として被写体を撮像する撮像部（カメラ）２５を用いる。赤外線通信を行う場合には別途赤外線用の受光部を用意する必要がある。また、撮像部２５にて撮影している画像と可視光通信により受信したデータを表示する表示部２８と、検索する条件を入力する操作部２７と、検索条件を送信するためのベースバンド部２４およびＲＦ部２２およびアンテナ２１と、位置情報を入手するＧＰＳ受信部２３と、情報発光源の位置情報等を記憶する記憶部２９と、撮像部２５が受信（受光）したデータを復号する処理やそれぞれの構成部分の処理を制御する端末処理部２６とを備える。なお、この実施例では、撮像部２５を用いて可視光通信の受光を行っているが、扱うデータ量が多くなれば、別途、可視光通信用の受光部を用意し、可視光通信については、この受光部で行うようにしても良い。

図６は、店舗検索サーバーの一例を示す構成図である。この店舗検索サーバー３０は、全国をカバーするサーバでも良いし、地方ごとに分割されたサーバーでも良い。店舗検索サーバー３０は、ユーザーの情報処理装置より送付された検索条件から店舗情報を検索し、また、ユーザーの情報処理装置より送付された位置情報からユーザーがいる場所近辺にある店舗をピックアップする情報検索部３３と、全国もしくは地方にある店舗の名前等の情報や、位置情報について記憶する記憶部３１と、サーバー処理部３２で構成される。サーバー処理部３２においては、ユーザーの情報処理装置から見て、検索条件に合致した店舗がどの向きにあるか指示するために、ユーザーの情報処理装置と検索条件に合致した店舗、それ以外の店舗（この店舗は検索条件に合致していても、合致していなくてもどちらでも構わない）の位置情報から、ユーザーの情報処理装置から見てどの方向に合致店舗があるかを計算する。その情報より、ユーザーの情報処理装置にどの方向を指示させるかを判断する。その情報はユーザー情報や、検索結果と共に店舗に送信される。

図７は、店舗側端末の一例を示す構成図である。店舗側端末４０は、記憶部４１に、検索を行ったユーザーのユーザー情報や、ユーザーの検索情報、ユーザーに送信する店舗情報、その店舗の位置情報等を記憶している。情報発信部４３は、ユーザーへ店舗情報や、合致した店舗がある方向を示した矢印情報を送信する可視光通信を行うために必要な発光源（ＬＥＤ）が装備された看板である。店舗によっては、予約情報をユーザーから受信できることから、店舗処理部４２、操作部４４、表示部４５で予約状況の確認や、ユーザーへ再度詳しい情報を送信するための操作等を行う。

図８は、第1実施例に係る店舗側端末の発光源の一例を示す図である。想定している発光源は、看板に装備されたＬＥＤである。看板には、開店していることを知らせるための「ＯＰＥＮ」の文字３０２や店の名前などが記載されたものが考えられる。看板の中央にはＬＥＤ３０３が配置され、ＬＥＤ３０３が点滅して通信を行う。

図９は、第1実施例に係る店舗側端末の発光源から送信されるデータのフォーマット例を示す図である。発光源３０３からは、ユニークワード（ＵＷ）情報、店名情報、店舗の位置情報、店舗のＵＲＬ情報、店舗のメニュー情報、店舗の混雑状況情報、店舗のサービス情報、他店舗への向きを表す矢印情報等で構成されるデータが送信されるものとする。特に店舗のＵＲＬ情報があれば、予約する際に簡単に店の予約システムにアクセスすることができるため、必須の条件とする。店舗のサービス情報には店舗のクーポン券やポイントが含まれており、ユーザーにとって利用価値の高いサービスが提供されている。これらの情報はユニークワード（ＵＷ）情報ごとに区切られたデータとなっており、発光源３０３は繰り返し情報を送信することになる。

図１０は、第1実施例に係る情報処理装置の記憶部に記憶されるデータのフォーマット例を示す図である。記憶部には、発光源の画面上での位置情報、店舗ＩＤ情報、店名情報、店舗の位置情報、店舗のメニュー情報、店舗の混雑状況情報、店舗のサービス情報、他店舗への向きを表す矢印情報等が格納される。店舗ＩＤ情報は、図９のデータ例の中の店名情報に含まれているものである。店舗ＩＤ情報を保持していることで、既に情報を受信した店舗であるか、無いかをこのＩＤで判断することができる。店舗の位置情報は、分かり易いように住所で記載しているが、実際はＧＰＳのように、緯度経度情報も含まれる。

図１１は、本発明の第１実施例の情報処理装置の動作を説明するフロー図である。可視光信号を受信するためにカメラが起動されると（Ｓ２０１）、端末処理部１０６は、画面内に発光源が有るか無いかを、送信データに含まれるユニークワードを受信したか、受信していないかで判断する（Ｓ２０３）。もし、ユニークワードが受信できず、画面内に発光源が無い場合には、ユーザーによりカメラがいろいろな方向に向けられて、発光源が探索される（Ｓ２０２）。

画面内に発光源があった場合には１つの発光源に着目し、その発光源のユニークワードを受信する（Ｓ２０４）。ユニークワードを受信したことで、データの受信およびデータ復号を開始する（Ｓ２０５）。その発光源から送付されるデータの受信を完了し（Ｓ２０６）、画面上にある発光源位置を強調表示する（Ｓ２０７）。

画面内に他の発光源があった場合には（Ｓ２０８）、別の発光源からのユニークワードを受信し、データ受信を行う。他に発光源がなく、現在表示中の画面を保存しようとしてユーザーにより撮影ボタンが押下されると（Ｓ２０９）、受信した情報も画像と一緒に保存する操作がユーザにより行われたか否かを判断し（Ｓ２１０）、撮影ボタンを押下したユーザーにより、受信した情報も画像と一緒に保存する操作を行われた場合には、シャッターを切り、画像と情報（発光源の表示部上の位置情報も含む）を対応付けて保存し、可視光通信の受信操作を終了する（Ｓ２１２）。ユーザーにより、可視光通信で受信した情報は必要なく、画像のみを保存する操作を行われた場合には画像のみを保存し（Ｓ２１１）、可視光通信の受信操作を終了する。もし別途操作で画像表示させ、情報も参照したい場合には画面表示時に画面上の発光源位置に情報を重畳させて表示する（Ｓ２１３）。

上述のように、本発明は、情報発信源から可視光通信で送信されている全ての情報の受信が完了してからシャッターを切り、画像および情報を対応付けて保存するので、受信した情報を画像に重畳して表示でき、店舗検索やナビゲーションに利用することができる。また、ユーザーにより、可視光通信で受信した情報が必要であれば、画像と情報を対応付けて保存し、情報が必要なければ画像のみを保存できるため、ユーザーに無駄な時間をかけることがない。

次に、データを受信し、保存したデータをどのように利用するかについて、図１２に示す表示部の画面表示例を用いて説明する。情報処理装置は、発光源６０２、６０３から情報を受信し、情報処理装置の表示部に、店舗のジャンルおよび店舗名からなるポップアップ６０４、６０５を表示するものとする。

保存したデータは、上述した検索システムで所望の店舗を検索し、その店舗で飲食等を行っている場合に利用することができる。店舗内で飲食等を行い、次の店舗を検索しようと考えた場合、一般的には、店舗外に出てから再度検索システムを利用して検索を行うことが考えられる。しかし、一度店舗外に出て再度検索をし、所望の条件にあった店舗を発見してから予約をするよりも、会計等の前にすでに人数、ジャンル等が決まった状態で検索をして、予約をしたほうが、店舗での待ち時間も少なくなり、ユーザーにとっては利点となる場合が多い。しかし、現状では店舗内であると、携帯電話通信網にアクセスして情報処理装置に地図をダウンロードするといった余分なパケット通信料が必要となり、視覚的にも一見しただけではどの場所に店舗があるのかを判断するのは難しい。

しかし、検索システムを利用して店舗を検索した際に、そのときの画像を保存し、店舗の情報を受信しているのであれば、再度検索した場合にその画像上の店舗が所望する店舗であれば、図１２の画面表示例において、その店舗をカーソル６０６で指示し、図１３に示す詳細情報を表示部に表示させることができる。このようにすれば、ユーザーは現在の店舗を見つけた画像を参照できることから、現在の店舗と新たに検索された店舗の位置がどの程度離れているのかが容易に判断できる。

また、店舗内の照明から可視光通信を使って情報をダウンロードするようにしてもよい。検索条件を送信する場合には携帯電話通信網にアクセスする必要があるが、情報をダウンロードする場合には、余分なパケット通信料も必要ない。

次に、本発明の第２実施例について説明する。図１４は、第２実施例に係る店舗側端末の発光源（ＬＥＤ）から送信されるデータのフォーマット例である。第２実施例では、ＬＥＤ８０１から送信されるデータには、図１４のデータのフォーマット例に示すように、２つのユニークワード１（ＵＷ１）、ユニークワード２（ＵＷ２）がある。第１実施例では全ての情報を受信するために、受信速度が数Ｍｂｐｓの速度の速い受光素子を使用した場合には問題無いが、数十ｂｐｓの速度の遅い受光素子に使用した場合には、ユーザーにとって長い時間カメラを構えていなくてはならないため負担がかかってしまう。そこで、ユーザーが簡易的に店の位置と情報が分かれば良いと考えた場合に、簡易モードを選択して、必要な情報だけを受信することができればユーザーにとっても十分有効なものになる。

図１５は、第２実施例における情報処理装置の記憶部に記憶されるデータのフォーマット例である。情報処理装置の記憶部には、発光源の画面上での位置情報、店舗ＩＤ情報、店名情報、店舗の位置情報が格納される。受信するデータを少なくするために、店舗のメニュー情報、店舗の混雑状況情報、店舗のサービス情報、他店舗への向きを表す矢印情報については受信していない。

図１６に第２実施例の情報処理装置の動作を説明するフロー図を示す。ユニークワード１（ＵＷ１）を受信し、データ受信を開始するＳ７０５までは図１１と同じである。データ受信途中でユニークワード２（ＵＷ２）を受信すると（Ｓ７０６）、ユーザーが“簡易モード”と“詳細モード”のどちらを選択しているかを判断する（Ｓ７０７）。簡易モードであれば、その時点でその発光源からのデータ受信を完了する（Ｓ７０９）。詳細モードの場合はユニークワード２（ＵＷ２）以降のデータの受信を開始し（Ｓ７０８）、データ受信完了までを行う（Ｓ７１０）。データを受信した発光源位置を強調表示し（Ｓ７１１）、別の発光源がないかを判断する（Ｓ７１２）。別の発光源があれば、別の発光源からのユニークワード１（ＵＷ１）を受信する。

他に発光源がなく、現在表示中の画面を保存しようとしてユーザーにより撮影ボタンが押下されると（Ｓ７１３）、受信した情報も画像と一緒に保存する操作がユーザにより行われたか否かを判断し（Ｓ７１４）、撮影ボタンを押下したユーザーにより、受信した情報も画像と一緒に保存する操作を行われた場合には、シャッターを切り、画像と情報（発光源の表示部上の位置情報も含む）を対応付けて保存し、可視光通信の受信操作を終了する（Ｓ７１６）。ユーザーにより、可視光通信で受信した情報は必要なく、画像のみを保存する操作を行われた場合には画像のみを保存し（Ｓ７１５）、可視光通信の受信操作を終了する。もし別途操作で画像表示させ、情報も参照したい場合には、画面表示時に画面上の発光源位置に情報を重畳させて表示する（Ｓ７１７）。

上述のように、全ての情報を受信しようとすると、大幅な時間がかかってしまうため、第２実施例では、情報処理装置が必要となる情報を受信した時点で、画像を保存することにより、ユーザーの負担を少なくすることができる。

次に、本発明の第３実施例について説明する。第３実施例において想定される発光源は、図１７および図１８に示す看板に装備されたＬＥＤである。図１７に示す看板は、黒の「ＯＰＥＮ」の文字上にいくつかのＬＥＤが配置されており、赤ＬＥＤ１００４、青ＬＥＤ１００５、緑ＬＥＤ１００６が１つずつ、それ以外は白色のＬＥＤとする。この場合、背景色は黒とするのが望ましいが、状況によって背景色、文字色は変更することができる。図１８に示す看板は、看板の内部に赤ＬＥＤ１００８、青ＬＥＤ１００９、緑ＬＥＤ１０１０の３色のＬＥＤを配置し、「ＯＰＥＮ」の文字が３色で光って見えるように工夫する。

このような発光源（看板）を用いることで、可視光通信のデータを受信するに当たり、より早く受信を完了できるようになる。図１８に示す看板を用いて、その手法を説明する。

情報発光源である図１８に示す看板には、赤ＬＥＤ１００８、青ＬＥＤ１００９、緑ＬＥＤ１０１０を配置し、それぞれが送信するデータのフレームを、図１９に示すように、赤ＬＥＤは１１０２、青ＬＥＤは１１０４、緑ＬＥＤは１１０６とする。上記３個のＬＥＤから送信されるデータは全て同じものであり、時間をずらしたものである。ずらす時間は発光源数、データ量により決まった時間とする。

データの始まりがどこにあるかを知るために、一般的にはユニークワード（ＵＷ）を設定し、ユニークワード（ＵＷ）を受信した時点で、それ以後の情報が自分の所望するものであることが分かり、全ての情報を受信しようとする。もし、情報発光源が１つしかなく、データフレームの中でユニークワード（ＵＷ）がフレームの先頭に位置しているとした場合、図１９のデータフレーム１１０２において、受信開始が“メニュー”情報からだとすると、それからある程度の時間、ユニークワード（ＵＷ）を検出するまで時間がかかってしまう。そこで、複数、例えば赤ＬＥＤ１００８、青ＬＥＤ１００９、緑ＬＥＤ１０１０の３個の情報発光源を準備し、時間をずらしたデータフレーム１１０２、１１０４、１１０６のデータを受信するようにする。こうすることで、データフレーム１１０２の途中で受信を開始したとしても、データフレーム１１０４、１１０６のユニークワード（ＵＷ）を検出することで情報を受信することができ、時間の短縮を図ることができる。この場合ユーザーの所有する情報処理装置は、３つの受光部を具備する必要がある。

３個の発光源は、ある程度近い位置であれば、異なる発光源として認識できるので、同じ色の発光源であってもよいが、十分に遠い距離であるときは、３個の発光源なのか、１個の発光源なのか区別できなくなるので、３個の発光源を異なるものとして認識できるようにするために、３個の発光源を赤色と青色と緑色等の別々の色にしている。実際に画面上に表示される画像は図２０に示している。色が分かれていれば、遠くからでも、受光できるようになる。

第３実施例では、情報処理装置は３つの受光部で３つの発光源の情報を受信することができる。受光を開始した時点で、例えば受光部が青ＬＥＤからのユニークワードを最初に受信した場合、それ以外の受光部は受光することをやめる（電源を切る）。もしくは、それ以外の受光部は他の発光源のスキャンを開始する。あるいはユニークワードを受信した時点で、青以外の発光源からの受光も開始できるため、他の発光部は、赤ＬＥＤからメニュー情報を、緑ＬＥＤから混雑状況を受信することも考えられる。そうすることで、全ての情報を受信するまでの時間が短縮できることになる。

また、ユーザーが必要とする情報が少なくても良い場合、例えば、店舗を検索して店舗の名前、位置情報等が分かれば問題が無い場合、それより時間的に後になるメニューや混雑状況などの情報は受信しないようにすることで、より保存時間が短縮されることになる。例えば赤ＬＥＤから情報を受信している時に青ＬＥＤからの情報からユニークワードを検出した場合、そこまでのデータがあればユーザーが必要としている情報が取り出せていると情報処理装置が判断した時点で、画像を保存する。発光源を複数持つ店舗がいくつも存在した場合にも、上記のように必要最小限のデータを受信することで、より時間の短縮が期待できる。

図２１に第３実施例の情報処理装置の動作を説明するフロー図を示す。図１６のＡまでは同じである。現在表示中の画面を保存しようとしてユーザーにより撮影ボタンが押下されると（Ｓ１３１４）、受信した情報も画像と一緒に保存する操作がユーザにより行われたか否かを判断し（Ｓ１３１５）、撮影ボタンを押下したユーザーにより、可視光通信で受信した情報は必要なく、画像のみを保存する操作を行われた場合には画像のみを保存し（Ｓ１３１６）、可視光通信の受信操作を終了する。受信した情報も画像と一緒に保存する操作を行われた場合には、ユーザーによりあらかじめ設定されているモードが、簡易モードであるか、詳細モードであるかを確認する（Ｓ１３１７）。簡易モードが選択されている場合には、それ以上データを保存する必要がないため、すぐにシャッターを切り、画像と情報（発光源の表示部上の位置情報も含む）を対応付けて保存する（Ｓ１３２１）。簡易モードとは、発光源から送信される情報全ては必要ないために店名、位置情報等のみを受信するモードであり、詳細モードとは全ての情報を受信するモードである。

Ｓ１３１７において詳細モードが選択されている場合には、受信できていない情報があるため、あらためて全データを受信する（Ｓ１３１８）。このとき、既に受信している情報は必要ないため、図１４のユニークワード２（ＵＷ２）を以降のデータを受信する。全ての情報を受信すると（Ｓ１３１９）、他に未受信の発光源がないかを判断する（Ｓ１３２０）。未受信発光源がある場合にはその発光源から情報を受信する（Ｓ１３１８）。未受信発光源がなく、全ての情報を受信した場合になって初めて、シャッターを切り、画像と情報（発光源の表示部上の位置情報も含む）を対応付けて保存する（Ｓ１３２１）。もし別途操作で画像表示させ、情報も参照したい場合には、画面表示時に画面上の発光源位置に情報を重畳させて表示する（Ｓ１３２２）。

なお、現在表示中の画面を保存しようとシャッターボタンが押下された場合、必要となる情報の受信が完了しない状態で画像を保存してしまう可能性がある。そこで、シャッターボタンを押下された時点で、情報処理装置は画像を保存できる状態にしておき、必要となる情報の受信が完了してない場合には、図２２に示すように、表示画面に注意を促す情報１４０４を表示するようにし、その後必要となる情報の受信が完了した場合には、図２３に示すように、表示画面上に保存終了を知らせる情報１４０６を表示するようにしても良い。

また、情報の中にデータレングスがあるとすれば、全ての情報を受信するまでの時間を情報処理装置内においてデータレングスから計算し、図２４に示すように、残り時間情報１５０２をユーザーに知らせるために画面に表示するようにしても良い。

また、本発明は、手ぶれが起きた場合には、撮像素子のフレームレートを上げる等により、動きに伴う検出誤差を許容範囲に収めるようにすることも可能である。また、複数枚のフレームバッファ間の動きベクトルデータを算出し、フレーム間の動きベクトルを参照し、対応点群のセットを取り出すことで対応するようにすることも可能である。

検索システムの概要を説明する図である。 検索システムの概要を処理フローで表す図である。 情報処理装置の表示部における表示例を示す図である。 情報処理装置の表示部における表示例を示す図である。 本発明の第１実施例に係る情報処理装置を示す構成図である。 店舗検索サーバーの一例を示す構成図である。 店舗側端末の一例を示す構成図である。 第1実施例に係る店舗側端末の発光源の一例を示す図である。 第1実施例に係る店舗側端末の発光源から送信されるデータのフォーマット例を示す図である。 第1実施例に係る情報処理装置の記憶部に記憶されるデータのフォーマット例を示す図である。 第１実施例の情報処理装置の動作を説明するフロー図である。 情報処理装置の表示部における画面表示例を示す図である。 情報処理装置の表示部における詳細情報の表示例を示す図である。 第２実施例に係る店舗側端末の発光源から送信されるデータのフォーマット例である。 第２実施例に係る情報処理装置の記憶部に記憶されるデータのフォーマット例である。 第２実施例の情報処理装置の動作を説明するフロー図である。 ＬＥＤ装備された看板を示す図である。 ＬＥＤ装備された看板を示す図である。 赤ＬＥＤ、青ＬＥＤ、緑ＬＥＤが送信するデータのフレームを示す図である。 赤色と青色と緑色の３個の光源の画面表示例を示す図である。 第３実施例の情報処理装置の動作を説明するフロー図である。 注意を促す情報を表示する画面表示例を示す図である。 保存が終了したことを知らせる情報を表示する画面表示例を示す図である。 残り時間情報を表示する画面表示例を示す図である。

符号の説明

１１，２０ 情報処理装置
１２ 基地局
１３，３０ 店舗検索サーバー
１４ 表示画面
２１ アンテナ
２２ ＲＦ部
２３ ＧＰＳ受信部
２４ ベースバンド部
２５ 撮像部（受光部）
２６ 端末処理部
２７，４４ 操作部
２８，４５ 表示部
２９，３１，４１ 記憶部
３２ サーバー処理部
３３ 情報検索部
４０ 店舗側端末
４２ 店舗処理部
４３ 情報発信部
３０２ 文字
３０３，８０１ ＬＥＤ
６０２，６０３，１２０２，１６０２，１６０３，１６０６ 発光源
６０４，６０５，１６０４，１６０５，１６０８ ポップアップ
６０６ カーソル
１００４，１００８ 赤ＬＥＤ
１００５，１００９ 青ＬＥＤ
１００６，１０１０ 緑ＬＥＤ
１１０２，１１０４，１１０６ データフレーム
１４０４ 注意を促す情報
１４０６ 保存終了を知らせる情報
１５０２ 残り時間情報

Claims (6)

1. 被写体を撮像する撮像手段と、
   前記撮像手段が撮像しているデータから可視光通信の光源を検出し、該検出された光源の発光パターンから可視光通信のデータを復号する復号手段と、
   前記撮像手段が撮像しているデータを記録保存する際に、前記復号手段が復号したデータを前記撮像データに対応付けて記録保存する記録保存手段と、
   を備えることを特徴とする情報処理装置。
2. 前記撮像手段が撮像しているデータを記録保存する場合に、前記記録保存手段は、前記撮像手段が撮像しているデータにより検出される全ての可視光通信の光源からデータを復号してから当該データを記録保存することを特徴とする請求項１に記載の情報処理装置。
3. 前記復号手段は、前記検出された光源の発光パターンから必要となる情報のデータを復号し、または全ての情報のデータを復号することを特徴とする請求項１または２に記載の情報処理装置。
4. 時間をずらした同じ発光パターンの可視光通信の光源を検出する、該光源と同数の光源検出手段を備え、前記復号手段は、前記光源検出手段により検出された光源の時間をずらした発光パターンから可視光通信のデータを復号することを特徴とする請求項１〜３のいずれかに記載の情報処理装置。
5. 撮像データから可視光通信の光源を検出し、該検出された光源の発光パターンから可視光通信のデータを復号し、前記撮像データを記録保存する際に、前記復号したデータを前記撮像データに対応付けて記録保存することを特徴とするデータ記録保存方法。
6. 前記撮像データを記録保存する場合に、前記撮像データにより検出される全ての可視光通信の光源からデータを復号してから当該データを記録保存することを特徴とする請求項５に記載のデータ記録保存方法。
   
   

Images