JP2006020294A - 情報受信装置、情報伝送システム及び情報受信方法 - Google Patents

情報受信装置、情報伝送システム及び情報受信方法 Download PDF

Info

Publication number
JP2006020294A
JP2006020294A JP2005157048A JP2005157048A JP2006020294A JP 2006020294 A JP2006020294 A JP 2006020294A JP 2005157048 A JP2005157048 A JP 2005157048A JP 2005157048 A JP2005157048 A JP 2005157048A JP 2006020294 A JP2006020294 A JP 2006020294A
Authority
JP
Japan
Prior art keywords
information
light
unit
luminance modulation
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005157048A
Other languages
English (en)
Other versions
JP2006020294A5 (ja
JP4258491B2 (ja
Inventor
Norio Iizuka
宣男 飯塚
Shoichi Nagatomo
正一 永友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to PCT/JP2005/010290 priority Critical patent/WO2005117304A1/ja
Priority to KR1020067006191A priority patent/KR100818392B1/ko
Priority to JP2005157048A priority patent/JP4258491B2/ja
Priority to EP05745839.0A priority patent/EP1744475B1/en
Publication of JP2006020294A publication Critical patent/JP2006020294A/ja
Priority to US11/435,229 priority patent/US7308194B2/en
Priority to HK07102656.4A priority patent/HK1095219A1/xx
Publication of JP2006020294A5 publication Critical patent/JP2006020294A5/ja
Application granted granted Critical
Publication of JP4258491B2 publication Critical patent/JP4258491B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/112Line-of-sight transmission over an extended range
    • H04B10/1123Bidirectional transmission
    • H04B10/1125Bidirectional transmission using a single common optical path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B10/00Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/60Receivers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/21Combinations with auxiliary equipment, e.g. with clocks or memoranda pads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634Warning indications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/26Devices for calling a subscriber
    • H04M1/27Devices whereby a plurality of signals may be stored simultaneously
    • H04M1/274Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc
    • H04M1/2745Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips
    • H04M1/2753Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips providing data content
    • H04M1/2755Devices whereby a plurality of signals may be stored simultaneously with provision for storing more than one subscriber number at a time, e.g. using toothed disc using static electronic memories, e.g. chips providing data content by optical scanning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2250/00Details of telephonic subscriber devices
    • H04M2250/52Details of telephonic subscriber devices including functional features of a camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N2007/145Handheld terminals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Optical Communication System (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

【課題】 輝度変調の検出に必要な領域を取得することにより、情報復元処理の高速化を図る。また、輝度変調領域の位置調整を容易とする。
【解決手段】 情報受信装置(22)は、撮像手段(34、57)と、輝度変調された任意の情報を受光する受光手段(35、61)と、前記撮像手段の撮影画角に含まれる輝度変調領域を指定する指定手段(31、53)と、該指定手段により指定された輝度変調領域を受光するよう前記受光手段を制御し、該領域に含まれる輝度変調内容から任意の情報を復元する復元手段(50、53)と、該復元手段により復元された任意の情報を再生する再生手段(47)とを備える。
【選択図】 図7

Description

本発明は、たとえば、建築物等のランドマーク表示、広告表示、遊園地等の遊技施設案内や混雑状況表示、店頭における商品説明、博物館や展覧会における展示品説明など、様々な用途に利用できる情報受信装置、情報伝送システム及び情報受信方法に関する。
従来より、建築物等のランドマーク表示、広告表示、遊園地等の遊技施設案内や混雑状況表示、店頭における商品説明、博物館や展覧会における展示品説明は、紙、垂れ幕、看板またはプレート等の「情報提示物」の上に書かれた文字や図形等の「視覚情報」を用いて行われている。
しかし、情報提示物の数が多い環境下において、特定の情報掲示物を探したい場合には、所望する情報掲示物が周囲の情報提示物によって目立たなくなる問題が発生する。たとえば、店頭において商品Aと商品Bとが隣接して展示されていた場合、商品Aの商品説明を商品Bの商品説明と誤認してしまうことがある。
そこで、従来技術1として、光空間伝送による情報伝送を利用することによって、情報提示対象品とその提示情報との対応関係を明確にして情報把握の誤認をなくすようにし、さらに、情報の保全性にも配慮した情報受信装置が考えられている(たとえば、特許文献1参照)。
詳細には、この従来技術1は、陳列棚に並べられた商品の近くに取り付けられた光タグ装置を電子スチルカメラで時系列的に撮影して記憶し、その記憶画像の中に存在する光タグ装置の時系列的な輝度の変化から輝度変調された情報であることを認識させ、この輝度変調された情報からその商品に関する情報を抽出し、その抽出情報を前記撮影画像に重畳表示するというものである。しかしながら、この従来技術1では、たとえば、点滅する光タグ装置の輝度変化パターンと同じパターンで輝度変化するような光源(たとえば、蛍光灯のフリッカなどの外乱光)が近くにあった場合には、光タグ装置の情報の抽出が正しく行われないという技術課題があった。
このような問題点に鑑み、従来技術2として、外乱光による悪影響を回避して常に情報の抽出を正しく行うようにした情報受信装置、情報伝送システム及び情報伝送方法が考えられている(たとえば、特許文献2参照)。
詳細には、この従来技術2は、CCD等のイメージセンサを有する受光ユニットを用いて、そのイメージセンサの撮影画角内に存在する発光ユニット(従来技術1における光タグ装置に相当する)からの輝度変化を検出し、その輝度変化の変化度合いを変調情報としてビットパターン系列に二値化するとともに、二値化されたビットパターン系列を予め用意された互いに相関しないビットパターン系列のいずれかに一致するか否かを判定し、その判定結果に基づいて、二値論理信号(1/0)を発生することによって、発光ユニットからの送信情報を再生するというものであり、この発光ユニットの発光パターンをユニークなものにすることで、外乱光の影響を少なくしている。
特開2001−245253号公報(第2頁、第5頁、図1、図10) 特開2003−179556号公報(第7頁〜第8頁、図7〜図10)
しかしながら、従来技術2では、外乱光による悪影響を回避できるものの、画像の処理に無駄があるという問題点がある。
つまり、従来技術2においては、イメージセンサの撮影画角内の画像から「部分読み出し」を行い、その読み出しエリアを1周期ごとにずらしながら、上記の二値化処理や、二値化処理後のビットパターン系列の論理処理などを実行したとしても、それらの処理は、イメージセンサから出力される画像フレームの全ての画素を対象にしていることに変わりなく、言い換えれば、イメージセンサの撮影画角内の画像の全領域について点光源の検出と捕捉を行っていることに他ならない。したがって、以下に説明するように、無駄な処理を否めない。
イメージセンサの撮影画角内の全画素(フルドット)を1280×960ドットと仮定し、また、このイメージセンサは320×240ドットの部分読み出しが可能であると仮定すると、上記の従来技術2においては、1280×960ドットの画像を4×4分割した各エリア毎に上記の二値化処理や、二値化処理後のビットパターン系列の論理処理などを行うことになる。この場合、一回の処理は、1エリア分の320×240ドットの画素を対象として行われるので、1回の処理だけに注目すれば、処理負担は確かに少ない。しかし、発光ユニットの点光源、とりわけ、遠方に位置する点光源の視認サイズは相当に小さく、多くの場合、一つの分割エリアに充分に収まる程度であるから、このような場合、点光源を含まない他の分割エリアに対する処理は無駄である。
そこで、本発明は、撮影画角のうち、輝度変調の検出に必要な領域を取得することにより、情報復元処理の高速化を図ることを目的とする。また、輝度変調領域の位置調整を容易とすることを目的とする。
請求項1記載の発明は、撮像手段と、輝度変調された任意の情報を受光する受光手段と、前記撮像手段の撮影画角に含まれる輝度変調領域を指定する指定手段と、該指定手段により指定された輝度変調領域を受光するよう前記受光手段を制御し、該領域に含まれる輝度変調内容から任意の情報を復元する復元手段と、該復元手段により復元された任意の情報を再生する再生手段とを備えたことを特徴とする情報受信装置である。
請求項2記載の発明は、前記撮像手段による撮像内容とともに指標を表示する表示手段と、該表示手段に表示されている指標を任意に移動させる移動手段とをさらに備え、前記指定手段は、該移動手段によって前記指標を移動させることにより前記輝度変調領域を指定することを特徴とする請求項1記載の情報受信装置である。
請求項3記載の発明は、前記指定手段によって指定された輝度変調領域の受光を指示する受光指示手段と、この受光指示手段により受光が指示されると、該輝度変調領域に光軸が合うように前記受光手段を制御する制御手段とをさらに備えることを特徴とする請求項1乃至3のいずれかに記載の情報受信装置である。
請求項4記載の発明は、前記受光手段は、受光素子と、該受光素子への入射光を集光する光学系とを含むことを特徴とする請求項1乃至3のいずれかに記載の情報受信装置である。
請求項5記載の発明は、前記受光手段は、二次元のイメージセンサと、該イメージセンサへの入射光を集光する光学系とを含むことを特徴とする請求項1乃至3のいずれかに記載の情報受信装置である。
請求項6記載の発明は、前記撮像手段によって撮像された画像データと前記復元手段によって復元された任意の情報とを関連付けする関連付け手段と、該関連付けされた画像データと前記任意の情報とを記憶する記憶手段とをさらに備えることを特徴とする請求項1乃至3のいずれかに記載の情報受信装置である。
請求項7記載の発明は、前記受光手段による輝度変調領域の受光が完了したか否かを判断する第1の判断手段をさらに備え、前記関連付け手段は、該第1の判断手段によって前記輝度変調領域の受光が完了したと判断すると、前記撮像手段によって撮像された画像データと前記復元手段によって復元された該輝度変調領域に基づく任意の情報との関連付けを行うことを特徴とする請求項6記載の情報受信装置である。
請求項8記載の発明は、前記第1の判断手段により輝度変調領域の受光が完了すると、その旨を報知する報知手段と、該報知手段による報知の後、前記輝度変調領域の再受光が指示されたか否かを判断する第2の判断手段と、該第2の判断手段により再受光が指示されたと判断すると、前記撮像手段により撮像された画像データを保持した状態で、前記受光手段による前記輝度変調領域の受光を開始する受光制御手段とをさらに備えることを特徴とする請求項6または7記載の情報受信装置である。
請求項9記載の発明は、前記輝度変調とは特定波長光の点灯と消灯との繰り返しであり、前記特定波長光の消灯タイミングの撮像画角を撮像するよう前記撮像手段を制御する撮像制御手段をさらに備えることを特徴とする請求項6または7に記載の情報受信装置である。
請求項10記載の発明は、前記受光手段によって受光された輝度変調領域の変調内容を少なくとも互いに相関度の低い2種類のビットパターン系列に変換する変換手段と、該変換手段によって変換された互いに相関度の低い2種類のビットパターン系列に対応して論理信号を出力する論理信号出力手段とを更に備え、前記復元手段は、該論理信号出力手段による出力結果に基づいて前記任意の情報を復元することを特徴とする請求項1乃至9の何れかに記載の情報受信装置である。
請求項11記載の発明は、任意の情報を構成するビット列を論理判定する判定し、該判定結果に基づいて予め用意された互いに相関度の低い2種類のビットパターン系列からいずれかを選択する選択手段と、該選択手段による選択結果に従って前記任意の情報を輝度変調する変調手段と、該変調手段によって輝度変調された任意の情報を出力する出力手段とを備えた情報出力装置(18)と、撮像手段と、輝度変調された任意の情報を受光する受光手段と、該撮像手段の撮影画角に含まれる輝度変調領域を指定する指定手段と、該指定手段により指定された輝度変調領域を受光するよう前記受光手段を制御する受光制御手段と、該受光制御手段によって受光された輝度変調領域の変調内容を少なくとも互いに相関度の低い2種類のビットパターン系列に変換する変換手段と、該変換手段によって変換された互いに相関度の低い2種類のビットパターン系列に対応して論理信号を出力する論理信号出力手段と該論理信号出力手段による出力結果に基づいて、前記任意の情報を復元する復元手段と、該復元手段により復元された任意の情報を再生する再生手段とを備えたことを特徴とする情報受信装置とを含むことを特徴とする情報伝送システムである。
請求項12記載の発明は、撮像部により撮像される撮影画角に含まれる輝度変調領域を指定する指定ステップと、該指定ステップにより指定された輝度変調領域を受光するよう受光部を制御する受光制御ステップと、該受光制御ステップにて受光された輝度変調領域の変調内容を少なくとも互いに相関度の低い2種類のビットパターン系列に変換する変換ステップと、該変換ステップにて変換された互いに相関度の低い2種類のビットパターン系列に対応して論理信号を出力する論理信号出力ステップと該論理信号出力ステップによる出力結果に基づいて、前記輝度変調領域の変調内容に基づいた任意の情報を復元する復元ステップと、該復元ステップにより復元された任意の情報を再生する再生ステップとからなることを特徴とする情報受信方法である。
本発明によれば、指定手段が撮像手段の撮影画角に含まれる輝度変調領域を指定し、復元手段が該指定手段により指定された輝度変調領域を受光するよう受光手段を制御して該領域に含まれる輝度変調内容から任意の情報を復元するとともに、再生手段が該復元手段により復元された任意の情報を再生する。
したがって、実際の処理を「撮像手段の撮影画角に含まれる輝度変調領域」に限定して行うことができ、前記の目的、すなわち、輝度変調の検出に必要な領域を取得することにより、情報復元処理の高速化を図ることができる。
また、前記撮像手段による撮像内容とともに指標を表示する表示手段と、該表示手段に表示されている指標を任意に移動させる移動手段とをさらに備え、前記指定手段は、該移動手段によって前記指標を移動させることにより前記輝度変調領域を指定するものであってもよい。このようにすると、「輝度変調の検出に必要な領域」を指標によって明示することができ、かつ、移動手段によって微妙な領域の位置合わせを行うことができる。
また、前記指定手段によって指定された輝度変調領域の受光を指示する受光指示手段と、この受光指示手段により受光が指示されると、該輝度変調領域に光軸が合うように前記受光手段を制御する制御手段とをさらに備えるようにしてもよい。このようにすると、領域の位置合わせをより簡単にすることができる。
また、前記受光手段は、受光素子と、該受光素子への入射光を集光する光学系とを含むものであってもよく、あるいは、前記受光手段は、二次元のイメージセンサと、該イメージセンサへの入射光を集光する光学系とを含むものであってもよい。要は、「撮像手段の撮影画角に含まれる輝度変調領域」の光を受光する任意画角の受光手段であればよい。ただし、手ブレ機構を不要にできる点で、後者のもの、すなわち、二次元のイメージセンサを含む態様が望ましい。発輝度変調光の結像位置が二次元のイメージセンサの受光面内に入ってさえいれば、多少の位置ブレがあっても画像処理で修正が可能であるからであり、アクチュエータ等による機械的な手ブレ機構を必要としないからである。
また、撮像手段によって撮像された画像データと前記復元手段によって復元された任意の情報とを関連付けする関連付け手段と、該関連付けされた画像データと前記任意の情報とを記憶する記憶手段とをさらに備えるようにしてもよい。このようにすると、様々な利用スタイル、たとえば、画像の印刷回数管理や著作権管理などに応用することができる。
また、前記受光手段による輝度変調領域の受光が完了したか否かを判断する第1の判断手段をさらに備え、前記関連付け手段は、該第1の判断手段によって前記輝度変調領域の受光が完了したと判断すると、前記撮像手段によって撮像された画像データと前記復元手段によって復元された該輝度変調領域に基づく任意の情報との関連付けを行うようにしてもよい。
あるいは、前記第1の判断手段により輝度変調領域の受光が完了すると、その旨を報知する報知手段と、該報知手段による報知の後、前記輝度変調領域の再受光が指示されたか否かを判断する第2の判断手段と、該第2の判断手段により再受光が指示されたと判断すると、前記撮像手段により撮像された画像データを保持した状態で、前記受光手段による前記輝度変調領域の受光を開始する受光制御手段とをさらに備えるようにしてもよい。
これらのようにすると、画像の取得と情報の再生とを時間を分けて行うことができ、処理の効率化を図ることができる。さらに、このようにしておくと、情報の取得に失敗したときには、画像の取得を行わずに、情報の再取得だけを行うことができるようになり、無駄な画像取得を回避して効率アップを図ることができる。
以下、本発明の実施形態を、図面を参照しながら説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等(以下「周知事項」)についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。
<第一実施形態>
図1は、第一実施形態における情報伝送システムの利用状態図である。まず、(a)を説明すると、ビル等の建築物14の屋上には、広告表示板15が設置されている。この広告表示板15は、(b)にその正面図、(c)にその側面図を示すように、任意の説明文字列(図では“Xデパート特別セール実施中!”、“この看板の光タグ情報で、来店時に使える電子クーポンが取得できます。”)を大きく描き出した看板16と、その看板16を後ろから支える背面固定足17とを有しており、遠くから、その説明文字列を目視で確認できるようになっている。
看板16の任意位置(図示の例ではほぼ中央部分)には、光タグ装置18が取り付けられている。この光タグ装置18は、二つのパターン系列で点滅する点光源であり、この光タグ装置18を目視しただけでは、単に光の点滅にしか見えない。第一実施形態における情報伝送システムに対応した情報受信装置(ここでは、カメラ付携帯電話機とする)を通して光タグ装置18の点滅光を受光することにより、所望のデジタル情報(たとえば、Xデパートで使用できる電子クーポンの情報)を再生し、当該情報受信装置上に表示することができるようになっている。
図示の例では、看板16が見える位置に複数の人物19〜21が存在しており、そのうちの何人か(図では便宜的に二人)の人物19、20だけが、第一実施形態における情報伝送システムに対応したカメラ付携帯電話機22(情報受信装置)を所持しているため、この二人の人物19、20だけが、Xデパートで使用できる電子クーポンを取得することができ、残りの人物21は、カメラ付携帯電話機22を所持していないため、その電子クーポンを取得できない。
なお、光タグ装置18は、必ずしも、看板16のような大きなものに取り付ける必要はなく、商品タグのような非常に小さなものに取り付けることももちろん可能である。光タグ装置18の設置対象は、たとえば、「ある(比較的広い)エリアに来たユーザにインセンティブを与えることで、そのエリアに対する集客を図りたい」、「ある広告を“確実にその場で見た”ユーザにインセンティブを与えたい」、「看板等の情報よりも、さらに詳細な情報(またはそこへのリンク)を自動的にユーザ端末に提供したい」など、ある程度近傍(数mから百m程度の)のエリアに来てくれた人々に対して、物理的実体(図示の例では看板16)に関連させつつ、様々な情報を提供したり、特定のサービス(図示の例では電子クーポン)を提供したりするものであれば、図示の例に限らず、どのような態様であっても構わない。
ここでは、看板16に光タグ装置18を配置して、その看板16の広告を見てくれたユーザにインセンティブとして、電子的クーポンを配布するという応用を例にする。なお、この場合の“クーポン”は電子的な画像ファイルであり、別途にリンク先を指定して、そこからダウンロードさせるものとする。
図2は、第一実施形態における情報伝送システムに対応したカメラ付携帯電話機22の正面図及び背面図である。このカメラ付携帯電話機22は、折り畳み可能な蓋部231と本体部232とからなるボディ23を有し、本体部232はアンテナ24を備えると共に、蓋部231は状態表示灯25、スピーカ26、液晶表示パネル等の表示部27、カメラキー28、オンフックボタン29、オフフックボタン30、カーソルキー(中央部押圧検出で決定指示)31、テンキーボタン群32、マイク33等を備えており、さらに、蓋部231の背面に、撮影レンズ34、集光レンズ35等を備えている。なお、撮影レンズ34と集光レンズ35は、視差を無くすために、できるだけ距離Lを近づけて配置されている。
図3は、カメラ付携帯電話機22に対するユーザ操作と当該カメラ付携帯電話機22の内部動作との関係を示すシーケンス図である。なお、光タグ装置18の符号パターンは、あらかじめ、提供情報者側で所望するものが入力されているものとする。また、たとえば、あらかじめキャンペーンの告知として、事前に、テレビコマーシャルや雑誌等の媒体や当該カメラ付携帯電話機22にメールマガジンのような形式で、「XXXの屋外看板に注目!光タグで各種のサービスを提供中!アクセスコードはXXXXXX」などといった情報を取得させて広く知らせておくことが好ましい。“X”は任意の文字又は任意の数字若しくは任意の記号である。ただし、情報提供に対して、個別のアクセスコードを入力させる方法でなく、誰でも使用できるアクセスコードを入力させるようにしてもよい。
まず、カメラ付携帯電話機22のユーザは、光タグ装置18を有する看板16を見つけると、アクセスコードを入力し(ステップS11)、カメラ付携帯電話機22のカメラキー28を押す(ステップS12)。カメラ付携帯電話機22は、このボタン操作に応答して、通常の電話機利用状態(待ち受け状態又は通話状態)から光タグの検出及び受信状態へと切り替わり(ステップS13、ステップS14)、カメラで撮影した画像を表示部27に表示するとともに、その画像内に小さな指標(図4(a)の照準枠40を参照)を重畳表示する(ステップS15)。
図4(a)は、表示部27の表示例を示す図である。この図において、表示部27の上端部には携帯電話の受信状態指標36や、現在時刻指標37及びバッテリ残量指標38などが表示されており、また、表示部27の下端部には操作案内メッセージ39が表示されている。表示部27の上端部と下端部以外の広い範囲には、このカメラ付携帯電話機22のカメラのスルー画像(毎秒数十フレームの動画)が表示されており、たとえば、図示の例では、図1(a)の看板16を含むスルー画像が表示されている。スルー画像中の星印記号は、図1(a)の光タグ装置18を模式的に示したものであり、この光タグ装置18の光の点滅が、取得したい情報である。ただし、光の点滅を見ただけでは、その情報の中身を知ることはできない。所定の端末(カメラ付携帯電話機22)を用いて、その光を受光することにより、カメラ付携帯電話機22の内部で情報の中身が再生され、カメラ付携帯電話機22の表示部27に表示されるようになっている。
第一実施形態におけるカメラ付携帯電話機22は、表示部27に表示されているスルー画像の全体を処理して、上記の情報を再生するのではなく、スルー画像内の小さな照準枠40に囲まれた特定の部分だけを限定的に処理して、上記の情報を再生するようにしている。これにより、無駄な処理を回避して情報再生の応答性の改善を図っている。つまり、前記の従来技術2とは異なり、スルー画像中の特定範囲内のみを処理して、光タグ装置18の情報の再生を行うようにしている。
さて、図4(a)の例においては、星印記号で示されている光タグ装置18の上に照準枠40が乗っていない。白抜き矢印41と破線枠42は、光タグ装置18の上に照準枠40を重ね合わせるのに必要な、カメラ付携帯電話機22の移動方向と、移動後のカメラ撮影範囲を便宜的に表している。
図4(b)は、光タグ装置18の上に照準枠40を重ね合わせたときの表示部27の表示例を示す図である。このように、ユーザはカーソルキー31を操作して、光タグ装置18の上に照準枠40を重ね(ステップS16)、カメラ付携帯電話機22は、状態表示灯25を点灯又は点滅する、もしくは、カーソルキー31の中央部が押圧されたことを検出して、光タグ装置18の情報検出処理を開始する(ステップS17)。
図5(a)は、光タグ装置18からの情報取得を失敗したときの表示部27の表示例を示す図である。たとえば、所定の時間を経過しても情報を取得できなかった場合や、外乱光の影響あるいは手ブレ等によって正しい情報取得ができなかった場合などである。このような場合は、図示のように、情報取得失敗メッセージ43と共に、失敗原因別の吹き出しメッセージ44、45を生成して表示部27に表示する。
図5(b)は、光タグ装置18からの情報取得に成功したときの表示部27の表示例を示す図であり、たとえば、情報取得成功メッセージ46と共に、光タグ装置18から取得した文字情報を含む吹き出しメッセージ47を生成して表示部27に表示する。
この間、カメラ付携帯電話機22は、検出結果表示を実行するとともに(ステップS18)、その検出結果について、文字化けなどのエラーがあるか否かを判断する(ステップS22)。検出結果がエラーである場合、すなわち、ステップS22においてNoの場合、カメラ付き携帯電話22は、本処理を行う以前の待ち受けの状態に戻るが、Yesの場合、後述のステップS20の処理を行う。また、ユーザは、ステップS18における結果に応じたアクションの開始確認や実行指示の操作を行う(ステップS19)、そして、情報取得成功であれば、たとえば、指定コマンドの実行、Webサービスへのログイン、情報ダウンロードなどのコマンド実行結果の表示を行い(ステップS20)、ユーザは、取得した情報を利用(たとえば、クーポン利用)する(ステップS21)。
図6(a)は、クーポンの画像ファイルをダウンロードしたときの表示部27の表示例を示す図であり、また、図6(a)は、クーポンの画像を示す図である。ユーザは、この図6(a)の画面をXデパートの店員に見せて当該クーポンを利用する。
図7は、第一実施形態におけるカメラ付携帯電話機22の内部ブロック構成図である。この図において、カメラ付携帯電話機22は、アンテナ24を含むデータ通信部48、データバッファ49、復号ビットバッファ50、カメラキー28などの各所ボタンを含む操作ボタン部51(28〜32)、スピーカ26やマイク33を含む音声入出力部52、表示部27、CPU53、加速度センサ54、手ブレ補正用アクチュエータ55、フォトディテクタ部56、撮影レンズ34、CCDやCMOS等の撮影用イメージセンサ57、画像バッファ58、表示バッファ59及び記憶部60などを備える。なお、これ以外にもバッテリ等の電源部を備えるが、図面の輻輳を避けるために省略している。
フォトディテクタ部56は、集光レンズ35、フォトディテクタ61、増幅及びA/D変換器62、タイミングジェネレータ63、マッチドフィルタ64、フィルタバッファ65を備える。
撮影レンズ34や撮影用イメージセンサ57を含むカメラ部分の構成に特筆すべきものはない。ユーザが意図する光タグに対して照準を合わせることができるファインダ的な機能や実画像の中での情報光源の位置を表示するための機能があればよい。そのため、カメラ部分のフレームレートは、たとえば、送出の信号速度が数十ビット/秒や数百ビット/秒であったとしても、照準確認上の問題はない、たとえば、10コマ/秒程度の画像取得能力でよい。なお、カメラ部分のゲインコントロール等の情報は、カメラ部分の内部で閉じずにフォトディテクタ部56のゲインコントロールの設定に流用してもよい。
フォトディテクタ部56は、光タグの輝度変動信号をデジタイズし、相関度評価までを行うブロックである。詳しくは後で説明する。
図8及び図9は、第一実施形態のカメラ付携帯電話機22における手ブレ補正の概念図である。図8(a)に示すように、フォトディテクタ61は、集光レンズ35の光軸上に位置している。第一実施形態では、フォトディテクタ61に併設されたアクチュエータ55により、フォトディテクタ61の位置を変化させて、光タグ装置18の光Aと検出点Bとを結ぶ光軸上にフォトディテクタ61が並ぶようにしている。
たとえば、アクチュエータ55を備えない場合には、図8(b)に示すように、手ブレによる光軸ずれが生じ、検出点Bにフォトディテクタ61が位置しない状態になるが、図8(c)に示すように、フォトディテクタ61にアクチュエータ55を併設し、フォトディテクタ61の位置を変化させることができるようにしておけば、フォトディテクタ61をC方向に移動させることができ、光軸ずれを補正できる。したがって、ユーザによるの多少の手ブレを検出しても光タグ装置18からの光Aをフォトディテクタ61が確実に捕らえることができる。
加速度センサ54は、図9に示すように、ユーザの操作による手ブレを2軸方向に検出する。CPU53は、加速度センサ54の検出信号に対応した大きさの手ブレ補正制御信号を発生し、その手ブレ補正制御信号でアクチュエータ55を駆動する。このように、2軸の加速度検出により、光タグに照準を合わせている最中の手ブレに対する補正を行うことができる。
なお、第一実施形態では、便宜的にフォトディテクタ61の検出画角を2度×2度の狭画角とし、補正の範囲を1度として説明する。カメラの操作にあまり慣れていない初心者の場合、約5度/秒という角速度で且つ1度程度の範囲で手ブレを起こすといわれている。通常このレベルの手ブレ補正機能は、一般的なデジタルカメラや双眼鏡等に装備されているため、フォトディテクタ61の狭画角(2度×2度)で照準を合わせるためには十分と考えられる。なお、後述するように、感度、検出画角、光タグとの距離や大きさの規格によっては、この手ブレ補正を省略することも可能である。
ここで、カメラ付携帯電話22における撮影レンズ34(撮影用イメージセンサ57)、および、フォトディテクタ部56の配置構成について、具体的に本発明の動作が成立する設計例を示す。
図10は、カメラ付携帯電話22における撮影レンズ34(撮影用イメージセンサ57)の撮像画角(仰角−俯角32度程度の広画角)を示す図であり、図11は、カメラ付携帯電話22におけるフォトディテクタ部56の検出画角(仰角−俯角2度程度の狭画角)を示す図である。第一実施形態では、典型的な利用距離を数m〜百m程度とし、光学系配置による画角のずれは影響しないものとして無視し、2つの光軸は平行であるとする。ただし、近距離での利用を考えて、2つの光学系をできるだけ接近(図2(b)の距離L参照)させて実装することが望ましい。また、近距離での利用をメインとする場合は、2つの光学系の光軸の角度を、手ブレ補正へのバイアスを行うことで、適宜調節可能としてもよい。
図10に示すように、撮影レンズ34等は、ユーザが手持ちで撮影した画像範囲から照準を合わせやすいように、また、通常のカメラモードでの動作を意識して、通常のカメラ画角とする。ここでは具体的に、仰角−俯角32度×左右角32度の範囲で、480ドット×480ドットの画像を取得するものとする。一方、図11に示すように、フォトディテクタ部56のフォトディテクタ61(集光レンズ35等)は、遠方の信号源を十分集光できるようするために、大きなレンズで十分な集光を行うことが望ましい。第一実施形態では、その画角を仰角−俯角2度×左右角2度とする。この画角は、照準枠40の大きさに相当する。
第一実施形態では、ユーザの使い勝手を考えて、カメラ画像の画角で中央やや上の位置に照準枠40を表示し、それに合わせる光学系としている。このため、図11に示すように、フォトディテクタ61は光軸中心よりややずれた位置に配置される。
なお、図10や図11は、いずれも「合わせレンズ」構成になっているが、これは、たとえば、望遠であることを明示するための説明の都合であり、他の構成の光学系(たとえば、単レンズなど)を排除する意図はない。最終的な実装としては、むしろ、光学レンズは画像の品質確保のために複雑なレンズ群を必要とするが、その詳細は様々な目的用途で公知であるので省略する。
一方、フォトディテクタ61の光学系は、照準となる領域が正確に結像するわけでなく、単に該当画角領域がフォトディテクタ61に(必要な明るさのレンズで)集光されればよく、収差や被写界深度、あるいは、必要な精度等を低く作ることができるため、材料も含めてきわめて簡易かつ低コストな構成が可能である。また、フォーカスについても、利用距離を考慮したパンフォーカスでよい。
図12(a)、(b)は、光タグ装置18の内部ブロック構成図である。光タグ装置18は、タイミングジェネレータ66、1/N分周器67、送出データメモリ68、パターンデータ発生部69、第一制御/駆動部70、第二制御/駆動部71を備える。第一制御/駆動部70は二つのアンドゲート72、73と、二つのインバータゲート74、75と、一つのオアゲート76とからなり、また、第二制御/駆動部71は、フロントライト77と反射型液晶シャッタ78とからなる。
図13(a)は、フロントライト77と反射型液晶シャッタ78を示す図である。フロントライト77は、反射型液晶シャッタ78を照らせるものであればよい。すなわち、図のように、単純に照準の邪魔にならないところから照らせればよい。なお、光タグ装置18の光源は、この例に限らず、たとえば、図13(b)のように、直接発光する光源80と、周囲光の回り込みや消灯時のできるだけ低い輝度を確保するためのフード81とを含み合わせた構成としてもよいが、晴天日中の戸外で十分な輝度変動を確保できる点では、図13(a)の構成の方が、よりローパワーに構成できる可能性があるので望ましい。
次に、光源の輝度、距離、面積、フォトディテクタの感度、ダイナミックレンジ、S/N等について説明する。光源や検出素子の実際値の概算例は、以下のとおりである。なお、言うまでもなく、以下の概算例は、光度関連の計算をかなり簡略化したモデルに基づくものである。
まず、第一実施形態において、光タグ装置18は図13に示されるようにフロントライト77と反射パネル78とで構成され、環境として、晴天日中の戸外から夜間の屋外まで使えるものとする。
反射パネル78の大きさは1平方メートルであり、フロントライト77が発光状態にあるときの反射係数を30%、フロントライト77が発光していない状態にあるときの反射係数を2%とする。また、フロントライト77は、1000ルーメン(家庭用電球1個程度)の光を反射パネル78の全面(1平方メートル)に均一に照射できるものとする。
輝度の算出方法は、「輝度=反射係数×照度/π」で一般的に求められる。
(a)輝度がXA(周囲環境:晴天屋外)
(b)輝度がXB(周囲環境:夜間街灯下)
の両極端の条件での光タグの輝度を算出した場合について、図14に図示する。
図14は、光タグの輝度計算結果を示すグラフ図である。
(a)環境照度(対数X軸)において、輝度がXA(10万ルクス)にあるとき
a−1:反射パネル78のみの輝度(A点)
(10万×0.3)/π=9543cd(1平方メートル当たり)
a−2:フロントライト77の照射分を加算した場合の輝度(B点)
フロントライト77が1平方メートルにスポット照射した1000ルーメンの光は、1000ルクスであると仮定する。この場合、フロントライト77による輝度上昇分は
1000×0.3/π=10cd(1平方メートル当たり)
であり、a−1の輝度に加算すると、
9559cd(1平方メートル当たり)となる。
a−3:フロントライト77が発光していない状態の反射パネル78のみの輝度(C点)
(10万×0.02)/π=636cd(1平方メートル当たり)
この結果より、輝度がXA(周囲環境:晴天屋外)であるときは、フロントライト77が発光している時と発光していないときの輝度の比率は15:1である。
(b)環境照度(対数X軸)において、輝度がXB(100ルクス)にあるとき
b−1:反射パネル78のみの輝度(D点)
(100×0.3)/π=9.54cd(1平方メートル当たり)
b−2:フロントライト77の照射分を加算した場合の輝度(E点)
フロントライト77による輝度上昇分は
1000×0.3/π=10cd(1平方メートル当たり)
であり、b−1の輝度に加算すると、
19.54cd(1平方メートル当たり)
b−3:フロントライト77が発光していない状態の反射パネル78のみの輝度(F点)
(100×0.02)/π=0.6cd(1平方メートル当たり)
この結果より、輝度がXB(周囲環境:夜間街灯下)であるときは、フロントライト77が発光している時と発光していないときの輝度の比率は32:1となる。
以上のように、晴天昼間戸外等の明るい環境では、環境光反射による輝度差で十分な変動幅が確保でき、一方、夜間屋外等の暗い環境では、フロントライト77による輝度差で十分な変動幅が確保できることがわかる。
なお、輝度に注目すると、近距離でこの値をそのまま観測するにしても、9559:0.6=42dbのダイナミックレンジが得られる。実際、現状でも45db程度のダイナミックレンジの輝度計があるので、後述するような変調方式にスペクトラム拡散などのノイズ耐性の強いものを使えば、このまま測定することも可能であるが、高精度なフォトディテクタと、A/Dのビット数も多ビット(8ビット以上)必要となるため、第一実施形態では、現状のデバイスでも安価に端末を構成できる方法として、フォトディテクタのゲイン(場合によってはレンズ絞りも)を制御し、図14の台形図形枠81で示すように、以下のようなゲイン調整をしている。
(a) 明るくて変動の幅が大きい晴天屋外環境などでは、ゲインを下げて(それに加えてレンズ絞り等も併用し)、飽和しないようにする。
(b) 暗くて変動幅が少ない夜間屋外などでは、ゲインを上げる。
このようにすれば、環境照度条件に合わせ、20db程度のダイナミックレンジで、8ビット程度のA/Dコンバータですむ制御が可能になる。なお、フォトディテクタのゲインを制御する情報は、カメラ系が、やはり少ないダイナミックレンジで正常に撮影するために細かくゲイン制御を行っているので、これを流用してフォトディテクタの系も制御してもよい。
さて、実際には、この光タグ装置18の輝度は離れた端末(カメラ付携帯電話機22)のフォトディテクタ61で観測される。本発明のフォトディテクタ61は、単体であるので、通常イメージセンサ(撮影用イメージセンサ57)内で使われるフォトダイオードに比して、数倍〜数十倍も、受光センサのサイズを十分大きくとることができ、高速動作しても、十分な感度、ダイナミックレンジを確保できる。この光タグ装置18は、実際には、2度×2度の視野角の中で観測するため、1平方メートルの大きさのパネルだと、フォトディテクタ61が2度×2度の狭画角であれば、30メートル以内で画角一杯に輝度変動の検出ができるので、非常に良好な検出となる。
図15は、フォトディテクタ61の検出概念図である。図示のように、フォトディテクタ61の画角を2度×2度としても、近距離(概ね30メートル以内)では、画角一杯に輝度変動の検出を行うことができる。また、それ以上の距離、たとえば、60メートルの距離となると、1平方メートルの大きさのパネルは、周囲の輝度とパワーが平均されて輝度の変動が1/4となり、さらに離れた距離、たとえば、90メートルでは1/9となる。実用上は、ゲインの制御やA/Dの精度によるが、元の光タグ装置18の変動自体が、ある条件下で見ると、「15:1」や「32:1」などの十分高い比率で変動しているので、1平方メートルの大きさのパネルであっても、100メートル程度に設定することは可能である。これはたとえば、デジテルカメラのレベルでも、画素以上の面積がある対象で、適切に露光設定されていれば、非常に遠距離であっても、白い紙と黒い紙を区別して撮像できることからも明らかである。また、より遠距離でも安定した検出を行うためには、より大きなパネルや光度の高いフロントライト77を使うなど、より高精度の手ブレ補正とより狭いフォトディテクタの検出画角にするなどの方法で対応可能である。また一方、比較的近距離内であれば、手ブレ補正機構を省略して、余裕をもった検出画角とする方法も考えられる。
次に、データ形式と光タグの変調および復調について説明する。
図16は、データ形式のフォーマット構造図である。ソースデータブロック82は、固定長の先頭ブロック83と、その先頭ブロックの後に続く可変長のパラメータブロック(図では第1〜第3パラメータブロックの三つであるが、このブロック数は一例である)84〜86とから構成されている。先頭ブロック83は、コマンドコード部87、第1パラメータブロックバイト長格納部88、第2パラメータブロック長格納部89、第3パラメータブロック長格納部90からなり、第1〜第3パラメータブロック長格納部88〜90に、第1〜第3パラメータブロック84〜86の実際の長さ(バイト長)を格納する。
図17は、コマンドコード部87の格納コードと、そのコードの意味を示す図である。この図に示すように、コマンドコード部87には、たとえば、“0”〜“6”までのコードを格納可能であり、これらのコードは、端末(携帯電話)の動作を指令するためのコマンド、たとえば、携帯電話のWebアクセスやメール又はスケジューラなどのアプリケーションを、取得したデータを元に制御できるようにするものである。ちなみに、コード“0”でパラメータ“1”だけのケースは、従来技術2に相当する。
図18は、データの一例を示す図である。この例では、コマンドコード部87にコード“2”がセットされており、第1〜第3パラメータブロック長格納部88〜90に、それぞれ“107”、 “20”、“0”がセットされている。そして、第1パラメータブロック84と第2パラメータブロック85に、それぞれ、前記の図5(b)の表示情報(“情報取得完了!・・・・接続してよいですか?”)と、接続に必要なアクセス情報(IDやパスワード)が格納されている。なお、図示の例では、第3パラメータブロック86は未使用である。
図19は、光タグ装置18のプロセス図である。この図において、光タグ装置18は、ソースデータブロック82を受け取ると、データ圧縮や誤り訂正及びフラグシーケンスの付加を行い、データブロック820を生成する。そして、それらを互いに相関度の低い2種類のビットパターン系列に変換したデータブロック821を用いて発光のオン/オフ制御を行う。
図20は、ビットパターン系列のパターン拡散方式の説明図である。第一実施形態では、ビットパターン系列(SA、SB)の長さを長くして、SA=「111101011001000」、SB=「000010100110111」の各15ビットとする。今、光タグ装置18の最小のON/OFFスロット時間(図10のタイミングジュネレータ66の最小周期)を1ミリ秒とすると、1ビット送るのに必要な時間は15ミリ秒であり、ペアのビットレートは約67ビット/秒である。ただし、実質のビットレートは、伝送するデータがテキストが主であるので、誤り訂正による冗長化をデータ圧縮が上回り、これ以上のものになると考えられる。また、検出に要する時間は、あるフレームが最終的に50バイトになったとすると、50×15=0.75秒であるから、0.75秒で1フレームを取得できる。ただし、ある時点からのデータ取得がフレームの途中からだとすると、最悪で1.5×2=3秒で情報の取得が可能になる。
次に、端末(カメラ付携帯電話機22)で行う変調処理の詳細について述べる。まず、同期についてであるが、このようなパターンによる符号拡散変調の場合、光タグ装置18と端末(カメラ付携帯電話機22)の両方で同期を取る必要がある。第一実施形態では、端末をカメラ付携帯電話機22としており、端末側で通信機能を持つので、光タグ装置18との間で必要精度以上で独立同期を確保するのは容易であるし、または、検出が成功するまで、一定の位相ステップで端末側で検出タイミングをシフトさせるという方法も可能である。
本発明では、フォトディテクタ61による連続量での観測を行っているので、これに適した同期および検出の方法として、いわゆるマッチドフィルタのピークを利用して、パターンの1周期の開始タイミングを取得するものとする。これは、たとえばCDMA(Code Division Multiple Access)通信などにおけるSAW(表面弾性波)マッチドフィルタによる同期補足(GHz帯でSAWデバイス利用するもの)を第一実施形態のKHz帯域に応用したものである。
図21は、カメラ付携帯電話機22のフォトディテクタ部56の概念構造図(図7の破線部の内部詳細に相当)である。ゲインコントロールされて観測された目的画角内の輝度値は、第一実施形態ではパターン符号の時間スロットの4倍の周期、すなわち、4KHzでA/Dサンプリングされ、FIFOバッファに入れられる。このサンプルクロックの位相は、光源(光タグ装置18)と非同期であってもよいが、周期の誤差は一定に収められている必要がある。バッファの長さは、符号パターンである15ビットが4倍の周期でサンプリングされるので、60サンプル分がFIFOに逐次格納される。FIFOの特定アドレスは4つごとに取り出され、符号ビット1に相当するデータ群と、符号ビット0に相当するデータ群は、重み付けされつつ、総和計算を行うマッチドフィルタを構成する。なお、サンプルされたFIFOデータをCPUが逐次に読取り込んでソフト的に計算するようにしてもよい。
このフィルタの値域は、入力信号の相関値を示し、
最大:255×8/8+(0×7)/7=255
最小:0×8/8−(255×7)/7=−255
で、直流入力のとき0×8/8−(255×7)/7=0である。ただし、目的パターンが入力され始めて、検出同期が取れるまでである。目的パターン存在しないときには、正または負の小さな値をとる。
図22は、目的パターン信号は入力されているが、まだ位相が合っていない時刻(4符合ビット分=16サンプル分ずれている)における状態図である。図中のグラフは、FIFOに格納されているデータサンプル値の時系列的な変化を示している。実際の観測は、図のように、実検出のスケール(MAX255)に比べて微小な信号変動となる。実際には、図のように観測データにノイズが乗るが、ここでは簡単化のために、1レベルで“140”、2レベルで“120”であるとすると、このフィルタの出力は、約−1である。
図23は、検出位相が合ったときの状態図である。この状態では、出力は加えられたパターンの変動幅“20”を出力する。そして、ここから4サンプルの時間の間(グラフ上破線の状態まで)ほぼこのピークが持続し、急激に出力が低下する。実際、観測信号を、たとえば、明状態で“140”、暗状態で“120”として検出できている場合、各サンプル時刻での出力を計算すると、位相が合っている4サンプル時間だけがピークの“20”を示し、あとは、“−1.4”となる。このように、ピークをきわめて簡単に検出できるので、それ以後の検出タイミングを合わせやすい。フィルタ出力は、図21で示したように、4サンプル分のFIFOに格納される。
図24は、FIFOからCPUが0/1のビットを判定し、復号ビットバッファ50に格納するまでの処理を示すフローチャート図である。この処理では、復号ビットバッファ50には一部の誤りを含みつつ、ビット列がデコードされて格納されるので、あとは、通常のビット列に対するデータ処理で、フレーム検出(この実施形態では、データフレームの最初と最後に1の連続)や、誤り訂正ブロックを取り出して誤り訂正を行い、送出されたソースデータブロックを復元してそれに従った処理を行う。
具体的には、まず、フィルタバッファ65のデータを読み取り(ステップS31)、安定した“1”の取り出しを行うために、4サンプル時刻連続してスレッシュを超えたか否かを判定する(ステップS32)。
4サンプル時刻連続してスレッシュを超えた場合は、t=−1のデータ(オーバーサンプリングしたデータの中から安定しているタイミングの中頃:−2でもよい)を取り出し(ステップS33)、フィルタ出力値がスレッシュを超えているか否かを判定する(ステップS34)。そして、フィルタ出力値がスレッシュを超えていれば、復号ビットバッファ50に“1”を格納し(ステップS35)、フィルタ出力値がスレッシュを超えていなければ、フィルタ出力値がスレッシュ×(−1)を超えているか否かを判定する(ステップS36)。
そして、フィルタ出力値がスレッシュ×(−1)を超えていれば、復号ビットバッファ50に“0”を格納し(ステップS37)、フィルタ出力値がスレッシュ×(−1)を超えていなければ、復号ビットバッファ50に“0”をランダムに格納する(ステップS38)。次いで、上位シーケンスからの検出停止の有無を判定し(ステップS39)、検出停止があれば、処理を終了する一方、検出停止がなければ、4サンプル時間を待ってから(ステップS40)、再びt=−1データの取り出しを行い(ステップS41)、以上のステップS34以降の処理を繰り返す。
以上のとおりであるから、第一実施形態によれば、以下の効果が得られる。
(ア) データ通信の受信を専用のセンサ(フォトディテクタ61)で行うので、実際のカメラ画角画像とその中の位置と情報を取るという従来技術2の利便性をそのままに、データの転送速度、つまり、情報の取得までのディレイ時間や伝送速度を速めることができる。
(イ) 光の変調の処理については、1データに対するバッファリングや演算処理となるので、非常に簡便な処理構成とすることができる。
(ウ) フォトディテクタ61の光学系に手ブレ補正を加えたため、狭い検出画角で手持ち撮影する端末であっても、安定した検出を可能にすることができる。
(エ) 屋外広告と携帯電話とを併用する利用スタイルに適用したので、これにより、広告主は、限定サービス的なプロモーションが可能になるし、屋外広告に対する広告効果の定量的計測も可能になる。一方、ユーザも、特別な情報提供を伴う看板ということで、広告への認知度が自然に向上する効果がある。
(オ) また、たとえば、ICタグやカメラによる2次元コードによる情報提供などと比較して、きわめて広いエリアを対象とすることができ、しかも、看板等々の物理実体と組み合わせた情報提供が可能になるので、独特の広告効果をもたらすことができる。
(カ) また、伝送データに様々な通信連携コマンドを組み込めるようにしたので、やはり非常に効果的な情報提供が可能となる。
(キ) 符号拡散したパルス変調としたので、微弱な輝度信号でも安定して検出できる。
(ク) オーバーサンプリングした連続データに対して、マッチドフィルタを構成したので、光タグ装置側と端末側の位相同期合わせが簡単にできる。
(ケ) 光タグ装置18をフロントライト77と反射型液晶シャッタ78とを組み合わせた構成にしたので、室内のみならず、晴天日中屋外から夜間屋外までの様々な状況においても、安定した輝度変動をもたらすことができる。
(コ) 看板16と光タグ装置18という配置手段としたので、ユーザが認知しやすく、しかも、独特の広告効果をもたらすことができる。
(サ) カメラの露光制御データからフォトディテクタ61のゲイン制御等を行うので、利用状況に合わせた最適なダイナミックレンジや感度を確保できる。
なお、従来技術2では、最終的な光源の変調に関して、離散的、完結的な画像データから高いS/N比で伝送できる方法として、ビットをパターンに拡散する変調方法しかできなかったが、第一実施形態では、フォトディテクタ61による方法で、高速かつ、連続量観測ができるので、検出データの特性が確保できれば、より単純な変調方式、たとえば、特定キャリアの周波数(10KHz等)でのパルス変調とするなどしてもよい。その他、パルス周波数の切り替え変調でも同様である。
また、従来技術2でも述べたように、カメラおよび画面上での照準合わせを省略して、フォトディテクタ61のみとして、単純な筒、または、望遠光学ファインダだけで照準を合わせ、表示、動作を行わせることも可能である。
<第二実施形態>
ところで、以上の第一実施形態では、光タグ装置18の輝点を受光するための受光手段にフォトディテクタ61を用いているが、これに限定されない。情報提供対象物(光タグ装置18)の大きさに対応した画角を有するものであればよい。たとえば、CCDやCMOSなどのイメージセンサであってもよく、あるいは、複数のフォトディテクタを平面上に配列したものであってもよい。
以下、CCDやCMOSなどのイメージセンサを利用した実施形態(以下、第二実施形態という)を説明する。
図25は、第二実施形態におけるカメラ付携帯電話機220の内部ブロック構成図である。この図において、カメラ付携帯電話機220は、前記の実施形態のフォトディテクタ61の代わりにイメージセンサ(以下、撮影用イメージセンサ57と区別するために「通信用イメージセンサ610」という。)を用いた点に特徴がある。
すなわち、第二実施形態におけるカメラ付携帯電話機220は、アンテナ24を含むデータ通信部48、データバッファ49、復号ビットバッファ50、カメラキー28などの各所ボタンを含む操作ボタン部51(28〜32)、スピーカ26やマイク33を含む音声入出力部52、表示部27、CPU53、加速度センサ54、手ブレ補正用アクチュエータ55、通信用イメージセンサ部560、撮影レンズ34、CCDやCMOS等の撮影用イメージセンサ57、画像バッファ58、表示バッファ59及び記憶部60などを備える。なお、これ以外にもバッテリ等の電源部を備えるが、図面の輻輳を避けるために省略している。
通信用イメージセンサ部560は、集光レンズ35、通信用イメージセンサ610、増幅及びA/D変換器62、タイミングジェネレータ63、マッチドフィルタ64、フィルタバッファ65を備える。
前記の実施形態と同様に、撮影レンズ34や撮影用イメージセンサ57を含むカメラ部分の構成に特筆すべきものはない。ユーザが意図する光タグに対して照準を合わせることができるファインダ的な機能や実画像の中での情報光源の位置を表示するための機能があればよい。そのため、カメラ部分のフレームレートは、たとえば、送出の信号速度が数十ビット/秒や数百ビット/秒であったとしても、照準確認上の問題はない、たとえば、10コマ/秒程度の画像取得能力でよい。なお、カメラ部分のゲインコントロール等の情報は、カメラ部分の内部で閉じずに通信用イメージセンサ部560のゲインコントロールの設定に流用してもよい。
通信用イメージセンサ部560は、光タグ装置18の輝度変動信号をデジタイズし、相関度評価までを行うブロックであり、基本的に、前記実施形態のフォトディテクタ部56(図7参照)と同様の働きをするが、前記実施形態のフォトディテクタ部56が1個の光電変換素子(フォトディテクタ61)を備えるのに対して、第二実施形態の通信用イメージセンサ部560は、CCD又はCMOS等で構成された複数の光電変換素子(画素)からなる二次元のイメージセンサ(通信用イメージセンサ610)を備える点で相違する。
フォトディテクタ61と通信用イメージセンサ610は、どちらも「光を電気信号に変換する」デバイスである。フォトディテクタ61は単一の光電変換素子で構成されているのに対して、通信用イメージセンサ610は複数の光電変換素子(複数の画素)で構成されている点で相違する。ただし、通信用イメージセンサ610の画素数は撮影用イメージセンサ57よりも少なくてよい。つまり、撮影画質が要求される撮影用イメージセンサ57に比べて、単に狭画角内の輝点の検出を行うだけでよい通信用イメージセンサ610は、低解像度(たとえば、30ドット×30ドット)のもので構わない。
情報を発する光源(光タグ装置18)は、前記の実施形態と同じく1kHzのベースバンド信号を4倍の速度でサンプリングするものとする。したがって、通信用イメージセンサ61′のフレームレートは4000フレーム/秒となり、1/400〔秒〕=0.25ミリ秒であるので、0.25ミリ秒一定のシャッタ速度で必要なダイナミックレンジを満たすようにデバイス設計すればよい。
通信用イメージセンサ610の解像度を既述のとおり、30×30ドットとすると、この場合のフレーム全画素読み出しのデータレートは、1ドットを8ビットのデータとして、30×30×4000=3,600,000フレーム/秒になる。
一般的なVGA(640×480ドット)規格のイメージセンサの場合、30fps(フレーム/秒)は常用の帯域幅であり、この30bpsのデータレートは、640×480×30=9,216,000ドット/秒であるので、第二実施形態の通信用イメージセンサ610のデータレート(3,600,000フレーム/秒)程度であれば、余裕を持って実現することができる。
次に、具体的設計数値及び検出角度、距離並びに対象の大きさの関係について説明する。想定する利用状態を前記の実施形態の図1(a)と同じとする。また、光タグ装置18と端末(カメラ付携帯電話機220)との距離を50mとし、光タグ装置18の光源の大きさを10cm×10cmの矩形(10cm四方)とする。
図26は、第二実施形態のカメラ付携帯電話220における撮影レンズ34(撮影用イメージセンサ57)の撮像画角(26度×39度程度の広画角)を示す図であり、図27は、同カメラ付携帯電話220における通信用イメージセンサ610の検出画角(6度×6度程度の狭画角)を示す図である。
ここで、手ブレや大雑把な照準合わせを実現する目標値の一例として、50m先の5m範囲をセンサ画角(通信用イメージセンサ610の画角:6度×6度)とする。6度は正接(5m/50m)で与えられる。画角6度四方で且つ30×30ドットの通信用イメージセンサ610の1ドットあたりの被覆角度は約6/30=0.2度四方で与えられる。
図28(a)〜(d)は、光タグ装置18の照明部分の面積(10cm×10cm)のそれぞれの距離における見かけのドットサイズGを示す図である。
たとえば、図28(a)に示すように光タグ装置18がカメラ付携帯電話220の5m先、すなわち10cm≒1.1度である場合、光タグ装置18のドットサイズGは1.1/0.2=5.5ドット幅となり、輝度変化を100%取れる。また、図28(b)に示すように光タグ装置18がカメラ付携帯電話220の10m先、すなわち10cm≒0.6度である場合、光タグ装置18のドットサイズGは0.6/0.2=約4ドット幅となり、輝度変化を100%取れる。また、図28(c)、(d)に示すように光タグ装置18がカメラ付携帯電話220の50m先、すなわち10cm≒0.11度である場合、光タグ装置18のドットサイズGは0.11/0.2=約0.5ドット幅となり、1ドット以下の面積の輝度変化になって、パワーが1/4〜1/16程度になる。
このように、光タグ装置18から50m離れた場所(カメラ付携帯電話220の場所)では信号強度が1/4以下になるが、この程度の信号低下は何ら不都合を招かない。一般的なイメージセンサであれば、1ドットあたりのダイナミックレンジが30〜50dB程度であるので、1ドット被覆している状態でのON光源の検出レベルがダイナミックレンジの5割〜飽和レベルであれば、検出電圧が1/4(つまり−6dB)落ちてもまったく不都合を生じない。
なお、0.25ミリ秒のシャッタ速度についてであるが、一般的に光源の絶対輝度はほぼ一定でしかも視認性の要求上、周囲に対して非常に高い輝度レベルにあるので、通信用イメージセンサ610を上記の4000フレーム/秒(約0.25ミリ秒のシャッタ時間)で動作させても、レンズ口径やゲインなどで容易に対応可能であるため、光源の点滅情報を十分に取得できる。なお、周囲照明の照り返し等による輝度上昇が若干あるが、信号自体のON/OFFの輝度変化に比して、それは大きな問題でない。
もちろん、たとえば、周囲が暗くなった場合には、周囲画像はいわゆる「黒つぶれ」になるし、又は、晴天の場合などはいわゆる「白トビ」になるため、固定のシャッタ速度では、写真のような画像としての取得は困難であるが、通信用イメージセンサ61はもっぱら“通信用”であって、モニタ用や撮影用には利用しないので、情報光源以外の周囲画像が「白トビ」や「黒つぶれ」したとしても、何ら影響を受けない。
次に、第二実施形態では、手ブレ機構(アクチュエータ55)を不要にすることも可能である。これは、第一実施形態のフォトディテクタ61の画角「2度×2度」に対して、第二実施形態の通信用イメージセンサ610の画角が「6度×6度」と大きいからである。つまり、手ブレの許容量が3×3=9倍となり、大きなブレ(手ブレ・歩行・乗り物からの利用など)に対する耐性が強化される。なお、ここでは、通信用イメージセンサ610の画角を「6度×6度」としているが、これは一例に過ぎない。手ブレ耐性の点ではそれ以上の画角にしても差し支えない。
図29は、第二実施形態における手ブレ機構不要の概念図である。この図に示すように、通信用イメージセンサ610は、集光レンズ35の後ろに配置されており、光点Aの像は集光レンズ35を通して通信用イメージセンサ610の受光面に結像する。今、(a)に示すように光点Aが集光レンズ35の光軸上に位置しているとき、光点Aの像は通信用イメージセンサ610の受光面のほぼ中央の位置Bに結像するが、(b)に示すように光点Aが集光レンズ35の光軸からずれて位置しているときには、その光点Aの像も集光レンズ35の光軸からずれた位置B′に結像する。このとき、通信用イメージセンサ610の受光面の大きさが充分であれば、つまり、位置B′を含む程度の大きさであれば、位置Aの像は勿論のこと位置Bの像も撮影して、位置合わせ(位置Aの像に重ね合わせる)ことができ、それゆえ、画像処理による手ブレ補正を行うことが可能になる。したがって、手ブレ補正機構(アクチュエータ55)を備える必要がない。
なお、手ブレ補正のための画像処理方法としては、以下のものを利用することができる。
図30は、パターンを捕捉可能な動きの対応限界模式図である。通信用イメージセンサ610の各ドットを並行して処理する場合、この図に示すように、二つのパターン系列で複数フレーム(たとえば、15フレーム)を通じて重なりのドット座標Hが生じなければ、パターンとの相関を示すドットが生じず、したがって、パターン検出をできないことになる。
次式(1)は、パターンを捕捉可能な動きの対応限界の一般式である。
d>mpf×n×x ・・・・(1)
d:対象スポット直径(diameter)
mpf:1フレーム時間の移動ドット数(MovePerFrame)
n:拡散符号長(またはデータブロック長)
x:対象信号に対するキャプチャの倍速度
上式(1)に、n=15(SAおよびSBパターンのビット数=15ビット)、d=4(10m先の10em≒0.6度0.6/0.2=約4ドット幅)、x=4(1kHzのベースバンド信号を4kHzキャプチャで捕捉するので4)を当てはめ、この条件でmpfを解くと、次式(2)となる。
mpf<d/(n×x)=4/(15×4)
≒0.67ドット/1フレーム時間 ・・・・(2)
0.67ドットはおよそ0.134度であので、したがって、1秒あたりの角速度の場合、0.134×4000=536度/秒というきわめて早い角速度にも対応できることがわかる。もちろん、角速度の最大は536度/秒であるが、その変動範囲は、第二実施形態の場合、6度四方(通信用イメージセンサ61′の画角6度×6度)の中に収めなければならない。
これらの例示した値は、実際に本発明が利用される場合に、適切に設定される。たとえぼ、より小さい信号光源、より遠い信号光源に対応させる場合には、通信用イメージセンサ610の解像度を上げるようにすればよい。また、手ブレ等の許容範周が小さくてよい場合は、通信用イメージセンサ610の画角を絞ることで、より小さいドット面積に対応させることもできる。さらに、きわめて激しいブレに対応させるためには、さらにフレームレートを上げるなどしてもよい。ちなみに、フレームレートを上げれば、通信速度が上がることはいうまでもない。
いずれにしろ、第二実施形態では、通信用イメージセンサ610の画角(6度四方)の中に収めてさえいれば、如何に信号捕捉がブレようとも実用上問題はなく、通信用イメージセンサ610の手ブレ機構(アクチュエータ55)を不要にすることができる。
以上のとおりであるから、第二実施形態によれば、以下の効果が得られる。
まず、二次元通信の特質を出すことができる。つまり、通信用イメージセンサ610で複数の信号を同時に受信でき、それぞれ位置的に弁別(通信用イメージセンサ610の画素位置による弁別)することができる。
また、最小検出角度と検出範囲の両立を図ることができる。つまり、第二実施形態では検出照準の範囲を6×6度としたので、前記の実施形態の同範囲(2度×2度)の9倍の面積範囲に広げながら、最小の光源面積を0.2度以下とやはり9倍とすることができる。このため、同一光源であれば、前記の実施形態の3倍の距離でも検出可能であり、又は、同一距離であれば、前記の実施形態の1/9のサイズの小さな光源であっても検出可能であり、さらに、検出角度(画角)を広く取れるので、ユーザが行う照準エリアの範囲を検出限界の角度などを保ったまま大きくすることができる。したがって、大雑把な照準合わせが可能となり、情報取得時の操作性を向上できる。
また、機構の単純化を図ることができる。つまり、狭い限界検出角度を狙う場合に先の実施形態で示したような手ブレ補正機構(アクチュエータ55)を不要にすることができる。
また、コストメリットを図ることもできる。つまり、通信用イメージセンサ610の画素数は、撮影用イメージセンサ57に比べて少なくてよく、低解像度のもの(安価なもの)を使用できるため、しかも、光学系の精度も必要としないため、コストを抑えることができる。
また、通信に特化した二次元センサ(通信用イメージセンサ610)を使用するので、センサ感度の調整や設計が極めて単純になる。つまり、一般的な景色は、夜間から晴天の昼間まできわめて大きな照度のダイナミックレンジをもっているため、景色を写すカメラはシャッタ速度、レンズ絞り、ゲインなどを組み合わせて数十〜100dBの実世界の照度及び輝度範囲をまかなわなければならない。
しかし、第二実施形態のように、通信専用のイメージセンサ(通信用イメージセンサ610)を使用するようにすれば、光通信だけを目的にしたセンサとなるので、モニタ画像取得等の処理を一切考える必要がなく、一方、情報光源側は、一定の絶対輝度をもつため、ゲインの調整は目的信号に対してだけ行えばよいので、感度の調整や設計が極めて単純になる。
図31〜図33は、第二実施形態のカメラ付携帯電話機220に適用して好ましい制御プログラム(撮影モードプログラム)のフローチャートを示す図である。このフローチャートを開始すると、まず、撮影用イメージセンサ57等のカメラ部を起動し(ステップS51)、そのカメラ部で撮影したフレーム画像を構図確認用のスルー画像として表示部27に表示する(ステップS52)。
次いで、ユーザによって、所定のサブメニューの表示指示が行われたか否かを判定する(ステップS53)。“所定のサブメニュー”とは、光タグ装置18からの情報受信用メニューのことであり、当該メニュー選択用のボタンが、あらかじめ操作部51に設けられているものとする。
サブメニューの表示指示が行われなかった場合は、撮影モード用の通常処理を実行し(ステップS54)、一方、サブメニューの表示指示が行われた場合は、以下の処理を実行する。
すなわち、表示部27に上記の所定のサブメニューを表示し(ステップS55)、そのサブメニューで、光タグ装置18からの情報を受信して、その情報を撮影画像と一緒に記憶するか否かをユーザに問い合わせる(ステップS56)。
そして、ユーザによって否定(情報の記憶を行わない)選択が行われた場合は、上記の通常処理(ステップS55)に戻り、肯定(情報の記憶を行う)選択が行われた場合は、表示部27に表示中のスルー画像内に所定の“グリッド”を表示する(ステップS57)。
ここで、“グリッド”とは、通信用イメージセンサ610の画角(6度×6度)を表す矩形状の枠線であり、前記の実施形態の照準枠40(図4(a)参照)に相当するものである。光タグ装置18からの情報を受信しようとするユーザは、そのグリッド内に、光タグ装置18の全体または光タグ装置18を含む看板等の掲示物が収まるように、カメラ付き携帯電話機220の向き(撮影方向)を調節する。
次に、グリッド内に輝点が検出されたか否かを判定する(ステップS58)。
グリッド内に輝点が検出されなかった場合(ステップS58の判定結果が“NO”の場合)は、操作部51のシャッタボタン(不図示)の押し下げ操作を判定し(ステップS59)、シャッタ操作が行われなければ、再びステップS57に復帰する。シャッタ操作が行われた場合は、その時の撮影用イメージセンサ57の撮影画像を取り込むとともに(ステップS60)、光タグ装置18からの情報を受信していないことを警告するための所定のメッセージを表示部27に表示し(ステップS61)、ユーザによる画像保存指示を検出する(ステップS62)。そして、保存指示がなければ、撮影した画像を破棄して(ステップS63)フローチャートを終了(メインプログラムへリターン)し、一方、ユーザによる画像保存指示を検出すると、撮影した画像をファイル化し(ステップS64)、そのファイルを記憶部60に保存(ステップS65)した後、フローチャートを終了(メインプログラムへリターン)する。
このように、グリッド内に輝点が検出されなかった場合は、光タグ装置18からの情報を受信していないことを警告するための所定のメッセージを表示した後、通常のカメラ撮影と同様に、その時の撮影画像をファイル化して記憶保存することができる。このため、ユーザは、上記の警告メッセージによって、光タグ装置18からの情報を受信できなかったことを知ることができる。つまり、保存された画像が通常のカメラ撮影と同じもの(情報無し画像)であることを直感的に知ることができる。
一方、グリッド内に輝点が検出された場合(ステップS58の判定結果が“YES”の場合)は、そのグリッド内の輝点部分を差別化表示する(ステップS66)。ユーザは、差別化表示された輝点部分を確認し、その輝点部分がグリッド内に収まっているかなどを判断して必要であれば、カメラ付き携帯電話機220の向き(撮影方向)を微調整する。
次いで、操作部51のシャッタボタン(不図示)の押し下げ操作を判定する(ステップS67)。そして、シャッタ操作が行われなければ、再びステップS66に復帰し、シャッタ操作が行われた場合は、その時の撮影用イメージセンサ57の撮影画像を取り込む(ステップS68)。
ここで、撮影用イメージセンサ57は、毎秒数十枚フレームの画像を連続的に生成出力するが、グリッド内の輝点(光タグ装置18の輝点)も、毎秒数回ないしは数十回の周期で点滅する光であるため、撮影用イメージセンサ57からは、輝点を含む画像と含まない画像の二種類の画像が生成出力されることになる。保存記憶用の撮影画像としては、輝点を含まない画像を使用することが望ましい。輝点を含む画像を保存した場合、その輝点が邪魔になって画像の見栄えが悪くなるからである。かかる理由より、第二実施形態では、ステップS68で保存用の画像を取り込む際に、輝点を含まない画像を選択するようにしている。
画像の取り込みを完了すると、次に、光タグ装置18からの情報受信を終了したか否かを判定する(ステップS69)。終了していない場合は、表示部27に情報受信中を示す砂時計等のアイコンまたは記号若しくはメッセージを表示し(ステップS70)、ステップS69を繰り返す。
光タグ装置18からの情報受信を終了すると、次に、ステップS68で取り込んでおいた画像(輝点を含まない画像)と受信した情報とをまとめて一つの画像ファイルを生成すると共に(ステップS71:関連付け手段)、受信した情報を表示部27に表示する(ステップS72:表示手段)。
次に、ユーザによる画像保存指示があるか否かを判定し(ステップS73)、画像保存指示がなければ、ユーザからの情報の再受信要求があるか否かを判定する(ステップS74:操作受け付け手段、再受信実行手段)。情報の再受信要求がある場合は、表示部27に表示した情報にエラーがあったとみなし、ステップS69以降を再実行する。ここで、情報の再受信を行う際には、画像の取り込み(ステップS68)を行わないようにしている。これは、ステップS68で取り込んでおいた画像に何らの不都合がなく、単に光タグ装置18からの情報受信の際に何らかのトラブル(通信障害等)が生じただけであるからである。このようにすると、情報の再受信を行う際の処理負担軽減及び処理時間短縮を図ることができる。
情報の再受信を行わない場合は、ステップS71で生成した画像ファイルを破棄して(ステップS74)、フローチャートを終了(メインプログラムへリターン)する。また、情報の受信が正常に完了し、且つ、画像の保存指示が検出された場合(ステップS73の“YES”)は、ステップS71で生成しておいた画像ファイル、すなわち、ステップS68で取り込んでおいた画像(輝点を含まない画像)と受信情報とを含む画像ファイルを記憶部60に保存し、フローチャートを終了(メインプログラムへリターン)する。
ここで、ステップS68で取り込んでおいた画像(輝点を含まない画像)と受信情報とを含む画像ファイルの一例としては、デジタルカメラの汎用形式画像ファイルであるExif(Exchangeable image file format:主画像のデータと一緒に撮影時の様々な付属情報やその他の任意情報を保存できるように規定された汎用の画像ファイルフォーマットのこと。)ファイルを使用することができる。Exifファイルでは、任意に使用できるテキスト情報の格納エリアが定められており、この格納エリアに光タグ装置18からの受信情報を書き込むことにより、一つの画像ファイルに画像データと受信情報とを一緒に納めることができる。
このように、図示のフローチャートによれば、光タグ装置18からの受信情報を撮影画像と共に一つの画像ファイルに納めて記憶保存することができる。したがって、この画像ファイルの再生時に当該情報を読み出すことにより、たとえば、前記の実施形態における応用例のようなクーポンの利用など様々なサービスを実現することが可能になる。
また、画像ファイルに含まれる画像データは、光タグ装置18の輝点を含まない画像であるので、画像再生時の見栄えの悪化も招かない。
加えて、情報の再受信を行う際には、画像の取り込み(ステップS68)をパスするので、無駄な画像取り込み処理を行うことがなく、それだけ処理負担軽減及び処理時間短縮を図ることができる。
なお、ステップS68で取り込む画像は静止画に限定されない。簡易動画であってもよい。つまり、撮影用イメージセンサ57から生成出力される画像は毎秒数十フレームの画像であり、それらの画像の一枚一枚は静止画であるが、その静止画をコマ送りして連続的に再生すると、動きを伴った動画のように見えるので、任意時間中に撮影されたフレーム画像を簡易動画データとして連続的に取り込んでもよい。ただし、この動画データの取り込みの際にも、再生動画の見栄え悪化を回避するために、輝点を含む画像を取り込み対象から除くことが望ましい。
また、一般的に、このようにして取り込んだ簡易動画データは、そのまま動画ファイルとして保存するとファイルサイズが膨大になり、記憶部27の容量を圧迫するので、たとえば、IピクチャやBピクチャ及びPピクチャからなるMPEG形式のファイル圧縮を行うことになるが、このファイル圧縮の際に、輝点を含まない画像のみでIピクチャを構成し、そのIピクチャからBピクチャやPピクチャを生成しても良い。
第一実施形態における情報伝送システムの利用状態図である。 第一実施形態における情報伝送システムに対応したカメラ付携帯電話機22の正面図及び背面図である。 カメラ付携帯電話機22に対するユーザ操作と当該カメラ付携帯電話機22の内部動作との関係を示すシーケンス図である。 表示部27の表示例を示す図及び光タグ装置18の上に照準枠40を重ね合わせたときの表示部27の表示例を示す図である。 光タグ装置18からの情報取得を失敗したときの表示部27の表示例を示す図及び光タグ装置18からの情報取得に成功したときの表示部27の表示例を示す図である。 クーポンの画像ファイルをダウンロードしたときの表示部27の表示例を示す図及びクーポンの画像を示す図である。 第一実施形態におけるカメラ付携帯電話機22の内部ブロック構成図である。 第一実施形態のカメラ付携帯電話機22における手ブレ補正の概念図である。 第一実施形態のカメラ付携帯電話機22における手ブレ補正の概念図である。 カメラ系の光学系の画角(たとえば、32度×32度)を示す図である。 フォトディテクタ系の光学系の画角(たとえば、2度×2度)を示す図である。 光タグ装置18の内部ブロック構成図である。 フロントライト77と反射型液晶シャッタ78を示す図である。 光タグの輝度計算結果を示すグラフ図である。 フォトディテクタ61の検出概念図である。 データ形式のフォーマット構造図である。 コマンドコード部87の格納コードと、そのコードの意味を示す図である。 データの一例を示す図である。 光タグ装置18のプロセス図である。 パターン拡散方式の説明図である。 カメラ付携帯電話機22のフォトディテクタ部56の概念構造図(図7の破線部の内部詳細に相当)である。 目的パターン信号は入力されているが、まだ位相が合っていない時刻(4符合ビット分=16サンプル分ずれている)での状態図である。 検出位相が合ったときの状態図である。 FIFOからCPUが0/1のビットを判定し、復号ビットバッファ50に格納するまでの処理を示すフローチャート図である。 第二実施形態におけるカメラ付携帯電話機22′の内部ブロック構成図である。 第二実施形態のカメラ付携帯電話220における撮影レンズ34(撮影用イメージセンサ57)の撮像画角(26度×39度程度の広画角)を示す図である。 第二実施形態のカメラ付携帯電話220における通信用イメージセンサ610の検出画角(6度×6度程度の狭画角)を示す図である。 光タグ装置18の照明部分の面積(10cm×10cm)のそれぞれの距離における見かけのドットサイズを示す図である。 第二実施形態における手ブレ機構不要の概念図である。 パターンを捕捉可能な動きの対応限界模式図である。 第二実施形態のカメラ付携帯電話機220に適用して好ましい制御プログラム(撮影モードプログラム)のフローチャートを示す図(1/3)である。 第二実施形態のカメラ付携帯電話機220に適用して好ましい制御プログラム(撮影モードプログラム)のフローチャートを示す図(2/3)である。 第二実施形態のカメラ付携帯電話機220に適用して好ましい制御プログラム(撮影モードプログラム)のフローチャートを示す図(3/3)である。
符号の説明
18 光タグ装置(情報出力装置)
22 カメラ付携帯電話機(情報受信装置)
25 状態表示灯(報知手段)
27 表示部(表示手段)
31 カーソルキー(指定手段、移動手段、受光指示手段、指定手段)
34 撮影レンズ(撮像手段)
35 集光レンズ(受光手段、光学系)
40 照準枠(指標)
47 吹き出しメッセージ(再生手段)
50 復号ビットバッファ(復元手段)
53 CPU(指定手段、受光制御手段、変換手段、論理信号出力手段、第2の判断手段、撮像制御手段、変換手段、論理信号出力手段、関連付け手段、第1の判断手段、指定手段、復元手段、制御手段)
54 加速度センサ(制御手段)
55 手ブレ補正用アクチュエータ(制御手段)
57 撮影用イメージセンサ(撮像手段)
60 記憶部(記憶手段)
61 フォトディテクタ(受光素子、受光手段)
69 パターンデータ発生部(選択手段)
70 第一制御/駆動部(変調手段)
77 フロントライト(出力手段)
78 反射型液晶シャッタ(出力手段)
220 カメラ付携帯電話機(情報受信装置)
610 (受光手段、二次元のイメージセンサ)

Claims (12)

  1. 撮像手段と、
    輝度変調された任意の情報を受光する受光手段と、
    前記撮像手段の撮影画角に含まれる輝度変調領域を指定する指定手段と、
    該指定手段により指定された輝度変調領域を受光するよう前記受光手段を制御し、該領域に含まれる輝度変調内容から任意の情報を復元する復元手段と、
    該復元手段により復元された任意の情報を再生する再生手段と
    を備えたことを特徴とする情報受信装置。
  2. 前記撮像手段による撮像内容とともに指標を表示する表示手段と、
    該表示手段に表示されている指標を任意に移動させる移動手段と
    をさらに備え、
    前記指定手段は、該移動手段によって前記指標を移動させることにより前記輝度変調領域を指定することを特徴とする請求項1記載の情報受信装置。
  3. 前記指定手段によって指定された輝度変調領域の受光を指示する受光指示手段と、
    この受光指示手段により受光が指示されると、該輝度変調領域に光軸が合うように前記受光手段を制御する制御手段と
    をさらに備えることを特徴とする請求項1乃至3のいずれかに記載の情報受信装置。
  4. 前記受光手段は、
    受光素子と、
    該受光素子への入射光を集光する光学系と
    を含むことを特徴とする請求項1乃至3のいずれかに記載の情報受信装置。
  5. 前記受光手段は、
    二次元のイメージセンサと、
    該イメージセンサへの入射光を集光する光学系と
    を含むことを特徴とする請求項1乃至3のいずれかに記載の情報受信装置。
  6. 前記撮像手段によって撮像された画像データと前記復元手段によって復元された任意の情報とを関連付けする関連付け手段と、
    該関連付けされた画像データと前記任意の情報とを記憶する記憶手段と
    をさらに備えることを特徴とする請求項1乃至3のいずれかに記載の情報受信装置。
  7. 前記受光手段による輝度変調領域の受光が完了したか否かを判断する第1の判断手段をさらに備え、
    前記関連付け手段は、該第1の判断手段によって前記輝度変調領域の受光が完了したと判断すると、前記撮像手段によって撮像された画像データと前記復元手段によって復元された該輝度変調領域に基づく任意の情報との関連付けを行うことを特徴とする請求項6記載の情報受信装置。
  8. 前記第1の判断手段により輝度変調領域の受光が完了すると、その旨を報知する報知手段と、
    該報知手段による報知の後、前記輝度変調領域の再受光が指示されたか否かを判断する第2の判断手段と、
    該第2の判断手段により再受光が指示されたと判断すると、前記撮像手段により撮像された画像データを保持した状態で、前記受光手段による前記輝度変調領域の受光を開始する受光制御手段と
    をさらに備えることを特徴とする請求項6または7記載の情報受信装置。
  9. 前記輝度変調とは特定波長光の点灯と消灯との繰り返しであり、
    前記特定波長光の消灯タイミングの撮像画角を撮像するよう前記撮像手段を制御する撮像制御手段をさらに備えることを特徴とする請求項6または7に記載の情報受信装置。
  10. 前記受光手段によって受光された輝度変調領域の変調内容を少なくとも互いに相関度の低い2種類のビットパターン系列に変換する変換手段と、
    該変換手段によって変換された互いに相関度の低い2種類のビットパターン系列に対応して論理信号を出力する論理信号出力手段と
    を更に備え、
    前記復元手段は、該論理信号出力手段による出力結果に基づいて前記任意の情報を復元することを特徴とする請求項1乃至9の何れかに記載の情報受信装置。
  11. 任意の情報を構成するビット列を論理判定する判定し、 該判定結果に基づいて予め用意された互いに相関度の低い2種類のビットパターン系列からいずれかを選択する選択手段と、
    該選択手段による選択結果に従って前記任意の情報を輝度変調する変調手段と、
    該変調手段によって輝度変調された任意の情報を出力する出力手段とを備えた情報出力装置と、 撮像手段と、
    輝度変調された任意の情報を受光する受光手段と、
    該撮像手段の撮影画角に含まれる輝度変調領域を指定する指定手段と、
    該指定手段により指定された輝度変調領域を受光するよう前記受光手段を制御する受光制御手段と、
    該受光制御手段によって受光された輝度変調領域の変調内容を少なくとも互いに相関度の低い2種類のビットパターン系列に変換する変換手段と、
    該変換手段によって変換された互いに相関度の低い2種類のビットパターン系列に対応して論理信号を出力する論理信号出力手段と
    該論理信号出力手段による出力結果に基づいて、前記任意の情報を復元する復元手段と、
    該復元手段により復元された任意の情報を再生する再生手段と
    を備えたことを特徴とする情報受信装置と
    を含むことを特徴とする情報伝送システム。
  12. 撮像部により撮像される撮影画角に含まれる輝度変調領域を指定する指定ステップと、
    該指定ステップにより指定された輝度変調領域を受光するよう受光部を制御する受光制御ステップと、
    該受光制御ステップにて受光された輝度変調領域の変調内容を少なくとも互いに相関度の低い2種類のビットパターン系列に変換する変換ステップと、
    該変換ステップにて変換された互いに相関度の低い2種類のビットパターン系列に対応して論理信号を出力する論理信号出力ステップと
    該論理信号出力ステップによる出力結果に基づいて、前記輝度変調領域の変調内容に基づいた任意の情報を復元する復元ステップと、
    該復元ステップにより復元された任意の情報を再生する再生ステップと
    からなることを特徴とする情報受信方法。
JP2005157048A 2004-05-31 2005-05-30 情報受信装置、情報伝送システム、情報受信方法、及び、情報受信プログラム Expired - Fee Related JP4258491B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
PCT/JP2005/010290 WO2005117304A1 (ja) 2004-05-31 2005-05-30 情報受信装置、情報伝送システム及び情報受信方法
KR1020067006191A KR100818392B1 (ko) 2004-05-31 2005-05-30 정보수신장치, 정보전송장치, 정보수신방법 및 기록매체
JP2005157048A JP4258491B2 (ja) 2004-05-31 2005-05-30 情報受信装置、情報伝送システム、情報受信方法、及び、情報受信プログラム
EP05745839.0A EP1744475B1 (en) 2004-05-31 2005-05-30 Information reception device, information transmission system, and information reception method
US11/435,229 US7308194B2 (en) 2004-05-31 2006-05-16 Information reception device, information transmission system, and information reception method
HK07102656.4A HK1095219A1 (en) 2004-05-31 2007-03-12 Information reception device, information transmission system, and information reception method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004162521 2004-05-31
JP2005157048A JP4258491B2 (ja) 2004-05-31 2005-05-30 情報受信装置、情報伝送システム、情報受信方法、及び、情報受信プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008258448A Division JP4640483B2 (ja) 2004-05-31 2008-10-03 撮像装置、及び、プログラム

Publications (3)

Publication Number Publication Date
JP2006020294A true JP2006020294A (ja) 2006-01-19
JP2006020294A5 JP2006020294A5 (ja) 2007-05-24
JP4258491B2 JP4258491B2 (ja) 2009-04-30

Family

ID=35451227

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005157048A Expired - Fee Related JP4258491B2 (ja) 2004-05-31 2005-05-30 情報受信装置、情報伝送システム、情報受信方法、及び、情報受信プログラム

Country Status (6)

Country Link
US (1) US7308194B2 (ja)
EP (1) EP1744475B1 (ja)
JP (1) JP4258491B2 (ja)
KR (1) KR100818392B1 (ja)
HK (1) HK1095219A1 (ja)
WO (1) WO2005117304A1 (ja)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008004309A1 (fr) * 2006-07-07 2008-01-10 Panasonic Corporation Appareil émetteur, appareil récepteur, procédé de transmission et procédé de réception
JP2008258987A (ja) * 2007-04-05 2008-10-23 Sony Corp 光情報処理システム、端末装置、光情報処理方法、プログラム及び記録媒体
JP2008311845A (ja) * 2007-06-13 2008-12-25 Panasonic Corp 光空間伝送装置
JP2011061305A (ja) * 2009-09-07 2011-03-24 Oki Electric Industry Co Ltd 案内表示システム及び案内表示方法
JP2013077244A (ja) * 2011-09-30 2013-04-25 Casio Comput Co Ltd 情報伝達効果測定システム及び情報伝達効果測定方法
JP2013517597A (ja) * 2010-01-15 2013-05-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 局所的な照明寄与の2d検出のための方法及びシステム
JP2014063399A (ja) * 2012-09-21 2014-04-10 Casio Comput Co Ltd 情報処理システム、情報処理方法、端末装置及びプログラム
WO2014068706A1 (ja) * 2012-10-31 2014-05-08 擴張世界有限公司 画像表示システム、電子機器、プログラムおよび画像表示方法
JP5530578B1 (ja) * 2012-12-27 2014-06-25 パナソニック株式会社 情報通信方法
US8823852B2 (en) 2012-05-24 2014-09-02 Panasonic Intellectual Property Corporation Of America Information communication method of obtaining information from a subject by demodulating data specified by a pattern of a bright line included in an obtained image
US8908074B2 (en) 2012-12-27 2014-12-09 Panasonic Intellectual Property Corporation Of America Information communication method
US8913885B2 (en) 2011-12-27 2014-12-16 Casio Computer Co., Ltd. Information provision system, server, terminal device, information provision method, display control method and recording medium
US8965216B2 (en) 2012-12-27 2015-02-24 Panasonic Intellectual Property Corporation Of America Information communication method
JP2015507751A (ja) * 2012-01-20 2015-03-12 コーニンクレッカ フィリップス エヌ ヴェ 光検出器
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
US8994865B2 (en) 2012-12-27 2015-03-31 Panasonic Intellectual Property Corporation Of America Information communication method
US9008352B2 (en) 2012-12-27 2015-04-14 Panasonic Intellectual Property Corporation Of America Video display method
WO2015075849A1 (ja) * 2013-11-22 2015-05-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 通信方法
US9088363B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9085927B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9087349B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9094120B2 (en) 2012-12-27 2015-07-28 Panasonic Intellectual Property Corporaton Of America Information communication method
JP2016012835A (ja) * 2014-06-30 2016-01-21 カシオ計算機株式会社 端末装置、端末制御方法及び端末制御プログラム
US9262954B2 (en) 2012-12-27 2016-02-16 Panasonic Intellectual Property Corporation Of America Visible light communication signal display method and apparatus
US9331778B2 (en) 2013-01-17 2016-05-03 Casio Computer Co., Ltd. Information provision system, server system, terminal device, information provision method, and recording medium
US9608725B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
US9608727B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Switched pixel visible light transmitting method, apparatus and program
US9646568B2 (en) 2012-12-27 2017-05-09 Panasonic Intellectual Property Corporation Of America Display method
US10303945B2 (en) 2012-12-27 2019-05-28 Panasonic Intellectual Property Corporation Of America Display method and display apparatus
US10523876B2 (en) 2012-12-27 2019-12-31 Panasonic Intellectual Property Corporation Of America Information communication method
US10530486B2 (en) 2012-12-27 2020-01-07 Panasonic Intellectual Property Corporation Of America Transmitting method, transmitting apparatus, and program
US10951310B2 (en) 2012-12-27 2021-03-16 Panasonic Intellectual Property Corporation Of America Communication method, communication device, and transmitter
JP2022515928A (ja) * 2019-02-18 2022-02-22 シグニファイ ホールディング ビー ヴィ 光信号を介して通信するための方法及びシステム

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4627084B2 (ja) * 2005-04-12 2011-02-09 パイオニア株式会社 通信システム、通信装置及び方法、並びにコンピュータプログラム
US8121917B2 (en) * 2008-03-03 2012-02-21 The Coca-Cola Company Systems for implementing a loyalty program
KR101508272B1 (ko) * 2009-01-16 2015-04-08 삼성전자주식회사 단말기, 디스플레이 장치 및 이에 적용되는 데이터 송수신 방법
JP2011254317A (ja) * 2010-06-02 2011-12-15 Sony Corp 送信装置、送信方法、受信装置、受信方法、通信システムおよび通信方法
JP5670798B2 (ja) * 2011-03-30 2015-02-18 フェリカネットワークス株式会社 通信端末、通信方法、及びプログラム
US20130317916A1 (en) * 2011-12-29 2013-11-28 Intel Corporation Location based technology for smart shopping services
JP5936902B2 (ja) 2012-04-13 2016-06-22 株式会社東芝 伝送システム、送信装置および受信装置
US11049344B2 (en) 2012-07-26 2021-06-29 John C. S. Koo Dual-mode commercial messaging systems
US10395290B1 (en) 2015-11-10 2019-08-27 John C. S. Koo Location-based remote customer service
US10068396B2 (en) 2016-01-15 2018-09-04 John C. S. Koo Light-based security systems
US8924255B1 (en) * 2012-07-26 2014-12-30 John C. S. Koo Light-based commercial messaging system
US10679448B2 (en) 2012-07-26 2020-06-09 John C. S. Koo Light-based commercial messaging systems
US9270627B1 (en) 2012-07-26 2016-02-23 John C. S. Koo Light-based messaging systems
US11727737B2 (en) 2012-07-26 2023-08-15 John C. S. Koo Retail light-based sensor-driven messaging systems
US10395453B1 (en) 2012-07-26 2019-08-27 John C. S. Koo Light-based vehicle messaging systems
US8798926B2 (en) * 2012-11-14 2014-08-05 Navteq B.V. Automatic image capture
JP6074725B2 (ja) * 2012-12-27 2017-02-08 パナソニックIpマネジメント株式会社 電子機器
JP5839018B2 (ja) * 2013-11-07 2016-01-06 カシオ計算機株式会社 情報端末、通信システム、サーバ、通信方法及びプログラム
CN105723632B (zh) * 2013-11-21 2019-03-22 松下电器(美国)知识产权公司 信息通信方法、装置及计算机可读存储介质
JP6011569B2 (ja) * 2014-03-13 2016-10-19 カシオ計算機株式会社 撮像装置、被写体追尾方法及びプログラム
JP6434724B2 (ja) * 2014-07-01 2018-12-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 情報通信方法
CN106104903B (zh) 2014-07-11 2019-01-04 松下知识产权经营株式会社 蓄电池组和蓄电池组的工作方法
EP3220333A4 (en) * 2014-11-12 2018-04-25 Sony Corporation Method and system for providing coupon
US9564027B2 (en) 2015-03-24 2017-02-07 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Modulating brightness of optical element conveying human-discernible information to also convey machine-discernible information
WO2017033811A1 (ja) * 2015-08-24 2017-03-02 シャープ株式会社 受信装置、放送システム、受信方法、及びプログラム
US9755740B2 (en) * 2015-12-30 2017-09-05 Surefire Llc Receivers for optical narrowcasting
CN105744079A (zh) * 2016-04-06 2016-07-06 上海斐讯数据通信技术有限公司 一种自动识别电话号码的方法及系统
US9818269B1 (en) * 2016-12-16 2017-11-14 Ninad H. Ghodke Status light data transmission
US10812195B2 (en) 2017-01-05 2020-10-20 Sony Corporation Optical communication device
US9917652B1 (en) 2017-06-06 2018-03-13 Surefire Llc Adaptive communications focal plane array
US10250948B1 (en) 2018-01-05 2019-04-02 Aron Surefire, Llc Social media with optical narrowcasting
US10236986B1 (en) 2018-01-05 2019-03-19 Aron Surefire, Llc Systems and methods for tiling free space optical transmissions
US10473439B2 (en) 2018-01-05 2019-11-12 Aron Surefire, Llc Gaming systems and methods using optical narrowcasting
JP2021131234A (ja) * 2020-02-18 2021-09-09 富士フイルムビジネスイノベーション株式会社 発光装置およびプログラム
JP7084967B2 (ja) * 2020-08-24 2022-06-15 ソフトバンク株式会社 光通信によるデジタルサイネージ及びled照明を利用したサプリメンタルダウンリンク装置と方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6437544A (en) * 1987-08-03 1989-02-08 Konishiroku Photo Ind Camera with television
JPH07307891A (ja) * 1994-05-11 1995-11-21 Fuji Photo Film Co Ltd ビデオカメラの手振れ補正装置
US5706049A (en) * 1995-11-30 1998-01-06 Eastman Kodak Company Camera that records an active image area identifier with an image
US7092012B2 (en) * 1996-11-15 2006-08-15 Canon Kabushiki Kaisha Image processing apparatus and method, storage medium, and communication system
JPH10200810A (ja) * 1997-01-10 1998-07-31 Sony Corp 画像駆動装置
JP2001119611A (ja) * 1999-10-19 2001-04-27 Matsushita Electric Ind Co Ltd 電子カメラ
JP3374175B2 (ja) * 2000-01-27 2003-02-04 名古屋大学長 位置表示用データ送信機能付きデータ送信装置、(以下[発明の名称の続き]欄に記載)
JP3750132B2 (ja) * 2000-03-01 2006-03-01 カシオ計算機株式会社 撮像装置
JP4236372B2 (ja) * 2000-09-25 2009-03-11 インターナショナル・ビジネス・マシーンズ・コーポレーション 空間情報利用システムおよびサーバシステム
JP2003179556A (ja) * 2001-09-21 2003-06-27 Casio Comput Co Ltd 情報伝送方式、情報伝送システム、撮像装置、および、情報伝送方法
US6999112B2 (en) * 2001-10-31 2006-02-14 Hewlett-Packard Development Company, L.P. System and method for communicating content information to an image capture device
JP2003323239A (ja) * 2002-05-08 2003-11-14 Sony Corp 情報処理装置及び情報処理方法、記憶媒体、並びにコンピュータ・プログラム
JP4110514B2 (ja) * 2002-05-15 2008-07-02 ソニー株式会社 データ符号化装置及び方法、データ復号化装置及び方法、データ送信装置、データ受信装置、記憶媒体、並びにコンピュータ・プログラム
JP2004048674A (ja) * 2002-05-24 2004-02-12 Olympus Corp 視野一致型情報呈示システム、並びに、それに用いられる携帯情報端末及びサーバ
EP1860800A1 (en) * 2002-10-24 2007-11-28 Nakagawa Laboratories, Inc. Illumination light communication device
US20060256007A1 (en) * 2005-05-13 2006-11-16 Outland Research, Llc Triangulation method and apparatus for targeting and accessing spatially associated information

Cited By (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008004309A1 (fr) * 2006-07-07 2008-01-10 Panasonic Corporation Appareil émetteur, appareil récepteur, procédé de transmission et procédé de réception
JP2008258987A (ja) * 2007-04-05 2008-10-23 Sony Corp 光情報処理システム、端末装置、光情報処理方法、プログラム及び記録媒体
JP2008311845A (ja) * 2007-06-13 2008-12-25 Panasonic Corp 光空間伝送装置
JP2011061305A (ja) * 2009-09-07 2011-03-24 Oki Electric Industry Co Ltd 案内表示システム及び案内表示方法
JP2013517597A (ja) * 2010-01-15 2013-05-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 局所的な照明寄与の2d検出のための方法及びシステム
JP2013077244A (ja) * 2011-09-30 2013-04-25 Casio Comput Co Ltd 情報伝達効果測定システム及び情報伝達効果測定方法
US9401964B2 (en) 2011-09-30 2016-07-26 Casio Computer Co., Ltd. Information conveyance effect measuring system, information conveyance effect measuring method, determination device, determination method, and recording medium
US8913885B2 (en) 2011-12-27 2014-12-16 Casio Computer Co., Ltd. Information provision system, server, terminal device, information provision method, display control method and recording medium
JP2015507751A (ja) * 2012-01-20 2015-03-12 コーニンクレッカ フィリップス エヌ ヴェ 光検出器
US9456109B2 (en) 2012-05-24 2016-09-27 Panasonic Intellectual Property Corporation Of America Information communication method of obtaining information from a subject by demodulating data specified by a pattern of a bright line included in an obtained image
US9083544B2 (en) 2012-05-24 2015-07-14 Panasonic Intellectual Property Corporation Of America Information communication method of obtaining information from a subject by demodulating data specified by a pattern of a bright line included in an obtained image
US8823852B2 (en) 2012-05-24 2014-09-02 Panasonic Intellectual Property Corporation Of America Information communication method of obtaining information from a subject by demodulating data specified by a pattern of a bright line included in an obtained image
US9300845B2 (en) 2012-05-24 2016-03-29 Panasonic Intellectual Property Corporation Of America Information communication device for obtaining information from a subject by demodulating a bright line pattern included in an obtained image
US9166810B2 (en) 2012-05-24 2015-10-20 Panasonic Intellectual Property Corporation Of America Information communication device of obtaining information by demodulating a bright line pattern included in an image
US8994841B2 (en) 2012-05-24 2015-03-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by stripe pattern of bright lines
US9143339B2 (en) 2012-05-24 2015-09-22 Panasonic Intellectual Property Corporation Of America Information communication device for obtaining information from image data by demodulating a bright line pattern appearing in the image data
US9083543B2 (en) 2012-05-24 2015-07-14 Panasonic Intellectual Property Corporation Of America Information communication method of obtaining information from a subject by demodulating data specified by a pattern of a bright line included in an obtained image
JP2014063399A (ja) * 2012-09-21 2014-04-10 Casio Comput Co Ltd 情報処理システム、情報処理方法、端末装置及びプログラム
US9154229B2 (en) 2012-09-21 2015-10-06 Casio Computer Co., Ltd. Information processing system, information processing method, client device, and recording medium
JP5960836B2 (ja) * 2012-10-31 2016-08-02 擴張世界有限公司 画像表示システム、電子機器、プログラムおよび画像表示方法
WO2014068706A1 (ja) * 2012-10-31 2014-05-08 擴張世界有限公司 画像表示システム、電子機器、プログラムおよび画像表示方法
US10218914B2 (en) 2012-12-20 2019-02-26 Panasonic Intellectual Property Corporation Of America Information communication apparatus, method and recording medium using switchable normal mode and visible light communication mode
US9450672B2 (en) 2012-12-27 2016-09-20 Panasonic Intellectual Property Corporation Of America Information communication method of transmitting a signal using change in luminance
US9635278B2 (en) 2012-12-27 2017-04-25 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
US9030585B2 (en) 2012-12-27 2015-05-12 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information by demodulating bright line pattern included in image
US9019412B2 (en) 2012-12-27 2015-04-28 Panasonic Intellectual Property Corporation Of America Information communication method for selecting between visible light communication mode and normal imaging mode
US9088363B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9085927B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9088362B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information by demodulating bright line pattern included in an image
US9088360B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9087349B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9094120B2 (en) 2012-12-27 2015-07-28 Panasonic Intellectual Property Corporaton Of America Information communication method
US9008352B2 (en) 2012-12-27 2015-04-14 Panasonic Intellectual Property Corporation Of America Video display method
US8994865B2 (en) 2012-12-27 2015-03-31 Panasonic Intellectual Property Corporation Of America Information communication method
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
US9184838B2 (en) 2012-12-27 2015-11-10 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using ID list and bright line image
US9203515B2 (en) 2012-12-27 2015-12-01 Panasonic Intellectual Property Corporation Of America Information communication method
US12088923B2 (en) 2012-12-27 2024-09-10 Panasonic Intellectual Property Corporation Of America Information communication method
US11659284B2 (en) 2012-12-27 2023-05-23 Panasonic Intellectual Property Corporation Of America Information communication method
US9247180B2 (en) 2012-12-27 2016-01-26 Panasonic Intellectual Property Corporation Of America Video display method using visible light communication image including stripe patterns having different pitches
US9252878B2 (en) 2012-12-27 2016-02-02 Panasonic Intellectual Property Corporation Of America Information communication method
US9258058B2 (en) 2012-12-27 2016-02-09 Panasonic Intellectual Property Corporation Of America Signal transmitting apparatus for transmitting information by bright line pattern in image
US9262954B2 (en) 2012-12-27 2016-02-16 Panasonic Intellectual Property Corporation Of America Visible light communication signal display method and apparatus
US9281895B2 (en) 2012-12-27 2016-03-08 Panasonic Intellectual Property Corporation Of America Information communication method
JP2015046860A (ja) * 2012-12-27 2015-03-12 パナソニック株式会社 情報通信方法
US11490025B2 (en) 2012-12-27 2022-11-01 Panasonic Intellectual Property Corporation Of America Information communication method
US9331779B2 (en) 2012-12-27 2016-05-03 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using ID list and bright line image
US9341014B2 (en) 2012-12-27 2016-05-17 Panasonic Intellectual Property Corporation Of America Information communication method using change in luminance
US9380227B2 (en) 2012-12-27 2016-06-28 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
US8965216B2 (en) 2012-12-27 2015-02-24 Panasonic Intellectual Property Corporation Of America Information communication method
US9407368B2 (en) 2012-12-27 2016-08-02 Panasonic Intellectual Property Corporation Of America Information communication method
US8908074B2 (en) 2012-12-27 2014-12-09 Panasonic Intellectual Property Corporation Of America Information communication method
US11165967B2 (en) 2012-12-27 2021-11-02 Panasonic Intellectual Property Corporation Of America Information communication method
JP5564630B1 (ja) * 2012-12-27 2014-07-30 パナソニック株式会社 情報通信方法
WO2014103152A1 (ja) * 2012-12-27 2014-07-03 パナソニック株式会社 情報通信方法
US9462173B2 (en) 2012-12-27 2016-10-04 Panasonic Intellectual Property Corporation Of America Information communication method
US9467225B2 (en) 2012-12-27 2016-10-11 Panasonic Intellectual Property Corporation Of America Information communication method
US9515731B2 (en) 2012-12-27 2016-12-06 Panasonic Intellectual Property Corporation Of America Information communication method
US9560284B2 (en) 2012-12-27 2017-01-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
US9564970B2 (en) 2012-12-27 2017-02-07 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using ID list and bright line image
US9571191B2 (en) 2012-12-27 2017-02-14 Panasonic Intellectual Property Corporation Of America Information communication method
US9591232B2 (en) 2012-12-27 2017-03-07 Panasonic Intellectual Property Corporation Of America Information communication method
US9608725B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
US9608727B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Switched pixel visible light transmitting method, apparatus and program
US9613596B2 (en) 2012-12-27 2017-04-04 Panasonic Intellectual Property Corporation Of America Video display method using visible light communication image including stripe patterns having different pitches
US10951310B2 (en) 2012-12-27 2021-03-16 Panasonic Intellectual Property Corporation Of America Communication method, communication device, and transmitter
US9641766B2 (en) 2012-12-27 2017-05-02 Panasonic Intellectual Property Corporation Of America Information communication method
US9646568B2 (en) 2012-12-27 2017-05-09 Panasonic Intellectual Property Corporation Of America Display method
US9756255B2 (en) 2012-12-27 2017-09-05 Panasonic Intellectual Property Corporation Of America Information communication method
US9768869B2 (en) 2012-12-27 2017-09-19 Panasonic Intellectual Property Corporation Of America Information communication method
US9794489B2 (en) 2012-12-27 2017-10-17 Panasonic Intellectual Property Corporation Of America Information communication method
US9859980B2 (en) 2012-12-27 2018-01-02 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
US9918016B2 (en) 2012-12-27 2018-03-13 Panasonic Intellectual Property Corporation Of America Information communication apparatus, method, and recording medium using switchable normal mode and visible light communication mode
US9998220B2 (en) 2012-12-27 2018-06-12 Panasonic Intellectual Property Corporation Of America Transmitting method, transmitting apparatus, and program
US10051194B2 (en) 2012-12-27 2018-08-14 Panasonic Intellectual Property Corporation Of America Information communication method
US10148354B2 (en) 2012-12-27 2018-12-04 Panasonic Intellectual Property Corporation Of America Luminance change information communication method
US10165192B2 (en) 2012-12-27 2018-12-25 Panasonic Intellectual Property Corporation Of America Information communication method
US10205887B2 (en) 2012-12-27 2019-02-12 Panasonic Intellectual Property Corporation Of America Information communication method
JP5530578B1 (ja) * 2012-12-27 2014-06-25 パナソニック株式会社 情報通信方法
US10225014B2 (en) 2012-12-27 2019-03-05 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using ID list and bright line image
US10303945B2 (en) 2012-12-27 2019-05-28 Panasonic Intellectual Property Corporation Of America Display method and display apparatus
US10334177B2 (en) 2012-12-27 2019-06-25 Panasonic Intellectual Property Corporation Of America Information communication apparatus, method, and recording medium using switchable normal mode and visible light communication mode
US10354599B2 (en) 2012-12-27 2019-07-16 Panasonic Intellectual Property Corporation Of America Display method
US10361780B2 (en) 2012-12-27 2019-07-23 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
US10368005B2 (en) 2012-12-27 2019-07-30 Panasonic Intellectual Property Corporation Of America Information communication method
US10368006B2 (en) 2012-12-27 2019-07-30 Panasonic Intellectual Property Corporation Of America Information communication method
US10447390B2 (en) 2012-12-27 2019-10-15 Panasonic Intellectual Property Corporation Of America Luminance change information communication method
US10455161B2 (en) 2012-12-27 2019-10-22 Panasonic Intellectual Property Corporation Of America Information communication method
US10516832B2 (en) 2012-12-27 2019-12-24 Panasonic Intellectual Property Corporation Of America Information communication method
US10523876B2 (en) 2012-12-27 2019-12-31 Panasonic Intellectual Property Corporation Of America Information communication method
US10521668B2 (en) 2012-12-27 2019-12-31 Panasonic Intellectual Property Corporation Of America Display method and display apparatus
US10531009B2 (en) 2012-12-27 2020-01-07 Panasonic Intellectual Property Corporation Of America Information communication method
US10530486B2 (en) 2012-12-27 2020-01-07 Panasonic Intellectual Property Corporation Of America Transmitting method, transmitting apparatus, and program
US10531010B2 (en) 2012-12-27 2020-01-07 Panasonic Intellectual Property Corporation Of America Information communication method
US10616496B2 (en) 2012-12-27 2020-04-07 Panasonic Intellectual Property Corporation Of America Information communication method
US10638051B2 (en) 2012-12-27 2020-04-28 Panasonic Intellectual Property Corporation Of America Information communication method
US10666871B2 (en) 2012-12-27 2020-05-26 Panasonic Intellectual Property Corporation Of America Information communication method
US10742891B2 (en) 2012-12-27 2020-08-11 Panasonic Intellectual Property Corporation Of America Information communication method
US10887528B2 (en) 2012-12-27 2021-01-05 Panasonic Intellectual Property Corporation Of America Information communication method
US9331778B2 (en) 2013-01-17 2016-05-03 Casio Computer Co., Ltd. Information provision system, server system, terminal device, information provision method, and recording medium
WO2015075849A1 (ja) * 2013-11-22 2015-05-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 通信方法
US9438340B2 (en) 2013-11-22 2016-09-06 Panasonic Intellectual Property Corporation Of America Communication method
US9225420B2 (en) 2013-11-22 2015-12-29 Panasonic Intellectual Property Corporation Of America Communication method
JP2016012835A (ja) * 2014-06-30 2016-01-21 カシオ計算機株式会社 端末装置、端末制御方法及び端末制御プログラム
JP2022515928A (ja) * 2019-02-18 2022-02-22 シグニファイ ホールディング ビー ヴィ 光信号を介して通信するための方法及びシステム
JP7142171B2 (ja) 2019-02-18 2022-09-26 シグニファイ ホールディング ビー ヴィ 光信号を介して通信するための方法及びシステム
US11632173B2 (en) 2019-02-18 2023-04-18 Signify Holding B.V. Method and system for communicating via light signals

Also Published As

Publication number Publication date
US7308194B2 (en) 2007-12-11
KR20060056409A (ko) 2006-05-24
EP1744475A4 (en) 2013-05-08
EP1744475B1 (en) 2017-07-26
HK1095219A1 (en) 2007-04-27
JP4258491B2 (ja) 2009-04-30
WO2005117304A1 (ja) 2005-12-08
KR100818392B1 (ko) 2008-04-02
EP1744475A1 (en) 2007-01-17
US20060239675A1 (en) 2006-10-26

Similar Documents

Publication Publication Date Title
JP4258491B2 (ja) 情報受信装置、情報伝送システム、情報受信方法、及び、情報受信プログラム
JP4640483B2 (ja) 撮像装置、及び、プログラム
JP2003179556A (ja) 情報伝送方式、情報伝送システム、撮像装置、および、情報伝送方法
US8564710B2 (en) Photographing apparatus and photographing method for displaying information related to a subject
JP4930302B2 (ja) 撮像装置、その制御方法およびプログラム
JP6183802B2 (ja) 可視光受信方法及びその装置
CN101635797A (zh) 摄像装置
JP4955909B2 (ja) カメラ装置、及びその撮影条件設定方法
JP2003323239A (ja) 情報処理装置及び情報処理方法、記憶媒体、並びにコンピュータ・プログラム
JP4178419B2 (ja) 情報表示装置、表示制御方法、及び、表示制御プログラム
KR101903588B1 (ko) 가시광 수신 방법
CN105723631A (zh) 通信方法
JP5339049B2 (ja) 情報復元装置、情報復元方法、及び、プログラム
JP5040615B2 (ja) 電子カメラ
Bae et al. Smartphone image receiver architecture for optical camera communication
JP2011009805A (ja) 光無線通信端末装置、光無線通信システム、光無線通信方法、およびプログラム
JP2011009803A (ja) 光無線通信装置、光無線通信携帯端末、送信装置、光無線通信方法、およびプログラム
JP4507210B2 (ja) 情報伝送システム、受信装置、及び、情報復号方法
JP2008085550A (ja) 撮像装置、撮像制御方法、及び、撮像制御プログラム
JP4735658B2 (ja) 受信装置、及び、プログラム
JP4665585B2 (ja) 光送信機、光受信機及び光通信システム
JP4576625B2 (ja) 情報伝送システム、撮像装置、及び、受光制御方法
JP2004120277A (ja) 電子カメラ
JP2014216685A (ja) 撮像装置、及びプログラム
JP2017123696A (ja) 可視光受信方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070402

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080808

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081003

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20081107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090113

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090126

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4258491

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120220

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130220

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140220

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees