JP2020167521A - 通信方法、通信装置、送信機、およびプログラム - Google Patents

通信方法、通信装置、送信機、およびプログラム Download PDF

Info

Publication number
JP2020167521A
JP2020167521A JP2019066361A JP2019066361A JP2020167521A JP 2020167521 A JP2020167521 A JP 2020167521A JP 2019066361 A JP2019066361 A JP 2019066361A JP 2019066361 A JP2019066361 A JP 2019066361A JP 2020167521 A JP2020167521 A JP 2020167521A
Authority
JP
Japan
Prior art keywords
image
receiver
visible light
time
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019066361A
Other languages
English (en)
Inventor
秀紀 青山
Hideki Aoyama
秀紀 青山
大嶋　光昭
Mitsuaki Oshima
光昭 大嶋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to JP2019066361A priority Critical patent/JP2020167521A/ja
Publication of JP2020167521A publication Critical patent/JP2020167521A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Optical Communication System (AREA)

Abstract

【課題】多様な機器間の通信を可能とする通信方法を提供する。【解決手段】通信方法では、端末が可視光通信を行うことが可能か否かを判断し（ステップＳＧ１１）、端末が可視光通信を行うことが可能と判断した場合に（ステップＳＧ１１のＹｅｓ）、イメージセンサにより、輝度変化する被写体を撮像することにより、復号用画像を取得し、その復号用画像に現れる縞模様から被写体が送信する第１の識別情報を取得し（ステップＳＧ１２）、可視光通信の判断において、端末が可視光通信を行うことが可能でないと判断した場合に（ステップＳＧ１１のＮｏ）、イメージセンサにより、被写体を撮像することによって撮像画像を取得し、その撮像画像のエッジ検出を行うことで、所定の特定領域を特定し、その特定領域のラインパターンから被写体が送信する第２の識別情報を取得する（ステップＳＧ１３）。【選択図】図１９４Ｃ

Description

本発明は、通信方法、通信装置、送信機およびプログラムなどに関する。
近年のホームネットワークでは、Ｅｔｈｅｒｎｅｔ（登録商標）や無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）でのＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）接続によるＡＶ家電の連携に加え、環境問題に対応した電力使用量の管理や、宅外からの電源ＯＮ／ＯＦＦといった機能を持つホームエネルギーマネジメントシステム（ＨＥＭＳ）によって、多様な家電機器がネットワークに接続される家電連携機能の導入が進んでいる。しかしながら、通信機能を有するには、演算力が十分ではない家電や、コスト面で通信機能の搭載が難しい家電などもある。
このような問題を解決するため、特許文献１では、光を用いて自由空間に情報を伝達する光空間伝送装置において、照明光の単色光源を複数用いた通信を行うことで、限られた送信装置のなかで、効率的に機器間の通信を実現する技術が記載されている。
特開２００２−２９０３３５号公報
しかしながら、前記従来の方式では、適用される機器が照明のような３色光源を持つ場合に限定される。また、送信された情報を受信する受信機は、ユーザに有益な画像を表示することができない。
本発明は、このような課題を解決し、多様な機器間の通信を可能とする通信方法などを提供する。
本発明の一形態に係る通信方法は、イメージセンサを備えた端末を用いた通信方法であって、前記端末が可視光通信を行うことが可能か否かを判断し、前記端末が可視光通信を行うことが可能と判断した場合に、前記イメージセンサにより、輝度変化する被写体を撮像することにより、復号用画像を取得し、前記復号用画像に現れる縞模様から前記被写体が送信する第１の識別情報を取得し、前記可視光通信の判断において、前記端末が可視光通信を行うことが可能でないと判断した場合に、前記イメージセンサにより、前記被写体を撮像することによって撮像画像を取得し、前記撮像画像のエッジ検出を行うことで、少なくとも１つの輪郭を抽出し、前記少なくとも１つの輪郭の中から、所定の特定領域を特定し、前記特定領域のラインパターンから前記被写体が送信する第２の識別情報を取得する。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。また、一実施形態に関わる方法を実行するコンピュータプログラムがサーバの記録媒体に保存されており、端末の要求に応じて、サーバから端末に配信する態様で実現されてもよい。
本発明によれば、多様な機器間の通信を実現できる。
図１は、実施の形態１における発光部の輝度の観測方法の一例を示す図である。 図２は、実施の形態１における発光部の輝度の観測方法の一例を示す図である。 図３は、実施の形態１における発光部の輝度の観測方法の一例を示す図である。 図４は、実施の形態１における発光部の輝度の観測方法の一例を示す図である。 図５Ａは、実施の形態１における発光部の輝度の観測方法の一例を示す図である。 図５Ｂは、実施の形態１における発光部の輝度の観測方法の一例を示す図である。 図５Ｃは、実施の形態１における発光部の輝度の観測方法の一例を示す図である。 図５Ｄは、実施の形態１における発光部の輝度の観測方法の一例を示す図である。 図５Ｅは、実施の形態１における発光部の輝度の観測方法の一例を示す図である。 図５Ｆは、実施の形態１における発光部の輝度の観測方法の一例を示す図である。 図５Ｇは、実施の形態１における発光部の輝度の観測方法の一例を示す図である。 図５Ｈは、実施の形態１における発光部の輝度の観測方法の一例を示す図である。 図６Ａは、実施の形態１における情報通信方法のフローチャートである。 図６Ｂは、実施の形態１における情報通信装置のブロック図である。 図７は、実施の形態２における受信機の撮影動作の一例を示す図である。 図８は、実施の形態２における受信機の撮影動作の他の例を示す図である。 図９は、実施の形態２における受信機の撮影動作の他の例を示す図である。 図１０は、実施の形態２における受信機の表示動作の一例を示す図である。 図１１は、実施の形態２における受信機の表示動作の一例を示す図である。 図１２は、実施の形態２における受信機の動作の一例を示す図である。 図１３は、実施の形態２における受信機の動作の他の例を示す図である。 図１４は、実施の形態２における受信機の動作の他の例を示す図である。 図１５は、実施の形態２における受信機の動作の他の例を示す図である。 図１６は、実施の形態２における受信機の動作の他の例を示す図である。 図１７は、実施の形態２における受信機の動作の他の例を示す図である。 図１８Ａは、実施の形態２における送信機および受信機の動作の一例を示す図である。 図１８Ｂは、実施の形態２における送信機および受信機の動作の一例を示す図である。 図１８Ｃは、実施の形態２における送信機および受信機の動作の一例を示す図である。 図１９は、実施の形態２における道案内への応用例を説明するための図である。 図２０は、実施の形態２における利用ログ蓄積と解析への応用例を説明するための図である。 図２１は、実施の形態２における送信機と受信機の適用例を示す図である。 図２２は、実施の形態２における送信機および受信機の適用例を示す図である。 図２３は、実施の形態３におけるアプリケーションの一例を示す図である。 図２４は、実施の形態３におけるアプリケーションの一例を示す図である。 図２５は、実施の形態３における送信信号の例と音声同期方法の例とを示す図である。 図２６は、実施の形態３における送信信号の例を示す図である。 図２７は、実施の形態３における受信機の処理フローの一例を示す図である。 図２８は、実施の形態３における受信機のユーザインタフェースの一例を示す図である。 図２９は、実施の形態３における受信機の処理フローの一例を示す図である。 図３０は、実施の形態３における受信機の処理フローの他の例を示す図である。 図３１Ａは、実施の形態３における同期再生の具体的な方法を説明するための図である。 図３１Ｂは、実施の形態３における同期再生を行う再生装置（受信機）の構成を示すブロック図である。 図３１Ｃは、実施の形態３における同期再生を行う再生装置（受信機）の処理動作を示すフローチャートである。 図３２は、実施の形態３における同期再生の事前準備を説明するための図である。 図３３は、実施の形態３における受信機の応用例を示す図である。 図３４Ａは、実施の形態３における、ホルダーに保持された受信機の正面図である。 図３４Ｂは、実施の形態３における、ホルダーに保持された受信機の背面図である。 図３５は、実施の形態３における、ホルダーに保持された受信機のユースケースを説明するための図である。 図３６は、実施の形態３における、ホルダーに保持された受信機の処理動作を示すフローチャートである。 図３７は、実施の形態３における受信機によって表示される画像の一例を示す図である。 図３８は、実施の形態３におけるホルダーの他の例を示す図である。 図３９Ａは、実施の形態３における可視光信号の一例を示す図である。 図３９Ｂは、実施の形態３における可視光信号の一例を示す図である。 図３９Ｃは、実施の形態３における可視光信号の一例を示す図である。 図３９Ｄは、実施の形態３における可視光信号の一例を示す図である。 図４０は、実施の形態３における可視光信号の構成を示す図である。 図４１は、実施の形態４における受信機がＡＲ画像を表示する例を示す図である。 図４２は、実施の形態４における表示システムの一例を示す図である。 図４３は、実施の形態４における表示システムの他の例を示す図である。 図４４は、実施の形態４における表示システムの他の例を示す図である。 図４５は、実施の形態４における受信機の処理動作の一例を示すフローチャートである。 図４６は、実施の形態４における受信機がＡＲ画像を表示する他の例を示す図である。 図４７は、実施の形態４における受信機がＡＲ画像を表示する他の例を示す図である。 図４８は、実施の形態４における受信機がＡＲ画像を表示する他の例を示す図である。 図４９は、実施の形態４における受信機がＡＲ画像を表示する他の例を示す図である。 図５０は、実施の形態４における受信機がＡＲ画像を表示する他の例を示す図である。 図５１は、実施の形態４における受信機がＡＲ画像を表示する他の例を示す図である。 図５２は、実施の形態４における受信機の処理動作の他の例を示すフローチャートである。 図５３は、実施の形態４における受信機がＡＲ画像を表示する他の例を示す図である。 図５４は、実施の形態４における受信機の撮像によって取得される撮像表示画像Ｐｐｒｅおよび復号用画像Ｐｄｅｃを示す図である。 図５５は、実施の形態４における受信機に表示される撮像表示画像Ｐｐｒｅの一例を示す図である。 図５６は、実施の形態４における受信機の処理動作の他の例を示すフローチャートである。 図５７は、実施の形態４における受信機がＡＲ画像を表示する他の例を示す図である。 図５８は、実施の形態４における受信機がＡＲ画像を表示する他の例を示す図である。 図５９は、実施の形態４における受信機がＡＲ画像を表示する他の例を示す図である。 図６０は、実施の形態４における受信機がＡＲ画像を表示する他の例を示す図である。 図６１は、実施の形態４における認識情報の一例を示す図である。 図６２は、実施の形態４における受信機の処理動作の他の例を示すフローチャートである。 図６３は、実施の形態４における受信機が輝線パターン領域を識別する一例を示す図である。 図６４は、実施の形態４における受信機の他の例を示す図である。 図６５は、実施の形態４における受信機の処理動作の他の例を示すフローチャートである。 図６６は、実施の形態４における複数の送信機を含む送信システムの一例を示す図である。 図６７は、実施の形態４における複数の送信機および受信機を含む送信システムの一例を示す図である。 図６８Ａは、実施の形態４における受信機の処理動作の一例を示すフローチャートである。 図６８Ｂは、実施の形態４における受信機の処理動作の一例を示すフローチャートである。 図６９Ａは、実施の形態４における表示方法を示すフローチャートである。 図６９Ｂは、実施の形態４における表示装置の構成を示すブロック図である。 図７０は、実施の形態４の変形例１における受信機がＡＲ画像を表示する例を示す図である。 図７１は、実施の形態４の変形例１における受信機２００がＡＲ画像を表示する他の例を示す図である。 図７２は、実施の形態４の変形例１における受信機２００がＡＲ画像を表示する他の例を示す図である。 図７３は、実施の形態４の変形例１における受信機２００がＡＲ画像を表示する他の例を示す図である。 図７４は、実施の形態４の変形例１における受信機２００の他の例を示す図である。 図７５は、実施の形態４の変形例１における受信機２００がＡＲ画像を表示する他の例を示す図である。 図７６は、実施の形態４の変形例１における受信機２００がＡＲ画像を表示する他の例を示す図である。 図７７は、実施の形態４の変形例１における受信機２００の処理動作の一例を示すフローチャートである。 図７８は、実施の形態４またはその変形例１における受信機において想定されるＡＲ画像を表示するときの課題の一例を示す図である。 図７９は、実施の形態４の変形例２における受信機がＡＲ画像を表示する例を示す図である。 図８０は、実施の形態４の変形例２における受信機の処理動作の一例を示すフローチャートである。 図８１は、実施の形態４の変形例２における受信機がＡＲ画像を表示する他の例を示す図である。 図８２は、実施の形態４の変形例２における受信機の処理動作の他の例を示すフローチャートである。 図８３は、実施の形態４の変形例２における受信機がＡＲ画像を表示する他の例を示す図である。 図８４は、実施の形態４の変形例２における受信機がＡＲ画像を表示する他の例を示す図である。 図８５は、実施の形態４の変形例２における受信機がＡＲ画像を表示する他の例を示す図である。 図８６は、実施の形態４の変形例２における受信機がＡＲ画像を表示する他の例を示す図である。 図８７Ａは、本発明の一態様に係る表示方法を示すフローチャートである。 図８７Ｂは、本発明の一態様に係る表示装置の構成を示すブロック図である。 図８８は、実施の形態４の変形例３におけるＡＲ画像の拡大および移動の一例を示す図である。 図８９は、実施の形態４の変形例３におけるＡＲ画像の拡大の一例を示す図である。 図９０は、実施の形態４の変形例３における受信機によるＡＲ画像の拡大および移動に関する処理動作の一例を示すフローチャートである。 図９１は、実施の形態４の変形例３におけるＡＲ画像の重畳の一例を示す図である。 図９２は、実施の形態４の変形例３におけるＡＲ画像の重畳の一例を示す図である。 図９３は、実施の形態４の変形例３におけるＡＲ画像の重畳の一例を示す図である。 図９４は、実施の形態４の変形例３におけるＡＲ画像の重畳の一例を示す図である。 図９５Ａは、実施の形態４の変形例３における受信機による撮像によって得られる撮像表示画像の一例を示す図である。 図９５Ｂは、実施の形態４の変形例３における受信機のディスプレイに表示されるメニュー画面の一例を示す図である。 図９６は、実施の形態４の変形例３における受信機とサーバとの処理動作の一例を示すフローチャートである。 図９７は、実施の形態４の変形例３における受信機によって再生される音声の音量を説明するための図である。 図９８は、実施の形態４の変形例３における受信機から送信機までの距離と音量との関係を示す図である。 図９９は、実施の形態４の変形例３における受信機によるＡＲ画像の重畳の一例を示す図である。 図１００は、実施の形態４の変形例３における受信機によるＡＲ画像の重畳の一例を示す図である。 図１０１は、実施の形態４の変形例３における受信機によるラインスキャン時間の求め方の一例を説明するための図である。 図１０２は、実施の形態４の変形例３における受信機によるラインスキャン時間の求め方の一例を説明するための図である。 図１０３は、実施の形態４の変形例３における受信機によるラインスキャン時間の求め方の一例を示すフローチャートである。 図１０４は、実施の形態４の変形例３における受信機によるＡＲ画像の重畳の一例を示す図である。 図１０５は、実施の形態４の変形例３における受信機によるＡＲ画像の重畳の一例を示す図である。 図１０６は、実施の形態４の変形例３における受信機によるＡＲ画像の重畳の一例を示す図である。 図１０７は、実施の形態４の変形例３における受信機の姿勢に応じて取得される復号用画像の一例を示す図である。 図１０８は、実施の形態４の変形例３における受信機の姿勢に応じて取得される復号用画像の他の例を示す図である。 図１０９は、実施の形態４の変形例３における受信機の処理動作の一例を示すフローチャートである。 図１１０は、実施の形態４の変形例３における受信機によるカメラレンズの切り替え処理の一例を示す図である。 図１１１は、実施の形態４の変形例３における受信機によるカメラの切り替え処理の一例を示す図である。 図１１２は、実施の形態４の変形例３における受信機とサーバとの処理動作の一例を示すフローチャートである。 図１１３は、実施の形態４の変形例３における受信機によるＡＲ画像の重畳の一例を示す図である。 図１１４は、実施の形態４の変形例３における受信機、電子レンジ、中継サーバおよび電子決済用サーバを含むシステムの処理動作を示すシーケンス図である。 図１１５は、実施の形態４の変形例３における、ＰＯＳ端末、サーバ、受信機２００および電子レンジを含むシステムの処理動作を示すシーケンス図である。 図１１６は、実施の形態４の変形例３における屋内での利用の一例を示す図である。 図１１７は、実施の形態４の変形例３における拡張現実オブジェクトの表示の一例を示す図である。 図１１８は、実施の形態４の変形例４における表示システムの構成を示す図である。 図１１９は、実施の形態４の変形例４における表示システムの処理動作を示すフローチャートである。 図１２０は、本発明の一態様に係る認識方法を示すフローチャートである。 図１２１は、実施の形態５に係る可視光信号の動作モードの一例を示す図である。 図１２２Ａは、実施の形態５に係る可視光信号の生成方法を示すフローチャートである。 図１２２Ｂは、実施の形態５に係る信号生成装置の構成を示すブロック図である。 図１２３は、実施の形態６におけるＭＰＭのＭＡＣフレームのフォーマットを示す図である。 図１２４は、実施の形態６におけるＭＰＭのＭＡＣフレームを生成する符号化装置の処理動作を示すフローチャートである。 図１２５は、実施の形態６におけるＭＰＭのＭＡＣフレームを復号する復号装置の処理動作を示すフローチャートである。 図１２６は、実施の形態６におけるＭＡＣのＰＩＢの属性を示す図である。 図１２７は、実施の形態６におけるＭＰＭの調光方法を説明するための図である。 図１２８は、実施の形態６におけるＰＨＹのＰＩＢの属性を示す図である。 図１２９は、実施の形態６におけるＭＰＭを説明するための図である。 図１３０は、実施の形態６におけるＰＬＣＰヘッダサブフィールドを示す図である。 図１３１は、実施の形態６におけるＰＬＣＰセンタサブフィールドを示す図である。 図１３２は、実施の形態６におけるＰＬＣＰフッタサブフィールドを示す図である。 図１３３は、実施の形態６におけるＭＰＭにおけるＰＨＹのＰＷＭモードの波形を示す図である。 図１３４は、実施の形態６におけるＭＰＭにおけるＰＨＹのＰＰＭモードの波形を示す図である。 図１３５は、実施の形態６の復号方法の一例を示すフローチャートである。 図１３６は、実施の形態６の符号化方法の一例を示すフローチャートである。 図１３７は、実施の形態７における受信機がＡＲ画像を表示する例を示す図である。 図１３８は、実施の形態７における、ＡＲ画像が重畳された撮像表示画像の例を示す図である。 図１３９は、実施の形態７における受信機がＡＲ画像を表示する他の例を示す図である。 図１４０は、実施の形態７における受信機の動作を示すフローチャートである。 図１４１は、実施の形態７における送信機の動作を説明するための図である。 図１４２は、実施の形態７における送信機の他の動作を説明するための図である。 図１４３は、実施の形態７における送信機の他の動作を説明するための図である。 図１４４は、実施の形態７における光ＩＤの受信し易さを説明するための比較例を示す図である。 図１４５Ａは、実施の形態７における送信機の動作を示すフローチャートである。 図１４５Ｂは、実施の形態７における送信機の構成を示すブロック図である。 図１４６は、実施の形態７における受信機がＡＲ画像を表示する他の例を示す図である。 図１４７は、実施の形態８における送信機の動作を説明するための図である。 図１４８Ａは、実施の形態８における送信方法を示すフローチャートである。 図１４８Ｂは、実施の形態８における送信機の構成を示すブロック図である。 図１４９は、実施の形態８における可視光信号の詳細な構成の一例を示す図である。 図１５０は、実施の形態８における可視光信号の詳細な構成の他の例を示す図である。 図１５１は、実施の形態８における可視光信号の詳細な構成の他の例を示す図である。 図１５２は、実施の形態８における可視光信号の詳細な構成の他の例を示す図である。 図１５３は、実施の形態８における、変数ｙ０〜ｙ３の総和と、全時間長および有効時間長との関係を示す図である。 図１５４Ａは、実施の形態８における送信方法を示すフローチャートである。 図１５４Ｂは、実施の形態８における送信機の構成を示すブロック図である。 図１５５は、実施の形態９における表示システムの構成を示す図である。 図１５６は、実施の形態９における受信機とサーバの処理動作を示すシーケンス図である。 図１５７は、実施の形態９におけるサーバの処理動作を示すフローチャートである。 図１５８は、実施の形態９における送信機および受信機がそれぞれ車両に搭載された場合における通信の例を示す図である。 図１５９は、実施の形態９における車両の処理動作を示すフローチャートである。 図１６０は、実施の形態９における受信機がＡＲ画像を表示する例を示す図である。 図１６１は、実施の形態９における受信機がＡＲ画像を表示する他の例を示す図である。 図１６２は、実施の形態９における受信機の処理動作を示す図である。 図１６３は、実施の形態９における受信機に対する操作の一例を示す図である。 図１６４は、実施の形態９における受信機に表示されるＡＲ画像の例を示す図である。 図１６５は、実施の形態９における、撮像表示画像に重畳されるＡＲ画像の例を示す図である。 図１６６は、実施の形態９における、撮像表示画像に重畳されるＡＲ画像の例を示す図である。 図１６７は、実施の形態９における送信機の一例を示す図である。 図１６８は、実施の形態９における送信機の他の例を示す図である。 図１６９は、実施の形態９における送信機の他の例を示す図である。 図１７０は、実施の形態９における、光通信対応の受信機と、光通信非対応の受信機とを用いたシステムの一例を示す図である。 図１７１は、実施の形態９における受信機の処理動作を示すフローチャートである。 図１７２は、実施の形態９におけるＡＲ画像の表示の例を示す図である。 図１７３Ａは、本発明の一態様に係る表示方法を示すフローチャートである。 図１７３Ｂは、本発明の一態様に係る表示装置の構成を示すブロック図である。 図１７４は、実施の形態１０における送信機に描かれる画像の一例を示す図である。 図１７５は、実施の形態１０における送信機に描かれる画像の他の例を示す図である。 図１７６は、実施の形態１０における送信機および受信機の例を示す図である。 図１７７は、実施の形態１０におけるラインパターンの基本周波数を説明するための図である。 図１７８Ａは、実施の形態１０における符号化装置の処理動作を示すフローチャートである。 図１７８Ｂは、実施の形態１０における符号化装置の処理動作を説明するための図である。 図１７９は、実施の形態１０における復号装置である受信機の処理動作を示すフローチャートである。 図１８０は、実施の形態１０における受信機の処理動作を示すフローチャートである。 図１８１Ａは、実施の形態１０におけるシステムの構成の一例を示す図である。 図１８１Ｂは、実施の形態１０におけるカメラの処理を示す図である。 図１８２は、実施の形態１０におけるシステムの構成の他の例を示す図である。 図１８３は、実施の形態１０における送信機に描かれる画像の他の例を示す図である。 図１８４は、実施の形態１０におけるフレームＩＤを構成するＭＡＣフレームのフォーマットの一例を示す図である。 図１８５は、実施の形態１０におけるＭＡＣヘッダの構成の一例を示す図である。 図１８６は、実施の形態１０における、パケット分割数を導出するためのテーブルの一例を示す図である。 図１８７は、実施の形態１０におけるＰＨＹ符号化を示す図である。 図１８８は、実施の形態１０におけるＰＨＹシンボルを有する送信画像Ｉｍ３の一例を示す図である。 図１８９は、実施の形態１０における２つのＰＨＹバージョンを説明するための図である。 図１９０は、実施の形態１０におけるグレイコードを説明するための図である。 図１９１は、実施の形態１０における受信機による復号処理の一例を示す図である。 図１９２は、実施の形態１０における受信機による送信画像の不正検知の方法を説明するための図である。 図１９３は、実施の形態１０における受信機による送信画像の不正検知を含む復号処理の一例を示すフローチャートである。 図１９４Ａは、実施の形態１０の変形例に係る表示方法を示すフローチャートである。 図１９４Ｂは、実施の形態１０の変形例に係る表示装置の構成を示すブロック図である。 図１９４Ｃは、実施の形態１０の変形例に係る通信方法を示すフローチャートである。 図１９４Ｄは、実施の形態１０の本変形例に係る通信装置の構成を示すブロック図である。 図１９４Ｅは、実施の形態１０およびその変形例に係る送信機の構成を示すブロック図である。 図１９５は、実施の形態１１におけるサーバを含む通信システムの構成の一例を示す図である。 図１９６は、実施の形態１１における第１のサーバによる管理方法を示すフローチャートである。 図１９７は、実施の形態１２における照明システムを示す図である。 図１９８は、実施の形態１２における照明装置の配置および復号用画像の一例を示す図である。 図１９９は、実施の形態１２における照明装置の配置および復号用画像の他の例を示す図である。 図２００は、実施の形態１２における照明装置を用いた位置推定を説明するための図である。 図２０１は、実施の形態１２における受信機の処理動作を示すフローチャートである。 図２０２は、実施の形態１２における通信システムの一例を示す図である。 図２０３は、実施の形態１２における受信機による自己位置推定の処理を説明するための図である 図２０４は、実施の形態１２における受信機による自己位置推定の処理を示すフローチャートである。 図２０５は、実施の形態１２における受信機の自己位置推定の処理の概略を示すフローチャートである。 図２０６は、実施の形態１２における電波のＩＤと光ＩＤとの関係を示す図である。 図２０７は、実施の形態１２における受信機による撮像の一例を説明するための図である。 図２０８は、実施の形態１２における受信機による撮像の他の例を説明するための図である。 図２０９は、実施の形態１２における受信機によって用いられるカメラを説明するための図である。 図２１０は、実施の形態１２における受信機が送信機の可視光信号を変更させる処理の一例を示すフローチャートである。 図２１１は、実施の形態１２における受信機が送信機の可視光信号を変更させる処理の他の例を示すフローチャートである。 図２１２は、実施の形態１３における受信機によるナビゲーションを説明するための図である。 図２１３は、実施の形態１３における受信機による自己位置推定の一例を示すフローチャートである。 図２１４は、実施の形態１３における受信機によって受信される可視光信号を説明するための図である。 図２１５は、実施の形態１３における受信機による自己位置推定の他の例を示すフローチャートである。 図２１６は、実施の形態１３における受信機による反射光の判定の例を示すフローチャートである。 図２１７は、実施の形態１３における受信機によるナビゲーションの一例を示すフローチャートである。 図２１８は、実施の形態１３におけるプロジェクタとして構成されている送信機１００の例を示す図である。 図２１９は、実施の形態１３における受信機による自己位置推定の他の例を示すフローチャートである。 図２２０は、実施の形態１３における送信機による処理の一例を示すフローチャートである。 図２２１は、実施の形態１３における受信機によるナビゲーションの他の例を示すフローチャートである。 図２２２は、実施の形態１３における受信機による処理の一例を示すフローチャートである。 図２２３は、実施の形態１３における受信機のディスプレイに表示される画面の一例を示す図である。 図２２４は、実施の形態１３における受信機によるキャラクターの表示例を示す図である。 図２２５は、実施の形態１３における受信機のディスプレイに表示される画面の他の例を示す図である。 図２２６は、実施の形態１３における、待ち合わせ場所へのナビゲーションを行うためのシステム構成を示す図である。 図２２７は、実施の形態１３における受信機のディスプレイに表示される画面の他の例を示す図である。 図２２８は、コンサートホールの内部を示す図である。 図２２９は、本発明の第１の態様における通信方法の一例を示すフローチャートである。
本発明の一態様に係る通信方法は、イメージセンサを備えた端末を用いた通信方法であって、前記端末が可視光通信を行うことが可能か否かを判断し、前記端末が可視光通信を行うことが可能と判断した場合に、前記イメージセンサにより、輝度変化する被写体を撮像することにより、復号用画像を取得し、前記復号用画像に現れる縞模様から、前記被写体が送信する第１の識別情報を取得し、前記可視光通信の判断において、前記端末が可視光通信を行うことが可能でないと判断した場合に、前記イメージセンサにより、前記被写体を撮像することによって撮像画像を取得し、前記撮像画像のエッジ検出を行うことで、少なくとも１つの輪郭を抽出し、前記少なくとも１つの輪郭の中から、所定の特定領域を特定し、前記特定領域のラインパターンから前記被写体が送信する第２の識別情報を取得する。
これにより、例えば実施の形態１０のように、受信機などの端末は、可視光通信ができるか否かに関わらず、送信機などの被写体から、第１の識別情報または第２の識別情報を取得することができる。つまり、端末は、可視光通信を行うことができる場合には、被写体から例えば光ＩＤを第１の識別情報として取得する。一方、端末は、可視光通信を行うことができなくても、その被写体から例えば画像ＩＤまたはフレームＩＤを第２の識別情報として取得することができる。具体的には、例えば図１８３および図１８８に示す送信画像が被写体として撮像され、その送信画像の領域が特定領域（すなわち選択領域）として選択され、その送信画像のラインパターンから第２の識別情報が取得される。したがって、可視光通信が不可能な場合でも、第２の識別情報を適切に取得することができる。なお、縞模様は、輝線パターンまたは輝線パターン領域とも呼ばれる。
また、前記特定領域の特定では、所定の大きさ以上の四角形の輪郭を有する領域、または、所定の大きさ以上の角丸四角形の輪郭を有する領域を、前記特定領域として特定してもよい。
これにより、例えば図１７９に示すように、四角形または角丸四角形の領域を特定領域として適切に特定することができる。
また、前記可視光通信の判断では、前記端末が露光時間を所定の値以下に変更することができる端末であると特定した場合に、可視光通信を行うことが可能であると判断し、前記端末が露光時間を前記所定の値以下に変更することができない端末であると特定した場合に、可視光通信を行うことが可能でないと判断してもよい。
これにより、例えば図１８０に示すように、可視光信号を行うことが可能か否かを適切に判断することができる。
また、前記可視光通信の判断において、前記端末が可視光通信を行うことが可能と判断した場合に、前記被写体を撮像するときには、前記イメージセンサの露光時間を第１の露光時間に設定し、前記第１の露光時間で前記被写体を撮像することで、前記復号用画像を取得し、前記可視光通信の判断において、前記端末が可視光通信を行うことが可能でないと判断した場合に、前記被写体を撮像するときには、前記イメージセンサの露光時間を第２の露光時間に設定し、前記第２の露光時間で前記被写体を撮像することで、前記撮像画像を取得し、前記第１の露光時間は、前記第２の露光時間よりも短くてもよい。
これにより、第１の露光時間での撮像によって、縞模様を有する復号用画像を取得して、その縞模様に対する復号によって、第１の識別情報を適切に取得することができる。さらに、第２の露光時間での撮像によって、通常撮影画像を撮像画像として取得し、その通常撮影画像に現れているラインパターンから第２の識別情報を適切に取得することができる。これにより、端末は、第１の露光時間と第２の露光時間とを使い分けることによって、その端末に適した第１の識別情報または第２の識別情報を取得することができる。
また、前記被写体は、前記イメージセンサから見て矩形形状であり、当該被写体の中心領域が輝度変化することにより、前記第１の識別情報を送信し、当該被写体の周縁にバーコード状のラインパターンが配置されており、前記可視光通信の判断において、前記端末が可視光通信を行うことが可能と判断した場合に、前記被写体を撮像するときには、前記イメージセンサの有する複数の露光ラインに対応する複数の輝線から構成される輝線パターンを含む前記復号用画像を取得し、前記輝線パターンを復号することによって前記第１の識別情報を取得し、前記可視光通信の判断において、前記端末が可視光通信を行うことが可能でないと判断した場合に、前記被写体を撮像するときには、前記撮像画像の前記ラインパターンから前記第２の識別情報を取得してもよい。
これにより、中心領域が輝度変化する被写体から、第１の識別情報および第２の識別情報を適切に取得することができる。
また、前記復号用画像から得られる前記第１の識別情報と、前記ラインパターンから得られる前記第２の識別情報は、同一の情報であってもよい。
これにより、可視光通信が可能な端末でも、可視光通信が不可能な端末でも、その被写体から同じ情報を取得することができる。
また、前記可視光通信の判断において、前記端末が可視光通信を行うことが可能と判断した場合に、前記第１の識別情報に関連付けられている第１の動画像を表示し、前記第１の動画像をスライドさせる操作を受け付けると、前記第１の動画像の次に前記第１の識別情報に関連付けられている第２の動画像を表示してもよい。
例えば、第１の動画像および第２の動画像のそれぞれは、図１６２に示す第１のＡＲ画像Ｐ４６および第２のＡＲ画像Ｐ４６ｃである。また、第１の識別情報は、例えば上述のように光ＩＤである。上記一態様に係る通信方法では、第１の動画像をスライドさせる操作、つまりスワイプが受け付けられると、第１の動画像の次に第１の識別情報に関連付けられている第２の動画像が表示される。したがって、ユーザに有益な画像を容易に表示することができる。また、図１９４Ａに示すように、事前に可視光通信が可能か否かの判断が行われるため、不可能な場合にまで、可視光信号を取得しようとする無駄な処理を省くことができ、処理負担を軽減することができる。
また、前記第２の動画像の表示では、前記第１の動画像を横方向にスライドさせる操作を受け付けると、前記第２の動画像を表示し、前記第１の動画像を縦方向にスライドさせる動作を受け付けると、前記第１の識別情報に関連付けられている静止画像を表示してもよい。
これにより、例えば図１６２に示すように、第１の動画像の横方向へのスライド、すなわちスワイプによって、第２の動画像が表示される。さらに、例えば図１６３および図１６４に示すように、第１の動画像の縦方向へのスライドによって、第１の識別情報に関連付けられている静止画像が表示される。静止画像は、例えば図１６４に示すＡＲ画像Ｐ４７である。したがって、ユーザに有益な多種多様な画像を容易に表示することができる。
また、前記第１の動画像および前記第２の動画像のそれぞれにおいて、最初に表示されるピクチャ内のオブジェクトは同一の位置にあってもよい。
これにより、例えば図１６２に示すように、第１の動画像に代わって第２の動画像が表示されるときには、それらの最初に表示されるオブジェクトが同一位置にあるため、ユーザは、第１の動画像および第２の動画像が互いに関連していることを容易に把握することができる。
また、前記イメージセンサによる撮像によって前記第１の識別情報を再び取得したときには、表示されている動画像の次に前記第１の識別情報に関連付けられている次の動画像を表示してもよい。
これにより、例えば図１６２に示すように、スライドまたはスワイプなどの操作が行われなくても、第１の識別情報である光ＩＤが取り直されると、次の動画像が表示される。したがって、ユーザに有益な動画像をより容易に表示することができる。
また、前記表示されている動画像および前記次の動画像のそれぞれにおいて、最初に表示されるピクチャ内のオブジェクトは同一の位置にあってもよい。
これにより、例えば図１６２に示すように、表示されている動画像に代わって次の動画像が表示されるときには、それらの最初に表示されるオブジェクトが同一位置にあるため、ユーザは、それらの動画像が互いに関連していることを容易に把握することができる。
また、前記第１の動画像および前記第２の動画像のうちの少なくとも一方の動画像は、前記動画像内の位置が前記動画像の端に近いほど、当該位置における透明度が高くなるように形成されていてもよい。
これにより、例えば図９３または図１６６に示すように、その動画像が通常撮影画像に重畳されて表示される場合には、通常撮影画像によって示される環境に、輪郭が曖昧なオブジェクトが現実に存在するように、撮像表示画像を表示することができる。
また、前記第１の動画像および前記第２の動画像のうちの少なくとも一方の動画像が表示される領域の外に、画像を表示してもよい。
これにより、例えば図１６１に示すサブ画像Ｐｓ４６のように、動画像が表示される領域の外に、画像が表示されるため、ユーザにより有益な多種多様な画像を容易に表示することができる。
また、前記イメージセンサによる第１の露光時間による撮像によって、通常撮影画像を取得し、前記第１の露光時間よりも短い第２の露光時間による撮像によって、複数の輝線のパターンからなる領域である輝線パターン領域を含む前記復号用画像を取得し、前記復号用画像に対する復号によって前記第１の識別情報を取得し、前記第１の動画像または前記第２の動画像のうちの少なくとも一方の動画像の表示では、前記通常撮影画像から、前記復号用画像における前記輝線パターン領域と同一の位置にある基準領域を特定し、前記基準領域に基づいて、前記通常撮影画像において前記動画像が重畳される領域を対象領域として認識し、前記対象領域に前記動画像を重畳してもよい。例えば、前記第１の動画像または前記第２の動画像のうちの少なくとも一方の動画像の表示では、前記通常撮影画像における、前記基準領域の上、下、左または右の領域を前記対象領域として認識してもよい。
これにより、例えば図５０〜図５２および図１７２に示すように、基準領域に基づいて対象領域が認識され、その対象領域に動画像が重畳されるため、動画像が重畳される領域の自由度を容易に高めることができる。
また、前記第１の動画像または前記第２の動画像のうちの少なくとも一方の動画像の表示では、前記輝線パターン領域のサイズが大きいほど、前記動画像のサイズを大きくしてもよい。
これにより、図１７２に示すように、動画像のサイズが輝線パターン領域のサイズに応じて変化するため、動画像のサイズが固定されている場合と比べて、その動画像によって示されるオブジェクトがより現実に存在するように、その動画像を表示することができる。
本発明の一態様に係る送信機は、照明板と、前記照明板の背面側から光を照射する光源と、前記光源の輝度を変化させるマイクロコントローラと、を備え、前記マイクロコントローラは、前記光源を輝度変化させることにより、前記光源から前記照明板を介して第１の識別情報を送信し、前記照明板の前面側の周辺にバーコード状のラインパターンが配置されており、前記ラインパターンに第２の識別情報が符号化されており、前記第１の識別情報と、前記第２の識別情報は、同じ情報である。例えば、前記照明板の形状は、矩形形状であってもよい。
これにより、可視光通信を行うことが可能な端末に対しても、不可能な端末に対しても、同じ情報を送信することができる。
なお、これらの包括的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。
なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
（実施の形態１）
以下、実施の形態１について説明する。
（発光部の輝度の観測）
１枚の画像を撮像するとき、全ての撮像素子を同一のタイミングで露光させるのではなく、撮像素子ごとに異なる時刻に露光を開始・終了する撮像方法を提案する。図１は、１列に並んだ撮像素子は同時に露光させ、列が近い順に露光開始時刻をずらして撮像する場合の例である。ここでは、同時に露光する撮像素子の露光ラインと呼び、その撮像素子に対応する画像上の画素のラインを輝線と呼ぶ。
この撮像方法を用いて、点滅している光源を撮像素子の全面に写して撮像した場合、図２のように、撮像画像上に露光ラインに沿った輝線（画素値の明暗の線）が生じる。この輝線のパターンを認識することで、撮像フレームレートを上回る速度の光源輝度変化を推定することができる。これにより、信号を光源輝度の変化として送信することで、撮像フレームレート以上の速度での通信を行うことができる。光源が２種類の輝度値をとることで信号を表現する場合、低い方の輝度値をロー（ＬＯ），高い方の輝度値をハイ（ＨＩ）と呼ぶ。ローは光源が光っていない状態でも良いし、ハイよりも弱く光っていても良い。
この方法によって、撮像フレームレートを超える速度で情報の伝送を行う。
一枚の撮像画像中に、露光時間が重ならない露光ラインが２０ラインあり、撮像のフレームレートが３０ｆｐｓのときは、１．６７ミリ秒周期の輝度変化を認識できる。露光時間が重ならない露光ラインが１０００ラインある場合は、３万分の１秒（約３３マイクロ秒）周期の輝度変化を認識できる。なお、露光時間は例えば１０ミリ秒よりも短く設定される。
図２は、一つの露光ラインの露光が完了してから次の露光ラインの露光が開始される場合を示している。
この場合、１秒あたりのフレーム数（フレームレート）がｆ、１画像を構成する露光ライン数がｌのとき、各露光ラインが一定以上の光を受光しているかどうかで情報を伝送すると、最大でｆｌビット毎秒の速度で情報を伝送することができる。
なお、ラインごとではなく、画素ごとに時間差で露光を行う場合は、さらに高速で通信が可能である。
このとき、露光ラインあたりの画素数がｍ画素であり、各画素が一定以上の光を受光しているかどうかで情報を伝送する場合には、伝送速度は最大でｆｌｍビット毎秒となる。
図３のように、発光部の発光による各露光ラインの露光状態を複数のレベルで認識可能であれば、発光部の発光時間を各露光ラインの露光時間より短い単位の時間で制御することで、より多くの情報を伝送することができる。
露光状態をＥｌｖ段階で認識可能である場合には、最大でｆｌＥｌｖビット毎秒の速度で情報を伝送することができる。
また、各露光ラインの露光のタイミングと少しずつずらしたタイミングで発光部を発光させることで、発信の基本周期を認識することができる。
図４は、一つの露光ラインの露光が完了する前に次の露光ラインの露光が開始される場合を示している。即ち、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となっている。このような構成により、（１）一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、所定の時間内におけるサンプル数を多くすることができる。所定時間内におけるサンプル数が多くなることにより、被写体である光送信機が発生する光信号をより適切に検出することが可能となる。即ち、光信号を検出する際のエラー率を低減することが可能となる。更に、（２）一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、各露光ラインの露光時間を長くすることができるため、被写体が暗い場合であっても、より明るい画像を取得することが可能となる。即ち、Ｓ／Ｎ比を向上させることが可能となる。なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。一部の露光ラインについて部分的に時間的な重なりを持たないように構成するにより、撮像画面上における露光時間の重なりによる中間色の発生を抑制でき、より適切に輝線を検出することが可能となる。
この場合は、各露光ラインの明るさから露光時間を算出し、発光部の発光の状態を認識する。
なお、各露光ラインの明るさを、輝度が閾値以上であるかどうかの２値で判別する場合には、発光していない状態を認識するために、発光部は発光していない状態を各ラインの露光時間以上の時間継続しなければならない。
図５Ａは、各露光ラインの露光開始時刻が等しい場合に、露光時間の違いによる影響を示している。７５００ａは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、７５００ｂはそれより露光時間を長くとった場合である。７５００ｂのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、露光時間を長くとることが可能となる。即ち、撮像素子に入射する光が増大し、明るい画像を得ることができる。また、同一の明るさの画像を撮像するための撮像感度を低く抑えられることで、ノイズの少ない画像が得られるため、通信エラーが抑制される。
図５Ｂは、露光時間が等しい場合に、各露光ラインの露光開始時刻の違いによる影響を示している。７５０１ａは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、７５０１ｂは前の露光ラインの露光終了より早く次の露光ラインの露光を開始する場合である。７５０１ｂのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、時間あたりに露光できるラインを増やすことが可能となる。これにより、より解像度が高くなり、多くの情報量が得られる。サンプル間隔（＝露光開始時刻の差）が密になることで、より正確に光源輝度の変化を推定することができ、エラー率が低減でき、更に、より短い時間における光源輝度の変化を認識することができる。露光時間に重なりを持たせることで、隣接する露光ラインの露光量の差を利用して、露光時間よりも短い光源の点滅を認識することができる。
また、上述のサンプル数が少ない場合、つまり、サンプル間隔（図５Ｂに示す時間差ｔＤ）が長いと、光源輝度の変化を正確に検出することができない可能性が高くなる。この場合には、露光時間を短くすることによって、その可能性を抑えることができる。つまり、光源輝度の変化を正確に検出することができる。また、露光時間は、露光時間＞（サンプル間隔−パルス幅）を満たすことが望ましい。パルス幅は、光源の輝度がＨｉｇｈになっている期間である光のパルス幅である。これにより、Ｈｉｇｈの輝度を適切に検出することができる。
図５Ａ、図５Ｂで説明したように、隣接する露光ラインの露光時間が、部分的に時間的な重なりをもつように、各露光ラインを順次露光する構成において、露光時間を通常撮影モードよりも短く設定することにより発生する輝線パターンを信号伝送に用いることにより通信速度を飛躍的に向上させることが可能になる。ここで、可視光通信時における露光時間を１／４８０秒以下に設定することにより適切な輝線パターンを発生させることが可能となる。ここで、露光時間は、フレーム周波数＝ｆとすると、露光時間＜１／８×ｆと設定する必要がある。撮影の際に発生するブランキングは、最大で１フレームの半分の大きさになる。即ち、ブランキング時間は、撮影時間の半分以下であるため、実際の撮影時間は、最も短い時間で１／２ｆとなる。更に、１／２ｆの時間内において、４値の情報を受ける必要があるため、少なくとも露光時間は、１／（２ｆ×４）よりも短くする必要が生じる。通常フレームレートは、６０フレーム／秒以下であることから、１／４８０秒以下の露光時間に設定することにより、適切な輝線パターンを画像データに発生させ、高速の信号伝送を行うことが可能となる。
図５Ｃは、各露光ラインの露光時間が重なっていない場合、露光時間が短い場合の利点を示している。露光時間が長い場合は、光源は７５０２ａのように２値の輝度変化をしていたとしても、撮像画像では７５０２ｅのように中間色の部分ができ、光源の輝度変化を認識することが難しくなる傾向がある。しかし、７５０２ｄのように、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間（所定の待ち時間）ｔＤ２を設ける構成とすることにより、光源の輝度変化を認識しやすくすることが可能となる。即ち、７５０２ｆのような、より適切な輝線パターンを検出することが可能となる。７５０２ｄのように、所定の露光しない空き時間を設ける構成は、露光時間ｔＥを各露光ラインの露光開始時刻の時間差ｔＤよりも小さくすることにより実現することが可能となる。通常撮影モードが、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成である場合において、露光時間を通常撮影モード時よりも、所定の露光しない空き時間が生じるまで短く設定することにより、実現することができる。また、通常撮影モードが、前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であっても、所定の露光しない時間が生じるまで露光時間を短く設定することにより、実現することができる。また、７５０２ｇのように、各露光ラインの露光開始時刻の間隔ｔＤを大きくすることによっても、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間（所定の待ち時間）ｔＤ２を設ける構成をとることができる。この構成では、露光時間を長くすることができるため、明るい画像を撮像することができ、ノイズが少なくなることからエラー耐性が高い。一方で、この構成では、一定時間内に露光できる露光ラインが少なくなるため、７５０２ｈのように、サンプル数が少なくなるという欠点があるため、状況によって使い分けることが望ましい。例えば、撮像対象が明るい場合には前者の構成を用い、暗い場合には後者の構成を用いることで、光源輝度変化の推定誤差を低減することができる。
なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。また、全ての露光ラインにおいて、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間（所定の待ち時間）を設ける構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持つ構成とすることも可能である。このような構成とすることにより、それぞれの構成における利点を生かすことが可能となる。また、通常のフレームレート（３０ｆｐｓ、６０ｆｐｓ）にて撮影を行う通常撮影モードと、可視光通信を行う１／４８０秒以下の露光時間にて撮影を行う可視光通信モードとにおいて、同一の読み出し方法または回路にて信号の読み出しを行ってもよい。同一の読み出し方法または回路にて信号を読み出すことにより、通常撮影モードと、可視光通信モードとに対して、それぞれ別の回路を用いる必要がなくなり、回路規模を小さくすることが可能となる。
図５Ｄは、光源輝度の最小変化時間ｔＳと、露光時間ｔＥと、各露光ラインの露光開始時刻の時間差ｔＤと、撮像画像との関係を示している。ｔＥ＋ｔＤ＜ｔＳとした場合は、必ず一つ以上の露光ラインが露光の開始から終了まで光源が変化しない状態で撮像するため、７５０３ｄのように輝度がはっきりとした画像が得られ、光源の輝度変化を認識しやすい。２ｔＥ＞ｔＳとした場合は、光源の輝度変化とは異なるパターンの輝線が得られる場合があり、撮像画像から光源の輝度変化を認識することが難しくなる。
図５Ｅは、光源輝度の遷移時間ｔＴと、各露光ラインの露光開始時刻の時間差ｔＤとの関係を示している。ｔＴに比べてｔＤが大きいほど、中間色になる露光ラインが少なくなり、光源輝度の推定が容易になる。ｔＤ＞ｔＴのとき中間色の露光ラインは連続で２ライン以下になり、望ましい。ｔＴは、光源がＬＥＤの場合は１マイクロ秒以下、光源が有機ＥＬの場合は５マイクロ秒程度となるため、ｔＤを５マイクロ秒以上とすることで、光源輝度の推定を容易にすることができる。
図５Ｆは、光源輝度の高周波ノイズｔＨＴと、露光時間ｔＥとの関係を示している。ｔＨＴに比べてｔＥが大きいほど、撮像画像は高周波ノイズの影響が少なくなり、光源輝度の推定が容易になる。ｔＥがｔＨＴの整数倍のときは高周波ノイズの影響がなくなり、光源輝度の推定が最も容易になる。光源輝度の推定には、ｔＥ＞ｔＨＴであることが望ましい。高周波ノイズの主な原因はスイッチング電源回路に由来し、多くの電灯用のスイッチング電源ではｔＨＴは２０マイクロ秒以下であるため、ｔＥを２０マイクロ秒以上とすることで、光源輝度の推定を容易に行うことができる。
図５Ｇは、ｔＨＴが２０マイクロ秒の場合の、露光時間ｔＥと高周波ノイズの大きさとの関係を表すグラフである。ｔＨＴは光源によってばらつきがあることを考慮すると、グラフより、ｔＥは、ノイズ量が極大をとるときの値と等しくなる値である、１５マイクロ秒以上、または、３５マイクロ秒以上、または、５４マイクロ秒以上、または、７４マイクロ秒以上として定めると効率が良いことが確認できる。高周波ノイズ低減の観点からはｔＥは大きいほうが望ましいが、前述のとおり、ｔＥが小さいほど中間色部分が発生しづらくなるという点で光源輝度の推定が容易になるという性質もある。そのため、光源輝度の変化の周期が１５〜３５マイクロ秒のときはｔＥは１５マイクロ秒以上、光源輝度の変化の周期が３５〜５４マイクロ秒のときはｔＥは３５マイクロ秒以上、光源輝度の変化の周期が５４〜７４マイクロ秒のときはｔＥは５４マイクロ秒以上、光源輝度の変化の周期が７４マイクロ秒以上のときはｔＥは７４マイクロ秒以上として設定すると良い。
図５Ｈは、露光時間ｔＥと認識成功率との関係を示す。露光時間ｔＥは光源の輝度が一定である時間に対して相対的な意味を持つため、光源輝度が変化する周期ｔＳを露光時間ｔＥで割った値（相対露光時間）を横軸としている。グラフより、認識成功率をほぼ１００％としたい場合は、相対露光時間を１．２以下にすれば良いことがわかる。例えば、送信信号を１ｋＨｚとする場合は露光時間を約０．８３ミリ秒以下とすれば良い。同様に、認識成功率を９５％以上としたい場合は相対露光時間を１．２５以下に、認識成功率を８０％以上としたい場合は相対露光時間を１．４以下にすれば良いということがわかる。また、相対露光時間が１．５付近で認識成功率が急激に下がり、１．６でほぼ０％となるため、相対露光時間が１．５を超えないように設定すべきであることがわかる。また、認識率が７５０７ｃで０になった後、７５０７ｄや、７５０７ｅ、７５０７ｆで、再度上昇していることがわかる。そのため、露光時間を長くして明るい画像を撮像したい場合などは、相対露光時間が１．９から２．２、２．４から２．６、２．８から３．０となる露光時間を利用すれば良い。例えば、中間モードとして、これらの露光時間を使うと良い。
図６Ａは、本実施の形態における情報通信方法のフローチャートである。
本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、ステップＳＫ９１〜ＳＫ９３を含む。
つまり、この情報通信方法は、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる複数の露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの第１の露光時間を設定する第１の露光時間設定ステップＳＫ９１と、前記イメージセンサが、輝度変化する前記被写体を、設定された前記第１の露光時間で撮影することによって、前記複数の輝線を含む輝線画像を取得する第１の画像取得ステップＳＫ９２と、取得された前記輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップＳＫ９３とを含み、前記第１の画像取得ステップＳＫ９２では、前記複数の露光ラインのそれぞれは、順次異なる時刻で露光を開始し、かつ、当該露光ラインに隣接する隣接露光ラインの露光が終了してから所定の空き時間経過後に、露光を開始する。
図６Ｂは、本実施の形態における情報通信装置のブロック図である。
本実施の形態における情報通信装置Ｋ９０は、被写体から情報を取得する情報通信装置であって、構成要素Ｋ９１〜Ｋ９３を備える。
つまり、この情報通信装置Ｋ９０は、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる複数の露光ラインに対応する複数の輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定部Ｋ９１と、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記複数の輝線を含む輝線画像を取得する前記イメージセンサを有する画像取得部Ｋ９２と、取得された前記輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得部Ｋ９３とを備え、前記複数の露光ラインのそれぞれは、順次異なる時刻で露光を開始し、かつ、当該露光ラインに隣接する隣接露光ラインの露光が終了してから所定の空き時間経過後に、露光を開始する。
このような図６Ａおよび図６Ｂによって示される情報通信方法および情報通信装置Ｋ９０では、例えば図５Ｃなどに示すように、複数の露光ラインのそれぞれは、その露光ラインに隣接する隣接露光ラインの露光が終了してから所定の空き時間経過後に、露光を開始するため、被写体の輝度変化を認識しやすくすることができる。その結果、被写体から情報を適切に取得することができる。
なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図６Ａのフローチャートによって示される情報通信方法をコンピュータに実行させる。
（実施の形態２）
本実施の形態では、上記実施の形態１における情報通信装置Ｋ９０であるスマートフォンなどの受信機と、ＬＥＤや有機ＥＬなどの光源の点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
なお、以下の説明では、通常撮影モード、または通常撮影モードによる撮影を通常撮影といい、可視光通信モード、または可視光通信モードによる撮影を可視光撮影（可視光通信）という。また、通常撮影および可視光撮影の代わりに、中間モードによる撮影を用いてもよく、後述の合成画像の代わりに中間画像を用いてもよい。
図７は、本実施の形態における受信機の撮影動作の一例を示す図である。
受信機８０００は、撮影モードを通常撮影、可視光通信、通常撮影、・・・のように切り替える。そして、受信機８０００は、通常撮影画像と可視光通信画像とを合成することによって、輝線模様と被写体およびその周囲とが鮮明に映し出された合成画像を生成し、その合成画像をディスプレイに表示する。この合成画像は、通常撮影画像における信号が送信されている箇所に、可視光通信画像の輝線模様を重畳することによって生成された画像である。また、この合成画像によって映し出される輝線模様、被写体およびその周囲はそれぞれ鮮明であって、ユーザによって十分に認識される鮮明度を有する。このような合成画像が表示されることによって、ユーザは、どこから、またはどの位置から信号が送信されているかをより明確に知ることができる。
図８は、本実施の形態における受信機の撮影動作の他の例を示す図である。
受信機８０００は、カメラＣａ１およびカメラＣａ２を備える。このような受信機８０００では、カメラＣａ１は通常撮影を行い、カメラＣａ２は可視光撮影を行う。これにより、カメラＣａ１は、上述のような通常撮影画像を取得し、カメラＣａ２は、上述のような可視光通信画像を取得する。そして、受信機８０００は、通常撮影画像および可視光通信画像を合成することによって、上述の合成画像を生成してディスプレイに表示する。
図９は、本実施の形態における受信機の撮影動作の他の例を示す図である。
２つのカメラを有する上記受信機８０００では、カメラＣａ１は、撮影モードを通常撮影、可視光通信、通常撮影、・・・のように切り替える。一方、カメラＣａ２は、通常撮影を継続して行う。そして、カメラＣａ１とカメラＣａ２とで同時に通常撮影が行われているときには、受信機８０００は、それらのカメラによって取得された通常撮影画像から、ステレオ視（三角測量の原理）を利用して、受信機８０００から被写体までの距離（以下、被写体距離という）を推定する。このように推定された被写体距離を用いることによって、受信機８０００は、可視光通信画像の輝線模様を通常撮影画像の適切な位置に重畳することができる。つまり、適切な合成画像を生成することができる。
図１０は、本実施の形態における受信機の表示動作の一例を示す図である。
受信機８０００は、上述のように、撮影モードを可視光通信、通常撮影、可視光通信、・・・のように切り替える。ここで、受信機８０００は、最初に可視光通信を行うときに、アプリケーションプログラムを起動する。そして、受信機８０００は、可視光通信によって受信した信号に基づいて、自らの位置を推定する。次に、受信機８０００は、通常撮影を行うときには、その通常撮影によって取得された通常撮影画像に、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）情報を表示する。このＡＲ情報は、上述のように推定された位置などに基づいて取得されるものである。また、受信機８０００は、９軸センサによる検出結果、および通常撮影画像の動き検出などに基づいて、受信機８０００の移動および方向の変化を推定し、その推定された移動および方向の変化に合わせてＡＲ情報の表示位置を移動させる。これにより、ＡＲ情報を通常撮影画像の被写体像に追随させることができる。
また、受信機８０００は、通常撮影から可視光通信に撮影モードを切り替えると、その可視光通信時には、直前の通常撮影時に取得された最新の通常撮影画像にＡＲ情報を重畳する。そして、受信機８０００は、ＡＲ情報が重畳された通常撮影画像を表示する。また、受信機８０００は、通常撮影時と同様に、９軸センサによる検出結果に基づいて、受信機８０００の移動および方向の変化を推定し、その推定された移動および方向の変化に合わせてＡＲ情報および通常撮影画像を移動させる。これにより、可視光通信時にも、通常撮影時と同様に、受信機８０００の移動などに合わせてＡＲ情報を通常撮影画像の被写体像に追随させることができる。また、受信機８０００の移動などに合わせて、その通常画像を拡大および縮小することができる。
図１１は、本実施の形態における受信機の表示動作の一例を示す図である。
例えば、受信機８０００は、図１１の（ａ）に示すように、輝線模様が映し出された上記合成画像を表示してもよい。また、受信機８０００は、図１１の（ｂ）に示すように、輝線模様の代わりに、信号が送信されていることを通知するための所定の色を有する画像である信号明示オブジェクトを通常撮影画像に重畳することによって合成画像を生成し、その合成画像を表示してもよい。
また、受信機８０００は、図１１の（ｃ）に示すように、信号が送信されている箇所が点線の枠と識別子（例えば、ＩＤ：１０１、ＩＤ：１０２など）とによって示されている通常撮影画像を合成画像として表示してもよい。また、受信機８０００は、図１１の（ｄ）に示すように、輝線模様の代わりに、特定の種類の信号が送信されていることを通知するための所定の色を有する画像である信号識別オブジェクトを通常撮影画像に重畳することによって合成画像を生成し、その合成画像を表示してもよい。この場合、その信号識別オブジェクトの色は、送信機から出力されている信号の種類によって異なる。例えば、送信機から出力されている信号が位置情報である場合には、赤色の信号識別オブジェクトが重畳され、送信機から出力されている信号がクーポンである場合には、緑色の信号識別オブジェクトが重畳される。
図１２は、本実施の形態における受信機の動作の一例を示す図である。
例えば、受信機８０００は、可視光通信によって信号を受信した場合には、通常撮影画像を表示するとともに、送信機を発見したことをユーザに通知するための音を出力してもよい。この場合、受信機８０００は、発見した送信機の個数、受信した信号の種類、または、その信号によって特定される情報の種類などによって、出力される音の種類、出力回数、または出力時間を異ならせてもよい。
図１３は、本実施の形態における受信機の動作の他の例を示す図である。
例えば、合成画像に映し出された輝線模様にユーザがタッチすると、受信機８０００は、そのタッチされた輝線模様に対応する被写体から送信された信号に基づいて、情報通知画像を生成し、その情報通知画像を表示する。この情報通知画像は、例えば、店舗のクーポンや場所などを示す。なお、輝線模様は、図１１に示す信号明示オブジェクト、信号識別オブジェクト、または点線枠などであってもよい。以下に記載されている輝線模様についても同様である。
図１４は、本実施の形態における受信機の動作の他の例を示す図である。
例えば、合成画像に映し出された輝線模様にユーザがタッチすると、受信機８０００は、そのタッチされた輝線模様に対応する被写体から送信された信号に基づいて、情報通知画像を生成し、その情報通知画像を表示する。この情報通知画像は、例えば、受信機８０００の現在地を地図などによって示す。
図１５は、本実施の形態における受信機の動作の他の例を示す図である。
例えば、合成画像が表示されている受信機８０００に対してユーザがスワイプを行うと、受信機８０００は、図１１の（ｃ）に示す通常撮影画像と同様の、点線枠および識別子を有する通常撮影画像を表示するとともに、スワイプの操作に追随するように情報の一覧を表示する。この一覧には、各識別子によって示される箇所（送信機）から送信される信号によって特定される情報が示されている。また、スワイプは、例えば、受信機８０００におけるディスプレイの右側の外から中に指を動かす操作であってもよい。なお、スワイプは、ディスプレイの上側から、下側から、または左側から中に指を動かす操作であってもよい。
また、その一覧に含まれる情報がユーザによってタップされると、受信機８０００は、その情報をより詳細に示す情報通知画像（例えばクーポンを示す画像）を表示してもよい。
図１６は、本実施の形態における受信機の動作の他の例を示す図である。
例えば、合成画像が表示されている受信機８０００に対してユーザがスワイプを行うと、受信機８０００は、スワイプの操作に追随するように情報通知画像を合成画像に重畳して表示する。この情報通知画像は、被写体距離を矢印とともにユーザに分かり易く示すものである。また、スワイプは、例えば、受信機８０００におけるディスプレイの下側の外から中に指を動かす操作であってもよい。なお、スワイプは、ディスプレイの左側から、上側から、または右側から中に指を動かす操作であってもよい。
図１７は、本実施の形態における受信機の動作の他の例を示す図である。
例えば、受信機８０００は、複数の店舗を示すサイネージである送信機を被写体として撮影し、その撮影によって取得された通常撮影画像を表示する。ここで、通常撮影画像に映し出された被写体に含まれる、１つの店舗のサイネージの画像をユーザがタップすると、受信機８０００は、その店舗のサイネージから送信される信号に基づいて情報通知画像を生成し、その情報通知画像８００１を表示する。この情報通知画像８００１は、例えば店舗の空席状況などを示す画像である。
本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する第１の露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む画像である輝線画像を取得する輝線画像取得ステップと、前記輝線画像に基づいて、前記輝線が現われた部位の空間的な位置が識別し得る態様で、前記被写体と当該被写体の周囲とが映し出された表示用画像を表示する画像表示ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより送信情報を取得する情報取得ステップとを含む。
例えば、図７、図８および図１１に示すような合成画像または中間画像が表示用画像として表示される。また、被写体と当該被写体の周囲とが映し出された表示用画像において、輝線が現われた部位の空間的な位置は、輝線模様、信号明示オブジェクト、信号識別オブジェクト、または点線枠などによって識別される。したがって、ユーザは、このような表示画像を見ることによって、輝度変化によって信号を送信している被写体を容易に見つけることができる。
また、前記情報通信方法は、さらに、前記露光時間よりも長い露光時間を設定する第２の露光時間設定ステップと、前記イメージセンサが、前記被写体と当該被写体の周囲とを前記長い露光時間で撮影することによって、通常撮影画像を取得する通常画像取得ステップと、前記通常撮影画像において前記輝線が現われた部位を、前記輝線画像に基づいて特定し、前記部位を指し示す画像である信号オブジェクトを前記通常撮影画像に重畳することによって、合成画像を生成する合成ステップとを含み、前記画像表示ステップでは、前記合成画像を前記表示用画像として表示してもよい。
例えば、信号オブジェクトは、輝線模様、信号明示オブジェクト、信号識別オブジェクト、または点線枠などであって、図７、図８および図１１に示すように、合成画像が表示用画像として表示される。これにより、ユーザは、輝度変化によって信号を送信している被写体をさらに容易に見つけることができる。
また、前記第１の露光時間設定ステップでは、露光時間を１／３０００秒に設定し、前記輝線画像取得ステップでは、前記被写体の周囲が映し出された前記輝線画像を取得し、前記画像表示ステップでは、前記輝線画像を前記表示用画像として表示してもよい。
例えば、輝線画像は中間画像として取得されて表示される。したがって、通常撮影画像と可視光通信画像とを取得して合成するなどの処理を行う必要がなく、処理の簡略化を図ることができる。
また、前記イメージセンサは、第１のイメージセンサと第２のイメージセンサを含み、前記通常画像取得ステップでは、前記第１のイメージセンサが撮影することによって、前記通常撮影画像を取得し、前記輝線画像取得ステップでは、前記第２のイメージセンサが前記第１のイメージセンサの撮影と同時に撮影することによって、前記輝線画像を取得してもよい。
例えば、図８に示すように、通常撮影画像と輝線画像である可視光通信画像とがそれぞれのカメラで取得される。したがって、１つのカメラで通常撮影画像と可視光通信画像とを取得する場合と比べて、それらの画像を早く取得することができ、処理を高速化することができる。
また、前記情報通信方法は、さらに、前記表示用画像における前記輝線が現われた部位がユーザによる操作によって指定された場合には、指定された部位の前記輝線のパターンから取得された前記送信情報に基づく提示情報を提示する情報提示ステップを含んでもよい。例えば、前記ユーザによる操作は、タップ、スワイプ、前記部位に指先を所定の時間以上継続して当てる操作、前記部位に視線を向けた状態を所定の時間以上継続する操作、前記部位に関連付けて示される矢印に前記ユーザの身体の一部を動かす操作、輝度変化するペン先を前記部位に当てる操作、または、タッチセンサに触れることによって、前記表示用画像に表示されているポインタを前記部位に当てる操作である。
例えば、図１３〜図１７に示すように、提示情報が情報通知画像として表示される。これにより、ユーザに所望の情報を提示することができる。
また、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する第１の露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む画像である輝線画像を取得する輝線画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含み、前記輝線画像取得ステップでは、前記イメージセンサが移動されている期間に、複数の前記被写体を撮影することによって、前記輝線が現われた部位を複数含む前記輝線画像を取得し、前記情報取得ステップでは、前記部位ごとに、当該部位の前記輝線のパターンによって特定されるデータを復調することによって、複数の前記被写体のそれぞれの位置を取得し、前記情報通信方法は、さらに、取得された複数の前記被写体のそれぞれの位置、および前記イメージセンサの移動状態に基づいて、前記イメージセンサの位置を推定する位置推定ステップを含んでもよい。
これにより、複数の照明などの被写体による輝度変化によって、イメージセンサを含む受信機の位置を正確に推定することができる。
また、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する第１の露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む画像である輝線画像を取得する輝線画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップと、取得された前記情報を提示する情報提示ステップとを含み、前記情報提示ステップでは、前記イメージセンサのユーザに対して、予め定められたジェスチャを促す画像を前記情報として提示してもよい。
これにより、ユーザが、促されたとおりのジェスチャを行うか否かによって、そのユーザに対する認証などを行うことができ、利便性を高めることができる。
また、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含み、前記画像取得ステップでは、反射面に映る複数の前記被写体を撮影することによって前記輝線画像を取得し、前記情報取得ステップでは、前記輝線画像に含まれる輝線の強度に応じて、前記輝線を、複数の前記被写体のそれぞれに対応する輝線に分離し、前記被写体ごとに、当該被写体に対応する輝線のパターンによって特定されるデータを復調することにより情報を取得してもよい。
これにより、複数の照明などの被写体がそれぞれ輝度変化する場合でも、被写体のそれぞれから適切な情報を取得することができる。
また、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体の撮影によって得られる画像に、前記イメージセンサに含まれる露光ラインに対応する輝線が前記被写体の輝度変化に応じて生じるように、前記イメージセンサの露光時間を設定する露光時間設定ステップと、前記イメージセンサが、輝度変化する前記被写体を、設定された前記露光時間で撮影することによって、前記輝線を含む輝線画像を取得する画像取得ステップと、取得された前記輝線画像に含まれる前記輝線のパターンによって特定されるデータを復調することにより情報を取得する情報取得ステップとを含み、前記画像取得ステップでは、反射面に映る前記被写体を撮影することによって前記輝線画像を取得し、前記情報通信方法は、さらに、前記輝線画像内における輝度分布に基づいて、前記被写体の位置を推定する位置推定ステップを含んでもよい。
これにより、輝度分布に基づいて適切な被写体の位置を推定することができる。
また、前記送信ステップでは、輝度変化を、前記第１のパターンにしたがった輝度変化と、前記第２のパターンにしたがった輝度変化とで切り替えるときには、緩衝時間を空けて切り替えてもよい。
これにより、第１の信号と第２の信号との混信を抑えることができる。
また、輝度変化によって信号を送信する情報通信方法であって、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する送信ステップとを含み、前記信号は、複数の大ブロックからなり、前記複数の大ブロックのそれぞれは、第１のデータと、前記第１のデータに対するプリアンブルと、前記第１のデータに対するチェック信号とを含み、前記第１のデータは、複数の小ブロックからなり、前記小ブロックは、第２のデータと、前記第２のデータに対するプリアンブルと、前記第２のデータに対するチェック信号とを含んでもよい。
これにより、ブランキング期間を要する受信機でも、ブランキング期間を必要としない受信機でも、適切にデータを取得することができる。
また、輝度変化によって信号を送信する情報通信方法であって、複数の送信機がそれぞれ、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、送信機ごとに、当該送信機に備えられた発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する送信ステップとを含み、前記送信ステップでは、互いに周波数またはプロトコルが異なる信号を送信してもよい。
これにより、複数の送信機からの信号の混信を抑えることができる。
また、輝度変化によって信号を送信する情報通信方法であって、複数の送信機がそれぞれ、送信対象の信号を変調することによって、輝度変化のパターンを決定する決定ステップと、送信機ごとに、当該送信機に備えられた発光体が、決定された前記パターンにしたがって輝度変化することによって前記送信対象の信号を送信する送信ステップとを含み、前記送信ステップでは、前記複数の送信機のうちの１つの送信機は、他方の送信機から送信される信号を受信し、受信された信号と混信しない態様で、他の信号を送信してもよい。
これにより、複数の送信機からの信号の混信を抑えることができる。
（駅での案内）
図１８Ａは、電車のホームにおける本発明の利用形態の一例を示したものである。ユーザが、携帯端末を電子掲示板や照明にかざし、可視光通信により、電子掲示板に表示されている情報、または、電子掲示板の設置されている駅の電車情報・駅の構内情報などを取得する。ここでは、電子掲示板に表示されている情報自体が、可視光通信により、携帯端末に送信されてもよいし、電子掲示板に対応するＩＤ情報が携帯端末に送信され、携帯端末が取得したＩＤ情報をサーバに問い合わせることにより、電子掲示板に表示されている情報を取得してもよい。サーバは、携帯端末からＩＤ情報が送信されてきた場合に、ＩＤ情報に基づき、電子掲示板に表示されている内容を携帯端末に送信する。携帯端末のメモリに保存されている電車のチケット情報と、電子掲示板に表示されている情報とを対比し、ユーザのチケットに対応するチケット情報が電子掲示板に表示されている場合に、携帯端末のディスプレイに、ユーザの乗車予定の電車が到着するホームへの行き先を示す矢印を表示する。降車時に出口や乗り換え経路に近い車両までの経路を表示するとしてもよい。
座席指定がされている場合は、その座席までの経路を表示するとしてもよい。矢印を表示する際には、地図や、電車案内情報における電車の路線の色と同じ色を用いて矢印を表示することにより、より分かりやすく表示することができる。また、矢印の表示とともに、ユーザの予約情報（ホーム番号、車両番号、発車時刻、座席番号）を表示することもできる。ユーザの予約情報を併せて表示することにより、誤認識を防ぐことが可能となる。チケット情報がサーバに保存されている場合には、携帯端末からサーバに問い合わせてチケット情報を取得し対比するか、または、サーバ側でチケット情報と電子掲示板に表示されている情報とを対比することにより、チケット情報に関連する情報を取得することができる。ユーザが乗換検索を行った履歴から目的の路線を推定し、経路を表示してもよい。また、電子掲示板に表示されている内容だけでなく、電子掲示板が設置されている駅の電車情報・構内情報を取得し、対比を行ってもよい。ディスプレイ上の電子掲示板の表示に対してユーザに関連する情報を強調表示してもよいし、書き換えて表示してもよい。ユーザの乗車予定が不明である場合には、各路線の乗り場への案内の矢印を表示してもよい。駅の構内情報を取得した場合には、売店・お手洗いへなどの案内する矢印をディスプレイに表示してもよい。ユーザの行動特性を予めサーバで管理しておき、ユーザが駅構内で売店・お手洗いに立ち寄ることが多い場合に、売店・お手洗いなどへ案内する矢印をディスプレイに表示する構成にしてもよい。売店・お手洗いに立ち寄る行動特性を有するユーザに対してのみ、売店・お手洗いなどへ案内する矢印を表示し、その他のユーザに対しては表示を行わないため処理量を減らすことが可能となる。売店・お手洗いなどへ案内する矢印の色を、ホームへの行き先を案内する矢印と異なる色としてもよい。両方の矢印を同時に表示する際には、異なる色とすることにより、誤認識を防ぐことが可能となる。尚、図１８Ａでは電車の例を示したが、飛行機やバスなどでも同様の構成で表示を行うことが可能である。
具体的には、スマートフォンなどの携帯端末（すなわち後述の受信機２００などの受信機）は、図１８Ａの（１）に示すように、電子掲示板を撮像することによって、その電子掲示板から可視光信号を光ＩＤまたは光データとして受信する。このとき、携帯端末は、自己位置推定を行う。つまり、携帯端末は、光データによって直接的または間接的に示される電子掲示板の地図上の位置を取得する。そして、携帯端末は、例えば９軸センサによって得られる自らの姿勢と、撮像によって得られた画像に映し出されている電子掲示板の画像内における位置、形状および大きさなどとに基づいて、電子掲示板に対する携帯端末の相対位置を算出する。携帯端末は、電子掲示板の地図上の位置と、その相対位置とに基づいて、携帯端末の地図上の位置である自己位置を推定する。携帯端末は、この自己位置である起点から、例えばチケット情報によって示される目的地までの経路を検索し、その経路に沿って目的地までユーザを案内するナビゲーションを開始する。なお、携帯端末は、その起点および目的地を示す情報をサーバに送信し、サーバによって検索された上述の経路を、そのサーバから取得してもよい。このとき、携帯端末は、サーバからその経路を含む地図をサーバから取得してもよい。
携帯端末は、ナビゲーションでは、図１８Ａの（２）〜（４）に示すように、カメラによる撮像を繰り返し、その撮像によって得られる通常撮影画像をリアルタイムに順次表示しながら、ユーザの行き先を示す矢印などの方向指示画像をその通常撮影画像に重畳する。ユーザは、携帯端末を携帯しながら、その表示される方向指示画像にしたがって移動する。そして、携帯端末は、上述の各通常撮影画像に映し出されている物体または特徴点の動きに基づいて、携帯端末の自己位置を更新する。例えば、携帯端末は、上述の各通常撮影画像に映し出されている物体または特徴点の動きを検出し、その動きに基づいて、携帯端末の移動方向および移動距離を推定する。そして、携帯端末は、その推定された移動方向および移動距離と、図１８Ａの（１）において推定された自己位置とに基づいて、現在の自己位置を更新する。この自己位置の更新は、通常撮影画像のフレーム周期ごとに行われてもよく、そのフレーム周期よりも長い周期ごとに行われてもよい。つまり、携帯端末が地下のフロアまたは経路にあるときには、その携帯端末は、ＧＰＳデータを取得することができない。したがって、このよう場合には、携帯端末は、ＧＰＳデータを用いることなく、上述の各通常撮影画像の特徴点などの動きに基づいて、自己位置の推定または更新を行う。
ここで、携帯端末は、図１８Ａの（４）に示すように、目的地への経路の途中などで、ユーザにエレベータを案内してもよい。また、携帯端末は、図１８Ａの（５）および（６）に示すように、光データを送信する送信機、または、その光データの反射光を撮像すると、その光データを受信し、図１８Ａの（１）に示す例と同様に、自己位置を推定する。例えば、ユーザがエレベータに搭乗した場合でも、携帯端末は、エレベータの籠の内部に照明装置などとして設置されている送信機（すなわち後述の送信機１００などの送信機）から送信される光データを受信する。例えば、その光データは、エレベータの籠が現在位置する階を直接的または間接的に示している。したがって、携帯端末は、その光データを受信することによって、携帯端末が現在位置する階を特定することができる。光データによって、籠の現在位置が直接的に示されていない場合には、携帯端末は、その光データによって示される情報をサーバに送信し、サーバにおいてその情報に対応付けられている階数情報を、そのサーバから取得する。これにより、携帯端末は、その階数情報によって示される階を、携帯端末が現在位置する階として特定する。このように特定される階は、自己位置として扱われる。
その結果、端末装置は、図１８Ａの（７）に示すように、通常撮像画像の特徴点などの動きから導出された自己位置を、その光データを用いて導出された自己位置に置き換えることによって、自己位置の再設定を行う。
そして、携帯端末は、図１８Ａの（８）に示すように、ユーザがエレベータから降りた後、目的地に辿り着いていなければ、図１８Ａの（２）〜（４）と同様の処理を行いながらナビゲーションを行う。また、携帯端末は、ナビゲーションを行っているときには、ＧＰＳデータを取得することができるか否かを繰り返し確認している。したがって、携帯端末は、地下のフロアまたは経路から地上に上がると、ＧＰＳデータを取得することができると判断する。そして、携帯端末は、自己位置の推定方法を、特徴点などの動きに基づく推定方法から、ＧＰＳデータに基づく推定方法に切り替える。そして、携帯端末は、図１８Ａの（９）に示すように、ＧＰＳデータに基づいて自己位置を推定しながら、ユーザが目的地に到着するまでナビゲーションを引き続き実行する。なお、携帯端末は、例えばユーザが再び地下に入ると、ＧＰＳデータを取得することができなくなるため、自己位置の推定方法を、ＧＰＳデータに基づく推定方法から、特徴点などの動きに基づく推定方法に切り替える。
以下、図１８Ａの例について、詳細に説明する。
図１８Ａに示す例において、例えばスマートフォンまたはスマートグラスなどのウェアラブル機器として実装される受信機は、図１８Ａの（１）で、送信機から送信された可視光信号（光データ）を受信する。送信機は、例えば、電飾看板、ポスター、または、像を照らす照明として実装される。受信機は、受信した光データと、受信機にあらかじめ設定されている情報と、ユーザの指示とに従って、目的地までのナビゲーションを開始する。受信機は、光データをサーバへ送信し、このデータに関連付けられたナビ情報を取得する。ナビ情報には、以下の第１の情報から第６の情報が含まれている。第１の情報は、送信機の位置および形状を示す情報である。第２の情報は、目的地までの経路を示す情報である。第３の情報は、目的地までの経路上およびその付近にある別の送信機の情報である。具体的には、別の送信機の情報は、その送信機が送信している光データと、送信機の位置および形状と、反射光の位置および形状とを示す。第４の情報は、経路上およびその付近に関する位置特定情報である。具体的には、位置特定情報は、画像特徴量もしくは位置を特定するための電波情報または音波情報である。第５の情報は、目的地までの距離および到達予想時間を示す情報である。第６の情報は、ＡＲ表示を行うためのコンテンツ情報の一部または全部である。ナビ情報は、受信機の中にあらかじめ格納されていてもよい。なお、上述の形状には、大きさが含まれていてもよい。
受信機は、撮像によって得られた画像中の送信機の写り方と加速度センサのセンサ値とから計算された送信機と受信機との相対位置と、送信機の位置情報とから、受信機の自己位置を推定し、その自己位置をナビゲーションの起点とする。受信機は、光データではなく、画像特徴量、バーコードもしくは２次元コード、電波、または音波などによって、受信機の自己位置を推定して、ナビゲーションを開始してもよい。
受信機は、図１８Ａの（２）のように、目的地までのナビゲーションを表示する。このナビゲーションの表示は、カメラの撮像によって得られる通常撮影画像に他の画像を重畳するＡＲ表示であってもよく、地図の表示であってもよく、音声またはバイブレーションによる指示であってもよく、これらの組み合わせであってもよい。受信機、光データ、または、サーバ上の設定により、表示方法が選択されてもよい。いずれかの設定が他に優先されてもよい。また、到達地（すなわち目的地）が交通機関の搭乗場所であれば、受信機は、時刻表を取得し、予約済みの時刻、または、到達予想時刻付近の発車時刻もしくは搭乗時刻を表示してもよい。また、到達地が劇場などであれば、受信機は、開演時刻または入場期限を表示してもよい。
受信機は、図１８Ａの（３）および（４）に示すように、受信機の移動に従ってナビゲーションを進める。絶対的な位置情報が得られない状況では、受信機は、複数枚の画像中の特徴点の画像間での移動距離から、それらの画像の撮像が行われた間における受信機の移動距離と方向を推定してもよい。また、受信機は、加速度センサ、電波、または音波の推移から、受信機の移動距離と方向を推定してもよい。また、受信機は、ＳＬＡＭ（Simultaneous Localization and Mapping）またはＰＴＡＭ（Parallel Tracking and Mapping）により受信機の移動距離と方向を推定してもよい。
図１８Ａの（５）で、受信機は、図１８Ａの（１）で受信した光データとは別の光データを、例えばエレベータの外で受信した場合、その光データをサーバへ送り、その光データに関連付けられた送信機の形状および位置を取得してもよい。そして、受信機は、図１８Ａの（１）と同様の方法で受信機の自己位置を推定してもよい。これにより、受信機は、図１８Ａの（３）および（４）の過程で生じた受信機の自己位置推定の誤差を解消してナビゲーションの現在位置を補正する。受信機は、可視光信号の一部のみを受信し、完全な光データが得られなかった場合は、ナビ情報から最近傍にある送信機を、その可視光信号を送信している送信機であると推定し、以降、上述と同様に、受信機の自己位置推定を行う。これにより、受信条件が十分でない送信機、例えば、小さい送信機、遠くにある送信機、または、暗い送信機であっても、それらの送信機を、受信機の自己位置推定に利用することができる。
受信機は、図１８Ａの（６）で、反射光により光データを受信する。受信機は、撮像方向、光の強さ、または、輪郭の明瞭さから、受信された光データの媒体が反射光であると識別する。反射光である場合は、受信機は、ナビ情報から反射光の位置（すなわち地図上の位置）を特定し、撮像されている反射光の領域の中心部を、その反射光の位置と推定する。そして、受信機は、図１８Ａの（５）と同様に、受信機の自己位置を推定し、ナビゲーションの現在位置の補正を行う。
受信機は、ＧＰＳ、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ、北斗衛星測位システム、ＩＲＮＳＳ等の位置を特定するための信号を受信した場合は、その信号により受信機の位置を特定し、ナビゲーションの現在位置（すなわち自己位置）を補正する。受信機は、上記信号の強さが十分であれば、すなわち所定の強度よりも強ければ、その信号のみによって自己位置を推定し、所定の強さ以下であれば、図１８Ａの（３）および（４）で利用した方法を併用してもよい。
受信機は、可視光信号を受信した場合、［１］その可視光信号と同時に受信している所定のＩＤを持つ電波信号、［２］最後に受信した所定のＩＤを持つ電波信号、または、［３］最後に推定した受信機の位置を示す情報を、可視光信号によって示される情報と合わせてサーバに送信する。これにより、その可視光信号を送信する送信機が特定される。または、受信機は、上述の電波信号、もしくは、受信機の位置を示す情報によって特定されるアルゴリズムで可視光信号を受信し、上述と同様に特定されるサーバに、その可視光信号によって示される情報を送信してもよい。
受信機は、自己位置を推定し、その自己位置付近にある商品の情報を表示してもよい。また、受信機は、ユーザの指定する商品の位置までのナビゲーションをしてもよい。また、受信機は、ユーザが指定する複数の商品の所在をすべて周るために最適なルートを提示してもよい。その最適なルートは、最短距離のルート、最短所要時間のルート、または、移動の労力が最も少ないルートである。また、受信機は、ユーザの指定する商品または場所に加えて、所定の場所を通るようにナビゲーションを行ってもよい。これにより、所定の場所の宣伝、または、その場所にある商品または店の宣伝を行うことができる。
図１８Ｂは、本実施の形態におけるエレベータでの受信機２００によるナビゲーションを説明するための図である。
例えば、スマートフォンとして構成されている受信機は、ユーザが地下３階（Ｂ３）にいるときに、図１８Ｂの（１）に示すように、ＡＲ表示を用いたガイド、すなわちＡＲナビゲーションを実行する。ＡＲナビゲーションは、図１８Ａに示すように、通常撮影画像に矢印などの方向指示画像を重畳することによって、ユーザを目的地まで案内するナビゲーション機能である。なお、以下、ＡＲナビゲーションを、単に、ナビゲーションまたはナビともいう。
そして、ユーザがエレベータに搭乗すると、受信機は、図１８Ｂの（２）に示すように、エレベータの籠に配置されている送信機から光信号（すなわち可視光信号、光データ、または光ＩＤ）を受信する。これにより、受信機は、その光信号に基づいて、エレベータＩＤと階数情報とを取得する。エレベータＩＤは、その送信機が配置されているエレベータまたはその籠を識別するための識別情報であり、階数情報は、その籠が現在位置する階（または階数）を示す情報である。例えば、受信機は、光信号（またはその光信号によって示される情報）をサーバに送信し、サーバにおいてその光信号に対して関連付けられているエレベータＩＤと階数情報とを、そのサーバから取得する。送信機は、エレベータの籠がどの階にあっても、常に同じ光信号を送信してもよく、籠が位置する階に応じて異なる光信号を送信してもよい。また、送信機は、例えば照明装置として構成されている。この送信機からの光は、エレベータの籠内部を明るく照らす。したがって、受信機は、このような光に重畳される光信号を送信機から直接受信することもでき、籠の内壁面または床による反射を介して間接的に受信することもできる。
受信機は、その受信機が入っている籠が上昇しているときにも、送信機から送信される光信号に基づいて取得されるエレベータＩＤおよび階数情報にしたがって、受信機が現在位置している階を逐次特定している。そして、受信機は、図１８Ｂの（３）に示すように、受信機が現在位置している階が目的の階になると、エレベータから降りることを促すメッセージまたは画像を、受信機のディスプレイに表示する。また、受信機は、エレベータから降りることを促す音声を出力してもよい。
そして、目的の階が地下１階のように、ＧＰＳデータが届かない場所であれば、受信機は、上述のような通常撮影画像の特徴点の移動を用いた推定方法によって、図１８Ｂの（４）に示すように、自己位置を推定しながら上述のＡＲナビゲーションを再開する。一方、目的の階が地上１階のように、ＧＰＳデータが届く場所であれば、受信機は、そのＧＰＳデータを用いた推定方法によって、図１８Ｂの（４）に示すように、自己位置を推定しながら上述のＡＲナビゲーションを再開する。
図１８Ｃは、本実施の形態におけるエレベータに備えられるシステム構成の一例を示す図である。
エレベータの籠４２０には、上述の送信機である送信機１００が設置されている。この送信機１００は、エレベータの籠４２０の照明装置として、その籠４２０の天井に配置されている。また、送信機１００は、内蔵カメラ４０４とマイク４１１とを備えている。内蔵カメラ４０４は、籠４２０の内部を撮像し、マイク４１１は、籠４２０の内部の音を収音する。
また、籠４２０には、監視カメラシステム４０１と、階数表示部４１４と、センサ４０３とが設置されている。監視カメラシステム４０１は、籠４２０の内部を撮像する少なくとも１つのカメラを有するシステムである。階数表示部４１４は、籠４２０が現在位置する階を表示する。センサ４０３は、例えば、気圧センサおよび加速度センサのうちの少なくとも１つを備える。
また、エレベータは、画像認識部４０２、現在階検出部４０５、光変調部４０６、発光回路４０７、無線部４０９、および音声認識部４１０を備える。
画像認識部４０２は、監視カメラシステム４０１または内蔵カメラ４０４による撮像によって得られた画像から、階数表示部４１４に表示されている文字（つまり階数）を認識し、その認識によって得られる現在階データを出力する。現在階データは、階数表示部４１４に表示されている階数を示す。
音声認識部４１０は、マイク４１１から出力される音声データに基づいて、籠４２０が現在位置する階を認識し、その階を示す階データを出力する。
現在階検出部４０５は、センサ４０３、画像認識部４０２、および音声認識部４１０のうちの少なくとも１つから出力されるデータに基づいて、籠４２０が現在位置する階を検出する。そして、現在階検出部４０５は、その検出された階を示す情報を光変調部４０６に出力する。
光変調部４０６は、現在階検出部４０５から出力される階を示す情報と、エレベータＩＤとを示す信号を変調し、その変調された信号を発光回路４０７に出力する。発光回路４０７は、その変調された信号にしたがって送信機１００の輝度を変化させる。これにより、籠４２０が現在位置する階と、エレベータＩＤとを示す上述の可視光信号、光信号、光データ、または光ＩＤが送信機１００から送信される。
また、無線部４０９は、光変調部４０６と同様、現在階検出部４０５から出力される階を示す情報と、エレベータＩＤとを示す信号を変調し、その変調された信号を無線によって送信する。例えば、無線部４０９は、Ｗｉ−ＦｉまたはＢｌｕｅｔｏｏｔｈ（登録商標）によって信号を送信する。
これにより、受信機２００は、無線信号および光信号のうちの少なくとも一方を受信することによって、受信機２００が現在位置する階とエレベータＩＤとを特定することができる。
また、エレベータは、上述の階数表示部４１４を有する現在階検出部４１２を備えていてもよい。この現在階検出部４１２は、エレベータ制御部４１３と階数表示部４１４とから構成されている。エレベータ制御部４１３は、籠４２０の昇降および停止を制御する。このようなエレベータ制御部４１３は、籠４２０が現在位置する階を把握している。そして、このエレベータ制御部４１３は、その把握されている階を示すデータを現在階データとして光変調部４０６および無線部４０９に出力してもよい。
このような構成によって、受信機２００は、図１８Ａおよび図１８Ｂに示すＡＲナビゲーションを実現することができる。
（道案内への応用例）
図１９は、実施の形態２における送受信システムの応用例の一例を示す図である。
受信機８９５５ａは、例えば案内板として構成される送信機８９５５ｂの送信ＩＤを受信し、案内板に表示された地図のデータをサーバから取得して表示する。このとき、サーバは受信機８９５５ａのユーザに適した広告を送信し、受信機８９５５ａはこの広告情報も表示するとしてもよい。受信機８９５５ａは、現在地から、ユーザが指定した場所までの経路を表示する。
（利用ログ蓄積と解析への応用例）
図２０は、実施の形態２における送受信システムの応用例の一例を示す図である。
受信機８９５７ａは、例えば看板として構成される送信機８９５７ｂの送信するＩＤを受信し、サーバからクーポン情報を取得して表示する。受信機８９５７ａは、その後のユーザの行動、例えば、クーポンを保存したり、クーポンに表示された店舗に移動したり、その店舗で買い物を行ったり、クーポンを保存せずに立ち去ったりといった行動をサーバ８９５７ｃに保存する。これにより、看板８９５７ｂから情報を取得したユーザのその後の行動を解析することができ、看板８９５７ｂの広告価値を見積もることができる。
本実施の形態における情報通信方法は、被写体から情報を取得する情報通信方法であって、イメージセンサによる前記被写体である第１の被写体の撮影によって得られる画像に、前記イメージセンサに含まれる各露光ラインに対応する複数の輝線が前記第１の被写体の輝度変化に応じて生じるように、前記イメージセンサの第１の露光時間を設定する第１の露光時間設定ステップと、前記イメージセンサが、輝度変化する前記第１の被写体を、設定された前記第１の露光時間で撮影することによって、前記複数の輝線を含む画像である第１の輝線画像を取得する第１の輝線画像取得ステップと、取得された前記第１の輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより第１の送信情報を取得する第１の情報取得ステップと、前記第１の送信情報が取得された後に、制御信号を送信することによって、扉の開閉駆動機器に対して前記扉を開かせる扉制御ステップとを含む。
これにより、イメージセンサを備えた受信機を扉の鍵のように用いることができ、特別な電子錠を不要にすることができる。その結果、演算力が少ないような機器を含む多様な機器間で通信を行うことができる。
また、前記情報通信方法は、さらに、前記イメージセンサが、輝度変化する第２の被写体を、設定された前記第１の露光時間で撮影することによって、複数の輝線を含む画像である第２の輝線画像を取得する第２の輝線画像取得ステップと、取得された前記第２の輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより第２の送信情報を取得する第２の情報取得ステップと、取得された前記第１および第２の送信情報に基づいて、前記イメージセンサを備えた受信装置が前記扉に近づいているか否かを判定する接近判定ステップとを含み、前記扉制御ステップでは、前記受信装置が前記扉に近づいていると判定されたときに、前記制御信号を送信してもよい。
これにより、受信装置（受信機）が扉に近づいたときにのみ、つまり、適切なタイミングにのみ、その扉を開かせることができる。
また、前記情報通信方法は、さらに、前記第１の露光時間よりも長い第２の露光時間を設定する第２の露光時間設定ステップと、前記イメージセンサが、第３の被写体を、設定された前記第２の露光時間で撮影することによって、前記第３の被写体が映し出された通常画像を取得する通常画像取得ステップとを含み、前記通常画像取得ステップでは、前記イメージセンサのオプティカルブラックを含む領域にある複数の露光ラインのそれぞれに対して、当該露光ラインの隣の露光ラインに対する電荷の読み出しが行われた時点から所定の時間経過後に、電荷の読み出しを行い、前記第１の輝線画像取得ステップでは、前記オプティカルブラックを電荷の読み出しに用いることなく、前記イメージセンサにおける前記オプティカルブラック以外の領域にある複数の露光ラインのそれぞれに対して、当該露光ラインの隣の露光ラインに対する電荷の読み出しが行われた時点から、前記所定の時間よりも長い時間経過後に、電荷の読み出しを行ってもよい。
これにより、第１の輝線画像が取得されるときには、オプティカルブラックに対する電荷の読み出し（露光）は行われないため、イメージセンサにおけるオプティカルブラック以外の領域である有効画素領域に対する電荷の読み出し（露光）にかかる時間を長くすることができる。その結果、その有効画素領域において信号を受信する時間を長くすることができ、多くの信号を取得することができる。
また、前記情報通信方法は、さらに、前記第１の輝線画像に含まれる前記複数の輝線のパターンにおける、当該複数の輝線のそれぞれに垂直な方向の長さが、予め定められた長さ未満であるか否かを判定する長さ判定ステップと、前記パターンの長さが前記予め定められた長さ未満であると判定された場合には、前記イメージセンサのフレームレートを、前記第１の輝線画像を取得したときの第１のフレームレートよりも遅い第２のフレームレートに変更するフレームレート変更ステップと、前記イメージセンサが、輝度変化する前記第１の被写体を、前記第２のフレームレートで、且つ、設定された前記第１の露光時間で撮影することによって、複数の輝線を含む画像である第３の輝線画像を取得する第３の輝線画像取得ステップと、取得された前記第３の輝線画像に含まれる前記複数の輝線のパターンによって特定されるデータを復調することにより前記第１の送信情報を取得する第３の情報取得ステップとを含んでもよい。
これにより、第１の輝線画像に含まれる輝線のパターン（輝線領域）によって示される信号長が、送信された信号の例えば１ブロック分に満たない場合には、フレームレートが落とされて、改めて輝線画像が第３の輝線画像として取得される。その結果、第３の輝線画像に含まれる輝線のパターンの長さを長くすることができ、送信された信号を１ブロック分取得することができる。
また、前記情報通信方法は、さらに、前記イメージセンサによって得られる画像の縦幅と横幅の比率を設定する比率設定ステップを含み、前記第１の輝線画像取得ステップは、設定された前記比率によって、前記画像における前記各露光ラインと垂直な方向の端がクリッピングされるか否かを判定するクリッピング判定ステップと、前記端がクリッピングされると判定されたときには、前記比率設定ステップで設定された前記比率を、前記端がクリッピングされない比率である非クリッピング比率に変更する比率変更ステップと、前記イメージセンサが、輝度変化する前記第１の被写体を撮影することによって、前記非クリッピング比率の前記第１の輝線画像を取得する取得ステップとを含んでもよい。
これにより、例えばイメージセンサの有効画素領域の横幅と縦幅の比率が４：３であって、画像の横幅と縦幅の比率が１６：９に設定され、水平方向に沿う輝線が表れる場合、つまり、露光ラインが水平方向に沿っている場合には、上述の画像の上端および下端がクリッピングされると判定される。つまり、第１の輝線画像の端が欠落してしまうと判定される。この場合には、その画像の比率が、クリッピングされない比率である例えば４：３に変更される。その結果、第１の輝線画像の端の欠落を防ぐことができ、第１の輝線画像から多くの情報を取得することができる。
また、前記情報通信方法は、さらに、前記第１の輝線画像に含まれる前記複数の輝線のそれぞれに平行な方向に、前記第１の輝線画像を圧縮することによって、圧縮画像を生成する圧縮ステップと、前記圧縮画像を送信する圧縮画像送信ステップとを含んでもよい。
これにより、複数の輝線によって示される情報を欠落させることなく適切に第１の輝線画像を圧縮することができる。
また、前記情報通信方法は、さらに、前記イメージセンサを備える受信装置が、予め定められた態様で動かされたか否かを判定するジェスチャ判定ステップと、前記予め定められた態様で動かされたと判定したときには、前記イメージセンサを起動する起動ステップとを含んでもよい。
これにより、必要なときにのみイメージセンサを簡単に起動させることができ、消費電力効率の向上を図ることができる。
本実施の形態では、上述のスマートフォンなどの受信機と、ＬＥＤや有機ＥＬの点滅パターンとして情報を送信する送信機とを用いた各適用例について説明する。
図２１は、実施の形態２における送信機と受信機の適用例を示す図である。
ロボット８９７０は、例えば自走式の掃除機としての機能と、上記各実施の形態における受信機としての機能とを有する。照明機器８９７１ａ，８９７１ｂは、それぞれ上記各実施の形態における送信機としての機能を有する。
例えば、ロボット８９７０は、室内を移動しながら、掃除を行うとともに、その室内を照らす照明機器８９７１ａを撮影する。この照明機器８９７１ａは、輝度変化することによって照明機器８９７１ａのＩＤを送信している。その結果、ロボット８９７０は、上記各実施の形態と同様に、照明機器８９７１ａからそのＩＤを受信し、そのＩＤに基づいて自らの位置（自己位置）を推定する。つまり、ロボット８９７０は、９軸センサによる検出結果と、撮影によって得られる画像に映る照明機器８９７１ａの相対位置と、ＩＤによって特定される照明機器８９７１ａの絶対位置とに基づいて、移動しながら自己位置を推定している。
さらに、ロボット８９７０は、移動することによって照明機器８９７１ａから離れると、照明機器８９７１ａに対して消灯を命令する信号（消灯命令）を送信する。例えば、ロボット８９７０は、予め定められた距離だけ照明機器８９７１ａから離れると、消灯命令を送信する。または、ロボット８９７０は、撮影によって得られる画像にその照明機器８９７１ａが映らなくなったときに、あるいは、その画像に他の照明機器が映ると、消灯命令を照明機器８９７１ａに送信する。照明機器８９７１ａは、消灯命令をロボット８９７０から受信すると、その消灯命令に応じて消灯する。
次に、ロボット８９７０は、移動して掃除を行っている途中で、推定された自己位置に基づいて、照明機器８９７１ｂに近づいたことを検知する。つまり、ロボット８９７０は、照明機器８９７１ｂの位置を示す情報を保持しており、自己位置とその照明機器８９７１ｂの位置との間の距離が予め定められた距離以下になったときに、照明機器８９７１ｂに近づいたことを検知する。そして、ロボット８９７０は、その照明機器８９７１ｂに対して点灯を命令する信号（点灯命令）を送信する。照明機器８９７１ｂは、点灯命令を受けると、その点灯命令に応じて点灯する。
これにより、ロボット８９７０は、移動しながら自らの周りだけを明るくして、掃除を容易に行うことができる。
図２２は、実施の形態２における送信機および受信機の適用例を示す図である。
照明機器８９７４は、上記各実施の形態における送信機としての機能を有する。この照明機器８９７４は、輝度変化しながら例えば鉄道の駅にある路線掲示板８９７５を照らす。ユーザによってその路線掲示板８９７５に向けられた受信機８９７３は、その路線掲示板８９７５を撮影する。これにより、受信機８９７３は、その路線掲示板８９７５のＩＤを取得し、そのＩＤに関連付けられている情報であって、その路線掲示板８９７５に記載されている各路線についての詳細な情報を取得する。そして、受信機８９７３は、その詳細な情報を示す案内画像８９７３ａを表示する。例えば、案内画像８９７３ａは、路線掲示板８９７５に記載されている路線までの距離と、その路線に向かう方向と、その路線において次に電車が到着する時刻とを示す。
ここで、受信機８９７３は、その案内画像８９７３ａがユーザによってタッチされると、補足案内画像８９７３ｂを表示する。この補足案内画像８９７３ｂは、例えば、鉄道の時刻表、案内画像８９７３ａによって示される路線とは異なる別の路線に関する情報、および、その駅に関する詳細な情報、のうちの何れかをユーザによる選択操作に応じて表示するための画像である。
（実施の形態３）
ここで、音声同期再生の応用例について以下に説明する。
図２３は、実施の形態３におけるアプリケーションの一例を示す図である。
例えばスマートフォンとして構成される受信機１８００ａは、例えば街頭デジタルサイネージとして構成される送信機１８００ｂから送信された信号（可視光信号）を受信する。つまり、受信機１８００ａは、送信機１８００ｂによる画像再生のタイミングを受信する。受信機１８００ａは、その画像再生と同じタイミングで、音声を再生する。言い換えれば、受信機１８００ａは、送信機１８００ｂによって再生される画像と音声とが同期するように、その音声の同期再生を行う。なお、受信機１８００ａは、送信機１８００ｂによって再生される画像（再生画像）と同一の画像、または、その再生画像に関連する関連画像を、音声とともに再生してもよい。また、受信機１８００ａは、受信機１８００ａに接続された機器に、音声などの再生をさせてもよい。また、受信機１８００ａは、可視光信号を受信した後には、その可視光信号に対応付けられている音声または関連画像などのコンテンツをサーバからダウンロードしてもよい。受信機１８００ａは、そのダウンロード後に同期再生を行う。
これにより、送信機１８００ｂからの音声が聞こえない場合や、街頭音声再生が禁止されているため送信機１８００ｂからの音声が再生されていない場合でも、ユーザは、送信機１８００ｂの表示に合わせた音声を聞くことができる。また、音声到達までに時間がかかるような距離がある場合でも、表示に合わせた音声を聞くことが出来る。
ここで、音声同期再生による多言語対応について以下に説明する。
図２４は、実施の形態３におけるアプリケーションの一例を示す図である。
受信機１８００ａおよび受信機１８００ｃのそれぞれは、その受信機に設定された言語の音声であって、送信機１８００ｄに表示されている例えば映画などの映像に対応する音声を、サーバから取得して再生する。具体的には、送信機１８００ｄは、表示されている映像を識別するためのＩＤを示す可視光信号を受信機に送信する。受信機は、その可視光信号を受信すると、その可視光信号に示されるＩＤと、自らに設定されている言語とを含む要求信号をサーバに送信する。受信機は、その要求信号に対応する音声をサーバから取得して再生する。これにより、ユーザは、自分の設定した言語で送信機１８００ｄに表示された作品を楽しむことが出来る。
ここで、音声同期方法について以下に説明する。
図２５および図２６は、実施の形態３における送信信号の例と音声同期方法の例とを示す図である。
それぞれ異なるデータ（例えば図２５に示すデータ：１〜６など）は、一定時間（Ｎ秒）ごとの時刻に関連付けられている。これらのデータは、例えば、時間を識別するためのＩＤであってもよく、時間であってもよく、音声データ（例えば６４Ｋｂｐｓのデータ）であってもよい。以下、データがＩＤであることを前提に説明する。それぞれ異なるＩＤは、ＩＤに付随する付加情報部分が異なったものであるとしても良い。
ＩＤを構成するパケットは異なっているほうが望ましい。そのためＩＤは連続していないほうが望ましい。もしくは、ＩＤをパケット化する際に、非連続な部分を一つのパケットとして構成するパケット化方法が望ましい。誤り訂正信号は、連続したＩＤであっても異なるパターンとなる傾向が高いため、誤り訂正信号を一つのパケットにまとめるのではなく、複数のパケットに分散させて構成するとしても良い。
送信機１８００ｄは、例えば表示している画像の再生時刻に合わせてＩＤを送信する。受信機は、ＩＤが変更されたタイミングを検出することで、送信機１８００ｄの画像の再生時刻（同期時刻）を認識することができる。
（ａ）の場合は、ＩＤ：１とＩＤ：２の変化時点を受信しているため、正確に同期時刻を認識することができる。
ＩＤが送信されている時間Ｎが長い場合は、このような機会が少なく、（ｂ）のようにＩＤが受信されることがある。この場合でも、以下の方法で同期時刻を認識することができる。
（ｂ１）ＩＤが変化した受信区間の中点をＩＤ変化点と想定する。また、過去に推定したＩＤ変化点から時間Ｎの整数倍後の時刻もＩＤ変化点と推定し、複数のＩＤ変化点の中点をより正確なＩＤ変化点と推定する。このような推定のアルゴリズムにより、徐々に正確なＩＤ変化点を推定することができる。
（ｂ２）上記に加え、ＩＤが変化しなかった受信区間、及び、その時間Ｎの整数倍後の時刻はＩＤ変化点が含まれないと推定することで、徐々にＩＤ変化点である可能性のある区間が減り、正確なＩＤ変化点を推定することができる。
Ｎを０．５秒以下に設定することで、正確に同期させることができる。
Ｎを２秒以下に設定することで、ユーザに遅延を感じさせずに同期させることができる。
Ｎを１０秒以下に設定することで、ＩＤの浪費を抑えて同期させることができる。
図２６は、実施の形態３における送信信号の例を示す図である。
図２６では、時間パケットによって同期を行うことで、ＩＤの浪費を避けることができる。時間パケットは、送信された時刻を保持しているパケットである。長い時間を表現する必要がある場合は、細かい時間を表す時間パケット１と粗い時間を表す時間パケット２に分割して時間パケットを構成する。例えば、時間パケット２は、時刻のうちの時および分を示し、時間パケット１は、時刻のうちの秒のみを示す。時刻を示すパケットを３以上の時間パケットに分割するとしても良い。粗い時間は必要性が薄いため、細かい時間パケットを荒い時間パケットより多く送信することで、受信機は、素早く正確に同期時刻を認識することができる。
つまり、本実施の形態では、可視光信号は、時刻のうちの時および分を示す第２の情報（時間パケット２）と、時刻のうちの秒を示す第１の情報（時間パケット１）とを含むことによって、可視光信号が送信機１８００ｄから送信される時刻を示す。そして、受信機１８００ａは、第２の情報を受信するとともに、その第２の情報を受信する回数よりも多くの回数だけ第１の情報を受信する。
ここで、同期時刻調整について以下に説明する。
図２７は、実施の形態３における受信機１８００ａの処理フローの一例を示す図である。
信号が送信されてから受信機１８００ａで処理され、音声または動画が再生されるまでにはある程度の時間がかかるため、この処理時間を見越して音声または動画を再生する処理を行うことで、正確に同期再生を行うことができる。
まず、受信機１８００ａには、処理遅延時間が指定される（ステップＳ１８０１）。これは、処理プログラム中に保持されていてもよいし、ユーザが指定してもよい。ユーザが補正を行うことで、受信機個体に合わせたより正確な同期が実現可能となる。この処理遅延時間は、受信機のモデル毎、受信機の温度やＣＰＵ使用割合によって変化させることで、より正確に同期を行うことが出来る。
受信機１８００ａは、時間パケットを受信したか否か、または、音声同期用として関連付けられたＩＤを受信したか否かを判定する（ステップＳ１８０２）。ここで、受信機１８００ａは、受信したと判定すると（ステップＳ１８０２のＹ）、さらに、処理待ち画像があるか否かを判定する（ステップＳ１８０４）。処理待ち画像があると判定すると（ステップＳ１８０４のＹ）、受信機１８００ａは、その処理待ち画像を廃棄し、または、処理待ち画像の処理を後に回して、取得された最新の画像からの受信処理を行う（ステップＳ１８０５）。これにより、処理待ち量による不測の遅延を回避することができる。
受信機１８００ａは、可視光信号（具体的には輝線）が画像中のどの位置にあるのかを計測する（ステップＳ１８０６）。つまり、イメージセンサにおける最初の露光ラインから、露光ラインに垂直な方向のどの位置に信号が現れているかを計測することで、画像取得開始時刻から信号受信時刻までの時間差（画像内遅延時間）を計算することができる。
受信機１８００ａは、認識した同期時刻に、処理遅延時間と画像内遅延時間を加えた時刻の音声または動画を再生することで、正確に同期再生を行うことができる（ステップＳ１８０７）。
一方、ステップＳ１８０２において、受信機１８００ａは、時間パケットまたは音声同期用ＩＤを受信していないと判定すると、撮像によって得られた画像から信号を受信する（ステップＳ１８０３）。
図２８は、実施の形態３における受信機１８００ａのユーザインタフェースの一例を示す図である。
ユーザは、図２８の（ａ）に示すように、受信機１８００ａに表示されたボタンＢｔ１〜Ｂｔ４の何れかを押すことで、上述の処理遅延時間を調整することができる。また、図２８の（ｂ）のようにスワイプ動作で処理遅延時間を設定できるとしてもよい。これにより、ユーザの感覚に基づいてより正確に同期再生を行うことができる。
ここで、イヤホン限定再生について以下に説明する。
図２９は、実施の形態３における受信機１８００ａの処理フローの一例を示す図である。
この処理フローによって示されるイヤホン限定再生によって、周囲に迷惑をかけずに音声再生を行うことができる。
受信機１８００ａは、イヤホン限定の設定が行われているかどうかを確認する（ステップＳ１８１１）。イヤホン限定の設定が行われている場合には、例えば、受信機１８００ａにイヤホン限定の設定がなされている。あるいは、受信された信号（可視光信号）中にイヤホン限定である設定がされている。または、イヤホン限定であることが、受信された信号に関連付けられてサーバまたは受信機１８００ａに記録されている。
受信機１８００ａは、イヤホン限定されていることを確認すると（ステップＳ１８１１のＹ）、イヤホンが受信機１８００ａに接続されているか否かを判定する（ステップＳ１８１３）。
受信機１８００ａは、イヤホン限定がされていないことを確認すると（ステップＳ１８１１のＮ）、または、イヤホンが接続されていると判定すると（ステップＳ１８１３のＹ）、音声を再生する（ステップＳ１８１２）。音声を再生するときには、受信機１８００ａは、音量が設定範囲内となるようにその音量を調整する。この設定範囲は、イヤホン限定の設定と同様に設定されている。
受信機１８００ａは、イヤホンが接続されていないと判定すると（ステップＳ１８１３のＮ）、イヤホンの接続をユーザに促す通知を行う（ステップＳ１８１４）。この通知は、例えば、画面表示、音声出力または振動によって行われる。
また、受信機１８００ａは、強制的に音声再生を行うことを禁じる設定がされていない場合には、強制再生のためのインタフェース用意し、ユーザが強制再生の操作を行ったか否かを判定する（ステップＳ１８１５）。ここで、強制再生の操作を行ったと判定すると（ステップＳ１８１５のＹ）、受信機１８００ａは、イヤホンが接続されていない場合でも音声を再生する（ステップＳ１８１２）。
一方、強制再生の操作を行っていないと判定すると（ステップＳ１８１５のＮ）、受信機１８００ａは、あらかじめ受信した音声データ、および解析した同期時刻を保持しておくことで、イヤホンが接続された際に速やかに音声の同期再生を行う。
図３０は、実施の形態３における受信機１８００ａの処理フローの他の例を示す図である。
受信機１８００ａは、まず、送信機１８００ｄからＩＤを受信する（ステップＳ１８２１）。つまり、受信機１８００ａは、送信機１８００ｄのＩＤ、または、送信機１８００ｄに表示されているコンテンツのＩＤ、を示す可視光信号を受信する。
次に、受信機１８００ａは、その受信したＩＤに関連付けられている情報（コンテンツ）を、サーバからダウンロードする（ステップＳ１８２２）。または、受信機１８００ａは、受信機１８００ａの内部にあるデータ保持部からその情報を読み出す。以下、この情報を関連情報という。
次に、受信機１８００ａは、その関連情報に含まれている同期再生フラグがＯＮを示しているか否かを判定する（ステップＳ１８２３）。ここで、同期再生フラグがＯＮを示していないと判定すると（ステップＳ１８２３のＮ）、受信機１８００ａは、その関連情報によって示される内容を出力する（ステップＳ１８２４）。つまり、その内容が画像である場合には、受信機１８００ａは画像を表示し、その内容が音声である場合には、受信機１８００ａは音声を出力する。
一方、受信機１８００ａは、同期再生フラグがＯＮを示していると判定すると（ステップＳ１８２３のＹ）、さらに、その関連情報に含まれている時刻合わせモードが、送信機基準モードに設定されているか、絶対時刻モードに設定されているかを判定する（ステップＳ１８２５）。絶対時刻モードに設定されていると判定すると、受信機１８００ａは、最後の時刻合わせが現在時刻から一定時間以内に行われたか否かを判定する（ステップＳ１８２６）。このときの時刻合わせは、所定の方法によって時刻情報を入手し、その時刻情報を用いて、受信機１８００ａに備えられている時計の時刻を、基準クロックの絶対時刻に合わせる処理である。所定の方法は、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）電波またはＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）電波を用いた方法である。なお、上述の現在時刻は、端末装置である受信機１８００ａが可視光信号を受信した時刻であってもよい。
受信機１８００ａは、最後の時刻合わせが一定時間以内に行われたと判定すると（ステップＳ１８２６のＹ）、受信機１８００ａの時計の時刻に基づいて関連情報を出力することにより、送信機１８００ｄに表示されるコンテンツと関連情報とを同期させる（ステップＳ１８２７）。関連情報によって示される内容が例えば動画像である場合には、受信機１８００ａは、送信機１８００ｄに表示されるコンテンツに同期するように、その動画像を表示する。関連情報によって示される内容が例えば音声である場合には、受信機１８００ａは、送信機１８００ｄに表示されるコンテンツに同期するように、その音声を出力する。例えば、関連情報が音声を示す場合には、関連情報は、音声を構成する各フレームを含み、それらのフレームにはタイムスタンプが付けられている。受信機１８００ａは、自らの時計の時刻に該当するタイプスタンプが付けられているフレームを再生することによって、送信機１８００ｄのコンテンツに同期された音声を出力する。
受信機１８００ａは、最後の時刻合わせが一定時間以内に行われていないと判定すると（ステップＳ１８２６のＮ）、所定の方法で時刻情報の入手を試み、その時刻情報を入手することができたか否かを判定する（ステップＳ１８２８）。ここで、時刻情報を入手することができたと判定すると（ステップＳ１８２８のＹ）、受信機１８００ａは、その時刻情報を用いて、受信機１８００ａの時計の時刻を更新する（ステップＳ１８２９）。そして、受信機１８００ａは、上述のステップＳ１８２７の処理を実行する。
また、ステップＳ１８２５において、時刻合わせモードが送信機基準モードであると判定したとき、または、ステップＳ１８２８において、時刻情報を入手することができなかったと判定すると（ステップＳ１８２８のＮ）、受信機１８００ａは、送信機１８００ｄから時刻情報を取得する（ステップＳ１８３０）。つまり、受信機１８００ａは、可視光通信によって同期信号である時刻情報を送信機１８００ｄから取得する。例えば、同期信号は、図２６に示す時間パケット１および時間パケット２である。または、受信機１８００ａは、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ−Ｆｉなどの電波によって時刻情報を送信機１８００ｄから取得する。そして、受信機１８００ａは、上述のステップＳ１８２９およびＳ１８２７の処理を実行する。
本実施の形態では、ステップＳ１８２９，Ｓ１８３０のように、ＧＰＳ電波またはＮＴＰ電波によって、受信機１８００ａである端末装置の時計と基準クロックとの間で同期をとるための処理（時刻合わせ）が行われた時刻が、端末装置が可視光信号を受信した時刻から所定の時間より前である場合、送信機１８００ｄから送信された可視光信号が示す時刻により、端末装置の時計と、送信機の時計との間で同期をとる。これにより、端末装置は、送信機１８００ｄで再生される送信機側コンテンツと同期するタイミングに、コンテンツ（動画または音声）を再生することができる。
図３１Ａは、実施の形態３における同期再生の具体的な方法を説明するための図である。同期再生の方法には、図３１Ａに示す方法ａ〜ｅがある。
（方法ａ）
方法ａでは、送信機１８００ｄは、上記各実施の形態と同様に、ディスプレイを輝度変化させることよって、コンテンツＩＤおよびコンテンツ再生中時刻を示す可視光信号を出力する。コンテンツ再生中時刻は、コンテンツＩＤが送信機１８００ｄから送信されたときに送信機１８００ｄによって再生されている、コンテンツの一部であるデータの再生時刻である。データは、コンテンツが動画像であれば、その動画像を構成するピクチャまたはシーケンスなどであり、コンテンツが音声であれば、その音声を構成するフレームなどである。再生時刻は、例えば、コンテンツの先頭からの再生時間を時刻として示す。コンテンツが動画像であれば、再生時刻はＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）としてコンテンツに含まれている。つまり、コンテンツには、そのコンテンツを構成するデータごとに、そのデータの再生時刻（表示時刻）が含まれている。
受信機１８００ａは、上記各実施の形態と同様に送信機１８００ｄを撮影することによって、その可視光信号を受信する。そして、受信機１８００ａは、可視光信号によって示されるコンテンツＩＤを含む要求信号をサーバ１８００ｆに送信する。サーバ１８００ｆは、その要求信号を受信し、要求信号に含まれるコンテンツＩＤに対応付けられているコンテンツを受信機１８００ａに送信する。
受信機１８００ａは、そのコンテンツを受信すると、そのコンテンツを、（コンテンツ再生中時刻＋ＩＤ受信からの経過時間）の時点から再生する。ＩＤ受信からの経過時間は、コンテンツＩＤが受信機１８００ａによって受信されたときからの経過時間である。
（方法ｂ）
方法ｂでは、送信機１８００ｄは、上記各実施の形態と同様に、ディスプレイを輝度変化させることよって、コンテンツＩＤおよびコンテンツ再生中時刻を示す可視光信号を出力する。受信機１８００ａは、上記各実施の形態と同様に送信機１８００ｄを撮影することによって、その可視光信号を受信する。そして、受信機１８００ａは、可視光信号によって示されるコンテンツＩＤおよびコンテンツ再生中時刻を含む要求信号をサーバ１８００ｆに送信する。サーバ１８００ｆは、その要求信号を受信し、要求信号に含まれるコンテンツＩＤに対応付けられているコンテンツのうち、コンテンツ再生中時刻以降の一部のコンテンツのみを受信機１８００ａに送信する。
受信機１８００ａは、その一部のコンテンツを受信すると、その一部のコンテンツを、（ＩＤ受信からの経過時間）の時点から再生する。
（方法ｃ）
方法ｃでは、送信機１８００ｄは、上記各実施の形態と同様に、ディスプレイを輝度変化させることよって、送信機ＩＤおよびコンテンツ再生中時刻を示す可視光信号を出力する。送信機ＩＤは、送信機を識別するための情報である。
受信機１８００ａは、上記各実施の形態と同様に送信機１８００ｄを撮影することによって、その可視光信号を受信する。そして、受信機１８００ａは、可視光信号によって示される送信機ＩＤを含む要求信号をサーバ１８００ｆに送信する。
サーバ１８００ｆは、送信機ＩＤごとに、その送信機ＩＤの送信機によって再生されるコンテンツのタイムテーブルである再生予定表を保持している。さらに、サーバ１８００ｆは時計を備えている。このようなサーバ１８００ｆは、その要求信号を受信すると、その要求信号に含まれる送信機ＩＤと、サーバ１８００ｆの時計の時刻（サーバ時刻）とに対応付けられているコンテンツを、再生中のコンテンツとして、再生予定表から特定する。そして、サーバ１８００ｆは、そのコンテンツを受信機１８００ａに送信する。
受信機１８００ａは、そのコンテンツを受信すると、そのコンテンツを、（コンテンツ再生中時刻＋ＩＤ受信からの経過時間）の時点から再生する。
（方法ｄ）
方法ｄでは、送信機１８００ｄは、上記各実施の形態と同様に、ディスプレイを輝度変化させることよって、送信機ＩＤおよび送信機時刻を示す可視光信号を出力する。送信機時刻は、送信機１８００ｄに備えられている時計によって示される時刻である。
受信機１８００ａは、上記各実施の形態と同様に送信機１８００ｄを撮影することによって、その可視光信号を受信する。そして、受信機１８００ａは、可視光信号によって示される送信機ＩＤおよび送信機時刻を含む要求信号をサーバ１８００ｆに送信する。
サーバ１８００ｆは、上述の再生予定表を保持している。このようなサーバ１８００ｆは、その要求信号を受信すると、その要求信号に含まれる送信機ＩＤと送信機時刻とに対応付けられているコンテンツを、再生中のコンテンツとして、再生予定表から特定する。さらに、サーバ１８００ｆは、送信機時刻からコンテンツ再生中時刻を特定する。つまり、サーバ１８００ｆは、特定されたコンテンツの再生開始時刻を再生予定表から見つけ出し、送信機時刻と再生開始時刻との間の時間をコンテンツ再生中時刻として特定する。そして、サーバ１８００ｆは、そのコンテンツおよびコンテンツ再生中時刻を受信機１８００ａに送信する。
受信機１８００ａは、そのコンテンツおよびコンテンツ再生中時刻を受信すると、そのコンテンツを、（コンテンツ再生中時刻＋ＩＤ受信からの経過時間）の時点から再生する。
このように、本実施の形態では、可視光信号は、その可視光信号が送信機１８００ｄから送信される時刻を示す。したがって、端末装置である受信機１８００ａは、可視光信号が送信機１８００ｄから送信される時刻（送信機時刻）に対応付けられたコンテンツを受信することができる。例えば、送信機時刻が５時４３分であれば、５時４３分に再生されるコンテンツを受信することができる。
また、本実施の形態では、サーバ１８００ｆは、それぞれ時刻に関連付けられている複数のコンテンツを有している。しかし、可視光信号が示す時刻に関連付けられたコンテンツがサーバ１８００ｆに存在しない場合がある。このような場合には、端末装置である受信機１８００ａは、その複数のコンテンツのうち、可視光信号が示す時刻に最も近く、かつ、可視光信号が示す時刻の後の時刻に関連付けられているコンテンツを受信してもよい。これにより、可視光信号が示す時刻に関連付けられたコンテンツがサーバ１８００ｆに存在しなくても、そのサーバ１８００ｆにある複数のコンテンツの中から、適切なコンテンツを受信することができる。
また、本実施の形態における再生方法は、光源の輝度変化により可視光信号を送信する送信機１８００ｄから、可視光信号を受信機１８００ａ（端末装置）のセンサにより受信する信号受信ステップと、受信機１８００ａから、可視光信号に対応付けられたコンテンツを要求するための要求信号をサーバ１８００ｆに送信する送信ステップと、受信機１８００ａが、サーバ１８００ｆからコンテンツを受信するコンテンツ受信ステップと、コンテンツを再生する再生ステップとを含む。可視光信号は、送信機ＩＤと送信機時刻とを示す。送信機ＩＤはＩＤ情報である。また、送信機時刻は、送信機１８００ｄの時計によって示される時刻であり、その可視光信号が送信機１８００ｄから送信される時刻である。そして、コンテンツ受信ステップでは、受信機１８００ａは、可視光信号によって示される送信機ＩＤおよび送信機時刻に対応付けられたコンテンツを受信する。これにより、受信機１８００ａは、送信機ＩＤおよび送信機時刻に対して適切なコンテンツを再生することができる。
（方法ｅ）
方法ｅでは、送信機１８００ｄは、上記各実施の形態と同様に、ディスプレイを輝度変化させることよって、送信機ＩＤを示す可視光信号を出力する。
受信機１８００ａは、上記各実施の形態と同様に送信機１８００ｄを撮影することによって、その可視光信号を受信する。そして、受信機１８００ａは、可視光信号によって示される送信機ＩＤを含む要求信号をサーバ１８００ｆに送信する。
サーバ１８００ｆは、上述の再生予定表を保持し、さらに、時計を備えている。このようなサーバ１８００ｆは、その要求信号を受信すると、その要求信号に含まれる送信機ＩＤとサーバ時刻とに対応付けられているコンテンツを、再生中のコンテンツとして、再生予定表から特定する。なお、サーバ時刻は、サーバ１８００ｆの時計によって示される時刻である。さらに、サーバ１８００ｆは、特定されたコンテンツの再生開始時刻も再生予定表から見つけ出す。そして、サーバ１８００ｆは、そのコンテンツおよびコンテンツ再生開始時刻を受信機１８００ａに送信する。
受信機１８００ａは、そのコンテンツおよびコンテンツ再生開始時刻を受信すると、そのコンテンツを、（受信機時刻−コンテンツ再生開始時刻）の時点から再生する。なお、受信機時刻は、受信機１８００ａに備えられている時計によって示される時刻である。
このように、本実施の形態における再生方法は、光源の輝度変化により可視光信号を送信する送信機１８００ｄから、可視光信号を受信機１８００ａ（端末装置）のセンサにより受信する信号受信ステップと、受信機１８００ａから、可視光信号に対応付けられたコンテンツを要求するための要求信号をサーバ１８００ｆに送信する送信ステップと、受信機１８００ａが、各時刻と、各時刻に再生されるデータとを含むコンテンツを、サーバ１８００ｆから受信するコンテンツ受信ステップと、そのコンテンツのうち、受信機１８００ａに備えられている時計の時刻に該当するデータを再生する再生ステップとを含む。したがって、受信機１８００ａは、そのコンテンツにおけるデータを、間違った時刻に再生してしまうことなく、そのコンテンツに示される正しい時刻に、適切に再生することができる。また、送信機１８００ｄにおいても、そのコンテンツに関連するコンテンツ（送信機側コンテンツ）が再生されていれば、受信機１８００ａは、コンテンツをその送信機側コンテンツに適切に同期させて再生することができる。
なお、上記方法ｃ〜ｅであっても、方法ｂのように、サーバ１８００ｆは、コンテンツのうち、コンテンツ再生中時刻以降の一部のコンテンツのみを受信機１８００ａに送信してもよい。
また、上記方法ａ〜ｅでは、受信機１８００ａは、サーバ１８００ｆに要求信号を送信して、サーバ１８００ｆから必要なデータを受信するが、このよう送受信をすることなく、サーバ１８００ｆにあるデータを予め保持しておいてもよい。
図３１Ｂは、上述の方法ｅによって同期再生を行う再生装置の構成を示すブロック図である。
再生装置Ｂ１０は、上述の方法ｅによって同期再生を行う受信機１８００ａまたは端末装置であって、センサＢ１１と、要求信号送信部Ｂ１２と、コンテンツ受信部Ｂ１３と、時計Ｂ１４と、再生部Ｂ１５とを備えている。
センサＢ１１は、例えばイメージセンサであって、光源の輝度変化により可視光信号を送信する送信機１８００ｄから、その可視光信号を受信する。要求信号送信部Ｂ１２は、可視光信号に対応付けられたコンテンツを要求するための要求信号をサーバ１８００ｆに送信する。コンテンツ受信部Ｂ１３は、各時刻と、各時刻に再生されるデータとを含むコンテンツを、サーバ１８００ｆから受信する。再生部Ｂ１５は、そのコンテンツのうち、時計Ｂ１４の時刻に該当するデータを再生する。
図３１Ｃは、上述の方法ｅによって同期再生を行う端末装置の処理動作を示すフローチャートである。
再生装置Ｂ１０は、上述の方法ｅによって同期再生を行う受信機１８００ａまたは端末装置であって、ステップＳＢ１１〜ＳＢ１５の各処理を実行する。
ステップＳＢ１１では、光源の輝度変化により可視光信号を送信する送信機１８００ｄから、その可視光信号を受信する。ステップＳＢ１２では、可視光信号に対応付けられたコンテンツを要求するための要求信号をサーバ１８００ｆに送信する。ステップＳＢ１３では、各時刻と、各時刻に再生されるデータとを含むコンテンツを、サーバ１８００ｆから受信する。ステップＳＢ１５では、そのコンテンツのうち、時計Ｂ１４の時刻に該当するデータを再生する。
このように、本実施の形態における再生装置Ｂ１０および再生方法では、コンテンツにおけるデータを、間違った時刻に再生してしまうことなく、そのコンテンツに示される正しい時刻に、適切に再生することができる。
なお、本実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、本実施の形態の再生装置Ｂ１０などを実現するソフトウェアは、図３１Ｃに示すフローチャートに含まれる各ステップをコンピュータに実行させるプログラムである。
図３２は、実施の形態３における同期再生の事前準備を説明するための図である。
受信機１８００ａは、同期再生を行うために、受信機１８００ａに備えられている時計の時刻を基準クロックの時刻に合わせる時刻合わせを行う。この時刻合わせのために、受信機１８００ａは、以下の（１）〜（５）の処理を行う。
（１）受信機１８００ａは、信号を受信する。この信号は、送信機１８００ｄのディスプレイの輝度変化によって送信される可視光信号であっても、無線機器からのＷｉ−ＦｉまたはＢｌｕｅｔｏｏｔｈ（登録商標）に基づく電波信号であってもよい。または、受信機１８００ａは、このような信号を受信する代わりに、受信機１８００ａの位置を示す位置情報を例えばＧＰＳなどによって取得する。そして、受信機１８００ａは、その位置情報によって、受信機１８００ａが予め定められた場所または建物に入ったことを認識する。
（２）受信機１８００ａは、上記信号を受信すると、または、予め定められた場所に入ったことを認識すると、その信号または場所などに関連付けられているデータ（関連情報）を要求する要求信号をサーバ（可視光ＩＤ解決サーバ）１８００ｆに送信する。
（３）サーバ１８００ｆは、上述のデータと、受信機１８００ａに時刻合わせをさせるための時刻合わせ要求とを受信機１８００ａに送信する。
（４）受信機１８００ａは、データと時刻合わせ要求とを受信すると、時刻合わせ要求をＧＰＳタイムサーバ、ＮＴＰサーバまたは、電気通信事業者（キャリア）の基地局に送信する。
（５）上記サーバまたは基地局は、その時刻合わせ要求を受信すると、現在時刻（基準クロックの時刻または絶対時刻）を示す時刻データ（時刻情報）を受信機１８００ａに送信する。受信機１８００ａは、自らに備えられている時計の時刻を、その時刻データに示される現在時刻に合わせることによって、時刻合わせを行う。
このように本実施の形態では、受信機１８００ａ（端末装置）に備えられている時計と、基準クロックとの間では、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）電波、または、ＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）電波によって、同期がとられている。したがって、受信機１８００ａは、基準クロックにしたがった適切な時刻に、その時刻に該当するデータを再生することができる。
図３３は、実施の形態３における受信機１８００ａの応用例を示す図である。
受信機１８００ａは、上述のようにスマートフォンとして構成されて、例えば、透光性を有する樹脂またはガラスなどの部材で構成されたホルダー１８１０に保持されて利用される。このホルダー１８１０は、背板部１８１０ａと、背板部１８１０ａに立設された係止部１８１０ｂとを有する。受信機１８００ａは、背板部１８１０ａと係止部１８１０ｂとの間に、その背板部１８１０ａに沿わせるように挿入される。
図３４Ａは、実施の形態３における、ホルダー１８１０に保持された受信機１８００ａの正面図である。
受信機１８００ａは、上述のように挿入された状態でホルダー１８１０に保持される。このとき、係止部１８１０ｂは、受信機１８００ａの下部と係止し、その下部を背板部１８１０ａと挟持する。また、受信機１８００ａの背面は、背板部１８１０ａと対向し、受信機１８００ａのディスプレイ１８０１は露出した状態となる。
図３４Ｂは、実施の形態３における、ホルダー１８１０に保持された受信機１８００ａの背面図である。
また、背板部１８１０ａには、通孔１８１１が形成され、その通孔１８１１の近くに可変フィルタ１８１２が取り付けられている。受信機１８００ａがホルダー１８１０に保持されると、受信機１８００ａのカメラ１８０２は、背板部１８１０ａから通孔１８１１を介して露出する。また、受信機１８００ａのフラッシュライト１８０３は、可変フィルタ１８１２に対向する。
可変フィルタ１８１２は、例えば円盤状に形成され、それぞれ扇状で同じサイズの３つの色フィルタ（赤色フィルタ、黄色フィルタ、および緑色フィルタ）を有する。また、可変フィルタ１８１２は、可変フィルタ１８１２の中心を軸にして回転自在に背板部１８１０ａに取り付けられている。また、赤色フィルタは、赤色の透光性を有するフィルタであって、黄色フィルタは、黄色の透光性を有するフィルタであって、緑色フィルタは、緑色の透光性を有するフィルタである。
したがって、可変フィルタ１８１２が回転されて、例えば、赤色フィルタがフラッシュライト１８０３ａに対向する位置に配置される。この場合、フラッシュライト１８０３ａから放たれる光は、赤色フィルタを透過することによって、赤色の光としてホルダー１８１０の内部で拡散する。その結果、ホルダー１８１０の略全体が赤色に発光する。
同様に、可変フィルタ１８１２が回転されて、例えば、黄色フィルタがフラッシュライト１８０３ａに対向する位置に配置される。この場合、フラッシュライト１８０３ａから放たれる光は、黄色フィルタを透過することによって、黄色の光としてホルダー１８１０の内部で拡散する。その結果、ホルダー１８１０の略全体が黄色に発光する。
同様に、可変フィルタ１８１２が回転されて、例えば、緑色フィルタがフラッシュライト１８０３ａに対向する位置に配置される。この場合、フラッシュライト１８０３ａから放たれる光は、緑色フィルタを透過することによって、緑色の光としてホルダー１８１０の内部で拡散する。その結果、ホルダー１８１０の略全体が緑色に発光する。
つまり、ホルダー１８１０は、ペンライトのように、赤色、黄色または緑色に点灯する。
図３５は、実施の形態３における、ホルダー１８１０に保持された受信機１８００ａのユースケースを説明するための図である。
例えば、ホルダー１８１０に保持された受信機１８００ａであるホルダー付受信機は、遊園地などで利用される。つまり、遊園地において移動するフロートに向けられた複数のホルダー付受信機は、そのフロートから流れる音楽に合わせて、同期しながら点滅する。つまり、フロートは、上記各実施の形態における送信機として構成され、フロートに取り付けられている光源の輝度変化によって可視光信号を送信する。例えば、フロートは、フロートのＩＤを示す可視光信号を送信する。そして、ホルダー付受信機は、上記各実施の形態と同様に、受信機１８００ａのカメラ１８０２の撮影によって、その可視光信号、つまりＩＤを受信する。ＩＤを受信した受信機１８００ａは、そのＩＤに対応付けられたプログラムを例えばサーバから取得する。このプログラムは、所定の各時刻において受信機１８００ａのフラッシュライト１８０３を点灯させる命令からなる。この所定の各時刻は、フロートから流れる音楽に合わせて（同期するように）設定されている。そして、受信機１８００ａは、そのプログラムにしたがって、フラッシュライト１８０３ａを点滅させる。
これにより、そのＩＤを受信した各受信機１８００ａのホルダー１８１０は、そのＩＤのフロートから流れる音楽に合わせて同じタイミングで点灯することを繰り返す。
ここで、各受信機１８００ａは、設定されている色フィルタ（以下、設定フィルタという）に応じてフラッシュライト１８０３の点滅を行う。設定フィルタとは、受信機１８００ａのフラッシュライト１８０３に対向している色フィルタである。また、各受信機１８００ａは、ユーザによる操作に基づいて、現在の設定フィルタを認識している。または、各受信機１８００ａは、カメラ１８０２の撮影によって得られる画像の色などに基づいて、現在の設定フィルタを認識している。
つまり、ＩＤを受信した複数の受信機１８００ａのうち、所定の時刻では、設定フィルタが赤色フィルタであることを認識している複数の受信機１８００ａのホルダー１８１０のみが同時に点灯する。次の時刻では、設定フィルタが緑色フィルタであることを認識している複数の受信機１８００ａのホルダー１８１０のみが同時に点灯する。さらに次の時刻では、設定フィルタが黄色フィルタであることを認識している複数の受信機１８００ａのホルダー１８１０のみが同時に点灯する。
このように、ホルダー１８１０に保持される受信機１８００ａは、上述の図２３〜図２９に示す同期再生と同様に、フロートの音楽と、他のホルダー１８１０に保持される受信機１８００ａとに同期して、フラッシュライト１８０３、すなわちホルダー１８１０を点滅させる。
図３６は、実施の形態３における、ホルダー１８１０に保持された受信機１８００ａの処理動作を示すフローチャートである。
受信機１８００ａは、フロートからの可視光信号によって示されるフロートのＩＤを受信する（ステップＳ１８３１）。次に、受信機１８００ａは、そのＩＤに対応付けられているプログラムをサーバから取得する（ステップＳ１８３２）。次に、受信機１８００ａは、そのプログラムを実行することにより、設定フィルタに応じた所定の各時刻にフラッシュライト１８０３を点灯させる（ステップＳ１８３３）。
ここで、受信機１８００ａは、受信したＩＤまたは取得したプログラムに応じた画像をディスプレイ１８０１に表示させてもよい。
図３７は、実施の形態３における受信機１８００ａによって表示される画像の一例を示す図である。
受信機１８００ａは、例えばサンタクロースのフロートからＩＤを受信すると、図３７の（ａ）に示すように、サンタクロースの画像を表示させる。さらに、受信機１８００ａは、図３７の（ｂ）に示すように、フラッシュライト１８０３の点灯と同時に、そのサンタクロースの画像の背景色を、設定フィルタの色に変更してもよい。例えば、設定フィルタの色が赤色の場合には、フラッシュライト１８０３の点灯によって、ホルダー１８１０が赤色に点灯すると同時に、赤色の背景色を有するサンタクロースの画像がディスプレイ１８０１に表示される。つまり、ホルダー１８１０の点滅と、ディスプレイ１８０１の表示とが同期する。
図３８は、実施の形態３におけるホルダーの他の例を示す図である。
ホルダー１８２０は、上述のホルダー１８１０と同様に構成されているが、通孔１８１１および可変フィルタ１８１２がない。このようなホルダー１８２０は、背板部１８２０ａに受信機１８００ａのディスプレイ１８０１が向けられた状態で、その受信機１８００ａを保持する。この場合、受信機１８００ａは、フラッシュライト１８０３の代わりに、ディスプレイ１８０１を発光させる。これにより、ディスプレイ１８０１からの光がホルダー１８２０の略全体に拡散する。したがって、受信機１８００ａが、上述のプログラムに応じて、赤色の光でディスプレイ１８０１を発光させると、ホルダー１８２０は赤色に点灯する。同様に、受信機１８００ａが、上述のプログラムに応じて、黄色の光でディスプレイ１８０１を発光させると、ホルダー１８２０は黄色に点灯する。受信機１８００ａが、上述のプログラムに応じて、緑色の光でディスプレイ１８０１を発光させると、ホルダー１８２０は緑色に点灯する。このようなホルダー１８２０を用いれば、可変フィルタ１８１２の設定を省くことができる。
（可視光信号）
図３９Ａ〜図３９Ｄは、実施の形態３における可視光信号の一例を示す図である。
送信機は、上述と同様、例えば図３９Ａに示すように、４ＰＰＭの可視光信号を生成し、この可視光信号にしたがって輝度変化する。具体的には、送信機は、４スロットを一信号単位に割り当て、複数の信号単位からなる可視光信号を生成する。信号単位は、スロットごとにＨｉｇｈ（Ｈ）またはＬｏｗ（Ｌ）を示す。そして、送信機は、Ｈのスロットにおいて明るく発光し、Ｌのスロットにおいて暗く発光または消灯する。例えば、１スロットは、１／９６００秒の時間に相当する期間である。
また、送信機は、例えば図３９Ｂに示すように、一信号単位に割り当てられるスロット数が可変となる可視光信号を生成してもよい。この場合、信号単位では、１つ以上の連続するスロットにおいてＨを示す信号と、そのＨの信号に続く１つのスロットにおいてＬを示す信号とからなる。Ｈのスロット数が可変であるため、信号単位の全体のスロット数が可変となる。例えば図３９Ｂに示すように、送信機は、３スロットの信号単位、４スロットの信号単位、６スロットの信号単位の順に、それらの信号単位を含む可視光信号を生成する。そして、送信機は、この場合にも、Ｈのスロットにおいて明るく発光し、Ｌのスロットにおいて暗く発光または消灯する。
また、送信機は、例えば図３９Ｃに示すように、複数のスロットを一信号単位に割り当てることなく、任意の期間（信号単位期間）を一信号単位に割り当ててもよい。この信号単位期間は、Ｈの期間と、そのＨの期間に続くＬの期間とからなる。Ｈの期間は、変調前の信号に応じて調整される。Ｌの期間は、固定であって、上記スロットに相当する期間であってもよい。また、Ｈの期間およびＬの期間はそれぞれ例えば１００μｓ以上の期間である。例えば図３９Ｃに示すように、送信機は、信号単位期間が２１０μｓの信号単位、信号単位期間が２２０μｓの信号単位、信号単位期間が２３０μｓの信号単位の順に、それらの信号単位を含む可視光信号を送信する。そして、送信機は、この場合にも、Ｈの期間において明るく発光し、Ｌの期間において暗く発光または消灯する。
また、送信機は、例えば図３９Ｄに示すように、ＬとＨとを交互に示す信号を可視光信号として生成してもよい。この場合、可視光信号においてＬの期間と、Ｈの期間とは、それぞれ変調前の信号に応じて調整される。例えば図３９Ｄに示すように、送信機は、１００μｓの期間においてＨを示し、次に、１２０μｓの期間においてＬを示し、次に、１１０μｓの期間においてＨを示し、さらに、２００μｓの期間においてＬを示す可視光信号を送信する。そして、送信機は、この場合にも、Ｈの期間において明るく発光し、Ｌの期間において暗く発光または消灯する。
図４０は、実施の形態３における可視光信号の構成を示す図である。
可視光信号は、例えば、信号１と、その信号１に対応する明るさ調整信号と、信号２と、その信号２に対応する明るさ調整信号とを含む。送信機は、変調前の信号を変調することによって信号１および信号２を生成すると、それらの信号に対する明るさ調整信号を生成し、上述の可視光信号を生成する。
信号１に対応する明るさ調整信号は、信号１にしたがった輝度変化による明るさの増減を補う信号である。信号２に対応する明るさ調整信号は、信号２にしたがった輝度変化による明るさの増減を補う信号である。ここで、信号１と、その信号１の明るさ調整信号とにしたがった輝度変化によって、明るさＢ１が表現され、信号２と、その信号２の明るさ調整信号とにしたがった輝度変化によって、明るさＢ２が表現される。本実施の形態における送信機は、その明るさＢ１と明るさＢ２とが等しくなるように、信号１および信号２のそれぞれの明るさ調整信号を可視光信号の一部として生成する。これにより、明るさが一定に保たれ、ちらつきを抑えることができる。
また、送信機は、上述の信号１を生成するときには、データ１と、そのデータ１に続くプリアンブル（ヘッダ）と、そのプリアンブルに続くデータ１とを含む信号１を生成する。ここで、プリアンブルは、その前後に配置されているデータ１に対応する信号である。例えば、このプリアンブルは、データ１を読み出すための識別子となる信号である。このように、２つのデータ１と、それらの間に配置されるプリアンブルとから信号１が構成されているため、受信機は、前にあるデータ１の途中から可視光信号を読み出しても、そのデータ１（すなわち信号１）を正しく復調することができる。
本発明の一態様に係る再生方法は、光源の輝度変化により可視光信号を送信する送信機から、前記可視光信号を端末装置のセンサにより受信する信号受信ステップと、前記端末装置から、前記可視光信号に対応付けられたコンテンツを要求するための要求信号をサーバに送信する送信ステップと、前記端末装置が、各時刻と、前記各時刻に再生されるデータとを含むコンテンツを、前記サーバから受信するコンテンツ受信ステップと、前記コンテンツのうち、前記端末装置に備えられている時計の時刻に該当するデータを再生する再生ステップとを含む。
これにより、図３１Ｃに示すように、各時刻と、その各時刻に再生されるデータとを含むコンテンツが端末装置に受信され、端末装置の時計の時刻に該当するデータが再生される。したがって、端末装置は、そのコンテンツにおけるデータを、間違った時刻に再生してしまうことなく、そのコンテンツに示される正しい時刻に、適切に再生することができる。具体的には、図３１Ａの方法ｅのように、端末装置である受信機は、コンテンツを（受信機時刻−コンテンツ再生開始時刻）の時点から再生する。上述の端末装置の時計の時刻に該当するデータは、コンテンツのうちの（受信機時刻−コンテンツ再生開始時刻）の時点にあるデータである。また、送信機においても、そのコンテンツに関連するコンテンツ（送信機側コンテンツ）が再生されていれば、端末装置は、コンテンツをその送信機側コンテンツに適切に同期させて再生することができる。なお、コンテンツは音声または画像である。
また、前記端末装置に備えられている時計と、基準クロックとの間では、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）電波、または、ＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）電波によって、同期がとられていてもよい。
これにより、図３０および図３２に示すように、端末装置（受信機）の時計と基準クロックとの間で同期がとられているため、基準クロックにしたがった適切な時刻に、その時刻に該当するデータを再生することができる。
また、前記可視光信号は、前記可視光信号が前記送信機から送信される時刻を示してもよい。
これにより、図３１Ａの方法ｄに示すように、端末装置（受信機）は、可視光信号が送信機から送信される時刻（送信機時刻）に対応付けられたコンテンツを受信することができる。例えば、送信機時刻が５時４３分であれば、５時４３分に再生されるコンテンツを受信することができる。
また、前記再生方法では、さらに、前記ＧＰＳ電波または前記ＮＴＰ電波によって、前記端末装置の時計と前記基準クロックとの間で同期をとるための処理が行われた時刻が、前記端末装置が前記可視光信号を受信した時刻から所定の時間より前である場合、前記送信機から送信された前記可視光信号が示す時刻により、前記端末装置の時計と、前記送信機の時計との間で同期をとってもよい。
例えば、端末装置の時計と基準クロックとの間で同期をとるための処理が行われてから所定の時間が経過してしまうと、その同期が適切に保たれていない場合がある。このような場合には、端末装置は、送信機で再生される送信機側コンテンツと同期する時刻に、コンテンツを再生することできない可能性がある。そこで、上記本発明の一態様に係る再生方法では、図３０のステップＳ１８２９，Ｓ１８３０のように、所定の時間が経過したときには、端末装置（受信機）の時計と送信機の時計との間で同期がとられる。したがって、端末装置は、送信機で再生される送信機側コンテンツと同期する時刻に、コンテンツを再生することができる。
また、前記サーバは、それぞれ時刻に関連付けられている複数のコンテンツを有しており、前記コンテンツ受信ステップでは、前記可視光信号が示す時刻に関連付けられたコンテンツが前記サーバに存在しない場合には、前記複数のコンテンツのうち、前記可視光信号が示す時刻に最も近く、かつ、前記可視光信号が示す時刻の後の時刻に関連付けられているコンテンツを受信してもよい。
これにより、図３１Ａの方法ｄに示すように、可視光信号が示す時刻に関連付けられたコンテンツがサーバに存在しなくても、そのサーバにある複数のコンテンツの中から、適切なコンテンツを受信することができる。
また、光源の輝度変化により可視光信号を送信する送信機から、前記可視光信号を端末装置のセンサにより受信する信号受信ステップと、前記端末装置から、前記可視光信号に対応付けられたコンテンツを要求するための要求信号をサーバに送信する送信ステップと、前記端末装置が、前記サーバからコンテンツを受信するコンテンツ受信ステップと、前記コンテンツを再生する再生ステップと、を含み、前記可視光信号は、ＩＤ情報と、前記可視光信号が前記送信機から送信される時刻とを示し、前記コンテンツ受信ステップでは、前記可視光信号によって示されるＩＤ情報および時刻に対応付けられた前記コンテンツを受信してもよい。
これにより、図３１Ａの方法ｄのように、ＩＤ情報（送信機ＩＤ）に関連付けられている複数のコンテンツの中から、可視光信号が送信機から送信される時刻（送信機時刻）に対応付けられたコンテンツが受信されて再生される。したがって、その送信機ＩＤおよび送信機時刻に対して適切なコンテンツを再生することができる。
また、前記可視光信号は、時刻のうちの時および分を示す第２の情報と、時刻のうちの秒を示す第１の情報とを含むことによって、前記可視光信号が前記送信機から送信される時刻を示し、前記信号受信ステップでは、前記第２の情報を受信するとともに、前記第２の情報を受信する回数よりも多くの回数だけ前記第１の情報を受信してもよい。
これにより、例えば、可視光信号に含まれる各パケットが送信される時刻を秒単位で端末装置に通知する場合には、時、分および秒の全てを用いて表現される現時点の時刻を示すパケットを、１秒経過ごとに端末装置に送信する手間を軽減することができる。つまり、図２６に示すように、パケットが送信される時刻のうちの時および分が、前に送信されたパケットに示される時および分から更新されていなければ、秒のみを示すパケット（時間パケット１）である第１の情報だけを送信すればよい。したがって、送信機によって送信される、秒を示すパケット（時間パケット１）である第１の情報よりも、時および分を示すパケット（時間パケット２）である第２の情報を少なくすることによって、冗長な内容を含むパケットの送信を抑えることができる。
（実施の形態４）
本実施の形態では、光ＩＤを用いたＡＲ（Augmented Realitｙ）を実現する表示方法などについて説明する。
図４１は、本実施の形態における受信機がＡＲ画像を表示する例を示す図である。
本実施の形態における受信機２００は、上記実施の形態１〜３のうちの何れかの実施の形態における、イメージセンサおよびディスプレイ２０１を備えた受信機であって、例えばスマートフォンとして構成されている。このような受信機２００は、そのイメージセンサによる被写体の撮像によって、上述の通常撮影画像である撮像表示画像Ｐａと、上述の可視光通信画像または輝線画像である復号用画像とを取得する。
具体的には、受信機２００のイメージセンサは、駅名標として構成されている送信機１００を撮像する。送信機１００は、上記実施の形態１〜３のうちの何れかの実施の形態における送信機であって、１つまたは複数の発光素子（例えばＬＥＤ）を備える。この送信機１００は、その１つまたは複数の発光素子を点滅させることによって輝度変化し、その輝度変化によって光ＩＤ（光識別情報）を送信する。この光ＩＤは、上述の可視光信号である。
受信機２００は、送信機１００を通常露光時間で撮像することによって、その送信機１００が映し出された撮像表示画像Ｐａを取得するとともに、その通常露光時間よりも短い通信用露光時間で送信機１００を撮像することによって、復号用画像を取得する。なお、通常露光時間は、上述の通常撮影モードにおける露光時間であり、通信用露光時間は、上述の可視光通信モードにおける露光時間である。
受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、送信機１００から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ１と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐａのうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、送信機１００である駅名標が映し出されている領域を対象領域として認識する。そして、受信機２００は、その対象領域にＡＲ画像Ｐ１を重畳し、ＡＲ画像Ｐ１が重畳された撮像表示画像Ｐａをディスプレイ２０１に表示する。例えば、送信機１００である駅名標に、駅名として日本語で「京都駅」が記載されている場合、受信機２００は、英語で駅名が記載されたＡＲ画像Ｐ１、つまり「Ｋｙｏｔｏ Ｓｔａｔｉｏｎ」と記載されているＡＲ画像Ｐ１を取得する。この場合、撮像表示画像Ｐａの対象領域にそのＡＲ画像Ｐ１が重畳されるため、英語で駅名が記載されている駅名標が現実に存在するように、撮像表示画像Ｐａを表示することができる。その結果、英語を理解できるユーザは、日本語が読めなくても、その撮像表示画像Ｐａを見れば、その送信機１００である駅名標に記載されている駅名を容易に理解することができる。
例えば、認識情報は、認識対象の画像（例えば上述の駅名標の画像）であってもよく、その画像の特徴点および特徴量であってもよい。特徴点および特徴量は、例えば、ＳＩＦＴ（Ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄ−Ｕｐｐｅｄ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅ）、ＯＲＢ（Ｏｒｉｅｎｔｅｄ−ＢＲＩＥＦ）、ＡＫＡＺＥ（Ａｃｃｅｌｅｒａｔｅｄ ＫＡＺＥ）などの画像処理によって得られる。または、認識情報は、認識対象の画像に類似する白い四角形の画像であってもよく、さらに、その四角形の縦横比（アスペクト比）を示してもよい。または、識別情報は、認識対象の画像に現れるランダムドットであってもよい。さらに、認識情報は、上述の白い四角形またはランダムドットなどの、所定の方向を基準とする向きを示してもよい。所定の方向は、例えば重力方向である。
受信機２００は、撮像表示画像Ｐａの中から、このような認識情報に応じた領域を対象領域として認識する。具体的には、認識情報が画像であれば、受信機２００は、その認識情報である画像に類似する領域を対象領域として認識する。また、認識情報が、画像処理によって得られた特徴点および特徴量であれば、受信機２００は、その画像処理を撮像表示画像Ｐａに対して行うことによって、特徴点検出および特徴量抽出を行う。そして、受信機２００は、撮像表示画像Ｐａにおいて、認識情報である特徴点および特徴量に類似する、特徴点および特徴量を有する領域を対象領域として認識する。また、認識情報が、白い四角形とその向きを示してれば、受信機２００は、まず、自らに備えられた加速度センサによって重力方向を検出する。そして、受信機２００は、重力方向を基準にして配置された撮像表示画像Ｐａから、認識情報により示される向きに向けられた白い四角形に類似する領域を対象領域として認識する。
ここで、認識情報は、撮像表示画像Ｐａのうちの基準領域を特定するための基準情報と、その基準領域に対する対象領域の相対位置を示す対象情報とを含んでいてもよい。基準情報は、上述のような、認識対象の画像、特徴点および特徴量、白い四角形の画像、またはランダムドットなどである。この場合、受信機２００は、対象領域を認識するときには、まず、基準情報に基づいて撮像表示画像Ｐａから基準領域を特定する。そして、受信機２００は、撮像表示画像Ｐａのうち、基準領域の位置を基準として対象情報により示される相対位置にある領域を、対象領域として認識する。なお、対象情報は、対象領域が基準領域と同じ位置にあることを示していてもよい。このように、認識情報が基準情報と対象情報とを含むことによって、幅広い範囲で対象領域を認識することができる。また、ＡＲ画像が重畳される場所をサーバが自由に設定して受信機２００に教えることができる。
また、基準情報は、撮像表示画像Ｐａにおける基準領域が、撮像表示画像のうちのディスプレイが映し出されている領域であることを示していてもよい。この場合、送信機１００が例えばテレビなどのディスプレイとして構成されていれば、そのディスプレイが映し出されている領域を基準にして対象領域を認識することができる。
言い換えれば、本実施の形態における受信機２００は、光ＩＤに基づいて、基準画像と、画像認識方法とを特定する。画像認識方法は、撮像表示画像Ｐａを認識する方法であって、例えば、幾何学的特徴量抽出、スペクトル特徴量抽出、またはテクスチャ特徴量抽出などである。基準画像は、基準となる特徴量を示すデータである。その特徴量は、例えば、画像の白色の外枠の特徴量であって、具体的には、画像の特徴をベクトルで表現したデータであってもよい。受信機２００は、撮像表示画像Ｐａから、画像認識方法にしたがって特徴量を抽出し、その特徴量と基準画像の特徴量とを比較することによって、撮像表示画像Ｐａから上述の基準領域または対象領域を見つけ出す。
また、画像認識方法には、例えば、ロケーション利用方法、マーカー利用方法、およびマーカーレス方法があってもよい。ロケーション利用方法は、ＧＰＳの位置情報（すなわち受信機２００の位置）を活用した方法であって、その位置情報に基づいて撮像表示画像Ｐａから対象領域が認識される。マーカー利用方法は、二次元バーコードのような白および黒の図形で構成されたマーカーをターゲット特定用のマークとして用いる方法である。つまり、このマーカー利用方法では、撮像表示画像Ｐａに映し出されているマーカーに基づいて対象領域が認識される。マーカーレス方法では、撮像表示画像Ｐａに対する画像分析により、その撮像表示画像Ｐａから特徴点または特徴量を抽出し、その抽出された特徴点または特徴量に基づいて、ターゲットの位置および領域を特定する方法である。つまり、画像認識方法がマーカーレス方法である場合、その画像認識方法は、上述の幾何学的特徴量抽出、スペクトル特徴量抽出、またはテクスチャ特徴量抽出などである。
このような受信機２００は、送信機１００から光ＩＤを受信し、その光ＩＤ（以下、受信光ＩＤという）に対応付けられた基準画像および画像認識方法をサーバから取得することによって、その基準画像および画像認識方法を特定してもよい。つまり、サーバには、基準画像および画像認識方法を含むセットが複数保存され、複数のセットのそれぞれは互いに異なる光ＩＤに対応付けられている。これにより、サーバに保存されている複数のセットの中から、受信光ＩＤに対応付けられた１つのセットを特定することができる。したがって、ＡＲ画像の重畳のための画像処理の速度を向上させることができる。また、受信機２００は、サーバに問い合わせることによって、受信光ＩＤに対応付けられた基準画像などを取得してもよく、自らが予め保持している複数の基準画像の中から、その受信光ＩＤに対応付けられた基準画像を取得してもよい。
また、サーバは、光ＩＤごとに、その光ＩＤに対応付けられた相対位置情報を、基準画像、画像認識方法およびＡＲ画像とともに保持していてもよい。相対位置情報は、例えば、上述の基準領域と対象領域との相対的な位置関係を示す情報である。これにより、受信機２００は、受信光ＩＤをサーバに送信して問い合わせたときには、その受信光ＩＤに対応付けられた基準画像、画像認識方法、ＡＲ画像および相対位置情報を取得する。この場合、受信機２００は、基準画像および画像認識方法に基づいて撮像表示画像Ｐａから上述の基準領域を特定する。そして、受信機２００は、その基準領域の位置から、上述の相対位置情報によって示される方向および距離にある領域を、上述の対象領域として認識し、その対象領域にＡＲ画像を重畳する。また、受信機２００は、相対位置情報がなければ、上述の基準領域を対象領域として認識し、その基準領域にＡＲ画像を重畳してもよい。つまり、受信機２００は、相対位置情報の取得に代えて、基準画像に基づいてＡＲ画像を表示するプログラムを予め保持し、例えば、基準領域である白枠内にＡＲ画像を表示してもよい。この場合には、相対位置情報は不要である。
基準画像、相対位置情報、ＡＲ画像、および画像認識方法の保持または取得には、以下の４つのバリエーション（１）〜（４）がある。
（１）サーバは、基準画像、相対位置情報、ＡＲ画像、および画像認識方法からなるセットを複数保持している。受信機２００は、それらのセットの中から、受信光ＩＤに対応付けられた１つのセットを取得する。
（２）サーバは、基準画像およびＡＲ画像からなるセットを複数保持している。受信機２００は、予め定められた相対位置情報および画像認識方法を用い、かつ、それらのセットの中から、受信光ＩＤに対応付けられた１つのセットを取得する。または、受信機２００は、相対位置情報および画像認識方法からなる複数のセットを予め保持し、その複数のセットの中から、受信光ＩＤに対応付けられた１つのセットを選択してもよい。この場合、受信機２００は、受信光ＩＤをサーバに送信して問い合わせ、その受信光ＩＤに対応する相対位置情報および画像認識方法を特定するための情報をサーバから取得してもよい。そして、受信機２００は、予め保持している、それぞれ相対位置情報および画像認識方法からなる複数のセットの中から、そのサーバから取得された情報に基づいて１つのセットを選択する。あるいは、受信機２００は、サーバに問い合わせることなく、予め保持している、それぞれ相対位置情報および画像認識方法からなる複数のセットの中から、受信光ＩＤに対応付けられた１つのセットを選択してもよい。
（３）受信機２００は、基準画像、相対位置情報、ＡＲ画像、および画像認識方法からなるセットを複数保持し、それらのセットの中から１つのセットを選択する。受信機２００は、上記（２）と同様に、サーバに問い合わせることによって、１つのセットを選択してもよく、受信機光ＩＤに対応付けられた１つのセットを選択してもよい。
（４）受信機２００は、基準画像およびＡＲ画像からなるセットを複数保持し、受信光ＩＤに対応付けられた１つのセットを選択する。受信機２００は、予め定められた画像認識方法および相対位置情報を用いる。
図４２は、本実施の形態における表示システムの一例を示す図である。
本実施の形態における表示システムは、例えば、上述の駅名標である送信機１００と、受信機２００と、サーバ３００とを備える。
受信機２００は、上述のようにＡＲ画像が重畳された撮像表示画像を表示するために、まず、送信機１００から光ＩＤを受信する。次に、受信機２００は、その光ＩＤをサーバ３００に送信する。
サーバ３００は、光ＩＤごとに、その光ＩＤに対応付けられたＡＲ画像および認識情報を保持している。そこで、サーバ３００は、受信機２００から光ＩＤを受信すると、その受信された光ＩＤに対応付けられたＡＲ画像および認識情報を選択し、その選択されたＡＲ画像および認識情報を受信機２００に送信する。これにより、受信機２００は、サーバ３００から送信されたＡＲ画像および認識情報を受信し、ＡＲ画像が重畳された撮像表示画像を表示する。
図４３は、本実施の形態における表示システムの他の例を示す図である。
本実施の形態における表示システムは、例えば、上述の駅名標である送信機１００と、受信機２００と、第１のサーバ３０１と、第２のサーバ３０２とを備える。
受信機２００は、上述のようにＡＲ画像が重畳された撮像表示画像を表示するために、まず、送信機１００から光ＩＤを受信する。次に、受信機２００は、その光ＩＤを第１のサーバ３０１に送信する。
第１のサーバ３０１は、受信機２００から光ＩＤを受信すると、その受信された光ＩＤに対応付けられたＵＲＬ（Uniform Resource Locator）とＫｅｙを受信機２００に通知する。このような通知を受けた受信機２００は、そのＵＲＬ基づいて第２のサーバ３０２にアクセスし、Ｋｅｙを第２のサーバ３０２に受け渡す。
第２のサーバ３０２は、Ｋｅｙごとに、そのＫｅｙに対応付けられたＡＲ画像および認識情報を保持している。そこで、第２のサーバ３０２は、受信機２００からＫｅｙを受け取ると、そのＫｅｙに対応付けられたＡＲ画像および認識情報を選択し、その選択されたＡＲ画像および認識情報を受信機２００に送信する。これにより、受信機２００は、第２のサーバ３０２から送信されたＡＲ画像および認識情報を受信し、ＡＲ画像が重畳された撮像表示画像を表示する。
図４４は、本実施の形態における表示システムの他の例を示す図である。
本実施の形態における表示システムは、例えば、上述の駅名標である送信機１００と、受信機２００と、第１のサーバ３０１と、第２のサーバ３０２とを備える。
受信機２００は、上述のようにＡＲ画像が重畳された撮像表示画像を表示するために、まず、送信機１００から光ＩＤを受信する。次に、受信機２００は、その光ＩＤを第１のサーバ３０１に送信する。
第１のサーバ３０１は、受信機２００から光ＩＤを受信すると、その受信された光ＩＤに対応付けられたＫｅｙを第２のサーバ３０２に通知する。
第２のサーバ３０２は、Ｋｅｙごとに、そのＫｅｙに対応付けられたＡＲ画像および認識情報を保持している。そこで、第２のサーバ３０２は、第１のサーバ３０１からＫｅｙを受け取ると、そのＫｅｙに対応付けられたＡＲ画像および認識情報を選択し、その選択されたＡＲ画像および認識情報を、第１のサーバ３０１に送信する。第１のサーバ３０１は、第２のサーバ３０２からＡＲ画像および認識情報を受信すると、そのＡＲ画像および認識情報を受信機２００に送信する。これにより、受信機２００は、第１のサーバ３０１から送信されたＡＲ画像および認識情報を受信し、ＡＲ画像が重畳された撮像表示画像を表示する。
なお、上述の例では、第２のサーバ３０２は、ＡＲ画像および認識情報を第１のサーバ３０１に送信したが、第１のサーバ３０１に送信することなく、受信機２００に送信してもよい。
図４５は、本実施の形態における受信機２００の処理動作の一例を示すフローチャートである。
まず、受信機２００は、上述の通常露光時間および通信用露光時間による撮像を開始する（ステップＳ１０１）。そして、受信機２００は、通信用露光時間での撮像により得られる復号用画像に対する復号によって、光ＩＤを取得する（ステップＳ１０２）。次に、受信機２００は、その光ＩＤをサーバに送信する（ステップＳ１０３）。
受信機２００は、送信された光ＩＤに対応するＡＲ画像と認識情報とをサーバから取得する（ステップＳ１０４）。次に、受信機２００は、通常露光時間の撮像により得られる撮像表示画像のうち、その認識情報に応じた領域を対象領域として認識する（ステップＳ１０５）。そして、受信機２００は、その対象領域にＡＲ画像を重畳し、そのＡＲ画像が重畳された撮像表示画像を表示する（ステップＳ１０６）。
次に、受信機２００は、撮像と撮像表示画像の表示とを終了すべきか否かを判定する（ステップＳ１０７）。ここで、受信機２００は、終了すべきでないと判定すると（ステップＳ１０７のＮ）、さらに、受信機２００の加速度が閾値以上であるか否かを判定する（ステップＳ１０８）。この加速度は、受信機２００に備えられている加速度センサによって計測される。受信機２００は、加速度が閾値未満であると判定すると（ステップＳ１０８のＮ）、ステップＳ１０５からの処理を実行する。これにより、受信機２００のディスプレイ２０１に表示されている撮像表示画像がずれる場合であっても、その撮像表示画像の対象領域にＡＲ画像を追従させることができる。また、受信機２００は、加速度が閾値以上であると判定すると（ステップＳ１０８のＹ）、ステップＳ１０２からの処理を実行する。これにより、撮像表示画像に送信機１００が映らなくなった場合に、送信機１００と異なる被写体が映し出されている領域を誤って対象領域として認識してしまうことを抑えることができる。
このように本実施の形態では、ＡＲ画像が撮像表示画像に重畳されて表示されるため、ユーザに有益な画像を表示することができる。さらに、処理負荷を抑えて適切な対象領域にＡＲ画像を重畳することができる。
つまり、一般的な拡張現実（すなわちＡＲ）では、予め保存されている膨大な数の認識対象画像と、撮像表示画像とを比較することによって、その撮像表示画像に何れかの認識対象画像が含まれているか否かが判定される。そして、認識対象画像が含まれていると判定されれば、その認識対象画像に対応するＡＲ画像が撮像表示画像に重畳される。このとき、認識対象画像を基準にＡＲ画像の位置合わせが行われる。このように、一般的な拡張現実では、膨大な数の認識対象画像と撮像表示画像とを比較するため、さらに、位置合わせにおいても撮像表示画像における認識対象画像の位置検出が必要となるため、計算量が多く、処理負荷が高いという問題がある。
しかし、本実施の形態にける表示方法では、被写体の撮像によって得られる復号用画像を復号することによって光ＩＤが取得される。つまり、被写体である送信機から送信された光ＩＤが受信される。さらに、この光ＩＤに対応するＡＲ画像と認識情報とがサーバから取得される。したがって、サーバでは、膨大な数の認識対象画像と撮像表示画像とを比較する必要がなく、光ＩＤに予め対応付けられているＡＲ画像を選択して表示装置に送信することができる。これにより、計算量を減らして処理負荷を大幅に抑えることができる。さらに、ＡＲ画像の表示処理を高速にすることができる。
また、本実施の形態では、この光ＩＤに対応する認識情報がサーバから取得される。認識情報は、撮像表示画像においてＡＲ画像が重畳される領域である対象領域を認識するための情報である。この認識情報は、例えば白い四角形が対象領域であることを示す情報であってもよい。この場合には、対象領域を簡単に認識することができ、処理負荷をさらに抑えることができる。つまり、認識情報の内容に応じて、処理負荷をさらに抑えることができる。また、サーバでは、光ＩＤに応じてその認識情報の内容を任意に設定することができるため、処理負荷と認識精度とのバランスを適切に保つことができる。
なお、本実施の形態では、受信機２００が光ＩＤをサーバに送信した後に、受信機２００がその光ＩＤに対応するＡＲ画像および認識情報をサーバから取得するが、ＡＲ画像および認識情報のうちの少なくとも一方を予め取得しておいてもよい。つまり、受信機２００は、受信される可能性のある複数の光ＩＤに対応する複数のＡＲ画像および複数の認識情報をまとめてサーバから取得して保存しておく。その後、受信機２００は、光ＩＤを受信すると、自らに保存されている複数のＡＲ画像および複数の認識情報から、その光ＩＤに対応するＡＲ画像および認識情報を選択する。これにより、ＡＲ画像の表示処理をさらに高速にすることができる。
図４６は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
送信機１００は、例えば図４６に示すように、照明装置として構成され、施設の案内板１０１を照らしながら輝度変化することによって、光ＩＤを送信している。案内板１０１は、その送信機１００からの光によって照らされているため、送信機１００と同様に輝度変化し、光ＩＤを送信している。
受信機２００は、送信機１００によって照らされた案内板１０１を撮像することによって、上述と同様に、撮像表示画像Ｐｂと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、案内板１０１から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ２と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｂのうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、案内板１０１における枠１０２が映し出されている領域を対象領域として認識する。この枠１０２は、施設の待ち時間を示すための枠である。そして、受信機２００は、その対象領域にＡＲ画像Ｐ２を重畳し、ＡＲ画像Ｐ２が重畳された撮像表示画像Ｐｂをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ２は、文字列「３０分」を含む画像である。この場合、撮像表示画像Ｐｂの対象領域にそのＡＲ画像Ｐ２が重畳されるため、受信機２００は、待ち時間「３０分」が記載された案内板１０１が現実に存在するように、撮像表示画像Ｐｂを表示することができる。これにより、案内板１０１に特別な表示装置を備えることなく、受信機２００のユーザに待ち時間を簡単に、かつ、分かりやすく知らせることができる。
図４７は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
送信機１００は、例えば図４７に示すように、２つの照明装置からなる。送信機１００は、施設の案内板１０４を照らしながら輝度変化することによって、光ＩＤを送信している。案内板１０４は、その送信機１００からの光によって照らされているため、送信機１００と同様に輝度変化し、光ＩＤを送信している。また、案内板１０４は、例えば「ＡＢＣランド」および「アドベンチャーランド」などの複数の施設の名称を示す。
受信機２００は、送信機１００によって照らされた案内板１０４を撮像することによって、上述と同様に、撮像表示画像Ｐｃと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、案内板１０４から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ３と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｃのうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、案内板１０４が映し出されている領域を対象領域として認識する。そして、受信機２００は、その対象領域にＡＲ画像Ｐ３を重畳し、ＡＲ画像Ｐ３が重畳された撮像表示画像Ｐｃをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ３は、複数の施設の名称を示す画像である。このＡＲ画像Ｐ３では、施設の待ち時間が長いほど、その施設の名称が小さく表示され、逆に、施設の待ち時間が短いほど、その施設の名称が大きく表示されている。この場合、撮像表示画像Ｐｃの対象領域にそのＡＲ画像Ｐ３が重畳されるため、受信機２００は、待ち時間に応じた大きさの各施設名称が記載された案内板１０４が現実に存在するように、撮像表示画像Ｐｃを表示することができる。これにより、案内板１０４に特別な表示装置を備えることなく、受信機２００のユーザに各施設の待ち時間を簡単に、かつ、分かりやすく知らせることができる。
図４８は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
送信機１００は、例えば図４８に示すように、２つの照明装置からなる。送信機１００は、城壁１０５を照らしながら輝度変化することによって、光ＩＤを送信している。城壁１０５は、その送信機１００からの光によって照らされているため、送信機１００と同様に輝度変化し、光ＩＤを送信している。また、城壁１０５には、例えば、キャラクターの顔を模った小さいマークが隠れキャラクター１０６として刻まれている。
受信機２００は、送信機１００によって照らされた城壁１０５を撮像することによって、上述と同様に、撮像表示画像Ｐｄと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、城壁１０５から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ４と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｄのうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、城壁１０５のうち隠れキャラクター１０６を含む範囲が映し出されている領域を対象領域として認識する。そして、受信機２００は、その対象領域にＡＲ画像Ｐ４を重畳し、ＡＲ画像Ｐ４が重畳された撮像表示画像Ｐｄをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ４は、キャラクターの顔を模った画像である。このＡＲ画像Ｐ４は、撮像表示画像Ｐｄに映し出されている隠れキャラクター１０６よりも十分に大きい画像である。この場合、撮像表示画像Ｐｄの対象領域にそのＡＲ画像Ｐ４が重畳されるため、受信機２００は、キャラクターの顔を模った大きなマークが刻まれた城壁１０５が現実に存在するように、撮像表示画像Ｐｄを表示することができる。これにより、受信機２００のユーザに、隠れキャラクター１０６の位置を分かりやすく知らせることができる。
図４９は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
送信機１００は、例えば図４９に示すように、２つの照明装置からなる。送信機１００は、施設の案内板１０７を照らしながら輝度変化することによって、光ＩＤを送信している。案内板１０７は、その送信機１００からの光によって照らされているため、送信機１００と同様に輝度変化し、光ＩＤを送信している。また、案内板１０７の隅の複数箇所には、赤外線遮断塗料１０８が塗布されている。
受信機２００は、送信機１００によって照らされた案内板１０７を撮像することによって、上述と同様に、撮像表示画像Ｐｅと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、案内板１０７から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ５と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｅのうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、案内板１０７が映し出されている領域を対象領域として認識する。
具体的には、認識情報には、複数箇所の赤外線遮断塗料１０８に外接する矩形が対象領域であることが示されている。また、赤外線遮断塗料１０８は、送信機１００から照射される光に含まれる赤外線を遮断する。したがって、受信機２００のイメージセンサには、赤外線遮断塗料１０８がその周辺よりも暗い像として認識される。受信機２００は、それぞれ暗い像として現れる複数箇所の赤外線遮断塗料１０８に外接する矩形を対象領域として認識する。
そして、受信機２００は、その対象領域にＡＲ画像Ｐ５を重畳し、ＡＲ画像Ｐ５が重畳された撮像表示画像Ｐｅをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ５は、案内板１０７の施設において行われる催しのスケジュールを示す。この場合、撮像表示画像Ｐｅの対象領域にそのＡＲ画像Ｐ５が重畳されるため、受信機２００は、催しのスケジュールが記載された案内板１０７が現実に存在するように、撮像表示画像Ｐｅを表示することができる。これにより、案内板１０７に特別な表示装置を備えることなく、受信機２００のユーザに施設の催しのスケジュールを分かりやすく知らせることができる。
なお、案内板１０７には、赤外線遮断塗料１０８の代わりに、赤外線反射塗料が塗布されていてもよい。赤外線反射塗料は、送信機１００から照射される光に含まれる赤外線を反射する。したがって、受信機２００のイメージセンサには、赤外線反射塗料がその周辺よりも明るい像として認識される。つまり、この場合には、受信機２００は、それぞれ明るい像として現れる複数箇所の赤外線反射塗料に外接する矩形を対象領域として認識する。
図５０は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
送信機１００は、駅名標として構成され、駅出口案内板１１０の近くに配置されている。駅出口案内板１１０は、光源を備えて発光しているが、送信機１００とは異なり、光ＩＤを送信しない。
受信機２００が送信機１００および駅出口案内板１１０を撮像することによって撮像表示画像Ｐｐｒｅおよび復号用画像Ｐｄｅｃを取得する。送信機１００は輝度変化し、駅出口案内板１１０は発光しているため、その復号用画像Ｐｄｅｃには、送信機１００に対応する輝線パターン領域Ｐｄｅｃ１と、駅出口案内板１１０に対応する明領域Ｐｄｅｃ２とが現れる。輝線パターン領域Ｐｄｅｃ１は、受信機２００のイメージセンサが有する複数の露光ラインの通信用露光時間での露光によって現れる複数の輝線のパターンからなる領域である。
ここで、識別情報は、上述のように、撮像表示画像Ｐｐｒｅのうちの基準領域Ｐｂａｓを特定するための基準情報と、その基準領域Ｐｂａｓに対する対象領域Ｐｔａｒの相対位置を示す対象情報とを含んでいる。例えば、その基準情報は、撮像表示画像Ｐｐｒｅにおける基準領域Ｐｂａｓの位置が、復号用画像Ｐｄｅｃにおける輝線パターン領域Ｐｄｅｃ１の位置と同じであることを示す。さらに、対象情報は、対象領域の位置が基準領域の位置であることを示す。
したがって、受信機２００は、基準情報に基づいて撮像表示画像Ｐｐｒｅから基準領域Ｐｂａｓを特定する。つまり、受信機２００は、撮像表示画像Ｐｐｒｅにおいて、復号用画像Ｐｄｅｃにおける輝線パターン領域Ｐｄｅｃ１の位置と同一の位置にある領域を、基準領域Ｐｂａｓとして特定する。さらに、受信機２００は、撮像表示画像Ｐｐｒｅのうち、基準領域Ｐｂａｓの位置を基準として対象情報により示される相対位置にある領域を、対象領域Ｐｔａｒとして認識する。上述の例では、対象情報は、対象領域Ｐｔａｒの位置が基準領域Ｐｂａｓの位置であることを示すため、受信機２００は、撮像表示画像Ｐｐｒｅのうちの基準領域Ｐｂａｓを対象領域Ｐｔａｒとして認識する。
そして、受信機２００は、撮像表示画像Ｐｐｒｅにおける対象領域ＰｔａｒにＡＲ画像Ｐ１を重畳する。
このように、上述の例では、対象領域Ｐｔａｒを認識するために、輝線パターン領域Ｐｄｅｃ１を利用している。一方、輝線パターン領域Ｐｄｅｃ１を利用せずに、撮像表示画像Ｐｐｒｅだけから、送信機１００が映し出されている領域を、対象領域Ｐｔａｒとして認識しようとする場合には、誤認識が生じる可能性がある。つまり、撮像表示画像Ｐｐｒｅのうちの、送信機１００が映し出されている領域ではなく、駅出口案内板１１０が映し出されている領域を、対象領域Ｐｔａｒとして誤認識してしまう可能性がある。これは、撮像表示画像Ｐｐｒｅにおける、送信機１００の画像と駅出口案内板１１０の画像とが似ているからである。しかし、上述の例のように、輝線パターン領域Ｐｄｅｃ１を利用する場合には、誤認識の発生を抑えて、正確に対象領域Ｐｔａｒを認識することができる。
図５１は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
図５０に示す例では、送信機１００は、駅名標の全体を輝度変化させることによって光ＩＤを送信し、対象情報は、対象領域の位置が基準領域の位置であることを示している。しかし、本実施の形態では、送信機１００は、駅名標の全体を輝度変化させることなく、駅名標の外枠の一部に配置された発光素子を輝度変化させることによって光ＩＤを送信してもよい。また、対象情報は、基準領域Ｐｂａｓに対する対象領域Ｐｔａｒの相対位置を示していればよく、例えば、対象領域Ｐｔａｒの位置が基準領域Ｐｂａｓの上（具体的には、鉛直方向上向き）であることを示していてもよい。
図５１に示す例では、送信機１００は、駅名標の外枠下部に水平方向に沿って配置された複数の発光素子を輝度変化させることによって光ＩＤを送信する。また、対象情報は、対象領域Ｐｔａｒの位置が基準領域Ｐｂａｓの上であることを示す。
このような場合、受信機２００は、基準情報に基づいて撮像表示画像Ｐｐｒｅから基準領域Ｐｂａｓを特定する。つまり、受信機２００は、撮像表示画像Ｐｐｒｅにおいて、復号用画像Ｐｄｅｃにおける輝線パターン領域Ｐｄｅｃ１の位置と同一の位置にある領域を、基準領域Ｐｂａｓとして特定する。具体的には、受信機２００は、水平方向に長く垂直方向に短い矩形状の基準領域Ｐｂａｓを特定する。さらに、受信機２００は、撮像表示画像Ｐｐｒｅのうち、基準領域Ｐｂａｓの位置を基準として対象情報により示される相対位置にある領域を、対象領域Ｐｔａｒとして認識する。つまり、受信機２００は、撮像表示画像Ｐｐｒｅのうちの基準領域Ｐｂａｓよりも上にある領域を、対象領域Ｐｔａｒとして認識する。なお、このときには、受信機２００は、自らに備えられている加速度センサによって計測される重力方向に基づいて、基準領域Ｐｂａｓよりも上の向きを特定する。
なお、対象情報は、対象領域Ｐｔａｒの相対位置だけでなく、対象領域Ｐｔａｒのサイズ、形状およびアスペクト比を示してもよい。この場合、受信機２００は、対象情報によって示されるサイズ、形状およびアスペクト比の対象領域Ｐｔａｒを認識する。また、受信機２００は、基準領域Ｐｂａｓのサイズに基づいて、対象領域Ｐｔａｒのサイズを決定してもよい。
図５２は、本実施の形態における受信機２００の処理動作の他の例を示すフローチャートである。
受信機２００は、図４５に示す例と同様に、ステップＳ１０１〜Ｓ１０４の処理を実行する。
次に、受信機２００は、復号用画像Ｐｄｅｃから輝線パターン領域Ｐｄｅｃ１を特定する（ステップＳ１１１）。次に、受信機２００は、撮像表示画像Ｐｐｒｅから、その輝線パターン領域Ｐｄｅｃ１に対応する基準領域Ｐｂａｓを特定する（ステップＳ１１２）。そして、受信機２００は、認識情報（具体的には対象情報）とその基準領域Ｐｂａｓとに基づいて、撮像表示画像Ｐｐｒｅから対象領域Ｐｔａｒを認識する（ステップＳ１１３）。
次に、受信機２００は、図４５に示す例と同様に、撮像表示画像Ｐｐｒｅの対象領域ＰｔａｒにＡＲ画像を重畳し、そのＡＲ画像が重畳された撮像表示画像Ｐｐｒｅを表示する（ステップＳ１０６）。そして、受信機２００は、撮像と撮像表示画像Ｐｐｒｅの表示とを終了すべきか否かを判定する（ステップＳ１０７）。ここで、受信機２００は、終了すべきでないと判定すると（ステップＳ１０７のＮ）、さらに、受信機２００の加速度が閾値以上であるか否かを判定する（ステップＳ１１４）。この加速度は、受信機２００に備えられている加速度センサによって計測される。受信機２００は、加速度が閾値未満であると判定すると（ステップＳ１１４のＮ）、ステップＳ１１３からの処理を実行する。これにより、受信機２００のディスプレイ２０１に表示されている撮像表示画像Ｐｐｒｅがずれる場合であっても、その撮像表示画像Ｐｐｒｅの対象領域ＰｔａｒにＡＲ画像を追従させることができる。また、受信機２００は、加速度が閾値以上であると判定すると（ステップＳ１１４のＹ）、ステップＳ１１１またはステップＳ１０２からの処理を実行する。これにより、送信機１００と異なる被写体（例えば、駅出口案内板１１０）が映し出されている領域を誤って対象領域Ｐｔａｒとして認識してしまうことを抑えることができる。
図５３は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
受信機２００は、表示されている撮像表示画像ＰｐｒｅにおけるＡＲ画像Ｐ１がタップされると、そのＡＲ画像Ｐ１を拡大して表示する。または、受信機２００は、タップされると、ＡＲ画像Ｐ１に示されている内容よりも詳細な内容を示す新たなＡＲ画像を、そのＡＲ画像Ｐ１の代わりに表示してもよい。また、ＡＲ画像Ｐ１が、複数ページからなる情報誌の１ページ分の情報を示す場合には、受信機２００は、ＡＲ画像Ｐ１のページの次のページの情報を示す新たなＡＲ画像を、そのＡＲ画像Ｐ１の代わりに表示してもよい。または、受信機２００は、タップされると、そのＡＲ画像Ｐ１に関連する動画像を新たなＡＲ画像として、そのＡＲ画像Ｐ１の代わりに表示してもよい。このとき、受信機２００は、対象領域Ｐｔａｒからオブジェクト（図５３の例では紅葉）が出ていくような動画像をＡＲ画像として表示してもよい。
図５４は、本実施の形態における受信機２００の撮像によって取得される撮像表示画像Ｐｐｒｅおよび復号用画像Ｐｄｅｃを示す図である。
受信機２００は、撮像しているときには、例えば図５４の（ａ１）に示すように、３０ｆｐｓのフレームレートで撮像表示画像Ｐｐｒｅおよび復号用画像Ｐｄｅｃなどの撮像画像を取得する。具体的には、受信機２００は、時刻ｔ１に撮像表示画像Ｐｐｒｅ「Ａ」を取得し、時刻ｔ２に復号用画像Ｐｄｅｃを取得し、時刻ｔ３に撮像表示画像Ｐｐｒｅ「Ｂ」を取得するように、撮像表示画像Ｐｐｒｅと復号用画像Ｐｄｅｃとを交互に取得する。
また、受信機２００は、撮像画像を表示しているときには、撮像画像のうち撮像表示画像Ｐｐｒｅのみを表示し、復号用画像Ｐｄｅｃを表示しない。つまり、受信機２００は、図５４の（ａ２）に示すように、復号用画像Ｐｄｅｃを取得するときには、その復号用画像Ｐｄｅｃの代わりに、直前に取得された撮像表示画像Ｐｐｒｅを表示する。具体的には、受信機２００は、時刻ｔ１には、取得された撮像表示画像Ｐｐｒｅ「Ａ」を表示し、時刻ｔ２には、時刻ｔ１で取得された撮像表示画像Ｐｐｒｅ「Ａ」を再び表示する。これにより、受信機２００は、１５ｆｐｓのフレームレートで撮像表示画像Ｐｐｒｅを表示する。
ここで、図５４の（ａ１）に示す例では、受信機２００は、撮像表示画像Ｐｐｒｅと復号用画像Ｐｄｅｃとを交互に取得するが、本実施の形態におけるこれらの画像の取得形態は、このような形態に限らない。つまり、受信機２００は、Ｎ（Ｎは１以上の整数）枚の復号用画像Ｐｄｅｃを連続して取得し、その後、Ｍ（Ｍは１以上の整数）枚の撮像表示画像Ｐｐｒｅを連続して取得することを繰り返してもよい。
また、受信機２００は、取得される撮像画像を、撮像表示画像Ｐｐｒｅと復号用画像Ｐｄｅｃとに切り替える必要があり、この切り替えに時間がかかってしまうことがある。そこで、図５４の（ｂ１）に示すように、受信機２００は、撮像表示画像Ｐｐｒｅの取得と、復号用画像Ｐｄｅｃの取得と間の切り替え時において、切り替え期間を設けてもよい。具体的には、受信機２００は、時刻ｔ３に復号用画像Ｐｄｅｃを取得すると、時刻ｔ３〜ｔ５までの切り替え期間において、撮像画像を切り替えるための処理を実行し、時刻ｔ５に撮像表示画像Ｐｐｒｅ「Ａ」を取得する。その後、受信機２００は、時刻ｔ５〜ｔ７までの切り替え期間において、撮像画像を切り替えるための処理を実行し、時刻ｔ７に復号用画像Ｐｄｅｃを取得する。
このように切り替え期間が設けられた場合、受信機２００は、図５４の（ｂ２）に示すように、切り替え期間では、直前に取得された撮像表示画像Ｐｐｒｅを表示する。したがって、この場合には、受信機２００における撮像表示画像Ｐｐｒｅの表示のフレームレートは低く、例えば３ｆｐｓとなる。このようにフレームレートが低い場合には、ユーザが受信機２００を動かしても、表示されている撮像表示画像Ｐｐｒｅがその受信機２００の動きに応じて移動しないことがある。つまり、撮像表示画像Ｐｐｒｅはライブビューとして表示されない。そこで、受信機２００は、撮像表示画像Ｐｐｒｅを受信機２００の動きに応じて移動させてもよい。
図５５は、本実施の形態における受信機２００に表示される撮像表示画像Ｐｐｒｅの一例を示す図である。
受信機２００は、例えば図５５の（ａ）に示すように、撮像によって得られた撮像表示画像Ｐｐｒｅをディスプレイ２０１に表示する。ここで、ユーザが受信機２００を左側に動かす。このとき、受信機２００による撮像によって新たな撮像表示画像Ｐｐｒｅが取得されない場合、受信機２００は、図５５の（ｂ）に示すように、表示されている撮像表示画像Ｐｐｒｅを右側に移動させる。つまり、受信機２００は、加速度センサを備え、その加速度センサによって計測される加速度に応じて、受信機２００の動きに整合するように、表示されている撮像表示画像Ｐｐｒｅを移動させる。これにより、受信機２００は、撮像表示画像Ｐｐｒｅを擬似的にライブビューとして表示することができる。
図５６は、本実施の形態における受信機２００の処理動作の他の例を示すフローチャートである。
受信機２００は、まず、上述と同様に、撮像表示画像Ｐｐｒｅの対象領域ＰｔａｒにＡＲ画像を重畳して、その対象領域Ｐｔａｒに追従させる（ステップＳ１２２）。つまり、撮像表示画像Ｐｐｒｅにおける対象領域Ｐｔａｒと共に移動するＡＲ画像が表示される。そして、受信機２００は、ＡＲ画像の表示を維持するか否かを判定する（ステップＳ１２２）。ここで、ＡＲ画像の表示を維持しないと判定すると（ステップＳ１２２のＮ）、受信機２００は、撮像によって新たな光ＩＤを取得すれば、その光ＩＤに対応する新たなＡＲ画像を撮像表示画像Ｐｐｒｅに重畳して表示する（ステップＳ１２３）。
一方、ＡＲ画像の表示を維持すると判定すると（ステップＳ１２２のＹ）、受信機２００は、ステップＳ１２１からの処理を繰り返し実行させる。このときには、受信機２００は、他のＡＲ画像を取得していても他のＡＲ画像を表示しない。または、受信機２００は、新たな復号用画像Ｐｄｅｃを取得していても、その復号用画像Ｐｄｅｃに対する復号によって光ＩＤを取得することは行わない。このときには、復号にかかる消費電力を抑えることができる。
このように、ＡＲ画像の表示を維持することによって、表示されているそのＡＲ画像が消去されたり、他のＡＲ画像の表示によって見え難くなってしまうことを抑えることができる。つまり、表示されているＡＲ画像をユーザに見え易くすることができる。
例えば、ステップＳ１２２では、受信機２００は、ＡＲ画像が表示されてから予め定められた期間（一定期間）が経過するまでは、ＡＲ画像の表示を維持すると判定する。つまり、受信機２００は、撮像表示画像Ｐｐｒｅを表示するときには、ステップＳ１２１で重畳されているＡＲ画像である第１のＡＲ画像と異なる第２のＡＲ画像の表示を抑制しながら、予め定められた表示期間だけ、その第１のＡＲ画像を表示する。受信機２００は、この表示期間には、新たに取得される復号用画像Ｐｄｅｃに対する復号を禁止してもよい。
これにより、ユーザが一度表示された第１のＡＲ画像を見ているときに、その第１のＡＲ画像がそれとは異なる第２のＡＲ画像にすぐに置き換わってしまうことを抑えることができる。さらに、新たに取得される復号用画像Ｐｄｅｃの復号は、第２のＡＲ画像の表示が抑制されているときには無駄な処理であるため、その復号を禁止することによって、消費電力を抑えることができる。
または、ステップＳ１２２では、受信機２００は、フェイスカメラを備え、そのフェイスカメラによる撮像結果に基づいて、ユーザの顔が近付いていることを検出すると、ＡＲ画像の表示を維持すると判定してもよい。つまり、受信機２００は、撮像表示画像Ｐｐｒｅを表示するときには、さらに、受信機２００に備えられたフェイスカメラによる撮像によって、受信機２００にユーザの顔が近づいている否かを判定する。そして、受信機２００は、顔が近づいていると判定すると、ステップＳ１２１で重畳されているＡＲ画像である第１のＡＲ画像と異なる第２のＡＲ画像の表示を抑制しながら、その第１のＡＲ画像を表示する。
または、ステップＳ１２２では、受信機２００は、加速度センサを備え、その加速度センサによる計測結果に基づいて、ユーザの顔が近付いていることを検出すると、ＡＲ画像の表示を維持すると判定してもよい。つまり、受信機２００は、撮像表示画像Ｐｐｒｅを表示するときには、さらに、加速度センサによって計測される受信機２００の加速度によって、受信機２００にユーザの顔が近づいている否かを判定する。例えば、加速度センサによって計測される受信機２００の加速度が、受信機２００のディスプレイ２０１に対して垂直外向きの方向に正の値を示す場合に、受信機２００はユーザの顔が近付いていると判定する。そして、受信機２００は、顔が近づいていると判定すると、ステップＳ１２１で重畳されているＡＲ画像である第１の拡張現実画像と異なる第２のＡＲ画像の表示を抑制しながら、その第１のＡＲ画像を表示する。
これにより、ユーザが第１のＡＲ画像を見ようとして受信機２００に顔を近づけているときに、その第１のＡＲ画像がそれとは異なる第２のＡＲ画像に置き換わってしまうことを抑えることができる。
または、ステップＳ１２２では、受信機２００は、その受信機２００に備えられているロックボタンが押下されると、ＡＲ画像の表示を維持すると判定してもよい。
また、ステップＳ１２２では、受信機２００は、上述の一定期間（すなわち表示期間）が経過すると、ＡＲ画像の表示を維持しないと判定する。また、受信機２００は、上述の一定期間が経過していない場合であっても、加速度センサによって閾値以上の加速度が計測されたときには、ＡＲ画像の表示を維持しないと判定する。つまり、受信機２００は、撮像表示画像Ｐｐｒｅを表示するときには、さらに、上述の表示期間において、受信機２００の加速度を加速度センサによって計測し、計測された加速度が閾値以上か否かを判定する。そして、受信機２００は、閾値以上と判定したときには、第２のＡＲ画像の表示の抑制を解除することによって、ステップＳ１２３において、第１のＡＲ画像の代わりに第２のＡＲ画像を表示する。
これにより、閾値以上の表示装置の加速度が計測されたときに、第２のＡＲ画像の表示の抑制が解除される。したがって、例えば、ユーザが他の被写体にイメージセンサを向けようとして受信機２００を大きく動かしたときには、第２のＡＲ画像を直ぐに表示することができる。
図５７は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
送信機１００は、例えば図５７に示すように、照明装置として構成され、小さい人形用のステージ１１１を照らしながら輝度変化することによって、光ＩＤを送信している。ステージ１１１は、その送信機１００からの光によって照らされているため、送信機１００と同様に輝度変化し、光ＩＤを送信している。
２つの受信機２００は、送信機１００によって照らされたステージ１１１を左右から撮像する。
２つの受信機２００のうちの左側の受信機２００は、送信機１００によって照らされたステージ１１１を左側から撮像することによって、上述と同様に、撮像表示画像Ｐｆと復号用画像とを取得する。左側の受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、左側の受信機２００は、ステージ１１１から光ＩＤを受信する。左側の受信機２００は、その光ＩＤをサーバに送信する。そして、左側の受信機２００は、その光ＩＤに対応する三次元のＡＲ画像と認識情報とをサーバから取得する。この三次元のＡＲ画像は、例えば人形を立体的に表示するための画像である。左側の受信機２００は、撮像表示画像Ｐｆのうち、その認識情報に応じた領域を対象領域として認識する。例えば、左側の受信機２００は、ステージ１１１中央の上側の領域を対象領域として認識する。
次に、左側の受信機２００は、撮像表示画像Ｐｆに映し出されているステージ１１１の向きに基づいて、その向きに応じた二次元のＡＲ画像Ｐ６ａを三次元のＡＲ画像から生成する。そして、左側の受信機２００は、その対象領域に二次元のＡＲ画像Ｐ６ａを重畳し、ＡＲ画像Ｐ６ａが重畳された撮像表示画像Ｐｆをディスプレイ２０１に表示する。この場合、撮像表示画像Ｐｆの対象領域にその二次元のＡＲ画像Ｐ６ａが重畳されるため、左側の受信機２００は、ステージ１１１上に人形が現実に存在するように、撮像表示画像Ｐｆを表示することができる。
同様に、２つの受信機２００のうちの右側の受信機２００は、送信機１００によって照らされたステージ１１１を右側から撮像することによって、上述と同様に、撮像表示画像Ｐｇと復号用画像とを取得する。右側の受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、右側の受信機２００は、ステージ１１１から光ＩＤを受信する。右側の受信機２００は、その光ＩＤをサーバに送信する。そして、右側の受信機２００は、その光ＩＤに対応する三次元のＡＲ画像と認識情報とをサーバから取得する。右側の受信機２００は、撮像表示画像Ｐｇのうち、その認識情報に応じた領域を対象領域として認識する。例えば、右側の受信機２００は、ステージ１１１中央の上側の領域を対象領域として認識する。
次に、右側の受信機２００は、撮像表示画像Ｐｇに映し出されているステージ１１１の向きに基づいて、その向きに応じた二次元のＡＲ画像Ｐ６ｂを三次元のＡＲ画像から生成する。そして、右側の受信機２００は、その対象領域に二次元のＡＲ画像Ｐ６ｂを重畳し、ＡＲ画像Ｐ６ｂが重畳された撮像表示画像Ｐｇをディスプレイ２０１に表示する。この場合、撮像表示画像Ｐｇの対象領域にその二次元のＡＲ画像Ｐ６ｂが重畳されるため、右側の受信機２００は、ステージ１１１上に人形が現実に存在するように、撮像表示画像Ｐｇを表示することができる。
このように、２つの受信機２００は、ステージ１１１上の同じ位置に、ＡＲ画像Ｐ６ａおよびＰ６ｂを表示する。また、これらのＡＲ画像Ｐ６ａおよびＰ６ｂは、仮想的な人形が実際に所定の方向を向いているように、受信機２００の向きに応じて生成されている。したがって、ステージ１１１のどの方向から撮像しても、ステージ１１１上に人形が現実に存在するように、撮像表示画像を表示することができる。
なお、上述の例では、受信機２００は、三次元のＡＲ画像から、受信機２００とステージ１１１との間の位置関係に応じた二次元のＡＲ画像を生成したが、その二次元のＡＲ画像をサーバから取得してもよい。つまり、受信機２００は、光ＩＤと共に、その位置関係を示す情報をサーバに送信し、三次元のＡＲ画像の代わりに、その二次元のＡＲ画像をサーバから取得する。これにより、受信機２００の負担を軽減することができる。
図５８は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
送信機１００は、例えば図５８に示すように、照明装置として構成され、円柱状の構造物１１２を照らしながら輝度変化することによって、光ＩＤを送信している。構造物１１２は、その送信機１００からの光によって照らされているため、送信機１００と同様に輝度変化し、光ＩＤを送信している。
受信機２００は、送信機１００によって照らされた構造物１１２を撮像することによって、上述と同様に、撮像表示画像Ｐｈと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、構造物１１２から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ７と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｈのうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、構造物１１２の中央部が映し出されている領域を対象領域として認識する。そして、受信機２００は、その対象領域にＡＲ画像Ｐ７を重畳し、ＡＲ画像Ｐ７が重畳された撮像表示画像Ｐｈをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ７は、文字列「ＡＢＣＤ」を含む画像であって、その文字列は構造物１１２の中央部の曲面に合わせて歪んでいる。この場合、撮像表示画像Ｐｈの対象領域にその歪んだ文字列を含むＡＲ画像Ｐ２が重畳されるため、受信機２００は、構造物１１２に対して描かれた文字列が現実に存在するように、撮像表示画像Ｐｈを表示することができる。
図５９は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
送信機１００は、例えば図５９に示すように、飲食店のメニュー１１３を照らしながら輝度変化することによって、光ＩＤを送信している。メニュー１１３は、その送信機１００からの光によって照らされているため、送信機１００と同様に輝度変化し、光ＩＤを送信している。また、メニュー１１３は、例えば「ＡＢＣスープ」、「ＸＹＺサラダ」および「ＫＬＭランチ」などの複数の料理の名称を示す。
受信機２００は、送信機１００によって照らされたメニュー１１３を撮像することによって、上述と同様に、撮像表示画像Ｐｉと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、メニュー１１３から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ８と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｉのうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、メニュー１１３が映し出されている領域を対象領域として認識する。そして、受信機２００は、その対象領域にＡＲ画像Ｐ８を重畳し、ＡＲ画像Ｐ８が重畳された撮像表示画像Ｐｉをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ８は、複数の料理のそれぞれに使われている食材をマークで示す画像である。例えば、ＡＲ画像Ｐ８は、卵が使われている料理「ＸＹＺサラダ」に対しては、卵を模ったマークを示し、豚肉が使われている料理「ＫＬＭランチ」に対しては、豚を模ったマークを示す。この場合、撮像表示画像Ｐｉの対象領域にそのＡＲ画像Ｐ８が重畳されるため、受信機２００は、食材のマークが付されたメニュー１１３が現実に存在するように、撮像表示画像Ｐｉを表示することができる。これにより、メニュー１１３に特別な表示装置を備えることなく、受信機２００のユーザに各料理の食材を簡単に、かつ、分かりやすく知らせることができる。
また、受信機２００は、複数のＡＲ画像を取得して、ユーザによって設定されたユーザ情報に基づいて、それらの複数のＡＲ画像からユーザに適したＡＲ画像を選択し、そのＡＲ画像を重畳してもよい。例えば、ユーザが卵にアレルギー反応を示すことがユーザ情報に示されていれば、受信機２００は、卵が使われた料理に対して卵のマークが付されたＡＲ画像を選択する。また、豚肉の摂取が禁止されていることがユーザ情報に示されていれば、受信機２００は、豚肉が使われた料理に対して豚のマークが付されたＡＲ画像を選択する。または、受信機２００は、光ＩＤと共に、そのユーザ情報をサーバに送信し、その光ＩＤとユーザ情報に応じたＡＲ画像をサーバから取得してもよい。これにより、ユーザごとに、そのユーザに対して喚起を促すメニューを表示することができる。
図６０は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
送信機１００は、例えば図６０に示すように、テレビとして構成され、ディスプレイに映像を表示しながら輝度変化することによって、光ＩＤを送信している。また、送信機１００の近傍には、通常のテレビ１１４が配置されている。テレビ１１４は、ディスプレイに映像を表示しているが、光ＩＤを送信していない。
受信機２００は、例えば送信機１００とともにテレビ１１４を撮像することによって、上述と同様に、撮像表示画像Ｐｊと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、送信機１００から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ９と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｊのうち、その認識情報に応じた領域を対象領域として認識する。
例えば、受信機２００は、復号用画像の輝線パターン領域を利用することによって、撮像表示画像Ｐｊにおいて、光ＩＤを送信している送信機１００が映し出されている領域の下部を第１の対象領域として認識する。なお、このとき、認識情報に含まれる基準情報は、撮像表示画像Ｐｊにおける基準領域の位置が、復号用画像における輝線パターン領域の位置と同じであることを示す。さらに、認識情報に含まれる対象情報は、その基準領域の下部に対象領域があることを示す。受信機２００は、このような認識情報を用いて上述の第１の対象領域を認識している。
さらに、受信機２００は、撮像表示画像Ｐｊの下部において予め位置が固定されている領域を第２の対象領域として認識する。第２の対象領域は、第１の対象領域よりも大きい。なお、認識情報に含まれる対象情報は、さらに、第１の対象領域の位置だけでなく、上述のような第２の対象領域の位置およびサイズも示している。受信機２００は、このような認識情報を用いて上述の第２の対象領域を認識している。
そして、受信機２００は、その第１の対象領域および第２の対象領域にＡＲ画像Ｐ９を重畳し、ＡＲ画像Ｐ８が重畳された撮像表示画像Ｐｊをディスプレイ２０１に表示する。このＡＲ画像Ｐ９の重畳では、受信機２００は、そのＡＲ画像Ｐ９のサイズを第１の対象領域のサイズに合わせ、サイズ調整されたＡＲ画像Ｐ９をその第１の対象領域に重畳する。さらに、受信機２００は、ＡＲ画像Ｐ９のサイズを第２の対象領域のサイズに合わせ、サイズ調整されたＡＲ画像Ｐ９をその第２の対象領域に重畳する。
例えば、ＡＲ画像Ｐ９は、送信機１００の映像に対する字幕を示す。また、ＡＲ画像Ｐ９の字幕の言語は、受信機２００に設定登録されているユーザ情報に応じた言語である。つまり、受信機２００は、光ＩＤをサーバに送信するときに、そのユーザ情報（例えば、ユーザの国籍または使用言語などを示す情報）もサーバに送信する。そして、受信機２００は、そのユーザ情報に応じた言語の字幕を示すＡＲ画像Ｐ９を取得する。または、受信機２００は、それぞれ異なる言語の字幕を示す複数のＡＲ画像Ｐ９を取得し、設定登録されているユーザ情報に応じて、それらの複数のＡＲ画像Ｐ９から、重畳に使用されるＡＲ画像Ｐ９を選択してもよい。
言い換えれば、図６０に示す例では、受信機２００は、それぞれ画像を表示している複数のディスプレイを被写体として撮像することによって、撮像表示画像Ｐｊおよび復号用画像を取得する。そして、受信機２００は、対象領域を認識するときには、撮像表示画像Ｐｊのうち、複数のディスプレイのうちの光ＩＤを送信しているディスプレイである送信ディスプレイ（すなわち送信機１００）が現れている領域を対象領域として認識する。次に、受信機２００は、送信ディスプレイに表示されている画像に対応する第１の字幕をＡＲ画像としてその対象領域に重畳する。さらに、受信機２００は、撮像表示画像Ｐｊのうちの対象領域よりも大きい領域に、第１の字幕が拡大された字幕である第２の字幕を重畳する。
これにより、受信機２００は、送信機１００の映像に字幕が現実に存在するように、撮像表示画像Ｐｊを表示することができる。さらに、受信機２００は、撮像表示画像Ｐｊの下部にも、大きな字幕を重畳するため、送信機１００の映像に付されている字幕が小さくても、字幕を見やすくすることができる。なお、送信機１００の映像に付される字幕がなく、撮像表示画像Ｐｊの下部に大きな字幕だけが重畳される場合には、その重畳されている字幕が送信機１００の映像に対する字幕か、テレビ１１４の映像に対する字幕かを判断することが困難である。しかし、本実施の形態では、光ＩＤを送信する送信機１００の映像に対しても字幕が付されるため、ユーザは、重畳されている字幕が何れの映像に対する字幕かを容易に判断することができる。
また、受信機２００は、撮像表示画像Ｐｊの表示では、さらに、サーバから取得される情報に、音声情報が含まれているか否かを判定してもよい。そして、受信機２００は、音声情報が含まれていると判定したときには、第１および第２の字幕よりも、音声情報が示す音声を優先して出力する。これにより、音声が優先的に出力されるため、ユーザが字幕を読む負担を軽減することができる。
また、上述の例では、ユーザ情報（すなわちユーザの属性）に応じて字幕の言語を異ならせたが、送信機１００に表示されている映像（すなわちコンテンツ）そのものを異ならせてもよい。例えば、送信機１００に表示されている映像がニュースの映像である場合において、ユーザが日本人であることがユーザ情報に示されていれば、受信機２００は、日本で放送されているニュース映像をＡＲ画像として取得する。そして、受信機２００は、そのニュース映像を、送信機１００のディスプレイが映し出されている領域（すなわち対象領域）に重畳する。一方、ユーザが米国人であることがユーザ情報に示されていれば、受信機２００は、米国で放送されているニュース映像をＡＲ画像として取得する。そして、受信機２００は、そのニュース映像を、送信機１００のディスプレイが映し出されている領域（すなわち対象領域）に重畳する。これにより、ユーザに適した映像を表示することができる。なお、ユーザ情報には、ユーザの属性として、例えば、国籍または使用言語などが示され、受信機２００はその属性に基づいて上述のＡＲ画像を取得する。
図６１は、本実施の形態における認識情報の一例を示す図である。
認識情報が例えば上述のような特徴点および特徴量などであっても、誤認識が生じる可能性がある。例えば、送信機１００ａおよび１００ｂは、それぞれ送信機１００と同様に駅名標として構成されている。これらの送信機１００ａおよび１００ｂは、互に異なる駅名標であっても、互に近い位置にあれば、類似しているために誤認識される可能性がある。
そこで、送信機１００ａおよび１００ｂのそれぞれの認識情報は、送信機１００ａまたは１００ｂの画像全体の各特徴点および各特徴量を示すことなく、その画像のうちの特徴的な一部分のみの各特徴点および各特徴量を示してもよい。
例えば、送信機１００ａの部分ａ１と、送信機１００ｂの部分ｂ１とは互に大きく異なり、送信機１００ａの部分ａ２と、送信機１００ｂの部分ｂ２とは互に大きく異なる。そこで、サーバは、送信機１００ａおよび１００ｂが予め定められた範囲内（すなわち近距離）に設置されていれば、送信機１００ａに対応する認識情報として、部分ａ１および部分ａ２のそれぞれの画像の特徴点および特徴量を保持する。同様に、サーバは、送信機１００ｂに対応する識別情報として、部分ｂ１および部分ｂ２のそれぞれの画像の特徴点および特徴量を保持する。
これにより、受信機２００は、互に類似する送信機１００ａおよび１００ｂが互に近くにある場合（上述の予め定められた範囲内にある場合）であっても、それらの識別情報を用いて適切に対象領域を認識することができる。
図６２は、本実施の形態における受信機２００の処理動作の他の例を示すフローチャートである。
受信機２００は、まず、受信機２００に設定登録されているユーザ情報に基づいて、ユーザに視覚障害があるか否かを判定する（ステップＳ１３１）。ここで、受信機２００は、視覚障害があると判定すると（ステップＳ１３１のＹ）、重畳して表示されるＡＲ画像の文字を音声で出力する（ステップＳ１３２）。一方、受信機２００は、視覚障害がないと判定すると（ステップＳ１３１のＮ）、さらに、ユーザ情報に基づいて、ユーザに聴覚障害があるか否かを判定する（ステップＳ１３３）。ここで、受信機２００は、聴覚障害があると判定すると（ステップＳ１３３のＹ）、音声出力を停止する（ステップＳ１３４）。このとき、受信機２００は、全ての機能による音声の出力を停止する。
なお、受信機２００は、ステップＳ１３１において視覚障害があると判定したときに（ステップＳ１３１のＹ）、ステップＳ１３３の処理を行ってもよい。つまり、受信機２００は、視覚障害があり、かつ、聴覚障害がないと判定したときに、重畳して表示されるＡＲ画像の文字を音声で出力してもよい。
図６３は、本実施の形態における受信機２００が輝線パターン領域を識別する一例を示す図である。
受信機２００は、まず、それぞれ光ＩＤを送信する２つの送信機を撮像することによって復号用画像を取得し、その復号用画像に対する復号によって、図６３の（ｅ）に示すように、光ＩＤを取得する。このとき、復号用画像には２つの輝線パターン領域ＸおよびＹが含まれているため、受信機２００は、輝線パターン領域Ｘに対応する送信機の光ＩＤと、輝線パターン領域Ｙに対応する送信機の光ＩＤとを取得する。輝線パターン領域Ｘに対応する送信機の光ＩＤは、例えば、アドレス０〜９のそれぞれに対応する数値（すなわちデータ）からなり、「５，２，８，４，３，６，１，９，４，３」を示す。輝線パターン領域Ｘに対応する送信機の光ＩＤも同様に、例えば、アドレス０〜９のそれぞれに対応する数値からなり、「５，２，７，７，１，５，３，２，７，４」を示す。
受信機２００は、これらの光ＩＤを一度取得しても、すなわちこれらの光ＩＤが既知であっても、撮像しているときに、それぞれの光ＩＤがどちらの輝線パターン領域から得られたのか分からない状況になることがある。このような場合、受信機２００は、図６３の（ａ）〜（ｄ）に示す処理を行うことによって、それぞれの既知の光ＩＤがどちらの輝線パターン領域から得られたのかを容易に、かつ、迅速に判定することができる。
具体的には、受信機２００は、まず、図６３の（ａ）に示すように、復号用画像Ｐｄｅｃ１１を取得して、その復号用画像Ｐｄｅｃ１１に対する復号によって、輝線パターン領域ＸおよびＹのそれぞれの光ＩＤのアドレス０の数値を取得する。例えば、輝線パターン領域Ｘの光ＩＤのアドレス０の数値は「５」であり、輝線パターン領域Ｙの光ＩＤのアドレス０の数値も「５」である。それぞれの光ＩＤのアドレス０の数値が「５」であるため、このときには、既知の光ＩＤがどちらの輝線パターン領域から得られたのかを判定することができない。
そこで、受信機２００は、図６３の（ｂ）に示すように、復号用画像Ｐｄｅｃ１２を取得して、その復号用画像Ｐｄｅｃ１２に対する復号によって、輝線パターン領域ＸおよびＹのそれぞれの光ＩＤのアドレス１の数値を取得する。例えば、輝線パターン領域Ｘの光ＩＤのアドレス１の数値は「２」であり、輝線パターン領域Ｙの光ＩＤのアドレス１の数値も「２」である。それぞれの光ＩＤのアドレス１の数値が「２」であるため、このときにも、既知の光ＩＤがどちらの輝線パターン領域から得られたのかを判定することができない。
そこで、さらに、受信機２００は、図６３の（ｃ）に示すように、復号用画像Ｐｄｅｃ１３を取得して、その復号用画像Ｐｄｅｃ１３に対する復号によって、輝線パターン領域ＸおよびＹのそれぞれの光ＩＤのアドレス２の数値を取得する。例えば、輝線パターン領域Ｘの光ＩＤのアドレス２の数値は「８」であり、輝線パターン領域Ｙの光ＩＤのアドレス２の数値は「７」である。このときには、既知の光ＩＤ「５，２，８，４，３，６，１，９，４，３」が輝線パターン領域Ｘから得られたと判定することができ、既知の光ＩＤ「５，２，７，７，１，５，３，２，７，４」が輝線パターン領域Ｙから得られたと判定することができる。
しかし、受信機２００は、信頼度を高めるために、さらに、図６３の（ｄ）に示すように、それぞれの光ＩＤのアドレス３の数値を取得してもよい。つまり、受信機２００は、復号用画像Ｐｄｅｃ１４を取得して、その復号用画像Ｐｄｅｃ１４に対する復号によって、輝線パターン領域ＸおよびＹのそれぞれの光ＩＤのアドレス３の数値を取得する。例えば、輝線パターン領域Ｘの光ＩＤのアドレス３の数値は「４」であり、輝線パターン領域Ｙの光ＩＤのアドレス３の数値は「７」である。このときには、既知の光ＩＤ「５，２，８，４，３，６，１，９，４，３」が輝線パターン領域Ｘから得られたと判定することができ、既知の光ＩＤ「５，２，７，７，１，５，３，２，７，４」が輝線パターン領域Ｙから得られたと判定することができる。つまり、アドレス２だけでなくアドレス３によっても、輝線パターン領域ＸおよびＹの光ＩＤを識別することができるため、信頼度を高めることができる。
このように、本実施の形態では、光ＩＤの全てのアドレスの数値（すなわちデータ）を改めて取得することなく、少なくとも１つのアドレスの数値を取得し直す。これによって、既知の光ＩＤがどちらの輝線パターン領域から得られたのかを容易に、かつ、迅速に判定することができる。
なお、上述の図６３の（ｃ）および（ｄ）に示す例では、所定のアドレスに対して取得された数値が、既知の光ＩＤの数値と一致しているが、一致していなくてもよい。例えば、図６３の（ｄ）に示す例において、受信機２００は、輝線パターン領域Ｙの光ＩＤのアドレス３の数値として「６」を取得する。このアドレス３の数値「６」は、既知の光ＩＤ「５，２，７，７，１，５，３，２，７，４」のアドレス３の数値「７」とは異なる。しかし、数値「６」は数値「７」に近い数値であるため、受信機２００は、既知の光ＩＤ「５，２，７，７，１，５，３，２，７，４」が輝線パターン領域Ｙから得られたと判定してもよい。なお、受信機は、数値「６」が数値「７」±ｎ（ｎは例えば１以上の数）の範囲内にあるか否かによって、数値「６」が数値「７」に近い数値であるか否かを判定してもよい。
図６４は、本実施の形態における受信機２００の他の例を示す図である。
受信機２００は、上述の例ではスマートフォンとして構成されているが、イメージセンサを備えたヘッドマウントディスプレイ（グラスともいう）として構成されていてもよい。
このような受信機２００は、上述のようなＡＲ画像の表示のための処理回路（以下、ＡＲ処理回路という）を常に起動しておくと消費電力が多くなるため、予め定められた信号を検出したときに、そのＡＲ処理回路を起動してもよい。
例えば、受信機２００は、タッチセンサ２０２を備えている。タッチセンサ２０２は、ユーザの指などに触れると、タッチ信号を出力する。受信機２００は、そのタッチ信号を検出したときに、ＡＲ処理回路を起動する。
または、受信機２００は、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ−Ｆｉ（登録商標）などの電波信号を検出したときに、ＡＲ処理回路を起動してもよい。
または、受信機２００は、加速度センサを備え、その加速度センサによって重力の向きと反対の向きへの閾値以上の加速度が計測されたときに、ＡＲ処理回路を起動してもよい。つまり、受信機２００は、上記加速度を示す信号を検出したときに、ＡＲ処理回路を起動する。例えば、ユーザが、グラスとして構成されている受信機２００の鼻あて部分を下から指先で上向きに突きあげると、受信機２００は上記加速度を示す信号を検出して、ＡＲ処理回路を起動する。
または、受信機２００は、ＧＰＳおよび９軸センサなどによって、イメージセンサが送信機１００に向けられたことを検知したときに、ＡＲ処理回路を起動してもよい。つまり、受信機２００は、受信機２００が所定の向きに向けられたことを示す信号を検出したときに、ＡＲ処理回路を起動する。この場合、送信機１００が上述の日本語の駅名標などであれば、受信機２００は、英語の駅名を示すＡＲ画像をその駅名標に重畳して表示する。
図６５は、本実施の形態における受信機２００の処理動作の他の例を示すフローチャートである。
受信機２００は、送信機１００から光ＩＤを取得すると（ステップＳ１４１）、その光ＩＤに応じたモード指定情報を受信することによって、ノイズキャンセルのモードを切り替える（ステップＳ１４２）。そして、受信機２００は、そのモードの切り替え処理を終了すべきか否かを判定し（ステップＳ１４３）、終了すべきでないと判定すると（ステップＳ１４３のＮ）ステップＳ１４１からの処理を繰り返し実行する。ノイズキャンセルのモードの切り替えは、例えば、飛行機内におけるエンジンなどの騒音を消去するモード（ＯＮ）と、その騒音の消去を行わないモード（ＯＦＦ）である。具体的には、受信機２００を携帯するユーザは、その受信機２００に接続されるイヤホンを耳にあてて、その受信機２００から出力される音楽などの音声を聞いている。このようなユーザが飛行機に搭乗すると、受信機２００は光ＩＤを取得する。その結果、受信機２００は、ノイズキャンセルのモードをＯＦＦからＯＮに切り替える。これにより、ユーザは、機内であっても、エンジンの騒音などのノイズが含まれない音声を聞くことができる。また、ユーザが飛行機から出るときにも、受信機２００は光ＩＤを取得する。この光ＩＤを取得した受信機２００は、ノイズキャンセルのモードをＯＮからＯＦＦに切り替える。なお、ノイズキャンセルの対象となるノイズは、エンジンの騒音だけでなく、人の声など、どのような音であってもよい。
図６６は、本実施の形態における複数の送信機を含む送信システムの一例を示す図である。
この送信システムは、予め定められた順に配列された複数の送信機１２０を備えている。これらの送信機１２０は、送信機１００と同様、上記実施の形態１〜３のうちの何れかの実施の形態における送信機であって、１つまたは複数の発光素子（例えばＬＥＤ）を備える。先頭の送信機１２０は、予め定められた周波数（キャリア周波数）にしたがって１つまたは複数の発光素子の輝度を変化させることによって、光ＩＤを送信する。さらに、先頭の送信機１２０は、その輝度の変化を示す信号を同期信号として後続の送信機１２０に出力する。後続の送信機１２０は、その同期信号を受けると、その同期信号にしたがって１つまたは複数の発光素子の輝度を変化させることによって、光ＩＤを送信する。さらに、後続の送信機１２０は、その輝度の変化を示す信号を同期信号として次の後続の送信機１２０に出力する。これにより、送信システムに含まれる全ての送信機１２０は、同期して光ＩＤを送信する。
ここで、同期信号は、先頭の送信機１２０から後続の送信機１２０に受け渡され、後続の送信機１２０からさらに次の後続の送信機１２０に受け渡されて、最後の送信機１２０にまで届く。同期信号の受け渡しには例えば約１μ秒かかる。したがって、送信システムに、Ｎ（Ｎは２以上の整数）台の送信機１２０が備えられていれば、同期信号が先頭の送信機１２０から最後の送信機１２０に届くまで１×Ｎμ秒かかることになる。その結果、光ＩＤの送信のタイミングが最大Ｎμ秒ずれることになる。例えば、Ｎ台の送信機１２０が９．６ｋＨｚの周波数にしたがって光ＩＤを送信し、受信機２００が９．６ｋＨｚの周波数で光ＩＤを受信しようとしても、受信機２００は、Ｎμ秒ずれた光ＩＤを受信するため、その光ＩＤを正しく受信することができない場合がある。
そこで、本実施の形態では、先頭の送信機１２０は、送信システムに含まれる送信機１２０の台数に応じて速めに光ＩＤを送信する。例えば、先頭の送信機１２０は、９．６０５ｋＨｚの周波数にしたがって光ＩＤを送信する。一方、受信機２００は、９．６ｋＨｚの周波数で光ＩＤを受信する。このとき、受信機２００はＮμ秒ずれた光ＩＤを受信しても、先頭の送信機１２０の周波数が受信機２００の周波数よりも０．００５ｋＨｚだけ高いため、その光ＩＤのずれによる受信エラーの発生を抑えることができる。
また、先頭の送信機１２０は、最後の送信機１２０から同期信号をフィードバックしてもらうことによって、周波数の調整量を制御してもよい。例えば、先頭の送信機１２０は、自ら同期信号を出力してから、最後の送信機１２０からフィードバックされた同期信号を受け取るまでの時間を計測する。そして、先頭の送信機１２０は、その時間が長いほど、基準の周波数（例えば、９．６ｋＨｚ）よりも高い周波数にしたがって光ＩＤを送信する。
図６７は、本実施の形態における複数の送信機および受信機を含む送信システムの一例を示す図である。
この送信システムは、例えば２つの送信機１２０と受信機２００とを備えている。２つの送信機１２０のうちの一方の送信機１２０は、９．５９９ｋＨｚの周波数にしたがって光ＩＤを送信する。他方の送信機１２０は、９．６０１ｋＨｚの周波数にしたがって光ＩＤを送信する。このような場合、２つの送信機１２０はそれぞれ、自らの光ＩＤの周波数を電波信号で受信機２００に通知する。
受信機２００は、それらの周波数の通知を受けると、通知された周波数のそれぞれにしたがった復号を試みる。つまり、受信機２００は、９．５９９ｋＨｚの周波数にしたがって、復号用画像に対する復号を試み、これにより光ＩＤが受信できなければ、９．６０１ｋＨｚの周波数にしたがって、復号用画像に対する復号を試みる。このように、受信機２００は、通知された全ての周波数のそれぞれにしたがって、復号用画像に対する復号を試みる。言い換えれば、受信機２００は、通知されたそれぞれの周波数に対して総当たりを行う。または、受信機２００は、通知された全ての周波数の平均周波数にしたがった復号を試みてもよい。つまり、受信機２００は、９．５９９ｋＨｚと９．６０１ｋＨｚとの平均周波数である９．６ｋＨｚにしたがった復号を試みる。
これにより、受信機２００と送信機１２０とのそれぞれの周波数の違いによる受信エラーの発生率を低下させることができる。
図６８Ａは、本実施の形態における受信機２００の処理動作の一例を示すフローチャートである。
受信機２００は、まず、撮像を開始して（ステップＳ１５１）、パラメータＮを１に初期化する（ステップＳ１５２）。次に、受信機２００は、その撮像によって得られた復号用画像を、パラメータＮに対応する周波数にしたがって復号し、その復号結果に対する評価値を算出する（ステップＳ１５３）。例えば、パラメータＮ＝１、２、３、４、５のそれぞれには、９．６ｋＨｚ、９．６０１ｋＨｚ、９．５９９ｋＨｚ、９．６０２ｋＨｚなどの周波数が予め対応付けられている。評価値は、復号結果が正しい光ＩＤに類似しているほど高い数値を示す。
次に、受信機２００は、パラメータＮの数値が、予め定められた１以上の整数であるＮｍａｘに等しいか否かを判定する（ステップＳ１５４）。ここで、受信機２００は、Ｎｍａｘに等しくないと判定すると（ステップＳ１５４のＮ）、パラメータＮをインクリメントして（ステップＳ１５５）、ステップＳ１５３からの処理を繰り返し実行する。一方、受信機２００は、Ｎｍａｘに等しいと判定すると（ステップＳ１５４のＹ）、最大の評価値が算出された周波数を最適周波数として、受信機２００の場所を示す場所情報に対応付けてサーバに登録する。このように登録される最適周波数および場所情報は、登録後、その場所情報に示される場所に移動してきた受信機２００による光ＩＤの受信のために用いられる。また、場所情報は、例えばＧＰＳによって計測される位置を示す情報であってもよく、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）におけるアクセスポイントの識別情報（例えば、ＳＳＩＤ：Ｓｅｒｖｉｃｅ Ｓｅｔ Ｉｄｅｎｔｉｆｉｅｒ）であってもよい。
また、サーバへの登録を行った受信機２００は、その最適周波数による復号によって得られた光ＩＤにしたがって、例えば上述のようなＡＲ画像の表示を行う。
図６８Ｂは、本実施の形態における受信機２００の処理動作の一例を示すフローチャートである。
図６８Ａに示すサーバへの登録が行われた後、受信機２００は、自らが存在する場所を示す場所情報をサーバに送信する（ステップＳ１６１）。次に、受信機２００は、その場所情報に対応付けて登録されている最適周波数をそのサーバから取得する（ステップＳ１６２）。
次に、受信機２００は、撮像を開始し（ステップＳ１６３）、その撮像によって得られた復号用画像を、ステップＳ１６２で取得した最適周波数にしたがって復号する（ステップＳ１６４）。受信機２００は、この復号によって得られた光ＩＤにしたがって、例えば上述のようなＡＲ画像の表示を行う。
このように、サーバへの登録が行われた後では、受信機２００は、図６８Ａに示す処理を実行することなく、最適周波数を取得して光ＩＤを受信することができる。なお、受信機２００は、ステップＳ１６２において最適周波数を取得することができなかったときに、図６８Ａに示す処理を実行することによって最適周波数を取得してもよい。
［実施の形態４のまとめ］
図６９Ａは、本実施の形態における表示方法を示すフローチャートである。
本実施の形態における表示方法は、上述の受信機２００である表示装置が画像を表示する表示方法であって、ステップＳＬ１１〜ＳＬ１６を含む。
ステップＳＬ１１では、イメージセンサが被写体を撮像することによって撮像表示画像および復号用画像を取得する。ステップＳＬ１２では、その復号用画像に対する復号によって光ＩＤを取得する。ステップＳＬ１３では、その光ＩＤをサーバに送信する。ステップＳＬ１４では、その光ＩＤに対応するＡＲ画像と認識情報とをサーバから取得する。ステップＳＬ１５では、撮像表示画像のうち、認識情報に応じた領域を対象領域として認識する。ステップＳＬ１６では、対象領域にＡＲ画像が重畳された撮像表示画像を表示する。
これにより、ＡＲ画像が撮像表示画像に重畳されて表示されるため、ユーザに有益な画像を表示することができる。さらに、処理負荷を抑えて適切な対象領域にＡＲ画像を重畳することができる。
つまり、一般的な拡張現実（すなわちＡＲ）では、予め保存されている膨大な数の認識対象画像と、撮像表示画像とを比較することによって、その撮像表示画像に何れかの認識対象画像が含まれているか否かが判定される。そして、認識対象画像が含まれていると判定されれば、その認識対象画像に対応するＡＲ画像が撮像表示画像に重畳される。このとき、認識対象画像を基準にＡＲ画像の位置合わせが行われる。このように、一般的な拡張現実では、膨大な数の認識対象画像と撮像表示画像とを比較するため、さらに、位置合わせにおいても撮像表示画像における認識対象画像の位置検出が必要となるため、計算量が多く、処理負荷が高いという問題がある。
しかし、本実施の形態にける表示方法では、図４１〜図６８Ｂにも示すように、被写体の撮像によって得られる復号用画像を復号することによって光ＩＤが取得される。つまり、被写体である送信機から送信された光ＩＤが受信される。さらに、この光ＩＤに対応するＡＲ画像と認識情報とがサーバから取得される。したがって、サーバでは、膨大な数の認識対象画像と撮像表示画像とを比較する必要がなく、光ＩＤに予め対応付けられているＡＲ画像を選択して表示装置に送信することができる。これにより、計算量を減らして処理負荷を大幅に抑えることができる。
また、本実施の形態における表示方法では、この光ＩＤに対応する認識情報がサーバから取得される。認識情報は、撮像表示画像においてＡＲ画像が重畳される領域である対象領域を認識するための情報である。この認識情報は、例えば白い四角形が対象領域であることを示す情報であってもよい。この場合には、対象領域を簡単に認識することができ、処理負荷をさらに抑えることができる。つまり、認識情報の内容に応じて、処理負荷をさらに抑えることができる。また、サーバでは、光ＩＤに応じてその認識情報の内容を任意に設定することができるため、処理負荷と認識精度とのバランスを適切に保つことができる。
ここで、認識情報は、撮像表示画像のうちの基準領域を特定するための基準情報であり、対象領域の認識では、その基準情報に基づいて撮像表示画像から基準領域を特定し、撮像表示画像のうち、その基準領域の位置により対象領域を認識してもよい。
または、認識情報は、撮像表示画像のうちの基準領域を特定するための基準情報と、その基準領域に対する対象領域の相対位置を示す対象情報とを含んでいてもよい。この場合、対象領域の認識では、基準情報に基づいて撮像表示画像から基準領域を特定し、撮像表示画像のうち、その基準領域の位置を基準として対象情報により示される相対位置にある領域を、対象領域として認識する。
これにより、図５０および図５１に示すように、撮像表示画像において認識される対象領域の位置の自由度を広げることができる。
また、基準情報は、撮像表示画像における基準領域の位置が、復号用画像における、イメージセンサが有する複数の露光ラインの露光によって現れる複数の輝線のパターンからなる輝線パターン領域の位置と同じであることを示してもよい。
これにより、図５０および図５１に示すように、撮像表示画像における輝線パターン領域に対応する領域を基準にして対象領域を認識することができる。
また、基準情報は、撮像表示画像における基準領域が、撮像表示画像のうちのディスプレイが映し出されている領域であることを示してもよい。
これにより、図４１に示すように、例えば駅名標をディスプレイとすれば、そのディスプレイが映し出されている領域を基準にして対象領域を認識することができる。
また、撮像表示画像の表示では、上述のＡＲ画像である第１のＡＲ画像と異なる第２のＡＲ画像の表示を抑制しながら、予め定められた表示期間だけ、第１のＡＲ画像を表示してもよい。
これにより、図５６に示すように、ユーザが一度表示された第１のＡＲ画像を見ているときに、その第１のＡＲ画像がそれとは異なる第２のＡＲ画像にすぐに置き換わってしまうことを抑えることができる。
また、撮像表示画像の表示では、表示期間には、新たに取得される復号用画像に対する復号を禁止してもよい。
これにより、図５６に示すように、新たに取得される復号用画像の復号は、第２のＡＲ画像の表示が抑制されているときには無駄な処理であるため、その復号を禁止することによって、消費電力を抑えることができる。
また、撮像表示画像の表示では、さらに、表示期間において、表示装置の加速度を加速度センサによって計測し、計測された加速度が閾値以上か否かを判定してもよい。そして、閾値以上と判定したときには、第２のＡＲ画像の表示の抑制を解除することによって、第１のＡＲ画像の代わりに第２のＡＲ画像を表示してもよい。
これにより、図５６に示すように、閾値以上の表示装置の加速度が計測されたときに、第２のＡＲ画像の表示の抑制が解除される。したがって、例えば、ユーザが他の被写体にイメージセンサを向けようと表示装置を大きく動かしたときには、第２のＡＲ画像を直ぐに表示することができる。
また、撮像表示画像の表示では、さらに、表示装置に備えられたフェイスカメラによる撮像によって、表示装置にユーザの顔が近づいている否かを判定してもよい。そして、顔が近づいていると判定すると、第１のＡＲ画像と異なる第２のＡＲ画像の表示を抑制しながら、第１のＡＲ画像を表示してもよい。または、撮像表示画像の表示では、さらに、加速度センサによって計測される表示装置の加速度によって、表示装置にユーザの顔が近づいている否かを判定してもよい。そして、顔が近づいていると判定すると、第１のＡＲ画像と異なる第２のＡＲ画像の表示を抑制しながら、第１のＡＲ画像を表示してもよい。
これにより、図５６に示すように、ユーザが第１のＡＲ画像を見ようとして表示装置に顔を近づけているときに、その第１のＡＲ画像がそれとは異なる第２のＡＲ画像に置き換わってしまうことを抑えることができる。
また、図６０に示すように、撮像表示画像および復号用画像の取得では、それぞれ画像を表示している複数のディスプレイを被写体として撮像することによって、その撮像表示画像および復号用画像を取得してもよい。このとき、対象領域の認識では、撮像表示画像のうち、複数のディスプレイのうちの光ＩＤを送信しているディスプレイである送信ディスプレイが現れている領域を対象領域として認識する。また、撮像表示画像の表示では、送信ディスプレイに表示されている画像に対応する第１の字幕をＡＲ画像として対象領域に重畳し、さらに、撮像表示画像のうちの対象領域よりも大きい領域に、第１の字幕が拡大された字幕である第２の字幕を重畳する。
これにより、送信ディスプレイの画像に第１の字幕が重畳されるため、その第１の字幕が複数のディスプレイのうちの何れのディスプレイの画像に対する字幕であるかを、ユーザに容易に把握させることができる。また、第１の字幕が拡大された字幕である第２の字幕も表示されるため、第１の字幕が小さくて読み難い場合であっても、第２の字幕の表示によって、字幕を読み易くすることができる。
また、撮像表示画像の表示では、さらに、上述のサーバから取得される情報に、音声情報が含まれているか否かを判定し、含まれていると判定したときには、第１および第２の字幕よりも、その音声情報が示す音声を優先して出力してもよい。
これにより、音声が優先的に出力されるため、ユーザが字幕を読む負担を軽減することができる。
図６９Ｂは、本実施の形態における表示装置の構成を示すブロック図である。
本実施の形態における表示装置１０は、画像を表示する表示装置であって、イメージセンサ１１と、復号部１２と、送信部１３と、取得部１４と、認識部１５と、表示部１６とを備える。なお、この表示装置１０は、上述の受信機２００に相当する。
イメージセンサ１１は、被写体を撮像することによって撮像表示画像および復号用画像を取得する。復号部１２は、その復号用画像に対する復号によって光ＩＤを取得する。送信部１３は、その光ＩＤをサーバに送信する。取得部１４は、光ＩＤに対応するＡＲ画像と認識情報とをサーバから取得する。認識部１５は、撮像表示画像のうち、その認識情報に応じた領域を対象領域として認識する。表示部１６は、その対象領域にＡＲ画像が重畳された撮像表示画像を表示する。
これにより、ＡＲ画像が撮像表示画像に重畳されて表示されるため、ユーザに有益な画像を表示することができる。さらに、処理負荷を抑えて適切な対象領域にＡＲ画像を重畳することができる。
なお、本実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、本実施の形態の受信機２００または表示装置１０などを実現するソフトウェアは、図４５、図５２、図５６、図６２、図６５、および図６８Ａ〜図６９Ａに示すフローチャートに含まれる各ステップをコンピュータに実行させるプログラムである。
［実施の形態４の変形例１］
以下、実施の形態４の変形例１、つまり、光ＩＤを用いたＡＲを実現する表示方法の変形例１について説明する。
図７０は、実施の形態４の変形例１における受信機がＡＲ画像を表示する例を示す図である。
受信機２００は、そのイメージセンサによる被写体の撮像によって、上述の通常撮影画像である撮像表示画像Ｐｋと、上述の可視光通信画像または輝線画像である復号用画像とを取得する。
具体的には、受信機２００のイメージセンサは、ロボットとして構成されている送信機１００ｃと、送信機１００ｃの隣にいる人物２１を撮像する。送信機１００ｃは、上記実施の形態１〜３のうちの何れかの実施の形態における送信機であって、１つまたは複数の発光素子（例えばＬＥＤ）１３１を備える。この送信機１００ｃは、その１つまたは複数の発光素子１３１を点滅させることによって輝度変化し、その輝度変化によって光ＩＤ（光識別情報）を送信する。この光ＩＤは、上述の可視光信号である。
受信機２００は、送信機１００ｃおよび人物２１を通常露光時間で撮像することによって、それらが映し出された撮像表示画像Ｐｋを取得する。さらに、受信機２００は、その通常露光時間よりも短い通信用露光時間で送信機１００ｃおよび人物２１を撮像することによって、復号用画像を取得する。
受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、送信機１００ｃから光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ１０と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｋのうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、送信機１００ｃであるロボットが映し出されている領域の右側にある領域を対象領域として認識する。具体的には、受信機２００は、撮像表示画像Ｐｋに映し出されている送信機１００ｃの２つのマーカ１３２ａおよび１３２ｂの間の距離を特定する。そして、受信機２００は、その距離に応じた幅および高さを有する領域を対象領域として認識する。つまり、認識情報は、マーカ１３２ａおよび１３２ｂの形状と、それらのマーカ１３２ａおよび１３２ｂを基準とする対象領域の位置および大きさとを示している。
そして、受信機２００は、その対象領域にＡＲ画像Ｐ１０を重畳し、ＡＲ画像Ｐ１０が重畳された撮像表示画像Ｐｋをディスプレイ２０１に表示する。例えば、受信機２００は、送信機１００ｃとは異なる他のロボットを示すＡＲ画像Ｐ１０を取得する。この場合、撮像表示画像Ｐｋの対象領域にそのＡＲ画像Ｐ１０が重畳されるため、送信機１００ｃの隣に他のロボットが現実に存在するように、撮像表示画像Ｐｋを表示することができる。その結果、人物２１は、他のロボットが実在していなくても、送信機１００ｃと共に他のロボットと一緒に写真に写ることができる。
図７１は、実施の形態４の変形例１における受信機２００がＡＲ画像を表示する他の例を示す図である。
送信機１００は、例えば図７１に示すように、表示パネルを有する画像表示装置として構成され、その表示パネルに静止画像ＰＳを表示しながら輝度変化することによって、光ＩＤを送信している。なお、表示パネルは、例えば液晶ディスプレイまたは有機ＥＬ（electroluminescence）ディスプレイである。
受信機２００は、送信機１００を撮像することによって、上述と同様に、撮像表示画像Ｐｍと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、送信機１００から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ１１と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｍのうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、送信機１００における表示パネルが映し出されている領域を対象領域として認識する。そして、受信機２００は、その対象領域にＡＲ画像Ｐ１１を重畳し、ＡＲ画像Ｐ１１が重畳された撮像表示画像Ｐｍをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ１１は、送信機１００の表示パネルに表示されている静止画像ＰＳと同一または実質的に同一のピクチャを表示順で先頭のピクチャとして有する動画像である。つまり、ＡＲ画像Ｐ１１は、静止画像ＰＳから動きだす動画像である。
この場合、撮像表示画像Ｐｍの対象領域にそのＡＲ画像Ｐ１１が重畳されるため、受信機２００は、動画像を表示する画像表示装置が現実に存在するように、撮像表示画像Ｐｍを表示することができる。
図７２は、実施の形態４の変形例１における受信機２００がＡＲ画像を表示する他の例を示す図である。
送信機１００は、例えば図７２に示すように駅名標として構成され、輝度変化することによって、光ＩＤを送信している。
受信機２００は、図７２の（ａ）に示すように、送信機１００から離れた位置から送信機１００を撮像する。これにより、受信機２００は、上述と同様に、撮像表示画像Ｐｎと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、送信機１００から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ１２〜Ｐ１４と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｎのうち、その認識情報に応じた２つの領域を第１および第２の対象領域として認識する。例えば、受信機２００は、送信機１００の周囲の領域を第１の対象領域として認識する。そして、受信機２００は、その第１の対象領域にＡＲ画像Ｐ１２を重畳し、ＡＲ画像Ｐ１２が重畳された撮像表示画像Ｐｎをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ１２は、受信機２００のユーザに対して送信機１００への接近を促す矢印である。
この場合、撮像表示画像Ｐｎの第１の対象領域にそのＡＲ画像Ｐ１２が重畳されて表示されるため、ユーザは、受信機２００を送信機１００に向けた状態で送信機１００に近づく。このような受信機２００の送信機１００への接近によって、撮像表示画像Ｐｎに映し出されている送信機１００の領域（上述の基準領域に相当）は大きくなる。その領域の大きさが第１の閾値以上になると、受信機２００は、例えば図７２の（ｂ）に示すように、さらに、送信機１００が映し出されている領域である第２の対象領域にＡＲ画像Ｐ１３を重畳する。つまり、受信機２００は、ＡＲ画像Ｐ１２およびＰ１３が重畳された撮像表示画像Ｐｎをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ１３は、ユーザに対して、駅名標に示される駅周辺の概要を知らせるメッセージである。また、ＡＲ画像Ｐ１３は、撮像表示画像Ｐｎに映し出されている送信機１００の領域の大きさと等しい。
また、この場合にも、撮像表示画像Ｐｎの第１の対象領域に矢印であるＡＲ画像Ｐ１２が重畳されて表示されるため、ユーザは、受信機２００を送信機１００に向けた状態で送信機１００に近づく。このような受信機２００の送信機１００への接近によって、撮像表示画像Ｐｎに映し出されている送信機１００の領域（上述の基準領域に相当）はさらに大きくなる。その領域の大きさが第２の閾値以上になると、受信機２００は、例えば図７２の（ｃ）に示すように、第２の対象領域に重畳されているＡＲ画像Ｐ１３をＡＲ画像Ｐ１４に変更する。さらに、受信機２００は、第１の対象領域に重畳されているＡＲ画像Ｐ１２を削除する。
つまり、受信機２００は、ＡＲ画像Ｐ１４が重畳された撮像表示画像Ｐｎをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ１４は、ユーザに対して、駅名標に示される駅周辺の詳細を知らせるメッセージである。また、ＡＲ画像Ｐ１４は、撮像表示画像Ｐｎに映し出されている送信機１００の領域の大きさと等しい。この送信機１００の領域は、受信機２００が送信機１００に近いほど大きい。したがって、ＡＲ画像Ｐ１４は、ＡＲ画像Ｐ１３よりも大きい。
このように、受信機２００は、送信機１００に近づくほど、ＡＲ画像を大きくし、多くの情報を表示する。また、ＡＲ画像Ｐ１２のようなユーザに接近を促す矢印が表示されるため、送信機１００に近づくと多くの情報が表示されることをユーザに容易に把握させることができる。
図７３は、実施の形態４の変形例１における受信機２００がＡＲ画像を表示する他の例を示す図である。
図７２に示す例では、受信機２００は、送信機１００に近づくと多くの情報を表示させるが、送信機１００との間の距離に関わらず、多くの情報を例えば吹き出しの形態で表示してもよい。
具体的には、受信機２００は、図７３に示すように、送信機１００を撮像することにより、上述と同様に、撮像表示画像Ｐｏと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、送信機１００から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ１５と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｏのうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、送信機１００の周囲の領域を対象領域として認識する。そして、受信機２００は、その対象領域にＡＲ画像Ｐ１５を重畳し、ＡＲ画像Ｐ１５が重畳された撮像表示画像Ｐｏをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ１５は、ユーザに対して、駅名標に示される駅周辺の詳細を吹き出しの形態で知らせるメッセージである。
この場合、撮像表示画像Ｐｏの対象領域にそのＡＲ画像Ｐ１５が重畳されるため、受信機２００のユーザは送信機１００に近づかなくても多くの情報を受信機２００に表示させることができる。
図７４は、実施の形態４の変形例１における受信機２００の他の例を示す図である。
受信機２００は、上述の例ではスマートフォンとして構成されているが、図６４に示す例と同様に、イメージセンサを備えたヘッドマウントディスプレイ（グラスともいう）として構成されていてもよい。
このような受信機２００は、復号用画像の一部の復号対象領域に対してのみ復号を行うことによって光ＩＤを取得する。例えば、受信機２００は、図７４の（ａ）に示すように、視線検出カメラ２０３を備えている。視線検出カメラ２０３は、受信機２００であるヘッドマウントディスプレイを装着しているユーザの眼を撮像する。受信機２００は、この視線検出カメラ２０３による撮像によって得られた眼の画像に基づいて、そのユーザの視線を検出する。
受信機２００は、図７４の（ｂ）に示すように、例えば、ユーザの視界のうち、検出された視線が向けられている領域に視線枠２０４が現れるように、その視線枠２０４を表示する。したがって、この視線枠２０４は、ユーザの視線の動きに応じて移動する。受信機２００は、復号用画像のうち、その視線枠２０４内に相当する領域を復号対象領域として扱う。つまり、受信機２００は、復号用画像のうち復号対象領域外に輝線パターン領域があっても、その輝線パターン領域に対する復号を行わず、復号対象領域内の輝線パターン領域に対してのみ復号を行う。これにより、復号用画像に複数の輝線パターン領域が有る場合でも、それらの全ての輝線パターン領域に対する復号を行わないため、処理負荷を軽減することができるとともに、余計なＡＲ画像の表示を抑えることができる。
また、受信機２００は、それぞれ音声を出力するための複数の輝線パターン領域が復号用画像に含まれている場合には、復号対象領域内の輝線パターン領域のみを復号して、その輝線パターン領域に対応する音声のみを出力してもよい。あるいは、受信機２００は、復号用画像に含まれる複数の輝線パターン領域のそれぞれを復号し、復号対象領域内の輝線パターン領域に対応する音声を大きく出力し、復号対象領域外の輝線パターン領域に対応する音声を小さく出力してもよい。また、復号対象領域外に複数の輝線パターン領域がある場合には、受信機２００は、復号対象領域に近い輝線パターン領域ほど、その輝線パターン領域に対応する音声を大きく出力してもよい。
図７５は、実施の形態４の変形例１における受信機２００がＡＲ画像を表示する他の例を示す図である。
送信機１００は、例えば図７５に示すように、表示パネルを有する画像表示装置として構成され、その表示パネルに画像を表示しながら輝度変化することによって、光ＩＤを送信している。
受信機２００は、送信機１００を撮像することによって、上述と同様に、撮像表示画像Ｐｐと復号用画像とを取得する。
このとき、受信機２００は、復号用画像における輝線パターン領域と同じ位置にあってその輝線パターン領域と同じ大きさの領域を、撮像表示画像Ｐｐの中から特定する。そして、受信機２００は、その領域の一端から他端に向けて繰り返し移動する走査線Ｐ１００を表示してもよい。
この走査線Ｐ１００が表示されている間、受信機２００は、復号用画像に対する復号によって光ＩＤを取得し、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｐのうち、その認識情報に応じた領域を対象領域として認識する。
このような対象領域を認識すると、受信機２００は、走査線Ｐ１００の表示を終了し、その対象領域にＡＲ画像を重畳し、そのＡＲ画像が重畳された撮像表示画像Ｐｐをディスプレイ２０１に表示する。
これにより、送信機１００の撮像が行われてからＡＲ画像が表示されるまでの間、移動する走査線Ｐ１００が表示されるため、光ＩＤおよびＡＲ画像の読み取りなどの処理が行われていることをユーザに対して知らせることができる。
図７６は、実施の形態４の変形例１における受信機２００がＡＲ画像を表示する他の例を示す図である。
２つの送信機１００はそれぞれ、例えば図７６に示すように、表示パネルを有する画像表示装置として構成され、その表示パネルに同一の静止画像ＰＳを表示しながら輝度変化することによって、光ＩＤを送信している。ここで、２つの送信機１００はそれぞれ、互いに異なる態様で輝度変化することによって、互いに異なる光ＩＤ（例えば光ＩＤ「０１」および「０２」）を送信している。
受信機２００は、図７１に示す例と同様に、２つの送信機１００を撮像することによって、撮像表示画像Ｐｑと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤ「０１」および「０２」を取得する。つまり、受信機２００は、２つの送信機１００のうちの一方から光ＩＤ「０１」を受信し、他方から光ＩＤ「０２」を受信する。受信機２００は、それらの光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤ「０１」に対応するＡＲ画像Ｐ１６と認識情報とをサーバから取得する。さらに、受信機２００は、光ＩＤ「０２」に対応するＡＲ画像Ｐ１７と認識情報とをサーバから取得する。
受信機２００は、撮像表示画像Ｐｑのうち、それらの認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、２つの送信機１００のそれぞれの表示パネルが映し出されている領域を対象領域として認識する。そして、受信機２００は、光ＩＤ「０１」に対応する対象領域にＡＲ画像Ｐ１６を重畳し、光ＩＤ「０２」に対応する対象領域にＡＲ画像Ｐ１７を重畳する。そして、受信機２００は、ＡＲ画像Ｐ１６およびＰ１７が重畳された撮像表示画像Ｐｑをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ１６は、光ＩＤ「０１」に対応する送信機１００の表示パネルに表示されている静止画像ＰＳと同一または実質的に同一のピクチャを表示順で先頭のピクチャとして有する動画像である。また、ＡＲ画像Ｐ１７は、光ＩＤ「０２」に対応する送信機１００の表示パネルに表示されている静止画像ＰＳと同一または実質的に同一のピクチャを表示順で先頭のピクチャとして有する動画像である。つまり、それぞれ動画像であるＡＲ画像Ｐ１６およびＡＲ画像Ｐ１７の先頭のピクチャは同じである。しかし、ＡＲ画像Ｐ１６およびＡＲ画像Ｐ１７は互いに異なる動画像であって、それぞれの先頭以外のピクチャは異なっている。
したがって、このようなＡＲ画像Ｐ１６およびＡＲ画像Ｐ１７が撮像表示画像Ｐｑに重畳されるため、受信機２００は、同じピクチャから再生される互いに異なる動画像を表示する画像表示装置が現実に存在するように、撮像表示画像Ｐｑを表示することができる。
図７７は、実施の形態４の変形例１における受信機２００の処理動作の一例を示すフローチャートである。この図７７のフローチャートによって示される処理動作は、具体的には、図７１に示す送信機１００が２つある場合に、それらの送信機１００を個別に撮像する受信機２００の処理動作の一例である。
まず、受信機２００は、第１の送信機１００を第１の被写体として撮像することによって第１の光ＩＤを取得する（ステップＳ２０１）。次に、受信機２００は、撮像表示画像の中から、その第１の被写体を認識する（ステップＳ２０２）。つまり、受信機２００は、第１の光ＩＤに対応する第１のＡＲ画像および第１の認識情報をサーバから取得し、その第１の認識情報に基づいて第１の被写体を認識する。そして、受信機２００は、その第１のＡＲ画像である第１の動画像の再生を最初から開始する（ステップＳ２０３）。つまり、受信機２００は、第１の動画像の先頭のピクチャから再生を開始する。
ここで、受信機２００は、第１の被写体が撮像表示画像から外れたか否かを判定する（ステップＳ２０４）。つまり、受信機２００は、撮像表示画像から第１の被写体を認識することができなくなったか否かを判定する。ここで、第１の被写体が撮像表示画像から外れたと判定すると（ステップＳ２０４のＹ）、受信機２００は、第１のＡＲ画像である第１の動画像の再生を中断する（ステップＳ２０５）。
次に、受信機２００は、第１の送信機１００とは異なる第２の送信機１００を第２の被写体として撮像することによって、ステップＳ２０１で取得された第１の光ＩＤとは異なる第２の光ＩＤを取得したか否かを判定する（ステップＳ２０６）。ここで、受信機２００は、第２の光ＩＤを取得したと判定すると（ステップＳ２０６のＹ）、第１の光ＩＤを取得したとき以降のステップＳ２０２〜Ｓ２０３と同様の処理を行う。つまり、受信機２００は、撮像表示画像の中から、第２の被写体を認識する（ステップＳ２０７）。そして、受信機２００は、第２の光ＩＤに対応する第２のＡＲ画像である第２の動画像の再生を最初から開始する（ステップＳ２０８）。つまり、受信機２００は、第２の動画像の先頭のピクチャから再生を開始する。
一方、受信機２００は、ステップＳ２０６において、第２の光ＩＤを取得していないと判定すると（ステップＳ２０６のＮ）、第１の被写体が再び撮像表示画像に入ったか否かを判定する（ステップＳ２０９）。つまり、受信機２００は、撮像表示画像から第１の被写体を再び認識したか否かを判定する。ここで、受信機２００は、第１の被写体が撮像表示画像に入ったと判定すると（ステップＳ２０９のＹ）、さらに、予め定められた時間（すなわち所定時間）が経過したか否かを判定する（ステップＳ２１０）。つまり、受信機２００は、第１の被写体が撮像表示画像から外れてから再び入るまでにおいて、所定時間が経過したか否かを判定する。ここで、所定時間が経過していないと判定すると（ステップＳ２１０のＹ）、受信機２００は、中断された第１の動画像の途中からの再生を開始する（ステップＳ２１１）。なお、この途中からの再生開始時に最初に表示される第１の動画像のピクチャである再生再開先頭ピクチャは、第１の動画像の再生が中断されたときの最後に表示されたピクチャの次の表示順のピクチャであってもよい。あるいは、再生再開先頭ピクチャは、最後に表示されたピクチャからｎ（ｎは１以上の整数）枚だけ表示順で前のピクチャであってもよい。
一方、所定時間が経過したと判定すると（ステップＳ２１０のＮ）、受信機２００は、中断された第１の動画像の最初からの再生を開始する（ステップＳ２１２）。
また、上述の例では、受信機２００は、撮像表示画像の対象領域にＡＲ画像を重畳するが、このときに、ＡＲ画像の明るさを調整してもよい。つまり、受信機２００は、サーバから取得したＡＲ画像の明るさが、撮像表示画像の対象領域の明るさと一致するか否かを判定する。そして、受信機２００は、一致しないと判定すると、ＡＲ画像の明るさを調整することによって、そのＡＲ画像の明るさを対象領域の明るさに一致させる。そして、受信機２００は、明るさが調整されたＡＲ画像を撮像表示画像の対象領域に重畳する。これにより、重畳されるＡＲ画像を、より実在するオブジェクトの画像に近づけることができ、ユーザのＡＲ画像に対する違和感を抑えることができる。なお、ＡＲ画像の明るさは、そのＡＲ画像の空間的な平均の明るさであり、対象領域の明るさも、その対象領域の空間的な平均の明るさである。
また、受信機２００は、図５３に示すように、ＡＲ画像をタップすると、そのＡＲ画像を拡大してディスプレイ２０１の全体に表示してもよい。また、図５３に示す例では、受信機２００は、ＡＲ画像がタップされるそのＡＲ画像を他のＡＲ画像に切り替えるが、タップに関わらずに、自動的にＡＲ画像を切り替えてもよい。例えば、受信機２００は、ＡＲ画像が表示されている時間があらかじめ定められた時間だけ経過すると、そのＡＲ画像を他のＡＲ画像に切り替えて表示する。また、受信機２００は、現在時刻があらかじめ定められた時刻になると、それまで表示されていたＡＲ画像を、他のＡＲ画像に切り替えて表示する。これにより、ユーザは操作を行うことなく、簡単に新たなＡＲ画像を見ることができる。
［実施の形態４の変形例２］
以下、実施の形態４の変形例２、つまり、光ＩＤを用いたＡＲを実現する表示方法の変形例２について説明する。
図７８は、実施の形態４またはその変形例１における受信機２００において想定されるＡＲ画像を表示するときの課題の一例を示す図である。
例えば、実施の形態４またはその変形例１における受信機２００は、時刻ｔ１に、被写体を撮像する。なお、上述の被写体は、輝度変化によって光ＩＤを送信するテレビなどの送信機、または、その送信機からの光によって照らされるポスター、案内板、もしくは看板などである。その結果、受信機２００は、イメージセンサの有効画素領域によって得られる画像の全体（以下、全撮像画像という）を、ディスプレイ２０１に撮像表示画像として表示する。このとき、受信機２００は、その撮像表示画像のうち、光ＩＤに基づいて取得された認識情報に応じた領域を、ＡＲ画像が重畳される対象領域として認識する。対象領域は、例えばテレビなどの送信機の像またはポスターなどの像を示す領域である。そして、受信機２００は、その撮像表示画像の対象領域にＡＲ画像を重畳し、ＡＲ画像が重畳された撮像表示画像をディスプレイ２０１に表示する。なお、ＡＲ画像は、静止画または動画でもよく、１つ以上の文字または記号からなる文字列であってもよい。
ここで、受信機２００のユーザは、ＡＲ画像を大きく表示させるために被写体に近づくと、時刻ｔ２において、イメージセンサにおける対象領域に対応する領域（以下、認識領域という）が有効画素領域からはみ出す。なお、認識領域は、イメージセンサの有効画素領域中、撮像表示画像における対象領域の画像が投影される領域である。つまり、イメージセンサにおける有効画素領域と認識領域はそれぞれ、ディスプレイ２０１における撮像表示画像および対象領域に相当する。
認識領域が有効画素領域からはみ出すことによって、受信機２００は、撮像表示画像から対象領域を認識することできず、ＡＲ画像を表示することができない状態となる。
そこで、本変形例における受信機２００は、ディスプレイ２０１の全体に表示される撮像表示画像よりも画角の広い画像を全撮像画像として取得する。
図７９は、実施の形態４の変形例２における受信機２００がＡＲ画像を表示する例を示す図である。
本変形例に係る受信機２００の全撮像画像の画角、つまりイメージセンサの有効画素領域の画角は、ディスプレイ２０１の全体に表示される撮像表示画像の画角よりも広い。なお、イメージセンサにおいて、ディスプレイ２０１に表示される画像範囲に相当する領域を、以下、表示領域という。
例えば、受信機２００は、時刻ｔ１に、被写体を撮像する。その結果、受信機２００は、イメージセンサの有効画素領域によって得られる全撮像画像のうち、有効画素領域よりも狭い表示領域によって得られる画像のみを、撮像表示画像としてディスプレイ２０１に表示する。このとき、受信機２００は、上述と同様、その全撮像画像のうち、光ＩＤに基づいて取得された認識情報に応じた領域を、ＡＲ画像が重畳される対象領域として認識する。そして、受信機２００は、その撮像表示画像の対象領域にＡＲ画像を重畳し、ＡＲ画像が重畳された撮像表示画像をディスプレイ２０１に表示する。
ここで、受信機２００のユーザは、ＡＲ画像を大きく表示させるために被写体に近づくと、イメージセンサにおける認識領域が拡大する。そして、時刻ｔ２において、その認識領域はイメージセンサにおける表示領域からはみ出す。つまり、ディスプレイ２０１に表示されている撮像表示画像から、対象領域の画像（例えば、ポスターの像など）がはみ出してしまう。しかし、イメージセンサにおける認識領域は、有効画素領域からははみ出していない。つまり、受信機２００は、時刻ｔ２においても、対象領域を含む全撮像画像を取得している。その結果、受信機２００は、全撮像画像から対象領域を認識することでき、対象領域のうち撮像表示画像内にある一部の領域にのみ、その領域に対応するＡＲ画像の一部を重畳してディスプレイ２０１に表示する。
これにより、ユーザがＡＲ画像を大きく表示させるために被写体に近づき、対象領域が撮像表示画像からはみ出しても、ＡＲ画像の表示を継続することができる。
図８０は、実施の形態４の変形例２における受信機２００の処理動作の一例を示すフローチャートである。
受信機２００は、イメージセンサが被写体を撮像することによって全撮像画像および復号用画像を取得する（ステップＳ３０１）。次に、受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する（ステップＳ３０２）。次に、受信機２００は、その光ＩＤをサーバに送信する（ステップＳ３０３）。次に、受信機２００は、その光ＩＤに対応するＡＲ画像と認識情報とをサーバから取得する（ステップＳ３０４）。次に、受信機２００は、全撮像画像のうち、認識情報に応じた領域を対象領域として認識する（ステップＳ３０５）。
ここで、受信機２００は、イメージセンサの有効画素領域中の、その対象領域の画像に対応する領域である認識領域が、表示領域からはみ出しているか否かを判定する（ステップＳ３０６）。ここで、はみ出していると判定すると（ステップＳ３０６のＹｅｓ）、受信機２００は、対象領域のうち、撮像表示画像内にある一部の領域にのみ、その領域に対応するＡＲ画像の一部を表示する（ステップＳ３０７）。一方、受信機２００は、はみ出していないと判定すると（ステップＳ３０６のＮｏ）、受信機２００は、撮像表示画像の対象領域にＡＲ画像を重畳し、そのＡＲ画像が重畳された撮像表示画像を表示する（ステップＳ３０８）。
そして、受信機２００は、ＡＲ画像の表示処理を終了すべきか否かを判定し（ステップＳ３０９）、終了すべきでないと判定すると（ステップＳ３０９のＮｏ）、ステップＳ３０５からの処理を繰り返し実行する。
図８１は、実施の形態４の変形例２における受信機２００がＡＲ画像を表示する他の例を示す図である。
受信機２００は、上述の表示領域に対する認識領域の大きさの比率によってＡＲ画像の画面表示を切り替えてもよい。
イメージセンサの表示領域の水平方向の幅をｗ１、垂直方向の幅をｈ１とし、認識領域の水平方向の幅をｗ２、垂直方向の幅をｈ２とする場合、受信機は、比率（ｈ２／ｈ１）および（ｗ２／ｗ１）のうちの大きい方の比率を閾値と比較する。
例えば、受信機２００は、図８１の（画面表示１）のように、ＡＲ画像が対象領域に重畳された撮像表示画像を表示しているときには、その大きい方の比率を、第１の閾値（例えば、０．９）と比較する。そして、大きい方の比率が０．９以上になったときには、受信機２００は、図８１の（画面表示２）のように、ディスプレイ２０１の全体にＡＲ画像を拡大して表示する。なお、認識領域が表示領域よりも大きくなったとき、さらに、有効画素領域よりも大きくなったときにも、受信機２００は、ディスプレイ２０１の全体にＡＲ画像を拡大して表示し続ける。
また、受信機２００は、例えば、図８１の（画面表示２）のように、ディスプレイ２０１の全体にＡＲ画像を拡大して表示しているときには、その大きい方の比率を、第２の閾値（例えば、０．７）と比較する。第２の閾値は、第１の閾値よりも小さい。そして、大きい方の比率が０．７以下になったときには、受信機２００は、図８１の（画面表示１）のように、ＡＲ画像が対象領域に重畳された撮像表示画像を表示する。
図８２は、実施の形態４の変形例２における受信機２００の処理動作の他の例を示すフローチャートである。
受信機２００は、まず、光ＩＤ処理を行う（ステップＳ３０１ａ）。この光ＩＤ処理は、図８０に示すステップＳ３０１〜Ｓ３０４を含む処理である。次に、受信機２００は、撮像表示画像のうち、認識情報に応じた領域を対象領域として認識する（ステップＳ３１１）。そして、受信機２００は、撮像表示画像の対象領域にＡＲ画像を重畳し、そのＡＲ画像が重畳された撮像表示画像を表示する（ステップＳ３１２）。
次に、受信機２００は、認識領域の比率、すなわち比率（ｈ２／ｈ１）および（ｗ２／ｗ１）のうちの大きい方の比率が第１の閾値Ｋ（例えばＫ＝０．９）以上であるか否かを判定する（ステップＳ３１３）。ここで、第１の閾値Ｋ以上でないと判定すると（ステップＳ３１３のＮｏ）、受信機２００は、ステップＳ３１１からの処理を繰り返し実行する。一方、第１の閾値Ｋ以上であると判定すると（ステップＳ３１３のＹｅｓ）、受信機２００は、ＡＲ画像をディスプレイ２０１の全体に拡大して表示する（ステップＳ３１４）。このとき、受信機２００は、イメージセンサの電源をオンとオフとに周期的に切り換える。イメージセンサの電源を周期的にオフにすることによって、受信機２００の省電力化を図ることができる。
次に、受信機２００は、イメージセンサの電源が周期的にオンにされているときに、認識領域の比率が第２の閾値Ｌ（例えばＬ＝０．７）以下であるか否かを判定する。ここで、第２の閾値Ｌ以下でないと判定すると（ステップＳ３１５のＮｏ）、受信機２００は、ステップＳ３１４からの処理を繰り返し実行する。一方、第２の閾値Ｌ以下であると判定すると（ステップＳ３１５のＹｅｓ）、受信機２００は、撮像表示画像の対象領域にＡＲ画像を重畳し、そのＡＲ画像が重畳された撮像表示画像を表示する（ステップＳ３１６）。
そして、受信機２００は、ＡＲ画像の表示処理を終了すべきか否かを判定し（ステップＳ３１７）、終了すべきでないと判定すると（ステップＳ３１７のＮｏ）、ステップＳ３１３からの処理を繰り返し実行する。
このように、第２の閾値Ｌを第１の閾値Ｋよりも小さい値にしておくことによって、受信機２００の画面表示が（画面表示１）と（画面表示２）とで頻繁に切り替えられることを防ぎ、画面表示の状態を安定化させることができる。
なお、図８１および図８２に示す例では、表示領域と有効画素領域とは同一であってもよく、異なっていてもよい。また、その例では、表示領域に対する認識領域の大きさの比率を用いたが、表示領域と有効画素領域とが異なる場合には、表示領域の代わりに、有効画素領域に対する認識領域の大きさの比率を用いてもよい。
図８３は、実施の形態４の変形例２における受信機２００がＡＲ画像を表示する他の例を示す図である。
図８３に示す例では、図７９に示す例と同様、受信機２００のイメージセンサは、表示領域よりも広い有効画素領域を有する。
例えば、受信機２００は、時刻ｔ１に、被写体を撮像する。その結果、受信機２００は、イメージセンサの有効画素領域によって得られる全撮像画像のうち、有効画素領域よりも狭い表示領域によって得られる画像のみを、撮像表示画像としてディスプレイ２０１に表示する。このとき、受信機２００は、上述と同様、その全撮像画像のうち、光ＩＤに基づいて取得された認識情報に応じた領域を、ＡＲ画像が重畳される対象領域として認識する。そして、受信機２００は、その撮像表示画像の対象領域にＡＲ画像を重畳し、ＡＲ画像が重畳された撮像表示画像をディスプレイ２０１に表示する。
ここで、ユーザは、受信機２００（具体的にはイメージセンサ）の向きを変えると、イメージセンサにおける認識領域が、例えば図８３中左上方向に移動し、時刻ｔ２では、表示領域からはみ出す。つまり、ディスプレイ２０１に表示されている撮像表示画像から、対象領域の画像（例えば、ポスターの像など）がはみ出してしまう。しかし、イメージセンサにおける認識領域は、有効画素領域からははみ出していない。つまり、受信機２００は、時刻ｔ２においても、対象領域を含む全撮像画像を取得している。その結果、受信機２００は、全撮像画像から対象領域を認識することでき、対象領域のうちの撮像表示画像内にある一部の領域にのみ、その領域に対応するＡＲ画像の一部を重畳してディスプレイ２０１に表示する。さらに、受信機２００は、イメージセンサにおける認識領域の動き、すなわち全撮像画像における対象領域の動きに応じて、表示されるＡＲ画像の一部の大きさおよび位置を変更する。
また、上述のように認識領域が表示領域からはみ出したときには、受信機２００は、有効画素領域の縁と、表示領域の縁との間の距離（以下、領域間距離という）に対応するピクセル数を閾値と比較する。
例えば、有効画素領域の上辺と、表示領域の上辺との間と距離と、有効画素領域の下辺と、表示領域の下辺との間と距離とのうち、短い方の距離（以下、第１の距離という）に対応するピクセル数をｄｈとする。また、有効画素領域の左辺と、表示領域の左辺との間と距離と、有効画素領域の右辺と、表示領域の右辺との間と距離とのうち、短い方の距離（以下、第２の距離という）に対応するピクセル数をｄｗとする。このとき、上述の領域間距離は、第１および第２の距離のうちの短い方の距離である。
つまり、受信機２００は、ピクセル数ｄｗ、ｄｈのうちの小さい方のピクセル数を、閾値Ｎと比較する。そして、受信機２００は、例えば時刻ｔ２において、その小さい方のピクセル数が閾値Ｎ以下になれば、そのイメージセンサにおける認識領域の位置に応じてＡＲ画像の一部の大きさおよび位置を変更することなく固定する。すなわち、受信機２００は、ＡＲ画像の画面表示を切り替える。例えば、受信機２００は、表示されるＡＲ画像の一部の大きさおよび位置を、その小さい方のピクセル数が閾値Ｎとなったときにディスプレイ２０１に表示されていたＡＲ画像の一部の大きさおよび位置に固定する。
したがって、時刻ｔ３において、認識領域がさらに移動し、有効画素領域からはみ出すことになっても、受信機２００は、時刻ｔ２と同様にＡＲ画像の一部を表示し続ける。すなわち、受信機２００は、ピクセル数ｄｗ、ｄｈのうちの小さい方のピクセル数が閾値Ｎ以下であるかぎり、時刻ｔ２のときと同様、大きさおよび位置が固定されたＡＲ画像の一部を撮像表示画像に重畳して表示し続ける。
図８３に示す例では、受信機２００は、イメージセンサにおける認識領域の移動に応じて、表示されるＡＲ画像の一部の大きさおよび位置を変更したが、ＡＲ画像全体の表示倍率および位置を変更してもよい。
図８４は、実施の形態４の変形例２における受信機２００がＡＲ画像を表示する他の例を示す図である。具体的には、図８４は、ＡＲ画像の表示倍率が変更される例を示す。
例えば、図８３に示す例と同様、時刻ｔ１の状態から、ユーザは、受信機２００（具体的にはイメージセンサ）の向きを変えると、イメージセンサにおける認識領域が、例えば図８４中左上方向に移動し、時刻ｔ２では、表示領域からはみ出す。つまり、ディスプレイ２０１に表示されている撮像表示画像から、対象領域の画像（例えば、ポスターの像など）がはみ出してしまう。しかし、イメージセンサにおける認識領域は、有効画素領域からははみ出していない。つまり、受信機２００は、時刻ｔ２においても、対象領域を含む全撮像画像を取得している。その結果、受信機２００は、全撮像画像から対象領域を認識することできる。
そこで、図８４に示す例では、受信機２００は、対象領域のうちの撮像表示画像内にある一部の領域のサイズに、ＡＲ画像全体のサイズが一致するように、そのＡＲ画像の表示倍率を変更する。つまり、受信機２００はＡＲ画像を縮小する。そして、受信機２００は、表示倍率が変更された（すなわち縮小された）ＡＲ画像をその領域に重畳してディスプレイ２０１に表示する。さらに、受信機２００は、イメージセンサにおける認識領域の動き、すなわち全撮像画像における対象領域の動きに応じて、表示されるＡＲ画像の表示倍率および位置を変更する。
また、上述のように認識領域が表示領域からはみ出したときには、受信機２００は、ピクセル数ｄｗ、ｄｈのうちの小さい方のピクセル数を、閾値Ｎと比較する。そして、受信機２００は、例えば時刻ｔ２において、その小さい方のピクセル数が閾値Ｎ以下になれば、そのイメージセンサにおける認識領域の位置に応じてＡＲ画像の表示倍率および位置を変更することなく固定する。つまり、受信機２００は、ＡＲ画像の画面表示を切り替える。例えば、受信機２００は、表示されるＡＲ画像の表示倍率および位置を、その小さい方のピクセル数が閾値Ｎとなったときにディスプレイ２０１に表示されていたＡＲ画像の表示倍率および位置に固定する。
したがって、時刻ｔ３において、認識領域がさらに移動し、有効画素領域からはみ出すことになっても、受信機２００は、時刻ｔ２と同様にＡＲ画像を表示し続ける。すなわち、受信機２００は、ピクセル数ｄｗ、ｄｈのうちの小さい方のピクセル数が閾値Ｎ以下であるかぎり、時刻ｔ２のときと同様、表示倍率および位置が固定されたＡＲ画像を撮像表示画像に重畳して表示し続ける。
なお、上述の例では、ピクセル数ｄｗ、ｄｈのうちの小さい方と閾値とを比較したが、その小さい方のピクセル数の比率と閾値とを比較してもよい。そのピクセル数ｄｗの比率は、例えば、有効画素領域の水平方向のピクセル数ｗ０に対するピクセル数ｄｗの比率（ｄｗ／ｗ０）である。同様に、ピクセル数ｄｈの比率は、例えば、有効画素領域の垂直方向のピクセル数ｈ０に対するピクセル数ｄｈの比率（ｄｈ／ｈ０）である。または、有効画素領域の水平方向または垂直方向のピクセル数の代わりに、表示領域の水平方向または垂直方向のピクセル数を用いて、ピクセル数ｄｗ、ｄｈのそれぞれの比率を表してもよい。ピクセル数ｄｗ、ｄｈの比率と比較される閾値は、例えば０．０５である。
また、ピクセル数ｄｗ、ｄｈのうちの小さい方の画角と閾値とを比較してもよい。有効画素領域の対角線のピクセル数がｍであって、その対角線に対応する画角がθ（例えば５５°）である場合、ピクセル数ｄｗに対応する画角は、θ×ｄｗ／ｍであり、ピクセル数ｄｈに対応する画角は、θ×ｄｈ／ｍである。
また、図８３および図８４に示す例では、受信機２００は、有効画素領域と認識領域との間の領域間距離に基づいて、ＡＲ画像の画面表示を切り替えたが、表示領域と認識領域との関係に基づいて、ＡＲ画像の画面表示を切り替えてもよい。
図８５は、実施の形態４の変形例２における受信機２００がＡＲ画像を表示する他の例を示す図である。具体的には、図８５は、表示領域と認識領域との関係に基づいてＡＲ画像の画面表示を切り替える例を示す。また、図８５に示す例では、図７９に示す例と同様、受信機２００のイメージセンサは、表示領域よりも広い有効画素領域を有する。
例えば、受信機２００は、時刻ｔ１に、被写体を撮像する。その結果、受信機２００は、イメージセンサの有効画素領域によって得られる全撮像画像のうち、有効画素領域よりも狭い表示領域によって得られる画像のみを、撮像表示画像としてディスプレイ２０１に表示する。このとき、受信機２００は、上述と同様、その全撮像画像のうち、光ＩＤに基づいて取得された認識情報に応じた領域を、ＡＲ画像が重畳される対象領域として認識する。そして、受信機２００は、その撮像表示画像の対象領域にＡＲ画像を重畳し、ＡＲ画像が重畳された撮像表示画像をディスプレイ２０１に表示する。
ここで、ユーザは、受信機２００の向きを変えると、受信機２００は、イメージセンサにおける認識領域の動きに応じて、表示されるＡＲ画像の位置を変更させる。そして、例えば、イメージセンサにおける認識領域が、例えば図８５中左上方向に移動し、時刻ｔ２では、認識領域の縁の一部と表示領域の縁の一部とが一致する。つまり、ディスプレイ２０１に表示されている撮像表示画像の隅に、対象領域の画像（例えばポスターなどの像）が配置される。その結果、受信機２００は、撮像表示画像の隅にある対象領域にＡＲ画像を重畳してディスプレイ２０１に表示する。
そして、認識領域がさらに移動して表示領域からはみ出すときには、受信機２００は、時刻ｔ２で表示されていたＡＲ画像の大きさおよび位置を変更することなく固定する。つまり、受信機２００は、ＡＲ画像の画面表示を切り替える。
したがって、時刻ｔ３において、認識領域がさらに移動し、有効画素領域からはみ出すことになっても、受信機２００は、時刻ｔ２と同様にＡＲ画像を表示し続ける。すなわち、受信機２００は、認識領域が表示領域からはみ出ているかぎり、受信機２００は、時刻ｔ２のときと同じサイズのＡＲ画像を、撮像表示画像における時刻ｔ２のときと同じ位置に重畳して表示し続ける。
このように、図８５に示す例では、受信機２００は、認識領域が表示領域からはみ出すか否かに応じてＡＲ画像の画面表示を切り替える。また、受信機２００は、表示領域を包含し、その表示領域よりも大きく有効画素領域よりも小さい判定領域を、表示領域の代わりに用いてもよい。この場合、受信機２００は、認識領域が判定領域からはみ出すか否かに応じてＡＲ画像の画面表示を切り替える。
以上、図７９〜図８５を用いてＡＲ画像の画面表示について説明したが、受信機２００は、全撮像画像から対象領域を認識することができなくなったときに、その直前まで認識されていた対象領域の大きさのＡＲ画像を撮像表示画像に重畳して表示してもよい。
図８６は、実施の形態４の変形例２における受信機２００がＡＲ画像を表示する他の例を示す図である。
なお、図４９に示す例では、受信機２００は、送信機１００によって照らされた案内板１０７を撮像することによって、上述と同様に、撮像表示画像Ｐｅと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、案内板１０７から光ＩＤを受信する。しかし、案内板１０７の表面全体が、光を吸収するような色（例えば暗色）であれば、その表面は送信機１００によって照らされても暗いため、受信機２００は、光ＩＤを正しく受信することができない場合がある。または、案内板１０７の表面全体が、復号用画像（すなわち輝線画像）のような縞模様であっても、受信機２００は、光ＩＤを正しく受信することができない場合がある。
そこで、図８６に示すように、案内板１０７の近くに反射板１０９を配置しておいてもよい。これにより、受信機２００は、送信機１００から反射板１０９によって反射された光、つまり、送信機１００から送信される可視光（具体的には光ＩＤ）を受けることができる。その結果、受信機２００は、適切に光ＩＤを受信してＡＲ画像Ｐ５を表示することができる。
［実施の形態４の変形例１および２のまとめ］
図８７Ａは、本発明の一態様に係る表示方法を示すフローチャートである。
本発明の一態様に係る表示方法は、ステップＳ４１〜Ｓ４３を含む。
ステップＳ４１では、光の輝度変化により信号を送信する送信機によりライトアップされている対象物を被写体として撮像センサにより撮像することによって、撮像画像を取得する。ステップＳ４２では、その撮像画像から信号を復号する。ステップＳ４３では、復号された信号に対応する動画像をメモリから読み出し、撮像画像中のその被写体に対応する対象領域に、動画像を重畳させてディスプレイに表示する。ここで、ステップＳ４３では、その動画像に含まれる複数の画像のうちの何れかの画像であって、その対象物を含む画像と、前記対象物を含む画像の表示時間で前後にある所定の数の複数の画像とのうちの、何れかの画像から、その動画像を表示する。例えば、その所定の数は、１０フレームである。あるいは、対象物は、静止画であり、ステップＳ４３では、静止画と同一の画像から、その動画像を表示する。なお、動画像の表示が開始される画像は、静止画と同一の画像に限らず、その静止画と同一の画像、すなわち対象物を含む画像から、表示順で所定のフレーム数だけ前後にある画像であってもよい。また、対象物は、静止画に限らず、人形などであってもよい。
なお、撮像センサおよび撮像画像は、例えば、実施の形態４におけるイメージセンサおよび全撮像画像である。また、ライトアップされる静止画は、画像表示装置の表示パネルに表示される静止画像であってもよく、送信機からの光によって照らされるポスター、案内板、もしくは看板などであってもよい。
また、このような表示方法は、さらに、信号をサーバに送信する送信ステップと、その信号に対応する動画像をサーバから受信する受信ステップとを含んでもよい。
これにより、例えば図７１に示すように、静止画が動き出すように仮想現実的に動画像を表示することができ、ユーザに有益な画像を表示することができる。
また、静止画は、所定の色の外枠を有し、本発明の一態様に係る表示方法は、さらに、その所定の色により、撮像画像から対象領域を認識する認識ステップを含んでもよい。この場合、ステップＳ４３では、認識された対象領域のサイズと同一となるように、動画像をリサイズし、撮像画像中の対象領域に、リサイズされた動画像を重畳させてディスプレイに表示してもよい。例えば、所定の色の外枠は、静止画を取り囲む白色または黒色の矩形枠であり、実施の形態４における認識情報によって示される。そして、実施の形態４におけるＡＲ画像が動画像としてリサイズされて重畳される。
これにより、動画像が被写体として実在するように、より現実的にその動画像を表示することができる。
また、撮像センサの撮像領域のうち、その撮像領域よりも小さい領域である表示領域に投影される画像のみがディスプレイに表示される。この場合、ステップＳ４３では、その撮像領域において被写体が投影されている投影領域が、表示領域よりも大きい場合には、投影領域のうち、表示領域を越えた部分によって得られる画像を、ディスプレイに表示しなくてもよい。ここで、例えば図７９に示すように、撮像領域および投影領域は、イメージセンサの有効画素領域および認識領域である。
これにより、例えば図７９に示すように、被写体である静止画に撮像センサが近づくことによって、投影領域（図７９の認識領域）によって得られる画像の一部がディスプレイに表示されなくても、被写体である静止画の全体が撮像領域に投影されている場合がある。したがって、この場合には、被写体である静止画を適切に認識することができ、撮像画像中の被写体に対応する対象領域に、動画像を適切に重畳させることができる。
また、例えば、表示領域の水平方向および垂直方向のそれぞれの幅が、ｗ１およびｈ１であり、投影領域の水平方向および垂直方向のそれぞれの幅が、ｗ２およびｈ２である。この場合、ステップＳ４３では、ｈ２／ｈ１またはｗ２／ｗ１のいずれか大きい値が所定の値以上である場合には、動画像をディスプレイの全画面に表示し、ｈ２／ｈ１またはｗ２／ｗ１のいずれか大きい値が所定の値よりも小さい場合には、撮像画像中の対象領域に動画像を重畳させてディスプレイに表示してもよい。
これにより、例えば図８１に示すように、被写体である静止画に撮像センサが近づくと、動画像が全画面に表示されるため、ユーザは、撮像センサをさらに静止画に近づけて動画像を大きく表示させる必要がない。そのため、撮像センサを静止画に近づけすぎて、投影領域（図８１の認識領域）が撮像領域（有効画素領域）からはみ出してしまうことによって、信号を復号することができなくなることを抑えることができる。
また、本発明の一態様に係る表示方法は、さらに、動画像をディスプレイの全画面に表示する場合には、撮像センサの動作をオフにする制御ステップを含んでいてもよい。
これにより、例えば図８２のステップＳ３１４に示すように、撮像センサの動作をオフにすることによって、撮像センサの消費電力を抑えることができる。
また、ステップＳ４３では、撮像センサが移動することにより、撮像画像から対象領域が認識できなくなった場合には、認識できなくなる直前に認識していた対象領域のサイズと同一のサイズで動画像を表示してもよい。なお、撮像画像から対象領域が認識できないとは、例えば、被写体である静止画に対応する対象領域の少なくとも一部が撮像画像に含まれていない状況である。このように、対象領域が認識できない場合には、例えば図８５の時刻ｔ３のときのように、直前に認識していた対象領域のサイズと同じサイズの動画像が表示される。したがって、撮像センサを移動させてしまったために、動画像の少なくとも一部が表示されなくなることを抑えることができる。
また、ステップＳ４３では、撮像センサが移動することにより、対象領域のうちの一部のみが、撮像画像のうちのディスプレイに表示される領域に含まれる場合には、その対象領域の一部に対応する動画像の空間領域の一部を、対象領域の一部に重畳させてディスプレイに表示してもよい。なお、動画像の空間領域の一部とは、動画像を構成する各ピクチャのうちの一部である。
これにより、例えば図８３の時刻ｔ２のときのように、動画像（図８３のＡＲ画像）の空間領域の一部のみがディスプレイに表示される。その結果、撮像センサが被写体となる静止画に適切に向けられていないことをユーザに知らせることができる。
また、ステップＳ４３では、撮像センサが移動することにより、撮像画像から対象領域が認識できなくなった場合には、認識できなくなる直前に表示されていた、対象領域の一部に対応する動画像の空間領域の一部を、継続して表示してもよい。
これにより、例えば図８３の時刻ｔ３のときのように、ユーザが、被写体となる静止画と異なる方向に撮像センサを向けたときにも、動画像（図８３のＡＲ画像）の空間領域の一部が継続して表示される。その結果、撮像センサをどのように向ければ動画像の全体が表示されるかを、ユーザに把握しやすくすることができる。
また、ステップＳ４３では、撮像センサの撮像領域における水平方向および垂直方向のそれぞれの幅が、ｗ０およびｈ０であり、撮像領域において被写体が投影されている投影領域と、その撮像領域との間の水平方向および垂直方向のそれぞれの距離が、ｄｈおよびｄｗである場合、ｄｗ／ｗ０またはｄｈ／ｈ０のいずれか小さい方の値が、所定値以下の場合に、対象領域が認識できないと判断してもよい。なお、投影領域は、例えば図８３に示す認識領域である。または、ステップＳ４３では、撮像センサの撮像領域において被写体が投影されている投影領域と、その撮像領域との間の水平方向および垂直方向のそれぞれの距離のうちの短い方に対応する画角が所定値以下の場合に、対象領域が認識できないと判断してもよい。
これにより、対象領域が認識できるか否かを適切に判断することができる。
図８７Ｂは、本発明の一態様に係る表示装置の構成を示すブロック図である。
本発明の一態様に係る表示装置Ａ１０は、撮像センサＡ１１と、復号部Ａ１２と、表示制御部Ａ１３とを備える。
撮像センサＡ１１は、光の輝度変化により信号を送信する送信機によりライトアップされている静止画を被写体として撮像することによって、撮像画像を取得する。
復号部Ａ１２は、その撮像画像から信号を復号する復号部する。
表示制御部Ａ１３は、復号された信号に対応する動画像をメモリから読み出し、その撮像画像中の被写体に対応する対象領域に、その動画像を重畳させてディスプレイに表示する。ここで、表示制御部Ａ１３は、その動画像に含まれる複数の画像のうち、静止画と同一の画像である先頭画像から、その複数の画像を順に表示する。
これにより、上述の表示方法と同様の効果を奏することができる。
また、撮像センサＡ１１は、複数のマイクロミラーと、フォトセンサとを有し、表示装置Ａ１０は、さらに、撮像センサを制御する撮像制御部を備えてもよい。この場合、撮像制御部は、撮像画像のうち、信号を含む領域を信号領域として特定し、複数のマイクロミラーのうち、特定した信号領域に対応するマイクロミラーの角度を制御する。そして、撮像制御部は、複数のマイクロミラーのうち、角度が制御されたマイクロミラーによる反射光のみを、上述のフォトセンサに受光させる。
これにより、光の輝度変化によって表される信号である可視光信号に高周波成分が含まれていても、その高周波成分を正しく復号することができる。
なお、上記各実施の形態および各変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図７７、図８０、図８２および図８７Ａのフローチャートによって示される表示方法をコンピュータに実行させる。
以上、一つまたは複数の態様に係る表示方法について、上記各実施の形態および各変形例に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態および変形例における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれてもよい。
［実施の形態４の変形例３］
以下、実施の形態４の変形例３、つまり、光ＩＤを用いたＡＲを実現する表示方法の変形例３について説明する。
図８８は、ＡＲ画像の拡大および移動の一例を示す図である。
受信機２００は、図８８の（ａ）に示すように、上記実施の形態４もしくはその変形例１または２と同様、撮像表示画像Ｐｐｒｅの対象領域にＡＲ画像Ｐ２１を重畳する。そして、受信機２００は、そのＡＲ画像Ｐ２１が重畳された撮像表示画像Ｐｐｒｅをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ２１は動画像である。
ここで、受信機２００は、図８８の（ｂ）に示すように、サイズ変更の指示を受け付けると、その指示に応じてＡＲ画像Ｐ２１のサイズを変更する。例えば、受信機２００は、拡大の指示を受け付けると、その指示に応じてＡＲ画像Ｐ２１を拡大する。サイズ変更の指示は、ユーザによるＡＲ画像Ｐ２１に対する例えばピンチ操作、ダブルタップまたは長押しによって行われる。具体的には、受信機２００は、ピンチアウトによって行われる拡大の指示を受け付けると、その指示に応じてＡＲ画像Ｐ２１を拡大する。逆に、受信機２００は、ピンチインによって行われる縮小の指示を受け付けると、その指示に応じてＡＲ画像Ｐ２１を縮小する。
また、受信機２００は、図８８の（ｃ）に示すように、位置変更の指示を受け付けると、その指示に応じてＡＲ画像Ｐ２１の位置を変更する。位置変更の指示は、ユーザによるＡＲ画像に対する例えばスワイプなどによって行われる。具体的には、受信機２００は、スワイプによって行われる位置変更の指示を受け付けると、その指示に応じてＡＲ画像Ｐ２１の位置を変更する。すなわち、ＡＲ画像Ｐ２１が移動する。
これにより、動画像であるＡＲ画像の拡大によって、そのＡＲ画像をより見易くすることができるとともに、動画像であるＡＲ画像の縮小または移動によって、ＡＲ画像に隠れている撮像表示画像Ｐｐｒｅの領域をユーザに表示することができる。
図８９は、ＡＲ画像の拡大の一例を示す図である。
受信機２００は、図８９の（ａ）に示すように、上記実施の形態４もしくはその変形例１または２と同様、撮像表示画像Ｐｐｒｅの対象領域にＡＲ画像Ｐ２２を重畳する。そして、受信機２００は、そのＡＲ画像Ｐ２２が重畳された撮像表示画像Ｐｐｒｅをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ２２は、文字列が記載されている静止画像である。
ここで、受信機２００は、図８９の（ｂ）に示すように、サイズ変更の指示を受け付けると、その指示に応じてＡＲ画像Ｐ２２のサイズを変更する。例えば、受信機２００は、拡大の指示を受け付けると、その指示に応じてＡＲ画像Ｐ２２を拡大する。サイズ変更の指示は、上述と同様、ユーザによるＡＲ画像Ｐ２２に対する例えばピンチ操作、ダブルタップまたは長押しによって行われる。具体的には、受信機２００は、ピンチアウトによって行われる拡大の指示を受け付けると、その指示に応じてＡＲ画像Ｐ２２を拡大する。このＡＲ画像Ｐ２２の拡大によって、ＡＲ画像Ｐ２２に記載されている文字列をユーザに対して読み易くすることができる。
また、受信機２００は、図８９の（ｃ）に示すように、さらに、サイズ変更の指示を受け付けると、その指示に応じてＡＲ画像Ｐ２２のサイズを変更する。例えば、受信機２００は、さらなる拡大の指示を受け付けると、その指示に応じてＡＲ画像Ｐ２２をさらに拡大する。このＡＲ画像Ｐ２２の拡大によって、ＡＲ画像Ｐ２２に記載されている文字列をユーザに対してさらに読み易くすることができる。
なお、受信機２００は、拡大の指示を受け付けたときに、その指示に応じたＡＲ画像の拡大率が閾値以上になる場合には、高解像度のＡＲ画像を取得してもよい。この場合、受信機２００は、既に表示されている元のＡＲ画像の代わりに、その高解像度のＡＲ画像を上述の拡大率まで拡大して表示してもよい。例えば、受信機２００は、６４０×４８０画素のＡＲ画像の代わりに、１９２０×１０８０画素のＡＲ画像を表示する。これにより、ＡＲ画像が現実に被写体として撮像されているように、そのＡＲ画像を拡大することができるとともに、光学ズームでは得られない高解像度の画像を表示することができる。
図９０は、受信機２００によるＡＲ画像の拡大および移動に関する処理動作の一例を示すフローチャートである。
まず、受信機２００は、図４５のフローチャートに示すステップＳ１０１と同様に、通常露光時間および通信用露光時間による撮像を開始する（ステップＳ４０１）。この撮像が開始されると、通常露光時間による撮像表示画像Ｐｐｒｅと、通信用露光時間による復号用画像（すなわち輝線画像）Ｐｄｅｃとがそれぞれ周期的に得られる。そして、受信機２００は、その復号用画像Ｐｄｅｃを復号することによって光ＩＤを取得する。
次に、受信機２００は、図４５のフローチャートに示すステップＳ１０２〜Ｓ１０６の処理を含むＡＲ画像重畳処理を行う（ステップＳ４０２）。このＡＲ画像重畳処理が行われると、ＡＲ画像が撮像表示画像Ｐｐｒｅに重畳されて表示される。このとき、受信機２００は、光ＩＤ取得レートを下げる（ステップＳ４０３）。光ＩＤ取得レートとは、ステップＳ４０１において開始される撮像によって得られる単位時間あたりの撮像画像の枚数のうちの、復号用画像（すなわち輝線画像）Ｐｄｅｃの枚数の割合である。例えば、光ＩＤ取得レートが下がることによって、単位時間あたりに得られる復号用画像Ｐｄｅｃの枚数は、単位時間あたりに得られる撮像表示画像Ｐｐｒｅの枚数よりも少なくなる。
次に、受信機２００は、サイズ変更の指示を受け付けたか否かを判定する（ステップＳ４０４）。ここで、サイズ変更の指示を受け付けたと判定すると（ステップＳ４０４のＹｅｓ）、受信機２００は、さらに、そのサイズ変更の指示が拡大の指示か否かを判定する（ステップＳ４０５）。サイズ変更の指示が拡大の指示であると判定すると（ステップＳ４０５のＹｅｓ）、受信機２００は、さらに、ＡＲ画像の再取得が必要か否かを判定する（ステップＳ４０６）。例えば、受信機２００は、拡大の指示に応じたＡＲ画像の拡大率が閾値以上になると判断した場合に、ＡＲ画像の再取得が必要と判定する。ここで、受信機２００は、再取得が必要と判定すると（ステップＳ４０６のＹｅｓ）、高解像度のＡＲ画像を例えばサーバから取得して、重畳して表示されているＡＲ画像を、その高解像度のＡＲ画像に置き換える（ステップＳ４０７）。
そして、受信機２００は、受け付けられたサイズ変更の指示に応じて、ＡＲ画像のサイズを変更する（ステップＳ４０８）。つまり、ステップＳ４０７で高解像度のＡＲ画像を取得した場合には、受信機２００は、その高解像度のＡＲ画像を拡大する。また、ステップＳ４０６で、ＡＲ画像の再取得が不要と判定された場合には（ステップＳ４０６のＮｏ）、受信機２００は、重畳されているＡＲ画像を拡大する。また、ステップＳ４０５で、サイズ変更の指示が縮小の指示であると判定すると（ステップＳ４０５のＮｏ）、受信機２００は、受け付けられたサイズ変更の指示、すなわち縮小の指示に応じて、重畳して表示されているＡＲ画像を縮小する。
一方、受信機２００は、ステップＳ４０４で、サイズ変更の指示を受け付けていないと判定すると（ステップＳ４０４のＮｏ）、位置変更の指示を受け付けたか否かを判定する（ステップＳ４０９）。ここで、位置変更の指示を受け付けたと判定すると（ステップＳ４０９のＹｅｓ）、受信機２００は、その位置変更の指示に応じて、重畳して表示されているＡＲ画像の位置を変更する（ステップＳ４１０）。つまり、受信機２００は、ＡＲ画像を移動させる。また、位置変更の指示を受け付けていないと判定すると（ステップＳ４０９のＮｏ）、受信機２００は、ステップＳ４０４からの処理を繰り返し実行する。
ステップＳ４０８でＡＲ画像のサイズが変更されると、または、ステップＳ４１０でＡＲ画像の位置が変更されると、受信機２００は、ステップＳ４０１から周期的に取得されている光ＩＤが、取得されなくなったか否かを判定する（ステップＳ４１１）。ここで、光ＩＤが取得されなくなったと判定すると（ステップＳ４１１のＹｅｓ）、受信機２００は、ＡＲ画像の拡大および移動に関する処理動作を終了する。一方、現在も光ＩＤが取得されていると判定すると（ステップＳ４１１のＮｏ）、受信機２００は、ステップＳ４０４からの処理を繰り返し実行する。
図９１は、受信機２００によるＡＲ画像の重畳の一例を示す図である。
受信機２００は、上述のように、撮像表示画像Ｐｐｒｅ中の対象領域にＡＲ画像Ｐ２３を重畳する。ここで、図９１に示すように、ＡＲ画像Ｐ２３は、ＡＲ画像Ｐ２３の各部位がＡＲ画像Ｐ２３の端に近いほどその部位における透過率が高くなるように構成されている。透過率は、重畳される画像が透けて表示される度合いである。例えば、ＡＲ画像の全体の透過率が１００％とは、撮像表示画像の対象領域にＡＲ画像が重畳されていても、ディスプレイ２０１にはそのＡＲ画像が表示されずに対象領域のみが表示されることを意味する。逆に、ＡＲ画像の全体の透過率が０％とは、ディスプレイ２０１には撮像表示画像の対象領域は表示されず、その対象領域に重畳されているＡＲ画像のみが表示されることを意味する。
例えば、ＡＲ画像Ｐ２３が矩形状である場合、ＡＲ画像Ｐ２３における各部位の透過率は、その部位が矩形の上端、下端、左端または右端に近いほど高い。より具体的には、それらの端における透過率は１００％である。また、ＡＲ画像Ｐ２３の中央部分には、ＡＲ画像Ｐ２３よりも小さい透過率０％の矩形領域があり、その矩形領域には、例えば「Ｋｙｏｔｏ Ｓｔａｔｉｏｎ」と英語で記載されている。つまり、ＡＲ画像Ｐ２３の周縁部では、透過率がグラデーションのように０％から１００％まで段階的に変化している。
受信機２００は、このようなＡＲ画像Ｐ２３を、図９１に示すように、撮像表示画像Ｐｐｒｅ中の対象領域に重畳する。このとき、受信機２００は、ＡＲ画像Ｐ２３のサイズを対象領域のサイズに合わせて、そのリサイズされたＡＲ画像Ｐ２３を対象領域に重畳する。例えば、対象領域には、ＡＲ画像Ｐ２３の中央部にある矩形領域と同じ背景色の駅名標の像が現れている。なお、駅名標には日本語で「京都」と記載されている。
ここで、上述のように、ＡＲ画像Ｐ２３の各部位の透過率は、その部位がＡＲ画像Ｐ２３の端に近いほど高い。したがって、対象領域にＡＲ画像Ｐ２３が重畳されると、ＡＲ画像Ｐ２３の中央部分の矩形領域は表示されても、そのＡＲ画像Ｐ２３の端は表示されず、対象領域の端、すなわち、駅名標の像の端が表示される。
これにより、ＡＲ画像Ｐ２３と対象領域とのずれを目立ち難くすることができる。つまり、ＡＲ画像Ｐ２３が対象領域に重畳されても、受信機２００の動きなどによって、ＡＲ画像Ｐ２３と対象領域との間にずれが生じることがある。この場合、仮にＡＲ画像Ｐ２３の全体の透過率が０％であれば、ＡＲ画像Ｐ２３の端と、対象領域の端とが表示され、そのずれが目立ってしまう。しかし、本変形例におけるＡＲ画像Ｐ２３では、端に近い部位ほどその部位の透過率が高いため、ＡＲ画像Ｐ２３の端が表示され難くすることができ、その結果、ＡＲ画像Ｐ２３と対象領域との間のずれを目立ち難くすることができる。さらに、ＡＲ画像Ｐ２３の周縁部では、グラデーションのように透過率が変化しているため、ＡＲ画像Ｐ２３が対象領域に重畳されていることを目立ち難くすることができる。
図９２は、受信機２００によるＡＲ画像の重畳の一例を示す図である。
受信機２００は、上述のように、撮像表示画像Ｐｐｒｅ中の対象領域にＡＲ画像Ｐ２４を重畳する。ここで、図９２に示すように、撮像される被写体は、例えば飲食店のメニューである。このメニューは白枠に囲われ、さらに、その白枠は黒枠に囲われている。つまり、被写体は、メニューと、そのメニューを囲う白枠と、その白枠を囲う黒枠とを含む。
受信機２００は、撮像表示画像Ｐｐｒｅのうちの、白枠の像よりも大きく、黒枠の像よりも小さい領域を対象領域として認識する。そして、受信機２００は、ＡＲ画像Ｐ２４のサイズをその対象領域のサイズに合わせて、そのリサイズされたＡＲ画像Ｐ２４を対象領域に重畳する。
これにより、重畳されているＡＲ画像Ｐ２４が、受信機２００の動きなどによって、対象領域からずれてしまった場合でも、そのＡＲ画像Ｐ２４を、黒枠に囲まれた状態で表示させ続けることができる。したがって、ＡＲ画像Ｐ２４と対象領域との間のずれを目立ち難くすることができる。
なお、図９２に示す例では、枠の色は黒または白であるが、これらの色に限定されず、どのような色であってもよい。
図９３は、受信機２００によるＡＲ画像の重畳の一例を示す図である。
例えば、受信機２００は、夜空にライトアップされた城が描かれたポスターを被写体として撮像する。例えば、このポスターは、バックライトとして構成された上述の送信機１００によって照らされ、そのバックライトによって可視光信号（すなわち光ＩＤ）を送信している。受信機２００は、その撮像によって、そのポスターである被写体の像を含む撮像表示画像Ｐｐｒｅと、その光ＩＤに対応するＡＲ画像Ｐ２５とを取得する。ここで、ＡＲ画像Ｐ２５は、上述の城が描かれている領域が抜き取られたポスターの像と同一の形状を有する。すなわち、ＡＲ画像Ｐ２５における、ポスターの像の城に対応する領域は、マスキングされている。さらに、ＡＲ画像Ｐ２５は、上述のＡＲ画像Ｐ２３と同様、ＡＲ画像Ｐ２５の各部位がＡＲ画像Ｐ２５の端に近いほどその部位における透過率が高くなるように構成されている。また、ＡＲ画像Ｐ２５において透過率が０％である中央部分には、夜空に打ち上げられる花火が動画として表示される。
受信機２００は、このようなＡＲ画像Ｐ２５のサイズを、被写体の像である対象領域のサイズに合わせて、そのリサイズされたＡＲ画像Ｐ２５を対象領域に重畳する。その結果、ポスターに描かれている城は、ＡＲ画像ではなく、被写体の像として表示され、さらに、花火の動像がＡＲ画像として表示される。
これにより、ポスターの中で現実に花火が打ち上げられているように撮像表示画像Ｐｐｒｅを表示することができる。また、ＡＲ画像Ｐ２５の各部位の透過率は、その部位がＡＲ画像Ｐ２５の端に近いほど高い。したがって、対象領域にＡＲ画像Ｐ２５が重畳されると、ＡＲ画像Ｐ２５の中央部分は表示されても、そのＡＲ画像Ｐ２５の端は表示されず、対象領域の端が表示される。その結果、ＡＲ画像Ｐ２５と対象領域とのずれを目立ち難くすることができる。さらに、ＡＲ画像Ｐ２５の周縁部では、グラデーションのように透過率が変化しているため、ＡＲ画像Ｐ２５が対象領域に重畳されていることを目立ち難くすることができる。
図９４は、受信機２００によるＡＲ画像の重畳の一例を示す図である。
例えば、受信機２００は、テレビとして構成されている送信機１００を被写体として撮像する。具体的には、この送信機１００は、夜空にライトアップされた城をディスプレイに表示するとともに、可視光信号（すなわち光ＩＤ）を送信している。受信機２００は、その撮像によって、送信機１００が映し出された撮像表示画像Ｐｐｒｅと、その光ＩＤに対応するＡＲ画像Ｐ２６とを取得する。ここで、受信機２００は、まず、撮像表示画像Ｐｐｒｅをディスプレイ２０１に表示する。このとき、受信機２００は、ディスプレイ２０１に、ユーザに消灯を促すメッセージｍも表示する。具体的には、そのメッセージｍは、例えば「部屋の照明をオフにして、部屋を暗くしてください」である。
このメッセージｍの表示によって、ユーザが消灯し、送信機１００が設置されている部屋が暗くなると、受信機２００は、ＡＲ画像Ｐ２６を撮像表示画像Ｐｐｒｅに重畳して表示する。ここで、ＡＲ画像Ｐ２６は、撮像表示画像Ｐｐｒｅと同じサイズであって、そのＡＲ画像Ｐ２６における、撮像表示画像Ｐｐｒｅの城に対応する領域はくり抜かれている。つまり、ＡＲ画像Ｐ２６における、撮像表示画像Ｐｐｒｅの城に対応する領域はマスキングされている。したがって、その領域から撮像表示画像Ｐｐｒｅの城をユーザに見せることができる。また、ＡＲ画像Ｐ２６におけるその領域の周縁部では、上述と同様に、透過率がグラデーションのように０％から１００％まで段階的に変化していてもよい。この場合には、撮像表示画像ＰｐｒｅとＡＲ画像Ｐ２６との間のずれを目立ち難くすることができる。
上述の例では、周縁部の透過率が高いＡＲ画像を、撮像表示画像Ｐｐｒｅの対象領域に重畳することによって、ＡＲ画像と対象領域とのずれを目立ち難くしている。しかし、このようなＡＲ画像の代わりに、撮像表示画像Ｐｐｒｅと同じサイズであって、全体が半透明（すなわち透過率が５０％）のＡＲ画像を撮像表示画像Ｐｐｒｅに重畳してもよい。この場合であっても、ＡＲ画像と対象領域とのずれを目立ち難くすることができる。また、撮像表示画像Ｐｐｒｅが全体的に明るい場合には、均一に透明度が低いＡＲ画像を撮像表示画像Ｐｐｒｅに重畳し、逆に、撮像表示画像Ｐｐｒｅが全体的に暗い場合には、均一に透明度が高いＡＲ画像を撮像表示画像Ｐｐｒｅに重畳してもよい。
なお、ＡＲ画像Ｐ２５およびＡＲ画像Ｐ２６の花火などのオブジェクトは、ＣＧ（computer graphics）によって表現されてもよい。この場合には、マスキングを不要にすることができる。また、図９４に示す例では、受信機２００は、ユーザに消灯を促すメッセージｍを表示するが、このような表示を行うことなく、自動的に消灯してもよい。例えば、受信機２００は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ、または特定小電力無線局等によって、テレビである送信機１００が設定されている照明装置に対して消灯信号を出力する。これによって、自動的に照明装置の消灯が行われる。
図９５Ａは、受信機２００による撮像によって得られる撮像表示画像Ｐｐｒｅの一例を示す図である。
例えば、送信機１００は、スタジアムに設置されている大型ディスプレイとして構成されている。そして、送信機１００は、例えばファーストフードおよびドリンクの注文が光ＩＤで可能であることを示すメッセージを表示するとともに、可視光信号（すなわち光ＩＤ）を送信する。このようなメッセージが表示されると、ユーザは受信機２００を送信機１００に向けて撮像を行う。つまり、受信機２００は、スタジアムに設置されている大型ディスプレイとして構成されている送信機１００を被写体として撮像する。
受信機２００は、その撮像によって撮像表示画像Ｐｐｒｅと復号用画像Ｐｄｅｃとを取得する。そして、受信機２００は、その復号用画像Ｐｄｅｃを復号することによって光ＩＤを取得し、その光ＩＤと撮像表示画像Ｐｐｒｅとをサーバに送信する。
サーバは、光ＩＤごとに、その光ＩＤに対応付けられた設置情報の中から、受信機２００から送信された光ＩＤに対応付けられた、撮像された大型ディスプレイの設置情報を特定する。例えば、設置情報は、大型ディスプレイが設置されている位置および向きと、その大型ディスプレイの大きさとなどを示す。さらに、サーバは、その撮像表示画像Ｐｐｒｅに映し出されている大型ディスプレイの大きさおよび向きと、その設置情報とに基づいて、スタジアムにおいてその撮像表示画像Ｐｐｒｅの撮像が行われた座席の番号を特定する。そして、サーバは、その座席の番号を含むメニュー画面を受信機２００に表示させる。
図９５Ｂは、受信機２００のディスプレイ２０１に表示されるメニュー画面の一例を示す図である。
メニュー画面ｍ１は、例えば商品ごとに、その商品の注文数が入力される入力欄ｍａ１と、サーバによって特定されたスタジアムの座席の番号が記載されている座席欄ｍｂ１と、注文ボタンｍｃ１とを含む。ユーザは、受信機２００を操作することによって、所望の商品に対応する入力欄ｍａ１にその商品の注文数を入力し、注文ボタンｍｃ１を選択する。これにより、注文が確定され、受信機２００は、その入力結果に応じた注文内容をサーバに送信する。
サーバは、その注文内容を受信すると、その注文内容にしたがった注文数の商品を、上述のように特定された番号の座席に届けるようにスタジアムのスタッフに指示する。
図９６は、受信機２００とサーバとの処理動作の一例を示すフローチャートである。
受信機２００は、まず、スタジアムの大型ディスプレイとして構成されている送信機１００を撮像する（ステップＳ４２１）。受信機２００は、その撮像によって得られる復号用画像Ｐｄｅｃを復号することによって、送信機１００から送信される光ＩＤを取得する（ステップＳ４２２）。受信機２００は、ステップＳ４２２で取得された光ＩＤと、ステップＳ４２１の撮像によって得られた撮像表示画像Ｐｐｒｅとをサーバに送信する（ステップＳ４２３）。
サーバは、その光ＩＤおよび撮像表示画像Ｐｐｒｅを受信すると（ステップＳ４２４）、その光ＩＤに基づいて、スタジアムに設置されている大型ディスプレイの設置情報を特定する（ステップＳ４２５）。例えば、サーバは、光ＩＤごとに、その光ＩＤに対応付けられた大型ディスプレイの設置情報を示すテーブルを保持し、受信機２００から送信された光ＩＤに対応付けられた設置情報をそのテーブルから検索することによって、その設置情報を特定する。
次に、サーバは、その特定された設置情報と、撮像表示画像Ｐｐｒｅに映っている大型ディスプレイの大きさおよび向きとに基づいて、スタジアムにおいて、その撮像表示画像Ｐｐｒｅの取得（すなわち撮像）が行われた座席の番号を特定する（ステップＳ４２６）。そして、サーバは、特定された座席の番号を含むメニュー画面ｍ１のＵＲＬ（Uniform Resource Locator）を受信機２００に送信する（ステップＳ４２７）。
受信機２００は、サーバから送信されたメニュー画面ｍ１のＵＲＬを受信すると（ステップＳ４２８）、そのＵＲＬにアクセスし、メニュー画面ｍ１を表示する（ステップＳ４２９）。ここで、ユーザは、受信機２００を操作することによって、注文内容をメニュー画面ｍ１に入力し、注文ボタンｍｃ１を選択することによって、注文を確定する。これにより、受信機２００は、注文内容をサーバに送信する（ステップＳ４３０）。
サーバは、その受信機２００から送信された注文内容を受信すると、その注文内容にしたがった受注処理を行う（ステップＳ４３１）。このとき、サーバは、例えば、その注文内容に応じた注文数の商品を、ステップＳ４２６で特定された番号の座席に届けるようにスタジアムのスタッフに指示する。
このように、受信機２００による撮像によって得られた撮像表示画像Ｐｐｒｅに基づいて、座席の番号が特定されるため、受信機２００のユーザは、商品の注文の際に、わざわざ座席の番号を入力する必要がない。したがって、ユーザは、座席の番号の入力を省いて簡単に商品の注文を行うことができる。
なお、上述の例では、サーバが座席の番号を特定したが、受信機２００が座席の番号を特定してもよい。この場合には、受信機２００は、サーバから設置情報を取得して、その設置情報と、撮像表示画像Ｐｐｒｅに映っている大型ディスプレイの大きさおよび向きとに基づいて座席の番号を特定する。
図９７は、受信機１８００ａによって再生される音声の音量を説明するための図である。
受信機１８００ａは、図２３に示す例と同様に、例えば街頭デジタルサイネージとして構成される送信機１８００ｂから送信された光ＩＤ（可視光信号）を受信する。そして、受信機１８００ａは、送信機１８００ｂによる画像再生と同じタイミングで、音声を再生する。つまり、受信機１８００ａは、送信機１８００ｂによって再生される画像と同期するように音声を再生する。なお、受信機１８００ａは、送信機１８００ｂによって再生される画像（再生画像）と同一の画像、または、その再生画像に関連するＡＲ画像（ＡＲの動画像）を、音声とともに再生してもよい。
ここで、受信機１８００ａは、上述のように音声を再生するときには、送信機１８００ｂまでの距離に応じてその音声の音量を調整する。具体的には、受信機１８００ａは、送信機１８００ｂまでの距離が長いほど音量を小さく調整し、逆に、送信機１８００ｂまでの距離が短いほど音量を大きく調整する。
受信機１８００ａは、送信機１８００ｂまでの距離を、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）などを利用して特定してもよい。具体的には、受信機１８００ａは、光ＩＤに対応付けられた送信機１８００ｂの位置情報をサーバなどから取得し、さらに、ＧＰＳによって受信機１８００ａの位置を特定する。そして、受信機１８００ａは、サーバから取得された位置情報によって示される送信機１８００ｂの位置と、特定された受信機１８００ａの位置との間の距離を、上述の送信機１８００ｂまでの距離として特定する。なお、受信機１８００ａは、ＧＰＳの代わりにＢｌｕｅｔｏｏｔｈ（登録商標）などを利用して、送信機１８００ｂまでの距離を特定してもよい。
また、受信機１８００ａは、撮像によって得られる上述の復号用画像Ｐｄｅｃの輝線パターン領域の大きさに基づいて、送信機１８００ｂまでの距離を特定してもよい。輝線パターン領域は、図５１および図５２に示す例と同様、受信機１８００ａのイメージセンサが有する複数の露光ラインの通信用露光時間での露光によって現れる複数の輝線のパターンからなる領域である。この輝線パターン領域は、撮像表示画像Ｐｐｒｅに映し出されている送信機１８００ｂのディスプレイの領域に相当する。具体的には、受信機１８００ａは、輝線パターン領域が大きいほど短い距離を送信機１８００ｂまでの距離として特定し、逆に、輝線パターン領域が小さいほど長い距離を送信機１８００ｂまでの距離として特定する。また、受信機１８００ａは、輝線パターン領域の大きさと距離との関係を示す距離データを用い、その距離データにおいて、撮像表示画像Ｐｐｒｅ中の輝線パターン領域の大きさに対応付けられている距離を、送信機１８００ｂまでの距離として特定してもよい。なお、受信機１８００ａは、上述のように受信された光ＩＤをサーバに送信し、その光ＩＤに対応付けられた距離データをそのサーバから取得してもよい。
このように、送信機１８００ｂまでの距離に応じて音量が調整されるため、受信機１８００ａのユーザは、受信機１８００ａによって再生される音声を、現実に送信機１８００ｂによって再生されている音声のように聞き取ることができる。
図９８は、受信機１８００ａから送信機１８００ｂまでの距離と音量との関係を示す図である。
例えば、送信機１８００ｂまでの距離がＬ１〜Ｌ２［ｍ］の間では、音量は、Ｖｍｉｎ〜Ｖｍａｘ［ｄＢ］までの範囲において、その距離に比例して増加または減少する。具体的には、受信機１８００ａは、送信機１８００ｂまでの距離がＬ１［ｍ］からＬ２［ｍ］まで長くなれば、音量をＶｍａｘ［ｄＢ］からＶｍｉｎ［ｄＢ］まで直線的に減少させる。また、送信機１８００ｂまでの距離がＬ１［ｍ］よりも短くなっても、受信機１８００ａは、音量をＶｍａｘ［ｄＢ］に維持し、送信機１８００ｂまでの距離がＬ２［ｍ］よりも長くなっても、音量をＶｍｉｎ［ｄＢ］に維持する。
このように、受信機１８００ａは、最大音量Ｖｍａｘと、その最大音量Ｖｍａｘの音声が出力される最長距離Ｌ１と、最小音量Ｖｍｉｎと、その最小音量Ｖｍｉｎの音声が出力される最短距離Ｌ２とを記憶している。また、受信機１８００ａは、自らに設定されている属性に応じて、その最大音量Ｖｍａｘ、最小音量Ｖｍｉｎ、最長距離Ｌ１および最短距離Ｌ２を変更してもよい。例えば、属性がユーザの年齢であって、その年齢が高齢を示す場合には、受信機１８００ａは、最大音量Ｖｍａｘを基準最大音量よりも大きくし、最小音量Ｖｍｉｎを基準最小音量よりも大きくしてもよい。また、属性は、音声の出力が、スピーカから行われるかイヤホンから行われるかを示す情報であってもよい。
このように、受信機１８００ａには最小音量Ｖｍｉｎが設定されているため、受信機１８００ａが送信機１８００ｂから遠すぎるために、音声が聞こえないことを抑えることができる。さらに、受信機１８００ａには最大音量Ｖｍａｘが設定されているため、受信機１８００ａが送信機１８００ｂから近すぎるために、必要以上に大音量の音声が出力されてしまうことを抑えることができる。
図９９は、受信機２００によるＡＲ画像の重畳の一例を示す図である。
受信機２００は、ライトアップされた看板を撮像する。ここで、看板は、光ＩＤを送信する上述の送信機１００である照明装置によってライトアップされている。したがって、受信機２００は、その撮像によって撮像表示画像Ｐｐｒｅと復号用画像Ｐｄｅｃとを取得する。そして、受信機２００は、復号用画像Ｐｄｅｃを復号することによって光ＩＤを取得し、その光ＩＤに対応付けられた複数のＡＲ画像Ｐ２７ａ〜Ｐ２７ｃと認識情報とをサーバから取得する。受信機２００は、認識情報に基づいて、撮像表示画像Ｐｐｒｅのうちの看板が映し出されている領域ｍ２の周辺を対象領域として認識する。
具体的には、受信機２００は、図９９の（ａ）に示すように、領域ｍ２の左側に接する領域を第１の対象領域として認識し、その第１の対象領域にＡＲ画像Ｐ２７ａを重畳する。
次に、受信機２００は、図９９の（ｂ）に示すように、領域ｍ２の下側を含む領域を第２の対象領域として認識し、その第２の対象領域にＡＲ画像Ｐ２７ｂを重畳する。
次に、受信機２００は、図９９の（ｃ）に示すように、領域ｍ２の上側に接する領域を第３の対象領域として認識し、その第３の対象領域にＡＲ画像Ｐ２７ｃを重畳する。
ここで、ＡＲ画像Ｐ２７ａ〜Ｐ２７ｃのそれぞれは、例えば雪男のキャラクターの画像であって、動画であってもよい。
また、受信機２００は、光ＩＤを継続して繰り返し取得している間、予め定められた順序およびタイミングで、認識される対象領域を第１〜第３の対象領域のうちの何れかに切り替えてもよい。つまり、受信機２００は、認識される対象領域を、第１の対象領域、第２の対象領域、第３の対象領域の順に切り替えてもよい。あるいは、受信機２００は、上述の光ＩＤを取得するごとに、予め定められた順序で、認識される対象領域を第１〜第３の対象領域のうちの何れかに切り替えてもよい。つまり、受信機２００は、最初に光ＩＤを取得し、その光ＩＤを継続して繰り返し取得している間には、図９９の（ａ）に示すように、第１の対象領域を認識して、その第１の対象領域にＡＲ画像Ｐ２７ａを重畳する。そして、受信機２００は、その光ＩＤを取得できなくなった場合には、ＡＲ画像Ｐ２７ａを非表示にする。次に、受信機２００は、再び光ＩＤを取得した場合には、その光ＩＤを継続して繰り返し取得している間、図９９の（ｂ）に示すように、第２の対象領域を認識して、その第２の対象領域にＡＲ画像Ｐ２７ｂを重畳する。そして、受信機２００は、再び、その光ＩＤを取得できなくなった場合には、ＡＲ画像Ｐ２７ｂを非表示にする。次に、受信機２００は、再び光ＩＤを取得した場合には、その光ＩＤを継続して繰り返し取得している間、図９９の（ｃ）に示すように、第３の対象領域を認識して、その第３の対象領域にＡＲ画像Ｐ２７ｃを重畳する。
このように光ＩＤを取得するごとに、認識される対象領域を切り替える場合には、受信機２００は、Ｎ（Ｎは２以上の整数）回に１回の頻度で、表示されるＡＲ画像の色を変更してもよい。Ｎ回は、ＡＲ画像が表示される回数であって、例えば２００回であってもよい。つまり、ＡＲ画像Ｐ２７ａ〜Ｐ２７ｃは、全て同じ白色のキャラクターの画像であるが、２００回に１回の頻度で、例えばピンク色のキャラクターのＡＲ画像が表示される。受信機２００は、そのピンク色のキャラクターのＡＲ画像が表示されているときに、ユーザによるそのＡＲ画像に対する操作を受け付けると、そのユーザに対してポイントを付与してもよい。
このように、ＡＲ画像が重畳される対象領域を切り替えたり、ＡＲ画像の色を所定の頻度で変更することによって、送信機１００によってライトアップされた看板の撮像にユーザの興味を向けることができ、ユーザに光ＩＤを繰り返し取得させることができる。
図１００は、受信機２００によるＡＲ画像の重畳の一例を示す図である。
受信機２００は、例えば建物内における複数の通路が交差する位置の床面に描かれたマークＭ４を撮像することによって、ユーザの進むべき進路を提示する、いわゆるウェイファインダー（Ｗａｙ Ｆｉｎｄｅｒ）としての機能を有する。建物は、例えばホテルなどであって、提示される進路は、チェックインを行ったユーザが自らの部屋に向かう進路である。
マークＭ４は、輝度変化によって光ＩＤを送信する上述の送信機１００である照明装置によってライトアップされている。したがって、受信機２００は、そのマークＭ４の撮像によって撮像表示画像Ｐｐｒｅと復号用画像Ｐｄｅｃとを取得する。そして、受信機２００は、復号用画像Ｐｄｅｃを復号することによって光ＩＤを取得し、その光ＩＤと受信機２００の端末情報とをサーバに送信する。受信機２００は、その光ＩＤおよび端末情報に対応付けられた複数のＡＲ画像Ｐ２８と認識情報とをサーバから取得する。なお、光ＩＤおよび端末情報は、ユーザのチェックインのときに、複数のＡＲ画像Ｐ２８および認識情報に対応付けてサーバに格納されている。
受信機２００は、認識情報に基づいて、撮像表示画像ＰｐｒｅのうちのマークＭ４が映し出されている領域ｍ４の周辺において複数の対象領域を認識する。そして、受信機２００は、図１００に示すように、その複数の対象領域のそれぞれに、例えば動物の足跡のようなＡＲ画像Ｐ２８を重畳して表示する。
具体的には、認識情報は、マークＭ４の位置で右に曲がる進路を示す。受信機２００は、このような認識情報に基づいて、撮像表示画像Ｐｐｒｅにおける経路を特定し、その経路に沿って配列される複数の対象領域を認識する。この経路は、ディスプレイ２０１の下側から領域ｍ４に向かい、領域ｍ４で右に曲がる経路である。受信機２００は、あたかも動物がその経路に沿って歩いたかのように、認識された複数の対象領域のそれぞれにＡＲ画像Ｐ２８を配置する。
ここで、受信機２００は、撮像表示画像Ｐｐｒｅにおける経路を特定する場合には、自らに備えられている９軸センサによって検出される地磁気を利用してもよい。この場合、認識情報は、マークＭ４の位置で進むべき方位を地磁気の向きを基準として示す。例えば、認識情報は、マークＭ４の位置で進むべき方向として西を示す。受信機２００は、このような認識情報に基づいて、撮像表示画像Ｐｐｒｅにおいて、ディスプレイ２０１の下側から領域ｍ４に向かい、領域ｍ４で西に向かう経路を特定する。そして、受信機２００は、その経路に沿って配列される複数の対象領域を認識する。なお、受信機２００は、９軸センサによる重力加速度の検出によって、ディスプレイ２０１の下側を特定する。
このように、受信機２００によってユーザの進路が提示されるため、ユーザはその進路にしたがって進めば、簡単に目的地に辿り着くことができる。また、その進路は、撮像表示画像ＰｐｒｅにおけるＡＲ画像として表示されるため、ユーザに分かりやすくその進路を提示することができる。
なお、送信機１００である照明装置は、短パルスの光でマークＭ４を照らすことによって、明るさを抑えながら光ＩＤを適切に送信することができる。また、受信機２００は、マークＭ４を撮像したが、ディスプレイ２０１側に配置されているカメラ（いわゆる自取りカメラ）を用いて、照明装置を撮像してもよい。また、受信機２００は、マークＭ４および照明装置の両方を撮像してもよい。
図１０１は、受信機２００によるラインスキャン時間の求め方の一例を説明するための図である。
受信機２００は、復号用画像Ｐｄｅｃを復号する場合には、ラインスキャン時間を用いて復号を行う。このラインスキャン時間は、イメージセンサに含まれる１つの露光ラインの露光が開始されてから、次の露光ラインの露光が開始されるまでの時間である。受信機２００は、このラインスキャン時間が判明していれば、その判明しているラインスキャン時間を用いて復号用画像Ｐｄｅｃを復号する。しかし、そのラインスキャン時間が判明していない場合には、受信機２００は、ラインスキャン時間を復号用画像Ｐｄｅｃから求める。
例えば、受信機２００は、図１０１に示すように、復号用画像Ｐｄｅｃにおいて輝線パターンを構成する複数の明線と複数の暗線の中から、最小幅の線を見つけ出す。なお、明線は、送信機１００の輝度が高いときに、１つまたは複数の連続する露光ラインのそれぞれが露光することによって生じる復号用画像Ｐｄｅｃ上の線である。また、暗線は、送信機１００の輝度が低いときに、１つまたは複数の連続する露光ラインのそれぞれが露光することによって生じる復号用画像Ｐｄｅｃ上の線である。
受信機２００は、その最小幅の線を見つけると、その最小幅の線に対応する露光ラインのライン数、つまりピクセル数を特定する。送信機１００が光ＩＤを送信するために輝度変化するキャリア周波数が９．６ｋＨｚである場合、送信機１００の輝度が高い時間または低い時間は、最短で１０４μｓである。したがって、受信機２００は、１０４μｓを、特定された最小幅のピクセル数で除算することによって、ラインスキャン時間を算出する。
図１０２は、受信機２００によるラインスキャン時間の求め方の一例を説明するための図である。
受信機２００は、復号用画像Ｐｄｅｃの輝線パターンに対してフーリエ変換を行い、そのフーリエ変換によって得られる空間周波数に基づいてラインスキャン時間を求めてもよい。
例えば図１０２に示すように、受信機２００は、上述のフーリエ変換によって、空間周波数と、復号用画像Ｐｄｅｃにおけるその空間周波数の成分の強度との関係を示すスペクトルを導出する。次に、受信機２００は、そのスペクトルに示される複数のピークのそれぞれを順に選択する。そして、受信機２００は、ピークを選択するごとに、その選択されたピークの空間周波数（例えば図１０２における空間周波数ｆ２）が、９．６ｋＨｚの時間周波数によって得られるようなラインスキャン時間を、ラインスキャン時間候補として算出する。９．６ｋＨｚは、上述のように送信機１００の輝度変化のキャリア周波数である。これにより、複数のラインスキャン時間候補が算出される。受信機２００は、これらの複数のラインスキャン時間候補のうちの最尤の候補を、ラインスキャン時間として選択する。
最尤の候補を選択するためには、受信機２００は、撮像におけるフレームレートと、イメージセンサに含まれる露光ラインの数とに基づいて、ラインスキャン時間の許容範囲を算出する。つまり、受信機２００は、１×１０６［μｓ］／｛（フレームレート）×（露光ライン数）｝によって、ラインスキャン時間の最大値を算出する。そして、受信機２００は、その最大値×定数Ｋ（Ｋ＜１）〜最大値までを、ラインスキャン時間の許容範囲として決定する。定数Ｋは、例えば０．９または０．８などである。
受信機２００は、複数のラインスキャン時間候補のうち、この許容範囲にある候補を最
尤の候補、すなわちラインスキャン時間として選択する。
なお、受信機２００は、図１０１に示す例によって算出されたラインスキャン時間が上述の許容範囲にあるか否かによって、その算出されたラインスキャン時間の信頼性を評価してもよい。
図１０３は、受信機２００によるラインスキャン時間の求め方の一例を示すフローチャートである。
受信機２００は、復号用画像Ｐｄｅｃの復号を試みることによって、ラインスキャン時間を求めてもよい。具体的には、まず、受信機２００は、撮像を開始する（ステップＳ４４１）。次に、受信機２００は、ラインスキャン時間が判明しているか否かを判定する（ステップＳ４４２）。例えば、受信機２００は、自らの種類および型式をサーバに通知し、その種類および型式に応じたラインスキャン時間を問い合わせることによって、そのラインスキャン時間が判明しているか否かを判定してもよい。ここで、判明していると判定すると（ステップＳ４４２のＹｅｓ）、受信機２００は、光ＩＤの基準取得回数をｎ（ｎは２以上の整数であって、例えば４）に設定する（ステップＳ４４３）。次に、受信機２００は、その判明しているラインスキャン時間を用いて復号用画像Ｐｄｅｃを復号することによって、光ＩＤを取得する（ステップＳ４４４）。このとき、受信機２００は、ステップＳ４４１で開始された撮像によって順次得られる複数の復号用画像Ｐｄｅｃのそれぞれに対して復号を行うことによって、複数の光ＩＤを取得する。ここで、受信機２００は、同じ光ＩＤを基準取得回数（すなわちｎ回）だけ取得したか否かを判定する（ステップＳ４４５）。ｎ回取得したと判定すると（ステップＳ４４５のＹｅｓ）、受信機２００は、その光ＩＤを信用し、その光ＩＤを用いた処理（例えばＡＲ画像の重畳）を開始する（ステップＳ４４６）。一方、ｎ回取得していないと判定すると（ステップＳ４４５のＮｏ）、受信機２００は、その光ＩＤを信用せず、処理を終了する。
ステップＳ４４２において、ラインスキャン時間が判明していないと判定すると（ステップＳ４４２のＮｏ）、受信機２００は、光ＩＤの基準取得回数をｎ＋ｋ（ｋは１以上の整数）に設定する（ステップＳ４４７）。つまり、受信機２００は、ラインスキャン時間が判明していないときには、ラインスキャン時間が判明しているときよりも多い基準取得回数を設定する。次に、受信機２００は、仮のラインスキャン時間を決定する（ステップＳ４４８）。そして、受信機２００は、仮決めのラインスキャン時間を用いて復号用画像Ｐｄｅｃを復号することによって、光ＩＤを取得する（ステップＳ４４９）。このとき、受信機２００は、上述と同様、ステップＳ４４１で開始された撮像によって順次得られる複数の復号用画像Ｐｄｅｃのそれぞれに対して復号を行うことによって、複数の光ＩＤを取得する。ここで、受信機２００は、同じ光ＩＤを基準取得回数（すなわち（ｎ＋ｋ）回）だけ取得したか否かを判定する（ステップＳ４５０）。
（ｎ＋ｋ）回取得したと判定すると（ステップＳ４５０のＹｅｓ）、受信機２００は、仮決めのラインスキャン時間が正しいラインスキャン時間であると判断する。そして、受信機２００は、受信機２００の種類および型式と、そのラインスキャン時間とをサーバに通知する（ステップＳ４５１）。これにより、サーバでは、受信機の種類および型式と、その受信機に適したラインスキャン時間とが対応付けて記憶される。したがって、同じ種類および型式の他の受信機が撮像を開始した場合には、他の受信機は、サーバに問い合わせることによって、自らのラインスキャン時間を特定することができる。つまり、他の受信機は、ステップＳ４４２の判定において、ラインスキャン時間が判明していると判定することができる。
そして、受信機２００は、（ｎ＋ｋ）回取得された光ＩＤを信用し、その光ＩＤを用いた処理（例えばＡＲ画像の重畳）を開始する（ステップＳ４４６）。
また、ステップＳ４５０において、同じ光ＩＤを（ｎ＋ｋ）回取得していないと判定すると（ステップＳ４５０のＮｏ）、受信機２００は、さらに、終了条件が満たされたか否かを判定する（ステップＳ４５２）。終了条件は、例えば、撮像開始から予め定められた時間が経過したこと、あるいは、光ＩＤの取得が最大取得回数以上行われたことなどである。このような終了条件が満たされたと判定すると（ステップＳ４５２のＹｅｓ）、受信機２００は処理を終了する。一方、終了条件が満たされていないと判定すると（ステップＳ４５２のＮｏ）、受信機２００は、仮決めのラインスキャン時間を変更する（ステップＳ４５３）。そして、受信機２００は、その変更された仮決めのラインスキャン時間を用いてステップＳ４４９からの処理を繰り返し実行する。
このように、受信機２００は、ラインスキャン時間が判明していなくても、図１０１〜図１０３に示す例のように、そのラインスキャン時間を求めることができる。これにより、受信機２００の種類および型式がどのようなものであっても、受信機２００は、復号用画像Ｐｄｅｃを適切に復号して光ＩＤを取得することができる。
図１０４は、受信機２００によるＡＲ画像の重畳の一例を示す図である。
受信機２００は、テレビとして構成されている送信機１００を撮像する。この送信機１００は、例えばテレビ番組を表示しながら輝度変化することによって、光ＩＤとタイムコードを周期的に送信している。タイムコードは、送信されるたびに、その送信時の時刻を示す情報であって、例えば図２６に示す時間パケットであってもよい。
受信機２００は、上述の撮像によって、撮像表示画像Ｐｐｒｅと復号用画像Ｐｄｅｃとを周期的に取得する。そして、受信機２００は、周期的に取得される撮像表示画像Ｐｐｒｅをディスプレイ２０１に表示しながら、復号用画像Ｐｄｅｃを復号することによって、上述の光ＩＤとタイムコードを取得する。次に、受信機２００は、その光ＩＤをサーバ３００に送信する。サーバ３００は、その光ＩＤを受信すると、その光ＩＤに対応付けられた音声データと、ＡＲ開始時刻情報と、ＡＲ画像Ｐ２９と、認識情報とを受信機２００に送信する。
受信機２００は、音声データを取得すると、その音声データを送信機１００に映し出されているテレビ番組の映像と同期させて再生する。つまり、音声データは、複数の音声単位データからなり、それらの複数の音声単位データにはタイムコードが含まれている。受信機２００は、音声データのうち、光ＩＤとともに送信機１００から取得されるタイムコードと同一の時刻を示すタイムコードを含む音声単位データから、複数の音声単位データの再生を開始する。これにより、音声データの再生が、テレビ番組の映像と同期される。なお、このような音声と映像との同期は、図２３以降の各図によって示される音声同期再生と同様の方法によって行われてもよい。
受信機２００は、ＡＲ画像Ｐ２９および認識情報を取得すると、撮像表示画像Ｐｐｒｅのうち、その認識情報に応じた領域を対象領域として認識し、その対象領域にＡＲ画像Ｐ２９を重畳する。例えば、ＡＲ画像Ｐ２９は、受信機２００のディスプレイ２０１の亀裂を示す画像であって、対象領域は、撮像表示画像Ｐｐｒｅのうちの送信機１００の像を横切る領域である。
ここで、受信機２００は、上述のようなＡＲ画像Ｐ２９が重畳された撮像表示画像Ｐｐｒｅを、ＡＲ開始時刻情報に応じたタイミングに表示する。ＡＲ開始時刻情報は、ＡＲ画像Ｐ２９が表示される時刻を示す情報である。つまり、受信機２００は、送信機１００から随時送信されるタイムコードのうち、ＡＲ開始時刻情報と同一の時刻を示すタイムコードを受信したタイミングに、上述のＡＲ画像Ｐ２９が重畳された撮像表示画像Ｐｐｒｅを表示する。例えば、ＡＲ開始時刻情報によって示される時刻は、テレビ番組において、魔法使いの少女が氷の魔法をかけるシーンが登場する時刻である。また、この時刻には、受信機２００は、音声データの再生によって、そのＡＲ画像Ｐ２９の亀裂が生じる音を受信機２００のスピーカから出力してもよい。
これにより、ユーザは、テレビ番組のシーンを、より臨場感を持って視聴することできる。
また、受信機２００は、ＡＲ開始時刻情報によって示される時刻に、受信機２００に備えられているバイブレータを振動させてもよく、光源をフラッシュのように発光させてもよく、ディスプレイ２０１を瞬間的に明るくさせたり点滅させたりしてもよい。また、ＡＲ画像Ｐ２９は、亀裂を示す画像だけでなく、ディスプレイ２０１の結露が凍り付いた状態を示す画像を含んでいてもよい。
図１０５は、受信機２００によるＡＲ画像の重畳の一例を示す図である。
受信機２００は、例えば玩具の杖として構成されている送信機１００を撮像する。この送信機１００は、光源を備え、その光源が輝度変化することによって、光ＩＤを送信している。
受信機２００は、上述の撮像によって、撮像表示画像Ｐｐｒｅと復号用画像Ｐｄｅｃとを周期的に取得する。そして、受信機２００は、周期的に取得される撮像表示画像Ｐｐｒｅをディスプレイ２０１に表示しながら、復号用画像Ｐｄｅｃを復号することによって、上述の光ＩＤを取得する。次に、受信機２００は、その光ＩＤをサーバ３００に送信する。サーバ３００は、その光ＩＤを受信すると、その光ＩＤに対応付けられたＡＲ画像Ｐ３０と認識情報とを受信機２００に送信する。
ここで、認識情報は、さらに、送信機１００を把持する人物によるジェスチャ（すなわち動作）を示すジェスチャ情報を含む。ジェスチャ情報は、例えば、人物が送信機１００を右から左に動かすジェスチャを示す。受信機２００は、各撮像表示画像Ｐｐｒｅに映し出されている、送信機１００を把持する人物によるジェスチャと、ジェスチャ情報によって示されるジェスチャとを比較する。そして、受信機２００は、それらのジェスチャが一致すると、例えば、多くの星型のＡＲ画像Ｐ３０が、そのジェスチャによって移動する送信機１００の軌跡に沿って配列されるように、それらのＡＲ画像Ｐ３０を撮像表示画像Ｐｐｒｅに重畳する。
図１０６は、受信機２００によるＡＲ画像の重畳の一例を示す図である。
受信機２００は、上述と同様に、例えば玩具の杖として構成されている送信機１００を撮像する。
受信機２００は、その撮像によって、撮像表示画像Ｐｐｒｅと復号用画像Ｐｄｅｃとを周期的に取得する。そして、受信機２００は、周期的に取得される撮像表示画像Ｐｐｒｅをディスプレイ２０１に表示しながら、復号用画像Ｐｄｅｃを復号することによって、上述の光ＩＤを取得する。次に、受信機２００は、その光ＩＤをサーバ３００に送信する。サーバ３００は、その光ＩＤを受信すると、その光ＩＤに対応付けられたＡＲ画像Ｐ３１と認識情報とを受信機２００に送信する。
ここで、認識情報は、上述と同様に、送信機１００を把持する人物によるジェスチャを示すジェスチャ情報を含む。ジェスチャ情報は、例えば、人物が送信機１００を右から左に動かすジェスチャを示す。受信機２００は、各撮像表示画像Ｐｐｒｅに映し出されている、送信機１００を把持する人物によるジェスチャと、ジェスチャ情報によって示されるジェスチャとを比較する。そして、受信機２００は、それらのジェスチャが一致すると、例えば、撮像表示画像Ｐｐｒｅにおいて、その送信機１００を把持する人物が映し出されている領域である対象領域に、ドレスの衣装を示すＡＲ画像Ｐ３０を重畳する。
このように、本変形例における表示方法では、光ＩＤに対応するジェスチャ情報をサーバから取得する。次に、周期的に取得される撮像表示画像によって示される被写体の動きが、サーバから取得されたジェスチャ情報によって示される動きと一致するか否かを判定する。そして、一致すると判定されたときに、ＡＲ画像が重畳された撮像表示画像Ｐｐｒｅを表示する。
これにより、例えば人物などの被写体の動きに応じてＡＲ画像を表示することができる。つまり、適切なタイミングにＡＲ画像を表示することができる。
図１０７は、受信機２００の姿勢に応じて取得される復号用画像Ｐｄｅｃの一例を示す図である。
例えば、図１０７の（ａ）に示すように、受信機２００は、横向きの姿勢で、輝度変化によって光ＩＤを送信する送信機１００を撮像する。なお、横向きの姿勢は、受信機２００のディスプレイ２０１の長手方向が水平方向に沿う姿勢である。また、受信機２００に備えられているイメージセンサの各露光ラインは、ディスプレイ２０１の長手方向に対して直交している。上述のような撮像によって、輝線の数が少ない輝線パターン領域Ｘを含む復号用画像Ｐｄｅｃが取得される。この復号用画像Ｐｄｅｃの輝線パターン領域Ｘでは、輝線の数が少ない。つまり、輝度がＨｉｇｈまたはＬｏｗに変化する部位が少ない。したがって、受信機２００は、その復号用画像Ｐｄｅｃに対する復号によって適切に光ＩＤを取得することができない場合がある。
そこで、例えば、図１０７の（ｂ）に示すように、ユーザは、受信機２００の姿勢を横向きから縦向きに変える。なお、縦向きの姿勢は、受信機２００のディスプレイ２０１の長手方向が垂直方向に沿う姿勢である。このような姿勢の受信機２００は、光ＩＤを送信する送信機１００を撮像すると、輝線の数が多い輝線パターン領域Ｙを含む復号用画像Ｐｄｅｃを取得することができる。
このように、受信機２００の姿勢に応じて、光ＩＤを適切に取得することができない場合があるため、受信機２００に光ＩＤを取得させるときには、撮像している受信機２００の姿勢を適宜変更するとよい。姿勢が変更されているときには、受信機２００は、光ＩＤを取得し易い姿勢になったタイミングで、光ＩＤを適切に取得することができる。
図１０８は、受信機２００の姿勢に応じて取得される復号用画像Ｐｄｅｃの他の例を示す図である。
例えば、送信機１００は、喫茶店のデジタルサイネージとして構成され、映像表示期間に、喫茶店の広告に関する映像を表示し、光ＩＤ送信期間に、輝度変化によって光ＩＤを送信する。つまり、送信機１００は、映像表示期間における映像の表示と、光ＩＤ送信期間における光ＩＤの送信とを交互に繰り返し実行する。
受信機２００は、送信機１００の撮像によって、撮像表示画像Ｐｐｒｅと復号用画像Ｐｄｅｃとを周期的に取得する。このとき、送信機１００の映像表示期間および光ＩＤ送信期間の繰り返し周期と、受信機２００による撮像表示画像Ｐｐｒｅおよび復号用画像Ｐｄｅｃの取得の繰り返し周期との同期によって、輝線パターン領域を含む復号用画像Ｐｄｅｃを取得することができない場合がある。さらに、受信機２００の姿勢によって、輝線パターン領域を含む復号用画像Ｐｄｅｃを取得することができない場合がある。
例えば、受信機２００は、図１０８の（ａ）に示すような姿勢で、送信機１００を撮像する。つまり、受信機２００は、送信機１００に近づき、受信機２００のイメージセンサの全体に送信機１００の像が投影されるように、その送信機１００を撮像する。
ここで、受信機２００が撮像表示画像Ｐｐｒｅを取得するタイミングが、送信機１００の映像表示期間内にあれば、受信機２００は、送信機１００が映し出された撮像表示画像Ｐｐｒｅを適切に取得する。
そして、受信機２００が復号用画像Ｐｄｅｃを取得するタイミングが、送信機１００の映像表示期間と光ＩＤ送信期間とに跨る場合であっても、受信機２００は、輝線パターン領域Ｚ１を含む復号用画像Ｐｄｅｃを取得することができる。
つまり、イメージセンサに含まれる各露光ラインの露光は、垂直方向の上端にある露光ラインから下側に順に開始される。したがって、映像表示期間において、受信機２００が復号用画像Ｐｄｅｃを取得するためにイメージセンサの露光を開始しても、輝線パターン領域を得ることはできない。しかし、その映像表示期間が光ＩＤ送信期間に切り替わると、その光ＩＤ送信期間に露光が行われる各露光ラインに対応した輝線パターン領域を得ることができる。
ここで、受信機２００は、図１０８の（ｂ）に示すような姿勢で、送信機１００を撮像する。つまり、受信機２００は、送信機１００から離れ、受信機２００のイメージセンサの上側の領域のみに送信機１００の像が投影されるように、その送信機１００を撮像する。このときには、上述と同様、受信機２００が撮像表示画像Ｐｐｒｅを取得するタイミングが、送信機１００の映像表示期間内にあれば、受信機２００は、送信機１００が映し出された撮像表示画像Ｐｐｒｅを適切に取得する。しかし、受信機２００が復号用画像Ｐｄｅｃを取得するタイミングが、送信機１００の映像表示期間と光ＩＤ送信期間とに跨る場合には、受信機２００が、輝線パターン領域を含む復号用画像Ｐｄｅｃを取得することができないことがある。つまり、送信機１００の映像表示期間が光ＩＤ送信期間に切り替わっても、その光ＩＤ送信期間に露光が行われるイメージセンサの下側にある各露光ラインには、輝度変化する送信機１００の像が投影されないことがある。したがって、輝線パターン領域を有する復号用画像Ｐｄｅｃを取得することができない。
一方、受信機２００は、図１０８の（ｃ）に示すように、送信機１００から離れた状態で、受信機２００のイメージセンサの下側の領域のみに送信機１００の像が投影されるように、その送信機１００を撮像する。このときには、上述と同様、受信機２００が撮像表示画像Ｐｐｒｅを取得するタイミングが、送信機１００の映像表示期間内にあれば、受信機２００は、送信機１００が映し出された撮像表示画像Ｐｐｒｅを適切に取得する。さらに、受信機２００が復号用画像Ｐｄｅｃを取得するタイミングが、送信機１００の映像表示期間と光ＩＤ送信期間とに跨る場合でも、受信機２００が輝線パターン領域を含む復号用画像Ｐｄｅｃを取得することができることがある。つまり、送信機１００の映像表示期間が光ＩＤ送信期間に切り替わると、その光ＩＤ送信期間に露光が行われるイメージセンサの下側にある各露光ラインには、輝度変化する送信機１００の像が投影される。したがって、輝線パターン領域Ｚ２を有する復号用画像Ｐｄｅｃを取得することができる。
このように、受信機２００の姿勢に応じて、光ＩＤを適切に取得することができない場合があるため、受信機２００は、光ＩＤを取得するときには、受信機２００の姿勢を変えるようにユーザに促してもよい。つまり、受信機２００は、撮像が開始されると、受信機２００の姿勢が変わるように、例えば「動かしてください」または「振ってください」というメッセージの表示または音声出力を行う。これにより、受信機２００は、姿勢を変えながら撮像を行うため、光ＩＤを適切に取得することができる。
図１０９は、受信機２００の処理動作の一例を示すフローチャートである。
例えば、受信機２００は、撮像しているときに、受信機２００が振られているか否かを判定する（ステップＳ４６１）。具体的には、受信機２００は、受信機２００に備えられた９軸センサの出力に基づいて、振られているか否かを判定する。ここで、受信機２００は、撮像中に振られていると判定すると（ステップＳ４６１のＹｅｓ）、上述の光ＩＤ取得レートを上げる（ステップＳ４６２）。具体的には、受信機２００は、撮像中に得られる単位時間あたりの全ての撮像画像を復号用画像（すなわち輝線画像）Ｐｄｅｃとして取得し、取得された全ての復号用画像のそれぞれをデコードする。または、受信機２００は、全ての撮像画像が撮像表示画像Ｐｐｒｅとして取得されているときには、つまり、復号用画像Ｐｄｅｃの取得およびデコードが停止されているときには、その取得およびデコードを開始する。
一方、受信機２００は、撮像中に振られていないと判定すると（ステップＳ４６１のＮｏ）、低い光ＩＤ取得レートで復号用画像Ｐｄｅｃを取得する（ステップＳ４６３）。具体的には、光ＩＤ取得レートがステップＳ４６２で上げられて現在も高い光ＩＤ取得レートになっていれば、受信機２００は、現在の光ＩＤ取得レートが高いため、その光ＩＤ取得レートを下げる。これにより、受信機２００による復号用画像Ｐｄｅｃの復号処理が行われる頻度が少なくなるため、消費電力を抑えることができる。
そして、受信機２００は、光ＩＤ取得レートの調整処理を終了するための終了条件が満たされたか否かを判定し（ステップＳ４６４）、満たされていないと判定すると（ステップＳ４６４のＮｏ）、ステップＳ４６１からの処理を繰り返し実行する。一方、受信機２００は、終了条件が満たされたと判定すると（ステップＳ４６４のＹｅｓ）、光ＩＤ取得レートの調整処理を終了する。
図１１０は、受信機２００によるカメラレンズの切り替え処理の一例を示す図である。
受信機２００は、広角レンズ２１１と望遠レンズ２１２とをそれぞれカメラレンズとして備えていてもよい。広角レンズ２１１を用いた撮像によって得られる撮像画像は、画角の広い画像であって、その画像には被写体が小さく映し出される。一方、望遠レンズ２１２を用いた撮像によって得られる撮像画像は、画角の狭い画像であって、その画像には被写体が大きく映し出される。
上述のような受信機２００は、撮像を行うときには、図１１０に示す方法Ａ〜Ｅの何れかの方法によって、撮像に用いられるカメラレンズを切り替えてもよい。
方法Ａでは、受信機２００は、通常撮像の場合でも、光ＩＤを受信する場合でも、撮像するときには常に望遠レンズ２１２を用いる。ここで、通常撮像の場合とは、撮像によって全ての撮像画像を撮像表示画像Ｐｐｒｅとして取得する場合である。また、光ＩＤを受信する場合とは、撮像によって撮像表示画像Ｐｐｒｅと復号用画像Ｐｄｅｃを周期的に取得する場合である。
方法Ｂでは、受信機２００は、通常撮像の場合には、広角レンズ２１１を用いる。一方、光ＩＤを受信する場合には、受信機２００は、まず、広角レンズ２１１を用いる。そして、受信機２００は、その広角レンズ２１１を用いているときに取得された復号用画像Ｐｄｅｃに輝線パターン領域が含まれていれば、カメラレンズを広角レンズ２１１から望遠レンズ２１２に切り替える。この切り替え後には、受信機２００は、画角の狭い、すなわち輝線パターン領域が大きく表れた復号用画像Ｐｄｅｃを取得することができる。
方法Ｃでは、受信機２００は、通常撮像の場合には、広角レンズ２１１を用いる。一方、光ＩＤを受信する場合には、受信機２００は、カメラレンズを広角レンズ２１１と望遠レンズ２１２とに切り替える。つまり、受信機２００は、広角レンズ２１１を用いて撮像表示画像Ｐｐｒｅを取得し、望遠レンズ２１２を用いて復号用画像Ｐｄｅｃを取得する。
方法Ｄでは、受信機２００は、通常撮像の場合でも、光ＩＤを受信する場合でも、ユーザによる操作に応じて、カメラレンズを広角レンズ２１１と望遠レンズ２１２とに切り替える。
方法Ｅでは、受信機２００は、光ＩＤを受信する場合、広角レンズ２１１を用いて取得された復号用画像Ｐｄｅｃを復号し、正しく復号できなければ、カメラレンズを広角レンズ２１１から望遠レンズ２１２に切り替える。または、受信機２００は、望遠レンズ２１２を用いて取得された復号用画像Ｐｄｅｃを復号し、正しく復号できなければ、カメラレンズを望遠レンズ２１２から広角レンズ２１１に切り替える。なお、受信機２００は、復号用画像Ｐｄｅｃを正しく復号できたか否かを判定するときには、まず、その復号用画像Ｐｄｅｃに対する復号によって得られる光ＩＤをサーバに送信する。サーバは、その光ＩＤが自らに登録されている光ＩＤに一致していれば、一致していることを示す一致情報を受信機２００に通知し、一致していなければ、一致していないことを示す不一致情報を受信機２００に通知する。受信機２００は、サーバから通知された情報が一致情報であれば、復号用画像Ｐｄｅｃが正しく復号できたと判定し、サーバから通知された情報が不一致情報であれば、復号用画像Ｐｄｅｃが正しく復号できなかったと判定する。または、受信機２００は、復号用画像Ｐｄｅｃの復号によって得られる光ＩＤが、予め定められた条件を満たす場合には、復号用画像Ｐｄｅｃが正しく復号できたと判定する。一方、その条件を満たさない場合には、受信機２００は、復号用画像Ｐｄｅｃが正しく復号できなかったと判定する。
このようにカメラレンズを切り替えることによって、適切な復号用画像Ｐｄｅｃを取得することができる。
図１１１は、受信機２００によるカメラの切り替え処理の一例を示す図である。
例えば、受信機２００は、カメラとしてインカメラ２１３とアウトカメラ（図１１１では図示せず）とを備える。インカメラ２１３は、フェイスカメラまたは自撮りカメラともいい、受信機２００におけるディスプレイ２０１と同じ面に配置されているカメラである。アウトカメラは、受信機２００におけるディスプレイ２０１の面と反対側の面に配置されているカメラである。
このような受信機２００は、インカメラ２１３を上に向けた状態で、照明装置として構成された送信機１００をインカメラ２１３によって撮像する。この撮像によって、受信機２００は、復号用画像Ｐｄｅｃを取得し、その復号用画像Ｐｄｅｃに対する復号によって、送信機１００から送信される光ＩＤを取得する。
次に、受信機２００は、その取得された光ＩＤをサーバに送信することによって、その光ＩＤに対応付けられたＡＲ画像および認識情報をサーバから取得する。受信機２００は、アウトカメラおよびインカメラ２１３のそれぞれによって得られる各撮像表示画像Ｐｐｒｅの中から、その認識情報に応じた対象領域を認識する処理を開始する。ここで、受信機２００は、アウトカメラおよびインカメラ２１３のそれぞれによって得られた撮像表示画像Ｐｐｒｅの何れからも、対象領域を認識することができない場合、受信機２００を動かすようにユーザに促す。受信機２００に促されたユーザは、受信機２００を動かす。具体的には、ユーザは、インカメラ２１３およびアウトカメラがユーザの前後方向を向くように、受信機２００を動かす。その結果、受信機２００は、アウトカメラによって取得された撮像表示画像Ｐｐｒｅの中から、対象領域を認識する。つまり、受信機２００は、人が映し出された領域を対象領域として認識し、撮像表示画像Ｐｐｒｅのうちのその対象領域にＡＲ画像を重畳し、そのＡＲ画像が重畳された撮像表示画像Ｐｐｒｅを表示する。
図１１２は、受信機２００とサーバとの処理動作の一例を示すフローチャートである。
受信機２００は、照明装置である送信機１００をインカメラ２１３で撮像することによって、その送信機１００から送信される光ＩＤを取得し、その光ＩＤをサーバに送信する（ステップＳ４７１）。サーバは、受信機２００から光ＩＤを受信し（ステップＳ４７２）、その光ＩＤに基づいて、受信機２００の位置を推定する（ステップＳ４７３）。例えば、サーバは、光ＩＤごとに、その光ＩＤを送信する送信機１００が配置されている部屋、建物、またはスペースなど示すテーブルを記憶している。そして、サーバは、そのテーブルにおいて、受信機２００から送信された光ＩＤに対応付けられた部屋などを、受信機２００の位置として推定する。さらに、サーバは、その推定された位置に対応付けられたＡＲ画像および認識情報を受信機２００に送信する（ステップＳ４７４）。
受信機２００は、サーバから送信されたＡＲ画像および認識情報を取得する（ステップＳ４７５）。ここで、受信機２００は、アウトカメラおよびインカメラ２１３のそれぞれによって得られた各撮像表示画像Ｐｐｒｅの中から、その認識情報に応じた対象領域を認識する処理を開始する。そして、受信機２００は、例えばアウトカメラによって取得された撮像表示画像Ｐｐｒｅの中から対象領域を認識する（ステップＳ４７６）。受信機２００は、撮像表示画像Ｐｐｒｅのうちの対象領域にＡＲ画像を重畳し、そのＡＲ画像が重畳された撮像表示画像Ｐｐｒｅを表示する（ステップＳ４７７）。
なお、上述の例では、受信機２００は、サーバから送信されたＡＲ画像および認識情報を取得すると、ステップＳ４７６において、アウトカメラおよびインカメラ２１３のそれぞれによって得られた各撮像表示画像Ｐｐｒｅの中から対象領域を認識する処理を開始した。しかし、受信機２００は、ステップＳ４７６において、アウトカメラのみによって得られた撮像表示画像Ｐｐｒｅの中から対象領域を認識する処理を開始してもよい。つまり、光ＩＤを取得するためのカメラ（上述の例ではインカメラ２１３）と、ＡＲ画像が重畳される撮像表示画像Ｐｐｒｅを取得するためのカメラ（上述の例ではアウトカメラ）とを、常に異ならせてもよい。
また、上述の例では、受信機２００は、照明装置である送信機１００をインカメラ２１３で撮像したが、送信機１００によって照らされた床面をアウトカメラで撮影してもよい。このようなアウトカメラによる撮像でも、受信機２００は、送信機１００から送信される光ＩＤを取得することができる。
図１１３は、受信機２００によるＡＲ画像の重畳の一例を示す図である。
受信機２００は、例えばコンビニエンスストアなどの店舗に設置された電子レンジとして構成されている送信機１００を撮像する。この送信機１００は、電子レンジの庫内を撮像するためのカメラと、その庫内を照らす照明装置とを備える。そして、送信機１００は、庫内に収納された飲食物（すなわち温め対象物）を、カメラによる撮像によって認識する。また、送信機１００は、その飲食物を温めるときには、上述の照明装置を発光させるとともに、その照明装置を輝度変化させることによって、認識された飲食物を示す光ＩＤを送信する。なお、この照明装置は電子レンジの庫内を照らすが、その照明装置の光は、電子レンジの透過性を有する窓部から外部に放たれる。したがって、光ＩＤは、照明装置から電子レンジの窓部を介して、電子レンジの外部に送信される。
ここで、ユーザは、コンビニエンスストアにて飲食物を購入し、その飲食物を温めるために、電子レンジである送信機１００にその飲食物を入れる。このとき、送信機１００は、カメラによってその飲食物を認識し、その認識された飲食物を示す光ＩＤを送信しながら飲食物の温めを開始する。
受信機２００は、その温めを開始した送信機１００を撮像することによって、送信機１００から送信された光ＩＤを取得し、その光ＩＤをサーバに送信する。次に、受信機２００は、その光ＩＤに対応付けられたＡＲ画像、音声データおよび認識情報をサーバから取得する。
上述のＡＲ画像は、送信機１００の内部の仮想的な様子を示す動画であるＡＲ画像Ｐ３２ａと、庫内に収納された飲食物を詳細に示すＡＲ画像Ｐ３２ｂと、送信機１００から湯気が出ている様子を動画によって示すＡＲ画像Ｐ３２ｃと、飲食物の温め完了までの残り時間を動画によって示すＡＲ画像Ｐ３２ｄとを含む。
例えば、ＡＲ画像Ｐ３２ａは、電子レンジの庫内に収納された飲食物がピザであれば、ピザを載せたターンテーブルが回転していて、そのピザの周りを複数の小人が踊っている動画である。ＡＲ画像Ｐ３２ｂは、例えば、庫内に収納された飲食物がピザであれば、その商品名「ピザ」と、そのピザの材料とを示す画像である。
受信機２００は、認識情報に基づいて、撮像表示画像Ｐｐｒｅのうちの送信機１００の窓部が映し出されている領域を、ＡＲ画像Ｐ３２ａの対象領域として認識し、その対象領域にＡＲ画像Ｐ３２ａを重畳する。さらに、受信機２００は、認識情報に基づいて、撮像表示画像Ｐｐｒｅのうちの、送信機１００が映し出されている領域よりも上にある領域を、ＡＲ画像Ｐ３２ｂの対象領域として認識し、その対象領域にＡＲ画像Ｐ３２ｂを重畳する。さらに、受信機２００は、認識情報に基づいて、撮像表示画像Ｐｐｒｅのうち、ＡＲ画像Ｐ３２ａの対象領域と、ＡＲ画像Ｐ３２ｂの対象領域との間にある領域を、ＡＲ画像Ｐ３２ｃの対象領域として認識し、その対象領域にＡＲ画像Ｐ３２ｃを重畳する。さらに、受信機２００は、認識情報に基づいて、撮像表示画像Ｐｐｒｅのうち、送信機１００が映し出されている領域の下にある領域を、ＡＲ画像Ｐ３２ｄの対象領域として認識し、その対象領域にＡＲ画像Ｐ３２ｄを重畳する。
さらに、受信機２００は、音声データを再生することによって、飲食物が加熱されるときに生じる音を出力する。
受信機２００によって上述のようなＡＲ画像Ｐ３２ａ〜Ｐ３２ｄが表示され、さらに、音が出力されることによって、飲食物の温めが完了するまでの間、ユーザの興味を受信機２００に引き付けることができる。その結果、温めの完了を待っているユーザの負担を軽減することができる。また、湯気などを示すＡＲ画像Ｐ３２ｃが表示され、飲食物が加熱されるときに生じる音が出力されることによって、ユーザにシズル感を与えることができる。また、ＡＲ画像Ｐ３２ｄの表示によって、ユーザは、飲食物の温め完了までの残り時間を容易に知ることができる。したがって、ユーザは、温め完了までの間、例えば、電子レンジである送信機１００から離れて店舗内に陳列されている本などを読むことができる。また、受信機２００は、残り時間が０になったときには、温めが完了したことをユーザに通知してもよい。
なお、上述の例では、ＡＲ画像Ｐ３２ａは、ピザを載せたターンテーブルが回転していて、そのピザの周りを複数の小人が踊っている動画であったが、例えば、庫内の温度分布を仮想的に示す画像であってもよい。また、ＡＲ画像Ｐ３２ｂは、庫内に収納された飲食物の商品名および材料を示す画像であったが、栄養成分またはカロリーを示す画像であってもよい。あるいは、ＡＲ画像Ｐ３２ｂは、割引券を示す画像であってもよい。
このように本変形例における表示方法では、被写体は、照明装置を備えた電子レンジであって、照明装置は、電子レンジの庫内を照らし、かつ、輝度変化することによって光ＩＤを電子レンジの外部に送信する。そして、撮像表示画像Ｐｐｒｅおよび復号用画像Ｐｄｅｃの取得では、光ＩＤを送信している電子レンジを撮像することによって撮像表示画像Ｐｐｒｅおよび復号用画像Ｐｄｅｃを取得する。対象領域の認識では、撮像表示画像Ｐｐｒｅに映し出されている電子レンジの窓部分を対象領域として認識する。撮像表示画像Ｐｐｒｅの表示では、庫内の状態変化を示すＡＲ画像が重畳された撮像表示画像Ｐｐｒｅを表示する。
これにより、電子レンジの庫内の状態変化がＡＲ画像として表示されるため、電子レンジの利用者に庫内の様子を分かりやすく伝えることができる。
図１１４は、受信機２００、電子レンジ、中継サーバおよび電子決済用サーバを含むシステムの処理動作を示すシーケンス図である。なお、電子レンジは、上述と同様、カメラおよび照明装置を備え、その照明装置の輝度を変化させることによって光ＩＤを送信する。つまり、電子レンジは送信機１００としての機能を有する。
まず、電子レンジは、庫内に収納された飲食物をカメラによって認識する（ステップＳ４８１）。次に、電子レンジは、その認識された飲食物を示す光ＩＤを照明装置の輝度変化によって受信機２００に送信する。
受信機２００は、電子レンジを撮像することによって、その電子レンジから送信された光ＩＤを受信し（ステップＳ４８３）、光ＩＤとカード情報とを中継サーバに送信する。カード情報は、受信機２００に予め保存されているクレジットカードなどの情報であって、電子決済に必要な情報である。
中継サーバは、光ＩＤごとに、その光ＩＤに対応するＡＲ画像、認識情報および商品情報を示すテーブルを保持している。この商品情報は、光ＩＤによって示される飲食物の料金などを示す。このような中継サーバは、受信機２００から送信された光ＩＤとカード情報とを受信すると（ステップＳ４８６）、その光ＩＤに対応付けられた商品情報を上述のテーブルから見つけ出す。そして、中継サーバは、その商品情報とカード情報とを電子決済用サーバに送信する（ステップＳ４８６）。電子決済用サーバは、中継サーバから送信された商品情報とカード情報とを受信すると（ステップＳ４８７）、その商品情報とカード情報とに基づいて電子決済の処理を行う（ステップＳ４８８）。そして、電子決済用サーバは、その電子決済の処理が完了すると、その完了を中継サーバに通知する（ステップＳ４８９）。
中継サーバは、電子決済用サーバからの決済完了の通知を確認すると（ステップＳ４９０）、飲食物の温め開始しを電子レンジに指示する（ステップＳ４９１）。さらに、中継サーバは、上述のテーブルにおいて、ステップＳ４８５で受信した光ＩＤに対応付けられているＡＲ画像および認識情報を受信機２００に送信する（ステップＳ４９３）。
電子レンジは、中継サーバから温め開始の指示を受けると、庫内に収納された飲食物の温めを開始する（ステップＳ４９２）。また、受信機２００は、中継サーバから送信されたＡＲ画像および認識情報を受信すると、ステップＳ４８３から開始されている撮像によって周期的に取得される撮像表示画像Ｐｐｒｅから、その認識情報に応じた対象領域を認識する。そして、受信機２００は、その対象領域にＡＲ画像を重畳する（ステップＳ４９４）。
これにより、受信機２００のユーザは、電子レンジの庫内に飲食物を入れて撮像を行えば、簡単に決済を済ませて、飲食物の温めを開始することができる。また、決済ができない場合には、ユーザによる飲食物の温めを禁止することができる。さらに、温めが開始されたときには、図１１３に示すＡＲ画像Ｐ３２ａなどの表示を行うことができ、庫内の様子をユーザに知らせることができる。
図１１５は、ＰＯＳ端末、サーバ、受信機２００および電子レンジを含むシステムの処理動作を示すシーケンス図である。なお、電子レンジは、上述と同様、カメラおよび照明装置を備え、その照明装置の輝度を変化させることによって光ＩＤを送信する。つまり、電子レンジは送信機１００としての機能を有する。また、ＰＯＳ（ｐｏｉｎｔ−ｏｆ−ｓａｌｅ）端末は、電子レンジと同じコンビニエンスストアなどの店舗に設置された端末である。
まず、受信機２００のユーザは、店舗で、商品である飲食物を選び、その飲食物を購入するためにＰＯＳ端末が設置された場所に向かう。その店舗の店員は、ＰＯＳ端末を操作し、飲食物の代金をユーザから受け取る。この店員によるＰＯＳ端末の操作によって、ＰＯＳ端末は、操作入力データと販売情報とを取得する（ステップＳ５０１）。販売情報は、例えば商品の名称、個数および値段と、販売場所と、販売日時とを示す。操作入力データは、例えば、店員によって入力されたユーザの性別および年代などを示す。ＰＯＳ端末は、その操作入力データと販売情報とをサーバに送信する（ステップＳ５０２）。サーバは、ＰＯＳ端末から送信された操作入力データと販売情報とを受信する（ステップＳ５０３）。
一方、受信機２００のユーザは、店員に飲食物の代金を支払うと、その飲食物を温めるために電子レンジの庫内に飲食物を入れる。電子レンジは、庫内に収納された飲食物をカメラによって認識する（ステップＳ５０４）。次に、電子レンジは、その認識された飲食物を示す光ＩＤを照明装置の輝度変化によって受信機２００に送信する（ステップＳ５０５）。そして、電子レンジは、飲食物の温めを開始する（ステップＳ５０７）。
受信機２００は、電子レンジを撮像することによって、その電子レンジから送信された光ＩＤを受信し（ステップＳ５０８）、光ＩＤと端末情報とをサーバに送信する（ステップＳ５０９）。端末情報は、受信機２００に予め保存されている情報であって、例えば、受信機２００のディスプレイ２０１に表示される言語の種別（例えば英語または日本語など）を示す。
サーバは、受信機２００からアクセスされ、受信機２００から送信された光ＩＤと端末情報とを受信すると、その受信機２００からのアクセスが、最初のアクセスか否かを判定する（ステップＳ５１０）。最初のアクセスは、ステップＳ５０３の処理が行われたときから所定時間内において最初に行われるアクセスである。ここで、サーバは、その受信機２００からのアクセスが最初のアクセスであると判定すると（ステップＳ５１０のＹｅｓ）、操作入力データと端末情報とを関連付けて保存する（ステップＳ５１１）。
なお、サーバは、受信機２００からのアクセスが最初のアクセスか否かを判定したが、販売情報によって示される商品が、光ＩＤによって示される飲食物に一致するか否かを判定してもよい。また、サーバは、ステップＳ５１１では、操作入力データと端末情報とを関連付けるだけでなく、販売情報もそれらに関連付けて保存してもよい。
（屋内での利用）
図１１６は、地下街等の屋内での利用の様子を示す図である。
受信機２００は、照明装置として構成された送信機１００の送信する光ＩＤを受信し、自身の現在位置を推定する。また、受信機２００は、地図上に現在位置を表示して道案内を行ったり、付近の店舗の情報を表示したりする。
緊急時には送信機１００から災害情報や避難情報を送信することで、通信が混雑している場合や、通信基地局が故障した場合や、通信基地局からの電波が届かない場所にいる場合であっても、これらの情報を得ることができる。これは、緊急放送を聞き逃した場合や、緊急放送を聞くことができない聴覚障害者に有効である。
つまり、受信機２００は、撮像することによって、送信機１００から送信された光ＩＤを取得し、さらに、その光ＩＤに対応付けられたＡＲ画像Ｐ３３と認識情報とをサーバから取得する。そして、受信機２００は、上述の撮像によって得られた撮像表示画像Ｐｐｒｅから、認識情報に応じた対象領域を認識し、その対象領域に、矢印の形状をしたＡＲ画像Ｐ３３を重畳する。これにより、受信機２００を上述のウェイファインダー（図１００参照）として利用することができる。
（拡張現実オブジェクトの表示）
図１１７は、拡張現実オブジェクトを表示する様子を示す図である。
拡張現実を表示させる舞台２７１８ｅは、上述の送信機１００として構成され、発光部２７１８ａ、２７１８ｂ、２７１８ｃ、２７１８ｄの発光パターンや位置パターンで、拡張現実オブジェクトの情報や、拡張現実オブジェクトを表示させる基準位置を送信する。
受信機２００は、受信した情報を基に、ＡＲ画像である拡張現実オブジェクト２７１８ｆを撮像画像に重畳して表示させる。
なお、これらの包括的または具体的な態様は、装置、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。また、一実施形態に関わる方法を実行するコンピュータプログラムがサーバの記録媒体に保存されており、端末の要求に応じて、サーバから端末に配信する態様で実現されてもよい。
［実施の形態４の変形例４］
図１１８は、実施の形態４の変形例４における表示システムの構成を示す図である。
この表示システム５００は、可視光信号を用いた物体認識と拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ／Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）表示とを行う。
受信機２００は、撮像を行い、可視光信号の受信と、物体認識または空間認識のための特徴量の抽出とを行う。特徴量の抽出は、撮像によって得られる撮像画像からの画像特徴量の抽出である。なお、可視光信号は、赤外線または紫外線などの可視光隣接キャリア信号であってもよい。また、本変形例では、受信機２００が、拡張現実感画像（すなわちＡＲ画像）が表示される対象物の認識を行う認識装置として構成されている。なお、図１１８に示す例では、対象物は例えばＡＲ対象物５０１などである。
送信機１００は、自身またはＡＲ対象物５０１を識別するためのＩＤ等の情報を、可視光信号または電波信号として送信する。なお、ＩＤは、例えば上述の光ＩＤなどの識別情報であり、ＡＲ対象物５０１は、上述の対象領域である。可視光信号は、送信機１００が有する光源の輝度変化により送信される信号である。
受信機２００またはサーバ３００は、送信機１００が送信する識別情報と、ＡＲ認識情報及びＡＲ表示情報を紐付けて保持している。紐付けは１対１であってもよいし、１対多であってもよい。ＡＲ認識情報とは、上述の認識情報であって、ＡＲ表示を行うためのＡＲ対象物５０１を認識するための情報である。具体的には、ＡＲ認識情報は、ＡＲ対象物５０１の画像特徴量（ＳＩＦＴ特徴量、ＳＵＲＦ特徴量、またはＯＲＢ特徴量等）、色、形状、大きさ、反射率、透過率、または三次元モデル等である。また、ＡＲ認識情報は、どの認識手法を用いて認識を行うかを示す識別情報または認識アルゴリズムを含んでもよい。ＡＲ表示情報は、ＡＲ表示を行うための情報であり、画像（すなわち上述のＡＲ画像）、映像、音声、三次元モデル、モーションデータ、表示座標、表示サイズ、または透過率等である。また、ＡＲ表示情報は、色相、彩度および明度のそれぞれの絶対値または変更割合であってもよい。
送信機１００は、サーバ３００としての機能を兼ねてもよい。つまり、送信機１００は、ＡＲ認識情報およびＡＲ表示情報を保持し、有線または無線通信によって、それらの情報を送信してもよい。
受信機２００は、カメラ（具体的にはイメージセンサ）で画像を撮像する。また、受信機２００は、可視光信号、または、ＷｉＦｉもしくはＢｌｕｅｔｏｏｔｈ（登録商標）などの電波信号を受信する。また、受信機２００は、ＧＰＳ等によって得られる位置情報、ジャイロセンサもしくは加速度センサによって得られる情報、およびマイクからの音声などの情報を取得し、これらの全ての情報あるいは一部の情報を統合して付近に存在するＡＲ対象物を認識してもよい。また、受信機２００は、それらの情報を統合せず、何れかの情報のみを用いてＡＲ対象物を認識してもよい。
図１１９は、実施の形態４の変形例４に係る表示システムの処理動作を示すフローチャートである。
受信機２００は、まず、既に可視光信号を受信しているか否かを判定する（ステップＳ５２１）。つまり、受信機２００は、例えば、可視光信号を光源の輝度変化により送信する送信機１００を撮影することにより、識別情報を示す可視光信号を取得しているか否かを判定する。このときには、その撮影によって、送信機１００の撮像画像が取得される。
ここで、受信機２００は、既に可視光信号を受信していると判定した場合には（ステップＳ５２１のＹ）、受信した情報からＡＲ対象物（物体、基準点、空間座標、または空間中の受信機２００の位置と向き）を特定する。さらに、受信機２００は、ＡＲ対象物の相対位置を認識する。この相対位置は、受信機２００からＡＲ対象物までの距離および方向によって表される。例えば、受信機２００は、図５０に示す輝線パターン領域の大きさおよび位置などに基づいて、ＡＲ対象物（すなわち輝線パターン領域である対象領域）を特定し、そのＡＲ対象物の相対位置を認識する。
そして、受信機２００は、可視光信号に含まれるＩＤ等の情報と相対位置とをサーバ３００に送信し、その情報および相対位置とをキーとして用いることによって、サーバ３００に登録されたＡＲ認識情報とＡＲ表示情報とを取得する（ステップＳ５２２）。このとき、受信機２００は、認識したＡＲ対象物の情報だけでなく、そのＡＲ対象物の付近に存在する他のＡＲ対象物の情報（すなわちＡＲ認識情報およびＡＲ表示情報）も同時に取得しても良い。これにより、付近に存在する他のＡＲ対象物がその受信機２００によって撮像された際に、受信機２００は、素早く、また、誤りなく、その付近に存在する他のＡＲ対象物を認識することができる。例えば、付近に存在する他のＡＲ対象物は、最初に認識したＡＲ対象物とは異なる。
なお、受信機２００は、サーバ３００にアクセスする代わりに、受信機２００内のデータベースからこれらの情報を取得してもよい。受信機２００は、これらの情報を、取得時から一定時間経過後、または特定の処理（例えば、画面のオフ、ボタン押下、アプリの終了もしくは停止、ＡＲ画像の表示、または、別のＡＲ対象物の認識等）の後に廃棄してもよい。あるいは、受信機２００は、取得される複数の情報のそれぞれで、その情報の取得から一定時間経過ごとに、その情報の信頼度を下げ、複数の情報のうち信頼度の高い情報を用いてもよい。
ここで、受信機２００は、各ＡＲ対象物との相対位置に基づいて、その相対位置の関係において有効なＡＲ対象物のＡＲ認識情報を優先して取得してもよい。例えば、受信機２００は、ステップＳ５２１において、複数の送信機１００を撮影することにより、複数の可視光信号（すなわち識別情報）を取得し、ステップＳ５２２において、それらの複数の可視光信号に対応する複数のＡＲ認識情報（すなわち画像特徴量）を取得する。このとき、受信機２００は、ステップＳ５２２において、複数のＡＲ対象物のうち、それらの送信機１００の撮影を行う受信機２００から最も近いＡＲ対象物の画像特徴量を選択する。つまり、この選択された画像特徴量が、可視光信号を用いて特定される１つのＡＲ対象物（すなわち第１の対象物）の特定に用いられる。これにより、複数の画像特徴量が取得されても、適切な画像特徴量を第１の対象物の特定に用いることができる。
一方、受信機２００は、可視光信号を受信していないと判定した場合には（ステップＳ５２１のＮ）、さらに、既にＡＲ認識情報を取得しているか否かを判定する（ステップＳ５２３）。ＡＲ認識情報を取得していないと判定すると（ステップＳ５２３のＮ）、受信機２００は、可視光信号によって示されるＩＤ等の識別情報を用いずに、画像処理により、または、位置情報もしくは電波情報などのその他の情報を用いてＡＲ対象物の候補を認識する（ステップＳ５２４）。この処理は受信機２００のみで行われてもよい。あるいは、受信機２００は、撮像画像、またはその撮像画像の画像特徴量などの情報をサーバ３００へ送信し、サーバ３００が、そのＡＲ対象物の候補を認識してもよい。その結果、受信機２００は、認識された候補に対応したＡＲ認識情報とＡＲ表示情報とを、サーバ３００または自身のデータベースから取得する。
ステップＳ５２２の後、受信機２００は、例えば画像認識など、可視光信号によって示されるＩＤ等の識別情報を用いない別の方法で、ＡＲ対象物を検出しているか否かを判定する（ステップＳ５２５）。つまり、受信機２００は、複数の方法でＡＲ対象物を認識したか否かを判定する。具体的には、受信機２００は、可視光信号によって示される識別情報に基づいて取得された画像特徴量を用いて、撮像画像からＡＲ対象物（すなわち第１の対象物）を特定する。そして、受信機２００は、そのような識別情報を用いずに、画像処理により、撮像画像からＡＲ対象物（すなわち第２の対象物）を特定しているか否かを判定する。
ここで、受信機２００は、複数の方法でＡＲ対象物を認識したと判定すると（ステップＳ５２５のＹ）、可視光信号による認識結果を優先する。つまり、受信機２００は、各方法によって認識されたＡＲ対象物が一致しているか否かを確認する。そして、一致していなければ、受信機２００は、それらのＡＲ対象物の中から、撮像画像中においてＡＲ画像が重畳される１つのＡＲ対象物を、可視光信号によって認識されたＡＲ対象物に決定する（ステップＳ５２６）。つまり、第１の対象物が第２の対象物と異なる場合には、受信機２００は、第１の対象物を優先して、ＡＲ画像が表示される対象物として認識する。なお、ＡＲ画像が表示される対象物は、ＡＲ画像が重畳される対象物である。
または、受信機２００は、複数の方法のそれぞれに付与された優先順に基づいて、高い優先順位が付与された方法を優先してもよい。つまり、受信機２００は、各方法によって認識されたＡＲ対象物の中から、撮像画像中においてＡＲ画像が重畳される１つのＡＲ対象物を、例えば最も高い優先順位が付与された方法によって認識されたＡＲ対象物に決定する。または、受信機２００は、多数決もしくは優先度付き多数決によって、撮像画像中においてＡＲ画像が重畳される１つのＡＲ対象物を決定してもよい。この処理によって、それまでの認識結果が覆された場合は、受信機２００はエラー対応処理を行う。
次に、受信機２００は、取得したＡＲ認識情報に基いて、撮像画像中のＡＲ対象物の状態（具体的には、絶対位置、受信機２００からの相対位置、大きさ、角度、照明状況、またはオクルージョン等）を認識する（ステップＳ５２７）。そして、受信機２００は、その認識結果に合わせてＡＲ表示情報（すなわちＡＲ画像）を撮像画像に重畳して表示する（ステップＳ５２８）。つまり、受信機２００は、撮像画像中の認識されたＡＲ対象物にＡＲ表示情報を重畳する。または、受信機２００は、ＡＲ表示情報のみを表示する。
これらにより、画像処理のみでは困難な認識または検出が可能になる。その困難な認識または検出は、例えば、（文字内容だけが異なっているなどの）画像的に類似したＡＲ対象物の識別、模様が少ないＡＲ対象物の検出、反射率もしくは透過率が高いＡＲ対象物の検出、形状もしくは模様が変化するＡＲ対象物（例えば動物など）の検出、または、広い角度（いろいろな方向）からのＡＲ対象物の検出である。つまり、本変形例では、これらのＡＲ対象物の認識とＡＲ表示とを行うことができる。また、可視光信号を用いない画像処理では、認識したいＡＲ対象物が多くなるに従い、画像特徴量の近傍検索に時間がかかり、認識処理に時間がかかるようになり、また、認識率も悪化する。しかし、本変形例では、認識対象の増加による認識時間の増加と認識率の悪化の影響は、まったくないか極めて小さく、効果的なＡＲ対象物の認識が可能となる。また、ＡＲ対象物の相対位置を用いることで、効率的な認識が可能となる。例えば、ＡＲ対象物までのおおよその距離を利用することで、画像特徴量の計算に際してＡＲ対象物の大きさに非依存とするための処理を省いたり、大きさに依存する特徴を利用することができる。また、ＡＲ対象物の角度を利用し、通常であれば多くの角度に対して画像特徴量の評価が必要なところ、そのＡＲ対象物の角度に対応する画像特徴量の保持と計算のみを行えばよく、計算速度またはメモリ効率を向上することができる。
［実施の形態４の変形例４のまとめ］
図１２０は、本発明の一態様に係る認識方法を示すフローチャートである。
本発明の一態様に係る表示方法は、拡張現実感画像（ＡＲ画像）が表示される対象物の認識方法であって、ステップＳ５３１〜５３５を含む。
ステップＳ５３１では、受信機２００は、可視光信号を光源の輝度変化により送信する送信機１００を撮影することにより、識別情報を取得する。識別情報は例えば光ＩＤである。ステップＳ５３２では、受信機２００は、その識別情報をサーバ３００に送信し、サーバ３００から識別情報に対応する画像特徴量を取得する。画像特徴量は、ＡＲ認識情報または認識情報として示される。
ステップＳ５３３では、受信機２００は、その画像特徴量を用いて、送信機１００の撮像画像から第１の対象物を特定する。ステップＳ５３４では、受信機２００は、識別情報（すなわち光ＩＤ）を用いずに、画像処理により、送信機１００の撮像画像から第２の対象物を特定する。
ステップＳ５３５では、ステップＳ５３３で特定された第１の対象物が、ステップＳ５３４で特定された第２の対象物と異なる場合に、受信機２００は、第１の対象物を優先して、拡張現実感画像が表示される対象物として認識する。
例えば、拡張現実感画像、撮像画像、および対象物はそれぞれ、実施の形態４およびその各変形例におけるＡＲ画像、撮像表示画像、対象領域に相当する。
これにより、図１１９に示すように、可視光信号によって示される識別情報を用いて特定された第１の対象物と、その識別情報を用いずに画像処理によって特定された第２の対象物とが異なる場合であっても、拡張現実感画像が表示される対象物として第１の対象物が優先して認識される。したがって、撮像画像から、拡張現実感画像が表示される対象物を適切に認識することができる。
また、画像特徴量は、第１の対象物の画像特徴量に加え、第１の対象物の近辺に位置し、第１の対象物とは異なる第３の対象物の画像特徴量も含んでいてもよい。
これにより、図１１９のステップＳ５２２に示すように、第１の対象物の画像特徴量だけでなく、第３の対象物の画像特徴量も取得されるため、その後に、第３の対象物が撮像画像に現れるときには、迅速にその第３の対象物を特定または認識することができる。
また、受信機２００は、ステップＳ５３１において、複数の送信機を撮影することにより、複数の識別情報を取得し、ステップＳ５３２において、複数の識別情報に対応する複数の画像特徴量を取得する場合がある。このような場合には、受信機２００は、ステップＳ５３３では、複数の対象物のうち、複数の送信機の撮影を行う受信機２００から最も近い対象物の画像特徴量を、第１の対象物の特定に用いてもよい。
これにより、図１１９のステップＳ５２２に示すように、複数の画像特徴量が取得されても、適切な画像特徴量を第１の対象物の特定に用いることができる。
なお、本変形例における認識装置は、例えば上述の受信機２００に備えられた装置であって、プロセッサと記録媒体とを備える。この記録媒体には、図１２０に示す認識方法をプロセッサに実行させるプログラムが記録されている。また、本変形例におけるプログラムは、図１２０に示す認識方法をコンピュータに実行させるプログラムである。
（実施の形態５）
図１２１は、本実施の形態に係る可視光信号の動作モードの一例を示す図である。
可視光信号の物理（ＰＨＹ）層の動作モードには、図１２１に示すように、２つのモードがある。１つ目の動作モードは、パケットＰＷＭ（Pulse Width Modulation）が行われるモードであり、２つ目の動作モードは、パケットＰＰＭ（Pulse-Position Modulation）が行われるモードである。上記各実施の形態またはその変形例に係る送信機は、この何れかの動作モードにしたがって送信対象の信号を変調することによって、可視光信号を生成して送信する。
パケットＰＷＭの動作モードでは、ＲＬＬ（Run-Length Limited）符号化は行われず、光クロックレートは１００ｋＨｚであり、前方誤り訂正（ＦＥＣ）は、繰り返し符号化され、典型的なデータレートは５．５ｋｂｐｓである。
このパケットＰＷＭでは、パルス幅が変調され、パルスは、２つの明るさの状態によって表される。２つの明るさの状態は、明るい状態（ＢｒｉｇｈｔまたはＨｉｇｈ）と暗い状態（ＤａｒｋまたはＬｏｗ）であるが、典型的には、光のオンとオフである。パケット（ＰＨＹパケットともいう）と呼ばれる物理層の信号のチャンクは、ＭＡＣ（medium access control）フレームに対応している。送信機は、ＰＨＹパケットを繰り返し送信し、特別な順番によらずに複数のＰＨＹパケットのセットを送信することができる。
なお、パケットＰＷＭは、通常の送信機から送信される可視光信号の生成に用いられる。
パケットＰＰＭの動作モードでは、ＲＬＬ符号化は行われず、光クロックレートは１００ｋＨｚであり、前方誤り訂正（ＦＥＣ）は、繰り返し符号化され、典型的なデータレートは８ｋｂｐｓである。
このパケットＰＰＭでは、短い時間長のパルスの位置が変調される。つまり、このパルスは、明るいパルス（Ｈｉｇｈ）と暗いパルス（Ｌｏｗ）のうちの明るいパルスであり、このパルスの位置が変調される。また、このパルスの位置は、パルスと次のパルスとの間のインターバルによって示される。
パケットＰＰＭは、深い調光を実現する。各実施の形態およびその変形例において説明されていないパケットＰＰＭにおけるフォーマット、波形および特徴は、パケットＰＷＭと同様である。なお、パケットＰＰＭは、非常に明るく発光する光源を有する送信機から送信される可視光信号の生成に用いられる。
また、パケットＰＷＭおよびパケットＰＰＭのそれぞれにおいて、可視光信号の物理層における調光は、オプショナルフィールドの平均輝度によって制御される。
図１２２Ａは、実施の形態５に係る他の可視光信号の生成方法を示すフローチャートである。この可視光信号の生成方法は、送信機が備える光源の輝度変化によって送信される可視光信号を生成する方法であって、ステップＳＥ１〜ＳＥ３を含む。
ステップＳＥ１では、互いに異なる輝度値である第１および第２の輝度値のそれぞれが、時間軸上に沿って交互に現れるデータであるプリアンブルを生成する。
ステップＳＥ２では、第１および第２の輝度値が時間軸上に沿って交互に現れるデータにおいて、第１の輝度値が現れてから次の第１の輝度値が現れるまでのインターバルを、送信対象の信号に応じた方式にしたがって決定することにより、第１のペイロードを生成する。
ステップＳＥ３では、プリアンブルと第１のペイロードとを結合することによって可視光信号を生成する。
図１２２Ｂは、実施の形態５に係る他の信号生成装置の構成を示すブロック図である。この信号生成装置Ｅ１０は、送信機が備える光源の輝度変化によって送信される可視光信号を生成する信号生成装置であって、プリアンブル生成部Ｅ１１と、ペイロード生成部Ｅ１２と、結合部Ｅ１３とを備える。また、この信号生成装置Ｅ１０は、図１２２Ａに示すフローチャートの処理を実行する。
つまり、プリアンブル生成部Ｅ１１は、互いに異なる輝度値である第１および第２の輝度値のそれぞれが、時間軸上に沿って交互に現れるデータであるプリアンブルを生成する。
ペイロード生成部Ｅ１２は、第１および第２の輝度値が時間軸上に沿って交互に現れるデータにおいて、第１の輝度値が現れてから次の第１の輝度値が現れるまでのインターバルを、送信対象の信号に応じた方式にしたがって決定することにより、第１のペイロードを生成する。
結合部Ｅ１３では、プリアンブルと第１のペイロードとを結合することによって可視光信号を生成する。
例えば、第１および第２の輝度値は、Ｂｒｉｇｈｔ（Ｈｉｇｈ）およびＤａｒｋ（Ｌｏｗ）であり、第１のペイロードは、ＰＨＹペイロードである。このように生成された可視光信号を送信することによって、受信パケット数を増やすことができるとともに、信頼度を高めることができる。その結果、多様な機器間の通信を可能にすることができる。
例えば、プリアンブルおよび第１のペイロードのそれぞれにおける第１の輝度値の時間長は、１０μ秒以下である。
これにより、可視光通信を行いながら光源の平均的な輝度を抑えることができる。
また、プリアンブルは、第１のペイロードに対するヘッダであり、そのヘッダの時間長は、第１の輝度値が現れてから次の第１の輝度値が現れるまでのインターバルを３つ含む。ここで、その３つのインターバルのそれぞれは、１６０μ秒である。つまり、パケットＰＰＭのモード１におけるヘッダ（ＳＨＲ）に含まれる各パルス間のインターバルのパターンが定義される。なお、上記各パルスは、例えば第１の輝度値を有するパルスである。
また、プリアンブルは、第１のペイロードに対するヘッダであり、そのヘッダの時間長は、第１の輝度値が現れてから次の第１の輝度値が現れるまでのインターバルを３つ含む。ここで、その３つのインターバルのうちの１つ目のインターバルは、１６０μ秒であり、２つ目のインターバルは、１８０μ秒であり、３つ目のインターバルは、１６０μ秒である。つまり、パケットＰＰＭのモード２におけるヘッダ（ＳＨＲ）に含まれる各パルス間のインターバルのパターンが定義される。
また、プリアンブルは、第１のペイロードに対するヘッダであり、そのヘッダの時間長は、第１の輝度値が現れてから次の第１の輝度値が現れるまでのインターバルを３つ含む。ここで、３つのインターバルのうちの１つ目のインターバルは、８０μ秒であり、２つ目のインターバルは、９０μ秒であり、３つ目のインターバルは、８０μ秒である。つまり、パケットＰＰＭのモード３におけるヘッダ（ＳＨＲ）に含まれる各パルス間のインターバルのパターンが定義される。
このように、パケットＰＰＭのモード１、モード２およびモード３のそれぞれのヘッダのパターンが定義されるため、受信機は、可視光信号における第１のペイロードを適切に受信することができる。
また、送信対象の信号は、第１のビットｘ０から第６のビットｘ５までの６ビットからなり、第１のペイロードの時間長は、第１の輝度値が現れてから次の第１の輝度値が現れるまでのインターバルを２つ含む。ここで、パラメータｙｋが、ｙｋ＝ｘ３ｋ＋ｘ３ｋ+１×２＋ｘ３ｋ+２×４として表される場合（ｋは０または１）、第１のペイロードの生成では、第１のペイロードにおける２つのインターバルのそれぞれを、上述の方式であるインターバルＰｋ＝１８０+３０×ｙｋ［μ秒］にしたがって決定する。つまり、パケットＰＰＭのモード１では、送信対象の信号が、第１のペイロード（ＰＨＹペイロード）に含まれる各パルス間のインターバルとして変調される。
また、送信対象の信号は、第１のビットｘ０から第１２のビットｘ１１までの１２ビットからなり、第１のペイロードの時間長は、第１の輝度値が現れてから次の第１の輝度値が現れるまでのインターバルを４つ含む。ここで、パラメータｙｋが、ｙｋ＝ｘ３ｋ＋ｘ３ｋ+１×２＋ｘ３ｋ+２×４として表される場合（ｋは０、１、２または３）、第１のペイロードの生成では、第１のペイロードにおける４つのインターバルのそれぞれを、上述の方式であるインターバルＰｋ＝１８０+３０×ｙｋ［μ秒］にしたがって決定する。つまり、パケットＰＰＭのモード２では、送信対象の信号が、第１のペイロード（ＰＨＹペイロード）に含まれる各パルス間のインターバルとして変調される。
また、送信対象の信号は、第１のビットｘ０から第３ｎのビットｘ３ｎ−１までの３ｎビットからなり（ｎは２以上の整数）、第１のペイロードの時間長は、第１の輝度値が現れてから次の第１の輝度値が現れるまでのインターバルをｎ個含む。ここで、パラメータｙｋが、ｙｋ＝ｘ３ｋ＋ｘ３ｋ+１×２＋ｘ３ｋ+２×４として表される場合（ｋは０〜（ｎ−１）までの整数）、第１のペイロードの生成では、第１のペイロードにおけるｎ個の前記インターバルのそれぞれを、上述の方式であるインターバルＰｋ＝１００＋２０×ｙｋ［μ秒］にしたがって決定する。つまり、パケットＰＰＭのモード３では、送信対象の信号が、第１のペイロード（ＰＨＹペイロード）に含まれる各パルス間のインターバルとして変調される。
このように、パケットＰＰＭのモード１、モード２およびモード３では、送信対象の信号が各パルス間のインターバルとして変調されるため、受信機は、そのインターバルに基づいて、可視光信号を適切に送信対象の信号に復調することができる。
また、可視光信号の生成方法では、さらに、第１のペイロードに対するフッタを生成し、可視光信号の生成では、第１のペイロードの次にそのフッタを結合してもよい。つまり、パケットＰＷＭおよびパケットＰＰＭのモード３では、第１のペイロード（ＰＨＹペイロード）に続いてフッタ（ＳＦＴ）が送信される。これにより、第１のペイロードの終了をフッタによって明確に特定することができるため、可視光通信を効率的に行うことができる。
また、可視光信号の生成では、フッタが送信されない場合には、そのフッタに代えて、送信対象の信号の次の信号に対するヘッダを結合してもよい。つまり、パケットＰＷＭおよびパケットＰＰＭのモード３では、フッタ（ＳＦＴ）の代わりに、第１のペイロード（ＰＨＹペイロード）に続いて、その次の第１のペイロードに対するヘッダ（ＳＨＲ）が送信される。これにより、第１のペイロードの終了を、次の第１のペイロードに対するヘッダによって明確に特定することができるとともに、フッタが送信されないため、可視光通信をより効率的に行うことができる。
なお、上記各実施の形態および各変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図１２２Ａのフローチャートによって示される可視光信号の生成方法をコンピュータに実行させる。
以上、一つまたは複数の態様に係る可視光信号の生成方法について、上記各実施の形態および各変形例に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態および変形例における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれてもよい。
（実施の形態６）
本実施の形態では、可視光信号の復号方法および符号化方法などについて説明する。
図１２３は、ＭＰＭにおけるＭＡＣフレームのフォーマットを示す図である。
ＭＰＭ（Mirror Pulse Modulation）におけるＭＡＣ（medium access control）フレームのフォーマットは、ＭＨＲ（medium access control header）とＭＳＤＵ（medium access control service-data unit）とから構成される。ＭＨＲフィールドは、シーケンス番号サブフィールドを含む。ＭＳＤＵは、フレームペイロードを含み、可変長である。ＭＨＲとＭＳＤＵとを含むＭＰＤＵ（medium access control protocol-data unit）のビット長は、macMpmMpduLengthとして設定される。
なお、ＭＰＭは、実施の形態５における変調方式であって、例えば、図１２１に示されるように送信対象の情報または信号を変調する方式である。
図１２４は、ＭＰＭにおけるＭＡＣフレームを生成する符号化装置の処理動作を示すフローチャートである。具体的には、図１２４は、シーケンス番号サブフィールドのビット長の決め方を示す図である。なお、符号化装置は、例えば、可視光信号を送信する上述の送信機または送信装置などに備えられている。
シーケンス番号サブフィールドは、フレームシーケンス番号（シーケンス番号ともいう）を含む。シーケンス番号サブフィールドのビット長は、macMpmSnLengthとして設定される。シーケンス番号サブフィールドのビット長が可変長に設定されている場合、シーケンス番号サブフィールドにおける先頭のビットは、最終フレームフラグとして使用される。つまり、この場合、シーケンス番号サブフィールドは、最終フレームフラグと、シーケンス番号を示すビット列とを含む。その最終フレームフラグは、最終フレームでは１に設定され、その他のフレームでは、０に設定される。つまり、この最終フレームフラグは、処理対象フレームが最終フレームであるか否かを示す。なお、この最終フレームフラグは、上述のストップビットに相当する。また、シーケンス番号は、上述のアドレスに相当する。
まず、符号化装置は、ＳＮが可変長に設定されているか否かを判定する（ステップＳ１０１ａ）。なお、ＳＮは、シーケンス番号サブフィールドのビット長である。つまり、符号化装置は、macMpmSnLengthが０ｘｆを示すか否かを判定する。macMpmSnLengthが０ｘｆを示すときには、ＳＮは可変長であり、macMpmSnLengthが０ｘｆ以外を示すときには、ＳＮは固定長である。符号化装置は、ＳＮが可変長に設定されていない、すなわち、ＳＮが固定長に設定されていると判定すると（ステップＳ１０１ａのＮ）、ＳＮをmacMpmSnLengthによって示される値に決定する（ステップＳ１０２ａ）。このとき、符号化装置は、最終フレームフラグ（すなわちＬＦＦ）を使用しない。
一方、符号化装置は、ＳＮが可変長に設定されていると判定すると（ステップＳ１０１ａのＹ）、処理対象フレームが最終フレームか否かを判定する（ステップＳ１０３ａ）。ここで、符号化装置は、処理対象フレームが最終フレームであると判定すると（ステップＳ１０３ａのＹ）、ＳＮを５ビットに決定する（ステップＳ１０４ａ）。このとき、符号化装置は、シーケンス番号サブフィールドにおける先頭のビットとして、１を示す最終フレームフラグを決定する。
また、符号化装置は、処理対象フレームが最終フレームでないと判定すると（ステップＳ１０３ａのＮ）、最終フレームのシーケンス番号の値が、１−１５のうちの何れかを判定する（ステップＳ１０５ａ）。なお、シーケンス番号は、０から昇順に、各フレームに対して割り当てられる整数である。また、ステップＳ１０３ａでＮの場合には、フレーム数は２以上である。したがって、この場合には、最終フレームのシーケンス番号の値は、０を除く１−１５のうちの何れかを取り得る。
符号化装置は、ステップＳ１０５ａにおいて、最終フレームのシーケンス番号の値が１であると判定すると、ＳＮを１ビットに決定する（ステップＳ１０６ａ）。このとき、符号化装置は、シーケンス番号サブフィールドにおける先頭のビットである最終フレームフラグの値を、０に決定する。
例えば、最終フレームのシーケンス番号の値が１である場合、最終フレームのシーケンス番号サブフィールドは、最終フレームフラグ（１）とシーケンス番号の値（１）とを含む（１，１）として表される。このとき、符号化装置は、処理対象フレームのシーケンス番号サブフィールドのビット長を１ビットに決定する。つまり、符号化装置は、最終フレームフラグ（０）のみを含むシーケンス番号サブフィールドを決定する。
符号化装置は、ステップＳ１０５ａにおいて、最終フレームのシーケンス番号の値が２であると判定すると、ＳＮを２ビットに決定する（ステップＳ１０７ａ）。このときにも、符号化装置は、最終フレームフラグの値を０に決定する。
例えば、最終フレームのシーケンス番号の値が２である場合、最終フレームのシーケンス番号サブフィールドは、最終フレームフラグ（１）とシーケンス番号の値（２）とを含む（１，０，１）として表される。なお、シーケンス番号は、ビット列によって示されるが、そのビット列では、左端のビットがＬＳＢ（least significant bit）であって、右端のビットがＭＳＢ（most significant bit）である。したがって、シーケンス番号の値（２）は、ビット列（０，１）と表記される。このように、最終フレームのシーケンス番号の値が２である場合、符号化装置は、処理対象フレームのシーケンス番号サブフィールドのビット長を２ビットに決定する。つまり、符号化装置は、最終フレームフラグ（０）と、シーケンス番号を示すビット（０）または（１）とを含むシーケンス番号サブフィールドを決定する。
符号化装置は、ステップＳ１０５ａにおいて、最終フレームのシーケンス番号の値が３または４であると判定すると、ＳＮを３ビットに決定する（ステップＳ１０８ａ）。このときにも、符号化装置は、最終フレームフラグの値を０に決定する。
符号化装置は、ステップＳ１０５ａにおいて、最終フレームのシーケンス番号の値が５−８の何れかの整数であると判定すると、ＳＮを４ビットに決定する（ステップＳ１０９ａ）。このときにも、符号化装置は、最終フレームフラグの値を０に決定する。
符号化装置は、ステップＳ１０５ａにおいて、最終フレームのシーケンス番号の値が９−１５の何れかの整数であると判定すると、ＳＮを５ビットに決定する（ステップＳ１１０ａ）。このときにも、符号化装置は、最終フレームフラグの値を０に決定する。
図１２５は、ＭＰＭにおけるＭＡＣフレームを復号する復号装置の処理動作を示すフローチャートである。具体的には、図１２５は、シーケンス番号サブフィールドのビット長の決め方を示す図である。なお、復号装置は、例えば、可視光信号を受信する上述の受信機または受信装置などに備えられている。
ここで、復号装置は、ＳＮが可変長に設定されているか否かを判定する（ステップＳ２０１ａ）。つまり、復号装置は、macMpmSnLengthが０ｘｆを示すか否かを判定する。復号装置は、ＳＮが可変長に設定されていない、すなわち、ＳＮが固定長に設定されていると判定すると（ステップＳ２０１ａのＮ）、ＳＮをmacMpmSnLengthによって示される値に決定する（ステップＳ２０２ａ）。このとき、復号装置は、最終フレームフラグ（すなわちＬＦＦ）を使用しない。
一方、復号装置は、ＳＮが可変長に設定されていると判定すると（ステップＳ２０１ａのＹ）、復号対象フレームの最終フレームフラグの値が１であるか０であるかを判定する（ステップＳ２０３ａ）。つまり、復号装置は、復号対象フレームが最終フレームであるか否かを判定する。ここで、復号装置は、最終フレームフラグの値が１であると判定すると（ステップＳ２０３ａの１）、ＳＮを５ビットに決定する（ステップＳ２０４ａ）。
また、復号装置は、最終フレームフラグの値が０であると判定すると（ステップＳ２０３ａの０）、最終フレームのシーケンス番号サブフィールドにおける第２ビットから第５ビットまでのビット列によって示される値が、１−１５のうちの何れであるかを判定する（ステップＳ２０５ａ）。最終フレームは、１を示す最終フレームフラグを有し、復号対象フレームと同じソースから生成されたフレームである。また、各ソースは、撮像画像中の位置によって特定される。なお、ソースは、例えば複数のフレーム（すなわちパケット）に分割される。つまり、最終フレームは、１つのソースの分割によって生成された複数のフレームの中の最後のフレームである。また、シーケンス番号サブフィールドにおける第２ビットから第５ビットまでのビット列によって示される値は、シーケンス番号の値である。
復号装置は、ステップＳ２０５ａにおいて、上記ビット列によって示される値が１であると判定すると、ＳＮを１ビットに決定する（ステップＳ２０６ａ）。例えば、最終フレームのシーケンス番号サブフィールドが（１，１）の２ビットである場合、最終フレームフラグは１であり、最終フレームのシーケンス番号、すなわち上記ビット列によって示される値は１である。このとき、復号装置は、復号対象フレームのシーケンス番号サブフィールドのビット長を１ビットに決定する。つまり、復号装置は、復号対象フレームのシーケンス番号サブフィールドを（０）に決定する。
復号装置は、ステップＳ２０５ａにおいて、上記ビット列によって示される値が２であると判定すると、ＳＮを２ビットに決定する（ステップＳ２０７ａ）。例えば、最終フレームのシーケンス番号サブフィールドが（１，０，１）の３ビットである場合、最終フレームフラグは１であり、最終フレームのシーケンス番号、すなわち上記ビット列（０，１）によって示される値は２である。なお、上記ビット列では、左端のビットがＬＳＢ（least significant bit）であって、右端のビットがＭＳＢ（most significant bit）である。このとき、復号装置は、復号対象フレームのシーケンス番号サブフィールドのビット長を２ビットに決定する。つまり、復号装置は、復号対象フレームのシーケンス番号サブフィールドを（０，０）または（０，１）に決定する。
復号装置は、ステップＳ２０５ａにおいて、上記ビット列によって示される値が３または４であると判定すると、ＳＮを３ビットに決定する（ステップＳ２０８ａ）。
復号装置は、ステップＳ２０５ａにおいて、上記ビット列によって示される値が５−８の何れかの整数であると判定すると、ＳＮを４ビットに決定する（ステップＳ２０９ａ）。
復号装置は、ステップＳ２０５ａにおいて、上記ビット列によって示される値が９−１５の何れかの整数であると判定すると、ＳＮを５ビットに決定する（ステップＳ２１０ａ）。
図１２６は、ＭＡＣのＰＩＢの属性を示す図である。
ＭＡＣのＰＩＢ（physical-layer personal-area-network information base）の属性には、macMpmSnLengthとmacMpmMpduLengthとがある。macMpmSnLengthは、０ｘ０−０ｘｆまでの範囲における何れかの整数値であって、シーケンス番号サブフィールドのビット長を示す。具体的には、macMpmSnLengthは、０ｘ０−０ｘｅまでの範囲における何れかの整数値である場合には、その整数値をシーケンス番号サブフィールドの固定のビット長として示す。また、macMpmSnLengthは、０ｘｆである場合には、シーケンス番号サブフィールドのビット長が可変であることを示す。
macMpmMpduLengthは、０ｘ００−０ｘｆｆまでの範囲における何れかの整数値であって、ＭＰＤＵのビット長を示す。
図１２７は、ＭＰＭの調光方法を説明するための図である。
ＭＰＭは、調光機能を有する。ＭＰＭの調光方法には、例えば図１２７に示す、（ａ）アナログ調光方式、（ｂ）ＰＷＭ調光方式、（ｃ）ＶＰＰＭ調光方式、および（ｄ）フィールド挿入調光方式がある。
アナログ調光方式では、例えば（ａ２）に示すように、輝度を変化させることによって可視光信号を送信する。ここで、その可視光信号を暗くする場合には、例えば（ａ１）に示すように、可視光信号の全体の輝度を下げる。逆に、その可視光信号を明るくする場合には、例えば（ａ３）に示すように、可視光信号の全体の輝度を上げる。
ＰＷＭ調光方式では、例えば（ｂ２）に示すように、輝度を変化させることによって可視光信号を送信する。ここで、その可視光信号を暗くする場合には、例えば（ｂ１）に示すように、（ｂ２）に示す高い輝度の光が出力される期間において、僅かな期間だけその輝度を下げる。逆に、その可視光信号を明るくする場合には、例えば（ｂ３）に示すように、（ｂ２）に示す低い輝度の光が出力される期間において、僅かな期間だけその輝度を上げる。なお、上述の僅かな期間は、元のパルス幅の１／３未満で、５０μ秒未満でなければならない。
ＶＰＰＭ調光方式では、例えば（ｃ２）に示すように、輝度を変化させることによって可視光信号を送信する。ここで、その可視光信号を暗くする場合には、例えば（ｃ１）に示すように、輝度の立ち下がりのタイミングを早める。逆に、その可視光信号を明るくする場合には、例えば（ｃ３）に示すように、輝度の立ち下がりのタイミングを遅らせる。なお、ＶＰＰＭ変調方式は、ＭＰＭにおけるＰＨＹのＰＰＭモードに対してのみ用いることができる。
フィールド挿入調光方式では、例えば（ｄ２）に示すように、複数のＰＰＤＵ（physical-layer data unit）を含む可視光信号を送信する。ここで、その可視光信号を暗くする場合には、例えば（ｄ１）に示すように、ＰＰＤＵの間に、ＰＰＤＵの輝度よりも低い輝度の調光フィールドを挿入する。逆に、その可視光信号を明るくする場合には、例えば（ｄ３）に示すように、ＰＰＤＵの間に、ＰＰＤＵの輝度よりも高い輝度の調光フィールドを挿入する。
図１２８は、ＰＨＹのＰＩＢの属性を示す図である。
ＰＨＹ（physical layer）のＰＩＢの属性には、phyMpmMode、phyMpmPlcpHeaderMode、phyMpmPlcpCenterMode、phyMpmSymbolSize、phyMpmOddSymbolBit、phyMpmEvenSymbolBit、phyMpmSymbolOffset、およびphyMpmSymbolUnitがある。
phyMpmModeは、０または１であって、ＭＰＭのＰＨＹモードを示す。具体的には、phyMpmModeは、０である場合には、ＰＨＹモードがＰＷＭモードであることを示し、１である場合には、ＰＨＹモードがＰＷＭモードであることを示す。
phyMpmPlcpHeaderModeは、０ｘ０−０ｘｆまでの範囲における何れかの整数値であって、ＰＬＣＰ（Physical Layer Conversion Protocol）ヘッダサブフィールドモードおよびＰＬＣＰフッタサブフィールドモードを示す。
phyMpmPlcpCenterModeは、０ｘ０−０ｘｆまでの範囲における何れかの整数値であって、ＰＬＣＰセンタサブフィールドモードを示す。
phyMpmSymbolSizeは、０ｘ０−０ｘｆまでの範囲における何れかの整数値であって、ペイロードサブフィールドのシンボル数を示す。具体的には、phyMpmSymbolSizeは、０ｘ０の場合には、そのシンボル数が可変であることを示し、Ｎとして参照される。
phyMpmOddSymbolBitは、０ｘ０−０ｘｆまでの範囲における何れかの整数値であって、ペイロードサブフィールドの各奇数シンボルに含まれるビット長を示し、Ｍｏｄｄとして参照される。
phyMpmEvenSymbolBitは、０ｘ０−０ｘｆまでの範囲における何れかの整数値であって、ペイロードサブフィールドの各偶数シンボルに含まれるビット長を示し、Ｍｅｖｅｎとして参照される。
phyMpmSymbolOffsetは、０ｘ００−０ｘｆｆまでの範囲における何れかの整数値であって、ペイロードサブフィールドのシンボルのオフセット値を示し、Ｗ１として参照される。
phyMpmSymbolUnitは、０ｘ００−０ｘｆｆまでの範囲における何れかの整数値であって、ペイロードサブフィールドのシンボルのユニット値を示し、Ｗ２として参照される。
図１２９は、ＭＰＭを説明するための図である。
ＭＰＭは、ＰＳＤＵ（PHY service data unit）フィールドのみで構成される。また、ＰＳＤＵフィールドは、ＭＰＭのＰＬＣＰによって変換されるＭＰＤＵを含む。
ＭＰＭのＰＬＣＰは、図１２９に示すように、ＭＰＤＵを５つのサブフィールドに変換する。５つのサブフィールドは、ＰＬＣＰヘッダサブフィールド、フロントペイロードサブフィールド、ＰＬＣＰセンタサブフィールド、バックペイロードサブフィールド、およびＰＬＣＰフッタサブフィールドである。ＭＰＭのＰＨＹモードは、phyMpmModeとして設定される。
図１２９に示すように、ＭＰＭのＰＬＣＰは、ビット再配置部３０１ａと、複製部３０２ａと、フロント変換部３０３ａと、バック変換部３０４ａとを備える。
ここで、（ｘ０、ｘ１、ｘ２、．．．）は、ＭＰＤＵに含まれる各ビットであり、ＬＳＮは、シーケンス番号サブフィールドのビット長であり、Ｎは、各ペイロードサブフィールドのシンボル数である。ビット再配置部３０１ａは、以下の（式１）にしたがって、（ｘ０、ｘ１、ｘ２、．．．）を（ｙ０、ｙ１、ｙ２、．．．）に再配置する。
この再配置によって、ＭＰＤＵの先頭にあるシーケンス番号サブフィールドに含まれる各ビットは、ＬＳＮだけ後側に移動する。複製部３０２ａは、そのビット再配置後のＭＰＤＵを複製する。
フロントペイロードサブフィールドおよびバックペイロードサブフィールドはそれぞれ、Ｎ個のシンボルからなる。ここで、Ｍｏｄｄは、奇数番目のシンボルに含まれるビット長であり、Ｍｅｖｅｎは、偶数番目のシンボルに含まれるビット長であり、Ｗ１は、シンボル値オフセット（上述のオフセット値）であり、Ｗ２は、シンボル値単位（上述のユニット値）である。なお、Ｎ、Ｍｏｄｄ、Ｍｅｖｅｎ、Ｗ１、およびＷ２は、図１２８に示すＰＨＹのＰＩＢによって設定される。
フロント変換部３０３ａおよびバック変換部３０４ａは、再配置されたＭＰＤＵのペイロードビット（ｙ０、ｙ１、ｙ２、．．．）を、以下の（式２）〜（式５）によってｚｉに変換する。
フロント変換部３０３ａは、ｚｉを用いて、フロントペイロードサブフィールドのｉ番目のシンボル（すなわちシンボル値）を以下の（式６）によって算出する。
バック変換部３０４ａは、ｚｉを用いて、バックペイロードサブフィールドのｉ番目のシンボル（すなわちシンボル値）を以下の（式７）によって算出する。
図１３０は、ＰＬＣＰヘッダサブフィールドを示す図である。
ＰＬＣＰヘッダサブフィールドは、図１３０に示すように、ＰＷＭモードでは、４つのシンボルによって構成され、ＰＰＭモードでは、３つのシンボルによって構成される。
図１３１は、ＰＬＣＰセンタサブフィールドを示す図である。
ＰＬＣＰセンタのサブフィールドは、図１３１に示すように、ＰＷＭモードでは、４つのシンボルによって構成され、ＰＰＭモードでは、３つのシンボルによって構成される。
図１３２は、ＰＬＣＰフッタサブフィールドを示す図である。
ＰＬＣＰフッタサブフィールドは、図１３２に示すように、ＰＷＭモードでは、４つのシンボルによって構成され、ＰＰＭモードでは、３つのシンボルによって構成される。
図１３３は、ＭＰＭにおけるＰＨＹのＰＷＭモードの波形を示す図である。
ＰＷＭモードでは、シンボルは、光強度の２つの状態のうちの何れか、すなわち明るい状態または暗い状態として送信されなければならない。ＭＰＭにおけるＰＨＹのＰＷＭモードでは、シンボル値は、マイクロ秒単位の連続時間に対応する。例えば、図１３３に示すように、第１のシンボル値は、第１の明るい状態の連続時間に対応し、第２のシンボル値は、次の暗い状態の連続時間に対応する。なお、図１３３に示す例では、各サブフィールドの最初の状態は、明るい状態であるが、暗い状態であってもよい。
図１３４は、ＭＰＭにおけるＰＨＹのＰＰＭモードの波形を示す図である。
ＰＰＭモードでは、図１３４に示すように、シンボル値は、明るい状態の開始から次の明るい状態の開始までの時間をマイクロ秒単位で表す。明るい状態の時間は、シンボル値の９０％より短くなければならない。
両方のモードについて、送信機は、複数のシンボルの一部のみを送信することができる。しかし、送信機は、ＰＬＣＰセンタサブフィールドのすべてのシンボルと、少なくともＮ個のシンボルとを送信しなければならない。その少なくともＮ個のシンボルのぞれぞれは、フロントペイロードサブフィールドおよびバックペイロードサブフィールドの何れかに含まれるシンボルである。
（実施の形態６のまとめ）
図１３５は、実施の形態６の復号方法の一例を示すフローチャートである。なお、この図１３５に示すフローチャートは、図１２５に示すフローチャートに相当する。
この復号方法は、複数のフレームで構成される可視光信号を復号する方法であって、図１３５に示すように、ステップＳ３１０ｂと、ステップＳ３２０ｂと、ステップＳ３３０ｂとを含む。また、これらの複数のフレームのそれぞれはシーケンス番号とフレームペイロードとを含む。
ステップＳ３１０ｂでは、復号対象フレームにおいてシーケンス番号が格納されるサブフィールドのビット長を決定するための情報であるmacSnLengthに基づいて、そのサブフィールドのビット長が可変長か否かを判定する可変長判定処理を行う。
ステップＳ３２０ｂでは、その可変長判定処理の結果に基づいて、そのサブフィールドのビット長を決定する。そして、ステップＳ３３０ｂでは、決定されたサブフィールドのビット長に基づいて、復号対象フレームを復号する。
ここで、ステップＳ３２０ｂにおける上記サブフィールドのビット長の決定は、ステップＳ３２１ｂ〜Ｓ３２４ｂを含む。
つまり、ステップＳ３１０ｂの可変長判定処理において、サブフィールドのビット長が可変長ではないと判定された場合には、そのサブフィールドのビット長を、上述のmacSnLengthによって示される値に決定する（ステップＳ３２１ｂ）。
一方、ステップＳ３１０ｂの可変長判定処理において、サブフィールドのビット長が可変長であると判定された場合には、復号対象フレームが、上記複数のフレームのうちの最終フレームであるか否か判定する最終判定処理を行う（ステップＳ３２２ｂ）。ここで、最終フレームであると判定された場合には（ステップＳ３２２ｂのＹ）、そのサブフィールドのビット長を所定の値に決定する（ステップＳ３２３ｂ）。一方、最終フレームでないと判定された場合には（ステップＳ３２２ｂのＮ）、最終フレームのシーケンス番号の値に基づいて、そのサブフィールドのビット長を決定する（ステップＳ３２４ｂ）。
これにより、図１３５に示すように、シーケンス番号が格納されるサブフィールド（具体的には、シーケンス番号サブフィールド）のビット長が固定長であっても可変長であっても、そのサブフィールドのビット長を適切に決定することができる。
ここで、ステップＳ３２２ｂの最終判定処理では、復号対象フレームが最終フレームであるか否かを示す最終フレームフラグに基づいて、その復号対象フレームが最終フレームであるか否かを判定してもよい。具体的には、ステップＳ３２２ｂの最終判定処理では、最終フレームフラグが１を示す場合に、その復号対象フレームが最終フレームであると判定し、最終フレームフラグが０を示す場合に、その復号対象フレームが最終フレームではないと判定してもよい。例えば、最終フレームフラグは、そのサブフィールドの１ビット目に含まれていてもよい。
これにより、図１２５のステップＳ２０３ａに示すように、復号対象フレームが最終フレームであるか否かを適切に判定することができる。
より具体的には、ステップＳ３２０ｂにおけるサブフィールドのビット長の決定では、ステップＳ３２２ｂの最終判定処理において、復号対象フレームが最終フレームであると判定された場合には、サブフィールドのビット長を、上述の所定の値である５ビットに決定してもよい。つまり、図１２５のステップＳ２０４ａに示すように、サブフィールドのビット長ＳＮが５ビットに決定される。
また、ステップＳ３２０ｂにおけるサブフィールドのビット長の決定では、ステップＳ３２２ｂの最終判定処理において、復号対象フレームが最終フレームではないと判定された場合に、最終フレームのシーケンス番号の値が１であるときには、サブフィールドのビット長を、１ビットに決定してもよい。また、最終フレームのシーケンス番号の値が２であるときには、そのサブフィールドのビット長を、２ビットに決定してもよい。また、最終フレームのシーケンス番号の値が３または４であるときには、そのサブフィールドのビット長を、３ビットに決定してもよい。また、最終フレームのシーケンス番号の値が５から８の何れかの整数であるときには、そのサブフィールドのビット長を、４ビットに決定してもよい。また、最終フレームのシーケンス番号の値が９から１５の何れかの整数であるときには、そのサブフィールドのビット長を、５ビットに決定してもよい。つまり、図１２５のステップＳ２０６ａ〜Ｓ２１０ａに示すように、サブフィールドのビット長ＳＮが１〜５ビットの何れかに決定される。
図１３６は、実施の形態６の符号化方法の一例を示すフローチャートである。なお、この図１３６に示すフローチャートは、図１２４に示すフローチャートに相当する。
この符号化方法は、符号化対象の情報を、複数のフレームで構成される可視光信号に符号化する方法であって、図１３６に示すように、ステップＳ４１０ａと、ステップＳ４２０ａと、ステップＳ４３０ａとを含む。また、これらの複数のフレームのそれぞれはシーケンス番号とフレームペイロードとを含む。
ステップＳ４１０ａでは、処理対象フレームにおいてシーケンス番号が格納されるサブフィールドのビット長を決定するための情報であるmacSnLengthに基づいて、そのサブフィールドのビット長が可変長か否かを判定する可変長判定処理を行う。
ステップＳ４２０ａでは、その可変長判定処理の結果に基づいて、そのサブフィールドのビット長を決定する。そして、ステップＳ４３０ａでは、決定されたサブフィールドのビット長に基づいて、符号化対象の情報の一部を処理対象フレームに符号化する。
ここで、ステップＳ４２０ａにおける上記サブフィールドのビット長の決定では、ステップＳ４２１ａ〜Ｓ４２４ａを含む。
つまり、ステップＳ４１０ａの可変長判定処理において、サブフィールドのビット長が可変長ではないと判定された場合には、そのサブフィールドのビット長を、上述のmacSnLengthによって示される値に決定する（ステップＳ４２１ａ）。
一方、ステップＳ４１０ａの可変長判定処理において、サブフィールドのビット長が可変長であると判定された場合には、処理対象フレームが、上記複数のフレームのうちの最終フレームであるか否か判定する最終判定処理を行う（ステップＳ４２２ａ）。ここで、最終フレームであると判定された場合には（ステップＳ４２２ａのＹ）、そのサブフィールドのビット長を所定の値に決定する（ステップＳ４２３ａ）。一方、最終フレームでないと判定された場合には（ステップＳ４２２ａのＮ）、最終フレームのシーケンス番号の値に基づいて、そのサブフィールドのビット長を決定する（ステップＳ４２４ａ）。
これにより、図１３６に示すように、シーケンス番号が格納されるサブフィールド（具体的には、シーケンス番号サブフィールド）のビット長が固定長であっても可変長であっても、そのサブフィールドのビット長を適切に決定することができる。
なお、本実施の形態における復号装置は、プロセッサとメモリとを備え、メモリには、図１３５に示す復号方法をプロセッサに実行させるプログラムが記録されている。本実施の形態における符号化装置は、プロセッサとメモリとを備え、メモリには、図１３６に示す符号化方法をプロセッサに実行させるプログラムが記録されている。また、本実施の形態におけるプログラムは、図１３５に示す復号方法、または図１３６に示す符号化方法をコンピュータに実行させるプログラムである。
（実施の形態７）
本実施の形態では、光ＩＤを可視光信号によって送信する送信方法について説明する。なお、本実施の形態における送信機および受信機は、上記各実施の形態における送信機（または送信装置）および受信機（または受信装置）と同一の機能および構成を有していてもよい。
図１３７は、本実施の形態における受信機がＡＲ画像を表示する例を示す図である。
本実施の形態における受信機２００は、イメージセンサおよびディスプレイ２０１を備えた受信機であって、例えばスマートフォンとして構成されている。このような受信機２００は、そのイメージセンサによる被写体の撮像によって、上述の通常撮影画像である撮像表示画像Ｐａと、上述の可視光通信画像または輝線画像である復号用画像とを取得する。
具体的には、受信機２００のイメージセンサは送信機１００を撮像する。送信機１００は、例えば電球のような形態を有し、ガラス球１４１と、そのガラス球１４１の内部で炎のように光りながら揺らめく発光部１４２とを備える。この発光部１４２は、送信機１００に備えられた１つまたは複数の発光素子（例えばＬＥＤ）の点灯によって光る。この送信機１００は、その発光部１４２を点滅させることによって輝度変化し、その輝度変化によって光ＩＤ（光識別情報）を送信する。この光ＩＤは、上述の可視光信号である。
受信機２００は、送信機１００を通常露光時間で撮像することによって、その送信機１００が映し出された撮像表示画像Ｐａを取得するとともに、その通常露光時間よりも短い通信用露光時間で送信機１００を撮像することによって、復号用画像を取得する。なお、通常露光時間は、上述の通常撮影モードにおける露光時間であり、通信用露光時間は、上述の可視光通信モードにおける露光時間である。
受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、送信機１００から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ４２と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐａのうち、その認識情報に応じた領域を対象領域として認識する。そして、受信機２００は、その対象領域にＡＲ画像Ｐ４２を重畳し、ＡＲ画像Ｐ４２が重畳された撮像表示画像Ｐａをディスプレイ２０１に表示する。
例えば、受信機２００は、図５１に示す例と同様に、認識情報にしたがって、送信機１００が映し出されている領域の左上にある領域を対象領域として認識する。その結果、例えば妖精を示すＡＲ画像Ｐ４２は、送信機１００の周りを飛んでいるように表示される。
図１３８は、ＡＲ画像Ｐ４２が重畳された撮像表示画像Ｐａの他の例を示す図である。
受信機２００は、図１３８に示すように、ＡＲ画像Ｐ４２が重畳された撮像表示画像Ｐａをディスプレイ２０１に表示する。
ここで、上述の認識情報は、撮像表示画像Ｐａにおける閾値以上の輝度を有する範囲が基準領域であることを示す。さらに、その認識情報は、その基準領域に対して予め定められた方向に対象領域があることと、その対象領域が基準領域の中心（または重心）から予め定められた距離だけ離れていることを示す。
したがって、受信機２００によって撮像されている送信機１００の発光部１４２が揺らめくと、図１３８に示すように、撮像表示画像Ｐａの対象領域に重畳されるＡＲ画像Ｐ４２も、その発光部１４２の動きに同期するように動く。つまり、発光部１４２が揺らめくと、撮像表示画像Ｐａに映し出されている発光部１４２の像１４２ａも揺らめく。この像１４２ａは、上述の閾値以上の輝度を有する範囲であって、基準領域である。すなわち、基準領域が動くため、受信機２００は、その基準領域と対象領域との間の距離が予め定められた距離に維持されるように、対象領域を移動させて、その移動する対象領域にＡＲ画像Ｐ４２を重畳する。その結果、発光部１４２が揺らめくと、撮像表示画像Ｐａの対象領域に重畳されるＡＲ画像Ｐ４２も、その発光部１４２の動きに同期するように動く。なお、基準領域の中心位置は、発光部１４２の変形によっても移動することがある。したがって、発光部１４２が変形する場合にも、ＡＲ画像４２は、その移動する基準領域の中心位置との間の距離が予め定められた距離に維持されるように動くことがある。
また、上述の例では、受信機２００は、認識情報に基づいて対象領域を認識し、その対象領域にＡＲ画像Ｐ４２を重畳するが、その対象領域を中心にＡＲ画像Ｐ４２を振動させてもよい。つまり、受信機２００は、時間に対する振幅の変化を示す関数にしたがって、そのＡＲ画像Ｐ４２を例えば上下方向に振動させる。その関数は、例えば正弦波などの三角関数である。
また、受信機２００は、上述の閾値以上の輝度を有する範囲の大きさに応じて、ＡＲ画像Ｐ４２の大きさを変化させてもよい。つまり、受信機２００は、撮像表示画像Ｐａにおける明るい領域の面積が大きくなるほど、ＡＲ画像Ｐ４２のサイズを大きくし、逆に、その明るい領域の面積が小さくなるほど、ＡＲ画像Ｐ４２のサイズを小さくする。
または、受信機２００は、上述の閾値以上の輝度を有する範囲における平均輝度が高いほど、ＡＲ画像Ｐ４２のサイズを大きくし、逆に、その平均輝度が低いほど、ＡＲ画像Ｐ４２のサイズを小さくしてもよい。なお、ＡＲ画像Ｐ４２のサイズの代わりに、ＡＲ画像Ｐ４２の透明度を、その平均輝度に応じて変化させてもよい。
また、図１３８に示す例では、発光部１４２の像１４２ａの中では何れの画素も閾値以上の輝度を有するが、何れかの画素が閾値未満であってもよい。つまり、像１４２ａに相当する、閾値以上の輝度を有する範囲は、環状であってもよい。この場合にも、その閾値以上の輝度を有する範囲が基準領域として特定され、その基準領域の中心（または重心）から予め定められた距離だけ離れた対象領域に、ＡＲ画像Ｐ４２が重畳される。
図１３９は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
送信機１００は、例えば図１３９に示すように、照明装置として構成され、例えば壁に描かれた３つの円からなる図形１４３を照らしながら輝度変化することによって、光ＩＤを送信している。図形１４３は、その送信機１００からの光によって照らされているため、送信機１００と同様に輝度変化し、光ＩＤを送信している。
受信機２００は、送信機１００によって照らされた図形１４３を撮像することによって、上述と同様に、撮像表示画像Ｐａと復号用画像とを取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、図形１４３から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ４３と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐａのうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、図形１４３が映し出されている領域を対象領域として認識する。そして、受信機２００は、その対象領域にＡＲ画像Ｐ４３を重畳し、ＡＲ画像Ｐ４３が重畳された撮像表示画像Ｐａをディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ４３は、キャラクターの顔画像である。
ここで、図形１４３は、上述のように３つの円からなるが、この図形１４３には幾何学的な特徴が少ない。したがって、図形１４３の撮像によって得られる撮像画像だけからでは、その図形１４３に応じたＡＲ画像を、サーバに蓄積された多くの画像から適切に選択して取得することは難しい。しかし、本実施の形態では、受信機２００は、光ＩＤを取得し、その光ＩＤに対応するＡＲ画像Ｐ４３をサーバから取得する。したがって、サーバに多くの画像が蓄積されていても、その光ＩＤに対応するＡＲ画像Ｐ４３を、図形１４３に応じたＡＲ画像として、その多くの画像の中から適切に選択して取得することができる。
図１４０は、本実施の形態における受信機２００の動作を示すフローチャートである。
本実施の形態における受信機２００は、まず、複数のＡＲ画像候補を取得する（ステップＳ５４１）。例えば、受信機２００は、可視光通信と異なる無線通信（ＢＴＬＥまたはＷｉ−Ｆｉなど）によって、サーバから複数のＡＲ画像候補を取得する。次に、受信機２００は、被写体を撮像する（ステップＳ５４２）。受信機２００は、この撮像によって、上述のように、撮像表示画像Ｐａと復号用画像とを取得する。しかし、その被写体が送信機１００の写真である場合には、その被写体からは光ＩＤは送信されていないため、受信機２００は、復号用画像に対する復号を行っても光ＩＤを取得することはできない。
そこで、受信機２００は、光ＩＤを取得することができたか否か、すなわち、被写体から光ＩＤを受信したか否かを判定する（ステップＳ５４３）。
ここで、光ＩＤを受信していないと判定すると（ステップＳ５４３のＮｏ）、受信機２００は、自らに設定されているＡＲ表示フラグが１であるか否かを判定する（ステップＳ５４４）。ＡＲ表示フラグは、光ＩＤが取得されていなくても撮像表示画像ＰａだけからＡＲ画像を表示してもよいか否かを示すフラグである。ＡＲ表示フラグが１である場合には、そのＡＲ表示フラグは、撮像表示画像ＰａだけからＡＲ画像を表示してもよいこと示し、ＡＲ表示フラグが０である場合には、そのＡＲ表示フラグは、撮像表示画像ＰａだけからＡＲ画像を表示してはいけないこと示す。
ＡＲ表示フラグが１であると判定すると（ステップＳ５４４のＹｅｓ）、受信機２００は、ステップＳ５４１で取得された複数のＡＲ画像候補の中から、撮像表示画像Ｐａに対応する候補をＡＲ画像として選択する（ステップＳ５４５）。つまり、受信機２００は、撮像表示画像Ｐａに含まれる特徴量を抽出し、その抽出された特徴量に関連付けられている候補をＡＲ画像として選択する。
そして、受信機２００は、選択された候補であるＡＲ画像を撮像表示画像Ｐａに重畳して表示する（ステップＳ５４６）。
一方、ＡＲ表示フラグが０であると判定すると（ステップＳ５４４のＮｏ）、受信機２００は、ＡＲ画像を表示しない。
また、ステップＳ５４３で光ＩＤを受信したと判定すると（ステップＳ５４３のＹｅｓ）、受信機２００は、ステップＳ５４１で取得された複数のＡＲ画像候補の中から、その光ＩＤに関連付けられている候補をＡＲ画像として選択する（ステップＳ５４７）。そして、受信機２００は、選択された候補であるＡＲ画像を撮像表示画像Ｐａに重畳して表示する（ステップＳ５４６）。
なお、上述の例では、ＡＲ表示フラグは受信機２００に設定されているが、サーバに設定されていてもよい。この場合には、受信機２００は、ステップＳ５４４において、サーバにＡＲ表示フラグが１であるか０であるかを問い合わせる。
これにより、受信機２００が撮像を行っても光ＩＤを受信していないときに、その受信機２００に対してＡＲ画像を表示させるか否かを、ＡＲ表示フラグによって制御することができる。
図１４１は、本実施の形態における送信機１００の動作を説明するための図である。
例えば、送信機１００はプロジェクタとして構成されている。ここで、プロジェクタから照射されてスクリーンに反射される光の強度は、そのプロジェクタの光源の経年劣化、または、その光源からスクリーンまでの距離などの各要因によって変化する。光の強度が小さい場合には、送信機１００から送信される光ＩＤが受信機２００に受信され難くなる。
そこで、本実施の形態における送信機１００は、その各要因に応じた光の強度の変化を抑えるために、光源を発光させるためのパラメータを調整する。このパラメータは、光源を発光させるためにその光源に入力される電流の値と、その発光時間（より具体的には、単位時間当たりの発光時間）とのうちの少なくとも一方である。例えば、電流の値を大きくするほど、発光時間を長くするほど、光源の光の強度は大きくなる。
つまり、送信機１００は、光源が経年劣化しているほど、その光源の光を強めるようにパラメータを調整する。具体的には、送信機１００は、タイマを備え、そのタイマによって計測される光源の使用時間が長いほど、その光源の光を強めるようにパラメータを調整する。つまり、送信機１００は、使用時間が長いほど、光源の電流の値を高めたり、発光時間を長くしたりする。または、送信機１００は、光源から照射される光の強度を検出し、その検出された光の強度が低下しないようにパラメータを調整する。すなわち、送信機１００は、検出される光の強度が小さいほど、その光を強めるようにパラメータを調整する。
また、送信機１００は、光源からスクリーンまでの照射距離が長いほど、その光源の光を強めるようにパラメータを調整する。具体的には、送信機１００は、照射されてスクリーンに反射された光の強度を検出し、その検出された光の強度が小さいほど、光源の光を強めるようにパラメータを調整する。つまり、送信機１００は、検出された光の強度が小さいほど、その光源の電流の値を高めたり、発光時間を長くしたりする。これによって、反射される光の強度が照射距離に関わらず一定になるように、パラメータが調整される。または、送信機１００は、光源からスクリーンまでの照射距離を測距センサによって検出し、その検出された照射距離が長いほど、光源の光を強めるようにパラメータを調整する。
また、送信機１００は、スクリーンの色が黒いほど、その光源の光を強めるようにパラメータを調整する。具体的には、送信機１００は、スクリーンを撮像することによって、そのスクリーンの色を検出し、その検出された色が黒いほど、光源の光を強めるようにパラメータを調整する。つまり、送信機１００は、検出された色が黒いほど、その光源の電流の値を高めたり、発光時間を長くしたりする。これによって、反射される光の強度がスクリーンの色に関わらず一定になるように、パラメータが調整される。
また、送信機１００は、外光が強いほど、その光源の光を強めるようにパラメータを調整する。具体的には、送信機１００は、光源をＯＮにして光を照射したときのスクリーンの明るさと、光源をＯＦＦにして光を照射していないときのスクリーンの明るさとの差を検出する。そして、送信機１００は、その明るさの差が小さいほど、光源の光を強めるようにパラメータを調整する。つまり、送信機１００は、明るさの差が小さいほど、その光源の電流の値を高めたり、発光時間を長くしたりする。これによって、外光に関わらず、光ＩＤのＳ／Ｎ比が一定になるように、パラメータが調整される。または、送信機１００は、例えばＬＥＤディスプレイとして構成されている場合には、太陽光の強度を検出し、その太陽光の強度が大きいほど、光源の光を強めるようにパラメータを調整してもよい。
なお、上述のようなパラメータの調整は、ユーザによる操作が行われたときに実施されてもよい。例えば、送信機１００は、キャリブレーションボタンを備え、そのキャリブレーションボタンがユーザによって押下されたときに、上述のパラメータの調整を実施する。または、送信機１００は、定期的に上述のパラメータの調整を実施してもよい。
図１４２は、本実施の形態における送信機１００の他の動作を説明するための図である。
例えば、送信機１００はプロジェクタとして構成され、光源からの光を、前部材を通してスクリーンに照射する。プロジェクタが液晶プロジェクタの場合には、その前部材は液晶パネルであり、プロジェクタがＤＬＰ（登録商標）プロジェクタの場合には、その前部材はＤＭＤ（Digital Mirror Device）である。つまり、前部材は、映像の輝度を画素ごとに調整する部材である。また、光源は、前部材に向けて光を照射するが、その光の強度をＨｉｇｈとＬｏｗとに切り替える。また、光源は、単位時間あたりのＨｉｇｈの時間を調整することによって、時間平均的な明るさを調整する。
ここで、前部材の透過率が例えば１００％である場合には、プロジェクタからスクリーンへ投影される映像が明るすぎることがないように、光源は暗くなる。つまり、光源は、単位時間あたりのＨｉｇｈの時間を短くする。
このとき、光源は、輝度変化によって光ＩＤを送信する場合には、光ＩＤのパルス幅を広くする。
一方、前部材の透過率が例えば２０％である場合には、プロジェクタからスクリーンへ投影される映像が暗すぎることがないように、光源は明るくなる。つまり、光源は、単位時間あたりのＨｉｇｈの時間を長くする。
このとき、光源は、輝度変化によって光ＩＤを送信する場合には、光ＩＤのパルス幅を狭くする。
このように、光源が暗い場合には、光ＩＤのパルス幅が広くなり、逆に、光源が明るい場合には、光ＩＤのパルス幅が狭くなるため、光ＩＤの送信によって、光源からの光の強度が弱すぎたり、明るすぎたりしてしまうことを抑えることができる。
なお、上述の例では、送信機１００はプロジェクタであるが、大型ＬＥＤディスプレイとして構成されていてもよい。大型ＬＥＤディスプレイは、画素スイッチと共通スイッチとを備える。画素スイッチのＯＮおよびＯＦＦによって映像が表現され、共通スイッチのＯＮおよびオフによって光ＩＤが送信される。この場合、機能的に、画素スイッチが前部材に相当し、共通スイッチが光源に相当する。画素スイッチによる平均輝度が高い場合には、共通スイッチによる光ＩＤのパルス幅を短くしてもよい。
図１４３は、本実施の形態における送信機１００の他の動作を説明するための図である。具体的には、図１４３は、調光機能付きスポットライトとして構成された送信機１００の調光度と、その送信機１００の光源に入力される電流（具体的にはピーク電流の値）との関係を示す。
送信機１００は、自らに備えられている光源に対して指定される調光度を受け付け、その指定された調光度で光源を発光させる。なお、調光度は、光源の平均輝度の最大平均輝度に対する割合である。平均輝度は、瞬間的な輝度ではなく、時間平均における輝度である。また、調光度の調整は、光源に入力される電流の値を調整したり、光源の輝度がＬｏｗとなる時間を調整することによって実現される。光源の輝度がＬｏｗとなる時間は、光源をオフする時間であってもよい。
ここで、送信機１００は、送信対象信号を光ＩＤとして送信するときには、その送信対象信号を予め定められたモードで符号化することによって符号化信号を生成する。そして、送信機１００は、その符号化信号にしたがって、自らに備えられた光源を輝度変化させることによって、その符号化信号を光ＩＤ（すなわち可視光信号）として送信する。
例えば、指定された調光度が０％以上ｘ３（％）以下である場合には、送信機１００は、デューティ比３５％のＰＷＭモードで送信対象信号を符号化することによって符号化信号を生成する。ｘ３（％）は例えば５０％である。なお、本実施の形態では、デューティ比３５％のＰＷＭモードを、第１のモードともいい、上述のｘ３を、第１の値ともいう。
つまり、送信機１００は、指定される調光度が０％以上ｘ３（％）以下である場合には、可視光信号のデューティ比を３５％に維持しながら、光源の調光度をピーク電流の値によって調整する。
また、指定された調光度がｘ３（％）よりも大きく１００％以下である場合には、送信機１００は、デューティ比６５％のＰＷＭモードで送信対象信号を符号化することによって符号化信号を生成する。なお、本実施の形態では、デューティ比６５％のＰＷＭモードを、第２のモードともいう。
つまり、送信機１００は、指定される調光度がｘ３（％）よりも大きく１００％以下である場合には、可視光信号のデューティ比を６５％に維持しながら、光源の調光度をピーク電流の値によって調整する。
このように、本実施の形態における送信機１００は、光源に対して指定される調光度を指定調光度として受け付ける。そして、送信機１００は、指定調光度が第１の値以下である場合には、その指定調光度で光源を発光させながら、第１のモードで符号化された信号を輝度変化により送信する。また、送信機１００は、指定調光度の値が第１の値よりも大きい場合には、その指定調光度で光源を発光させながら、第２のモードで符号化された信号を輝度変化により送信する。具体的には、第２のモードで符号化された信号のデューティ比は、第１のモードで符号化された信号のデューティ比よりも大きい。
ここで、第２のモードのデューティ比は第１のモードのデューティ比よりも大きいため、第２のモードにおける調光度に対するピーク電流の変化率を、第１のモードにおける調光度に対するピーク電流の変化率よりも小さくすることができる。
また、指定される調光度がｘ３（％）を超えるときには、モードが第１のモードから第２のモードに切り替えられる。したがって、このときには、ピーク電流を瞬間的に低下させることができる。つまり、指定される調光度がｘ３（％）であるときには、ピーク電流はｙ３（ｍＡ）であるが、指定される調光度がｘ３（％）を少しでも超えると、ピーク電流をｙ２（ｍＡ）に抑えることができる。なお、ｙ３（ｍＡ）は例えば１４３ｍＡであり、ｙ２（ｍＡ）は例えば１００ｍＡである。その結果、調光度を大きくするために、ピーク電流がｙ３（ｍＡ）よりも大きくなることを抑えることができ、大きな電流が流れることによって光源が劣化してしまうことを抑制することができる。
また、指定される調光度がｘ４（％）を超えるときには、モードが第２のモードであっても、ピーク電流がｙ３（ｍＡ）よりも大きくなる。しかし、指定される調光度がｘ４（％）を超える頻度が少ない場合には、光源の劣化を抑えることができる。なお、本実施の形態では、上述のｘ４を、第２の値ともいう。また、図１４３に示す例では、ｘ４（％）は１００％未満であるが、１００％であってもよい。
つまり、本実施の形態における送信機１００では、指定調光度が第１の値よりも大きく第２の値以下である場合に、第２のモードで符号化された信号を輝度変化により送信するための光源のピーク電流の値は、指定調光度が第１の値である場合に、第１のモードで符号化された信号を輝度変化により送信するための光源のピーク電流の値よりも小さい。
これにより、信号を符号化するモードの切り替えによって、指定調光度が第１の値よりも大きく第２の値以下である場合における光源のピーク電流の値は、指定調光度が第１の値である場合における光源のピーク電流の値よりも小さくなる。したがって、指定調光度を大きくするほど、大きなピーク電流が光源に流れることを抑えることができる。その結果、光源の劣化を抑制することができる。
さらに、本実施の形態における送信機１００は、指定される調光度がｘ１（％）以上ｘ２（％）よりも小さい場合には、指定される調光度で光源を発光させながら、第１のモードで符号化された信号を輝度変化により送信するとともに、指定される調光度の変化に対してピーク電流の値を一定の値に維持する。ｘ２（％）はｘ３（％）よりも小さい。なお、本実施の形態では、上述のｘ２を第３の値ともいう。
つまり、送信機１００は、指定調光度がｘ２（％）よりも小さい場合には、指定調光度が小さくなるにしたがって、光源をオフにする時間を長くすることにより、小さくなるその指定調光度で光源を発光させ、かつ、ピーク電流の値を一定の値に維持する。具体的には、送信機１００は、符号化信号のデューティ比を３５％に維持しながら、複数の符号化信号のそれぞれを送信する周期を長くする。これにより、光源をオフにする時間、すなわち消灯期間が長くなる。その結果、ピーク電流の値を一定に維持しながら、調光度を小さくすることができる。また、指定調光度が小さくなる場合でも、ピーク電流の値が一定に維持されるため、輝度変化によって送信される信号である可視光信号（すなわち光ＩＤ）を、受信機２００に受信させ易くすることができる。
ここで、送信機１００は、符号化信号を輝度変化により送信する時間と、光源をオフにする時間とを足した１周期が１０ミリ秒を超えないように、光源をオフする時間を決定する。例えば、光源をオフにする時間が長すぎて、その１周期が１０ミリ秒を超えると、符号化信号を送信するための光源の輝度変化がちらつきとして人の眼に認識されてしまう虞がある。そのため、本実施の形態では、１周期が１０ミリ秒を超えないように、光源をオフする時間が決定されるため、ちらつきが人に認識されてしまうことを抑えることができる。
さらに、送信機１００は、指定調光度がｘ１（％）よりも小さい場合にも、その指定調光度で光源を発光させながら、第１のモードで符号化された信号を輝度変化により送信する。このとき、送信機１００は、指定調光度が小さくなるにしたがって、ピーク電流の値を小さくすることにより、その小さくなる指定調光度で光源を発光させる。ｘ１（％）はｘ２（％）よりも小さい。なお、本実施の形態では、上述のｘ１を第４の値ともいう。
これにより、指定調光度がより小さくても、その指定調光度で光源を適切に発光させることができる。
ここで、図１４３に示す例では、第１のモードにおける最大のピーク電流の値（すなわちｙ３（ｍＡ））は、第２のモードにおける最大のピーク電流の値（すなわちｙ４（ｍＡ））よりも小さいが、同じであってもよい。すなわち、送信機１００は、指定される調光度がｘ３（％）よりも大きいｘ３ａ（％）まで、第１のモードで送信対象信号を符号化する。そして、送信機１００は、指定された調光度がｘ３ａ（％）である場合には、第２のモードにおける最大のピーク電流の値（すなわちｙ４（ｍＡ））と同じピーク電流の値で光源を発光させる。この場合、ｘ３ａが第１の値となる。なお、第２のモードにおける最大のピーク電流の値は、指定される調光度が最大値、すなわち１００％であるときのピーク電流の値である。
つまり、本実施の形態では、指定調光度が第１の値である場合における、光源のピーク電流の値と、指定調光度が最大値である場合における、光源のピーク電流の値とは同じであってもよい。この場合には、ｙ３（ｍＡ）以上のピーク電流で光源を発光させる調光度の範囲が広がるため、調光度の広い範囲で、光ＩＤを受信機２００に受信させ易くすることができる。言い換えれば、第１のモードでも、大きいピーク電流を光源に流すことができるため、その光源の輝度変化によって送信される信号を、受信機に受信させ易くすることができる。なお、この場合には、大きいピーク電流が流れる期間が長くなるため、光源が劣化し易くなる。
図１４４は、本実施の形態における光ＩＤの受信し易さを説明するための比較例を示す図である。
本実施の形態では、図１４３に示すように、調光度が小さい場合には、第１のモードが用いられ、調光度が大きい場合には、第２のモードが用いられる。第１のモードは、調光度の増加が小さくてもピーク電流の増加を大きくするモードであり、第２のモードは、調光度の増加が大きくてもピーク電流の増加を抑えるモードである。したがって、第２のモードによって、大きなピーク電流が光源に流れることが抑えれるため、光源の劣化を抑制することができる。さらに、第１のモードによって、調光度が小さくても大きなピーク電流が光源に流れるため、光ＩＤを受信機２００に容易に受信させることができる。
一方、調光度が小さい場合にも第２のモードが用いられる場合には、図１４４に示すように、調光度が小さい場合には、ピーク電流の値も小さいため、光ＩＤを受信機２００に受信させることが難しくなる。
したがって、本実施の形態における送信機１００では、光源の劣化の抑制と、光ＩＤの受信し易さとの両立を図ることができる。
また、送信機１００は、光源のピーク電流の値が第５の値を超えた場合、その光源の輝度変化による信号の送信を停止してもよい。第５の値は、例えばｙ３（ｍＡ）であってもよい。
これにより、光源の劣化をさらに抑制することができる。
また、送信機１００は、図１４１に示す例と同様に、光源の使用時間を計測してもよい。そして、その使用時間が所定時間以上である場合、送信機１００は、指定調光度よりも大きい調光度で光源を発光させるためのパラメータの値を用いて、信号を輝度変化により送信してもよい。この場合、パラメータの値は、ピーク電流の値または光源をオフにする時間であってもよい。これにより、光源の経時的な劣化によって光ＩＤが受信機２００に受信され難くなることを抑えることができる。
または、送信機１００は、光源の使用時間を計測し、その使用時間が所定時間以上である場合、使用時間が所定時間未満である場合よりも、光源の電流のパルス幅を大きくしてもよい。これにより、上述と同様、光源の劣化によって光ＩＤが受信され難くなることを抑えることができる。
なお、上記実施の形態では、送信機１００は、指定される調光度に応じて第１のモードと第２のモードとが切り換えられるが、ユーザによる操作に応じてそのモードの切り替えを行ってもよい。つまり、送信機１００は、ユーザによってスイッチが操作されると、第１のモードを第２のモードに切り替えたり、逆に、第２のモードを第１のモードに切り替えたりする。また、送信機１００は、モードが切り換えられるときには、そのことをユーザに通知してもよい。例えば、送信機１００は、音を鳴らしたり、人に視認可能な周期で光源を点滅させたり、通知用のＬＥＤを点灯させたりすることによって、モードの切り替えをユーザに通知してもよい。また、送信機１００は、モードの切り替えだけでなく、ピーク電流と調光度との関係が変化する時点にも、その関係が変化することをユーザに通知してもよい。その時点は、例えば図１４３に示す調光度がｘ１（％）から変化する時点、または調光度がｘ２（％）から変化する時点である。
図１４５Ａは、本実施の形態における送信機１００の動作を示すフローチャートである。
送信機１００は、まず、光源に対して指定される調光度を指定調光度として受け付ける（ステップＳ５５１）。次に、送信機１００は、信号を光源の輝度変化により送信する（ステップＳ５５２）。具体的には、送信機１００は、指定調光度が第１の値以下である場合には、その指定調光度で光源を発光させながら、第１のモードで符号化された信号を輝度変化により送信する。また、送信機１００は、指定調光度が第１の値よりも大きい場合には、その指定調光度で光源を発光させながら、第２のモードで符号化された信号を輝度変化により送信する。ここで、指定調光度が第１の値よりも大きく第２の値以下である場合に、第２のモードで符号化された信号を輝度変化により送信するための光源のピーク電流の値は、指定調光度が第１の値である場合に、第１のモードで符号化された信号を輝度変化により送信するための光源のピーク電流の値よりも小さい。
図１４５Ｂは、本実施の形態における送信機１００の構成を示すブロック図である。
送信機１００は、受付部５５１と、送信部５５２とを備える。受付部５５１は、光源に対して指定される調光度を指定調光度として受け付ける（ステップＳ５５１）。送信部５５２は、信号を光源の輝度変化により送信する。具体的には、送信部５５２は、指定調光度が第１の値以下である場合には、その指定調光度で光源を発光させながら、第１のモードで符号化された信号を輝度変化により送信する。また、送信部５５２は、指定調光度が第１の値よりも大きい場合には、その指定調光度で光源を発光させながら、第２のモードで符号化された信号を輝度変化により送信する。ここで、指定調光度が第１の値よりも大きく第２の値以下である場合に、第２のモードで符号化された信号を輝度変化により送信するための光源のピーク電流の値は、指定調光度が第１の値である場合に、第１のモードで符号化された信号を輝度変化により送信するための光源のピーク電流の値よりも小さい。
これにより、図１４３に示すように、信号を符号化するモードの切り替えによって、指定調光度が第１の値よりも大きく第２の値以下である場合における光源のピーク電流の値は、指定調光度が第１の値である場合における光源のピーク電流の値よりも小さくなる。したがって、指定調光度を大きくするほど、大きなピーク電流が光源に流れることを抑えることができる。その結果、光源の劣化を抑制することができる。
図１４６は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
受信機２００は、そのイメージセンサによる被写体の撮像によって、上述の通常撮影画像である撮像表示画像Ｐｋと、上述の可視光通信画像または輝線画像である復号用画像とを取得する。
具体的には、受信機２００のイメージセンサは、サイネージとして構成されている送信機１００と、送信機１００の隣にいる人物２１とを撮像する。送信機１００は、上記各実施の形態における送信機であって、１つまたは複数の発光素子（例えばＬＥＤ）と、すりガラスのように透光性を有する透光板１４４とを備える。１つまたは複数の発光素子は、送信機１００の内部で発光し、１つまたは複数の発光素子からの光は、透光板１４４を透過して外部に照射される。その結果、送信機１００の透光板１４４が明るく光っている状態になる。このような送信機１００は、その１つまたは複数の発光素子を点滅させることによって輝度変化し、その輝度変化によって光ＩＤ（光識別情報）を送信する。この光ＩＤは、上述の可視光信号である。
ここで、透光板１４４には、「ここにスマートフォンをかざしてください」というメッセージが記載されている。そこで、受信機２００のユーザは、人物２１を送信機１００の隣に立たせて、腕を送信機１００の上にかけるようにその人物２１に指示する。そして、ユーザは、受信機２００のカメラ（すなわちイメージセンサ）を人物２１および送信機１００に向けて撮像を行う。受信機２００は、送信機１００および人物２１を通常露光時間で撮像することによって、それらが映し出された撮像表示画像Ｐｋを取得する。さらに、受信機２００は、その通常露光時間よりも短い通信用露光時間で送信機１００および人物２１を撮像することによって、復号用画像を取得する。
受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、送信機１００から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに対応するＡＲ画像Ｐ４４と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｋのうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、送信機１００であるサイネージが映し出されている領域を対象領域として認識する。
そして、受信機２００は、その対象領域がＡＲ画像Ｐ４４によって覆い隠されるように、そのＡＲ画像Ｐ４４を撮像表示画像Ｐｋに重畳し、その撮像表示画像Ｐｋをディスプレイ２０１に表示する。例えば、受信機２００は、サッカー選手を示すＡＲ画像Ｐ４４を取得する。この場合、撮像表示画像Ｐｋの対象領域を覆い隠すようにそのＡＲ画像Ｐ４４が重畳されるため、人物２１の隣にサッカー選手が現実に存在するように、撮像表示画像Ｐｋを表示することができる。その結果、人物２１は、サッカー選手が隣にいなくても、そのサッカー選手と一緒に写真に写ることができる。より具体的には、人物２１の腕をサッカー選手の肩にかけた状態で、そのサッカー選手と一緒に写真に写ることができる。
（実施の形態８）
本実施の形態では、光ＩＤを可視光信号によって送信する送信方法について説明する。なお、本実施の形態における送信機および受信機は、上記各実施の形態における送信機（または送信装置）および受信機（または受信装置）と同一の機能および構成を有していてもよい。
図１４７は、本実施の形態における送信機１００の動作を説明するための図である。具体的には、図１４７は、調光機能付きスポットライトとして構成された送信機１００の調光度と、その送信機１００の光源に入力される電流（具体的にはピーク電流の値）との関係を示す。
本実施の形態における送信機１００は、指定された調光度が０％以上ｘ１４（％）以下である場合には、デューティ比３５％のＰＷＭモードで送信対象信号を符号化することによって符号化信号を生成する。つまり、送信機１００は、指定される調光度が０％からｘ１４（％）に変化する場合には、可視光信号のデューティ比を３５％に維持しながら、ピーク電流の値を増加することによって、その指定された調光度で光源を発光させる。なお、デューティ比３５％のＰＷＭモードは、実施の形態７と同様、第１のモードともいい、上述のｘ１４を第１の値ともいう。例えば、ｘ１４（％）は、５０〜６０％の範囲内の値である。
また、送信機１００は、指定された調光度がｘ１３（％）以上１００％以下である場合には、デューティ比６５％のＰＷＭモードで送信対象信号を符号化することによって符号化信号を生成する。つまり、送信機１００は、指定される調光度が１００％からｘ１３（％）に変化する場合には、可視光信号のデューティ比を６５％に維持しながら、ピーク電流の値を抑えることによって、その指定された調光度で光源を発光させる。なお、デューティ比６５％のＰＷＭモードは、実施の形態７と同様、第２のモードともいい、上述のｘ１３を第２の値ともいう。ここで、ｘ１３（％）は、ｘ１４（％）よりも小さい値であって、例えば、４０〜５０％の範囲内の値である。
このように、本実施の形態では、指定される調光度が増加する場合には、ＰＷＭモードは、調光度ｘ１４（％）において、デューティ比３５％のＰＷＭモードからデューティ比６５％のＰＷＭモードに切り替えられる。一方、指定される調光度が減少する場合には、ＰＷＭモードは、調光度ｘ１４（％）よりも小さい調光度ｘ１３（％）において、デューティ比６５％のＰＷＭモードからデューティ比３５％のＰＷＭモードに切り替えられる。つまり、本実施の形態では、指定される調光度が増加する場合と、指定される調光度が減少する場合とで、ＰＷＭモードが切り替えられる調光度が異なる。以下、ＰＷＭモードが切り替えられる調光度を、切り替え点という。
したがって、本実施の形態では、ＰＷＭモードの頻繁な切り替えを抑制することができる。実施の形態７の図１４３に示す例では、ＰＷＭモードの切り替え点は、５０％であって、指定される調光度が増加する場合と、指定される調光度が減少する場合とで同じである。その結果、図１４３に示す例では、指定される調光度の増減が５０％の前後で繰り返されると、ＰＷＭモードが、デューティ比３５％のＰＷＭモードとデューティ比６５％のＰＷＭモードとに頻繁に切り替えられる。しかし、本実施の形態では、指定される調光度が増加する場合と、指定される調光度が減少する場合とで、ＰＷＭモードの切り替え点が異なるため、このようなＰＷＭモードの頻繁な切り替えを抑えることができる。
また、本実施の形態では、実施の形態７の図１４３に示す例と同様、指定される調光度が小さい場合には、小さいデューティ比のＰＷＭモードが用いられ、逆に、指定される調光度が大きい場合には、大きいデューティ比のＰＷＭモードが用いられる。
したがって、指定される調光度が大きい場合には、大きいデューティ比のＰＷＭモードが用いられるため、調光度に対するピーク電流の変化率を小さくすることができ、小さいピーク電流によって光源を大きい調光度で発光させることができる。例えば、デューティ比３５％のように小さいデューティ比のＰＷＭモードでは、ピーク電流を２５０ｍＡにしなければ、光源を１００％の調光度で発光させることができない。しかし、本実施の形態では、大きい調光度に対しては、デューティ比６５％のように大きいデューティ比のＰＷＭモードが用いられるため、例えば、ピーク電流をより小さい１５４ｍＡにするだけで、光源を１００％の調光度で発光させることができる。つまり、光源に過電流を流してその光源の寿命を縮めてしまうことを抑えることができる。
また、指定される調光度が小さい場合には、小さいデューティ比のＰＷＭモードが用いられるため、調光度に対するピーク電流の変化率を大きくすることができる。その結果、小さい調光度で光源を発光させながら、大きいピーク電流によって可視光信号を送信することができる。光源は、入力される電流が大きいほど、明るく発光する。したがって、大きいピーク電流によって可視光信号が送信される場合には、受信機２００に可視光信号を受信させ易くすることができる。言い換えれば、受信機２００に受信可能な可視光信号を送信することができる調光度の範囲を、より小さい調光度まで広げることができる。例えば、図１９５に示すように、受信機２００は、ピーク電流がＩａ（ｍＡ）以上であれば、そのピーク電流によって送信される可視光信号を受信することができる。この場合、デューティ比６５％のように大きいデューティ比のＰＷＭモードでは、受信可能な可視光信号を送信することができる調光度の範囲は、ｘ１２（％）以上である。しかし、デューティ比３５％のように小さいデューティ比のＰＷＭモードでは、受信可能な可視光信号を送信することができる調光度の範囲を、ｘ１２（％）よりも小さいｘ１１（％）以上にすることができる。
このように、ＰＷＭモードを切り替えることによって、光源の寿命を長くし、且つ、広い調光度の範囲で可視光信号を送信することができる。
図１４８Ａは、本実施の形態における送信方法を示すフローチャートである。
本実施の形態における送信方法は、光源の輝度変化により信号を送信する送信方法であって、受付ステップＳ５６１と、送信ステップＳ５６２とを含む。受付ステップＳ５６１では、送信機１００は、光源に対して指定される調光度を指定調光度として受け付ける。送信ステップＳ５６２では、送信機１００は、その指定調光度で光源を発光させながら、第１のモードまたは第２のモードで符号化された信号を輝度変化により送信する。ここで、第２のモードで符号化された信号のデューティ比は、第１のモードで符号化された前記信号のデューティ比よりも大きい。また、送信ステップＳ５６２では、送信機１００は、指定調光度が小さい値から大きい値に変更される場合、指定調光度が第１の値であるときに、信号の符号化に用いられるモードを、第１のモードから第２のモードに切り替える。さらに、送信機１００は、指定調光度が大きい値から小さい値に変更される場合、指定調光度が第２の値であるときに、信号の符号化に用いられるモードを、第２のモードから第１のモードに切り替える。ここで、第２の値は、第１の値よりも小さい。
例えば、第１モードおよび第２のモードはそれぞれ、図１４７に示すデューティ比３５％のＰＷＭモードおよびデューティ比６５％のＰＷＭモードである。また、第１の値および第２の値はそれぞれ、図１４７に示すｘ１４（％）およびｘ１５（％）である。
これにより、第１のモードと第２のモードとの切り替えが行われる指定調光度（すなわち切り替え点）は、指定調光度が増加する場合と減少する場合とで異なる。したがって、これらのモードの頻繁な切り替えを抑えることができる。すなわち、いわゆるチャタリングの発生を抑えることができる。その結果、信号を送信する送信機１００の動作を安定させることができる。また、第２のモードで符号化された信号のデューティ比は、第１のモードで符号化された信号のデューティ比よりも大きい。したがって、図１４３に示す送信方法と同様に、指定調光度を大きくするほど、大きなピーク電流が光源に流れることを抑えることができる。その結果、光源の劣化を抑制することができる。また、光源の劣化が抑えられるため、多様な機器間の通信を長期的に行うことができる。また、指定調光度が小さい場合には、デューティ比が小さい第１のモードが用いられる。したがって、上述のピーク電流を大きくすることができ、受信機２００に受信され易い信号を可視光信号として送信することができる。
また、送信ステップＳ５６２では、第１のモードから第２のモードへの切り替えが行われる際に、送信機１００は、符号化された信号を輝度変化により送信するための光源のピーク電流を、第１の電流値から、その第１の電流値よりも小さい第２の電流値に変更する。さらに、第２のモードから第１のモードへの切り替えが行われる際に、送信機１００は、ピーク電流を、第３の電流値から、第３の電流値よりも大きい第４の電流値に変更する。ここで、第１の電流値は、第４の電流値よりも大きく、第２の電流値は、第３の電流値よりも大きい。
例えば、第１の電流値、第２の電流値、第３の電流値、および第４の電流値はそれぞれ、図１４７に示す電流値Ｉｅ、電流値Ｉｃ、電流値Ｉｂ、および電流値Ｉｄである。
これにより、第１のモードと第２のモードとを適切に切り替えることができる。
図１４８Ｂは、本実施の形態における送信機１００の構成を示すブロック図である。
本実施の形態における送信機１００は、光源の輝度変化により信号を送信する送信機であって、受付部５６１と、送信部５６２とを備える。受付部５６１は、光源に対して指定される調光度を指定調光度として受け付ける。送信部５６２は、その指定調光度で光源を発光させながら、第１のモードまたは第２のモードで符号化された信号を輝度変化により送信する。ここで、第２のモードで符号化された信号のデューティ比は、第１のモードで符号化された前記信号のデューティ比よりも大きい。また、送信部５６２は、指定調光度が小さい値から大きい値に変更される場合、指定調光度が第１の値であるときに、信号の符号化に用いられるモードを、第１のモードから第２のモードに切り替える。さらに、送信部５６２は、指定調光度が大きい値から小さい値に変更される場合、指定調光度が第２の値であるときに、信号の符号化に用いられるモードを、第２のモードから第１のモードに切り替える。ここで、第２の値は、第１の値よりも小さい。
このような送信機１００によって、図１４８Ａに示すフローチャートの送信方法が実現される。
図１４９は、本実施の形態における可視光信号の詳細な構成の一例を示す図である。
このような可視光信号は、ＰＷＭモードの信号である。
可視光信号のパケットは、Ｌデータ部と、プリアンブルと、Ｒデータ部とからなる。なお、Ｌデータ部およびＲデータ部はそれぞれ、ペイロードに相当する。
プリアンブルは、時間軸に沿ってＨｉｇｈとＬｏｗの輝度値を交互に示す。つまり、プリアンブルは、時間長Ｃ０だけＨｉｇｈの輝度値を示し、次の時間長Ｃ１だけＬｏｗの輝度値を示し、次の時間長Ｃ２だけＨｉｇｈの輝度値を示し、次の時間長Ｃ３だけＬｏｗの輝度値を示す。なお、時間長Ｃ０およびＣ３は、例えば１００μｓである。また、時間長Ｃ１およびＣ２は、例えば時間長Ｃ１およびＣ３よりも１０μｓだけ短い９０μｓである。
Ｌデータ部は、時間軸に沿ってＨｉｇｈとＬｏｗの輝度値を交互に示し、プリアンブルの直前に配置される。つまり、Ｌデータ部は、時間長Ｄ’０だけＨｉｇｈの輝度値を示し、次の時間長Ｄ’１だけＬｏｗの輝度値を示し、次の時間長Ｄ’２だけＨｉｇｈの輝度値を示し、次の時間長Ｄ’３だけＬｏｗの輝度値を示す。なお、時間長Ｄ’０〜Ｄ’３は、送信対象の信号に応じた数式にしたがって決定される。この数式は、Ｄ’０＝Ｗ０＋Ｗ１×（３−ｙ０）、Ｄ’１＝Ｗ０＋Ｗ１×（７−ｙ１）、Ｄ’２＝Ｗ０＋Ｗ１×（３−ｙ２）、およびＤ’３＝Ｗ０＋Ｗ１×（７−ｙ３）である。ここで、定数Ｗ０は、例えば１１０μｓであり、定数Ｗ１は、例えば３０μｓである。変数ｙ０およびｙ２は、２ビットで表される０〜３の何れかの整数であり、変数ｙ１およびｙ３は、３ビットで表される０〜７の何れかの整数である。また、変数ｙ０〜ｙ３は送信対象の信号である。なお、図１４９〜図１５２では、かけ算を意味する記号として「＊」が用いられている。
Ｒデータ部は、Ｒデータ部は、時間軸に沿ってＨｉｇｈとＬｏｗの輝度値を交互に示し、プリアンブルの直後に配置される。つまり、Ｒデータ部は、時間長Ｄ０だけＨｉｇｈの輝度値を示し、次の時間長Ｄ１だけＬｏｗの輝度値を示し、次の時間長Ｄ２だけＨｉｇｈの輝度値を示し、次の時間長Ｄ３だけＬｏｗの輝度値を示す。なお、時間長Ｄ０〜Ｄ３は、送信対象の信号に応じた数式にしたがって決定される。この数式は、Ｄ０＝Ｗ０＋Ｗ１×ｙ０、Ｄ１＝Ｗ０＋Ｗ１×ｙ１、Ｄ２＝Ｗ０＋Ｗ１×ｙ２、およびＤ３＝Ｗ０＋Ｗ１×ｙ３である。
ここで、Ｌデータ部とＲデータ部とは、明るさに対して補完関係がある。つまり、Ｌデータ部の明るさが明るければ、Ｒデータ部の明るさは暗く、逆に、Ｌデータ部の明るさが暗ければ、Ｒデータ部の明るさは明るくなる。つまり、Ｌデータ部の時間長とＲデータ部の時間長との和は、送信対象の信号に関わらずに一定である。言い換えれば、送信対象の信号に関わらず、光源から送信される可視光信号の時間平均の明るさを一定にすることができる。
また、Ｄ’０＝Ｗ０＋Ｗ１×（３−ｙ０）、Ｄ’１＝Ｗ０＋Ｗ１×（７−ｙ１）、Ｄ’２＝Ｗ０＋Ｗ１×（３−ｙ２）、およびＤ’３＝Ｗ０＋Ｗ１×（７−ｙ３）における、３と７との比率を変更することによって、ＰＷＭモードのデューティ比を変更することができる。なお、３と７との比率は、変数ｙ０およびｙ２の最大値と、変数ｙ１およびｙ３の最大値との比率に相当する。例えば、その比率が３：７の場合には、デューティ比が小さいＰＷＭモードが選択され、逆に、その比率が７：３の場合には、デューティ比が大きいＰＷＭモードが選択される。したがって、その比率を調整することによって、ＰＷＭモードを、図１４３および図１４７に示すデューティ比３５％のＰＷＭモードと、デューティ比６５％のＰＷＭモードとに切り替えることができる。また、何れのＰＷＭモードに切り替えられているかを受信機２００に通知するために、プリアンブルを利用してもよい。例えば、送信機１００は、切り替えられたＰＷＭモードに対応付けられたパターンのプリアンブルをパケットに含めることによって、その切り替えられたＰＷＭモードを受信機２００に通知する。なお、プリアンブルのパターンは、時間長Ｃ０、Ｃ１、Ｃ２およびＣ３によって変更される。
しかし、図１４９に示す可視光信号では、パケットに２つのデータ部が含まれているため、そのパケットの送信に時間がかかってしまう。例えば、送信機１００がＤＬＰプロジェクタである場合、送信機１００は、赤、緑、および青のそれぞれの映像を時分割で投影する。ここで、送信機１００は、赤の映像を投影するときに、可視光信号を送信することが望ましい。それは、このとき送信される可視光信号が、赤色の波長を有するため、受信機２００に受信され易いからである。赤の映像が継続して投影される期間は例えば１．５ｍｓである。なお、この期間を、以下、赤色投影期間という。このように短い赤色投影期間に、上述のＬデータ部、プリアンブルおよびＲデータ部からなるパケットを送信することは困難である。
そこで、２つのデータ部のうちＲデータ部のみを有するパケットが想起される。
図１５０は、本実施の形態における可視光信号の詳細な構成の他の例を示す図である。
図１５０に示す可視光信号のパケットは、図１４９に示す例と異なり、Ｌデータ部を含んでいない。その代わりに、図１５０に示す可視光信号のパケットは、無効データと、平均輝度調整部とを含む。
無効データは、時間軸に沿ってＨｉｇｈとＬｏｗの輝度値を交互に示す。つまり、無効データは、時間長Ａ０だけＨｉｇｈの輝度値を示し、次の時間長Ａ１だけＬｏｗの輝度値を示す。時間長Ａ０は、例えば１００μｓであり、時間長Ａ１は、例えばＡ１＝Ｗ０−Ｗ１によって示される。このような無効データは、パケットにＬデータ部が含まれていないことを示す。
平均輝度調整部は、時間軸に沿ってＨｉｇｈとＬｏｗの輝度値を交互に示す。つまり、無効データは、時間長Ｂ０だけＨｉｇｈの輝度値を示し、次の時間長Ｂ１だけＬｏｗの輝度値を示す。時間長Ｂ０は、例えばＢ０＝１００＋Ｗ１×（（３−ｙ０）＋（３−ｙ２））によって示され、時間長Ｂ１は、例えばＢ１＝Ｗ１×（（７−ｙ１）＋（７−ｙ３））によって示される。
このような平均輝度調整部によって、パケットにおける平均輝度を、送信対象の信号ｙ０〜ｙ３に関わらず一定にすることができる。つまり、パケットにおいて輝度値がＨｉｇｈの時間長の総和（すなわち合計ＯＮ時間）を、Ａ０＋Ｃ０＋Ｃ２＋Ｄ０＋Ｄ２＋Ｂ０＝７９０にすることができる。さらに、パケットにおいて輝度値がＬｏｗの時間長の総和（すなわち合計ＯＦＦ時間）を、Ａ１＋Ｃ１＋Ｃ３＋Ｄ１＋Ｄ３＋Ｂ１＝９１０にすることができる。
しかし、このような可視光信号の構成であっても、パケットにおける全時間長Ｅ０のうちの一部の時間長である有効時間長Ｅ１を短くすることができない。この有効時間長Ｅ１は、パケットにおいて最初にＨｉｇｈの輝度値が現れてから、最後に現れるＨｉｇｈの輝度が終了するまでの時間であって、受信機２００が可視光信号のパケットを復調または復号するために必要な時間である。具体的には、有効時間長Ｅ１は、Ｅ１＝Ａ０＋Ａ１＋Ｃ０＋Ｃ１＋Ｃ2＋Ｃ３＋Ｄ０＋Ｄ１＋Ｄ２＋Ｄ３＋Ｂ０である。なお、全時間長Ｅ０は、Ｅ０＝Ｅ１＋Ｂ１である。
つまり、有効時間長Ｅ１は、図１５０に示す構成の可視光信号であっても、最大１７００μｓであるため、送信機１００は、上述の赤色投影期間に、その有効時間長Ｅ１だけ継続して１つのパケットを送信することは困難である。
そこで、有効時間長Ｅ１を短くし、かつ、パケットの平均輝度を送信対象の信号に関わらず一定にするために、ＨｉｇｈとＬｏｗのそれぞれの輝度値の時間長だけでなく、Ｈｉｇｈｔの輝度値も調整することが想起される。
図１５１は、本実施の形態における可視光信号の詳細な構成の他の例を示す図である。
図１５１に示す可視光信号のパケットでは、図１５０に示す例と異なり、有効時間長Ｅ１を短くするために、平均輝度調整部のＨｉｇｈの輝度値の時間長Ｂ０は、送信対象の信号に関わらず最短の１００μｓに固定されている。その代わりに、図１５１に示す可視光信号のパケットでは、送信対象の信号に含まれる変数ｙ０およびｙ２に応じて、すなわち、時間長Ｄ０およびＤ２に応じて、Ｈｉｇｈの輝度値が調整される。例えば、時間長Ｄ０およびＤ２が短い場合には、送信機１００は、図１５１の（ａ）に示すように、Ｈｉｇｈの輝度値を大きな値に調整する。また、時間長Ｄ０およびＤ２が長い場合には、送信機１００は、図１５１の（ｂ）に示すように、Ｈｉｇｈの輝度値を小さな値に調整する。具体的には、時間長Ｄ０およびＤ２がそれぞれ最短のＷ０（例えば１１０μｓ）である場合には、Ｈｉｇｈの輝度値は１００％の明るさである。また、時間長Ｄ０およびＤ２がそれぞれ最大の「Ｗ０＋３Ｗ１」（例えば２００μｓ）である場合には、Ｈｉｇｈの輝度値は７７．２％の明るさである。
このような可視光信号のパケットでは、輝度値がＨｉｇｈの時間長の総和（すなわち合計ＯＮ時間）を、例えば、Ａ０＋Ｃ０＋Ｃ２＋Ｄ０＋Ｄ２＋Ｂ０＝６１０〜７９０にすることができる。さらに、輝度値がＬｏｗの時間長の総和（すなわち合計ＯＦＦ時間）を、Ａ１＋Ｃ１＋Ｃ３＋Ｄ１＋Ｄ３＋Ｂ１＝９１０にすることができる。
しかし、図１５１に示す可視光信号では、パケットにおける全時間長Ｅ０および有効時間長Ｅ１のそれぞれの最短の時間長を、図１５０に示す例よりも短くすることはできるが、最大の時間長を短くすることができない。
そこで、有効時間長Ｅ１を短くし、かつ、パケットの平均輝度を送信対象の信号に関わらず一定にするために、送信対象の信号に応じて、パケットに含まれるデータ部としてＬデータ部とＲデータ部とを使い分かることが想起される。
図１５２は、本実施の形態における可視光信号の詳細な構成の他の例を示す図である。
図１５２に示す可視光信号では、図１４９〜図１５１に示す例と異なり、有効時間長を短くするために、送信対象の信号である変数ｙ０〜ｙ３の総和に応じて、Ｌデータ部を含むパケットと、Ｒデータ部を含むパケットとが使い分けられる。
つまり、送信機１００は、変数ｙ０〜ｙ３の総和が７以上の場合には、図１５２の（ａ）に示すように、２つのデータ部のうちＬデータ部のみを含むパケットを生成する。以下、このパケットをＬパケットという。また、送信機１００は、変数ｙ０〜ｙ３の総和が６以下の場合には、図１５２の（ｂ）に示すように、２つのデータ部のうちＲデータ部のみを含むパケットを生成する。以下、このパケットをＲパケットという。
Ｌパケットは、図１５２の（ａ）に示すように、平均輝度調整部と、Ｌデータ部と、プリアンブルと、無効データとを含む。
Ｌパケットの平均輝度調整部は、Ｈｉｇｈの輝度値を示すことなく、時間長Ｂ’０だけＬｏｗの輝度値を示す。時間長Ｂ’０は、例えばＢ’０＝１００＋Ｗ１×（ｙ０＋ｙ１＋ｙ２＋ｙ３−７）によって示される。
Ｌパケットの無効データは、時間軸に沿ってＨｉｇｈとＬｏｗの輝度値を交互に示す。つまり、無効データは、時間長Ａ’０だけＨｉｇｈの輝度値を示し、次の時間長Ａ’１だけＬｏｗの輝度値を示す。時間長Ａ’０は、Ａ’０＝Ｗ０−Ｗ１によって示され、例えば８０μｓであり、時間長Ａ’１は、例えば１５０μｓである。このような無効データは、その無効データを有するパケットに、Ｒデータ部が含まれていないことを示す。
このようなＬパケットでは、全時間長Ｅ’０は、送信対象の信号に関わらず、Ｅ’０＝５Ｗ０＋１２Ｗ１＋４ｂ＋２３０＝１５４０μｓである。また、有効時間長Ｅ’１は、送信対象の信号に応じた時間長であって、９００〜１２９０μｓの範囲にある。また、全時間長Ｅ’０が一定の１５４０μｓであるのに対して、輝度値がＨｉｇｈの時間長の総和（すなわち合計ＯＮ時間）は、４９０〜６７０μｓの範囲で送信対象の信号に応じて変化する。したがって、送信機１００は、このＬパケットにおいても、図１５１に示す例と同様に、合計ＯＮ時間に応じて、すなわち時間長Ｄ０およびＤ２に応じて、Ｈｉｇｈの輝度値を１００％〜７３．１％の範囲で変化させる。
Ｒパケットは、図１５０に示す例と同様、図１５２の（ｂ）に示すように、無効データと、プリアンブルと、Ｒデータ部と、平均輝度調整部とを含む。
ここで、図１５２の（ｂ）に示すＲパケットでは、有効時間長Ｅ１を短くするために、平均輝度調整部におけるＨｉｇｈの輝度値の時間長Ｂ０は、送信対象の信号に関わらず最短の１００μｓに固定されている。また、平均輝度調整部におけるＬｏｗの輝度値の時間長Ｂ１は、全時間長Ｅ１を一定にするために、例えばＢ１＝Ｗ１×（６−（ｙ０＋ｙ１＋ｙ２＋ｙ３）によって示される。さらに、図１５２の（ｂ）に示すＲパケットにおいても、送信対象の信号に含まれる変数ｙ０およびｙ２に応じて、すなわち、時間長Ｄ０およびＤ２に応じて、Ｈｉｇｈの輝度値が調整される。
このようなＲパケットでは、全時間長Ｅ０は、送信対象の信号に関わらず、Ｅ０＝４Ｗ０＋６Ｗ１＋４ｂ＋２６０＝１２８０μｓである。また、有効時間長Ｅ１は、送信対象の信号に応じた時間長であって、１１００〜１２８０μｓの範囲にある。また、全時間長Ｅ０が一定の１２８０μｓであるのに対して、輝度値がＨｉｇｈの時間長の総和（すなわち合計ＯＮ時間）は、６１０〜７９０μｓの範囲で送信対象の信号に応じて変化する。したがって、送信機１００は、このＬパケットにおいても、図１５１に示す例と同様に、合計ＯＮ時間に応じて、すなわち時間長Ｄ０およびＤ２に応じて、Ｈｉｇｈの輝度値を８０．３％〜６２．１％の範囲で変化させる。
このように、図１５２に示す可視光信号では、パケットにおける有効時間長の最大値を短くすることができる。したがって、送信機１００は、上述の赤色投影期間に、その有効時間長Ｅ１またはＥ’１だけ継続して１つのパケットを送信することができる。
ここで、図１５２に示す例では、送信機１００は、変数ｙ０〜ｙ３の総和が７以上の場合に、Ｌパケットを生成し、変数ｙ０〜ｙ３の総和が６以下の場合に、Ｒパケットを生成する。言い換えれば、変数ｙ０〜ｙ３の総和は整数であるため、送信機１００は、変数ｙ０〜ｙ３の総和が６よりも大きい場合に、Ｌパケットを生成し、変数ｙ０〜ｙ３の総和が６以下の場合に、Ｒパケットを生成する。つまり、この例では、パケットのタイプを切り替えるための閾値は６である。しかし、このようなパケットのタイプの切り替えの閾値は、６に限定されずに、３〜１０の何れかの値であってもよい。
図１５３は、変数ｙ０〜ｙ３の総和と、全時間長および有効時間長との関係を示す図である。図１５３に示す全時間長は、Ｒパケットの全時間長Ｅ０と、Ｌパケットの全時間長Ｅ’０とのうちの大きい方の時間長である。また、図１５３に示す有効時間長は、Ｒパケットの有効時間長Ｅ１の最大値と、Ｌパケットの有効時間長Ｅ’１の最大値とのうちの大きい方の時間長である。なお、図１５３に示す例では、定数Ｗ０、Ｗ１、およびｂは、それぞれＷ０＝１１０μｓ、Ｗ１＝１５μｓおよびｂ＝１００μｓである。
全時間長は、図１５３に示すように、変数ｙ０〜ｙ３の総和に応じて変化するが、その総和が約１０で最小になる。また、有効時間長は、図１５３に示すように、変数ｙ０〜ｙ３の総和に応じて変化するが、その総和が約３で最小になる。
したがって、パケットのタイプの切り替えの閾値は、３〜１０の範囲で、全時間長および有効時間長のうちの何れを短くするかに応じて設定されてもよい。
図１５４Ａは、本実施の形態における送信方法を示すフローチャートである。
本実施の形態における送信方法は、発光体の輝度変化によって可視光信号を送信する送信方法であって、決定ステップＳ５７１と、送信ステップＳ５７２とを含む。決定ステップＳ５７１では、送信機１００は、信号を変調することによって、輝度変化のパターンを決定する。送信ステップＳ５７２では、送信機１００は、その発光体に含まれる光源によって表現される赤色の輝度を、決定されたパターンにしたがって変化させることによって可視光信号を送信する。ここで、可視光信号は、データと、プリアンブルと、ペイロードとを含む。データでは、第１の輝度値、および、その第１の輝度値よりも小さい第２の輝度値が、時間軸上に沿って現れ、第１の輝度値および第２の輝度値のうちの少なくとも一方が継続する時間長は第１の所定の値以下である。プリアンブルでは、第１および第２の輝度値のそれぞれが、時間軸上に沿って交互に現れる。ペイロードでは、第１および第２の輝度値が時間軸上に沿って交互に現れ、第１および第２の輝度値のそれぞれが継続する時間長は第１の所定の値よりも大きく、かつ、上述の信号および所定の方式にしたがって決定されている。
例えば、データ、プリアンブルおよびペイロードはそれぞれ、図１５２の（ａ）および（ｂ）に示す無効データ、プリアンブル、およびＬデータ部もしくはＲデータ部である。また、例えば、第１の所定の値は１００μｓである。
これにより、図１５２の（ａ）および（ｂ）に示すように、可視光信号は、変調される信号に応じて決定される波形のペイロード（すなわち、Ｌデータ部またはＲデータ部）を１つ含み、２つのペイロードを含んでいない。したがって、可視光信号、すなわち可視光信号のパケットを、短くすることができる。その結果、例えば、発光体に含まれる光源によって表現される赤色の光の発光期間が短くても、その発光期間に可視光信号のパケットを送信することができる。
また、ペイロードでは、第１の時間長の第１の輝度値、第２の時間長の第２の輝度値、第３の時間長の第１の輝度値、第４の時間長の第２の輝度値の順で、それぞれの輝度値が現れてもよい。この場合、送信ステップＳ５７２では、送信機１００は、第１の時間長と第３の時間長の和が、第２の所定の値よりも小さい場合、第１の時間長と第３の時間長の和が、第２の所定の値よりも大きい場合よりも、光源に流れる電流値を大きくする。ここで、第２の所定の値は、第１の所定の値よりも大きい。なお、第２の所定の値は、例えば２２０μｓよりも大きい値である。
これにより、図１５１および図１５２に示すように、第１の時間長と第３の時間長の和が小さい場合には、光源の電流値は大きくされ、第１の時間長と第３の時間長の和が大きい場合には、光源の電流値は小さくされる。したがって、データ、プリアンブルおよびペイロードからなるパケットの平均輝度を、信号に関わらずに一定に保つことができる。
また、ペイロードでは、第１の時間長Ｄ０の第１の輝度値、第２の時間長Ｄ１の第２の輝度値、第３の時間長Ｄ２の第１の輝度値、第４の時間長Ｄ３の第２の輝度値の順で、それぞれの輝度値が現れてもよい。この場合、信号から得られる４つのパラメータｙｋ（ｋ＝０，１，２，３）の総和が第３の所定の値以下である場合、第１〜４の時間長Ｄ０〜Ｄ３のそれぞれは、Ｄｋ＝Ｗ０＋Ｗ１×ｙｋ（Ｗ０、Ｗ１は、０以上の整数）に従って決定されている。例えば、図１５２の（ｂ）に示すように、第３の所定の値は３である。
これにより、図１５２の（ｂ）に示すように、第１〜４の時間長Ｄ０〜Ｄ３のそれぞれをＷ０以上にしながら、信号に応じて短い波形のペイロードを生成することができる。
また、４つのパラメータｙｋ（ｋ＝０，１，２，３）の総和が第３の所定の値以下である場合、送信ステップＳ５７２では、データ、プリアンブルおよびペイロードを、データ、プリアンブル、ペイロードの順に送信してもよい。なお、図１５２の（ｂ）に示す例の場合、そのペイロードはＲデータ部である。
これにより、図１５２の（ｂ）に示すように、データ（すなわち無効データ）を含む可視光信号のパケットがＬデータ部を含んでいないことを、そのデータによって、そのパケットを受信する受信機２００に知らせることができる。
また、４つのパラメータｙｋ（ｋ＝０，１，２，３）の総和が第３の所定の値よりも大きい場合、第１〜４の時間長Ｄ０〜Ｄ３のそれぞれは、Ｄ０＝Ｗ０＋Ｗ１×（Ａ−ｙ０）、Ｄ１＝Ｗ０＋Ｗ１×（Ｂ−ｙ１）、Ｄ２＝Ｗ０＋Ｗ１×（Ａ−ｙ２）、およびＤ３＝Ｗ０＋Ｗ１×（Ｂ−ｙ３）（ＡおよびＢはそれぞれ、０以上の整数）に従って決定されていてもよい。
これにより、図１５２の（ａ）に示すように、第１〜４の時間長Ｄ０〜Ｄ３（すなわち、第１〜４の時間長Ｄ’０〜Ｄ’３）のそれぞれをＷ０以上にしながら、上述の総和が大きくても、信号に応じて短い波形のペイロードを生成することができる。
また、４つのパラメータｙｋ（ｋ＝０，１，２，３）の総和が第３の所定の値よりも大きい場合、送信ステップＳ５７２では、データ、プリアンブルおよびペイロードを、ペイロード、プリアンブル、データの順に送信してもよい。なお、図１５２の（ａ）に示す例の場合、そのペイロードはＬデータ部である。
これにより、図１５２の（ａ）に示すように、データ（すなわち無効データ）を含む可視光信号のパケットがＲデータ部を含んでいないことを、そのデータによって、そのパケットを受信する受信装置に知らせることができる。
また、発光体は、赤色の光源、青色の光源、および緑色の光源を含む複数の光源を有し、送信ステップＳ５７２では、その複数の光源のうち、赤色の光源のみを用いて可視光信号を送信してもよい。
これにより、発光体は、赤色の光源、青色の光源、および緑色の光源を用いて映像を表示することができるとともに、受信機２００に受信し易い波長の可視光信号を送信することができる。
なお、発光体は例えばＤＬＰプロジェクタであってもよい。ＤＬＰプロジェクタは、上述のように、赤色の光源、青色の光源、緑色の光源を含む複数の光源を有していてもよいが、１つの光源のみを有していてもよい。つまり、ＤＬＰプロジェクタは、１つの光源と、ＤＭＤ（Digital Micromirror Device）と、光源とＤＭＤとの間に配置されるカラーホイールとを備えていてもよい。この場合には、ＤＬＰプロジェクタは、光源からカラーホイールを介してＤＭＤへ時分割で出力される赤色の光、青色の光、および緑色の光のうち、赤色の光が出力される期間に、可視光信号のパケットを送信する。
図１５４Ｂは、本実施の形態における送信機１００の構成を示すブロック図である。
本実施の形態における送信機１００は、発光体の輝度変化によって可視光信号を送信する送信機、決定部５７１と、送信部５７２とを備える。決定部５７１は、信号を変調することによって、輝度変化のパターンを決定する。送信部５７２は、その発光体に含まれる光源によって表現される赤色の輝度を、決定されたパターンにしたがって変化させることによって可視光信号を送信する。ここで、可視光信号は、データと、プリアンブルと、ペイロードとを含む。データでは、第１の輝度値、および、その第１の輝度値よりも小さい第２の輝度値が、時間軸上に沿って現れ、第１の輝度値および第２の輝度値のうちの少なくとも一方が継続する時間長は第１の所定の値以下である。プリアンブルでは、第１および第２の輝度値のそれぞれが、時間軸上に沿って交互に現れる。ペイロードでは、第１および第２の輝度値が時間軸上に沿って交互に現れ、第１および第２の輝度値のそれぞれが継続する時間長は第１の所定の値よりも大きく、かつ、上述の信号および所定の方式にしたがって決定されている。
このような送信機１００によって、図１５４Ａに示すフローチャートの送信方法が実現される。
（実施の形態９）
本実施の形態では、実施の形態４などと同様、光ＩＤを用いたＡＲ（Augmented Realitｙ）を実現する表示方法および表示装置などについて説明する。なお、本実施の形態における送信機および受信機は、上記各実施の形態における送信機（または送信装置）および受信機（または受信装置）と同一の機能および構成を有していてもよい。また、本実施の形態における受信機は、表示装置として構成されている。
図１５５は、実施の形態９における表示システムの構成を示す図である。
この表示システム５００は、可視光信号を用いた物体認識と拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ／Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）表示とを行う。
送信機１００は、例えば図１５５に示すように、照明装置として構成され、ＡＲ対象物５０１を照らしながら輝度変化することによって、光ＩＤを送信している。ＡＲ対象物５０１は、その送信機１００からの光によって照らされているため、送信機１００と同様に輝度変化し、光ＩＤを送信している。
受信機２００は、そのＡＲ対象物５０１を撮像する。つまり、受信機２００は、上述の通常露光時間および通信用露光時間のそれぞれの露光時間でＡＲ対象物５０１を撮像する。これにより、受信機２００は、上述と同様、撮像表示画像と、可視光通信画像または輝線画像である復号用画像とを取得する。
受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、ＡＲ対象物５０１から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバ３００に送信する。そして、受信機２００は、その光ＩＤに関連付けられているＡＲ画像Ｐ１１と認識情報とをサーバ３００から取得する。受信機２００は、撮像表示画像のうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、ＡＲ対象物５０１が映し出されている領域を対象領域として認識する。そして、受信機２００は、その対象領域にＡＲ画像Ｐ１１を重畳し、ＡＲ画像Ｐ１１が重畳された撮像表示画像をディスプレイに表示する。例えば、ＡＲ画像Ｐ１１は、動画像である。
受信機２００は、そのＡＲ画像Ｐ１１の動画像の全ての表示または再生が完了すると、その動画像の再生完了をサーバ３００に通知する。この再生完了の通知を受けたサーバ３００は、その受信機２００に対してポイントなどの報酬を付与する。なお、受信機２００は、動画像の再生完了をサーバ３００に通知するときには、再生完了だけでなく、受信機２００のユーザの個人情報も通知してもよく、報酬を格納するためのウォレットＩＤも通知してもよい。サーバ３００は、これらの通知を受けることによって、その受信機２００に対してポイントを付与する。
図１５６は、受信機２００とサーバ３００の処理動作を示すシーケンス図である。
受信機２００は、ＡＲ対象物５０１を撮像することによって、可視光信号として光ＩＤを取得する（ステップＳ５１）。そして、受信機２００は、その光ＩＤをサーバ３００に送信する（ステップＳ５２）。
サーバ３００は、その光ＩＤを取得すると（ステップＳ５３）、その光ＩＤに関連付けられている認識情報およびＡＲ画像Ｐ１１を受信機２００に送信する（ステップＳ５４）。
受信機２００は、認識情報にしたがって、撮像表示画像のうちの例えばＡＲ対象物５０１が映し出されている領域を対象領域として認識し、その対象領域にＡＲ画像Ｐ１１が重畳された撮像表示画像をディスプレイに表示する。そして、その受信機２００は、そのＡＲ画像Ｐ１１である動画像の再生を開始する（ステップＳ５６）。
次に、受信機２００は、その動画像の再生が全て完了したか否かを判定する（ステップＳ５７）。再生が全て完了したと判定すると（ステップＳ５７のＹｅｓ）、受信機２００は、その動画像の再生完了をサーバ３００に通知する（ステップＳ５８）。
サーバ３００は、その再生完了の通知を受信機２００から受けると、その受信機２００に対してポイントを付与する（ステップＳ５９）。
ここで、サーバ３００は、図１５７に示すように、受信機２００に対してポイントを付与するための条件をより厳しくしてもよい。
図１５７は、サーバ３００の処理動作を示すフローチャートである。
サーバ３００は、まず、受信機２００から光ＩＤを取得する（ステップＳ６０）。次に、サーバ３００は、その光ＩＤに関連付けられている認識情報およびＡＲ画像Ｐ１１を受信機２００に送信する（ステップＳ６１）。
そして、サーバ３００は、受信機２００からＡＲ画像Ｐ１１である動画像の再生完了の通知を受けたか否かを判定する（ステップＳ６２）。ここで、サーバ３００は、動画像の再生完了の通知を受けたと判定すると（ステップＳ６２のＹｅｓ）、さらに、過去に同じＡＲ画像Ｐ１１が受信機２００において再生されたか否かを判定する（ステップＳ６３）。過去に同じＡＲ画像Ｐ１１が受信機２００において再生されていないと判定すると（ステップＳ６３のＮｏ）、サーバ３００は、受信機２００に対してポイントを付与する（ステップＳ６６）。一方、過去に同じＡＲ画像Ｐ１１が受信機２００において再生されていると判定すると（ステップＳ６３のＹｅｓ）、サーバ３００は、さらに、その過去の再生から所定期間が経過しているか否かを判定する（ステップＳ６４）。例えば、所定期間は、１か月であってもよく、３か月であってもよく、１年などであってもよく、どのような期間であってもよい。
ここで、サーバ３００は、所定期間が経過していないと判定する（ステップＳ６４のＮｏ）、受信機２００に対してポイントを付与しない。一方、サーバ３００は、所定期間が経過していると判定すると（ステップＳ６４のＹｅｓ）、さらに、受信機２００の現在の場所が、過去に同じＡＲ画像Ｐ１１が再生された場所（以下、過去再生場所という）と異なるか否かを判定する（ステップＳ６５）。サーバ３００は、受信機２００の現在の場所が過去再生場所と異なると判定すると（ステップＳ６５のＹｅｓ）、受信機２００に対してポイントを付与する（ステップＳ６６）。一方、サーバ３００は、受信機２００の現在の場所が過去再生場所と同じであると判定すると（ステップＳ６５のＮｏ）、受信機２００に対してポイントを付与しない。
これにより、ＡＲ画像Ｐ１１の全ての再生によってポイントが受信機２００に対して付与されるため、受信機２００のユーザがＡＲ画像Ｐ１１の全てを再生しようとする意欲を高めることができる。例えば、サーバ３００からデータ量の多いＡＲ画像Ｐ１１を取得するためには、高いパケット料が必要になり、ユーザは、そのＡＲ画像Ｐ１１の再生を途中で中断する可能性がある。しかし、ポイントの付与によって、ＡＲ画像Ｐ１１の全てを再生させることができる。なお、ポイントは、パケット料の割引であってもよい。さらに、ＡＲ画像Ｐ１１のデータ量に応じたポイントを受信機２００に付与してもよい。
図１５８は、送信機１００および受信機２００がそれぞれ車両に搭載された場合における通信の例を示す図である。
車両２００ｎは、上述の受信機２００を備え、複数の車両１００ｎは、上述の送信機１００を備えている。また、複数の車両１００ｎは、例えば、車両２００ｎの前方を走行している。さらに、車両２００ｎは、複数の車両１００ｎのうちの何れか１つの車両１００ｎと無線で通信している。
ここで、車両２００ｎは、前方にある複数の車両１００ｎのうちの何れの車両１００ｎと無線通信しているのかを把握するために、その通信相手の車両１００ｎに対して、可視光信号を送信するように無線通信によって要求する。
通信相手の車両１００ｎは、車両２００ｎからその要求を受けると、後方に向けて可視光信号を送信する。例えば、通信相手の車両１００ｎは、バックライトを点滅させることによって、可視光信号を送信する。
車両２００ｎは、イメージセンサによって前方を撮像する。これにより、車両２００ｎは、上述と同様、撮像表示画像と復号用画像とを取得する。撮像表示画像には、車両２００ｎの前方を走行する複数の車両１００ｎが映し出されている。
車両２００ｎは、その復号用画像における輝線パターン領域の位置を特定し、例えば、撮像表示画像における、その輝線パターン領域と同一の位置にマーカーを重畳する。そして、車両２００ｎは、マーカーが重畳された撮像表示画像を車内のディスプレイに表示する。例えば、複数の車両１００ｎのうちの何れか１つの車両１００ｎのバックライトにマーカーが重畳された撮像表示画像が表示される。これにより、車両２００ｎの運転者などの乗員は、その撮像表示画像を見ることによって、何れの車両１００ｎが通信相手であるのかを容易に把握することができる。
図１５９は、車両２００ｎの処理動作を示すフローチャートである。
車両２００ｎは、その車両２００ｎの周辺にある車両１００ｎと無線通信を開始する（ステップＳ７１）。このとき、車両２００ｎの乗員は、その車両２００ｎのイメージセンサによる周辺の撮像によって得られる画像に、複数の車両が映し出されている場合、それらの複数の車両の中で、何れの車両が無線通信の通信相手であるのかを把握することができない。そこで、車両２００ｎは、可視光信号の送信を無線通信で通信相手の車両１００ｎに要求する（ステップＳ７２）。この要求を受け付けた通信相手の車両１００ｎは、可視光信号を送信する。車両２００ｎは、イメージセンサによって周辺を撮像し、その撮像によって、通信相手の車両１００ｎから送信された可視光信号を受信する（ステップＳ７３）。つまり、車両２００ｎは、上述のように、撮像表示画像および復号用画像を取得する。そして、車両２００ｎは、その復号用画像における輝線パターン領域の位置を特定し、撮像表示画像における、その輝線パターン領域と同一の位置にマーカーを重畳する。これにより、車両２００ｎは、撮像表示画像に複数の車両が映し出されていても、それらの複数の車両のうち、マーカーが重畳された車両を、通信相手の車両１００ｎとして特定することができる（ステップＳ７４）。
図１６０は、本実施の形態における受信機２００がＡＲ画像を表示する例を示す図である。
受信機２００は、そのイメージセンサによる被写体の撮像によって、例えば図５４に示すように、撮像表示画像Ｐｋと復号用画像とをそれぞれ繰り返し取得する。
具体的には、受信機２００のイメージセンサは、サイネージとして構成されている送信機１００と、送信機１００の隣にいる人物２１とを撮像する。送信機１００は、上記各実施の形態における送信機であって、１つまたは複数の発光素子（例えばＬＥＤ）と、すりガラスのように透光性を有する透光板１４４とを備える。１つまたは複数の発光素子は、送信機１００の内部で発光し、１つまたは複数の発光素子からの光は、透光板１４４を透過して外部に照射される。その結果、送信機１００の透光板１４４が明るく光っている状態になる。このような送信機１００は、その１つまたは複数の発光素子を点滅させることによって輝度変化し、その輝度変化によって光ＩＤ（すなわち光識別情報）を送信する。この光ＩＤは、上述の可視光信号である。
ここで、透光板１４４には、「ここにスマートフォンをかざしてください」というメッセージが記載されている。そこで、受信機２００のユーザは、人物２１を送信機１００の隣に立たせて、腕を送信機１００に差し出すようにその人物２１に指示する。そして、ユーザは、受信機２００のカメラ（すなわちイメージセンサ）を人物２１および送信機１００に向けて撮像を行う。受信機２００は、送信機１００および人物２１を通常露光時間で撮像することによって、それらが映し出された撮像表示画像Ｐｋを取得する。さらに、受信機２００は、その通常露光時間よりも短い通信用露光時間で送信機１００および人物２１を撮像することによって、復号用画像を取得する。
受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、送信機１００から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤに関連付けられているＡＲ画像Ｐ４５と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｋのうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、送信機１００であるサイネージが映し出されている領域を対象領域として認識する。
そして、受信機２００は、その対象領域がＡＲ画像Ｐ４５によって覆い隠されるように、そのＡＲ画像Ｐ４５を撮像表示画像Ｐｋに重畳し、その撮像表示画像Ｐｋをディスプレイ２０１に表示する。例えば、受信機２００は、サッカー選手を示すＡＲ画像Ｐ４５を取得する。この場合、撮像表示画像Ｐｋの対象領域を覆い隠すようにそのＡＲ画像Ｐ４５が重畳されるため、人物２１の隣にサッカー選手が現実に存在するように、撮像表示画像Ｐｋを表示することができる。その結果、人物２１は、サッカー選手が隣にいなくても、そのサッカー選手と一緒に写真に写ることができる。
ここで、ＡＲ画像Ｐ４５は、握手をしている状態のサッカー選手を示す。そこで、人物２１は、そのＡＲ画像Ｐ４５と握手をしている撮像表示画像Ｐｋが得られるように、自らの手を送信機１００に差し出す。しかし、人物２１には、撮像表示画像Ｐｋに重畳されるＡＲ画像Ｐ４５が見えず、ＡＲ画像Ｐ４５のサッカー選手と握手ができているのか分からない。
そこで、本実施の形態における受信機２００は、ライブビューとして撮像表示画像Ｐｋを表示装置Ｄ５に送信して、その表示装置Ｄ５のディスプレイに撮像表示画像Ｐｋを表示させる。表示装置Ｄ５のディスプレイは、人物２１に向けられている。したがって、人物２１は、その表示装置Ｄ５に表示される撮像表示画像Ｐｋを見ることによって、ＡＲ画像Ｐ４５のサッカー選手と握手ができているのを把握することができる。
図１６１は、本実施の形態における受信機２００がＡＲ画像を表示する他の例を示す図である。
送信機１００は、例えば図１６１に示すように、例えば音楽コンテンツのアルバムのデジタルサイネージとして構成され、輝度変化することによって、光ＩＤを送信している。
受信機２００は、送信機１００を撮像することによって、上述と同様に、撮像表示画像Ｐｒと復号用画像とを繰り返し取得する。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得する。つまり、受信機２００は、送信機１００から光ＩＤを受信する。受信機２００は、その光ＩＤをサーバに送信する。そして、受信機２００は、その光ＩＤによって特定されるアルバムに関連付けられている第１のＡＲ画像Ｐ４６、認識情報、第１の音楽コンテンツおよびサブ画像Ｐｓ４６をサーバから取得する。
受信機２００は、そのサーバから取得された第１の音楽コンテンツの再生を開始する。これにより、第１の音楽コンテンツである１曲目の歌が受信機２００のスピーカから出力される。
さらに、受信機２００は、撮像表示画像Ｐｒのうち、認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、送信機１００が映し出されている領域を対象領域として認識する。そして、受信機２００は、その対象領域に第１のＡＲ画像Ｐ４６を重畳し、さらに、その対象領域の外に、サブ画像Ｐｓ４６を重畳する。受信機２００は、その第１のＡＲ画像Ｐ４６およびサブ画像Ｐｓ４６が重畳された撮像表示画像Ｐｒをディスプレイ２０１に表示する。例えば、第１のＡＲ画像Ｐ４６は、第１の音楽コンテンツである１曲目の歌に関する動画像であり、サブ画像Ｐｓ４６は、上述のアルバムに関する静止画像である。受信機２００は、第１の音楽コンテンツに同期させて、その第１のＡＲ画像Ｐ４６の動画像を再生する。
図１６２は、受信機２００の処理動作を示す図である。
例えば、受信機２００は、図１６１に示す状態と同様、図１６２の（ａ）に示すように、第１のＡＲ画像Ｐ４６と第１の音楽コンテンツとを同期させて再生する。ここで、受信機２００のユーザは、受信機２００に対する操作を行う。例えば、図１６２の（ｂ）に示すように、ユーザはスワイプを行う。具体的には、ユーザは、受信機２００のディスプレイ２０１に表示されている第１のＡＲ画像Ｐ４６に指先を当てた状態で、横方向にその指先を動かす。言い換えれば、ユーザは、第１のＡＲ画像Ｐ４６を横方向にスライドさせる。この場合、受信機２００は、第１の音楽コンテンツの次に上述の光ＩＤに関連付けられている第２の音楽コンテンツと、第１のＡＲ画像Ｐ４６の次に上述の光ＩＤに関連付けられている第２のＡＲ画像Ｐ４６ｃとを、サーバから取得する。例えば、第２の音楽コンテンツは、２曲目の歌であり、第２のＡＲ画像Ｐ４６ｃは、２曲目の歌に関する動画像である。
そして、受信機２００は、再生される音楽コンテンツを第１の音楽コンテンツから第２の音楽コンテンツに切り替える。つまり、受信機２００は、第１の音楽コンテンツの再生を停止し、第２の音楽コンテンツである２曲目の歌の再生を開始する。
このとき、受信機２００は、撮像表示画像Ｐｒの対象領域に重畳されている画像を、第１のＡＲ画像Ｐ４６から第２のＡＲ画像Ｐ４６ｃに切り替える。つまり、受信機２０は、第１のＡＲ画像Ｐ４６の再生を停止し、第２のＡＲ画像Ｐ４６ｃの再生を開始する。
ここで、第２のＡＲ画像Ｐ４６ｃの最初に表示されるピクチャは、第１のＡＲ画像Ｐ４６の最初に表示されるピクチャと同一である。
したがって、受信機２００は、図１６２の（ａ）に示すように、２曲目の歌の再生を開始するときには、まず、第１のＡＲ画像Ｐ４６の最初のピクチャと同一のピクチャを表示する。その後、受信機２００は、図１６２の（ｂ）に示すように、第２のＡＲ画像Ｐ４６ｃに含まれる２枚目以降の複数のピクチャを順に表示する。
ここで再び、ユーザが、図１６２の（ｂ）に示すように、受信機２００に対してスワイプを行う。その操作に応じて、受信機２００は、上述と同様、第２の音楽コンテンツの次に上述の光ＩＤに関連付けられている第３の音楽コンテンツと、第２のＡＲ画像Ｐ４６ｃの次に上述の光ＩＤに関連付けられている第３のＡＲ画像Ｐ４６ｄとを、サーバから取得する。例えば、第３の音楽コンテンツは、３曲目の歌であり、第３のＡＲ画像Ｐ４６ｄは、３曲目の歌に関する動画像である。
そして、受信機２００は、再生される音楽コンテンツを第２の音楽コンテンツから第３の音楽コンテンツに切り替える。つまり、受信機２００は、第２の音楽コンテンツの再生を停止し、第３の音楽コンテンツである３曲目の歌の再生を開始する。
このとき、受信機２００は、撮像表示画像Ｐｒの対象領域に重畳されている画像を、第２のＡＲ画像Ｐ４６ｃから第３のＡＲ画像Ｐ４６ｄに切り替える。つまり、受信機２０は、第２のＡＲ画像Ｐ４６ｃの再生を停止し、第３のＡＲ画像Ｐ４６ｄの再生を開始する。
ここで、第３のＡＲ画像Ｐ４６ｄの最初に表示されるピクチャは、第１のＡＲ画像Ｐ４６の最初に表示されるピクチャと同一である。
したがって、受信機２００は、図１６２の（ａ）に示すように、３曲目の歌の再生を開始するときには、まず、第１のＡＲ画像Ｐ４６の最初のピクチャと同一のピクチャを表示する。その後、受信機２００は、図１６２の（ｄ）に示すように、第３のＡＲ画像Ｐ４６ｄに含まれる２枚目以降の複数のピクチャを順に表示する。
なお、上述の例では、図１６２の（ｂ）に示すように、受信機２００は、動画像であるＡＲ画像をスライドさせる操作（つまりスワイプ）を受け付けると、次の動画像を表示する。しかし、受信機２００は、その操作の代わりに、光ＩＤの取り直しがあったときに、次の動画像を表示してもよい。光ＩＤの取り直しがあったときとは、イメージセンサによる撮像によって光ＩＤが再び取得したときである。つまり、受信機２００は、撮像を行うことによって、撮像表示画像および復号用画像を繰り返し取得しているが、その繰り返し取得される復号用画像から輝線パターン領域が消えて再び現れるときに、光ＩＤが取り直される。例えば、送信機１００に向けられていた受信機２００のイメージセンサが、他の向きに向けられたときに、復号用画像から輝線パターン領域が消える。そして、そのイメージセンサが再び送信機１００に向けられたときに、復号用画像に輝線パターン領域が現れる。このときに、光ＩＤが取り直される。
このように、本実施の形態における表示方法では、受信機２００は、イメージセンサによる撮像によって可視光信号を光ＩＤ（すなわち識別情報）として取得する。そして、受信機２００は、その光ＩＤに関連付けられている動画像である第１のＡＲ画像Ｐ４６を表示する。次に、受信機２００は、第１のＡＲ画像Ｐ４６をスライドさせる操作を受け付けると、その第１のＡＲ画像Ｐ４６の次に光ＩＤに関連付けられている動画像である第２のＡＲ画像Ｐ４６ｃを表示する。したがって、ユーザに有益な画像を容易に表示することができる。
また、本実施の形態における表示方法では、第１のＡＲ画像Ｐ４６および第２のＡＲ画像Ｐ４６ｃのそれぞれにおいて、最初に表示されるピクチャ内のオブジェクトは同一の位置にあってもよい。例えば、図１６２に示す例では、第１のＡＲ画像Ｐ４６および第２のＡＲ画像Ｐ４６ｃのそれぞれの最初に表示されるピクチャは同一である。したがって、それらのピクチャ内のオブジェクトは同一位置にある。例えば、図１６２の（ａ）に示すように、オブジェクトである歌手は、第１のＡＲ画像Ｐ４６および第２のＡＲ画像Ｐ４６ｃのそれぞれの最初に表示されるピクチャ内において同一位置にある。その結果、ユーザは、第１のＡＲ画像Ｐ４６および第２のＡＲ画像Ｐ４６ｃが互いに関連していることを容易に把握することができる。なお、図１６２に示す例では、第１のＡＲ画像Ｐ４６および第２のＡＲ画像Ｐ４６ｃのそれぞれの最初に表示されるピクチャは同一であるが、それらのピクチャ内のオブジェクトが同一位置にあれば、それらのピクチャは異なっていてもよい。
また、本実施の形態における表示方法では、受信機２００は、イメージセンサによる撮像によって光ＩＤを再び取得したときには、表示されている動画像の次に光ＩＤに関連付けられている次の動画像を表示する。これにより、ユーザに有益な動画像をより容易に表示することができる。
また、本実施の形態における表示方法では、受信機２００は、図１６１に示すように、第１のＡＲ画像Ｐ４６および第２のＡＲ画像Ｐ４６ｃのうちの少なくとも一方の動画像が表示される領域の外に、サブ画像Ｐｓ４６を表示する。これにより、ユーザにより有益な多種多様な画像を容易に表示することができる。
図１６３は、受信機２００に対する操作の一例を示す図である。
例えば、図１６１および図１６２に示すように、受信機２００のディスプレイ２０１にＡＲ画像が表示されているときに、ユーザは、図１６３に示すように、縦方向のスワイプを行う。具体的には、ユーザは、受信機２００のディスプレイ２０１に表示されているＡＲ画像に指先を当てた状態で、縦方向にその指先を動かす。言い換えれば、ユーザは、例えば第１のＡＲ画像Ｐ４６などのＡＲ画像を縦方向にスライドさせる。この場合、受信機２００は、上述の光ＩＤに関連付けられている他のＡＲ画像を、サーバから取得する。
図１６４は、受信機２００に表示されるＡＲ画像の例を示す図である。
受信機２００は、図１６３に示すようなスワイプの操作が行われると、上述の他のＡＲ画像としてサーバから取得されたＡＲ画像Ｐ４７を、撮像表示画像Ｐｒに重畳して表示する。
例えば、受信機２００は、音楽コンテンツの歌手を示す静止画像であるＡＲ画像Ｐ４７を、図１４６および図１６０に示す例と同様に、撮像表示画像Ｐｒに重畳して表示する。ここで、ＡＲ画像Ｐ４７は、撮像表示画像Ｐｒのうちの対象領域、つまり、デジタルサイネージである送信機１００が映し出されている領域に、重畳されている。したがって、図１４６および図１６０に示す例と同様に、その送信機１００の隣に人物が立つと、その人物の隣に歌手が現実に存在するように、撮像表示画像Ｐｒを表示することができる。その結果、人物は、歌手が隣にいなくても、その歌手と一緒に写真に写ることができる。
このように、本実施の形態における表示方法では、受信機２００は、第１のＡＲ画像Ｐ４６を横方向にスライドさせる操作を受け付けると、第２のＡＲ画像Ｐ４６ｃを表示し、第１のＡＲ画像Ｐ４６を縦方向にスライドさせる動作を受け付けると、光ＩＤに関連付けられている静止画像であるＡＲ画像Ｐ４７を表示する。したがって、ユーザに有益な多種多様な画像を容易に表示することができる。
図１６５は、撮像表示画像に重畳されるＡＲ画像の例を示す図である。
受信機２００は、図１６５に示すように、撮像表示画像Ｐｒ１にＡＲ画像Ｐ４８を重畳するときには、そのＡＲ画像Ｐ４８の一部をトリミングして、その一部のみを撮像表示画像Ｐｒ１に重畳してもよい。例えば、受信機２００は、矩形のＡＲ画像Ｐ４８の周縁領域を切り取り、ＡＲ画像Ｐ４８の中央の丸い領域のみを撮像表示画像Ｐｒ１に重畳してもよい。
図１６６は、撮像表示画像に重畳されるＡＲ画像の例を示す図である。
受信機２００は、例えば喫茶店のデジタルサイネージとして構成された送信機１００を撮像する。その撮像によって、受信機２００は、上述と同様、撮像表示画像Ｐｒ２と復号用画像とを取得する。撮像表示画像Ｐｒ２には、そのデジタルサイネージである送信機１００がサイネージ像１００ｉとして写し出されている。受信機２００は、その復号用画像に対する復号によって光ＩＤを取得し、その光ＩＤに関連付けられているＡＲ画像Ｐ４９をサーバから取得する。そして、受信機２００は、撮像表示画像Ｐｒ２におけるサイネージ像１００ｉの上側にある領域を対象領域として認識し、その対象領域にＡＲ画像Ｐ４９を重畳する。ＡＲ画像Ｐ４９は、例えばコーヒーがポットから流れ落ちる動画像である。この動画像であるＡＲ画像Ｐ４９は、ポットから流れ落ちるコーヒーの領域内の位置がそのＡＲ画像Ｐ４９の下端に近いほど、その位置における透明度が高くなるように形成されている。これにより、コーヒーが現実に流れ落ちているように、ＡＲ画像Ｐ４９を表示することができる。
なお、このようなＡＲ画像Ｐ４９は、輪郭が曖昧な動画像であれば、どのような動画像であってもよく、例えば炎の動画像であってもよい。ＡＲ画像Ｐ４９が炎の動画像である場合には、ＡＲ画像４９の周縁部分における透明度は、外側に向かって次第に大きくなる。また、その透明度が時間的に変化してもよい。これにより、ＡＲ画像Ｐ４９をゆらめく炎として現実感あふれるように表示することができる。
また、図１６２に示す第１のＡＲ画像Ｐ４６、第２のＡＲ画像Ｐ４６ｃおよび第３のＡＲ画像Ｐ４６ｄのうちの少なくとも１つの動画像が、図１６６に示すような透明度を有するように形成されていてもよい。
つまり、本実施の形態における表示方法では、第１のＡＲ画像Ｐ４６および第２のＡＲ画像Ｐ４６ｃのうちの少なくとも一方の動画像は、その動画像内の位置がその動画像の端に近いほど、当該位置における透明度が高くなるように形成されていてもよい。これにより、その動画像が通常撮影画像に重畳されて表示される場合には、通常撮影画像によって示される環境に、輪郭が曖昧なオブジェクトが現実に存在するように、撮像表示画像を表示することができる。
図１６７は、本実施の形態における送信機１００の一例を示す図である。
送信機１００は、可視光通信モードでの撮像が不可能な受信機、すなわち光通信非対応の受信機に対しても情報を画像ＩＤとして送信することができるように構成されている。つまり、送信機１００は、上述と同様、例えばデジタルサイネージとして構成され、輝度変化することによって、光ＩＤを送信する。さらに、送信機１００には、ラインパターン１５１〜１５４が描かれている。これらのラインパターン１５１〜１５４のそれぞれは、複数の水平方向に沿う短い直線の配列パターンであって、これらの複数の直線はそれぞれ、垂直方向に互い離れて配列されている。つまり、ラインパターン１５１〜１５４のそれぞれは、バーコードのように構成されている。ラインパターン１５１は、送信機１００に描かれているＡの文字の左側に配置され、ラインパターン１５２は、そのＡの文字の右側に配置されている。ラインパターン１５３は、送信機１００に描かれているＢの文字に配置され、ラインパターン１５４は、送信機１００に描かれているＣの文字に配置されている。なお、Ａ、ＢおよびＣの文字は、例示であって、どのような文字または画像が送信機１００に描かれていてもよい。
光通信非対応の受信機は、イメージセンサの露光時間を上述の通信用露光時間に設定することができないため、送信機１００を撮像しても、その撮像によって光ＩＤを取得することはできない。しかし、受信機は、その送信機１００の撮像によって、ラインパターン１５１〜１５４が映し出されている通常撮影画像（すなわち撮像表示画像）を取得し、それらのラインパターン１５１〜１５４から画像ＩＤを取得することができる。したがって、光通信非対応の受信機は、送信機１００から光ＩＤを取得することができなくても、画像ＩＤを取得することができ、その画像ＩＤを光ＩＤの代わりに用いることによって、上述と同様、ＡＲ画像を撮像表示画像に重畳して表示することができる。
なお、ラインパターン１５１〜１５４のそれぞれから同一の画像ＩＤが取得されてもよく、互いに異なる画像ＩＤが取得されてもよい。
図１６８は、本実施の形態における送信機の他の例を示す図である。
本実施の形態における送信機１００ｅは、送信機本体１１５と、レンチキュラーレンズ１１６とを備える。なお、図１６８の（ａ）は、送信機１００ｅの上面図を示し、図１６８の（ｂ）は、送信機１００ｅの正面図を示す。
送信機本体１１５は、図１６７に示す送信機１００と同様の構成を有する。つまり、送信機本体１１５の正面には、Ａ、ＢおよびＣの文字と、それらの文字に付随するラインパターンとが描かれている。
レンチキュラーレンズ１１６は、送信機本体１１５の正面、つまり、Ａ、ＢおよびＣの文字とラインパターンとが描かれている面を覆うように、送信機本体１１５に取り付けられている。
したがって、図１６８の（ｃ）に示す送信機１００ｅの正面左側から見えるラインパターン１５１〜１５４と、図１６８の（ｄ）に示す送信機１００ｅの正面右側から見えるラインパターン１５１〜１５４とを、異ならせることができる。
図１６９は、本実施の形態における送信機１００の他の例を示す図である。なお、図１６９の（ａ）は、本物として構成されている送信機１００が受信機２００ａによって撮像される例を示す。また、図１６９の（ｂ）は、その送信機１００の偽物として構成されている送信機１００ｆが受信機２００ａによって撮像される例を示す。
本物の送信機１００は、図１６９の（ａ）に示すように、図１６７に示す例と同様、光通信非対応の受信機に対して画像ＩＤを送信することができるように構成されている。つまり、送信機１００の正面には、Ａ、ＢおよびＣの文字と、ラインパターン１５４などが描かれている。さらに、送信機１００の正面には、文字列１６１が描かれていてもよい。この文字列１６１は、赤外線反射塗料、赤外線吸収塗料または赤外線遮断塗料の塗布によって形成されている。したがって、この文字列１６１は、人の目には見えないが、受信機２００ａのイメージセンサによる撮像によって得られる通常撮影画像には映し出される。
受信機２００ａは、光通信非対応の受信機である。したがって、受信機２００ａは、送信機１００から上述の可視光信号が送信されても、その可視光信号を受信することはできない。しかし、受信機２００ａは、送信機１００を撮像すれば、その撮像によって得られる通常撮影画像に映し出されているラインパターンから、画像ＩＤを取得することができる。さらに、受信機２００ａは、その通常撮影画像に、文字列１６１が例えば「ここにスマートフォンをかざしてください」と映し出されていれば、その送信機１００が本物であると判定することができる。つまり、受信機２００は、取得された画像ＩＤが不正なものでないと判断することができる。言い換えれば、受信機２００は、文字列１６１が通常撮影画像に映し出されているか否かに応じて、画像ＩＤを認証することができる。受信機２００は、画像ＩＤが不正なものではないと判断すると、その画像ＩＤをサーバに送信する処理など、その画像ＩＤを用いた処理を行う。
一方、上述のような送信機１００が不正に複製される場合がある。つまり、本物の送信機１００ではなく、その送信機１００の偽物として構成された送信機１００ｆが設置されている場合がある。このような偽物の送信機１００ｆの正面には、Ａ、ＢおよびＣの文字と、ラインパターン１５４ｆとが描かれている。Ａ、ＢおよびＣの文字と、ラインパターン１５４ｆとは、本物の送信機１００に描かれているＡ、ＢおよびＣの文字と、ラインパターン１５４とに類似するように、悪意のある人によって描かれている。つまり、ラインパターン１５４ｆは、ラインパターン１５４に類似しているが、異なっている。
しかし、悪意のある人は、本物の送信機１００を不正に複製する場合には、赤外線反射塗料、赤外線吸収塗料または赤外線遮断塗料によって描かれた文字列１６１を視認することができない。したがって、文字列１６１は、偽物の送信機１００ｆの正面には描かれていない。
したがって、受信機２００ａは、このような偽物の送信機１００ｆを撮像すれば、その撮像によって得られる通常撮影画像に映し出されているラインパターンから、不正な画像ＩＤを取得してしまう。しかし、受信機２００ａは、図１６９の（ｂ）に示すように、その通常撮影画像に文字列１６１が映し出されていないため、その画像ＩＤが不正なものであると判断することができる。その結果、受信機２００は、その不正な画像ＩＤを用いた処理を禁止することができる。
図１７０は、光通信対応の受信機２００と、光通信非対応の受信機２００ａとを用いたシステムの一例を示す図である。
例えば、光通信非対応の受信機２００ａは、送信機１００を撮像する。なお、この送信機１００には、図１６７に示す例と同様、ラインパターン１５４が描かれているが、図１６８に示す文字列１６１は描かれていない。したがって、受信機２００ａは、撮像によって取得される通常撮影画像に映し出されているラインパターンから、画像ＩＤを取得することができるが、その画像ＩＤを認証することができない。そこで、受信機２００ａは、その画像ＩＤが不正なものであっても、その画像ＩＤを信用し、その画像ＩＤを用いた処理を行う。例えば、受信機２００ａは、その画像ＩＤに関連付けられた手続きをサーバ３００に依頼する。その手続きは、例えば、不正な銀行口座へのお金の振り込みなどである。
一方、光通信対応の受信機２００は、送信機１００を撮像することによって、上述と同様に、可視光信号である光ＩＤを取得するとともに、画像ＩＤも取得する。そこで、受信機２００は、その画像ＩＤが光ＩＤと一致するか否かを判定する。ここで、画像ＩＤが光ＩＤと異なると判定すると、受信機２００は、画像ＩＤに関連付けられた手続きの依頼を破棄するようにサーバ３００に要求する。
したがって、サーバ３００は、光通信非対応の受信機２００ａから、画像ＩＤに関連付けられた手続きを依頼されても、光通信対応の受信機２００から要求を受け付けた場合には、その手続きの依頼を破棄する。
これにより、不正な画像ＩＤが得られるようなラインパターン１５４が、悪意のある人によって送信機１００に描かれていても、その画像ＩＤに関連付けられた手続きの依頼を適切に破棄することができる。
図１７１は、受信機２００の処理動作を示すフローチャートである。
受信機２００は、送信機１００の撮像によって、通常撮影画像を取得する（ステップＳ８１）。そして、受信機２００は、その通常撮影画像に映し出されているラインパターンから画像ＩＤを取得する（ステップＳ８２）。
次に、受信機２００は、可視光通信により光ＩＤを送信機１００から取得する（ステップＳ８３）。つまり、受信機２００は、可視光通信モードによる送信機１００の撮像によって復号用画像を取得し、その復号用画像に対する復号によって光ＩＤを取得する。
そして、受信機２００は、ステップＳ８２で取得された画像ＩＤが、ステップＳ８３で取得された光ＩＤに一致するか否かを判定する（ステップＳ８４）。ここで、一致すると判定すると（ステップＳ８４のＹｅｓ）、受信機２００は、光ＩＤに関連付けられた手続きをサーバ３００に依頼する（ステップＳ８５）。一方、一致しないと判定すると（ステップＳ８４のＮｏ）、受信機２００は、光ＩＤに関連付けられた手続きの依頼を破棄するようにサーバ３００に要求する（ステップＳ８６）。
図１７２は、ＡＲ画像の表示の例を示す図である。
例えば、送信機１００は、サーベルのように形成され、サーベルの柄以外の部分が輝度変化することによって可視光信号を光ＩＤとして送信している。
受信機２００は、図１７２の（ａ）に示すように、送信機１００の近くから、その送信機１００を撮像する。受信機２００は、その撮像を行っている間には、上述のように、撮像表示画像Ｐｒ３と復号用画像とを繰り返し取得している。そして、受信機２００は、復号用画像に対する復号によって光ＩＤを取得すると、その光ＩＤをサーバに送信する。その結果、受信機２００は、その光ＩＤに関連付けられているＡＲ画像Ｐ５０と認識情報とをサーバから取得する。受信機２００は、撮像表示画像Ｐｒ３のうち、その認識情報に応じた領域を対象領域として認識する。例えば、受信機２００は、撮像表示画像Ｐｒ３のうち、サーベルの柄以外の部分が映し出されている領域の上にある領域を対象領域として認識する。
具体的には、図５０〜図５２の例に示すように、識別情報は、撮像表示画像Ｐｒ３のうちの基準領域を特定するための基準情報と、その基準領域に対する対象領域の相対位置を示す対象情報とを含んでいる。例えば、その基準情報は、撮像表示画像Ｐｒ３における基準領域の位置が、復号用画像における輝線パターン領域の位置と同じであることを示す。さらに、対象情報は、対象領域の位置が基準領域の上であることを示す。
したがって、受信機２００は、基準情報に基づいて撮像表示画像Ｐｒ３から基準領域を特定する。つまり、受信機２００は、撮像表示画像Ｐｒ３において、復号用画像における輝線パターン領域の位置と同一の位置にある領域を、基準領域として特定する。つまり、受信機２００は、撮像表示画像Ｐｒ３のうち、サーベルの柄以外の部分が映し出されている領域を、基準領域として特定する。
さらに、受信機２００は、撮像表示画像Ｐｒ３のうち、基準領域の位置を基準として対象情報により示される相対位置にある領域を、対象領域として認識する。上述の例では、対象情報は、対象領域の位置が基準領域の上であることを示すため、受信機２００は、撮像表示画像Ｐｒ３のうちの基準領域の上にある領域を対象領域として認識する。つまり、受信機２００は、撮像表示画像Ｐｒ３のうち、サーベルの柄以外の部分が映し出されている領域の上にある領域を、対象領域として認識する。
そして、受信機２００は、その対象領域にＡＲ画像Ｐ５０を重畳し、ＡＲ画像Ｐ５０が重畳された撮像表示画像Ｐｒ３をディスプレイ２０１に表示する。例えば、ＡＲ画像Ｐ５０は、人の動画像である。
ここで、受信機２００は、図１７２の（ｂ）に示すように、送信機１００から遠ざかる。したがって、撮像表示画像Ｐｒ３に映し出されているサーベルは小さくなる。つまり、復号用画像の輝線パターン領域のサイズが小さくなる。その結果、受信機２００は、ＡＲ画像Ｐ５０の大きさを輝線パターン領域の大きさに整合するように小さくする。つまり、受信機２００は、輝線パターン領域とＡＲ画像Ｐ５０とのサイズの比率を一定に保つように、ＡＲ画像Ｐ５０のサイズを調整する。
これにより、受信機２００は、サーベルの上に人が現実に存在するように、撮像表示画像Ｐｒ３を表示することができる。
このように、本実施の形態における表示方法では、受信機２００は、イメージセンサによる通常露光時間（すなわち第１の露光時間）による撮像によって、通常撮影画像を取得する。また、受信機２００は、その通常露光時間よりも短い通信用露光時間（すなわち第２の露光時間）による撮像によって、複数の輝線のパターンからなる領域である輝線パターン領域を含む復号用画像を取得し、その復号用画像に対する復号によって光ＩＤを取得する。次に、受信機２００は、通常撮影画像から、復号用画像における輝線パターン領域と同一の位置にある基準領域を特定し、その基準領域に基づいて、通常撮影画像において動画像が重畳される領域を対象領域として認識する。そして、受信機２００は、その対象領域に動画像を重畳する。なお、動画像は、図１６２などに示す第１のＡＲ画像Ｐ４６および第２のＡＲ画像Ｐ４６ｃのうちの少なくとも一方の動画像であってもよい。
また、受信機２００は、通常撮影画像における、基準領域の上、下、左または右の領域を対象領域として認識してもよい。
これにより、例えば図５０〜図５２および図１７２に示すように、基準領域に基づいて対象領域が認識され、その対象領域に動画像が重畳されるため、動画像が重畳される領域の自由度を容易に高めることができる。
また、本実施の形態における表示方法では、受信機２００は、輝線パターン領域のサイズに応じて、動画像のサイズを変化させてもよい。例えば、受信機２００は、輝線パターン領域のサイズが大きいほど、動画像のサイズを大きくする。
これにより、図１７２に示すように、動画像のサイズが輝線パターン領域のサイズに応じて変化するため、動画像のサイズが固定されている場合と比べて、その動画像によって示されるオブジェクトがより現実に存在するように、その動画像を表示することができる。
（実施の形態９のまとめ）
図１７３Ａは、本発明の一態様に係る表示方法を示すフローチャートである。
本発明の一態様に係る表示方法は、画像を表示する表示方法であって、ステップＳＧ１〜ＳＧ３を含む。つまり、上述の受信機２００である表示装置は、イメージセンサによる撮像によって可視光信号を識別情報（すなわち光ＩＤ）として取得する（ステップＳＧ１）。次に、表示装置は、その光ＩＤに関連付けられている第１の動画像を表示する（ステップＳＧ２）。そして、表示装置は、第１の動画像をスライドさせる操作を受け付けると、その第１の動画像の次に上記光ＩＤに関連付けられている第２の動画像を表示する（ステップＳＧ３）。
図１７３Ｂは、本発明の一態様に係る表示装置の構成を示すブロック図である。
本発明の一態様に係る表示装置Ｇ１０は、画像を表示する装置であって、取得部Ｇ１１と表示部Ｇ１２とを備える。なお、表示装置Ｇ１０は、上述の受信機２００である。取得部Ｇ１１は、イメージセンサによる撮像によって可視光信号を識別情報（すなわち光ＩＤ）として取得する。次に、表示部Ｇ１２は、その光ＩＤに関連付けられている第１の動画像を表示する。そして、表示部Ｇ１２は、第１の動画像をスライドさせる操作を受け付けると、その第１の動画像の次に上記光ＩＤに関連付けられている第２の動画像を表示する。
例えば、第１の動画像および第２の動画像のそれぞれは、図１６２に示す第１のＡＲ画像Ｐ４６および第２のＡＲ画像Ｐ４６ｃである。図１７３Ａおよび図１７３Ｂに示す表示方法および表示装置Ｇ１０では、第１の動画像をスライドさせる操作、つまりスワイプが受け付けられると、第１の動画像の次に識別情報に関連付けられている第２の動画像が表示される。したがって、ユーザに有益な画像を容易に表示することができる。
なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図１５６、図１５７、図１５９、図１７１および図１７３Ａのフローチャートによって示される表示方法をコンピュータに実行させる。
（実施の形態１０）
本実施の形態では、実施の形態４および実施の形態９などと同様、光ＩＤを用いたＡＲ（Augmented Realitｙ）を実現する表示方法および表示装置などについて説明する。なお、本実施の形態における送信機および受信機は、上記各実施の形態における送信機（または送信装置）および受信機（または受信装置）と同一の機能および構成を有していてもよい。また、本実施の形態における受信機は、表示装置として構成されている。
図１７４は、本実施の形態における送信機に描かれる画像の一例を示す図である。また、図１７５は、本実施の形態における送信機に描かれる画像の他の例を示す図である。
送信機１００は、図１６７に示す例と同様、可視光通信モードでの撮像が不可能な受信機、すなわち光通信非対応の受信機に対しても情報を画像ＩＤとして送信することができるように構成されている。つまり、送信機１００には、略四角形の送信画像Ｉｍ１またはＩｍ２が描かれている。また、送信機１００は、上述と同様、例えばサイネージとして構成され、輝度変化することによって、光ＩＤを送信する。なお、送信機１００は、光源を備え、その光源の輝度変化によって、光ＩＤを受信機２００に直接送信してもよい。または、送信機１００は、光源を備え、その光源からの光を送信画像Ｉｍ１またはＩｍ２に照射し、その送信画像Ｉｍ１またはＩｍ２に反射させることによって、その光を光ＩＤとして受信機２００に送信してもよい。
このような送信機１００の送信画像Ｉｍ１またはＩｍ２は、図１７４および図１７５に示すように、略四角形に形成されている。送信画像Ｉｍ１またはＩｍ２は、略四角形のベース画像Ｂｉ１またはＢｉ２と、そのベース画像に付加されるラインパターン１５５ａまたは１５５ｂとを有する。
図１７４に示す例では、ラインパターン１５５ａは、ベース画像Ｂｉ１の４辺のそれぞれにおいて、その辺に沿って配列される複数の短い直線の配列パターンであって、これらの短い直線はそれぞれ、その辺に対して直交している。つまり、送信機１００のベース画像にロゴタイプが描かれている場合、そのロゴタイプの周囲に信号が埋め込まれている。なお、ラインパターンに含まれる短い直線を、以下、短線という。
また、図１７４に示す例では、ラインパターン１５５ａに含まれる複数の短線は、送信機１００の中央、すなわちベース画像Ｂｉ１の中心に向かうほど濃さが薄くなるように形成されている。これにより、ベース画像Ｂｉ１にラインパターン１５５ａが付加されても、そのラインパターン１５５ａを目立ち難くすることができる。
なお、ラインパターン１５５ａは、図１７４に示す例では、ベース画像Ｂｉ１の角には配置されていないが、その角にも配置されていてもよい。また、ベース画像Ｂｉ１の角が丸くなっている場合には、ラインパターン１５５ａはその角に配置されていなくてもよい。
一方、図１７５に示す例では、ラインパターン１５５ｂは、ベース画像Ｂｉ２の周縁にある枠線ｗ内に配置されている。例えば、ベース画像Ｂｉ２は、ロゴタイプ（具体的にはＡＢＣの文字列）を囲うように四角形の枠線ｗを描くことによって形成されている。ラインパターン１５５ｂは、その四角形の枠線ｗに沿って配列される複数の短線の配列パターンであって、これらの短線は、その枠線ｗに対して直交している。また、これらの短線は、枠線ｗ内に配置されている。
なお、ラインパターン１５５ｂは、図１７５に示す例では、枠線ｗの角には配置されていないが、その角にも配置されていてもよい。また、枠線ｗの角が丸くなっている場合には、ラインパターン１５５ｂはその角に配置されていなくてもよい。
図１７６は、本実施の形態における送信機１００および受信機２００の例を示す図である。
例えば、図１６８に示す例と同様、送信機１００は、図１７６に示すように、レンチキュラーレンズ１１６を備えていてもよい。このようなレンチキュラーレンズ１１６は、送信機１００に描かれている送信画像Ｉｍ２の枠線ｗを除く領域を覆うように、その送信機１００に取り付けられている。
受信機２００は、送信機１００の撮像によって、ラインパターン１５５ｂが映し出されている通常撮影画像（すなわち撮像表示画像）を取得し、それらのラインパターン１５５ｂから画像ＩＤを取得する。ここで、受信機２００は、受信機２００のユーザに対して、受信機２００を動かすように促す。例えば、受信機２００は、送信機１００の撮像が行われているときに、「受信機を動かしてください」というメッセージを表示する。その結果、受信機２００がユーザによって移動される。このとき、受信機２００は、通常撮影画像に映し出されている送信機１００、すなわち送信画像Ｉｍ２のうちのベース画像Ｂｉ２が変化するか否かを判定することによって、取得された画像ＩＤを認証する。例えば、受信機２００は、ベース画像Ｂｉ２のロゴタイプが、「ＡＢＣ」から「ＤＥＦ」に変化したと判定すると、取得された画像ＩＤが正しいＩＤであると判断する。
光ＩＤを送信する送信機１００には、上述の送信画像Ｉｍ１またはＩｍ２が描かれていてもよい。また、上述の送信画像Ｉｍ１またはＩｍ２は、送信機１００からの光ＩＤを含む光によって照らされ、その光を反射することによって、光ＩＤを送信してもよい。この場合、受信機２００は、送信画像Ｉｍ１またはＩｍ２の画像ＩＤと、光ＩＤとを撮像によって取得することができる。このとき、光ＩＤと画像ＩＤとは同じであってもよく、光ＩＤと画像ＩＤのそれぞれの一部が同じであってもよい。
また、送信機１００は、送信スイッチがＯＮにされたときには、点灯し、その点灯開始から１０秒後に消灯してもよい。送信機１００は、この点灯期間中、光ＩＤを送信する。このような場合、受信機２００は、画像ＩＤを取得し、送信スイッチがＯＮにされたときに、通常撮影画像に映し出されている送信画像の明るさが急に変化した場合に、その画像ＩＤが正しいＩＤであると判断してもよい。また、受信機２００は、画像ＩＤを取得し、送信スイッチがＯＮにされたときに、通常撮影画像に映し出されている送信画像が明るくなり、所定時間の経過後に暗くなれば、その画像ＩＤが正しいＩＤであると判断してもよい。これにより、送信画像Ｉｍ１またはＩｍ２が不正にコピーされて用いられることを抑えることができる。
図１７７は、ラインパターンの基本周波数を説明するための図である。
送信画像Ｉｍ１またはＩｍ２を生成するための符号化装置は、ラインパターンの基本周波数を決定する。このとき、例えば、図１７７の（ａ）に示すように、ラインパターンが付加されるベース画像が横長の長方形である場合、符号化装置は、そのベース画像を、図１７７の（ｂ）に示すように、正方形に変形する。このとき、例えば、長方形のベース画像の短辺が長辺と同じ長さになるように、そのベース画像の形状が変形される。
次に、符号化装置は、図１７７の（ｃ）に示すように、正方形に変形されたベース画像の対角線の長さを基本周期として設定し、その基本周期の逆数である周波数を基本周波数として決定する。なお、正方形に変形されたベース画像を、以下、正方ベース画像という。
図１７８Ａは、符号化装置の処理動作を示すフローチャートである。また、図１７８Ｂは、符号化装置の処理動作を説明するための図である。
まず、符号化装置は、処理対象の情報に対して誤り検出符号（誤り訂正符号ともいう）を付加する（ステップＳ１７１）。例えば、符号化装置は、図１７８Ｂに示すように、処理対象の情報である１３ビットのビット列に対して、８ビットの誤り検出符号を付加する。
次に、符号化装置は、誤り検出符号が付加された情報を、それぞれＮビットからなる（ｋ＋１）個の値ｘｋに分割する。なお、ｋは１以上の整数である。例えば、符号化装置は、図１７８Ｂに示すように、ｋ＝６の場合、その情報をそれぞれＮ＝３ビットからなる７個の値ｘｋに分割する。つまり、その情報は、それぞれ３ビットの２進数によって示される値ｘ０、ｘ１、ｘ２、・・・、ｘ６に分割される。例えば、値ｘ０、ｘ１およびｘ２は、ｘ０＝０１０、ｘ１＝０１０、およびｘ２＝１００である。
次に、符号化装置は、値ｘ０〜ｘ６のそれぞれに対して、つまり値ｘｋに対して、その値ｘｋに対応する周波数ｆｋを算出する（ステップＳ１７３）。例えば、符号化装置は、値ｘｋに対して基本周波数の（Ａ＋Ｂ×ｘｋ）倍の値を、その値ｘｋに対応する周波数ｆｋとして算出する。なお、ＡおよびＢは、正の整数である。これにより、図１７８Ｂに示すように、値ｘ０〜ｘ６のそれぞれに対して、周波数ｆ０〜ｆ６が算出される。
次に、符号化装置は、周波数ｆ０〜ｆ６の先頭に、位置決め周波数ｆＰを付加する（ステップＳ１７４）。このとき、符号化装置は、基本周波数のＡ倍未満、または、基本周波数の（Ａ＋Ｂ×２Ｎ−１）倍よりも大きい値に、位置決め周波数ｆＰを設定する。これにより、図１７８Ｂに示すように、周波数ｆ０〜ｆ６の先頭に、これらの周波数と異なる位置決め周波数ｆＰが配置される。
次に、符号化装置は、上述の正方ベース画像の周縁に、（ｋ＋２）個の指定領域を設定する。そして、符号化装置は、指定領域のそれぞれについて、その指定領域の元の色を基準に、正方ベース画像の辺の方向に沿って、その指定領域の輝度値（または色）を周波数ｆｋで変化させる（ステップＳ１７５）。例えば、図１７８Ｂの（ａ）または（ｂ）に示すように、正方ベース画像の周縁に（ｋ＋２）個の指定領域ＪＰ、Ｊ０〜Ｊ６が設定される。なお、正方ベース画像の周縁に枠線がある場合には、その枠線を（ｋ＋２）個の領域に分割することによって、（ｋ＋２）個のそれぞれの領域が指定領域として設定される。より具体的には、（ｋ＋２）個の指定領域は、指定領域ＪＰ、ＪＰ０、ＪＰ１、ＪＰ２、ＪＰ３、ＪＰ４、ＪＰ５、ＪＰ６の順に、正方ベース画像の４辺に沿って時計周りに設定される。符号化装置は、このように設定された指定領域のそれぞれにおいて、輝度値（または色）を周波数ｆｋで変化させる。この輝度値の変化によって、正方ベース画像に対してラインパターンが付加される。
次に、符号化装置は、ラインパターン付きの正方ベース画像の縦横比を、元のベース画像の縦横比に戻す（ステップＳ１７６）。例えば、図１７８Ｂの（ａ）に示すラインパターン付きの正方ベース画像は、図１７８Ｂの（ｃ）に示すラインパターン付きのベース画像に変形される。この場合、ラインパターン付きの正方ベース画像は、縦方向に縮小される。したがって、図１７８の（ｃ）に示すように、ラインパターン付きのベース画像では、そのベース画像の上下にあるラインパターンの幅は、左右にあるラインパターンの幅よりも小さくなる。
したがって、ステップＳ１７５において、ラインパターンを正方ベース画像に対して付加するときには、図１７８Ｂの（ｂ）に示すように、正方ベース画像の上下に付加されるラインパターンと、左右に付加されるラインパターンとのそれぞれの幅を異ならせてもよい。その幅を異ならせるために、例えば、元のベース画像の縦横比の逆の比率を用いてもよい。つまり、符号化装置は、その正方ベース画像の左右に付加される指定領域またはラインパターンの幅に対して、上述の逆の比率を乗算することによって得られる幅を、正方ベース画像の上下に付加される指定領域またはラインパターンの幅に決定する。これにより、ステップＳ１７６において、ラインパターン付きの正方ベース画像の縦横比が元に戻されても、図１７８Ｂの（ｄ）に示すように、ベース画像の上下にあるラインパターンと、左右にあるラインパターンとのそれぞれの幅を同一にすることができる。
さらに、符号化装置は、ラインパターン付きベース画像の周囲に、すなわち、（ｋ＋２）個の指定領域の外側に、それらの指定領域とは異なる色の枠を追加してもよい（ステップＳ１７７）。例えば、図１７８Ｂに示すように、黒い枠Ｑ１が追加される。これにより、（ｋ＋２）個の指定領域を検出し易くすることができる。
図１７９は、復号装置である受信機２００の処理動作を示すフローチャートである。
まず、受信機２００は、送信画像を撮像する（ステップＳ１８１）。次に、受信機２００は、その撮像によって得られる通常撮影画像からエッジ検出を行い（ステップＳ１８２）、さらに、輪郭を抽出する（ステップＳ１８３）。
そして、受信機２００は、抽出された輪郭の中から、所定の大きさ以上の四角形の輪郭を有する領域、または、所定の大きさ以上の角丸四角形の輪郭を有する領域に対して、以下のステップＳ１８４〜Ｓ１８７の処理を実行する。
つまり、受信機２００は、その領域を正方形の領域に透視変換する（ステップＳ１８４）。具体的には、変換対象の領域が四角形の領域である場合には、受信機２００は、その四角形の頂点を基準にして透視変換を行う。また、変換対象の領域が角丸四角形の領域である場合には、受信機２００は、その領域の各辺を延長して、２つの辺が交わる点を基準にして透視変換を行う。
次に、受信機２００は、正方形の領域に含まれる複数の指定領域のそれぞれに対して、その指定領域における輝度変化の周波数を求める（ステップＳ１８５）。
次に、受信機２００は、周波数ｆＰの指定領域を見つけ出し、その周波数ｆＰの指定領域を基準にして、正方形の領域の周縁において時計周りに順に配置されている各指定領域の周波数ｆｋを並べる（ステップＳ１８６）。
そして、受信機２００は、図１７８Ａに示すステップＳ１７１〜Ｓ１７４の逆の処理を、周波数の配列に対して行うことによって、ラインパターンを復号する（ステップＳ１８７）。つまり、受信機２００は、処理対象の情報を取得することができる。
このような受信機２００による処理動作では、ステップＳ１８４において、正方形の領域に透視変換することによって、送信画像を、正面からだけでなく、正面以外の方向から撮像した場合でも、送信画像のラインパターンを正しく復号することができる。また、ステップＳ１８６において、基本周波数ｆＰを基準に、各指定領域の周波数が順に並べられることによって、送信画像を横向きで撮像したり、上下逆向きに撮像した場合でも、その送信画像のラインパターンを正しく復号することができる。
図１８０は、受信機２００の処理動作を示すフローチャートである。
まず、受信機２００は、露光時間を通常露光時間よりも短い通信用露光時間に設定することができるか否かを判定する（ステップＳ１９１）。すなわち、受信機２００は、自らが光通信非対応の機器であるか、光通信対応の機器であるかを判定する。ここで、受信機２００は、通信用露光時間に設定することができないと判定すると（ステップＳ１９１のＮ）、画像信号（すなわち画像ＩＤ）を受信する（ステップＳ１９３）。通信用露光時間は、例えば１／２０００秒以下の時間である。
一方、受信機２００は、通信用露光時間に設定することができると判定すると（ステップＳ１９１のＹ）、ラインスキャン時間が端末（すなわち受信機２００）またはサーバに登録されているか否かを判定する（ステップＳ１９２）。なお、ラインスキャン時間は、図１０１および図１０２の例に示すように、イメージセンサに含まれる１つの露光ラインの露光が開始されてから、次の露光ラインの露光が開始されるまでの時間である。受信機２００は、このラインスキャン時間が登録されていれば、その登録されているラインスキャン時間を用いて復号用画像を復号する。
受信機２００は、ラインスキャン時間が登録されていないと判定すると（ステップＳ１９２のＮ）、ステップＳ１９３の処理を行う。一方、受信機２００は、ラインスキャン時間が登録されていると判定すると（ステップＳ１９２のＹ）、そのラインスキャン時間を用いて、可視光信号である光ＩＤを受信する（ステップＳ１９４）。
受信機２００は、可視光信号を受信すると、自らが可視光信号の同一性検証モードに設定されていれば、画像信号と可視光信号との同一性を検証する（ステップＳ１９５）。ここで、受信機２００は、画像信号と可視光信号とが異なっていれば、それらの信号が異なっていることを示すメッセージまたは画像をディスプレイに表示する。または、受信機２００は、それらの信号が異なっていることをサーバに通知する。
図１８１Ａは、本実施の形態におけるシステムの構成の一例を示す図である。
本実施の形態におけるシステムは、複数の送信機１００と、受信機２００とを備える。送信機１００は、自走式のロボットとして構成されている。例えば、そのロボットは、自動掃除ロボット、または人とコミュニケーションを行うロボットである。受信機２００は、監視カメラまたは環境設置カメラなどのカメラとして構成されている。以下、送信機１００を、ロボット１００と称し、受信機２００を、カメラ２００と称す。
ロボット１００は、可視光信号である光ＩＤをカメラ２００に送信する。カメラ２００は、そのロボット１００から送信される光ＩＤを受信する。
図１８１Ｂは、本実施の形態におけるカメラ２００の処理を示す図である。
複数のロボット１００のそれぞれは、自動走行している。このような場合、まず、カメラ２００は、通常撮影モードでの撮像を行い、その撮像によって得られる通常撮影画像から、動いている物体をロボット１００として検出する（ステップＳ２２１）。次に、カメラ２００は、検出されたロボット１００に対して、ＩＤを送信するように促すＩＤ送信依頼信号を、電波通信によって送信する（ステップＳ２２５）。ロボット１００は、このＩＤ送信依頼信号を受信すると、ロボット１００のＩＤ（すなわち光ＩＤ）の可視光通信による送信を開始する。
次に、カメラ２００は、撮影モードを、通常撮影モードから可視光認識モードに変更する（ステップＳ２２６）。この可視光認識モードは、可視光通信モードの一種であっる。具体的には、可視光認識モードは、カメラ２００のイメージセンサに含まれる全ての露光ラインのうち、ロボット１００の像を捉えている特定の複数の露光ラインのみが、通信用露光時間でのラインスキャンに用いられる。つまり、カメラ２００は、その特定の複数の露光ラインに対してのみラインスキャンを行い、他の露光ラインに対する露光を行わない。このようなラインスキャンによって、カメラ２００は、ロボット１００からＩＤ（すなわち光ＩＤ）を検出する（ステップＳ２２７）。
次に、カメラ２００は、復号用画像（すなわち輝線画像）における可視光信号の位置、つまり輝線パターンが現れている位置と、カメラ２００の撮像方向とに基づいて、ロボット１００の現在位置を認識する（ステップＳ２２８）。そして、カメラ２００は、そのロボット１００のＩＤおよび現在位置と、そのＩＤの検出時刻とを、ロボット１００およびサーバに通知する。
そして、カメラ２００は、撮影モードを、可視光認識モードから通常撮影モードに変更する（ステップＳ２３０）。
ここで、複数のロボット１００のそれぞれは、ロボット検出用信号を送信しながら自動走行していてもよい。このロボット検出用信号は、可視光信号であるが、カメラ２００の通常撮影モードにおける撮像でも認識され得る周波数の光信号である。つまり、ロボット検出用信号の周波数は、光ＩＤの周波数よりも低い。
このような場合、カメラ２００は、動いている物体をロボット１００として検出する代わりに、通常撮影画像からロボット検出用信号を検知したときに（ステップＳ２２３）、ステップＳ２２５〜Ｓ２３０の処理を実行してもよい。
また、複数のロボット１００のそれぞれは、位置認識依頼信号を電波通信などによって送信し、かつ、ＩＤを可視光通信によって送信しながら自動走行していてもよい。
このような場合、カメラ２００は、その位置認識依頼信号を受信したときに（ステップＳ２２４）、ステップＳ２２６〜Ｓ２３０の処理を実行してもよい。なお、カメラ２００が位置認識依頼信号を受信したときに、通常撮影画像にロボット１００が映し出されていない場合がある。このようなときには、カメラ２００は、ロボット１００が写し出されていないことを、そのロボット１００に通知してもよい。つまり、カメラ２００は、ロボット１００の位置を認識することができないことを、そのロボット１００に通知してもよい。
図１８２は、本実施の形態におけるシステムの構成の他の例を示す図である。
例えば、送信機１００は、複数の光源１７１を備えて、それらの光源１７１を輝度変化させることによって、複数の光源１７１のそれぞれから光ＩＤを送信してもよい。これにより、カメラ２００の死角を減らすことができる。つまり、カメラ２００において光ＩＤが受信され易くすることができる。また、カメラ２００によって複数の光源１７１が撮像される場合には、カメラ２００は、多点測量によって、ロボット１００の位置をより適切に認識することができる。つまり、ロボット１００の位置認識精度を向上することができる。
また、ロボット１００は、複数の光源１７１のそれぞれから互いに異なる光ＩＤを送信してもい。この場合には、カメラ２００は、複数の光源１７１の全てではなく、一部の光源１７１だけ（例えば１つの光源１７１だけ）を撮像した場合であっても、その一部の光源１７１の光ＩＤから、ロボット１００の位置を正確に認識することができる。
また、ロボット１００は、カメラ２００からロボット１００の現在位置が通知されたときには、そのカメラ２００に対してポイントなどの報酬を付与してもよい。
図１８３は、本実施の形態における送信機に描かれる画像の他の例を示す図である。
送信機１００は、図１７４および図１７５に示す例と同様、可視光通信モードでの撮像が不可能な受信機、すなわち光通信非対応の受信機に対しても情報を画像ＩＤとして送信することができるように構成されている。なお、画像ＩＤは、フレームＩＤとも称される。つまり、送信機１００には、略四角形の送信画像Ｉｍ３が描かれている。また、送信機１００は、上述と同様、例えばサイネージとして構成され、輝度変化することによって、光ＩＤを送信する。なお、送信機１００は、光源を備え、その光源の輝度変化によって、光ＩＤを受信機２００に直接送信してもよい。具体的には、送信画像Ｉｍ３は、透光性を有する板の表面に描かれ、光源からの光は、その板の裏面に向けて照射される。その結果、光源の輝度変化は、送信画像Ｉｍ３の輝度変化として現れ、その送信画像Ｉｍ３の輝度変化によって、光ＩＤが可視光信号として受信機２００に送信される。または、送信機１００は、液晶ディスプレイまたは有機ＥＬディスプレイなどのディスプレイを備えた表示装置であってもよい。送信機１００は、ディスプレイに送信画像Ｉｍ３を表示させながら、そのディスプレイを輝度変化させることによって、光ＩＤを送信する。あるいは、送信機１００は、光源を備え、その光源からの光を送信画像Ｉｍ３に照射し、その送信画像Ｉｍ３に反射させることによって、その光を光ＩＤとして受信機２００に送信してもよい。
このような送信機１００の送信画像Ｉｍ３は、図１７４および図１７５に示す送信画像Ｉｍ１およびＩｍ２のように、略四角形に形成されている。送信画像Ｉｍ３は、略四角形のベース画像Ｂｉ３と、そのベース画像Ｂｉ３に付加されるラインパターン１５５ｃとを有する。
図１８３に示す例では、ラインパターン１５５ｃは、ベース画像Ｂｉ３の４辺のそれぞれにおいて、その辺に沿って配列される複数の短い直線の配列パターンであって、これらの短い直線（短線ともいう）はそれぞれ、その辺に対して直交している。また、ラインパターン１５５ｃは、３２個のブロック（上述の指定領域）からなる。これらのブロックは、後述のように、ＰＨＹシンボルともいう。その３２個のブロックのそれぞれの周波数の指標は、−１、０、１、２、または３である。−１の指標は、基本周波数の２００倍を示し、０の指標は、基本周波数の２１０倍を示し、１の指標は、基本周波数の２２０倍を示し、２の指標は、基本周波数の２３０倍を示し、３の指標は、基本周波数の２４０倍を示す。ここで、基本周波数は、上述のように、ベース画像Ｂｉ３の対角線の長さ（すなわち基本周期）の逆数である。つまり、−１の指標に対応するブロックでは、基本周波数×２００の周波数で短線が配列されている。言い換えれば、そのブロックにおける互いに隣り合う短線の間隔は、ベース画像Ｂｉ３の対角線の１／２００である。したがって、本実施の形態における上記各ＰＨＹシンボル（すなわちブロック）は、配列パターンによって、−１、０、１、２および３のうちの何れかの数値を示す。
このような送信画像Ｉｍ３は、受信機２００のイメージセンサによって被写体として撮像される。つまり、被写体は、イメージセンサから見て矩形形状であり、当該被写体の中心領域の光が輝度変化することにより、可視光信号を送信し、当該被写体の周縁にバーコード状のラインパターンが配置されている。
図１８４は、フレームＩＤを構成するＭＡＣフレームのフォーマットの一例を示す図である。
ＭＡＣ（medium access control）フレームは、ＭＡＣヘッダと、ＭＡＣペイロードとからなる。ＭＡＣヘッダは、４ビットで構成される。ＭＡＣペイロードは、可変長のパディングと、可変長のＩＤ１と、固定長のＩＤ２とからなる。ＩＤ２は、ＭＡＣフレームが４４ビットで構成される場合には、５ビットからなり、ＭＡＣフレームが７０ビットで構成される場合には、３ビットからなる。パディングは、例えば「００００００００００００１」、「０００１」、「０１」または「１」などからなり、左端のビットから最初に１が現れるまでの部分である。
ＩＤ１は、上述のフレームＩＤであって、可視光信号によって示される識別情報である光ＩＤと同一の情報である。つまり、可視光信号と、ラインパターンから取得される信号は、同一の識別情報である。これにより、受信機２００は、可視光信号を受信することができなくても、送信画像Ｉｍ３を撮像すれば、その送信画像Ｉｍ３のラインパターン１５５ｃから可視光信号と同一の識別情報を取得することができる。
図１８５は、ＭＡＣヘッダの構成の一例を示す図である。
例えば、ＭＡＣヘッダのうちのアドレス「０」のビットは、ヘッダバージョンを示す。具体的には、アドレス「０」のビットが「０」の場合には、ヘッダバージョンは１である。
ＭＡＣヘッダのうちのアドレス「１−２」の２ビットは、プロトコルを示す。具体的には、そのアドレス「１−２」の２ビットが「００」の場合には、ＭＡＣフレームのプロトコルは、ＩＥＣ（International Electrotechnical Commission）に準拠し、アドレス「１−２」の２ビットが「０１」の場合には、ＭＡＣフレームのプロトコルは、ＬｉｎｋＲａｙ（登録商標） Ｄａｔａに準拠する。また、アドレス「１−２」の２ビットが「１０」の場合には、ＭＡＣフレームのプロトコルは、ＩＥＥＥ（The Institute of Electrical and Electronics Engineers, Inc.）に準拠する。
ＭＡＣヘッダのうちのアドレス「３」のビットは、他のプロトコルを示す。具体的には、ＭＡＣフレームがＩＥＣに準拠し、かつ、そのアドレス「３」のビットが「０」の場合には、１パケットあたりのビット数は４ビットである。また、ＭＡＣフレームがＩＥＣに準拠し、かつ、そのアドレス「３」のビットが「１」の場合には、１パケットあたりのビット数は８ビットである。一方、ＭＡＣフレームがＬｉｎｋＲａｙ Ｄａｔａに準拠し、かつ、そのアドレス「３」のビットが「０」の場合には、１パケットあたりのビット数は３２ビットである。なお、上述の１パケットあたりのビット数は、ＤＡＴＡＰＡＲＴの長さ（すなわちｄａｔａｐａｒｔ長）である。
図１８６は、パケット分割数を導出するためのテーブルの一例を示す図である。
受信機２００は、ラインパターン１５５ｃから、ＭＡＣフレームに含まれるＩＤ１であるフレームＩＤを復号するとともに、そのフレームＩＤに対応する分割数を導出する。これは、輝度変化を伴う可視光通信では、光ＩＤとパケット分割数とによって、送受信される情報が定義され、送信画像を用いた通信でも、その可視光通信との互換性を保つためには、その分割数が必要とされるからである。
本実施の形態における受信機２００は、図１８６に示すテーブルを参照し、ＩＤ１のビット数（以下、ＩＤ長という）と、ｄａｔａｐａｒｔ長との組を用いて、そのフレームＩＤに対する分割数を導出する。受信機２００は、例えば、ＭＡＣヘッダのアドレス「３」のビットに基づいて、ｄａｔａｐａｒｔ長が何ビットであるかを特定し、さらに、ＭＡＣフレームのＩＤ１の長さであるＩＤ長を特定する。そして、受信機２００は、図１８６に示すテーブルにおいて、その特定されたｄａｔａｐａｒｔ長とＩＤ長との組に対応付けられている分割数を見つけ出すことによって、その分割数を導出する。具体的には、ｄａｔａｐａｒｔ長が４ビットであって、ＩＤ長が１０ビットであれば、分割数「５」が導出される。
なお、受信機２００は、図１８６に示すテーブルから分割数を導出できない場合、つまり、特定されたｄａｔａｐａｒｔ長とＩＤ長との組に対応付けられている分割数がテーブルに存在しない場合には、分割数を０に決定してもよい。
また、図１８６に示すテーブルでは、ｄａｔａｐａｒｔ長「４ビット」とＩＤ長「１４ビット」との組には、分割数「６」および「７」が対応付けられている。そこで、例えば、フレームＩＤが符号化される場合には、ＩＤ長が１５ビットであれば、分割数を「７」に設定してもよい。そして、受信機２００がフレームＩＤを復号する場合に、ｄａｔａｐａｒｔ長が４ビットであって、ＩＤ長が１５ビットであれば、受信機２００は、分割数「７」を導出する。さらに、受信機２００は、その１５ビットのＩＤ１における先頭の１ビットを無視して、１４ビットのＩＤ１を最終的なフレームＩＤとして導出してもよい。
なお、フレームＩＤがＩＥＥＥのプロトコルに準拠する場合、受信機２００は、例えば暫定的に、分割数「０」を導出してもよい。なお、分割数「０」は、分割が行われないことを示す。
これにより、輝度変化を伴う可視光通信において用いられる光ＩＤおよび分割数を、送信画像を用いた通信にもフレームＩＤおよび分割数として適切に適用することができる。つまり、輝度変化を伴う可視光通信と、送信画像を用いた通信との互換性を保つことができる。
図１８７は、ＰＨＹ符号化を示す図である。
まず、フレームＩＤを符号化する符号化装置は、ＭＡＣフレームに対してＥＣＣ（Error Check Code）を追加する。次に、符号化装置は、そのＥＣＣが追加されたＭＡＣフレームを複数のブロックに分割する。この複数のブロックのビット数はＮ（Ｎは、例えば２または３）である。符号化装置は、その複数のブロックのそれぞれについて、そのブロックに含まれるＮビットによって示される値をグレイコードに変換する。なお、グレイコードは、互いに隣り合う数値において１ビットだけが異なるコードである。言い換えれば、グレイコードは、前後に隣接する符号間のハミング距離が必ず１であるという特性を持つ。互いに隣接するシンボル間での誤りが最も発生しやすいが、このグレイコードを用いれば、そのシンボル間で複数のビットが異なることはないため、誤り検出の効率を向上することができる。
そして、符号化装置は、その複数のブロックのそれぞれについて、そのグレイコードに変換された値を、その値に対応するＰＨＹシンボルに変換する。これにより、例えば、それぞれシンボル番号（０〜２９）が割り当てられた３０個のＰＨＹシンボルが生成される。このＰＨＹシンボルは、図１８３に示すラインパターン１５５ｃのブロックに相当し、一定の間隔ごとに短線が配列されたパターン（すなわち縞々のパターン）である。例えば、グレイコードに変換された値が１を示す場合には、図１８３に示すように、基本周波数の２２０倍の周波数を有するブロック（すなわちＰＨＹシンボル）が生成される。
図１８８は、ＰＨＹシンボルを有する送信画像Ｉｍ３の一例を示す図である。
ベース画像Ｂｉ３の周囲には、図１８８に示すように、上述の３０個のＰＨＹシンボルと、２つのヘッダシンボルとが配置される。なお、ヘッダシンボルは、ＰＨＹシンボルのうちのヘッダとしての機能を有するシンボルある。２つのヘッダシンボルは、回転位置合わせ用のヘッダシンボルと、ＰＨＹバージョン指定用のヘッダシンボルとからなる。これらのヘッダシンボルの周波数の指標は−１である。つまり、図１８３に示すように、これらのヘッダシンボルの周波数は、基本周波数の２００倍である。回転位置合わせ用のヘッダシンボルは、３０個のＰＨＹシンボルの配置を受信機２００に認識させるためのシンボルである。受信機２００は、この回転位置合わせ用のヘッダシンボルの位置を基準に、各ＰＨＹシンボルの配置を認識する。例えば、このような回転位置合わせ用のヘッダシンボルは、ベース画像Ｂｉ３の左上端に配置される。
ＰＨＹバージョン指定用のヘッダシンボルは、ＰＨＹバージョンを指定するためのシンボルである。例えば、回転位置合わせ用のヘッダシンボルからのＰＨＹバージョン指定用のヘッダシンボルの相対位置によって、ＰＨＹバージョンが指定される。ヘッダシンボル以外の上述の３０個のＰＨＹシンボルは、回転位置合わせ用のヘッダシンボルの右側から、ベース画像Ｂｉ３の周囲に時計回りに、シンボル番号の小さい順に配置される。
図１８９は、２つのＰＨＹバージョンを説明するための図である。
ＰＨＹバージョンには、ＰＨＹバージョン１とＰＨＹバージョン２とがある。ＰＨＹバージョン１では、回転位置合わせ用のヘッダシンボルの右隣りに、ＰＨＹバージョン指定用のヘッダシンボルが配置される。ＰＨＹバージョン２では、回転位置合わせ用のヘッダシンボルの右隣りには、ＰＨＹバージョン指定用のヘッダシンボルは配置されない。つまり、ＰＨＹバージョン２では、回転位置合わせ用のヘッダシンボルとＰＨＹバージョン指定用のヘッダシンボルとの間に、シンボル番号「０」のＰＨＹシンボルが挟まれるように、ＰＨＹバージョン指定用のヘッダシンボルが配置される。このように、ＰＨＹバージョン指定用のヘッダシンボルは、その配置によって、ＰＨＹバージョンを示す。
ＰＨＹバージョン１では、１つのＰＨＹシンボルあたりのビット数Ｎは、２であり、ＥＣＣは１６ビットあり、ＭＡＣフレームは４４ビットである。ＰＨＹボディは、ＭＡＣフレームとＥＣＣとからなり、６０ビットである。また、最大のＩＤ長（ＩＤ１の長さ）は３４ビットであり、ＩＤ２は５ビットである。
ＰＨＹバージョン２では、１つのＰＨＹシンボルあたりのビット数Ｎは、３であり、ＥＣＣは２０ビットあり、ＭＡＣフレームは７０ビットである。ＰＨＹボディは、ＭＡＣフレームとＥＣＣとからなり、９０ビットである。また、最大のＩＤ長（ＩＤ１の長さ）は６２ビットであり、ＩＤ２は３ビットである。
図１９０は、グレイコードを説明するための図である。
ＰＨＹバージョン１では、ビット数Ｎは２である。この場合、図１８７に示すグレイコード変換では、１０進数で表記される「０、１、２、３」に対応する２進数の「００、０１、１０、１１」は、グレイコード「００、０１、１１、１０」に変換される。
ＰＨＹバージョン２では、ビット数Ｎは３である。この場合、図１８７に示すグレイコード変換では、１０進数で表記される「０、１、２、３、４、５、６、７」に対応する２進数の「０００、００１、０１０、０１１、１００、１０１、１１０、１１１」は、グレイコード「０００、００１、０１１、０１０、１１０、１１１、１０１、１００」に変換される。
図１９１は、受信機２００による復号処理の一例を示す図である。
受信機２００は、送信機１００の送信画像Ｉｍ３を撮像し、その撮像された送信画像Ｉｍ３のラインパターン１５５ｃに含まれるヘッダシンボル（PHY heder symbol）の位置に基づいて、ＰＨＹバージョンを認識する（ステップＳ６０１）。なお、受信機２００は、可視光通信が可能か否かを判断し、可視光通信が可能でないと判断した場合に送信画像Ｉｍ３を撮像してもよい。この場合、受信機２００は、イメージセンサにより、被写体を撮像することによって撮像画像を取得し、その撮像画像のエッジ検出を行うことで、少なくとも１つの輪郭を抽出する。さらに、受信機２００は、その少なくとも１つの輪郭の中から、所定の大きさ以上の四角形の輪郭を有する領域、または、所定の大きさ以上の角丸四角形の輪郭を有する領域を、選択領域として選択する。この選択領域には、被写体である送信画像Ｉｍ３が映し出されている可能性が高い。したがって、ステップＳ６０１では、受信機２００は、その選択領域のラインパターン１５５ｃに含まれるヘッダシンボルの位置に基づいて、ＰＨＹバージョンを認識する。
また、受信機２００は、上述の可視光通信の判断において、可視光通信が可能と判断した場合に、被写体を撮像するときには、上記各実施の形態と同様、イメージセンサの露光時間を第１の露光時間に設定し、その第１の露光時間で被写体を撮像することで、識別情報を含む復号用画像を取得する。具体的には、受信機２００は、上述の可視光通信の判断において、可視光通信が可能と判断した場合に、被写体を撮像するときには、上記各実施の形態と同様、イメージセンサの有する複数の露光ラインに対応する複数の輝線から構成される輝線パターンを含む復号用画像を取得し、その輝線パターンを復号することによって可視光信号を取得する。一方、受信機２００は、上述の可視光通信の判断において、可視光通信が可能でないと判断した場合に、被写体を撮像するときには、イメージセンサの露光時間を第２の露光時間に設定し、その第２の露光時間で被写体を撮像することで、撮像画像として通常画像を取得する。ここで、上述の第１の露光時間は、第２の露光時間よりも短い。
次に、受信機２００は、ラインパターン１５５ｃを構成する複数のＰＨＹシンボルから、ＥＣＣが追加されたＭＡＣフレームを復元し、そのＥＣＣを確認する（ステップＳ６０２）。これにより、受信機２００は、送信機１００からＭＡＣフレームを受信する。そして、受信機２００は、指定時間以内に指定回数だけ同一のＭＡＣフレームを受信したことを確認すると（ステップＳ６０３）、分割数（すなわちパケット分割数）を計算する（ステップＳ６０４）。つまり、受信機２００は、受信機２００は、図１８６に示すテーブルを参照し、ＭＡＣフレームにおけるＩＤ長とｄａｔａｐａｒｔ長との組を用いて、そのＭＡＣフレームに対する分割数を導出する。これにより、分割数と、ＭＡＣフレームのＩＤ１であるフレームＩＤとが復号される。つまり、受信機２００は、上述の選択領域のラインパターンから識別情報を取得する。具体的には、受信機２００は、上述の可視光通信の判断において、可視光通信が可能でないと判断した場合に、被写体を撮像するときには、通常画像のラインパターンから信号を取得する。ここで、可視光信号と、その信号は、同一の識別情報である。
ところで、送信画像Ｉｍ３を有する送信機１００は、不正に複製される場合がある。例えば、カメラとディスプレイとを備えたスマートフォンなどの機器が、送信画像Ｉｍ３を有する送信機１００になりすますことがある。具体的には、そのスマートフォンは、送信機１００の送信画像Ｉｍ３をカメラで撮像し、その撮像された送信画像Ｉｍ３をディスプレイに表示する。これにより、スマートフォンは、送信機１００のように、送信画像Ｉｍ３の表示によって、フレームＩＤを受信機２００に送信することができる。
そこで、受信機２００は、スマートフォンなどの機器に表示される送信画像Ｉｍ３が不正か否かを判定し、送信画像Ｉｍ３が不正であると判定する場合には、その不正な送信画像Ｉｍ３からのフレームＩＤの復号、またはそのフレームＩＤの利用を禁止してもよい。
図１９２は、受信機２００による送信画像Ｉｍ３の不正検知の方法を説明するための図である。
送信画像Ｉｍ３は例えば四角形である。不正な送信画像Ｉｍ３であれば、その送信画像Ｉｍ３の四角形の枠は、その送信画像Ｉｍ３を表示するディスプレイの枠に対して、同一平面内で傾いている可能性が高い。一方、正当な送信画像Ｉｍ３であれば、その送信画像Ｉｍ３の四角形の枠は、上述の枠に対して、同一平面内で傾いていない。
また、不正な送信画像Ｉｍ３であれば、その送信画像Ｉｍ３の四角形の枠は、その送信画像Ｉｍ３を表示するディスプレイの枠に対して、奥行き方向に傾いている可能性が高い。一方、正当な送信画像Ｉｍ３であれば、その送信画像Ｉｍ３の四角形の枠は、上述の枠に対して、奥行き方向に傾いていない。
受信機２００は、上述のような正当な送信画像Ｉｍ３と不正な送信画像Ｉｍ３との差異に基づいて、送信画像Ｉｍ３の不正検知を行う。
具体的には、受信機２００は、図１９２の（ａ）に示すように、カメラによる撮像によって、送信画像Ｉｍ３の枠（図１９２の（ａ）に示す破線の四角形）と、その送信画像Ｉｍ３を表示する例えばスマートフォンのディスプレイの枠（図１９２の（ａ）に示す実線の四角形）とを認識する。次に、受信機２００は、送信画像Ｉｍ３の枠の２つの対角線のうちの何れか１つと、ディスプレイの枠の２つの対角線のうちの何れか１つとを含む組み合わせごとに、その組み合わせに含まれる２つの対角線のなす角度を算出する。そして、受信機２００は、組み合わせごとに算出されたなす角度のうち、絶対値が最小のなす角度が第１閾値（例えば、５度）以上であるか否かを判定することによって、その送信画像Ｉｍ３が不正か否かを判定する。つまり、受信機２００は、送信画像Ｉｍ３の四角形の枠が、ディスプレイの枠に対して、同一平面内で傾いているか否かによって、その送信画像Ｉｍが不正か否かを判定する。受信機２００は、その絶対値が最小のなす角度が第１閾値以上であれば、その送信画像Ｉｍ３が不正であると判定し、そのなす角度が第１閾値未満であれば、その送信画像Ｉｍ３が正当であると判定する。
また、図１９２の（ｂ）に示すように、受信機２００は、送信画像Ｉｍ３の枠の上下方向に互いに対向する２つの辺の比率（ａ／ｂ）と、スマートフォンのディスプレイの枠の上下方向に互いに対向する２つの辺の比率（Ａ／Ｂ）とを算出する。そして、受信機２００は、それらの比率を比較する。具体的には、受信機２００は、比率（ａ／ｂ）と比率（Ａ／Ｂ）のうちの小さい比率を大きい比率で除算する。そして、受信機２００は、その除算によって得られる値が第２閾値（例えば、０．９）以上であるか否かを判定することによって、その送信画像Ｉｍ３が不正か否かを判定する。つまり、受信機２００は、送信画像Ｉｍ３の四角形の枠が、ディスプレイの枠に対して、奥行き方向に傾いているか否かによって、その送信画像Ｉｍが不正か否かを判定する。受信機２００は、その除算によって得られる値が第２閾値未満であれば、その送信画像Ｉｍ３が不正であると判定し、その値が第２閾値以上であれば、その送信画像Ｉｍ３が正当であると判定する。
受信機２００は、送信画像Ｉｍ３が正当である場合にのみ、その送信画像Ｉｍ３からフレームＩＤを復号し、送信画像Ｉｍ３が不正であれば、その送信画像Ｉｍ３からのフレームＩＤの復号を禁止する。
図１９３は、受信機２００による送信画像Ｉｍ３の不正検知を含む復号処理の一例を示すフローチャートである。
まず、受信機２００は、送信画像Ｉｍ３を撮像し、その送信画像Ｉｍ３の枠を検出する（ステップＳ６１１）。次に、受信機２００は、送信画像Ｉｍ３の枠を内包する四角形枠の検出処理を行う（ステップＳ６１２）。四角形枠は、上述のスマートフォンなどの機器が有する四角形のディスプレイの外周からなる枠である。ここで、受信機２００は、そのステップＳ６１２における検出処理によって、四角形枠が検出されたいか否かを判定する（ステップＳ６１３）。四角形枠が検出されていないと判定すると（ステップＳ６１３のＮｏ）、受信機２００は、フレームＩＤの復号を禁止する（ステップＳ６１９）。
一方、四角形枠が検出されたと判定すると（ステップＳ６１３のＹｅｓ）、受信機２００は、送信画像Ｉｍ３の枠と、検出された四角形枠とのそれぞれの対角線のなす角度を算出する（ステップＳ６１４）。そして、受信機２００は、そのなす角度が第１閾値未満であるか否かを判定する（ステップＳ６１５）。ここで、そのなす角度が第１閾値以上であると判定すると（ステップＳ６１５のＮｏ）、受信機２００は、フレームＩＤの復号を禁止する（ステップＳ６１９）。
一方、そのなす角度が第２閾値未満であると判定すると（ステップＳ６１５のＹｅｓ）、受信機２００は、送信画像Ｉｍ３の枠における２辺の比率（ａ／ｂ）と、四角形枠における２辺の比率（Ａ／Ｂ）とを用いた除算を行う（ステップＳ６１６）。そして、受信機２００は、その除算によって得られる値が第２閾値未満か否かを判定する（ステップＳ６１７）。ここで、その得られる値が第２閾値以上であると判定すると（ステップＳ６１７のＮｏ）、受信機２００は、フレームＩＤを復号する（ステップＳ６１８）。一方、受信機２００は、その得られる値が第２閾値未満であると判定すると（ステップＳ６１７のＹｅｓ）、フレームＩＤの復号を禁止する（ステップＳ６１９）。
なお、上述の例では、受信機２００は、ステップＳ６１３、Ｓ６１５またはＳ６１７の判定結果に応じて、フレームＩＤの復号を禁止する。しかし、受信機２００は、フレームＩＤの復号を先に実行し、その後、上記各ステップを実行してもよい。この場合には、受信機２００は、ステップＳ６１３、Ｓ６１５またはＳ６１７の判定結果に応じて、復号されたフレームＩＤの利用を禁止、またはそのフレームＩＤを破棄する。
また、送信画像Ｉｍ３には、プリズムシールが貼着されていてもよい。この場合、受信機２００は、図１７６に示す例と同様、受信機２００の移動によって、送信画像Ｉｍ３のプリズムシールの模様または色が変化するか否かを判定する。そして、受信機２００は、変化すると判定すると、その送信画像Ｉｍ３が正当なものであると判断し、その送信画像Ｉｍ３からフレームＩＤを復号する。一方、変化しないと判定すると、受信機２００は、その送信画像Ｉｍ３が不正なものであると判断し、その送信画像Ｉｍ３からのフレームＩＤの復号を禁止する。なお、上述と同様、受信機２００は、フレームＩＤの復号を先に実行し、その後、上記模様または色の変化の判定を実行してもよい。この場合には、受信機２００は、上記模様または色が変化しないと判定すると、復号されたフレームＩＤの利用を禁止、またはそのフレームＩＤを破棄する。
また、受信機２００は、ユーザに受信機２００を送信画像Ｉｍ３に近づけさせることによって、その送信画像Ｉｍ３が正当なものであるか否かを判定してもよい。例えば、送信機１００は、送信画像Ｉｍ３を点灯させて、その送信画像Ｉｍ３を輝度変化させることによって、可視光信号を送信している。そこで、受信機２００は、送信画像Ｉｍ３を撮像したときには、ユーザに対して受信機２００をその送信画像Ｉｍ３に近づけるように促すメッセージをディスプレイに表示する。ユーザは、そのメッセージに応じて、受信機２００のカメラ（すなわちイメージセンサ）を、送信画像Ｉｍ３に近づける。このとき、受信機２００のカメラは、送信画像Ｉｍ３からの光の受光量が増大するため、イメージセンサの露光時間を例えば最小に設定する。その結果、受信機２００による送信画像Ｉｍ３の撮像によってディスプレイに表示される画像には、縞模様が現れる。なお、受信機２００が光通信対応であれば、その縞模様は輝線パターンとして明瞭に現れる。一方、受信機２００が光通信非対応であっても、その縞模様は輝線パターンとして明瞭には現れないが、ぼんやりと現れ、その縞模様が現れるか否かによって、送信画像Ｉｍ３が正当なものか否かを判定することができる。つまり、受信機２００は、縞模様が現れれば、その送信画像Ｉｍ３を正当なものと判定し、縞模様が現れなければ、その送信画像Ｉｍ３を不正なものと判定する。
なお、上述と同様、受信機２００は、フレームＩＤの復号を先に実行し、その後、上記縞模様の判定を実行してもよい。この場合には、受信機２００は、上記縞模様が現れないと判定すると、復号されたフレームＩＤの利用を禁止、またはそのフレームＩＤを破棄する。
（変形例）
本実施の形態における受信機２００は、実施の形態９における受信機２００の機能を備えた表示装置であってもよい。つまり、表示装置は、可視光通信が可能か否かを判断し、可能な場合には、実施の形態９を含む上記各実施の形態における受信機２００と同様、可視光または光ＩＤに関する処理を行う。一方、表示装置は、可視光通信が不可能な場合には、上述の送信画像またはフレームＩＤに関する処理を行う。なお、その可視光通信とは、被写体の輝度変化によって信号を送信し、イメージセンサがその被写体を撮像することによって得られる、そのイメージセンサの各露光ラインに対応する輝線パターンを、復号することによってその信号を受信する通信方式である。
図１９４Ａは、本変形例に係る表示方法を示すフローチャートである。
本発明の一態様に係る表示方法は、画像を表示する表示方法であって、ステップＳＧ１〜ＳＧ４を含む。つまり、上述の受信機２００である表示装置は、まず、可視光通信が可能か否かを判断する（ステップＳＧ４）。ここで、可視光通信が可能と判断する場合（ステップＳＧ４のＹｅｓ）、表示装置は、イメージセンサにより、被写体を撮像すすることによって可視光信号を識別情報（すなわち光ＩＤ）として取得する（ステップＳＧ１）。次に、表示装置は、その光ＩＤに関連付けられている第１の動画像を表示する（ステップＳＧ２）。そして、表示装置は、第１の動画像をスライドさせる操作を受け付けると、その第１の動画像の次に上記光ＩＤに関連付けられている第２の動画像を表示する（ステップＳＧ３）。
図１９４Ｂは、本変形例に係る表示装置の構成を示すブロック図である。
本発明の一態様に係る表示装置Ｇ１０は、画像を表示する装置であって、判断部Ｇ１３と取得部Ｇ１１と表示部Ｇ１２とを備える。なお、表示装置Ｇ１０は、上述の受信機２００である。判断部Ｇ１３は、可視光通信が可能か否かを判断する。取得部Ｇ１１は、判断部Ｇ１３において可視光通信が可能と判断された場合に、イメージセンサにより被写体を撮像することによって可視光信号を識別情報（すなわち光ＩＤ）として取得する。次に、表示部Ｇ１２は、その光ＩＤに関連付けられている第１の動画像を表示する。そして、表示部Ｇ１２は、第１の動画像をスライドさせる操作を受け付けると、その第１の動画像の次に上記光ＩＤに関連付けられている第２の動画像を表示する。
例えば、第１の動画像および第２の動画像のそれぞれは、図１６２に示す第１のＡＲ画像Ｐ４６および第２のＡＲ画像Ｐ４６ｃである。図１９４Ａおよび図１９４Ｂに示す表示方法および表示装置Ｇ１０では、第１の動画像をスライドさせる操作、つまりスワイプが受け付けられると、第１の動画像の次に識別情報に関連付けられている第２の動画像が表示される。したがって、ユーザに有益な画像を容易に表示することができる。また、事前に可視光通信が可能か否かの判断が行われるため、不可能な場合にまで、可視光信号を取得しようとする無駄な処理を省くことができ、処理負担を軽減することができる。
ここで、表示装置Ｇ１０は、可視光通信の判断において、可視光通信が可能でないと判断した場合には、送信画像Ｉｍ３から識別情報（すなわちフレームＩＤ）を取得してもよい。この場合、表示装置Ｇ１０は、イメージセンサにより、被写体を撮像することによって撮像画像を取得し、その撮像画像のエッジ検出を行うことで、少なくとも１つの輪郭を抽出する。次に、表示装置Ｇ１０は、その少なくとも１つの輪郭の中から、所定の大きさ以上の四角形の輪郭を有する領域、または、所定の大きさ以上の角丸四角形の輪郭を有する領域を、選択領域として選択する。そして、表示装置Ｇ１０は、その選択領域のラインパターンから識別情報を取得する。なお、上述の角丸四角形は、４つの角のそれぞれの外周が円弧状になっている四角形である。
これにより、例えば図１８３および図１８８に示す送信画像が被写体として撮像され、その送信画像の領域が選択領域として選択され、その送信画像のラインパターンから識別情報が取得される。したがって、可視光通信が不可能な場合でも、識別情報を適切に取得することができる。
また、表示装置Ｇ１０は、可視光通信の判断において、可視光通信が可能と判断した場合に、被写体を撮像するときには、イメージセンサの露光時間を第１の露光時間に設定し、その第１の露光時間で被写体を撮像することで、識別情報を含む復号用画像を取得する。また、表示装置Ｇ１０は、可視光通信の判断において、可視光通信が可能でないと判断した場合に、被写体を撮像するときには、イメージセンサの露光時間を第２の露光時間に設定し、その第２の露光時間で前記被写体を撮像することで、撮像画像として通常画像を取得する。ここで、上述の第１の露光時間は、第２の露光時間よりも短い。
これにより、露光時間を切り替えることによって、可視光通信による識別情報の取得と、送信画像の撮像による識別情報の取得とを、適切に切り替えることができる。
また、上述の被写体は、イメージセンサから見て矩形形状であり、その被写体の中心領域が輝度変化することにより、可視光信号を送信し、その被写体の周縁にバーコード状のラインパターンが配置されている。表示装置Ｇ１０は、可視光通信の判断において、可視光通信が可能と判断した場合に、その被写体を撮像するときには、イメージセンサの有する複数の露光ラインに対応する複数の輝線から構成される輝線パターンを含む復号用画像を取得し、その輝線パターンを復号することによって可視光信号を取得する。可視光信号は例えば光ＩＤである。また、表示装置Ｇ１０は、可視光通信の判断において、可視光通信が可能でないと判断した場合に、その被写体を撮像するときには、通常画像のラインパターンから信号を取得する。ここで、可視光信号と、その信号は、同一の識別情報である。
これにより、可視光信号によって示される識別情報と、ラインパターンの信号によって示される識別情報とが同一であるため、可視光通信が不可能であっても、可視光信号によって示される識別情報を適切に取得することができる。
図１９４Ｃは、本変形例に係る通信方法を示すフローチャートである。
本発明の一態様に係る通信方法は、イメージセンサを備えた端末を用いた通信方法であって、ステップＳＧ１１〜ＳＧ１３を含む。つまり、上述の受信機２００である端末は、まず、端末が可視光通信を行うことが可能か否かを判断する（ステップＳＧ１１）。ここで、端末が可視光通信を行うことが可能と判断した場合（ステップＳＧ１１のＹｅｓ）、端末は、ステップＳＧ１２の処理を実行する。つまり、端末は、イメージセンサにより、輝度変化する被写体を撮像することにより、復号用画像を取得し、その復号用画像に現れる縞模様から、被写体が送信する第１の識別情報を取得する（ステップＳＧ１２）。一方、端末は、ステップＳＧ１１での可視光通信の判断において、端末が可視光通信を行うことが可能でないと判断した場合（ステップＳＧ１１のＮｏ）、ステップＳＧ１３の処理を実行する。つまり、端末は、イメージセンサにより、被写体を撮像することによって撮像画像を取得し、その撮像画像のエッジ検出を行うことで、少なくとも１つの輪郭を抽出し、その少なくとも１つの輪郭の中から、所定の特定領域を特定し、その特定領域のラインパターンから被写体が送信する第２の識別情報を取得する（ステップＳＧ１３）。なお、第１の識別情報は、例えば光ＩＤであり、第２の識別情報は、例えば画像ＩＤまたはフレームＩＤである。
図１９４Ｄは、本変形例に係る通信装置の構成を示すブロック図である。
本発明の一態様に係る通信装置Ｇ２０は、イメージセンサを備えた端末を用いた通信装置であって、判断部Ｇ２１と、第１の取得部Ｇ２２と、第２の取得部Ｇ２３とを備える。
判断部Ｇ２１は、端末が可視光通信を行うことが可能か否かを判断する。
第１の取得部Ｇ２２は、判断部Ｇ２１において、端末が可視光通信を行うことが可能と判断された場合に、イメージセンサにより、輝度変化する被写体を撮像することにより、復号用画像を取得し、その復号用画像に現れる縞模様から被写体が送信する第１の識別情報を取得する。
第２の取得部Ｇ２３は、判断部Ｇ２１において、端末が可視光通信を行うことが可能でないと判断された場合に、イメージセンサにより、被写体を撮像することによって撮像画像を取得し、その撮像画像のエッジ検出を行うことで、少なくとも１つの輪郭を抽出し、少なくとも１つの輪郭の中から、所定の特定領域を特定し、その特定領域のラインパターンから被写体が送信する第２の識別情報を取得する。
なお、端末は、通信装置Ｇ２０に含まれていてもよく、通信装置Ｇ２０の外部にあってもよい。または、端末は、通信装置Ｇ２０を含んでいてもよい。つまり、図１９４Ｃに示すフローチャートの各ステップは、端末によって実行されてもよく、通信装置Ｇ２０によって実行されてもよい。
これにより、受信機２００などの端末は、可視光通信ができるか否かに関わらず、送信機などの被写体から、第１の識別情報または第２の識別情報を取得することができる。つまり、端末は、可視光通信を行うことができる場合には、被写体から例えば光ＩＤを第１の識別情報として取得する。一方、端末は、可視光通信を行うことができなくても、その被写体から例えば画像ＩＤまたはフレームＩＤを第２の識別情報として取得することができる。具体的には、例えば図１８３および図１８８に示す送信画像が被写体として撮像され、その送信画像の領域が特定領域（すなわち選択領域）として選択され、その送信画像のラインパターンから第２の識別情報が取得される。したがって、可視光通信が不可能な場合でも、第２の識別情報を適切に取得することができる。
また、端末は、上述の特定領域の特定では、所定の大きさ以上の四角形の輪郭を有する領域、または、所定の大きさ以上の角丸四角形の輪郭を有する領域を、その特定領域として特定してもよい。
これにより、例えば図１７９に示すように、四角形または角丸四角形の領域を特定領域として適切に特定することができる。
また、端末は、上述の可視光通信の判断では、端末が露光時間を所定の値以下に変更することができる端末であると特定した場合に、可視光通信を行うことが可能であると判断し、端末が露光時間を前記所定の値以下に変更することができない端末であると特定した場合に、可視光通信を行うことが可能でないと判断してもよい。
これにより、例えば図１８０に示すように、可視光信号を行うことが可能か否かを適切に判断することができる。
また、端末は、可視光通信の判断において、端末が可視光通信を行うことが可能と判断した場合に、被写体を撮像するときには、イメージセンサの露光時間を第１の露光時間に設定し、その第１の露光時間で被写体を撮像することで、復号用画像を取得してもよい。さらに、端末は、可視光通信の判断において、端末が可視光通信を行うことが可能でないと判断した場合に、被写体を撮像するときには、イメージセンサの露光時間を第２の露光時間に設定し、その第２の露光時間で被写体を撮像することで、撮像画像を取得してもよい。ここで、第１の露光時間は、前記第２の露光時間よりも短い。
これにより、第１の露光時間での撮像によって、輝線パターン領域を有する復号用画像を取得して、その輝線パターン領域に対する復号によって、第１の識別情報を適切に取得することができる。さらに、第２の露光時間での撮像によって、通常撮影画像を撮像画像として取得し、その通常撮影画像に現れているラインパターンから第２の識別情報を適切に取得することができる。これにより、端末は、第１の露光時間と第２の露光時間とを使い分けることによって、その端末に適した第１の識別情報または第２の識別情報を取得することができる。
また、被写体は、イメージセンサから見て矩形形状であり、その被写体の中心領域が輝度変化することにより、第１の識別情報を送信し、当該被写体の周縁にバーコード状のラインパターンが配置されている。そして、端末は、可視光通信の判断において、端末が可視光通信を行うことが可能と判断した場合に、被写体を撮像するときには、イメージセンサの有する複数の露光ラインに対応する複数の輝線から構成される輝線パターンを含む復号用画像を取得し、その輝線パターンを復号することによって第１の識別情報を取得する。さらに、端末は、可視光通信の判断において、端末が可視光通信を行うことが可能でないと判断した場合に、被写体を撮像するときには、撮像画像のラインパターンから第２の識別情報を取得してもよい。
これにより、中心領域が輝度変化する被写体から、第１の識別情報および第２の識別情報を適切に取得することができる。
また、復号用画像から得られる第１の識別情報と、ラインパターンから得られる第２の識別情報は、同一の情報であってもよい。
これにより、可視光通信が可能な端末でも、可視光通信が不可能な端末でも、その被写体から同じ情報を取得することができる。
図１９４Ｅは、実施の形態１０およびその変形例に係る送信機の構成を示すブロック図である。
送信機Ｇ３０は、上述の送信機１００に相当する。この送信機Ｇ３０は、光源Ｇ３１と、マイクロコントローラＧ３２と、照明板Ｇ３３とを備える。光源Ｇ３１は、照明板３３の背面側から光を照射する。マイクロコントローラＧ３２は、光源Ｇ３１の輝度を変化させる。なお、照明板Ｇ３３は、光源Ｇ３１からの光を透過させる板、すなわち、透光性を有する板である。また、照明板Ｇ３３の形状は、例えば矩形形状である。
マイクロコントローラＧ３２は、光源Ｇ３１を輝度変化させることにより、その光源Ｇ３１から照明板Ｇ３３を介して第１の識別情報を送信する。また、また、照明板Ｇ３３の前面側の周辺にバーコード状のラインパターンＧ３４が配置されており、ラインパターンＧ３４に第２の識別情報が符号化されている。さらに、第１の識別情報と、第２の識別情報は、同じ情報である。
これにより、可視光通信を行うことが可能な端末に対しても、不可能な端末に対しても、同じ情報を送信することができる。
なお、上記実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図１９１、図１９３、図１９４Ａ、および図１９４Ｃのフローチャートによって示される表示方法をコンピュータに実行させる。
（実施の形態１１）
本実施の形態におけるサーバの管理方法は、携帯端末のユーザに適切なサービスを提供することができる方法である。
図１９５は、本実施の形態におけるサーバを含む通信システムの構成の一例を示す図である。
この通信システムは、送信機１００、受信機２００、第１のサーバ３０１、第２のサーバ３０２、および店舗システム３１０を備える。本実施の形態における送信機１００および受信機２００は、上記各実施の形態における送信機１００および受信機２００と同一の機能をそれぞれ備えていてもよい。また、送信機１００は、例えば店舗のサイネージとして構成され、輝度変化することによって光ＩＤを可視光信号として送信する。店舗システム３１０は、送信機１００を有する店舗を管理するための少なくとも１つのコンピュータを有する。また、受信機２００は、例えば、カメラおよびディスプレイを備えたスマートフォンとして構成された携帯端末である。
例えば、受信機２００のユーザは、受信機２００を操作することによって、店舗システム３１０に対して事前に予約処理を行う。この予約処理は、そのユーザの名前など、そのユーザに関する情報であるユーザ情報と、そのユーザが注文するメニューとを、ユーザが店舗に訪れる前に店舗システム３１０に登録するための処理である。なお、ユーザは、このような予約処理を行っていなくてもよい。
そして、ユーザは、店舗に訪れると、その店舗のサイネージである送信機１００を受信機２００で撮像する。これにより、受信機２００は、送信機１００から可視光通信によって光ＩＤを受信する。そして、受信機２００は、その光ＩＤを、無線通信を介して第２のサーバ３０２に送信する。第２のサーバ３０２は、受信機２００から光ＩＤを受信すると、その光ＩＤに対応付けられている店舗情報を、無線通信を介して受信機２００に送信する。店舗情報は、そのサイネージを掲げる店舗に関する情報である。
受信機２００は、第２のサーバ３０２から店舗情報を受信すると、ユーザ情報およびその店舗情報を、無線通信を介して第１のサーバ３０１に送信する。第１のサーバ３０１は、そのユーザ情報および店舗情報を受信すると、その店舗情報によって示される店舗システム３１０に対して問い合わせることによって、そのユーザ情報によって示されるユーザによる予約処理が完了しているか否かを判定する。
ここで、第１のサーバ３０１は、予約処理が完了していると判定すると、店舗システム３１０に対してユーザの店舗への到着を、無線通信を介して通知する。一方、予約処理が完了していないと判定すると、第１のサーバ３０１は、その店舗のメニューリストを、無線通信を介して受信機２００に送信する。受信機２００は、そのメニューリストを受信すると、ディスプレイにそのメニューリストを表示し、ユーザからのメニューの選択を受け付ける。そして、受信機２００は、ユーザによって選択されたメニューを選択メニューとして、無線通信を介して第１のサーバ３０１に通知する。
第１のサーバ３０１は、受信機２００からの選択メニューの通知を受け付けると、その選択メニューを、無線通信を介して店舗システム３１０に通知する。
図１９６は、第１のサーバ３０１による管理方法を示すフローチャートである。
まず、第１のサーバ３０１は、受信機２００である携帯端末から店舗情報を受信する（ステップＳ６２１）。次に、第１のサーバ３０１は、その店舗情報によって示される店舗に対する予約処理が完了しているか否かを判定する（ステップＳ６２２）。ここで、第１のサーバ３０１は、予約処理が完了していると判定すると（ステップＳ６２２のＹｅｓ）、携帯端末のユーザの店舗への到着を、店舗システム３１０に通知する（ステップＳ６２３）。一方、第１のサーバ３０１は、予約処理が完了していないと判定すると（ステップＳ６２２のＮｏ）、その店舗のメニューリストを携帯端末に通知する（ステップＳ６２４）。さらに、第１のサーバ３０１は、そのメニューリストから選択されたメニューである選択メニューが携帯端末から通知されると、その選択メニューを店舗システム３１０に通知する（ステップＳ６２５）。
このように、本実施の形態におけるサーバ（すなわち第１のサーバ３０１）の管理方法では、前記サーバが、携帯端末から店舗情報を受信し、前記店舗情報に基づいて、前記携帯端末のユーザによる店舗のメニューの予約処理が完了しているか否かを判断し、前記予約処理が完了している場合には、店舗システムに対して前記携帯端末の前記ユーザが前記店舗に到着している旨の通知を行う。また、その管理方法では、前記予約処理が完了していない場合には、前記サーバが、前記店舗のメニューリストを前記携帯端末に通知し、前記携帯端末から、メニューの選択を受け付けた場合、前記店舗システムに対して選択されたメニューの通知を行う。また、その管理方法では、前記携帯端末は、前記店舗に設置された被写体を撮影することにより可視光信号を識別情報として取得し、前記識別情報を他のサーバに送信し、前記他のサーバから識別情報に対応する店舗情報を受信し、受信した店舗情報を前記サーバに送信する。
これにより、携帯端末のユーザは、事前に予約処理をしておけば、店舗に到着すると、すぐに店舗に対して注文メニューの調理を開始させることができ、出来立ての料理を飲食することができる。また、ユーザは、予約処理をしていなくても、店舗に到着すると、すぐにメニューリストからメニューを選択して、店舗に対して注文することができる。
なお、受信機２００は、店舗情報に代えて、識別情報（つまり光ＩＤ）を第１のサーバ３０１に送信し、第１のサーバ３０１は、その識別情報に基づいて予約処理の完了の有無を確認してもよい。この場合、識別情報を第２のサーバ３０２に送信することなく、携帯端末から識別情報が第１のサーバ３０１に送信される。
（実施の形態１２）
本実施の形態では、上記各実施の形態と同様、光ＩＤを用いた通信方法および通信装置などについて説明する。なお、本実施の形態における送信機および受信機は、上記各実施の形態における送信機（または送信装置）および受信機（または受信装置）と同一の機能および構成を有していてもよい。
図１９７は、本実施の形態における照明システムを示す図である。
この照明システムは、例えば図１９７の（ａ）に示すように、複数の第１の照明装置１００ｐと、複数の第２の照明装置１００ｑとを備える。このような照明システムは、例えば、大型店舗の天井に取り付けられる。また、複数の第１の照明装置１００ｐと、複数の第２の照明装置１００ｑとは、それぞれ長尺状に形成され、それらの長手方向に沿って一列に配置される。また、第１の照明装置１００ｐと第２の照明装置１００ｑとは交互に配置されている。
第１の照明装置１００ｐは、上記各実施の形態における送信機１００として構成され、照明用の光を発するとともに、可視光信号を光ＩＤとして送信する。また、第２の照明装置１００ｑは、照明用の光を発するとともに、ダミー信号を送信する。つまり、第２の照明装置１００ｑは、周期的に輝度変化することによって、照明用の光を発するとともに、ダミー信号を送信する。受信機によって照明システムが可視光通信モードで撮像されると、その撮像によって得られる上述の可視光通信画像または輝線画像である復号用画像には、第１の照明装置１００ｐに対応する領域に、輝線パターン領域が現れる。しかし、その復号用画像における、第２の照明装置１００ｑに対応する領域には、輝線パターン領域はあらわれない。
このように、図１９７の（ａ）に示す照明システムでは、互いに隣り合う２つの第１の照明装置１００ｐの間に、第２の照明装置１００ｑが配置されている。これにより、可視光信号を受信する受信機は、復号用画像における輝線パターン領域の端を適切に特定することができ、それぞれの第１の照明装置１００ｐから送信される可視光信号を区別して受信することができる。
また、第２の照明装置１００ｑが発光しているとき（つまりダミー信号を送信しているとき）の平均輝度と、第１の照明装置１００ｐが発光しているとき（つまり可視光信号を送信しているとき）の平均輝度とは、等しい。したがって、照明システムにおける各照明装置の明るさのばらつきを抑えることができる。なお、その各照明装置の明るさは、人が見て感じる明るさである。これにより、店舗内の人が、その照明システムにおける明るさのばらつきを感じ難くすることができる。また、第２の照明装置１００ｑの輝度変化が、点灯（オン）と消灯（オフ）との切り換えで行われる場合には、第２の照明装置１００ｑが調光機能を有していなくても、第２の照明装置１００ｑの平均輝度を、オンとオフとのデューティ比によって調整することができる。
また、照明システムは、例えば図１９７の（ｂ）に示すように、複数の第１の照明装置１００ｐを備え、第２の照明装置１００ｑを備えていなくてもよい。この場合、複数の第１の照明装置１００ｐは、それらの長手方向に沿って一列に、かつ、互いに離間して配置される。
したがって、図１９７の（ｂ）に示す照明システムであっても、図１９７の（ａ）に示す照明システムと同様、可視光信号を受信する受信機は、復号用画像における輝線パターン領域の端を適切に特定することができる。その結果、受信機は、それぞれの第１の照明装置１００ｐから送信される可視光信号を区別して受信することができる。
または、複数の第１の照明装置１００ｐは、隣接して配置され、互いに隣接する２つの第１の照明装置１００ｐの境界部分は、カバーによって覆われてもよい。このカバーによって、境界部分から照射される光が遮られる。もしくは、複数の第１の照明装置１００ｐのそれぞれは、その第１の照明装置１００ｐの長手方向の両端部分から光が照射されない構造を有していてもよい。
このような図１９７の（ａ）および（ｂ）に示す照明システムでは、受信機は、その照明システムに含まれる第１の照明装置１００ｐの長手方向の長さを用いて、第１の照明装置１００ｐからの距離を算出することができる。したがって、受信機は、その受信機の位置を正確に推定することができる。
図１９８は、照明装置の配置および復号用画像の一例を示す図である。
例えば、図１９８の（ａ）に示すように、第１の照明装置１００ｐと第２の照明装置１００ｑとは隣接して配置されている。ここで、第２の照明装置１００ｑは、１００μｓ以下の周期でオンとオフとを切り換えることによって、ダミー信号を送信している。
受信機は、その第１の照明装置１００ｐと第２の照明装置１００ｑとを撮像することによって、図１９８の（ｂ）に示す復号用画像を撮像する。ここで、第２の照明装置１００ｑにおけるオンとオフとの切り換えの周期は、受信機の露光時間と比較して短すぎる。したがって、復号用画像における第２の照明装置１００ｑに対応する領域（以下、ダミー領域という）の輝度は一様である。また、このダミー領域の輝度は、第１の照明装置１００ｐおよび第２の照明装置１００ｑ以外のバックグラウンドに対応する領域よりも高い。また、このダミー領域の輝度は、第１の照明装置１００ｐに対応する領域、すなわち輝線パターン領域における高い輝度よりも低い。
したがって、受信機は、ダミー領域に対応する照明装置を、輝線パターン領域に対応する照明装置と区別することができる。
図１９９は、照明装置の配置および復号用画像の他の例を示す図である。
例えば、図１９９の（ａ）に示すように、第１の照明装置１００ｐと第２の照明装置１００ｑとは隣接して配置されている。ここで、第２の照明装置１００ｑは、１００μｓを超える周期でオンとオフとを切り換えることによって、ダミー信号を送信している。
受信機は、その第１の照明装置１００ｐと第２の照明装置１００ｑとを撮像することによって、図１９９の（ｂ）に示す復号用画像を撮像する。ここで、第２の照明装置１００ｑにおけるオンとオフとの切り換えの周期は、受信機の露光時間と比較して長い。したがって、復号用画像におけるダミー領域の輝度は、一様ではなく、そのダミー領域では、明るい領域と暗い領域とが交互に現れる。例えば、受信機は、既定の最大幅よりも広い暗い領域が復号用画像に現れている場合には、その暗い領域を含む範囲にダミー領域があることを認識することができる。
したがって、受信機は、ダミー領域に対応する照明装置を、輝線パターン領域に対応する照明装置と区別することができる。
図２００は、第１の照明装置１００ｐを用いた位置推定を説明するための図である。
受信機２００は、上述のように、第１の照明装置１００ｐを撮像することによって、受信機２００の位置を推定することができる。
しかし、受信機２００は、その推定された位置における床からの高さが、許容範囲よりも高い場合には、エラーをユーザに通知してもよい。例えば、受信機２００は、復号用画像または通常撮影画像に映し出されている第１の照明装置１００ｐの長手方向の長さと、加速度センサの出力などに基づいて、その第１の照明装置１００ｐの位置および向きを特定する。さらに、受信機２００は、床から第１の照明装置１００ｐが設置されている天井までの高さを用いて、受信機２００の位置における床からの高さを特定する。そして、受信機２００は、その受信機２００の位置での高さが許容範囲よりも高い場合には、エラーを通知する。なお、上述の第１の照明装置１００ｐの位置および向きは、受信機２００に対する相対的な位置および向きである。したがって、第１の照明装置１００ｐの位置および向きが特定されることによって、受信機２００の位置および向きが特定されていると言える。
図２０１は、受信機２００の処理動作を示すフローチャートである。
まず、受信機２００は、図２０１の（ａ）に示すように、受信機２００の位置を推定する（ステップＳ２３１）。次に、受信機２００は、床から天井までの高さを導出する（ステップＳ２３２）。例えば、受信機２００は、メモリに保存されている高さを読み出すことによって、その床から天井までの高さを導出する。または、受信機２００は、周辺にある送信機から電波によって送信される情報を受信することによって、その床から天井までの高さを導出する。
次に、受信機は、ステップＳ２３１で推定された受信機２００の位置と、ステップＳ２３２で導出された、床から天井までの高さに基づいて、床から受信機２００までの高さが許容範囲内であるか否かを判定する（ステップＳ２３３）。ここで、受信機は、その高さが許容範囲内であると判定すると（ステップＳ２３３のＹｅｓ）、受信機２００の位置および向きを表示する（ステップＳ２３４）。一方、受信機は、その高さが許容範囲内にないと判定すると（ステップＳ２３３のＮｏ）、受信機２００の向きのみを表示する（ステップＳ２３５）。
または、受信機２００は、図２０１の（ｂ）に示すように、ステップＳ２３５の代わりに、ステップＳ２３６を実行してもよい。つまり、受信機は、その高さが許容範囲内にないと判定すると（ステップＳ２３３のＮｏ）、位置推定においてエラーが生じたことをユーザに通知する（ステップＳ２３６）。
図２０２は、本実施の形態における通信システムの一例を示す図である。
通信システムは、受信機２００とサーバ３００とを備える。受信機２００は、ＧＰＳ、電波または可視光信号によって送信される位置情報または送信機ＩＤを受信する。なお、位置情報は、例えば送信機または受信機の位置を示す情報であり、送信機ＩＤは、送信機を識別するための識別情報である。そして、受信機２００は、その受信された位置情報または送信機ＩＤをサーバ３００に送信する。サーバ３００は、その位置情報または送信機ＩＤに関連付けられている地図またはコンテンツを受信機２００に送信する。
図２０３は、本実施の形態における受信機２００による自己位置推定の処理を説明するための図である。
受信機２００は、予め定められた周期ごとに、自己位置推定を行う。この自己位置推定は、複数の処理からなる。上述の周期は、例えば、受信機２００による撮像のフレーム周期である。
例えば、受信機２００は、前のフレーム周期において行われた自己位置推定の結果を直前自己位置として取得する。そして、受信機２００は、その直前自己位置からの移動距離および移動方向を、加速度センサおよびジャイロセンサなどからの出力に基づいて推定する。さらに、受信機２００は、その推定された移動距離および移動方向にしたがって直前自己位置を変更することによって、現在のフレーム周期における自己位置推定を行う。これにより、第１の自己位置推定結果が得られる。一方、受信機２００は、電波と、可視光信号と、加速度センサおよび方位センサからの出力とのうちの少なくとも１つに基づいて、現在のフレーム周期における自己位置推定を行う。これにより、第２の自己位置推定結果が得られる。そして、受信機２００は、例えば、Ｋａｌｍａｎ ｆｉｌｔｅｒなどを用いて、第１の自己位置推定結果に基づく第２の自己位置推定結果の調整を行う。これによって、現在のフレーム周期における最終的な自己位置推定の結果が得られる。
図２０４は、本実施の形態における受信機２００による自己位置推定を示すフローチャートである。
まず、受信機２００は、電波の強さなどに基づいて、受信機２００の位置を推定する（ステップＳ２４１）。これにより、受信機２００の推定位置Ａが得られる。
次に、受信機２００は、加速度センサ、ジャイロセンサおよび方位センサなどからの出力に基づいて、受信機２００の移動方向および移動方向を計測する（ステップＳ２４２）。
次に、受信機２００は、可視光信号を受信し、その受信された可視光信号と、加速度センサおよび方位センサなどからの出力に基づいて、受信機２００の位置を計測する（ステップＳ２４３）。
そして、受信機２００は、ステップＳ２４２で計測された受信機２００の移動距離および移動方向と、ステップＳ２４３で計測された受信機２００の位置とを用いて、ステップＳ２４１で得られた推定位置Ａを更新する（ステップＳ２４３）。この推定位置Ａの更新には、Ｋａｌｍａｎ ｆｉｌｔｅｒなどのアルゴリズムが用いられる。そして、ステップＳ２４２以降の処理が繰り返し実行される。
図２０５は、本実施の形態における受信機２００の自己位置推定の処理の概略を示すフローチャートである。
まず、受信機２００は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）などの電波の強さなどに基づいて、受信機２００のおおまかな位置を推定する（ステップＳ２５１）。次に、受信機２００は、可視光信号などを用いて、受信機２００の詳細な位置を推定する（ステップＳ２５２）。これにより、例えば±１０ｃｍの誤差範囲で自己位置を推定することができる。
なお、各送信機に割り当て可能な光ＩＤの数は少なく、世界の各送信機に対して唯一の光ＩＤを与えることはできない。しかし、本実施の形態では、上述のステップＳ２５１の処理のように、電波の強さなどに基づいて、その電波を送信する送信機が存在するエリアが絞り込まれる。そして、それぞれ同じ光ＩＤを有する複数の送信機がそのエリアに存在しなければ、受信機２００は、ステップＳ２５２の処理によって、つまり、光ＩＤに基づいて、そのエリアから１つの送信機を特定することができる。
サーバは、送信機ごとに、その送信機が有する光ＩＤと、その送信機の位置を示す位置情報と、その送信機が有する電波のＩＤとを互いに関連付けて記憶している。
図２０６は、本実施の形態における電波のＩＤと光ＩＤとの関係を示す図である。
例えば、電波のＩＤには、光ＩＤと同じ情報が含まれる。なお、電波ＩＤは、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ−Ｆｉ（登録商標）などに用いられる識別情報である。つまり、送信機は、電波のＩＤを電波で送信するとともに、その電波のＩＤの少なくとも一部と一致する情報を光ＩＤとして送信する。例えば、電波のＩＤに含まれる下位の数ビットが、光ＩＤと一致する。これにより、サーバは、電波のＩＤと光ＩＤとを一元的に管理することができる。
また、受信機２００は、受信機２００の付近に、同じ光ＩＤを送信する複数の送信機が存在するかを、電波を介して確認することができる。そして、受信機２００は、複数の送信機が存在することを確認した場合には、電波を介して何れかの送信機の光ＩＤを変更させてもよい。
図２０７は、本実施の形態における受信機２００による撮像の一例を説明するための図である。
例えば、受信機２００は、図２０７の（ａ）に示すように、位置Ａにおいて、第１の照明装置１００ｐを可視光通信モードで撮像する。さらに、受信機２００は、位置Ｂにおいて、第１の照明装置１００ｐを可視光通信モードで撮像する。ここで、位置Ａと位置Ｂとは、第１の照明装置１００ｐに対して点対称の関係にある。この場合には、受信機２００は、位置Ａでも位置Ｂでも、図２０７の（ｂ）に示すように、その撮像によって同一の復号用画像を生成する。したがって、受信機２００は、図２０７の（ｂ）に示す復号用画像だけからは、受信機２００が位置Ａにあるのか位置Ｂにあるのかを区別することができない。そこで、受信機２００は、自己位置推定の候補として位置Ａと位置Ｂとを提示してもよい。また、受信機２００は、過去の受信機２００の位置と、その位置からの移動方向などに基づいて、複数の候補から１つの候補を絞り込んでもよい。また、復号用画像に２つ以上の照明装置が映し出されている場合には、位置Ａにおいて得られる復号用画像と、位置Ｂにおいて得られる復号用画像とは異なる。したがって、この場合には、受信機２００の候補となる位置を１つに絞り込むことができる。
なお、受信機２００は、方位センサからの出力に基づいて、位置Ａと位置Ｂから１つの位置に絞り込むことができる。しかし、このよう場合でも、方位センサの信頼性が低いときには、受信機２００は、位置Ａおよび位置Ｂのそれぞれを、受信機２００の位置の候補として提示してもよい。
図２０８は、本実施の形態における受信機２００による撮像の他の例を説明するための図である。
例えば、第１の照明装置１００ｐの周囲には、ミラー９０１が配置されていてもよい。これにより、位置Ａにおける撮像によって得られる復号用画像と、位置Ｂにおける撮像によって得られる復号用画像とを異ならせることができる。つまり、復号用画像に基づく自己位置推定によって、受信機２００の位置を１つに絞り込めなくなる状況の発生を抑制することができる。
図２０９は、本実施の形態における受信機２００によって用いられるカメラを説明するための図である。
例えば、受信機２００は、複数のカメラを備え、その複数のカメラから、可視光通信に用いられるカメラを選択する。具体的には、受信機２００は、加速度センサからの出力データに基づいて、受信機２００の向きを特定し、複数のカメラから上向きのカメラを選択する。または、受信機２００は、受信機２００の向きと、複数のカメラの画角とに基づいて、水平方向よりも上向きの撮像を行うことができる１つまたは複数のカメラを選択してもよい。また、受信機２００は、複数のカメラを選択した場合には、その複数のカメラの中から、画角において上向きの領域が最も広い１つのカメラをさらに選択してもよい。また、受信機２００は、カメラの撮像によって得られた画像のうち一部の領域に対しては、自己位置推定または光ＩＤの受信のための処理を行わなくてもよい。その一部の領域は、水平方向よりも下向きにある領域でもよく、あるいは、水平方向から下に所定の角度だけ傾く方向よりもさらに下向きにある領域である。
これにより、受信機２００の計算負荷を削減することができる。
図２１０は、本実施の形態における受信機２００が送信機の可視光信号を変更させる処理の一例を示すフローチャートである。
受信機２００は、まず、可視光信号として可視光信号Ａを受信する（ステップＳ２６１）。
次に、受信機２００は、「可視光信号Ａを送信している場合には可視光信号Ｂに変更する」という命令を電波で送信する（ステップＳ２６２）。
そして、送信機１００は、受信機からステップＳ２６２で送信された命令を受信する。第１の照明装置１００ｐである送信機は、その命令に基づいて、自らが送信する可視光信号が可視光信号Ａに設定されている場合には、その設定されている可視光信号Ａを可視光信号Ｂに変更する（ステップＳ２６３）。
図２１１は、本実施の形態における受信機２００が送信機の可視光信号を変更させる処理の他の例を示すフローチャートである。
受信機２００は、まず、可視光信号として可視光信号Ａを受信する（ステップＳ２７１）。
次に、受信機２００は、周囲の電波を受信することによって、電波通信可能な送信機を探し、その送信機のリストを作成する（ステップＳ２７２）
次に、受信機２００は、作成されたリストに示される複数の送信機の順序を所定の順序で並べ替える（ステップＳ２７３）。この所定の順序は、例えば、電波強度の強い順、ランダム順、または、送信機のＩＤの小さい順である。
次に、受信機２００は、リストに示される１番目の送信機に対して、所定の時間の間、可視光信号Ｂを送信するように電波で命令する（ステップＳ２７４）。そして、受信機２００は、ステップＳ２７１で受信された可視光信号Ａが可視光信号Ｂに変更されたか否かを判定する（ステップＳ２７５）。ここで、受信機２００は、変更されたと判定すると（ステップＳ２７５のＹ）、リストに示される１番目の送信機に対して、可視光信号Ｂの送信を継続するように命令する（ステップＳ２７６）。
一方、可視光信号Ａが可視光信号Ｂに変更されないと判定すると（ステップＳ２７５のＮ）、受信機２００は、リストの１番目の送信機に対して、可視光信号を変更前の信号に戻すように命令する（ステップＳ２７７）。そして、受信機２００は、リストに示される１番目の送信機をそのリストから削除し、２番目以降の各送信機の順番を１つ繰り上げる（ステップＳ２７８）。そして、受信機２００は、ステップＳ２７４からの処理を繰り返し実行する。
このような処理によって、受信機２００は、受信機２００に現在受信されている可視光信号を送信している送信機を適切に特定し、その送信機に対して可視光信号を変更させることができる。
（実施の形態１３）
受信機２００は、実施の形態２の図１８Ａ〜図１８Ｃに示す例と同様、自己位置推定と、その推定結果を用いたナビゲーションを行う。受信機２００は、自己位置推定を行うときには、復号用画像に含まれる輝線パターン領域の大きさおよび位置を用いる。つまり、受信機２００は、受信機２００の姿勢と、送信機１００の大きさおよび形状と、復号用画像に含まれる輝線パターン領域の大きさ、形状および位置とに基づいて、送信機１００に対する受信機２００の相対位置を特定する。そして、受信機２００は、送信機１００からの可視光信号によって特定される地図上の送信機１００の位置と、上述の特定された相対位置とを用いて自らの位置を推定する。なお、受信機２００の姿勢は、例えば、受信機２００に備えられている加速度センサおよび方位センサなどのセンサからの出力データによって特定される受信機２００のカメラの向きである。
図２１２は、受信機２００によるナビゲーションを説明するための図である。
送信機１００は、例えば、図２１２の（ａ）に示すように、バス停を案内するためのデジタルサイネージとして構成され、地下街に設定されている。そして、送信機１００は、実施の形態２の図１８Ａ〜図１８Ｃに示す例と同様、可視光信号を送信している。ここで、送信機１００には、ＡＲナビゲーションを促す画像が表示されている。受信機２００のユーザは、この送信機１００を見て、ＡＲナビゲーションによってバス停まで案内してもらいたい場合には、スマートフォンとして構成されている受信機２００にインストールされているＡＲナビゲーションのアプリケーションを起動する。この起動によって、受信機２００は、内蔵されているカメラに、可視光通信モードでの撮像と、通常撮影モードでの撮像とを交互に切り替えて実行させる。そして、受信機２００は、通常撮影モードでの撮像が行われるごとに、その撮像によって得られる通常撮影画像を受信機２００のディスプレイに表示する。そして、ユーザは、その受信機２００のカメラを送信機１００に向ける。これにより、受信機２００は、可視光通信モードでの撮像が行われるタイミングで、復号用画像を取得し、その復号用画像に含まれる輝線パターン領域の復号を行うことによって、送信機１００からの可視光信号を受信する。そして、受信機２００は、その可視光信号によって示される情報（すなわち光ＩＤ）をサーバに送信し、その情報に関連付けられている送信機１００の地図上の位置を示すデータをそのサーバから受信する。さらに、受信機２００は、送信機１００の地図上の位置を用いて自己位置推定を行い、その推定された自己位置をサーバに送信する。サーバは、受信機２００の位置と、目的地であるバス停までの経路を検索し、地図と、その経路とを示すデータを受信機２００に送信する。なお、このときの自己位置推定によって得られた受信機２００の位置は、ユーザを目的地に案内するための起点である。
次に、受信機２００は、図２１２の（ｂ）に示すように、その検索された経路にしたがってナビゲーションを開始する。このとき、受信機２００は、通常撮影画像に対して方向指示画像４３１を重畳してディスプレイに表示する。この方向指示画像４３１は、その検索された経路と、受信機２００の現在位置と、カメラの向きとに基づいて生成され、目的地に向かう方向に向けられた矢印として構成されている。
そして、受信機２００は、地下街を移動するときには、図２１２の（ｃ）および（ｄ）に示すように、通常撮影画像に映し出されている特徴点の動きに基づいて、現在の自己位置を推定する。
さらに、受信機２００は、図２１２の（ｅ）に示すように、図２１２の（ａ）に示す送信機１００とは異なる送信機１００から可視光信号を受信すると、そのときまでに推定されていた自己位置を補正する。つまり、受信機２００は、可視光信号を用いた自己位置推定を再び行うことによって、自己位置を更新する。
そして、受信機２００は、図２１２の（ｆ）に示すように、目的地であるバス停までユーザを案内する。
このように、受信機２００は、スタート地点で、まず、可視光信号に基づく自己位置推定を行い、その推定によって得られた自己位置を周期的に更新してもよい。例えば、受信機２００は、図２１２の（ｃ）および（ｄ）に示すように、通常撮影モードでの撮像で、通常撮影画像を一定のフレームレートで取得している場合には、それらの通常撮影画像に映し出されている特徴点の移動量から、自己位置を更新してもよい。そして、受信機２００は、通常撮影モードでの撮像が行われている途中で定期的に可視光通信モードでの撮像を行う。受信機２００は、図２１２の（ｅ）に示すように、その可視光通信モードでの撮像によって得られる復号用画像に輝線パターン領域が映し出されていれば、その時点で最近に更新された自己位置を、その映し出されている輝線パターン領域に基づいて補正してもよい。
ここで、受信機２００は、輝線パターン領域に対する復号によって、可視光信号を受信することができなくても、自己位置を推定することができる。つまり、受信機２００は、復号用画像に映し出されている輝線パターン領域を完全に復号することができなくても、その輝線パターン領域に基づいて、または、輝線パターン領域のようなストライプ状の領域に基づいて、自己位置推定を行ってもよい。
図２１３は、受信機２００による自己位置推定の一例を示すフローチャートである。
受信機２００は、地図と、複数の送信機１００のそれぞれの送信機データとを、サーバまたは受信機２００が有する記録媒体から取得する（ステップＳ３４１）。なお、送信機データは、送信機１００が配置さているその地図上の位置と、その送信機１００の形状およびサイズを示す。
次に、受信機２００は、可視光通信モード（すなわち短時間露光）で撮像し、その撮像によって得られる復号用画像からストライプ状の領域（すなわち領域Ａ）を検出する（ステップＳ３４２）。
そして、受信機２００は、ストライプ状の領域が可視光信号である可能性があるか否かを判定する（ステップＳ３４３）。つまり、受信機２００は、そのストライプ状の領域が、可視光信号によって現れた輝線パターン領域であるか否かを判定する。ここで、受信機２００は、可視光信号である可能性がないと判定すると（ステップＳ３４３のＮ）、処理を終了する。一方、受信機２００は、可視光信号である可能性があると判定すると（ステップＳ３４３のＹ）、さらに、その可視光信号を受信することができたか否かを判定する（ステップＳ３４４）。つまり、受信機２００は、復号用画像の輝線パターン領域を復号し、その復号によって可視光信号として光ＩＤを取得することができたか否かを判定する。
ここで、受信機２００は、可視光信号を受信することができたと判定すると（ステップＳ３４４のＹ）、復号用画像における領域Ａの形状、大きさおよび位置を取得する（ステップＳ３４７）。つまり、受信機２００は、可視光通信モードでの撮像によって復号用画像にストライプ状の像として映し出されている送信機１００の形状、大きさおよび位置を取得する。
そして、受信機２００は、送信機１００の送信機データと、取得された領域Ａの形状、大きさおよび位置とに基づいて、送信機１００と受信機２００との相対位置を計算し、受信機２００の現在位置（つまり現在の自己位置）を更新する（ステップＳ３４８）。例えば、受信機２００は、ステップＳ３４１で取得された各送信機１００の送信機データから、受信された可視光信号に対応する送信機１００の送信機データを選択する。つまり、受信機２００は、地図上に示される複数の送信機１００のうち、その可視光信号に対応する送信機１００を、領域Ａの像として映し出されている撮像対象の送信機１００として選択する。そして、受信機２００は、ステップＳ３４７で取得された送信機１００の形状、大きさおよび位置と、撮像対象の送信機１００の送信機データに示される形状および大きさとに基づいて、受信機２００の送信機１００に対する相対位置を計算する。その後、受信機２００は、その相対位置と、ステップＳ３４１で取得された地図と、撮像対象の送信機１００の送信機データによって示される地図上の位置とに基づいて、自己位置を更新する。
一方、受信機２００は、ステップＳ３４４で可視光信号を受信することができないと判定すると（ステップＳ３４４のＮ）、受信機２００のカメラによって地図上のどの位置または範囲が撮像されているのかを推定する（ステップＳ３４５）。つまり、受信機２００は、その時点で推定されている現在の自己位置と、受信機２００の撮像部であるカメラの向きまたは方向とに基づいて、地図上において撮像されている位置または範囲を推定する。そして、受信機２００は、地図上に示される複数の送信機１００の中から、撮像されている可能性が最も高い送信機１００が、領域Ａの像として映し出されている送信機１００であるとみなす（ステップＳ３４６）。つまり、受信機２００は、受信機２００は、地図上に示される複数の送信機１００のうち、その撮像されている可能性が最も高い送信機１００を、撮像対象の送信機１００として選択する。なお、撮像されている可能性が最も高い送信機１００は、例えば、ステップＳ３４５で推定された撮像の位置または範囲に最も近い送信機１００である。
図２１４は、受信機２００によって受信される可視光信号を説明するための図である。
復号用画像に含まれる輝線パターン領域は、２つのケースによって現れる。第１のケースでは、受信機２００が、例えば天井に配置されている照明装置などの送信機１００を直接的に撮像することによって輝線パターン領域が現れる。言い換えれば、第１のケースでは、輝線パターン領域が現れる原因となる光は直接光である。第２のケースでは、受信機２００が送信機１００を間接的に撮像することによって輝線パターン領域が現れる。つまり、受信機２００は、照明装置などの送信機１００を撮像することなく、送信機１００からの光を反射している壁または床などの反射領域を撮像する。これによって、復号用画像に輝線パターン領域が現れる。言い換えれば、第２のケースでは、輝線パターン領域が現れる原因となる光は反射光である。
したがって、本実施の形態における受信機２００は、復号用画像に輝線パターン領域があれば、その輝線パターン領域が現れているケースが第１のケースか、第２のケースかを判定する。つまり、受信機２００は、輝線パターン領域が送信機１００の直接光によって現れているのか、送信機１００の反射光によって現れているのかを判定する。
そして、受信機２００は、第１のケースであると判定すると、復号用画像における輝線パターン領域を、復号用画像に映し出されている送信機１００として用いて、その送信機１００に対する受信機２００の相対位置を特定する。つまり、受信機２００は、撮像に用いられたカメラの向きおよび画角と、輝線パターン領域の形状、大きさおよび位置と、送信機１００の形状および大きさと用いて、三角測量または幾何学的な測量方法によって、受信機２００の相対位置を特定する。
一方、受信機２００は、第２のケースであると判定すると、復号用画像における輝線パターン領域を、復号用画像に映し出されている反射領域として用いて、その送信機１００に対する受信機２００の相対位置を特定する。つまり、受信機２００は、撮像に用いられたカメラの向きおよび画角と、輝線パターン領域の形状、大きさおよび位置と、地図によって示される床または壁の位置および向きと、送信機１００の形状および大きさと用いて、三角測量または幾何学的な測量方法によって、受信機２００の相対位置を特定する。このとき、受信機２００は、輝線パターン領域の位置として、その輝線パターン領域の中心を用いてもよい。
図２１５は、受信機２００による自己位置推定の他の例を示すフローチャートである。
受信機２００は、まず、可視光通信モードでの撮像によって可視光信号を受信する（ステップＳ３５１）。そして、受信機２００は、地図と、複数の送信機１００のそれぞれの送信機データとを、サーバまたは受信機２００が有する記録媒体（すなわちデータベース）から取得する（ステップＳ３５２）。
次に、受信機２００は、ステップＳ３５１で受信された可視光信号が反射光によって受信されたか否かを判定する（ステップＳ３５３）。
そして、受信機２００は、ステップＳ３５３で反射光によって受信されたと判定すると（ステップＳ３５３のＹ）、ステップＳ３５１での撮像によって得られる復号用画像におけるストライプ状の領域の中心部を、床または壁に映し出されている送信機１００の位置とみなす（ステップＳ３５４）。
次に、受信機２００は、図２１３のステップＳ３４８と同様、送信機１００と受信機２００との相対位置を計算し、受信機２００の現在位置を更新する（ステップＳ３５５）。一方、受信機２００は、ステップＳ３５３で反射光によって受信されていないと判定すると（ステップＳ３５３のＮ）、床または壁の反射を考慮することなく、受信機２００の現在位置を更新する。
図２１６は、受信機２００による反射光の判定の例を示すフローチャートである。
受信機２００は、復号用画像からストライプ状の領域または輝線パターン領域を領域Ａとして検出する（ステップＳ６４１）。次に、受信機２００は、その復号用画像の撮像が行われたときのカメラの向きを加速度センサによって特定する（ステップＳ６４２）。次に、受信機２００は、その時点において既に推定されている受信機２００の地図上の位置から、ステップＳ６４２で特定されたカメラの向きに、送信機１００が存在するか否かを地図データから特定する（ステップＳ６４３）。つまり、受信機２００は、その時点において推定されている受信機２００の地図上における位置と、受信機２００の撮像の向きまたは方向と、地図上における各送信機１００の位置とに基づいて、送信機１００を直接撮像しているか否かを判断する。
そして、受信機２００は、送信機１００が存在すると判定すると（ステップＳ６４４のＹｅｓ）、領域Ａの光、つまり可視光信号の受信に用いられた光が直接光であると判定する（ステップＳ６４５）。一方、受信機２００は、送信機１００が存在しないと判定すると（ステップＳ６４４のＮｏ）、領域Ａの光、つまり可視光信号の受信に用いられた光が反射光であると判定する（ステップＳ６４６）。
このように、受信機２００は、加速度センサを用いて、輝線パターン領域が現れる原因となる光が直接光か反射光かを判定する。また、受信機２００は、カメラの向きが上向きであれば、その光が直接光であると判定し、カメラの向きが下向きであれば、その光が反射光であると判定してもよい。
また、受信機２００は、加速度センサの出力の代わりに、復号用画像に含まれる輝線パターン領域の光の強さ、位置、または大きさなどに基づいて、直接光か反射光かを判定してもよい。例えば、受信機２００は、光の強さが所定強度未満であれば、輝線パターン領域が現れる原因となる光が反射光であると判定する。または、受信機２００は、輝線パターン領域の位置が復号用画像の下部にあれば、その光が反射光であると判定する。または、受信機２００は、輝線パターン領域の大きさが所定サイズよりも大きければ、その光が反射光であると判定する。
図２１７は、受信機２００によるナビゲーションの一例を示すフローチャートである。
受信機２００は、例えばアウトカメラとインカメラとディスプレイとを備えているスマートフォンであって、ユーザを目的地まで道案内するための画像をディスプレイに表示することによって、ナビゲーションを行っている。つまり、受信機２００は、実施の形態２の図１８Ａ〜図１８Ｃに示す例のように、ＡＲナビゲーションを実行する。このとき、受信機２００は、アウトカメラでの撮像を行い、その撮像によって得られる画像に基づいて、周辺の危険探知を行う。そして、受信機２００は、ユーザが危険な状況にあるか否かを判定する（ステップＳ３６１）。
ここで、受信機２００は、ユーザが危険な状況にあると判定すると（ステップＳ３６１のＹ）、受信機２００のディスプレイに、注意喚起のメッセージを表示する、または、ナビゲーションを停止する（ステップＳ３６４）。
一方、受信機２００は、ユーザが危険な状況でないと判定すると（ステップＳ３６１のＮ）、その受信機２００が位置するエリアにおいて歩きスマホが禁止されているか否かを判定する（ステップＳ３６２）。例えば、受信機２００は、地図データを参照し、受信機２００の現在位置が、その地図データによって示される歩きスマホ禁止の範囲に含まれているか否かを判定する。ここで、受信機２００は、歩きスマホが禁止されていないと判定すると（ステップＳ３６２のＮ）、ナビゲーションを続行する（ステップＳ３６６）。一方、受信機２００は、歩きスマホが禁止されていると判定すると（ステップＳ３６２のＹ）、インカメラでユーザの視線を認識することによって、ユーザが受信機２００を見ているか否かを判定する（ステップＳ３６３）。ここで、受信機２００は、受信機２００を見ていないと判定すると（ステップＳ３６３のＮ）、ナビゲーションを続行する（ステップＳ３６６）。一方、受信機２００は、受信機２００を見ていると判定すると（ステップＳ３６３のＹ）、受信機２００のディスプレイに、注意喚起のメッセージを表示する、または、ナビゲーションを停止する（ステップＳ３６４）。
そして、受信機２００は、ユーザが危険な状況を脱したか、または、ユーザが受信機２００を注視している状態を脱したか否かを判定する（ステップＳ３６５）。ここで、受信機２００は、その状況または状態を脱したと判定すると（ステップＳ３６５のＹ）、ナビゲーションを続行する（ステップＳ３６６）。一方、受信機２００は、その状況または状態を脱していないと判定すると（ステップＳ３６５のＮ）、ステップＳ３６４の処理を繰り返し実行する。
また、受信機２００は、加速度センサおよびジャイロセンサなどからの出力に基づいて移動速度を検知してもよい。この場合、受信機２００は、その移動速度が閾値以上であるか否かを判定し、閾値上である場合には、ナビゲーションを停止させてもよい。このとき、受信機２００は、その移動速度での歩行が危険であることを通知するためのメッセージを表示してもよい。これにより、歩きスマホによる危険を回避することができる。
ここで、送信機１００は、プロジェクタとして構成されていてもよい。
図２１８は、プロジェクタとして構成されている送信機１００の例を示す図である。
例えば、送信機１００は、床または壁に画像４４１を投影する。また、送信機１００は、画像４４１を投影しながら、その投影に用いられる光を輝度変化させることによって、可視光信号を送信している。なお、投影される画像４４１には、ＡＲナビゲーションを促す文字などが表示されていてもよい。受信機２００は、その床または壁に投影されている画像４４１を撮像することによって、可視光信号を受信する。そして、受信機２００は、その投影されている画像４４１を用いて自己位置推定を行ってもよい。例えば、受信機２００は、その可視光信号に対応付けられている画像４４１の地図上の位置をサーバから取得し、その画像４４１の位置を用いて自己位置推定を行う。または、受信機２００は、その可視光信号に対応付けられている送信機１００の地図上の位置をサーバから取得し、床または壁に投影されている画像４４１を、上述の第２のケースのように、反射光として扱うことによって、自己位置推定を行ってもよい。
図２１９は、受信機２００による自己位置推定の他の例を示すフローチャートである。
受信機２００は、まず、送信機１００、所定の画像、または、所定のコード（２次元コードなど）を撮像する（ステップＳ３７１）。なお、送信機１００の撮像では、受信機２００は、その送信機１００から可視光信号を受信する。
次に、受信機２００は、ステップＳ３７１で撮像された被写体の位置（つまり地図上の位置）を取得する。そして、受信機２００は、その位置、形状および大きさと、ステップＳ３７１での撮像によって得られた画像内における被写体の位置、形状および大きさとに基づいて、受信機２００の位置、すなわち自己位置を推定する（ステップＳ３７２）。
次に、受信機２００は、ステップＳ３７１での撮像によって得られた画像によって示される所定の位置にユーザを案内するナビゲーションを開始する（ステップＳ３７３）。なお、被写体が送信機１００であれば、その所定の位置は、可視光信号によって特定される位置である。被写体が所定の画像であれば、その所定の位置は、所定の画像を解析することによって得られる位置である。被写体がコードであれば、その所定の位置は、そのコードを復号することによって得られる位置である。受信機２００は、ナビゲーションを行っているときには、カメラによる撮像を繰り返し、その撮像によって得られる通常撮影画像をリアルタイムに順次表示しながら、ユーザの行き先を示す矢印などの方向指示画像をその通常撮影画像に重畳する。ユーザは、受信機２００を携帯しながら、その表示される方向指示画像にしたがって移動を開始する。
次に、受信機２００は、ＧＰＳなどの位置情報（すなわちＧＰＳデータ）を受信することができるか否かを判定する（ステップＳ３７４）。ここで、受信機２００は、受信することができると判定すると（ステップＳ３７４のＹ）、そのＧＰＳなどの位置情報を用いて現在の受信機２００の自己位置を推定する（ステップＳ３７５）。一方、受信機２００は、ＧＰＳなどの位置情報を受信することができないと判定すると（ステップＳ３７４のＮ）、上述の各通常撮影画像に映し出されている物体または特徴点の動きに基づいて、受信機２００の自己位置を推定する（ステップＳ３７６）。例えば、受信機２００は、上述の各通常撮影画像に映し出されている物体または特徴点の動きを検出し、その動きに基づいて、受信機２００の移動方向および移動距離を推定する。そして、受信機２００は、その推定された移動方向および移動距離と、ステップＳ３７２で推定された位置とに基づいて、現在の受信機２００の自己位置を推定する。
次に、受信機２００は、最近に推定された自己位置が、目的地である所定の位置から予め定められた距離以内にあるか否かを判定する（ステップＳ３７７）。ここで、受信機２００は、その自己位置がその距離以内にあると判定すると（ステップＳ３７７のＹ）、ユーザが目的地に到着したと判断して、ナビゲーションの処理を終了する。一方、受信機２００は、その自己位置がその距離以内にないと判定すると（ステップＳ３７７のＮ）、ユーザが目的地に到着していないと判断して、ステップＳ３７４からの処理を繰り返し実行する。
また、受信機２００は、ナビゲーションの途中で現在の自己位置を見失った場合、つまり、自己位置を推定することができなくなった場合には、通常撮影画像に対する方向指示画像の重畳を停止し、最後に推定された自己位置を地図上に表示してもよい。または、受信機２００は、最後に推定された自己位置を含む周辺の地図を表示してもよい。
図２２０は、送信機１００による処理の一例を示すフローチャートである。図２２０に示す例では、送信機１００は、エレベータに設置されている照明装置である。
送信機１００は、エレベータの動作状況を示すエレベータ動作情報を、そのエレベータから得られるか否かを判定する（ステップＳ３８１）。なお、エレベータ動作情報は、エレベータが上昇しているか、下降しているか、停止しているかなどの状況と、エレベータが現在位置している階と、停止予定の階などを示していてもよい。
ここで、送信機１００は、エレベータ動作情報が得られたと判定すると（ステップＳ３８１のＹ）、そのエレベータ動作情報の全てまたは一部の情報を可視光信号によって送信する（ステップＳ３８６）。または、送信機１００は、その送信機１００から送信される可視光信号（すなわち光ＩＤ）に、エレベータ動作情報を関連付けてサーバに保持させてもよい。
一方、送信機１００は、エレベータ動作情報が得られないと判定すると（ステップＳ３８１のＮ）、加速度センサによって、エレベータが停止中、上昇中、および下降中の何れの状態にあるかを認識する（ステップＳ３８２）。さらに、送信機１００は、エレベータの階表示部から、エレベータが現在位置する階を特定することができるか否かを判定する（ステップＳ３８３）。なお、階表示部は、図１８Ｃに示す階数表示部に相当する。ここで、階を特定することができたと判定すると（ステップＳ３８３のＹ）、送信機１００は、上述のステップＳ３８６の処理を実行する。一方、階を特定することができないと判定すると（ステップＳ３８３のＮ）、送信機１００は、さらに、その階表示部をカメラで撮像し、その撮像によって得られた画像から、エレベータが現在位置する階を認識することができるか否かを判定する（ステップＳ３８４）。
ここで、送信機１００は、その階を認識することができたと判定すると（ステップＳ３８４のＹ）、上述のステップＳ３８６の処理を実行する。一方、送信機１００は、階を認識することができないと判定すると（ステップＳ３８４のＮ）、予め定められた可視光信号を送信する（ステップＳ３８５）。
図２２１は、受信機２００によるナビゲーションの他の例を示すフローチャートである。図２２１に示す例では、送信機１００は、エレベータに設置されている照明装置である。
受信機２００は、まず、受信機２００の現在位置がエスカレータ上にあるか否かを判定する（ステップＳ３９１）。なお、エスカレータは、スロープ状のエスカレータであっても、水平状のエスカレータであってもよい。
ここで、エスカレータ上にあると判定すると（ステップＳ３９１のＹ）、受信機２００は、受信機２００の動きを推定する（ステップＳ３９２）。この動きは、エスカレータ以外の固定された床または壁などを基準とする受信機２００の動きである。つまり、受信機２００は、まず、エスカレータの動きの方向と速度とをサーバから取得する。そして、受信機２００は、ＳＬＡＭ（Simultaneous Localization and Mapping）などのフレーム間画像処理によって認識された、エスカレータ上での受信機２００の動きに、そのエスカレータの動きを足し合わせることによって、受信機２００の動きを推定する。
一方、受信機２００は、エスカレータ上にないと判定すると（ステップＳ３９１のＮ）、受信機２００の現在位置がエレベータ内にあるか否かを判定する（ステップＳ３９３）。ここで、受信機２００は、エレベータ内にないと判定すると（ステップＳ３９３のＮ）、処理を終了する。一方、受信機２００は、エレベータ内にあると判定すると（ステップＳ３９３のＹ）、エレベータ（具体的には、エレベータの籠）が現在位置する階を、可視光信号、電波信号または他の手段によって特定することができるか否かを判定する（ステップＳ３９４）。
ここで、階を特定することができないと判定すると（ステップＳ３９４のＮ）、受信機２００は、ユーザがエレベータから降りる予定の階を表示する（ステップＳ３９５）。さらに、受信機２００は、ユーザがエレベータから降りることによって受信機２００がエレベータから出たか否かを認識するとともに、可視光信号、電波信号またはその他の手段によって、受信機２００が現在位置する階を認識する。そして、受信機２００は、その認識された階が予定されていた階と異なっていれば、ユーザが降りた階が間違っていることをユーザに通知する（ステップＳ３９６）。
また、受信機２００は、エレベータが現在位置する階を特定することができたとステップＳ３９４で判定すると（ステップＳ３９４のＹ）、ユーザがエレベータから降りる予定の階、つまり、目的の階に受信機２００があるか否かを判定する（ステップＳ３９７）。ここで、受信機２００が目的の階にあると判定すると（ステップＳ３９７のＹ）、受信機２００は、ユーザに降りることを促すメッセージなどを表示する（ステップＳ３９９）。または、受信機２００は、その目的の階に関する広告を表示する。また、受信機２００は、ユーザが降りようとしない場合には、警告のメッセージを表示してもよい。
一方、受信機２００は、受信機２００が目的の階にないと判定すると（ステップＳ３９７のＮ）、ユーザに降りないように注意を促すメッセージなどを表示する（ステップＳ３９８）。または、受信機２００は、広告を表示してもよい。また、受信機２００は、ユーザが降りようとする場合には、警告のメッセージを表示してもよい。
図２２２は、受信機２００による処理の一例を示すフローチャートである。
図２２２に示すフローチャートでは、受信機２００は、可視光信号と通常露光画像情報（すなわち通常撮影画像）とを併用する。
例えばスマートフォンまたはスマートグラスなどのウェアラブル機器として構成される受信機２００は、通常の露光時間より短い露光時間での撮像によって画像Ａ（すなわち上述の復号用画像）を取得する（ステップＳ６３１）。そして、受信機２００は、その画像Ａを復号することによって、可視光信号を受信する（ステップＳ６３２）。受信機２００は、受信した可視光信号に基づき、一例として受信機２００の現在位置を特定して、所定の位置までのナビゲーションを開始する。
受信機２００は、次に、上述の短い露光時間より長い露光時間（例えば、自動露光設定による露光時間）での撮像によって画像Ｂ（すなわち上述の通常撮影画像）を取得する（ステップＳ６３３）。ここで、画像Ａは、物体検出または特徴量抽出には不適である。したがって、受信機２００は、上述の短い露光時間での撮像による画像Ａの取得と、上述の長い露光時間での撮像による画像Ｂの取得とを交互に所定の回数ずつ繰り返し行う。これにより、受信機２００は、その得られた複数の画像Ｂを用いて上述の物体検出または特徴量抽出などの画像処理を行う（ステップＳ６３４）。例えば、受信機２００は、画像Ｂから特定の物体を検出することで、受信機２００の位置を補正する。また、例えば、受信機２００は、２枚または複数の画像Ｂのそれぞれから特徴点を抽出し、画像間で同じ特徴点がどのように移動したかを識別する。その結果、受信機２００は、２枚または複数の画像Ｂのそれぞれの撮像時点の間での、受信機２００の移動の距離と方向を認識し、受信機２００の現在位置を補正することができる。
図２２３は、受信機２００のディスプレイに表示される画面の一例を示す図である。
受信機２００は、ナビゲーションのアプリケーションを起動したときには、例えば図２２３に示すように、送信機１００のロゴマークを表示する。そのロゴマークは、例えば、「ＡＲナビ」と記載されたロゴマークである。そして、受信機２００は、そのロゴマークを撮像するように、ユーザを誘導してもよい。送信機１００は、例えばデジタルサイネージとして構成され、可視光信号を送信するために、そのロゴマークを輝度変化させながら表示している。または、送信機１００は、例えばプロジェクタとして構成され、可視光を送信するために、上述のロゴマークを輝度変化させながら床または壁に投影している。受信機２００は、そのロゴマークを可視光通信モードで撮像することによって、送信機１００からの可視光信号を受信する。なお、受信機２００は、ロゴマークの代わりに、送信機１００として構成されている近くの照明装置またはランドマークの絵を表示してもよい。
また、受信機２００は、ユーザが何かに困ったときのためのコールセンターの電話番号を表示してもよい。このとき、受信機２００は、ユーザの使用言語と、推定されている自己位置とを、コールセンターのサーバに通知してもよい。ユーザの使用言語は、例えば受信機２００に予め登録されてもよく、ユーザによる操作によって設定されてもよい。これにより、コールセンターは、受信機２００のユーザから電話がかかってきたときに、そのユーザに迅速に対応することができる。例えば、コールセンターは、電話でユーザを目的地まで案内することができる。
また、受信機２００は、予め登録されているランドマークの形態と、そのランドマークの大きさと、そのランドマークの地図上での位置とに基づいて、自己位置を補正してもよい。つまり、受信機２００は、通常撮影画像が取得されると、その通常撮影画像からランドマークが映し出されている画像領域を検出する。そして、受信機２００は、その通常撮影画像における画像領域の形状、大きさおよび位置と、ランドマークの大きさおよび地図上の位置とに基づいて、自己位置推定を行う。
また、受信機２００は、インカメラを使って天井または後ろにあるランドマークを認識または検出してもよい。また、受信機２００は、カメラによる撮像によって得られる画像のうち、例えば水平方向に対して所定の角度以上（または所定の角度以下）の領域のみを使用してもよい。例えば、送信機１００またはランドマークが天井側に配置されることが多ければ、受信機２００は、そのカメラの画像のうち、水平方向よりも上側にある被写体が映し出されている領域のみを用いる。受信機２００は、その領域のみから、輝線パターン領域またはランドマークの画像領域の検出を行う。これにより、受信機２００の処理量を削減することができる。
また、受信機２００は、図２１２の例に示すように、ＡＲナビゲーションを行うときには、方向指示画像４３１を通常撮影画像に重畳するが、さらに、キャラクターを重畳してもよい。
図２２４は、受信機２００によるキャラクターの表示例を示す図である。
受信機２００は、例えばデジタルサイネージとして構成されている送信機１００から可視光信号を受信すると、その可視光信号に対応するキャラクター４３２を上述のＡＲ画像として例えばサーバから取得する。そして、受信機２００は、図２２４に示すように、方向指示画像４３１だけでなく、そのキャラクター４３２も通常撮影画像に重畳して表示する。例えば、そのキャラクター４３２は、飲料水の製造販売会社の広告用のキャラクターであって、その飲料水が封入された缶の画像として表示される。また、そのキャラクター４３２は、ユーザの目的地までの経路において販売されている飲料水の広告用のキャラクターである。このようなキャラクター４３２は、方向指示画像４３１によって指し示される方向または位置にあって、ユーザを先導するように表示されてもよい。このようなキャラクターによる広告は、アフィリエイトによって実現されてもよい。
また、キャラクターは、動物または人の形をしていてもよい。この場合、受信機２００は、方向指示画像の上を歩くようなキャラクターを通常撮影画像に重畳してもよい。また、複数のキャラクターが通常撮影画像に重畳されてもよい。さらに、受信機２００は、キャラクターの代わりに、または、キャラクターとともに、広告用の動画像をコマーシャルとして通常撮影画像に重畳してもよい。
また、受信機２００は、会社の広告のために支払われた広告料金によって、広告用のキャラクターの大きさおよび表示時間などを変えてもよい。また、複数の広告用のキャラクターが表示される場合には、受信機２００は、キャラクターごとに支払われた広告料金に応じて、それらのキャラクターの奥行き方向の表示順序を決定してもよい。また、受信機２００は、表示されているキャラクターの商品が販売されている店舗に入ったときに、その店舗に対する課金を電子決済で行ってもよい。
また、受信機２００は、そのキャラクター４３２を表示しているときに、他のデジタルサイネージから他の可視光信号を受信した場合には、表示されているキャラクター４３２を、他の可視光信号に応じたキャラクターに変更してもよい。
受信機２００は、会社のコマーシャルとなる動画像を通常撮影画像に重畳してもよい。コマーシャルの動画像または広告の表示時間および回数などに応じて、広告主に対して課金が行われてもよい。受信機２００は、コマーシャルの言語として、ユーザの言語を表示してもよく、ユーザがそのコマーシャルの商品の購入意思を店の人に伝えるための文章または音声リンクを、その店舗の人の言語で表示してもよい。また、受信機２００は、その商品の値段をユーザの通貨で表示してもよい。
図２２５は、受信機２００のディスプレイに表示される画面の他の例を示す図である。
受信機２００は、例えば図２２５の（ａ）に示すように、店名「ＸＹＺ」の本屋が前方にあることを通知するためのメッセージを、ユーザの使用言語である英語で表示する。このようなメッセージは、上述のように動画のコマーシャルとして表示されてもよい。そして、受信機２００は、その本屋に入ると、例えば図２２５の（ｂ）に示すように、その本屋の店員に伝えるための文章を、その店員の言語（例えば日本語）と、ユーザの使用言語である英語とで表示してもよい。
また、受信機２００は、ナビゲーションの途中でユーザに寄り道を促してもよい。この場合、受信機２００は、余裕時間に応じて寄り道を提案してもよい。余裕時間は、図２１２の例では、バス停からのバスの発車時刻と、ユーザがそのバス停に到着する時刻との差分である。
また、受信機２００は、近くの店の宣伝を表示してもよい。この場合、受信機２００は、すぐ横の店か、これから通る道沿いの店の宣伝を表示してもよい。また、受信機２００は、コマーシャルの動画像の再生終了時に、そのコマーシャルに対応する店の横に受信機２００が存在するように、動画像の再生開始のタイミングを計算してもよい。また、受信機２００は、通り過ぎた店の宣伝表示を停止してもよい。
さらに、ユーザが店などに寄り道した場合に、受信機２００が元の目的地への案内に戻れるように、店には、起点を得るための送信機１００である照明装置などが設置されていてもよい。または、受信機２００は、「ＸＹＺ店の前から再開する」と記されたボタンを表示してもよい。また、受信機２００は、コマーシャルを見て来店した人だけに割引価格を適用してもよく、クーポンを表示してもよい。また、受信機２００は、商品購入の支払いを行うために、アプリケーションによってバーコードを表示して電子決済してもよい。
また、サーバは、各ユーザの受信機２００によるナビゲーションの結果に基づいて、動線分析を行ってもよい。
また、受信機２００は、ナビゲーションにおいてカメラが使用されない場合には、自己位置推定の手法を、加速度センサなどによるＰＤＲ（Pedestrian Dead Reckoning）に切り替えてもよい。例えば、ナビゲーションのアプリケーションがオフにされた場合、または、受信機２００がユーザのポケットなどに入って、カメラによって得られる画像が真っ暗になる場合に、自己位置推定の手法がＰＤＲに切り替えられる。また、受信機２００は、電波（Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ−Ｆｉ）または音波を自己位置推定に利用してもよい。
また、受信機２００は、ユーザが間違った方向に行こうとすると、バイブレーションまたは音でそのことを通知してもよい。例えば、受信機２００は、交差点においてユーザが正しい方向に行こうとする場合と、間違った方向に行こうとする場合とで、バイブレーションまたは音の種類を異ならせてもよい。なお、受信機２００は、移動することなく、間違った方向に向けられたとき、または正しい方向に向けられたときに、上述のバイブレーションまたは音による通知を行ってもよい。これにより、視覚障害者にも使い勝手を向上することができる。なお、正しい方向とは、探索された経路に沿って目的地に向かう方向っであり、間違った方向とは、その正しい方向以外の方向である。
また、受信機２００は、上述の例ではスマートフォンとして構成されているが、スマートウォッチまたはスマートグラスとして構成されていてもよい。受信機２００がスマートグラスとして構成されている場合には、受信機２００によるカメラを用いたナビゲーションが、そのナビゲーションと関連していないアプリケーションによって中断されることを抑制することができる。
また、受信機２００は、ナビゲーションを開始してから一定時間が経過するとそのナビゲーションを終了させてもよい。その一定時間は、目的地までの距離に応じて変更されてもよい。あるいは、受信機２００は、ＧＰＳのデータが届く場所に入ると、ナビゲーションを終了してもよい。または、受信機２００は、ＧＰＳの場所が一定距離離れたらナビゲーションを終了してもよい。また、受信機２００は、到着予定時刻または到着までの残りの距離を表示してもよい。さらに、受信機２００は、図２１２の例では、目的地であるバス停においてバスが発車する時刻を表示してもよい。
また、受信機２００は、階段または交差点などの位置では、ユーザに注意喚起を行ってもよく、ユーザの希望または健康状態などに応じて、階段ではなくエレベータなどに案内してもよい。例えば、受信機２００は、ユーザが高齢（例えば８０代の年齢）であれば、階段を避けてエレベータに案内してもよい。また、受信機２００は、ユーザが大きな荷物を持っていると判定すると、階段を避けてエレベータに案内してもよい。例えば、受信機２００は、加速度センサからの出力に基づいて、ユーザの歩行速度が普段の速度よりも遅いか否かを判定し、遅い場合に、大きな荷物を持っていると判定してもよい。あるいは、受信機２００は、加速度センサからの出力に基づいて、ユーザの歩幅が普段の歩幅よりも短いか否かを判定し、短い場合に、大きな荷物を持っていると判定してもよい。さらに、受信機２００は、ユーザが女性であれば、安全なコースに案内してもよい。なお、安全なコースは、地図データにおいて示されている。
また、受信機２００は、カメラによる撮像によって得られる画像に基づいて、受信機２００の周囲の人または車などの障害物を認識してもよい。そして、受信機２００は、ユーザがその障害物に衝突しそうな場合には、ユーザに対してその障害物を回避するように促してもよい。例えば、受信機２００は、音を鳴らすことによって、ユーザに止まるように、または障害物を避けるように促してもよい。
また、受信機２００は、ナビゲーションを行うときには、過去の他のユーザの移動時間から、到着予想時刻を修正してもよい。このとき、受信機２００は、ユーザの年齢および性別に基づいて修正してもよい。例えば、受信機２００は、ユーザが２０代の年齢であれば、到着予想時刻を前に修正し、ユーザが８０代の年齢であれば、到着予想時刻を後に修正する。
また、受信機２００は、ナビゲーションの開始時に同じ送信機１００であるデジタルサイネージを撮像した場合でも、ユーザによって目的地を異ならせてもよい。例えば、受信機２００は、ユーザの性別に応じて目的地となるトイレの位置を異ならせてもよく、ユーザの国籍などに応じて目的地となる入国または帰国のカウンターを異ならせてもよい。あるいは、受信機２００は、ユーザのチケットに応じて目的地となる電車または飛行機の乗り場を異ならせてもよい。また、受信機２００は、ユーザのチケットに応じて目的地となるショーの座席を異ならせてもよい。また、受信機２００は、ユーザの宗派に応じて目的地となるお祈りスペースを異ならせてもよい。
また、受信機２００は、ナビゲーションを開始するときには、いきなりナビゲーションを開始することなく、「ＸＹＺへの案内を始めますか？ Ｙｅｓ／Ｎｏ」のようなダイアログを表示してもよい。また、受信機２００は、案内先がどこか（登場ゲート、ラウンジ、または店舗など）をユーザに問い合わせてもよい。
また、受信機２００は、ナビゲーションを行っているときには、他のアプリケーションによる通知または着信を抑制してもよい。これにより、ナビゲーションが中断されることを抑えることができる。
また、受信機２００は、目的地として待ち合わせ場所にユーザを案内してもよい。
図２２６は、待ち合わせ場所へのナビゲーションを行うためのシステム構成を示す図である。
例えば、受信機２００ａを有するユーザと、受信機２００ｂを有するユーザとが待ち合わせ場所に集合する。なお、受信機２００ａおよび受信機２００ｂのそれぞれは、上述の受信機２００の機能を有する。
上述のような待ち合わせが行われる場合、受信機２００ａは、図２２６の（ａ）に示すように、自己位置推定によって得られた位置と、受信機２００ａの番号と、待ち合わせの相手（すなわち受信機２００ｂ）の番号とをサーバ３００に送信する。なお、番号は、電話番号であってもよく、受信機を識別し得るものであればどのような識別番号であってもよい。また、番号以外の情報であってもよい。
サーバ３００は、受信機２００ａからの上記各情報を受信すると、図２２６の（ｂ）に示すように、受信機２００ｂに対して、受信機２００ａの位置と番号とを送信する。そして、サーバ３００は、受信機２００ａからの待ち合わせの招待を受け入れるか否かを受信機２００ｂに問い合わせる。ここで、受信機２００ｂのユーザは、受信機２００ｂを操作することによって、その招待を受け入れる。つまり、受信機２００ｂは、図２２６の（ｃ）に示すように、その待ち合わせを了承することをサーバ３００に伝える。そして、受信機２００ｂは、図２２６の（ｄ）に示すように、自己位置推定によって得られた受信機２００ｂの位置をサーバ３００に通知する。
その結果、サーバ３００は、受信機２００ａおよび受信機２００ｂのそれぞれの位置を特定する。そして、サーバ３００は、それぞれの位置の中間地点を待ち合わせ場所（すなわち目的地）に設定し、受信機２００ａおよび受信機２００ｂに対して、その待ち合わせ場所までの経路を通知する。これにより、受信機２００ａおよび受信機２００ｂのそれぞれで待ち合わせ場所までのＡＲナビゲーションが実行される。なお、上述の例では、受信機２００ａおよび受信機２００ｂのそれぞれの位置の中間地点が、目的地として設定されるが、他の場所が目的地に設定されてもよい。例えば、それぞれランドマークが設置されている複数の場所のうち、移動時間が最短となる場所が目的地に設定されてもよい。なお、移動時間は、受信機２００ａおよび受信機２００ｂがその場所に到達するまでの予想時間である。
これにより、待ち合わせをスムーズに行うことができる。
ここで、受信機２００ａは、目的地付近に到着すると、受信機２００ｂを有するユーザを識別するための画像を通常撮影画像に重畳してもよい。
図２２７は、受信機２００ａのディスプレイに表示される画面の一例を示す図である。
例えば、サーバ３００は、受信機２００ｂの位置を受信機２００ａに定期的に送信している。この受信機２００ｂの位置は、受信機２００ｂによる自己位置推定によって得られる位置である。したがって、受信機２００ａは、受信機２００ｂの地図上での位置を把握している。そこで、受信機２００ａは、通常撮影画像において、受信機２００ｂの位置が映し出されている場合には、図２２７に示すように、その位置を指し示す矢印４３３を通常撮影画像に重畳してもよい。なお、受信機２００ｂも、受信機２００ａと同様、受信機２００ａの位置を指し示す矢印を通常撮影画像に重畳してもよい。
これにより、待ち合わせ場所に人が多くいる場合であっても、待ち合わせ相手を容易に見つけ出すことができる。
なお、上述の例では、矢印４３３などのインジケータは、待ち合わせに用いられるが、待ち合わせ以外にも用いられてもよい。受信機２００ｂのユーザは、待ち合わせに関わらず、行き先など何かに困っている場合には、受信機２００ｂを操作することによって、そのことをサーバ３００に通知してもよい。この場合、サーバ３００は、コールセンターの係員が有する受信機２００ａのディスプレイに、図２２７の例に示す画像を表示させてもよい。このとき、サーバ３００は、矢印４３３の代わりにクエスチョンマークを表示させてもよい。これにより、そのコールセンターの係員は、受信機２００ｂのユーザが困っていることを容易に確認することができる。
また、受信機２００は、コンサートホールの内部を案内してもよい。
図２２８は、コンサートホールの内部を示す図である。
受信機２００は、例えば図２２８に示すコンサートホールの内部の地図と、そのコンサートホールの入口から座席までの経路４３４とを、サーバから取得してもよい。例えば、受信機２００は、その入口に配置された送信機１００から可視光信号を受信することによって自己位置を推定し、その経路４３４に沿ってユーザを、そのユーザの座席まで案内する。ここで、コンサートホールの内部に階段があれば、受信機２００は、加速度センサなどの出力に基づいて、ユーザが階段を何段登ったか、または、何段降りたかを特定し、その特定された段数に基づいて自己位置を更新してもよい。
また、受信機２００は、上述の例では、可視光信号を受信していない場合には、特徴点の動きに基づいて自己位置推定を行ったが、通常撮影画像から特徴点を検出することができなくなった場合には、加速度センサからの出力を用いてもよい。具体的には、受信機２００は、通常撮影画像から特徴点を検出することができるときに、上述のように移動距離を推定し、その移動距離と、移動中の加速度センサからの出力データとの関係を学習する。この学習には、例えばＤＮＮ（Deep Neural Network）などの機械学習が用いられてもよい。そして、受信機２００は、特徴点の検出が不可能になったときに、その学習結果と、移動中の加速度センサからの出力データとを用いて、移動距離を導出する。または、受信機２００は、特徴点の検出が不可能になったときには、直前の移動速度で等速に受信機２００が移動していると仮定し、その仮定に基づいて移動距離を導出してもよい。
［第１の態様］
通信方法では、端末の傾きが地面に平行な面に対して所定の角度よりも大きいか否か判断し、所定の角度よりも小さいと判断し、かつ、アウトカメラで輝度変化する被写体を撮像する場合、前記アウトカメラのイメージセンサの露光時間を第１の露光時間に設定し、前記イメージセンサを用いて前記第１の露光時間で前記被写体を撮像することで、復号用画像を取得し、前記復号用画像から前記被写体が送信する第１の信号を復号できる場合には、前記復号用画像から前記第１の信号を復号し、前記第１の信号により特定される位置を取得し、前記復号用画像から前記被写体が送信する信号を復号できない場合には、前記端末に保存されており、複数の送信機の位置を含む地図情報と、端末の位置とを用いて、前記端末の位置から所定の範囲にある送信機に関連する位置を特定する。
図２２９は、本発明の第１の態様における通信方法の一例を示すフローチャートである。
まず、受信機２００である端末は、端末の傾きが地面に平行な面に対して所定の角度よりも大きいか否か判断する（ステップＳＧ２１）。なお、地面に平行な面は、例えば水平面であってもよい。具体的には、端末は、加速度センサからの出力データを用いて端末の傾きを検出することによって、その傾きが大きいか否かを判断する。この傾きは、端末の前面または背面の傾きである。
ここで、端末は、その傾きが所定の角度よりも大きいと判断し、かつ、アウトカメラで輝度変化する被写体を撮像する場合（ステップＳＧ２１のＹｅｓ）、アウトカメラのイメージセンサの露光時間を第１の露光時間に設定する（ステップＳＧ２２）。そして、端末は、そのイメージセンサを用いて第１の露光時間で被写体を撮像することで、復号用画像を取得する（ステップＳＧ２３）。
ここで取得される復号用画像は、端末の傾きが地面に平行な面に対して所定の角度よりも大きいときに得られた画像であるため、地面側にある被写体への撮像によって得られる画像ではない。したがって、その復号用画像の撮像では、天井側に配置されている照明装置、または、壁面に設置されているデジタルサイネージなどの、可視光信号を送信可能な送信機１００が、被写体として撮像されている可能性が高い。言い換えれば、復号用画像の撮像では、送信機１００からの反射光が被写体として撮像されている可能性が低い。したがって、送信機１００が被写体として撮像されている可能性が高い復号用画像を適切に取得することができる。つまり、図２１４および図２１５のステップＳ３５３に示すように、床または壁からの反射光を撮像しているのか、送信機１００からの直接光を撮像しているのかを、適切に判定することができる。
次に、端末は、復号用画像から被写体が送信する第１の信号を復号できるか否かを判定する（ステップＳＧ２４）。ここで、第１の信号を復号できる場合には（ステップＳＧ２４のＹｅｓ）、端末は、復号用画像から第１の信号を復号し（ステップＳＧ２５）、第１の信号により特定される位置を取得する（ステップＳＧ２６）。一方、復号用画像から被写体が送信する信号を復号できない場合には（ステップＳＧ２４のＮｏ）、端末は、その端末に保存されており、複数の送信機の位置を含む地図情報と、端末の位置とを用いて、その端末の位置から所定の範囲にある送信機に関連する位置を特定する（ステップＳＧ２７）。
これにより、図２１３のステップＳ３４４〜Ｓ３４８に示すように、例えば可視光信号である第１の信号を受信することができても、受信することができなくても、被写体となる送信機の位置を特定することができる。その結果、端末の現在の自己位置を適切に推定することができる。
［第２の態様］
第２の態様の通信方法では、前記第１の通信方法において、前記第１の露光時間は、前記イメージセンサに含まれる複数の露光ラインに対応する輝線が前記復号用画像に現れるように設定される。
これにより、復号用画像から第１の信号を適切に復号することができる。
［第３の態様］
第３の態様の通信方法では、前記第１の態様の通信方法において、前記被写体は、輝度変化により信号を送信する第１の送信機からの光が床面で反射した反射光である。
これにより、反射光の撮像によって復号用画像が得られ、その復号用画像から第１の信号を復号することできない場合であっても、第１の送信機の位置を特定することができる。
［第４の態様］
第４の態様の通信方法では、前記第１の態様の通信方法において、前記アウトカメラのイメージセンサの露光時間を、前記第１の露光時間よりも長い第２の露光時間に設定し、前記第２の露光時間で撮像することで、複数の通常画像を取得し、前記複数の通常画像から複数の空間特徴量を算出し、前記複数の空間特徴量を用いて、前記端末の位置を算出する。
なお、通常画像は、上述の通常撮影画像である。
これにより、図２１２の（ｃ）および（ｄ）に示すように、ＧＰＳのデータが届かないような地下街に端末があっても、複数の通常画像から、その端末の現在の自己位置を適切に推定することができる。なお、空間特徴量は、特徴点であってもよい。
［第５の態様］
第５の態様の通信方法では、前記第４の態様の通信方法において、前記第１の露光時間で第２の送信機を撮像することで、復号用画像を取得し、前記復号用画像から前記第２の送信機が送信する第２の信号を復号し、前記第２の信号により特定される位置を取得し、前記第２の信号により特定される位置を前記地図情報における移動開始位置とし、前記複数の空間特徴量を用いて、前記端末の移動量を算出することで、前記端末の位置を特定する。
これにより、図２１２の（ａ）に示すように移動開始位置である起点からの移動量に基づいて端末の位置が特定されるため、より正確な自己位置推定を行うことができる。
本発明の通信方法は、多様な機器間の通信を行うことができるという効果を奏し、例えば、スマートフォン、グラスまたはタブレットなどの表示装置等に利用できる。
Ｇ２０ 通信装置
Ｇ２１ 判断部
Ｇ２２ 第１の取得部
Ｇ２３ 第２の取得部

Claims (20)

  1. イメージセンサを備えた端末を用いた通信方法であって、
    前記端末が可視光通信を行うことが可能か否かを判断し、
    前記端末が可視光通信を行うことが可能と判断した場合に、前記イメージセンサにより、輝度変化する被写体を撮像することにより、復号用画像を取得し、前記復号用画像に現れる縞模様から、前記被写体が送信する第１の識別情報を取得し、
    前記可視光通信の判断において、前記端末が可視光通信を行うことが可能でないと判断した場合に、前記イメージセンサにより、前記被写体を撮像することによって撮像画像を取得し、前記撮像画像のエッジ検出を行うことで、少なくとも１つの輪郭を抽出し、前記少なくとも１つの輪郭の中から、所定の特定領域を特定し、前記特定領域のラインパターンから前記被写体が送信する第２の識別情報を取得する、
    通信方法。
  2. 前記特定領域の特定では、
    所定の大きさ以上の四角形の輪郭を有する領域、または、所定の大きさ以上の角丸四角形の輪郭を有する領域を、前記特定領域として特定する、
    請求項１に記載の通信方法。
  3. 前記可視光通信の判断では、
    前記端末が露光時間を所定の値以下に変更することができる端末であると特定した場合に、可視光通信を行うことが可能であると判断し、
    前記端末が露光時間を前記所定の値以下に変更することができない端末であると特定した場合に、可視光通信を行うことが可能でないと判断する、
    請求項１に記載の通信方法。
  4. 前記可視光通信の判断において、前記端末が可視光通信を行うことが可能と判断した場合に、前記被写体を撮像するときには、前記イメージセンサの露光時間を第１の露光時間に設定し、前記第１の露光時間で前記被写体を撮像することで、前記復号用画像を取得し、
    前記可視光通信の判断において、前記端末が可視光通信を行うことが可能でないと判断した場合に、前記被写体を撮像するときには、前記イメージセンサの露光時間を第２の露光時間に設定し、前記第２の露光時間で前記被写体を撮像することで、前記撮像画像を取得し、
    前記第１の露光時間は、前記第２の露光時間よりも短い、
    請求項１から３のいずれか１項に記載の通信方法。
  5. 前記被写体は、前記イメージセンサから見て矩形形状であり、当該被写体の中心領域が輝度変化することにより、前記第１の識別情報を送信し、当該被写体の周縁にバーコード状のラインパターンが配置されており、
    前記可視光通信の判断において、前記端末が可視光通信を行うことが可能と判断した場合に、前記被写体を撮像するときには、前記イメージセンサの有する複数の露光ラインに対応する複数の輝線から構成される輝線パターンを含む前記復号用画像を取得し、前記輝線パターンを復号することによって前記第１の識別情報を取得し、
    前記可視光通信の判断において、前記端末が可視光通信を行うことが可能でないと判断した場合に、前記被写体を撮像するときには、前記撮像画像の前記ラインパターンから前記第２の識別情報を取得する、
    請求項４に記載の通信方法。
  6. 前記復号用画像から得られる前記第１の識別情報と、前記ラインパターンから得られる前記第２の識別情報は、同一の情報である、
    請求項５に記載の通信方法。
  7. 前記可視光通信の判断において、前記端末が可視光通信を行うことが可能と判断した場合に、前記第１の識別情報に関連付けられている第１の動画像を表示し、
    前記第１の動画像をスライドさせる操作を受け付けると、前記第１の動画像の次に前記第１の識別情報に関連付けられている第２の動画像を表示する、
    請求項１に記載の通信方法。
  8. 前記第２の動画像の表示では、
    前記第１の動画像を横方向にスライドさせる操作を受け付けると、前記第２の動画像を表示し、
    前記第１の動画像を縦方向にスライドさせる動作を受け付けると、前記第１の識別情報に関連付けられている静止画像を表示する
    請求項７に記載の通信方法。
  9. 前記第１の動画像および前記第２の動画像のそれぞれにおいて、最初に表示されるピクチャ内のオブジェクトは同一の位置にある
    請求項８に記載の通信方法。
  10. 前記イメージセンサによる撮像によって前記第１の識別情報を再び取得したときには、表示されている動画像の次に前記第１の識別情報に関連付けられている次の動画像を表示する、
    請求項７または８に記載の通信方法。
  11. 前記表示されている動画像および前記次の動画像のそれぞれにおいて、最初に表示されるピクチャ内のオブジェクトは同一の位置にある、
    請求項１０に記載の通信方法。
  12. 前記第１の動画像および前記第２の動画像のうちの少なくとも一方の動画像は、前記動画像内の位置が前記動画像の端に近いほど、当該位置における透明度が高くなるように形成されている、
    請求項１１に記載の通信方法。
  13. 前記第１の動画像および前記第２の動画像のうちの少なくとも一方の動画像が表示される領域の外に、画像を表示する
    請求項１２に記載の通信方法。
  14. 前記イメージセンサによる第１の露光時間による撮像によって、通常撮影画像を取得し、
    前記第１の露光時間よりも短い第２の露光時間による撮像によって、複数の輝線のパターンからなる領域である輝線パターン領域を含む前記復号用画像を取得し、前記復号用画像に対する復号によって前記第１の識別情報を取得し、
    前記第１の動画像または前記第２の動画像のうちの少なくとも一方の動画像の表示では、前記通常撮影画像から、前記復号用画像における前記輝線パターン領域と同一の位置にある基準領域を特定し、
    前記基準領域に基づいて、前記通常撮影画像において前記動画像が重畳される領域を対象領域として認識し、前記対象領域に前記動画像を重畳する
    請求項７に記載の通信方法。
  15. 前記第１の動画像または前記第２の動画像のうちの少なくとも一方の動画像の表示では、前記通常撮影画像における、前記基準領域の上、下、左または右の領域を前記対象領域として認識する、
    請求項１４に記載の通信方法。
  16. 前記第１の動画像または前記第２の動画像のうちの少なくとも一方の動画像の表示では、前記輝線パターン領域のサイズが大きいほど、前記動画像のサイズを大きくする、
    請求項１４に記載の通信方法。
  17. イメージセンサを備えた端末を用いた通信装置であって、
    前記端末が可視光通信を行うことが可能か否かを判断する判断部と、
    前記判断部において、前記端末が可視光通信を行うことが可能と判断された場合に、前記イメージセンサにより、輝度変化する被写体を撮像することにより、復号用画像を取得し、前記復号用画像に現れる縞模様から前記被写体が送信する第１の識別情報を取得する第１の取得部と、
    前記判断部において、前記端末が可視光通信を行うことが可能でないと判断された場合に、前記イメージセンサにより、前記被写体を撮像することによって撮像画像を取得し、前記撮像画像のエッジ検出を行うことで、少なくとも１つの輪郭を抽出し、前記少なくとも１つの輪郭の中から、所定の特定領域を特定し、前記特定領域のラインパターンから前記被写体が送信する第２の識別情報を取得する第２の取得部とを備える、
    通信装置。
  18. 照明板と、
    前記照明板の背面側から光を照射する光源と、
    前記光源の輝度を変化させるマイクロコントローラと、を備え、
    前記マイクロコントローラは、前記光源を輝度変化させることにより、前記光源から前記照明板を介して第１の識別情報を送信し、
    前記照明板の前面側の周辺にバーコード状のラインパターンが配置されており、前記ラインパターンに第２の識別情報が符号化されており、
    前記第１の識別情報と、前記第２の識別情報は、同じ情報である、
    送信機。
  19. 前記照明板の形状は、矩形形状である、
    請求項１８に記載の送信機。
  20. イメージセンサを備えた端末を用いた通信方法を実行するためのプログラムであって、
    前記端末が可視光通信を行うことが可能か否かを判断し、
    前記端末が可視光通信を行うことが可能と判断した場合に、前記イメージセンサにより、輝度変化する被写体を撮像することにより、復号用画像を取得し、前記復号用画像に現れる縞模様から前記被写体が送信する第１の識別情報を取得し、
    前記可視光通信の判断において、前記端末が可視光通信を行うことが可能でないと判断した場合に、前記イメージセンサにより、前記被写体を撮像することによって撮像画像を取得し、前記撮像画像のエッジ検出を行うことで、少なくとも１つの輪郭を抽出し、前記少なくとも１つの輪郭の中から、所定の特定領域を特定し、前記特定領域のラインパターンから前記被写体が送信する第２の識別情報を取得する、
    ことをコンピュータに実行させるプログラム。
JP2019066361A 2019-03-29 2019-03-29 通信方法、通信装置、送信機、およびプログラム Pending JP2020167521A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019066361A JP2020167521A (ja) 2019-03-29 2019-03-29 通信方法、通信装置、送信機、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019066361A JP2020167521A (ja) 2019-03-29 2019-03-29 通信方法、通信装置、送信機、およびプログラム

Publications (1)

Publication Number Publication Date
JP2020167521A true JP2020167521A (ja) 2020-10-08

Family

ID=72716473

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019066361A Pending JP2020167521A (ja) 2019-03-29 2019-03-29 通信方法、通信装置、送信機、およびプログラム

Country Status (1)

Country Link
JP (1) JP2020167521A (ja)

Similar Documents

Publication Publication Date Title
US10951310B2 (en) Communication method, communication device, and transmitter
JP6876617B2 (ja) 表示方法および表示装置
JP6524132B2 (ja) 情報通信方法、情報通信装置およびプログラム
TWI736702B (zh) 資訊通訊方法、資訊通訊裝置及程式
CN110114988B (zh) 发送方法、发送装置及记录介质
JP6345697B2 (ja) 情報処理プログラム、受信プログラムおよび情報処理装置
US8963956B2 (en) Location based skins for mixed reality displays
JP6378511B2 (ja) 情報通信方法、情報通信装置およびプログラム
JP7287950B2 (ja) 通信方法、通信装置、およびプログラム
JP7134094B2 (ja) 送信方法、送信装置、およびプログラム
WO2014103156A1 (ja) 情報通信方法
JP5608307B1 (ja) 情報通信方法
JP2018032885A (ja) 情報処理プログラム、受信プログラムおよび情報処理装置
WO2018110373A1 (ja) 送信方法、送信装置、およびプログラム
JP2020167521A (ja) 通信方法、通信装置、送信機、およびプログラム
JP2018032884A (ja) 受信プログラムおよび受信装置