JP2015169952A - 通信システム、撮像装置、プログラムおよび通信方法 - Google Patents

Abstract

【課題】コード画像を介してより多くのデータの通信を行う。【解決手段】プロジェクター１は、データを記憶する記憶手段１１と、データを所定のサイズに分割する分割手段１２と、分割されたデータの各々と、当該データの順序を示す順序情報とをエンコードして複数のコード画像を生成するエンコード手段１３と、複数のコード画像を第１のフレームレートで表示する投写手段１４とを有する。タブレット端末２は、投写手段１４により表示された複数のコード画像を、第１のフレームレートよりも高い第２のフレームレートで順次撮像する撮像手段２１と、撮像画像からコード画像を抜き出してデコードするデコード手段２２と、デコード手段２２によりデコードされたデータを結合する結合手段２３とを有する。【選択図】図２

Description

本発明は、通信システム、撮像装置、プログラムおよび通信方法に関する。

電子機器の表示部に表示されたＱＲコード（登録商標）を他の電子機器が撮像して読み取る通信システムが知られている。特許文献１には、プロジェクターと情報端末との無線ＬＡＮ（Local Area Network）接続に、２次元コードを時系列に変化させた３次元コードを用いることが記載されている。

特開２００８−０７７３８０号公報

従来の２次元コードを介した通信では、通信できるデータの容量に上限があった。また、特許文献１には、プロジェクターが３次元コードを投写するときのフレームレートと、情報端末が３次元コードを撮像するときのフレームレートとの関係が記載されておらず、３次元コードを介してデータの通信を行うことはできなかった。本発明は、コード画像を介してより多くのデータの通信を行うことを目的の一つとする。

上述の課題を解決するため、本発明は、表示装置と撮像装置とを有し、前記表示装置は、データを記憶する記憶手段と、前記データを所定のサイズに分割する分割手段と、前記分割手段により分割されたデータの各々と、当該データの順序を示す順序情報とをエンコードして複数のコード画像を生成するエンコード手段と、前記エンコード手段により生成された複数のコード画像を、前記順序に従って第１のフレームレートで表示する表示手段とを有し、前記撮像装置は、前記表示手段により表示された複数のコード画像を、前記第１のフレームレートよりも高い第２のフレームレートで順次撮像する撮像手段と、前記撮像手段により撮像された撮像画像からコード画像を抜き出してデコードするデコード手段と、前記デコード手段によりデコードされたデータを、前記順序情報が示す順序に従って結合する結合手段とを有する通信システムを提供する。この通信システムによれば、単一のコード画像が表示される場合に比べて、コード画像を介して多くのデータの通信を行うことができる。

別の好ましい態様において、前記表示手段は、前記複数のコード画像を繰り返し表示し、前記撮像手段は、前記複数のコード画像のすべてを撮像するまで撮像を継続することを特徴とする。この通信システムによれば、複数のコード画像が撮像時に欠損することが防止される。

別の好ましい態様において、前記表示手段は、前記複数のコード画像のうち最初のコード画像が表示されるタイミングを示す情報を表示することを特徴とする。この通信システムによれば、複数のコード画像のうち最初のコード画像が表示されるタイミングを撮像装置が特定することができる。

別の好ましい態様において、前記表示装置は、前記複数のコード画像のうち最初のコード画像が表示されるタイミングを示す音を出す放音手段を有する。この通信システムによれば、複数のコード画像のうち最初のコード画像が表示されるタイミングを撮像装置が特定することができる。

別の好ましい態様において、前記表示手段は、前記順序を示す順序画像を、前記複数のコード画像のうちの少なくとも一のコード画像に並べて表示し、前記撮像装置は、前記撮像画像から抜き出した前記順序画像に基づいて、前記複数のコード画像のすべてが撮像されたか否かを判定する判定手段を有し、前記撮像手段は、前記判定手段により前記複数のコード画像のすべてが撮像されたと判定されるまで撮像を継続することを特徴とする。この通信システムによれば、撮像装置が、すべてのコード画像を撮像したか否かを、コード画像をデコードすることなく判定することができる。

別の好ましい態様において、前記デコード手段は、ある撮像画像についてデコードが成功した場合には、当該撮像画像よりも２フレーム以上後の撮像画像について、当該デコードの次にデコードすることを特徴とする。この通信システムによれば、複数のコード画像のすべてがデコードされる場合に比べて、デコードにかかる時間が短縮される。

また、本発明は、第１のフレームレートで順次表示され、データと当該データの順序を示す順序情報とを示す複数のコード画像を、前記第１のフレームレートよりも高い第２のフレームレートで順次撮像する撮像手段と、前記撮像手段により撮像された撮像画像からコード画像を抜き出してデコードするデコード手段と、前記デコード手段によりデコードされたデータを、前記順序情報が示す順序に従って結合する結合手段とを有する撮像装置を提供する。この撮像装置によれば、単一のコード画像が撮像される場合に比べて、コード画像を介して多くのデータの通信を行うことができる。

また、本発明は、第１のフレームレートで順次表示され、データと当該データの順序を示す順序情報とを示す複数のコード画像を、前記第１のフレームレートよりも高い第２のフレームレートで順次撮像するステップと、撮像された撮像画像からコード画像を抜き出してデコードするステップと、デコードされたデータを、前記順序情報が示す順序に従って結合するステップとを実行させるためのプログラムを提供する。このプログラムによれば、単一のコード画像が撮像される場合に比べて、コード画像を介して多くのデータの通信を行うことができる。

また、本発明は、データを所定のサイズに分割するステップと、分割されたデータの各々と、当該データの順序を示す順序情報とをエンコードして複数のコード画像を生成するステップと、前記複数のコード画像を、前記順序に従って第１のフレームレートで表示するステップと、表示された複数のコード画像を、前記第１のフレームレートよりも高い第２のフレームレートで順次撮像するステップと、撮像された撮像画像からコード画像を抜き出してデコードするステップと、デコードされたデータを、前記順序情報が示す順序に従って結合するステップとを有する通信方法を提供する。この通信方法によれば、単一のコード画像が表示される場合に比べて、コード画像を介して多くのデータの通信を行うことができる。

投写システムの全体構成を示す図。 投写システムの機能的構成を示すブロック図。 プロジェクターのハードウェア構成を示すブロック図。 タブレット端末のハードウェア構成を示すブロック図。 ＱＲコードを投写する処理を示すフローチャート。 ＱＲコードのデータフォーマットを例示する図。 投写画像の遷移を例示する図。 ＱＲコードを撮像する処理を示すフローチャート。 ＱＲコードをデコードする処理を示すフローチャート。 変形例２における投写画像の遷移を例示する図。

１．構成
図１は、本発明の一実施形態に係る投写システムＰＳの全体構成を示す図である。投写システムＰＳは、プロジェクター１、タブレット端末２、コントローラーＲ、およびスクリーンＳＣを有する。投写システムＰＳは、二次元コードを介して、プロジェクター１からタブレット端末２にデータを送信するためのシステムである。プロジェクター１は、データをエンコードして二次元コードを生成し、当該二次元コードを投写する表示装置である。図１の例で、プロジェクター１は、ＱＲコード（コード画像の一例）をスクリーンＳＣに投写している。タブレット端末２は、スクリーンＳＣに投写されたＱＲコードを撮像してデコードする撮像装置である。コントローラーＲは、赤外線通信等の無線でプロジェクター１を制御するための装置、いわゆるリモートコントローラーである。スクリーンＳＣは、プロジェクター１により投写される画像（以下、「投写画像」という）を映し出す面である。

二次元コードを介した通信において、１つの二次元コードで送信することができるデータの容量には上限がある。例えば、ＱＲコードにはコード中のセルの数に応じて複数のバージョン（バージョン１〜バージョン４０）が規格されており、バージョン４０のＱＲコードで送信できるデータの最大容量は、１つのＱＲコードにつき約３ｋＢｙｔｅ（正確には２９５３Ｂｙｔｅ）である。したがって、１つの二次元コードでは、最大容量を超えるデータを送信することができない。投写システムＰＳでは、プロジェクター１が複数のＱＲコードを順次投写し、タブレット端末２が当該複数のＱＲコードを読み取る（撮像してデコードする）ことにより、最大容量を超えるデータの通信を行う。

図２は、投写システムＰＳの機能的構成を示すブロック図である。プロジェクター１は、記憶手段１１と、分割手段１２と、エンコード手段１３と、投写手段１４と、放音手段１５とを有する。記憶手段１１は、通信の対象となるデータ（以下、「対象データ」という）を記憶する。分割手段１２は、対象データを所定のサイズに分割する。エンコード手段１３は、分割手段１２により分割されたデータ（以下、「分割データ」という）の各々と、当該分割データの順序を示す情報（以下、「順序情報」という）とをエンコードして複数のＱＲコードを生成する。投写手段１４（表示手段の一例）は、エンコード手段１３により生成された複数のＱＲコードを、分割データの順序に従って所定の間隔で投写する。以下では、投写手段１４が複数のＱＲコードを順次投写するときのフレームレートを、「フレームレートＦ１」と表現する。放音手段１５は、複数のＱＲコードのうち最初のＱＲコードが投写されるタイミングを示す音を出す。

タブレット端末２は、撮像手段２１と、デコード手段２２と、結合手段２３と、出力手段２４と、判定手段２５とを有する。撮像手段２１は、投写手段１４により投写された複数のＱＲコードを所定の間隔で順次撮像する。以下では、撮像手段２１が複数のＱＲコードを順次撮像するときのフレームレートを、「フレームレートＦ２」と表現する。フレームレートＦ２は、フレームレートＦ１よりも高いレートである。デコード手段２２は、撮像手段２１により撮像された画像（以下、「撮像画像」という）からＱＲコードを抜き出してデコードする。結合手段２３は、デコード手段２２によりデコードされた分割データを結合する。結合手段２３は、順序情報が示す順序に従って分割データを結合する。出力手段２４は、結合手段により結合されたデータ（すなわち対象データ）を出力する。判定手段２５は、複数のＱＲコードのすべてが撮像されたか否かを判定する。

図３は、プロジェクター１のハードウェア構成を示すブロック図である。プロジェクター１は、ＭＣＵ（Micro Control Unit）１００と、ＲＯＭ（Read Only Memory）１０１と、ＲＡＭ（Random Access Memory）１０２と、記憶部１０３と、ＩＦ（インターフェース）部１０４と、画像処理回路１０５と、投写ユニット１０６と、受光部１０７と、操作パネル１０８と、入力処理部１０９と、スピーカー１１０とを有する。ＭＣＵ１００は、プログラムを実行することによりプロジェクター１の各部を制御する制御装置である。ＲＯＭ１０１は、各種プログラムおよびデータを記憶した不揮発性の記憶装置である。ＲＯＭ１０１は、ＭＣＵ１００が実行するプログラムを記憶する。ＲＡＭ１０２は、データを記憶する揮発性の記憶装置である。ＲＡＭ１０２は、画像をフレーム毎に記憶するフレームメモリーを有する。記憶部１０３は、データおよびプログラムを記憶する記憶装置である。

ＩＦ部１０４は、映像ソースである電子機器などと通信を行う。ＩＦ部１０４は、外部装置と接続するための各種端子（例えば、ＶＧＡ端子、ＵＳＢ端子、有線ＬＡＮインターフェース、Ｓ端子、ＲＣＡ端子、ＨＤＭＩ（High-Definition Multimedia Interface：登録商標）端子など）および無線ＬＡＮインターフェースを備える。画像処理回路１０５は、映像ソースである電子機器から入力された映像信号により示される画像（以下、「入力画像」という）に所定の画像処理を施す。画像処理回路１０５は、画像処理後の入力画像をフレームメモリーに書き込む。

投写ユニット１０６は、光源１１６と、液晶パネル１２６と、光学系１３６と、光源駆動回路１４６と、パネル駆動回路１５６と、光学系駆動回路１６６とを有する。光源１１６は、高圧水銀ランプ、ハロゲンランプ、若しくはメタルハライドランプなどのランプ、またはＬＥＤ（Light Emitting Diode）若しくはレーザーダイオードなどの固体光源を有し、液晶パネル１２６に光を照射する。液晶パネル１２６は、光源１１６から照射された光を画像データに応じて変調する光変調器である。この例で、液晶パネル１２６は透過型の液晶パネルであり、各画素の透過率が画像データに応じて制御される。プロジェクター１は、ＲＧＢの三原色に対応した３枚の液晶パネル１２６を有する。光源１１６からの光はＲＧＢの３色の色光に分離され、各色光は対応する液晶パネル１２６に入射する。各液晶パネルを通過して変調された色光はクロスダイクロイックプリズム等によって合成され、光学系１３６に射出される。光学系１３６は、液晶パネル１２６により画像光へと変調された光を拡大してスクリーンＳＣに投写するレンズと、投写する画像の拡大・縮小および焦点の調整を行うズームレンズとを有する。光源駆動回路１４６は、ＭＣＵ１００の制御に従って光源１１６を駆動する。パネル駆動回路１５６は、画像処理回路１０５から出力された画像データに応じて液晶パネル１２６を駆動する。光学系駆動回路１６６は、ＭＣＵ１００の制御に従って光学系１３６を駆動し、ズームの度合いの調整およびフォーカスの調整を行う。

受光部１０７は、コントローラーＲから送信される赤外線信号を受光し、受光した赤外線信号をデコードして入力処理部１０９に出力する。操作パネル１０８は、プロジェクター１の電源のオン／オフまたは各種操作を行うためのボタンおよびスイッチを有する。入力処理部１０９は、コントローラーＲおよび操作パネル１０８による操作内容を示す情報を生成し、ＭＣＵ１００に出力する。スピーカー１１０は、ＭＣＵ１００から出力される電気信号に従って音を出力する。

プロジェクター１において、プログラムを実行しているＭＣＵ１００は、分割手段１２およびエンコード手段１３の一例である。プログラムを実行しているＭＣＵ１００により制御された投写ユニット１０６は、投写手段１４の一例である。プログラムを実行しているＭＣＵ１００により制御されたスピーカー１１０は、放音手段１５の一例である。記憶部１０３は、記憶手段１１の一例である。

図４は、タブレット端末２のハードウェア構成を示すブロック図である。タブレット端末２は、ＣＰＵ（Central Processing Unit）２００と、ＲＯＭ２０１と、ＲＡＭ２０２と、ＩＦ部２０３と、タッチパネル２０４と、撮像部２０５と、記憶部２０６と、マイクロフォン２０７とを有する。ＣＰＵ２００は、プログラムを実行することによりタブレット端末２の各部を制御する制御装置である。ＲＯＭ２０１は、各種のプログラムおよびデータを記憶した不揮発性の記憶装置である。ＲＡＭ２０２は、データを記憶する揮発性の記憶装置である。ＩＦ部２０３は、外部装置と通信を行うための各種端子および無線ＬＡＮインターフェースを備える。タッチパネル２０４は、液晶ディスプレイなどの表示面上に座標を感知するパネルが重ねて設けられた入力装置である。タッチパネル２０４には、例えば、光学式、抵抗膜方式、静電容量式、または超音波式のタッチパネルが用いられる。撮像部２０５は、被写体を撮像し、画像データを生成するデジタルカメラであり、レンズ、ＣＣＤ(Charge Coupled Device)イメージセンサー、および信号処理回路（いずれも図示せず）を有する。記憶部２０６は、データおよびプログラムを記憶する記憶装置である。マイクロフォン２０７は、音声を電子信号に変換してＣＰＵ２００に出力する。

タブレット端末２において、プログラムを実行しているＣＰＵ２００により制御された撮像部２０５は撮像手段２１の一例である。プログラムを実行しているＣＰＵ２００は、デコード手段２２、結合手段２３、および判定手段２５の一例である。プログラムを実行しているＣＰＵ２００により制御されたタッチパネル２０４は、出力手段２４の一例である。

２．動作
図５は、プロジェクター１が複数のＱＲコードを順次投写する処理を示すフローチャートである。この例で、対象データは、動画を示す動画データである。動画データは、予め記憶部１０３に記憶されている。以下の処理は、プロジェクター１に対して、ＱＲコードを投写させるための指示（以下、「ＱＲコード投写指示」という）が入力されたことを契機として開始される。ＱＲコード投写指示は、例えば、ユーザーがコントローラーＲまたは操作パネル１０８を操作することにより入力される。

ステップＳＡ１において、ＭＣＵ１００は、対象データを分割する。具体的には、ＭＣＵ１００は、記憶部１０３から対象データを読み出して分割する。分割データのサイズは、１つのＱＲコードで送信できるデータの最大容量以下のサイズになるように、生成されるＱＲコードのバージョンに応じて予め定められている。ＭＣＵ１００は、複数の分割データをＲＡＭ１０２に記憶する。ＭＣＵ１００は、また、ＲＡＭ１０２に記憶する分割データの各々に、順序情報を付加する。この例では、ＭＣＵ１００は、番号（以下、「フレーム番号」という）を順序情報として付加する。ＭＣＵ１００は、対象データの先頭に対応する分割データから昇順にフレーム番号を付加する。ＭＣＵ１００は、対象データのすべてを分割し終えると、分割データの総数（以下、「総フレーム数」という）をＲＡＭ１０２に記憶する。

ステップＳＡ２において、ＭＣＵ１００は、分割データの各々をエンコードして複数のＱＲコードを生成する。具体的には、ＭＣＵ１００は、ＲＡＭ１０２から分割データ、当該分割データに付加されたフレーム番号、および総フレーム数を、また、ＲＯＭ１０１からフレームレートＦ１を示す情報をそれぞれ読み出し、これらの情報をエンコードして所定のバージョンのＱＲコードを生成する。ＭＣＵ１００は、例えば、フレーム番号が小さい分割データから順にエンコードしてＱＲコードを生成し、当該ＱＲコードをＲＡＭ１０２に記憶する。ＭＣＵ１００は、ＲＡＭ１０２に記憶するＱＲコードの各々に、各ＱＲコードが示すフレーム番号と同じフレーム番号を別途付加する。

図６は、プロジェクター１により生成されるＱＲコードのデータフォーマットを例示する図である。図６は、バージョン４０（２９５３Ｂｙｔｅ）のＱＲコードＤがプロジェクター１により生成される場合の例を示している。ＱＲコードＤは、フレーム番号を示す２Ｂｙｔｅの領域Ａ１と、フレームレートＦ１を示す１Ｂｙｔｅの領域Ａ２と、総フレーム数を示す２Ｂｙｔｅの領域Ａ３と、分割データを示す２９４８Ｂｙｔｅの領域Ａ４とを有する。なお、ＱＲコードＤの各領域には、欠損によりＱＲコードＤの一部が読み取れない場合であっても、読み取り側の装置がエンコードされた情報を復元できるようにするための情報が含まれる。

再び図５を参照する。ステップＳＡ３において、ＭＣＵ１００は、すべての分割データがエンコードされたか否かを判断する。すべての分割データがエンコードされたか否かは、エンコードされていない分割データがＲＡＭ１０２に記憶されているか否かに応じて判断される。すべての分割データがエンコードされたと判断された場合（ＳＡ３：ＹＥＳ）、ＭＣＵ１００は、処理をステップＳＡ４に移行する。エンコードされていない分割データがあると判断された場合（ＳＡ３：ＮＯ）、ＭＣＵ１００は、処理をステップＳＡ２に移行し、引き続きＱＲコードを生成する。

ステップＳＡ４において、ＭＣＵ１００は、一連のＱＲコードの始期を示す画像、例えば白一色の画像（以下、「白画像」という）を投写する。白画像は、複数のＱＲコードのうち最初のＱＲコードが投写されるタイミングを、タブレット端末２に特定させるために表示される。具体的には、ＭＣＵ１００は、ＲＯＭ１０１から白画像を読み出して、当該白画像を所定の時間、スクリーンＳＣに投写する。ステップＳＡ５において、ＭＣＵ１００は、複数のＱＲコードをフレームレートＦ１で順次投写する。具体的には、ＭＣＵ１００は、ＲＡＭ１０２に記憶された複数のＱＲコードを、フレーム番号が小さいＱＲコードから順に読み出して順次投写する。ＭＣＵ１００は、例えば、２０ＦＰＳ（Frames Per Second）で複数のＱＲコードを投写する。ＭＣＵ１００は、すべてのＱＲコードを投写し終えると、処理をステップＳＡ４に移行し、白画像の投写およびＱＲコードの投写を繰り返す。

図７は、図５に示す処理が行われた場合における投写画像Ｉｍの遷移を例示する図である。図７において、投写画像Ｉｍｗは、白画像を表す。ＱＲコードＤ１、Ｄ２、Ｄ３、およびＤ１００は、それぞれ１フレーム目、２フレーム目、３フレーム目、および１００フレーム目のＱＲコードを表す。なお、図７では、説明の便宜上、各ＱＲコードＤのバージョンはバージョン５であり、各ＱＲコードＤには文字データがエンコードされている。図７の例で、プロジェクター１は、各ＱＲコードＤを２０ＦＰＳで５秒間（１００フレーム）投写している。例えば、各ＱＲコードＤのバージョンがバージョン４０である場合、１００フレーム分のＱＲコードは２９５．３ｋＢｙｔｅのデータを示す。プロジェクター１は、ＱＲコードＤ１００まで投写すると、再び投写画像Ｉｍｗを投写する。

図８は、タブレット端末２が複数のＱＲコードを順次撮像する処理を示すフローチャートである。以下の処理は、スクリーンＳＣに複数のＱＲコードが順次投写されている状態で、ユーザーが、タッチパネル２０４を操作して複数のＱＲコードを読み取るためのプログラムを起動することにより開始される。ユーザーは、スクリーンＳＣに投写されるＱＲコードが撮像部２０５により撮像されるように、タブレット端末２を構える。

ステップＳＢ１において、ＣＰＵ２００は、スクリーンに投写された複数のＱＲコードをフレームレートＦ２で順次撮像する。上述の通り、フレームレートＦ２は、フレームレートＦ１よりも高いレートである。投写された複数のＱＲコードのすべてを撮像するためには、フレームレートＦ２は、フレームレートＦ１の２倍以上のレートであることが望ましい。ＣＰＵ２００は、例えば、６０ＦＰＳでＱＲコードを撮像する。ＣＰＵ２００は、撮像画像を示す画像データをＲＡＭ２０２に記憶する。

ステップＳＢ２において、ＣＰＵ２００は、複数のＱＲコードのすべてが撮像されたか否かを判断する。具体的には、ＣＰＵ２００は、撮像画像の階調値のヒストグラムを解析することにより、撮像が行われている間に白画像が投写された回数（すなわち、ステップＳＡ４の処理が行われた回数）を特定する。ＣＰＵ２００は、白画像が投写された回数が２回以上であると特定された場合に、複数のＱＲコードのすべてが撮像されたと判断する。複数のＱＲコードのすべてが撮像されたと判断された場合（ＳＢ２：ＹＥＳ）、ＣＰＵ２００は、処理をステップＳＢ３に移行する。撮像されていないＱＲコードがあると判断された場合（ＳＢ２：ＮＯ）、ＣＰＵ２００は、処理をステップＳＢ１に移行し、引き続きＱＲコードを撮像する。

ステップＳＢ３において、ＣＰＵ２００は、ＱＲコードの撮像が終了したことを示すメッセージ（以下、「終了メッセージ」という）をタッチパネル２０４に表示する。終了メッセージは、記憶部２０６に記憶されている。終了メッセージには、例えば、「すべてのＱＲコードの撮像が完了しました」などのメッセージが含まれる。

図９は、タブレット端末２が複数のＱＲコードをデコードする処理を示すフローチャートである。以下の処理は、例えば、図８に示す処理が終了したことを契機として開始される。

ステップＳＣ１において、ＣＰＵ２００は、複数の撮像画像のうちデコードの対象となる画像（以下、「対象画像」という）からＱＲコードを抜き出して、当該ＱＲコードのデコードを開始する。対象画像は、後述するステップＳＣ６またはステップＳＣ１２の処理により特定される。ステップＳＣ１の処理が最初に行われる場合には、ＣＰＵ２００は、１フレーム目のＱＲコードが撮像された撮像画像を最初の対象画像として特定する。ＣＰＵ２００は、１フレーム目のＱＲコードが撮像された撮像画像を、白画像が撮像されたタイミングに基づいて特定する。具体的には、ＣＰＵ２００は、撮像画像の階調値のヒストグラムを解析することにより白画像が最初に撮像された撮像画像を特定し、当該撮像画像から所定のフレーム数後に撮像された撮像画像を１フレーム目のＱＲコートが撮像された撮像画像として特定する。

ステップＳＣ２において、ＣＰＵ２００は、ＱＲコードのデコードが成功したか否かを判断する。具体的には、デコードが開始されてから所定の時間内にデコードされた情報（すなわち、フレーム番号、フレームレートＦ１、総フレーム数、および分割データ）が得られた場合には、ＣＰＵ２００は、ＱＲコードのデコードが成功したと判断する。所定の時間内にデコードされた情報が得られない場合、またはデコード中にエラーが発生した場合には、ＣＰＵ２００は、ＱＲコードのデコードが成功していないと判断する。ＱＲコードのデコードが成功したと判断された場合（ＳＣ２：ＹＥＳ）、ＣＰＵ２００は、分割データをＲＡＭ２０２に記憶し、処理をステップＳＣ３に移行する。ＱＲコードのデコードが成功していないと判断された場合（ＳＣ２：ＮＯ）、ＣＰＵ２００は、処理をステップＳＣ８に移行する。

ステップＳＣ３において、ＣＰＵ２００は、フレームレートＦ１および総フレーム数がＲＡＭ２０２に記憶されているか否かを判断する。なお、図９の処理が開始された当初のＲＡＭ２０２には、フレームレートＦ１および総フレーム数は記憶されていない。フレームレートＦ１および総フレーム数がＲＡＭ２０２に記憶されていないと判断された場合（ＳＣ３：ＮＯ）、ＣＰＵ２００は、処理をステップＳＣ４に移行する。フレームレートＦ１および総フレーム数がＲＡＭ２０２に記憶されていると判断された場合（ＳＣ３：ＹＥＳ）、ＣＰＵ２００は、処理をステップＳＣ５に移行する。

ステップＳＣ４において、ＣＰＵ２００は、デコードされた情報に含まれるフレームレートＦ１および総フレーム数をＲＡＭ２０２に記憶する。ステップＳＣ５において、ＣＰＵ２００は、新たにデコードされた分割データを、先にデコードされた分割データと結合する。具体的には、ＣＰＵ２００は、デコードされた情報に含まれるフレーム番号に従って、分割データを結合する。ステップＳＣ６において、ＣＰＵ２００は、次の対象画像を特定する。具体的には、ＣＰＵ２００は、現在の対象画像よりも、フレームレートＦ２をフレームレートＦ１で除算した値のフレーム数だけ後の撮像画像を、次の対象画像として特定する。例えば、フレームレートＦ１が２０ＦＰＳ、フレームレートＦ２が６０ＦＰＳである場合、ＣＰＵ２００は、現在の対象画像よりも３フレーム後の撮像画像を次の対象画像として特定する。上述の通り、フレームレートＦ２は、フレームレートＦ１の２倍以上のレートであることが望ましい。したがって、ステップＳＣ６において、ＣＰＵ２００は、現在の対象画像よりも２フレーム以上後の撮像画像を次の対象画像として特定する。

ステップＳＣ７において、ＣＰＵ２００は、対象データが復元されたか否かを判断する。具体的には、ＣＰＵ２００は、最後にデコードされた情報に含まれるフレーム番号がＲＡＭ２０２に記憶された総フレーム数と一致するか否かにより、対象データが復元されたか否かを判断する。対象データが復元されたと判断された場合（ＳＣ７：ＹＥＳ）、ＣＰＵ２００は、処理をステップＳＣ１４に移行する。対象データが復元されていないと判断された場合（ＳＣ７：ＮＯ）、ＣＰＵ２００は、処理をステップＳＣ１に移行する。

ステップＳＣ８において、ＣＰＵ２００は、対象画像よりも１フレーム前に撮像された撮像画像（以下、「撮像画像Ｉｂ」という）からＱＲコードを抜き出して、当該ＱＲコードのデコードを開始する。上述したステップＳＣ２においてＱＲコードのデコードが成功していない原因として、ＱＲコードにピントが合っていなかった場合、またはスクリーンＳＣに汚れがあった場合など撮像画像に問題があったことが考えられる。そこで、ＣＰＵ２００は、対象画像とは別のフレームに含まれたＱＲコードのデコードを行う。ステップＳＣ９において、ＣＰＵ２００は、撮像画像Ｉｂに含まれたＱＲコードのデコードが成功したか否かを判断する。ＣＰＵ２００は、ステップＳＣ２と同様の方法によりＱＲコードのデコードが成功したか否かを判断する。ＱＲコードのデコードが成功したと判断された場合（ＳＣ９：ＹＥＳ）、ＣＰＵ２００は、分割データをＲＡＭ２０２に記憶し、処理をステップＳＣ３に移行する。ＱＲコードのデコードが成功していないと判断された場合（ＳＣ９：ＮＯ）、ＣＰＵ２００は、処理をステップＳＣ１０に移行する。

ステップＳＣ１０において、ＣＰＵ２００は、対象画像よりも１フレーム後に撮像された撮像画像（以下、「撮像画像Ｉａ」という）からＱＲコードを抜き出して、当該ＱＲコードのデコードを開始する。ＣＰＵ２００は、上述したステップＳＣ８と同様の理由から、対象画像とは別のフレームに含まれたＱＲコードのデコードを行う。ステップＳＣ１１において、ＣＰＵ２００は、撮像画像Ｉｂに含まれたＱＲコードのデコードが成功したか否かを判断する。ＣＰＵ２００は、ステップＳＣ２と同様の方法によりＱＲコードのデコードが成功したか否かを判断する。ＱＲコードのデコードが成功したと判断された場合（ＳＣ１１：ＹＥＳ）、ＣＰＵ２００は、分割データをＲＡＭ２０２に記憶し、処理をステップＳＣ３に移行する。ＱＲコードのデコードが成功していないと判断された場合（ＳＣ１１：ＮＯ）、ＣＰＵ２００は、処理をステップＳＣ１２に移行する。

ステップＳＣ１２において、ＣＰＵ２００は、次の対象画像を特定する。具体的には、ＣＰＵ２００は、現在の対象画像よりも、所定のフレーム数（例えば、数フレーム）だけ前の撮像画像を、次の対象画像として特定する。なお、ＣＰＵ２００は、現在の対象画像よりも、所定のフレーム数だけ後の撮像画像を、次の対象画像として特定してもよい。ステップＳＣ１３において、ＣＰＵ２００は、ＲＡＭ２０２に記憶されたフレームレートＦ１および総フレーム数を消去する。ステップＳＣ１３の処理を終えると、ＣＰＵ２００は、処理をステップＳＣ１に移行する。

ステップＳＣ１４において、ＣＰＵ２００は、復元された対象データを出力する。具体的には、ＣＰＵ２００は、対象データをタッチパネル２０４に表示させる。

以上の処理により、順次投写される複数のＱＲコードを介して、プロジェクター１とタブレット端末２との間でデータの通信が行われる。したがって、ＱＲコードの最大容量による制限を受けることなく、ＱＲコードを介してデータの通信を行うことができる。また、複数の撮像画像のうちの一部の画像についてデコードが行われるため、複数の撮像画像のすべてについてデコードが行われる場合に比べて、タブレット端末２の処理負担が軽減される。

＜変形例＞
本発明は、上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下で説明する変形例のうち、２つ以上のものが組み合わされて用いられてもよい。

（１）変形例１
複数のＱＲコードのうち最初のＱＲコードが投写されるタイミングを示す情報をプロジェクター１が示す方法は、白画像の投写に限らない。プロジェクター１は、白画像とは異なる画像を投写することにより、最初のＱＲコードが投写されるタイミングを示してもよい。別の例で、プロジェクター１は、１フレーム目のＱＲコードの近傍に所定の文字または図形を表示することにより、最初のＱＲコードが投写されるタイミングを示してもよい。さらに別の例で、プロジェクター１は、１フレーム目のＱＲコードの投写を他のフレームのＱＲコードの投写よりも長く行うことにより、最初のＱＲコードが投写されるタイミングを示してもよい。さらに別の例で、プロジェクター１は、複数のＱＲコードのうち最初のＱＲコードが投写されるタイミングを示す音（以下、「開始音」という）をスピーカー１１０から出力してもよい。この場合、ステップＳＢ２において、タブレット端末２は、マイクロフォン２０７を介して開始音が２回以上検知されたときに、複数のＱＲコードのすべてが撮像されたと判断する。

（２）変形例２
プロジェクター１は、投写画像には、分割データの順序を示す画像（以下、「順序画像」という）を、複数のＱＲコードのうちの少なくとも一のＱＲコードに並べて表示してもよい。例えば、プロジェクター１は、複数のＱＲコードを順次投写する際に、各ＱＲコードの近傍に順序画像を並べて表示してもよい。この場合、タブレット端末２は、撮像画像から順序画像を抜き出してパターンマッチングを行うことにより当該順序画像が示す順序を特定し、特定された順序に応じて、複数のＱＲコードのすべてが撮像されたか否かを判断してもよい。また、この場合、フレーム番号はＱＲコードに含まれていなくてもよく、タブレット端末２は、順序画像が示す順序に従って分割データを結合してもよい。

図１０は、変形例２における投写画像Ｉｍの遷移を例示する図である。図１０の例で、順序画像は、分割データの順序を示す数字である。図１０では、ＱＲコードＤ１、Ｄ２、Ｄ３、およびＤ１００の下に、各ＱＲコードＤが示す分割データの順序として数字１、２、３、および１００が表示されている。

（３）変形例３
フレームレートＦ１とフレームレートＦ２との関係は、実施形態に記載したものに限らない。フレームレートＦ２は、フレームレートＦ１以下であってもよい。この場合、タブレット端末２は、例えば、上述した変形例２に記載の方法を用いて複数のＱＲコードのすべてが撮像されたと判断されるまで投写面の撮像を継続する。また、フレームレートＦ１とフレームレートＦ２の具体的な値も実施形態に記載したものに限らない。

（４）変形例４
タブレット端末２がＱＲコードを撮像する処理は、図８に示した処理に限らない。例えば、タブレット端末２は、撮像された複数のＱＲコードをデコードして、複数のＱＲコードのすべてが撮像されたか否かを判断してもよい。この場合、タブレット端末２は、総フレーム数と各ＱＲコードのフレーム番号とに応じて、複数のＱＲコードのすべてが撮像されたか否かを判断する。

（５）変形例５
タブレット端末２が複数のＱＲコードをデコードする処理は、ＱＲコードを撮像する処理が終了したことを契機として開始される場合に限らない。タブレット端末２がＱＲコードをデコードする処理は、ＱＲコードを撮像する処理と並行して行われてもよい。

（６）変形例６
タブレット端末２がＱＲコードをデコードする処理は、図９に示した処理に限らない。例えば、タブレット端末２は、複数の撮像画像のすべてをデコードの対象としてもよい。別の例で、分割データを結合する処理（ステップＳＣ６）は、すべてのＱＲコードのデコードが終了した後で行われてもよい。

（７）変形例７
ＱＲコードのデータフォーマットは、図６に示したものに限らない。例えば、総フレーム数を示す領域は、複数のＱＲコードのうち最初に投写されるＱＲコードのみが有してもよい。別の例で、複数のＱＲコードのうち最初に投写されるＱＲコードは、分割データを示す領域を有していなくてもよい。

（８）変形例８
フレームレートＦ１は、ＱＲコードに含まれていなくてもよい。例えば、フレームレートＦ１およびフレームレートＦ２が予め決められた値である場合、プロジェクター１は、フレームレートＦ１を示す情報をＱＲコードに含めなくてもよい。また、プロジェクター１は、ＱＲコードを介さずに、フレームレートＦ１を示す情報をタブレット端末２に送信してもよい。例えば、プロジェクター１は、複数のＱＲコードのうちの少なくとも一のＱＲコードの近傍に、フレームレートＦ１を示す文字または図形を表示してもよい。この場合、タブレット端末２は、撮像画像に対してパターンマッチングを行うことによりフレームレートＦ１を特定する。

（９）変形例９
投写システムＰＳにおいて用いられるＱＲコードは、バージョン４０よりも低いバージョンであってもよい。例えば、タブレット端末２がバージョン４０のＱＲコードを読み取ることができない場合には、プロジェクター１は、バージョン４０よりも低いバージョンのＱＲコードを投写してもよい。また、コード画像は、ＱＲコードに限らない。コード画像は、エンコードされた情報を示す画像であれば、例えば、ＰＤＦ４１７、ＣＰ(Communication Platform)コード、ＨＣＣＢ(High Capacity Color Barcode)などの他の二次元コードであってもよい。また、コード画像は、一次元コードであってもよい。

（１０）変形例１０
投写画像に含まれるＱＲコードの数は一つに限らない。投写画像には複数のＱＲコードが並べて表示されてもよく、タブレット端末２は、並べて表示された複数のＱＲコードを同時に読み取ってもよい。この場合、投写画像に含まれるＱＲコードの数が一つである場合に比べて、より短時間でのデータの通信が可能になる。

（１１）変形例１１
順次投写される複数のＱＲコードには、手振れまたは障害物（撮像中に人が、ＱＲコードの前を横切った場合など）によりあるフレームのＱＲコードが読み取れない場合であっても、読み取り側の装置が当該フレームの情報を復元できるようにするための機能が備わっていてもよい。例えば、順次投写される複数のＱＲコードには、読み取られなかったフレームの情報を復元できるようにするための情報を示すＱＲコードが含まれていてもよい。

（１２）変形例１２
複数のＱＲコードは、すべてが連続して投写されなくてもよい。例えば、所定数のＱＲコードが投写される度に、ＱＲコードを含まない投写画像が投写されてもよい。ＱＲコードを含まない投写画像は、例えば、タブレット端末２に、投写されているＱＲコードの順序を特定させるために用いられてもよい。別の例で、ＱＲコードを含まない投写画像は、複数のＱＲコードが投写されるタイミングと、撮像されるタイミングとを同期させるために用いられてもよい。

（１３）変形例１３
コード画像は、ＱＲコードに限らない。コード画像は、エンコードされた情報を示す画像であれば、例えば、ＰＤＦ４１７、ＣＰ(Communication Platform)コード、ＨＣＣＢ(High Capacity Color Barcode)などの他の二次元コードであってもよい。また、コード画像は、一次元コードであってもよい。

（１４）変形例１４
対象データは、動画データに限らない。対象データは、例えば、文字、図形、楽音、または画像を示すデータであってもよい。対象データが、楽音を示すデータである場合には、タブレット端末２は、ステップＳＣ１４において図示せぬスピーカーから楽音を再生する。

（１５）変形例１５
対象データは、プロジェクター１において記憶されているデータに限らない。例えば、対象データは、パーソナルコンピューターなどの電子機器からプロジェクター１に入力されたデータであってもよい。

（１６）変形例１６
プロジェクター１は、白画像の投写およびＱＲコードの投写を繰り返さなくてもよい。この場合、プロジェクター１は、複数のＱＲコードのうち最後のＱＲコードが投写されたことを示す情報（例えば、所定の画像または音など）を、ステップＳＡ５の後に出力してもよい。

（１７）変形例１７
表示装置は、プロジェクター１に限らない。表示装置は、複数のＱＲコードを順次表示することができる電子機器であれば、例えば、テレビジョン、パーソナルコンピューター、スマートフォン、携帯電話機、デジタルカメラ、カーナビゲーション装置、ＰＯＳ端末、自動販売機、プリンター、ゲーム機などでもよい。また、撮像装置も、タブレット端末２に限らない。撮像装置は、複数のＱＲコードを順次撮像することができる電子機器であれば、パーソナルコンピューター、スマートフォン、携帯電話機、デジタルカメラ、ゲーム機などでもよい。例えば、電子広告用のディスプレイまたは自動販売機のディスプレイに複数のＱＲコードが表示されることにより、スマートフォン用の待ち受け画面、または着信メロディーなどのデータの通信が行われてもよい。

（１８）変形例１８
プロジェクター１およびタブレット端末２のハードウェア構成は、図３および図４に示した構成に限らない。図５、図８、および図９に示した処理が実行されれば、各装置はどのようなハードウェア構成を有していてもよい。例えば、液晶パネル１２６は、反射型の液晶パネルであってもよい。また、液晶パネル１２６に代えて、有機ＥＬ（ElectroLuminescence）素子、デジタルミラーデバイス（ＤＭＤ）等の電気光学素子が用いられてもよい。また、液晶パネル１２６は色成分毎に設けられていなくてもよく、プロジェクター１は単一の液晶パネル１２６を有していてもよい。この場合、各色成分の画像は時分割で表示されてもよい。

１…プロジェクター、１１…記憶手段、１２…分割手段、１３…エンコード手段、１４…投写手段、１５…放音手段、１００…ＭＣＵ、１０１…ＲＯＭ、１０２…ＲＡＭ、１０３…記憶部、１０４…ＩＦ部、１０５…画像処理回路、１０６…投写ユニット、１１６…光源、１２６…液晶パネル、１３６…光学系、１４６…光源駆動回路、１５６…パネル駆動回路、１６６…光学系駆動回路、１０７…受光部、１０８…操作パネル、１０９…入力処理部、１１０…スピーカー、２…タブレット端末、２１…撮像手段、２２…デコード手段、２３…結合手段、２４…出力手段、２５…判定手段、２００…ＣＰＵ、２０１…ＲＯＭ、２０２…ＲＡＭ、２０３…ＩＦ部、２０４…タッチパネル、２０５…撮像部、２０６…記憶部、２０７…マイクロフォン

Claims (9)

1. 表示装置と撮像装置とを有し、
   前記表示装置は、
   データを記憶する記憶手段と、
   前記データを所定のサイズに分割する分割手段と、
   前記分割手段により分割されたデータの各々と、当該データの順序を示す順序情報とをエンコードして複数のコード画像を生成するエンコード手段と、
   前記エンコード手段により生成された複数のコード画像を、前記順序に従って第１のフレームレートで表示する表示手段と
   を有し、
   前記撮像装置は、
   前記表示手段により表示された複数のコード画像を、前記第１のフレームレートよりも高い第２のフレームレートで順次撮像する撮像手段と、
   前記撮像手段により撮像された撮像画像からコード画像を抜き出してデコードするデコード手段と、
   前記デコード手段によりデコードされたデータを、前記順序情報が示す順序に従って結合する結合手段と
   を有する通信システム。
2. 前記表示手段は、前記複数のコード画像を繰り返し表示し、
   前記撮像手段は、前記複数のコード画像のすべてを撮像するまで撮像を継続する
   ことを特徴とする請求項１に記載の通信システム。
3. 前記表示手段は、前記複数のコード画像のうち最初のコード画像が表示されるタイミングを示す情報を表示する
   ことを特徴とする請求項２に記載の通信システム。
4. 前記表示装置は、
   前記複数のコード画像のうち最初のコード画像が表示されるタイミングを示す音を出す放音手段
   を有する請求項２に記載の通信システム。
5. 前記表示手段は、前記順序を示す順序画像を、前記複数のコード画像のうちの少なくとも一のコード画像に並べて表示し、
   前記撮像装置は、
   前記撮像画像から抜き出した前記順序画像に基づいて、前記複数のコード画像のすべてが撮像されたか否かを判定する判定手段
   を有し、
   前記撮像手段は、前記判定手段により前記複数のコード画像のすべてが撮像されたと判定されるまで撮像を継続する
   ことを特徴とする請求項３に記載の通信システム。
6. 前記デコード手段は、ある撮像画像についてデコードが成功した場合には、当該撮像画像よりも２フレーム以上後の撮像画像について、当該デコードの次にデコードする
   ことを特徴とする請求項１ないし５のいずれか１項に記載の通信システム。
7. 第１のフレームレートで順次表示され、データと当該データの順序を示す順序情報とを示す複数のコード画像を、前記第１のフレームレートよりも高い第２のフレームレートで順次撮像する撮像手段と、
   前記撮像手段により撮像された撮像画像からコード画像を抜き出してデコードするデコード手段と、
   前記デコード手段によりデコードされたデータを、前記順序情報が示す順序に従って結合する結合手段と
   を有する撮像装置。
8. 第１のフレームレートで順次表示され、データと当該データの順序を示す順序情報とを示す複数のコード画像を、前記第１のフレームレートよりも高い第２のフレームレートで順次撮像するステップと、
   撮像された撮像画像からコード画像を抜き出してデコードするステップと、
   デコードされたデータを、前記順序情報が示す順序に従って結合するステップと
   を実行させるためのプログラム。
9. データを所定のサイズに分割するステップと、
   分割されたデータの各々と、当該データの順序を示す順序情報とをエンコードして複数のコード画像を生成するステップと、
   前記複数のコード画像を、前記順序に従って第１のフレームレートで表示するステップと
   表示された複数のコード画像を、前記第１のフレームレートよりも高い第２のフレームレートで順次撮像するステップと、
   撮像された撮像画像からコード画像を抜き出してデコードするステップと、
   デコードされたデータを、前記順序情報が示す順序に従って結合するステップと
   を有する通信方法。

Images