JP2015122719A - 可視光通信信号表示方法及び表示装置 - Google Patents

Abstract

【課題】可視光通信において更なる改善を図る。【解決手段】可視光通信信号表示方法は、映像信号で示される画像と、可視光通信信号が符号化されることで得られた画像とを表示する可視光通信信号表示方法であって、前記可視光通信信号の少なくとも一部を符号化することで符号化画像を生成する符号化ステップ（Ｓ１０１）と、前記符号化画像が分割されることにより得られた複数の部分画像の各々に対応し、対応する部分画像を含むとともに、当該部分画像以外は、所定の輝度値以下で、かつ、略均一な輝度値を有する画像である複数の分割画像を生成する分割ステップ（Ｓ１０２）と、映像表示期間において、前記映像信号で示される画像を表示し、前記映像表示期間とは異なる通信期間において、前記複数の分割画像を時系列に表示する表示ステップ（Ｓ１０３）とを含む。【選択図】図１７

Description

本開示は、可視光通信により、表示装置に表示されている映像の中に任意の情報を混在させして送信するための可視光通信信号表示方法及び表示装置に関する。

可視光を用いた通信技術が提案されている。例えば特許文献１及び２のように、ディスプレイ、及びプロジェクターなどを含む映像表示装置において、通常の表示映像の中に可視光による通信情報を重畳して表示を行う技術が提案されている。

また、印刷物で試用されている電子透かし技術、ＱＲコード（登録商標）、又はバーコードなどを画像中に表示して、それらの符号化された信号を介して情報を、携帯電話、スマートフォン、又はデジタルカメラなどの撮像機器を通じて、インターネットの世界へ展開する技術がある。

但し、これらの技術は、映像信号表示を各画素のドライブとバックライトの制御とで行っており、このうちのバックライトの制御の一部に可視光通信信号を符号化して重畳している。よって、これらの技術は、２つの系統の制御により映像表示を行っている映像表示デバイスにのみ適応可能であった。

また、画像全体に対して電子透かしのように情報を目立たない形で重畳し、受信側で重畳した情報を復号するなど、映像表示装置を使用して映像とは別の情報（例えば、映像に関連する情報など）を、映像と同期して或いは同期せずに送受信する方法が考案されてきた。また、プレスリリース１のように、多少の映像の劣化はあるが、通常存在する受信装置を用いてすばやく情報の分離を行う取り組みも成されてきた。

特開２００７−４３７０６号公報 特開２００９−２１２７６８号公報

しかしながら、従来の可視光通信では、更なる改善が必要であった。

本開示の一態様に係る表示装置は、映像信号で示される画像と、可視光通信信号が符号化されることで得られた画像とを表示する可視光通信信号表示方法であって、前記可視光通信信号の少なくとも一部を符号化することで符号化画像を生成する符号化ステップと、前記符号化画像が分割されることにより得られた複数の部分画像の各々に対応し、対応する部分画像を含むとともに、当該部分画像以外は、所定の輝度値以下で、かつ、略均一な輝度値を有する画像である複数の分割画像を生成する分割ステップと、映像表示期間において、前記映像信号で示される画像を表示し、前記映像表示期間とは異なる通信期間において、前記複数の分割画像を時系列に表示する表示ステップとを含む。

本開示によれば、可視光通信において更なる改善を図ることができる。

図１は、実施の形態１にかかる可視光通信システムの一例を示す概略図である。 図２は、実施の形態１にかかる表示装置の概略構成を示すブロック図である。 図３は、実施の形態１にかかる受信装置の概略構成を示すブロック図である。 図４は、実施の形態１にかかる可視光通信信号の符号化画像の一例を示す概略図である。 図５は、実施の形態１にかかる表示装置において、可視光通信信号の符号化画像を通常の映像に挿入して表示した例を示す図である。 図６は、実施の形態１にかかる受信装置の動作を示す図である。 図７は、実施の形態１にかかる符号化画像と受信装置との角度と、撮像エラー発生確率との関係の例を示す図である。 図８は、実施の形態１にかかる符号化画像の他の生成例を示す図である。 図９は、実施の形態１にかかる符号化画像の他の表示例を示す概略図である。 図１０は、実施の形態１にかかる光源輝度の高周波ノイズと、露光時間との関係を示す図である。 図１１Ａは、実施の形態２にかかる符号化画像を分割して、点灯タイミングと合わせて信号を送信する送信方法を示す概略図である。 図１１Ｂは、実施の形態２にかかる符号化画像を分割して、点灯タイミングと合わせて信号を送信する送信方法を示す概略図である。 図１２は、実施の形態２にかかる符号化画像を分割して、分割した画像の表示順番と合わせて信号を送信する送信方法を示す概略図である。 図１３は、実施の形態２にかかる正対して投影する場合と、その他の場合の投影された符号化画像を示すイメージ図である。 図１４は、実施の形態２にかかる通常のスクリーン以外に符号化画像を用いて信号を送信するための画像の生成例を示す概略図である。 図１５は、実施の形態２にかかる通常のスクリーン以外に符号化画像を用いて信号を送信するための画像のその他の生成例を示す概略図である。 図１６は、実施の形態２にかかる露光時間と画像の表示時間との関係を説明するための図である。 図１７は、実施の形態２にかかる可視光通信信号表示方法のフローチャートである。 図１８は、実施の形態２にかかる可視光通信信号表示方法のフローチャートである。 図１９は、実施の形態３にかかる１列に並んだ撮像素子は同時に露光させ、列が近い順に露光開始時刻をずらして撮像する場合の例を示す図である。 図２０は、実施の形態３にかかる一つの露光ラインの露光が完了してから次の露光ラインの露光が開始される場合を示す図である。 図２１は、実施の形態３にかかる一つの露光ラインの露光が完了してから次の露光ラインの露光が開始される場合を示す図である。 図２２は、実施の形態３にかかる一つの露光ラインの露光が完了する前に次の露光ラインの露光が開始される場合を示す図である。 図２３は、実施の形態３にかかる各露光ラインの露光開始時刻が等しい場合に、露光時間の違いによる影響を示す図である。 図２４は、実施の形態３にかかる露光時間が等しい場合に、各露光ラインの露光開始時刻の違いによる影響を示す図である。 図２５は、実施の形態３にかかる各露光ラインの露光時間が重なっていない場合に、露光時間が短い場合の利点を示す図である。 図２６は、実施の形態３にかかる光源輝度の最小変化時間と、露光時間と、各露光ラインの露光開始時刻の時間差と、撮像画像との関係を示す図である。 図２７は、実施の形態３にかかる光源輝度の遷移時間と、各露光ラインの露光開始時刻の時間差との関係を示す図である。 図２８は、実施の形態３にかかる光源輝度の高周波ノイズと、露光時間との関係を示す図である。 図２９は、実施の形態３にかかる光源輝度の高周波ノイズが２０マイクロ秒の場合の、露光時間と高周波ノイズの大きさとの関係を表すグラフである。 図３０は、実施の形態３にかかる露光時間ｔ_Ｅと認識成功率との関係を示す図である。 図３１は、実施の形態３にかかる受信装置の各モードの一例を示す図である。 図３２は、実施の形態３にかかる発光部の輝度の観測方法の一例を示す図である。 図３３は、実施の形態４にかかるサービス提供システムを示す図である。 図３４は、実施の形態４にかかるサービス提供のフローを示す図である。 図３５は、実施の形態４にかかる他の例におけるサービス提供のフローを示す図である。 図３６は、実施の形態４にかかる他の例におけるサービス提供のフローを示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、出願人は、当業者が本開示を十分に理解するために添付図面及び以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

（発明に至った経緯）
特許文献１に開示されるように、バックライトの点滅により可視光通信信号を重畳する方法がある。この方法では、バックライトの消灯時間中は可視光通信信号の送信ができない。可視光通信信号を送信ができない期間は、信号の伝達ミスの要因となるため、画質が低下した状態で通信を行うしかなかった。

また、近年の映像表示装置、特に液晶ディスプレイ、又は液晶を用いたプロジェクターなどの分野においては、画質改善のためにバックライトスキャンと呼ばれる技術が採用されている。バックライトスキャンとは、表示画面をいくつかの領域に分割し、分割された各領域が定期的に順次点灯するようにバックライトの発光を制御する技術である。また、液晶を用いた映像表示装置はその動画特性の悪さを改善するため、バックライトの点灯を画像信号に応じて制限するなどの対策を採っている。これにより、このような映像表示装置に、バックライトを用いた可視光通信を適応しようとした際には、動画特性の改善とバックライトの変調による可視光通信との両立が困難である。

一方で、これら以外の映像表示装置、例えば、デジタルミラーデバイス（以下ＤＭＤ）を搭載したタイプのプロジェクター、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、及びプラズマディスプレイはもちろんのこと、ＣＲＴ（ブラウン管）を用いた映像表示装置についても、特許文献１または２のような手法で映像信号以外の信号を重畳送信することは不可能であった。また、印刷物で試用されている電子透かし技術、ＱＲコード（登録商標）、又はバーコードなどを画像中に表示して、それらの符号化された信号を介して映像信号から情報を取得し、更には携帯電話、スマートフォン、又はデジタルカメラなどの撮像機器を通じて、取得した情報を、インターネットの世界へ展開する方法もある。しかしながら、これらの方法では、画格サイズに制約がある、及び、一定のレベルまで焦点を合わせなければ成らない等の制限があるため、画像認識に時間がかかるという課題がある。また、そのため、専用の映像信号を少なくとも数秒以上出力し続けなくてはならない等、一般的な使用に耐えるレベルのものではなかった。なお、本開示において、画格とは画面サイズのことである。

そこで本開示は、映像信号中に非常に短い期間のみ符号化された信号を混入させ、これをある程度のサイクルで繰り返す。更に、順次露光型のイメージセンサーを用いた撮像装置を用いることで、同期を取る。これにより、極端に画格、及び映像表示装置までの距離などを気にすることなく、長くとも１秒以内という比較的短時間の表示で、しかも、映像信号に対しては大きな外乱なく、つまり、画質を大きく劣化させることなく、可視光通信の情報を画像情報に挿入して送信できる表示装置、受信装置、可視光通信システム及びその信号伝達方法について説明する。また、プロジェクターにおいては、スクリーン以外の単純な平面ではない構造物などに投影する技術について説明する。

本開示の一態様に係る可視光通信信号表示方法は、映像信号で示される画像と、可視光通信信号が符号化されることで得られた画像とを表示する可視光通信信号表示方法であって、前記可視光通信信号の少なくとも一部を符号化することで符号化画像を生成する符号化ステップと、前記符号化画像が分割されることにより得られた複数の部分画像の各々に対応し、対応する部分画像を含むとともに、当該部分画像以外は、所定の輝度値以下で、かつ、略均一な輝度値を有する画像である複数の分割画像を生成する分割ステップと、映像表示期間において、前記映像信号で示される画像を表示し、前記映像表示期間とは異なる通信期間において、前記複数の分割画像を時系列に表示する表示ステップとを含む。

これによれば、符号化画像を複数の分割画像に分割して適切に表示することができる。

例えば、前記符号化ステップでは、前記可視光通信信号の一部を符号化することで前記符号化画像を生成し、前記可視光通信信号の他の部分を前記複数の分割画像を表示するタイミングに符号化し、前記表示ステップでは、前記通信期間において、前記複数の分割画像を前記タイミングで時系列に表示してもよい。

これによれば、符号化画像に加え、分割画像が表示されるタイミングを信号送信に用いることができる。これにより、可視光通信による送信データ量を増加させることができる。

例えば、前記分割ステップでは、さらに、前記複数の部分画像の各々に対応し、対応する部分画像の輝度が反転された反転部分画像を含むとともに、当該反転部分画像以外は、所定の輝度値以下で、かつ、略均一な輝度値を有する画像である複数の反転画像を生成し、前記表示ステップでは、さらに、前記通信期間において、前記複数の反転画像を時系列に表示してもよい。

これによれば、符号化画像が視認されることを抑制できる。

例えば、前記符号化ステップでは、前記可視光通信信号の一部を符号化することで前記符号化画像を生成し、前記可視光通信信号の他の部分を前記複数の分割画像を表示する順序に符号化し、前記表示ステップでは、前記通信期間において、前記複数の分割画像を前記順序で時系列に表示してもよい。

これによれば、符号化画像に加え、分割画像が表示される順序を信号送信に用いることができる。これにより、可視光通信による送信データ量を増加させることができる。

例えば、前記表示ステップでは、前記通信期間において、前記複数の分割画像の間に、所定の輝度値以下で、かつ、略均一な輝度値を有する黒画像を表示し、前記黒画像が表示される時間は、３０μ秒以上であってもよい。

これによれば、受信装置において適切に信号を受信できる映像を表示できる。

例えば、前記黒画像が表示される時間は、１００μ秒以上であってもよい。

これによれば、受信装置において適切に信号を受信できる映像を表示できる。

例えば、前記表示ステップにおいて、一枚の前記分割画像が表示される時間は、２００μ秒以下であってもよい。

これによれば、受信装置において適切に信号を受信できる映像を表示できる。

例えば、前記表示ステップにおいて、一枚の前記分割画像が表示される時間は、１０μ秒以上であってもよい。

これによれば、受信装置において適切に信号を受信できる映像を表示できる。

また、本開示の一態様に係る可視光通信信号表示方法は、映像信号で示される画像と、可視光通信信号を送信するための画像とを表示する可視光通信信号表示方法であって、前記可視光通信信号の少なくとも一部を、基準画像を分割するパターンに符号化する符号化ステップと、前記パターンに従い、前記基準画像を複数の分割画像に分割する分割ステップと、映像表示期間において、前記映像信号で示される画像を表示し、前記映像表示期間とは異なる通信期間において、前記基準画像の輝度が反転された反転画像及び前記複数の分割画像を時系列に表示する表示ステップとを含む。

これによれば、基準画像を分割する分割パターンを信号送信に用いた可視光通信を実現できる。さらに、反転画像を表示することにより、受信装置は、反転画像を用いて基準画像のパターンの位置を把握することできる。これにより、スクリーン以外の単純な平面ではない構造物などに映像が表示される場合においても、可視光通信を実現できる。

例えば、前記可視光通信信号を送信するための画像は、前記基準画像、及び、前記複数の分割画像を含んでもよい。

例えば、前記符号化ステップでは、前記可視光通信信号の一部を符号化することで前記パターンを生成し、前記可視光通信信号の他の部分を前記複数の分割画像を表示するタイミングに符号化し、前記表示ステップでは、前記通信期間において、前記複数の分割画像を前記タイミングで時系列に表示してもよい。

これによれば、分割パターンに加え、分割画像が表示されるタイミングを信号送信に用いることができる。これにより、可視光通信による送信データ量を増加させることができる。

例えば、前記符号化ステップでは、前記基準画像を同じ数の前記分割画像に分割する複数のパターンから、前記可視光通信信号の少なくとも一部に対応するパターンを選択することで、前記可視光通信信号の少なくとも一部を、前記パターンに符号化し、前記複数のパターンは、前記複数の分割画像が、所定の輝度値以下で、かつ、略均一な輝度値を有する全黒画像を含むパターンを含んでもよい。

これによれば、パターンの数を増加できるとともに、パターンと信号との変換を容易に行うことができる。

例えば、前記符号化ステップでは、前記基準画像を異なる数の分割画像に分割する複数のパターンから、前記可視光通信信号の少なくとも一部に対応するパターンを選択することで、前記可視光通信信号の少なくとも一部を、前記パターンに符号化してもよい。

これによれば、不必要な画像の表示を抑制できる。

例えば、前記分割ステップでは、前記基準画像が分割されることにより得られた複数の部分画像の各々に対応し、対応する部分画像を含むとともに、当該部分画像以外は、所定の輝度値以下で、かつ、略均一な輝度値を有する画像である前記複数の分割画像を生成してもよい。

これによれば、基準画像を複数の分割画像に分割して適切に表示することができる。

例えば、前記符号化ステップでは、前記可視光通信信号の一部を符号化することで前記パターンを生成し、前記可視光通信信号の他の部分を前記複数の分割画像を表示する順序に符号化し、前記表示ステップでは、前記通信期間において、前記複数の分割画像を前記順序で時系列に表示してもよい。

これによれば、分割パターンに加え、分割画像が表示される順序を信号送信に用いることができる。これにより、可視光通信による送信データ量を増加させることができる。

例えば、前記符号化ステップでは、前記可視光通信信号の一部を符号化することで前記パターンを生成し、前記可視光通信信号の他の部分を前記基準画像に符号化してもよい。

これによれば、分割パターンに加え、画像の内容を信号送信に用いることができる。これにより、可視光通信による送信データ量を増加させることができる。

例えば、前記表示ステップでは、前記通信期間において、前記複数の分割画像の間に、所定の輝度値以下で、かつ、略均一な輝度値を有する黒画像を表示し、前記黒画像が表示される時間は、３０μ秒以上であってもよい。

これによれば、受信装置において適切に信号を受信できる映像を表示できる。

例えば、前記黒画像が表示される時間は、１００μ秒以上であってもよい。

これによれば、受信装置において適切に信号を受信できる映像を表示できる。

例えば、前記表示ステップにおいて、一枚の前記分割画像が表示される時間は、２００μ秒以下であってもよい。

これによれば、受信装置において適切に信号を受信できる映像を表示できる。

例えば、前記表示ステップにおいて、一枚の前記分割画像が表示される時間は、１０μ秒以上であってもよい。

これによれば、受信装置において適切に信号を受信できる映像を表示できる。

また、本開示の一態様に係る表示装置は、映像信号で示される画像と、可視光通信信号が符号化されることで得られた画像とを表示する表示装置であって、前記可視光通信信号の少なくとも一部を符号化することで符号化画像を生成する符号化部と、前記符号化画像が分割されることにより得られた複数の部分画像の各々に対応し、対応する部分画像を含むとともに、当該部分画像以外は、所定の輝度値以下で、かつ、略均一な輝度値を有する画像である複数の分割画像を生成する分割部と、映像表示期間において、前記映像信号で示される画像を表示し、前記映像表示期間とは異なる通信期間において、前記複数の分割画像を時系列に表示する表示部とを備える。

これによれば、当該表示装置は、符号化画像を複数の分割画像に分割して適切に表示することができる。

また、本開示の一態様に係る表示装置は、映像信号で示される画像と、可視光通信信号を送信するための画像とを表示する表示装置であって、前記可視光通信信号の少なくとも一部を、基準画像を分割するパターンに符号化する符号化部と、前記パターンに従い、前記基準画像を複数の分割画像に分割する分割部と、映像表示期間において、前記映像信号で示される画像を表示し、前記映像表示期間とは異なる通信期間において、前記基準画像の輝度が反転された反転画像及び前記複数の分割画像を時系列に表示する表示部とを備える。

これによれば、基準画像を分割する分割パターンを信号送信に用いた可視光通信を実現できる。さらに、反転画像を表示することにより、受信装置は、反転画像を用いて基準画像のパターンの位置を把握することできる。これにより、スクリーン以外の単純な平面ではない構造物などに映像が表示される場合においても、可視光通信を実現できる。

また、本開示の一態様に係る表示装置は、時間を区切って映像信号の周波数に基づく１フレームの長さ以下の画像を表示できる表示装置であって、映像を出力する表示面と、映像信号に基づいて前記表示面に映像を表示するよう制御する表示制御部と、可視光通信信号に基づき符号化し、それを表示画像に変換する通信信号制御部と、前記表示映像信号の１フレーム以下の所定の時間だけ可視光信号に基づく前記表示画像を出力する映像信号制御部と、を備え、可視光通信信号の時間軸を符号化して表示面のある方向に写映し、これと垂直方向に一定の長さを移動した写像として表示される縞状の画像を含む画像を通常映像信号に挿入して１フレーム以下の短い期間で表示し、これを順次露光型のイメージセンサーにて撮影し、前記縞状の画像を含む画像が繰り返し表示されている期間に、順次露光を継続的に行いつつ露光データは上書きを繰り返し、前記縞状画像がイメージセンサーで認識された段階で前記露光データの上書きを停止して前記縞状画像の露光データを一式取得した段階で、前記取得した縞状画像のデータより復号し、可視光通信信号を得ることができる。また、本開示では、従来困難であったスクリーンなどの平面以外の構造物に投影するプロジェクションマッピングなどと呼称される技術に適応することが困難であった、縞状画像による信号通信をも、信号の識別子（ヘッダー）部分に信号の大きさを示す画像を使用することにより、適応を可能にした。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
図１は、実施の形態１にかかる可視光通信を可能にした映像表示システムの一例を示す概略図である。

表示装置１００は、例えば液晶表示装置であり、表示部１１０に映像を表示することができる。また、この表示部１１０に表示されている映像には、当該映像に関する情報を示す可視光通信信号もが重畳されている。受信装置２００は、表示装置１００の表示部１１０から送信された可視光通信信号を、表示部１１０に表示された映像を撮像することで受信する。受信装置２００は、例えば、順次露光型のイメージセンサーが内蔵されているスマートフォンである。これによりユーザーは、表示装置１００に表示されている映像に関連する情報などを受け取ることができる。

なお、実施の形態１では、表示装置として液晶表示装置を例にあげているが、表示装置は、有機ＥＬ表示装置、或いはプラズマ表示装置などのディスプレイ機器、又は、プロジェクション表示装置、或いはプロジェクターなどの投影型の表示装置であっても良い。

また、受信装置としてスマートフォンを例に挙げているが、受信装置は、順次露光が可能なタイプのイメージセンサーを搭載した電子機器であればよい。例えば、受信装置は、デジタルスチルカメラなどでもよい。

図２は、実施の形態１にかかる表示装置１００の概略構成の一例示すブロック図である。図２に示すように、表示装置１００は、表示部１１０、第１の入力部１２０、第１の信号処理部１３０、表示制御部１４０、第２の入力部１５０、及び第２の信号処理部１６０を備えている。

第１の入力部１２０は、放送電波、映像録画機、映像再生機、又はＰＣ、などから、アンテナケーブル、映像信号線（例えばコンポジットケーブル、ＨＤＭＩ（登録商標）ケーブル、或いはＰＪＬｉｎｋケーブルなど）、又はＬＡＮケーブルなどを通じて、表示部１１０に表示される映像に関する映像信号を受信し、受信した映像信号を第１の信号処理部１３０に送信する。尚、映像録画機或いは映像再生機は、種々の記録媒体に保存した信号を用いても良い。

第１の信号処理部１３０は、入力された映像信号に復号処理などの一般的な画像処理を施した後、各フレームを複数のサブフレームに分解する。第１の信号処理部１３０は、サブフレーム及び映像信号の大きさ、表示タイミング並びに明るさなどを示す情報を表示制御部１４０と第２の信号処理部１６０に送信する。

第２の入力部１５０は、ＰＣなどで作成された可視光通信信号を、専用のケーブル、或いは、ＬＡＮケーブルなどを通じて受信する。尚、可視光通信信号は、放送電波の一部に重畳されて、アンテナケーブルを通じて第２の入力部１５０に入力されても良い。また、第２の入力部１５０は、放送が録画された映像信号、又は別途ＰＣなどで作成された可視光通信信号が重畳された映像信号を、映像録画機又は映像再生機からＨＤＭＩ（登録商標）ケーブル又はＰＪＬｉｎｋケーブル等を介して受信しても良い。映像録画機或いは映像再生機は種々の記録媒体に保存した信号を用いても良い。また、外部から信号を受信する以外にも、表示装置のＩＤなど、表示装置に内蔵された情報を利用し、インターネットなどを通じてサーバから情報を取得し、この情報を用いる方法もある。第２の入力部１５０は、受信した信号を第２の信号処理部１６０に送信する。以下、可視光通信信号の一連のデータの１まとまりを１ブロックとして標記する。

第２の信号処理部１６０は、第２の入力部１５０に入力された可視光通信信号の変調信号を作成し、変調信号を元に符号化画像を作成する。可視光通信信号の符号化は、ＪＥＩＴＡ−ＣＰ１２２２、或いは、１２２３に準拠した符号化であっても良いし、ＩＥＥＥ−Ｐ８０２．１５．７などの規格に準拠した符号化であっても良い。また、用いられた符号化に対応した受信装置を用いればよい。また、これら以外の符号化方法、例えばマンチェスターコーディングなどを用いて変調が行われても良い。更に、以下では、二値で符号化を行う場合を説明するが、階調表現をそのまま使用できることをかんがみると、三値以上で符号化してもよい。これにより、二値の場合の２倍以上の情報量を伝達することも可能である。

また、第２の信号処理部１６０は、第１の信号処理部１３０から入力される映像信号に含まれる映像の明るさ等に関する情報に基づいて、１フレームを構成するサブフレームのうち、或いは複数のフレームのうちのどのサブフレームに符号化画像を挿入させるかを決定する。例えば、第２の信号処理部１６０は、比較的明るく表示されるフレームに含まれるサブフレームを選択して符号化画像を挿入する。また、第２の信号処理部１６０は、比較的明るく表示されるサブフレームを選択して符号化画像を挿入してもよい。

第２の信号処理部１６０が、フレームの中に挿入するサブフレームを設定しても良いし、表示部１１０が比較的明るく表示されるサブフレームを選択して符号化画像を挿入しても良い。また、重みをつけたサブフレームを用いて階調を表現している場合には、誤差拡散などにより階調表現の幅を広げている場合がある。この場合、重みの低いサブフレームを利用して表現しようとする際には、誤差拡散などにより輝度が変動せず、点灯状態が継続される期間を選択して、符号化画像を表示しても良い。

さらに、通常の映像の表示に関しては、可視光通信信号の符号化画像を表示することによる輝度の上昇及び低下を他のサブフィールドを用いて補正し、視聴者が、連続した映像として違和感なく視聴できる表示方法を用いても良い。

なお、既存のサブフレームではなく、１フレーム内に、通常映像を表示する時間領域と、符号化画像を表示する時間領域を設定してもよい。この際も、符号化画像を表示するフレームとして、表示部１１０が比較的明るいフレームを選択しても良い。

また、符号化画像を挿入する位置又は時間領域が予め決められている場合は、第２の信号処理部１６０は、符号化画像を挿入するサブフレーム又は時間領域の決定に関する処理を行わなくてもよい。この場合は、予め決められているサブフレーム又は時間領域に符号化画像が挿入され、表示されればよい。

また、符号化画像を表示する時間は、できる限り短時間にするほうが望ましいが、受信装置側の性能によるところも大きいので、本件は後に詳述する。

第２の信号処理部１６０は、生成した符号化画像と、符号化画像を挿入するサブフレーム又は時間領域を示す表示タイミング情報とを表示制御部１４０に送信する。

表示制御部１４０は、第１の信号処理部１３０及び第２の信号処理部１６０よりそれぞれ入力される表示タイミング情報に応じて、第１の信号処理部１３０より入力される映像信号に、第２の信号処理部１６０より入力される符号化画像を挿入する。なお、表示制御部１４０は、後述するとおり、映像の応答速度などを考慮すると、固体半導体素子等のスイッチングを行える素子を用いて画像を表示することが望ましい。表示部１１０は、表示制御部１４０より入力される映像信号を表示する。

図３は、実施の形態１にかかる受信装置２００の一構成例を示すブロック図である。

図３に示すように、受信装置２００は、撮像部２１０、映像化部２２０、信号判定部２３０、及び信号復調部２４０を備えている。

撮像部２１０は、表示部１１０に表示されている画像を撮像する。撮像部２１０は、例えば、順次露光型のイメージセンサーで構成される。撮像を開始すると、イメージセンサーは、行毎に順次露光を行い、撮像したデータをバッファ（図示せず）に格納する。イメージセンサーによっては、列毎に順次露光をするものや、露光素子毎に順次露光をするものや、予め定められた数の複数の素子を含む群毎に順次露光するものなど存在するが、取り扱いは同じで、あくまで画像の横方向に配列されたデータを取得することが目的である。

映像化部２２０は、撮像部２１０で撮像されバッファに格納されているデータを、各々の画素の輝度を二次元表示したビットマップに変換し、当該ビットマップを信号判定部２３０に映像として出力する。

信号判定部２３０は、映像化部２２０より入力された映像に符号化画像が含まれているかどうかを判定する。まず、信号判定部２３０は、データ１ブロックの大きさを繰り返しデータを用いて判定し、データのヘッダー部分を探すことで、符号化画像が含まれているか否かを判断する。信号判定部２３０は、入力された映像に符号化画像が挿入されていると判定した場合は、入力された映像を信号復調部２４０に出力すると共に、撮像部２１０に撮像動作をやめるよう指示する。また、信号判定部２３０が、入力された映像に符号化画像が挿入されていないと判定した場合には、撮像部２１０は、バッファに格納しているデータを撮像により得られた画像データに上書きしながら順次露光を更に繰り返す。ここでは、信号判定部２３０は、何もしない。一定期間撮像を行っても、符号化画像が挿入されている映像が入力されたと判断されなければ、撮像部２１０の撮像動作が停止する。なお、この場合、信号判定部２３０は、エラーを示す信号を返しても良い。

信号復調部２４０は、信号判定部２３０より出力された映像から符号化画像を取り出して、当該符号化画像を元の可視光通信信号に復調する。具体的には、信号復調部２４０は、二値化されたデータを復号し、得られたデータを可視光通信信号としてメモリに格納する。

次に、可視光通信信号を画像化した符号化画像について説明する。

図４は、符号化画像の一例を示した図である。図４の（ａ）は、１ブロックの可視光通信信号を符号化した符号化画像Ｐを示す。可視光通信信号は、水平方向の明暗の表示により表現される。図４の（ａ）の符号化画像Ｐが、図４の（ｂ）に示すように、そのまま鉛直方向に、画面の両端付近まで延伸されることで符号化画像Ｐ１が生成される。その後、図４の（ｃ）に示すように、図４の（ｂ）の符号化画像Ｐ１を横方向に５回繰り返し配置することで、最終的な符号化画像（可視光通信画像）が生成される。ここで、横方向への繰り返し回数は、１ブロックの符号化画像の大きさと、映像の大きさとに応じて決定される。

なお、１ブロックの符号化画像を延伸しているのは、後述するように、符号化画像を多くの露光ラインで捉えることができるようにするためである。これにより、受信確率を向上させることができる。また、１ブロックの符号化画像を繰り返し表示しているのは、表示装置と受信装置間の距離、及び受信装置の撮像部の性能によって、画格が異なることに対応するためである。これは、受信装置が表示部１１０全体を撮影する性能がなくても、表示部１１０に表示されている符号化画像のいずれかの部分を撮影すれば、図４の（ａ）で示す符号化画像Ｐ１が取得できることを意味する。符号化画像をこのように生成することで、受信装置の撮影状況の制約を緩和することが可能となる。符号化画像の繰り返し回数が多いほど近接した撮影に有効である。また、受信装置が、画面全体を撮像できることを前提とするならば、符号化画像を繰り返す必要は必ずしもない。

以下、実施の形態１にかかる可視光通信システムの動作について具体的に説明する。まず、表示装置１００の動作を説明する。図５は、実施の形態１にかかる表示装置の動作を説明するための図である。図５において、横方向は時間軸である。

図５の（ａ）は第１の信号処理部１３０から出力される画像を示し、同図の（ｂ）は第２の信号処理部１６０から出力される画像を示し、同図の（ｃ）は、表示制御部１４０から出力される画像を示す。

まず、図５の（ａ）に示すように、第１の信号処理部１３０からは、１／Ｆ秒間に４枚の画像が出力される。これは、第１の入力部１２０に入力された映像が、１／Ｆ秒間に４つの画像を表示することを示している。第１の信号処理部１３０は、表示制御部１４０に、１／Ｆ秒間に４つの画像を表示する表示タイミング情報を送信する。また、第１の信号処理部１３０は、４つの画像（画像Ａ１１、Ａ２１、Ａ３１、Ａ４１等）を１／Ｆ秒毎に表示制御部１４０に出力する。さらに、第１の信号処理部１３０は、表示制御部１４０に送信した表示タイミング情報と同じ表示タイミング情報を第２の信号処理部１６０に送信する。

次に、図５の（ｂ）に示すように、第２の信号処理部１６０では、予め保持している全黒画像Ｂ１と、第２の入力部１５０から入力された、可視光通信信号より生成された符号化画像Ｃ１とを表示制御部１４０に出力する。この場合、第２の信号処理部１６０は、画像Ａ１ｘ、Ａ２ｘ、Ａ３ｘ、Ａ４ｘを、画像の明るさなどから、符号化画像を挿入する画像と決定する（ｘは、フレームがｘ番目であることを表す）。また、第２の信号処理部１６０は、１／Ｆ秒間に４枚の画像を表示し、３枚目に全黒画像Ｂｘ、４枚目に符号化画像Ｃｘを挿入すると決定する。第２の信号処理部１６０は、決定した表示に関する情報を、表示タイミング情報として表示制御部１４０に出力する。

次に、図５に示すように、表示制御部１４０は、第１の信号処理部１３０から入力された画像Ａと、第２の信号処理部１６０から入力された全黒画像Ｂｘ及び符号化画像Ｃｘとの表示タイミングを入力された表示タイミング情報に応じて決定する。この場合、表示制御部１４０は、表示部１１０が１／Ｆ秒間に４枚の画像を表示するよう制御する。表示制御部１４０は、４枚の画像において、１枚目及び２枚目には、第１の信号処理部１３０から送信された画像Ａ１１及びＡ２１を、３枚目には第２の信号処理部１６０から送信された全黒画像Ｂ１を、４枚目に第２の信号処理部１６０から送信された符号化画像Ｃ１を、表示部１１０に表示するように制御する。

さらに、表示制御部１４０は、次の１／Ｆ秒間に４枚の画像を表示するよう制御する。この場合、表示制御部１４０は、４枚の画像において、１枚目及び２枚目には画像Ａ１２及びＡ２２を、３枚目には全黒画像Ｂ２を、４枚目には符号化画像Ｃ２を、表示部１１０に表示するよう制御する。図５の例では、４枚目の符号化画像Ｃ１を９０度回転し、符号化画像Ｃ１と同じサイズに成型した符号化画像Ｃ２が挿入されている。すなわち、符号化画像が複数回挿入されるときは、同じ符号化画像が複数回挿入されても良いし、元の符号化画像を反転させた画像が挿入されても良い。これは、受信装置２００の撮像方向、及び角度などに対応するのに有効である。つまり、画像Ｂ１と画像Ｂ２とは同じものであっても、前述したように異なるものでも良い。同様に、画像Ｃ１と画像Ｃ２とは同じものであっても、異なるものでも良い。

また、各画像Ａ１ｘ、Ａ２ｘ、Ａ３ｘ、Ａ４ｘ、全黒画像Ｂｘ、及び符号化画像Ｃｘはそれぞれ１／Ｆ秒間隔で表示される。

尚、映像によっては、符号化画像が連続したフレームに表示されず、いくつかのフレーム毎に表示、或いはランダムに表示されても良い。

なお、本実施の形態のサブフレームとは、階調表現のために作成されたサブフレームに限らず、液晶表示装置などの所謂４倍駆動など、画質向上のために作成されたサブフレームであってもよい。

次に、受信装置２００の動作を説明する。図６は、実施の形態１にかかる受信装置の動作を説明する図である。図６において、横方向が時間軸である。

図６の（ａ）は表示装置１００の表示部１１０に表示される画像を示し、同図の（ｂ）は、撮像部２１０における各露光ラインの露光時間を示し、同図の（ｃ）は撮像部２１０が撮像した画像を示す。

図６の（ａ）に示すように、表示部１１０は、１／Ｆ秒毎に４枚の画像を表示する。図６の（ａ）の例では、４枚の画像において、３枚目に全黒画像Ｂ１が表示され、４枚目に符号化画像Ｃ１が表示される。

撮像部２１０は、表示部１１０に表示されている映像を撮像する。撮像部２１０が、順次露光型のイメージセンサーで構成されている場合、撮像を開始すると、イメージセンサーは、単位行毎に順次露光を行い、撮像したデータをバッファ（図示せず）に格納する。特にここではライン状に順次行うことを想定しているため、順次露光を行う単位を、露光ラインと呼ぶ。図６の（ｂ）の場合は、露光ラインＬ１、Ｌ２，Ｌ３、…の順に露光が行われる。

なお、図６の（ｂ）では、一例として画像が１０本の露光ラインに分割されているが、これ以外の分割数でも良いし、また、分割単位はライン状でなくともよい。各々の露光ラインは、非常に短い時間オーバーラップして、順次露光ラインが露光されていく構成になっている。

図６の（ｃ）は、全露光ラインの撮像が終了した時点のバッファに格納されている画像を示す。この場合、フレーム内の画像の始まりと、撮像の１単位の始まりが偶然にも一致しているが、これがずれていたとしても、必ず横縞が観察される。例えば、図６の（ｃ）では上から３番目の信号が幅の短い横縞として撮像されているのに対して、ずれがある場合には横縞の画像中の場所が上下するだけである。よって、特にタイミングを制御する必要もなく、受信装置はトリガ信号をどこかから拾う必要もない。図６の（ｃ）の場合、露光ラインＬ６に符号化画像が撮像されている。

映像化部２２０は、撮像部２１０で撮像されバッファに格納されているデータを、画素毎の輝度を二次元表示したビットマップに変換し、当該ビットマップを信号判定部２３０に映像として出力する。

信号判定部２３０は、映像化部２２０より入力された映像に符号化画像が含まれているかどうかを判定する。図６の場合、信号判定部２３０は図６の（ｃ）の映像が入力されると、露光ラインＬ１〜Ｌ１０のうち露光ラインＬ６に符号化画像が挿入されていると判定し、入力された映像を信号復調部２４０に出力すると共に、撮像部２１０に撮像動作をやめるよう指示する。

信号復調部２４０は、信号判定部２３０より出力された映像から符号化画像を示す露光ラインＬ６の画像を取り出して、露光ラインＬ６の画像を元の可視光通信信号に復号する。

なお、ここでは、信号判定部２３０は、これらの判定を、入力される映像単位で行ったが、露光ライン毎に行ってもよい。その場合、信号判定部２３０は、露光ラインＬ６に符号化画像が含まれると判定した時点で、露光ラインＬ７以降の判定を行わず、撮像部２１０の動作を止めても良い。

また、図６に示すように１秒間にＦ個のフレームで映像が構成され、符号化画像が表示される期間は、１フレームのうちの一部の時間である。本実施の形態では、この時間が１フレームの１／４の場合を説明した。なお、符号化画像が表示される表示時間は１／４フレーム以外でも良いが、符号化画像をできる限り視認しにくくするという観点から、この表示時間は１／４フレーム以下が望ましい。さらに、この表示時間は、受信装置側の対応可能な範囲でできるだけ小さな値の方が望ましい。

以上のような構成により、表示装置は、短い期間、映像に、可視光通信信号の符号化画像を挿入する。また、受信装置は、露光時間を充分短く設定することで、符号化画像を撮影できる。図６に基づくと、ｎＦ分の１秒（図６の場合はｎ＝４）よりも充分早いシャッタースピード（露光時間）であれば、いずれかの露光ラインが符号化画像を表示している時間に該当する。また、露光ラインの露光時間中に、他の画像が挿入されないことが望ましい。よって、図６の例では、４Ｆ分の１秒の更に半分より小さい露光時間にすることで、確実に他の画像が挿入されない画像を撮像することが可能となる。

このように、順次露光型の撮像部を備える受信装置を用いることにより、撮像のタイミングが制約されない。これにより、単純な構成にて可視光信号を送受信することが可能となる。

なお、符号化画像を挿入する時間と、順次露光型の撮像部の走査速度及び露光時間に関しては（式１）の関係を満たすことが望ましい。これは、符号化画像が、当該符号化画像の前後の映像と一緒に露光されることにより、Ｓ／Ｎ比が極端に悪化するためである。

（式１） 露光ライン１ラインの露光時間＜１／（２×ｎＦ）

（式１）において、ｎは、映像の１フレームを均等に分割したサブフレームの数であり、Ｆは１秒間に表示されるフレーム数である。ｎ、Ｆは共に正の整数である。

また、可視光通信信号の符号化画像が、人の目に残像として認識されにくい時間幅を考慮すると、露光ライン１ラインの露光時間は、１ｍｓｅｃ以内が望ましく、０．２ｍｓｅｃ以内にすることがさらに望ましい。現在の映像信号の一般的なフレーム数Ｆ＝６０の場合には、（式１）を満たすためには、ｎ＞８が望ましく、ｎ＞４０であることがより望ましい。

以下、可視光通信信号の符号化画像を表示する時間として望ましい範囲を設定した理由を説明する。人の目の時間分解能は、一般に時間的には、５０ｍｓｅｃ程度であるとされ、それ以下は残像として前後の映像と交じり合った画像として認識される。一方で、人の目が輝度の差として捉えられる限界に関しては、個人差はあるものの、凡そ、隣接する領域の輝度差が２％あると、ほとんどの人が、輝度差があることを認識すると言われている。従って、挿入した符号化画像が前後の画像と交じり合って輝度差として認識されないためには、符号化画像が表示される時間は、５０ｍｓｅｃの２％、すなわち、１ｍｓｅｃ以下であることが望ましい。

可視光通信信号を画像中に挿入することにより、色度差が生まれる。人の目が隣接する領域の色度座標での差異を認識できる数値が０．３であることが一般に知られている。一般的な映像表示装置はＲＧＢの３色の組合せで表現されており、ＲＧＢにこれを適応すると２０％の差に相当する。よって、符号化画像が人の目で色度の差として認識されないためには、符号化画像を表示する時間は、これを掛け合わせた値である０．２ｍｓｅｃ以下であることが好ましい。更に、一般的な順次露光型イメージセンサーでは、汎用性を考えると、最低限１フレームを二分割しなければ完全に画像として残像が残る。１フレームをそのまま使用することになると、サブリミナル効果などの副作用も懸念されることから、ｎ＝２が最低限必要なフレーム分割数となる。これによると、１／４８０より小さいシャッタースピード（露光時間）を選択することが具体的な望ましい数値として挙げられる。

また、映像機器から非常に短い期間、可視光通信信号の符号化画像を出す具体的手法を説明する。ＰＤＰ（プラズマディスプレイ）、及びＥＬ（エレクトロルミネッセンス）のように動作速度が速いものは、駆動信号によって制御することでこれに対応できる。一方、ＬＣＤ（液晶ディスプレイ）などでは、駆動信号だけ高速化しても液晶の反応速度が遅いため対応できない。しかし、バックライトに、ＬＥＤ（発光ダイオード）などの点滅を高速に行える素子が用いられている場合には、ＬＥＤを消灯して短い時間だけ符号化画像を表示することが可能になる。プロジェクターについては、ＬＣＯＳ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｏｎ Ｓｉｌｉｃｏｎ）などの液晶を使用しているものであれば、同様に、光源側に制御を加えることで、短時間の表示を実現できる。更に、デジタルミラーデバイス（ＤＭＤ）など、高速駆動できるミラーデバイスにより、投影側へ光を射出する方法を用いるプロジェクターの場合には、ＤＭＤの制御によって短時間の表示を実現することも可能である。また、光源側での制御で、表示時間を短くすることもできるので、これらを合わせることで表示時間をさらに短くすることも可能である。

なお、実施の形態１においては、可視光通信信号を横方向に配列した場合について説明したが、これに限定するものではない。可視光通信信号を横方向に配列した場合、符号化画像は縦縞になる。そのため、受信装置２００の撮像部２１０が横方向を単位とした縦方向への順次露光にて画像を撮像しない場合、可視光通信信号の符号化画像を取得することができない。

また、一定以上の角度で受信装置を傾けて撮像すると、データのひとまとまりである１ブロックが撮像範囲に全て入らない、或いは縞模様と平行になるため、データを取得できないなどの課題も発生する。

図７に、符号化画像と受信装置との角度と、受信エラーの発生確率との関係の一例を示す。

図７に示すように、符号化画像の縞模様と受信装置との角度と、受信エラー（撮像エラー）の発生確率との関係は、ほぼコサイン則の形状を示す。受信装置における一つの露光ラインで得られる画格は、角度が変化すると、コサイン則に従って変化する。これにより撮像できるデータの範囲が小さくなり、一つの露光ラインで撮像できるデータが１ブロック分とほぼ同等の領域まで小さくなると、急激に誤認識の確率が高くなる。

図７は、一画面にデータが４ブロック分格納された符号化画像を用い、受信装置がほぼ全画面を撮影できる位置から、符号化画像を撮像した際の結果を示す。図７に示すように、１３５度（４５度傾けて撮影する場合）程度までの角度であれば問題なくデータを入手できることがわかる。エラー発生確率が急激に変化する角度は、全画面中にデータが何ブロック格納されるか、或いは撮像する際にどの程度の距離で、つまり全画面に対して符号化画像がどの程度の大きさに見える位置で撮像するかによって異なる。更に、画面と受信装置とが垂直になると、理論的にもデータが取れなくなるため、受信装置を視聴者がどちら向き（縦向きか横向きか）に置くかによって、全く可視光通信信号の受信ができない状況が発生することが考えられる。これらの不具合を解決するために、符号化画像を縦方向又は斜めクロスに配置したり、縦部分と横部分とを縦横で反転したパターンを配置しても良い。

図８の（ａ）は、図４における符号化画像一つだけを全画面に表示した例を示す。このような配置を用いることで、撮影された画像における符号化画像の大きさによる制限が緩和され、表示部１１０の表示面に対して長い距離を隔てた場所からの可視光通信信号の受信が可能となる。図８の（ｂ）は、符号化画像Ｐ２が横縞であり、この符号化画像Ｐ２が縦方向に４回繰り返し表示されている画像を示す。この際には、受信装置の露光ラインがほぼ鉛直方向である場合に受信できる。図８の（ｃ）は、画面全体を斜めほぼ４５度傾けた符号化画像の例を示す。図８の（ｄ）は、画面全体を（ｃ）と逆方向に約４５度傾けた符号化画像の例を示す。

図４或いは、図８に明示された画像又はこれらを一定の角度回転させた画像は、それぞれ長所と短所とがあるため、用途に応じて、これらの画像を任意に回転させて組み合わせた画像を使用してもよい。

更には、時間的に繰り返し表示を行う場合に、これらの画像を用途に応じてフレーム毎に順に或いはランダムに変化させて表示しても良い。

尚、バックライトスキャンを行う液晶表示装置など、同時に全画面が表示されない期間が存在する表示装置においては、垂直方向の縞模様を用いることで、通信確率の向上が期待できる。一方、一般的な液晶表示装置においては、縦方向にスキャンが行われるため、横縞すなわち図４の（ｂ）を適応することが望ましい。

また、全面に渡る輝度が低いレベルの画像である全黒画像の輝度レベルは、符号化画像における黒の部分、すなわち、輝度の低い部分の輝度と一致する必要はない。但し、可視光通信信号を受信する感度を考慮すると、全黒画像の輝度は、できるだけ低いことが望ましい。

また、図９の（ａ）と（ｂ）とを一定の期間内に挿入することで、図９の（ｃ）のように、平均輝度の単一色の画像として認識される。よって、１フレームの中の符号化画像を表示するサブフレーム或いは時間領域を２分割して、上記の２枚１組の白黒反転画像を表示しても良い。更に、例えば、ＲＧＢの３原色系では、Ｒ（赤）とＣ（シアン）となど互いに補色関係にある色の組合せを用いても良い。つまり、補色関係の２色を、白黒の場合と同様に、反転画像の組合せとして用いても良い。

本実施の形態では、可視光通信信号を符号化後に画像データとして出力していたが、データのブロックの境目を明示するために、通常の符号化信号ではありえない枠状の画像信号をブロックの信号の前後に挿入しても良い。この場合、受信装置は、枠状の画像信号を２つ以上認識できれば、１ブロックの信号を得たと判断するとともに、この枠状の画像信号を１ブロックの信号の画像上での大きさを確定するために使用しても良い。

図１０は、周辺照明などの光源輝度の高周波ノイズと、露光時間との関係を示している。高周波ノイズの周期に比べて露光時間が大きいほど、撮像画像に対する高周波ノイズの影響が少なくなり、光源輝度の推定が容易になる。露光時間が高周波ノイズ周期の整数倍のときは高周波ノイズの影響がなくなり、可視光通信信号の受信が最も容易になる。高周波ノイズの主な原因はスイッチング電源回路に由来する。多くの電灯用のスイッチング電源ではその周期は２０マイクロ秒以下であるため、露光時間を２０μｓｅｃ以上とすることで、光源輝度の推定を容易に行うことができる。

なお、本実施の形態では、表示装置１００として映像を表示するディスプレイを例に挙げているが、表示装置１００は、プロジェクターのように映像を投影する機器であってもよい。また、可視光通信信号を受信する電子機器である受信装置２００としてスマートフォンを例に挙げているが、受信装置２００は、順次露光が可能なタイプのイメージセンサーを搭載した電子機器であれば、デジタルスチルカメラなど、スマートフォンには限られるものではない。

次に、映像表示における階調表現について説明する。本内容については、当業者にとって当然の内容なので、簡単に触れておく。ＰＤＰでは、１フレームが、重みをつけたサブフィールドに分割され、各サブフィールドの点灯と非点灯との組合せで階調表現が行われる。また、ＬＣＤでも、ＰＤＰと同様に、重みをつけたサブフィールド分割が行われるものもあれば、単純に１フレーム内でシャッターを開放している時間が制御されることで各色の輝度が調整されることで階調表現が行われる場合もある。有機ＥＬディスプレイの駆動にも前記のどちらかの方法が用いられる場合が多い。

また、液晶を用いたプロジェクター、及びＬＣＯＳを用いたプロジェクターでは、階調表現の方法は、液晶ディスプレイと同様である。一方、ＤＭＤを用いたプロジェクターでは、光源からの光を投影レンズ側とダンパー側とに高速に切替えられるミラーを画素数の分だけ二次元的に配列した素子を用いて、フレーム毎に各色の光源から投影レンズ側へ光束を投影する時間の長さで階調表現を行っている。ＤＭＤプロジェクターでは、１フレームを更に細かく時間区分し、映像信号をＤＭＤの制御信号に変換して、投影レンズより映像を投射している。

このように、最近の映像信号を表示する映像表示装置は、ＲＧＢ、或いはその他の色も含めた原色の、１フレーム内での発光時間を制御することで映像表示を行っている。よって、１フレーム以下のレベルでの画像挿入は原理的には困難ではない。

また、符号化画像の表示方法として、一つの画像を一定期間繰り返し表示する方法を説明したが、図４或いは図８に示した画像例と連続して、白黒を逆転させた画像を表示してもよい。ここで、人の目には二つの画像が平均化された像しか認識されないため、縞模様が認識されることが更に軽減される。つまり、人の目には、二つの画像を合成して平均したグレイレベルの全面一様な画像が認識され、コントラストが多少悪化するにとどまる。白黒の表現は、１００％レベルと、０％レベルに限定するものではなく、比較的輝度の高い一つのレベルと、輝度の低い一つのレベルでも良い。尚、レベルの差が大きい方が受信装置側の制約などが緩和される一方で、信号の平均的な輝度が上昇するため、コントラストの悪化及び符号化画像が認識さやすくなるなどの弊害もあるため、総合的に勘案して適切なレベルを選ぶことが望ましい。

また、白黒の表現については、ＲＧＢ全てを表示させる白であっても良いが、白以外の色を用いることで縞の輝度の高い部分の輝度を落としても良い。また、黒のほうも、輝度が低いと言う意味であり、こちらもＲＧＢ全てを用いる或いは、非表示状態にしておくという意味での黒でなくとも良い。更には、輝度が高い部分と低い部分とで縞模様を作成するとしたが、これも、色で分離できる組合せであれば、ＲとＧの縞などで縞模様を表現しても良い。但し、この際には、撮像時にＲＧＢ分離ができるイメージセンサー及びソフトが搭載された受信装置を用いる必要がある。

また、本実施の形態によると、受信装置側のイメージセンサーにて一連の信号を一つの画像の中で完結する必要があるが、情報量が多い際には、符号化信号のヘッダーの部分に、その符号化信号が、情報が多いために複数に分割された信号であるか、また、その分割された中の何番目であるか等の情報を書き込んでも良い。具体的な例としては、ＪＥＩＴＡ−ＣＰ１２２２の規格のプリアンブルとタイプの部分を用いることで、前記の情報をいくつかの画像に分割することも可能となる。もちろん分割のやり方、分割信号の出し方及びその分割情報の画像への収納法については、この例に限らない。また、確実に可視光信号を伝達するために、繰り返し符号化画像を表示する方法があるが、この際には、分割した可視光通信信号に基づく一つの画像を繰り返して表示し、次に、分割した続きの画像を繰り返し表示させると言う方法もある。また、一連の分割した信号に基づく画像を順次表示し、これを一組として繰り返し表示させる方法もある。これらの方法のうち、情報量の大きさ及び通常の映像信号の種類などによっていずれかを選択すれば良い。

（実施の形態２）
以上のように、本開示における実装の例示として、実施の形態１を説明した。しかしながら、本開示は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態についてまとめて説明する。

実施の形態１では、表示される符号化画像の例として、ある符号化画像を鉛直方向に延伸させた後、横方向に数回繰り返した配置した例を説明した。しかし、配置例は、これに限定されない。

図８に符号化画像の他の生成例を示す。

図８の（ａ）は、図４の（ａ）の符号化画像Ｐを全画面に引き伸ばして配置した例を示す。このような配置をすることで、撮影された画像の画素の大きさによる制限が緩和され、表示部１１０に対して長い距離を隔てた場所からの信号の受信が可能となる。

図８の（ｂ）は、図４の（ａ）の符号化画像Ｐを９０度回転させ、得られた画像を横方向に延伸した符号化画像Ｐ２を縦方向に４回繰り返し表示している画像を示す。この場合、受信装置の露光ラインがほぼ鉛直方向である場合に信号を受信できる。

図８の（ｃ）は、図４の（ａ）の符号化画像Ｐを左回りでほぼ４５度傾け、得られた画像を画面全体に引き伸ばした符号化画像の例を示す。同図の（ｄ）は、符号化画像Ｐを右回りに約４５度傾けた符号化画像の例を示す。

図８の（ａ）〜（ｄ）の配置を基本形とし、これらを組合せることで様々な配置が可能となる。さらに、符号化画像を時間的に繰り返し表示する場合に、用途に応じて、表示する順番を変化させてもよいし、ランダムに画像の表示を変化させても良い。

なお、バックライトスキャンを行う液晶表示装置など、同時に全画面が表示されない期間が存在する表示装置においては、垂直方向の縞模様を用いることで、通信確率の向上が期待できる。一方、一般的な液晶表示装置においては、縦方向にスキャンが行われるため、図４の（ｂ）のような横縞の画像を適応することが望ましい。また、実施の形態１では、１／Ｆ秒間に４枚の画像を表示し、４枚目に可視光通信信号を符号化した画像を表示したが、これに限定するものではない。例えば、該当する期間のみ符号化画像を表示し、それ以外の期間については通常の映像信号による画像を表示しても良い。この際に、符号化画像を挿入する分だけ映像信号が変化してしまうが、１フレーム内の映像信号のほかの部分の信号を補正することで対応しても良い。

また、通常の映像処理部にて処理した信号をそのまま表示制御部に送って表示を行ってもよい。更には、該当する１フレームの符号化画像以外の映像信号は全て無視して、その前後の映像と合わせて黒表示或いは一定の階調の灰色表示を行って、その信号のみを受信側に対して強調する方法を取っても良い。

また、実施の形態１では、符号化画像の前に全黒画像を表示しているが、これは、映像信号の画像と混じって符号化画像が撮像されることを避けるためであり、必ずしも必要ではない。しかし、受信装置側の性能の制約がこのような全黒画像を入れることによって緩和されるため、一定の期間、全黒画像を挿入しても良い。

また、実施の形態１では、符号化画像の前側にだけ全黒画像を挿入しているが、後側に全黒画像を挿入してもよい。更には、符号化画像の前後両方に全黒画像を挿入してもよい。この場合、前後の全黒画像の部分も合わせた時間を上記の可視光通信信号の符号化画像を挿入する時間に置き換えて考えるとよい。

また、全黒画像は、全面の輝度レベルが０％である画像に限らない。全黒画像は、全面にわたり輝度が低いレベルであれば、その輝度レベルは０％でなくともよい。また、その輝度レベルは、符号化画像における黒の部分、すなわち、輝度の低い部分の輝度と一致する必要はない。但し、可視光通信信号を受信する感度を考慮すると、全面に渡る輝度が低いレベルの画像の輝度は、できるだけ輝度が低いことが望ましい。

また、符号化画像については、一つの画像を一定期間繰り返し表示する方法を説明したが、図９に示すように、同図の（ａ）に示す符号化画像と、同図の（ａ）の符号化画像の白黒を反転させた同図の（ｂ）の符号化画像とを連続して、表示してもよい。こうすることで、図９の（ｃ）のように、人の目には二つの画像が平均化された像しか認識されないため、縞模様が認識されることが更に軽減され、コントラストが多少悪化するにとどまる。白黒の表現は、１００％レベルと、０％レベルに限定するものではなく、比較的輝度の高いレベルと、輝度の低いレベルでも良い。また、輝度レベルの差が高い方が受信装置側の制約などが緩和される一方で、信号の平均的な輝度が上昇するため、コントラストの悪化及び符号化画像が認識されやすくなるなどの弊害もあるため、総合的に勘案して適切なレベルを選ぶことが望ましい。また、１フレームの中の符号化画像を表示するサブフレーム或いは時間領域を２分割して、上記の２枚１組の白黒反転画像を表示しても良い。

また、白黒の表現については、ＲＧＢ全てを表示させる白であっても良いが、白以外の色を用いて、縞の輝度の高い部分の輝度を落としても良い。また、黒のほうも、輝度が低いと言う意味であり、こちらもＲＧＢ全てを用いる或いは、非表示状態にしておくという意味での黒でなくとも良い。更には、輝度が高い部分と低い部分で縞模様を作成するとしたが、これも、色で分離できる組合せであれば、ＲとＧの縞などで縞模様を表現しても良い。更に、ＲとＣなど互いに補色関係にある色の組合せを用いても良い。つまり、補色関係の２色を、白黒の場合と同様に、反転画像の組合せとして用いても良い。この際には、撮像時にＲＧＢ分離ができるイメージセンサーとソフトが搭載された受信装置を用いる必要がある。

また、縞模様に関しては、繰り返し表示させる際に、画面上において縞模様を少しずつ移動させるスクロールを行うことで縞模様を目立たなくしてよいし、符号化画像を２つ以上の領域に分割してスクロールしても良い。この際には、２つ以上の領域のスクロールの方向及びスピードなどがそれぞれ異なっても良いし、各々が同期したスクロールを行っても良い。

また、実施の形態１では、可視光通信信号を符号化後に画像データとして出力していたが、データのブロックの境目を明示するために、通常の符号化信号ではありえない枠状の画像信号をブロックの信号の前後に挿入してもよい。この場合、受信装置は、枠状の画像信号を２つ以上認識できれば、１ブロックの信号を得たと判断するとともに、この枠状の画像信号を１ブロックの信号の画像上での大きさを確定するために使用しても良い。

また、実施の形態１によると、受信装置側のイメージセンサーにて一連の信号を一つの画像の中で完結する必要があるが、情報量が多い際には、符号化信号のヘッダーの部分に、その符号化信号が、情報が多いために複数に分割された信号であるか、また、その分割された中の何番目であるか等の情報を書き込んでも良い。具体的な例としては、ＪＥＩＴＡ−ＣＰ１２２２の規格のプリアンブルとタイプの部分を用いることで、前記の情報をいくつかの画像に分割することも可能となる。もちろん分割のやり方、分割信号の出し方及びその分割情報の画像への収納法については、この例に限らない。また、確実に可視光信号を伝達するために、繰り返し符号化画像を表示する方法があるが、この際には、分割した可視光通信信号に基づく一つの画像を繰り返して表示し、次に、分割した続きの画像を繰り返し表示させると言う方法もある。また、一連の分割した信号に基づく画像を順次表示し、これを一組として繰り返し表示させる方法もある。これらの方法のうち、情報量の大きさ及び通常の映像信号の種類などによっていずれかを選択すれば良い。

また、周辺照明などの光源輝度の高周波ノイズを考慮して、露光時間を制御してもよい。

図１０に、高周波ノイズの周期が２０マイクロ秒である場合の周辺照明などの光源輝度の高周波ノイズと、露光時間との関係を示す。高周波ノイズの周期に比べて露光時間が大きいほど、撮像画像に対する高周波ノイズの影響が少なくなり、光源輝度の推定が容易になる。露光時間が高周波ノイズ周期の整数倍のときは高周波ノイズの影響がなくなり、可視光通信信号の受信が最も容易になる。高周波ノイズの主な原因はスイッチング電源回路に由来し、多くの電灯用のスイッチング電源ではその周期は２０マイクロ秒以下であるため、露光時間を２０μｓｅｃ以上とすることで、光源輝度の推定を容易に行うことができる。

また、通常の映像の画面の一部に符号化画像をはめ込む形態で実施しても良い。この場合、画面の限られた部分だけが可視光信号の受信に用いられるため、受信装置と、画面との関係に制約が発生する。その一方で、映像信号の中に、画面のその限られた部分に受信装置を向けるように誘導する画像を表示することで、この問題を解決することもできる。更に、実施の形態１では、符号化画像を目立たなく挿入する方法について説明したが、ここでは、領域が制限されているために、信号の縞模様を目立たなくする工夫を軽減しても良い。もちろん、できるだけ、目立たない方法を取っても良いし、取らなくともよい。また、符号化画像が表示される時間を、非常に短い時間（例えば、１ｍｓｅｃ以下、望ましくは０．２ｍｓｅｃ以下）にせず、連続的或いは比較的長い時間に設定して、同様の方法で受信してもよい。この際には、受信エラーの確率が大きく減少するために繰り返し送信するなどの制約が緩和される。

なお、本実施の形態では、表示装置１００として映像を表示するディスプレイを例に挙げているが、表示装置１００はプロジェクターのように映像を投影する機器であってもよい。

また、符号化画像が表示されるフレームが連続的或いは比較的長い時間であるなど、符号化画像が人の目に認識される場合には、受信装置に具備される撮像部はＣＣＤなどのイメージセンサーでもよく、順次露光型のイメージセンサーでなくともよい。

（表示装置一般に対しての信号量を増やす符号化の一例）
符号化画像を出力する際に、符号化信号単独で或いは、符号化画像の明暗反転画像の組合せ、或いは、更に符号化画像を分割して出力して表示する方法を説明した。ここでは、表示装置は、元の符号化画像の明状態のラインのそれぞれを、何枚かの画像に分けて出力するとともに、複数の画像を出力するタイミングを設定する。そして、受信装置は、時系列で分割された枠のどの部分で画像が表示されているかを検出し、検出結果を元の信号に合わせ用いることで送信信号量を増加させる。

図１１Ａは、上記内容の一例を示した概略図である。右端の画像が、元々の符号化画像であり、表示装置は、これを例えば４つの分割符号化画像に分割する。この例では、符号化画像は、明暗の横ラインが縦方向に１２本積み重なった形である。分割符号化画像１〜４は、それぞれ元の符号化画像の３ラインずつに相当する領域を元の符号化画像と同じ位置に含む。該当する領域の明の箇所は明で、暗の箇所は暗であり、それ以外の領域は暗のラインとして表示される。各分割符号化画像は、図の下方に書かれた時間軸における矩形波で示されたタイミングで表示される。矩形波の時間軸は、縦の破線で４つの区間に区切られており、この４つの区間の各々において、対応する一つの分割符号化画像が表示される。

なお、分割数は４に限定されず、任意の数でよい。例えば、符号化画像を３つに分割してもよい。この場合、各分割符号化画像は、符号化画像の４ラインを含む。また、表示されるタイミングの枠を示す縦線による分割は３つになる（図示せず）。

さらに、それぞれ分割符号化画像を表示する区間は、４つの小区間に分割される。４つの小区間のうち、例えば、図１１Ａでは、最初の分割符号化画像１は、１番目の小区間に表示され、次の分割符号化画像２は３番目の小区間に表示され、分割符号化画像３は２番目の小区間に表示され、最後の分割符号化画像４は４番目の小区間に表示される。このように、各分割符号化画像を光らせるタイミングが１番目〜４番目の小区間の４通り存在する。即ち、このタイミングを２ｂｉｔ分の信号として用いることができる。よって、単純に１２ラインの符号化画像を出力する場合よりも分割符号化画像４枚分で計８ｂｉｔ分の信号量を増加させることができる。

もちろん、符号化画像の分割数を多くする、或いは各分割符号化画像を表示するタイミング（図１１Ａでは４つの小区間に分割されている）をもっと細かく設定することで、より信号量を増加させることができる。その一方で、符号化画像を細かく分割する或いは表示するタイミングの数を増加させると、分割符号化画像が表示される時間が短くなるので、受信装置側の制約が厳しくなる。

図１１Ｂは、前述した方法で表示した符号化画像を撮像したイメージ図である。ここでは、順次露光の時間軸方向が横方向であるため、横縞の画像が縦方向に順次取得される。時間方向の分割数を増加させると、図１１Ｂにおける撮像された画像の横方向の幅が小さくなるので、この部分を検出できる性能が撮像部に要求される。また、光っている部分の面積が小さくなることで、画像処理時に明部分と判定する閾値が低下することで、ノイズの影響を受けやすくなる。

光っている時間が短く、多くの時間幅に分解して信号を受信するためには、受信側に高い応答速度が必要である。また、短期間の発光或いは投影を撮像して明暗を判断するためには、明暗のラインの区別が可能となる輝度差が必要である。特に、外光が差し込んでいる場合には、明るさなどの環境によるＳ／Ｎ比の低下は明部分の判別に大きな影響を及ぼすため極端に分割数を増加させることは困難である。最終的に、分割数をどうするかの組合せよりも、矩形波の一つのパルス幅をいくらまで短くしても問題ないかが受信装置側の制約として存在することになる。例えば、ＪＥＩＴＡ ＣＰ−１２２２での周波数である９．６ｋＨｚを適応した場合、約１０ｋＨｚ即ちパルス幅として１００μｓｅｃ程度であれば受信を問題なく行うことができる。更に環境によってはその数倍程度、具体的には４倍の３８．４ｋＨｚ、又は４０ｋＨｚ程度の周波数に相当する２５μｓｅｃ程度までパルス幅を短くしても信号の受信が可能である。

また、映像に混在させて符号化画像が出力される。よって、符号化画像の出力に割り当てられる期間が長くなることで、全体に対する映像信号の輝度比はどんどん小さくなり、結果として映像信号のコントラストの低減につながってしまう。１フレーム中に符号化画像を挿入できる期間が全体の１０％程度になると映像信号のコントラストが急激に悪化する。よって、符号化画像を表示する時間は、通常の毎秒６０フレームの映像信号に対しては、１６．６ｍｓｅｃの１０％である１．６６ｍｓｅｃ程度が限界であり、望ましくはその半分である０．８３３ｍｓｅｃ程度までに抑えることが望ましい。

また、例えば、分割符号化画像を偶然にも連続して表示する場合、即ち、ある分割符号化画像を最後の小区間に表示し、次の分割符号化画像を最初の小区間に表示する場合には、連続して符号化画像が出力されてしまう。この場合には、二つの分割符号化画像の間に全面暗の期間を設けても良い。この方法を一般化して適応するために、分割符号化画像を表示する小区間と、次の小区間との間を常に全面暗の期間を設けても良い。

また、ここでは、元の符号化画像を４分割したが、２分割し、二つの分割符号化画像の明暗逆転画像を作成し、二つの分割符号化画像と二つの明暗逆転画像との計４枚の画像を同様にタイミングに合わせて表示しても良い。

更には、図１１Ａでは、上から順に４分割した符号化画像をその順で表示したが、表示する順序を入れ替えても良い。４つの異なる画像を順番に並べる順序は、_４Ｐ_４＝２４通り存在する。よって、この順序も信号として用いることで、更に、２４倍の種類の信号を送信することででき、約４ｂｉｔ強の信号量の増加が期待できる。

逆に、ここでは、表示タイミングを変化させることにより、信号量の増加を図ったが、タイミングは一定で、４つの分割符号化画像を出力する順序によってのみ信号量の増加を図っても良い。

図１２は、分割方法の別の例を示す概略図である。図１２に示す逆転画像（明暗逆転分割符号化画像）において、各々の対象となっている分割領域のみが明暗逆転され、その他の領域については暗レベルである。例えば、図１２の例では、逆転画像１は、上から３列を対象としているので、４列目以下は暗表示であり、１列目と３列目のみが明表示である。このため、分割符号化画像と、明暗逆転分割符号化画像は正確には全領域で明暗逆転しているのではない。このように逆転画像を作成することで、複数の逆転画像の明ラインを足し合わせた（論理和を取った）画像と、元の符号化画像の逆転画像とは一致する。

次に、分割符号化画像を出力する順序を変更して、その順序を信号として用いる方法について説明する。例えば、通常の符号化画像と、逆転画像とを用いて、それぞれを４分割し、表示するタイミングを計８箇所固定して設けた場合、８枚の画像を点灯する順序は、正相で２４通り、逆相で２４通りの、合わせて５７６通り存在する。つまり、９ｂｉｔ強の信号の増加を図ることが可能となる。更には、８枚の画像の順序を任意に決定する場合の順序は、_８Ｐ_８＝４０３２０通りであり、ほぼ１２ｂｉｔに相当する信号量の増加が見込める。ただし、符号化の方法によっては、元画像と逆転画像との区別が付かない場合があるため、重複を避けると、信号量は大きく減少する場合もある。タイミングを変化させなければ、通信期間を８分割しても、表示時間は図１１Ａの例よりも長くなるので、より効率的に信号量を増加させることが可能となる。

ここでは、元の符号化画像の分割画像を最初に順次出力し、逆転画像の分割画像を次に順次出力する順序が用いられたが、分割符号化画像１とその明暗逆転画像、分割符号化画像２とその明暗逆転画像、というような順序で、互いに逆転している画像を隣り合うタイミングで表示してもよい。これにより、符号化画像の視認性を低減できる。尚、このような方法を用いた場合の順序は、前述した２４通りと、正逆を入れ替えた順序とであり、４８通りである。つまり、４ｂｉｔ半程度の信号量の増加にとどまる。また、分割画像は連続していても良いが、分割画像の間に全面黒の画像が表示されてもよい。言い換えると、何も信号が出力されない期間が設けられても良い。

（プロジェクターなど適応する際の符号化の一例）
プロジェクターなどの映像を投影して表示する表示装置においては、表示面が一定の形状に決まっていないため、また、設置の方法などに基づく傾きなどにより、例えば、符号化画像の明暗を示す最小単位である１ラインの幅が変化する場合が考えられる。図１３は、（ａ）通常の場合、（ｂ）画像が平面に傾けられて投影された場合、（ｃ）画像が曲面に投影された場合のイメージ図である。このように、表示装置が傾いて設置される場合に加えて、投影する対象が曲がっている場合などには、撮影された符号化画像において、必ずしも１ラインの幅が一定でなく、変化する場合が考えられる。以下、この場合の符号化処理の一例を、図１４を用いて説明する。

符号化画像は、横に伸びた明暗のラインが８本縦に重ねられた構造であり、各ラインが、明暗を独立に表現できるものとする。

まず、１ラインの幅が場所によって変化するため、撮像した画像データより１ラインの幅を一意に求めることは不可能である。よって、各場所における１ラインに相当する幅が、投影された場合にどのような幅として撮像されるかを示す必要がある。この各ラインの場所（幅）を示す情報を、ヘッダーとして用いる。図１４の破線内に示したヘッダーは、ラインごとに明暗を交互に繰り返すパターンを有する。なお、図示するパターンとは明暗逆のパターンであっても構わない。

また、画像を分割するパターンを用いて可視光通信信号が送信される。例えば、図１４の（ａ）〜（ｅ）のようなパターンが用いられる。以下、送信信号を作成するパターンの数を説明する。

図１４の（ａ）は、ヘッダーの明暗逆転画像であり、このパターンは１パターンしか存在しない。図１４の（ｂ）は、図１４の（ａ）の画像を、白が１本存在する分割画像と、白が３本存在する分割画像とに分割した場合を示す。この場合、分割パターンは、最初に１本の場合が４通り、後で１本の場合が４通りの計８通り存在する。

図１４の（ｃ）は、図１４の（ａ）の画像を、白が２本存在する２つの分割画像に分割した場合を示す。この場合、組合せは、４つから２つを選ぶ組合せなので、_４Ｃ_２＝６パターンで有る。また、その順番は全ての場合を考えると、最初のパターンを選ぶと次の画像は残りの２本の選択しかないため一意に定まるので、分割パターンは６通り存在する。

図１４の（ｄ）は、図１４の（ａ）の画像を、白が２本存在する分割画像と白が１本存在する２つの分割画像とに分割した場合を示す。この場合の組合せは、最初に２本の場合で固定すると、４つから２つを選ぶ組合せなので、_４Ｃ_２＝６パターン有る。残りの２パターンの入れ替わりを考えるとその２倍、更に、白が２本の画像は最初、中、後と３通りずつ存在するので、分割パターンは、６×２×３＝３６通り存在する。

図１４の（ｅ）は、図１４の（ａ）の画像を、白が１本存在する４つの分割画像に分割する場合を示す。この場合の分割パターンは、４つから４つを選ぶ順列なので、_４Ｐ_４＝２４通り存在する。

これが分解できる全ての場合なので、合計すると、７５通りであり、単純に８本を４ＰＰＭなどで符号化した際の１２８通りと比べると送信できる信号量は大きく減少する。しかしながら、この考え方に、先に説明した発光するタイミングを４分割する方法をあわせて考えると、（ａ）では信号映像が光るタイミングが１枚分なので４倍、（ｂ）では２枚分なので１６倍、以下（ｃ）では１６倍、（ｄ）では、６４倍、（ｅ）では、２５６倍の組合せを作成することができる。これらを合計すると、８６７６通りとなり、１３ビットには足りないが、１２ビット以上の情報量の送信が可能となる。

尚、画像がヘッダーと完全に逆転している図１４の（ａ）の場合には、信号の誤認識が考えられるため、これを避けて信号を符号化することが望ましい。

更なる発展形として、図１５に示すように、図１４の（ａ）乃至（ｅ）の組合せに、全黒表示を合わせて、常に同じ回数画像を表示するための期間枠を設定してもよい。この場合、受信装置は、それぞれの固定された期間枠に当てはまる信号の種類を判別し、これらの組み合わせから信号を復号する。

図１５の（ａ）の場合には、信号が入る画像が一枚なので、この一枚の画像が４箇所のどこに入る。よって、分割パターンは、_４Ｃ_１＝４パターンである。表示タイミングを図１１Ａと同様に４分割したとすると、１６通りの出力パターンが存在する。

同様に、図１５（ｂ）の場合には、図１４で説明した８通り各々に対して、黒の入る場所を４箇所から２箇所選ぶ組合せが、_４Ｃ_２＝６通りある。よって、分割パターンは４８通りであり、これにタイミング選択をあわせると、７６８通りの出力パターンが存在する。

図１５の（ｃ）の場合には、図１４で説明した６通り各々に対して、黒の入る場所を４箇所から２箇所選ぶ組合せが、_４Ｃ_２＝６通りある。よって、分割パターンは３６通りであり、これにタイミング選択をあわせると、５７６通りの出力パターンが存在する。

図１５の（ｄ）の場合には、図１４で説明した３６通り各々に対して、黒の入る場所を４箇所から１箇所選ぶ組合せが_４Ｃ_１＝４通りある。よって、分割パターンは１４４通りであり、これにタイミング選択をあわせると、９２１６通りの出力パターンが存在する。

図１５の（ｅ）の場合には、分割パターンは、図１４で説明した２４通りから変わらず、タイミング選択をあわせると、６１４４通り出力パターンが存在する。

図１５に示す全てのパターンをあわせると、２５６通りであり、これは８ｂｉｔ相当の情報量に相当する。また、タイミング選択を合わせるとパターンは１６３８４通りであり、これは１４ｂｉｔ相当である。

尚、図１５の（ａ）については前述したとおり、ヘッダーとの誤認識の可能性が高くなるため除外してもよい。この場合、タイミング選択なしでは、パターンは２５２通りであり、これは８ｂｉｔ弱に相当する。また、タイミング選択を入れると、パターンは１６７０４通りであり、１４ｂｉｔ相当の情報量の増加が見込める。

なお、ヘッダーは、符号化画像と同一フレームの通信期間に表示されても良いし、別の期間に表示されて良い。この際に、ヘッダーの前、後、或いは、前後ともに全黒画像が挿入されても良い。

また、タイミング制御で増加した分の信号を、単純に情報量を増加させるために用いても良いし、符号化信号と同じ信号を符号化して出力し、この信号を受信信号の相互チェックに用いても良い。この際には、ほぼ全信号のチェックを行うことも可能となる。

尚、本実施の形態では、ラインが８ラインである場合を説明したが、ライン数を増加させれば信号量は増大していく。この場合も同様の方法で計算できるため、詳細は記載しないが、１６ラインの場合は、４分割でもタイミング選択なしで、パターンは６５５３６通りであり、これは１６ｂｉｔに相当する。さらに、タイミング選択を合わせた場合、パターンは３３３４８００通りであり、これは２１ｂｉｔに相当する。このように、ほぼライン数に依存した信号量が送信できる。

これは、横方向（時間方向）の分割数をｍとすると、縦方向の明ライン数ｎのそれぞれに対してｍ通りを独立して設定でき、これらのパターンの全てが異なるため、タイミング選択なしでは常に、ｍのｎ乗のパターンが存在するからである。これによると、ｍ進法でｎ桁の数字で全てのパターンが表現できるため、符号化及び復号化処理において、ｍ進数でｎ桁の数字を２進数に変換するだけでよいので、当該処理を非常に簡便に行うことができる。

また、上記説明では、ヘッダーの画像が、信号画像と同じ数の明線を示していたが、ライン数を奇数にすることにより、ヘッダーの画像が、全ラインが一つの時分割の期間に集まった場合の信号画像と重複することを避けることができる。さらに、受信装置は、異なる本数の明ラインがある場所を探すだけでヘッダーを探し当てることができる。このように、ライン数は奇数であることが望ましい。さらに、２進数に変換するなどのことを考えた際に、信号の明ラインの数が偶数であることが望ましいため、ライン数は、４ｋ＋１（ｋは１以上の整数）、で示されるライン数であることが望ましい。

一方で、分割数を増加させると、信号のＳ／Ｎ比が悪化するため、また、タイミング選択動作への影響も含め、一つの画像を出力する期間が５０〜１００μｓｅｃ程度以上になるように分割数を設定することが望ましい。また、通信期間と映像表示期間との割合において、通信期間の割合が大きくなると、コントラストの悪化などの画質劣化の課題が発生しやすくなるため、この通信期間の割合も一定値以下設定する必要がある。

（時間の制約）
前述したとおり、露光時間は２０μｓｅｃ以上が望ましい。また、一つの露光時間の中に確実に符号化画像の全てが入ることが望ましい。さらに、画像表示開始のタイミングと露光ラインの露光開始のタイミングとが異なる場合も勘案すると、露光時間は、その半分である１０μｓｅｃ以上であることが望ましい。また、人の目で見た際の視認性から、露光時間は０．２ｍｓｅｃ程度以内にすることが望ましいことは前述したとおりである。

図１６を用いてさらに詳しく説明する。図１６は、撮像部の露光時間と、露光ライン数及び撮像のフレームレート（１秒間に何枚の写真を撮ることが可能かを示す指標。単位はｆｐｓ：ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）との関連を示した概略図である。ここでフレームレートは、一般的なＦｆｐｓとし、露光ライン数はｋラインとし、露光時間はＥ秒とする。

図１６のように、一つのフレームは１／Ｆ秒であり、各露光ラインは１／ｋＦ秒ずつ順次遅れて露光が開始される。露光時間Ｅが、１フレームの時間１／Ｆを露光ライン数で割った値よりも大きい場合、即ち、１／ｋＦ秒よりも長い場合には、ある時刻において複数の露光ラインが露光される。現状の一般的な仕様では、Ｆ＝３０ｆｐｓ又はＦ＝６０ｆｐｓであり、露光ライン数は７２０本又は１０８０本などである。つまり、通常でもっとも短い露光時間である１万分の１秒程度よりも露光時間の方が長く、複数の露光ラインの露光期間が重なる場合が多いため、重なることを考慮して以下の説明を行う。

二つの信号を送信するために、異なる２種類以上の画像を連続して表示する場合を想定する。この場合において、露光期間に重なりがある場合には、各々の露光ラインに一つの画像のみを撮像させることは不可能である。

以下、複数の露光ラインに亘って複数の画像が露光された場合に、複数の画像が表示されていることを認識するための条件について説明する。画像の表示時間がＥ秒以下であれば、一つの露光ラインに複数の画像が露光される。この場合、該当する露光ラインの画像が二つ以上の画像に対応するか否かは前後の露光ラインの画像を参照して決定することができる。しかし、表示時間がＥ秒以下であると、前後の露光ラインに画像が撮像されていない場合が一定の確率で発生するため、受信確率の大幅な低下につながる。

一方で、表示時間が（Ｅ＋１／ｋＦ）秒以上になると、少なくとも連続する画像の少なくともどちらかの画像がもう一方の画像と混じらずに露光できる。さらに、異なる画像が３つ以上連続し、両端の画像以外でも同様に識別できるようにするためには、表示時間を（Ｅ＋２／ｋＦ）秒以上に設定する必要がある。この場合、複数の画像が混じって露光される露光ラインは１ライン以下となり、画像を確実に判別することが可能となる。つまり、現状の一般的な機器類の性能であるＦ＝３０ｆｐｓ、ｋ＝１０８０、Ｅ＝１／１００００ｓｅｃの場合、異なる画像を連続して表示する際の、一つの画像の表示時間は約１６０μｓｅｃ以上であることが望ましい。

次に、画像と画像との間に全面黒（輝度の低い階調）の黒画像を表示することで、画像を識別できる可能性が向上することを説明する。黒画像の表示が非常に短い場合、即ち、（１／ｋＦ）秒未満である場合には、前後の異なる画像が両方とも露光される露光ラインが少なくとも１ライン以上存在する。この露光ラインでは、前後の画像と黒画像とに時間の重みをかけた積分像が得られることになる。このため、異なる画像の間に挿入する黒画像は、少なくとも（１／ｋＦ）秒以上表示されることが好ましいい。また、当該黒画像の前後の信号画像が他の画像と混じらずに露光できる露光ラインが各々一つ以上存在するためには、黒画像の表示時間は、露光時間Ｅ秒以上であればよい。このときには、前後の信号画像の表示時間によらず、信号画像が黒画像と混じるか、信号画像のみが露光されるかのいずれかになり、複数の信号画像と一緒に露光される露光ラインは存在しない。このため、挿入する黒画像の表示時間は露光時間Ｅ秒以上であることが望ましい。

さらに、黒画像の表示時間が１／ｋＦ秒からＥ秒の間である場合について説明する。この場合、前述したとおり、異なる信号画像を異なる露光ラインにて識別できる条件は、異なる信号画像が同時に露光されていない露光ラインが少なくとも一つ以上あることであるため、表示時間は、（Ｅ−（黒画像の表示時間））秒以上であることが望ましい。即ち、黒画像の表示時間が１／ｋＦ秒以上であるとするならば、信号画像の表示時間は（Ｅ−１／ｋＦ）秒以上であることが望ましい。また、黒画像の表示時間を長く取るほど、信号画像の表示時間は短くてもよいことになる。つまり、黒画像の表示時間に応じて、信号画像の表示時間の望ましい時間が変化する。また、黒画像の表示時間が露光時間Ｅよりも長い場合には、信号画像の表示時間は、この最低限必要な望ましい時間の制約を受けない。

続いて、２つ以上の信号画像の組み合わせを表示する場合における露光時間について図１６を用いて説明する。各露光ラインの露光期間Ｌ１乃至Ｌｋにおいて撮像系に入射した画像は、この期間の画像の時間変化を積分した画像として記録される。したがって、例えば、露光期間Ｌ１に、異なる信号画像が出力されるタイミングが含まれないように、露光期間Ｌ１の開始に同期してある信号画像が表示されたとすると、少なくとも、次の信号画像の開始は露光期間Ｌ１が終了した後、すなわち露光時間Ｅ秒に相当する時間後であることが望ましい。これが、もっとも厳しいケースなので、隣接する信号画像の出力開始時刻は、少なくとも露光時間以上間隔があいていることが望ましい。ここで、信号画像の表示時間が露光時間以上であるとすると、露光期間Ｌ１及びＬ２にとどまらず、次の信号画像の表示期間に対応する露光期間Ｌ３に双方の信号の影響が及ぼされることが考えられる。このため、先の制約、すなわち、隣接する信号画像の出力開始時刻が、露光時間以上間隔があいていることを満たした上で、信号画像の間に、露光期間Ｌ１と露光期間Ｌ２との開始時刻の差分（１／ｋＦ）秒以上の黒画像を表示することが望ましい。

また、画像を表示するタイミングも信号として用いる場合も前述の例と同様である。例えば、図１１Ａ及び図１１Ｂに示すように、画像を表示する可能性のある期間を１６期間設ける。この期間の各々は露光時間以上であり、かつ、露光ラインのずれの時間以上の時間、黒画像を表示することが望ましい。

一方、図１４で説明したように、一つの通信期間内に例えば５枚の画像を表示する場合、同じ条件であっても、信号画像の表示時間を短くして黒画像の表示時間を十分に長く設定する。このように、図１４に示すような場合でも、前述した条件を適応することになんら問題はないことがわかる。

最終的に、信号画像の表示時間は、現状の機器の性能等を考慮すると、画像間に黒画像を表示しない場合には、１６０μｓｅｃ以上とすることが望ましい。また、画像間に黒画像を表示する場合には、信号画像の表示時間は、１０μｓｅｃ以上及び２００μｓｅｃ以下の少なくとも一方を満たすことが望ましい。また、黒画像の表示時間は、３０μｓｅｃ以上に設定することが望ましく、１００μｓｅｃ以上に設定することがより望ましい。これらの望ましい範囲に表示時間を設定することにより受信確率向上の効果が期待できる。

以上より、このような方法を取ることで、受信装置は、確実に各ラインに相当する場所を判定できる。具体的には、受信装置は、１ラインの幅が撮像した画像のどの大きさに相当するかが判定でき、該当する場所のラインの大きさを用いて、明暗の画像から符号への変換と、信号入力のタイミングから符号への変換を行う。これにより、画像を平面に投影する以外の場合においても、投影画像の中に挿入された符号化画像により、１２ビット以上の信号の送受信を実現することができる。例えば、プロジェクションマッピングなどと呼称される、構造物などをスクリーンとして用いる場合でも信号の送受信を実現できる。

以上のように、本実施の形態に係る表示装置は、映像信号で示される画像と、可視光通信信号が符号化されることで得られた画像とを表示する可視光通信信号表示方法を行う。

具体的には、図１７に示すように、まず、表示装置に含まれる符号化部（例えば、図２の第２の信号処理部１６０）は、可視光通信信号の少なくとも一部を符号化することで符号化画像を生成する（Ｓ１０１）。具体的には、符号化部は、図８等に示す、可視光通信信号を示す画像パターンを生成し、当該画像パターンを示す符号化画像を生成する。例えば、符号化画像は、明部と、明部より暗い（輝度が低い）暗部とで構成される。

例えば、符号化部は、可視光通信信号の全てを符号化することで符号化画像を生成する。または、符号化部は、可視光通信信号の一部を符号化することで符号化画像を生成し、他の部分を別の方法により符号化する。ここで、別の方法とは、上述したように、（１）可視光通信信号を、複数の分割画像を表示するタイミングに符号化する方法、（２）可視光通信信号を、複数の分割画像を表示する順序に符号化する方法、及び（３）可視光通信信号を、複数の分割画像の分割パターンに符号化する方法である。なお、これらの方法のうち一つのみが行われても良いし、二つ又三つが行われても良い。

次に、表示装置に含まれる分割部（例えば、図２の第２の信号処理部１６０）は、符号化画像が分割されることにより得られた複数の部分画像の各々に対応し、対応する部分画像を含むとともに、当該部分画像以外は黒画像である複数の分割画像を生成する（Ｓ１０２）。具体的には、各分割画像は、対応する部分画像を、符号化画像における当該部分画像の位置と同じ位置に含む。また、各分割画像のサイズは符号化画像のサイズと同じである。

また、黒画像とは、完全な黒（０レベル）である必要はなく、予め定められた値より輝度が低い画像である。また、黒画像は、上述した符号化画像の暗部と同じ画像であってもよい。つまり、黒画像は、所定の輝度値以下で、かつ、略均一な輝度値を有する画像である。また、分割パターンが符号化に用いられている場合には、分割部は、ステップＳ１０１で決定された分割パターンに従い、符号化画像を分割する。

また、上述したように、ステップＳ１０２において、分割部は、さらに、複数の部分画像の各々に対応し、対応する部分画像の輝度が反転された反転部分画像を含むとともに、当該反転部分画像以外は黒画像である複数の反転画像を生成してもよい。ここでは、輝度が反転されるとは、例えば、上述した符号化画像（部分画像）の明部と暗部とを入れ替えることである。

次に、表示装置に含まれる表示部（例えば、図２の表示制御部１４０及び表示部１１０）は、映像表示期間において、映像信号で示される画像を表示し、映像表示期間とは異なる通信期間において、複数の分割画像を時系列に表示する（Ｓ１０３）。例えば、映像表示期間及び通信期間は１フレーム期間に含まれる。また、符号化に、複数の分割画像を表示するタイミング又は複数の分割画像を表示する順序が用いられる場合には、表示部は、通信期間において、複数の分割画像を、決定されたタイミング又は順序で時系列に表示する。

また、上述したように、複数の反転画像が生成される場合には、表示部は、複数の分割画像に加え、当該複数の反転画像を時系列に表示する。

なお、表示部は、通信期間において、複数の分割画像の間に黒画像を表示してもよい。また、複数の反転画像が表示される場合に、複数の分割画像及び複数の反転画像の間に黒画像を表示してもよい。なお、黒画像の意味は上記と同様であり、完全な黒を意味するわけではない。

また、別の形態では、本実施の形態に係る表示装置は、映像信号で示される画像と、可視光通信信号を送信するための画像とを表示する可視光通信信号表示方法を行う。

図１８に示すように、符号化部は、可視光通信信号の少なくとも一部を、基準画像を分割するパターンに符号化する（Ｓ１１１）。基準画像は、例えば、明部と、明部より暗い（輝度が低い）暗部とで構成される。具体的には、例えば、図１４に示すように、符号化部は、基準画像を異なる数の分割画像に分割する複数のパターンから、可視光通信信号の少なくとも一部に対応するパターンを選択することで、可視光通信信号の少なくとも一部を、パターンに符号化する。例えば、図１４に示すように、複数のパターンは、複数の分割画像が、全黒画像（全てが黒画像である画像）を含むパターンを含まない。

なお、図１５に示すように、符号化部は、基準画像を同じ数の分割画像に分割する複数のパターンから、可視光通信信号の少なくとも一部に対応するパターンを選択することで、可視光通信信号の少なくとも一部を、パターンに符号化してもよい。例えば、図１５に示すように、複数のパターンは、複数の分割画像が全黒画像を含むパターンを含む。

例えば、符号化部は、可視光通信信号の全てを、基準画像を分割するパターンに符号化する。または、符号化部は、可視光通信信号の一部を、基準画像を分割するパターンに符号化し、他の部分を別の方法により符号化する。ここで、別の方法とは、（１）可視光通信信号を、複数の分割画像を表示するタイミングに符号化する方法、（２）可視光通信信号を、複数の分割画像を表示する順序に符号化する方法、及び（３）可視光通信信号を符号化画像（基準画像）に符号化する方法である。なお、これらの方法のうち一つのみが行われても良いし、二つ又三つが行われても良い。

このように、上記可視光通信信号を送信するための画像は、基準画像、及び、複数の分割画像を含む。

次に、分割部は、ステップＳ１０１で決定されたパターンに従い、基準画像を複数の分割画像に分割する（Ｓ１１２）。具体的には、分割部は、基準画像が分割されることにより得られた複数の部分画像の各々に対応し、対応する部分画像を含むとともに、当該部分画像以外は黒画像である複数の分割画像を生成する。なお、黒画像の意味は上記と同様であり、完全な黒を意味するわけではない。

次に、表示部は、映像表示期間において、映像信号で示される画像を表示し、映像表示期間とは異なる通信期間において、基準画像の輝度が反転された反転画像及び複数の分割画像を時系列に表示する（Ｓ１１３）。ここでは、輝度が反転されるとは、例えば、上述した基準画像の明部と暗部とを入れ替えることである。例えば、映像表示期間及び通信期間は１フレーム期間に含まれる。また、符号化に、複数の分割画像を表示するタイミング又は複数の分割画像を表示する順序が用いられる場合には、表示部は、通信期間において、複数の分割画像を、決定されたタイミング又は順序で時系列に表示する。

なお、表示部は、通信期間において、複数の分割画像及び反転画像の間に黒画像を表示してもよい。

さらに、これらの変形例を組み合わせても良い。

（実施の形態３）
以下、実施の形態３について説明する。

（発光部の輝度の観測）
１枚の画像を撮像するとき、全ての撮像素子を同一のタイミングで露光させるのではなく、撮像素子ごとに異なる時刻に露光を開始及び終了する撮像方法を提案する。図１９は、１列に並んだ撮像素子を同時に露光させ、列が近い順に露光開始時刻をずらして撮像する場合の例を示す。ここでは、同時に露光する撮像素子を露光ラインと呼び、その撮像素子に対応する画像上の画素のラインを輝線と呼ぶ。

この撮像方法を用いて、点滅している光源を撮像素子の全面に写して撮像した場合、図２０のように、撮像画像上に露光ラインに沿った輝線（画素値の明暗の線）が生じる。この輝線のパターンを認識することで、撮像フレームレートを上回る速度の光源輝度の変化を推定することができる。これにより、信号を光源輝度の変化として送信することで、撮像フレームレート以上の速度での通信を行うことができる。光源が２種類の輝度値をとることで信号を表現する場合、低い方の輝度値をロー（ＬＯ）、高い方の輝度値をハイ（ＨＩ）と呼ぶ。ローは光源が光っていない状態でも良いし、ハイよりも弱く光っていても良い。

この方法によって、撮像フレームレートを超える速度で情報の伝送を行う。

一枚の撮像画像中に、露光時間が重ならない露光ラインが２０ラインあり、撮像のフレームレートが３０ｆｐｓのときは、１ミリ秒周期の輝度変化を認識できる。露光時間が重ならない露光ラインが１０００ラインある場合は、３万分の１秒（約３３マイクロ秒）周期の輝度変化を認識できる。なお、露光時間は例えば１０ミリ秒よりも短く設定される。

図２０は、一つの露光ラインの露光が完了してから次の露光ラインの露光が開始される場合を示している。

この場合、１秒あたりのフレーム数（フレームレート）がｆ、１画像を構成する露光ライン数がｌのとき、各露光ラインが一定以上の光を受光しているかどうかで情報を伝送すると、最大でｆｌビット毎秒の速度で情報を伝送することができる。

なお、ラインごとではなく、画素ごとに時間差で露光を行う場合は、さらに高速で通信が可能である。

このとき、露光ラインあたりの画素数がｍ画素であり、各画素が一定以上の光を受光しているかどうかで情報を伝送する場合には、伝送速度は最大でｆｌｍビット毎秒となる。

図２１のように、発光部の発光による各露光ラインの露光状態を複数のレベルで認識可能であれば、発光部の発光時間を各露光ラインの露光時間より短い単位の時間で制御することで、より多くの情報を伝送することができる。

露光状態をＥｌｖ段階で認識可能である場合には、最大でｆｌＥｌｖビット毎秒の速度で情報を伝送することができる。

また、各露光ラインの露光のタイミングと少しずつずらしたタイミングで発光部を発光させることで、発信の基本周期を認識することができる。

図２２は、一つの露光ラインの露光が完了する前に次の露光ラインの露光が開始される場合を示している。即ち、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となっている。このような構成により、（１）一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、所定の時間内におけるサンプル数を多くすることができる。所定時間内におけるサンプル数が多くなることにより、被写体である光送信機が発生する光信号をより適切に検出することが可能となる。即ち、光信号を検出する際のエラー率を低減することが可能となる。更に、（２）一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、各露光ラインの露光時間を長くすることができるため、被写体が暗い場合であっても、より明るい画像を取得することが可能となる。即ち、Ｓ／Ｎ比を向上させることが可能となる。なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。一部の露光ラインについて部分的に時間的な重なりを持たないように構成するにより、撮像画面上における露光時間の重なりによる中間色の発生を抑制でき、より適切に輝線を検出することが可能となる。

この場合は、各露光ラインの明るさから露光時間を算出し、発光部の発光の状態を認識する。

なお、各露光ラインの明るさを、輝度が閾値以上であるかどうかの２値で判別する場合には、発光していない状態を認識するために、発光部は発光していない状態を各ラインの露光時間以上の時間継続しなければならない。

図２３は、各露光ラインの露光開始時刻が等しい場合に、露光時間の違いによる影響を示している。７５００ａは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、７５００ｂはそれより露光時間を長くとった場合である。７５００ｂのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、露光時間を長くとることが可能となる。即ち、撮像素子に入射する光が増大し、明るい画像を得ることができる。また、同一の明るさの画像を撮像するための撮像感度を低く抑えられることで、ノイズの少ない画像が得られるため、通信エラーが抑制される。

図２４は、露光時間が等しい場合に、各露光ラインの露光開始時刻の違いによる影響を示している。７５０１ａは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、７５０１ｂは前の露光ラインの露光終了より早く次の露光ラインの露光を開始する場合である。７５０１ｂのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、時間あたりに露光できるラインを増やすことが可能となる。これにより、より解像度が高くなり、多くの情報量が得られる。サンプル間隔（＝露光開始時刻の差）が密になることで、より正確に光源輝度の変化を推定することができ、エラー率が低減でき、更に、より短い時間における光源輝度の変化を認識することができる。露光時間に重なりを持たせることで、隣接する露光ラインの露光量の差を利用して、露光時間よりも短い光源の点滅を認識することができる。

図２３、図２４で説明したように、隣接する露光ラインの露光時間が、部分的に時間的な重なりをもつように、各露光ラインを順次露光する構成において、露光時間を通常撮影モードよりも短く設定することにより発生する輝線パターンを信号伝送に用いることにより通信速度を飛躍的に向上させることが可能になる。ここで、可視光通信時における露光時間を１／４８０秒以下に設定することにより適切な輝線パターンを発生させることが可能となる。ここで、露光時間は、フレーム周波数＝ｆとすると、露光時間＜１／８×ｆと設定する必要がある。撮影の際に発生するブランキングは、最大で１フレームの半分の大きさになる。即ち、ブランキング時間は、撮影時間の半分以下であるため、実際の撮影時間は、最も短い時間で１／２ｆとなる。更に、１／２ｆの時間内において、４値の情報を受ける必要があるため、少なくとも露光時間は、１／（２ｆ×４）よりも短くする必要が生じる。通常フレームレートは、６０フレーム／秒以下であることから、１／４８０秒以下の露光時間に設定することにより、適切な輝線パターンを画像データに発生させ、高速の信号伝送を行うことが可能となる。

図２５は、各露光ラインの露光時間が重なっていない場合、露光時間が短い場合の利点を示している。露光時間が長い場合は、光源は７５０２ａのように２値の輝度変化をしていたとしても、撮像画像では７５０２ｅのように中間色の部分ができ、光源の輝度変化を認識することが難しくなる傾向がある。しかし、７５０２ｄのように、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間（所定の待ち時間）ｔ_Ｄ２を設ける構成とすることにより、光源の輝度変化を認識しやすくすることが可能となる。即ち、７５０２ｆのような、より適切な輝線パターンを検出することが可能となる。７５０２ｄのように、所定の露光しない空き時間を設ける構成は、露光時間ｔ_Ｅを各露光ラインの露光開始時刻の時間差ｔ_Ｄよりも小さくすることにより実現することが可能となる。通常撮影モードが、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成である場合において、露光時間を通常撮影モード時よりも、所定の露光しない空き時間が生じるまで短く設定することにより、実現することができる。また、通常撮影モードが、前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であっても、所定の露光しない時間が生じるまで露光時間を短く設定することにより、実現することができる。また、７５０２ｇのように、各露光ラインの露光開始時刻の間隔ｔ_Ｄを大きくすることによっても、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間（所定の待ち時間）ｔ_Ｄ２を設ける構成をとることができる。この構成では、露光時間を長くすることができるため、明るい画像を撮像することができ、ノイズが少なくなることからエラー耐性が高い。一方で、この構成では、一定時間内に露光できる露光ラインが少なくなるため、７５０２ｈのように、サンプル数が少なくなるという欠点があるため、状況によって使い分けることが望ましい。例えば、撮像対象が明るい場合には前者の構成を用い、暗い場合には後者の構成を用いることで、光源輝度変化の推定誤差を低減することができる。

なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。また、全ての露光ラインにおいて、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間（所定の待ち時間）を設ける構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持つ構成とすることも可能である。このような構成とすることにより、それぞれの構成における利点を生かすことが可能となる。

図２６は、光源輝度の最小変化時間ｔ_Ｓと、露光時間ｔ_Ｅと、各露光ラインの露光開始時刻の時間差ｔ_Ｄと、撮像画像との関係を示している。ｔ_Ｅ＋ｔ_Ｄ＜ｔ_Ｓとした場合は、必ず一つ以上の露光ラインが露光の開始から終了まで光源が変化しない状態で撮像するため、７５０３ｄのように輝度がはっきりとした画像が得られ、光源の輝度変化を認識しやすい。２ｔ_Ｅ＞ｔ_Ｓとした場合は、光源の輝度変化とは異なるパターンの輝線が得られる場合があり、撮像画像から光源の輝度変化を認識することが難しくなる。

図２７は、光源輝度の遷移時間ｔ_Ｔと、各露光ラインの露光開始時刻の時間差ｔ_Ｄとの関係を示している。ｔ_Ｔに比べてｔ_Ｄが大きいほど、中間色になる露光ラインが少なくなり、光源輝度の推定が容易になる。ｔ_Ｄ＞ｔ_Ｔのとき中間色の露光ラインは連続で２ライン以下になり、望ましい。ｔ_Ｔは、光源がＬＥＤの場合は１マイクロ秒以下、光源が有機ＥＬの場合は５マイクロ秒程度となるため、ｔ_Ｄを５マイクロ秒以上とすることで、光源輝度の推定を容易にすることができる。

図２８は、光源輝度の高周波ノイズｔ_ＨＴと、露光時間ｔ_Ｅとの関係を示している。ｔ_ＨＴに比べてｔ_Ｅが大きいほど、撮像画像は高周波ノイズの影響が少なくなり、光源輝度の推定が容易になる。ｔ_Ｅがｔ_ＨＴの整数倍のときは高周波ノイズの影響がなくなり、光源輝度の推定が最も容易になる。光源輝度の推定には、ｔ_Ｅ＞ｔ_ＨＴであることが望ましい。高周波ノイズの主な原因はスイッチング電源回路に由来し、多くの電灯用のスイッチング電源ではｔ_ＨＴは２０マイクロ秒以下であるため、ｔ_Ｅを２０マイクロ秒以上とすることで、光源輝度の推定を容易に行うことができる。

図２９は、光源輝度の高周波ノイズｔ_ＨＴが２０マイクロ秒の場合の、露光時間ｔ_Ｅと高周波ノイズの大きさとの関係を表すグラフである。ｔ_ＨＴは光源によってばらつきがあることを考慮すると、グラフより、ｔ_Ｅは、ノイズ量が極大をとるときの値と等しくなる値である、１５マイクロ秒以上、または、３５マイクロ秒以上、または、５４マイクロ秒以上、または、７４マイクロ秒以上として定めると効率が良いことが確認できる。高周波ノイズ低減の観点からはｔ_Ｅは大きいほうが望ましいが、前述のとおり、ｔ_Ｅが小さいほど中間色部分が発生しづらくなるという点で光源輝度の推定が容易になるという性質もある。そのため、光源輝度の変化の周期が１５〜３５マイクロ秒のときｔ_Ｅは１５マイクロ秒以上、光源輝度の変化の周期が３５〜５４マイクロ秒のときｔ_Ｅは３５マイクロ秒以上、光源輝度の変化の周期が５４〜７４マイクロ秒のときｔ_Ｅは５４マイクロ秒以上、光源輝度の変化の周期が７４マイクロ秒以上のときｔ_Ｅは７４マイクロ秒以上として設定すると良い。

図３０は、露光時間ｔ_Ｅと認識成功率との関係を示す。露光時間ｔ_Ｅは光源の輝度が一定である時間に対して相対的な意味を持つため、光源輝度が変化する周期ｔ_Ｓを露光時間ｔ_Ｅで割った値（相対露光時間）を横軸としている。グラフより、認識成功率をほぼ１００％としたい場合は、相対露光時間を１．２以下にすれば良いことがわかる。例えば、送信信号を１ｋＨｚとする場合は露光時間を約０．８３ミリ秒以下とすれば良い。同様に、認識成功率を９５％以上としたい場合は相対露光時間を１．２５以下に、認識成功率を８０％以上としたい場合は相対露光時間を１．４以下にすれば良いということがわかる。また、相対露光時間が１．５付近で認識成功率が急激に下がり、１．６でほぼ０％となるため、相対露光時間が１．５を超えないように設定すべきであることがわかる。また、認識率が７５０７ｃで０になった後、７５０７ｄや、７５０７ｅ、７５０７ｆで、再度上昇していることがわかる。そのため、露光時間を長くして明るい画像を撮像したい場合などは、相対露光時間が１．９から２．２、２．４から２．６、２．８から３．０となる露光時間を利用すれば良い。例えば、図３１の中間モードとして、これらの露光時間を使うと良い。

図３２のように、撮像装置によっては、露光を行わない時間（ブランキング）が存在することがある。

ブランキングが存在する場合には、その時間の発光部の輝度は観察できない。

発光部が同じ信号を２回以上繰り返して送信する、または、誤り訂正符号を付加することで、ブランキングによる伝送損失を防ぐことができる。

発光部は、同じ信号が常にブランキングの間に送信されることを防ぐために、画像を撮像する周期と互いに素となる周期、または、画像を撮像する周期より短い周期で信号を送信する。

（実施の形態４）
図３３は、既に説明した実施の形態に記載の受信方法を用いたサービス提供システムを示している。

まず、サーバｅｘ８００２を管理する企業Ａ ｅｘ８０００に対して、他の企業Ｂや個人ｅｘ８００１が、携帯端末への情報の配信を依頼する。例えば、サイネージと可視光通信した携帯端末に対して、詳細な広告情報や、クーポン情報、または、地図情報などの配信を依頼する。サーバを管理する企業Ａ ｅｘ８０００は、任意のＩＤ情報に対応させて携帯端末へ配信する情報を管理する。携帯端末ｅｘ８００３は、可視光通信により被写体ｅｘ８００４からＩＤ情報を取得し、取得したＩＤ情報をサーバｅｘ８００２へ送信する。サーバｅｘ８００２は、ＩＤ情報に対応する情報を携帯端末へ送信するとともに、ＩＤ情報に対応する情報を送信した回数をカウントする。サーバを管理する企業Ａ ｅｘ８０００は、カウントした回数に応じた料金を、依頼した企業Ｂや個人ｅｘ８００１に対して課金する。例えば、カウント数が大きい程、課金する額を大きくする。

図３４は、サービス提供のフローを示している。

Ｓｔｅｐ ｅｘ８０００において、サーバを管理する企業Ａが、他企業Ｂより情報配信の依頼を受ける。次に、Ｓｔｅｐ ｅｘ８００１において、企業Ａが管理するサーバにおいて、配信依頼を受けた情報を、特定のＩＤ情報と関連付ける。Ｓｔｅｐ ｅｘ８００２では、携帯端末が、可視光通信により、被写体から特定のＩＤ情報を受信し、企業Ａが管理するサーバへ送信する。可視光通信方法の詳細については、他の実施の形態において既に説明しているため省略する。サーバは、携帯端末から送信された特定のＩＤ情報に対応する情報を携帯端末に対して送信する。Ｓｔｅｐ ｅｘ８００３では、サーバにおいて、情報配信した回数をカウントする。最後に、Ｓｔｅｐ ｅｘ８００４において、情報配信したカウント数に応じた料金を企業Ｂに対して課金する。このように、カウント数に応じて、課金を行うことにより、情報配信の宣伝効果に応じた適切な料金を企業Ｂに課金することが可能となる。

図３５は、他の例におけるサービス提供のフローを示している。図３４と重複するステップについては説明を省略する。

Ｓｔｅｐ ｅｘ８００８において、情報配信の開始から所定時間が経過したか否か判断する。所定時間内と判断されれば、Ｓｔｅｐ ｅｘ８０１１において、企業Ｂに対しての課金は行わない。一方、所定期間が経過していると判断された場合には、Ｓｔｅｐ ｅｘ８００９において、情報を配信した回数をカウントする。そして、Ｓｔｅｐ ｅｘ８０１０において、情報配信したカウントに応じた料金を企業Ｂに対して課金する。このように、所定期間内は無料で情報配信を行うことから、企業Ｂは宣伝効果などを確認した上で、課金サービスを受けることができる。

図３６は、他の例におけるサービス提供のフローを示している。図３５と重複するステップについては説明を省略する。

Ｓｔｅｐ ｅｘ８０１４において、情報を配信した回数をカウントする。Ｓｔｅｐ ｅｘ８０１５において、情報配信開始から所定期間が経過していないと判断された場合には、Ｓｔｅｐ ｅｘ８０１６において課金は行わない。一方、所定期間が経過していると判断された場合には、Ｓｔｅｐ ｅｘ８０１７において、情報を配信した回数が所定値以上か否か判断を行う。情報を配信した回数が所定値に満たない場合には、カウント数をリセットし、再度、情報を配信した回数をカウントする。この場合、情報を配信した回数が所定値未満だった、所定期間については企業Ｂに対して課金は行わない。Ｓｔｅｐ ｅｘ８０１７において、カウント数が所定値以上であれば、Ｓｔｅｐ ｅｘ８０１８においてカウント数を一度リセットし、再度カウントを再開する。Ｓｔｅｐ ｅｘ８０１９において、カウント数に応じた料金を企業Ｂに対して課金する。このように、無料で配信を行った期間内におけるカウント数が少なかった場合に、再度、無料配信の期間を設けることで、企業Ｂは適切なタイミングで課金サービスを受けることができる。また、企業Ａもカウント数が少なかった場合に、情報内容を分析し、例えば、季節と対応しない情報になっているような場合に、情報内容を変更するように企業Ｂに対し提案することが可能となる。なお、再度、無料の情報配信期間を設ける場合には、初回の所定の期間よりも短い期間としてもよい。初回の所定の期間よりも短くすることにより、企業Ａに対する負担を小さくすることができる。また、一定期間を空けて、無料の配信期間を再度設ける構成としてもよい。例えば、季節の影響を受ける情報であれば、季節が変わるまで一定期間を空けて、再度、無料の配信期間を設けることができる。

なお、情報の配信回数によらず、データ量に応じて、課金料金を変更するとしてもよい。一定のデータ量の配信は無料として、所定のデータ量以上は、課金する構成としてもよい。また、データ量が大きくなるにつれて、課金料金も大きくしてもよい。また、情報を特定のＩＤ情報に対応付けて管理する際に、管理料を課金してもよい。管理料として課金することにより、情報配信を依頼した時点で、料金を決定することが可能となる。

以上のように、添付図面及び詳細な説明によって、出願人がベストモードと考える実施の形態と他の実施の形態とを提供した。これらは、特定の実施の形態を参照することにより、当業者に対して、請求の範囲に記載の主題を例証するために提供されるものである。したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、それ以外の構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されているからといって、直ちにそれらの必須ではない構成要素が必須であるとの認定を受けるべきではない。また、請求の範囲またはその均等の範囲において、上述の実施の形態に対して、種々の変更、置き換え、付加、省略などを行うことができる。

以上、本開示の実施の形態に係る表示装置、受信装置、及び可視光通信システムについて説明したが、本開示は、この実施の形態に限定されるものではない。

また、上記実施の形態に係る表示装置、受信装置、又は可視光通信システムに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

さらに、本開示は上記プログラムであってもよいし、上記プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。さらに、ハイ／ローにより表される論理レベル又はオン／オフにより表されるスイッチング状態は、本開示を具体的に説明するために例示するものであり、例示された論理レベル又はスイッチング状態の異なる組み合わせにより、同等な結果を得ることも可能である。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

また、上記可視光通信信号表示方法に含まれる複数のステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。

以上、一つまたは複数の態様に係る表示装置、受信装置、及び可視光通信システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

本開示にかかる可視光通信信号表示方法及び表示装置は、画像以外の情報を安全にしかも能動的に取得できるため、家庭でのテレビ、ＰＣ、及びタブレットなどの機器は勿論のこと、外出先でのサイネージ、情報端末、及び情報表示機器においてもその能動性ゆえに安全に必要な情報を必要なだけ得られるという意味で、あらゆる場面での画像付帯情報の転送、及び情報発信などのさまざまな用途に適用可能である。

１００ 表示装置
１１０ 表示部
１２０ 第１の入力部
１３０ 第１の信号処理部
１４０ 表示制御部
１５０ 第２の入力部
１６０ 第２の信号処理部
２００ 受信装置
２１０ 撮像部
２２０ 映像化部
２３０ 信号判定部
２４０ 信号復調部

Claims (4)

1. 映像信号で示される画像と、可視光通信信号が符号化されることで得られた画像とを表示する可視光通信信号表示方法であって、
   前記可視光通信信号の少なくとも一部を符号化することで符号化画像を生成する符号化ステップと、
   前記符号化画像が分割されることにより得られた複数の部分画像の各々に対応し、対応する部分画像を含むとともに、当該部分画像以外は、所定の輝度値以下で、かつ、略均一な輝度値を有する画像である複数の分割画像を生成する分割ステップと、
   映像表示期間において、前記映像信号で示される画像を表示し、前記映像表示期間とは異なる通信期間において、前記複数の分割画像を時系列に表示する表示ステップとを含み、
   前記分割ステップでは、さらに、前記複数の部分画像の各々に対応し、対応する部分画像の輝度が反転された反転部分画像を含むとともに、当該反転部分画像以外は、所定の輝度値以下で、かつ、略均一な輝度値を有する画像である複数の反転画像を生成し、
   前記表示ステップでは、さらに、前記通信期間において、前記複数の反転画像を時系列に表示する
   可視光通信信号表示方法。
2. 前記符号化ステップでは、
   前記可視光通信信号の一部を符号化することで前記符号化画像を生成し、
   前記可視光通信信号の他の部分を前記複数の分割画像を表示する順序に符号化し、
   前記表示ステップでは、前記通信期間において、前記複数の分割画像を前記順序で時系列に表示する
   請求項１記載の可視光通信信号表示方法。
3. 映像信号で示される画像と、可視光通信信号が符号化されることで得られた画像とを表示する表示装置であって、
   前記可視光通信信号の少なくとも一部を符号化することで符号化画像を生成する符号化部と、
   前記符号化画像が分割されることにより得られた複数の部分画像の各々に対応し、対応する部分画像を含むとともに、当該部分画像以外は、所定の輝度値以下で、かつ、略均一な輝度値を有する画像である複数の分割画像を生成する分割部と、
   映像表示期間において、前記映像信号で示される画像を表示し、前記映像表示期間とは異なる通信期間において、前記複数の分割画像を時系列に表示する表示部とを備え、
   前記分割部は、さらに、前記複数の部分画像の各々に対応し、対応する部分画像の輝度が反転された反転部分画像を含むとともに、当該反転部分画像以外は、所定の輝度値以下で、かつ、略均一な輝度値を有する画像である複数の反転画像を生成し、
   前記表示部は、さらに、前記通信期間において、前記複数の反転画像を時系列に表示する
   表示装置。
4. 請求項１記載の可視光通信信号表示方法をコンピュータに実行させるための
   プログラム。

Images