JP2015111814A - 映像表示方法 - Google Patents

Abstract

【課題】可視光通信信号を適切に送信することができる映像表示方法を提供する。【解決手段】映像表示方法は、縞模様の画像を可視光通信画像として生成するステップＳＬ２１と、可視光通信画像の平均輝度を算出するステップＳＬ２２と、フレームにおいて表示される映像信号の画像を構成する分割画像がそれぞれ表示される少なくとも１つのサブフレームのうち、算出された平均輝度を表現するためのサブフレームである特定サブフレームにおいて表示される分割画像のみに対して、可視光通信画像を重畳することによって、可視光重畳画像を生成するステップＳＬ２３と、特定サブフレームにおいて可視光重畳画像を表示するステップＳＬ２４とを含む。【選択図】図７２Ａ

Description

本開示は、映像信号に含まれる画像を表示する映像表示方法などに関する。

可視光を用いた通信技術が提案されている。例えば特許文献１および２のように、ディスプレイ、プロジェクターなどを含めた映像表示装置において、通常の映像表示の中に可視光による通信情報を重畳して表示を行う提案がされている。

また、印刷物で試用されている電子透かし技術や、ＱＲコード（登録商標）、バーコードなどを画像中に表示して、それらの符号化された信号を介して情報を携帯電話やスマートフォン、デジタルカメラなどの撮像機器を通じて、インターネットの世界への展開をする技術がある。

但し、これらは、映像信号の表示を各画素のドライブとバックライトの制御で行っているうちのバックライトの制御の一部に可視光通信信号を符号化して重畳しているものであり、２つの系統の制御により映像表示を行っている映像表示デバイスにのみ適応可能であった。

また、画像全体に対して電子透かし状に情報を目立たない形で重畳し、受信側で重畳した情報を復号するなど、映像表示装置を使用して映像とは別の情報を、映像と同期して或いは同期せずに、関連する情報などを送受信する方法が考案されてきた。また、多少の映像の劣化はあるが、通常存在する受信機を用いてすばやく情報の分離を行おうとするなどの取り組みも成されてきた。

特開２００７−４３７０６号公報 特開２００９−２１２７６８号公報

しかしながら、従来の映像表示方法では、可視光通信用の信号を適切に送信することができないという問題がある。

本開示の映像表示方法は、映像信号に含まれる画像をフレームごとに表示する際に、当該画像の階調を複数のサブフレームを用いて表現する映像表示方法であって、可視光通信信号を符号化することによって、可視光通信用の縞模様の画像を可視光通信画像として生成する可視光通信画像生成ステップと、前記可視光通信画像の平均輝度を算出する輝度算出ステップと、前記フレームにおいて表示される前記映像信号の画像を構成する分割画像がそれぞれ表示される少なくとも１つのサブフレームのうち、算出された前記平均輝度を表現するためのサブフレームである特定サブフレームにおいて表示される分割画像のみに対して、前記可視光通信画像を重畳することによって、可視光重畳画像を生成する重畳ステップと、前記フレームに含まれる前記特定サブフレームにおいて前記可視光重畳画像を表示する重畳画像表示ステップとを含む。

本開示によれば、可視光通信用の信号を適切に送信することができる。

図１は、実施の形態１にかかる可視光通信のシステムの一例を示す概略図である。 図２は、実施の形態１にかかる映像表示装置の概略構成を示すブロック図である。 図３は、実施の形態１にかかる受信装置の概略構成を示すブロック図である。 図４は、可視光通信画像および符号化画像の一例を示す概略図である。 図５は、実施の形態１にかかる映像表示装置が可視光通信画像を通常の映像に混入して表示する動作の一例を説明する図である。 図６Ａは、実施の形態１にかかる映像表示装置と受信装置の動作を説明する図である。 図６Ｂは、実施の形態１にかかる映像表示装置と受信装置の動作を説明する図である。 図７は、可視光通信画像と受信装置の角度と撮像エラー発生確率の例を示す図である。 図８Ａは、実施の形態１にかかる映像表示装置が可視光通信画像を通常の映像に混入して表示する動作の他の例を説明する図である。 図８Ｂは、実施の形態１にかかる映像表示装置が可視光通信画像を通常の映像に混入して表示する動作の他の例を説明する図である。 図９は、可視光通信画像の他の生成例を示す図であって、可視光通信画像の縞模様と、受信機の角度と、必要な画像の大きさの関係の一例を示す概略図である。 図１０は、可視光通信画像の他の表示例を示す図である。 図１１は、周辺照明などの光源輝度の高周波ノイズと、露光時間との関係を示す図である。 図１２は、実施の形態１にかかる映像表示方法を３Ｄ表示システムに適用した場合の一例を示す図である。 図１３は、符号化画像の逆転画像の時間間隔と縞模様認識率の関係を示す図である。 図１４は、符号化画像を２枚一組で目立たなくする一例を示した模式図である。 図１５は、符号化画像を４枚一組で目立たなくする一例を示した模式図である。 図１６は、符号化画像を８枚一組で目立たなくする一例を示した模式図である。 図１７は、符号化画像を調整して元の映像を乱さない補正方法の示す一例を示す図である。 図１８は、符号化画像を調整して元の映像を乱さず挿入する方法の一例を示す図である。 図１９は、符号化画像を調整して挿入する方法の一例を示す図である。 図２０は、符号化画像を調整して挿入する方法の一例を示す図である。 図２１は、符号化画像を調整して挿入する方法の一例を示す図である。 図２２は、符号化画像を調整して挿入する方法の一例を示す図である。 図２３は、符号化画像を調整して挿入する方法の一例を示す図である。 図２４は、符号化画像を調整して挿入する方法の一例を示す図である。 図２５は、符号化画像を調整して挿入する方法の一例を示す図である。 図２６は、符号化画像を説明するための図である。 図２７は、プロジェクターにおける焦点距離調整連動操作の一例を示すフローチャートである。 図２８は、焦点距離により調整をした場合の模式図である。 図２９は、焦点距離により表示される符号化画像の一例を示す模式図である。 図３０は、プロジェクターの投影画像を撮像する受信機における焦点距離連動操作の一例を示すフローチャートである。 図３１Ａは、符号化画像と類似映像パターンの誤認識回避のための一例を示す映像出力図である。 図３１Ｂは、符号化画像と類似映像パターンの誤認識回避のための一例を示す映像出力図である。 図３２は、実施の形態１にかかる映像表示方法を照明装置に適用した一例を示す図である。 図３３は、符号化方式を示す図である。 図３４は、斜方向から撮像した場合でも受光可能な符号化方式を示す図である。 図３５は、距離によって情報量が異なる符号化方式を示す図である。 図３６は、距離によって情報量が異なる符号化方式を示す図である。 図３７は、距離に応じた可視光通信画像を表示する例を示す図である。 図３８は、受信装置による撮像結果に応じて可視光通信画像を切り替える例を示す図である。 図３９は、データを分割した符号化方式を示す図である。 図４０は、映像と可視光通信画像と黒画像を表示する時系列を示す図である。 図４１は、逆相画像を挿入する効果を示す図である。 図４２は、超解像処理を示す図である。 図４３は、可視光通信に対応していることの表示を示す図である。 図４４は、可視光通信信号を用いた情報取得を示す図である。 図４５は、映像データに可視光通信の信号データを加えたデータフォーマットを示す図である。 図４６は、立体形状を推定した結果を用いた受信が行われるための送信機の動作の一例を示す図である。 図４７は、立体形状を推定した結果を用いた受信が行われるための送信機の構成および動作の一例を示す図である。 図４８は、立体投影を示す図である。 図４９は、立体投影を示す図である。 図５０は、実施の形態２における発光部の輝度の観測方法の一例を示す図である。 図５１は、実施の形態２における発光部の輝度の観測方法の一例を示す図である。 図５２は、実施の形態２における発光部の輝度の観測方法の一例を示す図である。 図５３Ａは、実施の形態２における発光部の輝度の観測方法の一例を示す図である。 図５３Ｂは、実施の形態２における発光部の輝度の観測方法の一例を示す図である。 図５３Ｃは、実施の形態２における発光部の輝度の観測方法の一例を示す図である。 図５３Ｄは、実施の形態２における発光部の輝度の観測方法の一例を示す図である。 図５３Ｅは、実施の形態２における発光部の輝度の観測方法の一例を示す図である。 図５３Ｆは、実施の形態２における発光部の輝度の観測方法の一例を示す図である。 図５３Ｇは、実施の形態２における発光部の輝度の観測方法の一例を示す図である。 図５３Ｈは、実施の形態２における発光部の輝度の観測方法の一例を示す図である。 図５３Ｉは、実施の形態２における発光部の輝度の観測方法の一例を示す図である。 図５４は、実施の形態２における受信機の各モードの一例を示す図である。 図５５は、実施の形態２における発光部の輝度の観測方法の一例を示す図である。 図５６は、符号化画像を２台のプロジェクターを用いて合成して投影する場合の映像と信号のずれ量を示すイメージ図である。 図５７は、符号化画像を２台のプロジェクターを用いて合成して投影する場合のつなぎ目の処理を説明するイメージ図である。 図５８は、投影する対象に穴などがある場合の符号化画像の対処法を示すイメージ図である。 図５９は、投影する対象に縦横方向の柱などが存在する場合の符号化画像の一例を示すイメージ図である。 図６０は、本実施の形態の概念図である。 図６１は、スクリーンに表示されるバーコード情報の説明図である。 図６２は、モバイルデバイスの情報取得のフローチャートである。 図６３は、モバイルデバイスの情報取得のフローチャートである。 図６４は、モバイルデバイスの情報取得のフローチャートである。 図６５は、モバイルデバイスの情報取得のフローチャートである。 図６６は、スクリーンが表示する情報の説明図である。 図６７は、モバイルデバイスの情報取得のフローチャートである。 図６８は、各実施の形態に記載の表示方法や、受信方法を用いたサービス提供システムを示す図である。 図６９は、サービス提供のフローを示すフローチャートである。 図７０は、他の例におけるサービス提供を示すフローチャートである。 図７１は、他の例におけるサービス提供を示すフローチャートである。 図７２Ａは、本発明の一態様に係る映像表示方法のフローチャートである。 図７２Ｂは、本発明の一態様に係る映像表示装置のブロック図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、出願人は、当業者が本開示を十分に理解するために図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。

（発明に至った経緯）
特許文献１では、バックライトの点滅により可視光通信信号を重畳する方法をとる。そのため、バックライトの消灯時間中は可視光通信信号の送信ができない。可視光通信信号を送信ができない期間は、信号の伝達ミスの要因となるため、画質を低下した状態で通信を行うしかなかった。

また、近年の映像表示装置、特に液晶ディスプレイ、液晶を用いたプロジェクターなどの分野においては、画質改善のためにバックライトスキャンと呼ばれる技術が採用されている。バックライトスキャンとは、表示画面をいくつかの領域に分割し、その領域毎に定期的に順次点灯するようバックライトの発光を制御する技術である。撮像機器を利用する方法また、液晶を用いた映像表示装置はその動画特性の悪さを改善するため、バックライトの点灯を画像信号に応じて制限するなどの対策を採っており、バックライトを用いた可視光通信を適応しようとした際に動画特性の改善とバックライトの変調による可視光通信の両立が困難である。

一方で、これら以外の映像表示装置、例えば、デジタルミラーデバイス（以下ＤＭＤ）搭載したタイプのプロジェクター、有機ＥＬディスプレイ、プラズマディスプレイはもちろんのこと、ＣＲＴを用いた映像表示装置についても、特許文献１または２のような手法で映像信号以外の信号を重畳して送信することは不可能であった。また、印刷物で試用されている電子透かし技術や、ＱＲコード（登録商標）、バーコードなどを画像中に表示して、それらの符号化された信号を介して映像信号から情報を得、更には携帯電話やスマートフォン、デジタルカメラなどの撮像機器を通じて、インターネットの世界への展開をする方法も見られている。しかし、これらの方法では、画格サイズに制約がある、一定のレベルまで焦点を合わせのレベルなどのなければ成らない等の制限があるため、画像認識に時間がかかるという課題があり、また、そのため、専用の映像信号を少なくとも数秒以上のレベルで出力し続けなくてはならない等、一般的な使用に耐えるレベルのものではなかった。

そこで本開示は、映像信号中に非常に短い期間のみ符号化された信号を混入させ、これをある程度のサイクルで繰り返し、更に、順次露光型のイメージセンサーを用いた撮像装置を用いることで、同期を取ることも、極端に画格、映像表示装置までの距離などを気にすることなく、多くとも１秒以内という比較的短時間で、しかも、映像信号に対しては大きな外乱なく、画質を極端に低下させることもなく、可視光通信の情報を画像情報に挿入して送信できる映像表示装置、受信装置、可視光通信システム（映像表示システム）および映像表示方法を提供する。なお、本開示において、画格とは画面サイズのことである。

本発明の一態様に係る映像表示方法は、映像信号に含まれる画像をフレームごとに表示する際に、当該画像の階調を複数のサブフレームを用いて表現する映像表示方法であって、可視光通信信号を符号化することによって、可視光通信用の縞模様の画像を可視光通信画像として生成する可視光通信画像生成ステップと、前記可視光通信画像の平均輝度を算出する輝度算出ステップと、前記フレームにおいて表示される前記映像信号の画像を構成する分割画像がそれぞれ表示される少なくとも１つのサブフレームのうち、算出された前記平均輝度を表現するためのサブフレームである特定サブフレームにおいて表示される分割画像のみに対して、前記可視光通信画像を重畳することによって、可視光重畳画像を生成する重畳ステップと、前記フレームに含まれる前記特定サブフレームにおいて前記可視光重畳画像を表示する重畳画像表示ステップとを含む。

これにより、フレーム内の特定サブフレームにおいて表示される分割画像のみに対して可視光通信画像が重畳されて表示されるため、可視光通信画像が人の目に視認されてしまうことを抑えることができ、可視光通信信号を適切に送信することができる。

また、前記重畳ステップでは、前記分割画像と前記可視光通信画像のそれぞれに含まれる互いに異なる２つの輝度値のうち、低い方の輝度値を０として扱い、高い方の輝度値を１として扱う場合、前記分割画像と前記可視光通信画像とのそれぞれの輝度値の論理和または論理積を算出することによって、前記可視光重畳画像を生成してもよい。

これにより、可視光重畳画像を適切に生成することができる。

また、論理積によって前記可視光重畳画像が生成される場合には、前記映像表示方法は、さらに、前記特定サブフレームと同じ時間幅を有するサブフレームを追加サブフレームとして前記フレームに追加し、当該追加サブフレームにおいて他の可視光重畳画像を表示する追加ステップを含んでもよい。

これにより、映像信号の画像を優先して可視光通信画像の重畳が行われるため、映像信号の画像への影響を抑えることができる。

また、前記追加ステップでは、前記可視光通信画像に含まれる互いに異なる２つの輝度値が入れ換えられた画像と、前記分割画像とのそれぞれの輝度値に関する論理積を算出することによって生成される反転画像を、前記他の可視光重畳画像として表示してもよい。

これにより、可視光重畳画像がネガとポジとして表示されるため、可視光重畳画像が人の目に視認されてしまうことをさらに抑えることができる。

また、論理和によって前記可視光重畳画像が生成される場合には、前記映像表示方法は、さらに、前記特定サブフレームを分割し、分割によって生成される２つの分割サブフレームのうちの一方において他の可視光重畳画像を表示する分割ステップを含み、前記重畳画像表示ステップでは、前記２つの分割サブフレームのうちの他方において前記可視光重畳画像を表示してもよい。

これにより、可視光通信画像を優先した重畳が行われるため、可視光通信信号を確実に送信することができる。

また、前記分割ステップでは、前記可視光通信画像生成ステップで生成される可視光通信画像に含まれる互いに異なる２つの輝度値が入れ換えられた画像と、前記分割画像とのそれぞれの輝度値に関する論理和を算出することによって生成される反転画像を、前記他の可視光重畳画像として表示してもよい。

これにより、可視光重畳画像がネガとポジとして表示されるため、可視光重畳画像が人の目に視認されてしまうことをさらに抑えることができる。

また、前記少なくとも１つのサブフレームのうち、前記特定サブフレーム以外のサブフレームにおいて、前記分割画像を表示する分割画像表示ステップと、前記フレームにおいて、前記可視光重畳画像が表示される前および後のうちの少なくとも一方で、前記分割画像の平均輝度よりも一様に低い輝度の画像を識別用画像として表示する識別用画像表示ステップとを含んでもよい。

これにより、例えば全黒画像または一様に灰色の画像が識別用画像として表示される前後に可視光重畳画像が表示されるため、フレームごとに表示される画像を順次露光型のイメージセンサーを用いて撮像することによって得られる撮像画像には、可視光通信信号の開始または終了の位置を示す一様に黒または灰色のラインが表れる。したがって、その撮像画像から可視光通信信号を容易に読み出すことができる。その結果、可視光通信信号を適切に送信することができる。

また、前記映像表示方法は、さらに、前記可視光通信画像に含まれる互いに異なる２つの輝度値が入れ換えられた画像と、前記分割画像とのそれぞれの輝度値に関する論理積または論理和を算出することによって、反転可視光重畳画像を生成する反転画像生成ステップと、前記フレームにおいて、前記可視光重畳画像に続いて前記識別用画像が表示された後に、前記反転可視光重畳画像を表示する反転画像表示ステップとを含んでもよい。

これにより、可視光重畳画像と反転可視光重畳画像とがそれぞれネガとポジとして表示される際に、ネガとポジの間に識別用画像が表示される。したがって、ネガとポジのそれぞれの可視光通信信号を、上述の黒または灰色のラインを目安に、撮像画像から容易に読み出すことができる。

また、前記重畳画像表示ステップでは、前記可視光重畳画像を０．２ｍ秒以内の時間だけ表示してもよい。

これにより、可視光重畳画像が人の目に残像として視認され難くすることができる。

以下、実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態１）
図１は、実施の形態１にかかる可視光通信を可能にした映像表示システムの一例を示す概略図である。

表示装置１００は、映像表示装置であって、例えば液晶表示装置であり、表示部１１０に映像を表示することができる。また、この表示部１１０に表示されている映像には、表示されている映像に関する情報を示す可視光通信信号が挿入または重畳されている。表示装置１００の表示部１１０に表示されることによって送信された可視光通信信号を、受信装置２００は表示部１１０に表示された映像を撮像することで受信する。受信装置２００は、例えば、順次露光型のイメージセンサーが内蔵されているスマートフォンとして構成される。これによりユーザーは、表示部１１０に表示されている映像に関連する情報などを受け取ることができる。

なお、実施の形態１では、表示装置として液晶表示装置を例にあげているが、表示装置は、有機ＥＬ表示装置、プラズマ表示装置などのディスプレイ機器、或いは、プロジェクション表示装置、プロジェクターなどの投影型の表示装置であっても良い。

また、受信装置としてスマートフォンを例に挙げているが、受信装置は、順次露光が可能なタイプのイメージセンサーを搭載した電子機器であればよい。例えばデジタルスチルカメラなどでもよい。

図２は、実施の形態１にかかる表示装置１００の概略構成の一例を示すブロック図である。図２に示すように、表示装置１００は、表示部１１０、第１の入力部１２０、第１の信号処理部１３０、表示制御部１４０、第２の入力部１５０、第２の信号処理部１６０を備えている。

第１の入力部１２０は、放送電波、映像録画機、映像再生機、ＰＣ、などからアンテナケーブル、映像信号線、例えばコンポジットケーブルや、ＨＤＭＩ（登録商標）ケーブル、ＰＪＬｉｎｋケーブルなど、或いはＬＡＮケーブルなどを通じて、表示部１１０に表示される映像に関する映像信号を受信し、第１の信号処理部１３０に送信する。尚、映像録画機或いは映像再生機においては種々の記録媒体に保存した信号を用いても良い。

第１の信号処理部１３０は入力された映像信号に復号処理などの一般的な画像処理を施した後、各フレームを複数のサブフレームに分解する。第１の信号処理部１３０は、サブフレームと映像信号の大きさ、表示タイミングや明るさなどを示す情報を表示制御部１４０と第２の信号処理部１６０に送信する。

第２の入力部１５０では、ＰＣなどで作成された可視光通信信号を専用のケーブルなど、或いは、ＬＡＮケーブルなどを通じて受信する。尚、可視光通信信号は、放送電波の一部に重畳して、アンテナケーブルを通じて入力しても良いし、それを録画した映像録画機、或いは別途ＰＣなどで作成された可視光通信信号を映像信号と重畳したものを映像録画機或いは映像再生機からＨＤＭＩ（登録商標）ケーブルやＰＪＬｉｎｋケーブル等の一部のラインに載せて送受信しても良い。映像録画機或いは映像再生機においては種々の記録媒体に保存した信号を用いても良い。また、外部から受信する以外にも、表示装置のＩＤなど、表示装置に内蔵された情報を利用し、インターネットなどを通じてサーバー情報を読み込み取得する情報に代替する方法もある。第２の入力部１５０は、受信した信号を、第２の信号処理部１６０に送信する。以下、可視光通信信号の一連のデータの１まとまりを１ブロックとして標記することとする。

第２の信号処理部１６０は、第２の入力部１５０から入力された可視光通信信号の変調信号を作成し、変調信号を元に可視光通信画像を作成する。可視光通信信号の符号化では、ＪＥＩＴＡ−ＣＰ１２２２、或いは、１２２３に準拠した符号化を行っても良いし、ＩＥＥＥ−Ｐ８０２．１５．７などの規格を用いても良い。また、符号化だけであれば、それに対応した受信装置を用いて構成してもよい。これら以外の符号化方法、例えばマンチェスターコーディングなどを用いて変調しても良いし、更には、ここでは、あくまで、二値での符号化を行っていたが、階調表現をそのまま使用できることをかんがみると、三値以上で符号化する、すなわち、従来の２倍以上の情報量を伝達することも可能である。

また、第２の信号処理部１６０は、第１の信号処理部１３０から入力される映像信号に含まれる映像の明るさ等に関する情報に基づいて、１フレームを構成するサブフレームのうち、或いは複数のフレームのうちのどのサブフレーム（映像信号期間）のどの領域に可視光通信画像を挿入させるかを決定する。例えば、比較的明るく表示されるフレームの中のサブフレームを選択して可視光通信画像を挿入する。また、比較的明るく表示されるサブフレームを選択して可視光通信画像を挿入してもよい。

フレームの中に、混入するサブフレームを設定しても良いし、更には、表示部１１０が比較的明るく表示されるサブフレームを選択して可視光通信画像を混入しても良い。また、重みをつけたサブフレームを用いて階調表現している場合には、誤差拡散などにより階調表現の幅を広げている場合がある。この場合、重みの低いサブフレームを用いる際には、誤差拡散などでも輝度が変動しなく、点灯状態が継続される期間を選択して、可視光通信画像を表示しても良い。

さらに、通常の映像表示に関しては、可視光通信画像を表示することによる輝度の上昇低下を他のサブフィールドで補正する操作を行い、連続した映像として違和感なく視聴できる表示方法を用いても良い。

なお、既存のサブフレームではなく、１フレーム内に、通常の映像を表示する時間領域と、可視光通信画像を表示する時間領域を設定または作成してもよい。この際も、可視光通信画像が挿入または表示されるフレームとして、表示部１１０が比較的明るいフレームを選択しても良い。

また、可視光通信画像を挿入する位置または時間帯があらかじめ決められている場合は、第２の信号処理部１６０によって行われる、可視光通信画像を挿入するサブフレーム又は時間領域の決定に関する処理を行わなくてもよい。この場合は、予め決められているサブフレーム又は時間領域に可視光通信画像を挿入して表示または出力すればよい。

また、可視光通信画像を表示する時間は、できる限り短時間にするほうが望ましいが、受信装置側の性能によるところも大きいので、本件は後に詳述する。

第２の信号処理部１６０は、生成した可視光通信画像と可視光通信画像を挿入するサブフレーム又は時間領域を示す表示タイミング情報とを表示制御部１４０に送信する。

表示制御部１４０は、第１の信号処理部１３０及び第２の信号処理部１６０よりそれぞれ入力される表示タイミング情報に応じて、第１の信号処理部１３０より入力される映像信号に、第２の信号処理部１６０より入力される可視光通信画像を挿入する。なお、表示制御部１４０は、後述するとおり、映像の応答速度などを考慮すると、固体半導体素子を用いたスイッチングを行える素子を用いて画像表示することが望ましい。表示部１１０は、表示制御部１４０より入力される映像信号を表示する。

図３は、実施の形態１にかかる受信装置２００の一構成例を示すブロック図である。

図３に示すように、受信装置２００は、撮像部２１０、映像化部２２０、信号判定部２３０、および信号復調部２４０を備えている。

撮像部２１０は、表示部１１０に表示されている画像を撮像する。撮像部２１０は、例えば、順次露光型のイメージセンサーで構成される。撮像を開始すると、イメージセンサーは、順次横列の露光を行い、撮像したデータをバッファ（図示せず）に格納する。イメージセンサーによっては、列毎に順次露光をするものや、各露光素子毎、一定の素子の群として順次露光するものなど存在するが、取り扱いは同じで、あくまで画像の横方向に配列されたデータを取得することが目的である。

映像化部２２０は、撮像部２１０で撮像されバッファに格納されているデータに対して、各画素毎の輝度を、二次元表示したビットマップとして表現し、信号判定部２３０に映像として出力する。

信号判定部２３０は、映像化部２２０より入力された映像に可視光通信画像が含まれているかどうかを判定する。まず、１ブロックの大きさのデータごとに、データのヘッダ部分を探し、データが含まれているか否かを判断する。信号判定部２３０は入力された映像に可視光通信画像が挿入されていると判定した場合は、入力された映像を信号復調部２４０に出力すると共に、撮像部２１０に撮像動作をやめるよう指示する。また、信号判定部２３０が、入力された信号に可視光通信画像が挿入されていないと判定した場合には、撮像部２１０は、バッファに格納したデータを、撮像して得られた画像データに上書きを行いながら順次露光を更に繰り返す。ここで、信号判定部２３０は、何もしない。一定期間撮像を行っても、可視光通信画像を挿入されている映像を判定できない、または、データが入力されたと判断されなければ、信号判定部２３０は、撮像部２１０の撮像動作を停止させる。信号判定部２３０は、エラーとして信号を返しても良い。

信号復調部２４０は、信号判定部２３０より出力された映像から可視光通信画像を取り出して、元の可視光通信信号に復調する。信号復調部２４０は、二値化したデータを復号し、可視光通信信号としてメモリに格納する。

次に、可視光通信信号を画像化した可視光通信画像について説明する。

図４は、可視光通信画像の一例を示した図である。図４の（ａ）は、１ブロックの可視光通信信号を符号化した符号化画像Ｐを示し、水平方向に明暗の表示となって表現される。図４の（ａ）の符号化画像Ｐは、図４の（ｂ）に示すように、そのまま鉛直方向に、表示部１１０の両端付近まで延伸されることによって、符号化画像Ｐ１が生成される。その後、図４の（ｃ）に示すように、図４の（ｂ）の符号化画像Ｐ１を横方向に５回繰り返し表示し、最終的な可視光通信画像が生成される。ここで、横方向への繰り返し回数は、１ブロックの符号化画像の大きさと、映像の大きさに応じて決定する。

なお、１ブロックの符号化画像を延伸していることによって、後述するように、多くの露光ラインで符号化画像を捉えることができるため、受信確率を向上させることが期待できる。また、１ブロックの符号化画像を繰り返し表示しているのは、表示装置と受信装置間の距離、受信装置の撮像部の性能によって画格が異なることに対応するためである。これは、受信装置が表示部１１０全体を撮影する性能がなくても、表示部１１０に表示されている可視光通信画像のいずれかの部分を撮影すれば、図４の（ａ）で示す符号化画像Ｐ１が取得できることを示す。可視光通信画像をこのように生成することで、受信装置の撮影状況の制約を緩和することが可能となる。符号化画像の繰り返し回数は多いほど近接した撮影が有効になる。また、受信装置が、画面全体を撮像できることを前提とするならば、符号化画像を繰り返す必要は必ずしもない。

以下、実施の形態１にかかる可視光通信システム（映像表示システム）の動作について具体的に説明する。まず、表示装置１００の動作を説明する。図５は、実施の形態１にかかる表示装置の動作を説明する図である。図５において、横方向を時間軸とする。

図５の（ａ）は第１の信号処理部１３０から出力される画像、同図の（ｂ）は第２の信号処理部１６０から出力される画像、同図の（ｃ）は、表示制御部１４０から出力される画像を示す。

まず、図５の（ａ）に示すように、第１の信号処理部１３０からは、１／Ｆ秒間に４枚の画像が出力される。これは、第１の入力部１２０に入力された映像が、１／Ｆ秒間に４つの画像を表示することを示している。第１の信号処理部１３０は、表示制御部１４０に、１／Ｆ秒間に４つの画像を表示する表示タイミング情報を送信する。また、第１の信号処理部１３０は、画像Ａ１１、Ａ２１、Ａ３１、Ａ４１、…を１／Ｆ秒毎に表示制御部１４０に出力する。さらに、第１の信号処理部１３０は、表示制御部１４０に送信した表示タイミング情報と同じ表示タイミング情報を第２の信号処理部１６０に送信する。

次に、図５の（ｂ）に示すように、第２の信号処理部１６０では、予め保持している全黒画像Ｂ１と、第２の入力部１５０から入力された可視光通信信号より生成した可視光通信画像Ｃ１を表示制御部１４０に出力する。この場合、第２の信号処理部１６０は、画像Ａ１ｘ、Ａ２ｘ、Ａ３ｘ、Ａ４ｘを、画像の明るさなどから、可視光通信画像を混入する画像と決定する（ｘは、フレームのｘ番目であることを表す）。また、第２の信号処理部１６０は、１／Ｆ秒間に４枚の画像を表示し、３枚目に全黒画像Ｂｘ、４枚目に可視光通信画像Ｃｘを混入させることを決定する。第２の信号処理部１６０は、決定した表示に関する情報を、表示タイミング情報として表示制御部１４０に出力する。例えば、ｘは１である。

次に、図５に示すように、表示制御部１４０は、第１の信号処理部１３０から入力された画像Ａと、第２の信号処理部１６０から入力された全黒画像Ｂｘ、可視光通信画像Ｃｘの表示タイミングを、入力された表示タイミング情報に応じて決定する。この場合、表示制御部１４０は、表示部１１０が１／Ｆ秒間に４枚の画像を表示するよう制御する。表示制御部１４０は、４枚の画像において、１枚目、２枚目には、第１の信号処理部１３０から送信された画像Ａ１１、Ａ２１、３枚目には第２の信号処理部１６０から送信された全黒画像Ｂ１、４枚目に第２の信号処理部１６０から送信された可視光通信画像Ｃ１を表示部１１０に表示するように制御する。

さらに、表示制御部１４０は、次の１／Ｆ秒間に４枚の画像を表示するよう制御する。この場合、表示制御部１４０は、４枚の画像において、１枚目、２枚目には画像Ａ１（ｘ＋１）、Ａ２（ｘ＋１）、３枚目には全黒画像Ｂ（ｘ＋１）、４枚目には可視光通信画像Ｃ（ｘ＋１）を表示部１１０に表示するよう制御する。図５の例では、４枚目の可視光通信画像Ｃ１を９０度回転し、可視光通信画像Ｃ１と同じサイズに成型した可視光通信画像Ｃ２を混入させている。すなわち、可視光通信画像を複数回混入させるときは、同じ可視光通信画像を複数回混入させても良いし、元の可視光通信画像を反転させたり、回転させて混入させても良い。これは、受信装置２００の撮像方向、角度などに対応するのに有効である。全黒画像Ｂ１とＢ２は同じであってもよく、可視光通信画像Ｃ１とＣ２は同じものであっても、前述したように異なるものでも良い。

また、各画像Ａ１ｘ、Ａ２ｘ、Ａ３ｘ、Ａ４ｘ、全黒画像Ｂｘ、可視光通信画像Ｃｘはそれぞれ１／Ｆ秒間隔で表示される。

尚、映像によっては、可視光通信画像は連続したフレームで表示せず、いくつかのフレーム毎に表示、或いはランダムに表示しても良い。

なお、本実施の形態のサブフレームは、階調表現のために作成されたサブフレームに限らず、液晶表示装置などの所謂４倍駆動など、画質向上のために作成されたサブフレームであってもよい。

次に、受信装置２００の動作を説明する。図６Ａは、実施の形態１にかかる受信装置の動作を説明する図である。図６Ａにおいて、横方向を時間軸とする。

図６Ａの（ａ）は表示装置１００の表示部１１０に表示される画像、同図の（ｂ）は、撮像部２１０における各露光ラインの露光時間、同図の（ｃ）は受信装置が撮像した画像を示す。

図６Ａの（ａ）に示すように、表示部１１０には、１／Ｆ秒に４枚の画像が表示される。図６Ａの（ａ）の例では、４枚の画像において、３枚目に全黒画像Ｂ１、４枚目に可視光通信画像Ｃ１が表示される。

撮像部２１０は、表示部１１０に表示されている映像を撮像する。撮像部２１０が、順次露光型のイメージセンサーで構成されている場合、撮像を開始すると、イメージセンサーは、順次横列として順次露光を行い、撮像したデータをバッファ（図示せず）に格納する。各順次露光を行う単位、特にここではライン状に順次行うことを想定しているため、露光ラインと呼ぶ。図６Ａの（ｂ）の場合は、露光ラインＬ１、Ｌ２，Ｌ３、…の順に露光が行われる。

なお、図６Ａの（ｂ）では、一例としてイメージセンサーは１０本の露光ラインに分割されているが、これ以外の分割数でも良いし、また、ライン状でなくともよい。各々の露光ラインは、非常に短い時間オーバーラップして、順次ラインを露光していく構成になっている。

図６Ａの（ｃ）は、全露光ラインの撮像が終了した時点のバッファに格納されている画像を示す。この場合、フレーム内の画像の始まりと、撮像の１単位の始まりが偶然にも一致しているが、これがずれて撮像の単位が始まったとしてもよい。この場合、受信装置側での撮像した画像が、図６Ａの（ｃ）では上から３番目の横方向に信号が幅の短い横縞として撮像されているのに対して、画像中の場所が上下するだけで、必ず横縞が観察されるため、特にタイミングを制御する必要もなく、トリガ信号をどこかから拾う必要もない。図６Ａの（ｃ）の場合、露光ラインＬ６に可視光通信画像が撮像されている。

映像化部２２０は、撮像部２１０で撮像されバッファに格納されているデータに対して、各画素毎の輝度を、二次元表示したビットマップとして表現し、信号判定部２３０に映像として出力する。

信号判定部２３０は、映像化部２２０より入力された映像に可視光通信画像が含まれているかどうかを判定する。図６Ａの場合、信号判定部２３０は図６Ａの（ｃ）の映像が入力されると、露光ラインＬ１〜Ｌ１０において、露光ラインＬ６に可視光通信画像が挿入されていると判定し、入力された映像を信号復調部２４０に出力すると共に、撮像部２１０に撮像動作をやめるよう指示する。

信号復調部２４０は、信号判定部２３０より出力された映像から可視光通信画像を示す露光ラインＬ６の画像を取り出して、元の可視光通信信号に復号する。

なお、信号判定部２３０の判定は、入力される映像単位で行ったが、露光ライン毎に行ってもよい。その場合は、露光ラインＬ６に可視光通信画像が含まれると判定した時点で、露光ラインＬ７以降の判定を行わず、撮像部２１０の動作を止めても良い。

また、図６Ａに示すように１秒間にＦ個のフレームで映像が構成され、可視光通信画像が表示される期間は、１フレームのうちの一部の時間、本実施の形態では１フレームの１／４の場合を説明した。可視光通信画像が表示される期間は１／４フレーム以外でも良いが、信号をできる限り視認しにくいという面で、少なくとも１／４フレーム以下が望ましい。さらに、受信装置側の対応可能な範囲でできるだけ小さな値の方が望ましい。

以上のような構成により、短い期間に可視光信号符号化画像を挿入し、露光時間が充分短かければ、つまり、図６Ａに基づくと、ｎＦ分の１秒（図６の場合はｎ＝４）よりも充分早いシャッタースピード露光時間であれば、どこかの該当する露光ラインが可視光信号符号化画像を表示している時間に該当する。露光ラインの露光時間中に、他の画像が挿入しないことが望ましいため、更には、図６Ａの例では、４Ｆ分の１秒の更に半分より小さい露光時間にすると、確実に他の画像が挿入されない画像を撮像することが可能となる。なお、図６Ｂに示すように、全黒画像Ｂｘの代わりに、全黒画像よりも一様に輝度が明るい全グレー画像Ｂｘを挿入してもよい。

このように、順次露光型の撮像部で撮像する受信装置の組合せにより、簡便に、且つ、タイミングに制約されないため単純な構成にて、可視光信号を送受信することが可能となる。

なお、可視光通信画像を挿入する時間と、順次露光型の撮像部の走査速度及び露光時間に関しては（式１）の関係を満たすことが望ましい。これは、可視光通信画像の前後の映像信号と一緒に可視光通信画像に対して、露光ラインが露光されることにより、Ｓ／Ｎが極端に悪化するためである。

（式１） １露光ラインの露光時間＜１／（２×ｎＦ）

（式１）において、ｎは、映像の１フレームを均等に分割したサブフレームの数であり、Ｆは１秒間に表示されるフレーム数である。ｎ、Ｆは共に正の整数である。

可視光通信画像または符号化画像が、人の目に残像として認識されにくい時間幅を考えると、可視光通信画像または符号化画像を表示する１露光ラインの露光時間は、１ｍｓｅｃ以内、さらに、０．２ｍｓｅｃ以内にすることが望ましい。現在の映像信号の一般的なフレーム数Ｆ＝６０で考えると、（式１）を満たすためには、ｎ＞８、望ましくは、ｎ＞４０であることが望ましい。

以下、前記可視光通信画像または符号化画像を表示する時間として望ましい範囲を設定した理由を説明する。これは、人の目の時間分解能は、一般に時間的には、５０ｍｓｅｃ程度であるとされ、それ以下は残像として前後の映像と交じり合った画像として認識されることによる。一方で、人の目が輝度の差として捉えられる限界は、個人差はあるものの、凡そ、隣接する領域の輝度差が２％つくと、ほとんどの人が、輝度差があることを認識すると言わされている。従って、挿入した可視光通信画像または符号化画像が前後の画像と交じり合って輝度差として認識されないためには、５０ｍｓｅｃの２％、すなわち、１ｍｓｅｃ以下の時間であることが望ましい。

フレームをそのまま使用することになると、サブリミナル効果などの副作用も懸念されることから、ｎ＝２が最低限必要なフレーム分割数となる。これによると、１／４８０より小さいシャッタースピードまたは露光時間を選択することが具体的に望ましい数値として挙げられる。詳細については、後述する。

また、映像機器から非常に短い期間、可視光通信画像または符号化画像を出す具体的手法としては、ＰＤＰや、ＥＬのように、動作速度が速いものは、駆動信号によって制御することで対応できるが、ＬＣＤなどでは、駆動だけ高速化しても液晶の反応速度が遅い場合には対応できない。このような際には、特にバックライトが、ＬＥＤなど点滅が高速にできるものであれば、ＬＥＤを消灯して短い時間だけ表示することが可能になる。プロジェクターについては、ＬＣＯＳなど、液晶を使用しているものも同様に、光源側に制御を加えて、短時間の表示を実現できる。更に、デジタルミラーデバイス（ＤＭＤ）など、高速駆動できるミラーデバイスにて、投影側へ光を射出する方法を取るプロジェクターの場合には、ＤＭＤの制御によって短時間表示することも可能であり、また、光源側での制御で、時間を切ることもでき、さらに、これらを合わせて時間を短くすることも可能である。

なお、実施の形態１においては、可視光通信信号を横方向に配列した場合について説明したが、これに限定するものではない。可視光通信信号を横方向に配列した場合、符号化画像は縦縞になる。そのため、受信装置２００の撮像部２１０が横方向を単位とした縦方向への順次露光する方向にて画像を撮像しない場合、可視光通信信号の符号化画像を取得することができない。

また、一定以上の角度で受信装置を傾けて撮像すると、データのひとまとまり１ブロックが撮像範囲に全て入らない、或いは縞模様と平行になるため、データは取り得ないなどの課題も発生する。

図７に、可視光通信画像と受信装置との角度と、受信エラーの発生確率および、必要な画像の大きさの関係の一例を示す。

図７に示すように、可視光通信画像の縞模様と、受信装置の角度と、撮像受信エラーの発生確率の関係は、ほぼコサイン則の形状を示すグラフに成る。これは、受信装置機における１つの露光ラインで得られる画格は、角度が変化すると、コサイン則に従ってその撮像できるデータの範囲が小さくなり、１つの露光ラインで撮像できるデータが１ブロック分とほぼ同等の領域まで小さくなると、急激にその誤認識の確率が高くなる。図７では、全画面にデータが４ブロック分格納された可視光通信画像または符号化画像を用い、受信装置機の撮像がほぼ、全画面で取れる位置から撮像した際の結果であり、１３５度（４５度傾けて撮影する場合）程度までの角度であれば問題なくデータを入手できることがわかる。急激に変化する角度は、全画面中にデータが何ブロック格納されるか、或いは撮像する際にどの程度の距離で、全画面に対してどの程度の大きさに見える位置で撮像するかによって異なる。更に、垂直になると、理論的にもデータが取れなくなるため、受信装置を視聴者がどちら向き（縦向きか横向きか）に置くかによって、全く可視光通信信号の受信ができない状況が発生することが考えられる。これらの不具合を解決するために、可視光通信画像を縦方向や斜めに配置したり、縦部分と横部分で反転させるパターンに配置しても良い。

例えば、図８Ａに示すように、縦方向の縞模様の可視光通信画像Ｃ１と、横方向の縞模様の可視光通信画像Ｃ２と、斜め方向の縞模様の可視光通信画像Ｃ３と、可視光通信画像Ｃ３と逆の斜め方向の縞模様の可視光通信画像Ｃ４とを表示してもよい。さらに、図８Ｂに示すように、縦方向の縞模様の可視光通信画像Ｃ１ａと、可視光通信画像Ｃ１ａの輝度（白と黒）を反転させた画像である可視光通信画像Ｃ１ｂと、横方向の縞模様の可視光通信画像Ｃ２ａと、可視光通信画像Ｃ２ａの輝度（白と黒）を反転させた画像である可視光通信画像Ｃ２ｂと、斜め方向の縞模様の可視光通信画像Ｃ３ａと、可視光通信画像Ｃ３ａの輝度（白と黒）を反転させた画像である可視光通信画像Ｃ３ｂと、可視光通信画像Ｃ３ａと逆の斜め方向の縞模様の可視光通信画像Ｃ４ａと、可視光通信画像Ｃ４ａの輝度（白と黒）を反転させた画像である可視光通信画像Ｃ４ｂと、を表示してもよい。

図９の（ａ）は、図４における符号化画像Ｐを１つだけ全画面にした表示例である。このような配置をすることで、撮影された可視光通信画像の画素の大きさによる制限が緩和され、表示部１１０に対して長い距離を隔てた場所からの受信が可能となる。図９の（ｂ）は、図４と全く同様に、符号化画像Ｐが横縞からなり、縦方向に４階繰り返し表示している画像である。この際には、受信機の順次露光ラインがほぼ鉛直方向になる方向で受信できる。図９の（ｃ）は、画面全体を斜めほぼ４５度に配列した符号化画像の例である。図９の（ｄ）は（ｃ）と逆方向に約４５度に配列した符号化画像の例である。以降は、図４及び図９の（ａ）乃至（ｄ）の何れかを基本形としてそれらを組合せた例として示した図である。図９の（ｅ）は、市松模様にこのような配置をする際に、画面の少なくとも市松模様の一つの単位以上の画格にて撮像することで、受信機における撮像装置の向き及び角度は、どこを向いていても信号を受信することが可能となる。図９の（ｆ）は、画面の約半分を斜め４５度、残りをそれに直交する方向に配列した符号化画像である。図９の（ｇ）は、データの１ブロックが画面上側では画面全体（縦縞なので横方向）にデータが４ブロック、画面下半分では、画面全体でデータが２ブロック繰り返し表示された画像にしている。これは、受信機にて撮像する場所と、表示面との距離が近ければ、受信機側で撮像する画像が大きく、その解像度は高くなるため、データのブロック数が多くなる方が有利である。しかし、比較的はなれた場所から撮像する際には、解像度が低くなるため、データのブロック数が少なくなるほうが好まし。したがって、どちらにも対応できるために、これらをあわせた画像を作成して表示しても良い。ここでは、４ブロックと、２ブロックの例を示したが、これ以外の数の組合せでもよい。図９の（ｈ）は、１画像を上下方向に分割し、それぞれの領域で、可視光通信画像の縞の位相を変化させた画像にしている。これによると、場所による明暗の局在化を避けることができるため、視線移動に伴うフリッカ防止の効果が期待できる。ここでは、縦縞で、縦方向の分割を５つにし、一番上と一番下の位相が揃うように順次位相変化させているが、分割数もこれに限らず、また、位相変化もランダムでも良い。

また、図４或いは、図９に明示された画像又はこれらを一定の角度だけ回転させた画像は、それぞれ長所と短所があるため、用途に応じて、これらの画像を任意に回転させて組み合わせた画像を使用してもよい。

更には、時間的に繰り返し表示を行う場合に、これらの画像を用途に応じてフレーム毎に順に或いはランダムに変化させて表示しても良い。

尚、順次スキャンを行い、バックライトスキャンを行う液晶など、同時に全画面が表示されない期間が存在する表示機器においては、スキャンの方向と垂直方向の縞模様を用いることで、通信確率の向上が期待できる。一般的な液晶表示装置においては、縦方向にスキャンが行われるため、横縞すなわち図４の（ｂ）を適応することが望ましい。

全黒画像の輝度レベルは、可視光通信画像または符号化画像における黒の部分、すなわち、輝度の低い部分の輝度と一致する必要はない。但し、可視光通信信号を受信する感度を考慮すると、全面に渡る輝度が低いレベルの画像の輝度は、できるだけ輝度が低いことが望ましい。図１０の（ａ）と（ｂ）と（ｃ）のように、１フレームの中の可視光通信画像を表示するサブフレーム或いは時間領域を２分割して、上記の２枚１組の白黒反転画像を用いても良い。更に、ＲとＣなど互いに補色関係にある色の組合せを用いても良い。補色関係の２色を用いると、白黒の場合と同様に、反転画像の組合せを用いても良い。

本実施の形態では、可視光通信信号を符号化後に画像データとして出力していたが、データのブロックの境目を明示するために、通常の符号化信号ではありえない枠状の画像信号を前後に挿入し、前記枠状の画像信号が２つ以上認識されれば、１ブロックの信号を得たと判断するとともに、１ブロックの信号の画像上での大きさを確定するために使用しても良い。

図１１は、周辺照明などの光源輝度の高周波ノイズと、露光時間との関係を示している。高周波ノイズ周期に比べて露光時間が大きいほど、撮像画像は高周波ノイズの影響が少なくなり、光源輝度の推定が容易になる。露光時間が高周波ノイズ周期の整数倍のときは高周波ノイズの影響がなくなり、可視光通信信号の受信が最も容易になる。高周波ノイズの主な原因はスイッチング電源回路に由来し、多くの電灯用のスイッチング電源ではその周期は２０マイクロ秒以下であるため、露光時間を２０μｓｅｃ以上とすることで、光源輝度の推定を容易に行うことができる。

なお、本実施形態では、表示装置１００として映像を表示するディスプレイを例に挙げているが、図１に示す通り、プロジェクターのように映像を投影する機器であってもよい。また、可視光通信信号を受信する電子機器としてスマートフォン２００を例に挙げているが、可視光通信信号を受信できる、順次露光が可能なタイプのイメージセンサーを搭載した電子機器であれば、デジタルスチルカメラなど、スマートフォンには限られるものではない。

次に、映像表示における階調表現について説明する。本内容については、当業者にとって当然の内容なので、簡単に触れておく。ディスプレイの範疇では、ＰＤＰは、１フレームを、重みをつけたサブフィールド（サブフレーム）に分割し、各サブフィールドの点灯非点灯の組合せで階調表現をするものもある。また、ＬＣＤでも、ＰＤＰと同様に、重みをつけたサブフィールド分割するものもあれば、単純に１フレーム内でシャッターを開放している時間を制御して各色の輝度を調整し、階調表現をするものもある。有機ＥＬのディスプレイの駆動も前記のどちらかの方法を取っている場合が多い。一方、プロジェクター関連では、液晶を用いたプロジェクターや、ＬＣＯＳを用いたプロジェクターでは、階調表現の方法は、液晶ディスプレイと同様である。ＤＭＤを用いたプロジェクターでは、光源からの光を投影レンズ側とダンパー側に高速に切替えられるミラーを画素数の分だけ二次元的に配列した素子を用いて、各フレーム毎に各色の光源から投影レンズ側へ光束を投影する時間の長さで階調表現を行っている。ＤＭＤプロジェクターでは、１フレームを更に細かく時間区分し、映像信号をＤＭＤの制御信号に変換して、投影レンズより映像を投射している。このように、最近の映像信号を表示する映像表示装置は、ＲＧＢ、或いはこの他の色も含めた原色の１フレーム内での発光時間を制御することで映像表示を行っており、１フレーム以下のレベルでの画像挿入は原理的には困難ではない。

以下、上記実施の形態について、改めて説明する。

図２は、表示装置１００の概略構成を示すブロック図である。図２に示すように、表示装置１００は、第１の入力部１２０と、第１の信号処理部１３０と、表示制御部１４０と、表示部１１０と、第２の入力部１５０と、第２の信号処理部１６０と、を有する。

第１の入力部１２０には、表示部１１０に表示される映像に関する映像信号が入力される。この映像信号は、第１の信号処理部１３０に伝送され、画質の処理などの一般的な画像処理が施される。その後、映像信号は、表示制御部１４０に送信される。

表示制御部１４０は、映像信号に基づいて表示部１１０に映像を表示するよう制御する。表示部１１０は、例えばプロジェクターの投影レンズ或いはそこからの光信号を投影したスクリーンである。表示制御部１４０は、映像信号に基づいてＤＭＤの反射方向制御等を行う。

第２の入力部１５０には、可視光通信に用いられる信号が入力される。入力された可視光通信信号は、第２の信号処理部１６０に伝達され、可視光通信信号の符号化処理や、それを元にした画像の作成などが行われる。また、第２の信号処理部１６０には、第１の信号処理部１３０からの映像信号も送信される。この映像信号には、映像の明るさ等に関する情報が含まれている。第２の信号処理部１６０は、この情報に基づいて、１フレームの複数の時間領域のうち、どの領域を可視光通信領域として用いるかを決定する。例えば、表示部１１０内が比較的明るく表示される時間領域を可視光通信領域として設定してもよい。その後、第２の信号処理部１６０において符号化された可視光通信信号を画像化し、前記可視光通信領域において、通常の映像信号の代わりに符号化され、画像化された可視光通信信号が映像信号として表示制御部１４０を経て表示部１１０に表示され、視聴者は視認できる。

なお、可視光通信領域の時間帯があらかじめ決められている場合は、上記のような第２の信号処理部１６０での可視光通信領域の決定に関する処理は行わなくてもよい。

また、可視光通信信号を符号化した画像を表示する時間幅は、できる限り短期間にするほうが望ましいが、受信機側の性能によるところも大きいので、本件は後に詳述する。

また、前記、可視光通信信号を符号化した信号を表示する際の前後の映像信号の取り扱いであるが、該当する期間のみ可視光通信信号を符号化した画像を表示し、それ以外の期間については通常の映像信号による画像を表示しても良い。この際に、可視光通信画像または符号化画像を挿入する分だけ映像信号が変化してしまうが、１フレーム内の映像信号のほかの部分の信号を補正することで対応しても良いし、そのまま通常の映像処理部にて処理した信号をそのまま表示制御部に送って表示を行ってもよい。更には、該当する１フレームの可視光通信画像または符号化画像をのぞく映像信号は全て無視して、その前後の映像と合わせて黒表示或いは一定の階調の灰色表示を行って、その信号のみを受信側に対して強調する方法を取っても良い。

次に、可視光通信画像または符号化画像について説明する。図４は、可視光通信画像または符号化画像の一例を示した図である。この図では水平方向に可視光信号が符号化されたデータが明暗の表示となって表現されており、そのまま鉛直方向に両端付近まで延伸している画像となっている。これは、横方向には符号化画像のデータを上下（左右）で数回繰り返し同じパターンを表示している。これは、受信側のイメージセンサーでの撮像画格が画面全体を撮影しなければならない等の制約を回避するためで、繰り返し回数は多いほど近接した撮影まで有効になる。また、画面全体を取ることを前提とするならば、繰り返しはせずに、一回にて充分になる。画像の作成例の詳細は後述し、図４の例を用いて、可視光通信信号を受信する際の形態について例を挙げて説明する。

図５は、可視光通信画像または符号化画像を通常の映像に混入して表示した際の受信側との関連を例示したものである。

横方向に時間が流れているとして考えると、該当する可視光通信画像または符号化画像が混入している映像を表示している際に、受信機側で受信走査に入ると、順次露光型のイメージセンサーが作動を始める。ここでは特に、順次横列として順次露光、データの格納を行う。イメージセンサーによっては、列毎に順次露光をするものや各露光素子毎、一定の素子の群として順次露光するものなど存在するが、取り扱いは同じで、あくまで画像の横方向に配列されたデータを取得することが目的である。この際に、格納されたデータについて、可視光通信信号に相当すると判断される信号でなければ、さらに順次露光を継続し、また、前記信号に相当すると判断すれば、格納されたデータを取り出し復号化を行う部分に信号が送られる。

本例では、横方向に信号が配列されているため、縦縞になり、受信機側のイメージセンサーは横方向を単位とした縦方向への順次露光する方向にて画像を撮像しなければデータを得ることができない。また、一定以上の角度で受信機を傾けて撮像すると、データのひとまとまりが撮像範囲に全て入らない、或いは縞模様と平行になるため、データは取り得ないなどの課題も発生する。

図７に、可視光画像の縞模様と、受信機の角度と、必要な画像の大きさの関係の一例を示す。このように、ほぼコサイン則の形状を示すグラフに成るため、３０度程度までの角度であれば大きな問題にはならない。その一方で、垂直になると、理論的にもデータを取れる見込みがないため、受信機を視聴者がどちら向き（縦向きか横向きか）に置くかによって、全く可視光通信信号の受信ができない状況が発生することが考えられる。これらの不具合を解決するための一例として、図９に示す種々の信号パターンを用いても良い。

縦でも横でも斜めでも、縦部分と横部分で反転させるパターンなどでも良い。

受信機のイメージセンサーの性能及び設定と、可視光通信画像または符号化画像を表示する期間の関係などを図６Ａに示す。各順次露光を行う単位、特にここではライン状に順次行うことを想定しているため、露光ラインと呼ぶ。図６Ａでは、一例として１０本の露光ラインに分割されているが、これ以外の分割数でも良いし、また、ライン状でなくともよい。各々の露光ラインは、非常に短い時間オーバーラップして、順次ラインを露光していく構成になっている。図のように１秒間にＦ個のフレームで映像が構成されているとする。可視光通信画像または符号化画像は、そのうちの一部の時間に表示される。本実施の形態では、その時間を１フレームの１／ｎとしたが、これ以外でも良い。信号をできる限り視認しにくいという面で、少なくとも１／４以下で、受信機側の対応可能な範囲でできるだけ小さな値の方が望ましい。図中に、順次露光のイメージセンサーを用いて、映像表示中に受信機側で撮像した画像の例を示す。図６Ａでは、フレーム内の画像の始まりと、撮像の１単位の始まりが偶然にも一致しているが、これがずれて撮像の単位が始まったとしてもよい。受信機側での撮像した画像が、図６Ａでは上から３番目の横方向に信号が幅の短い横縞として撮像されているのに対して、画像中の場所が上下するだけで、必ず横縞が観察されるため、特にタイミングを制御する必要もなく、トリガ信号をどこかから拾う必要もない。以上のような構成により、非常に短い期間に可視光通信画像または符号化画像を挿入し、露光時間を充分短くする。ここでは図９に基づくと、ｎＦ分の１秒よりも充分早いシャッタースピードであれば、どこかの該当する露光ラインが可視光信号画像または符号化画像を表示している時間に該当する。露光ラインの露光時間中に、他の画像が混入しないことが望ましいため、更には、図６ＡでのｎＦ分の１秒の更に半分より小さい露光時間にすると、必ず他の画像が混入されない画像を撮像することが可能となる。このように、順次露光型イメージセンサーで撮像する受信機の組合せにより、簡便に、タイミングに制約されないため単純な構成にて可視光信号を送受信することが可能となる。

尚、可視光通信画像または符号化画像を挿入する時間と、順次露光型のイメージセンサーの走査速度及びシャッター速度に関しては下記の関係を満たすことが望ましい。これは、可視光通信画像または符号化画像の前後の映像信号と一緒に可視光通信画像に対して、露光ラインが露光されることにより、Ｓ／Ｎが極端に悪化するためであり、望ましくは上記（式１）の通りの条件をみたす構成にすると良い。

ここで人の目に残像としても残りにくい時間幅を考えると、露光時間は１ｍｓｅｃ以内、望ましくは、０．２ｍｓｅｃ以内と成る。現在の一般的なフレーム数 Ｆ＝６０ で考えると、式１を満たすためには、ｎ＞８、望ましくは、ｎ＞４０であることが望ましい。

これは、人の目の分解能が時間的には、５０ｍｓｅｃ程度で、それ以下は残像として前後の映像と交じり合った画像として認識される。一方で、人の目が輝度の差として捉えられる限界は、２％と言われ、極短い期間に可視光通信符号化画像を挿入して、それが、前後の画像と交じり合って輝度差として認識するためには、５０ｍｓｅｃの２％、１ｍｓｅｃ以下であれば輝度差として認識できないため、１ｍｓｅｃ以下の時間であることが望ましい。さらに、一般的な映像表示装置は、ＲＧＢ表示されており、これらの色度差として、同じ輝度であれば、Δｕ‘ｖ’が０．３程度で差が目立つ様になるため、これをＲＧＢ単色のエネルギー比で表せると、約２０％の差に相当する。このため、更に望ましくは、０．２ｍｓｅｃ以下の期間に表示することが望ましい。

尚、一般的な順次露光型イメージセンサーでは、汎用性を考えると、最低限１フレームを二分割しなければ完全に画像として残像が残り、１フレームをそのまま使用することになると、サブリミナル効果などの副作用も懸念されることから、ｎ＝２が最低限必要なシャッタースピードの速度であり、これには、１／４８０のシャッタースピードが具体的な数値として挙げられる。

また、図６Ａには、可視光通信画像または符号化画像の前に全黒画像をおいているが、これは、前記のとおり、映像信号画像と混じって信号を受信することを避けるためで、必ずしも必要ではない。しかし、上記受光機側の性能の制約がこのような信号を入れることによって緩和されるため、一定の期間全黒画像を挿入しても良い。また、図６Ａでは、前側にだけ全黒画像を挿入しているが、後側だけでも一定の効果は期待できる。更には、前後両方に挿入することによって、更に望ましい範囲の制約は改善され、前後の全黒の部分も合わせた時間を上記の可視光通信画像または符号化画像を挿入する時間に置き換えて考えるとよい。尚、全黒画像と記述した箇所については、画像レベル０％に限らず、画面全体にわたり同一レベルであれば、０％に限らない。

可視光信号画像または符号化画像については、一つの画像を一定期間繰り返し表示する方法を説明したが、図４或いは図９に示した画像例と連続して、白黒を逆転させた画像（反転画像、白黒反転画像、逆転画像、逆相画像、あるいは逆位相画像ともいう）を出すことで、人の目には平均化した像しか残らないため、縞模様と言う認識は更に軽減される。つまり、合成して平均したグレイレベルの全面一様な画像と認識され、コントラストが多少悪化するにとどまる。白黒の表現は、１００％レベルと、０％レベルに限定するものではなく、比較的輝度の高い一つのレベルと、輝度の低い１つのレベルでも良い。尚、レベルの差は高い方が受信機側の制約などが緩和される一方で、平均的な信号による輝度は上昇するため、コントラストの悪化や信号画像が見えやすくなるなどの弊害もあるため、総合的に勘案してよいレベルを選ぶことが望ましい。

白黒の表現については、ＲＧＢ全てを表示させる白であっても良いが、特に、輝度を落とすための方法として、白以外の色を用いて、縞の輝度の高い部分の輝度を落としても良い。また、縞を目立たなくするため、黒のほうも、輝度が低いと言う意味であり、こちらもＲＧＢ全てを用いる或いは、非表示常態にしておくという意味での黒でなくとも良い。更には、輝度が高い部分と低い部分で縞模様を作成するとしたが、これも、色で分離できる組合せであれば、ＲとＧの縞などで縞模様を表現しても良い。但し、この際には、撮像時にＲＧＢ分離ができるイメージセンサーとソフトが搭載された受信機を用いる必要がある。

また、縞模様に関しては、繰り返し表示させる際に、画面上を少しずつ移動させるスクロールを行うことで目立たなくしてよいし、信号符号画像を２つ以上の領域に分割してスクロールしても良い。この際には、スクロールの方向、スピードなどそれぞれ異なる動き方をして良いし、各々が同期したスクロールを行っても良い。

図１２に示すとおり、近年、種々の映像で取り入れられている、メガネ式の３Ｄ映像においては、映像信号が出力されるタイミングにおいては、左右のうちの一方の眼のみに出力される。可視光信号符号化画像は、両方の眼に出力されない。可視光通信画像を表示している期間は、メガネのシャッターを閉じることにより、視聴者が違和感なく視聴できる。

このような機能を実現するため、本実施形態の表示装置１００は、可視光通信信号の変調信号を作成する第２の信号処理部１６０と、変調信号を元に可視光通信画像または符号化画像を作成し、これを一定の期間表示するための時間制御部と、可視光通信画像を出力するための映像出力部を具備する。つまり、表示装置１００は、信号画像を表示するまたは転送する時間帯を示す信号を受けることで映像出力部から信号画像を一定期間出力する機構を具備する。尚、映像の応答速度などを考慮すると、固体半導体素子を用いたスイッチングを行える素子を用いて画像表示することが望ましい。

また、本実施の形態では、表示部１１０の最上部に相当する部分にて可視光通信信号を優先して出力する構成としたが、可視光通信信号を優先する領域は表示部１１０の少なくとも１つの領域であればよい。また、その領域に関しても、信号伝達の精度を求める場合には領域を広く、また、画質を優先している場合には、バックライトスキャンの最小単位のうちの、できるだけ少ない領域で行うことが望ましい。

また、可視光通信信号を符号化する際には、ＪＥＩＴＡ−ＣＰ１２２２，或いは、１２２３に準拠した符号化を行っても良いし、ＩＥＥＥ−Ｐ８０２．１５．７などの規格を用いても良い。また、符号化だけであれば、それに対応した受信装置を用いて構成してもよい。これら以外の符号化方法、例えばマンチェスターコーディングなどを用いて変調しても良い。更には、ここでは、あくまで、二値での符号化を行っていたが、階調表現をそのまま使用できることをかんがみると、三値以上で符号化する、すなわち、従来の２倍の情報量を伝達することも可能である。

また、本実施の形態によると、受信機側のイメージセンサーにて一連の信号を一つの画像の中で完結する必要があるが、情報量が多い際には、符号化信号のヘッダーの部分を用いて、当該信号画面（可視光通信画像または符号化画像）があるのか、情報が多いために複数に分割され、その分割された中の何番目にあるか等の情報を書き込んでも良い。具体的な例としては、ＪＥＩＴＡ−ＣＰ１２２２の規格のプリアンブルとタイプの部分を用いると、前記の情報をいくつかの画像に分割することも可能となる。もちろん分割のやり方、分割信号の出し方及びその分割情報の画像への収納法については、この例に限らない。また、確実に可視光通信信号を伝達する際に、繰り返し信号画像を表示する方法があるが、この際には、分割した可視光通信信号に基づく一つの画像を繰り返して表示し、次に、分割した続きの画像を繰り返し表示させると言う方法もある。また、一連の分割した信号に基づく画像を順次表示し、これを一組として繰り返し表示させる方法もある。これらの選択については、情報量の大きさや通常映像信号の種類などによってどちらを選択しても良い。

以上のように、本開示における実装の例示として、実施の形態１を説明した。しかしながら、本開示は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、変形例についてまとめて説明する。

実施の形態１では、可視光通信画像における符号化画像の配置例として、符号化画像を鉛直方向に延伸させた後、横方向に数回繰り返した配置した例を説明した。しかし、配置例は、これに限定されない。

図９に可視光通信画像の他の生成例を示す。

図９の（ａ）は、図９の（ａ）の符号化画像Ｐを全画面に引き伸ばして配置した例である。このような配置をすることで、撮影された画像の画素の大きさによる制限が緩和され、表示部１１０に対して長い距離を隔てた場所からの受信が可能となる。

図９の（ｂ）は、図９の（ａ）の符号化画像Ｐを９０度回転させ、横方向に延伸した符号化画像Ｐ２を縦方向に４回繰り返し表示している画像である。この場合は、受信装置の順次露光ラインがほぼ鉛直方向になる方向で受信できる。

図９の（ｃ）は、図４の（ａ）の符号化画像Ｐを斜め左回りでほぼ４５度にし、画面全体に引き伸ばし配列した可視光通信画像の例である。同図の（ｄ）は、同図の（ｃ）の可視光通信画像を斜め右回りに約４５度に配列した可視光通信化画像の例である。

図９の（ａ）〜（ｄ）の配置を基本形とし、これらを組合せることで様々な配置が可能となる。例えば、図９の（ｅ）は、画面を８分割し、縦方向、横方向に配列させた可視光通信画像を市松模様に混在させている例である。このような配置をする際に、画面の少なくとも市松模様の一つの単位以上の画格にて撮像することで、受信装置における撮像部の向き及び角度は、どこを向いていても撮像することが可能となる。図９の（ｆ）は、画面を斜めに分割し、同図の（ｃ）と同図の（ｄ）の配置を組み合わせ配列の一例である。

図９の（ｇ）は、画面上側では元の符号化画像を縦方向に延伸して生成した符号化画像Ｑ１を画面全体に横方向に４回繰り返し配置し、画面下側では、元の符号化画像を横方向に延伸して生成した符号化画像Ｑ２を画面全体で横方向に２回繰り返し配置した例である。このように配置することで、受信装置にて撮像する場所と、表示部との距離が近ければ、受信装置側で撮像する画像が大きく、その解像度は高くなり、比較的離れた場所から撮像する際には、解像度が低くなる。すなわち、表示部１１０との距離が近いところで撮像する場合は、繰り返し表示数を多い方が好ましく、距離が離れているところでは、繰り返し表示回数が少ない方が好ましい。従って、図９の（ｇ）のように表示することで、どちらの場合にも対応できる。なお、図９の（ｇ）では、２回と４回の繰り返し配置の組み合わせを示したが、これ以外の数の組合せでもよい。

図９の（ｈ）は、生成し、水平方向に繰り返した可視光通信画像を上下方向に５分割し、分割したそれぞれの領域で、可視光通信画像の縞の位相を変化させた画像にしている。これによると、場所による明暗の局在化を避けることができるため、視線移動に伴うフリッカ防止の効果が期待できる。ここでは、縦縞の可視光通信画像を、縦方向に５分割し、一番上と一番下の位相が揃うように順次位相変化させているが、分割数や位相変化はこれに限らず、ランダムでも良い。

また、図４或いは、図９で説明した画像は、それぞれ長所および短所があるため、用途に応じて、これらの画像を任意に組み合わせた画像を使用してもよい。また、その際に、画像を任意の角度に回転して使用しても構わない。

さらに、可視光通信画像を時間的に繰り返し表示する場合に、用途に応じてフレーム毎に、表示する順番またはランダムに画像の表示を変化させても良い。

なお、順次スキャンを行い、バックライトスキャンを行う液晶表示装置など、同時に全画面が表示されない期間が存在する表示装置においては、スキャン方向と垂直方向の縞模様を用いることで、通信確率の向上が期待できる。一般的な液晶表示装置においては、縦方向にスキャンが行われるため、図４の（ｂ）のような横縞の画像を適応することが望ましい。また、実施の形態１では、１／Ｆ秒間に４枚の画像を表示し、４枚目に可視光通信信号を符号化した画像を表示したが、これに限定するものではない。例えば、該当する期間のみ可視光通信画像を表示し、それ以外の期間については通常の映像信号による画像を表示しても良い。この際に、可視光通信信画像を挿入する分だけ映像信号が変化してしまうが、１フレーム内の映像信号のほかの部分の信号を補正することで対応しても良い。

また、そのまま通常の映像処理部にて処理した信号をそのまま表示制御部に送って表示を行ってもよい。更には、該当する１フレームの可視光通信画像以外の映像信号は全て無視して、その前後の映像と合わせて黒表示或いは一定の階調の灰色表示を行って、その信号のみを受信側に対して強調する方法を取っても良い。

また、実施の形態１では、可視光信号画像の前に全黒画像をおいているが、これは、映像信号画像と混じって信号を受信することを避けるためであり、必ずしも必要ではない。しかし、受信装置側の性能の制約がこのような信号を入れることによって緩和されるため、一定の期間全黒画像を挿入しても良い。

また、実施の形態１では、可視光通信画像の前側にだけ全黒画像を挿入しているが、後側に挿入してもよい。更には、可視光通信画像の前後両方に挿入してもよい。この場合、前後の全黒画像の部分も合わせた時間を上記の可視光信号符号化画像を挿入する時間に置き換えて考えるとよい。

また、全黒画像は、全面の輝度レベルが０％とした画像に限らない。全黒画像は、全面にわたり輝度が低いレベルであれば、その輝度レベルは０％でなくともよい。また、その輝度レベルは、可視光通信画像における黒の部分、すなわち、輝度の低い部分の輝度と一致する必要はない。但し、可視光通信信号を受信する感度を考慮すると、全面に渡る輝度が低いレベルの画像の輝度は、できるだけ輝度が低いことが望ましい。

また、可視光通信画像については、一つの画像を一定期間繰り返し表示する方法を説明したが、図１０に示すように、同図の（ａ）に示す可視光通信画像と、同図９の（ａ）の可視光通信画像において白黒を反転させた同図の（ｂ）の可視光通信画像とを連続して、表示してもよい。こうすることで、図１０の（ｃ）のように、人の目には平均化した像しか残らないため、縞模様と言う認識は更に軽減され、コントラストが多少悪化するにとどまる。白黒の表現は、１００％レベルと、０％レベルに限定するものではなく、比較的輝度の高いレベルと、輝度の低いレベルでも良い。また、輝度レベルの差は高い方が受信装置側の制約などが緩和される一方で、平均的な信号による輝度は上昇するため、コントラストの悪化や信号画像が見えやすくなるなどの弊害もあるため、総合的に勘案してよいレベルを選ぶことが望ましい。また、１フレームの中の可視光通信画像を表示するサブフレーム或いは時間領域を２分割して、上記の２枚１組の白黒反転画像を用いても良い。

また、白黒の表現については、ＲＧＢ全てを表示させる白であっても良いが、特に、輝度を落とすための方法として、白以外の色を用いて、縞の輝度の高い部分の輝度を落としても良い。また、縞を目立たなくするため、黒のほうも、輝度が低いと言う意味であり、こちらもＲＧＢ全てを用いる或いは、非表示常態にしておくという意味での黒でなくとも良い。更には、輝度が高い部分と低い部分で縞模様を作成するとしたが、これも、色で分離できる組合せであれば、ＲとＧの縞などで縞模様を表現しても良い。更に、ＲとＣなど互いに補色関係にある色の組合せを用いても良い。補色関係の２色を用いると、白黒の場合と同様に、反転画像の組合せを用いても良い。この際には、撮像時にＲＧＢ分離ができるイメージセンサーとソフトが搭載された受信装置を用いる必要がある。

また、縞模様に関しては、繰り返し表示させる際に、画面上を少しずつ移動させるスクロールを行うことで目立たなくしてよいし、信号符号画像を２つ以上の領域に分割してスクロールしても良い。この際には、スクロールの方向、スピードなどそれぞれ異なる動き方をして良いし、各々が同期したスクロールを行っても良い。

また、実施の形態１では、可視光通信信号を符号化後に画像データとして出力していたが、データのブロックの境目を明示するために、通常の符号化信号ではありえない枠状の画像信号を前後に挿入し、前記枠状の画像信号が２つ以上認識されれば、１ブロックの信号を得たと判断するとともに、１ブロックの信号の画像上での大きさを確定するために使用しても良い。

また、実施の形態１によると、受信装置側のイメージセンサーにて一連の信号を一つの画像の中で完結する必要があるが、情報量が多い際には、符号化信号のヘッダーの部分を用いて、当該信号画面があるのか、情報が多いために複数に分割され、その分割された中の何番目にあるか等の情報を書き込んでも良い。具体的な例としては、ＪＥＩＴＡ−ＣＰ１２２２の規格のプリアンブルとタイプの部分を用いると、前記の情報をいくつかの画像に分割することも可能となる。もちろん分割のやり方、分割信号の出し方及びその分割情報の画像への収納法については、この例に限らない。また、確実に可視光信号情報を伝達する際に、繰り返し信号画像を表示する方法があるが、この際には、分割した可視光通信画像に基づく一つの画像を繰り返して表示し、次に、分割した続きの画像を繰り返し表示させると言う方法もあり、また、一連の分割した信号に基づく画像を順次表示し、これを一組として繰り返し表示させる方法もある。これらの選択については、情報量の大きさや通常映像信号の種類などによってどちらを選択しても良い。

また、周辺照明などの光源輝度の高周波ノイズを考慮して、露光時間を制御してもよい。

図１１に、高周波ノイズ周期が２０マイクロ秒である場合の周辺照明などの光源輝度の高周波ノイズと、露光時間との関係を示す。高周波ノイズ周期に比べて露光時間が大きいほど、撮像画像は高周波ノイズの影響が少なくなり、光源輝度の推定が容易になる。露光時間が高周波ノイズ周期の整数倍のときは高周波ノイズの影響がなくなり、可視光通信信号の受信が最も容易になる。高周波ノイズの主な原因はスイッチング電源回路に由来し、多くの電灯用のスイッチング電源ではその周期は２０マイクロ秒以下であるため、露光時間を２０μｓｅｃ以上とすることで、光源輝度の推定を容易に行うことができる。

また、通常の映像の画面の一部に可視光通信画像または符号化画像をはめ込む形態で実施しても良い。この場合、表示部の画面の限られた部分だけで可視光通信信号を受信することができるため、受信装置と、画面との関係に制約が発生する。その一方で、映像信号の中の画面のその限られた部分に、受信装置機を向けるように誘導する画像を表示することで、解決することもできる。更に、実施の形態１では、可視光通信画像または符号化画像を目立たなく挿入する方法について説明したが、ここでは、領域が制限されているために、信号の縞模様を目立たなくする工夫を軽減しても良い。もちろん、できるだけ、目立たない方法を取っても良いし、取らなくともよい。また、時間は非常に短い時間、例えば、１ｍｓｅｃ以下、望ましくは０．２ｍｓｅｃ以下にせず、連続的或いは比較的長い時間のみ表示して、同様の方法で受信する方法をとってもよい。この際には、受信エラーの確率が大きく減少するために繰り返し送信するなどの制約が緩和される。

なお、本実施の形態では、表示装置１００として映像を表示するディスプレイを例に挙げているが、プロジェクターのように映像を投影する機器であってもよい。

また、図１２に示すとおり、近年、種々の映像で取り入れられているメガネ式の３Ｄ映像において適応しても良い。この場合、映像信号と少なくとも同じタイミングにおいて、可視光通信画像または符号化画像は、左右のうちの少なくとも一方のみに出力される、或いは両方に出力されない。これにより、信号画像を表示している期間は表示している側のメガネのシャッターを閉じることにより、視聴者が違和感なく視聴できる。

また、本実施の形態では、可視光通信画像の表示フレームが、連続的或いは比較的長い時間であるなど、人の目に認識される場合には、受信機に具備される撮像部はＣＣＤなどのイメージセンサーであれば、順次露光型のイメージセンサーでなくともよい。

第２の入力部１５０への信号入力の例を以下に開示する。

可視光通信信号を外部から入力し、表示装置の内部にてデコードをして符号化画像化まで行い表示する場合、外部より、符号化画像を入力して表示を行う場合、表示装置の内部に可視光通信信号或いは符号化画像がメモリに記録されており、符号化画像を出力する命令に従って表示する場合がある。

第一の場合と第二の場合には外部よりの通信手段が必要となる。前述したとおり、通信手段も有線の場合と無線の場合があり、有線の場合にはＨＤＭＩ（登録商標），ＤＶＩ，ＲＳ２３２Ｃ，ＵＳＢ，ＬＡＮ，ＲＧＢモニターケーブルなどの各種の映像や信号通信用のケーブルを適応することが可能となる。また、同軸ケーブルやツイストペアケーブルなど単独のケーブルを用いて信号を入力してもよい。さらには、テレビ送信などの電波に信号を重畳し、アンテナなどでこれを受信し、同軸ケーブルにて入力する方法もある。無線での通信では、一般的なＷｉｆｉや、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｅｇｂｅｅなどの電波を用いる方法、ＩｒＤＡなどの赤外線を用いる方法、また、ＮＦＣなどの近距離通信を用いる方法での入力も可能である。

具体的な入力ラインの例として、下記に一例を示す。

ＨＤＭＩ（登録商標）では、望ましくは、１３，１４番ピンを用いて入力するか、或いは、通常の映像情報等の情報と時分割によって１，３，４，６，７，９，１６，１９番ピンを用いて通信してもよい。

ＤＶＩでは、通常の映像情報等の情報と時分割によって１，２，４，５，７，９，１０，１２，１３，１６，１７，１８，２０，２１，２３，２４番ピンを用いて通信してもよい。

ＬＡＮでは、１，２，３，６番ピンを用いて通信してもよい。

ＲＳ２３２Ｃでは、２または３番ピンを用いて通信してもよい。

ＵＳＢでは、２または３番ピンを用いて通信してもよい。

ＲＧＢモニターケーブルでは、通常の映像情報等の情報と時分割によって１２または１５番ピンを用いて通信してもよい。

テレビの電波に重畳した情報をアンテナケーブルなどを通して入力する場合には、映像や音声を送信するために用いられている帯域および時分割スペース以外のスペースを用いてもよい。また、文字放送などで使用する領域、データ放送で用いる領域を用いてもよいし、多重チャンネルの別のチャンネルに符号化画像を映像信号としてそのまま載せた上で、表示装置内でこれらを組み合わせる方法を用いてもよい。この場合には、前記第二の場合に相当する。

これらの情報は、各フレームの映像情報などと同期して送信してもよいし、いくつかのフレームごとに送受信してもよい。その際には、下記の識別信号にて予めその旨を示す識別信号を送信することが望ましい。

次に、具体的な通信信号の内容と、それを処理し、表示する手順について説明する。

第一の場合には、通信内容として、以下のものを含んでもよい。

即ち、複数のピクチャを含む通信データの前にまず、本開示にて開示した可視光通信方法で情報を送信するデータを送信することを示す識別信号を送信する。この際、送信した表示機器が本開示による可視光通信方法に対応している場合には、その旨を、表示装置を通して表示面或いは投影面に表示することにより、使用者に表示装置が本開示による可視光通信が使用開始であることを伝達する機能を持たせてもよい。また、表示機器が可視光通信に対応しており、識別信号を受信した場合に、通信データを表示機器に対して送信している端末の表示画面に、表示機器が可視光通信に対応している旨の表示を行ってもよい。可視光通信用のデータの表示は非常に短時間で行われるため、視認が難しい。従って、通信データを表示機器に対して送信している端末の表示画面、または、投影面に、表示機器が可視光通信可能である旨の表示を行うことにより、表示機器が可視光通信に対応していることを容易に把握することが可能となる。識別信号は、可視光通信データを含むことを示す識別子であってもよい。識別子がある場合には、可視光通信データを含むと判断でき、識別子がない場合には、可視光通信データを含まないと判断できる。識別子を用いることにより、可視光通信データを含む場合にのみ、識別子を送ることで判別できるため、送信するデータ量を少なくすることが可能となる。また、識別信号は、可視光通信データを含むか否かを示す識別情報であってもよい。例えば、ピクチャ単位で識別情報を付加することにより、ピクチャ単位で通常の映像データなのか、可視光用の通信データなのかを識別することが可能となる。なお、識別子、または、識別情報である識別信号は、通信データのヘッダに付加してもよいし、各ピクチャのヘッダに付加してもよし、通信データのヘッダと、各ピクチャのヘッダの両方に付加してもよい。通信データのヘッダと、各ピクチャのヘッダの両方に付加した場合には、通信データのヘッダを用いて、表示機器が可視光通信に対応しているか否かを、通信データを送信している端末の表示画面、または、投影面に、表示機器が可視光通信に対応している旨を直に表示する可能となる。

更に、各ピクチャのヘッダを用いて、ピクチャ単位で可視光通信用のデータか否かを示す識別子、表示方法を変更するなどの対応をピクチャ単位で行うことが可能となる。可視光通信を行うことができない表示機器は、識別信号を読み込み判断することができないため、さらには、通信データを符号化する方式を判別する識別信号を続けて送信してもよい。送信側は、可視光通信信号をＰＰＭ方式やマンチェスター方式などの定められた符号化方法で符号化を行い、符号化方法を示す識別信号を付加する。表示機器は、受信した識別信号により指定された方法で復号化する。また、可視光通信用の縦縞の画面を縦縞として表示するのか、９０度回転して横縞として表示するのかを示す識別情報を送信してもよい。

表示装置は、識別情報に基づいて、可視光通信用の画面を縦縞として表示するのか、横縞として表示するのか容易に切り替えることが可能となる。更に、これを画像化するために必要となる以下の信号を、可視光通信信号送信後に送信してもよい。即ち、何組の通信信号（可視光通信信号）を画像化するか、符号化データの最小単位である縞の最小ピッチ、縞状信号に垂直方向の縞の長さ（信号の表示領域）、画面内で繰り返し表示する回数、画面の中での表示領域、表示領域以外に表示する内容、ＯＮ信号とＯＦＦ信号が相当する階調、画像が縦縞か横縞か、斜めになっている場合にはその角度、低階調時に送信をやめる閾値など、画像を作成する元になる情報を、一組或いは、一画像で複数の信号を表示する場合には、その組数だけの信号を送信し、これを基に画像を作成してもよい。

また、本開示で説明したように、周辺の明るさなどの環境情報や、映像の明るさの分布や変化などの情報をもとに、表示装置が受信した前記画像作製に必要な情報以外を使用して符号化画像を作成してもよい。これらの画像作製に必要な情報に続き、表示装置で作製した符号化画像を表示するための以下のような情報を送信してもよい。即ち、表示する期間およびフレーム内のどの期間で表示するか、前後に可視光通信信号の受信の確率を上げるための黒に代表されるＯＦＦ信号表示期間を表示するか、表示する場合にはその期間、などの表示のための情報を送信してもよい。表示装置は、これらの受信した表示するための情報を用いて、実際に表示するタイミングなどを定めて映像と符号化画像を表示してもよいし、前述したとおり、周辺の明るさなどの環境情報や、映像の明るさの分布や変化などの情報をもとに、表示装置が受信した前記表示するための情報以外を使用して映像と符号化画像を表示してもよい。さらには、逆転画像などを複数枚あわせて、画面全面が一様な階調に見えるように調整する方法で、何枚の画像を組み合わせて作成するか、その組み合わせを何フレームに亘って分割表示するかなどの情報を送信し、受信した表示装置はその情報に基づいて、符号化画像を表示する手順を変更してもよい。勿論、この情報に基づかず、映像情報や、環境情報に基づいて判断してもよい。なお、これらの識別信号や、画像化するために必要となる信号は、複数のピクチャを含む通信データのヘッダに付加してもよいし、各ピクチャ毎に付加してもよい。通信データのヘッダに付加することにより、通信データ単位で統一した情報を扱うことが可能となる。一方、ピクチャ毎に付加することにより、ピクチャ単位で信号情報を変更することが可能となる。

第二の場合ついて説明する。第二の場合も、第一の場合と同じく、識別信号を送信した後に、すでに縦横の方向や縞ピッチ、表示領域、繰り返し回数など、画像を作成するための情報を持って、既に表示装置外部で符号化画像として作成された画像データを送信する。

このとき、識別信号の内容に、表示する期間およびフレーム内のどの期間で表示するか、前後に可視光通信信号の受信の確率を上げるための黒に代表されるＯＦＦ信号表示期間を表示するか、などの表示のために必要となる情報を含んでいても良い。

受信した画像データは、表示装置内で符号化画像として一旦メモリされる。

この後、表示装置は、前記受信した表示のために必要となる情報を用いて、実際に表示するタイミングなどを定めて映像と符号化画像を表示してもよいし、周辺の明るさなどの環境情報や、映像の明るさの分布や変化などの情報をもとに、表示装置が受信した前記表示するための情報以外を使用して映像と符号化画像を表示してもよい。

また、第二の場合には、逆転画像などを複数枚あわせて、画面全面が一様な階調に見えるように調整する方法を用いる場合には、識別信号に逆転画像の画像データを含んでもよい。識別信号の後の画像データ送信時には、複数枚の符号化画像を画像データとして送信してもよい。

さらに、その組み合わせを何フレームに亘って分割表示するかなどの情報を送信し、受信した表示装置はその情報に基づいて、符号化画像表示する手順を変更してもよい。勿論、この情報に基づかず、映像情報や、環境情報に基づいて判断してもよい。

第三の場合では、外部とのやり取りは特にないため、表示する場合に、環境や映像信号に基づき判断する方法をとってもよいし、あらかじめ、識別信号以下の信号にて送信する内容として記述した内容を表示装置内部に記録し、これを用いてもよい。

〔液晶など、ディスプレイに特有の態様〕
（液晶特有のオプション）
液晶表示機において各画素に対応して透過率等を制御する液晶パネルにおいて、最も透明な状態から最も不透明な状態になるまでの時間は、非常に長くかかる。途中の変化している状態も含めてバックライトを当てると、尾引きなどの動画特性の悪さの誘因となっているため、バックライトを細かく点灯不点灯を繰り返すことで、尾引き対策を行い、動画特性を上げている現状がある。前述した方法で、通常の映像画像から急激に黒或いは縞状の符号化画像を表示し、すぐに、元の映像画像の続きに戻ることは、液晶パネルの時間応答性の観点から非常に困難である。液晶表示機器を用いる際には、１フレーム中の映像画像を出力する期間が終わり、符号化画像を出力する前に、液晶パネルは画像の切替えに入ると同時に、バックライトを消灯し、符号化画像が出た段階でバックライトを点灯、前述した極僅かな時間を点灯させた後に、バックライトを消灯、液晶パネルは、元の映像画像に戻し始め、１フレームが終わったときに通常のバックライト制御に変更することが望ましい。尚、符号化画像を出力した際に、バックライトを点灯した時点で、液晶パネルの作成する画像を変化させても、極短い時間で液晶パネルの変化は大きくないため、少しでも早くもとの画像に戻す方法を取っても良い。更に、前述した、コントラスト対策のために、逆転画像を挿入して縞模様が人の目で判別できにくくする方法は、実現が困難と成る。従って、符号化画像はできるだけ短い期間に限定し、できる限り平均輝度も低い符号化画像になるように、調整することが必要となる。

（環境・ＡＰＬに応じた信号レベル）
近年、液晶ディスプレイ表示装置などにおいて、表示装置の設置環境における明るさを表示装置に内蔵された明るさのセンサーで表示面の照度などを計測し、表示面の照度に合わせて出力映像の明るさを調整する機能を有するものが多数存在している。ここでは、これらと同様にその機能を用いて、表示面の照度に合わせて信号のレベルを変化させる場合について説明する。前述したとおり、映像信号に混入する符号化信号画像は、その明るさをできるだけ暗くすることが映像表示に対して目立たなくするという点では望ましい。一方で、画面を撮像し、信号を受信する受信機側からの要請としては、画像のＳ／Ｎは、符号化信号の黒に代表される一方の信号と、白に代表されるもう一方の信号の撮像時の明るさの比で表される信号のコントラストに依存し、外光の影響を大きく受ける。外光の影響が大きく、コントラストが低くなる際には、映像信号のコントラスト比も元来表示装置が暗室などで発揮できるコントラストの性能（暗所コントラスト）を発揮できずに、コントラストが悪くなる。したがって、符号化画像の明るい部分（白で代表される領域）の輝度を上げても、コントラストが極端に落ちることはなく、受信側の能力を鑑みて輝度を外光の強さに応じて明るくする手法をとることが有効である。逆に環境が暗い場合には、暗所コントラストにより近い値を有する場合には、コントラスト性能を落とす。符号化画像の明るさを暗くしても、受信機側でも撮像した画像のコントラストは一定以上保持できる。このように、表示面（表示部）に入る外光の強さに応じて、符号化信号画像の明るさを調整する方法は非常に有効である。

また、もともとの画像の平均的な輝度レベル（Ａｖｅｒａｇｅ Ｐｉｃｔｕｒｅ Ｌｅｖｅｌ；以下ＡＰＬと称する）が、一定以上に小さいときには、画像としてのコントラスト比が悪くなるため、僅かな符号化画像を混入してもコントラストに大きな影響を与える場合が考えられるため、一定以下のＡＰＬの画像が出力している期間においては、符号化信号の明るさを増加させる、或いは、信号を混入しないことが望ましい。

ＡＰＬについては、映像信号のＡＰＬが時間とともに変化する場合については、一定の閾値を設けて、その前後にて信号出力を実施したり取りやめたりすることで、特に急激な変化が人の目において、画面のフラッシング現象のように見えることもある。したがって、一定以下のＡＰＬにおいては、受信機側で信号が受け取らない場合があることを認識した上であえてＡＰＬに応じてゆっくりとした時間変化で符号化信号映像の輝度を変化させてもよい。また、受信機側での信号のご認識を避けるため、平均輝度が上記の通りゆっくりとした時間変化になるように符号化信号を混入する部分に符号化信号画像とＡＰＬを合わせたグレーの画像、或いは、これに合わせた色を混色した画像を代わりに挿入してもよい。

これらの具体的方法としては、前述している通り、信号の階調を調整する方法、信号を出す期間を調整する方法、バックライトなど輝度に反映される光源部分の輝度を調整すること、或いは光源部分の発光時間を調整することによって実現できる。また、状況に応じて、これらの組み合わせによって実現することも可能である。

環境照度、ＡＰＬについては、組み合わせによって調整することがさらに望ましい。

（キャリブレーション用信号を混入）
符号化画像の挿入をはじめるとき、或いは、符号化画像が変更されるとき、または、その間、或いはその後の一定期間ごとに、符号化信号のＯＮ状態、ＯＦＦ状態のそれぞれの色や輝度、信号の最小単位の幅など、また、信号の長さなどを事前に受信機側で認識して符号化信号を捉えやすくするため、以下のような信号をキャリブレーション用信号として挿入する。例えば、信号長を示すためには、周囲を枠で縁取りする。信号の単位長、或いはＯＮ、ＯＦＦ各信号の輝度、色度を示すためには、全面ＯＮ信号とＯＦＦ信号を交互に表示するなどの方法が取れる。このようなキャリブレーション用信号を挿入することで、受信性能の向上が期待できる。尚、キャリブレーション信号についても、前述した画質を落とさないための種々の工夫を加えても良い。

（信号変わるときに、キャンセル信号）
一定の期間、ある符号化信号を流し続けて、映像に関連して、或いは、全く任意に、符号化信号の種類を変更した場合に、異なる二つ以上の符号化信号をイメージセンサーで一つの画像内に取ってしまう、或いは、近い時間に異なる二つ以上の符号化信号をイメージセンサーで取り込んで、これらを互いに補完しあう或いは確認を行うなどをすると、誤認識或いはエラー発生につながる。このため、符号化信号が変更される際には、例えば、ヘッダーなどのプリアンブルを何度か繰り返し出力するなどして、信号が前後で変更されていることを明確にしても良い。

（二枚でネガ・ポジするときの表示間隔）
ある符号化画像と、その逆転画像を比較的近い時間間隔で出力する場合、人の目の時間分解能の制約により、縞模様が消えて平均的な輝度の一様な画面が存在するのと同等になることは既に説明したが、前記二つの画像の表示間隔について説明する。

人の目の時間分解能に関しては、５０ｍｓｅｃ前後を閾値に急激に低下することが一般に知られている。このため、符号化画像と、その逆転画像の間隔により、視認性がどの程度変化するかを調べたグラフを図１３に示す。図１３では、時間間隔と、縞模様が見える人の割合の関係を実験的に調べた結果であり、間隔については、全面黒表示を行う。また、縞のピッチは、横縞で３ｍｍピッチで、画面とは１ｍはなれたところから視認試験を行っている。この結果より、従来言われているように、５０ｍｓｅｃ付近より急激に立ち上がるため、符号化画像と逆転画像との間隔を５０ｍｓｅｃ以下にすることが望ましい。また、ほぼ視認できない限界として２０ｍｓｅｃ付近が挙げられるため、２０ｍｓｅｃ以下にすることが更に望ましい。この結果より、通常の１秒間に６０フレームの映像においては、４フレーム以上にまたがって逆転信号を離すことは望ましくない。更には、１フレーム以内に留めることが望ましい。

（コントラスト感度関数による縞模様による時間幅の制約）
視覚特性の分野におけるコントラスト感度関数によると、縞模様の止まっている際のコントラスト感度は、２ｃｙｃｌｅ／ｄｅｇｒｅｅ付近で最大を取り、例えば、１０ｃｙｌｅ／ｄｅｇｒｅｅ程度まで増加すると、数分の１にコントラスト感度が落ちる。縞模様の空間周波数が低くなり、コントラスト感度が低下すると、時間分可能も低下する。ピーク付近では、時間分解能も２０ｍｓｅｃ程度まで速くなると言われている。ピーク付近の空間分解能は、縞のピッチが９ｍｍで、１ｍ離れた所から見る場合に相当し、３ｍｍピッチで１ｍ、離れた所から見る場合には、１０ｃｙｌｅ／ｄｅｇｒｅｅ程度になり、このときに凡そ、５０ｍｓｅｃの程度の時間分解能をもつ。空間周波数は、空間周波数［ｃｙｃｌｅ／ｄｅｇｒｅｅ］ ＝１ ／［ａｒｃｔａｎｇｅｎｔ（縞のピッチ［ｍ］）／（表示面と視聴者の距離［ｍ］）｝］の式のよって示される。したがって、縞のピッチと、画格などから考えられる一般的な視聴者との距離から計算し、これによって、時間幅の最大値を決めることが可能となる。

（二枚でネガ・ポジするものを３〜４枚でネガ・ポジする）
前述したように符号化信号は非常に短い時間、表示される。ＡＰＬが低いなど画像により影響を受ける場合には、符号化信号画像の反転画像、即ち、ＯＮ状態とＯＦＦ状態を示す二つの明るさ或いは、色、またはその組み合わせを反転する方法を説明した。ここで、さらに輝度の高い画像が表示されることを避けるため、反転する一組の画像をさらに二つ以上に分割してこれらを組み合わせてピーク輝度を下げて、より画質の劣化を避ける方法を取ることも可能である。図１４〜１６は、この一例を模式的に示した図である。尚、図１４〜１６は、白と黒で二値化した信号の例を書いているが、この他の色の組合せでもよく、白も１００％点灯、黒も０％点灯のことのみを示すのではなく、色温度を変化させたり、ピーク輝度を落とした白でも良いし、黒も、多少の光が混入している黒でも良い。

図１４は、通常の逆転画像を一組、１フレーム内に入れた例であり、前述したとおりである。図１５の画像Ｂ１１は、図１４Ａの画像Ａ１１の符号化信号の縞模様と、垂直方向に１：１の白黒の縞模様を重ねたものでる。その符号化信号の縞模様を画像Ａ２１と重ね合わせたものを画像Ｂ２１として次のフレームに置く。更に、その符号化信号の縞模様の白黒を逆転させた縞模様を、画像Ａ１１、画像Ａ２１に重ね合わせたものを画像Ｂ１２、画像Ｂ２２としてそれぞれのフレーム内に配置する。このようにすることで、各フレームにおける信号で合成された輝度は、元の信号画像とその逆転画像を合成したときの輝度の半分となり、映像のコントラスト向上に効果が期待できる。同様に、垂直方向に黒と白を３：１の縞模様にして被せた例を図１６に示す。このときは、垂直方向を４分割しているため、４フレーム分で（ａ）と同じ画像に合成され、合成輝度は、元の４分の１と大きく低減する。このように、符号化画像を信号に垂直方向の黒で間引き、何枚かの画像で元の画像を合成できるようにすることで、全体の輝度が低減できる。但し、人の目の時間分解能は一般的に、５０ｍｓｅｃ程度といわれているため、多くのフレームにわたって分割することは、残像により合成され、縞模様を認識できなくする効果は低減するため、１秒間６０フレームであれば、４分割以上は好ましくない。また、（ａ）と（ｂ）を比較した際に、（ａ）において２フレーム目を全黒にした際には、（ｂ）と同じ輝度になり、（ａ）と（ｃ）を比較した際にも、（ａ）において、２から４フレーム目を全黒にすると（ｃ）と同じ輝度になる。しかしながら、（ａ）と全黒の組合せを行うことで、映像の中での輝度の定期的な時間変化が発生するため、ちらつきに見える不具合が発生することがある。このような原因のため、（ｂ）或いは、（ｃ）などの組合せを行うことは、画質向上の効果が期待できる。

（バイアスを設けた低輝度側の取り扱い）
前述したように、映像画像の間に、符号化画像を挿入し、その画像が一定の輝度を持っているため、各フレームにおける各原色の入力時の階調よりも高い階調の画像が表示されていることになる。特に低階調の場合には、影響が大きいため、一定以下の階調の映像画像の場合には、信号を送信しない方法は既に記載したが、これ以外に補正するための方法を開示する。

図１７は、入力信号と、出力信号の関係を示している。尚、入力信号は既にガンマ補正などのディスプレイなどの表示装置に特有の補正を既に済ませた後の信号である。ｃは、符号化画像を２枚以上の符号化画像とその逆転画像を合わせた明るさを階調表現に変換した値だとする。

図１７の実線(細線)のように本来は、入力と出力は、１対１で対応することが望ましいが、２枚以上の符号化画像を合成した(足し合わせた)明るさに相当する階調の分だけ、一点破線のようにバイアス部分が付加されてしまう。これを補正するために、例えば、原色をＲＧＢの３原色とし、入力を（Ｒｐ，Ｇｑ，Ｂｒ）とし、（ｐ，ｑ，ｒは入力時の各色の階調を示す）出力を（Ｒｓ，Ｇｔ，Ｂｕ）とすると、（ｓ，ｔ，ｕは、出力時の各色の階調を示す）前述した符号化画像の挿入例では、ｓ＝ｐ＋ｃ，ｔ＝ｑ＋ｃ，ｕ＝ｒ＋ｃの関係が成り立っている。出力側の値を元の映像信号に基づいた値を保持しようとすると、入力信号は、図中の二点破線（Ｒｐ−ｃ，Ｇｑ−ｃ，Ｂｒ−ｃ）とすることで、実現できる。但し、ｐ，ｑ，ｒ＜ｃの場合には、映像信号が０なので、映像信号はその色は表示しないことにしても良い。これを表示したのが、図中の破線であり、このような関係を実現することで、低階調では映像を犠牲にして符号化信号を出力することによってコントラストが悪化するが、その他の領域においては、映像の画質を保持することが可能となる。

また、もう一つの方法として、符号化信号の合成した階調であるｃよりも階調が小さい(暗い)部分においては信号を出力せず、階調ｃよりも階調が大きい（明るい）部分のみに符号化信号が重畳される。

具体的に上記の説明した内容を実現するための方法の概要を図１８に示す。

ここでは、信号期間を設けて、符号化信号を表示する期間を予め設けておく方法（上図）と、映像信号の中に、符号化信号を入れてしまう方法（中図）を示している。

上図はこれまで説明してきた内容を、模式的に、ＲＧＢを時分割した方法で記載しているが、ＲＧＢは、時分割であっても良いし、空間的にＲＧＢに対応する領域を設けて全ての時間を用いて階調表現しても良い。（時分割は、プロジェクターなどや、ＭＥＭＳのように光源を次々と変更して表示する装置に対応しており、ＥＬや、ＰＤＰなどの１画素中にＲＧＢのセルを設けて発光させるタイプが空間分割に対応している。）また、上図の方法においては、全期間を用いたＰＷＭ表示（発光時間の長さで輝度（階調）を制御する方法だが、はっきりとしたサブフレームに分割して、サブフレーム内を全てＯＮ（点灯）或いはＯＦＦ（不点灯）するのではなく、各画素一斉にＯＮして各画素毎にＯＦＦする時刻を設定して消灯する方法でも良いし、逆に、各画素毎に点灯開始（ＯＮ）する時刻を設定して最後に各画素をＯＦＦしていく。）でも良いし、電流制御などによる強度変化を用いて表示するのも良い。信号はフレームの最後に配しているが、これは、途中であってもどこであっても良い。また、液晶表示装置のように画面の階調変更に時間が必要なものであれば、できるだけ変更に掛る時間を取れるように、信号を映像と離して配し、バックライトをそのうちの規定の時間だけ当てるなどの方法で符号化画像相当の階調ｃを表現しても良い。

同様に、破線（太線）を再現するためには、図１８の下のようなサブフレームを使用する場合、例えば、ｃ＝１の場合には、符号化信号の１組の反転画像であるネガとポジ（以下、ネガ・ポジと称する）それぞれの画像の白部分を階調１で表示するため、ネガ・ポジとも、１階調のサブフレーム即ち、２の重みのサブフレームを二分割した部分にネガ・ポジをそれぞれ適応する。この際に、符号化画像は、図１８の下図ではなく、図１４に示したネガ・ポジのような全面符号化信号からなる画像であり、この際に、低階調は犠牲にされる。尚、この際には、重み１のサブフレームを含め全てのサブフレームは元の画像信号で作成された画像がそのまま表示される。

低階調まで、全く元の画像を再現しようとする場合は、一例として図１８の下図に相当する。この場合には、低階調の部分（画像中の暗い部分）については信号を重畳せず、（即ち、元の分解した画像のクロ部分（該当サブフレームで０が立っている場所）はクロのまま）明るい部分（該当サブフレームで１が立っている部分）のみに符号化信号を重畳する。

ここでは、符号化画像の階調ｃを１とすると、重み２のサブフレームを分割することによって得られる二つのサブフレームに図１８の下図のような画像（ネガ・ポジ）を表示する。該当画像で白の場所と、符号化画像の白の場所のみが白となりこれ以外の部分は全てクロとなる。他のサブフィールドは全て元の画像のままである。このようにすることで、符号化画像を含んだままで元の映像画像そのものを再現することができる。この際の欠点は、明るい場所しかも、該当するサブフィールドで明るい場所しか信号が重畳されていないため、受信確率が低下する、或いは、信号全てが入らなくなることが挙げられる。また、ここでの明るい暗いは、あくまで、該当するサブフィールドでの明るい暗いで、人の目で見た明るい部分だけに信号を重畳するのではないことに注意する必要が有り、人が直感的に感ずる感じ方とは全く無関係になることが多い。

ここでは、ネガ・ポジという形で、二つの符号化画像と、その逆転画像の組合せで、全面を一様な階調にしようとした例を示しているが、複数枚の組合せであれば、これ以外の組合せでもかまわない。また、ここでは、一例として、２の累乗の重み付けのあるサブフレームのうちの小さいサブフレームを二分割してネガ・ポジの組合せを表現しようとしている。これは、符号化信号画像の輝度をできるだけ落として目立たなくすることを目的としているため、ｃは小さい値、場合によっては１以下の値になるため、小さいサブフレームを用いることが多いことが予測されるためである。

まず、映像信号を先に述べた閾値ｃにおいて、映像のうちの表示しようとする一枚の画像のすべての画素における、各原色の階調からｃを引いた画像データを作成し、これを各サブフレームで表示する画像に分解する。ここでは、黒地に白い“Ａ”の文字が１サブフレームとして表示されると計算された。また、平均階調ｃの縞模様である符号化画像をサブフレーム分解したところ、横方向の縞状の画像が１サブフレームに表示されるとい結果になった。

１サブフレームでは元の映像信号の１サブフレームの画像である黒地に“Ａ”の文字の画像と、符号化画像である横縞状画像を重畳した。この際に、どちらもＯＮ信号、すなわち白表示の部分のみが白表示され残りは黒表示される。これが図中“ＮＥＧＡ”（左下図）である。一方、逆転画像についても、黒地に“Ａ”の文字の画像と重畳した。この画像が、図中“ＰＯＳＩ”（中下図）である。以下、２サブフィールド以降の各サブフィールドについても同様の手順で、送信を行う。

階調ｃは、符号画像が暗いことが望ましいため、ｃの値は小さくなることが多いことは前述したとおりだが、ｃの値が小さい場合には、大きなサブフレームまで分解した画像が存在する可能性は低い。このため、同様の処理は、少なくとも全体の２％を超えるようなサブフレームまで分解して確認する処理をする必要性は低い。従って、サブフィールドを２分割して予め対応しておくサブフィールドは本例の場合、すなわち、２の累乗の８ビット、２５５階調であるとするならば、１サブフィールド、２サブフィールドまで対応しておくのとが望ましい。また、処理時間のことを考慮すると、２サブフィールドの画像構成までで本処理を行うことをやめることが望ましい。

以上のような手順で、閾値を設けて、低いＡＰＬ画像は犠牲にするが、通常のＡＰＬの映像表示にはほとんど影響しないで符号化信号を送信することが可能となる。

以下、図１９〜図２６を用いて、図１８に示す例をより詳細に説明する。

図１９は、フレームの最後に信号領域がある場合の可視光通信画像の表示例を示す図である。

例えば、フレームの最後に信号領域がある場合には、図１９に示すように、フレーム内において、Ｒ、Ｇ、Ｂ、Ｗの画像が順に表示された後に、または、Ｒ、Ｇ、Ｂの画像が順に表示された後に、可視光通信画像が表示される。あるいは、フレーム内において、Ｒ、Ｇ、Ｂの画像が同時に表示された後に、可視光通信画像が表示される。ここで表示される可視光通信画像は、例えば上述のネガ・ポジからなる画像である。

図２０は、信号を映像のサブフレームに重畳させる例を示す図である。

可視光通信画像の階調ｃを表示するために、入力された映像信号の各階調からｃを引いた成分が計算される。その結果、入力と出力とは、図１７の二点破線に示す関係となる。さらに、可視光通信画像の階調ｃを表示するために、階調ｃ×２によって特定される重みのサブフレームが分割される。その分割によって得られる分割サブフレームの映像画像（映像信号の画像）のそれぞれと、可視光通信画像のネガまたはポジとが重畳される。このとき、輝度の明るい部分を１とし、輝度の暗い部分を０として扱う場合に、輝度の論理和によって、可視光通信画像のネガまたはポジと映像画像とが重畳される。これにより、映像信号よりも可視光通信画像の信号の方が優先されることになり、入力と出力とは、図１７の破線に示す関係となる。図２０は、１フレームがＲＧＢＷの時分割で表される例を示すが、図２１に示すように、１フレームがＲＧＢのセル分割で表される場合であっても、時分割の例と同様の処理が可能である。

例えば、ｃの階調が１の場合（ｃ＝１）、映像信号の各成分の階調から１が引かれ、サブフレーム分割が行われる。このとき、１だけ引かれることによって、階調が負の値になる場合には、その階調は０とされる。ｃ＝１の階調を出すためには、ネガ・ポジのそれぞれに１の階調を出す必要があるため、２の重みのサブフレームが２つに分割される。この分割によって得られる分割サブフレームのそれぞれの映像画像に、ネガまたはポジが重畳（論理和）される。２の重みのサブフレーム以外のサブフレームでは、通常通りの処理によって、図１７の二点破線に示す関係にしたがった映像画像が表示される。

また、ｃの階調が２の場合（ｃ＝２）、映像信号の各成分の階調から２が引かれ、サブフレーム分割が行われる。このときにも、２だけ引かれることによって、階調が負の値になる場合には、その階調は０とされる。ｃ＝２の階調を出すためには、ネガ・ポジのそれぞれに２の階調を出す必要があるため、４の重みのサブフレームが２つに分割される。この分割によって得られる分割サブフレームのそれぞれの映像画像に、ネガまたはポジが重畳される。２の重みのサブフレーム以外のサブフレームでは、通常通りの処理によって、図１７の二点破線に示す関係にしたがった映像画像が表示される。

また、ｃの階調が３の場合（ｃ＝３）、映像信号の各成分の階調から３が引かれ、サブフレーム分割が行われる。このときにも、３だけ引かれることによって、階調が負の値になる場合には、その階調は０とされる。ｃ＝３の階調を出すためには、ネガ・ポジのそれぞれに３の階調を出す必要があるため、１と４の重みのサブフレームのそれぞれが２つに分割される。この分割によって得られる分割サブフレームのそれぞれの映像画像に、ネガまたはポジが重畳される。２の重みのサブフレーム以外のサブフレームでは、通常通りの処理によって、図１７の二点破線に示す関係にしたがって映像画像が表示される。

図２２は、サブフレームの分割と、ネガまたはポジが重畳される位置を示す図である。なお、１はポジを示し、−１はネガを示す。図２２の（ａ）に示すように、ｃ＝１の場合には、重み２のサブフレームが分割され、その分割サブフレームのそれぞれの映像画像に、ネガまたはポジが重畳される。また、図２２のグレーの領域によって示されるサブフレームでは、通常通りの処理によって、図１７の二点破線に示す関係にしたがった映像画像が表示される。ｃ＝２およびｃ＝３の場合についても、上述と同様である。また、ｃ＝３の場合には、図２２の（ａ）に示すように、２の重みのサブフレームでネガとポジが表示され、続いて、４の重みのサブフレームでネガとポジが表示される。このように、ネガ、ポジ、ネガ、ポジの順で可視光通信画像が連続して表示される場合には、受信装置側の制約が厳しくなる。そこで、図２２の（ｂ）に示すように、２の重みと３の重みのそれぞれの分割サブフレームの順序を変えてもよい。その結果、ネガ、ネガ、ポジ、およびポジの順で可視光通信画像が連続して表示されるため、受信装置側の制約を緩和することができる。

図２３は、信号を映像のサブフレームに重畳させる他の例を示す図である。

入力された映像信号の各階調を表示するために、つまり、入力と出力とが図１７の実線に示す関係に従うように、サブフレーム分割が行われる。可視光通信画像の階調ｃを表示するために、階調ｃに該当するサブフレームが追加される。階調ｃに該当するサブフレームの映像画像（映像信号の画像）のそれぞれと、可視光通信画像のネガまたはポジとが重畳される。このとき、輝度の明るい部分を１とし、輝度の暗い部分を０として扱う場合に、輝度の論理積によって、可視光通信画像のネガまたはポジと映像画像とが重畳される。これにより、可視光通信画像の信号よりも映像信号の方が優先されることになり、入力と出力とは、図１７の実線に示す関係となる。図２３は、１フレームがＲＧＢＷの時分割で表される例を示すが、図２４に示すように、１フレームがＲＧＢのセル分割で表される場合であっても、時分割の例と同様の処理が可能である。

例えば、ｃの階調が１の場合（ｃ＝１）、映像信号の各成分に対してサブフレーム分割が行われる。ｃ＝１の階調を出すためには、ネガ・ポジのそれぞれに１の階調を出す必要があるため、１の重みのサブフレームが追加され、１の重みのサブフレームの映像信号のそれぞれに、ネガまたはポジが重畳（論理積）される。２つの１の重みのサブフレーム以外のサブフレームでは、通常通りの処理によって、図１７の実線に示す関係にしたがった映像画像が表示される。

また、ｃの階調が２の場合（ｃ＝２）、映像信号の各成分に対してサブフレーム分割が行われる。ｃ＝２の階調を出すためには、ネガ・ポジのそれぞれに２の階調を出す必要があるため、２の重みのサブフレームが追加され、２の重みのサブフレームの映像信号のそれぞれに、ネガまたはポジが重畳（論理積）される。２つの２の重みのサブフレーム以外のサブフレームでは、通常通りの処理によって、図１７の実線に示す関係にしたがった映像画像が表示される。

また、ｃの階調が３の場合（ｃ＝２）、映像信号の各成分に対してサブフレーム分割が行われる。ｃ＝３の階調を出すためには、ネガ・ポジのそれぞれに３の階調を出す必要があるため、１の重みのサブフレームと２の重みのサブフレームが追加され、２つの１の重みのサブフレームの映像信号と、２つの２の重みのサブフレームの映像信号とのそれぞれに、ネガまたはポジが重畳（論理積）される。２つの１の重みのサブフレームと２つの２の重みのサブフレーム以外のサブフレームでは、通常通りの処理によって、図１７の実線に示す関係にしたがった映像画像が表示される。

図２５は、サブフレームの追加と、ネガまたはポジが重畳される位置を示す図である。なお、１はポジを示し、−１はネガを示す。図２５の（ａ）に示すように、ｃ＝１の場合には、重み１のサブフレーム（重み１’のサブフレーム）が追加され、重み１のサブフレームのそれぞれの映像画像に、ネガまたはポジが重畳される。また、図２５のグレーの領域によって示されるサブフレームでは、通常通りの処理によって、図１７の実線に示す関係にしたがった映像画像が表示される。ｃ＝２およびｃ＝３の場合についても、上述と同様である。また、ｃ＝３の場合には、図２５の（ｃ）に示すように、重み１のサブフレームと重み１’のサブフレームでネガとポジが表示され、続いて、重み２のサブフレームと重み２’のサブフレームでネガとポジが表示される。このように、ネガ、ポジ、ネガ、ポジの順で可視光通信画像が連続して表示される場合には、受信装置側の制約が厳しくなる。そこで、図２５の（ｄ）に示すように、重み１’のサブフレームと重み２のサブフレームの順序を変えてもよい。その結果、ネガ、ネガ、ポジ、およびポジの順で可視光通信画像が連続して表示されるため、受信装置側の制約を緩和することができる。なお、ＲＧＢが時分割で表示される場合には、ｃ＝３のときに、３の階調を作成してもよい。また、ＲＧＢがセル分割の場合には、元の画像がＲＧＢで必ずしも一致しないため、複数のサブフレームを跨って可視光通信画像を連続させることが望ましい。なお、図２６は、符号化画像の生成の一例を示す図である。

また、本実施の形態における各用語の定義は、以下のとおりである。

符号化画像は、可視光通信信号をコーディングすることによって得られる数値の配列を縞模様で表した画像である。つまり、可視光通信信号を一定の方法でコーディングして、０，１の数値の配列に変換する。その配列の数値のそれぞれを一定の幅の明、暗の二種類の明るさの直線に直し、それらの直線を、その直線と直交する方向に数値の配列の順に配することによって現れる縞状模様が符号化画像である。

階調は、映像信号を構成する一つの画像をＲＧＢなどの光の原色（３原色に限定する必要はない）の組合せで表現した際に、それぞれの原色の輝度レベルを示す指標である。例えば、各色８ｂｉｔで表現されている画像であれば、各色とも０〜２５５の階調の組合せで表現され、階調は、それぞれの原色の輝度と、ガンマ補正やデジタル補正などを除いて線形関係にある数値を示す。

フレームは、映像信号を構成する一枚の画像を表示する期間である。通常の映像信号では、１秒間に６０枚の画像が表示されるため、フレームは１／６０秒である。

サブフレームは、サブフィールドとも称され、映像信号を構成する一つの画像を表示するために１フレーム内をいくつかに区切って表示するための単位である。単位時間当たりの発光エネルギーが調整できる液晶ディスプレイや、抵抗可変のＥＬなどについては、サブフレームに分割せずに、単位時間当たりの発光エネルギーを調整して輝度変化をつけることができるが、これだけで不十分な場合には、いくつかのサブフレームに分割して表現できる輝度の数(場合の数、つまり階調数)を増やすことも可能である。また、各サブフレーム内で発光している時間制御と合わせて階調表現をすることもある。単位時間当たりの発光エネルギーが調整できず、しかも、原色がセル配列に寄って分離されているタイプのディスプレイ即ち、プラズマディスプレイや、抵抗固定タイプのＥＬでは、発光する時間のみで、階調表現を行う。しかし、基本的には、重みを持たせたサブフレームを作成し、そのサブフレームの期間全てをＯＮ、或いはＯＦＦし、ＯＮしているサブフレームの重みの合計を階調として表現する。最低の場合では、例えば８ビットであれば、０〜２５５の数値が２のｎ乗（ｎ＝０〜７）の組合せで冗長性なしに表現できる。但し、実際のディスプレイでは、例えば、１２７と１２８の階調を時間的に繰り返し行き来するような映像では、その構成から人の目の動きと連動して、擬似的に別の映像が見えてしまう場合があるため、わざと冗長性を持たせて、このような極端なサブフレームの組合せの変化を避ける工夫がしてあることが多い。

単位時間当たりの発光エネルギーが調整できず、各原色などが時系列よって分離されているタイプの表示装置、即ち、ＤＭＤを用いたプロジェクタや、ＭＥＭＳを用いたディスプレイでは、発光する時間のみで階調表現を行うが、ＤＭＤや、ＭＥＭＳの動作が非常に速く、二次元的な駆動データの書き込みしてメモリする機能は必要とされていないため、サブフレームに分割した上で、各サブフレーム内でＰＷＭ制御（ＯＮしている期間を制御すること）で発光輝度の制御をする方法を取る。しかしながら、時系列にＲＧＢなどの原色等を分離するため、１フレームをそれぞれの原色が一つにすると、発光の重心が異なる場合などにやはり人の目で見た際に違和感を覚える(擬似動画輪郭など)が発生するため、比較的細かくサブフレームに分割した上で各サブフレームをＰＷＭ駆動している。冗長性を持たせて、擬似動画輪郭対策などを行うことも実施されている。

符号化画像の階調は、以下のように定義される。つまり、符号化信号は、２つ以上の反転映像を組合せ、その組合せが全面同じ色（同じ原色成分、同じ明るさ）で表現されることが前提とされる。このような前提において、合成された全面同じ色の各原色における輝度と、その映像信号を出力する際に同じ輝度を出力する階調が、符号化信号の階調として定義される。例えば、完全な反転画像で、２枚一組の場合には、明と暗の部分があり、明の部分の輝度に相当する輝度を表示する階調が符号化画像の階調である。

なお、上述の例では、ｃの階調は整数で表されたが、小数であってもよい。例えばｃ＝０．６７の場合には、連続する３つのフレームのそれぞれで、ｃ＝１、ｃ＝１、ｃ＝０とすることによって、３つのフレームの全体でｃ＝０．６７とすることができる。つまり、誤差拡散によって、ｃの階調を小数として扱うことができる。

（ＤＬＰを含めたプロジェクターに固有の態様）
（焦点距離による補正）
プロジェクターと投影面との距離を変更することにより、画格を変更する、或いは、設置場所の環境などにより、前記距離を変更して使用しなければならない場合の対応について説明する。

前記距離を変更して、投影するためには、プロジェクターの焦点を調整して、投影面に画像を投影しなければならない。この際の焦点の調整は、図２７に示したように、自動焦点、手動焦点ともに存在する。自動の場合には、プロジェクター内に焦点を合わせるためのレンズ形の組合せの情報が残っている。また、手動の場合においても、投影面を観察しながら使用者がリモコンなどを利用して焦点の位置を前後させながら焦点が合った位置でその操作を停止することにより焦点を合わせる。このように、プロジェクターの本体側には、プロジェクターと投影面の距離を計算できる情報が残存しており、この情報からプロジェクターと投影面の距離を計算する。

この際に、プロジェクターの持つ性質として、焦点距離とともに、画格が距離に反比例する。投影面の輝度は、投影面の材質にも影響を受けるが、少なくとも同一の投影面では距離の２乗に反比例して暗くなる。一方で、これを受信機側で撮像する際には、受信機と投影面との距離は、遠くとも離れていても、画像では横軸が時間軸になるため、同じ駆動をしている際には、同様の画像が得られる。但し、その撮像した画像の明るさは、撮像している投影面の輝度によって変化し、プロジェクターと投影面が近い際には投影面が明るいため、撮像した画像の符号化信号のコントラスト比も比較的高い値を示し、受信環境としては良い。しかし、離れた場合には、逆に、投影面が暗くなるため、撮像した符号化信号のコントラストも悪化する。また、一般的には、プロジェクターと投影面が離れているときには、画格が大きくなるため、投影映像の視聴者は、それに合わせて、比較的離れた位置から視聴する場合が多いため、符号化画像を撮像する際の画格は大きく変化がない場合が多いと考えられる。従って、受信機側の受信性能の向上のために、符号化画像のコントラストを上げる必要がある。

具体的な手法について、図２８を用いて説明する。コントラストを上げるためには、投影するプロジェクターの光束を大きくする、すなわち、光源の輝度を明るくする、或いは、階調を高くする、又はこれらの組合せにより、投影面での照度が大きく低下しない対策をとることが最も簡便である。他にも、符号化画像を投影する時間を長くすることで、受光機側が得られる露光画像中の符号化信号は信号量としては大きくなるため、Ｓ／Ｎ比を上げる効果が期待できる。図２７に示したように、これらの操作を行う指標として、焦点距離によるプロジェクターと投影面との距離との関連付けを事前に行っておくことで、焦点を合わせる動作に伴い、受信性能を維持することが可能となる。また、コントラストは外光の影響を強く受けるため、前述した、環境照度による対応と組み合わせて関連付けを行い、適切な投影条件をプロジェクター本体で自動的に制御することも可能となる。

先ほどは、投影した映像の画格に合わせて視聴者はその距離をとることが多いと考えたが、投影映像全体を見るのではなく、サイネージのように特定の箇所に注目して視聴する場合がある。この場合を考えると、様々な距離に存在する視聴者が符号化画像を撮像することを考慮する必要がある。図２９のように投影面が離れている場合には、離れた距離で視聴する視聴者は画像全面を見ることを考え、また、中心方向を視聴することが多いと考えると、中心付近に１ブロックのデータすべてが含まれていることが望ましい。このため、前述した１画面に複数のデータブロックをいくつも繰り返して表示する場合には、繰り返し数は１つ又は奇数であることが望ましい。また、中心に符号化画像の中心を合わせて配した場合に、周辺に１ブロック以下の領域が残存した場合には、残りの部分を、輝度を合わせたグレイの単色にしても良いし、データのピッチを変更して通信データ１ブロック分の締める領域を縮小しておいても良い。この際に、それぞれのデータは同じものでも良いし、異なるものでも良い。また、中心部に比較的大きな１ブロック分の符号化画像を配し、その他は同一の縮小したデータ或いは、異なるデータ、又は、輝度・色度をあわせた単色を表示しても良い。プロジェクターが焦点距離から状況を推測し、対応を決定しても良い。

受信側については、例えば、受信側がスマートフォンを使用する場合には、図３０のフローチャートに示したように、スマートフォンのアプリ立上によって撮像部が作動し、焦点を合わせる動作をする。これにより、スマートフォンである受信機は、撮像部と投影面との距離を認識し、Ｗｉｆｉなどの無線信号によってプロジェクター側に受信機が信号を受信しやすい大きさや照度を設定して受信する方法を取っても良い。

（投影面による補正：プロジェクションマッピング）
近年、平面で画像を投影するために適した素材でできたスクリーンなど以外のでこぼこがあったり、もともと色がついていたりする立体物、例えば建造物などをスクリーンの代わりに用いて画像を立体的に表示するプロジェクションマッピングという手法が用いられることがある。これは、あらかじめ投影面の形状や色、反射率などを事前の情報として得た上で、投影する各箇所の映像信号に該当する上記各種情報による補正を行い、人が見た際に自然画像として認識できるよう、また、立体感を持たせた画像として投影できるようにする技術である。さらには、人物や、装置など、動体に投影する際に、投影する対象を撮像してその動きに合わせて投影画像を補正して表示する方法なども考案、実施されている。このような場合にも、以下のような対応をすることによって、受信確率の高い可視光通信信号の送信をすることが可能となる。

事前に保存された対象の動き、或いは撮像した対象の動きに合わせて、画像の補正を掛ける際には、その補正内容から、符号化画像を投影画像と同様に補正して表示することで、受信機側からは線形の信号を線形をとして捕らえることが可能となる。また、元の投影画像信号と、補正信号との比較により、比較的変化の少ない部分に関しては、投影面が平面に近いなど、ゆがみが少ないところであることが認識できるため、この部分を中心に符号化画像を配置することも可能である。この際に、ゆがみが大きい、即ち、補正により信号の変化が大きい部分に関しては、符号化信号を出さないことにより、受信時のエラーや、誤認識を回避する効果が期待できる。尚、ゆがみが少ない部分へ出す符号化信号は該当箇所だけで符号化信号の１ブロックが少なくともすべて入るように符号化画像を作成してもよい。また、ゆがみが少ない場所に符号化画像を１ブロック分のみ有する符号化画像を作成することで、受信機側の１つの信号単位当たりの画素数を増加できるため、エラー軽減に効果が期待できる。

更に、さまざまな方向から投影映像を視聴できる場合においては、受信する方向により補正した符号化画像が、ゆがみの少ないものになっていない場合が考えられる。このような場合には、さまざまな位置から映像を視聴し、可視光通信信号を受信することができるよう、符号化画像の補正をさまざまな場所で受信しやすい、即ち、さまざまな場所でゆがみの少ない元の符号化画像に近い形で撮像できるよう補正画像をいくつか作成し、それを時間ごとに順に或いはランダムに繰り返し、或いは一定時間出力してもよい。この際に、映像内容とリンクして最も受信しやすい位置を変化させることも可能である。更には、受信位置により、受信のために撮像する投影画像の位置を変え、ある時刻での符号化画像を複数枚、投影場所を変えて混入してもよい。この際に、必ずしも、同時に出力する必要はなく、１フレーム中の時間を区切って別の場所に、同一の或いは別の符号化信号を、僅かな時間差で表示してもよい。

（２台で合わせて信号を出力）
プロジェクターの場合には、ひとつの投影画像を作成する場合に複数台のプロジェクターなどを用いることもある。これは、大型のものや、輝度の非常に高ものなど、ＲＧＢ３原色の管球を独立してレンズ系を持って駆動し、投影面でひとつの画像として合わせる場合も含む。具体的方法としては、少なくとも１台は、投影画像と、符号化画像を挿入する期間だけ或いはその前後の短い期間、何も表示しない。残りの少なくとも１台は、投影画像を投影するほかのプロジェクターと位相を合わせて符号化信号だけを投影する。この際に、これらのプロジェクターは画像表示の同期を取り、投影映像と、符号化画像がかぶらないように時間配分を行う。符号化画像を投影するプロジェクターは、複数台で同じ画格で表示してもよいし、異なる画格で、或いは異なる領域に表示してもよい。また、場所によって異なる符号化画像を表示してもよい。プロジェクションマッピングへの適応を説明した際の異なる位置からの撮像に対する対応として、複数のプロジェクターを利用してもよい。この際にプロジェクターの置く場所や、その画格、投射方向などについては、先にあげた投影映像との時間配分を行うことと、異なる符号化画像が時間的に或いは空間的に重なることがない限り、このほかの制限は特にない。

（ＤＬＰプロジェクターに固有の課題ではないが、ＤＬＰ固有の解決策）
映像信号が縞模様を含む映像であるなど、符号化信号画像と似通ったパターンである場合に、受信時の誤認識を回避する手段について説明する。

図３１Ａおよび図３２Ｂは、ＤＭＤを用いたプロジェクター、ＭＥＭＳを用いたディスプレイなど、ＲＧＢ光源或いは一つの光源を分離して時分割でＲＧＢＷの階調表現をする場合の解決方法を示している。

（ａ）は、映像信号と符号化画像が似通った構成になり、誤認識が起きるおそれがある一例を示している。すなわち、映像でも、符号化画像でも、白黒の縞状模様が、表示されており、切り分けができない一例である。

（ｂ）は、映像信号の出力の画像のタイミングをずらして対策した一例である。映像信号部分の白表示を場所によって発光或いは投影のタイミングをずらし、イメージセンサーにて撮像した際にはその瞬間には映像は縞模様を構成していない。このため、誤認識することはないが、映像として人の目で見る場合には、結果的に元の映像と同じように見える。このように、面内の場所によって発光或いは投影するタイミングをずらすことで、符号化信号と同じ縞模様或いは縞模様を含んだ映像として撮像できるタイミングが存在しないにように、発光或いは投影することが可能になる。

（ｃ）は、映像信号の白色を、白発光を用いずにＲＧＢなどの原色の発光に用いて映像を出力して対応する一例を示している。映像信号の白黒の白表示を白色が発光するタイミングで開口を明ける、或いは投影することで映像を作ろうとせず、ＲＧＢの各色の発光するタイミングでそれぞれ開口を明ける、或いは投影し、ＲＧＢの色が混じり合って白色に見える構成をとっている。この場合にも、イメージセンサーで撮像した場合には、映像信号からは白色の縞模様を含む画像を捉えられる瞬間は存在しないが、人の目では違いがわからないように構成することが可能である。以上のように、白色を他の原色に時分割して表示することで、対策が可能となる。

（ｄ）は、（ｃ）の構成において、更にＲＧＢのタイミングをずらせた一例を示している。映像を構成するＲＧＢなどの原色の発光のタイミングを画面内の場所などによってずらすことにより、符号化画像が白黒以外の色の縞状パターンを持ってなす場合にも対応可能になる。これは、どのタイミングをとっても、Ｒ、Ｇ，或いはＢの縞模様がイメージセンサーによって撮像されず、符号化画像との誤認識を避けることが可能となる。

（ｅ）および（ｆ）は、映像信号の一部を変更して対応する一例を示している。映像信号の一部を変更することで、映像信号を符号化画像には表れないパターンとすることで、誤認識を防ぐことができる。（ｅ）は映像信号を間引き、（ｆ）は映像信号を追加することで、これを実現している。

以上のような対策は、映像中の縞状の模様が、符号化信号の縞状模様と平行かそれに近い状態の場合だけでなく、あらゆる角度の映像中の縞状模様を対象にして行っても良い。これは、受信側の撮像時に、イメージセンサーの方向をどちら向きにもって撮像するか、或いは傾けて撮像するか等、様々な場面を想定した際に、符号化画像はイメージセンサーの露光ライン上での縞模様と垂直方向の帯として認識できる範囲すなわち、受信可能な傾ける角度範囲においても、それがちょうど垂直でない限り映像信号をピッチの異なる符号化信号を誤認識する可能性があるためである。

また、本実施の形態では、表示装置を用いて可視光通信を行う方法を説明したが、看板などの照明装置においても、同様の方法で実現することができる。

また、逆に、同じ階調の信号においても、ＲＧＢの組合せとタイミングの順番を変化させることが、少なくとも時間を色分割している数のビット数だけ、場合の数が増加するため、通信情報量が増加することになる。例えば、同じ白を出す場合にも、Ｗだけを出す場合、ＲＧＢの３色を順番に出す場合には、順番が３×２×１の６通りの組合せが有り、これを送信側で制御して送信し、受信側でも、この組合せを時系列として分離して受信することにより、６倍の情報量が増加できることになる。このように、原色の組合せの順序により情報量を増加させても良い。尚、このような方法は、固体光源のＲＧＢＷを時系列で分割してそれぞれの光源光を投射レンズ系に入射させる時間幅を変化させて映像表示させるタイプのプロジェクター或いはＭＥＭＳを用いたディスプレイに限らず、カラーホイールを用いたプロジェクターなどにおいても、光源の点滅との組合せによって実現することも可能となる。即ち、規定の順番以外の色が表示される期間に光源を消灯し、規定の順番の色が表示される期間になれば光源を点灯するという手段を繰り返すことで、単位時間当たりの伝達速度は落ちる場合が多くなるが、前述した色の順序を識別することによって通信する情報量を増大させることは可能である。

図３２に縦方向に複数のＬＥＤを配した照明装置と、その駆動信号の一例を示す。

図３２の（ａ）は、縦方向に複数のＬＥＤを配した照明装置である。各ＬＥＤ素子が可視光通信信号を符号化した横縞の最小単位に相当するものとし、符号化したＯＮ／ＯＦＦ信号に相当するものとする。照明装置であるため、明るさが信号によって変化しないためように、図３２の（ｂ）で示す通常の信号に加え、同図の（ｃ）および（ｄ）に示す点灯非点灯を逆転した符号化信号を、可視光通信信号の出力期間において送信してもよい。

図３２の（ｅ）に同図の（ａ）におけるＬＥＤ１とＬＥＤ３の制御の状態を示す。図３２の（ｅ）において、横軸は時間を示す。図３２の（ｅ）に示すように、可視光通信信号の出力期間内の時刻ｔ１に同図の（ｃ）の信号、時刻ｔ２に同図の（ｄ）の信号を出力する。すなわち、時刻ｔ１においては、ＬＥＤ３が非点灯、時刻ｔ２においては、ＬＥＤ１が非点灯となるように制御する。この動作を一定周期で繰り返すことにより、照明装置においても同様に可視光通信信号の送信が可能となる。尚、照明におけるチラツキなどを考慮すると、ｔ１、ｔ２で、非点灯状態になる期間は、０．２ｍｓｅｃ以下であることが望ましい。

（符号化方式）
図３３は、可視光通信画像の符号化方式の一つを説明する図である。

この符号化方式では、白と黒の割合が同程度となるため、正相画像と逆相画像の平均輝度が同程度となり、人間がちらつきを感じにくいという利点がある。

（斜方向から撮像した場合でも受光可能な符号化方式）
図３４は、可視光通信画像の符号化方式の一つを説明する図である。

画像１００１ａは白と黒のラインを均一な幅で表示した画像である。この画像１００１ａを斜めから撮像すると、その撮像によって得られる画像１００１ｂでは、左方のラインは細く、右方のラインは太く表れる。また、画像１００１ａを曲面に投影した場合は、その撮像によって得られる画像１００１ｉでは、異なる太さのラインが表れる。

そこで、以下の符号化方式によって可視光通信画像を作成する。可視光通信画像１００１ｃは、左から、白のライン、白のラインの３倍の太さの黒のライン、その黒のラインの３分の１の太さの白のラインで構成されている。このように、左隣のラインの３倍の太さのライン、左隣のラインの３分の１の太さのラインが続いた画像としてプリアンブルを符号化する。可視光通信画像１００１ｄ、１００１ｅのように、左隣のラインと同じ太さのラインを「０」として符号化する。可視光通信画像１００１ｆ、１００１ｇのように、左隣のラインの２倍の太さ、あるいは、左隣のラインの半分の太さのラインを「１」として符号化する。即ち、符号化対象ラインの太さを左隣のラインの太さと異ならせる場合に、その符号化対象ラインを「１」として符号化する。この符号化方式を用いた例として、プリアンブルに続いて「０１０１１０００１０１１」を含む信号は、可視光通信画像１００１ｈのような画像によって表現される。なお、ここでは、左隣のラインと同じ太さのラインを「０」、左隣のラインと異なる太さのラインを「１」として符号化したが、左隣のラインと同じ太さのラインを「１」、左隣のラインと異なる太さのラインを「０」として符号化しても構わない。また、左隣のラインとの対比に限らず、右隣のラインとの対比を行ってもよい。つまり、符号化対象ラインの太さと右隣のラインとの太さとの対比において、太さが同じか異なるかによって、「１」、「０」を符号化しても構わない。このように、送信機側では、符号化対象ラインと異なる色であり、かつ、隣接するラインの太さと符号化対象ラインの太さを同じにすることで、「０」を符号化し、異なる太さとすることで、「１」を符号化する。

受信機側では、可視光通信画像を撮像し、撮像した可視光通信画像において、白または黒のラインの太さを検出する。復号対象のラインとは異なる色であり、かつ、復号対象のラインに隣接する（左隣、または、右隣）ラインの太さと、復号対象のラインの太さとを比較し、太さが同じ場合には、復号対象ラインを「０」として復号し、太さが異なる場合には、復号対象ラインを「１」として復号する。太さが同じ場合に「１」、太さが異なる場合に「０」として復号してもよい。復号を行った、１、０のデータ列に基づいて、最終的にデータの復号を行う。

この符号化方式は局所的なラインの太さの関係を用いている。画像１００１ｂや画像１００１ｉに見られるように、近傍のラインの太さの比は大きくは変化しないため、斜め方向から撮像された場合や、曲面に投影された場合でも、この符号方式で作成された可視光通信画像は正しく復号できる。

この符号化方式では、白と黒の割合が同程度になるため、正相画像と逆相画像の平均輝度が同程度となり、人間がちらつきを感じにくいという利点がある。また、この符号化方式は、白黒の別はないため、正相信号と逆相信号のどちらの可視光通信画像であっても、同じアルゴリズムで復号可能であるという利点がある。

また、符号の追加が容易であるという利点がある。例えば、可視光通信画像１００１ｊは、左隣の４倍の太さのラインと左隣の４分の１のラインの組み合わせである。このように、「左隣の５倍と５分の１」「左隣の３倍と３分の２」のように、多くのユニークなパターンが存在しており、特別な意味を持つ信号として定義可能である。例えば、可視光通信画像は複数枚で一つのデータを表すことができるが、送信するデータが変更されたためこれまでに受信したデータの一部が無効になったことを表示するキャンセル信号として可視光通信画像１００１ｊを用いることが考えられる。なお、色については、白、黒に限らず、異なる色であれば、どのような色であってもよい。例えば、補完色を用いても構わない。

（距離によって情報量が異なる符号化方式）
図３５および図３６は、可視光通信画像の符号化方式の一つを説明する図である。

図３５の（ａ−１）のように、四つに区切った画像のうち一つの部分を黒、残りの部分を白とすることで２ビットの信号を表現すると、この画像の平均輝度は、白を１００％、黒を０％とした場合、７５％となる。図３５の（ａ−２）のように、白と黒の部分を逆にすると、平均輝度は２５％となる。

画像１００３ａは、図３４の符号化方式で作成した可視光通信画像の白の部分を図３５の（ａ−１）の画像で、黒の部分を図３５の（ａ−２）の画像で表現した可視光通信画像である。この可視光通信画像は、図３４の符号化方式で符号化した信号Ａと、図３５の（ａ−１）および（ａ−２）で符号化した信号Ｂを表している。近くの受信機１００３ｂが可視光通信画像１００３ａを撮像すると、精細な画像１００３ｄが得られ、信号Ａと信号Ｂの両方が受信できる。遠くの受信機１００３ｃが可視光通信画像１００３ａを撮像すると、小さな画像１００３ｅが得られる。画像１００３ｅでは、詳細な部分は確認できず、図３５の（ａ−１）の部分が白く、図３５の（ａ−２）の部分が黒くなった画像となるため、信号Ａのみが受信できる。これにより、可視光通信画像と受信機の距離が近いほど多くの情報を伝達することができる。信号Ｂを符号化する方式としては、図３５の（ｂ−１）と（ｂ−２）の組み合わせや、図３５の（ｃ−１）と（ｃ−２）の組み合わせを用いてもよい。なお、この方式を再帰的に用いて３つ以上の信号を符号化してもよい。

信号Ａと信号Ｂを用いることにより、信号Ａで基本的で重要な情報を表し、信号Ｂで付加的な情報を表すことが可能となる。また、受信機が信号Ａ・ＢをＩＤ情報としてサーバに送信し、サーバがＩＤ情報に対応する情報を受信機に送信する場合は、信号Ｂの有無によってサーバが送信する情報を変化させることが可能となる。

図３７は、送信機によって可視光通信画像が切り替えられる例を示す図である。

送信機８５０１ａは、可視光通信画像８５０１ｂを表示する。このとき、送信機８５０１ａは、可視光通信画像８５０１ｂの近くでその可視光通信画像８５０１ｂを撮像する受信機８５０１ｄのために、多く情報を含む可視光通信画像８５０１ｆを可視光通信画像８５０１ｂとして表示する。さらに、送信機８５０１ａは、可視光通信画像８５０１ｂから少し離れた位置でその可視光通信画像８５０１ｂを撮像する受信機８５０１ｄのために、可視光通信画像８５０１ｆよりも少ない情報を含む可視光通信画像８５０１ｇを可視光通信画像８５０１ｂとして表示する。さらに、送信機８５０１ａは、可視光通信画像８５０１ｂから遠く離れてその可視光通信画像８５０１ｂを撮像する受信機８５０１ｄのために、可視光通信画像８５０１ｇよりも少ない情報を含む可視光通信画像８５０１ｈを可視光通信画像８５０１ｂとして表示する。このような可視光通信画像８５０１ｆ、８５０１ｇ、８５０１ｈは、連続的に、または断続的に表示される。したがって、可視光通信画像からの距離に関わらず、受信機８５０１ｄは可視光通信画像を撮像し、その可視光通信画像から情報を得ることができる。

図３８は、受信機からの指示に応じて可視光通信画像が切り替えられる例を示す図である。

送信機８５０１ａは、機器８５０１ｃから映像データと信号データを受信し、可視光通信画像８５０１ｂを表示する。受信機８５０１ｄは、その可視光通信画像８５０１ｂを撮像する。ここで、可視光通信画像８５０１ｂが多くの情報を含み、細かい縞模様で表されている場合には、受信機８５０１ｄは、撮像によって、不鮮明な画像８５０１ｉを取得することがある。この場合、受信機８５０１ｄは、その画像８５０１ｉから情報を取得することができないため、機器８５０１ｃに対して、可視光通信画像８５０１ｂを、粗い縞模様の可視光通信画像に切り替えることを指示する。この指示を受けた機器８５０１ｃは、送信機８５０１ａに対して他の信号データを送信し、他の信号データを受けた送信機８５０１ａは、粗い縞模様の可視光通信画像を表示する。受信機８５０１ｄは、その可視光通信画像を撮像することによって、鮮明な画像８５０１ｊを取得し、その画像８５０１ｊから情報を適切に取得することができる。

（データを分割した符号化方式）
図３９は、可視光通信画像の符号化方式の一つを説明する図である。

送信する信号１００５ａを、複数のデータ片１００５ｂ、１００５ｃ、１００５ｄに分割する。各データ片にそのデータ片の位置を示すアドレスを付加し、さらに、プリアンブルや誤り検出・訂正符号やフレームタイプ記述等を付加し、フレームデータ１００５ｅ、１００５ｆ、１００５ｇを構成する。フレームデータを符号化して可視光通信画像１００５ｈ、１００５ｉ、１００５ｊを作成して表示する。表示領域が十分大きい場合は、複数の可視光通信画像を連結した可視光通信画像１００５ｋを表示してもよい。

（逆相画像を挿入する効果）
図４０と図４１は、可視光通信画像の符号化方式の一つを説明する図である。

図４０の（１００６ａ）のように、送信機は、映像と可視光通信画像（正相画像）の間に黒画像を挿入する。これを受信機で撮像した画像は、図４０の（１００６ｂ）に示す画像のようになる。受信機は、同時に露光される画素のラインが黒一色である部分の探索は容易であるため、可視光通信画像が撮像されている位置を、その露光時刻から所定の時間経過後に露光される画素の位置として容易に特定できる。なお、黒画像と可視光通信画像の間に映像が表示されてもよい。

図４０の（１００６ａ）のように、送信機は、可視光通信画像（正相画像）を表示した後に、白黒を反転させた逆走の可視光通信画像を表示させる。受信機は、正相画像と逆相画像の画素値の差を求めることで、正相画像のみを利用した場合の２倍のＳＮ比が得られる。逆に、同じＳＮ比を確保する場合は、白黒の輝度差を半分に抑えることができ、人間が見た際のちらつきを抑えることができる。また、図４１の（１００７ａ）および（１００７ｂ）のように、映像と可視光通信画像の輝度の差の期待値の移動平均は、正相画像と逆相画像でキャンセルされる。人間の視覚の時間分解能は１／６０秒程度であるため、可視光通信画像を表示する時間をこれ以下にすることで、人間にとって可視光通信画像が表示されていないように感じさせることができる。

図４０の（１００６ｃ）に示すように、送信機は、さらに、正相画像と逆相画像の間にも黒画像を挿入してもよい。この場合、受信機による撮像によって、図４０の（１００６ｄ）に示す画像が得られる。図４０の（１００６ｂ）に示す画像では、正相画像のパターンと逆相画像のパターンが隣接しているため境界部分で画素値が平均化されてしまうことがあったが、図４０の（１００６ｄ）に示す画像ではそのような問題が発生しない。

（超解像）
図４２は、可視光通信画像の符号化方法の一つを説明する図である。

図４２の（ａ）のように、映像データと可視光通信で送信する信号データが分離されている場合は、映像データに超解像処理を行い、得られた超解像画像に可視光通信画像を重畳する。即ち、可視光通信画像には超解像処理を行わない。図４２の（ｂ）のように、映像データにすでに可視光通信画像が重畳されている場合には、（１）可視光通信画像のエッジ（白・黒など色の違いによりデータを示している部分）を急峻なまま保つ、（２）可視光通信画像の正相画像と逆相画像の平均画像が一様輝度となるように超解像処理を行う。このように、映像データに可視光通信画像が重畳されているか否かにより、可視光通信画像に対する処理を変更することにより、可視光通信をより適切に行う（エラー率を低下させる）ことが可能となる。

（可視光通信に対応していることの表示）
図４３は、送信機の動作の一つを説明する図である。

送信機８５００ａは、可視光通信に対応していることを、投影する画像に重畳して表示する。この表示は、例えば、送信機８５００ａを起動してから所定の時間の間のみ表示される。

送信機８５００ａは、自身が可視光通信に対応していることを、接続された機器８５００ｃへ送信する。機器８５００ｃは、送信機８５００ａが可視光通信に対応していることを表示する。例えば、機器８５００ｃのディスプレイに、送信機８５００aが可視光通信に対応していることを表示する。機器８５００ｃは、接続された送信機８５００ａが可視光通信に対応している場合に、可視光通信用のデータを送信機８５００ａへ送信する。送信機８５００aが可視光通信に対応している旨の表示は、機器８５００ｃが送信機８５００ａに接続された際に表示されてもよいし、機器８５００ｃから送信機８５００ａに対して可視光通信用のデータが送信された場合に表示されてもよい。機器８５００ｃから可視光通信用のデータが送信された際に表示する場合は、送信機８５００ａは、データから可視光通信を示す識別情報を取得し、識別情報がデータに可視光通信用のデータが含まれていることを示している場合に、送信機８５００ａが可視光通信に対応していることを表示してもよい。

このように、投影画面８５００ｂや接続機器８５００ｃのディスプレイに送信機（照明、プロジェクタ、映像表示機器）が可視光通信に対応している旨、または、対応しているか否かを示す表示を行うことにより、ユーザは送信機が可視光通信に対応しているか容易に把握することができる。従って、機器から、送信機に対して可視光通信用のデータを送信しているにも関わらず、可視光通信を行うことができなくなるという不具合を防ぐことが可能となる。

（可視光通信信号を用いた情報取得）
図４４は、可視光通信の応用例の一つを説明する図である。

送信機８５０１ａは、機器８５０１ｃから映像データと信号データを受信し、可視光通信画像８５０１ｂを表示する。受信機８５０１ｄは、可視光通信画像８５０１ｂを撮像し、可視光通信画像に含まれた信号を受信する。受信機８５０１ｄは、受信信号に含まれた情報（アドレスやパスワード等）から機器８５０１ｃと通信を行い、送信機８５０１ａが表示している映像そのものやその付帯情報（映像ＩＤ、ＵＲＬ、パスワード、ＳＳＩＤ、翻訳データ、音声データ、ハッシュタグ、商品情報、購買情報、クーポン、空席情報等）を受信する。機器８５０１ｃは送信機８５０１ａへの送信状況をサーバ８５０１ｅへ送信し、受信機８５０１ｄはサーバ８５０１ｅから前記情報を得るとしても良い。

（データフォーマット）
図４５は、可視光通信データのフォーマットの一つを説明する図である。

図４５の（ａ）に示すデータは、記憶域中に映像データの位置を示す映像アドレステーブルと、可視光通信により送信する信号データの位置を示す位置アドレステーブルとを持つ。可視光通信に対応していない映像表示装置では、映像アドレステーブルのみが参照されるため、入力に信号アドレステーブルと信号データが含まれていても映像表示には影響しない。これにより、可視光通信に対応していない映像表示装置に対する後方互換性が保たれる。

図４５の（ｂ）に示すデータのフォーマットでは、後に続くデータが映像データであることを示す識別子を映像データの前に配し、後に続くデータが信号データであることを示す識別子を信号データの前に配している。識別子とすることにより、映像データ、または、信号データのある場合にのみ、データに挿入されるため、全体の符号量を小さくすることができる。また、映像データであるか、信号データであるかを示す識別情報を配してもよい。更に、番組情報において、可視光通信用のデータを含むか否かを示す識別情報を含んでいてもよい。番組情報に可視光通信用のデータを含むか否かを示す識別情報が含まれることにより、ユーザは、番組検索の際に、可視光通信可能か否か判断することが可能となる。なお、番組情報に含まれるのは、可視光通信用のデータを含むことを示す識別子であってもよい。更に、データ毎に識別子・識別情報を付加することにより、データ毎の輝度の切り替えや、超解像の切り替えなど処理の切り替えを行うことができ、可視光通信時におけるエラー率を低減させることが可能となる。

図４５の（ａ）に示すデータのフォーマットは、光ディスク等の蓄積型メディアからデータを読み出す状況に適し、図４５の（ｂ）に示すデータのフォーマットは、テレビ放送などストリーミング型のデータに適している。なお、信号データには、可視光通信によって送信する信号の値、送信開始時刻、送信終了時刻、ディスプレイや投影面上の送信に利用する場所、可視光通信画像の輝度、可視光通信画像のバーコードの向き等の情報を含む。

（立体形状を推定して受信する）
図４６と図４７は、可視光通信の応用例の一つを説明する図である。

図４６に示すように、例えばプロジェクタとして構成される送信機８５０３ａは、映像と可視光通信画像に加え、測距用画像を投影する。測距用画像に示されるドットパターンは、任意のドットの近傍の所定数のドットの位置関係が、他の任意の組み合わせのドットの位置関係と異なるドットパターンである。受信機は、測距用画像を撮像することで、局所的なドットパターンを特定し、投影面８５０３ｂの立体形状を推定することができる。受信機は、投影面の立体形状によって歪んだ可視光通信画像を平面画像へ復元して信号を受信する。なお、測距用画像や可視光通信画像は、人間には知覚できない赤外線で投影されてもよい。

図４７に示すように、例えばプロジェクタとして構成される送信機８５０４ａは、赤外線で測距用画像を投影する赤外線投影装置８５０４ｂを備える。受信機は、測距用画像から投影面８５０４ｃの立体形状を推定し、可視光通信画像の歪みを復元して信号を受信する。なお、送信機８５０４ａは、映像を可視光で投影し、可視光通信画像を赤外線で投影してもよい。なお、赤外線投影装置８５０４ｂは、可視光通信画像を赤外線で投影してもよい。

（立体投影）
図４８と図４９は、可視光通信画像の表示方法の一つを説明する図である。

立体投影を行う場合や円筒状の表示面に可視光通信画像を表示する場合は、図４８に示すように、可視光通信画像８５０５ａ〜８５０５ｆを表示させることで、広い角度からの受信が可能になる。可視光通信画像８５０５ａ、８５０５ｂを表示させることで、水平方向に広い角度から受信が可能になる。可視光通信画像８５０５ａと８５０５ｂを組み合わせることで、受信機を傾けても受信可能となる。可視光通信画像８５０５ａと可視光通信画像８５０５ｂを交互に表示させてもよいし、それらの画像を合成した画像である可視光通信画像８５０５ｆを表示してもよい。さらに、可視光通信画像８５０５ｃと可視光通信画像８５０５ｄを加えることで、垂直方向に広い角度から受信が可能となる。可視光通信画像８５０５ｅのように、中間色で投影する部分や投影しない部分を設けることで、可視光通信画像の区切りを表現してもよい。可視光通信画像８５０５ａ〜８５０５ｆを回転させることで、さらに広い角度から受信可能とすることができる。なお、図４８では、円筒状の表示面に可視光通信画像を表示させたが、円柱の表示面に可視光通信画像を表示させてもよい。

立体投影を行う場合や、球状の表示面に可視光通信画像を表示する場合は、図４９に示すように、可視光通信画像８５０６ａ〜８５０６ｄを表示させることで、広い角度からの受信が可能となる。可視光通信画像８５０６ａでは、水平方向における受信可能領域は広いが、垂直方向における受信可能領域が狭いため、逆の性質を持つ可視光通信画像８５０６ｂと組み合わせて可視光通信画像８５０６ａを表示させる。可視光通信画像８５０６ａと可視光通信画像８５０６ｂを交互に表示させても良いし、それらの画像を合成した画像である可視光通信画像８５０６ｃを表示してもよい。可視光通信画像８５０６ａの上部のようにバーコードが集中する部分は表示が細かく、信号を誤って受信する可能性が高い。そこで、可視光通信画像８５０６ｄのようにこの部分を中間色で表示する、あるいは、何も投影しないことで、受信誤りを防ぐことができる。

（実施の形態２）
以下、実施の形態２について説明する。

（発光部の輝度の観測）
１枚の画像を撮像するとき、全ての撮像素子を同一のタイミングで露光させるのではなく、撮像素子ごとに異なる時刻に露光を開始・終了する撮像方法を提案する。図５０は、１列に並んだ撮像素子は同時に露光させ、列が近い順に露光開始時刻をずらして撮像する場合の例である。ここでは、同時に露光する撮像素子の露光ラインと呼び、その撮像素子に対応する画像上の画素のラインを輝線と呼ぶ。

この撮像方法を用いて、点滅している光源を撮像素子の全面に写して撮像した場合、図５１のように、撮像画像上に露光ラインに沿った輝線（画素値の明暗の線）が生じる。この輝線のパターンを認識することで、撮像フレームレートを上回る速度の光源輝度変化を推定することができる。これにより、信号を光源輝度の変化として送信することで、撮像フレームレート以上の速度での通信を行うことができる。光源が２種類の輝度値をとることで信号を表現する場合、低い方の輝度値をロー（ＬＯ），高い方の輝度値をハイ（ＨＩ）と呼ぶ。ローは光源が光っていない状態でも良いし、ハイよりも弱く光っていても良い。

この方法によって、撮像フレームレートを超える速度で情報の伝送を行う。

一枚の撮像画像中に、露光時間が重ならない露光ラインが２０ラインあり、撮像のフレームレートが３０ｆｐｓのときは、１ミリ秒周期の輝度変化を認識できる。露光時間が重ならない露光ラインが１０００ラインある場合は、３万分の１秒（約３３マイクロ秒）周期の輝度変化を認識できる。なお、露光時間は例えば１０ミリ秒よりも短く設定される。

図５１は、一つの露光ラインの露光が完了してから次の露光ラインの露光が開始される場合を示している。

この場合、１秒あたりのフレーム数（フレームレート）がｆ、１画像を構成する露光ライン数がｌのとき、各露光ラインが一定以上の光を受光しているかどうかで情報を伝送すると、最大でｆｌビット毎秒の速度で情報を伝送することができる。

なお、ラインごとではなく、画素ごとに時間差で露光を行う場合は、さらに高速で通信が可能である。

このとき、露光ラインあたりの画素数がｍ画素であり、各画素が一定以上の光を受光しているかどうかで情報を伝送する場合には、伝送速度は最大でｆｌｍビット毎秒となる。

図５２のように、発光部の発光による各露光ラインの露光状態を複数のレベルで認識可能であれば、発光部の発光時間を各露光ラインの露光時間より短い単位の時間で制御することで、より多くの情報を伝送することができる。

露光状態をＥｌｖ段階で認識可能である場合には、最大でｆｌＥｌｖビット毎秒の速度で情報を伝送することができる。

また、各露光ラインの露光のタイミングと少しずつずらしたタイミングで発光部を発光させることで、発信の基本周期を認識することができる。

図５３Ａは、一つの露光ラインの露光が完了する前に次の露光ラインの露光が開始される場合を示している。即ち、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となっている。このような構成により、（１）一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、所定の時間内におけるサンプル数を多くすることができる。所定時間内におけるサンプル数が多くなることにより、被写体である光送信機が発生する光信号をより適切に検出することが可能となる。即ち、光信号を検出する際のエラー率を低減することが可能となる。更に、（２）一つの露光ラインの露光時間の終了を待って次の露光ラインの露光を開始する場合に比べ、各露光ラインの露光時間を長くすることができるため、被写体が暗い場合であっても、より明るい画像を取得することが可能となる。即ち、Ｓ／Ｎ比を向上させることが可能となる。なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。一部の露光ラインについて部分的に時間的な重なりを持たないように構成するにより、撮像画面上における露光時間の重なりによる中間色の発生を抑制でき、より適切に輝線を検出することが可能となる。

この場合は、各露光ラインの明るさから露光時間を算出し、発光部の発光の状態を認識する。

なお、各露光ラインの明るさを、輝度が閾値以上であるかどうかの２値で判別する場合には、発光していない状態を認識するために、発光部は発光していない状態を各ラインの露光時間以上の時間継続しなければならない。

図５３Ｂは、各露光ラインの露光開始時刻が等しい場合に、露光時間の違いによる影響を示している。７５００ａは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、７５００ｂはそれより露光時間を長くとった場合である。７５００ｂのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、露光時間を長くとることが可能となる。即ち、撮像素子に入射する光が増大し、明るい画像を得ることができる。また、同一の明るさの画像を撮像するための撮像感度を低く抑えられることで、ノイズの少ない画像が得られるため、通信エラーが抑制される。

図５３Ｃは、露光時間が等しい場合に、各露光ラインの露光開始時刻の違いによる影響を示している。７５０１ａは前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であり、７５０１ｂは前の露光ラインの露光終了より早く次の露光ラインの露光を開始する場合である。７５０１ｂのように、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成とすることにより、時間あたりに露光できるラインを増やすことが可能となる。これにより、より解像度が高くなり、多くの情報量が得られる。サンプル間隔（＝露光開始時刻の差）が密になることで、より正確に光源輝度の変化を推定することができ、エラー率が低減でき、更に、より短い時間における光源輝度の変化を認識することができる。露光時間に重なりを持たせることで、隣接する露光ラインの露光量の差を利用して、露光時間よりも短い光源の点滅を認識することができる。

図５３Ｂ、図５３Ｃで説明したように、隣接する露光ラインの露光時間が、部分的に時間的な重なりをもつように、各露光ラインを順次露光する構成において、露光時間を通常撮影モードよりも短く設定することにより発生する輝線パターンを信号伝送に用いることにより通信速度を飛躍的に向上させることが可能になる。ここで、可視光通信時における露光時間を１／４８０秒以下に設定することにより適切な輝線パターンを発生させることが可能となる。ここで、露光時間は、フレーム周波数＝ｆとすると、露光時間＜１／８×ｆと設定する必要がある。撮影の際に発生するブランキングは、最大で１フレームの半分の大きさになる。即ち、ブランキング時間は、撮影時間の半分以下であるため、実際の撮影時間は、最も短い時間で１／２ｆとなる。更に、１／２ｆの時間内において、４値の情報を受ける必要があるため、少なくとも露光時間は、１／（２ｆ×４）よりも短くする必要が生じる。通常フレームレートは、６０フレーム／秒以下であることから、１／４８０秒以下の露光時間に設定することにより、適切な輝線パターンを画像データに発生させ、高速の信号伝送を行うことが可能となる。

図５３Ｄは、各露光ラインの露光時間が重なっていない場合、露光時間が短い場合の利点を示している。露光時間が長い場合は、光源は７５０２ａのように２値の輝度変化をしていたとしても、撮像画像では７５０２ｅのように中間色の部分ができ、光源の輝度変化を認識することが難しくなる傾向がある。しかし、７５０２ｄのように、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間（所定の待ち時間）ｔＤ２を設ける構成とすることにより、光源の輝度変化を認識しやすくすることが可能となる。即ち、７５０２ｆのような、より適切な輝線パターンを検出することが可能となる。７５０２ｄのように、所定の露光しない空き時間を設ける構成は、露光時間ｔＥを各露光ラインの露光開始時刻の時間差ｔＤよりも小さくすることにより実現することが可能となる。通常撮影モードが、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成である場合において、露光時間を通常撮影モード時よりも、所定の露光しない空き時間が生じるまで短く設定することにより、実現することができる。また、通常撮影モードが、前の露光ラインの露光終了時刻と次の露光ラインの露光開始時刻とが等しい場合であっても、所定の露光しない時間が生じるまで露光時間を短く設定することにより、実現することができる。また、７５０２ｇのように、各露光ラインの露光開始時刻の間隔ｔＤを大きくすることによっても、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間（所定の待ち時間）ｔＤ２を設ける構成をとることができる。この構成では、露光時間を長くすることができるため、明るい画像を撮像することができ、ノイズが少なくなることからエラー耐性が高い。一方で、この構成では、一定時間内に露光できる露光ラインが少なくなるため、７５０２ｈのように、サンプル数が少なくなるという欠点があるため、状況によって使い分けることが望ましい。例えば、撮像対象が明るい場合には前者の構成を用い、暗い場合には後者の構成を用いることで、光源輝度変化の推定誤差を低減することができる。

なお、全ての露光ラインにおいて、隣接する露光ラインの露光時間が、部分的に時間的な重なりを持つ構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持たない構成とすることも可能である。また、全ての露光ラインにおいて、一つの露光ラインの露光終了後、次の露光ラインの露光開始まで所定の露光しない空き時間（所定の待ち時間）を設ける構成となる必要はなく、一部の露光ラインについて部分的に時間的な重なりを持つ構成とすることも可能である。このような構成とすることにより、それぞれの構成における利点を生かすことが可能となる。

図５３Ｅは、光源輝度の最小変化時間ｔＳと、露光時間ｔＥと、各露光ラインの露光開始時刻の時間差ｔＤと、撮像画像との関係を示している。ｔＥ＋ｔＤ＜ｔＳとした場合は、必ず一つ以上の露光ラインが露光の開始から終了まで光源が変化しない状態で撮像するため、７５０３ｄのように輝度がはっきりとした画像が得られ、光源の輝度変化を認識しやすい。２ｔＥ＞ｔＳとした場合は、光源の輝度変化とは異なるパターンの輝線が得られる場合があり、撮像画像から光源の輝度変化を認識することが難しくなる。

図５３Ｆは、光源輝度の遷移時間ｔＴと、各露光ラインの露光開始時刻の時間差ｔＤとの関係を示している。ｔＴに比べてｔＤが大きいほど、中間色になる露光ラインが少なくなり、光源輝度の推定が容易になる。ｔＤ＞ｔＴのとき中間色の露光ラインは連続で２ライン以下になり、望ましい。ｔＴは、光源がＬＥＤの場合は１マイクロ秒以下、光源が有機ＥＬの場合は５マイクロ秒程度となるため、ｔＤを５マイクロ秒以上とすることで、光源輝度の推定を容易にすることができる。

図５３Ｇは、光源輝度の高周波ノイズｔＨＴと、露光時間ｔＥとの関係を示している。ｔＨＴに比べてｔＥが大きいほど、撮像画像は高周波ノイズの影響が少なくなり、光源輝度の推定が容易になる。ｔＥがｔＨＴの整数倍のときは高周波ノイズの影響がなくなり、光源輝度の推定が最も容易になる。光源輝度の推定には、ｔＥ＞ｔＨＴであることが望ましい。高周波ノイズの主な原因はスイッチング電源回路に由来し、多くの電灯用のスイッチング電源ではｔＨＴは２０マイクロ秒以下であるため、ｔＥを２０マイクロ秒以上とすることで、光源輝度の推定を容易に行うことができる。

図５３Ｈは、ｔＨＴが２０マイクロ秒の場合の、露光時間ｔＥと高周波ノイズの大きさとの関係を表すグラフである。ｔＨＴは光源によってばらつきがあることを考慮すると、グラフより、ｔＥは、ノイズ量が極大をとるときの値と等しくなる値である、１５マイクロ秒以上、または、３５マイクロ秒以上、または、５４マイクロ秒以上、または、７４マイクロ秒以上として定めると効率が良いことが確認できる。高周波ノイズ低減の観点からはｔＥは大きいほうが望ましいが、前述のとおり、ｔＥが小さいほど中間色部分が発生しづらくなるという点で光源輝度の推定が容易になるという性質もある。そのため、光源輝度の変化の周期が１５〜３５マイクロ秒のときはｔＥは１５マイクロ秒以上、光源輝度の変化の周期が３５〜５４マイクロ秒のときはｔＥは３５マイクロ秒以上、光源輝度の変化の周期が５４〜７４マイクロ秒のときはｔＥは５４マイクロ秒以上、光源輝度の変化の周期が７４マイクロ秒以上のときはｔＥは７４マイクロ秒以上として設定すると良い。

図５３Ｉは、露光時間ｔＥと認識成功率との関係を示す。露光時間ｔＥは光源の輝度が一定である時間に対して相対的な意味を持つため、光源輝度が変化する周期ｔＳを露光時間ｔＥで割った値（相対露光時間）を横軸としている。グラフより、認識成功率をほぼ１００％としたい場合は、相対露光時間を１．２以下にすれば良いことがわかる。例えば、送信信号を１ｋＨｚとする場合は露光時間を約０．８３ミリ秒以下とすれば良い。同様に、認識成功率を９５％以上としたい場合は相対露光時間を１．２５以下に、認識成功率を８０％以上としたい場合は相対露光時間を１．４以下にすれば良いということがわかる。また、相対露光時間が１．５付近で認識成功率が急激に下がり、１．６でほぼ０％となるため、相対露光時間が１．５を超えないように設定すべきであることがわかる。また、認識率が７５０７ｃで０になった後、７５０７ｄや、７５０７ｅ、７５０７ｆで、再度上昇していることがわかる。そのため、露光時間を長くして明るい画像を撮像したい場合などは、相対露光時間が１．９から２．２、２．４から２．６、２．８から３．０となる露光時間を利用すれば良い。例えば、図５４の中間モードとして、これらの露光時間を使うと良い。

図５５のように、撮像装置によっては、露光を行わない時間（ブランキング）が存在することがある。

ブランキングが存在する場合には、その時間の発光部の輝度は観察できない。

発光部が同じ信号を２回以上繰り返して送信する、または、誤り訂正符号を付加することで、ブランキングによる伝送損失を防ぐことができる。

発光部は、同じ信号が常にブランキングの間に送信されることを防ぐために、画像を撮像する周期と互いに素となる周期、または、画像を撮像する周期より短い周期で信号を送信する。

（実施の形態３）
（送り方の順番を示す識別子を送信）
ＨＤＭＩ（登録商標）など外部から通信信号を表示装置が受け取る場合において、最初に、符号化画像にて通信を行うことを示す識別子を配置する事を記載したが、更に、符号化画像の向きや大きさ、その表示する順序まで含めた識別子情報を作成し、識別子情報に基づいて符号化画像を出力することにより、より短い通信量にて最適な符号化画像の表示状況を実現することが可能となる。

また、識別子に関しては、通信信号を送付することを示す識別子とともに、データの大きさが１２８ｂｉｔ以下であることを示す識別子を同時に含んでおくことが望ましい。更に、複数の信号ブロックに分割しない場合においては、データ長が６４ｂｉｔ以下であることを示す識別子が含まれていることが望ましい。

（音声の符号化による符号化画像の補完）
符号化画像により、映像信号と関連のある、或いはその他の信号を送信し、受信機側では、別途受信した信号より情報を取得できるが、符号化画像に対して一時的に死角になるなど画像からの信号を取れないときの補完方法として、符号化した音声信号をスピーカーなどから流し、受信機に備えられているマイクなどで録音することで、復号化し、信号の補完を行っても良い。この際に、音声信号と映像信号は同期して信号の種類を変えるなどの方法を取ることが望ましいが、必ずしも双方が同じ信号を送信する必要があるわけではなく、送信された信号を受信後に受信機が受け取る情報の経路によって最終的に同じ情報を得ることができれば、補完方法としての役割は充分に果たすことができる。また、音声は、音声に関連付けられる情報を得るための信号を送信しても良い。スピーカーから発せられる音声信号は、１７ｋＨｚ帯の高音域を利用することで、通常のイベントなどのノイズが比較的多い会場においてはほとんど人がノイズ或いは不快音として感じることなく送信することができるとともに、デジタル音声信号の一定領域をそのまま当てはめて信号を入出力することも可能となる。

（複数のプロジェクターを使用する場合の対応策）
複数のプロジェクターを利用して映像を投影する場合には、下記のような対応策を講じることが望ましい。

（複数のプロジェクターを使用して連続した映像を投影する際の接続部分の処理）
図５６は、符号化画像を２台のプロジェクターを用いて合成して投影する場合の映像と信号のずれ量を示すイメージ図である。図のように、複数のプロジェクターを使用して連続した映像を表示する際には、映像は少なくとも連続しているように視認できるべく、接続域での連続性が保たれるようにその画像の投影位置をお互いに補正をかけるが、符号化信号においても映像と同等か、それ以上の連続性が求められる。

一例として、複数のプロジェクターが投影する領域を一部重複して有する配置にして、出力する映像を重複域の双方の出力を合計した映像信号が、重複していない領域の映像信号と輝度や色度の面でも一定の連続性を保ち、かつ、画像のずれ量も一般に不連続性がはっきりとわからない程度に連続性を持たせるために、映像のずれの補正を行い、１画素から数が祖程度の画像のずれで納めるように補正を行っている。また、投影可能領域は重複していても、お互いに境界面を設定して投影範囲を重複せずに連続するように出力信号を補正する方法なども考えられる。しかしながら、本開示における符号化画像の連続性は、１画素程度、望ましくは１画素以内になることが受信側の信号処理上の制約からより強く求められる。プロジェクターの位置補正に関しては、事前に或いは、映像投射時に投射した画像を撮像して、順次補正を更新していく方法もあれば、事前に対象となる投影対象物に対しての補正を行い、補正のためのデータテーブルを作成して投影しても良い。補正を行うためのキャリブレーション用の画像として、市松模様の画像を出力しても良い。投影面が曲線であっても、傾いた平面であっても、市松模様の位置ゆがみと各々の場所の輝度を検出することで、補正するためのパラメータを得ることが可能となる。尚、市松模様のピッチは、符号化画像の最小単位と等しくすることで、受信に対してより適切な一補正が可能となる。また、市松模様も、明暗の反転画像を一組にして挿入することで、映像信号に対しての外乱として視認できにくくなる効果がある。

後者の場合には、符号化画像についても同様の処理を行っても良いが、映像投影を継続すると、プロジェクター本体の熱などによって徐々に複数のプロジェクターからの投影画像の境界面でのずれが発生することがある。この対策として以下のような対策が考えられる。即ち、映像信号は１秒間に６０枚など一定の時間ごとに新たな画像に更新され、それを補正していく必要があるため、細かくあわせこんで行くことが時間的に困難であるが、動画に対しての人の目の認識度については、僅かなずれまで大きく目立つことのない映像が多いが、符号化画像は、必ずしもフレーム毎に新たな信号に更新する必要がないため、たとえば、複数のプロジェクターで表示される領域に渡る直線状のキャリブレーション用のパターン、たとえば、境界面に対して垂直な方向の縞模様からなる横縞などを出力し、出力した投影画像を撮像して境界部分の連続性を検出し、更にフィードバックをかけて符号化画像のずれをより低減する対策を取ることができる。尚この方法は、数フレーム連続して繰り返しフィードバックを行うことで非常に精度良く表示することが可能となる。尚、キャリブレーション用パターンについては、前述した市松模様にて行ってもかまわない。

また、重複部分の輝度についても同様の対策が可能となる。重なる領域が存在する場合には、複数のプロジェクターからの投影映像を合わせた輝度色度が連続性をもつように各々の出力を調整している。符号化信号の場合には、輝度の不連続性が、そのまま境界領域で黒く沈んだ、或いは白く浮いた画像が現れることとなる。また、先に述べたように双方の位置ずれが発生した場合には、二重線のように撮像され、誤認識の元ともなるため、ずれの補正も必要であるが、輝度の補正も必要である。

図５７は、符号化画像を２台のプロジェクターを用いて合成して投影する場合のつなぎ目の処理を説明するイメージ図である。

これらの課題を簡便に解決する手段として図５７を用いて説明する。図５７は、符号化画像を２台のプロジェクターを用いて合成して投影する場合のつなぎ目の処理を説明するイメージ図である。図５７のように、境界領域の一定の部分を符号化画像の平均的輝度色度と同等のグレースケールの単色の領域をはさんでも良い。もちろん、前述した符号化画像とその逆転画像の組合せを行う場合などでは、組合せの合計で示される画像の平均的輝度色度で計算をすることが望ましい。このように対応することにより、境界部分付近の一定の領域では信号を送信することができなくなるが、信号の誤認識を大きく減少させ、また、映像の見た目で境界面が符号化信号のために特に目立つ弊害も避けることができる。もちろん、上記内容との組合せで、重複領域には片方からの符号化信号だけを投影し、他方からは出力しないことも解決策として有効であるが、更に、プロジェクターの熱などによる経時変化で重複領域が変化する場合など、投影中に教会が変化する可能性のある場合には、変化するであろうごく近傍のみ補正したグレースケールを表示して、できる限り信号を受信できる領域を確保しつつ、映像への影響を与えない方法を取ることも有効である。

尚、複数のプロジェクターの映像信号の同期については、１フレーム以内の同期であれば良いが、符号化信号の出力タイミングは、出力幅にも依存するが、１０ｕｓｅｃ以内の誤差で同期することが望ましい。これは、境界領域を撮像した際の語タイミングのずれによるデータの誤認識を避けるためであるが、前述したとおり、発光時間は外光との干渉を避けるために２０ｕｓｅｃ以上であることが望ましいことに対して、２０ｕｓｅｃの少なくとも半分以上の誤差が一つの画像の中で発せすると、１０ｕｓｅｃ以下の外光による干渉の影響が大きくなる領域になることを避けるためである。これを実現するためには、複数のプロジェクターの同期で、映像表示期間に関しては通常通りであり、符号化信号を出力するためにまず黒信号を出力する時刻の同期も映像信号と同等でよいが、光源を光らせるタイミングは映像信号とは別の信号系統でトリガを書け、少なくとも映像信号の誤差と符号化信号を表示する期間の和に相当する期間、プロジェクターの映像出力は、該当する符号化信号を出力する状況にした上で、光源を落とし、複数のプロジェクターで同期して光源を点灯することによって符号化信号の時間同期をより精度の高い同期をすることが可能となる。符号化信号がＨＤＭＩ（登録商標）など映像信号と同期されて入力されている場合には、映像信号と符号化画像の同期に対する精度は大差ないため、映像信号の同期精度を向上させるか、或いは、符号化信号についても、同期誤差を含めた比較的長い期間表示できる画像として送信して置き、これとは別に光源の制御を別途行うことで、符号化信号送信の同期精度を上げることも可能となる。

（プロジェクションマッピングに対する適応する場合の対応策）
投影の対象が建造物や構造物、造形物、自然の地形、自然の構成物など、スクリーン以外のものに投影する場合に、特に対策を行うことが望ましい内容について下記に記載する。

（投影対象物の反射率、色などが異なる場合の対応策）
事前に投影する面の反射率、色など、視認する際に影響を受ける要素に対して、事前に測定をして補正するための各原色の係数のテーブルを作成して映像信号に対して掛ける補正と同様の補正を掛けて符号化画像を出力する、或いは、プロジェクターと同期して映像を撮像して補正の係数を時刻とともに計算する装置をプロジェクター近傍に配置し、投影画像を観測して順次補正を掛けていく方法などを取る必要がある。これは、映像信号の補正の方法をと大きな差はなく、符号化画像においても同様の輝度色どの補正をする必要がある。これは、受信機側で撮像したデータを明領域と暗領域に区別して処理する際に、名領域の輝度が場所によって不連続に変化している場合には、明状態なのか暗状態なのかの判断が困難になるなどの不具合が生じるためである。以上のような対応を取ることにより、不具合については大きく改善される。

特に、投影面に穴などが開いているなど、反射率が０或いは非常に低い場合の対処法について図５８を用いて説明する。図５８は、投影する対象に穴などがある場合の符号化画像の対処法を示すイメージ図である。図５８のように、投影面に穴が開いているなど反射率が０或いは非常に低い場合については、反射率０或いは非常に低い領域を通る縞状信号はこれを投影せず、反射率０の領域を通らない語句近傍の符号化画像の信号を、中断することを示す識別子と、もう一方側には、信号を再開し、中断前の信号に継続するための識別子を表示することで信号の誤認識を回避することが可能となる。

尚、受信機側については、スクリーン以外に投影する場合には、撮像の露光時間を延ばし、できるだけ時間軸方向のデータ量を増加させて、投影面による外乱を避けることが望ましい。

（投影対象よりも背面側にまで投影光が及ぶ場合の対策）
投影対象物よりも投影可能領域が大きく、投影面よりも背面側にまで投影光が及ぶ場合に、比較的投影面と背面側の投影光が届く領域までの距離が大きく変わらない場合には、背景面にも画像を投影して立体感を出すなどの効果を狙っている場合においても、符号化画像については、背面側の投影面にまでは投影せず投影する領域を限定することが望ましい。これは、特にレーザーを用いたプロジェクターなど、大型の各原色の光源を有するプロジェクターにおいては、背面側に投影された信号が、本来の投影面に投影された信号と干渉を起こして誤認識を助長することを避けることが目的である。

（投影対象に縦あるいは横の平面がある場合の対応策）
建造物、構造物などの投影する場合には、その投影面に平面が含まれることもあり、平面も縦長の平面、横長の平面などの組合せによって構成されている。

この際に、縦の柱など縦方向に延伸する平面に対しては横縞上の符号化画像を、横柱など、横方向に延伸する平面に対しては、縦縞の符号化画像を選択的に出力することで受信確率を向上させることが可能である。具体的な方法を図５９を用いて説明する。

図５９は、投影する対象に縦横方向の柱などが存在する場合の符号化画像の一例を示すイメージ図である。

予め投影対象の形状や表面の反射率色などの情報を入手した上で、映像信号に補正を掛けて出力する方法の場合には、元の信号と、映像の表示位置の補正信号の線形性が保たれている領域においては、その領域が平面であることを示すため、このような平面である領域の形状を判断する。できる限り長い距離にわたり連続して平面であることが望ましいため、該当する領域の形状がどの方向に最も長い距離にわたって平面であるかを画像処理にて検出し、すなわち、長い距離にわたって信号を取れる範囲を判断する。判断された情報に応じて、縦方向、横方向またはそれらの組合せ、或いはこれらの中間の角度などの符号化信号を選択的に表示する或いは可能性の高い符号化信号の方向を順次交代して表示するかを決定し、これを表示することで受信確率の向上を期待できる。

また、符号化画像とは別途、符号化画像がどちらを向いているかを判断するための識別子を非常に短い列で挿入して、受信機の復号の優先順位を決定するために表示しても良いし、受信機を有する受信者に対して、受信する方向を促しても良い。尚、符号化画像と異なる判別用画像を用いて行う代わりに、光の点滅を用いて判別信号を送信しても良いし、Ｗｉｆｉなどの手段を用いて、受信機のアプリケーションダウンロードとともに、最適な配置などを支持する方法を用いても良い。

尚、識別信号については、符号化画像とその明暗反転画像を表示する際にはその間で表示することで、次のフレームでの受信確率を挙げるとともに、非常に短期間の表示のよってできる限り目立たなくする方法を用いても良い。

（撮像する画格に応じた情報の分類）
表示された符号化画像を受信機において撮像し、符号化画像を復号することによって送信された信号を受信し、受信した信号を元に予め割り当てられた送信先、或いは受信した信号に基づいて定められた送信先に対して、撮像した画像をサーバーなどに送信することにより、投影送信することによる被照射物から得られたＩＤと１ブロックサイズ（画像情報の大小）がサーバー側で判定でき、この判定した結果に基づいて、異なる情報への誘導を行っても良い。また、サーバーより受信機を持った人がどこ位置にいるかをプロジェクター側へ送信し、その情報を元に、受信する人が受信しやすい符号化画像或いはその組合せを映像に挿入して投影しても良い。更には、受信機で受信し、サーバーなどへ送信された複数の画像のデータなどにより、サーバーより受信機へ返送される情報の種類を変化させても良い。例えば、様々な方向、角度場所などから撮像した記録を送信することで、所謂スタンプラリーのような興味を受信者に対して提供する方法を取ることも良い。

更には、受信した画像の取得時刻によって、サーバーから返送される情報の種類を変更し、少ない情報量の受信で様々な組合せの情報を、映像に合わせて変化させて返送することも可能である。

（実施の形態４）
図６０に本実施の形態のユースケースの概略を説明する。大型スクリーンｎ１００は可視光通信機能を持ち、情報を発信している。モバイルデバイスｎ１０１は可視光通信の受信機能を持ち、さらにＩＤ変換サーバーｎ１０４やインターネットへ接続する機能も合わせて備えている。大型スクリーンｎ１００は、上映中の映画のシーンごとに異なるＩＤを発信し、モバイルデバイスｎ１０１はそのＩＤを取得すると、ＩＤ変換サーバーｎ１０４やインターネットを通じて例えばそのシーンの多言語の字幕情報や、シーンで使われている機材の情報、メイキング映像等スクリーンｎ１００で表示されている映像コンテンツに関連した情報を取得する。

図６１に大型スクリーンｎ１００がバーコードのパターンを表示させ、その情報を可視光通信で受信する場合の概略図を示す。モバイルデバイスｎ１０１の利用者は、モバイルデバイスを垂直方向か、水平方向かどちらに構えるか分からない。このため、水平方向のバーコードと、垂直方向のバーコードを交互に表示させることが望ましい。

図６２に、本実施の形態の基本的なフロー図を示す。ステップＳｎ３００でモバイルデバイスｎ１０１のカメラのシャッタースピードを早くして、ステップＳｎ３０１でスクリーンｎ１００を撮影し、コンテンツＩＤを受信して、ステップＳｎ３０２でコンテンツＩＤをＩＤ変換サーバーｎ１０４に問い合わせて、ステップＳｎ３０３でＩＤ変換サーバーｎ１０４からコンテンツＵＲＬを取得して、ステップＳｎ３０４でサーバーｎ１０５へアクセスし、コンテンツを取得して、ステップＳｎ３０５でコンテンツを表示する。

図６２のようなフローでユーザーがコンテンツを受診する場合、大型の映画館やコンサート会場では、多くのユーザーが同時にＩＤ変換サーバーｎ１０４に問い合わせを行うことが想定される。このため、例えばモバイルデバイスｎ１０１が無線通信機能を用いてＩＤ変換サーバーｎ１０４にアクセスすると、無線負荷が集中してアクセスすることができなくなることが想定される。

この課題を解決する手段として、図６３では、あらかじめ、コンテンツとコンテンツＩＤの対応テーブルを受信しておき、ＩＤ変換サーバーｎ１０４に問い合わせることなく、モバイルデバイスｎ１０１にコンテンツ情報を表示させる方式について説明を行う。

ステップＳｎ３００でモバイルデバイスｎ１０１のカメラのシャッタースピードを早くして、ステップＳｎ４０１で全コンテンツと、コンテンツＩＤの対応テーブルを受信して、ステップＳｎ３０１でスクリーンｎ１００を撮影し、コンテンツＩＤを受信して、ステップＳｎ４０２でコンテンツ変換テーブルを参照し、コンテンツを決定して、ステップＳｎ３０５コンテンツを表示する。

また、通信のアクセスが集中しないように、図６４のように、ＩＤ変換サーバーｎ１０４へアクセスするタイミングをデバイスＩＤとコンテンツＩＤをキーとして分散させることで、負荷を減らすことも可能である。

モバイルデバイスｎ１０１のカメラのシャッタースピードを早くして、ステップＳｎ３０１でスクリーンｎ１００を撮影し、コンテンツＩＤを受信して、ステップＳｎ５０１でデバイスＩＤとコンテンツＩＤより待機時間を決定して、ステップＳｎ５０２で待機時間終了かどうかを確認して、Ｙｅｓの場合はステップＳｎ３０２へ進み、Ｎｏの場合はステップＳｎ５０２を再度確認する。

ステップＳｎ３０２コンテンツＩＤをＩＤ変換サーバーｎ１０４に問い合わせて、ステップＳｎ３０３ ＩＤ変換サーバーｎ１０４からコンテンツＵＲＬを取得して、ステップＳｎ３０４でサーバーｎ１０５へアクセスし、コンテンツを取得して、ステップＳｎ３０５でコンテンツを表示する。

また、図６５のように、有料課金を行ったモバイルデバイスｎ１０１のユーザーは直ちにＩＤ変換サーバーｎ１０４へのアクセスを許可し、課金を行っていないユーザーは所定時間待機後ＩＤ変換サーバーｎ１０４へのアクセスを許可するという仕組みにしても良い。有料課金ユーザーの利便性を向上させることで、有料課金ユーザーを増やすことが可能となる。

ステップＳｎ３００でモバイルデバイスｎ１０１のカメラのシャッタースピードを早くして、ステップＳｎ３０１でスクリーンｎ１００を撮影し、コンテンツＩＤを受信して、ステップＳｎ６０１でモバイルデバイスｎ１０１は有料課金デバイスかどうかを確認して、Ｙｅｓの場合はステップＳｎ３０２へ進み、Ｎｏの場合はステップＳｎ６０２へ進む。

ステップＳｎ３０２でコンテンツＩＤをＩＤ変換サーバーｎ１０４に問い合わせて、ステップＳｎ３０３でＩＤ変換サーバーｎ１０４からコンテンツＵＲＬを取得して、ステップＳｎ３０４でサーバーｎ１０５へアクセスし、コンテンツを取得して、ステップＳｎ３０５でコンテンツを表示する。

ステップＳｎ６０２で待機時間終了かどうかを確認して、Ｙｅｓの場合はステップＳｎ３０２へ進み、Ｎｏの場合はステップＳｎ６０２を再度確認する。

また、スクリーンｎ１００はコンテンツＩＤだけではなく、コンテンツそのものを配信することも可能である。この時、スクリーンｎ１００は図６６のように、コンテンツＩＤとコンテンツＡ〜Ｎを時間帯で区切って送信することが望ましい。

また、図６７のようにスクリーンｎ１００がコンテンツを配信している場合において、負荷が集中するなどして、ＩＤ変換サーバーｎ１０４にアクセス出来ない場合には、スクリーンｎ１００から情報を取得するという構成にすることも可能である。

ステップＳｎ３００でモバイルデバイスｎ１０１のカメラのシャッタースピードを早くして、ステップＳｎ３０１でスクリーンｎ１００を撮影し、コンテンツＩＤを受信して、ステップＳｎ３０２でコンテンツＩＤをＩＤ変換サーバーｎ１０４に問い合わせて、ステップＳｎ７０１でＩＤ変換サーバーｎ１０４にアクセスできるかどうかを確認して、Ｙｅｓの場合はステップＳｎ７０２へ進み、Ｎｏの場合はステップＳｎ７０３へ進む。

ステップＳｎ７０２で通信速度は所定値以上かどうかを確認して、Ｙｅｓの場合はステップＳｎ３０３へ進み、Ｎｏの場合はステップＳｎ７０３へ進む。

ステップＳｎ３０３でＩＤ変換サーバーｎ１０４からコンテンツＵＲＬを取得して、ステップＳｎ３０４でサーバーｎ１０５へアクセスし、コンテンツを取得して、ステップＳｎ３０５でコンテンツを表示する。

ステップＳｎ７０３でスクリーンｎ１００を撮影してくだいとモバイルデバイスｎ１０１に表示して、ステップＳｎ７０４でスクリーンｎ１００よりコンテンツを受信する。

なお、本実施の形態において、ＩＤ変換サーバーとコンテンツサーバーは同一のものであってもよく、コンテンツサーバーｎ１０５へのアクセスが集中しないように、前述の負荷低減の技術を用いても良い。

（実施の形態５）
図６８は、既に説明した実施の形態に記載の表示方法や、受信方法を用いたサービス提供システムを示している。

まず、サーバｅｘ８００２を管理する企業Ａ ｅｘ８０００に対して、他の企業Ｂや個人ｅｘ８００１が、携帯端末への情報の配信を依頼する。例えば、サイネージと可視光通信した携帯端末に対して、詳細な広告情報や、クーポン情報、または、地図情報などの配信を依頼する。サーバを管理する企業Ａ ｅｘ８０００は、任意のＩＤ情報に対応させて携帯端末へ配信する情報を管理する。携帯端末ｅｘ８００３は、可視光通信により被写体ｅｘ８００４からＩＤ情報を取得し、取得したＩＤ情報をサーバｅｘ８００２へ送信する。サーバｅｘ８００２は、ＩＤ情報に対応する情報を携帯端末へ送信するとともに、ＩＤ情報に対応する情報を送信した回数をカウントする。サーバを管理する企業Ａ ｅｘ８０００は、カウントした回数に応じた料金を、依頼した企業Ｂや個人ｅｘ８００１に対して課金する。例えば、カウント数が大きい程、課金する額を大きくする。

図６９は、サービス提供のフローを示している。

Ｓｔｅｐ ｅｘ８０００において、サーバを管理する企業Ａが、他企業Ｂより情報配信の依頼を受ける。次に、Ｓｔｅｐ ｅｘ８００１において、企業Ａが管理するサーバにおいて、配信依頼を受けた情報を、特定のＩＤ情報と関連付ける。Ｓｔｅｐ ｅｘ８００２では、携帯端末が、可視光通信により、被写体から特定のＩＤ情報を受信し、企業Ａが管理するサーバへ送信する。可視光通信方法の詳細については、他の実施の形態において既に説明しているため省略する。サーバは、携帯端末から送信された特定のＩＤ情報に対応する情報を携帯端末に対して送信する。Ｓｔｅｐ ｅｘ８００３では、サーバにおいて、情報配信した回数をカウントする。最後に、Ｓｔｅｐ ｅｘ８００４において、情報配信したカウント数に応じた料金を企業Ｂに対して課金する。このように、カウント数に応じて、課金を行うことにより、情報配信の宣伝効果に応じた適切な料金を企業Ｂに課金することが可能となる。

図７０は、他の例におけるサービス提供のフローを示している。図６９と重複するステップについては説明を省略する。

Ｓｔｅｐ ｅｘ８００８において、情報配信の開始から所定時間が経過したか否か判断する。所定時間内と判断されれば、Ｓｔｅｐ ｅｘ８０１１において、企業Ｂに対しての課金は行わない。一方、所定期間が経過していると判断された場合には、Ｓｔｅｐ ｅｘ８００９において、情報を配信した回数をカウントする。そして、Ｓｔｅｐ ｅｘ８０１０において、情報配信したカウントに応じた料金を企業Ｂに対して課金する。このように、所定期間内は無料で情報配信を行うことから、企業Ｂは宣伝効果などを確認した上で、課金サービスを受けることができる。

図７１は、他の例におけるサービス提供のフローを示している。図７０と重複するステップについては説明を省略する。

Ｓｔｅｐ ｅｘ８０１４において、情報を配信した回数をカウントする。Ｓｔｅｐ ｅｘ８０１５において、情報配信開始から所定期間が経過していないと判断された場合には、Ｓｔｅｐ ｅｘ８０１６において課金は行わない。一方、所定期間が経過していると判断された場合には、Ｓｔｅｐ ｅｘ８０１７において、情報を配信した回数が所定値以上か否か判断を行う。情報を配信した回数が所定値に満たない場合には、カウント数をリセットし、再度、情報を配信した回数をカウントする。この場合、情報を配信した回数が所定値未満だった、所定期間については企業Ｂに対して課金は行わない。Ｓｔｅｐ ｅｘ８０１７において、カウント数が所定値以上であれば、Ｓｔｅｐ ｅｘ８０１８においてカウント数を一度リセットし、再度カウントを再開する。Ｓｔｅｐ ｅｘ８０１９において、カウント数に応じた料金を企業Ｂに対して課金する。このように、無料で配信を行った期間内におけるカウント数が少なかった場合に、再度、無料配信の期間を設けることで、企業Ｂは適切なタイミングで課金サービスを受けることができる。また、企業Ａもカウント数が少なかった場合に、情報内容を分析し、例えば、季節と対応しない情報になっているような場合に、情報内容を変更するように企業Ｂに対し提案することが可能となる。なお、再度、無料の情報配信期間を設ける場合には、初回の所定の期間よりも短い期間としてもよい。初回の所定の期間よりも短くすることにより、企業Ａに対する負担を小さくすることができる。また、一定期間を空けて、無料の配信期間を再度設ける構成としてもよい。例えば、季節の影響を受ける情報であれば、季節が変わるまで一定期間を空けて、再度、無料の配信期間を設けることができる。

なお、情報の配信回数によらず、データ量に応じて、課金料金を変更するとしてもよい。一定のデータ量の配信は無料として、所定のデータ量以上は、課金する構成としてもよい。また、データ量が大きくなるにつれて、課金料金も大きくしてもよい。また、情報を特定のＩＤ情報に対応付けて管理する際に、管理料を課金してもよい。管理料として課金することにより、情報配信を依頼した時点で、料金を決定することが可能となる。

以上のように、図面および詳細な説明によって、出願人がベストモードと考える実施の形態と他の実施の形態とを提供した。これらは、特定の実施の形態を参照することにより、当業者に対して、請求の範囲に記載の主題を例証するために提供されるものである。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、それ以外の構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されているからといって、直ちにそれらの必須ではない構成要素が必須であるとの認定を受けるべきではない。また、請求の範囲またはその均等の範囲において、上述の実施の形態に対して、種々の変更、置き換え、付加、省略などを行うことができる。

また、本開示には、以下の映像表示装置も含まれる。つまり、この映像表示装置は、入力される映像信号をフレーム単位で複数の画像に分解して出力する第１の信号処理部と、入力される可視光通信信号を符号化して符号化画像を生成し、前記符号化画像を所定の配置に配置して可視光通信画像を生成すると共に、前記可視光通信画像を表示する表示タイミングを決定する第２の信号処理部と、前記第１の信号処理部より出力される複数の画像に前記第２の信号処理部が決定した表示タイミングで前記可視光通信画像を挿入して表示するよう制御する表示制御部と、前記表示制御部の制御に従って前記第１の信号処理部より出力される複数の画像と前記可視光通信画像を表示する表示部とを備える。

また、映像表示装置は、可視光通信信号を出力可能な映像表示装置であって、映像を表示する表示面と、映像信号に基づいて前記表示パネルの表示面に可視光通信信号を符号化し、一定の規則で画像化した縞状画像を含む画像を作成する可視光通信信号制御部と、映像を表示するよう制御する表示制御部と、前記可視光通信信号を符号化して作成した画像を極短い時間映像に混入させて表示する一連の映像信号を編成し直す可視光通信信号符号化画像統合制御部と、これら映像信号を表示する表示面とを備える。

また、前記第２の信号処理部は、前記可視光通信画像を表示する極短い時間とは、１ｍｓｅｃ以内で、望ましくは０．２ｍｓｅｃ以内としてもよい。

また、前記可視光通信信号を符号化して作成した縞様画像を含む画像において、縞様画像は少なくとも１つのまとまりを持った可視光信号であって、表示面の縁辺に対して平行でない、或いは、複数の縞様画像を含み、互いに直交或いは鋭角を持って交わる状況を備えた映像を出力してもよい。

また、前記表示部の表示面に可視光通信信号を符号化し、所定の規則で画像化した縞状画像を表示する期間と連続して前記所定の縞状画像の各画素の補足を持ってなす縞状画像を表示面に表示することを特徴としてもよい。

以上、一つまたは複数の態様に係る映像表示方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。

図７２Ａは、本発明の一態様に係る映像表示方法のフローチャートである。

本発明の一態様に係る映像表示方法は、映像信号に含まれる画像をフレームごとに表示する際に、当該画像の階調を複数のサブフレームを用いて表現する映像表示方法であって、ステップＳＬ２１〜ＳＬ２４を含む。

つまり、この映像表示方法は、可視光通信信号を符号化することによって、可視光通信用の縞模様の画像を可視光通信画像として生成する可視光通信画像生成ステップＳＬ２１と、前記可視光通信画像の平均輝度を算出する輝度算出ステップＳＬ２２と、前記フレームにおいて表示される前記映像信号の画像を構成する分割画像がそれぞれ表示される少なくとも１つのサブフレームのうち、算出された前記平均輝度を表現するためのサブフレームである特定サブフレームにおいて表示される分割画像のみに対して、前記可視光通信画像を重畳することによって、可視光重畳画像を生成する重畳ステップＳＬ２３と、前記フレームに含まれる前記特定サブフレームにおいて前記可視光重畳画像を表示する重畳画像表示ステップＳＬ２４とを含む。

図７２Ｂは、本発明の一態様に係る映像表示装置のブロック図である。

本発明の一態様に係る映像表示装置Ｌ２０は、映像信号に含まれる画像をフレームごとに表示する際に、当該画像の階調を複数のサブフレームを用いて表現する映像表示装置であって、構成要素Ｌ２１〜Ｌ２４を備える。

つまり、この映像表示装置Ｌ２０は、可視光通信信号を符号化することによって、可視光通信用の縞模様の画像を可視光通信画像として生成する可視光通信画像生成部Ｌ２１と、前記可視光通信画像の平均輝度を算出する輝度算出部Ｌ２２と、前記フレームにおいて表示される前記映像信号の画像を構成する分割画像がそれぞれ表示される少なくとも１つのサブフレームのうち、算出された前記平均輝度を表現するためのサブフレームである特定サブフレームにおいて表示される分割画像のみに対して、前記可視光通信画像を重畳することによって、可視光重畳画像を生成する重畳部Ｌ２３と、前記フレームに含まれる前記特定サブフレームにおいて前記可視光重畳画像を表示する画像表示部Ｌ２４とを備える。

このような図７２Ａおよび図７２Ｂによって示される映像表示方法および映像表示装置Ｌ２０では、フレーム内の特定サブフレームにおいて表示される分割画像のみに対して可視光通信画像が重畳されて表示されるため、可視光通信画像が人の目に視認されてしまうことを抑えることができ、可視光通信信号を適切に送信することができる。

なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。例えばプログラムは、図７２Ａのフローチャートによって示される映像表示方法をコンピュータに実行させる。

本開示にかかる映像表示方法、映像表示装置、受光機および通信方法は、画像以外の情報を安全にしかも能動的に取得できるため、家庭でのテレビ或いはＰＣ、タブレットなどの機器は勿論のこと、外出先でのサイネージや、情報端末、情報表示機器においてもその能動性ゆえに安全に必要な情報を必要なだけ得られるという意味で、あらゆる場面での画像付帯情報の転送、情報発信などのさまざまな用途に適用可能である。

１００ 表示装置
１１０ 表示部
１２０ 第１の入力部
１３０ 第１の信号処理部
１４０ 表示制御部
１５０ 第２の入力部
１６０ 第２の信号処理部
２００ 受信装置
２１０ 撮像部
２２０ 映像化部
２３０ 信号判定部
２４０ 信号復調部
Ｌ２０ 映像表示装置
Ｌ２１ 輝度算出部
Ｌ２３ 重畳部
Ｌ２４ 画像表示部
ｎ１００ スクリーン
ｎ１０１ モバイルデバイス
ｎ１０４ ＩＤ変換サーバー
ｎ１０５ コンテンツサーバー

Claims (10)

1. 映像信号に含まれる画像をフレームごとに表示する際に、当該画像の階調を複数のサブフレームを用いて表現する映像表示方法であって、
   可視光通信信号を符号化することによって、可視光通信用の縞模様の画像を可視光通信画像として生成する可視光通信画像生成ステップと、
   前記可視光通信画像の平均輝度を算出する輝度算出ステップと、
   前記フレームにおいて表示される前記映像信号の画像を構成する分割画像がそれぞれ表示される少なくとも１つのサブフレームのうち、算出された前記平均輝度を表現するためのサブフレームである特定サブフレームにおいて表示される分割画像のみに対して、前記可視光通信画像を重畳することによって、可視光重畳画像を生成する重畳ステップと、
   前記フレームに含まれる前記特定サブフレームにおいて前記可視光重畳画像を表示する重畳画像表示ステップとを含む
   映像表示方法。
2. 前記重畳ステップでは、
   前記分割画像と前記可視光通信画像のそれぞれに含まれる互いに異なる２つの輝度値のうち、低い方の輝度値を０として扱い、高い方の輝度値を１として扱う場合、前記分割画像と前記可視光通信画像とのそれぞれの輝度値の論理和または論理積を算出することによって、前記可視光重畳画像を生成する
   請求項１に記載の映像表示方法。
3. 論理積によって前記可視光重畳画像が生成される場合には、
   前記映像表示方法は、さらに、
   前記特定サブフレームと同じ時間幅を有するサブフレームを追加サブフレームとして前記フレームに追加し、当該追加サブフレームにおいて他の可視光重畳画像を表示する追加ステップを含む
   請求項２に記載の映像表示方法。
4. 前記追加ステップでは、
   前記可視光通信画像に含まれる互いに異なる２つの輝度値が入れ換えられた画像と、前記分割画像とのそれぞれの輝度値に関する論理積を算出することによって生成される反転画像を、前記他の可視光重畳画像として表示する
   請求項３に記載の映像表示方法。
5. 論理和によって前記可視光重畳画像が生成される場合には、
   前記映像表示方法は、さらに、
   前記特定サブフレームを分割し、分割によって生成される２つの分割サブフレームのうちの一方において他の可視光重畳画像を表示する分割ステップを含み、
   前記重畳画像表示ステップでは、前記２つの分割サブフレームのうちの他方において前記可視光重畳画像を表示する
   請求項２に記載の映像表示方法。
6. 前記分割ステップでは、
   前記可視光通信画像生成ステップで生成される可視光通信画像に含まれる互いに異なる２つの輝度値が入れ換えられた画像と、前記分割画像とのそれぞれの輝度値に関する論理和を算出することによって生成される反転画像を、前記他の可視光重畳画像として表示する
   請求項５に記載の映像表示方法。
7. 前記少なくとも１つのサブフレームのうち、前記特定サブフレーム以外のサブフレームにおいて、前記分割画像を表示する分割画像表示ステップと、
   前記フレームにおいて、前記可視光重畳画像が表示される前および後のうちの少なくとも一方で、前記分割画像の平均輝度よりも一様に低い輝度の画像を識別用画像として表示する識別用画像表示ステップとを含む
   請求項１に記載の映像表示方法。
8. 前記映像表示方法は、さらに、
   前記可視光通信画像に含まれる互いに異なる２つの輝度値が入れ換えられた画像と、前記分割画像とのそれぞれの輝度値に関する論理積または論理和を算出することによって、反転可視光重畳画像を生成する反転画像生成ステップと、
   前記フレームにおいて、前記可視光重畳画像に続いて前記識別用画像が表示された後に、前記反転可視光重畳画像を表示する反転画像表示ステップとを含む
   請求項７に記載の映像表示方法。
9. 前記重畳画像表示ステップでは、
   前記可視光重畳画像を０．２ｍ秒以内の時間だけ表示する
   請求項１〜８の何れか１項に記載の映像表示方法。
10. 映像信号に含まれる画像をフレームごとに表示する際に、当該画像の階調を複数のサブフレームを用いて表現する映像表示装置であって、
    可視光通信信号を符号化することによって、可視光通信用の縞模様の画像を可視光通信画像として生成する可視光通信画像生成部と、
    前記可視光通信画像の平均輝度を算出する輝度算出部と、
    前記フレームにおいて表示される前記映像信号の画像を構成する分割画像がそれぞれ表示される少なくとも１つのサブフレームのうち、算出された前記平均輝度を表現するためのサブフレームである特定サブフレームにおいて表示される分割画像のみに対して、前記可視光通信画像を重畳することによって、可視光重畳画像を生成する重畳部と、
    前記フレームに含まれる前記特定サブフレームにおいて前記可視光重畳画像を表示する画像表示部とを備える
    映像表示装置。

Images