JP2005136665A - データ信号の送信方法と受信方法及びその装置、システム、プログラム並びに記録媒体 - Google Patents

Abstract

【課題】周波数応答の遅い発光デバイスを用いても有意なデータ信号を送受信できること。
【解決手段】色点滅信号送信手段１１と色表示手段１２とを有するデータ送信システムにおいて、色点滅信号送信手段１１が色相に規定されるデータ値を演算処理して色相差に変換した後に、色表示手段１２が第一の色に続いて前記色相差だけ色相の異なる第二の色を連続して表示する。また、イメージセンサ手段２０と色点滅信号受信手段２１とを有するデータ受信システムにおいては、色点滅信号受信手段２０が、イメージセンサ手段２１によって連続して撮像される画像フレーム間の各画素の色相差を計算した後、一定値以上の色相差が生じる画素を信号成分として抽出し、この信号成分において生じた色相差を演算処理してデータ値に変換することによってデータ値を受信する
【選択図】 図１

Description

本発明は、可視光を用いてデータ信号を送信する技術、および、カメラを用いて前記データ信号を含む映像を撮影し、映像中から前記データ信号の領域を検出するとともに前記データ信号を受信する技術に関するものである。

ユビキタスネットワーク技術の進展と携帯通信端末の普及により、あらゆる場所でネットワークが利用できるようになった。これに伴い、ユーザの周囲状況を認識し、ユーザの周囲の事物を媒体として情報を提供するシステムの研究開発が進められている。具体的には、パブリックスペースに設置された情報提供デバイスが近傍のユーザの位置や動作に応じた情報を提供するシステム（非特許文献１）や、ユーザの保持する携帯情報端末に対して、視野にある実世界の事物に関連する情報を提示するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）システム（例えば、非特許文献２）の開発が行われている。

これらのシステムでは、ユーザと周囲の事物の位置関係を認識することが重要となる。情報提示デバイスの周囲を撮影したカメラ映像から近傍に存在するユーザとその動作を検出する技術や、ユーザの視野を撮影したカメラ映像から視野内の事物を検出する技術は、ユーザと周囲の事物の位置関係を認識するための有力な手段である。

カメラで撮影された映像中のユーザや事物を検出するための有効な手法として、被写体側から発信される光ビーコンを検出するシステムがいくつか提案されている（非特許文献１，３，４及び５）。これらのシステムはロバストに被写体であるユーザや事物を特定できる。映像中の光ビーコンの位置を追跡することで被写体の動作も検出できる。

しかしながら、これらのシステムでは、特殊な光ビーコンを発信するためのデバイスをユーザや事物の側に付帯させる必要がある。これらのシステムを早期に広範囲で一般的に利用できるものとするためには、特殊なデバイスを用いずに、既に広く普及したデバイスによってこれを実現することが求められる。
中村嘉志、伊藤日出男、西村拓一、山本吉伸、中島秀之，「無電源小型通信端末ＣｏＢＩＴによる近距離情報支援の実現」，情報処理学会知的都市基盤研究グループ研究報告，２００２−ＩＣＩＩ−３，ＰＰ．１−７（２００２） 暦本純一，「２次元マトリックスコードを利用した拡張現実感システムの構成手法」，インタラクティブシステムとソフトウェアＩＶ，ｐｐ．１９９−２０８，近代科学社（１９９６） 松下伸行、日原大輔、後輝行、吉村真一、暦本純一，「ＩＤ Ｃａｍ：シーンとＩＤを同時に取得可能なスマートカメラ」，情報処理学会論文誌，ｖｏ１．４３，Ｎｏ．１２，ｐｐ．３６６４−３６７４（Ｄｅｃ．２００２） 青木恒，「カメラで読みとる赤外線タグとその応用」，インタラクティブシステムとソフトウェアＶＩＩＩ，ｐｐ．１３１−１３６，近代科学社（２０００） 塚本昌彦，「実空間利用のためのビジュアルなコンピュータ間通信方式」，情報処理学会研究報告（モーバイルコンピューティング２０００−ＭＢＬ−１２）、Ｖｏｌ．２０００，Ｎｏ．１４，ｐｐ．２５−３２（２０００）

カメラを用いて光信号を撮影し、その位置とデータ信号を検出する方法は、これまでにさまざまなものが提案されている。しかしながら、いずれの方法も携帯電話のディスプレイを発光源として用いるには問題がある。以下に既存システムの構成と、携帯電話ディスプレイに適用する際の問題点について述べる。

（１）高速光ビーコン
高速で点滅する光ビーコンを高速カメラで撮影し、光ビーコン位置とデータ信号を検出する方法である。カメラと光ビーコンの点滅を同期させるものと、カメラが光ビーコンの点滅周波数より高速に撮像するものとがある。情報提供デバイス側のカメラと携帯電話ディスプレイの点滅とを同期させることは困難である。また、非特許文献３に開示されたシステムでは光ビーコンの点滅周波数は４ｋＨｚであるが、既存の携帯電話の液晶ディスプレイでは、このような高速な光点滅が不可能である。

（２）低速光ビーコン
３０ｆｐｓのカメラで検出可能な周波数で点滅する光ビーコンを用いる方法である。通常の可視光映像では被写体の移動などにより頻繁に輝度差が生じる。非特許文献３に開示されたの高速光ビーコンの場合、カメラ側では４ｋＨｚの周波数で高速に輝度差が生じる画素を有意な信号領域として検出できる。しかし、低速な可視光の点滅は、動体の影響による輝度差と区別できず信号領域を検出するのが難しい。したがって、低速光ビーコンには、赤外線などの特殊な光線を用いる必要がある。このために携帯電話ディスプレイには適用できない。

（３）ビジュアルマーカ
３０ｆｐｓのカメラで検出可能な周波数で点滅する低速光ビーコンの位置を検出するためにマーカ信号を用いる方法である（非特許文献４及び５）。複数の光源をマトリクス状に配置し、４隅の光源を周期的に点滅させることで信号領域を検出できるようにする。

携帯電話ディスプレイの表示領域を複数の領域に分割して信号を発信する場合、表示領域全体が撮像され続けないと信号が検出できない。しかし、携帯電話ディスプレイでは、カメラに対するディスプレイ平面の向きによって、表示領域全体がうまく撮像されない場合がある。また、ＬＥＤをマトリクス状に配置した光源であれば外乱光の影響を受けにくいが、携帯電話ではディスプレイ表面に反射した光の影響によりディスプレイの発光が部分的に撮像されない場合も多い。したがって、本手法も携帯電話ディスプレイを用いたデータ信号に適さない。

以上のように、既存の方法は携帯電話などが有する汎用の小型ディスプレイデバイスを光源として利用するには問題がある。

そこで、本発明の目的は、ユーザの検出について前記要求及び問題に応えるため、多数のユーザが既に所有している携帯電話のディスプレイを光ビーコンの発信源として利用可能とするデータ信号送信方法と受信方法及びその装置、プログラム並びに記録媒体の提供にある。

また、携帯電話のディスプレイは、光ビーコンを発信するために設計されたＬＥＤなどに比べ点滅周波数がかなり低い。さらに、赤外線などの特殊な光線を発光することも不可能である。

このように、本発明の目的は、多色発光を用いることにより、携帯電話ディスプレイのように周波数応答の遅い発光デバイスを用いても有意なデータ信号を送受信できるデータ信号の送受信方法とその装置、プログラム並びに記録媒体の提供にある。

そこで、本発明データ信号の送信方法及び受信方法とその装置並びにシステムは、光の点滅（輝度差）に基づきデータ信号を送信するのではなく、発光色の変化（色相差）に基づきデータ信号を送受信している。

３０ｆｐｓ以下のカメラ等のイメージセンサ手段で撮影された映像においても、特殊な光源が含まれないかぎり、局所的に、かつ、連続して、一定の割合以上で色相が変化する画素が存在する可能性は低い。この点に着目し、本発明では、送信側において連続して、かつ、一定値以上で色相が変化するように光源であるディスプレイ全体を発色し、イメージセンサ手段側において撮影された映像中から、連続して、一定値以上で色相が変化する画素連結成分を信号成分として抽出している。さらに、データ送信側のディスプレイでは連続して発色する色間に色相差に階調を設け、データ値を変換した色相差に相当する色変化を行なっている。そして、イメージセンサ手段側においては、連続するフレーム間の信号成分の色相差を、設定された階調に基づいてデータ値に変換している。

すなわち、本発明のデータ信号の送信方法とその装置は、データ値を演算処理して色相差に変換し、表示されている第一の色に続いて前記色相差だけ色相の異なる第二の色を連続して表示することによって、データ値を送信することを特徴とする。

本発明においては、既定回数以上のデータ値を連続して送信してもよい。

一方、本発明のデータの受信方法とその装置は、連続して撮像される画像フレーム間の各画素の色相差を計算し、一定値以上の色相差が生じる画素を信号成分として抽出し、前記信号成分において生じた色相差をデータ値に変換することによって、データ値を受信している。

本発明においては、任意の画素から構成される信号成分において一定回数以上連続してデータ値が受信されることによって、受信されたデータ値列を有効な受信データとして受信してもよい。

また、受信データの誤検出の発生を抑制するために、前記信号成分は一定値以上の数の画素から成る連結成分であることを条件とするとよい。

尚、本発明のデータ信号の送受信方法及びその装置並びにシステムはコンピュータとプログラムによっても実現でき、プログラムをコンピュータ読み取り可能な記録媒体に記録すること、ネットワークを通して提供することも可能である。前記記録媒体としては、例えばフレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバルディスク等が挙げられる。

本発明のデータ信号の送信方法及び受信方法並びにその装置、プログラムとその記録媒体によれば、既存の携帯電話に装備される液晶ディスプレイなどの高速な光点滅が不可能な光源デバイスを用いた光信号でも、カメラ側において信号受信領域を検出し、データ信号を送受信できるようになる。

また、本発明は、低速に色点滅する光源に限らず、高速に色点滅する光源においても利用可能である。この場合は、高速な色点滅を撮影できる高速カメラを受信側で利用するが、動作アルゴリズムは、低速に色点滅する光源に対するものと同様である。

さらに、本発明では、データ値を色相差に変換するが、色相差をＮ＋１階調にすることで、一回の色点滅でＮ進数値を一個送受信できる。輝度差のみを用いる従来の光ビーコン方式では、一回の点滅で高々１ｂｉｔ（２進数値一個）しか送信できない。すなわち、光源の点滅速度が同じであれば、本発明によると、従来の光ビーコンに比べて高いスループットを実現できる。

本発明の実施の形態について図面を参照しながら説明する。

図１は本発明の実施形態例を示した概略図である。

本実施形態の送受信システムは、送信側において、色点滅信号送信手段１１と、ディスプレイ等の色表示手段１２とを有する。一方、受信側においては、カメラ等のイメージセンサ手段２０と、色点滅信号受信手段２１とを有する。

色点滅信号送信手段１１は、送信側の上位手段から送信キュー１０に入力される送信データを色点滅信号に変換し、色表示手段１２を用いて所定の色点滅周波数ｆＨｚで色点滅信号を発信する。

色点滅信号受信手段２１は、色表示手段１２をｆＨｚ以上のフレームレートで撮像するイメージセンサ手段２０から連続して入力される画像フレームを処理し、信号受信領域を検出するとともに、データ値を受信して、これらの値を受信側の上位手段に出力する。

（実施形態例１）
図１及び図２を参照しながら本実施形態の色点滅信号送信手段の動作例を説明する。図２は色点滅信号送信手段の実行する工程を示したフローチャートである。

色点滅信号送信手段１１は、データ値を演算処理して色相差に変換し、これを送信する。ここでは、色相差をＮ＋１階調に用いる場合、色相差値一つでＮ進数のデータ値一つを送信できる。

図２において、Ｎは（色相差の階調）−１を、ｆは色点滅周波数（Ｈｚ）を、ｈは色相の初期値を、ｌは明度の規定値を、ｓは採度の規定値を表す。図３、４及び８においても同様。

色点滅信号送信手段１１には、送信キュー１０に送信データが入力され送信処理が開始されるまでに、色表示手段１２に色相Ｈ＝ｈ、明度Ｌ＝ｌ、彩度Ｓ＝ｓの色を表示しておくとともに、変数ｃｈに現在表示されている色の色相Ｈを入力しておく（ｓ２０１）。

送信キュー１０に送信データが存在する場合、データ値の送信処理に進む（ｓ２０２）。尚、任意の送信データは送信キュー１０おいてＮ進数列として管理される。すなわち、一つのデータ値は０以上Ｎ未満の整数値ｎとなる。

送信処理では、先ず、送信キュー１０からデータ値ｎを取得し、送信キュー１０を更新する（ｓ２０３）。

次に、データ値ｎを色相差ｄｈに変換する（ｓ２０４）。ここで、ｄｈ＝（ｎ＋１）×２π／（Ｎ＋１）である。この結果、次の表示色は、色相Ｈ＝ｃｈ＋ｄｈ、明度Ｌ、彩度Ｓの色に決定される（ｓ２０５）。尚、色相Ｈは０以上２π未満の値となるので、もし、ｃｈ＋ｄｈ＞２πであれば、Ｈ＝ｃｈ＋ｄｈ−２πとなる。

そして、決定された表示色（色相Ｈ、明度Ｌ、彩度Ｓの色）を色表示手段１２に表示する（ｓ２０６）。

点滅周波数がｆＨｚである場合、ここで（１０００／ｆ）ｍｓｅｃ間静止し、前記表示色を提示し続ける（Ｓ２０７）。

その後、現在の表示色の色相Ｈを変数ｃｈに代入しｓ２０２のステップに戻る（ｓ２０８）。尚、ｓ２０７における静止時間はｓ２０７以外のステップが０ｍｓｅｃで完了すると仮定する場合、（１０００／ｆ）ｍｓｅｃとなるが、ｓ２０７以外のステップでｔ ｍｓｅｃの処理時間を要するならば、（１０００／ｆ）ｔ ｍｓｅｃである。

ｓ２０２において送信キューに送信データが無ければ、データ送信完了となる（ｓ２０９）。

次に、図１、図３及び図４を参照しながら本実施形態の色点滅信号受信手段の動作例を説明する。図３は色点滅信号受信手段の実行する工程を示したフローチャートである。図４は図３記載のｓ３０３の工程を示したフローチャートである。ここでは、Ｎ進数のデータ値を一つずつ受信する際の動作例について説明する。

開始の信号を受けると（ｓ３００）、色点滅信号受信手段２１は、イメージセンサ手段２０より連続して画像フレームＩ（ｉ）を取得する（ｓ３０１）。ここで、図３に示された工程では、画像フレームの取得周期（＝フレームレート）が、送信側の色表示手段１２の点滅周波数に等しいものとしている。

色点滅信号受信手段２１は、最新の画像フレームＩ（ｉ）が取得される時点で、一つ前の画像フレームＩ（ｉ−ｌ）を保持している。図３に示された工程では、最新の画像フレームＩ（ｉ）の取得イベント（ｓ３０１）おきに実施される。

画像フレームＩ（ｉ）が取得されると、画像フレームＩ（ｉ−ｌ）、Ｉ（ｉ）の全ての画素について、色相差ｄｈ（ｘ，ｙ）（ｘ，ｙは、それぞれ０≦ｘ＜ＷＩＤＴＨ，０≦ｙ＜ＨＥＩＧＨＴの整数である。尚、ＷＩＤＴＨは画像フレームの横軸画素数を、ＨＥＩＧＨＴは画像フレームの縦軸画素数を表す（図８においても同様）。）を算出する（Ｓ３０２）。ここで、色相差を算出する際、彩度が低い画素、すなわち、ほとんど無色な画素は、色点滅信号を撮像したものとはみなせない。したがって、比較される両画素の色の彩度がともに既定値より大きい場合にのみ色相差を算出し、そうでなければ、色相差を０とすることができる。

次に、各画素について算出された色相差ｄｈ（ｘ，ｙ）をデータ値ａ（ｘ，ｙ）に変換する。但し、色相差がデータ値に変換できない値ならば、ａ（ｘ，ｙ）には−１（データ無し）を代入する（Ｓ３０３）。

具体的には、図４に示すように、−１≦ｎ＜Ｎの整数ｎについて、色相（（ｎ＋１）×２π／（Ｎ＋１））−Ｒ及び色相（（ｎ＋１）×２π／（Ｎ＋１））＋Ｒが色平面上でなす狭角に、算出された色相差ｄｈ（ｘ，ｙ）が入るかどうかを検出する（Ｓ４００）。尚、Ｒとは、色相（値）に許容する誤差である。

図５及び図６は、それぞれ、色相（（ｎ＋１）×２π／（Ｎ＋１））−Ｒ及び色相（（ｎ＋１）×２π／（Ｎ＋１））＋Ｒが色平面上でなす狭角、及び、これに色相差ｄｈ（ｘ，ｙ）が入る場合（図５）、入らない場合（図６）を示している。尚、上記説明および図においては、Ｒを一定値としているが、色相（（ｎ＋１）×２π／（Ｎ＋１））の値により許容誤差Ｒの値を変えることも可能である。一般に、光源の発色性能やイメージセンサ手段２０の色感度には特性があり、この特性を考慮する形で、許容誤差Ｒを可変にすること（例えば、イメージセンサ手段１２の色感度が強い赤色近辺で許容誤差Ｒを小さくすること）は、色点滅信号の検出精度向上に寄与すると考えられる。

ここで、色相（（ｎ＋１）×２π／（ｎ＋１））−Ｒおよび色相（（ｎ＋１）×２π／（Ｎ＋１））＋Ｒが色平面上でなす狭角にｄｈ（ｘ，ｙ）が入れば、ａ（ｘ，ｙ）と決定する（ｓ４０１）。

−１≦ｎ＜Ｎの全ての整数ｎについて、色相（（ｎ＋１）×２π／（ｎ＋１）−Ｒ及び色相（（ｎ＋１）×２π／（ｎ＋１））＋Ｒが色平面上でなす狭角にｄｈ（ｘ，ｙ）が入らないならば、該当するデータ値がないので、ａ（ｘ，ｙ）＝−１とする（ｓ４０２）。

すなわち、図４に示す工程によって、Ｎ＝２の場合に、色平面上において色相差ｄｈ（ｘ，ｙ）がデータ値０、データ値１、及びデータ無し（−１）に変換される範囲を示すと図７のようになる。尚、図７において、該当データ値なしの場合もｄｈ（ｘ，ｙ）はデータ無し（−１）に変換される。

全ての画素についてａ（ｘ，ｙ）が算出された後、信号成分Ｅ（ｎ）を抽出する（ｓ３０４）。信号成分Ｅ（ｎ）とは、ａ（ｘ，ｙ）＝ｎ（ｎは、ｏ≦ｎ＜Ｎの整数）である画素座標の連結成分で、画素数が最大のものである。尚、図３に示した工程では、受信データ値が取りうる値である０≦ｎ＜Ｎの全ての整数ｎについてＥ（ｎ）を検出するようになっているが、実際には、ループ１、ルーフ２内の処理においてａ（ｘ，ｙ）を算出した際に、ａ（ｘ，ｙ）の要素として出現した値についてのみ行えばよい。

信号成分Ｅ（ｎ）が検出された際には、Ｅ（ｎ）に含まれる画素数が既定値ＴＡより多いかどうかを検出する（ｓ３０５）。図記載のＴＡは信号成分を信号受信領域として決定するための画素数の閾値を表す。ＴＡの値を０以上の値で設定することは、信号成分がＴＡ以上のまとまったサイズの画素集合として検出される場合のみ有意な信号とみなすという条件を加えるになる。これによって局所的に偶然に生じた色相差をデータ信号として誤検出してしまう可能性が低減される。尚、ＴＡ＝０とすれば、信号成分が検出された時点で、それが信号受信領域と決定される。

Ｅ（ｎ）に含まれる画素数が既定値ＴＡより多い場合、色点滅信号受信手段２１は、Ｅ（ｎ）を信号受信領域とし、ｎを受信データ値として、受信側上位手段に出力する（ｓ３０６）。尚、信号受信領域については、該領域の座標集合に代えて、該領域を囲む矩形領域の情報を出力することや、前記矩形の重心座標を出力することができる。

一方、０≦ｎ＜Ｎの全ての整数ｎについてＥ（ｎ）が検出されなかったか、検出されてもその画素数がＴＡ以下であった場合には、画像フレームＩ（ｉ）に取得によって受信されたデータは無いとみなす（ｓ３０７）。この後、画像フレームナンバーｉ＝ｉ＋１として、次画像フレームに対する処理に移行する。

（実施形態例２）
実施形態例１で説明した受信システムは、データ値を一つずつ受信するものである。この形態例は、本発明の送受信システムの基本的な動作となる。しかし、本発明が、その効力を発揮し、低速な色点滅による信号を受信できるようにするためには、一定回数以上連続してデータ値が受信されることによって受信されたデータ値列を有効な受信データとして受理する仕組みが必要である。すなわち、既定回数以上連続して、一定の割合以上で色相が変化する画素を検出することで、低速な色点滅信号を有意なデータ信号として識別し受信することが可能になる。

以下には、実施形態例１に示した工程を基本とし、一定回数以上連続してデータ値が受信されることによって、受信されたデータ値列を有効な受信データとして受理するように修正した工程について説明する。

送信側の色点滅信号送信手段１１の動作アルゴリズムは、図２を参照して説明したものと同様である。但し、連続信号長をＫとするとき、送信キュー１０に入力される送信データは、Ｎ進数のデータ値Ｋ個から構成されるデータ値列である。若しくは、送信データはＫの倍数個のデータ値から構成されるデータ値列である。

図８に、この場合における色点滅信号受信手段２１の動作アルゴリズムの一例を示す。

色点滅信号受信手段２１は、イメージセンサ手段２０から連続して画像フレームＩ（ｉ）を取得する。ここでも、画像フレームの取得周期（＝フレームレート）は、送信側の色表示手段１２の点滅周波数に等しいものとしている。また、連続信号長はＫであり、データ値がＫ回連続して受信されることによって、受信されたデータ値列を有効な受信データとして判断している。

色点滅信号受信手段２１は、前処理として、各画素において何回連続してデータ値を受信したかを保持するための配列ｃ（ｘ，ｙ）の全ての値を０とする（ｓ８０１）。以降の処理、ｓ８０２，ｓ８０３，ｓ８０４，ｓ８１３は、それぞれ図３を参照して説明したｓ３０１，ｓ３０２，ｓ３０３，ｓ３０８と同様である。

１ループ１、ループ２内では、ｓ８０４によってａ（ｘ，ｙ）の値が決定された後、ａ（ｘ，ｙ）！＝−１（データ無し）かどうかを確認する（Ｓ８０５）。

そして、ａ（ｘ，ｙ）！＝−１である場合、すなわち、座標（ｘ，ｙ）の画素においてデータ値を含む色点滅信号が受信されたとみなされる場合には、ｄ（ｘ，ｙ，ｃ（ｘ，ｙ））に、受信されたデータ値ａ（ｘ，ｙ）を代入し保持しておく（Ｓ８０６）。

配列ｄは、各画素座標において、連続して受信されたデータ値を保持しておくための配列である。次に、ｃ（ｘ，ｙ）＝ｃ（ｘ，ｙ）＋１とする（Ｓ８０７）。

一方、ａ（ｘ，ｙ）！＝−１でない場合、すなわち、座標（ｘ，ｙ）の画素においてデータ値を含む色点滅信号が受信されなかった場合には、ｃ（ｘ，ｙ）＝０とする（Ｓ８０８）。

全ての画素について、ａ（ｘ，ｙ）、ｃ（ｘ，ｙ）、並びにｄ（ｘ，ｙ，ｃ（ｘ，ｙ））が算出された後に、連続信号成分ＣＥを検出する（ｓ８０９）。尚、連続信号成分ＣＥは、ｃ（ｘ，ｙ）＝Ｋであって、ｄ（ｘ，ｙ，０）、ｄ（ｘ，ｙ，１），…，ｄ（ｘ，ｙ，Ｋ−１）が全て一致する画素座標（ｘ，ｙ）の連結成分で、画素数が最大のものである。すなわち、ｓ８０９では、Ｋ個のデータ値からなるデータ値列を同時に受信した画素の連結成分で最大のものを連続信号成分として抽出する。

ｓ８０９で、連続信号成分ＣＥが検出された場合、連続信号成分ＣＥの画素数がＴＡより多いかどうかを検出する（ｓ８１０）。ここでの、ＴＡとは連続信号成分ＣＥを信号受信領域として決定するための画素数の閾値である。すなわち、ＴＡを０以上の値を設定することは、連続信号成分がＴＡ以上のまとまったサイズの画素集合として検出される場合のみ有意な信号とみなすという条件を加えるになる。これによって局所的に、偶然に“連続して”生じた色相差をデータ信号として誤検出してしまう可能性が低減される。尚、ＴＡ＝０とすれば、連続信号成分が検出された時点で、それが信号受信領域と決定される。

連続信号成分ＣＥの画素数がＴＡより多い場合、ＣＥを信号受信領域とし、ＣＥ中の任意の画素座標（ｘ，ｙ）を選択して、ａ（ｘ，ｙ，０）、ｄ（ｘ，ｙ，１），…，ｄ（ｘ，ｙ，Ｋ−１）を受信データ値列として、上位手段に出力する（ｓ８１０）。そして、再び、配列ｃ（ｘ，ｙ）の全ての値を０とし（ｓ８１２）、ｓ８１３へ進む。尚、信号受信領域については、該領域の座標集合に代えて、該領域を囲む矩形領域の情報を出力することや、前記矩形の重心座標を出力することができる。

一方、連続信号成分ＣＥの画素数がＴＡ以下であった場合には、単に、配列ｃ（ｘ，ｙ）の全ての値を０とし（ｓ８１２）、ｓ８１３へ進む。

また、ｓ８０９において、連続信号成分ＣＥが検出されなかった場合にも、ｓ８１３へ進む。

この後、画像フレームナンバーｉ＝ｉ＋１として（ｓ８１３）、次画像フレームに対する処理に移行する。

（実施形態例３）
実施形態例２の受信システムでは、受信側は連続信号長Ｋの倍数個のデータ値からなるデータ値列を受信できるが、実施形態例１と実施形態例２で示した受信システムを組み合わせることで、連続信号長Ｋ以上である任意の長さのデータ値からなるデータ値列を受信することができるようになる。

この場合も、送信側の色点滅信号送信手段１１の動作アルゴリズムは、図２を参照しながらの説明と同様である。但し、連続信号長をＫとするとき、送信キュー１０に入力される送信データは、Ｋ個以上のＮ進数のデータ値から構成されるデータ値列である。

受信側の色点滅信号受信手段２１は、先ず、図８を参照しながら説明したアルゴリズムに基づき動作する。そして、有意な連続信号成分が検出され（ｓ８１０）、信号受信領域並びに受信データ値列を出力した（ｓ８１１）時点以降、該信号受信領域に含まれる画素座標については図３を参照して説明した動作アルゴリズムを適用し、逐次受信データ値を上位手段に出力する。但し、該信号受信領域に含まれる画素座標において受信データが無く（ｓ３０７）、データ値の受信が途切れた場合には、即座に、図８を参照して説明した動作アルゴリズムヘ遷移する。以降、有意な連続信号成分が検出されるごとに上述の動作を行う。

また、本発明のデータ信号送信方法及びデータ信号受信方法は、上述した実施形態例以外にもさまざまな実装が可能である。

上述の実施形態例では、シングルタスク処理系のプログラムとして実装する場合を想定しているが、マルチタスク処理、並列処理が可能な系では、該処理系に適応した実装を行ってよい。

例えば、図２及び図８を参照して説明した動作アルゴリズムでループ１、ループ２によって行っている各画素座標における処理は、並列処理が可能な系においては、各画素座標に対して同時に並列して処理するよう実装してよい。

また、上述した実施例では、色点滅信号受信手段２１に接続されるカメラの画像フレームの取得周期（＝フレームレート）は、送信側の色表示手段１２の点滅周波数に等しいものとしている。フレームレートが送信側の色表示手段１２の点滅周波数よりも高い場合には、この点を考慮した動作アルゴリズムを用いることができる。

例えば、図２、図８を用いて説明した動作アルゴリズムに基づく工程が利用できる。

図２及び図８の動作アルゴリズムにおいて、最新に取得された画像フレームＩ（ｉ）の各画素についての色相差の算出対象となる画像フレームＩ（ｉ−１）に以下の条件を満たす画像フレームを用いる。すなわち、画像フレームＩ（ｉ）が撮像された時点をＴとして、Ｔ−１０００／ｆ≦ｔ＜Ｔである時点ｔに撮像された画像フレームを全て画像フレームＩ（ｉ−１）とみなす。さらに、これら複数の画像フレームＩ（ｉ−１）と画像フレームＩ（ｉ）間で各画素の色を比較しながら、データ値を受信したとみなされる画素座標（ｘ，ｙ）とデータ値ａ（ｘ，ｙ）を算出する。

本発明のデータ信号送信方法及びデータ信号受信方法は、データ信号の送受信を必要とする多様な用途において利用可能である。特に、以下の産業分野において有効に活用される。

第１に、（非特許文献１）に述べられているような、パブリックスペースに設置された情報提供デバイスが近傍のユーザの位置や動作に応じた情報を提供するシステムにおいて利用可能である。

情報提供デバイスには、その周辺を撮像するカメラを装備する。ユーザは、所有する携帯電話などのディスプレイを用いて白身のユーザＩＤを含むデータ信号を発信する。例えば、ユーザは、信号を発信する携帯電話のディスプレイを外側に向けた状態で、スーツの胸ポケットに差し込んでおく。

ユーザが情報提供デバイスのカメラによって撮像される範囲に立ち入り、携帯電話のディスプレイがカメラによって撮像されると、情報提供デバイスは、カメラ映像からユーザＩＤを受信し、該ユーザＩＤのユーザが近隣に存在することを検出する。

したがって、情報提供デバイスは、予め設定されたユーザプロファイルなどに基づいて、該ユーザに特化した情報を提供することができる。ユーザＩＤごとに対応する携帯電話へのデータ送信アドレスを管理していれば、該ユーザの携帯電話に対して所定の情報を送信するといったこともできる。

第２に、（非特許文献２）などに述べられているようなユーザの保持する携帯情報端末に対して、視野にある実世界の事物に関連する情報を提示するＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）システムにおいて利用可能である。

上述のように、ユーザが、自身のユーザＩＤを含むデータ信号を発信する携帯電話などのディスプレイを外側に向けた状態で、スーツの胸ポケットに差し込むなどして身に着けておくものとする。

一方、ユーザの視野を撮像した映像を提示するＡＲシステム端末においては、視野映像内にユーザが存在し、該ユーザの身に着けた携帯電話のディスプレイが撮像され、ユーザＩＤが受信されることによって、該ユーザのユーザＩＤが視野映像中の該ユーザに重畳して提示される。あるいは、予め設定されたユーザプロファイルなどに基づいて、視野映像内のユーザの氏名や所属などが提示されてもよい。

このようなシステムは、セキュリティや監視システムなど、多様な用途に活用可能である。

第３に、大型の情報ディスプレイに対して携帯電話を用いてポインティングを行い、所望する提示情報を操作、取得するシステムにおいて利用可能である。このようなシステムの具体例について、図９を用いて説明する。

ディスプレイ９０とその上部に具備されたカメラ９１は、本発明の方法を用いるポインティング装置９２に接統されている。そして、通常時、カメラ９１より撮影されたディスプレイ９０正面の映像がディスプレイ９０の表示領域９０１にリアルタイムにライブ再生されている。ディスプレイ９０正面に、携帯情報端末９７を保持した利用者９６がいる場合、利用者９６自身の姿が、表示領域９０１に再生されることになる。表示領域９０１に再生される映像は、図示したように、カメラ９１から入力された映像の左右を反転した映像、すなわち、ちょうど、利用者９６白身を映す鏡に相当する映像であってよい。

さらに、表示領域９０１に再生される映像はカメラ９１から入力された映像信号１に、外部機器であるＰＣ等の情報提供手段９３から出力された映像信号２を重畳した映像が再生されてもよい。図９では、ディスプレイ９０の表示領域９０１内に、利用者９６を撮影した映像信号１に重畳する形で、映像信号２して入力された四角枠の画像が重畳された映像が再生されている状態を示している。このディスプレイシステムを街頭ディメプレイとして利用する実際的な情報提供サービスヘの応用においては、この四角枠の位置に広告画像情報やニュース画像情報等が提示されることになる。

また、携帯情報端末９７そのものが携帯電話回線や、無線ＬＡＮなどの無線ネットワーク９５を介して情報を取得するための通信手段を具備している。同様に、携帯情報端末９７に対して情報を送信するサービスを行う情報提供手段９３そのものもネットワーク９４に接続された構成になる。

このディスプレイシステムヘの利用者のポインティング動作例は次のようなものとなる。

先ず、利用者９６は、自分自身め姿が提示された表示領域９０を参照しつつ、手元の携帯情報端末９７のディスプレイ９８（色点滅信号光源）が、表示領域９０１中のポインティングしたい位置に提示されるように手の位置を動かす。尚、この時、カメラ９１で撮影されディスプレイ９０の表示領域９０１に再生される映像信号１は、ちょうど、利用者９１を映す鏡に相当する映像になる。したがって、利用者９６が手元の携帯情報端末９７を右方向に動かすと、表示領域９０１に再生される映像中の携帯情報端末９７も利用者９６から見て右方向に動く。この結果、利用者９６は、表示領域９０１に再生される映像中の携帯情報端末９７の位置を参界してポインティング位置を決定する際、より直感的にその位置を定める動作を行える。

次に、携帯情報端末９７の所定のボタンを押すことにより、携帯情報端末９７より色点滅信号としてユーザＩＤを発信する。ポインティング装置９２は、映像信号１から、携帯情報端末９７より発信された色点滅信号を検出し、信号受信領域からポインティングされた位置を決定する。ここで検出されるポインティング位置は、すなわち、色点滅信号を発信した時点で、映像中に携帯情報端末９７が映っていた位置である。ポインティング位置が決定された結果、ディスプレイ９０の表示領域９０１においては、該当する位置にポインティングの発生を通知するアニメーション画像が提示される。

同時に、ポインティング装置９２より情報提供手段９３に対して、ポインティングの発生とその位置を通知するポインティング位置データ、および、受信されたユーザＩＤが送信される。

また、ポインティングがなされると、情報提供手段９３は、ポインティング装置９２より受信されるポインティング位置データを用いて、ディスプレイ９０の表示領域９０１のどの位置に提示されていた画像情報に対するポインティングがなされたかを検出する。さらに、該当する画像情報に対応する情報データを、受信されたユーザＩＤに対応する携帯情報端末９７のアドレス宛にネットワーク９４を介して送信する。これにより、前記画像情報をポインティングした携帯情報端末９７は、該画像情報に対応する情報データを取得する。

以上の実施形態例で述べた送受信方法は、図１〜図９で示した処理工程をコンピュータのプログラムで構成し、このプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の工程の実行させるためのプログラムを、そのコンピュータが読み取りできる記録媒体、例えば、フレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを介して提供することも可能である。

そして、これら記録媒体からコンピュータに前記のプログラムをインストールすることにより、あるいはネットワークからダウンロードしてコンピュータに前記のプログラムをインストールすることにより、本発明を実施することが可能となる。但し、コンピュータへのインストールはコンピュータ単位であり、装置やシステムが複数あることなどでインストールの対象となるコンピュータが複数ある場合には、当該プログラムは必要な処理部分毎にインストールされることは当然である。この場合、当該プログラムはコンピュータ対応に記録媒体に記録するか、またはネットワークを介してダウンロードしてもよい。

本発明の実施形態例を示した概略図。 色点滅信号送信手段の実行する工程を示したフローチャート。 色点滅信号受信手段の実行する工程を示したフローチャート。 ｓ３０３の工程を示したフローチャート。 色相（（ｎ＋１）×２π／（Ｎ＋１））−Ｒ及び色相（（ｎ＋１）×２π／（Ｎ＋１））＋Ｒが色平面上でなす狭角、及び、これに色相差ｄｈ（ｘ，ｙ）が入る場合を示す図。 色相（（ｎ＋１）×２π／（Ｎ＋１））−Ｒ及び色相（（ｎ＋１）×２π／（Ｎ＋１））＋Ｒが色平面上でなす狭角、及び、これに色相差ｄｈ（ｘ，ｙ）が入らない場合を示す説明図。 Ｎ＝２の場合における色相差ｄｈ（ｘ，ｙ）とデータ値の色平面上での関係を示す説明図。 実施形態２及び３における色点滅信号受信手段の実行する工程を示したフローチャート。 本発明の機能を有するポインティング装置を備えたシステムの概略図。

符号の説明

１０…送信キュー、１１…色点滅信号送信手段、１２…色表示手段
２０…イメージセンサ手段、２１…色点滅信号受信手段
９０，９８…ディスプレイ、９０１…表示領域、９１…カメラ、９２…ポインティング装置、９３…情報提供手段、９４…ネットワーク、９５…無線ネットワーク、９６…利用者、９７…形態情報端末

Claims (13)

1. 色点滅信号送信手段と色表示手段とを有するデータ送信システムにおいて、前記色点滅信号送信手段が色相に規定されるデータ値を演算処理して色相差に変換した後に、前記色表示手段が第一の色に続いて前記色相差だけ色相の異なる第二の色を連続して表示すること
   を特徴とするデータ信号送信方法。
2. 前記色点滅信号送信手段は一定回数以上のデータ値を連続して送信することを特徴とする請求項１記載のデータ信号送信方法。
3. イメージセンサ手段と色点滅信号受信手段とを有するデータ受信システムにおいて、前記色点滅信号受信手段が、前記イメージセンサ手段によって連続して撮像される画像フレーム間の各画素の色相差を計算した後、一定値以上の色相差が生じる画素を信号成分として抽出し、この信号成分において生じた色相差を演算処理してデータ値に変換することによってデータ値を受信すること
   を特徴とするデータ信号受信方法。
4. 色点滅信号受信手段は、前記信号成分において一定回数以上連続してデータ値を受信し、この受信されたデータ値列を有効な受信データとして判断すること
   を特徴とする請求項記載３のデータ信号受信方法。
5. 請求項３または４記載のデータ信号受信方法において、信号成分は一定値以上の数の画素から成る連結成分であることを条件とすること
   を特徴とするデータ信号受信方法。
6. 色相に規定されるデータ信号をその色相差に基づき発信する色点滅信号発信装置であって、
   前記データ値を演算によって色相差に変換した後に、第一の色に続いて前記色相差だけ色相の異なる第二の色を連続して表示するための信号を発すること
   を特徴とするデータ信号送信装置。
7. 一定回数以上のデータ値を連続して送信すること
   を特徴とする請求項６記載のデータ信号送信装置。
8. 所定領域の色を解析し、色素差を検出してデータ値を受信するデータ信号受信装置であって、
   連続して撮像される画像フレーム間の各画素の色相差を計算し、一定値以上の色相差が生じる画素を信号成分として抽出し、この信号成分において生じた色相差を演算によってデータ値に変換することにより、データ値を受信すること
   を特徴とするデータ信号受信装置。
9. 前記信号成分において、既定回数以上連続してデータ値を受信し、この受信されたデータ値列を有効な受信データとして判断すること
   を特徴とする請求項記載８のデータ信号受信装置。
10. 請求項８または９記載のデータ信号受信装置において、信号成分は前記既定値以上の数の画素から成る連結成分であることを条件とすること
    を特徴とするデータ信号受信装置。
11. 色相に規定されるデータ信号をその色相差に基づき発信する色点滅信号発信手段と、所定領域の色を解析し、色素差を検出してデータ値を受信する色点滅信号受信手段とを備え、
    前記色点滅信号発信手段は、前記データ値を演算によって色相差に変換した後に、第一の色に続いて前記色相差だけ色相の異なる第二の色を連続して表示するための信号を発すること
    前記色点滅信号受信手段は、前記色点滅信号発信手段から供給された連続して撮像される画像フレーム間の各画素の色相差を計算し、一定値以上の色相差が生じる画素を信号成分として抽出し、この信号成分において生じた色相差を演算によってデータ値に変換することにより、前記データ値を受信すること
    を特徴とするデータ信号送受信システム。
12. 請求項1から５のいずれか１項に記載のデータ送信方法またはデータ受信方法をコンピュータに実行させるめのプログラム。
13. 請求項1から５のいずれか１項に記載のデータ送信方法またはデータ受信方法をコンピュータに実行させるめのプログラムを記録したコンピュータ読み込み可能な記録媒体。
    

Images