JP2016085208A - 同期タイミング検出システム及び検出方法、測距システム及び測位システム、並びに受信装置及びそのプログラム - Google Patents

Abstract

【課題】従来技術に比較して短時間でしかも高精度で同期タイミングを検出することができる。
【解決手段】所定のクロックに同期して変調された光信号及び音響信号を発生して送信する送信装置と、光信号及び音響信号を受信する受信装置とを備えた同期タイミング検出システムであって、受信装置は、光信号を撮像して、複数のラインを含むビデオストリーム信号及びフレームストローブ信号を含む画像信号を発生して出力するＣＭＯＳビデオカメラと、ビデオストリーム信号から光信号の特徴点タイミングを検出して当該検出タイミングを出力する同期タイミング抽出処理部と、同期タイミングカーブ信号を発生し、ビデオストリーム信号と当該発生した同期タイミングカーブ信号との相関値を計算し、最大の相関値を検索基準として上記光信号の特徴点タイミングを検出して当該検出タイミングを出力する同期タイミング抽出処理部とを備える。
【選択図】図１０

Description

本発明は、例えばスマートホンやタブレット端末などの多機能携帯端末（スマート端末）等で、その屋内における測位（座標位置の決定）を高精度で行うため、端末と計測システムの間の時刻同期を高速かつ高精度で行う同期タイミング検出システム及び検出方法、上記同期タイミング検出システムを用いた測距システム、並びに、上記測距システムを用いた測位システム、並びに受信装置及びそのプログラムに関する。

電波や音波を使用し、移動端末と位置のわかったビーコンとの間の伝搬遅延時間を測定すれば、伝搬速度を既知として距離がわかり、多点測量により移動端末の座標値を決定できる。屋外ではマイクロ波を使用し、衛星をビーコンとしたＧＮＳＳ（Global Navigation Satellite System：ＧＰＳに代表される衛星測位システム）の利用が普及しているが、その電波の届かない屋内では、音波を使用したシステムの使われることが多い。音波としては非可聴の超音波や、利用者に不快感を与えない高域可聴音などの使用が提唱されている。

近年、スマートホンやタブレット端末のようなスマート端末（多機能端末）の一般化により、屋内においてその位置を精密に計測し、建物内の案内など、位置に依存するサービスを提供したいという要望が多い。それらスマート端末は可聴音域のマイクロホンを装備していることから、１５ｋＨｚ〜２２ｋＨｚ程度の高域可聴音の音波を使うと、特に付加装備なしに、また測定音響で使用者を煩わせることなしに、多点測量による測位を実施できる。

伝搬遅延に基づく多点測量の原理にはＴＤｏＡ（Time Difference of Arrival）とＴｏＡ（Time of Arrival）の２種がある。ＴＤｏＡ計測はビーコン系と被計測スマート端末の間に時刻同期の成立していない場合に採用される方式で、三次元計測なら、その三次元座用（ｘ，ｙ，ｚ）に加え、時刻ｔも未知数として扱う。そのため未知数の総数に対応し最低４台のビーコンを使用する。また、ＴｏＡ計測は両者の時刻同期の成立している場合に採用される方式である。全システム要素は共通の時計をもち、スマート端末はビーコンからいつ音波が発信されるかを既知とする。よって音波到着の時刻からその伝搬時間を直接に抽出でき、三次元計測には未知数（ｘ，ｙ，ｚ）と同数の３台のビーコンがあればよい。

ＴＤｏＡとＴｏＡの計測性能上の優劣は、単に必要ビーコン数だけではない。計測原理から、ＴＤｏＡではスマート端末の位置を、固定ビーコンを焦点とする双曲線の交点として求める。それに対しＴｏＡでは固定ビーコンを中心とする円の交点として求める。両者の幾何学的性質の違いから、ＴＤｏＡ計測は計測精度が計測信号源の方向（距離方向）で劣化する現象が知られている。ＴＤｏＡ計測を行っているＧＮＳＳを使うカーナビで、経度緯度情報は比較的良好だが、高度情報は対して大きな誤差を伴うことは周知である。

特許第４０４１８９９号公報 特許第５２１３０４５号公報 特開２０１４−１５５２１３号公報 特許第４６２１９２４号公報

発明者の予備実験では、１７ｋＨｚ程度の高域可聴音を使ったスマート端末の測位で、ビーコンから数メートルの距離において、ビーコンの横方向（アジマス方向）では２．５ｃｍ程度であった計測精度が、ビーコンに対する距離方向（レンジ方向）では２０ｃｍ程度と１０倍ほど悪化した。もしスマート端末とビーコンで時刻同期が成立していれば、ＴｏＡによる計測をでき、同一の条件で、レンジ方向においてもアジマス方向と同程度の精度での計測を実施できたものと考えられる。

ＴｏＡ計測を実施するためには、スマート端末とビーコンシステムの間の時刻同期機能を準備するが、時刻同期精度が悪いと位置計測精度はそれに起因してかえって劣化する。もし測位システムとしての精度目標を数センチメートルにとり、同期精度はそれに大きな影響を与えない数ミリメートル程度に抑えようとすれば、空気中の音速と勘案して、時刻同期機能は１０マイクロ秒内外の精度で時刻同期を行わなければならない。

発明者らはかつて、その精度要求を満たす測位用同期システムとして、ＰＣ間の時刻同期プロトコルを利用したＮＴＰ方式を提案した（特許文献１参照）。しかし、ＮＴＰ方式では移動端末のクロック周波数を通信により推定し、それをシステム側と合わせる処理を行うため、同期成立まで、数分間〜数１０分間の同期通信を行う必要があった。また割り込みの伴うソフトウェア処理をするため、情報処理の時間遅れに不定さが伴い、精度を劣化させる。それを低減するためにも一定時間の通信による統計的平均化を必要とした。これらのことから、スマート端末のような、その場ですぐ計測を開始する要求のある場合には使用が困難であった。

また、ビデオ機能と変調光を使い、システムの同期をとる先行発明が例えば特許文献２において開示されている。これは高速度カメラを使用し、ビデオのフレームレートの半分の周波数の矩形波の変調光により、ＰＬＬの原理で、システム側とカメラシステムのクロック同期を得る発明である。

さらに、ローリングシャッター現象を利用して同期タイミングを検出する方法が例えば特許文献３に開示されている。この特許文献３の発明では、スレーブカメラからマスターカメラに対して確実に撮影動作の同期化を図るために、露光して被写体を撮像する撮像素子を有するカメラであって、基準とするタイミングで明滅する光を前記撮像素子により撮像して得られる撮影画像の明るさ変化のタイミングに基づいて、前記基準とするタイミングで明滅する光の明滅タイミングを検出する検出手段と、当該検出手段により検出された明滅タイミングに基づき、前記撮像素子が露光する露光タイミングを調整する調整手段とを備えるカメラが開示されている。しかしながら、画像の最上端ラインと最下端ラインとの間の中央部で同期タイミングを検出するように固定されて同期タイミングの検出精度が悪い。また、同期タイミングを検出するシーク動作においてフレームレートを変更できる特別な機能をもつカメラを必要とし、かつシーク完了までの所要時間は初期状態の同期誤差により決まるが、それが不定であるため、一定時間で同期タイミングを確実に検出する保証がないという問題点があった。

本発明の目的は以上の問題点を解決し、市販の一般的なＣＭＯＳカメラを使用しつつ、従来技術に比較して短時間でしかも高精度で同期タイミングを検出することができる同期タイミング検出システム及び検出方法、そのための受信装置及びそのプログラムを提供することにある。

また、本発明のもう１つの目的は、上記同期タイミング検出システムを用いて、従来技術に比較して、短時間でしかも高精度で測距できる測距システムを提供することにある。

さらに、本発明の別の目的は、上記測距システムを用いて、従来技術に比較して、短時間でしかも高精度で測位できる測位システムを提供することにある。

第１の発明の同期タイミング検出システムは、
所定の周期を有する同期タイミングカーブ信号に従って変調された光信号を発生して送信する送信装置と、
上記光信号を受信する受信装置とを備えた同期タイミング検出システムであって、
上記受信装置は、
ローリングシャッター効果を有するビデオカメラであって、上記光信号を撮像して、複数のラインを含むビデオストリーム信号及びフレームストローブ信号を含む画像信号を発生して出力するビデオカメラと、
上記同期タイミングカーブ信号と同一の同期タイミングカーブ信号を発生し、上記ビデオストリーム信号と当該発生した同期タイミングカーブ信号との相関値を計算し、最大の相関値を検索基準として上記光信号の特徴点タイミングを検出して当該検出タイミングを出力する同期タイミング抽出処理部とを備えることを特徴とする。

上記同期タイミング検出システムにおいて、上記同期タイミングカーブ信号は、上記画像信号のフレーム周期の２倍の周期を有する信号であって、奇数次調波成分から構成される信号であることを特徴とする。

また、上記同期タイミング検出システムにおいて、上記検出タイミングを上記ビデオストリーム信号の各ラインと比較することで、上記フレームストローブ信号を基準とする上記検出タイミングの時刻を、所定の同期タイミングとして検出する計測処理部をさらに備えることを特徴とする。

さらに、上記同期タイミング検出システムにおいて、上記送信装置は、上記同期タイミングカーブ信号に従って変調された光信号及び音響信号を発生して送信し、
上記受信装置は、上記光信号及び上記音響信号を受信し、
上記計測処理部は、上記フレームストローブ信号を基準とする上記検出タイミングの時刻を、上記受信された音響信号の同期タイミングとして検出することを特徴とする。

またさらに、上記同期タイミング検出システムにおいて、上記同期タイミング抽出処理部は、上記光信号の特徴点タイミングが上記ビデオストリーム信号のいずれかのラインの開始タイミングと一致するときに当該一致したタイミングを検出タイミングとして出力することを特徴とする。

また、上記同期タイミング検出システムにおいて、上記計測処理部は、上記光信号の特徴点タイミングが上記ビデオストリーム信号のｋ番目のラインの開始タイミングと一致するときに、次式を用いて、上記フレームストローブ信号から上記検出タイミングまでの時間Ｓを計算し、
Ｓ＝（（ｋ−１）／Ｎ）Ｔｐ
ここで、Ｎは上記ビデオストリーム信号の最大ライン数であり、上記フレームストローブ信号のフレーム周期であり、
上記フレームストローブ信号に上記時間Ｓを加算することで上記検出タイミングを検出することを特徴とする。

さらに、上記同期タイミング検出システムにおいて、上記計測処理部は、上記光信号の特徴点タイミングが上記ビデオストリーム信号のｋ番目のラインの開始タイミングと一致するときに、次式を用いて、上記フレームストローブ信号から上記検出タイミングまでの時間Ｓを計算し、
Ｓ＝（（ｋ−１）／Ｎ）（Ｔｐ−Ｄ）
ここで、Ｎは上記ビデオストリーム信号の最大ライン数であり、上記フレームストローブ信号のフレーム周期であり、Ｄは上記ビデオストリーム信号の各ライン間のデットタイムであり、
上記フレームストローブ信号に上記時間Ｓを加算することで上記検出タイミングを検出することを特徴とする。

またさらに、上記同期タイミング検出システムにおいて、上記同期タイミング抽出処理部は、上記光信号の特徴点タイミングが、上記ビデオストリーム信号の隣接する２つのラインの開始タイミング間で補間した時刻と一致するときに当該一致したタイミングを検出タイミングとして出力することを特徴とする。

第２の発明に係る測距システムは、
上記同期タイミング検出システムを備え、
上記計測処理部は、上記検出タイミングと、上記受信された音響信号の受信タイミングとの時間差から上記音響信号の伝搬時間を計算し、当該伝搬時間に音響信号の伝搬速度を乗算することにより、上記送信装置と上記受信装置との間の距離を計算することを特徴とする。

上記測距システムにおいて、
上記送信装置は、互いに異なる位置に設けられる複数のスピーカであって、互いに異なる周波数を有する複数の音響信号、もしくは同一の周波数を有し所定の時間差で順次送信される複数の音響信号をそれぞれ送信する複数のスピーカを備え、
上記計測処理部は、複数の音響信号に基づいて、上記複数のスピーカと上記受信装置との間の各距離を計算し、上記計算した各距離に基づいて上記受信装置の位置を測位することを特徴とする。

第３の同期タイミング検出方法は、
所定の周期を有する同期タイミングカーブ信号に従って同期して変調された光信号を発生して送信する送信装置と、
上記光信号を受信する受信装置とを備えた同期タイミング検出システムのための同期タイミング検出方法であって、
ローリングシャッター効果を有するビデオカメラが、上記光信号を撮像して、複数のラインを含むビデオストリーム信号及びフレームストローブ信号を含む画像信号を発生して出力するステップと、
同期タイミング抽出処理部が、上記同期タイミングカーブ信号と同一の同期タイミングカーブ信号を発生し、上記ビデオストリーム信号と当該発生した同期タイミングカーブ信号との相関値を計算し、最大の相関値を検索基準として上記光信号の特徴点タイミングを検出して当該検出タイミングを出力するステップとを含むことを特徴とする。

上記同期タイミング検出方法において、上記同期タイミングカーブ信号は、上記画像信号のフレーム周期の２倍の周期を有する信号であって、奇数次調波成分から構成される信号であることを特徴とする。

また、上記同期タイミング検出方法において、
計測処理部が、上記検出タイミングを上記ビデオストリーム信号の各ラインと比較することで、上記フレームストローブ信号を基準とする上記検出タイミングの時刻を、所定の同期タイミングとして検出するステップをさらに含むことを特徴とする。

第４の発明に係る受信装置は、同期タイミング検出システムのための受信装置であって、
上記受信装置は、
ローリングシャッター効果を有するビデオカメラであって、所定の周期を有する同期タイミングカーブ信号に従って変調された光信号を撮像して、複数のラインを含むビデオストリーム信号及びフレームストローブ信号を含む画像信号を発生して出力するビデオカメラと、
上記ビデオストリーム信号と所定の同期タイミングカーブ信号との相関値を計算し、最大の相関値を検索基準として上記光信号の特徴点タイミングを検出して当該検出タイミングを出力する同期タイミング抽出処理部と、
上記検出タイミングを上記ビデオストリーム信号の各ラインと比較することで、上記フレームストローブ信号を基準とする上記検出タイミングの時刻を、所定の同期タイミングとして検出する計測処理部とを備えることを特徴とする。

上記受信装置において、上記同期タイミングカーブ信号は、上記画像信号のフレーム周期の２倍の周期を有する信号であって、奇数次調波成分から構成される信号であることを特徴とする。

第５の発明に係る同期タイミング検出システムのための受信装置用プログラムは、コンピュータにより実行される、同期タイミング検出システムのための受信装置用プログラムであって、
ローリングシャッター効果を有するビデオカメラにより、所定の周期を有する同期タイミングカーブ信号に従って変調されて受信された変調光信号を撮像して、複数のラインを含むビデオストリーム信号及びフレームストローブ信号を含む画像信号が発生されて出力されるビデオストリーム信号と上記同期タイミングカーブ信号との相関値を計算し、最大の相関値を検索基準として上記変調光信号の特徴点タイミングを検出して当該検出タイミングを出力するステップと、
上記検出タイミングを上記ビデオストリーム信号の各ラインと比較することで、上記フレームストローブ信号を基準とする上記検出タイミングの時刻を、所定の同期タイミングとして検出するステップとを含むことを特徴とする。

上記プログラムにおいて、上記同期タイミングカーブ信号は、上記画像信号のフレーム周期の２倍の周期を有する信号であって、奇数次調波成分から構成される信号であることを特徴とする。

本発明に係る同期タイミング検出システム及び検出方法によれば、ローリングシャッター効果を有するビデオカメラを用いて、光信号を撮像して、複数のラインを含むビデオストリーム信号及びフレームストローブ信号を含む画像信号を発生して出力し、上記ビデオストリーム信号から上記光信号の特徴点タイミングを検出して当該検出タイミングを出力し、上記同期タイミングカーブ信号と同一の同期タイミングカーブ信号を発生し、上記ビデオストリーム信号と当該発生した同期タイミングカーブ信号との相関値を計算し、最大の相関値を検索基準として上記光信号の特徴点タイミングを検出して当該検出タイミングを出力する。ここで、上記同期タイミングカーブ信号は、例えば、上記画像信号のフレーム周期の２倍の周期を有する信号であって、奇数次調波成分から構成される信号であり、上記検出タイミングを上記ビデオストリーム信号の各ラインと比較することで、上記フレームストローブ信号を基準とする上記検出タイミングの時刻を、所定の同期タイミングとして検出する。従って、従来技術に比較して短時間でしかも高精度で同期タイミングを検出することができる。また、上記同期タイミング検出システムを用いて、従来技術に比較して、短時間でしかも高精度で測距できる測距システムを提供できる。さらに、上記測距システムを用いて、従来技術に比較して、短時間でしかも高精度で測位できる測位システムを提供できる。

本発明の実施形態１に係る測位システムの構成を示すブロック図である。 図１の計測コントローラ２の構成を示すブロック図である。 図２の計測コントローラ２の動作を示す各信号のタイミングチャートである。 図１の被測定スマート端末装置３の構成を示すブロック図である。 図４の被測定スマート端末装置３の動作を示す各信号のタイミングチャートである。 図４の被測定スマート端末装置３のＣＭＯＳビデオカメラ３により測定される変調光原１の明るさを示す画素値の時間波形を示す波形図である。 図６の波形の詳細測定値を示す波形図である。 図１の測位システムの実験結果である、１５回の同期測定の誤差を示すグラフである。 図１の測位システムの実験結果である、回帰式の標準誤差を示すグラフである。 本発明の実施形態２に係る測位システムのための被測定スマート端末装置３Ａの構成を示すブロック図である。 図１０の実施形態２において用いる同期タイミングカーブ信号を説明するための信号波形であって、変調光源１をフレーム１でオフ、フレーム２でオンという矩形波的明滅をさせたときにＣＭＯＳビデオカメラ４の動画センサでのフレームの各ラインに記録される明度を示す信号波形図である。 図１１において積分時間の割合η＝０．８８のときの信号波形図である。 実施形態２において用いる同期タイミングカーブ信号の第１の例を示す信号波形図である。 図１３の同期タイミングカーブ信号に対応する受光素子の相対明度を示すグラフである。 実施形態２において用いる同期タイミングカーブ信号の第２の例を示す信号波形図である。 図１５の同期タイミングカーブ信号に対応する受光素子の相対明度を示すグラフである。

以下、本発明に係る実施形態について図面を参照して説明する。

図１は本発明の一実施形態に係る測位システムの構成を示すブロック図である。図１において、本実施形態に係る測位システムは、送信装置１００と受信装置２００とを備えて構成される。ここで、送信装置１００は、変調光源１と、変調光源１の近傍において（実質的に同一の位置において）互いに所定の距離だけ離隔された例えば３個のスピーカＳ１，Ｓ２，Ｓ３と、変調光源１及びスピーカＳ１〜Ｓ３の動作を制御する計測コントローラ２とを備えて構成される。受信装置２００は、ローリングシャッター効果を有するＣＭＯＳビデオカメラ（なお、ローリングシャッター効果を有するビデオカメラであれば、ＣＭＯＳカメラでなくてもよい）４及びマイクロホン５を備えた被測定スマート端末装置３を備えて構成される。本実施形態に係る測位システムは、変調光源１からの変調光と、スピーカＳ１〜Ｓ３からの音響信号に基づいて、被測定スマート端末装置３によりそれらを受信して同期タイミングを検出した後、各スピーカＳ１〜Ｓ３から被測定スマート端末装置３までの距離を測距し、それらの距離に基づいて被測定スマート端末装置３の位置を測位することを特徴としている。すなわち、本実施形態に係る測位システムは、同期タイミング検出システム及び測距システムを含む。

本発明の実施形態では、前記の特許文献１における問題点を回避するため、変調光源１から変調光を生成し、それを被測定スマート端末装置３のＣＭＯＳビデオカメラ４で観測することにより当該システムの時刻同期を行うものである。被測定スマート端末装置３は動画撮影用の一般的なＣＭＯＳビデオカメラ４を備えており、当該ＣＭＯＳビデオカメラ４を用いて光学的手法による時刻同期をすることが期待できる。また、ＣＭＯＳビデオカメラ４は音響計測と同時に使用できるため、ＴｏＡ計測にもとづく測位を付加機構なく実施するのに適している。その一方で、ＣＭＯＳビデオカメラ４の撮像素子は、毎秒６０フレームなどの速度で動画を記録するので、単にフラッシュ的な発光を使用したのでは、フレーム周期である１６ミリ秒程度の時間分解能しか得られず、測位に必要な１０マイクロ秒程度の同期精度は達成できなかった。

本実施形態では、撮像素子のフレーム周期を超える時間分解能を得るため、撮像素子のローリングシャッター歪みを利用する。近年、スマート端末を含め民生用のビデオカメラの撮像素子にはＣＭＯＳ撮像素子が広く採用されている。感度特性や解像度、コストなどで有利なためであるが、高速で動く物体を撮影した場合、ローリングシャッター歪みという現象が発生することが知られている（例えば、特許文献３参照）。これは、ＣＭＯＳ撮像素子はフォトダイオードを横方向のライン毎に駆動し、上下のラインで駆動タイミングをわずかにずらしているため、４角形の水平移動物体を撮影したとき、ライン毎にずれた時刻で記録され、平行四辺形にゆがんだ形で撮影されてしまう現象である。本実施形態はこのＣＭＯＳ撮像素子固有の特性を逆に利用し、特定の波形で強度変調した照明光を用い、高精度な時刻動機を得ることを特徴としている。

変調光源をフレームレートｆ_ｐ（フレーム周期Ｔ_ｐ＝１／ｆ_ｐ）、ライン数Ｎのローリングシャッター方式のＣＭＯＳ撮像素子で録画した場合、画面に記録される画像（濃淡）について説明する。説明では簡単のため広い領域で均一に発光する面光源が所定のタイミングで変調されており、それを撮像素子の全記録領域で記録した場合について記載する。

光源は撮像素子のフレームレートのｍ倍の周期で周期的に発光しているとし、その時間波形をｂ（ｔ）とする。またその複素フーリエ係数をβ_ｋとする。すなわち、次式を得る。ただし、ｍは２以上の整数である。

ここでは、ｂ（ｔ）の周期性を仮定しているが、ｍを大きくとることで広い範囲のｂ（ｔ）に対応できる。

この光源を上記の撮像素子で撮影した場合、光源は十分大きいという仮定により、撮像素子の像の各ラインは横方向で濃淡の差はなく、縦方向でのみローリングシャッター効果で生じる濃淡変化がある。変調光源の周期性の仮定から、記録される画像はｍフレームを周期にくりかえすので、ｍフレーム分の画像を縦につなぎ、Ｍ＝ｍＮラインの撮像素子であるかのように考える。Ｍラインの記録画像のμライン目の明るさをＣμと書くことにする。

現在市販されている撮像素子のように、Ｎが十分大きければ、そしてその結果Ｍが十分大きければ、ｘ＝（μ−１）／Ｍなるパラメータで画素お縦方向は連続的として表記してもよく、するとＣμを連続化したＣ（ｘ）は複素フーリエ級数γ_ｋに展開でき、すなわち次式を得る。

ここで、ａはカメラや撮像素子の感度を表現する係数である。また、Ｃ（ｘ）は変調光源ｂ（ｔ）の輝度変化について、それをローリングシャッター効果を介して記録しており、両者の関係は複素フーリエ係数により次式を得る。

この関係を用いて、変調光源ｂ（ｔ）の波形の特徴部を、カメラに記録された濃淡Ｃμの対応する特徴部として抽出でき、変調光源の特定の波形送出タイミングを撮像素子に記録された濃淡から抽出できる。これが変調光源とローリングシャッター効果をもつ撮像素子を利用したタイミング検出システムの原理である。

以上、十分大きな面光源を変調光源とした場合について説明したが、領域の限られた光源、あるいは面光源を複数の点光源で構成した場合についても、Ｃμの空間分布にそれに対応するマスクがかかったものと考えると、同様に複素フーリエ係数の関係が成立し、本発明の方式のタイミング検出を実行できる。光源の変調パターンはスペクトルが既知であればよく、送信装置と受信装置は一体で設計されたものでも、独立に設計されたものでもよい。なお、変調光源はシステム外部のものであってもよい。

本実施形態では位相同期ループ（ＰＬＬ）ないしそれに伴う位相比較・シーク動作を用いておらず、従って変調光の用い方もそのようなシステムとは異なっている。特許文献２の発明では、システム全体のクロックの持続的同期を目的としているが、本実施形態は測位のための音波発生の単一タイミングをとることを目的としており、同期の意味が異なる。特許文献１の発明では、同期の信号波形のみからは音波発生の特定タイミングを知ることはできない。また、特許文献２は同期手法としてＰＬＬを用いる関係で、ループ中にローパスフィルタ（ＬＰＦ）を持ち、同期成立のセトリング時間を長引かせる。本実施形態ではＰＬＬを使わず、代わってＣＭＯＳビデオカメラの撮像素子のローリングシャッター機構に時間分解を行わせることで、汎用品の低速撮像素子を使っても迅速で正確な同期を成立させる。ＰＬＬの場合、長時間の同期維持をしても、依然としてループゲインに対応する残留位相誤差を持つ。またその誤差を減らそうとしてループゲインを上昇させるとループ安定性の確保が困難となる。本実施形態は観測時間の延長によって、統計処理により理論上いくらでも同期誤差を低減させることができる。また、特許文献２の発明では、持続同期のためフレームレートを変化させられる特殊撮像機構を想定するが、本実施形態ではそのようなものは必要ない。

次いで、本システムを音響測位システムとして使用する場合の構成及び動作について以下詳述する。

図１において、送信装置１００の計測コントローラ２は、特定のクロックによるタイミングに基づき、変調光源１及び例えば３個のスピーカＳ１〜Ｓ３の動作をあわせて制御する。ここで、スピーカＳ１〜Ｓ３は変調光源１の実質的に同一の位置であって互いに所定の距離だけ離隔されて配置される。被測定スマート端末装置３は、本測位システムによりその座標位置を求めようとする移動端末装置であり、通常、利用者が携行しつつ送信システム付近に持ち込むことを想定している。これは同時に複数あってもよい。被測定スマート端末装置３はローリングシャッター動作をするＣＭＯＳビデオカメラ４とマイクロホン５を備えており、また測位処理のための信号処理機能を有する。

被測定スマート端末装置３は以下に述べるアルゴリズムにより、変調光をビデオカメラ４で観測することで、スピーカＳ１〜Ｓ３から複数の音響信号の送出されたタイミングを知る（タイミング同期）ことができる。また、マイクロホン５により、伝搬してきた複数の音響信号の受信された時刻を知り、その時間差から各音響信号の伝搬時間を得る。これに音響信号（音波）の伝搬速度を乗じることでスピーカＳ１〜Ｓ３と被測定スマート端末装置３との間の距離を得る（図４の計測処理部８）。座標位置を既知とする３台のスピーカＳ１〜Ｓ３からの各距離を計測することで、（ｘ，ｙ，ｚ）の３未知数の方程式を解くことができ、被測定スマート端末装置３の３次元位置を求められる（図４の計測処理部８）。

なお、座標位置を既知とする２台のスピーカからの各距離を計測することで、（ｘ，ｙ）の２未知数の方程式を解くことができ、被測定スマート端末装置３の２次元位置を求めてもよい。

また、変調光によるタイミング同期を行うことで、到来時間（ＴｏＡ）に基づく測位が可能となる。スピーカ数を４台とすれば、当該システムのタイミング同期をとることなく、到来時間差（ＴＤｏＡ）による測位をできるが、余剰なスピーカＳ１〜Ｓ３の設置を必要とし、また一般にＴＤｏＡ測位は、音源への距離方向において計測精度の悪化する欠点をもつ。本実施形態に係る測位システムは変調光源のタイミング同期機能を導入することで、その欠点を回避している。

図２は図１の計測コントローラ２の構成を示すブロック図である。図２において、計測コントローラ２は、タイミング制御回路１５と、発光駆動信号派生ＲＯＭ１０と、３個の音響信号発生ＲＯＭ１１，１２，１３と、４個のＤＡ変換／ドライバ２０，２１，２２，２３とを備えて構成される。計測コントローラ２は、複数のＬＥＤが例えば格子形状で配列されてなる変調光源１と、３個のスピーカＳ１〜Ｓ３との動作を制御する。変調光源１の発光駆動信号の変調パターンは発光駆動信号発生ＲＯＭ１０に格納されており、音響信号の各波形は音響信号発生ＲＯＭ１１〜１３に格納されており、タイミング制御回路１５からのクロックに基づいて各ＲＯＭ１０〜１３から周期的に読み出されて発光駆動信号及び音響信号が発生される。発光駆動信号発生ＲＯＭ１０からの発光駆動信号は例えばパルス形状を有し、ＤＡ変換／ドライバ２０によりＤＡ変換及び増幅された後、変調光源１に入力され、変調光源１を駆動する。これにより、変調光原１から変調光が放射される。また、音響信号発生ＲＯＭ１１〜１３からの各音響信号はそれぞれ例えば所定の時間期間であって各周波数（後述するＦＤＭ方式では、３つの異なる周波数ｆ１，ｆ２，ｆ３；ＴＤＭ方式のときは例えば同一の周波数ｆ０）を有し、ＤＡ変換／ドライバ２１〜２３によりＤＡ変換及び増幅された後、スピーカＳ１〜Ｓ３に入力され、スピーカＳ１〜Ｓ３を駆動する。これにより、スピーカＳ１〜Ｓ３から所定の音響信号が放射される。

図３は図２の計測コントローラ２の動作を示す各信号のタイミングチャートである。図３は変調光と音響信号の放射タイミングの一例を示しており、この例では変調光は簡単のためＯＮとＯＦＦの２状態のみを使用し、矩形波で駆動している。ｔ１，ｔ２，…，ｔ８が基本タイミングであり、当該基本タイミングｔ１〜ｔ８の１セットが繰り返して発生し、各基本タイミングｔ１〜ｔ８からの所定の周期Ｔｐ（各基本タイミング間の時間期間をいう。なお、本実施形態において、発光駆動信号の周期はｍ＝２にとり２Ｔｐとしている（図３及び図５参照））を被測定スマート端末装置３のビデオフレームレートに等しく選んで設定される。ビデオカメラ４で一般的なフレームレートは５９．９４Ｈｚ（周期Ｔｐ＝１６．６８３ｍｓ）なので、例えばそのように設定する。また、各音響信号は変調光のタイミングにあわせ、例えば基本タイミングｔ１の立ち上がりで発生させる。被測定スマート端末装置３では、スピーカＳ１〜Ｓ３からの周波数が異なる各音響信号を例えばバンドパスフィルタ（ＢＰＦ）を用いて弁別する必要があるが、例えばＦＤＭ（周波数分割多重）方式で、異なる周波数ｆ１，ｆ２，ｆ３の音響信号を各スピーカＳ１〜Ｓ３から送出する。

なお、変形例では、ＴＤＭ（時分割多重）方式で、同一の周波数ｆ０を有する音響信号を、基本タイミングｔ１，ｔ３，ｔ５などの立ち上がりにあわせて各スピーカＳ１〜Ｓ３を駆動してもよい。

変調光の明滅を複数回行うことで、あるいは音響信号の生成を繰り返すことで、被測定スマート端末装置３において、統計処理により同期タイミング検出精度を向上させ、また距離検出精度を向上させることができる。そのためこの例では、基本タイミングｔ１〜ｔ８の動作を所定の周期で繰り返して行わせている。なお、基本タイミングｔ７，ｔ８で明滅パターンを変更しているのは、繰り返しのフレーム構造（音響生成タイミング）をスマート端末装置３に伝達するためであるが、必要なければこの変更を置かなくてもよい。

図４は図１の被測定スマート端末装置３の構成を示すブロック図であり、図５は図４の被測定スマート端末装置３の動作を示す各信号のタイミングチャートである。図４において、被測定スマート端末装置３は、ＣＭＯＳビデオカメラ４と、マイクロホン５と、ＡＤ変換器６と、同期タイミング抽出処理部７と、計測処理部８と、ディスプレイ９とを備えて構成される。なお、同期タイミング抽出処理部７及び計測処理部８は、例えば被測定スマート端末装置３のＣＰＵ（コンピュータの制御装置）により実行されるアプリケーションプログラムで構成される。

図４において、ＣＭＯＳビデオカメラ４は変調光源１からの変調光を受信し、受信した変調光に基づいて、ビデオフレームを走査線数Ｎラインでスキャンしたビデオストリーム信号と、ラインスキャンの繰り返しタイミング（垂直同期信号）を示すフレームストローブ信号Ｆとを発生し、前者のビデオストリーム信号を同期タイミング抽出処理部７に出力し、後者のフレームストローブ信号Ｆを計測処理部８に出力する。図５に示すように、フレームストローブ信号Ｆの立ち上がりｔｆは、走査ライン１の測光開始タイミングｔｖ１と一致しているものとする。同期タイミング抽出処理部７は、ビデオストリーム信号を解析することで、基本タイミングｔ１，ｔ２，…，ｔ８の立ち上がりタイミングと一致した測光開始タイミングｔｖｋをもつ走査ラインｋを求めることができ、その測光開始タイミングｔｓ（＝ｔｖｋ）を計測処理部８に伝える。

スピーカＳ１〜Ｓ３からの各音響信号はマイクロホン５により受信されて電気信号に変換された後、ＡＤ変換器６によりＡＤ変換された後、ＡＤ変換後のオーディオストリーム信号は計測処理部８に入力される。ここで、フレームストローブＦの立ち上がりタイミングｔｆから時間期間Ｓだけ遅れたタイミングｔｓで送出されたことがわかることで計測処理部８により同期タイミングを検出でき、当該検出タイミングｔｓとマイクロホン５でとらえた各音響信号（タイミングｔｓよりも遅延して到着する）を比較し、音響信号の伝搬遅延時間を算出することができる。

同期タイミング抽出処理の原理を示す図５において、ＣＭＯＳビデオカメラ４のＣＭＯＳイメージセンサは、各走査ラインの測光開始タイミングが走査ライン毎にずれた、ローリングシャッター動作をしているものとする。ライン１〜Ｎの撮像素子でとらえられた変調光源１の明るさ（画素値）は、撮像素子の変調光源１のオン／オフタイミングの位相により決定する。そのうちで、ｋ番目の走査ラインの測光開始タイミングｔｖｋが、変調光源１の明滅位相の開始タイミングｔｓと完全に合致すれば、このラインで観測した変調光の明るさは一番明るく（オンタイミング）、ないし暗く（オフタイミング）なる。計測処理部８は、上述のように各音響信号毎に各スピーカＳ１〜Ｓ３と被測定スマート端末装置３との間の距離を計測することで、（ｘ，ｙ，ｚ）の３未知数の方程式を解くことができ、被測定スマート端末装置３の３次元位置を求められる。求めた３次元の位置は位置情報としてディスプレイ９に表示される。

図６は図４の被測定スマート端末装置３のＣＭＯＳビデオカメラ３により測定される変調光原１の明るさを示す画素値の時間波形を示す波形図である。図６に示すように、ビデオフレームでとらえた変調光源１の明るさは、ライン位置に応じて、ｋ番目のラインを頂点とする三角波の形状となる。

直感的にわかりやすいよう、変調光源に矩形波を使用し、それが撮像素子では三角波として記録されることを説明したが、式（１）により複素フーリエ級数の関係で計算しても同様の結果を得られ、またそれを利用すれば、変調光源には特徴点を備えたより広い範囲の変調波形を採用できる。

矩形波による説明に戻ると、その立ち上がりタイミングを特徴点として使用することで、それが三角波の折り返しタイミングすなわちｋ番目のラインの開始タイミングに対応させている。それは、フレームストローブ信号Ｆの立ち上がりタイミングｔｆにｔｖｋまでの遅延時間Ｓを加えたタイミングであり、Ｓは（ｔｖｋ−ｔｆ）で計算でき、ビデオのフレームレートＴｐに基づいて次式で表される。

Ｓ＝（（ｋ−１）／Ｎ）Ｔｐ

ここで、Ｎはビデオストリーム信号の最大ライン数である。ｋは整数値であるが、ＳＮ比の高い計測をすることで、あるいは統計処理により実効ＳＮ比を向上させることで、ラインごとの離散的な観測による明暗の三角波を連続的な直線で補間し、ｋを小数部をもつ実数値として求めることもできる。これは計測精度向上に寄与する。

ＣＭＯＳビデオカメラ４の動作モードによっては、図６に示すように、フレームスキャンの測光動作で、ラインＮとライン１の測光開始時刻の間にデッドタイムＤが生じる場合がある。その時もデットタイムＤは既知なので次式の修正式を用いればよい。

Ｓ＝（（ｋ−１）／Ｎ）（Ｔｐ−Ｄ）

ラインｋの位置は、ＣＭＯＳビデオカメラ４からの出力画像データに対し、三角波に対応する直線をフィッティングし、その交点として求めることができる。あるいは三角波を時刻方向にずらしながら乗じて相関処理し、その相関値のピークとして求めることができる。

本実施形態に係る光学的同期タイミング検出手法について、その性能を実験により確認した結果を記述する。複数の赤外ＬＥＤからなる変調光源１を１メートル離した位置におき、それを５９．９４Ｈｚのフレームレートをもつ、１９２０×１０８０ピクセルのＣＭＯＳビデオカメラ４で観測した。

図７は図６の波形の詳細測定値を示す波形図であり、具体的には、動画フレームの、隣接する奇数フレームと偶数フレームのペア１個分について、奇数フレームと偶数フレームで測定される山形と谷形の相補的な明度変化を山形に統一した波形ｐ（ｘ）を示す。図７において、このピークに相当するライン位置の、ローリングシャッター開始時刻が求める同期時刻である。計測精度は、計測されるピークのライン位置のばらつき、すなわち標準偏差として求められる。

図８は図１の測位システムの実験結果である、１５回の同期測定の誤差を示すグラフである。すなわち、図８は上述のように求めた１５回の同期測定のばらつきを示す。図８から明らかなように、標準偏差は１ライン分、時間のばらつきに換算して９μｓである。

図９は図１の測位システムで期待されるタイミング検出精度を示したものである。隣接する奇数フレームと偶数フレームのペアにつき、直線回帰により三角波をフィッティングし、その折り返し点を求める操作を複数回行い、統計処理により、平均化に使用するフレームペア数と達成される同期精度（７０％信頼区間）の関係は図９のようになる。この図から明らかなように、約２０フレームペア分、すなわち５９．９４Ｈｚのフレームレートで１秒未満の計測で４μｓの同期精度を得られる。これに対して音響遅延の計測は、それ単独では、特許文献３に開示された手法によって、２メートルの距離で８μｓの標準偏差、すなわち音速を３４０ｍ／ｓとした換算で２．７ｍｍの精度で実行できることがわかっている。本実施形態に係る光学的同期タイミング検出手法で音響信号発生のタイミングを知り、遅延して到着した音響信号と比べて伝搬時間を求め、距離を計測した場合、総合的な誤差は

（約３ｍｍ）と見積もれる。音響的な距離計測のための時刻同期手法として、本実施形態に係る光学的同期タイミング検出手法は十分な性能を持つと言える。

以上のように構成された本実施形態に係る測位システムによれば、従来技術に比較して短時間でしかも高精度で同期タイミングを検出することができる。また、上記同期タイミング検出システムを用いて、従来技術に比較して、短時間でしかも高精度で測距できる測距システムを提供できる。さらに、上記測距システムを用いて、従来技術に比較して、短時間でしかも高精度で測位できる測位システムを提供できる。

以上の実施形態では、同期タイミング抽出処理部７は、ビデオストリーム信号Ｆから上記光信号の立ち上がりタイミング又は立ち上がりタイミングを検出して当該検出タイミングを出力し、計測処理部８は、当該出タイミングをビデオストリーム信号Ｆの各ラインと比較することで、フレームストローブ信号Ｆを基準とする上記検出タイミングの時刻を、受信した音響信号の同期タイミングとして検出している。しかし、本発明はこれに限らず、音響信号を送受信せずに、計測処理部８は、当該出タイミングをビデオストリーム信号Ｆの各ラインと比較することで、フレームストローブ信号Ｆを基準とする上記検出タイミングの時刻を、例えば２つのカメラ間で光信号を送受信してシャッター同期のための同期タイミングなどの所定の同期タイミングとして検出してもよい。

実施形態２．
図１０は本発明の実施形態２に係る測位システムのための被測定スマート端末装置３Ａの構成を示すブロック図である。実施形態２に係る被測定スマート端末装置３Ａは、実施形態１に係る同期タイミング抽出処理部７に代えて、同期タイミング抽出処理部７Ａを備えたことを特徴とする。ここで、送信装置側の変調光源１は詳細後述する所定の同期タイミングカーブ信号に従って変調することで変調波を発生し、受信装置側の同期タイミング抽出処理部７Ａは、上記同期タイミングカーブ信号と同一の同期タイミングカーブ信号を生成する同期タイミングカーブ信号生成部３１と、上記ビデオストリーム信号と当該発生した同期タイミングカーブ信号との相関値を計算し、最大の相関値を検索基準として上記光信号の特徴点タイミングを検出して当該検出タイミングｔｓを出力する相関処理部３２とを備える。

実施形態１では、変調光源１の変調光は矩形波、すなわちオン又はオフの２値をとる場合に限定していた。変調光によるローリングシャッターによる同期の概念を直感的に説明するのには適した波形であるが、実際の使用目的にこれが最適というわけではない。変調光源１の複数のＬＥＤの駆動電流を調節することで、容易に連続的な輝度変調をかけることができ、矩形波以外の変調光を生成できる。そのような変調光の種類のうちで、用途に対し矩形波より優れた性質をもつものがある。

変調光源１の変調光が矩形波だった場合はローリングシャッター動作をする受光素子にとらえられるパターンは、三角波的な増減をすることは前述したとおりである。しかし、より一般の変調パターンを使用した場合は、受光素子に現れるパターンは三角波になるとは限らず、それは上記式（１）に述べた関係で求まる波形となる。よって同期検出は三角波を前提として直線のスロープを検出する手法に代えて、任意の強弱パターンに対し相関演算を行い、相関係数のピークを得て、それで同期検出する手法をとることができる。

またこれも簡単のため、これまでＣＭＯＳ動画センサのようなローリングシャッター動作をする受光素子は、そのフレーム時間全体にわたり入射光を積分していると仮定していた。しかし実際の素子の動作は異なる。一般のＣＭＯＳ動画センサーは入射光の積分と、それで得た電荷のＡＤ変換／バス転送動作を繰り返していて、後者の時間も無視できないので、フレーム時間における積分時間の割合は最大で９０パーセント強である。撮影の都合で、さらにこの積分時間の割合を意図的に少なくする操作をすることもある。電子シャッターと呼ばれる機能だが、それを調節することで、動きの速い被写体のブレ防止や、動画受光素子の感度調整を行う。

ＣＭＯＳビデオカメラ４の動画受光素子のフレーム時間における積分時間の割合をηで記述する。ここで、積分時間の割合ηは０＜η≦１の値をとる。積分時間の割合ηを変化することによって、変調光源１のローリングシャッター効果による画像は影響を受ける。変調光源１を、フレーム１でＬＥＤがオフ、フレーム２でＬＥＤがオンという矩形波的明滅をさせたとき、ＣＭＯＳビデオカメラ４の動画センサのフレームの各ラインに記録される明度は図１１の信号波形のようになる。

図１１は図１０の実施形態２において用いる同期タイミングカーブ信号を説明するための信号波形であって、変調光源１をフレーム１でオフ、フレーム２でオンという矩形波的明滅をさせたときにＣＭＯＳビデオカメラ４の動画センサでのフレームの各ラインに記録される明度を示す信号波形図である。また、図１２は図１１において積分時間の割合η＝０．８８のときの信号波形図である。

ここでは、変調光源１のオフ／オンの切り替わりタイミングと、ＣＭＯＳビデオカメラ４のローリングシャッター受光素子の第１ラインの積分開始時間が一致した場合について、当該受光素子で記録される濃淡パターン（明度）を図１１に図示した。一般にはそのような一致はせず、フレーム内のあるｋ番目のラインに一致するため、明度のピークもｋ番目のライン位置に移動する。例としてη＝０．８８の場合をとりあげれば、矩形波の変調光は図１２のような濃淡パターンでとらえられる。これは、実施形態１で使用した積分時間の割合η＝１の場合（点線）とは異なり、台形状の平坦部をもつものである。

現実の受光素子の動作は積分時間の割合η≠１で、ピークの位置に平坦部をもつことから、特許文献２のような、受光素子に三角波的な折れ曲がった濃淡パターンの得られることを期待する同期検出機構ではピーク検出はうまく行かない場合がある。特許文献２の段落００６０において記載している「まずスロープ部を検出し、そこからピークの屈曲点を計算する手法」ならη≠１の平坦部があってもピーク検出は可能だが、図１２から明らかなように、元来あるべきピーク位置とは少しずれた位置に同期点を求めてしまい、系統誤差を生じることになる。

しかしながら、変調光源１の変調光に一般の変調パターンを使用し、同期検出に理論的な強弱パターンとの相関を使用する方法によれば、矩形波より特性のよい同期検出を行い、また０＜η≦１の積分時間割合いで動作させても正しい同期時刻を検出できる。それは次のように行う。上記式（１）に受光素子の積分時間の割合をあらわすパラメータηを導入する。それは受理するフレーム数ｍをｍ／ηで置き換えればよく、次式を得る。

図１１の濃淡パターンは式（２）により得られたものである。受光素子のパターンをこの平坦部をもつ理論パターンと相関処理すると、正しい同期タイミング位置に相関ピークを生じるので、それで正確な同期検出をできる。

次いで、同期タイミングカーブ信号の変形例について以下に説明する。

図１３は実施形態２において用いる同期タイミングカーブ信号の第１の例を示す信号波形図である。また、図１４は図１３の同期タイミングカーブ信号に対応する受光素子の相対明度を示すグラフである。

ＣＭＯＳビデオカメラ４の動画受光素子が積分時間の割合η＝０．８８で動作していることを発光側に連絡し、受光素子に三角波的な濃淡パターンを生じるように、変調光源１の変調パターンを修正することもできる。図１３の変調パターンがそれで、これを使用すると三角波的な濃淡パターンが正しいライン位置にピークを持った形で得られる。ここで、対照のため、矩形波を使った場合の波形も点線で示した。このように修正した図１３の変調パターンを使うことで、相関によらず、これまで説明で使った直線スロープを検出するような同期検出機構によっても、同期タイミングを正しく求められる。

一般的な変調パターンによれば、動画受光素子に三角波的なもの以外の濃淡パターンを生じさせることも容易である。同期検出機構に相関を使用するとすれば、濃淡パターンとしてはピークを強く持った、言い換えれば空間フーリエ級数展開したとき高調波成分の多く含むパターンを使うと、相関ピーク検出の精度を高められる。図１５がその例であり、この変調光で濃淡パターンのピークを強調できる。

図１５は実施形態２において用いる同期タイミングカーブ信号の第２の例を示す信号波形図である。また、図１６は図１５の同期タイミングカーブ信号に対応する受光素子の相対明度を示すグラフである。

変調光源１に一般の変調パターンを使用し、ローリングシャッター効果をもつＣＭＯＳビデオカメラ４の受光素子に記録された濃淡パターンから相関処理で同期点を検出するように拡張した同期検出システムについて記載する。このことで上述のように、矩形波より柔軟で、より精度の高い同期システムを構築できる。

ここで、変調光源１の発光パターンとして使用すると都合のよい波形、またそれでＣＭＯＳビデオカメラ４の動画受光素子に記録される濃淡パターンについて注記する。受光素子は積分時間の割合η≠１ではあるが、比較的１に近いシャッター開度で使用されるのが通常である。この場合、式（１）又は式（２）によれば、受光素子に記録される波形の調波成分は、偶数次調波は減衰し、主に奇数次調波のみ残留する。変調光源１の発光パターンで、フレーム周波数の１／２を基本周波数としてその偶数次調波成分があったとしても、ローリングシャッター効果により、記録時に強い減衰を受け、信号として検出されない。よって光源の変調波形は基本周波数を含め奇数次調波のみで構成すると発光エネルギーを効率よく使用できる。

変調光源１の変調波形にはフレーム周期の２倍を基本周期とする、任意の繰り返し波形を使用できるが、効率の観点から、実用上は奇数次調波成分のみの波形を使うとよい。目的に応じて、矩形波より性能のよい波形の存在するのは前に述べた通りであるが、これらもすべて奇数次高調波のみからなる波形で構成した。

画像信号のフレーム周期の２倍を繰り返し周期として、奇数次の高調波成分のみからなる発光パターンの波形的特徴を定性的に以下に説明する。

変調光源１の発光波形について、その成分の最低レベルを０、最高レベルを１としたとき、発光の平均値は０．５となる。フレーム周期を時間ｔの１単位としたとき、０≦ｔ＜１の波形を平均値０．５を軸として反転し、１≦ｔ＜２の部分に移動して接続する。こうしてできた波形の変動成分は奇数次成分のみをもつ。逆に奇数次成分のみからなる波形は必ずこの形状的特徴をもつ。

変調光源１の変動成分が奇数次調波のみからなるときは、ＣＭＯＳビデオカメラ４のローリングシャッターの動画受光素子で記録される濃淡波形の変動成分を空間フーリエ級数解析した係数も奇数次のみとなる。奇数次調波から構成される波形の特徴は上に述べたとおりである。発光波形がその特徴を備える場合、受光素子上の明暗分布も、形は違うが同じ特徴をもつものとなる。その関係は上記式（１）又は式（２）になり、フーリエ級数の係数β_ｋにかかる係数の部分はローリングシャッター効果を周波数フィルタで表現したものとなっている。

このフィルタ係数は、奇数次調波では基本的に零点をとらないことから、撮像素子上の明暗分布を奇数次調波で与えれば、逆数の係数、つまり逆フィルタを構成できる。奇数次調波からなる明暗分布波形は、それに対応する発光波形をもつ。この原理により目的に応じた明暗分布を設計し、発光波形を合成することができる。

次いで、任意波形の発光パターンによる時刻同期システムの構成例を次に述べる。

変調光源１は、図２の発光駆動信号発生ＲＯＭ１０などの波形メモリをもち、そこに記録された強弱パターンで光に強度変調をかけながら照射する。ｍを２以上の整数として、変調光源１はＣＭＯＳビデオカメラ４のフレームレートの１／ｍの基本周波数（ｍ倍の基本周期）で強度変調された光を発生する。ここまでは、ｍ＝２に選んだ場合で説明したが、それに限らない。もちろん変調パターンは矩形波に限らず、任意の波形としてよい。上記波形メモリには、あらかじめ用意した同期タイミングカーブ信号の信号波形を入れておいてもよいし、同期を求めている端末から無線通信等で送られた要求の同期タイミングカーブ信号波形を再生してもよい。

図１０において、同期をとりたい被測定スマート端末装置３Ａは、ローリングシャッター効果をもつ動画センサであるＣＭＯＳビデオカメラ４を搭載し、上記変調パターンによる変調光を受信し、ローリングシャッター効果を伴って受光された動画出力のビデオストリーム信号を相関処理部３２に送り出す。これに並行して、端末装置３Ａ内の同期タイミングカーブ信号生成部３１では、使用される変調パターンがローリングシャッター効果にともない生じるはずの強弱パターン、すなわち同期タイミングカーブ信号を生成してこれを相関処理部３２に送る。同期タイミングカーブ信号は式（２）を逆フーリエ変換したものである。使用する変調パターンは、測定シナリオで送信装置側及び受信装置側であらかじめ決めておいてもよいし、送信装置側から受信装置側へ、あるいは受信装置側から送信装置側へ、測定の都度、無線通信等の方法で波形を伝達してもよい。ここで、同期タイミングカーブ信号は、好ましくは、画像信号のフレーム周期の２倍の周期を有する信号であって、奇数次調波成分から構成される信号である。

相関処理部３２はＣＭＯＳビデオカメラ４の動画センサから出力されるビデオストリーム信号と、同期タイミングカーブ信号の空間系列をずらしながら相関処理を行い、その相関値の最大値ピークを得る。上記は空間波形としての濃淡パターンを相関に使用するものだが、同じことを周波数空間でも行うことができる。すなわち、同期タイミングカーブ信号生成部３１では式（２）をフーリエ係数のまま保存しておき、ＣＭＯＳビデオカメラ４の動画センサで得られた濃淡パターンをフーリエ級数展開し、両者の積をとり、逆フーリエ変換することでも相関値の最大値ピークを検出できる。次いで、計測処理部８は動画センサーから送られたフレームストローブ信号と相関処理部３２からの相関ピーク信号のタイミングｔｓを比較し、検出された同期タイミング情報を出力する。以降の処理は実施形態１と同様である。

以上説明したように、実施形態２によれば、従来技術に比較して短時間でしかも高精度で同期タイミングを検出することができる。また、上記同期タイミング検出システムを用いて、従来技術に比較して、短時間でしかも高精度で測距できる測距システムを提供できる。さらに、上記測距システムを用いて、従来技術に比較して、短時間でしかも高精度で測位できる測位システムを提供できる。

１…変調光源、
２…計測コントローラ、
３，３Ａ…被測定スマート端末装置、
４…ＣＭＯＳビデオカメラ、
５…マイクロホン、
６…Ａ／Ｄ変換器、
７，７Ａ…同期タイミング抽出処理部、
８…計測処理部、
９…ディスプレイ、
１０…発光駆動信号発生ＲＯＭ、
１１〜１３…音響信号発生ＲＯＭ、
１５…タイミング制御回路、
２０〜２３…ＤＡ変換／ドライバ、
３１…同期タイミングカーブ信号生成部、
３２…相関処理部、
１００…送信装置、
２００…受信装置、
Ｓ１〜Ｓ３…スピーカ。

Claims (17)

1. 所定の周期を有する同期タイミングカーブ信号に従って変調された光信号を発生して送信する送信装置と、
   上記光信号を受信する受信装置とを備えた同期タイミング検出システムであって、
   上記受信装置は、
   ローリングシャッター効果を有するビデオカメラであって、上記光信号を撮像して、複数のラインを含むビデオストリーム信号及びフレームストローブ信号を含む画像信号を発生して出力するビデオカメラと、
   上記同期タイミングカーブ信号と同一の同期タイミングカーブ信号を発生し、上記ビデオストリーム信号と当該発生した同期タイミングカーブ信号との相関値を計算し、最大の相関値を検索基準として上記光信号の特徴点タイミングを検出して当該検出タイミングを出力する同期タイミング抽出処理部とを備えることを特徴とする同期タイミング検出システム。
2. 上記同期タイミングカーブ信号は、上記画像信号のフレーム周期の２倍の周期を有する信号であって、奇数次調波成分から構成される信号であることを特徴とする請求項１記載の同期タイミング検出システム。
3. 上記検出タイミングを上記ビデオストリーム信号の各ラインと比較することで、上記フレームストローブ信号を基準とする上記検出タイミングの時刻を、所定の同期タイミングとして検出する計測処理部をさらに備えることを特徴とする請求項１又は２記載の同期タイミング検出システム。
4. 上記送信装置は、上記同期タイミングカーブ信号に従って変調された光信号及び音響信号を発生して送信し、
   上記受信装置は、上記光信号及び上記音響信号を受信し、
   上記計測処理部は、上記フレームストローブ信号を基準とする上記検出タイミングの時刻を、上記受信された音響信号の同期タイミングとして検出することを特徴とする請求項３記載の同期タイミング検出システム。
5. 上記同期タイミング抽出処理部は、上記光信号の特徴点タイミングが上記ビデオストリーム信号のいずれかのラインの開始タイミングと一致するときに当該一致したタイミングを検出タイミングとして出力することを特徴とする請求項４記載の同期タイミング検出システム。
6. 上記計測処理部は、上記光信号の特徴点タイミングが上記ビデオストリーム信号のｋ番目のラインの開始タイミングと一致するときに、次式を用いて、上記フレームストローブ信号から上記検出タイミングまでの時間Ｓを計算し、
   Ｓ＝（（ｋ−１）／Ｎ）Ｔｐ
   ここで、Ｎは上記ビデオストリーム信号の最大ライン数であり、上記フレームストローブ信号のフレーム周期であり、
   上記フレームストローブ信号に上記時間Ｓを加算することで上記検出タイミングを検出することを特徴とする請求項５記載の同期タイミング検出システム。
7. 上記計測処理部は、上記光信号の特徴点タイミングが上記ビデオストリーム信号のｋ番目のラインの開始タイミングと一致するときに、次式を用いて、上記フレームストローブ信号から上記検出タイミングまでの時間Ｓを計算し、
   Ｓ＝（（ｋ−１）／Ｎ）（Ｔｐ−Ｄ）
   ここで、Ｎは上記ビデオストリーム信号の最大ライン数であり、上記フレームストローブ信号のフレーム周期であり、Ｄは上記ビデオストリーム信号の各ライン間のデットタイムであり、
   上記フレームストローブ信号に上記時間Ｓを加算することで上記検出タイミングを検出することを特徴とする請求項５記載の同期タイミング検出システム。
8. 上記同期タイミング抽出処理部は、上記光信号の特徴点タイミングが、上記ビデオストリーム信号の隣接する２つのラインの開始タイミング間で補間した時刻と一致するときに当該一致したタイミングを検出タイミングとして出力することを特徴とする請求項１〜４のうちのいずれか１つに記載の同期タイミング検出システム。
9. 請求項４〜８のうちのいずれか１つに記載の同期タイミング検出システムを備え、
   上記計測処理部は、上記検出タイミングと、上記受信された音響信号の受信タイミングとの時間差から上記音響信号の伝搬時間を計算し、当該伝搬時間に音響信号の伝搬速度を乗算することにより、上記送信装置と上記受信装置との間の距離を計算することを特徴とする測距システム。
10. 請求項９記載の測距システムを備え、
    上記送信装置は、互いに異なる位置に設けられる複数のスピーカであって、互いに異なる周波数を有する複数の音響信号、もしくは同一の周波数を有し所定の時間差で順次送信される複数の音響信号をそれぞれ送信する複数のスピーカを備え、
    上記計測処理部は、複数の音響信号に基づいて、上記複数のスピーカと上記受信装置との間の各距離を計算し、上記計算した各距離に基づいて上記受信装置の位置を測位することを特徴とする測位システム。
11. 所定の周期を有する同期タイミングカーブ信号に従って同期して変調された光信号を発生して送信する送信装置と、
    上記光信号を受信する受信装置とを備えた同期タイミング検出システムのための同期タイミング検出方法であって、
    ローリングシャッター効果を有するビデオカメラが、上記光信号を撮像して、複数のラインを含むビデオストリーム信号及びフレームストローブ信号を含む画像信号を発生して出力するステップと、
    同期タイミング抽出処理部が、上記同期タイミングカーブ信号と同一の同期タイミングカーブ信号を発生し、上記ビデオストリーム信号と当該発生した同期タイミングカーブ信号との相関値を計算し、最大の相関値を検索基準として上記光信号の特徴点タイミングを検出して当該検出タイミングを出力するステップとを含むことを特徴とする同期タイミング検出方法。
12. 上記同期タイミングカーブ信号は、上記画像信号のフレーム周期の２倍の周期を有する信号であって、奇数次調波成分から構成される信号であることを特徴とする請求項１１記載の同期タイミング検出方法。
13. 計測処理部が、上記検出タイミングを上記ビデオストリーム信号の各ラインと比較することで、上記フレームストローブ信号を基準とする上記検出タイミングの時刻を、所定の同期タイミングとして検出するステップをさらに含むことを特徴とする請求項１１又は１２記載の同期タイミング検出方法。
14. 同期タイミング検出システムのための受信装置であって、
    上記受信装置は、
    ローリングシャッター効果を有するビデオカメラであって、所定の周期を有する同期タイミングカーブ信号に従って変調された光信号を撮像して、複数のラインを含むビデオストリーム信号及びフレームストローブ信号を含む画像信号を発生して出力するビデオカメラと、
    上記ビデオストリーム信号と所定の同期タイミングカーブ信号との相関値を計算し、最大の相関値を検索基準として上記光信号の特徴点タイミングを検出して当該検出タイミングを出力する同期タイミング抽出処理部と、
    上記検出タイミングを上記ビデオストリーム信号の各ラインと比較することで、上記フレームストローブ信号を基準とする上記検出タイミングの時刻を、所定の同期タイミングとして検出する計測処理部とを備えることを特徴とする受信装置。
15. 上記同期タイミングカーブ信号は、上記画像信号のフレーム周期の２倍の周期を有する信号であって、奇数次調波成分から構成される信号であることを特徴とする請求項１４記載の受信装置。
16. コンピュータにより実行される、同期タイミング検出システムのための受信装置用プログラムであって、
    ローリングシャッター効果を有するビデオカメラにより、所定の周期を有する同期タイミングカーブ信号に従って変調されて受信された変調光信号を撮像して、複数のラインを含むビデオストリーム信号及びフレームストローブ信号を含む画像信号が発生されて出力されるビデオストリーム信号と上記同期タイミングカーブ信号との相関値を計算し、最大の相関値を検索基準として上記変調光信号の特徴点タイミングを検出して当該検出タイミングを出力するステップと、
    上記検出タイミングを上記ビデオストリーム信号の各ラインと比較することで、上記フレームストローブ信号を基準とする上記検出タイミングの時刻を、所定の同期タイミングとして検出するステップとを含むことを特徴とする、コンピュータにより実行されるプログラム。
17. 上記同期タイミングカーブ信号は、上記画像信号のフレーム周期の２倍の周期を有する信号であって、奇数次調波成分から構成される信号である請求項１５記載のプログラム。

Images