JP2013513283A - 映像信号とセンサー信号の同期化システム及び方法 - Google Patents
映像信号とセンサー信号の同期化システム及び方法 Download PDFInfo
- Publication number
- JP2013513283A JP2013513283A JP2012541950A JP2012541950A JP2013513283A JP 2013513283 A JP2013513283 A JP 2013513283A JP 2012541950 A JP2012541950 A JP 2012541950A JP 2012541950 A JP2012541950 A JP 2012541950A JP 2013513283 A JP2013513283 A JP 2013513283A
- Authority
- JP
- Japan
- Prior art keywords
- synchronization
- sensor
- signal
- time information
- clock
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/7795—Circuitry for generating timing or clock signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/745—Circuitry for generating timing or clock signals
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Arrangements For Transmission Of Measured Signals (AREA)
- Electric Clocks (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Studio Devices (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
本発明は、カメラから入力される映像信号と、それぞれの映像信号に対応するセンサー信号に対して、センサー装置及び中央制御装置に同期用時計がそれぞれ内蔵されており、同期化装置でそれぞれの装置に同期信号を伝送して同期用時計を同期化させた後、センサー装置で獲得したセンサー信号に取得時間を付加して、中央制御装置を経由してコンピューター装置に伝送し、中央制御装置がカメラからコンピューター装置に伝送される映像信号の取得数に取得時間を付加してコンピューター装置に伝送することで、コンピューター装置が取得時間情報に基づいて映像信号とセンサー信号の同期化を行うことができる映像信号とセンサー信号の同期化システム及び方法に関する。本発明による映像信号とセンサー信号の同期化システムは、 被写体を撮影して映像信号を獲得し、前記獲得した映像信号を出力するカメラ装置と、第1同期用時計が内蔵されており、前記映像信号に対応したセンサー信号をセンシング動作によって生成し、前記生成されたセンサー信号に前記第1同期用時計による取得時間情報を付加して出力するセンサー装置と、第2同期用時計が内蔵されており、前記センサー装置から前記取得時間情報の付加されたセンサー信号を受信してコンピューター装置に伝送するように制御し、前記カメラ装置からコンピューター装置に伝送される映像信号に対する取得数を継続的に累積して計算し、前記取得数に前記第2同期用時計による取得時間情報を付加してコンピューター装置に伝送または保存した後、分析の際に活用して同期化を検証する中央制御装置と、基準時計を内蔵し、前記第1同期用時計と前記第2同期用時計の同期のための基準時間を所定の間隔で前記センサー装置及び前記中央制御装置に同時に伝送する同期化装置と、前記中央制御装置から前記取得時間情報の付加されたセンサー信号を受信し、前記カメラ装置から映像信号を受信してそれぞれの信号の時間情報を確認し、それぞれの信号を同じ時間帯に再構成して前記映像信号と前記センサー信号を同期化するコンピューター装置と、を備える。本発明によれば、周辺環境によって収集された映像信号及びセンサー信号の同期性を確保することができる。また、多チャンネルであり、高速である映像信号とそれに対応したセンサー信号の同期化を通じてユーザーに向上したサービスを提供することができる。さらに、映像信号及びセンサー信号を獲得して有線または無線で伝送する通信手段に関係なく、両信号の同期化を容易に具現することができ、それにより、映像信号とセンサー信号を正確かつ便利に分析することができる。
【選択図】図1
【選択図】図1
Description
本発明は、有無線環境で多チャンネル映像信号とセンサー信号の分析の際に、映像信号とセンサー信号を同期化するシステム及び方法に係り、さらに詳細には、カメラから入力される映像信号と、それぞれの映像信号に対応するセンサー信号に対して、センサー装置及び中央制御装置に同期用時計がそれぞれ内蔵されており、同期化装置がそれぞれの装置に同期信号を伝送して同期用時計を同期化させた後、センサー装置で獲得したセンサー信号に取得時間を付加して、中央制御装置を経由してコンピューター装置に伝送し、中央制御装置がカメラからコンピューター装置に伝送される映像信号の取得数に取得時間を付加してコンピューター装置に伝送することで、コンピューター装置が取得時間情報に基づいて映像信号とセンサー信号の同期化を行うことができる映像信号とセンサー信号の同期化システム及び方法に関する。
最近、被写体を撮影して映像信号を獲得するカメラを、ユーザーが携帯する携帯電話やノート・パソコンに採用して使用している。また、カメラによって獲得した映像信号を、例えば、洋弓分析器のようなゲーム機などに活用する装置が登場している。
ゲーム装置などには、周辺の状況をセンシングする、例えば、風向きや風速をセンシングするか、または張力、勾配、温度、圧力などをセンシングするセンサーが備えられている。
ところが、カメラから獲得した映像信号とセンサーを通じてセンシングしたセンサー信号とをマッチしてユーザーに提供すべき場合に、サービスの品質のためには両信号の同期化が非常に重要である。
しかし、最小2チャンネル以上の多チャンネルであり、高速であり、さらに無線通信で映像信号やセンサー信号を伝送すべき場合に、周辺環境によって収集された個別信号の同期性を確保することが非常に難しいという問題点がある。
前述の問題点を解決するための本発明の目的は、カメラから入力される映像信号と、それぞれの映像信号に対応するセンサー信号に対して、センサー装置及び中央制御装置に同期用時計がそれぞれ内蔵されており、同期化装置でそれぞれの装置に同期信号を伝送して同期用時計を同期化させた後、センサー装置で獲得したセンサー信号に取得時間を付加して、中央制御装置を経由してコンピューター装置に伝送し、中央制御装置がカメラからコンピューター装置に伝送される映像信号の取得数に取得時間を付加してコンピューター装置に伝送することで、コンピューター装置が取得時間情報に基づいて映像信号とセンサー信号の同期化を行うことができる映像信号とセンサー信号の同期化システム及び方法、同期化装置及びその映像信号とセンサー信号の同期化方法、及びコンピューター装置及びその映像信号とセンサー信号の同期化方法を提供するところにある。
前述の目的を達成するための本発明による映像信号とセンサー信号の同期化システムは、被写体を撮影して映像信号を獲得し、前記獲得した映像信号を出力するカメラ装置と、第1同期用時計が内蔵されており、前記映像信号に対応したセンサー信号をセンシング動作によって生成し、前記生成されたセンサー信号に前記第1同期用時計による取得時間情報を付加して出力するセンサー装置と、第2同期用時計が内蔵されており、前記センサー装置から前記取得時間情報の付加されたセンサー信号を受信してコンピューター装置に伝送するように制御し、前記カメラ装置からコンピューター装置に伝送される映像信号に対する取得数を継続的に累積して計算し、前記取得数に前記第2同期用時計による取得時間情報を付加してコンピューター装置に伝送または保存した後、分析の際に活用して同期化を検証する中央制御装置と、基準時計を内蔵し、前記第1同期用時計と前記第2同期用時計の同期のための基準時間を所定の間隔で前記センサー装置及び前記中央制御装置に同時に伝送する同期化装置と、前記中央制御装置から前記取得時間情報の付加されたセンサー信号を受信し、前記カメラ装置から映像信号を受信してそれぞれの信号の時間情報を確認し、それぞれの信号を同じ時間帯に再構成して前記映像信号と前記センサー信号を同期化するコンピューター装置と、を備える。
また、前記センサー装置は、前記同期化装置から受信した基準時間に基づいて前記第1同期用時計を同期化した後、前記センシング動作によって生成された前記センサー信号に前記第1同期用時計による取得時間情報を付加して前記中央制御装置に伝送する。
また、前記センサー装置は、前記同期化装置から受信した前記基準時間を前記第2同期用時計の時間と比較して誤差だけ補正し、補正された時間に基づいて前記センサー信号に取得時間情報を付加して前記中央制御装置に伝送する。
また、前記センサー装置は、前記同期化装置から受信した前記基準時間を前記第1同期用時計の時間と比較して時間誤差を獲得し、前記獲得した時間誤差をそれぞれ前記コンピューター装置に伝送し、前記コンピューター装置は、前記センサー装置から受信した前記センサー信号に対して前記時間誤差だけ時間軸で補正する。
また、前記同期化装置は、前記センサー装置に現在時間情報を要請して獲得し、前記獲得した現在時間情報を前記基準時間情報と比較して誤差範囲を確認し、校正が必要な場合は、校正時間情報及び時間校正命令を前記センサー装置に伝送する。
そして、前記センサー装置は、前記時間校正命令を受信すれば、前記校正時間情報に基づいて校正を行い、第二のクロックで前記同期化装置から受信したクロックで同期化を行い、校正完了命令を前記同期化装置に伝送する。
一方、前述の目的を達成するための本発明による同期化装置は、センサー装置、中央制御装置及びコンピューター装置と通信するための通信部と、前記センサー装置、中央制御装置及びコンピューター装置に同期化のための基準時間情報を伝送するために周波数信号を生成する周波数生成部(Oscillator)と、前記生成された周波数信号をクロック信号として生成する同期化クロック部と、前記生成されたクロック信号を前記基準時間情報として生成する基準時間モジュール部(Field Programmable Gate Array:FPGA)と、前記基準時間モジュール部にリアルタイムクロック(Real Time Clock:RTC)を提供するリアルタイムクロック部と、前記周波数生成部、前記同期化クロック部及び前記基準時間モジュール部を制御して前記基準時間情報を生成し、前記生成された基準時間情報が前記センサー装置、中央制御装置及びコンピューター装置に伝送されるように制御する制御部と、を備える。
また、前記制御部は、前記センサー装置に現在時間情報を要請して獲得し、前記獲得した現在時間情報を前記基準時間情報と比較して誤差範囲を確認し、校正が必要な場合は、現在時間情報及び時間校正命令を前記センサー装置に伝送する。
そして、前記センサー装置、中央制御装置及びコンピューター装置から入力されたアナログ信号をデジタル信号に変換するA/D変換部(Analog to Digital Converter)と、前記デジタル信号を出力するための出力部と、前記基準時間情報の生成動作、前記現在時間情報及び前記時間校正命令に関する伝送動作などを表示するためのディスプレイ部と、をさらに備える。
一方、前述の目的を達成するための本発明によるセンサー装置は、勾配、張力、重量などをセンシングしたセンサー信号を生成するセンサーと、アナログ型の前記センサー信号をデジタル型のセンサーデータに変換する信号変換部と、前記センサーデータを同期化装置及び中央制御装置に伝送するための通信部と、前記同期化装置から提供された基準時間で同期化するための同期用時計部と、前記センサーデータを保存するためのメモリ部と、前記センサーデータが前記中央制御装置に伝送されるように制御し、前記同期化装置から前記基準時間を受信して同期化した後、前記センサーデータを取得した取得時間情報を前記センサーデータとともに前記中央制御装置に伝送する制御部と、周波数信号を生成して前記制御部に提供する周波数生成部と、前記制御部にリアルタイムクロックを提供するリアルタイムクロック部と、を備える。
一方、前述の目的を達成するための本発明による映像信号とセンサー信号の同期化方法は、カメラ装置、センサー装置、中央制御装置、同期化装置及びコンピューター装置を備えるシステムの映像信号とセンサー信号の同期化方法であって、(a)前記同期化装置が同期化時間情報を前記センサー装置及び前記中央制御装置に伝送するステップと、(b)前記センサー装置及び前記中央制御装置が前記同期化時間情報に基づいてそれぞれに内蔵された同期用時計を同期させるステップと、(c)前記カメラ装置が映像信号を獲得して前記コンピューター装置に伝送するステップと、(d)前記センサー装置がセンサー信号を獲得して、前記内蔵された同期用時計による取得時間情報を付加して前記中央制御装置に伝送し、前記中央制御装置が前記取得時間情報の付加された映像信号を前記コンピューター装置に伝送するステップと、(e)前記コンピューター装置が前記内蔵された同期用時計及び前記取得時間情報に基づいて前記映像信号と前記センサー信号の同期化を行うステップと、を含む。
そして、前記ステップ(e)は、前記コンピューター装置が前記内蔵された同期用時計の時間情報と前記取得時間情報とを比較して時間誤差を計算し、前記映像信号と前記センサー信号に対して時間軸で時間誤差だけ補正して前記映像信号と前記センサー信号を同期化する。
一方、前述の目的を達成するための本発明による同期化装置の映像信号とセンサー信号を同期化する方法は、センサー装置、中央制御装置及びコンピューター装置を備える特定の装置と有線または無線で通信する同期化装置の映像信号とセンサー信号を同期化する方法であって、(a)前記特定の装置に現在時間情報を要請して現在時間情報を受信するステップと、(b)前記現在時間情報を基準時間情報と比較して誤差情報を獲得するステップと、(c)前記誤差情報を補正する時間情報を生成し、前記特定の装置に前記時間情報及び時間校正命令を伝送するステップと、(d)前記特定の装置から前記時間情報による時間校正で同期化が完了したことを知らせる同期完了命令を受信するステップと、を含む。
一方、前述の目的を達成するための本発明によるコンピューター装置の映像信号とセンサー信号を同期化する方法は、カメラ装置、センサー装置、中央制御装置及び同期化装置と有線または無線で通信するコンピューター装置の映像信号とセンサー信号を同期化する方法であって、(a)前記同期化装置から基準時間情報を受信して内蔵された同期用時計を同期させるステップと、(b)前記カメラ装置から映像信号を受信し、前記中央制御装置から前記センサー装置によって獲得した取得時間情報を含むセンサー信号を受信するステップと、(c)前記内蔵された同期用時計及び前記取得時間情報に基づいて前記映像信号と前記センサー信号を同期化するステップと、を含む。
また、前記ステップ(c)は、前記内蔵された同期用時計の時間情報と前記取得時間情報とを比較して時間誤差を計算し、前記映像信号と前記センサー信号に対して時間軸で前記時間誤差だけ補正して前記映像信号と前記センサー信号を同期化する。
そして、前記ステップ(c)は、前記センサー装置及び前記中央制御装置から受信した時間誤差情報に基づいて、前記映像信号と前記センサー信号に対して時間軸で前記時間誤差情報だけ補正して前記映像信号と前記センサー信号を同期化する。
本発明によれば、周辺環境によって収集された映像信号及びセンサー信号の同期性を確保することができる。
また、多チャンネルであり、高速である映像信号とそれに対応したセンサー信号の同期化を通じてユーザーに向上したサービスを提供することができる。
さらに、映像信号及びセンサー信号を獲得して有線または無線で伝送する通信手段に関係なく、両信号の同期化を容易に具現することができ、それにより、映像信号とセンサー信号を正確かつ便利に分析することができる。
本発明の目的、技術的構成及びそれによる作用効果に関する詳細な事項は、本発明の明細書に添付された図面に基づく、以下の詳細な説明によってさらに明確に理解できるであろう。以下、添付図面を参照して本発明による実施形態を詳細に説明する。
図1は、本発明の実施形態による映像信号とセンサー信号の同期化システムの構成を概略的に示す構成図である。
図1に示すように、本発明による映像信号とセンサー信号の同期化システム100は、カメラ装置110、同期化装置120、複数のセンサー装置130ないし134、中央制御装置140及びコンピューター装置150を備える。
カメラ装置110は、被写体を撮影して映像信号を獲得し、獲得した映像信号をコンピューター装置150に出力及び伝送する。
同期化装置120は、基準時計を内蔵し、センサー装置130ないし134及び中央制御装置140の同期のための基準時間を所定の間隔でセンサー装置130ないし134及び中央制御装置140に同時に伝送する。
複数のセンサー装置130ないし134は、第1同期用時計を内蔵しており、映像信号に対応したセンサー信号をセンシング動作によって生成し、生成されたセンサー信号に第1同期用時計による取得時間情報を付加して中央制御装置140に出力及び伝送する。
ここで、複数のセンサー装置130ないし134は、例えば、矢の勾配や張力などをセンシングする洋弓分析器、ユーザーの足動作を前後左右にセンシングする足動作分析器(X−balance)、周辺の風向きや風速をセンシングする気候分析器などであってもよい。このとき、洋弓分析器の場合、張力や勾配などがセンサー信号になり、足動作分析器の場合、前、後、左、右などがセンサー信号になり、気候分析器の場合、風向きや風速などがセンサー信号になり得る。その他、センサーのセンシング特性によって温度、圧力などをセンサー信号とすることができる。
中央制御装置140は、第2同期用時計を内蔵しており、センサー装置130ないし134から取得時間情報の付加されたセンサー信号を受信してコンピューター装置150に伝送するように制御する。
また、中央制御装置140は、カメラ装置110からコンピューター装置150に伝送される映像信号に対する取得数を継続的に累積して計算し、取得数を第2同期用時計による時間情報とともに保存した後、分析の際に活用して同期化を検証する。
コンピューター装置150は、中央制御装置140から取得時間情報の付加されたセンサー信号を受信し、カメラ装置110から映像信号を受信してそれぞれの信号の時間情報を確認し、それぞれの信号を同じ時間帯に再構成して映像信号とセンサー信号を同期化する。ここで、コンピューター装置は、デスクトップ(Desktop)型のPCであってもよく、移動可能なノート・パソコン型のPCであってもよい。
また、センサー装置130ないし134は、同期化装置120から受信した基準時間に基づいて第1同期用時計を同期化した後、センシング動作によって生成されたセンサー信号に第1同期用時計による取得時間情報を付加して中央制御装置140に伝送する。
また、センサー装置130ないし134は、同期化装置120から受信した基準時間を第1同期用時計の時間と比較して誤差だけ補正し、補正された時間に基づいてセンサー信号に取得時間情報を付加して中央制御装置140に伝送する。
また、センサー装置130ないし134は、同期化装置120から受信した基準時間を第1同期用時計の時間と比較して時間誤差を獲得し、獲得した時間誤差をコンピューター装置150にそれぞれ伝送し、コンピューター装置150は、センサー装置130ないし134から受信したセンサー信号に対して時間誤差だけ時間軸で補正する。
また、同期化装置120は、センサー装置130ないし134に現在時間情報を要請して獲得し、獲得した現在時間情報を基準時間情報と比較して誤差範囲を確認し、校正が必要な場合は、校正時間情報及び時間校正命令をセンサー装置130ないし134に伝送する。
そして、センサー装置130ないし134が時間校正命令を受信すれば、受信した校正時間情報に基づいて校正を行い、第二のクロックで同期化装置120から受信したクロックで同期化を行い、同期(校正)完了命令を同期化装置120に伝送する。
図2は、本発明の実施形態による同期化装置の内部構成を概略的に示す構成図である。
図2に示すように、本発明による同期化装置120は、通信部210、周波数生成部220、同期化クロック部230、基準時間モジュール部240、リアルタイムクロック部250、制御部260、A/D変換部270、出力部280及びディスプレイ部290を備える。
通信部210は、センサー装置130ないし134、中央制御装置140及びコンピューター装置150と通信する。
周波数生成部220は、センサー装置130ないし134、中央制御装置140及びコンピューター装置150に同期化のための基準時間情報を伝送するために周波数信号を生成する。
同期化クロック部230は、周波数生成部220によって生成された周波数信号をクロック信号として生成する。
基準時間モジュール部240は、生成されたクロック信号を基準時間情報として生成する。
リアルタイムクロック部250は、基準時間モジュール部240にリアルタイムクロックを提供する。
制御部260は、周波数生成部220、同期化クロック部230及び基準時間モジュール部240を制御して基準時間情報を生成し、生成された基準時間情報がセンサー装置130ないし134、中央制御装置140及びコンピューター装置150に伝送されるように制御する。
また、制御部260は、センサー装置130ないし134に現在時間情報を要請して獲得し、獲得した現在時間情報を基準時間情報と比較して誤差範囲を確認し、校正が必要な場合は、校正時間情報及び時間校正命令をセンサー装置130ないし134に伝送する。
A/D変換部270は、センサー装置130ないし134、中央制御装置140及びコンピューター装置150から入力されたアナログ信号をデジタル信号に変換する。
出力部280は、デジタル信号をポートを介して外部に出力する。
ディスプレイ部290は、基準時間情報の生成動作、現在時間情報及び時間校正命令に関する伝送動作などを表示する。
図3は、本発明の実施形態によるセンサー装置の内部構成を概略的に示す構成図である。
図3に示すように、本発明によるセンサー装置130は、通信部310、センサー320、信号変換部330、同期用時計部340、メモリ部350、制御部360、周波数生成部370及びリアルタイムクロック部380を備える。
通信部310は、センサーデータを同期化装置120及び中央制御装置140に伝送する。
センサー320は、勾配、張力、重量などをセンシングしたセンサー信号を生成する。
信号変換部330は、アナログ型のセンサー信号をデジタル型のセンサーデータに変換する。
同期用時計部340は、同期化装置120から提供された基準時間で同期化する。
メモリ部350はセンサーデータを保存する。
制御部360は、センサーデータが中央制御装置140に伝送されるように制御し、同期化装置120から基準時間を受信して同期化した後、センサーデータを取得した取得時間情報をセンサーデータとともに中央制御装置140に伝送するように制御する。
周波数生成部370は、周波数信号を生成して制御部460に提供する。
リアルタイムクロック部380は、制御部460にリアルタイムクロックを提供する。
図4は、本発明の実施形態による映像信号とセンサー信号の同期化方法を説明するための全体フローチャートである。
図4に示すように、まず、同期化装置120は、同期化時間情報をセンサー装置130ないし134及び中央制御装置140に伝送する(S410)。
したがって、センサー装置130ないし134及び中央制御装置140が同期化時間情報に基づいてそれぞれに内蔵された同期用時計を同期させる(S420)。
次いで、カメラ装置110が被写体を撮影して獲得した映像信号をコンピューター装置150に伝送する(S430)。
このとき、中央制御装置140は、カメラ装置110からコンピューター装置150に伝送される映像信号に対する取得数を継続的に累積して計算し、計算された取得数を第2同期用時計による時間情報とともに保存した後、分析の際に活用して同期化を検証する。
また、センサー装置130ないし134は、センサー320を通じてセンサー信号を獲得し、取得時間情報を付加して中央制御装置140に伝送し、中央制御装置140は、取得時間情報の付加されたセンサー信号をコンピューター装置150に伝送する(S440)。
ここで、映像信号は一般的に大容量であるため、中央制御装置140を経由せずに、取得時間情報が付加されたままの状態で直ぐにコンピューター装置150に伝送される。
したがって、コンピューター装置150は、第2同期用時計の時間情報及び取得時間情報に基づいて映像信号とセンサー信号の同期化を行う(S450)。
このとき、コンピューター装置150は、中央制御装置140及びセンサー装置130ないし134から受信した誤差時間情報に基づいてそれぞれの信号の誤差時間を補正した後、映像信号とセンサー信号を同期化する。
また、コンピューター装置150は、センサー信号に付加された取得時間情報を第2同期用時計の時間情報と比較して時間誤差を計算し、センサー信号に対して時間軸で時間誤差だけ補正して映像信号とセンサー信号を同期化することができる。
図5は、本発明の実施形態による同期化装置の映像信号とセンサー信号を同期化する方法を説明するための動作フローチャートである。
図5に示すように、本発明による同期化装置120は、システムが初期化された状態で基準時間モジュール部240を介して基準時間情報を獲得する(S502)。
次いで、同期化装置120は、センサー装置130ないし134及び中央制御装置140などを備える特定の装置に、図6に示すように、現在時間情報を要請して現在時間情報を受信する(S504)。図6は、本発明の実施形態による同期化過程及びタイミング図を示す。図6で、△T1は校正以前の同期化装置120とセンサー装置130ないし134間の誤差時間を示し、△t1はシリアル通信による時間情報伝送遅延時間を示し、△t2はセンサー装置130ないし134で現在時間情報を送信した時間を示し、△t3は同期化装置120で誤差時間を確認し、設定時間及び命令伝達遅延時間を示し、△t4は同期化装置120から時間情報を受信して校正を待機する時間を示す。
次いで、同期化装置120は、受信した現在時間情報を基準時間情報と比較して誤差情報を獲得する(S506)。
次いで、同期化装置120は、誤差情報を補正する校正時間情報を生成する(S508)。
次いで、同期化装置120は、生成した校正時間情報と時間校正命令を、センサー装置130ないし134及び中央制御装置140などを備える特定の装置に伝送する(S510)。
したがって、センサー装置130ないし134及び中央制御装置140などを備える特定の装置は、同期化装置120から受信した校正時間情報及び時間校正命令に基づいて、内蔵された同期用時計を校正時間情報で校正して同期化し、同期化が完了したことを知らせる同期完了命令を同期化装置120に伝送する。
したがって、同期化装置120は、センサー装置130ないし134及び中央制御装置140などを備える特定の装置から、校正時間情報による時間校正で同期化が完了したことを知らせる同期完了命令を受信する(S512)。
図7は、本発明の実施形態によるコンピューター装置の映像信号及びセンサー信号を同期化する方法を説明するための動作フローチャートである。
図7に示すように、本発明によるコンピューター装置150は、同期化装置120から基準時間情報を受信して、コンピューター装置150に内蔵された同期用時計を同期させる(S710)。
次いで、コンピューター装置150は、カメラ装置110から映像信号を受信し、中央制御装置140からセンサー装置130ないし134によって獲得されて、取得時間情報を含むセンサー信号を受信する(S720)。
次いで、コンピューター装置150は、内蔵された第2同期用時計の時間情報及び取得時間情報に基づいて映像信号とセンサー信号を同期化する(S730)。
すなわち、コンピューター装置150は、第2同期用時計の時間情報とセンサー装置130ないし134の取得時間情報とを比較して時間誤差を計算し、センサー信号に対して時間軸で時間誤差だけ補正して映像信号とセンサー信号を同期化する(S730)。
一方、コンピューター装置150は、カメラ装置110及びセンサー装置130ないし134から映像信号及びセンサー信号を取得する途中にも同期化が駄目になり得るため、取得が終了した後にこれを検証せねばならない。したがって、中央制御装置140が、カメラ装置110から映像信号獲得時間情報及びセンサー装置130ないし134のセンサー信号獲得時間誤差を計算した後にコンピューター装置150に伝達して、コンピューター装置150が受信した時間誤差だけ該当情報を時間軸で補正すれば良い。また、中央制御装置140で時間誤差を計算せずに、コンピューター装置150が直接時間誤差を算出して、それによって映像信号とセンサー信号を時間誤差だけ補正することも可能であることは言うまでもない。
前述のように、本発明によれば、カメラから入力される映像信号と、それぞれの映像信号に対応するセンサー信号に対して、センサー装置及び中央制御装置に同期用時計がそれぞれ内蔵されており、同期化装置でそれぞれの装置に同期信号を伝送して同期用時計を同期化させた後、センサー装置で獲得したセンサー信号に取得時間を付加して、中央制御装置を経由してコンピューター装置に伝送し、中央制御装置が、カメラからコンピューター装置に伝送される映像信号の取得数に取得時間を付加してコンピューター装置に伝送することで、コンピューター装置が取得時間情報に基づいて映像信号とセンサー信号の同期化を行うことができる映像信号とセンサー信号の同期化システム及び方法、同期化装置及びその映像信号とセンサー信号の同期化方法、及びコンピューター装置及びその映像信号とセンサー信号の同期化方法を実現することができる。
本発明が属する技術分野の当業者は本発明がその技術的思想や必須的な特徴を変更せずに他の具体的な形態で実施されうるということを理解しうる。したがって、以上で記述した実施形態はあらゆる面で例示的なものであり、限定的ではないものと理解せねばならない。本発明の範囲は発明の詳細な説明よりは特許請求の範囲により示され、特許請求の範囲の意味及び範囲、そしてその等価概念から導出されるあらゆる変更または変形された形態が本発明の範囲に含まれると解釈されねばならない。
本発明は、カメラ装置で獲得した映像信号とセンサー装置から獲得したセンサー信号とを同時に画面及び音響として提供するシステム及びサービスに適用することができる。
また、映像信号及びセンサー信号を生成して無線通信及び有線通信で伝送する装置に適用することができる。
さらに、多チャンネル映像信号及びセンサー信号を分析する装置やシステムなどに適用することができる。
Claims (15)
- 被写体を撮影して映像信号を獲得し、前記獲得した映像信号を出力するカメラ装置と、
第1同期用時計が内蔵されており、前記映像信号に対応したセンサー信号をセンシング動作によって生成し、前記生成されたセンサー信号に前記第1同期用時計による取得時間情報を付加して出力するセンサー装置と、
第2同期用時計が内蔵されており、前記センサー装置から前記取得時間情報の付加されたセンサー信号を受信してコンピューター装置に伝送するように制御し、前記カメラ装置からコンピューター装置に伝送される映像信号に対する取得数を継続的に累積して計算し、前記取得数に前記第2同期用時計による取得時間情報を付加してコンピューター装置に伝送または保存した後、分析の際に活用して同期化を検証する中央制御装置と、
基準時計を内蔵し、前記第1同期用時計と前記第2同期用時計の同期のための基準時間を所定の間隔で前記センサー装置及び前記中央制御装置に同時に伝送する同期化装置と、
前記中央制御装置から前記取得時間情報の付加されたセンサー信号を受信し、前記カメラ装置から映像信号を受信してそれぞれの信号の時間情報を確認し、それぞれの信号を同じ時間帯に再構成して前記映像信号と前記センサー信号を同期化するコンピューター装置と、を備える映像信号とセンサー信号の同期化システム。 - 前記センサー装置は、前記同期化装置から受信した基準時間に基づいて前記第1同期用時計を同期化した後、前記センシング動作によって生成された前記センサー信号に前記第1同期用時計による取得時間情報を付加して前記中央制御装置に伝送することを特徴とする請求項1に記載の映像信号とセンサー信号の同期化システム。
- 前記センサー装置は、前記同期化装置から受信した前記基準時間を前記第2同期用時計の時間と比較して誤差だけ補正し、補正された時間に基づいて前記センサー信号に取得時間情報を付加して前記中央制御装置に伝送することを特徴とする請求項2に記載の映像信号とセンサー信号の同期化システム。
- 前記センサー装置は、前記同期化装置から受信した前記基準時間を前記第1同期用時計の時間と比較して時間誤差を獲得し、前記獲得した時間誤差をそれぞれ前記コンピューター装置に伝送し、前記コンピューター装置は、前記センサー装置から受信した前記センサー信号に対して前記時間誤差だけ時間軸で補正することを特徴とする請求項1に記載の映像信号とセンサー信号の同期化システム。
- 前記同期化装置は、前記センサー装置に現在時間情報を要請して獲得し、前記獲得した現在時間情報を前記基準時間情報と比較して誤差範囲を確認し、校正が必要な場合は、校正時間情報及び時間校正命令を前記センサー装置に伝送することを特徴とする請求項1に記載の映像信号とセンサー信号の同期化システム。
- 前記センサー装置は、前記時間校正命令を受信すれば、前記校正時間情報に基づいて校正を行い、第二のクロックで前記同期化装置から受信したクロックで同期化を行い、校正完了命令を前記同期化装置に伝送することを特徴とする請求項5に記載の映像信号とセンサー信号の同期化システム。
- センサー装置、中央制御装置及びコンピューター装置と通信するための通信部と、
前記センサー装置、中央制御装置及びコンピューター装置に同期化のための基準時間情報を伝送するために周波数信号を生成する周波数生成部と、
前記生成された周波数信号をクロック信号として生成する同期化クロック部と、
前記生成されたクロック信号を前記基準時間情報として生成する基準時間モジュール部と、
前記基準時間モジュール部にリアルタイムクロックを提供するリアルタイムクロック部と、
前記周波数生成部、前記同期化クロック部及び前記基準時間モジュール部を制御して前記基準時間情報を生成し、前記生成された基準時間情報が前記センサー装置、中央制御装置及びコンピューター装置に伝送されるように制御する制御部と、を備え
前記制御部は、前記センサー装置に現在時間情報を要請して獲得し、前記獲得した現在時間情報を前記基準時間情報と比較して誤差範囲を確認し、校正が必要な場合は、 校正時間情報及び時間校正命令を前記センサー装置に伝送することを特徴とする同期化装置。 - 前記センサー装置、中央制御装置及びコンピューター装置から入力されたアナログ信号をデジタル信号に変換するA/D変換部と、
前記デジタル信号を出力するための出力部と、
前記基準時間情報の生成動作、前記現在時間情報及び前記時間校正命令に関する伝送動作などを表示するためのディスプレイ部と、をさらに備えることを特徴とする請求項7に記載の同期化装置。 - 勾配、張力、重量などをセンシングしたセンサー信号を生成するセンサーと、
アナログ型の前記センサー信号をデジタル型のセンサーデータに変換する信号変換部と、
前記センサーデータを同期化装置及び中央制御装置に伝送するための通信部と、
前記同期化装置から提供された基準時間で同期化するための同期用時計部と、
前記センサーデータを保存するためのメモリ部と、
前記センサーデータが前記中央制御装置に伝送されるように制御し、前記同期化装置から前記基準時間を受信して同期化した後、前記センサーデータを取得した取得時間情報を前記センサーデータとともに前記中央制御装置に伝送する制御部と、
周波数信号を生成して前記制御部に提供する周波数生成部と、
前記制御部にリアルタイムクロックを提供するリアルタイム(RTC)モジュール部と、
を備えるセンサー装置。 - カメラ装置、センサー装置、中央制御装置、同期化装置及びコンピューター装置を備えるシステムの映像信号とセンサー信号の同期化方法であって、
(a)前記同期化装置が同期化時間情報を前記センサー装置及び前記中央制御装置に伝送するステップと、
(b)前記センサー装置及び前記中央制御装置が前記同期化時間情報に基づいてそれぞれに内蔵された同期用時計を同期させるステップと、
(c)前記カメラ装置が映像信号を獲得して前記コンピューター装置に伝送するステップと、
(d)前記センサー装置がセンサー信号を獲得して、前記内蔵された同期用時計による取得時間情報を付加して前記中央制御装置に伝送し、前記中央制御装置が前記取得時間情報の付加されたセンサー信号を前記コンピューター装置に伝送するステップと、
(e)前記コンピューター装置が前記内蔵された同期用時計及び前記取得時間情報に基づいて前記映像信号と前記センサー信号の同期化を行うステップと、を含む映像信号とセンサー信号の同期化方法。 - 前記ステップ(e)は、前記コンピューター装置が前記内蔵された同期用時計の時間情報と前記取得時間情報とを比較して時間誤差を計算し、前記映像信号と前記センサー信号に対して時間軸で時間誤差だけ補正して前記映像信号と前記センサー信号を同期化することを特徴とする請求項10に記載の映像信号とセンサー信号の同期化方法。
- センサー装置、中央制御装置及びコンピューター装置を備える特定の装置と有線または無線で通信する同期化装置の映像信号とセンサー信号を同期化する方法であって、
(a)前記特定の装置に現在時間情報を要請して現在時間情報を受信するステップと、
(b)前記現在時間情報を基準時間情報と比較して誤差情報を獲得するステップと、
(c)前記誤差情報を補正する時間情報を生成し、前記特定の装置に前記時間情報及び時間校正命令を伝送するステップと、
(d)前記特定の装置から前記時間情報による時間校正で同期化が完了したことを知らせる同期完了命令を受信するステップと、を含む同期化装置の映像信号とセンサー信号を同期化する方法。 - カメラ装置、センサー装置、中央制御装置及び同期化装置と有線または無線で通信するコンピューター装置の映像信号とセンサー信号を同期化する方法であって、
(a)前記同期化装置から基準時間情報を受信して内蔵された同期用時計を同期させるステップと、
(b)前記カメラ装置から映像信号を受信し、前記中央制御装置から前記センサー装置によって獲得した取得時間情報を含むセンサー信号を受信するステップと、
(c)前記内蔵された同期用時計及び前記取得時間情報に基づいて前記映像信号と前記センサー信号を同期化するステップと、を含むコンピューター装置の映像信号とセンサー信号を同期化する方法。 - 前記ステップ(c)は、前記内蔵された同期用時計の時間情報と前記取得時間情報とを比較して時間誤差を計算し、前記映像信号と前記センサー信号に対して時間軸で前記時間誤差だけ補正して前記映像信号と前記センサー信号を同期化することを特徴とする請求項13に記載のコンピューター装置の映像信号とセンサー信号を同期化する方法。
- 前記ステップ(c)は、前記センサー装置及び前記中央制御装置から受信した時間誤差情報に基づいて、前記映像信号と前記センサー信号に対して時間軸で前記時間誤差情報だけ補正して前記映像信号と前記センサー信号を同期化することを特徴とする請求項13に記載のコンピューター装置の映像信号とセンサー信号を同期化する方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090120102A KR101067768B1 (ko) | 2009-12-04 | 2009-12-04 | 영상신호와 센서신호의 동기화 시스템 및 방법 |
KR10-2009-0120102 | 2009-12-04 | ||
PCT/KR2010/008622 WO2011068380A2 (ko) | 2009-12-04 | 2010-12-03 | 영상신호와 센서신호의 동기화 시스템 및 방법 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013513283A true JP2013513283A (ja) | 2013-04-18 |
Family
ID=44115433
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012541950A Pending JP2013513283A (ja) | 2009-12-04 | 2010-12-03 | 映像信号とセンサー信号の同期化システム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20120287341A1 (ja) |
JP (1) | JP2013513283A (ja) |
KR (1) | KR101067768B1 (ja) |
CN (1) | CN102713891A (ja) |
WO (1) | WO2011068380A2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013513328A (ja) * | 2009-12-08 | 2013-04-18 | アールディ−テック シーオー エルティディ | 映像信号とセンサー信号の同期化システム及び方法 |
JP2015046708A (ja) * | 2013-08-27 | 2015-03-12 | 日本電信電話株式会社 | 通信システム、通信方法、送信側同期信号配信装置、送信側同期制御装置、受信側同期信号配信装置、受信側同期制御装置及びプログラム |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101515372B1 (ko) * | 2014-02-25 | 2015-04-29 | (주) 알디텍 | 영상 신호와 무선 센서 신호의 동기화 시스템 및 방법 |
CN104394358A (zh) * | 2014-11-12 | 2015-03-04 | 深圳市理邦精密仪器股份有限公司 | 一种能够实时查看病人视频图像的监护方法及系统 |
US10075623B2 (en) * | 2015-03-30 | 2018-09-11 | Myriad Sensors, Inc. | Synchronizing wireless sensor data and video |
KR101639163B1 (ko) | 2015-07-08 | 2016-07-22 | 울산대학교 산학협력단 | 저전송 영상 정보 및 센싱 정보 송수신 장치 및 이의 동작 방법 |
DE102017217719A1 (de) * | 2017-10-05 | 2019-04-11 | Robert Bosch Gmbh | Vorrichtung und Verfahren zur Überwachung eines Sensortaktsignals in einer Sensoreinheit |
KR102435614B1 (ko) * | 2017-11-17 | 2022-08-24 | 삼성전자주식회사 | 카메라 모듈 내에서 이미지 센서를 위한 클럭 신호를 생성하기 위한 전자 장치 및 방법 |
JP6952339B2 (ja) * | 2018-01-12 | 2021-10-20 | ザインエレクトロニクス株式会社 | 映像信号受信装置および映像信号送受信システム |
CN111107248B (zh) * | 2018-10-25 | 2022-02-08 | 北京图森智途科技有限公司 | 一种多路视频采集的同步系统、方法和采集控制器 |
CN109547693A (zh) * | 2018-11-29 | 2019-03-29 | 惠州市德赛西威智能交通技术研究院有限公司 | 多传感器数据同步系统以及图像数据同步方法 |
US11287530B2 (en) * | 2019-09-05 | 2022-03-29 | ThorDrive Co., Ltd | Data processing system and method for fusion of multiple heterogeneous sensors |
CN112601132A (zh) * | 2020-12-07 | 2021-04-02 | 北京奇艺世纪科技有限公司 | 音视频文件生成、采集时刻确定方法、装置及电子设备 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005317151A (ja) * | 2004-04-30 | 2005-11-10 | Nippon Telegr & Teleph Corp <Ntt> | マルチメディアデータ同期再生方法、マルチメディアデータ同期再生装置およびマルチメディアデータ同期再生プログラム |
JP2007028344A (ja) * | 2005-07-19 | 2007-02-01 | Teac Corp | データ記録装置及びデータ記録システム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR200212557Y1 (ko) * | 2000-08-31 | 2001-02-15 | 엘지전자주식회사 | 피씨 표준시간 보정장치 |
GB2393085B (en) * | 2002-09-16 | 2004-12-08 | Lg Electronics Inc | Image signal restoring apparatus and method |
JP2005006037A (ja) * | 2003-06-12 | 2005-01-06 | Nec Corp | メディア同期システム及びそれに用いるサービス提供方法 |
FI20031657A (fi) | 2003-11-14 | 2005-05-15 | Nokia Corp | Langaton monikamerajärjestelmä |
JP2007081686A (ja) | 2005-09-13 | 2007-03-29 | Sony Corp | ワイヤレス収録システム及び基地局装置 |
-
2009
- 2009-12-04 KR KR1020090120102A patent/KR101067768B1/ko active IP Right Grant
-
2010
- 2010-12-03 WO PCT/KR2010/008622 patent/WO2011068380A2/ko active Application Filing
- 2010-12-03 CN CN201080054868XA patent/CN102713891A/zh active Pending
- 2010-12-03 JP JP2012541950A patent/JP2013513283A/ja active Pending
- 2010-12-03 US US13/513,581 patent/US20120287341A1/en not_active Abandoned
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005317151A (ja) * | 2004-04-30 | 2005-11-10 | Nippon Telegr & Teleph Corp <Ntt> | マルチメディアデータ同期再生方法、マルチメディアデータ同期再生装置およびマルチメディアデータ同期再生プログラム |
JP2007028344A (ja) * | 2005-07-19 | 2007-02-01 | Teac Corp | データ記録装置及びデータ記録システム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013513328A (ja) * | 2009-12-08 | 2013-04-18 | アールディ−テック シーオー エルティディ | 映像信号とセンサー信号の同期化システム及び方法 |
JP2015046708A (ja) * | 2013-08-27 | 2015-03-12 | 日本電信電話株式会社 | 通信システム、通信方法、送信側同期信号配信装置、送信側同期制御装置、受信側同期信号配信装置、受信側同期制御装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2011068380A2 (ko) | 2011-06-09 |
US20120287341A1 (en) | 2012-11-15 |
CN102713891A (zh) | 2012-10-03 |
WO2011068380A4 (ko) | 2011-12-29 |
KR20110063152A (ko) | 2011-06-10 |
WO2011068380A3 (ko) | 2011-11-10 |
KR101067768B1 (ko) | 2011-09-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013513283A (ja) | 映像信号とセンサー信号の同期化システム及び方法 | |
KR101121153B1 (ko) | 영상신호와 센서신호의 동기화 시스템 및 방법 | |
RU2510895C2 (ru) | Система и способ для эффективного использования записывающего устройства | |
JP5743221B2 (ja) | 無線同期システム、無線装置、センサ装置、無線同期方法、及びプログラム | |
CN104349163B (zh) | 端到端视频传输延迟测量显示装置及测量系统 | |
US20130182133A1 (en) | Image sensing apparatus, control method and recording medium | |
JP2016100685A (ja) | 撮像装置、撮像制御方法及びプログラム | |
JP5363143B2 (ja) | データ通信システム及び受信装置 | |
US10057477B2 (en) | Imaging device, imaging system, communication device, imaging method, and computer readable recording medium for generating and transmitting superimposed image data | |
KR101721085B1 (ko) | 촬영 장치 및 센서의 시간 동기화 장치 및 방법 | |
JP4186520B2 (ja) | 多視点画像記録装置、および多視点画像フレーム同期処理方法、並びにコンピュータ・プログラム | |
CN112188259B (zh) | 用于音视频同步测试和校正的方法、装置及电子设备 | |
US10212361B2 (en) | Information processing device, information processing method, and information processing system | |
JP2006180212A (ja) | 計測データ・画像データ記録装置およびこれを用いた遠隔監視システム | |
US8933403B2 (en) | Method and device for measurement with an IR imaging device | |
JP2016092772A (ja) | 信号処理装置及びその信号処理方法、並びにプログラム | |
JP2016174259A (ja) | 撮像システム | |
KR101022228B1 (ko) | Pc 기반의 가상 영상 제공 장치 및 제공 방법 | |
JP2013175964A (ja) | 信号処理装置、信号処理方法、およびプログラム、電子機器、並びに、信号処理システムおよび信号処理システムの信号処理方法 | |
US20130038755A1 (en) | Electronic apparatus, method of time synchronization, and program therefor | |
KR101022229B1 (ko) | Pc 기반 가상 영상의 영상 포맷 변환 장치 및 방법 | |
WO2022009515A1 (ja) | データ計測システムおよび計測データの提示方法 | |
JP6354123B2 (ja) | 撮像装置及び画像整列装置 | |
JP2010171626A (ja) | 動画生成装置および動画生成方法 | |
JP2010072829A (ja) | 信号取得システムおよび信号取得装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130822 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140401 |