JP2020005063A - 処理装置及びその制御方法、出力装置、同期制御システム、並びにプログラム - Google Patents

処理装置及びその制御方法、出力装置、同期制御システム、並びにプログラム Download PDF

Info

Publication number
JP2020005063A
JP2020005063A JP2018121067A JP2018121067A JP2020005063A JP 2020005063 A JP2020005063 A JP 2020005063A JP 2018121067 A JP2018121067 A JP 2018121067A JP 2018121067 A JP2018121067 A JP 2018121067A JP 2020005063 A JP2020005063 A JP 2020005063A
Authority
JP
Japan
Prior art keywords
video signal
information
processing
time
devices
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018121067A
Other languages
English (en)
Inventor
正則 斉藤
Masanori Saito
正則 斉藤
剛 武樋
Go Takehi
剛 武樋
和之 飯村
Kazuyuki Iimura
和之 飯村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018121067A priority Critical patent/JP2020005063A/ja
Publication of JP2020005063A publication Critical patent/JP2020005063A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】同期制御システム内の全ての処理装置における映像信号の同期処理を行うことができる処理装置及びその制御方法、出力装置、同期制御システム、並びにプログラムを提供する。【解決手段】 複数の表示装置２００（処理装置）と映像信号を同期撮影する複数の撮像装置１００（出力装置）をネットワークＩＰ４００を介して接続する送受信システム（同期制御システム）において、各表示装置は、映像信号の送信元である撮像装置からセッティング情報及び映像信号のタイムコード情報を受信し、且つセッティング情報に基づき映像信号に遅延量を付与して自機及び送信元が属するネットワークグループの他の表示装置と表示同期する。複数の撮像装置１００から映像信号を受信する表示装置２００ｂは、各撮像装置からのタイムコード情報及びセッティング情報に基づいて各撮像装置からの映像信号に付与する遅延量を補正する。【選択図】図８Ａ

Description

本発明は、処理装置及びその制御方法、出力装置、同期制御システム、並びにプログラムに関し、特に、ネットワークを介して映像フレームを送受信する処理装置及びその制御方法、出力装置、同期制御システム、並びにプログラムに関する。
映像信号をＩｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ（以降はＩＰと記載する）に変換して、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ（以降はＬＡＮと記載する）ケーブル経由で送受信する技術は、設備の拡張性等の利便性から、今後普及することが想定される。ＩＰで伝送された映像信号を処理する受信装置は、例えば、映像信号を用いて画像を表示する表示装置や、映像信号を記録媒体に記録する記録装置である。また、同一の出力装置から出力された映像信号を、複数の受信装置で受信して処理することが可能である。
特許文献１では、中継装置から複数の端末に画像、音声データを出力し、各端末が取得した画像、音声データ等のコンテンツデータを再生する伝送システムが開示されている。この伝送システムでは、中継装置が各端末と間の伝送の遅延時間を取得し、各端末にコンテンツデータを受信してから再生させるまでに待機する待機時間を設定する。これにより、送信されたコンテンツデータが複数の端末にて再生されるタイミングのばらつきを抑え、同期して再生することができる。
また、特許文献１の伝送システムでは、一部の端末（処理装置）が伝送システムから退出した場合に、再度、残りの端末の遅延時間に基づいて待機時間を設定し直すことがある。退出前の端末のうち最も伝送遅延が大きい端末（参照装置）の再生タイミングに合わせるように他の端末の待機時間を設定していた場合、参照装置が伝送システムから退出したことに応じて、伝送システムの参照装置を新たに設定する。これにより、各端末の待機時間は、新たに設定された参照装置の再生タイミングに合わせて再設定される。
一方、映像信号をＩＰに非圧縮で変換する方法が、非特許文献１にて開示されている。また、１つの映像送出機（出力装置）の映像信号をＩＰに変換してＬＡＮケーブルで送信し、映像信号を複数の表示装置（処理装置）にて表示する場合に各表示装置間で表示の同期処理を行う方法としてリファレンスとする表示装置（以下、「参照装置」という。）の遅延情報を用いる方法が非特許文献２にて開示されている。
しかしながら、非特許文献１は同期表示する際に表示装置側の情報のみを使用している。このため、非特許文献１，２及び特許文献１の技術のいずれを用いたとしても、同期制御システム内に２以上の撮像装置が存在する場合、撮像装置側の送信遅延や伝送路での遅延差を加味していないため、全ての表示装置で表示の同期処理を行なうことはできない。
本発明の目的は、同期制御システム内の全ての処理装置における映像信号の同期処理を行うことができる処理装置及びその制御方法、出力装置、同期制御システム、並びにプログラムを提供することにある。
本発明の請求項１に係る処理装置は、映像信号を同期して生成する複数の出力装置とネットワークを介して接続し、前記複数の出力装置の１つから受信した映像信号に基づく所定の処理を、自機及び前記映像信号の送信元の出力装置が属するネットワークグループの他の処理装置と同期して行うことが可能な処理装置であって、前記映像信号の受信時刻及び前記映像信号に対して前記所定の処理が行なわれた処理時刻の情報を含む第１情報を前記映像信号の送信元の出力装置に送信する送信手段と、前記ネットワークグループの参照装置における前記第１情報を第２情報として前記映像信号の送信元の出力装置から受信する第１の受信手段と、前記第２情報に基づいて前記映像信号に遅延量を付与し、前記映像信号を受信してから前記所定の処理を行うまでの処理時間を遅延させる遅延手段と、前記映像信号の送信元の出力装置が前記映像信号を生成した時刻を示す生成時刻情報を前記映像信号の送信元の出力装置から受信する第２の受信手段とを備え、前記処理装置が、前記映像信号として、前記複数の出力装置のうちの第１出力装置から第１映像信号、及び前記複数の出力装置のうちの第２出力装置から第２映像信号を受信する場合、前記遅延手段は、前記第１映像信号及び前記第２映像信号の夫々の前記生成時刻情報、及び前記第１出力装置及び前記第２出力装置の夫々から受信した前記第２情報に基づいて前記第１映像信号及び前記第２映像信号の夫々に付与する遅延量を補正することを特徴とする。
本発明の請求項８に係る出力装置は、ネットワークを介して複数の処理装置と接続し、前記複数の処理装置のうち自機が属するネットワークグループの処理装置に所定の処理がなされる映像信号を生成し送信すると共に、前記所定の処理を前記自機が属するネットワークグループの処理装置の間で同期させるための同期情報を送信する複数の出力装置の１つである出力装置であって、前記複数の出力装置の夫々の映像信号の生成を同期させる同期手段と、前記自機のネットワークグループの処理装置から、前記映像信号に対して前記同期情報に基づき前記所定の処理を行なった処理時刻の情報を含む第１情報を一定周期で受信する受信手段と、前記自機における前記映像信号の生成時刻から前記第１情報に含まれる処理時刻までの遅延時間を算出する算出手段と、前記自機が属するネットワークグループの処理装置における前記映像信号に対する前記処理時刻を、前記自機における前記映像信号の生成時刻から所定の遅延時間の後とする第２情報を生成する生成手段と、前記生成された第２情報を前記同期情報として前記自機のネットワークグループの処理装置に送信する送信手段と、前記第１情報を受信する毎に前記第２情報及び前記第１情報を比較する比較手段と、前記比較手段による比較の結果、一定期間以上連続で前記所定の遅延時間よりも前記自機が属するネットワークグループの処理装置の１つである第１の処理装置について算出された前記遅延時間が短い場合、前記所定の遅延時間と前記第１の処理装置について算出された前記遅延時間の差分だけ、前記送信手段による前記第１の処理装置に対する前記映像信号の送信を遅延させる遅延手段とを備え、前記生成手段は、前記比較手段による比較の後に生成する前記第２情報を、前記ネットワークグループの処理装置のうち最も前記遅延時間の長い処理装置から受信した第１情報とすることを特徴とする。
本発明の請求項１０に係る同期制御システムは、複数の処理装置と映像信号を同期して生成する複数の出力装置をネットワークを介して接続し、前記複数の処理装置の夫々が、前記複数の出力装置の１つから受信した映像信号に基づく所定の処理を、自機及び前記映像信号の送信元の出力装置が属するネットワークグループの他の処理装置と同期して行うことが可能な同期制御システムであって、前記複数の出力装置は夫々、前記ネットワークグループの参照装置における、前記映像信号の受信時刻及び前記映像信号に対して前記所定の処理を行なった処理時刻の情報を含む第１情報を第２情報として前記ネットワークグループの処理装置に送信する第１の送信手段と、前記映像信号を生成した時刻を示す生成時刻情報を前記ネットワークグループの処理装置に送信する第２の送信手段とを備え、前記複数の処理装置は夫々、前記第１情報を前記映像信号の送信元の出力装置に送信する第３の送信手段と、前記第２情報に基づいて前記映像信号に遅延量を付与し、前記映像信号を受信してから前記所定の処理を行うまでの処理時間を遅延させる遅延手段と、前記映像信号として、前記複数の出力装置のうちの第１出力装置から第１映像信号、及び前記複数の出力装置のうちの第２出力装置から第２映像信号を受信する場合、前記遅延手段は、前記第１映像信号及び前記第２映像信号の夫々の前記生成時刻情報、及び前記第１出力装置及び前記第２出力装置の夫々から受信した前記第２情報に基づいて前記第１映像信号及び前記第２映像信号の夫々に付与する遅延量を補正することを特徴とする。
本発明の請求項１１に係る同期制御システムは、複数の出力装置と複数の処理装置をネットワークを介して接続し、前記複数の出力装置の夫々が、前記複数の処理装置のうち自機が属するネットワークグループの処理装置に所定の処理がなされる映像信号を生成し送信すると共に、前記所定の処理を前記自機が属するネットワークグループの処理装置の間で同期させるための同期情報を送信する同期制御システムであって、前記複数の処理装置は夫々、前記映像信号に対して前記同期情報に基づき前記所定の処理を行なった処理時刻の情報を含む第１情報を前記映像信号の送信元の出力装置に一定周期で送信する第１の送信手段を備え、前記複数の出力装置は夫々、前記複数の出力装置の夫々の映像信号の生成を同期させる同期手段と、自機における前記映像信号の生成時刻から前記第１情報に含まれる処理時刻までの遅延時間を算出する算出手段と、前記自機が属するネットワークグループの処理装置における前記映像信号に対する前記処理時刻を、前記自機における前記映像信号の生成時刻から所定の遅延時間の後とする第２情報を生成する生成手段と、前記生成された第２情報を前記同期情報として前記自機のネットワークグループの処理装置に送信する第２の送信手段と、前記第１情報が送信される毎に前記第２情報及び前記第１情報を比較する比較手段と、前記比較手段による比較の結果、一定期間以上連続で前記所定の遅延時間よりも前記自機が属するネットワークグループの処理装置の１つである第１の処理装置について算出された前記遅延時間が短い場合、前記所定の遅延時間と前記第１の処理装置について算出された前記遅延時間の差分だけ、前記第２の送信手段による前記第１の処理装置に対する前記映像信号の送信を遅延させる遅延手段とを備え、前記生成手段は、前記比較手段による比較の後に生成する前記第２情報を、前記ネットワークグループの処理装置のうち最も前記遅延時間の長い処理装置から受信した第１情報とすることを特徴とする。
本発明によれば、同期制御システム内の全ての処理装置における映像信号の同期処理を行うことができる。
本発明の第１の実施形態における出力装置としての複数の撮像装置、及び処理装置としての複数の表示装置とからなる、同期制御システムとしての送受信システムの構成図である。 図１における撮像装置が出力するＩＰ化した映像信号のデータ形式を示す模式図である。 図１の送受信システムで用いられるレポート情報及びセッティング情報のデータ形式を示す模式図である。 図１の送受信システムにおける従来の映像表示同期処理の手順を示すシーケンス図である。 図１における撮像装置の本発明の第１の実施形態に係る機能ブロックを示すブロック図である。 図１における表示装置の機能ブロックを示すブロック図である。 図１における撮像装置が出力するＡＮＣ ＲＴＰパケットのデータ形式を示す模式図である。 図１の送受信システムにおいて、複数の撮像装置の夫々から映像信号を受信する表示装置で実行される、本発明の第１の実施形態に係る同期グループ間の同期表示処理の手順を示すフローチャートである。 図８Ａの続きである。 図８のステップＳ８１１の表示時刻の計算方法の説明に用いられる、本発明の第１の実施形態に係る複数の撮像装置及びその双方からの映像信号を受信する表示装置の動作タイミングの一例を示す図である。 図８のステップＳ８１１の表示時刻の計算方法の説明に用いられる、本発明の第２の実施形態に係る複数の撮像装置及びその双方からの映像信号を受信する表示装置の動作タイミングの一例を示す図である。 本発明の第３の実施形態における出力装置としての複数の撮像装置、及び処理装置としての複数の表示装置とからなる、同期制御システムとしての送受信システムの構成図である。 図１１の送受信システムにおける、複数の撮像装置及びその一方からの映像信号を受信する複数の表示装置の本発明の第３の実施形態に係る遅延調整処理前の動作タイミングの一例を示す図である。 図１における撮像装置の本発明の第３の実施形態に係る内部構成を示すブロック図である。 図１１で示す送受信システムの各撮像装置で実行される、本発明の第３の実施形態に係る遅延調整処理の手順を示すフローチャートである。 図１１の送受信システムにおける、複数の撮像装置及びその一方からの映像信号を受信する複数の表示装置の本発明の第３の実施形態に係る遅延調整処理後の動作タイミングの一例を示す図である。
以下、添付の図面を参照して本発明の好適な実施形態について説明する。
＜第１の実施形態＞
図１は、本発明の第１の実施形態における出力装置としての複数の撮像装置、及び処理装置としての複数の表示装置とからなる、同期制御システムとしての送受信システムの構成図である。
図１は、第１の実施形態における送受信システム（同期制御システム）の構成を示す模式図である。図１の送受信システムは、出力装置としての撮像装置１００ａ，１００ｂと処理装置としての表示装置２００ａ〜２００ｃを有する。以下、撮像装置１００ａ，１００ｂを総称する場合は撮像装置１００といい、表示装置２００ａ〜２００ｃを総称する場合は表示装置２００という。撮像装置１００と表示装置２００との間はＩＰネットワーク４００を介して接続される。撮像装置１００ａ，１００ｂはＩＰネットワーク４００を介して、または不図示のケーブルを介して接続されており、同期信号を送受信することによって、同じタイミングで撮影された映像信号に同じタイムコードを付与する、即ち同期撮影を行なっている。
尚、以下、図１〜図４を用いて説明する撮像装置１００ａと表示装置２００ａ，２００ｂとの間の接続や映像信号の送受信方法は、撮像装置１００ｂと表示装置２００ｂ，２００ｅとの間の接続や映像信号の送受信方法と同様である。よって、重複した説明は省略する。
撮像装置１００ａと表示装置２００ａ，２００ｂとは、それぞれＬＡＮケーブル３００ａ，３００ｂ（以下、これらを総称する場合はＬＡＮケーブル３００という。）と接続し、ＬＡＮケーブル３００ａ，３００ｂを介して、ＩＰネットワーク４００と接続する。撮像装置１００ａと表示装置２００ａ，２００ｂとは、ＬＡＮケーブル３００ａ〜３００ｃとＩＰネットワーク４００とを介して、ＲＴＰパケット化された映像信号の送受信を行う。
図１に示す送受信システムでは、撮像装置１００ａ及び表示装置２００ａ，２００ｂは同じネットワークグループＡに属している。また、ＲＦＣ７２７２（ｈｔｔｐｓ：／／ｔｏｏｌｓ．ｉｅｔｆ．ｏｒｇ／ｈｔｍｌ／ｒｆｃ７２７２）に開示されている方法を用いて、表示装置２００ａ，２００ｂにおける処理の同期が行われる。同様に、撮像装置１００ｂ及び表示装置２００ｂ，２００ｃは同じネットワークグループＢに属してしており、上記同様の方法により表示装置２００ｂ，２００ｃにおける処理の同期が行われる。同期の方法については、後述する。
撮像装置１００ａは、被写体を撮像して得られた映像信号をＩＰ化して、ＩＰネットワーク４００を介して各表示装置２００ａ，２００ｂに送信する送信装置である。このＩＰ化の方法としては、例えば、ＲＦＣ４１７５（ｈｔｔｐｓ：／／ｔｏｏｌｓ．ｉｅｔｆ．ｏｒｇ／ｒｆｃ／ｒｆｃ４１７５．ｔｘｔ）に記載される、Ｒｅａｌ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ（ＲＴＰ）パケットに変換する手段が用いられる。また、撮像装置１００ａは、複数の表示装置２００ａ，２００ｂが、互いに同期して表示処理を実行可能なように、表示処理のタイミングを示す情報（ＩＤＭＳ Ｓｅｔｔｉｎｇｓ Ｐａｃｋｅｔ、セッティング情報）を出力する。セッティング情報の詳細については後述する。
表示装置２００ａ，２００ｂは、ＩＰネットワーク４００を介して映像信号を受信する受信装置である。また、表示装置２００ａ，２００ｂは、受信した映像信号に基づいて画像を表示する表示部を備える表示装置である。特に、表示装置２００ｂは撮像装置１００ａ，１００ｂの夫々からの異なる映像信号に基づく画像をピクチャー・バイ・ピクチャーやピクチャー・イン・ピクチャー等の手法で表示している。また、表示装置２００ａ，２００ｂは、記録機能を有する場合、具体的には、内部に記憶媒体が格納される場合や、外部に記憶装置が接続される場合に、受信した映像信号を記録する記録制御を実行可能な記録制御装置でもある。さらに、表示装置２００ａ，２００ｂは、映像信号の受信時刻とその映像信号に基づいて画像が表示された時刻と自機が所属するネットワークグループを示すＩＤ情報とを示す情報（レポート情報）を出力する。具体的には、ＲＴＣＰ ＸＲ ＩＤＭＳ Ｒｅｐｏｒｔ Ｂｌｏｃｋがレポート情報として出力される。レポート情報は１つのＲＴＰパケットに対して作成されるが、同一のフレーム内での時間差を排除するために、レポート情報を作成するＲＴＰパケットは同一のフレーム内で最も小さいシーケンスナンバーのものを使用すると規定されている。即ち、レポート情報は１つのフレームの先頭のＲＴＰパケットを元に作成される。レポート情報の詳細は後述する。
図２は、撮像装置１００が出力するＩＰ化（ＲＴＰパケット化）した映像信号のデータ形式を示す模式図である。ＲＴＰパケットは、ＩＰヘッダー４０１、Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ（以降はＵＤＰと記載する）ヘッダー４０２、ＲＴＰヘッダー４０３、及びＲＴＰペイロード４０４で構成される。このうちシーケンスナンバー、タイムスタンプ、ＲＴＰパケットの送信元を示すｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ ｓｏｕｒｃｅ（以降、ＳＳＲＣと記載する。）の情報等がＲＴＰヘッダー４０３に格納される。また、映像信号はＲＴＰペイロード４０４に格納される。１つのＲＴＰパケットには映像信号の１ラインか、２ラインにまたがった情報が含まれ、同じフレームの映像信号には同じタイムスタンプが割り振られる。また、ＲＴＰパケットには順番にインクリメントされるシーケンスナンバーが割り振られる。シーケンスナンバーは１つの映像信号で使用するＲＴＰパケット数よりも十分に大きいので、同じタイムスタンプで最も小さいシーケンスナンバーのＲＴＰパケットが、同一フレーム内で先頭のＲＴＰパケットとなる。
図３は、図１の送受信システムで用いられるレポート情報およびセッティング情報のデータ形式を示す模式図である。
図３（ａ）は、表示装置２００から送信されるレポート情報５００のデータ形式の一部を示す模式図である。
レポート情報５００は、グループＩＤ情報５０１、受信時刻情報５０２、対象信号情報５０３、および処理時刻情報５０４を含む。
グループＩＤ情報５０１は同期に関する情報を示すＭｅｄｉａ Ｓｔｒｅａｍ Ｃｏｒｒｅｌａｔｉｏｎ Ｉｄｅｎｔｉｆｉｅｒである。グループＩＤ情報５０１には、映像表示同期を行うネットワークグループを示すＳｙｎｃｈｒｏｎｉｚａｔｉｏｎ Ｇｒｏｕｐ Ｉｄｅｎｔｉｆｉｅｒ（グループ情報）が含まれる。以降、Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ Ｇｒｏｕｐ Ｉｄｅｎｔｉｆｉｅｒを同期グループＩＤと記載する。図１の送受信システムにおいては、表示装置２００ａ，２００ｂは、表示処理を同期するため、夫々の同期グループＩＤはネットワークグループＡを示す値であるＡとなる。また、表示装置２００ｂ，２００ｃの夫々の同期グループＩＤはネットワークグループＢを示す値であるＢとなる。
対象信号情報５０３は、レポート情報５００が対象とする映像信号（ＲＴＰパケット）を特定するための情報である。具体的には対象信号情報５０３は、ＲＦＣ４１７５に記載のＲＴＰ Ｈｅａｄｅｒのｔｉｍｅｓｔａｍｐ（Ｐａｃｋｅｔ Ｒｅｃｅｉｖｅｄ ＲＴＰ ｔｉｍｅｓｔａｍｐ）である。前述したように同じタイミングで撮影された映像信号には同じタイムスタンプが割り振られるので、以下、対象信号情報５０３をフレームＩＤと言い換える。そして、レポート情報５００のグループＩＤ情報５０１は、このフレームＩＤで識別されるフレームの中でシーケンスナンバーが最も小さいＲＴＰパケットに関する情報となる。
受信時刻情報５０２は、表示装置２００が対象信号情報５０３（フレームＩＤ）で特定されるＲＴＰパケットを受信した時刻を示す情報である。具体的には受信時刻情報５０２は、ＲＦＣ７２７２で定義されるＰａｃｋｅｔ Ｒｅｃｅｉｖｅｄ ＮＴＰ ｔｉｍｅｓｔａｍｐである。
処理時刻情報５０４は、表示装置２００が対象信号情報５０３で特定されるＲＴＰパケットに基づいて、画像を表示した時刻を示す情報である。具体的には処理時刻情報５０４は、ＲＦＣ７２７２で定義されるＰａｃｋｅｔ Ｐｒｅｓｅｎｔｅｄ ＮＴＰ ｔｉｍｅｓｔａｍｐである。すなわち、処理時刻情報５０４で示される時刻の情報は、フレームＩＤで識別されるフレームの中でシーケンスナンバーが最も小さいＲＴＰパケットの映像信号に基づく画像を表示した時刻を示す。すなわち表示装置２００がフレームＩＤで特定されるフレームの表示を開始する時刻を示す。
図３（ｂ）は、撮像装置１００から出力されるセッティング情報６００のデータ形式の一部を示す模式図である。セッティング情報６００は、グループＩＤ情報６０１、受信時刻情報６０２、対象信号情報６０３、および処理時刻情報６０４を含む。撮像装置１００ａが出力するセッティング情報は、撮像装置１００ａが取得した各表示装置２００ａ，２００ｂからのレポート情報５００のうち、撮像装置１００が参照装置として決定した表示装置から受信したレポート情報５００である。したがって、セッティング情報６００のグループＩＤ情報６０１、受信時刻情報６０２、対象信号情報６０３、および処理時刻情報６０４の詳細は、レポート情報５００の同名の情報と同様であるので説明を省略する。
図４は、撮像装置１００ａと表示装置２００ａ，２００ｂとで構成される送受信システムにおける従来の同期制御処理の手順を示すシーケンス図である。
撮像装置１００ａと表示装置２００ａ，２００ｂとの間の接続がＩＰネットワーク４００を介して確立する（ステップＳ４００ａ，Ｓ４００ｂ）。
各表示装置２００ａ，２００ｂは、表示処理の同期をとるためのネットワークグループを示す同期グループＩＤを決定する（ステップＳ４０１ａ，Ｓ４０１ｂ）。各表示装置２００ａ，２００ｂが参加するネットワークグループは、各表示装置２００ａ，２００ｂに対して予め設定されている情報に基づいて、各表示装置２００ａ，２００ｂが決定する。なお、ステップＳ４００ａ，Ｓ４００ｂの接続の確立と、ステップＳ４０１ａ，Ｓ４０１ｂの同期グループＩＤの決定は、順序が前後してもよい。
各表示装置２００ａ，２００ｂは、撮像装置１００に対して、それぞれ任意の映像信号に対するレポート情報５００を生成し、撮像装置１００ａに出力する（ステップＳ４０２ａ，Ｓ４０２ｂ）。以下、各表示装置２００ａ，２００ｂからのレポート情報５００を、レポート情報５００ａ，５００ｂとも記載する。
撮像装置１００は、各表示装置２００ａ，２００ｂから出力されたレポート情報５００ａ，５００ｂを受信する。その後、その受信したレポート情報５００ａ，５００ｂに基づき、表示装置２００ａ，２００ｂのいずれかを参照装置として決定する（ステップＳ４０３）。
撮像装置１００は、参照装置として決定した表示装置から受信したレポート情報５００を、セッティング情報６００として、表示装置２００ａ，２００ｂに出力する（ステップＳ４０４ａ，Ｓ４０４ｂ）。
各表示装置２００ａ，２００ｂは、受信したセッティング情報６００に記載された受信時刻情報６０２と、処理時刻情報６０４とに基づいて、各表示装置２００ａ，２００ｂにおける表示処理の処理時間を調整する（ステップＳ４０５ａ，Ｓ４０５ｂ）。具体的には、各表示装置２００ａ，２００ｂは、受信したセッティング情報６００に記載された処理時刻情報６０４で示される処理時刻Ｔａと、受信したセッティング情報６００の対象とする映像信号を自機が処理した処理時刻Ｔｂとの差を算出する。そして、その算出された差から、参照装置と処理を同期するために処理時刻を遅延するための調整量（遅延量）を取得する。各表示装置２００ａ，２００ｂは、取得した遅延量が処理時間に加算されるように表示処理を制御する。
以上の処理により、表示装置２００ａ，２００ｂ間で、撮像装置１００ａから出力された映像信号が同期して表示される。
なお、各表示装置２００ａ，２００ｂからのレポート情報５００の送信は、一定周期で行われる。レポート情報の送信は、所定の期間内に少なくとも１回以上実行されるように、各表示装置２００ａ，２００ｂで制御されてもよい。また、撮像装置１００ａは、各表示装置２００ａ，２００ｂの夫々からレポート情報５００を所定回数以上受信したことに応じて、セッティング情報を出力する。これにより、周期的、または断続的に同期制御が実行され、各表示装置２００ａ，２００ｂへの伝送時間や処理時間が変動した場合でも、同期を継続することが可能となる。
図５は、撮像装置１００の本発明の第１の実施形態に係る機能ブロックを示すブロック図である。撮像装置１００は、撮像部１０１、パケット生成部１０２、通信部１０３、参照装置決定部１０４、情報生成部１０５、制御部１０６、および記憶部１０７を備える。
撮像部１０１は、被写体を撮影して映像信号を取得する。撮像部１０１は、光学像が入力されるレンズ、レンズを制御するレンズ制御システム、レンズに入力された光学像から画像データを生成する撮像センサを含む。また、撮像部１０１は、撮像センサが出力した映像信号に対して、所定の画像処理を行う画像処理部を備えていてもよい。撮像部１０１は、取得した映像信号をパケット生成部１０２に出力する。
パケット生成部１０２は、撮像部１０１から送出された映像信号をＩＰ化、より具体的には、ＲＴＰパケット化する。パケット生成部１０２は、ＲＴＰパケット化された映像信号を、通信部１０３に出力する。パケット生成部１０２は、図２で示したようなデータ形式に映像信号をＲＴＰパケット化する。
通信部１０３は、ＬＡＮケーブル３００に接続し、ＩＰネットワーク４００を介して信号を送受信するための通信インターフェースである。通信部１０３は、パケット生成部１０２から受信したＲＴＰパケット化された映像信号を、ＩＰネットワーク４００を介して、各表示装置２００ａ，２００ｂに出力する。この時、通信部１０３は、送信したＲＴＰパケット化された映像信号を特定するための情報と当該映像信号を送信した時刻とを関連付けた送信時刻情報を、記憶部１０７に格納する。ここで、送信したＲＴＰパケット化された映像信号を特定するための情報は、ＲＦＣ４１７５に記載のＲＴＰ Ｈｅａｄｅｒのｔｉｍｅｓｔａｍｐ（Ｐａｃｋｅｔ Ｒｅｃｅｉｖｅｄ ＲＴＰ ｔｉｍｅｓｔａｍｐ：フレームＩＤ）である。
また、通信部１０３は、ＩＰネットワーク４００を介して、各表示装置２００ａ，２００ｂからレポート情報５００ａ，５００ｂを取得し、レポート情報５００ａ，５００ｂを参照装置決定部１０４および情報生成部１０５に出力する。通信部１０３は、ＩＰネットワーク４００を介して、各表示装置２００ａ，２００ｂに、情報生成部１０５から取得したセッティング情報６００を出力する。
参照装置決定部１０４は、同一のネットワークグループに含まれる各表示装置２００ａ，２００ｂから受信したレポート情報５００に基づいて、表示装置２００ａ，２００ｂの１つを参照装置に決定する。参照装置決定部１０４は、受信したレポート情報５００のフレームＩＤが示す映像信号に対応する送信時刻を記憶部１０７から取得する。次に、参照装置決定部１０４は、取得した送信時刻と受信したレポート情報５００の処理時刻情報５０４が示す処理時刻（表示時刻）との差分を算出する。すなわち、参照装置決定部１０４は、映像信号が撮像装置１００から送信されてからレポート情報５００を送信した表示装置２００で表示されるまでの時間（遅延量）を算出する。参照装置決定部１０４は、表示装置２００ａ，２００ｂのうち、この算出された遅延量が最も大きい表示装置を参照装置として決定し、その決定された参照装置を情報生成部１０５に通知する。
情報生成部１０５は、参照装置決定部１０４で決定された参照装置から受信したレポート情報５００に基づいてセッティング情報６００を生成する。情報生成部１０５は、参照装置から受信したレポート情報５００をセッティング情報６００として、通信部１０３に出力する。なお、情報生成部１０５は、レポート情報５００を受信する毎に、そのレポート情報の同期グループＩＤとしてＥｍｐｔｙが記載されているか否かを判断する。情報生成部１０５は、Ｅｍｐｔｙが記載されていると判断した場合、当該レポート情報５００を送信した表示装置２００に対してＥｍｐｔｙでない任意のネットワークグループを示す同期グループＩＤを付加したセッティング情報６００を生成する。
制御部１０６は、不図示のバスを介して撮像装置１００の各機能ブロックに接続し、その動作を制御するプロセッサである。制御部１０６は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）である。制御部１０６は、記憶部１０７からプログラムやパラメータを読み出して実行することにより、撮像装置１００の各機能ブロックの動作を制御する。また、制御部１０６は、撮像装置１００の各機能ブロックの一部もしくはすべての動作をプログラムを実行することによって実現してもよい。
記憶部１０７は、撮像装置１００の動作のためのプログラム、パラメータ、およびデータを記憶する記憶媒体である。記憶部１０７は、例えば、不揮発性の記憶媒体である。なお、記憶部１０７は、揮発性の記憶媒体および不揮発性の記憶媒体を複合して用いるものであってもよい。
図６は、表示装置２００の機能ブロックを示すブロック図である。表示装置２００は、通信部２０１、ジッタ吸収部２０２、復号部２０３、遅延処理部２０４、信号処理部２０５、表示部２０６、処理時間取得部２０８、受信時刻取得部２０９、及び表示時刻取得部２１０を備える。表示装置２００はさらに、レポート生成部２１１、セッティング取得部２１２、参照装置判定部２１３、遅延量算出部２１４、操作部２１５、制御部２１６、および記憶部２１７を備える。
通信部２０１は、ＬＡＮケーブル３００に接続し、ＩＰネットワーク４００を介して信号を送受信するための通信インターフェースである。通信部２０１は、受信したＲＴＰパケット化された映像信号をジッタ吸収部２０２に出力する。この時、通信部２０１は、ＲＴＰパケット化された映像信号を受信した受信時刻と、対応するＲＴＰパケット化された映像信号を特定する情報とを、受信時刻取得部２０９に出力する。
通信部２０１は、レポート生成部２１１から取得したレポート情報５００を、ＩＰネットワーク４００を介して撮像装置１００に出力する。また、通信部２０１は、ＩＰネットワーク４００を介して、撮像装置１００からセッティング情報６００を取得し、セッティング情報６００をセッティング取得部２１２に出力する。
ジッタ吸収部２０２は、ＬＡＮケーブル３００と、接続するＩＰネットワーク４００の通信ジッタにより生じるＲＴＰパケットの受信時のジッタを伝搬させないようにするためのジッタ吸収バッファである。
復号部２０３は、ＲＴＰパケット化された映像信号を復号する。
遅延処理部２０４は、メモリを備え、復号部２０３で復元された映像信号をメモリに一時的に蓄え、映像信号に遅延量を付与することで、映像信号を受信してから表示部２０６で画像を表示するまでの処理時間を遅延させる。これにより、表示部２０６における画像表示のタイミングを調整して、他の表示装置の表示と同期させることが可能となる。尚、遅延量は、後述する遅延量算出部２１４から取得する。
信号処理部２０５は、遅延処理部２０４により遅延量が付与された映像信号に対して、補正などの信号処理を行う。信号処理部２０５は、信号処理を施した映像信号を表示部２０６に出力する。
表示部２０６は、取得した映像信号に基づいて画像を表示する表示装置である。例えば、表示部２０６は、有機ＥＬディスプレイモジュールである。表示部２０６は、外部の表示装置に映像信号を出力して、表示デバイスに画像を表示させる映像出力端子であってもよい。表示部２０６は、ＲＴＰパケット化された映像信号に基づいて画像を表示した（表示処理を実行した）表示時刻と対応するＲＴＰパケット化された映像信号を特定する情報とを表示時刻取得部２１０に出力する。
処理時間取得部２０８は、ジッタ吸収部２０２と、復号部２０３と、信号処理部２０５とにおける各処理時間を取得し、取得した各処理時間を遅延量算出部２１４に通知する。
受信時刻取得部２０９は、ＲＴＰパケット化された映像信号を受信した受信時刻と対応するＲＴＰパケット化された映像信号を特定する情報（同期グループＩＤとフレームＩＤ）とを取得して、図６において不図示の信号線を介して記憶部２１７に格納する。
表示時刻取得部２１０は、ＲＴＰパケット化された映像信号に基づいて画像を表示した（表示処理を実行した）表示時刻と対応するＲＴＰパケット化された映像信号を特定する情報とを取得して、記憶部２１７に格納する。
レポート生成部２１１は、図６において不図示の信号線を介して記憶部２１７から、対象とするＲＴＰパケット化された映像信号を示す情報（フレームＩＤ）と、対応する受信時刻および表示時刻を読み出す。また、レポート生成部２１１は、予め設定されたネットワークグループの同期グループＩＤを記憶部２１７から読み出す。レポート生成部２１１は、対象とするＲＴＰパケット化された映像信号を示す情報（フレームＩＤ）と、対応する受信時刻および表示時刻と、読み出した同期グループＩＤとに基づいて、レポート情報５００を生成する。レポート生成部２１１は、レポート情報５００を通信部２０１に出力する。通信部２０１は、レポート情報５００を、ＩＰネットワーク４００を介して撮像装置１００に出力する。また、レポート生成部２１１は、記憶部２１７に出力したレポート情報５００を格納する。
セッティング取得部２１２は、通信部２０１を介して、撮像装置１００が送信するセッティング情報６００を取得する。セッティング取得部２１２は、セッティング情報を参照装置判定部２１３と遅延量算出部２１４とに出力する。
参照装置判定部２１３は、受信したセッティング情報６００と、記憶部２１７に記憶された送信済みのレポート情報５００とを比較する。受信したセッティング情報６００に一致する送信済みのレポート情報５００が存在する場合、表示装置２００がネットワークグループにおける参照装置であると判定する。参照装置判定部２１３は、判定結果を記憶部２１７に格納すると共に遅延量算出部２１４に通知する。
遅延量算出部２１４は、遅延処理部２０４で映像信号に付与する遅延量を決定する。遅延量算出部２１４は、参照装置判定部２１３が、表示装置２００がネットワークグループにおける参照装置であると判定した場合、遅延量を０とする。遅延処理部２０４で付与する遅延量を決定する。遅延量算出部２１４は、参照装置判定部２１３が、表示装置２００がネットワークグループにおける参照装置でないと判定した場合、セッティング情報６００に基づいて遅延量を決定する。具体的には、遅延量算出部２１４は、セッティング情報６００の対象信号情報６０３に基づいて対象とするＲＴＰパケット化された映像信号を特定し、対応する処理時刻情報６０４に基づいて参照装置における表示時刻Ｔａを取得する。また、遅延量算出部２１４は、記憶部２１７から特定されたＲＴＰパケット化された映像信号に基づいて、表示部２０６で画像が表示された表示時刻Ｔｂを取得する。遅延量算出部２１４は、表示時刻Ｔａと表示時刻Ｔｂとの差を遅延量として決定する。
操作部２１５は、ユーザが表示装置２００の各機能ブロックに対する指示を入力するための操作手段である。操作部２１５は、ユーザ操作を受け付けると、そのユーザ操作による指示内容を制御部２１６に通知する。
制御部２１６は、不図示のバスを介して表示装置２００に接続しその各機能ブロックの動作を制御するプロセッサである。制御部２１６は、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）である。制御部２１６は、記憶部２１７からプログラムやパラメータを読み出して実行することにより、表示装置２００の各機能ブロックの動作を制御する。また、制御部２１６は、表示装置２００の各機能ブロックの一部もしくはすべての動作を、記憶部２１７から読み出したプログラムを実行することによって実現してもよい。
記憶部２１７は、表示装置２００の動作のためのプログラム、パラメータ、およびデータを記憶する記憶媒体である。記憶部２１７は、例えば、不揮発性の記憶媒体である。なお、記憶部２１７は、揮発性の記憶媒体および不揮発性の記憶媒体を複合して用いるものであってもよい。
上述の撮像装置１００と表示装置２００ａ〜２００ｃとを含む送受信システムによれば、撮像装置１００から出力された映像信号を各表示装置２００ａ〜２００ｃで同期して表示することが可能となる。また、レポート情報５００の送受信と、それに応答するセッティング情報６００の送受信および遅延量制御は、所定の周期で実行される。これにより、各表示装置２００ａ〜２００ｃにおける処理時間が変動した場合においても、表示の同期を維持することが可能となる。
以上のように説明した手法で、図１のネットワークグループＡに属する表示装置２００ａ，２００ｂにおいて撮像装置１００ａから送信される映像信号の同期表示が行われる。また、同様にして、図１のネットワークグループＢに属する表示装置２００ｂ，２００ｃにおいて撮像装置１００ｂから送信される映像信号の同期表示も行われる。ただし、この手法では、撮像装置１００ａ，１００ｂの夫々で映像信号が同期撮影されていても、表示装置２００ａ〜２００ｃにおいてその同期撮影される映像信号の同期表示を行うことはできない。表示装置２００の同期表示に用いられるレポート情報５００は、映像信号を受信してから表示するまでの時間情報に基づき生成されるからである。
そこで、本実施形態では、撮像装置１００は、映像信号とは別に、図７で後述する、映像信号のアンシラリ情報を重畳したＡＮＣ ＲＴＰパケットを生成し、表示装置２００に送信する。これにより、撮像装置１００における映像信号の撮影タイミングを表示装置２００でのレポート情報５００の生成に加味させる。具体的には、表示装置２００ｂは、撮像装置１００ａ，１００ｂの双方から受信したＡＮＣ ＲＴＰパケット内のタイムコード情報を用いて、ネットワークグループＡ，Ｂ間の同期表示を行うことができるレポート情報５００を作成する。
ＡＮＣ ＲＴＰパケットは図７に示すように、ＩＰヘッダー７０１、ＵＤＰとヘッダー７０２、ＲＴＰヘッダー７０３、及びＡＮＣ ＲＴＰペイロード７０４で構成される。ＲＴＰヘッダー７０３にはシーケンスナンバー、タイムスタンプ、ＡＮＣ ＲＴＰパケットの送信元を示すＳＳＲＣの情報等が、ＡＮＣ ＲＴＰペイロード７０４にはタイムコード（生成時刻情報）等を含むアンシラリ情報が夫々格納される。１つのＡＮＣ ＲＴＰパケットには１つの映像信号に関する情報のみが格納される。すなわち、同じ撮影タイミング（生成タイミング）で撮影された映像信号のアンシラリ情報には同じ値のタイムスタンプが割り振られる。一方、ＲＴＰパケットにおいても同じ撮影タイミング（生成タイミング）で撮影された映像信号には同じタイムスタンプが割り振られる。このため、ＲＴＰパケットとＡＮＣ ＲＴＰパケットの夫々のタイムスタンプが近いパケット同士は同一の映像信号ということになり、映像信号とタイムコードを関連付けることができる。
図８Ａ，Ｂは、図１で示す送受信システムにおいて、撮像装置１００ａ，１００ｂの夫々から映像信号を受信する表示装置２００ｂで実行される、本発明の第１の実施形態に係るネットワークグループ間の同期表示処理の手順を示すフローチャートである。本処理は、表示装置２００ｂの全体を制御する、図６の制御部２１６が記憶部２１７に保持されるプログラムを読み込むことにより実行される。
前述したように表示装置２００ａ，２００ｂはネットワークグループＡに属しているため、同期グループＩＤの値はＡであり、表示装置２００ｂ，２００ｃはネットワークグループＢに属しているため、同期グループＩＤの値はＢである。また、撮像装置１００ａ，１００ｂは同期撮影を行っているが、撮像装置１００ａ，１００ｂの夫々からの映像信号に基づく異なる画像をいずれも表示している表示装置２００ｂは本処理が実行される前の段階ではその異なる画像の同期表示を行っていない。即ち、ネットワークグループＡ，Ｂ間では同期表示されておらず、表示装置２００ａ〜２００ｃは同期表示できていない。
まず、図８Ａにおいて、操作部２１５は、ネットワークグループＡ，Ｂ間の同期表示を行う指示のユーザ操作を受け付けると（ステップＳ８０１でＹＥＳ）、その指示内容を制御部２１６に通知する。この通知を受けて制御部２１６は本処理を開始する。
次に、通信部２０１が、撮像装置１００ａ，１００ｂのいずれかから送信されたパケットを受信したか判別する（ステップＳ８０２）。ステップＳ８０２の判別の開始後、所定時間以内にパケットを受信した場合、ステップＳ８０３に進み、そうでない場合はそのまま本処理を終了する。
ステップＳ８０３では、通信部２０１が、ステップＳ８０２で受信したパケットがＲＴＰパケットか否かを判断する（ステップＳ８０３）。この判断の結果、ＲＴＰパケットでない場合は図８ＢのステップＳ８１３に進み、通信部２０１は、ステップＳ８０２で受信したパケットがＡＮＣ ＲＴＰパケットか否かを判断する（ステップＳ８１３）。一方、ＲＴＰパケットである場合は（ステップＳ８０３でＹＥＳ）、ステップＳ８０４に進む。
ステップＳ８０４では、まず、復号部２０３は、ＲＴＰパケットのＲＴＰヘッダー４０３からＲＴＰパケットの送信元を示すＳＳＲＣを取得し、そのＳＳＲＣに基づきＲＴＰパケットがネットワークグループＡ，Ｂのどちらに属しているかを判定する。すなわち、復号部２０３は、ＳＳＲＣに関連づけられる同期グループＩＤを、後述するステップＳ８１８において記憶部２１７に保持される、１つのセッティング情報６００内のＳＳＲＣと同期グループＩＤを示す情報に基づき特定する。
次に、復号部２０３は、ＲＴＰパケットのＲＴＰヘッダー４０３からタイムスタンプ、ＲＴＰペイロード４０４から映像信号を抽出し、同期グループＩＤごとに蓄積する（ステップＳ８０５）。その後、復号部２０３は、その蓄積した映像信号から映像フレームを作成する（ステップＳ８０６）。
遅延処理部２０４は同期グループＩＤごとに蓄積した映像信号から作成した映像フレームに対してその表示を行うタイミング（映像表示タイミング）になったか否かを判定する（ステップＳ８０７）。この判定の結果、映像表示タイミングでなければ、ステップＳ８０２に戻る。一方、映像表示タイミングであれば、遅延処理部２０４が映像フレームに対して遅延量を付与した後、表示部２０６は、その遅延量付与後の映像フレームを表示する映像表示を行う（ステップＳ８０８）。表示時刻取得部２１０はその際の表示時刻を取得して（ステップＳ８０９）、ステップＳ８１０に進む。
図８ＢのステップＳ８１３の判断の結果、パケットがＡＮＣ ＲＴＰパケットであった場合、ステップＳ８１４に進む。
ステップＳ８１４では、まず、復号部２０３は、ＡＮＣ ＲＴＰパケット内のＲＴＰヘッダー７０３からＡＮＣ ＲＴＰパケットの送信元を示すＳＳＲＣを取得し、そのＳＳＲＣに基づきネットワークグループＡ，Ｂのどちらに属しているかを判定する。すなわち、復号部２０３は、ＳＳＲＣに関連づけられる同期グループＩＤを、後述するステップＳ８１８において記憶部２１７に保持される、１つのセッティング情報６００内のＳＳＲＣと同期グループＩＤを示す情報に基づき特定する。
次に、復号部２０３は、ＡＮＣ ＲＴＰパケットのＲＴＰヘッダー７０３からタイムスタンプ、ＡＮＣ ＲＴＰペイロード７０４からタイムコードを取得し（ステップＳ８１５）、ステップＳ８１６に進む。
ステップＳ８１６では、ステップＳ８１５で取得したタイムスタンプとステップＳ８０６で作成した映像信号を関連付ける、すなわち、同期グループＩＤごとに１つの映像信号に対してタイムスタンプの近い１つのタイムコード情報を割り付ける。その後、図８ＡのステップＳ８１０に進む。
一方、図８ＢのステップＳ８１３の判断の結果、パケットがＡＮＣ ＲＴＰパケットでなかった場合、ステップＳ８１７に進み、通信部２０１が、そのパケットがセッティング情報６００か否かを判断する（ステップＳ８１７）。この判断の結果、セッティング情報６００でない場合はステップＳ８１０に進む。一方、セッティング情報６００である場合、通信部２０１はそのセッティング情報６００内のＳＳＲＣと同期グループＩＤの情報を関連づけて記憶部２１７に保持する（ステップＳ８１８）。この情報はステップＳ８０４，Ｓ８１４でＲＴＰパケット又はＡＮＣ ＲＴＰパケットから取得したＳＳＲＣから同期グループＩＤを取得する際に使用する。その後、セッティング情報から同期グループＩＤ、フレームＩＤ、フレームＩＤによって特定されるＲＴＰパケットの映像信号が表示される時刻を取得する（ステップＳ８１９）。ここでいうフレームＩＤとは前述したようにＲＴＰパケットに含まれ、ステップＳ８０５で蓄積されるタイムスタンプを指す。また、前述の通り、ステップＳ８０９でこのフレームＩＤと、これによって特定されるＲＴＰパケットの映像信号が表示装置２００ｂの表示部２０６で表示される時刻を各同期グループＩＤ別に取得している。よって、遅延量算出部２１４は、ステップＳ８０９，Ｓ８１９の夫々で取得した同期グループＩＤ、表示時刻と比較することによって付与すべき遅延時間を算出する（ステップＳ８２０）。算出された遅延時間を遅延処理部２０４で映像信号に付与し（ステップＳ８２１）、ステップＳ８１０に戻る。
ステップＳ８１０ではネットワークグループごとにレポート情報５００の作成タイミングかどうかの判断を行い、レポート情報５００の作成タイミングでなければ、ステップＳ８０２に戻る。レポート情報５００の作成タイミングであれば自機が属するネットワークグループの中で最も大きい遅延時間に合わせてレポート情報５００に載せるべき表示時刻を計算する（ステップＳ８１１）。
ステップＳ８１１の表示時刻の計算方法の詳細について以下図９を用いて説明する。
図９は、撮像装置１００ａ，１００ｂ及びその双方からの映像信号を受信する表示装置２００ｂの動作タイミングの一例を示す図である。横軸は時間で、右に行くほど時間が経過していることを表す。
ネットワークグループＡ，Ｂにおいて、ある映像信号について、その撮影、送信、受信、表示されるタイミングを各々の逆三角形で示している。ネットワークグループＡ，Ｂの夫々において、撮影から送信までの間は撮像装置１００ａ，１００ｂ、送信から受信までの間はＬＡＮケーブル３００、受信から表示までは表示装置２００ｂで処理が行われる。本実施形態では、ネットワークグループＡ側の動作主体は撮像装置１００ａ及び表示装置２００ｂであり、ネットワークグループＢ側の動作手段は撮像装置１００ｂ及び表示装置２００ｂである。上述の通り、映像信号には複数のＲＴＰパケットが使用されるため、上記送信・受信のタイミングは、同一の映像信号内で最も小さいシーケンスナンバーのＲＴＰパケットの送信・受信のタイミングを示すものとする。
ネットワークグループＡの撮像装置１００ａが映像信号を撮影したタイミングのタイムコードをＴＣＡ１、ネットワークグループＢの撮像装置１００ｂが映像信号を撮影したタイミングのタイムコードをＴＣＢ１とする。夫々の映像信号のＲＴＰパケットは撮像装置１００ａ，１００ｂから送信され、ＬＡＮケーブル３００を介して表示装置２００ｂで受信される。表示装置２００ｂでタイムコードＴＣＡ１のタイミングで撮影された映像信号を表示した時刻をＴＰＡ１、表示装置２００ｂでタイムコードＴＣＢ１のタイミングで撮影された映像信号を表示した時刻をＴＰＢ１とする。
従来の手法でレポート情報５００を作成した場合、ネットワークグループＡおよびネットワークグループＢのレポート情報５００に記載される表示時刻は夫々ＴＰＡ１、ＴＰＢ１となる。これに対し本実施形態では、映像信号が撮像装置１００ａ，１００ｂの夫々で撮影されたタイミングを示すタイムコードＴＣＡ１，ＴＣＢ１を加味し、レポート情報５００に記載される表示時刻を以下のように更新する。尚、タイムコードは、１秒未満の単位である映像信号単位（フレームレート）でインクリメントされるため、そのままでは時刻として使用することはできない。すなわち、タイムコード差を時間差として使用するため、タイムコード差をフレームレートで除算する必要がある。タイムコード差ｘを時間差に換算するための関数をＴ（ｘ）とする。尚、本実施例では、図１の送受信システム内の映像信号は全て同一のフレームレートで送受信される。
１.（ＴＰＢ１−ＴＰＡ１）−Ｔ（ＴＣＢ１−ＴＣＡ１）＞０、即ちネットワークグループＢの方がネットワークグループＡより遅延時間が大きい時
ネットワークグループＡ側のレポート情報５００に記載される表示時刻をＴＰＡ１からＴＰＢ１−Ｔ（ＴＣＢ１−ＴＣＡ１）に変更する。即ちネットワークグループＡに（ＴＰＢ１−ＴＰＡ１）−Ｔ（ＴＣＢ１−ＴＣＡ１）だけ遅延時間を追加する。
２.（ＴＰＢ１−ＴＰＡ１）−Ｔ（ＴＣＢ１−ＴＣＡ１）＝０、即ちネットワークグループＡとネットワークグループＢの遅延時間が同じである時
ネットワークグループＡ側のレポート情報５００に記載される表示時刻をＴＰＡ１のまま変更することなく維持し、且つネットワークグループＢ側のレポート情報５００に記載される表示時刻をＴＰＢ１のまま変更することなく維持する。
３. （ＴＰＢ１−ＴＰＡ１）−Ｔ（ＴＣＢ１−ＴＣＡ１）＜０、即ちネットワークグループＡの方がネットワークグループＢより遅延時間が大きい時
ネットワークグループＢ側のレポート情報５００に記載される表示時刻をＴＰＢ１からＴＰＡ１−Ｔ（ＴＣＡ１−ＴＣＢ１）に変更する。即ちネットワークグループＢに（ＴＰＡ１−ＴＰＢ１）−Ｔ（ＴＣＡ１−ＴＣＢ１）だけ遅延時間を追加する。
図８Ａに戻り、以上のように計算された表示時刻に従ってレポート生成部２１１がレポート情報５００を作成し、レポート情報５００送信部６１２がそのレポート情報５００を送信した後（ステップＳ８１２）、ステップＳ８０２に戻る。
撮像装置１００ａ，１００ｂは夫々、表示装置２００ｂから受信したレポート情報５００に基づいて、自機が属するネットワークグループにおいて最も遅延時間の大きい表示装置を参照装置に設定し、その情報に基づいたセッティング情報を作成する。その後、撮像装置１００ａ，１００ｂは夫々、自機が属するネットワークグループの表示装置に作成したセッティング情報を送信する。そして、セッティング情報を受信した表示装置は自機との遅延時間の差を計算し、その分だけ表示タイミングを遅らせる。
以上、本実施形態によれば、撮像装置１００ａ，１００ｂの夫々で撮影される複数の映像信号を表示装置２００ａ〜２００ｃで同期表示することができる。この際、映像同期表示を行う際の撮像装置１００ａ，１００ｂの動作と表示装置のセッティング情報の受信時の動作は、図３に示す従来手法のまま、表示装置のレポート情報５００をネットワークグループ間の遅延時間を加味して作成するのみでよい。
すなわち第１の実施形態では、複数の撮像装置で撮影された映像信号のタイムコード情報から撮影タイミングの時間差を計算し、遅延時間の小さいネットワークグループのレポート情報５００に撮影タイミング時間差と表示遅延差を加味した遅延を付加する。これにより、異なるネットワークグループ間の表示装置で同期表示を行うことができ、結果として送受信システム内の全ての表示装置で同期表示することができる。
なお、第１の実施形態では送受信システム内に存在する撮像装置は２つ、即ち送受信システム内の表示装置に送信される映像信号は２種類のみであったがこれに限定されない。すなわち、同様の方法で２種類より多い複数の映像信号を送受信システム内で同期表示させることができる。
また第１の実施形態では、上記複数の映像信号の少なくとも１つを受信し、同期表示させる表示装置は３つであったが、表示装置が３つより多い場合でも同様の方法で複数の映像信号を送受信システム内で同期表示させることができる。
＜第２の実施形態＞
以下、本発明の第２の実施形態について説明する。尚、本実施形態において、第１の実施形態と同一の構成については同一の符号を付し、重複した説明は省略する。
具体的には、本実施形態に係る送受信システムの構成、撮像装置１００ａ，１００ｂの内部構成、表示装置２００ａ〜２００ｃの内部構成は、第１の実施形態と同じ図１、図５、図６で示されるものと同一である。また、本実施形態における表示装置２００ｂで実行されるネットワークグループ間の同期表示処理も第１の実施形態の図８に示す処理と同じである。ただし、ステップＳ８１２でのレポート情報５００の作成方法が異なるので、詳細について以下説明する。
第１の実施形態では、ステップＳ８１２におけるレポート情報５００の作成は、ネットワークグループＡ，Ｂ夫々の任意のＲＴＰパケットに関して行われた。これに対し、第２の実施形態では、ステップＳ８１２におけるレポート情報５００の作成は、同じタイムコードが関連付けられた、撮像装置１００ａ，１００ｂの夫々からのＲＴＰパケットに関して行う。すなわち、本実施形態ではステップＳ８１１において、自機が属するネットワークグループの中で最も大きい遅延時間に合わせて、同じタイムコードが関連付けられたＲＴＰパケットに関するレポート情報５００に載せるべき表示時刻が計算される。
本実施形態に係るステップＳ８１１の表示時刻の計算方法の詳細について図１０を用いて説明する。
図１０は、撮像装置１００ａ，１００ｂ及びその双方からの映像信号を受信する表示装置２００ｂの動作タイミングの一例を示す図である。図９と同様、横軸は時間で、右に行くほど時間が経過していることを表す。
ネットワークグループＡの撮像装置１００ａが映像信号を撮影したタイミングのタイムコードをＴＣＡ１、ネットワークグループＢの撮像装置１００ｂが映像信号を撮影したタイミングのタイムコードをＴＣＢ１とする。夫々の映像信号のＲＴＰパケットは撮像装置１００ａ，１００ｂから送信され、ＬＡＮケーブル３００を介して表示装置２００ｂで受信される。表示装置２００ｂでタイムコードＴＣＡ１のタイミングで撮影された映像信号を表示した時刻をＴＰＡ１、表示装置２００ｂでタイムコードＴＣＢ１のタイミングで撮影された映像信号を表示した時刻をＴＰＢ１とする。
従来の手法でレポート情報５００を作成した場合、ネットワークグループＡおよびネットワークグループＢのレポート情報５００に記載されるＲＴＰパケット表示時刻は夫々ＴＰＡ１、ＴＰＢ１となる。これに対し本実施形態では、同じタイムコード（すなわち、ＴＣＡ１＝ＴＣＢ１）に関連付けられたＲＴＰパケットについてのみレポート情報５００を作成することで、レポート情報５００に記載される表示時刻を以下のように更新する。
１.ＴＰＢ１＞ＴＰＡ１、即ちネットワークグループＢの方が遅延時間が大きい時
ネットワークグループＡ側のレポート情報５００に記載される表示時刻をＴＰＡ１からＴＰＢ１に変更する。即ちネットワークグループＡにＴＰＢ１−ＴＰＡ１だけ遅延時間を追加する。
２.ＴＰＢ１＝ＴＰＡ１、即ちネットワークグループＡとネットワークグループＢの遅延時間が同じである時
ネットワークグループＡ側のレポート情報５００に記載される表示時刻をＴＰＡ１のまま変更することなく維持し、且つネットワークグループＢ側のレポート情報５００に記載される表示時刻をＴＰＢ１のまま変更することなく維持する。
３.ＴＰＢ１＜ＴＰＡ１、即ちネットワークグループＡの方が遅延時間が大きい時
ネットワークグループＢ側のレポート情報５００に記載される表示時刻をＴＰＢ１からＴＰＡ１に変更する。即ちネットワークグループＢにＴＰＡ１−ＴＰＢ１だけ遅延時間を追加する。
以上、本実施形態によれば、撮像装置１００ａ，１００ｂの夫々で撮影される複数の映像信号を表示装置２００ａ〜２００ｃで同期表示することができる。
すなわち、第２の実施形態では、複数の撮像装置で撮影された映像信号のタイムコード情報を元に、同じタイムコードを持つ映像信号からレポート情報５００を作成する。その際、遅延時間の小さいネットワークグループのレポート情報５００に表示遅延差を加味した遅延を付加する。これにより、異なるネットワークグループ間の表示装置で同期表示を行うことができ、結果として送受信システム内の全ての表示装置で同期表示することができる。また、第１の実施形態と異なり、複数の撮像装置で撮影された映像信号のタイムコード情報から撮影タイミングの時間差を計算する必要がなくなり、フレームレートを考慮した計算を省略することができる。また、ドロップフレームに関しても考慮しなくてもよいので、計算を簡略化できる。
なお、第２の実施形態では送受信システム内に存在する撮像装置が２つ、即ち送受信システム内の表示装置に送信される映像信号は２種類のみであったがこれに限定されない。すなわち、同様の方法で２種類より多い複数の映像信号を送受信システム内で同期表示させることができる。
また第２の実施形態では、上記複数の映像信号の少なくとも１つを受信し、同期表示させる表示装置は３つであったが、表示装置が３つより多い場合でも同様の方法で複数の映像信号を送受信システム内で同期表示させることができる。
＜第３の実施形態＞
以下、本発明の第３の実施形態について説明する。尚、本実施形態において、第１の実施形態と同一の構成については同一の符号を付し、重複した説明は省略する。
本実施形態に係る送受信システムの構成は、図１１に示すように、表示装置２００ｂの代わりに、夫々異なるネットワークグループに属する表示装置２００ｂ’，２００ｂ”を有する点で異なる。
以下、図１１を用いて、本発明の第３の実施形態に係る送受信システムの第１の実施形態と異なる点についてのみ説明する。
表示装置２００ｂ’，２００ｂ”は、表示装置２００ａ〜２００ｃと同じ機能を持つ。
撮像装置１００ａと、表示装置２００ａと、表示装置２００ｂ’は同じネットワークグループに属し、ここではネットワークグループＸと名付ける。表示装置２００ａと表示装置２００ｂ’は撮像装置１００ａで生成・送信される映像信号を同じタイミングで表示する、即ち同期表示を行う。
また、撮像装置１００ｂと、表示装置２００ｂ”と、表示装置２００ｃは同じネットワークグループに属し、ここではネットワークグループＹと名付ける。表示装置２００ｂ”と表示装置２００ｃは撮像装置１００ｂで生成・送信される映像信号の同期表示を行う。
次に、本実施形態に係る撮像装置１００ａの各処理部の構成について説明する。図１３に示すように、撮像装置１００ａは、遅延付与部１３０１を備える点で、第１の実施形態に係る撮像装置と異なる。
以下、図１３を用いて、本発明の第３の実施形態に係る撮像装置１００ａの第１の実施形態と異なる点についてのみ説明する。尚、撮像装置１００ｂについては撮像装置１００ａと同様の構成を有するため、同一の構成には同一の符号を付し重複した説明は省略する。
遅延付与部１３０１はパケット生成部１０２からのＲＴＰパケットを一旦バッファメモリに蓄えてから出力することで、ＲＴＰパケットが送信されるまでの時間に遅延を付与する。
尚、図１３の記憶部１０７は、送信したＲＴＰパケット化された映像信号を特定するフレームＩＤとその映像信号を送信した時刻とを関連づけて記憶するだけではなく、そのＲＴＰパケット化された映像信号の撮影時刻もそのフレームＩＤと関連づけて記憶する。
表示装置２００ａの各処理部については、図６に示す構成と同じであるので説明を省略する。表示装置２００ｂ’，２００ｂ”，２００ｃについては表示装置２００ａと同様の構成を有するため、同一の構成には同一の符号を付し重複した説明は省略する。
図１２は、図１１の送受信システムにおける、本発明の第３の実施形態に係る遅延調整処理前の動作タイミングの一例を示す図である。図９と同様、横軸は時間で、右に行くほど時間が経過していることを表す。
ネットワークグループＸ，Ｙにおいて、ある映像信号について、その撮影、送信、受信、表示されるタイミングを各々の逆三角形で示している。ネットワークグループＸ，Ｙの夫々において、撮影から送信までの間は撮像装置１００ａ，１００ｂ、送信から受信までの間はＬＡＮケーブル３００、受信から表示までは表示装置２００ｂ’，２００ｂ”で処理が行われる。本実施形態では、ネットワークグループＸ側の動作主体は撮像装置１００ａ及び表示装置２００ａ，２００ｂ’であり、ネットワークグループＹ側の動作主体は撮像装置１００ｂ及び表示装置２００ｂ”，２００ｃである。尚、撮像装置１００ａ，１００ｂは、ネットワークＩＰ４００を介して又は図１において不図示の通信ラインにより直接通信を行い、夫々における映像信号の撮影を同期させる、すなわち同じタイミングで映像信号が撮影されるように制御する。
ネットワークグループＸの撮像装置１００ａがある映像信号を撮影した時刻をＴＥ、その映像信号のＲＴＰパケットを送信した時刻をＴＳＸとする。また、表示装置２００ａ，２００ｂ’の夫々でその映像信号のＲＴＰパケットを受信した時刻をＴＲ１，ＴＲ２、その映像信号を表示した時刻をＴＰ１，ＴＰ２とする。
また、上記映像信号と同じタイミングでネットワークグループＹの撮像装置１００ｂは映像信号を撮影するので、ネットワークグループＹの撮像装置１００ｂがその映像信号を撮影した時刻をＴＥとなる。この場合の映像信号のＲＴＰパケットを送信した時刻をＴＳＹとする。また、表示装置２００ｂ”，２００ｃの夫々でその映像信号のＲＴＰパケットを受信した時刻をＴＲ３，ＴＲ４、その映像信号を表示した時刻をＴＰ３，ＴＰ４とする。
本実施形態の異なるネットワークグループＸ，Ｙ間で同期表示を行った場合、各表示装置２００ａ，２００ｂ’，２００ｂ”，２００ｃは前述の通り、遅延付与部１３０１がバッファメモリを用いて表示時刻を遅延させる。ここで、表示装置２００ａ，２００ｂ’，２００ｂ”，２００ｃの夫々の最小表示時間（受信してから表示するまでの時間）をＴＤｍｉｎ１、ＴＤｍｉｎ２、ＴＤｍｉｎ３、ＴＤｍｉｎ４とする。一方、表示装置２００ａ，２００ｂ’，２００ｂ”，２００ｃの夫々の、バッファメモリを用いて遅延を調整可能な最大表示時間をＴＰＢ１、ＴＰＢ２、ＴＰＢ３、ＴＰＢ４とする。
時刻ＴＥで撮影された映像信号を時刻ＴＰで表示するように調整しようとすると、例えば表示装置２００ａにおいて、ＴＤｍｉｎ１＜ＴＰ−ＴＲ１＜ＴＤｍｉｎ１＋ＴＰＢ１が成立すればＴＰ１＝ＴＰとなる遅延時間を調整することができる。
しかし、図１２で示すように、表示装置２００ｂ”のように、ＴＤｍｉｎ３＜ＴＰ−ＴＲ３、ＴＰ−ＴＲ３＞ＴＤｍｉｎ３＋ＴＰＢ３となる場合がある。この場合、表示装置２００ｂ”においてその遅延付与部１３０１がバッファメモリを全て用いて表示時刻を最大に遅延させてもＴＰ３＝ＴＲ３＋ＴＤｍｉｎ３＋ＴＰＢ３となり、遅延時間が足りないためＴＰ３＝ＴＰとすることができない。即ち、表示装置２００ｂ”は同期表示を行うことができない。
本実施形態では、かかる場合に、表示装置２００ｂ”と同じネットワークグループＹに属する撮像装置１００ｂ側で遅延を付加する。
図１４は、図１１で示す送受信システムの各撮像装置１００ａ，１００ｂの夫々で実行される、本発明の第３の実施形態に係る遅延調整処理の手順を示すフローチャートである。
尚、以下、撮像装置１００ｂにて遅延調整処理が行われる場合について説明するが、撮像装置１００ａにおいても同様の処理が行われる。
まず、図１４において、撮像装置１００ａのとの間で同期撮影が開始すると（ステップＳ１４０１でＹＥＳ）、ステップＳ１４０２に進む。
ステップＳ１４０２において、撮像部１０１で撮影した映像信号をＲＴＰパケット化した後、通信部１０３を用いて自機と同じネットワークグループＹに属する表示装置２００ｂ”，２００ｃに送信する。通信部１０３で表示装置２００ｂ”，２００ｃのいずれかからの受信パケットがあるかないかの判断を行い（ステップＳ１４０３）、ある場合は通信部１０３が受信パケットを取得し（ステップＳ１４０４）、ステップＳ１４０５に進む。一方、受信パケットがない場合はステップＳ１４０２に戻り、ＲＴＰパケット化した映像信号の送信を行う。
ステップＳ１４０５では、ステップＳ１４０４で取得した受信パケットがレポート情報５００かどうかの判断を、通信部１０３で行う。この判断の結果、レポート情報５００の場合は情報生成部１０５においてレポート情報５００からフレームＩＤ、同期グループＩＤ、表示時刻の取得を行い（ステップＳ１４０６）、ステップＳ１４０７に進む。一方、レポート情報５００でない場合（ステップＳ１４０５でＮＯ）、ステップＳ１４０２に戻る。
ステップＳ１４０７では、情報生成部１０５が通信部１０３を介して送信済みのセッティング情報（同期情報：第２情報）とステップＳ１４０４で取得したレポート情報５００を比較する（ステップＳ１４０７）。具体的には、まず、ステップＳ１４０６で取得したフレームＩＤに関連づけられて記憶部１０７に記憶される撮影時刻を求める。これと、ステップＳ１４０６で取得した表示時刻に基づき、撮像装置１００ｂは自機が属するネットワークグループＹ内のすべての表示装置２００ｂ”，２００ｃについて、１つの映像信号が撮影されてから表示されるまでの遅延時間を計算する。また、送信済みのセッティング情報から撮像装置１００ｂが設定した遅延時間を計算する。計算された、各表示装置２００ｂ”，２００ｃの遅延時間と撮像装置１００ｂが設定した遅延時間を情報生成部１０５が比較する。すなわち、各表示装置２００ｂ”，２００ｃからのレポート情報５００から取得される表示時刻に関係なく、処理時刻情報６０４に示す表示時刻を撮影時刻から所定の遅延時間（ＴＰ-ＴＥ）の後とするセッティング情報を情報生成部１０５は生成する。
情報生成部１０５は、この比較の結果、自機と同一のネットワークグループの表示装置２００ｂ”，２００ｃのいずれかの遅延時間が撮像装置１００ｂが設定した遅延時間よりも短い状態が一定期間以上連続しているか判定する（ステップＳ１４０８）。具体的には、ステップＳ１４０８では、撮像装置１００ｂが設定した遅延時間より短いと判定されても、かかる判定がされた連続回数が所定値未満である場合はステップＳ１４１０に進む。一方その連続回数が所定値以上となった場合、ステップＳ１４０９に進む。図１２に示すように、本実施形態では、表示装置２００ｂ”の遅延時間（ＴＰ３−ＴＥ）が、撮像装置１００ｂが設定した遅延時間（ＴＰ−ＴＥ）より短くなる。すなわち、ステップＳ１４０８の判定の結果、表示装置２００ｂ”の遅延時間は撮像装置１００ｂが設定した遅延時間よりも、ＴＰ−ＴＰ３だけ遅延時間が足らない状態が一定期間以上連続で続くことになる。この場合、ステップＳ１４０８からステップＳ１４０９に進む。以下のステップＳ１４０９では、上記図１２の具体例に基づき説明する。
ステップＳ１４０９では、足りない遅延時間（ＴＰ−ＴＰ３）分だけ遅延付与部１３０１がバッファメモリを用いて表示装置２００ｂ”にＲＴＰパケットを送信するタイミングに遅延を追加する。この遅延追加方法については図１５で後述する。その後、ステップＳ１４１１に進む。
一方、ステップＳ１４１０では、情報生成部１０５は、セッティング情報を作成するタイミングかどうかの判断を行う。この判断の結果、セッティング情報を作成するタイミングである場合は、ステップＳ１４１１に進み、そうでない場合は、ステップＳ１４０２に戻る。
ステップＳ１４１１では情報生成部１０５は、最も遅延時間が大きいと計算された表示装置を参照装置に決定してセッティング情報（同期情報：第２情報）を作成する。すなわち、セッティング情報を、決定された参照装置のレポート情報とする。その後、その作成されたセッティング情報を各表示装置２００ｂ”，２００ｃに送信し（ステップＳ１４１１）、ステップＳ１４０２に戻る。
以下、図１４のステップＳ１４０９の遅延追加方法について説明する。
図１２のようなタイミングで撮像装置１００ａ，１００ｂ、表示装置２００ａ，２００ｂ’，２００ｂ”，２００ｃが動作している場合、表示装置２００ｂ”は
ＴＤｍｉｎ３＜ＴＰ−ＴＲ３＜ＴＤｍｉｎ３＋ＴＰＢ３
を満たすことができないため、同期表示を行うことができない。即ち、上述の通り、表示装置２００ｂ”から送信されるレポート情報５００は、撮像装置１００ｂで作成されるセッティング情報と比較して、遅延時間が短い状態が一定以上続くとステップ１４０８において判定される。かかる場合、ステップＳ１４０９において、撮像装置１００ｂは遅延付与部１３０１を使用して、図１５で示すように、撮影した映像信号のＲＴＰパケットの送信時刻をＴＳＹからＴＳＹ´に変更する。即ち、表示装置２００ｂ”における映像信号の表示時刻ＴＰ３´がＴＰと等しくなるように、遅延付与部１３０１がＴＰ−ＴＰ３だけバッファメモリを用いて遅延時間を付与する。これによって表示時刻ＴＰ３´はＴＰと等しくなるように調整される。また、撮像装置１００ｂで遅延時間を付与すると、同一ネットワークグループＹに所属する表示装置２００ｃにおける映像信号の表示時刻が一時的に遅れる。但し、図１４においては、レポート情報５００が更新される前にセッティング情報が必ず更新されるため、表示装置２００ｃは係る遅延時間の付与により更新されたセッティング情報に基づき遅延付与部１３０１で用いるバッファメモリの量を減少させる。これにより、表示装置２００ｃにおける映像信号の表示時刻は早められ、同期表示を維持することができる。
以上、第３の実施形態では、複数の撮像装置で撮影された映像信号を複数の表示装置に表示する送受信システムにおいて、各表示装置の遅延付与能力を超えた表示遅延差がある場合でも、各撮像装置の遅延付与機能を用いることによって同期表示を可能にする。
［その他の実施例］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、装置に供給することによっても、達成されることは言うまでもない。このとき、供給された装置の制御部を含むコンピュータ（またはＣＰＵやＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出し実行する。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
また、上述のプログラムコードの指示に基づき、装置上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施形態の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行う。
１００ａ，１００ｂ 撮像装置
２００ａ，２００ｂ，２００ｂ’，２００ｂ”，２００ｃ 表示装置
４００ ＩＰネットワーク
１０３ 通信部
１０５ 情報生成部
２０１ 通信部
２１４ 遅延量算出部
２１５ 操作部
１３０１ 遅延付与部

Claims (13)

  1. 映像信号を同期して生成する複数の出力装置とネットワークを介して接続し、前記複数の出力装置の１つから受信した映像信号に基づく所定の処理を、自機及び前記映像信号の送信元の出力装置が属するネットワークグループの他の処理装置と同期して行うことが可能な処理装置であって、
    前記映像信号の受信時刻及び前記映像信号に対して前記所定の処理が行なわれた処理時刻の情報を含む第１情報を前記映像信号の送信元の出力装置に送信する送信手段と、
    前記ネットワークグループの参照装置における前記第１情報を第２情報として前記映像信号の送信元の出力装置から受信する第１の受信手段と、
    前記第２情報に基づいて前記映像信号に遅延量を付与し、前記映像信号を受信してから前記所定の処理を行うまでの処理時間を遅延させる遅延手段と、
    前記映像信号の送信元の出力装置が前記映像信号を生成した時刻を示す生成時刻情報を前記映像信号の送信元の出力装置から受信する第２の受信手段とを備え、
    前記処理装置が、前記映像信号として、前記複数の出力装置のうちの第１出力装置から第１映像信号、及び前記複数の出力装置のうちの第２出力装置から第２映像信号を受信する場合、前記遅延手段は、前記第１映像信号及び前記第２映像信号の夫々の前記生成時刻情報、及び前記第１出力装置及び前記第２出力装置の夫々から受信した前記第２情報に基づいて前記第１映像信号及び前記第２映像信号の夫々に付与する遅延量を補正することを特徴とする処理装置。
  2. 前記生成時刻情報は、前記映像信号のタイムコード情報であることを特徴とする請求項１記載の処理装置。
  3. 前記第２の受信手段は、前記タイムコード情報を含むアンシラリ情報が格納されるＡＮＣ ＲＴＰパケットを受信することを特徴とする請求項２記載の処理装置。
  4. 前記ＡＮＣ ＲＴＰパケットには、その送信元が前記映像信号の送信元の出力装置であることを示す情報がさらに格納されることを特徴とする請求項３記載の処理装置。
  5. 前記ＡＮＣ ＲＴＰパケットには、タイムスタンプがさらに格納され、
    前記タイムスタンプは、同じ生成タイミングで生成された映像信号のアンシラリ情報に対し同じ値が割り振られることを特徴とする請求項３又は４記載の処理装置。
  6. 前記第１映像信号及び前記第２映像信号の夫々の前記生成時刻情報の差を前記映像信号のフレームレートに基づき時間差に換算する換算手段を備えることを特徴とする請求項１乃至５のいずれか１項に記載の処理装置。
  7. 前記参照装置は、前記ネットワークグループの処理装置のうち最も前記遅延量の大きい処理装置であって、
    前記遅延手段は、前記第１映像信号及び第２映像信号の夫々の前記生成時刻情報が同一である場合に、前記第１出力装置及び第２出力装置の夫々から受信した前記第２情報に基づき付与された前記遅延量のうち大きい方の遅延量に小さい方の遅延量を変更することを特徴とする請求項１乃至５のいずれか１項に記載の処理装置。
  8. ネットワークを介して複数の処理装置と接続し、前記複数の処理装置のうち自機が属するネットワークグループの処理装置に所定の処理がなされる映像信号を生成し送信すると共に、前記所定の処理を前記自機が属するネットワークグループの処理装置の間で同期させるための同期情報を送信する複数の出力装置の１つである出力装置であって、
    前記複数の出力装置の夫々の映像信号の生成を同期させる同期手段と、
    前記自機のネットワークグループの処理装置から、前記映像信号に対して前記同期情報に基づき前記所定の処理を行なった処理時刻の情報を含む第１情報を一定周期で受信する受信手段と、
    前記自機における前記映像信号の生成時刻から前記第１情報に含まれる処理時刻までの遅延時間を算出する算出手段と、
    前記自機が属するネットワークグループの処理装置における前記映像信号に対する前記処理時刻を、前記自機における前記映像信号の生成時刻から所定の遅延時間の後とする第２情報を生成する生成手段と、
    前記生成された第２情報を前記同期情報として前記自機のネットワークグループの処理装置に送信する送信手段と、
    前記第１情報を受信する毎に前記第２情報及び前記第１情報を比較する比較手段と、
    前記比較手段による比較の結果、一定期間以上連続で前記所定の遅延時間よりも前記自機が属するネットワークグループの処理装置の１つである第１の処理装置について算出された前記遅延時間が短い場合、前記所定の遅延時間と前記第１の処理装置について算出された前記遅延時間の差分だけ、前記送信手段による前記第１の処理装置に対する前記映像信号の送信を遅延させる遅延手段とを備え、
    前記生成手段は、前記比較手段による比較の後に生成する前記第２情報を、前記ネットワークグループの処理装置のうち最も前記遅延時間の長い処理装置から受信した第１情報とすることを特徴とする出力装置。
  9. 前記遅延手段により前記映像信号の送信を遅延させるためのバッファメモリに蓄えることを特徴とする請求項８記載の出力装置。
  10. 複数の処理装置と映像信号を同期して生成する複数の出力装置をネットワークを介して接続し、前記複数の処理装置の夫々が、前記複数の出力装置の１つから受信した映像信号に基づく所定の処理を、自機及び前記映像信号の送信元の出力装置が属するネットワークグループの他の処理装置と同期して行うことが可能な同期制御システムであって、
    前記複数の出力装置は夫々、
    前記ネットワークグループの参照装置における、前記映像信号の受信時刻及び前記映像信号に対して前記所定の処理を行なった処理時刻の情報を含む第１情報を第２情報として前記ネットワークグループの処理装置に送信する第１の送信手段と、
    前記映像信号を生成した時刻を示す生成時刻情報を前記ネットワークグループの処理装置に送信する第２の送信手段とを備え、
    前記複数の処理装置は夫々、
    前記第１情報を前記映像信号の送信元の出力装置に送信する第３の送信手段と、
    前記第２情報に基づいて前記映像信号に遅延量を付与し、前記映像信号を受信してから前記所定の処理を行うまでの処理時間を遅延させる遅延手段と、
    前記映像信号として、前記複数の出力装置のうちの第１出力装置から第１映像信号、及び前記複数の出力装置のうちの第２出力装置から第２映像信号を受信する場合、前記遅延手段は、前記第１映像信号及び前記第２映像信号の夫々の前記生成時刻情報、及び前記第１出力装置及び前記第２出力装置の夫々から受信した前記第２情報に基づいて前記第１映像信号及び前記第２映像信号の夫々に付与する遅延量を補正することを特徴とする同期制御システム。
  11. 複数の出力装置と複数の処理装置をネットワークを介して接続し、前記複数の出力装置の夫々が、前記複数の処理装置のうち自機が属するネットワークグループの処理装置に所定の処理がなされる映像信号を生成し送信すると共に、前記所定の処理を前記自機が属するネットワークグループの処理装置の間で同期させるための同期情報を送信する同期制御システムであって、
    前記複数の処理装置は夫々、
    前記映像信号に対して前記同期情報に基づき前記所定の処理を行なった処理時刻の情報を含む第１情報を前記映像信号の送信元の出力装置に一定周期で送信する第１の送信手段を備え、
    前記複数の出力装置は夫々、
    前記複数の出力装置の夫々の映像信号の生成を同期させる同期手段と、
    自機における前記映像信号の生成時刻から前記第１情報に含まれる処理時刻までの遅延時間を算出する算出手段と、
    前記自機が属するネットワークグループの処理装置における前記映像信号に対する前記処理時刻を、前記自機における前記映像信号の生成時刻から所定の遅延時間の後とする第２情報を生成する生成手段と、
    前記生成された第２情報を前記同期情報として前記自機のネットワークグループの処理装置に送信する第２の送信手段と、
    前記第１情報が送信される毎に前記第２情報及び前記第１情報を比較する比較手段と、
    前記比較手段による比較の結果、一定期間以上連続で前記所定の遅延時間よりも前記自機が属するネットワークグループの処理装置の１つである第１の処理装置について算出された前記遅延時間が短い場合、前記所定の遅延時間と前記第１の処理装置について算出された前記遅延時間の差分だけ、前記第２の送信手段による前記第１の処理装置に対する前記映像信号の送信を遅延させる遅延手段とを備え、
    前記生成手段は、前記比較手段による比較の後に生成する前記第２情報を、前記ネットワークグループの処理装置のうち最も前記遅延時間の長い処理装置から受信した第１情報とすることを特徴とする同期制御システム。
  12. 映像信号を同期して生成する複数の出力装置とネットワークを介して接続し、前記複数の出力装置の１つから受信した映像信号に基づく所定の処理を、自機及び前記映像信号の送信元の出力装置が属するネットワークグループの他の処理装置と同期して行うことが可能な処理装置の制御方法であって、
    前記映像信号の受信時刻及び前記映像信号に対して前記所定の処理が行なわれた処理時刻の情報を含む第１情報を前記映像信号の送信元の出力装置に送信する送信ステップと、
    前記ネットワークグループの参照装置における前記第１情報を第２情報として前記映像信号の送信元の出力装置から受信する第１の受信ステップと、
    前記第２情報に基づいて前記映像信号に遅延量を付与し、前記映像信号を受信してから前記所定の処理を行うまでの処理時間を遅延させる遅延ステップと、
    前記映像信号の送信元の出力装置が前記映像信号を生成した時刻を示す生成時刻情報を前記映像信号の送信元の出力装置から受信する第２の受信ステップとを有し、
    前記処理装置が、前記映像信号として、前記複数の出力装置のうちの第１出力装置から第１映像信号、及び前記複数の出力装置のうちの第２出力装置から第２映像信号を受信する場合、前記遅延ステップにおいて、前記第１映像信号及び前記第２映像信号の夫々の前記生成時刻情報、及び前記第１出力装置及び前記第２出力装置の夫々から受信した前記第２情報に基づいて前記第１映像信号及び第２映像信号の夫々に付与する遅延量が補正されることを特徴とする制御方法。
  13. 請求項１２項に記載の制御方法を実行することを特徴とするプログラム。
JP2018121067A 2018-06-26 2018-06-26 処理装置及びその制御方法、出力装置、同期制御システム、並びにプログラム Pending JP2020005063A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018121067A JP2020005063A (ja) 2018-06-26 2018-06-26 処理装置及びその制御方法、出力装置、同期制御システム、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018121067A JP2020005063A (ja) 2018-06-26 2018-06-26 処理装置及びその制御方法、出力装置、同期制御システム、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2020005063A true JP2020005063A (ja) 2020-01-09

Family

ID=69100531

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018121067A Pending JP2020005063A (ja) 2018-06-26 2018-06-26 処理装置及びその制御方法、出力装置、同期制御システム、並びにプログラム

Country Status (1)

Country Link
JP (1) JP2020005063A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021112245A (ja) * 2020-01-16 2021-08-05 株式会社三共 遊技機
CN113472969A (zh) * 2021-06-08 2021-10-01 苏州华兴源创科技股份有限公司 多通道链路同步控制方法、装置和视频图像处理设备

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021112245A (ja) * 2020-01-16 2021-08-05 株式会社三共 遊技機
CN113472969A (zh) * 2021-06-08 2021-10-01 苏州华兴源创科技股份有限公司 多通道链路同步控制方法、装置和视频图像处理设备
CN113472969B (zh) * 2021-06-08 2022-05-10 苏州华兴源创科技股份有限公司 多通道链路同步控制方法、装置和视频图像处理设备

Similar Documents

Publication Publication Date Title
TWI762117B (zh) 動態控制指紋辨識速率以促進媒體內容的時間準確性修訂
US8190680B2 (en) Method and system for synchronization of digital media playback
US10645447B2 (en) Fast channel change method and server, and IPTV system
US9407387B2 (en) Apparatus and method for synchronized transmission of multimedia content over an asynchronous network
US9621682B2 (en) Reduced latency media distribution system
US8526501B2 (en) Decoder and decoding method based on video and audio time information
JP2013026787A (ja) 送信装置、受信システム、通信システム、送信方法、受信方法、及びプログラム
JP2010171697A (ja) 映像配信システム，映像配信装置，及び同期補正処理装置
US10334293B2 (en) Multiplexing apparatus, receiving apparatus, multiplexing method, and delay adjustment method
CN104581188A (zh) 用于ip视频信号同步的方法和装置
CN112584216B (zh) 一种唇音同步方法和装置
JP2020005063A (ja) 処理装置及びその制御方法、出力装置、同期制御システム、並びにプログラム
JP3906712B2 (ja) データストリーム処理装置
US20220360845A1 (en) Reception apparatus, reception method, and transmission and reception system
JP2019211638A (ja) 処理装置、出力装置、同期制御システム、及びこれらの制御方法、並びにプログラム
JP3906678B2 (ja) データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP2015046708A (ja) 通信システム、通信方法、送信側同期信号配信装置、送信側同期制御装置、受信側同期信号配信装置、受信側同期制御装置及びプログラム
JPWO2017038481A1 (ja) 受信装置、データ処理方法、及び、プログラム
JP2020096296A (ja) 出力装置、処理装置、管理装置、制御方法、プログラム、並びに記録媒体
JP2020010298A (ja) 出力装置、同期制御システム、及びこれらの制御方法、並びにプログラム
JP2019213091A (ja) 出力装置、処理装置、同期制御システム、制御方法及びプログラム
US20230034311A1 (en) Communication apparatus, server system, control method for communication apparatus, and storage medium
JP7303670B2 (ja) Ｍｍｔ受信機及びプログラム
JP2010183237A (ja) コンテンツ同期再生システム、コンテンツ同期再生方法、再生端末、再生端末の制御方法、及び制御プログラム
JP2019103087A (ja) 映像配信装置、制御方法及びプログラム