JP2020010298A - 出力装置、同期制御システム、及びこれらの制御方法、並びにプログラム - Google Patents

出力装置、同期制御システム、及びこれらの制御方法、並びにプログラム Download PDF

Info

Publication number
JP2020010298A
JP2020010298A JP2018132627A JP2018132627A JP2020010298A JP 2020010298 A JP2020010298 A JP 2020010298A JP 2018132627 A JP2018132627 A JP 2018132627A JP 2018132627 A JP2018132627 A JP 2018132627A JP 2020010298 A JP2020010298 A JP 2020010298A
Authority
JP
Japan
Prior art keywords
processing
time
video signal
processing devices
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018132627A
Other languages
English (en)
Inventor
和之 飯村
Kazuyuki Iimura
和之 飯村
正則 斉藤
Masanori Saito
正則 斉藤
剛 武樋
Go Takehi
剛 武樋
高士 長谷川
Takashi Hasegawa
高士 長谷川
徳朗 西田
Tokuaki Nishida
徳朗 西田
北村 和也
Kazuya Kitamura
和也 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018132627A priority Critical patent/JP2020010298A/ja
Publication of JP2020010298A publication Critical patent/JP2020010298A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】ネットワークグループの割り当てを適切に行うことができる出力装置、同期制御システム、及びこれらの制御方法、並びにプログラムを提供する。【解決手段】撮像装置100は、映像信号の表示を行う際に遅延を付与する遅延処理部204を有する複数の表示装置200にネットワークIP400を介して、その映像信号の出力と、その遅延量を最小にするためのセッティング情報及びその遅延量を最大にするためのセッティング情報を出力する。表示装置200a〜200cの夫々がその2つのセッティング情報の夫々に基づき映像信号の表示をした際のレポート情報を、表示装置200a〜200cの夫々から取得すると、その取得した各レポート情報に基づき表示装置200a〜200cに対して映像表示同期させるためのネットワークグループを設定する。【選択図】図5

Description

本発明は、ネットワークを介して映像信号を送信する出力装置、同期制御システム、及びこれらの制御方法、並びにプログラムに関する。
映像信号をInternet Protocol(以降はIPと記載する)に変換して、Local Area Network(以降はLANと記載する)ケーブル経由で送受信する技術は、設備の拡張性等の利便性から、今後普及することが想定される。IPで伝送された映像信号を処理する受信装置は、例えば、映像信号を用いて画像を表示する表示装置や、映像信号を記録媒体に記録する記録装置である。また、同一の出力装置から出力された映像信号を、複数の受信装置で受信して処理することが可能である。
特許文献1では、中継装置から複数の端末に画像、音声データを出力し、各端末が取得した画像、音声データ等のコンテンツデータを再生する伝送システムが開示されている。この伝送システムでは、中継装置が各端末と間の伝送の遅延時間を取得し、各端末にコンテンツデータを受信してから再生させるまでに待機する待機時間を設定する。これにより、送信されたコンテンツデータが複数の端末にて再生されるタイミングのばらつきを抑え、同期して再生することができる。
また、特許文献1の伝送システムでは、一部の端末(処理装置)が伝送システムから退出した場合に、再度、残りの端末の遅延時間に基づいて待機時間を設定し直すことがある。退出前の端末のうち最も伝送遅延が大きい端末(参照装置)の再生タイミングに合わせるように他の端末の待機時間を設定していた場合、参照装置が伝送システムから退出したことに応じて、伝送システムの参照装置を新たに設定する。これにより、各端末の待機時間は、新たに設定された参照装置の再生タイミングに合わせて再設定される。
一方、映像信号をIPに非圧縮で変換する方法が、非特許文献1にて開示されている。また、1つの映像送出機(出力装置)の映像信号をIPに変換してLANケーブルで送信し、映像信号を複数の表示装置(処理装置)にて表示する場合に各表示装置間で表示の同期処理を行う方法としてリファレンスとする表示装置(以下、「参照装置」という。)の遅延情報を用いる方法が非特許文献2にて開示されている。
さらに、同期させる複数端末をグループ化させる方法についても、非特許文献1にて開示されている。
すなわち、非特許文献1の技術を用いると、映像送出機は、表示装置のある時点での遅延量の情報を元に、同期可能かどうかの判断を行うこともできる。また、かかる判断結果を元に同期させるための表示装置をまとめたネットワークグループを設定することもできる。
しかしながら、非特許文献1に開示される技術では、表示装置のバッファー能力を推定することはできない。そのため、バッファー能力不足により他の表示装置との同期がとれなくなる可能性のある表示装置が存在しても、その表示装置が他の表示装置と同じネットワークグループに割り当てられてしまう場合がある。
また、非特許文献1に開示される技術では、伝送システムに映像分配装置が含まれる場合、伝送システムの全ての複数端末を考慮してネットワークグループを設定することができない。ここで、映像分配装置とは、SDI(SerialDigitalInterface)に代表される映像出力端子を持ち、映像送出機から映像を受信し、その映像を映像出力端子を介して複数の表示機器へ映像信号を送信する装置である。すなわち、映像分配装置を含む同期制御システムで非特許文献1の技術を用いると、映像送出機は、遅延量の情報を送信する表示装置のみをまとめたネットワークグループに設定する。すなわち、映像分配装置に接続される複数の表示機器は同期させる対象としては考慮されない。
本発明の目的は、ネットワークグループの割り当てを適切に行うことができる出力装置、同期制御システム、及びこれらの制御方法、並びにプログラムを提供することにある。
本発明の請求項1に係る出力装置は、像信号に対して所定の処理を行なう際に遅延を付与するバッファーを備える複数の処理装置に、ネットワークを介して前記映像信号を出力する出力装置において、前記複数の処理装置の夫々が前記映像信号に前記所定の処理を実行する際に前記バッファーにより付与される遅延量を最小にするための目標の遅延時刻である第1目標時刻を含む第1の情報、および、前記複数の処理装置の夫々が前記映像信号に前記所定の処理を実行する際に前記遅延量を最大にするための目標の遅延時刻である第2目標時刻を含む第2の情報を、前記複数の処理装置の夫々に対して出力する出力手段と、前記複数の処理装置の夫々が前記第1目標時刻に従って前記映像信号に対して前記所定の処理を実行するまでの第1の処理時刻、及び、前記複数の処理装置の夫々が前記第2目標時刻に従って前記映像信号に対して前記所定の処理を実行するまでの第2の処理時刻を、前記複数の処理装置の夫々から取得する取得手段と、前記複数の処理装置の夫々から取得した前記第1の処理時刻及び前記第2の処理時刻に基づき、前記複数の処理装置に対して前記映像信号に対する前記所定の処理を同期して行なわせるネットワークグループを設定する設定手段とを備えることを特徴とする。
本発明の請求項7に係る同期制御システムは、映像信号に対して所定の処理を行なう際に遅延を付与する第1のバッファーを備える複数の第1の処理装置と、前記複数の第1の処理装置にネットワークを介して前記映像信号を出力する出力装置とを備える同期制御システムにおいて、前記出力装置は、前記複数の第1の処理装置の夫々が前記映像信号に前記所定の処理を実行する際に前記第1のバッファーにより付与される遅延量を最小にするための目標の遅延時刻である第1の目標時刻を含む第1の情報、および、前記複数の第1の処理装置の夫々が前記映像信号に前記所定の処理を実行する際に前記遅延量を最大にするための目標の遅延時刻である第2の目標時刻を含む第2の情報を、前記複数の第1の処理装置の夫々に対して出力する第1の出力手段と、前記複数の第1の処理装置の夫々が前記第1の目標時刻に従って前記映像信号に対して前記所定の処理を実行するまでの第1の処理時刻、及び、前記複数の第1の処理装置の夫々が前記第2の目標時刻に従って前記映像信号に対して前記所定の処理を実行するまでの第2の処理時刻を、前記複数の第1の処理装置の夫々から取得する取得手段と、前記複数の第1の処理装置の夫々から取得した前記第1の処理時刻及び前記第2の処理時刻に基づき、前記複数の第1の処理装置に対して前記映像信号に対する前記所定の処理を同期して行なわせるネットワークグループを設定する第1の設定手段と、前記複数の第1の処理装置の1つを、前記設定されたネットワークグループの参照装置に決定し、前記参照装置が前記第2の目標時刻に従って前記映像信号に対して前記所定の処理を実行するまでの第2の処理時刻を第3の目標時刻として含む第3の情報を出力する第2の出力手段とを備え、前記複数の第1の処理装置は夫々、前記第1から第3の情報のいずれかを受信したときに、前記受信した情報に含まれる前記第1〜第3の目標時刻のいずれかである目標時刻に従って前記映像信号に対して前記所定の処理を実行するまでの処理時刻を算出する第1の算出手段と、前記第1から第3の情報のいずれかを受信したときに、前記受信した情報を保持する保持手段と、前記算出された処理時刻が前記第1及び第2の目標時刻のいずれかである場合、前記保持される情報のうち前記第3の情報に含まれる前記第3の目標時刻に従って、前記映像信号に対して前記所定の処理を実行するまでの処理時刻を算出する第2の算出手段と、前記第2の算出手段により算出された処理時刻となるよう、前記第1のバッファーにより付与される遅延量を設定する第2の設定手段と、前記第1の算出手段により算出された処理時刻の情報を前記出力装置に送信する第1の送信手段とを備えることを特徴とする。
本発明によれば、ネットワークグループの割り当てを適切に行うことができる。
本発明の第1の実施形態における出力装置としての撮像装置、及び処理装置としての複数の表示装置とからなる、同期制御システムとしての送受信システムの構成図である。 図1における撮像装置が出力するIP化した映像信号のデータ形式を示す模式図である。 図1の送受信システムで用いられるレポート情報及びセッティング情報のデータ形式を示す模式図である。 図1の送受信システムにおける従来の映像表示同期処理の手順を示すシーケンス図である。 図1における撮像装置の機能ブロックを示すブロック図である。 図1における表示装置の機能ブロックを示すブロック図である。 撮像装置で実行される、本発明の第1の実施形態における映像表示同期処理の手順を示すフローチャートである。 本発明の第1の実施形態に係る図7のステップS707でのネットワークグループの決定方法を説明するためのグラフである。 本発明の第2の実施形態における表示装置の機能ブロックを示すブロック図である。 図9の表示装置で実行される、本発明の第2の実施形態における映像表示同期処理の手順を示すフローチャートである。 本発明の第3の実施形態に係る撮像装置の機能ブロックを示すブロック図である。 本発明の第3の実施形態における、同期モードを説明するための図である。 本発明の第3の実施形態に係る図7のステップS707でのネットワークグループの決定方法を説明するためのグラフである。 本発明の第4の実施形態に係る送受信システムの構成図である。 本発明の第4の実施形態に係る映像分配器の機能ブロックを示すブロック図である。 本発明の第4の実施形態に係る撮像装置の機能ブロックを示すブロック図である。 本発明の第4の実施形態に係る図7のステップS707でのネットワークグループの決定方法を説明するためのグラフである。 図15の映像分配器で実行される、本発明の第4の実施形態における映像表示同期処理の手順を示すフローチャートである。
以下、添付の図面を参照して本発明の好適な実施形態について説明する。
<第1の実施形態>
図1は、第1の実施形態における出力装置(撮像装置100)と複数の処理装置(表示装置200a〜200c、以下、これらを総称する場合は表示装置200という。)とからなる送受信システム(同期制御システム)の構成を示す模式図である。撮像装置100と表示装置200a〜200cとの間はIPネットワーク400を介して接続される。
撮像装置100と表示装置200a〜200cとは、それぞれLANケーブル300a〜300d(以下、これらを総称する場合はLANケーブル300という。)と接続し、LANケーブル300a〜300dを介して、IPネットワーク400と接続する。撮像装置100と表示装置200a〜200cとは、LANケーブル300a〜300dとIPネットワーク400とを介して、RTPパケット化された映像信号の送受信を行う。
図1に示す送受信システムでは、RFC7272(https://tools.ietf.org/html/rfc7272)に開示されている方法を用いて、表示装置200a〜200cにおける処理の同期が行われる。同期の方法については、後述する。
撮像装置100は、被写体を撮像して得られた映像信号をIP化して、IPネットワーク400を介して各表示装置200a〜200cに送信する送信装置である。このIP化の方法としては、例えば、RFC4175(https://tools.ietf.org/rfc/rfc4175.txt)に記載される、Real Transport Protocol(RTP)パケットに変換する手段が用いられる。また、撮像装置100は、複数の表示装置200a〜200cが、互いに同期して表示処理を実行可能なように、表示処理のタイミングを示す情報(IDMS Settings Packet、セッティング情報)を出力する。セッティング情報の詳細については後述する。
表示装置200a〜200cは、IPネットワーク400を介して映像信号を受信する受信装置である。また、表示装置200a〜200cは、受信した映像信号に基づいて画像を表示する表示部を備える表示装置である。また、表示装置200a〜200cは、記録機能を有する場合、具体的には、内部に記憶媒体が格納される場合や、外部に記憶装置が接続される場合に、受信した映像信号を記録する記録制御を実行可能な記録制御装置でもある。さらに、表示装置200a〜200cは、映像信号の受信時刻とその映像信号に基づいて画像が表示された時刻と自機が所属するネットワークグループを示すID情報とを示す情報(レポート情報)を出力する。具体的には、RTCP XR IDMS Report Blockがレポート情報として出力される。レポート情報の詳細は後述する。
図2は、撮像装置100が出力するIP化(RTPパケット化)した映像信号のデータ形式を示す模式図である。RTPパケットは、IPヘッダー401、User Datagram Protocol(以降はUDPと記載する)ヘッダー402、RTPヘッダー403、及びRTPペイロード404で構成される。このうち映像信号はRTPペイロード404に格納される。また、1つのRTPパケットには映像信号の1ラインか、2ラインにまたがった情報が含まれ、同じフレームの映像信号には同じタイムスタンプが割り振られ、RTPヘッダー403に格納される。
図3は、図1の送受信システムで用いられるレポート情報およびセッティング情報のデータ形式を示す模式図である。
図3(a)は、表示装置200から送信されるレポート情報500のデータ形式の一部を示す模式図である。
レポート情報500は、グループID情報501、受信時刻情報502、対象信号情報503、および処理時刻情報504を含む。
グループID情報501は同期に関する情報を示すMedia Stream Correlation Identifierである。グループID情報501には、映像表示同期を行うネットワークグループを示すSynchronization Group Identifier(グループ情報)が含まれる。以降、Synchronization Group Identifierを同期グループIDと記載する。図1の送受信システムにおいては、表示装置200a〜200cは、表示処理を同期するため、夫々の同期グループIDは同一の値となる。
対象信号情報503は、レポート情報500が対象とする映像信号(RTPパケット)を特定するための情報である。具体的には対象信号情報503は、RFC4175に記載のRTP Headerのtimestamp(Packet Received RTP timestamp)である。
受信時刻情報502は、表示装置200が対象信号情報503で特定されるRTPパケットを受信した時刻を示す情報である。具体的には受信時刻情報502は、RFC7272で定義されるPacket Received NTP timestampである。
処理時刻情報504は、表示装置200が対象信号情報503で特定されるRTPパケットに基づいて、画像を表示した時刻を示す情報である。具体的には処理時刻情報504は、RFC7272で定義されるPacket Presented NTP timestampである。
図3(b)は、撮像装置100から出力されるセッティング情報600のデータ形式の一部を示す模式図である。セッティング情報600は、グループID情報601、受信時刻情報602、対象信号情報603、および処理時刻情報604を含む。撮像装置100が出力するセッティング情報は、撮像装置100が取得した各表示装置200a〜200cからのレポート情報500のうち、撮像装置100が参照装置として決定した表示装置から受信したレポート情報500である。したがって、セッティング情報600のグループID情報601、受信時刻情報602、対象信号情報603、および処理時刻情報604の詳細は、レポート情報500の同名の情報と同様であるので説明を省略する。
図4は、撮像装置100と表示装置200a〜200cとで構成される送受信システムにおける従来の同期制御処理の手順を示すシーケンス図である。
撮像装置100と各表示装置200との間の接続がIPネットワーク400を介して確立する(ステップS400a〜S400c)。
各表示装置200は、表示処理の同期をとるためのネットワークグループを示す同期グループIDを決定する(ステップS401a〜S401c)。各表示装置200が参加するネットワークグループは、各表示装置200a〜200cに対して予め設定されている情報に基づいて、各表示装置200が決定する。なお、ステップS400a〜S400cの接続の確立と、ステップS401a〜S401cの同期グループIDの決定は、順序が前後してもよい。
各表示装置200は、撮像装置100に対して、それぞれ任意の映像信号に対するレポート情報500を生成し、撮像装置100に出力する(ステップS402a〜S402c)。以下、各表示装置200からのレポート情報500を、レポート情報500a〜500cとも記載する。
撮像装置100は、各表示装置200から出力されたレポート情報500a〜500cを受信する。その後、その受信したレポート情報500a〜500cに基づき、表示装置200a〜200cのいずれかを参照装置として決定する(ステップS403)。
撮像装置100は、参照装置として決定した表示装置から受信したレポート情報500を、セッティング情報600(第3の情報)として、各表示装置200に出力する(ステップS404a〜S404c)。
各表示装置200は、受信したセッティング情報600に記載された受信時刻情報602と、処理時刻情報604(第3の目標時刻)とに基づいて、各表示装置200における表示処理の処理時間を調整する(ステップS405a〜S405c)。具体的には、各表示装置200は、受信したセッティング情報600に記載された処理時刻情報604で示される処理時刻Taと、受信したセッティング情報600の対象とする映像信号を自機が処理した処理時刻Tbとの差を算出する。そして、その算出された差から、参照装置と処理を同期するために処理時刻を遅延するための調整量(遅延量)を取得する。各表示装置200は、取得した遅延量が処理時間に加算されるように表示処理を制御する。
以上の処理により、各表示装置200において、撮像装置100から出力された映像信号が同期して表示される。
なお、各表示装置200からのレポート情報500の送信は、一定周期で行われる。レポート情報の送信は、所定の期間内に少なくとも1回以上実行されるように、各表示装置200で制御されてもよい。また、撮像装置100は、各表示装置200からレポート情報500を所定回数以上受信したことに応じて、セッティング情報を出力する。これにより、周期的、または断続的に同期制御が実行され、各表示装置200への伝送時間や処理時間が変動した場合でも、同期を継続することが可能となる。
以下、本実施形態では、本発明の出力装置としての撮像装置100は、本発明の処理装置としての各表示装置200の夫々のバッファー能力を考慮して、適切にネットワークグループの決定を行う。ここで、各表示装置200の夫々のバッファー能力とは、後述する図6中のバッファー部207によって付与可能な遅延量を指す。
このため撮像装置100は、各表示装置200に対し、バッファー能力推定のための特殊なセッティング情報を送信する。次に撮像装置100は、その特殊なセッティング情報に対して各表示装置200が返送するレポート情報の値から、各表示装置のバッファー能力を推定する。撮像装置100は、この推定したバッファー能力に基づき、各表示装置200のネットワークグループへの割当てを行う。
図5は、撮像装置100の機能ブロックを示すブロック図である。撮像装置100は、撮像部101、パケット生成部102、通信部103、参照装置決定部104、情報生成部105、制御部106、記憶部107、映像判定部108、同期決定部109、及び送信時刻記憶部110を備える。
撮像部101は、被写体を撮影して映像信号を生成する。撮像部101は、光学像が入力されるレンズ、レンズを制御するレンズ制御システム、レンズに入力された光学像から画像データを生成する撮像センサを含む。また、撮像部101は、撮像センサが出力した映像信号に対して、所定の画像処理を行う画像処理部を備えていてもよい。撮像部101は、取得した映像信号をパケット生成部102に出力する。
パケット生成部102は、撮像部101から送出された映像信号をIP化、より具体的には、RTPパケット化する。パケット生成部102は、RTPパケット化された映像信号を、通信部103に出力する。パケット生成部102は、図2で示したようなデータ形式に映像信号をRTPパケット化する。
通信部103は、LANケーブル300に接続し、IPネットワーク400を介して信号を送受信するための通信インターフェースである。通信部103は、パケット生成部102から受信したRTPパケット化された映像信号を、IPネットワーク400を介して、各表示装置200a〜200cに出力する。この時、通信部103は、送信したRTPパケット化された映像信号を特定するための情報と当該映像信号を送信した時刻とを関連付けた送信時刻情報を、送信時刻記憶部110に格納する。ここで、送信したRTPパケット化された映像信号を特定するための情報は、RFC4175に記載のRTP Headerのtimestamp(Packet Received RTP timestamp)である。
また、通信部103は、IPネットワーク400を介して、各表示装置200a〜200cからレポート情報500a〜500cを取得し、レポート情報500a〜500cを参照装置決定部104および情報生成部105に出力する。通信部103は、IPネットワーク400を介して、各表示装置200a〜200cに、情報生成部105から取得したセッティング情報600を出力する。
参照装置決定部104は、同一のネットワークグループに含まれる各表示装置200a〜200cから受信したレポート情報500に基づいて、表示装置200a〜200cの1つを参照装置に決定する。参照装置決定部104は、受信したレポート情報500の対象信号情報503が示す映像信号に対応する送信時刻を送信時刻記憶部110から取得する。次に、参照装置決定部104は、取得した送信時刻と受信したレポート情報500の処理時刻情報504が示す処理時刻(表示時刻)との差分を算出する。すなわち、参照装置決定部104は、映像信号が撮像装置100から送信されてからレポート情報500を送信した表示装置200で表示されるまでの時間(遅延量)を算出する。参照装置決定部104は、表示装置200a〜200cのうち、この算出された遅延量が最も大きい表示装置を参照装置として決定し、その決定された参照装置を情報生成部105に通知する。
情報生成部105は、参照装置決定部104で決定された参照装置から受信したレポート情報500に基づいてセッティング情報600を生成する。情報生成部105は、参照装置から受信したレポート情報500をセッティング情報600として、通信部103に出力する。なお、情報生成部105は、レポート情報500を受信する毎に、そのレポート情報の同期グループIDとしてEmptyが記載されているか否かを判断する。情報生成部105は、Emptyが記載されていると判断した場合、当該レポート情報500を送信した表示装置200に対してEmptyでない任意のネットワークグループを示す同期グループIDを付加したセッティング情報600を生成する。
制御部106は、不図示のバスを介して撮像装置100の各機能ブロックに接続し、その動作を制御するプロセッサである。制御部106は、Central Processing Unit(CPU)である。制御部106は、記憶部107からプログラムやパラメータを読み出して実行することにより、撮像装置100の各機能ブロックの動作を制御する。また、制御部106は、撮像装置100の各機能ブロックの一部もしくはすべての動作をプログラムを実行することによって実現してもよい。
記憶部107は、撮像装置100の動作のためのプログラム、パラメータ、およびデータを記憶する記憶媒体である。記憶部107は、例えば、不揮発性の記憶媒体である。なお、記憶部107は、揮発性の記憶媒体および不揮発性の記憶媒体を複合して用いるものであってもよい。
映像判定部108は、撮像部101が生成し、これから送信する数フレーム分の映像信号の差分を検出し、その数フレーム分の映像変化の度合い(フレーム間の変化量)を算出し、その変化量が基準値未満か判定する(映像変化量算出手段)。判定結果は後述の情報生成部105でのセッティング情報作成処理に用いられる。
同期決定部109は、通信部103で受信したレポート情報の情報と、後述の送信時刻記憶部110で記憶した情報を元に、ネットワークグループを決定する。ネットワークグループの決定方法については、図9で説明する。
送信時刻記憶部110は、通信部103で送信したRTPパケットのタイムスタンプと、そのRTPパケットを送信した時刻と、を記憶する記憶部である。尚、送信時刻記憶部110は、記憶部107の一部記憶領域で構成されるようにしてもよい。
図6は、表示装置200の機能ブロックを示すブロック図である。表示装置200は、通信部201、ジッタ吸収部202、復号部203、遅延処理部204、信号処理部205、表示部206、処理時間取得部208、受信時刻取得部209、及び表示時刻取得部210を備える。表示装置200はさらに、レポート生成部211、セッティング取得部212、参照装置判定部213、遅延量算出部214、制御部216、記憶部217、及び入力切替部218を備える。
通信部201は、LANケーブル300に接続し、IPネットワーク400を介して信号を送受信するための通信インターフェースである。通信部201は、受信したRTPパケット化された映像信号をジッタ吸収部202に出力する。この時、通信部201は、RTPパケット化された映像信号を受信した受信時刻と、対応するRTPパケット化された映像信号を特定する情報とを、受信時刻取得部209に出力する。尚、表示装置200cについては、図1に示すように、撮像装置100a,100bの夫々からの映像信号をLANケーブル300cを介して受信する。よって、この場合は、図6に示すように、通信部201とジッタ吸収部202の間に設けられた入力切替部218によりその受信する一方の映像信号のみがジッタ吸収部202に送信される。
通信部201は、レポート生成部211から取得したレポート情報500を、IPネットワーク400を介して撮像装置100に出力する。また、通信部201は、IPネットワーク400を介して、撮像装置100からセッティング情報600を取得し、セッティング情報600をセッティング取得部212に出力する。
ジッタ吸収部202は、LANケーブル300と、接続するIPネットワーク400の通信ジッタにより生じるRTPパケットの受信時のジッタを伝搬させないようにするためのジッタ吸収バッファである。
復号部203は、RTPパケット化された映像信号を復号する。
遅延処理部204は、メモリを備え、復号部203で復元された映像信号をメモリに一時的に蓄え、映像信号に遅延量を付与することで、映像信号を受信してから表示部206で画像を表示するまでの処理時間を遅延させる。これにより、表示部206における画像表示のタイミングを調整して、他の表示装置の表示と同期させることが可能となる。尚、遅延量は、後述する遅延量算出部214から取得する。
信号処理部205は、遅延処理部204により遅延量が付与された映像信号に対して、補正などの信号処理を行う。信号処理部205は、信号処理を施した映像信号を表示部206に出力する。
表示部206は、取得した映像信号に基づいて画像を表示する表示装置である。例えば、表示部206は、有機ELディスプレイモジュールである。表示部206は、外部の表示装置に映像信号を出力して、表示デバイスに画像を表示させる映像出力端子であってもよい。表示部206は、RTPパケット化された映像信号に基づいて画像を表示した(表示処理を実行した)表示時刻と対応するRTPパケット化された映像信号を特定する情報とを表示時刻取得部210に出力する。
処理時間取得部208は、ジッタ吸収部202と、復号部203と、信号処理部205とにおける各処理時間を取得し、取得した各処理時間を遅延量算出部214に通知する。
受信時刻取得部209は、RTPパケット化された映像信号を受信した受信時刻と対応するRTPパケット化された映像信号を特定する情報とを取得して、図6において不図示の信号線を介して記憶部217に格納する。
表示時刻取得部210は、RTPパケット化された映像信号に基づいて画像を表示した(表示処理を実行した)表示時刻と対応するRTPパケット化された映像信号を特定する情報とを取得して、記憶部217に格納する。
レポート生成部211は、図6において不図示の信号線を介して記憶部217から、対象とするRTPパケット化された映像信号を示す情報(RTP timestamp)と、対応する受信時刻および表示時刻を読み出す。また、レポート生成部211は、予め設定された同期グループの同期グループIDを記憶部217から読み出す。レポート生成部211は、対象とするRTPパケット化された映像信号を示す情報(RTP timestamp)と、対応する受信時刻および表示時刻と、読み出した同期グループIDとに基づいて、レポート情報500を生成する。レポート生成部211は、レポート情報500を通信部201に出力する。通信部201は、レポート情報500を、IPネットワーク400を介して撮像装置100に出力する。また、レポート生成部211は、記憶部217に出力したレポート情報500を格納する。
セッティング取得部212は、通信部201を介して、撮像装置100が送信するセッティング情報600を取得する。セッティング取得部212は、セッティング情報を参照装置判定部213と遅延量算出部214とに出力する。
参照装置判定部213は、受信したセッティング情報600と、記憶部217に記憶された送信済みのレポート情報500とを比較する。受信したセッティング情報600に一致する送信済みのレポート情報500が存在する場合、表示装置200が同期グループにおける参照装置であると判定する。参照装置判定部213は、判定結果を記憶部217に格納すると共に遅延量算出部214に通知する。
遅延量算出部214は、遅延処理部204で映像信号に付与する遅延量を決定する。遅延量算出部214は、参照装置判定部213が、表示装置200が同期グループにおける参照装置であると判定した場合、遅延量を0とする。遅延処理部204で付与する遅延量を決定する。遅延量算出部214は、参照装置判定部213が、表示装置200が同期グループにおける参照装置でないと判定した場合、セッティング情報600に基づいて遅延量を決定する。具体的には、遅延量算出部214は、セッティング情報600の対象信号情報603に基づいて対象とするRTPパケット化された映像信号を特定し、対応する処理時刻情報604に基づいて参照装置における表示時刻Taを取得する。また、遅延量算出部214は、記憶部217から特定されたRTPパケット化された映像信号に基づいて、表示部206で画像が表示された表示時刻Tbを取得する。遅延量算出部214は、表示時刻Taと表示時刻Tbとの差を遅延量として決定する。
制御部216は、不図示のバスを介して表示装置200に接続しその各機能ブロックの動作を制御するプロセッサである。制御部216は、Central Processing Unit(CPU)である。制御部216は、記憶部217からプログラムやパラメータを読み出して実行することにより、表示装置200の各機能ブロックの動作を制御する。また、制御部216は、表示装置200の各機能ブロックの一部もしくはすべての動作を、記憶部217から読み出したプログラムを実行することによって実現してもよい。
記憶部217は、表示装置200の動作のためのプログラム、パラメータ、およびデータを記憶する記憶媒体である。記憶部217は、例えば、不揮発性の記憶媒体である。なお、記憶部217は、揮発性の記憶媒体および不揮発性の記憶媒体を複合して用いるものであってもよい。
入力切替部218は、撮像装置100から出力され通信部201が受信した映像信号のうち、制御部216により表示部206への表示対象に指定された映像信号を選択し、ジッタ吸収部202に送信する。
図1の送受信システムによれば、撮像装置100aから出力された映像信号を各表示装置200a〜200cで同期して表示することが可能となる。また、レポート情報500の送受信と、それに応答するセッティング情報600の送受信および遅延量制御は、所定の周期で実行される。これにより、各表示装置200a〜200cにおける処理時間が変動した場合においても、表示の同期を維持することが可能となる。
図1の送受信システムでは、参照装置として決定された表示装置が同期グループを離脱した等の何らかの理由で参照装置の処理時刻が変動した場合、同期グループの他の表示装置の遅延量がその変動に対応するように調整される。
図7は、撮像装置100で実行される、本発明の第1の実施形態における映像表示同期処理の手順を示すフローチャートである。本処理は、撮像装置100の通信部103により各表示装置200a〜200cに映像信号の送信が行われている間、繰り返し行われる。
ステップS701では、映像判定部108が、撮像部101が生成した、送信前の映像信号の所定期間のフレームにおける映像の変化量(フレーム差分)を取得し、数値化する。
ステップS702では、まず映像判定部108が、上述のように数値化した変化量が所定の基準値未満かどうかを判定し、判定結果を情報生成部105に送信する。情報生成部105では変化量が基準値未満の場合は、ステップS703の処理に移行し、変化量が基準値以上の場合はステップS708の処理に移行する。情報生成部105は、各表示装置200a〜200cの遅延処理部204のメモリのバッファー能力を推定するために、後述のステップS703,S705で、各表示装置200a〜200cの表示遅延を極端に変更させる2つのセッティング情報を生成する。尚、かかる2つのセッティング情報が送信されることにより各表示装置200a〜200cでは映像のチラツキが発生する可能性がある。従って、映像のチラツキを抑制させるべく、見た目の変化の少ない映像(例えば、静止画など)を表示している間に、ステップS703,S705を行うことが望ましい。よってステップS702の判定動作が行われる。すなわち、バッファー能力の推定そのものは、ステップS702で行わなくても達成することができる。
ステップS703では、情報生成部105が、各表示装置200a〜200cにおける遅延量を最小にするセッティング情報を作成する。そしてその作成したセッティング情報を、通信部103がLANケーブル300を介して各表示装置200a〜200cに送信する。
このセッティング情報は、図3(b)の処理時刻情報604に示す時刻を対象信号情報603が示すRTPパケットの送信時刻とする。尚、各表示装置200a〜200cにおける遅延量を最小にする目標遅延時刻(第1目標遅延時刻)がステップS703においてセッティング情報に設定されるのであれば本実施形態に限定されない。例えば、ここで設定される処理時刻情報604に示す時刻を処理時刻情報604として設定可能な下限値としてもよい。
このステップS703におけるセッティング情報の送信があったとき、各表示装置200a〜200cは、図3のステップS308,S311,S314において遅延処理部204で映像信号に付与する遅延量をゼロに設定する。すなわち遅延付与を行わない。これにより、新たに撮像装置100から送信された映像信号の表示を、各表示装置200a〜200cは最小の遅延で行う。
ステップS704では、情報生成部105が、ステップS703で作成したセッティング情報に対応する、各表示装置200a〜200cからのレポート情報を、LANケーブル300及び通信部103を介して受信する。
ステップS705では、情報生成部105が、各表示装置200a〜200cにおける遅延量を最大にするセッティング情報を作成する。そしてその作成したセッティング情報を、通信部103がLANケーブル300を介して各表示装置200a〜200cに送信する。
ここで作成されるセッティング情報とは、本実施形態においては図2(b)の処理時刻情報604に示す時刻を、設定可能な上限値に設定したセッティング情報である。尚、各表示装置200a〜200cにおける遅延量を最大にする目標遅延時刻(第2目標遅延時刻)がステップS705においてセッティング情報に設定されるのであれば本実施形態に限定されない。例えば、ここで設定される処理時刻情報604に示す時刻を前回送付したセッティング情報における時刻に基づき算出するようにしてもよい。
このステップS705におけるセッティング情報の送信があったとき、各表示装置200a〜200cは、図3のステップS308,S311,S314において遅延処理部204で映像信号に付与する遅延量をそのバッファー能力の最大量に設定する。すなわち最大限の遅延付与を行う。これにより、新たに撮像装置100から送信された映像信号の表示を、各表示装置200a〜200cは最大の遅延で行う。
ステップS706では、通信部103が、ステップS705で作成・送信したセッティング情報に対応する、各表示装置200a〜200cからのレポート情報を、LANケーブル300及び通信部103を介して受信する。
ステップS707では、同期決定部109が、ステップS704,S706で通信部103が受信したレポート情報に基づき、後述の方法でネットワークグループを決定する。またその決定された各ネットワークグループについて、ステップS704,S706で通信部103が受信したレポート情報に基づき、参照装置決定部104が参照装置を決定する。
ステップS708では、情報生成部105が、ステップS707で決定されたネットワークグループ及び参照装置のレポート情報に基づき、セッティング情報を作成する。そしてその作成されたセッティング情報を、通信部103がLANケーブル300を介して各表示装置200a〜200cに送信する。ステップS702から直接ステップS708に移行した場合には、前回受信したレポート情報の情報を元にセッティング情報が作成され、各表示装置200a〜200cに送信される。尚、ステップS702から直接ステップS708に進んだ場合は、図4に示す従来の同期制御処理と同様の方法でステップS708のセッティング情報が作成される。
ステップS709では、通信部103が、ステップS708で作成・送信したセッティング情報に対する各表示装置200a〜200cからのレポート情報をLANケーブル300を介して受信した後、本処理を終了する。
次に、図8を用いて、本発明の第1の実施形態に係る図7のステップS707でのネットワークグループの決定方法について説明する。
図8(a)の上部の凡例に示すように、各表示装置200a〜200cの遅延量は、ネットワーク遅延、処理遅延、及び意図的遅延を合計した量となる。ここで、ネットワーク遅延は、RTPパケットが撮像装置100より送信されてから、各表示装置200a〜200cで受信されるまでの時間であり、図1のIPネットワーク400で発生する遅延である。処理遅延は、各表示装置200a〜200cにおいて、RTPパケットが受信されてから各種の信号処理が完了するまでの時間であり、図6のジッタ吸収部202、復号部203、及び信号処理部205で発生する遅延である。意図的遅延は、図6の信号処理部205での処理完了から、表示部206に表示がされるまでの時間であり、遅延処理部204で意図的に付加される可変な遅延である。
図8(a)は、撮像装置100が、図7のステップS703で、遅延量を最小にするセッティング情報(第1の情報)を送信した際の、各表示装置200a〜200cにおける遅延量を示したグラフである。ここで送信されるセッティング情報の処理時刻情報604が示す時刻(第1目標時刻)は、対象信号情報603が示すRTPパケット送信時刻と一致させる。各表示装置200a〜200cは、遅延処理部204による遅延の付与を行わずに最小遅延で映像表示を行うため、各表示装置200a〜200cにおける遅延量の内訳は、ネットワーク遅延と、処理遅延のみとなる。
図8(b)は、撮像装置100が、図7のステップS705で、遅延量を最大にするセッティング情報(第2の情報)を送信した際の、各表示装置200a〜200cにおける遅延量を示したグラフである。ここで送信されるセッティング情報の処理時刻情報604が示す時刻(第2目標時刻)は、RTPパケット送信時刻よりも十分遅い時刻、本実施形態ではRTPパケット送信時刻の1000ms後の時刻に設定される。各表示装置200a〜200cは、遅延処理部204による遅延付与を最大限に行い、最大遅延で映像表示を行うため、各表示装置200a〜200cにおける遅延量の内訳は、ネットワーク遅延と、処理遅延と、意図的遅延となる。
同期決定部109は、図8(a)の遅延量(第1の最短遅延処理時刻)と図8(b)の遅延量(第1の最長遅延処理時刻)から表示装置200a〜200cのバッファー能力の推定、すなわち意図的遅延の可変幅の算出を行う。この算出の結果、例えば図8(b)に示すように、RTPパケット送信の40ms後から50ms後までの期間において、表示装置200a,200bは意図的遅延の可変幅の重複期間があることが判明する。撮像装置100が、この重複期間内に映像表示が行われるように図2(b)の処理時刻情報604を設定したレポート情報を送信すれば、表示装置200a,200bは映像表示同期を行うことができる。一方、この算出の結果、例えば図8(b)に示すように、表示装置200a,200bとの間には、意図的遅延可変幅の重複期間がないことが判明する。すなわち、撮像装置100が、いかなる値の処理時刻情報504を設定したレポート情報を送信しても、表示装置200a,200bとで映像表示同期を行うことはできない。表示装置200a,200cについても同様の理由で映像表示同期を行うことはできない。
よって、図8(c)の通り、撮像装置100の同期決定部109は、表示装置200a,200bをネットワークグループ801に、表示装置200cは単独でネットワークグループ802に組み入れる決定をする。この決定に基づき、情報生成部105は、表示装置200a,200bに送信するセッティング情報の同期グループIDと、表示装置200cに送信するセッティング情報の同期グループIDを異なる値に設定する。
ネットワークグループを決定後、撮像装置100の参照装置決定部104は、参照装置の決定を行う。参照装置は各ネットワークグループにおいて、ネットワーク遅延と処理遅延の合計遅延量が最大のものを選択する。ネットワーク遅延と処理遅延を合計した量は、前述の通り、図7のステップS703で遅延量を最小にするセッティング情報を送信した際の、各表示装置200a〜200cにおける遅延量である。従って、図8の例では、ネットワークグループ801の参照装置としては表示装置200aが選択され、ネットワークグループ802の参照装置としては表示装置200cが選択される。
以上説明したとおり、第1の実施形態では、撮像装置100は各表示装置200a〜200cのバッファー能力を取得するとともに、バッファー能力を考慮したネットワークグループの決定を行う。また、決定された同一のネットワークグループに属する表示装置の間で映像表示同期を行うことが可能となる。
(第2の実施形態)
以下、本発明の第2の実施形態について説明する。尚、本実施形態において、第1の実施形態と同一の構成については同一の符号を付し、重複した説明は省略する。
第1の実施形態では、本発明の出力装置としての撮像装置100がバッファー能力を推定するためのセッティング情報を本発明の処理装置としての各表示装置200a〜200cに送信する。このため、各表示装置200a〜200cにおいて映像のチラツキが発生する可能性がある。従って、バッファー能力を推定するためのセッティング情報の送信は、撮像装置100でこれから送信する映像信号の変化量が少ないときにのみ行っている(図7のステップS701,S702)。
これに対し、第2の実施形態では、各表示装置200a〜200cは、受信したセッティング情報が通常のセッティング情報か、バッファー能力を推定するためのセッティング情報かを判断し、判断結果に応じて適切に表示遅延の設定を行う。そのため、撮像装置100が、図7のステップS701,S702の動作を行なわずにバッファー能力推定のためのセッティング情報送信を行っても、各表示装置200a〜200cの側での映像のチラツキを防ぐことが可能となる。
第2の実施形態の説明においては、送受信システムの構成は第1の実施形態と同様であるので説明を省略する。また、撮像装置100の構成及び動作も第1の実施形態と同様であるので説明を省略する。
以降では、第1の実施形態と異なる、表示装置200a〜200cの構成及び動作について説明する。
図9は、第2の実施形態における、表示装置200aの機能ブロックを示すブロック図である。
尚、図6に示す、第1の実施形態における表示装置200aの構成と同一の構成について同一の符号を付し、重複した説明は省略する。第2の実施形態における表示装置200aは、セッティング記憶部901を備える点で第1の実施形態における表示装置200aと異なる。また、表示装置200b,200cの構成は、図9に示す表示装置200aと同様の構成であるため、同様の構成については以下同一の符号を付し、重複した説明は省略する。
セッティング記憶部901は、セッティング取得部212が受信したセッティング情報を所定期間保持しておく記憶部である。遅延量算出部214は、必要に応じて、セッティング記憶部901に記憶された、過去のセッティング情報を参照する。詳細は後述する。
図10は、表示装置200aで実行される本発明の第2の実施形態における映像表示同期処理の手順を示すフローチャートである。本処理は、撮像装置100の通信部103により各表示装置200a〜200cに映像信号の送信が行われている間、繰り返し行われる。尚、表示装置200b,200cにおいても図10と同様の映像表示同期処理が実行される。
ステップS1001では、セッティング取得部212が、LANケーブル300及び通信部201を介して、撮像装置100が送信したセッティング情報を受信する。
ステップS1002では、セッティング取得部212が、受信したセッティング情報をセッティング記憶部901に記憶保持させる。
ステップS1003では、遅延量算出部214が、ステップS1002でセッティング取得部212が受信したセッティング情報より、遅延処理部204で映像信号に付与すべき遅延量を算出する。また、この算出した量の遅延量を付加した際の映像信号の表示時刻T(標準処理時刻)を算出する。
ステップS1004では、遅延量算出部214が、遅延処理部204で映像信号に遅延量の付与を行わない場合の表示時刻Tminを算出し、これとステップS1003で算出した表示時刻Tとを比較する。T=TminであればステップS1014に移行し、T>TminであればステップS1005に移行する。撮像装置100が遅延量を最小にするセッティング情報を表示装置200a〜200cに送信した場合(図7のステップS703)、ステップS1014に移行することになる。
ステップS1005では、遅延量算出部214が、遅延処理部204での映像信号への遅延付与を最大限に行った場合の表示時刻Tmaxを算出し、これとステップS1003で算出した表示時刻Tとを比較する。T=TmaxであればステップS1010に移行し、T<TmaxであればステップS1006に移行する。具体的には、ステップS1001で受信したセッティング情報が図7のステップS705で送信された遅延量を最大にするセッティング情報である場合、ステップS1010に移行する。一方、ステップS1001で受信したセッティング情報がステップS702で変化量が基準値以上であった場合のセッティング情報である場合、ステップS1006に移行する。
ステップS1006では、遅延処理部204が、ステップS1003で算出された遅延量をステップS1002で受信したレポート情報の対象信号情報503で特定されるRTPパケットの映像信号に付与する。
ステップS1007では、表示部206が、ステップS1006で遅延処理部204が遅延量を付与した映像信号を取得し、表示部206で映像表示する。
ステップS1008では、まずステップS1007における映像信号の表示部206での表示時刻を表示時刻取得部210が取得する。次にその表示された映像信号が格納されていたRTPパケットの受信時刻を受信時刻取得部209から取得する。そして、取得した表示時刻及び受信時刻に基づきレポート生成部211がレポート情報を作成し、ステップS1009に進む。
ステップS1009では、通信部201が、ステップS1008(又は後述するステップS1013,S1017のいずれか)で作成したレポート情報を、LANケーブル300を介して撮像装置100に送信し、本処理を終了する。
ステップS1010では、遅延量算出部214が、セッティング記憶部901から、前回受信したセッティング情報を取得し、その情報に基づき遅延量を算出する。尚、前回のセッティング情報とは、セッティング記憶部901で保持されるセッティング情報のうち、ステップS703,S705で送信されるセッティング情報ではないと特定された情報(第3の情報)を指す。尚、各表示装置200a〜200bにおいてかかる特定ができるのであれば、その方法は特に限定されるものではない。例えば、撮像装置100が図7の映像表示同期処理を行なう前に、かかる処理を行なう旨を各表示装置200a〜200bに通知するようにしてもよい。これにより、各表示装置200a〜200はその通知の直前に受信したセッティング情報を前回のセッティング情報として特定することができる。
ステップS1011では、遅延処理部204が、ステップS1010で算出された遅延量をステップS1002で受信したレポート情報の対象信号情報503で特定されるRTPパケットの映像信号に付与する。
ステップS1012は、ステップS1007と、同様の処理であるため、説明は省略する。
ステップS1013では、まずステップS1012で表示部206において表示された映像信号が格納されていたRTPパケットの受信時刻を受信時刻取得部209が取得する。次に、その取得した受信時刻と、ステップS1005で算出した表示時刻Tmaxとに基づき、レポート生成部211がレポート情報を作成し、ステップS1009に進む。
ステップS1014〜S1016は、ステップS1010〜S1012と、同様の処理であるため、説明は省略する。
ステップS1017では、まずステップS1016で表示部206において表示された映像信号が格納されていたRTPパケットの受信時刻を受信時刻取得部209が取得する。次に、その取得した受信時刻と、ステップS1004で算出した表示時刻Tminに基づきレポート生成部211がレポート情報を作成し、ステップS1009に進む。
以上第2の実施形態では、撮像装置100がこれから送信する映像信号の変化量が多いときにバッファー能力推定のためのセッティング情報を送信したとしても、各表示装置200a〜200cは映像のチラツキを発生させずに映像信号を表示再生できる。
(第3の実施形態)
以下、本発明の第3の実施形態について説明する。尚、本実施形態において、第1の実施形態と同一の構成については同一の符号を付し、重複した説明は省略する。
第1の実施形態では、意図的遅延の可変幅が重複する、本発明の処理装置としての表示装置200a〜200cのグループ化を行っている。しかし、送受信システムが置かれた状況やユーザの目的によっては、第1の実施形態に示す方法以外の方法でのグループ化が望ましい場合もある。
第3の実施形態では、撮像装置100は、ユーザが選択したグループ化のモードに応じて、ネットワーク遅延の変動に対応可能なグループ化や、低遅延表示を優先するグループ化など、第1の実施形態とは異なる方法でのグループ化を行う。
送受信システムの構成は、第1の実施形態と同様であるが、表示装置200a〜200cに加えて、さらに本発明の処理装置としての表示装置200d,200eの2台がネットワークIP400上に接続された構成での例で説明を行う。各表示装置200a〜200eの構成は図6の表示装置200aと同様である。一方、撮像装置100の構成は、詳細を後述するように、第1の実施形態と異なる。
図11は、本発明の第3の実施形態に係る撮像装置100の機能ブロックを示すブロック図である。
尚、図5に示す、第1の実施形態における撮像装置100の構成と同一の構成について同一の符号を付し、重複した説明は省略する。第3の実施形態における撮像装置100は、操作部1101を備える点で第1の実施形態における撮像装置100と異なる。
操作部1101は、ユーザからの同期モードの選択入力を受け付ける入力インターフェイス部である。同期モードとして、「同期台数優先モード」、「安定性優先モード」、「低遅延モード」の3種類のモードがユーザ選択可能である。ユーザの選択結果の情報は、同期決定部109に通知される。
同期決定部109は、操作部1101で受け付けたユーザにより選択入力された同期モードに応じて、異なる同期条件でのネットワークグループの決定をおこなう。図12に、3つの同期モードと、そのモードでのグループ化条件を示している。
次に、図13を用いて、本発明の第3の実施形態に係る図7のステップS707でのネットワークグループの決定方法について説明を行う。
図13(a)の上部の凡例に示す「ネットワーク及び処理遅延」は、図8(a)の上部の判例に示す「ネットワーク遅延」と「処理遅延」を合計した遅延である。図13(a)の上部の凡例に示す「意図的遅延」は図8の「意図的遅延」と同一の遅延を指す。図13(a)は「同期台数優先モード」、図13(b)は「安定性優先モード」、図13(c)「低遅延モード」での、グループ化決定方法を示している。
以降では、モード毎にグループ化決定方法を説明する。
図13(a)に示す同期台数優先モードは、第1の実施形態と同じグループ化決定方法である。図12に示すように、意図的遅延可変幅の重複期間がある表示装置同士をグループ化の対象とする方式である。図13(a)の例では、撮像装置100の同期決定部109は、表示装置200a〜200cを一つのグループに、表示装置200d,200eを別の一つのグループに割り当てる。このモードはできるだけ多くの表示装置をネットワークグループ化したい場合に有効である。
図13(b)に示す安定性優先モードは、図12に示すように意図的遅延可変幅の重複期間があり、かつその重複期間が所定の期間より長い(ここでは10msより長い)となるような表示装置同士をグループ化の対象とする方式である。図13(b)の例では、撮像装置100の同期決定部109は、表示装置200a,200bを一つのグループに、表示装置200cを別の単独グループに、表示装置200d,200eをさらに別の一つのグループに割り当てる。図13(a)の同期台数優先モードの場合と異なり、表示装置200b,200cは意図的遅延の可変幅に重複期間がある。しかし重複期間が8msで、条件の「重複期間が10msより長い事」を満たさないため、別のグループに割り当てられることとなる。
このモードは、IPネットワーク400が公衆IP回線である場合等、ネットワーク遅延が変動する可能性がある場合に有効である。図13(b)の例で、グループ決定後に、表示装置200bにおいて20msのネットワーク遅延が追加で発生した場合を考える。表示装置200bのネットワーク及び処理遅延は34msから54msに増えるが、表示装置200aは24ms、表示装置200bは0msの遅延付与を、遅延処理部204において行うことによって、グループ内での表示装置同士の同期を維持できる。
図13(c)に示す低遅延モードは、図12に示すように意図的遅延の可変幅に重複期間があり、かつネットワーク及び処理遅延の差が所定値未満(ここでは5ms未満)となる表示装置同士をグループ化の対象とする方式である。図13(c)の例では、撮像装置100の同期決定部109は、表示装置200a,200bを一つのグループに割り当て、表示装置200c〜200eについては、夫々単独のグループに割り当てる。図13(a)の同期台数優先モードの場合と異なり、表示装置200b,200cは意図的遅延の可変幅に重複期間がある。しかし、ネットワーク及び処理遅延時間に16msの差があり、追加条件の「ネットワーク及び処理遅延時間の差異が5ms未満であること」を満たさないため、別のグループに割り当てられることとなる。
このモードは、撮影現場などで、撮影者が、肉眼映像と、表示装置に表示されたカメラ撮影映像を、両方同時に見る必要がある場合などに有効である。なるべく遅延処理部204で付与する遅延量を抑えて低遅延で表示する事を目的とするが、もし遅延処理部204で付与する遅延量を抑えた状態で表示同期を取ることができる複数の表示装置があれば、それらをグループ化するモードである。
以上説明したとおり、第3の実施形態では、撮像装置100は、ユーザが選択した同期モードに応じて送受信システム内の各表示装置200a〜200eに対してネットワークグループを割り当てる。このため、ネットワーク遅延の変動に対応可能なグループ化や、低遅延表示を優先するグループ化など、第1の実施形態とは異なるグループ化の決定が可能となる。
(第4の実施形態)
以下、本発明の第4の実施形態について説明する。尚、本実施形態において、第1の実施形態と同一の構成については同一の符号を付し、重複した説明は省略する。
第3の実施形態では、本発明の出力装置としての撮像装置100と、本発明の処理装置としての複数の表示装置200a〜200eからなる送受信システムにおける表示装置同士のグループ化について述べた。第4の実施形態では、さらに本発明の映像送受信装置としての映像分配器とその映像分配器に接続する、本発明の処理装置としての複数の表示装置を含む送受信システムにおける表示装置のグループ化について述べる。
図14は、本発明の第4の実施形態にかかる送受信システムの構成図である。
送受信システムの構成は、第1の実施形態と同様であるが、映像分配器1400、表示装置1402a〜1402c、LANケーブル300e、SDIケーブル1401a〜1401cを更に備える点で異なる。
映像分配器1400は、複数の出力端子を有する映像分配器である。LANケーブル300eから入力されるRTPパケットによって伝送された映像信号を処理し、複数の出力端子の夫々に接続した表示装置1402a〜1402cへ映像信号を送信(分配)する装置である。詳細は後述する。
表示装置1402a〜1402cは、SDIモニターである。SDIケーブル1401a〜1401cを介してSDI形式で入力された映像分配器1400からの映像信号を表示する。尚、表示装置1402a〜1402cにおいても、映像分配器1400から映像信号を受信した時刻からその映像信号を表示するまでの間に表示遅延が生じる。但し、第1〜3の実施形態において上述した、表示装置200a〜200eの撮像装置100からRTPパケットを受信した時刻からそのRTPパケットに格納される映像信号を表示するまでの表示遅延と比較するとその遅延量は極めて少ない。表示装置1402a〜1402cは表示装置200a〜200eにおけるジッタ吸収部202や復号部203による遅延が発生しないためである。よって本実施形態においては、かかる極めて少ない遅延量は無視する。
尚、表示装置200a〜200cの構成及び動作は、第3の実施形態と同様であるので説明を省略する。以降では、第3の実施形態と異なる、映像分配器1400及び撮像装置100の構成及び動作について説明する。
図15は、第4の実施形態に係る映像分配器1400の機能ブロックを示すブロック図である。
以下、映像分配器1400の内部構成に関しては、図6に示す、第1の実施形態における表示装置200aの構成と同一の構成について同一の符号を付し、重複した説明は省略する。映像分配器1400は、表示部206及び表示時刻取得部210の代わりに、映像送信部1501a〜1501c、送信時刻取得部1502、操作部1503を備える点で第1の実施形態における表示装置200aと異なる。
映像送信部1501a〜1501cは、FPGA等で構成されるSDI形式変換回路、75Ωケーブルドライバーで構成されるSDI形式出力回路、及び、BNC端子で構成される外部出力端子を備える。遅延処理部204により遅延量が付加された映像信号は、SDI形式でその外部出力端子に出力され、SDIケーブル1401a〜1401cを介して表示装置1402a〜1402cで受信される。
送信時刻取得部1502は、受信時刻取得部209で受信時刻を取得したRTPパケットと同一の受信時刻となるRTPパケットに格納される映像信号の映像送信部1501a〜1501cからの映像送信時刻を取得する。この映像送信時刻は、RTPパケットの受信時刻とSDI信号のタイムコード情報の相関関係に基づき取得される。尚、RTPパケットの受信時刻に対して映像送信時刻が一定の遅延とみなすことができる場合がある。かかる場合は、不図示の情報記録部に予め記憶した遅延時間を読み出してRTPパケットの受信時刻にその遅延時間を加味した時刻を映像送信時刻として算出してもよい。そして、送信時刻取得部1502は、取得した映像送信時刻をレポート生成部211へ通知する。レポート生成部211は図3(a)に示すレポート情報500の処理時刻情報504に取得した映像送信時刻を記載する。
操作部1503(分配数取得手段)は、ユーザ操作に応じて決定された映像分配器1400の出力端子の数を取得しレポート生成部211へ分配数として通知する。図15の例では分配数は「3」と決定される。この分配数は、ユーザ操作に応じて決定するのではなく不図示の情報記録部から予め記憶した分配数を読み出すことにより取得されてもよい。例えば、操作部1503は映像送信部1501a〜1501cの夫々を有効化及び無効化の一方に切替える画面を表示する場合がある。かかる場合、操作部1503はユーザにより有効化され映像送信部の数を検出し、その検出された数をレポート生成部211に通知する分配数としてもよい。また、操作部1503はユーザ操作に応じて映像送信部1501a〜1501cのうち外部の表示装置の接続されている数の検出を行い、その検出された数を分配数としてもよい。
図18は、映像分配器1400で実行される、本発明の第4の実施形態における映像表示同期処理の手順を示すフローチャートである。本処理は、撮像装置100から表示装置200a〜200c及び映像分配器1400への映像信号の送信が行われている間、繰り返し行われる。また、本処理において、図10の、第2の実施形態における複数の表示装置200a〜200cの夫々で実行される映像表示同期処理と実行主体は異なるが実行される内容は同様のステップについては同一のステップ番号を付し、重複した説明は省略する。
以降では、図10の処理と異なるステップS1007a〜S1009a,S1012a〜S1013a,S1016a,S1017aについて説明する。
ステップS1007aでは、映像送信部1501aが、ステップS1006で遅延処理部204で遅延量が付与された映像信号を取得し、その出力端子へ送信する。ステップS1012a,S1016aでも同様の方法で映像信号の取得・送信を行う。
ステップS1008aでは、まずステップS1007aにおける映像信号の映像送信部1501aでの映像出力時刻を送信時刻取得部1502が取得する。尚、映像送信部1501b,1501cでの映像出力時刻は上記取得される時刻とほぼ同時刻となるためステップS1008aにおいては取得されない。次にその出力された映像信号が格納されていたRTPパケットの受信時刻を受信時刻取得部209から取得する。そして、取得した映像出力時刻及び受信時刻に基づきレポート生成部211がレポート情報を作成しステップS1009aに進む。尚、上述したように、映像信号が、映像分配器1400から送信されてから各表示装置1402a〜1402cで表示されるまでの遅延量は極めて少ない。よって、ここで作成されたレポート情報は表示装置1402a〜1402cにおける映像信号の表示時刻等を示すレポートとして用いられる。
ステップS1013aでは、まずステップS1012aで映像送信部1501aから出力された映像信号が格納されていたRTPパケットの受信時刻を受信時刻取得部209が取得する。次に、その取得した受信時刻と、ステップS1005で算出した最大遅延表示時刻Tmaxとに基づき、レポート生成部211がレポート情報を作成し、ステップS1009aに進む。
ステップS1017aでは、まずステップS1016aで映像送信部1501aから出力された映像信号が格納されていたRTPパケットの受信時刻を受信時刻取得部209が取得する。次に、その取得した受信時刻と、ステップS1004で算出した映像信号に遅延量の付与を行わない場合の表示時刻Tminとに基づき、レポート生成部211がレポート情報を作成し、ステップS1009aに進む。
ステップS1009aでは、通信部201が、ステップS1008a,S1013a,S1017aのいずれかで作成したレポート情報を、LANケーブル300を介して撮像装置100に送信し、本処理を終了する。このとき、通信部201は、同一のレポート情報を操作部1503より取得した分配数の回数送信する。本実施形態では、分配数は映像送信部1501a〜1501cの数である「3」であるため、同一のレポート情報を3回送付する。すなわち、かかる送信により、映像分配器1400は、表示装置1402a〜1402cに撮像装置100からの映像信号が分配されていることを撮像装置100に通知する。
図16は、第4の実施形態に係る撮像装置100の機能ブロックを示すブロック図である。
尚、図11に示す、第3の実施形態における撮像装置100の構成と同一の構成について同一の符号を付し、重複した説明は省略する。第4の実施形態における撮像装置100は、同一レポート判断部1601を備える点で第3の実施形態における撮像装置100と異なる。
同一レポート判断部1601は、通信部103で受信したレポート情報が同一レポートであるか否かを判断する。同一レポートである場合は、同期決定部109へ通知する。
同期決定部109は、第3の実施形態と同様、第4の実施形態においてもユーザによって選択された同期モードに応じて、異なる条件でのグループの決定を行う。但し、以下説明する図17では、同期台数優先モードがユーザにより選択されている場合における、本発明の第4の実施形態に係る図7のステップS707でのネットワークグループ決定方法について説明する。
図17に示すように、同期台数優先モードでは、同期決定部109は、表示装置200a,200bを一つのネットワークグループとし、表示装置200cと映像分配器1400に接続する表示装置1402a〜1402cを一つのネットワークグループとする。すなわち、映像分配器1400は図18のステップS1009aにおいて同一のレポート情報を3回送付しているため、撮像装置100の同期決定部109は映像分配器1400側の表示装置の台数が3台であると判定する。
また、第4の実施形態では、同一レポート判断部1601が同一のレポート情報と判断したレポートの全てを、同期決定部109は等しく1台分の表示装置からのレポートと判断したがかかる方法に限定されない。例えば、同一レポート判断部1601が同一のレポート情報と判断したレポートについては、それぞれを1台未満、例えば0.5台分の表示装置からのレポートとみなすべく、分配数に所定の重み付けを同期決定部109が行なってもよい。
また、第4の実施形態では、映像分配器1400自体では撮像装置100からの映像信号の表示を行うことなく、複数の表示装置1402a〜1402cにその映像信号の表示を行わせる場合について説明したが、かかる構成に限定されない。例えば、映像分配器1400にも、図9の表示部206に相当する表示部が備わっており、この表示部により撮像装置100からの映像信号を表示するようにしてもよい。但しこの場合は、通信部201は、分配数(本実施例では「3」)インクリメントさせ、4回の同一のレポート情報をステップS1009aにおいて送付する。
また、第4の実施形態では、ステップS1009aで通信部201は、分配数(本実施例では「3」)だけ同一のレポート情報を送付したが、かかる構成に限定されない。例えば、通信部201は、ステップS1009aで分配数だけ送付するレポート情報は、同一のレポートではなく、表示装置1402a〜1402cの夫々属性が付されたレポート情報としてもよい。またこの場合、その属性に応じて分配数に所定の重み付けを同期決定部109が行なってもよい。
以上説明したとおり、第4の実施形態では、送受信システムに外部出力を持つ映像分配器が存在する場合に、外部出力に接続される表示装置をネットワークグループ内の台数として考慮することが可能となる。よって、ユーザが選択した同期モードに応じて送受信システム内の全ての表示装置を適切にグループ化することが可能となる。
[その他の実施例]
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、装置に供給することによっても、達成されることは言うまでもない。このとき、供給された装置の制御部を含むコンピュータ(またはCPUやMPU)は、記憶媒体に格納されたプログラムコードを読み出し実行する。
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。
また、上述のプログラムコードの指示に基づき、装置上で稼動しているOS(基本システムやオペレーティングシステム)などが処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施形態の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行う。
100 撮像装置
200a〜200c 表示装置
400 IPネットワーク
109 同期決定部
204 遅延処理部
1101 操作部
1400 映像分配器
1402a〜1402c 表示装置
1501a〜1501c 映像送信部
1502 送信時刻取得部
1503 操作部
1601 同一レポート判断部

Claims (14)

  1. 映像信号に対して所定の処理を行なう際に遅延を付与するバッファーを備える複数の処理装置に、ネットワークを介して前記映像信号を出力する出力装置において、
    前記複数の処理装置の夫々が前記映像信号に前記所定の処理を実行する際に前記バッファーにより付与される遅延量を最小にするための目標の遅延時刻である第1目標時刻を含む第1の情報、および、前記複数の処理装置の夫々が前記映像信号に前記所定の処理を実行する際に前記遅延量を最大にするための目標の遅延時刻である第2目標時刻を含む第2の情報を、前記複数の処理装置の夫々に対して出力する出力手段と、
    前記複数の処理装置の夫々が前記第1目標時刻に従って前記映像信号に対して前記所定の処理を実行するまでの第1の処理時刻、及び、前記複数の処理装置の夫々が前記第2目標時刻に従って前記映像信号に対して前記所定の処理を実行するまでの第2の処理時刻を、前記複数の処理装置の夫々から取得する取得手段と、
    前記複数の処理装置の夫々から取得した前記第1の処理時刻及び前記第2の処理時刻に基づき、前記複数の処理装置に対して前記映像信号に対する前記所定の処理を同期して行なわせるネットワークグループを設定する設定手段とを備えることを特徴とする出力装置。
  2. 前記映像信号としてこれから出力する所定期間のフレーム間の変化量を算出する映像変化量算出手段を更に備え、
    前記変化量が所定の基準値未満である場合に、前記出力手段は前記第1及び第2の情報を前記複数の処理装置の夫々に対して送信することを特徴とする請求項1記載の出力装置。
  3. 前記設定手段は、前記複数の処理装置のうち、前記第1及び第2の処理時刻の間の期間が重複する処理装置を同一の前記ネットワークグループに設定する第1のモードを備えることを特徴とする請求項1又は2記載の出力装置。
  4. 前記設定手段は、前記複数の処理装置のうち、前記第1及び第2の処理時刻の間の期間が重複し、且つ前記重複する期間が所定の期間より長い処理装置を同一の前記ネットワークグループに設定する第2のモードを備えることを特徴とする請求項3記載の出力装置。
  5. 前記設定手段は、前記複数の処理装置のうち、前記第1及び第2の処理時刻の間の期間が重複し、かつ前記第1の処理時刻の差が所定値未満である処理装置を同一の前記ネットワークグループに設定する第3のモードを備えることを特徴とする請求項3又は4記載の出力装置。
  6. 前記設定手段は、前記第1〜第3のモードの1つをユーザ選択可能に表示することを特徴とする請求項5記載の出力装置。
  7. 映像信号に対して所定の処理を行なう際に遅延を付与する第1のバッファーを備える複数の第1の処理装置と、前記複数の第1の処理装置にネットワークを介して前記映像信号を出力する出力装置とを備える同期制御システムにおいて、
    前記出力装置は、
    前記複数の第1の処理装置の夫々が前記映像信号に前記所定の処理を実行する際に前記第1のバッファーにより付与される遅延量を最小にするための目標の遅延時刻である第1の目標時刻を含む第1の情報、および、前記複数の第1の処理装置の夫々が前記映像信号に前記所定の処理を実行する際に前記遅延量を最大にするための目標の遅延時刻である第2の目標時刻を含む第2の情報を、前記複数の第1の処理装置の夫々に対して出力する第1の出力手段と、
    前記複数の第1の処理装置の夫々が前記第1の目標時刻に従って前記映像信号に対して前記所定の処理を実行するまでの第1の処理時刻、及び、前記複数の第1の処理装置の夫々が前記第2の目標時刻に従って前記映像信号に対して前記所定の処理を実行するまでの第2の処理時刻を、前記複数の第1の処理装置の夫々から取得する取得手段と、
    前記複数の第1の処理装置の夫々から取得した前記第1の処理時刻及び前記第2の処理時刻に基づき、前記複数の第1の処理装置に対して前記映像信号に対する前記所定の処理を同期して行なわせるネットワークグループを設定する第1の設定手段と、
    前記複数の第1の処理装置の1つを、前記設定されたネットワークグループの参照装置に決定し、前記参照装置が前記第2の目標時刻に従って前記映像信号に対して前記所定の処理を実行するまでの第2の処理時刻を第3の目標時刻として含む第3の情報を出力する第2の出力手段とを備え、
    前記複数の第1の処理装置は夫々、
    前記第1から第3の情報のいずれかを受信したときに、前記受信した情報に含まれる前記第1〜第3の目標時刻のいずれかである目標時刻に従って前記映像信号に対して前記所定の処理を実行するまでの処理時刻を算出する第1の算出手段と、
    前記第1から第3の情報のいずれかを受信したときに、前記受信した情報を保持する保持手段と、
    前記算出された処理時刻が前記第1及び第2の目標時刻のいずれかである場合、前記保持される情報のうち前記第3の情報に含まれる前記第3の目標時刻に従って、前記映像信号に対して前記所定の処理を実行するまでの処理時刻を算出する第2の算出手段と、
    前記第2の算出手段により算出された処理時刻となるよう、前記第1のバッファーにより付与される遅延量を設定する第2の設定手段と、
    前記第1の算出手段により算出された処理時刻の情報を前記出力装置に送信する第1の送信手段とを備えることを特徴とする同期制御システム。
  8. 映像信号を出力する際に遅延を付与する第2のバッファーを備え、ネットワークを介して前記出力装置から前記映像信号を受信した際に、複数の第2の処理装置の夫々に前記映像信号を分配する映像送受信装置を更に備え、
    前記映像送受信装置は、
    前記映像信号の分配数を取得する分配数取得手段と、
    前記第1の目標時刻に従って前記映像信号を出力するまでの時刻を前記第1の処理時刻として前記取得した分配数の回数送信する第2の送信手段と、
    前記第2の目標時刻に従って前記映像信号を出力するまでの時刻を第2の処理時刻として前記取得した分配数の回数送信する第3の送信手段とを備えることを特徴とする請求項7記載の同期制御システム。
  9. 前記分配数取得手段は、前記映像送受信装置が前記映像信号に対して前記所定の処理を行なう処理手段を備える場合、前記取得した分配数の値をインクリメントさせることを特徴とする請求項8記載の同期制御システム。
  10. 前記出力装置は、前記分配数に所定の重み付けを行った数を前記複数の第2の処理装置の台数とみなすことを特徴とする請求項8又は9記載の同期制御システム。
  11. 前記映像送受信装置は、前記複数の第2の処理装置の夫々の属性を送信する第4の送信手段を更に備え、
    前記出力装置は、前記複数の第2の処理装置の夫々の属性に応じて前記分配数に所定の重み付けを行った数を前記複数の第2の処理装置の台数とみなすことを特徴とする請求項8又は9記載の同期制御システム。
  12. 映像信号に対して所定の処理を行なう際に遅延を付与するバッファーを備える複数の処理装置に、ネットワークを介して前記映像信号を出力する出力装置の制御方法において、
    前記複数の処理装置の夫々が前記映像信号に前記所定の処理を実行する際に前記バッファーにより付与される遅延量を最小にするための目標の遅延時刻である第1目標時刻を含む第1の情報、および、前記複数の処理装置の夫々が前記映像信号に前記所定の処理を実行する際に前記遅延量を最大にするための目標の遅延時刻である第2目標時刻を含む第2の情報を、前記複数の処理装置の夫々に対して出力する出力ステップと、
    前記複数の処理装置の夫々が前記第1目標時刻に従って前記映像信号に対して前記所定の処理を実行するまでの第1の処理時刻、及び、前記複数の処理装置の夫々が前記第2目標時刻に従って前記映像信号に対して前記所定の処理を実行するまでの第2の処理時刻を、前記複数の処理装置の夫々から取得する取得ステップと、
    前記複数の処理装置の夫々から取得した前記第1の処理時刻及び前記第2の処理時刻に基づき、前記複数の処理装置に対して前記映像信号に対する前記所定の処理を同期して行なわせるネットワークグループを設定する設定ステップとを有することを特徴とする制御方法。
  13. 映像信号に対して所定の処理を行なう際に遅延を付与する第1のバッファーを備える複数の第1の処理装置と、前記複数の第1の処理装置にネットワークを介して前記映像信号を出力する出力装置とを備える同期制御システムの制御方法において、
    前記出力装置において、
    前記複数の第1の処理装置の夫々が前記映像信号に前記所定の処理を実行する際に前記第1のバッファーにより付与される遅延量を最小にするための目標の遅延時刻である第1の目標時刻を含む第1の情報、および、前記複数の第1の処理装置の夫々が前記映像信号に前記所定の処理を実行する際に前記遅延量を最大にするための目標の遅延時刻である第2の目標時刻を含む第2の情報を、前記複数の第1の処理装置の夫々に対して出力する第1の出力ステップと、
    前記複数の第1の処理装置の夫々が前記第1の目標時刻に従って前記映像信号に対して前記所定の処理を実行するまでの第1の処理時刻、及び、前記複数の第1の処理装置の夫々が前記第2の目標時刻に従って前記映像信号に対して前記所定の処理を実行するまでの第2の処理時刻を、前記複数の第1の処理装置の夫々から取得する取得ステップと、
    前記複数の第1の処理装置の夫々から取得した前記第1の処理時刻及び前記第2の処理時刻に基づき、前記複数の第1の処理装置に対して前記映像信号に対する前記所定の処理を同期して行なわせるネットワークグループを設定する第1の設定ステップと、
    前記複数の第1の処理装置の1つを、前記設定されたネットワークグループの参照装置に決定し、前記参照装置が前記第2の目標時刻に従って前記映像信号に対して前記所定の処理を実行するまでの第2の処理時刻を第3の目標時刻として含む第3の情報を出力する第2の出力ステップとを有し、
    前記複数の第1の処理装置の夫々において、
    前記第1から第3の情報のいずれかを受信したときに、前記受信した情報に含まれる前記第1〜第3の目標時刻のいずれかである目標時刻に従って前記映像信号に対して前記所定の処理を実行するまでの処理時刻を算出する第1の算出ステップと、
    前記第1から第3の情報のいずれかを受信したときに、前記受信した情報を保持する保持ステップと、
    前記算出された処理時刻が前記第1及び第2の目標時刻のいずれかである場合、前記保持される情報のうち前記第3の情報に含まれる前記第3の目標時刻に従って、前記映像信号に対して前記所定の処理を実行するまでの処理時刻を算出する第2の算出ステップと、
    前記第2の算出ステップにおいて算出された処理時刻となるよう、前記第1のバッファーにより付与される前記遅延量を設定する第2の設定ステップと、
    前記第1の算出ステップにおいて算出された処理時刻の情報を前記出力装置に送信する第1の送信ステップとを有することを特徴とする制御方法。
  14. 請求項12又は13に記載の制御方法を実行することを特徴とするプログラム。
JP2018132627A 2018-07-12 2018-07-12 出力装置、同期制御システム、及びこれらの制御方法、並びにプログラム Pending JP2020010298A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018132627A JP2020010298A (ja) 2018-07-12 2018-07-12 出力装置、同期制御システム、及びこれらの制御方法、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018132627A JP2020010298A (ja) 2018-07-12 2018-07-12 出力装置、同期制御システム、及びこれらの制御方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2020010298A true JP2020010298A (ja) 2020-01-16

Family

ID=69152419

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018132627A Pending JP2020010298A (ja) 2018-07-12 2018-07-12 出力装置、同期制御システム、及びこれらの制御方法、並びにプログラム

Country Status (1)

Country Link
JP (1) JP2020010298A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111711842A (zh) * 2020-05-18 2020-09-25 深圳市东微智能科技股份有限公司 同步显示控制方法、装置及计算机可读存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111711842A (zh) * 2020-05-18 2020-09-25 深圳市东微智能科技股份有限公司 同步显示控制方法、装置及计算机可读存储介质

Similar Documents

Publication Publication Date Title
TWI762117B (zh) 動態控制指紋辨識速率以促進媒體內容的時間準確性修訂
KR102484054B1 (ko) 프레임적으로 정확한 컨텐츠 수정을 용이하게 하기 위해, 낮은 레이트 핑거프린팅을 사용하는 보간을 기반으로 하는 시간 맵핑의 확립 및 사용
US20120050613A1 (en) Method of synchronization, corresponding system and device
KR102469142B1 (ko) 미디어 스트림 재생들 사이를 트랜지션하는 동안 트랜지션 프레임들의 동적 재생
KR100902013B1 (ko) 타일드 디스플레이 시스템 및 상기 시스템에서의 동기화방법
KR102566550B1 (ko) 복수의 커넥티드 장치 간 디지털 콘텐츠의 재생 동기화를 맞추는 방법 및 이를 이용한 장치
CN111147906B (zh) 同步播放系统及同步播放方法
JP7181989B2 (ja) 新規コンテンツを取得する際の予想待ち時間に基づくコンテンツ修正の事前準備
JP2010536250A (ja) 表示デバイス及び携帯デバイスへのコンテンツの同期通信のための装置、システム及び方法
JP2017050609A (ja) 映像処理システム、映像処理装置、映像処理プログラム、及び映像処理方法
JP2020010298A (ja) 出力装置、同期制御システム、及びこれらの制御方法、並びにプログラム
WO2019085243A1 (zh) 一种音视频数据播放方法以及服务器和客户端
JP2016005214A (ja) ネットワークシステム、車載システム、時刻同期方法、ノードおよびプログラム
JP6565382B2 (ja) 情報処理方法及び動画データ送信システム
JP2020005063A (ja) 処理装置及びその制御方法、出力装置、同期制御システム、並びにプログラム
CN114466145B (zh) 视频处理方法、装置、设备和存储介质
KR101724430B1 (ko) Led 영상 장치의 동기화 장치 및 방법
JP2019211638A (ja) 処理装置、出力装置、同期制御システム、及びこれらの制御方法、並びにプログラム
WO2021140950A1 (ja) コンテンツ配信システムおよびコンテンツ配信方法、並びにプログラム
KR20190118002A (ko) 멀티비전 시스템 및 동기화 방법
JP4364619B2 (ja) 複数映像時刻同期表示端末、複数映像時刻同期表示方法、プログラム、および記録媒体
JP2020096296A (ja) 出力装置、処理装置、管理装置、制御方法、プログラム、並びに記録媒体
JP2004194094A (ja) 画像配信システム,画像配信方法および画像配信プログラム
JP2020107924A (ja) 処理装置、同期制御システム、及びこれらの制御方法、並びにプログラム
WO2022269723A1 (ja) 同期制御を行う通信システム、その同期制御方法、受信サーバ及び同期制御プログラム