JP2013026748A - Multimedia content synchronization system and method - Google Patents

Multimedia content synchronization system and method Download PDF

Info

Publication number
JP2013026748A
JP2013026748A JP2011158408A JP2011158408A JP2013026748A JP 2013026748 A JP2013026748 A JP 2013026748A JP 2011158408 A JP2011158408 A JP 2011158408A JP 2011158408 A JP2011158408 A JP 2011158408A JP 2013026748 A JP2013026748 A JP 2013026748A
Authority
JP
Japan
Prior art keywords
delay
multimedia content
sound
side system
control information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011158408A
Other languages
Japanese (ja)
Other versions
JP5595348B2 (en
Inventor
Tomoko Sawabe
知子 澤邉
Tatsuya Fujii
竜也 藤井
Naohisa Ota
直久 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Keio University
Original Assignee
Nippon Telegraph and Telephone Corp
Keio University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, Keio University filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2011158408A priority Critical patent/JP5595348B2/en
Publication of JP2013026748A publication Critical patent/JP2013026748A/en
Application granted granted Critical
Publication of JP5595348B2 publication Critical patent/JP5595348B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To synchronize media between video and sound, as well as synchronize the timing of illumination switching, etc. as will be needed to arrange multimedia content for effect.SOLUTION: The present invention is devised in such a way that by transmitting an arrangement control signal and a delay measurement sound from a transmitting ground side to a receiving ground side system, an instruction is given to measure delays in content and arrangement control information, and the receiving ground side measures delays in content and arrangement control information on the basis of the delay measurement sound received from the transmitting ground side and transmits delay values to the transmitting ground side. The transmitting ground side adds the delay values acquired from the receiving ground side to the arrangement control information of the content, and transmits arrangement control information which has had the content and the delay values added thereto to the receiving ground side. The receiving ground side receives the arrangement control information which has had the content and the delay values added thereto from the transmitting ground side to reproduce the content.

Description

本発明は、マルチメディアコンテンツ同期システム及び方法に係り、特に、ネットワークに接続された複数地点の映像コンテンツ（蓄積ならびにライブのコンテンツ）を互いに共有、または、コンテンツ自身をライブで製作して協調動作を行う応用において、映像や音と照明の切替などのタイミングが、コンテンツ制作者の意図に合うように適切な時間遅れを保ちながら同期し、または、これらの信号（映像や音と照明の切替など）がコンテンツ視聴者に適切な範囲で同期して到達するように調整するための計測と制御の仕組みを有するマルチメディアコンテンツ同期システム及び方法に関する。   The present invention relates to a multimedia content synchronization system and method, and more particularly, to share video content (stored and live content) at a plurality of points connected to a network with each other, or to produce the content itself live and perform a cooperative operation. In the application to be performed, the timing of switching between video and sound and lighting is synchronized while maintaining an appropriate time delay to suit the content creator's intention, or these signals (such as switching between video and sound and lighting) The present invention relates to a multimedia content synchronization system and method having a measurement and control mechanism for adjusting the content viewer to synchronize and reach the content viewer within an appropriate range.

従来、映像コンテンツを再生する場合、特にネットワークで他地点から送信する場合、映像送信に関わるシステムの要素の処理時間などにより、映像と音の周期が、オリジナルのコンテンツにおける時間関係からずれてしまう問題があった。   Conventionally, when playing video content, especially when sending from other points on the network, the period of video and sound deviates from the time relationship in the original content due to the processing time of system elements involved in video transmission. was there.

これはいわゆるリップシンクといわれ、通常は映像処理時間の方が音の処理時間より長いために、音を遅延させる必要がある。   This is called so-called lip sync, and since the video processing time is usually longer than the sound processing time, it is necessary to delay the sound.

送信側から映像と音を同期して伝送し、受信側では映像と音の出力時の遅延差を計測し、計測した遅延分、受信側のサウンドシステムに計測した遅延差を遅延させることによって同期を実現してきた（例えば、特許文献1参照）。   Video and sound are transmitted synchronously from the sending side, and the receiving side measures the delay difference when outputting the video and sound, and synchronizes by delaying the measured delay difference to the receiving sound system. Has been realized (see, for example, Patent Document 1).

近年、ネットワークにより複数地点との高精細なコンテンツ共有や、遠隔協調作業、双方向ライブパフォーマンスなどの応用が注目されている。このような状況から、単にリップシンクだけでなく、照明の切替などのタイミングが、映像、音と容易に同期できる仕組みが必要となる。   In recent years, applications such as high-definition content sharing with multiple points, remote collaborative work, and interactive live performance have attracted attention over the network. Under such circumstances, a mechanism is required that can easily synchronize not only the lip sync but also the timing of lighting switching with video and sound.

特開平１０−２８５４８３号公報Japanese Patent Laid-Open No. 10-285483

上記のように、従来はマルチメディアコンテンツを演出するための制御をマルチメディアコンテンツと容易に同期する仕組みが存在しなかった。   As described above, conventionally, there has been no mechanism for easily synchronizing control for rendering multimedia content with multimedia content.

本発明は、上記の点に鑑みなされたもので、映像と音のメディア同期のみでなく、マルチメディアコンテンツを演出するために必要となる照明の切替などのタイミングが、容易に同期することが可能なマルチメディアコンテンツ同期システム及び方法を提供することを目的とする。   The present invention has been made in view of the above points, and it is possible to easily synchronize not only the video and sound media synchronization, but also the timing of lighting switching required to produce multimedia content. It is an object of the present invention to provide a multimedia content synchronization system and method.

上記の課題を解決するため、本発明（請求項１）は、ネットワークにより接続された送信地側システムと受信地側システム間において、マルチメディアコンテンツを演出するための制御を該マルチメディアコンテンツと同期させるためのマルチメディアコンテンツ同期システムであって、
前記送信地側システムは、
遅延測定用の音と演出制御情報を前記受信地側システムに送信することで、マルチメディアコンテンツと演出制御情報の遅延の測定を指示する遅延測定指示手段と、
前記受信地側システムから取得した遅延値を該マルチメディアコンテンツの演出制御情報に付加し、該マルチメディアコンテンツと、該遅延値を付加した演出制御情報を該受信地側システムに送信する遅延制御手段と、
を有し、
前記受信地側システムは、
前記送信地側システムから受信した前記遅延測定用の音と前記演出制御情報に基づいて、前記マルチメディアコンテンツと演出制御情報との遅延を測定し、測定結果である前記遅延値を該送信地側システムに送信する遅延値測定手段と、
前記送信地側システムから前記マルチメディアコンテンツと前記遅延値を付加された前記演出制御情報を受信し、該演出制御情報に基づいて該マルチメディアコンテンツを再生する再生手段と、を有する。 In order to solve the above problems, the present invention (Claim 1) synchronizes the control for rendering multimedia content between the transmission side system and the reception side system connected by a network with the multimedia content. A multimedia content synchronization system for
The transmission side system is:
Delay measurement instruction means for instructing measurement of delay of multimedia content and effect control information by transmitting delay measurement sound and effect control information to the reception-side system;
Delay control means for adding the delay value acquired from the receiving location side system to the presentation control information of the multimedia content, and transmitting the multimedia content and the presentation control information added with the delay value to the receiving location side system When,
Have
The receiving side system is:
Based on the delay measurement sound and the presentation control information received from the transmission destination side system, the delay between the multimedia content and the presentation control information is measured, and the delay value as a measurement result is set to the transmission destination side. A delay value measuring means for transmitting to the system;
Receiving means for receiving the multimedia content and the effect control information to which the delay value is added from the transmission side system, and reproducing the multimedia content based on the effect control information.

また、本発明（請求項２）は、前記遅延測定指示手段に、
前記演出制御情報と、当該送信地側システムの被制御装置を操作することにより発生する遅延測定用の音Aを前記受信地側システムに送信する手段を含み、
前記遅延値測定手段は、
前記遅延測定用の音Ａを音声出力手段から出力すると共に、前記演出制御情報を当該受信地側システムの被制御装置に出力すると同時に音Ｂを発生させ、該音Ａと該音Ｂが出力された時間差を計測し、その差を前記遅延値とする手段を含む。 The present invention (Claim 2) provides the delay measurement instruction means to
Means for transmitting the production control information and the delay measurement sound A generated by operating the controlled device of the transmission side system to the reception side system;
The delay value measuring means includes
The sound A for delay measurement is output from the sound output means, and the sound control information is output to the controlled device of the receiving side system, and at the same time, the sound B is generated, and the sound A and the sound B are output. Means for measuring the time difference and setting the difference as the delay value.

また、本発明（請求項３）は、前記演出制御信号は、照明装置を制御するための照明制御信号、または、オーディオシステムを制御するための特殊効果サウンドを含む。   In the present invention (Claim 3), the effect control signal includes a lighting control signal for controlling a lighting device or a special effect sound for controlling an audio system.

本発明（請求項４）は、ネットワークにより接続された送信地側システムと受信地側システム間において、マルチメディアコンテンツを演出するための制御を該マルチメディアコンテンツと同期させるためのマルチメディアコンテンツ同期方法であって、
前記送信地側システムは、
遅延測定指示手段が、遅延測定用の音と演出制御情報を前記受信地側システムに送信することで、マルチメディアコンテンツと演出制御情報の遅延の測定を指示する遅延測定指示ステップと、を行い、
前記受信地側システムは、
遅延値測定手段が、前記送信地側システムから受信した前記遅延測定用の音と前記演出制御情報に基づいて、前記マルチメディアコンテンツと演出制御情報との遅延を測定し、測定結果である前記遅延値を該送信地側システムに送信する遅延値測定を行い、
前記送信地側システムは、
遅延制御手段が、前記受信地側システムから取得した前記遅延値を該マルチメディアコンテンツの演出制御情報に付加し、該マルチメディアコンテンツと該遅延値を付加した演出制御情報を該受信地側システムに送信する遅延制御ステップを行い、
前記受信地側システムは、
再生手段が、前記送信地側システムから前記マルチメディアコンテンツと前記遅延値を付加された前記演出制御情報を受信し、該演出制御情報に基づいて該マルチメディアコンテンツを再生する再生ステップを行う。 The present invention (Claim 4) provides a multimedia content synchronization method for synchronizing control for producing multimedia content with the multimedia content between the transmission side system and the reception side system connected by a network. Because
The transmission side system is:
The delay measurement instruction means performs a delay measurement instruction step for instructing the measurement of the delay of the multimedia content and the effect control information by transmitting the delay measurement sound and the effect control information to the reception-side system,
The receiving side system is:
The delay value measuring means measures a delay between the multimedia content and the effect control information based on the delay measurement sound and the effect control information received from the transmission side system, and the delay is a measurement result. Measure the delay value to send the value to the destination system,
The transmission side system is:
Delay control means adds the delay value acquired from the reception side system to the presentation control information of the multimedia content, and adds the multimedia content and the presentation control information to which the delay value is added to the reception destination side system. Perform the delay control step to transmit,
The receiving side system is:
A reproduction means receives the multimedia content and the effect control information to which the delay value is added from the transmission side system, and performs a reproduction step of reproducing the multimedia content based on the effect control information.

また、本発明（請求項５）は、前記遅延測定指示ステップにおいて、
前記演出制御情報と、当該送信地側システムの被制御装置を操作することにより発生する遅延測定用の音Aを前記受信地側システムに送信し、
前記遅延値測定ステップにおいて、
前記遅延測定用の音Ａを音声出力手段から出力すると共に、前記演出制御情報を当該受信地側システムの被制御装置に出力すると同時に音Ｂを発生させ、該音Ａと該音Ｂが出力された時間差を計測し、その差を前記遅延値とする。 Further, the present invention (Claim 5) is characterized in that in the delay measurement instruction step,
Sending the production control information and the delay measurement sound A generated by operating the controlled device of the transmission side system to the reception side system,
In the delay value measuring step,
The sound A for delay measurement is output from the sound output means, and the sound control information is output to the controlled device of the receiving side system, and at the same time, the sound B is generated, and the sound A and the sound B are output. The measured time difference is measured and the difference is set as the delay value.

また、本発明（請求項６）は、前記演出制御信号は、照明装置を制御するための照明制御信号、または、オーディオシステムを制御するための特殊効果サウンドを含む。   In the present invention (Claim 6), the effect control signal includes a lighting control signal for controlling a lighting device or a special effect sound for controlling an audio system.

本発明は、被演出制御地（受信地）側で、音に基づいてマルチメディアコンテンツと演出制御情報との遅延を測定し、その測定結果を演出制御地（送信地）側に送信し、演出制御地側で演出制御情報にだけ上記測定結果分の遅延を付加し、マルチメディアコンテンツと演出制御情報を被演出制御地に送信することにより、各拠点において、マルチメディアコンテンツの演出とマルチメディアコンテンツとをコンテンツ製作者の意図に合うように同期させることが可能となる。   The present invention measures the delay between the multimedia content and the effect control information based on the sound on the effected control location (reception location) side, transmits the measurement result to the effect control location (transmission location) side, By adding a delay corresponding to the above measurement result only to the production control information on the control site side, and transmitting multimedia content and production control information to the production control location, the production of multimedia content and multimedia content at each site Can be synchronized to match the intention of the content creator.

本発明の一実施の形態におけるマルチメディアコンテンツ同期システムの構成図である。It is a block diagram of the multimedia content synchronization system in one embodiment of this invention. 本発明の一実施の形態における送信地側システム・受信地側システム間のシーケンスチャートである。It is a sequence chart between the transmission side system and the reception side system in one embodiment of this invention. 本発明の一実施の形態における送信側キューシステムの構成図である。It is a block diagram of the transmission side queue system in one embodiment of this invention. 本発明の一実施の形態における受信地側キューシステムの構成図である。It is a block diagram of the receiving side queue system in one embodiment of this invention. 本発明の一実施の形態における遅延値の測定のシーケンスチャートである。It is a sequence chart of a delay value measurement in one embodiment of the present invention. 本発明の一実施の形態における遅延地測定機能を示す図である。It is a figure which shows the delay place measurement function in one embodiment of this invention.

以下図面と共に、本発明の実施の形態を説明する。   Embodiments of the present invention will be described below with reference to the drawings.

図１は、本発明の一実施の形態におけるマルチメディアコンテンツ同期システムの構成を示す。   FIG. 1 shows a configuration of a multimedia content synchronization system according to an embodiment of the present invention.

同図に示すシステムは、送信地側システム１００と受信地側システム２００及びそれらを接続するネットワーク３００から構成される。   The system shown in FIG. 1 includes a transmission side system 100, a reception side system 200, and a network 300 that connects them.

送信地側システム１００は、カメラ１１０、エンコーダ１２０、マイク１３０、オーディオシステム１４０、照明制御用ＰＣ１５０、キューシステム１６０、照明制御装置１７０、照明器具１８０を有する。   The transmission side system 100 includes a camera 110, an encoder 120, a microphone 130, an audio system 140, a lighting control PC 150, a cue system 160, a lighting control device 170, and a lighting fixture 180.

受信地側システム２００は、デコーダ２１０、映像表示装置２２０、オーディオシステム２３０、スピーカ２４０、キューシステム２５０、照明制御装置２６０、照明器具２７０、遅延値通知部２８０、遅延値計算手段２９０を有する。   The reception side system 200 includes a decoder 210, a video display device 220, an audio system 230, a speaker 240, a cue system 250, a lighting control device 260, a lighting fixture 270, a delay value notification unit 280, and a delay value calculation unit 290.

本発明では、照明の切替を映像と音に同期させるために、送受信側双方にキューシステム１６０を導入していることが特徴である。   The present invention is characterized in that a cue system 160 is introduced on both the transmitting and receiving sides in order to synchronize lighting switching with video and sound.

図1に示す構成では、特許文献1等の方法により、受信地側システム２００の映像表示装置２２０の映像と、スピーカ２４０から出力される音声の遅延差Ｄｓを測定し、受信地側システム２００に送信する。受信地側のシステム２００はオーディオシステム２３０に受信した遅延Ｄｓを挿入する。これにより、受信地側システム２００では、映像と音声が同期して出力される。   In the configuration illustrated in FIG. 1, the delay difference Ds between the video of the video display device 220 of the reception-side system 200 and the sound output from the speaker 240 is measured by the method disclosed in Patent Document 1 and the like. Send. The receiving-side system 200 inserts the received delay Ds into the audio system 230. As a result, the receiving side system 200 outputs the video and audio in synchronization.

また、送信地側システム１００、受信地側システム２００の照明器具１８０，２７０のオン／オフ、調光の制御は、送信地側システム１００では、照明制御装置１７０を照明制御用ＰＣ１５０から制御信号を送ることにより制御する。受信地側システム２００では、キューシステム２５０から出力された制御信号により照明制御装置２６０が照明器具２７０を制御する。   Further, on / off and dimming control of the lighting fixtures 180 and 270 of the transmission destination side system 100 and the reception destination side system 200, the transmission destination side system 100 sends a control signal from the lighting control PC 150 to the lighting control device 170. Control by sending. In the receiving side system 200, the lighting control device 260 controls the lighting fixture 270 by the control signal output from the cue system 250.

送信地側システム１００では、照明制御用ＰＣ１５０から出力された照明の切替を制御する制御信号は分岐され、照明制御装置１７０とキューシステム１６０の両方に入力される。   In the transmission side system 100, the control signal for controlling the switching of the lighting output from the lighting control PC 150 is branched and input to both the lighting control device 170 and the cue system 160.

図２は、本発明の一実施の形態における送信地側システム・受信地側システム間のシーケンスチャートである。   FIG. 2 is a sequence chart between the transmission side system and the reception side system in the embodiment of the present invention.

ステップ１００） 送信地側システム１００と受信地側システム２００との間で遅延値測定を行う。詳細については後述する。   Step 100) The delay value is measured between the transmission side system 100 and the reception side system 200. Details will be described later.

ステップ１１０） 受信地側システム２００の遅延値通知部２８０において、測定された遅延値を送信地側システム１００のキューシステム１６０に送信する。   Step 110) The delay value notifying unit 280 of the receiving side system 200 transmits the measured delay value to the queue system 160 of the transmitting side system 100.

ステップ１２０） 送信地側システム１００のキューシステム１６０は、遅延値を受信する。   Step 120) The queue system 160 of the transmission side system 100 receives the delay value.

ステップ１３０） 照明制御用ＰＣ１５０は、照明の演出制御情報を照明制御装置１７０とキューシステム１６０に出力する。照明制御装置１７０は、演出制御情報に基づいて照明器具１８０のオン／オフを行う。   Step 130) The lighting control PC 150 outputs lighting effect control information to the lighting control device 170 and the cue system 160. The lighting control device 170 turns on / off the lighting fixture 180 based on the effect control information.

ステップ１４０） キューシステム１６０は、照明制御用PC１５０から取得した演出制御信号にステップ１２０で受信地側システム２００から受信した遅延値分の遅延を付加して受信地側システム２００のキューシステム２５０に制御情報を送信する。   Step 140) The queue system 160 adds a delay corresponding to the delay value received from the reception side system 200 in Step 120 to the effect control signal acquired from the lighting control PC 150, and controls the queue system 250 of the reception side system 200. Send information.

図３は、本発明の一実施の形態における送信側キューシステムの構成を示す。   FIG. 3 shows the configuration of the transmission side queue system in one embodiment of the present invention.

送信側キューシステム１６０は、入力側ネットワークインタフェース１６１、遅延付加部１６２、出力側インタフェース１６３から構成される。   The transmission side queue system 160 includes an input side network interface 161, a delay adding unit 162, and an output side interface 163.

キューシステム１６０は、照明制御用PC１５０から入力された制御信号を受信地側システム２００のキューシステム２５０に送信する。そのときに、設定した遅延値だけを遅延を付加して送信する。設定する遅延値については後述する。   The cue system 160 transmits the control signal input from the lighting control PC 150 to the cue system 250 of the reception side system 200. At that time, only the set delay value is added with a delay and transmitted. The delay value to be set will be described later.

図４は、本発明の一実施の形態における受信側キーシステムの構成を示す。   FIG. 4 shows the configuration of the receiving side key system in one embodiment of the present invention.

受信側キューシステム２５０は、入力側ネットワークインタフェース２５１、出力側ネットワークインタフェース２５２、音発生装置２５３から構成される。   The reception side queue system 250 includes an input side network interface 251, an output side network interface 252, and a sound generator 253.

受信側キューシステム２５０では、受け取った制御信号を受信地の照明制御装置２６０に送る。また、送信側のキューシステム１００に設定する遅延値を決定するための制御信号を送るときに、遅延値計測手段２９０の音発生装置２５３において音を発生させる。なお、音を発生させるか否かは、切り替えることができ、遅延値を決定するときだけ音を発生させるものとする。   The receiving side cue system 250 sends the received control signal to the lighting control device 260 at the receiving location. Further, when a control signal for determining a delay value to be set is sent to the queue system 100 on the transmission side, a sound is generated in the sound generator 253 of the delay value measuring means 290. Note that whether or not to generate sound can be switched, and sound is generated only when the delay value is determined.

送信地側のキューシステム１６０に設定する遅延値は、送信地の映像と音声が受信地側システム２００に伝送され出力される時間と、送信地側システム１００の照明の演出制御信号が受信地側システム２００に送信され、キューシステム２５０から照明制御装置２６０に送信されるまでの時間差である。この時間差の測定は、以下の方法で行う。   The delay value set in the transmission side cue system 160 includes the time at which the video and audio of the transmission destination are transmitted to and output from the reception side system 200, and the lighting control signal of the transmission side system 100 is the reception side. This is the time difference between the transmission to the system 200 and the transmission from the cue system 250 to the lighting control device 260. This time difference is measured by the following method.

図５は、本発明の一実施の形態における遅延値の測定のシーケンスチャートであり、図６は、遅延値測定機能を示す図である。   FIG. 5 is a sequence chart of delay value measurement according to an embodiment of the present invention, and FIG. 6 is a diagram illustrating a delay value measurement function.

送信地側システム１００のキューシステム１６０から、演出制御信号を受信地側システム２００に送信する（ステップ１０１）。受信地側システム２００の遅延値計測手段２９０は、キューシステム２５０から入力された当該演出制御信号による音（B）を発生させる。   An effect control signal is transmitted from the queue system 160 of the transmission side system 100 to the reception side system 200 (step 101). The delay value measuring means 290 of the receiving side system 200 generates a sound (B) by the effect control signal input from the cue system 250.

照明制御用PC１５０において、上記のステップ１０１の処理に対する操作時のキーボード、または、マウスのボタンを打つことによって入力された音（A）が、当該PC１５０の近くに設置されたマイク１３０で集音され（ステップ１０３）、受信地側システム２００に送られる（ステップ１０４）。このとき、キューシステム１６０に設定する遅延値は０とする。   In the lighting control PC 150, the sound (A) input by pressing the button of the keyboard or the mouse during the operation of the above step 101 is collected by the microphone 130 installed near the PC 150. (Step 103) is sent to the receiving side system 200 (Step 104). At this time, the delay value set in the queue system 160 is 0.

受信地側システム２００では、送られたキーボードのキーやマウスボタンを打つ音（A）を受信地システム２００のオーディオシステム２３０を用いてスピーカ２４０から出力する（ステップ１０５）
遅延値計測手段２９０のマイク２９１で音（A）と音（B）を集音して電気変換部２９２で電気信号に変換する（ステップ１０６）。その電気信号をオシロスコープ２９３に入力し、スピーカ２４０が出力した音の波形とキューシステム２５０が発生させた音の波形を観測することにより、音の発生時間の差を計測する（ステップ１０７）。その計測した差の値が、送信側のキューシステム１６０に設定する遅延値となる。なお、本実施の形態では、当該オシロスコープの計測は人が行うものであり、観測された遅延値は計測値入力部２９４から遅延値通知部２８０に入力されるものとする（ステップ１０８）。遅延値通知部２８０は、遅延値を送信地側システム１００のキューシステム１６０に送信する。 In the receiving side system 200, the sent sound (A) of hitting a keyboard key or mouse button is output from the speaker 240 using the audio system 230 of the receiving place system 200 (step 105).
Sound (A) and sound (B) are collected by the microphone 291 of the delay value measuring means 290 and converted into an electrical signal by the electrical converter 292 (step 106). The electric signal is input to the oscilloscope 293, and the difference in sound generation time is measured by observing the sound waveform output from the speaker 240 and the sound waveform generated by the cue system 250 (step 107). The measured difference value becomes a delay value set in the queue system 160 on the transmission side. In this embodiment, it is assumed that measurement of the oscilloscope is performed by a person, and the observed delay value is input from the measurement value input unit 294 to the delay value notification unit 280 (step 108). The delay value notification unit 280 transmits the delay value to the queue system 160 of the transmission side system 100.

また、照明の制御だけではなく、特殊効果サウンドの制御等もＰＣから制御されている場合は、同じ構成のキューシステムで受信側でも同期をとることができる。   Further, when not only the illumination control but also the special effect sound control and the like are controlled from the PC, the receiving side can be synchronized with the cue system having the same configuration.

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。   The present invention is not limited to the above-described embodiment, and various modifications and applications can be made within the scope of the claims.

１００ 装置地側システム
１１０ カメラ
１２０ エンコーダ
１３０ マイク
１４０ オーディオシステム
１５０ 照明制御用ＰＣ
１６０ キューシステム
１６１ ネットワークインタフェース（入力側）
１６２ 遅延付加部
１６３ ネットワークインタフェース（出力側）
１７０ 照明制御装置
１８０ 照明器具
２３０ オーディオシステム
２４０ スピーカ
２５０ キューシステム
２５１ ネットワークインタフェース（入力側）
２５２ ネットワークインタフェース（出力側）
２５３ 音発生装置
２６０ 照明制御装置
２８０ 遅延値通知部
２９０ 遅延地計測手段
２９１ マイク
２９２ 変換部
２９３ オシロスコープ
２９４ 計測値入力部 100 Ground system 110 Camera 120 Encoder 130 Microphone 140 Audio system 150 Lighting control PC
160 Queue system 161 Network interface (input side)
162 Delay adder 163 Network interface (output side)
170 Lighting control device 180 Lighting fixture 230 Audio system 240 Speaker 250 Cue system 251 Network interface (input side)
252 Network interface (output side)
253 Sound generator 260 Illumination controller 280 Delay value notification unit 290 Delay point measurement means 291 Microphone 292 Conversion unit 293 Oscilloscope 294 Measurement value input unit

Claims (6)

ネットワークにより接続された送信地側システムと受信地側システム間において、マルチメディアコンテンツを演出するための制御を該マルチメディアコンテンツと同期させるためのマルチメディアコンテンツ同期システムであって、
前記送信地側システムは、
遅延測定用の音と演出制御情報を前記受信地側システムに送信することで、該マルチメディアコンテンツと演出制御情報の遅延の測定を指示する遅延測定指示手段と、
前記受信地側システムから取得した遅延値を該マルチメディアコンテンツの演出制御情報に付加し、該マルチメディアコンテンツと遅延値が付加された演出制御情報を該受信地側システムに送信する遅延制御手段と、
を有し、
前記受信地側システムは、
前記送信地側システムから受信した前記遅延測定用の音と前記演出制御情報に基づいて、前記マルチメディアコンテンツと該演出制御情報との遅延を測定し、測定結果である前記遅延値を該送信地側システムに送信する遅延値測定手段と、
前記送信地側システムから前記マルチメディアコンテンツと前記遅延値を付加された前記演出制御情報を受信し、該演出制御情報に基づいて該マルチメディアコンテンツを再生する再生手段と、
を有することを特徴とするマルチメディアコンテンツ同期システム。 A multimedia content synchronization system for synchronizing control for rendering multimedia content with a multimedia content between a transmission destination system and a reception destination system connected by a network,
The transmission side system is:
A delay measurement instruction means for instructing measurement of a delay of the multimedia content and the effect control information by transmitting a sound for delay measurement and the effect control information to the reception side system;
Delay control means for adding the delay value acquired from the receiving location side system to the presentation control information of the multimedia content and transmitting the multimedia content and the presentation control information to which the delay value is added to the receiving location side system; ,
Have
The receiving side system is:
Based on the delay measurement sound and the presentation control information received from the transmission destination side system, a delay between the multimedia content and the presentation control information is measured, and the delay value as a measurement result is obtained as the transmission destination. A delay value measuring means for transmitting to the side system;
Reproduction means for receiving the multimedia content and the presentation control information to which the delay value is added from the transmission side system, and reproducing the multimedia content based on the presentation control information;
A multimedia content synchronization system comprising: 前記遅延測定指示手段は、
前記演出制御情報と、当該送信地側システムの被制御装置を操作することにより発生する遅延測定用の音Aを前記受信地側システムに送信する手段を含み、
前記遅延値測定手段は、
前記遅延測定用の音Ａを音声出力手段から出力すると共に、前記演出制御情報を当該受信地側システムの被制御装置に出力すると同時に音Ｂを発生させ、該音Ａと該音Ｂが出力された時間差を計測し、その差を前記遅延値とする手段を含む
請求項１記載のマルチメディアコンテンツ同期システム。 The delay measurement instruction means includes
Means for transmitting the production control information and the delay measurement sound A generated by operating the controlled device of the transmission side system to the reception side system;
The delay value measuring means includes
The sound A for delay measurement is output from the sound output means, and the sound control information is output to the controlled device of the receiving side system, and at the same time, the sound B is generated, and the sound A and the sound B are output. The multimedia content synchronization system according to claim 1, further comprising means for measuring a difference in time and setting the difference as the delay value. 前記演出制御信号は、照明装置を制御するための照明制御信号、または、オーディオシステムを制御するための特殊効果サウンドを含む
請求項１または２記載のマルチメディアコンテンツ同期システム。 3. The multimedia content synchronization system according to claim 1, wherein the effect control signal includes a lighting control signal for controlling the lighting device or a special effect sound for controlling the audio system. ネットワークにより接続された送信地側システムと受信地側システム間において、マルチメディアコンテンツを演出するための制御を該マルチメディアコンテンツと同期させるためのマルチメディアコンテンツ同期方法であって、
前記送信地側システムは、
遅延測定指示手段が、遅延測定用の音と演出制御情報を前記受信地側システムに送信することで、該マルチメディアコンテンツと演出制御情報の遅延の測定を指示する遅延測定指示ステップと、を行い、
前記受信地側システムは、
遅延値測定手段が、前記送信地側システムから受信した前記遅延測定用の音と前記演出制御情報に基づいて、前記マルチメディアコンテンツと演出制御情報との遅延を測定し、測定結果である前記遅延値を該送信地側システムに送信する遅延値測定を行う遅延測定ステップと、
前記送信地側システムは、
遅延制御手段が、前記受信地側システムから取得した前記遅延値を該マルチメディアコンテンツの演出制御情報に付加し、該マルチメディアコンテンツと遅延値を付加した演出制御情報を該受信地側システムに送信する遅延制御ステップを行い、
前記受信地側システムは、
再生手段が、前記送信地側システムから前記マルチメディアコンテンツと前記遅延値を付加された前記演出制御情報を受信し、該演出制御情報に基づいて該マルチメディアコンテンツを再生する再生ステップを行う
をことを特徴とするマルチメディアコンテンツ同期方法。 A multimedia content synchronization method for synchronizing control for rendering multimedia content between the transmission side system and the reception side system connected by a network, with the multimedia content,
The transmission side system is:
The delay measurement instruction means performs a delay measurement instruction step for instructing the measurement of the delay of the multimedia content and the effect control information by transmitting the delay measurement sound and the effect control information to the reception side system. ,
The receiving side system is:
The delay value measuring means measures a delay between the multimedia content and the effect control information based on the delay measurement sound and the effect control information received from the transmission side system, and the delay is a measurement result. A delay measurement step for measuring a delay value for transmitting a value to the transmission side system;
The transmission side system is:
Delay control means adds the delay value acquired from the reception side system to the presentation control information of the multimedia content, and transmits the presentation control information with the multimedia content and the delay value added to the reception side system. Perform a delay control step,
The receiving side system is:
A reproduction means receives the multimedia content and the presentation control information to which the delay value is added from the transmission side system, and performs a reproduction step of reproducing the multimedia content based on the presentation control information. A multimedia content synchronization method characterized by the above. 前記遅延測定指示ステップにおいて、
前記演出制御情報と、当該送信地側システムの被制御装置を操作することにより発生する遅延測定用の音Aを前記受信地側システムに送信し、
前記遅延値測定ステップにおいて、
前記遅延測定用の音Ａを音声出力手段から出力すると共に、前記演出制御情報を当該受信地側システムの被制御装置に出力すると同時に音Ｂを発生させ、該音Ａと該音Ｂが出力された時間差を計測し、その差を前記遅延値とする
請求項４記載のマルチメディアコンテンツ同期方法。 In the delay measurement instruction step,
Sending the production control information and the delay measurement sound A generated by operating the controlled device of the transmission side system to the reception side system,
In the delay value measuring step,
The sound A for delay measurement is output from the sound output means, and the sound control information is output to the controlled device of the receiving side system, and at the same time, the sound B is generated, and the sound A and the sound B are output. 5. The multimedia content synchronization method according to claim 4, wherein the time difference is measured and the difference is used as the delay value. 前記演出制御信号は、照明装置を制御するための照明制御信号、または、オーディオシステムを制御するための特殊効果サウンドを含む
請求項４または５記載のマルチメディアコンテンツ同期方法。 6. The multimedia content synchronization method according to claim 4, wherein the effect control signal includes a lighting control signal for controlling a lighting device or a special effect sound for controlling an audio system.
JP2011158408A 2011-07-19 2011-07-19 Multimedia content synchronization system and method Expired - Fee Related JP5595348B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011158408A JP5595348B2 (en) 2011-07-19 2011-07-19 Multimedia content synchronization system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011158408A JP5595348B2 (en) 2011-07-19 2011-07-19 Multimedia content synchronization system and method

Publications (2)

Publication Number Publication Date
JP2013026748A true JP2013026748A (en) 2013-02-04
JP5595348B2 JP5595348B2 (en) 2014-09-24

Family

ID=47784637

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011158408A Expired - Fee Related JP5595348B2 (en) 2011-07-19 2011-07-19 Multimedia content synchronization system and method

Country Status (1)

Country Link
JP (1) JP5595348B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019102886A1 (en) * 2017-11-22 2019-05-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Performance control system, control device, and wireless communication terminal
WO2021152661A1 (en) * 2020-01-27 2021-08-05 日本電信電話株式会社 Synchronization control system, transmission device, reception device, synchronization control method, and synchronization control program

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290767A (en) * 2001-03-27 2002-10-04 Toshiba Corp Time matching device of video and voice and time matching method
JP2007221421A (en) * 2006-02-16 2007-08-30 Onkyo Corp Video audio reproducing system, av center constituting same, and monitor
JP2009021847A (en) * 2007-07-12 2009-01-29 Sharp Corp Viewing environment control device, system, and method
JP2009049746A (en) * 2007-08-21 2009-03-05 Pioneer Electronic Corp Aromatic transmission device and aromatic transmission method
WO2009028168A1 (en) * 2007-08-31 2009-03-05 Panasonic Corporation Video collaboration type illuminating control system and video collaboration type illuminating control method
US20090123086A1 (en) * 2005-10-31 2009-05-14 Sharp Kabushiki Kaisha View environment control system
US20090161030A1 (en) * 2007-12-21 2009-06-25 Foxsemicon Integrated Technology, Inc. Illumination system and television using the same

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002290767A (en) * 2001-03-27 2002-10-04 Toshiba Corp Time matching device of video and voice and time matching method
US20090123086A1 (en) * 2005-10-31 2009-05-14 Sharp Kabushiki Kaisha View environment control system
JP2007221421A (en) * 2006-02-16 2007-08-30 Onkyo Corp Video audio reproducing system, av center constituting same, and monitor
JP2009021847A (en) * 2007-07-12 2009-01-29 Sharp Corp Viewing environment control device, system, and method
JP2009049746A (en) * 2007-08-21 2009-03-05 Pioneer Electronic Corp Aromatic transmission device and aromatic transmission method
WO2009028168A1 (en) * 2007-08-31 2009-03-05 Panasonic Corporation Video collaboration type illuminating control system and video collaboration type illuminating control method
US20090161030A1 (en) * 2007-12-21 2009-06-25 Foxsemicon Integrated Technology, Inc. Illumination system and television using the same

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019102886A1 (en) * 2017-11-22 2019-05-31 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ Performance control system, control device, and wireless communication terminal
WO2021152661A1 (en) * 2020-01-27 2021-08-05 日本電信電話株式会社 Synchronization control system, transmission device, reception device, synchronization control method, and synchronization control program

Also Published As

Publication number Publication date
JP5595348B2 (en) 2014-09-24

Similar Documents

Publication Publication Date Title
US11553235B2 (en) Audiovisual collaboration method with latency management for wide-area broadcast
US10911501B2 (en) Collaborative session over a network
US11683536B2 (en) Audiovisual collaboration system and method with latency management for wide-area broadcast and social media-type user interface mechanics
JP4571794B2 (en) Method and system for disassembling audio / visual components
US20080065925A1 (en) System and methods for synchronizing performances of geographically-disparate performers
EP4336863A2 (en) Latency negotiation in a heterogeneous network of synchronized speakers
JP2004180323A5 (en)
US8743292B2 (en) Video/audio production processing control synchronization
US8796528B2 (en) Performance system
TW200829024A (en) Method and apparatus for audio/video synchronization
EP2583452A4 (en) Method and apparatus for providing digital broadcasting service with 3-dimensional subtitle
JP2010112981A (en) Remote demonstration reproducing method and device
TW200609899A (en) Image signal processing apparatus and phase synchronization method
JP5595348B2 (en) Multimedia content synchronization system and method
JP2017050609A (en) Video processing system, video processing apparatus, video processing program, and video processing method
WO2020044644A1 (en) Video image signal output device, control method, and program
JP2017017511A (en) Information processing method and moving image data transmission system
WO2021152661A1 (en) Synchronization control system, transmission device, reception device, synchronization control method, and synchronization control program
JP7406169B2 (en) Synchronous control device, synchronous control method, and synchronous control program
EP3486789A1 (en) Content reproduction device, content reproduction system, and method for controlling content reproduction device
WO2013146602A1 (en) Av amplifier
Mauro et al. Binaural Spatialization for 3D immersive audio communication in a virtual world
JP2010166534A (en) Control apparatus, audio output device, theater system, control method and program
TWI514371B (en) Singing system for reducing audio delay on playback and method thereof
KR20190031889A (en) Sound system based on real-time synchronous ethernet and method thereof

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20121029

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20121029

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130910

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140508

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140707

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140729

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140805

R150 Certificate of patent or registration of utility model

Ref document number: 5595348

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees